空間的にずれたサブフレームを生成及び表示する方法およびシステム
表示デバイス（２６）を使用して画像（１２）を表示する方法が提供される。方法は、画像の第１の部分及び第２の部分を含む画像データ（２８）を受け取ること、第１の部分及びシミュレーションカーネル（２５０２／２６０２）を使用して第１の複数のサブフレーム（２４１６）を生成すること、第１の複数のサブフレームを生成することから独立して、第２の部分及びシミュレーションカーネルを使用して第２の複数のサブフレーム（２４１８）を生成すること、並びに、第１の複数の更新サブフレームのうちの第１のサブフレームを第１の位置に表示すること、第１の複数の更新サブフレームのうちの第２のサブフレームを、第１の位置から空間的にずれた第２の位置に表示すること、第２の複数の更新サブフレームのうちの第１のサブフレームを、第１の位置及び第２の位置から空間的にずれた第３の位置に表示すること、及び第２の複数の更新サブフレームのうちの第２のサブフレームを、第１の位置、第２の位置、及び第３の位置から空間的にずれた第４の位置に表示することを交互に行うことを含む。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願への相互参照）
本願は、２００２年８月７日出願の「IMAGE DISPLAY SYSTEM AND METHOD」と題する米国特許出願第１０／２１３，５５５号、２００２年９月１１日出願の「IMAGE DISPLAY SYSTEM AND METHOD」と題する米国特許出願第１０／２４２，１９５号、２００２年９月１１日出願の「IMAGE DISPLAY SYSTEM AND METHOD」と題する米国特許出願第１０／２４２，５４５号、２００３年７月３１日出願の「GENERATING AND DISPLAYING SPATIALLY OFFSET SUB-FRAMES」と題する米国特許出願第１０／６３１，６８１号、２００３年７月３１日出願の「GENERATING AND DISPLAYING SPATIALLY OFFSET SUB-FRAMES」と題する米国特許出願第１０／６３２，０４２号、２００３年９月２６日出願の「GENERATING AND DISPLAYING SPATIALLY OFFSET SUB-FRAMES」と題する米国特許出願第１０／６７２，８４５号、２００３年９月２６日出願の「GENERATING AND DISPLAYING SPATIALLY OFFSET SUB-FRAMES」と題する米国特許出願第１０／６７２，５４４号、２００３年１０月３０日出願の「GENERATING AND DISPLAYING SPATIALLY OFFSET SUB-FRAMES ON A DIAMOND GRID」と題する米国特許出願第１０／６９７，６０５号、２００３年１０月３０日出願の「GENERATING AND DISPLAYING SPATIALLY OFFSET SUB-FRAMES ON DIFFERENT TYPES OF GRIDS」と題する米国特許出願第１０／６９６，８８８号、２００３年１０月３０日出願の「IMAGE DISPLAY SYSTEM AND METHOD」と題する米国特許出願第１０／６９７，８３０号、２００３年１２月３１日出願の「DISPLAYING SPATIALLY OFFSET SUB-FRAMES WITH A DISPLAY DEVICE HAVING A SET OF DEFECTIVE DISPLAY PIXELS」と題する米国特許出願第１０／７５０，５９１号、２００４年１月３０日出願の「GENERATING AND DISPLAYING SPATIALLY OFFSET SUB-FRAMES」と題する米国特許出願第１０／７６８，６２１号、２００４年１月３０日出願の「DISPLAYING SUB-FRAMES AT SPATIALLY OFFSET POSITIONS ON A CIRCLE」と題する米国特許出願第１０／７６８，２１５号、２００４年４月８日出願の「GENERATING AND DISPLAYING SPATIALLY OFFSET SUB-FRAMES」と題する米国特許出願第１０／８２１，１３５号、２００４年４月８日出願の「GENERATING AND DISPLAYING SPATIALLY OFFSET SUB-FRAMES」と題する米国特許出願第１０／８２１，１３０号、２００４年４月８日出願の「GENERATING AND DISPLAYING SPATIALLY OFFSET SUB-FRAMES」と題する米国特許出願第１０／８２０，９５２号、 年 月 日出願の「GENERATING AND DISPLAYING SPATIALLY OFFSET SUB-FRAMES」と題する米国特許出願第 号（整理番号２００４０１４１２−１）、 年 月 日出願の「GENERATING AND DISPLAYING SPATIALLY OFFSET SUB-FRAMES」と題する米国特許出願第 号（整理番号２００４０２８４２−１）に関連する。上記米国特許出願のそれぞれは本発明の譲受人に譲渡され、参照により本明細書に援用される。
【背景技術】
【０００２】
ディスプレイ、プロジェクタ、又は他の画像形成システム等、画像を表示するための従来のシステム又はデバイスは、横方向の行及び縦方向の列に整列された個々の画素又はピクセルの配列をアドレス指定することにより表示画像を生成する。表示画像の解像度は、表示画像を形成する横方向の行及び縦方向の列の個々のピクセルの個数として定義される。表示画像の解像度は、表示デバイス自体の解像度、及び、表示デバイスによって処理され、表示画像を生成するために使用される画像データの解像度によって影響を受ける。
【０００３】
通常、表示画像の解像度を向上させるには、表示デバイスの解像度、及び、表示画像を生成するために使用される画像データの解像度を向上させなければならない。しかしながら、表示デバイスの解像度を向上させると、表示デバイスのコスト及び複雑さが増加する。これに加えて、解像度をより高くした画像データが利用可能でないことがあり、且つ／又は、その生成が困難なことがある。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
自然画像及びビジネスグラフィックス等の高コントラスト画像を含む各種のグラフィカル画像の表示を向上させることができることが望まれる。グラフィカル画像の生成及び表示に関連する画像のちらつきの量を低減することが望まれる。
【課題を解決するための手段】
【０００５】
（概要）
本発明の一形態は、表示デバイスを使用して画像を表示する方法を提供する。方法は、画像の第１の部分及び第２の部分を含む画像データを受け取ること、第１の部分及びシミュレーションカーネルを使用して第１の複数のサブフレームを生成すること、第１の複数のサブフレームを生成することから独立して、第２の部分及びシミュレーションカーネルを使用して第２の複数の更新サブフレームを生成すること、並びに、第１の複数の更新サブフレームのうちの第１のサブフレームを第１の位置に表示すること、第１の複数の更新サブフレームのうちの第２のサブフレームを、第１の位置から空間的にずれた第２の位置に表示すること、第２の複数の更新サブフレームのうちの第１のサブフレームを、第１の位置及び第２の位置から空間的にずれた第３の位置に表示すること、及び第２の複数の更新サブフレームのうちの第２のサブフレームを、第１の位置、第２の位置、及び第３の位置から空間的にずれた第４の位置に表示することを交互に行うことを含む。
【発明を実施するための最良の形態】
【０００６】
（詳細な説明）
好ましい実施形態の以下の詳細な説明では、添付図面を参照する。添付図面は、この詳細な説明の一部を成す。添付図面には、本発明を実施することができる特定の実施形態を例示として示す。他の実施形態を利用することもでき、本発明の範囲から逸脱することなく、構造的又は論理的な変更を行うこともできることが理解されるべきである。したがって、以下の詳細な説明は、限定の意味に取られるべきではなく、本発明の範囲は、添付の特許請求の範囲によって画定される。
【０００７】
Ｉ．サブフレームの空間シフト及び時間シフト
いくつかのデジタルライトプロジェクタ等、表示システムの中には、いくつかの高解像度の画像を表示するのに十分な解像度を有さないものがある。このようなシステムは、空間シフト及び時間シフトされた低解像度の画像を表示することにより、より高解像度の画像の外観を人間の眼に与えるように構成することができる。低解像度の画像は、サブフレームと呼ばれる。サブフレーム生成上の問題は、本発明の実施形態によって取り組まれるものであるが、表示されるサブフレームが、そのサブフレームを導出した高解像度の画像が直接表示されたならば見えるであろう程度に外観上近くなるように、サブフレームの適切な値を決定することである。
【０００８】
向上した解像度の外観を、サブフレームの時間シフト及び空間シフトを通じて提供する表示システムの一実施形態は、引用した上記米国特許出願に記載されており、図１〜図４Ｅを参照して以下に概要を説明する。
【０００９】
図１は、本発明の一実施形態による画像表示システム１０を示すブロック図である。この画像表示システム１０は、画像１２の処理を促進して、表示画像１４を作成する。画像１２は、あらゆる描画用文字、図形文字、及び／若しくはテキスト文字、シンボル、イラスト、並びに／又は他の情報表現を包含するように定義される。画像１２は、たとえば、画像データ１６によって表される。画像データ１６は、画像１２の個々の画素又はピクセルを含む。画像表示システム１０が処理するものとして、１つの画像を例示して説明するが、画像表示システム１０は、複数の画像又は一連の画像を処理して表示することができることが理解されよう。
【００１０】
一実施形態では、画像表示システム１０は、フレームレート変換ユニット２０及び画像フレームバッファ２２、画像処理ユニット２４、並びに表示デバイス２６を含む。後述するように、フレームレート変換ユニット２０及び画像フレームバッファ２２は、画像１２用の画像データ１６を受け取ってバッファリングし、画像１２用の画像フレーム２８を作成する。画像処理ユニット２４は、画像フレーム２８を処理して、画像フレーム２８用の１つ又は複数の画像サブフレーム３０を規定し、表示デバイス２６は、画像サブフレーム３０を時間的且つ空間的に表示して、表示画像１４を生成する。
【００１１】
フレームレート変換ユニット２０及び／又は画像処理ユニット２４を含めて、画像表示システム１０は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせを含む。一実施形態では、フレームレート変換ユニット２０及び／又は画像処理ユニット２４を含めて、画像表示システム１０の１つ又は複数の構成要素は、コンピュータ、コンピュータサーバ、又は一続きの論理演算を実行できる他のマイクロプロセッサベースのシステムに含まれる。さらに、処理をシステム全体にわたって分散させて、個々の部分を個別のシステム構成要素で実施することもできる。
【００１２】
画像データ１６は、デジタル画像データ１６１を含むこともでき、又はアナログ画像データ１６２を含むこともできる。アナログ画像データ１６２を処理するために、画像表示システム１０は、アナログ／デジタル（Ａ／Ｄ）変換器３２を含む。したがって、Ａ／Ｄ変換器３２は、アナログ画像データ１６２を後続の処理のためにデジタル形式に変換する。このように、画像表示システム１０は、画像１２用のデジタル画像データ１６１及び／又はアナログ画像データ１６２を受け取って処理することができる。
【００１３】
フレームレート変換ユニット２０は、画像１２用の画像データ１６を受け取って、画像フレームバッファ２２に画像データ１６をバッファリング又は記憶する。より具体的には、フレームレート変換ユニット２０は、画像１２の個々のライン又はフィールドを表す画像データ１６を受け取って、画像フレームバッファ２２に画像データ１６をバッファリングし、画像１２用の画像フレーム２８を作成する。画像フレームバッファ２２は、画像フレーム２８用の画像データのすべてを受け取って記憶することにより、画像データ１６をバッファリングし、フレームレート変換ユニット２０は、その後、画像フレームバッファ２２から画像フレーム２８用の画像データのすべてを検索又は抽出することにより、画像フレーム２８を作成する。したがって、画像フレーム２８は、画像１２の全体を表す画像データ１６の複数の個々のライン又はフィールドを包含するように規定される。このように、画像フレーム２８は、画像１２を表す複数の列及び複数の行の個々のピクセルを含む。
【００１４】
フレームレート変換ユニット２０及び画像フレームバッファ２２は、プログレッシブ画像データ及び／又はインターレース画像データとして画像データ１６を受け取って処理することができる。プログレッシブ画像データの場合、フレームレート変換ユニット２０及び画像フレームバッファ２２は、画像１２用の画像データ１６の連続したフィールドを受け取って記憶する。したがって、フレームレート変換ユニット２０は、画像１２用の画像データ１６の連続したフィールドを検索することにより、画像フレーム２８を作成する。インターレース画像データの場合、フレームレート変換ユニット２０及び画像フレームバッファ２２は、画像１２用の画像データ１６の奇数フィールド及び偶数フィールドを受け取って記憶する。たとえば、画像データ１６の奇数フィールドのすべてが受け取られて記憶され、画像データ１６の偶数フィールドのすべてが受け取られて記憶される。したがって、フレームレート変換ユニット２０は、画像１２用の画像データ１６の奇数フィールド及び偶数フィールドを検索することにより、画像データ１６のインターレースを解除して、画像フレーム２８を作成する。
【００１５】
画像フレームバッファ２２は、それぞれの画像１２の１つ又は複数の画像フレーム２８用の画像データ１６を記憶するためのメモリを含む。したがって、画像フレームバッファ２２は、１つ又は複数の画像フレーム２８のデータベースを構成する。画像フレームバッファ２２の例には、不揮発性メモリ（たとえば、ハードディスクドライブ又は他の永続的記憶デバイス）が含まれ、揮発性メモリ（たとえば、ランダムアクセスメモリ（ＲＡＭ））が含まれてもよい。
【００１６】
フレームレート変換ユニット２０において画像データ１６を受け取り、画像フレームバッファ２２により画像データ１６をバッファリングすることにより、画像データ１６の入力タイミングを、表示デバイス２６のタイミング要件から切り離すことができる。より具体的には、画像フレーム２８用の画像データ１６は、画像フレームバッファ２２により受け取られて記憶されるので、画像データ１６をあらゆるレートの入力として受け取ることができる。したがって、画像フレーム２８のフレームレートを表示デバイス２６のタイミング要件に変換することができる。このように、画像フレーム２８用の画像データ１６を、表示デバイス２６のフレームレートで画像フレームバッファ２２から抽出することができる。
【００１７】
一実施形態では、画像処理ユニット２４は、解像度調整ユニット３４及びサブフレーム生成ユニット３６を含む。後述するように、解像度調整ユニット３４は、画像フレーム２８用の画像データ１６を受け取って、表示デバイス２６の表示用に画像データ１６の解像度を調整し、サブフレーム生成ユニット３６は、画像フレーム２８用の複数の画像サブフレーム３０を生成する。より具体的には、画像処理ユニット２４は、画像フレーム２８用の画像データ１６を元の解像度で受け取り、画像データ１６を処理して、画像データ１６の解像度を増加させる、減少させる、且つ／又は、変更せずに維持する。したがって、画像処理ユニット２４により、画像表示システム１０は、さまざまな解像度の画像データ１６を受け取って表示することができる。
【００１８】
サブフレーム生成ユニット３６は、画像フレーム２８用の画像データ１６を受け取って処理し、画像フレーム２８用の複数の画像サブフレーム３０を規定する。解像度調整ユニット３４が、画像データ１６の解像度を調整した場合に、サブフレーム生成ユニット３６は、調整された解像度の画像データ１６を受け取る。画像データ１６の調整された解像度は、画像フレーム２８用の画像データ１６の元の解像度に対して、増加される場合もあるし、減少される場合もあるし、同じ場合もある。サブフレーム生成ユニット３６は、表示デバイス２６の解像度と一致した解像度を有する画像サブフレーム３０を生成する。画像サブフレーム３０は、それぞれ、画像フレーム２８と等しい領域を有する。サブフレーム３０は、それぞれ、画像１２の画像データ１６のサブセットを表す複数の列及び複数の行の個々のピクセルを含み、表示デバイス２６の解像度と一致した解像度を有する。
【００１９】
各画像サブフレーム３０は、画像フレーム２８用のピクセルの行列又は配列を含む。画像サブフレーム３０は、各画像サブフレーム３０が、異なるピクセル及び／又は異なる部分のピクセルを含むように、空間的に相互にずれる。したがって、画像サブフレーム３０は、後述するように、或る垂直距離及び／又は水平距離だけ、相互にずれる。
【００２０】
表示デバイス２６は、画像処理ユニット２４から画像サブフレーム３０を受け取り、画像サブフレーム３０を順次表示して、表示画像１４を作成する。より具体的には、画像サブフレーム３０は、空間的に相互にずれているので、表示デバイス２６は、後述するように、画像サブフレーム３０の空間的なずれに従って異なる位置に画像サブフレーム３０を表示する。したがって、表示デバイス２６は、画像フレーム２８用の画像サブフレーム３０の表示を交互に行って、表示画像１４を作成する。したがって、表示デバイス２６は、画像フレーム２８用の１つのサブフレーム３０全体を一度に表示する。
【００２１】
一実施形態では、表示デバイス２６は、画像フレーム２８ごとに、１サイクルの画像サブフレーム３０の表示を実行する。表示デバイス２６は、空間的且つ時間的に相互にずれるように、画像サブフレーム３０を表示する。一実施形態では、表示デバイス２６は、画像サブフレーム３０を光学的に操作して、表示画像１４を作成する。したがって、表示デバイス２６の個々のピクセルは、複数の位置にアドレス指定される。
【００２２】
一実施形態では、表示デバイス２６は、画像シフト装置３８を含む。この画像シフト装置３８は、表示デバイス２６が表示するように、画像サブフレーム３０の位置を空間的に変更又はずらす。より具体的には、画像シフト装置３８は、後述するように、画像サブフレーム３０の表示位置を変更して、表示画像１４を生成する。
【００２３】
一実施形態では、表示デバイス２６は、入射光の変調を行う光変調器を含む。この光変調器は、たとえば、マイクロミラーデバイスの配列を形成するように整列された複数のマイクロミラーデバイスを含む。したがって、各マイクロミラーデバイスは、表示デバイス２６の１つのセル又はピクセルを構成する。表示デバイス２６は、ディスプレイ、プロジェクタ、又は他の画像形成システムの一部を成すこともできる。
【００２４】
一実施形態では、画像表示システム１０は、タイミングジェネレータ４０を含む。このタイミングジェネレータ４０は、たとえば、フレームレート変換ユニット２０、解像度調整ユニット３４及びサブフレーム生成ユニット３６を含む画像処理ユニット２４、並びに画像シフト装置３８を含む表示デバイス２６と通信する。したがって、タイミングジェネレータ４０は、画像フレーム２８を作成するための画像データ１６のバッファリング及び変換と、画像データ１６の解像度を調整して画像サブフレーム３０を生成するための画像フレーム２８の処理と、表示画像１４を生成するための画像サブフレーム３０の配置及び表示とを同期させる。したがって、タイミングジェネレータ４０は、画像１２のサブフレーム全体が、表示デバイス２６により表示画像１４として時間的且つ空間的に表示されるように、画像表示システム１０のタイミングを制御する。
【００２５】
一実施形態では、図２Ａ及び図２Ｂに示すように、画像処理ユニット２４は、画像フレーム２８用の２つの画像サブフレーム３０を規定する。より具体的には、画像処理ユニット２４は、画像フレーム２８用の第１のサブフレーム３０１及び第２のサブフレーム３０２を規定する。したがって、第１のサブフレーム３０１及び第２のサブフレーム３０２は、それぞれ、画像データ１６の複数の列及び複数の行の個々のピクセル１８を含む。このように、第１のサブフレーム３０１及び第２のサブフレーム３０２は、それぞれ、画像データ１６のサブセットの画像データ配列又はピクセル行列を構成する。
【００２６】
一実施形態では、図２Ｂに示すように、第２のサブフレーム３０２は、垂直距離５０及び水平距離５２だけ、第１のサブフレーム３０１からずれる。したがって、第２のサブフレーム３０２は、所定の距離だけ、第１のサブフレーム３０１から空間的にずれる。例示の一実施形態では、垂直距離５０及び水平距離５２は、それぞれ、１ピクセルの約２分の１である。
【００２７】
図２Ｃに示すように、表示デバイス２６は、第１の位置に第１のサブフレーム３０１を表示すること、及び、第１の位置から空間的にずれた第２の位置に第２のサブフレーム３０２を表示することを交互に行う。より具体的には、表示デバイス２６は、垂直距離５０及び水平距離５２だけ、第１のサブフレーム３０１の表示に対して、第２のサブフレーム３０２の表示をシフトさせる。したがって、第１のサブフレーム３０１のピクセルは、第２のサブフレーム３０２のピクセルと一部重なる。一実施形態では、表示デバイス２６は、画像フレーム２８について、第１の位置に第１のサブフレーム３０１を表示すること、及び、第２の位置に第２のサブフレーム３０２を表示することの１サイクルを実行する。このように、第２のサブフレーム３０２は、第１のサブフレーム３０１に空間的且つ時間的に関連して表示される。このような時間的且つ空間的にシフトされた２つのサブフレームの表示を、本明細書では、２位置処理（two-position processing）と呼ぶ。
【００２８】
別の実施形態では、図３Ａ〜図３Ｄに示すように、画像処理ユニット２４は、画像フレーム２８用の４つの画像サブフレーム３０を規定する。より具体的には、画像処理ユニット２４は、画像フレーム２８用の第１のサブフレーム３０１、第２のサブフレーム３０２、第３のサブフレーム３０３、及び第４のサブフレーム３０４を規定する。したがって、第１のサブフレーム３０１、第２のサブフレーム３０２、第３のサブフレーム３０３、及び第４のサブフレーム３０４は、それぞれ、画像データ１６の複数の列及び複数の行の個々のピクセル１８を含む。
【００２９】
一実施形態では、図３Ｂ〜図３Ｄに示すように、第２のサブフレーム３０２は、垂直距離５０及び水平距離５２だけ、第１のサブフレーム３０１からずれ、第３のサブフレーム３０３は、水平距離５４だけ、第１のサブフレーム３０１からずれ、第４のサブフレーム３０４は、垂直距離５６だけ、第１のサブフレーム３０１からずれる。したがって、第２のサブフレーム３０２、第３のサブフレーム３０３、及び第４のサブフレーム３０４は、それぞれ、所定の距離だけ、空間的に相互にずれ、且つ、所定の距離だけ、第１のサブフレーム３０１から空間的にずれている。例示の一実施形態では、垂直距離５０、水平距離５２、水平距離５４、及び垂直距離５６は、それぞれ、１ピクセルの約２分の１である。
【００３０】
図３Ｅに概略的に示すように、表示デバイス２６は、第１の位置Ｐ1に第１のサブフレーム３０１を表示すること、第１の位置から空間的にずれた第２の位置Ｐ2に第２のサブフレーム３０２を表示すること、第１の位置から空間的にずれた第３の位置Ｐ3に第３のサブフレーム３０３を表示すること、及び、第１の位置から空間的にずれた第４の位置Ｐ4に第４のサブフレーム３０４を表示することを交互に行う。より具体的には、表示デバイス２６は、第２のサブフレーム３０２、第３のサブフレーム３０３、及び第４のサブフレーム３０４の表示を、それぞれの所定の距離だけ、第１のサブフレーム３０１に対してシフトさせる。したがって、第１のサブフレーム３０１、第２のサブフレーム３０２、第３のサブフレーム３０３、及び第４のサブフレーム３０４のピクセルは、相互に一部重なり合う。
【００３１】
一実施形態では、表示デバイス２６は、画像フレーム２８について、第１の位置に第１のサブフレーム３０１を表示すること、第２の位置に第２のサブフレーム３０２を表示すること、第３の位置に第３のサブフレーム３０３を表示すること、及び、第４の位置に第４のサブフレーム３０４を表示することの１サイクルを実行する。したがって、第２のサブフレーム３０２、第３のサブフレーム３０３、及び第４のサブフレーム３０４は、相互に且つ第１のサブフレーム３０１に空間的且つ時間的に関連して表示される。このような時間的且つ空間的にシフトされた４つのサブフレームの表示を、本明細書では、４位置処理（four-position processing）と呼ぶ。
【００３２】
図４Ａ〜図４Ｅは、第１のサブフレーム３０１からのピクセル１８１を第１の位置に表示すること、第２のサブフレーム３０２からのピクセル１８２を第２の位置に表示すること、第３のサブフレーム３０３からのピクセル１８３を第３の位置に表示すること、及び第４のサブフレーム３０４からのピクセル１８４を第４の位置に表示することの１サイクルを完了する一実施形態を示している。より具体的には、図４Ａは、第１のサブフレーム３０１からのピクセル１８１を第１の位置に表示したものを示している。図４Ｂは、第２のサブフレーム３０２からのピクセル１８２を第２の位置（第１の位置を破線で示す）に表示したものを示している。図４Ｃは、第３のサブフレーム３０３からのピクセル１８３を第３の位置（第１の位置及び第２の位置を破線で示す）に表示したものを示している。図４Ｄは、第４のサブフレーム３０４からのピクセル１８４を第４の位置（第１の位置、第２の位置、及び第３の位置を破線で示す）に表示したものを示している。図４Ｅは、第１のサブフレーム３０１からのピクセル１８１を第１の位置（第２の位置、第３の位置、及び第４の位置を破線で示す）に表示したものを示している。
【００３３】
サブフレーム生成ユニット３６（図１）は、画像フレーム２８の画像データに基づいてサブフレーム３０を生成する。サブフレーム生成ユニット３６が実行する機能は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組み合わせにより実施できることが、当業者には理解されよう。その実施は、マイクロプロセッサ、プログラマブルロジックデバイス、又は状態機械を介して行うことができる。本発明の構成要素は、１つ又は複数のコンピュータ可読媒体上にソフトウェアで存在することができる。本明細書で使用されるコンピュータ可読媒体という用語は、フロッピー（登録商標）ディスク、ハードディスク、ＣＤ−ＲＯＭ、フラッシュメモリ、読み出し専用メモリ（ＲＯＭ）、及びランダムアクセスメモリ等の揮発性又は不揮発性のあらゆる種類のメモリを包含するように定義される。
【００３４】
本発明の一形態では、サブフレーム３０は画像フレーム２８よりも低い解像度を有する。このため、サブフレーム３０を本明細書では低解像度画像３０とも呼び、画像フレーム２８を本明細書では高解像度画像２８とも呼ぶ。低解像度及び高解像度という用語が本明細書では比較で用いられ、いずれの特定の最小ピクセル数又は最大ピクセル数に限定されないことが当業者には理解されよう。一実施形態では、サブフレーム生成ユニット３６は、１０のアルゴリズムのうちの１つ又は複数に基づいてサブフレーム３０を生成するように構成される。これら１０のアルゴリズムを本明細書では以下のように呼ぶ。すなわち、（１）最近傍、（２）双一次、（３）空間領域、（４）周波数領域、（５）適応型マルチパス、（６）中心適応型マルチパス、（７）簡易中心適応型マルチパス、（８）履歴使用の（with history）適応型マルチパス、（９）履歴使用の簡易中心適応型マルチパス、及び（１０）履歴使用の中心適応型マルチパスである。
【００３５】
本発明の一形態による最近傍アルゴリズム及び双一次アルゴリズムは、高解像度画像２８からのピクセルを組み合わせることによりサブフレーム３０を生成するものである。本発明の一形態による空間領域アルゴリズム及び周波数領域アルゴリズムは、擬似（simulated：シミュレート）高解像度画像と所望の高解像度画像２８との間の差を表す大域誤差メトリック（global error metric）の最小化に基づいてサブフレーム３０を生成するものである。本発明のさまざまな形態による適応型マルチパスアルゴリズム、中心適応型マルチパスアルゴリズム、簡易中心適応型マルチパスアルゴリズム、履歴使用の適応型マルチパスアルゴリズム、履歴使用の簡易中心適応型マルチパスアルゴリズム、及び履歴使用の中心適応型マルチパスアルゴリズムは、局所誤差メトリック（local error metric）の最小化に基づいてサブフレーム３０を生成するものである。一実施形態では、サブフレーム生成ユニット３６は、サブフレームの値と高解像度画像の値との関係を記憶するためのメモリを含む。この関係は、高解像度画像の値と、サブフレームの値の関数である擬似高解像度画像との間の誤差メトリックの最小化に基づいている。これら１０のアルゴリズムのそれぞれの実施形態を図５〜図３２を参照して以下に説明する。
【００３６】
ＩＩ．最近傍
図５は、本発明の一実施形態による最近傍アルゴリズムを使用した、元の高解像度画像２８からの低解像度サブフレーム３０Ａ及び３０Ｂ（サブフレーム３０と総称する）の生成を示す図である。この図示した実施形態では、高解像度画像２８は、４列４行のピクセルで合計１６個のピクセルＨ１〜Ｈ１６を含む。最近傍アルゴリズムの一実施形態では、高解像度画像２８の第１行の１つおきのピクセルを取り出し、高解像度画像２８の第２行を飛ばして、高解像度画像２８の第３行の１つおきのピクセルを取り出し、このプロセスを高解像度画像２８の全体にわたって繰り返すことにより、第１のサブフレーム３０Ａが生成される。したがって、図５に示すように、サブフレーム３０Ａの第１行は、ピクセルＨ１及びＨ３を含み、サブフレーム３０Ａの第２行は、ピクセルＨ９及びＨ１１を含む。本発明の一形態では、第２のサブフレーム３０Ｂは、第１のサブフレーム３０Ａと同じ方法で生成されるが、プロセスは、第１のピクセルＨ１から１行下で、且つ、１列越えてシフトされたピクセルＨ６から開始する。したがって、図５に示すように、サブフレーム３０Ｂの第１行は、ピクセルＨ６及びＨ８を含み、サブフレーム３０Ｂの第２行は、ピクセルＨ１４及びＨ１６を含む。
【００３７】
一実施形態では、３つのフィルタ係数「０」及び第４のフィルタ係数「１」を有し、高解像度画像からのピクセル値の加重和を生成する２×２フィルタによって、最近傍アルゴリズムは実施される。上述したような２位置処理を使用してサブフレーム３０Ａ及び３０Ｂを表示すると、より高い解像度の画像の外観が得られる。最近傍アルゴリズムは、４位置処理にも適用可能であり、図５に示すピクセル数を有する画像に限定されるものではない。
【００３８】
ＩＩＩ．双一次
図６は、本発明の一実施形態による双一次アルゴリズムを使用した、元の高解像度画像２８からの低解像度サブフレーム３０Ｃ及び３０Ｄ（サブフレーム３０と総称する）の生成を示す図である。この図示した実施形態では、高解像度画像２８は、４列４行のピクセルで合計１６個のピクセルＨ１〜Ｈ１６を含む。サブフレーム３０Ｃは、２列２行のピクセルで合計４つのピクセルＬ１〜Ｌ４を含む。そして、サブフレーム３０Ｄは、２列２行のピクセルで合計４つのピクセルＬ５〜Ｌ８を含む。
【００３９】
一実施形態では、サブフレーム３０Ｃ及び３０ＤのピクセルＬ１〜Ｌ８の値は、画像２８のピクセル値Ｈ１〜Ｈ１６から以下の式Ｉ〜ＶＩＩＩに基づいて生成される。
【００４０】
＜式Ｉ＞
Ｌ１＝（４Ｈ１＋２Ｈ２＋２Ｈ５）／８
＜式ＩＩ＞
Ｌ２＝（４Ｈ３＋２Ｈ４＋２Ｈ７）／８
＜式ＩＩＩ＞
Ｌ３＝（４Ｈ９＋２Ｈ１０＋２Ｈ１３）／８
＜式ＩＶ＞
Ｌ４＝（４Ｈ１１＋２Ｈ１２＋２Ｈ１５）／８
＜式Ｖ＞
Ｌ５＝（４Ｈ６＋２Ｈ２＋２Ｈ５）／８
＜式ＶＩ＞
Ｌ６＝（４Ｈ８＋２Ｈ４＋２Ｈ７）／８
＜式ＶＩＩ＞
Ｌ７＝（４Ｈ１４＋２Ｈ１０＋２Ｈ１３）／８
＜式ＶＩＩＩ＞
Ｌ８＝（４Ｈ１６＋２Ｈ１２＋２Ｈ１５）／８
【００４１】
上記式Ｉ〜ＶＩＩＩから分かるように、サブフレーム３０ＣのピクセルＬ１〜Ｌ４の値は、４を乗算することから、それぞれピクセルＨ１、Ｈ３、Ｈ９、及びＨ１１の値によって最も影響を受ける。ただし、サブフレーム３０ＣのピクセルＬ１〜Ｌ４の値は、ピクセルＨ１、Ｈ３、Ｈ９、及びＨ１１の対角方向の近傍ピクセルの値によっても影響を受ける。同様に、サブフレーム３０ＤのピクセルＬ５〜Ｌ８の値は、４を乗算することから、それぞれピクセルＨ６、Ｈ８、Ｈ１４、及びＨ１６の値によって最も影響を受ける。ただし、サブフレーム３０ＤのピクセルＬ５〜Ｌ８の値は、ピクセルＨ６、Ｈ８、Ｈ１４、及びＨ１６の対角方向の近傍ピクセルの値によっても影響を受ける。
【００４２】
一実施形態では、１つのフィルタ係数「０」及び非ゼロの値を有する３つのフィルタ係数（たとえば、４、２、及び２）を有し、高解像度画像のピクセル値の加重和を生成する２×２フィルタによって、双一次アルゴリズムは実施される。別の実施形態では、このフィルタ係数として他の値が使用される。上述したような２位置処理を使用してサブフレーム３０Ｃ及び３０Ｄを表示すると、より高い解像度の画像の外観が得られる。双一次アルゴリズムは、４位置処理にも適用可能であり、図６に示すピクセル数を有する画像に限定されるものではない。
【００４３】
最近傍アルゴリズム及び双一次アルゴリズムの一形態では、上述したように、サブフレーム３０は、元の高解像度画像のピクセル値の線形結合に基づいて生成される。別の実施形態では、サブフレーム３０は、元の高解像度画像のピクセル値の非線形結合に基づいて生成される。たとえば、元の高解像度画像がガンマ補正を受けている場合に、一実施形態では、ガンマ曲線の効果を打ち消すのに適した非線形結合が使用される。
【００４４】
ＩＶ．擬似高解像度画像を生成するシステム
図７〜図１０、図２０及び図２２は、擬似高解像度画像を生成するシステムを示している。以下にさらに詳述するように、これらのシステムに基づいて、サブフレームを生成する空間領域アルゴリズム、周波数領域アルゴリズム、適応型マルチパスアルゴリズム、中心適応型マルチパスアルゴリズム、及び簡易中心適応型マルチパスアルゴリズムが構築される。
【００４５】
図７は、本発明の一実施形態による、２つの４×４ピクセルの低解像度サブフレーム３０Ｅから擬似高解像度画像４１２を生成するシステム４００を示すブロック図である。このシステム４００は、アップサンプリングステージ４０２、シフトステージ４０４、畳み込み演算ステージ４０６、及び総和ステージ４１０を含む。サブフレーム３０Ｅは、サンプリング行列Ｍに基づいてアップサンプリングステージ４０２によりアップサンプリングされ、それによって、アップサンプリング画像が生成される。このアップサンプリング画像は、空間シフト行列Ｓに基づいてシフトステージ４０４によりシフトされ、それによって、シフトアップサンプリング画像が生成される。このシフトアップサンプリング画像は、畳み込み演算ステージ４０６において補間フィルタとの畳み込み演算を受け、それによって、ブロック画像（blocked image）４０８が生成される。この図示した実施形態では、補間フィルタは、フィルタ係数「１」を有する２×２フィルタであって、畳み込み演算の中心がこの２×２行列の左上の位置にあるフィルタである。補間フィルタは、高解像度グリッドの上に低解像度サブフレームを重ね合わせることをシミュレーションする。低解像度サブフレームのピクセルデータは、そのサブフレームを高解像度グリッド上に表すことができるように拡大される。補間フィルタは、アップサンプリングによって生成された、欠けているピクセルデータを満たす。ブロック画像４０８は、総和ブロック４１０によって加重されて総和が求められ、８×８ピクセルの擬似高解像度画像４１２が生成される。
【００４６】
図８は、本発明の一実施形態による、２つの４×４ピクセルの低解像度サブフレーム３０Ｆ及び３０Ｇの分離可能なアップサンプリング（separable upsampling）に基づいて２位置処理用の擬似高解像度画像５１２を生成するシステム５００を示すブロック図である。このシステム５００は、アップサンプリングステージ５０２及び５１４、シフトステージ５１８、畳み込み演算ステージ５０６及び５２２、総和ステージ５０８、並びに乗算ステージ５１０を含む。サブフレーム３０Ｆは、アップサンプリングステージ５０２によって２倍にアップサンプリングされ、それによって、８×８ピクセルのアップサンプリング画像５０４が生成される。アップサンプリング画像５０４の黒のピクセルは、サブフレーム３０Ｆからの１６個のピクセルを表し、アップサンプリング画像５０４の白のピクセルは、０の値を表す。サブフレーム３０Ｇは、アップサンプリングステージ５１４によって２倍にアップサンプリングされ、それによって、８×８ピクセルのアップサンプリング画像５１６が生成される。アップサンプリング画像５１６の黒のピクセルは、サブフレーム３０Ｇからの１６個のピクセルを表し、アップサンプリング画像５１６の白のピクセルは、０の値を表す。一実施形態では、アップサンプリングステージ５０２及び５１４は、対角サンプリング行列を使用して、サブフレーム３０Ｆ及び３０Ｇをそれぞれアップサンプリングする。
【００４７】
アップサンプリング画像５１６は、空間シフト行列Ｓに基づいてシフトステージ５１８によりシフトされ、それによって、シフトアップサンプリング画像５２０が生成される。この図示した実施形態では、シフトステージ５１８は、１ピクセルの対角方向のシフトを実行する。画像５０４及び５２０は、それぞれ畳み込み演算ステージ５０６及び５２２において補間フィルタとの畳み込み演算を受け、それによって、ブロック画像が生成される。この図示した実施形態では、畳み込み演算ステージ５０６及び５２２の補間フィルタは、フィルタ係数「１」を有する２×２フィルタであって、畳み込み演算の中心がこの２×２行列の左上の位置にあるフィルタである。畳み込み演算ステージ５０６及び５２２において生成されたブロック画像は、総和ブロック５０８によって総和が求められ、乗算ステージ５１０において０．５倍にされて、８×８ピクセルの擬似高解像度画像５１２が生成される。画像データが乗算ステージ５１０において０．５倍にされるのは、一実施形態では、サブフレーム３０Ｆ及び３０Ｇのそれぞれが、１つの色に割り当てられた期間あたりのタイムスロットの半分しか表示されないことによる。別の実施形態では、乗算ステージ５１０において０．５倍にするのではなく、ステージ５０６及び５２２における補間フィルタのフィルタ係数が、０．５倍に縮小される。
【００４８】
一実施形態では、図８に示して上述したように、低解像度サブフレームデータは、２つの個別のサブフレーム３０Ｆ及び３０Ｇによって表され、これらのサブフレームは、対角サンプリング行列（すなわち、分離可能なアップサンプリング）に基づいて別々にアップサンプリングされる。別の実施形態では、図９を参照して後述するように、低解像度サブフレームデータは、単一のサブフレームによって表され、この単一のサブフレームは、非対角サンプリング行列（すなわち、分離不能なアップサンプリング（non-separable upsampling））に基づいてアップサンプリングされる。
【００４９】
図９は、本発明の一実施形態による、８×４ピクセルの低解像度サブフレーム３０Ｈの分離不能なアップサンプリングに基づいて２位置処理用の擬似高解像度画像６１０を生成するシステム６００を示すブロック図である。このシステム６００は、５点形アップサンプリング（quincunx upsampling）ステージ６０２、畳み込み演算ステージ６０６、及び乗算ステージ６０８を含む。サブフレーム３０Ｈは、５点形サンプリング行列Ｑに基づいて５点形アップサンプリングステージ６０２によりアップサンプリングされ、それによって、アップサンプリング画像６０４が生成される。アップサンプリング画像６０４の黒のピクセルは、サブフレーム３０Ｈからの３２個のピクセルを表し、アップサンプリング画像６０４の白のピクセルは、０の値を表す。サブフレーム３０Ｈは、２位置処理用の２つの４×４ピクセルサブフレームのピクセルデータを含む。アップサンプリング画像６０４の第１行、第３行、第５行、及び第７行の黒のピクセルは、第１の４×４ピクセルサブフレーム用のピクセルを表し、アップサンプリング画像６０４の第２行、第４行、第６行、及び第８行の黒のピクセルは、第２の４×４ピクセルサブフレーム用のピクセルを表す。
【００５０】
アップサンプリング画像６０４は、畳み込み演算ステージ６０６において補間フィルタとの畳み込み演算を受け、それによって、ブロック画像が生成される。この図示した実施形態では、補間フィルタは、フィルタ係数「１」を有する２×２フィルタであって、畳み込み演算の中心がこの２×２行列の左上の位置にあるフィルタである。畳み込み演算ステージ６０６によって生成されたブロック画像は、乗算ステージ６０８において０．５倍にされて、８×８ピクセルの擬似高解像度画像６１０が生成される。
【００５１】
図１０は、本発明の一実施形態による、サブフレーム３０Ｉに基づいて４位置処理用の擬似高解像度画像７０６を生成するシステム７００を示すブロック図である。図１０に示す実施形態では、サブフレーム３０Ｉは、８×８配列のピクセルである。サブフレーム３０Ｉは、４位置処理用の４つの４×４ピクセルサブフレームのピクセルデータを含む。ピクセルＡ１〜Ａ１６は、第１の４×４ピクセルサブフレーム用のピクセルを表す。ピクセルＢ１〜Ｂ１６は、第２の４×４ピクセルサブフレーム用のピクセルを表す。ピクセルＣ１〜Ｃ１６は、第３の４×４ピクセルサブフレーム用のピクセルを表す。ピクセルＤ１〜Ｄ１６は、第４の４×４ピクセルサブフレーム用のピクセルを表す。
【００５２】
サブフレーム３０Ｉは、畳み込み演算ステージ７０２において補間フィルタとの畳み込み演算を受け、それによって、ブロック画像が生成される。この図示した実施形態では、補間フィルタは、フィルタ係数「１」を有する２×２フィルタであって、畳み込み演算の中心がこの２×２行列の左上の位置にあるフィルタである。畳み込み演算ステージ７０２によって生成されたブロック画像は、乗算ステージ７０４において０．２５倍にされて、８×８ピクセルの擬似高解像度画像７０６が生成される。画像データが乗算ステージ７０４において０．２５倍にされるのは、一実施形態では、サブフレーム３０Ｉによって表される４つのサブフレームのそれぞれが、１つの色に割り当てられた期間あたりのタイムスロットの４分の１しか表示されないことによる。別の実施形態では、乗算ステージ７０４において０．２５倍にするのではなく、補間フィルタのフィルタ係数が、それに応じて縮小される。
【００５３】
Ｖ．誤差最小化に基づくサブフレームの生成
上述したように、システム４００、５００、６００、及び７００は、低解像度サブフレームに基づいて、擬似高解像度画像４１２、５１２、６１０、及び７０６をそれぞれ生成する。サブフレームが最適なものであれば、これらの擬似高解像度画像は、元の高解像度画像２８に可能な限り類似することになる。平均２乗誤差、加重平均２乗誤差、及びそれ以外のものを含めて、さまざまな誤差メトリックを使用して、擬似高解像度画像が元の高解像度画像にどれだけ類似しているかを判断することができる。
【００５４】
図１１は、本発明の一実施形態による擬似高解像度画像４１２／５１２／６１０／７０６と所望の高解像度画像２８との比較を示すブロック図である。減算ステージ８０２において、高解像度画像２８から擬似高解像度画像４１２、５１２、６１０、又は７０６がピクセルごとに減算される。一実施形態では、その結果生成される誤差画像データが、人間視覚系（ＨＶＳ（human visual system））加重フィルタ（Ｗ）８０４によってフィルタリングされる。本発明の一形態では、ＨＶＳ加重フィルタ８０４は、人間視覚系の特性に基づく誤差画像データをフィルタリングする。一実施形態では、ＨＶＳ加重フィルタ８０４は、高周波誤差の削減又は除去を行う。次いで、フィルタリングされたデータの平均２乗誤差が、ステージ８０６において求められ、擬似高解像度画像４１２、５１２、６１０、又は７０６が、所望の高解像度画像２８にどれだけ類似しているかの尺度が提供される。
【００５５】
一実施形態では、システム４００、５００、６００、及び７００は、擬似高解像度画像４１２、５１２、６１０、又は７０６と元の高解像度画像２８との間の差を計測する誤差コスト式（error cost equation）により数学的に表される。最適なサブフレームが、擬似高解像度画像と所望の高解像度画像との最小誤差を提供するそのサブフレームデータの誤差コスト式を解くことにより特定される。一実施形態では、空間領域アルゴリズム及び周波数領域アルゴリズムにおいて大域的な最適解が得られ、適応型マルチパスアルゴリズムを使用して局所的な最適解が得られる。空間領域アルゴリズム、周波数領域アルゴリズム、及び適応型マルチパスアルゴリズムについては、図１２〜図１８を参照して以下にさらに詳述する。中心適応型マルチパスアルゴリズム及び簡易中心適応型マルチパスアルゴリズムについては、図１９〜図２３を参照して以下にさらに詳述する。履歴使用の適応型マルチパスアルゴリズム、履歴使用の簡易中心適応型マルチパスアルゴリズム、履歴使用の中心適応型マルチパスアルゴリズムについては、図２４〜図３２を参照して以下にさらに詳述する。
【００５６】
ＶＩ．空間領域
一実施形態による最適なサブフレームを生成する空間領域解を、図９に示すシステム６００との関連で説明する。図９に示すシステム６００は、以下の式ＩＸによる誤差コスト関数（error cost function）によって数学的に表すことができる。
【００５７】
＜式ＩＸ＞
【００５８】
【数１】
【００５９】
上記式において、
ｌ*Q＝サブフレーム３０Ｈの最適な低解像度データである。
Ｊ＝最小化されるべき誤差コスト関数である。
ｎ及びｋ＝画像６０４及び６１０の高解像度ピクセルの位置を特定するインデックスである。
ｌQ（ｋ）＝位置ｋにおけるアップサンプリング画像６０４からの画像データである。
ｆ（ｎ−ｋ）＝位置ｎ−ｋにおける補間フィルタのフィルタ係数である。
ｈ（ｎ）＝位置ｎにおける所望の高解像度画像２８の画像データである。
【００６０】
式ＩＸの「ｌQ（ｋ）ｆ（ｎ−ｋ）」の総和は、システム６００のステージ６０６において実行される、アップサンプリング画像６０４と補間フィルタｆとの畳み込み演算を表す。フィルタ演算は、基本的には、アップサンプリング画像６０４の各ピクセル上を、２×２補間フィルタの右下のピクセルをスライドさせることにより実行される。２×２補間フィルタウィンドウ内のアップサンプリング画像６０４の４つピクセルは、対応するフィルタ係数（すなわち、図示した実施形態では「１」）と乗算される。４つの乗算結果は、その総和が求められ、補間フィルタの右下の位置に対応するアップサンプリング画像６０４のピクセルの値が、４つの乗算結果の総和と取り替えられる。畳み込み演算値ｌQ（ｋ）ｆ（ｎ−ｋ）から高解像度画像２８からの高解像度データｈ（ｎ）が減算され、誤差値が提供される。高解像度ピクセルの位置の全体にわたる２乗誤差の総和は、最小化されるべき誤差の尺度を提供する。
【００６１】
以下の式Ｘに示すように、低解像度ピクセルのそれぞれについて式ＩＸの導関数を求め、その導関数を０に等しく設定することにより、最適な空間領域解を得ることができる。
【００６２】
＜式Ｘ＞
【００６３】
【数２】
【００６４】
上記式において、Θ＝５点形格子点（quincunx lattice point）の集合である。
【００６５】
したがって、式Ｘから分かるように、この導関数は、５点形格子点の集合においてのみ求められる。この５点形格子点は、図９のアップサンプリング画像６０４の黒のピクセルに対応する。式ＩＸで与えられるＪについての式を式Ｘに代入し、式Ｘで指定される導関数を求めると、以下の式ＸＩとなる。
【００６６】
＜式ＸＩ＞
【００６７】
【数３】
【００６８】
式ＸＩのシンボルＣffは、以下の式ＸＩＩによって定義される、補間フィルタｆの自己相関係数を表す。
【００６９】
＜式ＸＩＩ＞
【００７０】
【数４】
【００７１】
式ＸＩは、以下の式ＸＩＩＩに示すように、ベクトル形式に変換することができる。
【００７２】
＜式ＸＩＩＩ＞
【００７３】
【数５】
【００７４】
上記式において、
Ｃff＝補間フィルタｆの自己相関係数の行列である。
ｌ*Q＝サブフレーム３０Ｈの未知の画像データ及び「ドントケア」データ（すなわち、アップサンプリング画像６０４の白のピクセルに対応する画像データ）を表すベクトルである。
ｈf＝擬似高解像度画像６１０を、補間フィルタｆを使用してフィルタリングしたものを表すベクトルである。
【００７５】
「ドントケア」データ（すなわち、５点形格子点の集合Θに存在しないデータ）に対応する行及び列を消去すると、以下の式ＸＩＶとなる。
【００７６】
＜式ＸＩＶ＞
【００７７】
【数６】
【００７８】
上記式において、
【００７９】
【数７】
【００８０】
上記式ＸＩＶは、線形式の疎なシステムを表す疎な非テプリッツシステム（non-Toeplitz system）である。自己相関係数の行列は判明しており、擬似高解像度画像６１０のフィルタリングされたものを表すベクトルは判明しているので、式ＸＩＶを解いて、サブフレーム３０Ｈの最適画像データを求めることができる。一実施形態では、サブフレーム生成ユニット３６は、式ＸＩＶを解いて、サブフレーム３０を生成するように構成される。
【００８１】
ＶＩＩ．周波数領域
一実施形態による最適なサブフレーム３０を生成する周波数領域解を、図８に示すシステム５００との関連で説明する。周波数領域解を説明する前に、周波数領域解に適用可能な高速フーリエ変換（ＦＦＴ）のいくつかの性質を、図１２及び図１３を参照して説明する。
【００８２】
図１２は、本発明の一実施形態による４×４ピクセルのサブフレーム３０Ｊのアップサンプリングの周波数領域における効果を示す図である。図１２に示すように、サブフレーム３０Ｊは、アップサンプリングステージ９０２によって２倍にアップサンプリングされて、８×８ピクセルのアップサンプリング画像９０４が生成される。アップサンプリング画像９０４の黒のピクセルは、サブフレーム３０Ｊからの１６個のピクセルを表し、アップサンプリング画像９０４の白のピクセルは、０の値を表す。サブフレーム３０ＪのＦＦＴを求めると、結果は、画像（Ｌ）９０６になる。アップサンプリング画像９０４のＦＦＴを求めると、結果は、画像（ＬU）９０８になる。画像（ＬU）９０８は、４つの４×４ピクセル部分を含む。これらの４つの４×４ピクセル部分は、画像部分（Ｌ1）９１０Ａ、画像部分（Ｌ2）９１０Ｂ、画像部分（Ｌ3）９１０Ｃ、及び画像部分（Ｌ4）９１０Ｄである。図１２に示すように、画像部分９１０Ａ〜９１０Ｄは、それぞれ、画像９０６と同じである（すなわち、Ｌ1＝Ｌ2＝Ｌ3＝Ｌ4＝Ｌ）。
【００８３】
図１３は、本発明の一実施形態による８×８ピクセルのアップサンプリングサブフレーム９０４のシフトの周波数領域における効果を示す図である。図１３に示すように、アップサンプリングサブフレーム９０４は、シフトステージ１００２によってシフトされて、シフト画像１００４が生成される。アップサンプリングサブフレーム９０４のＦＦＴを求めると、結果は、画像（ＬU）１００６になる。シフト画像１００４のＦＦＴを求めると、結果は、画像（ＬUＳ）１００８になる。画像（ＬUＳ）１００８は、４つの４×４ピクセル部分を含む。これらの４つの４×４ピクセル部分は、画像部分（ＬＳ1）１０１０Ａ、画像部分（ＬＳ2）１０１０Ｂ、画像部分（ＬＳ3）１０１０Ｃ、及び画像部分（ＬＳ4）１０１０Ｄである。図１３に示すように、画像１００８は、複素指数Ｗと乗算された画像１００６と同じである（すなわち、ＬUＳ＝Ｗ・ＬU）。ここで、「・」は、点別乗算（pointwise multiplication）を示す。複素指数Ｗの値は、以下の式ＸＶによって与えられる。
【００８４】
＜式ＸＶ＞
【００８５】
【数８】
【００８６】
上記式において、
ｋ1＝ＦＦＴ領域における行の座標である。
ｋ2＝ＦＦＴ領域における列の座標である。
Ｍ＝画像の列数である。
Ｎ＝画像の行数である。
【００８７】
図８に示すシステム５００は、以下の式ＸＶＩによる誤差コスト関数によって数学的に表すことができる。
【００８８】
＜式ＸＶＩ＞
【００８９】
【数９】
【００９０】
上記式において、
（Ｌ*A，Ｌ*B）＝それぞれ、図８に示すサブフレーム３０Ｆ及び３０Ｇの最適なＦＦＴを表すベクトルである。
Ｊ＝最小化されるべき誤差コスト関数である。
ｉ＝平均されるＦＦＴブロックを特定するインデックスである（たとえば、図１２の画像９０８の場合、ｉ＝１がブロック９１０Ａに対応し、ｉ＝２がブロック９１０Ｂに対応し、ｉ＝３がブロック９１０Ｃに対応し、ｉ＝４がブロック９１０Ｄに対応する４つのブロックが平均される）。
Ｆ＝補間フィルタｆのＦＦＴを表す行列である。
ＬA＝図８に示すサブフレーム３０ＦのＦＦＴを表すベクトルである。
ＬB＝図８に示すサブフレーム３０ＧのＦＦＴを表すベクトルである。
Ｗ＝式ＸＶによって与えられる複素係数のＦＦＴを表す行列である。
Ｈ＝所望の高解像度画像２８のＦＦＴを表すベクトルである。
【００９１】
式ＸＶＩの上付き文字「Ｈ」は、エルミートを表す（すなわち、ＸHは、Ｘのエルミートである）。式ＸＶＩの文字の上にある「ハット」は、以下の式ＸＶＩＩで定義されるように、それらの文字が対角行列を表すことを示している。
【００９２】
＜式ＸＶＩＩ＞
【００９３】
【数１０】
【００９４】
ＬAの複素共役について式ＸＶＩの導関数を求め、この導関数を０に等しく設定すると、結果は、以下の式ＸＶＩＩＩとなる。
【００９５】
＜式ＸＶＩＩＩ＞
【００９６】
【数１１】
【００９７】
ＬBの複素共役について式ＸＶＩの導関数を求め、この導関数を０に等しく設定すると、結果は、以下の式ＸＩＸとなる。
【００９８】
＜式ＸＩＸ＞
【００９９】
【数１２】
【０１００】
式ＸＶＩＩＩ及びＸＩＸの文字の上にある水平バーは、それらの文字が、複素共役を表すことを示している（すなわち、
【０１０１】
【数１３】
【０１０２】
は、Ａの複素共役を表す）。
【０１０３】
式ＸＶＩＩＩ及びＸＩＸをＬA及びＬBについて解くと、結果は、以下の式ＸＸ及びＸＸＩとなる。
【０１０４】
＜式ＸＸ＞
【０１０５】
【数１４】
【０１０６】
＜式ＸＸＩ＞
【０１０７】
【数１５】
【０１０８】
式ＸＸ及びＸＸＩは、擬似逆フィルタリング（pseudo-inverse filtering）を使用して周波数領域で実施することができる。一実施形態では、サブフレーム生成ユニット３６が、式ＸＸ及びＸＸＩに基づいてサブフレーム３０を生成するように構成される。
【０１０９】
ＶＩＩＩ．適応型マルチパス
一実施形態による、サブフレーム３０を生成する適応型マルチパスアルゴリズムは、過去の誤差を使用して、サブフレームデータの評価を更新し、高速な収束及び低いメモリ必要量を提供する。一実施形態による適応型マルチパスの解を、図９に示すシステム６００との関連で説明する。図９に示すシステム６００は、以下の式ＸＸＩＩによる誤差コスト関数によって数学的に表すことができる。
【０１１０】
＜式ＸＸＩＩ＞
【０１１１】
【数１６】
【０１１２】
上記式において、
ｎ＝現時点の反復を特定するインデックスである。
Ｊ(n)（ｎ）＝反復ｎにおける誤差コスト関数である。
ｅ(n)（ｎ）＝誤差コスト関数Ｊ(n)（ｎ）の平方根である。
ｎ及びｋ＝画像６０４及び６１０の高解像度ピクセルの位置を特定するインデックスである。
ｌQ(n)（ｋ）＝位置ｋにおけるアップサンプリング画像６０４からの画像データである。
ｆ（ｎ−ｋ）＝位置ｎ−ｋにおける補間フィルタのフィルタ係数である。
ｈ（ｎ）＝位置ｎにおける所望の高解像度画像２８の画像データである。
【０１１３】
式ＸＸＩＩから分かるように、上記式ＩＸに示すように高解像度画像全体にわたって総和を求めることにより空間領域の大域誤差を最小化するのではなく、ｎの関数である空間領域の局所誤差が最小化されている。
【０１１４】
一実施形態では、平均最小２乗（ＬＭＳ）アルゴリズムを使用して、更新が求められる。この更新は、以下の式ＸＸＩＩＩによって表される。
【０１１５】
＜式ＸＸＩＩＩ＞
【０１１６】
【数１７】
【０１１７】
上記式において、
Θ＝５点形格子点（すなわち、図９のアップサンプリング画像６０４の黒のピクセル）の集合である。
α＝鮮鋭化係数（sharpening factor）である。
【０１１８】
式ＸＸＩＩの導関数を求めると、式ＸＸＩＩＩにおけるこの導関数の値が提供される。この式ＸＸＩＩの導関数は、以下の式ＸＸＩＶによって与えられる。
【０１１９】
＜式ＸＸＩＶ＞
【０１２０】
【数１８】
【０１２１】
一実施形態では、以下の式ＸＸＶによって表されるように、「影響領域（region of influence）」にわたる平均勾配を使用するブロックＬＭＳアルゴリズムを使用して、更新が実行される。
【０１２２】
＜式ＸＸＶ＞
【０１２３】
【数１９】
【０１２４】
上記式において、Ω＝影響領域である。
【０１２５】
図１４は、本発明の一実施形態によるアップサンプリング画像１１００のピクセルの影響領域（Ω）１１０６及び１１０８を示す図である。画像１１００のピクセル１１０２は、第１のサブフレームのピクセルに対応し、画像１１００のピクセル１１０４は、第２のサブフレームのピクセルに対応する。領域１１０６は、ピクセル１１０２の影響領域であり、２×２配列のピクセルを含み、この２×２配列の左上隅にピクセル１１０２を有する。同様に、領域１１０８は、ピクセル１１０４の影響領域であり、２×２配列のピクセルを含み、この２×２配列の左上隅にピクセル１１０４を有する。
【０１２６】
図１５は、本発明の一実施形態による適応型マルチパスアルゴリズムに基づく初期擬似高解像度画像１２０８の生成を示す図である。元の高解像度画像２８に基づいて、初期の１組の低解像度サブフレーム３０Ｋ−１及び３０Ｌ−１が生成される。この図示した実施形態では、この初期の１組のサブフレーム３０Ｋ−１及び３０Ｌ−１は、図５を参照して上述した最近傍アルゴリズムの一実施形態を使用して生成される。サブフレーム３０Ｋ−１及び３０Ｌ−１は、アップサンプリングされて、アップサンプリング画像１２０２が生成される。このアップサンプリング画像１２０２は、補間フィルタ１２０４との畳み込み演算を受け、それによって、ブロック画像が生成される。次いで、このブロック画像は、０．５倍にされて、擬似高解像度画像１２０８が生成される。この図示した実施形態では、補間フィルタ１２０４は、フィルタ係数「１」を有する２×２フィルタであって、畳み込み演算の中心がこの２×２行列の左上の位置にあるフィルタである。補間フィルタ１２０４の右下のピクセル１２０６は、画像１２０２の各ピクセル上に配置されて、そのピクセル位置のブロック値（blocked value）が求められる。図１５に示すように、補間フィルタ１２０４の右下のピクセル１２０６は、画像１２０２の第３行第４列のピクセルの上に配置され、このピクセルは、「０」の値を有する。そのピクセル位置のブロック値は、フィルタ係数をフィルタ１２０４のウィンドウ内のピクセル値と乗算して、その結果を加算することにより求められる。フレーム外の値は、「０」とみなされる。図示した実施形態の場合、画像１２０２の第３行第４列のピクセルのブロック値は、以下の式ＸＸＶＩによって与えられる。
【０１２７】
＜式ＸＸＶＩ＞
（１×０）＋（１×５）＋（１×５）＋（１×０）＝１０
【０１２８】
次いで、式ＸＸＶＩの値は、０．５倍にされて、その結果（すなわち５）が、初期擬似高解像度画像１２０８の第３行第４列のピクセル１２１０のピクセル値とされる。
【０１２９】
初期擬似高解像度画像１２０８が生成された後、補正データが生成される。図１６は、本発明の一実施形態による適応型マルチパスアルゴリズムに基づく補正データの生成を示す図である。図１６に示すように、元の高解像度画像２８から初期擬似高解像度画像１２０８が減算されて、誤差画像１３０２が生成される。この誤差画像１３０２の２×２ブロックのピクセルを平均することにより、補正サブフレーム１３１２及び１３１４が生成される。たとえば、誤差画像１３０２の第１列第１行のピクセル１３０８は、影響領域１３０４を有する。この影響領域１３０４内のピクセル値が平均されて、第１の補正値（すなわち０．７５）が生成される。この第１の補正値は、補正サブフレーム１３１２の第１列第１行のピクセルとして使用される。同様に、誤差画像１３０２の第２列第２行のピクセル１３１０は、影響領域１３０６を有する。この影響領域１３０６内のピクセル値が平均されて、第２の補正値（すなわち０．７５）が生成される。この第２の補正値は、補正サブフレーム１３１４の第１列第１行のピクセルとして使用される。
【０１３０】
補正サブフレーム１３１２の第１行第２列の補正値（すなわち１．３８）は、基本的には、図示した影響領域のボックス１３０４を右へ２列スライドさせて、ボックス１３０４内の４つのピクセルを平均することにより生成される。補正サブフレーム１３１２の第２行第１列の補正値（すなわち０．５０）は、基本的には、図示した影響領域のボックス１３０４を下へ２行スライドさせて、ボックス１３０４内の４つのピクセルを平均することにより生成される。補正サブフレーム１３１２の第２行第２列の補正値（すなわち０．７５）は、基本的には、図示した影響領域のボックス１３０４を右へ２列、下へ２行スライドさせて、ボックス１３０４内の４つのピクセルを平均することにより生成される。
【０１３１】
補正サブフレーム１３１４の第１行第２列の補正値（すなわち０．００）は、基本的には、図示した影響領域のボックス１３０６を右へ２列スライドさせて、ボックス１３０６内のピクセルを平均することにより生成される。フレーム外の値は、「０」とみなされる。補正サブフレーム１３１４の第２行第１列の補正値（すなわち０．３８）は、基本的には、図示した影響領域のボックス１３０６を下へ２行スライドさせて、ボックス１３０６内のピクセルを平均することにより生成される。補正サブフレーム１３１４の第２行第２列の補正値（すなわち０．００）は、基本的には、図示した影響領域のボックス１３０６を右へ２列、下へ２行スライドさせて、ボックス１３０６内の４つのピクセルを平均することにより生成される。
【０１３２】
補正サブフレーム１３１２及び１３１４を使用して、更新サブフレームが生成される。図１７は、本発明の一実施形態による適応型マルチパスアルゴリズムに基づく更新サブフレーム３０Ｋ−２及び３０Ｌ−２の生成を示す図である。図１７に示すように、更新サブフレーム３０Ｋ−２は、補正サブフレーム１３１２を鮮鋭化係数αと乗算して、初期サブフレーム３０Ｋ−１を加算することにより生成される。更新サブフレーム３０Ｌ−２は、補正サブフレーム１３１４を鮮鋭化係数αと乗算して、初期サブフレーム３０Ｌ−１を加算することにより生成される。この図示した実施形態では、鮮鋭化係数αは、０．８に等しい。
【０１３３】
一実施形態では、更新サブフレーム３０Ｋ−２及び３０Ｌ−２は、適応型マルチパスアルゴリズムの次の反復に使用されて、さらなる更新サブフレームが生成される。任意の所望の回数の反復を行ってもよい。何回かの反復の後、適応型マルチパスアルゴリズムを使用して生成されたサブフレームの値は、最適な値に収束する。一実施形態では、サブフレーム生成ユニット３６が、適応型マルチパスアルゴリズムに基づいてサブフレーム３０を生成するように構成される。
【０１３４】
図１５〜図１７を参照して上述した適応型マルチパスアルゴリズムの実施形態は、２位置処理用のものである。４位置処理の場合、式ＸＸＩＶは、以下の式ＸＸＶＩＩとなる。
【０１３５】
＜式ＸＸＶＩＩ＞
【０１３６】
【数２０】
【０１３７】
上記式において、ｌ(n)＝４つのサブフレーム３０の低解像度データである。
【０１３８】
そして、式ＸＸＩＩＩは、以下の式ＸＸＶＩＩＩとなる。
【０１３９】
＜式ＸＸＶＩＩＩ＞
【０１４０】
【数２１】
【０１４１】
４位置処理の場合、４つのサブフレームが存在する。したがって、低解像度データの量は、高解像度データの量と同じである。それぞれの高解像度グリッド点は、１つの誤差を与え、上記式ＸＸＶに表すような平均勾配の更新を行う必要はない。反対に、所与の位置の誤差が、更新を直接与える。
【０１４２】
上述したように、一実施形態では、適応型マルチパスアルゴリズムは、平均最小２乗（ＬＭＳ）技法を使用して、補正データを生成する。別の実施形態では、適応型マルチパスアルゴリズムは、凸射影（ＰＯＣＳ（projection on a convex set））技法を使用して、補正データを生成する。一実施形態によるＰＯＣＳ技法に基づく適応型マルチパスの解を、図９に示すシステム６００との関連で説明する。図９に示すシステム６００は、以下の式ＸＸＩＸによる誤差コスト関数により数学的に表すことができる。
【０１４３】
＜式ＸＸＩＸ＞
【０１４４】
【数２２】
【０１４５】
上記式において、
ｅ（ｎ）＝誤差コスト関数である。
ｎ及びｋ＝高解像度ピクセルの位置を特定するインデックスである。
ｌQ（ｋ）＝位置ｋにおけるアップサンプリング画像６０４からの画像データである。
ｆ（ｎ−ｋ）＝位置ｎ−ｋにおける補間フィルタのフィルタ係数である。
ｈ（ｎ）＝位置ｎにおける所望の高解像度画像２８の画像データである。
【０１４６】
ＰＯＣＳ技法の制約集合（constrained set）は、以下の式ＸＸＸにより定義される。
【０１４７】
＜式ＸＸＸ＞
【０１４８】
【数２３】
【０１４９】
上記式において、
Ｃ（ｎ）＝パラメータηによって境界が定められるアップサンプリング画像６０４からのすべてのサブフレームデータを含む制約集合である。
η＝誤差の大きさの境界制約である。
【０１５０】
現時点の反復のサブフレームピクセル値は、以下の式ＸＸＸＩに基づいて求められる。
【０１５１】
＜式ＸＸＸＩ＞
【０１５２】
【数２４】
【０１５３】
上記式において、
ｎ＝現時点の反復を特定するインデックスである。
λ＝緩和パラメータである。
‖ｆ‖＝補間フィルタの係数のノルムである。
【０１５４】
式ＸＸＸＩのシンボルｎ*は、誤差が最大である影響領域Ωの位置を表し、以下の式ＸＸＸＩＩによって定義される。
【０１５５】
＜式ＸＸＸＩＩ＞
【０１５６】
【数２５】
【０１５７】
図１８は、本発明の一実施形態によるＰＯＣＳ技法を使用した適応型マルチパスアルゴリズムに基づく補正データの生成を示す図である。一実施形態では、初期擬似高解像度画像１２０８が、図１５を参照して上述したものと同じ方法で生成され、元の高解像度画像２８から初期擬似高解像度画像１２０８が減算されて、誤差画像１３０２が生成される。次いで、上記式ＸＸＸＩが使用されて、誤差画像１３０２のデータから更新サブフレーム３０Ｋ−３及び３０Ｌ−３が生成される。図示した実施形態の場合、式ＸＸＸＩの緩和パラメータλは０．５に等しく、誤差の大きさの境界制約ηは１に等しいと仮定される。
【０１５８】
ＰＯＣＳ技法によると、図１６を参照して上述したように、影響領域内のピクセル値を平均して補正値を求めるのではなく、影響領域内の最大誤差ｅ（ｎ*）が特定される。次いで、更新ピクセル値が、式ＸＸＸＩからの適切な式を使用して生成される。この適切な式は、影響領域内の最大誤差ｅ（ｎ*）が、（この例ではη＝１であるので）１よりも大きいか、１よりも小さいか、又は１に等しいかによって決まる。
【０１５９】
たとえば、誤差画像１３０２の第１列第１行のピクセルは、影響領域１３０４を有する。この影響領域１３０４内における最大誤差は、１である（すなわち、ｅ（ｎ*）＝１）。式ＸＸＸＩを参照すると、ｅ（ｎ*）＝１の場合には、更新ピクセル値は、このピクセルの前の値に等しい。図１５を参照すると、サブフレーム３０Ｋ−１の第１列第１行のピクセルの前の値は、２である。したがって、このピクセルは、更新サブフレーム３０Ｋ−３において２の値を維持する。誤差画像１３０２の第２列第２行のピクセルは、影響領域１３０６を有する。この影響領域１３０６内における最大誤差は、１．５である（すなわち、ｅ（ｎ*）＝１．５）。式ＸＸＸＩを参照すると、ｅ（ｎ*）＞１の場合には、更新ピクセル値は、このピクセルの前の値の２分の１に、量（ｅ（ｎ*）−１）の２分の１を加算したものに等しく、１．２５と等しい。図１５を参照すると、サブフレーム３０Ｌ−１の第１列第１行のピクセルの前の値は、２である。したがって、このピクセルの更新値は、更新サブフレーム３０Ｌ−３において１．２５となる。
【０１６０】
影響領域のボックス１３０２及び１３０４は、基本的には、図１６を参照して上述したものと同じ方法で誤差画像１３０２内を移動して回り、式ＸＸＸＩに基づいて、更新サブフレーム３０Ｋ−３及び３０Ｌ−３の残りの更新値を生成する。
【０１６１】
ＩＸ．中心適応型マルチパス
一実施形態による、サブフレーム３０を生成する中心適応型マルチパスアルゴリズムは、過去の誤差を使用して、サブフレームデータの評価を更新し、高速な収束及び低いメモリ必要量を提供することができる。中心適応型マルチパスアルゴリズムは、上述した４位置適応型マルチパスアルゴリズムを変更したものである。中心適応型マルチパスアルゴリズムでは、４つのサブフレーム３０それぞれの中の各ピクセルが、元の高解像度画像２８内のピクセルに対してセンタリングされる。４つのサブフレームは、図３Ａ〜図３Ｅを参照して上述した４位置処理を使用して表示デバイス２６によって表示される。
【０１６２】
図１９Ａ〜図１９Ｅは、本発明の一実施形態による元の高解像度画像２８に関する４つのサブフレーム１４１２Ａ、１４２２Ａ、１４３２Ａ、及び１４４２Ａを表示したものを示す概略図である。図１９Ａに示すように、画像２８は８×８ピクセルを含み、ピクセル１４０４に例示のために陰影が付けてある。
【０１６３】
図１９Ｂは画像２８に関する第１のサブフレーム１４１２Ａを示す。サブフレーム１４１２Ａは、画像２８の第１のピクセルセットに対してセンタリングされた４×４ピクセルを含む。たとえば、サブフレーム１４１２Ａ内のピクセル１４１４は画像２８からのピクセル１４０４に対してセンタリングされる。
【０１６４】
図１９Ｃは画像２８に関する第２のサブフレーム１４２２Ａを示す。サブフレーム１４２２Ａは画像２８内の第２のピクセルセットに対してセンタリングされた４×４ピクセルを含む。たとえば、サブフレーム１４２２Ａ内のピクセルは画像２８からのピクセル１４０４の右側にあるピクセルに対してセンタリングされる。サブフレーム１４２２Ａ内の２つのピクセル１４２４及び１４２６は、画像２８からのピクセル１４０４に重なる。
【０１６５】
図１９Ｄは、画像２８に関する第３のサブフレーム１４３２Ａを示す。サブフレーム１４３２Ａは画像２８内の第３のピクセルセットに対してセンタリングされた４×４ピクセルを含む。たとえば、サブフレーム１４３２Ａ内のピクセルは画像２８からのピクセル１４０４の下にあるピクセルに対してセンタリングされる。サブフレーム１４３２Ａ内のピクセル１４３４及び１４３６は、画像２８からのピクセル１４０４に重なる。
【０１６６】
図１９Ｅは画像２８に関する第４のサブフレーム１４４２Ａを示す。サブフレーム１４４２Ａは画像２８内の第４のピクセルセットに対してセンタリングされた４×４ピクセルを含む。たとえば、サブフレーム１４４２Ａ内のピクセルは、画像２８からのピクセル１４０４の対角線上右下にあるピクセルに対してセンタリングされる。サブフレーム１４４２Ａ内のピクセル１４４４、１４４６、１４４８、及び１４５０は、画像２８からのピクセル１４０４に重なる。
【０１６７】
４つのサブフレーム１４１２Ａ、１４２２Ａ、１４３２Ａ、及び１４４２Ａが表示されると、９つのサブフレームピクセルが結合して、元の高解像度画像２８からの各ピクセルの表示表現を形成する。たとえば、９つのサブフレームピクセル：サブフレーム１４１２Ａからのピクセル１４１４、サブフレーム１４２２Ａからのピクセル１４２４及び１４２６、サブフレーム１４３２Ａからのピクセル１４３４及び１４３６、並びにサブフレーム１４４２Ａからのピクセル１４４４、１４４６、１４４８、及び１４５０が結合して、元の高解像度画像２８からのピクセル１４０４の表示表現を形成する。しかし、これら９つのサブフレームピクセルがピクセル１４０４の表示表現に対して与える光量は異なる。特に、サブフレーム１４２２Ａ及び１４３２Ａのそれぞれからのピクセル１４２４、１４２６、１４３４、及び１４３６はそれぞれ、図１９Ｃ及び図１９Ｄにピクセル１４０４に重なるピクセル１４２４、１４２６、１４３４、及び１４３６の一部のみで示すように、サブフレーム１４１２Ａからのピクセル１４１４のおよそ半分の光を与える。同様に、サブフレーム１４４２Ａからのピクセル１４４４、１４４６、１４４８、及び１４５０はそれぞれ、図１９Ｃ及び図１９Ｄにピクセル１４０４に重なるピクセル１４４４、１４４６、１４４８、及び１４５０の一部のみで示すように、サブフレーム１４１２Ａからのピクセル１４１４のおよそ１／４の光を与える。
【０１６８】
サブフレーム生成ユニット３６は、４つの初期サブフレーム１４１２Ａ、１４２２Ａ、１４３２Ａ、及び１４４２Ａを高解像度画像２８から生成する。一実施形態では、サブフレーム１４１２Ａ、１４２２Ａ、１４３２Ａ、及び１４４２Ａは、図５を参照して上述した最近傍アルゴリズムの一実施形態を使用して生成することができる。他の実施形態では、サブフレーム１４１２Ａ、１４２２Ａ、１４３２Ａ、及び１４４２Ａは他のアルゴリズムを使用して生成することができる。誤差処理のためにサブフレーム１４１２Ａ、１４２２Ａ、１４３２Ａ、及び１４４２Ａをアップサンプリングして、図２０にサブフレーム３０Ｍとして示すアップサンプリング画像を生成する。
【０１６９】
図２０は、本発明の一実施形態による中心適応型マルチパスアルゴリズムを使用してサブフレーム３０Ｍに基づいて４位置処理用の擬似高解像度画像１５０４を生成するシステム１５００を示すブロック図である。図２０に示す実施形態では、サブフレーム３０Ｍは８×８配列のピクセルである。サブフレーム３０Ｍは、４位置処理用の４つの４×４ピクセルサブフレームのピクセルデータを含む。ピクセルＡ１〜Ａ１６はサブフレーム１４１２Ａからのピクセルを表し、ピクセルＢ１〜Ｂ１６はサブフレーム１４２２Ａからのピクセルを表し、ピクセルＣ１〜Ｃ１６はサブフレーム１４３２Ａからのピクセルを表し、また、ピクセルＤ１〜Ｄ１６はサブフレーム１４４２Ａからのピクセルを表す。
【０１７０】
サブフレーム３０Ｍは、畳み込み演算ステージ１５０２において補間フィルタとの畳み込み演算を受け、それによって、擬似高解像度画像１５０４が生成される。図示した実施形態では、補間フィルタは、畳み込み演算の中心が３×３行列の中心位置である３×３フィルタである。第１行のフィルタ係数は「１／１６」、「２／１６」、「１／１６」であり、第２行のフィルタ係数は「２／１６」、「４／１６」、「２／１６」であり、また、最後の行のフィルタ係数は「１／１６」、「２／１６」、「１／１６」である。
【０１７１】
フィルタ係数は、９つのサブフレームピクセルの高解像度画像２８のピクセルの表示表現に対する相対比率を表す。上記図１９の例を想起すると、サブフレーム１４２２Ａ及び１４３２Ａのそれぞれからのピクセル１４２４、１４２６、１４３４、及び１４３６はそれぞれ、サブフレーム１４１２Ａからのピクセル１４１４のおよそ半分の光を与え、また、サブフレーム１４４２Ａからのピクセル１４４４、１４４６、１４４８、及び１４５０はそれぞれ、サブフレーム１４１２Ａからのピクセル１４１４のおよそ１／４の光を与える。サブフレームピクセル１４１４、１４２４、１４２６、１４３４、１４３６、１４４４、１４４６、１４４８、及び１４５０の値はそれぞれ、サブフレーム画像３０Ｍ内のＡ６、Ｂ５、Ｂ６、Ｃ２、Ｃ６、Ｄ１、Ｄ５、Ｄ２、及びＤ６のピクセルに対応する。したがって、擬似画像１５０４のピクセルＡ６SIM（図１９中のピクセル１４０４に対応する）は、サブフレーム画像３０Ｍ内の値から式ＸＸＸＩＩＩにおいて以下のように計算される。
【０１７２】
＜式ＸＸＸＩＩＩ＞
Ａ６SIM＝（（１×Ｄ１）＋（２×Ｃ２）＋（１×Ｄ２）＋（２×Ｂ５）＋（４×Ａ６）＋（２×Ｂ６）＋（１×Ｄ５）＋（２×Ｃ６）＋（１×Ｄ６））／１６
【０１７３】
画像データを１６で割り、９つのサブフレームピクセルが各表示ピクセルに与える相対比率を補正する。
【０１７４】
擬似高解像度画像１５０４の生成後、補正データが生成される。図２１は、本発明の一実施形態によるシステム１５２０において中心適応型マルチパスアルゴリズムを使用しての補正データの生成を示すブロック図である。減算ステージ１５２２において、高解像度画像２８から擬似高解像度画像１５０４がピクセルごとに減算される。一実施形態では、その結果生成される誤差画像データが、誤差フィルタ１５２６によってフィルタリングされて誤差画像１５３０が生成される。図示した実施形態では、誤差フィルタは、畳み込み演算の中心が３×３行列の中心位置である３×３フィルタである。第１行のフィルタ係数は「１／１６」、「２／１６」、「１／１６」であり、第２行のフィルタ係数は「２／１６」、「４／１６」、「２／１６」であり、最後の行のフィルタ係数は「１／１６」、「２／１６」、「１／１６」である。フィルタ係数は、低解像度サブフレームピクセルと高解像度画像２８の９つのピクセルとの相対差を表す。図１９Ｂに示すように、低解像度サブフレームピクセル１４１４の誤差画像１５３０の誤差値は、高解像度画像２８のピクセル１４０４及びピクセル１４０４に直に隣接する８つの高解像度ピクセルに対して測定される。上記フィルタ係数の場合、ピクセル１４０４の上下左右の高解像度ピクセルは、ピクセル１４１４に対応する誤差値を計算するに当たってピクセル１４０４の角に隣接する高解像度ピクセルの２倍に加重される。同様に、ピクセル１４０４は、ピクセル１４１４に対応する誤差値を計算するに当たってピクセル１４０４の上下左右の４つの高解像度ピクセルの２倍に加重される。
【０１７５】
初期サブフレーム１４１２Ａ、１４２２Ａ、１４３２Ａ、及び１４４２Ａのそれぞれに関連する４つの補正サブフレーム（図示せず）が、誤差画像１５３０から生成される。４つの更新サブフレーム１４１２Ｂ、１４２２Ｂ、１４３２Ｂ、及び１４４２Ｂが、補正サブフレームに鮮鋭化係数αを乗算し、初期サブフレーム１４１２Ａ、１４２２Ａ、１４３２Ａ、及び１４４２Ａをそれぞれ加算することによって生成される。鮮鋭化係数αは、中心適応型マルチパスアルゴリズムの反復ごとに異なってもよい。一実施形態では、鮮鋭化係数αは連続した反復ごとに低減してもよい。たとえば、鮮鋭化係数αは、１回目の反復では「３」であってもよく、２回目の反復では「１．８」であってもよく、また、３回目の反復では「０．５」であってもよい。
【０１７６】
一実施形態では、更新サブフレーム１４１２Ｂ、１４２２Ｂ、１４３２Ｂ、及び１４４２Ｂを中心適応型マルチパスアルゴリズムの次の反復に使用して、さらなる更新サブフレームを生成する。任意の所望の回数の反復を行ってもよい。何回かの反復後、中心適応型マルチパスアルゴリズムを使用して生成されるサブフレームの値は最適な値に収束する。一実施形態では、サブフレーム生成ユニット３６は、中心適応型マルチパスアルゴリズムに基づいてサブフレーム３０を生成するように構成される。
【０１７７】
上述した中心適応型マルチパスアルゴリズムの実施形態では、フィルタ係数の分子及び分母の値は２のベキ乗になるように選択された。２のベキ乗を使用することにより、デジタルシステムでの処理が早められる。中心適応型マルチパスアルゴリズムの他の実施形態では、他のフィルタ係数値を使用してもよい。
【０１７８】
他の実施形態では、今述べた中心適応型マルチパスアルゴリズムは、２位置処理用の２つのサブフレームを生成するように変更してもよい。２つのサブフレームは、図２Ａ〜図２Ｃを参照して上述したように２位置処理を使用して表示デバイス２６により表示される。２位置処理の場合、画像３０Ｍ（図２０に示す）内のピクセルＢ１〜Ｂ１６及びＣ１〜Ｃ１６はゼロであり、補間フィルタは、第１行の値が「１／８」、「２／８」、「１／８」であり、第２行の値が「２／８」、「４／８」、「２／８」であり、且つ、第３行の値が「１／８」、「２／８」、「１／８」である３×３配列を含む。２位置処理の誤差フィルタは、４位置処理の誤差フィルタと同じである。
【０１７９】
他の実施形態では、中心適応型マルチパスアルゴリズムは、各サブフレームピクセル値について各反復の計算を単一ステップに併合することによって任意の回数の反復をワンパスで行うことができる。このようにして、各サブフレームピクセル値が、各反復で明示的にシミュレーションサブフレーム、誤差サブフレーム、及び補正サブフレームを生成することなく生成される。むしろ、各サブフレームピクセル値は独立して、元の画像ピクセル値から計算される中間値から計算される。
【０１８０】
Ｘ．簡易中心適応型マルチパス
一実施形態によるサブフレーム３０を生成するための簡易中心適応型マルチパスアルゴリズムは、過去の誤差を用いてサブフレームデータの評価を更新し、高速な収束及び低いメモリ必要量を提供する。簡易中心適応型マルチパスアルゴリズムは、上述した４位置適応型マルチパスアルゴリズムを変更する。簡易中心適応型マルチパスアルゴリズムでは、４つのサブフレーム３０のそれぞれの各ピクセルが、図１９Ａ〜図１９Ｅを参照して上述したように元の高解像度画像２８のピクセルに対してセンタリングされる。４つのサブフレームは、図３Ａ〜図３Ｅを参照して上述したように４位置処理を用いて表示デバイス２６により表示される。
【０１８１】
図１９Ａ〜図１９Ｅを参照すると、サブフレーム生成ユニット３６は、高解像度画像２８から４つの初期サブフレーム１４１２Ａ、１４２２Ａ、１４３２Ａ、及び１４４２Ａを生成する。一実施形態では、サブフレーム１４１２Ａ、１４２２Ａ、１４３２Ａ、及び１４４２Ａは、図５を参照して上述した最近傍アルゴリズムの一実施形態を使用して生成されてもよい。他の実施形態では、サブフレーム１４１２Ａ、１４２２Ａ、１４３２Ａ、及び１４４２Ａは他のアルゴリズムを使用して生成されてもよい。誤差処理のために、サブフレーム１４１２Ａ、１４２２Ａ、１４３２Ａ、及び１４４２Ａをアップサンプリングして、図２２中にサブフレーム３０Ｍとして示すアップサンプリング画像を生成する。
【０１８２】
図２２は、本発明の一実施形態による簡易中心適応型マルチパスアルゴリズムを使用して、サブフレーム３０Ｎに基づいて４位置処理用の擬似高解像度画像１６０４を生成するシステム１６００を示すブロック図である。図２２に示す実施形態では、サブフレーム３０Ｎは８×８配列のピクセルである。サブフレーム３０Ｎは、４位置処理用の４つの４×４ピクセルサブフレームのピクセルデータを含む。ピクセルＡ１〜Ａ１６はサブフレーム１４１２Ａからのピクセルを表し、ピクセルＢ１〜Ｂ１６はサブフレーム１４２２Ａからのピクセルを表し、ピクセルＣ１〜Ｃ１６はサブフレーム１４３２Ａからのピクセルを表し、また、ピクセルＤ１〜Ｄ１６はサブフレーム１４４２Ａからのピクセルを表す。
【０１８３】
サブフレーム３０Ｎは、畳み込み演算ステージ１６０２において補間フィルタとの畳み込み演算を受け、それによって、擬似高解像度画像１６０４が生成される。図示した実施形態では、補間フィルタは、畳み込み演算の中心が３×３行列の中心位置である３×３フィルタである。第１行のフィルタ係数は「０」、「１／８」、「０」であり、第２行のフィルタ係数は「１／８」、「４／８」、「１／８」であり、また、最後の行のフィルタ係数は「０」、「１／８」、「０」である。
【０１８４】
フィルタ係数は、５つのサブフレームピクセルの高解像度画像２８のピクセルの表示表現に対する相対比率を近似する。上記図１９の例を想起すると、サブフレーム１４２２Ａ及び１４３２Ａのそれぞれからのピクセル１４２４、１４２６、１４３４、及び１４３６はそれぞれ、サブフレーム１４１２Ａからのピクセル１４１４のおよそ半分の光を与え、また、サブフレーム１４４２Ａからのピクセル１４４４、１４４６、１４４８、及び１４５０はそれぞれ、サブフレーム１４１２Ａからのピクセル１４１４のおよそ１／４の光を与える。簡易中心適応型マルチパスアルゴリズムを使用する場合、「角ピクセル」と呼ぶピクセル１４４４、１４４６、１４４８、及び１４５０からの寄与分は、角ピクセルに関連するフィルタ係数が０であることで示されるようにピクセル１４１４のピクセル値を計算するに当たって無視される。
【０１８５】
サブフレームピクセル１４１４、１４２４、１４２６、１４３４、１４３６、１４４４、１４４６、１４４８、及び１４５０の値は、サブフレーム画像３０Ｎ内のＡ６、Ｂ５、Ｂ６、Ｃ２、Ｃ６、Ｄ１、Ｄ５、Ｄ２、及びＤ６のピクセルにそれぞれ対応する。したがって、擬似画像１５０４のピクセルＡ６SIM（図１９中のピクセル１４０４に対応する）は、サブフレーム画像３０Ｎ内の値から式ＸＸＸＩＶにおいて以下のように計算される。
【０１８６】
＜式ＸＸＸＩＶ＞
Ａ６SIM＝（（０×Ｄ１）＋（１×Ｃ２）＋（０×Ｄ２）＋（１×Ｂ５）＋（４×Ａ６）＋（１×Ｂ６）＋（０×Ｄ５）＋（１×Ｃ６）＋（０×Ｄ６））／８
【０１８７】
式ＸＸＸＩＶを簡易化すると式ＸＸＸＶになる。
【０１８８】
＜式ＸＸＸＶ＞
Ａ６SIM＝（Ｃ２＋Ｂ５＋（４×Ａ６）＋Ｂ６＋Ｃ６）／８
【０１８９】
画像データを８で割り、５つのサブフレームピクセルが各表示ピクセルに与える相対比率を補正する。
【０１９０】
擬似高解像度画像１６０４の生成後、補正データが生成される。図２３は、本発明の一実施形態によるシステム１７００において中心適応型マルチパスアルゴリズムを使用しての補正データの生成を示すブロック図である。減算ステージ１７０２において、高解像度画像２８から擬似高解像度画像１６０４がピクセルごとに減算されて、誤差画像１７０４を生成する。
【０１９１】
初期サブフレーム１４１２Ａ、１４２２Ａ、１４３２Ａ、及び１４４２Ａのそれぞれに関連する４つの補正サブフレーム（図示せず）は、誤差画像１７０４から生成される。４つの更新サブフレーム１７０４Ａ、１７０４Ｂ、１７０４Ｃ、及び１７０４Ｄが、補正サブフレームに鮮鋭化係数αを乗算し、初期サブフレーム１４１２Ａ、１４２２Ａ、１４３２Ａ、及び１４４２Ａのそれぞれを加算することによって生成される。鮮鋭化係数αは、簡易中心適応型マルチパスアルゴリズムの反復ごとに異なってもよい。一実施形態では、鮮鋭化係数αは連続した反復ごとに低減してもよい。たとえば、鮮鋭化係数αは、１回目の反復では「３」であってもよく、２回目の反復では「１．８」であってもよく、また、３回目の反復では「０．５」であってもよい。
【０１９２】
一実施形態では、更新サブフレーム１７０４Ａ、１７０４Ｂ、１７０４Ｃ、及び１７０４Ｄを簡易中心適応型マルチパスアルゴリズムの次の反復に使用して、さらなる更新サブフレームを生成する。任意の所望の回数の反復を行ってもよい。何回かの反復後、簡易中心適応型マルチパスアルゴリズムを使用して生成されるサブフレームの値は最適な値に収束する。一実施形態では、サブフレーム生成ユニット３６は、中心適応型マルチパスアルゴリズムに基づいてサブフレーム３０を生成するように構成される。
【０１９３】
上述した簡易中心適応型マルチパスアルゴリズムの実施形態では、フィルタ係数の分子及び分母の値は２のベキ乗になるように選択された。２のベキ乗を使用することにより、デジタルシステムでの処理が早められる。簡易中心適応型マルチパスアルゴリズムの他の実施形態では、他のフィルタ係数値を使用してもよい。
【０１９４】
他の実施形態では、簡易中心適応型マルチパスアルゴリズムは、各サブフレームピクセル値について各反復の計算を単一ステップに併合することによって任意の回数の反復をワンパスで行うことができる。このようにして、各サブフレームピクセル値が、各反復で明示的にシミュレーションサブフレーム、誤差サブフレーム、及び補正サブフレームを生成することなく生成される。むしろ、各サブフレームピクセル値は独立して、元の画像ピクセル値から計算される中間値から計算される。
【０１９５】
ＸＩ．履歴使用の適応型マルチパス
一実施形態によるサブフレーム３０を生成する履歴使用の適応型マルチパスアルゴリズムは、過去の誤差を使用して、サブフレームデータの評価を更新し、高速な収束及び低いメモリ必要量を提供することができる。履歴使用の適応型マルチパスアルゴリズムは、履歴値を使用してアルゴリズムのワンパスでサブフレームを生成することによって上述した４位置適応型マルチパスアルゴリズムを変更する。４つのサブフレームを、図３Ａ〜図３Ｅを参照して上述した４位置処理を使用して表示デバイス２６で表示する。
【０１９６】
適応型マルチパスアルゴリズムを実施するための少なくとも２つの方法を使用することができる。第１に、適応型マルチパスアルゴリズムを、適応型マルチパスアルゴリズム、中心適応型マルチパスアルゴリズム、及び簡易中心適応型マルチパスアルゴリズムについて上述したように複数回反復して行うことができる。複数回の反復に伴い、（１）初期サブフレームが生成され、（２）擬似画像が生成され、（３）擬似画像を元の画像と比較することによって補正データが計算され、（４）補正データを使用して更新サブフレームが生成される。次いで、ステップ（２）〜（４）が各反復ごとに繰り返される。
【０１９７】
適応型マルチパスアルゴリズムは、各最終サブフレームピクセル値の影響領域を使用してワンパスで各最終サブフレームピクセル値を計算することによって実施することもできる。この方法では、影響領域のサイズは、図２４Ａ〜図２４Ｃに示すように行われる反復回数に対応する。後述するように、影響領域は図２７及び図３１に示すように簡易化することができる。
【０１９８】
図２４Ａ〜図２４Ｃは、適応型マルチパスアルゴリズムの異なる反復回数の場合のピクセル１８０２の影響領域を示すブロック図である。図２４Ａは、適応型マルチパスアルゴリズムを１回反復した場合の画像１８００のピクセル１８０２の影響領域１８０４を示す。図２４Ａに示すように、影響領域１８０４は４×４配列のピクセルを含み、ピクセル１８０２が図示のように影響領域１８０４の中心にある。影響領域１８０４は、適応型マルチパスアルゴリズムの１回の反復を使用してピクセル１８０２の初期値、擬似値、及び補正値を生成するために使用されるピクセル値を含む。
【０１９９】
適応型マルチパスアルゴリズムを２回反復する場合、影響領域１８０６は６×６配列に広がり、図２４Ｂに示すようにピクセル１８０２が影響領域１８０６の中心にある。ピクセル１８０２の影響領域１８０６は６×６配列のピクセルを含み、適応型マルチパスアルゴリズムの２回の反復を使用してピクセル１８０２の初期値、擬似値、及び補正値を生成するために使用されるピクセル値を含む。
【０２００】
図２４Ｃに示すように、影響領域１８０８は適応型マルチパスアルゴリズムを３回反復する場合、８×８配列にさらに広がる。ピクセル１８０２の影響領域１８０８は８×８配列のピクセルを含み、ピクセル１８０２が図示のように影響領域１８０８の中心にあり、適応型マルチパスアルゴリズムの３回の反復を使用してピクセル１８０２の初期値、擬似値、及び補正値を生成するために使用されるピクセル値を含む。特に、影響領域１８０８は画像１８００の８行を含む。
【０２０１】
影響領域のサイズは、ｎ回の反復の場合、影響領域が（２ｎ＋２）×（２ｎ＋２）配列を含むことに留意することによって一般化することができる。
【０２０２】
適応型マルチパスアルゴリズムを実施するためのワンパス方法では、各最終サブフレームピクセル値は、最終サブフレームピクセル値に対応するピクセル値に対して影響領域をシフトすることによって計算される。図２５は、適応型マルチパスアルゴリズムを３回反復する場合の画像１９００に対するピクセル１９０２の影響領域１９０４を示すブロック図である。図２５中、ピクセル１９０２に対応する最終サブフレームピクセル値は、影響領域１９０４が含むピクセル値を使用して計算される。ピクセル１９０６に対応する最終サブフレームピクセル値を計算するために、矢印１９０８で示すように影響領域１９０４を右に１ピクセル分（図示せず）にシフトさせる。同様に、矢印１９１２で示すように影響領域１９０４を下に１ピクセル分（図示せず）シフトさせて、ピクセル１９１０に対応する最終サブフレームピクセル値を計算する。
【０２０３】
一実施形態では、画像１９００の最終サブフレームピクセル値は、値が行ごとに左から右、上から下に計算されて最上行から始まって最下行で終わるラスタパターンで計算することができる。他の実施形態では、最終サブフレームピクセル値は他のパターン又は他の順序に従って計算することができる。
【０２０４】
図２６は、最終サブフレームピクセル値がラスタパターンで計算される適応マルチパルスアルゴリズムを３回反復する場合のピクセル２００２の影響領域２００４内の計算済み履歴値を示すブロック図である。影響領域２００４内の陰影付きピクセルは、履歴値、すなわちピクセル２００２の最終サブフレームピクセル値を計算する前に計算される最終サブフレームピクセル値を含む。ラスタパターンを使用する場合、最終サブフレームピクセル値は、ピクセル２００２より上の各行ごとに、またピクセル２００２と同じ行でピクセル２００２の左側にある各ピクセルごとに計算される。
【０２０５】
履歴値を使用し、初期値の最後の行を無視することにより、ピクセル２００２の図２６に示す影響領域２００４を簡易化することができる。図２７は、最終サブフレームピクセル値がラスタパターンで計算される履歴使用の適応型マルチパスアルゴリズムを３回反復する場合のピクセル２００２の簡易影響領域２００６内の計算済み履歴値を示すブロック図である。簡易影響領域２００６は５行、すなわち履歴値に１行２００８、履歴値及び初期値の両方に１行２０１０、及び初期値に３行２０１２を含む。簡易影響領域２００６は、影響領域２００４からの最初の２行の履歴値及び最後の１行の初期値を含まない。
【０２０６】
初期履歴値２００８は、元の画像の第１行からの対応するピクセル値に等しくセットしてもよく、又はゼロにセットしてもよい。行２０１０及び行２０１２中の初期値は最初にゼロにセットしてもよく、又は列２０１６からの計算済み初期値に等しくセットしてもよい。ピクセル２００２に対応する最終サブフレームピクセル値は、以下のアルゴリズムを使用して簡易影響領域２００６からの履歴値及び初期値を使用して計算することができる。
【０２０７】
まず、影響領域２００６の列２０１６中のピクセルの初期ピクセル値が、元の画像ピクセル値を使用して計算される。一実施形態では、初期ピクセル値は、各ピクセル値を他の３つのピクセル値と平均することによって計算される。他の実施形態では他のアルゴリズムを使用してもよい。次に、列２０１６中のピクセルの擬似ピクセル値が、初期ピクセル値のシミュレーションカーネルとの畳み込み演算によって計算される。シミュレーションカーネルは３×３配列を含み、第１行の値は「１／４」、「１／４」、及び「０」であり、第２行の値は「１／４」、「１／４」、及び「０」であり、第３行の値は「０」、「０」、及び「０」である。誤差値が、元の画像ピクセル値から擬似ピクセル値を減算することによって列２０１６中の各ピクセルごとに生成される。
【０２０８】
列２０１６の誤差値を計算した後、列２０１８中のピクセルの擬似ピクセル値が、初期ピクセル値のシミュレーションカーネルとの畳み込み演算によって計算される。誤差値が、元の画像ピクセル値から擬似ピクセル値を減算することによって列２０１８中の各ピクセルごとに生成される。列２０１８中のピクセルの補正値が、誤差値の誤差カーネルとの畳み込み演算によって計算される。誤差カーネルは３×３配列を含み、第１行の値は「０」、「０」、及び「０」であり、第２行の値は「０」、「１／４」、及び「１／４」であり、第３行の値は「０」、「１／４」、及び「１／４」である。列２０１８中のピクセルの適応ピクセル値が、補正値を鮮鋭化係数αと乗算し、その積を初期値に加算することによって計算される。
【０２０９】
列２０１８の適応ピクセル値を計算した後、列２０２０中のピクセルの擬似ピクセル値が、初期ピクセル値のシミュレーションカーネルとの畳み込み演算によって計算される。誤差値が、元の画像ピクセル値から擬似ピクセル値を減算することによって列２０２０中の各ピクセルごとに生成される。列２０２０中のピクセルの補正値が、誤差値の誤差カーネルとの畳み込み演算によって計算される。列２０２０中のピクセルの適応ピクセル値が、補正値を鮮鋭化係数αと乗算し、その積を初期値に加算することによって計算される。
【０２１０】
列２０２０の適応ピクセル値を計算した後、列２０２２中のピクセルの擬似ピクセル値が、初期ピクセル値のシミュレーションカーネルとの畳み込み演算によって計算される。誤差値が、元の画像ピクセル値から擬似ピクセル値を減算することによって列２０２２中の各ピクセルごとに生成される。列２０２２中のピクセルの補正値が、誤差値の誤差カーネルとの畳み込み演算によって計算される。
【０２１１】
ピクセル２００２に対応する最終サブフレームピクセル値は、上記アルゴリズムによって生成される値、履歴値、及び鮮鋭化係数αを使用して計算される。
【０２１２】
所与のピクセルに対応する最終サブフレームピクセル値を計算する際に使用される中間計算を、所与のピクセルに隣接するピクセルに対応する最終サブフレームピクセル値を計算する際に再利用することができる。たとえば、ピクセル２００２の最終サブフレームピクセル値を計算する際に使用される中間計算を、ピクセル２００２の右側にあるピクセルの最終サブフレームピクセル値を計算する際に再利用することができる。その結果、特定の冗長計算を省くことができる。
【０２１３】
上記アルゴリズムでの鮮鋭化係数αは、履歴使用の適応型マルチパスアルゴリズムを使用して異なる列の値を計算するに際して異なってもよい。たとえば、鮮鋭化係数αは、列２０１８の適応ピクセル値を計算する場合には「３」であってもよく、列２０２０の適応ピクセル値を計算する場合には「１．８」であってもよく、ピクセル２００２に対応する最終サブフレームピクセル値を計算する場合には「０．５」であってもよい。
【０２１４】
上記アルゴリズムについて適応型マルチパスアルゴリズムを３回反復する場合に関して説明したが、このアルゴリズムは、反復回数の影響領域に従って上記アルゴリズムで使用される列数及び／又は各列中のピクセル数を増減することにより、拡大又は縮小して任意の回数の反復に適用することができる。
【０２１５】
図２８は、最終サブフレームピクセル値がラスタパターンで計算される、履歴使用の適応型マルチパスアルゴリズムを３回反復する場合の画像１９００に対するピクセル２００２の簡易影響領域２００６を示すブロック図である。図２８では、ピクセル２００２に対応する最終サブフレームピクセル値が、上記アルゴリズムにおいて今述べたように影響領域２００６に含まれるピクセル値を使用して計算される。ピクセル２０２８に対応する最終サブフレームピクセル値を計算するために、矢印１９０８で示すように影響領域２００６を右に１ピクセル分（図示せず）シフトさせる。同様に、矢印１９１２で示すように影響領域２００６を下に１ピクセル分（図示せず）シフトさせて、ピクセル２０３０に対応する最終サブフレームピクセル値を計算する。
【０２１６】
図２９は、一実施形態によるサブフレーム生成ユニット３６の部分を示すブロック図である。この実施形態では、サブフレーム生成ユニット３６は、プロセッサ２１００、メインメモリ２１０２、コントローラ２１０４、及びメモリ２１０６を備える。コントローラ２１０４は、プロセッサ２１００、メインメモリ２１０２、及びメモリ２１０６に接続される。メモリ２１０６は、元の画像２８及びサブフレーム画像３０Ｐを含む比較的大きなメモリを含む。メインメモリ２１０２は、サブフレーム生成モジュール２１１０、一時変数２１１２、元の画像２８からの元の画像行２８Ａ、及びサブフレーム画像３０Ｐからのサブフレーム画像行３０Ｐ−１を含む比較的高速のメモリを含む。
【０２１７】
プロセッサ２１００は、コントローラ２１０４を使用してメインメモリ２１０２及びメモリ２１０６からの命令及びデータにアクセスする。プロセッサ２１００は、コントローラ２１０４を使用して命令を実行し、データをメインメモリ２１０２及びメモリ２１０６に記憶する。
【０２１８】
サブフレーム生成モジュール２１１０は、プロセッサ２１００により実行可能であり、履歴使用の適応型マルチパスアルゴリズムを実施するための命令を含む。プロセッサ２１００により実行されていることに応答して、サブフレーム生成モジュール２１１０は、元の画像行２８Ａ及びサブフレーム画像行３０Ｐ−１の組をメインメモリ２１０２にコピーさせる。サブフレーム生成モジュール２１１０は、履歴使用の適応型マルチパスアルゴリズムに従って元の画像行２８Ａ及びサブフレーム画像行３０Ｐ−１内のピクセル値を使用して、各行ごとに最終サブフレームピクセル値を生成させる。最終サブフレームピクセル値を生成するに当たり、サブフレーム生成モジュール２１１０は、一時的な値を一時変数２１１２として記憶させる。サブフレーム画像行の最終サブフレームピクセル値を生成した後、サブフレーム生成モジュール２１１０はその行をサブフレーム画像３０Ｐとして記憶させ、次の行のピクセル値を元の画像２８から読み出させて元の画像行２８Ａに記憶させる。
【０２１９】
サブフレーム生成モジュール２１１０が履歴使用の適応型マルチパスアルゴリズムの３回の反復を実施する一実施形態では、元の画像行２８Ａは元の画像２８からの４行を含む。他の実施形態では、元の画像行２８Ａは元の画像２８からの他の行数分の行を含む。
【０２２０】
一実施形態では、サブフレーム生成ユニット３６はサブフレーム画像３０Ｐから４つのサブフレームを生成する。４つのサブフレームは、図３Ａ〜図３Ｅを参照して上述した４位置処理を使用して表示デバイス２６で表示される。
【０２２１】
他の実施形態では、サブフレーム生成ユニット３６は、図２９に示す構成要素の機能を集積回路に組み込んだ特定用途向け集積回路（ＡＳＩＣ）を備える。こういった実施形態では、メインメモリ２１０２をＡＳＩＣに含めてもよく、メモリ２１０６はＡＳＩＣ内に含まれてもよく、又はＡＳＩＣ外にあってもよい。ＡＳＩＣは、ハードウェア構成要素とソフトウェア構成要素又はファームウェア構成要素との任意の組み合わせを含み得る。
【０２２２】
他の実施形態では、履歴使用の適応型マルチパスアルゴリズムを使用して、２位置処理の場合に２つのサブフレームを生成することができる。２つのサブフレームは、図２Ａ〜図２Ｃを参照して上述したように２位置処理を使用して表示デバイス２６で表示される。２位置処理の場合、シミュレーションカーネルは３×３配列を含み、第１行の値は「１／２」、「１／２」、「０」であり、第２行の値は「１／２」、「１／２」、「０」であり、第３行の値は「０」、「０」、「０」である。
【０２２３】
ＸＩＩ．履歴使用の簡易中心適応型マルチパス
一実施形態によるサブフレーム３０を生成するための履歴使用の簡易中心適応型マルチパスアルゴリズムは、過去の誤差を使用してサブフレームデータの評価を更新し、高速な収束及び低メモリ必要量を提供することができる。履歴使用の簡易中心適応型マルチパスアルゴリズムは、アルゴリズムのワンパスで４つのサブフレームを生成する際にシミュレーションカーネル内の値を変更し、誤差カーネルを省くことによって履歴使用の適応型マルチパスアルゴリズムを変更する。４つのサブフレームは、図３Ａ〜図３Ｅを参照して上述したように４位置処理を使用して表示デバイス２６で表示される。
【０２２４】
図２７を参照すると、初期履歴値２００８は、元の画像の第１行からの対応するピクセル値に等しくセットしてもよく、又はゼロにセットしてもよい。行２０１０及び行２０１２中の初期値は最初にゼロにセットしてもよく、又は列２０１６からの計算済み初期値に等しくセットしてもよい。ピクセル２００２に対応する最終サブフレームピクセル値は、以下のアルゴリズムを使用して簡易影響領域２００６からの履歴値及び初期値を使用して計算することができる。履歴使用の簡易中心適応型マルチパスアルゴリズムは以下のように実施することができる。
【０２２５】
第１に、列２０１６中のピクセルの初期ピクセル値が計算される。初期ピクセル値は、最近傍アルゴリズム又は他の任意の適したアルゴリズムを使用して計算してもよい。
【０２２６】
列２０１６の初期ピクセル値を計算した後、列２０１８中のピクセルの擬似ピクセル値が、初期ピクセル値のシミュレーションカーネルとの畳み込み演算によって計算される。シミュレーションカーネルは３×３配列を含み、第１行の値は「０」、「１／８」、及び「０」であり、第２行の値は「１／８」、「４／８」、及び「１／８」であり、第３行の値は「０」、「１／８」、及び「０」である。列２０１８中のピクセルの補正値が、元の画像ピクセル値から擬似ピクセル値を減算することによって計算される。列２０１８中のピクセルの適応ピクセル値が、鮮鋭化係数αで補正値を乗算し、その積を初期値に加算することによって計算される。
【０２２７】
列２０１８の擬似値を計算した後、列２０２０中のピクセルの擬似ピクセル値が、初期ピクセル値のシミュレーションカーネルとの畳み込み演算によって計算される。列２０２０中のピクセルの補正値が、元の画像ピクセル値から擬似ピクセル値を減算することによって計算される。列２０２０中のピクセルの適応ピクセル値が、鮮鋭化係数αで補正値を乗算し、その積を初期値に加算することによって計算される。
【０２２８】
列２０２０の擬似値を計算した後、列２０２２中のピクセルの擬似ピクセル値が、初期ピクセル値のシミュレーションカーネルとの畳み込み演算によって計算される。列２０２２中のピクセルの補正値が、元の画像ピクセル値から擬似ピクセル値を減算することによって計算される。
【０２２９】
ピクセル２００２に対応する最終サブフレームピクセル値が、上記アルゴリズムにより生成される値、履歴値、及び鮮鋭化係数αを使用して計算される。
【０２３０】
所与のピクセルに対応する最終サブフレームピクセル値を計算する際に使用される中間計算を、所与のピクセルに隣接するピクセルに対応する最終サブフレームピクセル値を計算する際に再利用することができる。たとえば、ピクセル２００２の最終サブフレームピクセル値を計算する際に使用される中間計算を、ピクセル２００２の右側にあるピクセルの最終サブフレームピクセル値を計算する際に再利用することができる。その結果、特定の冗長計算を省くことができる。
【０２３１】
上記アルゴリズムでの鮮鋭化係数αは、履歴使用の簡易中心適応型マルチパスアルゴリズムを使用して異なる列の値を計算するに際して異なってもよい。たとえば、鮮鋭化係数αは、列２０１８の適応ピクセル値を計算する場合には「３」であり、列２０２０の適応ピクセル値を計算する場合には「１．８」であり、ピクセル２００２に対応する最終サブフレームピクセル値を計算する場合には「０．５」であってもよい。
【０２３２】
上記アルゴリズムについて簡易中心適応型マルチパスアルゴリズムを３回反復する場合に関して説明したが、このアルゴリズムは、反復回数の影響領域に従って上記アルゴリズムで使用される列数及び各列中のピクセル数を増減することにより、拡大又は縮小して任意の回数の反復に適用することができる。
【０２３３】
サブフレーム生成ユニット３６の一実施形態では（図２９に示す）、サブフレーム生成モジュール２１１０が履歴使用の簡易中心適応型マルチパスアルゴリズムを実施する。別の実施形態では、サブフレーム生成ユニット３６は、履歴使用の簡易中心適応型マルチパスアルゴリズムを実施するＡＳＩＣを備える。
【０２３４】
ＸＩＩＩ．履歴使用の中心適応型カーネル
一実施形態によるサブフレーム３０を生成するための履歴使用の中心適応型マルチパスアルゴリズムは、過去の誤差を使用してサブフレームデータの評価を更新し、高速な収束及び低メモリ必要量を提供することができる。履歴使用の中心適応型マルチパスアルゴリズムはアルゴリズムのワンパスで２つのサブフレームを生成し、シミュレーションカーネル及び誤差カーネルを変更することによって履歴使用の適応型マルチパスアルゴリズムを変更する。履歴使用の中心適応型マルチパスアルゴリズムも、簡易影響領域に使用される履歴値行に関連する誤差値を生成し、これらの値を履歴値行と共に記憶する。２つのサブフレームは、図２Ａ〜図２Ｃを参照して上述した２位置処理を使用して表示デバイス２６で表示される。
【０２３５】
２位置処理の場合、図３０に示すように２つのサブフレームを絡み合わせて単一のサブフレーム画像２２００にすることができる。画像２２００内では、第１の種類の陰影付きで示されるピクセルセット２２０２は第１のサブフレームを含み、第２の種類の陰影付きで示されるピクセルセット２２０４は第２のサブフレームを含む。陰影の付いていない残りのピクセルセット２２０６は、使用されないサブフレームを表すゼロ値を含む。
【０２３６】
図３１は、最終サブフレームピクセル値がラスタパターンで計算される履歴使用の中心適応型マルチパスアルゴリズムを３回反復する場合のピクセル２２１２の簡易影響領域２２１０内のピクセル２２０２、ピクセル２２０４、履歴値２２２２（第３の種類の陰影付きで示される）、及び誤差値２２２４（第４の種類の陰影付きで示される）を示すブロック図である。簡易影響領域２２１０は５行、すなわち履歴値及び誤差値に１行２２１４、履歴値及び初期値に１行２２１６、並びに初期値に３行２２１８を含む。簡易影響領域２２１０は行２２１４より上の２行の履歴値及び誤差値、並びに行２２１８よりも下の行の初期値を含まない。
【０２３７】
誤差値２２２４はそれぞれ式ＸＸＸＶＩを使用して計算される。
【０２３８】
＜式ＸＸＸＶＩ＞
誤差＝（（１×誤差左ヒ゜クセル）＋（２×誤差）＋（１×誤差右ヒ゜クセル））／４
誤差値２２２４は、ピクセル値よりも多くのビットを含み得る符号付きの値であるため、式ＸＸＸＶＩを使用して計算される誤差値２２２４は、図３１に示すように行２２１４に記憶される前にマッピング又はルックアップテーブルを用いて調整される。以下の擬似コードを使用して、一実施形態により誤差値２２２４をマッピングすることができる。
ｔｅｍｐ＝誤差＿左＋２*誤差＋誤差＿右；／／１× ２× １×
ｔｅｍｐ＝ｔｅｍｐ／４；／／４で割る
ｉｆ（ｔｅｍｐ＜−１２７）ｔｅｍｐ＝−１２７；／／値のクリッピング
ｉｆ（ｔｅｍｐ＞１２７）ｔｅｍｐ＝１２７；／／値のクリッピング
ｔｅｍｐ＋＝１２７；／／シフトして非ゼロにする
【０２３９】
初期履歴値２２２２は、元の画像の第１行からの対応するピクセル値に等しくセットしてもよく、又はゼロにセットしてもよい。初期誤差値２２２４はゼロにセットしてもよい。行２２１６及び行２２１８中の初期値は最初にゼロにセットしてもよく、又は列２２２６からの計算済み初期値に等しくセットしてもよい。ピクセル２２１２に対応する最終サブフレームピクセル値は、以下のアルゴリズムを使用して簡易影響領域２２１０からの履歴値、誤差値、及び初期値を使用して計算することができる。
【０２４０】
第１に、影響領域２２１０の列２２２６中のピクセルの初期ピクセル値が、元の画像ピクセル値を使用して計算される。一実施形態では、初期ピクセル値は最近傍アルゴリズムを使用して計算される。他のアルゴリズムを他の実施形態で使用してもよい。次に、列２２２６中のピクセルの擬似ピクセル値が、初期ピクセル値の、２つのシミュレーションカーネルのうちの一方との畳み込み演算によって計算される。第１のシミュレーションカーネルは、ピクセル２２１２が非ゼロ値を含む場合に使用され、３×３配列を含み、第１行の値は「１／８」、「０」、及び「１／８」であり、第２行の値は「０」、「４／８」、及び「０」であり、第３行の値は「１／８」、「０」、及び「１／８」である。第２のシミュレーションカーネルは、ピクセル２２１２がゼロ値を含む場合に使用され、３×３配列を含み、第１行の値は「０」、「２／８」、及び「０」であり、第２行の値は「２／８」、「０」、及び「２／８」であり、第３行の値は「０」、「２／８」、及び「０」である。誤差値が、元の画像ピクセル値から擬似ピクセル値を減算することによって列２２２６中の各ピクセルごとに生成される。
【０２４１】
列２２２６の誤差値を計算した後、列２２２８中のピクセルの擬似ピクセル値が、初期ピクセル値の適切なシミュレーションカーネルとの畳み込み演算によって計算される。誤差値は、元の画像ピクセル値から擬似ピクセル値を減算することによって列２２２８中の各ピクセルごとに生成される。列２２２８中のピクセルの補正値が、誤差値の誤差カーネルとの畳み込み演算によって計算される。誤差カーネルは３×３配列を含み、第１行の値は「１／１６」、「２／１６」、及び「１／１６」であり、第２行の値は「２／１６」、「４／１６」、及び「２／１６」であり、第３行の値は「１／１６」、「２／１６」、及び「１／１６」である。列２２２８中のピクセルの適応ピクセル値は、鮮鋭化係数αで補正値を乗算し、その積を初期値に加算することによって計算される。
【０２４２】
列２２２８の適応ピクセル値を計算した後、列２２３０中のピクセルの擬似ピクセル値が、初期ピクセル値の適切なシミュレーションカーネルとの畳み込み演算によって計算される。誤差値が、元の画像ピクセル値から擬似ピクセル値を減算することによって列２２３０中の各ピクセルごとに生成される。列２２３０中のピクセルの補正値が、誤差値の誤差カーネルとの畳み込み演算によって計算される。列２２３０中のピクセルの適応ピクセル値が、鮮鋭化係数αで補正値を乗算し、その積を初期値に加算することによって計算される。
【０２４３】
列２２３０の適応ピクセル値を計算した後、列２２３２中のピクセルの擬似ピクセル値が、初期ピクセル値の適切なシミュレーションカーネルとの畳み込み演算によって計算される。誤差値が、元の画像ピクセル値から擬似ピクセル値を減算することによって列２２３２中の各ピクセルごとに生成される。列２２３２中のピクセルの補正値が、誤差値の誤差カーネルとの畳み込み演算によって計算される。
【０２４４】
ピクセル２２１２に対応する最終サブフレームピクセル値が、上記アルゴリズムにより生成される値、履歴値２２２２、誤差値２２２４、及び鮮鋭化係数αを使用して計算される。
【０２４５】
所与のピクセルに対応する最終サブフレームピクセル値を計算する際に使用される中間計算を、所与のピクセルに隣接するピクセルに対応する最終サブフレームピクセル値を計算する際に再利用することができる。たとえば、ピクセル２００２の最終サブフレームピクセル値を計算する際に使用される中間計算を、ピクセル２００２の右側にあるピクセルの最終サブフレームピクセル値を計算する際に再利用することができる。その結果、特定の冗長計算を省くことができる。
【０２４６】
上記アルゴリズムでの鮮鋭化係数αは、履歴使用の中心適応型マルチパスアルゴリズムを使用して異なる列の値を計算するに際して異なってもよい。たとえば、鮮鋭化係数αは、列２２２８の適応ピクセル値を計算する場合には「３」であり、列２２３０の適応ピクセル値を計算する場合には「１．８」であり、ピクセル２２１２に対応する最終サブフレームピクセル値を計算する場合には「０．５」であってもよい。
【０２４７】
上記アルゴリズムについて中心適応型マルチパスアルゴリズムを３回反復する場合に関して説明したが、このアルゴリズムは、反復回数の影響領域に従って上記アルゴリズムで使用される列数及び各列中のピクセル数を増減することにより、拡大又は縮小して任意の回数の反復に適用することができる。
【０２４８】
図３２は、最終サブフレームピクセル値がラスタパターンで計算される履歴使用の中心適応型マルチパスアルゴリズムを３回反復した場合の画像２３００に対するピクセル２２１２の簡易影響領域２２１０を示すブロック図である。図３２では、ピクセル２２１２に対応する最終サブフレームピクセル値が、上記アルゴリズムにおいて今述べたように影響領域２２１０が含むピクセル値を使用して計算される。ピクセル２３０２に対応する最終サブフレームピクセル値を計算するために、矢印２３０４で示すように影響領域２２１０を右に１ピクセル分（図示せず）シフトする。同様に、矢印２３０８で示すように影響領域２２１０を下に１ピクセル分（図示せず）シフトして、ピクセル２３０６に対応する最終サブフレームピクセル値を計算する。
【０２４９】
他の実施形態では、履歴使用の中心適応型マルチパスアルゴリズムを使用して、４位置処理で４つのサブフレームを生成することができる。４つのサブフレームは、図３Ａ〜図３Ｅを参照して上述した４位置処理を使用して表示デバイス２６で表示される。４位置処理の場合、シミュレーションカーネル及び誤差カーネルはそれぞれ３×３配列を含み、第１行の値は「１／１６」、「２／１６」、「１／１６」であり、第２行の値は「２／１６」、「４／１６」、「２／１６」であり、第３行の値は「１／１６」、「２／１６」「１／１６」である。さらに、履歴値行とは別個の誤差値行が上述したアルゴリズムにおいて使用される。
【０２５０】
他の実施形態では、履歴使用の中心適応型マルチパスアルゴリズムの誤差カーネルを省いてもよい。こういった実施形態では、誤差値行は図３１に示すように記憶されず、シミュレーションカーネルは３×３配列を含み、第１行の値は「１／１６」、「２／１６」、「１／１６」であり、第２行の値は「２／１６」、「４／１６」、「２／１６」であり、第３行の値は「１／１６」、「２／１６」、「１／１６」である。こういった変更を用いて、履歴使用の中心適応型マルチパスアルゴリズムを、履歴使用の簡易中心適応型マルチパスアルゴリズムについて上述した様式と同様に実施することができる。
【０２５１】
サブフレーム生成ユニット３６の一実施形態（図２９に示す）では、サブフレーム生成モジュール２１１０が履歴使用の中心適応型マルチパスアルゴリズムを実施する。別の実施形態では、サブフレーム生成ユニット３６は、履歴使用の中心適応型マルチパスアルゴリズムを実施するＡＳＩＣを備える。
【０２５２】
ＸＩＶ．ちらつきを低減した４位置処理
上述したようにサブフレーム３０を連続して表示するに際して、異なるサブフレームのサブフレームピクセル値間のばらつきは、表示画像に関連するちらつきに繋がる恐れがある。表示画像に関連するちらつきを低減するために、サブフレーム生成ユニット３６は、画像１２のサブフレームを２つ１組で２組、互いに独立して生成することにより４位置処理を実施する。表示デバイス２６は、図３Ａ〜図３Ｅ及び図４Ａ〜図４Ｅに示し上述した例に示すように２組からのサブフレームを４つの位置に表示する。
【０２５３】
図３３は、２つ１組のサブフレームを２組生成することにより４位置処理を行う方法を示すブロック図であり、図３４は、本発明の一実施形態により４位置処理を行う方法を示すフローチャートである。図３３及び図３４を参照すると、画像フレーム２８はピクセルＡ１〜Ａ４、Ｂ１〜Ｂ４、Ｃ１〜Ｃ４、及びＤ１〜Ｄ４を含む。画像フレーム２８を受け取ったことに応答して、サブフレーム生成ユニット３６は、矢印２４０２及びブロック２４５２で示すように、画像フレーム２８からの画像データの第１の部分及び第２の部分をそれぞれ使用して２つ１組で２組の初期サブフレーム２４０６及び２４０８を生成する。第１の組２４０６の２つの初期サブフレームは、画像フレーム２８からのピクセルＡ１〜Ａ４及びＤ１〜Ｄ４に関連するサブフレームピクセル値、並びにピクセルＢ１〜Ｂ４及びＣ１〜Ｃ４に関連する値にゼロ値を含む。第１の組２４０６の２つの初期サブフレームのうちの第１のサブフレームは、ピクセルＡ１〜Ａ４に関連するサブフレームピクセル値を含み、第１の組２４０６の２つの初期サブフレームのうちの第２のサブフレームは、ピクセルＤ１〜Ｄ４に関連するサブフレームピクセル値を含む。第２の組２４０８の２つの初期サブフレームは、画像フレーム２８からのピクセルＢ１〜Ｂ４及びＣ１〜Ｃ４に関連するサブフレームピクセル値、並びにピクセルＡ１〜Ａ４及びＤ１〜Ｄ４に関連する値にゼロ値を含む。第２の組２４０８の２つの初期サブフレームのうちの第１のサブフレームは、ピクセルＢ１〜Ｂ４に関連するサブフレームピクセル値を含み、第２の組２４０８の２つの初期サブフレームのうちの第２のサブフレームは、ピクセルＣ１〜Ｃ４に関連するサブフレームピクセル値を含む。
【０２５４】
サブフレーム生成ユニット３６は、ブロック２４５４に示すように、２つの初期サブフレームの組２４０６及び２４０８それぞれに、２つ１組のサブフレームを２組２４１６及び２４２８を生成する。特に、サブフレーム生成ユニット３６は、１組の２つの初期サブフレーム２４０６に対して処理を行い、矢印２４１２で示すように、Ａ１’〜Ａ４’に関連するサブフレームピクセル値を有するサブフレーム及びピクセルＤ１’〜Ｄ４’に関連するサブフレームピクセル値を有するサブフレームを含む第１の組の２つのサブフレーム２４１６を生成する。サブフレーム生成ユニット３６はまた、２つの初期サブフレームの組２４０８に対して処理を行い、矢印２４１４で示すように、Ｂ１’〜Ｂ４’に関連するサブフレームピクセル値を有するサブフレーム及びピクセルＣ１’〜Ｃ４’に関連するサブフレームピクセル値を有するサブフレームを含む第２の組の２つのサブフレーム２４１８を生成する。第１の組の２つのサブフレーム２４１６及び第２の組の２つのサブフレーム２４１８を生成するために、サブフレーム生成ユニット３６は、２位置適応型マルチパスアルゴリズム、２位置中心適応型マルチパスアルゴリズム、履歴使用の２位置適応型マルチパスアルゴリズム、履歴使用の２位置中心適応型マルチパスアルゴリズム、又は本明細書においてさらに詳細に後述する他の任意の２位置適応型マルチパスアルゴリズムを使用する。
【０２５５】
サブフレーム生成ユニット３６は、第１の組の２つのサブフレーム２４１６及び第２の組の２つのサブフレーム２４１８を、矢印２４２２で示すようにピクセルＡ１’〜Ａ４’、Ｂ１’〜Ｂ４’、Ｃ１’〜Ｃ４’、及びＤ１’〜Ｄ４’に関連するサブフレームピクセル値を含むサブフレーム３０Ｑに併合することができる。表示デバイス２６は、矢印２４３２及びブロック２４５６に示すように、ピクセルＡ１’〜Ａ４’に関連するサブフレームピクセル値を含むサブフレーム３０Ｑ−１を第１の位置に表示し、ピクセルＢ１’〜Ｂ４’に関連するサブフレームピクセル値を含むサブフレーム３０Ｑ−２を第２の位置に表示し、ピクセルＣ１’〜Ｃ４’に関連するサブフレームピクセル値を含むサブフレーム３０Ｑ−３を第３の位置に表示し、ピクセルＤ１’〜Ｄ４’に関連するサブフレームピクセル値を含むサブフレーム３０Ｑ−４を第４の位置に表示することによってサブフレーム３０Ｑを表示する。表示デバイス２６は、第１の位置が第４の位置から垂直及び水平にずれ、第２の位置が第３の位置から垂直及び水平にずれるようにサブフレーム３０Ｑ−１、３０Ｑ−２、３０Ｑ−３、及び３０Ｑ−４を表示する。
【０２５６】
２位置適応型マルチパスアルゴリズム、２位置中心適応型マルチパスアルゴリズム、履歴使用の２位置適応型マルチパスアルゴリズム、及び履歴使用の２位置中心適応型マルチパスアルゴリズムを使用して第１の組の２つのサブフレーム２４１６及び第２の組の２つのサブフレーム２４１８を生成することのさらなる詳細についてこれより説明する。
【０２５７】
２位置適応マルチパスアルゴリズムを使用して、第１の組の２つのサブフレーム２４１６及び第２の組の２つのサブフレーム２４１８を生成することができる。図３５は、本発明の一実施形態による、適応型マルチパスアルゴリズムを使用して２つの初期サブフレームの組２４０６及び２４０８に基づいて２位置処理する場合の疑似高解像度画像２５０４及び２５０６を生成するシステム２５００を示すブロック図である。
【０２５８】
２つの初期サブフレームの組２４０６及び２４０８はそれぞれ畳み込み演算ステージ２５０２において補間フィルタとの畳み込み演算を受け、それによって疑似高解像度画像２５０４及び２５０６のそれぞれを生成する。図示した実施形態では、補間フィルタは、畳み込み演算の中心が３×３行列の中心位置である３×３フィルタである。第１行のフィルタ係数は「１／２」、「１／２」、「０」であり、第２行のフィルタ係数は「１／２」、「１／２」、「０」であり、また最後の行のフィルタ係数は「０」、「０」、「０」である。
【０２５９】
疑似高解像度画像２５０４及び２５０６の生成後、補正データが生成される。図３６は、本発明の一実施形態によるシステム２５２０において適応型マルチパスアルゴリズムを使用しての補正データの生成を示すブロック図である。減算ステージ２５２２において、高解像度画像２８から疑似高解像度画像２５０４及び２５０６はそれぞれ、ピクセルごとに減算される。一実施形態では、その結果生成される誤差画像データセットが誤差フィルタ２５２６によってフィルタリングされて誤差画像２５３０及び２５３２が生成される。図示した実施形態では、誤差フィルタは、畳み込み演算の中心が３×３行列の中心位置である３×３フィルタである。第１行のフィルタ係数は「０」、「０」、「０」であり、第２行のフィルタ係数は「０」、「１／４」、「１／４」であり、また最後の行のフィルタ係数は「０」、「１／４」、「１／４」である。
【０２６０】
各組２４０６及び２４０８の２つの初期サブフレームの２つの補正サブフレーム（図示せず）組が、各誤差画像２５３０及び２５３２から生成される。２つの更新サブフレームの２組２４１６及び２４１８が、補正サブフレームの組を鮮鋭化係数αで乗算し、各組の初期サブフレームを加算することにより生成される。鮮鋭化係数αは、中心適応型マルチパスアルゴリズムの反復ごとに異なってもよい。一実施形態では、鮮鋭化係数αは連続した反復ごとに低減してもよい。たとえば、鮮鋭化係数αは、１回目の反復では「３」であってもよく、２回目の反復では「１．８」であってもよく、また、３回目の反復では「０．５」であってもよい。
【０２６１】
一実施形態では、更新サブフレームの組２４１６及び２４１８を適応型マルチパスアルゴリズムの次の反復に使用して、さらなる更新サブフレームを生成する。任意の所望の回数の反復を行ってもよい。何回かの反復後、適応型マルチパスアルゴリズムを使用して生成されるサブフレームの値は最適な値に収束する。一実施形態では、サブフレーム生成ユニット３６は、適応型マルチパスアルゴリズムに基づいてサブフレームの組２４１６及び２４１８を生成するように構成される。
【０２６２】
他の実施形態では、適応型マルチパスアルゴリズムは、各サブフレームピクセル値について各反復の計算を単一ステップに併合することによって任意の回数の反復をワンパスで行うことができる。このようにして、各サブフレームピクセル値が、各反復で明示的にシミュレーションサブフレーム、誤差サブフレーム、及び補正サブフレームを生成することなく生成される。むしろ、各サブフレームピクセル値は独立して、元の画像ピクセル値から計算される中間値から計算される。
【０２６３】
２位置中心適応型マルチパスアルゴリズムを使用して、２つのサブフレームの第１の組２４１６及び第２の組２４１８を生成することができる。図３７は、本発明の一実施形態による、中心適応型マルチパスアルゴリズムを使用しての２つの初期サブフレームの組２４０６及び２４０８に基づく２位置処理のための疑似高解像度画像２６０４及び２６０６を生成するシステム２６００を示すブロック図である。
【０２６４】
２つの初期サブフレームの組２４０６及び２４０８はそれぞれ、畳み込みステージ２６０２において補間フィルタとの畳み込み演算を受け、それによって疑似高解像度画像２６０４及び２６０６をそれぞれ生成する。図示した実施形態では、補間フィルタは、畳み込み演算の中心が３×３行列の中心位置である３×３フィルタである。第１行のフィルタ係数は「１／８」、「２／８」、「１／８」であり、第２行のフィルタ係数は「２／８」、「４／８」、「２／８」であり、また最後の行のフィルタ係数は「１／８」、「２／８」、「１／８」である。
【０２６５】
疑似高解像度画像２６０４及び２６０６の生成後、補正データが生成される。図３８は、本発明の一実施形態により、システム２６２０において適応型マルチパスアルゴリズムを使用しての補正データの生成を示すブロック図である。減算ステージ２６２２において、高解像度画像２８から疑似高解像度画像２６０４及び２６０６がピクセルごとに減算される。一実施形態では、その結果生成される誤差画像データセットが、誤差フィルタ２６２６によってフィルタリングされて誤差画像２６３０及び２６３２が生成される。図示した実施形態では、誤差フィルタは、畳み込み演算の中心が３×３行列の中心位置である３×３フィルタである。第１行のフィルタ係数は「１／１６」、「２／１６」、「１／１６」であり、第２行のフィルタ係数は「２／１６」、「４／１６」、「２／１６」であり、また最後の行のフィルタ係数は「１／１６」、「２／１６」、「１／１６」である。
【０２６６】
２つの初期サブフレームの各組２４０６及び２４０８の２つ１組の補正サブフレーム（図示せず）が、各誤差画像２６３０及び２６３２から生成される。２つ１組の更新サブフレームの２組２４１６及び２４１８が、補正サブフレームの組を鮮鋭化係数αで乗算し、初期サブフレームの各組を加算することにより生成される。鮮鋭化係数αは、中心適応型マルチパスアルゴリズムの反復ごとに異なってもよい。一実施形態では、鮮鋭化係数αは連続した反復ごとに低減してもよい。たとえば、鮮鋭化係数αは、１回目の反復では「３」であってもよく、２回目の反復では「１．８」であってもよく、また、３回目の反復では「０．５」であってもよい。
【０２６７】
一実施形態では、更新サブフレームの組２４１６及び２４１８を中心適応型マルチパスアルゴリズムの次の反復に使用して、さらなる更新サブフレームの組を生成する。任意の所望の回数の反復を行ってもよい。何回かの反復後、中心適応型マルチパスアルゴリズムを使用して生成されるサブフレームの値は最適な値に収束する。一実施形態では、サブフレーム生成ユニット３６は、適応型マルチパスアルゴリズムに基づいてサブフレームの組２４１６及び２４１８を生成するように構成される。
【０２６８】
他の実施形態では、中心適応型マルチパスアルゴリズムは、各サブフレームピクセル値について各反復の計算を単一ステップに併合することによって任意の回数の反復をワンパスで行うことができる。このようにして、各サブフレームピクセル値が、各反復で明示的にシミュレーションサブフレーム、誤差サブフレーム、及び補正サブフレームを生成することなく生成される。むしろ、各サブフレームピクセル値は独立して、元の画像ピクセル値から計算される中間値から計算される。
【０２６９】
２位置履歴使用適応型マルチパスアルゴリズムを使用して、２つのサブフレームの第１の組２４１６及び第２の組２４１８を生成することができる。２位置履歴使用適応型マルチパスアルゴリズムを使用して、サブフレーム生成ユニット３６は、履歴値及び各サブフレームピクセル値の影響領域中の初期値を使用して非ゼロの各初期サブフレームピクセル値に２つ１組のサブフレームの組２４１６及び２４１８のサブフレームピクセル値を計算する。
【０２７０】
４位置処理に関連してセクションＸＩに上述したように、サブフレームピクセル値を計算するための影響領域は、履歴値を使用し、最後の行の初期値を無視することによって簡易化することができる。図３９は、最終サブフレームピクセル値がラスタパターンで計算される、２位置履歴使用適応型マルチパスアルゴリズムを３回繰り返した場合の、ピクセル２７０２の簡易影響領域２７００中の計算済み履歴値を示すブロック図である。２位置処理の場合、ピクセル２７０２の簡易影響領域２７００は、暗い陰影で識別されるゼロ値２７０４を含む。簡易影響領域２７００は５行、すなわち履歴値及びゼロ値に１行２７０８、履歴値、初期値、及びゼロ値に１行２７１０、並びに初期値及びゼロ値に３行２７１２を含む。
【０２７１】
行２７０８中の初期履歴値は、元の画像の第１行からの対応するピクセル値に等しくセットしてもよく、又はゼロにセットしてもよい。行２７１０及び２７１２中の初期値は最初にゼロにセットしてもよく、又は列２７１６からの計算済み初期値に等しくセットしてもよい。ピクセル２７０２に対応する最終サブフレームピクセル値は、以下のように簡易影響領域２７００からの履歴値及び初期値を使用して計算することができる。
【０２７２】
まず、影響領域２７００の列２７１６中のピクセルの初期ピクセル値が、元の画像のピクセル値を使用して計算される。一実施形態では、初期ピクセル値は、各ピクセル値を他の３つのピクセル値と平均化することにより計算される。他の実施形態では他のアルゴリズムを使用してもよい。次に、列２７１６中のピクセルの疑似ピクセル値が、初期ピクセル値のシミュレーションカーネルとの畳み込み演算により計算される。シミュレーションカーネルは３×３配列を含み、第１行の値は「１／２」、「１／２」、及び「０」であり、第２行の値は「１／２」、「１／２」、及び「０」であり、３行目の値は「０」、「０」、及び「０」である。誤差値が、元の画像のピクセル値から疑似ピクセル値を減算することによって列２７１６中の各ピクセルごとに生成される。
【０２７３】
列２７１６の誤差値を計算した後、列２７１８中のピクセルの疑似ピクセル値が、初期ピクセル値のシミュレーションカーネルとの畳み込み演算によって計算される。誤差値は、元の画像のピクセル値から疑似ピクセル値を減算することによって列２７１８中の各ピクセルごとに生成される。列２７１８中のピクセルの補正値が、誤差値の誤差カーネルとの畳み込み演算によって計算される。誤差カーネルは３×３配列を含み、第１行の値は「０」、「０」、及び「０」であり、第２行の値は「０」、「１／４」、及び「１／４」であり、３行目の値は「０」、「１／４」、及び「１／４」である。列２７１８中のピクセルの適応ピクセル値は、鮮鋭化係数αで補正値を乗算し、その積を初期値に加算することによって計算される。
【０２７４】
列２７１８の適応ピクセル値を計算した後、列２７２０中のピクセルの疑似ピクセル値が、初期ピクセル値のシミュレーションカーネルとの畳み込み演算によって計算される。誤差値が、元の画像ピクセル値から疑似ピクセル値を減算することによって列２７２０中の各ピクセルごとに生成される。列２７２０中のピクセルの補正値が、誤差値の誤差カーネルとの畳み込み演算によって計算される。列２７２０中のピクセルの適応ピクセル値が、鮮鋭化係数αで補正値を乗算し、その積を初期値に換算することによって計算される。
【０２７５】
列２７２０の適応ピクセル値を計算した後、列２７２２中のピクセルの疑似ピクセル値が、初期ピクセル値のシミュレーションカーネルとの畳み込み演算によって計算される。誤差値が、元の画像ピクセル値から疑似ピクセル値を減算することによって列２７２２中の各ピクセルごとに生成される。列２７２２中のピクセルの補正値が、誤差値の誤差カーネルとの畳み込み演算によって計算される。
【０２７６】
ピクセル２７０２に対応する最終サブフレームピクセル値が、上記アルゴリズムにより生成される値、履歴値、及び鮮鋭化係数αを使用して計算される。
【０２７７】
所与のピクセルに対応する最終サブフレームピクセル値を計算する際に使用される中間計算を、所与のピクセルに隣接するピクセルに対応する最終サブフレームピクセル値を計算する際に再利用することができる。たとえば、ピクセル２７０２の最終サブフレームピクセル値を計算する際に使用される中間計算を、ピクセル２７０２の右側にあるピクセルの最終サブフレームピクセル値を計算する際に再利用することができる。その結果、特定の冗長計算を省くことができる。
【０２７８】
上記アルゴリズムでの、鮮鋭化係数αは、履歴使用の適応型マルチパスアルゴリズムを使用して異なる列の値を計算するに際して異なってもよい。たとえば、鮮鋭化係数αは、列２７１８の適応ピクセル値を計算する場合には「３」であり、列２７２０の適応ピクセル値を計算する場合には「１．８」であり、ピクセル２７０２に対応する最終サブフレームピクセル値を計算する場合には「０．５」であってもよい。
【０２７９】
上記アルゴリズムについて適応型マルチパスアルゴリズムを３回反復する場合に関して説明したが、このアルゴリズムは、反復回数の影響領域に従って上記アルゴリズムで使用される列数及び／又は各列中のピクセル数を増減することにより、拡大又は縮小して任意の回数の反復に適用することができる。
【０２８０】
２位置履歴使用中心適応型マルチパスアルゴリズムを使用して、２つのサブフレームの第１の組２４１６及び第２の組２４１８を生成することができる。２位置中心適応型マルチパスアルゴリズムについてはセクションＸＩＩＩにおいて上述した。２位置履歴使用中心適応型マルチパスアルゴリズムが使用される実施形態では、サブフレーム生成ユニット３６は、２つ１組の初期サブフレーム２４０６及び２つ１組のサブフレーム２４１６から前に計算されたサブフレームピクセル値（すなわち、履歴値）を使用して２つ１組のサブフレーム２４１６のサブフレームピクセル値を計算する。サブフレーム生成ユニット３６はまた、２つ１組の初期サブフレーム２４０８及び２つ１組のサブフレーム２４１８から前に計算されたサブフレームピクセル値（すなわち、履歴値）を使用して２つ１組のサブフレーム２４１８のサブフレームピクセル値も計算する。誤差値は、２つ１組のサブフレームの各組２４１６及び２４１８のサブフレームピクセル値を計算する際に２つ１組のサブフレームの各組２４０６及び２４０８のゼロ値に代えて一時的に記憶することができる。
【０２８１】
本明細書において述べた実施形態は従来の解決策に勝る利点を提供することができる。たとえば、自然画像及びビジネスグラフィックス等の高コントラスト画像を含む各種のグラフィカル画像の表示を向上させることができる。
【０２８２】
本明細書では、好ましい実施形態を説明する目的で、特定の実施形態を図示して説明してきたが、図示して説明したこれらの特定の実施形態の代わりに、多種多様の代替的な実施態様及び／又は均等な実施態様を、本発明の範囲から逸脱することなく使用できることが当業者には理解されよう。機械技術、電気機械技術、電気技術、及びコンピュータ技術の熟練者には、本発明を非常に多種多様な実施形態で実施できることが容易に理解されよう。本出願は、本明細書で解説した好ましい実施形態のあらゆる適応又は変形を網羅することを意図している。したがって、本発明は、特許請求の範囲及びその均等物によってのみ限定されることが意図されていることは明白である。
【図面の簡単な説明】
【０２８３】
【図１】本発明の一実施形態による画像表示システムを示すブロック図である。
【図２Ａ】本発明の一実施形態による２つのサブフレームのうちの１つを表示したものを示す概略図である。
【図２Ｂ】本発明の一実施形態による２つのサブフレームのうちの１つを表示したものを示す概略図である。
【図２Ｃ】本発明の一実施形態による２つのサブフレームを表示したものを示す概略図である。
【図３Ａ】本発明の一実施形態による４つのサブフレームのうちの１つを表示したものを示す概略図である。
【図３Ｂ】本発明の一実施形態による４つのサブフレームのうちの１つを表示したものを示す概略図である。
【図３Ｃ】本発明の一実施形態による４つのサブフレームのうちの１つを表示したものを示す概略図である。
【図３Ｄ】本発明の一実施形態による４つのサブフレームのうちの１つを表示したものを示す概略図である。
【図３Ｅ】本発明の一実施形態による４つのサブフレームを表示したものを示す概略図である。
【図４Ａ】本発明の一実施形態による画像表示システムによりピクセルを表示したものを示す概略図である。
【図４Ｂ】本発明の一実施形態による画像表示システムによりピクセルを表示したものを示す概略図である。
【図４Ｃ】本発明の一実施形態による画像表示システムによりピクセルを表示したものを示す概略図である。
【図４Ｄ】本発明の一実施形態による画像表示システムによりピクセルを表示したものを示す概略図である。
【図４Ｅ】本発明の一実施形態による画像表示システムによりピクセルを表示したものを示す概略図である。
【図５】本発明の一実施形態による最近傍アルゴリズムを使用した、元の高解像度画像からの低解像度サブフレームの生成を示す図である。
【図６】本発明の一実施形態による双一次アルゴリズムを使用した、元の高解像度画像からの低解像度サブフレームの生成を示す図である。
【図７】本発明の一実施形態による、擬似高解像度画像を生成するシステムを示すブロック図である。
【図８】本発明の一実施形態による、分離可能なアップサンプリングに基づいて２位置処理用の擬似高解像度画像を生成するシステムを示すブロック図である。
【図９】本発明の一実施形態による、分離不能なアップサンプリングに基づいて２位置処理用の擬似高解像度画像を生成するシステムを示すブロック図である。
【図１０】本発明の一実施形態による、４位置処理用の擬似高解像度画像を生成するシステムを示すブロック図である。
【図１１】本発明の一実施形態による擬似高解像度画像と所望の高解像度画像との比較を示すブロック図である。
【図１２】本発明の一実施形態によるサブフレームのアップサンプリングの周波数領域における効果を示す図である。
【図１３】本発明の一実施形態によるアップサンプリングサブフレームのシフトの周波数領域における効果を示す図である。
【図１４】本発明の一実施形態によるアップサンプリング画像のピクセルの影響領域を示す図である。
【図１５】本発明の一実施形態による適応型マルチパスアルゴリズムに基づく初期擬似高解像度画像の生成を示す図である。
【図１６】本発明の一実施形態による適応型マルチパスアルゴリズムに基づく補正データの生成を示す図である。
【図１７】本発明の一実施形態による適応型マルチパスアルゴリズムに基づく更新サブフレームの生成を示す図である。
【図１８】本発明の別の実施形態による適応型マルチパスアルゴリズムに基づく補正データの生成を示す図である。
【図１９Ａ】本発明の一実施形態による元の高解像度画像に関する４つのサブフレームを表示したものを示す概略図である。
【図１９Ｂ】本発明の一実施形態による元の高解像度画像に関する４つのサブフレームのうちの１つを表示したものを示す概略図である。
【図１９Ｃ】本発明の一実施形態による元の高解像度画像に関する４つのサブフレームのうちの１つを表示したものを示す概略図である。
【図１９Ｄ】本発明の一実施形態による元の高解像度画像に関する４つのサブフレームのうちの１つを表示したものを示す概略図である。
【図１９Ｅ】本発明の一実施形態による元の高解像度画像に関する４つのサブフレームのうちの１つを表示したものを示す概略図である。
【図２０】本発明の一実施形態による中心適応型マルチパスアルゴリズムを使用して、４位置処理用の擬似高解像度画像を生成するシステムを示すブロック図である。
【図２１】本発明の一実施形態による中心適応型マルチパスアルゴリズムを使用しての補正データの生成を示すブロック図である。
【図２２】本発明の一実施形態による簡易中心適応型マルチパスアルゴリズムを使用して、４位置処理用の擬似高解像度画像を生成するシステムを示すブロック図である。
【図２３】本発明の一実施形態による簡易中心適応型マルチパスアルゴリズムを使用しての補正データの生成を示すブロック図である。
【図２４Ａ】本発明の一実施形態による適応型マルチパスアルゴリズムの異なる反復回数の場合のピクセルの影響領域を示すブロック図である。
【図２４Ｂ】本発明の一実施形態による適応型マルチパスアルゴリズムの異なる反復回数の場合のピクセルの影響領域を示すブロック図である。
【図２４Ｃ】本発明の一実施形態による適応型マルチパスアルゴリズムの異なる反復回数の場合のピクセルの影響領域を示すブロック図である。
【図２５】本発明の一実施形態による画像に対するピクセルの影響領域を示すブロック図である。
【図２６】本発明の一実施形態によるピクセルの影響領域の計算済み履歴値を示すブロック図である。
【図２７】本発明の一実施形態によるピクセルの簡易影響領域の計算済み履歴値を示すブロック図である。
【図２８】本発明の一実施形態による画像に対するピクセルの簡易影響領域を示すブロック図である。
【図２９】本発明の一実施形態によるサブフレーム生成ユニットの部分を示すブロック図である。
【図３０】２位置処理の場合の絡み合わせたサブフレームを示すブロック図である。
【図３１】本発明の一実施形態によるピクセルの簡易影響領域の計算済み履歴値及び誤差値を示すブロック図である。
【図３２】本発明の一実施形態による画像に対するピクセルの簡易影響領域を示すブロック図である。
【図３３】本発明の一実施形態による４位置処理を行う方法を示すブロック図である。
【図３４】本発明の一実施形態による４位置処理を行う方法を示すフローチャートである。
【図３５】本発明の一実施形態による、適応型マルチパスアルゴリズムを使用しての２位置処理のための疑似高解像度画像を生成するシステムを示すブロック図である。
【図３６】本発明の一実施形態による適応型マルチパスアルゴリズムを使用しての補正データの生成を示すブロック図である。
【図３７】本発明の一実施形態による、中心適応型マルチパスアルゴリズムを使用しての２位置処理のための疑似高解像度画像を生成するシステムを示すブロック図である。
【図３８】本発明の一実施形態による中心適応型マルチパスアルゴリズムを使用しての補正データの生成を示すブロック図である。
【図３９】本発明の一実施形態によるピクセルの簡易影響領域中の計算済み履歴値を示すブロック図である。
【符号の説明】
【０２８４】
１０：画像表示システム
１２：画像
１４：表示画像
１６：画像データ
２０：フレームレート変換ユニット
２２：画像フレームバッファ
２４：画像処理ユニット
２６：表示デバイス
２８：画像フレーム
３０：画像サブフレーム
３２：アナログ／デジタル変換器
３４：解像度調整ユニット
３６：サブフレーム生成ユニット
３８：画像シフト装置
４０：タイミングジェネレータ
【技術分野】
【０００１】
（関連出願への相互参照）
本願は、２００２年８月７日出願の「IMAGE DISPLAY SYSTEM AND METHOD」と題する米国特許出願第１０／２１３，５５５号、２００２年９月１１日出願の「IMAGE DISPLAY SYSTEM AND METHOD」と題する米国特許出願第１０／２４２，１９５号、２００２年９月１１日出願の「IMAGE DISPLAY SYSTEM AND METHOD」と題する米国特許出願第１０／２４２，５４５号、２００３年７月３１日出願の「GENERATING AND DISPLAYING SPATIALLY OFFSET SUB-FRAMES」と題する米国特許出願第１０／６３１，６８１号、２００３年７月３１日出願の「GENERATING AND DISPLAYING SPATIALLY OFFSET SUB-FRAMES」と題する米国特許出願第１０／６３２，０４２号、２００３年９月２６日出願の「GENERATING AND DISPLAYING SPATIALLY OFFSET SUB-FRAMES」と題する米国特許出願第１０／６７２，８４５号、２００３年９月２６日出願の「GENERATING AND DISPLAYING SPATIALLY OFFSET SUB-FRAMES」と題する米国特許出願第１０／６７２，５４４号、２００３年１０月３０日出願の「GENERATING AND DISPLAYING SPATIALLY OFFSET SUB-FRAMES ON A DIAMOND GRID」と題する米国特許出願第１０／６９７，６０５号、２００３年１０月３０日出願の「GENERATING AND DISPLAYING SPATIALLY OFFSET SUB-FRAMES ON DIFFERENT TYPES OF GRIDS」と題する米国特許出願第１０／６９６，８８８号、２００３年１０月３０日出願の「IMAGE DISPLAY SYSTEM AND METHOD」と題する米国特許出願第１０／６９７，８３０号、２００３年１２月３１日出願の「DISPLAYING SPATIALLY OFFSET SUB-FRAMES WITH A DISPLAY DEVICE HAVING A SET OF DEFECTIVE DISPLAY PIXELS」と題する米国特許出願第１０／７５０，５９１号、２００４年１月３０日出願の「GENERATING AND DISPLAYING SPATIALLY OFFSET SUB-FRAMES」と題する米国特許出願第１０／７６８，６２１号、２００４年１月３０日出願の「DISPLAYING SUB-FRAMES AT SPATIALLY OFFSET POSITIONS ON A CIRCLE」と題する米国特許出願第１０／７６８，２１５号、２００４年４月８日出願の「GENERATING AND DISPLAYING SPATIALLY OFFSET SUB-FRAMES」と題する米国特許出願第１０／８２１，１３５号、２００４年４月８日出願の「GENERATING AND DISPLAYING SPATIALLY OFFSET SUB-FRAMES」と題する米国特許出願第１０／８２１，１３０号、２００４年４月８日出願の「GENERATING AND DISPLAYING SPATIALLY OFFSET SUB-FRAMES」と題する米国特許出願第１０／８２０，９５２号、 年 月 日出願の「GENERATING AND DISPLAYING SPATIALLY OFFSET SUB-FRAMES」と題する米国特許出願第 号（整理番号２００４０１４１２−１）、 年 月 日出願の「GENERATING AND DISPLAYING SPATIALLY OFFSET SUB-FRAMES」と題する米国特許出願第 号（整理番号２００４０２８４２−１）に関連する。上記米国特許出願のそれぞれは本発明の譲受人に譲渡され、参照により本明細書に援用される。
【背景技術】
【０００２】
ディスプレイ、プロジェクタ、又は他の画像形成システム等、画像を表示するための従来のシステム又はデバイスは、横方向の行及び縦方向の列に整列された個々の画素又はピクセルの配列をアドレス指定することにより表示画像を生成する。表示画像の解像度は、表示画像を形成する横方向の行及び縦方向の列の個々のピクセルの個数として定義される。表示画像の解像度は、表示デバイス自体の解像度、及び、表示デバイスによって処理され、表示画像を生成するために使用される画像データの解像度によって影響を受ける。
【０００３】
通常、表示画像の解像度を向上させるには、表示デバイスの解像度、及び、表示画像を生成するために使用される画像データの解像度を向上させなければならない。しかしながら、表示デバイスの解像度を向上させると、表示デバイスのコスト及び複雑さが増加する。これに加えて、解像度をより高くした画像データが利用可能でないことがあり、且つ／又は、その生成が困難なことがある。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
自然画像及びビジネスグラフィックス等の高コントラスト画像を含む各種のグラフィカル画像の表示を向上させることができることが望まれる。グラフィカル画像の生成及び表示に関連する画像のちらつきの量を低減することが望まれる。
【課題を解決するための手段】
【０００５】
（概要）
本発明の一形態は、表示デバイスを使用して画像を表示する方法を提供する。方法は、画像の第１の部分及び第２の部分を含む画像データを受け取ること、第１の部分及びシミュレーションカーネルを使用して第１の複数のサブフレームを生成すること、第１の複数のサブフレームを生成することから独立して、第２の部分及びシミュレーションカーネルを使用して第２の複数の更新サブフレームを生成すること、並びに、第１の複数の更新サブフレームのうちの第１のサブフレームを第１の位置に表示すること、第１の複数の更新サブフレームのうちの第２のサブフレームを、第１の位置から空間的にずれた第２の位置に表示すること、第２の複数の更新サブフレームのうちの第１のサブフレームを、第１の位置及び第２の位置から空間的にずれた第３の位置に表示すること、及び第２の複数の更新サブフレームのうちの第２のサブフレームを、第１の位置、第２の位置、及び第３の位置から空間的にずれた第４の位置に表示することを交互に行うことを含む。
【発明を実施するための最良の形態】
【０００６】
（詳細な説明）
好ましい実施形態の以下の詳細な説明では、添付図面を参照する。添付図面は、この詳細な説明の一部を成す。添付図面には、本発明を実施することができる特定の実施形態を例示として示す。他の実施形態を利用することもでき、本発明の範囲から逸脱することなく、構造的又は論理的な変更を行うこともできることが理解されるべきである。したがって、以下の詳細な説明は、限定の意味に取られるべきではなく、本発明の範囲は、添付の特許請求の範囲によって画定される。
【０００７】
Ｉ．サブフレームの空間シフト及び時間シフト
いくつかのデジタルライトプロジェクタ等、表示システムの中には、いくつかの高解像度の画像を表示するのに十分な解像度を有さないものがある。このようなシステムは、空間シフト及び時間シフトされた低解像度の画像を表示することにより、より高解像度の画像の外観を人間の眼に与えるように構成することができる。低解像度の画像は、サブフレームと呼ばれる。サブフレーム生成上の問題は、本発明の実施形態によって取り組まれるものであるが、表示されるサブフレームが、そのサブフレームを導出した高解像度の画像が直接表示されたならば見えるであろう程度に外観上近くなるように、サブフレームの適切な値を決定することである。
【０００８】
向上した解像度の外観を、サブフレームの時間シフト及び空間シフトを通じて提供する表示システムの一実施形態は、引用した上記米国特許出願に記載されており、図１〜図４Ｅを参照して以下に概要を説明する。
【０００９】
図１は、本発明の一実施形態による画像表示システム１０を示すブロック図である。この画像表示システム１０は、画像１２の処理を促進して、表示画像１４を作成する。画像１２は、あらゆる描画用文字、図形文字、及び／若しくはテキスト文字、シンボル、イラスト、並びに／又は他の情報表現を包含するように定義される。画像１２は、たとえば、画像データ１６によって表される。画像データ１６は、画像１２の個々の画素又はピクセルを含む。画像表示システム１０が処理するものとして、１つの画像を例示して説明するが、画像表示システム１０は、複数の画像又は一連の画像を処理して表示することができることが理解されよう。
【００１０】
一実施形態では、画像表示システム１０は、フレームレート変換ユニット２０及び画像フレームバッファ２２、画像処理ユニット２４、並びに表示デバイス２６を含む。後述するように、フレームレート変換ユニット２０及び画像フレームバッファ２２は、画像１２用の画像データ１６を受け取ってバッファリングし、画像１２用の画像フレーム２８を作成する。画像処理ユニット２４は、画像フレーム２８を処理して、画像フレーム２８用の１つ又は複数の画像サブフレーム３０を規定し、表示デバイス２６は、画像サブフレーム３０を時間的且つ空間的に表示して、表示画像１４を生成する。
【００１１】
フレームレート変換ユニット２０及び／又は画像処理ユニット２４を含めて、画像表示システム１０は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせを含む。一実施形態では、フレームレート変換ユニット２０及び／又は画像処理ユニット２４を含めて、画像表示システム１０の１つ又は複数の構成要素は、コンピュータ、コンピュータサーバ、又は一続きの論理演算を実行できる他のマイクロプロセッサベースのシステムに含まれる。さらに、処理をシステム全体にわたって分散させて、個々の部分を個別のシステム構成要素で実施することもできる。
【００１２】
画像データ１６は、デジタル画像データ１６１を含むこともでき、又はアナログ画像データ１６２を含むこともできる。アナログ画像データ１６２を処理するために、画像表示システム１０は、アナログ／デジタル（Ａ／Ｄ）変換器３２を含む。したがって、Ａ／Ｄ変換器３２は、アナログ画像データ１６２を後続の処理のためにデジタル形式に変換する。このように、画像表示システム１０は、画像１２用のデジタル画像データ１６１及び／又はアナログ画像データ１６２を受け取って処理することができる。
【００１３】
フレームレート変換ユニット２０は、画像１２用の画像データ１６を受け取って、画像フレームバッファ２２に画像データ１６をバッファリング又は記憶する。より具体的には、フレームレート変換ユニット２０は、画像１２の個々のライン又はフィールドを表す画像データ１６を受け取って、画像フレームバッファ２２に画像データ１６をバッファリングし、画像１２用の画像フレーム２８を作成する。画像フレームバッファ２２は、画像フレーム２８用の画像データのすべてを受け取って記憶することにより、画像データ１６をバッファリングし、フレームレート変換ユニット２０は、その後、画像フレームバッファ２２から画像フレーム２８用の画像データのすべてを検索又は抽出することにより、画像フレーム２８を作成する。したがって、画像フレーム２８は、画像１２の全体を表す画像データ１６の複数の個々のライン又はフィールドを包含するように規定される。このように、画像フレーム２８は、画像１２を表す複数の列及び複数の行の個々のピクセルを含む。
【００１４】
フレームレート変換ユニット２０及び画像フレームバッファ２２は、プログレッシブ画像データ及び／又はインターレース画像データとして画像データ１６を受け取って処理することができる。プログレッシブ画像データの場合、フレームレート変換ユニット２０及び画像フレームバッファ２２は、画像１２用の画像データ１６の連続したフィールドを受け取って記憶する。したがって、フレームレート変換ユニット２０は、画像１２用の画像データ１６の連続したフィールドを検索することにより、画像フレーム２８を作成する。インターレース画像データの場合、フレームレート変換ユニット２０及び画像フレームバッファ２２は、画像１２用の画像データ１６の奇数フィールド及び偶数フィールドを受け取って記憶する。たとえば、画像データ１６の奇数フィールドのすべてが受け取られて記憶され、画像データ１６の偶数フィールドのすべてが受け取られて記憶される。したがって、フレームレート変換ユニット２０は、画像１２用の画像データ１６の奇数フィールド及び偶数フィールドを検索することにより、画像データ１６のインターレースを解除して、画像フレーム２８を作成する。
【００１５】
画像フレームバッファ２２は、それぞれの画像１２の１つ又は複数の画像フレーム２８用の画像データ１６を記憶するためのメモリを含む。したがって、画像フレームバッファ２２は、１つ又は複数の画像フレーム２８のデータベースを構成する。画像フレームバッファ２２の例には、不揮発性メモリ（たとえば、ハードディスクドライブ又は他の永続的記憶デバイス）が含まれ、揮発性メモリ（たとえば、ランダムアクセスメモリ（ＲＡＭ））が含まれてもよい。
【００１６】
フレームレート変換ユニット２０において画像データ１６を受け取り、画像フレームバッファ２２により画像データ１６をバッファリングすることにより、画像データ１６の入力タイミングを、表示デバイス２６のタイミング要件から切り離すことができる。より具体的には、画像フレーム２８用の画像データ１６は、画像フレームバッファ２２により受け取られて記憶されるので、画像データ１６をあらゆるレートの入力として受け取ることができる。したがって、画像フレーム２８のフレームレートを表示デバイス２６のタイミング要件に変換することができる。このように、画像フレーム２８用の画像データ１６を、表示デバイス２６のフレームレートで画像フレームバッファ２２から抽出することができる。
【００１７】
一実施形態では、画像処理ユニット２４は、解像度調整ユニット３４及びサブフレーム生成ユニット３６を含む。後述するように、解像度調整ユニット３４は、画像フレーム２８用の画像データ１６を受け取って、表示デバイス２６の表示用に画像データ１６の解像度を調整し、サブフレーム生成ユニット３６は、画像フレーム２８用の複数の画像サブフレーム３０を生成する。より具体的には、画像処理ユニット２４は、画像フレーム２８用の画像データ１６を元の解像度で受け取り、画像データ１６を処理して、画像データ１６の解像度を増加させる、減少させる、且つ／又は、変更せずに維持する。したがって、画像処理ユニット２４により、画像表示システム１０は、さまざまな解像度の画像データ１６を受け取って表示することができる。
【００１８】
サブフレーム生成ユニット３６は、画像フレーム２８用の画像データ１６を受け取って処理し、画像フレーム２８用の複数の画像サブフレーム３０を規定する。解像度調整ユニット３４が、画像データ１６の解像度を調整した場合に、サブフレーム生成ユニット３６は、調整された解像度の画像データ１６を受け取る。画像データ１６の調整された解像度は、画像フレーム２８用の画像データ１６の元の解像度に対して、増加される場合もあるし、減少される場合もあるし、同じ場合もある。サブフレーム生成ユニット３６は、表示デバイス２６の解像度と一致した解像度を有する画像サブフレーム３０を生成する。画像サブフレーム３０は、それぞれ、画像フレーム２８と等しい領域を有する。サブフレーム３０は、それぞれ、画像１２の画像データ１６のサブセットを表す複数の列及び複数の行の個々のピクセルを含み、表示デバイス２６の解像度と一致した解像度を有する。
【００１９】
各画像サブフレーム３０は、画像フレーム２８用のピクセルの行列又は配列を含む。画像サブフレーム３０は、各画像サブフレーム３０が、異なるピクセル及び／又は異なる部分のピクセルを含むように、空間的に相互にずれる。したがって、画像サブフレーム３０は、後述するように、或る垂直距離及び／又は水平距離だけ、相互にずれる。
【００２０】
表示デバイス２６は、画像処理ユニット２４から画像サブフレーム３０を受け取り、画像サブフレーム３０を順次表示して、表示画像１４を作成する。より具体的には、画像サブフレーム３０は、空間的に相互にずれているので、表示デバイス２６は、後述するように、画像サブフレーム３０の空間的なずれに従って異なる位置に画像サブフレーム３０を表示する。したがって、表示デバイス２６は、画像フレーム２８用の画像サブフレーム３０の表示を交互に行って、表示画像１４を作成する。したがって、表示デバイス２６は、画像フレーム２８用の１つのサブフレーム３０全体を一度に表示する。
【００２１】
一実施形態では、表示デバイス２６は、画像フレーム２８ごとに、１サイクルの画像サブフレーム３０の表示を実行する。表示デバイス２６は、空間的且つ時間的に相互にずれるように、画像サブフレーム３０を表示する。一実施形態では、表示デバイス２６は、画像サブフレーム３０を光学的に操作して、表示画像１４を作成する。したがって、表示デバイス２６の個々のピクセルは、複数の位置にアドレス指定される。
【００２２】
一実施形態では、表示デバイス２６は、画像シフト装置３８を含む。この画像シフト装置３８は、表示デバイス２６が表示するように、画像サブフレーム３０の位置を空間的に変更又はずらす。より具体的には、画像シフト装置３８は、後述するように、画像サブフレーム３０の表示位置を変更して、表示画像１４を生成する。
【００２３】
一実施形態では、表示デバイス２６は、入射光の変調を行う光変調器を含む。この光変調器は、たとえば、マイクロミラーデバイスの配列を形成するように整列された複数のマイクロミラーデバイスを含む。したがって、各マイクロミラーデバイスは、表示デバイス２６の１つのセル又はピクセルを構成する。表示デバイス２６は、ディスプレイ、プロジェクタ、又は他の画像形成システムの一部を成すこともできる。
【００２４】
一実施形態では、画像表示システム１０は、タイミングジェネレータ４０を含む。このタイミングジェネレータ４０は、たとえば、フレームレート変換ユニット２０、解像度調整ユニット３４及びサブフレーム生成ユニット３６を含む画像処理ユニット２４、並びに画像シフト装置３８を含む表示デバイス２６と通信する。したがって、タイミングジェネレータ４０は、画像フレーム２８を作成するための画像データ１６のバッファリング及び変換と、画像データ１６の解像度を調整して画像サブフレーム３０を生成するための画像フレーム２８の処理と、表示画像１４を生成するための画像サブフレーム３０の配置及び表示とを同期させる。したがって、タイミングジェネレータ４０は、画像１２のサブフレーム全体が、表示デバイス２６により表示画像１４として時間的且つ空間的に表示されるように、画像表示システム１０のタイミングを制御する。
【００２５】
一実施形態では、図２Ａ及び図２Ｂに示すように、画像処理ユニット２４は、画像フレーム２８用の２つの画像サブフレーム３０を規定する。より具体的には、画像処理ユニット２４は、画像フレーム２８用の第１のサブフレーム３０１及び第２のサブフレーム３０２を規定する。したがって、第１のサブフレーム３０１及び第２のサブフレーム３０２は、それぞれ、画像データ１６の複数の列及び複数の行の個々のピクセル１８を含む。このように、第１のサブフレーム３０１及び第２のサブフレーム３０２は、それぞれ、画像データ１６のサブセットの画像データ配列又はピクセル行列を構成する。
【００２６】
一実施形態では、図２Ｂに示すように、第２のサブフレーム３０２は、垂直距離５０及び水平距離５２だけ、第１のサブフレーム３０１からずれる。したがって、第２のサブフレーム３０２は、所定の距離だけ、第１のサブフレーム３０１から空間的にずれる。例示の一実施形態では、垂直距離５０及び水平距離５２は、それぞれ、１ピクセルの約２分の１である。
【００２７】
図２Ｃに示すように、表示デバイス２６は、第１の位置に第１のサブフレーム３０１を表示すること、及び、第１の位置から空間的にずれた第２の位置に第２のサブフレーム３０２を表示することを交互に行う。より具体的には、表示デバイス２６は、垂直距離５０及び水平距離５２だけ、第１のサブフレーム３０１の表示に対して、第２のサブフレーム３０２の表示をシフトさせる。したがって、第１のサブフレーム３０１のピクセルは、第２のサブフレーム３０２のピクセルと一部重なる。一実施形態では、表示デバイス２６は、画像フレーム２８について、第１の位置に第１のサブフレーム３０１を表示すること、及び、第２の位置に第２のサブフレーム３０２を表示することの１サイクルを実行する。このように、第２のサブフレーム３０２は、第１のサブフレーム３０１に空間的且つ時間的に関連して表示される。このような時間的且つ空間的にシフトされた２つのサブフレームの表示を、本明細書では、２位置処理（two-position processing）と呼ぶ。
【００２８】
別の実施形態では、図３Ａ〜図３Ｄに示すように、画像処理ユニット２４は、画像フレーム２８用の４つの画像サブフレーム３０を規定する。より具体的には、画像処理ユニット２４は、画像フレーム２８用の第１のサブフレーム３０１、第２のサブフレーム３０２、第３のサブフレーム３０３、及び第４のサブフレーム３０４を規定する。したがって、第１のサブフレーム３０１、第２のサブフレーム３０２、第３のサブフレーム３０３、及び第４のサブフレーム３０４は、それぞれ、画像データ１６の複数の列及び複数の行の個々のピクセル１８を含む。
【００２９】
一実施形態では、図３Ｂ〜図３Ｄに示すように、第２のサブフレーム３０２は、垂直距離５０及び水平距離５２だけ、第１のサブフレーム３０１からずれ、第３のサブフレーム３０３は、水平距離５４だけ、第１のサブフレーム３０１からずれ、第４のサブフレーム３０４は、垂直距離５６だけ、第１のサブフレーム３０１からずれる。したがって、第２のサブフレーム３０２、第３のサブフレーム３０３、及び第４のサブフレーム３０４は、それぞれ、所定の距離だけ、空間的に相互にずれ、且つ、所定の距離だけ、第１のサブフレーム３０１から空間的にずれている。例示の一実施形態では、垂直距離５０、水平距離５２、水平距離５４、及び垂直距離５６は、それぞれ、１ピクセルの約２分の１である。
【００３０】
図３Ｅに概略的に示すように、表示デバイス２６は、第１の位置Ｐ1に第１のサブフレーム３０１を表示すること、第１の位置から空間的にずれた第２の位置Ｐ2に第２のサブフレーム３０２を表示すること、第１の位置から空間的にずれた第３の位置Ｐ3に第３のサブフレーム３０３を表示すること、及び、第１の位置から空間的にずれた第４の位置Ｐ4に第４のサブフレーム３０４を表示することを交互に行う。より具体的には、表示デバイス２６は、第２のサブフレーム３０２、第３のサブフレーム３０３、及び第４のサブフレーム３０４の表示を、それぞれの所定の距離だけ、第１のサブフレーム３０１に対してシフトさせる。したがって、第１のサブフレーム３０１、第２のサブフレーム３０２、第３のサブフレーム３０３、及び第４のサブフレーム３０４のピクセルは、相互に一部重なり合う。
【００３１】
一実施形態では、表示デバイス２６は、画像フレーム２８について、第１の位置に第１のサブフレーム３０１を表示すること、第２の位置に第２のサブフレーム３０２を表示すること、第３の位置に第３のサブフレーム３０３を表示すること、及び、第４の位置に第４のサブフレーム３０４を表示することの１サイクルを実行する。したがって、第２のサブフレーム３０２、第３のサブフレーム３０３、及び第４のサブフレーム３０４は、相互に且つ第１のサブフレーム３０１に空間的且つ時間的に関連して表示される。このような時間的且つ空間的にシフトされた４つのサブフレームの表示を、本明細書では、４位置処理（four-position processing）と呼ぶ。
【００３２】
図４Ａ〜図４Ｅは、第１のサブフレーム３０１からのピクセル１８１を第１の位置に表示すること、第２のサブフレーム３０２からのピクセル１８２を第２の位置に表示すること、第３のサブフレーム３０３からのピクセル１８３を第３の位置に表示すること、及び第４のサブフレーム３０４からのピクセル１８４を第４の位置に表示することの１サイクルを完了する一実施形態を示している。より具体的には、図４Ａは、第１のサブフレーム３０１からのピクセル１８１を第１の位置に表示したものを示している。図４Ｂは、第２のサブフレーム３０２からのピクセル１８２を第２の位置（第１の位置を破線で示す）に表示したものを示している。図４Ｃは、第３のサブフレーム３０３からのピクセル１８３を第３の位置（第１の位置及び第２の位置を破線で示す）に表示したものを示している。図４Ｄは、第４のサブフレーム３０４からのピクセル１８４を第４の位置（第１の位置、第２の位置、及び第３の位置を破線で示す）に表示したものを示している。図４Ｅは、第１のサブフレーム３０１からのピクセル１８１を第１の位置（第２の位置、第３の位置、及び第４の位置を破線で示す）に表示したものを示している。
【００３３】
サブフレーム生成ユニット３６（図１）は、画像フレーム２８の画像データに基づいてサブフレーム３０を生成する。サブフレーム生成ユニット３６が実行する機能は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組み合わせにより実施できることが、当業者には理解されよう。その実施は、マイクロプロセッサ、プログラマブルロジックデバイス、又は状態機械を介して行うことができる。本発明の構成要素は、１つ又は複数のコンピュータ可読媒体上にソフトウェアで存在することができる。本明細書で使用されるコンピュータ可読媒体という用語は、フロッピー（登録商標）ディスク、ハードディスク、ＣＤ−ＲＯＭ、フラッシュメモリ、読み出し専用メモリ（ＲＯＭ）、及びランダムアクセスメモリ等の揮発性又は不揮発性のあらゆる種類のメモリを包含するように定義される。
【００３４】
本発明の一形態では、サブフレーム３０は画像フレーム２８よりも低い解像度を有する。このため、サブフレーム３０を本明細書では低解像度画像３０とも呼び、画像フレーム２８を本明細書では高解像度画像２８とも呼ぶ。低解像度及び高解像度という用語が本明細書では比較で用いられ、いずれの特定の最小ピクセル数又は最大ピクセル数に限定されないことが当業者には理解されよう。一実施形態では、サブフレーム生成ユニット３６は、１０のアルゴリズムのうちの１つ又は複数に基づいてサブフレーム３０を生成するように構成される。これら１０のアルゴリズムを本明細書では以下のように呼ぶ。すなわち、（１）最近傍、（２）双一次、（３）空間領域、（４）周波数領域、（５）適応型マルチパス、（６）中心適応型マルチパス、（７）簡易中心適応型マルチパス、（８）履歴使用の（with history）適応型マルチパス、（９）履歴使用の簡易中心適応型マルチパス、及び（１０）履歴使用の中心適応型マルチパスである。
【００３５】
本発明の一形態による最近傍アルゴリズム及び双一次アルゴリズムは、高解像度画像２８からのピクセルを組み合わせることによりサブフレーム３０を生成するものである。本発明の一形態による空間領域アルゴリズム及び周波数領域アルゴリズムは、擬似（simulated：シミュレート）高解像度画像と所望の高解像度画像２８との間の差を表す大域誤差メトリック（global error metric）の最小化に基づいてサブフレーム３０を生成するものである。本発明のさまざまな形態による適応型マルチパスアルゴリズム、中心適応型マルチパスアルゴリズム、簡易中心適応型マルチパスアルゴリズム、履歴使用の適応型マルチパスアルゴリズム、履歴使用の簡易中心適応型マルチパスアルゴリズム、及び履歴使用の中心適応型マルチパスアルゴリズムは、局所誤差メトリック（local error metric）の最小化に基づいてサブフレーム３０を生成するものである。一実施形態では、サブフレーム生成ユニット３６は、サブフレームの値と高解像度画像の値との関係を記憶するためのメモリを含む。この関係は、高解像度画像の値と、サブフレームの値の関数である擬似高解像度画像との間の誤差メトリックの最小化に基づいている。これら１０のアルゴリズムのそれぞれの実施形態を図５〜図３２を参照して以下に説明する。
【００３６】
ＩＩ．最近傍
図５は、本発明の一実施形態による最近傍アルゴリズムを使用した、元の高解像度画像２８からの低解像度サブフレーム３０Ａ及び３０Ｂ（サブフレーム３０と総称する）の生成を示す図である。この図示した実施形態では、高解像度画像２８は、４列４行のピクセルで合計１６個のピクセルＨ１〜Ｈ１６を含む。最近傍アルゴリズムの一実施形態では、高解像度画像２８の第１行の１つおきのピクセルを取り出し、高解像度画像２８の第２行を飛ばして、高解像度画像２８の第３行の１つおきのピクセルを取り出し、このプロセスを高解像度画像２８の全体にわたって繰り返すことにより、第１のサブフレーム３０Ａが生成される。したがって、図５に示すように、サブフレーム３０Ａの第１行は、ピクセルＨ１及びＨ３を含み、サブフレーム３０Ａの第２行は、ピクセルＨ９及びＨ１１を含む。本発明の一形態では、第２のサブフレーム３０Ｂは、第１のサブフレーム３０Ａと同じ方法で生成されるが、プロセスは、第１のピクセルＨ１から１行下で、且つ、１列越えてシフトされたピクセルＨ６から開始する。したがって、図５に示すように、サブフレーム３０Ｂの第１行は、ピクセルＨ６及びＨ８を含み、サブフレーム３０Ｂの第２行は、ピクセルＨ１４及びＨ１６を含む。
【００３７】
一実施形態では、３つのフィルタ係数「０」及び第４のフィルタ係数「１」を有し、高解像度画像からのピクセル値の加重和を生成する２×２フィルタによって、最近傍アルゴリズムは実施される。上述したような２位置処理を使用してサブフレーム３０Ａ及び３０Ｂを表示すると、より高い解像度の画像の外観が得られる。最近傍アルゴリズムは、４位置処理にも適用可能であり、図５に示すピクセル数を有する画像に限定されるものではない。
【００３８】
ＩＩＩ．双一次
図６は、本発明の一実施形態による双一次アルゴリズムを使用した、元の高解像度画像２８からの低解像度サブフレーム３０Ｃ及び３０Ｄ（サブフレーム３０と総称する）の生成を示す図である。この図示した実施形態では、高解像度画像２８は、４列４行のピクセルで合計１６個のピクセルＨ１〜Ｈ１６を含む。サブフレーム３０Ｃは、２列２行のピクセルで合計４つのピクセルＬ１〜Ｌ４を含む。そして、サブフレーム３０Ｄは、２列２行のピクセルで合計４つのピクセルＬ５〜Ｌ８を含む。
【００３９】
一実施形態では、サブフレーム３０Ｃ及び３０ＤのピクセルＬ１〜Ｌ８の値は、画像２８のピクセル値Ｈ１〜Ｈ１６から以下の式Ｉ〜ＶＩＩＩに基づいて生成される。
【００４０】
＜式Ｉ＞
Ｌ１＝（４Ｈ１＋２Ｈ２＋２Ｈ５）／８
＜式ＩＩ＞
Ｌ２＝（４Ｈ３＋２Ｈ４＋２Ｈ７）／８
＜式ＩＩＩ＞
Ｌ３＝（４Ｈ９＋２Ｈ１０＋２Ｈ１３）／８
＜式ＩＶ＞
Ｌ４＝（４Ｈ１１＋２Ｈ１２＋２Ｈ１５）／８
＜式Ｖ＞
Ｌ５＝（４Ｈ６＋２Ｈ２＋２Ｈ５）／８
＜式ＶＩ＞
Ｌ６＝（４Ｈ８＋２Ｈ４＋２Ｈ７）／８
＜式ＶＩＩ＞
Ｌ７＝（４Ｈ１４＋２Ｈ１０＋２Ｈ１３）／８
＜式ＶＩＩＩ＞
Ｌ８＝（４Ｈ１６＋２Ｈ１２＋２Ｈ１５）／８
【００４１】
上記式Ｉ〜ＶＩＩＩから分かるように、サブフレーム３０ＣのピクセルＬ１〜Ｌ４の値は、４を乗算することから、それぞれピクセルＨ１、Ｈ３、Ｈ９、及びＨ１１の値によって最も影響を受ける。ただし、サブフレーム３０ＣのピクセルＬ１〜Ｌ４の値は、ピクセルＨ１、Ｈ３、Ｈ９、及びＨ１１の対角方向の近傍ピクセルの値によっても影響を受ける。同様に、サブフレーム３０ＤのピクセルＬ５〜Ｌ８の値は、４を乗算することから、それぞれピクセルＨ６、Ｈ８、Ｈ１４、及びＨ１６の値によって最も影響を受ける。ただし、サブフレーム３０ＤのピクセルＬ５〜Ｌ８の値は、ピクセルＨ６、Ｈ８、Ｈ１４、及びＨ１６の対角方向の近傍ピクセルの値によっても影響を受ける。
【００４２】
一実施形態では、１つのフィルタ係数「０」及び非ゼロの値を有する３つのフィルタ係数（たとえば、４、２、及び２）を有し、高解像度画像のピクセル値の加重和を生成する２×２フィルタによって、双一次アルゴリズムは実施される。別の実施形態では、このフィルタ係数として他の値が使用される。上述したような２位置処理を使用してサブフレーム３０Ｃ及び３０Ｄを表示すると、より高い解像度の画像の外観が得られる。双一次アルゴリズムは、４位置処理にも適用可能であり、図６に示すピクセル数を有する画像に限定されるものではない。
【００４３】
最近傍アルゴリズム及び双一次アルゴリズムの一形態では、上述したように、サブフレーム３０は、元の高解像度画像のピクセル値の線形結合に基づいて生成される。別の実施形態では、サブフレーム３０は、元の高解像度画像のピクセル値の非線形結合に基づいて生成される。たとえば、元の高解像度画像がガンマ補正を受けている場合に、一実施形態では、ガンマ曲線の効果を打ち消すのに適した非線形結合が使用される。
【００４４】
ＩＶ．擬似高解像度画像を生成するシステム
図７〜図１０、図２０及び図２２は、擬似高解像度画像を生成するシステムを示している。以下にさらに詳述するように、これらのシステムに基づいて、サブフレームを生成する空間領域アルゴリズム、周波数領域アルゴリズム、適応型マルチパスアルゴリズム、中心適応型マルチパスアルゴリズム、及び簡易中心適応型マルチパスアルゴリズムが構築される。
【００４５】
図７は、本発明の一実施形態による、２つの４×４ピクセルの低解像度サブフレーム３０Ｅから擬似高解像度画像４１２を生成するシステム４００を示すブロック図である。このシステム４００は、アップサンプリングステージ４０２、シフトステージ４０４、畳み込み演算ステージ４０６、及び総和ステージ４１０を含む。サブフレーム３０Ｅは、サンプリング行列Ｍに基づいてアップサンプリングステージ４０２によりアップサンプリングされ、それによって、アップサンプリング画像が生成される。このアップサンプリング画像は、空間シフト行列Ｓに基づいてシフトステージ４０４によりシフトされ、それによって、シフトアップサンプリング画像が生成される。このシフトアップサンプリング画像は、畳み込み演算ステージ４０６において補間フィルタとの畳み込み演算を受け、それによって、ブロック画像（blocked image）４０８が生成される。この図示した実施形態では、補間フィルタは、フィルタ係数「１」を有する２×２フィルタであって、畳み込み演算の中心がこの２×２行列の左上の位置にあるフィルタである。補間フィルタは、高解像度グリッドの上に低解像度サブフレームを重ね合わせることをシミュレーションする。低解像度サブフレームのピクセルデータは、そのサブフレームを高解像度グリッド上に表すことができるように拡大される。補間フィルタは、アップサンプリングによって生成された、欠けているピクセルデータを満たす。ブロック画像４０８は、総和ブロック４１０によって加重されて総和が求められ、８×８ピクセルの擬似高解像度画像４１２が生成される。
【００４６】
図８は、本発明の一実施形態による、２つの４×４ピクセルの低解像度サブフレーム３０Ｆ及び３０Ｇの分離可能なアップサンプリング（separable upsampling）に基づいて２位置処理用の擬似高解像度画像５１２を生成するシステム５００を示すブロック図である。このシステム５００は、アップサンプリングステージ５０２及び５１４、シフトステージ５１８、畳み込み演算ステージ５０６及び５２２、総和ステージ５０８、並びに乗算ステージ５１０を含む。サブフレーム３０Ｆは、アップサンプリングステージ５０２によって２倍にアップサンプリングされ、それによって、８×８ピクセルのアップサンプリング画像５０４が生成される。アップサンプリング画像５０４の黒のピクセルは、サブフレーム３０Ｆからの１６個のピクセルを表し、アップサンプリング画像５０４の白のピクセルは、０の値を表す。サブフレーム３０Ｇは、アップサンプリングステージ５１４によって２倍にアップサンプリングされ、それによって、８×８ピクセルのアップサンプリング画像５１６が生成される。アップサンプリング画像５１６の黒のピクセルは、サブフレーム３０Ｇからの１６個のピクセルを表し、アップサンプリング画像５１６の白のピクセルは、０の値を表す。一実施形態では、アップサンプリングステージ５０２及び５１４は、対角サンプリング行列を使用して、サブフレーム３０Ｆ及び３０Ｇをそれぞれアップサンプリングする。
【００４７】
アップサンプリング画像５１６は、空間シフト行列Ｓに基づいてシフトステージ５１８によりシフトされ、それによって、シフトアップサンプリング画像５２０が生成される。この図示した実施形態では、シフトステージ５１８は、１ピクセルの対角方向のシフトを実行する。画像５０４及び５２０は、それぞれ畳み込み演算ステージ５０６及び５２２において補間フィルタとの畳み込み演算を受け、それによって、ブロック画像が生成される。この図示した実施形態では、畳み込み演算ステージ５０６及び５２２の補間フィルタは、フィルタ係数「１」を有する２×２フィルタであって、畳み込み演算の中心がこの２×２行列の左上の位置にあるフィルタである。畳み込み演算ステージ５０６及び５２２において生成されたブロック画像は、総和ブロック５０８によって総和が求められ、乗算ステージ５１０において０．５倍にされて、８×８ピクセルの擬似高解像度画像５１２が生成される。画像データが乗算ステージ５１０において０．５倍にされるのは、一実施形態では、サブフレーム３０Ｆ及び３０Ｇのそれぞれが、１つの色に割り当てられた期間あたりのタイムスロットの半分しか表示されないことによる。別の実施形態では、乗算ステージ５１０において０．５倍にするのではなく、ステージ５０６及び５２２における補間フィルタのフィルタ係数が、０．５倍に縮小される。
【００４８】
一実施形態では、図８に示して上述したように、低解像度サブフレームデータは、２つの個別のサブフレーム３０Ｆ及び３０Ｇによって表され、これらのサブフレームは、対角サンプリング行列（すなわち、分離可能なアップサンプリング）に基づいて別々にアップサンプリングされる。別の実施形態では、図９を参照して後述するように、低解像度サブフレームデータは、単一のサブフレームによって表され、この単一のサブフレームは、非対角サンプリング行列（すなわち、分離不能なアップサンプリング（non-separable upsampling））に基づいてアップサンプリングされる。
【００４９】
図９は、本発明の一実施形態による、８×４ピクセルの低解像度サブフレーム３０Ｈの分離不能なアップサンプリングに基づいて２位置処理用の擬似高解像度画像６１０を生成するシステム６００を示すブロック図である。このシステム６００は、５点形アップサンプリング（quincunx upsampling）ステージ６０２、畳み込み演算ステージ６０６、及び乗算ステージ６０８を含む。サブフレーム３０Ｈは、５点形サンプリング行列Ｑに基づいて５点形アップサンプリングステージ６０２によりアップサンプリングされ、それによって、アップサンプリング画像６０４が生成される。アップサンプリング画像６０４の黒のピクセルは、サブフレーム３０Ｈからの３２個のピクセルを表し、アップサンプリング画像６０４の白のピクセルは、０の値を表す。サブフレーム３０Ｈは、２位置処理用の２つの４×４ピクセルサブフレームのピクセルデータを含む。アップサンプリング画像６０４の第１行、第３行、第５行、及び第７行の黒のピクセルは、第１の４×４ピクセルサブフレーム用のピクセルを表し、アップサンプリング画像６０４の第２行、第４行、第６行、及び第８行の黒のピクセルは、第２の４×４ピクセルサブフレーム用のピクセルを表す。
【００５０】
アップサンプリング画像６０４は、畳み込み演算ステージ６０６において補間フィルタとの畳み込み演算を受け、それによって、ブロック画像が生成される。この図示した実施形態では、補間フィルタは、フィルタ係数「１」を有する２×２フィルタであって、畳み込み演算の中心がこの２×２行列の左上の位置にあるフィルタである。畳み込み演算ステージ６０６によって生成されたブロック画像は、乗算ステージ６０８において０．５倍にされて、８×８ピクセルの擬似高解像度画像６１０が生成される。
【００５１】
図１０は、本発明の一実施形態による、サブフレーム３０Ｉに基づいて４位置処理用の擬似高解像度画像７０６を生成するシステム７００を示すブロック図である。図１０に示す実施形態では、サブフレーム３０Ｉは、８×８配列のピクセルである。サブフレーム３０Ｉは、４位置処理用の４つの４×４ピクセルサブフレームのピクセルデータを含む。ピクセルＡ１〜Ａ１６は、第１の４×４ピクセルサブフレーム用のピクセルを表す。ピクセルＢ１〜Ｂ１６は、第２の４×４ピクセルサブフレーム用のピクセルを表す。ピクセルＣ１〜Ｃ１６は、第３の４×４ピクセルサブフレーム用のピクセルを表す。ピクセルＤ１〜Ｄ１６は、第４の４×４ピクセルサブフレーム用のピクセルを表す。
【００５２】
サブフレーム３０Ｉは、畳み込み演算ステージ７０２において補間フィルタとの畳み込み演算を受け、それによって、ブロック画像が生成される。この図示した実施形態では、補間フィルタは、フィルタ係数「１」を有する２×２フィルタであって、畳み込み演算の中心がこの２×２行列の左上の位置にあるフィルタである。畳み込み演算ステージ７０２によって生成されたブロック画像は、乗算ステージ７０４において０．２５倍にされて、８×８ピクセルの擬似高解像度画像７０６が生成される。画像データが乗算ステージ７０４において０．２５倍にされるのは、一実施形態では、サブフレーム３０Ｉによって表される４つのサブフレームのそれぞれが、１つの色に割り当てられた期間あたりのタイムスロットの４分の１しか表示されないことによる。別の実施形態では、乗算ステージ７０４において０．２５倍にするのではなく、補間フィルタのフィルタ係数が、それに応じて縮小される。
【００５３】
Ｖ．誤差最小化に基づくサブフレームの生成
上述したように、システム４００、５００、６００、及び７００は、低解像度サブフレームに基づいて、擬似高解像度画像４１２、５１２、６１０、及び７０６をそれぞれ生成する。サブフレームが最適なものであれば、これらの擬似高解像度画像は、元の高解像度画像２８に可能な限り類似することになる。平均２乗誤差、加重平均２乗誤差、及びそれ以外のものを含めて、さまざまな誤差メトリックを使用して、擬似高解像度画像が元の高解像度画像にどれだけ類似しているかを判断することができる。
【００５４】
図１１は、本発明の一実施形態による擬似高解像度画像４１２／５１２／６１０／７０６と所望の高解像度画像２８との比較を示すブロック図である。減算ステージ８０２において、高解像度画像２８から擬似高解像度画像４１２、５１２、６１０、又は７０６がピクセルごとに減算される。一実施形態では、その結果生成される誤差画像データが、人間視覚系（ＨＶＳ（human visual system））加重フィルタ（Ｗ）８０４によってフィルタリングされる。本発明の一形態では、ＨＶＳ加重フィルタ８０４は、人間視覚系の特性に基づく誤差画像データをフィルタリングする。一実施形態では、ＨＶＳ加重フィルタ８０４は、高周波誤差の削減又は除去を行う。次いで、フィルタリングされたデータの平均２乗誤差が、ステージ８０６において求められ、擬似高解像度画像４１２、５１２、６１０、又は７０６が、所望の高解像度画像２８にどれだけ類似しているかの尺度が提供される。
【００５５】
一実施形態では、システム４００、５００、６００、及び７００は、擬似高解像度画像４１２、５１２、６１０、又は７０６と元の高解像度画像２８との間の差を計測する誤差コスト式（error cost equation）により数学的に表される。最適なサブフレームが、擬似高解像度画像と所望の高解像度画像との最小誤差を提供するそのサブフレームデータの誤差コスト式を解くことにより特定される。一実施形態では、空間領域アルゴリズム及び周波数領域アルゴリズムにおいて大域的な最適解が得られ、適応型マルチパスアルゴリズムを使用して局所的な最適解が得られる。空間領域アルゴリズム、周波数領域アルゴリズム、及び適応型マルチパスアルゴリズムについては、図１２〜図１８を参照して以下にさらに詳述する。中心適応型マルチパスアルゴリズム及び簡易中心適応型マルチパスアルゴリズムについては、図１９〜図２３を参照して以下にさらに詳述する。履歴使用の適応型マルチパスアルゴリズム、履歴使用の簡易中心適応型マルチパスアルゴリズム、履歴使用の中心適応型マルチパスアルゴリズムについては、図２４〜図３２を参照して以下にさらに詳述する。
【００５６】
ＶＩ．空間領域
一実施形態による最適なサブフレームを生成する空間領域解を、図９に示すシステム６００との関連で説明する。図９に示すシステム６００は、以下の式ＩＸによる誤差コスト関数（error cost function）によって数学的に表すことができる。
【００５７】
＜式ＩＸ＞
【００５８】
【数１】
【００５９】
上記式において、
ｌ*Q＝サブフレーム３０Ｈの最適な低解像度データである。
Ｊ＝最小化されるべき誤差コスト関数である。
ｎ及びｋ＝画像６０４及び６１０の高解像度ピクセルの位置を特定するインデックスである。
ｌQ（ｋ）＝位置ｋにおけるアップサンプリング画像６０４からの画像データである。
ｆ（ｎ−ｋ）＝位置ｎ−ｋにおける補間フィルタのフィルタ係数である。
ｈ（ｎ）＝位置ｎにおける所望の高解像度画像２８の画像データである。
【００６０】
式ＩＸの「ｌQ（ｋ）ｆ（ｎ−ｋ）」の総和は、システム６００のステージ６０６において実行される、アップサンプリング画像６０４と補間フィルタｆとの畳み込み演算を表す。フィルタ演算は、基本的には、アップサンプリング画像６０４の各ピクセル上を、２×２補間フィルタの右下のピクセルをスライドさせることにより実行される。２×２補間フィルタウィンドウ内のアップサンプリング画像６０４の４つピクセルは、対応するフィルタ係数（すなわち、図示した実施形態では「１」）と乗算される。４つの乗算結果は、その総和が求められ、補間フィルタの右下の位置に対応するアップサンプリング画像６０４のピクセルの値が、４つの乗算結果の総和と取り替えられる。畳み込み演算値ｌQ（ｋ）ｆ（ｎ−ｋ）から高解像度画像２８からの高解像度データｈ（ｎ）が減算され、誤差値が提供される。高解像度ピクセルの位置の全体にわたる２乗誤差の総和は、最小化されるべき誤差の尺度を提供する。
【００６１】
以下の式Ｘに示すように、低解像度ピクセルのそれぞれについて式ＩＸの導関数を求め、その導関数を０に等しく設定することにより、最適な空間領域解を得ることができる。
【００６２】
＜式Ｘ＞
【００６３】
【数２】
【００６４】
上記式において、Θ＝５点形格子点（quincunx lattice point）の集合である。
【００６５】
したがって、式Ｘから分かるように、この導関数は、５点形格子点の集合においてのみ求められる。この５点形格子点は、図９のアップサンプリング画像６０４の黒のピクセルに対応する。式ＩＸで与えられるＪについての式を式Ｘに代入し、式Ｘで指定される導関数を求めると、以下の式ＸＩとなる。
【００６６】
＜式ＸＩ＞
【００６７】
【数３】
【００６８】
式ＸＩのシンボルＣffは、以下の式ＸＩＩによって定義される、補間フィルタｆの自己相関係数を表す。
【００６９】
＜式ＸＩＩ＞
【００７０】
【数４】
【００７１】
式ＸＩは、以下の式ＸＩＩＩに示すように、ベクトル形式に変換することができる。
【００７２】
＜式ＸＩＩＩ＞
【００７３】
【数５】
【００７４】
上記式において、
Ｃff＝補間フィルタｆの自己相関係数の行列である。
ｌ*Q＝サブフレーム３０Ｈの未知の画像データ及び「ドントケア」データ（すなわち、アップサンプリング画像６０４の白のピクセルに対応する画像データ）を表すベクトルである。
ｈf＝擬似高解像度画像６１０を、補間フィルタｆを使用してフィルタリングしたものを表すベクトルである。
【００７５】
「ドントケア」データ（すなわち、５点形格子点の集合Θに存在しないデータ）に対応する行及び列を消去すると、以下の式ＸＩＶとなる。
【００７６】
＜式ＸＩＶ＞
【００７７】
【数６】
【００７８】
上記式において、
【００７９】
【数７】
【００８０】
上記式ＸＩＶは、線形式の疎なシステムを表す疎な非テプリッツシステム（non-Toeplitz system）である。自己相関係数の行列は判明しており、擬似高解像度画像６１０のフィルタリングされたものを表すベクトルは判明しているので、式ＸＩＶを解いて、サブフレーム３０Ｈの最適画像データを求めることができる。一実施形態では、サブフレーム生成ユニット３６は、式ＸＩＶを解いて、サブフレーム３０を生成するように構成される。
【００８１】
ＶＩＩ．周波数領域
一実施形態による最適なサブフレーム３０を生成する周波数領域解を、図８に示すシステム５００との関連で説明する。周波数領域解を説明する前に、周波数領域解に適用可能な高速フーリエ変換（ＦＦＴ）のいくつかの性質を、図１２及び図１３を参照して説明する。
【００８２】
図１２は、本発明の一実施形態による４×４ピクセルのサブフレーム３０Ｊのアップサンプリングの周波数領域における効果を示す図である。図１２に示すように、サブフレーム３０Ｊは、アップサンプリングステージ９０２によって２倍にアップサンプリングされて、８×８ピクセルのアップサンプリング画像９０４が生成される。アップサンプリング画像９０４の黒のピクセルは、サブフレーム３０Ｊからの１６個のピクセルを表し、アップサンプリング画像９０４の白のピクセルは、０の値を表す。サブフレーム３０ＪのＦＦＴを求めると、結果は、画像（Ｌ）９０６になる。アップサンプリング画像９０４のＦＦＴを求めると、結果は、画像（ＬU）９０８になる。画像（ＬU）９０８は、４つの４×４ピクセル部分を含む。これらの４つの４×４ピクセル部分は、画像部分（Ｌ1）９１０Ａ、画像部分（Ｌ2）９１０Ｂ、画像部分（Ｌ3）９１０Ｃ、及び画像部分（Ｌ4）９１０Ｄである。図１２に示すように、画像部分９１０Ａ〜９１０Ｄは、それぞれ、画像９０６と同じである（すなわち、Ｌ1＝Ｌ2＝Ｌ3＝Ｌ4＝Ｌ）。
【００８３】
図１３は、本発明の一実施形態による８×８ピクセルのアップサンプリングサブフレーム９０４のシフトの周波数領域における効果を示す図である。図１３に示すように、アップサンプリングサブフレーム９０４は、シフトステージ１００２によってシフトされて、シフト画像１００４が生成される。アップサンプリングサブフレーム９０４のＦＦＴを求めると、結果は、画像（ＬU）１００６になる。シフト画像１００４のＦＦＴを求めると、結果は、画像（ＬUＳ）１００８になる。画像（ＬUＳ）１００８は、４つの４×４ピクセル部分を含む。これらの４つの４×４ピクセル部分は、画像部分（ＬＳ1）１０１０Ａ、画像部分（ＬＳ2）１０１０Ｂ、画像部分（ＬＳ3）１０１０Ｃ、及び画像部分（ＬＳ4）１０１０Ｄである。図１３に示すように、画像１００８は、複素指数Ｗと乗算された画像１００６と同じである（すなわち、ＬUＳ＝Ｗ・ＬU）。ここで、「・」は、点別乗算（pointwise multiplication）を示す。複素指数Ｗの値は、以下の式ＸＶによって与えられる。
【００８４】
＜式ＸＶ＞
【００８５】
【数８】
【００８６】
上記式において、
ｋ1＝ＦＦＴ領域における行の座標である。
ｋ2＝ＦＦＴ領域における列の座標である。
Ｍ＝画像の列数である。
Ｎ＝画像の行数である。
【００８７】
図８に示すシステム５００は、以下の式ＸＶＩによる誤差コスト関数によって数学的に表すことができる。
【００８８】
＜式ＸＶＩ＞
【００８９】
【数９】
【００９０】
上記式において、
（Ｌ*A，Ｌ*B）＝それぞれ、図８に示すサブフレーム３０Ｆ及び３０Ｇの最適なＦＦＴを表すベクトルである。
Ｊ＝最小化されるべき誤差コスト関数である。
ｉ＝平均されるＦＦＴブロックを特定するインデックスである（たとえば、図１２の画像９０８の場合、ｉ＝１がブロック９１０Ａに対応し、ｉ＝２がブロック９１０Ｂに対応し、ｉ＝３がブロック９１０Ｃに対応し、ｉ＝４がブロック９１０Ｄに対応する４つのブロックが平均される）。
Ｆ＝補間フィルタｆのＦＦＴを表す行列である。
ＬA＝図８に示すサブフレーム３０ＦのＦＦＴを表すベクトルである。
ＬB＝図８に示すサブフレーム３０ＧのＦＦＴを表すベクトルである。
Ｗ＝式ＸＶによって与えられる複素係数のＦＦＴを表す行列である。
Ｈ＝所望の高解像度画像２８のＦＦＴを表すベクトルである。
【００９１】
式ＸＶＩの上付き文字「Ｈ」は、エルミートを表す（すなわち、ＸHは、Ｘのエルミートである）。式ＸＶＩの文字の上にある「ハット」は、以下の式ＸＶＩＩで定義されるように、それらの文字が対角行列を表すことを示している。
【００９２】
＜式ＸＶＩＩ＞
【００９３】
【数１０】
【００９４】
ＬAの複素共役について式ＸＶＩの導関数を求め、この導関数を０に等しく設定すると、結果は、以下の式ＸＶＩＩＩとなる。
【００９５】
＜式ＸＶＩＩＩ＞
【００９６】
【数１１】
【００９７】
ＬBの複素共役について式ＸＶＩの導関数を求め、この導関数を０に等しく設定すると、結果は、以下の式ＸＩＸとなる。
【００９８】
＜式ＸＩＸ＞
【００９９】
【数１２】
【０１００】
式ＸＶＩＩＩ及びＸＩＸの文字の上にある水平バーは、それらの文字が、複素共役を表すことを示している（すなわち、
【０１０１】
【数１３】
【０１０２】
は、Ａの複素共役を表す）。
【０１０３】
式ＸＶＩＩＩ及びＸＩＸをＬA及びＬBについて解くと、結果は、以下の式ＸＸ及びＸＸＩとなる。
【０１０４】
＜式ＸＸ＞
【０１０５】
【数１４】
【０１０６】
＜式ＸＸＩ＞
【０１０７】
【数１５】
【０１０８】
式ＸＸ及びＸＸＩは、擬似逆フィルタリング（pseudo-inverse filtering）を使用して周波数領域で実施することができる。一実施形態では、サブフレーム生成ユニット３６が、式ＸＸ及びＸＸＩに基づいてサブフレーム３０を生成するように構成される。
【０１０９】
ＶＩＩＩ．適応型マルチパス
一実施形態による、サブフレーム３０を生成する適応型マルチパスアルゴリズムは、過去の誤差を使用して、サブフレームデータの評価を更新し、高速な収束及び低いメモリ必要量を提供する。一実施形態による適応型マルチパスの解を、図９に示すシステム６００との関連で説明する。図９に示すシステム６００は、以下の式ＸＸＩＩによる誤差コスト関数によって数学的に表すことができる。
【０１１０】
＜式ＸＸＩＩ＞
【０１１１】
【数１６】
【０１１２】
上記式において、
ｎ＝現時点の反復を特定するインデックスである。
Ｊ(n)（ｎ）＝反復ｎにおける誤差コスト関数である。
ｅ(n)（ｎ）＝誤差コスト関数Ｊ(n)（ｎ）の平方根である。
ｎ及びｋ＝画像６０４及び６１０の高解像度ピクセルの位置を特定するインデックスである。
ｌQ(n)（ｋ）＝位置ｋにおけるアップサンプリング画像６０４からの画像データである。
ｆ（ｎ−ｋ）＝位置ｎ−ｋにおける補間フィルタのフィルタ係数である。
ｈ（ｎ）＝位置ｎにおける所望の高解像度画像２８の画像データである。
【０１１３】
式ＸＸＩＩから分かるように、上記式ＩＸに示すように高解像度画像全体にわたって総和を求めることにより空間領域の大域誤差を最小化するのではなく、ｎの関数である空間領域の局所誤差が最小化されている。
【０１１４】
一実施形態では、平均最小２乗（ＬＭＳ）アルゴリズムを使用して、更新が求められる。この更新は、以下の式ＸＸＩＩＩによって表される。
【０１１５】
＜式ＸＸＩＩＩ＞
【０１１６】
【数１７】
【０１１７】
上記式において、
Θ＝５点形格子点（すなわち、図９のアップサンプリング画像６０４の黒のピクセル）の集合である。
α＝鮮鋭化係数（sharpening factor）である。
【０１１８】
式ＸＸＩＩの導関数を求めると、式ＸＸＩＩＩにおけるこの導関数の値が提供される。この式ＸＸＩＩの導関数は、以下の式ＸＸＩＶによって与えられる。
【０１１９】
＜式ＸＸＩＶ＞
【０１２０】
【数１８】
【０１２１】
一実施形態では、以下の式ＸＸＶによって表されるように、「影響領域（region of influence）」にわたる平均勾配を使用するブロックＬＭＳアルゴリズムを使用して、更新が実行される。
【０１２２】
＜式ＸＸＶ＞
【０１２３】
【数１９】
【０１２４】
上記式において、Ω＝影響領域である。
【０１２５】
図１４は、本発明の一実施形態によるアップサンプリング画像１１００のピクセルの影響領域（Ω）１１０６及び１１０８を示す図である。画像１１００のピクセル１１０２は、第１のサブフレームのピクセルに対応し、画像１１００のピクセル１１０４は、第２のサブフレームのピクセルに対応する。領域１１０６は、ピクセル１１０２の影響領域であり、２×２配列のピクセルを含み、この２×２配列の左上隅にピクセル１１０２を有する。同様に、領域１１０８は、ピクセル１１０４の影響領域であり、２×２配列のピクセルを含み、この２×２配列の左上隅にピクセル１１０４を有する。
【０１２６】
図１５は、本発明の一実施形態による適応型マルチパスアルゴリズムに基づく初期擬似高解像度画像１２０８の生成を示す図である。元の高解像度画像２８に基づいて、初期の１組の低解像度サブフレーム３０Ｋ−１及び３０Ｌ−１が生成される。この図示した実施形態では、この初期の１組のサブフレーム３０Ｋ−１及び３０Ｌ−１は、図５を参照して上述した最近傍アルゴリズムの一実施形態を使用して生成される。サブフレーム３０Ｋ−１及び３０Ｌ−１は、アップサンプリングされて、アップサンプリング画像１２０２が生成される。このアップサンプリング画像１２０２は、補間フィルタ１２０４との畳み込み演算を受け、それによって、ブロック画像が生成される。次いで、このブロック画像は、０．５倍にされて、擬似高解像度画像１２０８が生成される。この図示した実施形態では、補間フィルタ１２０４は、フィルタ係数「１」を有する２×２フィルタであって、畳み込み演算の中心がこの２×２行列の左上の位置にあるフィルタである。補間フィルタ１２０４の右下のピクセル１２０６は、画像１２０２の各ピクセル上に配置されて、そのピクセル位置のブロック値（blocked value）が求められる。図１５に示すように、補間フィルタ１２０４の右下のピクセル１２０６は、画像１２０２の第３行第４列のピクセルの上に配置され、このピクセルは、「０」の値を有する。そのピクセル位置のブロック値は、フィルタ係数をフィルタ１２０４のウィンドウ内のピクセル値と乗算して、その結果を加算することにより求められる。フレーム外の値は、「０」とみなされる。図示した実施形態の場合、画像１２０２の第３行第４列のピクセルのブロック値は、以下の式ＸＸＶＩによって与えられる。
【０１２７】
＜式ＸＸＶＩ＞
（１×０）＋（１×５）＋（１×５）＋（１×０）＝１０
【０１２８】
次いで、式ＸＸＶＩの値は、０．５倍にされて、その結果（すなわち５）が、初期擬似高解像度画像１２０８の第３行第４列のピクセル１２１０のピクセル値とされる。
【０１２９】
初期擬似高解像度画像１２０８が生成された後、補正データが生成される。図１６は、本発明の一実施形態による適応型マルチパスアルゴリズムに基づく補正データの生成を示す図である。図１６に示すように、元の高解像度画像２８から初期擬似高解像度画像１２０８が減算されて、誤差画像１３０２が生成される。この誤差画像１３０２の２×２ブロックのピクセルを平均することにより、補正サブフレーム１３１２及び１３１４が生成される。たとえば、誤差画像１３０２の第１列第１行のピクセル１３０８は、影響領域１３０４を有する。この影響領域１３０４内のピクセル値が平均されて、第１の補正値（すなわち０．７５）が生成される。この第１の補正値は、補正サブフレーム１３１２の第１列第１行のピクセルとして使用される。同様に、誤差画像１３０２の第２列第２行のピクセル１３１０は、影響領域１３０６を有する。この影響領域１３０６内のピクセル値が平均されて、第２の補正値（すなわち０．７５）が生成される。この第２の補正値は、補正サブフレーム１３１４の第１列第１行のピクセルとして使用される。
【０１３０】
補正サブフレーム１３１２の第１行第２列の補正値（すなわち１．３８）は、基本的には、図示した影響領域のボックス１３０４を右へ２列スライドさせて、ボックス１３０４内の４つのピクセルを平均することにより生成される。補正サブフレーム１３１２の第２行第１列の補正値（すなわち０．５０）は、基本的には、図示した影響領域のボックス１３０４を下へ２行スライドさせて、ボックス１３０４内の４つのピクセルを平均することにより生成される。補正サブフレーム１３１２の第２行第２列の補正値（すなわち０．７５）は、基本的には、図示した影響領域のボックス１３０４を右へ２列、下へ２行スライドさせて、ボックス１３０４内の４つのピクセルを平均することにより生成される。
【０１３１】
補正サブフレーム１３１４の第１行第２列の補正値（すなわち０．００）は、基本的には、図示した影響領域のボックス１３０６を右へ２列スライドさせて、ボックス１３０６内のピクセルを平均することにより生成される。フレーム外の値は、「０」とみなされる。補正サブフレーム１３１４の第２行第１列の補正値（すなわち０．３８）は、基本的には、図示した影響領域のボックス１３０６を下へ２行スライドさせて、ボックス１３０６内のピクセルを平均することにより生成される。補正サブフレーム１３１４の第２行第２列の補正値（すなわち０．００）は、基本的には、図示した影響領域のボックス１３０６を右へ２列、下へ２行スライドさせて、ボックス１３０６内の４つのピクセルを平均することにより生成される。
【０１３２】
補正サブフレーム１３１２及び１３１４を使用して、更新サブフレームが生成される。図１７は、本発明の一実施形態による適応型マルチパスアルゴリズムに基づく更新サブフレーム３０Ｋ−２及び３０Ｌ−２の生成を示す図である。図１７に示すように、更新サブフレーム３０Ｋ−２は、補正サブフレーム１３１２を鮮鋭化係数αと乗算して、初期サブフレーム３０Ｋ−１を加算することにより生成される。更新サブフレーム３０Ｌ−２は、補正サブフレーム１３１４を鮮鋭化係数αと乗算して、初期サブフレーム３０Ｌ−１を加算することにより生成される。この図示した実施形態では、鮮鋭化係数αは、０．８に等しい。
【０１３３】
一実施形態では、更新サブフレーム３０Ｋ−２及び３０Ｌ−２は、適応型マルチパスアルゴリズムの次の反復に使用されて、さらなる更新サブフレームが生成される。任意の所望の回数の反復を行ってもよい。何回かの反復の後、適応型マルチパスアルゴリズムを使用して生成されたサブフレームの値は、最適な値に収束する。一実施形態では、サブフレーム生成ユニット３６が、適応型マルチパスアルゴリズムに基づいてサブフレーム３０を生成するように構成される。
【０１３４】
図１５〜図１７を参照して上述した適応型マルチパスアルゴリズムの実施形態は、２位置処理用のものである。４位置処理の場合、式ＸＸＩＶは、以下の式ＸＸＶＩＩとなる。
【０１３５】
＜式ＸＸＶＩＩ＞
【０１３６】
【数２０】
【０１３７】
上記式において、ｌ(n)＝４つのサブフレーム３０の低解像度データである。
【０１３８】
そして、式ＸＸＩＩＩは、以下の式ＸＸＶＩＩＩとなる。
【０１３９】
＜式ＸＸＶＩＩＩ＞
【０１４０】
【数２１】
【０１４１】
４位置処理の場合、４つのサブフレームが存在する。したがって、低解像度データの量は、高解像度データの量と同じである。それぞれの高解像度グリッド点は、１つの誤差を与え、上記式ＸＸＶに表すような平均勾配の更新を行う必要はない。反対に、所与の位置の誤差が、更新を直接与える。
【０１４２】
上述したように、一実施形態では、適応型マルチパスアルゴリズムは、平均最小２乗（ＬＭＳ）技法を使用して、補正データを生成する。別の実施形態では、適応型マルチパスアルゴリズムは、凸射影（ＰＯＣＳ（projection on a convex set））技法を使用して、補正データを生成する。一実施形態によるＰＯＣＳ技法に基づく適応型マルチパスの解を、図９に示すシステム６００との関連で説明する。図９に示すシステム６００は、以下の式ＸＸＩＸによる誤差コスト関数により数学的に表すことができる。
【０１４３】
＜式ＸＸＩＸ＞
【０１４４】
【数２２】
【０１４５】
上記式において、
ｅ（ｎ）＝誤差コスト関数である。
ｎ及びｋ＝高解像度ピクセルの位置を特定するインデックスである。
ｌQ（ｋ）＝位置ｋにおけるアップサンプリング画像６０４からの画像データである。
ｆ（ｎ−ｋ）＝位置ｎ−ｋにおける補間フィルタのフィルタ係数である。
ｈ（ｎ）＝位置ｎにおける所望の高解像度画像２８の画像データである。
【０１４６】
ＰＯＣＳ技法の制約集合（constrained set）は、以下の式ＸＸＸにより定義される。
【０１４７】
＜式ＸＸＸ＞
【０１４８】
【数２３】
【０１４９】
上記式において、
Ｃ（ｎ）＝パラメータηによって境界が定められるアップサンプリング画像６０４からのすべてのサブフレームデータを含む制約集合である。
η＝誤差の大きさの境界制約である。
【０１５０】
現時点の反復のサブフレームピクセル値は、以下の式ＸＸＸＩに基づいて求められる。
【０１５１】
＜式ＸＸＸＩ＞
【０１５２】
【数２４】
【０１５３】
上記式において、
ｎ＝現時点の反復を特定するインデックスである。
λ＝緩和パラメータである。
‖ｆ‖＝補間フィルタの係数のノルムである。
【０１５４】
式ＸＸＸＩのシンボルｎ*は、誤差が最大である影響領域Ωの位置を表し、以下の式ＸＸＸＩＩによって定義される。
【０１５５】
＜式ＸＸＸＩＩ＞
【０１５６】
【数２５】
【０１５７】
図１８は、本発明の一実施形態によるＰＯＣＳ技法を使用した適応型マルチパスアルゴリズムに基づく補正データの生成を示す図である。一実施形態では、初期擬似高解像度画像１２０８が、図１５を参照して上述したものと同じ方法で生成され、元の高解像度画像２８から初期擬似高解像度画像１２０８が減算されて、誤差画像１３０２が生成される。次いで、上記式ＸＸＸＩが使用されて、誤差画像１３０２のデータから更新サブフレーム３０Ｋ−３及び３０Ｌ−３が生成される。図示した実施形態の場合、式ＸＸＸＩの緩和パラメータλは０．５に等しく、誤差の大きさの境界制約ηは１に等しいと仮定される。
【０１５８】
ＰＯＣＳ技法によると、図１６を参照して上述したように、影響領域内のピクセル値を平均して補正値を求めるのではなく、影響領域内の最大誤差ｅ（ｎ*）が特定される。次いで、更新ピクセル値が、式ＸＸＸＩからの適切な式を使用して生成される。この適切な式は、影響領域内の最大誤差ｅ（ｎ*）が、（この例ではη＝１であるので）１よりも大きいか、１よりも小さいか、又は１に等しいかによって決まる。
【０１５９】
たとえば、誤差画像１３０２の第１列第１行のピクセルは、影響領域１３０４を有する。この影響領域１３０４内における最大誤差は、１である（すなわち、ｅ（ｎ*）＝１）。式ＸＸＸＩを参照すると、ｅ（ｎ*）＝１の場合には、更新ピクセル値は、このピクセルの前の値に等しい。図１５を参照すると、サブフレーム３０Ｋ−１の第１列第１行のピクセルの前の値は、２である。したがって、このピクセルは、更新サブフレーム３０Ｋ−３において２の値を維持する。誤差画像１３０２の第２列第２行のピクセルは、影響領域１３０６を有する。この影響領域１３０６内における最大誤差は、１．５である（すなわち、ｅ（ｎ*）＝１．５）。式ＸＸＸＩを参照すると、ｅ（ｎ*）＞１の場合には、更新ピクセル値は、このピクセルの前の値の２分の１に、量（ｅ（ｎ*）−１）の２分の１を加算したものに等しく、１．２５と等しい。図１５を参照すると、サブフレーム３０Ｌ−１の第１列第１行のピクセルの前の値は、２である。したがって、このピクセルの更新値は、更新サブフレーム３０Ｌ−３において１．２５となる。
【０１６０】
影響領域のボックス１３０２及び１３０４は、基本的には、図１６を参照して上述したものと同じ方法で誤差画像１３０２内を移動して回り、式ＸＸＸＩに基づいて、更新サブフレーム３０Ｋ−３及び３０Ｌ−３の残りの更新値を生成する。
【０１６１】
ＩＸ．中心適応型マルチパス
一実施形態による、サブフレーム３０を生成する中心適応型マルチパスアルゴリズムは、過去の誤差を使用して、サブフレームデータの評価を更新し、高速な収束及び低いメモリ必要量を提供することができる。中心適応型マルチパスアルゴリズムは、上述した４位置適応型マルチパスアルゴリズムを変更したものである。中心適応型マルチパスアルゴリズムでは、４つのサブフレーム３０それぞれの中の各ピクセルが、元の高解像度画像２８内のピクセルに対してセンタリングされる。４つのサブフレームは、図３Ａ〜図３Ｅを参照して上述した４位置処理を使用して表示デバイス２６によって表示される。
【０１６２】
図１９Ａ〜図１９Ｅは、本発明の一実施形態による元の高解像度画像２８に関する４つのサブフレーム１４１２Ａ、１４２２Ａ、１４３２Ａ、及び１４４２Ａを表示したものを示す概略図である。図１９Ａに示すように、画像２８は８×８ピクセルを含み、ピクセル１４０４に例示のために陰影が付けてある。
【０１６３】
図１９Ｂは画像２８に関する第１のサブフレーム１４１２Ａを示す。サブフレーム１４１２Ａは、画像２８の第１のピクセルセットに対してセンタリングされた４×４ピクセルを含む。たとえば、サブフレーム１４１２Ａ内のピクセル１４１４は画像２８からのピクセル１４０４に対してセンタリングされる。
【０１６４】
図１９Ｃは画像２８に関する第２のサブフレーム１４２２Ａを示す。サブフレーム１４２２Ａは画像２８内の第２のピクセルセットに対してセンタリングされた４×４ピクセルを含む。たとえば、サブフレーム１４２２Ａ内のピクセルは画像２８からのピクセル１４０４の右側にあるピクセルに対してセンタリングされる。サブフレーム１４２２Ａ内の２つのピクセル１４２４及び１４２６は、画像２８からのピクセル１４０４に重なる。
【０１６５】
図１９Ｄは、画像２８に関する第３のサブフレーム１４３２Ａを示す。サブフレーム１４３２Ａは画像２８内の第３のピクセルセットに対してセンタリングされた４×４ピクセルを含む。たとえば、サブフレーム１４３２Ａ内のピクセルは画像２８からのピクセル１４０４の下にあるピクセルに対してセンタリングされる。サブフレーム１４３２Ａ内のピクセル１４３４及び１４３６は、画像２８からのピクセル１４０４に重なる。
【０１６６】
図１９Ｅは画像２８に関する第４のサブフレーム１４４２Ａを示す。サブフレーム１４４２Ａは画像２８内の第４のピクセルセットに対してセンタリングされた４×４ピクセルを含む。たとえば、サブフレーム１４４２Ａ内のピクセルは、画像２８からのピクセル１４０４の対角線上右下にあるピクセルに対してセンタリングされる。サブフレーム１４４２Ａ内のピクセル１４４４、１４４６、１４４８、及び１４５０は、画像２８からのピクセル１４０４に重なる。
【０１６７】
４つのサブフレーム１４１２Ａ、１４２２Ａ、１４３２Ａ、及び１４４２Ａが表示されると、９つのサブフレームピクセルが結合して、元の高解像度画像２８からの各ピクセルの表示表現を形成する。たとえば、９つのサブフレームピクセル：サブフレーム１４１２Ａからのピクセル１４１４、サブフレーム１４２２Ａからのピクセル１４２４及び１４２６、サブフレーム１４３２Ａからのピクセル１４３４及び１４３６、並びにサブフレーム１４４２Ａからのピクセル１４４４、１４４６、１４４８、及び１４５０が結合して、元の高解像度画像２８からのピクセル１４０４の表示表現を形成する。しかし、これら９つのサブフレームピクセルがピクセル１４０４の表示表現に対して与える光量は異なる。特に、サブフレーム１４２２Ａ及び１４３２Ａのそれぞれからのピクセル１４２４、１４２６、１４３４、及び１４３６はそれぞれ、図１９Ｃ及び図１９Ｄにピクセル１４０４に重なるピクセル１４２４、１４２６、１４３４、及び１４３６の一部のみで示すように、サブフレーム１４１２Ａからのピクセル１４１４のおよそ半分の光を与える。同様に、サブフレーム１４４２Ａからのピクセル１４４４、１４４６、１４４８、及び１４５０はそれぞれ、図１９Ｃ及び図１９Ｄにピクセル１４０４に重なるピクセル１４４４、１４４６、１４４８、及び１４５０の一部のみで示すように、サブフレーム１４１２Ａからのピクセル１４１４のおよそ１／４の光を与える。
【０１６８】
サブフレーム生成ユニット３６は、４つの初期サブフレーム１４１２Ａ、１４２２Ａ、１４３２Ａ、及び１４４２Ａを高解像度画像２８から生成する。一実施形態では、サブフレーム１４１２Ａ、１４２２Ａ、１４３２Ａ、及び１４４２Ａは、図５を参照して上述した最近傍アルゴリズムの一実施形態を使用して生成することができる。他の実施形態では、サブフレーム１４１２Ａ、１４２２Ａ、１４３２Ａ、及び１４４２Ａは他のアルゴリズムを使用して生成することができる。誤差処理のためにサブフレーム１４１２Ａ、１４２２Ａ、１４３２Ａ、及び１４４２Ａをアップサンプリングして、図２０にサブフレーム３０Ｍとして示すアップサンプリング画像を生成する。
【０１６９】
図２０は、本発明の一実施形態による中心適応型マルチパスアルゴリズムを使用してサブフレーム３０Ｍに基づいて４位置処理用の擬似高解像度画像１５０４を生成するシステム１５００を示すブロック図である。図２０に示す実施形態では、サブフレーム３０Ｍは８×８配列のピクセルである。サブフレーム３０Ｍは、４位置処理用の４つの４×４ピクセルサブフレームのピクセルデータを含む。ピクセルＡ１〜Ａ１６はサブフレーム１４１２Ａからのピクセルを表し、ピクセルＢ１〜Ｂ１６はサブフレーム１４２２Ａからのピクセルを表し、ピクセルＣ１〜Ｃ１６はサブフレーム１４３２Ａからのピクセルを表し、また、ピクセルＤ１〜Ｄ１６はサブフレーム１４４２Ａからのピクセルを表す。
【０１７０】
サブフレーム３０Ｍは、畳み込み演算ステージ１５０２において補間フィルタとの畳み込み演算を受け、それによって、擬似高解像度画像１５０４が生成される。図示した実施形態では、補間フィルタは、畳み込み演算の中心が３×３行列の中心位置である３×３フィルタである。第１行のフィルタ係数は「１／１６」、「２／１６」、「１／１６」であり、第２行のフィルタ係数は「２／１６」、「４／１６」、「２／１６」であり、また、最後の行のフィルタ係数は「１／１６」、「２／１６」、「１／１６」である。
【０１７１】
フィルタ係数は、９つのサブフレームピクセルの高解像度画像２８のピクセルの表示表現に対する相対比率を表す。上記図１９の例を想起すると、サブフレーム１４２２Ａ及び１４３２Ａのそれぞれからのピクセル１４２４、１４２６、１４３４、及び１４３６はそれぞれ、サブフレーム１４１２Ａからのピクセル１４１４のおよそ半分の光を与え、また、サブフレーム１４４２Ａからのピクセル１４４４、１４４６、１４４８、及び１４５０はそれぞれ、サブフレーム１４１２Ａからのピクセル１４１４のおよそ１／４の光を与える。サブフレームピクセル１４１４、１４２４、１４２６、１４３４、１４３６、１４４４、１４４６、１４４８、及び１４５０の値はそれぞれ、サブフレーム画像３０Ｍ内のＡ６、Ｂ５、Ｂ６、Ｃ２、Ｃ６、Ｄ１、Ｄ５、Ｄ２、及びＤ６のピクセルに対応する。したがって、擬似画像１５０４のピクセルＡ６SIM（図１９中のピクセル１４０４に対応する）は、サブフレーム画像３０Ｍ内の値から式ＸＸＸＩＩＩにおいて以下のように計算される。
【０１７２】
＜式ＸＸＸＩＩＩ＞
Ａ６SIM＝（（１×Ｄ１）＋（２×Ｃ２）＋（１×Ｄ２）＋（２×Ｂ５）＋（４×Ａ６）＋（２×Ｂ６）＋（１×Ｄ５）＋（２×Ｃ６）＋（１×Ｄ６））／１６
【０１７３】
画像データを１６で割り、９つのサブフレームピクセルが各表示ピクセルに与える相対比率を補正する。
【０１７４】
擬似高解像度画像１５０４の生成後、補正データが生成される。図２１は、本発明の一実施形態によるシステム１５２０において中心適応型マルチパスアルゴリズムを使用しての補正データの生成を示すブロック図である。減算ステージ１５２２において、高解像度画像２８から擬似高解像度画像１５０４がピクセルごとに減算される。一実施形態では、その結果生成される誤差画像データが、誤差フィルタ１５２６によってフィルタリングされて誤差画像１５３０が生成される。図示した実施形態では、誤差フィルタは、畳み込み演算の中心が３×３行列の中心位置である３×３フィルタである。第１行のフィルタ係数は「１／１６」、「２／１６」、「１／１６」であり、第２行のフィルタ係数は「２／１６」、「４／１６」、「２／１６」であり、最後の行のフィルタ係数は「１／１６」、「２／１６」、「１／１６」である。フィルタ係数は、低解像度サブフレームピクセルと高解像度画像２８の９つのピクセルとの相対差を表す。図１９Ｂに示すように、低解像度サブフレームピクセル１４１４の誤差画像１５３０の誤差値は、高解像度画像２８のピクセル１４０４及びピクセル１４０４に直に隣接する８つの高解像度ピクセルに対して測定される。上記フィルタ係数の場合、ピクセル１４０４の上下左右の高解像度ピクセルは、ピクセル１４１４に対応する誤差値を計算するに当たってピクセル１４０４の角に隣接する高解像度ピクセルの２倍に加重される。同様に、ピクセル１４０４は、ピクセル１４１４に対応する誤差値を計算するに当たってピクセル１４０４の上下左右の４つの高解像度ピクセルの２倍に加重される。
【０１７５】
初期サブフレーム１４１２Ａ、１４２２Ａ、１４３２Ａ、及び１４４２Ａのそれぞれに関連する４つの補正サブフレーム（図示せず）が、誤差画像１５３０から生成される。４つの更新サブフレーム１４１２Ｂ、１４２２Ｂ、１４３２Ｂ、及び１４４２Ｂが、補正サブフレームに鮮鋭化係数αを乗算し、初期サブフレーム１４１２Ａ、１４２２Ａ、１４３２Ａ、及び１４４２Ａをそれぞれ加算することによって生成される。鮮鋭化係数αは、中心適応型マルチパスアルゴリズムの反復ごとに異なってもよい。一実施形態では、鮮鋭化係数αは連続した反復ごとに低減してもよい。たとえば、鮮鋭化係数αは、１回目の反復では「３」であってもよく、２回目の反復では「１．８」であってもよく、また、３回目の反復では「０．５」であってもよい。
【０１７６】
一実施形態では、更新サブフレーム１４１２Ｂ、１４２２Ｂ、１４３２Ｂ、及び１４４２Ｂを中心適応型マルチパスアルゴリズムの次の反復に使用して、さらなる更新サブフレームを生成する。任意の所望の回数の反復を行ってもよい。何回かの反復後、中心適応型マルチパスアルゴリズムを使用して生成されるサブフレームの値は最適な値に収束する。一実施形態では、サブフレーム生成ユニット３６は、中心適応型マルチパスアルゴリズムに基づいてサブフレーム３０を生成するように構成される。
【０１７７】
上述した中心適応型マルチパスアルゴリズムの実施形態では、フィルタ係数の分子及び分母の値は２のベキ乗になるように選択された。２のベキ乗を使用することにより、デジタルシステムでの処理が早められる。中心適応型マルチパスアルゴリズムの他の実施形態では、他のフィルタ係数値を使用してもよい。
【０１７８】
他の実施形態では、今述べた中心適応型マルチパスアルゴリズムは、２位置処理用の２つのサブフレームを生成するように変更してもよい。２つのサブフレームは、図２Ａ〜図２Ｃを参照して上述したように２位置処理を使用して表示デバイス２６により表示される。２位置処理の場合、画像３０Ｍ（図２０に示す）内のピクセルＢ１〜Ｂ１６及びＣ１〜Ｃ１６はゼロであり、補間フィルタは、第１行の値が「１／８」、「２／８」、「１／８」であり、第２行の値が「２／８」、「４／８」、「２／８」であり、且つ、第３行の値が「１／８」、「２／８」、「１／８」である３×３配列を含む。２位置処理の誤差フィルタは、４位置処理の誤差フィルタと同じである。
【０１７９】
他の実施形態では、中心適応型マルチパスアルゴリズムは、各サブフレームピクセル値について各反復の計算を単一ステップに併合することによって任意の回数の反復をワンパスで行うことができる。このようにして、各サブフレームピクセル値が、各反復で明示的にシミュレーションサブフレーム、誤差サブフレーム、及び補正サブフレームを生成することなく生成される。むしろ、各サブフレームピクセル値は独立して、元の画像ピクセル値から計算される中間値から計算される。
【０１８０】
Ｘ．簡易中心適応型マルチパス
一実施形態によるサブフレーム３０を生成するための簡易中心適応型マルチパスアルゴリズムは、過去の誤差を用いてサブフレームデータの評価を更新し、高速な収束及び低いメモリ必要量を提供する。簡易中心適応型マルチパスアルゴリズムは、上述した４位置適応型マルチパスアルゴリズムを変更する。簡易中心適応型マルチパスアルゴリズムでは、４つのサブフレーム３０のそれぞれの各ピクセルが、図１９Ａ〜図１９Ｅを参照して上述したように元の高解像度画像２８のピクセルに対してセンタリングされる。４つのサブフレームは、図３Ａ〜図３Ｅを参照して上述したように４位置処理を用いて表示デバイス２６により表示される。
【０１８１】
図１９Ａ〜図１９Ｅを参照すると、サブフレーム生成ユニット３６は、高解像度画像２８から４つの初期サブフレーム１４１２Ａ、１４２２Ａ、１４３２Ａ、及び１４４２Ａを生成する。一実施形態では、サブフレーム１４１２Ａ、１４２２Ａ、１４３２Ａ、及び１４４２Ａは、図５を参照して上述した最近傍アルゴリズムの一実施形態を使用して生成されてもよい。他の実施形態では、サブフレーム１４１２Ａ、１４２２Ａ、１４３２Ａ、及び１４４２Ａは他のアルゴリズムを使用して生成されてもよい。誤差処理のために、サブフレーム１４１２Ａ、１４２２Ａ、１４３２Ａ、及び１４４２Ａをアップサンプリングして、図２２中にサブフレーム３０Ｍとして示すアップサンプリング画像を生成する。
【０１８２】
図２２は、本発明の一実施形態による簡易中心適応型マルチパスアルゴリズムを使用して、サブフレーム３０Ｎに基づいて４位置処理用の擬似高解像度画像１６０４を生成するシステム１６００を示すブロック図である。図２２に示す実施形態では、サブフレーム３０Ｎは８×８配列のピクセルである。サブフレーム３０Ｎは、４位置処理用の４つの４×４ピクセルサブフレームのピクセルデータを含む。ピクセルＡ１〜Ａ１６はサブフレーム１４１２Ａからのピクセルを表し、ピクセルＢ１〜Ｂ１６はサブフレーム１４２２Ａからのピクセルを表し、ピクセルＣ１〜Ｃ１６はサブフレーム１４３２Ａからのピクセルを表し、また、ピクセルＤ１〜Ｄ１６はサブフレーム１４４２Ａからのピクセルを表す。
【０１８３】
サブフレーム３０Ｎは、畳み込み演算ステージ１６０２において補間フィルタとの畳み込み演算を受け、それによって、擬似高解像度画像１６０４が生成される。図示した実施形態では、補間フィルタは、畳み込み演算の中心が３×３行列の中心位置である３×３フィルタである。第１行のフィルタ係数は「０」、「１／８」、「０」であり、第２行のフィルタ係数は「１／８」、「４／８」、「１／８」であり、また、最後の行のフィルタ係数は「０」、「１／８」、「０」である。
【０１８４】
フィルタ係数は、５つのサブフレームピクセルの高解像度画像２８のピクセルの表示表現に対する相対比率を近似する。上記図１９の例を想起すると、サブフレーム１４２２Ａ及び１４３２Ａのそれぞれからのピクセル１４２４、１４２６、１４３４、及び１４３６はそれぞれ、サブフレーム１４１２Ａからのピクセル１４１４のおよそ半分の光を与え、また、サブフレーム１４４２Ａからのピクセル１４４４、１４４６、１４４８、及び１４５０はそれぞれ、サブフレーム１４１２Ａからのピクセル１４１４のおよそ１／４の光を与える。簡易中心適応型マルチパスアルゴリズムを使用する場合、「角ピクセル」と呼ぶピクセル１４４４、１４４６、１４４８、及び１４５０からの寄与分は、角ピクセルに関連するフィルタ係数が０であることで示されるようにピクセル１４１４のピクセル値を計算するに当たって無視される。
【０１８５】
サブフレームピクセル１４１４、１４２４、１４２６、１４３４、１４３６、１４４４、１４４６、１４４８、及び１４５０の値は、サブフレーム画像３０Ｎ内のＡ６、Ｂ５、Ｂ６、Ｃ２、Ｃ６、Ｄ１、Ｄ５、Ｄ２、及びＤ６のピクセルにそれぞれ対応する。したがって、擬似画像１５０４のピクセルＡ６SIM（図１９中のピクセル１４０４に対応する）は、サブフレーム画像３０Ｎ内の値から式ＸＸＸＩＶにおいて以下のように計算される。
【０１８６】
＜式ＸＸＸＩＶ＞
Ａ６SIM＝（（０×Ｄ１）＋（１×Ｃ２）＋（０×Ｄ２）＋（１×Ｂ５）＋（４×Ａ６）＋（１×Ｂ６）＋（０×Ｄ５）＋（１×Ｃ６）＋（０×Ｄ６））／８
【０１８７】
式ＸＸＸＩＶを簡易化すると式ＸＸＸＶになる。
【０１８８】
＜式ＸＸＸＶ＞
Ａ６SIM＝（Ｃ２＋Ｂ５＋（４×Ａ６）＋Ｂ６＋Ｃ６）／８
【０１８９】
画像データを８で割り、５つのサブフレームピクセルが各表示ピクセルに与える相対比率を補正する。
【０１９０】
擬似高解像度画像１６０４の生成後、補正データが生成される。図２３は、本発明の一実施形態によるシステム１７００において中心適応型マルチパスアルゴリズムを使用しての補正データの生成を示すブロック図である。減算ステージ１７０２において、高解像度画像２８から擬似高解像度画像１６０４がピクセルごとに減算されて、誤差画像１７０４を生成する。
【０１９１】
初期サブフレーム１４１２Ａ、１４２２Ａ、１４３２Ａ、及び１４４２Ａのそれぞれに関連する４つの補正サブフレーム（図示せず）は、誤差画像１７０４から生成される。４つの更新サブフレーム１７０４Ａ、１７０４Ｂ、１７０４Ｃ、及び１７０４Ｄが、補正サブフレームに鮮鋭化係数αを乗算し、初期サブフレーム１４１２Ａ、１４２２Ａ、１４３２Ａ、及び１４４２Ａのそれぞれを加算することによって生成される。鮮鋭化係数αは、簡易中心適応型マルチパスアルゴリズムの反復ごとに異なってもよい。一実施形態では、鮮鋭化係数αは連続した反復ごとに低減してもよい。たとえば、鮮鋭化係数αは、１回目の反復では「３」であってもよく、２回目の反復では「１．８」であってもよく、また、３回目の反復では「０．５」であってもよい。
【０１９２】
一実施形態では、更新サブフレーム１７０４Ａ、１７０４Ｂ、１７０４Ｃ、及び１７０４Ｄを簡易中心適応型マルチパスアルゴリズムの次の反復に使用して、さらなる更新サブフレームを生成する。任意の所望の回数の反復を行ってもよい。何回かの反復後、簡易中心適応型マルチパスアルゴリズムを使用して生成されるサブフレームの値は最適な値に収束する。一実施形態では、サブフレーム生成ユニット３６は、中心適応型マルチパスアルゴリズムに基づいてサブフレーム３０を生成するように構成される。
【０１９３】
上述した簡易中心適応型マルチパスアルゴリズムの実施形態では、フィルタ係数の分子及び分母の値は２のベキ乗になるように選択された。２のベキ乗を使用することにより、デジタルシステムでの処理が早められる。簡易中心適応型マルチパスアルゴリズムの他の実施形態では、他のフィルタ係数値を使用してもよい。
【０１９４】
他の実施形態では、簡易中心適応型マルチパスアルゴリズムは、各サブフレームピクセル値について各反復の計算を単一ステップに併合することによって任意の回数の反復をワンパスで行うことができる。このようにして、各サブフレームピクセル値が、各反復で明示的にシミュレーションサブフレーム、誤差サブフレーム、及び補正サブフレームを生成することなく生成される。むしろ、各サブフレームピクセル値は独立して、元の画像ピクセル値から計算される中間値から計算される。
【０１９５】
ＸＩ．履歴使用の適応型マルチパス
一実施形態によるサブフレーム３０を生成する履歴使用の適応型マルチパスアルゴリズムは、過去の誤差を使用して、サブフレームデータの評価を更新し、高速な収束及び低いメモリ必要量を提供することができる。履歴使用の適応型マルチパスアルゴリズムは、履歴値を使用してアルゴリズムのワンパスでサブフレームを生成することによって上述した４位置適応型マルチパスアルゴリズムを変更する。４つのサブフレームを、図３Ａ〜図３Ｅを参照して上述した４位置処理を使用して表示デバイス２６で表示する。
【０１９６】
適応型マルチパスアルゴリズムを実施するための少なくとも２つの方法を使用することができる。第１に、適応型マルチパスアルゴリズムを、適応型マルチパスアルゴリズム、中心適応型マルチパスアルゴリズム、及び簡易中心適応型マルチパスアルゴリズムについて上述したように複数回反復して行うことができる。複数回の反復に伴い、（１）初期サブフレームが生成され、（２）擬似画像が生成され、（３）擬似画像を元の画像と比較することによって補正データが計算され、（４）補正データを使用して更新サブフレームが生成される。次いで、ステップ（２）〜（４）が各反復ごとに繰り返される。
【０１９７】
適応型マルチパスアルゴリズムは、各最終サブフレームピクセル値の影響領域を使用してワンパスで各最終サブフレームピクセル値を計算することによって実施することもできる。この方法では、影響領域のサイズは、図２４Ａ〜図２４Ｃに示すように行われる反復回数に対応する。後述するように、影響領域は図２７及び図３１に示すように簡易化することができる。
【０１９８】
図２４Ａ〜図２４Ｃは、適応型マルチパスアルゴリズムの異なる反復回数の場合のピクセル１８０２の影響領域を示すブロック図である。図２４Ａは、適応型マルチパスアルゴリズムを１回反復した場合の画像１８００のピクセル１８０２の影響領域１８０４を示す。図２４Ａに示すように、影響領域１８０４は４×４配列のピクセルを含み、ピクセル１８０２が図示のように影響領域１８０４の中心にある。影響領域１８０４は、適応型マルチパスアルゴリズムの１回の反復を使用してピクセル１８０２の初期値、擬似値、及び補正値を生成するために使用されるピクセル値を含む。
【０１９９】
適応型マルチパスアルゴリズムを２回反復する場合、影響領域１８０６は６×６配列に広がり、図２４Ｂに示すようにピクセル１８０２が影響領域１８０６の中心にある。ピクセル１８０２の影響領域１８０６は６×６配列のピクセルを含み、適応型マルチパスアルゴリズムの２回の反復を使用してピクセル１８０２の初期値、擬似値、及び補正値を生成するために使用されるピクセル値を含む。
【０２００】
図２４Ｃに示すように、影響領域１８０８は適応型マルチパスアルゴリズムを３回反復する場合、８×８配列にさらに広がる。ピクセル１８０２の影響領域１８０８は８×８配列のピクセルを含み、ピクセル１８０２が図示のように影響領域１８０８の中心にあり、適応型マルチパスアルゴリズムの３回の反復を使用してピクセル１８０２の初期値、擬似値、及び補正値を生成するために使用されるピクセル値を含む。特に、影響領域１８０８は画像１８００の８行を含む。
【０２０１】
影響領域のサイズは、ｎ回の反復の場合、影響領域が（２ｎ＋２）×（２ｎ＋２）配列を含むことに留意することによって一般化することができる。
【０２０２】
適応型マルチパスアルゴリズムを実施するためのワンパス方法では、各最終サブフレームピクセル値は、最終サブフレームピクセル値に対応するピクセル値に対して影響領域をシフトすることによって計算される。図２５は、適応型マルチパスアルゴリズムを３回反復する場合の画像１９００に対するピクセル１９０２の影響領域１９０４を示すブロック図である。図２５中、ピクセル１９０２に対応する最終サブフレームピクセル値は、影響領域１９０４が含むピクセル値を使用して計算される。ピクセル１９０６に対応する最終サブフレームピクセル値を計算するために、矢印１９０８で示すように影響領域１９０４を右に１ピクセル分（図示せず）にシフトさせる。同様に、矢印１９１２で示すように影響領域１９０４を下に１ピクセル分（図示せず）シフトさせて、ピクセル１９１０に対応する最終サブフレームピクセル値を計算する。
【０２０３】
一実施形態では、画像１９００の最終サブフレームピクセル値は、値が行ごとに左から右、上から下に計算されて最上行から始まって最下行で終わるラスタパターンで計算することができる。他の実施形態では、最終サブフレームピクセル値は他のパターン又は他の順序に従って計算することができる。
【０２０４】
図２６は、最終サブフレームピクセル値がラスタパターンで計算される適応マルチパルスアルゴリズムを３回反復する場合のピクセル２００２の影響領域２００４内の計算済み履歴値を示すブロック図である。影響領域２００４内の陰影付きピクセルは、履歴値、すなわちピクセル２００２の最終サブフレームピクセル値を計算する前に計算される最終サブフレームピクセル値を含む。ラスタパターンを使用する場合、最終サブフレームピクセル値は、ピクセル２００２より上の各行ごとに、またピクセル２００２と同じ行でピクセル２００２の左側にある各ピクセルごとに計算される。
【０２０５】
履歴値を使用し、初期値の最後の行を無視することにより、ピクセル２００２の図２６に示す影響領域２００４を簡易化することができる。図２７は、最終サブフレームピクセル値がラスタパターンで計算される履歴使用の適応型マルチパスアルゴリズムを３回反復する場合のピクセル２００２の簡易影響領域２００６内の計算済み履歴値を示すブロック図である。簡易影響領域２００６は５行、すなわち履歴値に１行２００８、履歴値及び初期値の両方に１行２０１０、及び初期値に３行２０１２を含む。簡易影響領域２００６は、影響領域２００４からの最初の２行の履歴値及び最後の１行の初期値を含まない。
【０２０６】
初期履歴値２００８は、元の画像の第１行からの対応するピクセル値に等しくセットしてもよく、又はゼロにセットしてもよい。行２０１０及び行２０１２中の初期値は最初にゼロにセットしてもよく、又は列２０１６からの計算済み初期値に等しくセットしてもよい。ピクセル２００２に対応する最終サブフレームピクセル値は、以下のアルゴリズムを使用して簡易影響領域２００６からの履歴値及び初期値を使用して計算することができる。
【０２０７】
まず、影響領域２００６の列２０１６中のピクセルの初期ピクセル値が、元の画像ピクセル値を使用して計算される。一実施形態では、初期ピクセル値は、各ピクセル値を他の３つのピクセル値と平均することによって計算される。他の実施形態では他のアルゴリズムを使用してもよい。次に、列２０１６中のピクセルの擬似ピクセル値が、初期ピクセル値のシミュレーションカーネルとの畳み込み演算によって計算される。シミュレーションカーネルは３×３配列を含み、第１行の値は「１／４」、「１／４」、及び「０」であり、第２行の値は「１／４」、「１／４」、及び「０」であり、第３行の値は「０」、「０」、及び「０」である。誤差値が、元の画像ピクセル値から擬似ピクセル値を減算することによって列２０１６中の各ピクセルごとに生成される。
【０２０８】
列２０１６の誤差値を計算した後、列２０１８中のピクセルの擬似ピクセル値が、初期ピクセル値のシミュレーションカーネルとの畳み込み演算によって計算される。誤差値が、元の画像ピクセル値から擬似ピクセル値を減算することによって列２０１８中の各ピクセルごとに生成される。列２０１８中のピクセルの補正値が、誤差値の誤差カーネルとの畳み込み演算によって計算される。誤差カーネルは３×３配列を含み、第１行の値は「０」、「０」、及び「０」であり、第２行の値は「０」、「１／４」、及び「１／４」であり、第３行の値は「０」、「１／４」、及び「１／４」である。列２０１８中のピクセルの適応ピクセル値が、補正値を鮮鋭化係数αと乗算し、その積を初期値に加算することによって計算される。
【０２０９】
列２０１８の適応ピクセル値を計算した後、列２０２０中のピクセルの擬似ピクセル値が、初期ピクセル値のシミュレーションカーネルとの畳み込み演算によって計算される。誤差値が、元の画像ピクセル値から擬似ピクセル値を減算することによって列２０２０中の各ピクセルごとに生成される。列２０２０中のピクセルの補正値が、誤差値の誤差カーネルとの畳み込み演算によって計算される。列２０２０中のピクセルの適応ピクセル値が、補正値を鮮鋭化係数αと乗算し、その積を初期値に加算することによって計算される。
【０２１０】
列２０２０の適応ピクセル値を計算した後、列２０２２中のピクセルの擬似ピクセル値が、初期ピクセル値のシミュレーションカーネルとの畳み込み演算によって計算される。誤差値が、元の画像ピクセル値から擬似ピクセル値を減算することによって列２０２２中の各ピクセルごとに生成される。列２０２２中のピクセルの補正値が、誤差値の誤差カーネルとの畳み込み演算によって計算される。
【０２１１】
ピクセル２００２に対応する最終サブフレームピクセル値は、上記アルゴリズムによって生成される値、履歴値、及び鮮鋭化係数αを使用して計算される。
【０２１２】
所与のピクセルに対応する最終サブフレームピクセル値を計算する際に使用される中間計算を、所与のピクセルに隣接するピクセルに対応する最終サブフレームピクセル値を計算する際に再利用することができる。たとえば、ピクセル２００２の最終サブフレームピクセル値を計算する際に使用される中間計算を、ピクセル２００２の右側にあるピクセルの最終サブフレームピクセル値を計算する際に再利用することができる。その結果、特定の冗長計算を省くことができる。
【０２１３】
上記アルゴリズムでの鮮鋭化係数αは、履歴使用の適応型マルチパスアルゴリズムを使用して異なる列の値を計算するに際して異なってもよい。たとえば、鮮鋭化係数αは、列２０１８の適応ピクセル値を計算する場合には「３」であってもよく、列２０２０の適応ピクセル値を計算する場合には「１．８」であってもよく、ピクセル２００２に対応する最終サブフレームピクセル値を計算する場合には「０．５」であってもよい。
【０２１４】
上記アルゴリズムについて適応型マルチパスアルゴリズムを３回反復する場合に関して説明したが、このアルゴリズムは、反復回数の影響領域に従って上記アルゴリズムで使用される列数及び／又は各列中のピクセル数を増減することにより、拡大又は縮小して任意の回数の反復に適用することができる。
【０２１５】
図２８は、最終サブフレームピクセル値がラスタパターンで計算される、履歴使用の適応型マルチパスアルゴリズムを３回反復する場合の画像１９００に対するピクセル２００２の簡易影響領域２００６を示すブロック図である。図２８では、ピクセル２００２に対応する最終サブフレームピクセル値が、上記アルゴリズムにおいて今述べたように影響領域２００６に含まれるピクセル値を使用して計算される。ピクセル２０２８に対応する最終サブフレームピクセル値を計算するために、矢印１９０８で示すように影響領域２００６を右に１ピクセル分（図示せず）シフトさせる。同様に、矢印１９１２で示すように影響領域２００６を下に１ピクセル分（図示せず）シフトさせて、ピクセル２０３０に対応する最終サブフレームピクセル値を計算する。
【０２１６】
図２９は、一実施形態によるサブフレーム生成ユニット３６の部分を示すブロック図である。この実施形態では、サブフレーム生成ユニット３６は、プロセッサ２１００、メインメモリ２１０２、コントローラ２１０４、及びメモリ２１０６を備える。コントローラ２１０４は、プロセッサ２１００、メインメモリ２１０２、及びメモリ２１０６に接続される。メモリ２１０６は、元の画像２８及びサブフレーム画像３０Ｐを含む比較的大きなメモリを含む。メインメモリ２１０２は、サブフレーム生成モジュール２１１０、一時変数２１１２、元の画像２８からの元の画像行２８Ａ、及びサブフレーム画像３０Ｐからのサブフレーム画像行３０Ｐ−１を含む比較的高速のメモリを含む。
【０２１７】
プロセッサ２１００は、コントローラ２１０４を使用してメインメモリ２１０２及びメモリ２１０６からの命令及びデータにアクセスする。プロセッサ２１００は、コントローラ２１０４を使用して命令を実行し、データをメインメモリ２１０２及びメモリ２１０６に記憶する。
【０２１８】
サブフレーム生成モジュール２１１０は、プロセッサ２１００により実行可能であり、履歴使用の適応型マルチパスアルゴリズムを実施するための命令を含む。プロセッサ２１００により実行されていることに応答して、サブフレーム生成モジュール２１１０は、元の画像行２８Ａ及びサブフレーム画像行３０Ｐ−１の組をメインメモリ２１０２にコピーさせる。サブフレーム生成モジュール２１１０は、履歴使用の適応型マルチパスアルゴリズムに従って元の画像行２８Ａ及びサブフレーム画像行３０Ｐ−１内のピクセル値を使用して、各行ごとに最終サブフレームピクセル値を生成させる。最終サブフレームピクセル値を生成するに当たり、サブフレーム生成モジュール２１１０は、一時的な値を一時変数２１１２として記憶させる。サブフレーム画像行の最終サブフレームピクセル値を生成した後、サブフレーム生成モジュール２１１０はその行をサブフレーム画像３０Ｐとして記憶させ、次の行のピクセル値を元の画像２８から読み出させて元の画像行２８Ａに記憶させる。
【０２１９】
サブフレーム生成モジュール２１１０が履歴使用の適応型マルチパスアルゴリズムの３回の反復を実施する一実施形態では、元の画像行２８Ａは元の画像２８からの４行を含む。他の実施形態では、元の画像行２８Ａは元の画像２８からの他の行数分の行を含む。
【０２２０】
一実施形態では、サブフレーム生成ユニット３６はサブフレーム画像３０Ｐから４つのサブフレームを生成する。４つのサブフレームは、図３Ａ〜図３Ｅを参照して上述した４位置処理を使用して表示デバイス２６で表示される。
【０２２１】
他の実施形態では、サブフレーム生成ユニット３６は、図２９に示す構成要素の機能を集積回路に組み込んだ特定用途向け集積回路（ＡＳＩＣ）を備える。こういった実施形態では、メインメモリ２１０２をＡＳＩＣに含めてもよく、メモリ２１０６はＡＳＩＣ内に含まれてもよく、又はＡＳＩＣ外にあってもよい。ＡＳＩＣは、ハードウェア構成要素とソフトウェア構成要素又はファームウェア構成要素との任意の組み合わせを含み得る。
【０２２２】
他の実施形態では、履歴使用の適応型マルチパスアルゴリズムを使用して、２位置処理の場合に２つのサブフレームを生成することができる。２つのサブフレームは、図２Ａ〜図２Ｃを参照して上述したように２位置処理を使用して表示デバイス２６で表示される。２位置処理の場合、シミュレーションカーネルは３×３配列を含み、第１行の値は「１／２」、「１／２」、「０」であり、第２行の値は「１／２」、「１／２」、「０」であり、第３行の値は「０」、「０」、「０」である。
【０２２３】
ＸＩＩ．履歴使用の簡易中心適応型マルチパス
一実施形態によるサブフレーム３０を生成するための履歴使用の簡易中心適応型マルチパスアルゴリズムは、過去の誤差を使用してサブフレームデータの評価を更新し、高速な収束及び低メモリ必要量を提供することができる。履歴使用の簡易中心適応型マルチパスアルゴリズムは、アルゴリズムのワンパスで４つのサブフレームを生成する際にシミュレーションカーネル内の値を変更し、誤差カーネルを省くことによって履歴使用の適応型マルチパスアルゴリズムを変更する。４つのサブフレームは、図３Ａ〜図３Ｅを参照して上述したように４位置処理を使用して表示デバイス２６で表示される。
【０２２４】
図２７を参照すると、初期履歴値２００８は、元の画像の第１行からの対応するピクセル値に等しくセットしてもよく、又はゼロにセットしてもよい。行２０１０及び行２０１２中の初期値は最初にゼロにセットしてもよく、又は列２０１６からの計算済み初期値に等しくセットしてもよい。ピクセル２００２に対応する最終サブフレームピクセル値は、以下のアルゴリズムを使用して簡易影響領域２００６からの履歴値及び初期値を使用して計算することができる。履歴使用の簡易中心適応型マルチパスアルゴリズムは以下のように実施することができる。
【０２２５】
第１に、列２０１６中のピクセルの初期ピクセル値が計算される。初期ピクセル値は、最近傍アルゴリズム又は他の任意の適したアルゴリズムを使用して計算してもよい。
【０２２６】
列２０１６の初期ピクセル値を計算した後、列２０１８中のピクセルの擬似ピクセル値が、初期ピクセル値のシミュレーションカーネルとの畳み込み演算によって計算される。シミュレーションカーネルは３×３配列を含み、第１行の値は「０」、「１／８」、及び「０」であり、第２行の値は「１／８」、「４／８」、及び「１／８」であり、第３行の値は「０」、「１／８」、及び「０」である。列２０１８中のピクセルの補正値が、元の画像ピクセル値から擬似ピクセル値を減算することによって計算される。列２０１８中のピクセルの適応ピクセル値が、鮮鋭化係数αで補正値を乗算し、その積を初期値に加算することによって計算される。
【０２２７】
列２０１８の擬似値を計算した後、列２０２０中のピクセルの擬似ピクセル値が、初期ピクセル値のシミュレーションカーネルとの畳み込み演算によって計算される。列２０２０中のピクセルの補正値が、元の画像ピクセル値から擬似ピクセル値を減算することによって計算される。列２０２０中のピクセルの適応ピクセル値が、鮮鋭化係数αで補正値を乗算し、その積を初期値に加算することによって計算される。
【０２２８】
列２０２０の擬似値を計算した後、列２０２２中のピクセルの擬似ピクセル値が、初期ピクセル値のシミュレーションカーネルとの畳み込み演算によって計算される。列２０２２中のピクセルの補正値が、元の画像ピクセル値から擬似ピクセル値を減算することによって計算される。
【０２２９】
ピクセル２００２に対応する最終サブフレームピクセル値が、上記アルゴリズムにより生成される値、履歴値、及び鮮鋭化係数αを使用して計算される。
【０２３０】
所与のピクセルに対応する最終サブフレームピクセル値を計算する際に使用される中間計算を、所与のピクセルに隣接するピクセルに対応する最終サブフレームピクセル値を計算する際に再利用することができる。たとえば、ピクセル２００２の最終サブフレームピクセル値を計算する際に使用される中間計算を、ピクセル２００２の右側にあるピクセルの最終サブフレームピクセル値を計算する際に再利用することができる。その結果、特定の冗長計算を省くことができる。
【０２３１】
上記アルゴリズムでの鮮鋭化係数αは、履歴使用の簡易中心適応型マルチパスアルゴリズムを使用して異なる列の値を計算するに際して異なってもよい。たとえば、鮮鋭化係数αは、列２０１８の適応ピクセル値を計算する場合には「３」であり、列２０２０の適応ピクセル値を計算する場合には「１．８」であり、ピクセル２００２に対応する最終サブフレームピクセル値を計算する場合には「０．５」であってもよい。
【０２３２】
上記アルゴリズムについて簡易中心適応型マルチパスアルゴリズムを３回反復する場合に関して説明したが、このアルゴリズムは、反復回数の影響領域に従って上記アルゴリズムで使用される列数及び各列中のピクセル数を増減することにより、拡大又は縮小して任意の回数の反復に適用することができる。
【０２３３】
サブフレーム生成ユニット３６の一実施形態では（図２９に示す）、サブフレーム生成モジュール２１１０が履歴使用の簡易中心適応型マルチパスアルゴリズムを実施する。別の実施形態では、サブフレーム生成ユニット３６は、履歴使用の簡易中心適応型マルチパスアルゴリズムを実施するＡＳＩＣを備える。
【０２３４】
ＸＩＩＩ．履歴使用の中心適応型カーネル
一実施形態によるサブフレーム３０を生成するための履歴使用の中心適応型マルチパスアルゴリズムは、過去の誤差を使用してサブフレームデータの評価を更新し、高速な収束及び低メモリ必要量を提供することができる。履歴使用の中心適応型マルチパスアルゴリズムはアルゴリズムのワンパスで２つのサブフレームを生成し、シミュレーションカーネル及び誤差カーネルを変更することによって履歴使用の適応型マルチパスアルゴリズムを変更する。履歴使用の中心適応型マルチパスアルゴリズムも、簡易影響領域に使用される履歴値行に関連する誤差値を生成し、これらの値を履歴値行と共に記憶する。２つのサブフレームは、図２Ａ〜図２Ｃを参照して上述した２位置処理を使用して表示デバイス２６で表示される。
【０２３５】
２位置処理の場合、図３０に示すように２つのサブフレームを絡み合わせて単一のサブフレーム画像２２００にすることができる。画像２２００内では、第１の種類の陰影付きで示されるピクセルセット２２０２は第１のサブフレームを含み、第２の種類の陰影付きで示されるピクセルセット２２０４は第２のサブフレームを含む。陰影の付いていない残りのピクセルセット２２０６は、使用されないサブフレームを表すゼロ値を含む。
【０２３６】
図３１は、最終サブフレームピクセル値がラスタパターンで計算される履歴使用の中心適応型マルチパスアルゴリズムを３回反復する場合のピクセル２２１２の簡易影響領域２２１０内のピクセル２２０２、ピクセル２２０４、履歴値２２２２（第３の種類の陰影付きで示される）、及び誤差値２２２４（第４の種類の陰影付きで示される）を示すブロック図である。簡易影響領域２２１０は５行、すなわち履歴値及び誤差値に１行２２１４、履歴値及び初期値に１行２２１６、並びに初期値に３行２２１８を含む。簡易影響領域２２１０は行２２１４より上の２行の履歴値及び誤差値、並びに行２２１８よりも下の行の初期値を含まない。
【０２３７】
誤差値２２２４はそれぞれ式ＸＸＸＶＩを使用して計算される。
【０２３８】
＜式ＸＸＸＶＩ＞
誤差＝（（１×誤差左ヒ゜クセル）＋（２×誤差）＋（１×誤差右ヒ゜クセル））／４
誤差値２２２４は、ピクセル値よりも多くのビットを含み得る符号付きの値であるため、式ＸＸＸＶＩを使用して計算される誤差値２２２４は、図３１に示すように行２２１４に記憶される前にマッピング又はルックアップテーブルを用いて調整される。以下の擬似コードを使用して、一実施形態により誤差値２２２４をマッピングすることができる。
ｔｅｍｐ＝誤差＿左＋２*誤差＋誤差＿右；／／１× ２× １×
ｔｅｍｐ＝ｔｅｍｐ／４；／／４で割る
ｉｆ（ｔｅｍｐ＜−１２７）ｔｅｍｐ＝−１２７；／／値のクリッピング
ｉｆ（ｔｅｍｐ＞１２７）ｔｅｍｐ＝１２７；／／値のクリッピング
ｔｅｍｐ＋＝１２７；／／シフトして非ゼロにする
【０２３９】
初期履歴値２２２２は、元の画像の第１行からの対応するピクセル値に等しくセットしてもよく、又はゼロにセットしてもよい。初期誤差値２２２４はゼロにセットしてもよい。行２２１６及び行２２１８中の初期値は最初にゼロにセットしてもよく、又は列２２２６からの計算済み初期値に等しくセットしてもよい。ピクセル２２１２に対応する最終サブフレームピクセル値は、以下のアルゴリズムを使用して簡易影響領域２２１０からの履歴値、誤差値、及び初期値を使用して計算することができる。
【０２４０】
第１に、影響領域２２１０の列２２２６中のピクセルの初期ピクセル値が、元の画像ピクセル値を使用して計算される。一実施形態では、初期ピクセル値は最近傍アルゴリズムを使用して計算される。他のアルゴリズムを他の実施形態で使用してもよい。次に、列２２２６中のピクセルの擬似ピクセル値が、初期ピクセル値の、２つのシミュレーションカーネルのうちの一方との畳み込み演算によって計算される。第１のシミュレーションカーネルは、ピクセル２２１２が非ゼロ値を含む場合に使用され、３×３配列を含み、第１行の値は「１／８」、「０」、及び「１／８」であり、第２行の値は「０」、「４／８」、及び「０」であり、第３行の値は「１／８」、「０」、及び「１／８」である。第２のシミュレーションカーネルは、ピクセル２２１２がゼロ値を含む場合に使用され、３×３配列を含み、第１行の値は「０」、「２／８」、及び「０」であり、第２行の値は「２／８」、「０」、及び「２／８」であり、第３行の値は「０」、「２／８」、及び「０」である。誤差値が、元の画像ピクセル値から擬似ピクセル値を減算することによって列２２２６中の各ピクセルごとに生成される。
【０２４１】
列２２２６の誤差値を計算した後、列２２２８中のピクセルの擬似ピクセル値が、初期ピクセル値の適切なシミュレーションカーネルとの畳み込み演算によって計算される。誤差値は、元の画像ピクセル値から擬似ピクセル値を減算することによって列２２２８中の各ピクセルごとに生成される。列２２２８中のピクセルの補正値が、誤差値の誤差カーネルとの畳み込み演算によって計算される。誤差カーネルは３×３配列を含み、第１行の値は「１／１６」、「２／１６」、及び「１／１６」であり、第２行の値は「２／１６」、「４／１６」、及び「２／１６」であり、第３行の値は「１／１６」、「２／１６」、及び「１／１６」である。列２２２８中のピクセルの適応ピクセル値は、鮮鋭化係数αで補正値を乗算し、その積を初期値に加算することによって計算される。
【０２４２】
列２２２８の適応ピクセル値を計算した後、列２２３０中のピクセルの擬似ピクセル値が、初期ピクセル値の適切なシミュレーションカーネルとの畳み込み演算によって計算される。誤差値が、元の画像ピクセル値から擬似ピクセル値を減算することによって列２２３０中の各ピクセルごとに生成される。列２２３０中のピクセルの補正値が、誤差値の誤差カーネルとの畳み込み演算によって計算される。列２２３０中のピクセルの適応ピクセル値が、鮮鋭化係数αで補正値を乗算し、その積を初期値に加算することによって計算される。
【０２４３】
列２２３０の適応ピクセル値を計算した後、列２２３２中のピクセルの擬似ピクセル値が、初期ピクセル値の適切なシミュレーションカーネルとの畳み込み演算によって計算される。誤差値が、元の画像ピクセル値から擬似ピクセル値を減算することによって列２２３２中の各ピクセルごとに生成される。列２２３２中のピクセルの補正値が、誤差値の誤差カーネルとの畳み込み演算によって計算される。
【０２４４】
ピクセル２２１２に対応する最終サブフレームピクセル値が、上記アルゴリズムにより生成される値、履歴値２２２２、誤差値２２２４、及び鮮鋭化係数αを使用して計算される。
【０２４５】
所与のピクセルに対応する最終サブフレームピクセル値を計算する際に使用される中間計算を、所与のピクセルに隣接するピクセルに対応する最終サブフレームピクセル値を計算する際に再利用することができる。たとえば、ピクセル２００２の最終サブフレームピクセル値を計算する際に使用される中間計算を、ピクセル２００２の右側にあるピクセルの最終サブフレームピクセル値を計算する際に再利用することができる。その結果、特定の冗長計算を省くことができる。
【０２４６】
上記アルゴリズムでの鮮鋭化係数αは、履歴使用の中心適応型マルチパスアルゴリズムを使用して異なる列の値を計算するに際して異なってもよい。たとえば、鮮鋭化係数αは、列２２２８の適応ピクセル値を計算する場合には「３」であり、列２２３０の適応ピクセル値を計算する場合には「１．８」であり、ピクセル２２１２に対応する最終サブフレームピクセル値を計算する場合には「０．５」であってもよい。
【０２４７】
上記アルゴリズムについて中心適応型マルチパスアルゴリズムを３回反復する場合に関して説明したが、このアルゴリズムは、反復回数の影響領域に従って上記アルゴリズムで使用される列数及び各列中のピクセル数を増減することにより、拡大又は縮小して任意の回数の反復に適用することができる。
【０２４８】
図３２は、最終サブフレームピクセル値がラスタパターンで計算される履歴使用の中心適応型マルチパスアルゴリズムを３回反復した場合の画像２３００に対するピクセル２２１２の簡易影響領域２２１０を示すブロック図である。図３２では、ピクセル２２１２に対応する最終サブフレームピクセル値が、上記アルゴリズムにおいて今述べたように影響領域２２１０が含むピクセル値を使用して計算される。ピクセル２３０２に対応する最終サブフレームピクセル値を計算するために、矢印２３０４で示すように影響領域２２１０を右に１ピクセル分（図示せず）シフトする。同様に、矢印２３０８で示すように影響領域２２１０を下に１ピクセル分（図示せず）シフトして、ピクセル２３０６に対応する最終サブフレームピクセル値を計算する。
【０２４９】
他の実施形態では、履歴使用の中心適応型マルチパスアルゴリズムを使用して、４位置処理で４つのサブフレームを生成することができる。４つのサブフレームは、図３Ａ〜図３Ｅを参照して上述した４位置処理を使用して表示デバイス２６で表示される。４位置処理の場合、シミュレーションカーネル及び誤差カーネルはそれぞれ３×３配列を含み、第１行の値は「１／１６」、「２／１６」、「１／１６」であり、第２行の値は「２／１６」、「４／１６」、「２／１６」であり、第３行の値は「１／１６」、「２／１６」「１／１６」である。さらに、履歴値行とは別個の誤差値行が上述したアルゴリズムにおいて使用される。
【０２５０】
他の実施形態では、履歴使用の中心適応型マルチパスアルゴリズムの誤差カーネルを省いてもよい。こういった実施形態では、誤差値行は図３１に示すように記憶されず、シミュレーションカーネルは３×３配列を含み、第１行の値は「１／１６」、「２／１６」、「１／１６」であり、第２行の値は「２／１６」、「４／１６」、「２／１６」であり、第３行の値は「１／１６」、「２／１６」、「１／１６」である。こういった変更を用いて、履歴使用の中心適応型マルチパスアルゴリズムを、履歴使用の簡易中心適応型マルチパスアルゴリズムについて上述した様式と同様に実施することができる。
【０２５１】
サブフレーム生成ユニット３６の一実施形態（図２９に示す）では、サブフレーム生成モジュール２１１０が履歴使用の中心適応型マルチパスアルゴリズムを実施する。別の実施形態では、サブフレーム生成ユニット３６は、履歴使用の中心適応型マルチパスアルゴリズムを実施するＡＳＩＣを備える。
【０２５２】
ＸＩＶ．ちらつきを低減した４位置処理
上述したようにサブフレーム３０を連続して表示するに際して、異なるサブフレームのサブフレームピクセル値間のばらつきは、表示画像に関連するちらつきに繋がる恐れがある。表示画像に関連するちらつきを低減するために、サブフレーム生成ユニット３６は、画像１２のサブフレームを２つ１組で２組、互いに独立して生成することにより４位置処理を実施する。表示デバイス２６は、図３Ａ〜図３Ｅ及び図４Ａ〜図４Ｅに示し上述した例に示すように２組からのサブフレームを４つの位置に表示する。
【０２５３】
図３３は、２つ１組のサブフレームを２組生成することにより４位置処理を行う方法を示すブロック図であり、図３４は、本発明の一実施形態により４位置処理を行う方法を示すフローチャートである。図３３及び図３４を参照すると、画像フレーム２８はピクセルＡ１〜Ａ４、Ｂ１〜Ｂ４、Ｃ１〜Ｃ４、及びＤ１〜Ｄ４を含む。画像フレーム２８を受け取ったことに応答して、サブフレーム生成ユニット３６は、矢印２４０２及びブロック２４５２で示すように、画像フレーム２８からの画像データの第１の部分及び第２の部分をそれぞれ使用して２つ１組で２組の初期サブフレーム２４０６及び２４０８を生成する。第１の組２４０６の２つの初期サブフレームは、画像フレーム２８からのピクセルＡ１〜Ａ４及びＤ１〜Ｄ４に関連するサブフレームピクセル値、並びにピクセルＢ１〜Ｂ４及びＣ１〜Ｃ４に関連する値にゼロ値を含む。第１の組２４０６の２つの初期サブフレームのうちの第１のサブフレームは、ピクセルＡ１〜Ａ４に関連するサブフレームピクセル値を含み、第１の組２４０６の２つの初期サブフレームのうちの第２のサブフレームは、ピクセルＤ１〜Ｄ４に関連するサブフレームピクセル値を含む。第２の組２４０８の２つの初期サブフレームは、画像フレーム２８からのピクセルＢ１〜Ｂ４及びＣ１〜Ｃ４に関連するサブフレームピクセル値、並びにピクセルＡ１〜Ａ４及びＤ１〜Ｄ４に関連する値にゼロ値を含む。第２の組２４０８の２つの初期サブフレームのうちの第１のサブフレームは、ピクセルＢ１〜Ｂ４に関連するサブフレームピクセル値を含み、第２の組２４０８の２つの初期サブフレームのうちの第２のサブフレームは、ピクセルＣ１〜Ｃ４に関連するサブフレームピクセル値を含む。
【０２５４】
サブフレーム生成ユニット３６は、ブロック２４５４に示すように、２つの初期サブフレームの組２４０６及び２４０８それぞれに、２つ１組のサブフレームを２組２４１６及び２４２８を生成する。特に、サブフレーム生成ユニット３６は、１組の２つの初期サブフレーム２４０６に対して処理を行い、矢印２４１２で示すように、Ａ１’〜Ａ４’に関連するサブフレームピクセル値を有するサブフレーム及びピクセルＤ１’〜Ｄ４’に関連するサブフレームピクセル値を有するサブフレームを含む第１の組の２つのサブフレーム２４１６を生成する。サブフレーム生成ユニット３６はまた、２つの初期サブフレームの組２４０８に対して処理を行い、矢印２４１４で示すように、Ｂ１’〜Ｂ４’に関連するサブフレームピクセル値を有するサブフレーム及びピクセルＣ１’〜Ｃ４’に関連するサブフレームピクセル値を有するサブフレームを含む第２の組の２つのサブフレーム２４１８を生成する。第１の組の２つのサブフレーム２４１６及び第２の組の２つのサブフレーム２４１８を生成するために、サブフレーム生成ユニット３６は、２位置適応型マルチパスアルゴリズム、２位置中心適応型マルチパスアルゴリズム、履歴使用の２位置適応型マルチパスアルゴリズム、履歴使用の２位置中心適応型マルチパスアルゴリズム、又は本明細書においてさらに詳細に後述する他の任意の２位置適応型マルチパスアルゴリズムを使用する。
【０２５５】
サブフレーム生成ユニット３６は、第１の組の２つのサブフレーム２４１６及び第２の組の２つのサブフレーム２４１８を、矢印２４２２で示すようにピクセルＡ１’〜Ａ４’、Ｂ１’〜Ｂ４’、Ｃ１’〜Ｃ４’、及びＤ１’〜Ｄ４’に関連するサブフレームピクセル値を含むサブフレーム３０Ｑに併合することができる。表示デバイス２６は、矢印２４３２及びブロック２４５６に示すように、ピクセルＡ１’〜Ａ４’に関連するサブフレームピクセル値を含むサブフレーム３０Ｑ−１を第１の位置に表示し、ピクセルＢ１’〜Ｂ４’に関連するサブフレームピクセル値を含むサブフレーム３０Ｑ−２を第２の位置に表示し、ピクセルＣ１’〜Ｃ４’に関連するサブフレームピクセル値を含むサブフレーム３０Ｑ−３を第３の位置に表示し、ピクセルＤ１’〜Ｄ４’に関連するサブフレームピクセル値を含むサブフレーム３０Ｑ−４を第４の位置に表示することによってサブフレーム３０Ｑを表示する。表示デバイス２６は、第１の位置が第４の位置から垂直及び水平にずれ、第２の位置が第３の位置から垂直及び水平にずれるようにサブフレーム３０Ｑ−１、３０Ｑ−２、３０Ｑ−３、及び３０Ｑ−４を表示する。
【０２５６】
２位置適応型マルチパスアルゴリズム、２位置中心適応型マルチパスアルゴリズム、履歴使用の２位置適応型マルチパスアルゴリズム、及び履歴使用の２位置中心適応型マルチパスアルゴリズムを使用して第１の組の２つのサブフレーム２４１６及び第２の組の２つのサブフレーム２４１８を生成することのさらなる詳細についてこれより説明する。
【０２５７】
２位置適応マルチパスアルゴリズムを使用して、第１の組の２つのサブフレーム２４１６及び第２の組の２つのサブフレーム２４１８を生成することができる。図３５は、本発明の一実施形態による、適応型マルチパスアルゴリズムを使用して２つの初期サブフレームの組２４０６及び２４０８に基づいて２位置処理する場合の疑似高解像度画像２５０４及び２５０６を生成するシステム２５００を示すブロック図である。
【０２５８】
２つの初期サブフレームの組２４０６及び２４０８はそれぞれ畳み込み演算ステージ２５０２において補間フィルタとの畳み込み演算を受け、それによって疑似高解像度画像２５０４及び２５０６のそれぞれを生成する。図示した実施形態では、補間フィルタは、畳み込み演算の中心が３×３行列の中心位置である３×３フィルタである。第１行のフィルタ係数は「１／２」、「１／２」、「０」であり、第２行のフィルタ係数は「１／２」、「１／２」、「０」であり、また最後の行のフィルタ係数は「０」、「０」、「０」である。
【０２５９】
疑似高解像度画像２５０４及び２５０６の生成後、補正データが生成される。図３６は、本発明の一実施形態によるシステム２５２０において適応型マルチパスアルゴリズムを使用しての補正データの生成を示すブロック図である。減算ステージ２５２２において、高解像度画像２８から疑似高解像度画像２５０４及び２５０６はそれぞれ、ピクセルごとに減算される。一実施形態では、その結果生成される誤差画像データセットが誤差フィルタ２５２６によってフィルタリングされて誤差画像２５３０及び２５３２が生成される。図示した実施形態では、誤差フィルタは、畳み込み演算の中心が３×３行列の中心位置である３×３フィルタである。第１行のフィルタ係数は「０」、「０」、「０」であり、第２行のフィルタ係数は「０」、「１／４」、「１／４」であり、また最後の行のフィルタ係数は「０」、「１／４」、「１／４」である。
【０２６０】
各組２４０６及び２４０８の２つの初期サブフレームの２つの補正サブフレーム（図示せず）組が、各誤差画像２５３０及び２５３２から生成される。２つの更新サブフレームの２組２４１６及び２４１８が、補正サブフレームの組を鮮鋭化係数αで乗算し、各組の初期サブフレームを加算することにより生成される。鮮鋭化係数αは、中心適応型マルチパスアルゴリズムの反復ごとに異なってもよい。一実施形態では、鮮鋭化係数αは連続した反復ごとに低減してもよい。たとえば、鮮鋭化係数αは、１回目の反復では「３」であってもよく、２回目の反復では「１．８」であってもよく、また、３回目の反復では「０．５」であってもよい。
【０２６１】
一実施形態では、更新サブフレームの組２４１６及び２４１８を適応型マルチパスアルゴリズムの次の反復に使用して、さらなる更新サブフレームを生成する。任意の所望の回数の反復を行ってもよい。何回かの反復後、適応型マルチパスアルゴリズムを使用して生成されるサブフレームの値は最適な値に収束する。一実施形態では、サブフレーム生成ユニット３６は、適応型マルチパスアルゴリズムに基づいてサブフレームの組２４１６及び２４１８を生成するように構成される。
【０２６２】
他の実施形態では、適応型マルチパスアルゴリズムは、各サブフレームピクセル値について各反復の計算を単一ステップに併合することによって任意の回数の反復をワンパスで行うことができる。このようにして、各サブフレームピクセル値が、各反復で明示的にシミュレーションサブフレーム、誤差サブフレーム、及び補正サブフレームを生成することなく生成される。むしろ、各サブフレームピクセル値は独立して、元の画像ピクセル値から計算される中間値から計算される。
【０２６３】
２位置中心適応型マルチパスアルゴリズムを使用して、２つのサブフレームの第１の組２４１６及び第２の組２４１８を生成することができる。図３７は、本発明の一実施形態による、中心適応型マルチパスアルゴリズムを使用しての２つの初期サブフレームの組２４０６及び２４０８に基づく２位置処理のための疑似高解像度画像２６０４及び２６０６を生成するシステム２６００を示すブロック図である。
【０２６４】
２つの初期サブフレームの組２４０６及び２４０８はそれぞれ、畳み込みステージ２６０２において補間フィルタとの畳み込み演算を受け、それによって疑似高解像度画像２６０４及び２６０６をそれぞれ生成する。図示した実施形態では、補間フィルタは、畳み込み演算の中心が３×３行列の中心位置である３×３フィルタである。第１行のフィルタ係数は「１／８」、「２／８」、「１／８」であり、第２行のフィルタ係数は「２／８」、「４／８」、「２／８」であり、また最後の行のフィルタ係数は「１／８」、「２／８」、「１／８」である。
【０２６５】
疑似高解像度画像２６０４及び２６０６の生成後、補正データが生成される。図３８は、本発明の一実施形態により、システム２６２０において適応型マルチパスアルゴリズムを使用しての補正データの生成を示すブロック図である。減算ステージ２６２２において、高解像度画像２８から疑似高解像度画像２６０４及び２６０６がピクセルごとに減算される。一実施形態では、その結果生成される誤差画像データセットが、誤差フィルタ２６２６によってフィルタリングされて誤差画像２６３０及び２６３２が生成される。図示した実施形態では、誤差フィルタは、畳み込み演算の中心が３×３行列の中心位置である３×３フィルタである。第１行のフィルタ係数は「１／１６」、「２／１６」、「１／１６」であり、第２行のフィルタ係数は「２／１６」、「４／１６」、「２／１６」であり、また最後の行のフィルタ係数は「１／１６」、「２／１６」、「１／１６」である。
【０２６６】
２つの初期サブフレームの各組２４０６及び２４０８の２つ１組の補正サブフレーム（図示せず）が、各誤差画像２６３０及び２６３２から生成される。２つ１組の更新サブフレームの２組２４１６及び２４１８が、補正サブフレームの組を鮮鋭化係数αで乗算し、初期サブフレームの各組を加算することにより生成される。鮮鋭化係数αは、中心適応型マルチパスアルゴリズムの反復ごとに異なってもよい。一実施形態では、鮮鋭化係数αは連続した反復ごとに低減してもよい。たとえば、鮮鋭化係数αは、１回目の反復では「３」であってもよく、２回目の反復では「１．８」であってもよく、また、３回目の反復では「０．５」であってもよい。
【０２６７】
一実施形態では、更新サブフレームの組２４１６及び２４１８を中心適応型マルチパスアルゴリズムの次の反復に使用して、さらなる更新サブフレームの組を生成する。任意の所望の回数の反復を行ってもよい。何回かの反復後、中心適応型マルチパスアルゴリズムを使用して生成されるサブフレームの値は最適な値に収束する。一実施形態では、サブフレーム生成ユニット３６は、適応型マルチパスアルゴリズムに基づいてサブフレームの組２４１６及び２４１８を生成するように構成される。
【０２６８】
他の実施形態では、中心適応型マルチパスアルゴリズムは、各サブフレームピクセル値について各反復の計算を単一ステップに併合することによって任意の回数の反復をワンパスで行うことができる。このようにして、各サブフレームピクセル値が、各反復で明示的にシミュレーションサブフレーム、誤差サブフレーム、及び補正サブフレームを生成することなく生成される。むしろ、各サブフレームピクセル値は独立して、元の画像ピクセル値から計算される中間値から計算される。
【０２６９】
２位置履歴使用適応型マルチパスアルゴリズムを使用して、２つのサブフレームの第１の組２４１６及び第２の組２４１８を生成することができる。２位置履歴使用適応型マルチパスアルゴリズムを使用して、サブフレーム生成ユニット３６は、履歴値及び各サブフレームピクセル値の影響領域中の初期値を使用して非ゼロの各初期サブフレームピクセル値に２つ１組のサブフレームの組２４１６及び２４１８のサブフレームピクセル値を計算する。
【０２７０】
４位置処理に関連してセクションＸＩに上述したように、サブフレームピクセル値を計算するための影響領域は、履歴値を使用し、最後の行の初期値を無視することによって簡易化することができる。図３９は、最終サブフレームピクセル値がラスタパターンで計算される、２位置履歴使用適応型マルチパスアルゴリズムを３回繰り返した場合の、ピクセル２７０２の簡易影響領域２７００中の計算済み履歴値を示すブロック図である。２位置処理の場合、ピクセル２７０２の簡易影響領域２７００は、暗い陰影で識別されるゼロ値２７０４を含む。簡易影響領域２７００は５行、すなわち履歴値及びゼロ値に１行２７０８、履歴値、初期値、及びゼロ値に１行２７１０、並びに初期値及びゼロ値に３行２７１２を含む。
【０２７１】
行２７０８中の初期履歴値は、元の画像の第１行からの対応するピクセル値に等しくセットしてもよく、又はゼロにセットしてもよい。行２７１０及び２７１２中の初期値は最初にゼロにセットしてもよく、又は列２７１６からの計算済み初期値に等しくセットしてもよい。ピクセル２７０２に対応する最終サブフレームピクセル値は、以下のように簡易影響領域２７００からの履歴値及び初期値を使用して計算することができる。
【０２７２】
まず、影響領域２７００の列２７１６中のピクセルの初期ピクセル値が、元の画像のピクセル値を使用して計算される。一実施形態では、初期ピクセル値は、各ピクセル値を他の３つのピクセル値と平均化することにより計算される。他の実施形態では他のアルゴリズムを使用してもよい。次に、列２７１６中のピクセルの疑似ピクセル値が、初期ピクセル値のシミュレーションカーネルとの畳み込み演算により計算される。シミュレーションカーネルは３×３配列を含み、第１行の値は「１／２」、「１／２」、及び「０」であり、第２行の値は「１／２」、「１／２」、及び「０」であり、３行目の値は「０」、「０」、及び「０」である。誤差値が、元の画像のピクセル値から疑似ピクセル値を減算することによって列２７１６中の各ピクセルごとに生成される。
【０２７３】
列２７１６の誤差値を計算した後、列２７１８中のピクセルの疑似ピクセル値が、初期ピクセル値のシミュレーションカーネルとの畳み込み演算によって計算される。誤差値は、元の画像のピクセル値から疑似ピクセル値を減算することによって列２７１８中の各ピクセルごとに生成される。列２７１８中のピクセルの補正値が、誤差値の誤差カーネルとの畳み込み演算によって計算される。誤差カーネルは３×３配列を含み、第１行の値は「０」、「０」、及び「０」であり、第２行の値は「０」、「１／４」、及び「１／４」であり、３行目の値は「０」、「１／４」、及び「１／４」である。列２７１８中のピクセルの適応ピクセル値は、鮮鋭化係数αで補正値を乗算し、その積を初期値に加算することによって計算される。
【０２７４】
列２７１８の適応ピクセル値を計算した後、列２７２０中のピクセルの疑似ピクセル値が、初期ピクセル値のシミュレーションカーネルとの畳み込み演算によって計算される。誤差値が、元の画像ピクセル値から疑似ピクセル値を減算することによって列２７２０中の各ピクセルごとに生成される。列２７２０中のピクセルの補正値が、誤差値の誤差カーネルとの畳み込み演算によって計算される。列２７２０中のピクセルの適応ピクセル値が、鮮鋭化係数αで補正値を乗算し、その積を初期値に換算することによって計算される。
【０２７５】
列２７２０の適応ピクセル値を計算した後、列２７２２中のピクセルの疑似ピクセル値が、初期ピクセル値のシミュレーションカーネルとの畳み込み演算によって計算される。誤差値が、元の画像ピクセル値から疑似ピクセル値を減算することによって列２７２２中の各ピクセルごとに生成される。列２７２２中のピクセルの補正値が、誤差値の誤差カーネルとの畳み込み演算によって計算される。
【０２７６】
ピクセル２７０２に対応する最終サブフレームピクセル値が、上記アルゴリズムにより生成される値、履歴値、及び鮮鋭化係数αを使用して計算される。
【０２７７】
所与のピクセルに対応する最終サブフレームピクセル値を計算する際に使用される中間計算を、所与のピクセルに隣接するピクセルに対応する最終サブフレームピクセル値を計算する際に再利用することができる。たとえば、ピクセル２７０２の最終サブフレームピクセル値を計算する際に使用される中間計算を、ピクセル２７０２の右側にあるピクセルの最終サブフレームピクセル値を計算する際に再利用することができる。その結果、特定の冗長計算を省くことができる。
【０２７８】
上記アルゴリズムでの、鮮鋭化係数αは、履歴使用の適応型マルチパスアルゴリズムを使用して異なる列の値を計算するに際して異なってもよい。たとえば、鮮鋭化係数αは、列２７１８の適応ピクセル値を計算する場合には「３」であり、列２７２０の適応ピクセル値を計算する場合には「１．８」であり、ピクセル２７０２に対応する最終サブフレームピクセル値を計算する場合には「０．５」であってもよい。
【０２７９】
上記アルゴリズムについて適応型マルチパスアルゴリズムを３回反復する場合に関して説明したが、このアルゴリズムは、反復回数の影響領域に従って上記アルゴリズムで使用される列数及び／又は各列中のピクセル数を増減することにより、拡大又は縮小して任意の回数の反復に適用することができる。
【０２８０】
２位置履歴使用中心適応型マルチパスアルゴリズムを使用して、２つのサブフレームの第１の組２４１６及び第２の組２４１８を生成することができる。２位置中心適応型マルチパスアルゴリズムについてはセクションＸＩＩＩにおいて上述した。２位置履歴使用中心適応型マルチパスアルゴリズムが使用される実施形態では、サブフレーム生成ユニット３６は、２つ１組の初期サブフレーム２４０６及び２つ１組のサブフレーム２４１６から前に計算されたサブフレームピクセル値（すなわち、履歴値）を使用して２つ１組のサブフレーム２４１６のサブフレームピクセル値を計算する。サブフレーム生成ユニット３６はまた、２つ１組の初期サブフレーム２４０８及び２つ１組のサブフレーム２４１８から前に計算されたサブフレームピクセル値（すなわち、履歴値）を使用して２つ１組のサブフレーム２４１８のサブフレームピクセル値も計算する。誤差値は、２つ１組のサブフレームの各組２４１６及び２４１８のサブフレームピクセル値を計算する際に２つ１組のサブフレームの各組２４０６及び２４０８のゼロ値に代えて一時的に記憶することができる。
【０２８１】
本明細書において述べた実施形態は従来の解決策に勝る利点を提供することができる。たとえば、自然画像及びビジネスグラフィックス等の高コントラスト画像を含む各種のグラフィカル画像の表示を向上させることができる。
【０２８２】
本明細書では、好ましい実施形態を説明する目的で、特定の実施形態を図示して説明してきたが、図示して説明したこれらの特定の実施形態の代わりに、多種多様の代替的な実施態様及び／又は均等な実施態様を、本発明の範囲から逸脱することなく使用できることが当業者には理解されよう。機械技術、電気機械技術、電気技術、及びコンピュータ技術の熟練者には、本発明を非常に多種多様な実施形態で実施できることが容易に理解されよう。本出願は、本明細書で解説した好ましい実施形態のあらゆる適応又は変形を網羅することを意図している。したがって、本発明は、特許請求の範囲及びその均等物によってのみ限定されることが意図されていることは明白である。
【図面の簡単な説明】
【０２８３】
【図１】本発明の一実施形態による画像表示システムを示すブロック図である。
【図２Ａ】本発明の一実施形態による２つのサブフレームのうちの１つを表示したものを示す概略図である。
【図２Ｂ】本発明の一実施形態による２つのサブフレームのうちの１つを表示したものを示す概略図である。
【図２Ｃ】本発明の一実施形態による２つのサブフレームを表示したものを示す概略図である。
【図３Ａ】本発明の一実施形態による４つのサブフレームのうちの１つを表示したものを示す概略図である。
【図３Ｂ】本発明の一実施形態による４つのサブフレームのうちの１つを表示したものを示す概略図である。
【図３Ｃ】本発明の一実施形態による４つのサブフレームのうちの１つを表示したものを示す概略図である。
【図３Ｄ】本発明の一実施形態による４つのサブフレームのうちの１つを表示したものを示す概略図である。
【図３Ｅ】本発明の一実施形態による４つのサブフレームを表示したものを示す概略図である。
【図４Ａ】本発明の一実施形態による画像表示システムによりピクセルを表示したものを示す概略図である。
【図４Ｂ】本発明の一実施形態による画像表示システムによりピクセルを表示したものを示す概略図である。
【図４Ｃ】本発明の一実施形態による画像表示システムによりピクセルを表示したものを示す概略図である。
【図４Ｄ】本発明の一実施形態による画像表示システムによりピクセルを表示したものを示す概略図である。
【図４Ｅ】本発明の一実施形態による画像表示システムによりピクセルを表示したものを示す概略図である。
【図５】本発明の一実施形態による最近傍アルゴリズムを使用した、元の高解像度画像からの低解像度サブフレームの生成を示す図である。
【図６】本発明の一実施形態による双一次アルゴリズムを使用した、元の高解像度画像からの低解像度サブフレームの生成を示す図である。
【図７】本発明の一実施形態による、擬似高解像度画像を生成するシステムを示すブロック図である。
【図８】本発明の一実施形態による、分離可能なアップサンプリングに基づいて２位置処理用の擬似高解像度画像を生成するシステムを示すブロック図である。
【図９】本発明の一実施形態による、分離不能なアップサンプリングに基づいて２位置処理用の擬似高解像度画像を生成するシステムを示すブロック図である。
【図１０】本発明の一実施形態による、４位置処理用の擬似高解像度画像を生成するシステムを示すブロック図である。
【図１１】本発明の一実施形態による擬似高解像度画像と所望の高解像度画像との比較を示すブロック図である。
【図１２】本発明の一実施形態によるサブフレームのアップサンプリングの周波数領域における効果を示す図である。
【図１３】本発明の一実施形態によるアップサンプリングサブフレームのシフトの周波数領域における効果を示す図である。
【図１４】本発明の一実施形態によるアップサンプリング画像のピクセルの影響領域を示す図である。
【図１５】本発明の一実施形態による適応型マルチパスアルゴリズムに基づく初期擬似高解像度画像の生成を示す図である。
【図１６】本発明の一実施形態による適応型マルチパスアルゴリズムに基づく補正データの生成を示す図である。
【図１７】本発明の一実施形態による適応型マルチパスアルゴリズムに基づく更新サブフレームの生成を示す図である。
【図１８】本発明の別の実施形態による適応型マルチパスアルゴリズムに基づく補正データの生成を示す図である。
【図１９Ａ】本発明の一実施形態による元の高解像度画像に関する４つのサブフレームを表示したものを示す概略図である。
【図１９Ｂ】本発明の一実施形態による元の高解像度画像に関する４つのサブフレームのうちの１つを表示したものを示す概略図である。
【図１９Ｃ】本発明の一実施形態による元の高解像度画像に関する４つのサブフレームのうちの１つを表示したものを示す概略図である。
【図１９Ｄ】本発明の一実施形態による元の高解像度画像に関する４つのサブフレームのうちの１つを表示したものを示す概略図である。
【図１９Ｅ】本発明の一実施形態による元の高解像度画像に関する４つのサブフレームのうちの１つを表示したものを示す概略図である。
【図２０】本発明の一実施形態による中心適応型マルチパスアルゴリズムを使用して、４位置処理用の擬似高解像度画像を生成するシステムを示すブロック図である。
【図２１】本発明の一実施形態による中心適応型マルチパスアルゴリズムを使用しての補正データの生成を示すブロック図である。
【図２２】本発明の一実施形態による簡易中心適応型マルチパスアルゴリズムを使用して、４位置処理用の擬似高解像度画像を生成するシステムを示すブロック図である。
【図２３】本発明の一実施形態による簡易中心適応型マルチパスアルゴリズムを使用しての補正データの生成を示すブロック図である。
【図２４Ａ】本発明の一実施形態による適応型マルチパスアルゴリズムの異なる反復回数の場合のピクセルの影響領域を示すブロック図である。
【図２４Ｂ】本発明の一実施形態による適応型マルチパスアルゴリズムの異なる反復回数の場合のピクセルの影響領域を示すブロック図である。
【図２４Ｃ】本発明の一実施形態による適応型マルチパスアルゴリズムの異なる反復回数の場合のピクセルの影響領域を示すブロック図である。
【図２５】本発明の一実施形態による画像に対するピクセルの影響領域を示すブロック図である。
【図２６】本発明の一実施形態によるピクセルの影響領域の計算済み履歴値を示すブロック図である。
【図２７】本発明の一実施形態によるピクセルの簡易影響領域の計算済み履歴値を示すブロック図である。
【図２８】本発明の一実施形態による画像に対するピクセルの簡易影響領域を示すブロック図である。
【図２９】本発明の一実施形態によるサブフレーム生成ユニットの部分を示すブロック図である。
【図３０】２位置処理の場合の絡み合わせたサブフレームを示すブロック図である。
【図３１】本発明の一実施形態によるピクセルの簡易影響領域の計算済み履歴値及び誤差値を示すブロック図である。
【図３２】本発明の一実施形態による画像に対するピクセルの簡易影響領域を示すブロック図である。
【図３３】本発明の一実施形態による４位置処理を行う方法を示すブロック図である。
【図３４】本発明の一実施形態による４位置処理を行う方法を示すフローチャートである。
【図３５】本発明の一実施形態による、適応型マルチパスアルゴリズムを使用しての２位置処理のための疑似高解像度画像を生成するシステムを示すブロック図である。
【図３６】本発明の一実施形態による適応型マルチパスアルゴリズムを使用しての補正データの生成を示すブロック図である。
【図３７】本発明の一実施形態による、中心適応型マルチパスアルゴリズムを使用しての２位置処理のための疑似高解像度画像を生成するシステムを示すブロック図である。
【図３８】本発明の一実施形態による中心適応型マルチパスアルゴリズムを使用しての補正データの生成を示すブロック図である。
【図３９】本発明の一実施形態によるピクセルの簡易影響領域中の計算済み履歴値を示すブロック図である。
【符号の説明】
【０２８４】
１０：画像表示システム
１２：画像
１４：表示画像
１６：画像データ
２０：フレームレート変換ユニット
２２：画像フレームバッファ
２４：画像処理ユニット
２６：表示デバイス
２８：画像フレーム
３０：画像サブフレーム
３２：アナログ／デジタル変換器
３４：解像度調整ユニット
３６：サブフレーム生成ユニット
３８：画像シフト装置
４０：タイミングジェネレータ
【特許請求の範囲】
【請求項１】
表示デバイス（２６）を使用して画像（１２）を表示する方法であって、
前記画像の、第１の部分及び第２の部分を含む画像データ（２８）を受け取るステップと、
前記第１の部分及び第１のシミュレーションカーネル（２５０２／２６０２）を使用して第１の複数のサブフレーム（２４１６）を生成するステップと、
前記第１の複数のサブフレームを生成することから独立して、前記第２の部分及び前記第１のシミュレーションカーネルを使用して第２の複数のサブフレーム（２４１８）を生成するステップと、
前記第１の複数のサブフレームのうちの第１のサブフレームを第１の位置に表示すること、前記第１の複数のサブフレームのうちの第２のサブフレームを、前記第１の位置から空間的にずれた第２の位置に表示すること、前記第２の複数のサブフレームのうちの第１のサブフレームを、前記第１の位置及び前記第２の位置から空間的にずれた第３の位置に表示すること、及び前記第２の複数のサブフレームのうちの第２のサブフレームを、前記第１の位置、前記第２の位置、及び前記第３の位置から空間的にずれた第４の位置に表示すること、を交互に行うステップと、
を含む、方法。
【請求項２】
前記第１のシミュレーションカーネルは、３つの係数をそれぞれ含む第１の行、第２の行、及び第３の行を含み、該第１の行の３つの係数はそれぞれ１／２、１／２、及び０の値を有し、前記第２の行の３つの係数はそれぞれ１／２、１／２、及び０の値を有し、前記第３の行の３つの係数はそれぞれ０、０、及び０の値を有する、請求項１に記載の方法。
【請求項３】
前記第１の複数のサブフレームは第１の複数のサブフレームピクセル値を含み、前記第２の複数のサブフレームは第２の複数のサブフレームピクセル値を含み、前記方法は、
前記第１の複数のサブフレームピクセル値のうちの少なくとも１つを使用して該第１の複数のサブフレームピクセル値のそれぞれを生成するステップと、
前記第２の複数のサブフレームピクセル値のうちの少なくとも１つを使用して該第２の複数のサブフレームピクセル値のそれぞれを生成するステップと、
をさらに含む、請求項２に記載の方法。
【請求項４】
前記第１のシミュレーションカーネルは、３つの係数をそれぞれ含む第１の行、第２の行、及び第３の行を含み、該第１の行の３つの係数はそれぞれ１／８、２／８、及び１／８の値を有し、前記第２の行の３つの係数はそれぞれ２／８、４／８、及び２／８の値を有し、前記第３の行の３つの係数はそれぞれ１／８、２／８、及び１／８の値を有する、請求項１に記載の方法。
【請求項５】
前記第１の部分、前記第１のシミュレーションカーネル、及び第２のシミュレーションカーネルを使用して前記第１の複数のサブフレームを生成するステップと、
前記第２の部分、前記第１のシミュレーションカーネル、及び前記第２のシミュレーションカーネルを使用して前記第２の複数のサブフレームを生成するステップと、
をさらに含む、請求項１に記載の方法。
【請求項６】
前記第１のシミュレーションカーネルは、３つの係数をそれぞれ含む第１の行、第２の行、及び第３の行を含み、該第１の行の３つの係数はそれぞれ１／８、０、及び１／８の値を有し、前記第２の行の３つの係数はそれぞれ０、４／８、及び０の値を有し、前記第３の行の３つの係数はそれぞれ１／８、０、及び１／８の値を有し、前記第２のシミュレーションカーネルは、３つの係数をそれぞれ含む第４の行、第５の行、及び第６の行を含み、該第４の行の３つの係数はそれぞれ０、２／８、及び０の値を有し、前記第５の行の３つの係数はそれぞれ２／８、０、及び２／８の値を有し、前記第６の行の３つの係数はそれぞれ０、２／８、及び０の値を有する、請求項５に記載の方法。
【請求項７】
前記第１の複数のサブフレームは第１の複数の誤差値を含み、前記第２の複数のサブフレームは第２の複数の誤差値を含み、前記方法は、
前記第１の部分、前記第１のシミュレーションカーネル、前記第２のシミュレーションカーネル、及び前記第１の複数の誤差値を使用して前記第１の複数のサブフレームを生成するステップと、
前記第２の部分、前記第１のシミュレーションカーネル、前記第２のシミュレーションカーネル、及び前記第２の複数の誤差値を使用して前記第２の複数のサブフレームを生成するステップと、
をさらに含む、請求項５に記載の方法。
【請求項８】
前記第１の部分、前記第１のシミュレーションカーネル、及び誤差カーネル（２５２６／２６２６）を使用して前記第１の複数のサブフレームを生成するステップと、
前記第２の部分、前記第１のシミュレーションカーネル、及び前記誤差カーネルを使用して前記第２の複数のサブフレームを生成するステップと、
をさらに含む、請求項１に記載の方法。
【請求項９】
前記誤差カーネルは、３つの係数をそれぞれ含む第１の行、第２の行、及び第３の行を含み、該第１の行の３つの係数はそれぞれ０、０、及び０の値を有し、前記第２の行の３つの係数はそれぞれ０、１／４、及び１／４の値を有し、前記第３の行の３つの係数はそれぞれ０、１／４、及び１／４の値を有する、請求項８に記載の方法。
【請求項１０】
前記誤差カーネルは、３つの係数をそれぞれ含む第１の行、第２の行、及び第３の行を含み、該第１の行の３つの係数はそれぞれ１／１６、２／１６、及び１／１６の値を有し、前記第２の行の３つの係数はそれぞれ２／１６、４／１６、及び２／１６の値を有し、前記第３の行の３つの係数はそれぞれ１／１６、２／１６、及び１／１６の値を有する、請求項８に記載の方法。
【請求項１１】
前記第２の位置は前記第１の位置から垂直且つ水平にずれ、前記第４の位置は前記第３の位置から垂直且つ水平にずれている、請求項１に記載の方法。
【請求項１２】
画像（１２）を表示するシステム（１０）であって、
前記画像の、第１の部分及び第２の部分を含む画像データ（２８）を受け取るようになっているバッファ（２２）と、
前記第１の部分を使用して第１の複数の初期サブフレーム（２４０６）を生成し、前記第２の部分を使用して第２の複数の初期サブフレーム（２４０８）を生成し、前記第１の複数の初期サブフレームを使用して第１の複数の更新サブフレーム（２４１６）を生成し、前記第２の複数の初期サブフレームを使用して第２の複数の更新サブフレーム（２４１８）を生成するように構成された画像処理ユニット（２４）と、
前記第１の複数の更新サブフレームのうちの第１の更新サブフレームを第１の位置に表示し、前記第１の複数の更新サブフレームのうちの第２の更新サブフレームを、前記第１の位置から空間的にずれた第２の位置に表示し、前記第２の複数の更新サブフレームのうちの第１の更新サブフレームを、前記第１の位置及び前記第２の位置から空間的にずれた第３の位置に表示し、前記第２の複数の更新サブフレームのうちの第２の更新サブフレームを、前記第１の位置、前記第２の位置、及び前記第３の位置から空間的にずれた第４の位置に表示するようになっている表示デバイス（２６）と、
を備えている、システム。
【請求項１】
表示デバイス（２６）を使用して画像（１２）を表示する方法であって、
前記画像の、第１の部分及び第２の部分を含む画像データ（２８）を受け取るステップと、
前記第１の部分及び第１のシミュレーションカーネル（２５０２／２６０２）を使用して第１の複数のサブフレーム（２４１６）を生成するステップと、
前記第１の複数のサブフレームを生成することから独立して、前記第２の部分及び前記第１のシミュレーションカーネルを使用して第２の複数のサブフレーム（２４１８）を生成するステップと、
前記第１の複数のサブフレームのうちの第１のサブフレームを第１の位置に表示すること、前記第１の複数のサブフレームのうちの第２のサブフレームを、前記第１の位置から空間的にずれた第２の位置に表示すること、前記第２の複数のサブフレームのうちの第１のサブフレームを、前記第１の位置及び前記第２の位置から空間的にずれた第３の位置に表示すること、及び前記第２の複数のサブフレームのうちの第２のサブフレームを、前記第１の位置、前記第２の位置、及び前記第３の位置から空間的にずれた第４の位置に表示すること、を交互に行うステップと、
を含む、方法。
【請求項２】
前記第１のシミュレーションカーネルは、３つの係数をそれぞれ含む第１の行、第２の行、及び第３の行を含み、該第１の行の３つの係数はそれぞれ１／２、１／２、及び０の値を有し、前記第２の行の３つの係数はそれぞれ１／２、１／２、及び０の値を有し、前記第３の行の３つの係数はそれぞれ０、０、及び０の値を有する、請求項１に記載の方法。
【請求項３】
前記第１の複数のサブフレームは第１の複数のサブフレームピクセル値を含み、前記第２の複数のサブフレームは第２の複数のサブフレームピクセル値を含み、前記方法は、
前記第１の複数のサブフレームピクセル値のうちの少なくとも１つを使用して該第１の複数のサブフレームピクセル値のそれぞれを生成するステップと、
前記第２の複数のサブフレームピクセル値のうちの少なくとも１つを使用して該第２の複数のサブフレームピクセル値のそれぞれを生成するステップと、
をさらに含む、請求項２に記載の方法。
【請求項４】
前記第１のシミュレーションカーネルは、３つの係数をそれぞれ含む第１の行、第２の行、及び第３の行を含み、該第１の行の３つの係数はそれぞれ１／８、２／８、及び１／８の値を有し、前記第２の行の３つの係数はそれぞれ２／８、４／８、及び２／８の値を有し、前記第３の行の３つの係数はそれぞれ１／８、２／８、及び１／８の値を有する、請求項１に記載の方法。
【請求項５】
前記第１の部分、前記第１のシミュレーションカーネル、及び第２のシミュレーションカーネルを使用して前記第１の複数のサブフレームを生成するステップと、
前記第２の部分、前記第１のシミュレーションカーネル、及び前記第２のシミュレーションカーネルを使用して前記第２の複数のサブフレームを生成するステップと、
をさらに含む、請求項１に記載の方法。
【請求項６】
前記第１のシミュレーションカーネルは、３つの係数をそれぞれ含む第１の行、第２の行、及び第３の行を含み、該第１の行の３つの係数はそれぞれ１／８、０、及び１／８の値を有し、前記第２の行の３つの係数はそれぞれ０、４／８、及び０の値を有し、前記第３の行の３つの係数はそれぞれ１／８、０、及び１／８の値を有し、前記第２のシミュレーションカーネルは、３つの係数をそれぞれ含む第４の行、第５の行、及び第６の行を含み、該第４の行の３つの係数はそれぞれ０、２／８、及び０の値を有し、前記第５の行の３つの係数はそれぞれ２／８、０、及び２／８の値を有し、前記第６の行の３つの係数はそれぞれ０、２／８、及び０の値を有する、請求項５に記載の方法。
【請求項７】
前記第１の複数のサブフレームは第１の複数の誤差値を含み、前記第２の複数のサブフレームは第２の複数の誤差値を含み、前記方法は、
前記第１の部分、前記第１のシミュレーションカーネル、前記第２のシミュレーションカーネル、及び前記第１の複数の誤差値を使用して前記第１の複数のサブフレームを生成するステップと、
前記第２の部分、前記第１のシミュレーションカーネル、前記第２のシミュレーションカーネル、及び前記第２の複数の誤差値を使用して前記第２の複数のサブフレームを生成するステップと、
をさらに含む、請求項５に記載の方法。
【請求項８】
前記第１の部分、前記第１のシミュレーションカーネル、及び誤差カーネル（２５２６／２６２６）を使用して前記第１の複数のサブフレームを生成するステップと、
前記第２の部分、前記第１のシミュレーションカーネル、及び前記誤差カーネルを使用して前記第２の複数のサブフレームを生成するステップと、
をさらに含む、請求項１に記載の方法。
【請求項９】
前記誤差カーネルは、３つの係数をそれぞれ含む第１の行、第２の行、及び第３の行を含み、該第１の行の３つの係数はそれぞれ０、０、及び０の値を有し、前記第２の行の３つの係数はそれぞれ０、１／４、及び１／４の値を有し、前記第３の行の３つの係数はそれぞれ０、１／４、及び１／４の値を有する、請求項８に記載の方法。
【請求項１０】
前記誤差カーネルは、３つの係数をそれぞれ含む第１の行、第２の行、及び第３の行を含み、該第１の行の３つの係数はそれぞれ１／１６、２／１６、及び１／１６の値を有し、前記第２の行の３つの係数はそれぞれ２／１６、４／１６、及び２／１６の値を有し、前記第３の行の３つの係数はそれぞれ１／１６、２／１６、及び１／１６の値を有する、請求項８に記載の方法。
【請求項１１】
前記第２の位置は前記第１の位置から垂直且つ水平にずれ、前記第４の位置は前記第３の位置から垂直且つ水平にずれている、請求項１に記載の方法。
【請求項１２】
画像（１２）を表示するシステム（１０）であって、
前記画像の、第１の部分及び第２の部分を含む画像データ（２８）を受け取るようになっているバッファ（２２）と、
前記第１の部分を使用して第１の複数の初期サブフレーム（２４０６）を生成し、前記第２の部分を使用して第２の複数の初期サブフレーム（２４０８）を生成し、前記第１の複数の初期サブフレームを使用して第１の複数の更新サブフレーム（２４１６）を生成し、前記第２の複数の初期サブフレームを使用して第２の複数の更新サブフレーム（２４１８）を生成するように構成された画像処理ユニット（２４）と、
前記第１の複数の更新サブフレームのうちの第１の更新サブフレームを第１の位置に表示し、前記第１の複数の更新サブフレームのうちの第２の更新サブフレームを、前記第１の位置から空間的にずれた第２の位置に表示し、前記第２の複数の更新サブフレームのうちの第１の更新サブフレームを、前記第１の位置及び前記第２の位置から空間的にずれた第３の位置に表示し、前記第２の複数の更新サブフレームのうちの第２の更新サブフレームを、前記第１の位置、前記第２の位置、及び前記第３の位置から空間的にずれた第４の位置に表示するようになっている表示デバイス（２６）と、
を備えている、システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【公表番号】特表２００８−５０２９４４（Ｐ２００８−５０２９４４Ａ）
【公表日】平成２０年１月３１日（２００８．１．３１）
【国際特許分類】
【出願番号】特願２００７−５１６８５７（Ｐ２００７−５１６８５７）
【出願日】平成１７年６月１０日（２００５．６．１０）
【国際出願番号】ＰＣＴ／ＵＳ２００５／０２２９９９
【国際公開番号】ＷＯ２００５／１２４６８４
【国際公開日】平成１７年１２月２９日（２００５．１２．２９）
【出願人】（５０３００３８５４）ヒューレット−パッカード デベロップメント カンパニー エル．ピー． (1,145)
【Ｆターム（参考）】
【公表日】平成２０年１月３１日（２００８．１．３１）
【国際特許分類】
【出願日】平成１７年６月１０日（２００５．６．１０）
【国際出願番号】ＰＣＴ／ＵＳ２００５／０２２９９９
【国際公開番号】ＷＯ２００５／１２４６８４
【国際公開日】平成１７年１２月２９日（２００５．１２．２９）
【出願人】（５０３００３８５４）ヒューレット−パッカード デベロップメント カンパニー エル．ピー． (1,145)
【Ｆターム（参考）】
[ Back to top ]