事前にサブピクセル描画された画像を埋め込んだ画像データセット
【課題】事前にサブピクセル描画された画像を表示するための、種々のイメージング処理技法が開示される。
【解決手段】事前にサブピクセル描画された画像は、サブピクセル描画された画像を表示することが可能なディスプレイに直接送信される可能性がある。事前にサブピクセル描画された画像はまた、ディスプレイに出力するため、後で送信するために、記憶される可能性がある。さらに、事前にサブピクセル描画された画像は、画像データストリームに埋め込まれ、後で、抽出され、表示される。さらに、事前にサブピクセル描画された画像を埋め込み、抽出する種々の技法が開示された。
【解決手段】事前にサブピクセル描画された画像は、サブピクセル描画された画像を表示することが可能なディスプレイに直接送信される可能性がある。事前にサブピクセル描画された画像はまた、ディスプレイに出力するため、後で送信するために、記憶される可能性がある。さらに、事前にサブピクセル描画された画像は、画像データストリームに埋め込まれ、後で、抽出され、表示される。さらに、事前にサブピクセル描画された画像を埋め込み、抽出する種々の技法が開示された。
【発明の詳細な説明】
【技術分野】
【0001】
【背景技術】
【0002】
同一出願人による米国特許出願:(1)2001年7月25日に出願された、簡略化したアドレス指定を有するフルカラーイメージングデバイスのためのカラーピクセルの配置構成「ARRANGEMENT OF COLOR PIXELS FOR FULL COLOR IMAGING DEVICES WITH SIMPLIFIED ADDRESSING」という名称の第09/916,232号(「‘232号出願」)、(2)2002年10月22日に出願された、変調伝達関数応答の向上による、サブピクセル描画のための、カラーフラットパネルディスプレイのサブピクセル配置構成およびレイアウトに対する改善(IMPROVEMENTS TO COLOR FLAT PANEL DISPLAY SUB-PIXEL ARRANGEMENTS AND LAYOUTS FOR SUB-PIXEL RENDERING WITH INCREASED MODULATION TRANSFER FUNCTION RESPONSE)という名称の第10/278,353号(「‘353号出願」)、(3)2002年10月22日に出願された、スプリットブルーサブピクセルによる、サブピクセル描画のための、カラーフラットパネルディスプレイのサブピクセル構成およびレイアウトに対する改善(IMPROVEMENTS TO COLOR FLAT PANEL DISPLAY SUB-PIXEL ARRANGEMENTS AND LAYOUTS FOR SUB-PIXEL RENDERING WITH SPLIT BLUE SUBPIXELS)という名称の第10/278,352号(「‘352号出願」)、(4)2002年9月13日に出願された、改良型4カラー配置構成およびサブピクセル描画用エミッタ(IMPROVED FOUR COLOR ARRANGEMENTS AND EMITTERS FOR SUBPIXEL RENDERING)という名称の第10/243,094号(「‘094号出願」)、(5)2002年10月22日に出願された、ブルールミナンス可視性の低減による、カラーフラットパネルディスプレイのサブピクセル構成およびレイアウトに対する改善(IMPROVEMENTS TO COLOR FLAT PANEL DISPLAY SUB-PIXEL ARRANGEMENTS AND LAYOUTS WITH REDUCED BLUE LUMINANCE WELL VISIBILITY)という名称の第10/278,328号(「‘328号出願」)、(6)2002年10月22日に出願された、水平サブピクセル配置構成およびレイアウトを有するカラーディスプレイ(COLOR DISPLAY HAVING HORIZONTAL SUB-PIXEL ARRANGEMENTS AND LAYOUTS)という名称の第10/278,393号(「‘393号出願」)において、画像表示デバイス用の価格/性能曲線を改善するための新規なサブピクセル配置構成が開示されており、参照により本明細書に組み込まれる。
【0003】
以上の出願および同一出願人による米国特許出願:(1)2001年1月16日に出願された、RGBピクセルフォーマットデータのペンタイルマトリクス・サブピクセルデータフォーマットへの変換(CONVERSION OF RGB PIXEL FORMAT DATA TO PENTILE MATRIX SUB-PIXEL DATA FORMAT)という名称の第10/051,612号(「‘612号出願」)、(2)2002年5月17日に出願された、ガンマ調整による、サブピクセル描画のための方法およびシステム(METHODS AND SYSTEMS FOR SUB-PIXEL RENDERING WITH GAMMA ADJUSTMENT)という名称の第10/150,355号(「‘355号出願」)、(3)2002年5月17日に出願された、適応フィルタリングによる、サブピクセル描画のための方法およびシステム(METHODS AND SYSTEMS FOR SUB-PIXEL RENDERING WITH ADAPTIVE FILTERING)という名称の第10/215,843号(「‘843号出願」)にさらに開示されるサブピクセルレンダリンス(SPR)システムおよび方法と結合すると、これらの改善は特に著しい。先に参照され、同一出願人による出願は、参照により本明細書に組み込まれる。
【発明の開示】
【発明が解決しようとする課題】
【0004】
組み込まれ、本明細書の一部を構成する添付図面は、本発明の例示的な実施態様および実施形態を示し、記述と共に、本発明の原理を説明するのに役立つ。
【発明を実施するための最良の形態】
【0005】
ここで、その例が添付図面に示される実施態様および実施形態が詳細に参照される。可能であるところではどこでも、同じかまたは同様な部品を指すために、同じ参照数字が図面全体を通して使用される。
[サブピクセルレンダリンスシステム]
先に参照され、同一出願人に所有される‘353号出願において以前に開示されたように、以前のシステムは、人視覚系(Human Vision System)の特性を利用し、「知覚符号化」を用いた帯域幅低減に焦点を当てている。このタイプの符号化は、画像キャプチャと画像ディスプレイの間で、「視覚的に損失はない」が、数学的に損失のある圧縮を生成する。しかし、画像は、物理的な表示デバイスに送出される直前に、復号されて従来のデータセットに戻される。
【0006】
従来のシステムを理解するのを助けるために、従来のシステムについて特定の例が説明される。最初に、画像は、デジタルスチルカメラによって取り込まれ、ジョイント・ピクチャ・エキスパート・グループ(JPEG)画像圧縮規格またはムービング・ピクチャ・エキスパート・グループ(MPEG)圧縮規格を用いて、処理され、圧縮される。これらのタイプの圧縮は、従来のRGBデータセットを、当業者にはよく知られているYCBCRデータセットに変換する。このデータセットは、ルミナンスに似た成分、ならびに、ルミナンスに似た成分と、従来のRGBデータセットの、それぞれ、青および赤との差を表す2つのクロマ成分を有する。人視覚系が、クロマチャネルにおいて空間周波数識別力が低いため、2つのクロマ成分をサブサンプリングすることが一般的なやり方である。これは、一部の数学的に損失のある圧縮を引き起こすが、視覚的には損失は大きくない。不可解な印象を与えるが、十分に理解されている、「4:2:2」および「4:2:0」としての名称が与えられたとすると、いくつかの方式が当業者には知られており、前者は3:2(1.5:1)の圧縮を表し、後者は2:1の圧縮を表す。画像変換、損失なしかまたは損失のある量子化、およびデータ圧縮を用いた、さらなる圧縮後に、画像は記憶されるか、または、送信される場合がある。
【0007】
その結果、他の場所で、または、他の時刻に、画像が、受け取られ、検索され、解凍され、YCBCRデータに変換して戻されてもよく、抜けているクロマ・サンプルが補間されて、ギャップが埋められ、最後に、変換してR′G′B′データセットに戻される(プライム「′」シンボルは、データがクロマ・フィルタリング操作によって修正されたことを指示する)。以前のディスプレイでは、R′G′Bデータセットは、その後、ディスプレイに送られる。さらに、以前のディスプレイでは、たとえ人視覚系がその解像度でカラー成分を認識しなくても、全RGBデータ帯域幅が利用され、多くの画像が、人視覚系に合うように既にフィルタリングされる場合があり、さらに、帯域幅の無駄が示される。
【0008】
図7を参照すると、以下の実施形態は、ディスプレイ10およびディスプレイ10へのデータ送信経路85内部での帯域幅要件を低減する。特に、帯域幅が低減される方法の例を示すために、図7の電子デバイス80のメモリ81に記憶された、図5Aおよび図5Bの画像65を有する従来技術のデータセット69を考える。画像が、12ピクセル×8ピクセル×3つのカラー平面(赤、緑、および青)で、各平面が、各カラーの強度を表す同じビット数、たとえば、8ビットを有すると仮定する。この画像は、その後、従来のデータセットフォーマットで、画像を表す12×8×3×8=2304の2値ビットを有することになる。
【0009】
電子デバイス80は、画像データセット69を、生成し、受け取り、または、メモリ媒体81から抽出する。電子デバイス80の例は、コンピュータ、テレビ受信機、ビデオ再生機、デジタル携帯電話、または、表示のために画像を出力することができる他の同様な電子デバイスを含む。メモリ媒体81の例は、磁気テープ、ランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、コンパクトディスク(CD)、デジタルビデオディスク(DVD)、フレキシブル磁気ディスク「フロッピー(登録商標)」、ハード磁気ディスク(HD)、または、任意の他の適したメモリ媒体のうちの任意のものを含む。データセット69は、データ経路83を介して任意の適したアルゴリズムを使用するサブピクセル描画手段70へ送出され、アルゴリズムの例は、図6A、6B、および6Cに示すように、従来データ69上に載置され、図4A、4B、および4Cのエリアなどのリサンプルエリア82の使用によって生成されるリサンプルフィルタ係数である。サブピクセル描画手段70は、本明細書で述べるサブピクセル描画技法を実施するための、ハードウェアおよび/またはソフトウェアの任意の組み合わせを含んでもよい。データサンプル数を低減するこの操作の結果は、第2データ経路85によって、結果として得られる画像90を作成する電子ディスプレイ10に送出される。
【0010】
本発明者等の例では、サブピクセル描画手段70に転送されたデータセット69は、2304の2値ビットである。図1、2、または3のサブピクセル10配置構成を有するディスプレイ90の場合、転送された、図16Bに示す、結果として得られるサブピクセル描画されたデータセット1719は、1152の2値ビットに低減され、2:1圧縮比を表す。図24Aの配置構成2510を有するディスプレイの場合、結果として得られるデータセットは、1536の2値ビットであることになり、3:2(1.5:1)の圧縮比を表す。図21および図22に示すような配置構成を有するディスプレイの場合、結果として得られるデータセットは、960の2値ビットである可能性があり、12:5(2.4:1)の圧縮比を表す。
【0011】
画像は、画像を再送出することによって、すなわち、動画の場合、1秒当たり複数回、通常、1秒当たり60回以上、新しい画像を送出することによって、表示デバイス上でリフレッシュされるため、一定のリフレッシュレートについての帯域幅の低減は、図7の、サブピクセル描画手段70からディスプレイ10へ送信されるビット/秒の低減に等しい。ビット/秒のこの低減は、画像(複数可)を送信するのに必要とされる電力を低減する。ビット/秒の低減はまた、並列チャネルが低減されるか、または、なくなる場合があるため、コストを低減する場合がある。低減された帯域幅はまた、送信手段85によって放出される漂遊電磁干渉(EMI)を低減する場合がある。これは、EMIシールドが低減されるか、または、なくなる場合があるために、コスト低減をもたらす場合がある。
【0012】
図7を参照すると、データ経路/送信手段85は、ディスプレイ自体における電子部品を形成する場合がある。当業者にはよく知られているように、各列ドライバ出力は、各行更新のためにデータを供給されなければならない。本明細書で議論されるディスプレイの配置構成、および、先に参照され、同一出願人に所有された出願のディスプレイ配置構成に関して、こうした列ドライバ出力の数は、帯域幅低減に正比例して低減される。そのため、関連するデータラッチ、デジタル−アナログ変換器(D/A)、およびデータバス回路要素の数もまた、低減される場合があり、ディスプレイのコストが低減される。
【0013】
データ経路/送信手段85の例は、コンピュータとフラットパネルディスプレイモニタとの間のデジタルビデオインタフェース(DVI)送信機/受信機対と、フラットパネルディスプレイ自体の中の電子部品を装着したものを含む。高解像度ディスプレイの場合、所与のリフレッシュレートで帯域幅要件を処理するのに、複数のチャネル、複数対の送信機および受信機が使用されることが必要であることが多い。サブピクセル描画圧縮に関して、チャネルの数は、おそらく1つだけに減らされてもよい。さらに、所与の帯域幅について、リフレッシュレートは、サブピクセル描画圧縮を用いて、増加してもよく、おそらく、フリッカの知覚またはジッタがなくなる。
【0014】
データ経路/送信手段85のさらなる例は、コンピュータとフラットパネルディスプレイモニタとの間のアナログ送信機/受信機対と、フラットパネルディスプレイ自体の中の電子部品を足したものを含む。アナログシステムは、アナログ陰極線管(CRT)モニタを駆動するのに一般に使用される。最近、液晶ディスプレイモニタは、前記アナログ信号を受け取り、表示することが可能になるように、アナログ−デジタル(D/A)変換器を使用している。高解像度において、アナログ信号は、アナログ信号経路に対する帯域幅制限のために、劣化する場合があり、強度値がノイズによって変わるか、または、タイミングがずれ、ピクセルジッタが生ずる。サブピクセル描画に合わせることと共に、本明細書で述べる配置構成および以前の出願で参照した配置構成を用いることによって、信号の帯域幅が低減されることが可能になり、システムの信頼性および安定性が増加する。データ経路/送信手段85はまた、図20に示され、以下でより完全に述べるシステムなどの、画像キャプチャから最終表示までの全体の画像システムを含んでもよい。
[サブピクセル描画方法]
図1は、図7の電子カラーディスプレイ10のための、サブピクセルの配置構成上に重ね合わされたNew Times Romanフォントで理想化された「w」キャラクタ11の輪郭を示す。輪郭の上で、「w」が描画される。サブピクセル配置構成について、他のフォントが使用されてもよく、このフォントおよび文字を選択するのは、具体的に示すためだけである。このサブピクセル配置構成は、格子縞模様で、赤サブピクセル12および緑サブピクセル16を有する反復サブピクセルグループ18を含み、青サブピクセル14が中心にある。この特定のサブピクセル配置構成は、先に参照され、同一出願人に所有される‘232号出願にさらに開示されている。
【0015】
以下の議論は、具体的に示すだけのために図1の配置構成に焦点を合わせることになるが、とりわけ、先に参照され、同一出願人に所有される出願にさらに開示される、図2および図3に示すような、ディスプレイ用の他のサブピクセルの配置構成は、本発明にとって十分である。図2は、サブピクセル反復グループ22が4番目のカラーサブピクセル20を含む1つのこうした実施形態を示す。サブピクセル20は、図3のサブピクセル反復グループ30に示すようにジグザグ配置である可能性がある。これらのまた多くの他の構成は、先に参照され、同一出願人に所有された出願にさらに開示される。
【0016】
図4A、4B、および4Cは、‘612号出願に説明されるように、図1のサブピクセルの配置構成について、それぞれ、赤、緑、および青カラー平面用の再構成ポイントおよび関連するリサンプルエリアを示す。これらの再構成ポイントおよびそのリサンプルエリアは、以下に説明するように、サブピクセル描画を実施するために採用される。
【0017】
図5Aは、赤、緑、および青データが、同所共在的にサンプリングされ、ここでは、直線等距離アレイのドット60として表される。カラー画像データセット69は、たとえば、陰極線管などの従来のRGBデイスプレイまたはトリプレットで一緒に集められる、赤、緑、および青ストライプを有する液晶ディスプレイのための、画像データセットを表す。包含されるサンプルエリア61は、各サンプルポイントに関連することになり、したがって、四角形サンプルエリア61の格子が形成される。
【0018】
図5Bは、描画される理想化された「w」キャラクタ11と共に、サンプルポイント60および関連する包含されるサンプルエリア61を有する図5Aのデータセット69を示す。図5Bに示すように、輪郭「w」11は、包含されるサンプルエリア61の境界に完全には合っていない場合がある。こうした場合、輪郭内に存在するか、または、輪郭の近くに存在する最も近いサンプルポイントを選択し、キャラクタを、非常に高いコントラストを有する近似として描画するために、データを極値(たとえば、黒および白)に設定することが、当業者に知られている。
【0019】
示すように、これは、近似の「w」65を生ずる。図5Bならびに図6A、6B、および6C、ならびに図7の小さな図は、全てが、近似の「w」65を示し、図示の陰影パターンは各包含されるサンプルエリア内にある。図5Bのデータセット69をサブピクセル描画するために、図4A、4B、および4Cのリサンプル平面が、それぞれ、図6A、6B、および6Cに示すように、図5Bのデータセット69に載置される。
【0020】
図6Aを参照すると、近似の「w」65画像は、各赤再構成ポイント44およびその関連するリサンプルエリア45によってリサンプリングされる。各入力サンプルエリア61およびリサンプルエリア45の部分的な重なりは、フィルタカーネルの係数を生成する。包含される入力サンプルエリア61に重なる各赤リサンプルエリア45について、関連する入力サンプルポイント60の赤値用のデータは、関連するフィルタカーネル係数によって乗算され、その後、リサンプリングされたデータの残りの結果の残りと加算される。これは、図7に示すディスプレイなどの適した電子カラーディスプレイに対して、先に参照され、同一出願人に所有される出願のいくつかに記載された、他の手段またはメカニズムによっておそらくは修正された出力値として使用される。図6Aに示すように、一部のリサンプルエリア45は、黒「w」65の一部である入力サンプルエリア61、ならびに、背景カラー、通常、白である場合がある、「w」65の一部でない一部の他の入力サンプルエリアに重なる。これは、ディスプレイへの出力として「灰」値をもたらすであろう。図6A、6B、および6Cのリサンプル操作の結果およびその後のディスプレイは図8に示される。理想化された「w」11の輪郭は、比較のために示される。「w」65の未熟な近似のリサンプルのために、図7および図8に示す結果として得られる画像90は、焦点からはずれているか、または、ファジーな品質を有することが留意されるべきである。
【0021】
図11は、カラーサブピクセルを有するディスプレイ上のサブピクセル描画された理想化された画像のこの実施形態を要約するフローチャートを示す。最初に、サブピクセル描画される任意の理想化された画像について、水平および垂直軸の任意所望の数のこうした同所共在的なポイントについて、理想化された画像を近似する画像データが、同所共在的な赤、緑、および青データ点から作成される(ステップ1210)。この画像データセットは、赤、緑、および青リサンプル平面上に載置される(ステップ1220)。フィルタ係数は、たとえば、先に参照され、同一出願人に所有される出願の多くに開示される、適した公式に従って、各所与のカラーサブピクセルについて計算される(ステップ1230)。最後に、サブピクセル描画された画像が、ディスプレイ上に表示される(ステップ1240)。
【0022】
画像の画像品質を改善する1つの方法は、より高解像度の近似を作成することである。たとえば、図9を参照すると、示す画像データセット109の解像度は、69の解像度の2倍である。すなわち、各軸において、同じ全体のデータセットについて、存在するサンプルポイント60および関連する包含されるサンプルエリア61の2倍のサンプルポイント100および関連する包含されるサンプルエリア101が存在する。理想化された「w」キャラクタ11の輪郭は、データセット上に重ね合わされるのが示される。前と同様に、「w」105の近似が作成される。図9の近似は、図5Bの近似65より理想に近いことに留意されたい。
【0023】
図9のデータセット109をサブピクセル描画するために、図4A、4B、および4Cのリサンプル平面は、それぞれ、図10A、10B、および10Cに示すように、図9のデータセット109上に載置される。図10Aを参照すると、近似「w」105画像は、各赤再構成ポイント44およびその関連するリサンプルエリア45によってリサンプリングされる。各入力サンプルエリア61およびリサンプルエリアの部分的な重なりは、フィルタカーネルの係数を生成する。包含される入力サンプルエリア101に重なる各赤リサンプルエリア45について、関連する入力サンプルポント100の赤値用のデータは、以下に示すように、関連するフィルタカーネル係数によって乗算され、
0110 −111−1
1221 または、より鮮鋭な画像の場合、 133 1
1221 133 1
0110 −111−1
その後、リサンプルされたデータの残りの結果の残りと加算される。これは、図7に示すディスプレイなどの適した電子カラーディスプレイに対して、先に参照され、同一出願人に所有される出願のいくつかに記載された、他のアルゴリズム段によっておそらくは修正された出力値として使用される。
【0024】
図11に関して述べた同じ方法に従って、一部のリサンプルエリアは、(1)黒「w」105の一部である入力サンプルエリア101と、背景カラー、通常、白である場合がある、(2)「w」105の一部でない一部の他の入力サンプルエリア101の両方に重なる。これは、ディスプレイへの出力として「灰」値をもたらすであろう。図10A、10B、および10Cのリサンプル操作の結果およびその後のディスプレイは図12に示される。理想化された「w」11の輪郭は、比較のために示される。「w」105の精密な近似のリサンプルのために、図12に示す結果として得られる画像は、やはり焦点からはずれた品質を有するが、図8の画像よりよい。この手法は、水平および垂直軸の画像データポイント数を所望される任意の程度まで増加させることによって、上述したように繰り返され、その後、図11の方法が適用されるであろう。そのため、画像品質は、理想的なキャラクタの近似に対するさらなる改善によってさらに向上する場合がある。しかし、収穫逓減が生ずる可能性が高い。
【0025】
近似を回避し、無限解像度近似を有するかのような結果を与える別の方法は、キャラクタの理想化された輪郭または所望される他の画像を直接サンプリングすることであり、ターゲットディスプレイのリサンプルエリアをサブピクセル描画、従来データセットに対する中間近似の省略を伴う。理想化されたキャラクタ「w」11を直接サブピクセル描画するために、理想化された「w」11の輪郭は、それぞれ、図14A、14B、および14Cに示すように、図4A、4B、および4Cのリサンプル平面上に重ねられる。
【0026】
図14Aを参照すると、理想化された「w」11画像は、各赤再構成ポイント44およびその関連するリサンプルエリア45によってリサンプリングされる。「w」11の各部分およびリサンプルエリア45の部分的な重なりは、フィルタカーネルの係数を生成する。キャラクタエリアに重なる各赤リサンプルエリア45について、キャラクタの赤値用のデータは、部分的な重なりによって乗算され、その後、リサンプリングされたデータの残りの結果の残りと加算される。これは、図1のディスプレイなどの適した電子カラーディスプレイに対して、先に述べたいくつかの特許出願に記載された、他のアルゴリズム段によっておそらくは修正された出力値として使用される。キャラクタ「w」11が黒であると仮定すると、一部のリサンプルエリアは、黒「w」11の一部である入力画像エリア、ならびに、背景カラー、通常、白である場合がある、「w」11の一部でない他の入力サンプルエリアに重なる。これは、ディスプレイへの出力として「灰」値をもたらすであろう。
【0027】
図14A、14B、および14Cのリサンプル操作の結果およびその後のディスプレイは図15に示される。理想化された「w」11の輪郭は、比較のために示される。「w」11のエリアサンプリングのために、図15に示す結果として得られる画像は、やはり非常にわずかに「焦点からはずれた」品質を有するが、図8および図12の画像よりよく、図5Bの近似より一層よい場合がある。
【0028】
図13は、理想化された画像を直接サブピクセル描画する方法を要約する。最初に、理想化された画像が、各カラーサンプル平面上に載置される(ステップ1410)。こうした各カラーサンプル平面について、カーネルまたは係数などのこうしたフィルタ値を計算する任意の適した方法に従って、カラーサンプル平面の各サンプルポイントについてフィルタ値(たとえば、カーネルまたは係数)が計算される(ステップ1420)。各係数について、理想化された画像カラー値のドット行列積を得るのに、フィルタ値が使用される。ドット行列積の結果は、事前にサブピクセル描画された画像として記憶される可能性がある。理想化された画像はまた、ディスプレイ上に描画される可能性がある(ステップ1430)。さらに、計算されたフィルタ値は、理想化された画像を後で描画するため、後で使用し、検索し、送信するために記憶されてもよい。特に、サンプルフィルタ値(カーネルまたは係数)は、理想化された画像の形状を使用する代わりに、理想化された画像を特定のスケールで記述するのに使用される可能性がある。そのため、記憶したサンプルフィルタ値を用いて、異なるカラーのテキストが、異なるカラーの背景に対して描画される可能性がある。
【0029】
知られているサブピクセルアーキテクチャについて、予想される再構成ポイントに合う、適したオフセットサンプルエリアによって、画像またはグラフィックデータセットを直接サンプリングする概念は、当業者に知られているが従来のデータセットについて、非オフセットの、完全に収束する赤、緑、および青サンプリングに従来は限定されていたもの以外の他のサンプリング方法(図5Aに関連して前に述べた)に拡張される可能性がある。たとえば、人工シーンの複雑な3次元(3D)グラフィックスモデルのレイトレース描画では、処理時間を節約するために、スーパーサンプリングされた画像を、部分的にサンプリングするか、または、確率的に(ランダムに)部分的にサンプリングすることが一般的である。これらの方法は、サブピクセル描画されたデータセットを直接作成するための、所与のサブピクセル配置構成に合うオフセットサンプルを使用するために容易に修正されることができる。
[画像データストリームに対して、符号化された事前にサブピクセル描画されたデータ]
画像のサブピクセル描画は、図7に述べた方法で処理され、即座に表示されることができるが、後で表示するために、サブピクセル描画後に画像を記憶することが望ましいことがある。直接の第2データ経路85の代わりに、サブピクセル描画手段70と電子ディスプレイ10の間に記憶および/または送信手段が挿入されてもよい。サブピクセル描画操作後の画像の記憶および送信は、従来のデータセットを記憶し、送信し、その後、所望のサブピクセル描画ルーチンを実施するよりも利点を有する。たとえば、サブピクセル描画されたデータセットは、それを生成した従来の画像データセットの記憶空間および/または送信帯域幅に比べて半分またはさらにそれより少ない量を必要とする場合がある。こうして作成され、記憶され、かつ/または、送信されたサブピクセル描画されたデータセットは、「事前にサブピクセル描画された画像」として規定される。
【0030】
事前にサブピクセル描画された画像の記憶および送信の別の利点は、画像データセットのサブピクセル描画手段を含まないことによって、表示デバイスが、あまり費用がかからなくすることができることである場合がある。たとえば、分散システムでの使用においてその多くが存在する複数のデバイスが、単一ソースから事前にサブピクセル描画された画像を受け取る場合がある。こうしたデバイスおよびシステムは、1つの送信機および多くの受信機を有する広帯域テレビシステムを備えてもよい。別のデバイスは、家庭内の単一のコンピュータまたはビデオ再生機であってよく、1つまたは複数の遠隔電子表示デバイスが、送信された事前にサブピクセル描画された画像を受け取る。他のシステムは、当業者が容易に思いつくであろう。
【0031】
図16Aで表すような従来のデータセットを参照して、事前にサブピクセル描画された画像データセットを作成するプロセスの検討が説明される。従来の画像データセット1709は、包含されるサンプルエリア1701につき、赤1704、緑1706、および青データ値1702を表す。従来のデータセットとフィルタカーネルの行列ドット積を計算して、図16Bに示す、新しい赤1714、緑1716、および青1712を有する、新しいデータセット1719を生成するために、図6A、6B、および6Cに関連して先に述べたように、サンプルとリサンプルエリアの重なりによってフィルタカーネルが生成される。
【0032】
図16Bは、このデータセット1719が、元のデータセット1709にマッピングされる相対配置を示す。元のデータセット1709から「抜けているポイント」が存在することに留意されたい。新しいデータセット1719は、図7の第2データ経路85を介して直接に、電子ディスプレイに渡されてもよい。あるいは、新しいデータセット1719は、電子ディスプレイへ後で送出するための事前にサブピクセル描画された画像として、図7に示すサブピクセル描画手段70におそらく関連する、適した媒体71に記憶されてもよい。
【0033】
サブピクセル描画されたデータセット1719は、「従来ピクセル」17010当たり、3つのサンプル、赤1714、緑1716、および青1714サンプルを有するが、図1の表示デバイスなどの電子表示デバイスの列ドライバに対して直接配信を可能にするサンプル順序を使用する限りにおいて、図16Cは、サブピクセル描画されたデータセット1719が、従来のデータセットフォーマットを模擬する、より小さくコンパクトなデータセット17190に圧縮することができる方法を示す。サブピクセル描画されたデータセット17190は、従来のデータセット1709のメモリ記憶の半分を使用するが、図1のディスプレイなどの電子ディスプレイ上で示されると、同じ画像を表すことが留意されるべきである。図1のディスプレイなどの電子ディスプレイは、事前にサブピクセル描画されたデータセット17190を受け取ると、電子ディスプレイは、さらなる処理を必要とすることなく、データセットを直接表示してもよい。
【0034】
カラー成分の同一性の知識を全く必要としないが、デジタルデータを損失無しで圧縮する画像圧縮技法が、図16Cの、列ドライバによって順序付けられた、事前にサブピクセル描画されたデータセット17190に適用されてもよい。たとえば、「.PNG」およびグラフィックインターチェンジフォーマット(「.GIF」)などの、カラー索引付け圧縮方式は、カラー成分割り当てを「知る」必要がなく、従来の「ピクセル」17010当たり、限られた数のデータ値が存在することが多いことに単に留意し、画像圧縮のためにデータ値を索引付けする。解凍すると、元の、列ドライバによって順序付けされた、事前にサブピクセル描画されたデータセット17190が、不変のまま回復される。
【0035】
一部の状況では、各「ピクセル」17010におけるカラーサンプルデータ順序を使用することによって、事前にサブピクセル描画されたデータセットに、従来のデータセットを一層よく真似るようにさせることが望ましい場合がある。図16Dを参照すると、各「ピクセル」17010のカラーサンプルデータは、赤、緑、および青の従来のデータセット順序である。データセット17191の各「ピクセル」17010についてのデータサンプルは、図16Cの列ドライバによって順序付けされたデータセット17190の対応する「ピクセル」17010のデータサンプルと同じである。従来の順序を使用することは、各サンプルロケーションが、どのカラー成分にマッピングされるかを知ることを必要とする、従来のデータセットに対して使用される一部のアルゴリズムによって、事前にサブピクセル描画されたデータセットが、さらに処理されることを可能にする。
【0036】
たとえば、JPEG画像圧縮で使用される離散余弦変換(DCT)またはJPEG2000画像圧縮で使用されるウェーブレット変換などの、各カラー成分内での変換を使用する圧縮アルゴリズムは、この知識を必要とする。ルミナンスおよびクロミナンス成分YCBCRを分離する空間などの、他のカラー空間へのフォーマット変換もまた、この従来のカラーサンプル順序を必要とする場合がある。しかし、画像を事前にサブピクセル描画する時に、ルミナンス情報の多くが、クロミナンスチャネルとなって現れるものに転送されているため、圧縮アルゴリズムを、強制的にクロミナンス成分をサブサンプリングしないようにすることが最良である場合がある。図16Dの、従来通り順序付けされた、事前にサブピクセル描画されたデータセット17191は、その後、圧縮されるか、または、変換され、記憶され、かつ/または、送信され、受信され、かつ/または、検索され、解凍されるか、または、再変換されて、従来通り順序付けされたRGBカラー空間に戻され、最後に、再順序付けされ、図16Cの、列によって順序付けされた、事前にサブピクセル描画されたデータセット17190に戻されて、図1のディスプレイなどの電子ディスプレイ10上に表示される。
【0037】
図20は、事前サブピクセル描画システムまたはアルゴリズムを組み込むことができ、1つまたは多くの可能な異なるクライアントへ出力する、複数の使用およびシステムを示す。1つの可能な実施形態では、サブピクセル描画システム/エンコ−ダは、1つまたは多くの画像データソース、たとえば、カメラ2120によって取り込まれたソース画像2110、または、完全にコンピュータによって生成された画像2130、または、両方の組み合わせを入力することができるヘッドエンド2140の一部として使用されるであろう。カメラ2120は、アナログ記録媒体またはデジタル記録媒体を含むであろう。カメラ2120が、デジタル符号化媒体を採用する場合、全体のシステムは、その画像データストリームを受け取る表示デバイス(たとえば、TV、モニタ、携帯電話など)のサブピクセル配置構成に実質的に合うと思われるカメラのイメージング部分について、サブピクセル反復配置構成を選択することによって、最適化されるであろう。
【0038】
ヘッドエンド2140は、ソース入力画像データを受け取り、本明細書、または、先に参照され、同一出願人に所有される出願に述べたサブピクセル描画ルーチンを実施するであろう。ソース画像データが描画されると、ヘッドエンド2140は、多数の宛先通信媒体を通じて任意の数の宛先ディスプレイへこのデータを出力するであろう。図20は、これらの使用の一部を表すだけであり、網羅的であることを意味しない。たとえば(また、以下でより詳細に説明するように)、出力されるサブピクセル描画されたデータは、無線またはケーブル媒体を介してTV2160へ、ディスプレイ2172およびおそらくそれ自身のカメラ2174を有する携帯電話(または電話)2170へ(その場合、電話2170は、電話またはヘッドエンドにおいて、サブピクセル描画されて戻される画像情報のソースであるであろう)、または、以下でさらに述べる、通信経路2184および2186を有するインターネット2180(または、他のネットワーク接続)を介してコンピュータ2182上で実行されるウェブブラウザへ送出されるであろう。
【0039】
事前にサブピクセル描画された画像を用いて容易に改善することができるシステムの1つの例は、一般に、「ウェブブラウザ」として知られるインターネット文書検索および表示である。ウェブブラウザは、通常、ディスプレイの解像度に関する一定の情報をウェブサーバに報告する。ウェブ設計者は、これを利用して、スクリーンの解像度に合うグラフィックを供給する可能性がある。ブラウザの別の特徴は「クッキー」である。サーバベースのアプリケーションが、ブラウザの個々のユーザを認識することを可能にするために、クッキーによって、ウェブサーバは、サーバまたは別のサーバが読み取ることができる情報を、ブラウザ上に置くことができる。ブラウザは、おそらく、クッキーまたは任意の他の知られている方法によって、ユーザのパネルがどんなサブピクセル構造であるかを指示してもよい。指示されると、サーバは、ユーザのパネルに合うグラフィックを送出する。クッキーが指示する場合、サーバは、さらにサブピクセル描画することなく直接表示するために、事前にサブピクセル描画された画像をブラウザへ送出してもよい。
【0040】
実際、サイトが、サブピクセル描画技術を使用し、サーファに、そのディスプレイを「チューンアップ」するように促すことを指示するロゴを含むウェブサイトを、ウェブ「サーファ」はダウンロードしてもよい。これは、一連のウェブページおよびCGIコードを含むウェブサイトにリンクし、ウェブサイトは、ユーザにディスプレイのタイプに関する一連の質問にユーザを導き、ユーザが、発見的プロセスを完全には理解することなく、ディスプレイのタイプ、アーキテクチャ、およびガンマを決定することを可能にする試験パターンをユーザに観察するように求める。それから、クッキーがブラウザ上に置かれる。事前のサブピクセル描画を使用するウェブサイトを後で訪れると、サーバは、帯域幅を最低にして視覚性能を最良にするために、どのグラフィックを送出すべきかを決定するためにクッキーを照会し、所望の画像を送出するのに必要とされるインターネットパケット数が低減される。
【0041】
ブラウザおよびオペレーティングシステムは、事前にサブピクセル描画された画像を検出すると、予約された文書接尾語拡張子に注目することによって、さらなるサブピクセル描画することなく、事前にサブピクセル描画された画像を直接ディスプレイに送出するであろう。画像は、図16Cの、列によって順序付けされた17190フォーマットか、図16Dの、従来通りに順序付けされた、事前にサブピクセル描画されたデータセット17191フォーマットのいずれかにある。画像が、損失無しまたは損失有りの適切な圧縮アルゴリズムによってさらに圧縮されてもよい。ブラウザは、その後、受信されたデータを処理する、すなわち、各特定の状況について必要である場合に、解凍し、再順序付けを行うであろう。事前にサブピクセル描画されたデータセットは、以下にさらに述べるように設定された従来のデータセット内に埋め込まれてもよい。
【0042】
このプロセスは、図20に関してさらに説明される。コンピュータシステム2182上で動作するユーザのウェブブラウザは、事前にサブピクセル描画された画像データを画像データストリーム内に埋め込むことが可能な、ヘッドエンド2140を通してウェブサイトとの通信をダウンロードする/要求する。ウェブサイトは、(1)コンピューティングシステム2182上で、ユーザのディスプレイに関する情報に関するクッキーを照会するか、または、(2)コンピューティングシステム2182上の能力を決定するために、一連のディスプレイ試験を行うようにプロンプト表示によりユーザに指示してもよい。ウェブサイトによって得られた情報に応じて、ユーザのディスプレイおよび/またはオペレーティングシステムが、ストリーム中に事前にサブピクセル描画された画像データを検出することができる場合(そして、画像データを効率的に処理できる場合)、ウェブサイトは、埋め込まれた、事前サブピクセル描画されたデータを有する画像データをユーザに送出する。
【0043】
事前サブピクセル描画されたデータを、従来の画像データセット内に埋め込むことが有利である場合がある。こうした従来の画像データセットは、埋め込まれた、事前サブピクセル描画された画像を認識し、それを適切に抽出し、表示する手段を有する表示デバイスに達するまで、従来システムによって従来方法で、記憶され、送信されてもよい。1つのこうした実施形態は図16Eに示される。従来通りに順序付けされた画像データセット1729は、包含されるサンプルエリア1701当たり、赤1704、緑1706、および青データ値1702を表す。しかし、このデータセットは2つのデータサブセットを有する。サブセットのうちの少なくとも1つは、事前にサブピクセル描画された画像データを表す。他のデータセットは、他の情報を表すか、または、第2の事前にサブピクセル描画されたデータセットを表してもよい。1つのデータセットは、都合上、ここでは、肉太でかつ下線テキストで示される、赤1714、緑1716、および青データ1712によって規定される。他のデータセットは、都合上、ここでは、平易テキストで示される、赤1724、緑1726、および青データ1722によって規定される。2つのデータセットは、同じ形を有し、特に、従来のデータセットグループ当たりの1つの赤または緑は、データサブセットのメンバである。サブセットの赤および緑メンバは、従来のデータセットグループについて交互になり、たとえば、図1、2、および3または本明細書に述べる配置構成の任意のものに述べられるように、サブピクセル配置構成の赤/緑格子縞模様を反映する。
【0044】
1つの実施形態では、2つの事前にサブピクセル描画された画像は、互いに並んで従来の画像データセット内に埋め込まれることができる。これらは、同じ元の画像から事前にサブピクセル描画されてもよく、従来データセットの各カラーポイントは、そのロケーションを中心とする論理ピクセルについてサブピクセル描画されたデータを表す。これによって、データ抽出間引き機能を有するシステムが、データを適切なカラーへシフトすることなく、任意のポイントにおいて、図1のパネルなどの表示パネル上に画像を直接表示することが可能になる。別の実施形態では、2つの画像は、無関係であってよく、圧縮をより大きくするために、画像をパッキングすることが可能になる。画像は、ビデオ用などの、一連の中の2つの画像であってよい。あるいは、画像は、ステレオ対、すなわち、同じシーンではあるが、ポイントの異なる2つの画像であってよい。
【0045】
さらに別の実施形態では、データセットは、サブピクセル描画された画像である1つのサブセットを有してもよく、一方、他のサブセットは、元の画像のサブセットである。事前にサブピクセル描画された画像サブセットは、その位置のみにおいて元のデータを置き換えるが、元の残りは不変である。本発明のこの態様の1つの使用は、テレビ放送またはビデオ記憶のためにビデオを符号化するためにあり、それによって、画像は、図1のパネルなどの表示パネル上では大きく見えるが、後方互換性のために完全な従来データセットを用いた、CRTまたは他のパネル、たとえば、RGBストライプ式ディスプレイ上ではそれでも「大丈夫」に見える。
【0046】
1つの実施形態では、事前にサブピクセル描画された画像は、図1のパネルなどのパネル上に直接表示される時に色エイリアシングが全く発生しない(または、最小になる)ことを確実にするために、対角線における高空間周波数を制限するように効率的にフィルタリングされるであろう。しかし、サブピクセル描画されたデータセットと元の従来画像の半分の両方とが組み合わされた、全データセット1729は、画像品質の損失が非常に小さい状態で、従来ディスプレイ上に表示されるであろう。この前処理は、放送されるか、または、記録された、事前にサブピクセル描画されたプログラム素材を再生することができる低コストテレビセットを可能にすることになり、事前にサブピクセル描画されることは、費用のかかるサブピクセル描画チップを必要としない。前もって行われる前処理は、マスタリング工程で1度だけ行われるが、一部の製品のローカルな処理にはおそらく費用がかかり過ぎる、非常に精巧なアルゴリズムである場合があり、販売された数百万のビデオ記録にわたって償却される。
【0047】
上述のように、こうした混合データセット1729を作成する方法は、図16Aで表すような従来データセット1709で始まる場合がある。従来画像データセット1709は、包含されるサンプルエリア1701当たり、赤1704、緑1706、および青データ値1702を表す。そのため、本発明者等は、新しい赤1714、緑1716、および青1712データポイントを有する、図16Bに示す新しいデータセット1719を生成するために、図6A、6B、および6Cに関連して先に述べたように、サンプルエリアとリサンプルエリアの重なりによって生成されるフィルタカーネルを用いて、従来データセットとフィルタカーネルの行列ドッド積が計算される。
【0048】
図16Bを参照すると、このデータセット1719が、元のデータセット1709にマッピングされる相対配置である。元のデータセット1709から「抜けているポイント」が存在することが留意されるべきである。これらの抜けているポイントは、元の従来データセット1709から供給される。しかし、最初に、全ての偶数行の青サンプルポイント1712は、右に1つの「ピクセル」1701だけ移動する。こうして、抜けているポイントは、図16Bのサブピクセル描画されたデータセット1719の「ピクセル」1701を、従来データセット1709のピクセル1701にマッピングすることによって満たされ、それによって、図16Bの任意の「抜けている」カラーポイントは、図16Aの従来画像データセット1709からのカラーサンプルポイントで満たされて、図16Eの満たされた、混合データセット1729が作成される。
【0049】
ここで、従来の画像データセットフォーマット1729から、事前にサブピクセル描画されたデータサブセット1719を抽出する1つの実施形態が開示される。図17A、17B、および17Cを参照すると、図4A、4B、および4Cのリサンプル平面は、それぞれ、図16Eのデータセット1729上に載置される。図17Aにて、各赤リサンプルエリア45は、包含されるサンプルエリア「ピクセル」1701の1つに完全に重なる。事前にサブピクセル描画されたデータセットが存在することを知って、赤データポイント1714が、関連する赤再構成ポイント44についての出力値として使用される、簡単なデータ抽出および間引きのために、通常のサブピクセル描画アルゴリズムは中止される。全ての他の入力データサンプルが無視される。同様な操作は、図17Bに示す緑データ平面および図17Cに示す青データ平面について実施される。
【0050】
図17Cの「青」リサンプル操作はまた、先に組み込まれた特許出願に記載されるサブピクセル描画アルゴリズムの代わりに、図2および図3の4カラーサブピクセル配置構成について、事前にサブピクセル描画されたデータ値を抽出するのに使用されてもよい。さらに、事前にサブピクセル描画された画像はまた、対角線方向に隣接する「ピクセル」1701から得られる値からの青データ1712の2つの値を平均することによって、図20に示すディスプレイなどの電子ディスプレイ上に表示されてもよい。さらに、ディスプレイもまた、図21および図22に示す配置構成などのサブピクセル配置構成を有してもよい。図21のサブピクセル配置構成は、先に参照した‘232号出願にさらに開示される。さらに、事前にサブピクセル描画された画像はまた、‘232号出願に最初に示されるサブピクセル配置構成の変形形態である、図22に示すサブピクセル配置構成から導出されるジグザグ配置のリサンプルエリアからではあるが、対角線方向に隣接する「ピクセル」1701から得られる値からの青データ1712の2つの値を平均することによって、図20に示すディスプレイなどの電子ディスプレイ上に表示されてもよい。
【0051】
本発明の別の実施形態では、事前にサブピクセル描画された画像サブセットおよび/または従来画像サブセットは、サブピクセル描画システムおよび/またはアルゴリズムが認識することになる「透かし」を、普通に見える画像内に埋め込んでいる場合がある。サブピクセル描画システムが、透かしの存在を検出する時、サブピクセル描画システムは、画像のサブセットが、さらなるフィルタリング無しで抽出され、表示されることができる事前にサブピクセル描画された画像であることを知る。透かしは、ステノグラフ的に隠蔽されたデータ、すなわち、人閲覧者によっては知覚的に区別できないが、当業者によく知られている技術のような機械装置によって認識可能であるデータ改変である場合がある。
【0052】
本発明のさらに別の実施形態では、事前にサブピクセル描画された画像サブセットは、周囲の他のデータセット内に埋め込まれ、事前にサブピクセル描画されたデータとして第1データセットを識別するための所定のカラーキーを有する。他の部分の描画を維持しながら、所与の被表示画像内のある部分または要素を高品質で描画することが望ましい多くの場合が存在する。たとえば、テキストが、写真より高品質でサブピクセル描画されてもよい。そのため、一実施形態は、2つのタイプの画像要素の検出および適した異なる処置を可能にする方法で、画像の事前にサブピクセル描画された部分が、画像の事前にサブピクセル描画されない部分と混合されることを可能にするシステムおよび方法を提供する。
【0053】
図18を参照すると、従来画像データセット1909は、埋め込まれた、事前にサブピクセル描画された画像データセット1919を囲む。事前にサブピクセル描画された画像データセットは、赤1914、緑1916、および青1912サンプルポイントを含む。他のデータサブセットは、所定のクロマ・キーを含み、赤1924サンプルポイントは「65」の数のデータ値を有し、緑1926サンプルポイントは「27」の数のデータ値を有し、青1922サンプルポイントは「207」の数のデータ値を有する。所定のカラーの存在は、他のデータサブセットが、事前にサブピクセル描画されたデータであり、直接、抽出され、表示されてもよいことを指示する。
【0054】
カラーキー用の値の選択は、半ば任意である。カラー値は、統計的に、有効な画像データでありそうにない値であるように選択される場合がある。図18の例で選択された値は、ありそうにない値であってもよい。2つのRGBトリプレット内での、カラーキー値および事前にサブピクセル描画されたデータのマッピングはまた、半ば任意である。図18に示す順序は、緑カラーキー値1926を有する、同じピクセル内の事前のサブピクセル赤および青値1914および1912、同様に、緑の事前のサブピクセル値1916と同じピクセル内の赤および青カラーキー値1924および1922を示す。たとえば、ハードウェアで検出するのがより容易になる、他の再マッピングが利点を有する場合があり、順序は全て、本明細書で開示される実施態様および実施形態によって実施されることが可能である。このマッピング順序の2つの他の好ましい実施形態は、図25A〜25Dおよび図26A〜26Cに関連して後で述べられる。
【0055】
ここで、従来画像データセットを調べ、従来画像データセットフォーマットから事前にサブピクセル描画されたデータを抽出するシステムおよび方法が開示される。図19A、19B、および19Cを参照すると、図4A、4B、および4Cのリサンプル平面は、それぞれ、図18のデータセットに重なる。事前にサブピクセル描画されたデータサブセット1919内の、包含されるサンプルエリアに載置されるリサンプルエリアを示すために、図19Bのリサンプルエリアの1つは、リサンプルエリア1928として図18に示される。図19Aでは、各赤リサンプルエリア45は、包含されるサンプルエリア1901の1つに完全に重なり、いくつかの他のエリアに部分的に重なる。これは、たとえば、リサンプルエリア1928内の従来画像データを抽出する時に、事前にサブピクセル描画されたデータサブセット1919の縁部において問題となる。完全に重なった、包含されたサンプルエリア1901内の赤データが、事前にサブピクセル描画されたデータサブセット1919内の事前にサブピクセル描画された画像の一部であるため、これがそうかどうかを判定する試験が実施される。たとえば、サブピクセル描画システムは、完全に重なった、包含されたサンプルエリア1901の緑1926値、隣接サンプルポイントの赤1924および青1922値を調べる。これらの値は、決定のために、カラーキー値と比較される。
【0056】
このプロセスは、費用のかかるルックアヘッド方法を必要とし、また、周囲のデータセットが、埋め込まれた事前にサブピクセル描画された画像の縁部の存在があるかを完全には試験されていない場合、従来画像データセット1909から画像を抽出する時に、事前にサブピクセル描画されたデータサブセット1919において無効値を使用する場合があるため、複雑である。無効値は、従来画像データセット1909の画像用の値ではなく、事前にサブピクセル描画された画像のカラーキー値である。代替の技法は、種々のサブピクセル配置構成レイアウトについて図26A〜26CおよびA27A〜27Dで述べられ、共に、「抜けている」データポイントを置き換えるための有効データの必要とされる複製に加えて、従来画像データセットに埋め込まれた、事前にサブピクセル描画されたデータセットにおいて無効値を使用すること、および、以下で述べる、より費用がかかり、かつ、広範囲な試験を回避する。
【0057】
偽を正と検出する可能性をさらに減らすために、周囲のいくつかの赤および青値1924および1922がポーリングされてもよい。これらの周囲の値の2つ以上が、カラーキー値に合う場合、事前にサブピクセル描画された画像データの存在が確認される。万一、データがカラーキーの存在を指示する場合、サブピクセル描画手段は、その時、これが事前にサブピクセル描画されたデータポイントであることを知る。事前にサブピクセル描画されたデータセットが存在することを知って、赤データポイント1914が、関連する赤再構成ポイント44についての出力値として使用される、簡単なデータ抽出のために、通常のサブピクセル描画アルゴリズムは中止される。カラーキーデータ値が間引きされる(廃棄される)。周辺のサンプルデータポイントがカラーキーに合わない場合、通常のサブピクセル描画アルゴリズムが実行される。同様な操作は、図19Bに示す緑データ平面および図19Cに示す青データ平面について実施される。
【0058】
従来データおよび事前にサブピクセル描画された画像データの境界において、部分的に重なるカラーキーサンプルポイントを無視するために、通常のサブピクセル描画アルゴリズムが修正される。完全に重なり、中心にある、包含された入力サンプル内にある値は、抜けているデータポイント値を満たすのに使用され、サブピクセル描画アルゴリズムのための通常の方法で処理される。
【0059】
別の代替の実施形態は、図24Aに示すサブピクセル配置構成2510である。この配置構成は、‘352号出願でさらに開示される。サブピクセル反復配置構成2518は、4つの緑サブピクセル2516を備え、2つの赤2512および2つの青2514サブピクセルは、緑サブピクセルを挟んだ状態で格子縞模様パターンを形成する。図24Bは、図24Aのサブピクセル配置構成についての再構成ポイントおよび関連するリサンプルエリア2520の1つの可能性のあるセットを示す。図24Aの配置構成2510は、反復セル2518あたり4つの緑サブピクセル2516を有するため、図18の事前にサブピクセル描画されたデータサブセット1919は、十分な、サブピクセル描画された緑のデータポイント1916を供給しない。
【0060】
図25Aを参照すると、従来画像データセット2609は、埋め込まれた、事前にサブピクセル描画された画像データセット2619を囲む。事前にサブピクセル描画された画像データセットは、赤2614、緑2616、および青2612サンプルポイントを含む。他のデータサブセットは、所定のカラーキーを含み、赤2624サンプルポイントは「65」の数のデータ値を有し、青2622サンプルポイントは「207」の数のデータ値を有する。所定のカラーの存在は、他のデータサブセットが、事前にサブピクセル描画されたデータであり、直接、抽出され、表示されてもよいことを指示する。この事前にサブピクセル描画された画像データセット2619は、図24Aのサブピクセル2510に合う、適切な数およびマッピングされた位置を有する。
【0061】
ここで、従来画像データセットフォーマット2609から、事前にサブピクセル描画されたデータサブセット2619を抽出する1つの実施形態が開示される。図25B、25C、および25Dを参照すると、図24Bの赤、青、および緑リサンプル平面は、それぞれ、図25Aのデータセット2609上に載置される。事前にサブピクセル描画されたデータサブセット2619内の包含されたサンプルエリアに重なるリサンプルエリアを示すために、図25Dのリサンプルエリアの1つは、リサンプルエリア2628として図25Aに示される。図25Bにて、各赤リサンプルエリア45は、包含されるサンプルエリア「ピクセル」1701の1つに完全に重なり、いくつかの他のエリアに部分的に重なる。先に述べたように、これは、たとえば、リサンプルエリア2628内の従来画像データを抽出する時に、事前にサブピクセル描画されたデータサブセット2619の縁部において問題となる。完全に重なった、包含されたサンプルエリア1701内の赤データが、事前にサブピクセル描画されたデータサブセット2619内の事前にサブピクセル描画された画像の一部である可能性が存在するため、これがそうかどうかを判定する試験が実施される。たとえば、サブピクセル描画システムは、完全に重なった、包含されたサンプルエリア1701の青2622データポイント値を調べ、決定のために、カラーキー値と比較する。
【0062】
このプロセスは、複雑であり、従来画像データセット2609から画像を抽出する時に、事前にサブピクセル描画されたデータサブセット2619において無効値を使用するという、図18で述べたのと同じ問題を有する。無効値は、従来画像データセット2609の画像用の値ではなく、事前にサブピクセル描画された画像のカラーキー値である。以下で述べるように、図26A〜26Cおよび図27A〜27Dは、より複雑なカラーキー検出および有効データ複製工程を回避しながら、従来画像データセットに埋め込まれた事前にサブピクセル描画されたデータサブセットにおいて無効値を使用することを回避する、種々のサブピクセル配置構成レイアウトについての画像処理技法を示す。
【0063】
偽を正と検出する可能性をさらに減らすために、周囲の赤2624値がポーリングされてもよい。これらの赤2624値の2つ以上が、カラーキー値に合う場合、事前にサブピクセル描画された画像データの存在が確認される。万一、データがカラーキーの存在を指示する場合、サブピクセル描画手段は、その時、これが事前にサブピクセル描画されたデータポイントであることを知る。事前にサブピクセル描画されたデータセットが存在することを知って、赤データポイント2614が、関連する赤再構成ポイント44についての出力値として使用される、簡単なデータ抽出のために、通常のサブピクセル描画アルゴリズムは中止される。カラーキーデータ値が間引きされる(廃棄される)。周囲のサンプルデータポイントがカラーキーに合わない場合、通常のサブピクセル描画アルゴリズムが実行される。同様な操作は、図25Cに示す青データ平面および図25Dに示す緑データ平面について実施される。
【0064】
従来データおよび事前にサブピクセル描画された画像データの境界において、部分的に重なるカラーキーサンプルポイントを無視するために、通常のサブピクセル描画アルゴリズムが修正される。完全に重なり、中心にある、包含された入力サンプル内にある値は、抜けているデータポイント値を満たすのに使用され、サブピクセル描画アルゴリズムのための通常の方法で処理される。
【0065】
図26Aを参照すると、従来画像データセット2709は、埋め込まれた、事前にサブピクセル描画された画像データセット2719を囲む。事前にサブピクセル描画された画像データセット2719についてのサブピクセル配置構成は、赤サンプルポイントと赤カラーキー、ならびに、青サンプルポイントと青カラーキーが交換されていることを除いて、図25Aの事前にサブピクセル描画された画像データセット2619と同じである。たとえば、事前にサブピクセル描画された画像データセット2619の1つおきの列の値は、事前にサブピクセル描画された画像データセット2719において交換される。事前にサブピクセル描画された画像データセットは、赤2714、緑2716、および青2712サンプルポイントを含む。他のデータサブセットは、所定のカラーキーを含み、赤2724サンプルポイントは「65」の数のデータ値を有し、青2722サンプルポイントは「207」の数のデータ値を有する。図25Aと対照的に、図26Aでは、赤の数値「65」は赤のサンプルポイントと交換され、青の数値「207」は青のサンプルポイントと交換されている。所定のカラーの存在は、他のデータサブセットが、事前にサブピクセル描画されたデータであり、直接、抽出され、表示されてもよいことを指示する。この事前にサブピクセル描画された画像データセット2719は、図25Aの事前にサブピクセル描画されたデータセット2619からの同じ数であるが、再マッピングされた位置を有することが留意されるべきである。再マッピングされた赤および青データポイントならびにカラーキーは、簡略化された検出方法を可能にし、埋め込まれた、事前にサブピクセル描画されたデータセットを検出し、適切に処理する手段を含むサブピクセル描画手段の複雑さおよびコストが低減される。
【0066】
ここで、従来画像データセットフォーマット2709から、代替の事前にサブピクセル描画されたデータサブセット2719を抽出する1つの実施形態が開示される。図26Bおよび図26Cを参照すると、図24Bの赤および青リサンプル平面は、それぞれ、図26Aのデータセット2709上に載置される。事前にサブピクセル描画されたデータサブセット2719内の包含されたサンプルエリアに重なるリサンプルエリアを示すために、図26Cのリサンプルエリアの1つは、リサンプルエリア2728として図26Aに示される。図26Bにて、各赤リサンプルエリア45は、包含されるサンプルエリア「ピクセル」1701の1つに完全に重なり、いくつかの他のエリアに部分的に重なる。完全に重なった、包含されたサンプルエリア1701内の赤データが、事前にサブピクセル描画されたデータサブセット2619内の事前にサブピクセル描画された画像の一部である可能性が存在するため、これがそうかどうかを判定する試験が実施される。サブピクセル描画システムは、最初に、完全に重なった、包含されたサンプルエリア1701の赤2724データポイント値を調べ、決定のために、カラーキー値と比較する。赤のカラーキー「65」が事前にサブピクセル描画されたデータサブセット2719内に存在するため、試験の結果はこれがカラーキーの一部であることを示し、周囲値にツィする更なる試験が求められる。
【0067】
偽を正と検出する可能性をさらに減らすために、周囲の青値2722値がポーリングされてもよい。これらの青2722値の2つ以上が、カラーキー値に合う場合、事前にサブピクセル描画された画像データの存在が確認される。万一、データがカラーキーの存在を指示する場合、サブピクセル描画手段は、その時、これが事前にサブピクセル描画されたデータポイントであることを知る。事前にサブピクセル描画されたデータセットが存在することを知って、赤データポイント2714が、関連する赤再構成ポイント44についての出力値として使用される、簡単なデータ抽出のために、通常のサブピクセル描画アルゴリズムは中止される。関連する赤の事前にサブピクセル描画されたデータサンプルが、奇数行上を右に、1つのピクセル1701だけシフトされ、偶数行上を左に1つのピクセルだけシフトされることに留意されたい。カラーキーデータ値が間引きされる(廃棄される)。サンプルデータポイントがカラーキーに合わない場合、通常のサブピクセル描画アルゴリズムが実行される。同様な操作は、図27Bに示す青データ平面について実施される。ここで、しかし、青の事前にサブピクセル描画されたサンプル2712は、赤の事前にサブピクセル描画されたサンプル2714に対して起こるシフトとは反対に、奇数行上を左に、1つのピクセル1701だけシフトされ、偶数行上を右に1つのピクセル1701だけシフトされる。
【0068】
従来データおよび事前にサブピクセル描画された画像データの境界において、事前にサブピクセル描画されたデ−タポイントが、誤差があっても非常に小さい誤差を有するサブピクセル描画されないデータポイントと置き換えることができるため、通常のサブピクセル描画アルゴリズムは、サブピクセル描画アルゴリズムのための通常の方法で処理される。つまり、重なったデータポイントが通常の方法で処理されてもよいことを知るためには最初の1回の試験のみでよい、すなわちカラーキーについての中心自己カラーの試験のみでよいため、再マッピングされた事前にサブピクセル描画された画像データセット2719は検出器を簡略化する。最初のカラーキー値が、合っていると判定される場合にのみ、任意の他の値が、次々と試験される必要がある。さらに、その中心値に対する一致が存在しない場合、エリアリサンプルエリアが、事前にサブピクセル描画されたデータに重なることになっても、有効データが全ての重なったエリア内に存在するため、通常のサブピクセル描画操作が実施されてもよい。
【0069】
図26Aに示す、上記「交換」技法は、図25Aの事前にサブピクセル描画された画像データサブセット2619と比較して、事前にサブピクセル描画された画像データサブセット2719内部で赤および緑格子縞模様パターンを実質的に反転する。こうして、抽出プロセスは、事前にサブピクセル描画された画像データサブセット内部の「無効データ」の代わりに、適度の値を見出すことを保証する。結果として、図25Aに述べる試験は、回避される可能性があり、それによって、処理時間が節約される。
【0070】
図27Aを参照すると、従来画像データセット2809は、埋め込まれた、事前にサブピクセル描画された画像データセット2819を囲む。事前にサブピクセル描画された画像データセット2819についてのサブピクセル配置構成は、赤サンプルポイントと赤カラーキー、ならびに、緑サンプルポイントと緑カラーキーが交換されていることを除いて、図18の事前にサブピクセル描画された画像データサブセット1919と同じである。事前にサブピクセル描画された画像データセットは、赤2814、緑2816、および青2812サンプルポイントを含む。他のデータサブセットは、所定のカラーキーを含み、赤2824サンプルポイントは「65」の数のデータ値を有し、緑2826サンプルポイントは「27」の数のデータ値を有し、青2822サンプルポイントは「207」の数のデータ値を有する。図18と対照的に、図27Aでは、赤の数値「65」は赤のサンプルポイントと交換され、緑の数値「27」は緑のサンプルポイントと交換されている。所定のカラーの存在は、他のデータサブセットが、事前にサブピクセル描画されたデータであり、直接、抽出され、表示されてもよいことを指示する。この事前にサブピクセル描画された画像データセット2819は、図18の事前にサブピクセル描画されたデータセット1919からの同じ数であるが、再マッピングされた位置を有することに留意されたい。再マッピングされた赤および緑データポイントならびにカラーキーは、簡略化された検出方法を可能にし、埋め込まれた、事前にサブピクセル描画されたデータセットを検出し、適切に処理する手段を含むサブピクセル描画手段の複雑さおよびコストが低減される。
【0071】
ここで、従来画像データセットフォーマット2809から、代替の事前にサブピクセル描画されたデータサブセット2819を抽出する1つの実施形態が開示される。図27B、27C、および図27Dを参照すると、図4A、4B、および4Cの赤、緑、および青リサンプル平面は、それぞれ、図27Aのデータセット2809上に載置される。事前にサブピクセル描画されたデータサブセット2819内の包含されたサンプルエリアに重なるリサンプルエリアを示すために、図27Cのリサンプルエリアの1つは、リサンプルエリア2828として図27Aに示される。図27Bでは、各赤リサンプルエリア45は、包含されるサンプルエリア「ピクセル」1701の1つに完全に重なり、いくつかの他のエリアに部分的に重なる。完全に重なった、包含されたサンプルエリア1701内の赤データが、事前にサブピクセル描画された画像の一部である可能性が存在するため、これがそうかどうかを判定する試験が実施される。サブピクセル描画システムは、最初に、完全に重なった、包含されたサンプルエリア1701の赤2824データポイント値を調べ、決定のために、カラーキー値と比較する。赤カラーキー「65」が、事前にサブピクセル描画されたデータサブセット2819内に存在するため、試験は、これが、カラーキーの一部であることを示唆し、周辺値に対するさらなる試験が求められる。
【0072】
偽を正と検出する可能性をさらに減らすために、周囲の青2822および緑2826値がポーリングされてもよい。これらの青2822および緑2826値の2つ以上が、カラーキー値に合う場合、事前にサブピクセル描画された画像データの存在が確認される。万一、データがカラーキーの存在を指示する場合、サブピクセル描画手段は、その時、事前にサブピクセル描画されたデータポイントが存在することを知る。事前にサブピクセル描画されたデータセットが存在することを知ると、赤データポイント2814を関連する赤再構成ポイント44についての出力値として使用するという簡単なデータ抽出のために、通常のサブピクセル描画アルゴリズムは中止される。関連する赤の事前にサブピクセル描画されたデータサンプルが、奇数行上を右に、1つのピクセル1701だけシフトされ、偶数行上を左に1つのピクセルだけシフトされることに留意されたい。カラーキーデータ値が間引きされる(廃棄される)。サンプルデータポイントがカラーキーに合わない場合、通常のサブピクセル描画アルゴリズムが実行される。同様な操作は、図27Cに示す緑データ平面について実施される。ここで、しかし、緑の事前にサブピクセル描画されたサンプル2816は、赤の事前にサブピクセル描画されたサンプル2814に対して起こるシフトとは反対に、奇数行上を左に、1つのピクセル1701だけシフトされ、偶数行上を右に1つのピクセル1701だけシフトされる。
【0073】
従来データおよび事前にサブピクセル描画された画像データの境界において、事前にサブピクセル描画されたデ−タポイントが、誤差があっても非常に小さい誤差を有するサブピクセル描画されないデータポイントと置き換えることができるため、通常のサブピクセル描画アルゴリズムは、サブピクセル描画アルゴリズムのための通常の方法で処理される。つまり、重なったデータポイントが通常の方法で処理されてもよいことを知るためには最初の1回の試験のみでよい、すなわちカラーキーについての中心自己カラーの試験のみでよいため、再マッピングされた事前にサブピクセル描画された画像データセット2819は検出器を簡略化する。最初のカラーキー値が、合っていると判定される場合にのみ、任意の他の値が、次々と試験される必要がある。さらに、その中心値に対する一致が存在しない場合、エリアリサンプルエリアが、事前にサブピクセル描画されたデータに重なることになっても、有効データが全ての重なったエリア内に存在するため、通常のサブピクセル描画操作が実施されてもよい。
【0074】
図26Aと同様に、図27Aに示す、上記「交換」技法は、図18の事前にサブピクセル描画された画像データサブセット1919と比較して、事前にサブピクセル描画された画像データサブセット2819内部で赤および緑格子縞模様パターンを実質的に反転する。同様に、図27Aの抽出プロセスは、事前にサブピクセル描画された画像データサブセット内部の「無効データ」の代わりに、適度の値を見出すことを保証する。
【0075】
上記「交換」技法に関して、1つおきの列からの値を交換すること以外に、他の交換方法が使用される可能性があることが留意されるべきである。たとえば、サブピクセル描画される時の、周囲の、事前にサブピクセル描画されたデータは、埋め込まれた、事前にサブピクセル描画された画像データサブセットの正確な境界を決定する費用のかかるルックアヘッド方法を必要とすることなく、埋め込まれた、事前にサブピクセル描画された画像データサブセット内の正確でかつ実際のカラーデータに容易にアクセスする。こうした他の方式は、行を交換すること、または、他の知られている幾何学的関係を含むと思われるが、それに限定されない。必要である時に、事前サブピクセルでないデータアクセスが周囲のカラーデータを補正することは言うまでもない。
【0076】
こうして、埋め込まれた、事前にサブピクセル描画された画像によって、画像データセットを処理するための、実施態様および実施形態が述べられた。これまでの明細書において、本発明は、本発明の特定の例示的な実施態様および実施形態を参照して述べられた。しかし、添付特許請求項に記載される、本発明のより広い精神および範囲から逸脱することなく、実施態様および実施形態に対して、種々の修正および変更を行ってもよいことは明らかであろう。本明細書および図面は、それに応じて、制限的な意味ではなく、具体的に示すという意味で考えられるべきである。
【図面の簡単な説明】
【0077】
【図1】電子カラーディスプレイのサブピクセルの配置構成を示す図であり、理想化された「w」キャラクタの輪郭がサブピクセル上に重ね合わされている。
【図2】電子カラーディスプレイのサブピクセルの別の配置構成を示す図である。
【図3】電子カラーディスプレイのサブピクセルのさらに別の配置構成を示す図である。
【図4A】図1のサブピクセルの配置構成についての赤カラー平面のための再構成ポイントおよび関連するリサンプルエリアを示す図である。
【図4B】図1のサブピクセルの配置構成についての緑カラー平面のための再構成ポイントおよび関連するリサンプルエリアを示す図である。
【図4C】図1のサブピクセルの配置構成についての青カラー平面のための再構成ポイントおよび関連するリサンプルエリアを示す図である。
【図5A】従来のカラー画像データセットについてのサンプルポイントおよび関連する、包含されたサンプルエリアを示す図である。
【図5B】「w」の従来の描画と共に、図5Aの従来データセット上に重ね合わされた理想化された「w」キャラクタの輪郭を示す図である。
【図6A】「w」が描画された状態の、図5Bのデータセット上に載置された赤リサンプル平面を示す図である。
【図6B】「w」が描画された状態の、図5Bのデータセット上に載置された緑リサンプル平面を示す図である。
【図6C】「w」が描画された状態の、図5Bのデータセット上に載置された青リサンプル平面を示す図である。
【図7】サブピクセル描画用のデータパイプラインを示す図である。
【図8】従来通りに描画された「w」についての、図6A、6B、および6Cのリサンプル操作によって生成される、結果として得られる、サブピクセル描画された画像を有する図1のディスプレイを示す図である。理想化された「w」キャラクタの輪郭は、比較のために重ね合わされている。
【図9】従来通りに描画された「w」を有する、高解像度の従来データセット上に重ね合わされた、理想化された「w」キャラクタの輪郭を示す図である。
【図10A】描画された「w」を有する、図9のデータセット上に載置された、図4Aの赤リサンプル平面を示す図である。
【図10B】描画された「w」を有する、図9のデータセット上に載置された、図4Bの緑リサンプル平面を示す図である。
【図10C】描画された「w」を有する、図9のデータセット上に載置された、図4Cの青リサンプル平面を示す図である。
【図11】同所共在的な画像データセットから理想化された画像をサブピクセル描画する一実施形態のフローチャートである。
【図12】従来通りに描画された「w」についての、図10A、10B、および10Cのリサンプル操作によって生成される、結果として得られる、サブピクセル描画された画像を有する図1のディスプレイを示す図である。理想化された「w」キャラクタの輪郭は、比較のために重ね合わされている。
【図13】カラーサブピクセルサンプル平面上で理想化された画像を直接にサブピクセル描画する一実施形態のフローチャートである。
【図14A】理想化された「w」キャラクタの輪郭上に載置された図4Aの赤サンプル平面を示す図である。
【図14B】理想化された「w」キャラクタの輪郭上に載置された図4Bの緑サンプル平面を示す図である。
【図14C】理想化された「w」キャラクタの輪郭上に載置された図4Cの青サンプル平面を示す図である。
【図15】理想化された「w」キャラクタについての、図14A、14B、および14Cの直接サンプル操作によって生成される、結果として得られる、サブピクセル描画された画像を有する図1のディスプレイを示す図である。理想化された「w」キャラクタの輪郭は、比較のために重ね合わされている。
【図16A】正方形サンプルエリア当たり、1組の赤、緑、および青サンプルを有する従来データセットの図である。
【図16B】サブピクセル描画し、リサンプリングされた、サブピクセル描画されたデータセットを残すプロセスによって、間引かれた(廃棄された)、「抜けている」サンプルを有するデータセットの図である。
【図16C】「従来の」データセットサンプルエリア当たり、3つのサンプル、赤、緑、および青として圧縮されるが、やはり、列ドライバによるサブピクセル描画されたデータセット順である、図16Bのサブピクセル描画されたデータセットを示す図である。
【図16D】従来のデータセットフォーマット順に一致するために、それぞれの「従来の」データセット「ピクセル」内に記録された、図16Cについての、圧縮された、サブピクセル描画されたデータセットを示す図である。
【図16E】その一方または両方が、事前にサブピクセル描画されたデータセットであってよい2つのサブセットを有する従来データサブセットを示す図である。これは、図16Aの空間的に1対1にマッピングされたサンプルを置き換えるが、図16Bで包含される「抜けている」サンプルを保持する、図16Bのサブピクセル描画されたデータセットを表してもよい。
【図17A】図16Eのデータセット上に載置された図4Aの赤リサンプル平面を示す図である。
【図17B】図16Eのデータセット上に載置された図4Bの緑リサンプル平面を示す図である。
【図17C】図16Eのデータセット上に載置された図4Cの青リサンプル平面を示す図である。
【図18】所定のカラーキーデータセットを有する、埋め込まれた、事前にサブピクセル描画されたデータセットを有するデータセットを示す図である。
【図19A】図18のデータセット上に載置された図4Aの赤リサンプル平面を示す図である。
【図19B】図18のデータセット上に載置された図4Bの緑リサンプル平面を示す図である。
【図19C】図18のデータセット上に載置された図4Cの青リサンプル平面を示す図である。
【図20】複数ソースから画像ソースデータを入力し、複数の経路を介して、多数のクライアントへサブピクセル描画されたデータを出力することができる事前サブピクセル描画システムの図である。
【図21】電子カラーディスプレイのサブピクセルの別の配置構成を示す図である。
【図22】電子カラーディスプレイのサブピクセルのさらに別の配置構成を示す図である。
【図23】図22の少数のカラー平面再構成ポイントおよび関連するリサンプル平面を示す図である。
【図24A】電子カラーディスプレイのサブピクセルの別の配置構成を示す図である。
【図24B】図24Aの配置構成についての、再構成ポイントおよび関連するリサンプルエリアを示す図である。
【図25A】所定のクロマ・キーデータセットを有する、図24Aのサブピクセルの配置構成についての、埋め込まれた、サブピクセル描画されたデータセットを有する従来データセットを示す図である。
【図25B】図25Aのデータセット上に載置された図24Aの配置構成についての、赤リサンプルエリアを示す図である。
【図25C】図25Aのデータセット上に載置された図24Aの配置構成についての、緑リサンプルエリアを示す図である。
【図25D】図25Aのデータセット上に載置された図24Aの配置構成についての、青リサンプルエリアを示す図である。
【図26A】代替の所定のクロマ・キーデータセットを有する、図24Aのサブピクセルの配置構成についての、埋め込まれた、サブピクセル描画されたデータセットを有する従来データセットを示す図である。
【図26B】図26のデータセット上に載置された図25Aの配置構成についての、赤リサンプルエリアを示す図である。
【図26C】図26のデータセット上に載置された図25Aの配置構成についての、青リサンプルエリアを示す図である。
【図27A】代替の所定のクロマ・キーデータセットを有する、図1のサブピクセルの配置構成についての、埋め込まれた、サブピクセル描画されたデータセットを有する従来データセットを示す図である。
【図27B】図27Aのデータセット上に載置された図4Aの赤リサンプル平面を示す図である。
【図27C】図27Aのデータセット上に載置された図4Bの緑リサンプルエリアを示す図である。
【図27D】図27Aのデータセット上に載置された図4Cの青リサンプル平面を示す図である。
【技術分野】
【0001】
【背景技術】
【0002】
同一出願人による米国特許出願:(1)2001年7月25日に出願された、簡略化したアドレス指定を有するフルカラーイメージングデバイスのためのカラーピクセルの配置構成「ARRANGEMENT OF COLOR PIXELS FOR FULL COLOR IMAGING DEVICES WITH SIMPLIFIED ADDRESSING」という名称の第09/916,232号(「‘232号出願」)、(2)2002年10月22日に出願された、変調伝達関数応答の向上による、サブピクセル描画のための、カラーフラットパネルディスプレイのサブピクセル配置構成およびレイアウトに対する改善(IMPROVEMENTS TO COLOR FLAT PANEL DISPLAY SUB-PIXEL ARRANGEMENTS AND LAYOUTS FOR SUB-PIXEL RENDERING WITH INCREASED MODULATION TRANSFER FUNCTION RESPONSE)という名称の第10/278,353号(「‘353号出願」)、(3)2002年10月22日に出願された、スプリットブルーサブピクセルによる、サブピクセル描画のための、カラーフラットパネルディスプレイのサブピクセル構成およびレイアウトに対する改善(IMPROVEMENTS TO COLOR FLAT PANEL DISPLAY SUB-PIXEL ARRANGEMENTS AND LAYOUTS FOR SUB-PIXEL RENDERING WITH SPLIT BLUE SUBPIXELS)という名称の第10/278,352号(「‘352号出願」)、(4)2002年9月13日に出願された、改良型4カラー配置構成およびサブピクセル描画用エミッタ(IMPROVED FOUR COLOR ARRANGEMENTS AND EMITTERS FOR SUBPIXEL RENDERING)という名称の第10/243,094号(「‘094号出願」)、(5)2002年10月22日に出願された、ブルールミナンス可視性の低減による、カラーフラットパネルディスプレイのサブピクセル構成およびレイアウトに対する改善(IMPROVEMENTS TO COLOR FLAT PANEL DISPLAY SUB-PIXEL ARRANGEMENTS AND LAYOUTS WITH REDUCED BLUE LUMINANCE WELL VISIBILITY)という名称の第10/278,328号(「‘328号出願」)、(6)2002年10月22日に出願された、水平サブピクセル配置構成およびレイアウトを有するカラーディスプレイ(COLOR DISPLAY HAVING HORIZONTAL SUB-PIXEL ARRANGEMENTS AND LAYOUTS)という名称の第10/278,393号(「‘393号出願」)において、画像表示デバイス用の価格/性能曲線を改善するための新規なサブピクセル配置構成が開示されており、参照により本明細書に組み込まれる。
【0003】
以上の出願および同一出願人による米国特許出願:(1)2001年1月16日に出願された、RGBピクセルフォーマットデータのペンタイルマトリクス・サブピクセルデータフォーマットへの変換(CONVERSION OF RGB PIXEL FORMAT DATA TO PENTILE MATRIX SUB-PIXEL DATA FORMAT)という名称の第10/051,612号(「‘612号出願」)、(2)2002年5月17日に出願された、ガンマ調整による、サブピクセル描画のための方法およびシステム(METHODS AND SYSTEMS FOR SUB-PIXEL RENDERING WITH GAMMA ADJUSTMENT)という名称の第10/150,355号(「‘355号出願」)、(3)2002年5月17日に出願された、適応フィルタリングによる、サブピクセル描画のための方法およびシステム(METHODS AND SYSTEMS FOR SUB-PIXEL RENDERING WITH ADAPTIVE FILTERING)という名称の第10/215,843号(「‘843号出願」)にさらに開示されるサブピクセルレンダリンス(SPR)システムおよび方法と結合すると、これらの改善は特に著しい。先に参照され、同一出願人による出願は、参照により本明細書に組み込まれる。
【発明の開示】
【発明が解決しようとする課題】
【0004】
組み込まれ、本明細書の一部を構成する添付図面は、本発明の例示的な実施態様および実施形態を示し、記述と共に、本発明の原理を説明するのに役立つ。
【発明を実施するための最良の形態】
【0005】
ここで、その例が添付図面に示される実施態様および実施形態が詳細に参照される。可能であるところではどこでも、同じかまたは同様な部品を指すために、同じ参照数字が図面全体を通して使用される。
[サブピクセルレンダリンスシステム]
先に参照され、同一出願人に所有される‘353号出願において以前に開示されたように、以前のシステムは、人視覚系(Human Vision System)の特性を利用し、「知覚符号化」を用いた帯域幅低減に焦点を当てている。このタイプの符号化は、画像キャプチャと画像ディスプレイの間で、「視覚的に損失はない」が、数学的に損失のある圧縮を生成する。しかし、画像は、物理的な表示デバイスに送出される直前に、復号されて従来のデータセットに戻される。
【0006】
従来のシステムを理解するのを助けるために、従来のシステムについて特定の例が説明される。最初に、画像は、デジタルスチルカメラによって取り込まれ、ジョイント・ピクチャ・エキスパート・グループ(JPEG)画像圧縮規格またはムービング・ピクチャ・エキスパート・グループ(MPEG)圧縮規格を用いて、処理され、圧縮される。これらのタイプの圧縮は、従来のRGBデータセットを、当業者にはよく知られているYCBCRデータセットに変換する。このデータセットは、ルミナンスに似た成分、ならびに、ルミナンスに似た成分と、従来のRGBデータセットの、それぞれ、青および赤との差を表す2つのクロマ成分を有する。人視覚系が、クロマチャネルにおいて空間周波数識別力が低いため、2つのクロマ成分をサブサンプリングすることが一般的なやり方である。これは、一部の数学的に損失のある圧縮を引き起こすが、視覚的には損失は大きくない。不可解な印象を与えるが、十分に理解されている、「4:2:2」および「4:2:0」としての名称が与えられたとすると、いくつかの方式が当業者には知られており、前者は3:2(1.5:1)の圧縮を表し、後者は2:1の圧縮を表す。画像変換、損失なしかまたは損失のある量子化、およびデータ圧縮を用いた、さらなる圧縮後に、画像は記憶されるか、または、送信される場合がある。
【0007】
その結果、他の場所で、または、他の時刻に、画像が、受け取られ、検索され、解凍され、YCBCRデータに変換して戻されてもよく、抜けているクロマ・サンプルが補間されて、ギャップが埋められ、最後に、変換してR′G′B′データセットに戻される(プライム「′」シンボルは、データがクロマ・フィルタリング操作によって修正されたことを指示する)。以前のディスプレイでは、R′G′Bデータセットは、その後、ディスプレイに送られる。さらに、以前のディスプレイでは、たとえ人視覚系がその解像度でカラー成分を認識しなくても、全RGBデータ帯域幅が利用され、多くの画像が、人視覚系に合うように既にフィルタリングされる場合があり、さらに、帯域幅の無駄が示される。
【0008】
図7を参照すると、以下の実施形態は、ディスプレイ10およびディスプレイ10へのデータ送信経路85内部での帯域幅要件を低減する。特に、帯域幅が低減される方法の例を示すために、図7の電子デバイス80のメモリ81に記憶された、図5Aおよび図5Bの画像65を有する従来技術のデータセット69を考える。画像が、12ピクセル×8ピクセル×3つのカラー平面(赤、緑、および青)で、各平面が、各カラーの強度を表す同じビット数、たとえば、8ビットを有すると仮定する。この画像は、その後、従来のデータセットフォーマットで、画像を表す12×8×3×8=2304の2値ビットを有することになる。
【0009】
電子デバイス80は、画像データセット69を、生成し、受け取り、または、メモリ媒体81から抽出する。電子デバイス80の例は、コンピュータ、テレビ受信機、ビデオ再生機、デジタル携帯電話、または、表示のために画像を出力することができる他の同様な電子デバイスを含む。メモリ媒体81の例は、磁気テープ、ランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、コンパクトディスク(CD)、デジタルビデオディスク(DVD)、フレキシブル磁気ディスク「フロッピー(登録商標)」、ハード磁気ディスク(HD)、または、任意の他の適したメモリ媒体のうちの任意のものを含む。データセット69は、データ経路83を介して任意の適したアルゴリズムを使用するサブピクセル描画手段70へ送出され、アルゴリズムの例は、図6A、6B、および6Cに示すように、従来データ69上に載置され、図4A、4B、および4Cのエリアなどのリサンプルエリア82の使用によって生成されるリサンプルフィルタ係数である。サブピクセル描画手段70は、本明細書で述べるサブピクセル描画技法を実施するための、ハードウェアおよび/またはソフトウェアの任意の組み合わせを含んでもよい。データサンプル数を低減するこの操作の結果は、第2データ経路85によって、結果として得られる画像90を作成する電子ディスプレイ10に送出される。
【0010】
本発明者等の例では、サブピクセル描画手段70に転送されたデータセット69は、2304の2値ビットである。図1、2、または3のサブピクセル10配置構成を有するディスプレイ90の場合、転送された、図16Bに示す、結果として得られるサブピクセル描画されたデータセット1719は、1152の2値ビットに低減され、2:1圧縮比を表す。図24Aの配置構成2510を有するディスプレイの場合、結果として得られるデータセットは、1536の2値ビットであることになり、3:2(1.5:1)の圧縮比を表す。図21および図22に示すような配置構成を有するディスプレイの場合、結果として得られるデータセットは、960の2値ビットである可能性があり、12:5(2.4:1)の圧縮比を表す。
【0011】
画像は、画像を再送出することによって、すなわち、動画の場合、1秒当たり複数回、通常、1秒当たり60回以上、新しい画像を送出することによって、表示デバイス上でリフレッシュされるため、一定のリフレッシュレートについての帯域幅の低減は、図7の、サブピクセル描画手段70からディスプレイ10へ送信されるビット/秒の低減に等しい。ビット/秒のこの低減は、画像(複数可)を送信するのに必要とされる電力を低減する。ビット/秒の低減はまた、並列チャネルが低減されるか、または、なくなる場合があるため、コストを低減する場合がある。低減された帯域幅はまた、送信手段85によって放出される漂遊電磁干渉(EMI)を低減する場合がある。これは、EMIシールドが低減されるか、または、なくなる場合があるために、コスト低減をもたらす場合がある。
【0012】
図7を参照すると、データ経路/送信手段85は、ディスプレイ自体における電子部品を形成する場合がある。当業者にはよく知られているように、各列ドライバ出力は、各行更新のためにデータを供給されなければならない。本明細書で議論されるディスプレイの配置構成、および、先に参照され、同一出願人に所有された出願のディスプレイ配置構成に関して、こうした列ドライバ出力の数は、帯域幅低減に正比例して低減される。そのため、関連するデータラッチ、デジタル−アナログ変換器(D/A)、およびデータバス回路要素の数もまた、低減される場合があり、ディスプレイのコストが低減される。
【0013】
データ経路/送信手段85の例は、コンピュータとフラットパネルディスプレイモニタとの間のデジタルビデオインタフェース(DVI)送信機/受信機対と、フラットパネルディスプレイ自体の中の電子部品を装着したものを含む。高解像度ディスプレイの場合、所与のリフレッシュレートで帯域幅要件を処理するのに、複数のチャネル、複数対の送信機および受信機が使用されることが必要であることが多い。サブピクセル描画圧縮に関して、チャネルの数は、おそらく1つだけに減らされてもよい。さらに、所与の帯域幅について、リフレッシュレートは、サブピクセル描画圧縮を用いて、増加してもよく、おそらく、フリッカの知覚またはジッタがなくなる。
【0014】
データ経路/送信手段85のさらなる例は、コンピュータとフラットパネルディスプレイモニタとの間のアナログ送信機/受信機対と、フラットパネルディスプレイ自体の中の電子部品を足したものを含む。アナログシステムは、アナログ陰極線管(CRT)モニタを駆動するのに一般に使用される。最近、液晶ディスプレイモニタは、前記アナログ信号を受け取り、表示することが可能になるように、アナログ−デジタル(D/A)変換器を使用している。高解像度において、アナログ信号は、アナログ信号経路に対する帯域幅制限のために、劣化する場合があり、強度値がノイズによって変わるか、または、タイミングがずれ、ピクセルジッタが生ずる。サブピクセル描画に合わせることと共に、本明細書で述べる配置構成および以前の出願で参照した配置構成を用いることによって、信号の帯域幅が低減されることが可能になり、システムの信頼性および安定性が増加する。データ経路/送信手段85はまた、図20に示され、以下でより完全に述べるシステムなどの、画像キャプチャから最終表示までの全体の画像システムを含んでもよい。
[サブピクセル描画方法]
図1は、図7の電子カラーディスプレイ10のための、サブピクセルの配置構成上に重ね合わされたNew Times Romanフォントで理想化された「w」キャラクタ11の輪郭を示す。輪郭の上で、「w」が描画される。サブピクセル配置構成について、他のフォントが使用されてもよく、このフォントおよび文字を選択するのは、具体的に示すためだけである。このサブピクセル配置構成は、格子縞模様で、赤サブピクセル12および緑サブピクセル16を有する反復サブピクセルグループ18を含み、青サブピクセル14が中心にある。この特定のサブピクセル配置構成は、先に参照され、同一出願人に所有される‘232号出願にさらに開示されている。
【0015】
以下の議論は、具体的に示すだけのために図1の配置構成に焦点を合わせることになるが、とりわけ、先に参照され、同一出願人に所有される出願にさらに開示される、図2および図3に示すような、ディスプレイ用の他のサブピクセルの配置構成は、本発明にとって十分である。図2は、サブピクセル反復グループ22が4番目のカラーサブピクセル20を含む1つのこうした実施形態を示す。サブピクセル20は、図3のサブピクセル反復グループ30に示すようにジグザグ配置である可能性がある。これらのまた多くの他の構成は、先に参照され、同一出願人に所有された出願にさらに開示される。
【0016】
図4A、4B、および4Cは、‘612号出願に説明されるように、図1のサブピクセルの配置構成について、それぞれ、赤、緑、および青カラー平面用の再構成ポイントおよび関連するリサンプルエリアを示す。これらの再構成ポイントおよびそのリサンプルエリアは、以下に説明するように、サブピクセル描画を実施するために採用される。
【0017】
図5Aは、赤、緑、および青データが、同所共在的にサンプリングされ、ここでは、直線等距離アレイのドット60として表される。カラー画像データセット69は、たとえば、陰極線管などの従来のRGBデイスプレイまたはトリプレットで一緒に集められる、赤、緑、および青ストライプを有する液晶ディスプレイのための、画像データセットを表す。包含されるサンプルエリア61は、各サンプルポイントに関連することになり、したがって、四角形サンプルエリア61の格子が形成される。
【0018】
図5Bは、描画される理想化された「w」キャラクタ11と共に、サンプルポイント60および関連する包含されるサンプルエリア61を有する図5Aのデータセット69を示す。図5Bに示すように、輪郭「w」11は、包含されるサンプルエリア61の境界に完全には合っていない場合がある。こうした場合、輪郭内に存在するか、または、輪郭の近くに存在する最も近いサンプルポイントを選択し、キャラクタを、非常に高いコントラストを有する近似として描画するために、データを極値(たとえば、黒および白)に設定することが、当業者に知られている。
【0019】
示すように、これは、近似の「w」65を生ずる。図5Bならびに図6A、6B、および6C、ならびに図7の小さな図は、全てが、近似の「w」65を示し、図示の陰影パターンは各包含されるサンプルエリア内にある。図5Bのデータセット69をサブピクセル描画するために、図4A、4B、および4Cのリサンプル平面が、それぞれ、図6A、6B、および6Cに示すように、図5Bのデータセット69に載置される。
【0020】
図6Aを参照すると、近似の「w」65画像は、各赤再構成ポイント44およびその関連するリサンプルエリア45によってリサンプリングされる。各入力サンプルエリア61およびリサンプルエリア45の部分的な重なりは、フィルタカーネルの係数を生成する。包含される入力サンプルエリア61に重なる各赤リサンプルエリア45について、関連する入力サンプルポイント60の赤値用のデータは、関連するフィルタカーネル係数によって乗算され、その後、リサンプリングされたデータの残りの結果の残りと加算される。これは、図7に示すディスプレイなどの適した電子カラーディスプレイに対して、先に参照され、同一出願人に所有される出願のいくつかに記載された、他の手段またはメカニズムによっておそらくは修正された出力値として使用される。図6Aに示すように、一部のリサンプルエリア45は、黒「w」65の一部である入力サンプルエリア61、ならびに、背景カラー、通常、白である場合がある、「w」65の一部でない一部の他の入力サンプルエリアに重なる。これは、ディスプレイへの出力として「灰」値をもたらすであろう。図6A、6B、および6Cのリサンプル操作の結果およびその後のディスプレイは図8に示される。理想化された「w」11の輪郭は、比較のために示される。「w」65の未熟な近似のリサンプルのために、図7および図8に示す結果として得られる画像90は、焦点からはずれているか、または、ファジーな品質を有することが留意されるべきである。
【0021】
図11は、カラーサブピクセルを有するディスプレイ上のサブピクセル描画された理想化された画像のこの実施形態を要約するフローチャートを示す。最初に、サブピクセル描画される任意の理想化された画像について、水平および垂直軸の任意所望の数のこうした同所共在的なポイントについて、理想化された画像を近似する画像データが、同所共在的な赤、緑、および青データ点から作成される(ステップ1210)。この画像データセットは、赤、緑、および青リサンプル平面上に載置される(ステップ1220)。フィルタ係数は、たとえば、先に参照され、同一出願人に所有される出願の多くに開示される、適した公式に従って、各所与のカラーサブピクセルについて計算される(ステップ1230)。最後に、サブピクセル描画された画像が、ディスプレイ上に表示される(ステップ1240)。
【0022】
画像の画像品質を改善する1つの方法は、より高解像度の近似を作成することである。たとえば、図9を参照すると、示す画像データセット109の解像度は、69の解像度の2倍である。すなわち、各軸において、同じ全体のデータセットについて、存在するサンプルポイント60および関連する包含されるサンプルエリア61の2倍のサンプルポイント100および関連する包含されるサンプルエリア101が存在する。理想化された「w」キャラクタ11の輪郭は、データセット上に重ね合わされるのが示される。前と同様に、「w」105の近似が作成される。図9の近似は、図5Bの近似65より理想に近いことに留意されたい。
【0023】
図9のデータセット109をサブピクセル描画するために、図4A、4B、および4Cのリサンプル平面は、それぞれ、図10A、10B、および10Cに示すように、図9のデータセット109上に載置される。図10Aを参照すると、近似「w」105画像は、各赤再構成ポイント44およびその関連するリサンプルエリア45によってリサンプリングされる。各入力サンプルエリア61およびリサンプルエリアの部分的な重なりは、フィルタカーネルの係数を生成する。包含される入力サンプルエリア101に重なる各赤リサンプルエリア45について、関連する入力サンプルポント100の赤値用のデータは、以下に示すように、関連するフィルタカーネル係数によって乗算され、
0110 −111−1
1221 または、より鮮鋭な画像の場合、 133 1
1221 133 1
0110 −111−1
その後、リサンプルされたデータの残りの結果の残りと加算される。これは、図7に示すディスプレイなどの適した電子カラーディスプレイに対して、先に参照され、同一出願人に所有される出願のいくつかに記載された、他のアルゴリズム段によっておそらくは修正された出力値として使用される。
【0024】
図11に関して述べた同じ方法に従って、一部のリサンプルエリアは、(1)黒「w」105の一部である入力サンプルエリア101と、背景カラー、通常、白である場合がある、(2)「w」105の一部でない一部の他の入力サンプルエリア101の両方に重なる。これは、ディスプレイへの出力として「灰」値をもたらすであろう。図10A、10B、および10Cのリサンプル操作の結果およびその後のディスプレイは図12に示される。理想化された「w」11の輪郭は、比較のために示される。「w」105の精密な近似のリサンプルのために、図12に示す結果として得られる画像は、やはり焦点からはずれた品質を有するが、図8の画像よりよい。この手法は、水平および垂直軸の画像データポイント数を所望される任意の程度まで増加させることによって、上述したように繰り返され、その後、図11の方法が適用されるであろう。そのため、画像品質は、理想的なキャラクタの近似に対するさらなる改善によってさらに向上する場合がある。しかし、収穫逓減が生ずる可能性が高い。
【0025】
近似を回避し、無限解像度近似を有するかのような結果を与える別の方法は、キャラクタの理想化された輪郭または所望される他の画像を直接サンプリングすることであり、ターゲットディスプレイのリサンプルエリアをサブピクセル描画、従来データセットに対する中間近似の省略を伴う。理想化されたキャラクタ「w」11を直接サブピクセル描画するために、理想化された「w」11の輪郭は、それぞれ、図14A、14B、および14Cに示すように、図4A、4B、および4Cのリサンプル平面上に重ねられる。
【0026】
図14Aを参照すると、理想化された「w」11画像は、各赤再構成ポイント44およびその関連するリサンプルエリア45によってリサンプリングされる。「w」11の各部分およびリサンプルエリア45の部分的な重なりは、フィルタカーネルの係数を生成する。キャラクタエリアに重なる各赤リサンプルエリア45について、キャラクタの赤値用のデータは、部分的な重なりによって乗算され、その後、リサンプリングされたデータの残りの結果の残りと加算される。これは、図1のディスプレイなどの適した電子カラーディスプレイに対して、先に述べたいくつかの特許出願に記載された、他のアルゴリズム段によっておそらくは修正された出力値として使用される。キャラクタ「w」11が黒であると仮定すると、一部のリサンプルエリアは、黒「w」11の一部である入力画像エリア、ならびに、背景カラー、通常、白である場合がある、「w」11の一部でない他の入力サンプルエリアに重なる。これは、ディスプレイへの出力として「灰」値をもたらすであろう。
【0027】
図14A、14B、および14Cのリサンプル操作の結果およびその後のディスプレイは図15に示される。理想化された「w」11の輪郭は、比較のために示される。「w」11のエリアサンプリングのために、図15に示す結果として得られる画像は、やはり非常にわずかに「焦点からはずれた」品質を有するが、図8および図12の画像よりよく、図5Bの近似より一層よい場合がある。
【0028】
図13は、理想化された画像を直接サブピクセル描画する方法を要約する。最初に、理想化された画像が、各カラーサンプル平面上に載置される(ステップ1410)。こうした各カラーサンプル平面について、カーネルまたは係数などのこうしたフィルタ値を計算する任意の適した方法に従って、カラーサンプル平面の各サンプルポイントについてフィルタ値(たとえば、カーネルまたは係数)が計算される(ステップ1420)。各係数について、理想化された画像カラー値のドット行列積を得るのに、フィルタ値が使用される。ドット行列積の結果は、事前にサブピクセル描画された画像として記憶される可能性がある。理想化された画像はまた、ディスプレイ上に描画される可能性がある(ステップ1430)。さらに、計算されたフィルタ値は、理想化された画像を後で描画するため、後で使用し、検索し、送信するために記憶されてもよい。特に、サンプルフィルタ値(カーネルまたは係数)は、理想化された画像の形状を使用する代わりに、理想化された画像を特定のスケールで記述するのに使用される可能性がある。そのため、記憶したサンプルフィルタ値を用いて、異なるカラーのテキストが、異なるカラーの背景に対して描画される可能性がある。
【0029】
知られているサブピクセルアーキテクチャについて、予想される再構成ポイントに合う、適したオフセットサンプルエリアによって、画像またはグラフィックデータセットを直接サンプリングする概念は、当業者に知られているが従来のデータセットについて、非オフセットの、完全に収束する赤、緑、および青サンプリングに従来は限定されていたもの以外の他のサンプリング方法(図5Aに関連して前に述べた)に拡張される可能性がある。たとえば、人工シーンの複雑な3次元(3D)グラフィックスモデルのレイトレース描画では、処理時間を節約するために、スーパーサンプリングされた画像を、部分的にサンプリングするか、または、確率的に(ランダムに)部分的にサンプリングすることが一般的である。これらの方法は、サブピクセル描画されたデータセットを直接作成するための、所与のサブピクセル配置構成に合うオフセットサンプルを使用するために容易に修正されることができる。
[画像データストリームに対して、符号化された事前にサブピクセル描画されたデータ]
画像のサブピクセル描画は、図7に述べた方法で処理され、即座に表示されることができるが、後で表示するために、サブピクセル描画後に画像を記憶することが望ましいことがある。直接の第2データ経路85の代わりに、サブピクセル描画手段70と電子ディスプレイ10の間に記憶および/または送信手段が挿入されてもよい。サブピクセル描画操作後の画像の記憶および送信は、従来のデータセットを記憶し、送信し、その後、所望のサブピクセル描画ルーチンを実施するよりも利点を有する。たとえば、サブピクセル描画されたデータセットは、それを生成した従来の画像データセットの記憶空間および/または送信帯域幅に比べて半分またはさらにそれより少ない量を必要とする場合がある。こうして作成され、記憶され、かつ/または、送信されたサブピクセル描画されたデータセットは、「事前にサブピクセル描画された画像」として規定される。
【0030】
事前にサブピクセル描画された画像の記憶および送信の別の利点は、画像データセットのサブピクセル描画手段を含まないことによって、表示デバイスが、あまり費用がかからなくすることができることである場合がある。たとえば、分散システムでの使用においてその多くが存在する複数のデバイスが、単一ソースから事前にサブピクセル描画された画像を受け取る場合がある。こうしたデバイスおよびシステムは、1つの送信機および多くの受信機を有する広帯域テレビシステムを備えてもよい。別のデバイスは、家庭内の単一のコンピュータまたはビデオ再生機であってよく、1つまたは複数の遠隔電子表示デバイスが、送信された事前にサブピクセル描画された画像を受け取る。他のシステムは、当業者が容易に思いつくであろう。
【0031】
図16Aで表すような従来のデータセットを参照して、事前にサブピクセル描画された画像データセットを作成するプロセスの検討が説明される。従来の画像データセット1709は、包含されるサンプルエリア1701につき、赤1704、緑1706、および青データ値1702を表す。従来のデータセットとフィルタカーネルの行列ドット積を計算して、図16Bに示す、新しい赤1714、緑1716、および青1712を有する、新しいデータセット1719を生成するために、図6A、6B、および6Cに関連して先に述べたように、サンプルとリサンプルエリアの重なりによってフィルタカーネルが生成される。
【0032】
図16Bは、このデータセット1719が、元のデータセット1709にマッピングされる相対配置を示す。元のデータセット1709から「抜けているポイント」が存在することに留意されたい。新しいデータセット1719は、図7の第2データ経路85を介して直接に、電子ディスプレイに渡されてもよい。あるいは、新しいデータセット1719は、電子ディスプレイへ後で送出するための事前にサブピクセル描画された画像として、図7に示すサブピクセル描画手段70におそらく関連する、適した媒体71に記憶されてもよい。
【0033】
サブピクセル描画されたデータセット1719は、「従来ピクセル」17010当たり、3つのサンプル、赤1714、緑1716、および青1714サンプルを有するが、図1の表示デバイスなどの電子表示デバイスの列ドライバに対して直接配信を可能にするサンプル順序を使用する限りにおいて、図16Cは、サブピクセル描画されたデータセット1719が、従来のデータセットフォーマットを模擬する、より小さくコンパクトなデータセット17190に圧縮することができる方法を示す。サブピクセル描画されたデータセット17190は、従来のデータセット1709のメモリ記憶の半分を使用するが、図1のディスプレイなどの電子ディスプレイ上で示されると、同じ画像を表すことが留意されるべきである。図1のディスプレイなどの電子ディスプレイは、事前にサブピクセル描画されたデータセット17190を受け取ると、電子ディスプレイは、さらなる処理を必要とすることなく、データセットを直接表示してもよい。
【0034】
カラー成分の同一性の知識を全く必要としないが、デジタルデータを損失無しで圧縮する画像圧縮技法が、図16Cの、列ドライバによって順序付けられた、事前にサブピクセル描画されたデータセット17190に適用されてもよい。たとえば、「.PNG」およびグラフィックインターチェンジフォーマット(「.GIF」)などの、カラー索引付け圧縮方式は、カラー成分割り当てを「知る」必要がなく、従来の「ピクセル」17010当たり、限られた数のデータ値が存在することが多いことに単に留意し、画像圧縮のためにデータ値を索引付けする。解凍すると、元の、列ドライバによって順序付けされた、事前にサブピクセル描画されたデータセット17190が、不変のまま回復される。
【0035】
一部の状況では、各「ピクセル」17010におけるカラーサンプルデータ順序を使用することによって、事前にサブピクセル描画されたデータセットに、従来のデータセットを一層よく真似るようにさせることが望ましい場合がある。図16Dを参照すると、各「ピクセル」17010のカラーサンプルデータは、赤、緑、および青の従来のデータセット順序である。データセット17191の各「ピクセル」17010についてのデータサンプルは、図16Cの列ドライバによって順序付けされたデータセット17190の対応する「ピクセル」17010のデータサンプルと同じである。従来の順序を使用することは、各サンプルロケーションが、どのカラー成分にマッピングされるかを知ることを必要とする、従来のデータセットに対して使用される一部のアルゴリズムによって、事前にサブピクセル描画されたデータセットが、さらに処理されることを可能にする。
【0036】
たとえば、JPEG画像圧縮で使用される離散余弦変換(DCT)またはJPEG2000画像圧縮で使用されるウェーブレット変換などの、各カラー成分内での変換を使用する圧縮アルゴリズムは、この知識を必要とする。ルミナンスおよびクロミナンス成分YCBCRを分離する空間などの、他のカラー空間へのフォーマット変換もまた、この従来のカラーサンプル順序を必要とする場合がある。しかし、画像を事前にサブピクセル描画する時に、ルミナンス情報の多くが、クロミナンスチャネルとなって現れるものに転送されているため、圧縮アルゴリズムを、強制的にクロミナンス成分をサブサンプリングしないようにすることが最良である場合がある。図16Dの、従来通り順序付けされた、事前にサブピクセル描画されたデータセット17191は、その後、圧縮されるか、または、変換され、記憶され、かつ/または、送信され、受信され、かつ/または、検索され、解凍されるか、または、再変換されて、従来通り順序付けされたRGBカラー空間に戻され、最後に、再順序付けされ、図16Cの、列によって順序付けされた、事前にサブピクセル描画されたデータセット17190に戻されて、図1のディスプレイなどの電子ディスプレイ10上に表示される。
【0037】
図20は、事前サブピクセル描画システムまたはアルゴリズムを組み込むことができ、1つまたは多くの可能な異なるクライアントへ出力する、複数の使用およびシステムを示す。1つの可能な実施形態では、サブピクセル描画システム/エンコ−ダは、1つまたは多くの画像データソース、たとえば、カメラ2120によって取り込まれたソース画像2110、または、完全にコンピュータによって生成された画像2130、または、両方の組み合わせを入力することができるヘッドエンド2140の一部として使用されるであろう。カメラ2120は、アナログ記録媒体またはデジタル記録媒体を含むであろう。カメラ2120が、デジタル符号化媒体を採用する場合、全体のシステムは、その画像データストリームを受け取る表示デバイス(たとえば、TV、モニタ、携帯電話など)のサブピクセル配置構成に実質的に合うと思われるカメラのイメージング部分について、サブピクセル反復配置構成を選択することによって、最適化されるであろう。
【0038】
ヘッドエンド2140は、ソース入力画像データを受け取り、本明細書、または、先に参照され、同一出願人に所有される出願に述べたサブピクセル描画ルーチンを実施するであろう。ソース画像データが描画されると、ヘッドエンド2140は、多数の宛先通信媒体を通じて任意の数の宛先ディスプレイへこのデータを出力するであろう。図20は、これらの使用の一部を表すだけであり、網羅的であることを意味しない。たとえば(また、以下でより詳細に説明するように)、出力されるサブピクセル描画されたデータは、無線またはケーブル媒体を介してTV2160へ、ディスプレイ2172およびおそらくそれ自身のカメラ2174を有する携帯電話(または電話)2170へ(その場合、電話2170は、電話またはヘッドエンドにおいて、サブピクセル描画されて戻される画像情報のソースであるであろう)、または、以下でさらに述べる、通信経路2184および2186を有するインターネット2180(または、他のネットワーク接続)を介してコンピュータ2182上で実行されるウェブブラウザへ送出されるであろう。
【0039】
事前にサブピクセル描画された画像を用いて容易に改善することができるシステムの1つの例は、一般に、「ウェブブラウザ」として知られるインターネット文書検索および表示である。ウェブブラウザは、通常、ディスプレイの解像度に関する一定の情報をウェブサーバに報告する。ウェブ設計者は、これを利用して、スクリーンの解像度に合うグラフィックを供給する可能性がある。ブラウザの別の特徴は「クッキー」である。サーバベースのアプリケーションが、ブラウザの個々のユーザを認識することを可能にするために、クッキーによって、ウェブサーバは、サーバまたは別のサーバが読み取ることができる情報を、ブラウザ上に置くことができる。ブラウザは、おそらく、クッキーまたは任意の他の知られている方法によって、ユーザのパネルがどんなサブピクセル構造であるかを指示してもよい。指示されると、サーバは、ユーザのパネルに合うグラフィックを送出する。クッキーが指示する場合、サーバは、さらにサブピクセル描画することなく直接表示するために、事前にサブピクセル描画された画像をブラウザへ送出してもよい。
【0040】
実際、サイトが、サブピクセル描画技術を使用し、サーファに、そのディスプレイを「チューンアップ」するように促すことを指示するロゴを含むウェブサイトを、ウェブ「サーファ」はダウンロードしてもよい。これは、一連のウェブページおよびCGIコードを含むウェブサイトにリンクし、ウェブサイトは、ユーザにディスプレイのタイプに関する一連の質問にユーザを導き、ユーザが、発見的プロセスを完全には理解することなく、ディスプレイのタイプ、アーキテクチャ、およびガンマを決定することを可能にする試験パターンをユーザに観察するように求める。それから、クッキーがブラウザ上に置かれる。事前のサブピクセル描画を使用するウェブサイトを後で訪れると、サーバは、帯域幅を最低にして視覚性能を最良にするために、どのグラフィックを送出すべきかを決定するためにクッキーを照会し、所望の画像を送出するのに必要とされるインターネットパケット数が低減される。
【0041】
ブラウザおよびオペレーティングシステムは、事前にサブピクセル描画された画像を検出すると、予約された文書接尾語拡張子に注目することによって、さらなるサブピクセル描画することなく、事前にサブピクセル描画された画像を直接ディスプレイに送出するであろう。画像は、図16Cの、列によって順序付けされた17190フォーマットか、図16Dの、従来通りに順序付けされた、事前にサブピクセル描画されたデータセット17191フォーマットのいずれかにある。画像が、損失無しまたは損失有りの適切な圧縮アルゴリズムによってさらに圧縮されてもよい。ブラウザは、その後、受信されたデータを処理する、すなわち、各特定の状況について必要である場合に、解凍し、再順序付けを行うであろう。事前にサブピクセル描画されたデータセットは、以下にさらに述べるように設定された従来のデータセット内に埋め込まれてもよい。
【0042】
このプロセスは、図20に関してさらに説明される。コンピュータシステム2182上で動作するユーザのウェブブラウザは、事前にサブピクセル描画された画像データを画像データストリーム内に埋め込むことが可能な、ヘッドエンド2140を通してウェブサイトとの通信をダウンロードする/要求する。ウェブサイトは、(1)コンピューティングシステム2182上で、ユーザのディスプレイに関する情報に関するクッキーを照会するか、または、(2)コンピューティングシステム2182上の能力を決定するために、一連のディスプレイ試験を行うようにプロンプト表示によりユーザに指示してもよい。ウェブサイトによって得られた情報に応じて、ユーザのディスプレイおよび/またはオペレーティングシステムが、ストリーム中に事前にサブピクセル描画された画像データを検出することができる場合(そして、画像データを効率的に処理できる場合)、ウェブサイトは、埋め込まれた、事前サブピクセル描画されたデータを有する画像データをユーザに送出する。
【0043】
事前サブピクセル描画されたデータを、従来の画像データセット内に埋め込むことが有利である場合がある。こうした従来の画像データセットは、埋め込まれた、事前サブピクセル描画された画像を認識し、それを適切に抽出し、表示する手段を有する表示デバイスに達するまで、従来システムによって従来方法で、記憶され、送信されてもよい。1つのこうした実施形態は図16Eに示される。従来通りに順序付けされた画像データセット1729は、包含されるサンプルエリア1701当たり、赤1704、緑1706、および青データ値1702を表す。しかし、このデータセットは2つのデータサブセットを有する。サブセットのうちの少なくとも1つは、事前にサブピクセル描画された画像データを表す。他のデータセットは、他の情報を表すか、または、第2の事前にサブピクセル描画されたデータセットを表してもよい。1つのデータセットは、都合上、ここでは、肉太でかつ下線テキストで示される、赤1714、緑1716、および青データ1712によって規定される。他のデータセットは、都合上、ここでは、平易テキストで示される、赤1724、緑1726、および青データ1722によって規定される。2つのデータセットは、同じ形を有し、特に、従来のデータセットグループ当たりの1つの赤または緑は、データサブセットのメンバである。サブセットの赤および緑メンバは、従来のデータセットグループについて交互になり、たとえば、図1、2、および3または本明細書に述べる配置構成の任意のものに述べられるように、サブピクセル配置構成の赤/緑格子縞模様を反映する。
【0044】
1つの実施形態では、2つの事前にサブピクセル描画された画像は、互いに並んで従来の画像データセット内に埋め込まれることができる。これらは、同じ元の画像から事前にサブピクセル描画されてもよく、従来データセットの各カラーポイントは、そのロケーションを中心とする論理ピクセルについてサブピクセル描画されたデータを表す。これによって、データ抽出間引き機能を有するシステムが、データを適切なカラーへシフトすることなく、任意のポイントにおいて、図1のパネルなどの表示パネル上に画像を直接表示することが可能になる。別の実施形態では、2つの画像は、無関係であってよく、圧縮をより大きくするために、画像をパッキングすることが可能になる。画像は、ビデオ用などの、一連の中の2つの画像であってよい。あるいは、画像は、ステレオ対、すなわち、同じシーンではあるが、ポイントの異なる2つの画像であってよい。
【0045】
さらに別の実施形態では、データセットは、サブピクセル描画された画像である1つのサブセットを有してもよく、一方、他のサブセットは、元の画像のサブセットである。事前にサブピクセル描画された画像サブセットは、その位置のみにおいて元のデータを置き換えるが、元の残りは不変である。本発明のこの態様の1つの使用は、テレビ放送またはビデオ記憶のためにビデオを符号化するためにあり、それによって、画像は、図1のパネルなどの表示パネル上では大きく見えるが、後方互換性のために完全な従来データセットを用いた、CRTまたは他のパネル、たとえば、RGBストライプ式ディスプレイ上ではそれでも「大丈夫」に見える。
【0046】
1つの実施形態では、事前にサブピクセル描画された画像は、図1のパネルなどのパネル上に直接表示される時に色エイリアシングが全く発生しない(または、最小になる)ことを確実にするために、対角線における高空間周波数を制限するように効率的にフィルタリングされるであろう。しかし、サブピクセル描画されたデータセットと元の従来画像の半分の両方とが組み合わされた、全データセット1729は、画像品質の損失が非常に小さい状態で、従来ディスプレイ上に表示されるであろう。この前処理は、放送されるか、または、記録された、事前にサブピクセル描画されたプログラム素材を再生することができる低コストテレビセットを可能にすることになり、事前にサブピクセル描画されることは、費用のかかるサブピクセル描画チップを必要としない。前もって行われる前処理は、マスタリング工程で1度だけ行われるが、一部の製品のローカルな処理にはおそらく費用がかかり過ぎる、非常に精巧なアルゴリズムである場合があり、販売された数百万のビデオ記録にわたって償却される。
【0047】
上述のように、こうした混合データセット1729を作成する方法は、図16Aで表すような従来データセット1709で始まる場合がある。従来画像データセット1709は、包含されるサンプルエリア1701当たり、赤1704、緑1706、および青データ値1702を表す。そのため、本発明者等は、新しい赤1714、緑1716、および青1712データポイントを有する、図16Bに示す新しいデータセット1719を生成するために、図6A、6B、および6Cに関連して先に述べたように、サンプルエリアとリサンプルエリアの重なりによって生成されるフィルタカーネルを用いて、従来データセットとフィルタカーネルの行列ドッド積が計算される。
【0048】
図16Bを参照すると、このデータセット1719が、元のデータセット1709にマッピングされる相対配置である。元のデータセット1709から「抜けているポイント」が存在することが留意されるべきである。これらの抜けているポイントは、元の従来データセット1709から供給される。しかし、最初に、全ての偶数行の青サンプルポイント1712は、右に1つの「ピクセル」1701だけ移動する。こうして、抜けているポイントは、図16Bのサブピクセル描画されたデータセット1719の「ピクセル」1701を、従来データセット1709のピクセル1701にマッピングすることによって満たされ、それによって、図16Bの任意の「抜けている」カラーポイントは、図16Aの従来画像データセット1709からのカラーサンプルポイントで満たされて、図16Eの満たされた、混合データセット1729が作成される。
【0049】
ここで、従来の画像データセットフォーマット1729から、事前にサブピクセル描画されたデータサブセット1719を抽出する1つの実施形態が開示される。図17A、17B、および17Cを参照すると、図4A、4B、および4Cのリサンプル平面は、それぞれ、図16Eのデータセット1729上に載置される。図17Aにて、各赤リサンプルエリア45は、包含されるサンプルエリア「ピクセル」1701の1つに完全に重なる。事前にサブピクセル描画されたデータセットが存在することを知って、赤データポイント1714が、関連する赤再構成ポイント44についての出力値として使用される、簡単なデータ抽出および間引きのために、通常のサブピクセル描画アルゴリズムは中止される。全ての他の入力データサンプルが無視される。同様な操作は、図17Bに示す緑データ平面および図17Cに示す青データ平面について実施される。
【0050】
図17Cの「青」リサンプル操作はまた、先に組み込まれた特許出願に記載されるサブピクセル描画アルゴリズムの代わりに、図2および図3の4カラーサブピクセル配置構成について、事前にサブピクセル描画されたデータ値を抽出するのに使用されてもよい。さらに、事前にサブピクセル描画された画像はまた、対角線方向に隣接する「ピクセル」1701から得られる値からの青データ1712の2つの値を平均することによって、図20に示すディスプレイなどの電子ディスプレイ上に表示されてもよい。さらに、ディスプレイもまた、図21および図22に示す配置構成などのサブピクセル配置構成を有してもよい。図21のサブピクセル配置構成は、先に参照した‘232号出願にさらに開示される。さらに、事前にサブピクセル描画された画像はまた、‘232号出願に最初に示されるサブピクセル配置構成の変形形態である、図22に示すサブピクセル配置構成から導出されるジグザグ配置のリサンプルエリアからではあるが、対角線方向に隣接する「ピクセル」1701から得られる値からの青データ1712の2つの値を平均することによって、図20に示すディスプレイなどの電子ディスプレイ上に表示されてもよい。
【0051】
本発明の別の実施形態では、事前にサブピクセル描画された画像サブセットおよび/または従来画像サブセットは、サブピクセル描画システムおよび/またはアルゴリズムが認識することになる「透かし」を、普通に見える画像内に埋め込んでいる場合がある。サブピクセル描画システムが、透かしの存在を検出する時、サブピクセル描画システムは、画像のサブセットが、さらなるフィルタリング無しで抽出され、表示されることができる事前にサブピクセル描画された画像であることを知る。透かしは、ステノグラフ的に隠蔽されたデータ、すなわち、人閲覧者によっては知覚的に区別できないが、当業者によく知られている技術のような機械装置によって認識可能であるデータ改変である場合がある。
【0052】
本発明のさらに別の実施形態では、事前にサブピクセル描画された画像サブセットは、周囲の他のデータセット内に埋め込まれ、事前にサブピクセル描画されたデータとして第1データセットを識別するための所定のカラーキーを有する。他の部分の描画を維持しながら、所与の被表示画像内のある部分または要素を高品質で描画することが望ましい多くの場合が存在する。たとえば、テキストが、写真より高品質でサブピクセル描画されてもよい。そのため、一実施形態は、2つのタイプの画像要素の検出および適した異なる処置を可能にする方法で、画像の事前にサブピクセル描画された部分が、画像の事前にサブピクセル描画されない部分と混合されることを可能にするシステムおよび方法を提供する。
【0053】
図18を参照すると、従来画像データセット1909は、埋め込まれた、事前にサブピクセル描画された画像データセット1919を囲む。事前にサブピクセル描画された画像データセットは、赤1914、緑1916、および青1912サンプルポイントを含む。他のデータサブセットは、所定のクロマ・キーを含み、赤1924サンプルポイントは「65」の数のデータ値を有し、緑1926サンプルポイントは「27」の数のデータ値を有し、青1922サンプルポイントは「207」の数のデータ値を有する。所定のカラーの存在は、他のデータサブセットが、事前にサブピクセル描画されたデータであり、直接、抽出され、表示されてもよいことを指示する。
【0054】
カラーキー用の値の選択は、半ば任意である。カラー値は、統計的に、有効な画像データでありそうにない値であるように選択される場合がある。図18の例で選択された値は、ありそうにない値であってもよい。2つのRGBトリプレット内での、カラーキー値および事前にサブピクセル描画されたデータのマッピングはまた、半ば任意である。図18に示す順序は、緑カラーキー値1926を有する、同じピクセル内の事前のサブピクセル赤および青値1914および1912、同様に、緑の事前のサブピクセル値1916と同じピクセル内の赤および青カラーキー値1924および1922を示す。たとえば、ハードウェアで検出するのがより容易になる、他の再マッピングが利点を有する場合があり、順序は全て、本明細書で開示される実施態様および実施形態によって実施されることが可能である。このマッピング順序の2つの他の好ましい実施形態は、図25A〜25Dおよび図26A〜26Cに関連して後で述べられる。
【0055】
ここで、従来画像データセットを調べ、従来画像データセットフォーマットから事前にサブピクセル描画されたデータを抽出するシステムおよび方法が開示される。図19A、19B、および19Cを参照すると、図4A、4B、および4Cのリサンプル平面は、それぞれ、図18のデータセットに重なる。事前にサブピクセル描画されたデータサブセット1919内の、包含されるサンプルエリアに載置されるリサンプルエリアを示すために、図19Bのリサンプルエリアの1つは、リサンプルエリア1928として図18に示される。図19Aでは、各赤リサンプルエリア45は、包含されるサンプルエリア1901の1つに完全に重なり、いくつかの他のエリアに部分的に重なる。これは、たとえば、リサンプルエリア1928内の従来画像データを抽出する時に、事前にサブピクセル描画されたデータサブセット1919の縁部において問題となる。完全に重なった、包含されたサンプルエリア1901内の赤データが、事前にサブピクセル描画されたデータサブセット1919内の事前にサブピクセル描画された画像の一部であるため、これがそうかどうかを判定する試験が実施される。たとえば、サブピクセル描画システムは、完全に重なった、包含されたサンプルエリア1901の緑1926値、隣接サンプルポイントの赤1924および青1922値を調べる。これらの値は、決定のために、カラーキー値と比較される。
【0056】
このプロセスは、費用のかかるルックアヘッド方法を必要とし、また、周囲のデータセットが、埋め込まれた事前にサブピクセル描画された画像の縁部の存在があるかを完全には試験されていない場合、従来画像データセット1909から画像を抽出する時に、事前にサブピクセル描画されたデータサブセット1919において無効値を使用する場合があるため、複雑である。無効値は、従来画像データセット1909の画像用の値ではなく、事前にサブピクセル描画された画像のカラーキー値である。代替の技法は、種々のサブピクセル配置構成レイアウトについて図26A〜26CおよびA27A〜27Dで述べられ、共に、「抜けている」データポイントを置き換えるための有効データの必要とされる複製に加えて、従来画像データセットに埋め込まれた、事前にサブピクセル描画されたデータセットにおいて無効値を使用すること、および、以下で述べる、より費用がかかり、かつ、広範囲な試験を回避する。
【0057】
偽を正と検出する可能性をさらに減らすために、周囲のいくつかの赤および青値1924および1922がポーリングされてもよい。これらの周囲の値の2つ以上が、カラーキー値に合う場合、事前にサブピクセル描画された画像データの存在が確認される。万一、データがカラーキーの存在を指示する場合、サブピクセル描画手段は、その時、これが事前にサブピクセル描画されたデータポイントであることを知る。事前にサブピクセル描画されたデータセットが存在することを知って、赤データポイント1914が、関連する赤再構成ポイント44についての出力値として使用される、簡単なデータ抽出のために、通常のサブピクセル描画アルゴリズムは中止される。カラーキーデータ値が間引きされる(廃棄される)。周辺のサンプルデータポイントがカラーキーに合わない場合、通常のサブピクセル描画アルゴリズムが実行される。同様な操作は、図19Bに示す緑データ平面および図19Cに示す青データ平面について実施される。
【0058】
従来データおよび事前にサブピクセル描画された画像データの境界において、部分的に重なるカラーキーサンプルポイントを無視するために、通常のサブピクセル描画アルゴリズムが修正される。完全に重なり、中心にある、包含された入力サンプル内にある値は、抜けているデータポイント値を満たすのに使用され、サブピクセル描画アルゴリズムのための通常の方法で処理される。
【0059】
別の代替の実施形態は、図24Aに示すサブピクセル配置構成2510である。この配置構成は、‘352号出願でさらに開示される。サブピクセル反復配置構成2518は、4つの緑サブピクセル2516を備え、2つの赤2512および2つの青2514サブピクセルは、緑サブピクセルを挟んだ状態で格子縞模様パターンを形成する。図24Bは、図24Aのサブピクセル配置構成についての再構成ポイントおよび関連するリサンプルエリア2520の1つの可能性のあるセットを示す。図24Aの配置構成2510は、反復セル2518あたり4つの緑サブピクセル2516を有するため、図18の事前にサブピクセル描画されたデータサブセット1919は、十分な、サブピクセル描画された緑のデータポイント1916を供給しない。
【0060】
図25Aを参照すると、従来画像データセット2609は、埋め込まれた、事前にサブピクセル描画された画像データセット2619を囲む。事前にサブピクセル描画された画像データセットは、赤2614、緑2616、および青2612サンプルポイントを含む。他のデータサブセットは、所定のカラーキーを含み、赤2624サンプルポイントは「65」の数のデータ値を有し、青2622サンプルポイントは「207」の数のデータ値を有する。所定のカラーの存在は、他のデータサブセットが、事前にサブピクセル描画されたデータであり、直接、抽出され、表示されてもよいことを指示する。この事前にサブピクセル描画された画像データセット2619は、図24Aのサブピクセル2510に合う、適切な数およびマッピングされた位置を有する。
【0061】
ここで、従来画像データセットフォーマット2609から、事前にサブピクセル描画されたデータサブセット2619を抽出する1つの実施形態が開示される。図25B、25C、および25Dを参照すると、図24Bの赤、青、および緑リサンプル平面は、それぞれ、図25Aのデータセット2609上に載置される。事前にサブピクセル描画されたデータサブセット2619内の包含されたサンプルエリアに重なるリサンプルエリアを示すために、図25Dのリサンプルエリアの1つは、リサンプルエリア2628として図25Aに示される。図25Bにて、各赤リサンプルエリア45は、包含されるサンプルエリア「ピクセル」1701の1つに完全に重なり、いくつかの他のエリアに部分的に重なる。先に述べたように、これは、たとえば、リサンプルエリア2628内の従来画像データを抽出する時に、事前にサブピクセル描画されたデータサブセット2619の縁部において問題となる。完全に重なった、包含されたサンプルエリア1701内の赤データが、事前にサブピクセル描画されたデータサブセット2619内の事前にサブピクセル描画された画像の一部である可能性が存在するため、これがそうかどうかを判定する試験が実施される。たとえば、サブピクセル描画システムは、完全に重なった、包含されたサンプルエリア1701の青2622データポイント値を調べ、決定のために、カラーキー値と比較する。
【0062】
このプロセスは、複雑であり、従来画像データセット2609から画像を抽出する時に、事前にサブピクセル描画されたデータサブセット2619において無効値を使用するという、図18で述べたのと同じ問題を有する。無効値は、従来画像データセット2609の画像用の値ではなく、事前にサブピクセル描画された画像のカラーキー値である。以下で述べるように、図26A〜26Cおよび図27A〜27Dは、より複雑なカラーキー検出および有効データ複製工程を回避しながら、従来画像データセットに埋め込まれた事前にサブピクセル描画されたデータサブセットにおいて無効値を使用することを回避する、種々のサブピクセル配置構成レイアウトについての画像処理技法を示す。
【0063】
偽を正と検出する可能性をさらに減らすために、周囲の赤2624値がポーリングされてもよい。これらの赤2624値の2つ以上が、カラーキー値に合う場合、事前にサブピクセル描画された画像データの存在が確認される。万一、データがカラーキーの存在を指示する場合、サブピクセル描画手段は、その時、これが事前にサブピクセル描画されたデータポイントであることを知る。事前にサブピクセル描画されたデータセットが存在することを知って、赤データポイント2614が、関連する赤再構成ポイント44についての出力値として使用される、簡単なデータ抽出のために、通常のサブピクセル描画アルゴリズムは中止される。カラーキーデータ値が間引きされる(廃棄される)。周囲のサンプルデータポイントがカラーキーに合わない場合、通常のサブピクセル描画アルゴリズムが実行される。同様な操作は、図25Cに示す青データ平面および図25Dに示す緑データ平面について実施される。
【0064】
従来データおよび事前にサブピクセル描画された画像データの境界において、部分的に重なるカラーキーサンプルポイントを無視するために、通常のサブピクセル描画アルゴリズムが修正される。完全に重なり、中心にある、包含された入力サンプル内にある値は、抜けているデータポイント値を満たすのに使用され、サブピクセル描画アルゴリズムのための通常の方法で処理される。
【0065】
図26Aを参照すると、従来画像データセット2709は、埋め込まれた、事前にサブピクセル描画された画像データセット2719を囲む。事前にサブピクセル描画された画像データセット2719についてのサブピクセル配置構成は、赤サンプルポイントと赤カラーキー、ならびに、青サンプルポイントと青カラーキーが交換されていることを除いて、図25Aの事前にサブピクセル描画された画像データセット2619と同じである。たとえば、事前にサブピクセル描画された画像データセット2619の1つおきの列の値は、事前にサブピクセル描画された画像データセット2719において交換される。事前にサブピクセル描画された画像データセットは、赤2714、緑2716、および青2712サンプルポイントを含む。他のデータサブセットは、所定のカラーキーを含み、赤2724サンプルポイントは「65」の数のデータ値を有し、青2722サンプルポイントは「207」の数のデータ値を有する。図25Aと対照的に、図26Aでは、赤の数値「65」は赤のサンプルポイントと交換され、青の数値「207」は青のサンプルポイントと交換されている。所定のカラーの存在は、他のデータサブセットが、事前にサブピクセル描画されたデータであり、直接、抽出され、表示されてもよいことを指示する。この事前にサブピクセル描画された画像データセット2719は、図25Aの事前にサブピクセル描画されたデータセット2619からの同じ数であるが、再マッピングされた位置を有することが留意されるべきである。再マッピングされた赤および青データポイントならびにカラーキーは、簡略化された検出方法を可能にし、埋め込まれた、事前にサブピクセル描画されたデータセットを検出し、適切に処理する手段を含むサブピクセル描画手段の複雑さおよびコストが低減される。
【0066】
ここで、従来画像データセットフォーマット2709から、代替の事前にサブピクセル描画されたデータサブセット2719を抽出する1つの実施形態が開示される。図26Bおよび図26Cを参照すると、図24Bの赤および青リサンプル平面は、それぞれ、図26Aのデータセット2709上に載置される。事前にサブピクセル描画されたデータサブセット2719内の包含されたサンプルエリアに重なるリサンプルエリアを示すために、図26Cのリサンプルエリアの1つは、リサンプルエリア2728として図26Aに示される。図26Bにて、各赤リサンプルエリア45は、包含されるサンプルエリア「ピクセル」1701の1つに完全に重なり、いくつかの他のエリアに部分的に重なる。完全に重なった、包含されたサンプルエリア1701内の赤データが、事前にサブピクセル描画されたデータサブセット2619内の事前にサブピクセル描画された画像の一部である可能性が存在するため、これがそうかどうかを判定する試験が実施される。サブピクセル描画システムは、最初に、完全に重なった、包含されたサンプルエリア1701の赤2724データポイント値を調べ、決定のために、カラーキー値と比較する。赤のカラーキー「65」が事前にサブピクセル描画されたデータサブセット2719内に存在するため、試験の結果はこれがカラーキーの一部であることを示し、周囲値にツィする更なる試験が求められる。
【0067】
偽を正と検出する可能性をさらに減らすために、周囲の青値2722値がポーリングされてもよい。これらの青2722値の2つ以上が、カラーキー値に合う場合、事前にサブピクセル描画された画像データの存在が確認される。万一、データがカラーキーの存在を指示する場合、サブピクセル描画手段は、その時、これが事前にサブピクセル描画されたデータポイントであることを知る。事前にサブピクセル描画されたデータセットが存在することを知って、赤データポイント2714が、関連する赤再構成ポイント44についての出力値として使用される、簡単なデータ抽出のために、通常のサブピクセル描画アルゴリズムは中止される。関連する赤の事前にサブピクセル描画されたデータサンプルが、奇数行上を右に、1つのピクセル1701だけシフトされ、偶数行上を左に1つのピクセルだけシフトされることに留意されたい。カラーキーデータ値が間引きされる(廃棄される)。サンプルデータポイントがカラーキーに合わない場合、通常のサブピクセル描画アルゴリズムが実行される。同様な操作は、図27Bに示す青データ平面について実施される。ここで、しかし、青の事前にサブピクセル描画されたサンプル2712は、赤の事前にサブピクセル描画されたサンプル2714に対して起こるシフトとは反対に、奇数行上を左に、1つのピクセル1701だけシフトされ、偶数行上を右に1つのピクセル1701だけシフトされる。
【0068】
従来データおよび事前にサブピクセル描画された画像データの境界において、事前にサブピクセル描画されたデ−タポイントが、誤差があっても非常に小さい誤差を有するサブピクセル描画されないデータポイントと置き換えることができるため、通常のサブピクセル描画アルゴリズムは、サブピクセル描画アルゴリズムのための通常の方法で処理される。つまり、重なったデータポイントが通常の方法で処理されてもよいことを知るためには最初の1回の試験のみでよい、すなわちカラーキーについての中心自己カラーの試験のみでよいため、再マッピングされた事前にサブピクセル描画された画像データセット2719は検出器を簡略化する。最初のカラーキー値が、合っていると判定される場合にのみ、任意の他の値が、次々と試験される必要がある。さらに、その中心値に対する一致が存在しない場合、エリアリサンプルエリアが、事前にサブピクセル描画されたデータに重なることになっても、有効データが全ての重なったエリア内に存在するため、通常のサブピクセル描画操作が実施されてもよい。
【0069】
図26Aに示す、上記「交換」技法は、図25Aの事前にサブピクセル描画された画像データサブセット2619と比較して、事前にサブピクセル描画された画像データサブセット2719内部で赤および緑格子縞模様パターンを実質的に反転する。こうして、抽出プロセスは、事前にサブピクセル描画された画像データサブセット内部の「無効データ」の代わりに、適度の値を見出すことを保証する。結果として、図25Aに述べる試験は、回避される可能性があり、それによって、処理時間が節約される。
【0070】
図27Aを参照すると、従来画像データセット2809は、埋め込まれた、事前にサブピクセル描画された画像データセット2819を囲む。事前にサブピクセル描画された画像データセット2819についてのサブピクセル配置構成は、赤サンプルポイントと赤カラーキー、ならびに、緑サンプルポイントと緑カラーキーが交換されていることを除いて、図18の事前にサブピクセル描画された画像データサブセット1919と同じである。事前にサブピクセル描画された画像データセットは、赤2814、緑2816、および青2812サンプルポイントを含む。他のデータサブセットは、所定のカラーキーを含み、赤2824サンプルポイントは「65」の数のデータ値を有し、緑2826サンプルポイントは「27」の数のデータ値を有し、青2822サンプルポイントは「207」の数のデータ値を有する。図18と対照的に、図27Aでは、赤の数値「65」は赤のサンプルポイントと交換され、緑の数値「27」は緑のサンプルポイントと交換されている。所定のカラーの存在は、他のデータサブセットが、事前にサブピクセル描画されたデータであり、直接、抽出され、表示されてもよいことを指示する。この事前にサブピクセル描画された画像データセット2819は、図18の事前にサブピクセル描画されたデータセット1919からの同じ数であるが、再マッピングされた位置を有することに留意されたい。再マッピングされた赤および緑データポイントならびにカラーキーは、簡略化された検出方法を可能にし、埋め込まれた、事前にサブピクセル描画されたデータセットを検出し、適切に処理する手段を含むサブピクセル描画手段の複雑さおよびコストが低減される。
【0071】
ここで、従来画像データセットフォーマット2809から、代替の事前にサブピクセル描画されたデータサブセット2819を抽出する1つの実施形態が開示される。図27B、27C、および図27Dを参照すると、図4A、4B、および4Cの赤、緑、および青リサンプル平面は、それぞれ、図27Aのデータセット2809上に載置される。事前にサブピクセル描画されたデータサブセット2819内の包含されたサンプルエリアに重なるリサンプルエリアを示すために、図27Cのリサンプルエリアの1つは、リサンプルエリア2828として図27Aに示される。図27Bでは、各赤リサンプルエリア45は、包含されるサンプルエリア「ピクセル」1701の1つに完全に重なり、いくつかの他のエリアに部分的に重なる。完全に重なった、包含されたサンプルエリア1701内の赤データが、事前にサブピクセル描画された画像の一部である可能性が存在するため、これがそうかどうかを判定する試験が実施される。サブピクセル描画システムは、最初に、完全に重なった、包含されたサンプルエリア1701の赤2824データポイント値を調べ、決定のために、カラーキー値と比較する。赤カラーキー「65」が、事前にサブピクセル描画されたデータサブセット2819内に存在するため、試験は、これが、カラーキーの一部であることを示唆し、周辺値に対するさらなる試験が求められる。
【0072】
偽を正と検出する可能性をさらに減らすために、周囲の青2822および緑2826値がポーリングされてもよい。これらの青2822および緑2826値の2つ以上が、カラーキー値に合う場合、事前にサブピクセル描画された画像データの存在が確認される。万一、データがカラーキーの存在を指示する場合、サブピクセル描画手段は、その時、事前にサブピクセル描画されたデータポイントが存在することを知る。事前にサブピクセル描画されたデータセットが存在することを知ると、赤データポイント2814を関連する赤再構成ポイント44についての出力値として使用するという簡単なデータ抽出のために、通常のサブピクセル描画アルゴリズムは中止される。関連する赤の事前にサブピクセル描画されたデータサンプルが、奇数行上を右に、1つのピクセル1701だけシフトされ、偶数行上を左に1つのピクセルだけシフトされることに留意されたい。カラーキーデータ値が間引きされる(廃棄される)。サンプルデータポイントがカラーキーに合わない場合、通常のサブピクセル描画アルゴリズムが実行される。同様な操作は、図27Cに示す緑データ平面について実施される。ここで、しかし、緑の事前にサブピクセル描画されたサンプル2816は、赤の事前にサブピクセル描画されたサンプル2814に対して起こるシフトとは反対に、奇数行上を左に、1つのピクセル1701だけシフトされ、偶数行上を右に1つのピクセル1701だけシフトされる。
【0073】
従来データおよび事前にサブピクセル描画された画像データの境界において、事前にサブピクセル描画されたデ−タポイントが、誤差があっても非常に小さい誤差を有するサブピクセル描画されないデータポイントと置き換えることができるため、通常のサブピクセル描画アルゴリズムは、サブピクセル描画アルゴリズムのための通常の方法で処理される。つまり、重なったデータポイントが通常の方法で処理されてもよいことを知るためには最初の1回の試験のみでよい、すなわちカラーキーについての中心自己カラーの試験のみでよいため、再マッピングされた事前にサブピクセル描画された画像データセット2819は検出器を簡略化する。最初のカラーキー値が、合っていると判定される場合にのみ、任意の他の値が、次々と試験される必要がある。さらに、その中心値に対する一致が存在しない場合、エリアリサンプルエリアが、事前にサブピクセル描画されたデータに重なることになっても、有効データが全ての重なったエリア内に存在するため、通常のサブピクセル描画操作が実施されてもよい。
【0074】
図26Aと同様に、図27Aに示す、上記「交換」技法は、図18の事前にサブピクセル描画された画像データサブセット1919と比較して、事前にサブピクセル描画された画像データサブセット2819内部で赤および緑格子縞模様パターンを実質的に反転する。同様に、図27Aの抽出プロセスは、事前にサブピクセル描画された画像データサブセット内部の「無効データ」の代わりに、適度の値を見出すことを保証する。
【0075】
上記「交換」技法に関して、1つおきの列からの値を交換すること以外に、他の交換方法が使用される可能性があることが留意されるべきである。たとえば、サブピクセル描画される時の、周囲の、事前にサブピクセル描画されたデータは、埋め込まれた、事前にサブピクセル描画された画像データサブセットの正確な境界を決定する費用のかかるルックアヘッド方法を必要とすることなく、埋め込まれた、事前にサブピクセル描画された画像データサブセット内の正確でかつ実際のカラーデータに容易にアクセスする。こうした他の方式は、行を交換すること、または、他の知られている幾何学的関係を含むと思われるが、それに限定されない。必要である時に、事前サブピクセルでないデータアクセスが周囲のカラーデータを補正することは言うまでもない。
【0076】
こうして、埋め込まれた、事前にサブピクセル描画された画像によって、画像データセットを処理するための、実施態様および実施形態が述べられた。これまでの明細書において、本発明は、本発明の特定の例示的な実施態様および実施形態を参照して述べられた。しかし、添付特許請求項に記載される、本発明のより広い精神および範囲から逸脱することなく、実施態様および実施形態に対して、種々の修正および変更を行ってもよいことは明らかであろう。本明細書および図面は、それに応じて、制限的な意味ではなく、具体的に示すという意味で考えられるべきである。
【図面の簡単な説明】
【0077】
【図1】電子カラーディスプレイのサブピクセルの配置構成を示す図であり、理想化された「w」キャラクタの輪郭がサブピクセル上に重ね合わされている。
【図2】電子カラーディスプレイのサブピクセルの別の配置構成を示す図である。
【図3】電子カラーディスプレイのサブピクセルのさらに別の配置構成を示す図である。
【図4A】図1のサブピクセルの配置構成についての赤カラー平面のための再構成ポイントおよび関連するリサンプルエリアを示す図である。
【図4B】図1のサブピクセルの配置構成についての緑カラー平面のための再構成ポイントおよび関連するリサンプルエリアを示す図である。
【図4C】図1のサブピクセルの配置構成についての青カラー平面のための再構成ポイントおよび関連するリサンプルエリアを示す図である。
【図5A】従来のカラー画像データセットについてのサンプルポイントおよび関連する、包含されたサンプルエリアを示す図である。
【図5B】「w」の従来の描画と共に、図5Aの従来データセット上に重ね合わされた理想化された「w」キャラクタの輪郭を示す図である。
【図6A】「w」が描画された状態の、図5Bのデータセット上に載置された赤リサンプル平面を示す図である。
【図6B】「w」が描画された状態の、図5Bのデータセット上に載置された緑リサンプル平面を示す図である。
【図6C】「w」が描画された状態の、図5Bのデータセット上に載置された青リサンプル平面を示す図である。
【図7】サブピクセル描画用のデータパイプラインを示す図である。
【図8】従来通りに描画された「w」についての、図6A、6B、および6Cのリサンプル操作によって生成される、結果として得られる、サブピクセル描画された画像を有する図1のディスプレイを示す図である。理想化された「w」キャラクタの輪郭は、比較のために重ね合わされている。
【図9】従来通りに描画された「w」を有する、高解像度の従来データセット上に重ね合わされた、理想化された「w」キャラクタの輪郭を示す図である。
【図10A】描画された「w」を有する、図9のデータセット上に載置された、図4Aの赤リサンプル平面を示す図である。
【図10B】描画された「w」を有する、図9のデータセット上に載置された、図4Bの緑リサンプル平面を示す図である。
【図10C】描画された「w」を有する、図9のデータセット上に載置された、図4Cの青リサンプル平面を示す図である。
【図11】同所共在的な画像データセットから理想化された画像をサブピクセル描画する一実施形態のフローチャートである。
【図12】従来通りに描画された「w」についての、図10A、10B、および10Cのリサンプル操作によって生成される、結果として得られる、サブピクセル描画された画像を有する図1のディスプレイを示す図である。理想化された「w」キャラクタの輪郭は、比較のために重ね合わされている。
【図13】カラーサブピクセルサンプル平面上で理想化された画像を直接にサブピクセル描画する一実施形態のフローチャートである。
【図14A】理想化された「w」キャラクタの輪郭上に載置された図4Aの赤サンプル平面を示す図である。
【図14B】理想化された「w」キャラクタの輪郭上に載置された図4Bの緑サンプル平面を示す図である。
【図14C】理想化された「w」キャラクタの輪郭上に載置された図4Cの青サンプル平面を示す図である。
【図15】理想化された「w」キャラクタについての、図14A、14B、および14Cの直接サンプル操作によって生成される、結果として得られる、サブピクセル描画された画像を有する図1のディスプレイを示す図である。理想化された「w」キャラクタの輪郭は、比較のために重ね合わされている。
【図16A】正方形サンプルエリア当たり、1組の赤、緑、および青サンプルを有する従来データセットの図である。
【図16B】サブピクセル描画し、リサンプリングされた、サブピクセル描画されたデータセットを残すプロセスによって、間引かれた(廃棄された)、「抜けている」サンプルを有するデータセットの図である。
【図16C】「従来の」データセットサンプルエリア当たり、3つのサンプル、赤、緑、および青として圧縮されるが、やはり、列ドライバによるサブピクセル描画されたデータセット順である、図16Bのサブピクセル描画されたデータセットを示す図である。
【図16D】従来のデータセットフォーマット順に一致するために、それぞれの「従来の」データセット「ピクセル」内に記録された、図16Cについての、圧縮された、サブピクセル描画されたデータセットを示す図である。
【図16E】その一方または両方が、事前にサブピクセル描画されたデータセットであってよい2つのサブセットを有する従来データサブセットを示す図である。これは、図16Aの空間的に1対1にマッピングされたサンプルを置き換えるが、図16Bで包含される「抜けている」サンプルを保持する、図16Bのサブピクセル描画されたデータセットを表してもよい。
【図17A】図16Eのデータセット上に載置された図4Aの赤リサンプル平面を示す図である。
【図17B】図16Eのデータセット上に載置された図4Bの緑リサンプル平面を示す図である。
【図17C】図16Eのデータセット上に載置された図4Cの青リサンプル平面を示す図である。
【図18】所定のカラーキーデータセットを有する、埋め込まれた、事前にサブピクセル描画されたデータセットを有するデータセットを示す図である。
【図19A】図18のデータセット上に載置された図4Aの赤リサンプル平面を示す図である。
【図19B】図18のデータセット上に載置された図4Bの緑リサンプル平面を示す図である。
【図19C】図18のデータセット上に載置された図4Cの青リサンプル平面を示す図である。
【図20】複数ソースから画像ソースデータを入力し、複数の経路を介して、多数のクライアントへサブピクセル描画されたデータを出力することができる事前サブピクセル描画システムの図である。
【図21】電子カラーディスプレイのサブピクセルの別の配置構成を示す図である。
【図22】電子カラーディスプレイのサブピクセルのさらに別の配置構成を示す図である。
【図23】図22の少数のカラー平面再構成ポイントおよび関連するリサンプル平面を示す図である。
【図24A】電子カラーディスプレイのサブピクセルの別の配置構成を示す図である。
【図24B】図24Aの配置構成についての、再構成ポイントおよび関連するリサンプルエリアを示す図である。
【図25A】所定のクロマ・キーデータセットを有する、図24Aのサブピクセルの配置構成についての、埋め込まれた、サブピクセル描画されたデータセットを有する従来データセットを示す図である。
【図25B】図25Aのデータセット上に載置された図24Aの配置構成についての、赤リサンプルエリアを示す図である。
【図25C】図25Aのデータセット上に載置された図24Aの配置構成についての、緑リサンプルエリアを示す図である。
【図25D】図25Aのデータセット上に載置された図24Aの配置構成についての、青リサンプルエリアを示す図である。
【図26A】代替の所定のクロマ・キーデータセットを有する、図24Aのサブピクセルの配置構成についての、埋め込まれた、サブピクセル描画されたデータセットを有する従来データセットを示す図である。
【図26B】図26のデータセット上に載置された図25Aの配置構成についての、赤リサンプルエリアを示す図である。
【図26C】図26のデータセット上に載置された図25Aの配置構成についての、青リサンプルエリアを示す図である。
【図27A】代替の所定のクロマ・キーデータセットを有する、図1のサブピクセルの配置構成についての、埋め込まれた、サブピクセル描画されたデータセットを有する従来データセットを示す図である。
【図27B】図27Aのデータセット上に載置された図4Aの赤リサンプル平面を示す図である。
【図27C】図27Aのデータセット上に載置された図4Bの緑リサンプルエリアを示す図である。
【図27D】図27Aのデータセット上に載置された図4Cの青リサンプル平面を示す図である。
【特許請求の範囲】
【請求項1】
画像処理方法であって、
画像をサブピクセル描画すること、
前記サブピクセル描画された画像を事前にサブピクセル描画された画像として記憶すること、および、
前記事前にサブピクセル描画された画像を、ディスプレイへの出力のために送信することを含む画像処理方法。
【請求項2】
前記ディスプレイは、前記事前にサブピクセル描画された画像を表示するように構成される請求項1に記載の方法。
【請求項3】
画像をサブピクセル描画する方法において、
第1画像データセットにフィルタカーネルを適用することによって前記第1画像データセットから第2画像データセットを生成し、前記第2画像データセットが前記事前にサブピクセル描画された画像を表す、請求項1に記載の方法。
【請求項4】
前記第2画像データセットは前記事前にサブピクセル描画された画像として記憶される請求項3に記載の方法。
【請求項5】
前記第2画像データセットを前記第1画像データセットに埋め込むことをさらに含む請求項3に記載の方法。
【請求項6】
前記埋め込んだ第2画像データセットを検出し、
前記検出された埋め込んだ第2画像データセットを、前記ディスプレイへの出力のために前記事前にサブピクセル描画された画像として送信することをさらに含む請求項5に記載の方法。
【請求項7】
前記第1画像データセットは従来データセットであり、前記第2画像データセットは、前記従来データセットと前記フィルタカーネルとのドット行列積である請求項3に記載の方法。
【請求項8】
前記第2画像データセットを圧縮し、圧縮された第2画像データセットは前記事前にサブピクセル描画された画像として記憶されることをさらに含む請求項3に記載の方法。
【請求項9】
前記圧縮された第2画像データセットを解凍し、解凍された第2画像データセットは前記ディスプレイへの出力のために前記事前にサブピクセル描画された画像として送信されることをさらに含む請求項8に記載の方法。
【請求項10】
画像処理システムであって、
サブピクセル描画された画像を表示するための、サブピクセル配置構成を有する少なくとも1つの表示ユニットと、
画像を提供する、少なくとも1つの入力デバイスに結合するエンコーダとを備え、
前記エンコーダは、前記表示ユニットの前記サブピクセル配置構成を検出し、前記検出されたサブピクセル配置構成に対応する、前記入力デバイスからの前記画像をサブピクセル描画し、前記サブピクセル描画された画像を前記表示ユニットに出力することが可能である画像処理システム。
【請求項11】
前記入力デバイスは、前記表示ユニットの前記サブピクセル配置構成に合うサブピクセル配置構成を有するイメージング手段を含む請求項10に記載の画像処理システム。
【請求項12】
前記表示ユニットは、テレビ表示ユニット、無線デバイスユニット、有線デバイスユニット、移動電話ユニット、および可搬型コンピューティングデバイスユニットのうちの少なくとも1つのための表示ユニットである請求項10に記載の画像処理システム。
【請求項13】
前記表示ユニットは、前記サブピクセル描画された画像を出力するウェブブラウザを表示する請求項10に記載の画像処理システム。
【請求項14】
前記ウェブブラウザは、前記表示ユニットの前記サブピクセル配置構成に関する情報を前記エンコーダに提供する請求項13に記載の画像処理システム。
【請求項15】
前記エンコーダは、前記サブピクセル描画された画像を前記事前にサブピクセル描画された画像として記憶し、前記ウェブブラウザは、前記事前にサブピクセル描画された画像を出力する請求項13に記載の画像処理システム。
【請求項16】
前記ウェブブラウザは、ウェブサイトがサブピクセル描画された画像を供給するかどうかを検出することが可能である請求項13に記載の画像処理システム。
【請求項17】
前記ウェブブラウザは、画像データストリーム内の前記サブピクセル描画された画像を検出することが可能である請求項13に記載の画像処理システム。
【請求項18】
前記ウェブブラウザは、前記画像データストリーム内のコードによって、前記画像データストリーム内の前記サブピクセル描画された画像を検出する請求項13に記載の画像処理システム。
【請求項19】
前記エンコーダは、前記サブピクセル描画された画像を前記画像データストリーム内に埋め込む請求項17に記載の画像処理システム。
【請求項20】
画像処理方法であって、
画像データセット内に少なくとも1つの事前にサブピクセル描画された画像を埋め込むこと、
前記画像データセット内の前記埋め込まれた事前にサブピクセル描画された画像を認識し、抽出すること、および、
前記埋め込まれた事前にサブピクセル描画された画像を表示することを含む画像処理方法。
【請求項21】
後で表示するために、前記埋め込まれた事前にサブピクセル描画された画像を記憶することをさらに含む請求項20に記載の方法。
【請求項22】
前記画像データセットは、第1画像データセットおよび画像第2データセットを含む請求項20に記載の方法。
【請求項23】
前記第1画像データセットおよび第2画像データセットのうちの少なくとも1つは、前記事前にサブピクセル描画された画像を表す請求項22に記載の方法。
【請求項24】
前記第1画像データセットは前記事前にサブピクセル描画された画像を表し、前記第2画像データセットは、サブピクセル描画されない画像を表す請求項22に記載の方法。
【請求項25】
前記サブピクセル描画しない画像を表す前記第2画像データセットをサブピクセル描画すること、および、
前記サブピクセル描画された第2画像データセットを表示することをさらに含む請求項24に記載の方法。
【請求項26】
前記事前にサブピクセル描画された画像を表す、前記第1画像データセット、または前記第2画像データセット、のいずれかが透かしを含む請求項22に記載の方法。
【請求項27】
前記透かしを検出すること、および、
表示のために、前記透かしに関連する前記事前にサブピクセル描画された画像を抽出することをさらに含む請求項26に記載の方法。
【請求項28】
前記第1画像データセットおよび第2画像データセットのうちの少なくとも1つは、カラーキーを含む請求項22に記載の方法。
【請求項29】
前記カラーキーを含む前記画像データを、前記カラーキーに基づいて他の画像データと異なるように処理することをさらに含む請求項28に記載の方法。
【請求項30】
前記カラーキーを含む前記画像データは、前記事前にサブピクセル描画された画像を表す請求項28に記載の方法。
【請求項31】
前記カラーキーを検出すること、および、
表示のために、前記カラーキーに関連する前記事前にサブピクセル描画された画像を抽出することをさらに含む請求項30に記載の方法。
【請求項32】
画像処理方法であって、
従来の画像データセット内に事前にサブピクセル描画された画像データサブセットを埋め込むこと、
両方のデータセットは出力される画像についての各データポイント値を埋め込むこと、
前記従来の画像データセットについて前記データポイント値をサブピクセル描画すること、および
前記出力される画像のために、前記事前にサブピクセル描画された画像データサブセットの前記データポイント値および前記従来の画像データセットの前記サブピクセル描画されたデータポイント値を直接出力することを含む画像処理方法。
【請求項33】
前記事前にサブピクセル描画された画像データサブセットおよび前記従来の画像データセットのうちの少なくとも1つに透かしまたはカラーキーを埋め込むことをさらに含み、前記透かしまたはカラーキーは、前記出力される画像のサブセットが事前にサブピクセル描画された画像であることを示す請求項32に記載の画像処理方法。
【請求項34】
前記従来の画像データセットは、前記事前にサブピクセル描画された画像データサブセットの存在を示す複数のカラーキーを含む請求項32に記載の画像処理方法。
【請求項35】
前記カラーキーは、前記出力される画像のために、前記従来の画像データセット内の前記データポイント値について、特定の値にマッピングされる 請求項34に記載の画像処理方法。
【請求項36】
カラーキー値の周辺の周囲データポイント値が前記カラーキー値に合うかどうかを判定することによって、前記事前にサブピクセル描画された画像の存在を検出することをさらに含む請求項34に記載の画像処理方法。
【請求項37】
前記周囲データポイント値が前記カラーキー値に合う場合、前記カラーキー値が間引かれる 請求項36に記載の画像処理方法。
【請求項38】
画像処理方法であって、
ソース画像データを事前にサブピクセル描画すること、
前記事前にサブピクセル描画されたソース画像データを埋め込むための、入力画像データストリーム内のポイントを示す、
前記事前にサブピクセル描画されたソース画像データの値を選択的に交換すること、および
前記交換済みと未交換の事前にサブピクセル描画されたデータを入力画像データのストリーム内に埋め込むことを含む方法。
【請求項39】
前記ソース画像データを事前にサブピクセル描画し、
事前のサブピクセル描画を指示するために、前記事前にサブピクセル描画されたデータ内にカラーキーを加えることを含む請求項38に記載の方法。
【請求項40】
前記カラーキーを加え、
前記入力画像データストリームの第1ロケーションにおいて、実際の第1カラー値の代わりに、第1の所定のカラーキーに置き換えること、および、
前記入力画像データストリームの第2ロケーションにおいて、実際の第2カラーキー値の代わりに、第2の所定のカラーキーに置き換えることを含む請求項39に記載の方法。
【請求項41】
値を選択的に交換し、
前記事前にサブピクセル描画されたデータの値を選択的に交換すること、
それによって、前記事前にサブピクセル描画されたデータの値の周辺のサブピクセル描画されないデータは、前記サブピクセル描画されないデータがサブピクセル描画されると、前記正しい実際のカラーデータを表すことを含む請求項40に記載の方法。
【請求項42】
値を選択的に交換し、
前記事前にサブピクセル描画されたデータの1つおきの列の値を交換することをさらに含む請求項40に記載の方法。
【請求項43】
画像処理方法であって、
複数のカラーサンプル平面上に理想化された画像を載置すること、
各カラーサンプル平面について、前記カラーサンプル平面内の各サンプルポイントについてのフィルタ値を計算すること、および
前記理想化された画像を描画するために、前記フィルタ値を記憶することを含む方法。
【請求項44】
前記フィルタ値は、各係数に関連する前記理想化された画像カラー値のドット積を得るのに使用され、前記ドット積の結果は、事前にサブピクセル描画された画像として記憶される請求項43に記載の方法。
【請求項1】
画像処理方法であって、
画像をサブピクセル描画すること、
前記サブピクセル描画された画像を事前にサブピクセル描画された画像として記憶すること、および、
前記事前にサブピクセル描画された画像を、ディスプレイへの出力のために送信することを含む画像処理方法。
【請求項2】
前記ディスプレイは、前記事前にサブピクセル描画された画像を表示するように構成される請求項1に記載の方法。
【請求項3】
画像をサブピクセル描画する方法において、
第1画像データセットにフィルタカーネルを適用することによって前記第1画像データセットから第2画像データセットを生成し、前記第2画像データセットが前記事前にサブピクセル描画された画像を表す、請求項1に記載の方法。
【請求項4】
前記第2画像データセットは前記事前にサブピクセル描画された画像として記憶される請求項3に記載の方法。
【請求項5】
前記第2画像データセットを前記第1画像データセットに埋め込むことをさらに含む請求項3に記載の方法。
【請求項6】
前記埋め込んだ第2画像データセットを検出し、
前記検出された埋め込んだ第2画像データセットを、前記ディスプレイへの出力のために前記事前にサブピクセル描画された画像として送信することをさらに含む請求項5に記載の方法。
【請求項7】
前記第1画像データセットは従来データセットであり、前記第2画像データセットは、前記従来データセットと前記フィルタカーネルとのドット行列積である請求項3に記載の方法。
【請求項8】
前記第2画像データセットを圧縮し、圧縮された第2画像データセットは前記事前にサブピクセル描画された画像として記憶されることをさらに含む請求項3に記載の方法。
【請求項9】
前記圧縮された第2画像データセットを解凍し、解凍された第2画像データセットは前記ディスプレイへの出力のために前記事前にサブピクセル描画された画像として送信されることをさらに含む請求項8に記載の方法。
【請求項10】
画像処理システムであって、
サブピクセル描画された画像を表示するための、サブピクセル配置構成を有する少なくとも1つの表示ユニットと、
画像を提供する、少なくとも1つの入力デバイスに結合するエンコーダとを備え、
前記エンコーダは、前記表示ユニットの前記サブピクセル配置構成を検出し、前記検出されたサブピクセル配置構成に対応する、前記入力デバイスからの前記画像をサブピクセル描画し、前記サブピクセル描画された画像を前記表示ユニットに出力することが可能である画像処理システム。
【請求項11】
前記入力デバイスは、前記表示ユニットの前記サブピクセル配置構成に合うサブピクセル配置構成を有するイメージング手段を含む請求項10に記載の画像処理システム。
【請求項12】
前記表示ユニットは、テレビ表示ユニット、無線デバイスユニット、有線デバイスユニット、移動電話ユニット、および可搬型コンピューティングデバイスユニットのうちの少なくとも1つのための表示ユニットである請求項10に記載の画像処理システム。
【請求項13】
前記表示ユニットは、前記サブピクセル描画された画像を出力するウェブブラウザを表示する請求項10に記載の画像処理システム。
【請求項14】
前記ウェブブラウザは、前記表示ユニットの前記サブピクセル配置構成に関する情報を前記エンコーダに提供する請求項13に記載の画像処理システム。
【請求項15】
前記エンコーダは、前記サブピクセル描画された画像を前記事前にサブピクセル描画された画像として記憶し、前記ウェブブラウザは、前記事前にサブピクセル描画された画像を出力する請求項13に記載の画像処理システム。
【請求項16】
前記ウェブブラウザは、ウェブサイトがサブピクセル描画された画像を供給するかどうかを検出することが可能である請求項13に記載の画像処理システム。
【請求項17】
前記ウェブブラウザは、画像データストリーム内の前記サブピクセル描画された画像を検出することが可能である請求項13に記載の画像処理システム。
【請求項18】
前記ウェブブラウザは、前記画像データストリーム内のコードによって、前記画像データストリーム内の前記サブピクセル描画された画像を検出する請求項13に記載の画像処理システム。
【請求項19】
前記エンコーダは、前記サブピクセル描画された画像を前記画像データストリーム内に埋め込む請求項17に記載の画像処理システム。
【請求項20】
画像処理方法であって、
画像データセット内に少なくとも1つの事前にサブピクセル描画された画像を埋め込むこと、
前記画像データセット内の前記埋め込まれた事前にサブピクセル描画された画像を認識し、抽出すること、および、
前記埋め込まれた事前にサブピクセル描画された画像を表示することを含む画像処理方法。
【請求項21】
後で表示するために、前記埋め込まれた事前にサブピクセル描画された画像を記憶することをさらに含む請求項20に記載の方法。
【請求項22】
前記画像データセットは、第1画像データセットおよび画像第2データセットを含む請求項20に記載の方法。
【請求項23】
前記第1画像データセットおよび第2画像データセットのうちの少なくとも1つは、前記事前にサブピクセル描画された画像を表す請求項22に記載の方法。
【請求項24】
前記第1画像データセットは前記事前にサブピクセル描画された画像を表し、前記第2画像データセットは、サブピクセル描画されない画像を表す請求項22に記載の方法。
【請求項25】
前記サブピクセル描画しない画像を表す前記第2画像データセットをサブピクセル描画すること、および、
前記サブピクセル描画された第2画像データセットを表示することをさらに含む請求項24に記載の方法。
【請求項26】
前記事前にサブピクセル描画された画像を表す、前記第1画像データセット、または前記第2画像データセット、のいずれかが透かしを含む請求項22に記載の方法。
【請求項27】
前記透かしを検出すること、および、
表示のために、前記透かしに関連する前記事前にサブピクセル描画された画像を抽出することをさらに含む請求項26に記載の方法。
【請求項28】
前記第1画像データセットおよび第2画像データセットのうちの少なくとも1つは、カラーキーを含む請求項22に記載の方法。
【請求項29】
前記カラーキーを含む前記画像データを、前記カラーキーに基づいて他の画像データと異なるように処理することをさらに含む請求項28に記載の方法。
【請求項30】
前記カラーキーを含む前記画像データは、前記事前にサブピクセル描画された画像を表す請求項28に記載の方法。
【請求項31】
前記カラーキーを検出すること、および、
表示のために、前記カラーキーに関連する前記事前にサブピクセル描画された画像を抽出することをさらに含む請求項30に記載の方法。
【請求項32】
画像処理方法であって、
従来の画像データセット内に事前にサブピクセル描画された画像データサブセットを埋め込むこと、
両方のデータセットは出力される画像についての各データポイント値を埋め込むこと、
前記従来の画像データセットについて前記データポイント値をサブピクセル描画すること、および
前記出力される画像のために、前記事前にサブピクセル描画された画像データサブセットの前記データポイント値および前記従来の画像データセットの前記サブピクセル描画されたデータポイント値を直接出力することを含む画像処理方法。
【請求項33】
前記事前にサブピクセル描画された画像データサブセットおよび前記従来の画像データセットのうちの少なくとも1つに透かしまたはカラーキーを埋め込むことをさらに含み、前記透かしまたはカラーキーは、前記出力される画像のサブセットが事前にサブピクセル描画された画像であることを示す請求項32に記載の画像処理方法。
【請求項34】
前記従来の画像データセットは、前記事前にサブピクセル描画された画像データサブセットの存在を示す複数のカラーキーを含む請求項32に記載の画像処理方法。
【請求項35】
前記カラーキーは、前記出力される画像のために、前記従来の画像データセット内の前記データポイント値について、特定の値にマッピングされる 請求項34に記載の画像処理方法。
【請求項36】
カラーキー値の周辺の周囲データポイント値が前記カラーキー値に合うかどうかを判定することによって、前記事前にサブピクセル描画された画像の存在を検出することをさらに含む請求項34に記載の画像処理方法。
【請求項37】
前記周囲データポイント値が前記カラーキー値に合う場合、前記カラーキー値が間引かれる 請求項36に記載の画像処理方法。
【請求項38】
画像処理方法であって、
ソース画像データを事前にサブピクセル描画すること、
前記事前にサブピクセル描画されたソース画像データを埋め込むための、入力画像データストリーム内のポイントを示す、
前記事前にサブピクセル描画されたソース画像データの値を選択的に交換すること、および
前記交換済みと未交換の事前にサブピクセル描画されたデータを入力画像データのストリーム内に埋め込むことを含む方法。
【請求項39】
前記ソース画像データを事前にサブピクセル描画し、
事前のサブピクセル描画を指示するために、前記事前にサブピクセル描画されたデータ内にカラーキーを加えることを含む請求項38に記載の方法。
【請求項40】
前記カラーキーを加え、
前記入力画像データストリームの第1ロケーションにおいて、実際の第1カラー値の代わりに、第1の所定のカラーキーに置き換えること、および、
前記入力画像データストリームの第2ロケーションにおいて、実際の第2カラーキー値の代わりに、第2の所定のカラーキーに置き換えることを含む請求項39に記載の方法。
【請求項41】
値を選択的に交換し、
前記事前にサブピクセル描画されたデータの値を選択的に交換すること、
それによって、前記事前にサブピクセル描画されたデータの値の周辺のサブピクセル描画されないデータは、前記サブピクセル描画されないデータがサブピクセル描画されると、前記正しい実際のカラーデータを表すことを含む請求項40に記載の方法。
【請求項42】
値を選択的に交換し、
前記事前にサブピクセル描画されたデータの1つおきの列の値を交換することをさらに含む請求項40に記載の方法。
【請求項43】
画像処理方法であって、
複数のカラーサンプル平面上に理想化された画像を載置すること、
各カラーサンプル平面について、前記カラーサンプル平面内の各サンプルポイントについてのフィルタ値を計算すること、および
前記理想化された画像を描画するために、前記フィルタ値を記憶することを含む方法。
【請求項44】
前記フィルタ値は、各係数に関連する前記理想化された画像カラー値のドット積を得るのに使用され、前記ドット積の結果は、事前にサブピクセル描画された画像として記憶される請求項43に記載の方法。
【図1】
【図2】
【図3】
【図7】
【図8】
【図9】
【図11】
【図12】
【図13】
【図15】
【図18】
【図20】
【図21】
【図22】
【図23】
【図2】
【図3】
【図7】
【図8】
【図9】
【図11】
【図12】
【図13】
【図15】
【図18】
【図20】
【図21】
【図22】
【図23】
【公表番号】特表2007−524861(P2007−524861A)
【公表日】平成19年8月30日(2007.8.30)
【国際特許分類】
【出願番号】特願2006−508790(P2006−508790)
【出願日】平成16年2月20日(2004.2.20)
【国際出願番号】PCT/US2004/005196
【国際公開番号】WO2004/095370
【国際公開日】平成16年11月4日(2004.11.4)
【出願人】(505320746)クレアボワイヤント,インコーポレーテッド (8)
【Fターム(参考)】
【公表日】平成19年8月30日(2007.8.30)
【国際特許分類】
【出願日】平成16年2月20日(2004.2.20)
【国際出願番号】PCT/US2004/005196
【国際公開番号】WO2004/095370
【国際公開日】平成16年11月4日(2004.11.4)
【出願人】(505320746)クレアボワイヤント,インコーポレーテッド (8)
【Fターム(参考)】
[ Back to top ]