説明

マッピング機能の注入のためのシステムと方法

既存の合成器にコンピュータコードの一部を注入し、マッピング機能を第1のデジタル画像に適用するためにコンピュータコードの一部を使用し、合成器内で適用されたマッピング機能を適用することによって適合された第1のデジタル画像に基づいて第2のデジタル画像を形成することによって、ディスプレイ品質を改善するための方法とシステム。次いで、第2のデジタル画像は1台以上のディスプレイを介して目視者に表示されてよく、各ディスプレイは表示されたデジタル画像の部分を形成する。その結果は、混合イメージまたは立体イメージを作るために用いられてよい。マッピング機能はディスプレイシステムのジオメトリの修正または特性の補正(たとえば色、輝度など)のために適合されてよく、そのような特性は検出器を用いて感知されてよい。コードの一部は表示されたデジタル画像に対するグラフィックスドライバ制御ハードウェア構成に注入されてよい。

【発明の詳細な説明】
【技術分野】
【0001】
本願は、2009年6月18日に出願された米国仮出願番号61/218397「マッピング機能の注入のためのシステムと方法」の利益を主張するものであり、参照によりその全内容は本明細書に編入される。
【0002】
本発明は、デジタルビデオディスプレイシステムに係り、より具体的には複数の個別ディスプレイ装置からなる大型ディスプレイ用のオペレーティングシステムに関する。
【背景技術】
【0003】
デジタルイメージングシステムは、制御源とディスプレイを用いて視覚情報を表示する。コンピュータシステムなどの制御源はマッピング機能を利用して、たとえば多数の投影された画像を1つの画像に結合して超解像ディスプレイを作る応用を可能にする。ディスプレイは、情報、静止画像またはビデオ(動画像)を視覚的に示すことができる任意の装置を含む。ディスプレイは一般的に1つ以上の光源からなり、空間的に光を調節する方法は、(1)直視ディスプレイと、(2)投影ディスプレイに分割できる。直視ディスプレイは、液晶ディスプレイ(LCD)およびプラズマディスプレイパネル(PDP)などのフラットパネルを含む。投影ディスプレイは、マイクロディスプレイパネルを用いる技術、たとえば(1)デジタルマイクロミラー装置(DMD)に基づくデジタル光処理(DLP)、(2)透過型LCDパネル、および(3)シリコン上に載せた液晶(LCOS)を含む。デジタルイメージングシステムの品質は、目視者の期待によって決まる。品質要因は解像、コントラスト、幾何学的精度、色精度、気を散らすアーチファクトがないこと、および一般的に好ましい画像の性質に寄与し、またはオリジナルのデジタル画像もしくは自然において見出される画像を正確に再現することを可能にするその他の性能特性を含む。ディスプレイによって生産された画像の一定の不精度を、画像情報に補正措置を適用することによって補正することが望まれる。
【0004】
三次元イメージングは、遠近感をもって現れるようにされたディスプレイの平面内の画像を対象とすることができる。三次元イメージングを使用して、画像がディスプレイの平面から出て三次元空間を満たす立体デジタルイメージングを対象としてもよい。立体デジタルイメージングは三次元空間で自然の画像を目視する効果を模擬するために、左目と右目に異なる画像を呈示する。立体イメージングは、三次元画像が眼精疲労を引き起こすことなく各々の目に適切に呈示されると、デジタルイメージングシステムの知覚される品質に寄与できる。一般的に、ディスプレイシステム内でのそのような画像の生成を支援して全体的なディスプレイ品質を改善する機構を提供することが望まれる。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】米国特許第6456339号明細書
【特許文献2】米国特許出願公開第2008/0246781号
【発明の概要】
【0006】
本発明は、コンピュータシステム上に作動的に配置および構成された合成器にコンピュータコードの一部を注入し、前記コンピュータコードの一部を使用してマッピング機能を第1のデジタル画像に適用し、適用されたマッピング機能を用いて第1のデジタル画像に基づき適合された前記第2のデジタル画像を形成することによって、ディスプレイ品質を改善するための方法とシステムである。次に、第2のデジタル画像は1台以上のディスプレイを介して目視者に表示され、各ディスプレイは表示されたデジタル画像の部分を形成する。各ディスプレイの寄与は、部分的な重なりからほぼ完全な重なりまで変化する重なりであってもよい。ほぼ完全に重なると立体画像の表示が可能になる。マッピング機能は、ジオメトリの修正、混合画像の生成またはディスプレイシステムの特性(たとえば色、輝度など)の補正に使用することができる。特性は検出器、たとえば表示された画像に向けられたカメラを使用して、または画像の内部感知によって感知できる。コードの一部をグラフィックスドライバ制御ハードウェアに注入して表示されたデジタル画像の一部を生成できる。全体的なディスプレイシステムは1つ以上のコンピュータシステムに基づいていてもよく、それぞれ1台以上のディスプレイ装置、たとえばプロジェクタに接続された1つ以上のグラフィックスカードを有する。
【図面の簡単な説明】
【0007】
【図1】例示的な装置における、外部マッピングを有するデジタルイメージングシステムの模式図である。
【図2】例示的な実施態様におけるマッピング機能の注入のフローチャートである。
【図3】例示的な実施態様における合成器に注入するデジタルイメージングシステムの模式図である。
【図4】例示的な実施態様におけるグラフィックスドライバに注入するデジタルイメージングシステムの模式図である。
【発明を実施するための形態】
【0008】
以下の本発明を添付の図面を参照して説明する。
本発明の例示的な実施態様の教示の基礎とできる超解像ディスプレイの詳細な説明は、米国特許第6,456,339号明細書に記載されており、参照によりその全内容を有益な背景情報として本明細書に組み入れる。デジタルイメージングシステムは、1台以上のディスプレイを組み合わせて、ディスプレイがそれらのピクセルを足し合わせて多数の部分からなる1つの表示されたデジタル画像を生成することにより、高解像ディスプレイを実現できる。表示されたデジタル画像の各部分は主として個別プロジェクタからのピクセルからなるが、隣接ディスプレイと重なる領域も有する。部分間の段階的混合を実行するために、表示されたデジタル画像の部分は部分的に重ねられる。部分的に重なる領域は表示されたデジタル画像の面積の約10%〜30%に及ぶことがある。マッピング機能をオリジナルのデジタル画像に適用して部分に分解し、表示のために部分を再び組み立てる。マッピング機能はデジタル画像を修正して、何らかの方法で変更される第2のデジタル画像を生成する数学的変換として定義される。補正機能は、所望される補正をデジタル画像に適用する特定のタイプのマッピング機能である。マッピング機能は、ワーピング、カラーマッチング、横方向色補正、またはデジタル画像に対するその他の所望される変更などの変換を含むことができる。ある場合には、マッピング機能は特定の所望される効果を達成するために、伝統的な意味で測定された画像品質を劣化させることがある。
【0009】
システム構成の代替的実施態様では、多数のディスプレイからのデジタル画像のほぼ完全な重なりを利用する(ディスプレイは種々の実施態様においてしばしば2台以上の「多数」および少なくとも2台以上の「複数」で配置される)。ほぼ完全な重なりとは少なくとも90%の重なりである。一実施態様において、ほぼ完全な重なりは、多数のディスプレイからの部分がピクセルまたはサブピクセルのレベルに至るまでの精度で一致するように正確に整合される。この構成は、多数のディスプレイを積み重ねることによって光の量を増すために用いられる。別の実施態様において、システムはほぼ完全な重なりを提供するが、諸部分は三次元画像の立体表示を可能にするために左目と右目の画像からなる。立体投影の場合は正確なピクセルアライメントは必要でないことがある。
【0010】
積み重ねの特殊なケースは、単一のプロジェクタしかない場合に生じる。この場合、画像の一方の側が他方の側を包むように、レンズを使って画像を包むことができる。
【0011】
システム構成の別の代替的実施態様では重ならないデジタル画像を利用する。この場合、諸部分はエッジで結合されるか、またはエッジ間にギャップ領域を有してよい。エッジ間にギャップがある場合は、表示されたデジタル画像の重要な特徴がギャップ領域に入らないように、画像をシフトできる。
【0012】
システム構成の別の代替的実施態様では、第1のディスプレイと第2のディスプレイが立体イメージとしてほぼ完全に重なるときに部分的に重なる第3のディスプレイと第4のディスプレイを用いる。
【0013】
ここで図1を参照するが、これは一般的にバックグラウンドの方法による外部マッピングを用いるデジタルイメージングシステムを示している。この実現においてマッピング機能は、コンピュータの外部にあるハードウェアとソフトウェアによって生み出される。デジタル画像はアプリケーションソフトウェア110によって作成され、合成器ソフトウェア104に送られる。デジタル画像は、たとえばコンピュータハードウェアメモリに記憶されている種々のソースから作成でき、または所定のアルゴリズムで生成できる。合成器ソフトウェア104は、コンピュータハードウェア100上で動くオペレーティングシステムソフトウェア102の一部である。合成器ソフトウェア104はデジタル画像を、グラフィックスハードウェア106上で動くグラフィックスドライバソフトウェア130に送る。グラフィックスドライバソフトウェア130はデジタル画像を多数の部分に分割して、これらの部分を当業界で一般的に既述されているやり方でプロジェクタ114、116および118に送る。
【0014】
例示的に、合成器104はコンピュータオペレーティングシステム102の部分であり、コンピュータによって示されるデジタル画像の種々の部分を整える。慣用的なコンピュータの動作により、合成器は種々のアプリケーションから表示されるウィンドウとオペレーティングシステムを組み合わせる。合成器はまた特定のオペレーティングシステム、たとえば透光性能力を有するマイクロソフトウィンドウズビスタ(登録商標)オペレーティングシステムにおいてウィンドウの透光性を処理する。
【0015】
デジタル画像は、動画像(ビデオとも呼ぶ)を形成する1つの静止画像または一連の静止画像を含んでいてもよい。デジタル画像はコンピュータ内で生成されるか、または外部でコンピュータから生成することができる。デジタル画像はコンピュータによりコンピュータ内の画像キャプチャカードで取り込める。
【0016】
プロジェクタ114、116および118はそれぞれ調光線120、122および124を投影する。光線120、122および124は、スクリーン126上に投影されたデジタル画像150を形成する。センサ112は投影されたデジタル画像150のパラメータを感知して、これらのパラメータをマッピングハードウェア108上で動くマッピングソフトウェア160に送る。マッピングソフトウェア160はマッピング機能を用いてマッピング信号を計算し、これらのマッピング信号をプロジェクタ114、116および118に送る。種々の実施態様において、マッピング機能はグラフィックスドライバソフトウェアとディスプレイを調整するように適合される。プロジェクタ114、116および118は、マッピング信号を用いてマッピング機能をグラフィックスドライバ130からのデジタル画像に適用する。マッピングハードウェア108はコンピュータハードウェア、たとえば慣用的なコンピュータ上で動くコンピュータカードであるか、またはマッピングハードウェア108はマッピング計算を実行するように特注設計された特殊なハードウェアであってもよい。マッピングハードウェア108がコンピュータハードウェアである一実施態様において、マッピングハードウェア108はコンピュータ100にインストールされたカードであってもよく、またはマッピング計算を実行することに特化した別個のコンピュータにインストールできる。マッピングハードウェア108がコンピュータハードウェアである別の実施態様において、マッピングハードウェア108は処理ユニットと、センサから画像データストリームを受け取るように構成されたデジタル通信リンクを含んでいてもよい。図1では合成器ソフトウェアはオペレーティングシステムの一部であるものとして示されているが、あるシステムでは合成器はオペレーティングシステムの外部に駐在できる。図1ではマッピングハードウェアおよびソフトウェアはコンピュータハードウェアの外部に駐在するものとして示されているが、マッピングハードウェアおよびソフトウェアはコンピュータハードウェアの一部であってもよい。
【0017】
図2は、マッピング機能の注入を実行するための手順200を示す。マッピング機能はデジタル画像を表示しているコンピュータに注入される。ステップ202でデジタル画像が作成される。これは適切な機構、たとえばMPEG、AVIなど所定のフォーマットのメディアデータファイルからピクセル情報を読み出すことによって起こり得る。さらに解凍、スケーリングまたはフォーマッティングの手順は、ピクセル情報を読み出すことの一部と見なされる。決定ステップ204で、デジタル画像がフルスクリーン画像として投影されるかに応じて決定される。フルスクリーン画像は、デジタルイメージングシステムの構成に応じて適切な機構により、たとえばユーザインターフェースやユーザAPIを通して、コンピュータハードウェアの内部または外部にある記憶されたメモリから決定でき、本明細書に組み入れられることは当業者には明らかである。フルスクリーン画像であるならば、ステップ206でマッピング機能を有するコンピュータコードの一部が合成器またはグラフィックスドライバに注入される。合成器は合成ソフトウェアからなり、グラフィックスドライバはグラフィックスドライバソフトウェアからなる。デジタル画像がフルスクリーン画像として投影されない場合は、ステップ208でマッピング機能を有するデジタル画像が適切なアプリケーションに注入される。ステップ210では、マッピング機能を有するデジタル画像から投影されたデジタル画像が形成される。随意のステップ212において、投影されたデジタル画像のパラメータが感知され、それらのパラメータに基づく信号が、ステップ206または208のマッピング機能を有するコンピュータコードの一部に送り返される。ステップ212は、所望される場合は全体的なデジタルイメージングシステムがフィードバックを用いて自動補正を実行することを可能にする。
【0018】
図3は、合成器に注入するデジタルイメージングシステムを示す。図3に示すデジタルイメージングシステムは、図2に示されたマッピング機能注入の手順200を用いる。デジタル画像がアプリケーションソフトウェア310によって作成され、合成器ソフトウェア304に送られる。マッピングソフトウェア308は内部で(コンピュータ内で)作動して、コンピュータコードの一部を合成器ソフトウェア304に注入する。この注入ステップは矢印340で示されている。マッピングソフトウェア308は以下に記す慣用的な技術を用いて合成器ソフトウェア304の実行の流れを妨害し、実行を変えてマッピング機能を適用させ、それから動作を合成器ソフトウェア304に戻す。合成器ソフトウェア304はコンピュータハードウェア300上で動くオペレーティングシステムソフトウェア302の一部である。合成器ソフトウェア304はマッピング機能を有するデジタル画像を、グラフィックスハードウェア306上で動くグラフィックスドライバソフトウェア330に送る。グラフィックスドライバソフトウェア330はデジタル画像を多数の部分に分割して、それらの部分をプロジェクタ314、316および318に送る。プロジェクタ314、316および318はそれぞれ調光線320、322および324を投影する。光線320、322および324は、スクリーン326に投影されたデジタル画像350を形成する。センサ312は投影されたデジタル画像350のパラメータを感知し、センサ312からの戻り矢印で表すように、これらのパラメータをマッピングソフトウェア308に送る。パラメータは、マッピングソフトウェアがそれらを用いてデータを修正し、それによって合成器に更新されたマッピング機能を供給するように編成される。
【0019】
より具体的には、例示的な実施態様において、ドライバまたはオペレーティングシステムなどのソフトウェアとのインターフェースは、アプリケーションプログラミングインターフェース(API)360、362、またはソフトウェア開発において通常の知識を有する者に周知の等効の機構を介して実現される。API360、362はそれぞれ必要に応じて合成器ソフトウェア304、グラフィックスドライバソフトウェア330および/または他のアプリケーション内に駐在できる。APIはアプリケーションの構築をサポートするために、ソフトウェアモジュール間に(そのようなモジュールが異なるソースまたは団体によって異なる時点で開発された場合)通信機構を供給する。例示的に、他のプログラムまたはプロセスによってAPIを呼び出すと、呼出しに含まれた情報に応じてコードが実行される。想定されているのは、API呼出しを妨害し、置換コードおよび/または異なるコードを挿入して実行することによって実行ストリームを修正し、次に(a)呼出しを正常に継続するか、または(b)呼出し側に返すことである。これは典型的に、既存のAPIインターフェースを修正することによって、すなわち既存のアプリケーションコードを指示する1つ以上の既存のAPIポインタをコピーして、これらを実行するための新しいコードを指示する新規のポインタ(APIブロック360、362内に示す)と置き換えることによって実現される。次にこの新しいコードは、(a)APIを呼び出したコードに戻るか、または(b)コピーされたAPIポインタを介して古いコードを呼び出し続け、必要なときに戻ることができる。例示的な実施態様において、グラフィックスドライバ330はAPI362を供給して、プログラム(たとえばオペレーティングシステム302)がグラフィックスドライバ330のコードを実行させる呼出しを行うことを可能にする(たとえば特定の位置でパターンをペイントする)。本発明は、最初のAPIポインタをコピーし、マッピングコード(308)を指示する新規のポインタを挿入することによってグラフィックスドライバ330へのAPI呼出しを妨害できる。このようにして、実行中に特定のAPI呼出しが行われたら、マッピングコードはAPI呼出しに含まれたデータを修正し、次にコード実行のストリームをコピーされたAPIポインタを介して前から存在するAPIコードに渡す。
【0020】
動作例を挙げれば、データが最初に特定のタイプ/モデルのディスプレイ、たとえばフラットスクリーンで表示するために初期化される場合、グラフィックスドライバレベルでデータを妨害するようにマッピングコードを適合させて、異なるタイプ/モデルのディスプレイ、たとえば異なるジオメトリのスクリーンで表示するように修正できる。次にマッピングコードは、オリジナルのグラフィックスドライバを介して表示するように伝達され得る。図示されていないが、上記のAPIおよびポインタ配置構成またはその適切な変法は図1および図4の実施態様に適用可能である。
【0021】
図4は、慣用的または特注設計されたグラフィックスドライバに注入するデジタルイメージングシステムを示す。図4に示すデジタルイメージングシステムは、図2に示されたマッピング機能注入の手順200を用いる。デジタル画像がアプリケーションソフトウェア410によって作成され、合成器ソフトウェア404に送られる。合成器ソフトウェア404はコンピュータハードウェア400上で動くオペレーティングシステムソフトウェア402の一部である。合成器ソフトウェア404はデジタル画像をグラフィックスハードウェア406上で動くグラフィックスドライバソフトウェア430に送る。マッピングソフトウェア408はコンピュータコードの一部をグラフィックスドライバソフトウェア430に注入する。注入ステップは矢印440で示されている。マッピングソフトウェア408はグラフィックスドライバソフトウェア430の実行の流れを妨害し、実行を変えてマッピング機能を適用させ、次に動作をグラフィックスドライバソフトウェア430に戻す。グラフィックスドライバソフトウェア430はデジタル画像を多数の部分に分割し、これらの部分をプロジェクタ414、416および418に送る。プロジェクタ414、416および418はそれぞれ調光線420、422および424を投影する。調光線420、422および424はスクリーン426に投影されたデジタル画像450を形成する。センサ412は投影されたデジタル画像450のパラメータを感知して、これらのパラメータをマッピングソフトウェア408に送る。
【0022】
図1、図3および図4の配置構成において、プロジェクタはディスプレイ装置として示されている。代替的実施態様において、プロジェクタは投影された画像以外の表示された画像を形成する他のディスプレイ装置で置き換えることができる。たとえば、そのような他のディスプレイ装置は直視ディスプレイ、たとえばフラットパネル液晶ディスプレイまたはプラズマディスプレイパネルを含んでいてもよい。
【0023】
プロジェクタは多様な電子装置、たとえば携帯電話、携帯ゲームシステム、ラップトップコンピュータおよび/または他の個人用電子装置に埋め込むことができる。例示的な実現において単一のプロジェクタを有する個人用電子装置は、本発明の実施態様に従いメニューのワーピングまたは画像を他の個人用電子装置と結合する目的のためにマッピング機能を用いることができる。
【0024】
また、図1、図3および図4の例示的な配置構成では3台のプロジェクタが示されているが、投影されたデジタル画像の所望される解像度、明度および他のパラメータに応じて1台、2台、3台、またはそれ以上のプロジェクタがあってもよい。デジタル画像は代替としてコンピュータ外部のソースによって作成され、アプリケーションソフトウェアまたは直接的に合成器に送られてよい。
【0025】
ここで明確にしておくと、たとえば図3と図4に示されている注入に基づくデジタルイメージングシステムの1つの利点は、図1に示した例示的なデジタルイメージングシステムとは対照的に、典型的に別個のマッピングハードウェアおよびソフトウェアがないことである。注入プロセスによりデジタルイメージングシステムは、注入のないデジタルイメージングシステムに比べて廉価、シンプルおよびコンパクトであることができる。
【0026】
注入に基づくデジタルイメージングシステムの別の利点は、商用オフザシェルフ(COTS)プロジェクタおよびCOTSグラフィックスカードで使用できる点である。図1に示すデジタルイメージングシステムは、マッピングソフトウェアからマッピング信号を受け入れる性能を有する特殊なプロジェクタを必要とする。特殊なプロジェクタは一般的に特殊なワーピングハードウェアと一緒に用いられる。COTSプロジェクタおよびグラフィックスカードは廉価で、一般に入手可能であり、異なるモデルまたはタイプのプロジェクタとコンピュータの間でより容易に互換性がある。互換性は、プロジェクタとグラフィックスカードを投影環境に対して最適に改善し、また誤機能の場合に容易に交換することを可能にする。
【0027】
注入に基づくデジタルイメージングシステムのさらに別の利点は、種々の市販されているコンピュータグラフィックスハードウェアで固有のハードウェアアクセラレーションを利用できる点である。マッピングのためのハードウェアとソフトウェアが別個になっているシステムは、一般的にこのハードウェアアクセラレーションを利用できない。
【0028】
例示的に、マッピング機能の使用は、(1)アプリケーション依存型と(2)アプリケーション独立型の2タイプに区分される。注入により、特殊なハードウェアを要することなく、COTSグラフィックスカードによるアプリケーション独立型マッピングが可能になる。
【0029】
以下に、マッピング機能およびシステムと方法の代替的な実施態様に関して、さらに考察する。
【0030】
例示的な実施態様において、マッピング機能の計算は一般的に、デジタル画像中のピクセルをサンプリングし、各ピクセルに対する新しい位置を計算し、次にマッピングされたデジタル画像を新しい位置のピクセルと結集すること、そして呼び出されたリサンプリングも含む。マッピング機能はまたピクセルの他の変換、たとえば輝度または色の変化も含むことができる。ピクセルの輝度マッピングはシェーディングとも呼ばれる。リサンプリングの間、ピクセル間の補間が所望される。補間は慣用的なアルゴリズムに従う最近接計算、線形計算または非線形計算を用いて実行できる。デジタル画像中の空間的位置とコンテンツに応じて白色レベル(コントラスト)、黒色レベル(輝度)、または他の画像パラメータを変化させるために、マッピング機能に空間変化フィルタが含まれ得ることが想定されている。空間変化フィルタは、ディスプレイによって導入されたブルーミングまたは他の二次効果を制御するために使用できる。
【0031】
デジタルイメージングシステムの要求に応じて、多様なマッピング機能を実行できる。マッピング機能はワーピング、ブレンディングおよびカラーマッチングを含んでいてもよい。ワーピングは、たとえば、多数のプロジェクタからの異なる投影角度を補償し、またはデジタル画像を湾曲したスクリーンに適合させて、投影されたデジタル画像を見るときに現れる歪みを最小とするために使用される。ツイストとズームは多数の部分から1つの投影されたデジタル画像を形成するときに、1つの画像の多数の部分を整合して互いに適合させるために使用される2タイプのワーピングと見なすことができる。ブレンディングは多数の部分から1つの投影されたデジタル画像を形成するときに、多数の部分のエッジを互いに適合させる。カラーマッチングは、投影されたデジタル画像の多数の部分を互いにマッチさせて、それらが1台のプロジェクタから出ているように見せるために使用する。カラーマッチングは特に多数のプロジェクタが異なる色出力を呈する場合に望ましい。最も廉価なCOTSプロジェクタは、緩い製造公差のために同じモデルのプロジェクタ間で大きな色の違いが生じることがあるため、しばしばカラーマッチングの恩恵を被る。マッピング機能により、おおよそのアライメントのみで多数のプロジェクタを所定の位置に置くことができる。次に、各プロジェクタによって投影された多数の部分から1つのデジタル投影画像を形成するために、マッピング機能を計算して画像の諸部分が縫い合わさせる。
【0032】
マッピング機能は固定した変換であるか、または時間的に変化する変換であることができる。時間的に変化する場合、変換はセンサフィードバックから計算されるか、または他の外部パラメータに基づいて計算することができる。計算はリアルタイムか、またはほぼリアルタイムに行うことができる。
【0033】
マッピング機能は全くコンピュータ計算によって(自動的に)決定されるか、または一部もしくは全部ユーザ入力によって(手動で)供給することができる。例を挙げると、ユーザはデジタル画像中の特定の要素の位置を直接制御したければ、画像を直接操作する手段、たとえばコンピュータマウスまたは他のユーザ入力装置を用いることができる。
【0034】
注入に基づくデジタルイメージングシステムを用いて目視者にメッセージなどの視覚情報を提供できる。視覚情報はデジタルイメージングシステムによって生成される要素、たとえばメニュー情報、装置制御情報、通知またはシステム状態情報からなっていてもよい。視覚情報はさらにコンピュータハードウェアシステム上で作動的に動く他のソフトウェア、たとえばプレゼンテーションアプリケーション、ゲームアプリケーションまたは種々のアプリケーションGUIウィジェット(これらに限定されない)によって作成されてもよい。視覚情報はさらに通信リンクもしくはネットワークリンクを通してデジタルイメージングシステムと作動的に通信されるデジタルイメージングシステム外部のコンテンツからなっていてもよい。例を挙げると、外部コンテンツ情報は情報のデータベースを保持するサーバまたはウェブサイト情報をホストするサーバから通信されることができる。情報はビデオや画像の形式またはその他のデータ形式で存在できる。さらに例を挙げると、使用される通信システムは、デジタルシステム、たとえばWi−fi、WIMAX、携帯システムおよび他の種々のデジタル通信システム(これらに限定されない)であってもよい。通信システムはさらにケーブルオペレータやアナログアンテナなどからアナログ信号を受け取るように構成できる。ビデオコンテンツはさらに当業者には明らかな慣用的な機構を用いてストリーム化できる。メッセージに含まれている情報は、アプリケーションソフトウェアによって、またはソフトウェアチェーンにおいて注入の時点か、それより前の任意の時点で挿入できる。視覚情報によりユーザは投影されたデジタル画像のパラメータまたは投影に使用される装置を制御できる。これらのパラメータは白色点の色または他の画像特性を含んでいてもよい。たとえば上述したコンピュータおよびオペレーティングシステムと関係するグラフィカルユーザインターフェースは、注入のオンとオフを切り替えるために利用できる。
【0035】
注入はソフトウェア制御により自動的にオンまたはオフに切り替えることができる。たとえばアプリケーションが合成器を迂回する場合は、画像に対して好ましくない変化を避けるために注入をオフにしてよい。代替として、注入はコンピュータコードの一部を合成器よりむしろアプリケーションに加えることができる。
【0036】
一実施態様において、合成器に注入されたコンピュータコードの一部は、他のコンピュータの外部、たとえば外部のマッピングハードウェアに置かれたマッピングソフトウェアの他の一部と通信するように構成および配置できる。
【0037】
オペレーティングシステムはまた、マッピングのために使用されるコンピュータコードの一部の注入を受け入れるように適合できる。たとえばオペレーティングシステムは、コンピュータコードの一部に変数を渡すことによって注入作業を円滑に行うように設計されてもよい。
【0038】
一実施態様に従い、テスト、アライメントおよび/またはフィードバックの目的のために投影されたデジタル画像にパターンを注入できる。目に見えないほど小さい変化を付けた透かしパターン、または他の目に見えないテストパターン、たとえば個別フレームを使用してもよい。センサは個別フレームに同期させることができる。三次元ユーザインターフェースは(当業者に明らかであるように)、コンピュータの制御、データの操作、ユーザに最も近接した環境との相互作用、またはユーザから最も遠隔した環境との相互作用の目的のために、投影されたデジタル画像に注入できる。
【0039】
目視者の視野または目視者のその他の条件に従い、頭部追跡、視線追跡またはその他の外部パラメータを用いて、注入されたマッピング機能を変更できる。ワーピングの例において、シミュレーションの目的のために、適当なワーピング頭部追跡を用いてドーム型スクリーンまたは他の没入型スクリーン上に投影されたデジタル画像を位置決めできる。例示的ワープを実現するための適切な幾何パラメータは当業者によって理解される。
【0040】
注入に基づくデジタルイメージングシステムは、投影されたデジタル画像を修正するために時間の関数としても使用できる。たとえばプロジェクタアライメントが(時間に連れて物理的ミスアライメントが起こり得るなどの理由で)特定の時間だけ認められる場合、この時間が経過した後で目に見える警告を注入できる。代替として、加熱効果など所定のパターンのアライメントドリフトを補償するために、特定の時間の後にマッピング機能を自動的に変更できる。別の実施態様において、マッピングを時刻に基づいて変更して、日中の動作では周囲光の増加を補償し、夜間の動作ではこの補償を取り除くことができる。別の実施態様において、マッピングは室温または湿度などの外部要因に依存できる。マッピングは参照テーブルであらかじめ決定できるか、またはリアルタイムまたはほぼリアルタイムに計算できる。
【0041】
システムの種々の実現においてフィードバックのために用いられるセンサは、スチルカメラ、例示的に1秒当り30フレームもしくはその他のフレームレートで動作するビデオカメラ、周囲光センサ、または投影されたデジタル画像もしくは周囲環境の特性を感知する任意のその他の装置を含んでいてもよい。スチルカメラの例では、コンピュータを使用してカメラに要求された通りに撮影させることができる。センサはプロジェクタの動作特性、たとえばそれらの温度または動作モードを決定するために使用することができる。
【0042】
ラジェーフ・J.スラティ他の米国公開特許出願第20080/246781Al号明細書「光学フィードバックを用いるディスプレイ調節と画像処理により改善されたディスプレイ品質を提供するためのシステムおよび方法」には、ディスプレイの光学・機械・熱・電子(OMTE)パラメータが記載されており、その教示内容は参照により有益な背景情報として本明細書に組み入れられる。OMTEパラメータはコンピュータ制御または手動制御によって修正してもよく、次いでマッピング機能はOMTEの変化とともに作動する画像に変換できる。
【0043】
デジタルイメージングシステムに対するマッピング機能注入の特殊な例は、次の3つの条件に基づいている。(1)デジタルイメージングシステムに注入されるマッピング機能が生成されていること;(2)オペレーティングシステムがマイクロソフトウィンドウズビスタ(登録商標)に例示される合成ソフトウェアを有しており、この合成ソフトウェアはマイクロソフトウィンドウズ(登録商標)におけるデスクトップウィンドウマネージャ(dwm.exe)、アップルのレオパード(登録商標)オペレーティングシステムにおける等効のウィンドウマネージャ、またはリナックス(登録商標)オペレーティングシステムにおけるコンピズ(商標)を含んでいてもよく;また、(3)合成ソフトウェアは一般的なライブラリ、たとえばダイレクトX(登録商標)、オープンGL(商標)またはDドロー(商標)によって策定できる。また、マッピング機能注入を可能にするために、呼び出されてスクリーンに表示する機能、たとえばダイレクトXにおけるプレゼントまたはオープンGLにおけるGLスワップ(または下層ライブラリにおけるより低いレベルの機能)がプロセスによって知られなければならない。一実施態様において、注入を実行するコンピュータコードの一部は、初期化に関係する合成ソフトウェアによって使用される機能を上書きする。コンピュータコードの一部はさらに、オリジナル機能から呼び出す機能で特定の関連する状態を検出する。これらの呼出しに先立ち、コンピュータコードの一部は状態を初期し、検査し、もしくは設定し、またはマッピングを適切なものとして成立させる。これはダイレクト3Dの例では、初期化のためのクリエートデバイスの作動中、またはプレゼントの作動中に起こり得る。この成立は通常メッシュに対する1組のシェーダまたは画像の頂点に対するシェーダを初期化して利用する。これはオープンGLではGLスワップの動作を含むであろう。一実施態様において、合成ソフトウェアまたはアプリケーションソフトウェアがスタートもしくは再スタートされる度に、コンピュータコードの一部を注入できる。
【0044】
また、種々の実施態様において、デジタルイメージングシステムへの注入を実現するために使用される特殊なハードウェアは、望ましくは市販のコンピュータグラフィックスボード、たとえばNVIDIA(カリフォルニア州サンタクララ)によって作られたクアドラ(商標)シリーズのグラフィックスカードを利用できることにも留意されたい。
【0045】
種々の実施態様において、マッピング機能の注入のその他の実現は、ディザリンの補正、ワーピング補正の前のディザリングの補正、ムラ欠陥の補正、透過型LCDプロジェクタに対するシェーディング補正、プロジェクタとカメラを埋設した携帯電話のためのマッピング、マルチレイヤシミュレーションのワーピング、たとえばマイクロソフトフライトシミュレーション(マイクロソフト社、ワシントン州レドモンド)、プロジェクタ上で動くマイクロソフトウィンドウCEオペレーティングシステムのメニューのワーピング、単一ディスプレイの半径方向歪み補正、単一ディスプレイの表示動作の調節、大型ディスプレイの一部のみ示すこと、たとえば方形ディスプレイの円形部分を示すこと、および1枚の壁または天井が異なる色または他の表面特性を有する場合に部屋の一角に投影して条件を補正することを含む。注入される具体的なパラメータは、当業者に明らかな慣用的なやり方で計算される。
【0046】
種々の実施態様において、多重コンピュータが用いられる。例を挙げると、第1のコンピュータシステムおよび第2のコンピュータシステムは、それぞれ第1の合成器および第2の合成器を有するように構成されている。第1のコンピュータと第2のコンピュータは、当業者には明らかなやり方で慣用的な通信リンクを介して互いに通信するように構成されている。コンピュータコードはそれぞれ第1のコンピュータと第2のコンピュータに注入される。動作中、第1のコンピュータは第1のマッピング機能を用いて表示信号を第1のディスプレイに出力し、これが表示されたデジタル画像を形成する。表示信号は部分的に第2のコンピュータと通信された情報に基づいている。同様に、第2のコンピュータは第2のマッピング機能を用いて表示信号を第2のディスプレイに出力し、これが表示されたデジタル画像を形成する。表示信号は部分的に第1のコンピュータと通信された情報に基づいている。
【0047】
種々の代替的実施態様において、マッピング機能はコンピュータ可読媒体に記憶されている。コンピュータコードは、当業者に明らかなように、コンピュータがコンピュータ可読媒体を読み取るとコンピュータハードウェアを制御するように作動的に構成されている。コンピュータシステムによって初期化されると、コンピュータコードは本明細書に記されていように作動的に機能するであろう。
【0048】
以上、本発明の例示的な実施態様について詳細に説明した。本発明の精神と範囲から逸脱することなく、様々な修正および追加を行うことができる。多数の特徴を提供するために、上記の種々の実施態様の各々は上記の他の実施態様と組み合わせることができる。さらに、上に本発明の装置と方法の幾つかの実施態様について具体的に説明したが、ここに記されているのは本発明の原理の応用を提示するものに過ぎない。たとえば図1、図3および図4に示されているように画像表示システムにおいて1台のコンピュータが設けられてよく、または画像表示システムにおいて2台以上のコンピュータが設けられてよい。合成器は多数のコンピュータまたは多数の中央処理ユニット(CPU)に分散させることができる。多数のコンピュータまたはCPUは拡張ローカルバス上に駐在でき、またはイーサネット(登録商標)などのネットワーク構成によって接続できる。また、図1、図3および図4に示されているように、画像表示システムにおいて1個のセンサを設けてもよく、または画像表示システムにおいて複数のセンサを設けてもよい。投影されたデジタル画像からパラメータを感知することなく所定のマッピング機能が行われる例において、デジタルイメージングシステムはセンサを全く有しなくてもよい。また、システムがパラメータ、ジオメトリなどを手動調節できるように適合されている場合、システムはセンサを全く有しなくてもよい。さらに、本明細書における教示は電子的ハードウェア、コンピュータ可読プログラムからなるソフトウェア、またはハードウェアとソフトウェアとの組合せを用いて実現できることが明確に想定されている。したがってこの説明は、単なる例示として取られることを意図するものであり、他の点で本発明の範囲を制限することを意図するものではない。

【特許請求の範囲】
【請求項1】
ディスプレイ品質を改善する方法であって、
コンピュータシステム上に作動的に配置および構成された合成器にコンピュータコードの一部を注入し;
前記コンピュータコードの一部を使用してマッピング機能を第1のデジタル画像に適用し;
適用されたマッピング機能を有する第1のデジタル画像の第2のデジタル画像を形成するステップを含む、ディスプレイ品質を改善する方法。
【請求項2】
さらに、表示されたデジタル画像を形成するために第2のデジタル画像をディスプレイに表示するステップを含む、請求項1記載の方法。
【請求項3】
表示されたデジタル画像の形成は多数のディスプレイによって実行され、各ディスプレイは表示されたデジタル画像の部分を形成する、請求項2記載の方法。
【請求項4】
多数のディスプレイはプロジェクタである、請求項3記載の方法。
【請求項5】
2台のディスプレイから表示されたデジタル画像の部分が一部重なるように、少なくとも2台のディスプレイが配置されている、請求項3記載の方法。
【請求項6】
2台のディスプレイから表示されたデジタル画像の前記部分がほぼ完全に重なるように、少なくとも2台のディスプレイが配置されている、請求項3記載の方法。
【請求項7】
2台のディスプレイから表示されたデジタル画像の前記部分が立体イメージを形成する、請求項6記載の方法。
【請求項8】
第3のディスプレイと第4のディスプレイは、第3のディスプレイと第4のディスプレイから表示されたデジタル画像の前記部分が一部重なるように配置されている、請求項6記載の方法。
【請求項9】
少なくとも2台のディスプレイは、2台のディスプレイから表示されたデジタル画像の前記部分が重ならずに結合されたエッジであるように配置されている、請求項3記載の方法。
【請求項10】
少なくとも2台のディスプレイは、2台のディスプレイから表示されたデジタル画像の前記部分がギャップ領域を有するように配置されている、請求項3記載の方法。
【請求項11】
前記ギャップ領域は多数のディスプレイのうちの1台より小さい、請求項3記載の方法。
【請求項12】
表示されたデジタル画像の特徴が前記ギャップ領域で表示されないように、表示されたデジタル画像の部分がシフトされる、請求項10記載の方法。
【請求項13】
さらに、表示されたデジタル画像の特性をセンサから感知し;
マッピング機能を制御するために表示されたデジタル画像の特性を使用することを含む請求項2記載の方法。
【請求項14】
前記特性はピクセルの位置である、請求項13記載の方法。
【請求項15】
前記マッピング機能はワーピング機能である、請求項1記載の方法。
【請求項16】
前記マッピング機能はカラーマッピング機能である、請求項1記載の方法。
【請求項17】
前記マッピング機能は空間変化フィルタである、請求項1記載の方法。
【請求項18】
前記マッピング機能は時間変化フィルタである、請求項1記載の方法。
【請求項19】
前記マッピング機能は輝度マッピング機能である、請求項1記載の方法。
【請求項20】
さらに、前記第1のデジタル画像はフルスクリーン画像であるか決定し;
前記デジタル画像がフルスクリーン画像であれば、コンピュータコードの一部を合成器に注入するステップを含む、請求項1記載の方法。
【請求項21】
さらに、前記デジタル画像がフルスクリーン画像でなければ、コンピュータコードの一部をアプリケーションに注入するステップを含む、請求項20記載の方法。
【請求項22】
マッピング機能で前記第1のデジタル画像を合成器に注入する前に、第1のデジタル画像に視覚情報を追加することを含む、請求項1記載の方法。
【請求項23】
視覚情報は三次元ユーザインターフェースを形成する、請求項22記載の方法。
【請求項24】
コンピュータコードの一部を注入するステップは自動的にオンまたはオフにされる、請求項1記載の方法。
【請求項25】
前記マッピング機能は、グラフィックスドライバソフトウェアとディスプレイの性能を調整するように適合される、請求項1記載の方法。
【請求項26】
ディスプレイ品質を改善する方法であって、
コンピュータコードの一部をグラフィックスドライバに注入し;
コンピュータコードの一部を使用してマッピング機能をデジタル画像に適用し;
適用されたマッピング機能を有するデジタル画像の表示されたデジタル画像を形成するステップを含む、ディスプレイ品質を改善する方法。
【請求項27】
さらに、デジタル画像がフルスクリーン画像であるか決定し;
前記デジタル画像がフルスクリーン画像であれば、グラフィックスドライバにコンピュータコードの一部を注入するステップを含む、請求項26記載の方法。
【請求項28】
さらに、前記デジタル画像がフルスクリーン画像でなければ、コンピュータコードの一部をアプリケーションに注入するステップを含む、請求項27記載の方法。
【請求項29】
デジタルイメージングシステムであって、
第1のコンピュータと;
第1のコンピュータ上で作動する第1の合成器と;
第1の合成器に注入されたコンピュータコードの一部と;
第1のコンピュータの出力から表示されたデジタル画像を形成し;
前記コンピュータコードの第1の部分は第1のマッピング機能を第1のコンピュータ内の第1のデジタル画像に適用することを含む、デジタルイメージングシステム。
【請求項30】
さらに、第2のディスプレイを含み、第1のディスプレイは表示されたデジタル画像の第1の部分を形成し、第2のディスプレイは、表示されたデジタル画像の第2の部分を形成する、請求項29記載のシステム。
【請求項31】
さらに、第2のコンピュータと;
第2のコンピュータ上で作動する第2の合成器とを含み、
第1のコンピュータと第2のコンピュータとの間の通信リンクは、第1のコンピュータと第2のコンピュータとの間で信号を受け取って、第1のディスプレイが第1のコンピュータの出力と第2のコンピュータの出力から表示されたデジタル画像を形成する、請求項30記載のシステム。
【請求項32】
さらに、第2のディスプレイを含み、前記第1のディスプレイは表示されたデジタル画像の第1の部分を形成し、第2のディスプレイは、表示されたデジタル画像の第2の部分を形成する、請求項31記載のシステム。
【請求項33】
コンピュータコードの第2の部分は第2の合成器に注入される、請求項31記載のシステム。
【請求項34】
コンピュータコードの第2の部分は、第2のコンピュータ上で作動するアプリケーションに注入される、請求項31記載のシステム。
【請求項35】
コンピュータコードの第1の部分は、コンピュータ外部のマッピングソフトウェアの一部と通信する、請求項29記載のシステム。
【請求項36】
コンピュータコードの一部を使用してマッピング機能をデジタル画像に適用し;
適用されたマッピング機能でデジタル画像の表示されたデジタル画像を形成し;
表示されたデジタル画像の特性を感知し;
前記特性を用いてマッピング機能を制御することを含むステップによって、ディスプレイ品質を改善するために、コンピュータシステムを作動的に制御するように構成されたコンピュータコードを含むコンピュータ可読媒体。
【請求項37】
前記特性はピクセルの位置である、請求項36記載の方法。
【請求項38】
前記マッピング機能はワーピング機能である、請求項37記載の方法。
【請求項39】
ディスプレイ品質を改善する方法であって、コンピュータコードの一部の注入を受け入れるようにコンピュータオペレーティングシステムを適合させ;
コンピュータオペレーティングシステムにコンピュータコードの一部を注入し;
コンピュータコードの一部を使用してマッピング機能をデジタル画像に適用し;
適用されたマッピング機能を有するデジタル画像の表示されたデジタル画像を形成することを含む、ディスプレイ品質を改善する方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate


【公表番号】特表2012−530941(P2012−530941A)
【公表日】平成24年12月6日(2012.12.6)
【国際特許分類】
【出願番号】特願2012−516334(P2012−516334)
【出願日】平成22年6月18日(2010.6.18)
【国際出願番号】PCT/US2010/039167
【国際公開番号】WO2010/148303
【国際公開日】平成22年12月23日(2010.12.23)
【出願人】(509258511)スケーラブル ディスプレイ テクノロジーズ インコーポレイテッド (2)
【Fターム(参考)】