表示装置およびそのための方法
画像を呈示する表示装置が、表示されるべき画像を受領する画像受領部（１０１）を有する。画像解析器（１０３）が、前記画像の少なくとも第一の領域上で局所的な画像プロファイル解析を実行してピクセル値空間的変動特性を決定する。画像解析器（１０３）はスケーリング・プロセッサー（１０５）に結合され、該スケーリング・プロセッサー（１０５）は、前記ピクセル値空間変動特性に応じて前記画像の少なくとも第二の領域をスケーリングする。スケーリング・プロセッサー（１０５）は呈示コントローラ（１０７）に結合され、該呈示コントローラ（１０７）はスケーリングされた画像を呈示する。スケーリングは特に、画像の鮮鋭さまたは空間周波数特性に依存して調整されてもよい。本発明は、一つまたは複数の画像の呈示の、該画像の特定の特性への改善された適応を許容しうる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ディスプレイ・システムに関し、これに限られないが特に大きなサイズの表示ウィンドウに一つまたは複数の画像を呈示するディスプレイ・システムに関する。
【背景技術】
【０００２】
現在、多くの画像ディスプレイのサイズが大きくなる傾向がある。たとえば、テレビジョン・ディスプレイは絶えずサイズが増大しており、４２インチのディスプレイが現在普通であり、さらに大きな、たとえば６０インチのディスプレイも一般に入手可能である。実際、今後、非常に大きなディスプレイ・パネル、たとえば壁の大半を覆うものが普及することもありうると予想されている。また、画像投影装置を使って、たとえば壁、反射スクリーンなどといった別のオブジェクトの表面上に表示を投影できる画像投影装置を使って、非常に大きな表示ウィンドウがしばしば達成される。
【０００３】
さらに、典型的なディスプレイのサイズが増大しつつあるのと同時に、表示されるコンテンツの特性の多様性も著しく増大している。たとえば、所与のディスプレイが、標準精細度（SD: Standard Definition）テレビジョン、高精細度（HD: High Definition）テレビジョン、非常に高解像度のコンピューター・ディスプレイ（たとえばゲーム）のための四倍精細度（QD: Quad Definition）ビデオ、低品質ビデオ・シーケンス（たとえば低データ・レートのウェブ・ベースのビデオ・コンテンツまたは携帯電話で生成されたビデオ）などのために使用されうる。
【０００４】
ディスプレイの増大した多様性およびサイズならびにソース・コンテンツの品質および解像度における増大した多様性のため、ユーザー経験を最適化するためには、ディスプレイ・システムをディスプレイおよびコンテンツ両方の特定の現在の特性に適応させることがますます重要かつ決定的になる。
【０００５】
提案されている一つのアプローチは、受領されたコンテンツをディスプレイの解像度までアップスケーリングすることである。たとえば、HDテレビジョンはSDビデオ信号をディスプレイのHD解像度までアップスケーリングして、このアップスケーリングされたバージョンを呈示することができる。しかしながら、そのようなアプローチは多くのシナリオにおいて魅力的な映像を提供しうるものの、いくつかの付随する欠点もある。特に、呈示される画像が多くのシナリオにおいて、もとのソース品質のため、あるいはアップスケーリング・プロセスに関する品質劣化のために比較低低品質であると知覚されてしまう。
【０００６】
実際、高解像度の多くの大型ディスプレイにとって、しばしばソース・コンテンツが知覚される画質のための制限要因となる。たとえば、６０インチのテレビジョンに表示される標準精細度映像は典型的には比較的低品質であると知覚されるであろう。実際、たとえアップスケーリングが適用されたとしても、しばしばそうである。アップスケーリングがノイズを導入し、鮮鋭でない画像の知覚を与えるからである。ピーキング（peaking）、色過渡改善（color transient improvement）、色向上（color enhancement）、ノイズ削減、デジタル・アーチファクト削減などといった最新技術の映像品質処理アルゴリズムも、典型的には、アップスケーリングされた素材に導入される、ノイズがあり鮮鋭でない印象を十分緩和することはできない。
【０００７】
よって、改善されたディスプレイ・システム、特に、柔軟性を高める、知覚される品質を改善する、ユーザー経験を改善する、操作を容易にする、実装を容易にするおよび／またはパフォーマンスを改善することを許容するシステムが有利であろう。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
したがって、本発明は、上述した欠点の一つまたは複数を単独でまたは任意の組み合わせにおいて好ましくは緩和、軽減または解消することを追求する。
【課題を解決するための手段】
【０００９】
本発明のある側面によれば、画像を呈示する表示装置であって：表示されるべき画像を受領する手段と；前記画像の少なくとも第一の領域上で局所的な画像プロファイル解析を実行してピクセル値の空間的変動を表す特性を決定する解析手段と；前記ピクセル値空間変動特性に応じて前記画像の少なくとも第二の領域をスケーリングするスケーリング手段と；スケーリングされた画像を呈示する呈示手段とを有する表示装置が提供される。
【００１０】
本発明は、一つまたは複数の画像の改善された呈示を許容しうる。特に、画像についての、表示ウィンドウ・サイズのような幾何学的特性が、呈示される画像の空間変動特性に合うよう調整されうる。本発明は、多くの実施形態において、多数の異なる型の画像信号および信号源への改善された適応を許容しうる。特に、本アプローチは、表示ウィンドウ・サイズを、画像の鮮鋭さまたは品質に合わせて適応することを許容しうる。特に、本発明は、単に画像のピクセル解像度に基づく最適化を許容しうるのではなく、この最適化が画像自身の実際の品質に依存できるようにしうる。たとえば、同じ解像度をもつ異なる画像が、その解像度内の画像の実際の鮮鋭さに依存して異なる仕方でスケーリングされうる。特に、スケーリングは、その解像度でもともと生成された画像とその特定の解像度になるようアップスケーリングされた画像とで異なることがありうる。本発明はたとえば、画像の表示されるサイズが、画像の（現在のまたはもとの）視覚的品質に依存することを許容しうる。このように、単に画像をスケーリングして特定のディスプレイ・サイズに当てはまるようにし、所与の知覚される品質を与えるようするのではなく、本発明は、いくつかの実施形態では、画像のスケーリング（たとえばサイズまたはスケーリング・アルゴリズムの種類）が所望される知覚される品質を与えるよう調整されることを許容しうる。
【００１１】
画像は、ビデオ信号の画像のように、画像シーケンスの画像であってもよい。ピクセル値はたとえば、ルミナンスおよび／または色値であってもよい。
【００１２】
画像は前置スケーリングされた画像であってもよい。たとえば、表示装置は入力画像を所与の解像度にスケーリングする前置スケーリング器を有していてもよい。たとえば、前置スケーリング器は、種々の解像度をもつ種々の入力画像を同じ所定の／固定された解像度にスケーリングするよう適応されていてもよい。こうして、前記解析は、既知の所定の／固定された解像度をもつが特定の視覚的品質をもつ画像に対して実行されてもよい。前置スケーリングされた画像は次いで前記スケーリング手段においてスケーリングされて、特定のピクセル値空間変動特性について好適な、所望される特性（たとえばサイズ）を与えてもよい。所定の／固定された解像度は特に、画像が呈示されるディスプレイの最大解像度に対応してもよい。
【００１３】
場合によっては、前記解析手段が、前記画像を所定の／固定された解像度に前置スケーリングする前置スケーリング器を有していてもよい。こうして、前記解析は、既知の所定の／固定された解像度をもつ画像に対して実行されてもよい。しかしながら、前記スケーリングは前置スケーリングに先立って前記画像に対して実行されてもよい。すなわち、もとの解像度の画像に対して実行されてもよい。よって、スケーリングの適応は、前置スケーリングされた画像ともとの画像の解像度の間の差を考慮に入れてもよい。
【００１４】
本発明の任意的な特徴によれば、前記解析手段は、少なくとも前記第一の領域上で局所的な空間周波数の空間周波数解析を実行して、空間周波数特性を含むよう前記ピクセル値空間変動特性を生成するよう構成される。
【００１５】
これは、特に有利なパフォーマンスを提供しうる。特に、計算量が少ないが、それでいて根底にある画像の正確な鮮鋭さ（および／または信号の複雑さおよび／または視覚的品質／正しさ／美しさ／詳細）の指標を提供することができ、画像のスケーリングの最適化の基礎になる特に好適なパラメータを提供しうる。
【００１６】
前記空間周波数解析は、前記画像に対して直接実行されても、あるいは前記画像の修正バージョンに対して実行されてもよい。たとえば、空間周波数解析は、画像のアップスケーリング／前置スケーリングされたバージョンに対して実行されてもよい。空間周波数特性は、スケーリングが適用されない場合に呈示される画像の空間周波数を示してもよい。
【００１７】
本発明の任意的な特徴によれば、前記解析手段は、少なくとも前記第一の領域上で鮮鋭さ解析を実行して、鮮鋭さ特性を含むよう前記ピクセル値空間変動特性を生成するよう構成される。
【００１８】
これは、特に有利なパフォーマンスおよび画像呈示を提供しうる。特に、多くのシナリオにおいて、表示される画像のサイズが、画像の特定の特性値について最適化されることを許容しうる。
【００１９】
本発明の任意的な特徴によれば、前記解析手段は、少なくとも前記第一の領域上でテクスチャー解析を実行して、テクスチャー特性を含むよう前記ピクセル値空間変動特性を生成するよう構成される。
【００２０】
これは、特に有利な画像呈示を提供しうるおよび／または解析を容易にしうる。
【００２１】
本発明の任意的な特徴によれば、前記解析手段は、少なくとも前記第一の領域上でピクセル値分布解析を実行して、ピクセル値分布特性を含むよう前記ピクセル値空間変動特性を生成するよう構成される。
【００２２】
これは、特に有利な画像呈示を提供しうるおよび／または前記解析を容易にしうる。前記分布はたとえばヒストグラムによって表現されてもよい。前記分布はまず一つまたは複数の画像セグメントにおいて決定されてもよい。個々の分布は次いで、組み合わされた分布に組み合わされてもよく、前記ピクセル値分布特性は組み合わされた分布の特性として決定されてもよい。もう一つの例として、各セグメント分布について特性が決定されてもよく、それらの特性が次いで組み合わされてもよい。たとえば、各セグメントについてのピクセル値分散が計算され、平均ピクセル値分散を決定するために使われてもよい。
【００２３】
本発明の任意的な特徴によれば、前記解析手段は、少なくとも前記第一の領域上で符号化アーチファクト解析を実行して、符号化アーチファクト特性に応答して前記ピクセル値空間変動特性を生成するよう構成される。
【００２４】
これは、多くのシナリオにおいて改善されたパフォーマンスを提供しうる。復号アーチファクト特性は、空間周波数特性のような別の特性を補償するために使用されてもよく、および／または前記スケーリングを適応させるために直接使用されてもよい。具体的には、前記ピクセル値空間変動特性は前記符号化アーチファクト特性を含んでいてもよい。
【００２５】
本発明の任意的な特徴によれば、前記解析手段は、少なくとも前記第一の領域上で動き解析を実行して、動き特性を含むよう前記ピクセル値空間変動特性を生成するよう構成される。
【００２６】
これは、多くのシナリオにおいて改善された呈示を提供しうる。動き特性は、特に、一つまたは複数の画像オブジェクトの動き特性であってもよい。
【００２７】
本発明の任意的な特徴によれば、本表示装置はさらに、少なくとも前記第一の領域上で内容解析を実行する手段を有し、前記スケーリング手段は、内容特性に応答して前記第二の領域をスケーリングするよう構成される。
【００２８】
これは、多くのシナリオにおいて改善された画像呈示を提供しうる。前記内容解析は特に、画像についての内容カテゴリーを判別してもよく、前記スケーリングは、その内容カテゴリーについての所定のバイアスに従って修正されてもよい。
【００２９】
本発明の任意的な特徴によれば、前記スケーリングはクロッピングを含む。
【００３０】
これは、多くのシナリオにおいて改善された画像呈示を提供しうる。クロッピングは特に、画像変動特性がある基準を満たすときに実行されてもよい。どの部分をクロッピングし、あるいは保持するかの選択は、画像の局所的な空間特性に依存してもよい。
【００３１】
本発明の任意的な特徴によれば、前記スケーリングはさらに、スケーリングされた画像を表示するために利用可能な表示ウィンドウの特性に依存する。
【００３２】
これは、多くの実施形態において改善された画像呈示を提供しうる。スケーリングされた画像を表示するために利用可能な表示ウィンドウの特性は、特に、該表示ウィンドウのサイズであってもよい。このアプローチは、潜在的な最大表示ウィンドウが変わりうる実施形態では特に有利でありうる。たとえば、表示が、あらかじめ予測できない種々の表面（壁、ドア、フロントガラスなど）に投影される実施形態においてきわめて有利でありうる。
【００３３】
本発明の任意的な特徴によれば、前記スケーリングは、所望のウィンドウ・サイズに対応する解像度への解像度スケーリングを含む。これは典型的には非線形であってもよい。
【００３４】
これは、多くの実施形態において改善されたおよび／または容易にされた実装および／または有利なパフォーマンスを許容しうる。
【００３５】
本発明の任意的な特徴によれば、前記解析手段は、少なくとも一つの画像オブジェクトについて画像オブジェクト空間プロファイル特性を決定するよう構成され（すなわち、セグメンテーションもしくはオブジェクト検出などから帰結したものであってよい当該オブジェクトを通じてどのくらいピクセル値が変動するかを見る）、前記スケーリング手段は、前記オブジェクト空間プロファイル特性に応答して前記スケーリングを実行するよう構成される。
【００３６】
これは、多くの実施形態において有利な画像呈示および／またはパフォーマンスを提供しうる。
【００３７】
本発明の任意的な特徴によれば、前記画像は、複数の画像を含むビデオ・シーケンスの画像であり、前記解析手段は前記ビデオ・シーケンスに対して時間的な解析を実行して時間的ピクセル値変動特性を生成するよう構成され、前記スケーリング手段は前記第二の領域を、前記時間的ピクセル値変動特性に応答してスケーリングするよう構成される（たとえば、静的なシーンは複雑な動きのある活発なシーンより大きく示されてもよい）。
【００３８】
これは、多くの実施形態において有利な画像呈示および／またはパフォーマンスを提供しうる。特に、時間的ノイズが判別されることを許容しうるとともに、前記スケーリングがこのノイズについてもさらに最適化されることを許容しうる。時間的ピクセル値変動特性は、空間周波数特性のような他の特性を補償するために使われてもよく、および／またはスケーリングを適応させるよう直接使用されてもよい。時間的ピクセル値変動特性は特に時間的ピクセル・ノイズ特性であってもよい。
【００３９】
本発明の任意的な特徴によれば、前記呈示手段は、表示ウィンドウのサブウィンドウ中に前記画像を呈示するよう構成され、当該装置はさらに、前記表示ウィンドウの別のサブウィンドウ中に別の画像を呈示する手段を有する。
【００４０】
これは、多くの実施形態において有利な画像呈示および／またはパフォーマンスを提供しうる。特に、改善されたユーザー経験を提供しうるとともに、さまざまな情報のユーザーに対する柔軟かつ動的な呈示を許容しうる。
【００４１】
本発明のある側面によれば、画像を呈示する方法であって：表示されるべき画像を受領する段階と；前記画像の少なくとも第一の領域上で局所的な画像プロファイル解析を実行してピクセル値空間変動特性を決定する段階と；前記ピクセル値空間変動特性に応じて前記画像の少なくとも第二の領域をスケーリングする段階と；スケーリングされた画像を呈示する段階とを含む方法が提供される。
【００４２】
最適なスケーリングは典型的には実際のディスプレイの近くで行われるが、リモート・サーバーなどで行われることもできる。画像処理装置がのちの使用のためにメモリ（たとえばIC、光ディスク……）中に信号を記憶してもよく、あるいは（可能性としては異常サイズまたはアスペクト比を考慮に入れる特別なエンコード後（あるいはいくつかの表示手段のための異なる信号に分割した後）に、たとえばメイン・カットアウトを補足するための補助信号とともに）信号をネットワークを通じて送ってもよい。本発明に基づく可能なディスプレイの各機能はみな、典型的にはICまたは他の画像処理デバイス（たとえば汎用プロセッサ上のソフトウェア）（の一部）において実行されうる。
【００４３】
本発明のこれらおよびその他の側面、特徴および利点は、以下に記載される実施形態から明白となり、これを参照することで明快にされるであろう。
【図面の簡単な説明】
【００４４】
本発明の諸実施形態について、単に例として、図面を参照して述べる。
【図１】本発明のいくつかの実施形態に基づくディスプレイ・システムの例を示す図である。
【図２】ａ〜ｃは、本発明のいくつかの実施形態に基づく画像の表示の例を示す図である。
【図３】本発明のいくつかの実施形態に基づくディスプレイ・システムの例を示す図である。
【図４】本発明のいくつかの実施形態に基づく画像の表示の例を示す図である。
【図５】ａ〜ｆは、最適な視覚的品質を生じるスケーリングの一般原理のいくつかの例示的なシナリオを示す図である。
【発明を実施するための形態】
【００４５】
以下の記述はディスプレイ・システムに適用可能な本発明の実施形態に、特にディスプレイ・パネル上に画像を表示するまたは表面上に画像を投影するディスプレイ・システムに焦点を当てているが、本発明がそのような用途に限定されないことは理解されるであろう。
【００４６】
図１は、一つまたは複数の画像を呈示する表示装置の例を示している。
【００４７】
本表示装置は、表示されるべき一つまたは複数の画像を受領する画像受領部１０１を有する。この特定の例では、画像受領部１０１は画像のシーケンスを含むビデオ信号（たとえば、各画像がビデオ信号のフレームに対応する）を受領する。
【００４８】
画像受領部１０１が、内部の源でも外部の源でもよいいかなる好適な源から画像を受領してもよいことは理解されるであろう。たとえば、ビデオ／画像信号は当該表示装置においてローカルに格納されているまたは生成されるのでもよいし、あるいは外部源から受領されてもよい。
【００４９】
今の例では、本ディスプレイ・システムは、SD、HDおよびQDビデオ信号、低い解像度および品質（非常に低いデータ・レート）のビデオ・シーケンス、高解像度映像などを含む多様な異なる信号を受領しうる。
【００５０】
画像受領部１０１は画像解析器１０３およびスケーリング・プロセッサ１０５に結合される。画像解析器１０３はさらにスケーリング・プロセッサ１０５に結合される。
【００５１】
画像解析器１０３は、ピクセル値空間変動特性を決定するために、前記画像の少なくとも第一の領域（これはたとえば前記画像上に一様にまたは内容に基づいて非一様に分散した20個のN×Mピクセル・ブロックであってもよい；結果として得られる特性は典型的には平均のたとえば鮮鋭さであってもよいが、より複雑な多次元記述であってもよい）に対して局所的な画像プロファイル解析を実行するよう構成される。ピクセル値空間変動特性は次いでスケーリング・プロセッサ１０５に入力され、該スケーリング・プロセッサ１０５はピクセル値空間変動特性に応答して前記画像の少なくとも一つの領域をスケーリングすることに進む。スケーリングされる領域は、ピクセル値空間変動特性が決定される領域と同じであってもよいが、そうである必要はない。さらに、解析される領域および／またはスケーリングされる領域は、処理される画像の画像領域全体に対応してもよい。
【００５２】
スケーリング・プロセッサ１０５は呈示コントローラ１０７に結合され、該呈示コントローラ１０７はスケーリング・プロセッサ１０５から受領されるスケーリングされた画像を呈示するよう構成される。今の特定の例では、呈示コントローラ１０７は表示デバイス１０９（これは当該表示装置の外部であってもよい）に結合されており、該表示デバイスのための好適な駆動信号を生成する。たとえば、表示デバイス１０９は、６０インチまたはより大きなLCDまたはプラズマ・ディスプレイ・パネルのような、非常に大型のディスプレイ・パネルであってもよい。呈示コントローラ１０７は次いで、ディスプレイ・パネルのための好適な表示信号を生成しうる。もう一つの例として、表示デバイス１０９は、壁面または反射スクリーンまたはオブジェクト（の一部）といった外部表面に画像を投影することのできるプロジェクターであってもよく、呈示コントローラ１０７は該プロジェクターのための好適な駆動信号を生成してもよい。
【００５３】
今の例では、表示デバイス１０９は大きなサイズの映像を表示するよう構成される。たとえば、表示デバイスは、数メートル以上の対角線をもつディスプレイであってもよいし、あるいは数メートル以上の対角線をもつ画像を投影するよう意図されたプロジェクターであってもよい。
【００５４】
先述したように、本表示装置は、多様な異なる源からの、多様な特性をもつコンテンツを受領するよう構成される。特に、多様な解像度および多様な画質をもつコンテンツが受領されうる。たとえば、本表示装置は、もともとQDまたはHDで生成されたコンテンツ、アップスケーリングによって生成されたHDコンテンツ、SDコンテンツ、（たとえば携帯電話からの）低品質ビデオ・シーケンス、高解像度写真、種々のフォント・サイズおよびテキスト量をもつテキスト・ベースの画像コンテンツなどを受領することがある。
【００５５】
このように、受領されたコンテンツの解像度が大幅に変わりうるばかりでなく、同じ解像度であっても画像コンテンツの特性も多様でありうる。例として、たとえば1440×720の解像度をもつが、非常に困難なコンテンツ特性をもつ種々の信号が受領されることがある。たとえば、このHD解像度におけるある信号は、この解像度でそのコンテンツを直接生成したHD信号源から受領されることがありうる。表示デバイス１０９が好適なサイズおよび解像度（たとえばネイティブ解像度1440×720）をもつパネル・ディスプレイであれば、この画像は高品質で呈示されることになり、非常に明瞭でくっきりして見えるであろう。しかしながら、他のシナリオでは、この信号は、SD信号をアップスケールすることによって生成されたこともありうる。そのようなアップスケーリングは多くのシナリオにおいて受け容れ可能な結果を提供しうるが、アップスケーリング・プロセスは理想的ではなく、さらにノイズおよびアーチファクトを導入しうる。よって、呈示される画像は低下した品質となり、たとえ同じ解像度にアップスケーリングされていても、見る者には低下した品質のものとして見える。第三の例として、1440×720信号は非常に低解像度の元信号（たとえば携帯電話で撮影された、たとえば解像度352×288のビデオ）に由来するものであってもよい。そのようなシナリオでは、アップスケーリングされた1440×720信号の画質は比較的低くなり、見る者にとって、明らかに最適でない画像を呈示することになる。
【００５６】
そのような品質変動の影響は大きなディスプレイ・サイズでは特に問題である。たとえば、源品質が低い画像を６０インチのテレビジョンでまたは数平方メートルの投影表示領域に呈示することは、画像が低品質であると知覚される結果となり、典型的にはノイズがあるように見えるばかりでなく、不鮮明で、ぼやけているようにも見える。画像がより高い解像度にアップスケーリングされているにもかかわらず、そうである。
【００５７】
鮮鋭さに欠ける印象は、主として、表示される画像の周波数内容が人間の眼が分解できる最大解像度よりはるかに低い（そして通例、表示されるオブジェクトについて見えるはずの周波数より低い）ことから生じる。この最大解像度は約30サイクル毎度である。これは、大画面ディスプレイの近くに立って、60度の視角で見ているとき、最適な鮮鋭さの知覚のためには少なくとも1800サイクルすなわち3600ピクセルが必要とされることを意味する。しかしながら、より低い周波数の源画像（たとえばもとのSD画像または低解像度画像）が含むピクセルはそのような鮮鋭さを与えるにはあまりに少なすぎる。さらに、最新技術を使った解像度アップスケーリングでさえ、典型的には十分高い分解可能なピクセル解像度を与えることはできず、したがってアップスケーリングされた画像はしばしばぼやけていると知覚される。さらに、アップスケーリングは、呈示される画像において知覚可能なノイズおよびアーチファクトを導入しうる。
【００５８】
実際、アップスケーリング技法は既存のサンプルの間の中間位置におけるサンプル（ピクセル）を生成するものである。生成されたサンプルはもとのピクセルとある種の相関をもち、したがって、前記より高い解像度での源信号と同じ鮮鋭さの情報を与えるものではない。さらに、もとの画像にノイズが存在する場合、生成される追加的なピクセルは一層相関付けられる傾向があり、それにより鮮鋭さの知覚をさらに低下させる。さらに、もとの信号におけるノイズは今や複数のピクセルに拡張されており、したがってより大きなノイズ実体として表示され（アップスケーリングおよびより大きなスクリーン・サイズでの表示のため）、したがってより目につくようになる。
【００５９】
このように、十分な品質の入力素材、たとえばもともとHDである源信号についての呈示される画像は鮮明でくっきりして見えるであろうが、より低い品質の源素材についての呈示される画像は、実質的により低い品質であると知覚されることになり、実際、（たとえ高品質アップスケーリングが適用されていたとしても）受け容れられない品質であると知覚されることもある。
【００６０】
本発明者らは、表示される画像の周波数内容が人間の眼の最大分解可能な解像度に近いまたさらにはそれ以上である場合に知覚的な品質が最高であることを認識するに至った。実際、本発明者らは、ディスプレイ・システムまたは画像の解像度に依存する特性をもつ画像を呈示するのではなく、画像中の局所的なピクセル値空間変動に依存して画像の少なくとも一部をスケーリングすることが有利でありうることを認識するに至った。実際、そのようなアプローチは、呈示される画像の空間的周波数、よって鮮鋭さを直接制御するために使用されてもよい。
【００６１】
こうして、図１のシステムにおいて、画像解析器１０３は、ピクセル値変動を特徴付けるために、たとえば画像全体に対して局所的な画像プロファイル解析を実行しうる。たとえば、もともとHDであるコンテンツに由来するHD信号については、局所的なピクセル値変動がいくつかの場所（鮮鋭なエッジに対応）において非常に実質的（鮮鋭〔シャープ〕）でありうる可能性が高い。この鮮鋭さは、さまざまな近傍における高い局所的な変動性によって反映されてもよい（たとえば、直径がたとえばNピクセルの領域内の非常に明るいピクセルおよび非常に暗いピクセル両方が映像内の少なくともいくつかの場所に見出せる）。具体的には、ピクセル値の空間周波数内容は（（解像度に対応する）空間的サンプル周波数についての）利用可能なスペクトルの大半をカバーしうる。しかしながら、同じ解像度だが（より低い解像度のもとの画像のアップスケーリングに起因して）より低い画質の信号については、エッジがそれほど鮮鋭でなく、ピクセル変動もより少ないため、そのような値／特性は実質的により低くなる可能性が高い。このように、画像解析器１０３は画像解析を実行して、具体的には上述した値の一つまたは複数を含みうるピクセル値空間変動特性を決定する。解析は、閲覧の幾何学的関係（閲覧者〔見る者〕がディスプレイからどのくらい遠いか）および閲覧者の選好（映像のぼやけた見え方を一部の閲覧者は好む一方、他の閲覧者は批判的である）のような因子を考慮に入れてもよい。この後者の場合、スケーリング器は典型的には、閲覧者選好を記憶するメモリまたはリアルタイムのユーザー入力手段へのアクセスをもつことになろう。
【００６２】
ピクセル値空間変動特性は次いでスケーリング・プロセッサ１０５に入力される。該スケーリング・プロセッサ１０５は、ピクセル値空間変動特性に依存して受領された画像をスケーリングすることに進む。スケーリングはたとえば、呈示されるときの画像のサイズの単純な調整であってもよい。
【００６３】
たとえば、表示デバイス１０９がプロジェクターである場合、スケーリング・プロセッサ１０５は、表示されるサイズを調整することによって、単純に信号をスケーリングしてもよい。これはたとえば、画像が拡大または縮小されるようプロジェクターの光学系を制御することによって達成されてもよい。これは事実上、呈示される画像のピクセル・サイズを変えることに対応しうる。
【００６４】
もう一つの例として、解像度スケーリングが適用されてもよい。たとえば、プロジェクターが1920×1080の解像度をもち、たとえば3mかける1.7mの対応する表示ウィンドウ内にフル解像度画像を表示するよう構成されている場合、スケーリング・プロセッサ１０５は、ピクセル値空間変動特性に依存して、より小さなサイズに対応するよう、画像の解像度を修正してもよい。
【００６５】
たとえば、高品質信号（たとえばピクセル値空間変動特性が高い変動を示す）については、スケーリング・プロセッサ１０５は利用可能なフル解像度、すなわち1920×1080ピクセルを使ってもよい。しかしながら、低品質信号（たとえばピクセル値空間変動特性が低い変動を示す）については、スケーリング・プロセッサ１０５は利用可能なフル解像度のサブウィンドウだけを使ってもよい。たとえば、低品質信号について、スケーリング・プロセッサ１０５は480×270の解像度をもつ画像を生成して、フルの1920×1080画像の中央に位置させてもよい。したがって、プロジェクターは75cmかける42cmのウィンドウ・サイズ内にのみ画像を呈示することになる。だが、このより小さい表示サイズでは、画像は比較的高めの品質であると知覚されることになる。特に、ノイズおよびアーチファクトはそれほど知覚できるようスケーリングされず、それによりそうしたノイズやアーチファクトがより優勢となる可能性が補償される。さらに、呈示される画像の解像度が、人間の眼が分解できる最大解像度にずっと近くなる（あるいはそれを超えさえする）。よって、画像は、実質的により鮮鋭であるように知覚される。
【００６６】
ちょうど同じアプローチが、たとえば対応する1902×1080の解像度をもつ3mかける1.7mのサイズのディスプレイ・パネルについて使用されうることは理解されるであろう。
【００６７】
上記の特定の例では、スケーリング・プロセッサ１０５は、所望されるウィンドウ・サイズに対応する解像度までの解像度スケーリングを実行する。よって、この例では、スケーリング・プロセッサ１０５からの出力信号はフル表示ウィンドウに対応する固定された解像度（たとえば投影される領域全体または大型ディスプレイのフル解像度）をもつ。スケーリング・プロセッサ１０５は次いで、入力画像の（たとえばビデオ信号の）スケーリングを実行して、表示デバイスによって呈示されたときに所望される表示ウィンドウ・サイズを与える解像度をもつ画像を与えることに進む。
【００６８】
この解像度スケーリングは、より低い解像度（たとえばSD解像度）から特定の表示ウィンドウに対応するより高い解像度へのアップスケーリングを含みうる。このアップスケーリングは、当業者に知られている高度なアップスケーリング技法を使うことを含んでいてもよい。しかしながら、たとえば、所望されるウィンドウ・サイズが受領された画像の解像度より低い画像解像度に対応する場合など、解像度スケーリングはまたダウンスケーリングを含んでいてもよいことは理解されるであろう。また、実施形態によっては、受領された画像信号はすでに表示デバイスの解像度に対応する解像度であってもよく、よってスケーリング・プロセッサ１０５のスケーリングは変化なしまたはダウンスケーリングであってもよい。
【００６９】
また、スケーリング・プロセスは単に入力画像の直接的なスケール変更に対応するものでなくてもよく、非常に高度な局所化された柔軟なスケーリング・アプローチを適用してもよいことは理解されるであろう。また、スケーリングは、画像全体に適用されるのでなくてもよく、画像の一つまたは複数の領域に適用されてもよい。実際、スケーリング・プロセッサ１０５は、ピクセル値空間変動特性に依存して画像をクロッピングすることによって、呈示される画像のサイズを調整してもよい。
【００７０】
一例として、スケーリング・プロセスは、前景画像オブジェクトおよび背景を識別する画像解析を含んでいてもよい。次いで背景が所望されるウィンドウ・サイズまでアップスケールされてもよい。一方、画像オブジェクトは同じ解像度に維持され、アップスケールされた背景中に挿入される。
【００７１】
実際、スケーリングは、表示デバイス１０９によって表示されるときに画像のサイズに影響するいかなるプロセスまたはアルゴリズムを含んでいてもよい。たとえば、プロジェクターについて、スケーリング・プロセッサ１０５はいかなる仕方で画像を修正してもよく、呈示コントローラ１０５には常に未修正の画像信号を提供してもよい。しかしながら、さらに、スケーリング・プロセッサ１０５は、プロジェクターの光学系に入力される制御信号を生成してもよい。すると制御信号が、適切なサイズの表示される画像を与えるよう光学系を制御しうる。
【００７２】
このように、図１のディスプレイ・システムは、画像（または画像の一部）が表示される表示ウィンドウを、ピクセル値空間変動特性に依存して自動的に適応させる。ピクセル値空間変動特性は画像コンテンツの品質または鮮鋭さを示すので、これは、改善されたユーザー経験および改善された品質知覚を提供するよう呈示される画像の自動的な適応を許容する。
【００７３】
いくつかの実施形態では、画像受領部１０１は、入力信号についての前置スケーリングを実行しうる前置スケーリング器を有してもよい。たとえば、入力画像は固定因子によって前置スケーリングされてもよい（たとえば、４倍線形アップスケーリング器のような所定のアップスケール・プロセスによってアップスケーリングされてもよい）。これは、たとえば、入力信号がSD信号（またはそれ以下）であり、ディスプレイがQDディスプレイであるときに適切でありうる。このように、画像受領部１０１は、画像をすぐフル表示ウィンドウ・サイズに対応する解像度に近い解像度までアップスケーリングする前置スケーリングを適用してもよい。画像解析器は次いで、ピクセル値空間変動特性を決定するために、たとえば空間周波数成分を評価することによって、前置スケーリングされた画像を処理してもよい。結果が受け容れ可能と考えられる場合には、前置スケーリングされた画像は直接使われてもよい。しかしながら、高周波数成分が低すぎる（これは画像が不鮮明に見えるであろうことを示す）場合には、スケーリング・プロセッサ１０５は前置スケーリングされた画像をさらにスケーリングする。特に、スケーリング・プロセッサ１０５は典型的には、前置スケーリングされた画像をより低い解像度にダウンスケーリングしてもよい。
【００７４】
実際、いくつかのシナリオでは、スケーリング・プロセッサ１０５が前置スケーリング器として使われてもよい。たとえば、スケーリング・プロセッサ１０５は、まず、所定のスケーリングを実行して第一のスケーリングされた画像を生成してもよい。この画像が次いで画像解析器１０３によって解析されてピクセル値空間変動特性が生成されてもよい。このピクセル値空間変動特性に基づいて、第二のスケーリングが画像に（もとの画像にまたは前置スケーリングされた信号に）適用されてもよい。結果として得られるスケーリングされた信号は次いで解析されてもよい。そのようなプロセスはたとえば、停止基準が満たされる（たとえばピクセル値空間変動特性が、知覚される画質が受け容れ可能であることを示す基準を満たす）まで逐次反復されてもよい。
【００７５】
いくつかの実施形態では、前置スケーリング器は、入力画像に対して、所定のまたは固定された解像度までスケーリングされるよう、適応可能な前置スケーリングを適用してもよい。たとえば、すべての入力画像がまず、表示デバイス１０９のフル解像度までアップスケーリングされてもよい。結果として得られる画像が次いで画像解析器１０３によって解析される。この結果（何らかの好適な基準に基づいて）受け容れ可能なピクセル値空間変動特性が得られれば、前置スケーリングされた画像は呈示プロセッサ１０７に入力されてもよい。そうでなければ、スケーリング・プロセッサ１０５は前置スケーリングされた信号のダウンスケーリングを実行して、結果として縮小サイズの表示ウィンドウを与えてもよい。
【００７６】
いくつかの実施形態では、スケーリング・プロセッサ１０５はそのような場合、前置スケーリングされた画像ではなくもとの画像に対して作用してもよい。すなわち、前置スケーリングよりも小さなスケール因子でのアップスケーリングが適用されてもよい。そのような例は、前置スケーリング器が画像解析器１０３の一部であることに対応しうる。
【００７７】
いくつかの実施形態では、画像解析器１０３は特に、画像の少なくとも一つの領域に対して局所的な空間周波数の空間周波数解析を実行するよう構成されていてもよい。周波数解析に基づいて、次いで、空間周波数特性を含む（からなる）ようピクセル値空間変動特性が生成される。
【００７８】
周波数特性は特に、画像が表示デバイスに利用可能なフル・ウィンドウ内で表示されることから帰結する空間周波数の指標であってもよい。実際、いくつかの実施形態では、スケーリングは、入力信号のさまざまに変わる周波数特性について、表示される画像の所与の周波数特性が比較的一定に維持されるよう適応されてもよい。たとえば、スケーリング・プロセッサ１０５は、たとえば呈示コントローラに入力される出力信号の最大周波数が実質的に一定であるよう画像をスケーリングしてもよい。
【００７９】
この例では、画像解析器１０３は入力画像を解析して周波数特性を決定する。周波数特性は具体的には、画像受領部１０１から受領される画像の周波数分布特性および／または周波数内容特性を表していてもよい。周波数特性は、空間的サンプリング周波数（たとえば解像度）に対する空間的周波数内容を表していてもよい。
【００８０】
特に、画像解析器１０３は、たとえば二次元高速フーリエ変換（FFT: Fast Fourier Transform）を使って、受領された画像を周波数領域に変換してもよい。次いで、結果として得られる周波数分布を評価して、好適な周波数特性を生成してもよい。たとえば、最高空間周波数またはたとえば第９５百分位（95th percentile［１００分の９５位］）に対応する周波数を示す周波数特性が生成されてもよい。この周波数は、サンプル周波数の割合として与えられ、たとえば、0から1までの間の値にスケーリングされてもよい。このように、1の値は最高周波数（または第９５百分位周波数）が空間的サンプル周波数と同じであることを示すために使用されてもよく、0の値が画像がゼロ周波数しか含まない（すなわち単なる単色／単一色調である）ことを表すために使用されてもよい。このように、大きな値は高度な鮮鋭さ、そして特に鋭い過渡部が画像中に存在することを示す高度な高周波数成分を示す。一方、小さな値は、高周波数成分の欠如を示し、これは（遷移が入力画像において利用可能なフル解像度を利用しないので）鮮鋭さの度合いが低いことを示す。
【００８１】
典型的には、画像全体の周波数領域変換は計算量的に非常に高価であり、したがって、もう少し要求の低いアプローチを使用してもよい。たとえば、画像解析器１０３は解析が実行される特定の画像エリアまたは領域を検出してもよい。画像解析器１０３はたとえば、エッジ検出器を含んでいてもよく、周波数解析を特にそのような検出されたエッジのまわりの一つまたは複数の領域に適用してもよい。
【００８２】
もう一つの例として、エンコードされたデジタル信号は典型的には個々のブロック（8×8ピクセルのブロックなど）の周波数領域表現を与える。よって、エンコードされた画像信号は直接的に各8×8ブロックの周波数領域表現を与えることができ、画像解析器１０３はこれらの周波数領域の値を抽出してもよい。画像解析器１０３は次いで、個々のブロックについての周波数値にわたるヒストグラムを生成することに進んでもよい。その結果、64個の周波数ビンによって表現され、各ビンについての値がそのビンによってカバーされる周波数区間内の周波数の相対的な強さを表す、当該画像についての周波数分布が得られる。こうして、低品質の、ぼやけた、鮮明でない画像については、低めの周波数に高い集中があり、高めの周波数は全くないか、比較的強度が低い可能性が高い。しかしながら、より高品質およびより鮮鋭な画像については、周波数範囲全体が使用される可能性が高い。
【００８３】
この例では、スケーリング・プロセッサ１０５は次いで、好適な周波数内容をもつ表示される画像を与えるよう、画像をスケーリングすることに進む。いくつかの実施形態では、スケーリング・プロセッサ１０５から出力される画像と表示される画像のサイズの間の関係が知られていてもよい。たとえば、1920×1080の解像度をもつ3mかける1.7mのサイズのディスプレイ・パネルのディスプレイについては、各ピクセルは0.15cmかける0.15cmのサイズをもつことになる。名目的な閲覧距離は、スケーリング・プロセッサ１０５の出力信号の所望される周波数が分解される眼の最大周波数に対応することを許容すると想定されてもよい。こうして、スケーリング・プロセッサ１０５の出力信号について、信号のサンプル・レートに対する所望される、たとえば95%または最大の周波数が知られていてもよい。周波数特性が、フル・スケール信号がこの周波数に十分近いことを示す場合には、出力画像は、利用可能な表示ウィンドウをフルに使うよう生成される。しかしながら、周波数特性が、画像が所望される周波数の半分の周波数しかもたないことを示す場合には、これは信号をスケーリングすることによって補償される。実際、今の例において、表示の水平方向および垂直方向の寸法は、２倍縮小されてもよい。その結果、相対的な鮮鋭さは同じだがずっと小さい表示画像が得られる。
【００８４】
このように、一例として、スケーリング・プロセッサ１０５は、スケーリングされた画像が、ある基準を満たすピクセル値空間変動特性、特に周波数特性をもつよう、画像をスケーリングするよう構成されていてもよい。こうして、種々の画像がスケーリングされた画像が知覚される品質基準を満たすよう、スケーリングされることになる。こうして、表示される画像のサイズを修正することで、品質は比較的一定に保たれうる。
【００８５】
ピクセル値空間変動特性に基づいてスケーリングの特性を設定するための他のより複雑なアプローチを使ってもよいことは理解されるであろう。たとえば、サイズと変動特性との間の複雑な数学的関係を使用してもよく、および／またはスケーリング・プロセッサ１０５はサイズと変動特性を相関付けるルックアップ・テーブルを実装してもよい。そのような関数またはルックアップ・テーブルはさらに、ユーザーが特定のディスプレイ・シナリオに動作を適応させることを許容するよう、構成設定可能であってもよい。たとえば、関数または値は、プロジェクターと表示表面との間の、および／または表示表面と閲覧者との間の距離を反映するよう調整されてもよい。
【００８６】
いくつかの実施形態では、画像解析器１０３は鮮鋭さ解析を実行し、鮮鋭さ特性を含むようピクセル値空間変動特性を生成するよう構成される。先述した周波数解析は鮮鋭さ評価の一例であって、周波数特性は実際、知覚される鮮鋭さを示すことは理解されるであろう。実際、より高い周波数はより速い遷移を、よって増大した鮮鋭さを示す。
【００８７】
しかしながら、他の鮮鋭さ評価が代替的または追加的に実行されてもよい。たとえば、画像解析器１０３はエッジを検出し、特にそのようなエッジの特性を評価してもよい。たとえば、遷移のレートが決定され、すべての同定されたエッジについて平均されてもよい。エッジ勾配（xがピクセル値、yが空間的な画像次元方向を表すとしてdx/dy）に依存して、選択プロセッサ２０５が異なるスケーリングを選択してもよい。こうして、低い勾配（ぼやけた／ソフトなエッジに対応）は、小さな表示ウィンドウにつながることがあり、高い勾配はより大きなウィンドウ・サイズにつながることがある。
【００８８】
図５は、鮮鋭さまたは周波数内容を調べる一般的なアプローチのいくつかのさらなる例を示している。その際、典型的には信号複雑さを見るであろう。図５のａは、スケーリングするのが簡単なプロファイル、すなわち鮮鋭なオブジェクト間エッジを示している。線形スケーリングは典型的にはこのエッジを受け入れられなくなるまでぼかすが、非線形スケーリングはこれを緩和できる。図５のｂは、ある種の事例では非常にスケーラブルでもありうるプロファイルの例、つまりほぼ一定のピクセル値のプロファイルである。これは、たとえば木の間の空として現れうる。そのシナリオでは、空は実際に詳細構造がなく、種々のスケールにおいてそうであろう。よって、空の局所的なパッチはほとんど自在に伸張され、あるいは圧縮されうる（これは映画では望ましくないかもしれないが、図４のサイド・ウィンドウのいくつかを積極的にスケーリングするためにはよいシナリオでありうる）。同じことは、たとえばグラフィカルな煉瓦パターンのような単純な反復テクスチャーにも当てはまる。
【００８９】
図５のｃは、毛（各毛が可変の照明プロファイルをもつ）からなるテクスチャーのマイクロプロファイルである。一方、図５のｄは、小さな鮮鋭なエッジ５０４およびほぼ一定の内部５０３から構成される網目テクスチャーの基本テクスチャー要素である。網目テクスチャーは良好な非線形スケーリング器を用いて簡単にスケーラブルであるかもしれないが（大きなサイズでは内部も一定であることがあり、細いエッジは比較的細く保たれうるので）、毛は、ぼやけたエッジと正しくない内部（典型的にはリアルなピクセル変動プロファイルを欠き、通例微小詳細）の両方をもつため、別の使用されているスケーリング器を用いてよくスケーリングしないことがありうる。しかしながら、毛がもとのサイズで十分良好に見えるならば、スケーリング後に同じ情報の複雑さを保持する別のスケーリング器が使用できる（発明者ダムカットのEP08156628の方法のような）。
【００９０】
情報の複雑さは典型的には、オブジェクト境界および内部のピクセル変動のような異なるスケールと関係がある（悪い圧縮のぼやけた内部と比較）。典型的にはこれらの異なる局所的画像部分について詳細を見て、それが自然／可能であるか否かを判断する必要がある（網目テクスチャーや木々の間の例と対照的に、悪く圧縮されたオブジェクトにおける詳細構造のない領域――たとえば欠けている芝生のテクスチャー――はよくスケーリングしないであろう）。たとえば、図５のｅの顔のオブジェクトは、領域５０１における詳細が不十分だと、非常に漫画チックになることがある（眼のテクスチャーの代わりに単に暗い斑点があるなど。これはうまくアップスケーリングしない）。パターン横断およびパターン間の複雑さのそのような解析は、たとえばピクセル変動の規格化された積分（たとえば、現在のピクセル値と直線のピクセル値の差分絶対値和の複素重み付けされ非線形変換された変形）など、さまざまな数学的関数を用いることができる。テクスチャー解析は、粒子のサイズを、次いで内部の複雑さを見てもよい。図５のｆは、種々のFFTビンの値を厳密に見るのではなく、概括的に周波数を見るもう一つの例を示している。これは、十分なピクセル変動をもたないピクセル値５０２の長い連続があるために、オブジェクト領域があまりに漫画チックでありうることを示す。選ばれたスケーリング・アルゴリズム（線形補間、フラクタル、テクスチャー・ベースのグラフィック……）に依存して、いくつかのスケーリングは、十分良好な品質であると判定される一方、他のスケーリングはそうではなく、つまり映像がより小さく表示される必要があると判定されてもよい。
【００９１】
記載されたアプローチは多くの用途および実施形態において使用できることは理解されるであろう。
【００９２】
たとえば、表示デバイス１０９は、居間などの部屋の壁面に表示を呈示することができるプロジェクターであってもよい。そのような例は図２に示されている。ここでは、プロジェクターが壁面全体を覆うよう画像を表示しうる。すなわち、最大表示ウィンドウは全壁面に対応する。プロジェクターは特に、たとえば解像度1920×1080をもつ高解像度プロジェクターであってもよい。図１の表示装置は、壁に種々の画像信号を表示するために使用されうる。
【００９３】
たとえば、入力信号は、標準的なSDビデオ信号を与える通常のテレビジョン信号に由来してもよい。SDビデオ信号は（当該表示装置によってまたは当該表示装置に与えられる前に）HD解像度にアップスケーリングされてもよいが、これは典型的には、納得いく程度だがあまり高品質ではない信号につながる。したがって、画像解析器１０３による解析は、たとえば、利用可能な空間周波数範囲を十分に活用しない周波数内容を示す。よって、スケーリング・プロセッサ１０５は、納得いく程度のサイズの画像が与えられるよう、信号をスケーリングする（図２ａ参照）。このサイズは特に、知覚される品質と画像サイズの間の所望されるトレードオフを提供するよう最適化される。
【００９４】
しかしながら、他の時には、表示装置は、高解像度のスチール画像を呈示するために使われてもよい。画像は、たとえば、1920×1080ピクセルの解像度で直接与えられてもよい。この画像は典型的には利用可能な解像度をフルに利用し、利用可能な全周波数範囲を表す周波数内容を有しうる。よって、スケーリング・プロセッサ１０５は、その画像を、フル・ウィンドウに表示されるよう、すなわち壁面全体を覆うようスケーリングする（図２ｂ参照）
他の時には、表示システムは、1440×720の解像度でHD密度の映画としてもともとつくられた映画を見るために使用されてもよい。ここでもまた、このコンテンツは、1920×1080ピクセルの表示システムのネイティブ解像度までアップスケーリングされてもよい。しかしながら、もとの信号の改善された品質のため、アップスケーリングされた画像の鮮鋭度はSD信号よりは有意によいが、高解像度写真ほど高くはない可能性が高い。これは、画像解析器１０３によって生成される周波数特性に反映され、よって、表示システムは、テレビジョン信号について使用されるサイズと高解像度写真について使用されるサイズとの中間の表示ウィンドウにおいてコンテンツを呈示するよう、信号をスケーリングできる（図２ｃ）。
【００９５】
このように、これら三つの例において、画像受領部１０１は、みな同じ1920×1080ピクセルの解像度の三つの異なる信号を受領しうる。しかしながら、これらは非常に異なった信号に由来するので、実際の画像の実際の画質または鮮鋭さはこの固定された解像度の枠組み内でも有意な差がある。今の例では、表示システムはこれを自動的に検出でき、知覚される品質と画像サイズとの間の最適化されたトレードオフを与えるよう、呈示される画像のサイズを調整できる。さらに、この最適化は自動的に実行されてもよい。
【００９６】
もう一つの例として、表示装置は、多様な信号を入力されることができ、種々の用途において使用できるポータブル装置の一部として実装されてもよい。たとえば、ユーザーは、画像が投影される表示表面までの距離および見る者の距離を入力してもよい。ポータブル・プロジェクターは次いで、種々の画質についてのスケーリングを自動的に計算し、適用するよう構成されていてもよい。
【００９７】
もう一つの例として、表示システムは、追加的な情報または案内を呈示する消費者装置または機器の一部として使われてもよい。たとえば、図３に示されるように、洗濯機３０１は、画像３０５を洗濯機３０１の後上方の壁３０７に投影できるプロジェクター３０３を有していてもよい。
【００９８】
システムはたとえば、ユーザーに対してコンテキスト依存性の案内マニュアルまたは決定木をユーザーに呈示するために使用されてもよい。こうして、洗濯機３０１はユーザーを支援するために呈示されることのできる幅広い範囲の画像を有しうる。これらの画像は主としてテキスト・ベースの情報を含みうるが、画像や図案を含んでいてもよい。画像はみな同じ解像度で記憶されていてもよいが、実質的に変化があってもよい。すなわち、いくつかの画像は少量の大きなフォントのテキストを含んでいてもよく、他の画像は単純なイメージを含んでいてもよく、また別の画像は大量の小さなフォントのテキストを含んでいてもよい、などである。
【００９９】
今のアプローチにおいて、表示装置は、鮮鋭さまたは周波数内容を決定するために表示される各画像を評価してもよく、しかるべく画像をスケーリングしてもよい。たとえば、大量のテキストを含むページ／画像は壁３０７で比較的大きな画像３０５として呈示されてもよい。しかしながら、少量のテキストを含むページ／画像は壁３０７に比較的小さな画像３０５として呈示されてもよい。このように、システムは、特定の画像／ページの内容に合うよう、画像サイズを自動的に適応させうる。たとえば、画像のサイズは、実質的に等しいフォント・サイズをさまざまな画像サイズで提供するよう自動的に適応されてもよい。これは、たとえばプロジェクターの光学系を直接制御するスケーリング・プロセッサ１０５によって、投影される画像の解像度を変えることなく達成されうることを注意しておくべきである。
【０１００】
先述したように、スケーリング・プロセッサ１０５はいくつかの実施形態またはシナリオでは、単に画像をサイズ変更するだけでなくてもよく、代替的または追加的に、画像の一つまたは複数の領域を選択してもよい。たとえば、スケーリング・プロセッサ１０５は、ある種のシナリオにおいて、画像をトリミングするよう構成されていてもよい。たとえば、周波数解析が、画像が表示装置に利用可能な表示ウィンドウより大きな表示ウィンドウで呈示されるべきであることを示すことがありうる。この場合、スケーリング・プロセッサ１０５は、所望されるサイズ（表示される画像の適切な周波数内容に対応するサイズ）に画像をサイズ変更し、結果として得られる画像を利用可能な表示ウィンドウのサイズにトリミングすることに進みうる。
【０１０１】
たとえば、洗濯機の例では、いくつかのページ／画像は少量の大きなフォントのテキストを有していてもよく、これはフル表示ウィンドウより小さいウィンドウにおいて呈示されるようスケーリングされてもよい。他のページ／画像は、最大表示ウィンドウにおいて呈示されるときに見ることができる、より小さなフォントのテキストをより大量に有することがありうる。しかしながら、ここでもまた、他のページは、小さなフォントで書かれた大量のテキストを含むことがありうる。このように、これらのページは、高周波数の非常に高い集中を有しており、これは画像中に多量の詳細があることを示している。実際、スケーリング・プロセッサ１０５は、たとえ画像が最大表示ウィンドウで呈示されたとしても十分読解できるテキストをユーザーに提供するには十分でないと評価することもありうる。したがって、スケーリング・プロセッサ１０５は、サイズ変更するばかりではなく、画像をトリミングもしてもよい。こうして、画像は周波数特性に依存するトリミングによってスケーリングされてもよい。具体的には、スケーリングは、ピクセル値空間変動特性がある基準を満たすときにトリミングを含んでもよい。
【０１０２】
この記述から、スケーリングが、スケーリングされた画像の表示のために利用可能な表示ウィンドウの特性に依存しうることも明白であろう。よって、今の特定の例では、画像は、潜在的な表示ウィンドウの最大サイズ内に適切に表示できない場合にトリミングされる。
【０１０３】
別の例では、洗濯機３０１のプロジェクター３０３は、画像を、洗濯機自身の空いている表面上に投影してもよい。たとえば、洗濯機の平坦な白い表面が画像を表示するために使用されてもよい。しかしながら、そのようなアプローチでは、利用可能な表面は、洗濯機３０１のさまざまな視覚的特徴によって厳しく制限されうる。よって、比較的小さな表面領域しか利用可能でないことがあり、結果としてトリミングが頻繁に行われることになる。
【０１０４】
もう一つの例として、表示システムは、自動車のような乗物において使用されてもよい。この例では、表示デバイス１０９は、自動車のフロントガラス上に画像を投影するプロジェクターであってもよい。この例では、フロントガラスの助手席側に画像が投影される一方、フロントガラスの一部を運転者のために空けておくことができる。画像が情報内容に鑑みて必要とされるまたは所望されるより大きくならないよう、画像のサイズは、周波数／鮮鋭さ特性に依存して調整される。しかしながら、さらに、表示システムはフロントガラスのどのくらいを外界が見えるよう、すなわち運転者が外の交通の十分な量を見ることができることを保証するよう、空けておくべきかを考慮に入れることもできる。こうして、画像サイズの計算は、鮮鋭さ／周波数パラメータのほか潜在的な表示ウィンドウを指示する第二のパラメータにも応じて実行されてもよい。
【０１０５】
エッジの鮮鋭さまたは周波数解析が単に、ピクセル値空間変動特性を決定するために実行できる局所的な画像プロファイル解析の例であることは理解されるであろう。実際、比較的近接しているピクセル間でピクセル値が空間的にどのくらい変化するかまたはどのくらい速く変動するかの指標を与える解析を使うことができる。このように、ピクセル値空間変動特性は単に全体としての画像におけるピクセルの広がりを示すのではなく、局所的なスケールでそれらがどのように変化するかを示す。たとえば、画像の半分が非常に暗く、残りの半分が非常に明るい画像は、大きなピクセル値変動を有しうる。しかしながら、局所的なピクセル変動は比較的低いことがありうる。各半分の内部では実質的に変動がない（すなわち、変化はエッジでのみ起こる）こともありうるからである。対照的に、多量の詳細をもつ画像（たとえば「ビジー」なピクチャー）は典型的には、局所的な領域内でもピクセル値は実質的に変化するので、高い局所的なピクセル値変動を有することになる。
【０１０６】
エッジ検出鮮鋭さアプローチおよび空間周波数アプローチについて、ピクセル変動の局所的な特性は自動的に考慮に入れられることは理解されるであろう。しかしながら、他のアプローチでは、ピクセル変動解析は、画像セクションまたは領域内でのピクセル変動を解析することによって局所化されてもよい。たとえば、画像はいくつかのセグメントまたは領域に分離されてもよく、各セグメントまたは領域内のピクセル変動が評価されてもよい。ピクセル値空間変動特性は次いで、種々のセグメントについての結果を解析するまたは組み合わせることによって生成されうる。
【０１０７】
このアプローチはたとえば、ピクセル値空間変動特性が、ピクセル値がどのように分布しているかを反映するピクセル値分布特性に応じて決定される実施形態について使用されてもよい。
【０１０８】
たとえば、ピクセル値は0から255までの値を取ることのできる輝度値であってもよい。画像はいくつかのセグメントに分割されてもよく、各セグメントについて輝度値についてのヒストグラムが生成される。ヒストグラムは次いで、各セグメントにおけるピクセル値についての分散を生成するために使用される。種々のセグメントについての分散は次いで、たとえばそれらのセグメントについての平均分散を決定することによって組み合わされてもよい。この平均分散は、次いで、ピクセル値空間変動特性として使用されることができる。
【０１０９】
このように、そのような例において、非常に明るい半分および非常に暗い半分をもつ画像は、比較的低い平均分散を与えるであろう。大半のセグメントが明るい半分または暗い半分の内部にはいり、したがって比較的小さな分散をもつからである。しかしながら、実質的な量の小さな詳細および近傍ピクセル間での速い輝度変動がある画像については、大半のセグメントは比較的高い分散をもち、その結果、画像全体について高い平均分散が得られる。このように、この平均分散は、比較的大量の局所的なピクセル変動を含む画像を示し、それにより、比較的大きな表示ウィンドウにおいて有利に呈示できる詳細のある画像を示す。
【０１１０】
いくつかの実施形態では、画像解析器１０３は一つまたは複数の領域に対してテクスチャー解析を実行するよう構成されていてもよい。ピクセル値空間変動特性は次いで、テクスチャー特性に応答して決定されてもよい。たとえば、画像領域の表面領域は、実質的な詳細（たとえばテクスチャー粒子プロファイル）および比較的鮮鋭なピクセル値変動をもつテクスチャーを有していてもよい。これは、高い度合いの高周波数内容を、よって比較的大きなサイズで呈示できる鮮鋭な画像を示す。しかしながら、表面領域が比較的なめらかであり、小さくゆるやかなピクセル変動しかもたないテクスチャーによって特徴付けられる場合、これは、低い度合いの高周波数内容を示し、よって、小さな表示ウィンドウが使用されるべきであることを示す。
【０１１１】
そのようなテクスチャー解析は、たとえば、クラスへのビン分け（binning into classes）によるローカル／パッチ・ベースの分散計算として実行されてもよい。たとえば、テクスチャーのある種々の画像オブジェクト表面が同定されてもよい。各表面はいくつかのセグメントに分割されてもよく、各セグメントについて、ピクセル値がヒストグラムの諸ビンに分割されてもよい。次いで、セグメントの分散が決定されうる。次いで、テクスチャーのある全表面についての平均分散が計算されてもよく、テクスチャーのレベルを示すテクスチャー特性を決定するために使われてもよい。たとえば、低い分散は、のっぺりした表面／画像（実質的にテクスチャーなし）を示しうるし、中程度の分散はいくらかの限られたテクスチャーがあることを示しうるし、高い分散は高度のテクスチャーがあることを示しうる。
【０１１２】
いくつかの実施形態では、画像解析器１０３は画像の動き解析を実行するよう構成されていてもよい。次いで、ピクセル値空間変動特性が、この動き特性に応答して生成されてもよい。
【０１１３】
具体的には、処理されている画像がエンコードされたビデオ信号のフレームである場合、そのような動きデータは直接的に利用可能であることがあり、単にエンコードされたビットストリームから関連する動きデータを抽出することによって導出できる。他の実施形態では、画像オブジェクトを検出し、画像内でのその動きを特徴付けるために、複数のフレームの時間的解析が実行されてもよい。当業者にはそのような技法は多数知られていることは理解されるであろう。
【０１１４】
次いで、画像を呈示するために使われる表示ウィンドウのサイズが、動き特性に依存して調整されてもよい。たとえば、いくつかの実施形態では、高度な動きは、画像内での個々の画像オブジェクトの高い度合いの高速な動きを示しうる。これは、ユーザーが個々の画像オブジェクトを見分け、追うことができるよう、比較的大きな表示ウィンドウでの呈示に、より好適でありうる。
【０１１５】
いくつかの実施形態では、画像解析器１０３は復号アーチファクト解析を実行し、復号アーチファクト特性に応答してピクセル値空間変動特性を生成するよう構成される。
【０１１６】
多くの典型的なデジタル用途では、画像信号（静止画であれ動画であれ）はデジタル的にエンコードされる。たとえば、デジタル写真はJPEGエンコード・アルゴリズムに従ってエンコードされてもよく、ビデオ信号はMPEGエンコード・アルゴリズムに従ってエンコードされてもよい。
【０１１７】
しかしながら、そのようなエンコードは典型的には、実質的なデータ圧縮を含み、復号された信号ともとの信号との間の知覚できる差につながりうる。そのような差は符号化アーチファクトと考えてもよく、復号された画像に存在する。たとえば、比較的高い圧縮率については、メディア信号はしばしば、画像のエンコードが個々のブロックのエンコードに基づいていることから帰結する、ある種の「ブロックノイズ（blockyness）」を経験しうる。
【０１１８】
いくつかの実施形態では、画像解析器１０５は特に、そのような符号化アーチファクトを評価するよう構成されてもよい。たとえば、画像解析器１０５は画像を、符号化ブロックに対応する8×8のピクセル・ブロックに分割してもよい。次いでブロック間のピクセル分散に比べられるブロック内のピクセル分散の特性を決定することに進んでもよい。この解析が、ブロック間のピクセル変動がブロック内のピクセル変動に比べて比較的高いことを示す場合、これは、比較的高い度合いの符号化ブロック・アーチファクト（「ブロックノイズ」）に起因する可能性が高い。
【０１１９】
符号化アーチファクトの評価は種々の仕方で用いられうる。いくつかのシナリオでは、それは、ピクセル値空間変動特性として直接使用されてもよい。すなわち、画像のスケーリングを調整するために直接使用されてもよい。これは、表示ウィンドウが、エンコード・アーチファクトの度合いに合うような、すなわち知覚される品質を劣化させすぎないサイズにされることを許容しうる。たとえば、高度の符号化アーチファクトがある場合には、高度な符号化アーチファクトがない場合よりも、より小さな表示ウィンドウ・サイズが使用されうる。
【０１２０】
しかしながら、代替的または追加的に、符号化アーチファクトは、他のパラメータの解析を修正するために使用されてもよい。たとえば、空間周波数解析を実行するとき、画像はまず、符号化アーチファクトを軽減または除去するよう補償されてもよい。たとえば、大きな度合いの符号化アーチファクトが検出される場合、空間周波数解析は、エンコード・ブロック内で実行されることに限定され、エンコード・ブロック間には広がらなくてもよい。これは、周波数解析が、符号化アーチファクトによって不相応なまでに影響されることなく、根底にある画像の詳細および鮮鋭さを表現することを許容しうる。実際、多くのシナリオにおいて、符号化アーチファクトは実際に、鮮鋭さの増加の指標と誤解されうる追加的な高周波数の空間成分を導入しうる。したがって、符号化アーチファクト緩和は、より低品質の画像が、符号化アーチファクトのない対応する画像より鮮鋭であると解釈されることを防止しうる。
【０１２１】
このように、今の例では、スケーリングは、符号化アーチファクト緩和後に決定される周波数特性に依存してもよい。しかしながら、加えて、スケーリングは、符号化アーチファクト解析自身にも依存してもよい。たとえば、フル表示サイズは、周波数特性が、十分な度合いの高周波数成分を示す場合かつ符号化アーチファクト特性が符号化アーチファクトの量が閾値未満であることを示す場合にのみ使用されてもよい。これら二つの基準のうちいずれかでも満たされない場合には、より低い表示ウィンドウ・サイズが使用される。
【０１２２】
いくつかの実施形態では、画像解析器１０３は、画像に対する内容解析を実行するよう構成されていてもよく、スケーリング手段は、（少なくとも部分的には）内容解析に応答してスケーリングを実行するよう構成されていてもよい。
【０１２３】
内容解析は特に、呈示される画像についての内容カテゴリーを決定するよう構成されていてもよく、画像のスケーリングは内容カテゴリーに依存してもよい。内容解析はたとえば、画像によって表示される特定のシーンを特徴付けることができるシーン検出を含んでいてもよい。たとえば、画像が陸地の風景または海の風景であるかを検出してもよく、もしそうであれば、他の場合よりも大きい画像を与えるようスケーリングを修正してもよい。
【０１２４】
この内容解析がスチール画像および動画の両方に適用されうることは理解されるであろう。たとえば、表示システムは、呈示された素材がサッカーの試合に対応することを検出するよう構成されていてもよく、それに応答して、サッカーの試合についての選好に従ってスケーリングにバイアスをかける（たとえば表示ウィンドウのサイズが大きくされてもよい）よう構成されてもよい。
【０１２５】
多くのそのような実施形態において、内容解析は、ピクセル値空間変動特性に基づいてスケーリングを向上させるために使用されることは理解されるであろう。実際、このアプローチは、表示ウィンドウのユーザー選好へのさらなる適応を許容しうる。たとえば、所与のレベルの鮮鋭さおよび詳細について、ユーザーは、これが風景であるかサッカーの試合であるかに依存して呈示される画像の異なるサイズを好むことがありうる。
【０１２６】
いくつかの実施形態では、画像はビデオ画像シーケンスの一部であってもよく、たとえば、ビデオ・フレームのシーケンスが解析されてもよい。そのような例では、画像解析器１０５は、時間的ピクセル値変動特性を決定するために時間的解析を実行するようにも構成されていてもよい。たとえば、先述したように、画像オブジェクトについての動き特性が決定されてもよい。
【０１２７】
もう一つの例として、時間的ノイズが、画像解析に基づいて推定されてもよい。こうして、そのようなノイズは個々の画像に現れることがあり、ピクセル値空間変動特性によって表現されることがあるが、使用できるさらなる情報を時間的解析が提供しうる。たとえば、時間的解析は、画像オブジェクトのテクスチャーと該画像オブジェクトのノイズとの間の区別を許容することがありうる。このように、時間的ノイズは推定され、符号化アーチファクトについて述べたのと同様の仕方で使用されてもよい。たとえば、時間的ノイズは、（局所的な高周波数変動と解釈されるノイズを補償するために）ピクセル値空間変動特性を補償するために使用されてもよく、スケーリングを決定するために直接使用されてもよい（たとえば、有意な時間的ノイズがあるときはこれをより知覚されにくくするために表示ウィンドウ・サイズを小さくする）。
【０１２８】
いくつかの実施形態では、画像解析器１０５は、特に、画像中の一つまたは複数の画像オブジェクトに基づいて解析を実行してもよい。たとえば、画像のセグメンテーションが一つまたは複数のオブジェクトを検出するために実行されてもよい。画像オブジェクト空間プロファイル特性が次いで、その特定の画像オブジェクトについて生成されてもよい。具体的には、上述した解析の一つまたは複数が抽出された画像オブジェクトに直接適用されてもよい。次いで、その特定の画像オブジェクトの所望される属性を与えるよう、スケーリングが実行されてもよい。たとえば、画像サイズは、その画像オブジェクトが所望される度合いの鮮鋭さをもって、または閾値（それより大きいと当該オブジェクトがたとえば非現実的に見えたり、恐ろしげに見えたりすることがあるなど）を超えないサイズをもって呈示されるよう、選択されてもよい。
【０１２９】
以下の記述は、単一表示ウィンドウの処理および評価に焦点を当てた。しかしながら、多くの実施形態において、画像は他の表示ウィンドウ（これは重なり合う表示ウィンドウであってもよい）において同時に呈示されてもよいことは理解されるであろう。
【０１３０】
たとえば、いくつかの実施形態では、メイン画像によって使用されていない利用可能な表示スペースはみな、別の画像を呈示するために使用されてもよい。こうして、全体的な表示領域が、いくつかのウィンドウの同時的な呈示を許容する複数の表示ウィンドウに分割されてもよい。
【０１３１】
そのようなシナリオの例が図４に示されている。この例では、メイン・ウィンドウ４０１が表示領域４０３の中央に置かれている。表示領域は特に、前記複数の表示ウィンドウを含む映像をプロジェクターが投影する壁（の一部）または洗濯機の上表面または他のオブジェクト（の一部）の任意の外側表面に対応してもよい。
【０１３２】
メイン・ウィンドウ４０１に加えて、他の情報を同時に表示するいくつかの表示ウィンドウ４０５〜４１３がある。たとえば、一つのウィンドウ４０５はビデオ・チャット・ウィンドウとして使用されてもよく、もう一つのウィンドウ４０７は気象衛星画像を提供するために使用されてもよく、もう一つのウィンドウ４０９は静止天気予報を提供するために使用されてもよく、もう一つのウィンドウ４１１は近々起こるイベントの情報を提供するために使用されてもよく、もう一つのウィンドウ４１３は現在時刻を示すのに使われるグラフィック画像であってもよい。このように、表示領域は、種々の情報を同時にユーザーに呈示する「情報の壁面」を提供してもよい。
【０１３３】
今の例では、先述したスケーリングが中央表示ウィンドウ４０１（メイン表示ウィンドウとして選択されたウィンドウ）の画像に適用されてもよい。今の例では、したがって、メイン表示ウィンドウ４０１はそのサイズを、画像の特定の鮮鋭さ指標に依存して調整してもよい。よって、時に、そのメイン表示ウィンドウ４０１は比較的小さいことがあり、別の時には比較的大きいこともある。
【０１３４】
今の例では、他のウィンドウ４０５〜４１３の一つまたは複数の特性がさらに、メイン・ウィンドウ４０１の特性に依存してもよい。たとえば、補助ウィンドウ４０５〜４１３は、メイン表示ウィンドウ４０１の外側に表示されるよう、位置およびサイズが決められてもよい。たとえば、メイン表示ウィンドウ４０１が比較的大きいとき、補助表示ウィンドウ４０５〜４１３は表示ウィンドウの辺のほうにさらに動かされる。さらに、いくつかの実施形態では、補助ウィンドウ４０５〜４１３のうち一つまたは複数のウィンドウのサイズも、メイン・ウィンドウ４０１に適用されるスケーリングに依存して（表示可能領域４０３の外側にはみ出る部分が少なくなるよう）調整されてもよい。たとえば、メイン・ウィンドウ４０１のサイズが小さくされるとき、補助ウィンドウ４０５〜４１３の対応するサイズは対応して大きくされる。
【０１３５】
いくつかの実施形態では、記述された適応的スケーリングは、代替的または追加的に、補助ウィンドウ４０５〜４１３のうちの一つまたは複数のウィンドウに適用されてもよい（その場合、基本的なスケーリング・アルゴリズムは部分的に制約され、中間的な最適スケーリングを与える）。たとえば、いくつかの実施形態では、メイン・ウィンドウ４０１は固定サイズを有していてもよい。一方、補助ウィンドウ４０５〜４１３のうちの一つまたは複数は、そのウィンドウ４０５〜４１３についての鮮鋭さ指標に応じてスケーリングされる。たとえば、図４の例では、補助ウィンドウ４０５のサイズは、顔が十分現実的にレンダリングされるよう、その人物の呈示される画像の相対的な鮮鋭さに依存してもよい。たとえば、画像が比較的鮮鋭である場合（たとえば高周波数信号成分の割合が高いことによって示される）、補助ウィンドウ４０５のサイズは、表示領域４０５内かつメイン・ウィンドウ４０１外において呈示されることを許容する最高値に設定されてもよい。しかしながら、比較的鮮鋭さが低い場合には、補助ウィンドウ４０５のサイズは対応して縮小され、それにより改善された知覚される画質を与える。これはさらに、より多いまたはより大きい他の追加ウィンドウ４０７〜４１３が同時に呈示されることを許容しうる。
【０１３６】
具体例として、補助ウィンドウ４０５はいくつかの例では、人々の画像を呈示するために使用されてもよい。その際、ウィンドウ４０５のスケーリングは、呈示される人物についての最適な鮮鋭さを提供する表示を与えるよう最適化されてもよい。実際、表示を大きくしすぎると、ブロック・アーチファクトおよび／またはぼやけのために画像がユーザーによって知覚されにくくなるため、人物の認識がより難しくなる。
【０１３７】
この具体例では、図１を参照して記述したアプローチはすべての表示ウィンドウ４０１、４０５〜４１３に同時に適用される。こうして、個々の各ウィンドウが、そのウィンドウについての判別された鮮鋭さに最もよく合うサイズをもって呈示されるよう最適化される。いくつかの実施形態では、一つのウィンドウのスケーリングが他のウィンドウのスケーリング／鮮鋭さ特性をさらに考慮に入れてもよいことは理解されるであろう。たとえば、最適サイズは、個々の各ウィンドウについて決定されてもよく、よって、これらのサイズは、利用可能な表示領域４０３内にすべてのウィンドウが納まることを保証するよう、さらに修正されてもよい。これは典型的には、たとえば、ウィンドウにサイズ予算を割り当て、最適サイズからの逸脱にペナルティーを与える非対称的に重み付けされたコスト関数を定義することによってなされてもよい。
【０１３８】
他の実施形態では、補助ウィンドウ４０５〜４１３の一部または全部の位置決めは、利用可能な表示領域４０３を超えて広がるよう修正されてもよい。たとえば、図４の例では、補助表示ウィンドウ４０５〜４０９が外側に向けて動いたため、ウィンドウ４０５〜４０９の一部のみが可視である。メイン・ウィンドウ４０１の特性が変化してメイン・ウィンドウ４０１のサイズが縮小される場合、補助表示ウィンドウ４０５〜４０９は自動的に、見える表示ウィンドウ４０３に戻る方向にスライドしてもよい。
【０１３９】
このように、図４の例は、特に、種々のウィンドウにおける種々の情報の「弾性クラウド（elastic cloud）」呈示を提供しうる。このように、メイン表示ウィンドウの最適化に依存して、表示可能な領域の境界を越えて動く共存ウィンドウ（co-window）のクラウドを提供しうるのである。
【０１４０】
個々のウィンドウのスケーリングはさらに、そのウィンドウがメイン・ウィンドウとして選択されているか否かに依存してもよい。たとえば、各ウィンドウについて、これがメイン・ウィンドウとして選択されるシナリオについて一つの所望される品質指標が記憶され、このウィンドウが補助ウィンドウとして選択されるシナリオについてもう一つの所望される品質指標が記憶される。たとえば、ウィンドウがメイン表示ウィンドウであるとき、そのウィンドウは、最適化された知覚される品質を与えるよう制御される。しかしながら、補助ウィンドウとして選択されているときは、最小限の品質レベルが達成されることが要求されるのみであり、他の点では、他の呈示されるウィンドウと最適に適合することを許容するようそのウィンドウの自由な調整を許容する。
【０１４１】
補助表示ウィンドウ４０５〜４１３が部分的に、利用可能な表示ウィンドウ４０３の外に自動的に動かされうる例では、画像の一部の選択が適用されてもよいことも理解されるであろう。たとえば、可視表示ウィンドウ４０３内において最適な画像セクションを提供するよう、適応可能なトリミングまたは画像オブジェクト抽出が適用されてもよい。
【０１４２】
他の表示手段が利用可能である場合、スケーリング装置は、それらを適切な仕方で用いることによって、このことを考慮に入れることができる。たとえば、スケーリング後に第一のディスプレイの達成可能な幾何学の外にはみ出るメイン映像は、部分的に第二のディスプレイ上に表現されてもよい。（たとえば、アンビライト（ambilight）は外側の映像領域（可能性としては、投影に、より没入的〔イマーシブ〕な性質を与えるために、たとえばさらなる非線形伸張――または追加のオブジェクト／パターン、たとえば木などをグラフィック的に追加する――といった画像処理によって処理される）を、隣接する壁面または隣接する第二のLCDディスプレイに環境として投影する。）複数ウィンドウの場合、ウィンドウのいくつかは（たとえばメイン表示領域上に見えるのがその50%未満の場合）第二のディスプレイに託されてもよい。（たとえば、天気の映像が汎用リモコン上のディスプレイに切り換えられることができ、時計の映像が食器棚のフォトフレーム・ディスプレイに送られることができる。）
以上の記述は明確のため、種々の機能ユニットおよびプロセッサに言及しつつ本発明の実施形態を記載してきたことが認識されるであろう。しかしながら、種々の機能ユニットまたはプロセッサの間の機能のいかなる好適な配分も、本発明を損なうことなく、使用されうることは明白であろう。たとえば、別個のプロセッサまたはコントローラによって実行されるよう例解されている機能が同じプロセッサまたはコントローラによって実行されてもよい。よって、個別的な機能ユニットへの言及は、厳密な論理的または物理的な構造または編成を示すというよりは、記載される機能を提供する好適な手段に言及しただけのものと見るべきである。
【０１４３】
本発明は、ハードウェア、ソフトウェア、ファームウェアまたはこれらの任意の組み合わせを含むいかなる好適な形で実装されることもできる。本発明は任意的に、少なくとも部分的に、一つまたは複数のデータ・プロセッサおよび／またはデジタル信号プロセッサ上で実行されるコンピュータ・ソフトウェアとして実装されてもよい。本発明の実施形態の要素およびコンポーネントは、物理的、機能的および論理的に、いかなる好適な仕方で実装されてもよい。実際、機能は、単一のユニットにおいて、複数のユニットにおいて、あるいは他の機能ユニットの一部として実装されてもよい。よって、本発明は、単一のユニットにおいて実装されてもよく、あるいは物理的および機能的に異なるユニットおよびプロセッサの間に分散されてもよい。
【０１４４】
本発明は、いくつかの実施形態との関連で記述してきたが、本稿で記述されている特定の形に限定されることは意図されていない。むしろ、本発明の範囲は、付属の請求項によってのみ限定される。さらに、ある特徴が個別的な実施形態との関連で記述されているように見えることがあるが、当業者は、記述される諸実施形態のさまざまな特徴が本発明に基づいて組み合わされてもよいことを認識するであろう。請求項では、有する／含むの語は他の要素やステップの存在を排除するものではない。
【０１４５】
さらに、個々に挙げられていても、複数の手段、要素または方法ステップは、たとえば単一のユニットまたはプロセッサによって実装されてもよい。さらに、個々の特徴が異なる請求項に含まれることがあるが、それらの特徴は有利に組み合わされる可能性もありうるのであって、異なる請求項に含まれているということが特徴の組み合わせが現実的でないおよび／または有利でないことを含意するものではない。また、ある特徴があるカテゴリーの請求項に含まれていることは、そのカテゴリーへの限定を含意するのではなく、むしろ、その特徴が他の請求項のカテゴリーにも適宜等しく適用可能であることを示すものである。さらに、請求項における特徴の順序は、それらの特徴が機能するいかなる特定の順序も含意するものではなく、特に、方法請求項における個々のステップの順序はそれらのステップがこの順序で実行されなければならないことを含意するものではない。むしろ、ステップはいかなる好適な順序で実行されてもよいものである。さらに、単数形での言及は複数を排除するものではない。よって、「ある」「第一の」「第二の」などの言及は複数を除外するものではない。請求項に参照符号があったとしても、単に明確にする例として与えられているのであって、いかなる意味であれ特許請求の範囲を限定するものと解釈してはならない。
【技術分野】
【０００１】
本発明は、ディスプレイ・システムに関し、これに限られないが特に大きなサイズの表示ウィンドウに一つまたは複数の画像を呈示するディスプレイ・システムに関する。
【背景技術】
【０００２】
現在、多くの画像ディスプレイのサイズが大きくなる傾向がある。たとえば、テレビジョン・ディスプレイは絶えずサイズが増大しており、４２インチのディスプレイが現在普通であり、さらに大きな、たとえば６０インチのディスプレイも一般に入手可能である。実際、今後、非常に大きなディスプレイ・パネル、たとえば壁の大半を覆うものが普及することもありうると予想されている。また、画像投影装置を使って、たとえば壁、反射スクリーンなどといった別のオブジェクトの表面上に表示を投影できる画像投影装置を使って、非常に大きな表示ウィンドウがしばしば達成される。
【０００３】
さらに、典型的なディスプレイのサイズが増大しつつあるのと同時に、表示されるコンテンツの特性の多様性も著しく増大している。たとえば、所与のディスプレイが、標準精細度（SD: Standard Definition）テレビジョン、高精細度（HD: High Definition）テレビジョン、非常に高解像度のコンピューター・ディスプレイ（たとえばゲーム）のための四倍精細度（QD: Quad Definition）ビデオ、低品質ビデオ・シーケンス（たとえば低データ・レートのウェブ・ベースのビデオ・コンテンツまたは携帯電話で生成されたビデオ）などのために使用されうる。
【０００４】
ディスプレイの増大した多様性およびサイズならびにソース・コンテンツの品質および解像度における増大した多様性のため、ユーザー経験を最適化するためには、ディスプレイ・システムをディスプレイおよびコンテンツ両方の特定の現在の特性に適応させることがますます重要かつ決定的になる。
【０００５】
提案されている一つのアプローチは、受領されたコンテンツをディスプレイの解像度までアップスケーリングすることである。たとえば、HDテレビジョンはSDビデオ信号をディスプレイのHD解像度までアップスケーリングして、このアップスケーリングされたバージョンを呈示することができる。しかしながら、そのようなアプローチは多くのシナリオにおいて魅力的な映像を提供しうるものの、いくつかの付随する欠点もある。特に、呈示される画像が多くのシナリオにおいて、もとのソース品質のため、あるいはアップスケーリング・プロセスに関する品質劣化のために比較低低品質であると知覚されてしまう。
【０００６】
実際、高解像度の多くの大型ディスプレイにとって、しばしばソース・コンテンツが知覚される画質のための制限要因となる。たとえば、６０インチのテレビジョンに表示される標準精細度映像は典型的には比較的低品質であると知覚されるであろう。実際、たとえアップスケーリングが適用されたとしても、しばしばそうである。アップスケーリングがノイズを導入し、鮮鋭でない画像の知覚を与えるからである。ピーキング（peaking）、色過渡改善（color transient improvement）、色向上（color enhancement）、ノイズ削減、デジタル・アーチファクト削減などといった最新技術の映像品質処理アルゴリズムも、典型的には、アップスケーリングされた素材に導入される、ノイズがあり鮮鋭でない印象を十分緩和することはできない。
【０００７】
よって、改善されたディスプレイ・システム、特に、柔軟性を高める、知覚される品質を改善する、ユーザー経験を改善する、操作を容易にする、実装を容易にするおよび／またはパフォーマンスを改善することを許容するシステムが有利であろう。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
したがって、本発明は、上述した欠点の一つまたは複数を単独でまたは任意の組み合わせにおいて好ましくは緩和、軽減または解消することを追求する。
【課題を解決するための手段】
【０００９】
本発明のある側面によれば、画像を呈示する表示装置であって：表示されるべき画像を受領する手段と；前記画像の少なくとも第一の領域上で局所的な画像プロファイル解析を実行してピクセル値の空間的変動を表す特性を決定する解析手段と；前記ピクセル値空間変動特性に応じて前記画像の少なくとも第二の領域をスケーリングするスケーリング手段と；スケーリングされた画像を呈示する呈示手段とを有する表示装置が提供される。
【００１０】
本発明は、一つまたは複数の画像の改善された呈示を許容しうる。特に、画像についての、表示ウィンドウ・サイズのような幾何学的特性が、呈示される画像の空間変動特性に合うよう調整されうる。本発明は、多くの実施形態において、多数の異なる型の画像信号および信号源への改善された適応を許容しうる。特に、本アプローチは、表示ウィンドウ・サイズを、画像の鮮鋭さまたは品質に合わせて適応することを許容しうる。特に、本発明は、単に画像のピクセル解像度に基づく最適化を許容しうるのではなく、この最適化が画像自身の実際の品質に依存できるようにしうる。たとえば、同じ解像度をもつ異なる画像が、その解像度内の画像の実際の鮮鋭さに依存して異なる仕方でスケーリングされうる。特に、スケーリングは、その解像度でもともと生成された画像とその特定の解像度になるようアップスケーリングされた画像とで異なることがありうる。本発明はたとえば、画像の表示されるサイズが、画像の（現在のまたはもとの）視覚的品質に依存することを許容しうる。このように、単に画像をスケーリングして特定のディスプレイ・サイズに当てはまるようにし、所与の知覚される品質を与えるようするのではなく、本発明は、いくつかの実施形態では、画像のスケーリング（たとえばサイズまたはスケーリング・アルゴリズムの種類）が所望される知覚される品質を与えるよう調整されることを許容しうる。
【００１１】
画像は、ビデオ信号の画像のように、画像シーケンスの画像であってもよい。ピクセル値はたとえば、ルミナンスおよび／または色値であってもよい。
【００１２】
画像は前置スケーリングされた画像であってもよい。たとえば、表示装置は入力画像を所与の解像度にスケーリングする前置スケーリング器を有していてもよい。たとえば、前置スケーリング器は、種々の解像度をもつ種々の入力画像を同じ所定の／固定された解像度にスケーリングするよう適応されていてもよい。こうして、前記解析は、既知の所定の／固定された解像度をもつが特定の視覚的品質をもつ画像に対して実行されてもよい。前置スケーリングされた画像は次いで前記スケーリング手段においてスケーリングされて、特定のピクセル値空間変動特性について好適な、所望される特性（たとえばサイズ）を与えてもよい。所定の／固定された解像度は特に、画像が呈示されるディスプレイの最大解像度に対応してもよい。
【００１３】
場合によっては、前記解析手段が、前記画像を所定の／固定された解像度に前置スケーリングする前置スケーリング器を有していてもよい。こうして、前記解析は、既知の所定の／固定された解像度をもつ画像に対して実行されてもよい。しかしながら、前記スケーリングは前置スケーリングに先立って前記画像に対して実行されてもよい。すなわち、もとの解像度の画像に対して実行されてもよい。よって、スケーリングの適応は、前置スケーリングされた画像ともとの画像の解像度の間の差を考慮に入れてもよい。
【００１４】
本発明の任意的な特徴によれば、前記解析手段は、少なくとも前記第一の領域上で局所的な空間周波数の空間周波数解析を実行して、空間周波数特性を含むよう前記ピクセル値空間変動特性を生成するよう構成される。
【００１５】
これは、特に有利なパフォーマンスを提供しうる。特に、計算量が少ないが、それでいて根底にある画像の正確な鮮鋭さ（および／または信号の複雑さおよび／または視覚的品質／正しさ／美しさ／詳細）の指標を提供することができ、画像のスケーリングの最適化の基礎になる特に好適なパラメータを提供しうる。
【００１６】
前記空間周波数解析は、前記画像に対して直接実行されても、あるいは前記画像の修正バージョンに対して実行されてもよい。たとえば、空間周波数解析は、画像のアップスケーリング／前置スケーリングされたバージョンに対して実行されてもよい。空間周波数特性は、スケーリングが適用されない場合に呈示される画像の空間周波数を示してもよい。
【００１７】
本発明の任意的な特徴によれば、前記解析手段は、少なくとも前記第一の領域上で鮮鋭さ解析を実行して、鮮鋭さ特性を含むよう前記ピクセル値空間変動特性を生成するよう構成される。
【００１８】
これは、特に有利なパフォーマンスおよび画像呈示を提供しうる。特に、多くのシナリオにおいて、表示される画像のサイズが、画像の特定の特性値について最適化されることを許容しうる。
【００１９】
本発明の任意的な特徴によれば、前記解析手段は、少なくとも前記第一の領域上でテクスチャー解析を実行して、テクスチャー特性を含むよう前記ピクセル値空間変動特性を生成するよう構成される。
【００２０】
これは、特に有利な画像呈示を提供しうるおよび／または解析を容易にしうる。
【００２１】
本発明の任意的な特徴によれば、前記解析手段は、少なくとも前記第一の領域上でピクセル値分布解析を実行して、ピクセル値分布特性を含むよう前記ピクセル値空間変動特性を生成するよう構成される。
【００２２】
これは、特に有利な画像呈示を提供しうるおよび／または前記解析を容易にしうる。前記分布はたとえばヒストグラムによって表現されてもよい。前記分布はまず一つまたは複数の画像セグメントにおいて決定されてもよい。個々の分布は次いで、組み合わされた分布に組み合わされてもよく、前記ピクセル値分布特性は組み合わされた分布の特性として決定されてもよい。もう一つの例として、各セグメント分布について特性が決定されてもよく、それらの特性が次いで組み合わされてもよい。たとえば、各セグメントについてのピクセル値分散が計算され、平均ピクセル値分散を決定するために使われてもよい。
【００２３】
本発明の任意的な特徴によれば、前記解析手段は、少なくとも前記第一の領域上で符号化アーチファクト解析を実行して、符号化アーチファクト特性に応答して前記ピクセル値空間変動特性を生成するよう構成される。
【００２４】
これは、多くのシナリオにおいて改善されたパフォーマンスを提供しうる。復号アーチファクト特性は、空間周波数特性のような別の特性を補償するために使用されてもよく、および／または前記スケーリングを適応させるために直接使用されてもよい。具体的には、前記ピクセル値空間変動特性は前記符号化アーチファクト特性を含んでいてもよい。
【００２５】
本発明の任意的な特徴によれば、前記解析手段は、少なくとも前記第一の領域上で動き解析を実行して、動き特性を含むよう前記ピクセル値空間変動特性を生成するよう構成される。
【００２６】
これは、多くのシナリオにおいて改善された呈示を提供しうる。動き特性は、特に、一つまたは複数の画像オブジェクトの動き特性であってもよい。
【００２７】
本発明の任意的な特徴によれば、本表示装置はさらに、少なくとも前記第一の領域上で内容解析を実行する手段を有し、前記スケーリング手段は、内容特性に応答して前記第二の領域をスケーリングするよう構成される。
【００２８】
これは、多くのシナリオにおいて改善された画像呈示を提供しうる。前記内容解析は特に、画像についての内容カテゴリーを判別してもよく、前記スケーリングは、その内容カテゴリーについての所定のバイアスに従って修正されてもよい。
【００２９】
本発明の任意的な特徴によれば、前記スケーリングはクロッピングを含む。
【００３０】
これは、多くのシナリオにおいて改善された画像呈示を提供しうる。クロッピングは特に、画像変動特性がある基準を満たすときに実行されてもよい。どの部分をクロッピングし、あるいは保持するかの選択は、画像の局所的な空間特性に依存してもよい。
【００３１】
本発明の任意的な特徴によれば、前記スケーリングはさらに、スケーリングされた画像を表示するために利用可能な表示ウィンドウの特性に依存する。
【００３２】
これは、多くの実施形態において改善された画像呈示を提供しうる。スケーリングされた画像を表示するために利用可能な表示ウィンドウの特性は、特に、該表示ウィンドウのサイズであってもよい。このアプローチは、潜在的な最大表示ウィンドウが変わりうる実施形態では特に有利でありうる。たとえば、表示が、あらかじめ予測できない種々の表面（壁、ドア、フロントガラスなど）に投影される実施形態においてきわめて有利でありうる。
【００３３】
本発明の任意的な特徴によれば、前記スケーリングは、所望のウィンドウ・サイズに対応する解像度への解像度スケーリングを含む。これは典型的には非線形であってもよい。
【００３４】
これは、多くの実施形態において改善されたおよび／または容易にされた実装および／または有利なパフォーマンスを許容しうる。
【００３５】
本発明の任意的な特徴によれば、前記解析手段は、少なくとも一つの画像オブジェクトについて画像オブジェクト空間プロファイル特性を決定するよう構成され（すなわち、セグメンテーションもしくはオブジェクト検出などから帰結したものであってよい当該オブジェクトを通じてどのくらいピクセル値が変動するかを見る）、前記スケーリング手段は、前記オブジェクト空間プロファイル特性に応答して前記スケーリングを実行するよう構成される。
【００３６】
これは、多くの実施形態において有利な画像呈示および／またはパフォーマンスを提供しうる。
【００３７】
本発明の任意的な特徴によれば、前記画像は、複数の画像を含むビデオ・シーケンスの画像であり、前記解析手段は前記ビデオ・シーケンスに対して時間的な解析を実行して時間的ピクセル値変動特性を生成するよう構成され、前記スケーリング手段は前記第二の領域を、前記時間的ピクセル値変動特性に応答してスケーリングするよう構成される（たとえば、静的なシーンは複雑な動きのある活発なシーンより大きく示されてもよい）。
【００３８】
これは、多くの実施形態において有利な画像呈示および／またはパフォーマンスを提供しうる。特に、時間的ノイズが判別されることを許容しうるとともに、前記スケーリングがこのノイズについてもさらに最適化されることを許容しうる。時間的ピクセル値変動特性は、空間周波数特性のような他の特性を補償するために使われてもよく、および／またはスケーリングを適応させるよう直接使用されてもよい。時間的ピクセル値変動特性は特に時間的ピクセル・ノイズ特性であってもよい。
【００３９】
本発明の任意的な特徴によれば、前記呈示手段は、表示ウィンドウのサブウィンドウ中に前記画像を呈示するよう構成され、当該装置はさらに、前記表示ウィンドウの別のサブウィンドウ中に別の画像を呈示する手段を有する。
【００４０】
これは、多くの実施形態において有利な画像呈示および／またはパフォーマンスを提供しうる。特に、改善されたユーザー経験を提供しうるとともに、さまざまな情報のユーザーに対する柔軟かつ動的な呈示を許容しうる。
【００４１】
本発明のある側面によれば、画像を呈示する方法であって：表示されるべき画像を受領する段階と；前記画像の少なくとも第一の領域上で局所的な画像プロファイル解析を実行してピクセル値空間変動特性を決定する段階と；前記ピクセル値空間変動特性に応じて前記画像の少なくとも第二の領域をスケーリングする段階と；スケーリングされた画像を呈示する段階とを含む方法が提供される。
【００４２】
最適なスケーリングは典型的には実際のディスプレイの近くで行われるが、リモート・サーバーなどで行われることもできる。画像処理装置がのちの使用のためにメモリ（たとえばIC、光ディスク……）中に信号を記憶してもよく、あるいは（可能性としては異常サイズまたはアスペクト比を考慮に入れる特別なエンコード後（あるいはいくつかの表示手段のための異なる信号に分割した後）に、たとえばメイン・カットアウトを補足するための補助信号とともに）信号をネットワークを通じて送ってもよい。本発明に基づく可能なディスプレイの各機能はみな、典型的にはICまたは他の画像処理デバイス（たとえば汎用プロセッサ上のソフトウェア）（の一部）において実行されうる。
【００４３】
本発明のこれらおよびその他の側面、特徴および利点は、以下に記載される実施形態から明白となり、これを参照することで明快にされるであろう。
【図面の簡単な説明】
【００４４】
本発明の諸実施形態について、単に例として、図面を参照して述べる。
【図１】本発明のいくつかの実施形態に基づくディスプレイ・システムの例を示す図である。
【図２】ａ〜ｃは、本発明のいくつかの実施形態に基づく画像の表示の例を示す図である。
【図３】本発明のいくつかの実施形態に基づくディスプレイ・システムの例を示す図である。
【図４】本発明のいくつかの実施形態に基づく画像の表示の例を示す図である。
【図５】ａ〜ｆは、最適な視覚的品質を生じるスケーリングの一般原理のいくつかの例示的なシナリオを示す図である。
【発明を実施するための形態】
【００４５】
以下の記述はディスプレイ・システムに適用可能な本発明の実施形態に、特にディスプレイ・パネル上に画像を表示するまたは表面上に画像を投影するディスプレイ・システムに焦点を当てているが、本発明がそのような用途に限定されないことは理解されるであろう。
【００４６】
図１は、一つまたは複数の画像を呈示する表示装置の例を示している。
【００４７】
本表示装置は、表示されるべき一つまたは複数の画像を受領する画像受領部１０１を有する。この特定の例では、画像受領部１０１は画像のシーケンスを含むビデオ信号（たとえば、各画像がビデオ信号のフレームに対応する）を受領する。
【００４８】
画像受領部１０１が、内部の源でも外部の源でもよいいかなる好適な源から画像を受領してもよいことは理解されるであろう。たとえば、ビデオ／画像信号は当該表示装置においてローカルに格納されているまたは生成されるのでもよいし、あるいは外部源から受領されてもよい。
【００４９】
今の例では、本ディスプレイ・システムは、SD、HDおよびQDビデオ信号、低い解像度および品質（非常に低いデータ・レート）のビデオ・シーケンス、高解像度映像などを含む多様な異なる信号を受領しうる。
【００５０】
画像受領部１０１は画像解析器１０３およびスケーリング・プロセッサ１０５に結合される。画像解析器１０３はさらにスケーリング・プロセッサ１０５に結合される。
【００５１】
画像解析器１０３は、ピクセル値空間変動特性を決定するために、前記画像の少なくとも第一の領域（これはたとえば前記画像上に一様にまたは内容に基づいて非一様に分散した20個のN×Mピクセル・ブロックであってもよい；結果として得られる特性は典型的には平均のたとえば鮮鋭さであってもよいが、より複雑な多次元記述であってもよい）に対して局所的な画像プロファイル解析を実行するよう構成される。ピクセル値空間変動特性は次いでスケーリング・プロセッサ１０５に入力され、該スケーリング・プロセッサ１０５はピクセル値空間変動特性に応答して前記画像の少なくとも一つの領域をスケーリングすることに進む。スケーリングされる領域は、ピクセル値空間変動特性が決定される領域と同じであってもよいが、そうである必要はない。さらに、解析される領域および／またはスケーリングされる領域は、処理される画像の画像領域全体に対応してもよい。
【００５２】
スケーリング・プロセッサ１０５は呈示コントローラ１０７に結合され、該呈示コントローラ１０７はスケーリング・プロセッサ１０５から受領されるスケーリングされた画像を呈示するよう構成される。今の特定の例では、呈示コントローラ１０７は表示デバイス１０９（これは当該表示装置の外部であってもよい）に結合されており、該表示デバイスのための好適な駆動信号を生成する。たとえば、表示デバイス１０９は、６０インチまたはより大きなLCDまたはプラズマ・ディスプレイ・パネルのような、非常に大型のディスプレイ・パネルであってもよい。呈示コントローラ１０７は次いで、ディスプレイ・パネルのための好適な表示信号を生成しうる。もう一つの例として、表示デバイス１０９は、壁面または反射スクリーンまたはオブジェクト（の一部）といった外部表面に画像を投影することのできるプロジェクターであってもよく、呈示コントローラ１０７は該プロジェクターのための好適な駆動信号を生成してもよい。
【００５３】
今の例では、表示デバイス１０９は大きなサイズの映像を表示するよう構成される。たとえば、表示デバイスは、数メートル以上の対角線をもつディスプレイであってもよいし、あるいは数メートル以上の対角線をもつ画像を投影するよう意図されたプロジェクターであってもよい。
【００５４】
先述したように、本表示装置は、多様な異なる源からの、多様な特性をもつコンテンツを受領するよう構成される。特に、多様な解像度および多様な画質をもつコンテンツが受領されうる。たとえば、本表示装置は、もともとQDまたはHDで生成されたコンテンツ、アップスケーリングによって生成されたHDコンテンツ、SDコンテンツ、（たとえば携帯電話からの）低品質ビデオ・シーケンス、高解像度写真、種々のフォント・サイズおよびテキスト量をもつテキスト・ベースの画像コンテンツなどを受領することがある。
【００５５】
このように、受領されたコンテンツの解像度が大幅に変わりうるばかりでなく、同じ解像度であっても画像コンテンツの特性も多様でありうる。例として、たとえば1440×720の解像度をもつが、非常に困難なコンテンツ特性をもつ種々の信号が受領されることがある。たとえば、このHD解像度におけるある信号は、この解像度でそのコンテンツを直接生成したHD信号源から受領されることがありうる。表示デバイス１０９が好適なサイズおよび解像度（たとえばネイティブ解像度1440×720）をもつパネル・ディスプレイであれば、この画像は高品質で呈示されることになり、非常に明瞭でくっきりして見えるであろう。しかしながら、他のシナリオでは、この信号は、SD信号をアップスケールすることによって生成されたこともありうる。そのようなアップスケーリングは多くのシナリオにおいて受け容れ可能な結果を提供しうるが、アップスケーリング・プロセスは理想的ではなく、さらにノイズおよびアーチファクトを導入しうる。よって、呈示される画像は低下した品質となり、たとえ同じ解像度にアップスケーリングされていても、見る者には低下した品質のものとして見える。第三の例として、1440×720信号は非常に低解像度の元信号（たとえば携帯電話で撮影された、たとえば解像度352×288のビデオ）に由来するものであってもよい。そのようなシナリオでは、アップスケーリングされた1440×720信号の画質は比較的低くなり、見る者にとって、明らかに最適でない画像を呈示することになる。
【００５６】
そのような品質変動の影響は大きなディスプレイ・サイズでは特に問題である。たとえば、源品質が低い画像を６０インチのテレビジョンでまたは数平方メートルの投影表示領域に呈示することは、画像が低品質であると知覚される結果となり、典型的にはノイズがあるように見えるばかりでなく、不鮮明で、ぼやけているようにも見える。画像がより高い解像度にアップスケーリングされているにもかかわらず、そうである。
【００５７】
鮮鋭さに欠ける印象は、主として、表示される画像の周波数内容が人間の眼が分解できる最大解像度よりはるかに低い（そして通例、表示されるオブジェクトについて見えるはずの周波数より低い）ことから生じる。この最大解像度は約30サイクル毎度である。これは、大画面ディスプレイの近くに立って、60度の視角で見ているとき、最適な鮮鋭さの知覚のためには少なくとも1800サイクルすなわち3600ピクセルが必要とされることを意味する。しかしながら、より低い周波数の源画像（たとえばもとのSD画像または低解像度画像）が含むピクセルはそのような鮮鋭さを与えるにはあまりに少なすぎる。さらに、最新技術を使った解像度アップスケーリングでさえ、典型的には十分高い分解可能なピクセル解像度を与えることはできず、したがってアップスケーリングされた画像はしばしばぼやけていると知覚される。さらに、アップスケーリングは、呈示される画像において知覚可能なノイズおよびアーチファクトを導入しうる。
【００５８】
実際、アップスケーリング技法は既存のサンプルの間の中間位置におけるサンプル（ピクセル）を生成するものである。生成されたサンプルはもとのピクセルとある種の相関をもち、したがって、前記より高い解像度での源信号と同じ鮮鋭さの情報を与えるものではない。さらに、もとの画像にノイズが存在する場合、生成される追加的なピクセルは一層相関付けられる傾向があり、それにより鮮鋭さの知覚をさらに低下させる。さらに、もとの信号におけるノイズは今や複数のピクセルに拡張されており、したがってより大きなノイズ実体として表示され（アップスケーリングおよびより大きなスクリーン・サイズでの表示のため）、したがってより目につくようになる。
【００５９】
このように、十分な品質の入力素材、たとえばもともとHDである源信号についての呈示される画像は鮮明でくっきりして見えるであろうが、より低い品質の源素材についての呈示される画像は、実質的により低い品質であると知覚されることになり、実際、（たとえ高品質アップスケーリングが適用されていたとしても）受け容れられない品質であると知覚されることもある。
【００６０】
本発明者らは、表示される画像の周波数内容が人間の眼の最大分解可能な解像度に近いまたさらにはそれ以上である場合に知覚的な品質が最高であることを認識するに至った。実際、本発明者らは、ディスプレイ・システムまたは画像の解像度に依存する特性をもつ画像を呈示するのではなく、画像中の局所的なピクセル値空間変動に依存して画像の少なくとも一部をスケーリングすることが有利でありうることを認識するに至った。実際、そのようなアプローチは、呈示される画像の空間的周波数、よって鮮鋭さを直接制御するために使用されてもよい。
【００６１】
こうして、図１のシステムにおいて、画像解析器１０３は、ピクセル値変動を特徴付けるために、たとえば画像全体に対して局所的な画像プロファイル解析を実行しうる。たとえば、もともとHDであるコンテンツに由来するHD信号については、局所的なピクセル値変動がいくつかの場所（鮮鋭なエッジに対応）において非常に実質的（鮮鋭〔シャープ〕）でありうる可能性が高い。この鮮鋭さは、さまざまな近傍における高い局所的な変動性によって反映されてもよい（たとえば、直径がたとえばNピクセルの領域内の非常に明るいピクセルおよび非常に暗いピクセル両方が映像内の少なくともいくつかの場所に見出せる）。具体的には、ピクセル値の空間周波数内容は（（解像度に対応する）空間的サンプル周波数についての）利用可能なスペクトルの大半をカバーしうる。しかしながら、同じ解像度だが（より低い解像度のもとの画像のアップスケーリングに起因して）より低い画質の信号については、エッジがそれほど鮮鋭でなく、ピクセル変動もより少ないため、そのような値／特性は実質的により低くなる可能性が高い。このように、画像解析器１０３は画像解析を実行して、具体的には上述した値の一つまたは複数を含みうるピクセル値空間変動特性を決定する。解析は、閲覧の幾何学的関係（閲覧者〔見る者〕がディスプレイからどのくらい遠いか）および閲覧者の選好（映像のぼやけた見え方を一部の閲覧者は好む一方、他の閲覧者は批判的である）のような因子を考慮に入れてもよい。この後者の場合、スケーリング器は典型的には、閲覧者選好を記憶するメモリまたはリアルタイムのユーザー入力手段へのアクセスをもつことになろう。
【００６２】
ピクセル値空間変動特性は次いでスケーリング・プロセッサ１０５に入力される。該スケーリング・プロセッサ１０５は、ピクセル値空間変動特性に依存して受領された画像をスケーリングすることに進む。スケーリングはたとえば、呈示されるときの画像のサイズの単純な調整であってもよい。
【００６３】
たとえば、表示デバイス１０９がプロジェクターである場合、スケーリング・プロセッサ１０５は、表示されるサイズを調整することによって、単純に信号をスケーリングしてもよい。これはたとえば、画像が拡大または縮小されるようプロジェクターの光学系を制御することによって達成されてもよい。これは事実上、呈示される画像のピクセル・サイズを変えることに対応しうる。
【００６４】
もう一つの例として、解像度スケーリングが適用されてもよい。たとえば、プロジェクターが1920×1080の解像度をもち、たとえば3mかける1.7mの対応する表示ウィンドウ内にフル解像度画像を表示するよう構成されている場合、スケーリング・プロセッサ１０５は、ピクセル値空間変動特性に依存して、より小さなサイズに対応するよう、画像の解像度を修正してもよい。
【００６５】
たとえば、高品質信号（たとえばピクセル値空間変動特性が高い変動を示す）については、スケーリング・プロセッサ１０５は利用可能なフル解像度、すなわち1920×1080ピクセルを使ってもよい。しかしながら、低品質信号（たとえばピクセル値空間変動特性が低い変動を示す）については、スケーリング・プロセッサ１０５は利用可能なフル解像度のサブウィンドウだけを使ってもよい。たとえば、低品質信号について、スケーリング・プロセッサ１０５は480×270の解像度をもつ画像を生成して、フルの1920×1080画像の中央に位置させてもよい。したがって、プロジェクターは75cmかける42cmのウィンドウ・サイズ内にのみ画像を呈示することになる。だが、このより小さい表示サイズでは、画像は比較的高めの品質であると知覚されることになる。特に、ノイズおよびアーチファクトはそれほど知覚できるようスケーリングされず、それによりそうしたノイズやアーチファクトがより優勢となる可能性が補償される。さらに、呈示される画像の解像度が、人間の眼が分解できる最大解像度にずっと近くなる（あるいはそれを超えさえする）。よって、画像は、実質的により鮮鋭であるように知覚される。
【００６６】
ちょうど同じアプローチが、たとえば対応する1902×1080の解像度をもつ3mかける1.7mのサイズのディスプレイ・パネルについて使用されうることは理解されるであろう。
【００６７】
上記の特定の例では、スケーリング・プロセッサ１０５は、所望されるウィンドウ・サイズに対応する解像度までの解像度スケーリングを実行する。よって、この例では、スケーリング・プロセッサ１０５からの出力信号はフル表示ウィンドウに対応する固定された解像度（たとえば投影される領域全体または大型ディスプレイのフル解像度）をもつ。スケーリング・プロセッサ１０５は次いで、入力画像の（たとえばビデオ信号の）スケーリングを実行して、表示デバイスによって呈示されたときに所望される表示ウィンドウ・サイズを与える解像度をもつ画像を与えることに進む。
【００６８】
この解像度スケーリングは、より低い解像度（たとえばSD解像度）から特定の表示ウィンドウに対応するより高い解像度へのアップスケーリングを含みうる。このアップスケーリングは、当業者に知られている高度なアップスケーリング技法を使うことを含んでいてもよい。しかしながら、たとえば、所望されるウィンドウ・サイズが受領された画像の解像度より低い画像解像度に対応する場合など、解像度スケーリングはまたダウンスケーリングを含んでいてもよいことは理解されるであろう。また、実施形態によっては、受領された画像信号はすでに表示デバイスの解像度に対応する解像度であってもよく、よってスケーリング・プロセッサ１０５のスケーリングは変化なしまたはダウンスケーリングであってもよい。
【００６９】
また、スケーリング・プロセスは単に入力画像の直接的なスケール変更に対応するものでなくてもよく、非常に高度な局所化された柔軟なスケーリング・アプローチを適用してもよいことは理解されるであろう。また、スケーリングは、画像全体に適用されるのでなくてもよく、画像の一つまたは複数の領域に適用されてもよい。実際、スケーリング・プロセッサ１０５は、ピクセル値空間変動特性に依存して画像をクロッピングすることによって、呈示される画像のサイズを調整してもよい。
【００７０】
一例として、スケーリング・プロセスは、前景画像オブジェクトおよび背景を識別する画像解析を含んでいてもよい。次いで背景が所望されるウィンドウ・サイズまでアップスケールされてもよい。一方、画像オブジェクトは同じ解像度に維持され、アップスケールされた背景中に挿入される。
【００７１】
実際、スケーリングは、表示デバイス１０９によって表示されるときに画像のサイズに影響するいかなるプロセスまたはアルゴリズムを含んでいてもよい。たとえば、プロジェクターについて、スケーリング・プロセッサ１０５はいかなる仕方で画像を修正してもよく、呈示コントローラ１０５には常に未修正の画像信号を提供してもよい。しかしながら、さらに、スケーリング・プロセッサ１０５は、プロジェクターの光学系に入力される制御信号を生成してもよい。すると制御信号が、適切なサイズの表示される画像を与えるよう光学系を制御しうる。
【００７２】
このように、図１のディスプレイ・システムは、画像（または画像の一部）が表示される表示ウィンドウを、ピクセル値空間変動特性に依存して自動的に適応させる。ピクセル値空間変動特性は画像コンテンツの品質または鮮鋭さを示すので、これは、改善されたユーザー経験および改善された品質知覚を提供するよう呈示される画像の自動的な適応を許容する。
【００７３】
いくつかの実施形態では、画像受領部１０１は、入力信号についての前置スケーリングを実行しうる前置スケーリング器を有してもよい。たとえば、入力画像は固定因子によって前置スケーリングされてもよい（たとえば、４倍線形アップスケーリング器のような所定のアップスケール・プロセスによってアップスケーリングされてもよい）。これは、たとえば、入力信号がSD信号（またはそれ以下）であり、ディスプレイがQDディスプレイであるときに適切でありうる。このように、画像受領部１０１は、画像をすぐフル表示ウィンドウ・サイズに対応する解像度に近い解像度までアップスケーリングする前置スケーリングを適用してもよい。画像解析器は次いで、ピクセル値空間変動特性を決定するために、たとえば空間周波数成分を評価することによって、前置スケーリングされた画像を処理してもよい。結果が受け容れ可能と考えられる場合には、前置スケーリングされた画像は直接使われてもよい。しかしながら、高周波数成分が低すぎる（これは画像が不鮮明に見えるであろうことを示す）場合には、スケーリング・プロセッサ１０５は前置スケーリングされた画像をさらにスケーリングする。特に、スケーリング・プロセッサ１０５は典型的には、前置スケーリングされた画像をより低い解像度にダウンスケーリングしてもよい。
【００７４】
実際、いくつかのシナリオでは、スケーリング・プロセッサ１０５が前置スケーリング器として使われてもよい。たとえば、スケーリング・プロセッサ１０５は、まず、所定のスケーリングを実行して第一のスケーリングされた画像を生成してもよい。この画像が次いで画像解析器１０３によって解析されてピクセル値空間変動特性が生成されてもよい。このピクセル値空間変動特性に基づいて、第二のスケーリングが画像に（もとの画像にまたは前置スケーリングされた信号に）適用されてもよい。結果として得られるスケーリングされた信号は次いで解析されてもよい。そのようなプロセスはたとえば、停止基準が満たされる（たとえばピクセル値空間変動特性が、知覚される画質が受け容れ可能であることを示す基準を満たす）まで逐次反復されてもよい。
【００７５】
いくつかの実施形態では、前置スケーリング器は、入力画像に対して、所定のまたは固定された解像度までスケーリングされるよう、適応可能な前置スケーリングを適用してもよい。たとえば、すべての入力画像がまず、表示デバイス１０９のフル解像度までアップスケーリングされてもよい。結果として得られる画像が次いで画像解析器１０３によって解析される。この結果（何らかの好適な基準に基づいて）受け容れ可能なピクセル値空間変動特性が得られれば、前置スケーリングされた画像は呈示プロセッサ１０７に入力されてもよい。そうでなければ、スケーリング・プロセッサ１０５は前置スケーリングされた信号のダウンスケーリングを実行して、結果として縮小サイズの表示ウィンドウを与えてもよい。
【００７６】
いくつかの実施形態では、スケーリング・プロセッサ１０５はそのような場合、前置スケーリングされた画像ではなくもとの画像に対して作用してもよい。すなわち、前置スケーリングよりも小さなスケール因子でのアップスケーリングが適用されてもよい。そのような例は、前置スケーリング器が画像解析器１０３の一部であることに対応しうる。
【００７７】
いくつかの実施形態では、画像解析器１０３は特に、画像の少なくとも一つの領域に対して局所的な空間周波数の空間周波数解析を実行するよう構成されていてもよい。周波数解析に基づいて、次いで、空間周波数特性を含む（からなる）ようピクセル値空間変動特性が生成される。
【００７８】
周波数特性は特に、画像が表示デバイスに利用可能なフル・ウィンドウ内で表示されることから帰結する空間周波数の指標であってもよい。実際、いくつかの実施形態では、スケーリングは、入力信号のさまざまに変わる周波数特性について、表示される画像の所与の周波数特性が比較的一定に維持されるよう適応されてもよい。たとえば、スケーリング・プロセッサ１０５は、たとえば呈示コントローラに入力される出力信号の最大周波数が実質的に一定であるよう画像をスケーリングしてもよい。
【００７９】
この例では、画像解析器１０３は入力画像を解析して周波数特性を決定する。周波数特性は具体的には、画像受領部１０１から受領される画像の周波数分布特性および／または周波数内容特性を表していてもよい。周波数特性は、空間的サンプリング周波数（たとえば解像度）に対する空間的周波数内容を表していてもよい。
【００８０】
特に、画像解析器１０３は、たとえば二次元高速フーリエ変換（FFT: Fast Fourier Transform）を使って、受領された画像を周波数領域に変換してもよい。次いで、結果として得られる周波数分布を評価して、好適な周波数特性を生成してもよい。たとえば、最高空間周波数またはたとえば第９５百分位（95th percentile［１００分の９５位］）に対応する周波数を示す周波数特性が生成されてもよい。この周波数は、サンプル周波数の割合として与えられ、たとえば、0から1までの間の値にスケーリングされてもよい。このように、1の値は最高周波数（または第９５百分位周波数）が空間的サンプル周波数と同じであることを示すために使用されてもよく、0の値が画像がゼロ周波数しか含まない（すなわち単なる単色／単一色調である）ことを表すために使用されてもよい。このように、大きな値は高度な鮮鋭さ、そして特に鋭い過渡部が画像中に存在することを示す高度な高周波数成分を示す。一方、小さな値は、高周波数成分の欠如を示し、これは（遷移が入力画像において利用可能なフル解像度を利用しないので）鮮鋭さの度合いが低いことを示す。
【００８１】
典型的には、画像全体の周波数領域変換は計算量的に非常に高価であり、したがって、もう少し要求の低いアプローチを使用してもよい。たとえば、画像解析器１０３は解析が実行される特定の画像エリアまたは領域を検出してもよい。画像解析器１０３はたとえば、エッジ検出器を含んでいてもよく、周波数解析を特にそのような検出されたエッジのまわりの一つまたは複数の領域に適用してもよい。
【００８２】
もう一つの例として、エンコードされたデジタル信号は典型的には個々のブロック（8×8ピクセルのブロックなど）の周波数領域表現を与える。よって、エンコードされた画像信号は直接的に各8×8ブロックの周波数領域表現を与えることができ、画像解析器１０３はこれらの周波数領域の値を抽出してもよい。画像解析器１０３は次いで、個々のブロックについての周波数値にわたるヒストグラムを生成することに進んでもよい。その結果、64個の周波数ビンによって表現され、各ビンについての値がそのビンによってカバーされる周波数区間内の周波数の相対的な強さを表す、当該画像についての周波数分布が得られる。こうして、低品質の、ぼやけた、鮮明でない画像については、低めの周波数に高い集中があり、高めの周波数は全くないか、比較的強度が低い可能性が高い。しかしながら、より高品質およびより鮮鋭な画像については、周波数範囲全体が使用される可能性が高い。
【００８３】
この例では、スケーリング・プロセッサ１０５は次いで、好適な周波数内容をもつ表示される画像を与えるよう、画像をスケーリングすることに進む。いくつかの実施形態では、スケーリング・プロセッサ１０５から出力される画像と表示される画像のサイズの間の関係が知られていてもよい。たとえば、1920×1080の解像度をもつ3mかける1.7mのサイズのディスプレイ・パネルのディスプレイについては、各ピクセルは0.15cmかける0.15cmのサイズをもつことになる。名目的な閲覧距離は、スケーリング・プロセッサ１０５の出力信号の所望される周波数が分解される眼の最大周波数に対応することを許容すると想定されてもよい。こうして、スケーリング・プロセッサ１０５の出力信号について、信号のサンプル・レートに対する所望される、たとえば95%または最大の周波数が知られていてもよい。周波数特性が、フル・スケール信号がこの周波数に十分近いことを示す場合には、出力画像は、利用可能な表示ウィンドウをフルに使うよう生成される。しかしながら、周波数特性が、画像が所望される周波数の半分の周波数しかもたないことを示す場合には、これは信号をスケーリングすることによって補償される。実際、今の例において、表示の水平方向および垂直方向の寸法は、２倍縮小されてもよい。その結果、相対的な鮮鋭さは同じだがずっと小さい表示画像が得られる。
【００８４】
このように、一例として、スケーリング・プロセッサ１０５は、スケーリングされた画像が、ある基準を満たすピクセル値空間変動特性、特に周波数特性をもつよう、画像をスケーリングするよう構成されていてもよい。こうして、種々の画像がスケーリングされた画像が知覚される品質基準を満たすよう、スケーリングされることになる。こうして、表示される画像のサイズを修正することで、品質は比較的一定に保たれうる。
【００８５】
ピクセル値空間変動特性に基づいてスケーリングの特性を設定するための他のより複雑なアプローチを使ってもよいことは理解されるであろう。たとえば、サイズと変動特性との間の複雑な数学的関係を使用してもよく、および／またはスケーリング・プロセッサ１０５はサイズと変動特性を相関付けるルックアップ・テーブルを実装してもよい。そのような関数またはルックアップ・テーブルはさらに、ユーザーが特定のディスプレイ・シナリオに動作を適応させることを許容するよう、構成設定可能であってもよい。たとえば、関数または値は、プロジェクターと表示表面との間の、および／または表示表面と閲覧者との間の距離を反映するよう調整されてもよい。
【００８６】
いくつかの実施形態では、画像解析器１０３は鮮鋭さ解析を実行し、鮮鋭さ特性を含むようピクセル値空間変動特性を生成するよう構成される。先述した周波数解析は鮮鋭さ評価の一例であって、周波数特性は実際、知覚される鮮鋭さを示すことは理解されるであろう。実際、より高い周波数はより速い遷移を、よって増大した鮮鋭さを示す。
【００８７】
しかしながら、他の鮮鋭さ評価が代替的または追加的に実行されてもよい。たとえば、画像解析器１０３はエッジを検出し、特にそのようなエッジの特性を評価してもよい。たとえば、遷移のレートが決定され、すべての同定されたエッジについて平均されてもよい。エッジ勾配（xがピクセル値、yが空間的な画像次元方向を表すとしてdx/dy）に依存して、選択プロセッサ２０５が異なるスケーリングを選択してもよい。こうして、低い勾配（ぼやけた／ソフトなエッジに対応）は、小さな表示ウィンドウにつながることがあり、高い勾配はより大きなウィンドウ・サイズにつながることがある。
【００８８】
図５は、鮮鋭さまたは周波数内容を調べる一般的なアプローチのいくつかのさらなる例を示している。その際、典型的には信号複雑さを見るであろう。図５のａは、スケーリングするのが簡単なプロファイル、すなわち鮮鋭なオブジェクト間エッジを示している。線形スケーリングは典型的にはこのエッジを受け入れられなくなるまでぼかすが、非線形スケーリングはこれを緩和できる。図５のｂは、ある種の事例では非常にスケーラブルでもありうるプロファイルの例、つまりほぼ一定のピクセル値のプロファイルである。これは、たとえば木の間の空として現れうる。そのシナリオでは、空は実際に詳細構造がなく、種々のスケールにおいてそうであろう。よって、空の局所的なパッチはほとんど自在に伸張され、あるいは圧縮されうる（これは映画では望ましくないかもしれないが、図４のサイド・ウィンドウのいくつかを積極的にスケーリングするためにはよいシナリオでありうる）。同じことは、たとえばグラフィカルな煉瓦パターンのような単純な反復テクスチャーにも当てはまる。
【００８９】
図５のｃは、毛（各毛が可変の照明プロファイルをもつ）からなるテクスチャーのマイクロプロファイルである。一方、図５のｄは、小さな鮮鋭なエッジ５０４およびほぼ一定の内部５０３から構成される網目テクスチャーの基本テクスチャー要素である。網目テクスチャーは良好な非線形スケーリング器を用いて簡単にスケーラブルであるかもしれないが（大きなサイズでは内部も一定であることがあり、細いエッジは比較的細く保たれうるので）、毛は、ぼやけたエッジと正しくない内部（典型的にはリアルなピクセル変動プロファイルを欠き、通例微小詳細）の両方をもつため、別の使用されているスケーリング器を用いてよくスケーリングしないことがありうる。しかしながら、毛がもとのサイズで十分良好に見えるならば、スケーリング後に同じ情報の複雑さを保持する別のスケーリング器が使用できる（発明者ダムカットのEP08156628の方法のような）。
【００９０】
情報の複雑さは典型的には、オブジェクト境界および内部のピクセル変動のような異なるスケールと関係がある（悪い圧縮のぼやけた内部と比較）。典型的にはこれらの異なる局所的画像部分について詳細を見て、それが自然／可能であるか否かを判断する必要がある（網目テクスチャーや木々の間の例と対照的に、悪く圧縮されたオブジェクトにおける詳細構造のない領域――たとえば欠けている芝生のテクスチャー――はよくスケーリングしないであろう）。たとえば、図５のｅの顔のオブジェクトは、領域５０１における詳細が不十分だと、非常に漫画チックになることがある（眼のテクスチャーの代わりに単に暗い斑点があるなど。これはうまくアップスケーリングしない）。パターン横断およびパターン間の複雑さのそのような解析は、たとえばピクセル変動の規格化された積分（たとえば、現在のピクセル値と直線のピクセル値の差分絶対値和の複素重み付けされ非線形変換された変形）など、さまざまな数学的関数を用いることができる。テクスチャー解析は、粒子のサイズを、次いで内部の複雑さを見てもよい。図５のｆは、種々のFFTビンの値を厳密に見るのではなく、概括的に周波数を見るもう一つの例を示している。これは、十分なピクセル変動をもたないピクセル値５０２の長い連続があるために、オブジェクト領域があまりに漫画チックでありうることを示す。選ばれたスケーリング・アルゴリズム（線形補間、フラクタル、テクスチャー・ベースのグラフィック……）に依存して、いくつかのスケーリングは、十分良好な品質であると判定される一方、他のスケーリングはそうではなく、つまり映像がより小さく表示される必要があると判定されてもよい。
【００９１】
記載されたアプローチは多くの用途および実施形態において使用できることは理解されるであろう。
【００９２】
たとえば、表示デバイス１０９は、居間などの部屋の壁面に表示を呈示することができるプロジェクターであってもよい。そのような例は図２に示されている。ここでは、プロジェクターが壁面全体を覆うよう画像を表示しうる。すなわち、最大表示ウィンドウは全壁面に対応する。プロジェクターは特に、たとえば解像度1920×1080をもつ高解像度プロジェクターであってもよい。図１の表示装置は、壁に種々の画像信号を表示するために使用されうる。
【００９３】
たとえば、入力信号は、標準的なSDビデオ信号を与える通常のテレビジョン信号に由来してもよい。SDビデオ信号は（当該表示装置によってまたは当該表示装置に与えられる前に）HD解像度にアップスケーリングされてもよいが、これは典型的には、納得いく程度だがあまり高品質ではない信号につながる。したがって、画像解析器１０３による解析は、たとえば、利用可能な空間周波数範囲を十分に活用しない周波数内容を示す。よって、スケーリング・プロセッサ１０５は、納得いく程度のサイズの画像が与えられるよう、信号をスケーリングする（図２ａ参照）。このサイズは特に、知覚される品質と画像サイズの間の所望されるトレードオフを提供するよう最適化される。
【００９４】
しかしながら、他の時には、表示装置は、高解像度のスチール画像を呈示するために使われてもよい。画像は、たとえば、1920×1080ピクセルの解像度で直接与えられてもよい。この画像は典型的には利用可能な解像度をフルに利用し、利用可能な全周波数範囲を表す周波数内容を有しうる。よって、スケーリング・プロセッサ１０５は、その画像を、フル・ウィンドウに表示されるよう、すなわち壁面全体を覆うようスケーリングする（図２ｂ参照）
他の時には、表示システムは、1440×720の解像度でHD密度の映画としてもともとつくられた映画を見るために使用されてもよい。ここでもまた、このコンテンツは、1920×1080ピクセルの表示システムのネイティブ解像度までアップスケーリングされてもよい。しかしながら、もとの信号の改善された品質のため、アップスケーリングされた画像の鮮鋭度はSD信号よりは有意によいが、高解像度写真ほど高くはない可能性が高い。これは、画像解析器１０３によって生成される周波数特性に反映され、よって、表示システムは、テレビジョン信号について使用されるサイズと高解像度写真について使用されるサイズとの中間の表示ウィンドウにおいてコンテンツを呈示するよう、信号をスケーリングできる（図２ｃ）。
【００９５】
このように、これら三つの例において、画像受領部１０１は、みな同じ1920×1080ピクセルの解像度の三つの異なる信号を受領しうる。しかしながら、これらは非常に異なった信号に由来するので、実際の画像の実際の画質または鮮鋭さはこの固定された解像度の枠組み内でも有意な差がある。今の例では、表示システムはこれを自動的に検出でき、知覚される品質と画像サイズとの間の最適化されたトレードオフを与えるよう、呈示される画像のサイズを調整できる。さらに、この最適化は自動的に実行されてもよい。
【００９６】
もう一つの例として、表示装置は、多様な信号を入力されることができ、種々の用途において使用できるポータブル装置の一部として実装されてもよい。たとえば、ユーザーは、画像が投影される表示表面までの距離および見る者の距離を入力してもよい。ポータブル・プロジェクターは次いで、種々の画質についてのスケーリングを自動的に計算し、適用するよう構成されていてもよい。
【００９７】
もう一つの例として、表示システムは、追加的な情報または案内を呈示する消費者装置または機器の一部として使われてもよい。たとえば、図３に示されるように、洗濯機３０１は、画像３０５を洗濯機３０１の後上方の壁３０７に投影できるプロジェクター３０３を有していてもよい。
【００９８】
システムはたとえば、ユーザーに対してコンテキスト依存性の案内マニュアルまたは決定木をユーザーに呈示するために使用されてもよい。こうして、洗濯機３０１はユーザーを支援するために呈示されることのできる幅広い範囲の画像を有しうる。これらの画像は主としてテキスト・ベースの情報を含みうるが、画像や図案を含んでいてもよい。画像はみな同じ解像度で記憶されていてもよいが、実質的に変化があってもよい。すなわち、いくつかの画像は少量の大きなフォントのテキストを含んでいてもよく、他の画像は単純なイメージを含んでいてもよく、また別の画像は大量の小さなフォントのテキストを含んでいてもよい、などである。
【００９９】
今のアプローチにおいて、表示装置は、鮮鋭さまたは周波数内容を決定するために表示される各画像を評価してもよく、しかるべく画像をスケーリングしてもよい。たとえば、大量のテキストを含むページ／画像は壁３０７で比較的大きな画像３０５として呈示されてもよい。しかしながら、少量のテキストを含むページ／画像は壁３０７に比較的小さな画像３０５として呈示されてもよい。このように、システムは、特定の画像／ページの内容に合うよう、画像サイズを自動的に適応させうる。たとえば、画像のサイズは、実質的に等しいフォント・サイズをさまざまな画像サイズで提供するよう自動的に適応されてもよい。これは、たとえばプロジェクターの光学系を直接制御するスケーリング・プロセッサ１０５によって、投影される画像の解像度を変えることなく達成されうることを注意しておくべきである。
【０１００】
先述したように、スケーリング・プロセッサ１０５はいくつかの実施形態またはシナリオでは、単に画像をサイズ変更するだけでなくてもよく、代替的または追加的に、画像の一つまたは複数の領域を選択してもよい。たとえば、スケーリング・プロセッサ１０５は、ある種のシナリオにおいて、画像をトリミングするよう構成されていてもよい。たとえば、周波数解析が、画像が表示装置に利用可能な表示ウィンドウより大きな表示ウィンドウで呈示されるべきであることを示すことがありうる。この場合、スケーリング・プロセッサ１０５は、所望されるサイズ（表示される画像の適切な周波数内容に対応するサイズ）に画像をサイズ変更し、結果として得られる画像を利用可能な表示ウィンドウのサイズにトリミングすることに進みうる。
【０１０１】
たとえば、洗濯機の例では、いくつかのページ／画像は少量の大きなフォントのテキストを有していてもよく、これはフル表示ウィンドウより小さいウィンドウにおいて呈示されるようスケーリングされてもよい。他のページ／画像は、最大表示ウィンドウにおいて呈示されるときに見ることができる、より小さなフォントのテキストをより大量に有することがありうる。しかしながら、ここでもまた、他のページは、小さなフォントで書かれた大量のテキストを含むことがありうる。このように、これらのページは、高周波数の非常に高い集中を有しており、これは画像中に多量の詳細があることを示している。実際、スケーリング・プロセッサ１０５は、たとえ画像が最大表示ウィンドウで呈示されたとしても十分読解できるテキストをユーザーに提供するには十分でないと評価することもありうる。したがって、スケーリング・プロセッサ１０５は、サイズ変更するばかりではなく、画像をトリミングもしてもよい。こうして、画像は周波数特性に依存するトリミングによってスケーリングされてもよい。具体的には、スケーリングは、ピクセル値空間変動特性がある基準を満たすときにトリミングを含んでもよい。
【０１０２】
この記述から、スケーリングが、スケーリングされた画像の表示のために利用可能な表示ウィンドウの特性に依存しうることも明白であろう。よって、今の特定の例では、画像は、潜在的な表示ウィンドウの最大サイズ内に適切に表示できない場合にトリミングされる。
【０１０３】
別の例では、洗濯機３０１のプロジェクター３０３は、画像を、洗濯機自身の空いている表面上に投影してもよい。たとえば、洗濯機の平坦な白い表面が画像を表示するために使用されてもよい。しかしながら、そのようなアプローチでは、利用可能な表面は、洗濯機３０１のさまざまな視覚的特徴によって厳しく制限されうる。よって、比較的小さな表面領域しか利用可能でないことがあり、結果としてトリミングが頻繁に行われることになる。
【０１０４】
もう一つの例として、表示システムは、自動車のような乗物において使用されてもよい。この例では、表示デバイス１０９は、自動車のフロントガラス上に画像を投影するプロジェクターであってもよい。この例では、フロントガラスの助手席側に画像が投影される一方、フロントガラスの一部を運転者のために空けておくことができる。画像が情報内容に鑑みて必要とされるまたは所望されるより大きくならないよう、画像のサイズは、周波数／鮮鋭さ特性に依存して調整される。しかしながら、さらに、表示システムはフロントガラスのどのくらいを外界が見えるよう、すなわち運転者が外の交通の十分な量を見ることができることを保証するよう、空けておくべきかを考慮に入れることもできる。こうして、画像サイズの計算は、鮮鋭さ／周波数パラメータのほか潜在的な表示ウィンドウを指示する第二のパラメータにも応じて実行されてもよい。
【０１０５】
エッジの鮮鋭さまたは周波数解析が単に、ピクセル値空間変動特性を決定するために実行できる局所的な画像プロファイル解析の例であることは理解されるであろう。実際、比較的近接しているピクセル間でピクセル値が空間的にどのくらい変化するかまたはどのくらい速く変動するかの指標を与える解析を使うことができる。このように、ピクセル値空間変動特性は単に全体としての画像におけるピクセルの広がりを示すのではなく、局所的なスケールでそれらがどのように変化するかを示す。たとえば、画像の半分が非常に暗く、残りの半分が非常に明るい画像は、大きなピクセル値変動を有しうる。しかしながら、局所的なピクセル変動は比較的低いことがありうる。各半分の内部では実質的に変動がない（すなわち、変化はエッジでのみ起こる）こともありうるからである。対照的に、多量の詳細をもつ画像（たとえば「ビジー」なピクチャー）は典型的には、局所的な領域内でもピクセル値は実質的に変化するので、高い局所的なピクセル値変動を有することになる。
【０１０６】
エッジ検出鮮鋭さアプローチおよび空間周波数アプローチについて、ピクセル変動の局所的な特性は自動的に考慮に入れられることは理解されるであろう。しかしながら、他のアプローチでは、ピクセル変動解析は、画像セクションまたは領域内でのピクセル変動を解析することによって局所化されてもよい。たとえば、画像はいくつかのセグメントまたは領域に分離されてもよく、各セグメントまたは領域内のピクセル変動が評価されてもよい。ピクセル値空間変動特性は次いで、種々のセグメントについての結果を解析するまたは組み合わせることによって生成されうる。
【０１０７】
このアプローチはたとえば、ピクセル値空間変動特性が、ピクセル値がどのように分布しているかを反映するピクセル値分布特性に応じて決定される実施形態について使用されてもよい。
【０１０８】
たとえば、ピクセル値は0から255までの値を取ることのできる輝度値であってもよい。画像はいくつかのセグメントに分割されてもよく、各セグメントについて輝度値についてのヒストグラムが生成される。ヒストグラムは次いで、各セグメントにおけるピクセル値についての分散を生成するために使用される。種々のセグメントについての分散は次いで、たとえばそれらのセグメントについての平均分散を決定することによって組み合わされてもよい。この平均分散は、次いで、ピクセル値空間変動特性として使用されることができる。
【０１０９】
このように、そのような例において、非常に明るい半分および非常に暗い半分をもつ画像は、比較的低い平均分散を与えるであろう。大半のセグメントが明るい半分または暗い半分の内部にはいり、したがって比較的小さな分散をもつからである。しかしながら、実質的な量の小さな詳細および近傍ピクセル間での速い輝度変動がある画像については、大半のセグメントは比較的高い分散をもち、その結果、画像全体について高い平均分散が得られる。このように、この平均分散は、比較的大量の局所的なピクセル変動を含む画像を示し、それにより、比較的大きな表示ウィンドウにおいて有利に呈示できる詳細のある画像を示す。
【０１１０】
いくつかの実施形態では、画像解析器１０３は一つまたは複数の領域に対してテクスチャー解析を実行するよう構成されていてもよい。ピクセル値空間変動特性は次いで、テクスチャー特性に応答して決定されてもよい。たとえば、画像領域の表面領域は、実質的な詳細（たとえばテクスチャー粒子プロファイル）および比較的鮮鋭なピクセル値変動をもつテクスチャーを有していてもよい。これは、高い度合いの高周波数内容を、よって比較的大きなサイズで呈示できる鮮鋭な画像を示す。しかしながら、表面領域が比較的なめらかであり、小さくゆるやかなピクセル変動しかもたないテクスチャーによって特徴付けられる場合、これは、低い度合いの高周波数内容を示し、よって、小さな表示ウィンドウが使用されるべきであることを示す。
【０１１１】
そのようなテクスチャー解析は、たとえば、クラスへのビン分け（binning into classes）によるローカル／パッチ・ベースの分散計算として実行されてもよい。たとえば、テクスチャーのある種々の画像オブジェクト表面が同定されてもよい。各表面はいくつかのセグメントに分割されてもよく、各セグメントについて、ピクセル値がヒストグラムの諸ビンに分割されてもよい。次いで、セグメントの分散が決定されうる。次いで、テクスチャーのある全表面についての平均分散が計算されてもよく、テクスチャーのレベルを示すテクスチャー特性を決定するために使われてもよい。たとえば、低い分散は、のっぺりした表面／画像（実質的にテクスチャーなし）を示しうるし、中程度の分散はいくらかの限られたテクスチャーがあることを示しうるし、高い分散は高度のテクスチャーがあることを示しうる。
【０１１２】
いくつかの実施形態では、画像解析器１０３は画像の動き解析を実行するよう構成されていてもよい。次いで、ピクセル値空間変動特性が、この動き特性に応答して生成されてもよい。
【０１１３】
具体的には、処理されている画像がエンコードされたビデオ信号のフレームである場合、そのような動きデータは直接的に利用可能であることがあり、単にエンコードされたビットストリームから関連する動きデータを抽出することによって導出できる。他の実施形態では、画像オブジェクトを検出し、画像内でのその動きを特徴付けるために、複数のフレームの時間的解析が実行されてもよい。当業者にはそのような技法は多数知られていることは理解されるであろう。
【０１１４】
次いで、画像を呈示するために使われる表示ウィンドウのサイズが、動き特性に依存して調整されてもよい。たとえば、いくつかの実施形態では、高度な動きは、画像内での個々の画像オブジェクトの高い度合いの高速な動きを示しうる。これは、ユーザーが個々の画像オブジェクトを見分け、追うことができるよう、比較的大きな表示ウィンドウでの呈示に、より好適でありうる。
【０１１５】
いくつかの実施形態では、画像解析器１０３は復号アーチファクト解析を実行し、復号アーチファクト特性に応答してピクセル値空間変動特性を生成するよう構成される。
【０１１６】
多くの典型的なデジタル用途では、画像信号（静止画であれ動画であれ）はデジタル的にエンコードされる。たとえば、デジタル写真はJPEGエンコード・アルゴリズムに従ってエンコードされてもよく、ビデオ信号はMPEGエンコード・アルゴリズムに従ってエンコードされてもよい。
【０１１７】
しかしながら、そのようなエンコードは典型的には、実質的なデータ圧縮を含み、復号された信号ともとの信号との間の知覚できる差につながりうる。そのような差は符号化アーチファクトと考えてもよく、復号された画像に存在する。たとえば、比較的高い圧縮率については、メディア信号はしばしば、画像のエンコードが個々のブロックのエンコードに基づいていることから帰結する、ある種の「ブロックノイズ（blockyness）」を経験しうる。
【０１１８】
いくつかの実施形態では、画像解析器１０５は特に、そのような符号化アーチファクトを評価するよう構成されてもよい。たとえば、画像解析器１０５は画像を、符号化ブロックに対応する8×8のピクセル・ブロックに分割してもよい。次いでブロック間のピクセル分散に比べられるブロック内のピクセル分散の特性を決定することに進んでもよい。この解析が、ブロック間のピクセル変動がブロック内のピクセル変動に比べて比較的高いことを示す場合、これは、比較的高い度合いの符号化ブロック・アーチファクト（「ブロックノイズ」）に起因する可能性が高い。
【０１１９】
符号化アーチファクトの評価は種々の仕方で用いられうる。いくつかのシナリオでは、それは、ピクセル値空間変動特性として直接使用されてもよい。すなわち、画像のスケーリングを調整するために直接使用されてもよい。これは、表示ウィンドウが、エンコード・アーチファクトの度合いに合うような、すなわち知覚される品質を劣化させすぎないサイズにされることを許容しうる。たとえば、高度の符号化アーチファクトがある場合には、高度な符号化アーチファクトがない場合よりも、より小さな表示ウィンドウ・サイズが使用されうる。
【０１２０】
しかしながら、代替的または追加的に、符号化アーチファクトは、他のパラメータの解析を修正するために使用されてもよい。たとえば、空間周波数解析を実行するとき、画像はまず、符号化アーチファクトを軽減または除去するよう補償されてもよい。たとえば、大きな度合いの符号化アーチファクトが検出される場合、空間周波数解析は、エンコード・ブロック内で実行されることに限定され、エンコード・ブロック間には広がらなくてもよい。これは、周波数解析が、符号化アーチファクトによって不相応なまでに影響されることなく、根底にある画像の詳細および鮮鋭さを表現することを許容しうる。実際、多くのシナリオにおいて、符号化アーチファクトは実際に、鮮鋭さの増加の指標と誤解されうる追加的な高周波数の空間成分を導入しうる。したがって、符号化アーチファクト緩和は、より低品質の画像が、符号化アーチファクトのない対応する画像より鮮鋭であると解釈されることを防止しうる。
【０１２１】
このように、今の例では、スケーリングは、符号化アーチファクト緩和後に決定される周波数特性に依存してもよい。しかしながら、加えて、スケーリングは、符号化アーチファクト解析自身にも依存してもよい。たとえば、フル表示サイズは、周波数特性が、十分な度合いの高周波数成分を示す場合かつ符号化アーチファクト特性が符号化アーチファクトの量が閾値未満であることを示す場合にのみ使用されてもよい。これら二つの基準のうちいずれかでも満たされない場合には、より低い表示ウィンドウ・サイズが使用される。
【０１２２】
いくつかの実施形態では、画像解析器１０３は、画像に対する内容解析を実行するよう構成されていてもよく、スケーリング手段は、（少なくとも部分的には）内容解析に応答してスケーリングを実行するよう構成されていてもよい。
【０１２３】
内容解析は特に、呈示される画像についての内容カテゴリーを決定するよう構成されていてもよく、画像のスケーリングは内容カテゴリーに依存してもよい。内容解析はたとえば、画像によって表示される特定のシーンを特徴付けることができるシーン検出を含んでいてもよい。たとえば、画像が陸地の風景または海の風景であるかを検出してもよく、もしそうであれば、他の場合よりも大きい画像を与えるようスケーリングを修正してもよい。
【０１２４】
この内容解析がスチール画像および動画の両方に適用されうることは理解されるであろう。たとえば、表示システムは、呈示された素材がサッカーの試合に対応することを検出するよう構成されていてもよく、それに応答して、サッカーの試合についての選好に従ってスケーリングにバイアスをかける（たとえば表示ウィンドウのサイズが大きくされてもよい）よう構成されてもよい。
【０１２５】
多くのそのような実施形態において、内容解析は、ピクセル値空間変動特性に基づいてスケーリングを向上させるために使用されることは理解されるであろう。実際、このアプローチは、表示ウィンドウのユーザー選好へのさらなる適応を許容しうる。たとえば、所与のレベルの鮮鋭さおよび詳細について、ユーザーは、これが風景であるかサッカーの試合であるかに依存して呈示される画像の異なるサイズを好むことがありうる。
【０１２６】
いくつかの実施形態では、画像はビデオ画像シーケンスの一部であってもよく、たとえば、ビデオ・フレームのシーケンスが解析されてもよい。そのような例では、画像解析器１０５は、時間的ピクセル値変動特性を決定するために時間的解析を実行するようにも構成されていてもよい。たとえば、先述したように、画像オブジェクトについての動き特性が決定されてもよい。
【０１２７】
もう一つの例として、時間的ノイズが、画像解析に基づいて推定されてもよい。こうして、そのようなノイズは個々の画像に現れることがあり、ピクセル値空間変動特性によって表現されることがあるが、使用できるさらなる情報を時間的解析が提供しうる。たとえば、時間的解析は、画像オブジェクトのテクスチャーと該画像オブジェクトのノイズとの間の区別を許容することがありうる。このように、時間的ノイズは推定され、符号化アーチファクトについて述べたのと同様の仕方で使用されてもよい。たとえば、時間的ノイズは、（局所的な高周波数変動と解釈されるノイズを補償するために）ピクセル値空間変動特性を補償するために使用されてもよく、スケーリングを決定するために直接使用されてもよい（たとえば、有意な時間的ノイズがあるときはこれをより知覚されにくくするために表示ウィンドウ・サイズを小さくする）。
【０１２８】
いくつかの実施形態では、画像解析器１０５は、特に、画像中の一つまたは複数の画像オブジェクトに基づいて解析を実行してもよい。たとえば、画像のセグメンテーションが一つまたは複数のオブジェクトを検出するために実行されてもよい。画像オブジェクト空間プロファイル特性が次いで、その特定の画像オブジェクトについて生成されてもよい。具体的には、上述した解析の一つまたは複数が抽出された画像オブジェクトに直接適用されてもよい。次いで、その特定の画像オブジェクトの所望される属性を与えるよう、スケーリングが実行されてもよい。たとえば、画像サイズは、その画像オブジェクトが所望される度合いの鮮鋭さをもって、または閾値（それより大きいと当該オブジェクトがたとえば非現実的に見えたり、恐ろしげに見えたりすることがあるなど）を超えないサイズをもって呈示されるよう、選択されてもよい。
【０１２９】
以下の記述は、単一表示ウィンドウの処理および評価に焦点を当てた。しかしながら、多くの実施形態において、画像は他の表示ウィンドウ（これは重なり合う表示ウィンドウであってもよい）において同時に呈示されてもよいことは理解されるであろう。
【０１３０】
たとえば、いくつかの実施形態では、メイン画像によって使用されていない利用可能な表示スペースはみな、別の画像を呈示するために使用されてもよい。こうして、全体的な表示領域が、いくつかのウィンドウの同時的な呈示を許容する複数の表示ウィンドウに分割されてもよい。
【０１３１】
そのようなシナリオの例が図４に示されている。この例では、メイン・ウィンドウ４０１が表示領域４０３の中央に置かれている。表示領域は特に、前記複数の表示ウィンドウを含む映像をプロジェクターが投影する壁（の一部）または洗濯機の上表面または他のオブジェクト（の一部）の任意の外側表面に対応してもよい。
【０１３２】
メイン・ウィンドウ４０１に加えて、他の情報を同時に表示するいくつかの表示ウィンドウ４０５〜４１３がある。たとえば、一つのウィンドウ４０５はビデオ・チャット・ウィンドウとして使用されてもよく、もう一つのウィンドウ４０７は気象衛星画像を提供するために使用されてもよく、もう一つのウィンドウ４０９は静止天気予報を提供するために使用されてもよく、もう一つのウィンドウ４１１は近々起こるイベントの情報を提供するために使用されてもよく、もう一つのウィンドウ４１３は現在時刻を示すのに使われるグラフィック画像であってもよい。このように、表示領域は、種々の情報を同時にユーザーに呈示する「情報の壁面」を提供してもよい。
【０１３３】
今の例では、先述したスケーリングが中央表示ウィンドウ４０１（メイン表示ウィンドウとして選択されたウィンドウ）の画像に適用されてもよい。今の例では、したがって、メイン表示ウィンドウ４０１はそのサイズを、画像の特定の鮮鋭さ指標に依存して調整してもよい。よって、時に、そのメイン表示ウィンドウ４０１は比較的小さいことがあり、別の時には比較的大きいこともある。
【０１３４】
今の例では、他のウィンドウ４０５〜４１３の一つまたは複数の特性がさらに、メイン・ウィンドウ４０１の特性に依存してもよい。たとえば、補助ウィンドウ４０５〜４１３は、メイン表示ウィンドウ４０１の外側に表示されるよう、位置およびサイズが決められてもよい。たとえば、メイン表示ウィンドウ４０１が比較的大きいとき、補助表示ウィンドウ４０５〜４１３は表示ウィンドウの辺のほうにさらに動かされる。さらに、いくつかの実施形態では、補助ウィンドウ４０５〜４１３のうち一つまたは複数のウィンドウのサイズも、メイン・ウィンドウ４０１に適用されるスケーリングに依存して（表示可能領域４０３の外側にはみ出る部分が少なくなるよう）調整されてもよい。たとえば、メイン・ウィンドウ４０１のサイズが小さくされるとき、補助ウィンドウ４０５〜４１３の対応するサイズは対応して大きくされる。
【０１３５】
いくつかの実施形態では、記述された適応的スケーリングは、代替的または追加的に、補助ウィンドウ４０５〜４１３のうちの一つまたは複数のウィンドウに適用されてもよい（その場合、基本的なスケーリング・アルゴリズムは部分的に制約され、中間的な最適スケーリングを与える）。たとえば、いくつかの実施形態では、メイン・ウィンドウ４０１は固定サイズを有していてもよい。一方、補助ウィンドウ４０５〜４１３のうちの一つまたは複数は、そのウィンドウ４０５〜４１３についての鮮鋭さ指標に応じてスケーリングされる。たとえば、図４の例では、補助ウィンドウ４０５のサイズは、顔が十分現実的にレンダリングされるよう、その人物の呈示される画像の相対的な鮮鋭さに依存してもよい。たとえば、画像が比較的鮮鋭である場合（たとえば高周波数信号成分の割合が高いことによって示される）、補助ウィンドウ４０５のサイズは、表示領域４０５内かつメイン・ウィンドウ４０１外において呈示されることを許容する最高値に設定されてもよい。しかしながら、比較的鮮鋭さが低い場合には、補助ウィンドウ４０５のサイズは対応して縮小され、それにより改善された知覚される画質を与える。これはさらに、より多いまたはより大きい他の追加ウィンドウ４０７〜４１３が同時に呈示されることを許容しうる。
【０１３６】
具体例として、補助ウィンドウ４０５はいくつかの例では、人々の画像を呈示するために使用されてもよい。その際、ウィンドウ４０５のスケーリングは、呈示される人物についての最適な鮮鋭さを提供する表示を与えるよう最適化されてもよい。実際、表示を大きくしすぎると、ブロック・アーチファクトおよび／またはぼやけのために画像がユーザーによって知覚されにくくなるため、人物の認識がより難しくなる。
【０１３７】
この具体例では、図１を参照して記述したアプローチはすべての表示ウィンドウ４０１、４０５〜４１３に同時に適用される。こうして、個々の各ウィンドウが、そのウィンドウについての判別された鮮鋭さに最もよく合うサイズをもって呈示されるよう最適化される。いくつかの実施形態では、一つのウィンドウのスケーリングが他のウィンドウのスケーリング／鮮鋭さ特性をさらに考慮に入れてもよいことは理解されるであろう。たとえば、最適サイズは、個々の各ウィンドウについて決定されてもよく、よって、これらのサイズは、利用可能な表示領域４０３内にすべてのウィンドウが納まることを保証するよう、さらに修正されてもよい。これは典型的には、たとえば、ウィンドウにサイズ予算を割り当て、最適サイズからの逸脱にペナルティーを与える非対称的に重み付けされたコスト関数を定義することによってなされてもよい。
【０１３８】
他の実施形態では、補助ウィンドウ４０５〜４１３の一部または全部の位置決めは、利用可能な表示領域４０３を超えて広がるよう修正されてもよい。たとえば、図４の例では、補助表示ウィンドウ４０５〜４０９が外側に向けて動いたため、ウィンドウ４０５〜４０９の一部のみが可視である。メイン・ウィンドウ４０１の特性が変化してメイン・ウィンドウ４０１のサイズが縮小される場合、補助表示ウィンドウ４０５〜４０９は自動的に、見える表示ウィンドウ４０３に戻る方向にスライドしてもよい。
【０１３９】
このように、図４の例は、特に、種々のウィンドウにおける種々の情報の「弾性クラウド（elastic cloud）」呈示を提供しうる。このように、メイン表示ウィンドウの最適化に依存して、表示可能な領域の境界を越えて動く共存ウィンドウ（co-window）のクラウドを提供しうるのである。
【０１４０】
個々のウィンドウのスケーリングはさらに、そのウィンドウがメイン・ウィンドウとして選択されているか否かに依存してもよい。たとえば、各ウィンドウについて、これがメイン・ウィンドウとして選択されるシナリオについて一つの所望される品質指標が記憶され、このウィンドウが補助ウィンドウとして選択されるシナリオについてもう一つの所望される品質指標が記憶される。たとえば、ウィンドウがメイン表示ウィンドウであるとき、そのウィンドウは、最適化された知覚される品質を与えるよう制御される。しかしながら、補助ウィンドウとして選択されているときは、最小限の品質レベルが達成されることが要求されるのみであり、他の点では、他の呈示されるウィンドウと最適に適合することを許容するようそのウィンドウの自由な調整を許容する。
【０１４１】
補助表示ウィンドウ４０５〜４１３が部分的に、利用可能な表示ウィンドウ４０３の外に自動的に動かされうる例では、画像の一部の選択が適用されてもよいことも理解されるであろう。たとえば、可視表示ウィンドウ４０３内において最適な画像セクションを提供するよう、適応可能なトリミングまたは画像オブジェクト抽出が適用されてもよい。
【０１４２】
他の表示手段が利用可能である場合、スケーリング装置は、それらを適切な仕方で用いることによって、このことを考慮に入れることができる。たとえば、スケーリング後に第一のディスプレイの達成可能な幾何学の外にはみ出るメイン映像は、部分的に第二のディスプレイ上に表現されてもよい。（たとえば、アンビライト（ambilight）は外側の映像領域（可能性としては、投影に、より没入的〔イマーシブ〕な性質を与えるために、たとえばさらなる非線形伸張――または追加のオブジェクト／パターン、たとえば木などをグラフィック的に追加する――といった画像処理によって処理される）を、隣接する壁面または隣接する第二のLCDディスプレイに環境として投影する。）複数ウィンドウの場合、ウィンドウのいくつかは（たとえばメイン表示領域上に見えるのがその50%未満の場合）第二のディスプレイに託されてもよい。（たとえば、天気の映像が汎用リモコン上のディスプレイに切り換えられることができ、時計の映像が食器棚のフォトフレーム・ディスプレイに送られることができる。）
以上の記述は明確のため、種々の機能ユニットおよびプロセッサに言及しつつ本発明の実施形態を記載してきたことが認識されるであろう。しかしながら、種々の機能ユニットまたはプロセッサの間の機能のいかなる好適な配分も、本発明を損なうことなく、使用されうることは明白であろう。たとえば、別個のプロセッサまたはコントローラによって実行されるよう例解されている機能が同じプロセッサまたはコントローラによって実行されてもよい。よって、個別的な機能ユニットへの言及は、厳密な論理的または物理的な構造または編成を示すというよりは、記載される機能を提供する好適な手段に言及しただけのものと見るべきである。
【０１４３】
本発明は、ハードウェア、ソフトウェア、ファームウェアまたはこれらの任意の組み合わせを含むいかなる好適な形で実装されることもできる。本発明は任意的に、少なくとも部分的に、一つまたは複数のデータ・プロセッサおよび／またはデジタル信号プロセッサ上で実行されるコンピュータ・ソフトウェアとして実装されてもよい。本発明の実施形態の要素およびコンポーネントは、物理的、機能的および論理的に、いかなる好適な仕方で実装されてもよい。実際、機能は、単一のユニットにおいて、複数のユニットにおいて、あるいは他の機能ユニットの一部として実装されてもよい。よって、本発明は、単一のユニットにおいて実装されてもよく、あるいは物理的および機能的に異なるユニットおよびプロセッサの間に分散されてもよい。
【０１４４】
本発明は、いくつかの実施形態との関連で記述してきたが、本稿で記述されている特定の形に限定されることは意図されていない。むしろ、本発明の範囲は、付属の請求項によってのみ限定される。さらに、ある特徴が個別的な実施形態との関連で記述されているように見えることがあるが、当業者は、記述される諸実施形態のさまざまな特徴が本発明に基づいて組み合わされてもよいことを認識するであろう。請求項では、有する／含むの語は他の要素やステップの存在を排除するものではない。
【０１４５】
さらに、個々に挙げられていても、複数の手段、要素または方法ステップは、たとえば単一のユニットまたはプロセッサによって実装されてもよい。さらに、個々の特徴が異なる請求項に含まれることがあるが、それらの特徴は有利に組み合わされる可能性もありうるのであって、異なる請求項に含まれているということが特徴の組み合わせが現実的でないおよび／または有利でないことを含意するものではない。また、ある特徴があるカテゴリーの請求項に含まれていることは、そのカテゴリーへの限定を含意するのではなく、むしろ、その特徴が他の請求項のカテゴリーにも適宜等しく適用可能であることを示すものである。さらに、請求項における特徴の順序は、それらの特徴が機能するいかなる特定の順序も含意するものではなく、特に、方法請求項における個々のステップの順序はそれらのステップがこの順序で実行されなければならないことを含意するものではない。むしろ、ステップはいかなる好適な順序で実行されてもよいものである。さらに、単数形での言及は複数を排除するものではない。よって、「ある」「第一の」「第二の」などの言及は複数を除外するものではない。請求項に参照符号があったとしても、単に明確にする例として与えられているのであって、いかなる意味であれ特許請求の範囲を限定するものと解釈してはならない。
【特許請求の範囲】
【請求項１】
画像を呈示する表示装置であって：
表示されるべき画像を受領する手段と；
前記画像の少なくとも第一の領域上で局所的な画像プロファイル解析を実行してピクセル値の空間的変動を表す特性を計算する解析手段と；
前記ピクセル値の空間的変動を表す特性に応じて前記画像の少なくとも第二の領域をスケーリングするスケーリング手段と；
スケーリングされた画像を呈示する呈示手段とを有する、
表示装置。
【請求項２】
前記解析手段が、少なくとも前記第一の領域上で局所的な空間周波数の空間周波数解析を実行して、空間周波数特性を含むよう前記ピクセル値の空間的変動を表す特性を生成するよう構成される、請求項１記載の表示装置。
【請求項３】
前記解析手段が、少なくとも前記第一の領域上で鮮鋭さ解析を実行して、鮮鋭さ特性を含むよう前記ピクセル値の空間的変動を表す特性を生成するよう構成される、請求項１記載の表示装置。
【請求項４】
前記解析手段が、少なくとも前記第一の領域上でテクスチャー解析を実行して、テクスチャー特性を含むよう前記ピクセル値の空間的変動を表す特性を生成するよう構成される、請求項１記載の表示装置。
【請求項５】
前記解析手段が、少なくとも前記第一の領域上でピクセル値分布解析を実行して、ピクセル値分布特性を含むよう前記ピクセル値の空間的変動を表す特性を生成するよう構成される、請求項１記載の表示装置。
【請求項６】
前記解析手段が、少なくとも前記第一の領域上で符号化アーチファクト解析を実行して、符号化アーチファクト特性に応答して前記ピクセル値の空間的変動を表す特性を生成するよう構成される、請求項１記載の表示装置。
【請求項７】
前記解析手段が、少なくとも前記第一の領域上で動き解析を実行して、動き特性を含むよう前記ピクセル値の空間的変動を表す特性を生成するよう構成される、請求項１記載の表示装置。
【請求項８】
少なくとも前記第一の領域上で内容解析を実行する手段をさらに有し、前記スケーリング手段は、内容特性に応答して前記第二の領域をスケーリングするよう構成される、請求項１記載の表示装置。
【請求項９】
前記スケーリングがクロッピングを含む、請求項１記載の表示装置。
【請求項１０】
前記スケーリングがさらに、スケーリングされた画像を表示するために利用可能な表示ウィンドウの幾何学的特性に依存する、請求項１記載の表示装置。
【請求項１１】
前記スケーリングが、所望のウィンドウ・サイズに対応する解像度への解像度スケーリングを含む、請求項１記載の表示装置。
【請求項１２】
前記解析手段が、少なくとも一つの画像オブジェクトについて画像オブジェクト空間プロファイル特性を決定するよう構成され、前記スケーリング手段が、前記オブジェクト空間プロファイル特性に応答して前記スケーリングを実行するよう構成される、請求項１記載の表示装置。
【請求項１３】
前記画像は、複数の画像を含むビデオ・シーケンスの画像であり、前記解析手段は前記ビデオ・シーケンスに対して時間的な解析を実行して時間的ピクセル値変動特性を生成するよう構成され、前記スケーリング手段は前記第二の領域を、前記時間的ピクセル値変動特性に応答してスケーリングするよう構成される、請求項１記載の表示装置。
【請求項１４】
前記呈示手段が、表示ウィンドウのサブウィンドウ中に前記画像を呈示するよう構成され、当該装置はさらに、前記表示ウィンドウの別のサブウィンドウ中に別の画像を呈示する手段を有する、請求項１記載の表示装置。
【請求項１５】
画像を呈示する方法であって：
表示されるべき画像を受領する段階と；
前記画像の少なくとも第一の領域上で局所的な画像プロファイル解析を実行してピクセル値の空間的変動を表す特性を決定する段階と；
前記ピクセル値の空間的変動を表す特性に応じて前記画像の少なくとも第二の領域をスケーリングする段階と；
スケーリングされた画像を呈示する段階とを含む、
方法。
【請求項１６】
画像処理装置であって：
表示されるべき画像を受領する段階と；
前記画像の少なくとも第一の領域上で局所的な画像プロファイル解析を実行してピクセル値の空間的変動を表す特性を計算する段階と；
前記ピクセル値の空間的変動を表す特性に応じて前記画像の少なくとも第二の領域をスケーリングするスケーリング手段とを有する、
装置。
【請求項１】
画像を呈示する表示装置であって：
表示されるべき画像を受領する手段と；
前記画像の少なくとも第一の領域上で局所的な画像プロファイル解析を実行してピクセル値の空間的変動を表す特性を計算する解析手段と；
前記ピクセル値の空間的変動を表す特性に応じて前記画像の少なくとも第二の領域をスケーリングするスケーリング手段と；
スケーリングされた画像を呈示する呈示手段とを有する、
表示装置。
【請求項２】
前記解析手段が、少なくとも前記第一の領域上で局所的な空間周波数の空間周波数解析を実行して、空間周波数特性を含むよう前記ピクセル値の空間的変動を表す特性を生成するよう構成される、請求項１記載の表示装置。
【請求項３】
前記解析手段が、少なくとも前記第一の領域上で鮮鋭さ解析を実行して、鮮鋭さ特性を含むよう前記ピクセル値の空間的変動を表す特性を生成するよう構成される、請求項１記載の表示装置。
【請求項４】
前記解析手段が、少なくとも前記第一の領域上でテクスチャー解析を実行して、テクスチャー特性を含むよう前記ピクセル値の空間的変動を表す特性を生成するよう構成される、請求項１記載の表示装置。
【請求項５】
前記解析手段が、少なくとも前記第一の領域上でピクセル値分布解析を実行して、ピクセル値分布特性を含むよう前記ピクセル値の空間的変動を表す特性を生成するよう構成される、請求項１記載の表示装置。
【請求項６】
前記解析手段が、少なくとも前記第一の領域上で符号化アーチファクト解析を実行して、符号化アーチファクト特性に応答して前記ピクセル値の空間的変動を表す特性を生成するよう構成される、請求項１記載の表示装置。
【請求項７】
前記解析手段が、少なくとも前記第一の領域上で動き解析を実行して、動き特性を含むよう前記ピクセル値の空間的変動を表す特性を生成するよう構成される、請求項１記載の表示装置。
【請求項８】
少なくとも前記第一の領域上で内容解析を実行する手段をさらに有し、前記スケーリング手段は、内容特性に応答して前記第二の領域をスケーリングするよう構成される、請求項１記載の表示装置。
【請求項９】
前記スケーリングがクロッピングを含む、請求項１記載の表示装置。
【請求項１０】
前記スケーリングがさらに、スケーリングされた画像を表示するために利用可能な表示ウィンドウの幾何学的特性に依存する、請求項１記載の表示装置。
【請求項１１】
前記スケーリングが、所望のウィンドウ・サイズに対応する解像度への解像度スケーリングを含む、請求項１記載の表示装置。
【請求項１２】
前記解析手段が、少なくとも一つの画像オブジェクトについて画像オブジェクト空間プロファイル特性を決定するよう構成され、前記スケーリング手段が、前記オブジェクト空間プロファイル特性に応答して前記スケーリングを実行するよう構成される、請求項１記載の表示装置。
【請求項１３】
前記画像は、複数の画像を含むビデオ・シーケンスの画像であり、前記解析手段は前記ビデオ・シーケンスに対して時間的な解析を実行して時間的ピクセル値変動特性を生成するよう構成され、前記スケーリング手段は前記第二の領域を、前記時間的ピクセル値変動特性に応答してスケーリングするよう構成される、請求項１記載の表示装置。
【請求項１４】
前記呈示手段が、表示ウィンドウのサブウィンドウ中に前記画像を呈示するよう構成され、当該装置はさらに、前記表示ウィンドウの別のサブウィンドウ中に別の画像を呈示する手段を有する、請求項１記載の表示装置。
【請求項１５】
画像を呈示する方法であって：
表示されるべき画像を受領する段階と；
前記画像の少なくとも第一の領域上で局所的な画像プロファイル解析を実行してピクセル値の空間的変動を表す特性を決定する段階と；
前記ピクセル値の空間的変動を表す特性に応じて前記画像の少なくとも第二の領域をスケーリングする段階と；
スケーリングされた画像を呈示する段階とを含む、
方法。
【請求項１６】
画像処理装置であって：
表示されるべき画像を受領する段階と；
前記画像の少なくとも第一の領域上で局所的な画像プロファイル解析を実行してピクセル値の空間的変動を表す特性を計算する段階と；
前記ピクセル値の空間的変動を表す特性に応じて前記画像の少なくとも第二の領域をスケーリングするスケーリング手段とを有する、
装置。
【図１】
【図２ａ】
【図２ｂ】
【図２ｃ】
【図３】
【図４】
【図５ａ】
【図５ｂ】
【図５ｃ】
【図５ｄ】
【図５ｅ】
【図５ｆ】
【図２ａ】
【図２ｂ】
【図２ｃ】
【図３】
【図４】
【図５ａ】
【図５ｂ】
【図５ｃ】
【図５ｄ】
【図５ｅ】
【図５ｆ】
【公表番号】特表２０１２−５２７００５（Ｐ２０１２−５２７００５Ａ）
【公表日】平成２４年１１月１日（２０１２．１１．１）
【国際特許分類】
【出願番号】特願２０１２−５１０４０７（Ｐ２０１２−５１０４０７）
【出願日】平成２２年５月６日（２０１０．５．６）
【国際出願番号】ＰＣＴ／ＩＢ２０１０／０５２００１
【国際公開番号】ＷＯ２０１０／１３１１６７
【国際公開日】平成２２年１１月１８日（２０１０．１１．１８）
【出願人】（５１２１４６３３９）ティーピー ビジョン ホールディング ビー ヴィ (25)
【Ｆターム（参考）】
【公表日】平成２４年１１月１日（２０１２．１１．１）
【国際特許分類】
【出願日】平成２２年５月６日（２０１０．５．６）
【国際出願番号】ＰＣＴ／ＩＢ２０１０／０５２００１
【国際公開番号】ＷＯ２０１０／１３１１６７
【国際公開日】平成２２年１１月１８日（２０１０．１１．１８）
【出願人】（５１２１４６３３９）ティーピー ビジョン ホールディング ビー ヴィ (25)
【Ｆターム（参考）】
[ Back to top ]