説明

表示用構成レートを低下させる方法

【課題】 ディスプレイ用構成レートを低下させる方法
【解決手段】 本発明の実施形態によると、フレームレートを下げてもスムーズな動画に見えるよう、一定の時間に対応するウィンドウのフレームを混合する。アプリケーションウィンドウの視聴者に向かってくる、もしくは視聴者から離れていく移動に対してモーションブラー効果を施す場合、時間平均法を用いてもよい。時間平均法は特に、フレーム出力時点前後の所定のまたは短い時間間隔に対応する画像情報を混合するのに使用される。この時画像情報はすべて、わずかにブラー効果がかかった状態で保持される。対象となる画像情報を保持し、視聴者の目にはスムーズに動くように見える動画を実現させるのに必要な画像情報を保持しつつ、フレームレートを低下させるとしてもよい。

【発明の詳細な説明】
【関連出願】
【0001】
本願は、米国特許出願(出願番号: 出願日: )の「時空間モーションブラー効果の生成」に関連した出願である。本願はインテルコーポレーションに譲渡されている。
【技術分野】
【0002】
パソコンのディスプレイでは通常、ユーザが実行中の複数の異なる処理(例えば、文書処理、電子メール、表計算や動画など)に対応したアプリケーションウィンドウが層状に積み重ねられている。現在アクティブになっているアプリケーションが一番上になっており、ユーザに最も近く表示される。ユーザが違う処理に切り替えると、ウィンドウは再構成されデスクトップ画像が新しくなり、新たにアクティブになったアプリケーションウィンドウが一番上に来る。
【背景技術】
【0003】
今後パソコン関連製品を企画する上では、スムーズな動画で優れた視覚効果を達成できる3D動画技術を用いてアプリケーションウィンドウを構成することが求められる。構成レートが遅いと、デスクトップ画像の動きがぎこちなくなってしまう。動画をよりスムーズなものにするためにはこの問題を解決しなければならない。しかし、スムーズな動きを達成できるために十分なレベルにまでパソコンのデスクトップ画像の構成レートを引き上げると、必要なグラフィクスメモリの帯域幅が大きくなり過ぎてしまい、携帯用および低価格パソコン向けの製品では許容できない水準にまでコストが上昇してしまう。
【発明の開示】
【課題を解決するための手段】
【0004】
本発明の実施形態によると、所定の時間間隔に対応する複数の表示フレームを混合することで、フレームレートを低下させてもユーザの目にはスムーズな動きに見える表示を実現する。この処理は、動いている被写体を低速度で撮影する場合に生じるモーションブラー効果に似ている。アプリケーションウィンドウの、視聴者に向かってくる、もしくは視聴者から離れていく移動に対してモーションブラー効果を施す場合、時間平均法を用いてもよい。時間平均法は特に、フレーム出力時点前後の所定のまたは短い時間間隔に対応する画像情報を混合するのに使用される。この時画像情報はすべて、わずかにブラー効果がかかった状態で保持される。対象となる画像情報を保持して、視聴者の目にスムーズに動くように見える動画を実現するために必要な画像情報を保持しつつ、フレームレートを低下させるとしてもよい。重み付け平均を得るので、後で再構築される画像の品質を高く維持できるように、シーケンスに対するサンプリング(例えばフレーム間引き)に関して周波数の下限が設けられる。モーションブラーを用いて3D動画の画質を維持するので、低構成レートでもぎこちない動きには見えない。この結果、グラフィクスメモリの帯域幅は極端に大きくする必要がなくなり、PC関連製品のコストを下げることができる。
【0005】
以下において、具体的且つ詳細な事例を数多く挙げて本発明を細部にいたるまで説明する。しかし、以下で説明する内容以外の実施形態を本発明が含むことは、当業者には明らかである。また、公知の方法、処理、構成要素およびアルゴリズムは、本発明の説明をあいまいにしない程度に、詳細に説明する。
【0006】
以下の説明では一部、コンピュータ内でデータビットまたはバイナリ信号に対して行われる処理のアルゴリズムやそのような処理を表す符号を用いている。データ処理の分野においては、当業者同士間で作業の内容を伝える場合に、このようなアルゴリズムによる説明が用いられる。本明細書内および一般的に、アルゴリズムとは、所望の結果を得るために一貫した順序で実施される連続した複数の処理と考えられている。そのような連続した複数の処理には物理量を物理的に操作することも含まれる。必ずしもそうではないが多くの場合、そのような物理量とは電気信号または磁気信号で、行われる操作としては記憶、移動、合成、比較などが挙げられる。先述の信号は、利便性を考慮して一般的な用語を使うべく、ビット、値、成分、符号、文字、項、数字などと呼ばれるが、こういった用語はすべて物理量に対応するものであって、対応する物理量に用いられる便利な名称にすぎない。本明細書において、特に明示されていない限り、「処理」「演算」「計算」「決定」等の用語を用いている部分は、コンピュータや演算処理システム、または同様の演算電子デバイスによる処理や動作に関する。こういったコンピュータシステムは、システム内のレジスタおよび/またはメモリ内の物理(電子)量として表されたデータを操作および変換して、同システム内のメモリ、レジスタまたは同様の情報記憶/送信/表示装置内に、同様に物理量として表される別のデータを得る。
【0007】
本発明の実施形態はハードウェア、ソフトウェア(マイクロコード)もしくは両方の組み合わせによって実施するとしてもよい。または、少なくとも1つのプロセッサ、データ記憶システム(揮発メモリ、不揮発メモリおよび/または記憶素子を備える)、少なくとも1つの入力装置および少なくとも1つの出力装置から成るプログラム可能なシステム上で実行されるコンピュータプログラムとして構成されてもよい。本明細書で開示した機能を実施するためにデータを入力し、出力情報を生成するために用いられるプログラムコードとしてもよい。生成された出力情報は、1以上の出力装置に公知の方法で供給されるとしてもよいので、処理システムは、例えばデジタル・シグナル・プロセッサ(DSP)、マイクロコントローラ、特定用途向け集積回路(ASIC)もしくはマイクロプロセッサなどのプロセッサを備えるシステムであってもよい。
【0008】
本発明の実施形態について上記で説明したが、これは本発明のすべてを網羅するものではなく、開示した特定の事例に本発明を限定するものでもない。本明細書では具体的に本発明の実施形態や例を挙げているが、これらはすべて説明を目的としたものであり、当業者であれば上記の具体的な説明を参考に本発明の開示範囲を超えないさまざまな変形例を実施することができる。請求項で使用されている用語は、本発明を本明細書および請求項に開示された具体的な実施形態に限定するものではない。本発明の範囲は請求項によって決まり、請求項は確立された基準に基づいて解釈される。
【図面の簡単な説明】
【0009】
【図1】図1は、一実施形態に係るグラフィクス表示システムを含むコンピュータシステムを示すブロック図である。
【0010】
【図2】図2は、文書処理アプリケーションを実行中のウィンドウを示す。
【0011】
【図3】図3は、一実施形態に係る構成レートを低下させるべく用いられる時間平均法を示す図である。
【0012】
【図4】図4は、一実施形態に係る構成レート低下方法を示すフローチャートである。
【発明を実施するための最良の形態】
【0013】
図1は、一実施形態100に係るコンピュータシステムを示す図である。当該コンピュータシステムは、時間平均法を用いてモーションブラー効果を生成する3Dディスプレイプロセッサ102を備える。分かりやすいよう、当該コンピュータシステムの構成要素のうち本発明を説明する上で必要ないものは図示されていない。同図によると、ディスプレイプロセッサ102はメモリコントローラ104に組み込まれたものとしているが、独立したデバイスとしてもよい。また、ディスプレイプロセッサ102は単一チップデバイスとしてもよいし、システムオンチップ技術を用いたシステムLSIやマルチチップモジュール、またはプラグイン回路基板の一部としてもよい。ディスプレイプロセッサ102は、コンピュータシステム、ネットワークパソコン(PC)、インターネット機器、HDTVシステムや対話型テレビシステムを含むテレビ、携帯情報端末(PDA)、ウェアラブルコンピュータなどの2Dおよび/または3Dグラフィクスを表示するシステムに含まれるとしてもよい。
【0014】
図1に示すように、実施形態100に係るコンピュータシステムは、ディスプレイプロセッサ102を含むメモリコントローラ104と通信を行うプロセッサ106を有する。ディスプレイプロセッサ102はまた、メモリ108とも通信を行う。プロセッサ106は1以上の異なる種類のプロセッサ、例えばマイクロプロセッサ、マルチプロセッサおよび中央演算処理装置(CPU)などを有するとしてもよい。メモリ108は、ランダム・アクセス・メモリ(DDR、SDRAM、RDRAMなど)や大容量記憶装置といったさまざまな種類のメモリサブシステムの組み合わせを含むとしてもよい。ディスプレイデバイス110はディスプレイプロセッサ102に接続されていてもよい。ディスプレイデバイス110は、ビデオモニタ、陰極線管(CRT)装置、液晶ディスプレイ(LCD)、反射型液晶パネル(LCOS)またはガスプラズマディスプレイ等の表示モニタ・デバイスのうちどれであってもよい。システムがアプリケーションソフトウェアを実行すると、ディスプレイデバイス110にグラフィックや動画像が表示されるとしてもよい。
【0015】
ここで、キーボードおよび/またはカーソル制御装置といったさまざまな入力装置(不図示)が、当該コンピュータシステムに接続されているとしてもよい。カーソル制御装置によって、ユーザはコマンドモードを選択したり、グラフィックデータを修正したり、データを入力することができる。より具体的に言うと、ユーザはカーソル制御装置をある面上で動かすことによって、ディスプレイ上の所望の位置(例えばウィンドウズ(登録商標)のアイコン上)にカーソルを置くことができる。本発明では、マウスやトラックボールを始めとする制御装置などさまざまな公知の入力装置を使用してもよい。
【0016】
図2は、実施形態200に係るディスプレイ環境のスクリーン画像を示す図である。このスクリーン画像は、本発明に係る、動画的変化206の一部として先頭ウィンドウ202と最終ウィンドウ204の間の感覚的な距離を移動する時のモーションブラー効果を生成する方法の一例を示している。ここで、「ウィンドウ」は従来からあるディスプレイ上の長方形の領域である。ウィンドウ内には普通、文書やデータを始めとしてポップアップやプルダウンなどのメニューが表示される小さめの領域、アイコン、符号といった表示要素などが表示される。図2に示したディスプレイ環境において、ウィンドウズ(登録商標)、リナックス、OS/2またはマッキントッシュOSといったオペレーティングシステムによってユーザインターフェースおよび現在実行中のアプリケーションプログラムに関するウィンドウが1以上提供される。オペレーティングシステムのデスクトップ上では一般的に、インターネットブラウザアプリケーションがある1つのウィンドウで実施され、文書処理アプリケーションが別のウィンドウで実施される。
【0017】
別の実施形態に係るウィンドウ表示システムにおいては、ユーザがアイコンをクリックしてウィンドウ204をアクティブにすると、同ウィンドウ204中に表示されたデータを処理できるようウィンドウ204が一番上に来る。このアクティブ化の過程で、サイズが徐々に大きくなっている連続した複数の中間ウィンドウ206が生成され、アクティブ化されたウィンドウが最終位置204に来るまでの動画的変化を実現する。ここで、長方形のウィンドウ、メニューまたはサブメニューなどの中に表示されるデータは、英数字データおよび/またはグラフィックデータとしてもよい。従って本発明に係る装置および方法は、形状、サイズ、機能に関係なく、コンピュータディスプレイシステム上に表示されたどのようなものにも応用できると考えられる。
【0018】
移動については、アクティブ化されたウィンドウの中間ウィンドウ数枚から成るサブシーケンスが平均化され(例えば206)、ディスプレイに表示される。平均化ウィンドウは元々の画像情報をすべて保持しているので、平均化ウィンドウ208および210を表示してフレームレートを低下させても、先頭画像202から最終画像204への動きがスムーズに見える。ディスプレイ上で移動させるものに対応するフレームの各々にブラー効果を施すこの方法によると、ぎくしゃくとしたものではなく従来よりスムーズに移動が行われると考えられる。図2に示すように、フルサイズの状態204になれば、ウィンドウ中のテキストはかなり細部まで明瞭に見え、ユーザによる操作が可能になる。ここで、フルサイズの状態204になるまでの移動中、ウィンドウ中のテキストはユーザにはぼんやりと見える。ウィンドウがアイコンサイズからフルサイズの状態になるにつれて、テキストもよりはっきりと見えるようになる。平均化の単位とする中間フレームの数が適切に設定されているので、表示フレームに関して言えばフレームレートが低下させられたにもかかわらず、アクティブ化されたウィンドウのサイズはスムーズに大きくなっていくように見える。
【0019】
小さなアイコンは、サムネイル状にウィンドウの内容を表示する。例えば、あるアイコンは見出しを含んでおり、この見出しはサイズが大きくなるに従って、漫画のように霧の中から徐々に現れるように見える。ウィンドウのアイコンがクリックされ開かれた場合のウィンドウの現れ方にはさまざまなものが考えられる。一実施例を挙げると、ウィンドウは開いてフルサイズになり内容を表示するが、動画的変化の間は水平方向の方向性を維持する。また別の実施例では、ウィンドウはフルサイズまで、初期のニュース映画で新聞の見出しが回っていたのと同じように、回転しながら大きくなっていく。
【0020】
本発明の実施形態によると、低フレームレートであってもスムーズな移動に見えるように、所定時間に対応するフレームを滑らかに混合する。モーションブラーを用いて3D動画の画質を維持するので、低構成レートでもぎこちない動きには見えない。この結果、グラフィクスメモリの帯域幅は極端に大きくする必要がなくなり、PC関連製品のコストを下げることができる。モーションブラーを用いることによって、信頼性が高いウィンドウの動きを実現できる。ウィンドウの動きがスムーズであることは、スクリーンのウィンドウ以外の領域が明瞭で焦点の合った画像なので、特に良く分かる。
【0021】
図3は実施形態300に係るフレームシーケンスを示す図である。図3では時間的相関関係がより詳しく示されている。フレームシーケンス302には、先頭フレーム304およびn番目のフレーム306が含まれている。フレーム302のフォーマットは一般的なものであればどれであってもよい。シーケンス302中の各フレームの内容は特定の時点で表示され、シーケンス302のフレームは高速で連続して表示される。シーケンス302中の各フレームは、ある時点にアプリケーションモデルをサンプリングして生成するとしてもよい。
【0022】
サンプリングモデルはビデオカメラのシャッターに対応し、複数のフレーム308から成るサブシーケンス310および312を平均化することによって、サブサンプリングを行い、フレーム314を生成する。モーションブラー効果は、実際にはビデオシャッターによって行われる長時間露光に対応する。平均化の対象となる時間間隔中の物体の動きを表示することは、写真撮影時に発生する時間間隔により生じる自然なモーションブラー効果に対応する。サブシーケンスである平均化対象の間隔310および312も同様に、サブシーケンスである平均化対象の間隔で生じる自然なモーションブラー効果に対応する。以下で詳細に説明するが、この処理の最重要ポイントは選択フレームの重み付け平均を計算することにある。
【0023】
重み付け平均はフレームサブセット毎(310および312)に計算されるので、表示されるフレーム314の数は元々より少なくなる。表示フレーム314の数が少なくなっているので、所望どおりメモリ帯域幅を削減することができる。
【0024】
上述した通り、アプリケーションウィンドウの視聴者に向かってくる、もしくは視聴者から離れていく移動に対してモーションブラー効果を施す場合、時間平均法を用いてもよい。時間平均法は特に、フレーム出力時点前後の所定のまたは短い時間間隔に対応する画像情報を混合するのに使用される。この時画像情報はすべて、わずかにブラー効果がかかった状態で保持される。この重み付け平均化の計算においては、各平均化間隔内の先頭フレームや最終フレームより、真ん中近辺のフレームを重要視する。このように重み付けを行うことで、サブサンプリングにより得られた画像の流れがスムーズになり、フレームレートを低下させて表示してもスムーズな動きに見える。
【0025】
重み付け平均を得るので、後で再構築される画像の品質を維持できるように、シーケンスに対するサンプリング(例えばフレーム間引き)に関して周波数の上限が設けられる。
【0026】
図4は実施形態400に係る構成レート低下方法を示すフローチャートである。時間的に連続したフレームシーケンスについて重み付けされた平均を計算することによって、モーションブラー効果を施したフレームを生成する。
【0027】
ステップ402では、公知の技術を用いて連続した複数のフレームが生成される。生成されるフレームの数はいくつであってもよい。一実施形態によると、連続した複数のフレームはn枚のフレームを含み、ユーザがアプリケーションウィンドウを見るために開いた場合、毎秒x枚のフレームが表示される。動画的変化にかかる時間は通常0.25秒から0.5秒である。
【0028】
ステップ404では、生成された連続した複数のフレームをフレームサブセットに分割する。一実施形態によると、n枚のフレームを分割する場合、サブセットの数はn/xで、1サブセットが有するフレームの枚数はy枚である。
【0029】
ステップ406では、各フレームサブセットにつき重み付けされた平均を計算する。時間平均法は、フレーム出力時点前後の所定のまたは短い時間間隔に対応する画像情報を混合するのに使用される。この時画像情報はすべて、わずかにブラー効果がかかった状態で保持されるので、後で再構築される画像の品質を高く維持できる。
【0030】
実際には、選択された数の連続する高速フレームに対して重み付け平均を計算する。終了すると次の一続きの高速フレームに対して同様に重み付け平均を計算し、これを繰り返す。高速フレームシーケンス全体に含まれた情報を保持しつつ、フレームレートを下げることができる。このため、スムーズな画像表示を達成できる。
【0031】
サブセットの設定についてはさまざまな基準を用いるとしてもよい。上記で言及した基準を用いてもよいし、それらの変形や組み合わせなどを用いるとしてもよい。本発明の開示範囲においては、サブセットのサイズは限定されず、サブセット毎に変えるとしてもよい。
【0032】
普通の実施例においては、小さなアイコンがサムネイル状にウィンドウのコンテンツを有している。ウィンドウのコンテンツの例としては、見出しなどが挙げられる。見出しを含むウィンドウは、霧のようにぼんやりと且つスムーズに大きくなって現れてくる。ウィンドウのサイズは、最初は小さく、続いて中程度の大きさになる。どんどん大きくなっていき、一つ前のフレームとは異なる場所または性向で表示される。フレームを生成するべく、選択時点において時間的平均を計算する。このようなウィンドウサイズの推移にかかる時間は普通短く、重み付け平均フレームの数は5〜6枚にすぎないが、継続した動きに見せるには十分である。
【0033】
ステップ408では、重み付け平均化フレームが表示される。上述の通り、フレームの数を減らして表示する前に、元々の画像内容を示すフレームを変換してブラー効果を施したフレームを生成する。このためフレームレートを下げて表示を行っても、OSが所望するウィンドウの動画的変化は自然でスムーズに見える。
【0034】
最終的に表示される画像は、サブフレームの組み合わせを含む。例えば、アイコンサイズからフルサイズのウィンドウまでの移動はブラー効果が施されたフレームによって達成されている。ここで、フレームの使用方法や処理方法には、例えば動画視聴に通常用いられる前方順のほか逆順や無作為順などさまざまなものがあり、そのうちどれを使用してもよい。
【0035】
本発明の実施形態について上記で説明したが、これは本発明のすべてを網羅するものではなく、開示した特定の事例に本発明を限定するものでもない。本明細書では具体的に本発明の実施形態や例を挙げているが、これらはすべて説明を目的としたものであり、当業者であれば上記の具体的な説明を参考に本発明の開示範囲を超えないさまざまな変形例を実施することができる。請求項で使用されている用語は、本発明を本明細書および請求項に開示された具体的な実施形態に限定するものではない。本発明の範囲は請求項によって決まり、請求項は確立された基準に沿って解釈される。
【符号の説明】
【0036】
102 ディスプレイプロセッサ
104 メモリコントローラ
106 プロセッサ
108 メモリ
110 ディスプレイ
202 先頭ウィンドウ
204 最終ウィンドウ
206 動画的変化
208 平均化ウィンドウ
210 平均化ウィンドウ
302 フレームシーケンス
304 先頭フレーム
306 n番目フレーム
308 フレーム
310 サブシーケンス
312 サブシーケンス

【特許請求の範囲】
【請求項1】
モーションブラー効果を生成する方法であって、
ウィンドウについて連続した複数のフレームを生成し、
前記連続した複数のフレームを複数のフレームサブセットに分割し、
各フレームサブセットについて重み付け平均化フレームを計算し、
前記重み付け平均化フレームを表示すること
を含む方法。
【請求項2】
ウィンドウについて連続した複数のフレームを生成することは、
アプリケーションウィンドウを見るために開くと、前記アプリケーションウィンドウのフレームが毎秒x枚表示されること
をさらに含む請求項1に記載の方法。
【請求項3】
前記連続した複数のフレームを複数のフレームサブセットに分割することは、
前記連続したn枚のフレームを、n/x個の連続したフレームサブセットに分割することであって、各フレームサブセットに含まれるフレームの数はy枚であること
をさらに含む請求項1に記載の方法。
【請求項4】
各フレームサブセットについて重み付け平均化フレームを計算することは、
時間平均法を用いてフレーム出力時前後の所定のおよびまたは短い時間に対応する画像情報を混合すること
をさらに含む請求項1に記載の方法。
【請求項5】
各フレームサブセットについて重み付け平均化フレームを計算することは
選択された数の連続する高速フレームについて重み付け平均化フレームを計算すること
をさらに含む請求項1に記載の方法。
【請求項6】
プロセッサが実行可能なモーションブラー効果を生成するための機械可読命令を複数記憶している機械可読媒体であって、
ウィンドウについて連続した複数のフレームを生成させる命令と、
前記連続した複数のフレームを複数のフレームサブセットに分割させる命令と、
各フレームサブセットについて重み付け平均化フレームを計算させる命令と、
前記重み付け平均化フレームを表示させる命令と
を含む機械可読媒体。
【請求項7】
ウィンドウについて連続した複数のフレームを生成させる命令は、
アプリケーションウィンドウを見るために開くと、前記アプリケーションウィンドウのフレームを毎秒x枚表示させる命令
をさらに含む請求項6に記載の機械可読媒体。
【請求項8】
前記連続した複数のフレームを複数のフレームサブセットに分割させる命令は、
前記連続したn枚のフレームを、n/x個の連続したフレームサブセットに分割させる命令であって、各フレームサブセットに含まれるフレームの数はy枚である命令
をさらに含む請求項6に記載の機械可読媒体。
【請求項9】
各フレームサブセットについて重み付け平均化フレームを計算させる命令は
時間平均法を用いてフレーム出力時前後の所定のおよびまたは短い時間に対応する画像情報を混合させる命令
をさらに含む請求項6に記載の機械可読媒体。
【請求項10】
各フレームサブセットについて重み付け平均化フレームを計算させる命令は
選択された数の連続する高速フレームについて重み付け平均化フレームを計算させる命令
をさらに含む請求項6に記載の機械可読媒体。
【請求項11】
ウィンドウについて連続した複数のフレームを生成し、前記連続した複数のフレームを複数のフレームサブセットに分割し、各フレームサブセットについて重み付け平均化フレームを計算し、前記重み付け平均化フレームを表示するディスプレイプロセッサ
を備えるシステム。
【請求項12】
前記ディスプレイプロセッサと通信するメモリコントローラ
をさらに備える請求項11に記載のシステム。
【請求項13】
前記ディスプレイプロセッサは独立したデバイスである
請求項11に記載のシステム。
【請求項14】
前記ウィンドウについての前記連続した複数のフレームを記憶するメモリ
をさらに備える請求項11に記載のシステム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate


【公表番号】特表2007−520741(P2007−520741A)
【公表日】平成19年7月26日(2007.7.26)
【国際特許分類】
【出願番号】特願2006−547196(P2006−547196)
【出願日】平成16年12月17日(2004.12.17)
【国際出願番号】PCT/US2004/042677
【国際公開番号】WO2005/064542
【国際公開日】平成17年7月14日(2005.7.14)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.リナックス
【出願人】(591003943)インテル・コーポレーション (1,101)
【Fターム(参考)】