情報処理装置、及びプログラム
【課題】複数の画像を合成して各フレームの画像が形成される動画像の再生時に、その時々の状況に応じて、当該複数の画像を合成しつつ描画するレンダリングの処理量を適切に制御することを可能とした情報処理装置を提供する。
【解決手段】ＨＤ ＤＶＤ Ｖｉｄｅｏ規格のＡＶコンテンツを再生するＨＤ ＤＶＤプレーヤアプリケーションプログラム１５１のレンダラ１５１５は、コンポジット部１５１５ａによる複数の画像データの合成処理およびプレゼント部１５１５ｂによる合成画像データの出力処理の所要時間を計測し、その値が予め定められた値を越えていないかどうかを監視し、越えていた場合、単位時間当たりの処理対象フレーム数を減少させることによって、動画像データの合成処理に関するフレームレートを段階的に低下させる。
【解決手段】ＨＤ ＤＶＤ Ｖｉｄｅｏ規格のＡＶコンテンツを再生するＨＤ ＤＶＤプレーヤアプリケーションプログラム１５１のレンダラ１５１５は、コンポジット部１５１５ａによる複数の画像データの合成処理およびプレゼント部１５１５ｂによる合成画像データの出力処理の所要時間を計測し、その値が予め定められた値を越えていないかどうかを監視し、越えていた場合、単位時間当たりの処理対象フレーム数を減少させることによって、動画像データの合成処理に関するフレームレートを段階的に低下させる。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、例えばＨＤ ＤＶＤ（High Definition Digital Versatile Disc）を再生する機能を有するパーソナルコンピュータなどの情報処理装置に適用して好適なフレームレート調整技術に関する。
【背景技術】
【０００２】
近年、動画像のデジタル圧縮符号化技術の進展に伴い、ＨＤ（High Definition）規格の高精細映像を扱うことが可能な再生装置（プレーヤ）が普及し始めている。また、最近では、このＨＤ規格の高精細映像をパーソナルコンピュータで扱えるようにするためのソフトウェア開発も進められている。
【０００３】
パーソナルコンピュータは、例えば搭載するＣＰＵの性能等によって、その処理能力が大きく異なってくる。また、パーソナルコンピュータは、種々のソフトウェアを同時に動作させることが可能であるので、同一のパーソナルコンピュータ上においても、各ソフトウェアの動作環境は大きく変動する。
【０００４】
このようなことから、その時々の状況に応じて、デジタル圧縮符号化された動画像データのデコードを処理量の少ない簡便なものに切り換える等といった負荷低減のための提案がこれまでも種々なされている（例えば特許文献１等参照）。
【特許文献１】特開２００１−２４５２９４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、ＨＤ ＤＶＤ Ｖｉｄｅｏ規格では、Ｐｌａｎｅ１〜Ｐｌａｎｅ５の５つのＰｌａｎｅが定義されており、各Ｐｌａｎｅにカーソル、グラフィクス、サブピクチャ、サブビデオ、メインビデオがそれぞれ割り当てられている。そのため、ＤＶＤメディアに格納されるＨＤ ＤＶＤ Ｖｉｄｅｏ規格のＡＶコンテンツを再生する場合には、最大で５つの画像を合成する必要がある。従って、デコードの処理量のみならず、複数の画像を合成しつつ描画するレンダリングの処理量も飛躍的に増加する。
【０００６】
しかしながら、例示した特許文献１を含めて、デコードの処理量を制御する仕組みについては種々検討されているものの、当該レンダリングの処理量を制御する仕組みについてはこれまで何ら検討されていないのが実情である。レンダリングの処理量の増加は、たとえデコードの処理量を最大限度まで低減したとしても、いわゆるコマ落ちを発生させてしまうおそれを否定し切れないため、当該レンダリングの処理量を制御する仕組みが強く望まれる。
【０００７】
この発明は、このような事情を考慮してなされたものであり、複数の画像を合成して各フレームの画像が形成される動画像の再生時に、その時々の状況に応じて、当該複数の画像を合成しつつ描画するレンダリングの処理量を適切に制御することを可能とした情報処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
この目的を達成するために、この発明の情報処理装置は、複数の画像を合成して各フレームの画像が形成される動画像を符号化した前記複数の画像の画像データを含んでなる符号化された動画像データを入力する入力手段と、前記入力手段が入力した動画像データに含まれる前記複数の画像データを各々復号する復号手段と、前記復号手段が各々復号した前記複数の画像データを合成して各フレームの画像の画像データを形成して出力する描画手段と、を具備し、前記描画手段は、前記複数の画像データを合成して当該合成した画像データを出力するまでの所要時間を計測する計測手段と、前記計測手段が計測した所要時間が予め定められた値を越えていた場合、単位時間当たりの合成処理対象フレーム数を減少させて前記動画像データの合成処理に関するフレームレートを低下させるフレームレート調整手段と、を有することを特徴とする。
【発明の効果】
【０００９】
この発明によれば、複数の画像を合成して各フレームの画像が形成される動画像の再生時に、その時々の状況に応じて、当該複数の画像を合成しつつ描画するレンダリングの処理量を適切に制御することを可能とした情報処理装置を提供することができる。
【発明を実施するための最良の形態】
【００１０】
以下、図面を参照して、この発明の一実施形態を説明する。
【００１１】
図１は、本実施形態に係る情報処理装置のシステム構成を示す図である。この情報処理装置は、例えばノートブック型パーソナルコンピュータとして実現されている。
【００１２】
図１に示すように、本コンピュータは、ＣＰＵ１０１、ノースブリッジ１０２、主メモリ１０３、サウスブリッジ１０４、グラフィクスプロセッシングユニット（ＧＰＵ）１０５、ビデオメモリ（ＶＲＡＭ）１０５Ａ、ＬＣＤ１０６、サウンドコントローラ１０７、スピーカ１０８、ＢＩＯＳ−ＲＯＭ１０９、ＬＡＮコントローラ１１０、ハードディスクドライブ（ＨＤＤ）１１１、ＨＤ ＤＶＤドライブ１１２、カードコントローラ１１３、無線ＬＡＮコントローラ１１４、IEEE 1394コントローラ１１５、エンベデッドコントローラ／キーボードコントローラ（ＥＣ／ＫＢＣ）１１６、キーボード（ＫＢ）１１７、タッチパッド１１８、クリックボタン１１９等を備えている。
【００１３】
ＣＰＵ１０１は、本コンピュータ１０の動作を制御するプロセッサであり、ＨＤＤ１１１から主メモリ１０３にロードされる各種プログラムを実行する。このＣＰＵ１０１によって実行される各種プログラムの中には、オペレーティングシステム１５０や、ＨＤ ＤＶＤ Ｖｉｄｅｏ規格のＡＶコンテンツを再生するＨＤ ＤＶＤプレーヤアプリケーションプログラム１５１が存在する。また、ＣＰＵ１０１は、ＢＩＯＳ−ＲＯＭ１０９に格納されたＢＩＯＳ（Basic Input Output System）も実行する。ＢＩＯＳは、ハードウェア制御のためのプログラムである。
【００１４】
ノースブリッジ１０２は、ＣＰＵ１０１のローカルバスとサウスブリッジ１０４との間を接続するブリッジデバイスである。ノースブリッジ１０２には、主メモリ１０３をアクセス制御するメモリコントローラも内蔵されている。また、ノースブリッジ１０２は、ＰＣＩ ＥＸＰＲＥＳＳ規格のシリアルバスなどを介してＧＰＵ１０５との通信を実行する機能も有している。ＧＰＵ１０５は、本コンピュータのディスプレイモニタとして使用されるＬＣＤ１０６を制御する表示コントローラである。
【００１５】
サウスブリッジ１０４は、ＰＣＩ（Peripheral Component Interconnect）バス上の各デバイスおよびＬＰＣ（Low Pin Count）バス上の各デバイスを制御する。また、サウスブリッジ１０４は、ＨＤＤ１１１、ＨＤ ＤＶＤドライブ１１２を制御するためのＩＤＥ（Integrated Drive Electronics）コントローラを内蔵している。さらに、サウスブリッジ１０４は、サウンドコントローラ１０７との通信を実行する機能も有している。サウンドコントローラ１０７は音源デバイスであり、再生対象のオーディオデータをスピーカ１０８に出力する。
【００１６】
カードコントローラ１１３は、ＰＣカードやＳＤ（Secure Digital）カードのようなカードを制御する。無線ＬＡＮコントローラ１１４は、たとえばIEEE 802.11規格の無線通信を実行する無線通信デバイスである。IEEE 1394コントローラ１１５は、IEEE 1394規格のシリアルバスを介して外部機器との通信を実行する。ＥＣ／ＫＢＣ１１６は、電力管理のためのエンベデッドコントローラと、ＫＢ１１７、タッチパッド１８およびクリックボタン１１９を制御するためのキーボードコントローラとが集積された１チップマイクロコンピュータである。
【００１７】
次に、図２を参照して、ＨＤ ＤＶＤ Ｖｉｄｅｏ規格のＡＶコンテンツの画像構成について説明する。
【００１８】
ＨＤ ＤＶＤ Ｖｉｄｅｏ規格では、Ｐｌａｎｅ１〜Ｐｌａｎｅ５の５つのＰｌａｎｅが定義されており、各レイヤにカーソル、グラフィクス、サブピクチャ、サブビデオ、メインビデオがそれぞれ割り当てられている。そのため、ＤＶＤメディアに格納されるＨＤ ＤＶＤ Ｖｉｄｅｏ規格のＡＶコンテンツには、メインビデオデータ、サブビデオデータ、サブピクチャデータ、グラフィクスデータ、ナビゲーションデータが含まれる（そのほか、オーディオデータとしてメインオーディオデータ、サブオーディオデータが含まれる）。
【００１９】
ナビゲーションデータには、さらにスクリプト（ＸＭＬ）が含まれている。このスクリプトは、例えばユーザによるポインティングデバイス（タッチパッド１１８およびクリックボタン１１９）操作に応じてグラフィクスデータおよびカーソルを表示制御するためのデータであり、カーソルの形状やカーソルを配置可能なカーソル領域などを記述することができる。
【００２０】
即ち、ＨＤ ＤＶＤ Ｖｉｄｅｏ規格のＡＶコンテンツは、各フレーム毎に、Ｐｌａｎｅ１〜Ｐｌａｎｅ５の５つの画像ａ１〜画像ａ５を合成することによって、目的の画像ａ６が形成されることになる。ＨＤ ＤＶＤ Ｖｉｄｅｏ規格のＡＶコンテンツは、６０ｆｐｓ（フレーム／秒）のフレームレートで描画（レンダリング）されるのが一般的であるため、ＬＣＤ１０６のリフレッシュレートを６０Ｈｚとすると、１６ｍｓ〜１７ｍｓの時間で合成および描画を行わなければならない。
【００２１】
そこで、本コンピュータは、このＨＤ ＤＶＤ Ｖｉｄｅｏ規格のＡＶコンテンツを再生するＨＤ ＤＶＤプレーヤアプリケーションプログラム１５１が、いわゆるコマ落ちを発生させることがないように、その時々の状況に応じて、レンダリングに関わるフレームレートを低下させる機能を備えたものであり、以下、この点について詳述する。
【００２２】
図３は、前述した画像構成をもつＨＤ ＤＶＤ Ｖｉｄｅｏ規格のＡＶコンテンツを再生するＨＤ ＤＶＤプレーヤアプリケーションプログラム１５１の画像処理に関わる機能ブロックを示す図である。
【００２３】
ＨＤ ＤＶＤプレーヤアプリケーションプログラム１５１は、オペレーティングシステム１５０の制御下で動作するいわゆるアプリケーションプログラムであり、図３に示すように、データ読み取り部１５１１、暗号化解除処理部１５１２、デマルチプレクサ（Ｄｅｍｕｘ）１５１３、デコーダ１５１４およびレンダラ１５１５を備えている。
【００２４】
また、デコーダ１５１４は、ビデオデコーダ１５１４ａ、サブピクチャデコーダ１５１４ｂ、サブビデオデコーダ１５１４ｃ、グラフィクスデコーダ１５１４ｄ、カーソルドローウィングマネージャ１５１４ｅおよびオーディオデコーダ１５１４ｆを有しており、また、レンダラ１５１５は、コンポジット部１５１５ａおよびプレゼント部１５１５ｂを有している。
【００２５】
ＤＶＤメディアに格納されたＨＤ ＤＶＤ Ｖｉｄｅｏ規格のＡＶコンテンツ（メインビデオデータ、サブビデオデータ、サブピクチャデータ、メインオーディオデータ、サブオーディオデータ、グラフィクスデータ、ナビゲーションデータ）は、データ読み取り部１５１１がＨＤ ＤＶＤドライブ１１２によって読み出す。各データはそれぞれ暗号化されており、また、ＨＤ ＤＶＤストリームとして多重化されている。
【００２６】
データ読み取り部１５１１によって読み出されたＨＤ ＤＶＤストリームは、暗号化解除処理部１５１２に送られて暗号化を解除するための処理が行われる。暗号化が解除されたＨＤ ＤＶＤストリームは、Ｄｅｍｕｘ１５１３に送られる。
【００２７】
Ｄｅｍｕｘ１５１３は、このＨＤ ＤＶＤストリームから各データを分離する。Ｄｅｍｕｘ１５１３によって分離された各データは、デコーダ１５１４に送られ、メインビデオデータはビデオデコーダ１５１４ａ、サブピクチャデータはサブピクチャデコーダ１５１４ｂ、サブビデオデータはサブビデオデコーダ１５１４ｃ、グラフィクスデータはグラフィクスデコーダ１５１４ｄ、メインオーディオデータおよびサブオーディオデータはオーディオデコーダ１５１４ｆによってそれぞれデコードされる。また、ナビゲーションデータは、カーソルドローウィングマネージャ１５１４ｅに渡され、カーソルドローウィングマネージャ１５１４ｅは、当該ナビゲーションデータに含まれるスクリプト（ＸＭＬ）に基づき、カーソルデータを生成する。
【００２８】
このデコーダ１５１４によってデコードされたメインビデオデータ、サブピクチャデータ、サブビデオデータおよびグラフィクスデータと、同じくデコーダ１５１４によって生成されたカーソルデータとは、ＶＲＡＭ１０５Ａに格納される。これらのデータの格納領域として、主メモリ１０３を適用することも可能である。そして、これらのデータはレンダラ１５１５によって読み出され、コンポジット部１５１５ａによって合成された後、プレゼント部１５１５ｂによってＧＰＵに向けて出力され、当該ＧＰＵ１０５を介してＬＣＤ１０６に表示される。なお、デコーダ１５１４によってデコードされたメインオーディオデータおよびサブオーディオデータは、サウンドコントローラ１０７を介してスピーカ１０８に出力される。
【００２９】
レンダラ１５１５は、コンポジット部１５１５ａによる複数の画像データの合成処理およびプレゼント部１５１５ｂによる合成画像データの出力処理の所要時間を計測し、その値が前述の１６ｍｓを越えていないかどうかを監視する。そして、越えていたら、レンダラ１５１５は、本来であれば１秒間に６０フレーム処理すべきところを、その単位時間当たりの処理対象フレーム数を段階的（１／２，１／３，１／４等）に低下させていく。即ち、例えば、まず、６０ｆｐｓから３０ｆｐｓにフレームレートを低下させ、これによっても所要時間が１６ｍｓを越えているようであれば、３０ｆｐｓからさらに２０ｆｐｓ、１５ｆｐｓへとフレームレートを低下させていく。このフレームレートの低下は、いわゆる間引きを行うことで実施する。
【００３０】
逆に、例えば合成させるべきＰｌａｎｅ数が減少したり、（他のソフトウェアが動作を終了させた等により）本コンピュータの動作環境が改善したことにより、所要時間が短縮する傾向が見られた場合には、レンダラ１５１５は、低下させたフレームレートを復帰させるべく段階的に上昇させていく。
【００３１】
このように、本コンピュータ上で動作する（ＨＤ ＤＶＤ Ｖｉｄｅｏ規格のＡＶコンテンツを再生する）ＨＤ ＤＶＤプレーヤアプリケーションプログラム１５１は、レンダラ１５１５が、レンダリングの処理量を制御する仕組みを備える。なお、ここでは、デコードの処理量を制御する仕組みについては特に触れていないが、デコーダ１５１４に、種々提案されている既存のデコードの処理量を制御する仕組みを併せて備えさせることは当然に可能である。
【００３２】
図４は、本コンピュータ上で動作するＨＤ ＤＶＤプレーヤアプリケーションプログラム１５１が実行するレンダリングに関わる動作手順を示すフローチャートである。
【００３３】
ＨＤ ＤＶＤプレーヤアプリケーションプログラム１５１のレンダラ１５１５は、デコーダ１５１４によってデコードまたは生成されてＶＲＡＭ１０５Ａに格納された複数の画像データをコンポジット部１５１５ａが合成し（ステップＡ１）、この合成後の画像データをプレゼント部１５１５ｂが出力する（ステップＡ２）。
【００３４】
また、レンダラ１５１５は、ステップＡ１〜ステップＡ２のコンポジット部１５１５ａによる合成処理およびプレゼント部１５１５ｂによる出力処理の所要時間を計測し（ステップＡ３）、その値が１６ｍｓを越えていないかどうかを監視する（ステップＡ４）。
【００３５】
もし、その値が１６ｍｓを越えていた場合（ステップＡ４のＹＥＳ）、レンダラ１５１５は、現在のフレームレートが最小か否かを調べ（ステップＡ５）、最小でなければ（ステップＡ５のＮＯ）、フレームレートを１段階低下させる（ステップＡ６）。
【００３６】
また、その値が１６ｍｓの範囲内にある場合（ステップＡ４のＮＯ）、レンダラ１５１５は、現在のフレームレートが最大か否かを調べ（ステップＡ７）、最大でなければ（ステップＡ７のＮＯ）、フレームレートを１段階上昇させる（ステップＡ８）。
【００３７】
このように、本コンピュータは、複数の画像を合成して各フレームの画像が形成される動画像の再生時に、その時々の状況に応じて、当該複数の画像を合成しつつ描画するレンダリングの処理量を適切に制御することを実現する。
【００３８】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【００３９】
【図１】本発明の一実施形態に係るコンピュータのシステム構成を示す図
【図２】ＨＤ ＤＶＤ Ｖｉｄｅｏ規格のＡＶコンテンツの画像構成を説明するための概念図
【図３】同実施形態のコンピュータ上で動作するＨＤ ＤＶＤプレーヤアプリケーションプログラムの画像処理に関わる機能ブロックを示す図
【図４】同実施形態のコンピュータ上で動作するＨＤ ＤＶＤプレーヤアプリケーションプログラムが実行するレンダリングに関わる動作手順を示すフローチャート
【符号の説明】
【００４０】
１０１…ＣＰＵ、１０２…ノースブリッジ、１０３…主メモリ、１０４…サウスブリッジ、１０５…グラフィクスプロセッシングユニット（ＧＰＵ）、１０５Ａ…ビデオメモリ（ＶＲＡＭ）、１０６…ＬＣＤ、１０７…サウンドコントローラ、１０８…スピーカ、１０９…ＢＩＯＳ−ＲＯＭ、１１０…ＬＡＮコントローラ、１１１…ハードディスクドライブ（ＨＤＤ）、１１２…ＨＤ ＤＶＤドライブ、１１３…カードコントローラ、１１４…無線ＬＡＮコントローラ、１１５…IEEE 1394コントローラ、１１６…エンベデッドコントローラ／キーボードコントローラ（ＥＣ／ＫＢＣ）、１１７…キーボード（ＫＢ）、１１８…タッチパッド、１１９…クリックボタン、１５０…オペレーティングシステム、１５１…ＨＤ ＤＶＤプレーヤアプリケーションプログラム、１５１１…読み取り部、１５１２…暗号化解除処理部、１５１３…デマルチプレクサ、１５１４…デコーダ、１５１４ａ…ビデオデコーダ、１５１４ｂ…サブピクチャデコーダ、１５１４ｃ…サブビデオデコーダ、１５１４ｄ…グラフィクスデコーダ、１５１４ｅ…カーソルドローウィングマネージャ、１５１４ｆ…オーディオデコーダ、１５１５…レンダラ、１５１５ａ…コンポジット部、１５１５ｂ…プレゼント部。
【技術分野】
【０００１】
この発明は、例えばＨＤ ＤＶＤ（High Definition Digital Versatile Disc）を再生する機能を有するパーソナルコンピュータなどの情報処理装置に適用して好適なフレームレート調整技術に関する。
【背景技術】
【０００２】
近年、動画像のデジタル圧縮符号化技術の進展に伴い、ＨＤ（High Definition）規格の高精細映像を扱うことが可能な再生装置（プレーヤ）が普及し始めている。また、最近では、このＨＤ規格の高精細映像をパーソナルコンピュータで扱えるようにするためのソフトウェア開発も進められている。
【０００３】
パーソナルコンピュータは、例えば搭載するＣＰＵの性能等によって、その処理能力が大きく異なってくる。また、パーソナルコンピュータは、種々のソフトウェアを同時に動作させることが可能であるので、同一のパーソナルコンピュータ上においても、各ソフトウェアの動作環境は大きく変動する。
【０００４】
このようなことから、その時々の状況に応じて、デジタル圧縮符号化された動画像データのデコードを処理量の少ない簡便なものに切り換える等といった負荷低減のための提案がこれまでも種々なされている（例えば特許文献１等参照）。
【特許文献１】特開２００１−２４５２９４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、ＨＤ ＤＶＤ Ｖｉｄｅｏ規格では、Ｐｌａｎｅ１〜Ｐｌａｎｅ５の５つのＰｌａｎｅが定義されており、各Ｐｌａｎｅにカーソル、グラフィクス、サブピクチャ、サブビデオ、メインビデオがそれぞれ割り当てられている。そのため、ＤＶＤメディアに格納されるＨＤ ＤＶＤ Ｖｉｄｅｏ規格のＡＶコンテンツを再生する場合には、最大で５つの画像を合成する必要がある。従って、デコードの処理量のみならず、複数の画像を合成しつつ描画するレンダリングの処理量も飛躍的に増加する。
【０００６】
しかしながら、例示した特許文献１を含めて、デコードの処理量を制御する仕組みについては種々検討されているものの、当該レンダリングの処理量を制御する仕組みについてはこれまで何ら検討されていないのが実情である。レンダリングの処理量の増加は、たとえデコードの処理量を最大限度まで低減したとしても、いわゆるコマ落ちを発生させてしまうおそれを否定し切れないため、当該レンダリングの処理量を制御する仕組みが強く望まれる。
【０００７】
この発明は、このような事情を考慮してなされたものであり、複数の画像を合成して各フレームの画像が形成される動画像の再生時に、その時々の状況に応じて、当該複数の画像を合成しつつ描画するレンダリングの処理量を適切に制御することを可能とした情報処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
この目的を達成するために、この発明の情報処理装置は、複数の画像を合成して各フレームの画像が形成される動画像を符号化した前記複数の画像の画像データを含んでなる符号化された動画像データを入力する入力手段と、前記入力手段が入力した動画像データに含まれる前記複数の画像データを各々復号する復号手段と、前記復号手段が各々復号した前記複数の画像データを合成して各フレームの画像の画像データを形成して出力する描画手段と、を具備し、前記描画手段は、前記複数の画像データを合成して当該合成した画像データを出力するまでの所要時間を計測する計測手段と、前記計測手段が計測した所要時間が予め定められた値を越えていた場合、単位時間当たりの合成処理対象フレーム数を減少させて前記動画像データの合成処理に関するフレームレートを低下させるフレームレート調整手段と、を有することを特徴とする。
【発明の効果】
【０００９】
この発明によれば、複数の画像を合成して各フレームの画像が形成される動画像の再生時に、その時々の状況に応じて、当該複数の画像を合成しつつ描画するレンダリングの処理量を適切に制御することを可能とした情報処理装置を提供することができる。
【発明を実施するための最良の形態】
【００１０】
以下、図面を参照して、この発明の一実施形態を説明する。
【００１１】
図１は、本実施形態に係る情報処理装置のシステム構成を示す図である。この情報処理装置は、例えばノートブック型パーソナルコンピュータとして実現されている。
【００１２】
図１に示すように、本コンピュータは、ＣＰＵ１０１、ノースブリッジ１０２、主メモリ１０３、サウスブリッジ１０４、グラフィクスプロセッシングユニット（ＧＰＵ）１０５、ビデオメモリ（ＶＲＡＭ）１０５Ａ、ＬＣＤ１０６、サウンドコントローラ１０７、スピーカ１０８、ＢＩＯＳ−ＲＯＭ１０９、ＬＡＮコントローラ１１０、ハードディスクドライブ（ＨＤＤ）１１１、ＨＤ ＤＶＤドライブ１１２、カードコントローラ１１３、無線ＬＡＮコントローラ１１４、IEEE 1394コントローラ１１５、エンベデッドコントローラ／キーボードコントローラ（ＥＣ／ＫＢＣ）１１６、キーボード（ＫＢ）１１７、タッチパッド１１８、クリックボタン１１９等を備えている。
【００１３】
ＣＰＵ１０１は、本コンピュータ１０の動作を制御するプロセッサであり、ＨＤＤ１１１から主メモリ１０３にロードされる各種プログラムを実行する。このＣＰＵ１０１によって実行される各種プログラムの中には、オペレーティングシステム１５０や、ＨＤ ＤＶＤ Ｖｉｄｅｏ規格のＡＶコンテンツを再生するＨＤ ＤＶＤプレーヤアプリケーションプログラム１５１が存在する。また、ＣＰＵ１０１は、ＢＩＯＳ−ＲＯＭ１０９に格納されたＢＩＯＳ（Basic Input Output System）も実行する。ＢＩＯＳは、ハードウェア制御のためのプログラムである。
【００１４】
ノースブリッジ１０２は、ＣＰＵ１０１のローカルバスとサウスブリッジ１０４との間を接続するブリッジデバイスである。ノースブリッジ１０２には、主メモリ１０３をアクセス制御するメモリコントローラも内蔵されている。また、ノースブリッジ１０２は、ＰＣＩ ＥＸＰＲＥＳＳ規格のシリアルバスなどを介してＧＰＵ１０５との通信を実行する機能も有している。ＧＰＵ１０５は、本コンピュータのディスプレイモニタとして使用されるＬＣＤ１０６を制御する表示コントローラである。
【００１５】
サウスブリッジ１０４は、ＰＣＩ（Peripheral Component Interconnect）バス上の各デバイスおよびＬＰＣ（Low Pin Count）バス上の各デバイスを制御する。また、サウスブリッジ１０４は、ＨＤＤ１１１、ＨＤ ＤＶＤドライブ１１２を制御するためのＩＤＥ（Integrated Drive Electronics）コントローラを内蔵している。さらに、サウスブリッジ１０４は、サウンドコントローラ１０７との通信を実行する機能も有している。サウンドコントローラ１０７は音源デバイスであり、再生対象のオーディオデータをスピーカ１０８に出力する。
【００１６】
カードコントローラ１１３は、ＰＣカードやＳＤ（Secure Digital）カードのようなカードを制御する。無線ＬＡＮコントローラ１１４は、たとえばIEEE 802.11規格の無線通信を実行する無線通信デバイスである。IEEE 1394コントローラ１１５は、IEEE 1394規格のシリアルバスを介して外部機器との通信を実行する。ＥＣ／ＫＢＣ１１６は、電力管理のためのエンベデッドコントローラと、ＫＢ１１７、タッチパッド１８およびクリックボタン１１９を制御するためのキーボードコントローラとが集積された１チップマイクロコンピュータである。
【００１７】
次に、図２を参照して、ＨＤ ＤＶＤ Ｖｉｄｅｏ規格のＡＶコンテンツの画像構成について説明する。
【００１８】
ＨＤ ＤＶＤ Ｖｉｄｅｏ規格では、Ｐｌａｎｅ１〜Ｐｌａｎｅ５の５つのＰｌａｎｅが定義されており、各レイヤにカーソル、グラフィクス、サブピクチャ、サブビデオ、メインビデオがそれぞれ割り当てられている。そのため、ＤＶＤメディアに格納されるＨＤ ＤＶＤ Ｖｉｄｅｏ規格のＡＶコンテンツには、メインビデオデータ、サブビデオデータ、サブピクチャデータ、グラフィクスデータ、ナビゲーションデータが含まれる（そのほか、オーディオデータとしてメインオーディオデータ、サブオーディオデータが含まれる）。
【００１９】
ナビゲーションデータには、さらにスクリプト（ＸＭＬ）が含まれている。このスクリプトは、例えばユーザによるポインティングデバイス（タッチパッド１１８およびクリックボタン１１９）操作に応じてグラフィクスデータおよびカーソルを表示制御するためのデータであり、カーソルの形状やカーソルを配置可能なカーソル領域などを記述することができる。
【００２０】
即ち、ＨＤ ＤＶＤ Ｖｉｄｅｏ規格のＡＶコンテンツは、各フレーム毎に、Ｐｌａｎｅ１〜Ｐｌａｎｅ５の５つの画像ａ１〜画像ａ５を合成することによって、目的の画像ａ６が形成されることになる。ＨＤ ＤＶＤ Ｖｉｄｅｏ規格のＡＶコンテンツは、６０ｆｐｓ（フレーム／秒）のフレームレートで描画（レンダリング）されるのが一般的であるため、ＬＣＤ１０６のリフレッシュレートを６０Ｈｚとすると、１６ｍｓ〜１７ｍｓの時間で合成および描画を行わなければならない。
【００２１】
そこで、本コンピュータは、このＨＤ ＤＶＤ Ｖｉｄｅｏ規格のＡＶコンテンツを再生するＨＤ ＤＶＤプレーヤアプリケーションプログラム１５１が、いわゆるコマ落ちを発生させることがないように、その時々の状況に応じて、レンダリングに関わるフレームレートを低下させる機能を備えたものであり、以下、この点について詳述する。
【００２２】
図３は、前述した画像構成をもつＨＤ ＤＶＤ Ｖｉｄｅｏ規格のＡＶコンテンツを再生するＨＤ ＤＶＤプレーヤアプリケーションプログラム１５１の画像処理に関わる機能ブロックを示す図である。
【００２３】
ＨＤ ＤＶＤプレーヤアプリケーションプログラム１５１は、オペレーティングシステム１５０の制御下で動作するいわゆるアプリケーションプログラムであり、図３に示すように、データ読み取り部１５１１、暗号化解除処理部１５１２、デマルチプレクサ（Ｄｅｍｕｘ）１５１３、デコーダ１５１４およびレンダラ１５１５を備えている。
【００２４】
また、デコーダ１５１４は、ビデオデコーダ１５１４ａ、サブピクチャデコーダ１５１４ｂ、サブビデオデコーダ１５１４ｃ、グラフィクスデコーダ１５１４ｄ、カーソルドローウィングマネージャ１５１４ｅおよびオーディオデコーダ１５１４ｆを有しており、また、レンダラ１５１５は、コンポジット部１５１５ａおよびプレゼント部１５１５ｂを有している。
【００２５】
ＤＶＤメディアに格納されたＨＤ ＤＶＤ Ｖｉｄｅｏ規格のＡＶコンテンツ（メインビデオデータ、サブビデオデータ、サブピクチャデータ、メインオーディオデータ、サブオーディオデータ、グラフィクスデータ、ナビゲーションデータ）は、データ読み取り部１５１１がＨＤ ＤＶＤドライブ１１２によって読み出す。各データはそれぞれ暗号化されており、また、ＨＤ ＤＶＤストリームとして多重化されている。
【００２６】
データ読み取り部１５１１によって読み出されたＨＤ ＤＶＤストリームは、暗号化解除処理部１５１２に送られて暗号化を解除するための処理が行われる。暗号化が解除されたＨＤ ＤＶＤストリームは、Ｄｅｍｕｘ１５１３に送られる。
【００２７】
Ｄｅｍｕｘ１５１３は、このＨＤ ＤＶＤストリームから各データを分離する。Ｄｅｍｕｘ１５１３によって分離された各データは、デコーダ１５１４に送られ、メインビデオデータはビデオデコーダ１５１４ａ、サブピクチャデータはサブピクチャデコーダ１５１４ｂ、サブビデオデータはサブビデオデコーダ１５１４ｃ、グラフィクスデータはグラフィクスデコーダ１５１４ｄ、メインオーディオデータおよびサブオーディオデータはオーディオデコーダ１５１４ｆによってそれぞれデコードされる。また、ナビゲーションデータは、カーソルドローウィングマネージャ１５１４ｅに渡され、カーソルドローウィングマネージャ１５１４ｅは、当該ナビゲーションデータに含まれるスクリプト（ＸＭＬ）に基づき、カーソルデータを生成する。
【００２８】
このデコーダ１５１４によってデコードされたメインビデオデータ、サブピクチャデータ、サブビデオデータおよびグラフィクスデータと、同じくデコーダ１５１４によって生成されたカーソルデータとは、ＶＲＡＭ１０５Ａに格納される。これらのデータの格納領域として、主メモリ１０３を適用することも可能である。そして、これらのデータはレンダラ１５１５によって読み出され、コンポジット部１５１５ａによって合成された後、プレゼント部１５１５ｂによってＧＰＵに向けて出力され、当該ＧＰＵ１０５を介してＬＣＤ１０６に表示される。なお、デコーダ１５１４によってデコードされたメインオーディオデータおよびサブオーディオデータは、サウンドコントローラ１０７を介してスピーカ１０８に出力される。
【００２９】
レンダラ１５１５は、コンポジット部１５１５ａによる複数の画像データの合成処理およびプレゼント部１５１５ｂによる合成画像データの出力処理の所要時間を計測し、その値が前述の１６ｍｓを越えていないかどうかを監視する。そして、越えていたら、レンダラ１５１５は、本来であれば１秒間に６０フレーム処理すべきところを、その単位時間当たりの処理対象フレーム数を段階的（１／２，１／３，１／４等）に低下させていく。即ち、例えば、まず、６０ｆｐｓから３０ｆｐｓにフレームレートを低下させ、これによっても所要時間が１６ｍｓを越えているようであれば、３０ｆｐｓからさらに２０ｆｐｓ、１５ｆｐｓへとフレームレートを低下させていく。このフレームレートの低下は、いわゆる間引きを行うことで実施する。
【００３０】
逆に、例えば合成させるべきＰｌａｎｅ数が減少したり、（他のソフトウェアが動作を終了させた等により）本コンピュータの動作環境が改善したことにより、所要時間が短縮する傾向が見られた場合には、レンダラ１５１５は、低下させたフレームレートを復帰させるべく段階的に上昇させていく。
【００３１】
このように、本コンピュータ上で動作する（ＨＤ ＤＶＤ Ｖｉｄｅｏ規格のＡＶコンテンツを再生する）ＨＤ ＤＶＤプレーヤアプリケーションプログラム１５１は、レンダラ１５１５が、レンダリングの処理量を制御する仕組みを備える。なお、ここでは、デコードの処理量を制御する仕組みについては特に触れていないが、デコーダ１５１４に、種々提案されている既存のデコードの処理量を制御する仕組みを併せて備えさせることは当然に可能である。
【００３２】
図４は、本コンピュータ上で動作するＨＤ ＤＶＤプレーヤアプリケーションプログラム１５１が実行するレンダリングに関わる動作手順を示すフローチャートである。
【００３３】
ＨＤ ＤＶＤプレーヤアプリケーションプログラム１５１のレンダラ１５１５は、デコーダ１５１４によってデコードまたは生成されてＶＲＡＭ１０５Ａに格納された複数の画像データをコンポジット部１５１５ａが合成し（ステップＡ１）、この合成後の画像データをプレゼント部１５１５ｂが出力する（ステップＡ２）。
【００３４】
また、レンダラ１５１５は、ステップＡ１〜ステップＡ２のコンポジット部１５１５ａによる合成処理およびプレゼント部１５１５ｂによる出力処理の所要時間を計測し（ステップＡ３）、その値が１６ｍｓを越えていないかどうかを監視する（ステップＡ４）。
【００３５】
もし、その値が１６ｍｓを越えていた場合（ステップＡ４のＹＥＳ）、レンダラ１５１５は、現在のフレームレートが最小か否かを調べ（ステップＡ５）、最小でなければ（ステップＡ５のＮＯ）、フレームレートを１段階低下させる（ステップＡ６）。
【００３６】
また、その値が１６ｍｓの範囲内にある場合（ステップＡ４のＮＯ）、レンダラ１５１５は、現在のフレームレートが最大か否かを調べ（ステップＡ７）、最大でなければ（ステップＡ７のＮＯ）、フレームレートを１段階上昇させる（ステップＡ８）。
【００３７】
このように、本コンピュータは、複数の画像を合成して各フレームの画像が形成される動画像の再生時に、その時々の状況に応じて、当該複数の画像を合成しつつ描画するレンダリングの処理量を適切に制御することを実現する。
【００３８】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【００３９】
【図１】本発明の一実施形態に係るコンピュータのシステム構成を示す図
【図２】ＨＤ ＤＶＤ Ｖｉｄｅｏ規格のＡＶコンテンツの画像構成を説明するための概念図
【図３】同実施形態のコンピュータ上で動作するＨＤ ＤＶＤプレーヤアプリケーションプログラムの画像処理に関わる機能ブロックを示す図
【図４】同実施形態のコンピュータ上で動作するＨＤ ＤＶＤプレーヤアプリケーションプログラムが実行するレンダリングに関わる動作手順を示すフローチャート
【符号の説明】
【００４０】
１０１…ＣＰＵ、１０２…ノースブリッジ、１０３…主メモリ、１０４…サウスブリッジ、１０５…グラフィクスプロセッシングユニット（ＧＰＵ）、１０５Ａ…ビデオメモリ（ＶＲＡＭ）、１０６…ＬＣＤ、１０７…サウンドコントローラ、１０８…スピーカ、１０９…ＢＩＯＳ−ＲＯＭ、１１０…ＬＡＮコントローラ、１１１…ハードディスクドライブ（ＨＤＤ）、１１２…ＨＤ ＤＶＤドライブ、１１３…カードコントローラ、１１４…無線ＬＡＮコントローラ、１１５…IEEE 1394コントローラ、１１６…エンベデッドコントローラ／キーボードコントローラ（ＥＣ／ＫＢＣ）、１１７…キーボード（ＫＢ）、１１８…タッチパッド、１１９…クリックボタン、１５０…オペレーティングシステム、１５１…ＨＤ ＤＶＤプレーヤアプリケーションプログラム、１５１１…読み取り部、１５１２…暗号化解除処理部、１５１３…デマルチプレクサ、１５１４…デコーダ、１５１４ａ…ビデオデコーダ、１５１４ｂ…サブピクチャデコーダ、１５１４ｃ…サブビデオデコーダ、１５１４ｄ…グラフィクスデコーダ、１５１４ｅ…カーソルドローウィングマネージャ、１５１４ｆ…オーディオデコーダ、１５１５…レンダラ、１５１５ａ…コンポジット部、１５１５ｂ…プレゼント部。
【特許請求の範囲】
【請求項１】
複数の画像を合成して各フレームの画像が形成される動画像を符号化した前記複数の画像の画像データを含んでなる動画像データを入力する入力手段と、
前記入力手段が入力した動画像データに含まれる前記複数の画像データを各々復号する復号手段と、
前記復号手段が各々復号した前記複数の画像データを合成して各フレームの画像の画像データを形成して出力する描画手段と、
を具備し、
前記描画手段は、
前記複数の画像データを合成して当該合成した画像データを出力するまでの所要時間を計測する計測手段と、
前記計測手段が計測した所要時間が予め定められた値を越えていた場合、単位時間当たりの合成処理対象フレーム数を減少させて前記動画像データの合成処理に関するフレームレートを低下させるフレームレート調整手段と、
を有することを特徴とする情報処理装置。
【請求項２】
前記描画手段の前記フレームレート調整手段は、フレームレートを段階的に低下させていくことを特徴とする請求項１記載の情報処理装置。
【請求項３】
前記描画手段の前記フレームレート調整手段は、フレームレートを低下させた後、前記計測手段が計測した所要時間が予め定められた値以下となった場合、フレームレートを上昇させる手段を含むことを特徴とする請求項１記載の情報処理装置。
【請求項４】
前記複数の画像データには、主映像として用いられるメインビデオデータ、副映像として用いられるサブビデオデータ、字幕等を表示するためのサブピクチャデータおよび操作ガイダンス等を表示するためのグラフィクスデータが含まれることを特徴とする請求項１記載の情報処理装置。
【請求項５】
複数の画像を合成して各フレームの画像が形成される動画像を表示する機能を有する情報処理装置において、
前記複数の画像の合成に関わる所要時間を計測する計測手段と、
前記計測手段が計測した所要時間が予め定められた値を越えていた場合、単位時間当たりの合成処理対象フレーム数を減少させて前記動画像の合成処理に関するフレームレートを低下させるフレームレート調整手段と、
を具備することを特徴とする情報処理装置。
【請求項６】
複数の画像を合成して各フレームの画像が形成される動画像を表示する機能を有するコンピュータを、
前記複数の画像の合成から当該合成した画像の出力に関わる所要時間を計測する計測手段、
前記計測手段が計測した所要時間が予め定められた値を越えていた場合、単位時間当たりの合成処理対象フレーム数を減少させて前記動画像の合成処理に関するフレームレートを低下させるフレームレート調整手段、
として機能させるためのプログラム。
【請求項１】
複数の画像を合成して各フレームの画像が形成される動画像を符号化した前記複数の画像の画像データを含んでなる動画像データを入力する入力手段と、
前記入力手段が入力した動画像データに含まれる前記複数の画像データを各々復号する復号手段と、
前記復号手段が各々復号した前記複数の画像データを合成して各フレームの画像の画像データを形成して出力する描画手段と、
を具備し、
前記描画手段は、
前記複数の画像データを合成して当該合成した画像データを出力するまでの所要時間を計測する計測手段と、
前記計測手段が計測した所要時間が予め定められた値を越えていた場合、単位時間当たりの合成処理対象フレーム数を減少させて前記動画像データの合成処理に関するフレームレートを低下させるフレームレート調整手段と、
を有することを特徴とする情報処理装置。
【請求項２】
前記描画手段の前記フレームレート調整手段は、フレームレートを段階的に低下させていくことを特徴とする請求項１記載の情報処理装置。
【請求項３】
前記描画手段の前記フレームレート調整手段は、フレームレートを低下させた後、前記計測手段が計測した所要時間が予め定められた値以下となった場合、フレームレートを上昇させる手段を含むことを特徴とする請求項１記載の情報処理装置。
【請求項４】
前記複数の画像データには、主映像として用いられるメインビデオデータ、副映像として用いられるサブビデオデータ、字幕等を表示するためのサブピクチャデータおよび操作ガイダンス等を表示するためのグラフィクスデータが含まれることを特徴とする請求項１記載の情報処理装置。
【請求項５】
複数の画像を合成して各フレームの画像が形成される動画像を表示する機能を有する情報処理装置において、
前記複数の画像の合成に関わる所要時間を計測する計測手段と、
前記計測手段が計測した所要時間が予め定められた値を越えていた場合、単位時間当たりの合成処理対象フレーム数を減少させて前記動画像の合成処理に関するフレームレートを低下させるフレームレート調整手段と、
を具備することを特徴とする情報処理装置。
【請求項６】
複数の画像を合成して各フレームの画像が形成される動画像を表示する機能を有するコンピュータを、
前記複数の画像の合成から当該合成した画像の出力に関わる所要時間を計測する計測手段、
前記計測手段が計測した所要時間が予め定められた値を越えていた場合、単位時間当たりの合成処理対象フレーム数を減少させて前記動画像の合成処理に関するフレームレートを低下させるフレームレート調整手段、
として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２００９−１７１４３５（Ｐ２００９−１７１４３５Ａ）
【公開日】平成２１年７月３０日（２００９．７．３０）
【国際特許分類】
【出願番号】特願２００８−９５０２（Ｐ２００８−９５０２）
【出願日】平成２０年１月１８日（２００８．１．１８）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２１年７月３０日（２００９．７．３０）
【国際特許分類】
【出願日】平成２０年１月１８日（２００８．１．１８）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]