映像処理装置及び映像処理方法
【課題】ポリゴンに対して動画をテクスチャとしてマッピングする際に、ポリゴンの動きに基づいてフレーム映像の解像度を制御する映像処理装置を提供すること。
【解決手段】合成指示部１０１と、頂点情報生成部１０２と、視点クリップ処理部１０３と、移動量計算部１０６と、解像度決定部１０８と、占有面積計算部１０７と、動画再生部１０９と、フレーム記憶部１１０と、テクスチャマッピング部１０４とを備え、移動量計算部１０６が計算したポリゴンの移動量と、占有面積計算部１０７が計算した占有率とを基に、解像度決定部１０８が、フレーム映像の解像度を縮小する縮小率を決定し、動画再生部１０９が、再生対象の動画の解像度を縮小してフレーム映像を生成し、テクスチャマッピング部１０４が、ポリゴン上に、動画再生部１０９が生成したフレーム映像をテクスチャマッピングする。
【解決手段】合成指示部１０１と、頂点情報生成部１０２と、視点クリップ処理部１０３と、移動量計算部１０６と、解像度決定部１０８と、占有面積計算部１０７と、動画再生部１０９と、フレーム記憶部１１０と、テクスチャマッピング部１０４とを備え、移動量計算部１０６が計算したポリゴンの移動量と、占有面積計算部１０７が計算した占有率とを基に、解像度決定部１０８が、フレーム映像の解像度を縮小する縮小率を決定し、動画再生部１０９が、再生対象の動画の解像度を縮小してフレーム映像を生成し、テクスチャマッピング部１０４が、ポリゴン上に、動画再生部１０９が生成したフレーム映像をテクスチャマッピングする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンピュータグラフィックスで描画されたポリゴンに対して、動画コンテンツのフレーム映像をテクスチャとしてマッピングし、ポリゴン上で動画再生を行う映像処理装置に関するものである。
【背景技術】
【０００２】
近年、コンピュータグラフィックス（以下ＣＧ）を利用したゲーム、コンテンツビューワ、操作メニューなどが多く利用されている。
【０００３】
また、ＡＶコンテンツ再生機能を搭載した機器では、ＣＧとＡＶコンテンツ再生機能を組み合わせた機能が実現できる。例えば、ＣＧのポリゴンにテクスチャとしてＡＶコンテンツ再生中のフレーム映像をマッピングすることで、ポリゴン上で動画像を再生させるなどがある。
【０００４】
しかし、携帯電話などの利用できるリソースに制限のある組み込み機器において、フレーム映像をテクスチャマッピングしてポリゴン上で動画再生した場合、処理性能が不足する。そのため、ＣＧ描画フレームレートの低下により見栄えが劣化し、消費電力が増加するなどの問題があった。
【０００５】
従来のテクスチャマッピングして動画再生を行う情報処理装置としては、注目している動画の見栄えの劣化を防ぐために、残りの動画のフレームレートを下げる制御を行うものがあった（例えば、特許文献１参照）。前記特許文献１に記載された従来の情報処理装置では、動画の表示面積と、元の解像度とに基づいて、動画解像度を変更する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第４２００８５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、前記従来技術によれば、動画解像度の変更を動画の表示面積のみに応じて制御しており、フレーム映像をテクスチャマッピングしたポリゴンの動作速度については考慮していない。つまり、フレーム映像をテクスチャマッピングしたポリゴンが画面上をすばやく動作し、ユーザが、ポリゴン上のフレーム映像を視認することが困難である場合でも、通常通りの動画解像度で処理が行われる。このため、不必要に高い解像度のフレーム映像をテクスチャマッピングが行われ、フレーム映像を格納したメモリへアクセスする際のデータ量を削減することができず、消費電力が大きくなるという課題を有していた。
【０００８】
本発明は、前記従来の課題を解決するもので、ポリゴンに対して動画をテクスチャとしてマッピングする際に、ポリゴンの動きに基づいてフレーム映像の解像度を制御する映像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
前記従来の課題を解決するために、本発明の映像処理装置は、ポリゴンに対し動画をテクスチャとしてマッピング処理を行う映像処理装置であって、表示要求を受け取り、ポリゴンに対して動画をテクスチャとしてマッピングする処理を制御する合成指示手段と、頂点情報と視点情報に基づいて、クリップ処理を行う視点クリップ手段と、テクスチャをマッピング処理するポリゴン頂点の移動量を計算する移動量計算手段とテクスチャをマッピング処理するポリゴンの描画面積の占有率を計算する占有面積計算手段と、前記移動量計算手段が計算した前記移動量と、前記占有面積計算手段が計算した前記占有率とを基に、解像度を決定する解像度決定手段と、前記解像度決定部が決定した解像度を基に、再生対象の動画の解像度を制御してフレーム映像を生成する動画再生手段と、前記視点クリップ手段でクリップ処理されたポリゴン上に、前記動画再生手段が生成したフレーム映像を、テクスチャとしてマッピング処理するテクスチャマッピング手段とを備えることを特徴とする。
【００１０】
本構成によって、ポリゴンに対して動画をテクスチャとしてマッピングする際に、ポリゴンの動きに基づいてフレーム映像の解像度を制御することができる。
【発明の効果】
【００１１】
本発明の映像処理装置によれば、動画をテクスチャマッピングするポリゴンの動きが大きい場合に、フレーム映像の解像度を下げる制御を行い、フレーム映像を格納したメモリへアクセスする際のデータ量を削減することができる。これにより、映像処理装置の消費電力を低減することが可能になる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施の形態における映像処理装置を備えた情報処理装置のハードウェア構成の一例を示す図
【図２】本発明の実施の形態における映像処理装置の構成の一例を示すブロック図
【図３】本発明の実施の形態における映像処理装置のマッピング処理の概要を示した図
【図４】本発明の実施の形態における映像処理装置の動作の一例を示すフローチャート
【図５】本発明の実施の形態における視点クリップ部が生成する頂点情報の一例を示す図
【図６】本発明の実施の形態における移動量計算部の動作の一例を示すフローチャート
【図７】本発明の実施の形態における移動量計算部での処理の一例を示す図
【図８】本発明の実施の形態における占有面積計算部での処理の一例を示す図
【図９】本発明の実施の形態における解像度レベルテーブルの一例を示す図
【図１０】本発明の実施の形態における解像度制御部が使用するテーブルの一例を示す図
【発明を実施するための形態】
【００１３】
以下本発明の実施の形態について、図面を参照しながら説明する。
【００１４】
図１は、本発明の実施の形態における映像処理装置を備えた情報処理装置のハードウェア構成を示す図である。情報処理装置は、ＣＧ描画とＡＶコンテンツ再生機能を有しており、ＡＶ機器や、パーソナルコンピュータ、携帯電話、携帯情報端末（ＰＤＡ）、デジタルカメラなどである。
【００１５】
情報処理装置は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ；中央演算処理部）１０、メモリ装置２０、ハードディスク装置２５、通信装置３０、読取書込装置３２、入力装置４０、表示装置４５を備えている。これらの装置は、バスライン５０を通じて互いに接続されている。ハードディスク装置２５、読取書込装置３２、入力装置４０及び表示装置４５は、それぞれ、インタフェース２６、３５、４１及び４６を通じてバスライン５０に接続される。
【００１６】
ＣＰＵ１０は、単一のＣＰＵで構成されてもよく、複数のＣＰＵで構成されてもよい。図１は、単一のＣＰＵ１０を有する例を示している。
【００１７】
メモリ装置２０は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２１及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２２を備えている。ＲＯＭ２１は、ＣＰＵ１０の動作を規定するコンピュータプログラム及びデータを記憶している。コンピュータプログラム及びデータは、ハードディスク装置２５に記憶させることもできる。ＣＰＵ１０は、ＲＯＭ２１又はハードディスク装置２５が格納するコンピュータプログラム及びデータを、必要に応じてＲＡＭ２２に書き込みつつ、コンピュータプログラムが規定する処理を実行する。ＲＡＭ２２は、ＣＰＵ１０が処理を実行するのに伴って発生するデータを一時的に記憶する媒体としても機能する。メモリ装置２０は、フラッシュメモリなど、書き込みが可能で、電源を切っても記憶内容を保持できる不揮発性のメモリと記憶媒体を含んでいる。
【００１８】
ハードディスク装置２５は、コンピュータプログラム、コンテンツを含むデータを記録保持する装置である。このコンテンツは、情報処理装置が放送番組を受信して、録画した放送データである。
【００１９】
読取書込装置３２は、可搬型記録媒体３１（例えばＣＤ、ＤＶＤ、ＢＤ、メモリカードなど）に記録されたコンテンツを含むデータを書き込み及び読み取る装置である。
【００２０】
通信装置３０は、電話回線、ネットワーク線、無線、赤外線通信等の通信回線３３を通じて、外部と自身との間で、コンテンツなどのデータを送受信する装置である。
【００２１】
入力装置４０は、ユーザの操作によりデータ等を入力する装置であり、例えば、ＡＶ機器に配列された入力ボタン、携帯電話に配列された操作キー、ＰＡＤに配列されたキーボード、あるいは着脱自在のマウス、キーボードである。また、入力装置４０は、ＡＶ機器に対するリモートコントロール装置であってもよく、この場合、入力装置４０は、バスライン５０とは直結していないことになる。
【００２２】
表示装置４５は、画像や映像を画面に表示したり、音声で出力したりする装置であり、例えばＬＣＤ（Ｌｉｇｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ；液晶表示器）、ブラウン管、スピーカである。
【００２３】
以上のように、情報処理装置は、コンピュータとして構成されている。上記コンピュータプログラムは、ＲＯＭ２１、ハードディスク装置２５、不図示のフレキシブルディスク、ＣＤ−ＲＯＭ等の可搬型記録媒体３１を通じて供給することも、電気通信回線３３等の伝送媒体を通じて供給することも可能である。例えば、可搬型記録媒体３１（ＣＤ−ＲＯＭ）に記録されたコンピュータプログラムは、読取書込装置３２を情報処理装置へ接続することで、読み出すことができる。また、読み出したコンピュータプログラムを、ＲＡＭ２２あるいはハードディスク装置２５に格納することができる。
【００２４】
プログラム記録媒体としてＲＯＭ２１からコンピュータプログラムが供給される場合には、当該ＲＯＭ２１を情報処理装置に搭載することにより、ＣＰＵ１０は上記コンピュータプログラムに従った処理を実行可能となる。電気通信回線３３等の伝送媒体を通じて供給されるコンピュータプログラムは、通信装置３０を通じて受信され、例えば、ＲＡＭ２２あるいはハードディスク装置２５に格納される。伝送媒体は、有線の伝送媒体に限られず、無線の伝送媒体であってもよい。また、伝送媒体は通信線路のみでなく、通信線路を中継する中継装置、例えばルータをも含む。
【００２５】
以下、情報処理装置は、ハードディスク装置２５やメモリ２０に、コンテンツを保存済みであるものとして説明する。コンテンツの保存は、放送波の受信による録画、ネットワークを介したダウンロード、カメラなどの外部装置を使用したビデオ撮影などにより実施する。また、情報処理装置は、コンテンツを記録した可搬型記録媒体から読み取り、利用することができる。
【００２６】
図２は、本発明の実施の形態における映像処理装置の構成を示すブロック図である。映像処理装置は、図１に示すメモリ装置２０を用いてＣＰＵ１０で動作するプログラムである。
【００２７】
映像処理装置１００が、コンテンツ記憶部１１１に格納されているコンテンツを、ポリゴンに対してテクスチャマッピングし、出力部１０５が、図１に示す表示装置４５に出力することで、ポリゴン上での動画再生を行う。なお、コンテンツ記憶部１１１は、図１に示すメモリ装置２０、ハードディスク装置２５、可搬型記録媒体３１などである。
【００２８】
映像処理装置１００は、合成指示部１０１、頂点情報生成部１０２、視点クリップ処理部１０３、解像度制御部１１２、動画再生部１０９、フレーム記憶部１１０、テクスチャマッピング部１０４を備える。
【００２９】
合成指示部１０１は、表示要求を受け取り、ポリゴンに対して動画をテクスチャマッピングする処理全体を制御する。合成指示部１０１は、頂点情報生成部１０２、視点クリップ処理部１０３、解像度制御部１１２、動画再生部１０９、テクスチャマッピング部１０４へ処理の指示を行う。なお、表示要求は、表示対象のポリゴン情報と、マッピング対象のコンテンツ情報（コンテンツ識別子）と、表示位置情報とを含んでいる。
【００３０】
頂点情報生成部１０２は、合成指示部１０１の指示により、ポリゴンの頂点情報を生成し、視点クリップ処理部１０３へ通知する。
【００３１】
視点クリップ処理部１０３は、合成指示部１０１の指示により、頂点情報生成部１０２にて生成された頂点情報を、合成指示部１０１に指定された視点情報に基づいて、クリップ処理を行う。視点クリップ処理部１０３は、クリップ処理した全ての頂点情報を、テクスチャマッピング部１０４に通知する。また、視点クリップ処理部１０３は、クリップ処理した全ての頂点情報の中から、フレーム映像をテクスチャとしてマッピング処理を行うポリゴンの頂点情報を抽出し、解像度制御部１１２に通知する。
【００３２】
解像度制御部１１２は、合成指示部１０１の指示により、視点クリップ処理部１０３でクリップ処理された頂点情報を受け取り、テクスチャマッピング対象のフレーム映像の解像度を決定して、動画再生部１０９に通知する。解像度制御部１１２は、移動量計算部１０６、解像度決定部１０８、占有面積計算部１０７を備える。
【００３３】
移動量計算部１０６は、視点クリップ処理手段１０３によってクリップ処理された頂点情報を基に、テクスチャマッピングするポリゴン頂点の移動量を計算し、解像度決定部１０８へ通知する。移動量計算部１０６は、コンテンツ再生時のフレーム映像をテクスチャとしてマッピング処理するポリゴンに対し、ポリゴンの各頂点について、前回の状態からの差分を計算して、移動量を取得する。
【００３４】
占有面積計算部１０７は、視点クリップ処理手段１０３によってクリップ処理された頂点情報を基に、テクスチャマッピングするポリゴンの描画面積の占有率を計算し、解像度決定部１０８へ通知する。占有面積計算部１０７は、コンテンツ再生時のフレーム映像をテクスチャとしてマッピング処理を行うポリゴンに対し、ポリゴンが描画される面積と、ＣＧを描画する領域全体の面積との比を計算して、占有率を取得する。
【００３５】
解像度決定部１０８は、移動量計算部１０６が計算した移動量と、占有面積計算部１０７が計算した占有率とを基に、解像度を決定する。解像度決定部１０８は、決定した解像度を解像度情報として、動画再生部１０９へ通知する。例えば、解像度情報は、オリジナルの解像度に対する解像度倍率を示す情報である。他の例では、解像度情報は、オリジナルの解像度より縮小するか否かを示す情報である。また他の例では、解像度情報は、縮小後のフレーム映像の解像度そのものの値を示す。
【００３６】
動画再生部１０９は、コンテンツ記憶部１１に格納されたコンテンツの再生処理を行う。動画再生部１０９は、解像度決定部１０８から通知された解像度情報を基に、再生対象のコンテンツのフレーム映像の解像度を制御して、フレーム映像を生成し、フレーム記憶部１１０に保存する。フレーム記憶部１１０は、一時記憶バッファである。
【００３７】
解像度情報が、オリジナルの解像度に対する解像度倍率を示す場合について、説明する。動画再生部１０９は、再生対象コンテンツのオリジナルの解像度と解像度倍率との積をとり、フレーム映像の解像度を算出する。算出したフレーム映像の解像度が、動画再生部１０９の再生可能な解像度でない場合、動画再生部１０９は、再生可能な解像度の中から最も近い解像度を選択して、再生処理を行う。例えば、コンテンツのオリジナルの解像度が『１９２０×１０８０』であり、解像度倍率が『０．６』の場合、算出したフレーム映像の解像度は、『１１５２×６４８』となる。この時、動画再生部１０９は、自身で再生可能な解像度の中から『１２８０×７２０』をフレーム映像の解像度として選択し、フレーム映像を生成する。
【００３８】
また、解像度情報が、オリジナルの解像度より縮小するか否かを示す情報あって、「縮小する」を示している場合について説明する。動画再生部１０９は、再生可能な解像度の中から最も小さい解像度を選択して、フレーム映像を生成する。また、動画再生部１０９は、予め定めた所定の倍率（例えば、０．５）にオリジナルの解像度を縮小して、フレーム映像を生成してもよい。
【００３９】
テクスチャマッピング部１０４は、合成指示部１０１の指示により、フレーム記憶部１１０からフレーム映像を読み出し、視点クリップ処理部１０３から出力されたポリゴン上に、テクスチャとしてマッピングを行う。テクスチャマッピング部１０４は、テクスチャマッピングしたポリゴンから描画データを生成し、出力部１０５へ転送する。なお、テクスチャマッピング部１０４は、動画再生部１０９が生成したフレーム映像がフレーム記憶部１１０に保存されているか否かを定期的にチェックし、保存されている場合にフレーム映像を読み出して、処理する。
【００４０】
以上により、本発明の映像処理装置は、コンテンツ記憶部１１１に格納されているコンテンツを、ポリゴンに対してテクスチャマッピングする際に、ポリゴンの動きに基づいてフレーム映像の解像度を制御することができる。つまり、本発明の映像処理装置は、動画をテクスチャマッピングするポリゴンの動きが大きく、ポリゴンの移動速度が速い場合に、フレーム映像の解像度を下げる制御を行う。また、本発明の映像処理装置は、動画をテクスチャマッピングする描画面に対して、対象のポリゴンが小さく表示される場合に、フレーム映像の解像度を下げる制御を行う。これにより、フレーム映像を格納したメモリへアクセスする際のデータ量を削減することができる。これにより、不必要に高い解像度のフレーム映像をテクスチャマッピングする処理が不要となり、フレーム映像を格納したメモリへアクセスする際のデータ量を削減することができ、映像処理装置の消費電力を低減することが可能になる。
【００４１】
図３は、本発明の映像処理装置１００におけるマッピング処理の概要を示した図である。
【００４２】
映像処理装置１００は、コンテンツ記憶部１１１に記憶されているコンテンツのフレーム映像３０２を、ポリゴン３０１に対してテクスチャとしてマッピングし、描画データ３０３を生成する。ユーザは、ＣＧ上（ポリゴン３０１）で再生されるコンテンツ（フレーム映像３０２）を視聴することができる。
【００４３】
図４は、本発明の実施の形態における映像処理装置１００の動作の一例を示すフローチャートである。まず、映像処理装置１００の合成指示部１０１が、表示要求を受け取り、処理を開始する。表示要求は、表示対象のポリゴン情報と、マッピング対象のコンテンツ情報（コンテンツ識別子）と、表示位置情報とを含んでいる。
【００４４】
頂点情報生成部１０２は、合成指示部１０１の指示により、ポリゴンの頂点情報を生成し、視点クリップ処理部１０３へ通知する（ステップＳ４０１）。
【００４５】
視点クリップ処理手段１０３は、頂点情報生成部１０２から通知された頂点情報を受け取り、合成指示部１０１から指定された視点情報を用いて、クリップ処理を行う。視点情報は、視点位置を含んでおり、視点クリップ処理手段１０３は、指定された視点位置に基づいて、描画面に表示されるポリゴンのみを頂点情報から抽出し、抽出した頂点情報の座標を、始点位置を基準とした座標へ変換する。その後、視点クリップ処理１０３は、クリップ処理した全ての頂点情報を、テクスチャマッピング部１０４へ通知する。また、視点クリップ処理１０３は、クリップ処理した全ての頂点情報の中から、フレーム映像をテクスチャとしてマッピング処理を行うポリゴンの頂点情報を抽出し、解像度制御部１１２に通知する（ステップＳ４０２）。
【００４６】
解像度制御部１１２の移動量計算部１０６は、視点クリップ処理手段１０３でクリップ処理された頂点情報を基に、テクスチャマッピングするポリゴン頂点の移動量を計算し、解像度決定部１０８へ通知する。移動量計算部１０６は、コンテンツ再生時のフレーム映像をテクスチャとしてマッピング処理するポリゴンに対し、ポリゴンの各頂点について、前回の状態からの差分を計算して、移動量を取得する（ステップＳ４０３）。
【００４７】
解像度制御部１１２の占有面積計算部１０７は、視点クリップ処理手段１０３でクリップ処理された頂点情報を基に、テクスチャマッピングするポリゴンの描画面積の占有率を計算し、解像度決定部１０８へ通知する。占有面積計算部１０７は、コンテンツ再生時のフレーム映像をテクスチャとしてマッピング処理を行うポリゴンに対し、ポリゴンが描画される面積と、ＣＧを描画する領域全体の描画面積との比を計算して、占有率を取得する（ステップＳ４０４）。
【００４８】
解像度決定部１０８は、移動量計算部１０６が計算した移動量と、占有面積計算部１０７が計算した占有率とを基に、解像度を決定する。解像度決定部１０８は、決定した解像度を解像度情報として、動画再生部１０９へ通知する（ステップＳ４０５）。
【００４９】
動画再生部１０９は、合成指示部１０１の指示により、解像度決定部１０８から通知された解像度情報に従い、再生対象のコンテンツのフレーム映像の解像度を制御して、フレーム映像を生成する。動画再生部１０９は、生成したフレーム映像を、フレーム記憶部１１０に保存する（ステップＳ４０６）。
【００５０】
テクスチャマッピング部１０４は、合成指示部１０１の指示により、フレーム記憶部１１０からフレーム映像を読み出し、視点クリップ処理部１０３から出力されたクリップ処理されたポリゴン上に、テクスチャとしてマッピングを行う（ステップＳ４０７）。
【００５１】
テクスチャマッピング部１０４は、テクスチャマッピングしたポリゴンから描画データを生成して出力部１０５へ転送し、出力部１０５は、表示装置４５に出力することで、ポリゴン上での動画再生を行う（ステップＳ４０８）。
【００５２】
合成指示部１０１は、表示終了か否かを判断し（ステップＳ４０９）、表示終了の場合は（ステップＳ４０９がＹｅｓ）、処理を終了する。一方、表示終了でない場合は（ステップＳ４０９がＮｏ）、合成指示部１０１は、ステップＳ４０１に遷移し、ステップＳ４０１からＳ４０８を繰り返す。これにより、ＣＧ上のテクスチャとして動画を視聴可能とする。
【００５３】
図５は、本発明の実施の形態における視点クリップ処理部１０３が、解像度制御部１１２に通知する頂点情報の一例である。
【００５４】
頂点情報５０１は、コンテンツをテクスチャとしてマッピング処理を行うポリゴンの頂点のみを含んでおり、各頂点を識別する頂点ＩＤ（５０２）と、対象頂点の座標（座標Ｘ（５０３）、座標Ｙ（５０４）、座標Ｚ（５０５））とを組にしたリストとなっている。また、対象頂点の座標は、視点クリップ処理手段１０３によってクリップ処理された後の座標であり、視点を軸とする座標に変換されている。図５の頂点情報５０１は、６個の頂点からなっており、頂点ＩＤが「２」の頂点は、座標（１２０、１５０、０）に位置している。
【００５５】
図６は、本発明の実施の形態における移動量計算部１０６の動作の一例を示すフローチャートである。移動量計算部１０６は、合成指示部からの通知を受け、処理を開始する。
【００５６】
移動量計算部１０６は、視点クリップ処理部１０３によりクリップ処理された頂点情報を取得する（ステップＳ６０１）。
【００５７】
移動量計算部１０６は、前回処理時に保存した頂点情報（前回情報）を取得する（ステップＳ６０２）。
【００５８】
移動量計算部１０６は、ステップＳ６０１で取得した頂点情報と、ステップＳ６０２で取得した前回情報とを比較し、前回処理時と同じ頂点で構成されているのか否かを判定する。移動量計算部１０６は、頂点情報と前回情報に含まれる頂点ＩＤを比較し、全ての頂点ＩＤが一致する場合に、同じ頂点で構成されている（頂点に変化なし）と判断する（ステップＳ６０３）。
【００５９】
頂点に変化がない場合（ステップＳ６０４がＹｅｓ）、移動量計算部１０６は、頂点情報と前回情報を用いて、各頂点について、前回からの差分を計算して、移動量を取得する（ステップＳ６０５）。移動量計算部１０６は、計算した移動量を解像度決定部１０８へ通知する（ステップＳ６０６）。なお、移動量計算部１０６は、計算した複数個の移動量の中の、最小の値を通知するものとする。また、移動量計算部１０６は、計算した複数個の移動量の平均値や、頂点の重心移動量を計算し、解像度決定部１０８へ通知してもよい。
【００６０】
頂点に変化がある場合（ステップＳ６０４がＮｏ）、移動量を「０」とし、解像度決定部１０８へ通知する（ステップＳ６０８）。
【００６１】
移動量計算部１０６は、ステップＳ６０１で取得した頂点情報を、前回情報として保存し（ステップＳ６０７）、処理を終了する。
【００６２】
図７は、本発明の実施の形態における移動量計算部１０６が計算する各頂点の移動量について一例を示している。
【００６３】
ここでは、フレーム映像をテクスチャとしてマッピングするポリゴン（７００、７１０）が、３個の頂点から構成されている場合を図示している。
【００６４】
ポリゴン７００は、前回処理時の頂点情報（前回情報）に対応しており、頂点７０１、頂点７０２、頂点７０３で構成されている。
【００６５】
ポリゴン７１０は、視点クリップ処理部１０３によりクリップ処理された新しい頂点情報に対応しており、頂点７１１、頂点７１２、頂点７１３で構成されている。
【００６６】
また、頂点７０１と頂点７１１、頂点７０２と頂点７１２、頂点７０３と頂点７１３は、それぞれ同じ頂点ＩＤの頂点である。つまり、ポリゴン７００とポリゴン７１０は、同じ頂点で構成されており（頂点に変化なし）、ポリゴン自体が表示位置を移動していることを示している。
【００６７】
移動量計算部１０６は、前述の通り、前回処理時に用いた頂点情報（前回情報）と、視点クリップ処理手段１０３によりクリップ処理された新しい頂点情報を用いて、各頂点について、前回からの差分を計算して、移動量を算出する。例えば、頂点７０１が前回処理時の頂点情報に含まれており、頂点７１１が新しい頂点情報に含まれている。頂点７０１の座標が（２０，２４０，１７０）、頂点７１１の座標が（４０,２４０，１８０）であるので、その差分は（２０，０，１０）を成分にもつベクトルとして表現する。つまり、頂点の移動量は、このベクトルの長さである。
【００６８】
図８は、本発明の実施の形態における占有面積計算部１０７が計算する描画面占有面積比（占有率）について一例を示している。
【００６９】
占有面積計算部１０７は、前述の通り、視点クリップ処理手段１０３によってクリップ処理された頂点情報を基に、コンテンツ再生時のフレーム映像をテクスチャとしてマッピング処理を行うポリゴンに対し、ポリゴンが描画される面積と、ＣＧを描画する領域全体の描画面積との比を計算して、占有率を取得する。
【００７０】
例えば、図８のように視点方向がＸ軸である場合、対象ポリゴン８０２をＹ−Ｚ平面へ写像処理を行い、写像図形８０１を生成し、その後、写像図形８０１の面積とＣＧを描画する領域全体の面積との比を計算する。複数の対象ポリゴンがある場合には、全てのポリゴンに対して写像図形８０１を生成し、その面積の合計求め、その結果とＣＧを描画する領域全体の面積との比を計算する。
【００７１】
図９、図１０は、本発明の実施の形態における解像度制御部１１２が使用する各テーブルの一例を示している。
【００７２】
解像度決定部１０８は、前述の通り、移動量計算部１０６が計算した移動量と、占有面積計算部１０７が計算した占有率とを基に、解像度を決定する。この時に、解像度決定部１０８は、図９と図１０に示した各テーブルを用いる。
【００７３】
まず、解像度決定部１０８は、図１０（Ａ）の移動量テーブル１００１を用いて、移動量計算部１０６が計算した移動量を、移動量レベルに変換する。例えば、移動量計算部１０６が移動量「２２」と計算した場合、移動量レベルは「１」となる。
【００７４】
次に、解像度決定部１０８は、図１０（Ｂ）の占有テーブル１００２を用いて、占有面積計算部１０７が計算した占有率を、占有レベルに変換する。例えば、占有面積計算部１０７が占有率「０．７」と計算した場合、占有レベルは「６」となる。
【００７５】
解像度決定部１０８は、図９の解像度レベルテーブル９０１を用いて、移動量レベルと占有レベルに基づき、解像度レベルを決定する。例えば、移動量レベルが「１」で占有レベルが「６」の場合、解像度レベルは「５」となる。
【００７６】
最後に、解像度決定部１０８は、図１０（Ｃ）の解像度テーブル１００３を用いて、解像度レベルを、解像度倍率に変換し、解像度情報として動画再生部１０９に通知する。例えば、解像度レベルが「５」の場合、解像度倍率は、「１．０」となる。この場合、動画再生部１０９は、解像度を縮小せずに、オリジナルの解像度のままフレーム映像を生成することになる。
【００７７】
また、他の例として、移動量計算部１０６が移動量「１２０」と計算し、占有面積計算部１０７が占有率「０．２」と計算した場合では、解像度決定部１０８は、移動量レベル「６」、占有レベル「１」へと変換する。解像度決定部１０８は、図９の解像度レベルテーブル９０１を用いて、解像度レベルを「２」に決定し、図１０（Ｃ）の解像度テーブル１００３を用いて、解像度倍率「０．４」に変換し、解像度情報として動画再生部１０９に通知する。この場合、動画再生部１０９は、オリジナルの解像度の０．４倍へ縮小して、フレーム映像を生成する。
【００７８】
なお、解像度決定部１０８は、解像度レベルテーブル９０１を複数個備え、出力する表示装置４５の表示領域のサイズによって、対応する解像度レベルテーブル９０１を利用してもよい。この場合、出力する表示装置４５の表示領域のサイズに合わせて、解像度レベルを設定することが可能となる。これにより、映像処理装置は、出力画面サイズにより、コンテンツ再生時のフレーム映像の解像度を縮小する縮小率を変更することができる。また、表示装置４５の表示領域のサイズだけでなく、ＣＧを描画する領域全体のサイズに合わせて、対応する解像度レベルテーブルを切り替えてもよい。
【００７９】
以上により、本発明の映像処理装置は、コンテンツをポリゴンに対してテクスチャマッピングする際に、ポリゴンの動きに基づいてフレーム映像の解像度を制御することができる。つまり、本発明の映像処理装置は、動画をテクスチャマッピングするポリゴンの動きが大きく、移動速度が速い場合に、フレーム映像の解像度を下げる制御を行う。また、本発明の映像処理装置は、動画をテクスチャマッピングする描画面に対して、対象のポリゴンが小さく表示される場合に、フレーム映像の解像度を下げる制御を行う。
【００８０】
ポリゴンの動きが大きく、描画面に対して小さく表示される場合、テクスチャはユーザが細かく視認できないため、フレーム映像の解像度を下げてテクスチャマッピングを行った場合でも、映像の見栄えを大きく損なうことはない。そのため、映像の見栄えを維持しながら、フレーム映像を格納したメモリへアクセスする際のデータ量を削減することができる。
【００８１】
これにより、不必要に高い解像度のフレーム映像をテクスチャマッピングする処理が不要となり、フレーム映像を格納したメモリへアクセスする際のデータ量を削減することができ、映像処理装置の消費電力を低減することが可能になる。
【産業上の利用可能性】
【００８２】
本発明にかかる映像処理装置は、ＣＧ描画とＡＶコンテンツ再生機能を有したＡＶ機器として有用である。また、パーソナルコンピュータ、携帯情報端末などの用途にも応用できる。
【符号の説明】
【００８３】
１０ ＣＰＵ
２０ メモリ装置
２１ ＲＯＭ
２２ ＲＡＭ
２５ ハードディスク装置
２６，３５，４１，４６ インタフェース
３０ 通信装置
３１ 記録媒体
３２ 読取書込装置
３３ 電気通信回線
４０ 入力装置
４５ 表示装置
５０ バスライン
１００ 映像処理装置
１０１ 合成指示部
１０２ 頂点情報生成部
１０３ 視点クリップ処理部
１０４ テクスチャマッピング部
１０５ 出力部
１０６ 移動量計算部
１０７ 占有面積計算部
１０８ 解像度決定部
１０９ 動画再生部
１１０ フレーム記憶部
１１１ コンテンツ記憶部
１１２ 解像度制御部
【技術分野】
【０００１】
本発明は、コンピュータグラフィックスで描画されたポリゴンに対して、動画コンテンツのフレーム映像をテクスチャとしてマッピングし、ポリゴン上で動画再生を行う映像処理装置に関するものである。
【背景技術】
【０００２】
近年、コンピュータグラフィックス（以下ＣＧ）を利用したゲーム、コンテンツビューワ、操作メニューなどが多く利用されている。
【０００３】
また、ＡＶコンテンツ再生機能を搭載した機器では、ＣＧとＡＶコンテンツ再生機能を組み合わせた機能が実現できる。例えば、ＣＧのポリゴンにテクスチャとしてＡＶコンテンツ再生中のフレーム映像をマッピングすることで、ポリゴン上で動画像を再生させるなどがある。
【０００４】
しかし、携帯電話などの利用できるリソースに制限のある組み込み機器において、フレーム映像をテクスチャマッピングしてポリゴン上で動画再生した場合、処理性能が不足する。そのため、ＣＧ描画フレームレートの低下により見栄えが劣化し、消費電力が増加するなどの問題があった。
【０００５】
従来のテクスチャマッピングして動画再生を行う情報処理装置としては、注目している動画の見栄えの劣化を防ぐために、残りの動画のフレームレートを下げる制御を行うものがあった（例えば、特許文献１参照）。前記特許文献１に記載された従来の情報処理装置では、動画の表示面積と、元の解像度とに基づいて、動画解像度を変更する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第４２００８５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、前記従来技術によれば、動画解像度の変更を動画の表示面積のみに応じて制御しており、フレーム映像をテクスチャマッピングしたポリゴンの動作速度については考慮していない。つまり、フレーム映像をテクスチャマッピングしたポリゴンが画面上をすばやく動作し、ユーザが、ポリゴン上のフレーム映像を視認することが困難である場合でも、通常通りの動画解像度で処理が行われる。このため、不必要に高い解像度のフレーム映像をテクスチャマッピングが行われ、フレーム映像を格納したメモリへアクセスする際のデータ量を削減することができず、消費電力が大きくなるという課題を有していた。
【０００８】
本発明は、前記従来の課題を解決するもので、ポリゴンに対して動画をテクスチャとしてマッピングする際に、ポリゴンの動きに基づいてフレーム映像の解像度を制御する映像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
前記従来の課題を解決するために、本発明の映像処理装置は、ポリゴンに対し動画をテクスチャとしてマッピング処理を行う映像処理装置であって、表示要求を受け取り、ポリゴンに対して動画をテクスチャとしてマッピングする処理を制御する合成指示手段と、頂点情報と視点情報に基づいて、クリップ処理を行う視点クリップ手段と、テクスチャをマッピング処理するポリゴン頂点の移動量を計算する移動量計算手段とテクスチャをマッピング処理するポリゴンの描画面積の占有率を計算する占有面積計算手段と、前記移動量計算手段が計算した前記移動量と、前記占有面積計算手段が計算した前記占有率とを基に、解像度を決定する解像度決定手段と、前記解像度決定部が決定した解像度を基に、再生対象の動画の解像度を制御してフレーム映像を生成する動画再生手段と、前記視点クリップ手段でクリップ処理されたポリゴン上に、前記動画再生手段が生成したフレーム映像を、テクスチャとしてマッピング処理するテクスチャマッピング手段とを備えることを特徴とする。
【００１０】
本構成によって、ポリゴンに対して動画をテクスチャとしてマッピングする際に、ポリゴンの動きに基づいてフレーム映像の解像度を制御することができる。
【発明の効果】
【００１１】
本発明の映像処理装置によれば、動画をテクスチャマッピングするポリゴンの動きが大きい場合に、フレーム映像の解像度を下げる制御を行い、フレーム映像を格納したメモリへアクセスする際のデータ量を削減することができる。これにより、映像処理装置の消費電力を低減することが可能になる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施の形態における映像処理装置を備えた情報処理装置のハードウェア構成の一例を示す図
【図２】本発明の実施の形態における映像処理装置の構成の一例を示すブロック図
【図３】本発明の実施の形態における映像処理装置のマッピング処理の概要を示した図
【図４】本発明の実施の形態における映像処理装置の動作の一例を示すフローチャート
【図５】本発明の実施の形態における視点クリップ部が生成する頂点情報の一例を示す図
【図６】本発明の実施の形態における移動量計算部の動作の一例を示すフローチャート
【図７】本発明の実施の形態における移動量計算部での処理の一例を示す図
【図８】本発明の実施の形態における占有面積計算部での処理の一例を示す図
【図９】本発明の実施の形態における解像度レベルテーブルの一例を示す図
【図１０】本発明の実施の形態における解像度制御部が使用するテーブルの一例を示す図
【発明を実施するための形態】
【００１３】
以下本発明の実施の形態について、図面を参照しながら説明する。
【００１４】
図１は、本発明の実施の形態における映像処理装置を備えた情報処理装置のハードウェア構成を示す図である。情報処理装置は、ＣＧ描画とＡＶコンテンツ再生機能を有しており、ＡＶ機器や、パーソナルコンピュータ、携帯電話、携帯情報端末（ＰＤＡ）、デジタルカメラなどである。
【００１５】
情報処理装置は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ；中央演算処理部）１０、メモリ装置２０、ハードディスク装置２５、通信装置３０、読取書込装置３２、入力装置４０、表示装置４５を備えている。これらの装置は、バスライン５０を通じて互いに接続されている。ハードディスク装置２５、読取書込装置３２、入力装置４０及び表示装置４５は、それぞれ、インタフェース２６、３５、４１及び４６を通じてバスライン５０に接続される。
【００１６】
ＣＰＵ１０は、単一のＣＰＵで構成されてもよく、複数のＣＰＵで構成されてもよい。図１は、単一のＣＰＵ１０を有する例を示している。
【００１７】
メモリ装置２０は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２１及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２２を備えている。ＲＯＭ２１は、ＣＰＵ１０の動作を規定するコンピュータプログラム及びデータを記憶している。コンピュータプログラム及びデータは、ハードディスク装置２５に記憶させることもできる。ＣＰＵ１０は、ＲＯＭ２１又はハードディスク装置２５が格納するコンピュータプログラム及びデータを、必要に応じてＲＡＭ２２に書き込みつつ、コンピュータプログラムが規定する処理を実行する。ＲＡＭ２２は、ＣＰＵ１０が処理を実行するのに伴って発生するデータを一時的に記憶する媒体としても機能する。メモリ装置２０は、フラッシュメモリなど、書き込みが可能で、電源を切っても記憶内容を保持できる不揮発性のメモリと記憶媒体を含んでいる。
【００１８】
ハードディスク装置２５は、コンピュータプログラム、コンテンツを含むデータを記録保持する装置である。このコンテンツは、情報処理装置が放送番組を受信して、録画した放送データである。
【００１９】
読取書込装置３２は、可搬型記録媒体３１（例えばＣＤ、ＤＶＤ、ＢＤ、メモリカードなど）に記録されたコンテンツを含むデータを書き込み及び読み取る装置である。
【００２０】
通信装置３０は、電話回線、ネットワーク線、無線、赤外線通信等の通信回線３３を通じて、外部と自身との間で、コンテンツなどのデータを送受信する装置である。
【００２１】
入力装置４０は、ユーザの操作によりデータ等を入力する装置であり、例えば、ＡＶ機器に配列された入力ボタン、携帯電話に配列された操作キー、ＰＡＤに配列されたキーボード、あるいは着脱自在のマウス、キーボードである。また、入力装置４０は、ＡＶ機器に対するリモートコントロール装置であってもよく、この場合、入力装置４０は、バスライン５０とは直結していないことになる。
【００２２】
表示装置４５は、画像や映像を画面に表示したり、音声で出力したりする装置であり、例えばＬＣＤ（Ｌｉｇｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ；液晶表示器）、ブラウン管、スピーカである。
【００２３】
以上のように、情報処理装置は、コンピュータとして構成されている。上記コンピュータプログラムは、ＲＯＭ２１、ハードディスク装置２５、不図示のフレキシブルディスク、ＣＤ−ＲＯＭ等の可搬型記録媒体３１を通じて供給することも、電気通信回線３３等の伝送媒体を通じて供給することも可能である。例えば、可搬型記録媒体３１（ＣＤ−ＲＯＭ）に記録されたコンピュータプログラムは、読取書込装置３２を情報処理装置へ接続することで、読み出すことができる。また、読み出したコンピュータプログラムを、ＲＡＭ２２あるいはハードディスク装置２５に格納することができる。
【００２４】
プログラム記録媒体としてＲＯＭ２１からコンピュータプログラムが供給される場合には、当該ＲＯＭ２１を情報処理装置に搭載することにより、ＣＰＵ１０は上記コンピュータプログラムに従った処理を実行可能となる。電気通信回線３３等の伝送媒体を通じて供給されるコンピュータプログラムは、通信装置３０を通じて受信され、例えば、ＲＡＭ２２あるいはハードディスク装置２５に格納される。伝送媒体は、有線の伝送媒体に限られず、無線の伝送媒体であってもよい。また、伝送媒体は通信線路のみでなく、通信線路を中継する中継装置、例えばルータをも含む。
【００２５】
以下、情報処理装置は、ハードディスク装置２５やメモリ２０に、コンテンツを保存済みであるものとして説明する。コンテンツの保存は、放送波の受信による録画、ネットワークを介したダウンロード、カメラなどの外部装置を使用したビデオ撮影などにより実施する。また、情報処理装置は、コンテンツを記録した可搬型記録媒体から読み取り、利用することができる。
【００２６】
図２は、本発明の実施の形態における映像処理装置の構成を示すブロック図である。映像処理装置は、図１に示すメモリ装置２０を用いてＣＰＵ１０で動作するプログラムである。
【００２７】
映像処理装置１００が、コンテンツ記憶部１１１に格納されているコンテンツを、ポリゴンに対してテクスチャマッピングし、出力部１０５が、図１に示す表示装置４５に出力することで、ポリゴン上での動画再生を行う。なお、コンテンツ記憶部１１１は、図１に示すメモリ装置２０、ハードディスク装置２５、可搬型記録媒体３１などである。
【００２８】
映像処理装置１００は、合成指示部１０１、頂点情報生成部１０２、視点クリップ処理部１０３、解像度制御部１１２、動画再生部１０９、フレーム記憶部１１０、テクスチャマッピング部１０４を備える。
【００２９】
合成指示部１０１は、表示要求を受け取り、ポリゴンに対して動画をテクスチャマッピングする処理全体を制御する。合成指示部１０１は、頂点情報生成部１０２、視点クリップ処理部１０３、解像度制御部１１２、動画再生部１０９、テクスチャマッピング部１０４へ処理の指示を行う。なお、表示要求は、表示対象のポリゴン情報と、マッピング対象のコンテンツ情報（コンテンツ識別子）と、表示位置情報とを含んでいる。
【００３０】
頂点情報生成部１０２は、合成指示部１０１の指示により、ポリゴンの頂点情報を生成し、視点クリップ処理部１０３へ通知する。
【００３１】
視点クリップ処理部１０３は、合成指示部１０１の指示により、頂点情報生成部１０２にて生成された頂点情報を、合成指示部１０１に指定された視点情報に基づいて、クリップ処理を行う。視点クリップ処理部１０３は、クリップ処理した全ての頂点情報を、テクスチャマッピング部１０４に通知する。また、視点クリップ処理部１０３は、クリップ処理した全ての頂点情報の中から、フレーム映像をテクスチャとしてマッピング処理を行うポリゴンの頂点情報を抽出し、解像度制御部１１２に通知する。
【００３２】
解像度制御部１１２は、合成指示部１０１の指示により、視点クリップ処理部１０３でクリップ処理された頂点情報を受け取り、テクスチャマッピング対象のフレーム映像の解像度を決定して、動画再生部１０９に通知する。解像度制御部１１２は、移動量計算部１０６、解像度決定部１０８、占有面積計算部１０７を備える。
【００３３】
移動量計算部１０６は、視点クリップ処理手段１０３によってクリップ処理された頂点情報を基に、テクスチャマッピングするポリゴン頂点の移動量を計算し、解像度決定部１０８へ通知する。移動量計算部１０６は、コンテンツ再生時のフレーム映像をテクスチャとしてマッピング処理するポリゴンに対し、ポリゴンの各頂点について、前回の状態からの差分を計算して、移動量を取得する。
【００３４】
占有面積計算部１０７は、視点クリップ処理手段１０３によってクリップ処理された頂点情報を基に、テクスチャマッピングするポリゴンの描画面積の占有率を計算し、解像度決定部１０８へ通知する。占有面積計算部１０７は、コンテンツ再生時のフレーム映像をテクスチャとしてマッピング処理を行うポリゴンに対し、ポリゴンが描画される面積と、ＣＧを描画する領域全体の面積との比を計算して、占有率を取得する。
【００３５】
解像度決定部１０８は、移動量計算部１０６が計算した移動量と、占有面積計算部１０７が計算した占有率とを基に、解像度を決定する。解像度決定部１０８は、決定した解像度を解像度情報として、動画再生部１０９へ通知する。例えば、解像度情報は、オリジナルの解像度に対する解像度倍率を示す情報である。他の例では、解像度情報は、オリジナルの解像度より縮小するか否かを示す情報である。また他の例では、解像度情報は、縮小後のフレーム映像の解像度そのものの値を示す。
【００３６】
動画再生部１０９は、コンテンツ記憶部１１に格納されたコンテンツの再生処理を行う。動画再生部１０９は、解像度決定部１０８から通知された解像度情報を基に、再生対象のコンテンツのフレーム映像の解像度を制御して、フレーム映像を生成し、フレーム記憶部１１０に保存する。フレーム記憶部１１０は、一時記憶バッファである。
【００３７】
解像度情報が、オリジナルの解像度に対する解像度倍率を示す場合について、説明する。動画再生部１０９は、再生対象コンテンツのオリジナルの解像度と解像度倍率との積をとり、フレーム映像の解像度を算出する。算出したフレーム映像の解像度が、動画再生部１０９の再生可能な解像度でない場合、動画再生部１０９は、再生可能な解像度の中から最も近い解像度を選択して、再生処理を行う。例えば、コンテンツのオリジナルの解像度が『１９２０×１０８０』であり、解像度倍率が『０．６』の場合、算出したフレーム映像の解像度は、『１１５２×６４８』となる。この時、動画再生部１０９は、自身で再生可能な解像度の中から『１２８０×７２０』をフレーム映像の解像度として選択し、フレーム映像を生成する。
【００３８】
また、解像度情報が、オリジナルの解像度より縮小するか否かを示す情報あって、「縮小する」を示している場合について説明する。動画再生部１０９は、再生可能な解像度の中から最も小さい解像度を選択して、フレーム映像を生成する。また、動画再生部１０９は、予め定めた所定の倍率（例えば、０．５）にオリジナルの解像度を縮小して、フレーム映像を生成してもよい。
【００３９】
テクスチャマッピング部１０４は、合成指示部１０１の指示により、フレーム記憶部１１０からフレーム映像を読み出し、視点クリップ処理部１０３から出力されたポリゴン上に、テクスチャとしてマッピングを行う。テクスチャマッピング部１０４は、テクスチャマッピングしたポリゴンから描画データを生成し、出力部１０５へ転送する。なお、テクスチャマッピング部１０４は、動画再生部１０９が生成したフレーム映像がフレーム記憶部１１０に保存されているか否かを定期的にチェックし、保存されている場合にフレーム映像を読み出して、処理する。
【００４０】
以上により、本発明の映像処理装置は、コンテンツ記憶部１１１に格納されているコンテンツを、ポリゴンに対してテクスチャマッピングする際に、ポリゴンの動きに基づいてフレーム映像の解像度を制御することができる。つまり、本発明の映像処理装置は、動画をテクスチャマッピングするポリゴンの動きが大きく、ポリゴンの移動速度が速い場合に、フレーム映像の解像度を下げる制御を行う。また、本発明の映像処理装置は、動画をテクスチャマッピングする描画面に対して、対象のポリゴンが小さく表示される場合に、フレーム映像の解像度を下げる制御を行う。これにより、フレーム映像を格納したメモリへアクセスする際のデータ量を削減することができる。これにより、不必要に高い解像度のフレーム映像をテクスチャマッピングする処理が不要となり、フレーム映像を格納したメモリへアクセスする際のデータ量を削減することができ、映像処理装置の消費電力を低減することが可能になる。
【００４１】
図３は、本発明の映像処理装置１００におけるマッピング処理の概要を示した図である。
【００４２】
映像処理装置１００は、コンテンツ記憶部１１１に記憶されているコンテンツのフレーム映像３０２を、ポリゴン３０１に対してテクスチャとしてマッピングし、描画データ３０３を生成する。ユーザは、ＣＧ上（ポリゴン３０１）で再生されるコンテンツ（フレーム映像３０２）を視聴することができる。
【００４３】
図４は、本発明の実施の形態における映像処理装置１００の動作の一例を示すフローチャートである。まず、映像処理装置１００の合成指示部１０１が、表示要求を受け取り、処理を開始する。表示要求は、表示対象のポリゴン情報と、マッピング対象のコンテンツ情報（コンテンツ識別子）と、表示位置情報とを含んでいる。
【００４４】
頂点情報生成部１０２は、合成指示部１０１の指示により、ポリゴンの頂点情報を生成し、視点クリップ処理部１０３へ通知する（ステップＳ４０１）。
【００４５】
視点クリップ処理手段１０３は、頂点情報生成部１０２から通知された頂点情報を受け取り、合成指示部１０１から指定された視点情報を用いて、クリップ処理を行う。視点情報は、視点位置を含んでおり、視点クリップ処理手段１０３は、指定された視点位置に基づいて、描画面に表示されるポリゴンのみを頂点情報から抽出し、抽出した頂点情報の座標を、始点位置を基準とした座標へ変換する。その後、視点クリップ処理１０３は、クリップ処理した全ての頂点情報を、テクスチャマッピング部１０４へ通知する。また、視点クリップ処理１０３は、クリップ処理した全ての頂点情報の中から、フレーム映像をテクスチャとしてマッピング処理を行うポリゴンの頂点情報を抽出し、解像度制御部１１２に通知する（ステップＳ４０２）。
【００４６】
解像度制御部１１２の移動量計算部１０６は、視点クリップ処理手段１０３でクリップ処理された頂点情報を基に、テクスチャマッピングするポリゴン頂点の移動量を計算し、解像度決定部１０８へ通知する。移動量計算部１０６は、コンテンツ再生時のフレーム映像をテクスチャとしてマッピング処理するポリゴンに対し、ポリゴンの各頂点について、前回の状態からの差分を計算して、移動量を取得する（ステップＳ４０３）。
【００４７】
解像度制御部１１２の占有面積計算部１０７は、視点クリップ処理手段１０３でクリップ処理された頂点情報を基に、テクスチャマッピングするポリゴンの描画面積の占有率を計算し、解像度決定部１０８へ通知する。占有面積計算部１０７は、コンテンツ再生時のフレーム映像をテクスチャとしてマッピング処理を行うポリゴンに対し、ポリゴンが描画される面積と、ＣＧを描画する領域全体の描画面積との比を計算して、占有率を取得する（ステップＳ４０４）。
【００４８】
解像度決定部１０８は、移動量計算部１０６が計算した移動量と、占有面積計算部１０７が計算した占有率とを基に、解像度を決定する。解像度決定部１０８は、決定した解像度を解像度情報として、動画再生部１０９へ通知する（ステップＳ４０５）。
【００４９】
動画再生部１０９は、合成指示部１０１の指示により、解像度決定部１０８から通知された解像度情報に従い、再生対象のコンテンツのフレーム映像の解像度を制御して、フレーム映像を生成する。動画再生部１０９は、生成したフレーム映像を、フレーム記憶部１１０に保存する（ステップＳ４０６）。
【００５０】
テクスチャマッピング部１０４は、合成指示部１０１の指示により、フレーム記憶部１１０からフレーム映像を読み出し、視点クリップ処理部１０３から出力されたクリップ処理されたポリゴン上に、テクスチャとしてマッピングを行う（ステップＳ４０７）。
【００５１】
テクスチャマッピング部１０４は、テクスチャマッピングしたポリゴンから描画データを生成して出力部１０５へ転送し、出力部１０５は、表示装置４５に出力することで、ポリゴン上での動画再生を行う（ステップＳ４０８）。
【００５２】
合成指示部１０１は、表示終了か否かを判断し（ステップＳ４０９）、表示終了の場合は（ステップＳ４０９がＹｅｓ）、処理を終了する。一方、表示終了でない場合は（ステップＳ４０９がＮｏ）、合成指示部１０１は、ステップＳ４０１に遷移し、ステップＳ４０１からＳ４０８を繰り返す。これにより、ＣＧ上のテクスチャとして動画を視聴可能とする。
【００５３】
図５は、本発明の実施の形態における視点クリップ処理部１０３が、解像度制御部１１２に通知する頂点情報の一例である。
【００５４】
頂点情報５０１は、コンテンツをテクスチャとしてマッピング処理を行うポリゴンの頂点のみを含んでおり、各頂点を識別する頂点ＩＤ（５０２）と、対象頂点の座標（座標Ｘ（５０３）、座標Ｙ（５０４）、座標Ｚ（５０５））とを組にしたリストとなっている。また、対象頂点の座標は、視点クリップ処理手段１０３によってクリップ処理された後の座標であり、視点を軸とする座標に変換されている。図５の頂点情報５０１は、６個の頂点からなっており、頂点ＩＤが「２」の頂点は、座標（１２０、１５０、０）に位置している。
【００５５】
図６は、本発明の実施の形態における移動量計算部１０６の動作の一例を示すフローチャートである。移動量計算部１０６は、合成指示部からの通知を受け、処理を開始する。
【００５６】
移動量計算部１０６は、視点クリップ処理部１０３によりクリップ処理された頂点情報を取得する（ステップＳ６０１）。
【００５７】
移動量計算部１０６は、前回処理時に保存した頂点情報（前回情報）を取得する（ステップＳ６０２）。
【００５８】
移動量計算部１０６は、ステップＳ６０１で取得した頂点情報と、ステップＳ６０２で取得した前回情報とを比較し、前回処理時と同じ頂点で構成されているのか否かを判定する。移動量計算部１０６は、頂点情報と前回情報に含まれる頂点ＩＤを比較し、全ての頂点ＩＤが一致する場合に、同じ頂点で構成されている（頂点に変化なし）と判断する（ステップＳ６０３）。
【００５９】
頂点に変化がない場合（ステップＳ６０４がＹｅｓ）、移動量計算部１０６は、頂点情報と前回情報を用いて、各頂点について、前回からの差分を計算して、移動量を取得する（ステップＳ６０５）。移動量計算部１０６は、計算した移動量を解像度決定部１０８へ通知する（ステップＳ６０６）。なお、移動量計算部１０６は、計算した複数個の移動量の中の、最小の値を通知するものとする。また、移動量計算部１０６は、計算した複数個の移動量の平均値や、頂点の重心移動量を計算し、解像度決定部１０８へ通知してもよい。
【００６０】
頂点に変化がある場合（ステップＳ６０４がＮｏ）、移動量を「０」とし、解像度決定部１０８へ通知する（ステップＳ６０８）。
【００６１】
移動量計算部１０６は、ステップＳ６０１で取得した頂点情報を、前回情報として保存し（ステップＳ６０７）、処理を終了する。
【００６２】
図７は、本発明の実施の形態における移動量計算部１０６が計算する各頂点の移動量について一例を示している。
【００６３】
ここでは、フレーム映像をテクスチャとしてマッピングするポリゴン（７００、７１０）が、３個の頂点から構成されている場合を図示している。
【００６４】
ポリゴン７００は、前回処理時の頂点情報（前回情報）に対応しており、頂点７０１、頂点７０２、頂点７０３で構成されている。
【００６５】
ポリゴン７１０は、視点クリップ処理部１０３によりクリップ処理された新しい頂点情報に対応しており、頂点７１１、頂点７１２、頂点７１３で構成されている。
【００６６】
また、頂点７０１と頂点７１１、頂点７０２と頂点７１２、頂点７０３と頂点７１３は、それぞれ同じ頂点ＩＤの頂点である。つまり、ポリゴン７００とポリゴン７１０は、同じ頂点で構成されており（頂点に変化なし）、ポリゴン自体が表示位置を移動していることを示している。
【００６７】
移動量計算部１０６は、前述の通り、前回処理時に用いた頂点情報（前回情報）と、視点クリップ処理手段１０３によりクリップ処理された新しい頂点情報を用いて、各頂点について、前回からの差分を計算して、移動量を算出する。例えば、頂点７０１が前回処理時の頂点情報に含まれており、頂点７１１が新しい頂点情報に含まれている。頂点７０１の座標が（２０，２４０，１７０）、頂点７１１の座標が（４０,２４０，１８０）であるので、その差分は（２０，０，１０）を成分にもつベクトルとして表現する。つまり、頂点の移動量は、このベクトルの長さである。
【００６８】
図８は、本発明の実施の形態における占有面積計算部１０７が計算する描画面占有面積比（占有率）について一例を示している。
【００６９】
占有面積計算部１０７は、前述の通り、視点クリップ処理手段１０３によってクリップ処理された頂点情報を基に、コンテンツ再生時のフレーム映像をテクスチャとしてマッピング処理を行うポリゴンに対し、ポリゴンが描画される面積と、ＣＧを描画する領域全体の描画面積との比を計算して、占有率を取得する。
【００７０】
例えば、図８のように視点方向がＸ軸である場合、対象ポリゴン８０２をＹ−Ｚ平面へ写像処理を行い、写像図形８０１を生成し、その後、写像図形８０１の面積とＣＧを描画する領域全体の面積との比を計算する。複数の対象ポリゴンがある場合には、全てのポリゴンに対して写像図形８０１を生成し、その面積の合計求め、その結果とＣＧを描画する領域全体の面積との比を計算する。
【００７１】
図９、図１０は、本発明の実施の形態における解像度制御部１１２が使用する各テーブルの一例を示している。
【００７２】
解像度決定部１０８は、前述の通り、移動量計算部１０６が計算した移動量と、占有面積計算部１０７が計算した占有率とを基に、解像度を決定する。この時に、解像度決定部１０８は、図９と図１０に示した各テーブルを用いる。
【００７３】
まず、解像度決定部１０８は、図１０（Ａ）の移動量テーブル１００１を用いて、移動量計算部１０６が計算した移動量を、移動量レベルに変換する。例えば、移動量計算部１０６が移動量「２２」と計算した場合、移動量レベルは「１」となる。
【００７４】
次に、解像度決定部１０８は、図１０（Ｂ）の占有テーブル１００２を用いて、占有面積計算部１０７が計算した占有率を、占有レベルに変換する。例えば、占有面積計算部１０７が占有率「０．７」と計算した場合、占有レベルは「６」となる。
【００７５】
解像度決定部１０８は、図９の解像度レベルテーブル９０１を用いて、移動量レベルと占有レベルに基づき、解像度レベルを決定する。例えば、移動量レベルが「１」で占有レベルが「６」の場合、解像度レベルは「５」となる。
【００７６】
最後に、解像度決定部１０８は、図１０（Ｃ）の解像度テーブル１００３を用いて、解像度レベルを、解像度倍率に変換し、解像度情報として動画再生部１０９に通知する。例えば、解像度レベルが「５」の場合、解像度倍率は、「１．０」となる。この場合、動画再生部１０９は、解像度を縮小せずに、オリジナルの解像度のままフレーム映像を生成することになる。
【００７７】
また、他の例として、移動量計算部１０６が移動量「１２０」と計算し、占有面積計算部１０７が占有率「０．２」と計算した場合では、解像度決定部１０８は、移動量レベル「６」、占有レベル「１」へと変換する。解像度決定部１０８は、図９の解像度レベルテーブル９０１を用いて、解像度レベルを「２」に決定し、図１０（Ｃ）の解像度テーブル１００３を用いて、解像度倍率「０．４」に変換し、解像度情報として動画再生部１０９に通知する。この場合、動画再生部１０９は、オリジナルの解像度の０．４倍へ縮小して、フレーム映像を生成する。
【００７８】
なお、解像度決定部１０８は、解像度レベルテーブル９０１を複数個備え、出力する表示装置４５の表示領域のサイズによって、対応する解像度レベルテーブル９０１を利用してもよい。この場合、出力する表示装置４５の表示領域のサイズに合わせて、解像度レベルを設定することが可能となる。これにより、映像処理装置は、出力画面サイズにより、コンテンツ再生時のフレーム映像の解像度を縮小する縮小率を変更することができる。また、表示装置４５の表示領域のサイズだけでなく、ＣＧを描画する領域全体のサイズに合わせて、対応する解像度レベルテーブルを切り替えてもよい。
【００７９】
以上により、本発明の映像処理装置は、コンテンツをポリゴンに対してテクスチャマッピングする際に、ポリゴンの動きに基づいてフレーム映像の解像度を制御することができる。つまり、本発明の映像処理装置は、動画をテクスチャマッピングするポリゴンの動きが大きく、移動速度が速い場合に、フレーム映像の解像度を下げる制御を行う。また、本発明の映像処理装置は、動画をテクスチャマッピングする描画面に対して、対象のポリゴンが小さく表示される場合に、フレーム映像の解像度を下げる制御を行う。
【００８０】
ポリゴンの動きが大きく、描画面に対して小さく表示される場合、テクスチャはユーザが細かく視認できないため、フレーム映像の解像度を下げてテクスチャマッピングを行った場合でも、映像の見栄えを大きく損なうことはない。そのため、映像の見栄えを維持しながら、フレーム映像を格納したメモリへアクセスする際のデータ量を削減することができる。
【００８１】
これにより、不必要に高い解像度のフレーム映像をテクスチャマッピングする処理が不要となり、フレーム映像を格納したメモリへアクセスする際のデータ量を削減することができ、映像処理装置の消費電力を低減することが可能になる。
【産業上の利用可能性】
【００８２】
本発明にかかる映像処理装置は、ＣＧ描画とＡＶコンテンツ再生機能を有したＡＶ機器として有用である。また、パーソナルコンピュータ、携帯情報端末などの用途にも応用できる。
【符号の説明】
【００８３】
１０ ＣＰＵ
２０ メモリ装置
２１ ＲＯＭ
２２ ＲＡＭ
２５ ハードディスク装置
２６，３５，４１，４６ インタフェース
３０ 通信装置
３１ 記録媒体
３２ 読取書込装置
３３ 電気通信回線
４０ 入力装置
４５ 表示装置
５０ バスライン
１００ 映像処理装置
１０１ 合成指示部
１０２ 頂点情報生成部
１０３ 視点クリップ処理部
１０４ テクスチャマッピング部
１０５ 出力部
１０６ 移動量計算部
１０７ 占有面積計算部
１０８ 解像度決定部
１０９ 動画再生部
１１０ フレーム記憶部
１１１ コンテンツ記憶部
１１２ 解像度制御部
【特許請求の範囲】
【請求項１】
ポリゴンに対し動画をテクスチャとしてマッピング処理を行う映像処理装置であって、
表示要求を受け取り、ポリゴンに対して動画をテクスチャとしてマッピングする処理を制御する合成指示手段と、
頂点情報と視点情報に基づいて、クリップ処理を行う視点クリップ手段と、
テクスチャをマッピング処理するポリゴン頂点の移動量を計算する移動量計算手段と
テクスチャをマッピング処理するポリゴンの描画面積の占有率を計算する占有面積計算手段と、
前記移動量計算手段が計算した前記移動量と、前記占有面積計算手段が計算した前記占有率とを基に、解像度を決定する解像度決定手段と、
前記解像度決定部が決定した解像度を基に、再生対象の動画の解像度を制御してフレーム映像を生成する動画再生手段と、
前記視点クリップ手段でクリップ処理されたポリゴン上に、前記動画再生手段が生成したフレーム映像を、テクスチャとしてマッピング処理するテクスチャマッピング手段とを備えることを特徴とする映像処理装置。
【請求項２】
前記解像度決定手段は、前記移動量が大きく、前記占有率が小さい場合に、フレーム映像の解像度を縮小する縮小率を決定することを特徴とする請求項１に記載の映像処理装置。
【請求項３】
前記移動量計算手段は、前記視点クリップ手段によってクリップ処理された頂点情報と、前回の処理で用いた頂点情報とを基に、各頂点について前回からの差分を計算して、テクスチャをマッピング処理するポリゴンの動きの大きさを移動量として取得することを特徴とする請求項１に記載の映像処理装置。
【請求項４】
前記移動量計算手段は、前記視点クリップ手段によってクリップ処理された頂点情報に含まれる今回頂点と、前回の処理で用いた頂点情報に含まれる前回頂点とを比較し、同じ頂点で構成されている場合に、各頂点について前回からの差分を計算し、対応が取れない頂点が一つでもある場合に、所定の値を移動量とすることを特徴とする請求項３に記載の映像処理装置。
【請求項５】
前記解像度決定手段は、前記移動量と前記占有率が同じであっても、ポリゴンを描画する出力画面サイズにより、フレーム映像の解像度を縮小する縮小率を変更することを特徴とする請求項２に記載の映像処理装置。
【請求項６】
ポリゴンに対し動画をテクスチャとしてマッピング処理を行う映像処理方法であって、
頂点情報と視点情報に基づいて、クリップ処理を行う視点クリップステップと、
テクスチャをマッピング処理するポリゴン頂点の移動量を計算する移動量計算ステップと、
テクスチャをマッピング処理するポリゴンの描画面積の占有率を計算する占有面積計算ステップと、
前記移動量と前記占有率とを基に、解像度を決定する解像度決定ステップと、
前記解像度決定ステップで決定した解像度を基に、再生対象の動画の解像度を制御してフレーム映像を生成する動画再生ステップと、
前記視点クリップステップでクリップ処理されたポリゴン上に、前記フレーム映像を、テクスチャとしてマッピング処理するテクスチャマッピングステップとを備えることを特徴とする映像処理方法。
【請求項１】
ポリゴンに対し動画をテクスチャとしてマッピング処理を行う映像処理装置であって、
表示要求を受け取り、ポリゴンに対して動画をテクスチャとしてマッピングする処理を制御する合成指示手段と、
頂点情報と視点情報に基づいて、クリップ処理を行う視点クリップ手段と、
テクスチャをマッピング処理するポリゴン頂点の移動量を計算する移動量計算手段と
テクスチャをマッピング処理するポリゴンの描画面積の占有率を計算する占有面積計算手段と、
前記移動量計算手段が計算した前記移動量と、前記占有面積計算手段が計算した前記占有率とを基に、解像度を決定する解像度決定手段と、
前記解像度決定部が決定した解像度を基に、再生対象の動画の解像度を制御してフレーム映像を生成する動画再生手段と、
前記視点クリップ手段でクリップ処理されたポリゴン上に、前記動画再生手段が生成したフレーム映像を、テクスチャとしてマッピング処理するテクスチャマッピング手段とを備えることを特徴とする映像処理装置。
【請求項２】
前記解像度決定手段は、前記移動量が大きく、前記占有率が小さい場合に、フレーム映像の解像度を縮小する縮小率を決定することを特徴とする請求項１に記載の映像処理装置。
【請求項３】
前記移動量計算手段は、前記視点クリップ手段によってクリップ処理された頂点情報と、前回の処理で用いた頂点情報とを基に、各頂点について前回からの差分を計算して、テクスチャをマッピング処理するポリゴンの動きの大きさを移動量として取得することを特徴とする請求項１に記載の映像処理装置。
【請求項４】
前記移動量計算手段は、前記視点クリップ手段によってクリップ処理された頂点情報に含まれる今回頂点と、前回の処理で用いた頂点情報に含まれる前回頂点とを比較し、同じ頂点で構成されている場合に、各頂点について前回からの差分を計算し、対応が取れない頂点が一つでもある場合に、所定の値を移動量とすることを特徴とする請求項３に記載の映像処理装置。
【請求項５】
前記解像度決定手段は、前記移動量と前記占有率が同じであっても、ポリゴンを描画する出力画面サイズにより、フレーム映像の解像度を縮小する縮小率を変更することを特徴とする請求項２に記載の映像処理装置。
【請求項６】
ポリゴンに対し動画をテクスチャとしてマッピング処理を行う映像処理方法であって、
頂点情報と視点情報に基づいて、クリップ処理を行う視点クリップステップと、
テクスチャをマッピング処理するポリゴン頂点の移動量を計算する移動量計算ステップと、
テクスチャをマッピング処理するポリゴンの描画面積の占有率を計算する占有面積計算ステップと、
前記移動量と前記占有率とを基に、解像度を決定する解像度決定ステップと、
前記解像度決定ステップで決定した解像度を基に、再生対象の動画の解像度を制御してフレーム映像を生成する動画再生ステップと、
前記視点クリップステップでクリップ処理されたポリゴン上に、前記フレーム映像を、テクスチャとしてマッピング処理するテクスチャマッピングステップとを備えることを特徴とする映像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１２−２２５５４（Ｐ２０１２−２２５５４Ａ）
【公開日】平成２４年２月２日（２０１２．２．２）
【国際特許分類】
【出願番号】特願２０１０−１６０３７４（Ｐ２０１０−１６０３７４）
【出願日】平成２２年７月１５日（２０１０．７．１５）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２４年２月２日（２０１２．２．２）
【国際特許分類】
【出願日】平成２２年７月１５日（２０１０．７．１５）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]