説明

画像特殊効果装置,グラフィックスプロセッサ,プログラム及び記録媒体

【課題】 放送・業務分野で要求される画質やリアルタイム性を満たしつつ、且つ、ハードウェア規模の大型化や高価格化を招くことなく、テクスチャマッピングによってビデオデータを任意の形状に変形する。
【解決手段】 グラフィックスプロセッサ4は、3次元空間上でのモデルの形状の情報が供給されると、3次元空間座標を表示画面上の2次元座標に変換し、表示画面に貼り付ける画像のテクスチャ座標X,Yと表示画面上でのモデルの縮小率sとを算出し、テクスチャ座標X,Y及び縮小率sの情報を画像データ出力部から出力するようにプログラムされている。ビデオ処理ブロック6は、入力したビデオデータYUVを、グラフィックスプロセッサ4からの縮小率sの情報に応じたフィルタ係数でフィルタリングしてメモリに書込み、グラフィックスプロセッサ4からのテクスチャ座標X,Yの情報をリードアドレスとしてこのメモリからビデオデータを読み出す。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、テクスチャマッピングによってビデオデータを任意の形状に変形するための画像特殊効果装置や、その画像特殊効果装置で使用するグラフィックスプロセッサ等に関する。
【背景技術】
【0002】
放送・業務用のノンリニア編集システムを構成する装置の一つに、画像特殊効果装置(エフェクタ)が存在する。放送・業務用の画像特殊効果装置は、ビデオデータ(動画データ)に対して、ハードウェア回路によって拡大,縮小,回転等の変形処理を施す装置である。
【0003】
従来の放送・業務用の画像特殊効果装置では、ハードウェア規模の大型化や高価格化を避けるため、メーカ側が変形パターンを予め何通りかに限定しており、その限定されたパターンでのみ変形を施すことが可能になっている。
【0004】
一方、コンピュータグラフィックスの分野では、比較的安価な画像処理専用プロセッサであるグラフィックスプロセッサを使用して、テクスチャマッピングという画像変形手法が行われている。テクスチャマッピングは、仮想3次元空間上にポリゴンを組み合わせて作成したモデルに、画像(テクスチャ)を貼り付ける手法である。
【0005】
グラフィックスプロセッサには、周知のように、ジオメトリ処理を担当する頂点シェーダ(Vertex Shader)と、レンダリング処理を担当するピクセルシェーダ(Pixel Shader)とが搭載されている。そして近年は、これらのシェーダがプログラマブルになったグラフィックスプロセッサが主流になりつつある。
【0006】
ところで、テクスチャマッピングでは、表示画面上でのモデルのサイズ(このサイズは、視点からモデルまでの距離に応じて縮小される)によっては、貼り付けたテクスチャの縁が表示画面のピクセルに沿ってギザギザに見える現象であるエイリアシングが発生する。グラフィックスプロセッサでは、このエイリアシングを抑制するためにミップマップ方式を採用している。ミップマップ方式は、同じ画像を離散的な複数通りの縮小率(1,1/2,1/4,1/8,…)で縮小したテクスチャを予めメモリに格納しておき、表示画面上でのモデルの縮小率に近い縮小率のテクスチャを選択する方式である(例えば、特許文献1参照)。
【0007】
【特許文献1】特開2002−83316号公報(段落番号0004)
【発明の開示】
【発明が解決しようとする課題】
【0008】
従来の放送・業務用の画像特殊効果装置では、前述のように、変形パターンが限定されており、ユーザが任意に変形パターンを決定することは不可能である。
【0009】
そして、ビデオデータを任意の形状に変形するためのハードウェア回路を放送・業務用の画像特殊効果装置に追加しようとすると、ハードウェア規模の大型化や高価格化を招いてしまう。
【0010】
これに対し、コンピュータグラフィックス分野で使用されているグラフィックスプロセッサでは、テクスチャマッピングによって画像を任意の形状に変形することができる。しかし、グラフィックスプロセッサは、次の(1)〜(4)の理由から、放送・業務分野でビデオデータを処理するのには適していない。
【0011】
(1)ミップマップ方式による画質劣化
ミップマップ方式では、表示画面上でのモデルの縮小率が予め用意したテクスチャの縮小率と一致しない場合には、エイリアスを十分に抑制することができない。そのため、放送・業務分野で要求される画質を満たさない。
【0012】
(2)色空間変換による画質劣化
グラフィックスプロセッサは、RGB色空間の画像データを処理するように構成されている。このため、放送・業務分野で扱われるYUV(輝度・色差)空間のビデオデータにテクスチャマッピングを施すためには、グラフィックスプロセッサの入力段と出力段で、色空間の変換処理(YUV空間からRGB空間への変換と、RGB空間からYUV空間への変換)を行う必要がある。しかし、YUV空間とRGB空間とでは表現できる色の範囲が異なるため、色空間変換を行ったときに、入力映像と同じ画像を得られる保証がない。
【0013】
(3)画像データの解像度の制約
グラフィックスプロセッサでは、8ビットまでの解像度の画像データしか処理することができない。そのため、放送・業務分野で主流となっている10ビットの高画質なビデオデータを処理することができない。
【0014】
(4)処理速度の制約
グラフィックスプロセッサでは、ビデオデータの解像度が高い場合、ビデオデータをテクスチャとして格納するメモリへのアクセスに要する時間が長くなるので、ビデオデータをリアルタイムに処理することが困難になる。
【0015】
本発明は、上述の点に鑑み、放送・業務分野で要求される画質やリアルタイム性を満たしつつ、且つ、ハードウェア規模の大型化や高価格化を招くことなく、テクスチャマッピングによってビデオデータを任意の形状に変形できるようにすることを課題としてなされたものである。
【課題を解決するための手段】
【0016】
本発明は、プログラム可能なシェーダを搭載したグラフィックスプロセッサと、ハードウェア回路で構成されるビデオ処理ブロックと含んでおり、このグラフィックスプロセッサは、仮想3次元空間上でのモデルの形状の情報が供給されることに応じて、この仮想3次元空間の座標を表示画面上の2次元座標に変換し、この表示画面に貼り付ける画像のテクスチャ座標と、この表示画面上でのモデルの縮小率とを算出する処理と、このテクスチャ座標及び縮小率の情報を、画像データ出力部から出力する処理とを実行するようにプログラムされており、このビデオ処理ブロックは、入力したビデオデータを、供給される縮小率の情報に応じたプリフィルタ係数でフィルタリングするプリフィルタと、このプリフィルタでフィルタリングされたビデオデータが書き込まれるメモリと、供給されるテクスチャ座標の情報をリードアドレスとして、このメモリからビデオデータを読み出す制御回路とを備えており、このグラフィックスプロセッサから出力されたテクスチャ座標,縮小率の情報が、それぞれこのビデオ処理ブロックの制御回路,プリフィルタに供給される画像特殊効果装置である。
【0017】
また本発明は、このグラフィックスプロセッサによってオフライン(このビデオ処理ブロックが近くにない状態)で算出されたテクスチャ座標及び縮小率の情報が、記録媒体やネットワークを介してこのビデオ処理ブロックに供給されるようにした画像特殊効果装置である。
【0018】
また本発明は、このグラフィックスプロセッサや、プログラム可能なシェーダを搭載した既存のグラフィックスプロセッサをこのグラフィックスプロセッサとして機能させるプログラムや、そのプログラムを記録した記録媒体である。
【0019】
本発明では、テクスチャマッピングの処理のうち、画質に関係しない処理である、画像の変形形状等に関する情報(テクスチャ座標及び縮小率)を算出・出力する処理は、既存のプログラム可能なグラフィックスプロセッサをプログラムすることによって行う。
【0020】
すなわち、従来からの一般的なグラフィックスプロセッサの使用方法では、テクスチャ座標や縮小率の情報はグラフィックスプロセッサの内部でのみ利用され、グラフィックスプロセッサからは最終的に変形された画像データが出力されるのに対し、テクスチャ座標や縮小率の情報そのものをグラフィックスプロセッサの画像データ出力部から出力するようにプログラムする。
【0021】
こうしたテクスチャ座標や縮小率の情報の算出・出力処理に要する時間は、ビデオデータの解像度にかかわらず一定であり、リアルタイムに処理することが十分可能である。
【0022】
他方、画質に関係する処理であるビデオデータ自体に対する処理は、グラフィックスプロセッサの出力情報に基づき、ハードウェア回路で構成されたビデオ処理ブロックによって行う。
【0023】
このビデオ処理ブロックでは、入力したビデオデータが、グラフィックスプロセッサからの縮小率の情報に応じてフィルタリング(縮小)される。そして、メモリに書き込まれた後、グラフィックスプロセッサからのテクスチャ座標の情報をリードアドレスとしてこのメモリからビデオデータが読み出されることにより、ビデオデータが表示画面上のモデルに貼り付けられる。したがって、表示画面上でのモデルの縮小率に応じて最適にプリフィルタリングされたビデオデータが貼り付けられるので、十分にエイリアスを抑制することができる。
【0024】
また、このようにグラフィックスプロセッサとは別のハードウェア回路でビデオデータを処理することにより、YUV空間の画像データをそのまま(RGB空間に変換することなく)処理することや、10ビットの高画質なビデオデータを処理することが可能になる。
【0025】
これにより、放送・業務分野で要求される画質やリアルタイム性を満たしつつ、テクスチャマッピングによってビデオデータを変形することができる。
【0026】
また、画像の変形形状等に関する情報のほうは、比較的安価なグラフィックスプロセッサを使用して算出するので、ハードウェア規模の大型化や高価格化を招くことなく、ビデオデータを任意の形状に変形することができる。
【0027】
さらに、このグラフィックスプロセッサによってオフラインで算出された情報が、記録媒体やネットワークを介してこの画像特殊効果装置に供給されるようにすることにより、この画像特殊効果装置の設置場所とは離れた場所で、例えばパーソナルコンピュータ内のグラフィックスプロセッサによって画像の変形形状等に関する情報を算出し、その後、その情報に基づいて実際にビデオデータを貼り付けることができるようになる。したがって、テクスチャマッピングのためのワークフローを改善することもできる。
【発明の効果】
【0028】
本発明によれば、放送・業務分野で要求される画質やリアルタイム性を満たしつつ、且つ、ハードウェア規模の大型化や高価格化を招くことなく、テクスチャマッピングによってビデオデータを任意の形状に変形することができるという効果が得られる。
【0029】
また、グラフィックスプロセッサによってオフラインで算出された情報が、記録媒体やネットワークを介して画像特殊効果装置に供給されるようにすることにより、テクスチャマッピングのためのワークフローを改善することができるという効果も得られる。
【発明を実施するための最良の形態】
【0030】
以下、本発明を図面を用いて具体的に説明する。図1は、本発明に係る画像特殊効果装置の構成例を示すブロック図である。この画像特殊効果装置1は、テレビ放送局等においてノンリニア編集システムの一部として用いられる装置である。画像特殊効果装置1は、操作パネル2と、CPU3と、グラフィックスプロセッサ4と、バッファメモリ5と、4系統のビデオ処理ブロック6と、重畳回路7と、小型メモリカード用のスロット8と、ネットワーク通信用の通信インタフェース9とを含んでいる。グラフィックスプロセッサ4は、画像特殊効果装置1の筐体の表面に設けられたグラフィックスプロセッサ用のスロット(図示略)に装着されている。各ビデオ処理ブロック6には、それぞれ1台ずつVTR51(51(1)〜51(4))が接続されている。
【0031】
操作パネル2では、3次元コンピュータグラフィックス用のアプリケーションソフトウェアを利用して、仮想3次元空間上でのモデルの作成や、テクスチャとして用いるビデオデータ(最大4系統)の指定や、各種パラメータ(モデルの表面の属性,視点,光源,透明度,表示画面の解像度,テクスチャスペース,複数系統のビデオデータを重畳する場合の奥行き方向の位置関係等)の設定を行う。
【0032】
CPU3は、操作パネル2の操作等に基づき、画像特殊効果装置1の各部を制御するとともに、各VTR51を制御する。
【0033】
グラフィックスプロセッサ4は、プログラム可能なシェーダを搭載した既存の(市販されている)グラフィックスプロセッサである。ただし、このグラフィックスプロセッサ4は、プログラムされた処理の内容に特徴を有している。
【0034】
図2は、グラフィックスプロセッサ4の構成の概要を示すブロック図である。グラフィックスプロセッサ4には、外部のCPUとの間でデータを送受信するためのAGPインタフェース11と、ジオメトリ処理を担当する頂点シェーダ(Vertex Shader)12と、レンダリング処理を担当するピクセルシェーダ(Pixel Shader)13と、メモリインタフェース14と、画像データ(8ビットずつのR,G,Bの情報と、透明度を表す8ビットの情報α)を出力するためのディスプレイインタフェース15とが設けられている。
【0035】
この画像特殊効果装置1におけるグラフィックスプロセッサ4の処理を説明する前に、従来からの一般的な使用方法でグラフィックスプロセッサ4を使用した場合のグラフィックスプロセッサ4の処理を、図3を用いて説明する。
【0036】
外部のCPUから、作成されたモデルを構成するポリゴンの頂点情報や各種パラメータが供給されると、頂点シェーダ12が、仮想3次元空間の座標を、表示画面上の2次元座標(スクリーン座標)に変換する(ステップS1)。そして、表示画面のピクセル単位で、表示画面上のモデルに貼り付ける画像のテクスチャ座標X,Yと、表示画面上でのモデルの縮小率sとを算出する(ステップS2)。なお、ステップS2では、光源が設定されている場合には、光源処理のためのライティング(lighting)係数Lもピクセル単位で算出し、複数系統のテクスチャが指定されている場合には、それらのテクスチャの奥行き方向の位置関係を示す奥行き情報Zもピクセル単位で算出する。
【0037】
続いて、ピクセルシェーダ13が、メモリインタフェース14を介して、外部のメモリ(DRAM)にミップマップ方式で格納されているテクスチャのうち縮小率sに近い縮小率のテクスチャを、座標X,Yをリードアドレスとして読み出す(ステップS3)。そして、そのテクスチャのR,G,Bデータをディスプレイインタフェース15から出力する(ステップS4)。なお、ステップS4では、パラメータとして透明度が設定されている場合には透明度情報αもディスプレイインタフェース15から出力する。
【0038】
これに対し、この画像特殊効果装置1におけるグラフィックスプロセッサ4の処理は、図4に示す通りである。
【0039】
操作パネル2の操作によってモデルの作成とパラメータの設定とが行われると、CPU3は、作成されたモデルを構成するポリゴンの頂点情報と、設定されたパラメータと、グラフィックスプロセッサ4から出力すべき情報を指示するIDとを、グラフィックスプロセッサ4のAGPインタフェース11(図2)に供給する。
【0040】
なお、このIDで指示される情報には、テクスチャ座標の情報と、表示画面上でのモデルの縮小率の情報とが必ず含まれる。さらに、パラメータとして光源が設定されている場合には、光源処理のためのライティング係数も含まれる。さらに、複数系統のビデオデータを重畳する場合の奥行き方向の位置関係がパラメータとして設定されている場合には、その位置関係を示す奥行き情報も含まれる。
【0041】
CPU3からこれらの情報,パラメータ及びIDが供給されると、頂点シェーダ12が、仮想3次元空間の座標を、表示画面上の2次元座標(スクリーン座標)に変換する(ステップS11)。そして、表示画面のピクセル単位で、表示画面上のモデルに貼り付ける画像のテクスチャ座標X,Yと、表示画面上でのモデルの縮小率sとを算出する(ステップS12)。なお、ステップS12では、光源が設定されている場合には、ライティング係数Lもピクセル単位で算出し、複数系統のビデオデータが指定されている場合には、それらのビデオデータの奥行き方向の位置関係を示す奥行き情報Zもピクセル単位で算出する。
【0042】
このステップS11,S12までの処理は、図3のステップS1,S2までの処理と同様である。図5は、ステップS11で変換されたスクリーン座標(表示画面)上のモデルと、ステップS12で算出されたテクスチャ座標とを例示する図である。この例では、表示画面上の波形のモデル61の表示位置に、テクスチャ空間のうちの斜線で囲んだ部分のテクスチャ座標の画像が貼り付けられる。
【0043】
続いて、ピクセルシェーダ13が、CPU3からのIDで指示されたテクスチャ座標,縮小率等の情報を、R,G,B,αのビットに割り当てる(ステップS13)。すなわち、頂点シェーダ12によって算出されたテクスチャ座標X,Y及び縮小率sの情報は、必ずこれらのビットに割り当てる。また、ライティング係数や奥行き情報がこのIDで指示されている場合には、頂点シェーダ12によって算出されたライティング係数Lや奥行き情報Zも、R,G,B,αのビットに割り当てる。
【0044】
そして、R,G,B,αのビットに割り当てたこれらの情報を、ディスプレイインタフェース15から出力する(ステップS14)。
【0045】
図6は、このステップS13でのテクスチャ座標X,Yの割当ての様子を例示する図である。この例では、32ビット浮動小数点方式で算出されたテクスチャ座標X,Yを、整数部14ビット、小数部4ビットの18ビット固定小数点方式に変換して、Rの下位2ビットと、Gの8ビットと、Bの8ビットとに分割して割り当てている。縮小率sも(ライティング係数Lや奥行き情報Zが算出されている場合にはそれらも)、同様にしてRの残りのビットやαのビットに割り当てる。
【0046】
このようにして、グラフィックスプロセッサ4は、表示画面のピクセル単位のテクスチャ座標X,Y,縮小率s等の情報を、ディスプレイインタフェース15から出力するようにプログラムされている。なお、このプログラムを、例えばCD−ROMのようなパッケージメディアとして有償または無償で配布するようにすれば、ユーザは、既に自分が所有しているグラフィックスプロセッサを、この画像特殊効果装置1におけるグラフィックスプロセッサ4として使用することが可能になる。
【0047】
図1に示すように、グラフィックスプロセッサ4から出力されたピクセル単位のテクスチャ座標X,Y,縮小率s等の情報は、バッファメモリ5に送られる。
【0048】
バッファメモリ5には、CPU3による初期化処理として、表示画面の全ピクセルに対応する記憶領域に、表示画面の背景部分(図5の例では背景62)の明るさ及び色を示す10ビットのYUV(輝度・色差)信号の値が書き込まれている。そして、この初期化されているバッファメモリ5に、グラフィックスプロセッサ4からのテクスチャ座標X,Y,縮小率s等の情報が上書きされる。したがって、バッファメモリ5内の記憶領域のうち、テクスチャ座標X,Y,縮小率s等の情報を上書きされなかったピクセル(=表示画面の背景部分のピクセル)に対応する記憶領域には、この初期化値としてのYUV信号の値がそのまま残る。
【0049】
なお、バッファメモリ5には、スロット8によって小型メモリカードから読み出した情報や、通信インタフェース9によってネットワーク経由で受信した情報も、上書きすることが可能になっている。
【0050】
図7は、各ビデオ処理ブロック6の構成を示すブロック図である。ビデオ処理ブロック6は、ハードウェア回路で構成されており、プリフィルタ部21と、テクスチャメモリコントローラ22と、テクスチャメモリ23と、補間回路24と、光源処理回路25と、同期分離回路26とが設けられている。プリフィルタ部21は、フィルタ係数算出回路27と、H方向プリフィルタ28と、HVスキャンコンバータ29と、V方向プリフィルタ30とで構成されている。
【0051】
プリフィルタ部21及び同期分離回路26には、各ビデオ処理ブロック6に接続されているVTR51(図1)で再生されたビデオデータ(10ビットのYUV(輝度・色差)信号)が供給される。同期分離回路26は、このビデオデータから垂直同期信号vsを分離し、その垂直同期信号vsを図1のCPU3に送る。
【0052】
CPU3は、この垂直同期信号vsに同期して、ビデオデータの1フレーム毎に、バッファメモリ5から表示画面の全ピクセルに対応する記憶領域の記憶情報を順次読み出す。
【0053】
CPU3は、初期化値(背景のYUV信号の値)以外の値が読み出されたピクセルについては、CPU3内部のRAMを用いて、テクスチャ座標X,Y,縮小率s,ライティング係数L,奥行き情報Zを再構築する。すなわち、例えば図6のようにテクスチャ座標X,YがRの下位2ビットとGの8ビットとBの8ビットとに分割して割り当てられている場合には、それらのビットからテクスチャ座標X,Yを再構築する。
【0054】
CPU3は、このようにして再構築した情報のうち、テクスチャ座標X,Yの情報を各ビデオ処理ブロック6のテクスチャメモリコントローラ22(図7)に供給し、縮小率sの情報を各ビデオ処理ブロック6のプリフィルタ部21(図7)に供給し、ライティング係数Lを各ビデオ処理ブロック6の光源処理回路25(図7)に供給し、奥行き情報Zを重畳回路7に供給する。
【0055】
また、CPU3は、初期化値(背景のYUV信号の値)が読み出されたピクセルについては、その初期化値のデータをそのまま各ビデオ処理ブロック6のテクスチャメモリコントローラ22に供給する。
【0056】
図7に示すように、各ビデオ処理ブロック6のプリフィルタ部21では、フィルタ係数算出回路27が、CPU3(図1)からの縮小率sに応じてビデオデータを縮小するためのフィルタ係数Fを算出し、そのフィルタ係数FをH方向プリフィルタ28及びV方向プリフィルタ30に与える。
【0057】
H方向プリフィルタ28は、VTR51(図1)から供給されたビデオデータを、このフィルタ係数Fでフィルタリング(画面水平方向にフィルタリング)して、HVスキャンコンバータ29に送る。
【0058】
HVスキャンコンバータ29は、内部のメモリに1フレーム分のビデオデータを書き込んだ後、そのメモリから画面垂直方向に各ピクセルのデータを読み出すことにより、ビデオデータをスキャンコンバートする。そして、スキャンコンバートしたビデオデータをV方向プリフィルタ30に送る。
【0059】
V方向プリフィルタ30は、このビデオデータをフィルタ係数Fでフィルタリング(画面垂直方向にフィルタリング)する。
【0060】
V方向プリフィルタ30でフィルタリングされたビデオデータは、プリフィルタ部21からテクスチャメモリコントローラ22に送られる。
【0061】
テクスチャメモリコントローラ22は、このビデオデータをテクスチャメモリ23に書き込んだ後、CPU3(図1)からのテクスチャ座標X,Yをリードアドレスとして、テクスチャメモリ23から表示画面のピクセル毎のビデオデータを読み出す(表示画面の解像度とビデオデータの解像度とが等しい場合には、表示画面のピクセルに対応する画素位置のデータを読み出す。表示画面の解像度がビデオデータの解像度よりも高い場合には、表示画面のピクセルの近傍の複数(4つまたは8つ)の画素位置のデータを読み出す)。そして、読み出したビデオデータを補間回路24に送る。
【0062】
ただし、表示画面のピクセルのうち、CPU3(図1)から初期化値(背景のYUV信号の値)のデータが供給されたピクセルについては、テクスチャメモリコントローラ22は、テクスチャメモリ23の読出しを行わず、その初期化値をそのまま補間回路24に送る。
【0063】
補間回路24は、表示画面の1つのピクセルに対して複数の画素位置のデータが送られた場合(前述のように表示画面の解像度がビデオデータの解像度よりも高い場合)には、それらの複数のデータを直線補間することにより、表示画面のピクセルに対応したデータを生成する。そして、生成したデータを光源処理回路25に送る。それ以外の場合には、補間回路24は、テクスチャメモリ23から送られたデータをそのまま光源処理回路25に送る。
【0064】
光源処理回路25は、表示画面のピクセルのうち、CPU3(図1)からライティング係数Lが供給されたピクセルについては、補間回路24からのビデオデータに対して、このライティング係数Lに応じた光源処理(反射光や影の表現)を行う。それ以外のピクセルについては、光源処理回路25は、補間回路24から送られたビデオデータをそのまま出力する。
【0065】
各ビデオ処理ブロック6の光源処理回路25から出力されたビデオデータは、図1に示すように、重畳回路7に供給される。重畳回路7は、CPU3(図1)から奥行き情報Zが供給される場合には、この奥行き情報Zに応じて、各ビデオ処理ブロック6からの複数系統(最大4系統)のビデオデータを重畳する。それ以外の場合(すなわち1つのビデオ処理ブロック6からのみビデオデータが供給される場合)には、重畳回路7は、供給されたビデオデータをそのまま出力する。
【0066】
重畳回路7から出力されたビデオデータ(10ビットのYUV信号)は、画像特殊効果装置1に接続された画像記録装置やモニタ等(図示略)に送られる。
【0067】
以上に説明したように、この画像特殊効果装置1では、テクスチャマッピングの処理のうち、画質に関係しない処理である、画像の変形形状等に関する情報(テクスチャ座標X,Y,縮小率s,ライティング係数L,奥行き情報Z)を算出・出力する処理は、既存のプログラム可能なグラフィックスプロセッサ4をプログラムすることによって行う。
【0068】
すなわち、従来からの一般的なグラフィックスプロセッサの使用方法では、テクスチャ座標や縮小率等の情報はグラフィックスプロセッサの内部でのみ利用され、グラフィックスプロセッサからは最終的に変形された画像データが出力されるのに対し、テクスチャ座標や縮小率等の情報そのものをグラフィックスプロセッサ4のディスプレイインタフェース15から出力するようにプログラムする。
【0069】
こうしたテクスチャ座標や縮小率等の情報の算出・出力処理に要する時間は、ビデオデータの解像度にかかわらず一定であり、リアルタイムに処理することが十分可能である。
【0070】
他方、画質に関係する処理であるビデオデータ自体に対する処理は、グラフィックスプロセッサ4の出力情報に基づき、ハードウェア回路で構成されたビデオ処理ブロック6によって行う。ビデオ処理ブロック6では、入力したビデオデータが、プリフィルタ部21において、グラフィックスプロセッサ4からの縮小率sの情報に応じてフィルタリング(縮小)される。そして、テクスチャメモリ23に書き込まれた後、グラフィックスプロセッサ4からのテクスチャ座標X,Yの情報をリードアドレスとしてテクスチャメモリ23からビデオデータが読み出される(グラフィックスプロセッサ4からライティング係数Lや奥行き情報Zも出力された場合には、それらの情報に応じて光源処理や重畳回路7での重畳処理が施される)ことにより、ビデオデータが表示画面上のモデルに貼り付けられる。したがって、表示画面上でのモデルの縮小率に応じて最適にプリフィルタリングされたビデオデータが貼り付けられるので、十分にエイリアスを抑制することができる。
【0071】
また、このようにグラフィックスプロセッ4とは別のハードウェア回路であるビデオ処理ブロック6でビデオデータを処理することにより、YUV空間のビデオデータをそのまま(RGB空間に変換することなく)処理することや、10ビットの高画質なビデオデータを処理することが可能になる。
【0072】
これにより、放送・業務分野で要求される画質やリアルタイム性を満たしつつ、テクスチャマッピングによってビデオデータを変形することができる。
【0073】
また、画像の変形形状等に関する情報のほうは、比較的安価なグラフィックスプロセッサ4を使用して算出するので、ハードウェア規模の大型化や高価格化を招くことなく、ビデオデータを任意の形状に変形することができる。
【0074】
さらに、例えばグラフィックスプロセッサ4と同じプログラムを行ったグラフィックスプロセッサを搭載したパーソナルコンピュータにより、オフライン(画像特殊効果装置1が近くにない状態)でテクスチャ座標X,Yや縮小率s等を算出し、その後、その算出した情報を小型メモリカードやネットワークを介して画像特殊効果装置1に供給し(スロット8によって小型メモリカードから読み出してバッファメモリ5に書き込んだり、通信インタフェース9で受信してバッファメモリ5に書き込み)、その情報に基づいて画像特殊効果装置1のビデオ処理ブロック6で実際にビデオデータを貼り付けることもできる。したがって、テクスチャマッピングのためのワークフローを改善することもできる。
【0075】
なお、以上の例では、画像特殊効果装置1に4系統のビデオ処理ブロック6を設けているが、ビデオ処理ブロック6の系統数を3系統以下にしたり5系統以上にしてもよいことはもちろんである。
【図面の簡単な説明】
【0076】
【図1】本発明に係る画像特殊効果装置の構成例を示すブロック図である。
【図2】図1のグラフィックスプロセッサの構成の概要を示すブロック図である。
【図3】従来からの一般的な使用方法でのグラフィックスプロセッサの処理を示す図である。
【図4】図1の画像特殊効果装置におけるグラフィックスプロセッサの処理を示す図である。
【図5】スクリーン座標上のモデルと、そのモデルに貼り付ける画像のテクスチャ座標とを例示する図である。
【図6】図4の処理におけるR,G,Bのビットへのテクスチャ座標の割当ての様子を例示する図である。
【図7】図1のビデオ処理ブロックの構成を示すブロック図である。
【符号の説明】
【0077】
1 画像特殊効果装置、 2 操作パネル、 3 CPU、 4 グラフィックスプロセッサ、 5 バッファメモリ、 6 ビデオ処理ブロック、 7 重畳回路、 8 小型メモリカード用のスロット、 9 通信インタフェース、 11 AGPインタフェース、 12 頂点シェーダ、 13 ピクセルシェーダ、 14 メモリインタフェース、 15 ディスプレイインタフェース、 21 プリフィルタ部、 22 テクスチャメモリコントローラ、 23 テクスチャメモリ、 24 補間回路、 25 光源処理回路、 26 同期分離回路、 27 フィルタ係数算出回路、 28 H方向プリフィルタ、 29 HVスキャンコンバータ、 30 V方向プリフィルタ、 51(1)〜51(4) VTR、 61 表示画面上のモデル、 62 表示画面の背景

【特許請求の範囲】
【請求項1】
プログラム可能なシェーダを搭載したグラフィックスプロセッサと、
ハードウェア回路で構成されるビデオ処理ブロックと
を含んでおり、
前記グラフィックスプロセッサは、
仮想3次元空間上でのモデルの形状の情報が供給されることに応じて、該仮想3次元空間の座標を表示画面上の2次元座標に変換し、該表示画面に貼り付ける画像のテクスチャ座標と、該表示画面上でのモデルの縮小率とを算出する処理と、
前記テクスチャ座標及び前記縮小率の情報を、画像データ出力部から出力する処理と
を実行するようにプログラムされており、
前記ビデオ処理ブロックは、
入力したビデオデータを、供給される縮小率の情報に応じたプリフィルタ係数でフィルタリングするプリフィルタと、
前記プリフィルタでフィルタリングされたビデオデータが書き込まれるメモリと、
供給されるテクスチャ座標の情報をリードアドレスとして、前記メモリからビデオデータを読み出す制御回路と
を備えており、
前記グラフィックスプロセッサから出力された前記テクスチャ座標の情報が、前記ビデオ処理ブロックの前記制御回路に供給され、
前記グラフィックスプロセッサから出力された前記縮小率の情報が、前記ビデオ処理ブロックの前記プリフィルタに供給される
ことを特徴とする画像特殊効果装置。
【請求項2】
請求項1に記載の画像特殊効果装置において、
前記グラフィックスプロセッサは、
光源処理における係数を算出する処理をさらに実行し、前記係数の情報も前記画像データ出力部から出力するようにプログラムされており、
前記ビデオ処理ブロックは、
前記メモリから読み出されたビデオデータに対し、供給された係数に応じた光源処理を行う光源処理回路
をさらに備えており、
前記グラフィックスプロセッサから出力された前記係数の情報が、前記ビデオ処理ブロックの前記光源処理回路に供給される
ことを特徴とする画像特殊効果装置。
【請求項3】
請求項1に記載の画像特殊効果装置において、
前記グラフィックスプロセッサは、
複数系統のビデオデータを重畳して表示する場合の奥行き方向の情報を算出する処理をさらに実行し、前記奥行き方向の情報も前記画像データ出力部から出力するようにプログラムされており、
複数系統のビデオデータを並列して処理するために前記プリフィルタ,前記メモリ及び前記制御回路を複数系統備えるとともに、各系統の前記メモリから読み出されたビデオデータを、供給される奥行き方向の情報に応じて重畳する重畳回路をさらに備えており、
前記グラフィックスプロセッサから出力された前記奥行き方向の情報が、前記重畳回路に供給される
ことを特徴とする画像特殊効果装置。
【請求項4】
請求項1に記載の画像特殊効果装置において、
前記グラフィックスプロセッサの前記画像データ出力部からの前記テクスチャ座標の情報と前記縮小率の情報とを記憶する記憶手段
をさらに含んでおり、
前記ビデオ処理ブロックに入力されるビデオデータに同期して、前記記憶手段から前記テクスチャ座標の情報,前記縮小率の情報が読み出されて前記ビデオ処理ブロックの前記制御回路,前記プリフィルタにそれぞれ供給される
ことを特徴とする画像特殊効果装置。
【請求項5】
記録媒体に対して情報の読出しを行う読み出し手段と、
ハードウェア回路で構成されるビデオ処理ブロックと
を含んでおり、
前記ビデオ処理ブロックは、
入力したビデオデータを、供給される縮小率の情報に応じたプリフィルタ係数でフィルタリングするプリフィルタと、
前記プリフィルタでフィルタリングされたビデオデータが書き込まれるメモリと、
供給されるテクスチャ座標の情報をリードアドレスとして、前記メモリからビデオデータを読み出す制御回路と
を備えており、
前記読み出し手段によって記録媒体から読み出したテクスチャ座標の情報,縮小率の情報が、前記ビデオ処理ブロックの前記制御回路,前記プリフィルタにそれぞれ供給される
ことを特徴とする画像特殊効果装置。
【請求項6】
ネットワーク経由で通信を行う通信手段と、
ハードウェア回路で構成されるビデオ処理ブロックと
を含んでおり、
前記ビデオ処理ブロックは、
入力したビデオデータを、供給される縮小率の情報に応じたプリフィルタ係数でフィルタリングするプリフィルタと、
前記プリフィルタでフィルタリングされたビデオデータが書き込まれるメモリと、
供給されるテクスチャ座標の情報をリードアドレスとして、前記メモリからビデオデータを読み出す制御回路と
を備えており、
前記通信手段によって受信したテクスチャ座標の情報,縮小率の情報が、前記ビデオ処理ブロックの前記制御回路,前記プリフィルタにそれぞれ供給される
ことを特徴とする画像特殊効果装置。
【請求項7】
プログラム可能なシェーダを搭載したグラフィックスプロセッサにおいて、
仮想3次元空間上でのモデルの形状の情報が供給されることに応じて、該仮想3次元空間の座標を表示画面上の2次元座標に変換し、該表示画面に貼り付ける画像のテクスチャ座標と、該表示画面上でのモデルの縮小率とを算出する処理と、
前記テクスチャ座標の情報及び前記縮小率の情報を、画像データ出力部から出力する処理と
を実行するようにプログラムされたことを特徴とするグラフィックスプロセッサ。
【請求項8】
プログラム可能なシェーダを搭載したグラフィックスプロセッサに、
仮想3次元空間上でのモデルの形状の情報が供給されることに応じて、該仮想3次元空間の座標を表示画面上の2次元座標に変換し、該表示画面に貼り付ける画像のテクスチャ座標と、該表示画面上でのモデルの縮小率とを算出する手順と、
前記テクスチャ座標の情報及び前記縮小率の情報を、画像データ出力部から出力する手順と
を実行させるためのプログラム。
【請求項9】
プログラム可能なシェーダを搭載したグラフィックスプロセッサに、
仮想3次元空間上でのモデルの形状の情報が供給されることに応じて、該仮想3次元空間の座標を表示画面上の2次元座標に変換し、該表示画面に貼り付ける画像のテクスチャ座標と、該表示画面上でのモデルの縮小率とを算出する手順と、
前記テクスチャ座標の情報及び前記縮小率の情報を、画像データ出力部から出力する手順と
を実行させるためのプログラムを記録した記録媒体。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate


【公開番号】特開2007−13874(P2007−13874A)
【公開日】平成19年1月18日(2007.1.18)
【国際特許分類】
【出願番号】特願2005−195221(P2005−195221)
【出願日】平成17年7月4日(2005.7.4)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】