説明

画像生成システム、プログラム及び情報記憶媒体

【課題】画像における色成分の特性に応じて画像効果を反映させることができるようにした画像生成システム、プログラム及び情報記憶媒体を提供すること。
【解決手段】複数種類の色成分の色値によって画素の色が指定される原画像を加工するための画像生成システムである。この画像生成システムは、原画像を構成する各画素の複数種類の色成分の色値を変換したグレースケール値と第1のしきい値との差分である第1の色値を求める第1の色処理部122と、原画像を構成する各画素の色を構成する所定の色成分の色値と第2のしきい値との差分である第2の色値を求める第2の色処理部124と、第1の色値と第2の色値とに基づいてぼかし画像を生成するぼかし画像生成部126と、原画像とぼかし画像とを合成する合成処理部128とを含む。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像生成システム、プログラム及び情報記憶媒体に関する。
【背景技術】
【0002】
従来より、仮想的な3次元空間であるオブジェクト空間において仮想カメラ(所与の視点)から見える画像を生成する画像生成システム(ゲームシステム)が知られており、いわゆる仮想現実を体験できるものとして人気が高い。格闘ゲームを楽しむことができる画像生成システムを例に取れば、プレーヤは、操作部(ゲームコントローラ等)を用いて移動体(キャラクタ等)に関する操作(攻撃操作、防御操作、移動操作等)を行い、他のプレーヤ(コンピュータプレーヤも含まれる)の移動体と格闘するゲームを楽しむ。
【0003】
ところで、上述した画像生成システムに関して、一度描画した画像(原画像)に対して更なる処理を施して、原画像とは異なる雰囲気の画像を作成することができるフィルタ手法が開発されている。例えば、バッファに描画した原画像から所定の色情報を抽出してフィルタ画像を生成し、フィルタ画像を原画像に合成することで、視線方向に入射する強い光のにじみを表現するフィルタ手法などが提案されている(特許文献1参照)。
【特許文献1】特開2003−85578号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
しかしながら、従来から提案されているフィルタ手法では、画像における色成分の特性に関わらず一定の色情報を抽出して中間画像を生成していたため、画像における色成分の特性によっては、フィルタ手法による画像効果を反映させたい領域に画像効果が反映されない場合があるという問題があった。
【0005】
本出願は上記事情に鑑みてなされたものであり、その目的は、画像における色成分の特性に応じて画像効果を反映させることができるようにした画像生成システム、プログラム及び情報記憶媒体を提供することにある。
【課題を解決するための手段】
【0006】
(1)本発明は、
複数種類の色成分の色値によって画素の色が指定される原画像を加工するための画像生成システムであって、
前記原画像を構成する各画素の前記複数種類の色成分の色値を変換したグレースケール値と第1のしきい値との差分である第1の色値を求める第1の色処理部と、
前記原画像を構成する各画素の色を構成する所定の色成分の色値と第2のしきい値との差分である第2の色値を求める第2の色処理部と、
前記第1の色値と前記第2の色値とに基づいてぼかし画像を生成するぼかし画像生成部と、
前記原画像と前記ぼかし画像とを合成する合成処理部とを含むことを特徴とする画像生成システムに関するものである。また本発明は、上記各部としてコンピュータを機能させるプログラム及びそのようなプログラムを記憶するコンピュータが読み取り可能な情報記憶媒体に関するものである。
【0007】
本発明によれば、グレースケール値に基づく第1の色値と、所定の色成分の色値に基づく第2の色値とによってぼかし画像を生成することができるので、画像における色成分の特性に合わせてぼかし画像を生成するようにすることができる。
【0008】
(2)また本発明の画像生成システム、プログラム及び情報記憶媒体では、
前記合成処理部が、
前記原画像の各画素の色値に対して前記ぼかし画像の各画素の色値を加算するようにしてもよい。
【0009】
このようにすれば、ぼかし画像に応じた領域の色値が高くなるので、ぼかし画像に応じた領域が輝くような画像効果を反映させることができる。
【0010】
(3)また本発明の画像生成システム、プログラム及び情報記憶媒体では、
前記原画像は、オブジェクト空間に配置された光源の色をオブジェクトに反映させるシェーディングを施した画像であって、
前記第2の色処理部が、
前記光源の色を構成する複数種類の色成分のうち最も色値が高い色成分を前記所定の色成分として、前記第2の色値を求めるようにしてもよい。
【0011】
ここで「光源の色をオブジェクトに反映させる」とは、光源計算の結果の色をオブジェクトに反映させるものとすることができる。
【0012】
このようにすれば、傾向として、光源の色成分の特性に合わせて画像効果を反映させるようにすることができる。
【発明を実施するための最良の形態】
【0013】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【0014】
1.構成
図1に本実施形態の画像生成システム(ゲームシステム)の機能ブロック図の例を示す。なお本実施形態の画像生成システムは図1の構成要素(各部)の一部を省略した構成としてもよい。
【0015】
操作部160は、プレーヤがプレーヤオブジェクト(移動体オブジェクトの一例、プレーヤが操作するプレーヤキャラクタなど)の操作データを入力するためのものであり、その機能は、レバー、ボタン、ステアリング、マイク、タッチパネル型ディスプレイ、或いは筺体などにより実現できる。記憶部170は、処理部100や通信部196などのワーク領域となるもので、その機能はRAM(メインメモリ172)、VRAM(ビデオメモリ174)などにより実現できる。
【0016】
情報記憶媒体180(コンピュータにより読み取り可能な媒体)は、プログラムやデータなどを格納するものであり、その機能は、光ディスク(CD、DVD)、光磁気ディスク(MO)、磁気ディスク、ハードディスク、磁気テープ、或いはメモリ(ROM)などにより実現できる。処理部100は、情報記憶媒体180に格納されるプログラム(データ)に基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体180には、本実施形態の各部としてコンピュータを機能させるためのプログラム(各部の処理をコンピュータに実行させるためのプログラム)が記憶される。
【0017】
表示部190は、本実施形態により生成された画像を出力するものであり、その機能は、CRT、LCD、タッチパネル型ディスプレイ、或いはHMD(ヘッドマウントディスプレイ)などにより実現できる。音出力部192は、本実施形態により生成された音を出力するものであり、その機能は、スピーカ、或いはヘッドフォンなどにより実現できる。
【0018】
携帯型情報記憶装置194は、プレーヤの個人データやゲームのセーブデータなどが記憶されるものであり、この携帯型情報記憶装置194としては、メモリカードや携帯型ゲーム装置などがある。通信部196は外部(例えばホスト装置や他の画像生成システム)との間で通信を行うための各種制御を行うものであり、その機能は、各種プロセッサ又は通信用ASICなどのハードウェアや、プログラムなどにより実現できる。
【0019】
なお本実施形態の各部としてコンピュータを機能させるためのプログラム(データ)は、ホスト装置(サーバー)が有する情報記憶媒体からネットワーク及び通信部196を介して情報記憶媒体180(あるいは記憶部170のメインメモリ172)に配信してもよい。このようなホスト装置(サーバー)の情報記憶媒体の使用も本発明の範囲内に含めることができる。
【0020】
処理部100(プロセッサ)は、操作部160からの操作データやプログラムなどに基づいて、ゲーム処理、画像生成処理、或いは音生成処理などの処理を行う。ここでゲーム処理としては、ゲーム開始条件が満たされた場合にゲームを開始する処理、ゲームを進行させる処理、キャラクタやマップなどのオブジェクトを配置する処理、オブジェクトを表示する処理、ゲーム結果を演算する処理、或いはゲーム終了条件が満たされた場合にゲームを終了する処理などがある。この処理部100は記憶部170内のメインメモリ172をワーク領域として各種処理を行う。処理部100の機能は各種プロセッサ(CPU(メインプロセッサ)、GPU(描画プロセッサ)、DSP等)、ASIC(ゲートアレイ等)などのハードウェアや、プログラムにより実現できる。
【0021】
処理部100は、オブジェクト空間設定部110、移動・動作処理部112、仮想カメラ制御部114、描画部120、フィルタ処理部121、音生成部130を含む。なおこれらの一部を省略する構成としてもよい。
【0022】
オブジェクト空間設定部110は、オブジェクトデータ記憶部172に記憶されているオブジェクトデータに基づいて、キャラクタ、車、建物、樹木、柱、壁、コース(道路)、マップ(地形)などの表示物を表す各種オブジェクト(ポリゴン、自由曲面又はサブディビジョンサーフェスなどのプリミティブで構成されるオブジェクト)や、光が進行する方向や強さや色を示す光源をオブジェクト空間に配置設定する処理を行う。即ちワールド座標系でのオブジェクトの位置や回転角度(向き、方向と同義)を決定し、決定された位置(X、Y、Z)に決定された回転角度(X、Y、Z軸回りでの回転角度)でオブジェクトや光源を配置する。
【0023】
移動・動作処理部112は、オブジェクト(キャラクタ、車、又は飛行機等)の移動・動作演算(移動・動作シミュレーション)を行う。すなわち操作部160によりプレーヤが入力した操作データや、プログラム(移動・動作アルゴリズム)や、各種データ(モーションデータ)などに基づいて、オブジェクトをオブジェクト空間内で移動させたり、オブジェクトを動作(モーション、アニメーション)させる処理を行う。具体的には、オブジェクトの移動情報(位置、回転角度、速度、或いは加速度)や動作情報(オブジェクトを構成する各パーツの位置、或いは回転角度)を、1フレーム(1/60秒)毎に順次求めるシミュレーション処理を行う。なおフレームは、オブジェクトの移動・動作処理(シミュレーション処理)や画像生成処理を行う時間の単位である。
【0024】
仮想カメラ制御部114は、オブジェクト空間内の所与(任意)の視点から見える画像を生成するための仮想カメラ(視点)の制御処理を行う。具体的には、仮想カメラの位置(X、Y、Z)又は回転角度(X、Y、Z軸回りでの回転角度)を制御する処理(視点位置、視線方向あるいは画角を制御する処理)を行う。
【0025】
例えば仮想カメラによりオブジェクト(例えばキャラクタ、車)を後方から撮影する場合には、オブジェクトの位置又は回転の変化に仮想カメラが追従するように、仮想カメラの位置又は回転角度(仮想カメラの向き)を制御する。この場合には、移動・動作処理部112で得られたオブジェクトの位置、回転角度又は速度などの情報(所定の制御情報の一例)に基づいて、仮想カメラを制御できる。或いは、仮想カメラを、予め決められた回転角度で回転させたり、予め決められた移動経路で移動させたりする制御を行ってもよい。この場合には、仮想カメラの位置(移動経路)又は回転角度を特定するための仮想カメラデータ(所定の制御情報の一例)に基づいて仮想カメラを制御する。なお、仮想カメラ(視点)が複数存在する場合には、それぞれの仮想カメラについて上記の制御処理が行われる。
【0026】
描画部120は、処理部100で行われる種々の処理(ゲーム処理)の結果に基づいて描画処理を行い、これにより画像を生成し、表示部190に出力する。いわゆる3次元ゲーム画像を生成する場合には、まずオブジェクト(モデル)の各頂点の頂点データ(頂点の位置座標、テクスチャ座標、色データ、法線ベクトル或いはα値等)を含むオブジェクトデータ(モデルデータ)がオブジェクトデータ記憶部172Bから入力され、入力されたオブジェクトデータに含まれる頂点データに基づいて、頂点処理(頂点シェーダによるシェーディング)が行われる。なお頂点処理を行うに際して、必要に応じてポリゴンを再分割するための頂点生成処理(テッセレーション、曲面分割、ポリゴン分割)を行うようにしてもよい。頂点処理では、頂点処理プログラム(頂点シェーダプログラム、第1のシェーダプログラム)に従って、頂点の移動処理や、座標変換(ワールド座標変換、カメラ座標変換)、クリッピング処理、あるいは透視変換等のジオメトリ処理が行われ、その処理結果に基づいて、オブジェクトを構成する頂点群について与えられた頂点データを変更(更新、調整)する。そして、頂点処理後の頂点データに基づいてラスタライズ(走査変換)が行われ、ポリゴン(プリミティブ)の面とピクセル(画素)とが対応づけられる。そしてラスタライズに続いて、画像を構成するピクセル(表示画面を構成するフラグメント)を描画するピクセル処理(ピクセルシェーダによるシェーディング、フラグメント処理)が行われる。ピクセル処理では、ピクセル処理プログラム(ピクセルシェーダプログラム、第2のシェーダプログラム)に従って、テクスチャの読出し(テクスチャマッピング)、色データの設定/変更、半透明合成、アンチエイリアス等の各種処理を行って、画像を構成するピクセルの最終的な描画色を決定し、透視変換されたオブジェクトの描画色をレンダリングターゲット(ピクセル単位で画像情報を記憶できるバッファ。メインメモリ172のフレームバッファ172B、ビデオメモリ174のワークバッファ174Cやフレームバッファ174D)に出力(描画)する。すなわち、ピクセル処理では、画像情報(色(色値、輝度値)、法線、α値等)をピクセル単位で設定あるいは変更するパーピクセル処理を行う。これにより、オブジェクト空間内において仮想カメラ(所与の視点)から見える画像が生成される。なお、仮想カメラ(視点)が複数存在する場合には、それぞれの仮想カメラから見える画像を分割画像として1画面に表示できるように画像を生成することができる。
【0027】
なお頂点処理やピクセル処理は、シェーディング言語によって記述されたシェーダプログラムによって、ポリゴン(プリミティブ)の描画処理をプログラム可能にするハードウェア、いわゆるプログラマブルシェーダ(頂点シェーダやピクセルシェーダ)により実現される。プログラマブルシェーダでは、頂点単位の処理やピクセル単位の処理がプログラム可能になることで描画処理内容の自由度が高く、従来のハードウェアによる固定的な描画処理に比べて表現力を大幅に向上させることができる。
【0028】
そして描画部120は、オブジェクトを描画する際に、ジオメトリ処理、テクスチャマッピング、隠面消去処理、αブレンディング等を行う。
【0029】
ジオメトリ処理では、オブジェクトに対して、座標変換、クリッピング処理、透視投影変換、或いは光源計算等の処理が行われる。そして、ジオメトリ処理後(透視投影変換後)のオブジェクトデータ(オブジェクトの頂点の位置座標、テクスチャ座標、色データ(輝度データ)、法線ベクトル、或いはα値等)は、メインメモリ172のオブジェクトデータ記憶部172Aに保存される。
【0030】
テクスチャマッピングは、ビデオメモリ174のデカールテクスチャ記憶部174Aに記憶されるデカールテクスチャ(テクセル値)をオブジェクトにマッピングするための処理である。具体的には、オブジェクトの頂点に設定(付与)されるテクスチャ座標等を用いてビデオメモリ174のデカールテクスチャ記憶部174Aからテクスチャ(色(RGB)、α値などの表面プロパティ)を読み出す。そして、2次元の画像であるテクスチャをオブジェクトにマッピングする。この場合に、ピクセルとテクセルとを対応づける処理や、テクセルの補間としてバイリニア補間、トライリニア補間などを行う。
【0031】
隠面消去処理としては、描画ピクセルのZ値(奥行き情報)が格納されるZバッファ174B(奥行きバッファ)を用いたZバッファ法(奥行き比較法、Zテスト)による隠面消去処理を行うことができる。すなわちオブジェクトのプリミティブに対応する描画ピクセルを描画する際に、Zバッファ174Bに格納されるZ値を参照する。そして参照されたZバッファのZ値と、プリミティブの描画ピクセルでのZ値とを比較し、描画ピクセルでのZ値が、仮想カメラから見て手前側となるZ値(例えば小さなZ値)である場合には、その描画ピクセルの描画処理を行うとともにZバッファ174BのZ値を新たなZ値に更新する。
【0032】
αブレンディングとしては、α値(A値)に基づく半透明合成処理(通常αブレンディング、加算αブレンディング又は減算αブレンディング等)を行う。例えば通常αブレンディングの場合には下式(1)〜(3)の処理を行う。
【0033】
RQ=(1−α)×R1+α×R2 (1)
GQ=(1−α)×G1+α×G2 (2)
BQ=(1−α)×B1+α×B2 (3)
また、加算αブレンディングの場合には下式(4)〜(6)の処理を行う。なお単純加算の場合はα=1として下式(4)〜(6)の処理を行う。
【0034】
RQ=R1+α×R2 (4)
GQ=G1+α×G2 (5)
BQ=B1+α×B2 (6)
また、減算αブレンディングの場合には下式(7)〜(9)の処理を行う。なお単純減算の場合はα=1として下式(7)〜(9)の処理を行う。
【0035】
RQ=R1−α×R2 (7)
GQ=G1−α×G2 (8)
BQ=B1−α×B2 (9)
ここで、R1、G1、B1は、フレームバッファ172Bあるいはフレームバッファ174Dに既に描画されている画像(原画像)のRGB成分であり、R2、G2、B2は、フレームバッファ172Bあるいはフレームバッファ174Dに描画すべき画像のRGB成分である。また、RQ、GQ、BQは、αブレンディングにより得られる画像のRGB成分である。なお、α値は、各ピクセル(テクセル、ドット)に関連づけて記憶できる情報であり、例えば色情報以外のプラスアルファの情報である。α値は、マスク情報、半透明度(透明度、不透明度と等価)、バンプ情報などとして使用できる。
【0036】
フィルタ処理部121は、仮想カメラから見たオブジェクト空間を描画した原画像に対してフィルタ画像を生成して、原画像とフィルタ画像とを合成するフィルタ処理を行う。本実施形態ではフィルタ処理部121は、第1の色処理部122、第2の色処理部124、中間画像生成部125、ぼかし画像生成部126、合成処理部128を含む。
【0037】
第1の色処理部122は、原画像を構成する各画素(ピクセル)のRGB成分(複数種類の色成分の一例)の輝度値(色値の一例)を変換したグレースケール値と、第1のしきい値との差分である第1の輝度値を求める。本実施形態では第1の色処理部122は、原画像を構成する各画素のグレースケール値から第1のしきい値を減算することによって、第1のしきい値よりも輝度値が高い画素について第1のしきい値を超える輝度値を抽出する。
【0038】
第2の色処理部124は、原画像を構成する各画素の色を構成する所定の色成分の輝度値と、第2のしきい値との差分である第2の輝度値を求める。本実施形態では第2の色処理部124は、原画像を構成する各画素のR成分(赤成分、所定の色成分の一例)の輝度値から第2のしきい値を減算することによって、第2のしきい値よりもR成分の輝度値が高い画素について第2のしきい値を超えるR成分の輝度値を抽出する。
【0039】
ここで本実施形態では、原画像は、オブジェクト空間に配置された光源の色をオブジェクトに反映させるシェーディングが施された画像となっているが、本実施形態の光源は、光源の色を構成するRGB成分のうち、R成分の輝度値が最も高くなっている。そこで第2の色処理部124は、このような光源の色を構成するRGB成分のうち、最も輝度値が高いR成分を所定の色成分として、第2の色値を求めている。これにより第2の色処理部124は、原画像のうち光源の色が多く反映された画素の輝度値を抽出することができる。
【0040】
なお、第1のしきい値と第2のしきい値とは、同一の値であってもよいし、異なる値であってもよく、光源の強さや、仮想カメラから見えるシーン(ビューボリューム内)に多く分布する色などの、画像における色成分の特性に応じて任意の値を設定することができる。また、所定の色成分は、G成分(緑成分)やB成分(青成分)のようにR成分以外の色成分としてもよく、これも画像における色成分の特性に応じて任意の色成分を所定の色成分として設定することができる。
【0041】
中間画像生成部125は、上述のようにして求めた第1の輝度値と第2の輝度値とに基づいて中間画像(フィルタ画像の一例)を生成する。本実施形態では中間画像生成部125は、原画像を構成する各画素について、第1の輝度値をRGBそれぞれの色成分の輝度値とした第1の色(第1のカラーベクトル、グレー)と、第2の輝度値をR成分の輝度値とし0をその他の色成分(G成分およびB成分)の輝度値とした第2の色(第2のカラーベクトル、赤)とを加算して加算色を求める。そして中間画像生成部125は、各画素の加算色を累乗したり、各画素の加算色に所定の係数を乗算することにより、各画素の加算色を伸長しながら描画して、加算色が伸長された中間画像を生成する。
【0042】
ぼかし画像生成部126は、中間画像に対して、画素の色を周辺画素の色と平滑化するバイリニア補間を利用したぼかし処理や、画素の色を周辺画素の色と入れ替えるぼかし処理を施しながら各画素の色を描画して、ぼかし画像(フィルタ画像の一例)を生成する。
【0043】
合成処理部128は、原画像とぼかし画像とを合成する。本実施形態では合成処理部128は、原画像の各画素の輝度値に対してぼかし画像の各画素の輝度値を加算する。
【0044】
音生成部130は、処理部100で行われる種々の処理の結果に基づいて音処理を行い、BGM、効果音、又は音声などのゲーム音を生成し、音出力部192に出力する。
【0045】
なお、本実施形態の画像生成システムは、1人のプレーヤのみがプレイできるシングルプレーヤモード専用のシステムにしてもよいし、複数のプレーヤがプレイできるマルチプレーヤモードも備えるシステムにしてもよい。また複数のプレーヤがプレイする場合に、これらの複数のプレーヤに提供するゲーム画像やゲーム音を、1つの端末を用いて生成してもよいし、ネットワーク(伝送ライン、通信回線)などで接続された複数の端末(ゲーム機、携帯電話)を用いて分散処理により生成してもよい。
【0046】
2.本実施形態の手法
次に本実施形態の手法について図面を用いて説明する。本実施形態では、画像における眩しさや輝き(グレア)を表現するために、原画像を構成する各画素のうち明るい画素の輝度値が抽出されて中間画像が生成され、この中間画像に基づいて原画像が加工されることにより、原画像の明るい画素とその周囲の画素とが更に明るくされた画像が生成される。特に本実施形態では、原画像を構成する各画素のRGB成分の輝度値を変換したグレースケール値と第1のしきい値との差分である第1の輝度値と、原画像を構成する各画素のR成分の輝度値と第2のしきい値との差分である第2の輝度値とに基づいて、中間画像が生成される。これにより本実施形態では、画像における色成分の特性に合わせて中間画像が生成されるようにしている。
【0047】
図2は、本実施形態に特徴的な中間画像の生成手法を説明するための図である。図2のa1に示すように本実施形態では、まず、第1ワークバッファに描画された原画像の第1番目の画素P1のRGB成分それぞれの輝度値から、その画素のグレースケール値AがA=0.3R+0.6G+0.1Bのようにして求められる。そして、求められたグレースケール値Aからしきい値として輝度値200(第1のしきい値の一例)が減算されて第1の輝度値C1が求められる。すなわち本実施形態では、原画像を構成する各画素のグレースケール値Aがその画素の明るさを示す基準として用いられ、このグレースケール値Aがしきい値よりも高い場合に、しきい値を超える第1の輝度値C1が抽出される。
【0048】
ここで本実施形態では、このグレースケール値Aは、RGBそれぞれの人の目による見え方を考慮した重み付けにより、A=0.3R+0.6G+0.1Bとして算出されている。すなわちRGBそれぞれの輝度値が同一であっても、青(B)は最も暗く見えるためB成分の影響度が弱く(0.1)、赤(R)は青(B)の次に暗く見えるためR成分の影響度が次に弱く(0.3)、緑(G)は最も明るく見えるためG成分の影響度が最も強く(0.6)なるようにグレースケール値が算出される。従って本実施形態では、人の目に見える明るさの見え方に沿って、原画像を構成する画素のうち明るい画素の輝度値が抽出されるようにすることができる。
【0049】
また本実施形態では、オブジェクト空間に光源が配置されることにより、光源からの光が反射している領域に対応する画素については、光の反射率に応じて輝度値が高くされる処理が行われている。本実施形態ではかかる光源として、R成分の輝度値が最も高く設定された赤色ないし黄色の光源が配置されているため、光源からの光が反射している領域に対応する画素については、その領域の光の反射率に応じてR成分の輝度値が高くされる処理が行われる。従って本実施形態では、グレアを表現する画像効果が反映されるべき画素は、R成分の輝度値が高くなっている場合が多い。
【0050】
しかし本実施形態では、画素の明るさを示す基準としてグレースケール値Aが用いられているため、R成分の輝度値が高い画素であっても、その画素のグレースケール値AはR成分の重み付けが小さいために(0.3)輝度値が低くなってしまい、暗い画素として扱われてしまう場合がある。例えば、R成分の輝度値が200以上の画素であっても、図2のa1においてグレースケール値Aが200以下となることにより、しきい値を超える第1の輝度値C1が抽出されない(第1の輝度値C1=0となる)場合がある。
【0051】
ここで、このような画素に関しても第1の輝度値C1が抽出されるようにしきい値を低くすると、グレアを表現する画像効果が反映されるべき画素でなくとも、しきい値を超える第1の輝度値C1が抽出されてしまう場合がある。特に、G成分の輝度値が高い画素はグレースケール値Aの重み付けが大きく(0.6)グレースケール値Aの輝度値が比較的高くなるため、グレアを表現する画像効果が反映されるべき画素でなくとも、しきい値を超える第1の輝度値C1が抽出されてしまう。
【0052】
そこで本実施形態では、図2のa1に示すように第1の輝度値C1を抽出するとともに、図2のa2に示すように、原画像の第1番目の画素P1のR成分の輝度値からしきい値として輝度値200(第2のしきい値の一例、本実施形態では第1のしきい値と第2のしきい値とが同一)が減算されて、第2の輝度値C2が求められる。すなわち本実施形態では、原画像を構成する各画素のR成分の輝度値もその画素の明るさを示す基準として用いられ、このR成分の輝度値がしきい値よりも高い場合に、しきい値を超える第2の輝度値C2が抽出される。
【0053】
これにより本実施形態では、画素の明るさを示す基準としてグレースケール値Aが用いられることにより、人の目に見える明るさの見え方に沿って原画像を構成する画素のうち明るい画素の輝度値が抽出されるようにしつつ、画素の明るさを示す基準としてR成分の輝度値も用いられることにより、しきい値を低くせずに、光源からの光が反射している領域に対応する画素の輝度値が抽出されるようにすることができる。すなわち本実施形態では、光源の色に応じて、グレアを表現する画像効果が反映されるべき画素の輝度値が適切に抽出されるようにすることができる。
【0054】
そして図2のa3に示すように、グレースケール値Aから輝度値200を減算した結果が0〜1.0の値にクランプされて第1の輝度値C1が求められる。すると、図2のa4に示すように、輝度値C1がその画素のRGB成分それぞれの輝度値に乗算されて、第1の色情報(C1×R,C1×G,C1×B)に変換される。また図2のa5に示すように、R成分の輝度値から輝度値200を減算した結果が0〜1.0の値にクランプされて第2の輝度値C2が求められる。
【0055】
そして図2のa6に示すように、第1の色情報のR成分であるC1×Rと、第2の輝度値C2とが比較され、第1の色情報のR成分であるC1×Rの方が大きい場合には(Y)、図2のa7に示すように第1の色情報(C1×R,C1×G,C1×B)が選択され、第2の輝度値C2の方が大きい場合には(N)、図2のa8に示すように第1の色情報のR成分が第2の輝度値C2とされた第2の色情報(C1×R,C1×G,C1×B)が選択される。すなわち、第1の色情報のR成分であるC1×Rと、第2の輝度値C2のいずれか大きい方の値がR成分の輝度値として選択される。
【0056】
そして、第1の色情報(C1×R,C1×G,C1×B)が選択された場合には、図2のa9に示すように、第1の色情報(C1×R,C1×G,C1×B)の各色成分の輝度値が所定の指数xにより累乗され、輝度値の階調差が明確となるように伸長される。そして図2のa11に示すように、伸長後の第1の色情報が第2ワークバッファの第1の画素PP1に出力される。一方、第2の色情報(C1×R,C1×G,C1×B)が選択された場合には、図2のa10に示すように、第2の色情報(C1×R,C1×G,C1×B)の各色成分の輝度値が所定の指数xにより累乗され、輝度値の階調差が明確となるように伸長される。そして図2のa11に示すように、伸長後の第2の色情報が第2ワークバッファの第1の画素PP1に出力される。
【0057】
そしてa1〜a11の処理が原画像の全てのピクセルについて行われ、伸長後の色情報による中間画像が描画される。
【0058】
こうして本実施形態では、原画像に加算されると、原画像を構成する画素のうち明るい画素をより明るくし、赤い画素をより赤くするような中間画像が生成されるようにすることができる。
【0059】
図3は、中間画像をぼかしたぼかし画像の生成手法を説明するための図である。図3のb1に示すように、本実施形態では、上述のようにして第2ワークバッファに描画された中間画像に対して、バイリニアフィルタ方式を利用して中間画像の各ピクセルの色を平滑化するぼかし処理が行われ、第3ワークバッファにぼかし画像が生成される。
【0060】
ぼかし処理としては、画像の縮小・拡大を繰り返すことによりバイリニアフィルタ方式で各ピクセルの色が周辺ピクセルの色を取り込んで平滑化(補間)されることにより画像をぼかす手法や、テクスチャ座標をずらしながらバイリニアフィルタ方式で描画を行うことで各ピクセルの色を周辺ピクセルの色と平滑化させて画像をぼかす手法などがある。ぼかし処理の手法は、上記のものには限られず、種々の手法を採用することができる。
【0061】
図4は、ぼかし画像と原画像とを合成する手法を説明するための図である。図4のc1に示すように、本実施形態では、上述のようにして第3ワークバッファに生成されたぼかし画像と第1ワークバッファに生成された原画像とが、各画素の輝度値が加算されることにより合成される。こうして本実施形態では、原画像のうち明るい領域がより明るくされ、赤い領域がより赤くされることにより、R成分の輝度値が最も高く設定された赤色ないし黄色の光源が配置されている場合でも、グレアを表現する画像効果が反映されるべき領域に適切に光源の色に応じたグレアを表現する画像効果が反映されるようにすることができる。
【0062】
3.本実施形態の処理
次に、本実施形態の詳細な処理例についてフローチャートを用いて説明する。図5は、フレーム毎に行われる処理の概略を示すフローチャートである。図5に示すように、本実施形態では、まず、シェーダ処理が行われ(ステップS10)、オブジェクト空間内に配置された仮想カメラから見えるシーン(ビューボリューム内)に存在するオブジェクトがスクリーンに透視投影され、透視投影されたオブジェクトがフレームバッファに描画されて原画像が生成される。すると、原画像にグレアを表現する画像効果を反映させるフィルタ処理が行われる(ステップS12)。
【0063】
図6は、図5のステップS12で行われるフィルタ処理の詳細を示すフローチャートである。フィルタ処理では、まず、中間画像を生成する中間画像生成処理が行われ(ステップS20)、中間画像に基づいてぼかし画像を生成するぼかし画像生成処理が行われ(ステップS22)、原画像とぼかし画像とを加算合成するぼかし画像合成処理が行われる(ステップS24)。
【0064】
図7は、図6のステップS20で行われる中間画像生成処理の詳細を示すフローチャートである。中間画像生成処理では、まず、原画像の第1番目の画素P1について第1の輝度値C1を求める第1の色処理が行われ(ステップS30)、同一の画素P1について第2の輝度値C2を求める第2の色処理が行われる(ステップS32)。すると第1の色情報のR成分であるC1×Rと、第2の輝度値C2とが比較され、第1の色情報のR成分であるC1×Rの方が大きい場合には、第1の色情報(C1×R,C1×G,C1×B)が選択され、第2の輝度値C2の方が大きい場合には、第1の色情報のR成分が第2の輝度値C2とされた第2の色情報(C1×R,C1×G,C1×B)が選択される(ステップS34)。すると、選択結果の色情報を伸長する伸長処理が行われ(ステップS36)、伸長結果の色情報を第2ワークバッファに出力する(ステップS38)。そして、原画像を構成する全ての画素について色情報を出力していない場合には(ステップS40でN)、ステップS30からステップS40までの処理を繰り返し、原画像を構成する全ての画素について色情報を出力した場合には(ステップS40でY)、中間画像生成処理を終了する。
【0065】
図8は、図7のステップS30で行われる第1の色処理の詳細を示すフローチャートである。第1の色処理では、まず、処理対象とする画素のRGBの各色成分の輝度値に基づいてグレースケール値Aを求める(ステップS50)。そして、グレースケール値Aからしきい値を減算して第1の輝度値C1を求める(ステップS52)。そして、第1の輝度値C1をRGBそれぞれの色成分にかけた第1の色情報を求める(ステップS54)。
【0066】
図9は、図7のステップS32で行われる第2の色処理の詳細を示すフローチャートである。第2の色処理では、まず、処理対象とする画素のR成分の輝度値からしきい値を減算して第2の輝度値C2を求める(ステップS60)。そして、第2の輝度値C2をR成分の輝度値とする(ステップS62)。
【0067】
4.ハードウェア構成例
本実施形態の画像生成システムを実現するハードウェアの構成の一例について図10を用いて説明する。なお図10では、主要な構成のみを図示しており、図10に示されていないハードウェア(メモリコントローラやスピーカなど)を必要に応じて設けることができる。
【0068】
メインプロセッサ10は、光ディスク72(CD、DVD、ブルーレイディスク等の情報記憶媒体)に格納されたプログラム、通信インターフェース80を介して転送されたプログラム、或いはハードディスク60に格納されたプログラムなどに基づき動作し、内部バスb4を介してアクセス可能なメインメモリ40を作業領域(ワーク領域)としてゲーム処理、画像処理、音処理などの種々の処理を実行する。
【0069】
メインプロセッサ10は、1基のプロセッサ12と複数のベクトルプロセッサ14で構成される。プロセッサ12は、OSの実行、ハードウェアリソースの管理、ゲーム処理、ベクトルプロセッサ14の動作管理などの種々の処理を実行する。またベクトルプロセッサ14は、ベクトル演算に特化したプロセッサであり、主にジオメトリ処理、画像データや音データのコーデック処理などの処理を実行する。
【0070】
描画プロセッサ20は、内部バスb1(第1の内部バス)を介してビデオメモリ30にアクセス可能に形成されている。また描画プロセッサ20は、描画プロセッサ20とメインプロセッサ10を接続する内部バスb2(第2の内部バス)と、メインプロセッサ10内部のバスb3と、メインプロセッサ10とメインメモリ40を接続する内部バスb4を介してメインメモリ40にアクセス可能に形成されている。すなわち描画プロセッサ20はビデオメモリ30と、メインメモリ40とをレンダリングターゲットとして利用することができる。
【0071】
描画プロセッサ20は、座標変換、透視変換、光源計算、曲面生成などのジオメトリ処理を行うものであり、高速並列演算が可能な積和算器や除算器を有し、マトリクス演算(ベクトル演算)を高速に実行する。例えば、座標変換、透視変換、光源計算などの処理を行う場合には、メインプロセッサ10で動作するプログラムが、その処理を描画プロセッサ20に指示する。
【0072】
また描画プロセッサ20は、ジオメトリ処理後のオブジェクト(ポリゴンや曲面などのプリミティブ面で構成されるオブジェクト)の画像のレンダリング処理を高速に実行するものである。マルチパスレンダリング処理の際には、描画プロセッサ20は、描画データ(頂点データや他のパラメータ)等に基づいて、Zバッファ34などを利用した陰面消去を行いながら、画像をビデオメモリ30又はメインメモリ40の一方のメモリにレンダリングする。そしてビデオメモリ30又はメインメモリ40の一方のメモリに記憶された画像に基づき他方のメモリに新たな画像をレンダリングする処理を必要なレンダリングパスの回数だけ行う。描画プロセッサ20は、上記マルチパスレンダリング処理として、グレアフィルタ処理、モーションブラー処理、被写界深度処理、フォグ処理等のフィルタ処理を行うことができる。
【0073】
そして、最後のレンダリングパスで画像がビデオメモリ30に設けられたフレームバッファ32にレンダリングされると、その画像をディスプレイ50に出力する。また最後のレンダリングパスで画像がメインメモリ40にレンダリングされた場合には当該画像をフレームバッファ32にコピー(書き込み)した上でディスプレイ50に出力する。
【0074】
ハードディスク60にはシステムプログラム、セーブデータ、個人データなどが格納される。
【0075】
光学ドライブ70は、プログラム、画像データ、或いは音データなどが格納される光ディスク72(情報記憶媒体)を駆動し、これらのプログラム、データへのアクセスを可能にする。
【0076】
通信インターフェース80は、ネットワークを介して外部との間でデータ転送を行うためのインターフェースである。この場合に、通信インターフェース170に接続されるネットワークとしては、通信回線(アナログ電話回線、ISDN)、高速シリアルバスなどを考えることができる。そして、通信回線を利用することでインターネットを介したデータ転送が可能になる。また、高速シリアルバスを利用することで、他の画像生成システムとの間でのデータ転送が可能になる。
【0077】
上述したように本実施形態の画像生成システム(コンピュータ)は、内部バスb1(第1の内部バス)を介してビデオメモリ30にアクセス可能であるとともに、内部バスb2(第2の内部バス)を介してメインメモリ40にアクセス可能である描画プロセッサ20を含んで構成されており、描画プロセッサ20をフィルタ処理部121として機能させるシェーダプログラムが光ディスク72(情報記憶媒体の一例)あるいはハードディスク60(情報記憶媒体の一例)に格納されている。
【0078】
そして本実施形態の画像生成システムでは、上記シェーダプログラムによってフィルタ処理部121として機能する描画プロセッサ20が、原画像が生成されたビデオメモリ30又はメインメモリ40の一方のメモリとは異なる他方のメモリにフィルタ画像を生成し、他方のメモリに生成されたフィルタ画像を一方のメモリに生成された原画像に加算合成する処理を行う。
【0079】
このようにすれば、描画プロセッサ20が画像データをメモリ(ビデオメモリ30又はメインメモリ40)に書き込んだり、描画プロセッサ20が画像データをメモリ(ビデオメモリ30又はメインメモリ40)から読み出したりする際における内部バスb1,b2に対する負荷を分散することができるため、内部バスb1,b2の帯域の利用効率を高めることができる。特に本実施形態の画像生成システムでは、描画プロセッサ20が、Zバッファ34を用いた隠面消去処理において、膨大なデータを格納するZバッファ34からZ値を読み込んだり、Z値を書き込んだりすることによってビデオメモリ30にアクセスする内部バスb1を頻繁に使用するため、原画像を生成するバッファとフィルタ画像を生成するバッファとを分散することによって内部バスb1の帯域使用率の高さがボトルネックとなって処理が遅延することを防止することができる。
【0080】
なお、本実施形態の各部(各手段)は、その全てを、ハードウェアのみにより実現してもよいし、情報記憶媒体に格納されるプログラムや通信インターフェースを介して配信されるプログラムのみにより実現してもよい。或いは、ハードウェアとプログラムの両方により実現してもよい。
【0081】
そして、本実施形態の各部をハードウェアとプログラムの両方により実現する場合には、情報記憶媒体には、ハードウェア(コンピュータ)を本実施形態の各部として機能させるためのプログラムが格納されることになる。より具体的には、上記プログラムが、ハードウェアである各プロセッサ10、20等に処理を指示すると共に、必要であればデータを渡す。そして、各プロセッサ10、20等は、その指示と渡されたデータとに基づいて、本発明の各部を実現することになる。
【0082】
なお本発明は、上記実施形態で説明したものに限らず、種々の変形実施が可能である。例えば、明細書又は図面中の記載において広義や同義な用語として引用された用語は、明細書又は図面中の他の記載においても広義や同義な用語に置き換えることができる。またグレアフィルタの手法は、本実施形態で説明したものに限定されず、これらと均等な手法も本発明の範囲に含まれる。
【0083】
また本発明は種々のゲーム(格闘ゲーム、シューティングゲーム、ロボット対戦ゲーム、スポーツゲーム、競争ゲーム、ロールプレイングゲーム、音楽演奏ゲーム、ダンスゲーム等)に適用できる。また本発明は、業務用ゲームシステム、家庭用ゲームシステム、多数のプレーヤが参加する大型アトラクションシステム、シミュレータ、マルチメディア端末、ゲーム画像を生成するシステムボード、携帯電話等の種々の画像生成システムに適用できる。
【0084】
また上記実施形態では、グレースケール値AがA=0.3R+0.6G+0.1Bのようにして求められる例を挙げて説明したが、グレースケール値AがA=(R+G+B)/3のようにして求められるようにしてもよい。
【0085】
また上記実施形態では、画素毎に第1の色情報と第2の色情報とが求められ、加算、伸長処理が行われることにより、中間画像を構成する各画素の色情報が画素毎に第2ワークバッファに出力される例を挙げて説明したが、原画像の各画素の色情報が第1の色情報に変換された第1の色情報画像と、原画像の各画素の色情報が第2の色情報に変換された第2の色情報画像とが生成され、第1の色情報画像と第2の色情報画像とが加算されて伸長されることにより中間画像が生成されるようにしてもよい。
【0086】
図11は、このような例の中間画像の生成手法を説明するための図である。この実施形態では、図11のd1に示すように、まず、第1ワークバッファに描画された原画像の各画素のRGB成分それぞれの輝度値が、A=0.3R+0.6G+0.1Bのようにして求められるグレースケール値Aに変換されたグレースケール値A画像が生成される。すると図11のd2に示すように、グレースケール値A画像から、各画素の各色成分の輝度値が200とされた単色の第1のしきい値画像が減算され、各画素の各色成分の輝度値が第1の輝度値C1とされることにより各画素の色情報が第1の色情報とされた第1の色情報画像が生成される。
【0087】
それとともに、図11のd3に示すように、第1ワークバッファに描画された原画像が、原画像の各画素のR成分の輝度値がR成分の輝度値とされ、0がG成分とB成分の輝度値とされたR成分画像が生成される。すると図11のd4に示すように、R成分画像から、各画素のR成分の輝度値が200とされG成分とB成分の輝度値が0とされた赤色の第2のしきい値画像が減算され、各画素のR成分の輝度値が第2の輝度値C2とされG成分とB成分の輝度値が0とされることにより各画素の色情報が第2の色情報とされた第2の色情報画像が生成される。
【0088】
すると図11のd5に示すように、第1の色情報画像と第2の色情報画像とが加算合成されて加算色情報画像が生成され、図11のd6に示すように、加算色情報画像の各画素の各色成分の輝度値が所定の指数xにより累乗されて伸長されることにより、伸長後の加算色情報による中間画像が生成される。
【図面の簡単な説明】
【0089】
【図1】本実施形態の画像生成システムの機能ブロック図。
【図2】本実施形態の中間画像を生成する手法の説明図。
【図3】本実施形態のぼかし画像を生成する手法の説明図。
【図4】本実施形態のフレーム画像を生成する手法の説明図。
【図5】本実施形態の処理の流れを示すフローチャート。
【図6】本実施形態の処理の流れを示すフローチャート。
【図7】本実施形態の処理の流れを示すフローチャート。
【図8】本実施形態の処理の流れを示すフローチャート。
【図9】本実施形態の処理の流れを示すフローチャート。
【図10】本実施形態の画像生成システムのハードウェア構成例。
【図11】変形実施形態の中間画像を生成する手法の説明図。
【符号の説明】
【0090】
100 処理部、110 オブジェクト空間設定部、112 移動・動作処理部、
114 仮想カメラ制御部、120 描画部、121 フィルタ処理部、
122 第1の色処理部、124 第2の色処理部、125 中間画像生成部、
126 ぼかし画像生成部、128 合成処理部
130 音生成部、160 操作部、170 記憶部、172 メインメモリ、
172A オブジェクトデータ記憶部、172B フレームバッファ、
174 ビデオメモリ、174A デカールテクスチャ記憶部、174B Zバッファ、
174C ワークバッファ、174D フレームバッファ、
180 情報記憶媒体、190 表示部、192 音出力部、
194 携帯型情報記憶装置、196 通信部

【特許請求の範囲】
【請求項1】
複数種類の色成分の色値によって画素の色が指定される原画像を加工するためのプログラムであって、
前記原画像を構成する各画素の前記複数種類の色成分の色値を変換したグレースケール値と第1のしきい値との差分である第1の色値を求める第1の色処理部と、
前記原画像を構成する各画素の色を構成する所定の色成分の色値と第2のしきい値との差分である第2の色値を求める第2の色処理部と、
前記第1の色値と前記第2の色値とに基づいてぼかし画像を生成するぼかし画像生成部と、
前記原画像と前記ぼかし画像とを合成する合成処理部としてコンピュータを機能させることを特徴とするプログラム。
【請求項2】
請求項1において、
前記合成処理部が、
前記原画像の各画素の色値に対して前記ぼかし画像の各画素の色値を加算することを特徴とするプログラム。
【請求項3】
請求項1または2において、
前記原画像は、オブジェクト空間に配置された光源の色をオブジェクトに反映させるシェーディングを施した画像であって、
前記第2の色処理部が、
前記光源の色を構成する複数種類の色成分のうち最も色値が高い色成分を前記所定の色成分として、前記第2の色値を求めることを特徴とするプログラム。
【請求項4】
コンピュータにより読み取り可能な情報記憶媒体であって、請求項1〜3のいずれかに記載されたプログラムを記憶することを特徴とする情報記憶媒体。
【請求項5】
複数種類の色成分の色値によって画素の色が指定される原画像を加工するための画像生成システムであって、
前記原画像を構成する各画素の前記複数種類の色成分の色値を変換したグレースケール値と第1のしきい値との差分である第1の色値を求める第1の色処理部と、
前記原画像を構成する各画素の色を構成する所定の色成分の色値と第2のしきい値との差分である第2の色値を求める第2の色処理部と、
前記第1の色値と前記第2の色値とに基づいてぼかし画像を生成するぼかし画像生成部と、
前記原画像と前記ぼかし画像とを合成する合成処理部とを含むことを特徴とする画像生成システム。

【図1】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate


【公開番号】特開2010−33301(P2010−33301A)
【公開日】平成22年2月12日(2010.2.12)
【国際特許分類】
【出願番号】特願2008−194225(P2008−194225)
【出願日】平成20年7月28日(2008.7.28)
【出願人】(000134855)株式会社バンダイナムコゲームス (1,157)
【Fターム(参考)】