画像処理装置
【課題】階層データを生成する技術および階層データを用いた表示処理技術を提供する。
【解決手段】画像処理装置１０において、画像データ生成部１３０は、各階層の画像データを生成する。階層データ生成部１４０は、複数階層の画像データを共通の座標系で表現した階層データを生成する。このとき階層データ生成部１４０は、表示処理に使用する画像データを切り替える際の演出情報を階層データに付加する。階層データ生成部１４０は、設定されたカメラパラメータが異なる仮想カメラにより撮影された２つの画像データの組み合わせに対して、演出情報を設定する。
【解決手段】画像処理装置１０において、画像データ生成部１３０は、各階層の画像データを生成する。階層データ生成部１４０は、複数階層の画像データを共通の座標系で表現した階層データを生成する。このとき階層データ生成部１４０は、表示処理に使用する画像データを切り替える際の演出情報を階層データに付加する。階層データ生成部１４０は、設定されたカメラパラメータが異なる仮想カメラにより撮影された２つの画像データの組み合わせに対して、演出情報を設定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、たとえばゲームシーンを描写するゲーム画像を複数の解像度で生成して、複数階層の画像データを共通の座標系で表現した階層データを生成する画像処理技術、および階層データを用いてディスプレイに画像を表示する画像処理技術に関する。
【背景技術】
【０００２】
ゲームプログラムを実行するだけでなく、動画を再生できる家庭用エンタテインメントシステムが提案されている。この家庭用エンタテインメントシステムでは、ＧＰＵ（Graphics Processing Unit）がポリゴンを用いた三次元画像を生成する。
【特許文献１】米国特許第６５６３９９９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
従来より、高精細な写真などのディジタル画像から生成された複数解像度のタイル画像を用いて、表示画像の拡大／縮小処理や、上下左右方向の移動処理を行う技術が提案されている。この画像処理技術では、原画像を複数段階に縮小して異なる解像度の画像を生成し、各階層の画像を一又は複数のタイル画像に分割して、原画像を階層構造で表現する。通常、最も解像度の低い画像は１つのタイル画像で構成され、最も解像度の高い原画像は、最も多い数のタイル画像で構成される。画像処理装置は、表示画像の拡大処理または縮小処理時に、使用しているタイル画像を、異なる階層のタイル画像に切り替えることで、拡大表示または縮小表示を迅速に行うようにしている。
【０００４】
従来の階層データ構造は、原画像をもとに異なる解像度の画像を生成しているため、表示画像の単純な拡大表示または縮小表示の要求は満足するが、それ以上の視覚的な効果を提供することはできない。特に、ゲームアプリケーションにおける使用場面を想定すると、ある特定のゲームシーンを単純に拡大、縮小表示するだけでなく、ユーザに対してなんらかの視覚的な効果を与えるような表示制御を行えることが好ましい。このとき階層データをゲームアプリケーションに応じて構成することで、ゲームの世界観をユーザに提供することも可能となる。この要求は、ゲームの分野のみならず、他の分野にも共通である。
【０００５】
そこで本発明は、階層データを生成する技術、および階層データを用いた表示処理技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明のある態様の画像処理装置は、階層データを生成する画像処理装置であって、各階層の画像データを生成する画像データ生成部と、複数階層の画像データを共通の座標系で表現した階層データを生成する階層データ生成部と、を備える。階層データ生成部は、表示処理に使用する画像データを切り替える際の演出情報を階層データに付加する。
【０００７】
本発明の別の態様もまた、画像処理装置である。この装置は、画像をディスプレイに表示する画像処理装置であって、複数階層の画像データを共通の座標系で表現した階層データを保持する記憶装置と、ディスプレイに表示されている表示画像の変更指示信号を受け付ける受付部と、変更指示信号に応じて、表示処理に使用する画像データを切り替える際に、切替前の画像データと切替後の画像データの間に演出情報が設定されているか判断する演出指示部と、画像データを用いて、表示画像を生成する表示画像処理部とを備える。演出指示部により演出情報が設定されていることが判断された場合に、表示画像処理部は、画像データの切り替え時に、切替前の画像データと切替後の画像データの組み合わせに対して設定されている演出情報を用いて、表示画像に演出処理を施す。
【０００８】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【０００９】
本発明によると、階層データを生成する技術、および階層データを用いた表示処理技術を提供することができる。
【発明を実施するための最良の形態】
【００１０】
図１は、本発明の実施例にかかる画像処理システム１を示す。画像処理システム１は、入力装置２０と、様々な画像処理を実行する画像処理装置１０と、画像処理装置１０による処理結果を出力する表示装置１２とを備える。表示装置１２は、画像を出力するディスプレイおよび音声を出力するスピーカを備えたテレビであってよい。表示装置１２は、画像処理装置１０に有線ケーブルで接続されてよく、また無線ＬＡＮ（Local Area Network）などにより無線接続されてもよい。なお画像処理装置１０、入力装置２０および表示装置１２は、一体に形成されてもよく、たとえば画像処理機能を搭載した携帯端末装置として構成されてもよい。
【００１１】
本実施例の画像処理装置１０は、少なくとも２種類の画像処理機能を有する。１つは、複数の画像データを共通の座標系で表現した階層データを生成する機能であり、またもう１つは、生成された階層データを用いて表示画像の変更処理を行う機能である。画像処理装置１０は、階層データ生成プログラムおよび画像変更処理プログラムをロードすることで、それぞれの画像処理機能を実行可能とする。これらのプログラムは、画像処理装置１０にライブラリとして予め保持されていてもよく、インターネットなどのネットワークを介して外部のサーバからダウンロードされてもよい。
【００１２】
本実施例において画像処理装置１０は、ゲームソフトウェアを実行するゲーム装置であり、ゲームの進行中に入力装置２０からゲーム画像の階層データを生成するためのキャプチャ指示を受け付けると、階層データ生成プログラムを起動する。このとき画像処理装置１０は、ゲーム進行を一時中断して、仮想カメラにより、その指示時点のゲームシーンから画像データを複数キャプチャさせ、複数の解像度で構成される階層データを生成する。なお画像処理装置１０は、全ての階層の画像データを、カメラ位置、画角、カメラの視線方向、カメラの傾きなどのカメラパラメータを同一にして撮影するのではなく、少なくとも１つの階層の画像データは、他の階層とは異なるカメラパラメータを設定された仮想カメラにより生成されるようにする。これにより、階層データ間の表示の連続性を敢えて途切れさせ、ゲーム独自の世界観をユーザに提供することができる。
【００１３】
図２は、入力装置２０の外観構成を示す。入力装置２０は、ユーザが操作可能な操作手段として、十字キー２１、アナログスティック２７ａ、２７ｂと、４種の操作ボタン２６を備える。４種の操作ボタン２６は、○ボタン２２、×ボタン２３、□ボタン２４および△ボタン２５から構成される。ゲームプログラムの実行時、入力装置２０の操作手段には、プレイヤキャラクタを３次元仮想空間内で動作させるための機能が割り当てられる。
【００１４】
画像処理システム１において、画像処理装置１０が、ゲームの実行を一時中断して階層データを生成した後は、入力装置２０の操作手段に、表示画像の拡大／縮小指示、および上下左右方向へのスクロール指示（以下、まとめて「画像変更指示信号」とよぶ）を入力するための機能が割り当てられる。たとえば、表示画像の拡大／縮小指示の入力機能は、右側のアナログスティック２７ｂに割り当てられる。ユーザはアナログスティック２７ｂを手前に引くことで、表示画像の縮小指示を入力でき、また手前から押すことで、表示画像の拡大指示を入力できる。また、表示画像のスクロール指示の入力機能は、左側のアナログスティック２７ａに割り当てられる。ユーザはアナログスティック２７ａを上下左右に倒すことで、倒した方向のスクロール指示を入力できる。このようにアナログスティック２７ａ、２７ｂは、表示画像を連続的にスクロールさせ、また連続的に拡大／縮小するために用いられる。
【００１５】
入力装置２０は、入力された画像変更指示信号を画像処理装置１０に伝送する機能をもち、本実施例では画像処理装置１０との間で無線通信可能に構成される。入力装置２０と画像処理装置１０は、Bluetooth（ブルートゥース）（登録商標）プロトコルやIEEE802.11プロトコルなどを用いて無線接続を確立してもよい。なお入力装置２０は、画像処理装置１０とケーブルを介して接続して、画像変更指示信号を画像処理装置１０に伝送してもよい。
【００１６】
図３は、画像処理システム１において使用する画像データの階層構造を示す。画像データは、深さ（Ｚ軸）方向に、第０階層３０、第１階層３２、第２階層３４および第３階層３６からなる階層構造を有し、この階層構造をもつ画像データを「階層データ」とよぶ。図３に示す階層データは４分木の階層構造を有し、各階層は、１以上のタイル画像３８で構成される。すべてのタイル画像３８は同じ画素数をもつ同一サイズに形成され、たとえば２５６×２５６画素を有する。なお階層データを構成する階層数は２以上であればよい。
【００１７】
各階層の画像データは、共通の座標系において異なる解像度で表現されている。たとえば第Ｎ階層の解像度（Ｎは０以上の整数）は、左右（Ｘ軸）方向、上下（Ｙ軸）方向ともに、第（Ｎ＋１）階層の解像度の１／２であってよい。
【００１８】
階層データの階層構造は、図３に示すように、左右方向をＸ軸、上下方向をＹ軸、深さ方向をＺ軸として設定され、仮想的な３次元空間を構築する。画像処理装置１０は、入力装置２０から供給される画像変更指示信号から表示画像の変更量を導出すると、その変更量を用いて、階層を特定する情報と、その階層におけるテクスチャ座標（ＵＶ座標）を導出する。この階層特定情報およびテクスチャ座標の組み合わせを、空間座標と呼ぶ。なお各階層において、各頂点座標は同一であり、各階層の矩形画像データの頂点座標は、それぞれ（ｕ０，ｖ０）、（ｕ０，ｖ１）、（ｕ１，ｖ１）、（ｕ１，ｖ０）である。仮想空間における空間座標は、表示画像の生成処理に利用される。なお画像処理装置１０は、表示画像の変更量を用いて仮想空間におけるフレームの４隅の３次元座標を導出してもよい。この４隅のフレーム座標も、空間座標と呼ぶ。
【００１９】
画像処理装置１０は、３次元ゲーム空間に仮想カメラを設置し、仮想カメラから仮想スクリーンに投影されるゲーム画像を取得して、各階層の画像データを生成する。本実施例の画像処理システム１では、異なる階層間でカメラパラメータを変更してもよく、また同じ階層内でカメラパラメータを変更してもよい。
【００２０】
仮想カメラの視点位置、画角、視線方向および傾き（以下、カメラパラメータ）を固定として２つの階層の画像データを異なる解像度で生成すると、この２つの画像データは、同じ撮影領域のゲーム画像を異なる解像度で表現するだけであるため、これらの階層をまたがって表示画像を拡大、縮小表示する場合に、表示の連続性はとぎれない。一方、仮想カメラのカメラパラメータを変更して２つの階層の画像データを生成すると、この２つの画像データは、異なる撮影領域のゲーム画像を表現するため、これらの階層をまたがって表示画像を拡大、縮小表示する場合には、表示の連続性がとぎれることになる。なお、同一階層内でカメラの視点位置を変更して２つの画像データを生成する場合にも、この２つの画像データは異なる撮影領域のゲーム画像を表現するため、画像データを切り替える際に、表示の連続性がとぎれる。
【００２１】
したがって画像処理装置１０は、表示画像の生成に用いている画像データを、設定されたカメラパラメータの異なる仮想カメラで撮影された画像データに切り替える場合には、画像の切り替わりにおける不連続さをユーザに感じさせないように、所定の演出を挿入する。これにより、単純に拡大、縮小する表示だけでなく、ゲーム独自の世界観を表現する画像をユーザに提供できるようになる。
【００２２】
図４は、階層間の関係を説明するための説明図を示す。この階層データ構造において、各階層はＬ０（第０階層３０）、Ｌ１（第１階層３２）、Ｌ２（第２階層３４）、Ｌ３（第３階層３６）と表現されている。図４に示す階層データ構造において、深さ（Ｚ軸）方向における位置は、解像度を示し、Ｌ０に近い位置ほど解像度が低く、Ｌ３に近い位置ほど解像度は高い。ディスプレイに表示される画像の大きさに注目すると、深さ方向における位置は、拡大率に対応し、Ｌ０の表示画像の拡大率を１とすると、Ｌ１における拡大率は４、Ｌ２における拡大率は１６となり、Ｌ３における拡大率は６４となる。したがって深さ方向において、表示画像がＬ０側からＬ３側へ向かう方向に変化する場合、表示画像は拡大していき、Ｌ３側からＬ０側へ向かう方向に変化する場合は、表示画像は縮小していく。
【００２３】
第１境界３１、第２境界３３、第３境界３５は、Ｌ０を基準とした拡大率として定義され、表示画像の生成に使用するタイル画像の階層を定めるための判定基準として利用される。第１境界３１は拡大率２に設定され、表示画像の要求拡大率が２より小さければ、Ｌ０タイル画像が使用される。第２境界３３は拡大率８に設定され、表示画像の要求拡大率が２以上であり且つ８より小さければ、Ｌ１タイル画像が使用される。同様に第３境界３５は拡大率３２に設定され、表示画像の要求拡大率が８以上であり且つ３２より小さければ、Ｌ２タイル画像が使用される。また表示画像の要求拡大率が３２以上であれば、Ｌ３タイル画像が使用される。したがって画像処理装置１０は、これから表示する画像の要求拡大率が定まれば、その拡大率に対応する解像度のタイル画像を記憶装置から読み出して、その拡大率に調整した表示画像を生成することができる。なお、拡大率は、図３に示す３次元空間において、深さ方向のＺ値として定められてもよい。
【００２４】
図５は、画像処理装置１０の機能ブロック図を示す。画像処理装置１０は、無線インタフェース４０、スイッチ４２、表示処理部４４、ハードディスクドライブ５０、記録媒体装着部５２、ディスクドライブ５４、メインメモリ６０、バッファメモリ７０および制御部１００を有して構成される。表示処理部４４は、表示装置１２のディスプレイに表示するデータをバッファするフレームメモリを有する。
【００２５】
スイッチ４２は、イーサネットスイッチ（イーサネットは登録商標）であって、外部の機器と有線または無線で接続して、データの送受信を行うデバイスである。スイッチ４２は、ルータを介してインターネットなどの外部ネットワークに接続し、階層データ生成プログラムや画像変更処理プログラムをダウンロードしてもよい。またスイッチ４２は無線インタフェース４０に接続し、無線インタフェース４０は、所定の無線通信プロトコルで入力装置２０と接続する。入力装置２０においてユーザから入力された画像変更指示信号は、無線インタフェース４０、スイッチ４２を経由して、制御部１００に供給される。
【００２６】
制御部１００は、マルチコアＣＰＵを備え、１つのＣＰＵの中に１つの汎用的なプロセッサコアと、複数のシンプルなプロセッサコアを有する。汎用プロセッサコアはＰＰＵ（Power Processing Unit）と呼ばれ、残りのプロセッサコアはＳＰＵ（Synergistic-Processing Unit）と呼ばれる。
【００２７】
制御部１００は、メインメモリ６０およびバッファメモリ７０に接続するメモリコントローラを備える。ＰＰＵはレジスタを有し、演算実行主体としてメインプロセッサを備えて、実行するアプリケーションにおける基本処理単位としてのタスクを各ＳＰＵに効率的に割り当てる。なお、ＰＰＵ自身がタスクを実行してもよい。ＳＰＵはレジスタを有し、演算実行主体としてのサブプロセッサとローカルな記憶領域としてのローカルメモリを備える。ローカルメモリは、バッファメモリ７０として使用されてもよい。メインメモリ６０およびバッファメモリ７０は記憶装置であり、ＲＡＭ（ランダムアクセスメモリ）として構成される。ＳＰＵは制御ユニットとして専用のＤＭＡ（Direct Memory Access）コントローラをもち、メインメモリ６０とバッファメモリ７０の間のデータ転送を高速に行うことができ、また表示処理部４４におけるフレームメモリとバッファメモリ７０の間で高速なデータ転送を実現できる。本実施例の制御部１００は、複数のＳＰＵを並列動作させることで、高速な画像処理機能を実現する。表示処理部４４は、表示装置１２に接続されて、ユーザからの要求に応じた画像処理結果を出力する。
【００２８】
ハードディスクドライブ５０は、データを記憶する補助記憶装置として機能する。記録媒体装着部５２は、メモリカードなどのリムーバブル記録媒体が装着されると、リムーバブル記録媒体からデータを読み出す。ディスクドライブ５４は、読出専用のＲＯＭディスクが装着されると、ＲＯＭディスクを駆動して認識し、データを読み出す。ＲＯＭディスクは、光ディスクや光磁気ディスクなどであってよく、ゲームソフトウェアを記録している。
【００２９】
図６は、本実施例の画像処理のフローチャートを示す。画像処理装置１０に電源が投入されてオペレーティングシステム（ＯＳ）が起動され、ユーザによりディスクドライブ５４にＲＯＭディスクが装着されると、制御部１００は、ＲＯＭディスクに記録されたゲームソフトウェアをハードディスクドライブ５０に読み出し、ゲームソフトウェアを実行する（Ｓ１０）。このとき制御部１００は、必要なゲームプログラムをメインメモリ６０にロードし、描画データや画像データをバッファメモリ７０にロードする。
【００３０】
本実施例において画像処理装置１０はゲーム装置であり、仮想３次元空間をプレイヤキャラクタが行動するようなゲーム映像を３次元（３Ｄ）グラフィックスにより提供する。制御部１００は、ゲームプログラムの実行にともなって発生する命令やデータに基づいて画像処理を行い、画像データを生成する。この画像処理には、たとえばテクスチャマッピングや光源処理など、３次元コンピュータグラフィックスを実現するための処理が含まれる。
【００３１】
制御部１００は、ゲームプログラムの実行中に入力装置２０からキャプチャ指示を受けると、ゲーム進行を一時中断して、階層データ生成プログラムを起動する。このとき制御部１００は、キャプチャ指示を受けた時点のゲーム画像の階層データを生成し（Ｓ１２）、ハードディスクドライブ５０に格納する。階層データの生成後、制御部１００は、入力装置２０から画像変更指示を受け付けると、画像変更処理プログラムを起動する。制御部１００は、ハードディスクドライブ５０に格納した階層データを用いて、入力装置２０から供給される画像変更指示信号にしたがって、表示画像の拡大、縮小などの表示処理を実行する（Ｓ１４）。
【００３２】
図７は、階層データを生成する制御部１００の構成を示す。制御部１００は、アプリケーション処理部１２０、画像データ生成部１３０および階層データ生成部１４０を備える。アプリケーション処理部１２０は、指示受付部１２２、ゲーム実行部１２４、カメラ制御情報取得部１２６および演出情報取得部１２８を有する。
【００３３】
アプリケーション処理部１２０は、ハードディスクドライブ５０に保持されたゲームソフトウェアを読み出して実行し、またハードディスクドライブ５０から階層データ生成処理および画像変更処理に必要なデータを取得する。これらの画像処理に必要なデータは、ゲームソフトウェアとともにＲＯＭディスクに記録されており、ゲームソフトウェアとともにハードディスクドライブ５０に予め読み出されている。
【００３４】
画像データ生成部１３０は、カメラパラメータ設定部１３２、描画条件設定部１３４、ゲーム画像生成部１３６およびタイル画像生成部１３８を有する。画像データ生成部１３０は、仮想３次元ゲーム空間内に仮想カメラを設置して、仮想カメラから仮想スクリーンに投影されるゲーム画像を生成する。ゲームの実行中、生成されたゲーム画像は、表示処理部４４から表示装置１２に出力され、動画像としてユーザに提供される。また、階層データの生成時、生成されたゲーム画像は、タイル画像に分割されて、階層データ生成部１４０に渡される。
【００３５】
階層データ生成部１４０は、画像データ生成部１３０で生成されたタイル画像を受け取り、階層データを生成する。このとき階層データ生成部１４０は、複数階層のタイル画像を共通の２次元座標系で表現して階層データを生成し、また、階層データを用いて表示処理を行う際に、使用するタイル画像を切り替える際の演出情報を階層データに付加する。
【００３６】
図７において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、ＣＰＵ（Central Processing Unit）、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。既述したように、制御部１００は１つのＰＰＵと複数のＳＰＵとを有し、ＰＰＵおよびＳＰＵがそれぞれ単独または協同して、各機能ブロックを構成できる。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。たとえば画像データ生成部１３０は、ＧＰＵ（Graphics Processing Unit）として構成されてよく、階層データ生成部１４０は、階層データ生成プログラムをロードすることで構成されてよい。
【００３７】
指示受付部１２２が入力装置２０からゲームの実行指示を受け付けると、ゲーム実行部１２４が、ゲームソフトウェアを実行する。ゲーム実行部１２４は、入力装置２０からの操作指示、およびゲームの進行に応じて、描画に関する命令およびデータ（以下、「描画指示情報」とよぶ）を画像データ生成部１３０に供給する。画像データ生成部１３０は３ＤＣＧ（３次元コンピュータグラフィックス）処理機能を有し、高速レンダリング処理など既知の３ＤＣＧ技術を用いて、仮想カメラにより撮影される画像データを生成する。
【００３８】
カメラパラメータ設定部１３２は、描画指示情報をもとに仮想３次元空間内に仮想カメラを設置する。描画指示情報には、仮想カメラの視点位置、画角（視領域）、視線方向、カメラの傾き等、カメラアングルを決定するためのカメラパラメータが含まれる。ゲーム実行部１２４は、入力装置２０からの指示情報にしたがって描画指示情報を変更し、カメラアングルを切り替えるようにしてもよい。描画条件設定部１３４は、仮想カメラで取得する画像サイズを設定し、ここでは画像サイズが、表示装置１２のディスプレイサイズに合わせられる。ゲーム画像生成部１３６は、仮想カメラで撮影する画像を、描画フレームごとにゲーム画像として取得する。この描画フレームは、１／６０秒ごとに更新される。ゲーム画像生成部１３６は、ゲーム画像を表示処理部４４に供給し、表示処理部４４は、フレームメモリに展開したゲーム画像を表示装置１２に供給する。これによりユーザは、動画像を見ながら、ゲームをリアルタイムでプレイできる。
【００３９】
図８は、ゲームソフトウェアを実行することにより生成される仮想３次元空間の一例を示す。ゲーム実行部１２４は、ゲーム空間を構成するオブジェクトである建物２０４、木２０６、木２０８を所定位置に配置してシーンレイアウトを作成し、プレイヤキャラクタ２００を入力装置２０からの操作指示にしたがって動作させる。この例では、プレイヤキャラクタ２００が、敵キャラクタ２０２と対決する戦闘シーンが構築されている。画像データ生成部１３０は、ゲーム実行部１２４から供給される指示情報にしたがって、プレイヤキャラクタ２００および敵キャラクタ２０２を動かし、動的な仮想３次元空間を形成する。カメラパラメータ設定部１３２は、描画指示情報にしたがって、仮想３次元空間内に仮想カメラを設置する。
【００４０】
図９は、カメラパラメータ設定部１３２が仮想３次元空間内に設置した仮想カメラ２１０を示す。このカメラアングルでは、仮想カメラ２１０が、プレイヤキャラクタ２００を背後から撮影する。図１０は、図９に示す仮想カメラ２１０により撮影されるゲーム画像を示す。このゲームシーンでは、プレイヤキャラクタ２００と敵キャラクタ２０２とが対峙している様子が示される。
【００４１】
ユーザは、図１０に示すゲーム画像が表示装置１２に表示されているときに、入力装置２０の所定の操作手段を操作することで、ゲーム画像のキャプチャ指示を入力する。指示受付部１２２が、キャプチャ指示を受け付けると、カメラ制御情報取得部１２６は、ハードディスクドライブ５０に保持されているカメラ制御情報を取得する。画像処理装置１０において、キャプチャ指示は、ゲーム画像の階層データを生成するための指示情報として取り扱われる。なお指示受付部１２２がキャプチャ指示を受け付けると、ゲーム実行部１２４は、ゲームの進行を中断し、画像データ生成部１３０に階層データを構成するための画像データの生成を指示する。このとき表示装置１２には、キャプチャ指示が入力された時点のゲーム画像、すなわち図１０に示すゲーム画像が静止画として表示される。
【００４２】
カメラ制御情報は、階層データを構成する複数階層の画像データを取得するための描画指示情報である。カメラ制御情報は、カメラパラメータに加えて、取得する画像データの解像度を特定するパラメータも含まれる。解像度を特定するパラメータは、画像サイズを特定する情報であってよい。以下の例では、ゲーム画像生成部１３６が、カメラパラメータを設定した仮想カメラに、仮想３次元空間を解像度情報にしたがって撮影させることで、第０階層、第１階層、第２階層の画像データを生成する。第１階層、第２階層の画像データは、キャプチャ指示が入力された時点の仮想カメラのカメラアングルで生成される。したがって第１階層と第２階層の画像データは、同一の領域を描画したものであり、第２階層は第１階層と比較して、画像サイズは４倍（解像度は２倍）に設定される。
【００４３】
また第０階層の画像データは、キャプチャ指示が入力された時点の仮想カメラの位置から、プレイヤキャラクタ２００に対して後方の位置に仮想カメラを再配置して生成される。第０階層と第１階層との間は、カメラアングルが変更されているため、第０階層と第１階層との間で画像データを切り替えたときの表示の連続性がとれないため、第０階層は第１階層と比較して、画像サイズが必ずしも１／４倍に設定されていなくてもよい。描画条件設定部１３４は、カメラ制御情報に含まれる解像度情報をもとに、生成するゲーム画像の描画条件（画像サイズ）を設定する。
【００４４】
図１１は、カメラ制御情報にしたがって第０階層の画像データを生成するために仮想３次元空間内に設置された仮想カメラ２１０を示す。図１１に示す仮想カメラ２１０は、図９に示す仮想カメラ２１０の設置位置と比較すると、それよりもプレイヤキャラクタ２００の後方に引いた位置に設けられていることが分かる。図１２は、図１１に示す仮想カメラ２１０により撮影されるゲーム画像を示す。仮想カメラの位置を後方に引くことで、広い領域を描画できるようになり、ユーザに対して周囲の状況も含む客観的な画像を提供できるようになる。
【００４５】
まず、画像データ生成部１３０は、ゲーム実行部１２４から画像データの生成指示を受け取り、さらにカメラ制御情報取得部１２６で取得されたカメラ制御情報を受け取る。上記したように、カメラ制御情報には、階層ごとのカメラアングルを定める描画指示情報と、生成画像の解像度を特定する描画条件情報とが含まれる。解像度を特定する情報は、取得する画像サイズであってよい。
【００４６】
図１３は、階層ごとに設定されたカメラ制御情報の具体例を示す。カメラ制御情報は、ゲームソフトウェアとともにＲＯＭディスクに記録されており、ゲーム実行前に、ゲームソフトウェアとともにハードディスクドライブ５０に予め読み出されている。
【００４７】
解像度情報は、画像サイズの情報として設定され、第０階層、第１階層、第２階層において、それぞれ２ｋ（１９２０画素）×１ｋ（１０８０画素）、４ｋ×２ｋ、８ｋ×４ｋに設定されている。この例では、第１階層の解像度が第０階層の２倍となっており、また第２階層の解像度が第１階層の２倍となっている。なお既述したように、第１階層と第２階層の画像データは、同一の撮影領域であるため、第１階層に対して第２階層の解像度が２倍となるように設定され、このとき第１階層と第２階層のＬＯＤ（Level Of Detail）は、異なるように設定される。ＬＯＤは、画像データの詳細度を表現するが、ここでは第１階層よりも第２階層のゲーム画像自体の解像度（詳細度）を大きくすることで、ＬＯＤが変更される。一方、第０階層と第１階層の画像データは、異なる撮影領域であるため、第０階層に対して第１階層の解像度が２倍となる必要は必ずしもない。カメラ制御情報には、カメラアングルの情報が含まれ、第０階層のカメラアングルが、キャプチャ指示時点のカメラ位置から仮想３次元空間においてプレイヤキャラクタ２００から所定距離だけ後方に引いた位置であることが設定されている。
【００４８】
カメラパラメータ設定部１３２および描画条件設定部１３４は、各階層に対して定められたカメラ制御情報にしたがって、それぞれ仮想カメラのカメラアングルおよび解像度を設定し、ゲーム画像生成部１３６は、それぞれの階層のゲーム画像を生成する。具体的に、第０階層のゲーム画像が、図１２に示すゲームシーンとして２ｋ×１ｋのサイズで生成され、第１階層のゲーム画像が、図１０に示すゲームシーンとして４ｋ×２ｋのサイズで生成され、第２階層のゲーム画像が、図１０に示すゲームシーンとして８ｋ×４ｋのサイズで生成される。
【００４９】
なおゲーム画像生成部１３６は、仮想カメラで撮影される画像をバッファメモリ７０に展開してゲーム画像を生成するが、バッファメモリ７０が、たとえば８ｋ×４ｋの画像データに十分なメモリサイズを有していない場合もある。そのような場合には、カメラパラメータ設定部１３２が、撮影領域を複数に分割し、カメラ制御情報により設定されるカメラアングルを適宜調整する。
【００５０】
図１４は、８ｋ×４ｋの撮影領域を４つの撮影領域に分割する例を示す。このときカメラパラメータ設定部１３２は、仮想カメラの設置位置はそのままに、４ｋ×２ｋの４つの撮影領域を撮像するように仮想カメラの視線方向および画角を調整する。これにより大きなサイズのゲーム画像も、仮想カメラにより撮影することが可能となる。
【００５１】
タイル画像生成部１３８は、それぞれの階層の画像データを、所定サイズのタイル画像に分割する。生成されたタイル画像は、階層データ生成部１４０に供給される。なおタイル画像生成部１３８は、生成したタイル画像を、所定の圧縮形式で圧縮してもよい。タイル画像生成部１３８は、タイル画像ごとに圧縮してもよく、また同一階層内の複数のタイル画像を圧縮してもよい。
【００５２】
階層データ生成部１４０は、複数階層の画像データ（タイル画像）を共通の座標系で表現して、これらを互いに関連づけた階層データを生成する。階層データ生成部１４０は、たとえば図３に示すような階層データを生成するが、各階層の画像データは、縦横比を同一とする矩形の画像サイズを有している。各階層において、各頂点座標は同一とされ、たとえば４点の頂点座標は、それぞれ（ｕ０，ｖ０）、（ｕ０，ｖ１）、（ｕ１，ｖ１）、（ｕ１，ｖ０）とされる。このように複数の画像データを共通の座標系で表現することにより、各階層の画像データを互いに関連づけることができ、階層データを用いた表示画像の拡大処理や縮小処理を実現可能とする。階層データの生成の際、演出情報取得部１２８は、表示処理に使用する画像データを切り替える際の演出データをハードディスクドライブ５０から取得して、階層データ生成部１４０に供給する。
【００５３】
図１５は、階層間の切り替わり時に設定されている演出データの一例を示す。演出データは、ゲームソフトウェアとともにＲＯＭディスクに記録されており、ゲーム実行前に、ゲームソフトウェアとともにハードディスクドライブ５０に予め読み出されている。
【００５４】
図１５において、階層間情報は、切替前の階層と切替後の階層を特定し、たとえば「第０階層と第１階層の間」は、表示に用いる画像データが第０階層から第１階層に切り替わること、および第１階層から第０階層に切り替わること、を意味する。また演出情報は、階層の切り替わりの際に実行する演出を特定する情報であり、「クロスフェード」は、階層切り替わり時にクロスフェードを実行すること、「なし」は、階層切り替わり時に演出を実行しないこと、を意味する。
【００５５】
階層データ生成部１４０は、演出情報取得部１２８から供給される演出データを用いて、階層間の切り替え時に実行する演出情報を階層データに付加する。これにより階層データが生成される。具体的に階層データ生成部１４０は、演出データにしたがって、設定されたカメラパラメータが異なる仮想カメラにより撮影された２つの画像データの組み合わせに対して演出情報を設定する。実施例では、第０階層と第１階層の画像データを撮影するためのカメラパラメータが異なっているため（図１３参照）、第０階層と第１階層の画像データの組み合わせに対して、演出情報が設定されている。
【００５６】
なお階層データ生成部１４０が、演出情報取得部１２８から供給される演出データにもとづいて演出情報を階層データに付加することとしたが、たとえば図１３に示すカメラ制御情報から、階層間においてカメラパラメータが異なって設定されていることを判断して、演出情報を階層データに付加してもよい。この場合に付加する演出情報は、クロスフェードなど、予め定まっているものとする。これにより階層データ生成部１４０は、第０階層と第１階層の画像データの組み合わせに対して、演出情報を設定することが可能となる。これにより、表示画像に用いる画像データが撮影領域の異なる階層間で遷移する場合において、表示画像の不連続さに起因する違和感をユーザに感じさせることなく、ゲーム特有の世界観をユーザに与えることが可能である。
【００５７】
一方、階層データ生成部１４０は、設定されたカメラパラメータが同じ仮想カメラにより撮影された２つの画像データの組み合わせに対しては、演出情報を設定しない。具体的に、第１階層と第２階層の画像データを撮影するためのカメラパラメータは同じであるため（図１３参照）、図１５に示す演出データにも示されるように、第１階層と第２階層の画像データの組み合わせに対しては演出情報が付加されないようになっている。
【００５８】
階層データ生成部１４０は、既述したように、図１３に示すカメラ制御情報から、階層間においてカメラパラメータが同じに設定されていることを判断して、演出情報を階層データに付加しないようにしてもよい。カメラパラメータが同一である場合は、表示画像に用いる画像データが階層間で遷移する場合において、連続した拡大処理、縮小処理を実行できるため、演出情報を付加しなくても、ユーザにスムーズな拡大、縮小表示という演出を提供することが可能となる。
【００５９】
階層データ生成部１４０は、生成した階層データをハードディスクドライブ５０に格納する。階層データ生成部１４０は、階層データをハードディスクドライブ５０に格納すると、ユーザに対して画像変更処理が可能になったことを表示装置１２から通知させる。
【００６０】
図１６は、表示画像を変更する制御部１００の構成を示す。制御部１００は、指示受付部１５０および表示画像処理部１６０を備える。表示画像処理部１６０は、画像データ取得部１６２、デコード部１６４、変更量導出部１６６、空間座標決定部１６８、演出指示部１７０および表示画像生成部１７２を有する。表示画像処理部１６０は、階層データを用いて表示画像の変更処理を行う。
【００６１】
図１６において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、ＣＰＵ（Central Processing Unit）、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。既述したように、制御部１００は１つのＰＰＵと複数のＳＰＵとを有し、ＰＰＵおよびＳＰＵがそれぞれ単独または協同して、各機能ブロックを構成できる。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。たとえば表示画像処理部１６０は、画像変更処理プログラムをロードすることで構成されてよい。
【００６２】
ユーザが入力装置２０を操作して、画像変更処理の実行を指示すると、指示受付部１５０がその指示を受け付け、画像処理装置１０が、画像変更処理プログラムを起動して、階層データを用いた画像変更処理を開始する。このとき階層データはハードディスクドライブ５０から読み出されて、メインメモリ６０に保持される。
【００６３】
ユーザが入力装置２０のアナログスティック２７を操作すると、画像変更指示信号が画像処理装置１０に送信される。指示受付部１５０は、入力装置２０から、ディスプレイに表示されている表示画像の変更指示信号を受け付け、表示画像処理部１６０に供給する。
【００６４】
画像データ取得部１６２は、変更指示信号をもとに、表示画像の生成に用いるタイル画像をメインメモリ６０から読み出す。デコード部１６４は、タイル画像をデコードし、バッファメモリ７０に保持させる。たとえば画像データ取得部１６２は、変更指示信号で表示が要求される画像の拡大率を予測して、将来必要となるであろうタイル画像を先読みして、バッファメモリ７０に保持させることが好ましい。
【００６５】
変更量導出部１６６は、変更指示信号をもとに、要求される表示画像の変更量を導出する。表示画像の変更量は、１フレームごとの上下左右方向の移動量および深さ方向の移動量である。空間座標決定部１６８は、前回フレームのテクスチャ座標から、導出された変更量により移動する今回フレームのテクスチャ座標を決定する。表示画像生成部１７２は、テクスチャ座標をもとに、バッファメモリ７０に保持されたタイル画像を用いて、表示画像を生成し、表示処理部４４のフレームメモリ９０に供給する。
【００６６】
なお本実施例の階層データには、既述したように、階層間で画像データを切り替える際の演出情報が設定されている。演出指示部１７０は、変更指示信号に応じて表示処理に使用する画像データを切り替える際に、切替前の画像データと切替後の画像データの間に演出情報が設定されているか判断する。図１５に関連して説明したように、本実施例では、第１階層と第２階層の切り替わり時には演出情報が設定されていないが、第０階層と第１階層の切り替わり時には演出情報（クロスフェード）が設定されている。したがって、演出指示部１７０は、第０階層から第１階層にタイル画像を切り替える際、また第１階層から第０階層にタイル画像を切り替える際に、表示画像生成部１７２に対してクロスフェードの実行を指示する。これにより表示画像生成部１７２は、表示画像に演出処理を施し、具体的にはタイル画像の切り替え時に、元のタイル画像をフェードアウトし、また新しいタイル画像をフェードインして、クロスフェードを実行して、タイル画像の遷移にともなう不連続さをユーザに感じさせないようにする。
【００６７】
第０階層と第１階層の画像データは、異なるカメラパラメータで撮影された画像であり、単純に拡大、縮小すると表示の不連続さをユーザに与えることになる。したがって、クロスフェードなどの画像処理を施すことで、この不連続性を緩和することができる。また一方で表示画像を単純に拡大、縮小するだけではなく、単純な操作で新たな視点に移行できるため、ゲームならではの世界観をユーザに提供することも可能となる。
【００６８】
以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００６９】
上記した実施例では、第０階層と第１階層との間で仮想カメラのパラメータ情報を変更して、画像データを生成したが、仮想カメラのパラメータ情報は、同一階層内において変更されてもよい。
【００７０】
図１７は、カメラ制御情報にしたがって画像データを生成するために仮想３次元空間内に設置された仮想カメラ２１０ａ〜２１０ｆを示す。仮想カメラ２１０ａ、２１０ｂ、２１０ｃは、第３階層の画像データを生成するために設置され、仮想カメラ２１０ｄ、２１０ｅは、第２階層の画像データを生成するために設置され、仮想カメラ２１０ｆは、第０階層の画像データを生成するために設置される。この変形例では、各仮想カメラ２１０のカメラパラメータのうち、階層間だけでなく、同一階層内においても、カメラ位置がそれぞれ異なるように設定されている。
【００７１】
図１８は、第３階層の画像データを撮影する仮想カメラ２１０ａ、２１０ｂ、２１０ｃによる撮影領域２２０ａ、２２０ｂ、２２０ｃを示す。この変形例では、同一階層の画像データを、カメラ位置を変えて撮影するため、同一階層内においても表示画像に用いる画像データを切り替える際に、画像データ間の連続性が損なわれる。そのため、隣り合う仮想カメラの撮影領域に重複領域を設けるように仮想カメラのパラメータを設定して、画像データの切替前、および切替後においては、表示画像を一方の画像データから生成可能とする。
【００７２】
この変形例において、まず画像データ生成部１３０は、ゲーム実行部１２４から画像データの生成指示を受け取り、さらにカメラ制御情報取得部１２６で取得されたカメラ制御情報を受け取る。カメラ制御情報には、仮想３次元空間内のカメラアングルを定める描画指示情報と、生成画像の解像度を特定する描画条件情報とが含まれる。解像度を特定する情報は、取得する画像サイズであってよい。この変形例では、たとえば第３階層、第２階層内においても複数の描画指示情報および描画条件情報がカメラ制御情報に含まれる。
【００７３】
カメラパラメータ設定部１３２および描画条件設定部１３４は、カメラ制御情報にしたがって、それぞれ仮想カメラのカメラアングルおよび解像度を設定し、ゲーム画像生成部１３６は、各仮想カメラによるゲーム画像を生成する。タイル画像生成部１３８は、それぞれの仮想カメラにより撮影された画像データを、所定サイズのタイル画像に分割する。生成されたタイル画像は、階層データ生成部１４０に供給される。なおタイル画像生成部１３８は、生成したタイル画像を、所定の圧縮形式で圧縮してもよい。
【００７４】
階層データ生成部１４０は、仮想カメラで撮影された画像データを階層ごとにまとめ、複数階層の画像データ（タイル画像）を共通の座標系で表現して、これらを互いに関連づけた階層データを生成する。このとき演出情報取得部１２８は、表示処理に使用する画像データを切り替える際の演出データをハードディスクドライブ５０から取得して、階層データ生成部１４０に供給する。
【００７５】
階層データ生成部１４０は、演出情報取得部１２８から供給される演出データを用いて、画像データの切り替え時に実行する演出情報を階層データに付加する。これにより階層データが生成される。この変形例では、異なる階層間だけでなく、同一の階層内においても表示画像に用いる画像データを切り替える際に、表示の連続性が途切れることとなるため、ＸＹ方向、およびＺ方向に隣り合う全ての画像データの組み合わせに対して、演出情報が設定される。すなわち階層データ生成部１４０は、表示処理に使用する画像データを異なる階層の画像データに切り替える際の演出情報を階層データに付加するだけでなく、表示処理に使用する画像データを、異なるカメラ位置から撮影された同一階層の画像データに切り替える際の演出情報も階層データに付加する。生成された階層データはハードディスクドライブ５０に格納される。階層データ生成部１４０は、階層データをハードディスクドライブ５０に格納すると、ユーザに対して画像変更処理が可能になったことを表示装置１２から通知する。表示画像処理部１６０は、演出情報にしたがって、階層データから表示画像を生成する。
【００７６】
なお図１７に示す例では、仮想カメラ２１０ｂが、木２０８の内部に配置されている。仮想カメラ２１０ｂは、この位置で撮影しても、適切なゲーム画像を取得することはできない。そこで、カメラパラメータ設定部１３２は、仮想カメラ２１０と仮想３次元空間内のオブジェクトとの接触判定機能を有し、仮想カメラ２１０の視点がオブジェクトの内部にあることが判定された場合には、ゲーム画像生成部１３６が、その撮影画像を、所定色の画像、たとえば白ベタ画像に変更する。図１８を参照すると、撮影領域２２０ｂの撮影画像が白ベタ画像となる。この画像データを用いて階層データを生成した後は、仮想カメラ２１０ｂで撮影された画像データを用いて表示画像を生成すると、表示画像が白ベタ画像となるが、これによりユーザは、なんらかの異常が生じていることを容易に認識できるようになる。
【００７７】
また、この場合に、白ベタ画像とするのではなく、たとえば図３に示す仮想３次元空間において、仮想カメラ２１０ｂにより生成された画像データを表示画像に用いる領域を不可視領域として設定し、空間座標決定部１６８が、入力装置２０から供給される画像変更指示信号による表示領域と、不可視領域とのコリジョン判定を行ってもよい。コリジョンが判定された場合、変更量導出部１６６は、不可視領域には移動できないように変更量を導出する。これによりユーザは、画像変更に際して障害物が存在して見ることができない領域があることを判断し、結果として不可視領域を迂回するように、画像の変更指示を入力装置２０から入力することが可能となる。
【００７８】
実施例では、第０階層の画像データを、キャプチャ指示受付時点のカメラ位置からプレイヤキャラクタ２００の後方に所定距離引いた位置から撮影するようにした。これにより、ゲームの進行に合わせた表示画像の変更処理を実現するが、たとえば第０階層の画像データを、ゲームの全体マップを表現したマップ画像としてもよい。このマップ画像は予めゲームソフトウェアに含まれており、ユーザが、全体のストーリを把握するのに役立つものである。したがって、この場合は、画像データ生成部１３０が、第０階層の画像データを新たに生成する必要がなく、処理負荷を軽減できるとともに、ユーザは表示画像を縮小することで、ゲームのマップを見ることができ、ゲームならではの演出をユーザに提供することが可能となる。なお、第０階層の画像データは、ゲームマップに限らず、予めゲームソフトウェアで用意されているものであってよい。
【００７９】
実施例では、画像変更指示信号の入力機能を、アナログスティック２７ａ、２７ｂに割り当てるとしたが、この入力機能は、ゲームの操作系に合わせて設定されてもよい。たとえば、ゲーム実行中のプレイヤキャラクタ２００の移動操作が十字キー２１に割り当てられている場合、階層データを用いた表示変更処理において、表示画像のスクロール指示の入力機能も十字キー２１に割り当てられることが好ましい。ゲームの操作系はゲーム実行部１２４により知られている。そのためゲーム実行部１２４は、指示受付部１５０にゲームの操作系を通知し、指示受付部１５０が、画像変更指示のための操作系をデフォルト設定からゲーム操作系に合わせて変更することで、それぞれの操作系を共通とすることが可能となる。
【００８０】
実施例において、各階層の画像データは、キャプチャ指示受付時点の仮想３次元空間からキャプチャされて生成されているが、複数の階層の画像データを、異なる時点で生成することも可能である。このとき、ゲーム実行部１２４は、キャプチャ指示を受け付けた時点の画像を表示装置１２に表示させるが、ユーザの操作に関係なく、その時点から予測される将来のゲーム進行を実行する。たとえば図１０のゲームシーンに関していうと、画像データ生成部１３０は、表示装置１２に表示はされないが、プレイヤキャラクタ２００と敵キャラクタ２０２がさらに接近して、お互いが持っている武器を構えるシーンを生成する。画像データ生成部１３０は、キャプチャ指示受付時点のゲームシーン（図１０参照）を第２階層の画像データとして生成し、さらにプレイヤキャラクタ２００と敵キャラクタ２０２が接近したゲームシーンを第３階層の画像データとして生成する。これにより、階層データの生成後、ユーザは、第２階層の画像データを拡大していくと、第３階層の画像データに遷移したときに、将来予測されるゲームシーンを見ることができ、ゲームをより面白くすることができる。
【００８１】
また実施例では、１つの階層データを生成したが、右目用、左目用の階層データをそれぞれ生成してもよい。表示画像生成部１７２は、拡大率に応じて、両眼視差分ずらして、それぞれの階層データから画像を合成して表示画像を生成することで、ステレオグラムをユーザに提供することが可能となる。
【００８２】
また実施例では、視線方向を共通とする１つの階層データを生成したが、異なる視線方向から複数の階層データを生成してもよい。このとき、入力装置２０の操作手段に対して、視線方向の切替機能を割り当てることで、ユーザは、視点を変更して、画像の拡大、縮小表示を楽しむことができる。
【００８３】
また、表示画像生成部１７２は、階層データを用いて生成した表示画像に、別の画像を重畳表示することも可能である。たとえば、レーシングカー前方の画像を階層データとして用意しておきつつ、レーシングカーのインジケータを別画像として用意しておくことで、表示画像生成部１７２は、レーシングカー前方の画像の拡大、縮小処理を行いながら、固定サイズのインジケータ画像を表示画像に重畳させることも可能である。
【図面の簡単な説明】
【００８４】
【図１】本発明の実施例にかかる画像処理システムを示す図である。
【図２】入力装置の外観構成を示す図である。
【図３】画像処理システムにおいて使用する画像データの階層構造を示す図である。
【図４】階層間の関係を説明するための説明図を示す図である。
【図５】画像処理装置の機能ブロック図を示す図である。
【図６】本実施例の画像処理のフローチャートを示す図である。
【図７】階層データを生成する制御部の構成を示す図である。
【図８】ゲームソフトウェアを実行することにより生成される仮想３次元空間の一例を示す図である。
【図９】カメラパラメータ設定部が仮想３次元空間内に設置した仮想カメラを示す図である。
【図１０】図９に示す仮想カメラにより撮影されるゲーム画像を示す図である。
【図１１】カメラ制御情報にしたがって第０階層の画像データを生成するために仮想３次元空間内に設置された仮想カメラを示す図である。
【図１２】図１１に示す仮想カメラにより撮影されるゲーム画像を示す図である。
【図１３】階層ごとに設定されたカメラ制御情報の具体例を示す図である。
【図１４】８ｋ×４ｋの撮影領域を４つの撮影領域に分割する例を示す図である。
【図１５】階層間の切り替わり時に設定されている演出データの一例を示す図である。
【図１６】表示画像を変更する制御部の構成を示す図である。
【図１７】カメラ制御情報にしたがって画像データを生成するために仮想３次元空間内に設置された仮想カメラを示す図である。
【図１８】第３階層の画像データを撮影する仮想カメラによる撮影領域を示す図である。
【符号の説明】
【００８５】
１・・・画像処理システム、１０・・・画像処理装置、１２・・・表示装置、２０・・・入力装置、４０・・・無線インタフェース、４２・・・スイッチ、４４・・・表示処理部、５０・・・ハードディスクドライブ、５２・・・記録媒体装着部、５４・・・ディスクドライブ、６０・・・メインメモリ、７０・・・バッファメモリ、９０・・・フレームメモリ、１００・・・制御部、１２０・・・アプリケーション処理部、１２２・・・指示受付部、１２４・・・ゲーム実行部、１２６・・・カメラ制御情報取得部、１２８・・・演出情報取得部、１３０・・・画像データ生成部、１３２・・・カメラパラメータ設定部、１３４・・・描画条件設定部、１３６・・・ゲーム画像生成部、１３８・・・タイル画像生成部、１４０・・・階層データ生成部、１５０・・・指示受付部、１６０・・・表示画像処理部、１６２・・・画像データ取得部、１６４・・・デコード部、１６６・・・変更量導出部、１６８・・・空間座標決定部、１７０・・・演出指示部、１７２・・・表示画像生成部、２１０・・・仮想カメラ。
【技術分野】
【０００１】
本発明は、たとえばゲームシーンを描写するゲーム画像を複数の解像度で生成して、複数階層の画像データを共通の座標系で表現した階層データを生成する画像処理技術、および階層データを用いてディスプレイに画像を表示する画像処理技術に関する。
【背景技術】
【０００２】
ゲームプログラムを実行するだけでなく、動画を再生できる家庭用エンタテインメントシステムが提案されている。この家庭用エンタテインメントシステムでは、ＧＰＵ（Graphics Processing Unit）がポリゴンを用いた三次元画像を生成する。
【特許文献１】米国特許第６５６３９９９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
従来より、高精細な写真などのディジタル画像から生成された複数解像度のタイル画像を用いて、表示画像の拡大／縮小処理や、上下左右方向の移動処理を行う技術が提案されている。この画像処理技術では、原画像を複数段階に縮小して異なる解像度の画像を生成し、各階層の画像を一又は複数のタイル画像に分割して、原画像を階層構造で表現する。通常、最も解像度の低い画像は１つのタイル画像で構成され、最も解像度の高い原画像は、最も多い数のタイル画像で構成される。画像処理装置は、表示画像の拡大処理または縮小処理時に、使用しているタイル画像を、異なる階層のタイル画像に切り替えることで、拡大表示または縮小表示を迅速に行うようにしている。
【０００４】
従来の階層データ構造は、原画像をもとに異なる解像度の画像を生成しているため、表示画像の単純な拡大表示または縮小表示の要求は満足するが、それ以上の視覚的な効果を提供することはできない。特に、ゲームアプリケーションにおける使用場面を想定すると、ある特定のゲームシーンを単純に拡大、縮小表示するだけでなく、ユーザに対してなんらかの視覚的な効果を与えるような表示制御を行えることが好ましい。このとき階層データをゲームアプリケーションに応じて構成することで、ゲームの世界観をユーザに提供することも可能となる。この要求は、ゲームの分野のみならず、他の分野にも共通である。
【０００５】
そこで本発明は、階層データを生成する技術、および階層データを用いた表示処理技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明のある態様の画像処理装置は、階層データを生成する画像処理装置であって、各階層の画像データを生成する画像データ生成部と、複数階層の画像データを共通の座標系で表現した階層データを生成する階層データ生成部と、を備える。階層データ生成部は、表示処理に使用する画像データを切り替える際の演出情報を階層データに付加する。
【０００７】
本発明の別の態様もまた、画像処理装置である。この装置は、画像をディスプレイに表示する画像処理装置であって、複数階層の画像データを共通の座標系で表現した階層データを保持する記憶装置と、ディスプレイに表示されている表示画像の変更指示信号を受け付ける受付部と、変更指示信号に応じて、表示処理に使用する画像データを切り替える際に、切替前の画像データと切替後の画像データの間に演出情報が設定されているか判断する演出指示部と、画像データを用いて、表示画像を生成する表示画像処理部とを備える。演出指示部により演出情報が設定されていることが判断された場合に、表示画像処理部は、画像データの切り替え時に、切替前の画像データと切替後の画像データの組み合わせに対して設定されている演出情報を用いて、表示画像に演出処理を施す。
【０００８】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【０００９】
本発明によると、階層データを生成する技術、および階層データを用いた表示処理技術を提供することができる。
【発明を実施するための最良の形態】
【００１０】
図１は、本発明の実施例にかかる画像処理システム１を示す。画像処理システム１は、入力装置２０と、様々な画像処理を実行する画像処理装置１０と、画像処理装置１０による処理結果を出力する表示装置１２とを備える。表示装置１２は、画像を出力するディスプレイおよび音声を出力するスピーカを備えたテレビであってよい。表示装置１２は、画像処理装置１０に有線ケーブルで接続されてよく、また無線ＬＡＮ（Local Area Network）などにより無線接続されてもよい。なお画像処理装置１０、入力装置２０および表示装置１２は、一体に形成されてもよく、たとえば画像処理機能を搭載した携帯端末装置として構成されてもよい。
【００１１】
本実施例の画像処理装置１０は、少なくとも２種類の画像処理機能を有する。１つは、複数の画像データを共通の座標系で表現した階層データを生成する機能であり、またもう１つは、生成された階層データを用いて表示画像の変更処理を行う機能である。画像処理装置１０は、階層データ生成プログラムおよび画像変更処理プログラムをロードすることで、それぞれの画像処理機能を実行可能とする。これらのプログラムは、画像処理装置１０にライブラリとして予め保持されていてもよく、インターネットなどのネットワークを介して外部のサーバからダウンロードされてもよい。
【００１２】
本実施例において画像処理装置１０は、ゲームソフトウェアを実行するゲーム装置であり、ゲームの進行中に入力装置２０からゲーム画像の階層データを生成するためのキャプチャ指示を受け付けると、階層データ生成プログラムを起動する。このとき画像処理装置１０は、ゲーム進行を一時中断して、仮想カメラにより、その指示時点のゲームシーンから画像データを複数キャプチャさせ、複数の解像度で構成される階層データを生成する。なお画像処理装置１０は、全ての階層の画像データを、カメラ位置、画角、カメラの視線方向、カメラの傾きなどのカメラパラメータを同一にして撮影するのではなく、少なくとも１つの階層の画像データは、他の階層とは異なるカメラパラメータを設定された仮想カメラにより生成されるようにする。これにより、階層データ間の表示の連続性を敢えて途切れさせ、ゲーム独自の世界観をユーザに提供することができる。
【００１３】
図２は、入力装置２０の外観構成を示す。入力装置２０は、ユーザが操作可能な操作手段として、十字キー２１、アナログスティック２７ａ、２７ｂと、４種の操作ボタン２６を備える。４種の操作ボタン２６は、○ボタン２２、×ボタン２３、□ボタン２４および△ボタン２５から構成される。ゲームプログラムの実行時、入力装置２０の操作手段には、プレイヤキャラクタを３次元仮想空間内で動作させるための機能が割り当てられる。
【００１４】
画像処理システム１において、画像処理装置１０が、ゲームの実行を一時中断して階層データを生成した後は、入力装置２０の操作手段に、表示画像の拡大／縮小指示、および上下左右方向へのスクロール指示（以下、まとめて「画像変更指示信号」とよぶ）を入力するための機能が割り当てられる。たとえば、表示画像の拡大／縮小指示の入力機能は、右側のアナログスティック２７ｂに割り当てられる。ユーザはアナログスティック２７ｂを手前に引くことで、表示画像の縮小指示を入力でき、また手前から押すことで、表示画像の拡大指示を入力できる。また、表示画像のスクロール指示の入力機能は、左側のアナログスティック２７ａに割り当てられる。ユーザはアナログスティック２７ａを上下左右に倒すことで、倒した方向のスクロール指示を入力できる。このようにアナログスティック２７ａ、２７ｂは、表示画像を連続的にスクロールさせ、また連続的に拡大／縮小するために用いられる。
【００１５】
入力装置２０は、入力された画像変更指示信号を画像処理装置１０に伝送する機能をもち、本実施例では画像処理装置１０との間で無線通信可能に構成される。入力装置２０と画像処理装置１０は、Bluetooth（ブルートゥース）（登録商標）プロトコルやIEEE802.11プロトコルなどを用いて無線接続を確立してもよい。なお入力装置２０は、画像処理装置１０とケーブルを介して接続して、画像変更指示信号を画像処理装置１０に伝送してもよい。
【００１６】
図３は、画像処理システム１において使用する画像データの階層構造を示す。画像データは、深さ（Ｚ軸）方向に、第０階層３０、第１階層３２、第２階層３４および第３階層３６からなる階層構造を有し、この階層構造をもつ画像データを「階層データ」とよぶ。図３に示す階層データは４分木の階層構造を有し、各階層は、１以上のタイル画像３８で構成される。すべてのタイル画像３８は同じ画素数をもつ同一サイズに形成され、たとえば２５６×２５６画素を有する。なお階層データを構成する階層数は２以上であればよい。
【００１７】
各階層の画像データは、共通の座標系において異なる解像度で表現されている。たとえば第Ｎ階層の解像度（Ｎは０以上の整数）は、左右（Ｘ軸）方向、上下（Ｙ軸）方向ともに、第（Ｎ＋１）階層の解像度の１／２であってよい。
【００１８】
階層データの階層構造は、図３に示すように、左右方向をＸ軸、上下方向をＹ軸、深さ方向をＺ軸として設定され、仮想的な３次元空間を構築する。画像処理装置１０は、入力装置２０から供給される画像変更指示信号から表示画像の変更量を導出すると、その変更量を用いて、階層を特定する情報と、その階層におけるテクスチャ座標（ＵＶ座標）を導出する。この階層特定情報およびテクスチャ座標の組み合わせを、空間座標と呼ぶ。なお各階層において、各頂点座標は同一であり、各階層の矩形画像データの頂点座標は、それぞれ（ｕ０，ｖ０）、（ｕ０，ｖ１）、（ｕ１，ｖ１）、（ｕ１，ｖ０）である。仮想空間における空間座標は、表示画像の生成処理に利用される。なお画像処理装置１０は、表示画像の変更量を用いて仮想空間におけるフレームの４隅の３次元座標を導出してもよい。この４隅のフレーム座標も、空間座標と呼ぶ。
【００１９】
画像処理装置１０は、３次元ゲーム空間に仮想カメラを設置し、仮想カメラから仮想スクリーンに投影されるゲーム画像を取得して、各階層の画像データを生成する。本実施例の画像処理システム１では、異なる階層間でカメラパラメータを変更してもよく、また同じ階層内でカメラパラメータを変更してもよい。
【００２０】
仮想カメラの視点位置、画角、視線方向および傾き（以下、カメラパラメータ）を固定として２つの階層の画像データを異なる解像度で生成すると、この２つの画像データは、同じ撮影領域のゲーム画像を異なる解像度で表現するだけであるため、これらの階層をまたがって表示画像を拡大、縮小表示する場合に、表示の連続性はとぎれない。一方、仮想カメラのカメラパラメータを変更して２つの階層の画像データを生成すると、この２つの画像データは、異なる撮影領域のゲーム画像を表現するため、これらの階層をまたがって表示画像を拡大、縮小表示する場合には、表示の連続性がとぎれることになる。なお、同一階層内でカメラの視点位置を変更して２つの画像データを生成する場合にも、この２つの画像データは異なる撮影領域のゲーム画像を表現するため、画像データを切り替える際に、表示の連続性がとぎれる。
【００２１】
したがって画像処理装置１０は、表示画像の生成に用いている画像データを、設定されたカメラパラメータの異なる仮想カメラで撮影された画像データに切り替える場合には、画像の切り替わりにおける不連続さをユーザに感じさせないように、所定の演出を挿入する。これにより、単純に拡大、縮小する表示だけでなく、ゲーム独自の世界観を表現する画像をユーザに提供できるようになる。
【００２２】
図４は、階層間の関係を説明するための説明図を示す。この階層データ構造において、各階層はＬ０（第０階層３０）、Ｌ１（第１階層３２）、Ｌ２（第２階層３４）、Ｌ３（第３階層３６）と表現されている。図４に示す階層データ構造において、深さ（Ｚ軸）方向における位置は、解像度を示し、Ｌ０に近い位置ほど解像度が低く、Ｌ３に近い位置ほど解像度は高い。ディスプレイに表示される画像の大きさに注目すると、深さ方向における位置は、拡大率に対応し、Ｌ０の表示画像の拡大率を１とすると、Ｌ１における拡大率は４、Ｌ２における拡大率は１６となり、Ｌ３における拡大率は６４となる。したがって深さ方向において、表示画像がＬ０側からＬ３側へ向かう方向に変化する場合、表示画像は拡大していき、Ｌ３側からＬ０側へ向かう方向に変化する場合は、表示画像は縮小していく。
【００２３】
第１境界３１、第２境界３３、第３境界３５は、Ｌ０を基準とした拡大率として定義され、表示画像の生成に使用するタイル画像の階層を定めるための判定基準として利用される。第１境界３１は拡大率２に設定され、表示画像の要求拡大率が２より小さければ、Ｌ０タイル画像が使用される。第２境界３３は拡大率８に設定され、表示画像の要求拡大率が２以上であり且つ８より小さければ、Ｌ１タイル画像が使用される。同様に第３境界３５は拡大率３２に設定され、表示画像の要求拡大率が８以上であり且つ３２より小さければ、Ｌ２タイル画像が使用される。また表示画像の要求拡大率が３２以上であれば、Ｌ３タイル画像が使用される。したがって画像処理装置１０は、これから表示する画像の要求拡大率が定まれば、その拡大率に対応する解像度のタイル画像を記憶装置から読み出して、その拡大率に調整した表示画像を生成することができる。なお、拡大率は、図３に示す３次元空間において、深さ方向のＺ値として定められてもよい。
【００２４】
図５は、画像処理装置１０の機能ブロック図を示す。画像処理装置１０は、無線インタフェース４０、スイッチ４２、表示処理部４４、ハードディスクドライブ５０、記録媒体装着部５２、ディスクドライブ５４、メインメモリ６０、バッファメモリ７０および制御部１００を有して構成される。表示処理部４４は、表示装置１２のディスプレイに表示するデータをバッファするフレームメモリを有する。
【００２５】
スイッチ４２は、イーサネットスイッチ（イーサネットは登録商標）であって、外部の機器と有線または無線で接続して、データの送受信を行うデバイスである。スイッチ４２は、ルータを介してインターネットなどの外部ネットワークに接続し、階層データ生成プログラムや画像変更処理プログラムをダウンロードしてもよい。またスイッチ４２は無線インタフェース４０に接続し、無線インタフェース４０は、所定の無線通信プロトコルで入力装置２０と接続する。入力装置２０においてユーザから入力された画像変更指示信号は、無線インタフェース４０、スイッチ４２を経由して、制御部１００に供給される。
【００２６】
制御部１００は、マルチコアＣＰＵを備え、１つのＣＰＵの中に１つの汎用的なプロセッサコアと、複数のシンプルなプロセッサコアを有する。汎用プロセッサコアはＰＰＵ（Power Processing Unit）と呼ばれ、残りのプロセッサコアはＳＰＵ（Synergistic-Processing Unit）と呼ばれる。
【００２７】
制御部１００は、メインメモリ６０およびバッファメモリ７０に接続するメモリコントローラを備える。ＰＰＵはレジスタを有し、演算実行主体としてメインプロセッサを備えて、実行するアプリケーションにおける基本処理単位としてのタスクを各ＳＰＵに効率的に割り当てる。なお、ＰＰＵ自身がタスクを実行してもよい。ＳＰＵはレジスタを有し、演算実行主体としてのサブプロセッサとローカルな記憶領域としてのローカルメモリを備える。ローカルメモリは、バッファメモリ７０として使用されてもよい。メインメモリ６０およびバッファメモリ７０は記憶装置であり、ＲＡＭ（ランダムアクセスメモリ）として構成される。ＳＰＵは制御ユニットとして専用のＤＭＡ（Direct Memory Access）コントローラをもち、メインメモリ６０とバッファメモリ７０の間のデータ転送を高速に行うことができ、また表示処理部４４におけるフレームメモリとバッファメモリ７０の間で高速なデータ転送を実現できる。本実施例の制御部１００は、複数のＳＰＵを並列動作させることで、高速な画像処理機能を実現する。表示処理部４４は、表示装置１２に接続されて、ユーザからの要求に応じた画像処理結果を出力する。
【００２８】
ハードディスクドライブ５０は、データを記憶する補助記憶装置として機能する。記録媒体装着部５２は、メモリカードなどのリムーバブル記録媒体が装着されると、リムーバブル記録媒体からデータを読み出す。ディスクドライブ５４は、読出専用のＲＯＭディスクが装着されると、ＲＯＭディスクを駆動して認識し、データを読み出す。ＲＯＭディスクは、光ディスクや光磁気ディスクなどであってよく、ゲームソフトウェアを記録している。
【００２９】
図６は、本実施例の画像処理のフローチャートを示す。画像処理装置１０に電源が投入されてオペレーティングシステム（ＯＳ）が起動され、ユーザによりディスクドライブ５４にＲＯＭディスクが装着されると、制御部１００は、ＲＯＭディスクに記録されたゲームソフトウェアをハードディスクドライブ５０に読み出し、ゲームソフトウェアを実行する（Ｓ１０）。このとき制御部１００は、必要なゲームプログラムをメインメモリ６０にロードし、描画データや画像データをバッファメモリ７０にロードする。
【００３０】
本実施例において画像処理装置１０はゲーム装置であり、仮想３次元空間をプレイヤキャラクタが行動するようなゲーム映像を３次元（３Ｄ）グラフィックスにより提供する。制御部１００は、ゲームプログラムの実行にともなって発生する命令やデータに基づいて画像処理を行い、画像データを生成する。この画像処理には、たとえばテクスチャマッピングや光源処理など、３次元コンピュータグラフィックスを実現するための処理が含まれる。
【００３１】
制御部１００は、ゲームプログラムの実行中に入力装置２０からキャプチャ指示を受けると、ゲーム進行を一時中断して、階層データ生成プログラムを起動する。このとき制御部１００は、キャプチャ指示を受けた時点のゲーム画像の階層データを生成し（Ｓ１２）、ハードディスクドライブ５０に格納する。階層データの生成後、制御部１００は、入力装置２０から画像変更指示を受け付けると、画像変更処理プログラムを起動する。制御部１００は、ハードディスクドライブ５０に格納した階層データを用いて、入力装置２０から供給される画像変更指示信号にしたがって、表示画像の拡大、縮小などの表示処理を実行する（Ｓ１４）。
【００３２】
図７は、階層データを生成する制御部１００の構成を示す。制御部１００は、アプリケーション処理部１２０、画像データ生成部１３０および階層データ生成部１４０を備える。アプリケーション処理部１２０は、指示受付部１２２、ゲーム実行部１２４、カメラ制御情報取得部１２６および演出情報取得部１２８を有する。
【００３３】
アプリケーション処理部１２０は、ハードディスクドライブ５０に保持されたゲームソフトウェアを読み出して実行し、またハードディスクドライブ５０から階層データ生成処理および画像変更処理に必要なデータを取得する。これらの画像処理に必要なデータは、ゲームソフトウェアとともにＲＯＭディスクに記録されており、ゲームソフトウェアとともにハードディスクドライブ５０に予め読み出されている。
【００３４】
画像データ生成部１３０は、カメラパラメータ設定部１３２、描画条件設定部１３４、ゲーム画像生成部１３６およびタイル画像生成部１３８を有する。画像データ生成部１３０は、仮想３次元ゲーム空間内に仮想カメラを設置して、仮想カメラから仮想スクリーンに投影されるゲーム画像を生成する。ゲームの実行中、生成されたゲーム画像は、表示処理部４４から表示装置１２に出力され、動画像としてユーザに提供される。また、階層データの生成時、生成されたゲーム画像は、タイル画像に分割されて、階層データ生成部１４０に渡される。
【００３５】
階層データ生成部１４０は、画像データ生成部１３０で生成されたタイル画像を受け取り、階層データを生成する。このとき階層データ生成部１４０は、複数階層のタイル画像を共通の２次元座標系で表現して階層データを生成し、また、階層データを用いて表示処理を行う際に、使用するタイル画像を切り替える際の演出情報を階層データに付加する。
【００３６】
図７において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、ＣＰＵ（Central Processing Unit）、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。既述したように、制御部１００は１つのＰＰＵと複数のＳＰＵとを有し、ＰＰＵおよびＳＰＵがそれぞれ単独または協同して、各機能ブロックを構成できる。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。たとえば画像データ生成部１３０は、ＧＰＵ（Graphics Processing Unit）として構成されてよく、階層データ生成部１４０は、階層データ生成プログラムをロードすることで構成されてよい。
【００３７】
指示受付部１２２が入力装置２０からゲームの実行指示を受け付けると、ゲーム実行部１２４が、ゲームソフトウェアを実行する。ゲーム実行部１２４は、入力装置２０からの操作指示、およびゲームの進行に応じて、描画に関する命令およびデータ（以下、「描画指示情報」とよぶ）を画像データ生成部１３０に供給する。画像データ生成部１３０は３ＤＣＧ（３次元コンピュータグラフィックス）処理機能を有し、高速レンダリング処理など既知の３ＤＣＧ技術を用いて、仮想カメラにより撮影される画像データを生成する。
【００３８】
カメラパラメータ設定部１３２は、描画指示情報をもとに仮想３次元空間内に仮想カメラを設置する。描画指示情報には、仮想カメラの視点位置、画角（視領域）、視線方向、カメラの傾き等、カメラアングルを決定するためのカメラパラメータが含まれる。ゲーム実行部１２４は、入力装置２０からの指示情報にしたがって描画指示情報を変更し、カメラアングルを切り替えるようにしてもよい。描画条件設定部１３４は、仮想カメラで取得する画像サイズを設定し、ここでは画像サイズが、表示装置１２のディスプレイサイズに合わせられる。ゲーム画像生成部１３６は、仮想カメラで撮影する画像を、描画フレームごとにゲーム画像として取得する。この描画フレームは、１／６０秒ごとに更新される。ゲーム画像生成部１３６は、ゲーム画像を表示処理部４４に供給し、表示処理部４４は、フレームメモリに展開したゲーム画像を表示装置１２に供給する。これによりユーザは、動画像を見ながら、ゲームをリアルタイムでプレイできる。
【００３９】
図８は、ゲームソフトウェアを実行することにより生成される仮想３次元空間の一例を示す。ゲーム実行部１２４は、ゲーム空間を構成するオブジェクトである建物２０４、木２０６、木２０８を所定位置に配置してシーンレイアウトを作成し、プレイヤキャラクタ２００を入力装置２０からの操作指示にしたがって動作させる。この例では、プレイヤキャラクタ２００が、敵キャラクタ２０２と対決する戦闘シーンが構築されている。画像データ生成部１３０は、ゲーム実行部１２４から供給される指示情報にしたがって、プレイヤキャラクタ２００および敵キャラクタ２０２を動かし、動的な仮想３次元空間を形成する。カメラパラメータ設定部１３２は、描画指示情報にしたがって、仮想３次元空間内に仮想カメラを設置する。
【００４０】
図９は、カメラパラメータ設定部１３２が仮想３次元空間内に設置した仮想カメラ２１０を示す。このカメラアングルでは、仮想カメラ２１０が、プレイヤキャラクタ２００を背後から撮影する。図１０は、図９に示す仮想カメラ２１０により撮影されるゲーム画像を示す。このゲームシーンでは、プレイヤキャラクタ２００と敵キャラクタ２０２とが対峙している様子が示される。
【００４１】
ユーザは、図１０に示すゲーム画像が表示装置１２に表示されているときに、入力装置２０の所定の操作手段を操作することで、ゲーム画像のキャプチャ指示を入力する。指示受付部１２２が、キャプチャ指示を受け付けると、カメラ制御情報取得部１２６は、ハードディスクドライブ５０に保持されているカメラ制御情報を取得する。画像処理装置１０において、キャプチャ指示は、ゲーム画像の階層データを生成するための指示情報として取り扱われる。なお指示受付部１２２がキャプチャ指示を受け付けると、ゲーム実行部１２４は、ゲームの進行を中断し、画像データ生成部１３０に階層データを構成するための画像データの生成を指示する。このとき表示装置１２には、キャプチャ指示が入力された時点のゲーム画像、すなわち図１０に示すゲーム画像が静止画として表示される。
【００４２】
カメラ制御情報は、階層データを構成する複数階層の画像データを取得するための描画指示情報である。カメラ制御情報は、カメラパラメータに加えて、取得する画像データの解像度を特定するパラメータも含まれる。解像度を特定するパラメータは、画像サイズを特定する情報であってよい。以下の例では、ゲーム画像生成部１３６が、カメラパラメータを設定した仮想カメラに、仮想３次元空間を解像度情報にしたがって撮影させることで、第０階層、第１階層、第２階層の画像データを生成する。第１階層、第２階層の画像データは、キャプチャ指示が入力された時点の仮想カメラのカメラアングルで生成される。したがって第１階層と第２階層の画像データは、同一の領域を描画したものであり、第２階層は第１階層と比較して、画像サイズは４倍（解像度は２倍）に設定される。
【００４３】
また第０階層の画像データは、キャプチャ指示が入力された時点の仮想カメラの位置から、プレイヤキャラクタ２００に対して後方の位置に仮想カメラを再配置して生成される。第０階層と第１階層との間は、カメラアングルが変更されているため、第０階層と第１階層との間で画像データを切り替えたときの表示の連続性がとれないため、第０階層は第１階層と比較して、画像サイズが必ずしも１／４倍に設定されていなくてもよい。描画条件設定部１３４は、カメラ制御情報に含まれる解像度情報をもとに、生成するゲーム画像の描画条件（画像サイズ）を設定する。
【００４４】
図１１は、カメラ制御情報にしたがって第０階層の画像データを生成するために仮想３次元空間内に設置された仮想カメラ２１０を示す。図１１に示す仮想カメラ２１０は、図９に示す仮想カメラ２１０の設置位置と比較すると、それよりもプレイヤキャラクタ２００の後方に引いた位置に設けられていることが分かる。図１２は、図１１に示す仮想カメラ２１０により撮影されるゲーム画像を示す。仮想カメラの位置を後方に引くことで、広い領域を描画できるようになり、ユーザに対して周囲の状況も含む客観的な画像を提供できるようになる。
【００４５】
まず、画像データ生成部１３０は、ゲーム実行部１２４から画像データの生成指示を受け取り、さらにカメラ制御情報取得部１２６で取得されたカメラ制御情報を受け取る。上記したように、カメラ制御情報には、階層ごとのカメラアングルを定める描画指示情報と、生成画像の解像度を特定する描画条件情報とが含まれる。解像度を特定する情報は、取得する画像サイズであってよい。
【００４６】
図１３は、階層ごとに設定されたカメラ制御情報の具体例を示す。カメラ制御情報は、ゲームソフトウェアとともにＲＯＭディスクに記録されており、ゲーム実行前に、ゲームソフトウェアとともにハードディスクドライブ５０に予め読み出されている。
【００４７】
解像度情報は、画像サイズの情報として設定され、第０階層、第１階層、第２階層において、それぞれ２ｋ（１９２０画素）×１ｋ（１０８０画素）、４ｋ×２ｋ、８ｋ×４ｋに設定されている。この例では、第１階層の解像度が第０階層の２倍となっており、また第２階層の解像度が第１階層の２倍となっている。なお既述したように、第１階層と第２階層の画像データは、同一の撮影領域であるため、第１階層に対して第２階層の解像度が２倍となるように設定され、このとき第１階層と第２階層のＬＯＤ（Level Of Detail）は、異なるように設定される。ＬＯＤは、画像データの詳細度を表現するが、ここでは第１階層よりも第２階層のゲーム画像自体の解像度（詳細度）を大きくすることで、ＬＯＤが変更される。一方、第０階層と第１階層の画像データは、異なる撮影領域であるため、第０階層に対して第１階層の解像度が２倍となる必要は必ずしもない。カメラ制御情報には、カメラアングルの情報が含まれ、第０階層のカメラアングルが、キャプチャ指示時点のカメラ位置から仮想３次元空間においてプレイヤキャラクタ２００から所定距離だけ後方に引いた位置であることが設定されている。
【００４８】
カメラパラメータ設定部１３２および描画条件設定部１３４は、各階層に対して定められたカメラ制御情報にしたがって、それぞれ仮想カメラのカメラアングルおよび解像度を設定し、ゲーム画像生成部１３６は、それぞれの階層のゲーム画像を生成する。具体的に、第０階層のゲーム画像が、図１２に示すゲームシーンとして２ｋ×１ｋのサイズで生成され、第１階層のゲーム画像が、図１０に示すゲームシーンとして４ｋ×２ｋのサイズで生成され、第２階層のゲーム画像が、図１０に示すゲームシーンとして８ｋ×４ｋのサイズで生成される。
【００４９】
なおゲーム画像生成部１３６は、仮想カメラで撮影される画像をバッファメモリ７０に展開してゲーム画像を生成するが、バッファメモリ７０が、たとえば８ｋ×４ｋの画像データに十分なメモリサイズを有していない場合もある。そのような場合には、カメラパラメータ設定部１３２が、撮影領域を複数に分割し、カメラ制御情報により設定されるカメラアングルを適宜調整する。
【００５０】
図１４は、８ｋ×４ｋの撮影領域を４つの撮影領域に分割する例を示す。このときカメラパラメータ設定部１３２は、仮想カメラの設置位置はそのままに、４ｋ×２ｋの４つの撮影領域を撮像するように仮想カメラの視線方向および画角を調整する。これにより大きなサイズのゲーム画像も、仮想カメラにより撮影することが可能となる。
【００５１】
タイル画像生成部１３８は、それぞれの階層の画像データを、所定サイズのタイル画像に分割する。生成されたタイル画像は、階層データ生成部１４０に供給される。なおタイル画像生成部１３８は、生成したタイル画像を、所定の圧縮形式で圧縮してもよい。タイル画像生成部１３８は、タイル画像ごとに圧縮してもよく、また同一階層内の複数のタイル画像を圧縮してもよい。
【００５２】
階層データ生成部１４０は、複数階層の画像データ（タイル画像）を共通の座標系で表現して、これらを互いに関連づけた階層データを生成する。階層データ生成部１４０は、たとえば図３に示すような階層データを生成するが、各階層の画像データは、縦横比を同一とする矩形の画像サイズを有している。各階層において、各頂点座標は同一とされ、たとえば４点の頂点座標は、それぞれ（ｕ０，ｖ０）、（ｕ０，ｖ１）、（ｕ１，ｖ１）、（ｕ１，ｖ０）とされる。このように複数の画像データを共通の座標系で表現することにより、各階層の画像データを互いに関連づけることができ、階層データを用いた表示画像の拡大処理や縮小処理を実現可能とする。階層データの生成の際、演出情報取得部１２８は、表示処理に使用する画像データを切り替える際の演出データをハードディスクドライブ５０から取得して、階層データ生成部１４０に供給する。
【００５３】
図１５は、階層間の切り替わり時に設定されている演出データの一例を示す。演出データは、ゲームソフトウェアとともにＲＯＭディスクに記録されており、ゲーム実行前に、ゲームソフトウェアとともにハードディスクドライブ５０に予め読み出されている。
【００５４】
図１５において、階層間情報は、切替前の階層と切替後の階層を特定し、たとえば「第０階層と第１階層の間」は、表示に用いる画像データが第０階層から第１階層に切り替わること、および第１階層から第０階層に切り替わること、を意味する。また演出情報は、階層の切り替わりの際に実行する演出を特定する情報であり、「クロスフェード」は、階層切り替わり時にクロスフェードを実行すること、「なし」は、階層切り替わり時に演出を実行しないこと、を意味する。
【００５５】
階層データ生成部１４０は、演出情報取得部１２８から供給される演出データを用いて、階層間の切り替え時に実行する演出情報を階層データに付加する。これにより階層データが生成される。具体的に階層データ生成部１４０は、演出データにしたがって、設定されたカメラパラメータが異なる仮想カメラにより撮影された２つの画像データの組み合わせに対して演出情報を設定する。実施例では、第０階層と第１階層の画像データを撮影するためのカメラパラメータが異なっているため（図１３参照）、第０階層と第１階層の画像データの組み合わせに対して、演出情報が設定されている。
【００５６】
なお階層データ生成部１４０が、演出情報取得部１２８から供給される演出データにもとづいて演出情報を階層データに付加することとしたが、たとえば図１３に示すカメラ制御情報から、階層間においてカメラパラメータが異なって設定されていることを判断して、演出情報を階層データに付加してもよい。この場合に付加する演出情報は、クロスフェードなど、予め定まっているものとする。これにより階層データ生成部１４０は、第０階層と第１階層の画像データの組み合わせに対して、演出情報を設定することが可能となる。これにより、表示画像に用いる画像データが撮影領域の異なる階層間で遷移する場合において、表示画像の不連続さに起因する違和感をユーザに感じさせることなく、ゲーム特有の世界観をユーザに与えることが可能である。
【００５７】
一方、階層データ生成部１４０は、設定されたカメラパラメータが同じ仮想カメラにより撮影された２つの画像データの組み合わせに対しては、演出情報を設定しない。具体的に、第１階層と第２階層の画像データを撮影するためのカメラパラメータは同じであるため（図１３参照）、図１５に示す演出データにも示されるように、第１階層と第２階層の画像データの組み合わせに対しては演出情報が付加されないようになっている。
【００５８】
階層データ生成部１４０は、既述したように、図１３に示すカメラ制御情報から、階層間においてカメラパラメータが同じに設定されていることを判断して、演出情報を階層データに付加しないようにしてもよい。カメラパラメータが同一である場合は、表示画像に用いる画像データが階層間で遷移する場合において、連続した拡大処理、縮小処理を実行できるため、演出情報を付加しなくても、ユーザにスムーズな拡大、縮小表示という演出を提供することが可能となる。
【００５９】
階層データ生成部１４０は、生成した階層データをハードディスクドライブ５０に格納する。階層データ生成部１４０は、階層データをハードディスクドライブ５０に格納すると、ユーザに対して画像変更処理が可能になったことを表示装置１２から通知させる。
【００６０】
図１６は、表示画像を変更する制御部１００の構成を示す。制御部１００は、指示受付部１５０および表示画像処理部１６０を備える。表示画像処理部１６０は、画像データ取得部１６２、デコード部１６４、変更量導出部１６６、空間座標決定部１６８、演出指示部１７０および表示画像生成部１７２を有する。表示画像処理部１６０は、階層データを用いて表示画像の変更処理を行う。
【００６１】
図１６において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、ＣＰＵ（Central Processing Unit）、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。既述したように、制御部１００は１つのＰＰＵと複数のＳＰＵとを有し、ＰＰＵおよびＳＰＵがそれぞれ単独または協同して、各機能ブロックを構成できる。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。たとえば表示画像処理部１６０は、画像変更処理プログラムをロードすることで構成されてよい。
【００６２】
ユーザが入力装置２０を操作して、画像変更処理の実行を指示すると、指示受付部１５０がその指示を受け付け、画像処理装置１０が、画像変更処理プログラムを起動して、階層データを用いた画像変更処理を開始する。このとき階層データはハードディスクドライブ５０から読み出されて、メインメモリ６０に保持される。
【００６３】
ユーザが入力装置２０のアナログスティック２７を操作すると、画像変更指示信号が画像処理装置１０に送信される。指示受付部１５０は、入力装置２０から、ディスプレイに表示されている表示画像の変更指示信号を受け付け、表示画像処理部１６０に供給する。
【００６４】
画像データ取得部１６２は、変更指示信号をもとに、表示画像の生成に用いるタイル画像をメインメモリ６０から読み出す。デコード部１６４は、タイル画像をデコードし、バッファメモリ７０に保持させる。たとえば画像データ取得部１６２は、変更指示信号で表示が要求される画像の拡大率を予測して、将来必要となるであろうタイル画像を先読みして、バッファメモリ７０に保持させることが好ましい。
【００６５】
変更量導出部１６６は、変更指示信号をもとに、要求される表示画像の変更量を導出する。表示画像の変更量は、１フレームごとの上下左右方向の移動量および深さ方向の移動量である。空間座標決定部１６８は、前回フレームのテクスチャ座標から、導出された変更量により移動する今回フレームのテクスチャ座標を決定する。表示画像生成部１７２は、テクスチャ座標をもとに、バッファメモリ７０に保持されたタイル画像を用いて、表示画像を生成し、表示処理部４４のフレームメモリ９０に供給する。
【００６６】
なお本実施例の階層データには、既述したように、階層間で画像データを切り替える際の演出情報が設定されている。演出指示部１７０は、変更指示信号に応じて表示処理に使用する画像データを切り替える際に、切替前の画像データと切替後の画像データの間に演出情報が設定されているか判断する。図１５に関連して説明したように、本実施例では、第１階層と第２階層の切り替わり時には演出情報が設定されていないが、第０階層と第１階層の切り替わり時には演出情報（クロスフェード）が設定されている。したがって、演出指示部１７０は、第０階層から第１階層にタイル画像を切り替える際、また第１階層から第０階層にタイル画像を切り替える際に、表示画像生成部１７２に対してクロスフェードの実行を指示する。これにより表示画像生成部１７２は、表示画像に演出処理を施し、具体的にはタイル画像の切り替え時に、元のタイル画像をフェードアウトし、また新しいタイル画像をフェードインして、クロスフェードを実行して、タイル画像の遷移にともなう不連続さをユーザに感じさせないようにする。
【００６７】
第０階層と第１階層の画像データは、異なるカメラパラメータで撮影された画像であり、単純に拡大、縮小すると表示の不連続さをユーザに与えることになる。したがって、クロスフェードなどの画像処理を施すことで、この不連続性を緩和することができる。また一方で表示画像を単純に拡大、縮小するだけではなく、単純な操作で新たな視点に移行できるため、ゲームならではの世界観をユーザに提供することも可能となる。
【００６８】
以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００６９】
上記した実施例では、第０階層と第１階層との間で仮想カメラのパラメータ情報を変更して、画像データを生成したが、仮想カメラのパラメータ情報は、同一階層内において変更されてもよい。
【００７０】
図１７は、カメラ制御情報にしたがって画像データを生成するために仮想３次元空間内に設置された仮想カメラ２１０ａ〜２１０ｆを示す。仮想カメラ２１０ａ、２１０ｂ、２１０ｃは、第３階層の画像データを生成するために設置され、仮想カメラ２１０ｄ、２１０ｅは、第２階層の画像データを生成するために設置され、仮想カメラ２１０ｆは、第０階層の画像データを生成するために設置される。この変形例では、各仮想カメラ２１０のカメラパラメータのうち、階層間だけでなく、同一階層内においても、カメラ位置がそれぞれ異なるように設定されている。
【００７１】
図１８は、第３階層の画像データを撮影する仮想カメラ２１０ａ、２１０ｂ、２１０ｃによる撮影領域２２０ａ、２２０ｂ、２２０ｃを示す。この変形例では、同一階層の画像データを、カメラ位置を変えて撮影するため、同一階層内においても表示画像に用いる画像データを切り替える際に、画像データ間の連続性が損なわれる。そのため、隣り合う仮想カメラの撮影領域に重複領域を設けるように仮想カメラのパラメータを設定して、画像データの切替前、および切替後においては、表示画像を一方の画像データから生成可能とする。
【００７２】
この変形例において、まず画像データ生成部１３０は、ゲーム実行部１２４から画像データの生成指示を受け取り、さらにカメラ制御情報取得部１２６で取得されたカメラ制御情報を受け取る。カメラ制御情報には、仮想３次元空間内のカメラアングルを定める描画指示情報と、生成画像の解像度を特定する描画条件情報とが含まれる。解像度を特定する情報は、取得する画像サイズであってよい。この変形例では、たとえば第３階層、第２階層内においても複数の描画指示情報および描画条件情報がカメラ制御情報に含まれる。
【００７３】
カメラパラメータ設定部１３２および描画条件設定部１３４は、カメラ制御情報にしたがって、それぞれ仮想カメラのカメラアングルおよび解像度を設定し、ゲーム画像生成部１３６は、各仮想カメラによるゲーム画像を生成する。タイル画像生成部１３８は、それぞれの仮想カメラにより撮影された画像データを、所定サイズのタイル画像に分割する。生成されたタイル画像は、階層データ生成部１４０に供給される。なおタイル画像生成部１３８は、生成したタイル画像を、所定の圧縮形式で圧縮してもよい。
【００７４】
階層データ生成部１４０は、仮想カメラで撮影された画像データを階層ごとにまとめ、複数階層の画像データ（タイル画像）を共通の座標系で表現して、これらを互いに関連づけた階層データを生成する。このとき演出情報取得部１２８は、表示処理に使用する画像データを切り替える際の演出データをハードディスクドライブ５０から取得して、階層データ生成部１４０に供給する。
【００７５】
階層データ生成部１４０は、演出情報取得部１２８から供給される演出データを用いて、画像データの切り替え時に実行する演出情報を階層データに付加する。これにより階層データが生成される。この変形例では、異なる階層間だけでなく、同一の階層内においても表示画像に用いる画像データを切り替える際に、表示の連続性が途切れることとなるため、ＸＹ方向、およびＺ方向に隣り合う全ての画像データの組み合わせに対して、演出情報が設定される。すなわち階層データ生成部１４０は、表示処理に使用する画像データを異なる階層の画像データに切り替える際の演出情報を階層データに付加するだけでなく、表示処理に使用する画像データを、異なるカメラ位置から撮影された同一階層の画像データに切り替える際の演出情報も階層データに付加する。生成された階層データはハードディスクドライブ５０に格納される。階層データ生成部１４０は、階層データをハードディスクドライブ５０に格納すると、ユーザに対して画像変更処理が可能になったことを表示装置１２から通知する。表示画像処理部１６０は、演出情報にしたがって、階層データから表示画像を生成する。
【００７６】
なお図１７に示す例では、仮想カメラ２１０ｂが、木２０８の内部に配置されている。仮想カメラ２１０ｂは、この位置で撮影しても、適切なゲーム画像を取得することはできない。そこで、カメラパラメータ設定部１３２は、仮想カメラ２１０と仮想３次元空間内のオブジェクトとの接触判定機能を有し、仮想カメラ２１０の視点がオブジェクトの内部にあることが判定された場合には、ゲーム画像生成部１３６が、その撮影画像を、所定色の画像、たとえば白ベタ画像に変更する。図１８を参照すると、撮影領域２２０ｂの撮影画像が白ベタ画像となる。この画像データを用いて階層データを生成した後は、仮想カメラ２１０ｂで撮影された画像データを用いて表示画像を生成すると、表示画像が白ベタ画像となるが、これによりユーザは、なんらかの異常が生じていることを容易に認識できるようになる。
【００７７】
また、この場合に、白ベタ画像とするのではなく、たとえば図３に示す仮想３次元空間において、仮想カメラ２１０ｂにより生成された画像データを表示画像に用いる領域を不可視領域として設定し、空間座標決定部１６８が、入力装置２０から供給される画像変更指示信号による表示領域と、不可視領域とのコリジョン判定を行ってもよい。コリジョンが判定された場合、変更量導出部１６６は、不可視領域には移動できないように変更量を導出する。これによりユーザは、画像変更に際して障害物が存在して見ることができない領域があることを判断し、結果として不可視領域を迂回するように、画像の変更指示を入力装置２０から入力することが可能となる。
【００７８】
実施例では、第０階層の画像データを、キャプチャ指示受付時点のカメラ位置からプレイヤキャラクタ２００の後方に所定距離引いた位置から撮影するようにした。これにより、ゲームの進行に合わせた表示画像の変更処理を実現するが、たとえば第０階層の画像データを、ゲームの全体マップを表現したマップ画像としてもよい。このマップ画像は予めゲームソフトウェアに含まれており、ユーザが、全体のストーリを把握するのに役立つものである。したがって、この場合は、画像データ生成部１３０が、第０階層の画像データを新たに生成する必要がなく、処理負荷を軽減できるとともに、ユーザは表示画像を縮小することで、ゲームのマップを見ることができ、ゲームならではの演出をユーザに提供することが可能となる。なお、第０階層の画像データは、ゲームマップに限らず、予めゲームソフトウェアで用意されているものであってよい。
【００７９】
実施例では、画像変更指示信号の入力機能を、アナログスティック２７ａ、２７ｂに割り当てるとしたが、この入力機能は、ゲームの操作系に合わせて設定されてもよい。たとえば、ゲーム実行中のプレイヤキャラクタ２００の移動操作が十字キー２１に割り当てられている場合、階層データを用いた表示変更処理において、表示画像のスクロール指示の入力機能も十字キー２１に割り当てられることが好ましい。ゲームの操作系はゲーム実行部１２４により知られている。そのためゲーム実行部１２４は、指示受付部１５０にゲームの操作系を通知し、指示受付部１５０が、画像変更指示のための操作系をデフォルト設定からゲーム操作系に合わせて変更することで、それぞれの操作系を共通とすることが可能となる。
【００８０】
実施例において、各階層の画像データは、キャプチャ指示受付時点の仮想３次元空間からキャプチャされて生成されているが、複数の階層の画像データを、異なる時点で生成することも可能である。このとき、ゲーム実行部１２４は、キャプチャ指示を受け付けた時点の画像を表示装置１２に表示させるが、ユーザの操作に関係なく、その時点から予測される将来のゲーム進行を実行する。たとえば図１０のゲームシーンに関していうと、画像データ生成部１３０は、表示装置１２に表示はされないが、プレイヤキャラクタ２００と敵キャラクタ２０２がさらに接近して、お互いが持っている武器を構えるシーンを生成する。画像データ生成部１３０は、キャプチャ指示受付時点のゲームシーン（図１０参照）を第２階層の画像データとして生成し、さらにプレイヤキャラクタ２００と敵キャラクタ２０２が接近したゲームシーンを第３階層の画像データとして生成する。これにより、階層データの生成後、ユーザは、第２階層の画像データを拡大していくと、第３階層の画像データに遷移したときに、将来予測されるゲームシーンを見ることができ、ゲームをより面白くすることができる。
【００８１】
また実施例では、１つの階層データを生成したが、右目用、左目用の階層データをそれぞれ生成してもよい。表示画像生成部１７２は、拡大率に応じて、両眼視差分ずらして、それぞれの階層データから画像を合成して表示画像を生成することで、ステレオグラムをユーザに提供することが可能となる。
【００８２】
また実施例では、視線方向を共通とする１つの階層データを生成したが、異なる視線方向から複数の階層データを生成してもよい。このとき、入力装置２０の操作手段に対して、視線方向の切替機能を割り当てることで、ユーザは、視点を変更して、画像の拡大、縮小表示を楽しむことができる。
【００８３】
また、表示画像生成部１７２は、階層データを用いて生成した表示画像に、別の画像を重畳表示することも可能である。たとえば、レーシングカー前方の画像を階層データとして用意しておきつつ、レーシングカーのインジケータを別画像として用意しておくことで、表示画像生成部１７２は、レーシングカー前方の画像の拡大、縮小処理を行いながら、固定サイズのインジケータ画像を表示画像に重畳させることも可能である。
【図面の簡単な説明】
【００８４】
【図１】本発明の実施例にかかる画像処理システムを示す図である。
【図２】入力装置の外観構成を示す図である。
【図３】画像処理システムにおいて使用する画像データの階層構造を示す図である。
【図４】階層間の関係を説明するための説明図を示す図である。
【図５】画像処理装置の機能ブロック図を示す図である。
【図６】本実施例の画像処理のフローチャートを示す図である。
【図７】階層データを生成する制御部の構成を示す図である。
【図８】ゲームソフトウェアを実行することにより生成される仮想３次元空間の一例を示す図である。
【図９】カメラパラメータ設定部が仮想３次元空間内に設置した仮想カメラを示す図である。
【図１０】図９に示す仮想カメラにより撮影されるゲーム画像を示す図である。
【図１１】カメラ制御情報にしたがって第０階層の画像データを生成するために仮想３次元空間内に設置された仮想カメラを示す図である。
【図１２】図１１に示す仮想カメラにより撮影されるゲーム画像を示す図である。
【図１３】階層ごとに設定されたカメラ制御情報の具体例を示す図である。
【図１４】８ｋ×４ｋの撮影領域を４つの撮影領域に分割する例を示す図である。
【図１５】階層間の切り替わり時に設定されている演出データの一例を示す図である。
【図１６】表示画像を変更する制御部の構成を示す図である。
【図１７】カメラ制御情報にしたがって画像データを生成するために仮想３次元空間内に設置された仮想カメラを示す図である。
【図１８】第３階層の画像データを撮影する仮想カメラによる撮影領域を示す図である。
【符号の説明】
【００８５】
１・・・画像処理システム、１０・・・画像処理装置、１２・・・表示装置、２０・・・入力装置、４０・・・無線インタフェース、４２・・・スイッチ、４４・・・表示処理部、５０・・・ハードディスクドライブ、５２・・・記録媒体装着部、５４・・・ディスクドライブ、６０・・・メインメモリ、７０・・・バッファメモリ、９０・・・フレームメモリ、１００・・・制御部、１２０・・・アプリケーション処理部、１２２・・・指示受付部、１２４・・・ゲーム実行部、１２６・・・カメラ制御情報取得部、１２８・・・演出情報取得部、１３０・・・画像データ生成部、１３２・・・カメラパラメータ設定部、１３４・・・描画条件設定部、１３６・・・ゲーム画像生成部、１３８・・・タイル画像生成部、１４０・・・階層データ生成部、１５０・・・指示受付部、１６０・・・表示画像処理部、１６２・・・画像データ取得部、１６４・・・デコード部、１６６・・・変更量導出部、１６８・・・空間座標決定部、１７０・・・演出指示部、１７２・・・表示画像生成部、２１０・・・仮想カメラ。
【特許請求の範囲】
【請求項１】
階層データを生成する画像処理装置であって、
各階層の画像データを生成する画像データ生成部と、
複数階層の画像データを共通の座標系で表現した階層データを生成する階層データ生成部と、を備え、
前記階層データ生成部は、表示処理に使用する画像データを切り替える際の演出情報を階層データに付加することを特徴とする画像処理装置。
【請求項２】
前記画像データ生成部は、カメラパラメータを設定した仮想カメラに仮想３次元空間を撮影させることで画像データを生成し、
前記階層データ生成部は、設定されたカメラパラメータが異なる仮想カメラにより撮影された２つの画像データの組み合わせに対して、演出情報を設定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記カメラパラメータは、仮想カメラの位置、画角および仮想カメラの視線方向を含むことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記階層データ生成部は、表示処理に使用する画像データを異なる階層の画像データに切り替える際の演出情報を、階層データに付加することを特徴とする請求項１から３のいずれかに記載の画像処理装置。
【請求項５】
前記階層データ生成部は、表示処理に使用する画像データを、異なるカメラ位置から撮影された同一階層の画像データに切り替える際の演出情報を、階層データに付加することを特徴とする請求項１から４のいずれかに記載の画像処理装置。
【請求項６】
前記画像データ生成部は、設定されたカメラパラメータが同じ仮想カメラにより撮影された２つの画像データの組み合わせに対しては、演出情報を設定しないことを特徴とする請求項２または３に記載の画像処理装置。
【請求項７】
画像をディスプレイに表示する画像処理装置であって、
複数階層の画像データを共通の座標系で表現した階層データを保持する記憶装置と、
ディスプレイに表示されている表示画像の変更指示信号を受け付ける受付部と、
前記変更指示信号に応じて、表示処理に使用する画像データを切り替える際に、切替前の画像データと切替後の画像データの間に演出情報が設定されているか判断する演出指示部と、
画像データを用いて、表示画像を生成する表示画像生成部と、を備え、
前記演出指示部により演出情報が設定されていることが判断された場合に、前記表示画像生成部は、画像データの切り替え時に、切替前の画像データと切替後の画像データの組み合わせに対して設定されている演出情報を用いて、表示画像に演出処理を施すことを特徴とする画像処理装置。
【請求項８】
コンピュータに、
各階層の画像データを生成する機能と、
複数階層の画像データを共通の座標系で表現した階層データを生成する機能と、を実現させるためのプログラムであって、
階層データを生成する機能は、表示処理に使用する画像データを切り替える際の演出情報を階層データに付加する機能を含むことを特徴とするプログラム。
【請求項９】
請求項８に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１】
階層データを生成する画像処理装置であって、
各階層の画像データを生成する画像データ生成部と、
複数階層の画像データを共通の座標系で表現した階層データを生成する階層データ生成部と、を備え、
前記階層データ生成部は、表示処理に使用する画像データを切り替える際の演出情報を階層データに付加することを特徴とする画像処理装置。
【請求項２】
前記画像データ生成部は、カメラパラメータを設定した仮想カメラに仮想３次元空間を撮影させることで画像データを生成し、
前記階層データ生成部は、設定されたカメラパラメータが異なる仮想カメラにより撮影された２つの画像データの組み合わせに対して、演出情報を設定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記カメラパラメータは、仮想カメラの位置、画角および仮想カメラの視線方向を含むことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記階層データ生成部は、表示処理に使用する画像データを異なる階層の画像データに切り替える際の演出情報を、階層データに付加することを特徴とする請求項１から３のいずれかに記載の画像処理装置。
【請求項５】
前記階層データ生成部は、表示処理に使用する画像データを、異なるカメラ位置から撮影された同一階層の画像データに切り替える際の演出情報を、階層データに付加することを特徴とする請求項１から４のいずれかに記載の画像処理装置。
【請求項６】
前記画像データ生成部は、設定されたカメラパラメータが同じ仮想カメラにより撮影された２つの画像データの組み合わせに対しては、演出情報を設定しないことを特徴とする請求項２または３に記載の画像処理装置。
【請求項７】
画像をディスプレイに表示する画像処理装置であって、
複数階層の画像データを共通の座標系で表現した階層データを保持する記憶装置と、
ディスプレイに表示されている表示画像の変更指示信号を受け付ける受付部と、
前記変更指示信号に応じて、表示処理に使用する画像データを切り替える際に、切替前の画像データと切替後の画像データの間に演出情報が設定されているか判断する演出指示部と、
画像データを用いて、表示画像を生成する表示画像生成部と、を備え、
前記演出指示部により演出情報が設定されていることが判断された場合に、前記表示画像生成部は、画像データの切り替え時に、切替前の画像データと切替後の画像データの組み合わせに対して設定されている演出情報を用いて、表示画像に演出処理を施すことを特徴とする画像処理装置。
【請求項８】
コンピュータに、
各階層の画像データを生成する機能と、
複数階層の画像データを共通の座標系で表現した階層データを生成する機能と、を実現させるためのプログラムであって、
階層データを生成する機能は、表示処理に使用する画像データを切り替える際の演出情報を階層データに付加する機能を含むことを特徴とするプログラム。
【請求項９】
請求項８に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２０１０−１２５０４０（Ｐ２０１０−１２５０４０Ａ）
【公開日】平成２２年６月１０日（２０１０．６．１０）
【国際特許分類】
【出願番号】特願２００８−３０２４７８（Ｐ２００８−３０２４７８）
【出願日】平成２０年１１月２７日（２００８．１１．２７）
【出願人】（３９５０１５３１９）株式会社ソニー・コンピュータエンタテインメント (871)
【Ｆターム（参考）】
【公開日】平成２２年６月１０日（２０１０．６．１０）
【国際特許分類】
【出願日】平成２０年１１月２７日（２００８．１１．２７）
【出願人】（３９５０１５３１９）株式会社ソニー・コンピュータエンタテインメント (871)
【Ｆターム（参考）】
[ Back to top ]