説明

画像処理装置、画像処理方法、プログラム及び情報記憶媒体

【課題】ユーザに煩わしい作業を強いることなく、メモリに描画されるラスタ画像に基づいて生成される三次元表示用のラスタ画像が表示されるか、メモリに描画されるラスタ画像が表示されるか、が制御されるようにする。
【解決手段】描画部42が、ラスタ画像の基礎となるデータに基づいて生成されるラスタ画像をメモリに描画する。擬似三次元化制御部44が、ラスタ画像の基礎となるデータに基づくラスタ画像のメモリへの描画に応じて、メモリに描画されたラスタ画像を表示装置に表示させるか、メモリに描画されたラスタ画像に基づく三次元表示用のラスタ画像を表示装置に表示させるか、の制御を行う。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、画像処理方法、プログラム及び情報記憶媒体に関する。
【背景技術】
【0002】
仮想三次元空間内に配置されたオブジェクト及び視点を表すデータに基づいて、三次元表示用のラスタ画像(左目用ラスタ画像及び右目用ラスタ画像)を生成する技術が存在する。そして、このようにして生成される三次元表示用のラスタ画像が、例えば、フレームシーケンシャル方式、パッシブグラス方式、視差バリア方式などの方式によって、三次元画像表示を実現した表示装置に入力されると、仮想三次元空間内に配置された視点からオブジェクトを見た様子を表すラスタ画像が表示装置に三次元で表示されることとなる。
【0003】
また、二次元のラスタ画像に基づいて、三次元表示用のラスタ画像を生成する擬似三次元化処理を行うことができる画像処理装置も存在する。このようにして生成される三次元表示用のラスタ画像が表示装置に入力された際にも、表示装置にラスタ画像が三次元で表示されることとなる。また、入力される二次元のラスタ画像に対して擬似三次元化処理を行って三次元表示用のラスタ画像を生成した上で画像を三次元で表示する表示装置も存在する。そして、このような画像処理装置や表示装置のなかには、ユーザから受け付ける操作入力に応じて、擬似三次元化処理を実行するか否かを切り替えることができるものもある。
【発明の概要】
【発明が解決しようとする課題】
【0004】
例えば、ゲームコンソール等でゲームプログラムを実行することにより生成される画像が表示装置に表示される状況において、仮想三次元空間内に配置されたオブジェクト及び視点を表すデータに基づいて三次元表示用のラスタ画像が生成されてメモリに描画される際には、メモリに描画されたラスタ画像に対して擬似三次元化処理が実行される必要がそもそもない。一方で、上述の状況において、回想シーンなどの動画像が再生される際には、動画像に含まれるフレーム画像に対して擬似三次元化処理が実行された上で表示装置に表示されるようにするとフレーム画像が三次元で表示されることとなる。
【0005】
また、例えば、動画像に含まれるフレーム画像が順次表示装置に表示される状況において、文字が含まれていないフレーム画像については、フレーム画像に対して擬似三次元化処理が実行された上で表示装置に表示されるようにすると、フレーム画像が三次元で表示されることとなる。一方で、上述の状況において、文字が含まれているフレーム画像については、フレーム画像に対して擬似三次元化処理が実行された上で表示装置に表示されるようにすると文字の視認性が低下するおそれがある。
【0006】
また、例えば、メモリに描画されたラスタ画像の種別(例えば、人物検出ができるか否か、自然画像であるか否か)等によって、擬似三次元化処理の負荷が異なるような場合に、表示の対象となる一連のラスタ画像に、擬似三次元化処理の負荷が高いラスタ画像と擬似三次元化処理の負荷が低いラスタ画像とが混在することがある。このような場合には、擬似三次元化処理の負荷が高いラスタ画像については、擬似三次元化処理が実行されないことが望ましい。
【0007】
以上のような、表示の対象となる一連のラスタ画像に、擬似三次元化処理が実行されることが望ましいラスタ画像とそうでないラスタ画像とが混在する状況で、擬似三次元化処理が実行されるか否かをユーザの操作入力によって切り替えるとすると、ユーザには煩わしい作業が強いられることとなる。上述のような状況では、ラスタ画像の基礎となるデータに基づくラスタ画像のメモリへの描画(例えば、描画された画像は三次元表示用のラスタ画像であるか否か、実行されたコマンドに三次元表示用のラスタ画像の描画を示すグラフィックコマンドが含まれるか否か、実行されたコマンドにエンコードされた動画像データのデコードを示すコマンドが含まれるか否か、ラスタ画像が描画されるメモリの種別、ラスタ画像の種別、ラスタ画像の生成の基礎となるデータの種別、など)に応じて、擬似三次元化処理が実行されるか否かが制御されることが望ましい。
【0008】
本発明は上記課題に鑑みてなされたものであって、その目的の1つは、ユーザに煩わしい作業を強いることなく、メモリに描画されるラスタ画像に基づいて生成される三次元表示用のラスタ画像が表示されるか、メモリに描画されるラスタ画像が表示されるか、が制御されるようにすることにある。
【課題を解決するための手段】
【0009】
上記課題を解決するために、本発明に係る画像処理装置は、ラスタ画像の基礎となるデータに基づいて生成されるラスタ画像をメモリに描画する描画手段と、前記データに基づくラスタ画像のメモリへの描画に応じて、メモリに描画されたラスタ画像を表示装置に表示させるか、メモリに描画されたラスタ画像に基づく三次元表示用のラスタ画像を表示装置に表示させるか、の制御を行う制御手段と、を含むことを特徴とする。
【0010】
また、本発明に係る画像処理方法は、ラスタ画像の基礎となるデータに基づいて生成されるラスタ画像をメモリに描画する描画ステップと、前記データに基づくラスタ画像のメモリへの描画に応じて、メモリに描画されたラスタ画像を表示装置に表示させるか、メモリに描画されたラスタ画像に基づく三次元表示用のラスタ画像を表示装置に表示させるか、の制御を行う制御ステップと、を含むことを特徴とする。
【0011】
また、本発明に係るプログラムは、ラスタ画像の基礎となるデータに基づいて生成されるラスタ画像をメモリに描画する描画手段、前記データに基づくラスタ画像のメモリへの描画に応じて、メモリに描画されたラスタ画像を表示装置に表示させるか、メモリに描画されたラスタ画像に基づく三次元表示用のラスタ画像を表示装置に表示させるか、の制御を行う制御手段、としてコンピュータを機能させることを特徴とする。
【0012】
また、本発明に係る情報記憶媒体は、ラスタ画像の基礎となるデータに基づいて生成されるラスタ画像をメモリに描画する描画手段、前記データに基づくラスタ画像のメモリへの描画に応じて、メモリに描画されたラスタ画像を表示装置に表示させるか、メモリに描画されたラスタ画像に基づく三次元表示用のラスタ画像を表示装置に表示させるか、の制御を行う制御手段、としてコンピュータを機能させることを特徴とするプログラムを記憶したコンピュータ読み取り可能な情報記憶媒体である。
【0013】
本発明によれば、ラスタ画像の基礎となるデータに基づくラスタ画像のメモリへの描画に応じて、メモリに描画されたラスタ画像を表示装置に表示させるか、メモリに描画されたラスタ画像に基づく三次元表示用のラスタ画像を表示装置に表示させるか、の制御が行われるので、ユーザに煩わしい作業を強いることなく、メモリに描画されるラスタ画像に基づいて生成される三次元表示用のラスタ画像が表示されるか、メモリに描画されるラスタ画像が表示されるか、が制御されることとなる。
【0014】
本発明の一態様では、前記制御手段は、前記描画手段により三次元表示用のラスタ画像がメモリに描画された場合に、メモリに描画されたラスタ画像を表示装置に表示させることを特徴とする。
【0015】
また、本発明の一態様では、前記制御手段は、ラスタ画像の基礎となるデータの取得から当該データに基づくラスタ画像の描画までに実行されたコマンドに、三次元表示用のラスタ画像の描画を示すグラフィックコマンドが含まれる場合に、メモリに描画されたラスタ画像を表示装置に表示させ、そうでない場合に、メモリに描画されたラスタ画像に基づく三次元表示用のラスタ画像を表示装置に表示させることを特徴とする。
【0016】
また、本発明の一態様では、前記制御手段は、ラスタ画像の基礎となるデータの取得から当該データに基づくラスタ画像の描画までに実行されたコマンドに、エンコードされた動画像データのデコードを示すコマンドが含まれる場合に、メモリに描画されたラスタ画像に基づく三次元表示用のラスタ画像を表示装置に表示させ、そうでない場合に、メモリに描画されたラスタ画像を表示装置に表示させることを特徴とする。
【0017】
また、本発明の一態様では、前記制御手段は、前記描画手段によりラスタ画像が描画されるメモリの種別に応じて前記制御を行うことを特徴とする。
【0018】
また、本発明の一態様では、前記制御手段は、前記データ又は前記ラスタ画像の属性に応じて前記制御を行うことを特徴とする。
【0019】
また、本発明の一態様では、前記制御手段によりメモリに描画されたラスタ画像に基づく三次元表示用のラスタ画像を表示装置に表示させる制御が行われる場合に、メモリに描画されたラスタ画像に基づく三次元表示用のラスタ画像を生成する三次元表示用ラスタ画像生成手段、をさらに含むことを特徴とする。
【図面の簡単な説明】
【0020】
【図1】本発明の一実施形態に係る画像処理装置の構成図である。
【図2】本発明の一実施形態に係る画像処理装置で実現される機能の一例を示す機能ブロック図である。
【図3】仮想空間の一例を示す図である。
【図4A】本発明の一実施形態に係る画像処理装置で行われる処理の流れの一例を示すフロー図である。
【図4B】本発明の一実施形態に係る画像処理装置で行われる処理の流れの一例を示すフロー図である。
【発明を実施するための形態】
【0021】
以下、本発明の一実施形態について図面に基づき詳細に説明する。
【0022】
図1は、本発明の一実施形態に係る画像処理装置10の構成図である。図1に示すように、本実施形態に係る画像処理装置10の制御部は、メインプロセッサ12及び複数のサブプロセッサ14(14−1、14−2、・・・、14−n)を含んでいる。メインプロセッサ12及びサブプロセッサ14はいずれもバス16に接続されており、バス16を介して相互にデータを送受信できるようになっている。バス16には、さらに、メインメモリ18、画像処理部20が接続され、入出力処理部22を介して、ネットワークボード24、ハードディスクドライブ26、光ディスクドライブ28、コントローラ30、などが接続されている。なお、入出力処理部22には、これら以外のユニット(例えば、USB(Universal Serial Bus)ポートや、カメラユニットや、スピーカや、マイク等)が接続されていてももちろん構わない。
【0023】
メインプロセッサ12は、システム等のプログラムを実行したり、ハードディスクドライブ26に読み取られるハードディスクや光ディスクドライブ28に読み取られる光ディスクに記憶されたプログラム若しくはデータ、又は、通信ネットワークを介して供給されるプログラム若しくはデータなどに基づいて、各種情報処理を行ったり、サブプロセッサ14に対する制御を行ったりする。サブプロセッサ14は、メインプロセッサ12からの指示に従って、各種情報処理を行ったり、画像処理装置10の各部を、ハードディスクや光ディスクに記憶されたプログラム若しくはデータ、又は、通信ネットワークを介して供給されるプログラム若しくはデータ、等に基づいて制御したりする。また、本実施形態では、サブプロセッサ14にはDMAC(Direct Memory Access Controller)が内蔵されており、メインプロセッサ12を介さずに、メインメモリ18に対して直接アクセスできるようになっている。
【0024】
メインメモリ18には、ハードディスクや光ディスクに記憶されたプログラム若しくはデータ、又は、通信ネットワークを介して供給されるプログラム若しくはデータ、などが必要に応じて書き込まれる。メインメモリ18は、メインプロセッサ12やサブプロセッサ14のワークメモリとしても用いられる。また、本実施形態では、メインメモリ18には、本実施形態に係る画像処理装置10にインストールされるゲームプログラムやエミュレータプログラムも記憶されることとなる。
【0025】
画像処理部20は、GPU(Graphical Processing Unit)とフレームバッファとを含んで構成される。GPUは、メインプロセッサ12やサブプロセッサ14から供給されるグラフィックスコマンドやデータに基づいてフレームバッファに画像を描画する。フレームバッファに描画された画像は、所定のタイミングでビデオ信号に変換されてモニタ32に出力される。本実施形態では、家庭用テレビ受像機や、液晶ディスプレイなどが、モニタ32として用いられる。本実施形態では、画像処理部20とモニタ32とはHDMI(High-Definition Multimedia Interface)ケーブルにより接続されている。そして、本実施形態では、画像処理部20は、フレームバッファに描画された画像を、所定のタイミングでHDMIのビデオ信号に変換してモニタ32に出力する。
【0026】
本実施形態に係るモニタ32は、左目用ラスタ画像と右目用ラスタ画像とが交互に表示されるフレームシーケンシャル方式によって三次元画像表示(3D表示)を行うことができるようになっている。
【0027】
入出力処理部22には、ネットワークボード24、ハードディスクドライブ26、光ディスクドライブ28、コントローラ30、等が接続される。入出力処理部22は、メインプロセッサ12又はサブプロセッサ14と、ネットワークボード24、ハードディスクドライブ26、光ディスクドライブ28、又は、コントローラ30、等との間のデータ授受を制御する。
【0028】
ネットワークボード24は入出力処理部22とネットワークとに接続されており、画像処理装置10が、ネットワークを介して外部とデータ通信するのを中継するようになっている。光ディスクドライブ28は、メインプロセッサ12及びサブプロセッサ14からの指示に従って、DVD−ROMやBlu−ray(登録商標)ディスクなどの光ディスクに記憶されたプログラムやデータを読み取る。また、ハードディスクドライブ26は一般的なハードディスク装置であり、ハードディスクに記憶されたプログラムやデータを読み取る。光ディスクやハードディスクには各種プログラムやデータがコンピュータ読み取り可能に記憶される。なお、画像処理装置10は、光ディスクやハードディスク以外の、他のコンピュータ読み取り可能な情報記憶媒体に記憶されたプログラムやデータを読み取り可能に構成されていてもよい。コントローラ30は、汎用操作入力手段であり、ユーザが各種操作を入力するために用いられる。入出力処理部22は、所定時間(例えば1/60秒)ごとにコントローラ30の各部の状態をスキャンし、その結果を表す操作状態をメインプロセッサ12やサブプロセッサ14に供給する。メインプロセッサ12やサブプロセッサ14は、ユーザによって行われた操作の内容をその操作状態に基づいて判断する。
【0029】
図2は、本実施形態に係る画像処理装置10で実現される機能の一例を示す機能ブロック図である。なお、本実施形態に係る画像処理装置10では、図2に示す機能以外の機能も実現されている。図2に示すように、画像処理装置10は、機能的に、プログラム実行部40、描画部42、擬似三次元化制御部44、画像出力部46、擬似三次元化実行部48、を含んでいる。そして、描画部42は、オブジェクト画像描画部42aと、フレーム画像描画部42bと、を含んでいる。プログラム実行部40、フレーム画像描画部42bは、メインプロセッサ12又はサブプロセッサ14を主として実現される。オブジェクト画像描画部42a、擬似三次元化制御部44、画像出力部46は、画像処理部20を主として実現される。擬似三次元化実行部48は、サブプロセッサ14を主として実現される。
【0030】
これらの機能は、画像処理装置10で、本実施形態に係るプログラムが実行されることにより実現される。このプログラムは、コンピュータ通信ネットワーク経由で通信インタフェースを介して他のコンピュータからダウンロードされてもよいし、光ディスク(例えば、CD−ROMやDVD−ROMなど)、USBメモリ等のコンピュータ読み取り可能な情報記憶媒体に格納され、そこから光ディスクドライブ28やUSBポートなどを介して画像処理装置10にインストールされてもよい。
【0031】
そして、本実施形態に係る画像処理装置10では、予め、画像をモニタ32に二次元表示で出力するのか、三次元表示で出力するのかが設定されている。ここでは、本実施形態に係る画像処理装置10において、予め、画像が三次元表示で出力されることが設定されることとする。
【0032】
また、本実施形態に係る画像処理装置10では、所定の時間間隔毎に(例えば、1/60秒毎に)、ラスタ画像の描画及びモニタ32での当該ラスタ画像の表示が行われる。
【0033】
プログラム実行部40は、画像処理装置10にインストトールされたゲームプログラム(ハードディスクドライブ26に読み取られるハードディスクや光ディスクドライブ28に読み取られる光ディスクに記憶されたゲームプログラム)を実行する。本実施形態に係る画像処理装置10は、上述のゲームプログラムを実行することにより、図3に例示する仮想空間50をメインメモリ18上に構築する。プログラム実行部40は、ポイント、ライン、ポリゴンなどを表すベクタデータに基づいて、仮想オブジェクト52を生成して、生成した仮想オブジェクト52を仮想空間50内に配置する。また、プログラム実行部40は、視点54の位置及び視線方向を示すデータに基づいて、視点54を仮想空間50内に配置する。本実施形態では、仮想オブジェクト52は複数のポリゴンにより構成されている。各ポリゴンにはテクスチャがマッピングされている。上述のベクタデータや、視点54の位置及び視線方向を示すデータは、予め、ハードディスクドライブ26に読み取られるハードディスクや光ディスクドライブ28に読み取られる光ディスクに記憶されている。
【0034】
そして、プログラム実行部40は、視点54から視線方向を見た様子を表すラスタ画像(ビットマップ画像)の描画を示すグラフィックスコマンドを、オブジェクト画像描画部42aに出力する。このグラフィックスコマンドには、仮想オブジェクト52が配置されている位置を示すデータや視点54の位置及び視線方向を示すデータが関連付けられている。
【0035】
オブジェクト画像描画部42aは、プログラム実行部40から上述のグラフィックスコマンドを受け付けると、視点54の位置に対して所定の長さだけ左にずらした位置(図3に示す左視点56)から仮想空間50を見た様子を表す左目用ラスタ画像、及び、プログラム実行部40から受け付けた視点54の位置に対して所定の長さだけ右にずらした位置(図3に示す右視点58)から仮想空間50を見た様子を表す右目用ラスタ画像、を生成して、これらのラスタ画像を、それぞれに対応付けられるフレームバッファに描画する。このように、本実施形態に係る画像処理部20には、左目用ラスタ画像が描画されるフレームバッファと、右目用ラスタ画像が描画されるフレームバッファと、が含まれている。
【0036】
また、プログラム実行部40は、ゲームプログラムの実行中に所定のイベントが発生すると回想シーンなどの動画像が再生される状態となる。このような状態になると、プログラム実行部40は、ハードディスクや光ディスクに記憶されている、エンコードされた動画像データを取得する。そして、フレーム画像描画部42bが、取得した動画像データをデコードした上で、この動画像データを構成する一連のフレーム画像をメインメモリ18に描画する。なお、フレーム画像は、ラスタ画像(ビットマップ画像)である。
【0037】
本実施形態では、動画像の再生が終了すると、プログラム実行部40による、視点54から視線方向を見た様子を表すラスタ画像(ビットマップ画像)の描画を示すグラフィックスコマンドの、オブジェクト画像描画部42aへの出力、及び、オブジェクト画像描画部42aによる、左目用ラスタ画像及び右目用ラスタ画像のフレームバッファへの描画が再開される。
【0038】
擬似三次元化制御部44は、ラスタ画像の描画に応じて、画像出力部46に、通常モードによるラスタ画像の出力を行わせるか、擬似三次元化モードによるラスタ画像の出力を行わせるか、の制御を行う。本実施形態では、通常モードとは、描画されたラスタ画像がモニタ32に出力されるモードを指し、擬似三次元化モードとは、描画されたラスタ画像に基づいて生成される三次元表示用のラスタ画像(例えば、左目用ラスタ画像と右目用ラスタ画像の組合せ)がモニタ32に出力されるモードを指す。
【0039】
画像出力部46は、フレームバッファ又はメインメモリ18に描画されたラスタ画像を、通常モード又は擬似三次元化モードのいずれか一方のモードでモニタ32に出力する。
【0040】
ここで、本実施形態に係る画像処理装置10で行われる、フレームバッファ又はメインメモリ18に描画されたラスタ画像をモニタ32に出力する処理の流れの一例を、図4A及び図4Bに例示するフロー図を参照しながら説明する。
【0041】
まず、擬似三次元化制御部44が、出力の対象となるラスタ画像が描画されているメモリのアドレスに基づいて、当該ラスタ画像が、フレームバッファに描画されているかメインメモリ18に描画されているかを特定する(S101)。そして、出力の対象となるラスタ画像がメインメモリ18に描画されていることが特定された場合は、擬似三次元化制御部44は、擬似三次元化モードでのラスタ画像の出力指示を画像出力部46に通知する。(S102)。そして、画像出力部46は、この通知の受付に応じて、擬似三次元化実行部48に、出力の対象となるラスタ画像に基づく三次元表示用のラスタ画像の生成指示(擬似三次元化処理の実行指示)を通知する(S103)。そして、擬似三次元化実行部48は、この通知の受付に応じて、出力の対象となるラスタ画像に基づいて、左目用ラスタ画像及び右目用ラスタ画像の組合せを生成する(擬似三次元化処理を実行する)(S104)。そして、擬似三次元化実行部48は、S104に示す処理で生成された左目用ラスタ画像及び右目用ラスタ画像の出力指示を画像出力部46に通知する(S105)。そして、画像出力部46が、この通知に応じて、擬似三次元化実行部48により生成された左目用ラスタ画像及び右目用ラスタ画像が含まれる、HDMIにおけるフレームパッキング方式に従ったパケットを生成する(S106)。なお、フレームパッキング方式は、HDMI1.4における3D映像信号の伝送方式の一つである。そして、画像出力部46が、生成したパケットをモニタ32に伝送する(S107)。なお、本実施形態では、メインメモリ18に描画されたラスタ画像に基づく左目用ラスタ画像と右目用ラスタ画像の組合せの生成及び出力は、サブプロセッサ14のDMACによるDMA(Direct Memory Access)により行われ、フレームバッファを介さない。
【0042】
一方、S101に示す処理で、フレームバッファに描画されていることが特定された場合は、擬似三次元化制御部44は、通常モードでのラスタ画像の出力指示を画像出力部46に通知する(S108)。そして、画像出力部46は、この通知の受付に応じて、表示の対象となるラスタ画像が含まれるパケットを生成する(S109)そして、画像出力部46が、生成したパケットをモニタ32に伝送する(S110)。
【0043】
本実施形態では、上述のように、オブジェクト画像描画部42aにより、左視点56から仮想空間50を見た様子を表す左目用ラスタ画像、及び、右視点58から仮想空間50を見た様子を表す右目用ラスタ画像、が生成されて、これらのラスタ画像が、それぞれに対応付けられるフレームバッファに描画されているので、S109に示す処理において、画像出力部46は、これらの左目用ラスタ画像及び右目用ラスタ画像が含まれる、HDMIにおけるフレームパッキング方式に従ったパケットを生成する。
【0044】
そして、モニタ32は、S107又はS110に示す処理で伝送されたパケットを受け付けると、そのパケットをHDMIにおけるフレームパッキング方式に従って解釈することで、受け付けたパケットから、左目用ラスタ画像及び右目用ラスタ画像を抽出する(S111)。そして、モニタ32は、左目用ラスタ画像及び右目用ラスタ画像をフレームシーケンシャル方式によって三次元で表示する(S112)。
【0045】
本実施形態に係る画像処理装置10では、所定の時間間隔毎に、フレームバッファ又はメインメモリ18へのラスタ画像の描画、及び、上述のS101〜S112に示す処理が実行されることとなる。なお、上述の処理例における、画像出力部46によるパケットの伝送方式はフレームパッキング方式に限定されず、例えば、サイドバイサイド方式やトップアンドボトム方式などの、他の3D映像信号の伝送方式を用いても構わない。
【0046】
以上のように、本実施形態に係る画像処理装置10では、表示の対象となるラスタ画像が動画像データを構成するフレーム画像であり、当該フレーム画像であるラスタ画像がメインメモリ18に描画されている場合には、そのラスタ画像に基づいて生成される(擬似三次元化処理により生成される)左目用ラスタ画像及び右目用ラスタ画像がモニタ32に表示される。一方で、本実施形態に係る画像処理装置10では、表示の対象となるラスタ画像がベクタデータに基づいて生成されるラスタ画像であり、当該ラスタ画像がフレームバッファに描画されている場合には、画像処理部20により生成される左目用ラスタ画像及び右目用ラスタ画像がモニタ32に表示される。この場合は、擬似三次元化実行部48による擬似三次元化処理は実行されない。このようにして、本実施形態では、ユーザに煩わしい作業を強いることなく、ラスタ画像が描画されるメモリの種別に応じて、描画されるラスタ画像に基づいて生成される三次元表示用のラスタ画像がモニタ32に表示されるか、メモリに描画されるラスタ画像がモニタ32に表示されるか、が制御されることとなる。また、本実施形態によれば、画像処理部20により生成された左目用ラスタ画像及び右目用ラスタ画像に対して擬似三次元化処理が実行されてしまう事態を防ぐことができることとなる。
【0047】
また、本実施形態に係る画像処理装置10は、当該画像処理装置10とは異なる種類のプロセッサを備える装置(以下、他種装置と呼ぶ。)で実行可能なプログラムを実行するための仮想マシンとして機能するプロセスであるエミュレータを実行することができるようになっている。このエミュレータは、本実施形態に係る画像処理装置10にインストールされているエミュレータプログラムを起動することにより生成される。
【0048】
本実施形態に係るエミュレータでは、他種装置が備える2種類のプロセッサ(CPU(Central Processing Unit)及びGPU(Graphic Processing Unit))がエミュレートされる。以下、他種装置が備えるCPUを他種CPUと呼び、他種装置が備えるGPUを他種GPUと呼ぶこととする。本実施形態に係る画像処理装置10が備えるメインプロセッサ12やサブプロセッサ14と他種CPUとは、命令セットが異なる。また、本実施形態に係る画像処理装置10が備える画像処理部20に含まれるGPUと他種GPUとも命令セットが異なる。
【0049】
本実施形態では、他種CPUのエミュレートに関する処理はメインプロセッサ12によって実行される。また、本実施形態では、エミュレートされた他種CPUが出力するグラフィックスコマンド(他種GPUが実行可能なグラフィックスコマンド)が、メインメモリ18に書き込まれる。そして、サブプロセッサ14が、メインメモリ18に書き込まれたグラフィックスコマンドを、画像処理装置10の画像処理部20に含まれるGPUが実行可能なグラフィックスコマンドに変換する。そして、画像処理部20が、変換されたグラフィックスコマンドの実行を行う。
【0050】
そして、本実施形態に係るエミュレータは、他種プロセッサにおける特定のコマンド(例えば、ノーオペレーション(NOP)コマンド)については、そのコマンドに設定されているパラメータの値(例えば、オペランド)に応じた処理を実行する。そのため、例えば、ベクタデータに基づく三次元表示用のラスタ画像(左目用ラスタ画像及び右目用ラスタ画像)の生成処理が、他種プロセッサにおけるNOPコマンドに設定されているパラメータの値として設定されている場合には、当該生成処理が他種装置では実行できなくても、本実施形態に係る画像処理装置10では実行されることとなる。そして、エミュレータにより上述のNOPコマンドに応じた処理が実行される際には、サブプロセッサ14が、三次元表示用のラスタ画像の描画を示すグラフィックスコマンドを、画像処理部20に出力する。そして、画像処理部20は、左目用ラスタ画像及び右目用ラスタ画像を生成して、これらのラスタ画像を、それぞれに対応付けられるフレームバッファに描画する。
【0051】
そして、本実施形態では、例えば、エミュレータ上で実行されるゲームプログラムにおいて動画像が再生される状況になると、エミュレータは、動画像データを構成する一連のフレーム画像をメインメモリ18に描画する。
【0052】
そして、本実施形態では、エミュレータによりゲームプログラムが実行されている場合でも、擬似三次元化制御部44は、出力の対象となるラスタ画像が、メインメモリ18に描画されたものである場合には、擬似三次元化モードでのラスタ画像の出力指示を画像出力部46に通知し、フレームバッファに描画されたものである場合には、通常モードでのラスタ画像の出力指示を画像出力部46に通知する。擬似三次元化モードでのラスタ画像の出力指示が画像出力部46に通知された場合は、上述のS103〜S107、S111、及び、S112に示す処理と同様の処理が実行されることとなる。通常モードでのラスタ画像の出力指示が画像出力部46に通知された場合は、上述のS109〜S112に示す処理と同様の処理が実行されることとなる。
【0053】
このようにして、本実施形態に係る画像処理装置10においてエミュレータにおいてプログラムが実行される場合でも、ユーザに煩わしい作業を強いることなく、ラスタ画像が描画されるメモリの種別に応じて、描画されるラスタ画像に基づいて生成される三次元表示用のラスタ画像がモニタ32に表示されるか、メモリに描画されるラスタ画像がモニタ32に表示されるか、が制御されることとなる。
【0054】
なお、本発明は上述の実施形態に限定されるものではない。
【0055】
例えば、画像処理装置10によって、一連のフレーム画像から構成される映画等の動画像が再生される場面において、擬似三次元化制御部44は、公知の文字認識技術により、上述のメインメモリ18に描画されたフレーム画像に文字が含まれているか否かを判定するようにしてもよい。そして、フレーム画像に文字が含まれていると判定された際には、擬似三次元化制御部44は、通常モードでのラスタ画像の出力指示を画像処理部20に通知し、フレーム画像に文字が含まれていないと判定された際には、擬似三次元化制御部44は、擬似三次元化モードでのラスタ画像の出力指示を画像出力部46に通知するようにしてもよい。こうすれば、文字が含まれるフレーム画像は三次元でモニタ32に表示されなくなるので、文字の視認性の低下を防ぐことができる。
【0056】
また、擬似三次元化実行部48により実行される擬似三次元化処理に用いられるアルゴリズム(例えば、表示の対象となるラスタ画像と直前のフレームで表示されたラスタ画像との差分に基づいて各画素の奥行を特定するアルゴリズム、テンプレートとして予め設定された形状の領域の奥行を当該テンプレートに対応付けられる値に設定するアルゴリズム、等)の種別に基づいて、ラスタ画像の特徴や属性と擬似三次元化処理の負荷との関係が特定可能である場合がある。このような場合に、例えば、ハードディスクやメインメモリ18に、予め、処理負荷が比較的低いラスタ画像の特徴や属性に関する条件を示すデータ(例えば、自然画像であること、人物検出が可能であること、直前のフレームにおけるラスタ画像との間での特徴量の差が所定量未満であること、など)を記憶するようにしてもよい。そして、擬似三次元化制御部44は、表示の対象となるラスタ画像が、例えば、公知の画像処理技術を用いてラスタ画像を解析するようにしてもよい。そして、擬似三次元化制御部44は、解析結果に基づいて、記憶されているデータが示す条件を当該ラスタ画像が満足すると判定した場合に、擬似三次元化モードでのラスタ画像の出力指示を画像出力部46に通知し、そうでない場合に、通常モードでのラスタ画像の出力指示を画像出力部46に通知するようにしてもよい。
【0057】
以上のように、擬似三次元化制御部44は、ラスタ画像の生成の基礎となるデータの属性や、ラスタ画像の属性に応じて、擬似三次元化モードでのラスタ画像の出力指示を画像出力部46に通知するか、通常モードでのラスタ画像の出力指示を画像出力部46に通知するか、を決定するようにしてもよい。
【0058】
また、例えば、擬似三次元化制御部44は、画像出力部46により出力されるラスタ画像の生成の基礎となるデータの取得から当該ラスタ画像の描画までの間に画像処理装置10が実行したコマンドに、ベクタデータ又は動画像データに基づく三次元表示用のラスタ画像の描画(例えば、左目用ラスタ画像及び右目用ラスタ画像の描画)を示すグラフィックコマンドが含まれる場合に、通常モードでのラスタ画像の出力指示を画像処理部20に通知し、そうでない場合に、擬似三次元化モードでのラスタ画像の出力指示を画像出力部46に通知するようにしてもよい。
【0059】
また、例えば、擬似三次元化制御部44は、画像出力部46により出力されるラスタ画像の生成の基礎となるデータの取得から当該ラスタ画像の描画までの間に画像処理装置10が実行したコマンドに、エンコードされた動画像データのデコードを示すコマンドが含まれる場合に、擬似三次元化モードでのラスタ画像の出力指示を画像出力部46に通知し、そうでない場合に、通常モードでのラスタ画像の出力指示を画像処理部20に通知するようにしてもよい。
【0060】
また、例えば、擬似三次元化制御部44は、画像出力部46により出力されるラスタ画像の生成の基礎となるデータが、光ディスクから読み出されたフレーム画像である場合に、擬似三次元化モードでのラスタ画像の出力指示を画像出力部46に通知し、そうでない場合に、通常モードでのラスタ画像の出力指示を画像処理部20に通知するようにしてもよい。
【0061】
また、例えば、擬似三次元化制御部44は、表示の対象となるラスタ画像が、左目用ラスタ画像及び右目用ラスタ画像の2枚である場合に、通常モードでのラスタ画像の出力指示を画像処理部20に通知し、そうでない場合に、擬似三次元化モードでのラスタ画像の出力指示を画像出力部46に通知するようにしてもよい。
【0062】
以上の説明においても、擬似三次元化モードでのラスタ画像の出力指示が画像出力部46に通知された場合は、上述のS103〜S107、S111、及び、S112に示す処理と同様の処理が実行され、通常モードでのラスタ画像の出力指示が画像出力部46に通知された場合は、上述のS109〜S112に示す処理と同様の処理が実行されることとなる。
【0063】
また、例えば、画像出力部46は、通常モードでのラスタ画像の出力指示を擬似三次元化制御部44から受け付けた際に、表示の対象となるラスタ画像が1枚である場合には、当該ラスタ画像と同一の画像が左目用ラスタ画像としても右目用ラスタ画像としても含まれる、HDMIにおけるフレームパッキング方式に従ったパケットを生成して、生成したパケットをモニタ32に伝送するようにしてもよい。また、画像出力部46は、通常モードでのラスタ画像の出力指示を擬似三次元化制御部44から受け付けた際に、表示の対象となるラスタ画像が1枚である場合に、3D映像信号の伝送方式を用いずに、2D映像信号の伝送方式を用いて表示の対象となるラスタ画像をモニタ32に伝送するようにしてもよい。
【0064】
また、本実施形態に係る画像処理装置10において、コントローラ30から受け付けるユーザによる操作入力に応じて、擬似三次元処理を実行するか否かの設定が可能であっても構わない。ここで、擬似三次元処理を実行しない旨が設定された場合は、擬似三次元化制御部44による上述の制御が行われないようにして、画像出力部46が、フレームバッファ又はメインメモリ18に描画されたラスタ画像が含まれるパケットを生成して、モニタ32に伝送するようにしてもよい。このとき、画像出力部46は、3D映像信号の伝送方式を用いて表示の対象となるラスタ画像をモニタ32に伝送するようにしても、2D映像信号の伝送方式を用いて表示の対象となるラスタ画像をモニタ32に伝送するようにしてもよい。
【0065】
また、本実施形態に係る画像処理装置10において、コントローラ30から受け付けるユーザによる操作入力に応じて、三次元表示を行うか否かの設定が可能であっても構わない。ここで、三次元表示を行わない旨が設定された場合は、オブジェクト画像描画部42aは、視点54の位置から仮想空間50を見た様子を表すラスタ画像をフレームバッファに描画するようにしてもよい。そして、画像出力部46は、2D映像信号の伝送方式を用いて表示の対象となるラスタ画像をモニタ32に伝送するようにしてもよい。
【0066】
例えば、モニタ32において3D表示を実現する方法はフレームシーケンシャル方式にには限定されない。例えば、モニタ32が、水平走査線ごとに偏光特性を変えるパッシブグラス方式によって3D表示を実現するようにしてもよい。また、モニタ32は、視差バリア方式によって3D表示が実現された裸眼3Dディスプレイであっても構わない。
【0067】
また、画像処理装置10にモニタ32が含まれている必要はなく、画像処理装置10が、画像処理装置10に接続されたモニタ32に上述のパケットを出力するようにしてもよい。
【0068】
また、擬似三次元化処理を擬似三次元化実行部48で実行されないようにしてもよい。その代わりに、画像処理部20が、擬似三次元化処理を実行可能なモニタ32に、擬似三次化処理の実行指示を表示の対象となるラスタ画像とともに出力するようにしてもよい。そして、モニタ32が、擬似三次化処理の実行指示とともに受け付けたラスタ画像に対して、擬似三次元化処理を実行して左目用ラスタ画像及び右目用ラスタ画像を生成して、生成した左目用ラスタ画像及び右目用ラスタ画像を表示するようにしてもよい。
【0069】
また、プログラム実行部40、描画部42、擬似三次元化制御部44、画像出力部46、並びに、擬似三次元化実行部48の機能の一部又は全部が、グラフィックカード等の電子機器において実現されていてもよい。また、上述の機能が当該電子機器において、ハードウェアによる回路により実現されていても、ソフトウェアにより実現されていても構わない。
【0070】
また、本実施形態に係るメインプロセッサ12、サブプロセッサ14、画像処理部20の役割分担は上述のものには限定されない。例えば、擬似三次元化実行部48が画像処理部20やメインプロセッサ12により実現されていてもよい。
【符号の説明】
【0071】
10 画像処理装置、12 メインプロセッサ、14 サブプロセッサ、16 バス、18 メインメモリ、20 画像処理部、22 入出力処理部、24 ネットワークボード、26 ハードディスクドライブ、28 光ディスクドライブ、30 コントローラ、32 モニタ、40 プログラム実行部、42 描画部、42a オブジェクト画像描画部、42b フレーム画像描画部、44 擬似三次元化制御部、46 画像出力部、48 擬似三次元化実行部、50 仮想空間、52 仮想オブジェクト、54 視点、56 左視点、58 右視点。

【特許請求の範囲】
【請求項1】
ラスタ画像の基礎となるデータに基づいて生成されるラスタ画像をメモリに描画する描画手段と、
前記データに基づくラスタ画像のメモリへの描画に応じて、メモリに描画されたラスタ画像を表示装置に表示させるか、メモリに描画されたラスタ画像に基づく三次元表示用のラスタ画像を表示装置に表示させるか、の制御を行う制御手段と、
を含むことを特徴とする画像処理装置。
【請求項2】
前記制御手段は、前記描画手段により三次元表示用のラスタ画像がメモリに描画された場合に、メモリに描画されたラスタ画像を表示装置に表示させる、
ことを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記制御手段は、ラスタ画像の基礎となるデータの取得から当該データに基づくラスタ画像の描画までに実行されたコマンドに、三次元表示用のラスタ画像の描画を示すグラフィックコマンドが含まれる場合に、メモリに描画されたラスタ画像を表示装置に表示させ、そうでない場合に、メモリに描画されたラスタ画像に基づく三次元表示用のラスタ画像を表示装置に表示させる、
ことを特徴とする請求項1に記載の画像処理装置。
【請求項4】
前記制御手段は、ラスタ画像の基礎となるデータの取得から当該データに基づくラスタ画像の描画までに実行されたコマンドに、エンコードされた動画像データのデコードを示すコマンドが含まれる場合に、メモリに描画されたラスタ画像に基づく三次元表示用のラスタ画像を表示装置に表示させ、そうでない場合に、メモリに描画されたラスタ画像を表示装置に表示させる、
ことを特徴とする請求項1に記載の画像処理装置。
【請求項5】
前記制御手段は、前記描画手段によりラスタ画像が描画されるメモリの種別に応じて前記制御を行う、
ことを特徴とする請求項1から4のいずれか一項に記載の画像処理装置。
【請求項6】
前記制御手段は、前記データ又は前記ラスタ画像の属性に応じて前記制御を行う、
ことを特徴とする請求項1から5のいずれか一項に記載の画像処理装置。
【請求項7】
前記制御手段によりメモリに描画されたラスタ画像に基づく三次元表示用のラスタ画像を表示装置に表示させる制御が行われる場合に、メモリに描画されたラスタ画像に基づく三次元表示用のラスタ画像を生成する三次元表示用ラスタ画像生成手段、をさらに含む、
ことを特徴とする請求項1から6のいずれか一項に記載の画像処理装置。
【請求項8】
ラスタ画像の基礎となるデータに基づいて生成されるラスタ画像をメモリに描画する描画ステップと、
前記データに基づくラスタ画像のメモリへの描画に応じて、メモリに描画されたラスタ画像を表示装置に表示させるか、メモリに描画されたラスタ画像に基づく三次元表示用のラスタ画像を表示装置に表示させるか、の制御を行う制御ステップと、
を含むことを特徴とする画像処理方法。
【請求項9】
ラスタ画像の基礎となるデータに基づいて生成されるラスタ画像をメモリに描画する描画手段、
前記データに基づくラスタ画像のメモリへの描画に応じて、メモリに描画されたラスタ画像を表示装置に表示させるか、メモリに描画されたラスタ画像に基づく三次元表示用のラスタ画像を表示装置に表示させるか、の制御を行う制御手段、
としてコンピュータを機能させることを特徴とするプログラム。
【請求項10】
ラスタ画像の基礎となるデータに基づいて生成されるラスタ画像をメモリに描画する描画手段、
前記データに基づくラスタ画像のメモリへの描画に応じて、メモリに描画されたラスタ画像を表示装置に表示させるか、メモリに描画されたラスタ画像に基づく三次元表示用のラスタ画像を表示装置に表示させるか、の制御を行う制御手段、
としてコンピュータを機能させることを特徴とするプログラムを記憶したコンピュータ読み取り可能な情報記憶媒体。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4A】
image rotate

【図4B】
image rotate


【公開番号】特開2013−25715(P2013−25715A)
【公開日】平成25年2月4日(2013.2.4)
【国際特許分類】
【出願番号】特願2011−162513(P2011−162513)
【出願日】平成23年7月25日(2011.7.25)
【出願人】(310021766)株式会社ソニー・コンピュータエンタテインメント (417)
【Fターム(参考)】