画像処理プログラム、装置、システムおよび方法

【課題】ユーザに認識される空間を拡張し、拡張現実の効果を高めることを課題とする。
【解決手段】撮像装置によって撮像された被写体の撮像画像を処理する画像処理装置のコンピュータに、撮像画像を取得する撮像画像取得ステップ、撮像装置の動きに連動するように、仮想空間に配置される仮想カメラの撮影方向を決定する仮想カメラ方向決定ステップ、撮像画像に対して所定の画像処理を行うための情報のうち、仮想カメラ方向決定ステップで決定された仮想カメラの撮影方向により定まる部分を特定する特定ステップ、撮像画像取得ステップで取得された撮像画像に対して、特定ステップで特定された部分を用いて所定の画像処理を行う画像処理ステップ、および画像処理ステップで所定の画像処理が行われた撮像画像を表示装置に表示させる表示制御ステップ、を実行させるための画像処理プログラムとした。

【特許請求の範囲】
【請求項１】
撮像装置によって撮像された被写体の撮像画像を処理する画像処理装置のコンピュータに、
前記撮像画像を取得する撮像画像取得ステップ、
前記撮像装置の動きに連動するように、仮想空間に配置される仮想カメラの撮影方向を決定する仮想カメラ方向決定ステップ、
前記撮像画像に対して所定の画像処理を行うための情報のうち、前記仮想カメラ方向決定ステップで決定された仮想カメラの撮影方向により定まる部分を特定する特定ステップ、
前記撮像画像取得ステップで取得された撮像画像に対して、前記特定ステップで特定された部分を用いて前記所定の画像処理を行う画像処理ステップ、および
前記画像処理ステップで前記所定の画像処理が行われた撮像画像を表示装置に表示させる表示制御ステップ、
を実行させるための画像処理プログラム。
【請求項２】
前記所定の画像処理を行うための情報は、前記撮像画像の各部分について前記所定の画像処理を行うか否かを示すデータ群により構成される、請求項１に記載の画像処理プログラム。
【請求項３】
前記所定の画像処理を行うための情報は、前記撮像画像と画素毎に合成される、前記撮像画像の画素毎の透明度を示すデータ群により構成される、
請求項１または２に記載の画像処理プログラム。
【請求項４】
前記所定の画像処理を行うための情報は、前記仮想空間に設定される所定の領域に対応する、請求項１から３の何れか一項に記載の画像処理プログラム。
【請求項５】
前記仮想空間に設定される所定の領域は、前記撮像装置が一定の方向に１回転した場合に前記仮想カメラにより撮像される撮像部分に対応する、請求項４に記載の画像処理プログラム。
【請求項６】
前記仮想空間に配置された仮想オブジェクトを前記仮想カメラで撮影することにより仮想オブジェクト画像を生成する生成ステップ、および
前記画像処理ステップで前記所定の画像処理が行われた撮像画像と前記生成ステップで生成された仮想オブジェクト画像とを合成する合成ステップをさらに前記コンピュータに実行させる、請求項１から５の何れか一項に記載の画像処理プログラム。
【請求項７】
前記撮像装置の動きを検出する検出ステップをさらに前記コンピュータに実行させ、
前記仮想カメラ方向決定ステップは、前記検出ステップで検出された動きに連動するように、前記仮想カメラの撮影方向を決定する、請求項１または２に記載の画像処理プログラム。
【請求項８】
前記撮像画像は、単眼の撮像装置または複眼の撮像装置で撮像された画像である、
請求項１から７のいずれか一項に記載の画像処理プログラム。
【請求項９】
前記所定の画像処理を行うための情報は、前記仮想空間に配置されるオブジェクトに設定され、
前記仮想空間に配置されるオブジェクトは、該仮想空間を、前記仮想カメラから見て手前側の空間と奥側の空間とに仕切るオブジェクトである、
請求項１から８の何れか一項に記載の画像処理プログラム。
【請求項１０】
前記手前側の空間と奥側の空間とに仕切るオブジェクトには、前記奥側の空間に配置された他のオブジェクトの影が描画される、
請求項９に記載の画像処理プログラム。
【請求項１１】
前記仮想空間には、前記撮像装置によって撮像された撮像対象者の顔画像が貼付けられたキャラクタオブジェクトが配置され、
前記顔画像が撮像される際に、前記コンピュータに、
前記撮像装置によって撮像された顔画像に基づいて、前記撮像対象者の顔と前記撮像装置との距離が所定の範囲内にあるか否かを判定する判定ステップと、
前記判定ステップにより前記撮像対象者の顔と前記撮像装置との距離が前記所定の範囲内にあることが判定された場合に、前記撮像対象者の顔画像に含まれる少なくとも１つの特徴点の位置を合わせるための目標位置を前記撮像装置によって繰り返し撮像される前記撮像対象者の顔画像とともに表示装置に表示する表示ステップと、
を実行させる、請求項１から１０の何れか一項に記載の画像処理プログラム。
【請求項１２】
前記仮想空間には、前記撮像装置によって撮像された撮像対象者の顔画像が貼付けられたキャラクタオブジェクトが配置され、
前記コンピュータに、
ゲームの開始時に、前記顔画像を取得して第1記憶領域に一時的に記憶する顔画像取得
ステップと、
前記第1記憶領域に記憶された顔画像を含むキャラクタオブジェクトを作成するステッ
プと、
ユーザの操作を受け付けて、前記顔画像を含むキャラクタオブジェクトに関連するゲームを進行するゲーム処理ステップと、
前記ユーザの操作による前記ゲームでの成功または不成功を判定するステップと、
前記ゲームでの成功が判定された場合に、前記第1記憶領域に記憶された前記顔画像を
、第２記憶領域に蓄積的に保存するステップと、
を更に実行させる、請求項１から１１の何れか一項に記載の画像処理プログラム。
【請求項１３】
前記仮想空間には、前記撮像装置によって撮像された撮像対象者の顔画像が貼付けられたキャラクタオブジェクトが配置され、
前記コンピュータに、
前記顔画像を取得する顔画像取得ステップと、
前記取得した顔画像を基に第１のキャラクタオブジェクトを作成するステップと、
前記第１のキャラクタオブジェクトとともに、前記第１のキャラクタオブジェクトとは異なる第２のキャラクタオブジェクトを表示してゲームを実行するゲーム処理ステップと、を更に実行させ、
前記ゲーム処理ステップは、
ユーザの操作による前記第１のキャラクタオブジェクトへの攻撃により、前記ゲームでの成功に寄与するステップと、
前記ユーザの操作による前記第２のキャラクタオブジェクトへの攻撃を無効にするステップと、を含む、
請求項１から１１の何れか一項に記載の画像処理プログラム。
【請求項１４】
前記仮想空間には、前記撮像装置によって撮像された撮像対象者の顔画像が貼付けられたキャラクタオブジェクトが配置され、
前記コンピュータに、
前記顔画像を取得する顔画像取得ステップと、
前記取得した一の顔画像を含む第１のキャラクタオブジェクトを作成するステップと、
前記第１のキャラクタオブジェクトとともに、前記第１のキャラクタオブジェクトよりも寸法の小さい、前記一の顔画像を含む第２のキャラクタオブジェクトと前記第１のキャラクタオブジェクトよりも寸法の小さい、前記一の顔画像以外の顔画像を含む第３のキャラクタオブジェクトとを表示してゲームを実行するゲーム処理ステップと、を更に実行させ、
前記ゲーム処理ステップは、
ユーザの操作による前記第３のキャラクタオブジェクトへの攻撃により、前記第１のキャラクタオブジェクトに含まれる前記顔画像の変形を進行させるステップと、
前記ユーザの操作による前記第２のキャラクタオブジェクトへの攻撃により、前記第１のキャラクタオブジェクトに含まれる顔画像が前記取得した元の顔画像に近づくように、前記変形を後退させるステップと、を含む、
請求項１から１１の何れか一項に記載の画像処理プログラム。
【請求項１５】
前記仮想空間には、前記撮像装置によって撮像された撮像対象者の顔画像が貼付けられたキャラクタオブジェクトが配置され、
前記コンピュータに、
前記顔画像を取得する顔画像取得ステップと、
前記取得した顔画像を変形させた顔画像を含むキャラクタオブジェクトを作成するステップと、
ユーザの操作を受け付けて、前記顔画像に関連するゲームを進行するゲーム処理ステップと、
前記ユーザの操作による前記ゲームでの成功または不成功を判定するステップと、
前記ゲームの結果が成功であったときに、前記変形させた顔画像が前記取得した元の顔画像に復帰するステップと、
を更に実行させる、請求項１から１１の何れか一項に記載の画像処理プログラム。
【請求項１６】
撮像装置によって撮像された被写体の撮像画像を処理する画像処理装置であって、
前記撮像画像を取得する撮像画像取得手段、
前記撮像装置の動きに連動するように、仮想空間に配置される仮想カメラの撮影方向を決定する仮想カメラ方向決定手段、
前記撮像画像に対して所定の画像処理を行うための情報のうち、前記仮想カメラ方向決定手段によって決定された仮想カメラの撮影方向により定まる部分を特定する特定手段、
前記撮像画像取得手段によって取得された撮像画像に対して、前特定手段によって特定された部分を用いて前記所定の画像処理を行う画像処理手段、および
前記画像処理手段によって前記所定の画像処理が行われた撮像画像を表示装置に表示させる表示制御手段、
を備える画像処理装置。
【請求項１７】
撮像装置と、前記撮像装置によって取得した被写体の撮像画像を含む情報を表示する表示装置と、仮想空間に配置されたオブジェクトを描画するための画像処理装置とを備える画像処理システムであって、
前記画像処理装置が、
前記撮像画像を取得する撮像画像取得手段、
前記撮像装置の動きに連動するように、仮想空間に配置される仮想カメラの撮影方向を決定する仮想カメラ方向決定手段、
前記撮像画像に対して所定の画像処理を行うための情報のうち、前記仮想カメラ方向決定手段によって決定された仮想カメラの撮影方向により定まる部分を特定する特定手段、
前記撮像画像取得手段によって取得された撮像画像に対して、前特定手段によって特定された部分を用いて前記所定の画像処理を行う画像処理手段、および
前記画像処理手段によって前記所定の画像処理が行われた撮像画像を表示装置に表示さ
せる表示制御手段、
を有する、画像処理システム。
【請求項１８】
仮想空間に配置されたオブジェクトを描画するための画像処理方法であって、コンピュータが、
撮像装置によって取得した被写体の撮像画像を取得する撮像画像取得ステップ、
前記撮像装置の動きに連動するように、仮想空間に配置される仮想カメラの撮影方向を決定する仮想カメラ方向決定ステップ、
前記撮像画像に対して所定の画像処理を行うための情報のうち、前記仮想カメラ方向決定ステップで決定された仮想カメラの撮影方向により定まる部分を特定する特定ステップ、
前記撮像画像取得ステップで取得された撮像画像に対して、前特定ステップで特定された部分を用いて前記所定の画像処理を行う画像処理ステップ、および
前記画像処理ステップで前記所定の画像処理が行われた撮像画像を表示装置に表示させる表示制御ステップ、
を実行する画像処理方法。

【図１】