三次元画像処理プログラム及び装置
【課題】 従来の、実在する所定範囲の３次元空間を前後左右上下に自由に動くことのできるオブジェクト視点から見た背景映像表現をしているゲームなどでは、その背景映像をポリゴンモデルによる仮想三次元空間の画像としているので、実在する場所の実際の背景映像と比べると違いがある。そのため、現実感、臨場感に乏しいものとなっている。
【解決手段】 所定範囲の３次元空間内にある所定の複数地点で全方向を撮影した実写画像から、操作オブジェクト視点の位置と方向から最も視点変換に適切な画像を選択し、その選択画像の一部分から視点変換した背景画像を視点の動きに合わせ連続表示することにより、現実感、臨場感を向上させた、前後左右上下に自由に動く実写背景画像を提供する。
【解決手段】 所定範囲の３次元空間内にある所定の複数地点で全方向を撮影した実写画像から、操作オブジェクト視点の位置と方向から最も視点変換に適切な画像を選択し、その選択画像の一部分から視点変換した背景画像を視点の動きに合わせ連続表示することにより、現実感、臨場感を向上させた、前後左右上下に自由に動く実写背景画像を提供する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明はコンピュータで実行する画像処理プログラムにおける動画背景画像に、自由に動くことのできる視点からの実在する場所の実写映像を表示する画像処理技術に関するものである。
【背景技術】
【０００２】
従来の、操作者が操作し所定の３次元空間範囲を自由に動くことができるゲームなどでは、その背景映像はポリゴンモデルによる仮想三次元空間画像を表示する方法が多く用いられている。
【０００３】
ここで仮想三次元空間画像とは、画像表示要素が三次元座標空間における座標で特定される情報をもった三次元空間内の任意の位置に視点（仮想視点）を設定し、その視点から空間内を見渡した情景とし、その視点を操作者が操作する操作対象物の動きに合わせ、連続的に移動させることにより、あたかも操作者がその三次元空間内を移動しているような感覚を与える画像であり、一般に３Ｄコンピュータグラフィックスと呼ばれているものである。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら以上の技術によれば、仮想三次元空間画像であるため、実在する場所の実写背景映像と比べると違いがある。そのため現実感と臨場感に乏しいものとなっている。また背景画像に実写を撮影した映像の再生速度を変化させて再生するだけ（特開平９−２２０３０８）では、撮影方向に対してのみの自由度しかない。言い方を変えると自由度が１次元的である。さらに前記再生画像を視点変換して表示する方法（特許第３７２６２３９号）では、撮影方向に対してとその周りの限定された範囲とでしか自由に動くことができない。言い方を変えると自由度は１次元的なものと範囲限定の２次元的なものの組み合わせである。
【０００５】
そこで、この発明は、実在する任意に設定した３次元空間範囲を自由に動くことができるゲームなどにおいて、前記空間範囲を自由に動くことのできる操作対象物の視点から見た背景映像を実写映像とする背景画像処理プログラム及び装置を提供することを課題とする。
【課題を解決するための手段】
【０００６】
以上の課題を解決するために、第１発明は、少なくとも、３次元空間の任意に設定した範囲における移動可能な操作対象物の操作情報に基づいて操作位置と操作方向とを出力する処理と、前記範囲内で所望方向を撮影した複数枚の実写画像から前記操作位置に基づき適切な画像を選択する処理と、前記選択された画像を前記操作位置と前記操作方向に基づく視点から視点変換背景画像を作成する処理と、をコンピュータに実行させるための画像処理プログラムである。
【０００７】
請求項１に記載の第１発明に従い、３次元空間における任意に設定した範囲内の複数点で所望方向を撮影した実写画像を用意し、操作対象物の操作位置から最も近い点で撮影された画像を前記操作対象物の操作位置と操作方向に基づいた視点から視点変換した画像を表示することで、任意に設定した範囲内で操作者が操作した位置と方向からの実写映像を表示することができる。この所望方向とは、好みまたは必要に応じて任意に定める方向であり、全方向が現実的な画像を出力するのに好ましいが、例えば操作方向が水平方向のみの２次元なら上下方向の撮影映像は省略可能であるから必要ない。
【０００８】
第２発明は、さらに、前記視点変換背景画像を連続表示して動画像を作成する処理をコンピュータに実行させるための請求項１記載の画像処理プログラムである。
【０００９】
請求項２に記載の第２発明に従い、第１発明の視点変換した画像を連続表示することで、操作者が所定の３次元空間内で自由に動いている操作感を与える動画像表示手段としてコンピュータを機能させる。この「処理をコンピュータに実行させるプログラム」とは、コンピュータ装置のＣＰＵが実行する処理、またはＣＰＵが自らに接続されたハードウェアに処理を行わせる指示を出すプログラム、のことである。
【００１０】
第３発明は、３次元空間の任意に設定した範囲における移動可能な操作対象物の操作情報に基づいて操作位置と操作方向とを出力する操作情報出力手段と、前記所定範囲内で所望方向を撮影した複数枚の実写画像から前記操作位置と前記操作方向に基づき適切な画像を選択する画像選択手段と、前記選択された画像を前記操作位置と前記操作方向に基づく視点から視点変換背景画像を作成する視点変換背景画像作成手段と、を含むことを特徴とする画像処理装置であり、第４発明は前記視点変換背景画像を連続表示して動画像を作成する動画像作成手段を含むことを特徴とする請求項３記載の画像処理装置である。
【００１１】
請求項３と請求項４に記載の第３発明と第４発明に従えば、３次元空間における所定範囲内の複数点で全方向を撮影した実写画像を用意し、操作対象物の操作位置から最も近い点で撮影された画像を操作位置と操作方向に基づいた視点から視点変換した画像を連続して表示することで、操作者が所定の３次元空間内で自由に動いている操作感を与える画像表示処理装置を提供することができる。
【発明の効果】
【００１２】
第１発明と第２発明によれば、任意に設定した３次元空間内を自由に動いている視点からの連続した実写背景動画像を表示するコンピュータプログラムを提供することができる。第３発明と第４発明によれば、任意に設定した３次元空間内を自由に動いている視点からの連続した実写背景動画像を表示する画像処理装置を提供することができる。
【発明を実施するための最良の形態】
【００１３】
以下、図面に基づいてこの発明の一実施例について、詳細に説明する。この実施例は、床を基準として上から見たとき図１、斜め上からみたとき図５のような構造を持ち、実在するとした部屋内のＳ点からＥ点までを図１の太線に沿って等速で動いた視点からの映像を、１秒間に３０枚の速度で２０秒間表示するプログラムであるとする。また、図１に示すＰ１〜Ｐ９の各点で前後左右上下方向を撮影し（以下、Ｐ１〜Ｐ９を撮影点とする）、図２の３０１のようにサイコロを展開した形の画像データをあらかじめ作成してあるものとし、前記視点が動く操作情報もあらかじめ作成されているものとする。このとき、Ｓ点、Ｅ点、Ｐ１〜Ｐ９各点の部屋の床からの高さはすべて同じ高さであるとする。
【００１４】
ここで図２の３０１について説明する。３０１の「上」と書いてある正方形部分は撮影点Ｐ７から床を基準として上方向（図５のＰｖ２方向）を撮影したものであり、「右」と書いてある正方形部分は撮影点Ｐ７から右方向（図５のＰｖ３方向）を撮影したものである。同様に「下」、「左」、「前」（図５のＰｖ１方向）、「後」とそれぞれの方向を撮影したものである。この実施例では各撮影点で撮影した画像をＪＰＥＧ（Ｊｏｉｎｔ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）に準拠した方法で圧縮された状態で記録媒体２に記録されているものとする。
【００１５】
図３はこの発明の画像処理装置が適用されるコンピュータ装置の一実施形態を示す構成ブロック図である。この装置は本体１と、プログラムデータと画像ファイルが格納された記録媒体２、操作者の操作情報を入力する入力装置３、ゲーム中の音を出力するスピーカ４、ゲーム画面を表示するコンピュータ用ディスプレイ５とからなる。
【００１６】
本体１の内部にはＣＰＵ（中央演算処理装置）１００と、ＣＰＵ１００に接続されたアドレスバス、データバス、制御バスからなるバスライン１０１を持っている。バスライン１０１にはデータＲＡＭ（メインメモリ）１０２、入力インターフェース１０３、ＲＯＭ１０４、記録媒体デコーダ１０５、描画プロセッサ１０８、伸張回路１１０、サウンドプロセッサ１１１、増幅器１１３が接続される。
【００１７】
このコンピュータ装置は用途に応じて形態が異なる。例えば、このコンピュータ装置が業務用ゲーム装置のときは図１の構成要素すべてが１つの筐体に納められ、ＣＰＵを備える家庭用ゲーム装置の場合はディスプレイ５とスピーカ４の代わりにＴＶモニタに接続し、入力装置はゲームコントローラーなどになる。
【００１８】
次に各構成要素について説明する。まずデータＲＡＭ１０２にはプログラム本体、画像データ、他必要なデータ、ワークエリアなどが格納される。入力インターフェース１０３は、入力装置から操作者の操作情報を取り出し、ＣＰＵ１００が処理できる形にする処理をするところである。
【００１９】
ＲＯＭ１０４はパーソナルコンピュータにおけるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）が相当し、コンピュータ装置の起動処理、記録媒体２に記録された最初に実行されるプログラムの読み出しと実行を制御するプログラム、基本入出力装置のドライバプログラムなどを格納している。
【００２０】
記録媒体ドライバ１０７は、例えば記録媒体であるＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ，ハードディスクドライブなどからデータをバッファ１０６に読み出し、記録媒体デコーダ１０５でＥＣＣ（Ｅｒｒｏｒ Ｃｏｒｒｅｃｔｉｏｎ Ｃｏｄｅ）によるエラー補正訂正処理をした後、ＣＰＵの指示にあわせ、読み出したデータをデータＲＡＭ１０２などに送る。
【００２１】
描画プロセッサ１０８は、ＣＰＵ１００の指示に基づき、描画バッファ１０９の内容を、画像としてモニタが表示できる信号を作り出すものである。
【００２２】
伸張回路１１０は、動画に対するＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）や静止画に対するＪＰＥＧに準拠された圧縮画像を伸張する処理を行う。この実施形態では前記画像データを背景に使用するために伸張する処理を行う。
【００２３】
サウンドプロセッサ１１１は、ＣＰＵ１００の指示に基づき、記録媒体に記録された音データを直接、または一旦バッファ１１２に格納し、必要に応じて加工した（サウンドエフェクトを施した）、所定の音楽や効果音を生成する。生成された音は増幅器１１３で増幅され、接続されているスピーカ４から出力される。
【００２４】
図４は、この一実施例におけるプログラムフローチャートである。まずプログラム処理が開始されると、記録媒体２からデータＲＡＭ１０２の一部に、あらかじめ作成し記録させておいた前記画像データなど必要な初期データなどをＣＰＵ１００が読み込ませる（ステップＳ１）。読み込ませを完了したＣＰＵ１００はプログラム本体の処理を開始する（ステップＳ２）。
【００２５】
処理が開始されると、前記視点の操作情報から前記視点の位置と方向とを算出する（ステップＳ３）。すなわちＣＰＵ１００が行うステップＳ３の処理は、３次元空間の任意に設定した範囲における移動可能な操作対象物の操作情報に基づいて操作位置と操作方向とを出力する処理である。
【００２６】
そして、ＣＰＵ１００は算出した前記視点位置から距離が最も近い撮影点を求め、求めた撮影点からの撮影画像を選択する（ステップＳ４）。例えば、視点位置が図１のＳ点であった場合、ＣＰＵ１００が求める最も近い撮影点はＰ７となり、撮影点Ｐ７から撮影された画像をＣＰＵ１００が選択し、ＣＰＵ１００の指示に基づき伸張回路１１０が選択された画像を伸張する。すなわちＣＰＵ１００が行うステップＳ４の処理は、任意に設定した範囲内で所望方向を撮影した複数枚の実写画像から前記操作位置に基づき適切な画像を選択する処理である。
【００２７】
そして、ＣＰＵ１００は前記選択された撮影画像からステップＳ６にて行う視点変換処理に必要な領域を切り出す（ステップＳ５）。ＣＰＵ１００は切り出した後必要に応じて切り出した部分の形状を変形する処理を行う。ＣＰＵ１００は切り出した画像を前記視点の位置と方向に基づいて視点変換処理をした画像を作成する（ステップＳ６）。すなわちＣＰＵ１００が行うステップＳ６の処理は、選択された画像を前記操作位置と前記操作方向に基づく視点から視点変換背景画像を作成する処理である。
【００２８】
ここでは「特許庁標準技術集、技術分類Ａ−１０ 実写との合成、視点移動できる２次元映像と３次元ＣＧの合成手法」という視点変換技術を用いる。この「特許庁標準技術集、技術分類Ａ−１０ 実写との合成、視点移動できる２次元映像と３次元ＣＧの合成手法」とは、一枚の画像を別のカメラアングルから見たように変形し、視点移動が可能な画像合成手法である。ＣＧと実写の自然な合成画像を得るためには、実写撮影のカメラの位置、方向、画角をＣＧ映像制作のカメラアングルと一致させる必要がある。そこで、実写のカメラアングルをＣＧに一致させるのではなく、カメラ固定の実写映像をＣＧのカメラアングルに合わせて変形すれば、容易に合成できると考えられるという技術であり、画像に設定された情報といくつかの仮定から、システムは画像を左右、正面壁、天井、床などの領域に分割し、それぞれの３次元座標を求めることにより、オリジナル画像の３次元形状モデルを自動推定する。この３次元形状をもとに、ＣＧのカメラアングルと一致するように２次元映像を変形することにより、実写とＣＧを自然に合成する、という技術である。（出典：「任意の視点移動を表現する対話的画像再合成」、「情報処理学会研究報告 グラフィックスとＣＡＤ ８１−１１」、（１９９６年８月２３日）、堀井洋一、新井清志著、情報処理学会発行）
【００２９】
図４の説明に戻り、引き続き説明する。ＣＰＵ１００はステップＳ６にて視点変換処理をした視点変換画像データを描画バッファ１０９に転送する。描画プロセッサ１０８は描画バッファの内容をモニタに表示する（ステップＳ７）。次に、ＣＰＵ１００は表示時間が２０秒に達したか（この場合、表示枚数が 毎秒３０枚×２０秒＝６００枚 になったか）を判定し、２０秒間表示したら処理終了となる（ステップＳ８）。以上のステップＳ３からステップＳ８をＣＰＵ１００などが１／３０秒で繰り返し行うことによりＳ点からＥ点まで動く視点からの動画像を作成することができる。すなわちＣＰＵ１００などが行うステップＳ３からステップＳ８までを繰り返す処理は視点変換背景画像を連続表示して動画像を作成する処理である。
【００３０】
ここでステップＳ５とステップＳ６の処理について具体例を挙げて説明する。例えば、視点位置が図１のＳ点であり視点方向が図１の上方向（図１Ｓ点からの矢印方向）を向いていて、選択された画像が撮影点Ｐ７で撮影された図２の３０１だった場合、視点変換処理のために図２の３０１から切り出される領域は図２の斜線部分３０４となる。次に、切り出された画像の左側の一部を形状変換した画像（図２の３０２）を作成する。一部を形状変換した画像は撮影点Ｐ７から撮影された画像であるので、この画像を視点変換処理して図２の３０３のようなＳ点からの視点背景画像を得る。
【００３１】
「実施形態の効果」
この実施形態によれば、３次元空間の所定範囲を自由に動いた視点からの実写映像を提供することができるため、現実感と臨場感を向上させることができる。これは実在する部屋を舞台にする現実感と臨場感のある実写背景動画像を提供することができる。
【００３２】
「他の実施形態」
上記の実施形態では、あらかじめ用意した画像がサイコロを展開した形のデータ構造をしていたが、円柱を展開した形（図６）や地球儀に貼り付ける地図のような細長いレンズ形のものをいくつか並べた形をしていてもよい。また、上記の実施形態では、操作情報はあらかじめ与えられていたが、この発明は３次元空間を自由に動くことのできるゲームなど、ジャンルを問わず、操作者がリアルタイムに操作するものにも応用でき、実際の空間を自由に動いている実写動画像を提供できる。また、上記実施例の視点変換処理は「特許庁標準技術集、技術分類Ａ−１０ 実写との合成、視点移動できる２次元映像と３次元ＣＧの合成手法」という方法を用いたが、撮影した画像全要素（画像の全ドット）の撮影点からの距離情報が与えられていれば同様な結果となる視点変換処理を施すことができる。
【００３３】
また、上記実施例では実在するとした部屋の内部のみを任意に設定した３次元空間の範囲としたが、この設定する範囲は狭い場所に限らず図７のような都市の一角全てとしても良い。この都市一角の建物外部と全建物内部との複数地点で全方向をあらかじめ撮影した画像を用意すれば、この範囲を自由に動いたときの実写背景動画を提供することができる。さらに、映画やＴＶ番組の１シーンなどで、カメラ（視点）をいろいろ動かしながらより良い動画像を試しながら作成する場合などの映像、通常ではありえない動きのカメラアングル映像、といった実写動画像作成にも応用できる。
【図面の簡単な説明】
【００３４】
【図１】実施例における実在するとした部屋の上面図
【図２】実施例におけるＰ７地点からの撮影映像と切り出し、視点変換処理イメージ図
【図３】この発明のコンピュータ装置における一実施形態の構成ブロック図
【図４】実施例におけるプログラムフローチャート
【図５】実施例の実在するとした部屋の斜め上から見た透視図。理解を容易にするため空間を仕切る壁は透明であり各壁に描かれた模様のみ実線で表示する。尚模様は壁の裏表で同一とする。
【図６】他の実施形態における円柱を展開した形の撮影データ（図１におけるＰ５より撮影）
【図７】実在するとした都市の一角
【符号の説明】
【００３５】
１ コンピュータ装置本体
２ 記録媒体
３ 入力装置
４ スピーカ
５ ディスプレイモニタ
１００ ＣＰＵ
１０１ バスライン
１０２ データＲＡＭ
１０３ 入力インターフェース
１０４ ＲＯＭ
１０５ 記録媒体デコーダ
１０６ 記録媒体バッファ
１０７ 記録媒体ドライバ
１０８ 描画プロセッサ
１０９ 描画バッファ
１１０ 伸張回路
１１１ サウンドプロセッサ
１１２ サウンドバッファ
１１３ 増幅器
２００ 実施例の実在するとした部屋の上面図
２０１ 実施例の実在するとした部屋の床
３０１ 図１のＰ７地点から撮影した前後左右上下方向の画像
３０２ 操作位置と操作方向に基づいて３０１から切り出した画像
３０３ ３０２の画像を操作位置と操作方向に基づいた視点から視点変換した画像
３０４ ３０１から切り出す３０２の部分（斜線部分）
４００ 実施例の実在するとした部屋の斜め上から見た透視図
４０１ 実施例の実在するとした部屋の展開図
【技術分野】
【０００１】
この発明はコンピュータで実行する画像処理プログラムにおける動画背景画像に、自由に動くことのできる視点からの実在する場所の実写映像を表示する画像処理技術に関するものである。
【背景技術】
【０００２】
従来の、操作者が操作し所定の３次元空間範囲を自由に動くことができるゲームなどでは、その背景映像はポリゴンモデルによる仮想三次元空間画像を表示する方法が多く用いられている。
【０００３】
ここで仮想三次元空間画像とは、画像表示要素が三次元座標空間における座標で特定される情報をもった三次元空間内の任意の位置に視点（仮想視点）を設定し、その視点から空間内を見渡した情景とし、その視点を操作者が操作する操作対象物の動きに合わせ、連続的に移動させることにより、あたかも操作者がその三次元空間内を移動しているような感覚を与える画像であり、一般に３Ｄコンピュータグラフィックスと呼ばれているものである。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら以上の技術によれば、仮想三次元空間画像であるため、実在する場所の実写背景映像と比べると違いがある。そのため現実感と臨場感に乏しいものとなっている。また背景画像に実写を撮影した映像の再生速度を変化させて再生するだけ（特開平９−２２０３０８）では、撮影方向に対してのみの自由度しかない。言い方を変えると自由度が１次元的である。さらに前記再生画像を視点変換して表示する方法（特許第３７２６２３９号）では、撮影方向に対してとその周りの限定された範囲とでしか自由に動くことができない。言い方を変えると自由度は１次元的なものと範囲限定の２次元的なものの組み合わせである。
【０００５】
そこで、この発明は、実在する任意に設定した３次元空間範囲を自由に動くことができるゲームなどにおいて、前記空間範囲を自由に動くことのできる操作対象物の視点から見た背景映像を実写映像とする背景画像処理プログラム及び装置を提供することを課題とする。
【課題を解決するための手段】
【０００６】
以上の課題を解決するために、第１発明は、少なくとも、３次元空間の任意に設定した範囲における移動可能な操作対象物の操作情報に基づいて操作位置と操作方向とを出力する処理と、前記範囲内で所望方向を撮影した複数枚の実写画像から前記操作位置に基づき適切な画像を選択する処理と、前記選択された画像を前記操作位置と前記操作方向に基づく視点から視点変換背景画像を作成する処理と、をコンピュータに実行させるための画像処理プログラムである。
【０００７】
請求項１に記載の第１発明に従い、３次元空間における任意に設定した範囲内の複数点で所望方向を撮影した実写画像を用意し、操作対象物の操作位置から最も近い点で撮影された画像を前記操作対象物の操作位置と操作方向に基づいた視点から視点変換した画像を表示することで、任意に設定した範囲内で操作者が操作した位置と方向からの実写映像を表示することができる。この所望方向とは、好みまたは必要に応じて任意に定める方向であり、全方向が現実的な画像を出力するのに好ましいが、例えば操作方向が水平方向のみの２次元なら上下方向の撮影映像は省略可能であるから必要ない。
【０００８】
第２発明は、さらに、前記視点変換背景画像を連続表示して動画像を作成する処理をコンピュータに実行させるための請求項１記載の画像処理プログラムである。
【０００９】
請求項２に記載の第２発明に従い、第１発明の視点変換した画像を連続表示することで、操作者が所定の３次元空間内で自由に動いている操作感を与える動画像表示手段としてコンピュータを機能させる。この「処理をコンピュータに実行させるプログラム」とは、コンピュータ装置のＣＰＵが実行する処理、またはＣＰＵが自らに接続されたハードウェアに処理を行わせる指示を出すプログラム、のことである。
【００１０】
第３発明は、３次元空間の任意に設定した範囲における移動可能な操作対象物の操作情報に基づいて操作位置と操作方向とを出力する操作情報出力手段と、前記所定範囲内で所望方向を撮影した複数枚の実写画像から前記操作位置と前記操作方向に基づき適切な画像を選択する画像選択手段と、前記選択された画像を前記操作位置と前記操作方向に基づく視点から視点変換背景画像を作成する視点変換背景画像作成手段と、を含むことを特徴とする画像処理装置であり、第４発明は前記視点変換背景画像を連続表示して動画像を作成する動画像作成手段を含むことを特徴とする請求項３記載の画像処理装置である。
【００１１】
請求項３と請求項４に記載の第３発明と第４発明に従えば、３次元空間における所定範囲内の複数点で全方向を撮影した実写画像を用意し、操作対象物の操作位置から最も近い点で撮影された画像を操作位置と操作方向に基づいた視点から視点変換した画像を連続して表示することで、操作者が所定の３次元空間内で自由に動いている操作感を与える画像表示処理装置を提供することができる。
【発明の効果】
【００１２】
第１発明と第２発明によれば、任意に設定した３次元空間内を自由に動いている視点からの連続した実写背景動画像を表示するコンピュータプログラムを提供することができる。第３発明と第４発明によれば、任意に設定した３次元空間内を自由に動いている視点からの連続した実写背景動画像を表示する画像処理装置を提供することができる。
【発明を実施するための最良の形態】
【００１３】
以下、図面に基づいてこの発明の一実施例について、詳細に説明する。この実施例は、床を基準として上から見たとき図１、斜め上からみたとき図５のような構造を持ち、実在するとした部屋内のＳ点からＥ点までを図１の太線に沿って等速で動いた視点からの映像を、１秒間に３０枚の速度で２０秒間表示するプログラムであるとする。また、図１に示すＰ１〜Ｐ９の各点で前後左右上下方向を撮影し（以下、Ｐ１〜Ｐ９を撮影点とする）、図２の３０１のようにサイコロを展開した形の画像データをあらかじめ作成してあるものとし、前記視点が動く操作情報もあらかじめ作成されているものとする。このとき、Ｓ点、Ｅ点、Ｐ１〜Ｐ９各点の部屋の床からの高さはすべて同じ高さであるとする。
【００１４】
ここで図２の３０１について説明する。３０１の「上」と書いてある正方形部分は撮影点Ｐ７から床を基準として上方向（図５のＰｖ２方向）を撮影したものであり、「右」と書いてある正方形部分は撮影点Ｐ７から右方向（図５のＰｖ３方向）を撮影したものである。同様に「下」、「左」、「前」（図５のＰｖ１方向）、「後」とそれぞれの方向を撮影したものである。この実施例では各撮影点で撮影した画像をＪＰＥＧ（Ｊｏｉｎｔ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）に準拠した方法で圧縮された状態で記録媒体２に記録されているものとする。
【００１５】
図３はこの発明の画像処理装置が適用されるコンピュータ装置の一実施形態を示す構成ブロック図である。この装置は本体１と、プログラムデータと画像ファイルが格納された記録媒体２、操作者の操作情報を入力する入力装置３、ゲーム中の音を出力するスピーカ４、ゲーム画面を表示するコンピュータ用ディスプレイ５とからなる。
【００１６】
本体１の内部にはＣＰＵ（中央演算処理装置）１００と、ＣＰＵ１００に接続されたアドレスバス、データバス、制御バスからなるバスライン１０１を持っている。バスライン１０１にはデータＲＡＭ（メインメモリ）１０２、入力インターフェース１０３、ＲＯＭ１０４、記録媒体デコーダ１０５、描画プロセッサ１０８、伸張回路１１０、サウンドプロセッサ１１１、増幅器１１３が接続される。
【００１７】
このコンピュータ装置は用途に応じて形態が異なる。例えば、このコンピュータ装置が業務用ゲーム装置のときは図１の構成要素すべてが１つの筐体に納められ、ＣＰＵを備える家庭用ゲーム装置の場合はディスプレイ５とスピーカ４の代わりにＴＶモニタに接続し、入力装置はゲームコントローラーなどになる。
【００１８】
次に各構成要素について説明する。まずデータＲＡＭ１０２にはプログラム本体、画像データ、他必要なデータ、ワークエリアなどが格納される。入力インターフェース１０３は、入力装置から操作者の操作情報を取り出し、ＣＰＵ１００が処理できる形にする処理をするところである。
【００１９】
ＲＯＭ１０４はパーソナルコンピュータにおけるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）が相当し、コンピュータ装置の起動処理、記録媒体２に記録された最初に実行されるプログラムの読み出しと実行を制御するプログラム、基本入出力装置のドライバプログラムなどを格納している。
【００２０】
記録媒体ドライバ１０７は、例えば記録媒体であるＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ，ハードディスクドライブなどからデータをバッファ１０６に読み出し、記録媒体デコーダ１０５でＥＣＣ（Ｅｒｒｏｒ Ｃｏｒｒｅｃｔｉｏｎ Ｃｏｄｅ）によるエラー補正訂正処理をした後、ＣＰＵの指示にあわせ、読み出したデータをデータＲＡＭ１０２などに送る。
【００２１】
描画プロセッサ１０８は、ＣＰＵ１００の指示に基づき、描画バッファ１０９の内容を、画像としてモニタが表示できる信号を作り出すものである。
【００２２】
伸張回路１１０は、動画に対するＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）や静止画に対するＪＰＥＧに準拠された圧縮画像を伸張する処理を行う。この実施形態では前記画像データを背景に使用するために伸張する処理を行う。
【００２３】
サウンドプロセッサ１１１は、ＣＰＵ１００の指示に基づき、記録媒体に記録された音データを直接、または一旦バッファ１１２に格納し、必要に応じて加工した（サウンドエフェクトを施した）、所定の音楽や効果音を生成する。生成された音は増幅器１１３で増幅され、接続されているスピーカ４から出力される。
【００２４】
図４は、この一実施例におけるプログラムフローチャートである。まずプログラム処理が開始されると、記録媒体２からデータＲＡＭ１０２の一部に、あらかじめ作成し記録させておいた前記画像データなど必要な初期データなどをＣＰＵ１００が読み込ませる（ステップＳ１）。読み込ませを完了したＣＰＵ１００はプログラム本体の処理を開始する（ステップＳ２）。
【００２５】
処理が開始されると、前記視点の操作情報から前記視点の位置と方向とを算出する（ステップＳ３）。すなわちＣＰＵ１００が行うステップＳ３の処理は、３次元空間の任意に設定した範囲における移動可能な操作対象物の操作情報に基づいて操作位置と操作方向とを出力する処理である。
【００２６】
そして、ＣＰＵ１００は算出した前記視点位置から距離が最も近い撮影点を求め、求めた撮影点からの撮影画像を選択する（ステップＳ４）。例えば、視点位置が図１のＳ点であった場合、ＣＰＵ１００が求める最も近い撮影点はＰ７となり、撮影点Ｐ７から撮影された画像をＣＰＵ１００が選択し、ＣＰＵ１００の指示に基づき伸張回路１１０が選択された画像を伸張する。すなわちＣＰＵ１００が行うステップＳ４の処理は、任意に設定した範囲内で所望方向を撮影した複数枚の実写画像から前記操作位置に基づき適切な画像を選択する処理である。
【００２７】
そして、ＣＰＵ１００は前記選択された撮影画像からステップＳ６にて行う視点変換処理に必要な領域を切り出す（ステップＳ５）。ＣＰＵ１００は切り出した後必要に応じて切り出した部分の形状を変形する処理を行う。ＣＰＵ１００は切り出した画像を前記視点の位置と方向に基づいて視点変換処理をした画像を作成する（ステップＳ６）。すなわちＣＰＵ１００が行うステップＳ６の処理は、選択された画像を前記操作位置と前記操作方向に基づく視点から視点変換背景画像を作成する処理である。
【００２８】
ここでは「特許庁標準技術集、技術分類Ａ−１０ 実写との合成、視点移動できる２次元映像と３次元ＣＧの合成手法」という視点変換技術を用いる。この「特許庁標準技術集、技術分類Ａ−１０ 実写との合成、視点移動できる２次元映像と３次元ＣＧの合成手法」とは、一枚の画像を別のカメラアングルから見たように変形し、視点移動が可能な画像合成手法である。ＣＧと実写の自然な合成画像を得るためには、実写撮影のカメラの位置、方向、画角をＣＧ映像制作のカメラアングルと一致させる必要がある。そこで、実写のカメラアングルをＣＧに一致させるのではなく、カメラ固定の実写映像をＣＧのカメラアングルに合わせて変形すれば、容易に合成できると考えられるという技術であり、画像に設定された情報といくつかの仮定から、システムは画像を左右、正面壁、天井、床などの領域に分割し、それぞれの３次元座標を求めることにより、オリジナル画像の３次元形状モデルを自動推定する。この３次元形状をもとに、ＣＧのカメラアングルと一致するように２次元映像を変形することにより、実写とＣＧを自然に合成する、という技術である。（出典：「任意の視点移動を表現する対話的画像再合成」、「情報処理学会研究報告 グラフィックスとＣＡＤ ８１−１１」、（１９９６年８月２３日）、堀井洋一、新井清志著、情報処理学会発行）
【００２９】
図４の説明に戻り、引き続き説明する。ＣＰＵ１００はステップＳ６にて視点変換処理をした視点変換画像データを描画バッファ１０９に転送する。描画プロセッサ１０８は描画バッファの内容をモニタに表示する（ステップＳ７）。次に、ＣＰＵ１００は表示時間が２０秒に達したか（この場合、表示枚数が 毎秒３０枚×２０秒＝６００枚 になったか）を判定し、２０秒間表示したら処理終了となる（ステップＳ８）。以上のステップＳ３からステップＳ８をＣＰＵ１００などが１／３０秒で繰り返し行うことによりＳ点からＥ点まで動く視点からの動画像を作成することができる。すなわちＣＰＵ１００などが行うステップＳ３からステップＳ８までを繰り返す処理は視点変換背景画像を連続表示して動画像を作成する処理である。
【００３０】
ここでステップＳ５とステップＳ６の処理について具体例を挙げて説明する。例えば、視点位置が図１のＳ点であり視点方向が図１の上方向（図１Ｓ点からの矢印方向）を向いていて、選択された画像が撮影点Ｐ７で撮影された図２の３０１だった場合、視点変換処理のために図２の３０１から切り出される領域は図２の斜線部分３０４となる。次に、切り出された画像の左側の一部を形状変換した画像（図２の３０２）を作成する。一部を形状変換した画像は撮影点Ｐ７から撮影された画像であるので、この画像を視点変換処理して図２の３０３のようなＳ点からの視点背景画像を得る。
【００３１】
「実施形態の効果」
この実施形態によれば、３次元空間の所定範囲を自由に動いた視点からの実写映像を提供することができるため、現実感と臨場感を向上させることができる。これは実在する部屋を舞台にする現実感と臨場感のある実写背景動画像を提供することができる。
【００３２】
「他の実施形態」
上記の実施形態では、あらかじめ用意した画像がサイコロを展開した形のデータ構造をしていたが、円柱を展開した形（図６）や地球儀に貼り付ける地図のような細長いレンズ形のものをいくつか並べた形をしていてもよい。また、上記の実施形態では、操作情報はあらかじめ与えられていたが、この発明は３次元空間を自由に動くことのできるゲームなど、ジャンルを問わず、操作者がリアルタイムに操作するものにも応用でき、実際の空間を自由に動いている実写動画像を提供できる。また、上記実施例の視点変換処理は「特許庁標準技術集、技術分類Ａ−１０ 実写との合成、視点移動できる２次元映像と３次元ＣＧの合成手法」という方法を用いたが、撮影した画像全要素（画像の全ドット）の撮影点からの距離情報が与えられていれば同様な結果となる視点変換処理を施すことができる。
【００３３】
また、上記実施例では実在するとした部屋の内部のみを任意に設定した３次元空間の範囲としたが、この設定する範囲は狭い場所に限らず図７のような都市の一角全てとしても良い。この都市一角の建物外部と全建物内部との複数地点で全方向をあらかじめ撮影した画像を用意すれば、この範囲を自由に動いたときの実写背景動画を提供することができる。さらに、映画やＴＶ番組の１シーンなどで、カメラ（視点）をいろいろ動かしながらより良い動画像を試しながら作成する場合などの映像、通常ではありえない動きのカメラアングル映像、といった実写動画像作成にも応用できる。
【図面の簡単な説明】
【００３４】
【図１】実施例における実在するとした部屋の上面図
【図２】実施例におけるＰ７地点からの撮影映像と切り出し、視点変換処理イメージ図
【図３】この発明のコンピュータ装置における一実施形態の構成ブロック図
【図４】実施例におけるプログラムフローチャート
【図５】実施例の実在するとした部屋の斜め上から見た透視図。理解を容易にするため空間を仕切る壁は透明であり各壁に描かれた模様のみ実線で表示する。尚模様は壁の裏表で同一とする。
【図６】他の実施形態における円柱を展開した形の撮影データ（図１におけるＰ５より撮影）
【図７】実在するとした都市の一角
【符号の説明】
【００３５】
１ コンピュータ装置本体
２ 記録媒体
３ 入力装置
４ スピーカ
５ ディスプレイモニタ
１００ ＣＰＵ
１０１ バスライン
１０２ データＲＡＭ
１０３ 入力インターフェース
１０４ ＲＯＭ
１０５ 記録媒体デコーダ
１０６ 記録媒体バッファ
１０７ 記録媒体ドライバ
１０８ 描画プロセッサ
１０９ 描画バッファ
１１０ 伸張回路
１１１ サウンドプロセッサ
１１２ サウンドバッファ
１１３ 増幅器
２００ 実施例の実在するとした部屋の上面図
２０１ 実施例の実在するとした部屋の床
３０１ 図１のＰ７地点から撮影した前後左右上下方向の画像
３０２ 操作位置と操作方向に基づいて３０１から切り出した画像
３０３ ３０２の画像を操作位置と操作方向に基づいた視点から視点変換した画像
３０４ ３０１から切り出す３０２の部分（斜線部分）
４００ 実施例の実在するとした部屋の斜め上から見た透視図
４０１ 実施例の実在するとした部屋の展開図
【特許請求の範囲】
【請求項１】
少なくとも、３次元空間の任意に設定した範囲における移動可能な操作対象物の操作情報に基づいて操作位置と操作方向とを出力する処理と、前記範囲内で所望方向を撮影した複数枚の実写画像から前記操作位置に基づき適切な画像を選択する処理と、前記選択された画像を前記操作位置と前記操作方向に基づく視点から視点変換背景画像を作成する処理と、をコンピュータに実行させるための画像処理プログラム。
【請求項２】
さらに、前記視点変換背景画像を連続表示して動画像を作成する処理をコンピュータに実行させるための請求項１記載の画像処理プログラム。
【請求項３】
３次元空間の任意に設定した範囲における移動可能な操作対象物の操作情報に基づいて操作位置と操作方向とを出力する操作情報出力手段と、前記所定範囲内で所望方向を撮影した複数枚の実写画像から前記操作位置と前記操作方向に基づき適切な画像を選択する画像選択手段と、前記選択された画像を前記操作位置と前記操作方向に基づく視点から視点変換背景画像を作成する視点変換背景画像作成手段と、を含むことを特徴とする画像処理装置。
【請求項４】
前記視点変換背景画像を連続表示して動画像を作成する動画像作成手段を含むことを特徴とする請求項３記載の画像処理装置。
【請求項１】
少なくとも、３次元空間の任意に設定した範囲における移動可能な操作対象物の操作情報に基づいて操作位置と操作方向とを出力する処理と、前記範囲内で所望方向を撮影した複数枚の実写画像から前記操作位置に基づき適切な画像を選択する処理と、前記選択された画像を前記操作位置と前記操作方向に基づく視点から視点変換背景画像を作成する処理と、をコンピュータに実行させるための画像処理プログラム。
【請求項２】
さらに、前記視点変換背景画像を連続表示して動画像を作成する処理をコンピュータに実行させるための請求項１記載の画像処理プログラム。
【請求項３】
３次元空間の任意に設定した範囲における移動可能な操作対象物の操作情報に基づいて操作位置と操作方向とを出力する操作情報出力手段と、前記所定範囲内で所望方向を撮影した複数枚の実写画像から前記操作位置と前記操作方向に基づき適切な画像を選択する画像選択手段と、前記選択された画像を前記操作位置と前記操作方向に基づく視点から視点変換背景画像を作成する視点変換背景画像作成手段と、を含むことを特徴とする画像処理装置。
【請求項４】
前記視点変換背景画像を連続表示して動画像を作成する動画像作成手段を含むことを特徴とする請求項３記載の画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００７−１３３８４３（Ｐ２００７−１３３８４３Ａ）
【公開日】平成１９年５月３１日（２００７．５．３１）
【国際特許分類】
【出願番号】特願２００５−３５４０９０（Ｐ２００５−３５４０９０）
【出願日】平成１７年１１月１０日（２００５．１１．１０）
【出願人】（５０５４５２７８２）有限会社エイリアル (1)
【Ｆターム（参考）】
【公開日】平成１９年５月３１日（２００７．５．３１）
【国際特許分類】
【出願日】平成１７年１１月１０日（２００５．１１．１０）
【出願人】（５０５４５２７８２）有限会社エイリアル (1)
【Ｆターム（参考）】
[ Back to top ]