画像処理プログラム及び装置
【課題】従来の、実在する場所の名称を使った家庭用ゲーム機などコンピュータで実行するタイム又は順位を競うレースゲームでは、その背景映像はポリゴンモデルによる仮想三次元空間の画像であるので、実在する場所の実際の背景映像と比べると違いがあるため、現実感、臨場感、スピード感及び迫力に乏しいものとなっている。
【解決手段】ゲームの開始から終了までに必要な実写映像を動画ファイルとして用意し、ゲームプレーヤーの操作するプレーヤーカーの撮影方向成分速度と撮影時速度に基づいて動画ファイルの再生速度を制御することで得られた背景映像を視点変換して表示することにより、現実感、臨場感を向上させ、前記動画ファイルから表示画像直前の複数画像を合成することによりスピード感と迫力を向上させる。
【解決手段】ゲームの開始から終了までに必要な実写映像を動画ファイルとして用意し、ゲームプレーヤーの操作するプレーヤーカーの撮影方向成分速度と撮影時速度に基づいて動画ファイルの再生速度を制御することで得られた背景映像を視点変換して表示することにより、現実感、臨場感を向上させ、前記動画ファイルから表示画像直前の複数画像を合成することによりスピード感と迫力を向上させる。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明はコンピュータで実行する、画像処理プログラムにおける背景画像に、実在する場所の実際の映像を表示する画像処理技術に関するものである。
【背景技術】
【０００２】
従来の、実在する場所の名称を使った、ある地点からスタートして別の地点までの、又はある地点からスタートして同一地点に戻ってくるまでの、所定のルートを通るコンピュータで実行するタイム又は順位を競うレースゲームなどでは、その背景映像はポリゴンモデルによる仮想三次元空間画像を表示する方法が用いられている。
【０００３】
ここで仮想三次元空間画像とは、画像表示要素が三次元座標空間における座標で特定される情報をもった三次元空間内の任意の位置に視点（仮想視点）を設定し、その視点から空間内を見渡した情景とし、その視点を操作者が操作する操作対象物の動きに合わせ、連続的に移動させることにより、あたかも操作者がその三次元空間内を移動しているような感覚を与える画像であり、一般に３Ｄコンピュータグラフィックスと呼ばれているものである。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら以上の技術によれば、仮想三次元空間画像であるため、実在する場所の実際の背景映像と比べると違いがある。そのため実在する場所の名称を使ったレースゲームなどでは現実感と臨場感に乏しいものとなっている。
【０００５】
また、テレビ放送のレース番組などにおいて、レーシングカーに搭載されたカメラからの映像と、仮想三次元空間画像で表示された画像を比べると、実際のカメラ映像では、カメラでの撮影原理を考えると、ある地点の表示映像には、前記表示映像の１つ前の映像が撮影された地点から前記表映像が撮影された地点までの情報が含まれている状態である。しかしながら、仮想空間画像を表示する方法では、スピード感を、表示画像の要素を使っての処理方法（コナミ株式会社．藤原英之．ビデオゲーム装置、ビデオゲームにおける画面表示制御方法及び画面表示制御プログラムが記録された記録媒体．特許公開平１１−１５１３７９）、画面にぼかしを入れる処理や過去に表示された画像を合成する処理方法（株式会社セガ・エンタープライゼス．磯脇隆．画像処理装置．特許公開平１１−１５４２４２）で表現したものであって、前記搭載されたカメラ映像と比べると前記現実感と臨場感のほか、迫力とスピード感に乏しいものとなっている。
【０００６】
そこで、この発明は、実在する場所の名称を使った、所定のルートを通る、コンピュータで実行するタイム又は順位を競うレースゲームなどの背景画像に、操作対象物の動きに合わせて実在する実際の映像を表示し、テレビ放送のレース番組などにおいて、レーシングカーに搭載されたカメラからの映像のような現実感と臨場感、スピード感、迫力を向上させた背景画像処理プログラム及び装置を提供することを課題とする。
【課題を解決するための手段】
【０００７】
以上の課題を解決するために、第１発明は、操作者によって前後左右に操作され、実在する所定のコース上で移動する操作対象物らを、前記コースに沿って、前記操作対象物の移動可能範囲を含み、移動しながら撮影した動画である背景画像に重畳表示し、操作対象物の前記背景画像撮影方向成分の速度に基づいて、背景画像の再生速度を算出する、再生速度算出手段を有することを特徴とする画像処理プログラムである。
【０００８】
請求項１に記載の第１発明に従えば、画像処理プログラムは、実在する所定のコースを通るレースゲームなどの背景画像に実在の場所の実際の映像を表示する画像表示手段としてコンピュータを機能させる。
【０００９】
また、第２発明は、前記再生速度算出手段によって算出された前期動画である背景画像の再生速度に碁づき、表示画像の直前に撮影されていて、直前に表示されていない複数枚の背景画像を合成して表示する画像表示手段を有することを特徴とする請求項１に記載の画像処理プログラムである。
【００１０】
請求項２に記載の第２発明に従えば、テレビ放送のレース番組などにおいて、レーシングカーに搭載されたカメラ映像のような画像を表示することができるので、仮想空間画像よりも現実感と臨場感のほか、迫力とスピード感を向上させることができる。
【００１１】
第３発明は、前記操作対象物が、コースを移動する時間、または前記操作対象物とともにコースを移動する他の移動物と順位を競うレースゲームに適用されることを特徴とする、請求項１〜２のいずれか１つに記載の画像処理プログラムである。
【００１２】
請求項３に記載の第３発明に従えば、実在する所定のコースを通るレースゲームの背景画像に実在する場所の実際の映像を表示する画像表示手段としてコンピュータを機能させ、テレビ放送のレース番組などにおいて、レーシングカーに搭載されたカメラ映像のような画像を表示することにより、仮想空間画像よりも現実感と臨場感のほか、迫力とスピード感を向上させたレースゲームを提供することができる。
【００１３】
第４発明は、操作者によって前後左右に操作され、実在する所定のコース上で移動する操作対象物らを、前記コースに沿って、前記操作対象物の移動可能範囲を含み、移動しながら撮影した動画である背景画像に重畳表示し、操作対象物の前記背景画像撮影方向成分の速度に基づいて、背景画像の再生速度を算出する、再生速度算出手段を有することを特徴とする画像処理装置である。
【００１４】
請求項４に記載の第４発明に従えば、実在する所定のコースを通るレースゲームなどの背景画像に実在する場所の実際の映像を表示する画像処理装置を提供することができる。
【発明の効果】
【００１５】
第１発明、第２発明、第３発明によれば、実在する所定のコースを通るレースゲームの背景画像に実在する場所の実際の映像を表示し、テレビ放送のレース番組などにおいてレーシングカーに搭載されたカメラ映像のような画像を表示することにより、現実感と臨場感のほか、迫力とスピード感を向上させることができるため、興趣性の向上したレースゲームを提供することができる。
【００１６】
第４発明によれば、実在する所定のコースを通るレースゲームなどの背景画像に実在する場所の実際の映像を表示することで、現実感と臨場感の向上した画像処理装置を提供することができる。
【発明を実施するための最良の形態】
【００１７】
以下、図面に基づいてこの発明の実施例について、詳細に説明する。
この実施例は、図１に示すように、プレーヤーカーを後方から見下ろす視点で合成するレイアウトの画像を表示する、図２に示すようなサーキットコースが実在するものとした、ドライビングゲームであるとする。このゲームは図２に示すサーキットコースの実際の映像を背景に表示するドライビングゲームであり、プレーヤーカーを操作し、静止状態からスタートしてサーキットを１周し、スタートした地点（スタート／ゴール地点３０１）までのタイムを競うゲームであるとする。
【００１８】
また、この実施例における、動画画像ファイルとは、図２に示すレーシングコースにおいて、ゲーム中プレーヤーカーが通過することができる範囲を含み、ゲーム中の開始地点（図２のスタート／ゴール地点３０１）から１周を、一定速度で撮影したものをＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｎｇｉｎｅｅｒｉｈｇ Ｇｒｏｕｐｅ）に準拠した方法で圧縮し、記録媒体２に記録されているものとする。このファイル構造を図３に示す。ただし、図３における各地点の画像イメージは圧縮前のものである。
【００１９】
図４はこの発明の画像処理装置が適用されるコンピュータ装置の一実施形態を示す構成ブロック図である。この装置は本体１と、プログラムデータと動画画像ファイルが格納された記録媒体２、プレーヤーのゲーム中操作の情報を入力する入力装置３、ゲーム中の音を出力するスピーカ４、ゲーム画面を表示するコンピュータ用ディスプレイ５からなる。
【００２０】
本体１の内部にはＣＰＵ（中央演算処理装置）１００と、ＣＰＵ１００に接続されたアドレスバス、データバス、制御バスからなるバスライン１０１を持っている。バスライン１０１にはデータＲＡＭ（メインメモリ）１０２、入力インターフェース１０３、ＲＯＭ１０４、記録媒体デコーダ１０５、描画プロセッサ１０８、伸張回路１１０、サウンドプロセッサ１１１、増幅器１１３が接続される。
【００２１】
このコンピュータ装置は用途に応じて形態が異なる。例えば、このコンピュータ装置が業務用ゲーム装置のときは図１の構成要素すべてが１つの筐体に納められ、例えばドライビングゲームのときの入力装置はハンドル、ブレーキ、アクセルとなり、ＣＰＵを備える家庭用ゲーム装置の場合はディスプレイ５とスピーカ４の代わりにＴＶモニタに接続し、入力装置はゲームコントローラーなどになる。
【００２２】
次に各構成要素について説明する。まずデータＲＡＭ（メインメモリ）１０２にはゲームプログラム本体、動画画像ファイルを伸張したデータ、他ゲームに必要なデータ、ワークエリアなどが格納される。
【００２３】
入力インターフェース１０３は、入力装置からゲームプレーヤーの操作情報を取り出し、ＣＰＵ１００が処理できる形にする処理をするところである。
【００２４】
ＲＯＭ１０４はパーソナルコンピュータにおけるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）が相当し、コンピュータ装置の起動処理、記録媒体２に記録された最初に実行されるプログラムの読み出しと実行を制御するプログラム、基本入出力装置のドライバプログラムなどを格納している。
【００２５】
記録媒体ドライバ１０７は、例えば記録媒体であるＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ，ハードディスクドライブなどからデータをバッファ１０６に読み出し、記録媒体デコーダ１０５でＥＣＣ（Ｅｒｒｏｒ Ｃｏｒｒｅｃｔｉｏｎ Ｃｏｄｅ）によるエラー補正訂正処理をした後、ＣＰＵの指示にあわせ、読み出したデータをデータＲＡＭ（メインメモリ）１０２などに送る。
【００２６】
描画プロセッサ１０８は、ＣＰＵ１０１の指示に基づき、描画バッファ１０９の内容を、画像としてモニタが表示できる信号を作り出すものである。
【００２７】
伸張回路１１０は、動画に対するＭＰＥＧや静止画に対するＪＰＥＧ（Ｊｏｉｎｔ ｐｉｃｔｕｒｅ Ｅｎｇｉｎｅｅｒｉｎｇ Ｇｒｏｕｐｅ）に準拠された圧縮画像を伸張する処理を行う。この実施形態では圧縮された動画画像ファイルから読み出したデータを、実在する場所の実際の画像をレースゲームの背景に使用するために、伸張する処理を行う。
【００２８】
サウンドプロセッサ１１１は、ＣＰＵ１０１の指示に基づき、記録媒体に記録された音データを直接、または一旦バッファ１１２に格納し、必要に応じて加工した（サウンドエフェクトを施した）、所定の音楽や効果音を生成する。生成された音は増幅器１１３で増幅され、接続されているスピーカ４から出力される。
【００２９】
図５は、この発明の実施例におけるレースゲームの背景画像に、動画画像ファイルから、現存する場所の実際の映像を表示する手順を示すフローチャートである。
【００３０】
まずゲーム処理が開始されると、動画画像ファイルが記録媒体２から、データＲＡＭ１０２の一部に、プレーヤーカーの画像データなど、ゲーム中必要な初期化データを読み込んだ（ステップＳ１）後、ファイル読み込みバッファとして確保された領域へ転送され始める（ステップＳ２）。
【００３１】
次に、読み込んだデータ量が、読み込みバッファとして確保された量以下で、指定された量に達したか判定する（ステップＳ３）。ここで読み込み量が指定された量に達した直後、実際のゲームが開始する（ステップＳ４）。この、実際のゲームが開始するとは、ゲームプレーヤーがプレーヤーカーの操作を開始できるようになることである。
【００３２】
ゲームが開始すると、時間計測を開始し、プレーヤーの操作するプレーヤーカーの現在地点まで（ゲーム開始直後はスタート地点）の背景画像を、伸張回路１１０によって伸張する（ステップＳ５）。次に、伸張された背景画像データを描画バッファ１０９に転送する。ここで、直前に表示されていない背景画像データが動画画像ファイルにあった場合で、上記請求項４，５，６の処理をする場合、直前に表示されていない背景画像データは、現在位置の背景画像に合成される（ステップＳ６）。
【００３３】
例えば、プレーヤーカーが、図１に示すＰ地点で、撮影方向と同じ方向に撮影速度の３倍の速度で走行している場合、表示する背景画像は、現在位置の画像と、現在位置１枚前と２枚前の画像が合成される。現在位置より３枚前の画像はすでに表示されたものであるから合成されない。
【００３４】
ＣＰＵの指示で、描画プロセッサ１０８は、予め読み込んであったプレーヤーカーの画像データと背景画像データを合成した画像を表示する（ステップＳ７）。このとき、動画画像ファイルを撮影したときの光源を測定しておき、プレーヤーカーにも同様の光源を当てる処理、プレーヤーカーの影をつける処理などを行うと、より現実感と臨場感を出すことができる。
【００３５】
次に、入力インターフェース１０３からプレーヤー操作情報を取得し、（ステップＳ８）プレーヤーカーの向きと速度を計算する（ステップＳ９）。そして、プレーヤーカー速度の表示画像の撮影方向成分が、動画画像ファイルの撮影速度の何倍になるか（この何倍かの値をＭとする）を計算する（ステップＳ１０）。そして次回に表示される背景画像を、前回計算したＭの小数部分を加算した後の値の整数部分をＮとすると、現在表示されている画像からＮ枚目であることを決定する（ステップＳ１１）。
【００３６】
ここでステップＳ８からステップＳ１１までを、プレーヤーオブジェクトが図２のＰ地点３０２を走行している状態を例に取り、詳細に説明する。現在表示されている画像は、図３のｐ地点を含む画像４０２であり、この画像を撮影したときの撮影速度をＶ９（図６の５０１）とする。
【００３７】
まずステップＳ８の、プレーヤー操作情報とは、プレーヤーがアクセル、ブレーキをどれだけ効かせているか、ハンドルをどちら側へどれだけ回しているかといったことである。ステップ９にて、アクセルの効きによる加速効果、ブレーキによる減速効果、空気抵抗などの走行抵抗効果を、プレーヤーカーの各種パラメータ（プレーヤーカーの重量、エンジン特性、ホイールベース、重心位置など）と、プレーヤーカー以外の各種パラメータ（その地点での風向、風力、路面とタイヤの摩擦係数、路面の傾きなど）を用いて、次回に表示される背景画像を決定するための、次回表示時のプレーヤーカーの速度と向きを計算する。この計算の結果、プレーヤーカーの向きが、図６の５０３になり、速度がＶ１になったとする。
【００３８】
次にステップＳ１０にて、プレーヤーカー速度の表示画像の撮影方向成分が、動画画像ファイルの撮影速度の何倍になるかといった値Ｍは、図６の角度５０２をＫとすると、次式で計算される。
Ｍ＝Ｖ１ ×ｃｏｓＫ／Ｖ９ ＋ Ｌ
ここでＬとは前回計算したＭ値の小数部分であり、Ｌの値はこの計算後に変更され、次回のプレーヤーカーの速度が撮影速度の何倍かを計算する手段で使われる。
【００３９】
そして、ステップＳ１１において、Ｍの整数部分をＮとすると、次回表示する背景画像は現在表示されている画像からＮ枚目であると決定する。すなわち、このときの動画画像ファイルの再生速度がＮ倍となったことと同義である。
【００４０】
ここで動画画像ファイルの再生速度決定手段について具体例を挙げて説明する。
今、Ｖ１の値が３．４、Ｋが０．０、Ｖ９が１．０、Ｌの値が０．２だったとすると、Ｍの値は３．６となる。よってＭの整数部分Ｎは３となり、次回表示する背景画像は現在表示されている画像から３枚目である。ここでＬの値は０．６に変更される。
次回の表示画像を決定する計算において、Ｖ１、Ｋ、Ｖ９の値が変わらなかったとすると、Ｍの値は４．０となる。よってＭの整数部分Ｎは４となり、その次に表示する背景画像は現在表示されている画像から４枚目であり、Ｌの値は０．０に変更される。
【００４１】
以上のような再生速度決定手段をとることによって、例えばこの再生速度を決定する計算が１秒間に数十回行われ、同じ回数だけ背景を描画するとすると、ゲームプレーヤーから見て、背景映像がプレーヤーカーの速度にほぼ忠実に動くものとすることができる。
【００４２】
図６の説明に戻り、引き続き説明する。ステップＳ１２において、動画画像ファイルの読み込みバッファにある、現在位置背景画像の１つ前まで（使用され終わった）のデータ量だけバッファを空け、バッファの空き容量が指定量以上になったら、動画画像ファイルの続きを読み込む（ステップ１３）。
【００４３】
最後に、プレーヤーカーが１周してスタートした地点に戻ってきたか、言い換えるとゲームが終了したかを判定し、スタートした地点に戻ってきていないときはステップＳ５に戻る。スタートした地点に戻ってきたときは、１周した時間を保存し、ゲーム終了となる（ステップＳ１４）。
【００４４】
「実施形態の効果」
この実施形態によれば、所定のルートを通るレースゲームの背景画像に実在する場所の実際の映像を表示することにより、現実感と臨場感を向上させたレースゲームとなり、ゲームの興趣性が向上する。また、直前に表示されていない画像を合成して表示することにより、テレビのレース番組における、レーシングカーに搭載されたカメラからの映像のような、スピード感と迫力のある背景画像を表示するレースゲームとなり、ゲームの興趣性が向上する。
【００４５】
「他の実施形態」
上記の実施形態では、動画画像ファイルの撮影時の速度を一定値としたが、動画画像ファイルの１枚１枚の画像に撮影速度情報を入れることで、動画画像ファイルの再生速度を計算できる。この場合は一定速度で撮影しなくともよい。
【００４６】
また、この実施例ではプレーヤーカー以外のオブジェクトは表示していないが、仮想三次元空間画像における仮想視点の座標と向きは、撮影時にカメラの位置と向きを記録しておくことなどによって決定することができるので、図７に示すような複数台のレースカーで順位を競うレースゲームの場合など、プレーヤー以外のオブジェクトを合成表示したレースゲームとすることもできる。このプレーヤー以外のオブジェクトとは、ＣＰＵが操作するオブジェクト、同じコンピュータ装置で他のプレーヤーが操作するオブジェクト、ネットワークを介して他のプレーヤーが操作するオブジェクトなどが考えられる。
【００４７】
ここで仮想三次元空間画像とは、画像表示要素が三次元座標空間における座標で特定される情報をもった三次元空間内の任意の位置に視点（仮想視点）を設定し、その視点から空間内を見渡した情景とし、その視点をゲームプレーヤーが操作するプレーヤーオブジェクトの動きに合わせ連続的に移動させることにより、あたかも自己がその三次元空間内を異動してしいるような感覚を与える画像であるとしている。
【００４８】
また、背景画像の視点がプレーヤーカーのドライバーであるレースゲームの場合など、ゲーム中の背景画像に、動画画像ファイルの元動画映像の撮影方向に垂直な成分（図１における横方向、縦方向）の動きが必要な場合は、「特許庁標準技術集、技術分類Ａ−１０ 実写との合成、視点移動できる２次元映像と３次元ＣＧの合成手法」の技術を用いることで実現する。
【００４９】
この「特許庁標準技術集、技術分類Ａ−１０ 実写との合成、視点移動できる２次元映像と３次元ＣＧの合成手法」とは、一枚の画像を別のカメラアングルから見たように変形し、視点移動が可能な画像合成手法である。ＣＧと実写の自然な合成画像を得るためには、実写撮影のカメラの位置、方向、画角をＣＧ映像制作のカメラアングルと一致させる必要がある。そこで、実写のカメラアングルをＣＧに一致させるのではなく、カメラ固定の実写映像をＣＧのカメラアングルに合わせて変形すれば、容易に合成できると考えられるという技術であり、画像に設定された情報といくつかの仮定から、システムは画像を左右、正面壁、天井、床などの領域に分割し、それぞれの３次元座標を求めることにより、オリジナル画像の３次元形状モデルを自動推定する。この３次元形状をもとに、ＣＧのカメラアングルと一致するように２次元映像を変形することにより、実写とＣＧを自然に合成する、という技術である。（出典：「任意の視点移動を表現する対話的画像再合成」、「情報処理学会研究報告 グラフィックスとＣＡＤ ８１−１１」、（１９９６年８月２３日）、堀井洋一、新井清志著、情報処理学会発行）
【００５０】
この視点移動技術を組み合わせるときは、予め動画画像ファイルの１つ１つの画像に、視点移動処理に必要な、撮影した画像を切り分けた情報が必要となる。また、この処理をするときに、描画プロセッサ１０８が、座標変換処理とテクスチャ描画処理といった、仮想三次元画像処理能力を備えていると、一般にＣＰＵ１００が同様の処理を行うより高速に処理できる。
【００５１】
上記実施形態では動画画像ファイルにある圧縮された画像は全て伸張しているが、上記請求項２の処理を行わない場合、動画画像ファイルの画像圧縮を前後の画像に依存しない画像圧縮方法で行うことにより、ステップＳ５の処理にかかる時間が短縮され、ゲーム全体が高速処理される。この方法は、コンピュータ装置の画像伸張処理能力が低い場合に有効である。
【００５２】
以上の実施形態らによれば、実在する場所で所定のルートを通る、コンピュータで実行するタイム又は順位を競う、実際の映像を背景として表示する、現実感、臨場感、スピード感、迫力のあるレースゲームを提供することができる。また、背景画像を実在する場所で撮影するという方法は、仮想三次元空間画像で用いられるポリゴンモデル作成方法に比べ、一般に背景画像作成に要するコストを安く済ませることができる。
【００５３】
さらに、この実施形態に用いられた請求項１〜４の技術は、実在する場所をコースとする、スキーレース、スノーボードレース、スノーモービルレースなどの雪面上でのレースゲーム、ジェットスキーレース、ボートレースなどの水面上でのレースゲームといった多様なゲームの背景画像を、実在する場所の実際の映像とすることにも適用できる。
他に、自動車教習シミュレータなどにも適用できる。
【図面の簡単な説明】
【００５４】
【図１】実施例におけるゲーム画像イメージ
【図２】実施例における動画画像を撮影した、実在するとしたサーキットコースレイアウト
【図３】実施例における動画画像ファイルの構造
【図４】この発明のコンピュータ装置における一実施形態の構成ブロック図である。
【図５】この発明の一実施形態を示す、レースゲームにおける、背景画像処理の表示手順を示すフローチャートである。
【図６】図２のＰ地点を走行中のプレーヤーオブジェクトの走行方向と、動画画像ファイルにあるＰ地点を含む表示中の背景画像の撮影方向
【図７】プレーヤー以外のオブジェクトを合成表示したレースゲームにおけるゲーム画像イメージ
【符号の説明】
【００５５】
１ コンピュータ装置本体
２ 記録媒体
３ 入力装置
４ スピーカ
５ ディスプレイモニタ
１００ ＣＰＵ
１０１ バスライン
１０２ データＲＡＭ
１０３ 入力インターフェース
１０４ ＲＯＭ
１０５ 記録媒体デコーダ１０５
１０６ 記録媒体バッファ
１０７ 記録媒体ドライバ
１０８ 描画プロセッサ
１０９ 描画バッファ
１１０ 伸張回路
１１１ サウンドプロセッサ
１１２ サウンドバッファ
１１３ 増幅器
２００ 実施例レースゲーム画面
２０１ サーキットコース実写背景画像
２０２ プレーヤーカー
３００ サーキットコース
３０１ スタート／ゴール地点
３０２ プレーヤーカーが走行中のＰ地点
４００ 動画画像ファイル全体映像
４０１ スタート地点の画像
４０２ Ｐ地点を含む画像
４０３ ゴール地点の画像
５００ Ｐ地点３０２
５０１ 動画画像ファイル撮影方向
５０２ 動画画像ファイル撮影方向とプレーヤーカー進行方向の角度差
５０３ プレーヤーカー進行方向
６００ プレーヤー以外のオブジェクトを合成表示したレースゲームにおけるゲーム画面
６０１ サーキットコース実写背景画像
６０２ プレーヤーカー
６０３ プレーヤー以外のオブジェクト１
６０４ プレーヤー以外のオブジェクト２
【発明の詳細な説明】
【技術分野】
【０００１】
この発明はコンピュータで実行する画像処理プログラムにおける動画背景画像に、実在する場所の実際の映像を表示する画像処理技術に関するものである。
【背景技術】
【０００２】
従来の、実在する場所の名称を使った、ある地点からスタートして別の地点までの、又はある地点からスタートして同一地点に戻ってくるまでの、所定のルートを通るコンピュータで実行するタイム又は順位を競うレースゲームなどでは、その背景映像はポリゴンモデルによる仮想三次元空間画像を表示する方法が多く用いられている。
【０００３】
ここで仮想三次元空間画像とは、画像表示要素が三次元座標空間における座標で特定される情報をもった三次元空間内の任意の位置に視点（仮想視点）を設定し、その視点から空間内を見渡した情景とし、その視点を操作者が操作する操作対象物の動きに合わせ、連続的に移動させることにより、あたかも操作者がその三次元空間内を移動しているような感覚を与える画像であり、一般に３Ｄコンピュータグラフィックスと呼ばれているものである。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら以上の技術によれば、仮想三次元空間画像であるため、実在する場所の実際の背景映像と比べると違いがある。そのため実在する場所の名称を使ったレースゲームなどでは現実感と臨場感に乏しいものとなっている。また背景画像に実写映像を用い撮影した映像の再生速度を変化させて再生するだけ（特開平９−１４７１４３、特開平９−２２０３０８）では、前記操作者から見た表示画面上において、前記操作対象物が前後方向には動かないが撮影方向に対して垂直な方向には動くものとなるため前記操作者に操作違和感を与えてしまう。このことは特にレースゲームなどにおいてゲームの趣向性を損なうものとなってしまう。また、レースゲームに不可欠である、背景画像に重畳表示する操作対象物からの視点（以下ドライバー視点とする）と前記操作対象物に搭載されたカメラからの視点（以下車載カメラ視点とする）を実現することができない。
【０００５】
また、テレビ放送のレース番組などにおいて、レーシングカーに搭載されたカメラからの映像と仮想三次元空間画像で表示された画像を比べると、実際のカメラ映像では、カメラでの撮影原理を考えると、ある地点の表示映像には前記表示映像の１つ前の映像が撮影された地点から前記表映像が撮影された地点までの情報が含まれている状態である。しかしながら、仮想空間画像を表示する方法では、スピード感を表示画像の要素を使っての処理方法（特開平１１−１５１３７９）や、画面にぼかしを入れる処理や過去に表示された画像を合成する処理方法（特開平１１−１５４２４２）で表現したものであって、前記搭載されたカメラ映像と比べると前記現実感と臨場感のほか、迫力とスピード感に乏しいものとなっている。
【０００６】
そこで、この発明は、実在する場所の名称を使った、所定のルートを通る、コンピュータで実行するタイム又は順位を競うレースゲームなどの背景画像に、実在する実際の映像を操作者に操作違和感を与えること無く表示し、テレビ放送のレース番組などにおいてレーシングカーに搭載されたカメラからの映像のような現実感と臨場感、スピード感、迫力を向上させた背景画像処理プログラム及び装置を提供することを課題とする。
【課題を解決するための手段】
【０００７】
以上の課題を解決するために、第１発明は、操作対象物の操作情報に基いて操作速度と操作位置と操作方向とを出力する操作情報出力手段と、前記操作速度の撮影方向成分に基いて実写動画背景画像の再生速度を算出するための再生速度算出手段と、前記再生速度に基いて読み出された背景画像を前記操作位置と前記操作方向とに基いて前記操作対象物の表示位置が予め定めた位置となる視点から視点変換した視点変換背景画像を作成するための視点変換手段と、前記視点変換背景画像に前記操作対象物を重畳表示するための重畳表示手段とを含むことを特徴とする画像処理プログラムである。
【０００８】
請求項１に記載の第１発明に従い、実在する所定のコースで移動しながら撮影した動画背景画像を用い、前記操作対象物の重畳表示位置が動かないような視点から視点変換した背景画像を用いれば、画像処理プログラムはレースゲームなどの背景画像に実在する場所の実際の映像を操作者に操作違和感を与えること無く表示する画像表示手段としてコンピュータを機能させる。
【０００９】
また、第２発明は、前回の表示のために前記動画背景画像から読み出された背景画像の次から今回の表示のために読み出された背景画像までの間の背景画像を合成して１つの背景画像として出力するための画像合成手段とを含むことを特徴とする請求項１記載の画像処理プログラムである。
【００１０】
請求項２に記載の第２発明に従えば、テレビ放送のレース番組などにおいて、レーシングカーに搭載されたカメラ映像のような画像を表示することができるため、現実感と臨場感のほか、迫力とスピード感を向上させることができる。
【００１１】
第３発明は、レースゲームに適用することを特徴とする請求項１．２記載の画像処理プログラムである。
【００１２】
請求項３に記載の第３発明に従えば、実在する所定のコースを通るレースゲームの背景画像に実在する場所の実際の映像を表示する画像表示手段としてコンピュータを機能させ、テレビ放送のレース番組などにおいてレーシングカーに搭載されたカメラ映像のような画像を表示することにより、仮想空間画像よりも現実感と臨場感のほか、迫力とスピード感を向上させたレースゲームを提供することができる。また、レースゲームに不可欠なドライバー視点と車載カメラ視点の実写背景画面を提供することができる。
【００１３】
第４発明は、操作対象物の操作情報に基いて操作速度と操作位置と操作方向とを出力する操作情報出力手段と、前記操作速度の撮影方向成分に基いて実写動画背景画像の再生速度を算出するための再生速度算出手段と、前記再生速度に基いて読み出された背景画像を前記操作位置と前記操作方向とに基いて前記操作対象物の表示位置が予め定めた位置となる視点から視点変換した視点変換背景画像を作成するための視点変換手段と、前記視点変換背景画像に前記操作対象物を重畳表示するための重畳表示手段とを含むことを特徴とする画像処理装置である。
【００１４】
請求項４に記載の第４発明に従えば、実在する所定のコースを通るレースゲームなどの背景画像に実在する場所の実際の映像を操作者に操作違和感を与えること無く表示する画像処理装置を提供することができる。
【発明の効果】
【００１５】
第１発明、第２発明、第３発明によれば、実在する所定のコースを通るレースゲームの背景画像に実在する場所の実際の映像を表示し、テレビ放送のレース番組などにおいてレーシングカーに搭載されたカメラ映像のような画像を操作者に操作違和感を与えること無く表示することにより、現実感と臨場感のほか、迫力とスピード感を向上させることができるため興趣性の向上したレースゲームを提供することができる。また、レースゲームに不可欠なドライバー視点と車載カメラ視点の表示映像を提供することができる。第４発明によれば、実在する所定のコースを通るレースゲームなどの背景画像に実在する場所の実際の映像を操作者に操作違和感を与えること無く表示することで、現実感と臨場感の向上した画像処理装置を提供することができる。
【００１６】
ここで前記操作違和感を与えること無く表示するということは、前記操作対象物の表示位置を動かないようにすることによって前記操作対象物の前後左右の動き（背景動画撮影方向成分の動き及びその垂直方向成分の動き）を、背景画像の相対的な動きで表現することである。
【発明を実施するための最良の形態】
【００１７】
以下、図面に基づいてこの発明の実施例について、詳細に説明する。
この実施例は、図１に示すように、操作対象物であるプレーヤーカーを後方から見下ろす視点で重畳表示するレイアウトの画像を表示する、図２に示すようなサーキットコースが実在するものとした、ドライビングゲームであるとする。このゲームは図２に示すサーキットコースの実際の映像を背景に表示するドライビングゲームであり、プレーヤーカーを操作し、静止状態からスタートしてサーキットを１周し、スタートした地点（スタート／ゴール地点３０１）までのタイムを競うゲームであるとする。
【００１８】
また、この実施例における、動画画像ファイルとは、図２に示すレーシングコースにおいて、ゲーム中プレーヤーカーが通過することができる範囲を含み、ゲーム中の開始地点（図２のスタート／ゴール地点３０１）から１周を、一定速度で移動しながら撮影したものをＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｎｇｉｎｅｅｒｉｎｇ Ｇｒｏｕｐｅ）に準拠した方法で圧縮し、記録媒体２に記録されているものとする。このファイル構造を図３に示す。ただし、図３における各地点の画像イメージは圧縮前のもので、後述する視点変換処理に必要な領域に分割する座標データ及び各画像撮影位置データ及び撮影方向データを含んだものである。
【００１９】
図４はこの発明の画像処理装置が適用されるコンピュータ装置の一実施形態を示す構成ブロック図である。この装置は本体１と、プログラムデータと動画画像ファイルが格納された記録媒体２、プレーヤーのゲーム操作情報を入力する入力装置３、ゲーム中の音を出力するスピーカ４、ゲーム画面を表示するコンピュータ用ディスプレイ５とからなる。
【００２０】
本体１の内部にはＣＰＵ（中央演算処理装置）１００と、ＣＰＵ１００に接続されたアドレスバス、データバス、制御バスからなるバスライン１０１を持っている。バスライン１０１にはデータＲＡＭ（メインメモリ）１０２、入力インターフェース１０３、ＲＯＭ１０４、記録媒体デコーダ１０５、描画プロセッサ１０８、伸張回路１１０、サウンドプロセッサ１１１、増幅器１１３が接続される。
【００２１】
このコンピュータ装置は用途に応じて形態が異なる。例えば、このコンピュータ装置が業務用ゲーム装置のときは図１の構成要素すべてが１つの筐体に納められ、例えばドライビングゲームのときの入力装置はハンドル、ブレーキ、アクセルとなり、ＣＰＵを備える家庭用ゲーム装置の場合はディスプレイ５とスピーカ４の代わりにＴＶモニタに接続し、入力装置はゲームコントローラーなどになる。
【００２２】
次に各構成要素について説明する。まずデータＲＡＭ（メインメモリ）１０２にはゲームプログラム本体、動画画像ファイルを伸張したデータ、他ゲームに必要なデータ、ワークエリアなどが格納される。
【００２３】
入力インターフェース１０３は、入力装置からゲームプレーヤーの操作情報を取り出し、ＣＰＵ１００が処理できる形にする処理をするところである。
【００２４】
ＲＯＭ１０４はパーソナルコンピュータにおけるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）が相当し、コンピュータ装置の起動処理、記録媒体２に記録された最初に実行されるプログラムの読み出しと実行を制御するプログラム、基本入出力装置のドライバプログラムなどを格納している。
【００２５】
記録媒体ドライバ１０７は、例えば記録媒体であるＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ，ハードディスクドライブなどからデータをバッファ１０６に読み出し、記録媒体デコーダ１０５でＥＣＣ（Ｅｒｒｏｒ Ｃｏｒｒｅｃｔｉｏｎ Ｃｏｄｅ）によるエラー補正訂正処理をした後、ＣＰＵの指示にあわせ、読み出したデータをデータＲＡＭ（メインメモリ）１０２などに送る。
【００２６】
描画プロセッサ１０８は、ＣＰＵ１０１の指示に基づき、描画バッファ１０９の内容を、画像としてモニタが表示できる信号を作り出すものである。
【００２７】
伸張回路１１０は、動画に対するＭＰＥＧや静止画に対するＪＰＥＧ（Ｊｏｉｎｔ Ｐｉｃｔｕｒｅ Ｅｎｇｉｎｅｅｒｉｎｇ Ｇｒｏｕｐｅ）に準拠された圧縮画像を伸張する処理を行う。この実施形態では前記動画画像ファイルから読み出したデータを、実在する場所の実際の画像をレースゲームの背景に使用するために、伸張する処理を行う。
【００２８】
サウンドプロセッサ１１１は、ＣＰＵ１０１の指示に基づき、記録媒体に記録された音データを直接、または一旦バッファ１１２に格納し、必要に応じて加工した（サウンドエフェクトを施した）、所定の音楽や効果音を生成する。生成された音は増幅器１１３で増幅され、接続されているスピーカ４から出力される。
【００２９】
図５は、この発明の実施例におけるレースゲームの背景画像に、動画画像ファイルから、現存する場所の実際の映像を操作違和感無く表示する手順を示すプログラムフローチャートである。
【００３０】
まずゲーム処理が開始されると、記録媒体２からデータＲＡＭ１０２の一部に、プレーヤーカーの画像データなどゲーム中必要な初期化データを読み込んだ（ステップＳ１）後、動画画像ファイルが記録媒体２からデータＲＡＭの一部にファイル読み込みバッファとして確保された領域へ転送され始める（ステップＳ２）。
【００３１】
次に、読み込んだデータ量が、読み込みバッファとして確保された量以下で、プログラムが指定した量に違したか判定する（ステップＳ３）。ここで読み込み量が指定された量に達した直後、実際のゲームスタートとなる（ステップＳ４）。このゲームスタートとは、操作者であるゲームプレーヤーが操作対象物であるプレーヤーカーの操作を開始できるようになることである。
【００３２】
ゲームスタートすると、時間計測を開始し、プレーヤーの操作するプレーヤーカーの現在地点まで（ゲーム開始直後はスタート地点）の背景画像を伸張回路１１０によって伸張する。ここでプレーヤーカーの重畳表示位置が背景画像の撮影方向中心線から撮影方向の垂直方向にどれだけ離れているかを計算し、プレーヤーカーが表示画像の中心となりプレーヤーカーの表示方向が前回と同じになるように背景画像を視点変換処理する（ステップＳ５）。すなわち、操作対象物の操作位置と操作方向とに基いて前記操作対象物の表示位置が予め定めた位置となる視点に視点変換した視点変換画像を作成するための処理である。このとき伸張回路１１０が伸張処理をしていると同時に、伸張済の画像をＣＰＵ１０１などで視点変換処理すると処理が高速化できる。
【００３３】
ここでは「特許庁標準技術集、技術分類Ａ−１０ 実写との合成、視点移動できる２次元映像と３次元ＣＧの合成手法」という視点変換技術を用いる。例えば視点変換しない画像が図１に示すような位置にプレーヤーカーがあった場合、視点変換処理により図８に示すようにプレーヤーカーを表示画像の中心に表示する。次に、伸張され視点変換された背景画像データを描画バッファ１０９に転送する。
【００３４】
この「特許庁標準技術集、技術分類Ａ−１０ 実写との合成、視点移動できる２次元映像と３次元ＣＧの合成手法」とは、一枚の画像を別のカメラアングルから見たように変形し、視点移動が可能な画像合成手法である。ＣＧと実写の自然な合成画像を得るためには、実写撮影のカメラの位置、方向、画角をＣＧ映像制作のカメラアングルと一致させる必要がある。そこで、実写のカメラアングルをＣＧに一致させるのではなく、カメラ固定の実写映像をＣＧのカメラアングルに合わせて変形すれば、容易に合成できると考えられるという技術であり、画像に設定された情報といくつかの仮定から、システムは画像を左右、正面壁、天井、床などの領域に分割し、それぞれの３次元座標を求めることにより、オリジナル画像の３次元形状モデルを自動推定する。この３次元形状をもとに、ＣＧのカメラアングルと一致するように２次元映像を変形することにより、実写とＣＧを自然に合成する、という技術である。（出典：「任意の視点移動を表現する対話的画像再合成」、「情報処理学会研究報告 グラフィックスとＣＡＤ ８１−１１」、（１９９６年８月２３日）、堀井洋一、新井清志著、情報処理学会発行）
【００３５】
図５の説明に戻り、引き続き説明する。ここで上述請求項２に従う合成処理をする場合、直前に表示されていない背景画像データを、現在位置の背景画像に合成する（ステップＳ６）。すなわち、この処理は前回表示のために読み出された背景画像の次から今回の表示のために読み出された背景画像までの間の背景画像を１つの背景画像として出力するための画像合成手段である。この実施例では、合成する画像を描画バッファ１０９に転送し、合成処理は描画プロセッサ１０８が行うものとする。
【００３６】
例えば、プレーヤーカーが図１に示すＰ地点で撮影方向と同じ方向に撮影速度の３倍の速度で走行している場合、表示する背景画像は、現在位置の画像と、現在位置１枚前と２枚前の画像が合成される。すなわち後述する再生速度算出手段によると現在位置より３枚前の画像はすでに表示されたものであるから合成されない。ここではこれら３枚の画像を３３．３％ずつアルファブレンディング方法で合成するものとする。
【００３７】
ＣＰＵの指示で、描画プロセッサ１０８は、予め読み込んであったプレーヤーカーの画像データと背景画像データを合成した画像を表示する（ステップＳ７）。すなわち、前記視点変換背景画像に前記操作対象物を重畳表示することである。このとき、動画画像ファイルを撮影したときの光源を測定しておき、プレーヤーカーにも同様の光源が当たっているとする処理、プレーヤーカーの影をつける処理などを行うと、より現実感と臨場感を出すことができる。
【００３８】
次に、入力インターフェース１０３からプレーヤー操作情報を取得し、（ステップＳ８）プレーヤーカーの向きと速度を計算する（ステップＳ９）。すなわち、操作対象物の操作情報に基いて操作情報を出力することである。そして、プレーヤーカー速度の表示画像撮影方向成分が、動画画像ファイルの撮影速度の何倍になるか（この何倍かの値をＭとする）を計算する（ステップＳ１０）。そして次回に表示される背景画像を、前回計算したＭの小数部分を加算した後の値の整数部分をＮとすると、現在表示されている画像からＮ枚目であることを決定する（ステップＳ１１）。すなわち、前記操作対象物の操作速度の撮影方向成分に基いて動画背景画像の再生速度を算出することである。
【００３９】
ここでステップＳ８からステップＳ１１までを、プレーヤーオブジェクトが図２のＰ地点３０２を走行している状態を例に取り、詳細に説明する。現在表示されている画像は、図３のＰ地点を含む画像４０２であり、この画像を撮影したときの撮影速度をＶ９（図６の５０１）とする。
【００４０】
まずステップＳ８の、プレーヤー操作情報とは、プレーヤーがアクセル、ブレーキをどれだけ効かせているか、ハンドルをどちら側へどれだけ回しているかといったことである。ステップ９にて、アクセルの効きによる加速効果、ブレーキによる減速効果、空気抵抗などの走行抵抗効果を、プレーヤーカーの各種パラメータ（重量、エンジン特性、ホイールベース、重心位置など）と、プレーヤーカー以外の各種パラメータ（その地点での風向、風力、路面とタイヤの摩擦係数、路面の傾きなど）を用いて、次回に表示される背景画像を決定するための、次回表示時のプレーヤーカーの速度と向きを計算する。この計算の結果、プレーヤーカーの向きが、図６の５０３になり、速度がＶ１になったとする。
【００４１】
次にステップＳ１０にて、プレーヤーカー速度の表示画像の撮影方向成分が、動画画像ファイルの撮影速度の何倍になるかといった値Ｍは、図６の角度５０２をＫとすると、次式で計算される。
Ｍ＝Ｖ１×ｃｏｓＫ／Ｖ９＋Ｌ
ここでＬとは前回計算したＭ値の小数部分であり、Ｌの値はこの計算後に変更され、次回のプレーヤーカーの速度が撮影速度の何倍かを算出する再生速度算出手段で使われる。
また、Ｖ１×ｃｏｓＫとは操作対象物操作速度の撮影方向成分に他ならない。
【００４２】
そして、ステップＳ１１において、Ｍの整数部分をＮとすると、次回表示する背景画像は現在表示されている画像からＮ枚目であると決定する。すなわち、このときの動画画像ファイルの再生速度がＮ倍となったことと同義である。
【００４３】
ここで動画画像ファイルの再生速度算出手段について具体例を挙げて説明する。
今、Ｖ１の値が３．４、Ｋが０．０、Ｖ９が１．０、Ｌの値が０．２だったとすると、Ｍの値は３．６となる。よってＭの整数部分Ｎは３となり、次回表示する背景画像は現在表示されている画像から３枚目である。ここでＬの値は０．６に変更される。
次回の表示画像を決定する計算において、Ｖ１、Ｋ、Ｖ９の値が変わらなかったとすると、Ｍの値は４．０となる。よってＭの整数部分Ｎは４となり、その次に表示する背景画像は現在表示されている画像から４枚目であり、Ｌの値は０．０に変更される。
【００４４】
以上のような再生速度決定手段をとることによって、例えばこの再生速度を決定する計算が１秒間に数十回行われ、同じ回数だけ背景を描画するとすると、ゲームプレーヤーから見て、背景映像がプレーヤーカーの速度にほぼ忠実に動くものとすることができる。
【００４５】
図５の説明に戻り、引き続き説明する。ステップＳ１２において、動画画像ファイルの読み込みバッファにある、現在位置背景画像の１つ前まで（使用され終わった）のデータ量だけバッファを空け、バッファの空き容量が指定量以上になったら、動画画像ファイルの続きを読み込む（ステップ１３）。
【００４６】
最後に、プレーヤーカーが１周してスタートした地点に戻ってきたか、言い換えるとゲームが終了したかを判定し、スタートした地点に戻ってきていないときはステップＳ５に戻る。スタートした地点に戻ってきたときは、１周した時間を保存し、ゲーム終了となる（ステップＳ１４）。
【００４７】
「実施形態の効果」
この実施形態によれば、所定のルートを通るレースゲームの背景画像に実在する場所の実際の映像を操作者に操作違和感を与えること無く表示することにより、現実感と臨場感を向上させたレースゲームとなり、ゲームの興趣性が向上する。また、直前に表示されていない画像を合成して表示することにより、テレビのレース番組における、レーシングカーに搭載されたカメラからの映像のような、スピード感と迫力のある背景画像を表示するレースゲームとなり、ゲームの興趣性が向上する。
【００４８】
「他の実施形態」
上記の実施形態では、動画画像ファイルの撮影時の速度を一定値としたが、動画画像ファイルの１枚１枚の画像に撮影速度情報を入れることで、動画画像ファイルの再生速度を計算できる。この場合は一定速度で撮影しなくともよい。
【００４９】
また、この実施例ではプレーヤーカー以外のオブジェクトは表示していないが、図７に示すような複数台のレースカーで順位を競うレースゲームの場合など、プレーヤー以外のオブジェクトを合成表示したレースゲームとすることもできる。このプレーヤー以外のオブジェクトとは、ＣＰＵが操作するオブジェクト、同じコンピュータ装置で他のプレーヤーが操作するオブジェクト、ネットワークを介して他のプレーヤーが操作するオブジェクトなどが考えられる。この図７は車載カメラ視点からの画像である。
【００５０】
上記実施形態では動画画像ファイルにある圧縮された画像は全て伸張しているが、上記請求項２の処理を行わない場合、動画画像ファイルの画像圧縮を前後の画像に依存しない画像圧縮方法で行うことにより、ステップＳ５の処理にかかる時間が短縮され、ゲーム全体が高速処理される。この方法は、コンピュータ装置の画像伸張処理能力が低い場合に有効である。
【００５１】
以上の実施形態らによれば、実在する場所で所定のルートを通る、コンピュータで実行するタイム又は順位を競う、実際の映像を背景として表示する、現実感、臨場感、スピード感、迫力のあるレースゲームを提供することができる。また、背景画像を実在する場所で撮影するという方法は、仮想三次元空間画像で用いられるポリゴンモデル作成方法に比べ、一般に背景画像作成に要するコストを安く済ませることができる。
【００５２】
さらに、この実施形態に用いられた請求項１〜４の技術は、実在する場所をコースとする、スキーレース、スノーボードレース、スノーモービルレースなどの雪面上でのレースゲーム、ジェットスキーレース、ボートレースなどの水面上でのレースゲームといった多様なゲームの背景画像を、実在する場所の実際の映像とすることにも適用できる。
他に、自動車教習シミュレータなどにも適用できる。
【図面の簡単な説明】
【００５３】
【図１】実施例におけるゲーム画像イメージ（視点変換前）
【図２】実施例における動画画像を撮影した、実在するとしたサーキットコースレイアウト
【図３】実施例における動画画像ファイルの構造
【図４】この発明のコンピュータ装置における一実施形態の構成ブロック図である。
【図５】この発明の一実施形態を示す、レースゲームにおける、背景画像処理の表示手順を示すフローチャートである。
【図６】図２のＰ地点を走行中のプレーヤーオブジェクトの走行方向と、動画画像ファイルにあるＰ地点を含む表示中の背景画像の撮影方向
【図７】プレーヤー以外のオブジェクトを合成表示したレースゲームにおけるゲーム画像イメージ（車載カメラ視点）
【図８】実施例におけるゲーム画像イメージ（視点変換後）
【符号の説明】
【００５４】
１ コンピュータ装置本体
２ 記録媒体
３ 入力装置
４ スピーカ
５ ディスプレイモニタ
１００ ＣＰＵ
１０１ バスライン
１０２ データＲＡＭ
１０３ 入力インターフェース
１０４ ＲＯＭ
１０５ 記録媒体デコーダ１０５
１０６ 記録媒体バッファ
１０７ 記録媒体ドライバ
１０８ 描画プロセッサ
１０９ 描画バッファ
１１０ 伸張回路
１１１ サウンドプロセッサ
１１２ サウンドバッファ
１１３ 増幅器
２００ 実施例レースゲーム画面
２０１ サーキットコース実写背景画像
２０２ プレーヤーカー
３００ サーキットコース
３０１ スタート／ゴール地点
３０２ プレーヤーカーが走行中のＰ地点
４００ 動画画像ファイル全体映像
４０１ スタート地点の画像
４０２ Ｐ地点を含む画像
４０３ ゴール地点の画像
５００ Ｐ地点３０２
５０１ 動画画像ファイル撮影方向
５０２ 動画画像ファイル撮影方向とプレーヤーカー進行方向の角度差
５０３ プレーヤーカー進行方向
６００ プレーヤー以外のオブジェクトを合成表示したレースゲームにおけるゲーム画面
６０１ サーキットコース実写背景画像
６０２ プレーヤーカー
６０３ プレーヤー以外のオブジェクト１
６０４ プレーヤー以外のオブジェクト２
【技術分野】
【０００１】
この発明はコンピュータで実行する、画像処理プログラムにおける背景画像に、実在する場所の実際の映像を表示する画像処理技術に関するものである。
【背景技術】
【０００２】
従来の、実在する場所の名称を使った、ある地点からスタートして別の地点までの、又はある地点からスタートして同一地点に戻ってくるまでの、所定のルートを通るコンピュータで実行するタイム又は順位を競うレースゲームなどでは、その背景映像はポリゴンモデルによる仮想三次元空間画像を表示する方法が用いられている。
【０００３】
ここで仮想三次元空間画像とは、画像表示要素が三次元座標空間における座標で特定される情報をもった三次元空間内の任意の位置に視点（仮想視点）を設定し、その視点から空間内を見渡した情景とし、その視点を操作者が操作する操作対象物の動きに合わせ、連続的に移動させることにより、あたかも操作者がその三次元空間内を移動しているような感覚を与える画像であり、一般に３Ｄコンピュータグラフィックスと呼ばれているものである。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら以上の技術によれば、仮想三次元空間画像であるため、実在する場所の実際の背景映像と比べると違いがある。そのため実在する場所の名称を使ったレースゲームなどでは現実感と臨場感に乏しいものとなっている。
【０００５】
また、テレビ放送のレース番組などにおいて、レーシングカーに搭載されたカメラからの映像と、仮想三次元空間画像で表示された画像を比べると、実際のカメラ映像では、カメラでの撮影原理を考えると、ある地点の表示映像には、前記表示映像の１つ前の映像が撮影された地点から前記表映像が撮影された地点までの情報が含まれている状態である。しかしながら、仮想空間画像を表示する方法では、スピード感を、表示画像の要素を使っての処理方法（コナミ株式会社．藤原英之．ビデオゲーム装置、ビデオゲームにおける画面表示制御方法及び画面表示制御プログラムが記録された記録媒体．特許公開平１１−１５１３７９）、画面にぼかしを入れる処理や過去に表示された画像を合成する処理方法（株式会社セガ・エンタープライゼス．磯脇隆．画像処理装置．特許公開平１１−１５４２４２）で表現したものであって、前記搭載されたカメラ映像と比べると前記現実感と臨場感のほか、迫力とスピード感に乏しいものとなっている。
【０００６】
そこで、この発明は、実在する場所の名称を使った、所定のルートを通る、コンピュータで実行するタイム又は順位を競うレースゲームなどの背景画像に、操作対象物の動きに合わせて実在する実際の映像を表示し、テレビ放送のレース番組などにおいて、レーシングカーに搭載されたカメラからの映像のような現実感と臨場感、スピード感、迫力を向上させた背景画像処理プログラム及び装置を提供することを課題とする。
【課題を解決するための手段】
【０００７】
以上の課題を解決するために、第１発明は、操作者によって前後左右に操作され、実在する所定のコース上で移動する操作対象物らを、前記コースに沿って、前記操作対象物の移動可能範囲を含み、移動しながら撮影した動画である背景画像に重畳表示し、操作対象物の前記背景画像撮影方向成分の速度に基づいて、背景画像の再生速度を算出する、再生速度算出手段を有することを特徴とする画像処理プログラムである。
【０００８】
請求項１に記載の第１発明に従えば、画像処理プログラムは、実在する所定のコースを通るレースゲームなどの背景画像に実在の場所の実際の映像を表示する画像表示手段としてコンピュータを機能させる。
【０００９】
また、第２発明は、前記再生速度算出手段によって算出された前期動画である背景画像の再生速度に碁づき、表示画像の直前に撮影されていて、直前に表示されていない複数枚の背景画像を合成して表示する画像表示手段を有することを特徴とする請求項１に記載の画像処理プログラムである。
【００１０】
請求項２に記載の第２発明に従えば、テレビ放送のレース番組などにおいて、レーシングカーに搭載されたカメラ映像のような画像を表示することができるので、仮想空間画像よりも現実感と臨場感のほか、迫力とスピード感を向上させることができる。
【００１１】
第３発明は、前記操作対象物が、コースを移動する時間、または前記操作対象物とともにコースを移動する他の移動物と順位を競うレースゲームに適用されることを特徴とする、請求項１〜２のいずれか１つに記載の画像処理プログラムである。
【００１２】
請求項３に記載の第３発明に従えば、実在する所定のコースを通るレースゲームの背景画像に実在する場所の実際の映像を表示する画像表示手段としてコンピュータを機能させ、テレビ放送のレース番組などにおいて、レーシングカーに搭載されたカメラ映像のような画像を表示することにより、仮想空間画像よりも現実感と臨場感のほか、迫力とスピード感を向上させたレースゲームを提供することができる。
【００１３】
第４発明は、操作者によって前後左右に操作され、実在する所定のコース上で移動する操作対象物らを、前記コースに沿って、前記操作対象物の移動可能範囲を含み、移動しながら撮影した動画である背景画像に重畳表示し、操作対象物の前記背景画像撮影方向成分の速度に基づいて、背景画像の再生速度を算出する、再生速度算出手段を有することを特徴とする画像処理装置である。
【００１４】
請求項４に記載の第４発明に従えば、実在する所定のコースを通るレースゲームなどの背景画像に実在する場所の実際の映像を表示する画像処理装置を提供することができる。
【発明の効果】
【００１５】
第１発明、第２発明、第３発明によれば、実在する所定のコースを通るレースゲームの背景画像に実在する場所の実際の映像を表示し、テレビ放送のレース番組などにおいてレーシングカーに搭載されたカメラ映像のような画像を表示することにより、現実感と臨場感のほか、迫力とスピード感を向上させることができるため、興趣性の向上したレースゲームを提供することができる。
【００１６】
第４発明によれば、実在する所定のコースを通るレースゲームなどの背景画像に実在する場所の実際の映像を表示することで、現実感と臨場感の向上した画像処理装置を提供することができる。
【発明を実施するための最良の形態】
【００１７】
以下、図面に基づいてこの発明の実施例について、詳細に説明する。
この実施例は、図１に示すように、プレーヤーカーを後方から見下ろす視点で合成するレイアウトの画像を表示する、図２に示すようなサーキットコースが実在するものとした、ドライビングゲームであるとする。このゲームは図２に示すサーキットコースの実際の映像を背景に表示するドライビングゲームであり、プレーヤーカーを操作し、静止状態からスタートしてサーキットを１周し、スタートした地点（スタート／ゴール地点３０１）までのタイムを競うゲームであるとする。
【００１８】
また、この実施例における、動画画像ファイルとは、図２に示すレーシングコースにおいて、ゲーム中プレーヤーカーが通過することができる範囲を含み、ゲーム中の開始地点（図２のスタート／ゴール地点３０１）から１周を、一定速度で撮影したものをＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｎｇｉｎｅｅｒｉｈｇ Ｇｒｏｕｐｅ）に準拠した方法で圧縮し、記録媒体２に記録されているものとする。このファイル構造を図３に示す。ただし、図３における各地点の画像イメージは圧縮前のものである。
【００１９】
図４はこの発明の画像処理装置が適用されるコンピュータ装置の一実施形態を示す構成ブロック図である。この装置は本体１と、プログラムデータと動画画像ファイルが格納された記録媒体２、プレーヤーのゲーム中操作の情報を入力する入力装置３、ゲーム中の音を出力するスピーカ４、ゲーム画面を表示するコンピュータ用ディスプレイ５からなる。
【００２０】
本体１の内部にはＣＰＵ（中央演算処理装置）１００と、ＣＰＵ１００に接続されたアドレスバス、データバス、制御バスからなるバスライン１０１を持っている。バスライン１０１にはデータＲＡＭ（メインメモリ）１０２、入力インターフェース１０３、ＲＯＭ１０４、記録媒体デコーダ１０５、描画プロセッサ１０８、伸張回路１１０、サウンドプロセッサ１１１、増幅器１１３が接続される。
【００２１】
このコンピュータ装置は用途に応じて形態が異なる。例えば、このコンピュータ装置が業務用ゲーム装置のときは図１の構成要素すべてが１つの筐体に納められ、例えばドライビングゲームのときの入力装置はハンドル、ブレーキ、アクセルとなり、ＣＰＵを備える家庭用ゲーム装置の場合はディスプレイ５とスピーカ４の代わりにＴＶモニタに接続し、入力装置はゲームコントローラーなどになる。
【００２２】
次に各構成要素について説明する。まずデータＲＡＭ（メインメモリ）１０２にはゲームプログラム本体、動画画像ファイルを伸張したデータ、他ゲームに必要なデータ、ワークエリアなどが格納される。
【００２３】
入力インターフェース１０３は、入力装置からゲームプレーヤーの操作情報を取り出し、ＣＰＵ１００が処理できる形にする処理をするところである。
【００２４】
ＲＯＭ１０４はパーソナルコンピュータにおけるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）が相当し、コンピュータ装置の起動処理、記録媒体２に記録された最初に実行されるプログラムの読み出しと実行を制御するプログラム、基本入出力装置のドライバプログラムなどを格納している。
【００２５】
記録媒体ドライバ１０７は、例えば記録媒体であるＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ，ハードディスクドライブなどからデータをバッファ１０６に読み出し、記録媒体デコーダ１０５でＥＣＣ（Ｅｒｒｏｒ Ｃｏｒｒｅｃｔｉｏｎ Ｃｏｄｅ）によるエラー補正訂正処理をした後、ＣＰＵの指示にあわせ、読み出したデータをデータＲＡＭ（メインメモリ）１０２などに送る。
【００２６】
描画プロセッサ１０８は、ＣＰＵ１０１の指示に基づき、描画バッファ１０９の内容を、画像としてモニタが表示できる信号を作り出すものである。
【００２７】
伸張回路１１０は、動画に対するＭＰＥＧや静止画に対するＪＰＥＧ（Ｊｏｉｎｔ ｐｉｃｔｕｒｅ Ｅｎｇｉｎｅｅｒｉｎｇ Ｇｒｏｕｐｅ）に準拠された圧縮画像を伸張する処理を行う。この実施形態では圧縮された動画画像ファイルから読み出したデータを、実在する場所の実際の画像をレースゲームの背景に使用するために、伸張する処理を行う。
【００２８】
サウンドプロセッサ１１１は、ＣＰＵ１０１の指示に基づき、記録媒体に記録された音データを直接、または一旦バッファ１１２に格納し、必要に応じて加工した（サウンドエフェクトを施した）、所定の音楽や効果音を生成する。生成された音は増幅器１１３で増幅され、接続されているスピーカ４から出力される。
【００２９】
図５は、この発明の実施例におけるレースゲームの背景画像に、動画画像ファイルから、現存する場所の実際の映像を表示する手順を示すフローチャートである。
【００３０】
まずゲーム処理が開始されると、動画画像ファイルが記録媒体２から、データＲＡＭ１０２の一部に、プレーヤーカーの画像データなど、ゲーム中必要な初期化データを読み込んだ（ステップＳ１）後、ファイル読み込みバッファとして確保された領域へ転送され始める（ステップＳ２）。
【００３１】
次に、読み込んだデータ量が、読み込みバッファとして確保された量以下で、指定された量に達したか判定する（ステップＳ３）。ここで読み込み量が指定された量に達した直後、実際のゲームが開始する（ステップＳ４）。この、実際のゲームが開始するとは、ゲームプレーヤーがプレーヤーカーの操作を開始できるようになることである。
【００３２】
ゲームが開始すると、時間計測を開始し、プレーヤーの操作するプレーヤーカーの現在地点まで（ゲーム開始直後はスタート地点）の背景画像を、伸張回路１１０によって伸張する（ステップＳ５）。次に、伸張された背景画像データを描画バッファ１０９に転送する。ここで、直前に表示されていない背景画像データが動画画像ファイルにあった場合で、上記請求項４，５，６の処理をする場合、直前に表示されていない背景画像データは、現在位置の背景画像に合成される（ステップＳ６）。
【００３３】
例えば、プレーヤーカーが、図１に示すＰ地点で、撮影方向と同じ方向に撮影速度の３倍の速度で走行している場合、表示する背景画像は、現在位置の画像と、現在位置１枚前と２枚前の画像が合成される。現在位置より３枚前の画像はすでに表示されたものであるから合成されない。
【００３４】
ＣＰＵの指示で、描画プロセッサ１０８は、予め読み込んであったプレーヤーカーの画像データと背景画像データを合成した画像を表示する（ステップＳ７）。このとき、動画画像ファイルを撮影したときの光源を測定しておき、プレーヤーカーにも同様の光源を当てる処理、プレーヤーカーの影をつける処理などを行うと、より現実感と臨場感を出すことができる。
【００３５】
次に、入力インターフェース１０３からプレーヤー操作情報を取得し、（ステップＳ８）プレーヤーカーの向きと速度を計算する（ステップＳ９）。そして、プレーヤーカー速度の表示画像の撮影方向成分が、動画画像ファイルの撮影速度の何倍になるか（この何倍かの値をＭとする）を計算する（ステップＳ１０）。そして次回に表示される背景画像を、前回計算したＭの小数部分を加算した後の値の整数部分をＮとすると、現在表示されている画像からＮ枚目であることを決定する（ステップＳ１１）。
【００３６】
ここでステップＳ８からステップＳ１１までを、プレーヤーオブジェクトが図２のＰ地点３０２を走行している状態を例に取り、詳細に説明する。現在表示されている画像は、図３のｐ地点を含む画像４０２であり、この画像を撮影したときの撮影速度をＶ９（図６の５０１）とする。
【００３７】
まずステップＳ８の、プレーヤー操作情報とは、プレーヤーがアクセル、ブレーキをどれだけ効かせているか、ハンドルをどちら側へどれだけ回しているかといったことである。ステップ９にて、アクセルの効きによる加速効果、ブレーキによる減速効果、空気抵抗などの走行抵抗効果を、プレーヤーカーの各種パラメータ（プレーヤーカーの重量、エンジン特性、ホイールベース、重心位置など）と、プレーヤーカー以外の各種パラメータ（その地点での風向、風力、路面とタイヤの摩擦係数、路面の傾きなど）を用いて、次回に表示される背景画像を決定するための、次回表示時のプレーヤーカーの速度と向きを計算する。この計算の結果、プレーヤーカーの向きが、図６の５０３になり、速度がＶ１になったとする。
【００３８】
次にステップＳ１０にて、プレーヤーカー速度の表示画像の撮影方向成分が、動画画像ファイルの撮影速度の何倍になるかといった値Ｍは、図６の角度５０２をＫとすると、次式で計算される。
Ｍ＝Ｖ１ ×ｃｏｓＫ／Ｖ９ ＋ Ｌ
ここでＬとは前回計算したＭ値の小数部分であり、Ｌの値はこの計算後に変更され、次回のプレーヤーカーの速度が撮影速度の何倍かを計算する手段で使われる。
【００３９】
そして、ステップＳ１１において、Ｍの整数部分をＮとすると、次回表示する背景画像は現在表示されている画像からＮ枚目であると決定する。すなわち、このときの動画画像ファイルの再生速度がＮ倍となったことと同義である。
【００４０】
ここで動画画像ファイルの再生速度決定手段について具体例を挙げて説明する。
今、Ｖ１の値が３．４、Ｋが０．０、Ｖ９が１．０、Ｌの値が０．２だったとすると、Ｍの値は３．６となる。よってＭの整数部分Ｎは３となり、次回表示する背景画像は現在表示されている画像から３枚目である。ここでＬの値は０．６に変更される。
次回の表示画像を決定する計算において、Ｖ１、Ｋ、Ｖ９の値が変わらなかったとすると、Ｍの値は４．０となる。よってＭの整数部分Ｎは４となり、その次に表示する背景画像は現在表示されている画像から４枚目であり、Ｌの値は０．０に変更される。
【００４１】
以上のような再生速度決定手段をとることによって、例えばこの再生速度を決定する計算が１秒間に数十回行われ、同じ回数だけ背景を描画するとすると、ゲームプレーヤーから見て、背景映像がプレーヤーカーの速度にほぼ忠実に動くものとすることができる。
【００４２】
図６の説明に戻り、引き続き説明する。ステップＳ１２において、動画画像ファイルの読み込みバッファにある、現在位置背景画像の１つ前まで（使用され終わった）のデータ量だけバッファを空け、バッファの空き容量が指定量以上になったら、動画画像ファイルの続きを読み込む（ステップ１３）。
【００４３】
最後に、プレーヤーカーが１周してスタートした地点に戻ってきたか、言い換えるとゲームが終了したかを判定し、スタートした地点に戻ってきていないときはステップＳ５に戻る。スタートした地点に戻ってきたときは、１周した時間を保存し、ゲーム終了となる（ステップＳ１４）。
【００４４】
「実施形態の効果」
この実施形態によれば、所定のルートを通るレースゲームの背景画像に実在する場所の実際の映像を表示することにより、現実感と臨場感を向上させたレースゲームとなり、ゲームの興趣性が向上する。また、直前に表示されていない画像を合成して表示することにより、テレビのレース番組における、レーシングカーに搭載されたカメラからの映像のような、スピード感と迫力のある背景画像を表示するレースゲームとなり、ゲームの興趣性が向上する。
【００４５】
「他の実施形態」
上記の実施形態では、動画画像ファイルの撮影時の速度を一定値としたが、動画画像ファイルの１枚１枚の画像に撮影速度情報を入れることで、動画画像ファイルの再生速度を計算できる。この場合は一定速度で撮影しなくともよい。
【００４６】
また、この実施例ではプレーヤーカー以外のオブジェクトは表示していないが、仮想三次元空間画像における仮想視点の座標と向きは、撮影時にカメラの位置と向きを記録しておくことなどによって決定することができるので、図７に示すような複数台のレースカーで順位を競うレースゲームの場合など、プレーヤー以外のオブジェクトを合成表示したレースゲームとすることもできる。このプレーヤー以外のオブジェクトとは、ＣＰＵが操作するオブジェクト、同じコンピュータ装置で他のプレーヤーが操作するオブジェクト、ネットワークを介して他のプレーヤーが操作するオブジェクトなどが考えられる。
【００４７】
ここで仮想三次元空間画像とは、画像表示要素が三次元座標空間における座標で特定される情報をもった三次元空間内の任意の位置に視点（仮想視点）を設定し、その視点から空間内を見渡した情景とし、その視点をゲームプレーヤーが操作するプレーヤーオブジェクトの動きに合わせ連続的に移動させることにより、あたかも自己がその三次元空間内を異動してしいるような感覚を与える画像であるとしている。
【００４８】
また、背景画像の視点がプレーヤーカーのドライバーであるレースゲームの場合など、ゲーム中の背景画像に、動画画像ファイルの元動画映像の撮影方向に垂直な成分（図１における横方向、縦方向）の動きが必要な場合は、「特許庁標準技術集、技術分類Ａ−１０ 実写との合成、視点移動できる２次元映像と３次元ＣＧの合成手法」の技術を用いることで実現する。
【００４９】
この「特許庁標準技術集、技術分類Ａ−１０ 実写との合成、視点移動できる２次元映像と３次元ＣＧの合成手法」とは、一枚の画像を別のカメラアングルから見たように変形し、視点移動が可能な画像合成手法である。ＣＧと実写の自然な合成画像を得るためには、実写撮影のカメラの位置、方向、画角をＣＧ映像制作のカメラアングルと一致させる必要がある。そこで、実写のカメラアングルをＣＧに一致させるのではなく、カメラ固定の実写映像をＣＧのカメラアングルに合わせて変形すれば、容易に合成できると考えられるという技術であり、画像に設定された情報といくつかの仮定から、システムは画像を左右、正面壁、天井、床などの領域に分割し、それぞれの３次元座標を求めることにより、オリジナル画像の３次元形状モデルを自動推定する。この３次元形状をもとに、ＣＧのカメラアングルと一致するように２次元映像を変形することにより、実写とＣＧを自然に合成する、という技術である。（出典：「任意の視点移動を表現する対話的画像再合成」、「情報処理学会研究報告 グラフィックスとＣＡＤ ８１−１１」、（１９９６年８月２３日）、堀井洋一、新井清志著、情報処理学会発行）
【００５０】
この視点移動技術を組み合わせるときは、予め動画画像ファイルの１つ１つの画像に、視点移動処理に必要な、撮影した画像を切り分けた情報が必要となる。また、この処理をするときに、描画プロセッサ１０８が、座標変換処理とテクスチャ描画処理といった、仮想三次元画像処理能力を備えていると、一般にＣＰＵ１００が同様の処理を行うより高速に処理できる。
【００５１】
上記実施形態では動画画像ファイルにある圧縮された画像は全て伸張しているが、上記請求項２の処理を行わない場合、動画画像ファイルの画像圧縮を前後の画像に依存しない画像圧縮方法で行うことにより、ステップＳ５の処理にかかる時間が短縮され、ゲーム全体が高速処理される。この方法は、コンピュータ装置の画像伸張処理能力が低い場合に有効である。
【００５２】
以上の実施形態らによれば、実在する場所で所定のルートを通る、コンピュータで実行するタイム又は順位を競う、実際の映像を背景として表示する、現実感、臨場感、スピード感、迫力のあるレースゲームを提供することができる。また、背景画像を実在する場所で撮影するという方法は、仮想三次元空間画像で用いられるポリゴンモデル作成方法に比べ、一般に背景画像作成に要するコストを安く済ませることができる。
【００５３】
さらに、この実施形態に用いられた請求項１〜４の技術は、実在する場所をコースとする、スキーレース、スノーボードレース、スノーモービルレースなどの雪面上でのレースゲーム、ジェットスキーレース、ボートレースなどの水面上でのレースゲームといった多様なゲームの背景画像を、実在する場所の実際の映像とすることにも適用できる。
他に、自動車教習シミュレータなどにも適用できる。
【図面の簡単な説明】
【００５４】
【図１】実施例におけるゲーム画像イメージ
【図２】実施例における動画画像を撮影した、実在するとしたサーキットコースレイアウト
【図３】実施例における動画画像ファイルの構造
【図４】この発明のコンピュータ装置における一実施形態の構成ブロック図である。
【図５】この発明の一実施形態を示す、レースゲームにおける、背景画像処理の表示手順を示すフローチャートである。
【図６】図２のＰ地点を走行中のプレーヤーオブジェクトの走行方向と、動画画像ファイルにあるＰ地点を含む表示中の背景画像の撮影方向
【図７】プレーヤー以外のオブジェクトを合成表示したレースゲームにおけるゲーム画像イメージ
【符号の説明】
【００５５】
１ コンピュータ装置本体
２ 記録媒体
３ 入力装置
４ スピーカ
５ ディスプレイモニタ
１００ ＣＰＵ
１０１ バスライン
１０２ データＲＡＭ
１０３ 入力インターフェース
１０４ ＲＯＭ
１０５ 記録媒体デコーダ１０５
１０６ 記録媒体バッファ
１０７ 記録媒体ドライバ
１０８ 描画プロセッサ
１０９ 描画バッファ
１１０ 伸張回路
１１１ サウンドプロセッサ
１１２ サウンドバッファ
１１３ 増幅器
２００ 実施例レースゲーム画面
２０１ サーキットコース実写背景画像
２０２ プレーヤーカー
３００ サーキットコース
３０１ スタート／ゴール地点
３０２ プレーヤーカーが走行中のＰ地点
４００ 動画画像ファイル全体映像
４０１ スタート地点の画像
４０２ Ｐ地点を含む画像
４０３ ゴール地点の画像
５００ Ｐ地点３０２
５０１ 動画画像ファイル撮影方向
５０２ 動画画像ファイル撮影方向とプレーヤーカー進行方向の角度差
５０３ プレーヤーカー進行方向
６００ プレーヤー以外のオブジェクトを合成表示したレースゲームにおけるゲーム画面
６０１ サーキットコース実写背景画像
６０２ プレーヤーカー
６０３ プレーヤー以外のオブジェクト１
６０４ プレーヤー以外のオブジェクト２
【発明の詳細な説明】
【技術分野】
【０００１】
この発明はコンピュータで実行する画像処理プログラムにおける動画背景画像に、実在する場所の実際の映像を表示する画像処理技術に関するものである。
【背景技術】
【０００２】
従来の、実在する場所の名称を使った、ある地点からスタートして別の地点までの、又はある地点からスタートして同一地点に戻ってくるまでの、所定のルートを通るコンピュータで実行するタイム又は順位を競うレースゲームなどでは、その背景映像はポリゴンモデルによる仮想三次元空間画像を表示する方法が多く用いられている。
【０００３】
ここで仮想三次元空間画像とは、画像表示要素が三次元座標空間における座標で特定される情報をもった三次元空間内の任意の位置に視点（仮想視点）を設定し、その視点から空間内を見渡した情景とし、その視点を操作者が操作する操作対象物の動きに合わせ、連続的に移動させることにより、あたかも操作者がその三次元空間内を移動しているような感覚を与える画像であり、一般に３Ｄコンピュータグラフィックスと呼ばれているものである。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら以上の技術によれば、仮想三次元空間画像であるため、実在する場所の実際の背景映像と比べると違いがある。そのため実在する場所の名称を使ったレースゲームなどでは現実感と臨場感に乏しいものとなっている。また背景画像に実写映像を用い撮影した映像の再生速度を変化させて再生するだけ（特開平９−１４７１４３、特開平９−２２０３０８）では、前記操作者から見た表示画面上において、前記操作対象物が前後方向には動かないが撮影方向に対して垂直な方向には動くものとなるため前記操作者に操作違和感を与えてしまう。このことは特にレースゲームなどにおいてゲームの趣向性を損なうものとなってしまう。また、レースゲームに不可欠である、背景画像に重畳表示する操作対象物からの視点（以下ドライバー視点とする）と前記操作対象物に搭載されたカメラからの視点（以下車載カメラ視点とする）を実現することができない。
【０００５】
また、テレビ放送のレース番組などにおいて、レーシングカーに搭載されたカメラからの映像と仮想三次元空間画像で表示された画像を比べると、実際のカメラ映像では、カメラでの撮影原理を考えると、ある地点の表示映像には前記表示映像の１つ前の映像が撮影された地点から前記表映像が撮影された地点までの情報が含まれている状態である。しかしながら、仮想空間画像を表示する方法では、スピード感を表示画像の要素を使っての処理方法（特開平１１−１５１３７９）や、画面にぼかしを入れる処理や過去に表示された画像を合成する処理方法（特開平１１−１５４２４２）で表現したものであって、前記搭載されたカメラ映像と比べると前記現実感と臨場感のほか、迫力とスピード感に乏しいものとなっている。
【０００６】
そこで、この発明は、実在する場所の名称を使った、所定のルートを通る、コンピュータで実行するタイム又は順位を競うレースゲームなどの背景画像に、実在する実際の映像を操作者に操作違和感を与えること無く表示し、テレビ放送のレース番組などにおいてレーシングカーに搭載されたカメラからの映像のような現実感と臨場感、スピード感、迫力を向上させた背景画像処理プログラム及び装置を提供することを課題とする。
【課題を解決するための手段】
【０００７】
以上の課題を解決するために、第１発明は、操作対象物の操作情報に基いて操作速度と操作位置と操作方向とを出力する操作情報出力手段と、前記操作速度の撮影方向成分に基いて実写動画背景画像の再生速度を算出するための再生速度算出手段と、前記再生速度に基いて読み出された背景画像を前記操作位置と前記操作方向とに基いて前記操作対象物の表示位置が予め定めた位置となる視点から視点変換した視点変換背景画像を作成するための視点変換手段と、前記視点変換背景画像に前記操作対象物を重畳表示するための重畳表示手段とを含むことを特徴とする画像処理プログラムである。
【０００８】
請求項１に記載の第１発明に従い、実在する所定のコースで移動しながら撮影した動画背景画像を用い、前記操作対象物の重畳表示位置が動かないような視点から視点変換した背景画像を用いれば、画像処理プログラムはレースゲームなどの背景画像に実在する場所の実際の映像を操作者に操作違和感を与えること無く表示する画像表示手段としてコンピュータを機能させる。
【０００９】
また、第２発明は、前回の表示のために前記動画背景画像から読み出された背景画像の次から今回の表示のために読み出された背景画像までの間の背景画像を合成して１つの背景画像として出力するための画像合成手段とを含むことを特徴とする請求項１記載の画像処理プログラムである。
【００１０】
請求項２に記載の第２発明に従えば、テレビ放送のレース番組などにおいて、レーシングカーに搭載されたカメラ映像のような画像を表示することができるため、現実感と臨場感のほか、迫力とスピード感を向上させることができる。
【００１１】
第３発明は、レースゲームに適用することを特徴とする請求項１．２記載の画像処理プログラムである。
【００１２】
請求項３に記載の第３発明に従えば、実在する所定のコースを通るレースゲームの背景画像に実在する場所の実際の映像を表示する画像表示手段としてコンピュータを機能させ、テレビ放送のレース番組などにおいてレーシングカーに搭載されたカメラ映像のような画像を表示することにより、仮想空間画像よりも現実感と臨場感のほか、迫力とスピード感を向上させたレースゲームを提供することができる。また、レースゲームに不可欠なドライバー視点と車載カメラ視点の実写背景画面を提供することができる。
【００１３】
第４発明は、操作対象物の操作情報に基いて操作速度と操作位置と操作方向とを出力する操作情報出力手段と、前記操作速度の撮影方向成分に基いて実写動画背景画像の再生速度を算出するための再生速度算出手段と、前記再生速度に基いて読み出された背景画像を前記操作位置と前記操作方向とに基いて前記操作対象物の表示位置が予め定めた位置となる視点から視点変換した視点変換背景画像を作成するための視点変換手段と、前記視点変換背景画像に前記操作対象物を重畳表示するための重畳表示手段とを含むことを特徴とする画像処理装置である。
【００１４】
請求項４に記載の第４発明に従えば、実在する所定のコースを通るレースゲームなどの背景画像に実在する場所の実際の映像を操作者に操作違和感を与えること無く表示する画像処理装置を提供することができる。
【発明の効果】
【００１５】
第１発明、第２発明、第３発明によれば、実在する所定のコースを通るレースゲームの背景画像に実在する場所の実際の映像を表示し、テレビ放送のレース番組などにおいてレーシングカーに搭載されたカメラ映像のような画像を操作者に操作違和感を与えること無く表示することにより、現実感と臨場感のほか、迫力とスピード感を向上させることができるため興趣性の向上したレースゲームを提供することができる。また、レースゲームに不可欠なドライバー視点と車載カメラ視点の表示映像を提供することができる。第４発明によれば、実在する所定のコースを通るレースゲームなどの背景画像に実在する場所の実際の映像を操作者に操作違和感を与えること無く表示することで、現実感と臨場感の向上した画像処理装置を提供することができる。
【００１６】
ここで前記操作違和感を与えること無く表示するということは、前記操作対象物の表示位置を動かないようにすることによって前記操作対象物の前後左右の動き（背景動画撮影方向成分の動き及びその垂直方向成分の動き）を、背景画像の相対的な動きで表現することである。
【発明を実施するための最良の形態】
【００１７】
以下、図面に基づいてこの発明の実施例について、詳細に説明する。
この実施例は、図１に示すように、操作対象物であるプレーヤーカーを後方から見下ろす視点で重畳表示するレイアウトの画像を表示する、図２に示すようなサーキットコースが実在するものとした、ドライビングゲームであるとする。このゲームは図２に示すサーキットコースの実際の映像を背景に表示するドライビングゲームであり、プレーヤーカーを操作し、静止状態からスタートしてサーキットを１周し、スタートした地点（スタート／ゴール地点３０１）までのタイムを競うゲームであるとする。
【００１８】
また、この実施例における、動画画像ファイルとは、図２に示すレーシングコースにおいて、ゲーム中プレーヤーカーが通過することができる範囲を含み、ゲーム中の開始地点（図２のスタート／ゴール地点３０１）から１周を、一定速度で移動しながら撮影したものをＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｎｇｉｎｅｅｒｉｎｇ Ｇｒｏｕｐｅ）に準拠した方法で圧縮し、記録媒体２に記録されているものとする。このファイル構造を図３に示す。ただし、図３における各地点の画像イメージは圧縮前のもので、後述する視点変換処理に必要な領域に分割する座標データ及び各画像撮影位置データ及び撮影方向データを含んだものである。
【００１９】
図４はこの発明の画像処理装置が適用されるコンピュータ装置の一実施形態を示す構成ブロック図である。この装置は本体１と、プログラムデータと動画画像ファイルが格納された記録媒体２、プレーヤーのゲーム操作情報を入力する入力装置３、ゲーム中の音を出力するスピーカ４、ゲーム画面を表示するコンピュータ用ディスプレイ５とからなる。
【００２０】
本体１の内部にはＣＰＵ（中央演算処理装置）１００と、ＣＰＵ１００に接続されたアドレスバス、データバス、制御バスからなるバスライン１０１を持っている。バスライン１０１にはデータＲＡＭ（メインメモリ）１０２、入力インターフェース１０３、ＲＯＭ１０４、記録媒体デコーダ１０５、描画プロセッサ１０８、伸張回路１１０、サウンドプロセッサ１１１、増幅器１１３が接続される。
【００２１】
このコンピュータ装置は用途に応じて形態が異なる。例えば、このコンピュータ装置が業務用ゲーム装置のときは図１の構成要素すべてが１つの筐体に納められ、例えばドライビングゲームのときの入力装置はハンドル、ブレーキ、アクセルとなり、ＣＰＵを備える家庭用ゲーム装置の場合はディスプレイ５とスピーカ４の代わりにＴＶモニタに接続し、入力装置はゲームコントローラーなどになる。
【００２２】
次に各構成要素について説明する。まずデータＲＡＭ（メインメモリ）１０２にはゲームプログラム本体、動画画像ファイルを伸張したデータ、他ゲームに必要なデータ、ワークエリアなどが格納される。
【００２３】
入力インターフェース１０３は、入力装置からゲームプレーヤーの操作情報を取り出し、ＣＰＵ１００が処理できる形にする処理をするところである。
【００２４】
ＲＯＭ１０４はパーソナルコンピュータにおけるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）が相当し、コンピュータ装置の起動処理、記録媒体２に記録された最初に実行されるプログラムの読み出しと実行を制御するプログラム、基本入出力装置のドライバプログラムなどを格納している。
【００２５】
記録媒体ドライバ１０７は、例えば記録媒体であるＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ，ハードディスクドライブなどからデータをバッファ１０６に読み出し、記録媒体デコーダ１０５でＥＣＣ（Ｅｒｒｏｒ Ｃｏｒｒｅｃｔｉｏｎ Ｃｏｄｅ）によるエラー補正訂正処理をした後、ＣＰＵの指示にあわせ、読み出したデータをデータＲＡＭ（メインメモリ）１０２などに送る。
【００２６】
描画プロセッサ１０８は、ＣＰＵ１０１の指示に基づき、描画バッファ１０９の内容を、画像としてモニタが表示できる信号を作り出すものである。
【００２７】
伸張回路１１０は、動画に対するＭＰＥＧや静止画に対するＪＰＥＧ（Ｊｏｉｎｔ Ｐｉｃｔｕｒｅ Ｅｎｇｉｎｅｅｒｉｎｇ Ｇｒｏｕｐｅ）に準拠された圧縮画像を伸張する処理を行う。この実施形態では前記動画画像ファイルから読み出したデータを、実在する場所の実際の画像をレースゲームの背景に使用するために、伸張する処理を行う。
【００２８】
サウンドプロセッサ１１１は、ＣＰＵ１０１の指示に基づき、記録媒体に記録された音データを直接、または一旦バッファ１１２に格納し、必要に応じて加工した（サウンドエフェクトを施した）、所定の音楽や効果音を生成する。生成された音は増幅器１１３で増幅され、接続されているスピーカ４から出力される。
【００２９】
図５は、この発明の実施例におけるレースゲームの背景画像に、動画画像ファイルから、現存する場所の実際の映像を操作違和感無く表示する手順を示すプログラムフローチャートである。
【００３０】
まずゲーム処理が開始されると、記録媒体２からデータＲＡＭ１０２の一部に、プレーヤーカーの画像データなどゲーム中必要な初期化データを読み込んだ（ステップＳ１）後、動画画像ファイルが記録媒体２からデータＲＡＭの一部にファイル読み込みバッファとして確保された領域へ転送され始める（ステップＳ２）。
【００３１】
次に、読み込んだデータ量が、読み込みバッファとして確保された量以下で、プログラムが指定した量に違したか判定する（ステップＳ３）。ここで読み込み量が指定された量に達した直後、実際のゲームスタートとなる（ステップＳ４）。このゲームスタートとは、操作者であるゲームプレーヤーが操作対象物であるプレーヤーカーの操作を開始できるようになることである。
【００３２】
ゲームスタートすると、時間計測を開始し、プレーヤーの操作するプレーヤーカーの現在地点まで（ゲーム開始直後はスタート地点）の背景画像を伸張回路１１０によって伸張する。ここでプレーヤーカーの重畳表示位置が背景画像の撮影方向中心線から撮影方向の垂直方向にどれだけ離れているかを計算し、プレーヤーカーが表示画像の中心となりプレーヤーカーの表示方向が前回と同じになるように背景画像を視点変換処理する（ステップＳ５）。すなわち、操作対象物の操作位置と操作方向とに基いて前記操作対象物の表示位置が予め定めた位置となる視点に視点変換した視点変換画像を作成するための処理である。このとき伸張回路１１０が伸張処理をしていると同時に、伸張済の画像をＣＰＵ１０１などで視点変換処理すると処理が高速化できる。
【００３３】
ここでは「特許庁標準技術集、技術分類Ａ−１０ 実写との合成、視点移動できる２次元映像と３次元ＣＧの合成手法」という視点変換技術を用いる。例えば視点変換しない画像が図１に示すような位置にプレーヤーカーがあった場合、視点変換処理により図８に示すようにプレーヤーカーを表示画像の中心に表示する。次に、伸張され視点変換された背景画像データを描画バッファ１０９に転送する。
【００３４】
この「特許庁標準技術集、技術分類Ａ−１０ 実写との合成、視点移動できる２次元映像と３次元ＣＧの合成手法」とは、一枚の画像を別のカメラアングルから見たように変形し、視点移動が可能な画像合成手法である。ＣＧと実写の自然な合成画像を得るためには、実写撮影のカメラの位置、方向、画角をＣＧ映像制作のカメラアングルと一致させる必要がある。そこで、実写のカメラアングルをＣＧに一致させるのではなく、カメラ固定の実写映像をＣＧのカメラアングルに合わせて変形すれば、容易に合成できると考えられるという技術であり、画像に設定された情報といくつかの仮定から、システムは画像を左右、正面壁、天井、床などの領域に分割し、それぞれの３次元座標を求めることにより、オリジナル画像の３次元形状モデルを自動推定する。この３次元形状をもとに、ＣＧのカメラアングルと一致するように２次元映像を変形することにより、実写とＣＧを自然に合成する、という技術である。（出典：「任意の視点移動を表現する対話的画像再合成」、「情報処理学会研究報告 グラフィックスとＣＡＤ ８１−１１」、（１９９６年８月２３日）、堀井洋一、新井清志著、情報処理学会発行）
【００３５】
図５の説明に戻り、引き続き説明する。ここで上述請求項２に従う合成処理をする場合、直前に表示されていない背景画像データを、現在位置の背景画像に合成する（ステップＳ６）。すなわち、この処理は前回表示のために読み出された背景画像の次から今回の表示のために読み出された背景画像までの間の背景画像を１つの背景画像として出力するための画像合成手段である。この実施例では、合成する画像を描画バッファ１０９に転送し、合成処理は描画プロセッサ１０８が行うものとする。
【００３６】
例えば、プレーヤーカーが図１に示すＰ地点で撮影方向と同じ方向に撮影速度の３倍の速度で走行している場合、表示する背景画像は、現在位置の画像と、現在位置１枚前と２枚前の画像が合成される。すなわち後述する再生速度算出手段によると現在位置より３枚前の画像はすでに表示されたものであるから合成されない。ここではこれら３枚の画像を３３．３％ずつアルファブレンディング方法で合成するものとする。
【００３７】
ＣＰＵの指示で、描画プロセッサ１０８は、予め読み込んであったプレーヤーカーの画像データと背景画像データを合成した画像を表示する（ステップＳ７）。すなわち、前記視点変換背景画像に前記操作対象物を重畳表示することである。このとき、動画画像ファイルを撮影したときの光源を測定しておき、プレーヤーカーにも同様の光源が当たっているとする処理、プレーヤーカーの影をつける処理などを行うと、より現実感と臨場感を出すことができる。
【００３８】
次に、入力インターフェース１０３からプレーヤー操作情報を取得し、（ステップＳ８）プレーヤーカーの向きと速度を計算する（ステップＳ９）。すなわち、操作対象物の操作情報に基いて操作情報を出力することである。そして、プレーヤーカー速度の表示画像撮影方向成分が、動画画像ファイルの撮影速度の何倍になるか（この何倍かの値をＭとする）を計算する（ステップＳ１０）。そして次回に表示される背景画像を、前回計算したＭの小数部分を加算した後の値の整数部分をＮとすると、現在表示されている画像からＮ枚目であることを決定する（ステップＳ１１）。すなわち、前記操作対象物の操作速度の撮影方向成分に基いて動画背景画像の再生速度を算出することである。
【００３９】
ここでステップＳ８からステップＳ１１までを、プレーヤーオブジェクトが図２のＰ地点３０２を走行している状態を例に取り、詳細に説明する。現在表示されている画像は、図３のＰ地点を含む画像４０２であり、この画像を撮影したときの撮影速度をＶ９（図６の５０１）とする。
【００４０】
まずステップＳ８の、プレーヤー操作情報とは、プレーヤーがアクセル、ブレーキをどれだけ効かせているか、ハンドルをどちら側へどれだけ回しているかといったことである。ステップ９にて、アクセルの効きによる加速効果、ブレーキによる減速効果、空気抵抗などの走行抵抗効果を、プレーヤーカーの各種パラメータ（重量、エンジン特性、ホイールベース、重心位置など）と、プレーヤーカー以外の各種パラメータ（その地点での風向、風力、路面とタイヤの摩擦係数、路面の傾きなど）を用いて、次回に表示される背景画像を決定するための、次回表示時のプレーヤーカーの速度と向きを計算する。この計算の結果、プレーヤーカーの向きが、図６の５０３になり、速度がＶ１になったとする。
【００４１】
次にステップＳ１０にて、プレーヤーカー速度の表示画像の撮影方向成分が、動画画像ファイルの撮影速度の何倍になるかといった値Ｍは、図６の角度５０２をＫとすると、次式で計算される。
Ｍ＝Ｖ１×ｃｏｓＫ／Ｖ９＋Ｌ
ここでＬとは前回計算したＭ値の小数部分であり、Ｌの値はこの計算後に変更され、次回のプレーヤーカーの速度が撮影速度の何倍かを算出する再生速度算出手段で使われる。
また、Ｖ１×ｃｏｓＫとは操作対象物操作速度の撮影方向成分に他ならない。
【００４２】
そして、ステップＳ１１において、Ｍの整数部分をＮとすると、次回表示する背景画像は現在表示されている画像からＮ枚目であると決定する。すなわち、このときの動画画像ファイルの再生速度がＮ倍となったことと同義である。
【００４３】
ここで動画画像ファイルの再生速度算出手段について具体例を挙げて説明する。
今、Ｖ１の値が３．４、Ｋが０．０、Ｖ９が１．０、Ｌの値が０．２だったとすると、Ｍの値は３．６となる。よってＭの整数部分Ｎは３となり、次回表示する背景画像は現在表示されている画像から３枚目である。ここでＬの値は０．６に変更される。
次回の表示画像を決定する計算において、Ｖ１、Ｋ、Ｖ９の値が変わらなかったとすると、Ｍの値は４．０となる。よってＭの整数部分Ｎは４となり、その次に表示する背景画像は現在表示されている画像から４枚目であり、Ｌの値は０．０に変更される。
【００４４】
以上のような再生速度決定手段をとることによって、例えばこの再生速度を決定する計算が１秒間に数十回行われ、同じ回数だけ背景を描画するとすると、ゲームプレーヤーから見て、背景映像がプレーヤーカーの速度にほぼ忠実に動くものとすることができる。
【００４５】
図５の説明に戻り、引き続き説明する。ステップＳ１２において、動画画像ファイルの読み込みバッファにある、現在位置背景画像の１つ前まで（使用され終わった）のデータ量だけバッファを空け、バッファの空き容量が指定量以上になったら、動画画像ファイルの続きを読み込む（ステップ１３）。
【００４６】
最後に、プレーヤーカーが１周してスタートした地点に戻ってきたか、言い換えるとゲームが終了したかを判定し、スタートした地点に戻ってきていないときはステップＳ５に戻る。スタートした地点に戻ってきたときは、１周した時間を保存し、ゲーム終了となる（ステップＳ１４）。
【００４７】
「実施形態の効果」
この実施形態によれば、所定のルートを通るレースゲームの背景画像に実在する場所の実際の映像を操作者に操作違和感を与えること無く表示することにより、現実感と臨場感を向上させたレースゲームとなり、ゲームの興趣性が向上する。また、直前に表示されていない画像を合成して表示することにより、テレビのレース番組における、レーシングカーに搭載されたカメラからの映像のような、スピード感と迫力のある背景画像を表示するレースゲームとなり、ゲームの興趣性が向上する。
【００４８】
「他の実施形態」
上記の実施形態では、動画画像ファイルの撮影時の速度を一定値としたが、動画画像ファイルの１枚１枚の画像に撮影速度情報を入れることで、動画画像ファイルの再生速度を計算できる。この場合は一定速度で撮影しなくともよい。
【００４９】
また、この実施例ではプレーヤーカー以外のオブジェクトは表示していないが、図７に示すような複数台のレースカーで順位を競うレースゲームの場合など、プレーヤー以外のオブジェクトを合成表示したレースゲームとすることもできる。このプレーヤー以外のオブジェクトとは、ＣＰＵが操作するオブジェクト、同じコンピュータ装置で他のプレーヤーが操作するオブジェクト、ネットワークを介して他のプレーヤーが操作するオブジェクトなどが考えられる。この図７は車載カメラ視点からの画像である。
【００５０】
上記実施形態では動画画像ファイルにある圧縮された画像は全て伸張しているが、上記請求項２の処理を行わない場合、動画画像ファイルの画像圧縮を前後の画像に依存しない画像圧縮方法で行うことにより、ステップＳ５の処理にかかる時間が短縮され、ゲーム全体が高速処理される。この方法は、コンピュータ装置の画像伸張処理能力が低い場合に有効である。
【００５１】
以上の実施形態らによれば、実在する場所で所定のルートを通る、コンピュータで実行するタイム又は順位を競う、実際の映像を背景として表示する、現実感、臨場感、スピード感、迫力のあるレースゲームを提供することができる。また、背景画像を実在する場所で撮影するという方法は、仮想三次元空間画像で用いられるポリゴンモデル作成方法に比べ、一般に背景画像作成に要するコストを安く済ませることができる。
【００５２】
さらに、この実施形態に用いられた請求項１〜４の技術は、実在する場所をコースとする、スキーレース、スノーボードレース、スノーモービルレースなどの雪面上でのレースゲーム、ジェットスキーレース、ボートレースなどの水面上でのレースゲームといった多様なゲームの背景画像を、実在する場所の実際の映像とすることにも適用できる。
他に、自動車教習シミュレータなどにも適用できる。
【図面の簡単な説明】
【００５３】
【図１】実施例におけるゲーム画像イメージ（視点変換前）
【図２】実施例における動画画像を撮影した、実在するとしたサーキットコースレイアウト
【図３】実施例における動画画像ファイルの構造
【図４】この発明のコンピュータ装置における一実施形態の構成ブロック図である。
【図５】この発明の一実施形態を示す、レースゲームにおける、背景画像処理の表示手順を示すフローチャートである。
【図６】図２のＰ地点を走行中のプレーヤーオブジェクトの走行方向と、動画画像ファイルにあるＰ地点を含む表示中の背景画像の撮影方向
【図７】プレーヤー以外のオブジェクトを合成表示したレースゲームにおけるゲーム画像イメージ（車載カメラ視点）
【図８】実施例におけるゲーム画像イメージ（視点変換後）
【符号の説明】
【００５４】
１ コンピュータ装置本体
２ 記録媒体
３ 入力装置
４ スピーカ
５ ディスプレイモニタ
１００ ＣＰＵ
１０１ バスライン
１０２ データＲＡＭ
１０３ 入力インターフェース
１０４ ＲＯＭ
１０５ 記録媒体デコーダ１０５
１０６ 記録媒体バッファ
１０７ 記録媒体ドライバ
１０８ 描画プロセッサ
１０９ 描画バッファ
１１０ 伸張回路
１１１ サウンドプロセッサ
１１２ サウンドバッファ
１１３ 増幅器
２００ 実施例レースゲーム画面
２０１ サーキットコース実写背景画像
２０２ プレーヤーカー
３００ サーキットコース
３０１ スタート／ゴール地点
３０２ プレーヤーカーが走行中のＰ地点
４００ 動画画像ファイル全体映像
４０１ スタート地点の画像
４０２ Ｐ地点を含む画像
４０３ ゴール地点の画像
５００ Ｐ地点３０２
５０１ 動画画像ファイル撮影方向
５０２ 動画画像ファイル撮影方向とプレーヤーカー進行方向の角度差
５０３ プレーヤーカー進行方向
６００ プレーヤー以外のオブジェクトを合成表示したレースゲームにおけるゲーム画面
６０１ サーキットコース実写背景画像
６０２ プレーヤーカー
６０３ プレーヤー以外のオブジェクト１
６０４ プレーヤー以外のオブジェクト２
【特許請求の範囲】
【請求項１】
操作者によって前後左右に操作され、実在する所定のコース上で移動する操作対象物らを、前記コースに沿って、前記操作対象物の移動可能範囲を含み、移動しながら撮影した動画である背景画像に重畳表示し、操作対象物の前記背景画像撮影方向成分の速度に基づいて、背景画像の再生速度を算出する、再生速度算出手段を有することを特徴とする画像処理プログラム。
【請求項２】
前記再生速度算出手段によって算出された前期動画である背景画像の再生速度に基づき、表示画像の直前に撮影されていて、直前に表示されていない複数枚の背景画像を合成して表示する画像表示手段を有することを特徴とする請求項１に記載の画像処理プログラム。
【請求項３】
前記操作対象物が、コースを移動する時間、または前記操作対象物とともにコースを移動する他の移動物と順位を競うレースゲームに適用されることを特徴とする、請求項１〜２のいずれか１つに記載の画像処理プログラム。
【請求項４】
操作者によって前後左右に操作され、実在する所定のコース上で移動する操作対象物らを、前記コースに沿って、前記操作対象物の移動可能範囲を含み、移動しながら撮影した動画である背景画像に重畳表示し、操作対象物の前記背景画像撮影方向成分の速度に基づいて、背景画像の再生速度を算出する、再生速度算出手段を有することを特徴とする画像処理装置。
【特許請求の範囲】
【請求項１】
操作対象物の操作情報に基いて操作速度と操作位置と操作方向とを出力する操作情報出力手段と、前記操作速度の撮影方向成分に基いて実写動画背景画像の再生速度を算出するための再生速度算出手段と、前記再生速度に基いて読み出された背景画像を前記操作位置と前記操作方向とに基いて前記操作対象物の表示位置が予め定めた位置となる視点から視点変換した視点変換背景画像を作成するための視点変換手段と、前記視点変換背景画像に前記操作対象物を重畳表示するための重畳表示手段とを含むことを特徴とする画像処理プログラム。
【請求項２】
前回の表示のために前記動画背景画像から読み出された背景画像の次から今回の表示のために読み出された背景画像までの間の背景画像を合成して１つの背景画像として出力するための画像合成手段とを含むことを特徴とする請求項１記載の画像処理プログラム。
【請求項３】
レースゲームに適用することを特徴とする請求項１．２記載の画像処理プログラム。
【請求項４】
操作対象物の操作情報に基いて操作速度と操作位置と操作方向とを出力する操作情報出力手段と、前記操作速度の撮影方向成分に基いて実写動画背景画像の再生速度を算出するための再生速度算出手段と、前記再生速度に基いて読み出された背景画像を前記操作位置と前記操作方向とに基いて前記操作対象物の表示位置が予め定めた位置となる視点から視点変換した視点変換背景画像を作成するための視点変換手段と、前記視点変換背景画像に前記操作対象物を重畳表示するための重畳表示手段とを含むことを特徴とする画像処理装置。
【請求項１】
操作者によって前後左右に操作され、実在する所定のコース上で移動する操作対象物らを、前記コースに沿って、前記操作対象物の移動可能範囲を含み、移動しながら撮影した動画である背景画像に重畳表示し、操作対象物の前記背景画像撮影方向成分の速度に基づいて、背景画像の再生速度を算出する、再生速度算出手段を有することを特徴とする画像処理プログラム。
【請求項２】
前記再生速度算出手段によって算出された前期動画である背景画像の再生速度に基づき、表示画像の直前に撮影されていて、直前に表示されていない複数枚の背景画像を合成して表示する画像表示手段を有することを特徴とする請求項１に記載の画像処理プログラム。
【請求項３】
前記操作対象物が、コースを移動する時間、または前記操作対象物とともにコースを移動する他の移動物と順位を競うレースゲームに適用されることを特徴とする、請求項１〜２のいずれか１つに記載の画像処理プログラム。
【請求項４】
操作者によって前後左右に操作され、実在する所定のコース上で移動する操作対象物らを、前記コースに沿って、前記操作対象物の移動可能範囲を含み、移動しながら撮影した動画である背景画像に重畳表示し、操作対象物の前記背景画像撮影方向成分の速度に基づいて、背景画像の再生速度を算出する、再生速度算出手段を有することを特徴とする画像処理装置。
【特許請求の範囲】
【請求項１】
操作対象物の操作情報に基いて操作速度と操作位置と操作方向とを出力する操作情報出力手段と、前記操作速度の撮影方向成分に基いて実写動画背景画像の再生速度を算出するための再生速度算出手段と、前記再生速度に基いて読み出された背景画像を前記操作位置と前記操作方向とに基いて前記操作対象物の表示位置が予め定めた位置となる視点から視点変換した視点変換背景画像を作成するための視点変換手段と、前記視点変換背景画像に前記操作対象物を重畳表示するための重畳表示手段とを含むことを特徴とする画像処理プログラム。
【請求項２】
前回の表示のために前記動画背景画像から読み出された背景画像の次から今回の表示のために読み出された背景画像までの間の背景画像を合成して１つの背景画像として出力するための画像合成手段とを含むことを特徴とする請求項１記載の画像処理プログラム。
【請求項３】
レースゲームに適用することを特徴とする請求項１．２記載の画像処理プログラム。
【請求項４】
操作対象物の操作情報に基いて操作速度と操作位置と操作方向とを出力する操作情報出力手段と、前記操作速度の撮影方向成分に基いて実写動画背景画像の再生速度を算出するための再生速度算出手段と、前記再生速度に基いて読み出された背景画像を前記操作位置と前記操作方向とに基いて前記操作対象物の表示位置が予め定めた位置となる視点から視点変換した視点変換背景画像を作成するための視点変換手段と、前記視点変換背景画像に前記操作対象物を重畳表示するための重畳表示手段とを含むことを特徴とする画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００６−３１６４６（Ｐ２００６−３１６４６Ａ）
【公開日】平成１８年２月２日（２００６．２．２）
【国際特許分類】
【出願番号】特願２００４−２３２８１５（Ｐ２００４−２３２８１５）
【出願日】平成１６年７月１３日（２００４．７．１３）
【特許番号】特許第３７２６２３９号（Ｐ３７２６２３９）
【特許公報発行日】平成１７年１２月１４日（２００５．１２．１４）
【出願人】（５０４３０４７４３）
【Ｆターム（参考）】
【公開日】平成１８年２月２日（２００６．２．２）
【国際特許分類】
【出願日】平成１６年７月１３日（２００４．７．１３）
【特許番号】特許第３７２６２３９号（Ｐ３７２６２３９）
【特許公報発行日】平成１７年１２月１４日（２００５．１２．１４）
【出願人】（５０４３０４７４３）
【Ｆターム（参考）】
[ Back to top ]