観者の視点移動に対応した立体オブジェクトの擬似３次元画像を表示する方法及び装置
【課題】観者の視点移動に対応した立体オブジェクトの擬似３次元的画像を表示する方法等を提供する。
【解決手段】（ａ）同一の光学特性を有し、被写体となる観者の存在すべき基準位置へ向けられた同一の光軸上に、観者から異なった距離に配置された第１カメラ（Ａ）と第２カメラ（Ｂ）により、観者の頭部を同時に自動撮影するステップと、（ｂ）両カメラにより撮影した画像の画像サイズを同一化するステップと、（ｃ）同一サイズ化された両画像を重ね合わせ、両画像間のズレδを検知するステップと、（ｄ）上記ズレδに基づき、観者の視点位置の移動量を例えば角度として算出し、当該移動量に基づき上記撮影時の観者の視点位置を求めるステップと、（ｅ）求められた観者の視点位置から見た３Ｄポリゴン画像の擬似３次元的な２次元画像データを作成するステップと、を順次実行することを特徴とする。
【解決手段】（ａ）同一の光学特性を有し、被写体となる観者の存在すべき基準位置へ向けられた同一の光軸上に、観者から異なった距離に配置された第１カメラ（Ａ）と第２カメラ（Ｂ）により、観者の頭部を同時に自動撮影するステップと、（ｂ）両カメラにより撮影した画像の画像サイズを同一化するステップと、（ｃ）同一サイズ化された両画像を重ね合わせ、両画像間のズレδを検知するステップと、（ｄ）上記ズレδに基づき、観者の視点位置の移動量を例えば角度として算出し、当該移動量に基づき上記撮影時の観者の視点位置を求めるステップと、（ｅ）求められた観者の視点位置から見た３Ｄポリゴン画像の擬似３次元的な２次元画像データを作成するステップと、を順次実行することを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ゲーム機等のディスプレイ装置への画像表示技術に関し、特に、観者の視点位置の移動に対応した立体オブジェクトの擬似３次元的な画像を表示する方法及び装置に関するものである。
【背景技術】
【０００２】
例えば、下記の特許文献１〜３には、ゲーム機等における画像表示方法や装置、プログラム等が開示されている。
一般に、立体オブジェクトの３次元ポリゴン画像を２次元画面に表示するときは、立体オブジェクトに対する視点の相対位置が重要である。
視点から見た立体オブジェクトの映像を擬似３次元的な２次元画像として２次元画面に表示する必要があるからである。
オートバイ走行ゲームなどでは常時ライダー（プレイヤ）の頭部が左右に移動するが、その絶えず移動する視点位置から見た情景がリアルに画面に表示されなければならない。
従って、世界座標系の中の３次元ポリゴン画像を、視点から見た擬似３次元的な２次元画像として表示するためには、プレイヤの目（頭）の位置を検出する位置センサが必要であった。
しかしながら、従来の方法でリアルな擬似３次元画像を得ようとしても、プレイヤの頭部位置を検出し得るセンサとして、精度と信頼性の高いものは提案されておらず、また、プレイヤの頭部位置が知られたとしても、その後の演算量が膨大となり、コストの制約が多いゲーム機では結局、さほどリアルな映像は表示できないという問題があった。
【０００３】
【特許文献１】特開２００６−２５９３５８号公報
【特許文献２】特開２００６−０７５２１８号公報
【特許文献３】特開２００５−２４２４６３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本発明は、上記の問題点を解決するためなされたものであり、その目的とするところは、高度なセンサを用いることなく、３次元ポリゴン画像を擬似３次元画像としてリアルに２次元画面に表示し得る画像表示方法及び装置を提供することにある。
また、ゲーム機などにおいて、プレイヤが特殊なコントローラや検知器を体に装着したり、それらを操作したりする必要なく、リアルな画面表示を可能とする画像表示方法及び装置を提供することにある。
【課題を解決するための手段】
【０００５】
上記の目的を達成するための本発明の構成の概要は次のとおりである。
光軸が共通となるように、かつ、被写体までの距離が異なるように取り付けられた２台のカメラＡ及びＢを備えた複合カメラ装置を用いて、ディスプレイ画面の観者（ビデオゲームの場合には、そのゲームのプレイヤが「観者」に該当）の頭部を撮影する。
複合カメラ装置のボディ内にはその光軸Ｏに対して４５°の角度でハーフミラーが設けられ、一方のカメラＡでは、ハーフミラーを透過した被写体映像を撮影し、もう一方のカメラＢでは、ハーフミラーで反射された被写体映像を撮影するようになっている。
ハーフミラーを透過し直進する光の中心軸を光軸ＯA、反射して光軸ＯAに対して直角方向に進む光の中心軸を光軸ＯBとする。
光軸ＯA、ＯB上のカメラＡ、Ｂは光学的に同一特性のものを用いるが、これらのカメラとハーフミラーとの距離ＤA、ＤＢはそれぞれ異なっている。
今、ＤA＞ＤＢであるとする。
カメラＡで得られる画像サイズは、カメラＢで得られる画像サイズより小さいが、その比率Ｋは、(Ｄ+ＤA)、(Ｄ+ＤＢ)から算出できる。ここで、Ｄは、共通光軸Ｏ上での観者の頭部とハーフミラーの距離である。
観者の頭部中心が、光軸Ｏ上にあるときは、カメラＡで得られる画像をＫ倍に拡大すると、カメラＢで得られる画像と重なる拡大画像が得られる。
観者の頭部中心が、光軸Ｏ上からΔだけ直角方向に移動すると、カメラＡで得られる画像の拡大画像は、カメラＢで得られる画像と重ならなくなり、ズレδを生じる。
このズレδから、観者の頭部移動量Δが知られる。
そして、この頭部移動量Δから、３次元ポリゴンで描画されているオブジェクトの擬似３次元的な２次元画像の視点移動に伴う変化を算出することができる。
観者の頭部移動量Δが正確に知られさえすれば、上記視点移動に伴う変化の演算自体は極めて簡単であり、このためリアルで高速な画面変換が可能となる。
【０００６】
前記の目的を達成するため、本発明に係る画像表示方法は、具体的には、
視点位置が設定されたとき、立体オブジェクトの３次元ポリゴン画像から、当該設定された視点位置から見た擬似３次元的な２次元画像データを作成する画像演算プログラムを実行することにより、視点位置に対応した立体オブジェクトの擬似３次元的な２次元画像を表示する方法において、
下記（ａ）項ないし（ｄ）項に記載のステップ、即ち、
（ａ）被写体となる観者の存在すべき基準位置へ向けられた第１カメラと、第１カメラの光軸上において第１カメラから距離ＤAの位置に第１カメラの光軸に対し４５°傾斜して設けられ、被写体からの光線を第１カメラへ透過させるハーフミラーと、上記第１カメラと同一の光学特性を有し、上記ハーフミラーで反射された被写体からの光線を受光するよう第１カメラの光軸と直交する光軸上においてハーフミラーから前記距離ＤAとは異なる値の距離ＤＢの位置に設けられた第２カメラと、を備えた複合カメラ装置の当該第１及び第２カメラにより被写体を同時に自動撮影する両カメラ同時撮影ステップと、
（ｂ）予めインストールされた画像サイズ調整プログラムを実行し、上記第１カメラにより撮影した画像サイズに、被写体から第１カメラまでの距離（Ｄ＋ＤA：ここでＤは、被写体からハーフミラーまでの距離）と被写体から第２カメラまでの距離（Ｄ＋ＤＢ）との比率Ｋを乗じることにより、第１カメラにより撮影した画像サイズと第２カメラにより撮影した画像サイズを同一サイズとする同一サイズ化ステップと、
（ｃ）予めインストールされた画像ズレ検知プログラムを実行し、画像サイズが同一化された第１及び第２カメラによる撮影画像のズレδを検知するステップと、
（ｄ）予めインストールされた視点位置算出プログラムを実行し、上記ズレδに基づき、観者の視点位置の前記基準位置からの移動量を算出し、当該移動量に基づき上記撮影時の観者の視点位置を求めるステップと、
を実行することにより、当該２次元画像の観者の視点位置を所定の短時間間隔で順次求め、これらの視点位置を上記画像演算プログラムに順次設定することにより、当該観者の視点位置に対応した立体オブジェクトの擬似３次元的な２次元画像を順次表示するように構成されたことを特徴とするものである。
【０００７】
また、上記の本発明に係る画像表示方法を実施するための本発明に係る画像表示装置は、
デジタルビデオ信号による画像を表示するディスプレイ装置と、
視点位置が設定されたとき、立体オブジェクトの３次元ポリゴン画像から、当該設定された視点位置から見た擬似３次元的な２次元画像データを作成する画像演算プログラムがインストールされており、その画像演算プログラムに従い、上記ディスプレイ装置に表示すべき、設定された視点位置に対応した立体オブジェクトの擬似３次元的な２次元画像の画像信号を発生させる画像演算装置と、
上記画像演算装置から得られた画像信号をディスプレイ装置への入力用ビデオ信号に変換し、ディスプレイ装置に供給する画像信号変換回路と、
を備えた、視点位置に対応した立体オブジェクトの擬似３次元的な２次元画像を表示する装置において、
下記（ｅ）項ないし（ｉ）項に記載の構成要素、即ち、
（ｅ）被写体となる観者の存在すべき基準位置へ向けられた第１カメラと、第１カメラの光軸上において第１カメラから距離ＤAの位置に第１カメラの光軸に対し４５°傾斜して設けられ、被写体からの光線を第１カメラへ透過させるハーフミラーと、上記第１カメラと同一の光学特性を有し、上記ハーフミラーで反射された被写体からの光線を受光するよう第１カメラの光軸と直交する光軸上においてハーフミラーから前記距離ＤAとは異なる値の距離ＤＢの位置に設けられた第２カメラと、を備え、撮影を指令する作動信号を受けたとき、上記第１及び第２カメラにより被写体を同時に撮影する複合カメラ装置と、
（ｆ）予めインストールされた画像サイズ調整プログラムを実行し、上記第１カメラにより撮影した画像サイズに、被写体から第１カメラまでの距離（Ｄ＋ＤA：ここでＤは、被写体からハーフミラーまでの距離）と被写体から第２カメラまでの距離（Ｄ＋ＤＢ）との比率Ｋを乗じることにより、第１カメラにより撮影した画像サイズと第２カメラにより撮影した画像サイズを同一サイズとする同一サイズ化演算回路と、
（ｇ）予めインストールされた画像ズレ検知プログラムを実行し、画像サイズが同一化された上記第１及び第２カメラによる撮影画像のズレδを検知するズレ検知回路と、
（ｈ）予めインストールされた視点位置算出プログラムを実行し、上記ズレδに基づき、観者の視点位置の前記基準位置からの移動量を算出し、当該移動量に基づき上記撮影時の観者の視点位置データを出力する視点位置算出回路と、
（ｉ）予めインストールされた作動制御プログラムを実行し、上記複合カメラ装置、同一サイズ化演算回路、ズレ検知回路及び視点位置算出回路を所定の短時間間隔で順次繰り返し作動させ、そのつど得られた観者の視点位置データを上記画像演算装置に入力させて、各視点位置に対応した立体オブジェクトの２次元画像を上記ディスプレイ装置に順次表示せしめる作動制御回路と、
を具備することを特徴とするものである。
【発明の効果】
【０００８】
上記の如き構成であると、２台のカメラで撮影された観者の頭部の画像のズレに基づいて、観者の視点位置が求められるので、３Ｄポリゴン画像からこの視点位置の移動に対応した擬似３次元的な２次元画像を容易に作成できる。
そのため、高度なセンサを用いることなく、また、特殊なコントローラや検知器を体に装着したり、それらを操作したりすることなく、擬似３次元的なリアルな映像表現が可能な表示方法及び装置を提供し得るものである。
【発明を実施するための最良の形態】
【０００９】
以下、図面を参照しつつ、本発明を実施するための最良の形態について説明する。
図１は、本発明に係る画像表示方法を実施する装置において用いられる複合カメラ装置の一実施例の概要を示す断面図、
図２は、本発明に係る画像表示方法の原理を示す説明図、
図３は、本発明に係る画像表示方法の実行ステップを示すフローチャート、
図４は、本発明に係る画像表示方法を実施する装置の回路構成の一実施例を示すブロック図、
図５は、通常の２次元画像と、擬似３次元画像とを比較して示す説明図、
図６は、本発明に係る画像表示方法による擬似３次元画像の表示形態を示す説明図である。
【００１０】
先ず、図５により、通常の２次元画像と、実際の立体オブジェクトの見え方とを比較して説明する。
図５中のＡ図及びＢ図に示したような２次元の表示面（ＣＲＴや液晶表示盤）に、ＣＨＲ１、ＣＨＲ２のような四角形が表示されているとする。このとき、表示面は２次元的な「面」であるため、ＣＨＲ１とＣＨＲ２を見ている観者の視線間にＢ図に示すような角度差が生じていても、厚みを持たない四角形が画面に表示されるだけとなる。
しかしながら、図５のＣ図のように、テーブルの上に立方体を置いた場合、実際に見えるのは、中央の立方体については、Ａ１で示すような奥行きのある擬似３次元的な図形であり、右側の立方体については、Ｂ１で示すような右奥方向へ斜めに奥行きのある擬似３次元的な図形となる。
【００１１】
そこで、本発明においては、図６に示す如く、２台のカメラＡ及びＢで観者の頭部を撮影し、その撮影した画像データを元に、観者の視点位置を求めるようにする。
次いで、あらかじめ用意された例えば図５のＣ図に示すような立方体の３次元ポリゴンデータについて、上記で求めた視点位置を基準として画像処理を行い、図５のＣ図にＡ１、Ｂ１で示すような観者の視点位置の変化に伴う奥行き感のある擬似３次元的な画像の表示を可能とするものである。
【００１２】
以下、図１〜図４を参照しつつ、本発明の構成について具体的に説明する。
図１は、本発明に係る画像表示方法を実施する装置において用いられる複合カメラ装置の一実施例を示しており、この複合カメラ装置１は、２台のカメラＡ及びＢを有し、これらのカメラは、ハーフミラーＭを介することで、同一光軸上にありながら、被写体である観者Ｐから互いに異なった距離に配置されている。
即ち、第１カメラＡは、被写体となる観者Ｐの存在すべき基準位置へ向けて配置される。
ハーフミラーＭは、第１カメラの光軸ＯA上において第１カメラから距離ＤAの位置に、第１カメラの光軸に対し４５°傾斜して設けられ、被写体Ｐからの光線を第１カメラへ向けて透過させる。
第２カメラＢは、第１カメラＡと同一の光学特性を有し、ハーフミラーＭで反射された被写体Ｐからの光線を受光するよう第１カメラの光軸ＯAと直交する光軸ＯB上においてハーフミラーＭから前記距離ＤAとは異なる値の距離ＤＢの位置に設けられる。
これらのカメラＡ及びＢは、後述する作動制御回路２０１ｅ（図４）からの作動信号により、観者Ｐを同時に撮影するようになっている。
このような２台のカメラによる同時撮影は、観者Ｐの視点移動をなるべく忠実にフォローし、また、表示される画像の動画としての動きが滑らかとなるように、通常の動画の駒送りと同様に、短かい時間間隔（望ましくは、１／２４秒程度の間隔）で連写し続けるようにして行なわれる。
【００１３】
次に、上記の如くしてカメラＡ及びＢにより同時撮影された観者Ｐの頭部の画像から、観者Ｐ（視点位置）の移動量（カメラに対する移動角度等）を検知する原理について、図２を参照しつつ説明する。
なお、説明を分かりやすくするため、ハーフミラーＭを介して観者Ｐの頭部を撮影するカメラＢについては、カメラＡの光軸上に重ねて描いてある。
図２（１）のように、カメラＡ及びＢに対して、観者Ｐがカメラの光軸と同一線上（基準位置）にある場合には、撮影済みの両画像の一方の画像サイズ（形状）に、観者ＰからカメラＡまでの距離（Ｄ＋ＤA）とカメラＢ（Ｄ＋ＤＢ）までの距離の比率Ｋを乗じる補正を行なえば、両画像のサイズは同じになり、両画像は座標上の同じ位置で、ズレることなく重なり合うものである。
【００１４】
しかしながら、図２（２）のように、カメラＡ及びＢに対して、観者Ｐがカメラの光軸からオフセットした場合（観者Ｐが基準位置から移動した場合）には、図中の矢印で示すように、カメラＡとカメラＢとでは、観者Ｐに対する角度が異なり、そのため両カメラの撮像面における撮影領域にズレを生じることになる。
そのため、図２（１）の場合と同様に画像サイズの補正を行ない両カメラによる撮影画像のサイズを同一にしたとしても、両画像が座標上の同じ位置で重なり合うことはなく、ズレδを生じることになる。
そこで、これらの両画像が重なるように、どちらかの画像をＸＹ座標上で移動させる操作を行ない、その移動量δを測れば、観者Ｐ（視点位置）の基準位置からの移動量（角度等）を求めることができる。
この求められた視点位置に基づき、画像演算プログラムにより前記立方体の３次元ポリゴン画像から２次元画像を作成すれば、図５のＣ図又は図６に示したような擬似３次元的な２次元画像を作成、表示できるものである。
【００１５】
以上の操作を毎秒２４回程度繰り返し行なうことにより、所望の立体オブジェクトを観者の視点位置の移動に追従した円滑な擬似３次元的な動画として表示することができる。
【００１６】
なお、上記画像処理において、カメラＡ及びＢで撮影した画像のサイズの同一化補正を行なう必要があるのは、図１に示す如く、被写体（観者の頭部）からカメラＡまでの距離（Ｄ＋ＤA）とカメラＢまでの距離（Ｄ＋ＤＢ）とを異ならせてあるため、両カメラで撮影された画像には遠近差によるサイズの差が生じ、両画像を重ね合わせる際には、同一サイズ化する必要があるためである。
【００１７】
以上を整理すれば、本発明の擬似３次元的な画像の表示方法は、以下のステップを繰り返すことにより構成される。
なお、これを要約して、図３にフローチャートで描いてある。
（ａ）カメラＡ及びＢによる同時自動撮影ステップ
前記複合カメラ装置１の第１カメラＡ及び第２カメラＢにより観者の頭部を同時に自動撮影するステップである。
（ｂ）両カメラにより撮影した画像サイズを同一化するステップ
予めインストールされた画像サイズ調整プログラムを実行し、上記第１カメラにより撮影した画像サイズに、被写体から第１カメラまでの距離（Ｄ＋ＤA：ここでＤは、被写体からハーフミラーまでの距離）と被写体から第２カメラまでの距離（Ｄ＋ＤＢ）との比率Ｋを乗じることにより、第１カメラにより撮影した画像サイズと第２カメラにより撮影した画像サイズを同一サイズとするステップである。
（ｃ）両カメラにより撮影した画像間のズレδを検知するステップ
予めインストールされた画像ズレ検知プログラムを実行し、画像サイズが同一化された上記第１及び第２カメラによる撮影画像を重ね合わせてみて、ズレδを検知するステップである。
（ｄ）撮影時の観者の視点位置を求めるステップ
予めインストールされた視点位置算出プログラムを実行し、上記ズレδに基づき、観者の視点位置の前記基準位置からの移動量を、望ましくは角度として算出し、当該移動量に基づき上記撮影時の観者の視点位置を求めるステップである。
（ｅ）求めた視点位置から見た立体オブジェクトの擬似３次元的な画像データを作成するステップ
視点位置が設定されたとき、立体オブジェクトの３次元ポリゴン画像から、当該設定された視点位置から見た擬似３次元的な２次元画像データを作成する画像演算プログラムを実行することにより、撮影時の観者の視点位置に対応した立体オブジェクトの擬似３次元的な２次元画像データを作成するステップである。
（ｆ）ディスプレイ装置に表示するステップ
上記ステップで得られた観者の視点位置に対応した擬似３次元的な２次元画像データにより、当該画像をディスプレイ装置に表示するステップである。
（ｇ）上記ａからｆまでのステップを短時間間隔で繰り返すステップ
上記ａからｆまでのステップを約１／２４秒間で完了し、同様の操作を繰り返し行なうことにより、観者の視点位置の移動に対応した立体オブジェクトの画像の動きを、１秒間に約２４コマ送りの擬似３次元的な動画として表示するステップである。
【００１８】
次に、図４を参照しつつ、上記本発明方法を実施するための本発明装置について説明する。
図４中、１は、前記の如く２台のカメラＡ及びＢを備えた複合カメラ装置、２は中央制御装置、３はディスプレイ装置である。
中央制御装置２中において、２０１はＣＰＵ等から成る演算装置、２０２はクロック回路、２０３はハードディスクドライブ等から成る記憶装置、２０４はＲＯＭ、２０５はＲＡＭ、２０６は画像信号変換回路、２０７データバス、２０８はＩ／Ｏポートである。
【００１９】
複合カメラ装置１は、前記の如く、その２台のカメラＡ及びＢにより観者の頭部を同時に撮影し、撮影された画像データを中央制御装置２へ送出するようになっている。
中央制御装置２は、その記憶装置２０３にインストールされた画像演算プログラムを、ＣＰＵ等から成る演算装置２０１等で実行することにより、観者の視点位置に対応した擬似３次元的な２次元画像データを発生させる機能を有する。
ディスプレイ装置３は、液晶表示盤等から成るデジタルビデオ信号による映像表示器である。
なお、図４には、本発明に係る擬似３次元的な画像を表示するための回路要素のみが示されており、本発明の表示装置が例えばゲーム装置に組み込まれた場合におけるゲーム装置関連の回路要素は、省略されている。
【００２０】
中央制御装置２における演算装置２０１はＣＰＵ等から成り、記憶装置２０３にインストールされたコンピュータープログラムに従い、複合カメラ装置１から入力される観者の頭部の画像データから観者の視点位置を求め、これに基づき擬似３次元的な画像データを出力する機能を有する。
クロック回路２０２は、ゲーム機中の各種デジタル演算処理のためのベースとなるクロックパルスを発振する回路であり、各種の時間管理等を行うためにも重要な役割を果たすものである。
【００２１】
記憶装置２０３には、本発明における観者の視点位置に対応した擬似３次元的な画像表示のための画像演算プログラムや、表示すべき各種立体オブジェクトの３Ｄポリゴン画像データ等がインストールされている。
【００２２】
ＲＯＭ２０４には、装置全体の管理データ、装置内の各機器の初期設定データ、等々が記録されている。
ＲＡＭ２０５は、演算装置２０１の動作に必要なデータの授受を演算装置２０１との間で行なう。
画像信号変換回路２０６は、演算装置２０１における画像演算装置２０１ａで得られた画像信号をディスプレイ装置３への入力用ビデオ信号に変換し、ディスプレイ装置３に供給する。
データバス２０７は、上記各種回路間のデータ伝送線路である。
Ｉ／Ｏポート２０８は、複合カメラ装置１と中央制御装置２とを接続するインターフェイスである。
【００２３】
以下、中央制御装置２における演算装置２０１の構成について説明する。
同一サイズ化演算回路２０１ｂは、複合カメラ装置１から入力された第１カメラＡ及び第２カメラＢの画像データに対して、両画像の画像サイズを同一サイズ化する画像演算処理を行なう。
即ち、予めインストールされた画像サイズ調整プログラムを実行し、第１カメラにより撮影した画像サイズに、被写体から第１カメラまでの距離（Ｄ＋ＤA）と被写体から第２カメラまでの距離（Ｄ＋ＤＢ）との比率Ｋを乗じることにより、第１カメラにより撮影した画像サイズと第２カメラにより撮影した画像サイズを同一サイズとする演算処理を行なう。
ズレ検知回路２０１ｃは、予めインストールされた画像ズレ検知プログラムを実行し、画像サイズが同一化された上記第１及び第２カメラによる撮影画像のズレδを検知する。
視点位置算出回路２０１ｄは、予めインストールされた視点位置算出プログラムを実行し、上記ズレδに基づき、観者の視点位置の前記基準位置からの移動量を、通常は角度として算出し、当該移動量に基づき上記撮影時の観者の視点位置データを出力する。
【００２４】
画像演算装置２０１ａには、視点位置が設定されたとき、立体オブジェクトの３次元ポリゴン画像から、当該設定された視点位置から見た擬似３次元的な２次元画像データを作成する画像演算プログラムがインストールされており、視点位置算出回路２０１ｄにおいて観者の視点位置が求められたとき、上記画像演算プログラムに従い、設定された視点位置に対応した立体オブジェクトの擬似３次元的な２次元画像の画像信号を発生させる。
画像信号変換回路２０６は、上記画像演算装置２０１ａで得られた画像信号をディスプレイ装置３への入力用ビデオ信号に変換し、ディスプレイ装置に供給する。
作動制御回路２０１ｅは、予めインストールされた作動制御プログラムを実行し、上記複合カメラ装置１、同一サイズ化演算回路２０１ｂ、ズレ検知回路２０１ｃ、視点位置算出回路２０１ｄ及び画像演算装置２０１ａを順次作動させる指令信号を、所定の短時間間隔（望ましくは、１／２４秒程度）で繰り返し発信し、そのつど得られた立体オブジェクトの擬似３次元的な２次元画像データを上記ディスプレイ装置に順次送って、観者の視点位置から見た擬似３次元的な動画として表示せしめる。
なお、これらの画像演算装置２０１ａ、同一サイズ化演算回路２０１ｂ、ズレ検知回路２０１ｃ、視点位置算出回路２０１ｄ及び作動制御回路２０１ｅは、記憶装置２０３から読み出されたコンピュータプログラムが、演算装置２０１のハードウェア資源（ＣＰＵ等）と協働することによって構築されるものである。
以上の構成を有する本発明に係る表示装置を用いることにより、前記の本発明方法を好適に実施でき、これにより、観者の視点位置の移動に対応した立体オブジェクトの擬似３次元的なリアルな動画表現が可能となる。
【００２５】
なお、本発明は上記の実施例に限定されるものではなく、その目的の範囲内において、上記の説明から当業者が容易に想到し得るすべての変更実施例を包摂するものである。
【産業上の利用可能性】
【００２６】
本発明は上記の如く構成され、２台のカメラで撮影された観者の頭部の画像のズレに基づいて、観者の視点位置が求められるので、この視点位置の移動に対応した擬似３次元的な２次元画像を容易に作成できる。そのため、高度なセンサを用いることなく、また、特殊なコントローラや検知器を体に装着したり、それらを操作したりすることなく、擬似３次元的なリアルな映像表現が可能な表示方法及び装置を提供し得るものであるから、産業上多大の利用可能性を有するものである。
【図面の簡単な説明】
【００２７】
【図１】本発明に係る画像表示方法を実施する装置において用いられる複合カメラ装置の一実施例の概要を示す断面図である。
【図２】本発明に係る画像表示方法の原理を示す説明図である。
【図３】本発明に係る画像表示方法の実行ステップを示すフローチャートである。
【図４】本発明に係る画像表示方法を実施する装置の回路構成の一実施例を示すブロック図である。
【図５】通常の２次元画像と、擬似３次元画像とを比較して示す説明図である。
【図６】本発明に係る画像表示方法による擬似３次元画像の表示形態を示す説明図である。
【符号の説明】
【００２８】
１ 複合カメラ装置
Ａ，Ｂ カメラ
Ｍ ハーフミラー
２ 中央制御装置
２０１ 演算装置
２０１ａ 画像演算装置
２０１ｂ 同一サイズ化演算装置
２０１ｃ ズレ検知回路
２０１ｄ 視点位置算出回路
２０１ｅ 作動制御回路
２０２ クロック回路
２０３ 記憶装置
２０４ ＲＯＭ
２０５ ＲＡＭ
２０６ 画像信号変換回路
２０７ データバス
２０８ Ｉ／Ｏポート
３ ディスプレイ装置
【技術分野】
【０００１】
本発明は、ゲーム機等のディスプレイ装置への画像表示技術に関し、特に、観者の視点位置の移動に対応した立体オブジェクトの擬似３次元的な画像を表示する方法及び装置に関するものである。
【背景技術】
【０００２】
例えば、下記の特許文献１〜３には、ゲーム機等における画像表示方法や装置、プログラム等が開示されている。
一般に、立体オブジェクトの３次元ポリゴン画像を２次元画面に表示するときは、立体オブジェクトに対する視点の相対位置が重要である。
視点から見た立体オブジェクトの映像を擬似３次元的な２次元画像として２次元画面に表示する必要があるからである。
オートバイ走行ゲームなどでは常時ライダー（プレイヤ）の頭部が左右に移動するが、その絶えず移動する視点位置から見た情景がリアルに画面に表示されなければならない。
従って、世界座標系の中の３次元ポリゴン画像を、視点から見た擬似３次元的な２次元画像として表示するためには、プレイヤの目（頭）の位置を検出する位置センサが必要であった。
しかしながら、従来の方法でリアルな擬似３次元画像を得ようとしても、プレイヤの頭部位置を検出し得るセンサとして、精度と信頼性の高いものは提案されておらず、また、プレイヤの頭部位置が知られたとしても、その後の演算量が膨大となり、コストの制約が多いゲーム機では結局、さほどリアルな映像は表示できないという問題があった。
【０００３】
【特許文献１】特開２００６−２５９３５８号公報
【特許文献２】特開２００６−０７５２１８号公報
【特許文献３】特開２００５−２４２４６３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本発明は、上記の問題点を解決するためなされたものであり、その目的とするところは、高度なセンサを用いることなく、３次元ポリゴン画像を擬似３次元画像としてリアルに２次元画面に表示し得る画像表示方法及び装置を提供することにある。
また、ゲーム機などにおいて、プレイヤが特殊なコントローラや検知器を体に装着したり、それらを操作したりする必要なく、リアルな画面表示を可能とする画像表示方法及び装置を提供することにある。
【課題を解決するための手段】
【０００５】
上記の目的を達成するための本発明の構成の概要は次のとおりである。
光軸が共通となるように、かつ、被写体までの距離が異なるように取り付けられた２台のカメラＡ及びＢを備えた複合カメラ装置を用いて、ディスプレイ画面の観者（ビデオゲームの場合には、そのゲームのプレイヤが「観者」に該当）の頭部を撮影する。
複合カメラ装置のボディ内にはその光軸Ｏに対して４５°の角度でハーフミラーが設けられ、一方のカメラＡでは、ハーフミラーを透過した被写体映像を撮影し、もう一方のカメラＢでは、ハーフミラーで反射された被写体映像を撮影するようになっている。
ハーフミラーを透過し直進する光の中心軸を光軸ＯA、反射して光軸ＯAに対して直角方向に進む光の中心軸を光軸ＯBとする。
光軸ＯA、ＯB上のカメラＡ、Ｂは光学的に同一特性のものを用いるが、これらのカメラとハーフミラーとの距離ＤA、ＤＢはそれぞれ異なっている。
今、ＤA＞ＤＢであるとする。
カメラＡで得られる画像サイズは、カメラＢで得られる画像サイズより小さいが、その比率Ｋは、(Ｄ+ＤA)、(Ｄ+ＤＢ)から算出できる。ここで、Ｄは、共通光軸Ｏ上での観者の頭部とハーフミラーの距離である。
観者の頭部中心が、光軸Ｏ上にあるときは、カメラＡで得られる画像をＫ倍に拡大すると、カメラＢで得られる画像と重なる拡大画像が得られる。
観者の頭部中心が、光軸Ｏ上からΔだけ直角方向に移動すると、カメラＡで得られる画像の拡大画像は、カメラＢで得られる画像と重ならなくなり、ズレδを生じる。
このズレδから、観者の頭部移動量Δが知られる。
そして、この頭部移動量Δから、３次元ポリゴンで描画されているオブジェクトの擬似３次元的な２次元画像の視点移動に伴う変化を算出することができる。
観者の頭部移動量Δが正確に知られさえすれば、上記視点移動に伴う変化の演算自体は極めて簡単であり、このためリアルで高速な画面変換が可能となる。
【０００６】
前記の目的を達成するため、本発明に係る画像表示方法は、具体的には、
視点位置が設定されたとき、立体オブジェクトの３次元ポリゴン画像から、当該設定された視点位置から見た擬似３次元的な２次元画像データを作成する画像演算プログラムを実行することにより、視点位置に対応した立体オブジェクトの擬似３次元的な２次元画像を表示する方法において、
下記（ａ）項ないし（ｄ）項に記載のステップ、即ち、
（ａ）被写体となる観者の存在すべき基準位置へ向けられた第１カメラと、第１カメラの光軸上において第１カメラから距離ＤAの位置に第１カメラの光軸に対し４５°傾斜して設けられ、被写体からの光線を第１カメラへ透過させるハーフミラーと、上記第１カメラと同一の光学特性を有し、上記ハーフミラーで反射された被写体からの光線を受光するよう第１カメラの光軸と直交する光軸上においてハーフミラーから前記距離ＤAとは異なる値の距離ＤＢの位置に設けられた第２カメラと、を備えた複合カメラ装置の当該第１及び第２カメラにより被写体を同時に自動撮影する両カメラ同時撮影ステップと、
（ｂ）予めインストールされた画像サイズ調整プログラムを実行し、上記第１カメラにより撮影した画像サイズに、被写体から第１カメラまでの距離（Ｄ＋ＤA：ここでＤは、被写体からハーフミラーまでの距離）と被写体から第２カメラまでの距離（Ｄ＋ＤＢ）との比率Ｋを乗じることにより、第１カメラにより撮影した画像サイズと第２カメラにより撮影した画像サイズを同一サイズとする同一サイズ化ステップと、
（ｃ）予めインストールされた画像ズレ検知プログラムを実行し、画像サイズが同一化された第１及び第２カメラによる撮影画像のズレδを検知するステップと、
（ｄ）予めインストールされた視点位置算出プログラムを実行し、上記ズレδに基づき、観者の視点位置の前記基準位置からの移動量を算出し、当該移動量に基づき上記撮影時の観者の視点位置を求めるステップと、
を実行することにより、当該２次元画像の観者の視点位置を所定の短時間間隔で順次求め、これらの視点位置を上記画像演算プログラムに順次設定することにより、当該観者の視点位置に対応した立体オブジェクトの擬似３次元的な２次元画像を順次表示するように構成されたことを特徴とするものである。
【０００７】
また、上記の本発明に係る画像表示方法を実施するための本発明に係る画像表示装置は、
デジタルビデオ信号による画像を表示するディスプレイ装置と、
視点位置が設定されたとき、立体オブジェクトの３次元ポリゴン画像から、当該設定された視点位置から見た擬似３次元的な２次元画像データを作成する画像演算プログラムがインストールされており、その画像演算プログラムに従い、上記ディスプレイ装置に表示すべき、設定された視点位置に対応した立体オブジェクトの擬似３次元的な２次元画像の画像信号を発生させる画像演算装置と、
上記画像演算装置から得られた画像信号をディスプレイ装置への入力用ビデオ信号に変換し、ディスプレイ装置に供給する画像信号変換回路と、
を備えた、視点位置に対応した立体オブジェクトの擬似３次元的な２次元画像を表示する装置において、
下記（ｅ）項ないし（ｉ）項に記載の構成要素、即ち、
（ｅ）被写体となる観者の存在すべき基準位置へ向けられた第１カメラと、第１カメラの光軸上において第１カメラから距離ＤAの位置に第１カメラの光軸に対し４５°傾斜して設けられ、被写体からの光線を第１カメラへ透過させるハーフミラーと、上記第１カメラと同一の光学特性を有し、上記ハーフミラーで反射された被写体からの光線を受光するよう第１カメラの光軸と直交する光軸上においてハーフミラーから前記距離ＤAとは異なる値の距離ＤＢの位置に設けられた第２カメラと、を備え、撮影を指令する作動信号を受けたとき、上記第１及び第２カメラにより被写体を同時に撮影する複合カメラ装置と、
（ｆ）予めインストールされた画像サイズ調整プログラムを実行し、上記第１カメラにより撮影した画像サイズに、被写体から第１カメラまでの距離（Ｄ＋ＤA：ここでＤは、被写体からハーフミラーまでの距離）と被写体から第２カメラまでの距離（Ｄ＋ＤＢ）との比率Ｋを乗じることにより、第１カメラにより撮影した画像サイズと第２カメラにより撮影した画像サイズを同一サイズとする同一サイズ化演算回路と、
（ｇ）予めインストールされた画像ズレ検知プログラムを実行し、画像サイズが同一化された上記第１及び第２カメラによる撮影画像のズレδを検知するズレ検知回路と、
（ｈ）予めインストールされた視点位置算出プログラムを実行し、上記ズレδに基づき、観者の視点位置の前記基準位置からの移動量を算出し、当該移動量に基づき上記撮影時の観者の視点位置データを出力する視点位置算出回路と、
（ｉ）予めインストールされた作動制御プログラムを実行し、上記複合カメラ装置、同一サイズ化演算回路、ズレ検知回路及び視点位置算出回路を所定の短時間間隔で順次繰り返し作動させ、そのつど得られた観者の視点位置データを上記画像演算装置に入力させて、各視点位置に対応した立体オブジェクトの２次元画像を上記ディスプレイ装置に順次表示せしめる作動制御回路と、
を具備することを特徴とするものである。
【発明の効果】
【０００８】
上記の如き構成であると、２台のカメラで撮影された観者の頭部の画像のズレに基づいて、観者の視点位置が求められるので、３Ｄポリゴン画像からこの視点位置の移動に対応した擬似３次元的な２次元画像を容易に作成できる。
そのため、高度なセンサを用いることなく、また、特殊なコントローラや検知器を体に装着したり、それらを操作したりすることなく、擬似３次元的なリアルな映像表現が可能な表示方法及び装置を提供し得るものである。
【発明を実施するための最良の形態】
【０００９】
以下、図面を参照しつつ、本発明を実施するための最良の形態について説明する。
図１は、本発明に係る画像表示方法を実施する装置において用いられる複合カメラ装置の一実施例の概要を示す断面図、
図２は、本発明に係る画像表示方法の原理を示す説明図、
図３は、本発明に係る画像表示方法の実行ステップを示すフローチャート、
図４は、本発明に係る画像表示方法を実施する装置の回路構成の一実施例を示すブロック図、
図５は、通常の２次元画像と、擬似３次元画像とを比較して示す説明図、
図６は、本発明に係る画像表示方法による擬似３次元画像の表示形態を示す説明図である。
【００１０】
先ず、図５により、通常の２次元画像と、実際の立体オブジェクトの見え方とを比較して説明する。
図５中のＡ図及びＢ図に示したような２次元の表示面（ＣＲＴや液晶表示盤）に、ＣＨＲ１、ＣＨＲ２のような四角形が表示されているとする。このとき、表示面は２次元的な「面」であるため、ＣＨＲ１とＣＨＲ２を見ている観者の視線間にＢ図に示すような角度差が生じていても、厚みを持たない四角形が画面に表示されるだけとなる。
しかしながら、図５のＣ図のように、テーブルの上に立方体を置いた場合、実際に見えるのは、中央の立方体については、Ａ１で示すような奥行きのある擬似３次元的な図形であり、右側の立方体については、Ｂ１で示すような右奥方向へ斜めに奥行きのある擬似３次元的な図形となる。
【００１１】
そこで、本発明においては、図６に示す如く、２台のカメラＡ及びＢで観者の頭部を撮影し、その撮影した画像データを元に、観者の視点位置を求めるようにする。
次いで、あらかじめ用意された例えば図５のＣ図に示すような立方体の３次元ポリゴンデータについて、上記で求めた視点位置を基準として画像処理を行い、図５のＣ図にＡ１、Ｂ１で示すような観者の視点位置の変化に伴う奥行き感のある擬似３次元的な画像の表示を可能とするものである。
【００１２】
以下、図１〜図４を参照しつつ、本発明の構成について具体的に説明する。
図１は、本発明に係る画像表示方法を実施する装置において用いられる複合カメラ装置の一実施例を示しており、この複合カメラ装置１は、２台のカメラＡ及びＢを有し、これらのカメラは、ハーフミラーＭを介することで、同一光軸上にありながら、被写体である観者Ｐから互いに異なった距離に配置されている。
即ち、第１カメラＡは、被写体となる観者Ｐの存在すべき基準位置へ向けて配置される。
ハーフミラーＭは、第１カメラの光軸ＯA上において第１カメラから距離ＤAの位置に、第１カメラの光軸に対し４５°傾斜して設けられ、被写体Ｐからの光線を第１カメラへ向けて透過させる。
第２カメラＢは、第１カメラＡと同一の光学特性を有し、ハーフミラーＭで反射された被写体Ｐからの光線を受光するよう第１カメラの光軸ＯAと直交する光軸ＯB上においてハーフミラーＭから前記距離ＤAとは異なる値の距離ＤＢの位置に設けられる。
これらのカメラＡ及びＢは、後述する作動制御回路２０１ｅ（図４）からの作動信号により、観者Ｐを同時に撮影するようになっている。
このような２台のカメラによる同時撮影は、観者Ｐの視点移動をなるべく忠実にフォローし、また、表示される画像の動画としての動きが滑らかとなるように、通常の動画の駒送りと同様に、短かい時間間隔（望ましくは、１／２４秒程度の間隔）で連写し続けるようにして行なわれる。
【００１３】
次に、上記の如くしてカメラＡ及びＢにより同時撮影された観者Ｐの頭部の画像から、観者Ｐ（視点位置）の移動量（カメラに対する移動角度等）を検知する原理について、図２を参照しつつ説明する。
なお、説明を分かりやすくするため、ハーフミラーＭを介して観者Ｐの頭部を撮影するカメラＢについては、カメラＡの光軸上に重ねて描いてある。
図２（１）のように、カメラＡ及びＢに対して、観者Ｐがカメラの光軸と同一線上（基準位置）にある場合には、撮影済みの両画像の一方の画像サイズ（形状）に、観者ＰからカメラＡまでの距離（Ｄ＋ＤA）とカメラＢ（Ｄ＋ＤＢ）までの距離の比率Ｋを乗じる補正を行なえば、両画像のサイズは同じになり、両画像は座標上の同じ位置で、ズレることなく重なり合うものである。
【００１４】
しかしながら、図２（２）のように、カメラＡ及びＢに対して、観者Ｐがカメラの光軸からオフセットした場合（観者Ｐが基準位置から移動した場合）には、図中の矢印で示すように、カメラＡとカメラＢとでは、観者Ｐに対する角度が異なり、そのため両カメラの撮像面における撮影領域にズレを生じることになる。
そのため、図２（１）の場合と同様に画像サイズの補正を行ない両カメラによる撮影画像のサイズを同一にしたとしても、両画像が座標上の同じ位置で重なり合うことはなく、ズレδを生じることになる。
そこで、これらの両画像が重なるように、どちらかの画像をＸＹ座標上で移動させる操作を行ない、その移動量δを測れば、観者Ｐ（視点位置）の基準位置からの移動量（角度等）を求めることができる。
この求められた視点位置に基づき、画像演算プログラムにより前記立方体の３次元ポリゴン画像から２次元画像を作成すれば、図５のＣ図又は図６に示したような擬似３次元的な２次元画像を作成、表示できるものである。
【００１５】
以上の操作を毎秒２４回程度繰り返し行なうことにより、所望の立体オブジェクトを観者の視点位置の移動に追従した円滑な擬似３次元的な動画として表示することができる。
【００１６】
なお、上記画像処理において、カメラＡ及びＢで撮影した画像のサイズの同一化補正を行なう必要があるのは、図１に示す如く、被写体（観者の頭部）からカメラＡまでの距離（Ｄ＋ＤA）とカメラＢまでの距離（Ｄ＋ＤＢ）とを異ならせてあるため、両カメラで撮影された画像には遠近差によるサイズの差が生じ、両画像を重ね合わせる際には、同一サイズ化する必要があるためである。
【００１７】
以上を整理すれば、本発明の擬似３次元的な画像の表示方法は、以下のステップを繰り返すことにより構成される。
なお、これを要約して、図３にフローチャートで描いてある。
（ａ）カメラＡ及びＢによる同時自動撮影ステップ
前記複合カメラ装置１の第１カメラＡ及び第２カメラＢにより観者の頭部を同時に自動撮影するステップである。
（ｂ）両カメラにより撮影した画像サイズを同一化するステップ
予めインストールされた画像サイズ調整プログラムを実行し、上記第１カメラにより撮影した画像サイズに、被写体から第１カメラまでの距離（Ｄ＋ＤA：ここでＤは、被写体からハーフミラーまでの距離）と被写体から第２カメラまでの距離（Ｄ＋ＤＢ）との比率Ｋを乗じることにより、第１カメラにより撮影した画像サイズと第２カメラにより撮影した画像サイズを同一サイズとするステップである。
（ｃ）両カメラにより撮影した画像間のズレδを検知するステップ
予めインストールされた画像ズレ検知プログラムを実行し、画像サイズが同一化された上記第１及び第２カメラによる撮影画像を重ね合わせてみて、ズレδを検知するステップである。
（ｄ）撮影時の観者の視点位置を求めるステップ
予めインストールされた視点位置算出プログラムを実行し、上記ズレδに基づき、観者の視点位置の前記基準位置からの移動量を、望ましくは角度として算出し、当該移動量に基づき上記撮影時の観者の視点位置を求めるステップである。
（ｅ）求めた視点位置から見た立体オブジェクトの擬似３次元的な画像データを作成するステップ
視点位置が設定されたとき、立体オブジェクトの３次元ポリゴン画像から、当該設定された視点位置から見た擬似３次元的な２次元画像データを作成する画像演算プログラムを実行することにより、撮影時の観者の視点位置に対応した立体オブジェクトの擬似３次元的な２次元画像データを作成するステップである。
（ｆ）ディスプレイ装置に表示するステップ
上記ステップで得られた観者の視点位置に対応した擬似３次元的な２次元画像データにより、当該画像をディスプレイ装置に表示するステップである。
（ｇ）上記ａからｆまでのステップを短時間間隔で繰り返すステップ
上記ａからｆまでのステップを約１／２４秒間で完了し、同様の操作を繰り返し行なうことにより、観者の視点位置の移動に対応した立体オブジェクトの画像の動きを、１秒間に約２４コマ送りの擬似３次元的な動画として表示するステップである。
【００１８】
次に、図４を参照しつつ、上記本発明方法を実施するための本発明装置について説明する。
図４中、１は、前記の如く２台のカメラＡ及びＢを備えた複合カメラ装置、２は中央制御装置、３はディスプレイ装置である。
中央制御装置２中において、２０１はＣＰＵ等から成る演算装置、２０２はクロック回路、２０３はハードディスクドライブ等から成る記憶装置、２０４はＲＯＭ、２０５はＲＡＭ、２０６は画像信号変換回路、２０７データバス、２０８はＩ／Ｏポートである。
【００１９】
複合カメラ装置１は、前記の如く、その２台のカメラＡ及びＢにより観者の頭部を同時に撮影し、撮影された画像データを中央制御装置２へ送出するようになっている。
中央制御装置２は、その記憶装置２０３にインストールされた画像演算プログラムを、ＣＰＵ等から成る演算装置２０１等で実行することにより、観者の視点位置に対応した擬似３次元的な２次元画像データを発生させる機能を有する。
ディスプレイ装置３は、液晶表示盤等から成るデジタルビデオ信号による映像表示器である。
なお、図４には、本発明に係る擬似３次元的な画像を表示するための回路要素のみが示されており、本発明の表示装置が例えばゲーム装置に組み込まれた場合におけるゲーム装置関連の回路要素は、省略されている。
【００２０】
中央制御装置２における演算装置２０１はＣＰＵ等から成り、記憶装置２０３にインストールされたコンピュータープログラムに従い、複合カメラ装置１から入力される観者の頭部の画像データから観者の視点位置を求め、これに基づき擬似３次元的な画像データを出力する機能を有する。
クロック回路２０２は、ゲーム機中の各種デジタル演算処理のためのベースとなるクロックパルスを発振する回路であり、各種の時間管理等を行うためにも重要な役割を果たすものである。
【００２１】
記憶装置２０３には、本発明における観者の視点位置に対応した擬似３次元的な画像表示のための画像演算プログラムや、表示すべき各種立体オブジェクトの３Ｄポリゴン画像データ等がインストールされている。
【００２２】
ＲＯＭ２０４には、装置全体の管理データ、装置内の各機器の初期設定データ、等々が記録されている。
ＲＡＭ２０５は、演算装置２０１の動作に必要なデータの授受を演算装置２０１との間で行なう。
画像信号変換回路２０６は、演算装置２０１における画像演算装置２０１ａで得られた画像信号をディスプレイ装置３への入力用ビデオ信号に変換し、ディスプレイ装置３に供給する。
データバス２０７は、上記各種回路間のデータ伝送線路である。
Ｉ／Ｏポート２０８は、複合カメラ装置１と中央制御装置２とを接続するインターフェイスである。
【００２３】
以下、中央制御装置２における演算装置２０１の構成について説明する。
同一サイズ化演算回路２０１ｂは、複合カメラ装置１から入力された第１カメラＡ及び第２カメラＢの画像データに対して、両画像の画像サイズを同一サイズ化する画像演算処理を行なう。
即ち、予めインストールされた画像サイズ調整プログラムを実行し、第１カメラにより撮影した画像サイズに、被写体から第１カメラまでの距離（Ｄ＋ＤA）と被写体から第２カメラまでの距離（Ｄ＋ＤＢ）との比率Ｋを乗じることにより、第１カメラにより撮影した画像サイズと第２カメラにより撮影した画像サイズを同一サイズとする演算処理を行なう。
ズレ検知回路２０１ｃは、予めインストールされた画像ズレ検知プログラムを実行し、画像サイズが同一化された上記第１及び第２カメラによる撮影画像のズレδを検知する。
視点位置算出回路２０１ｄは、予めインストールされた視点位置算出プログラムを実行し、上記ズレδに基づき、観者の視点位置の前記基準位置からの移動量を、通常は角度として算出し、当該移動量に基づき上記撮影時の観者の視点位置データを出力する。
【００２４】
画像演算装置２０１ａには、視点位置が設定されたとき、立体オブジェクトの３次元ポリゴン画像から、当該設定された視点位置から見た擬似３次元的な２次元画像データを作成する画像演算プログラムがインストールされており、視点位置算出回路２０１ｄにおいて観者の視点位置が求められたとき、上記画像演算プログラムに従い、設定された視点位置に対応した立体オブジェクトの擬似３次元的な２次元画像の画像信号を発生させる。
画像信号変換回路２０６は、上記画像演算装置２０１ａで得られた画像信号をディスプレイ装置３への入力用ビデオ信号に変換し、ディスプレイ装置に供給する。
作動制御回路２０１ｅは、予めインストールされた作動制御プログラムを実行し、上記複合カメラ装置１、同一サイズ化演算回路２０１ｂ、ズレ検知回路２０１ｃ、視点位置算出回路２０１ｄ及び画像演算装置２０１ａを順次作動させる指令信号を、所定の短時間間隔（望ましくは、１／２４秒程度）で繰り返し発信し、そのつど得られた立体オブジェクトの擬似３次元的な２次元画像データを上記ディスプレイ装置に順次送って、観者の視点位置から見た擬似３次元的な動画として表示せしめる。
なお、これらの画像演算装置２０１ａ、同一サイズ化演算回路２０１ｂ、ズレ検知回路２０１ｃ、視点位置算出回路２０１ｄ及び作動制御回路２０１ｅは、記憶装置２０３から読み出されたコンピュータプログラムが、演算装置２０１のハードウェア資源（ＣＰＵ等）と協働することによって構築されるものである。
以上の構成を有する本発明に係る表示装置を用いることにより、前記の本発明方法を好適に実施でき、これにより、観者の視点位置の移動に対応した立体オブジェクトの擬似３次元的なリアルな動画表現が可能となる。
【００２５】
なお、本発明は上記の実施例に限定されるものではなく、その目的の範囲内において、上記の説明から当業者が容易に想到し得るすべての変更実施例を包摂するものである。
【産業上の利用可能性】
【００２６】
本発明は上記の如く構成され、２台のカメラで撮影された観者の頭部の画像のズレに基づいて、観者の視点位置が求められるので、この視点位置の移動に対応した擬似３次元的な２次元画像を容易に作成できる。そのため、高度なセンサを用いることなく、また、特殊なコントローラや検知器を体に装着したり、それらを操作したりすることなく、擬似３次元的なリアルな映像表現が可能な表示方法及び装置を提供し得るものであるから、産業上多大の利用可能性を有するものである。
【図面の簡単な説明】
【００２７】
【図１】本発明に係る画像表示方法を実施する装置において用いられる複合カメラ装置の一実施例の概要を示す断面図である。
【図２】本発明に係る画像表示方法の原理を示す説明図である。
【図３】本発明に係る画像表示方法の実行ステップを示すフローチャートである。
【図４】本発明に係る画像表示方法を実施する装置の回路構成の一実施例を示すブロック図である。
【図５】通常の２次元画像と、擬似３次元画像とを比較して示す説明図である。
【図６】本発明に係る画像表示方法による擬似３次元画像の表示形態を示す説明図である。
【符号の説明】
【００２８】
１ 複合カメラ装置
Ａ，Ｂ カメラ
Ｍ ハーフミラー
２ 中央制御装置
２０１ 演算装置
２０１ａ 画像演算装置
２０１ｂ 同一サイズ化演算装置
２０１ｃ ズレ検知回路
２０１ｄ 視点位置算出回路
２０１ｅ 作動制御回路
２０２ クロック回路
２０３ 記憶装置
２０４ ＲＯＭ
２０５ ＲＡＭ
２０６ 画像信号変換回路
２０７ データバス
２０８ Ｉ／Ｏポート
３ ディスプレイ装置
【特許請求の範囲】
【請求項１】
視点位置が設定されたとき、立体オブジェクトの３次元ポリゴン画像から、当該設定された視点位置から見た２次元画像データを作成する画像演算プログラムを実行することにより、視点位置に対応した立体オブジェクトの擬似３次元的な２次元画像を表示する方法において、
下記（ａ）項ないし（ｄ）項に記載のステップを実行することにより、当該２次元画像の観者の視点位置を所定の短時間間隔で順次求め、これらの視点位置を上記画像演算プログラムに順次設定することにより、当該観者の視点位置に対応した立体オブジェクトの擬似３次元的な２次元画像を順次表示することを特徴とする画像表示方法。
（ａ）被写体となる観者の存在すべき基準位置へ向けられた第１カメラ（Ａ）と、第１カメラの光軸（ＯA）上において第１カメラから距離ＤAの位置に第１カメラの光軸に対し４５°傾斜して設けられ、被写体からの光線を第１カメラへ透過させるハーフミラー（Ｍ）と、上記第１カメラと同一の光学特性を有し、上記ハーフミラーで反射された被写体からの光線を受光するよう第１カメラの光軸（ＯA）と直交する光軸（ＯB）上においてハーフミラーから前記距離ＤAとは異なる値の距離ＤＢの位置に設けられた第２カメラ（Ｂ）と、を備えた複合カメラ装置（１）の当該第１及び第２カメラにより被写体を同時に自動撮影する両カメラ同時撮影ステップ。
（ｂ）予めインストールされた画像サイズ調整プログラムを実行し、上記第１カメラにより撮影した画像サイズに、被写体から第１カメラまでの距離（Ｄ＋ＤA：ここでＤは、被写体からハーフミラーまでの距離）と被写体から第２カメラまでの距離（Ｄ＋ＤＢ）との比率Ｋを乗じることにより、第１カメラにより撮影した画像サイズと第２カメラにより撮影した画像サイズを同一サイズとする同一サイズ化ステップ。
（ｃ）予めインストールされた画像ズレ検知プログラムを実行し、画像サイズが同一化された第１及び第２カメラによる撮影画像のズレδを検知するステップ。
（ｄ）予めインストールされた視点位置算出プログラムを実行し、上記ズレδに基づき、観者の視点位置の前記基準位置からの移動量を算出し、当該移動量に基づき上記撮影時の観者の視点位置を求めるステップ。
【請求項２】
デジタルビデオ信号による画像を表示するディスプレイ装置（３）と、
視点位置が設定されたとき、立体オブジェクトの３次元ポリゴン画像から、当該設定された視点位置から見た擬似３次元的な２次元画像データを作成する画像演算プログラムがインストールされており、その画像演算プログラムに従い、上記ディスプレイ装置に表示すべき、設定された視点位置に対応した立体オブジェクトの擬似３次元的な２次元画像の画像信号を発生させる画像演算装置（２０１ａ）と、
上記画像演算装置から得られた画像信号をディスプレイ装置への入力用ビデオ信号に変換し、ディスプレイ装置に供給する画像信号変換回路（２０６）と、
を備えた、視点位置に対応した立体オブジェクトの擬似３次元的な２次元画像を表示する装置において、
下記（ｅ）項ないし（ｉ）項に記載の構成要素を具備することを特徴とする上記の２次元画像表示装置。
（ｅ）被写体となる観者の存在すべき基準位置へ向けられた第１カメラ（Ａ）と、第１カメラの光軸（ＯA）上において第１カメラから距離ＤAの位置に第１カメラの光軸に対し４５°傾斜して設けられ、被写体からの光線を第１カメラへ透過させるハーフミラー（Ｍ）と、上記第１カメラと同一の光学特性を有し、上記ハーフミラーで反射された被写体からの光線を受光するよう第１カメラの光軸（ＯA）と直交する光軸（ＯB）上においてハーフミラーから前記距離ＤAとは異なる値の距離ＤＢの位置に設けられた第２カメラ（Ｂ）と、を備え、撮影を指令する作動信号を受けたとき、上記第１及び第２カメラにより被写体を同時に撮影する複合カメラ装置（１）。
（ｆ）予めインストールされた画像サイズ調整プログラムを実行し、上記第１カメラにより撮影した画像サイズに、被写体から第１カメラまでの距離（Ｄ＋ＤA：ここでＤは、被写体からハーフミラーまでの距離）と被写体から第２カメラまでの距離（Ｄ＋ＤＢ）との比率Ｋを乗じることにより、第１カメラにより撮影した画像サイズと第２カメラにより撮影した画像サイズを同一サイズとする同一サイズ化演算回路（２０１ｂ）。
（ｇ）予めインストールされた画像ズレ検知プログラムを実行し、画像サイズが同一化された上記第１及び第２カメラによる撮影画像のズレδを検知するズレ検知回路（２０１ｃ）。
（ｈ）予めインストールされた視点位置算出プログラムを実行し、上記ズレδに基づき、観者の視点位置の前記基準位置からの移動量を算出し、当該移動量に基づき上記撮影時の観者の視点位置データを出力する視点位置算出回路（２０１ｄ）。
（ｉ）予めインストールされた作動制御プログラムを実行し、上記複合カメラ装置（１）、同一サイズ化演算回路（２０１ｂ）、ズレ検知回路（２０１ｃ）及び視点位置算出回路（２０１ｄ）を所定の短時間間隔で順次繰り返し作動させ、そのつど得られた観者の視点位置データを上記画像演算装置（２０１ａ）に入力させて、各視点位置に対応した立体オブジェクトの２次元画像を上記ディスプレイ装置に順次表示せしめる作動制御回路（２０１ｅ）。
【請求項１】
視点位置が設定されたとき、立体オブジェクトの３次元ポリゴン画像から、当該設定された視点位置から見た２次元画像データを作成する画像演算プログラムを実行することにより、視点位置に対応した立体オブジェクトの擬似３次元的な２次元画像を表示する方法において、
下記（ａ）項ないし（ｄ）項に記載のステップを実行することにより、当該２次元画像の観者の視点位置を所定の短時間間隔で順次求め、これらの視点位置を上記画像演算プログラムに順次設定することにより、当該観者の視点位置に対応した立体オブジェクトの擬似３次元的な２次元画像を順次表示することを特徴とする画像表示方法。
（ａ）被写体となる観者の存在すべき基準位置へ向けられた第１カメラ（Ａ）と、第１カメラの光軸（ＯA）上において第１カメラから距離ＤAの位置に第１カメラの光軸に対し４５°傾斜して設けられ、被写体からの光線を第１カメラへ透過させるハーフミラー（Ｍ）と、上記第１カメラと同一の光学特性を有し、上記ハーフミラーで反射された被写体からの光線を受光するよう第１カメラの光軸（ＯA）と直交する光軸（ＯB）上においてハーフミラーから前記距離ＤAとは異なる値の距離ＤＢの位置に設けられた第２カメラ（Ｂ）と、を備えた複合カメラ装置（１）の当該第１及び第２カメラにより被写体を同時に自動撮影する両カメラ同時撮影ステップ。
（ｂ）予めインストールされた画像サイズ調整プログラムを実行し、上記第１カメラにより撮影した画像サイズに、被写体から第１カメラまでの距離（Ｄ＋ＤA：ここでＤは、被写体からハーフミラーまでの距離）と被写体から第２カメラまでの距離（Ｄ＋ＤＢ）との比率Ｋを乗じることにより、第１カメラにより撮影した画像サイズと第２カメラにより撮影した画像サイズを同一サイズとする同一サイズ化ステップ。
（ｃ）予めインストールされた画像ズレ検知プログラムを実行し、画像サイズが同一化された第１及び第２カメラによる撮影画像のズレδを検知するステップ。
（ｄ）予めインストールされた視点位置算出プログラムを実行し、上記ズレδに基づき、観者の視点位置の前記基準位置からの移動量を算出し、当該移動量に基づき上記撮影時の観者の視点位置を求めるステップ。
【請求項２】
デジタルビデオ信号による画像を表示するディスプレイ装置（３）と、
視点位置が設定されたとき、立体オブジェクトの３次元ポリゴン画像から、当該設定された視点位置から見た擬似３次元的な２次元画像データを作成する画像演算プログラムがインストールされており、その画像演算プログラムに従い、上記ディスプレイ装置に表示すべき、設定された視点位置に対応した立体オブジェクトの擬似３次元的な２次元画像の画像信号を発生させる画像演算装置（２０１ａ）と、
上記画像演算装置から得られた画像信号をディスプレイ装置への入力用ビデオ信号に変換し、ディスプレイ装置に供給する画像信号変換回路（２０６）と、
を備えた、視点位置に対応した立体オブジェクトの擬似３次元的な２次元画像を表示する装置において、
下記（ｅ）項ないし（ｉ）項に記載の構成要素を具備することを特徴とする上記の２次元画像表示装置。
（ｅ）被写体となる観者の存在すべき基準位置へ向けられた第１カメラ（Ａ）と、第１カメラの光軸（ＯA）上において第１カメラから距離ＤAの位置に第１カメラの光軸に対し４５°傾斜して設けられ、被写体からの光線を第１カメラへ透過させるハーフミラー（Ｍ）と、上記第１カメラと同一の光学特性を有し、上記ハーフミラーで反射された被写体からの光線を受光するよう第１カメラの光軸（ＯA）と直交する光軸（ＯB）上においてハーフミラーから前記距離ＤAとは異なる値の距離ＤＢの位置に設けられた第２カメラ（Ｂ）と、を備え、撮影を指令する作動信号を受けたとき、上記第１及び第２カメラにより被写体を同時に撮影する複合カメラ装置（１）。
（ｆ）予めインストールされた画像サイズ調整プログラムを実行し、上記第１カメラにより撮影した画像サイズに、被写体から第１カメラまでの距離（Ｄ＋ＤA：ここでＤは、被写体からハーフミラーまでの距離）と被写体から第２カメラまでの距離（Ｄ＋ＤＢ）との比率Ｋを乗じることにより、第１カメラにより撮影した画像サイズと第２カメラにより撮影した画像サイズを同一サイズとする同一サイズ化演算回路（２０１ｂ）。
（ｇ）予めインストールされた画像ズレ検知プログラムを実行し、画像サイズが同一化された上記第１及び第２カメラによる撮影画像のズレδを検知するズレ検知回路（２０１ｃ）。
（ｈ）予めインストールされた視点位置算出プログラムを実行し、上記ズレδに基づき、観者の視点位置の前記基準位置からの移動量を算出し、当該移動量に基づき上記撮影時の観者の視点位置データを出力する視点位置算出回路（２０１ｄ）。
（ｉ）予めインストールされた作動制御プログラムを実行し、上記複合カメラ装置（１）、同一サイズ化演算回路（２０１ｂ）、ズレ検知回路（２０１ｃ）及び視点位置算出回路（２０１ｄ）を所定の短時間間隔で順次繰り返し作動させ、そのつど得られた観者の視点位置データを上記画像演算装置（２０１ａ）に入力させて、各視点位置に対応した立体オブジェクトの２次元画像を上記ディスプレイ装置に順次表示せしめる作動制御回路（２０１ｅ）。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２００９−１２２８９５（Ｐ２００９−１２２８９５Ａ）
【公開日】平成２１年６月４日（２００９．６．４）
【国際特許分類】
【出願番号】特願２００７−２９５１８９（Ｐ２００７−２９５１８９）
【出願日】平成１９年１１月１４日（２００７．１１．１４）
【出願人】（３０６０１９１１１）株式会社タイトー (475)
【Ｆターム（参考）】
【公開日】平成２１年６月４日（２００９．６．４）
【国際特許分類】
【出願日】平成１９年１１月１４日（２００７．１１．１４）
【出願人】（３０６０１９１１１）株式会社タイトー (475)
【Ｆターム（参考）】
[ Back to top ]