立体映像呈示装置
【課題】 立体映像を自然かつ精緻に表現することができる立体映像呈示装置を提供すること。
【解決手段】 複数の画像呈示面２１，３１を備えた立体映像呈示装置１０を構成し、これらの画像呈示面２１，３１の画像呈示方式を互いに異なる方式とし、複数種類の画像呈示方式を組み合わせて立体映像の呈示を行うようにした。また、画像呈示面２１，３１で呈示される立体映像を構成する左眼用画像および右眼用画像は、左右の実写カメラ６０，７０の各撮像面６１，７１の傾斜角度（ＣＧ画像の場合には、左右の仮想カメラの各撮像面の傾斜角度パラメータ）を、画像呈示面２１の傾斜角度θや画像呈示面３１の傾斜角度とそれぞれ一致または略一致させて撮影（ＣＧ画像の場合には、生成）する。
【解決手段】 複数の画像呈示面２１，３１を備えた立体映像呈示装置１０を構成し、これらの画像呈示面２１，３１の画像呈示方式を互いに異なる方式とし、複数種類の画像呈示方式を組み合わせて立体映像の呈示を行うようにした。また、画像呈示面２１，３１で呈示される立体映像を構成する左眼用画像および右眼用画像は、左右の実写カメラ６０，７０の各撮像面６１，７１の傾斜角度（ＣＧ画像の場合には、左右の仮想カメラの各撮像面の傾斜角度パラメータ）を、画像呈示面２１の傾斜角度θや画像呈示面３１の傾斜角度とそれぞれ一致または略一致させて撮影（ＣＧ画像の場合には、生成）する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体映像を呈示する立体映像呈示装置に係り、例えば、仏像等の文化財を立体的に表現して観察者に呈示する装置、観察者の動きや操作に応じて立体映像の呈示を行う双方向性を備えた娯楽装置、医学教育用の立体映像システム等に利用できる。
【背景技術】
【０００２】
従来の立体映像は、観察者の前方に設置された画像呈示面に表示され、その前後に対象を再生することで奥行き感を演出していた。これに対し、画像呈示面を水平に設置し、その垂直方向に立体像を再生する水平表示型の立体映像は、通常の立体映像とは異なり、「高さ」の表現が可能である。本願の発明者らは、１９９３年より立体映像の水平表示に注目した研究開発を行い、特許出願（特許文献１参照）や医学教育分野への応用等（例えば、非特許文献１，２参照）に取り組んできた。
【０００３】
ところで、画像呈示面を水平に、すなわち地面と平行に設置し、立体映像を斜め上方から観察する場合には、観察者の視点を想定し、呈示面全域の視差量の平均が０になるように調整したり、台形補正によりパースペクティブ（Perspective）を変化させる等、適正な立体像が再生されるように視差量を設定する必要がある。また、この視差量の設定方法、特にパースペクティブを変化させる方法については、国内外で幾つかの提案がなされている（特許文献２〜６参照）。
【０００４】
例えば、図１２および図１３に示すように、水平面９００上に描かれた被写体としての正方形９０１について、左眼用および右眼用の実写カメラ９０２，９０３を用いて平行法により撮影を行うものとする。ここで、左右の実写カメラ９０２，９０３の各撮像面９０４，９０５は、図示の如く、通常、カメラの撮影方向（レンズの光軸方向）に対して直角に配置されているので、これらの撮像面９０４，９０５で撮像される画像は、これらの撮像面９０４，９０５と平行な面、つまりカメラの撮影方向に対して直角な投影面９０６に投影された状態の画像となり、被写体の存在する空間においては、水平面ではなく、斜めの面が投影面９０６となる。従って、正方形９０１は、図１３に示すように、左眼用画像および右眼用画像において、高さが縮み、かつ、左右方向に歪んだ台形９０７，９０８の状態に写り、正方形９０１の遠方側の辺の左端のＡ点は、台形９０７，９０８のＡ1L点およびＡ1R点に写り、正方形９０１の中央のＢ点は、台形９０７，９０８のＢ1L点およびＢ1R点に写り、正方形９０１の近方側の辺の右端のＣ点は、台形９０７，９０８のＣ1L点およびＣ1R点に写る。
【０００５】
一般に、平行法で撮影すると、図１２および図１３に示すように、左眼用画像では、被写体が右側に写り、右眼用画像では、同一の被写体が左側に写るので、平行法で撮影された左眼用画像および右眼用画像を何らシフトすることなく同一の画像呈示面上で表示すると、左右の視線が交差になり、立体像が全体的に画像呈示面の手前側（観察者側）に再生される。従って、平行法で撮影した場合には、左眼用画像および右眼用画像を同側方向にシフトし、台形９０７のＢ1L点と台形９０８のＢ1R点とを一致させ、画像呈示面の全体的な視差量が０になるように調整する。
【０００６】
ところが、このように同側方向へのシフトで視差量を調整しても、撮影された左眼用画像および右眼用画像を、水平に設定された画像呈示面９０９で表示すると、これを観察者の左右の眼９１０で斜め上方から観察した場合には、実写カメラ９０２，９０３による撮影の場合と同様に、投影面９１１に投影された状態の画像が、観察者の眼９１０に映る。従って、観察者の左右の眼９１０に映る像は、図１３に示すように、水平な画像呈示面９０９で表示された台形９０７，９０８が、より一層高さが縮み、かつ、より一層左右方向に歪んだ台形９１２，９１３の状態の像となる。
【０００７】
図１３において、台形９０７のＢ1L点と台形９０８のＢ1R点とを一致させたときの台形９０７のＡ1L点と台形９０８のＡ1R点との視差量ＳA1、および台形９０７のＣ1L点と台形９０８のＣ1R点との視差量ＳC1が、適正な立体像を再生するための視差量であるとすると、台形９１２のＢ2L点と台形９１３のＢ2R点とを一致させたときの台形９１２のＡ2L点と台形９１３のＡ2R点との視差量ＳA2は、適正な視差量ＳA1に比べて同側方向のずれ量が大きくなっているので、適正な立体像を再生した場合に比べ、Ａ点は、画像呈示面の奥側に再生されることになる。一方、台形９１２のＢ2L点と台形９１３のＢ2R点とを一致させたときの台形９１２のＣ2L点と台形９１３のＣ2R点との視差量ＳC2は、適正な視差量ＳC1に比べて交差方向のずれ量が大きくなっているので、適正な立体像を再生した場合に比べ、Ｃ点は、画像呈示面の手前側に再生されることになる。
【０００８】
以上のことを立体的な被写体で考えると、図１４および図１５のようになる。図１４に示すように、水平面９２０から垂直に立ち上がった被写体である４角柱９２１を、左眼用および右眼用の実写カメラにより斜め上方から撮影すると、左右の実写カメラの各撮像面９２２，９２３で撮像された左眼用画像および右眼用画像には、図１５に示すような高さの縮んだ４角柱９２４，９２５が写る。これは、前述した図１３の台形９０７，９０８に相当するものである。そして、これらの高さの縮んだ４角柱９２４，９２５が写っている左眼用画像および右眼用画像を、水平に設置された画像呈示面で表示すると、前述した図１３の場合と同様に、観察者の眼には、４角柱９２４，９２５の状態ではなく、４角柱９２４，９２５よりも、さらに高さの縮んだ４角柱が写る。これは、図１３の台形９１２，９１３に相当するものである。従って、観察者の眼には、実際には水平面９２０から垂直に立ち上がっている４角柱９２１が、画像呈示面の奥側方向に倒れて見えることになる。
【０００９】
これを解消するためには、カメラで撮像された左眼用画像および右眼用画像についてパースペクティブを無くす補正処理（台形を矩形にする演算処理）を行ってから、水平に設置された画像呈示面で表示する必要がある。このようなパースペクティブを無くす補正処理を行うと、図１５に示すように、高さの縮んだ４角柱９２４，９２５は、引き伸ばされるとともに上側の部分ほど幅を拡げられ、４角柱９２６，９２７の状態となる。この補正処理後の画像に写っている４角柱９２６，９２７は、図１４に示すように、４角柱９２１を水平面２０に投影した４角柱９２８，９２９に相当するものである。つまり、水平に設置された画像呈示面で表示する左眼用画像および右眼用画像は、水平面２０に投影された画像と同じ状態にすれば、適正な立体像が得られることになる。
【００１０】
なお、実写カメラで撮影する場合のみならず、コンピュータ・グラフィクス画像生成用の仮想カメラを用いてレンダリング処理を行って生成されたコンピュータ・グラフィクス画像を、水平に設置された画像呈示面で表示する場合にも同様なことがいえる。
【００１１】
また、以上においては、平行法による撮影の場合を説明したが、一般に、図１６に示すように交差法による撮影を行うと、図１７に示すようなキーストーン（Keystone）ひずみが生じることが知られている（非特許文献３、ｐ．１０８参照）。図１６において、左眼用および右眼用の実写カメラ９４０，９４１で交差法により被写体９４２を撮影すると、左右の実写カメラ９４０，９４１の各撮像面９４３，９４４で撮像される左眼用画像および右眼用画像は、これらの撮像面９４３，９４４と平行な面、すなわちカメラの光軸と直交する投影面９４５，９４６に投影される画像となる。従って、これらの左眼用画像および右眼用画像を、図１６中の二点鎖線で示すような観察者の前方に配置した画像呈示面９４７で立面表示すると、図１７に示すように画像呈示面９４７の周辺部で左右の画像がひずんで垂直方向のズレ（垂直視差という。）を生じ、視覚的な負担の原因となる。なお、ここでは、画像呈示面が立面であるものとして説明を行ったが、画像呈示面を水平とし、被写体を上方から撮影すると考えても同様であり、交差法による撮影を行えば、水平な画像呈示面で呈示される立体映像にはキーストーンひずみが生じる。
【００１２】
一方、両眼視差を利用した立体映像の呈示方式は、様々なものが考案されているが、未だ完全なものはないのが現状である。例えば、立体映像の裸眼呈示で用いられるレンティキュラ方式（非特許文献３、ｐ．７６−７７参照）では、２眼式では解像度は高くなるが視域が狭く、多眼式では視域は広くなるが解像度は低くなるという問題が生じる。
【００１３】
また、水平表示を含めた複数の画像呈示面を利用する立体映像呈示方式としては、前面（正面）および左右の側面での立面表示並びに床面での水平表示を行うようにした、イリノイ大学で発明されたＣＡＶＥ（Cave Automatic Virtual Environment）がその代表といえるが、画像呈示方式は、液晶シャッタメガネを用いた時分割方式のみで実施されている、すなわち全ての画像呈示面で同一の画像呈示方式が採用されているのが現状である。
【００１４】
【特許文献１】特開平７−２６１１１８号公報（請求項１、図１、要約）
【特許文献２】特開２００４−１７８５７９号公報（請求項１、図８）
【特許文献３】特開２００４−１７８５８１号公報（請求項１、図８、要約）
【特許文献４】特開２００４−２０６６７２号公報（図２３、要約）
【特許文献５】米国特許第６３８９２３６号明細書
【特許文献６】米国特許第６６１４４２７号明細書
【非特許文献１】河合隆史、野呂影勇、“外科手技教育と立体映像システム”、医科器械学、日本医科器械学会、１９９９年、Ｖｏｌ．６９、Ｎｏ．３、ｐ．１３０−１３４
【非特許文献２】河合隆史、野呂影勇、他、“バーチャルリアリティを用いた作業環境の収録と提示”、ヒューマンサイエンス、財団法人ヒューマンサイエンス振興財団、１９９７年、Ｖｏｌ．９、Ｎｏ．２、ｐ．５７−６３
【非特許文献３】河合隆史、田中見和著、“次世代メディアクリエータ入門［１］、立体映像表現”、初版、株式会社カットシステム、２００３年１２月１０日、ｐ．７６−７７、ｐ．１０８
【発明の開示】
【発明が解決しようとする課題】
【００１５】
前述したように水平に設置された画像呈示面で立体表示を行う場合に、従来より行われているパースペクティブを無くす補正処理（前述した特許文献２〜６参照）は、実写カメラやコンピュータ・グラフィクス画像生成用の仮想カメラを用いて画像を撮影または生成した後における立体映像に対する２次的な補正処理である。このため、複雑な演算処理を行わなければならず、演算処理の負荷が大きく、時間がかかるという問題がある。
【００１６】
また、パースペクティブを無くす補正処理は、水平表示を行う場合のみならず、画像呈示面が傾斜している場合にも、カメラの撮影方向がその画像呈示面に対して斜めになっている限りは必要となる。しかし、画像呈示面を傾斜させる場合についても、従来より行われているパースペクティブを無くす補正処理方法を応用することで、適正な立体像を再生することが可能になるかもしれないが、それは水平表示の場合と同様に、画像の撮影または生成後における２次的な補正処理に過ぎないため、抱える問題は、水平表示の場合と同じである。
【００１７】
従って、水平または傾斜した画像呈示面で立体映像を呈示する場合に、適正（自然）な立体像が再生されるように画像を撮影または生成することができるシステムの構築が望まれる。
【００１８】
さらに、前述したイリノイ大学のＣＡＶＥでは、水平な画像呈示面（床面）において歪みのない立体像がリアルタイムで生成されているが、仮想カメラによる撮影方法は、あくまでも平行法であるから、交差法による撮影でも適正な立体像が再生されるようなシステムの構築が望まれる。
【００１９】
そして、前述したように、両眼視差を利用した立体映像の呈示方式は、様々なものが考案されているが、未だ完全なものはない。メガネあり方式は勿論不完全であるといえるが、メガネの不要な裸眼方式においても、解像度を向上させるには視域を、視域を拡大するには解像度を、それぞれ犠牲にする必要がある。従って、こうした相反する要件を相互に補完し、解像度と視域を両立させることができる複合的なシステムの構築が望まれる。なお、前述したイリノイ大学のＣＡＶＥは、複数の画像呈示面を備えているが、画像呈示方式は１つ（液晶シャッタメガネを用いた時分割方式のみ）であるため、解像度と視域を両立させることはできない。
【００２０】
また、立体映像の観察者の眼または頭部の位置は、画像呈示面に対して常に相対的に固定された位置であるとは限らず、両者の相対的な関係は動的に変化する場合もある。すなわち、観察者の眼または頭部の位置を固定したままの状態で、画像呈示面を動かしてその傾斜を変化させたり、逆に、固定された画像呈示面に対し、観察者が近接または離隔する行動をとったり、あるいはこれらの動きを複合させれば、観察者に対して立体映像を呈示する際の環境は変化する。このような環境（画像呈示面の傾斜角度、観察者から画像呈示面までの視距離）の変化に対し、そのときの状況に応じて最適な立体映像を呈示するには、前述したパースペクティブを無くす補正処理またはそれに相当する処理、あるいは前述した解像度と視域との調整処理等を、再生時の環境に応じて行っていく必要が生じるが、そのような制御を行う立体映像呈示装置は、これまで存在しなかった。このため、立体映像の精緻かつ柔軟な表現が制約されているという問題があった。従って、観察者に対して一方的に立体映像を呈示するのではなく、観察者の動きや操作を入力し、観察者の動きや操作に応じて最適な立体映像を呈示することができるインタラクティブ性（双方向性）を備えた立体映像呈示装置を実現するためにも、再生時の環境（画像呈示面の傾斜角度や視距離）に応じた画像呈示制御を行うことができるシステムの構築が望まれる。
【００２１】
本発明の目的は、立体映像を自然かつ精緻に表現することができる立体映像呈示装置を提供するところにある。
【課題を解決するための手段】
【００２２】
本発明の立体映像呈示装置は、複数の画像呈示面を備えている場合と、１つの画像呈示面を備えている場合とに適用することができるので、先ず、前者について記載する。
【００２３】
＜複数の画像呈示面を備えている場合＞
【００２４】
本発明の立体映像呈示装置は、複数の画像呈示面を備え、これらの画像呈示面の各画像呈示方式の中には、複数種類の画像呈示方式が含まれ、これらの画像呈示方式のうちの少なくとも一種類は、立体映像呈示方式であることを特徴とするものである。
【００２５】
ここで、「複数種類の画像呈示方式が含まれ」とは、画像呈示面の個数が２つの場合には、２つの画像呈示面の画像呈示方式が互いに異なる方式であることを意味し、画像呈示面の個数が３つ以上の場合には、全ての画像呈示面の画像呈示方式が異なる方式であってもよく、あるいは一部に同じ画像呈示方式の画像呈示面が含まれていてもよい趣旨である。一部に同じ画像呈示方式の画像呈示面を含める場合とは、例えば、前面（正面、すなわち観察者に正対する面）、左右の側面（立面）、および床面（水平面）に略袋小路状に４つの画像呈示面を配置する場合（後述する図９参照）には、これらの４つの画像呈示面のうち、前面を第１の画像呈示方式（例えば、２眼式レンティキュラ方式）とし、左右の側面および床面を第２の画像呈示方式（例えば、多眼式レンティキュラ方式）としたり、あるいは、前面および左右の側面を第１の画像呈示方式（例えば、２眼式レンティキュラ方式）とし、床面を第２の画像呈示方式（例えば、多眼式レンティキュラ方式）としたり、さらには、前面を第１の画像呈示方式（例えば、２眼式レンティキュラ方式）とし、左右の側面を第２の画像呈示方式（例えば、多眼式（８眼式等）レンティキュラ方式）とし、床面を第３の画像呈示方式（例えば、より眼数の多い多眼式（１６眼式等）レンティキュラ方式）とする場合等が含まれる。
【００２６】
また、「画像呈示方式」には、立体視の映像を呈示する立体映像呈示方式のみならず、平面視の映像を呈示する平面映像呈示方式も含まれる。従って、本発明で「画像呈示方式のうちの少なくとも一種類は、立体映像呈示方式である」とされているのは、複数の画像呈示面の全ての画像呈示方式が立体映像呈示方式でもよく、立体映像呈示方式および平面映像呈示方式が組み合わされていてもよい趣旨である。そして、立体映像呈示方式には、メガネ式として、例えば、偏光メガネ式（２台のプロジェクタにより形成された互いに偏光方向の異なる光をスクリーン上で重ねる方式、マイクロポール方式等）、液晶シャッタ式等が含まれ、メガネなし方式として、例えば、レンティキュラ方式（２眼式レンティキュラ方式、多眼式（３眼式、８眼式等）レンティキュラ方式等）、パララックスバリア方式（イメージスプリッタ方式、ダブルイメージスプリッタ方式等）、バックライト分割式、インテグラル・フォトグラフィ方式（ＩＰ方式）等が含まれる。なお、本発明では、例えば、レンティキュラ方式については、２眼式レンティキュラ方式と多眼式（３眼式、８眼式等）レンティキュラ方式の如く、眼数が異なる場合には、異なる画像呈示方式であるものとする。他の方式についても同様であり、本発明における画像呈示方式は、細分化された方式であるものとする。
【００２７】
さらに、「画像呈示面」には、観察者の頭部に装着されるヘッドマウントディスプレイ（ＨＭＤ）を構成する画面も含まれる。
【００２８】
そして、「画像呈示面」には、ディスプレイ画面（プロジェクタによる映写が行われる大型または小型スクリーンの画面、小型モニタの画面、携帯電話機や携帯情報端末等の携帯機器のディスプレイ画面を含む。）のみならず、印刷物による画像呈示面（印刷された実写画像、印刷されたコンピュータ・グラフィクス画像、印刷されたアニメーション画像等を呈示する面）も含まれ、印刷物による画像呈示面とする場合にも、立体映像呈示方式および平面映像呈示方式のいずれも採用することができる。
【００２９】
このような本発明の立体映像呈示装置においては、複数の画像呈示面で、異なる画像呈示方式により画像を表示（印刷を含む。）することにより、複数種類の画像呈示方式を組み合わせて、互いの方式の欠点を補完するような立体映像の呈示が可能となる。例えば、解像度と視域を両立させる立体映像の呈示が可能となる。このため、立体映像を自然かつ精緻に表現することができるようになり、これにより前記目的が達成される。
【００３０】
また、前述した立体映像呈示装置において、複数の画像呈示面の各画像呈示方式の中には、複数種類の立体映像呈示方式が含まれることが望ましい。
【００３１】
ここで、「複数種類の立体映像呈示方式が含まれる」とは、全ての画像呈示面の画像呈示方式がそれぞれ異なる立体映像呈示方式でもよく、あるいは一部に同じ立体映像呈示方式の画像呈示面が含まれていてもよく、さらには一部に平面映像呈示方式の画像呈示面が含まれていてもよい趣旨である。
【００３２】
このように複数種類の立体映像呈示方式を含める構成とした場合には、複数の画像呈示面で、異なる立体映像呈示方式により左眼用画像および右眼用画像を表示（印刷を含む。）することにより、複数種類の立体映像呈示方式を組み合わせて、互いの方式の欠点を補完するような立体映像の呈示が可能となる。このため、立体映像を、より自然かつ精緻に表現することができるようになり、これにより前記目的が達成される。
【００３３】
さらに、前述した立体映像呈示装置において、複数の画像呈示面のうちの少なくとも１つの画像呈示面で呈示される画像は、実写カメラの撮像面の傾斜角度またはコンピュータ・グラフィクス画像生成用の仮想カメラの撮像面の傾斜角度パラメータを、各画像呈示面の傾斜角度と一致または略一致させて撮影または生成された画像であることが望ましい。
【００３４】
ここで、上記のようにして撮像面の傾斜角度または傾斜角度パラメータを調整して撮影または生成された画像を呈示する画像呈示面の画像呈示方式が両眼視差を利用した立体映像呈示方式である場合には、この画像呈示面で呈示される左眼用画像および右眼用画像は、左右の実写カメラの各撮像面の傾斜角度またはコンピュータ・グラフィクス画像生成用の左右の仮想カメラの各撮像面の傾斜角度パラメータを、この画像呈示面の傾斜角度とそれぞれ一致または略一致させて撮影または生成された画像とする。
【００３５】
なお、ここでいう「実写カメラの撮像面の傾斜角度」または「コンピュータ・グラフィクス画像生成用の仮想カメラの撮像面の傾斜角度パラメータ」とは、実写カメラや仮想カメラの筐体に対する撮像面の相対的な傾斜角度ではなく、被写体（コンピュータ・グラフィクスではモデル）の存在する空間にけおる撮像面の絶対的な傾斜角度をいう。従って、「画像呈示面の傾斜角度とそれぞれ一致または略一致させて」とは、撮像面を画像呈示面と平行または略平行に配置するという意味である。以下の発明においても同様である。
【００３６】
このようにカメラの撮像面の傾斜角度を、画像呈示面の傾斜角度と一致または略一致させた状態で撮影または生成された画像を用いる構成とした場合には、画像呈示面で画像を表示（印刷を含む。）するにあたり、従来より行われていたパースペクティブを無くすための補正処理、すなわち実写カメラまたは仮想カメラによる画像の撮影または生成後に２次的に行う演算処理を省略することができ、カメラによる画像の撮影または生成を終えた時点で、パースペクティブのない画像を得て、これを画像呈示面で表示（印刷を含む。）することが可能となる。このため、より一層自然かつ精緻に表現された立体映像を得ることが可能となるうえ、前述した特許文献２〜６に記載されたパースペクティブを無くすための複雑な演算処理を行う必要がなくなるので、処理負担の軽減が図られる。
【００３７】
そして、カメラの撮像面の傾斜角度を、画像呈示面の傾斜角度と一致または略一致させた状態で撮影または生成された画像を用いる構成として、より具体的には、以下のような構成を挙げることができる。
【００３８】
すなわち、前述した立体映像呈示装置において、複数の画像呈示面のうちの少なくとも１つの画像呈示面は、実写カメラによりリアルタイムで撮影された実写画像を呈示し、かつ、傾斜角度を変更可能な構成とされ、実写カメラに傾斜角度を変更可能に設けられた撮像面と、この撮像面で撮像された実写画像を画像呈示面に表示する処理を行う画像表示処理手段と、撮像面を駆動して撮像面の傾斜角度を変化させる撮像面駆動手段と、画像呈示面の傾斜角度を検出する画像呈示面角度検出手段と、この画像呈示面角度検出手段による検出信号に基づき画像呈示面の傾斜角度と撮像面の傾斜角度とを一致または略一致させるための制御信号を生成して撮像面駆動手段へ送信する撮像面制御手段とを備えた構成とすることができる。
【００３９】
ここで、画像呈示面の画像呈示方式が両眼視差を利用した立体映像呈示方式である場合には、立体映像呈示用の左眼用画像および右眼用画像を撮影する左右の実写カメラのそれぞれに傾斜角度を変更可能な撮像面を設け、撮像面制御手段は、画像呈示面角度検出手段による検出信号に基づき、画像呈示面の傾斜角度と左右の実写カメラの各撮像面の傾斜角度とをそれぞれ一致または略一致させるための制御信号を生成して撮像面駆動手段へ送信する構成とする（例えば、後述する図１の前面に配置された画像呈示面の場合等）。なお、撮像面駆動手段は、左右の実写カメラのそれぞれに設けられて左右の実写カメラの各撮像面を別々に駆動する構成としてもよく、あるいは左右の実写カメラの撮像面をまとめて同時に駆動する構成としてもよい。
【００４０】
このように実写カメラに傾斜角度を変更可能な撮像面を設けるとともに、実写カメラによりリアルタイムで撮影された実写画像を呈示し、かつ、傾斜角度を変更可能な画像呈示面を設けた場合には、画像呈示面角度検出手段により、画像呈示面の傾斜角度を検出し、撮像面制御手段により、画像呈示面角度検出手段による検出信号に基づき画像呈示面の傾斜角度と撮像面の傾斜角度とを一致または略一致させるための制御信号を生成して撮像面駆動手段へ送信し、撮像面駆動手段により、撮像面制御手段からの制御信号を受信して撮像面を駆動して撮像面の傾斜角度を変化させ、画像表示処理手段により、傾斜角度調整後の撮像面で撮像された実写画像を画像呈示面に表示する処理を行う。このため、再生時の環境（画像呈示面の傾斜角度）に応じて撮像面の傾斜角度を変化させて画像を取得することが可能となるので、観察者に対し、適正な映像を呈示することが可能となる。特に、立体映像を呈示する場合には、ゆがみを除去した自然な立体像が再生される。また、撮像面の傾斜角度をリアルタイムで変化させて画像を取得することが可能となるので、柔軟かつ多様な映像を表現することが可能となり、特に、立体映像の表現では、それが顕著になる。
【００４１】
また、前述した立体映像呈示装置において、複数の画像呈示面のうちの少なくとも１つの画像呈示面は、コンピュータ・グラフィクス画像生成用の仮想カメラを用いてリアルタイムでレンダリング処理を行うことにより生成されたコンピュータ・グラフィクス画像を呈示し、かつ、傾斜角度を変更可能な構成とされ、コンピュータ・グラフィクス用のモデルに関する情報を記憶するモデル情報記憶手段と、画像呈示面の傾斜角度を検出する画像呈示面角度検出手段と、この画像呈示面角度検出手段による検出信号に基づきモデル情報記憶手段に記憶されたモデルに関する情報を用いて仮想カメラの撮像面の傾斜角度パラメータを画像呈示面の傾斜角度と一致または略一致させてレンダリング処理を行うことによりコンピュータ・グラフィクス画像を生成するコンピュータ・グラフィクス画像生成手段と、このコンピュータ・グラフィクス画像生成手段により生成されたコンピュータ・グラフィクス画像を画像呈示面に表示する処理を行う画像表示処理手段とを備えた構成とすることができる。
【００４２】
ここで、画像呈示面の画像呈示方式が両眼視差を利用した立体映像呈示方式である場合には、コンピュータ・グラフィクス画像生成手段は、左右の仮想カメラの各撮像面の傾斜角度パラメータを画像呈示面の傾斜角度とそれぞれ一致または略一致させてレンダリング処理を行うことにより左右のコンピュータ・グラフィクス画像を生成する構成とする（後述する図５参照）。
【００４３】
このように仮想カメラの撮像面の傾斜角度パラメータを設定できるようにするとともに、仮想カメラを用いてリアルタイムでレンダリング処理を行うことにより生成されたコンピュータ・グラフィクス画像を呈示し、かつ、傾斜角度を変更可能な画像呈示面を設けた場合には、画像呈示面角度検出手段により、画像呈示面の傾斜角度を検出し、コンピュータ・グラフィクス画像生成手段により、画像呈示面角度検出手段による検出信号に基づきモデル情報記憶手段に記憶されたモデルに関する情報を用いて仮想カメラの撮像面の傾斜角度パラメータを画像呈示面の傾斜角度と一致または略一致させてレンダリング処理を行うことによりコンピュータ・グラフィクス画像を生成し、画像表示処理手段により、コンピュータ・グラフィクス画像生成手段により生成されたコンピュータ・グラフィクス画像を画像呈示面に表示する処理を行う。このため、再生時の環境（画像呈示面の傾斜角度）に応じて撮像面の傾斜角度パラメータを変化させてＣＧ画像を生成することが可能となるので、観察者に対し、適正な映像を呈示することが可能となる。特に、立体映像を呈示する場合には、ゆがみを除去した自然な立体像が再生される。また、撮像面の傾斜角度パラメータをリアルタイムで変化させてＣＧ画像を生成することが可能となるので、柔軟かつ多様な映像を表現することが可能となり、特に、立体映像の表現では、それが顕著になる。
【００４４】
さらに、前述した立体映像呈示装置において、複数の画像呈示面のうちの少なくとも１つの画像呈示面は、実写カメラにより予め撮影された実写画像またはコンピュータ・グラフィクス画像生成用の仮想カメラを用いてレンダリング処理を行うことにより予め生成されたコンピュータ・グラフィクス画像を呈示する構成とされ、実写カメラの撮像面の傾斜角度または仮想カメラの撮像面の傾斜角度パラメータを、画像呈示面の傾斜角度と一致または略一致させて撮影または生成された画像を記憶する画像記憶手段と、この画像記憶手段に記憶された画像を画像呈示面に表示する処理を行う画像表示処理手段とを備えた構成とすることができる。
【００４５】
ここで、画像呈示面の画像呈示方式が両眼視差を利用した立体映像呈示方式である場合には、画像記憶手段に、左右の実写カメラの各撮像面の傾斜角度または左右の仮想カメラの各撮像面の傾斜角度パラメータを、この画像呈示面の傾斜角度とそれぞれ一致または略一致させて撮影または生成された左眼用画像および右眼用画像を記憶させ、画像表示処理手段は、これらの左眼用画像および右眼用画像をこの画像呈示面に表示する処理を行う構成とする（例えば、後述する図１の水平面に配置された画像呈示面の場合等）。
【００４６】
このように実写カメラにより予め撮影された実写画像または仮想カメラを用いてレンダリング処理を行うことにより予め生成されたコンピュータ・グラフィクス画像を呈示する画像呈示面を設けた場合には、画像記憶手段に、実写カメラの撮像面の傾斜角度または仮想カメラの撮像面の傾斜角度パラメータを、画像呈示面の傾斜角度と一致または略一致させて撮影または生成された画像を記憶させておき、画像表示処理手段により、画像記憶手段に記憶された画像を画像呈示面に表示する処理を行う。
【００４７】
そして、上記のように、リアルタイムで撮影または生成された画像を用いるのではなく、予め撮影または生成されて画像記憶手段に記憶されている画像を用いる構成とする場合において、複数の画像呈示面のうちの少なくとも１つの画像呈示面は、実写カメラにより予め撮影された実写画像またはコンピュータ・グラフィクス画像生成用の仮想カメラを用いてレンダリング処理を行うことにより予め生成されたコンピュータ・グラフィクス画像を呈示し、かつ、傾斜角度を変更可能な構成とされ、画像呈示面の傾斜角度を検出する画像呈示面角度検出手段を備え、画像記憶手段には、実写カメラの撮像面の傾斜角度または仮想カメラの撮像面の傾斜角度パラメータを変化させて撮影または生成された複数の画像が記憶され、画像表示処理手段は、画像呈示面角度検出手段による検出信号に基づき、画像記憶手段に記憶された複数の画像の中から、検出された画像呈示面の傾斜角度に対応する画像を選択または補間生成して画像呈示面に表示する処理を行う構成としてもよい。
【００４８】
ここで、「実写カメラの撮像面の傾斜角度または仮想カメラの撮像面の傾斜角度パラメータを変化させて撮影または生成された複数の画像」とは、一定の角度間隔（例えば、５度間隔、１０度間隔等）で撮影または生成された複数の画像でもよく、あるいは不均等な角度間隔で撮影または生成された複数の画像でもよい。
【００４９】
また、「画像呈示面の傾斜角度に対応する画像」とは、実写カメラの撮像面の傾斜角度または仮想カメラの撮像面の傾斜角度パラメータが、画像呈示面角度検出手段により検出された画像呈示面の傾斜角度と一致または略一致する状態で撮影または生成された画像である。なお、一致または略一致する状態で撮影または生成された画像が無い場合には、最も近い状態で撮影または生成された画像を選択してもよく、あるいは補間処理を行って対応する画像を生成してもよい。例えば、実写カメラの撮像面の傾斜角度または仮想カメラの撮像面の傾斜角度パラメータを１０度および２０度として撮影または生成された画像がある場合において、画像呈示面角度検出手段により検出された画像呈示面の傾斜角度が１３度であったときには、近い方の１０度で撮影または生成された画像を選択してもよく、あるいは１０度で撮影または生成された画像と２０度で撮影または生成された画像とを用いて補間画像を生成してもよい。この際、補間画像は、前後の角度（上記の例では、１０度および２０度）で撮影または生成された画像を用いて１次の線形補間を行って生成してもよく、あるいは前後の角度で撮影または生成された画像以外の画像を用いて２次以上の補間を行って生成してもよい。
【００５０】
さらに、呈示する画像が動画像（例えば、一定周期で同じ舞動作を繰り返す蝶々、一定周期で同じ回遊動作を繰り返す熱帯魚等の繰返画像、あるいは繰返しは無いがストーリー性を持って完結する説明用、ＰＲ用等の一連の画像）である場合には、画像記憶手段には、実写カメラの撮像面の傾斜角度または仮想カメラの撮像面の傾斜角度パラメータを変化させて撮影または生成された複数の画像を時系列で記憶させる。すなわち、各時刻のそれぞれについて、実写カメラの撮像面の傾斜角度または仮想カメラの撮像面の傾斜角度パラメータを変化させて撮影または生成された複数の画像を用意し、記憶させる（例えば、後述する図１１の場合等）。
【００５１】
このように実写カメラにより予め撮影された実写画像または仮想カメラを用いてレンダリング処理を行うことにより予め生成されたコンピュータ・グラフィクス画像を呈示し、かつ、傾斜角度を変更可能な画像呈示面を設けた場合には、画像記憶手段に、実写カメラの撮像面の傾斜角度または仮想カメラの撮像面の傾斜角度パラメータを変化させて撮影または生成された複数の画像を記憶させておき、画像呈示面角度検出手段により、画像呈示面の傾斜角度を検出し、画像表示処理手段により、画像呈示面角度検出手段による検出信号に基づき、画像記憶手段に記憶された複数の画像の中から、検出された画像呈示面の傾斜角度に対応する画像を選択または補間生成して画像呈示面に表示する処理を行う。このため、再生時の環境（画像呈示面の傾斜角度）に応じて、この環境に合った状態で撮影または生成された画像を表示することが可能となるので、観察者に対し、適正な映像を呈示することが可能となる。特に、立体映像を呈示する場合には、ゆがみを除去した自然な立体像が再生される。
【００５２】
また、以上のように傾斜角度を変更可能な画像呈示面およびこの画像呈示面の傾斜角度を検出する画像呈示面角度検出手段を備えた構成とする場合において、画像呈示面に対する観察者の目または頭部の相対的な位置情報またはこれらの代替情報を検出する観察者位置検出手段と、画像呈示面を駆動して画像呈示面の傾斜角度を変化させる画像呈示面駆動手段と、観察者位置検出手段により検出された情報に基づき画像呈示面に対する観察者の目または頭部の相対位置に応じて画像呈示面の傾斜角度を変化させるための制御信号を生成して画像呈示面駆動手段へ送信する画像呈示面制御手段とを備えた構成としてもよい。
【００５３】
ここで、「代替情報」とは、観察者の目または頭部の相対的な位置情報そのものではなく、別の情報と組み合わせることにより観察者の目または頭部の相対的な位置情報を把握することができる情報であってもよく、あるいは正確な視距離を必要とせずに概略の視距離でよい場合に用いられる情報である。前者の場合は、例えば、画像呈示面と、観察者の足あるいは全身との距離情報等であり、例えば、観察者に身長を入力させる等して、別途の方法で身長を把握することができれば、この身長と、観察者（足や全身）の距離情報とを組み合わせることにより、ほぼ正確な視距離を把握することができる。
【００５４】
このように画像呈示面に対する観察者の目または頭部の相対位置に応じて画像呈示面の傾斜角度を変化させる構成とした場合（後述する図５、図６、図１０参照）には、観察者位置検出手段により、画像呈示面に対する観察者の目または頭部の相対的な位置情報またはこれらの代替情報を検出し、この検出情報に基づき画像呈示面に対する観察者の目または頭部の相対位置に応じて画像呈示面の傾斜角度を変化させ、さらに、前述した画像呈示面角度検出手段により、変化した画像呈示面の傾斜角度を検出し、検出した画像呈示面の傾斜角度に対応する画像（実写カメラの撮像面の傾斜角度または仮想カメラの撮像面の傾斜角度パラメータを、検出した画像呈示面の傾斜角度と一致または略一致させてリアルタイムで撮影または生成された画像、あるいは実写カメラの撮像面の傾斜角度または仮想カメラの撮像面の傾斜角度パラメータを変化させて予め撮影または生成された複数の画像の中から、検出した画像呈示面の傾斜角度に近い状態で撮影または生成された画像として選択された画像、または近い状態で撮影または生成された複数の画像を補間して生成された画像）を呈示することが可能となる。このため、視距離に応じて画像呈示面の傾斜角度を変化させ、このようにして形成された再生時の環境（視距離および画像呈示面の傾斜角度）に応じて、この環境に合った画像を表示することが可能となるので、観察者に対し、適正な映像を呈示することが可能となる。特に、立体映像を呈示する場合には、ゆがみを除去した自然な立体像が再生される。
【００５５】
また、上記のように、観察者位置検出手段による検出情報に基づき画像呈示面の傾斜角度を変化させ、さらに、前述した画像呈示面角度検出手段により、変化した画像呈示面の傾斜角度を検出してから、検出した画像呈示面の傾斜角度に対応する画像を呈示するのではなく、次のように、画像呈示面角度検出手段による検出信号に基づかずに、観察者位置検出手段による検出情報に基づき直接に、画像呈示面の傾斜角度に対応する画像を呈示する構成としてもよい。
【００５６】
すなわち、前述した立体映像呈示装置において、複数の画像呈示面のうちの少なくとも１つの画像呈示面は、実写カメラによりリアルタイムで撮影された実写画像を呈示し、かつ、傾斜角度を変更可能な構成とされ、実写カメラに傾斜角度を変更可能に設けられた撮像面と、この撮像面で撮像された実写画像を画像呈示面に表示する処理を行う画像表示処理手段と、撮像面を駆動して撮像面の傾斜角度を変化させる撮像面駆動手段と、画像呈示面に対する観察者の目または頭部の相対的な位置情報またはこれらの代替情報を検出する観察者位置検出手段と、画像呈示面を駆動して画像呈示面の傾斜角度を変化させる画像呈示面駆動手段と、観察者位置検出手段により検出された情報に基づき画像呈示面に対する観察者の目または頭部の相対位置に応じて画像呈示面の傾斜角度を変化させるための制御信号を生成して画像呈示面駆動手段へ送信する画像呈示面制御手段と、観察者位置検出手段により検出された情報に基づき画像呈示面の傾斜角度と撮像面の傾斜角度とを一致または略一致させるための制御信号を生成して撮像面駆動手段へ送信する撮像面制御手段とを備えた構成としてもよい。
【００５７】
また、前述した立体映像呈示装置において、複数の画像呈示面のうちの少なくとも１つの画像呈示面は、コンピュータ・グラフィクス画像生成用の仮想カメラを用いてリアルタイムでレンダリング処理を行うことにより生成されたコンピュータ・グラフィクス画像を呈示し、かつ、傾斜角度を変更可能な構成とされ、コンピュータ・グラフィクス用のモデルに関する情報を記憶するモデル情報記憶手段と、画像呈示面に対する観察者の目または頭部の相対的な位置情報またはこれらの代替情報を検出する観察者位置検出手段と、画像呈示面を駆動して画像呈示面の傾斜角度を変化させる画像呈示面駆動手段と、観察者位置検出手段により検出された情報に基づき画像呈示面に対する観察者の目または頭部の相対位置に応じて画像呈示面の傾斜角度を変化させるための制御信号を生成して画像呈示面駆動手段へ送信する画像呈示面制御手段と、観察者位置検出手段により検出された情報に基づきモデル情報記憶手段に記憶されたモデルに関する情報を用いて仮想カメラの撮像面の傾斜角度パラメータを画像呈示面の傾斜角度と一致または略一致させてレンダリング処理を行うことによりコンピュータ・グラフィクス画像を生成するコンピュータ・グラフィクス画像生成手段と、このコンピュータ・グラフィクス画像生成手段により生成されたコンピュータ・グラフィクス画像を画像呈示面に表示する処理を行う画像表示処理手段とを備えた構成としてもよい。
【００５８】
さらに、前述した立体映像呈示装置において、複数の画像呈示面のうちの少なくとも１つの画像呈示面は、実写カメラにより予め撮影された実写画像またはコンピュータ・グラフィクス画像生成用の仮想カメラを用いてレンダリング処理を行うことにより予め生成されたコンピュータ・グラフィクス画像を呈示し、かつ、傾斜角度を変更可能な構成とされ、実写カメラの撮像面の傾斜角度または仮想カメラの撮像面の傾斜角度パラメータを変化させて撮影または生成された複数の画像を記憶する画像記憶手段と、画像呈示面に対する観察者の目または頭部の相対的な位置情報またはこれらの代替情報を検出する観察者位置検出手段と、画像呈示面を駆動して画像呈示面の傾斜角度を変化させる画像呈示面駆動手段と、観察者位置検出手段により検出された情報に基づき画像呈示面に対する観察者の目または頭部の相対位置に応じて画像呈示面の傾斜角度を変化させるための制御信号を生成して画像呈示面駆動手段へ送信する画像呈示面制御手段と、観察者位置検出手段により検出された情報に基づき、画像記憶手段に記憶された複数の画像の中から、設定した画像呈示面の傾斜角度に対応する画像を選択または補間生成して画像呈示面に表示する処理を行う画像表示処理手段とを備えた構成としてもよい。
【００５９】
そして、以上に述べた立体映像呈示装置において、複数の画像呈示面のうちの少なくとも１つの画像呈示面は、実写カメラにより撮影された実写画像またはコンピュータ・グラフィクス画像生成用の仮想カメラを用いてレンダリング処理を行うことにより生成されたコンピュータ・グラフィクス画像を、複数種類の画像呈示方式で呈示可能な構成とされ、画像呈示面に対する観察者の目または頭部の相対的な位置情報またはこれらの代替情報を検出する観察者位置検出手段と、この観察者位置検出手段により検出された情報に基づき画像呈示面に対する観察者の目または頭部の相対位置に応じて画像呈示方式を切り替えて実写画像またはコンピュータ・グラフィクス画像を画像呈示面に表示する処理を行う画像表示処理手段とを備えた構成としてもよい。
【００６０】
ここで、画像呈示方式を切替可能な画像呈示面は、傾斜角度を変更可能な画像呈示面であってもよく、あるいは傾斜角度を変更することができない固定された画像呈示面であってもよい。
【００６１】
また、切り替えられる「画像呈示方式」に、立体視の映像を呈示する立体映像呈示方式のみならず、平面視の映像を呈示する平面映像呈示方式も含まれるのは、前述した通りである。従って、多眼式レンティキュラ方式から２眼式レンティキュラ方式への画像呈示方式の切替えの如く、立体映像呈示方式から別の立体映像呈示方式への切替えのみならず、平面映像呈示方式から立体映像呈示方式への切替え、または立体映像呈示方式から平面映像呈示方式への切替えも含まれる。
【００６２】
このように画像呈示面に対する観察者の目または頭部の相対位置に応じて画像呈示方式を切り替える構成とした場合（後述する図５、図６、図１０参照）には、観察者位置検出手段により、画像呈示面に対する観察者の目または頭部の相対的な位置情報またはこれらの代替情報を検出し、画像表示処理手段により、観察者位置検出手段により検出された情報に基づき画像呈示面に対する観察者の目または頭部の相対位置に応じて画像呈示方式を切り替えて実写画像またはコンピュータ・グラフィクス画像を画像呈示面に表示する処理を行う。このため、再生時の環境（視距離）に応じて画像呈示方式を切り替え、この環境に合った画像を表示することが可能となるので、観察者に対し、適正な映像を呈示することが可能となる。
【００６３】
以上においては、複数の画像呈示面を備えている場合について記載したが、以下には、１つの画像呈示面を備えている場合について記載する。なお、１つの画像呈示面を備えている場合についても、複数の画像呈示面を用いて複数種類の画像呈示方式を組み合わせることによる作用・効果が得られないことを除けば、複数の画像呈示面を備えている場合と同様な作用・効果が得られるので、作用・効果についての詳しい記載は省略する。
【００６４】
＜１つの画像呈示面を備えている場合＞
【００６５】
本発明の立体映像呈示装置は、立体映像を呈示する画像呈示面を備え、この画像呈示面で呈示される立体映像を構成する左眼用画像および右眼用画像は、左右の実写カメラの各撮像面の傾斜角度またはコンピュータ・グラフィクス画像生成用の左右の仮想カメラの各撮像面の傾斜角度パラメータを、画像呈示面の傾斜角度とそれぞれ一致または略一致させて撮影または生成された画像であることを特徴とするものである。
【００６６】
そして、このようにカメラの撮像面の傾斜角度を、画像呈示面の傾斜角度と一致または略一致させた状態で撮影または生成された画像を用いる構成として、より具体的には、以下のような構成を挙げることができる。
【００６７】
すなわち、前述した立体映像呈示装置において、画像呈示面は、左右の実写カメラによりリアルタイムで撮影された左眼用および右眼用の実写画像を呈示し、かつ、傾斜角度を変更可能な構成とされ、左右の実写カメラのそれぞれに傾斜角度を変更可能に設けられた撮像面と、これらの撮像面で撮像された左眼用および右眼用の実写画像を画像呈示面に表示する処理を行う画像表示処理手段と、各撮像面を駆動して各撮像面の傾斜角度を変化させる撮像面駆動手段と、画像呈示面の傾斜角度を検出する画像呈示面角度検出手段と、この画像呈示面角度検出手段による検出信号に基づき画像呈示面の傾斜角度と各撮像面の傾斜角度とをそれぞれ一致または略一致させるための制御信号を生成して撮像面駆動手段へ送信する撮像面制御手段とを備えた構成とすることができる。
【００６８】
また、前述した立体映像呈示装置において、画像呈示面は、コンピュータ・グラフィクス画像生成用の左右の仮想カメラを用いてリアルタイムでレンダリング処理を行うことにより生成された左眼用および右眼用のコンピュータ・グラフィクス画像を呈示し、かつ、傾斜角度を変更可能な構成とされ、コンピュータ・グラフィクス用のモデルに関する情報を記憶するモデル情報記憶手段と、画像呈示面の傾斜角度を検出する画像呈示面角度検出手段と、この画像呈示面角度検出手段による検出信号に基づきモデル情報記憶手段に記憶されたモデルに関する情報を用いて左右の仮想カメラの各撮像面の傾斜角度パラメータを画像呈示面の傾斜角度とそれぞれ一致または略一致させてレンダリング処理を行うことにより左眼用および右眼用のコンピュータ・グラフィクス画像を生成するコンピュータ・グラフィクス画像生成手段と、このコンピュータ・グラフィクス画像生成手段により生成された左眼用および右眼用のコンピュータ・グラフィクス画像を画像呈示面に表示する処理を行う画像表示処理手段とを備えた構成とすることができる。
【００６９】
さらに、前述した立体映像呈示装置において、画像呈示面は、左右の実写カメラにより予め撮影された左眼用および右眼用の実写画像またはコンピュータ・グラフィクス画像生成用の左右の仮想カメラを用いてレンダリング処理を行うことにより予め生成された左眼用および右眼用のコンピュータ・グラフィクス画像を呈示する構成とされ、左右の実写カメラの各撮像面の傾斜角度または左右の仮想カメラの各撮像面の傾斜角度パラメータを、画像呈示面の傾斜角度とそれぞれ一致または略一致させて撮影または生成された左眼用画像および右眼用画像を記憶する画像記憶手段と、この画像記憶手段に記憶された左眼用画像および右眼用画像を画像呈示面に表示する処理を行う画像表示処理手段とを備えた構成とすることができる。
【００７０】
そして、上記のように、リアルタイムで撮影または生成された画像を用いるのではなく、予め撮影または生成されて画像記憶手段に記憶されている画像を用いる構成とする場合において、画像呈示面は、左右の実写カメラにより予め撮影された左眼用および右眼用の実写画像またはコンピュータ・グラフィクス画像生成用の左右の仮想カメラを用いてレンダリング処理を行うことにより予め生成された左眼用および右眼用のコンピュータ・グラフィクス画像を呈示し、かつ、傾斜角度を変更可能な構成とされ、画像呈示面の傾斜角度を検出する画像呈示面角度検出手段を備え、画像記憶手段には、左右の実写カメラの各撮像面の傾斜角度または左右の仮想カメラの各撮像面の傾斜角度パラメータを変化させて撮影または生成された複数の左眼用画像および複数の右眼用画像が記憶され、画像表示処理手段は、画像呈示面角度検出手段による検出信号に基づき、画像記憶手段に記憶された複数の左眼用画像および前記複数の右眼用画像の中から、検出された画像呈示面の傾斜角度に対応する左眼用画像および右眼用画像を選択または補間生成して画像呈示面に表示する処理を行う構成としてもよい。
【００７１】
また、以上のように傾斜角度を変更可能な画像呈示面およびこの画像呈示面の傾斜角度を検出する画像呈示面角度検出手段を備えた構成とする場合において、画像呈示面に対する観察者の目または頭部の相対的な位置情報またはこれらの代替情報を検出する観察者位置検出手段と、画像呈示面を駆動して画像呈示面の傾斜角度を変化させる画像呈示面駆動手段と、観察者位置検出手段により検出された情報に基づき画像呈示面に対する観察者の目または頭部の相対位置に応じて画像呈示面の傾斜角度を変化させるための制御信号を生成して画像呈示面駆動手段へ送信する画像呈示面制御手段とを備えた構成（例えば、後述する図５、図６、図１０の場合等）としてもよい。
【００７２】
また、上記のように、観察者位置検出手段による検出情報に基づき画像呈示面の傾斜角度を変化させ、さらに、前述した画像呈示面角度検出手段により、変化した画像呈示面の傾斜角度を検出してから、検出した画像呈示面の傾斜角度に対応する画像を呈示するのではなく、次のように、画像呈示面角度検出手段による検出信号に基づかずに、観察者位置検出手段による検出情報に基づき直接に、画像呈示面の傾斜角度に対応する画像を呈示する構成としてもよい。
【００７３】
すなわち、前述した立体映像呈示装置において、画像呈示面は、左右の実写カメラによりリアルタイムで撮影された左眼用および右眼用の実写画像を呈示し、かつ、傾斜角度を変更可能な構成とされ、左右の実写カメラのそれぞれに傾斜角度を変更可能に設けられた撮像面と、これらの撮像面で撮像された左眼用および右眼用の実写画像を画像呈示面に表示する処理を行う画像表示処理手段と、各撮像面を駆動して各撮像面の傾斜角度を変化させる撮像面駆動手段と、画像呈示面に対する観察者の目または頭部の相対的な位置情報またはこれらの代替情報を検出する観察者位置検出手段と、画像呈示面を駆動して画像呈示面の傾斜角度を変化させる画像呈示面駆動手段と、観察者位置検出手段により検出された情報に基づき画像呈示面に対する観察者の目または頭部の相対位置に応じて画像呈示面の傾斜角度を変化させるための制御信号を生成して画像呈示面駆動手段へ送信する画像呈示面制御手段と、観察者位置検出手段により検出された情報に基づき画像呈示面の傾斜角度と各撮像面の傾斜角度とをそれぞれ一致または略一致させるための制御信号を生成して撮像面駆動手段へ送信する撮像面制御手段とを備えた構成としてもよい。
【００７４】
また、前述した立体映像呈示装置において、画像呈示面は、コンピュータ・グラフィクス画像生成用の左右の仮想カメラを用いてリアルタイムでレンダリング処理を行うことにより生成された左眼用および右眼用のコンピュータ・グラフィクス画像を呈示し、かつ、傾斜角度を変更可能な構成とされ、コンピュータ・グラフィクス用のモデルに関する情報を記憶するモデル情報記憶手段と、画像呈示面に対する観察者の目または頭部の相対的な位置情報またはこれらの代替情報を検出する観察者位置検出手段と、画像呈示面を駆動して画像呈示面の傾斜角度を変化させる画像呈示面駆動手段と、観察者位置検出手段により検出された情報に基づき画像呈示面に対する観察者の目または頭部の相対位置に応じて画像呈示面の傾斜角度を変化させるための制御信号を生成して画像呈示面駆動手段へ送信する画像呈示面制御手段と、観察者位置検出手段により検出された情報に基づきモデル情報記憶手段に記憶されたモデルに関する情報を用いて左右の仮想カメラの各撮像面の傾斜角度パラメータを画像呈示面の傾斜角度とそれぞれ一致または略一致させてレンダリング処理を行うことにより左眼用および右眼用のコンピュータ・グラフィクス画像を生成するコンピュータ・グラフィクス画像生成手段と、このコンピュータ・グラフィクス画像生成手段により生成された左眼用および右眼用のコンピュータ・グラフィクス画像を画像呈示面に表示する処理を行う画像表示処理手段とを備えた構成としてもよい。
【００７５】
さらに、前述した立体映像呈示装置において、画像呈示面は、左右の実写カメラにより予め撮影された左眼用および右眼用の実写画像またはコンピュータ・グラフィクス画像生成用の左右の仮想カメラを用いてレンダリング処理を行うことにより予め生成された左眼用および右眼用のコンピュータ・グラフィクス画像を呈示し、かつ、傾斜角度を変更可能な構成とされ、左右の実写カメラの各撮像面の傾斜角度または左右の仮想カメラの各撮像面の傾斜角度パラメータを変化させて撮影または生成された複数の画像を記憶する画像記憶手段と、画像呈示面に対する観察者の目または頭部の相対的な位置情報またはこれらの代替情報を検出する観察者位置検出手段と、画像呈示面を駆動して画像呈示面の傾斜角度を変化させる画像呈示面駆動手段と、観察者位置検出手段により検出された情報に基づき画像呈示面に対する観察者の目または頭部の相対位置に応じて画像呈示面の傾斜角度を変化させるための制御信号を生成して画像呈示面駆動手段へ送信する画像呈示面制御手段と、観察者位置検出手段により検出された情報に基づき、画像記憶手段に記憶された複数の画像の中から、設定した画像呈示面の傾斜角度に対応する画像を選択または補間生成して画像呈示面に表示する処理を行う画像表示処理手段とを備えた構成としてもよい。
【００７６】
そして、以上に述べた立体映像呈示装置において、画像呈示面は、実写カメラにより撮影された実写画像またはコンピュータ・グラフィクス画像生成用の仮想カメラを用いてレンダリング処理を行うことにより生成されたコンピュータ・グラフィクス画像を、複数種類の画像呈示方式で呈示可能な構成とされ、画像呈示面に対する観察者の目または頭部の相対的な位置情報またはこれらの代替情報を検出する観察者位置検出手段と、この観察者位置検出手段により検出された情報に基づき、画像呈示面に対する観察者の目または頭部の相対位置に応じて画像呈示方式を、立体映像呈示方式から別の立体映像呈示方式へ切り替えるか、立体映像呈示方式から平面映像呈示方式へ切り替えるか、または平面映像呈示方式から立体映像呈示方式へ切り替えて実写画像またはコンピュータ・グラフィクス画像を画像呈示面に表示する処理を行う画像表示処理手段とを備えた構成（例えば、後述する図５、図６、図１０の場合等）としてもよい。
【発明の効果】
【００７７】
以上に述べたように本発明によれば、複数種類の画像呈示方式を組み合わせ、あるいは実写カメラの撮像面の傾斜角度または仮想カメラの撮像面の傾斜角度パラメータを、画像呈示面の傾斜角度と一致または略一致させた状態で撮影または生成された画像を用いて立体映像の呈示を行うので、立体映像を自然かつ精緻に表現することができるという効果がある。
【発明を実施するための最良の形態】
【００７８】
以下に本発明の各実施形態について図面を参照して説明する。
【００７９】
［第１実施形態］
図１には、本発明の第１実施形態の立体映像呈示装置１０の全体構成が示されている。図２および図３は、前面に配置された第１の画像呈示面２１で表示する画像を撮影する際の左右の実写カメラ６０，７０による撮影状況を説明する立面図（側方から見た図）および平面図（上方から見た図）であり、図４は、水平面に配置された第２の画像呈示面３１で表示する画像を撮影する際の左右の実写カメラ６０，７０による撮影状況を説明する立面図（側方から見た図）である。
【００８０】
図１において、立体映像呈示装置１０は、観察者１の前方（正面）に配置されるディスプレイ２０と、水平に配置されるディスプレイ３０と、ディスプレイ２０の傾斜角度（すなわち、ディスプレイ２０の画面である画像呈示面２１の傾斜角度θ）を検出する画像呈示面角度検出手段４０と、ディスプレイ２０，３０で表示する画像の処理を行う画像処理装置５０と、水平面３上に置かれた被写体２を撮影するための左眼用および右眼用の実写カメラ６０，７０とを備えて構成されている。
【００８１】
ディスプレイ２０は、その画面である画像呈示面２１で第１の画像呈示方式（立体映像呈示方式）により立体映像を呈示する装置である。この画像呈示面２１は、観察者１の操作により傾斜角度を自在に変更可能とされ、本実施形態では、左右の実写カメラ６０，７０によりリアルタイムで撮影された左眼用および右眼用の実写画像が表示される。
【００８２】
ディスプレイ３０は、その画面である画像呈示面３１で第２の画像呈示方式（立体映像呈示方式）により立体映像を呈示する装置である。この画像呈示面３１は、水平面に固定されて使用され、本実施形態では、左右の実写カメラ６０，７０により予め撮影された左眼用および右眼用の実写画像が表示される。
【００８３】
ここで、前面に配置される画像呈示面２１の第１の画像呈示方式および水平面に配置される画像呈示面３１の第２の画像呈示方式としては、例えば、双方をメガネなし方式であるレンティキュラ方式とする場合には、視距離のとれる前面に配置される画像呈示面２１では、第１の画像呈示方式として、解像度を優先して２眼式レンティキュラ方式を採用し、一方、近方で視差量の大きくなる水平面に配置される画像呈示面３１では、第２の画像呈示方式として、視域の広い多眼式レンティキュラ方式を採用することができる。また、第１の画像呈示方式として、例えば８眼式等の多眼式レンティキュラ方式を採用し、第２の画像呈示方式として、第１の画像呈示方式よりも眼数の多い例えば１６眼式等の多眼式レンティキュラ方式を採用してもよい。なお、第１および第２の画像呈示方式は、レンティキュラ方式に限定されるものではなく、例えば、パララックスバリア方式、インテグラルフォトグラフィ方式（ＩＰ方式）等としてもよく、要するに、画像呈示面２１，３１の画像呈示方式を互いに異なる方式とすることにより、複数種類の画像呈示方式を組み合わせて観察者の脳内で自然かつ精緻な立体映像空間が構築されるようにすればよい。
【００８４】
画像呈示面角度検出手段４０は、画像呈示面２１の傾斜角度θを検出することができれば、その構成は任意であり、例えば、ロータリエンコーダ、ギャップセンサ、ジャイロセンサ等により実現することができる。なお、図１に示した画像呈示面角度検出手段４０の設置位置や大きさ・形状は、一例に過ぎず、これに限定されるものではない。
【００８５】
画像処理装置５０は、例えばコンピュータにより構成され、撮像面制御手段５１と、画像表示処理手段５２と、画像記憶手段５３とを含んで構成されている。
【００８６】
撮像面制御手段５１は、画像呈示面角度検出手段４０による傾斜角度θの検出信号に基づき、画像呈示面２１の傾斜角度θ，φ（図２、図３参照）と、左眼用および右眼用の実写カメラ６０，７０の各撮像面６１，７１の傾斜角度α，β（図２、図３参照）とを一致または略一致させるための制御信号を生成し、生成した制御信号を撮像面駆動手段６２，７２へ送信する処理を行うものである。ここで、画像呈示面２１の傾斜角度θ，φ（図２、図３参照）と、左眼用および右眼用の実写カメラ６０，７０の各撮像面６１，７１の傾斜角度α，β（図２、図３参照）とを一致または略一致させるという意味は、画像呈示面２１と各撮像面６１，７１とを平行にするという意味であり、３次元空間（ＸＹＺ空間）を形成するＸ軸、Ｙ軸、Ｚ軸のいずれの軸回りの傾斜角度についても一致させるという意味である。また、各撮像面６１，７１の傾斜角度α，βは、図２および図３に示すように、実写カメラ６０，７０の筐体に対する相対的な傾斜角度ではなく、絶対空間における傾斜角度として定義している。なお、画像呈示面２１の傾斜角度θおよび撮像面６１，７１の傾斜角度αは、ディスプレイ２０（つまり、画像呈示面２１）の上下の端縁部に平行な方向、すなわち図２の紙面に直交する方向に延びる軸回りの傾斜角度であり、画像呈示面２１の傾斜角度φおよび撮像面６１，７１の傾斜角度βは、鉛直方向、すなわち図３の紙面に直交する方向に延びる軸回りの傾斜角度である。
【００８７】
画像表示処理手段５２は、左眼用および右眼用の実写カメラ６０，７０によりリアルタイムで撮像された左眼用画像および右眼用画像を、画像呈示面２１に表示するとともに、実写カメラ６０，７０により予め撮影されて画像記憶手段５３に記憶されている左眼用画像および右眼用画像を、画像呈示面３１に表示する処理を行うものである。
【００８８】
画像記憶手段５３は、図４に示すように、左眼用および右眼用の実写カメラ６０，７０により、各撮像面６１，７１の傾斜角度を、水平な画像呈示面３１の傾斜角度と一致または略一致させた状態で、すなわち各撮像面６１，７１と水平な画像呈示面３１とを平行にした状態で、予め撮影された左眼用画像および右眼用画像を記憶するものである。
【００８９】
そして、撮像面制御手段５１および画像表示処理手段５２は、画像処理装置５０を構成するコンピュータ等の内部に設けられた中央演算処理装置（ＣＰＵ）、およびこのＣＰＵの動作手順を規定する１つまたは複数のプログラムにより実現される。
【００９０】
また、画像記憶手段５３は、例えばハードディスク等により好適に実現されるが、記憶容量やアクセス速度等に問題が生じない範囲であれば、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュ・メモリ、ＲＡＭ、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＦＤ、磁気テープ、あるいはこれらの組合せ等を採用してもよい。
【００９１】
実写カメラ６０，７０は、観察者１の左右の眼の位置を想定して配置され、水平面３上に置かれた被写体２を含む左眼用画像および右眼用画像を、交差法で撮影するためのカメラであり、傾斜角度α，β（図２、図３参照）を自在に変更可能に設けられた撮像面６１，７１と、これらの撮像面６１，７１を駆動して撮像面６１，７１の傾斜角度α，βを変化させる撮像面駆動手段６２，７２とを備えている。なお、説明の便宜上、図示も含めて左眼用および右眼用の２つの実写カメラ６０，７０があるかの如く記載されているが、これは単に、左眼および右眼に相当する実写カメラが少なくとも１組分あることを示しているに過ぎず、実際には、多眼式レンティキュラ方式では、より多くの実写カメラが設けられる。例えば、８眼式レンティキュラ方式では、８台の実写カメラが設けられる。
【００９２】
撮像面６１，７１は、例えば、相補性金属酸化膜半導体（ＣＭＯＳ：Complementary Metal-oxide Semiconductor）や電荷結合素子（ＣＣＤ：Charge Coupled Device）等の撮像デバイスの受光面である。
【００９３】
撮像面駆動手段６２，７２は、例えば、モータ、シリンダ装置等により実現される。なお、本実施形態では、左右の実写カメラ６０，７０に撮像面駆動手段６２，７２がそれぞれ個別に設けられているが、撮像面６１，７１をまとめて同時に駆動することができる撮像面駆動手段を設けてもよい。
【００９４】
このような第１実施形態においては、以下のようにして立体映像呈示装置１０により立体映像の呈示を行う。
【００９５】
先ず、観察者１は、前面のディスプレイ２０を手で押したり、引いたりすることにより、画像呈示面２１の傾斜角度θを、自分が立体像を観察し易い所望の角度に調整する。それから、画像呈示面角度検出手段４０により、角度調整後における画像呈示面２１の傾斜角度θが検出される。なお、画像呈示面角度検出手段４０による角度検出は、以下に記載するループ処理の中で毎回行われるが、角度検出後の撮影等の処理は、検出された傾斜角度θが前回検出角度に対して変化したときのみ行うようにしてもよく、あるいは毎回行うようにしてもよい。
【００９６】
続いて、撮像面制御手段５１により、画像呈示面角度検出手段４０による傾斜角度θの検出信号に基づき、画像呈示面２１の傾斜角度θ（図２参照）と、左眼用および右眼用の実写カメラ６０，７０の各撮像面６１，７１の傾斜角度α（図２参照）とを一致または略一致させるための制御信号、すなわち画像呈示面２１と各撮像面６１，７１とを平行にするための制御信号が生成され、生成された制御信号が撮像面駆動手段６２，７２へ送信される。なお、画像呈示面２１の傾斜角度φ（図３参照）と、左眼用および右眼用の実写カメラ６０，７０の各撮像面６１，７１の傾斜角度β（図３参照）とは、変化しないので、一致または略一致した状態を保っている。
【００９７】
撮像面駆動手段６２，７２は、撮像面制御手段５１からの制御信号を受信すると、撮像面６１，７１を駆動して撮像面６１，７１の傾斜角度αを変化させ、画像呈示面２１の傾斜角度θと一致させる。例えば、図２に示すように、画像呈示面２１の傾斜角度θをθAにすると、各撮像面６１，７１の傾斜角度αは、αA（＝θA）に変化する。
【００９８】
この状態で、実写カメラ６０，７０により被写体２を撮影し、撮影して得られた左眼用画像および右眼用画像を、画像表示処理手段５２により、画像呈示面２１にリアルタイムで表示する。なお、前述したように、画像呈示面角度検出手段４０による角度検出で、画像呈示面２１の傾斜角度θの変化が検出されなかった場合には、実写カメラ６０，７０による被写体２の撮影および画像表示処理手段５２による画像呈示面２１の表示内容の更新処理は省略してもよい。また、このような画像呈示面２１への表示処理と同時に、画像表示処理手段５２は、実写カメラ６０，７０により予め撮影されて画像記憶手段５３に記憶されている左眼用画像および右眼用画像を、画像呈示面３１に表示する。なお、本実施形態では、画像呈示面３１の表示内容は、固定している。
【００９９】
そして、再び、画像呈示面角度検出手段４０による角度検出を行い、画像呈示面２１の傾斜角度θが変化していれば、その変化後の状態に応じて各撮像面６１，７１の傾斜角度αを変化させて撮影を行い、以降、同様なループ処理を繰り返す。
【０１００】
このような第１実施形態によれば、次のような効果がある。すなわち、複数の画像呈示面２１，３１で、異なる画像呈示方式により左眼用画像および右眼用画像を表示するので、複数種類の立体映像呈示方式を組み合わせて、互いの方式の欠点を補完するような立体映像の呈示を行うことができる。例えば、解像度と視域を両立させる立体映像の呈示を行うことができる。このため、立体映像を自然かつ精緻に表現することができる。
【０１０１】
また、画像呈示面２１，３１では、実写カメラ６０，７０の各撮像面６１，７１の傾斜角度を、これらの画像呈示面２１，３１の傾斜角度と一致または略一致させた状態で撮影された左眼用画像および右眼用画像を用いて立体映像の呈示が行われるので、従来より行われていたパースペクティブを無くすための補正処理、すなわち実写カメラによる画像の撮影後に２次的に行う演算処理を省略することができ、実写カメラ６０，７０による画像の撮影を終えた時点で、パースペクティブのない画像を得て、これを画像呈示面２１，３１に表示することができる。このため、より一層自然かつ精緻に表現された立体映像を得ることができるうえ、前述した特許文献２〜６に記載されたパースペクティブを無くすための複雑な演算処理を行う必要がなくなるので、処理負担の軽減を図ることができる。
【０１０２】
さらに、再生時の環境（画像呈示面２１の傾斜角度θ）に応じ、各撮像面６１，７１の傾斜角度αを変化させて画像を取得することができるので（図２参照）、ゆがみを除去した自然な立体像を再生することができ、観察者に対し、適正な立体映像を呈示することができる。また、各撮像面６１，７１の傾斜角度αをリアルタイムで変化させるので、柔軟かつ多様な映像を表現することができる。
【０１０３】
そして、画像呈示面２１，３１では、実写カメラ６０，７０の各撮像面６１，７１の傾斜角度を、これらの画像呈示面２１，３１の傾斜角度と一致または略一致させた状態で撮影された左眼用画像および右眼用画像を用いて立体映像の呈示が行われるので（図３参照）、交差法による撮影を行っても、キーストーンひずみ（図１６、図１７参照）を生じることなく、立体映像の呈示を行うことができ、この点でも、ゆがみを除去した自然な立体像を再生することができる。
【０１０４】
また、観察者１の操作により動かされた画像呈示面２１の傾斜角度θを検出し、実写カメラ６０，７０の各撮像面６１，７１の傾斜角度αをリアルタイムで自動的に変化させて画像の取得処理を行うので、インタラクティブ性（双方向性）を備えた立体映像呈示装置１０を実現することができ、例えば、娯楽映像表現の多様性や遊技性の向上等を図ることができる。
【０１０５】
［第２実施形態］
図５には、本発明の第２実施形態の立体映像呈示装置２００の全体構成が示されている。また、図６には、画像呈示面２１１に対する観察者の相対位置（視距離Ｄ）に応じて画像呈示面２１１の画像呈示方式や傾斜角度θが変化する状態が示され、図７には、立体映像呈示装置２００による立体映像呈示処理の流れがフローチャートで示されている。
【０１０６】
図５において、立体映像呈示装置２００は、ディスプレイ２１０と、ディスプレイ２１０の傾斜角度（すなわち、ディスプレイ２１０の画面である画像呈示面２１１の傾斜角度θ）を検出する画像呈示面角度検出手段２２０と、ディスプレイ２１０を駆動してディスプレイ２１０の画像呈示面２１１の傾斜角度θを変化させる画像呈示面駆動手段２３０と、画像呈示面２１１に対する観察者２０１の相対位置（概略の視距離Ｄ）を検出する観察者位置検出手段２４０と、画像呈示面２１１で表示する画像の処理を行う画像処理装置２５０とを備えて構成されている。
【０１０７】
ディスプレイ２１０は、その画面である画像呈示面２１１で立体映像を呈示する装置である。この画像呈示面２１１は、画像呈示面２１１に対する観察者２０１の相対位置（概略の視距離Ｄ）に応じて傾斜角度θが自動的に変化する構成とされ、本実施形態では、左右の仮想カメラ２６０を用いてレンダリング処理を行ってリアルタイムで生成された左眼用および右眼用のコンピュータ・グラフィクス画像が表示される。
【０１０８】
画像呈示面角度検出手段２２０は、画像呈示面２１１の傾斜角度θを検出することができれば、その構成は任意であり、例えば、ロータリエンコーダ、ギャップセンサ、ジャイロセンサ等により実現することができる。ここで、傾斜角度θは、ディスプレイ２１０（つまり、画像呈示面２１１）の上下の端縁部に平行な方向、すなわち図５の紙面に直交する方向に延びる軸回りの傾斜角度である。なお、図５に示した画像呈示面角度検出手段２２０の設置位置や大きさ・形状は、一例に過ぎず、これに限定されるものではない。
【０１０９】
画像呈示面駆動手段２３０は、例えば、モータ、シリンダ装置等により実現される。
【０１１０】
観察者位置検出手段２４０は、例えば、レーザ距離センサ、赤外線センサ、グローバル・ポジショニング・システム（ＧＰＳ）、画像処理による位置検出装置等により実現される。本実施形態では、観察者位置検出手段２４０は、画像呈示面２１１に対する観察者２０１の目または頭部の相対的な位置情報を正確に検出するものではなく、その代替情報として、観察者２０１を全身で捉えて観察者２０１までの距離を検出し、概略的な視距離Ｄを検出するものである。なお、例えば、観察者２０１の身長を測定または手入力したり、画像呈示面２１１の大きさを考慮すること等により、より正確な視距離を検出するようにしてもよい。また、図５に示した観察者位置検出手段２４０の設置位置や大きさ・形状は、一例に過ぎず、これに限定されるものではない。
【０１１１】
画像処理装置２５０は、例えばコンピュータにより構成され、画像呈示面制御手段２５１と、コンピュータ・グラフィクス画像生成手段２５２と、画像表示処理手段２５３と、モデル情報記憶手段２５４とを含んで構成されている。
【０１１２】
画像呈示面制御手段２５１は、観察者位置検出手段２４０により検出された視距離Ｄに基づき、視距離Ｄの大小に応じて画像呈示面２１１の傾斜角度θを変化させるための制御信号を生成し、生成した制御信号を画像呈示面駆動手段２３０へ送信する処理を行うものである。なお、視距離Ｄと傾斜角度θとの対応関係は、予め定めてメモリ（不図示）に記憶させておき、これを画像呈示面制御手段２５１により参照する。
【０１１３】
コンピュータ・グラフィクス画像生成手段２５２は、画像呈示面角度検出手段２２０による検出信号に基づき、モデル情報記憶手段２５４に記憶された表示対象用のモデルに関する情報を用いて、左右の仮想カメラ２６０の各撮像面２６１の傾斜角度パラメータの値αを画像呈示面２１１の傾斜角度θと一致または略一致させ、すなわち撮像面２６１と画像呈示面２１１とを平行にしてレンダリング処理を行うことによりコンピュータ・グラフィクス画像を生成する処理を行うものである。
【０１１４】
左右の仮想カメラ２６０は、観察者２０１の左右の眼の位置を想定して配置されるように設定され、仮想的な３次元空間における水平面２０２上に置かれた表示対象用の幾何モデル２０３が描かれた左眼用画像および右眼用画像を生成するためのカメラである。左右の仮想カメラ２６０のパラメータの設定では、通常、３次元空間上の注視点（カメラが注目している点）を座標値で与えるか、またはパン、チルト、ロールの３つの回転角度を与えるが、本実施形態では、これに加え、仮想カメラ２６０の撮像面２６１の傾斜角度αをパラメータとして与える。従って、通常のレンダリング処理では、カメラの軸線に対して直交する面が、幾何モデル２０３により表現される物体を描画するスクリーン（透視投影面）となるが、本実施形態では、物体を描画するスクリーンは、パラメータとして設定された傾斜角度αの状態の撮像面２６１と平行となり、従って、画像呈示面２１１と平行になるように設定されるため、カメラの軸線に対して傾斜した面となる。なお、その他の設定、例えば、色や質感の設定、ライトの設定等は、通常のレンダリング処理と同様である。また、説明の便宜上、左右の仮想カメラ２６０と記載しているが、これは単に、左眼および右眼に相当する仮想カメラが少なくとも１組分設定されることを示しているに過ぎず、実際には、多眼式レンティキュラ方式では、より多くの仮想カメラが設定される。例えば、８眼式レンティキュラ方式では、８台の仮想カメラが設定される。
【０１１５】
画像表示処理手段２５３は、コンピュータ・グラフィクス画像生成手段２５２により生成された左眼用および右眼用のコンピュータ・グラフィクス画像を、画像呈示面２１１に表示する処理を行うものである。
【０１１６】
モデル情報記憶手段２５４は、画像呈示面２１１で立体像として再生される対象となる幾何モデル２０３に関する情報を記憶するものである。
【０１１７】
そして、画像呈示面制御手段２５１、コンピュータ・グラフィクス画像生成手段２５２、および画像表示処理手段２５３は、画像処理装置２５０を構成するコンピュータ等の内部に設けられた中央演算処理装置（ＣＰＵ）、およびこのＣＰＵの動作手順を規定する１つまたは複数のプログラムにより実現される。
【０１１８】
また、モデル情報記憶手段２５４は、例えばハードディスク等により好適に実現されるが、記憶容量やアクセス速度等に問題が生じない範囲であれば、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュ・メモリ、ＲＡＭ、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＦＤ、磁気テープ、あるいはこれらの組合せ等を採用してもよい。
【０１１９】
このような第２実施形態においては、以下のようにして立体映像呈示装置２００により立体映像の呈示を行う。
【０１２０】
図６に示すように、観察者２０１は、ディスプレイ２１０に対して徐々に近づいていきながら、画像呈示面２１１で呈示される立体映像を観察する。
【０１２１】
図７において、先ず、画像処理装置２５０でプログラムを立ち上げて立体映像の呈示処理を開始した後（ステップＳ１）、観察者位置検出手段２４０により、観察者２０１までの概略の視距離Ｄを検出する（ステップＳ２）。
【０１２２】
続いて、画像処理装置２５０において、視距離Ｄの大小を判断し（ステップＳ３）、（１）視距離Ｄが１０ｍ以上の場合には、画像呈示面２１１の傾斜角度θを９０度に設定するために、画像呈示面制御手段２５１から画像呈示面駆動手段２３０へ制御信号を送信して画像呈示面２１１を鉛直になるように配置するとともに（ステップＳ４）、画像呈示面２１１の画像呈示方式として、平面視の画像（２Ｄであるが、３ＤＣＧをレンダリングして生成された画像）を呈示する平面映像呈示方式を選択する（ステップＳ５）。
【０１２３】
また、（２）視距離Ｄが５ｍ以上、１０ｍ未満の場合には、画像呈示面２１１の傾斜角度θを９０度に設定するために、画像呈示面制御手段２５１から画像呈示面駆動手段２３０へ制御信号を送信して画像呈示面２１１を鉛直になるように配置するとともに（ステップＳ６）、画像呈示面２１１の画像呈示方式として、多眼式レンティキュラ方式を選択する（ステップＳ７）。
【０１２４】
さらに、（３）視距離Ｄが１ｍ以上、５ｍ未満の場合には、視距離Ｄの大小に応じて画像呈示面２１１の傾斜角度θの大小を設定するために（視距離Ｄが小さくなる程、傾斜角度θが大きくなるように、つまり倒れるようにするために）、画像呈示面制御手段２５１から画像呈示面駆動手段２３０へ制御信号を送信して画像呈示面２１１を駆動するとともに（ステップＳ８）、画像呈示面２１１の画像呈示方式として、多眼式レンティキュラ方式を選択する（ステップＳ９）。
【０１２５】
そして、（４）視距離Ｄが１ｍ未満の場合には、画像呈示面２１１の傾斜角度θを１８０度に設定するために、画像呈示面制御手段２５１から画像呈示面駆動手段２３０へ制御信号を送信して画像呈示面２１１を水平に配置するとともに（ステップＳ１０）、画像呈示面２１１の画像呈示方式として、２眼式レンティキュラ方式を選択する（ステップＳ１１）。
【０１２６】
その後、コンピュータ・グラフィクス画像生成手段２５２により、仮想カメラ２６０のパラメータを設定し（ステップＳ１２）、モデル情報記憶手段２５４に記憶された幾何モデル２０３を用いて、レンダリング処理を行うことにより、画像呈示面２１１に表示するための画像を生成する（ステップＳ１３）。ここで、生成される画像は、平面映像呈示方式が選択されている場合（ステップＳ５）には、平面視の画像であり、多眼式レンティキュラ方式が選択されている場合（ステップＳ７，Ｓ９）には、多眼に相当する個数の左眼用画像および右眼用画像であり、２眼式レンティキュラ方式が選択されている場合（ステップＳ１１）には、左眼用画像および右眼用画像である。
【０１２７】
この際、仮想カメラ２６０のパラメータの設定では、図５に示すように、仮想カメラ２６０の撮像面２６１の傾斜角度パラメータαと、画像呈示面２１１の傾斜角度θとを一致させる。また、仮想カメラ２６０の設定台数は、選択されている画像呈示方式に応じた台数とする。すなわち、平面映像呈示方式が選択されている場合（ステップＳ５）には、１台設定し、多眼式レンティキュラ方式が選択されている場合（ステップＳ７，Ｓ９）には、多眼に相当する台数（例えば、８眼式であれば、８台）設定し、２眼式レンティキュラ方式が選択されている場合（ステップＳ１１）には、２台設定する。
【０１２８】
それから、画像表示処理手段２５３により、コンピュータ・グラフィクス画像生成手段２５２により生成されたコンピュータ・グラフィクス画像を、選択されている画像呈示方式で画像呈示面２１１に表示する。
【０１２９】
そして、処理を続行するか否かを判断し（ステップＳ１５）、続行する場合には、再び、ステップＳ２の処理に戻り、以降、続行しないと判断されるまで、ステップＳ２〜Ｓ１５の処理を繰り返し、一方、続行しない場合には、立体映像の呈示処理を終了する（ステップＳ１６）。
【０１３０】
以上のようなループ処理を繰り返すと、観察者２０１が、ディスプレイ２１０に対して徐々に近づいていった場合には、次のような立体映像の呈示が行われることになる。
【０１３１】
図６において、先ず、（１）視距離Ｄが１０ｍ以上の場合には、画像呈示面２１１が鉛直になり、平面視の映像が呈示され、（２）視距離Ｄが５ｍ以上、１０ｍ未満の範囲に入ると、画像呈示面２１１は鉛直のままで、多眼式レンティキュラ方式による立体映像の呈示に切り替わり、さらに、（３）視距離Ｄが１ｍ以上、５ｍ未満の範囲に入ると、多眼式レンティキュラ方式による立体映像の呈示のままで、画像呈示面２１１の傾斜角度θが大きくなっていき、つまり倒れていき、最後に、（４）視距離Ｄが１ｍ未満になると、画像呈示面２１１の傾斜角度θが１８０度になって完全に倒れて水平になるとともに、２眼式レンティキュラ方式による立体映像の呈示に切り替わる。なお、逆に、観察者２０１が、ディスプレイ２１０から徐々に遠ざかっていった場合には、以上の流れと反対の立体映像の呈示が行われることになる。
【０１３２】
このような第２実施形態によれば、次のような効果がある。すなわち、画像呈示面２１１では、仮想カメラ２６０の撮像面２６１の傾斜角度パラメータαを、この画像呈示面２１１の傾斜角度θと一致または略一致させた状態で生成された画像を用いて立体映像および平面映像の呈示が行われるので、従来より行われていたパースペクティブを無くすための補正処理、すなわちレンダリング処理によるＣＧ画像の生成後に２次的に行う演算処理を省略することができ、レンダリング処理によるＣＧ画像の生成を終えた時点で、パースペクティブのない画像を得て、これを画像呈示面２１１に表示することができる。このため、自然かつ精緻に表現された立体映像、または適正な平面映像を得ることができるうえ、前述した特許文献２〜６に記載されたパースペクティブを無くすための複雑な演算処理を行う必要がなくなるので、処理負担の軽減を図ることができる。
【０１３３】
また、再生時の環境（画像呈示面２１１の傾斜角度θ）に応じ、撮像面２６１の傾斜角度パラメータαを変化させて画像を取得することができるので、ゆがみを除去した自然な立体像を再生することができ、観察者に対し、適正な立体映像を呈示することができる。また、撮像面２６１の傾斜角度パラメータαをリアルタイムで変化させるので、柔軟かつ多様な映像を表現することができる。
【０１３４】
さらに、画像呈示面２１１では、仮想カメラ２６０の撮像面２６１の傾斜角度パラメータαを、この画像呈示面２１１の傾斜角度θと一致または略一致させた状態で生成された画像を用いて立体映像の呈示が行われるので、交差法による撮影を行っても、キーストーンひずみ（図１６、図１７参照）を生じることなく、立体映像の呈示を行うことができ、この点でも、ゆがみを除去した自然な立体像を再生することができる。
【０１３５】
そして、再生時の環境（視距離Ｄ）に応じ、画像呈示方式を切り替えるので、解像度と視域を両立させる立体映像の呈示を行うことができる。
【０１３６】
また、観察者２０１の位置（視距離Ｄ）を検出し、画像呈示面２１１の画像呈示方式をリアルタイムで自動的に切り替えたり、画像呈示面２１１の傾斜角度θをリアルタイムで自動的に変化させ、これに伴って仮想カメラ２６０の撮像面２６１の傾斜角度パラメータαをリアルタイムで自動的に変化させて画像の取得処理を行うので、インタラクティブ性（双方向性）を備えた立体映像呈示装置２００を実現することができ、例えば、娯楽映像表現の多様性や遊技性の向上等を図ることができる。
【０１３７】
［変形の形態］
なお、本発明は前記各実施形態に限定されるものではなく、本発明の目的を達成できる範囲内での変形等は本発明に含まれるものである。
【０１３８】
すなわち、前記第１実施形態では、画像呈示面３１には、実写カメラ６０，７０により予め撮影されて画像記憶手段５３に記憶されている左眼用画像および右眼用画像が表示されるようになっていたが（図１、図４参照）、水平面の画像呈示面３１も前面の画像呈示面２１と同様に傾斜角度を自在に変更可能な構成とし、実写カメラ６０，７０により各撮像面６１，７１の傾斜角度αを調整しながらリアルタイムで撮影された左眼用画像および右眼用画像を表示するようにしてもよい。
【０１３９】
また、前記第１実施形態では、画像呈示面２１，３１のいずれも実写画像が表示されていたが、コンピュータ・グラフィクス画像により、複数の画像呈示面での複数種類の画像呈示方式による立体映像の呈示を実現してもよい。
【０１４０】
さらに、前記第２実施形態では、図６に示すように、（２）視距離Ｄが５ｍ以上、１０ｍ未満の場合および（３）視距離Ｄが１ｍ以上、５ｍ未満の場合に、多眼式レンティキュラ方式による立体映像の呈示が行われ、（４）視距離Ｄが１ｍ未満の場合に、２眼式レンティキュラ方式による立体映像の呈示が行われるようになっていたが、画像呈示方式の切替えは、これに限定されるものではなく、例えば、（２）および（３）の場合に、眼数の多い多眼式（例えば、１６眼式）レンティキュラ方式による立体映像の呈示が行われ、（４）の場合に、それよりも眼数の少ない多眼式（例えば、８眼式）レンティキュラ方式による立体映像の呈示が行われるようにしてもよく、あるいは（２）の場合に、１６眼式レンティキュラ方式、（３）の場合に、８眼式レンティキュラ方式、（４）の場合に、２眼式レンティキュラ方式による立体映像の呈示が行われるようにしてもよい。要するに、観察者２０１がディスプレイ２１０に近づき、視距離Ｄが小さくなるに従って、解像度を上げていく一方、視域を狭くしていく等の何らかの意図やコンセプトを持った画像呈示方式の切替えを行えばよい。
【０１４１】
そして、前記第２実施形態では、画像呈示方式の切替えにあたって、視距離Ｄの閾値を、１０ｍ、５ｍ、１ｍにしていたが、閾値の大きさや個数は、これに限定されるものではなく、任意である。
【０１４２】
また、前記第１、第２実施形態では、ディスプレイ２０，３０，２１０の画面である画像呈示面２１，３１，２１１により、立体映像の呈示が行われていたが、図８に示すように、ディスプレイではなく、印刷物を用いて立体映像の呈示を行ってもよい。図８において、立体映像呈示装置３００は、前面（正面）に配置される画像呈示面３０１と、水平面に配置される画像呈示面３０２とを備えて構成されている。
【０１４３】
そして、前面の画像呈示面３０１は、呈示対象物（例えば、仏像等の文化財）を描いた印刷物（写真でも、ＣＧでも、絵でもよい。）の印刷面により形成され、第１の画像呈示方式で立体映像を呈示するものであり、水平面の画像呈示面３０２は、同一の呈示対象物を別の角度から見た状態で描いた印刷物（写真でも、ＣＧでも、絵でもよい。）の印刷面により形成され、第２の画像呈示方式で立体映像を呈示するものである。
【０１４４】
ここで、前面の画像呈示面３０１についての第１の画像呈示方式としては、例えば、多眼式レンティキュラ方式等を採用することができ、水平面の画像呈示面３０２についての第２の画像呈示方式としては、例えば、インテグラルフォトグラフィ方式（ＩＰ方式）等を採用することができる。
【０１４５】
このように印刷物により画像呈示面３０１，３０２を形成した場合には、通常のディスプレイよりも解像度を上げることができるという効果がある。
【０１４６】
さらに、前記第１実施形態では、２つの画像呈示面２１，３１で、互いに異なる２種類の画像呈示方式の組合せによる立体映像の呈示が行われていたが（図１参照）、図９に示すように、３つ以上の画像呈示面で複数種類の画像呈示方式の組合せによる立体映像の呈示を行ってもよい。図９において、立体映像呈示装置４００は、前面（正面、すなわち観察者４０１に正対する面）に配置された画像呈示面４０２と、左右の側面（立面）に配置された画像呈示面４０３，４０４と、床面（水平面）に配置された画像呈示面４０５とを備えて構成されている。
【０１４７】
これらの４つの画像呈示面４０２〜４０５のうち、前面の画像呈示面４０２は、第１の画像呈示方式（例えば、２眼式レンティキュラ方式）とし、左右の側面の画像呈示面４０３，４０４および床面の画像呈示面４０５は、第２の画像呈示方式（例えば、多眼式レンティキュラ方式）としてもよい。また、前面の画像呈示面４０２および左右の側面の画像呈示面４０３，４０４は、第１の画像呈示方式（例えば、２眼式レンティキュラ方式）とし、床面の画像呈示面４０５は、第２の画像呈示方式（例えば、多眼式レンティキュラ方式）としてもよい。さらに、前面の画像呈示面４０２は、第１の画像呈示方式（例えば、２眼式レンティキュラ方式）とし、左右の側面の画像呈示面４０３，４０４は、第２の画像呈示方式（例えば、多眼式（８眼式等）レンティキュラ方式）とし、床面の画像呈示面４０５は、第３の画像呈示方式（例えば、より眼数の多い多眼式（１６眼式等）レンティキュラ方式）としてもよい。
【０１４８】
そして、前記第２実施形態では、１つの画像呈示面２１１で、観察者位置検出手段２４０により検出された視距離Ｄに基づき、画像呈示方式の切替えを行っていたが（図５、図６参照）、図１０に示す立体映像呈示装置５００のように、２つの画像呈示面５０１，５０２を用いて、観察者位置検出手段５０３により検出された視距離Ｄに基づき、画像呈示方式の切替えを行ってもよい。
【０１４９】
図１０において、（１）視距離Ｄが１０ｍ以上の場合には、観察者５０４から見て手前側の画像呈示面５０１が鉛直になり、平面視の映像が呈示される。この際、奥側の画像呈示面５０２は、鉛直に配置され、ＯＦＦの状態となっている。そして、（２）視距離Ｄが５ｍ以上、１０ｍ未満の範囲に入ると、手前側の画像呈示面５０１は鉛直のままで、多眼式レンティキュラ方式による立体映像の呈示に切り替わる。この際、奥側の画像呈示面５０２は、鉛直に配置され、ＯＦＦの状態のままである。
【０１５０】
さらに、（３）視距離Ｄが１ｍ以上、５ｍ未満の範囲に入ると、手前側の画像呈示面５０１は、多眼式レンティキュラ方式による立体映像の呈示のままであるが、傾斜角度θが大きくなっていく、つまり倒れていく。この際、奥側の画像呈示面５０２は、鉛直に配置され、ＯＦＦの状態のままである。最後に、（４）視距離Ｄが１ｍ未満になると、手前側の画像呈示面５０１は、多眼式レンティキュラ方式による立体映像の呈示のままであるが、傾斜角度θが１８０度になって完全に倒れて水平になる。この際、奥側の画像呈示面５０２は、ＯＦＦの状態から２眼式レンティキュラ方式による立体映像の呈示に切り替わる。
【０１５１】
このように２つの画像呈示面５０１，５０２を用いて画像呈示方式の切替えを行えば、前記第２実施形態の場合（図５、図６参照）と同様に画像呈示方式の切替えを行うことによる効果が得られることに加え、前記第１実施形態の場合（図１参照）と同様に複数種類の画像呈示方式を組み合わせることによる効果も得ることができる。
【０１５２】
また、前記第１実施形態では、画像記憶手段５３（図１参照）には、図４に示すように、左眼用および右眼用の実写カメラ６０，７０により、各撮像面６１，７１の傾斜角度を、水平な画像呈示面３１の傾斜角度と一致または略一致させた状態で、すなわち各撮像面６１，７１と水平な画像呈示面３１とを平行にした状態で、予め撮影された左眼用画像および右眼用画像が記憶されていたが、これらの画像は、画像呈示面３１が水平面に固定されて使用されるため、画像呈示面３１の傾斜角度が１つの状態のときのみ（画像呈示面３１が水平の状態であるときのみ）について撮影されたものであり、しかも被写体２が固定物であるため、動きのない静的な画像であった。これに対し、傾斜角度が変化する画像呈示面で、しかも動く対象物についての立体映像を呈示する場合に、リアルタイムで画像を撮影または生成するのではなく、予め撮影または生成しておいた画像を用いるときには、図１１に示す画像記憶手段６００のように、各時刻Ｔ＝ｔ（１）、ｔ（２）、ｔ（３）、…、ｔ（ｎ）、…における対象物のそれぞれについて、画像呈示面の傾斜角度θを変化させて撮影または生成された左眼用画像Ｌ（θ，ｔ（ｎ））および右眼用画像Ｒ（θ，ｔ（ｎ））を記憶させておけばよい。例えば、時刻Ｔ＝ｔ（１）における対象物の再生時に、θ＝９０度であり、時刻Ｔ＝ｔ（２）における対象物の再生時に、θ＝１００度であり、時刻Ｔ＝ｔ（３）以降における対象物の再生時に、θ＝１１０度であった場合には、図１１中の太枠で示すように、Ｌ（９０度，ｔ（１））およびＲ（９０度，ｔ（１））、Ｌ（１００度，ｔ（２））およびＲ（１００度，ｔ（２））、Ｌ（１１０度，ｔ（３））およびＲ（１１０度，ｔ（３））、…、Ｌ（１１０度，ｔ（ｎ））およびＲ（１１０度，ｔ（ｎ））、…という順で、各画像を用いて立体映像の呈示を行う。
【産業上の利用可能性】
【０１５３】
以上のように、本発明の立体映像呈示装置は、例えば、仏像等の文化財を立体的に表現して観察者に呈示する装置、観察者の動きや操作に応じて立体映像の呈示を行う双方向性を備えた娯楽装置、医学教育用の立体映像システム等に用いるのに適している。
【図面の簡単な説明】
【０１５４】
【図１】本発明の第１実施形態の立体映像呈示装置の全体構成図。
【図２】第１実施形態において前面に配置された第１の画像呈示面で表示する画像を撮影する際の左右の実写カメラによる撮影状況を説明する立面図（側方から見た図）。
【図３】第１実施形態において前面に配置された第１の画像呈示面で表示する画像を撮影する際の左右の実写カメラによる撮影状況を説明する平面図（上方から見た図）。
【図４】第１実施形態において水平面に配置された第２の画像呈示面で表示する画像を撮影する際の左右の実写カメラによる撮影状況を説明する立面図（側方から見た図）。
【図５】本発明の第２実施形態の立体映像呈示装置の全体構成図。
【図６】第２実施形態において画像呈示面に対する観察者の相対位置（視距離Ｄ）に応じて画像呈示面の画像呈示方式や傾斜角度θが変化する状態を示す説明図。
【図７】第２実施形態の立体映像呈示装置による立体映像呈示処理の流れを示すフローチャートの図。
【図８】本発明の第１の変形の形態を示す構成図。
【図９】本発明の第２の変形の形態を示す構成図。
【図１０】本発明の第３の変形の形態を示す構成図。
【図１１】本発明の第４の変形の形態を示す構成図。
【図１２】従来のパースペクティブを無くす補正処理の第１の説明図。
【図１３】従来のパースペクティブを無くす補正処理の第２の説明図。
【図１４】従来のパースペクティブを無くす補正処理の第３の説明図。
【図１５】従来のパースペクティブを無くす補正処理の第４の説明図。
【図１６】交差法による撮影で生じるキーストーンひずみの第１の説明図。
【図１７】交差法による撮影で生じるキーストーンひずみの第２の説明図。
【符号の説明】
【０１５５】
１０，２００，３００，４００，５００ 立体映像呈示装置
２１，３１，２１１，３０１，３０２，４０２〜４０５，５０１，５０２， 画像呈示面
４０，２２０ 画像呈示面角度検出手段
５１ 撮像面制御手段
５２，２５３ 画像表示処理手段
５３，６００ 画像記憶手段
６０，７０ 実写カメラ
６１，７１ 実写カメラの撮像面
６２，７２ 撮像面駆動手段
２３０ 画像呈示面駆動手段
２４０，５０３ 観察者位置検出手段
２５１ 画像呈示面制御手段
２５２ コンピュータ・グラフィクス画像生成手段
２５４ モデル情報記憶手段
２６０ 仮想カメラ
２６１ 仮想カメラの撮像面
θ 画像呈示面の傾斜角度
α 実写カメラの撮像面の傾斜角度、または仮想カメラの撮像面の傾斜角度パラメータ
【技術分野】
【０００１】
本発明は、立体映像を呈示する立体映像呈示装置に係り、例えば、仏像等の文化財を立体的に表現して観察者に呈示する装置、観察者の動きや操作に応じて立体映像の呈示を行う双方向性を備えた娯楽装置、医学教育用の立体映像システム等に利用できる。
【背景技術】
【０００２】
従来の立体映像は、観察者の前方に設置された画像呈示面に表示され、その前後に対象を再生することで奥行き感を演出していた。これに対し、画像呈示面を水平に設置し、その垂直方向に立体像を再生する水平表示型の立体映像は、通常の立体映像とは異なり、「高さ」の表現が可能である。本願の発明者らは、１９９３年より立体映像の水平表示に注目した研究開発を行い、特許出願（特許文献１参照）や医学教育分野への応用等（例えば、非特許文献１，２参照）に取り組んできた。
【０００３】
ところで、画像呈示面を水平に、すなわち地面と平行に設置し、立体映像を斜め上方から観察する場合には、観察者の視点を想定し、呈示面全域の視差量の平均が０になるように調整したり、台形補正によりパースペクティブ（Perspective）を変化させる等、適正な立体像が再生されるように視差量を設定する必要がある。また、この視差量の設定方法、特にパースペクティブを変化させる方法については、国内外で幾つかの提案がなされている（特許文献２〜６参照）。
【０００４】
例えば、図１２および図１３に示すように、水平面９００上に描かれた被写体としての正方形９０１について、左眼用および右眼用の実写カメラ９０２，９０３を用いて平行法により撮影を行うものとする。ここで、左右の実写カメラ９０２，９０３の各撮像面９０４，９０５は、図示の如く、通常、カメラの撮影方向（レンズの光軸方向）に対して直角に配置されているので、これらの撮像面９０４，９０５で撮像される画像は、これらの撮像面９０４，９０５と平行な面、つまりカメラの撮影方向に対して直角な投影面９０６に投影された状態の画像となり、被写体の存在する空間においては、水平面ではなく、斜めの面が投影面９０６となる。従って、正方形９０１は、図１３に示すように、左眼用画像および右眼用画像において、高さが縮み、かつ、左右方向に歪んだ台形９０７，９０８の状態に写り、正方形９０１の遠方側の辺の左端のＡ点は、台形９０７，９０８のＡ1L点およびＡ1R点に写り、正方形９０１の中央のＢ点は、台形９０７，９０８のＢ1L点およびＢ1R点に写り、正方形９０１の近方側の辺の右端のＣ点は、台形９０７，９０８のＣ1L点およびＣ1R点に写る。
【０００５】
一般に、平行法で撮影すると、図１２および図１３に示すように、左眼用画像では、被写体が右側に写り、右眼用画像では、同一の被写体が左側に写るので、平行法で撮影された左眼用画像および右眼用画像を何らシフトすることなく同一の画像呈示面上で表示すると、左右の視線が交差になり、立体像が全体的に画像呈示面の手前側（観察者側）に再生される。従って、平行法で撮影した場合には、左眼用画像および右眼用画像を同側方向にシフトし、台形９０７のＢ1L点と台形９０８のＢ1R点とを一致させ、画像呈示面の全体的な視差量が０になるように調整する。
【０００６】
ところが、このように同側方向へのシフトで視差量を調整しても、撮影された左眼用画像および右眼用画像を、水平に設定された画像呈示面９０９で表示すると、これを観察者の左右の眼９１０で斜め上方から観察した場合には、実写カメラ９０２，９０３による撮影の場合と同様に、投影面９１１に投影された状態の画像が、観察者の眼９１０に映る。従って、観察者の左右の眼９１０に映る像は、図１３に示すように、水平な画像呈示面９０９で表示された台形９０７，９０８が、より一層高さが縮み、かつ、より一層左右方向に歪んだ台形９１２，９１３の状態の像となる。
【０００７】
図１３において、台形９０７のＢ1L点と台形９０８のＢ1R点とを一致させたときの台形９０７のＡ1L点と台形９０８のＡ1R点との視差量ＳA1、および台形９０７のＣ1L点と台形９０８のＣ1R点との視差量ＳC1が、適正な立体像を再生するための視差量であるとすると、台形９１２のＢ2L点と台形９１３のＢ2R点とを一致させたときの台形９１２のＡ2L点と台形９１３のＡ2R点との視差量ＳA2は、適正な視差量ＳA1に比べて同側方向のずれ量が大きくなっているので、適正な立体像を再生した場合に比べ、Ａ点は、画像呈示面の奥側に再生されることになる。一方、台形９１２のＢ2L点と台形９１３のＢ2R点とを一致させたときの台形９１２のＣ2L点と台形９１３のＣ2R点との視差量ＳC2は、適正な視差量ＳC1に比べて交差方向のずれ量が大きくなっているので、適正な立体像を再生した場合に比べ、Ｃ点は、画像呈示面の手前側に再生されることになる。
【０００８】
以上のことを立体的な被写体で考えると、図１４および図１５のようになる。図１４に示すように、水平面９２０から垂直に立ち上がった被写体である４角柱９２１を、左眼用および右眼用の実写カメラにより斜め上方から撮影すると、左右の実写カメラの各撮像面９２２，９２３で撮像された左眼用画像および右眼用画像には、図１５に示すような高さの縮んだ４角柱９２４，９２５が写る。これは、前述した図１３の台形９０７，９０８に相当するものである。そして、これらの高さの縮んだ４角柱９２４，９２５が写っている左眼用画像および右眼用画像を、水平に設置された画像呈示面で表示すると、前述した図１３の場合と同様に、観察者の眼には、４角柱９２４，９２５の状態ではなく、４角柱９２４，９２５よりも、さらに高さの縮んだ４角柱が写る。これは、図１３の台形９１２，９１３に相当するものである。従って、観察者の眼には、実際には水平面９２０から垂直に立ち上がっている４角柱９２１が、画像呈示面の奥側方向に倒れて見えることになる。
【０００９】
これを解消するためには、カメラで撮像された左眼用画像および右眼用画像についてパースペクティブを無くす補正処理（台形を矩形にする演算処理）を行ってから、水平に設置された画像呈示面で表示する必要がある。このようなパースペクティブを無くす補正処理を行うと、図１５に示すように、高さの縮んだ４角柱９２４，９２５は、引き伸ばされるとともに上側の部分ほど幅を拡げられ、４角柱９２６，９２７の状態となる。この補正処理後の画像に写っている４角柱９２６，９２７は、図１４に示すように、４角柱９２１を水平面２０に投影した４角柱９２８，９２９に相当するものである。つまり、水平に設置された画像呈示面で表示する左眼用画像および右眼用画像は、水平面２０に投影された画像と同じ状態にすれば、適正な立体像が得られることになる。
【００１０】
なお、実写カメラで撮影する場合のみならず、コンピュータ・グラフィクス画像生成用の仮想カメラを用いてレンダリング処理を行って生成されたコンピュータ・グラフィクス画像を、水平に設置された画像呈示面で表示する場合にも同様なことがいえる。
【００１１】
また、以上においては、平行法による撮影の場合を説明したが、一般に、図１６に示すように交差法による撮影を行うと、図１７に示すようなキーストーン（Keystone）ひずみが生じることが知られている（非特許文献３、ｐ．１０８参照）。図１６において、左眼用および右眼用の実写カメラ９４０，９４１で交差法により被写体９４２を撮影すると、左右の実写カメラ９４０，９４１の各撮像面９４３，９４４で撮像される左眼用画像および右眼用画像は、これらの撮像面９４３，９４４と平行な面、すなわちカメラの光軸と直交する投影面９４５，９４６に投影される画像となる。従って、これらの左眼用画像および右眼用画像を、図１６中の二点鎖線で示すような観察者の前方に配置した画像呈示面９４７で立面表示すると、図１７に示すように画像呈示面９４７の周辺部で左右の画像がひずんで垂直方向のズレ（垂直視差という。）を生じ、視覚的な負担の原因となる。なお、ここでは、画像呈示面が立面であるものとして説明を行ったが、画像呈示面を水平とし、被写体を上方から撮影すると考えても同様であり、交差法による撮影を行えば、水平な画像呈示面で呈示される立体映像にはキーストーンひずみが生じる。
【００１２】
一方、両眼視差を利用した立体映像の呈示方式は、様々なものが考案されているが、未だ完全なものはないのが現状である。例えば、立体映像の裸眼呈示で用いられるレンティキュラ方式（非特許文献３、ｐ．７６−７７参照）では、２眼式では解像度は高くなるが視域が狭く、多眼式では視域は広くなるが解像度は低くなるという問題が生じる。
【００１３】
また、水平表示を含めた複数の画像呈示面を利用する立体映像呈示方式としては、前面（正面）および左右の側面での立面表示並びに床面での水平表示を行うようにした、イリノイ大学で発明されたＣＡＶＥ（Cave Automatic Virtual Environment）がその代表といえるが、画像呈示方式は、液晶シャッタメガネを用いた時分割方式のみで実施されている、すなわち全ての画像呈示面で同一の画像呈示方式が採用されているのが現状である。
【００１４】
【特許文献１】特開平７−２６１１１８号公報（請求項１、図１、要約）
【特許文献２】特開２００４−１７８５７９号公報（請求項１、図８）
【特許文献３】特開２００４−１７８５８１号公報（請求項１、図８、要約）
【特許文献４】特開２００４−２０６６７２号公報（図２３、要約）
【特許文献５】米国特許第６３８９２３６号明細書
【特許文献６】米国特許第６６１４４２７号明細書
【非特許文献１】河合隆史、野呂影勇、“外科手技教育と立体映像システム”、医科器械学、日本医科器械学会、１９９９年、Ｖｏｌ．６９、Ｎｏ．３、ｐ．１３０−１３４
【非特許文献２】河合隆史、野呂影勇、他、“バーチャルリアリティを用いた作業環境の収録と提示”、ヒューマンサイエンス、財団法人ヒューマンサイエンス振興財団、１９９７年、Ｖｏｌ．９、Ｎｏ．２、ｐ．５７−６３
【非特許文献３】河合隆史、田中見和著、“次世代メディアクリエータ入門［１］、立体映像表現”、初版、株式会社カットシステム、２００３年１２月１０日、ｐ．７６−７７、ｐ．１０８
【発明の開示】
【発明が解決しようとする課題】
【００１５】
前述したように水平に設置された画像呈示面で立体表示を行う場合に、従来より行われているパースペクティブを無くす補正処理（前述した特許文献２〜６参照）は、実写カメラやコンピュータ・グラフィクス画像生成用の仮想カメラを用いて画像を撮影または生成した後における立体映像に対する２次的な補正処理である。このため、複雑な演算処理を行わなければならず、演算処理の負荷が大きく、時間がかかるという問題がある。
【００１６】
また、パースペクティブを無くす補正処理は、水平表示を行う場合のみならず、画像呈示面が傾斜している場合にも、カメラの撮影方向がその画像呈示面に対して斜めになっている限りは必要となる。しかし、画像呈示面を傾斜させる場合についても、従来より行われているパースペクティブを無くす補正処理方法を応用することで、適正な立体像を再生することが可能になるかもしれないが、それは水平表示の場合と同様に、画像の撮影または生成後における２次的な補正処理に過ぎないため、抱える問題は、水平表示の場合と同じである。
【００１７】
従って、水平または傾斜した画像呈示面で立体映像を呈示する場合に、適正（自然）な立体像が再生されるように画像を撮影または生成することができるシステムの構築が望まれる。
【００１８】
さらに、前述したイリノイ大学のＣＡＶＥでは、水平な画像呈示面（床面）において歪みのない立体像がリアルタイムで生成されているが、仮想カメラによる撮影方法は、あくまでも平行法であるから、交差法による撮影でも適正な立体像が再生されるようなシステムの構築が望まれる。
【００１９】
そして、前述したように、両眼視差を利用した立体映像の呈示方式は、様々なものが考案されているが、未だ完全なものはない。メガネあり方式は勿論不完全であるといえるが、メガネの不要な裸眼方式においても、解像度を向上させるには視域を、視域を拡大するには解像度を、それぞれ犠牲にする必要がある。従って、こうした相反する要件を相互に補完し、解像度と視域を両立させることができる複合的なシステムの構築が望まれる。なお、前述したイリノイ大学のＣＡＶＥは、複数の画像呈示面を備えているが、画像呈示方式は１つ（液晶シャッタメガネを用いた時分割方式のみ）であるため、解像度と視域を両立させることはできない。
【００２０】
また、立体映像の観察者の眼または頭部の位置は、画像呈示面に対して常に相対的に固定された位置であるとは限らず、両者の相対的な関係は動的に変化する場合もある。すなわち、観察者の眼または頭部の位置を固定したままの状態で、画像呈示面を動かしてその傾斜を変化させたり、逆に、固定された画像呈示面に対し、観察者が近接または離隔する行動をとったり、あるいはこれらの動きを複合させれば、観察者に対して立体映像を呈示する際の環境は変化する。このような環境（画像呈示面の傾斜角度、観察者から画像呈示面までの視距離）の変化に対し、そのときの状況に応じて最適な立体映像を呈示するには、前述したパースペクティブを無くす補正処理またはそれに相当する処理、あるいは前述した解像度と視域との調整処理等を、再生時の環境に応じて行っていく必要が生じるが、そのような制御を行う立体映像呈示装置は、これまで存在しなかった。このため、立体映像の精緻かつ柔軟な表現が制約されているという問題があった。従って、観察者に対して一方的に立体映像を呈示するのではなく、観察者の動きや操作を入力し、観察者の動きや操作に応じて最適な立体映像を呈示することができるインタラクティブ性（双方向性）を備えた立体映像呈示装置を実現するためにも、再生時の環境（画像呈示面の傾斜角度や視距離）に応じた画像呈示制御を行うことができるシステムの構築が望まれる。
【００２１】
本発明の目的は、立体映像を自然かつ精緻に表現することができる立体映像呈示装置を提供するところにある。
【課題を解決するための手段】
【００２２】
本発明の立体映像呈示装置は、複数の画像呈示面を備えている場合と、１つの画像呈示面を備えている場合とに適用することができるので、先ず、前者について記載する。
【００２３】
＜複数の画像呈示面を備えている場合＞
【００２４】
本発明の立体映像呈示装置は、複数の画像呈示面を備え、これらの画像呈示面の各画像呈示方式の中には、複数種類の画像呈示方式が含まれ、これらの画像呈示方式のうちの少なくとも一種類は、立体映像呈示方式であることを特徴とするものである。
【００２５】
ここで、「複数種類の画像呈示方式が含まれ」とは、画像呈示面の個数が２つの場合には、２つの画像呈示面の画像呈示方式が互いに異なる方式であることを意味し、画像呈示面の個数が３つ以上の場合には、全ての画像呈示面の画像呈示方式が異なる方式であってもよく、あるいは一部に同じ画像呈示方式の画像呈示面が含まれていてもよい趣旨である。一部に同じ画像呈示方式の画像呈示面を含める場合とは、例えば、前面（正面、すなわち観察者に正対する面）、左右の側面（立面）、および床面（水平面）に略袋小路状に４つの画像呈示面を配置する場合（後述する図９参照）には、これらの４つの画像呈示面のうち、前面を第１の画像呈示方式（例えば、２眼式レンティキュラ方式）とし、左右の側面および床面を第２の画像呈示方式（例えば、多眼式レンティキュラ方式）としたり、あるいは、前面および左右の側面を第１の画像呈示方式（例えば、２眼式レンティキュラ方式）とし、床面を第２の画像呈示方式（例えば、多眼式レンティキュラ方式）としたり、さらには、前面を第１の画像呈示方式（例えば、２眼式レンティキュラ方式）とし、左右の側面を第２の画像呈示方式（例えば、多眼式（８眼式等）レンティキュラ方式）とし、床面を第３の画像呈示方式（例えば、より眼数の多い多眼式（１６眼式等）レンティキュラ方式）とする場合等が含まれる。
【００２６】
また、「画像呈示方式」には、立体視の映像を呈示する立体映像呈示方式のみならず、平面視の映像を呈示する平面映像呈示方式も含まれる。従って、本発明で「画像呈示方式のうちの少なくとも一種類は、立体映像呈示方式である」とされているのは、複数の画像呈示面の全ての画像呈示方式が立体映像呈示方式でもよく、立体映像呈示方式および平面映像呈示方式が組み合わされていてもよい趣旨である。そして、立体映像呈示方式には、メガネ式として、例えば、偏光メガネ式（２台のプロジェクタにより形成された互いに偏光方向の異なる光をスクリーン上で重ねる方式、マイクロポール方式等）、液晶シャッタ式等が含まれ、メガネなし方式として、例えば、レンティキュラ方式（２眼式レンティキュラ方式、多眼式（３眼式、８眼式等）レンティキュラ方式等）、パララックスバリア方式（イメージスプリッタ方式、ダブルイメージスプリッタ方式等）、バックライト分割式、インテグラル・フォトグラフィ方式（ＩＰ方式）等が含まれる。なお、本発明では、例えば、レンティキュラ方式については、２眼式レンティキュラ方式と多眼式（３眼式、８眼式等）レンティキュラ方式の如く、眼数が異なる場合には、異なる画像呈示方式であるものとする。他の方式についても同様であり、本発明における画像呈示方式は、細分化された方式であるものとする。
【００２７】
さらに、「画像呈示面」には、観察者の頭部に装着されるヘッドマウントディスプレイ（ＨＭＤ）を構成する画面も含まれる。
【００２８】
そして、「画像呈示面」には、ディスプレイ画面（プロジェクタによる映写が行われる大型または小型スクリーンの画面、小型モニタの画面、携帯電話機や携帯情報端末等の携帯機器のディスプレイ画面を含む。）のみならず、印刷物による画像呈示面（印刷された実写画像、印刷されたコンピュータ・グラフィクス画像、印刷されたアニメーション画像等を呈示する面）も含まれ、印刷物による画像呈示面とする場合にも、立体映像呈示方式および平面映像呈示方式のいずれも採用することができる。
【００２９】
このような本発明の立体映像呈示装置においては、複数の画像呈示面で、異なる画像呈示方式により画像を表示（印刷を含む。）することにより、複数種類の画像呈示方式を組み合わせて、互いの方式の欠点を補完するような立体映像の呈示が可能となる。例えば、解像度と視域を両立させる立体映像の呈示が可能となる。このため、立体映像を自然かつ精緻に表現することができるようになり、これにより前記目的が達成される。
【００３０】
また、前述した立体映像呈示装置において、複数の画像呈示面の各画像呈示方式の中には、複数種類の立体映像呈示方式が含まれることが望ましい。
【００３１】
ここで、「複数種類の立体映像呈示方式が含まれる」とは、全ての画像呈示面の画像呈示方式がそれぞれ異なる立体映像呈示方式でもよく、あるいは一部に同じ立体映像呈示方式の画像呈示面が含まれていてもよく、さらには一部に平面映像呈示方式の画像呈示面が含まれていてもよい趣旨である。
【００３２】
このように複数種類の立体映像呈示方式を含める構成とした場合には、複数の画像呈示面で、異なる立体映像呈示方式により左眼用画像および右眼用画像を表示（印刷を含む。）することにより、複数種類の立体映像呈示方式を組み合わせて、互いの方式の欠点を補完するような立体映像の呈示が可能となる。このため、立体映像を、より自然かつ精緻に表現することができるようになり、これにより前記目的が達成される。
【００３３】
さらに、前述した立体映像呈示装置において、複数の画像呈示面のうちの少なくとも１つの画像呈示面で呈示される画像は、実写カメラの撮像面の傾斜角度またはコンピュータ・グラフィクス画像生成用の仮想カメラの撮像面の傾斜角度パラメータを、各画像呈示面の傾斜角度と一致または略一致させて撮影または生成された画像であることが望ましい。
【００３４】
ここで、上記のようにして撮像面の傾斜角度または傾斜角度パラメータを調整して撮影または生成された画像を呈示する画像呈示面の画像呈示方式が両眼視差を利用した立体映像呈示方式である場合には、この画像呈示面で呈示される左眼用画像および右眼用画像は、左右の実写カメラの各撮像面の傾斜角度またはコンピュータ・グラフィクス画像生成用の左右の仮想カメラの各撮像面の傾斜角度パラメータを、この画像呈示面の傾斜角度とそれぞれ一致または略一致させて撮影または生成された画像とする。
【００３５】
なお、ここでいう「実写カメラの撮像面の傾斜角度」または「コンピュータ・グラフィクス画像生成用の仮想カメラの撮像面の傾斜角度パラメータ」とは、実写カメラや仮想カメラの筐体に対する撮像面の相対的な傾斜角度ではなく、被写体（コンピュータ・グラフィクスではモデル）の存在する空間にけおる撮像面の絶対的な傾斜角度をいう。従って、「画像呈示面の傾斜角度とそれぞれ一致または略一致させて」とは、撮像面を画像呈示面と平行または略平行に配置するという意味である。以下の発明においても同様である。
【００３６】
このようにカメラの撮像面の傾斜角度を、画像呈示面の傾斜角度と一致または略一致させた状態で撮影または生成された画像を用いる構成とした場合には、画像呈示面で画像を表示（印刷を含む。）するにあたり、従来より行われていたパースペクティブを無くすための補正処理、すなわち実写カメラまたは仮想カメラによる画像の撮影または生成後に２次的に行う演算処理を省略することができ、カメラによる画像の撮影または生成を終えた時点で、パースペクティブのない画像を得て、これを画像呈示面で表示（印刷を含む。）することが可能となる。このため、より一層自然かつ精緻に表現された立体映像を得ることが可能となるうえ、前述した特許文献２〜６に記載されたパースペクティブを無くすための複雑な演算処理を行う必要がなくなるので、処理負担の軽減が図られる。
【００３７】
そして、カメラの撮像面の傾斜角度を、画像呈示面の傾斜角度と一致または略一致させた状態で撮影または生成された画像を用いる構成として、より具体的には、以下のような構成を挙げることができる。
【００３８】
すなわち、前述した立体映像呈示装置において、複数の画像呈示面のうちの少なくとも１つの画像呈示面は、実写カメラによりリアルタイムで撮影された実写画像を呈示し、かつ、傾斜角度を変更可能な構成とされ、実写カメラに傾斜角度を変更可能に設けられた撮像面と、この撮像面で撮像された実写画像を画像呈示面に表示する処理を行う画像表示処理手段と、撮像面を駆動して撮像面の傾斜角度を変化させる撮像面駆動手段と、画像呈示面の傾斜角度を検出する画像呈示面角度検出手段と、この画像呈示面角度検出手段による検出信号に基づき画像呈示面の傾斜角度と撮像面の傾斜角度とを一致または略一致させるための制御信号を生成して撮像面駆動手段へ送信する撮像面制御手段とを備えた構成とすることができる。
【００３９】
ここで、画像呈示面の画像呈示方式が両眼視差を利用した立体映像呈示方式である場合には、立体映像呈示用の左眼用画像および右眼用画像を撮影する左右の実写カメラのそれぞれに傾斜角度を変更可能な撮像面を設け、撮像面制御手段は、画像呈示面角度検出手段による検出信号に基づき、画像呈示面の傾斜角度と左右の実写カメラの各撮像面の傾斜角度とをそれぞれ一致または略一致させるための制御信号を生成して撮像面駆動手段へ送信する構成とする（例えば、後述する図１の前面に配置された画像呈示面の場合等）。なお、撮像面駆動手段は、左右の実写カメラのそれぞれに設けられて左右の実写カメラの各撮像面を別々に駆動する構成としてもよく、あるいは左右の実写カメラの撮像面をまとめて同時に駆動する構成としてもよい。
【００４０】
このように実写カメラに傾斜角度を変更可能な撮像面を設けるとともに、実写カメラによりリアルタイムで撮影された実写画像を呈示し、かつ、傾斜角度を変更可能な画像呈示面を設けた場合には、画像呈示面角度検出手段により、画像呈示面の傾斜角度を検出し、撮像面制御手段により、画像呈示面角度検出手段による検出信号に基づき画像呈示面の傾斜角度と撮像面の傾斜角度とを一致または略一致させるための制御信号を生成して撮像面駆動手段へ送信し、撮像面駆動手段により、撮像面制御手段からの制御信号を受信して撮像面を駆動して撮像面の傾斜角度を変化させ、画像表示処理手段により、傾斜角度調整後の撮像面で撮像された実写画像を画像呈示面に表示する処理を行う。このため、再生時の環境（画像呈示面の傾斜角度）に応じて撮像面の傾斜角度を変化させて画像を取得することが可能となるので、観察者に対し、適正な映像を呈示することが可能となる。特に、立体映像を呈示する場合には、ゆがみを除去した自然な立体像が再生される。また、撮像面の傾斜角度をリアルタイムで変化させて画像を取得することが可能となるので、柔軟かつ多様な映像を表現することが可能となり、特に、立体映像の表現では、それが顕著になる。
【００４１】
また、前述した立体映像呈示装置において、複数の画像呈示面のうちの少なくとも１つの画像呈示面は、コンピュータ・グラフィクス画像生成用の仮想カメラを用いてリアルタイムでレンダリング処理を行うことにより生成されたコンピュータ・グラフィクス画像を呈示し、かつ、傾斜角度を変更可能な構成とされ、コンピュータ・グラフィクス用のモデルに関する情報を記憶するモデル情報記憶手段と、画像呈示面の傾斜角度を検出する画像呈示面角度検出手段と、この画像呈示面角度検出手段による検出信号に基づきモデル情報記憶手段に記憶されたモデルに関する情報を用いて仮想カメラの撮像面の傾斜角度パラメータを画像呈示面の傾斜角度と一致または略一致させてレンダリング処理を行うことによりコンピュータ・グラフィクス画像を生成するコンピュータ・グラフィクス画像生成手段と、このコンピュータ・グラフィクス画像生成手段により生成されたコンピュータ・グラフィクス画像を画像呈示面に表示する処理を行う画像表示処理手段とを備えた構成とすることができる。
【００４２】
ここで、画像呈示面の画像呈示方式が両眼視差を利用した立体映像呈示方式である場合には、コンピュータ・グラフィクス画像生成手段は、左右の仮想カメラの各撮像面の傾斜角度パラメータを画像呈示面の傾斜角度とそれぞれ一致または略一致させてレンダリング処理を行うことにより左右のコンピュータ・グラフィクス画像を生成する構成とする（後述する図５参照）。
【００４３】
このように仮想カメラの撮像面の傾斜角度パラメータを設定できるようにするとともに、仮想カメラを用いてリアルタイムでレンダリング処理を行うことにより生成されたコンピュータ・グラフィクス画像を呈示し、かつ、傾斜角度を変更可能な画像呈示面を設けた場合には、画像呈示面角度検出手段により、画像呈示面の傾斜角度を検出し、コンピュータ・グラフィクス画像生成手段により、画像呈示面角度検出手段による検出信号に基づきモデル情報記憶手段に記憶されたモデルに関する情報を用いて仮想カメラの撮像面の傾斜角度パラメータを画像呈示面の傾斜角度と一致または略一致させてレンダリング処理を行うことによりコンピュータ・グラフィクス画像を生成し、画像表示処理手段により、コンピュータ・グラフィクス画像生成手段により生成されたコンピュータ・グラフィクス画像を画像呈示面に表示する処理を行う。このため、再生時の環境（画像呈示面の傾斜角度）に応じて撮像面の傾斜角度パラメータを変化させてＣＧ画像を生成することが可能となるので、観察者に対し、適正な映像を呈示することが可能となる。特に、立体映像を呈示する場合には、ゆがみを除去した自然な立体像が再生される。また、撮像面の傾斜角度パラメータをリアルタイムで変化させてＣＧ画像を生成することが可能となるので、柔軟かつ多様な映像を表現することが可能となり、特に、立体映像の表現では、それが顕著になる。
【００４４】
さらに、前述した立体映像呈示装置において、複数の画像呈示面のうちの少なくとも１つの画像呈示面は、実写カメラにより予め撮影された実写画像またはコンピュータ・グラフィクス画像生成用の仮想カメラを用いてレンダリング処理を行うことにより予め生成されたコンピュータ・グラフィクス画像を呈示する構成とされ、実写カメラの撮像面の傾斜角度または仮想カメラの撮像面の傾斜角度パラメータを、画像呈示面の傾斜角度と一致または略一致させて撮影または生成された画像を記憶する画像記憶手段と、この画像記憶手段に記憶された画像を画像呈示面に表示する処理を行う画像表示処理手段とを備えた構成とすることができる。
【００４５】
ここで、画像呈示面の画像呈示方式が両眼視差を利用した立体映像呈示方式である場合には、画像記憶手段に、左右の実写カメラの各撮像面の傾斜角度または左右の仮想カメラの各撮像面の傾斜角度パラメータを、この画像呈示面の傾斜角度とそれぞれ一致または略一致させて撮影または生成された左眼用画像および右眼用画像を記憶させ、画像表示処理手段は、これらの左眼用画像および右眼用画像をこの画像呈示面に表示する処理を行う構成とする（例えば、後述する図１の水平面に配置された画像呈示面の場合等）。
【００４６】
このように実写カメラにより予め撮影された実写画像または仮想カメラを用いてレンダリング処理を行うことにより予め生成されたコンピュータ・グラフィクス画像を呈示する画像呈示面を設けた場合には、画像記憶手段に、実写カメラの撮像面の傾斜角度または仮想カメラの撮像面の傾斜角度パラメータを、画像呈示面の傾斜角度と一致または略一致させて撮影または生成された画像を記憶させておき、画像表示処理手段により、画像記憶手段に記憶された画像を画像呈示面に表示する処理を行う。
【００４７】
そして、上記のように、リアルタイムで撮影または生成された画像を用いるのではなく、予め撮影または生成されて画像記憶手段に記憶されている画像を用いる構成とする場合において、複数の画像呈示面のうちの少なくとも１つの画像呈示面は、実写カメラにより予め撮影された実写画像またはコンピュータ・グラフィクス画像生成用の仮想カメラを用いてレンダリング処理を行うことにより予め生成されたコンピュータ・グラフィクス画像を呈示し、かつ、傾斜角度を変更可能な構成とされ、画像呈示面の傾斜角度を検出する画像呈示面角度検出手段を備え、画像記憶手段には、実写カメラの撮像面の傾斜角度または仮想カメラの撮像面の傾斜角度パラメータを変化させて撮影または生成された複数の画像が記憶され、画像表示処理手段は、画像呈示面角度検出手段による検出信号に基づき、画像記憶手段に記憶された複数の画像の中から、検出された画像呈示面の傾斜角度に対応する画像を選択または補間生成して画像呈示面に表示する処理を行う構成としてもよい。
【００４８】
ここで、「実写カメラの撮像面の傾斜角度または仮想カメラの撮像面の傾斜角度パラメータを変化させて撮影または生成された複数の画像」とは、一定の角度間隔（例えば、５度間隔、１０度間隔等）で撮影または生成された複数の画像でもよく、あるいは不均等な角度間隔で撮影または生成された複数の画像でもよい。
【００４９】
また、「画像呈示面の傾斜角度に対応する画像」とは、実写カメラの撮像面の傾斜角度または仮想カメラの撮像面の傾斜角度パラメータが、画像呈示面角度検出手段により検出された画像呈示面の傾斜角度と一致または略一致する状態で撮影または生成された画像である。なお、一致または略一致する状態で撮影または生成された画像が無い場合には、最も近い状態で撮影または生成された画像を選択してもよく、あるいは補間処理を行って対応する画像を生成してもよい。例えば、実写カメラの撮像面の傾斜角度または仮想カメラの撮像面の傾斜角度パラメータを１０度および２０度として撮影または生成された画像がある場合において、画像呈示面角度検出手段により検出された画像呈示面の傾斜角度が１３度であったときには、近い方の１０度で撮影または生成された画像を選択してもよく、あるいは１０度で撮影または生成された画像と２０度で撮影または生成された画像とを用いて補間画像を生成してもよい。この際、補間画像は、前後の角度（上記の例では、１０度および２０度）で撮影または生成された画像を用いて１次の線形補間を行って生成してもよく、あるいは前後の角度で撮影または生成された画像以外の画像を用いて２次以上の補間を行って生成してもよい。
【００５０】
さらに、呈示する画像が動画像（例えば、一定周期で同じ舞動作を繰り返す蝶々、一定周期で同じ回遊動作を繰り返す熱帯魚等の繰返画像、あるいは繰返しは無いがストーリー性を持って完結する説明用、ＰＲ用等の一連の画像）である場合には、画像記憶手段には、実写カメラの撮像面の傾斜角度または仮想カメラの撮像面の傾斜角度パラメータを変化させて撮影または生成された複数の画像を時系列で記憶させる。すなわち、各時刻のそれぞれについて、実写カメラの撮像面の傾斜角度または仮想カメラの撮像面の傾斜角度パラメータを変化させて撮影または生成された複数の画像を用意し、記憶させる（例えば、後述する図１１の場合等）。
【００５１】
このように実写カメラにより予め撮影された実写画像または仮想カメラを用いてレンダリング処理を行うことにより予め生成されたコンピュータ・グラフィクス画像を呈示し、かつ、傾斜角度を変更可能な画像呈示面を設けた場合には、画像記憶手段に、実写カメラの撮像面の傾斜角度または仮想カメラの撮像面の傾斜角度パラメータを変化させて撮影または生成された複数の画像を記憶させておき、画像呈示面角度検出手段により、画像呈示面の傾斜角度を検出し、画像表示処理手段により、画像呈示面角度検出手段による検出信号に基づき、画像記憶手段に記憶された複数の画像の中から、検出された画像呈示面の傾斜角度に対応する画像を選択または補間生成して画像呈示面に表示する処理を行う。このため、再生時の環境（画像呈示面の傾斜角度）に応じて、この環境に合った状態で撮影または生成された画像を表示することが可能となるので、観察者に対し、適正な映像を呈示することが可能となる。特に、立体映像を呈示する場合には、ゆがみを除去した自然な立体像が再生される。
【００５２】
また、以上のように傾斜角度を変更可能な画像呈示面およびこの画像呈示面の傾斜角度を検出する画像呈示面角度検出手段を備えた構成とする場合において、画像呈示面に対する観察者の目または頭部の相対的な位置情報またはこれらの代替情報を検出する観察者位置検出手段と、画像呈示面を駆動して画像呈示面の傾斜角度を変化させる画像呈示面駆動手段と、観察者位置検出手段により検出された情報に基づき画像呈示面に対する観察者の目または頭部の相対位置に応じて画像呈示面の傾斜角度を変化させるための制御信号を生成して画像呈示面駆動手段へ送信する画像呈示面制御手段とを備えた構成としてもよい。
【００５３】
ここで、「代替情報」とは、観察者の目または頭部の相対的な位置情報そのものではなく、別の情報と組み合わせることにより観察者の目または頭部の相対的な位置情報を把握することができる情報であってもよく、あるいは正確な視距離を必要とせずに概略の視距離でよい場合に用いられる情報である。前者の場合は、例えば、画像呈示面と、観察者の足あるいは全身との距離情報等であり、例えば、観察者に身長を入力させる等して、別途の方法で身長を把握することができれば、この身長と、観察者（足や全身）の距離情報とを組み合わせることにより、ほぼ正確な視距離を把握することができる。
【００５４】
このように画像呈示面に対する観察者の目または頭部の相対位置に応じて画像呈示面の傾斜角度を変化させる構成とした場合（後述する図５、図６、図１０参照）には、観察者位置検出手段により、画像呈示面に対する観察者の目または頭部の相対的な位置情報またはこれらの代替情報を検出し、この検出情報に基づき画像呈示面に対する観察者の目または頭部の相対位置に応じて画像呈示面の傾斜角度を変化させ、さらに、前述した画像呈示面角度検出手段により、変化した画像呈示面の傾斜角度を検出し、検出した画像呈示面の傾斜角度に対応する画像（実写カメラの撮像面の傾斜角度または仮想カメラの撮像面の傾斜角度パラメータを、検出した画像呈示面の傾斜角度と一致または略一致させてリアルタイムで撮影または生成された画像、あるいは実写カメラの撮像面の傾斜角度または仮想カメラの撮像面の傾斜角度パラメータを変化させて予め撮影または生成された複数の画像の中から、検出した画像呈示面の傾斜角度に近い状態で撮影または生成された画像として選択された画像、または近い状態で撮影または生成された複数の画像を補間して生成された画像）を呈示することが可能となる。このため、視距離に応じて画像呈示面の傾斜角度を変化させ、このようにして形成された再生時の環境（視距離および画像呈示面の傾斜角度）に応じて、この環境に合った画像を表示することが可能となるので、観察者に対し、適正な映像を呈示することが可能となる。特に、立体映像を呈示する場合には、ゆがみを除去した自然な立体像が再生される。
【００５５】
また、上記のように、観察者位置検出手段による検出情報に基づき画像呈示面の傾斜角度を変化させ、さらに、前述した画像呈示面角度検出手段により、変化した画像呈示面の傾斜角度を検出してから、検出した画像呈示面の傾斜角度に対応する画像を呈示するのではなく、次のように、画像呈示面角度検出手段による検出信号に基づかずに、観察者位置検出手段による検出情報に基づき直接に、画像呈示面の傾斜角度に対応する画像を呈示する構成としてもよい。
【００５６】
すなわち、前述した立体映像呈示装置において、複数の画像呈示面のうちの少なくとも１つの画像呈示面は、実写カメラによりリアルタイムで撮影された実写画像を呈示し、かつ、傾斜角度を変更可能な構成とされ、実写カメラに傾斜角度を変更可能に設けられた撮像面と、この撮像面で撮像された実写画像を画像呈示面に表示する処理を行う画像表示処理手段と、撮像面を駆動して撮像面の傾斜角度を変化させる撮像面駆動手段と、画像呈示面に対する観察者の目または頭部の相対的な位置情報またはこれらの代替情報を検出する観察者位置検出手段と、画像呈示面を駆動して画像呈示面の傾斜角度を変化させる画像呈示面駆動手段と、観察者位置検出手段により検出された情報に基づき画像呈示面に対する観察者の目または頭部の相対位置に応じて画像呈示面の傾斜角度を変化させるための制御信号を生成して画像呈示面駆動手段へ送信する画像呈示面制御手段と、観察者位置検出手段により検出された情報に基づき画像呈示面の傾斜角度と撮像面の傾斜角度とを一致または略一致させるための制御信号を生成して撮像面駆動手段へ送信する撮像面制御手段とを備えた構成としてもよい。
【００５７】
また、前述した立体映像呈示装置において、複数の画像呈示面のうちの少なくとも１つの画像呈示面は、コンピュータ・グラフィクス画像生成用の仮想カメラを用いてリアルタイムでレンダリング処理を行うことにより生成されたコンピュータ・グラフィクス画像を呈示し、かつ、傾斜角度を変更可能な構成とされ、コンピュータ・グラフィクス用のモデルに関する情報を記憶するモデル情報記憶手段と、画像呈示面に対する観察者の目または頭部の相対的な位置情報またはこれらの代替情報を検出する観察者位置検出手段と、画像呈示面を駆動して画像呈示面の傾斜角度を変化させる画像呈示面駆動手段と、観察者位置検出手段により検出された情報に基づき画像呈示面に対する観察者の目または頭部の相対位置に応じて画像呈示面の傾斜角度を変化させるための制御信号を生成して画像呈示面駆動手段へ送信する画像呈示面制御手段と、観察者位置検出手段により検出された情報に基づきモデル情報記憶手段に記憶されたモデルに関する情報を用いて仮想カメラの撮像面の傾斜角度パラメータを画像呈示面の傾斜角度と一致または略一致させてレンダリング処理を行うことによりコンピュータ・グラフィクス画像を生成するコンピュータ・グラフィクス画像生成手段と、このコンピュータ・グラフィクス画像生成手段により生成されたコンピュータ・グラフィクス画像を画像呈示面に表示する処理を行う画像表示処理手段とを備えた構成としてもよい。
【００５８】
さらに、前述した立体映像呈示装置において、複数の画像呈示面のうちの少なくとも１つの画像呈示面は、実写カメラにより予め撮影された実写画像またはコンピュータ・グラフィクス画像生成用の仮想カメラを用いてレンダリング処理を行うことにより予め生成されたコンピュータ・グラフィクス画像を呈示し、かつ、傾斜角度を変更可能な構成とされ、実写カメラの撮像面の傾斜角度または仮想カメラの撮像面の傾斜角度パラメータを変化させて撮影または生成された複数の画像を記憶する画像記憶手段と、画像呈示面に対する観察者の目または頭部の相対的な位置情報またはこれらの代替情報を検出する観察者位置検出手段と、画像呈示面を駆動して画像呈示面の傾斜角度を変化させる画像呈示面駆動手段と、観察者位置検出手段により検出された情報に基づき画像呈示面に対する観察者の目または頭部の相対位置に応じて画像呈示面の傾斜角度を変化させるための制御信号を生成して画像呈示面駆動手段へ送信する画像呈示面制御手段と、観察者位置検出手段により検出された情報に基づき、画像記憶手段に記憶された複数の画像の中から、設定した画像呈示面の傾斜角度に対応する画像を選択または補間生成して画像呈示面に表示する処理を行う画像表示処理手段とを備えた構成としてもよい。
【００５９】
そして、以上に述べた立体映像呈示装置において、複数の画像呈示面のうちの少なくとも１つの画像呈示面は、実写カメラにより撮影された実写画像またはコンピュータ・グラフィクス画像生成用の仮想カメラを用いてレンダリング処理を行うことにより生成されたコンピュータ・グラフィクス画像を、複数種類の画像呈示方式で呈示可能な構成とされ、画像呈示面に対する観察者の目または頭部の相対的な位置情報またはこれらの代替情報を検出する観察者位置検出手段と、この観察者位置検出手段により検出された情報に基づき画像呈示面に対する観察者の目または頭部の相対位置に応じて画像呈示方式を切り替えて実写画像またはコンピュータ・グラフィクス画像を画像呈示面に表示する処理を行う画像表示処理手段とを備えた構成としてもよい。
【００６０】
ここで、画像呈示方式を切替可能な画像呈示面は、傾斜角度を変更可能な画像呈示面であってもよく、あるいは傾斜角度を変更することができない固定された画像呈示面であってもよい。
【００６１】
また、切り替えられる「画像呈示方式」に、立体視の映像を呈示する立体映像呈示方式のみならず、平面視の映像を呈示する平面映像呈示方式も含まれるのは、前述した通りである。従って、多眼式レンティキュラ方式から２眼式レンティキュラ方式への画像呈示方式の切替えの如く、立体映像呈示方式から別の立体映像呈示方式への切替えのみならず、平面映像呈示方式から立体映像呈示方式への切替え、または立体映像呈示方式から平面映像呈示方式への切替えも含まれる。
【００６２】
このように画像呈示面に対する観察者の目または頭部の相対位置に応じて画像呈示方式を切り替える構成とした場合（後述する図５、図６、図１０参照）には、観察者位置検出手段により、画像呈示面に対する観察者の目または頭部の相対的な位置情報またはこれらの代替情報を検出し、画像表示処理手段により、観察者位置検出手段により検出された情報に基づき画像呈示面に対する観察者の目または頭部の相対位置に応じて画像呈示方式を切り替えて実写画像またはコンピュータ・グラフィクス画像を画像呈示面に表示する処理を行う。このため、再生時の環境（視距離）に応じて画像呈示方式を切り替え、この環境に合った画像を表示することが可能となるので、観察者に対し、適正な映像を呈示することが可能となる。
【００６３】
以上においては、複数の画像呈示面を備えている場合について記載したが、以下には、１つの画像呈示面を備えている場合について記載する。なお、１つの画像呈示面を備えている場合についても、複数の画像呈示面を用いて複数種類の画像呈示方式を組み合わせることによる作用・効果が得られないことを除けば、複数の画像呈示面を備えている場合と同様な作用・効果が得られるので、作用・効果についての詳しい記載は省略する。
【００６４】
＜１つの画像呈示面を備えている場合＞
【００６５】
本発明の立体映像呈示装置は、立体映像を呈示する画像呈示面を備え、この画像呈示面で呈示される立体映像を構成する左眼用画像および右眼用画像は、左右の実写カメラの各撮像面の傾斜角度またはコンピュータ・グラフィクス画像生成用の左右の仮想カメラの各撮像面の傾斜角度パラメータを、画像呈示面の傾斜角度とそれぞれ一致または略一致させて撮影または生成された画像であることを特徴とするものである。
【００６６】
そして、このようにカメラの撮像面の傾斜角度を、画像呈示面の傾斜角度と一致または略一致させた状態で撮影または生成された画像を用いる構成として、より具体的には、以下のような構成を挙げることができる。
【００６７】
すなわち、前述した立体映像呈示装置において、画像呈示面は、左右の実写カメラによりリアルタイムで撮影された左眼用および右眼用の実写画像を呈示し、かつ、傾斜角度を変更可能な構成とされ、左右の実写カメラのそれぞれに傾斜角度を変更可能に設けられた撮像面と、これらの撮像面で撮像された左眼用および右眼用の実写画像を画像呈示面に表示する処理を行う画像表示処理手段と、各撮像面を駆動して各撮像面の傾斜角度を変化させる撮像面駆動手段と、画像呈示面の傾斜角度を検出する画像呈示面角度検出手段と、この画像呈示面角度検出手段による検出信号に基づき画像呈示面の傾斜角度と各撮像面の傾斜角度とをそれぞれ一致または略一致させるための制御信号を生成して撮像面駆動手段へ送信する撮像面制御手段とを備えた構成とすることができる。
【００６８】
また、前述した立体映像呈示装置において、画像呈示面は、コンピュータ・グラフィクス画像生成用の左右の仮想カメラを用いてリアルタイムでレンダリング処理を行うことにより生成された左眼用および右眼用のコンピュータ・グラフィクス画像を呈示し、かつ、傾斜角度を変更可能な構成とされ、コンピュータ・グラフィクス用のモデルに関する情報を記憶するモデル情報記憶手段と、画像呈示面の傾斜角度を検出する画像呈示面角度検出手段と、この画像呈示面角度検出手段による検出信号に基づきモデル情報記憶手段に記憶されたモデルに関する情報を用いて左右の仮想カメラの各撮像面の傾斜角度パラメータを画像呈示面の傾斜角度とそれぞれ一致または略一致させてレンダリング処理を行うことにより左眼用および右眼用のコンピュータ・グラフィクス画像を生成するコンピュータ・グラフィクス画像生成手段と、このコンピュータ・グラフィクス画像生成手段により生成された左眼用および右眼用のコンピュータ・グラフィクス画像を画像呈示面に表示する処理を行う画像表示処理手段とを備えた構成とすることができる。
【００６９】
さらに、前述した立体映像呈示装置において、画像呈示面は、左右の実写カメラにより予め撮影された左眼用および右眼用の実写画像またはコンピュータ・グラフィクス画像生成用の左右の仮想カメラを用いてレンダリング処理を行うことにより予め生成された左眼用および右眼用のコンピュータ・グラフィクス画像を呈示する構成とされ、左右の実写カメラの各撮像面の傾斜角度または左右の仮想カメラの各撮像面の傾斜角度パラメータを、画像呈示面の傾斜角度とそれぞれ一致または略一致させて撮影または生成された左眼用画像および右眼用画像を記憶する画像記憶手段と、この画像記憶手段に記憶された左眼用画像および右眼用画像を画像呈示面に表示する処理を行う画像表示処理手段とを備えた構成とすることができる。
【００７０】
そして、上記のように、リアルタイムで撮影または生成された画像を用いるのではなく、予め撮影または生成されて画像記憶手段に記憶されている画像を用いる構成とする場合において、画像呈示面は、左右の実写カメラにより予め撮影された左眼用および右眼用の実写画像またはコンピュータ・グラフィクス画像生成用の左右の仮想カメラを用いてレンダリング処理を行うことにより予め生成された左眼用および右眼用のコンピュータ・グラフィクス画像を呈示し、かつ、傾斜角度を変更可能な構成とされ、画像呈示面の傾斜角度を検出する画像呈示面角度検出手段を備え、画像記憶手段には、左右の実写カメラの各撮像面の傾斜角度または左右の仮想カメラの各撮像面の傾斜角度パラメータを変化させて撮影または生成された複数の左眼用画像および複数の右眼用画像が記憶され、画像表示処理手段は、画像呈示面角度検出手段による検出信号に基づき、画像記憶手段に記憶された複数の左眼用画像および前記複数の右眼用画像の中から、検出された画像呈示面の傾斜角度に対応する左眼用画像および右眼用画像を選択または補間生成して画像呈示面に表示する処理を行う構成としてもよい。
【００７１】
また、以上のように傾斜角度を変更可能な画像呈示面およびこの画像呈示面の傾斜角度を検出する画像呈示面角度検出手段を備えた構成とする場合において、画像呈示面に対する観察者の目または頭部の相対的な位置情報またはこれらの代替情報を検出する観察者位置検出手段と、画像呈示面を駆動して画像呈示面の傾斜角度を変化させる画像呈示面駆動手段と、観察者位置検出手段により検出された情報に基づき画像呈示面に対する観察者の目または頭部の相対位置に応じて画像呈示面の傾斜角度を変化させるための制御信号を生成して画像呈示面駆動手段へ送信する画像呈示面制御手段とを備えた構成（例えば、後述する図５、図６、図１０の場合等）としてもよい。
【００７２】
また、上記のように、観察者位置検出手段による検出情報に基づき画像呈示面の傾斜角度を変化させ、さらに、前述した画像呈示面角度検出手段により、変化した画像呈示面の傾斜角度を検出してから、検出した画像呈示面の傾斜角度に対応する画像を呈示するのではなく、次のように、画像呈示面角度検出手段による検出信号に基づかずに、観察者位置検出手段による検出情報に基づき直接に、画像呈示面の傾斜角度に対応する画像を呈示する構成としてもよい。
【００７３】
すなわち、前述した立体映像呈示装置において、画像呈示面は、左右の実写カメラによりリアルタイムで撮影された左眼用および右眼用の実写画像を呈示し、かつ、傾斜角度を変更可能な構成とされ、左右の実写カメラのそれぞれに傾斜角度を変更可能に設けられた撮像面と、これらの撮像面で撮像された左眼用および右眼用の実写画像を画像呈示面に表示する処理を行う画像表示処理手段と、各撮像面を駆動して各撮像面の傾斜角度を変化させる撮像面駆動手段と、画像呈示面に対する観察者の目または頭部の相対的な位置情報またはこれらの代替情報を検出する観察者位置検出手段と、画像呈示面を駆動して画像呈示面の傾斜角度を変化させる画像呈示面駆動手段と、観察者位置検出手段により検出された情報に基づき画像呈示面に対する観察者の目または頭部の相対位置に応じて画像呈示面の傾斜角度を変化させるための制御信号を生成して画像呈示面駆動手段へ送信する画像呈示面制御手段と、観察者位置検出手段により検出された情報に基づき画像呈示面の傾斜角度と各撮像面の傾斜角度とをそれぞれ一致または略一致させるための制御信号を生成して撮像面駆動手段へ送信する撮像面制御手段とを備えた構成としてもよい。
【００７４】
また、前述した立体映像呈示装置において、画像呈示面は、コンピュータ・グラフィクス画像生成用の左右の仮想カメラを用いてリアルタイムでレンダリング処理を行うことにより生成された左眼用および右眼用のコンピュータ・グラフィクス画像を呈示し、かつ、傾斜角度を変更可能な構成とされ、コンピュータ・グラフィクス用のモデルに関する情報を記憶するモデル情報記憶手段と、画像呈示面に対する観察者の目または頭部の相対的な位置情報またはこれらの代替情報を検出する観察者位置検出手段と、画像呈示面を駆動して画像呈示面の傾斜角度を変化させる画像呈示面駆動手段と、観察者位置検出手段により検出された情報に基づき画像呈示面に対する観察者の目または頭部の相対位置に応じて画像呈示面の傾斜角度を変化させるための制御信号を生成して画像呈示面駆動手段へ送信する画像呈示面制御手段と、観察者位置検出手段により検出された情報に基づきモデル情報記憶手段に記憶されたモデルに関する情報を用いて左右の仮想カメラの各撮像面の傾斜角度パラメータを画像呈示面の傾斜角度とそれぞれ一致または略一致させてレンダリング処理を行うことにより左眼用および右眼用のコンピュータ・グラフィクス画像を生成するコンピュータ・グラフィクス画像生成手段と、このコンピュータ・グラフィクス画像生成手段により生成された左眼用および右眼用のコンピュータ・グラフィクス画像を画像呈示面に表示する処理を行う画像表示処理手段とを備えた構成としてもよい。
【００７５】
さらに、前述した立体映像呈示装置において、画像呈示面は、左右の実写カメラにより予め撮影された左眼用および右眼用の実写画像またはコンピュータ・グラフィクス画像生成用の左右の仮想カメラを用いてレンダリング処理を行うことにより予め生成された左眼用および右眼用のコンピュータ・グラフィクス画像を呈示し、かつ、傾斜角度を変更可能な構成とされ、左右の実写カメラの各撮像面の傾斜角度または左右の仮想カメラの各撮像面の傾斜角度パラメータを変化させて撮影または生成された複数の画像を記憶する画像記憶手段と、画像呈示面に対する観察者の目または頭部の相対的な位置情報またはこれらの代替情報を検出する観察者位置検出手段と、画像呈示面を駆動して画像呈示面の傾斜角度を変化させる画像呈示面駆動手段と、観察者位置検出手段により検出された情報に基づき画像呈示面に対する観察者の目または頭部の相対位置に応じて画像呈示面の傾斜角度を変化させるための制御信号を生成して画像呈示面駆動手段へ送信する画像呈示面制御手段と、観察者位置検出手段により検出された情報に基づき、画像記憶手段に記憶された複数の画像の中から、設定した画像呈示面の傾斜角度に対応する画像を選択または補間生成して画像呈示面に表示する処理を行う画像表示処理手段とを備えた構成としてもよい。
【００７６】
そして、以上に述べた立体映像呈示装置において、画像呈示面は、実写カメラにより撮影された実写画像またはコンピュータ・グラフィクス画像生成用の仮想カメラを用いてレンダリング処理を行うことにより生成されたコンピュータ・グラフィクス画像を、複数種類の画像呈示方式で呈示可能な構成とされ、画像呈示面に対する観察者の目または頭部の相対的な位置情報またはこれらの代替情報を検出する観察者位置検出手段と、この観察者位置検出手段により検出された情報に基づき、画像呈示面に対する観察者の目または頭部の相対位置に応じて画像呈示方式を、立体映像呈示方式から別の立体映像呈示方式へ切り替えるか、立体映像呈示方式から平面映像呈示方式へ切り替えるか、または平面映像呈示方式から立体映像呈示方式へ切り替えて実写画像またはコンピュータ・グラフィクス画像を画像呈示面に表示する処理を行う画像表示処理手段とを備えた構成（例えば、後述する図５、図６、図１０の場合等）としてもよい。
【発明の効果】
【００７７】
以上に述べたように本発明によれば、複数種類の画像呈示方式を組み合わせ、あるいは実写カメラの撮像面の傾斜角度または仮想カメラの撮像面の傾斜角度パラメータを、画像呈示面の傾斜角度と一致または略一致させた状態で撮影または生成された画像を用いて立体映像の呈示を行うので、立体映像を自然かつ精緻に表現することができるという効果がある。
【発明を実施するための最良の形態】
【００７８】
以下に本発明の各実施形態について図面を参照して説明する。
【００７９】
［第１実施形態］
図１には、本発明の第１実施形態の立体映像呈示装置１０の全体構成が示されている。図２および図３は、前面に配置された第１の画像呈示面２１で表示する画像を撮影する際の左右の実写カメラ６０，７０による撮影状況を説明する立面図（側方から見た図）および平面図（上方から見た図）であり、図４は、水平面に配置された第２の画像呈示面３１で表示する画像を撮影する際の左右の実写カメラ６０，７０による撮影状況を説明する立面図（側方から見た図）である。
【００８０】
図１において、立体映像呈示装置１０は、観察者１の前方（正面）に配置されるディスプレイ２０と、水平に配置されるディスプレイ３０と、ディスプレイ２０の傾斜角度（すなわち、ディスプレイ２０の画面である画像呈示面２１の傾斜角度θ）を検出する画像呈示面角度検出手段４０と、ディスプレイ２０，３０で表示する画像の処理を行う画像処理装置５０と、水平面３上に置かれた被写体２を撮影するための左眼用および右眼用の実写カメラ６０，７０とを備えて構成されている。
【００８１】
ディスプレイ２０は、その画面である画像呈示面２１で第１の画像呈示方式（立体映像呈示方式）により立体映像を呈示する装置である。この画像呈示面２１は、観察者１の操作により傾斜角度を自在に変更可能とされ、本実施形態では、左右の実写カメラ６０，７０によりリアルタイムで撮影された左眼用および右眼用の実写画像が表示される。
【００８２】
ディスプレイ３０は、その画面である画像呈示面３１で第２の画像呈示方式（立体映像呈示方式）により立体映像を呈示する装置である。この画像呈示面３１は、水平面に固定されて使用され、本実施形態では、左右の実写カメラ６０，７０により予め撮影された左眼用および右眼用の実写画像が表示される。
【００８３】
ここで、前面に配置される画像呈示面２１の第１の画像呈示方式および水平面に配置される画像呈示面３１の第２の画像呈示方式としては、例えば、双方をメガネなし方式であるレンティキュラ方式とする場合には、視距離のとれる前面に配置される画像呈示面２１では、第１の画像呈示方式として、解像度を優先して２眼式レンティキュラ方式を採用し、一方、近方で視差量の大きくなる水平面に配置される画像呈示面３１では、第２の画像呈示方式として、視域の広い多眼式レンティキュラ方式を採用することができる。また、第１の画像呈示方式として、例えば８眼式等の多眼式レンティキュラ方式を採用し、第２の画像呈示方式として、第１の画像呈示方式よりも眼数の多い例えば１６眼式等の多眼式レンティキュラ方式を採用してもよい。なお、第１および第２の画像呈示方式は、レンティキュラ方式に限定されるものではなく、例えば、パララックスバリア方式、インテグラルフォトグラフィ方式（ＩＰ方式）等としてもよく、要するに、画像呈示面２１，３１の画像呈示方式を互いに異なる方式とすることにより、複数種類の画像呈示方式を組み合わせて観察者の脳内で自然かつ精緻な立体映像空間が構築されるようにすればよい。
【００８４】
画像呈示面角度検出手段４０は、画像呈示面２１の傾斜角度θを検出することができれば、その構成は任意であり、例えば、ロータリエンコーダ、ギャップセンサ、ジャイロセンサ等により実現することができる。なお、図１に示した画像呈示面角度検出手段４０の設置位置や大きさ・形状は、一例に過ぎず、これに限定されるものではない。
【００８５】
画像処理装置５０は、例えばコンピュータにより構成され、撮像面制御手段５１と、画像表示処理手段５２と、画像記憶手段５３とを含んで構成されている。
【００８６】
撮像面制御手段５１は、画像呈示面角度検出手段４０による傾斜角度θの検出信号に基づき、画像呈示面２１の傾斜角度θ，φ（図２、図３参照）と、左眼用および右眼用の実写カメラ６０，７０の各撮像面６１，７１の傾斜角度α，β（図２、図３参照）とを一致または略一致させるための制御信号を生成し、生成した制御信号を撮像面駆動手段６２，７２へ送信する処理を行うものである。ここで、画像呈示面２１の傾斜角度θ，φ（図２、図３参照）と、左眼用および右眼用の実写カメラ６０，７０の各撮像面６１，７１の傾斜角度α，β（図２、図３参照）とを一致または略一致させるという意味は、画像呈示面２１と各撮像面６１，７１とを平行にするという意味であり、３次元空間（ＸＹＺ空間）を形成するＸ軸、Ｙ軸、Ｚ軸のいずれの軸回りの傾斜角度についても一致させるという意味である。また、各撮像面６１，７１の傾斜角度α，βは、図２および図３に示すように、実写カメラ６０，７０の筐体に対する相対的な傾斜角度ではなく、絶対空間における傾斜角度として定義している。なお、画像呈示面２１の傾斜角度θおよび撮像面６１，７１の傾斜角度αは、ディスプレイ２０（つまり、画像呈示面２１）の上下の端縁部に平行な方向、すなわち図２の紙面に直交する方向に延びる軸回りの傾斜角度であり、画像呈示面２１の傾斜角度φおよび撮像面６１，７１の傾斜角度βは、鉛直方向、すなわち図３の紙面に直交する方向に延びる軸回りの傾斜角度である。
【００８７】
画像表示処理手段５２は、左眼用および右眼用の実写カメラ６０，７０によりリアルタイムで撮像された左眼用画像および右眼用画像を、画像呈示面２１に表示するとともに、実写カメラ６０，７０により予め撮影されて画像記憶手段５３に記憶されている左眼用画像および右眼用画像を、画像呈示面３１に表示する処理を行うものである。
【００８８】
画像記憶手段５３は、図４に示すように、左眼用および右眼用の実写カメラ６０，７０により、各撮像面６１，７１の傾斜角度を、水平な画像呈示面３１の傾斜角度と一致または略一致させた状態で、すなわち各撮像面６１，７１と水平な画像呈示面３１とを平行にした状態で、予め撮影された左眼用画像および右眼用画像を記憶するものである。
【００８９】
そして、撮像面制御手段５１および画像表示処理手段５２は、画像処理装置５０を構成するコンピュータ等の内部に設けられた中央演算処理装置（ＣＰＵ）、およびこのＣＰＵの動作手順を規定する１つまたは複数のプログラムにより実現される。
【００９０】
また、画像記憶手段５３は、例えばハードディスク等により好適に実現されるが、記憶容量やアクセス速度等に問題が生じない範囲であれば、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュ・メモリ、ＲＡＭ、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＦＤ、磁気テープ、あるいはこれらの組合せ等を採用してもよい。
【００９１】
実写カメラ６０，７０は、観察者１の左右の眼の位置を想定して配置され、水平面３上に置かれた被写体２を含む左眼用画像および右眼用画像を、交差法で撮影するためのカメラであり、傾斜角度α，β（図２、図３参照）を自在に変更可能に設けられた撮像面６１，７１と、これらの撮像面６１，７１を駆動して撮像面６１，７１の傾斜角度α，βを変化させる撮像面駆動手段６２，７２とを備えている。なお、説明の便宜上、図示も含めて左眼用および右眼用の２つの実写カメラ６０，７０があるかの如く記載されているが、これは単に、左眼および右眼に相当する実写カメラが少なくとも１組分あることを示しているに過ぎず、実際には、多眼式レンティキュラ方式では、より多くの実写カメラが設けられる。例えば、８眼式レンティキュラ方式では、８台の実写カメラが設けられる。
【００９２】
撮像面６１，７１は、例えば、相補性金属酸化膜半導体（ＣＭＯＳ：Complementary Metal-oxide Semiconductor）や電荷結合素子（ＣＣＤ：Charge Coupled Device）等の撮像デバイスの受光面である。
【００９３】
撮像面駆動手段６２，７２は、例えば、モータ、シリンダ装置等により実現される。なお、本実施形態では、左右の実写カメラ６０，７０に撮像面駆動手段６２，７２がそれぞれ個別に設けられているが、撮像面６１，７１をまとめて同時に駆動することができる撮像面駆動手段を設けてもよい。
【００９４】
このような第１実施形態においては、以下のようにして立体映像呈示装置１０により立体映像の呈示を行う。
【００９５】
先ず、観察者１は、前面のディスプレイ２０を手で押したり、引いたりすることにより、画像呈示面２１の傾斜角度θを、自分が立体像を観察し易い所望の角度に調整する。それから、画像呈示面角度検出手段４０により、角度調整後における画像呈示面２１の傾斜角度θが検出される。なお、画像呈示面角度検出手段４０による角度検出は、以下に記載するループ処理の中で毎回行われるが、角度検出後の撮影等の処理は、検出された傾斜角度θが前回検出角度に対して変化したときのみ行うようにしてもよく、あるいは毎回行うようにしてもよい。
【００９６】
続いて、撮像面制御手段５１により、画像呈示面角度検出手段４０による傾斜角度θの検出信号に基づき、画像呈示面２１の傾斜角度θ（図２参照）と、左眼用および右眼用の実写カメラ６０，７０の各撮像面６１，７１の傾斜角度α（図２参照）とを一致または略一致させるための制御信号、すなわち画像呈示面２１と各撮像面６１，７１とを平行にするための制御信号が生成され、生成された制御信号が撮像面駆動手段６２，７２へ送信される。なお、画像呈示面２１の傾斜角度φ（図３参照）と、左眼用および右眼用の実写カメラ６０，７０の各撮像面６１，７１の傾斜角度β（図３参照）とは、変化しないので、一致または略一致した状態を保っている。
【００９７】
撮像面駆動手段６２，７２は、撮像面制御手段５１からの制御信号を受信すると、撮像面６１，７１を駆動して撮像面６１，７１の傾斜角度αを変化させ、画像呈示面２１の傾斜角度θと一致させる。例えば、図２に示すように、画像呈示面２１の傾斜角度θをθAにすると、各撮像面６１，７１の傾斜角度αは、αA（＝θA）に変化する。
【００９８】
この状態で、実写カメラ６０，７０により被写体２を撮影し、撮影して得られた左眼用画像および右眼用画像を、画像表示処理手段５２により、画像呈示面２１にリアルタイムで表示する。なお、前述したように、画像呈示面角度検出手段４０による角度検出で、画像呈示面２１の傾斜角度θの変化が検出されなかった場合には、実写カメラ６０，７０による被写体２の撮影および画像表示処理手段５２による画像呈示面２１の表示内容の更新処理は省略してもよい。また、このような画像呈示面２１への表示処理と同時に、画像表示処理手段５２は、実写カメラ６０，７０により予め撮影されて画像記憶手段５３に記憶されている左眼用画像および右眼用画像を、画像呈示面３１に表示する。なお、本実施形態では、画像呈示面３１の表示内容は、固定している。
【００９９】
そして、再び、画像呈示面角度検出手段４０による角度検出を行い、画像呈示面２１の傾斜角度θが変化していれば、その変化後の状態に応じて各撮像面６１，７１の傾斜角度αを変化させて撮影を行い、以降、同様なループ処理を繰り返す。
【０１００】
このような第１実施形態によれば、次のような効果がある。すなわち、複数の画像呈示面２１，３１で、異なる画像呈示方式により左眼用画像および右眼用画像を表示するので、複数種類の立体映像呈示方式を組み合わせて、互いの方式の欠点を補完するような立体映像の呈示を行うことができる。例えば、解像度と視域を両立させる立体映像の呈示を行うことができる。このため、立体映像を自然かつ精緻に表現することができる。
【０１０１】
また、画像呈示面２１，３１では、実写カメラ６０，７０の各撮像面６１，７１の傾斜角度を、これらの画像呈示面２１，３１の傾斜角度と一致または略一致させた状態で撮影された左眼用画像および右眼用画像を用いて立体映像の呈示が行われるので、従来より行われていたパースペクティブを無くすための補正処理、すなわち実写カメラによる画像の撮影後に２次的に行う演算処理を省略することができ、実写カメラ６０，７０による画像の撮影を終えた時点で、パースペクティブのない画像を得て、これを画像呈示面２１，３１に表示することができる。このため、より一層自然かつ精緻に表現された立体映像を得ることができるうえ、前述した特許文献２〜６に記載されたパースペクティブを無くすための複雑な演算処理を行う必要がなくなるので、処理負担の軽減を図ることができる。
【０１０２】
さらに、再生時の環境（画像呈示面２１の傾斜角度θ）に応じ、各撮像面６１，７１の傾斜角度αを変化させて画像を取得することができるので（図２参照）、ゆがみを除去した自然な立体像を再生することができ、観察者に対し、適正な立体映像を呈示することができる。また、各撮像面６１，７１の傾斜角度αをリアルタイムで変化させるので、柔軟かつ多様な映像を表現することができる。
【０１０３】
そして、画像呈示面２１，３１では、実写カメラ６０，７０の各撮像面６１，７１の傾斜角度を、これらの画像呈示面２１，３１の傾斜角度と一致または略一致させた状態で撮影された左眼用画像および右眼用画像を用いて立体映像の呈示が行われるので（図３参照）、交差法による撮影を行っても、キーストーンひずみ（図１６、図１７参照）を生じることなく、立体映像の呈示を行うことができ、この点でも、ゆがみを除去した自然な立体像を再生することができる。
【０１０４】
また、観察者１の操作により動かされた画像呈示面２１の傾斜角度θを検出し、実写カメラ６０，７０の各撮像面６１，７１の傾斜角度αをリアルタイムで自動的に変化させて画像の取得処理を行うので、インタラクティブ性（双方向性）を備えた立体映像呈示装置１０を実現することができ、例えば、娯楽映像表現の多様性や遊技性の向上等を図ることができる。
【０１０５】
［第２実施形態］
図５には、本発明の第２実施形態の立体映像呈示装置２００の全体構成が示されている。また、図６には、画像呈示面２１１に対する観察者の相対位置（視距離Ｄ）に応じて画像呈示面２１１の画像呈示方式や傾斜角度θが変化する状態が示され、図７には、立体映像呈示装置２００による立体映像呈示処理の流れがフローチャートで示されている。
【０１０６】
図５において、立体映像呈示装置２００は、ディスプレイ２１０と、ディスプレイ２１０の傾斜角度（すなわち、ディスプレイ２１０の画面である画像呈示面２１１の傾斜角度θ）を検出する画像呈示面角度検出手段２２０と、ディスプレイ２１０を駆動してディスプレイ２１０の画像呈示面２１１の傾斜角度θを変化させる画像呈示面駆動手段２３０と、画像呈示面２１１に対する観察者２０１の相対位置（概略の視距離Ｄ）を検出する観察者位置検出手段２４０と、画像呈示面２１１で表示する画像の処理を行う画像処理装置２５０とを備えて構成されている。
【０１０７】
ディスプレイ２１０は、その画面である画像呈示面２１１で立体映像を呈示する装置である。この画像呈示面２１１は、画像呈示面２１１に対する観察者２０１の相対位置（概略の視距離Ｄ）に応じて傾斜角度θが自動的に変化する構成とされ、本実施形態では、左右の仮想カメラ２６０を用いてレンダリング処理を行ってリアルタイムで生成された左眼用および右眼用のコンピュータ・グラフィクス画像が表示される。
【０１０８】
画像呈示面角度検出手段２２０は、画像呈示面２１１の傾斜角度θを検出することができれば、その構成は任意であり、例えば、ロータリエンコーダ、ギャップセンサ、ジャイロセンサ等により実現することができる。ここで、傾斜角度θは、ディスプレイ２１０（つまり、画像呈示面２１１）の上下の端縁部に平行な方向、すなわち図５の紙面に直交する方向に延びる軸回りの傾斜角度である。なお、図５に示した画像呈示面角度検出手段２２０の設置位置や大きさ・形状は、一例に過ぎず、これに限定されるものではない。
【０１０９】
画像呈示面駆動手段２３０は、例えば、モータ、シリンダ装置等により実現される。
【０１１０】
観察者位置検出手段２４０は、例えば、レーザ距離センサ、赤外線センサ、グローバル・ポジショニング・システム（ＧＰＳ）、画像処理による位置検出装置等により実現される。本実施形態では、観察者位置検出手段２４０は、画像呈示面２１１に対する観察者２０１の目または頭部の相対的な位置情報を正確に検出するものではなく、その代替情報として、観察者２０１を全身で捉えて観察者２０１までの距離を検出し、概略的な視距離Ｄを検出するものである。なお、例えば、観察者２０１の身長を測定または手入力したり、画像呈示面２１１の大きさを考慮すること等により、より正確な視距離を検出するようにしてもよい。また、図５に示した観察者位置検出手段２４０の設置位置や大きさ・形状は、一例に過ぎず、これに限定されるものではない。
【０１１１】
画像処理装置２５０は、例えばコンピュータにより構成され、画像呈示面制御手段２５１と、コンピュータ・グラフィクス画像生成手段２５２と、画像表示処理手段２５３と、モデル情報記憶手段２５４とを含んで構成されている。
【０１１２】
画像呈示面制御手段２５１は、観察者位置検出手段２４０により検出された視距離Ｄに基づき、視距離Ｄの大小に応じて画像呈示面２１１の傾斜角度θを変化させるための制御信号を生成し、生成した制御信号を画像呈示面駆動手段２３０へ送信する処理を行うものである。なお、視距離Ｄと傾斜角度θとの対応関係は、予め定めてメモリ（不図示）に記憶させておき、これを画像呈示面制御手段２５１により参照する。
【０１１３】
コンピュータ・グラフィクス画像生成手段２５２は、画像呈示面角度検出手段２２０による検出信号に基づき、モデル情報記憶手段２５４に記憶された表示対象用のモデルに関する情報を用いて、左右の仮想カメラ２６０の各撮像面２６１の傾斜角度パラメータの値αを画像呈示面２１１の傾斜角度θと一致または略一致させ、すなわち撮像面２６１と画像呈示面２１１とを平行にしてレンダリング処理を行うことによりコンピュータ・グラフィクス画像を生成する処理を行うものである。
【０１１４】
左右の仮想カメラ２６０は、観察者２０１の左右の眼の位置を想定して配置されるように設定され、仮想的な３次元空間における水平面２０２上に置かれた表示対象用の幾何モデル２０３が描かれた左眼用画像および右眼用画像を生成するためのカメラである。左右の仮想カメラ２６０のパラメータの設定では、通常、３次元空間上の注視点（カメラが注目している点）を座標値で与えるか、またはパン、チルト、ロールの３つの回転角度を与えるが、本実施形態では、これに加え、仮想カメラ２６０の撮像面２６１の傾斜角度αをパラメータとして与える。従って、通常のレンダリング処理では、カメラの軸線に対して直交する面が、幾何モデル２０３により表現される物体を描画するスクリーン（透視投影面）となるが、本実施形態では、物体を描画するスクリーンは、パラメータとして設定された傾斜角度αの状態の撮像面２６１と平行となり、従って、画像呈示面２１１と平行になるように設定されるため、カメラの軸線に対して傾斜した面となる。なお、その他の設定、例えば、色や質感の設定、ライトの設定等は、通常のレンダリング処理と同様である。また、説明の便宜上、左右の仮想カメラ２６０と記載しているが、これは単に、左眼および右眼に相当する仮想カメラが少なくとも１組分設定されることを示しているに過ぎず、実際には、多眼式レンティキュラ方式では、より多くの仮想カメラが設定される。例えば、８眼式レンティキュラ方式では、８台の仮想カメラが設定される。
【０１１５】
画像表示処理手段２５３は、コンピュータ・グラフィクス画像生成手段２５２により生成された左眼用および右眼用のコンピュータ・グラフィクス画像を、画像呈示面２１１に表示する処理を行うものである。
【０１１６】
モデル情報記憶手段２５４は、画像呈示面２１１で立体像として再生される対象となる幾何モデル２０３に関する情報を記憶するものである。
【０１１７】
そして、画像呈示面制御手段２５１、コンピュータ・グラフィクス画像生成手段２５２、および画像表示処理手段２５３は、画像処理装置２５０を構成するコンピュータ等の内部に設けられた中央演算処理装置（ＣＰＵ）、およびこのＣＰＵの動作手順を規定する１つまたは複数のプログラムにより実現される。
【０１１８】
また、モデル情報記憶手段２５４は、例えばハードディスク等により好適に実現されるが、記憶容量やアクセス速度等に問題が生じない範囲であれば、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュ・メモリ、ＲＡＭ、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＦＤ、磁気テープ、あるいはこれらの組合せ等を採用してもよい。
【０１１９】
このような第２実施形態においては、以下のようにして立体映像呈示装置２００により立体映像の呈示を行う。
【０１２０】
図６に示すように、観察者２０１は、ディスプレイ２１０に対して徐々に近づいていきながら、画像呈示面２１１で呈示される立体映像を観察する。
【０１２１】
図７において、先ず、画像処理装置２５０でプログラムを立ち上げて立体映像の呈示処理を開始した後（ステップＳ１）、観察者位置検出手段２４０により、観察者２０１までの概略の視距離Ｄを検出する（ステップＳ２）。
【０１２２】
続いて、画像処理装置２５０において、視距離Ｄの大小を判断し（ステップＳ３）、（１）視距離Ｄが１０ｍ以上の場合には、画像呈示面２１１の傾斜角度θを９０度に設定するために、画像呈示面制御手段２５１から画像呈示面駆動手段２３０へ制御信号を送信して画像呈示面２１１を鉛直になるように配置するとともに（ステップＳ４）、画像呈示面２１１の画像呈示方式として、平面視の画像（２Ｄであるが、３ＤＣＧをレンダリングして生成された画像）を呈示する平面映像呈示方式を選択する（ステップＳ５）。
【０１２３】
また、（２）視距離Ｄが５ｍ以上、１０ｍ未満の場合には、画像呈示面２１１の傾斜角度θを９０度に設定するために、画像呈示面制御手段２５１から画像呈示面駆動手段２３０へ制御信号を送信して画像呈示面２１１を鉛直になるように配置するとともに（ステップＳ６）、画像呈示面２１１の画像呈示方式として、多眼式レンティキュラ方式を選択する（ステップＳ７）。
【０１２４】
さらに、（３）視距離Ｄが１ｍ以上、５ｍ未満の場合には、視距離Ｄの大小に応じて画像呈示面２１１の傾斜角度θの大小を設定するために（視距離Ｄが小さくなる程、傾斜角度θが大きくなるように、つまり倒れるようにするために）、画像呈示面制御手段２５１から画像呈示面駆動手段２３０へ制御信号を送信して画像呈示面２１１を駆動するとともに（ステップＳ８）、画像呈示面２１１の画像呈示方式として、多眼式レンティキュラ方式を選択する（ステップＳ９）。
【０１２５】
そして、（４）視距離Ｄが１ｍ未満の場合には、画像呈示面２１１の傾斜角度θを１８０度に設定するために、画像呈示面制御手段２５１から画像呈示面駆動手段２３０へ制御信号を送信して画像呈示面２１１を水平に配置するとともに（ステップＳ１０）、画像呈示面２１１の画像呈示方式として、２眼式レンティキュラ方式を選択する（ステップＳ１１）。
【０１２６】
その後、コンピュータ・グラフィクス画像生成手段２５２により、仮想カメラ２６０のパラメータを設定し（ステップＳ１２）、モデル情報記憶手段２５４に記憶された幾何モデル２０３を用いて、レンダリング処理を行うことにより、画像呈示面２１１に表示するための画像を生成する（ステップＳ１３）。ここで、生成される画像は、平面映像呈示方式が選択されている場合（ステップＳ５）には、平面視の画像であり、多眼式レンティキュラ方式が選択されている場合（ステップＳ７，Ｓ９）には、多眼に相当する個数の左眼用画像および右眼用画像であり、２眼式レンティキュラ方式が選択されている場合（ステップＳ１１）には、左眼用画像および右眼用画像である。
【０１２７】
この際、仮想カメラ２６０のパラメータの設定では、図５に示すように、仮想カメラ２６０の撮像面２６１の傾斜角度パラメータαと、画像呈示面２１１の傾斜角度θとを一致させる。また、仮想カメラ２６０の設定台数は、選択されている画像呈示方式に応じた台数とする。すなわち、平面映像呈示方式が選択されている場合（ステップＳ５）には、１台設定し、多眼式レンティキュラ方式が選択されている場合（ステップＳ７，Ｓ９）には、多眼に相当する台数（例えば、８眼式であれば、８台）設定し、２眼式レンティキュラ方式が選択されている場合（ステップＳ１１）には、２台設定する。
【０１２８】
それから、画像表示処理手段２５３により、コンピュータ・グラフィクス画像生成手段２５２により生成されたコンピュータ・グラフィクス画像を、選択されている画像呈示方式で画像呈示面２１１に表示する。
【０１２９】
そして、処理を続行するか否かを判断し（ステップＳ１５）、続行する場合には、再び、ステップＳ２の処理に戻り、以降、続行しないと判断されるまで、ステップＳ２〜Ｓ１５の処理を繰り返し、一方、続行しない場合には、立体映像の呈示処理を終了する（ステップＳ１６）。
【０１３０】
以上のようなループ処理を繰り返すと、観察者２０１が、ディスプレイ２１０に対して徐々に近づいていった場合には、次のような立体映像の呈示が行われることになる。
【０１３１】
図６において、先ず、（１）視距離Ｄが１０ｍ以上の場合には、画像呈示面２１１が鉛直になり、平面視の映像が呈示され、（２）視距離Ｄが５ｍ以上、１０ｍ未満の範囲に入ると、画像呈示面２１１は鉛直のままで、多眼式レンティキュラ方式による立体映像の呈示に切り替わり、さらに、（３）視距離Ｄが１ｍ以上、５ｍ未満の範囲に入ると、多眼式レンティキュラ方式による立体映像の呈示のままで、画像呈示面２１１の傾斜角度θが大きくなっていき、つまり倒れていき、最後に、（４）視距離Ｄが１ｍ未満になると、画像呈示面２１１の傾斜角度θが１８０度になって完全に倒れて水平になるとともに、２眼式レンティキュラ方式による立体映像の呈示に切り替わる。なお、逆に、観察者２０１が、ディスプレイ２１０から徐々に遠ざかっていった場合には、以上の流れと反対の立体映像の呈示が行われることになる。
【０１３２】
このような第２実施形態によれば、次のような効果がある。すなわち、画像呈示面２１１では、仮想カメラ２６０の撮像面２６１の傾斜角度パラメータαを、この画像呈示面２１１の傾斜角度θと一致または略一致させた状態で生成された画像を用いて立体映像および平面映像の呈示が行われるので、従来より行われていたパースペクティブを無くすための補正処理、すなわちレンダリング処理によるＣＧ画像の生成後に２次的に行う演算処理を省略することができ、レンダリング処理によるＣＧ画像の生成を終えた時点で、パースペクティブのない画像を得て、これを画像呈示面２１１に表示することができる。このため、自然かつ精緻に表現された立体映像、または適正な平面映像を得ることができるうえ、前述した特許文献２〜６に記載されたパースペクティブを無くすための複雑な演算処理を行う必要がなくなるので、処理負担の軽減を図ることができる。
【０１３３】
また、再生時の環境（画像呈示面２１１の傾斜角度θ）に応じ、撮像面２６１の傾斜角度パラメータαを変化させて画像を取得することができるので、ゆがみを除去した自然な立体像を再生することができ、観察者に対し、適正な立体映像を呈示することができる。また、撮像面２６１の傾斜角度パラメータαをリアルタイムで変化させるので、柔軟かつ多様な映像を表現することができる。
【０１３４】
さらに、画像呈示面２１１では、仮想カメラ２６０の撮像面２６１の傾斜角度パラメータαを、この画像呈示面２１１の傾斜角度θと一致または略一致させた状態で生成された画像を用いて立体映像の呈示が行われるので、交差法による撮影を行っても、キーストーンひずみ（図１６、図１７参照）を生じることなく、立体映像の呈示を行うことができ、この点でも、ゆがみを除去した自然な立体像を再生することができる。
【０１３５】
そして、再生時の環境（視距離Ｄ）に応じ、画像呈示方式を切り替えるので、解像度と視域を両立させる立体映像の呈示を行うことができる。
【０１３６】
また、観察者２０１の位置（視距離Ｄ）を検出し、画像呈示面２１１の画像呈示方式をリアルタイムで自動的に切り替えたり、画像呈示面２１１の傾斜角度θをリアルタイムで自動的に変化させ、これに伴って仮想カメラ２６０の撮像面２６１の傾斜角度パラメータαをリアルタイムで自動的に変化させて画像の取得処理を行うので、インタラクティブ性（双方向性）を備えた立体映像呈示装置２００を実現することができ、例えば、娯楽映像表現の多様性や遊技性の向上等を図ることができる。
【０１３７】
［変形の形態］
なお、本発明は前記各実施形態に限定されるものではなく、本発明の目的を達成できる範囲内での変形等は本発明に含まれるものである。
【０１３８】
すなわち、前記第１実施形態では、画像呈示面３１には、実写カメラ６０，７０により予め撮影されて画像記憶手段５３に記憶されている左眼用画像および右眼用画像が表示されるようになっていたが（図１、図４参照）、水平面の画像呈示面３１も前面の画像呈示面２１と同様に傾斜角度を自在に変更可能な構成とし、実写カメラ６０，７０により各撮像面６１，７１の傾斜角度αを調整しながらリアルタイムで撮影された左眼用画像および右眼用画像を表示するようにしてもよい。
【０１３９】
また、前記第１実施形態では、画像呈示面２１，３１のいずれも実写画像が表示されていたが、コンピュータ・グラフィクス画像により、複数の画像呈示面での複数種類の画像呈示方式による立体映像の呈示を実現してもよい。
【０１４０】
さらに、前記第２実施形態では、図６に示すように、（２）視距離Ｄが５ｍ以上、１０ｍ未満の場合および（３）視距離Ｄが１ｍ以上、５ｍ未満の場合に、多眼式レンティキュラ方式による立体映像の呈示が行われ、（４）視距離Ｄが１ｍ未満の場合に、２眼式レンティキュラ方式による立体映像の呈示が行われるようになっていたが、画像呈示方式の切替えは、これに限定されるものではなく、例えば、（２）および（３）の場合に、眼数の多い多眼式（例えば、１６眼式）レンティキュラ方式による立体映像の呈示が行われ、（４）の場合に、それよりも眼数の少ない多眼式（例えば、８眼式）レンティキュラ方式による立体映像の呈示が行われるようにしてもよく、あるいは（２）の場合に、１６眼式レンティキュラ方式、（３）の場合に、８眼式レンティキュラ方式、（４）の場合に、２眼式レンティキュラ方式による立体映像の呈示が行われるようにしてもよい。要するに、観察者２０１がディスプレイ２１０に近づき、視距離Ｄが小さくなるに従って、解像度を上げていく一方、視域を狭くしていく等の何らかの意図やコンセプトを持った画像呈示方式の切替えを行えばよい。
【０１４１】
そして、前記第２実施形態では、画像呈示方式の切替えにあたって、視距離Ｄの閾値を、１０ｍ、５ｍ、１ｍにしていたが、閾値の大きさや個数は、これに限定されるものではなく、任意である。
【０１４２】
また、前記第１、第２実施形態では、ディスプレイ２０，３０，２１０の画面である画像呈示面２１，３１，２１１により、立体映像の呈示が行われていたが、図８に示すように、ディスプレイではなく、印刷物を用いて立体映像の呈示を行ってもよい。図８において、立体映像呈示装置３００は、前面（正面）に配置される画像呈示面３０１と、水平面に配置される画像呈示面３０２とを備えて構成されている。
【０１４３】
そして、前面の画像呈示面３０１は、呈示対象物（例えば、仏像等の文化財）を描いた印刷物（写真でも、ＣＧでも、絵でもよい。）の印刷面により形成され、第１の画像呈示方式で立体映像を呈示するものであり、水平面の画像呈示面３０２は、同一の呈示対象物を別の角度から見た状態で描いた印刷物（写真でも、ＣＧでも、絵でもよい。）の印刷面により形成され、第２の画像呈示方式で立体映像を呈示するものである。
【０１４４】
ここで、前面の画像呈示面３０１についての第１の画像呈示方式としては、例えば、多眼式レンティキュラ方式等を採用することができ、水平面の画像呈示面３０２についての第２の画像呈示方式としては、例えば、インテグラルフォトグラフィ方式（ＩＰ方式）等を採用することができる。
【０１４５】
このように印刷物により画像呈示面３０１，３０２を形成した場合には、通常のディスプレイよりも解像度を上げることができるという効果がある。
【０１４６】
さらに、前記第１実施形態では、２つの画像呈示面２１，３１で、互いに異なる２種類の画像呈示方式の組合せによる立体映像の呈示が行われていたが（図１参照）、図９に示すように、３つ以上の画像呈示面で複数種類の画像呈示方式の組合せによる立体映像の呈示を行ってもよい。図９において、立体映像呈示装置４００は、前面（正面、すなわち観察者４０１に正対する面）に配置された画像呈示面４０２と、左右の側面（立面）に配置された画像呈示面４０３，４０４と、床面（水平面）に配置された画像呈示面４０５とを備えて構成されている。
【０１４７】
これらの４つの画像呈示面４０２〜４０５のうち、前面の画像呈示面４０２は、第１の画像呈示方式（例えば、２眼式レンティキュラ方式）とし、左右の側面の画像呈示面４０３，４０４および床面の画像呈示面４０５は、第２の画像呈示方式（例えば、多眼式レンティキュラ方式）としてもよい。また、前面の画像呈示面４０２および左右の側面の画像呈示面４０３，４０４は、第１の画像呈示方式（例えば、２眼式レンティキュラ方式）とし、床面の画像呈示面４０５は、第２の画像呈示方式（例えば、多眼式レンティキュラ方式）としてもよい。さらに、前面の画像呈示面４０２は、第１の画像呈示方式（例えば、２眼式レンティキュラ方式）とし、左右の側面の画像呈示面４０３，４０４は、第２の画像呈示方式（例えば、多眼式（８眼式等）レンティキュラ方式）とし、床面の画像呈示面４０５は、第３の画像呈示方式（例えば、より眼数の多い多眼式（１６眼式等）レンティキュラ方式）としてもよい。
【０１４８】
そして、前記第２実施形態では、１つの画像呈示面２１１で、観察者位置検出手段２４０により検出された視距離Ｄに基づき、画像呈示方式の切替えを行っていたが（図５、図６参照）、図１０に示す立体映像呈示装置５００のように、２つの画像呈示面５０１，５０２を用いて、観察者位置検出手段５０３により検出された視距離Ｄに基づき、画像呈示方式の切替えを行ってもよい。
【０１４９】
図１０において、（１）視距離Ｄが１０ｍ以上の場合には、観察者５０４から見て手前側の画像呈示面５０１が鉛直になり、平面視の映像が呈示される。この際、奥側の画像呈示面５０２は、鉛直に配置され、ＯＦＦの状態となっている。そして、（２）視距離Ｄが５ｍ以上、１０ｍ未満の範囲に入ると、手前側の画像呈示面５０１は鉛直のままで、多眼式レンティキュラ方式による立体映像の呈示に切り替わる。この際、奥側の画像呈示面５０２は、鉛直に配置され、ＯＦＦの状態のままである。
【０１５０】
さらに、（３）視距離Ｄが１ｍ以上、５ｍ未満の範囲に入ると、手前側の画像呈示面５０１は、多眼式レンティキュラ方式による立体映像の呈示のままであるが、傾斜角度θが大きくなっていく、つまり倒れていく。この際、奥側の画像呈示面５０２は、鉛直に配置され、ＯＦＦの状態のままである。最後に、（４）視距離Ｄが１ｍ未満になると、手前側の画像呈示面５０１は、多眼式レンティキュラ方式による立体映像の呈示のままであるが、傾斜角度θが１８０度になって完全に倒れて水平になる。この際、奥側の画像呈示面５０２は、ＯＦＦの状態から２眼式レンティキュラ方式による立体映像の呈示に切り替わる。
【０１５１】
このように２つの画像呈示面５０１，５０２を用いて画像呈示方式の切替えを行えば、前記第２実施形態の場合（図５、図６参照）と同様に画像呈示方式の切替えを行うことによる効果が得られることに加え、前記第１実施形態の場合（図１参照）と同様に複数種類の画像呈示方式を組み合わせることによる効果も得ることができる。
【０１５２】
また、前記第１実施形態では、画像記憶手段５３（図１参照）には、図４に示すように、左眼用および右眼用の実写カメラ６０，７０により、各撮像面６１，７１の傾斜角度を、水平な画像呈示面３１の傾斜角度と一致または略一致させた状態で、すなわち各撮像面６１，７１と水平な画像呈示面３１とを平行にした状態で、予め撮影された左眼用画像および右眼用画像が記憶されていたが、これらの画像は、画像呈示面３１が水平面に固定されて使用されるため、画像呈示面３１の傾斜角度が１つの状態のときのみ（画像呈示面３１が水平の状態であるときのみ）について撮影されたものであり、しかも被写体２が固定物であるため、動きのない静的な画像であった。これに対し、傾斜角度が変化する画像呈示面で、しかも動く対象物についての立体映像を呈示する場合に、リアルタイムで画像を撮影または生成するのではなく、予め撮影または生成しておいた画像を用いるときには、図１１に示す画像記憶手段６００のように、各時刻Ｔ＝ｔ（１）、ｔ（２）、ｔ（３）、…、ｔ（ｎ）、…における対象物のそれぞれについて、画像呈示面の傾斜角度θを変化させて撮影または生成された左眼用画像Ｌ（θ，ｔ（ｎ））および右眼用画像Ｒ（θ，ｔ（ｎ））を記憶させておけばよい。例えば、時刻Ｔ＝ｔ（１）における対象物の再生時に、θ＝９０度であり、時刻Ｔ＝ｔ（２）における対象物の再生時に、θ＝１００度であり、時刻Ｔ＝ｔ（３）以降における対象物の再生時に、θ＝１１０度であった場合には、図１１中の太枠で示すように、Ｌ（９０度，ｔ（１））およびＲ（９０度，ｔ（１））、Ｌ（１００度，ｔ（２））およびＲ（１００度，ｔ（２））、Ｌ（１１０度，ｔ（３））およびＲ（１１０度，ｔ（３））、…、Ｌ（１１０度，ｔ（ｎ））およびＲ（１１０度，ｔ（ｎ））、…という順で、各画像を用いて立体映像の呈示を行う。
【産業上の利用可能性】
【０１５３】
以上のように、本発明の立体映像呈示装置は、例えば、仏像等の文化財を立体的に表現して観察者に呈示する装置、観察者の動きや操作に応じて立体映像の呈示を行う双方向性を備えた娯楽装置、医学教育用の立体映像システム等に用いるのに適している。
【図面の簡単な説明】
【０１５４】
【図１】本発明の第１実施形態の立体映像呈示装置の全体構成図。
【図２】第１実施形態において前面に配置された第１の画像呈示面で表示する画像を撮影する際の左右の実写カメラによる撮影状況を説明する立面図（側方から見た図）。
【図３】第１実施形態において前面に配置された第１の画像呈示面で表示する画像を撮影する際の左右の実写カメラによる撮影状況を説明する平面図（上方から見た図）。
【図４】第１実施形態において水平面に配置された第２の画像呈示面で表示する画像を撮影する際の左右の実写カメラによる撮影状況を説明する立面図（側方から見た図）。
【図５】本発明の第２実施形態の立体映像呈示装置の全体構成図。
【図６】第２実施形態において画像呈示面に対する観察者の相対位置（視距離Ｄ）に応じて画像呈示面の画像呈示方式や傾斜角度θが変化する状態を示す説明図。
【図７】第２実施形態の立体映像呈示装置による立体映像呈示処理の流れを示すフローチャートの図。
【図８】本発明の第１の変形の形態を示す構成図。
【図９】本発明の第２の変形の形態を示す構成図。
【図１０】本発明の第３の変形の形態を示す構成図。
【図１１】本発明の第４の変形の形態を示す構成図。
【図１２】従来のパースペクティブを無くす補正処理の第１の説明図。
【図１３】従来のパースペクティブを無くす補正処理の第２の説明図。
【図１４】従来のパースペクティブを無くす補正処理の第３の説明図。
【図１５】従来のパースペクティブを無くす補正処理の第４の説明図。
【図１６】交差法による撮影で生じるキーストーンひずみの第１の説明図。
【図１７】交差法による撮影で生じるキーストーンひずみの第２の説明図。
【符号の説明】
【０１５５】
１０，２００，３００，４００，５００ 立体映像呈示装置
２１，３１，２１１，３０１，３０２，４０２〜４０５，５０１，５０２， 画像呈示面
４０，２２０ 画像呈示面角度検出手段
５１ 撮像面制御手段
５２，２５３ 画像表示処理手段
５３，６００ 画像記憶手段
６０，７０ 実写カメラ
６１，７１ 実写カメラの撮像面
６２，７２ 撮像面駆動手段
２３０ 画像呈示面駆動手段
２４０，５０３ 観察者位置検出手段
２５１ 画像呈示面制御手段
２５２ コンピュータ・グラフィクス画像生成手段
２５４ モデル情報記憶手段
２６０ 仮想カメラ
２６１ 仮想カメラの撮像面
θ 画像呈示面の傾斜角度
α 実写カメラの撮像面の傾斜角度、または仮想カメラの撮像面の傾斜角度パラメータ
【特許請求の範囲】
【請求項１】
複数の画像呈示面を備え、これらの画像呈示面の各画像呈示方式の中には、複数種類の画像呈示方式が含まれ、これらの画像呈示方式のうちの少なくとも一種類は、立体映像呈示方式であることを特徴とする立体映像呈示装置。
【請求項２】
請求項１に記載の立体映像呈示装置において、
前記複数の画像呈示面の各画像呈示方式の中には、複数種類の立体映像呈示方式が含まれることを特徴とする立体映像呈示装置。
【請求項３】
請求項１または２に記載の立体映像呈示装置において、
前記複数の画像呈示面のうちの少なくとも１つの画像呈示面で呈示される画像は、実写カメラの撮像面の傾斜角度またはコンピュータ・グラフィクス画像生成用の仮想カメラの撮像面の傾斜角度パラメータを、前記各画像呈示面の傾斜角度と一致または略一致させて撮影または生成された画像であることを特徴とする立体映像呈示装置。
【請求項４】
請求項３に記載の立体映像呈示装置において、
前記複数の画像呈示面のうちの少なくとも１つの画像呈示面は、実写カメラによりリアルタイムで撮影された実写画像を呈示し、かつ、傾斜角度を変更可能な構成とされ、
前記実写カメラに傾斜角度を変更可能に設けられた撮像面と、
この撮像面で撮像された実写画像を前記画像呈示面に表示する処理を行う画像表示処理手段と、
前記撮像面を駆動して前記撮像面の傾斜角度を変化させる撮像面駆動手段と、
前記画像呈示面の傾斜角度を検出する画像呈示面角度検出手段と、
この画像呈示面角度検出手段による検出信号に基づき前記画像呈示面の傾斜角度と前記撮像面の傾斜角度とを一致または略一致させるための制御信号を生成して前記撮像面駆動手段へ送信する撮像面制御手段と
を備えたことを特徴とする立体映像呈示装置。
【請求項５】
請求項３に記載の立体映像呈示装置において、
前記複数の画像呈示面のうちの少なくとも１つの画像呈示面は、コンピュータ・グラフィクス画像生成用の仮想カメラを用いてリアルタイムでレンダリング処理を行うことにより生成されたコンピュータ・グラフィクス画像を呈示し、かつ、傾斜角度を変更可能な構成とされ、
コンピュータ・グラフィクス用のモデルに関する情報を記憶するモデル情報記憶手段と、
前記画像呈示面の傾斜角度を検出する画像呈示面角度検出手段と、
この画像呈示面角度検出手段による検出信号に基づき前記モデル情報記憶手段に記憶された前記モデルに関する情報を用いて前記仮想カメラの撮像面の傾斜角度パラメータを前記画像呈示面の傾斜角度と一致または略一致させてレンダリング処理を行うことによりコンピュータ・グラフィクス画像を生成するコンピュータ・グラフィクス画像生成手段と、
このコンピュータ・グラフィクス画像生成手段により生成されたコンピュータ・グラフィクス画像を前記画像呈示面に表示する処理を行う画像表示処理手段と
を備えたことを特徴とする立体映像呈示装置。
【請求項６】
請求項３に記載の立体映像呈示装置において、
前記複数の画像呈示面のうちの少なくとも１つの画像呈示面は、実写カメラにより予め撮影された実写画像またはコンピュータ・グラフィクス画像生成用の仮想カメラを用いてレンダリング処理を行うことにより予め生成されたコンピュータ・グラフィクス画像を呈示する構成とされ、
前記実写カメラの撮像面の傾斜角度または前記仮想カメラの撮像面の傾斜角度パラメータを、前記画像呈示面の傾斜角度と一致または略一致させて撮影または生成された画像を記憶する画像記憶手段と、
この画像記憶手段に記憶された前記画像を前記画像呈示面に表示する処理を行う画像表示処理手段と
を備えたことを特徴とする立体映像呈示装置。
【請求項７】
請求項６に記載の立体映像呈示装置において、
前記複数の画像呈示面のうちの少なくとも１つの画像呈示面は、実写カメラにより予め撮影された実写画像またはコンピュータ・グラフィクス画像生成用の仮想カメラを用いてレンダリング処理を行うことにより予め生成されたコンピュータ・グラフィクス画像を呈示し、かつ、傾斜角度を変更可能な構成とされ、
前記画像呈示面の傾斜角度を検出する画像呈示面角度検出手段を備え、
前記画像記憶手段には、前記実写カメラの撮像面の傾斜角度または前記仮想カメラの撮像面の傾斜角度パラメータを変化させて撮影または生成された複数の画像が記憶され、
前記画像表示処理手段は、前記画像呈示面角度検出手段による検出信号に基づき、前記画像記憶手段に記憶された前記複数の画像の中から、検出された前記画像呈示面の傾斜角度に対応する画像を選択または補間生成して前記画像呈示面に表示する処理を行う構成とされている
ことを特徴とする立体映像呈示装置。
【請求項８】
請求項４，５，７のいずれかに記載の立体映像呈示装置において、
前記画像呈示面に対する観察者の目または頭部の相対的な位置情報またはこれらの代替情報を検出する観察者位置検出手段と、
前記画像呈示面を駆動して前記画像呈示面の傾斜角度を変化させる画像呈示面駆動手段と、
前記観察者位置検出手段により検出された情報に基づき前記画像呈示面に対する前記観察者の目または頭部の相対位置に応じて前記画像呈示面の傾斜角度を変化させるための制御信号を生成して前記画像呈示面駆動手段へ送信する画像呈示面制御手段と
を備えたことを特徴とする立体映像呈示装置。
【請求項９】
請求項３に記載の立体映像呈示装置において、
前記複数の画像呈示面のうちの少なくとも１つの画像呈示面は、実写カメラによりリアルタイムで撮影された実写画像を呈示し、かつ、傾斜角度を変更可能な構成とされ、
前記実写カメラに傾斜角度を変更可能に設けられた撮像面と、
この撮像面で撮像された実写画像を前記画像呈示面に表示する処理を行う画像表示処理手段と、
前記撮像面を駆動して前記撮像面の傾斜角度を変化させる撮像面駆動手段と、
前記画像呈示面に対する観察者の目または頭部の相対的な位置情報またはこれらの代替情報を検出する観察者位置検出手段と、
前記画像呈示面を駆動して前記画像呈示面の傾斜角度を変化させる画像呈示面駆動手段と、
前記観察者位置検出手段により検出された情報に基づき前記画像呈示面に対する前記観察者の目または頭部の相対位置に応じて前記画像呈示面の傾斜角度を変化させるための制御信号を生成して前記画像呈示面駆動手段へ送信する画像呈示面制御手段と、
前記観察者位置検出手段により検出された情報に基づき前記画像呈示面の傾斜角度と前記撮像面の傾斜角度とを一致または略一致させるための制御信号を生成して前記撮像面駆動手段へ送信する撮像面制御手段と
を備えたことを特徴とする立体映像呈示装置。
【請求項１０】
請求項３に記載の立体映像呈示装置において、
前記複数の画像呈示面のうちの少なくとも１つの画像呈示面は、コンピュータ・グラフィクス画像生成用の仮想カメラを用いてリアルタイムでレンダリング処理を行うことにより生成されたコンピュータ・グラフィクス画像を呈示し、かつ、傾斜角度を変更可能な構成とされ、
コンピュータ・グラフィクス用のモデルに関する情報を記憶するモデル情報記憶手段と、
前記画像呈示面に対する観察者の目または頭部の相対的な位置情報またはこれらの代替情報を検出する観察者位置検出手段と、
前記画像呈示面を駆動して前記画像呈示面の傾斜角度を変化させる画像呈示面駆動手段と、
前記観察者位置検出手段により検出された情報に基づき前記画像呈示面に対する前記観察者の目または頭部の相対位置に応じて前記画像呈示面の傾斜角度を変化させるための制御信号を生成して前記画像呈示面駆動手段へ送信する画像呈示面制御手段と、
前記観察者位置検出手段により検出された情報に基づき前記モデル情報記憶手段に記憶された前記モデルに関する情報を用いて前記仮想カメラの撮像面の傾斜角度パラメータを前記画像呈示面の傾斜角度と一致または略一致させてレンダリング処理を行うことによりコンピュータ・グラフィクス画像を生成するコンピュータ・グラフィクス画像生成手段と、
このコンピュータ・グラフィクス画像生成手段により生成されたコンピュータ・グラフィクス画像を前記画像呈示面に表示する処理を行う画像表示処理手段と
を備えたことを特徴とする立体映像呈示装置。
【請求項１１】
請求項３に記載の立体映像呈示装置において、
前記複数の画像呈示面のうちの少なくとも１つの画像呈示面は、実写カメラにより予め撮影された実写画像またはコンピュータ・グラフィクス画像生成用の仮想カメラを用いてレンダリング処理を行うことにより予め生成されたコンピュータ・グラフィクス画像を呈示し、かつ、傾斜角度を変更可能な構成とされ、
前記実写カメラの撮像面の傾斜角度または前記仮想カメラの撮像面の傾斜角度パラメータを変化させて撮影または生成された複数の画像を記憶する画像記憶手段と、
前記画像呈示面に対する観察者の目または頭部の相対的な位置情報またはこれらの代替情報を検出する観察者位置検出手段と、
前記画像呈示面を駆動して前記画像呈示面の傾斜角度を変化させる画像呈示面駆動手段と、
前記観察者位置検出手段により検出された情報に基づき前記画像呈示面に対する前記観察者の目または頭部の相対位置に応じて前記画像呈示面の傾斜角度を変化させるための制御信号を生成して前記画像呈示面駆動手段へ送信する画像呈示面制御手段と、
前記観察者位置検出手段により検出された情報に基づき、前記画像記憶手段に記憶された前記複数の画像の中から、設定した前記画像呈示面の傾斜角度に対応する画像を選択または補間生成して前記画像呈示面に表示する処理を行う画像表示処理手段と
を備えたことを特徴とする立体映像呈示装置。
【請求項１２】
請求項１〜１１のいずれかに記載の立体映像呈示装置において、
前記複数の画像呈示面のうちの少なくとも１つの画像呈示面は、実写カメラにより撮影された実写画像またはコンピュータ・グラフィクス画像生成用の仮想カメラを用いてレンダリング処理を行うことにより生成されたコンピュータ・グラフィクス画像を、複数種類の画像呈示方式で呈示可能な構成とされ、
前記画像呈示面に対する観察者の目または頭部の相対的な位置情報またはこれらの代替情報を検出する観察者位置検出手段と、
この観察者位置検出手段により検出された情報に基づき前記画像呈示面に対する前記観察者の目または頭部の相対位置に応じて画像呈示方式を切り替えて実写画像またはコンピュータ・グラフィクス画像を前記画像呈示面に表示する処理を行う画像表示処理手段と
を備えたことを特徴とする立体映像呈示装置。
【請求項１３】
立体映像を呈示する画像呈示面を備え、この画像呈示面で呈示される立体映像を構成する左眼用画像および右眼用画像は、左右の実写カメラの各撮像面の傾斜角度またはコンピュータ・グラフィクス画像生成用の左右の仮想カメラの各撮像面の傾斜角度パラメータを、前記画像呈示面の傾斜角度とそれぞれ一致または略一致させて撮影または生成された画像であることを特徴とする立体映像呈示装置。
【請求項１４】
請求項１３に記載の立体映像呈示装置において、
前記画像呈示面は、左右の実写カメラによりリアルタイムで撮影された左眼用および右眼用の実写画像を呈示し、かつ、傾斜角度を変更可能な構成とされ、
前記左右の実写カメラのそれぞれに傾斜角度を変更可能に設けられた撮像面と、
これらの撮像面で撮像された左眼用および右眼用の実写画像を前記画像呈示面に表示する処理を行う画像表示処理手段と、
前記各撮像面を駆動して前記各撮像面の傾斜角度を変化させる撮像面駆動手段と、
前記画像呈示面の傾斜角度を検出する画像呈示面角度検出手段と、
この画像呈示面角度検出手段による検出信号に基づき前記画像呈示面の傾斜角度と前記各撮像面の傾斜角度とをそれぞれ一致または略一致させるための制御信号を生成して前記撮像面駆動手段へ送信する撮像面制御手段と
を備えたことを特徴とする立体映像呈示装置。
【請求項１５】
請求項１３に記載の立体映像呈示装置において、
前記画像呈示面は、コンピュータ・グラフィクス画像生成用の左右の仮想カメラを用いてリアルタイムでレンダリング処理を行うことにより生成された左眼用および右眼用のコンピュータ・グラフィクス画像を呈示し、かつ、傾斜角度を変更可能な構成とされ、
コンピュータ・グラフィクス用のモデルに関する情報を記憶するモデル情報記憶手段と、
前記画像呈示面の傾斜角度を検出する画像呈示面角度検出手段と、
この画像呈示面角度検出手段による検出信号に基づき前記モデル情報記憶手段に記憶された前記モデルに関する情報を用いて前記左右の仮想カメラの各撮像面の傾斜角度パラメータを前記画像呈示面の傾斜角度とそれぞれ一致または略一致させてレンダリング処理を行うことにより左眼用および右眼用のコンピュータ・グラフィクス画像を生成するコンピュータ・グラフィクス画像生成手段と、
このコンピュータ・グラフィクス画像生成手段により生成された左眼用および右眼用のコンピュータ・グラフィクス画像を前記画像呈示面に表示する処理を行う画像表示処理手段と
を備えたことを特徴とする立体映像呈示装置。
【請求項１６】
請求項１３に記載の立体映像呈示装置において、
前記画像呈示面は、左右の実写カメラにより予め撮影された左眼用および右眼用の実写画像またはコンピュータ・グラフィクス画像生成用の左右の仮想カメラを用いてレンダリング処理を行うことにより予め生成された左眼用および右眼用のコンピュータ・グラフィクス画像を呈示する構成とされ、
前記左右の実写カメラの各撮像面の傾斜角度または前記左右の仮想カメラの各撮像面の傾斜角度パラメータを、前記画像呈示面の傾斜角度とそれぞれ一致または略一致させて撮影または生成された左眼用画像および右眼用画像を記憶する画像記憶手段と、
この画像記憶手段に記憶された前記左眼用画像および右眼用画像を前記画像呈示面に表示する処理を行う画像表示処理手段と
を備えたことを特徴とする立体映像呈示装置。
【請求項１７】
請求項１６に記載の立体映像呈示装置において、
前記画像呈示面は、左右の実写カメラにより予め撮影された左眼用および右眼用の実写画像またはコンピュータ・グラフィクス画像生成用の左右の仮想カメラを用いてレンダリング処理を行うことにより予め生成された左眼用および右眼用のコンピュータ・グラフィクス画像を呈示し、かつ、傾斜角度を変更可能な構成とされ、
前記画像呈示面の傾斜角度を検出する画像呈示面角度検出手段を備え、
前記画像記憶手段には、前記左右の実写カメラの各撮像面の傾斜角度または前記左右の仮想カメラの各撮像面の傾斜角度パラメータを変化させて撮影または生成された複数の左眼用画像および複数の右眼用画像が記憶され、
前記画像表示処理手段は、前記画像呈示面角度検出手段による検出信号に基づき、前記画像記憶手段に記憶された前記複数の左眼用画像および前記複数の右眼用画像の中から、検出された前記画像呈示面の傾斜角度に対応する左眼用画像および右眼用画像を選択または補間生成して前記画像呈示面に表示する処理を行う構成とされている
ことを特徴とする立体映像呈示装置。
【請求項１８】
請求項１４，１５，１７のいずれかに記載の立体映像呈示装置において、
前記画像呈示面に対する観察者の目または頭部の相対的な位置情報またはこれらの代替情報を検出する観察者位置検出手段と、
前記画像呈示面を駆動して前記画像呈示面の傾斜角度を変化させる画像呈示面駆動手段と、
前記観察者位置検出手段により検出された情報に基づき前記画像呈示面に対する前記観察者の目または頭部の相対位置に応じて前記画像呈示面の傾斜角度を変化させるための制御信号を生成して前記画像呈示面駆動手段へ送信する画像呈示面制御手段と
を備えたことを特徴とする立体映像呈示装置。
【請求項１９】
請求項１３に記載の立体映像呈示装置において、
前記画像呈示面は、左右の実写カメラによりリアルタイムで撮影された左眼用および右眼用の実写画像を呈示し、かつ、傾斜角度を変更可能な構成とされ、
前記左右の実写カメラのそれぞれに傾斜角度を変更可能に設けられた撮像面と、
これらの撮像面で撮像された左眼用および右眼用の実写画像を前記画像呈示面に表示する処理を行う画像表示処理手段と、
前記各撮像面を駆動して前記各撮像面の傾斜角度を変化させる撮像面駆動手段と、
前記画像呈示面に対する観察者の目または頭部の相対的な位置情報またはこれらの代替情報を検出する観察者位置検出手段と、
前記画像呈示面を駆動して前記画像呈示面の傾斜角度を変化させる画像呈示面駆動手段と、
前記観察者位置検出手段により検出された情報に基づき前記画像呈示面に対する前記観察者の目または頭部の相対位置に応じて前記画像呈示面の傾斜角度を変化させるための制御信号を生成して前記画像呈示面駆動手段へ送信する画像呈示面制御手段と、
前記観察者位置検出手段により検出された情報に基づき前記画像呈示面の傾斜角度と前記各撮像面の傾斜角度とをそれぞれ一致または略一致させるための制御信号を生成して前記撮像面駆動手段へ送信する撮像面制御手段と
を備えたことを特徴とする立体映像呈示装置。
【請求項２０】
請求項１３に記載の立体映像呈示装置において、
前記画像呈示面は、コンピュータ・グラフィクス画像生成用の左右の仮想カメラを用いてリアルタイムでレンダリング処理を行うことにより生成された左眼用および右眼用のコンピュータ・グラフィクス画像を呈示し、かつ、傾斜角度を変更可能な構成とされ、
コンピュータ・グラフィクス用のモデルに関する情報を記憶するモデル情報記憶手段と、
前記画像呈示面に対する観察者の目または頭部の相対的な位置情報またはこれらの代替情報を検出する観察者位置検出手段と、
前記画像呈示面を駆動して前記画像呈示面の傾斜角度を変化させる画像呈示面駆動手段と、
前記観察者位置検出手段により検出された情報に基づき前記画像呈示面に対する前記観察者の目または頭部の相対位置に応じて前記画像呈示面の傾斜角度を変化させるための制御信号を生成して前記画像呈示面駆動手段へ送信する画像呈示面制御手段と、
前記観察者位置検出手段により検出された情報に基づき前記モデル情報記憶手段に記憶された前記モデルに関する情報を用いて前記左右の仮想カメラの各撮像面の傾斜角度パラメータを前記画像呈示面の傾斜角度とそれぞれ一致または略一致させてレンダリング処理を行うことにより左眼用および右眼用のコンピュータ・グラフィクス画像を生成するコンピュータ・グラフィクス画像生成手段と、
このコンピュータ・グラフィクス画像生成手段により生成された左眼用および右眼用のコンピュータ・グラフィクス画像を前記画像呈示面に表示する処理を行う画像表示処理手段と
を備えたことを特徴とする立体映像呈示装置。
【請求項２１】
請求項１３に記載の立体映像呈示装置において、
前記画像呈示面は、左右の実写カメラにより予め撮影された左眼用および右眼用の実写画像またはコンピュータ・グラフィクス画像生成用の左右の仮想カメラを用いてレンダリング処理を行うことにより予め生成された左眼用および右眼用のコンピュータ・グラフィクス画像を呈示し、かつ、傾斜角度を変更可能な構成とされ、
前記左右の実写カメラの各撮像面の傾斜角度または前記左右の仮想カメラの各撮像面の傾斜角度パラメータを変化させて撮影または生成された複数の画像を記憶する画像記憶手段と、
前記画像呈示面に対する観察者の目または頭部の相対的な位置情報またはこれらの代替情報を検出する観察者位置検出手段と、
前記画像呈示面を駆動して前記画像呈示面の傾斜角度を変化させる画像呈示面駆動手段と、
前記観察者位置検出手段により検出された情報に基づき前記画像呈示面に対する前記観察者の目または頭部の相対位置に応じて前記画像呈示面の傾斜角度を変化させるための制御信号を生成して前記画像呈示面駆動手段へ送信する画像呈示面制御手段と、
前記観察者位置検出手段により検出された情報に基づき、前記画像記憶手段に記憶された前記複数の画像の中から、設定した前記画像呈示面の傾斜角度に対応する画像を選択または補間生成して前記画像呈示面に表示する処理を行う画像表示処理手段と
を備えたことを特徴とする立体映像呈示装置。
【請求項２２】
請求項１３〜２１のいずれかに記載の立体映像呈示装置において、
前記画像呈示面は、実写カメラにより撮影された実写画像またはコンピュータ・グラフィクス画像生成用の仮想カメラを用いてレンダリング処理を行うことにより生成されたコンピュータ・グラフィクス画像を、複数種類の画像呈示方式で呈示可能な構成とされ、
前記画像呈示面に対する観察者の目または頭部の相対的な位置情報またはこれらの代替情報を検出する観察者位置検出手段と、
この観察者位置検出手段により検出された情報に基づき、前記画像呈示面に対する前記観察者の目または頭部の相対位置に応じて画像呈示方式を、立体映像呈示方式から別の立体映像呈示方式へ切り替えるか、立体映像呈示方式から平面映像呈示方式へ切り替えるか、または平面映像呈示方式から立体映像呈示方式へ切り替えて実写画像またはコンピュータ・グラフィクス画像を前記画像呈示面に表示する処理を行う画像表示処理手段と
を備えたことを特徴とする立体映像呈示装置。
【請求項１】
複数の画像呈示面を備え、これらの画像呈示面の各画像呈示方式の中には、複数種類の画像呈示方式が含まれ、これらの画像呈示方式のうちの少なくとも一種類は、立体映像呈示方式であることを特徴とする立体映像呈示装置。
【請求項２】
請求項１に記載の立体映像呈示装置において、
前記複数の画像呈示面の各画像呈示方式の中には、複数種類の立体映像呈示方式が含まれることを特徴とする立体映像呈示装置。
【請求項３】
請求項１または２に記載の立体映像呈示装置において、
前記複数の画像呈示面のうちの少なくとも１つの画像呈示面で呈示される画像は、実写カメラの撮像面の傾斜角度またはコンピュータ・グラフィクス画像生成用の仮想カメラの撮像面の傾斜角度パラメータを、前記各画像呈示面の傾斜角度と一致または略一致させて撮影または生成された画像であることを特徴とする立体映像呈示装置。
【請求項４】
請求項３に記載の立体映像呈示装置において、
前記複数の画像呈示面のうちの少なくとも１つの画像呈示面は、実写カメラによりリアルタイムで撮影された実写画像を呈示し、かつ、傾斜角度を変更可能な構成とされ、
前記実写カメラに傾斜角度を変更可能に設けられた撮像面と、
この撮像面で撮像された実写画像を前記画像呈示面に表示する処理を行う画像表示処理手段と、
前記撮像面を駆動して前記撮像面の傾斜角度を変化させる撮像面駆動手段と、
前記画像呈示面の傾斜角度を検出する画像呈示面角度検出手段と、
この画像呈示面角度検出手段による検出信号に基づき前記画像呈示面の傾斜角度と前記撮像面の傾斜角度とを一致または略一致させるための制御信号を生成して前記撮像面駆動手段へ送信する撮像面制御手段と
を備えたことを特徴とする立体映像呈示装置。
【請求項５】
請求項３に記載の立体映像呈示装置において、
前記複数の画像呈示面のうちの少なくとも１つの画像呈示面は、コンピュータ・グラフィクス画像生成用の仮想カメラを用いてリアルタイムでレンダリング処理を行うことにより生成されたコンピュータ・グラフィクス画像を呈示し、かつ、傾斜角度を変更可能な構成とされ、
コンピュータ・グラフィクス用のモデルに関する情報を記憶するモデル情報記憶手段と、
前記画像呈示面の傾斜角度を検出する画像呈示面角度検出手段と、
この画像呈示面角度検出手段による検出信号に基づき前記モデル情報記憶手段に記憶された前記モデルに関する情報を用いて前記仮想カメラの撮像面の傾斜角度パラメータを前記画像呈示面の傾斜角度と一致または略一致させてレンダリング処理を行うことによりコンピュータ・グラフィクス画像を生成するコンピュータ・グラフィクス画像生成手段と、
このコンピュータ・グラフィクス画像生成手段により生成されたコンピュータ・グラフィクス画像を前記画像呈示面に表示する処理を行う画像表示処理手段と
を備えたことを特徴とする立体映像呈示装置。
【請求項６】
請求項３に記載の立体映像呈示装置において、
前記複数の画像呈示面のうちの少なくとも１つの画像呈示面は、実写カメラにより予め撮影された実写画像またはコンピュータ・グラフィクス画像生成用の仮想カメラを用いてレンダリング処理を行うことにより予め生成されたコンピュータ・グラフィクス画像を呈示する構成とされ、
前記実写カメラの撮像面の傾斜角度または前記仮想カメラの撮像面の傾斜角度パラメータを、前記画像呈示面の傾斜角度と一致または略一致させて撮影または生成された画像を記憶する画像記憶手段と、
この画像記憶手段に記憶された前記画像を前記画像呈示面に表示する処理を行う画像表示処理手段と
を備えたことを特徴とする立体映像呈示装置。
【請求項７】
請求項６に記載の立体映像呈示装置において、
前記複数の画像呈示面のうちの少なくとも１つの画像呈示面は、実写カメラにより予め撮影された実写画像またはコンピュータ・グラフィクス画像生成用の仮想カメラを用いてレンダリング処理を行うことにより予め生成されたコンピュータ・グラフィクス画像を呈示し、かつ、傾斜角度を変更可能な構成とされ、
前記画像呈示面の傾斜角度を検出する画像呈示面角度検出手段を備え、
前記画像記憶手段には、前記実写カメラの撮像面の傾斜角度または前記仮想カメラの撮像面の傾斜角度パラメータを変化させて撮影または生成された複数の画像が記憶され、
前記画像表示処理手段は、前記画像呈示面角度検出手段による検出信号に基づき、前記画像記憶手段に記憶された前記複数の画像の中から、検出された前記画像呈示面の傾斜角度に対応する画像を選択または補間生成して前記画像呈示面に表示する処理を行う構成とされている
ことを特徴とする立体映像呈示装置。
【請求項８】
請求項４，５，７のいずれかに記載の立体映像呈示装置において、
前記画像呈示面に対する観察者の目または頭部の相対的な位置情報またはこれらの代替情報を検出する観察者位置検出手段と、
前記画像呈示面を駆動して前記画像呈示面の傾斜角度を変化させる画像呈示面駆動手段と、
前記観察者位置検出手段により検出された情報に基づき前記画像呈示面に対する前記観察者の目または頭部の相対位置に応じて前記画像呈示面の傾斜角度を変化させるための制御信号を生成して前記画像呈示面駆動手段へ送信する画像呈示面制御手段と
を備えたことを特徴とする立体映像呈示装置。
【請求項９】
請求項３に記載の立体映像呈示装置において、
前記複数の画像呈示面のうちの少なくとも１つの画像呈示面は、実写カメラによりリアルタイムで撮影された実写画像を呈示し、かつ、傾斜角度を変更可能な構成とされ、
前記実写カメラに傾斜角度を変更可能に設けられた撮像面と、
この撮像面で撮像された実写画像を前記画像呈示面に表示する処理を行う画像表示処理手段と、
前記撮像面を駆動して前記撮像面の傾斜角度を変化させる撮像面駆動手段と、
前記画像呈示面に対する観察者の目または頭部の相対的な位置情報またはこれらの代替情報を検出する観察者位置検出手段と、
前記画像呈示面を駆動して前記画像呈示面の傾斜角度を変化させる画像呈示面駆動手段と、
前記観察者位置検出手段により検出された情報に基づき前記画像呈示面に対する前記観察者の目または頭部の相対位置に応じて前記画像呈示面の傾斜角度を変化させるための制御信号を生成して前記画像呈示面駆動手段へ送信する画像呈示面制御手段と、
前記観察者位置検出手段により検出された情報に基づき前記画像呈示面の傾斜角度と前記撮像面の傾斜角度とを一致または略一致させるための制御信号を生成して前記撮像面駆動手段へ送信する撮像面制御手段と
を備えたことを特徴とする立体映像呈示装置。
【請求項１０】
請求項３に記載の立体映像呈示装置において、
前記複数の画像呈示面のうちの少なくとも１つの画像呈示面は、コンピュータ・グラフィクス画像生成用の仮想カメラを用いてリアルタイムでレンダリング処理を行うことにより生成されたコンピュータ・グラフィクス画像を呈示し、かつ、傾斜角度を変更可能な構成とされ、
コンピュータ・グラフィクス用のモデルに関する情報を記憶するモデル情報記憶手段と、
前記画像呈示面に対する観察者の目または頭部の相対的な位置情報またはこれらの代替情報を検出する観察者位置検出手段と、
前記画像呈示面を駆動して前記画像呈示面の傾斜角度を変化させる画像呈示面駆動手段と、
前記観察者位置検出手段により検出された情報に基づき前記画像呈示面に対する前記観察者の目または頭部の相対位置に応じて前記画像呈示面の傾斜角度を変化させるための制御信号を生成して前記画像呈示面駆動手段へ送信する画像呈示面制御手段と、
前記観察者位置検出手段により検出された情報に基づき前記モデル情報記憶手段に記憶された前記モデルに関する情報を用いて前記仮想カメラの撮像面の傾斜角度パラメータを前記画像呈示面の傾斜角度と一致または略一致させてレンダリング処理を行うことによりコンピュータ・グラフィクス画像を生成するコンピュータ・グラフィクス画像生成手段と、
このコンピュータ・グラフィクス画像生成手段により生成されたコンピュータ・グラフィクス画像を前記画像呈示面に表示する処理を行う画像表示処理手段と
を備えたことを特徴とする立体映像呈示装置。
【請求項１１】
請求項３に記載の立体映像呈示装置において、
前記複数の画像呈示面のうちの少なくとも１つの画像呈示面は、実写カメラにより予め撮影された実写画像またはコンピュータ・グラフィクス画像生成用の仮想カメラを用いてレンダリング処理を行うことにより予め生成されたコンピュータ・グラフィクス画像を呈示し、かつ、傾斜角度を変更可能な構成とされ、
前記実写カメラの撮像面の傾斜角度または前記仮想カメラの撮像面の傾斜角度パラメータを変化させて撮影または生成された複数の画像を記憶する画像記憶手段と、
前記画像呈示面に対する観察者の目または頭部の相対的な位置情報またはこれらの代替情報を検出する観察者位置検出手段と、
前記画像呈示面を駆動して前記画像呈示面の傾斜角度を変化させる画像呈示面駆動手段と、
前記観察者位置検出手段により検出された情報に基づき前記画像呈示面に対する前記観察者の目または頭部の相対位置に応じて前記画像呈示面の傾斜角度を変化させるための制御信号を生成して前記画像呈示面駆動手段へ送信する画像呈示面制御手段と、
前記観察者位置検出手段により検出された情報に基づき、前記画像記憶手段に記憶された前記複数の画像の中から、設定した前記画像呈示面の傾斜角度に対応する画像を選択または補間生成して前記画像呈示面に表示する処理を行う画像表示処理手段と
を備えたことを特徴とする立体映像呈示装置。
【請求項１２】
請求項１〜１１のいずれかに記載の立体映像呈示装置において、
前記複数の画像呈示面のうちの少なくとも１つの画像呈示面は、実写カメラにより撮影された実写画像またはコンピュータ・グラフィクス画像生成用の仮想カメラを用いてレンダリング処理を行うことにより生成されたコンピュータ・グラフィクス画像を、複数種類の画像呈示方式で呈示可能な構成とされ、
前記画像呈示面に対する観察者の目または頭部の相対的な位置情報またはこれらの代替情報を検出する観察者位置検出手段と、
この観察者位置検出手段により検出された情報に基づき前記画像呈示面に対する前記観察者の目または頭部の相対位置に応じて画像呈示方式を切り替えて実写画像またはコンピュータ・グラフィクス画像を前記画像呈示面に表示する処理を行う画像表示処理手段と
を備えたことを特徴とする立体映像呈示装置。
【請求項１３】
立体映像を呈示する画像呈示面を備え、この画像呈示面で呈示される立体映像を構成する左眼用画像および右眼用画像は、左右の実写カメラの各撮像面の傾斜角度またはコンピュータ・グラフィクス画像生成用の左右の仮想カメラの各撮像面の傾斜角度パラメータを、前記画像呈示面の傾斜角度とそれぞれ一致または略一致させて撮影または生成された画像であることを特徴とする立体映像呈示装置。
【請求項１４】
請求項１３に記載の立体映像呈示装置において、
前記画像呈示面は、左右の実写カメラによりリアルタイムで撮影された左眼用および右眼用の実写画像を呈示し、かつ、傾斜角度を変更可能な構成とされ、
前記左右の実写カメラのそれぞれに傾斜角度を変更可能に設けられた撮像面と、
これらの撮像面で撮像された左眼用および右眼用の実写画像を前記画像呈示面に表示する処理を行う画像表示処理手段と、
前記各撮像面を駆動して前記各撮像面の傾斜角度を変化させる撮像面駆動手段と、
前記画像呈示面の傾斜角度を検出する画像呈示面角度検出手段と、
この画像呈示面角度検出手段による検出信号に基づき前記画像呈示面の傾斜角度と前記各撮像面の傾斜角度とをそれぞれ一致または略一致させるための制御信号を生成して前記撮像面駆動手段へ送信する撮像面制御手段と
を備えたことを特徴とする立体映像呈示装置。
【請求項１５】
請求項１３に記載の立体映像呈示装置において、
前記画像呈示面は、コンピュータ・グラフィクス画像生成用の左右の仮想カメラを用いてリアルタイムでレンダリング処理を行うことにより生成された左眼用および右眼用のコンピュータ・グラフィクス画像を呈示し、かつ、傾斜角度を変更可能な構成とされ、
コンピュータ・グラフィクス用のモデルに関する情報を記憶するモデル情報記憶手段と、
前記画像呈示面の傾斜角度を検出する画像呈示面角度検出手段と、
この画像呈示面角度検出手段による検出信号に基づき前記モデル情報記憶手段に記憶された前記モデルに関する情報を用いて前記左右の仮想カメラの各撮像面の傾斜角度パラメータを前記画像呈示面の傾斜角度とそれぞれ一致または略一致させてレンダリング処理を行うことにより左眼用および右眼用のコンピュータ・グラフィクス画像を生成するコンピュータ・グラフィクス画像生成手段と、
このコンピュータ・グラフィクス画像生成手段により生成された左眼用および右眼用のコンピュータ・グラフィクス画像を前記画像呈示面に表示する処理を行う画像表示処理手段と
を備えたことを特徴とする立体映像呈示装置。
【請求項１６】
請求項１３に記載の立体映像呈示装置において、
前記画像呈示面は、左右の実写カメラにより予め撮影された左眼用および右眼用の実写画像またはコンピュータ・グラフィクス画像生成用の左右の仮想カメラを用いてレンダリング処理を行うことにより予め生成された左眼用および右眼用のコンピュータ・グラフィクス画像を呈示する構成とされ、
前記左右の実写カメラの各撮像面の傾斜角度または前記左右の仮想カメラの各撮像面の傾斜角度パラメータを、前記画像呈示面の傾斜角度とそれぞれ一致または略一致させて撮影または生成された左眼用画像および右眼用画像を記憶する画像記憶手段と、
この画像記憶手段に記憶された前記左眼用画像および右眼用画像を前記画像呈示面に表示する処理を行う画像表示処理手段と
を備えたことを特徴とする立体映像呈示装置。
【請求項１７】
請求項１６に記載の立体映像呈示装置において、
前記画像呈示面は、左右の実写カメラにより予め撮影された左眼用および右眼用の実写画像またはコンピュータ・グラフィクス画像生成用の左右の仮想カメラを用いてレンダリング処理を行うことにより予め生成された左眼用および右眼用のコンピュータ・グラフィクス画像を呈示し、かつ、傾斜角度を変更可能な構成とされ、
前記画像呈示面の傾斜角度を検出する画像呈示面角度検出手段を備え、
前記画像記憶手段には、前記左右の実写カメラの各撮像面の傾斜角度または前記左右の仮想カメラの各撮像面の傾斜角度パラメータを変化させて撮影または生成された複数の左眼用画像および複数の右眼用画像が記憶され、
前記画像表示処理手段は、前記画像呈示面角度検出手段による検出信号に基づき、前記画像記憶手段に記憶された前記複数の左眼用画像および前記複数の右眼用画像の中から、検出された前記画像呈示面の傾斜角度に対応する左眼用画像および右眼用画像を選択または補間生成して前記画像呈示面に表示する処理を行う構成とされている
ことを特徴とする立体映像呈示装置。
【請求項１８】
請求項１４，１５，１７のいずれかに記載の立体映像呈示装置において、
前記画像呈示面に対する観察者の目または頭部の相対的な位置情報またはこれらの代替情報を検出する観察者位置検出手段と、
前記画像呈示面を駆動して前記画像呈示面の傾斜角度を変化させる画像呈示面駆動手段と、
前記観察者位置検出手段により検出された情報に基づき前記画像呈示面に対する前記観察者の目または頭部の相対位置に応じて前記画像呈示面の傾斜角度を変化させるための制御信号を生成して前記画像呈示面駆動手段へ送信する画像呈示面制御手段と
を備えたことを特徴とする立体映像呈示装置。
【請求項１９】
請求項１３に記載の立体映像呈示装置において、
前記画像呈示面は、左右の実写カメラによりリアルタイムで撮影された左眼用および右眼用の実写画像を呈示し、かつ、傾斜角度を変更可能な構成とされ、
前記左右の実写カメラのそれぞれに傾斜角度を変更可能に設けられた撮像面と、
これらの撮像面で撮像された左眼用および右眼用の実写画像を前記画像呈示面に表示する処理を行う画像表示処理手段と、
前記各撮像面を駆動して前記各撮像面の傾斜角度を変化させる撮像面駆動手段と、
前記画像呈示面に対する観察者の目または頭部の相対的な位置情報またはこれらの代替情報を検出する観察者位置検出手段と、
前記画像呈示面を駆動して前記画像呈示面の傾斜角度を変化させる画像呈示面駆動手段と、
前記観察者位置検出手段により検出された情報に基づき前記画像呈示面に対する前記観察者の目または頭部の相対位置に応じて前記画像呈示面の傾斜角度を変化させるための制御信号を生成して前記画像呈示面駆動手段へ送信する画像呈示面制御手段と、
前記観察者位置検出手段により検出された情報に基づき前記画像呈示面の傾斜角度と前記各撮像面の傾斜角度とをそれぞれ一致または略一致させるための制御信号を生成して前記撮像面駆動手段へ送信する撮像面制御手段と
を備えたことを特徴とする立体映像呈示装置。
【請求項２０】
請求項１３に記載の立体映像呈示装置において、
前記画像呈示面は、コンピュータ・グラフィクス画像生成用の左右の仮想カメラを用いてリアルタイムでレンダリング処理を行うことにより生成された左眼用および右眼用のコンピュータ・グラフィクス画像を呈示し、かつ、傾斜角度を変更可能な構成とされ、
コンピュータ・グラフィクス用のモデルに関する情報を記憶するモデル情報記憶手段と、
前記画像呈示面に対する観察者の目または頭部の相対的な位置情報またはこれらの代替情報を検出する観察者位置検出手段と、
前記画像呈示面を駆動して前記画像呈示面の傾斜角度を変化させる画像呈示面駆動手段と、
前記観察者位置検出手段により検出された情報に基づき前記画像呈示面に対する前記観察者の目または頭部の相対位置に応じて前記画像呈示面の傾斜角度を変化させるための制御信号を生成して前記画像呈示面駆動手段へ送信する画像呈示面制御手段と、
前記観察者位置検出手段により検出された情報に基づき前記モデル情報記憶手段に記憶された前記モデルに関する情報を用いて前記左右の仮想カメラの各撮像面の傾斜角度パラメータを前記画像呈示面の傾斜角度とそれぞれ一致または略一致させてレンダリング処理を行うことにより左眼用および右眼用のコンピュータ・グラフィクス画像を生成するコンピュータ・グラフィクス画像生成手段と、
このコンピュータ・グラフィクス画像生成手段により生成された左眼用および右眼用のコンピュータ・グラフィクス画像を前記画像呈示面に表示する処理を行う画像表示処理手段と
を備えたことを特徴とする立体映像呈示装置。
【請求項２１】
請求項１３に記載の立体映像呈示装置において、
前記画像呈示面は、左右の実写カメラにより予め撮影された左眼用および右眼用の実写画像またはコンピュータ・グラフィクス画像生成用の左右の仮想カメラを用いてレンダリング処理を行うことにより予め生成された左眼用および右眼用のコンピュータ・グラフィクス画像を呈示し、かつ、傾斜角度を変更可能な構成とされ、
前記左右の実写カメラの各撮像面の傾斜角度または前記左右の仮想カメラの各撮像面の傾斜角度パラメータを変化させて撮影または生成された複数の画像を記憶する画像記憶手段と、
前記画像呈示面に対する観察者の目または頭部の相対的な位置情報またはこれらの代替情報を検出する観察者位置検出手段と、
前記画像呈示面を駆動して前記画像呈示面の傾斜角度を変化させる画像呈示面駆動手段と、
前記観察者位置検出手段により検出された情報に基づき前記画像呈示面に対する前記観察者の目または頭部の相対位置に応じて前記画像呈示面の傾斜角度を変化させるための制御信号を生成して前記画像呈示面駆動手段へ送信する画像呈示面制御手段と、
前記観察者位置検出手段により検出された情報に基づき、前記画像記憶手段に記憶された前記複数の画像の中から、設定した前記画像呈示面の傾斜角度に対応する画像を選択または補間生成して前記画像呈示面に表示する処理を行う画像表示処理手段と
を備えたことを特徴とする立体映像呈示装置。
【請求項２２】
請求項１３〜２１のいずれかに記載の立体映像呈示装置において、
前記画像呈示面は、実写カメラにより撮影された実写画像またはコンピュータ・グラフィクス画像生成用の仮想カメラを用いてレンダリング処理を行うことにより生成されたコンピュータ・グラフィクス画像を、複数種類の画像呈示方式で呈示可能な構成とされ、
前記画像呈示面に対する観察者の目または頭部の相対的な位置情報またはこれらの代替情報を検出する観察者位置検出手段と、
この観察者位置検出手段により検出された情報に基づき、前記画像呈示面に対する前記観察者の目または頭部の相対位置に応じて画像呈示方式を、立体映像呈示方式から別の立体映像呈示方式へ切り替えるか、立体映像呈示方式から平面映像呈示方式へ切り替えるか、または平面映像呈示方式から立体映像呈示方式へ切り替えて実写画像またはコンピュータ・グラフィクス画像を前記画像呈示面に表示する処理を行う画像表示処理手段と
を備えたことを特徴とする立体映像呈示装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２００６−２１１４５３（Ｐ２００６−２１１４５３Ａ）
【公開日】平成１８年８月１０日（２００６．８．１０）
【国際特許分類】
【出願番号】特願２００５−２２６０７（Ｐ２００５−２２６０７）
【出願日】平成１７年１月３１日（２００５．１．３１）
【出願人】（８９９００００６８）学校法人早稲田大学 (602)
【Ｆターム（参考）】
【公開日】平成１８年８月１０日（２００６．８．１０）
【国際特許分類】
【出願日】平成１７年１月３１日（２００５．１．３１）
【出願人】（８９９００００６８）学校法人早稲田大学 (602)
【Ｆターム（参考）】
[ Back to top ]