パノラマ画像および動画を生成し表示するためのシステムおよび方法
【課題】立体的なパノラマ画像を生成し表示するための新規かつ改良されたシステムおよび方法を提供すること。
【解決手段】異なった位置からの可動カメラ(１３)によって記録された画像に対応したシーンの一連の画像（３０(i)）から、あるシーンの左(３１Ｌ)右(３１Ｒ)のパノラマモザイク画像を含む立体パノラマモザイク画像対を生成するためのシステム(１０)であって、前記カメラの記録媒体から分離した記憶媒体から複数の画像を表すデータを受け取り、前記データから複数の第１の(３０Ｌ(ｎ))画像ストリップおよび複数の第２の（３０Ｒ（ｎ））画像ストリップを決定し、前記複数の第１の画像ストリップをモザイク処理して連続した左のパノラマ画像を形成し、前記複数の第２の画像ストリップをモザイク処理して連続した右のパノラマ画像を形成するように構成された左右のパノラマ画像生成器(１２)と、左右それぞれのパノラマ画像を閲覧者に立体パノラマとして表示する手段とを含む。
【解決手段】異なった位置からの可動カメラ(１３)によって記録された画像に対応したシーンの一連の画像（３０(i)）から、あるシーンの左(３１Ｌ)右(３１Ｒ)のパノラマモザイク画像を含む立体パノラマモザイク画像対を生成するためのシステム(１０)であって、前記カメラの記録媒体から分離した記憶媒体から複数の画像を表すデータを受け取り、前記データから複数の第１の(３０Ｌ(ｎ))画像ストリップおよび複数の第２の（３０Ｒ（ｎ））画像ストリップを決定し、前記複数の第１の画像ストリップをモザイク処理して連続した左のパノラマ画像を形成し、前記複数の第２の画像ストリップをモザイク処理して連続した右のパノラマ画像を形成するように構成された左右のパノラマ画像生成器(１２)と、左右それぞれのパノラマ画像を閲覧者に立体パノラマとして表示する手段とを含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般に画像を記録、生成、再生、または表示する分野に関し、より詳細にはパノラマ画像を生成し、立体的に表示することに関する。
【背景技術】
【０００２】
パノラマ画像とは３６０°全体までの広い視野を有するシーンの画像である。パノラマ画像は、広い視野を提供する広角レンズ、ミラーなどを使用して記録することができる。より広い視野を有するパノラマ画像は、たとえば、特定の点の周りの複数の画像を記録し、従来のモザイク処理技法を使用して単一モザイク像を生成することにより、生成することができる。また、パノラマ画像は、従来のコンピュータグラフィックス技法を使用して、模擬シーンから生成することもできる。
【０００３】
問題は、パノラマ画像を立体的に閲覧することに関連して発生する。人が立体的に見ることができるのは、（立っているときに）その人の目が水平に変位し、それにより、あるシーンを閲覧するときに本来は存在しないはずの奥行を知覚できるからである。立体画像は、わずかに変位した複数の位置から記録された、１つのシーンについて記録された２つの画像を含み、これにより、それぞれの目で同時に閲覧したときに奥行を知覚する。現在、非パノラマ画像を生成し、立体的に表示するための配置が存在するが、パノラマ画像を生成し、立体的に表示するためのこのような配置はまったく存在しない。
【発明の概要】
【０００４】
本発明は、立体的なパノラマ画像を生成し表示するための新規かつ改良されたシステムおよび方法を提供する。
【０００５】
簡単に要約すると、一態様では、本発明は、あるシーンのパノラマ立体閲覧を容易にする際に使用するために、左右のパノラマモザイク画像を生成するためのシステムを提供する。左右のパノラマ画像生成器は、各画像がそれぞれの左右の画像部分を有し、それぞれの角位置またはその他の位置に対応して記録またはその他の方法で生成された一連の画像から左右のパノラマモザイク画像を生成し、それらの画像の部分をまとめてモザイク処理してそれぞれの左右のパノラマ画像を形成する。
【０００６】
他の態様では、本発明は、それぞれが閲覧者のそれぞれの目によって閲覧されるように左右のパノラマ画像を表示することにより、閲覧者に対して立体パノラマ画像を表示するためのシステムを提供する。
【０００７】
本発明は、特許請求の範囲に詳細に示されている。本発明の上記その他の利点は、添付図面に関連して以下に示す説明を参照することにより、よりよく理解することができる。
【図面の簡単な説明】
【０００８】
【図１Ａ】本発明により構築された立体パノラマ画像を生成し表示するための配置によって実行される動作を理解する際に有用な図である。
【図１Ｂ】本発明により構築された立体パノラマ画像を生成し表示するための配置によって実行される動作を理解する際に有用な図である。
【図２】本発明の一実施形態により構築された立体パノラマ記録生成システムの概略を示す図である。
【図３】図２に示す立体パノラマ記録生成システムで使用するカメラの概略を示す図である。
【図４】図１Ｂに示すカメラによって記録された画像からの左右のパノラマ画像の生成を示す図であり、図２に示す立体パノラマ記録生成システムのパノラマ画像生成器の動作を理解する際に有用な図である。
【図５】立体パノラマ記録生成システムによって実行される動作を示す流れ図である。
【図６】本発明の第２の実施形態により構築された立体パノラマ記録生成システムの概略を示す図である。
【図７】本発明の第３の実施形態により構築された立体パノラマ記録生成システムの概略を示す図である。
【図７Ａ】本発明の第３の実施形態により構築された立体パノラマ記録生成システムの概略を示す図である。
【図８】本発明の第４の実施形態により構築された立体パノラマ記録生成システムの概略を示す図である。
【図９】本発明の第５の実施形態により構築された立体パノラマ記録生成システムの概略を示す図である。
【図１０】コンピュータグラフィックス技法を使用する立体パノラマ画像対の生成を理解する際に有用な図である。
【図１１】閲覧者に対して立体パノラマ画像を表示するための第１の配置の概略を示す図である。
【図１２Ａ】閲覧者に対して立体パノラマ画像を表示するための第２の配置の概略を示す図である。
【図１２Ｂ】閲覧者に対して立体パノラマ画像を表示するための第２の配置の概略を示す図である。
【発明を実施するための形態】
【０００９】
本発明は、あるシーンの立体パノラマ画像を生成し、１人または複数の閲覧者がそのパノラマ画像を立体的に閲覧できるようにその閲覧者（複数も可）に対して画像を表示するためのシステムおよび方法を提供する。本発明のシステムおよび方法について説明する前に、立体パノラマ画像がどういうものであるかと、ここに記載する様々なシステムおよび方法が一般にどのように立体パノラマ画像を生成し、その表示を容易にするかを説明すると有用であると思われる。これについては、図１Ａおよび図１Ｂに関連して行う。まず図１Ａを参照すると、同図は、垂直に立ち、あるシーンの点Ｐを観察している観察者、特に、ドット２Ｌおよび２Ｒ（一般に参照番号「２Ｌ／Ｒ」によって識別される）によって表される目の概略を示している。観察者は、点Ｐから反射され、破線矢印３Ｌおよび３Ｒによって表されるそれぞれの光線に沿って目２Ｌおよび２Ｒに向けられた光線により、点Ｐを見る。ただし、光線３Ｌおよび３Ｒは平行ではないので、観察者は点Ｐおよびその付近のそのシーンの領域に関する奥行を観察できるようになることが分かるだろう。
【００１０】
通常、観察者は、自分の周りの３６０Ｅパノラマの小さい部分しか見ることができない。パノラマのより多くの部分を見るためには、観察者は、たとえば、参照番号４によって識別される矢印が示す方向に自分の頭を回転させることになる。頭を回転させることにより、観察者は自分とともに回転する光線（図示せず）に沿ってそのシーン内の他の点（同じく図示せず）を閲覧できるようになる。観察者が３６０Ｅ全体の周りを回転した場合、それぞれの目は同じ視野円５の周りを回転することになる。
【００１１】
観察者が回転するにつれてその観察者の２つの目によって見られる一連の画像のそれぞれは別々の画像セットに分離することができ、各画像セットがそれぞれの目に関連することは図１Ａから明らかになるだろう。これについては、図１Ｂに関連して説明する。図１Ｂは、左右のそれぞれの目に関する別々の視野円５Ｌおよび５Ｒ（一般に５Ｌ／Ｒ）に分割された視野円５を示し、点Ｐは各視野円５Ｌ／Ｒならびに図１Ａに示す光線３Ｌおよび３Ｒに対応する関連光線３Ｌ（１）および３Ｒ（１）に関して図１Ａと同じ位置に示されている。また、各視野円５Ｌ／Ｒは、観察者が矢印４Ｌおよび４Ｒによって表される方向に回転するにつれて観察者の左右のそれぞれの目がそのシーン内の様々な点について受け取る画像を表す参照番号３Ｌ（２）、．．．、３Ｌ（Ｎ）（一般に参照番号３Ｌ（ｎ）によって識別される）および３Ｒ（２）、．．．、３Ｒ（Ｎ）（一般に参照番号３Ｒ（ｎ）によって識別される）によって識別される他の光線も示している。
【００１２】
さらに図１Ｂに関連して説明すると、閲覧者によるそのシーンの立体パノラマ画像の閲覧を容易にするために、観察者のそれぞれの目によって受け取られると思われる画像を別々に記録し、閲覧者のそれぞれの目によって閲覧するかまたはその他の方法で閲覧者のそれぞれの目に対して表示することができる。したがって、たとえば、光線３Ｌ（１）、．．．、３Ｌ（Ｎ）によって示される連続方向に視野円５Ｌに対応する円の周りの連続点に画像を記録し、その画像をまとめてモザイク処理し、さらに光線３Ｒ（１）、．．．、３Ｒ（Ｎ）によって示される連続方向に視野円５Ｒに対応する円の周りの連続点に画像を記録する場合、ならびに（光線３Ｌ（ｎ）と３Ｒ（ｎ）の交点が同じ相対位置で閲覧されるように）これらの画像を適当に位置合せし、閲覧者のそれぞれの目に対して表示する場合、閲覧者はそのシーンの立体パノラマ画像を見ることができる。
【００１３】
同様に、コンピュータグラフィックス技法を使用して立体パノラマ画像を生成することができる。しかし、従来の画像レンダリングで使用する正規透視投影の代わりに、視野円５Ｌなどの円に接する光線を使用して左目用のパノラマ画像をレンダリングし、視野円５Ｒなどの円に接する光線を使用して右目用のパノラマ画像をレンダリングすることになる。
【００１４】
本発明は、そこから左右のパノラマ画像を生成することができ、そのパノラマ画像を閲覧者に表示することができる、画像の記録を容易にするための様々な配置を提供する。一般に、左右のパノラマ画像は、あるモデルからレンダリングするか、または複数の非パノラマ画像を記録し、その一部分をまとめてモザイク処理して左右のパノラマ画像を生成することにより、生成することができる。図１Ａでは、視野円５に接する方向に閲覧するものとして目が示されているが、実施形態によっては、カメラがむしろ一般に、精密ではないが、視野円に対して垂直になる可能性があることが分かるだろう。
【００１５】
図２は、本発明の一実施形態により構築された立体パノラマ記録生成システム１０の概略を示している。図２を参照すると、システム１０は、カメラリグ１１とパノラマモザイク画像生成器１２とを含む。カメラリグ１１は、上方に（水平記録パノラマの場合）に延びるマスト１４とそれに堅く取り付けられてそこから延びるアーム１５とを含む支持部上に取り付けられたカメラ１３などの画像記録装置を含む。カメラ１３は、たとえば、フィルム、電荷結合素子（ＣＣＤ）などを含む複数タイプのいずれかの画像記録媒体を使用して画像を記録することができる。カメラ１３によって記録された画像がそれによりマスト１４から所定の距離に記録されるように、カメラ１３はアーム１５上に堅く取り付けられている。モータ１６は、垂直軸の周りでマスト１４を回転させ、それにより、その周りをマスト１４が回転する軸上にセンタリングされた湾曲経路に沿ってカメラ１３が回転するように構成されている。後述するように、モータ１６の移動はモータ制御部１７によって制御され、そのモータ制御部１７はパノラマモザイク画像生成器１２によって制御される。カメラ１３はアーム１５に堅く取り付けられているので、カメラ１３はアーム１５によって定義される方向を指すことになる。一実施形態では、カメラ１３は動画用カメラとは対照的にスチールカメラであり、その実施形態では、モータ１６は好ましくはカメラ１３がステップバイステップ方式で回転できるようにするためにステッピングモータになり、カメラ１３はカメラ１３が画像を記録できるようにするために各ステップで停止する。その場合、ステップ間の角度は、図２および図３に関連して後述するように、パノラマ画像になるように各ステップで記録された画像のモザイク処理を容易にするようなものになる。一部の点では、連続ステップで記録された画像のそれぞれがパノラマモザイク画像生成器１２に供給されて処理される。次にパノラマモザイク画像生成器１２は、連続ステップで記録された画像を受け取り、その画像の部分をまとめてモザイク処理して、そこから左右のパノラマ画像を含む立体パノラマ画像対を生成する。立体パノラマ画像対を構成する左右のパノラマ画像は、図３に関連して後述するようにユーザに対して表示するかまたはユーザによって閲覧し、そのユーザにカメラ１３が記録したシーンの立体画像を提供することができる。
【００１６】
上記の通り、パノラマ画像は、マスト１４の回転中心の周りの様々な角位置でカメラ１３によって記録された画像の部分をまとめてモザイク処理することにより生成される。さらに処理する前に、カメラ１３の詳細と、パノラマ画像生成器１２が画像の部分をまとめてモザイク処理し、観察者の左右の目によって同時に閲覧したときにマスト１４の位置を取り囲むシーンの単一立体パノラマ画像をもたらすパノラマ画像対を形成する方法について説明すると有用であると思われる。図３は図２の最上部から見たときのカメラ１３の内部の詳細を示す平面図であり、図４はカメラによって記録された画像の詳細と、その画像の部分をまとめてモザイク処理して立体パノラマ画像対を形成する方法を示している。まず図３を参照すると、カメラ１３は、前部アパーチャ２０と、後部画像記録媒体２１と、画像記録媒体２１に近接しそれより前方にあるスクリーン２２と、シャッタ２３とを有するハウジング２４を含む。画像記録媒体２１は、カメラ１３の画像平面を定義するものであり、フィルム、ＣＣＤアレイなどを含む、従来の画像記録媒体を含むことができる。また、カメラ１３は、画像平面上に画像の焦点を合わせるのを容易にするためにアパーチャ２０内にレンズ（図示せず）も含むことができる。あるいは、カメラ１３はピンホールカメラを含むことができ、その場合、レンズはまったく設けられない。
【００１７】
シャッタ２３は、カメラ１３が向けられたシーン２７の部分から反射された光が選択的にカメラに入り、スクリーン２２および画像記録媒体２１の部分に投射され、それにより記録が行われるようにするために設けられている。シーン２７は、マスト１４の回転軸上にセンタリングされたパノラマシーンの一部を形成する。好ましくは、シャッタ２３は、モータ１６がカメラ１３をあるステップから次のステップへ移動する間、閉じられ、それにより、このような移動中にシーン２７からの光がカメラ１３に入り、画像記録媒体２１を露光するのをブロックするが、このような移動は本来は記録画像のぶれを引き起こす可能性がある。モータ１６が次のステップに到達し、カメラ１３が移動を停止した後、シャッタ２３を開いて、シーン２７からの光がカメラに入り、スクリーン２２および画像記録媒体２１に向かって後方に向けられるようにすることができる。画像記録媒体２１が適切に露光された後、シャッタを閉じ、モータ１６を励起してマスト１４を回転し、それによりカメラ１３を新しい向きにステップさせることができ、その点でこれらの動作を繰り返すことができる。好ましくは、画像記録媒体２１がフィルムである場合、二重露光を回避するために、シャッタ２３をもう一度開く前にそのフィルムを前に進めることになり、同様に、画像記録媒体２１がＣＣＤデバイスである場合、二重露光を回避するために必要に応じて、画像情報を検索して記憶し、ＣＣＤをリフレッシュすることができる。それぞれのステップでカメラ１３によって記録された画像は、多重露光を回避するために、互いに独立したものになる。
【００１８】
スクリーン２２は、一般に画像記録媒体２１の部分を覆うように構成されているが、シーン２７のそれぞれの方向ならびに部分２７Ｌおよび２７Ｒからの光が画像記録媒体２１の近接領域２６Ｌおよび２６Ｒ上に向き、それにより記録されるようにするための少なくとも２つの垂直スリット２５Ｌおよび２５Ｒは除く。破線２８Ｌおよび２８Ｒが示すように、スリット２５Ｒは画像記録媒体２１の領域２６Ｒがシーン２７の左側部分２７Ｒを記録できるように位置決めされ、スリット２５Ｌは画像記録媒体２１の領域２６Ｌがシーン２７の右側部分２７Ｌを記録できるように位置決めされている。図１Ａを参照すると、画像記録媒体２１の領域２６Ｒによって記録されるシーン２７の部分２７Ｒは、観察者がそのシーンの部分２７Ｒを直接見ている場合に観察者の右目がそのシーンのその部分２７Ｒを閲覧する方向に対応する方向からのものであることが分かるだろう。同様に、画像記録媒体の領域２６Ｌによって記録されるシーン２７の部分２７Ｌは、観察者がそのシーンの部分２７Ｌを直接見ている場合に観察者の左目がそのシーンのその部分２７Ｌを閲覧する方向に対応する方向からのものである。さらに、好ましくは、アーム１５上のカメラ１３の位置決めは、カメラ１３が回転したときに領域２６Ｌおよび２６Ｒが円、すなわち、画像円を描いて回転し、破線２８Ｌおよび２８Ｒが示す光線が図１Ａおよび図１Ｂに関連して前述したものと同様の内部視野円に接するようなものになることが分かるだろう。したがって、画像記録媒体２１の領域２６Ｌがシーン２７の部分２７Ｒとして図３に示されているものを記録できるようにモータ１６がカメラ１３をステップすると、左目でその画像を閲覧し、同時にそのシーン２７の領域２７Ｒ内に前に記録された画像を右目で閲覧する観察者は、シーン２７のその部分２７Ｒの立体画像を見ることになるだろう。同様に、画像記録媒体２１の領域２６Ｒがシーン２７の領域２７Ｌとして図３に示されているものを記録できるようにモータ１６がカメラ１３をステップすると、右目でその画像を閲覧し、同時にそのシーン２７の領域２７Ｌ内に前に記録された画像を左目で閲覧する観察者は、シーン２７のその部分２７Ｌの立体画像を見ることになるだろう。
【００１９】
図３に示す実施形態では、カメラ１３のスクリーン２２には中央スリット２５Ｃも設けられており、これはスクリーン２７からの光がカメラ１３に入るようにシャッタ２２が開いたときに、画像記録媒体２１の中央領域２６Ｃがシーン２７の領域２７Ｃとして図３に示されているものを記録できるようにするものである。中央領域２６Ｃはその領域を直視したものであり、光線２８Ｃはカメラの光学的中心にだいたい対応することが分かるだろう。
【００２０】
上記のように、マスト１４の回転中心の周りの様々なステップでカメラ１３によって記録された画像は、パノラマモザイク画像生成器１２によってまとめてモザイク処理し、左右のパノラマ画像を提供することができる。左右のパノラマ画像は、観察者、特に観察者の左右の目によって同時に閲覧したときに、マスト１４の回転中心上にセンタリングされたパノラマシーンの立体パノラマ画像が得られることになる。左右のパノラマ画像が生成される方法については、図４に関連して詳述する。図４を参照すると、マスト１４の回転中心の周りの「Ｎ」（ただし、「Ｎ」は整数である）個の連続ステップで記録された画像３０（１）から３０（Ｎ）（一般に参照番号３０（ｎ）によって識別される）のそれぞれは、左画像部分３０Ｌ（ｎ）と右画像部分３０Ｒ（ｎ）とを含む。次に各画像３０（ｎ）の左画像部分３０Ｌ（ｎ）は「ｎ番目」のステップで画像記録媒体２１上に記録された左領域２６Ｌに対応し、右画像部分３０Ｒ（ｎ）は同じ「ｎ番目」のステップで画像記録媒体２１上に記録された右領域２６Ｒに対応する。パノラマモザイク画像生成器１２は、連続画像３０（１）、３０（２）、．．．、３０（Ｎ）を受け取り、矢印３２Ｌ（１）、３２Ｌ（２）、．．．、３２Ｌ（Ｎ）が示すように、それからの左画像部分３０Ｌ（１）、３０Ｌ（２）、．．．、３０Ｌ（Ｎ）をまとめてモザイク処理して左パノラマ画像３１Ｌを形成する。同様に、パノラマモザイク画像生成器１２は、矢印３２Ｒ（１）、３２Ｒ（２）、．．．、３２Ｒ（Ｎ）が示すように、それからの右画像部分３０Ｒ（１）、３０Ｒ（２）、．．．、３０Ｒ（Ｎ）をまとめてモザイク処理して右パノラマ画像３１Ｒを形成する。パノラマモザイク画像生成器１２は、画像または画像の部分をまとめてモザイク処理するための任意の従来の技法を使用して左右のパノラマ画像３１Ｌおよび３１Ｒを生成することができる。左右のパノラマ画像３１Ｌおよび３１Ｒは、図１Ｂに関連して前述した左右の視野円５Ｌおよび５Ｒを描いて回転するときに観察者がそれぞれ自分の左右の目を通して見ると思われるものに適合することが分かるだろう。パノラマモザイク画像生成器１２はそれぞれの画像ストリップとして左右のパノラマ画像３１Ｌおよび３１Ｒを生成することができるか、またはそれぞれの左右の端部をまとめてモザイク処理することにより、それぞれの連続ループとして画像を形成することができる。しかも、この画像は、用紙またはフィルムなどの従来の媒体、電子または磁気データ記憶域内のディジタル形式、または当業者には分かるようなその他の媒体上に形成するかまたはそこに記憶することができる。
【００２１】
それぞれの画像３０（ｎ）の左右の画像部分３０Ｌ（ｎ）および３０Ｒ（ｎ）の幅は、一般にスクリーン２２の左右のスリット２５Ｌおよび２５Ｒ（図３）の幅に相関するものであり、一般に連続ステップのためにモータ１６が拘束される角度を決定することになることがさらに分かるだろう。連続ステップ間の角度は、連続画像部分３０Ｌ（１）、３０Ｌ（２）、．．．、３０Ｌ（Ｎ）をまとめてモザイク処理すると単一かつ連続的な左パノラマ画像３１Ｌを提供することができ、連続画像３０Ｒ（１）、３０Ｒ（２）、．．．、３０Ｒ（Ｎ）をまとめてモザイク処理すると単一かつ連続的な右パノラマ画像３１Ｒを提供することができることを保証するようなものになる。
【００２２】
上記のように、一実施形態では、スクリーン２２（図３）は、画像記録媒体の中央領域２６Ｃにおけるシーン２７の一部分の記録を容易にするために中央スリット２５Ｃも有し、その一部分は左右の領域２６Ｌおよび２６Ｒ上に記録された部分同士の中間物になる。それぞれの画像３０（ｎ）上に記録された中央画像部分は図２では参照番号３０Ｃ（ｎ）によって識別される。その場合、パノラマモザイク画像生成器１２は、連続画像３０（ｎ）の中央画像部分３０Ｃ（ｎ）から中央パノラマ画像も生成することができる。このように生成された中央パノラマ画像（図４には示されていない）は他の２つのパノラマ画像３１Ｌおよび３１Ｒのうちの一方とともに立体閲覧に使用することができるが、２つの画像間の対称性によってゆがみが減少し、立体視不均衡が増すので、左右のパノラマ画像３１Ｌおよび３１Ｒを使用することが好ましい。
【００２３】
マスト１４からカメラ１３までの距離ならびに左右のスリット２５Ｌおよび２５Ｒ間の分離は、通常の立体視の場合、すべての光線２８Ｒ、２８Ｌが接する視野円の半径が人間の両目の間の距離に近くなり、次にそれが図１Ａに関連して前述した視野円の直径にだいたい対応するように選択される。また、視野円の直径は誇張立体視または縮小立体視のために拡大または縮小できることが分かるだろう。
【００２４】
この背景により、左右のパノラマ画像３１Ｌおよび３１Ｒの生成に関して立体パノラマ記録生成システム１０によって実行される動作について、図５の流れ図に関連して説明する。図５を参照すると、マスト１４の軸が立体パノラマ用の回転中心に位置するようにカメラリグ１１を位置決めした後、モータ制御部１７はまず、モータ１６がカメラ１３を第１の画像３０（１）が記録される開始点に位置決めできるようにする（ステップ１００）。カメラ１３がだいたい位置決めされた後、モータ制御部１７はパノラマモザイク画像生成器１２に通知する（ステップ１０１）。
【００２５】
その後、立体パノラマ記録生成システム１０は、複数回の反復により、マスト１４の回転中心の周りの連続ステップで連続画像３０（１）、３０（２）、．．．、３０（Ｎ）を記録する。各反復ごとに、パノラマモザイク画像生成器１２は画像記録媒体２１上に１つの画像を第１の反復画像３０（１）として記録するようにカメラ１３を制御する（ステップ１０２）。その動作では、パノラマモザイク画像生成器１２は、画像記録媒体２１の露光を容易にするためにカメラのシャッタ２３が開けるようにすることができる。画像記録媒体２１が適当に露光された後、シャッタ２３は閉じられる。その後、カメラ１３が画像記録媒体２１としてフィルムを使用する場合、そのフィルムを前に進めることができる。あるいは、カメラ１３が画像記録媒体２１としてＣＣＤアレイを使用する場合、パノラマモザイク画像生成器１２は、その画像をカメラ１３によって維持されている記憶媒体（図示せず）によって記憶するかまたは記憶のためにそれ（すなわち、パノラマモザイク画像生成器１２）にダウンロードできるようにすることができる。
【００２６】
ステップ１０２で画像記録媒体２１によって画像が記録された後、パノラマモザイク画像生成器１２は、立体パノラマ画像対用の左右のパノラマ画像３１Ｌおよび３１Ｒを生成する際に使用されたすべての画像３０（１）から３０（Ｎ）が記録されたかどうかを判定することになる（ステップ１０３）。ステップ１０３でパノラマモザイク画像生成器１２が否定の判定を行った場合、すなわち、立体パノラマ画像対に必要なすべての画像３０（１）から３０（Ｎ）が記録されたわけではないと判定された場合、それは、モータ制御部１７がステップを前進するようにモータ１６を制御できるようにする（ステップ１０４）。その後、他の画像３０（２）の記録を容易にするために動作はステップ１０２に戻る。
【００２７】
立体パノラマ画像対に必要なすべての画像３０（１）から３０（Ｎ）が記録されたとパノラマモザイク画像生成器１２がステップ１０３で判定するまで、立体パノラマ記録生成システム１０は、複数回の反復によりステップ１０２から１０４を実行し、それぞれの反復ではマスト１４の回転中心の周りの連続ステップのそれぞれで１つの画像３０（ｎ）を記録する。その時点で、パノラマモザイク画像生成器１２は、立体パノラマ画像対を生成するために記録画像３０（ｎ）の処理を開始することができる。その動作では、パノラマモザイク画像生成器１２はまず、それぞれの画像３０（ｎ）の左右の画像部分３０Ｌ（ｎ）および３０Ｒ（ｎ）を識別し（ステップ１０５）、連続する左画像部分３０Ｌ（ｎ）をモザイク処理して左パノラマ画像３１Ｌを形成し、連続する右画像部分３０Ｒ（ｎ）をモザイク処理して右パノラマ画像３１Ｒを形成する（ステップ１０６）ことができる。パノラマモザイク画像生成器１２は、従来のモザイク処理技法を使用してステップ１０６で左右のパノラマ画像３１Ｌおよび３１Ｒを生成する。
【００２８】
図２に関連して前述した立体パノラマ記録生成システム１０は、マスト１４およびアーム１５上に取り付けられ、シーン２７のパノラマ画像を生成するために必要なアークによりモータ１６およびモータ制御部１７によって回転される単一カメラを使用するが、他の配置も使用することができる。たとえば、モータ制御部を使用するのではなく、コンピュータビジョン技法を使用してビデオフレームから画像運動を測定することにより、マストの回転に近づけることができる。他の例として、図６は、参照番号５０によって識別される本システムの第２の実施形態の概略を示し、複数のカメラが円内に取り付けられている。好ましくは、その円の直径は図２に関連して前述した回転カメラシステムと同じように、すなわち、すべてのカメラの左スリットからの光線と右スリットからの光線が内部視野円に接し、それが図１Ａに関連して前述した視野円５の直径に対応するように、選択されることが分かるだろう。これらのカメラはそのシーンの画像を同時に記録することができ、その後、図４に関連して前述したのと同じようにその画像を処理して左右のパノラマ画像を生成することができる。図６を参照すると、立体パノラマ記録生成システム５０は、円形支持部５２によって支持された複数のカメラ５１（１）から５１（Ｎ）（一般に参照番号５１（ｎ）によって識別される）を含む。カメラの数「Ｎ」は、左右のパノラマ画像３１Ｌおよび３１Ｒを生成するのに十分な左右の画像部分３０Ｌ（ｎ）および３０Ｒ（ｎ）を提供するのに必要な画像３０（Ｎ）の数「Ｎ」を生成するのに必要な数に対応する。カメラ５１（ｎ）は、図１および図２に関連して前述した立体パノラマ記録生成システム１０に使用するカメラ１３（図２）と同様のものにすることができる。それぞれのカメラ５１（ｎ）は、破線５２Ｌ（ｎ）および５２Ｒ（ｎ）ならびに矢印５３（ｎ）によって表される特定の視野５２（ｎ）を有することになる。カメラの数「Ｎ」、それぞれの視野５２（ｎ）、円形支持部５２の周りのそれぞれの配置は、左右のパノラマ画像３１Ｌおよび３１Ｒが連続することを保証するために十分な数の左右の画像部分３０Ｌ（ｎ）および３０Ｒ（ｎ）が記録されることを十分保証できるものになる。
【００２９】
システム１０（図２）およびシステム５０（図６）では、カメラ１３および５１（ｎ）は、ピンホールカメラまたは画像記録媒体２６上に画面２７から画像の焦点を合わせるためのレンズを備えたカメラのいずれかとして記載されている。図７から図９に関連して説明する他の実施形態では、シーン２７の画像をカメラに向かって反射させるためにミラーを使用する。図７から図９は、それぞれの立体パノラマ記録生成システム用の画像記録コンポーネント（本質的に図２に示すカメラリグ１１に類似するもの）を概略図形式で具体的に示しているが、このようなシステム内に同じく含まれるパノラマモザイク画像生成器１２は示していない。まず図７を参照すると、同図は、多辺形ＣＣＤアレイ６１とミラーアレイ６２とを含むカメラリグ６０の平面図の概略を示している。一実施形態では、ＣＣＤアレイ６１は上から見ると多辺形であり、各辺６０（１）から６０（Ｓ）（一般に参照番号６０（ｓ）によって識別される）は２つのＣＣＤデバイス６１（ｓ）（Ｌ）および６１（ｓ）（Ｒ）（一般に参照番号６１（ｓ）（ｌ／ｒ）によって識別される）を有する。図７に示す例示的な実施形態では、ＣＣＤアレイ６１は上から見ると八角形の形になっており、その場合、「Ｓ」は「８」になる。上記のように、図７は上からのＣＣＤアレイ６１を示し、辺６０（ｓ）は好ましくは正面から見たときに図７Ａに示すように正方形または矩形の構成を有することが分かるだろう。同様に、それぞれのＣＣＤデバイス６１（ｓ）（ｌ／ｒ）は好ましくは、それぞれの辺６０（ｓ）を正面から見たときに正方形または矩形の構成を有することになる。好ましくは、各辺６０（ｓ）のＣＣＤデバイス６１（ｓ）（ｌ／ｒ）は、それぞれの辺６０（ｓ）を垂直に二等分する垂線６３の両側に対称的に配置されることになる。
【００３０】
それぞれのミラー６４（ｓ）は八角形のＣＣＤアレイ６１の各辺６１（ｓ）から変位しており、各ミラー６４（ｓ）は一般に互いに対して所定の角度で配置された左右のミラー面６５（ｓ）（Ｌ）および６５（ｓ）（Ｒ）（一般に参照番号６５（ｓ）（ｌ／ｒ）によって識別される）を含み、頂点６６（ｓ）はＣＣＤアレイ６１のそれぞれの辺６０（ｓ）の中心に向いており、それぞれの辺６０（ｓ）を垂直に二等分する垂線６３に平行である。それぞれのミラー面６５（ｓ）（ｌ／ｒ）は、あるシーンの一部分の画像を対応インデックス付きＣＣＤデバイス６１（ｓ）（ｌ／ｒ）に向けるように配置されている。
【００３１】
近接ミラー６４（ｓ）および６４（ｓ′）の近接ミラーの左右のミラー面６５（ｓ）（Ｌ）および６５（ｓ′）（Ｒ）（ｓ′＝ｓ＋１、モジュロＳ）は、それぞれの左右のＣＣＤデバイス６１（ｓ）（Ｌ）および６２（ｓ′）（Ｒ）によって記録するためにあるシーンの画像を向けるように機能する。これは以下の説明から明らかになる。一般に、図７に示すように、あるシーン（図示せず）からのそれぞれの光線７０（ｓ）（Ｌ）および７０（ｓ′）（Ｒ）はそれぞれのミラー面６５（ｓ）（Ｌ）および６５（ｓ′）（Ｒ）からそれぞれのＣＣＤデバイス６１（ｓ）（Ｌ）および６１（ｓ）（Ｒ）に向かって反射する。光線７０（ｓ）（Ｌ）および７０（ｓ）（Ｒ）は一般に、あるシーンの一部分の左右の方向からのものであることが分かるだろう。したがって、それぞれのミラー面６５（１）（Ｌ）および６５（２）（Ｒ）によって提供されるように、ＣＣＤデバイス６２（１）（Ｌ）および６２（２）（Ｒ）の組合せによって記録された画像は、あるシーンの特定の領域用の適切な左右の画像を含むことになる。
【００３２】
連続インデックス付きＣＣＤデバイス６１（ｓ）（Ｌ）によって記録された画像をまとめてモザイク処理して、左のパノラマモザイク画像を提供する。同様に、連続インデックス付きＣＣＤデバイス６１（ｓ）（Ｒ）によって記録された画像をまとめてモザイク処理すると、右のパノラマモザイク画像を提供することができる。
【００３３】
図８は、単一固定カメラと回転平面ミラーを使用する立体パノラマ記録生成システム用のカメラリグ８０を含む画像記録コンポーネントを上から見た平面図を示している。図８を参照すると、カメラリグ８０はカメラ８１と平面ミラー８２とを含む。カメラ８１は一般に従来のカメラである。ミラー８２は通常、垂直ポスト（図示せず）上に取り付けられ、図２に関連して前述したように、カメラ１３およびアーム１５をモータ１６およびモータ制御部１７によって回転させる方法と同様にモータ（同じく図示せず）によって回転させる。ミラー８２は好ましくは矩形の形になり、その上辺を図８に示す。ミラー８２は破線矢印８４が示す線に沿ってシーン８３からカメラ８１に向かって画像を反射する。カメラ８１に供給される画像は反射画像なので、カメラの仮想視点または投射中心は破線矢印８５によって定義される。ミラーが回転するにつれて、シーン８３のうちカメラに向かって反射される部分がミラーの回転中心上にセンタリングされた円の周りを回転し、それに対するカメラ８１の有向仮想視点は円８６の周りを移動する。ミラー８２が回転するにつれて、カメラ８１は、図４に関連して前述した画像３０（ｎ）と同様の一連の画像を記録する。パノラマモザイク画像生成器は、図４に関連して前述したのと同様に、その画像の左右の画像部分をまとめてモザイク処理して左右のパノラマ画像を生成することができる。
【００３４】
カメラ８１に供給される画像は反射画像なので、カメラの仮想視点または投射中心は破線矢印８５によって定義される。ミラーが回転するにつれて、シーン８３のうちカメラに向かって反射される部分がミラーの回転中心上にセンタリングされた円の周りを回転し、それに対するカメラ８１の有向仮想視点は円８６の周りを移動する。ミラー８２が回転するにつれて、カメラ８１は、図４に関連して前述した画像３０（ｎ）と同様の一連の画像を記録する。パノラマモザイク画像生成器は、図４に関連して前述したのと同様に、その画像の左右の画像部分をまとめてモザイク処理して左右のパノラマ画像を生成することができる。
【００３５】
図９は、単一固定カメラと湾曲ミラーを使用する立体パノラマ記録生成システム用のカメラリグ１００を含む画像記録コンポーネントを上から見た平面図を示している。図９を参照すると、カメラリグ１００はカメラ１０１と湾曲ミラー１０２とを含む。カメラ１０１は、従来のフィルムまたはビデオカメラなどの従来のカメラである。ミラー１０２は好ましくは図９に示すように湾曲反射表面を有する。ミラー１０２は、一般に参照番号１０４によって示される破線矢印が示す光線に沿ってシーン１０５からカメラ１０１に向かって画像を反射するように湾曲している。一般に、参照番号１０６によって示されるようにシーン１０５からの光線がカメラの光学的中心に向けられるように、ミラー１０２が構築され、カメラ１０１が配置される。そのプロセスでは、そのシーンから反射され、想像上の視野円１０３に接して投射される光線は、ミラー１０２から反射し、カメラの光学的中心に向けられることになる。次にカメラ１０１は、光学的中心を通過する光線によって表される画像を受け取って記録するように配置される。湾曲ミラー１０２が一般に約１８０度までの比較的広い角度付きアークの範囲を定めるシーン１０５の画像の記録を容易にすることは明らかになるだろう。
【００３６】
カメラリグ１００は固定することができ、その場合、カメラリグは図９に示すようにシーン１０５のみの画像を記録することになる。３６０度全体を覆うために、例示的な実施形態はこのようなカメラリグを６台使用することができ、そのうちの３台は左目用の３６０度を覆うために使用し、他の３台は右目用の３６０度を覆うために使用する。あるいはカメラリグ１００は、想像上の視野円１０３上にセンタリングされた回転中心を回転するように取り付けることもできる。カメラ１０１およびミラー１０２を支持するために、どのような従来の支持部（図示せず）を設けることもできる。この支持部は垂直ポスト（図示せず）上に取り付けられ、アセンブリはモータ（同じく図示せず）によって回転され、いずれも図２に関連して前述したようにカメラ１３およびアーム１５がモータ１６およびモータ制御部１７によって回転されるのと同様に行われる。アセンブリが回転するにつれて、カメラ１０１は図４に関連して前述した画像３０（ｎ）と同様の一連の画像を記録する。パノラマモザイク画像生成器は、図４に関連して前述したのと同様に、画像の左右の画像部分をまとめてモザイク処理して左右のパノラマ画像を生成することができる。
【００３７】
上記のように、本発明は、それにより生成器１２などのパノラマモザイク画像生成器がコンピュータグラフィックス技法を使用してパノラマ立体画像対を生成することができる配置も提供する。これに関してパノラマモザイク画像生成器によって実行される動作については、図１０に関連して説明する。一般に、パノラマモザイク画像生成器は円１１０上に位置するカメラ用の画像を合成する。通常の立体視効果を得るためには、円１１０の半径は人間の頭の半径程度でなければならず、角度「ａ」はｄ＝２ｒ ｓｉｎ ａが人間の両目の間の距離にだいたい対応するようなものでなければならない。円１１０上のすべての位置で角度「ｂ」が角度「ａ」にだいたい対応する場合、図１０に示すように、１つの画像は２通りの閲覧方向に人工的に生成され、一方は左パノラマ画像３１Ｌ用であり、もう一方は右パノラマ画像３１Ｒ用である。図１０に示すように、各カメラ位置Ｐ１、Ｐ２、．．．、の閲覧方向は、左パノラマ画像３１Ｌを生成する際に使用する画像の場合は右方向であり、右パノラマ画像３１Ｒを生成する際に使用する画像の場合は左方向である。連続カメラ位置で生成されるすべての画像をまとめてモザイク処理し、左右のパノラマ画像を作成する。
【００３８】
本発明は、パノラマモザイク画像生成器１２によって生成された左右のパノラマ画像３１Ｌおよび３１Ｒ（図４）を閲覧者に対して表示し、それにより閲覧者がそれによって表されたパノラマを立体的に閲覧できるようにするためのシステムをさらに対象とする。図１１から図１２Ｂに関連して、いくつかの例示的なパノラマ画像表示システムについて説明する。図１１を参照すると、同図は、閲覧者が自分の目の上に着けることができるゴーグルを含むパノラマ画像表示システム１２０の概略を示している。一般に、パノラマ画像表示システム１２０は、左右の表示装置１２１Ｌおよび１２１Ｒと、表示制御モジュール１２２と、左右の表示制御部１２３Ｌおよび１２３Ｒと、ポインティングスティック１２４とを含む。左右の表示装置１２１Ｌおよび１２１Ｒは、左右のそれぞれの目の上にゴーグルとして閲覧者が身に着けることができる。左右の表示装置１２１Ｌおよび１２１Ｒは、たとえば、薄膜トランジスタアクティブマトリックス型表示装置、液晶表示装置などを含む、どのような便利な装置でも含むことができる。左右の表示装置１２１Ｌおよび１２１Ｒは、たとえば、メガネの枠、マスクなどを含み、それを閲覧者のそれぞれの目の正面に保持するどのような便利な配置にも取り付けることができる。左右の表示制御部１２３Ｌおよび１２３Ｒは、表示制御モジュール１２２の制御下で、左右のそれぞれの表示装置１２１Ｌおよび１２１Ｒが左右のそれぞれのパノラマ画像３１Ｌおよび３１Ｒのうちの少なくとも選択した部分を表示できるようにして、閲覧者がそれらを閲覧できるようにする。表示制御モジュールにより、左右のパノラマ画像は、図１Ｂに関連して前述したように、閲覧者の視野内の同じ相対位置でパノラマの同じ部分に関する画像を表示するように位置合せされることになる。閲覧者は、ポインティングスティック１２４を使用して、そのシーンのうち閲覧者の目のすぐ正面にある特定の部分を調整するように表示制御モジュールを制御することができるが、これは図１Ａに関連して前述したようにそのシーンを閲覧する際に観察者の角位置を制御することと同様である。
【００３９】
パノラマ画像が記録される表面の幾何学的形状は、画像が表示される表面の幾何学的形状とは異なる可能性があるので、ゆがみを回避するためにその画像に対する何らかの幾何学的変形が必要になる場合もある。たとえば、図２の回転カメラシステムは円筒形の表面上にパノラマ立体画像を生成する。平らなスクリーンを有するゴーグルを使用してその画像を表示する場合、その画像は、好ましくは表示の前に円筒形から平面への変形を使用して矯正しなければならない。これに対して、図１２Ａに示すように円筒形の画像を円筒形の劇場に表示する場合にはいかなる矯正も不要である可能性がある。
【００４０】
図１２Ａおよび図１２Ｂは閲覧者に対して立体パノラマを表示するための全方向性劇場配置の概略を示しており、図１２Ａは一般に正面図を示し、図１２Ｂは平面図を示す。図１２Ａおよび図１２Ｂに示す配置では、円筒形スクリーンによって範囲が定められた空間の内部に位置決めされた閲覧者の目に見えるように、スクリーンの表面上に左右のパノラマ画像３１Ｌおよび３１Ｒが投射される。これらの画像は直交方向に偏光させることができ、スクリーンによって範囲が定められた空間の内部に位置決めされ、偏光メガネを身に着けた閲覧者は、スクリーン上のパノラマ画像を立体的に閲覧することができる。左右のそれぞれのパノラマ画像３１Ｌおよび３１Ｒを含む画像は、スクリーンによって範囲が定められた空間内に位置するプロジェクタによって、またはその外部の位置から投射することができる。画像は互いに直交して偏光されるので、閲覧者が身に着けたメガネのレンズの偏光により、閲覧者のそれぞれの目は、スクリーン上に投射された画像のそれぞれ１つを受け取ることができるようになる。
【００４１】
したがって、図１２Ａおよび図１２Ｂを参照すると、全方向性劇場１４０は、円筒形スクリーン１４１と、それぞれが２つのプロジェクタ１４３Ｌ（ｎ）および１４３Ｒ（ｎ）を含む複数のプロジェクタセット１４２（１）から１４２（Ｎ）（一般に参照番号１４２（ｎ）によって識別される）とを含む。各プロジェクタセット１４２（ｎ）内のプロジェクタ１４３Ｌ（ｎ）および１４３Ｒ（ｎ）のそれぞれは、左右のそれぞれのパノラマ画像３１Ｌおよび３１Ｒの一部分をスクリーン１４１のそれぞれの部分上に投射する。プロジェクタセット１４２（ｎ）の数は好ましくは、表示された画像がゆがまず、それぞれのプロジェクタセット１４２（ｎ）によって表示される左右のパノラマ画像３１Ｌおよび３１Ｒの一部分がスクリーン１４１の周りに連続画像を提供し、それによりパノラマ画像を提供するように選択される。プロジェクタセット１４２（ｎ）は、図１２Ｂに示すようにスクリーン１４１の外部にその画像を投射するように位置決めすることができる。ただし、スクリーン１４１は、スクリーン１４１によって範囲が定められた空間の内部で投射画像を閲覧できるようなものでなければならない。あるいは、プロジェクタセット１４２（ｎ）はスクリーン１４１の内部にその画像を投射するように位置決めすることもできる。スクリーン１４１によって範囲が定められた空間の内部に立ち、偏光メガネ１４５を身に着けた閲覧者１４４は、パノラマ画像を立体的に閲覧できるようになる。
【００４２】
当業者であれば、偏光の使用に加え、他の立体分離の方法を使用して立体閲覧を実行できることが分かるだろう。これはシャッタを備えた立体メガネを含み、「左」と「右」の画像を交互に表示することにより機能する。このメガネは高速シャッタを有し、それは、左の画像が表示される場合は、左目側が透明で、右目側が不透明になり、右の画像が表示される場合はその逆になる。他の配置では、緑と赤のメガネを備えた「アナグリフステレオ」を使用する。
【００４３】
本発明はいくつかの利点をもたらす。特に、本発明は、あるシーンの立体パノラマ画像を生成し、閲覧者がそのパノラマ画像を立体的に閲覧できるようにその閲覧者に対して画像を表示するためのシステムおよび方法を提供する。
【００４４】
ここに記載したシステムおよび方法に対して、いくつかの変更が可能であることは分かるだろう。たとえば、図２に関連して説明したシステムは、カメラ１３が固定点の周りを回転できるようにすることにより、左右のパノラマ画像を提供するものとして記載されているが、このシステムはむしろ、カメラ１３が１つの線に沿って並進できるようにし、それにより細長いパノラマ画像を提供できることが分かるだろう。
【００４５】
しかも、ここに記載したシステムは静止パノラマ画像を記録し表示するものとして記載されているが、そのシステムを使用して動画を立体的に記録し表示できることが分かるだろう。たとえば、図６から図８に関連して説明したようなシステムは、回転カメラ、ミラーなどを使用するものではなく、経路に沿って必要に応じて並進させ、並進するにつれて３６０Ｅのパノラマ画像を記録することができる。図２および図８に関連して説明したようなシステムは、回転カメラ、ミラーなどを使用するものであり、回転する間に並進させることもできる。しかし、後者の場合、完全なパノラマを提供するために、カメラおよび／またはミラーを並進させると同時に回転させることが必要になる。このカメラおよび／またはミラーは、わずかに並進させる前に３６０Ｅの円全体を回転させることができ、この動作を繰り返す。あるいは、並進が比較的遅く、カメラとミラーが並進するにつれてまったく完全なパノラマを可能にするためにかなりオーバラップする場合、一方または両方を回転させながら並進させることができる。いずれの場合も、パノラマモザイク画像生成器１２は一連の左右のパノラマ画像３１Ｌおよび３１Ｒを生成し、それを閲覧者に対して連続的に表示できることが分かるだろう。たとえば、パノラマ画像表示システム１２０では、左右の表示装置１２１Ｌおよび１２１Ｒが連続する左右のパノラマ画像を表示できるようになる。同様に、全方向性劇場配置１４０では、それぞれのプロジェクタセット１４２（ｎ）の左右のプロジェクタ１４３Ｌ（ｎ）および１４３Ｒ（ｎ）がスクリーン１４１のそれぞれの部分に左右のパノラマ画像３１Ｌおよび３１Ｒのそれぞれの部分を投射できるようになる。表示された左右の画像３１Ｌおよび３１Ｒが同じパノラマからのものになるように左右の表示装置１２１Ｌおよび１２１Ｒならびに様々なプロジェクタセットによる左右のパノラマ画像の前進が同期化されることが分かるだろう。
【００４６】
しかも、カメラ１３は左右のスリット２５Ｌおよび２５Ｒを有するスクリーン２２を含むものとして記載されているが、カメラ１３はスクリーンを含む必要がないことが分かるだろう。むしろ、パノラマモザイク画像生成器は、左右のそれぞれのパノラマ画像３１Ｌおよび３１Ｒを生成する際に画像３１（ｎ）の左側部分と右側部分のそれぞれからの断片を使用することができる。
【００４７】
しかも、パノラマ画像表示システム１２０は閲覧者の目に対して立体パノラマ画像の中心の角位置を制御するためにポインティングスティックを使用するものとして記載されているが、たとえば、閲覧者の頭の位置または角度の向きの変化を判定するためにトラッカなどの配置を含む他の装置を使用できることが分かるだろう。
【００４８】
さらに、本発明は、閲覧者に対して表示可能な左右のパノラマ画像３１Ｌおよび３１Ｒの生成に関連して使用するために画像を記録するための配置を含むものとして記載されているが、左右のパノラマ画像３１Ｌおよび３１Ｒはむしろコンピュータグラフィックス技法を使用して生成できることが分かるだろう。
【００４９】
本発明により構築されたシステムは、たとえば、移動中に後で報告または分析するため、ならびに教育およびマーケティングに使用するためにスポーツイベントを記録することを含む、いくつかの応用例で有用である可能性があることが分かるだろう。しかも、本発明により構築されたシステムは、ロボット工学およびコンピュータビデオゲームに関連して有用である可能性がある。さらに、特定の表示配置に関連して本発明を説明してきたが、コンピュータモニタ、テレビなどでの表示など、他のタイプの配置も有用である可能性があることが分かるだろう。
【００５０】
本発明によるシステムは、専用ハードウェアまたは汎用コンピュータシステムあるいはその組合せから全部または一部を構築することができ、そのいずれの部分も適当なプログラムで制御できることが分かるだろう。どのようなプログラムも、従来通り全部または一部が本システムの一部を含むかまたは本システム上に記憶することができ、あるいは従来通り情報を転送するためのネットワークまたは他のメカニズムにより全部または一部を本システム内に供給することができる。しかも、本システムは、本システムに直接接続できるかまたは従来通り情報を転送するためのネットワークまたは他のメカニズムにより本システムに情報を転送できるオペレータ入力要素（図示せず）を使用してオペレータによって提供された情報により操作またはその他の方法で制御できることが分かるだろう。
【００５１】
上記の説明は、本発明の特定の実施形態に限定されている。しかし、本発明の利点の一部または全部を達成するとともに、本発明の様々な変形形態および修正形態が可能であることは明らかになるだろう。特許請求の範囲の目的は、本発明の真の精神および範囲に該当するような上記その他の変形形態および修正形態を含めることである。
【００５２】
本発明により構築されたシステムは、たとえば、移動中に後で報告または分析するため、ならびに教育およびマーケティングに使用するためにスポーツイベントを記録することを含む、いくつかの応用例で有用である可能性があることが分かるだろう。しかも、本発明により構築されたシステムは、ロボット工学およびコンピュータビデオゲームに関連して有用である可能性がある。さらに、特定の表示配置に関連して本発明を説明してきたが、コンピュータモニタ、テレビなどでの表示など、他のタイプの配置も有用である可能性があることが分かるだろう。
【００５３】
上記の説明は、本発明の特定の実施形態に限定されている。しかし、本発明の利点の一部または全部を達成するとともに、本発明の様々な変形形態および修正形態が可能であることは明らかになるだろう。特許請求の範囲の目的は、本発明の真の精神および範囲に該当するような上記その他の変形形態および修正形態を含めることである。
【技術分野】
【０００１】
本発明は、一般に画像を記録、生成、再生、または表示する分野に関し、より詳細にはパノラマ画像を生成し、立体的に表示することに関する。
【背景技術】
【０００２】
パノラマ画像とは３６０°全体までの広い視野を有するシーンの画像である。パノラマ画像は、広い視野を提供する広角レンズ、ミラーなどを使用して記録することができる。より広い視野を有するパノラマ画像は、たとえば、特定の点の周りの複数の画像を記録し、従来のモザイク処理技法を使用して単一モザイク像を生成することにより、生成することができる。また、パノラマ画像は、従来のコンピュータグラフィックス技法を使用して、模擬シーンから生成することもできる。
【０００３】
問題は、パノラマ画像を立体的に閲覧することに関連して発生する。人が立体的に見ることができるのは、（立っているときに）その人の目が水平に変位し、それにより、あるシーンを閲覧するときに本来は存在しないはずの奥行を知覚できるからである。立体画像は、わずかに変位した複数の位置から記録された、１つのシーンについて記録された２つの画像を含み、これにより、それぞれの目で同時に閲覧したときに奥行を知覚する。現在、非パノラマ画像を生成し、立体的に表示するための配置が存在するが、パノラマ画像を生成し、立体的に表示するためのこのような配置はまったく存在しない。
【発明の概要】
【０００４】
本発明は、立体的なパノラマ画像を生成し表示するための新規かつ改良されたシステムおよび方法を提供する。
【０００５】
簡単に要約すると、一態様では、本発明は、あるシーンのパノラマ立体閲覧を容易にする際に使用するために、左右のパノラマモザイク画像を生成するためのシステムを提供する。左右のパノラマ画像生成器は、各画像がそれぞれの左右の画像部分を有し、それぞれの角位置またはその他の位置に対応して記録またはその他の方法で生成された一連の画像から左右のパノラマモザイク画像を生成し、それらの画像の部分をまとめてモザイク処理してそれぞれの左右のパノラマ画像を形成する。
【０００６】
他の態様では、本発明は、それぞれが閲覧者のそれぞれの目によって閲覧されるように左右のパノラマ画像を表示することにより、閲覧者に対して立体パノラマ画像を表示するためのシステムを提供する。
【０００７】
本発明は、特許請求の範囲に詳細に示されている。本発明の上記その他の利点は、添付図面に関連して以下に示す説明を参照することにより、よりよく理解することができる。
【図面の簡単な説明】
【０００８】
【図１Ａ】本発明により構築された立体パノラマ画像を生成し表示するための配置によって実行される動作を理解する際に有用な図である。
【図１Ｂ】本発明により構築された立体パノラマ画像を生成し表示するための配置によって実行される動作を理解する際に有用な図である。
【図２】本発明の一実施形態により構築された立体パノラマ記録生成システムの概略を示す図である。
【図３】図２に示す立体パノラマ記録生成システムで使用するカメラの概略を示す図である。
【図４】図１Ｂに示すカメラによって記録された画像からの左右のパノラマ画像の生成を示す図であり、図２に示す立体パノラマ記録生成システムのパノラマ画像生成器の動作を理解する際に有用な図である。
【図５】立体パノラマ記録生成システムによって実行される動作を示す流れ図である。
【図６】本発明の第２の実施形態により構築された立体パノラマ記録生成システムの概略を示す図である。
【図７】本発明の第３の実施形態により構築された立体パノラマ記録生成システムの概略を示す図である。
【図７Ａ】本発明の第３の実施形態により構築された立体パノラマ記録生成システムの概略を示す図である。
【図８】本発明の第４の実施形態により構築された立体パノラマ記録生成システムの概略を示す図である。
【図９】本発明の第５の実施形態により構築された立体パノラマ記録生成システムの概略を示す図である。
【図１０】コンピュータグラフィックス技法を使用する立体パノラマ画像対の生成を理解する際に有用な図である。
【図１１】閲覧者に対して立体パノラマ画像を表示するための第１の配置の概略を示す図である。
【図１２Ａ】閲覧者に対して立体パノラマ画像を表示するための第２の配置の概略を示す図である。
【図１２Ｂ】閲覧者に対して立体パノラマ画像を表示するための第２の配置の概略を示す図である。
【発明を実施するための形態】
【０００９】
本発明は、あるシーンの立体パノラマ画像を生成し、１人または複数の閲覧者がそのパノラマ画像を立体的に閲覧できるようにその閲覧者（複数も可）に対して画像を表示するためのシステムおよび方法を提供する。本発明のシステムおよび方法について説明する前に、立体パノラマ画像がどういうものであるかと、ここに記載する様々なシステムおよび方法が一般にどのように立体パノラマ画像を生成し、その表示を容易にするかを説明すると有用であると思われる。これについては、図１Ａおよび図１Ｂに関連して行う。まず図１Ａを参照すると、同図は、垂直に立ち、あるシーンの点Ｐを観察している観察者、特に、ドット２Ｌおよび２Ｒ（一般に参照番号「２Ｌ／Ｒ」によって識別される）によって表される目の概略を示している。観察者は、点Ｐから反射され、破線矢印３Ｌおよび３Ｒによって表されるそれぞれの光線に沿って目２Ｌおよび２Ｒに向けられた光線により、点Ｐを見る。ただし、光線３Ｌおよび３Ｒは平行ではないので、観察者は点Ｐおよびその付近のそのシーンの領域に関する奥行を観察できるようになることが分かるだろう。
【００１０】
通常、観察者は、自分の周りの３６０Ｅパノラマの小さい部分しか見ることができない。パノラマのより多くの部分を見るためには、観察者は、たとえば、参照番号４によって識別される矢印が示す方向に自分の頭を回転させることになる。頭を回転させることにより、観察者は自分とともに回転する光線（図示せず）に沿ってそのシーン内の他の点（同じく図示せず）を閲覧できるようになる。観察者が３６０Ｅ全体の周りを回転した場合、それぞれの目は同じ視野円５の周りを回転することになる。
【００１１】
観察者が回転するにつれてその観察者の２つの目によって見られる一連の画像のそれぞれは別々の画像セットに分離することができ、各画像セットがそれぞれの目に関連することは図１Ａから明らかになるだろう。これについては、図１Ｂに関連して説明する。図１Ｂは、左右のそれぞれの目に関する別々の視野円５Ｌおよび５Ｒ（一般に５Ｌ／Ｒ）に分割された視野円５を示し、点Ｐは各視野円５Ｌ／Ｒならびに図１Ａに示す光線３Ｌおよび３Ｒに対応する関連光線３Ｌ（１）および３Ｒ（１）に関して図１Ａと同じ位置に示されている。また、各視野円５Ｌ／Ｒは、観察者が矢印４Ｌおよび４Ｒによって表される方向に回転するにつれて観察者の左右のそれぞれの目がそのシーン内の様々な点について受け取る画像を表す参照番号３Ｌ（２）、．．．、３Ｌ（Ｎ）（一般に参照番号３Ｌ（ｎ）によって識別される）および３Ｒ（２）、．．．、３Ｒ（Ｎ）（一般に参照番号３Ｒ（ｎ）によって識別される）によって識別される他の光線も示している。
【００１２】
さらに図１Ｂに関連して説明すると、閲覧者によるそのシーンの立体パノラマ画像の閲覧を容易にするために、観察者のそれぞれの目によって受け取られると思われる画像を別々に記録し、閲覧者のそれぞれの目によって閲覧するかまたはその他の方法で閲覧者のそれぞれの目に対して表示することができる。したがって、たとえば、光線３Ｌ（１）、．．．、３Ｌ（Ｎ）によって示される連続方向に視野円５Ｌに対応する円の周りの連続点に画像を記録し、その画像をまとめてモザイク処理し、さらに光線３Ｒ（１）、．．．、３Ｒ（Ｎ）によって示される連続方向に視野円５Ｒに対応する円の周りの連続点に画像を記録する場合、ならびに（光線３Ｌ（ｎ）と３Ｒ（ｎ）の交点が同じ相対位置で閲覧されるように）これらの画像を適当に位置合せし、閲覧者のそれぞれの目に対して表示する場合、閲覧者はそのシーンの立体パノラマ画像を見ることができる。
【００１３】
同様に、コンピュータグラフィックス技法を使用して立体パノラマ画像を生成することができる。しかし、従来の画像レンダリングで使用する正規透視投影の代わりに、視野円５Ｌなどの円に接する光線を使用して左目用のパノラマ画像をレンダリングし、視野円５Ｒなどの円に接する光線を使用して右目用のパノラマ画像をレンダリングすることになる。
【００１４】
本発明は、そこから左右のパノラマ画像を生成することができ、そのパノラマ画像を閲覧者に表示することができる、画像の記録を容易にするための様々な配置を提供する。一般に、左右のパノラマ画像は、あるモデルからレンダリングするか、または複数の非パノラマ画像を記録し、その一部分をまとめてモザイク処理して左右のパノラマ画像を生成することにより、生成することができる。図１Ａでは、視野円５に接する方向に閲覧するものとして目が示されているが、実施形態によっては、カメラがむしろ一般に、精密ではないが、視野円に対して垂直になる可能性があることが分かるだろう。
【００１５】
図２は、本発明の一実施形態により構築された立体パノラマ記録生成システム１０の概略を示している。図２を参照すると、システム１０は、カメラリグ１１とパノラマモザイク画像生成器１２とを含む。カメラリグ１１は、上方に（水平記録パノラマの場合）に延びるマスト１４とそれに堅く取り付けられてそこから延びるアーム１５とを含む支持部上に取り付けられたカメラ１３などの画像記録装置を含む。カメラ１３は、たとえば、フィルム、電荷結合素子（ＣＣＤ）などを含む複数タイプのいずれかの画像記録媒体を使用して画像を記録することができる。カメラ１３によって記録された画像がそれによりマスト１４から所定の距離に記録されるように、カメラ１３はアーム１５上に堅く取り付けられている。モータ１６は、垂直軸の周りでマスト１４を回転させ、それにより、その周りをマスト１４が回転する軸上にセンタリングされた湾曲経路に沿ってカメラ１３が回転するように構成されている。後述するように、モータ１６の移動はモータ制御部１７によって制御され、そのモータ制御部１７はパノラマモザイク画像生成器１２によって制御される。カメラ１３はアーム１５に堅く取り付けられているので、カメラ１３はアーム１５によって定義される方向を指すことになる。一実施形態では、カメラ１３は動画用カメラとは対照的にスチールカメラであり、その実施形態では、モータ１６は好ましくはカメラ１３がステップバイステップ方式で回転できるようにするためにステッピングモータになり、カメラ１３はカメラ１３が画像を記録できるようにするために各ステップで停止する。その場合、ステップ間の角度は、図２および図３に関連して後述するように、パノラマ画像になるように各ステップで記録された画像のモザイク処理を容易にするようなものになる。一部の点では、連続ステップで記録された画像のそれぞれがパノラマモザイク画像生成器１２に供給されて処理される。次にパノラマモザイク画像生成器１２は、連続ステップで記録された画像を受け取り、その画像の部分をまとめてモザイク処理して、そこから左右のパノラマ画像を含む立体パノラマ画像対を生成する。立体パノラマ画像対を構成する左右のパノラマ画像は、図３に関連して後述するようにユーザに対して表示するかまたはユーザによって閲覧し、そのユーザにカメラ１３が記録したシーンの立体画像を提供することができる。
【００１６】
上記の通り、パノラマ画像は、マスト１４の回転中心の周りの様々な角位置でカメラ１３によって記録された画像の部分をまとめてモザイク処理することにより生成される。さらに処理する前に、カメラ１３の詳細と、パノラマ画像生成器１２が画像の部分をまとめてモザイク処理し、観察者の左右の目によって同時に閲覧したときにマスト１４の位置を取り囲むシーンの単一立体パノラマ画像をもたらすパノラマ画像対を形成する方法について説明すると有用であると思われる。図３は図２の最上部から見たときのカメラ１３の内部の詳細を示す平面図であり、図４はカメラによって記録された画像の詳細と、その画像の部分をまとめてモザイク処理して立体パノラマ画像対を形成する方法を示している。まず図３を参照すると、カメラ１３は、前部アパーチャ２０と、後部画像記録媒体２１と、画像記録媒体２１に近接しそれより前方にあるスクリーン２２と、シャッタ２３とを有するハウジング２４を含む。画像記録媒体２１は、カメラ１３の画像平面を定義するものであり、フィルム、ＣＣＤアレイなどを含む、従来の画像記録媒体を含むことができる。また、カメラ１３は、画像平面上に画像の焦点を合わせるのを容易にするためにアパーチャ２０内にレンズ（図示せず）も含むことができる。あるいは、カメラ１３はピンホールカメラを含むことができ、その場合、レンズはまったく設けられない。
【００１７】
シャッタ２３は、カメラ１３が向けられたシーン２７の部分から反射された光が選択的にカメラに入り、スクリーン２２および画像記録媒体２１の部分に投射され、それにより記録が行われるようにするために設けられている。シーン２７は、マスト１４の回転軸上にセンタリングされたパノラマシーンの一部を形成する。好ましくは、シャッタ２３は、モータ１６がカメラ１３をあるステップから次のステップへ移動する間、閉じられ、それにより、このような移動中にシーン２７からの光がカメラ１３に入り、画像記録媒体２１を露光するのをブロックするが、このような移動は本来は記録画像のぶれを引き起こす可能性がある。モータ１６が次のステップに到達し、カメラ１３が移動を停止した後、シャッタ２３を開いて、シーン２７からの光がカメラに入り、スクリーン２２および画像記録媒体２１に向かって後方に向けられるようにすることができる。画像記録媒体２１が適切に露光された後、シャッタを閉じ、モータ１６を励起してマスト１４を回転し、それによりカメラ１３を新しい向きにステップさせることができ、その点でこれらの動作を繰り返すことができる。好ましくは、画像記録媒体２１がフィルムである場合、二重露光を回避するために、シャッタ２３をもう一度開く前にそのフィルムを前に進めることになり、同様に、画像記録媒体２１がＣＣＤデバイスである場合、二重露光を回避するために必要に応じて、画像情報を検索して記憶し、ＣＣＤをリフレッシュすることができる。それぞれのステップでカメラ１３によって記録された画像は、多重露光を回避するために、互いに独立したものになる。
【００１８】
スクリーン２２は、一般に画像記録媒体２１の部分を覆うように構成されているが、シーン２７のそれぞれの方向ならびに部分２７Ｌおよび２７Ｒからの光が画像記録媒体２１の近接領域２６Ｌおよび２６Ｒ上に向き、それにより記録されるようにするための少なくとも２つの垂直スリット２５Ｌおよび２５Ｒは除く。破線２８Ｌおよび２８Ｒが示すように、スリット２５Ｒは画像記録媒体２１の領域２６Ｒがシーン２７の左側部分２７Ｒを記録できるように位置決めされ、スリット２５Ｌは画像記録媒体２１の領域２６Ｌがシーン２７の右側部分２７Ｌを記録できるように位置決めされている。図１Ａを参照すると、画像記録媒体２１の領域２６Ｒによって記録されるシーン２７の部分２７Ｒは、観察者がそのシーンの部分２７Ｒを直接見ている場合に観察者の右目がそのシーンのその部分２７Ｒを閲覧する方向に対応する方向からのものであることが分かるだろう。同様に、画像記録媒体の領域２６Ｌによって記録されるシーン２７の部分２７Ｌは、観察者がそのシーンの部分２７Ｌを直接見ている場合に観察者の左目がそのシーンのその部分２７Ｌを閲覧する方向に対応する方向からのものである。さらに、好ましくは、アーム１５上のカメラ１３の位置決めは、カメラ１３が回転したときに領域２６Ｌおよび２６Ｒが円、すなわち、画像円を描いて回転し、破線２８Ｌおよび２８Ｒが示す光線が図１Ａおよび図１Ｂに関連して前述したものと同様の内部視野円に接するようなものになることが分かるだろう。したがって、画像記録媒体２１の領域２６Ｌがシーン２７の部分２７Ｒとして図３に示されているものを記録できるようにモータ１６がカメラ１３をステップすると、左目でその画像を閲覧し、同時にそのシーン２７の領域２７Ｒ内に前に記録された画像を右目で閲覧する観察者は、シーン２７のその部分２７Ｒの立体画像を見ることになるだろう。同様に、画像記録媒体２１の領域２６Ｒがシーン２７の領域２７Ｌとして図３に示されているものを記録できるようにモータ１６がカメラ１３をステップすると、右目でその画像を閲覧し、同時にそのシーン２７の領域２７Ｌ内に前に記録された画像を左目で閲覧する観察者は、シーン２７のその部分２７Ｌの立体画像を見ることになるだろう。
【００１９】
図３に示す実施形態では、カメラ１３のスクリーン２２には中央スリット２５Ｃも設けられており、これはスクリーン２７からの光がカメラ１３に入るようにシャッタ２２が開いたときに、画像記録媒体２１の中央領域２６Ｃがシーン２７の領域２７Ｃとして図３に示されているものを記録できるようにするものである。中央領域２６Ｃはその領域を直視したものであり、光線２８Ｃはカメラの光学的中心にだいたい対応することが分かるだろう。
【００２０】
上記のように、マスト１４の回転中心の周りの様々なステップでカメラ１３によって記録された画像は、パノラマモザイク画像生成器１２によってまとめてモザイク処理し、左右のパノラマ画像を提供することができる。左右のパノラマ画像は、観察者、特に観察者の左右の目によって同時に閲覧したときに、マスト１４の回転中心上にセンタリングされたパノラマシーンの立体パノラマ画像が得られることになる。左右のパノラマ画像が生成される方法については、図４に関連して詳述する。図４を参照すると、マスト１４の回転中心の周りの「Ｎ」（ただし、「Ｎ」は整数である）個の連続ステップで記録された画像３０（１）から３０（Ｎ）（一般に参照番号３０（ｎ）によって識別される）のそれぞれは、左画像部分３０Ｌ（ｎ）と右画像部分３０Ｒ（ｎ）とを含む。次に各画像３０（ｎ）の左画像部分３０Ｌ（ｎ）は「ｎ番目」のステップで画像記録媒体２１上に記録された左領域２６Ｌに対応し、右画像部分３０Ｒ（ｎ）は同じ「ｎ番目」のステップで画像記録媒体２１上に記録された右領域２６Ｒに対応する。パノラマモザイク画像生成器１２は、連続画像３０（１）、３０（２）、．．．、３０（Ｎ）を受け取り、矢印３２Ｌ（１）、３２Ｌ（２）、．．．、３２Ｌ（Ｎ）が示すように、それからの左画像部分３０Ｌ（１）、３０Ｌ（２）、．．．、３０Ｌ（Ｎ）をまとめてモザイク処理して左パノラマ画像３１Ｌを形成する。同様に、パノラマモザイク画像生成器１２は、矢印３２Ｒ（１）、３２Ｒ（２）、．．．、３２Ｒ（Ｎ）が示すように、それからの右画像部分３０Ｒ（１）、３０Ｒ（２）、．．．、３０Ｒ（Ｎ）をまとめてモザイク処理して右パノラマ画像３１Ｒを形成する。パノラマモザイク画像生成器１２は、画像または画像の部分をまとめてモザイク処理するための任意の従来の技法を使用して左右のパノラマ画像３１Ｌおよび３１Ｒを生成することができる。左右のパノラマ画像３１Ｌおよび３１Ｒは、図１Ｂに関連して前述した左右の視野円５Ｌおよび５Ｒを描いて回転するときに観察者がそれぞれ自分の左右の目を通して見ると思われるものに適合することが分かるだろう。パノラマモザイク画像生成器１２はそれぞれの画像ストリップとして左右のパノラマ画像３１Ｌおよび３１Ｒを生成することができるか、またはそれぞれの左右の端部をまとめてモザイク処理することにより、それぞれの連続ループとして画像を形成することができる。しかも、この画像は、用紙またはフィルムなどの従来の媒体、電子または磁気データ記憶域内のディジタル形式、または当業者には分かるようなその他の媒体上に形成するかまたはそこに記憶することができる。
【００２１】
それぞれの画像３０（ｎ）の左右の画像部分３０Ｌ（ｎ）および３０Ｒ（ｎ）の幅は、一般にスクリーン２２の左右のスリット２５Ｌおよび２５Ｒ（図３）の幅に相関するものであり、一般に連続ステップのためにモータ１６が拘束される角度を決定することになることがさらに分かるだろう。連続ステップ間の角度は、連続画像部分３０Ｌ（１）、３０Ｌ（２）、．．．、３０Ｌ（Ｎ）をまとめてモザイク処理すると単一かつ連続的な左パノラマ画像３１Ｌを提供することができ、連続画像３０Ｒ（１）、３０Ｒ（２）、．．．、３０Ｒ（Ｎ）をまとめてモザイク処理すると単一かつ連続的な右パノラマ画像３１Ｒを提供することができることを保証するようなものになる。
【００２２】
上記のように、一実施形態では、スクリーン２２（図３）は、画像記録媒体の中央領域２６Ｃにおけるシーン２７の一部分の記録を容易にするために中央スリット２５Ｃも有し、その一部分は左右の領域２６Ｌおよび２６Ｒ上に記録された部分同士の中間物になる。それぞれの画像３０（ｎ）上に記録された中央画像部分は図２では参照番号３０Ｃ（ｎ）によって識別される。その場合、パノラマモザイク画像生成器１２は、連続画像３０（ｎ）の中央画像部分３０Ｃ（ｎ）から中央パノラマ画像も生成することができる。このように生成された中央パノラマ画像（図４には示されていない）は他の２つのパノラマ画像３１Ｌおよび３１Ｒのうちの一方とともに立体閲覧に使用することができるが、２つの画像間の対称性によってゆがみが減少し、立体視不均衡が増すので、左右のパノラマ画像３１Ｌおよび３１Ｒを使用することが好ましい。
【００２３】
マスト１４からカメラ１３までの距離ならびに左右のスリット２５Ｌおよび２５Ｒ間の分離は、通常の立体視の場合、すべての光線２８Ｒ、２８Ｌが接する視野円の半径が人間の両目の間の距離に近くなり、次にそれが図１Ａに関連して前述した視野円の直径にだいたい対応するように選択される。また、視野円の直径は誇張立体視または縮小立体視のために拡大または縮小できることが分かるだろう。
【００２４】
この背景により、左右のパノラマ画像３１Ｌおよび３１Ｒの生成に関して立体パノラマ記録生成システム１０によって実行される動作について、図５の流れ図に関連して説明する。図５を参照すると、マスト１４の軸が立体パノラマ用の回転中心に位置するようにカメラリグ１１を位置決めした後、モータ制御部１７はまず、モータ１６がカメラ１３を第１の画像３０（１）が記録される開始点に位置決めできるようにする（ステップ１００）。カメラ１３がだいたい位置決めされた後、モータ制御部１７はパノラマモザイク画像生成器１２に通知する（ステップ１０１）。
【００２５】
その後、立体パノラマ記録生成システム１０は、複数回の反復により、マスト１４の回転中心の周りの連続ステップで連続画像３０（１）、３０（２）、．．．、３０（Ｎ）を記録する。各反復ごとに、パノラマモザイク画像生成器１２は画像記録媒体２１上に１つの画像を第１の反復画像３０（１）として記録するようにカメラ１３を制御する（ステップ１０２）。その動作では、パノラマモザイク画像生成器１２は、画像記録媒体２１の露光を容易にするためにカメラのシャッタ２３が開けるようにすることができる。画像記録媒体２１が適当に露光された後、シャッタ２３は閉じられる。その後、カメラ１３が画像記録媒体２１としてフィルムを使用する場合、そのフィルムを前に進めることができる。あるいは、カメラ１３が画像記録媒体２１としてＣＣＤアレイを使用する場合、パノラマモザイク画像生成器１２は、その画像をカメラ１３によって維持されている記憶媒体（図示せず）によって記憶するかまたは記憶のためにそれ（すなわち、パノラマモザイク画像生成器１２）にダウンロードできるようにすることができる。
【００２６】
ステップ１０２で画像記録媒体２１によって画像が記録された後、パノラマモザイク画像生成器１２は、立体パノラマ画像対用の左右のパノラマ画像３１Ｌおよび３１Ｒを生成する際に使用されたすべての画像３０（１）から３０（Ｎ）が記録されたかどうかを判定することになる（ステップ１０３）。ステップ１０３でパノラマモザイク画像生成器１２が否定の判定を行った場合、すなわち、立体パノラマ画像対に必要なすべての画像３０（１）から３０（Ｎ）が記録されたわけではないと判定された場合、それは、モータ制御部１７がステップを前進するようにモータ１６を制御できるようにする（ステップ１０４）。その後、他の画像３０（２）の記録を容易にするために動作はステップ１０２に戻る。
【００２７】
立体パノラマ画像対に必要なすべての画像３０（１）から３０（Ｎ）が記録されたとパノラマモザイク画像生成器１２がステップ１０３で判定するまで、立体パノラマ記録生成システム１０は、複数回の反復によりステップ１０２から１０４を実行し、それぞれの反復ではマスト１４の回転中心の周りの連続ステップのそれぞれで１つの画像３０（ｎ）を記録する。その時点で、パノラマモザイク画像生成器１２は、立体パノラマ画像対を生成するために記録画像３０（ｎ）の処理を開始することができる。その動作では、パノラマモザイク画像生成器１２はまず、それぞれの画像３０（ｎ）の左右の画像部分３０Ｌ（ｎ）および３０Ｒ（ｎ）を識別し（ステップ１０５）、連続する左画像部分３０Ｌ（ｎ）をモザイク処理して左パノラマ画像３１Ｌを形成し、連続する右画像部分３０Ｒ（ｎ）をモザイク処理して右パノラマ画像３１Ｒを形成する（ステップ１０６）ことができる。パノラマモザイク画像生成器１２は、従来のモザイク処理技法を使用してステップ１０６で左右のパノラマ画像３１Ｌおよび３１Ｒを生成する。
【００２８】
図２に関連して前述した立体パノラマ記録生成システム１０は、マスト１４およびアーム１５上に取り付けられ、シーン２７のパノラマ画像を生成するために必要なアークによりモータ１６およびモータ制御部１７によって回転される単一カメラを使用するが、他の配置も使用することができる。たとえば、モータ制御部を使用するのではなく、コンピュータビジョン技法を使用してビデオフレームから画像運動を測定することにより、マストの回転に近づけることができる。他の例として、図６は、参照番号５０によって識別される本システムの第２の実施形態の概略を示し、複数のカメラが円内に取り付けられている。好ましくは、その円の直径は図２に関連して前述した回転カメラシステムと同じように、すなわち、すべてのカメラの左スリットからの光線と右スリットからの光線が内部視野円に接し、それが図１Ａに関連して前述した視野円５の直径に対応するように、選択されることが分かるだろう。これらのカメラはそのシーンの画像を同時に記録することができ、その後、図４に関連して前述したのと同じようにその画像を処理して左右のパノラマ画像を生成することができる。図６を参照すると、立体パノラマ記録生成システム５０は、円形支持部５２によって支持された複数のカメラ５１（１）から５１（Ｎ）（一般に参照番号５１（ｎ）によって識別される）を含む。カメラの数「Ｎ」は、左右のパノラマ画像３１Ｌおよび３１Ｒを生成するのに十分な左右の画像部分３０Ｌ（ｎ）および３０Ｒ（ｎ）を提供するのに必要な画像３０（Ｎ）の数「Ｎ」を生成するのに必要な数に対応する。カメラ５１（ｎ）は、図１および図２に関連して前述した立体パノラマ記録生成システム１０に使用するカメラ１３（図２）と同様のものにすることができる。それぞれのカメラ５１（ｎ）は、破線５２Ｌ（ｎ）および５２Ｒ（ｎ）ならびに矢印５３（ｎ）によって表される特定の視野５２（ｎ）を有することになる。カメラの数「Ｎ」、それぞれの視野５２（ｎ）、円形支持部５２の周りのそれぞれの配置は、左右のパノラマ画像３１Ｌおよび３１Ｒが連続することを保証するために十分な数の左右の画像部分３０Ｌ（ｎ）および３０Ｒ（ｎ）が記録されることを十分保証できるものになる。
【００２９】
システム１０（図２）およびシステム５０（図６）では、カメラ１３および５１（ｎ）は、ピンホールカメラまたは画像記録媒体２６上に画面２７から画像の焦点を合わせるためのレンズを備えたカメラのいずれかとして記載されている。図７から図９に関連して説明する他の実施形態では、シーン２７の画像をカメラに向かって反射させるためにミラーを使用する。図７から図９は、それぞれの立体パノラマ記録生成システム用の画像記録コンポーネント（本質的に図２に示すカメラリグ１１に類似するもの）を概略図形式で具体的に示しているが、このようなシステム内に同じく含まれるパノラマモザイク画像生成器１２は示していない。まず図７を参照すると、同図は、多辺形ＣＣＤアレイ６１とミラーアレイ６２とを含むカメラリグ６０の平面図の概略を示している。一実施形態では、ＣＣＤアレイ６１は上から見ると多辺形であり、各辺６０（１）から６０（Ｓ）（一般に参照番号６０（ｓ）によって識別される）は２つのＣＣＤデバイス６１（ｓ）（Ｌ）および６１（ｓ）（Ｒ）（一般に参照番号６１（ｓ）（ｌ／ｒ）によって識別される）を有する。図７に示す例示的な実施形態では、ＣＣＤアレイ６１は上から見ると八角形の形になっており、その場合、「Ｓ」は「８」になる。上記のように、図７は上からのＣＣＤアレイ６１を示し、辺６０（ｓ）は好ましくは正面から見たときに図７Ａに示すように正方形または矩形の構成を有することが分かるだろう。同様に、それぞれのＣＣＤデバイス６１（ｓ）（ｌ／ｒ）は好ましくは、それぞれの辺６０（ｓ）を正面から見たときに正方形または矩形の構成を有することになる。好ましくは、各辺６０（ｓ）のＣＣＤデバイス６１（ｓ）（ｌ／ｒ）は、それぞれの辺６０（ｓ）を垂直に二等分する垂線６３の両側に対称的に配置されることになる。
【００３０】
それぞれのミラー６４（ｓ）は八角形のＣＣＤアレイ６１の各辺６１（ｓ）から変位しており、各ミラー６４（ｓ）は一般に互いに対して所定の角度で配置された左右のミラー面６５（ｓ）（Ｌ）および６５（ｓ）（Ｒ）（一般に参照番号６５（ｓ）（ｌ／ｒ）によって識別される）を含み、頂点６６（ｓ）はＣＣＤアレイ６１のそれぞれの辺６０（ｓ）の中心に向いており、それぞれの辺６０（ｓ）を垂直に二等分する垂線６３に平行である。それぞれのミラー面６５（ｓ）（ｌ／ｒ）は、あるシーンの一部分の画像を対応インデックス付きＣＣＤデバイス６１（ｓ）（ｌ／ｒ）に向けるように配置されている。
【００３１】
近接ミラー６４（ｓ）および６４（ｓ′）の近接ミラーの左右のミラー面６５（ｓ）（Ｌ）および６５（ｓ′）（Ｒ）（ｓ′＝ｓ＋１、モジュロＳ）は、それぞれの左右のＣＣＤデバイス６１（ｓ）（Ｌ）および６２（ｓ′）（Ｒ）によって記録するためにあるシーンの画像を向けるように機能する。これは以下の説明から明らかになる。一般に、図７に示すように、あるシーン（図示せず）からのそれぞれの光線７０（ｓ）（Ｌ）および７０（ｓ′）（Ｒ）はそれぞれのミラー面６５（ｓ）（Ｌ）および６５（ｓ′）（Ｒ）からそれぞれのＣＣＤデバイス６１（ｓ）（Ｌ）および６１（ｓ）（Ｒ）に向かって反射する。光線７０（ｓ）（Ｌ）および７０（ｓ）（Ｒ）は一般に、あるシーンの一部分の左右の方向からのものであることが分かるだろう。したがって、それぞれのミラー面６５（１）（Ｌ）および６５（２）（Ｒ）によって提供されるように、ＣＣＤデバイス６２（１）（Ｌ）および６２（２）（Ｒ）の組合せによって記録された画像は、あるシーンの特定の領域用の適切な左右の画像を含むことになる。
【００３２】
連続インデックス付きＣＣＤデバイス６１（ｓ）（Ｌ）によって記録された画像をまとめてモザイク処理して、左のパノラマモザイク画像を提供する。同様に、連続インデックス付きＣＣＤデバイス６１（ｓ）（Ｒ）によって記録された画像をまとめてモザイク処理すると、右のパノラマモザイク画像を提供することができる。
【００３３】
図８は、単一固定カメラと回転平面ミラーを使用する立体パノラマ記録生成システム用のカメラリグ８０を含む画像記録コンポーネントを上から見た平面図を示している。図８を参照すると、カメラリグ８０はカメラ８１と平面ミラー８２とを含む。カメラ８１は一般に従来のカメラである。ミラー８２は通常、垂直ポスト（図示せず）上に取り付けられ、図２に関連して前述したように、カメラ１３およびアーム１５をモータ１６およびモータ制御部１７によって回転させる方法と同様にモータ（同じく図示せず）によって回転させる。ミラー８２は好ましくは矩形の形になり、その上辺を図８に示す。ミラー８２は破線矢印８４が示す線に沿ってシーン８３からカメラ８１に向かって画像を反射する。カメラ８１に供給される画像は反射画像なので、カメラの仮想視点または投射中心は破線矢印８５によって定義される。ミラーが回転するにつれて、シーン８３のうちカメラに向かって反射される部分がミラーの回転中心上にセンタリングされた円の周りを回転し、それに対するカメラ８１の有向仮想視点は円８６の周りを移動する。ミラー８２が回転するにつれて、カメラ８１は、図４に関連して前述した画像３０（ｎ）と同様の一連の画像を記録する。パノラマモザイク画像生成器は、図４に関連して前述したのと同様に、その画像の左右の画像部分をまとめてモザイク処理して左右のパノラマ画像を生成することができる。
【００３４】
カメラ８１に供給される画像は反射画像なので、カメラの仮想視点または投射中心は破線矢印８５によって定義される。ミラーが回転するにつれて、シーン８３のうちカメラに向かって反射される部分がミラーの回転中心上にセンタリングされた円の周りを回転し、それに対するカメラ８１の有向仮想視点は円８６の周りを移動する。ミラー８２が回転するにつれて、カメラ８１は、図４に関連して前述した画像３０（ｎ）と同様の一連の画像を記録する。パノラマモザイク画像生成器は、図４に関連して前述したのと同様に、その画像の左右の画像部分をまとめてモザイク処理して左右のパノラマ画像を生成することができる。
【００３５】
図９は、単一固定カメラと湾曲ミラーを使用する立体パノラマ記録生成システム用のカメラリグ１００を含む画像記録コンポーネントを上から見た平面図を示している。図９を参照すると、カメラリグ１００はカメラ１０１と湾曲ミラー１０２とを含む。カメラ１０１は、従来のフィルムまたはビデオカメラなどの従来のカメラである。ミラー１０２は好ましくは図９に示すように湾曲反射表面を有する。ミラー１０２は、一般に参照番号１０４によって示される破線矢印が示す光線に沿ってシーン１０５からカメラ１０１に向かって画像を反射するように湾曲している。一般に、参照番号１０６によって示されるようにシーン１０５からの光線がカメラの光学的中心に向けられるように、ミラー１０２が構築され、カメラ１０１が配置される。そのプロセスでは、そのシーンから反射され、想像上の視野円１０３に接して投射される光線は、ミラー１０２から反射し、カメラの光学的中心に向けられることになる。次にカメラ１０１は、光学的中心を通過する光線によって表される画像を受け取って記録するように配置される。湾曲ミラー１０２が一般に約１８０度までの比較的広い角度付きアークの範囲を定めるシーン１０５の画像の記録を容易にすることは明らかになるだろう。
【００３６】
カメラリグ１００は固定することができ、その場合、カメラリグは図９に示すようにシーン１０５のみの画像を記録することになる。３６０度全体を覆うために、例示的な実施形態はこのようなカメラリグを６台使用することができ、そのうちの３台は左目用の３６０度を覆うために使用し、他の３台は右目用の３６０度を覆うために使用する。あるいはカメラリグ１００は、想像上の視野円１０３上にセンタリングされた回転中心を回転するように取り付けることもできる。カメラ１０１およびミラー１０２を支持するために、どのような従来の支持部（図示せず）を設けることもできる。この支持部は垂直ポスト（図示せず）上に取り付けられ、アセンブリはモータ（同じく図示せず）によって回転され、いずれも図２に関連して前述したようにカメラ１３およびアーム１５がモータ１６およびモータ制御部１７によって回転されるのと同様に行われる。アセンブリが回転するにつれて、カメラ１０１は図４に関連して前述した画像３０（ｎ）と同様の一連の画像を記録する。パノラマモザイク画像生成器は、図４に関連して前述したのと同様に、画像の左右の画像部分をまとめてモザイク処理して左右のパノラマ画像を生成することができる。
【００３７】
上記のように、本発明は、それにより生成器１２などのパノラマモザイク画像生成器がコンピュータグラフィックス技法を使用してパノラマ立体画像対を生成することができる配置も提供する。これに関してパノラマモザイク画像生成器によって実行される動作については、図１０に関連して説明する。一般に、パノラマモザイク画像生成器は円１１０上に位置するカメラ用の画像を合成する。通常の立体視効果を得るためには、円１１０の半径は人間の頭の半径程度でなければならず、角度「ａ」はｄ＝２ｒ ｓｉｎ ａが人間の両目の間の距離にだいたい対応するようなものでなければならない。円１１０上のすべての位置で角度「ｂ」が角度「ａ」にだいたい対応する場合、図１０に示すように、１つの画像は２通りの閲覧方向に人工的に生成され、一方は左パノラマ画像３１Ｌ用であり、もう一方は右パノラマ画像３１Ｒ用である。図１０に示すように、各カメラ位置Ｐ１、Ｐ２、．．．、の閲覧方向は、左パノラマ画像３１Ｌを生成する際に使用する画像の場合は右方向であり、右パノラマ画像３１Ｒを生成する際に使用する画像の場合は左方向である。連続カメラ位置で生成されるすべての画像をまとめてモザイク処理し、左右のパノラマ画像を作成する。
【００３８】
本発明は、パノラマモザイク画像生成器１２によって生成された左右のパノラマ画像３１Ｌおよび３１Ｒ（図４）を閲覧者に対して表示し、それにより閲覧者がそれによって表されたパノラマを立体的に閲覧できるようにするためのシステムをさらに対象とする。図１１から図１２Ｂに関連して、いくつかの例示的なパノラマ画像表示システムについて説明する。図１１を参照すると、同図は、閲覧者が自分の目の上に着けることができるゴーグルを含むパノラマ画像表示システム１２０の概略を示している。一般に、パノラマ画像表示システム１２０は、左右の表示装置１２１Ｌおよび１２１Ｒと、表示制御モジュール１２２と、左右の表示制御部１２３Ｌおよび１２３Ｒと、ポインティングスティック１２４とを含む。左右の表示装置１２１Ｌおよび１２１Ｒは、左右のそれぞれの目の上にゴーグルとして閲覧者が身に着けることができる。左右の表示装置１２１Ｌおよび１２１Ｒは、たとえば、薄膜トランジスタアクティブマトリックス型表示装置、液晶表示装置などを含む、どのような便利な装置でも含むことができる。左右の表示装置１２１Ｌおよび１２１Ｒは、たとえば、メガネの枠、マスクなどを含み、それを閲覧者のそれぞれの目の正面に保持するどのような便利な配置にも取り付けることができる。左右の表示制御部１２３Ｌおよび１２３Ｒは、表示制御モジュール１２２の制御下で、左右のそれぞれの表示装置１２１Ｌおよび１２１Ｒが左右のそれぞれのパノラマ画像３１Ｌおよび３１Ｒのうちの少なくとも選択した部分を表示できるようにして、閲覧者がそれらを閲覧できるようにする。表示制御モジュールにより、左右のパノラマ画像は、図１Ｂに関連して前述したように、閲覧者の視野内の同じ相対位置でパノラマの同じ部分に関する画像を表示するように位置合せされることになる。閲覧者は、ポインティングスティック１２４を使用して、そのシーンのうち閲覧者の目のすぐ正面にある特定の部分を調整するように表示制御モジュールを制御することができるが、これは図１Ａに関連して前述したようにそのシーンを閲覧する際に観察者の角位置を制御することと同様である。
【００３９】
パノラマ画像が記録される表面の幾何学的形状は、画像が表示される表面の幾何学的形状とは異なる可能性があるので、ゆがみを回避するためにその画像に対する何らかの幾何学的変形が必要になる場合もある。たとえば、図２の回転カメラシステムは円筒形の表面上にパノラマ立体画像を生成する。平らなスクリーンを有するゴーグルを使用してその画像を表示する場合、その画像は、好ましくは表示の前に円筒形から平面への変形を使用して矯正しなければならない。これに対して、図１２Ａに示すように円筒形の画像を円筒形の劇場に表示する場合にはいかなる矯正も不要である可能性がある。
【００４０】
図１２Ａおよび図１２Ｂは閲覧者に対して立体パノラマを表示するための全方向性劇場配置の概略を示しており、図１２Ａは一般に正面図を示し、図１２Ｂは平面図を示す。図１２Ａおよび図１２Ｂに示す配置では、円筒形スクリーンによって範囲が定められた空間の内部に位置決めされた閲覧者の目に見えるように、スクリーンの表面上に左右のパノラマ画像３１Ｌおよび３１Ｒが投射される。これらの画像は直交方向に偏光させることができ、スクリーンによって範囲が定められた空間の内部に位置決めされ、偏光メガネを身に着けた閲覧者は、スクリーン上のパノラマ画像を立体的に閲覧することができる。左右のそれぞれのパノラマ画像３１Ｌおよび３１Ｒを含む画像は、スクリーンによって範囲が定められた空間内に位置するプロジェクタによって、またはその外部の位置から投射することができる。画像は互いに直交して偏光されるので、閲覧者が身に着けたメガネのレンズの偏光により、閲覧者のそれぞれの目は、スクリーン上に投射された画像のそれぞれ１つを受け取ることができるようになる。
【００４１】
したがって、図１２Ａおよび図１２Ｂを参照すると、全方向性劇場１４０は、円筒形スクリーン１４１と、それぞれが２つのプロジェクタ１４３Ｌ（ｎ）および１４３Ｒ（ｎ）を含む複数のプロジェクタセット１４２（１）から１４２（Ｎ）（一般に参照番号１４２（ｎ）によって識別される）とを含む。各プロジェクタセット１４２（ｎ）内のプロジェクタ１４３Ｌ（ｎ）および１４３Ｒ（ｎ）のそれぞれは、左右のそれぞれのパノラマ画像３１Ｌおよび３１Ｒの一部分をスクリーン１４１のそれぞれの部分上に投射する。プロジェクタセット１４２（ｎ）の数は好ましくは、表示された画像がゆがまず、それぞれのプロジェクタセット１４２（ｎ）によって表示される左右のパノラマ画像３１Ｌおよび３１Ｒの一部分がスクリーン１４１の周りに連続画像を提供し、それによりパノラマ画像を提供するように選択される。プロジェクタセット１４２（ｎ）は、図１２Ｂに示すようにスクリーン１４１の外部にその画像を投射するように位置決めすることができる。ただし、スクリーン１４１は、スクリーン１４１によって範囲が定められた空間の内部で投射画像を閲覧できるようなものでなければならない。あるいは、プロジェクタセット１４２（ｎ）はスクリーン１４１の内部にその画像を投射するように位置決めすることもできる。スクリーン１４１によって範囲が定められた空間の内部に立ち、偏光メガネ１４５を身に着けた閲覧者１４４は、パノラマ画像を立体的に閲覧できるようになる。
【００４２】
当業者であれば、偏光の使用に加え、他の立体分離の方法を使用して立体閲覧を実行できることが分かるだろう。これはシャッタを備えた立体メガネを含み、「左」と「右」の画像を交互に表示することにより機能する。このメガネは高速シャッタを有し、それは、左の画像が表示される場合は、左目側が透明で、右目側が不透明になり、右の画像が表示される場合はその逆になる。他の配置では、緑と赤のメガネを備えた「アナグリフステレオ」を使用する。
【００４３】
本発明はいくつかの利点をもたらす。特に、本発明は、あるシーンの立体パノラマ画像を生成し、閲覧者がそのパノラマ画像を立体的に閲覧できるようにその閲覧者に対して画像を表示するためのシステムおよび方法を提供する。
【００４４】
ここに記載したシステムおよび方法に対して、いくつかの変更が可能であることは分かるだろう。たとえば、図２に関連して説明したシステムは、カメラ１３が固定点の周りを回転できるようにすることにより、左右のパノラマ画像を提供するものとして記載されているが、このシステムはむしろ、カメラ１３が１つの線に沿って並進できるようにし、それにより細長いパノラマ画像を提供できることが分かるだろう。
【００４５】
しかも、ここに記載したシステムは静止パノラマ画像を記録し表示するものとして記載されているが、そのシステムを使用して動画を立体的に記録し表示できることが分かるだろう。たとえば、図６から図８に関連して説明したようなシステムは、回転カメラ、ミラーなどを使用するものではなく、経路に沿って必要に応じて並進させ、並進するにつれて３６０Ｅのパノラマ画像を記録することができる。図２および図８に関連して説明したようなシステムは、回転カメラ、ミラーなどを使用するものであり、回転する間に並進させることもできる。しかし、後者の場合、完全なパノラマを提供するために、カメラおよび／またはミラーを並進させると同時に回転させることが必要になる。このカメラおよび／またはミラーは、わずかに並進させる前に３６０Ｅの円全体を回転させることができ、この動作を繰り返す。あるいは、並進が比較的遅く、カメラとミラーが並進するにつれてまったく完全なパノラマを可能にするためにかなりオーバラップする場合、一方または両方を回転させながら並進させることができる。いずれの場合も、パノラマモザイク画像生成器１２は一連の左右のパノラマ画像３１Ｌおよび３１Ｒを生成し、それを閲覧者に対して連続的に表示できることが分かるだろう。たとえば、パノラマ画像表示システム１２０では、左右の表示装置１２１Ｌおよび１２１Ｒが連続する左右のパノラマ画像を表示できるようになる。同様に、全方向性劇場配置１４０では、それぞれのプロジェクタセット１４２（ｎ）の左右のプロジェクタ１４３Ｌ（ｎ）および１４３Ｒ（ｎ）がスクリーン１４１のそれぞれの部分に左右のパノラマ画像３１Ｌおよび３１Ｒのそれぞれの部分を投射できるようになる。表示された左右の画像３１Ｌおよび３１Ｒが同じパノラマからのものになるように左右の表示装置１２１Ｌおよび１２１Ｒならびに様々なプロジェクタセットによる左右のパノラマ画像の前進が同期化されることが分かるだろう。
【００４６】
しかも、カメラ１３は左右のスリット２５Ｌおよび２５Ｒを有するスクリーン２２を含むものとして記載されているが、カメラ１３はスクリーンを含む必要がないことが分かるだろう。むしろ、パノラマモザイク画像生成器は、左右のそれぞれのパノラマ画像３１Ｌおよび３１Ｒを生成する際に画像３１（ｎ）の左側部分と右側部分のそれぞれからの断片を使用することができる。
【００４７】
しかも、パノラマ画像表示システム１２０は閲覧者の目に対して立体パノラマ画像の中心の角位置を制御するためにポインティングスティックを使用するものとして記載されているが、たとえば、閲覧者の頭の位置または角度の向きの変化を判定するためにトラッカなどの配置を含む他の装置を使用できることが分かるだろう。
【００４８】
さらに、本発明は、閲覧者に対して表示可能な左右のパノラマ画像３１Ｌおよび３１Ｒの生成に関連して使用するために画像を記録するための配置を含むものとして記載されているが、左右のパノラマ画像３１Ｌおよび３１Ｒはむしろコンピュータグラフィックス技法を使用して生成できることが分かるだろう。
【００４９】
本発明により構築されたシステムは、たとえば、移動中に後で報告または分析するため、ならびに教育およびマーケティングに使用するためにスポーツイベントを記録することを含む、いくつかの応用例で有用である可能性があることが分かるだろう。しかも、本発明により構築されたシステムは、ロボット工学およびコンピュータビデオゲームに関連して有用である可能性がある。さらに、特定の表示配置に関連して本発明を説明してきたが、コンピュータモニタ、テレビなどでの表示など、他のタイプの配置も有用である可能性があることが分かるだろう。
【００５０】
本発明によるシステムは、専用ハードウェアまたは汎用コンピュータシステムあるいはその組合せから全部または一部を構築することができ、そのいずれの部分も適当なプログラムで制御できることが分かるだろう。どのようなプログラムも、従来通り全部または一部が本システムの一部を含むかまたは本システム上に記憶することができ、あるいは従来通り情報を転送するためのネットワークまたは他のメカニズムにより全部または一部を本システム内に供給することができる。しかも、本システムは、本システムに直接接続できるかまたは従来通り情報を転送するためのネットワークまたは他のメカニズムにより本システムに情報を転送できるオペレータ入力要素（図示せず）を使用してオペレータによって提供された情報により操作またはその他の方法で制御できることが分かるだろう。
【００５１】
上記の説明は、本発明の特定の実施形態に限定されている。しかし、本発明の利点の一部または全部を達成するとともに、本発明の様々な変形形態および修正形態が可能であることは明らかになるだろう。特許請求の範囲の目的は、本発明の真の精神および範囲に該当するような上記その他の変形形態および修正形態を含めることである。
【００５２】
本発明により構築されたシステムは、たとえば、移動中に後で報告または分析するため、ならびに教育およびマーケティングに使用するためにスポーツイベントを記録することを含む、いくつかの応用例で有用である可能性があることが分かるだろう。しかも、本発明により構築されたシステムは、ロボット工学およびコンピュータビデオゲームに関連して有用である可能性がある。さらに、特定の表示配置に関連して本発明を説明してきたが、コンピュータモニタ、テレビなどでの表示など、他のタイプの配置も有用である可能性があることが分かるだろう。
【００５３】
上記の説明は、本発明の特定の実施形態に限定されている。しかし、本発明の利点の一部または全部を達成するとともに、本発明の様々な変形形態および修正形態が可能であることは明らかになるだろう。特許請求の範囲の目的は、本発明の真の精神および範囲に該当するような上記その他の変形形態および修正形態を含めることである。
【特許請求の範囲】
【請求項１】
異なった位置からの可動カメラ(１３)によって記録された画像に対応したシーンの一連の画像（３０(i)）から、あるシーンの左(３１Ｌ)右(３１Ｒ)のパノラマモザイク画像を含む立体パノラマモザイク画像対を生成するためのシステム(１０)であって、
前記カメラの記録媒体から分離した記憶媒体から複数の画像を表すデータを受け取り、前記データから複数の第１の(３０Ｌ(ｎ))画像ストリップおよび複数の第２の（３０Ｒ（ｎ））画像ストリップを決定し、前記複数の第１の画像ストリップをモザイク処理して連続した左のパノラマ画像を形成し、前記複数の第２の画像ストリップをモザイク処理して連続した右のパノラマ画像を形成するように構成された左右のパノラマ画像生成器(１２)と、
左右それぞれのパノラマ画像を閲覧者に立体パノラマとして表示する手段と
を含むことを特徴とするシステム。
【請求項２】
前記異なった位置が少なくとも１つのカメラの角度の向きの変化に対応することを特徴とする請求項１に記載のシステム。
【請求項３】
前記異なった位置が少なくとも１つのカメラの並進位置に対応することを特徴とする請求項１または２に記載のシステム。
【請求項４】
異なった位置からの可動カメラによって記録された画像に対応する前記一連の画像を生成するための画像生成器をさらに含むことを特徴とする請求項１乃至３のいずれかに記載のシステム。
【請求項５】
前記画像生成器が所定のコンピュータグラフィックス技法を使用して前記一連の画像を生成することを特徴とする請求項４に記載のシステム。
【請求項６】
前記画像生成器が、あるシーンの画像を記録するように構成されたカメラリグを含むことを特徴とする請求項４に記載のシステム。
【請求項７】
前記カメラリグが前記複数の位置から前記シーンの画像を同時に取得することを特徴とする請求項４に記載のシステム。
【請求項８】
前記カメラリグが、前記左右のパノラマ画像生成器が使用する画像を別々に記録するための別々の画像レコードを含むことを特徴とする請求項６または７に記載のシステム。
【請求項９】
前記カメラリグが複数のカメラを含み、当該複数のカメラの各々が、前記それぞれの位置の異なった位置から前記シーンの画像を取得することを特徴とする請求項６乃至８のいずれかに記載のシステム。
【請求項１０】
前記カメラリグがカメラと反射素子を含み、前記反射素子が前記それぞれの位置の異なった位置に対応する方向に沿って前記シーンから前記カメラに光を向けることを特徴とする請求項６乃至９のいずれかに記載のシステム。
【請求項１１】
前記リグ内のカメラが感光表面とスクリーンとを含み、前記スクリーンが前記感光表面上の少なくとも２つの別々且つ並列のストライプに沿った部分を除いた部分に前記シーンから到達する光をブロックすることを特徴とする請求項６乃至１０のいずれかに記載のシステム。
【請求項１２】
前記パノラマ画像は、前記シーンの広い閲覧領域によって特徴付けられた画像であり、前記シーンは、人間の同時閲覧領域の通常角度範囲より大きい角度範囲を有することを特徴とする請求項１乃至１１のいずれかに記載のシステム。
【請求項１３】
前記角度範囲は人間のそれと３６０度までの間の値を持つことを特徴とする請求項１２に記載のシステム。
【請求項１４】
前記パノラマ画像生成器は、２以上の複数のストリップを生成するように、且つ、前記複数のストリップから前記左右のストリップを選ぶように構成されていることを特徴とする請求項１乃至１３のいずれかに記載のシステム。
【請求項１５】
前記左右のパノラマ画像生成器は、少なくとも１つの画像ストリップを記録するように構成されているカメラを含むことを特徴とする請求項１乃至１４のいずれかに記載のシステム。
【請求項１６】
異なった位置からの可動カメラによって記録された画像に対応したシーンの一連の画像（３０(i)）から、あるシーンの左(３１Ｌ)右(３１Ｒ)の画像を含む立体画像対を生成するための方法であって、
前記カメラの記録媒体から分離した記憶媒体から複数の画像を表すデータ受け取ることと、
前記データから複数の第１の(３０Ｌ(ｎ))画像ストリップおよび複数の第２の（３０Ｒ（ｎ））画像ストリップを決定するために前記データを処理することと、
前記複数の第１の画像ストリップをモザイク処理して連続した左のパノラマ画像を形成し、前記複数の第２の画像ストリップをモザイク処理して連続した右のパノラマ画像を形成することと、
左右それぞれのパノラマ画像を閲覧者に立体パノラマとして表示する手段と
を含むことを特徴とする方法。
【請求項１７】
前記一連の画像を生成することをさらに含むことを特徴とする請求項１６に記載の方法。
【請求項１８】
前記一連の画像を生成することは、所定のコンピュータグラフィックス技法を使用して一連の画像を生成することを含む特徴とする請求項１７に記載の方法。
【請求項１９】
前記一連の画像を生成することは、カメラリグを使用して一連の画像を生成することを含むことを特徴とする請求項１７または１８に記載の方法。
【請求項１】
異なった位置からの可動カメラ(１３)によって記録された画像に対応したシーンの一連の画像（３０(i)）から、あるシーンの左(３１Ｌ)右(３１Ｒ)のパノラマモザイク画像を含む立体パノラマモザイク画像対を生成するためのシステム(１０)であって、
前記カメラの記録媒体から分離した記憶媒体から複数の画像を表すデータを受け取り、前記データから複数の第１の(３０Ｌ(ｎ))画像ストリップおよび複数の第２の（３０Ｒ（ｎ））画像ストリップを決定し、前記複数の第１の画像ストリップをモザイク処理して連続した左のパノラマ画像を形成し、前記複数の第２の画像ストリップをモザイク処理して連続した右のパノラマ画像を形成するように構成された左右のパノラマ画像生成器(１２)と、
左右それぞれのパノラマ画像を閲覧者に立体パノラマとして表示する手段と
を含むことを特徴とするシステム。
【請求項２】
前記異なった位置が少なくとも１つのカメラの角度の向きの変化に対応することを特徴とする請求項１に記載のシステム。
【請求項３】
前記異なった位置が少なくとも１つのカメラの並進位置に対応することを特徴とする請求項１または２に記載のシステム。
【請求項４】
異なった位置からの可動カメラによって記録された画像に対応する前記一連の画像を生成するための画像生成器をさらに含むことを特徴とする請求項１乃至３のいずれかに記載のシステム。
【請求項５】
前記画像生成器が所定のコンピュータグラフィックス技法を使用して前記一連の画像を生成することを特徴とする請求項４に記載のシステム。
【請求項６】
前記画像生成器が、あるシーンの画像を記録するように構成されたカメラリグを含むことを特徴とする請求項４に記載のシステム。
【請求項７】
前記カメラリグが前記複数の位置から前記シーンの画像を同時に取得することを特徴とする請求項４に記載のシステム。
【請求項８】
前記カメラリグが、前記左右のパノラマ画像生成器が使用する画像を別々に記録するための別々の画像レコードを含むことを特徴とする請求項６または７に記載のシステム。
【請求項９】
前記カメラリグが複数のカメラを含み、当該複数のカメラの各々が、前記それぞれの位置の異なった位置から前記シーンの画像を取得することを特徴とする請求項６乃至８のいずれかに記載のシステム。
【請求項１０】
前記カメラリグがカメラと反射素子を含み、前記反射素子が前記それぞれの位置の異なった位置に対応する方向に沿って前記シーンから前記カメラに光を向けることを特徴とする請求項６乃至９のいずれかに記載のシステム。
【請求項１１】
前記リグ内のカメラが感光表面とスクリーンとを含み、前記スクリーンが前記感光表面上の少なくとも２つの別々且つ並列のストライプに沿った部分を除いた部分に前記シーンから到達する光をブロックすることを特徴とする請求項６乃至１０のいずれかに記載のシステム。
【請求項１２】
前記パノラマ画像は、前記シーンの広い閲覧領域によって特徴付けられた画像であり、前記シーンは、人間の同時閲覧領域の通常角度範囲より大きい角度範囲を有することを特徴とする請求項１乃至１１のいずれかに記載のシステム。
【請求項１３】
前記角度範囲は人間のそれと３６０度までの間の値を持つことを特徴とする請求項１２に記載のシステム。
【請求項１４】
前記パノラマ画像生成器は、２以上の複数のストリップを生成するように、且つ、前記複数のストリップから前記左右のストリップを選ぶように構成されていることを特徴とする請求項１乃至１３のいずれかに記載のシステム。
【請求項１５】
前記左右のパノラマ画像生成器は、少なくとも１つの画像ストリップを記録するように構成されているカメラを含むことを特徴とする請求項１乃至１４のいずれかに記載のシステム。
【請求項１６】
異なった位置からの可動カメラによって記録された画像に対応したシーンの一連の画像（３０(i)）から、あるシーンの左(３１Ｌ)右(３１Ｒ)の画像を含む立体画像対を生成するための方法であって、
前記カメラの記録媒体から分離した記憶媒体から複数の画像を表すデータ受け取ることと、
前記データから複数の第１の(３０Ｌ(ｎ))画像ストリップおよび複数の第２の（３０Ｒ（ｎ））画像ストリップを決定するために前記データを処理することと、
前記複数の第１の画像ストリップをモザイク処理して連続した左のパノラマ画像を形成し、前記複数の第２の画像ストリップをモザイク処理して連続した右のパノラマ画像を形成することと、
左右それぞれのパノラマ画像を閲覧者に立体パノラマとして表示する手段と
を含むことを特徴とする方法。
【請求項１７】
前記一連の画像を生成することをさらに含むことを特徴とする請求項１６に記載の方法。
【請求項１８】
前記一連の画像を生成することは、所定のコンピュータグラフィックス技法を使用して一連の画像を生成することを含む特徴とする請求項１７に記載の方法。
【請求項１９】
前記一連の画像を生成することは、カメラリグを使用して一連の画像を生成することを含むことを特徴とする請求項１７または１８に記載の方法。
【図１Ａ】
【図１Ｂ】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図７Ａ】
【図８】
【図９】
【図１０】
【図１１】
【図１２Ａ】
【図１２Ｂ】
【図１Ｂ】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図７Ａ】
【図８】
【図９】
【図１０】
【図１１】
【図１２Ａ】
【図１２Ｂ】
【公開番号】特開２０１２−２５７３２９（Ｐ２０１２−２５７３２９Ａ）
【公開日】平成２４年１２月２７日（２０１２．１２．２７）
【国際特許分類】
【出願番号】特願２０１２−２０４８１７（Ｐ２０１２−２０４８１７）
【出願日】平成２４年９月１８日（２０１２．９．１８）
【分割の表示】特願２０１０−５１０４４（Ｐ２０１０−５１０４４）の分割
【原出願日】平成１１年９月１６日（１９９９．９．１６）
【出願人】（５０４０００２８１）イッサム・リサーチ・ディベロップメント・カンパニー・オブ・ザ・ヘブルー・ユニバーシティ・オブ・エルサレム・リミテッド (6)
【Ｆターム（参考）】
【公開日】平成２４年１２月２７日（２０１２．１２．２７）
【国際特許分類】
【出願日】平成２４年９月１８日（２０１２．９．１８）
【分割の表示】特願２０１０−５１０４４（Ｐ２０１０−５１０４４）の分割
【原出願日】平成１１年９月１６日（１９９９．９．１６）
【出願人】（５０４０００２８１）イッサム・リサーチ・ディベロップメント・カンパニー・オブ・ザ・ヘブルー・ユニバーシティ・オブ・エルサレム・リミテッド (6)
【Ｆターム（参考）】
[ Back to top ]