ひずみのない画像をリアルタイムに表示するパノラマ・ビデオ・システム
パノラマ環状レンズ（panoramic annular lens、ＰＡＬ）・システム、単一のビデオカメラ、及びＰＣベースのソフトウェア・システムである。このソフトウェア・システムは、３６０度のビデオ画像を、シームレスでひずみのない水平イメージにリアルタイムに展開する。本発明の好適な実施形態におけるＰＡＬシステムは、直径４０ｍｍの小型パッケージ内に、３６０度の水平視野と、９０度の垂直視野を有する。本発明に使用可能なレンズ・システムの種類は、制限されない。実際、３６０度パノラマ視野を提供可能なレンズ・システムは多数存在する。ビデオカメラとしては、ＣＣＤ或いはＣＭＯＳベースのデバイスを使用可能である。このビデオカメラは、１２８０×１０２４（高解像度）或いは７２０×４８０（ＮＴＳＣ）のピクセル解像度を有する。展開システムは、放射線計測レイ・トレーシング・プログラムである。このプログラムは、コンピュータのグラフィックス・カードの機能を用いて実行される。このグラフィックス・カードの機能は、ソフトウェアのオーバーヘッドを最小化しながら、非常に効率的に局部的な変換を行う機能である。結果として、ひずみのある球面画像からカルテシアン座標上のパノラマ画像へ、高解像度３０ｆｐｓでリアルタイムに変換することが可能となる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、概して特殊なビデオカメラ・システムに関する。本発明は特に、リアルタイム３６０度パノラマ・ビデオ・システムに関する。このパノラマ・ビデオ・システムには、パノラマ環状ミラー、ビデオカメラ、及び展開のための特殊なソフトウェアを利用する。このソフトウェアは、パノラマ画像のシームレスでひずみのない水平表示を可能にする。本発明は、ＵＳＭＣコントラクト番号Ｎｏ．Ｍ６７８５４−０３−１００６に基づく作業によりなされたものであり、本発明は一般法９６０５１７（３５ ＵＳＣ ２０２）の条項の適用対象であり、契約者はこの法律の該当者として定められている。本発明は仮出願（米国出願番号第６０／４８５，３３６号、２００３年７月３日）に基づく優先権主張を伴う出願である。
【背景技術】
【０００２】
３６０度の視野を結像可能なパノラマ光学系は既知である。例えば、米国特許第６，４５９，４５１号公報は３６０度の視野を結像するための反射屈折レンズを開示している。このような光学系は、カメラとともに用いられて、全方位３６０度視野の画像を撮像するために好適に利用可能である。例えば、部屋全体或いは風景全体を１つの定点から単一のカメラを用いて撮像することが、このようなシステムにより可能となる。このような撮像を行うと、複数の画像をスキャンしたり貼合わせたりする作業が不要となる。
【０００３】
【特許文献１】米国特許第６，４５９，４５１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、このようなレンズが提供する画像は、この画像が「展開（unwrap）」されて初めて判読可能な画像となる。３６０度視野レンズの画像は、環状或いはドーナツ形状であり、ひずみを有するから、そのままでは人間の目には識別不能である。よって、このような画像を変換或いは「展開」して、比較的２次元に近いフォーマットにすることが必要である。このようなフォーマットとして例えば、比較的平面的な媒体上での水平表示が挙げられる。比較的平面的な媒体としては、物理的なものとしてはフィルム、電子的なものとしてはコンピュータ・スクリーンが例示できる。展開する手順は、数学的変換（例えば画像要素或いは各ピクセルを変換）を行う段階を備える。この展開する手順により、好ましくは、画像のひずみがほぼ或いは完全に解消される。尚、ひずみが解消されない場合には、結果的として得られる平面画像の質は低下する。このような画像ごとの変換は、通常非常に複雑であるから、煩雑且つ時間の掛かるコンピュータ・プログラムを必要とする。特に、適切な解像度や画素の多い画像を得ようとすると、このような変換は複雑になる。したがって、パノラマ・レンズ技術を利用して、許容可能な解像度を有するリアルタイムの展開されたビデオ画像を提供することは従来不可能であった。
【課題を解決するための手段】
【０００５】
本発明の好適な実施形態は、パノラマ環状レンズ・システム（panoramic annular lens system（ＰＡＬ））、１つのビデオカメラ、及びＰＣベースのソフトウェア・システムを備える。このソフトウェア・システムは３６０度のビデオ画像をシームレスでひずみのない水平画像にリアルタイムに展開可能である。ＰＡＬシステムは、２つのミラー、すなわち双曲面鏡及び楕円面鏡を備える。２つのミラーは、３６０度屈折性前方或いは入射アパーチャ・レンズにより、相互に結合される。この２つのミラーは後方或いは出射を集光レンズ近傍に備える。本発明の好適な実施形態において、ＰＡＬシステムは、直径４０ｍｍのコンパクト・パッケージに、３６０度の水平視野と、９０度の垂直視野を備える。本発明に利用可能なレンズ・システムの種類は特に制限されていない。実際３６０度パノラマ表示を提供可能なレンズ・システムは多数存在する。ビデオカメラとしては、１２８０×１０２４ピクセル（高解像度）或いは７２０×４８０（ＮＴＳＣ）ピクセルの解像度を有するＣＣＤ或いはＣＭＯＳベースのデバイスが利用可能である。展開するためのシステムは放射線計測レイ・トレーシング・プログラムであり、このプログラムはコンピュータのグラフィック・カードを利用して実行される。グラフィック・カードは、ソフトウェアのオーバーヘッドを最小限に保ちながら効率的に局所的な変換を実行可能である。結果として、ひずみのある球面画像を、カルテシアン座標上の平面パノラマ画像に変換し、高解像度且つ３０ｆｐｓの画像をリアルタイムに得られる。グラフィック・ユーザ・インターフェース（graphic use interface、ＧＵＩ）を用いると、任意の破断点（パノラマ画像の中心線）の決定、ズーム・イン或いはズーム・アウト機能、及びビルトイン較正が可能になる。
【発明の効果】
【０００６】
パノラマ・レンズとビデオカメラにより作り出された画像を展開して、リアルタイムにビデオ画像として提供可能であるシステムは、様々な用途に適する。このようなシステムにより例えば、単独の監視者が１つのディスプレイを用いて連続的な全方位視野を、防犯目的で監視することが可能になる。このようなシステムはまた、移動用構造に積載されて、軍事或いは警察関連の偵察若しくはロボットによる撮影のためにも利用可能である。このシステムは更に、医療用の映像化や交通監視システムにも利用できる。このシステムをインターネット伝送などのワイヤレスシステムに適合するように調整することも可能である。或いはビデオ画像の圧縮目的にもこのシステムを利用可能である。これにより、通信帯域幅に関する要件を緩和することができる。パノラマビデオ画像を、ほぼひずみがなく且つ許容可能な解像度を有する画像にリアルタイムに展開することが容易に可能となれば、このような画像の多くの用途で有効に利用できる。
【発明を実施するための最良の形態】
【０００７】
本発明の実施形態、特徴、及び利点をより良く理解するために、以下、図面を参照しつつ本発明を詳細に説明する。
（パノラマ環状レンズ（Panoramic Annular Lens（ＰＡＬ）））
ＰＡＬレンズは、光線を反射及び屈折することにより、直径４０ｍｍの超小型パッケージで、パノラマ３６０度視野を提供可能である。ＰＡＬレンズの垂直視野は、例えば―４０度から＋５０度である。図１に示すごとく、パノラマ・レンズは、ガラスからなり、３６０度の環状アパーチャ（Ｒ１）、集光レンズに接続する後方アパーチャ（Ｒ２）、頂部ミラー（Ｈ）、及び環状ミラー（Ｅ）を備える。「仮想カメラ」の視点は、楕円面鏡の平面（Ｏ）上にある。この配置により、ＰＡＬセンサはその垂直軸ＢＣ周囲の全方位３６０度の視界を監視できる。垂直視野は環状ミラーＥ及び頂部ミラーＨの有効サイズ及び位置により決定される。通常垂直方向における視野角は９０度である。
【０００８】
図２ａ及び図２ｂはＰＡＬを示す。カメラ・アングルを幅広く選択できるように、ＰＡＬマウンティングはＣ型マウントを端部に備える。Ｃ型マウントは１／３インチ及び１／２インチの撮像デバイス（例えばＣＭＯＳ及びＣＣＤ）に最もよく適合する。撮像デバイスの選択は、最終的な画像の質を決定するので重要である。画像の最も重要な特性は解像度で、撮像デバイスの解像度はビデオ線あたり１０００ピクセルの単位でなければならない。撮像デバイスは、順次撮像方式の撮像デバイスであることが好ましい。これは、順次撮像方式の撮像デバイスにおいては、映像視野の時差を排除できるからである。このようなデバイスの多くは、市場において入手可能であり、その価格は下落している。価格下落の要因は、ＨＤＴＶカムコーダ（例えばＪＶＣ ＧＲ−ＨＤ１）に市場を奪われているからである。ＨＤＴＶカムコーダは７２０ｐ ＨＤフォーマット（３０ｆｐｓでの順次走査において１０２４×７２０ピクセル）で映像を記録可能である。図３に示すごとく、ＰＡＬはカメラと一体化される。
【０００９】
図４ａに示すごとく、ＰＡＬレンズによって作り出される画像は、環状に対称性を有する。ＰＡＬレンズは方位角３６０度、仰角９０度内の空間全体を、環状画像にマップする。環状画像にマップされた後も、画像は識別可能である。またこの画像は、他のパノラマ視覚化システム（例えば双曲線鏡を利用した３６０度視野システム）と比べて幾何学的ひずみが少ない。ＰＡＬの主要な利点は、ＰＡＬが垂直線を真直ぐに保つから、画像を展開するための計算上の複雑さを大幅に低減できることである。図４ｂに示すごとく、図４ａの画像の一部のみが有効に展開される。図４ａの画像の中央部及び外周部は使用可能な視覚的情報を有さないので、廃棄される。環状画像全体で解像度を最大に保つために、ＰＡＬとカメラの間に中継レンズを配する。図５に示すごとく、展開された画像はパノラマ・カルテシアン座標に展開される。
【００１０】
ＰＡＬアセンブリはピクセル解像度の異なる複数のカメラについて幅広くテストされた。まず、標準的なＮＴＳＣカメラをテストした。このカメラはフィールドあたり４２０×２４０ピクセルの解像度を有する。次に、レンズと４８０×４８０ピクセル及び１０２４×１０２４ピクセルの順次走査カメラの組み合わせをテストした。ＰＡＬとカメラのそれぞれの組み合わせを用いて、画像を展開するとともに、双三次拡大縮小により基準カメラ解像度に標準化した。図６において、図６ａは１０２４×１０２４ピクセルのカメラにより捕捉された画像を示し、図６ｂは４８０×４８０ピクセルのカメラの画像を示す。対応する展開された画像は、１０２４×１０２４ピクセルの画像は図６ｃに、４８０×４８０ピクセルの画像は図６ｄに示される。双方の画像の一部（壁の絵画）がそれぞれ拡大されている。予想されるように、双方の画像の一部を詳しく調べると、高解像度の画像のほうが、輪郭が滑らかで、演色性が良いことがわかる。
【００１１】
（放物面鏡を備える反射屈折性超広角カメラ）
反射屈折性システムを利用してもパノラマ映像を得られる。反射屈折性システムは、放物面鏡を用いて全方位映像を作り出す。反射屈折性全方位超広角カメラ（catadioptric omnidirectional ultra-wide-angle camera（ＣＵＷＡＣ）は小型デジタル・ビデオカメラを備える。小型デジタル・ビデオカメラは、フレーム内に配され、放物面鏡の頂点に向けられる。図７に示すごとく放物面鏡は透明の半球体に取り囲まれる。図７の屈折カメラ・レンズは放物面の焦点をＣＣＤ撮像装置上に結像する。このカメラは、放物面鏡を介して半球体内の全方位を撮影する。屈折撮像レンズを備えるＣＣＤカメラは、数インチ離れた位置に配されるミラーの方向に向けられ、反射により円環像を結ぶ。反射された円環像は次に、任意の方向の通常の画像に変換される。しかしながらこの画像の画質は、視野の各部分において大きく異なる。これは、システムによる拡大が画像の中央部において大きく、画像の高さＹが増加するにつれて拡大の度合いが段階的に減少するからである。これにより、視野周縁部において画質劣化が著しくなる。この問題を解決するために、本発明においては、パノラマ撮像のために、曲率の異なる同心円状放物面鏡を２面用いる。図８に示す２面のミラーを用いるシステムにおいては、ミラーの軸は同一直線上にあり屈折カメラの光軸と一致している。これらミラーのそれぞれはその軸を中心に半径方向に対称な形状を有する。大きな放物面鏡の縮小率は低く、このミラーは、小さなミラーと比べて広角にかつ高解像度で半球部分を撮像する。小さいミラーは、大きいミラーと比べて高い曲率と高い拡大率を有する。小さいミラーは画像の中央部分、すなわち光軸に近い部分を撮像する。
【００１２】
ＣＵＷＡＣ放物面光学系は有効な投影中心を１つ備える。画像からの全ての光線はカメラ・レンズに達する途中必ずこの投影中心を通過する。この形態は直線遠近法画像のみを撮像するカメラを模擬するもので、この構造により、ＣＵＷＡＣコンピュータ・ソフトウェアがひずみのない直線遠近法画像を作り出すことが可能になる。
【００１３】
魚眼レンズ或いは放物面鏡を備える２つのカメラを背中合わせに配すると、３６０度（完全な球体）の映像を作り出すことが可能になる。このようなカメラの配置は、監視或いは保安目的に利用可能である。テレビ会議においては、このようなパノラマ・カメラはテーブルを囲んで着席した全ての参加者を同時に映し出すことが可能である。参加者の画像は、半球或いは直線状の画像として撮像される。このパノラマ・カメラは可動ロボットが半球状の画像を撮像することを可能にする。コンサート・ステージ上方或いはスポーツ・イベント中のフィールド上方に超広角カメラを配すると、このカメラは３６０度（完全な球体）の画像を視聴者に提供できる。ジョイスティック或いはマウスを用いると、視聴者は任意の画像を視聴者のスクリーンに表示できる。例えば視聴者は、半球画像だけではなく、標準的なひずみのない真直ぐな画像も表示可能である。
【００１４】
図９はこの多層（multilevel）放物面鏡の基本構造を示す。双曲面鏡の投影中心Ｃは焦点Ｆと一致する。透視カメラは内部カメラ較正マトリックスＫに基づいて形成される。マトリックスＫは３次元座標Ｘ＝［ｘ，ｙ，ｚ］Ｔを網膜座標ｑ＝［ｑｕ，ｑｖ，１］Ｔに関連付ける。
【００１５】
【数１】
【００１６】
（パノラマ撮像システムの分析）
遠隔操作された自律的システムの研究により、非常に広角な視野を撮像することの有用性が示されている。例えば、小型の円錐形画像ではなく、カメラが視覚情報の半球体（「視野球体（view-sphere）」）のほぼ全てを同時に撮像可能であると、撮像システム全体にいくつかの利点をもたらす。第１に、所望の対象物に合わせるためにカメラを動かしたり、対象物を探してカメラを動かしたりする必要がない。第２に、環境或いは場面全体の画像を処理すると、情報の乏しい画像領域により、画像の処理が影響を受ける可能性が低い。第３に、視野が広角であると、撮像対象が視野から消えたときに、撮像対象を探すのが容易になる。このことは、視野から消えた対象物を追うときに、画像処理アルゴリズムを安定化させる。第４に、視野が広いと、カメラの回転による画像アーチファクトと対象の移動による画像アーチファクトとを区別するのが容易になる。環境をパノラマ的に撮像可能であると、マシン・ビジョン、監視、衝突防止、エゴモーションの計算、環境内で動いている物体の簡単な検出、及びロボティクスのような様々な用途において有用である。
【００１７】
グローバル撮像を行う上で、反射体はコスト効率がよく、故障が少ない。凸反射表面下方に配されたカメラは広い視野を観察可能である（図１０参照）。角度のゲインがカメラの視野を広げるように、ミラーの輪郭形状が定められてもよい。適切な形状のミラーと使用されると、通常３０度以下の視野を有するカメラの方位角θを最大３６０度、仰角φを±１２０度とすることが可能である。図１０は反射表面から反射する光線を示す。該光線はカメラの視野範囲内に方向付けられる。このような撮像デバイスが以下のような利点を有することは明らかである。第１に、このようなデバイスは受動的センサであるから、必要電力が最小限である。第２に、このデバイスの性質上、非常に故障が少なくなるように形成可能である。これは、このセンサが、完全に固定された状態であり、可動部分を有さないからである。第３に、通常のレンズであれば、光学的ひずみが生じるのに対して、曲面ミラーは光学的ひずみが比較的少なくなるように製造可能である。
【００１８】
凸面鏡を備えるカメラは、瞬時に画像を取得可能であるとともに、コンパクトに設計可能で、且つ比較的生産コストが低い。市販の「魚眼」レンズはミラーと比べて費用が高く、大型である。加えて、凸面鏡に基づくカメラ光学系は数学的関係式により明確に定義される。このような数学的関係式はコード化されて画像処理及びデータ・フィルタリングに利用可能である。これにより観測球の曲面形状を２次元平面ピクセル配列にマップできる。画像を３次元表現から２次元表現に移すときに起こる画像のひずみを補正する簡単且つコスト効率のよい方法は現在存在しない。曲面状の反射表面を用いたパノラマ撮像の根本的な問題は、画像解像度が像の各部分において異なることである。標準的な球状凸面反射体からの像においては、解像度は高さ位置によって異なる。高い位置にある視覚パッチの解像度は水平線付近の視覚パッチの解像度と異なる。これは高い位置の視覚パッチは、水平線付近のパッチよりも立体角の小さい視界を捕捉するからである。ミラーの形状を等角に設計すると、このミラーは曲面状の像を円柱状の投影像に変換できる。この変換において、ミラー表面に入射する光線の検出アレイの中心に対する入射角と、カメラ内への反射角の直線関係が維持される。よって、カメラは垂直平面において一定解像度を有し、この解像度は仰角には影響されない。このことは、高品質のパノラマ撮像にとって非常に重要である。ミラーの形状及び画像処理に関して追加的に説明すると、垂直方向での不均一性は任意の対象撮像環境の横方向における解像度の低下を招く。
【００１９】
（昼夜両方で動作可能なＰＯＣパノラマ撮像装置）
図１１はモジュラー可視光線／赤外線カメラ・システムを示す。シーン（撮像環境）からの光線は双曲面ミラー上に入射する。このミラーの表面形状（すなわち円錐定数、曲率半径、及びアパーチャ・サイズ）は双曲面の焦点がカメラの投影中心と一致するように決定される。投影中心では、全ての光線が交差する。このシステム内でのミラーとカメラの配置は仰角とカメラの視野角の間の直線関係を維持する上で重要である。単一視点関係を満たす光線は双曲面鏡表面に反射されるとともに、環状平面鏡（図１２参照）に入射する。環状平面鏡は、鉛直点に対して４５度の方向に向けられている。環状平面鏡に入射する光線の半分（視界の下半分からの光線）は有効口径を通過する。この有効口径は鏡の中央部に配される。残りの半分の光線（視界の上半分からの光線）は９０度で反射される。
【００２０】
光学経路のそれぞれに沿って拡散する光線は、ズーム・レンズにより集光される。この光学システムのためのビデオ・ズーム・レンズは、焦点距離が８ｍｍ乃至４８ｍｍ、作動距離が１．２ｍから無限大で、１／２インチ・フォーマット検知器との適合性を有するとともに、Ｆ数がＦ１．２乃至１６、角度視野が８度乃至４４．６度の民生品である。２つのズーム・レンズにより、センサのアームのそれぞれを個別に調節可能となる。これらレンズは同じズーム倍率に設定される必要はない（すなわちブラー・スポット・サイズはピクセル配列を満たすように設定可能である）。これにより、視覚画像の各部分の解像度が向上されるのに加えて、このシステムがパノラマ撮像装置のための視野仰角の関数として解像度を調節することが可能となる。パノラマ撮像装置の最小ブラー・スポット・サイズは、回折限界の約１．５から２倍である。各ズーム・レンズからの光線は商業的に入手可能な３メガピクセル１／２インチフォーマットＣＭＯＳシリコン検知チップ上に結像される。各検出器アレイのピクセル数は２０４８×１５２０で、各ピクセルは７μm直線ピッチで配列されている。ピクセル数が大きいほど、０．０５ルクス以下の低光感度カメラ・チップの光感度を向上することができる。また同時に固定パターン雑音（fixed pattern noise）も低減可能である。製造業者の仕様書によると、このカメラのＳＮＲは７８ｄＢである。このカメラはノンインターレス・モード（順次走査）で動作して、３０フレーム／秒のビデオ・レイトでフル・フレーム・リードアウトを作り出す。プログラマブル部分走査（対象領域モードでの動作）を用いた完全に非同期的な画像捕捉により、これらカメラは、昼夜を問わず多様な用途で使用可能となる。このカメラはカラー及び白黒のいずれでも利用可能である。カラーで使用する場合は、ベイヤー方式のカラー・フィルタにより、全体的な解像度は低下する。原色それぞれに対して、解像度は１／３となる。
【００２１】
シリコンは光スペクトルの近赤外線領域（７００ｎｍ乃至１１００ｎｍ）に対して高感度であるため、撮像装置は夜間の監視の目的にも利用可能である。更に、パノラマ撮像装置はモジュール式装置として設計されるから、第２チャンネルを開設により、中赤外線領域（３乃至１０μｍ）に対する夜間の視覚能力を容易に増大可能である。この形態の撮像装置は、平面鏡を備え、この平面鏡はＭＷＩＲスペクトルに対して９８％以上の反射率を有するようにコーティングされる。この平面鏡は４５度の傾斜を有して、光線を第２光学チャネルに偏向する（図１３参照）。
【００２２】
他の光学的配置は、上記の撮像装置と同様であるが、この撮像装置は更に、ＰｔＳｉ或いはＨｇＣｄＴｅ検知器及び赤外線ズーム・レンズ・アセンブリを備える。赤外線ズーム・レンズ・アセンブリは、赤外線を検知する。尚、これら赤外線焦点面アレイは、直線ピッチ１２μｍのＱＶＧＡスケール（３２０×２４０ピクセル）のみであるから、全体的な解像度は低下する。しかしながら、多色パノラマ撮像装置はシリコン・ベース検知器の能力を超えた条件下の対象を追跡可能である。月夜には、夜間の赤外線放射の強さは、可視光線の強さと比べて、２桁の単位で大きい。加えて、画像の解像度を向上するために、高度な画像補間技術を用いてもよい。
【００２３】
（パノラマ画像展開の数学的基礎）
図１４に示すごとく、環状魚眼レンズは、周辺環境の半球視野を球面画像に投影する。このパノラマ画像は１８０度魚眼投影である。投影されたパノラマ画像は、水平方向で完全に１８０度の視野を画像化している。しかしながら、フレームがトリミングされた結果、この画像の垂直方向の視野は約１３５度以下である。
【００２４】
展開する段階において、１８０度魚眼投影の界線上に配されるユニットは放射状で、魚眼投影の中心は画像原点上に設定される。画像内の各点は極座標（ｒ，θ）で表される。この極座標は、球座標に変換される。各点の球座標は、θ及びφ座標からなる。数式２に示すごとく、θ座標は長さを、φ座標は投影軸に対する角度を表す。図１５は環状魚眼画像の球状マッピングを示す。極座標から球座標への変換において、θ座標は固定されており、ｒ座標がφ座標に変換される。図１６はマッピング座標の角度及び角度座標変換の幾何学的表現（図１６ｂ）を示す。
【００２５】
【数２】
【００２６】
このような変換により、視野立方体の半分を魚眼画像にマップ可能となる。更に、このようにマッピングされた１８０度魚眼画像（図１７ａ）を通常の透視画像に変換可能である。この透視画像を図１７ｂに示す。座標変換のためのマッピング式は以下のとおりである。
【００２７】
【数３】
【００２８】
【数４】
【００２９】
【数５】
【００３０】
撮像される画像を連続的に操作するために、以下の段階を順次実行して、このマッピングは行われる。
１．像面を角度座標平面に変換する
２．角度座標を球座標に変換する
３．逆変換を見出す
【００３１】
【数６】
【００３２】
必要な式のいくつかは球座標を含む。以下の方程式中の角度θ及びφは、次の式によりカルテシアン座標（ｘ，ｙ，ｚ）に関連付けられる。
【００３３】
【数７】
【００３４】
これらの逆変換を以下に示す。
【００３５】
【数８】
【００３６】
（リアルタイム・パノラマ映像変換ソフトウェア）
ここでは、映像マッピング・ソフトウェア・アーキテクチャ及び設計について説明する。この変換システムは、マイクロソフト・ウィンドウズ・ビデオ技術及びその他の追加的な映像操作ソフトウェア・アーキテクチャに基づいて、符号化されるとともにデバッグされる。このソフトウェアの性能及び安定性は、リアルタイム映像変換ソフトウェアのために予め最適化される。
【００３７】
（ビデオ・マッピング・ソフトウェアの設計及び機能性）
本発明の好適な実施形態はリアルタイム・パノラマ映像変換ソフトウェアを備える。このソフトウェアは、映像を環状極座標からカルテシアン・パノラマ映像に変換する。変換後のカルテシアン・パノラマ映像は、３０フレーム／秒で２０００×１０００ピクセルの映像解像度を備える。
【００３８】
リアルタイム・パノラマ変換ソフトウェアは、マイクロソフトDirect3D及びDirectShowにおいて開発されてきた。マイクロソフトDirect3Dは画像をリアルタイムに描画し、マッピングするための十分な機能を有する。Direct3Dは、映像メモリに直接アクセスするとともに操作する。このアクセス及び操作にはオペレーティング・システム・サービスは不要である。よって画像はハードウェア内で操作可能である。以下のリストは、Direct3Dの主要な機能を示す。
（Direct3Dの機能）
・デバイス独立的な方法による３Ｄ映像ディスプレイ・ハードウェアへのデバイス依存アクセス
・３ｄｚバッファに対するサポート
・切り替え可能な深度でのバッファリング
・変換及びクリッピング
・画像ストレッチ・ハードウェアへのアクセス
・専用のハードウェア・アクセス
・変換、ライティング、ラスタ化３Ｄグラフィックス・パイプラインへの即時アクセス
・ハードウェア加速が利用可能でない場合のソフトウェア・エミュレーション
（Direct3Dの低レベル機能）
・３次元座標システム及び座標幾何学
・陰影付け（shading）技術
・マトリックス及び変換
・ベクトル及び頂点（バーテックス）
・コピー表面
・ページ・フリッピング及びバック・バッファリング
・レクタングル
（Direct3Dアプリケーション・レベル機能）
・バンプ・マッピング
・環境マッピング
・ジオメトリ・ブレンディング
・インデックス付き頂点ブレンディング
・パッチ
・点スプライト
・プロシージャル（procedural、手続き型）・ポイント・シェーダ
・プロシージャル頂点シェーダ
・四元数
・スポットライト
・トゥウィーニング
・頂点ブレンディング
・ボリューム・テクスチャ
【００３９】
マイクロソフト社はDirect3Dを映像用途でグルーレスに（外付け回路なしに）適用する技術を開発した。これにより、リアルタイムに映像を操作することが可能となっている。この操作として、例えばマッピング、ブレンディング、テクスチャ、及びシェーディングが行われる。以下に主なDirectShow技術を挙げる。
・ストリーミング媒体のためのアーキテクチャ
・マルチメディア・ストリームの高品位再生
・（ファイル・ベース）
・ネットワーク・ストリーム
・汎用デコーディング機能
・他のDirectX技術とのグルーレス・インターフェース
・ハードウェア加速サポートの自動検出
・コモン・オブジェクト・モデル（Common Object Model、ＣＯＭ）ベースのインターフェース
【００４０】
リアルタイム映像ソフトウェアは、マイクロソフトDirect3D及びDirectShowの機能を中心に発展してきた。しかしながら、これらソフトウェアが革新的で他のソフトウェアと異なるアーキテクチャを備えたソフトウェアとして、階層的に発展することがマルチメディア業界において望まれている。このようなソフトウェアは、顕著な遅延なくリアルタイムにパノラマ映像を変換し、表示する。
【００４１】
（マイクロソフトVideo Mixing Rendererをカスタマイズする）
Video Mixing Renderer（ＶＭＲ）は、新たなDirectShowフィルタである。ＶＭＲはWindows XP Home Edition及びXP Professionalでのみ利用可能である。このＶＭＲはOverlay MixerVideo及びRendererの代替となるとともに、多くの新規なミキシング機能を提供している。機能の性能や幅の点で、ＶＭＲはWindowsプラットフォームにおける映像描画の新世代を代表している。
【００４２】
ＶＭＲは以下の機能に対応する
・Direct3Dハードウェア・デバイスのアルファ・ブレンディング機能を利用した多重ビデオ・ストリームのミキシング
・使用者が現在利用しているコンポジティング・コンポーネントにプラグインして、ＶＭＲに入力されるビデオ・ストリーム間の効果及び遷移を提供
・ウィンドウを作成せずに描画する。この機能により、アプリケーション・ウィンドウと別に、映像を再生するための映像再生ウィンドウを作成する必要がなくなる。ウィンドウ作成不要のＶＭＲの新しい描画モードは、映像再生を任意のウィンドウ内で行うことを容易にする。このような映像再生時には、レンダラーにレンダラー固有処理のためのウィンドウ・メッセージを送信する必要がない。
・新しいレンダレス再生モード。このモードにおいて、デコードされたビデオ画像がスクリーン上に表示される前に、アプリケーションは、このアプリケーションのアロケータ・コンポーネントにデコードされたビデオ画像へのアクセスを与えることが可能である。
・複数のモニタを装備されたＰＣのための改良されたサポート
・マイクロソフトの新しいDirectX Video Accelerationアーキテクチャのためのサポート
・複数ウィンドウ同時の高品位映像再生のためのサポート
・DirectDraw Exclusive Modeのためのサポート
・既存アプリケーションに対する１００％後ろ向き互換性
・フレーム・ステッピングのためのサポート及び現在表示されている画像を捕捉するための高信頼性手段
・アプリケーションが、アプリケーションが備える静止画像データ（例えば、チャネル・ロゴ、或いはＵＩコンポーネント）を、滑らかでちらつきのない方法でビデオにアルファ・ブレンド可能
【００４３】
ＶＭＲは、コンピュータ・ディスプレイ・カードのグラフィック処理機能に完全に依存している。すなわち、ＶＭＲがホスト・プロセッサを用いて映像をブレンドしたり描画したりすることはない。もしホスト・プロセッサを使用すると、表示されている映像のフレーム・レイト及び画質に大きな影響を与えるからである。ＶＭＲが新たに提供した機能のうち、特に複数のビデオ・ストリーム及び／又はアプリケーション画像のブレンディングは、グラフィック・カードの機能に大きく依存している。次のハードウェア・サポートが組み込まれたグラフィック・カードはＶＭＲとともに使用したときのパフォーマンスが優れている。
・ＹＵＶ及び「non-power of 2」Direct3Dテクスチャ・サーフェスのためのサポート
・ＹＵＶからＲＧＢDirectDrawサーフェスへのStretchBltの機能
・複数のビデオ・ストリームをブレンドする場合は、少なくとも１６ＭＢのビデオ・メモリが必要である。実際に必要なメモリ量は、ビデオ・ストリームのイメージサイズ及びディスプレイ・モードの解像度によって異なる。
・ＲＧＢオーバーレイのためのサポート或いはＹＵＶオーバーレイ・サーフェスにブレンドする機能
・ハードウェア加速されたビデオ・デコーディング（DirectX加速のためのサポート）
・高いピクセル・フィル・レイト
【００４４】
本発明における変換ソフトウェアでは、ＶＭＲレンダレス・モードが特別にカスタマイズされる。カスタマイズは、このソフトウェアの性能及び柔軟性が最大化される。これにより、制御パラメータの操作性が向上する。ＶＭＲレンダレス・モードは、カスタマイズされた描画サーフェスのためにカスタマイズされたアロケータ、及びカスタマイズされた描画モードのためにカスタマイズされたレンダラーを備える。
【００４５】
レンダレス再生モードにおいて、アプリケーションは以下を実行する。
・再生ウィンドウを管理する。
・DirectDrawオブジェクト及び最終フレーム・バッファをアロケートする。
・再生システムの残りの部分に使用中のDirectDrawオブジェクトを通知
・正しい時期にフレーム・バッファを「提供（present）」する
・全ての解像度モード、モニタ変化、及び「表面ロス」を操作する。これらイベントを再生システムの他の部分に通知する。
【００４６】
レンダリング再生モードにおいて、ＶＭＲは以下を実行する。
・ビデオ・フレームの表現に関連する全てのタイミングを操作する。
・画像制御情報をアプリケーション及び再生システムの他の部分に提供する。
・適合インターフェースを再生システムのアップストリーム・コンポーネントに提供する。再生システムは、アプリケーションがフレーム・バッファ・アロケーション及び描画を実行していることを通知されていない。
・任意のビデオ・ストリーム・ミキシングを実行する。このビデオ・ストリーミング・ミキシングは描画に先立って必要である。
【００４７】
基本的に、変換ソフトウェアはＶＭＲの様々な機能を呼び出して、DirectXサーフェスをカスタマイズする。これによって、これら機能を本発明の目的に適合させる。本発明の目的とは、非線形画像変換を、映像を順次ストリーミングしながら、リアルタイムに行うことである。このソフトウェアは、意図的にWindows XPでのみ利用可能なＶＭＲ−７でコード化された。ＶＭＲ−９にコードを移行したDirectX 9その他のオペレーティング・システムとソフトウェア適合性となることが可能である。その他のオペレーティング・システムとしては例えば、Windows 9x、Windows 2K、及びWindows XPが挙げられる。
【００４８】
（リアルタイム・パノラマ展開ソフトウェア）
リアルタイム変換ソフトウェアは、Direct3D直接モード（Immediate Mode）を実行する。このとき球面画像をカルテシアン画像に恣意的な透視法で変換する幾何学的関係式を用いる。直接モードのワールド・マネジメントは頂点、ポリゴン、及びこれらを制御するコマンドに基づく。直接モードのワールド・マネジメントは、変換、ライティング、ラスタ化３次元グラフィックス・パイプラインへの直接のアクセスを可能にする。画像変換はプリミティブに適用される。これにより、他のインターフェース及び直接アクセスハードウェア機能からの介入的オーバーヘッドがなくなる。本発明におけるソフトウェアを、Nvidia GeForc、ATI Radeon、及びインテル低プロファイルＶＧＡチップを用いて試験した。最終コードは、多くのビデオ加速チップ及びプロセッサとの互換性を有する。よって最終コードは主要なハードウェア・プラットフォームと併用可能である。図１８は上記の変換ソフトウェアのためのグラフィック・ユーザ・インターフェース（graphic use Interface、ＧＵＩ）を示す。図１９はＧＵＩ内の魚眼映像を示す。図２０は、球面魚眼画像からリアルタイム（オンザフライ）に最大３０フレーム／秒で変換された対応するパノラマ映像を示す。展開アルゴリズムはフレーム周縁部のひずみを除去するように最適化されてもよい。図２１は再生装置の強化機能を示す。
【００４９】
以下のリストは、再生装置の主要な能力及び機能を示す。
・汎用再生能力（ＭＰＥＧ、ＡＶＩなど）
・ビットマップ捕捉（右クリック）
・円を３度クリックすると較正を行う（円を赤で示す）
・非矩形ピクセル・デジタイザに関してアスペクト率を調整
・３６０度パノラマ表示モードにおける視野中心を変更
・ズーム、パン、及びチルト
ズーム・イン及びズーム・アウトにはＦ１、Ｆ２
パン及びチルトには矢印ボタン
・ステータス・バーは画像サイズ、キャプチャ・デバイス、再生時間、画像及びディスプレイの解像度、性能、視角を示す
・キャプチャ（及びＤＶ）デバイスのプロパティ
【００５０】
性能パラメータは以下のとおりである。
・パノラマ及び３６０度表示の場合は、アンチエイリアス処理及び違方性フィルタを使用して、最大３０フレーム／秒。
・１８０度表示の場合は、アンチエイリアス処理及び違方性フィルタを使用して、最大２０フレーム／秒（プロセッサ及びビデオ・カードによりそれ以上）。
・ビデオ解像度について、フルスクリーンで２０４８×１５３６ピクセル以下。
【００５１】
（放射線計測レイ・トレーシング（Radiometric Ray-Tracing（Ｒ２Ｔ））
Ｒ２Ｔは任意の連続的光学材料に対して、放射線計測量（例えば、図２２に示すごとく、入力平面から出力平面への輝度）の一価マッピングを行う。
この手順を図２３ａ、図２３ｂ、及び図２３ｃに示す。この手順において、環状画像（ａ）から歪みのある展開画像（ｂ）へ、更に補正された展開画像（ｃ）への変換が行われる。フレンチ・ウィンドウの歪みのある（ｂ）パノラマ画像から、歪みのない（ｃ）パノラマ画像への変換は、Ｒ２Ｔにより、先験的レイ・トレーシングに基づいて行われる。このような変換は、曲面システム座標からカルテシアン座標システムへの変換と同等のものである。この操作をリアルタイムに実行するためには、１２０度水平表示領域を多数のピクセル・ブロック（１０×１０若しくはそれ以上）に分割するとともに、各ブロックについて個別に均一な変換を行う。
【００５２】
（ハードウェア加速）
全方位画像システムは、画像変換プロセスにおいて、変換された（若しくは展開された）画像を作り出すが、従来の全方位画像システムにおける画像変換プロセスは、ハードウェア加速のあるプロセス、或いはハードウェア加速のないプロセスのいずれであってもよかった。しかしながら、従来の（民生品ソフトウェアの）変換はピクセルごとに行われるから、球面画像或いは円筒型画像をカルテシアンすなわち平面画像に変換するには、ＣＰＵに多大な負荷が掛かっていた。本発明はこのような問題を、性能を何倍にも（通常、現在市場に出ている任意の既存のソフトウェア対して最大で３０倍）増加させることにより解決する。尚、画像或いは映像の画質が低下することはない。動画アプリケーションは、画像を操作するために多大な処理能力を必要とする。これは、このようなアプリケーションが、透視法、ズーム・レベル、モーフィング、描画などのリアルタイム変換を行わなければならないからである。競合するビデオ・カード製造業者の多くは、ビデオ・カード（或いはグラフィックス・プロセシング・ユニット）のための３次元動画エンジンをゲーム用に開発している。これら動画エンジンは、非常に高性能のグラフィカル・パフォーマンス（graphical performance）を有する。ＧＰＵや３次元動画エンジンのこのようなパフォーマンスを利用すると、リアルタイムのビデオ変換のための全方位画像システムに関するリアルタイム・パフォーマンスが実現可能である。
【００５３】
本発明におけるソフトウェアは、ピクセルごとの処理ではなく、頂点単位で変換を行う。各頂点は、座標、色彩、像面に関する情報を備える。１つの画像に含まれる頂点の数は６５５３６以下に制限されている。これは、頂点を６５５３６以上に増やすと質の低下を招くからである。以下のグラフィックス・プロセシング・ユニット（graphics processing unit）（ＧＰＵ）の内部機能がハードウェア加速に用いられる。すなわち、ライティング、ジオメトリ・ブレンディング、アルファ、ひずみ補正のための違方性フィルタ或いは線形フィルタ、３次元テクスチャ、キューブ・テクスチャ、クランピング、及び頂点並びにピクセル・パイプライニングである。
・ライティング機能は、輝度及び光学較正を詳細に設定する。
・ジオメトリ及び頂点ブレンディング機能は、変換後の画像の写実性を向上する。
・アルファ・ブレンディング機能は、プライマリ・ビデオにキャラクタを与えるとともに、オーバーレイを書き込む。
・違方性フィルタは、変換によるひずみを最小化して画質を向上する。
・３次元テクスチャは、３次元座標変換を容易にする。
・キューブ・テクスチャは、任意の透視法での完全な変換を可能にする。
・クランピングは、区域外画像制御を可能にする。
・頂点並びにピクセル・パイプライニングは、様々な機能において画像処理を向上する。
【００５４】
すなわち、色彩、線、点、及び透視法の変更に関する実際の画像処理は、ハードウェア（具体的にはＧＰＵ）内で行われる。更に、映像表現もまたハードウェア内で行われ、その他の機能（例えば頂点の３次元処理）を干渉することはない。ＣＰＵロードのみが、頂点座標の変化を計算し、この計算は支配方程式に基づいて行われる。支配方程式は例えば、球座標をカルテシアン座標に変換する。
【００５５】
（ソフトウェア・フロー）
図２４に示すごとく、本発明におけるソフトウェアは、以下の４つのモジュールを備ええる。すなわち、（１）映像捕捉、（２）画像変換、（３）画像処理モジュールとしての画像表現、及び（４）ビデオ・サーフェスへの画像の描画である。このソフトウェアは、多数の映像捕捉機能を提供する。このような機能として、ＤＶキャプチャ、マイクロソフトActiveMovieコンプライアンス（１６ビット）を用いた映像捕捉、映像ストリーミングのためのＷＤＭ（windowsドライバ・モデル（３２ビット））ドライバを用いた映像捕捉、及びサード・パーティ捕捉ドライバを用いた映像捕捉を例示できる。尚、サード・パーティ捕捉ドライバは、Windowsオペレーティング・システムに認識されるドライバとする。
【００５６】
映像捕捉モジュールはしばしば、ソフトウェアに多大なオーバーヘッドとリソースを招く。しかしながら適切なパイプライニング及びバッファリングを行うことにより、これら問題を回避可能である。
【００５７】
画像変換モジュールは、マルチスレッド（或いはスーパー・パイプライン）処理を行いながらパイプライン的に、入力されるビットマップを変換する。これにより処理中の遅延が最小化される。このモジュールでは、マイクロソフトDirect3D及びDirectX機能を利用して、映像メモリの画像変換及び画像処理が行われる。この画像処理は、アプリケーション・レベルではなく、プリミティブ・レベルで行われる。これにより、最大限のプログラム性と柔軟性が確保される。加えて、性能の最適化が可能であるが、コード化は非常に冗長になる。これは、このようなコード化にはＣ＋＋、Ｃ及びアセンブリ言語でのプログラミングを要するからである。
【００５８】
表現モジュールは、映像の用意、ビットマップの捕捉、較正（画像変換モジュールにフィードバックされる）、及び映像上部に円を描画或いは性能に関する情報の表示を行う。
【００５９】
最後に描画モジュールについて説明する。描画モジュールはハードウェア（映像エンジン）に大きく依存しているから、多くの場合、マイクロソフトDirectShowに組み込まれた機能により実行される。このモジュールは、最終画像ストリームを映像メモリに送信する。
【００６０】
図２４は、この実施形態におけるリアルタイム全方位画像映像ソフトウェアのための全体的なソフトウェア・アーキテクチャを示す。
【００６１】
（パノラマ距離計）
ミラーベースのパノラマ全方位撮像装置は、垂直軸周囲に不感地帯を有する（図２５）。したがって、２つのこのような撮像装置を、これらが同一の垂直軸を有するように配してもよい。この場合、一方の撮像装置を他方の撮像装置の上方に配して、互いの視界を覆うことがないようにする。このような方法で２つのパノラマ全方位撮像装置を用いると、立体効果が得られ、撮像対象への距離に関する情報を取得することが可能になる。このような情報の取得は、視差角測定に基づいて行われる（図２６）。
【００６２】
（ズームを備えるパノラマ撮像装置）
ミラーベースのパノラマ撮像装置は２段階において画像を作成する。第１段階において全方位の対象空間が、ミラー上方に、仮想の中間画像である環状画像として転移される（図２７の画像Ａ’）。第２段階において、投影レンズが受像面上で仮想の中間画像を実際の画像（図２７の画像Ａ’’）に変換する。領域０’０は、上方視野領域を、ズーム機能を用いて直接画像化するために使用される。追加的なレンズ（図２８に示すネガティブ・ズーム・レンズ）は、平面０’０（図２８）に、上方円錐対象領域の仮想画像を結像する。次に、投影レンズは、受像面上の領域０’’０’’に、中間画像の実際の画像を結像する。
【００６３】
上記で開示された本発明の好適な実施形態は、本発明の特徴を示すために開示されたものであり、本発明に係るパノラマビデオ・システムは様々な方法で実施可能であることは明らかである。これら方法には、ここで説明されていないものもある。したがって、本発明の範囲は、ここで開示された特定の実施形態には限定されず、以下の請求の範囲及びこれに等しいものにのみ限定される。
【図面の簡単な説明】
【００６４】
【図１】本発明において利用可能なパノラマ環状レンズ構造を示す概略図である。
【図２】図２ａ及び図２ｂは、図１のレンズ構造を示す写真による上面図と側面図である。
【図３】図１のレンズ構造を示す写真による図であり、該レンズ構造はＣＣＤカメラと一体化されている。
【図４】ＰＡＬ画像を示す写真による図であり、図４ａはクリップする前の状態を示し、図４ｂはクリップした後の状態を示す。
【図５】図４ａ及び図４ｂのＰＡＬ画像を展開された状態で示す写真による図である。
【図６】図４ａ及び図４ｂのＰＡＬ画像を示す写真による図であり、図６ａ及び図６ｂはそれぞれ異なるカメラ解像度における展開前の状態の画像を示し、図６ｃ及び図６ｄはそれぞれ異なるカメラ解像度における展開後の状態の画像を示す。
【図７】反射屈折多方向超広角カメラの変更形態を示す概略図である。
【図８】２面の放物線鏡を用いたパノラマ・ステレオ撮影を示す概略図である。
【図９】多層放物面鏡及びカメラの構造を示す概略図である。
【図１０】凸面反射鏡を用いたパノラマ撮影を示す概略図である。
【図１１】昼夜両方で操作可能なパノラマ・カメラ・システムを示す概略図である。
【図１２】図１１のシステムに使用される環状平面鏡を示す概略図である。
【図１３】中赤外線光のための第２の光学チャネルを備えるパノラマ撮像装置を示す概略図である。
【図１４】環状魚眼レンズによる環状投影の半球表示を示す概略図である。
【図１５】球座標マッピングを示す幾何学的図である。
【図１６】図１６ａ及び図１６ｂは、それぞれ球面マッピングと角度マッピングの幾何学的表現を示す図である。
【図１７】環状魚眼レンズの画像を示す図であり、図１７ａ及び図１７ｂはそれぞれ、変換前の画像と変換後の画像を示す。
【図１８】本発明の好適な実施形態におけるリアルタイム変換（展開）ソフトウェアのためのグラフィック・ユーザ・インターフェースのコンピュータ・スクリーンでの表示を示す図である。
【図１９】フルフレーム（３０ｆｐｓ）で魚眼ビデオカメラにより捕捉された画像のコンピュータ・スクリーン表示を示す図である。
【図２０】１５００×１０００カルテシアン・コンピュータ・スクリーン画像を示す図であり、この画像は、本発明における「展開」ソフトウェアを用いて図１９の魚眼画像から３０ｆｐｓで変換された画像である。
【図２１】図１９と同様のコンピュータ・スクリーン表示を示す図であり、この表示にはひずみを低減するための様々な較正手段の効果が現れている。
【図２２】ピクセル・ブロックについて入力表面から出力平面への放射線計測レイ・トレーシングを示す図である。
【図２３】図２３ａ、図２３ｂ及び図２３ｃはそれぞれ環状画像からひずみのない矩形画像への変換プロセスを示す図である。
【図２４】本発明におけるリアルタイム展開のためのソフトウェア・フローを示すブロック線図である。
【図２５】距離計として利用されたパノラマ撮像装置を示す概略図である。
【図２６】距離計として利用されたパノラマ撮像装置を示す概略図である。
【図２７】ズーム機能を追加されたパノラマ撮像装置を示す概略図である。
【図２８】ズーム機能を追加されたパノラマ撮像装置を示す概略図である。
【技術分野】
【０００１】
本発明は、概して特殊なビデオカメラ・システムに関する。本発明は特に、リアルタイム３６０度パノラマ・ビデオ・システムに関する。このパノラマ・ビデオ・システムには、パノラマ環状ミラー、ビデオカメラ、及び展開のための特殊なソフトウェアを利用する。このソフトウェアは、パノラマ画像のシームレスでひずみのない水平表示を可能にする。本発明は、ＵＳＭＣコントラクト番号Ｎｏ．Ｍ６７８５４−０３−１００６に基づく作業によりなされたものであり、本発明は一般法９６０５１７（３５ ＵＳＣ ２０２）の条項の適用対象であり、契約者はこの法律の該当者として定められている。本発明は仮出願（米国出願番号第６０／４８５，３３６号、２００３年７月３日）に基づく優先権主張を伴う出願である。
【背景技術】
【０００２】
３６０度の視野を結像可能なパノラマ光学系は既知である。例えば、米国特許第６，４５９，４５１号公報は３６０度の視野を結像するための反射屈折レンズを開示している。このような光学系は、カメラとともに用いられて、全方位３６０度視野の画像を撮像するために好適に利用可能である。例えば、部屋全体或いは風景全体を１つの定点から単一のカメラを用いて撮像することが、このようなシステムにより可能となる。このような撮像を行うと、複数の画像をスキャンしたり貼合わせたりする作業が不要となる。
【０００３】
【特許文献１】米国特許第６，４５９，４５１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、このようなレンズが提供する画像は、この画像が「展開（unwrap）」されて初めて判読可能な画像となる。３６０度視野レンズの画像は、環状或いはドーナツ形状であり、ひずみを有するから、そのままでは人間の目には識別不能である。よって、このような画像を変換或いは「展開」して、比較的２次元に近いフォーマットにすることが必要である。このようなフォーマットとして例えば、比較的平面的な媒体上での水平表示が挙げられる。比較的平面的な媒体としては、物理的なものとしてはフィルム、電子的なものとしてはコンピュータ・スクリーンが例示できる。展開する手順は、数学的変換（例えば画像要素或いは各ピクセルを変換）を行う段階を備える。この展開する手順により、好ましくは、画像のひずみがほぼ或いは完全に解消される。尚、ひずみが解消されない場合には、結果的として得られる平面画像の質は低下する。このような画像ごとの変換は、通常非常に複雑であるから、煩雑且つ時間の掛かるコンピュータ・プログラムを必要とする。特に、適切な解像度や画素の多い画像を得ようとすると、このような変換は複雑になる。したがって、パノラマ・レンズ技術を利用して、許容可能な解像度を有するリアルタイムの展開されたビデオ画像を提供することは従来不可能であった。
【課題を解決するための手段】
【０００５】
本発明の好適な実施形態は、パノラマ環状レンズ・システム（panoramic annular lens system（ＰＡＬ））、１つのビデオカメラ、及びＰＣベースのソフトウェア・システムを備える。このソフトウェア・システムは３６０度のビデオ画像をシームレスでひずみのない水平画像にリアルタイムに展開可能である。ＰＡＬシステムは、２つのミラー、すなわち双曲面鏡及び楕円面鏡を備える。２つのミラーは、３６０度屈折性前方或いは入射アパーチャ・レンズにより、相互に結合される。この２つのミラーは後方或いは出射を集光レンズ近傍に備える。本発明の好適な実施形態において、ＰＡＬシステムは、直径４０ｍｍのコンパクト・パッケージに、３６０度の水平視野と、９０度の垂直視野を備える。本発明に利用可能なレンズ・システムの種類は特に制限されていない。実際３６０度パノラマ表示を提供可能なレンズ・システムは多数存在する。ビデオカメラとしては、１２８０×１０２４ピクセル（高解像度）或いは７２０×４８０（ＮＴＳＣ）ピクセルの解像度を有するＣＣＤ或いはＣＭＯＳベースのデバイスが利用可能である。展開するためのシステムは放射線計測レイ・トレーシング・プログラムであり、このプログラムはコンピュータのグラフィック・カードを利用して実行される。グラフィック・カードは、ソフトウェアのオーバーヘッドを最小限に保ちながら効率的に局所的な変換を実行可能である。結果として、ひずみのある球面画像を、カルテシアン座標上の平面パノラマ画像に変換し、高解像度且つ３０ｆｐｓの画像をリアルタイムに得られる。グラフィック・ユーザ・インターフェース（graphic use interface、ＧＵＩ）を用いると、任意の破断点（パノラマ画像の中心線）の決定、ズーム・イン或いはズーム・アウト機能、及びビルトイン較正が可能になる。
【発明の効果】
【０００６】
パノラマ・レンズとビデオカメラにより作り出された画像を展開して、リアルタイムにビデオ画像として提供可能であるシステムは、様々な用途に適する。このようなシステムにより例えば、単独の監視者が１つのディスプレイを用いて連続的な全方位視野を、防犯目的で監視することが可能になる。このようなシステムはまた、移動用構造に積載されて、軍事或いは警察関連の偵察若しくはロボットによる撮影のためにも利用可能である。このシステムは更に、医療用の映像化や交通監視システムにも利用できる。このシステムをインターネット伝送などのワイヤレスシステムに適合するように調整することも可能である。或いはビデオ画像の圧縮目的にもこのシステムを利用可能である。これにより、通信帯域幅に関する要件を緩和することができる。パノラマビデオ画像を、ほぼひずみがなく且つ許容可能な解像度を有する画像にリアルタイムに展開することが容易に可能となれば、このような画像の多くの用途で有効に利用できる。
【発明を実施するための最良の形態】
【０００７】
本発明の実施形態、特徴、及び利点をより良く理解するために、以下、図面を参照しつつ本発明を詳細に説明する。
（パノラマ環状レンズ（Panoramic Annular Lens（ＰＡＬ）））
ＰＡＬレンズは、光線を反射及び屈折することにより、直径４０ｍｍの超小型パッケージで、パノラマ３６０度視野を提供可能である。ＰＡＬレンズの垂直視野は、例えば―４０度から＋５０度である。図１に示すごとく、パノラマ・レンズは、ガラスからなり、３６０度の環状アパーチャ（Ｒ１）、集光レンズに接続する後方アパーチャ（Ｒ２）、頂部ミラー（Ｈ）、及び環状ミラー（Ｅ）を備える。「仮想カメラ」の視点は、楕円面鏡の平面（Ｏ）上にある。この配置により、ＰＡＬセンサはその垂直軸ＢＣ周囲の全方位３６０度の視界を監視できる。垂直視野は環状ミラーＥ及び頂部ミラーＨの有効サイズ及び位置により決定される。通常垂直方向における視野角は９０度である。
【０００８】
図２ａ及び図２ｂはＰＡＬを示す。カメラ・アングルを幅広く選択できるように、ＰＡＬマウンティングはＣ型マウントを端部に備える。Ｃ型マウントは１／３インチ及び１／２インチの撮像デバイス（例えばＣＭＯＳ及びＣＣＤ）に最もよく適合する。撮像デバイスの選択は、最終的な画像の質を決定するので重要である。画像の最も重要な特性は解像度で、撮像デバイスの解像度はビデオ線あたり１０００ピクセルの単位でなければならない。撮像デバイスは、順次撮像方式の撮像デバイスであることが好ましい。これは、順次撮像方式の撮像デバイスにおいては、映像視野の時差を排除できるからである。このようなデバイスの多くは、市場において入手可能であり、その価格は下落している。価格下落の要因は、ＨＤＴＶカムコーダ（例えばＪＶＣ ＧＲ−ＨＤ１）に市場を奪われているからである。ＨＤＴＶカムコーダは７２０ｐ ＨＤフォーマット（３０ｆｐｓでの順次走査において１０２４×７２０ピクセル）で映像を記録可能である。図３に示すごとく、ＰＡＬはカメラと一体化される。
【０００９】
図４ａに示すごとく、ＰＡＬレンズによって作り出される画像は、環状に対称性を有する。ＰＡＬレンズは方位角３６０度、仰角９０度内の空間全体を、環状画像にマップする。環状画像にマップされた後も、画像は識別可能である。またこの画像は、他のパノラマ視覚化システム（例えば双曲線鏡を利用した３６０度視野システム）と比べて幾何学的ひずみが少ない。ＰＡＬの主要な利点は、ＰＡＬが垂直線を真直ぐに保つから、画像を展開するための計算上の複雑さを大幅に低減できることである。図４ｂに示すごとく、図４ａの画像の一部のみが有効に展開される。図４ａの画像の中央部及び外周部は使用可能な視覚的情報を有さないので、廃棄される。環状画像全体で解像度を最大に保つために、ＰＡＬとカメラの間に中継レンズを配する。図５に示すごとく、展開された画像はパノラマ・カルテシアン座標に展開される。
【００１０】
ＰＡＬアセンブリはピクセル解像度の異なる複数のカメラについて幅広くテストされた。まず、標準的なＮＴＳＣカメラをテストした。このカメラはフィールドあたり４２０×２４０ピクセルの解像度を有する。次に、レンズと４８０×４８０ピクセル及び１０２４×１０２４ピクセルの順次走査カメラの組み合わせをテストした。ＰＡＬとカメラのそれぞれの組み合わせを用いて、画像を展開するとともに、双三次拡大縮小により基準カメラ解像度に標準化した。図６において、図６ａは１０２４×１０２４ピクセルのカメラにより捕捉された画像を示し、図６ｂは４８０×４８０ピクセルのカメラの画像を示す。対応する展開された画像は、１０２４×１０２４ピクセルの画像は図６ｃに、４８０×４８０ピクセルの画像は図６ｄに示される。双方の画像の一部（壁の絵画）がそれぞれ拡大されている。予想されるように、双方の画像の一部を詳しく調べると、高解像度の画像のほうが、輪郭が滑らかで、演色性が良いことがわかる。
【００１１】
（放物面鏡を備える反射屈折性超広角カメラ）
反射屈折性システムを利用してもパノラマ映像を得られる。反射屈折性システムは、放物面鏡を用いて全方位映像を作り出す。反射屈折性全方位超広角カメラ（catadioptric omnidirectional ultra-wide-angle camera（ＣＵＷＡＣ）は小型デジタル・ビデオカメラを備える。小型デジタル・ビデオカメラは、フレーム内に配され、放物面鏡の頂点に向けられる。図７に示すごとく放物面鏡は透明の半球体に取り囲まれる。図７の屈折カメラ・レンズは放物面の焦点をＣＣＤ撮像装置上に結像する。このカメラは、放物面鏡を介して半球体内の全方位を撮影する。屈折撮像レンズを備えるＣＣＤカメラは、数インチ離れた位置に配されるミラーの方向に向けられ、反射により円環像を結ぶ。反射された円環像は次に、任意の方向の通常の画像に変換される。しかしながらこの画像の画質は、視野の各部分において大きく異なる。これは、システムによる拡大が画像の中央部において大きく、画像の高さＹが増加するにつれて拡大の度合いが段階的に減少するからである。これにより、視野周縁部において画質劣化が著しくなる。この問題を解決するために、本発明においては、パノラマ撮像のために、曲率の異なる同心円状放物面鏡を２面用いる。図８に示す２面のミラーを用いるシステムにおいては、ミラーの軸は同一直線上にあり屈折カメラの光軸と一致している。これらミラーのそれぞれはその軸を中心に半径方向に対称な形状を有する。大きな放物面鏡の縮小率は低く、このミラーは、小さなミラーと比べて広角にかつ高解像度で半球部分を撮像する。小さいミラーは、大きいミラーと比べて高い曲率と高い拡大率を有する。小さいミラーは画像の中央部分、すなわち光軸に近い部分を撮像する。
【００１２】
ＣＵＷＡＣ放物面光学系は有効な投影中心を１つ備える。画像からの全ての光線はカメラ・レンズに達する途中必ずこの投影中心を通過する。この形態は直線遠近法画像のみを撮像するカメラを模擬するもので、この構造により、ＣＵＷＡＣコンピュータ・ソフトウェアがひずみのない直線遠近法画像を作り出すことが可能になる。
【００１３】
魚眼レンズ或いは放物面鏡を備える２つのカメラを背中合わせに配すると、３６０度（完全な球体）の映像を作り出すことが可能になる。このようなカメラの配置は、監視或いは保安目的に利用可能である。テレビ会議においては、このようなパノラマ・カメラはテーブルを囲んで着席した全ての参加者を同時に映し出すことが可能である。参加者の画像は、半球或いは直線状の画像として撮像される。このパノラマ・カメラは可動ロボットが半球状の画像を撮像することを可能にする。コンサート・ステージ上方或いはスポーツ・イベント中のフィールド上方に超広角カメラを配すると、このカメラは３６０度（完全な球体）の画像を視聴者に提供できる。ジョイスティック或いはマウスを用いると、視聴者は任意の画像を視聴者のスクリーンに表示できる。例えば視聴者は、半球画像だけではなく、標準的なひずみのない真直ぐな画像も表示可能である。
【００１４】
図９はこの多層（multilevel）放物面鏡の基本構造を示す。双曲面鏡の投影中心Ｃは焦点Ｆと一致する。透視カメラは内部カメラ較正マトリックスＫに基づいて形成される。マトリックスＫは３次元座標Ｘ＝［ｘ，ｙ，ｚ］Ｔを網膜座標ｑ＝［ｑｕ，ｑｖ，１］Ｔに関連付ける。
【００１５】
【数１】
【００１６】
（パノラマ撮像システムの分析）
遠隔操作された自律的システムの研究により、非常に広角な視野を撮像することの有用性が示されている。例えば、小型の円錐形画像ではなく、カメラが視覚情報の半球体（「視野球体（view-sphere）」）のほぼ全てを同時に撮像可能であると、撮像システム全体にいくつかの利点をもたらす。第１に、所望の対象物に合わせるためにカメラを動かしたり、対象物を探してカメラを動かしたりする必要がない。第２に、環境或いは場面全体の画像を処理すると、情報の乏しい画像領域により、画像の処理が影響を受ける可能性が低い。第３に、視野が広角であると、撮像対象が視野から消えたときに、撮像対象を探すのが容易になる。このことは、視野から消えた対象物を追うときに、画像処理アルゴリズムを安定化させる。第４に、視野が広いと、カメラの回転による画像アーチファクトと対象の移動による画像アーチファクトとを区別するのが容易になる。環境をパノラマ的に撮像可能であると、マシン・ビジョン、監視、衝突防止、エゴモーションの計算、環境内で動いている物体の簡単な検出、及びロボティクスのような様々な用途において有用である。
【００１７】
グローバル撮像を行う上で、反射体はコスト効率がよく、故障が少ない。凸反射表面下方に配されたカメラは広い視野を観察可能である（図１０参照）。角度のゲインがカメラの視野を広げるように、ミラーの輪郭形状が定められてもよい。適切な形状のミラーと使用されると、通常３０度以下の視野を有するカメラの方位角θを最大３６０度、仰角φを±１２０度とすることが可能である。図１０は反射表面から反射する光線を示す。該光線はカメラの視野範囲内に方向付けられる。このような撮像デバイスが以下のような利点を有することは明らかである。第１に、このようなデバイスは受動的センサであるから、必要電力が最小限である。第２に、このデバイスの性質上、非常に故障が少なくなるように形成可能である。これは、このセンサが、完全に固定された状態であり、可動部分を有さないからである。第３に、通常のレンズであれば、光学的ひずみが生じるのに対して、曲面ミラーは光学的ひずみが比較的少なくなるように製造可能である。
【００１８】
凸面鏡を備えるカメラは、瞬時に画像を取得可能であるとともに、コンパクトに設計可能で、且つ比較的生産コストが低い。市販の「魚眼」レンズはミラーと比べて費用が高く、大型である。加えて、凸面鏡に基づくカメラ光学系は数学的関係式により明確に定義される。このような数学的関係式はコード化されて画像処理及びデータ・フィルタリングに利用可能である。これにより観測球の曲面形状を２次元平面ピクセル配列にマップできる。画像を３次元表現から２次元表現に移すときに起こる画像のひずみを補正する簡単且つコスト効率のよい方法は現在存在しない。曲面状の反射表面を用いたパノラマ撮像の根本的な問題は、画像解像度が像の各部分において異なることである。標準的な球状凸面反射体からの像においては、解像度は高さ位置によって異なる。高い位置にある視覚パッチの解像度は水平線付近の視覚パッチの解像度と異なる。これは高い位置の視覚パッチは、水平線付近のパッチよりも立体角の小さい視界を捕捉するからである。ミラーの形状を等角に設計すると、このミラーは曲面状の像を円柱状の投影像に変換できる。この変換において、ミラー表面に入射する光線の検出アレイの中心に対する入射角と、カメラ内への反射角の直線関係が維持される。よって、カメラは垂直平面において一定解像度を有し、この解像度は仰角には影響されない。このことは、高品質のパノラマ撮像にとって非常に重要である。ミラーの形状及び画像処理に関して追加的に説明すると、垂直方向での不均一性は任意の対象撮像環境の横方向における解像度の低下を招く。
【００１９】
（昼夜両方で動作可能なＰＯＣパノラマ撮像装置）
図１１はモジュラー可視光線／赤外線カメラ・システムを示す。シーン（撮像環境）からの光線は双曲面ミラー上に入射する。このミラーの表面形状（すなわち円錐定数、曲率半径、及びアパーチャ・サイズ）は双曲面の焦点がカメラの投影中心と一致するように決定される。投影中心では、全ての光線が交差する。このシステム内でのミラーとカメラの配置は仰角とカメラの視野角の間の直線関係を維持する上で重要である。単一視点関係を満たす光線は双曲面鏡表面に反射されるとともに、環状平面鏡（図１２参照）に入射する。環状平面鏡は、鉛直点に対して４５度の方向に向けられている。環状平面鏡に入射する光線の半分（視界の下半分からの光線）は有効口径を通過する。この有効口径は鏡の中央部に配される。残りの半分の光線（視界の上半分からの光線）は９０度で反射される。
【００２０】
光学経路のそれぞれに沿って拡散する光線は、ズーム・レンズにより集光される。この光学システムのためのビデオ・ズーム・レンズは、焦点距離が８ｍｍ乃至４８ｍｍ、作動距離が１．２ｍから無限大で、１／２インチ・フォーマット検知器との適合性を有するとともに、Ｆ数がＦ１．２乃至１６、角度視野が８度乃至４４．６度の民生品である。２つのズーム・レンズにより、センサのアームのそれぞれを個別に調節可能となる。これらレンズは同じズーム倍率に設定される必要はない（すなわちブラー・スポット・サイズはピクセル配列を満たすように設定可能である）。これにより、視覚画像の各部分の解像度が向上されるのに加えて、このシステムがパノラマ撮像装置のための視野仰角の関数として解像度を調節することが可能となる。パノラマ撮像装置の最小ブラー・スポット・サイズは、回折限界の約１．５から２倍である。各ズーム・レンズからの光線は商業的に入手可能な３メガピクセル１／２インチフォーマットＣＭＯＳシリコン検知チップ上に結像される。各検出器アレイのピクセル数は２０４８×１５２０で、各ピクセルは７μm直線ピッチで配列されている。ピクセル数が大きいほど、０．０５ルクス以下の低光感度カメラ・チップの光感度を向上することができる。また同時に固定パターン雑音（fixed pattern noise）も低減可能である。製造業者の仕様書によると、このカメラのＳＮＲは７８ｄＢである。このカメラはノンインターレス・モード（順次走査）で動作して、３０フレーム／秒のビデオ・レイトでフル・フレーム・リードアウトを作り出す。プログラマブル部分走査（対象領域モードでの動作）を用いた完全に非同期的な画像捕捉により、これらカメラは、昼夜を問わず多様な用途で使用可能となる。このカメラはカラー及び白黒のいずれでも利用可能である。カラーで使用する場合は、ベイヤー方式のカラー・フィルタにより、全体的な解像度は低下する。原色それぞれに対して、解像度は１／３となる。
【００２１】
シリコンは光スペクトルの近赤外線領域（７００ｎｍ乃至１１００ｎｍ）に対して高感度であるため、撮像装置は夜間の監視の目的にも利用可能である。更に、パノラマ撮像装置はモジュール式装置として設計されるから、第２チャンネルを開設により、中赤外線領域（３乃至１０μｍ）に対する夜間の視覚能力を容易に増大可能である。この形態の撮像装置は、平面鏡を備え、この平面鏡はＭＷＩＲスペクトルに対して９８％以上の反射率を有するようにコーティングされる。この平面鏡は４５度の傾斜を有して、光線を第２光学チャネルに偏向する（図１３参照）。
【００２２】
他の光学的配置は、上記の撮像装置と同様であるが、この撮像装置は更に、ＰｔＳｉ或いはＨｇＣｄＴｅ検知器及び赤外線ズーム・レンズ・アセンブリを備える。赤外線ズーム・レンズ・アセンブリは、赤外線を検知する。尚、これら赤外線焦点面アレイは、直線ピッチ１２μｍのＱＶＧＡスケール（３２０×２４０ピクセル）のみであるから、全体的な解像度は低下する。しかしながら、多色パノラマ撮像装置はシリコン・ベース検知器の能力を超えた条件下の対象を追跡可能である。月夜には、夜間の赤外線放射の強さは、可視光線の強さと比べて、２桁の単位で大きい。加えて、画像の解像度を向上するために、高度な画像補間技術を用いてもよい。
【００２３】
（パノラマ画像展開の数学的基礎）
図１４に示すごとく、環状魚眼レンズは、周辺環境の半球視野を球面画像に投影する。このパノラマ画像は１８０度魚眼投影である。投影されたパノラマ画像は、水平方向で完全に１８０度の視野を画像化している。しかしながら、フレームがトリミングされた結果、この画像の垂直方向の視野は約１３５度以下である。
【００２４】
展開する段階において、１８０度魚眼投影の界線上に配されるユニットは放射状で、魚眼投影の中心は画像原点上に設定される。画像内の各点は極座標（ｒ，θ）で表される。この極座標は、球座標に変換される。各点の球座標は、θ及びφ座標からなる。数式２に示すごとく、θ座標は長さを、φ座標は投影軸に対する角度を表す。図１５は環状魚眼画像の球状マッピングを示す。極座標から球座標への変換において、θ座標は固定されており、ｒ座標がφ座標に変換される。図１６はマッピング座標の角度及び角度座標変換の幾何学的表現（図１６ｂ）を示す。
【００２５】
【数２】
【００２６】
このような変換により、視野立方体の半分を魚眼画像にマップ可能となる。更に、このようにマッピングされた１８０度魚眼画像（図１７ａ）を通常の透視画像に変換可能である。この透視画像を図１７ｂに示す。座標変換のためのマッピング式は以下のとおりである。
【００２７】
【数３】
【００２８】
【数４】
【００２９】
【数５】
【００３０】
撮像される画像を連続的に操作するために、以下の段階を順次実行して、このマッピングは行われる。
１．像面を角度座標平面に変換する
２．角度座標を球座標に変換する
３．逆変換を見出す
【００３１】
【数６】
【００３２】
必要な式のいくつかは球座標を含む。以下の方程式中の角度θ及びφは、次の式によりカルテシアン座標（ｘ，ｙ，ｚ）に関連付けられる。
【００３３】
【数７】
【００３４】
これらの逆変換を以下に示す。
【００３５】
【数８】
【００３６】
（リアルタイム・パノラマ映像変換ソフトウェア）
ここでは、映像マッピング・ソフトウェア・アーキテクチャ及び設計について説明する。この変換システムは、マイクロソフト・ウィンドウズ・ビデオ技術及びその他の追加的な映像操作ソフトウェア・アーキテクチャに基づいて、符号化されるとともにデバッグされる。このソフトウェアの性能及び安定性は、リアルタイム映像変換ソフトウェアのために予め最適化される。
【００３７】
（ビデオ・マッピング・ソフトウェアの設計及び機能性）
本発明の好適な実施形態はリアルタイム・パノラマ映像変換ソフトウェアを備える。このソフトウェアは、映像を環状極座標からカルテシアン・パノラマ映像に変換する。変換後のカルテシアン・パノラマ映像は、３０フレーム／秒で２０００×１０００ピクセルの映像解像度を備える。
【００３８】
リアルタイム・パノラマ変換ソフトウェアは、マイクロソフトDirect3D及びDirectShowにおいて開発されてきた。マイクロソフトDirect3Dは画像をリアルタイムに描画し、マッピングするための十分な機能を有する。Direct3Dは、映像メモリに直接アクセスするとともに操作する。このアクセス及び操作にはオペレーティング・システム・サービスは不要である。よって画像はハードウェア内で操作可能である。以下のリストは、Direct3Dの主要な機能を示す。
（Direct3Dの機能）
・デバイス独立的な方法による３Ｄ映像ディスプレイ・ハードウェアへのデバイス依存アクセス
・３ｄｚバッファに対するサポート
・切り替え可能な深度でのバッファリング
・変換及びクリッピング
・画像ストレッチ・ハードウェアへのアクセス
・専用のハードウェア・アクセス
・変換、ライティング、ラスタ化３Ｄグラフィックス・パイプラインへの即時アクセス
・ハードウェア加速が利用可能でない場合のソフトウェア・エミュレーション
（Direct3Dの低レベル機能）
・３次元座標システム及び座標幾何学
・陰影付け（shading）技術
・マトリックス及び変換
・ベクトル及び頂点（バーテックス）
・コピー表面
・ページ・フリッピング及びバック・バッファリング
・レクタングル
（Direct3Dアプリケーション・レベル機能）
・バンプ・マッピング
・環境マッピング
・ジオメトリ・ブレンディング
・インデックス付き頂点ブレンディング
・パッチ
・点スプライト
・プロシージャル（procedural、手続き型）・ポイント・シェーダ
・プロシージャル頂点シェーダ
・四元数
・スポットライト
・トゥウィーニング
・頂点ブレンディング
・ボリューム・テクスチャ
【００３９】
マイクロソフト社はDirect3Dを映像用途でグルーレスに（外付け回路なしに）適用する技術を開発した。これにより、リアルタイムに映像を操作することが可能となっている。この操作として、例えばマッピング、ブレンディング、テクスチャ、及びシェーディングが行われる。以下に主なDirectShow技術を挙げる。
・ストリーミング媒体のためのアーキテクチャ
・マルチメディア・ストリームの高品位再生
・（ファイル・ベース）
・ネットワーク・ストリーム
・汎用デコーディング機能
・他のDirectX技術とのグルーレス・インターフェース
・ハードウェア加速サポートの自動検出
・コモン・オブジェクト・モデル（Common Object Model、ＣＯＭ）ベースのインターフェース
【００４０】
リアルタイム映像ソフトウェアは、マイクロソフトDirect3D及びDirectShowの機能を中心に発展してきた。しかしながら、これらソフトウェアが革新的で他のソフトウェアと異なるアーキテクチャを備えたソフトウェアとして、階層的に発展することがマルチメディア業界において望まれている。このようなソフトウェアは、顕著な遅延なくリアルタイムにパノラマ映像を変換し、表示する。
【００４１】
（マイクロソフトVideo Mixing Rendererをカスタマイズする）
Video Mixing Renderer（ＶＭＲ）は、新たなDirectShowフィルタである。ＶＭＲはWindows XP Home Edition及びXP Professionalでのみ利用可能である。このＶＭＲはOverlay MixerVideo及びRendererの代替となるとともに、多くの新規なミキシング機能を提供している。機能の性能や幅の点で、ＶＭＲはWindowsプラットフォームにおける映像描画の新世代を代表している。
【００４２】
ＶＭＲは以下の機能に対応する
・Direct3Dハードウェア・デバイスのアルファ・ブレンディング機能を利用した多重ビデオ・ストリームのミキシング
・使用者が現在利用しているコンポジティング・コンポーネントにプラグインして、ＶＭＲに入力されるビデオ・ストリーム間の効果及び遷移を提供
・ウィンドウを作成せずに描画する。この機能により、アプリケーション・ウィンドウと別に、映像を再生するための映像再生ウィンドウを作成する必要がなくなる。ウィンドウ作成不要のＶＭＲの新しい描画モードは、映像再生を任意のウィンドウ内で行うことを容易にする。このような映像再生時には、レンダラーにレンダラー固有処理のためのウィンドウ・メッセージを送信する必要がない。
・新しいレンダレス再生モード。このモードにおいて、デコードされたビデオ画像がスクリーン上に表示される前に、アプリケーションは、このアプリケーションのアロケータ・コンポーネントにデコードされたビデオ画像へのアクセスを与えることが可能である。
・複数のモニタを装備されたＰＣのための改良されたサポート
・マイクロソフトの新しいDirectX Video Accelerationアーキテクチャのためのサポート
・複数ウィンドウ同時の高品位映像再生のためのサポート
・DirectDraw Exclusive Modeのためのサポート
・既存アプリケーションに対する１００％後ろ向き互換性
・フレーム・ステッピングのためのサポート及び現在表示されている画像を捕捉するための高信頼性手段
・アプリケーションが、アプリケーションが備える静止画像データ（例えば、チャネル・ロゴ、或いはＵＩコンポーネント）を、滑らかでちらつきのない方法でビデオにアルファ・ブレンド可能
【００４３】
ＶＭＲは、コンピュータ・ディスプレイ・カードのグラフィック処理機能に完全に依存している。すなわち、ＶＭＲがホスト・プロセッサを用いて映像をブレンドしたり描画したりすることはない。もしホスト・プロセッサを使用すると、表示されている映像のフレーム・レイト及び画質に大きな影響を与えるからである。ＶＭＲが新たに提供した機能のうち、特に複数のビデオ・ストリーム及び／又はアプリケーション画像のブレンディングは、グラフィック・カードの機能に大きく依存している。次のハードウェア・サポートが組み込まれたグラフィック・カードはＶＭＲとともに使用したときのパフォーマンスが優れている。
・ＹＵＶ及び「non-power of 2」Direct3Dテクスチャ・サーフェスのためのサポート
・ＹＵＶからＲＧＢDirectDrawサーフェスへのStretchBltの機能
・複数のビデオ・ストリームをブレンドする場合は、少なくとも１６ＭＢのビデオ・メモリが必要である。実際に必要なメモリ量は、ビデオ・ストリームのイメージサイズ及びディスプレイ・モードの解像度によって異なる。
・ＲＧＢオーバーレイのためのサポート或いはＹＵＶオーバーレイ・サーフェスにブレンドする機能
・ハードウェア加速されたビデオ・デコーディング（DirectX加速のためのサポート）
・高いピクセル・フィル・レイト
【００４４】
本発明における変換ソフトウェアでは、ＶＭＲレンダレス・モードが特別にカスタマイズされる。カスタマイズは、このソフトウェアの性能及び柔軟性が最大化される。これにより、制御パラメータの操作性が向上する。ＶＭＲレンダレス・モードは、カスタマイズされた描画サーフェスのためにカスタマイズされたアロケータ、及びカスタマイズされた描画モードのためにカスタマイズされたレンダラーを備える。
【００４５】
レンダレス再生モードにおいて、アプリケーションは以下を実行する。
・再生ウィンドウを管理する。
・DirectDrawオブジェクト及び最終フレーム・バッファをアロケートする。
・再生システムの残りの部分に使用中のDirectDrawオブジェクトを通知
・正しい時期にフレーム・バッファを「提供（present）」する
・全ての解像度モード、モニタ変化、及び「表面ロス」を操作する。これらイベントを再生システムの他の部分に通知する。
【００４６】
レンダリング再生モードにおいて、ＶＭＲは以下を実行する。
・ビデオ・フレームの表現に関連する全てのタイミングを操作する。
・画像制御情報をアプリケーション及び再生システムの他の部分に提供する。
・適合インターフェースを再生システムのアップストリーム・コンポーネントに提供する。再生システムは、アプリケーションがフレーム・バッファ・アロケーション及び描画を実行していることを通知されていない。
・任意のビデオ・ストリーム・ミキシングを実行する。このビデオ・ストリーミング・ミキシングは描画に先立って必要である。
【００４７】
基本的に、変換ソフトウェアはＶＭＲの様々な機能を呼び出して、DirectXサーフェスをカスタマイズする。これによって、これら機能を本発明の目的に適合させる。本発明の目的とは、非線形画像変換を、映像を順次ストリーミングしながら、リアルタイムに行うことである。このソフトウェアは、意図的にWindows XPでのみ利用可能なＶＭＲ−７でコード化された。ＶＭＲ−９にコードを移行したDirectX 9その他のオペレーティング・システムとソフトウェア適合性となることが可能である。その他のオペレーティング・システムとしては例えば、Windows 9x、Windows 2K、及びWindows XPが挙げられる。
【００４８】
（リアルタイム・パノラマ展開ソフトウェア）
リアルタイム変換ソフトウェアは、Direct3D直接モード（Immediate Mode）を実行する。このとき球面画像をカルテシアン画像に恣意的な透視法で変換する幾何学的関係式を用いる。直接モードのワールド・マネジメントは頂点、ポリゴン、及びこれらを制御するコマンドに基づく。直接モードのワールド・マネジメントは、変換、ライティング、ラスタ化３次元グラフィックス・パイプラインへの直接のアクセスを可能にする。画像変換はプリミティブに適用される。これにより、他のインターフェース及び直接アクセスハードウェア機能からの介入的オーバーヘッドがなくなる。本発明におけるソフトウェアを、Nvidia GeForc、ATI Radeon、及びインテル低プロファイルＶＧＡチップを用いて試験した。最終コードは、多くのビデオ加速チップ及びプロセッサとの互換性を有する。よって最終コードは主要なハードウェア・プラットフォームと併用可能である。図１８は上記の変換ソフトウェアのためのグラフィック・ユーザ・インターフェース（graphic use Interface、ＧＵＩ）を示す。図１９はＧＵＩ内の魚眼映像を示す。図２０は、球面魚眼画像からリアルタイム（オンザフライ）に最大３０フレーム／秒で変換された対応するパノラマ映像を示す。展開アルゴリズムはフレーム周縁部のひずみを除去するように最適化されてもよい。図２１は再生装置の強化機能を示す。
【００４９】
以下のリストは、再生装置の主要な能力及び機能を示す。
・汎用再生能力（ＭＰＥＧ、ＡＶＩなど）
・ビットマップ捕捉（右クリック）
・円を３度クリックすると較正を行う（円を赤で示す）
・非矩形ピクセル・デジタイザに関してアスペクト率を調整
・３６０度パノラマ表示モードにおける視野中心を変更
・ズーム、パン、及びチルト
ズーム・イン及びズーム・アウトにはＦ１、Ｆ２
パン及びチルトには矢印ボタン
・ステータス・バーは画像サイズ、キャプチャ・デバイス、再生時間、画像及びディスプレイの解像度、性能、視角を示す
・キャプチャ（及びＤＶ）デバイスのプロパティ
【００５０】
性能パラメータは以下のとおりである。
・パノラマ及び３６０度表示の場合は、アンチエイリアス処理及び違方性フィルタを使用して、最大３０フレーム／秒。
・１８０度表示の場合は、アンチエイリアス処理及び違方性フィルタを使用して、最大２０フレーム／秒（プロセッサ及びビデオ・カードによりそれ以上）。
・ビデオ解像度について、フルスクリーンで２０４８×１５３６ピクセル以下。
【００５１】
（放射線計測レイ・トレーシング（Radiometric Ray-Tracing（Ｒ２Ｔ））
Ｒ２Ｔは任意の連続的光学材料に対して、放射線計測量（例えば、図２２に示すごとく、入力平面から出力平面への輝度）の一価マッピングを行う。
この手順を図２３ａ、図２３ｂ、及び図２３ｃに示す。この手順において、環状画像（ａ）から歪みのある展開画像（ｂ）へ、更に補正された展開画像（ｃ）への変換が行われる。フレンチ・ウィンドウの歪みのある（ｂ）パノラマ画像から、歪みのない（ｃ）パノラマ画像への変換は、Ｒ２Ｔにより、先験的レイ・トレーシングに基づいて行われる。このような変換は、曲面システム座標からカルテシアン座標システムへの変換と同等のものである。この操作をリアルタイムに実行するためには、１２０度水平表示領域を多数のピクセル・ブロック（１０×１０若しくはそれ以上）に分割するとともに、各ブロックについて個別に均一な変換を行う。
【００５２】
（ハードウェア加速）
全方位画像システムは、画像変換プロセスにおいて、変換された（若しくは展開された）画像を作り出すが、従来の全方位画像システムにおける画像変換プロセスは、ハードウェア加速のあるプロセス、或いはハードウェア加速のないプロセスのいずれであってもよかった。しかしながら、従来の（民生品ソフトウェアの）変換はピクセルごとに行われるから、球面画像或いは円筒型画像をカルテシアンすなわち平面画像に変換するには、ＣＰＵに多大な負荷が掛かっていた。本発明はこのような問題を、性能を何倍にも（通常、現在市場に出ている任意の既存のソフトウェア対して最大で３０倍）増加させることにより解決する。尚、画像或いは映像の画質が低下することはない。動画アプリケーションは、画像を操作するために多大な処理能力を必要とする。これは、このようなアプリケーションが、透視法、ズーム・レベル、モーフィング、描画などのリアルタイム変換を行わなければならないからである。競合するビデオ・カード製造業者の多くは、ビデオ・カード（或いはグラフィックス・プロセシング・ユニット）のための３次元動画エンジンをゲーム用に開発している。これら動画エンジンは、非常に高性能のグラフィカル・パフォーマンス（graphical performance）を有する。ＧＰＵや３次元動画エンジンのこのようなパフォーマンスを利用すると、リアルタイムのビデオ変換のための全方位画像システムに関するリアルタイム・パフォーマンスが実現可能である。
【００５３】
本発明におけるソフトウェアは、ピクセルごとの処理ではなく、頂点単位で変換を行う。各頂点は、座標、色彩、像面に関する情報を備える。１つの画像に含まれる頂点の数は６５５３６以下に制限されている。これは、頂点を６５５３６以上に増やすと質の低下を招くからである。以下のグラフィックス・プロセシング・ユニット（graphics processing unit）（ＧＰＵ）の内部機能がハードウェア加速に用いられる。すなわち、ライティング、ジオメトリ・ブレンディング、アルファ、ひずみ補正のための違方性フィルタ或いは線形フィルタ、３次元テクスチャ、キューブ・テクスチャ、クランピング、及び頂点並びにピクセル・パイプライニングである。
・ライティング機能は、輝度及び光学較正を詳細に設定する。
・ジオメトリ及び頂点ブレンディング機能は、変換後の画像の写実性を向上する。
・アルファ・ブレンディング機能は、プライマリ・ビデオにキャラクタを与えるとともに、オーバーレイを書き込む。
・違方性フィルタは、変換によるひずみを最小化して画質を向上する。
・３次元テクスチャは、３次元座標変換を容易にする。
・キューブ・テクスチャは、任意の透視法での完全な変換を可能にする。
・クランピングは、区域外画像制御を可能にする。
・頂点並びにピクセル・パイプライニングは、様々な機能において画像処理を向上する。
【００５４】
すなわち、色彩、線、点、及び透視法の変更に関する実際の画像処理は、ハードウェア（具体的にはＧＰＵ）内で行われる。更に、映像表現もまたハードウェア内で行われ、その他の機能（例えば頂点の３次元処理）を干渉することはない。ＣＰＵロードのみが、頂点座標の変化を計算し、この計算は支配方程式に基づいて行われる。支配方程式は例えば、球座標をカルテシアン座標に変換する。
【００５５】
（ソフトウェア・フロー）
図２４に示すごとく、本発明におけるソフトウェアは、以下の４つのモジュールを備ええる。すなわち、（１）映像捕捉、（２）画像変換、（３）画像処理モジュールとしての画像表現、及び（４）ビデオ・サーフェスへの画像の描画である。このソフトウェアは、多数の映像捕捉機能を提供する。このような機能として、ＤＶキャプチャ、マイクロソフトActiveMovieコンプライアンス（１６ビット）を用いた映像捕捉、映像ストリーミングのためのＷＤＭ（windowsドライバ・モデル（３２ビット））ドライバを用いた映像捕捉、及びサード・パーティ捕捉ドライバを用いた映像捕捉を例示できる。尚、サード・パーティ捕捉ドライバは、Windowsオペレーティング・システムに認識されるドライバとする。
【００５６】
映像捕捉モジュールはしばしば、ソフトウェアに多大なオーバーヘッドとリソースを招く。しかしながら適切なパイプライニング及びバッファリングを行うことにより、これら問題を回避可能である。
【００５７】
画像変換モジュールは、マルチスレッド（或いはスーパー・パイプライン）処理を行いながらパイプライン的に、入力されるビットマップを変換する。これにより処理中の遅延が最小化される。このモジュールでは、マイクロソフトDirect3D及びDirectX機能を利用して、映像メモリの画像変換及び画像処理が行われる。この画像処理は、アプリケーション・レベルではなく、プリミティブ・レベルで行われる。これにより、最大限のプログラム性と柔軟性が確保される。加えて、性能の最適化が可能であるが、コード化は非常に冗長になる。これは、このようなコード化にはＣ＋＋、Ｃ及びアセンブリ言語でのプログラミングを要するからである。
【００５８】
表現モジュールは、映像の用意、ビットマップの捕捉、較正（画像変換モジュールにフィードバックされる）、及び映像上部に円を描画或いは性能に関する情報の表示を行う。
【００５９】
最後に描画モジュールについて説明する。描画モジュールはハードウェア（映像エンジン）に大きく依存しているから、多くの場合、マイクロソフトDirectShowに組み込まれた機能により実行される。このモジュールは、最終画像ストリームを映像メモリに送信する。
【００６０】
図２４は、この実施形態におけるリアルタイム全方位画像映像ソフトウェアのための全体的なソフトウェア・アーキテクチャを示す。
【００６１】
（パノラマ距離計）
ミラーベースのパノラマ全方位撮像装置は、垂直軸周囲に不感地帯を有する（図２５）。したがって、２つのこのような撮像装置を、これらが同一の垂直軸を有するように配してもよい。この場合、一方の撮像装置を他方の撮像装置の上方に配して、互いの視界を覆うことがないようにする。このような方法で２つのパノラマ全方位撮像装置を用いると、立体効果が得られ、撮像対象への距離に関する情報を取得することが可能になる。このような情報の取得は、視差角測定に基づいて行われる（図２６）。
【００６２】
（ズームを備えるパノラマ撮像装置）
ミラーベースのパノラマ撮像装置は２段階において画像を作成する。第１段階において全方位の対象空間が、ミラー上方に、仮想の中間画像である環状画像として転移される（図２７の画像Ａ’）。第２段階において、投影レンズが受像面上で仮想の中間画像を実際の画像（図２７の画像Ａ’’）に変換する。領域０’０は、上方視野領域を、ズーム機能を用いて直接画像化するために使用される。追加的なレンズ（図２８に示すネガティブ・ズーム・レンズ）は、平面０’０（図２８）に、上方円錐対象領域の仮想画像を結像する。次に、投影レンズは、受像面上の領域０’’０’’に、中間画像の実際の画像を結像する。
【００６３】
上記で開示された本発明の好適な実施形態は、本発明の特徴を示すために開示されたものであり、本発明に係るパノラマビデオ・システムは様々な方法で実施可能であることは明らかである。これら方法には、ここで説明されていないものもある。したがって、本発明の範囲は、ここで開示された特定の実施形態には限定されず、以下の請求の範囲及びこれに等しいものにのみ限定される。
【図面の簡単な説明】
【００６４】
【図１】本発明において利用可能なパノラマ環状レンズ構造を示す概略図である。
【図２】図２ａ及び図２ｂは、図１のレンズ構造を示す写真による上面図と側面図である。
【図３】図１のレンズ構造を示す写真による図であり、該レンズ構造はＣＣＤカメラと一体化されている。
【図４】ＰＡＬ画像を示す写真による図であり、図４ａはクリップする前の状態を示し、図４ｂはクリップした後の状態を示す。
【図５】図４ａ及び図４ｂのＰＡＬ画像を展開された状態で示す写真による図である。
【図６】図４ａ及び図４ｂのＰＡＬ画像を示す写真による図であり、図６ａ及び図６ｂはそれぞれ異なるカメラ解像度における展開前の状態の画像を示し、図６ｃ及び図６ｄはそれぞれ異なるカメラ解像度における展開後の状態の画像を示す。
【図７】反射屈折多方向超広角カメラの変更形態を示す概略図である。
【図８】２面の放物線鏡を用いたパノラマ・ステレオ撮影を示す概略図である。
【図９】多層放物面鏡及びカメラの構造を示す概略図である。
【図１０】凸面反射鏡を用いたパノラマ撮影を示す概略図である。
【図１１】昼夜両方で操作可能なパノラマ・カメラ・システムを示す概略図である。
【図１２】図１１のシステムに使用される環状平面鏡を示す概略図である。
【図１３】中赤外線光のための第２の光学チャネルを備えるパノラマ撮像装置を示す概略図である。
【図１４】環状魚眼レンズによる環状投影の半球表示を示す概略図である。
【図１５】球座標マッピングを示す幾何学的図である。
【図１６】図１６ａ及び図１６ｂは、それぞれ球面マッピングと角度マッピングの幾何学的表現を示す図である。
【図１７】環状魚眼レンズの画像を示す図であり、図１７ａ及び図１７ｂはそれぞれ、変換前の画像と変換後の画像を示す。
【図１８】本発明の好適な実施形態におけるリアルタイム変換（展開）ソフトウェアのためのグラフィック・ユーザ・インターフェースのコンピュータ・スクリーンでの表示を示す図である。
【図１９】フルフレーム（３０ｆｐｓ）で魚眼ビデオカメラにより捕捉された画像のコンピュータ・スクリーン表示を示す図である。
【図２０】１５００×１０００カルテシアン・コンピュータ・スクリーン画像を示す図であり、この画像は、本発明における「展開」ソフトウェアを用いて図１９の魚眼画像から３０ｆｐｓで変換された画像である。
【図２１】図１９と同様のコンピュータ・スクリーン表示を示す図であり、この表示にはひずみを低減するための様々な較正手段の効果が現れている。
【図２２】ピクセル・ブロックについて入力表面から出力平面への放射線計測レイ・トレーシングを示す図である。
【図２３】図２３ａ、図２３ｂ及び図２３ｃはそれぞれ環状画像からひずみのない矩形画像への変換プロセスを示す図である。
【図２４】本発明におけるリアルタイム展開のためのソフトウェア・フローを示すブロック線図である。
【図２５】距離計として利用されたパノラマ撮像装置を示す概略図である。
【図２６】距離計として利用されたパノラマ撮像装置を示す概略図である。
【図２７】ズーム機能を追加されたパノラマ撮像装置を示す概略図である。
【図２８】ズーム機能を追加されたパノラマ撮像装置を示す概略図である。
【特許請求の範囲】
【請求項１】
リアルタイムのパノラマ・ビデオ映像を矩形フォーマットで提供するための方法であって、
（ａ）３６０度視野の環状画像を捕捉するパノラマ環状レンズ・システムを用意する段階と、
（ｂ）前記３６０度視野の環状画像をビデオカメラ像面に集束する段階と、
（ｃ）前記カメラ画像平面のデータ信号出力をパーソナル・コンピュータに転送する段階と、
（ｄ）前記パーソナル・コンピュータを利用して、前記環状画像をほぼひずみのない矩形画像に展開する段階と、
（ｅ）前記矩形画像を画像ディスプレイに表示する段階を備える方法。
【請求項２】
（ａ）前記パノラマ環状レンズ・システムを用意する段階が、双曲面レンズ及び楕円面鏡を用意する段階を備えることを特徴とする請求項１記載の方法。
【請求項３】
（ｂ）前記ビデオカメラを用意する段階が、ＣＣＤ像面を用意する段階を備えることを特徴とする請求項１記載の方法。
【請求項４】
（ｂ）前記ビデオカメラを用意する段階が、ＣＭＯＳ像面を用意する段階を備えることを特徴とする請求項１記載の方法。
【請求項５】
前記（ｄ）展開する段階が、
放射線計測レイ・トレーシングにより前記環状画像をひずみのある展開画像に変換する段階と、
該ひずみのある展開画像をひずみのない展開画像に変換する段階を備えることを特徴とする請求項１記載の方法。
【請求項６】
（ｄ）前記展開する段階が、前記パーソナル・コンピュータの画像処理ユニットを用いて頂点単位の変換を行う段階を備えることを特徴とする請求項１記載の方法。
【請求項７】
前記（ｄ）展開する段階が、
前記データ信号出力を捕捉する段階と、
前記データ信号出力からの前記ビデオ画像を変換する段階と、
変換されたビデオ画像を操作する段階と、
前記画像をカルテシアン・フォーマットで描画する段階を備えることを特徴とする請求項１記載の方法。
【請求項８】
前記（ｄ）展開する段階が、
前記パーソナル・コンピュータの少なくとも１つのグラフィックス・カードを用いて、前記環状画像を展開する段階を備えることを特徴とする請求項１記載の方法。
【請求項９】
リアルタイム・パノラマ・ビデオ画像を矩形フォーマットで提供するための装置であって、
３６０度視野の環状画像を捕捉するためのパノラマ環状レンズ・システムと、
前記環状画像を受像するための像面を備えるとともに、対応するデータ信号出力を作り出す段階と、
前記データ信号出力を受信するコンピュータと、
前記コンピュータに備えられるとともに、前記データ信号出力をほぼひずみのない矩形画像に、少なくとも３０ｆｐｓで展開するグラフィックス・カード及び少なくとも１つのソフトウェア・モジュールと、
前記矩形画像を表示するための画像ディスプレイを備えることを特徴とする装置。
【請求項１０】
前記パノラマ環状レンズ・システムが双曲面レンズ及び楕円面鏡を備えることを特徴とする請求項９記載の装置。
【請求項１１】
前記ビデオカメラがＣＣＤ像面を備えることを特徴とする請求項９記載の装置。
【請求項１２】
前記ビデオカメラがＣＭＯＳ像面を備えることを特徴とする請求項９記載の装置。
【請求項１３】
前記ソフトウェア・モジュールが放射線計測レイ・トレーシングのためのプログラムを備え、
該プログラムが、前記環状画像をひずみのある展開画像に変換し、その後前記ひずみのある画像をひずみのない展開画像に変換することを特徴とする請求項９記載の装置。
【請求項１４】
前記ソフトウェア・モジュールが頂点単位の変換のためのプログラムを備え、該プログラムにより前記環状画像を展開することを特徴とする請求項９記載の装置。
【請求項１５】
前記データ信号出力を捕捉するための手段と、
前記データ信号出力からの前記ビデオ画像を変換するための手段と、
前記変換されたビデオ画像を操作する手段と、
前記画像をカルテシアン・フォーマットで画像化する手段を更に備えることを特徴とする請求項９記載の装置。
【請求項１６】
３６０度視野を表示するとともに対応する画像を像面に集束するための少なくとも１つの光学要素を備えるパノラマ光学システムと、
前記像面に、前記画像を対応するビデオ信号に変換するための検出部を備えるビデオカメラと、
前記ビデオ信号を受信するとともに、前記画像をほぼひずみのない矩形画像として少なくとも３０ｆｐｓで表示する少なくとも１つのプログラムを備えるコンピュータと、
前記矩形画像を表示するためのモニタを備えることを特徴とするリアルタイムのひずみのない画像を作り出すパノラマ・ビデオ・システム。
【請求項１７】
前記光学システムの光学要素が環状要素を備え、
前記対応する画像が３６０度視野の画像であることを特徴とする請求項１６記載のパノラマ・ビデオ・システム。
【請求項１８】
前記ビデオカメラがＣＣＤ検出部を備えることを特徴とする請求項１６記載のパノラマ・ビデオ・システム。
【請求項１９】
前記ビデオカメラがＣＭＯＳ検出部を備えることを特徴とする請求項１６記載のパノラマ・ビデオ・システム。
【請求項２０】
前記ビデオカメラが、少なくとも１２８０×１０２４ピクセルの解像度を有する検出部を備えることを特徴とする請求項１６記載のパノラマ・ビデオ・システム。
【請求項２１】
前記ビデオカメラが、少なくとも７２０×４８０ピクセルの解像度を有する検出部を備えることを特徴とする請求項１６記載のパノラマ・ビデオ・システム。
【請求項２２】
前記コンピュータが少なくとも１つのグラフィック・カードを備え、
該グラフィック・カードが前記矩形画像を作り出すことを特徴とする請求項１６記載のパノラマ・ビデオ・システム。
【請求項１】
リアルタイムのパノラマ・ビデオ映像を矩形フォーマットで提供するための方法であって、
（ａ）３６０度視野の環状画像を捕捉するパノラマ環状レンズ・システムを用意する段階と、
（ｂ）前記３６０度視野の環状画像をビデオカメラ像面に集束する段階と、
（ｃ）前記カメラ画像平面のデータ信号出力をパーソナル・コンピュータに転送する段階と、
（ｄ）前記パーソナル・コンピュータを利用して、前記環状画像をほぼひずみのない矩形画像に展開する段階と、
（ｅ）前記矩形画像を画像ディスプレイに表示する段階を備える方法。
【請求項２】
（ａ）前記パノラマ環状レンズ・システムを用意する段階が、双曲面レンズ及び楕円面鏡を用意する段階を備えることを特徴とする請求項１記載の方法。
【請求項３】
（ｂ）前記ビデオカメラを用意する段階が、ＣＣＤ像面を用意する段階を備えることを特徴とする請求項１記載の方法。
【請求項４】
（ｂ）前記ビデオカメラを用意する段階が、ＣＭＯＳ像面を用意する段階を備えることを特徴とする請求項１記載の方法。
【請求項５】
前記（ｄ）展開する段階が、
放射線計測レイ・トレーシングにより前記環状画像をひずみのある展開画像に変換する段階と、
該ひずみのある展開画像をひずみのない展開画像に変換する段階を備えることを特徴とする請求項１記載の方法。
【請求項６】
（ｄ）前記展開する段階が、前記パーソナル・コンピュータの画像処理ユニットを用いて頂点単位の変換を行う段階を備えることを特徴とする請求項１記載の方法。
【請求項７】
前記（ｄ）展開する段階が、
前記データ信号出力を捕捉する段階と、
前記データ信号出力からの前記ビデオ画像を変換する段階と、
変換されたビデオ画像を操作する段階と、
前記画像をカルテシアン・フォーマットで描画する段階を備えることを特徴とする請求項１記載の方法。
【請求項８】
前記（ｄ）展開する段階が、
前記パーソナル・コンピュータの少なくとも１つのグラフィックス・カードを用いて、前記環状画像を展開する段階を備えることを特徴とする請求項１記載の方法。
【請求項９】
リアルタイム・パノラマ・ビデオ画像を矩形フォーマットで提供するための装置であって、
３６０度視野の環状画像を捕捉するためのパノラマ環状レンズ・システムと、
前記環状画像を受像するための像面を備えるとともに、対応するデータ信号出力を作り出す段階と、
前記データ信号出力を受信するコンピュータと、
前記コンピュータに備えられるとともに、前記データ信号出力をほぼひずみのない矩形画像に、少なくとも３０ｆｐｓで展開するグラフィックス・カード及び少なくとも１つのソフトウェア・モジュールと、
前記矩形画像を表示するための画像ディスプレイを備えることを特徴とする装置。
【請求項１０】
前記パノラマ環状レンズ・システムが双曲面レンズ及び楕円面鏡を備えることを特徴とする請求項９記載の装置。
【請求項１１】
前記ビデオカメラがＣＣＤ像面を備えることを特徴とする請求項９記載の装置。
【請求項１２】
前記ビデオカメラがＣＭＯＳ像面を備えることを特徴とする請求項９記載の装置。
【請求項１３】
前記ソフトウェア・モジュールが放射線計測レイ・トレーシングのためのプログラムを備え、
該プログラムが、前記環状画像をひずみのある展開画像に変換し、その後前記ひずみのある画像をひずみのない展開画像に変換することを特徴とする請求項９記載の装置。
【請求項１４】
前記ソフトウェア・モジュールが頂点単位の変換のためのプログラムを備え、該プログラムにより前記環状画像を展開することを特徴とする請求項９記載の装置。
【請求項１５】
前記データ信号出力を捕捉するための手段と、
前記データ信号出力からの前記ビデオ画像を変換するための手段と、
前記変換されたビデオ画像を操作する手段と、
前記画像をカルテシアン・フォーマットで画像化する手段を更に備えることを特徴とする請求項９記載の装置。
【請求項１６】
３６０度視野を表示するとともに対応する画像を像面に集束するための少なくとも１つの光学要素を備えるパノラマ光学システムと、
前記像面に、前記画像を対応するビデオ信号に変換するための検出部を備えるビデオカメラと、
前記ビデオ信号を受信するとともに、前記画像をほぼひずみのない矩形画像として少なくとも３０ｆｐｓで表示する少なくとも１つのプログラムを備えるコンピュータと、
前記矩形画像を表示するためのモニタを備えることを特徴とするリアルタイムのひずみのない画像を作り出すパノラマ・ビデオ・システム。
【請求項１７】
前記光学システムの光学要素が環状要素を備え、
前記対応する画像が３６０度視野の画像であることを特徴とする請求項１６記載のパノラマ・ビデオ・システム。
【請求項１８】
前記ビデオカメラがＣＣＤ検出部を備えることを特徴とする請求項１６記載のパノラマ・ビデオ・システム。
【請求項１９】
前記ビデオカメラがＣＭＯＳ検出部を備えることを特徴とする請求項１６記載のパノラマ・ビデオ・システム。
【請求項２０】
前記ビデオカメラが、少なくとも１２８０×１０２４ピクセルの解像度を有する検出部を備えることを特徴とする請求項１６記載のパノラマ・ビデオ・システム。
【請求項２１】
前記ビデオカメラが、少なくとも７２０×４８０ピクセルの解像度を有する検出部を備えることを特徴とする請求項１６記載のパノラマ・ビデオ・システム。
【請求項２２】
前記コンピュータが少なくとも１つのグラフィック・カードを備え、
該グラフィック・カードが前記矩形画像を作り出すことを特徴とする請求項１６記載のパノラマ・ビデオ・システム。
【図１】
【図３】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図３】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【公表番号】特表２００７−５３１３３３（Ｐ２００７−５３１３３３Ａ）
【公表日】平成１９年１１月１日（２００７．１１．１）
【国際特許分類】
【出願番号】特願２００６−５１７８５３（Ｐ２００６−５１７８５３）
【出願日】平成１６年７月２日（２００４．７．２）
【国際出願番号】ＰＣＴ／ＵＳ２００４／０２１５８５
【国際公開番号】ＷＯ２００５／０１３００１
【国際公開日】平成１７年２月１０日（２００５．２．１０）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ウィンドウズ
２．ＷＩＮＤＯＷＳ
【出願人】（５００３５７７０３）フィジィカル オプティクス コーポレーション (2)
【Ｆターム（参考）】
【公表日】平成１９年１１月１日（２００７．１１．１）
【国際特許分類】
【出願日】平成１６年７月２日（２００４．７．２）
【国際出願番号】ＰＣＴ／ＵＳ２００４／０２１５８５
【国際公開番号】ＷＯ２００５／０１３００１
【国際公開日】平成１７年２月１０日（２００５．２．１０）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ウィンドウズ
２．ＷＩＮＤＯＷＳ
【出願人】（５００３５７７０３）フィジィカル オプティクス コーポレーション (2)
【Ｆターム（参考）】
[ Back to top ]