プロジェクターシステムを較正する方法、プログラム、コンピューターシステムおよびプロジェクターシステム
【課題】任意の組み込み関数を有するプロジェクターおよびポーズを自動的に再較正し、
さらに任意の望まれる視点に対し表示することのできる方法を提供すること。
【解決手段】観察カメラとプロジェクターを用いて立体のペアを形成し、構造化された光
を用いて表示面のピクセルレベルでの微細な再構成を行なう。幾何学形状的な歪みは直接
的なテクスチャーのマッピング問題として実施される。その結果、プロジェクターの動き
の再較正は単に新しい投影行列を演算してカメラ行列として設定することにより実施され
る。新視点を再較正するために、テクスチャーのマッピングは新しいカメラ行列に従い修
正される。
さらに任意の望まれる視点に対し表示することのできる方法を提供すること。
【解決手段】観察カメラとプロジェクターを用いて立体のペアを形成し、構造化された光
を用いて表示面のピクセルレベルでの微細な再構成を行なう。幾何学形状的な歪みは直接
的なテクスチャーのマッピング問題として実施される。その結果、プロジェクターの動き
の再較正は単に新しい投影行列を演算してカメラ行列として設定することにより実施され
る。新視点を再較正するために、テクスチャーのマッピングは新しいカメラ行列に従い修
正される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は一般的にプロジェクター‐カメラシステムに係わり、より具体的には適応型プ
ロジェクター表示システムに関する。
【背景技術】
【０００２】
コンピューターシステム、ゲームシステム、テレビ会議システム、プロジェクターシス
テム、およびホームシアターシステムなどのマルチメディアシステムの普及が増えるにつ
れプロジェクター表示システムが広範囲な条件の中で稼動するようになった。適応型プロ
ジェクター表示システムはさまざまな条件の下での投影に対応するために開発された。例
えば、適応型プロジェクターシステムの研究は色の歪み、表示面の歪み、および他の較正
上の問題を補正する方法を求めようとしている。この分野における研究はプロジェクター
システムの頑強さを向上させる結果をもたらしている（例えば特許文献１参照。）。
【０００３】
これらのシステムが投影技術および較正手法を良く知らない平均的な消費者によります
ます使用されるにつれ、ユーザー入力を全くまたはほとんど必要としない較正および補正
方法を開発することが有益である。適応型プロジェクター表示に関し相当な量の文献が存
在する。従ってこれまでの試みをすべて要約することは不可能である。それよりは、以下
にほとんどまたは全くユーザーインタラクションが関わらない較正方法をいくつか提示す
る。
【０００４】
Raij とPollefeysは平面上の表示領域を定義する自動的な方法を提案し、領域の物理的
な基底値および測定の必要を取り除いた。平面自動較正は単一平面上に投影するプロジェ
クターのアレイの組み込み関数を決定するのに用いることができる。カメラ、プロジェク
ター、および表示面は次に平面場面用の相対ポーズ推定手法を用いて再構成される。Raij
とPollefeys は“Auto―Calibration of Multi―Projector Display Walls”（「マルチ
プロジェクター表示壁の自動較正」）、Proc． Int’l． Conf． on Pattern Recognitio
n （ICPR），第1巻、14―17頁、2004年、において彼らの手法を説明しており、これは引
用により全体として本明細書に組み入れられる。
【０００５】
Raskar他はプロジェクターを柔軟な形で使用する方法を調べた。彼らの基本的な表示装
置はセンサー、演算、およびネットワーキング機能を有するプロジェクターである。これ
は投影される表面またはオブジェクトに適応するシームレスな表示を作り上げることがで
きる。曲面など複雑な幾何学的形状を有する表示面を扱うことができる。彼らの手法はR
．Raskar、M．S．Brown、R．Yang、W．C．Chen、G．Welch、H．Towles、B．Seales、およ
びH．Fuchs著の“Multi―projector displays using camera―based registration”（「
カメラに基づく位置決めを用いたマルチプロジェクター表示」）、VIS’99： Proceeding
s of the conference on Visualization’99、161―168頁、Los Alamitos、CA、USA、199
9年（IEEE Computer Society Press）、において説明され、これは引用により全体として
本明細書に組み入れられる。
【０００６】
YangとWelchは投影される影像における特徴を用いて予め較正されたプロジェクターと
カメラ間のマッチングをして表示面の幾何学的形状を自動的に判定することを開示してい
る。しかしこの方法の1つの問題は推定アルゴリズムが反復的に作用し、リアルタイムに
おける継続的補正に適していないことである。YangとWelchはR．YangおよびG．Welch著の
“Automatic projector display surface estimation using every‐day imagery”（「
日常的影像を用いた自動的なプロジェクター表示面推定」）、Proc．Ninth Internationa
l Conference in Central Europe on Computer Graphics，Visualization，and Computer
Vision、2001年、において彼らの手法を考察しており、これは引用により全体として本
明細書に組み入れられる。
【０００７】
画像間にわたり特徴を照合する代わりに、ユーザーの影像に較正援助手段が埋め込まれ
ている能動的な手法がある。例えば、D．Cotting他は感知できない較正パターンを投影画
像に埋め込むことを考察している。方法はデジタル光処理（DLP）プロジェクターにおけ
るマイクロミラーのフリップシーケンスを利用してピクセル毎の強度をわずかに修正し、
同期化されたカメラに望まれるパターンを取り込ませる。これらの方法はD．Cotting、M
．Naef、M．Gross、およびH．Fuchs著の“Embedding Imperceptible Patterns Into Proj
ected Images For Simultaneous Acquisition And Display”（「同時取得および表示向
けに投影画像への感知できないパターンの埋め込み」）、ISMAR’04：Proceedings of th
e 3rd IEEE／ACM International Symposium on Mixed and Augmented Reality、100―109
ページ、Washington，DC，USA、2004年（IEEE Computer Society）；およびD．Cotting、
R．Ziegler、M．Gross、およびH．Fuchs著の“Adaptive Instant Displays：Continuousl
y Calibrated Projections Using Per‐Pixel Light Control”（「適応型瞬間表示：ピ
クセル毎の光制御を用いる継続的較正投影」）、Proceedings of Eurographics 2005，Eu
rographics Association、705―714頁、2005年（Dublin，Ireland、2005年8月29‐9月2日
）に見出すことができ、各々引用により全体として本明細書に組み入れられる。しかしこ
のような方法の1つの重要な短所はプロジェクターのダイナミックレンジの一部を犠牲に
することが必要で、それにより投影される影像の劣化をもたらすという点である。
【０００８】
一方法は投影された影像を修正することなく任意の表示面上でプロジェクターを較正す
る能力を実証している。この方法はT．Johnson とH．Fuchsにより“Real‐Time Projecto
r Tracking on Complex Geometry using Ordinary Imagery”（「通常の影像を用いて複
雑な幾何学的形状におけるリアルタイムのプロジェクター追跡」）、Proc．of IEEE Inte
rnational Workshop on Projector‐Camera Systems（ProCams）（2007年）、において開
示され、これは引用により全体として本明細書に組み入られる。この方法は較正された立
体カメラのペアを用いてプロジェクターにより提供される構造化された光パターンを観察
することによりまず表面を再構成する。この方法はさらに表面が区分的に平面状であると
仮定し、表示面のより精密な幾何学形状的描写を当てはめるためにRANSACを用いている。
この方法はフレームバッファーに記憶されるユーザー画像と静止カメラにより取り込まれ
た投影画像との間で特徴を照合することにより、プロジェクターのポーズを再推定する。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】米国特許第６６１８０７６号明細書
【発明の概要】
【発明が解決しようとする課題】
【００１０】
これらの手法のほとんどは固定された視点を仮定しており、定まった内部投影行列を有
するプロジェクターの再構成および追跡に立体カメラのペアを典型的には用いる。これら
の方法は以前の表示の選択肢に比べいくつかの利点を提供するものの、システム較正はし
ばしば冗漫な仕事となる。その上、新しい視点の位置に対し表示するために再較正が必要
となる。
【課題を解決するための手段】
【００１１】
本発明のプロジェクターシステムを較正する方法は、各々表示面に向けられるカメラお
よびプロジェクターを有してなるプロジェクターシステムを較正する方法あって、
プロジェクターピクセルのセットを表示面点のセット経由でカメラピクセルのセットに
マップする対応を得るステップと、
前記プロジェクターが異なるポーズにあることに応答して、
前記プロジェクターを用いて特徴点のセットを前記表示面に投影するステップであって
、前記特徴点のセットは既知のプロジェクターピクセル位置を有するステップと、
前記カメラを用いて前記特徴点のセットの少なくとも一部を取り込むステップと、
前記特徴点のセットから検出特徴点のセットを検出するステップと、
前記検出特徴点のセットの少なくともいくらかを用いて前記プロジェクターピクセルを
前記カメラピクセルに相関させるステップと、
前記対応を用い、前記相関されたプロジェクターピクセルを前記表示面点のセットから
の表示面点にマップするステップと、
前記マップされた対応を用いて前記異なるポーズにおける前記プロジェクターに対する
新投影行列を得るステップとを有することを特徴とする。
【００１２】
また、本発明のプロジェクターシステムを較正する方法において、前記プロジェクター
ピクセルのセットを表示面点のセット経由でカメラピクセルのセットにマップする対応を
得るステップは、
前記プロジェクターに対するプロジェクター投影行列および前記カメラに対するカメラ
投影行列を得るステップと、
逆光輸送行列の少なくとも近似を用いて前記プロジェクターピクセルと前記カメラピク
セルとの相関を得るステップと、
前記プロジェクターピクセルと前記カメラピクセルとの相関、前記プロジェクター投影
行列、および前記カメラ投影行列を用いて前記表示面点のセットと対応を得るステップを
有することを特徴とする。
【００１３】
また、本発明のプロジェクターシステムを較正する方法において、前記プロジェクター
ピクセルと前記カメラピクセルとの相関、前記プロジェクター投影行列、および前記カメ
ラ投影行列を用いて前記表示面点のセットと対応を得るステップは、
プロジェクター画像面およびカメラ画像面から、逆投影して前記表示面点のセットにお
ける少なくともいくつかの表示面点に対する位置を三角形分割するステップを有すること
を特徴とする。
【００１４】
また、本発明のプロジェクターシステムを較正する方法において、前記表示面点のセッ
トを精緻化するステップをさらに有することを特徴とする。
【００１５】
また、本発明のプロジェクターシステムを較正する方法において、前記表示面点のセッ
トを精緻化するステップは、
前記表示面点のセットから外れ値点のセットを特定するステップと、
前記表示面点のセットから前記外れ値点のセットを除外するステップと、
前記除外された外れ値点のセットに差し替える差し替え点のセットを生成するステップ
とを有することを特徴とする。
【００１６】
また、本発明のプロジェクターシステムを較正する方法において、前記除外された外れ
値点のセットに差し替える差し替え点のセットを生成するステップは、
前記外れ値点のセットから除外された各点について、有効な表示面点のセットを用いて
除外された点に対し値を補間するステップを有することを特徴とする。
【００１７】
また、本発明のプロジェクターシステムを較正する方法において、前記有効な表示面点
のセットを用いて除外された点に対し値を補間するステップは、
前記外れ値点のセットの少なくともいくらかから非除外表示面点のセットへ距離マップ
を演算するステップと、
前記外れ値点のセットから除外された1つの点に対して、
前記距離マップの極大を用いて局所窓を定義するステップと、前記局所窓内にある非除
外表示面点の少なくともいくつかを用いてドロネー三角形分割を演算し前記除外された点
に対し値を補間するステップとを有することを特徴とする。
【００１８】
また、本発明のプロジェクターシステムを較正する方法において、前記新投影行列を用
いて前記プロジェクターにより投影される画像を変更するステップをさらに有することを
特徴とする。
【００１９】
ここで、本発明のプロジェクターシステムを較正する方法は、各々表示面に向けられる
カメラおよびプロジェクターを有してなるプロジェクターシステムを較正する方法であっ
て、
プロジェクターピクセルのセットを表示面点のセット経由でカメラピクセルのセットに
マップする対応を得るステップと、
前記カメラの位置とは異なる位置に視点位置を有することに応答して、
前記視点位置に対し新カメラ投影行列を得るステップと、
前記対応を用いて新しい光投影行列を演算し、前記プロジェクターにより投影される画
像を変更するステップとを有することを特徴とする。
【００２０】
また、本発明のプロジェクターシステムを較正する方法において、前記対応を用いて新
しい光投影行列を演算し、前記プロジェクターにより投影される画像を変更するステップ
は、
新投影行列をテクスチャーマッパーの入力として設定するステップと、
前記新投影行列を用いて新視点位置の画像面に頂点を投影することにより、表示面点の
セットから表示点のセットにおけるすべての頂点に対しテクスチャー座標を演算するステ
ップとを有することを特徴とする。
【００２１】
また、本発明のプロジェクターシステムを較正する方法において、前記対応を用いて新
しい光投影行列を演算し、前記プロジェクターにより投影される画像を変更するステップ
は、
前記カメラと前記表示面との対応を用いて表示点のセットにおける各点に色値を割り当
てるステップと、
前記プロジェクター投影行列を用いて前記表示点のセットを前記プロジェクターの画像
面に投影するステップと、
前記投影された表示点のセットに基づき色値を割り当てるステップとを有することを特
徴とする。
【００２２】
また、本発明のプロジェクターシステムを較正する方法において、前記視点位置に対し
新カメラ投影行列を得るステップは、
前記カメラ位置に対する前記視点位置の移動および回転を得るステップと、
前記カメラ位置に対する前記視点位置の前記移動および前記回転を用い、前記カメラの
内部パラメーターを用いて新投影行列を演算するステップとを有することを特徴とする。
【００２３】
また、本発明のプロジェクターシステムを較正する方法において、ユーザーから前記視
点位置の情報を受信するステップと、
前記視点位置の情報に基づき前記カメラ位置に対する前記視点位置の移動および回転を
演算するステップとをさらに有することを特徴とする。
【００２４】
また、本発明のプロジェクターシステムを較正する方法において、前記ユーザーから前
記視点位置の情報を受信するステップは、
前記表示面の描写および前記カメラの位置を有する表示環境を表示するステップと、
前記表示環境における視点位置を示す前記視点位置情報をユーザーから受信するステッ
プとを有することを特徴とする。
【００２５】
また、本発明のプロジェクターシステムを較正する方法において、前記視点位置に対し
新カメラ投影行列を得るステップは、
前記プロジェクターを用いて特徴点のセットを投影するステップであって、前記特徴点
のセットは既知のプロジェクターピクセル位置を有するステップと、
前記カメラを用いて前記特徴点のセットの少なくとも一部を取り込むステップと、
前記特徴点のセットから検出特徴点のセットを検出するステップと、
前記検出特徴点のセットの少なくともいくらかを用いて前記プロジェクターピクセルを
前記カメラピクセルに相関させるステップと、
前記対応を用い、前記相関されたプロジェクターピクセルを前記表示面点のセットから
の表示面点にマップするステップと、
前記マップされた対応を用いて異なるポーズにおける前記プロジェクターに対する前記
新投影行列を得るステップとを有することを特徴とする
【００２６】
また、本発明のプロジェクターシステムを較正する方法において、前記プロジェクター
ピクセルのセットを表示面点のセット経由でカメラピクセルのセットにマップする対応を
得るステップは、
前記プロジェクターに対するプロジェクター投影行列および前記カメラに対するカメラ
投影行列を得るステップと、
逆光輸送行列の少なくとも近似を用いて前記プロジェクターピクセルと前記カメラピク
セルとの相関を得るステップと、
前記プロジェクターピクセルと前記カメラピクセルとの相関、前記プロジェクター投影
行列、および前記カメラ投影行列を用い前記表示面点のセットと対応を得るステップとを
有することを特徴とする。
【００２７】
また、本発明のプロジェクターシステムを較正する方法において、前記プロジェクター
ピクセルと前記カメラピクセルとの相関、前記プロジェクター投影行列、および前記カメ
ラ投影行列を用い表示面点のセットと対応を得るステップは、
プロジェクター画像面およびカメラ画像面から逆投影して前記表示面点のセットにおけ
る少なくともいくつかの表示面点に対する位置を三角形分割するステップを有することを
特徴とする。
【００２８】
本発明のプログラムは、1つ以上のプロセッサーで実行すると前記1つ以上のプロセッサ
ーは各々表示面に向けられるカメラおよびプロジェクターを有してなるプロジェクターシ
ステムを較正する方法を実行するプログラムであって、
プロジェクターピクセルのセットを表示面点のセット経由でカメラピクセルのセットに
マップする対応を得るステップと、
前記プロジェクターが異なるポーズにあることに応答して、
前記プロジェクターを用いて特徴点のセットを前記表示面に投影するステップであって
、前記特徴点のセットは既知のプロジェクターピクセル位置を有するステップと、
前記カメラを用いて前記特徴点のセットの少なくとも一部を取り込むステップと、
前記特徴点のセットから検出特徴点のセットを検出するステップと、
前記検出特徴点のセットの少なくともいくらかを用いて前記プロジェクターピクセルを
前記カメラピクセルに相関させるステップと、
前記対応を用い、前記相関されたプロジェクターピクセルを前記表示面点のセットから
の表示面点にマップするステップと、
前記マップされた対応を用いて前記異なるポーズにおける前記プロジェクターに対する
新投影行列を得るステップと、
を有することを特徴とする。
【００２９】
本発明のプログラムは、1つ以上のプロセッサーで実行すると前記1つ以上のプロセッサ
ーは各々表示面に向けられるカメラおよびプロジェクターを有してなるプロジェクターシ
ステムを較正する方法を実行するプログラムであって、
プロジェクターピクセルのセットを表示面点のセット経由でカメラピクセルのセットに
マップする対応を得るステップと、
前記カメラの位置とは異なる位置に視点位置を有することに応答して、前記視点位置に
対し新カメラ投影行列を得るステップと、
前記対応を用いて新しい光投影行列を演算し、前記プロジェクターにより投影される画
像を変更するステップと、
を有することを特徴とする。
【００３０】
一方、本発明のコンピューターシステムは、プロジェクターおよびカメラを有するプロ
ジェクターシステムを再較正するコンピューターシステムであって、
1つ以上のプロセッサーと、
前記1つ以上のプロセッサーと通信し、前記1つ以上のプロセッサーにより実行可能な命
令のセットを記憶する1つ以上のコンピューター読み取り可能な媒体とを有し、
前記命令のセットは、
プロジェクターピクセルのセットを表示面点のセット経由でカメラピクセルのセットに
マップする対応を得るステップと、
前記プロジェクターまたはプロジェクターにより投影される画像が鑑賞者により見られ
る視点位置のいずれかのポーズの変更に応答して、前記対応を用いて新投影行列を計算す
るステップとを有することを特徴とする。
【００３１】
また、本発明のコンピューターシステムにおいて、前記ポーズの変更はプロジェクター
であり、前記対応を用いて前記プロジェクターに対する新投影行列を計算するステップは
、
前記プロジェクターを用いて特徴点のセットを投影するステップであって、前記特徴点
のセットは既知のプロジェクターピクセル位置を有するステップと、
前記カメラを用いて前記特徴点のセットの少なくとも一部を取り込むステップと、
前記特徴点のセットから検出特徴点のセットを検出するステップと、
前記検出特徴点のセットの少なくともいくらかを用いて前記プロジェクターピクセルを
前記カメラピクセルに相関させるステップと、
前記対応を用い、前記相関されたプロジェクターピクセルを前記表示面点のセットから
の表示面点にマップするステップと、
前記マップされた対応を用いて異なるポーズにおける前記プロジェクターに対する新投
影行列を得るステップとを有することを特徴とする。
【００３２】
また、本発明のコンピューターシステムにおいて、前記ポーズの変更は、前記プロジェ
クターにより投影される画像が鑑賞者により見られる視点位置であり、前記対応を用いて
前記プロジェクターに対する新投影行列を計算するステップは、
前記カメラ位置に対する前記視点位置の移動および回転を得るステップと、
前記カメラ位置に対する前記視点位置の前記移動および前記回転を用い、前記カメラの
内部パラメーターを用いて新投影行列を演算するステップと、
新しいカメラ投影行列を用いて前記プロジェクターにより投影される画像を変更する新
光投影行列を得るステップとを有することを特徴とする。
【００３３】
本発明のプロジェクターシステムは、プロジェクターと、前記プロジェクターに接続さ
れた、前記コンピューターシステムと、を有することを特徴とする。
【図面の簡単な説明】
【００３４】
【図１】本発明の各種実施形態によるプロジェクター―カメラシステムの自動再較正の方法を呈示する図である。
【図２】本発明の各種実施形態によるプロジェクター―カメラシステムを示す図である。
【図３】本発明の各種実施形態によるカメラおよびプロジェクターを較正する方法を描く図である。
【図４】本発明の各種実施形態による表示面を再構成する方法を描く図である。
【図５】本発明の各種実施形態によりプロジェクター―カメラの立体ペアを用いて表示面を再構成する態様を示す図である。
【図６】本発明の各種実施形態により表示面の再構成を向上させる方法を描く図である。
【図７】本発明の各種実施形態により再構成された表示面における空孔を埋める方法を描く図である。
【図８】本発明の各種実施形態によりプロジェクターの動きが原因でプロジェクター―カメラシステムを再較正する方法を示す図である。
【図９】本発明の各種実施形態によりカメラの動きが原因でプロジェクター―カメラシステムを再較正する方法を示す図である。
【図１０】本発明の各種実施形態による視点の位置および投影の変更を描く図である。
【図１１】本発明の各種実施形態による較正／再較正システムの実施形態を描く図である。
【図１２】本発明の各種実施形態による演算システムを描く図である。
【発明を実施するための形態】
【００３５】
前述の制限を緩和するために、実施形態において任意の表示面で単一のカメラと単一の
プロジェクターを用いるシステムおよび方法が呈示される。実施形態において、システム
および方法は任意の組み込み関数を有するプロジェクターおよびポーズを自動的に再較正
し、さらに任意の望まれる視点に対し表示することができる。今までの方法と対照的に、
本明細書で開示される方法は観察カメラとプロジェクターを用いて立体のペアを形成する
。実施形態において、構造化された光を用いて表示面のピクセルレベルでの微細な再構成
を行なう。
【００３６】
実施形態において、幾何学形状的な歪みは直接的なテクスチャーのマッピング問題とし
て実施される。従って実施形態において、プロジェクターの動きの再較正は新しい投影行
列を演算してOpen Graphics Library（OpenGL）のカメラ行列として設定することにより
実施される。実施形態において、新視点を再較正するために、テクスチャーのマッピング
は新しいカメラ行列に従い修正される。実施形態において、方法はOpenGLおよびOpenGL S
hading Language（GLSL）を用いて実施され、これによりリアルタイムでビデオを表示す
るシステムや方法が可能となる。OpenGLおよびGLSL以外の異なるアプリケーションおよび
アプリケーションプログラムインターフェイスを使用することもできることが特筆される
。
【００３７】
本明細書において呈示される方法は1つ以上の命令のシーケンスを記憶する少なくとも1
つのコンピューター読み取り可能な記憶媒体を有してなるコンピュータープログラム製品
に含まれることができ、1つ以上のプロセッサーにより1つ以上の命令のシーケンスを実行
するとプロジェクターシステムを較正するコンピューター実施の方法が1つ以上のプロセ
ッサーにより実行される。本発明の実施形態はプロジェクターとカメラを有してなるプロ
ジェクターシステムを較正する1つまたは複数のコンピューターシステムを含む。
【００３８】
以下に発明の実施形態が参照され、その例は添付図面に図示されることができる。これ
らの図面は限定的ではなく例示的である。発明は全般的にこれらの実施形態との関連で説
明されるが、これは発明の範囲をこれら特定実施形態に限定する意図ではないことが理解
されよう。
【００３９】
以下の記述では説明の目的から、発明の理解を提供すべく具体的な詳細が述べられる。
しかし当業者であれば発明はこれらの詳細なしでも実施できることが明らかであろう。当
業者であれば以下にいくつか説明される本発明の実施形態はいくつかの異なるシステムお
よび装置に組み入れられ得、例示としてマルチメディアシステム、劇場システム、テレビ
会議システム、投影システム、ゲームシステム、コンピューターシステム、等々、が含ま
れるがこれらに限定されない。本発明の態様はソフトウェア、ハードウェア、ファームウ
ェア、またはその組み合わせにおいて実施することができる。
【００４０】
ブロック図に示される構成要素、またはモジュール、は発明の典型的な実施形態を図示
するもので、発明を分かりにくくすることを避けることが意図される。また、本考察を通
して構成要素はサブユニットを有してなり得る別個の機能ユニットとして説明され得るが
、当業者であれば各種構成要素、またはその部分は別個の構成要素に分割でき、または単
一システムまたは構成要素への統合を含みまとめて統合し得ることを理解しよう。
【００４１】
さらに、図面内の構成要素間の接続は直接接続に限定されることを意図していない。逆
に、これら構成要素間のデータは中間構成要素により修正、再フォーマット、または別途
変更され得る。さらに、付加的またはより少数の接続を用いることもできる。さらに「連
結される」または「通信上連結される」の用語は直接接続、1つ以上の中間装置を通した
間接接続、および無線接続を含むと理解されることが特筆される。
【００４２】
明細書において「一実施形態」、「ある実施形態」、または「実施形態」への言及はそ
の実施形態に関係して説明される特定の特徴、構造、特性、または機能は発明の少なくと
も1つの実施形態に含まれ、1つを超える実施形態に含まれ得ることを意味する。明細書の
さまざまな個所で「一実施形態において」、「ある実施形態において」、または「実施形
態において」の言い回しが現れる場合、必ずしも同じ実施形態を指しているわけではない
。
【００４３】
Ａ．概要
本明細書においてユーザーに優しく頑強な自動再較正を有し任意に指定された視点に対
し遠近の正しい影像を表示できる適応型プロジェクター表示システム向けのシステムおよ
び方法が呈示される。多くの研究者がこの問題に関心を持ち、異なる方法を提案している
。これまでの試みでは表示の非平面状の表面が使用される場合に生じる幾何学的歪みを補
正する一般的な方法が説明されている。他の方法では自動較正を行なうことが提案され、
これにより表示設定が変わった場合に表示が中断されるのを避ける。いくつかの自動較正
手法では較正補助物（例、投影影像における感知できない較正パターン）を用いている。
受動的なものは代わりにユーザーの影像における特徴を検出の上照合して自動的に表示面
の幾何学的形状を推定する。
【００４４】
これらの手法のほとんどは固定された視点を仮定しており、定まった内部投影行列を有
するプロジェクターの再構成および追跡に立体カメラのペアを典型的には用いる。これら
の方法は他の表示の選択肢に比べいくつかの利点を提供するものの、システム較正はしば
しば冗漫な仕事となる。その上、新しい視点の位置に対し表示するために再較正が必要と
なる。
【００４５】
本明細書において呈示されるシステムおよび方法はこれまでのこれらの方法と基本的に
異なる。第1に、実施形態において、本システムおよび方法はカメラをプロジェクターと
併せて表示面の細やかな（ピクセル毎のレベル）詳細を再構成する。これまでの方法とは
対称的に、観察カメラとプロジェクターを用いて立体ペアが形成される。第2に、実施形
態において、システムおよび方法は表示の際プロジェクターの内部および外部（ポーズ）
投影行列双方の変更を可能にする。第3に、実施形態において、システムおよび方法はさ
らに視点の位置をユーザーが望む任意の変更を可能にする。
【００４６】
本明細書に呈示されるシステムおよび方法はこれまでの方法における前述の制限を緩和
する。実施形態において、任意の表示面で単一のカメラおよび単一のプロジェクターによ
り任意の内部および外部（ポーズ）を有するプロジェクターおよびポーズを自動的に再較
正し、さらに任意の望まれる視点に対し表示することができる。
【００４７】
Ｂ．方法の実施形態
１．全般的な方法
図1は本発明の各種実施形態によるプロジェクター―カメラシステムの自動較正の全般
的な方法を呈示する。図2は本発明の各種実施形態による典型的なプロジェクター―カメ
ラシステムを描く。システム200はプロジェクター210およびカメラ220を有してなり、こ
れらは各々演算システム230に連結されている。演算システム230はプロジェクター210と
インターフェイスして投影用に画像をプロジェクター210に供給し、カメラ220とインター
フェイスしてカメラ220で取り込まれた画像を受信する。また表示面240も描かれており、
これは任意の非平面状の表面であることができる。
【００４８】
図1に描かれる実施形態において、方法100はカメラおよびプロジェクターの内部および
外部パラメーターを較正すること（ステップ105）から開始される。較正されたプロジェ
クター―カメラの立体ペアが与えられると表示面を再構成すること（ステップ110）がで
きる。表示面を再構成すると表示面点のセット経由でプロジェクターピクセルのセットを
カメラピクセルにマップする対応が確立される。プロジェクターまたはカメラが動かされ
た場合、および／またはプロジェクターの補正のためにこの表示面への対応を用いて（ス
テップ115）プロジェクター―カメラシステムを再較正する手助けとすることができる。
これらの工程のさまざまな実施形態が以下に説明される。
【００４９】
２．カメラおよびプロジェクターの内部および外部パラメーターの較正
図3は発明の各種実施形態によりカメラおよびプロジェクターを較正する方法300を描く
。図3の方法300はカメラおよびプロジェクターの内部および外部パラメーターを較正する
ステップ（ステップ105）（図1）に用い得る方法の実施形態である。
【００５０】
プロジェクター（例、プロジェクター210）はピンホールカメラの双対として扱うこと
ができ、その内部および外部パラメーターはカメラ（例、カメラ220）のそれらと同じよ
うに表現することができる。実施形態において、赤―白色の市松模様（当業者であれば他
の色を用い得ることを理解しよう）が表示面240などの平面状の台板上に配置される305。
同じ行および列数の別の緑―白色の市松模様（当業者であれば他の色を用い得ることを理
解しよう）が台板上に投影される（ステップ310）。市松模様の画像のセットをカメラで
取り込むこと（ステップ315）ができる。角など、パターンの部分は特徴付ける点として
検出することができ（ステップ320，340）、較正に用いることができる（ステップ325，3
45）。
【００５１】
【００５２】
真の赤の市松パターンおよび緑の投影パターンを含む画像のセットを取り込むこと（ス
テップ315）により、推定された画像の角のセットxprを求めることができる。従って、較
正プロセスはカメラを較正する場合と全く同じ方法である。
実施形態において、プロジェクターとカメラは同じ座標システム内で較正されると予想
されるので、検出された角の順序をプロジェクター画像における真の市松およびパターン
と一貫させて置くことが重要である。
【００５３】
実施形態において、較正プロセスはカメラとプロジェクターの較正を切り離すことによ
り簡略化することができる。実施形態において、カメラの較正はZhangの方法など（限定
ではなく例として）の較正方法を用いて行なうことができ、これはZ．Zhang著の“A Flex
ible New Technique for Camera Calibration”（「カメラ較正向けの適応性のある新規
手法」）、IEEE Transactions on Pattern Analysis and Machine Intelligence，第22巻
、11号、1330―1334ページ、2000年、において説明され、引用により本明細書に全体とし
て組み入れられる。Zhangの較正方法は通常の当業者には周知されていることが特筆され
、また当業者であれば較正に他の方法を用いることができ、本発明にとっていずれの特定
の較正方法も肝要でないことを理解しよう。市松パターンを有する画像のセットをさまざ
まな位置およびポーズの平面に投影し（ステップ330）取り込むこと（ステップ335）がで
きる。カメラの投影行列、Pc、は既知でプロジェクターの投影行列、Pp、は演算されるこ
とが特筆される。
【００５４】
【００５５】
３．表示面の再構成
カメラとプロジェクターは有効な立体ペアを形成する。カメラおよびプロジェクターを
較正した後、三角形分割を用いて表示面を再構成することができる。図4は発明の各種実
施形態により表示面を再構成する方法を描く。
【００５６】
図4に描かれる実施形態において、方法400は表示面について逆光輸送行列または逆光輸
送行列の近似を得ること（ステップ405）により開始される。逆光輸送行列または逆光輸
送行列の近似を直接用いプロジェクターピクセルとカメラピクセルとの間の対応を取得す
ること（ステップ410）ができる。カメラ画像は通常プロジェクターより多くのピクセル
を含むので、各プロジェクターピクセルに対しカメラピクセルのパッチを数えることがで
きる。実施形態において、このカメラピクセルのパッチの図心を再構成用の対応ピクセル
として用いること（ステップ415）ができる。
【００５７】
較正プロセスはカメラおよびプロジェクターの投影行列をもたらし、これらは表示面を
再構成するのに用いることができる。実施形態において、三次元表示構造は画像平面への
逆投影により判定することができる。同次座標［u，v，1］およびその対応三次元座標X［
x，y，z，1］を有する各ピクセルについて、次が得られる。
【００５８】
【００５９】
カメラおよびプロジェクターについて既知のu、v、およびPが与えられると、カメラお
よびプロジェクターの各々に対し2つの一次方程式を生成することができる。実施形態に
おいて、Xについて4つの方程式の線形システムを解くのに特異値分解（SVD）を用いるこ
とができる。
【００６０】
三角形分割の後、各プロジェクター―カメラのピクセルのペアについて、対応の各ペア
に対応する三次元座標により表される点のセット、または点のクラウドが求められる420
。すなわち、各プロジェクターピクセルとその対応カメラピクセルについて、対応する三
次元の表示面点がある。
【００６１】
図5は本発明の各種実施形態によりプロジェクター―カメラの立体ペアを用いて表示面
を再構成する態様を示す。図5にはプロジェクター510、カメラ530、および非平面状の表
示面であり得る表示面550が描かれている。プロジェクター510は結び付いたプロジェクタ
ー画像515を有し、これはピクセルのアレイを有してなる。同様にカメラ530は結び付いた
カメラ画像535を有し、これはピクセルのアレイを有してなる。
【００６２】
表示面についてカメラ画像535をプロジェクター画像515に関連付ける光輸送行列、T（5
70）、を得ることができる。プロジェクター510から放射される光線は表示面550に向けら
れ、その中のいくらかは最終的にカメラセンサー535に到達する。プロジェクターにおけ
るピクセルからの光線はカメラに到達しm―x―nの画像を形成し、カメラにおける各ピク
セルは一定量の光を受ける。投影される画像を（p × q）× 1 のベクターpとして表し取
り込み画像を（m × n）× 1 のベクターcとして表すと、プロジェクターとカメラとの間
の光輸送はc = Tpと書くことができ、ここでTは光輸送行列と呼ばれる。
【００６３】
カメラとプロジェクターとの関係は図5において描かれる575ように逆光輸送行列T-1に
より表すことができる。逆光輸送行列T-1は未知のプロジェクター画像を推測したり任意
の場面において光の跳ね返り方を分析したりするなど多数の用途に有用である。例えば、
c=Tpでcが与えられるようなプロジェクター―カメラシステムを仮定すると、未知の p を
推測するために逆光輸送行列T-1を用いてプロジェクター画像、p＝T-1c、が演算される。
【００６４】
上述のように、カメラ画像は通常プロジェクターより多くのピクセルを含むため、各プ
ロジェクターピクセル（例、520）に対しカメラピクセルのパッチ（例、540）を数えるこ
とができる。実施形態において、再構成用にこのカメラピクセルのパッチ（例、540）の
図心（例、545）をI対応ピクセルとして用いることができる。
【００６５】
さらに図5に描かれているのは三次元の再構成表示面点のセット555である。実施形態に
おいて、プロジェクターのピクセル座標に対する表面の表示がまず考慮され、各プロジェ
クター・ピクセル（例、520）は表示面上の三次元の点（例、560）に対応し、この点はカ
メラ画像における対応（例、545）を有する。
【００６６】
実施形態において、表示面点のセットは画像雑音、数字エラー、および／または他の要
因による外れ値を含む可能性があるので、追加処理を行ない表示面点のセットを精緻化す
ること425ができる。当業者であれば雑音または他のアーティーファクトにより影響を受
けたデータのセットを精緻化するのにはいくつかの方法があり、これらの方法を本明細書
において用いることを理解しよう。図6は本発明の各種実施形態により表示面の再構成を
精緻化する方法を描く。
【００６７】
図6に描かれる方法600は表示面の位置の統計的特徴を計算すること（ステップ605）で
開始される。三次元表示面の位置の平均（平均値、中央値、または最頻値）［xm，ym，zm
］および偏差［dx，dy，dz］が計算される（ステップ605）。望まれる範囲の閾値が設定
され、望まれる範囲外の点は除外される（ステップ610）。実施形態において次の条件を
満足する点が選択される。
｜x―xm｜＜dx・α，｜y―ym｜＜dy・α，｜z―zm｜＜dz・α （9）
ここでαは閾値化係数である。実施形態において、αは2．8に設定された。しかし当業
者であれば他の値も用い得ることを理解しよう。実施形態において、αは異なる値で実験
を試みることにより経験的に選択することができる。
【００６８】
実施形態において、平均（平均値、中央値、または最頻値）および標準偏差の計算なら
びに外れ値を除外する閾値化のプロセスは点のセット全体に対して行なう代わりに点のセ
ットの各々（すなわち、局所領域）について行なうことができる。実施形態において、三
次元の表示面点の局所セットはプロジェクターの画像面またはカメラの画像面におけるピ
クセルの局所窓（例、5×5のピクセル窓）を選択し、三次元の表示面点の局所セットを画
像面のピクセルの局所窓に対応する点として設定することによって得ることができる。実
施形態において、閾値化プロセスは局所窓内で行なうことができるが、局所窓からではな
く点のセット全体から得た平均（平均値、中央値、または最頻値）および標準偏差を用い
ることができる。
【００６９】
閾値化の後、再構成された表示面点は外れ値が除外されたため空孔または無効の点を含
み得る。つまり、表示面のある点が除外されると（例、図5における565）、除外された表
示面点に対応したプロジェクター面におけるピクセルは対応する表示面点がないので「空
孔」を有する。当業者であればデータの1セットまたは複数のセット内のデータの隙間を
埋める方法はいくつかあり、補間を含むがこれに限定されないことを理解しよう。例えば
、実施形態において、空孔を埋めるためにドロネー三角形分割を有効な三次元座標を有す
る点のクラウドに適用し、次に空孔を含む最も近い三角形を用いて空孔を補間する。
【００７０】
別の実施形態において、プロジェクターは高解像度を有する可能性が高いので、ドロネ
ー三角形分割および補間方法は効率が悪いかもしれない（ドロネー三角形分割の最も速い
実施はO（n*log n）で、nはプロジェクターの解像度である（例、1024×768））。この問
題に対処するために、局所三角形分割および補間の方法を用いることができる。
【００７１】
図7は本発明の各種実施形態により再構成された表示面における空孔を効率的に埋める
方法を描く。図7に描かれる方法700の背後にある主要な概念は空孔（無効点）に対し最も
近い有効点（近傍システム）を用いて局所のドロネー三角形分割を演算することである。
各空孔について、ドロネー三角形分割および補間を行なうために充分な有効点がある近傍
として窓が動的に定義される。図7に示すように、実施形態において、限定ではなく例と
してチャムファー距離変換など、二次元の画像面に作用する距離変換を用いて空孔ピクセ
ルから有効ピクセルまでの距離が演算される（ステップ705）。
【００７２】
プロジェクターの画像面が検索されるにつれ空孔に遭遇すると、距離マップの極大が見
出され（ステップ710）、その距離が窓のサイズを定義する。実施形態において、極大は
勾配上昇方向に沿って検索することにより見出される。局所窓サイズに基づき、局所窓内
の対応する三次元表面の点がドロネー三角形分割で、これを用いて欠けている三次元の表
示面点を補間する（ステップ715）。
【００７３】
カメラは通常プロジェクターよりはるかに高い解像度を有することが特筆される。図5
に示すように、1つのプロジェクターピクセル（例、520）はいくつかのカメラピクセル（
例、540）に対応し得、計算に図心（例、545）が用いられたことを想起されたい。実施形
態において、補間を用いてカメラピクセルを埋めることができる。実施形態において、双
一次補間を用いてカメラピクセルの三次元の表示面点への対応を埋めることができる。
【００７４】
別の実施形態において、カメラピクセルの表示面への対応はプロジェクター面に関して
上述したのと同様の方法で行なうことができる。すなわち、実施形態において、補間は：
（1）距離マップを演算すること；（2）局所三角形分割のメッシュを構築すること；およ
び（3）局所三角形分割のメッシュ内で補間すること；により実施できる。しかし、当業
者であればカメラピクセルの対応マップを埋める他の方法を認知するであろうことが特筆
される。
【００７５】
結果として2つの対応マップ：プロジェクターピクセル対3D表示面の対応およびカメラ
ピクセル対3D表示面、があることが特筆される。また、プロジェクターピクセルは三次元
表示面のピクセル経由でカメラピクセルとの対応があることも特筆される。実施形態にお
いて、これらの対応は保存され、以下に説明するように高速再較正に用いることができる
。
【００７６】
４．投影補正および高速再較正
ａ）リアルタイムの幾何学的形状認識表示
実施形態において、遠近の正しい画像を観察カメラの視点から投影するために、遠近補
正は直接テクスチャーマッピングプロセスとしてモデル化される。実施形態において再構
成された表面は観察カメラの画像の座標システムに対し相関しているので、カメラの視点
から望まれる画像を定義することにより画像ピクセルは直接三次元の点のクラウドにマッ
プすることができる。
【００７７】
望まれる画像からプロジェクターの入力画像への歪みは次に直接表示問題としてモデル
化することができる。実施形態において、OpenGLを用い、望まれる画像からのテクスチャ
ーマッピングで頂点のアレイ（点のクラウドを表す）を表示する。しかし、当業者であれ
ば他のグラフィックスアプリケーションプログラミングインターフェイスも用い得ること
を理解しよう。グラフィックスに基づく歪みはさらにリアルタイムのビデオ投影を可能に
する。
【００７８】
本明細書において呈示されるシステムおよび方法の1つの利点はプロジェクターの動き
および視点変更という2つの良く直面する再較正シナリオに対処する柔軟性を提供するこ
とである。本明細書において呈示されるシステムおよび方法これらの変化に適応するため
に自動的再較正ができる。実施形態において、投影で覆われる表示面は非平面状であると
仮定される。
【００７９】
ｂ）プロジェクターの動きの再較正
実行時の際、プロジェクターが動くと逆光輸送変換により定義された補正がもはや有効
でなくなる。図8は本発明の各種実施形態によりプロジェクターの動きが原因でプロジェ
クター―カメラシステムを再較正する方法を示す。
【００８０】
実施形態において、プロジェクター―カメラシステムを再較正するには市松パターンな
ど、プロジェクター画像のすべてまたはかなりの部分を覆うパターンが投影される（ステ
ップ805）。パターンはプロジェクター画像において既知のピクセル位置を有する特徴を
有する。投影された画像は固定カメラにより取り込まれる（ステップ810）。市松パター
ンの角など、特徴点のセットが検出される（ステップ815）。実施形態において、“Robus
t Checkerboard Recognition For Efficient Nonplanar Geometry Registration In Proj
ector―Camera Systems”（「プロジェクター―カメラシステムにおける効率的な非平面
状幾何学的形状の位置決め用の頑強な市松認識」）、PROCAMS’08：Proceedings of the
5th ACM／IEEE International Workshop on Projector Camera Systems、1―7頁、New Yo
rk，NY，USA、2008年，ACMでW．Sun、X．Yang、S．Xiao、およびW．Huにより提案される
方法（引用により全体として本明細書に組み入れられる）を用いて非平面状の表示面によ
り導入される歪みの下で市松の角を検出することができる。しかし、いずれの特定検出方
法も本発明に肝要でないことが特筆される。
【００８１】
三次元の表示面点の点クラウドを有する幾何学的形状マップを用いて静止カメラにおい
て検出された特徴点ピクセルに対応する三次元点が得られる（ステップ820）。プロジェ
クター画像における特徴点は既知であるので、カメラ画像点との相関から見出された三次
元の表示面点をプロジェクター画像ピクセルに関連付ける対応が得られる（ステップ825
）。すなわち、プロジェクター入力画像とカメラで観察された画像との間で二次元のピク
セル対応が検出される。三次元表面点からカメラピクセルへの3D対2D対応は既知であるの
で、三次元表面点からプロジェクター入力画像ピクセルへの3D対2D対応を得ることができ
る。次に3D対2D対応マップからプロジェクターの新規投影行列を演算することができる。
実施形態において、これらの三次元点は非同一平面状と仮定することができ、従って新位
置、新方向、または新位置および新方向を意味するとみなされる新ポーズにおけるプロジ
ェクターの新規投影行列、P、を得るのに充分な制約を提供する。
【００８２】
実施形態において、新規投影行列、P、は次のように得ることができる（830）。二次元
のプロジェクター画像ピクセル座標（x）と三次元の表示面点（X）との間における2D―3D
点対応（x，X）のN個のペア が与えられると、変換は次の方程式により与えられる。
【００８３】
【００８４】
従って、N 個の対応は2N個の一次方程式をもたらす。実施形態において、投影行列を解
くのに特異値分解（SVD）が用いられる。
実施形態において、OpenGL において投影行列を変えることにより新しいプロジェクタ
ー位置に対する正しい歪みを表示することができる。三次元点が同じ平面上に位置しない
場合、制約は一意性の解を決定するのに充分であることが特筆される。そうでない場合は
両義性があるかもしれない。しかし、これはいずれの解も再投影エラーを最小化すること
を目的としているので通常表示結果に影響しない。
【００８５】
ｃ）新規視点位置の投影
以前のシステムに対し、本システムおよび方法は固定された観察カメラ位置からのみで
はなく、任意の視点展望を作り出すことができる。プロジェクターから投影される1つの
画像または複数の画像が取り込まれる新しい視点位置はカメラ、人、または人のグループ
であり得るビュアーにより取り込まれ得る（見られる）ことが特筆される。
図9は本発明の各種実施形態によりカメラの動きが原因でプロジェクター―カメラシス
テムを再較正する方法を示す。
【００８６】
実施形態において、静止観察カメラと同じ組み込み関数を有する仮想目視カメラを考察
し、仮想目視カメラの投影中心（COP）をユーザーの望む位置に位置付ける。仮想目視カ
メラの初期の較正に用いられた固定取り込みカメラに対する移動と回転が計算される（90
5）。実施形態において、移動および回転情報はカメラの投影行列に対し同じ内部行列を
仮定しカメラの行列から内部行列を除外することにより得ることができる。別の実施形態
において、移動および回転情報はレーザーポインターとセンサー、高周波識別タグ、赤外
線ポインターとセンサー、等々、などの位置装置から得ることができる。実施形態におい
て、位置装置はリモコン内に埋め込められていても良く、リモコンの位置が目視位置とし
て用いられる。さらに別の実施形態において、ユーザーインターフェイスがプロジェクタ
ー表示環境を描き、ユーザーから異なる視点を指定する入力を受信することができる。現
在の視点と比較した新規視点の選択を用いて移動および回転情報を演算することができる
。
【００８７】
同じ内部パラメーターを用い、仮想カメラの新投影行列が演算される（910）。実施形
態において、新投影行列は内部パラメーターに移動および回転情報を掛けることにより演
算することができる。
【００８８】
実施形態において、新視点について再較正する別の方法は観察カメラを望まれる視点位
置に配置すること、元の光輸送行列を用いて投影される場面の画像を撮ること、および次
に投影画像とカメラで取り込まれた画像との間で特徴対応を見出すことを有してなる。投
影ピクセルから3D表面点への2D対3Dの対応は既知で、表面点からカメラピクセルへの3D対
2D対応は容易に得ることができる。従って、方程式x = PX を用いて新しい投影行列を直
接演算することができる。カメラの投影行列のこの再較正は1つの画像のみ必要で、非常
に速いことに注目されたい。
【００８９】
実施形態において、遠近の正しい画像を新視点から投影するために、テクスチャーマッ
ピングプロセスを修正することができる。実施形態において、テクスチャーマッピングは
頂点シェーダープログラムとして実施することができる。カメラの新しい投影行列を頂点
シェーダーの入力として設定することができ（915）、三次元の点のクラウドにおけるす
べての頂点のテクスチャー座標は投影行列を用いて頂点をカメラの新しい画像平面に投影
することにより演算される。
【００９０】
５．新投影行列の下で投影の演算
一旦カメラの視点またはプロジェクターの位置が変化すると、プロジェクターとカメラ
間の光輸送行列はもはや正確でなくなる。新しいカメラ／プロクジェクター位置に対する
更新光輸送行列を演算する必要がある。実施形態において、更新光輸送行列は元の光輸送
行列を置換することにより得ることができる。
【００９１】
例えば、実施形態において、プロジェクターが位置を変えた場合次のプロセスを用いて
更新光輸送行列を演算することができる。光輸送行列の行毎（例、r0）について、これは
元のプロジェクターピクセル（例、x0，y0）に対応し、その対応する三次元の表示面点は
対応マップを用いて見出される。次に、新プロジェクター投影行列を用いて三次元表示点
が表示され、その新しいピクセル座標（例、［x1，y1］）およびその新しい行位置（例、
r1）が得られる。実施形態において、ピクセル座標が整数でない場合、ピクセルの局所の
近傍内（例、4つの隣接ピクセル）でサブピクセルの補間を実施することができる。実施
形態において、列を置換して新光輸送行列を演算するのに同様の手順を適用することがで
きる。
【００９２】
実施形態において、リアルタイムの実行を達成するために、新光輸送行列の演算および
光輸送行列とカメラ画像の乗算を演算することはカリフォルニア州サンタクララ市のNVID
IA社により販売されるCompute Unified Device Architecture（CUDA）GPUなどの図形処理
装置（GPU）を用いて行なうことができる。
【００９３】
実施形態において、表示面がほぼ全面的に白で、放射性歪みを無視できる場合、対応マ
ップで光輸送行列を簡略化することができる。従って、再較正はマルチパス表示を用いて
GPUのグラフィックスパイプラインを利用することにより直接得ることができる。具体的
に、観察カメラ（目視カメラ）が位置を変えると、3D対2Dの対応マップを用いてすべての
表面点にピクセル色を割り当てることができる。また、三次元の表示面点はプロジェクタ
ー画像平面に投影され、三次元の表示面点の色からピクセルの色値を割り当てられる。実
施形態において、これらの工程は頂点シェーダーを用いて直接行なうことができる。従っ
て、ツーパス表示は視点位置において望まれる画像の遠近の正しい投影を実現するプロジ
ェクターの入力としての画像を直接出力する。同様のプロセスはプロジェクターの位置を
変えた場合に適用することができる。
【００９４】
６．インタラクティブな描画およびテクスチャリング
表示面のピクセルレベルの幾何学的形状（点のクラウド）が与えられると、インタラク
ティブは幾何学的形状認識の描画機能を実施できることが特筆される。グラフィカルユー
ザーインターフェイスまたは他種のユーザーインターフェイス経由で、ユーザーは任意の
ユーザー選択された視野から1つの画像または複数の画像を作成または描画することがで
きる。もたらされる画像は正しく見るために歪められ、表示面に投影することができる。
【００９５】
実施形態において、システムによりユーザーは表示面上の範囲を選択し、任意の望まれ
る1つの画像または複数の画像をテクスチャーとして指定し、選択された表示面領域にマ
ップすることができる。例示に目的から図10に示される描画を考察する。例えば実施形態
において、システムは表示環境1000―Aおよび1000―Bまたは表示面1040をユーザーに表示
することができる。ユーザーは鑑賞および視点位置（例、1050―A、1050―B）として表示
面1040のある領域（例、1055―A、1055―B）をハイライトまたは別途選択することができ
る。最初に較正されたプロジェクター―カメラシステム（1010、1020、および1030）は視
点位置の変化（例、1050―Aから1050―Bへ）を用いて新視点位置（例、1050―B）から正
しく見るために画像を調節することができる。
【００９６】
表示面は密な点のクラウドを形成する点のセットとして表されるので、直接的な単純な
頂点選択アルゴリズムは、特に点のクラウド高解像度であり得るカメラの画像の座標シス
テムに関して用いられているので、時間がかかるかもしれない。ユーザーが描画／画像機
能をリアルタイムでインタラクティブであることを望む場合新しい選択に適応する性能は
重要であるかもしれない。実施形態において、選択および画像調節を高速化するために表
示面点の点クラウドを記憶してアクセスを向上させることができる。例えば、実施形態に
おいて4分木に基づく詳細レベル方法を用いて点のクラウドを記憶し選択を粗から細の形
で実施することができ、それにより実行時をO（n）からO（log n）に削減できる。
【００９７】
Ｃ．システムの実施形態
本発明の各種実施形態によるプロジェクター―カメラシステムを示す。描かれているのは
通信上プロジェクター1110およびカメラ1120に連結された撮像システム1105である。図11
に描かれる実施形態において、撮像システム1105はプロジェクター1110とインターフェイ
スするプロジェクタードライバー1115を有してなる。プロジェクタードライバー1115はプ
ロジェクター1110に画像を供給し、これには限定ではなく例として遠近の正しい鑑賞用に
調節された特徴および画像のセットを有してなる1つ以上の画像を含む。図11に描かれる
実施形態において、撮像システム1105はカメラ1120とインターフェイスするカメラドライ
バー1125を有してなる。カメラドライバー1125はカメラ1120から画像を受信し、これは限
定ではなく例として特徴のセットを有してなる1つ以上の画像を含む。
【００９８】
実施形態において、撮像システムはカメラにより取り込まれる1つの画像または複数の
画像を受信するよう通信上連結される特徴点検出器1130を有してなる。特徴点検出器1130
は取り込まれた1つの画像または複数の画像を調べ、特徴点のカメラピクセル位置を特定
する。例えば、実施形態において、プロジェクタードライバー1115はプロジェクター1110
に市松パターンの画像のセットを表示させ、カメラドライバー1125はカメラ1120に市松パ
ターンの画像のセットを取り込ませ、特徴点検出器1130は市松パターンの画像のセットを
調べて特徴点を見つける。実施形態において、特徴点検出器1130はプロジェクター画像に
おける特徴点位置を受信しその情報を用いて取り込まれた1つの画像または複数の画像に
おける特徴点を見つけることに役立てる。当業者であれば特徴点検出器1130はいくつかの
特徴点検出方法のいずれをも実施できることを理解しよう。
【００９９】
実施形態において、撮像システム1105はさらにプロジェクターピクセルと取り込み画像
ピクセル間で相関する特徴点に関する情報を受信するホモグラフィ計算器1135も有してな
る。上述のように、既知のプロジェクターピクセルおよび検出されたカメラピクセルが与
えられると、プロジェクター―カメラピクセルのペアを用いてホモグラフィを演算するこ
とができる。実施形態において、ホモグラフィ計算器1135はさらにホモグラフィ変換の逆
も計算する。別の実施形態において、撮像システム1105はホモグラフィを受信しその逆を
演算する逆ホモグラフィ計算器（図示せず）を有してなる。
【０１００】
実施形態において、撮像システム1105はさらにカメラおよびプロジェクターの投影行列
を計算する投影行列計算器1140を有してなる。実施形態において、投影行列計算器1140は
例えば図1、3、8、および9に関連した方法に関して説明されたように上述の1つ以上の方
法を用いて投影行列を計算する。当業者であれば投影行列計算器は投影行列を計算するい
くつかの方法のいずれをも実施できることを理解しよう。
【０１０１】
実施形態において、撮像システム1105はさらにプロジェクターピクセルと取り込み画像
ピクセル間の光輸送行列を演算する光輸送行列計算器1145も有してなる。実施形態におい
て、光輸送行列計算器1145はさらに光輸送行列の逆の少なくとも近似を演算する。別の実
施形態において、撮像システム1105は光輸送行列を受信してその逆の少なくとも近似を演
算する逆光輸送行列計算器（図示せず）を有してなる。実施形態において、光輸送行列の
直交版である視点投影行列を用いることができ、視点投影行列の逆を逆光輸送行列の少な
くとも近似として用いることができ、これは35 U．S．C．§119（e）の下で、2006年1月2
4日に出願の米国仮出願番号60／762，178の特典を主張する2006年12月19日に出願の米国
特許出願番号11／613，129の特典を主張する2007年1月12日に出願の米国特許出願番号11
／623，016（公開番号US 2007／0171382 A1）において考察され、各々引用により全体と
して本明細書に組み入れられる。
【０１０２】
実施形態において、撮像システム1105は逆光輸送行列から得られたプロジェクターピク
セルとカメラピクセル間の対応を用いて三次元の表示面点を三角形分割する表示面再構成
器1150を有してなる。実施形態において、表示面再構成器1150は図4に関連した方法に関
し説明された1つ以上の方法を実施することができる。実施形態において、表示面再構成
器1150はさらに追加的な後処理も実施する。例えば、表示面再構成器1150は上述のように
三次元の表示面点を精緻化することができる。実施形態において、表示面再構成器1150は
図6および7に関連した方法に関し考察された1つ以上の方法を実施することにより表示面
点を精緻化することができる。
【０１０３】
実施形態において、撮像システム1105はテクスチャーマッピング用のテクスチャーマッ
パー1155を有してなる。各種実施形態において、テクスチャーマッパー1155は頂点シェー
ダーとして実施されることができる。
【０１０４】
実施形態において、撮像システム1105はユーザーと本発明の実施形態とのインタラクシ
ョンを促進するユーザーインターフェイスモジュール1160を有してなる。ユーザーインタ
ーフェイス1160はユーザーインターフェイスがユーザーに対し図形的に表示環境を描くグ
ラフィカルユーザーインターフェイスであって良い。実施形態において、ユーザーインタ
ーフェイスはユーザーからの入力を受信することができる。入力は：新視点位置の画像が
見る者に引き続き遠近が正しいように変更される、表示環境のユーザーによる変更、任意
のユーザー選択の視野からの表示画像に対する編集；等々を含むことができる。図10はユ
ーザーに呈示され、プロジェクターが画像を表示するための表示環境の部分をユーザーが
選択でき、さらにユーザーがユーザー視点を選択し得る表示環境の例を描く。
【０１０５】
実施形態において、撮像システム1105は差次元表示面点の効率的な記憶およびアクセス
を促進する4分木データストア1165を有してなる。実施形態において、4分木データストア
は三次元の表示面点1165の少なくともいくつかを記憶するために4分木の詳細レベル方法
を用いる。
【０１０６】
実施形態において、演算システムは本明細書に呈示される1つ以上の方法を実施するよ
う構成され得る。本明細書に説明される方法の少なくとも1つ以上を実施するシステムは
プロジェクターおよびカメラとインターフェイスを取り、またはこれらからデータを（直
接的および／または間接的に）受信する演算システム上で実行される較正アプリケーショ
ンを有してなり得る。演算システムは1つ以上のコンピューターを有してなることができ
、1つ以上のデータベースを含むことができる。実施形態において、較正アプリケーショ
ンはプロジェクターまたはカメラの一部であっても良く、または独立した装置であっても
良い。
【０１０７】
本発明は画像データを処理し得る任意の命令実行／演算装置またはシステムにおいて実
施できることが特筆され、これには汎用コンピューターおよびデータまたは画像処理用な
どの特定コンピューターが含まれるがこれらに限定されない。本発明の態様はデジタルカ
メラ、プロジェクター、マルチメディア装置、および画像を投影、処理、取り込み、伝送
、または記憶する他の任意の装置を含むがこれらに限定されず、他の演算装置およびシス
テムに実装され得ることが特筆される。さらに、本発明の態様は任意の装置内でソフトウ
ェア、ハードウェア、ファームウェア、またはこれらの組み合わせを含み、広範囲な形で
実施することができる。例えば、本発明の様々な態様を実施する機能は個々の論理部品、
1つ以上の特定用途向け集積回路（ASIC）、および／またはプログラム制御プロセッサー
を含み広範囲な形で実装される部品により実施することができる。これらの部品が実装さ
れる形は本発明に肝要ではないことが特筆される。
【０１０８】
図12は本発明の実施形態を実施または具現し得る命令実行／演算装置1200の実施形態の
機能的ブロック図を描く。図15に示すように、プロセッサー1202がソフトウェア命令を実
行し、他のシステム・コンポーネントとやりとりする。
一実施形態において、プロセッサー1202は（限定ではなく例として）AMD（登録商標）
プロセッサー、INTEL（登録商標）プロセッサー、SUN MICROSYSTEMS（登録商標）プロセ
ッサー、またはPOWERPC（登録商標）対応CPUなどの汎用プロセッサーであることができ、
またはプロセッサーは特定用途向けの1つまたは複数のプロセッサーであることができる
。
【０１０９】
プロセッサー1202に連結された記憶装置1204はデータおよびソフトウェア・プログラム
の長期的記憶を提供する。記憶装置1204はハードディスク・ドライブおよび／またはコン
ピューター読み取り可能な媒体（例、ディスケット、テープ、コンパクトディスク、DVD
、等々）のドライブまたはソリッドステート記憶装置などデータを記憶できる別の装置で
あって良い。記憶装置1204はプロセッサー1202で使用するプログラム、命令、および／ま
たはデータを収納することができる。
【０１１０】
一実施形態において、記憶装置1204に記憶されそこからロードされるプログラムまたは
命令はメモリー1206にロードされ、プロセッサー1202により実行される。
一実施形態において、記憶装置1204はプロセッサー1202でオペレーティングシステムを
実施するプログラムまたは命令を収納する。
一実施形態において、考えられるオペレーティングシステムはUNIX（登録商標）、AIX
（登録商標）、LINUX（登録商標）、Microsoft（登録商標）Windows（登録商標）、およ
びApple（登録商標）MAC（Ｍａｃｉｎｔｏｓｈ（登録商標））OSが含まれるが、これらに
限定されない。実施形態において、オペレーティングシステムは演算システム1200上で実
行し、システムの稼動を制御する。
【０１１１】
プロセッサー1202に連結されるアドレス可能なメモリー1206はデータおよびプロセッサ
ー1202により実行されるソフトウェア命令を記憶するのに使用することができる。メモリ
ー1206は例えばファームウェア、読み取り専用メモリー（ROM）、フラッシュメモリー、
不揮発性ランダムアクセスメモリー（NVRAM）、ランダムアクセスメモリー（RAM）、また
はこれらの任意の組み合わせであって良い。一実施形態において、メモリー1206は別途サ
ービス、ユーティリティー、コンポーネント、またはモジュールとして知られるソフトウ
ェア・オブジェクトをいくつか記憶している。当業者であれば、さらに記憶1204およびメ
モリー1206は同じ品目で双方の立場で機能し得ることを理解しよう。一実施形態において
、本明細書に描かれる方法の1つ以上はメモリー1204、1206などのコンピューター読み取
り可能な媒体に記憶される1つ以上のモジュールに具現されプロセッサー1202により実行
され得る。
【０１１２】
一実施形態において、演算システム1200は他の装置、他のネットワーク、または双方と
通信する能力を提供する。演算システム1200は1つ以上のネットワークインターフェイス
またはアダプター1212、1214を含み、演算システム1200を他のネットワークおよび装置と
通信上連結することができる。例えば、演算システム1200はネットワークインターフェイ
ス1212、通信ポート1214、または双方、を含むことができ、これらの各々はプロセッサー
1202に通信上連結され、演算システム1200を他のコンピューターシステム、ネットワーク
、および装置に連結するために使用することができる。
【０１１３】
一実施形態において、演算システム1200はプロセッサー1202に連結されグラフィックス
およびテキストの表示を容易にする1つ以上の出力装置1208を含むことができる。出力装
置1208はディスプレイ、LCD画面、CRTモニター、プリンター、タッチ画面、または情報を
表示する他の装置を含むことができるが、これらに限定されない。演算システム1500はさ
らに出力装置1508に情報または画像を表示するのを補助するグラフィックス・アダプター
（図示せず）を含むことができる。演算システム1200はさらに出力装置1208における情報
または画像の表示を補助するグラフィックスアダプター（図示せず）を含み得る。
【０１１４】
プロセッサー1202に通信できるよう連結される1つ以上の入力装置1210を用いてユーザ
ー入力を円滑にすることができる。入力装置1210はマウス、トラックボール、またはタッ
チ・パッドなどのポインター装置を含むことができるが、これらに限定されず、さらにデ
ータまたは命令を演算システム1200に入力するためにキーボードまたはキーパッドを含む
ことができる。
【０１１５】
一実施形態において、演算システム1200は通信ポート1214、ネットワークインターフェ
イス1212、メモリー1204／1206に記憶されるデータ、または入力装置1210を通して、スキ
ャナー、コピー機、ファクシミリ機、または他の演算装置から入力を受信することができ
る。
【０１１６】
当業者であれば、本発明の実施にいずれの演算システムも肝要ではないことを理解しよ
う。当業者であればさらに上述の構成要素のいくつかはサブ・モジュールに物理的および
／または機能的に分けられ、または組み合わせられることを理解しよう。
【０１１７】
本発明の実施形態はさらに各種コンピューター実施の操作を行なうためのコンピュータ
ーコードを有するコンピューター読み取り可能な媒体を有するコンピューター製品に関わ
ることができることが特筆される。媒体およびコンピューターコードは本発明の目的のた
めに特別に設計され構築されたものでも良く、または該当技術の当事者に知られ、利用可
能な種類のものであっても良い。コンピューター読み取り可能な媒体の例は：ハードディ
スク、フロッピーディスク、および磁気テープなどの磁気媒体；CD―ROMおよびホログラ
フィー装置などの光媒体；光磁気媒体；ならびに特定用途向け集積回路（ASIC）、プログ
ラマブル論理装置（PLD）、フラッシュメモリー装置、およびROMやRAM装置など、プログ
ラムコードを記憶し、または記憶して実行するよう特別に構成されるハードウェア装置；
を含むがこれらに限定されない。コンピューターコードの例はコンパイラーにより作成さ
れるような機械コード、およびインタープリターを用いてコンピューターにより実行され
るより高位レベルのコードを含むファイルを含む。
【０１１８】
本発明の実施形態は全体としてまたは一部コンピューターにより実行されるプログラム
モジュールにある機械実行可能な命令として実施することができる。プログラムモジュー
ルの例はライブラリー、プログラム、ルーチン、オブジェクト、コンポーネント、および
データ構造を含む。分散演算環境において、プログラムモジュールは物理的にローカル、
遠隔、または双方の環境に所在することができる。
【０１１９】
当業者であれば前述の例および実施形態は例示的で、本発明の範囲を限定しないことを
理解しよう。明細書を読み、図面を調べることにより当業者に明らかになるこれらに対す
る置換、拡張、等価物、および改良は本発明の精神および範囲内に含まれる。従って続く
クレームは本発明の精神および範囲内に入るこのような修正、置換および等価物を含むこ
とが意図される。従って、以下のクレームは本発明の精神および範囲に含まれるこのよう
な修正、置換、および等価物を含むことが意図される。
【符号の説明】
【０１２０】
２００ システム、２１０ プロジェクター、２２０ カメラ、２４０ 表示面、５１
０ プロジェクター、５１５ プロジェクター画像、５３０ カメラ、５３５ カメラ画
像。
【技術分野】
【０００１】
本発明は一般的にプロジェクター‐カメラシステムに係わり、より具体的には適応型プ
ロジェクター表示システムに関する。
【背景技術】
【０００２】
コンピューターシステム、ゲームシステム、テレビ会議システム、プロジェクターシス
テム、およびホームシアターシステムなどのマルチメディアシステムの普及が増えるにつ
れプロジェクター表示システムが広範囲な条件の中で稼動するようになった。適応型プロ
ジェクター表示システムはさまざまな条件の下での投影に対応するために開発された。例
えば、適応型プロジェクターシステムの研究は色の歪み、表示面の歪み、および他の較正
上の問題を補正する方法を求めようとしている。この分野における研究はプロジェクター
システムの頑強さを向上させる結果をもたらしている（例えば特許文献１参照。）。
【０００３】
これらのシステムが投影技術および較正手法を良く知らない平均的な消費者によります
ます使用されるにつれ、ユーザー入力を全くまたはほとんど必要としない較正および補正
方法を開発することが有益である。適応型プロジェクター表示に関し相当な量の文献が存
在する。従ってこれまでの試みをすべて要約することは不可能である。それよりは、以下
にほとんどまたは全くユーザーインタラクションが関わらない較正方法をいくつか提示す
る。
【０００４】
Raij とPollefeysは平面上の表示領域を定義する自動的な方法を提案し、領域の物理的
な基底値および測定の必要を取り除いた。平面自動較正は単一平面上に投影するプロジェ
クターのアレイの組み込み関数を決定するのに用いることができる。カメラ、プロジェク
ター、および表示面は次に平面場面用の相対ポーズ推定手法を用いて再構成される。Raij
とPollefeys は“Auto―Calibration of Multi―Projector Display Walls”（「マルチ
プロジェクター表示壁の自動較正」）、Proc． Int’l． Conf． on Pattern Recognitio
n （ICPR），第1巻、14―17頁、2004年、において彼らの手法を説明しており、これは引
用により全体として本明細書に組み入れられる。
【０００５】
Raskar他はプロジェクターを柔軟な形で使用する方法を調べた。彼らの基本的な表示装
置はセンサー、演算、およびネットワーキング機能を有するプロジェクターである。これ
は投影される表面またはオブジェクトに適応するシームレスな表示を作り上げることがで
きる。曲面など複雑な幾何学的形状を有する表示面を扱うことができる。彼らの手法はR
．Raskar、M．S．Brown、R．Yang、W．C．Chen、G．Welch、H．Towles、B．Seales、およ
びH．Fuchs著の“Multi―projector displays using camera―based registration”（「
カメラに基づく位置決めを用いたマルチプロジェクター表示」）、VIS’99： Proceeding
s of the conference on Visualization’99、161―168頁、Los Alamitos、CA、USA、199
9年（IEEE Computer Society Press）、において説明され、これは引用により全体として
本明細書に組み入れられる。
【０００６】
YangとWelchは投影される影像における特徴を用いて予め較正されたプロジェクターと
カメラ間のマッチングをして表示面の幾何学的形状を自動的に判定することを開示してい
る。しかしこの方法の1つの問題は推定アルゴリズムが反復的に作用し、リアルタイムに
おける継続的補正に適していないことである。YangとWelchはR．YangおよびG．Welch著の
“Automatic projector display surface estimation using every‐day imagery”（「
日常的影像を用いた自動的なプロジェクター表示面推定」）、Proc．Ninth Internationa
l Conference in Central Europe on Computer Graphics，Visualization，and Computer
Vision、2001年、において彼らの手法を考察しており、これは引用により全体として本
明細書に組み入れられる。
【０００７】
画像間にわたり特徴を照合する代わりに、ユーザーの影像に較正援助手段が埋め込まれ
ている能動的な手法がある。例えば、D．Cotting他は感知できない較正パターンを投影画
像に埋め込むことを考察している。方法はデジタル光処理（DLP）プロジェクターにおけ
るマイクロミラーのフリップシーケンスを利用してピクセル毎の強度をわずかに修正し、
同期化されたカメラに望まれるパターンを取り込ませる。これらの方法はD．Cotting、M
．Naef、M．Gross、およびH．Fuchs著の“Embedding Imperceptible Patterns Into Proj
ected Images For Simultaneous Acquisition And Display”（「同時取得および表示向
けに投影画像への感知できないパターンの埋め込み」）、ISMAR’04：Proceedings of th
e 3rd IEEE／ACM International Symposium on Mixed and Augmented Reality、100―109
ページ、Washington，DC，USA、2004年（IEEE Computer Society）；およびD．Cotting、
R．Ziegler、M．Gross、およびH．Fuchs著の“Adaptive Instant Displays：Continuousl
y Calibrated Projections Using Per‐Pixel Light Control”（「適応型瞬間表示：ピ
クセル毎の光制御を用いる継続的較正投影」）、Proceedings of Eurographics 2005，Eu
rographics Association、705―714頁、2005年（Dublin，Ireland、2005年8月29‐9月2日
）に見出すことができ、各々引用により全体として本明細書に組み入れられる。しかしこ
のような方法の1つの重要な短所はプロジェクターのダイナミックレンジの一部を犠牲に
することが必要で、それにより投影される影像の劣化をもたらすという点である。
【０００８】
一方法は投影された影像を修正することなく任意の表示面上でプロジェクターを較正す
る能力を実証している。この方法はT．Johnson とH．Fuchsにより“Real‐Time Projecto
r Tracking on Complex Geometry using Ordinary Imagery”（「通常の影像を用いて複
雑な幾何学的形状におけるリアルタイムのプロジェクター追跡」）、Proc．of IEEE Inte
rnational Workshop on Projector‐Camera Systems（ProCams）（2007年）、において開
示され、これは引用により全体として本明細書に組み入られる。この方法は較正された立
体カメラのペアを用いてプロジェクターにより提供される構造化された光パターンを観察
することによりまず表面を再構成する。この方法はさらに表面が区分的に平面状であると
仮定し、表示面のより精密な幾何学形状的描写を当てはめるためにRANSACを用いている。
この方法はフレームバッファーに記憶されるユーザー画像と静止カメラにより取り込まれ
た投影画像との間で特徴を照合することにより、プロジェクターのポーズを再推定する。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】米国特許第６６１８０７６号明細書
【発明の概要】
【発明が解決しようとする課題】
【００１０】
これらの手法のほとんどは固定された視点を仮定しており、定まった内部投影行列を有
するプロジェクターの再構成および追跡に立体カメラのペアを典型的には用いる。これら
の方法は以前の表示の選択肢に比べいくつかの利点を提供するものの、システム較正はし
ばしば冗漫な仕事となる。その上、新しい視点の位置に対し表示するために再較正が必要
となる。
【課題を解決するための手段】
【００１１】
本発明のプロジェクターシステムを較正する方法は、各々表示面に向けられるカメラお
よびプロジェクターを有してなるプロジェクターシステムを較正する方法あって、
プロジェクターピクセルのセットを表示面点のセット経由でカメラピクセルのセットに
マップする対応を得るステップと、
前記プロジェクターが異なるポーズにあることに応答して、
前記プロジェクターを用いて特徴点のセットを前記表示面に投影するステップであって
、前記特徴点のセットは既知のプロジェクターピクセル位置を有するステップと、
前記カメラを用いて前記特徴点のセットの少なくとも一部を取り込むステップと、
前記特徴点のセットから検出特徴点のセットを検出するステップと、
前記検出特徴点のセットの少なくともいくらかを用いて前記プロジェクターピクセルを
前記カメラピクセルに相関させるステップと、
前記対応を用い、前記相関されたプロジェクターピクセルを前記表示面点のセットから
の表示面点にマップするステップと、
前記マップされた対応を用いて前記異なるポーズにおける前記プロジェクターに対する
新投影行列を得るステップとを有することを特徴とする。
【００１２】
また、本発明のプロジェクターシステムを較正する方法において、前記プロジェクター
ピクセルのセットを表示面点のセット経由でカメラピクセルのセットにマップする対応を
得るステップは、
前記プロジェクターに対するプロジェクター投影行列および前記カメラに対するカメラ
投影行列を得るステップと、
逆光輸送行列の少なくとも近似を用いて前記プロジェクターピクセルと前記カメラピク
セルとの相関を得るステップと、
前記プロジェクターピクセルと前記カメラピクセルとの相関、前記プロジェクター投影
行列、および前記カメラ投影行列を用いて前記表示面点のセットと対応を得るステップを
有することを特徴とする。
【００１３】
また、本発明のプロジェクターシステムを較正する方法において、前記プロジェクター
ピクセルと前記カメラピクセルとの相関、前記プロジェクター投影行列、および前記カメ
ラ投影行列を用いて前記表示面点のセットと対応を得るステップは、
プロジェクター画像面およびカメラ画像面から、逆投影して前記表示面点のセットにお
ける少なくともいくつかの表示面点に対する位置を三角形分割するステップを有すること
を特徴とする。
【００１４】
また、本発明のプロジェクターシステムを較正する方法において、前記表示面点のセッ
トを精緻化するステップをさらに有することを特徴とする。
【００１５】
また、本発明のプロジェクターシステムを較正する方法において、前記表示面点のセッ
トを精緻化するステップは、
前記表示面点のセットから外れ値点のセットを特定するステップと、
前記表示面点のセットから前記外れ値点のセットを除外するステップと、
前記除外された外れ値点のセットに差し替える差し替え点のセットを生成するステップ
とを有することを特徴とする。
【００１６】
また、本発明のプロジェクターシステムを較正する方法において、前記除外された外れ
値点のセットに差し替える差し替え点のセットを生成するステップは、
前記外れ値点のセットから除外された各点について、有効な表示面点のセットを用いて
除外された点に対し値を補間するステップを有することを特徴とする。
【００１７】
また、本発明のプロジェクターシステムを較正する方法において、前記有効な表示面点
のセットを用いて除外された点に対し値を補間するステップは、
前記外れ値点のセットの少なくともいくらかから非除外表示面点のセットへ距離マップ
を演算するステップと、
前記外れ値点のセットから除外された1つの点に対して、
前記距離マップの極大を用いて局所窓を定義するステップと、前記局所窓内にある非除
外表示面点の少なくともいくつかを用いてドロネー三角形分割を演算し前記除外された点
に対し値を補間するステップとを有することを特徴とする。
【００１８】
また、本発明のプロジェクターシステムを較正する方法において、前記新投影行列を用
いて前記プロジェクターにより投影される画像を変更するステップをさらに有することを
特徴とする。
【００１９】
ここで、本発明のプロジェクターシステムを較正する方法は、各々表示面に向けられる
カメラおよびプロジェクターを有してなるプロジェクターシステムを較正する方法であっ
て、
プロジェクターピクセルのセットを表示面点のセット経由でカメラピクセルのセットに
マップする対応を得るステップと、
前記カメラの位置とは異なる位置に視点位置を有することに応答して、
前記視点位置に対し新カメラ投影行列を得るステップと、
前記対応を用いて新しい光投影行列を演算し、前記プロジェクターにより投影される画
像を変更するステップとを有することを特徴とする。
【００２０】
また、本発明のプロジェクターシステムを較正する方法において、前記対応を用いて新
しい光投影行列を演算し、前記プロジェクターにより投影される画像を変更するステップ
は、
新投影行列をテクスチャーマッパーの入力として設定するステップと、
前記新投影行列を用いて新視点位置の画像面に頂点を投影することにより、表示面点の
セットから表示点のセットにおけるすべての頂点に対しテクスチャー座標を演算するステ
ップとを有することを特徴とする。
【００２１】
また、本発明のプロジェクターシステムを較正する方法において、前記対応を用いて新
しい光投影行列を演算し、前記プロジェクターにより投影される画像を変更するステップ
は、
前記カメラと前記表示面との対応を用いて表示点のセットにおける各点に色値を割り当
てるステップと、
前記プロジェクター投影行列を用いて前記表示点のセットを前記プロジェクターの画像
面に投影するステップと、
前記投影された表示点のセットに基づき色値を割り当てるステップとを有することを特
徴とする。
【００２２】
また、本発明のプロジェクターシステムを較正する方法において、前記視点位置に対し
新カメラ投影行列を得るステップは、
前記カメラ位置に対する前記視点位置の移動および回転を得るステップと、
前記カメラ位置に対する前記視点位置の前記移動および前記回転を用い、前記カメラの
内部パラメーターを用いて新投影行列を演算するステップとを有することを特徴とする。
【００２３】
また、本発明のプロジェクターシステムを較正する方法において、ユーザーから前記視
点位置の情報を受信するステップと、
前記視点位置の情報に基づき前記カメラ位置に対する前記視点位置の移動および回転を
演算するステップとをさらに有することを特徴とする。
【００２４】
また、本発明のプロジェクターシステムを較正する方法において、前記ユーザーから前
記視点位置の情報を受信するステップは、
前記表示面の描写および前記カメラの位置を有する表示環境を表示するステップと、
前記表示環境における視点位置を示す前記視点位置情報をユーザーから受信するステッ
プとを有することを特徴とする。
【００２５】
また、本発明のプロジェクターシステムを較正する方法において、前記視点位置に対し
新カメラ投影行列を得るステップは、
前記プロジェクターを用いて特徴点のセットを投影するステップであって、前記特徴点
のセットは既知のプロジェクターピクセル位置を有するステップと、
前記カメラを用いて前記特徴点のセットの少なくとも一部を取り込むステップと、
前記特徴点のセットから検出特徴点のセットを検出するステップと、
前記検出特徴点のセットの少なくともいくらかを用いて前記プロジェクターピクセルを
前記カメラピクセルに相関させるステップと、
前記対応を用い、前記相関されたプロジェクターピクセルを前記表示面点のセットから
の表示面点にマップするステップと、
前記マップされた対応を用いて異なるポーズにおける前記プロジェクターに対する前記
新投影行列を得るステップとを有することを特徴とする
【００２６】
また、本発明のプロジェクターシステムを較正する方法において、前記プロジェクター
ピクセルのセットを表示面点のセット経由でカメラピクセルのセットにマップする対応を
得るステップは、
前記プロジェクターに対するプロジェクター投影行列および前記カメラに対するカメラ
投影行列を得るステップと、
逆光輸送行列の少なくとも近似を用いて前記プロジェクターピクセルと前記カメラピク
セルとの相関を得るステップと、
前記プロジェクターピクセルと前記カメラピクセルとの相関、前記プロジェクター投影
行列、および前記カメラ投影行列を用い前記表示面点のセットと対応を得るステップとを
有することを特徴とする。
【００２７】
また、本発明のプロジェクターシステムを較正する方法において、前記プロジェクター
ピクセルと前記カメラピクセルとの相関、前記プロジェクター投影行列、および前記カメ
ラ投影行列を用い表示面点のセットと対応を得るステップは、
プロジェクター画像面およびカメラ画像面から逆投影して前記表示面点のセットにおけ
る少なくともいくつかの表示面点に対する位置を三角形分割するステップを有することを
特徴とする。
【００２８】
本発明のプログラムは、1つ以上のプロセッサーで実行すると前記1つ以上のプロセッサ
ーは各々表示面に向けられるカメラおよびプロジェクターを有してなるプロジェクターシ
ステムを較正する方法を実行するプログラムであって、
プロジェクターピクセルのセットを表示面点のセット経由でカメラピクセルのセットに
マップする対応を得るステップと、
前記プロジェクターが異なるポーズにあることに応答して、
前記プロジェクターを用いて特徴点のセットを前記表示面に投影するステップであって
、前記特徴点のセットは既知のプロジェクターピクセル位置を有するステップと、
前記カメラを用いて前記特徴点のセットの少なくとも一部を取り込むステップと、
前記特徴点のセットから検出特徴点のセットを検出するステップと、
前記検出特徴点のセットの少なくともいくらかを用いて前記プロジェクターピクセルを
前記カメラピクセルに相関させるステップと、
前記対応を用い、前記相関されたプロジェクターピクセルを前記表示面点のセットから
の表示面点にマップするステップと、
前記マップされた対応を用いて前記異なるポーズにおける前記プロジェクターに対する
新投影行列を得るステップと、
を有することを特徴とする。
【００２９】
本発明のプログラムは、1つ以上のプロセッサーで実行すると前記1つ以上のプロセッサ
ーは各々表示面に向けられるカメラおよびプロジェクターを有してなるプロジェクターシ
ステムを較正する方法を実行するプログラムであって、
プロジェクターピクセルのセットを表示面点のセット経由でカメラピクセルのセットに
マップする対応を得るステップと、
前記カメラの位置とは異なる位置に視点位置を有することに応答して、前記視点位置に
対し新カメラ投影行列を得るステップと、
前記対応を用いて新しい光投影行列を演算し、前記プロジェクターにより投影される画
像を変更するステップと、
を有することを特徴とする。
【００３０】
一方、本発明のコンピューターシステムは、プロジェクターおよびカメラを有するプロ
ジェクターシステムを再較正するコンピューターシステムであって、
1つ以上のプロセッサーと、
前記1つ以上のプロセッサーと通信し、前記1つ以上のプロセッサーにより実行可能な命
令のセットを記憶する1つ以上のコンピューター読み取り可能な媒体とを有し、
前記命令のセットは、
プロジェクターピクセルのセットを表示面点のセット経由でカメラピクセルのセットに
マップする対応を得るステップと、
前記プロジェクターまたはプロジェクターにより投影される画像が鑑賞者により見られ
る視点位置のいずれかのポーズの変更に応答して、前記対応を用いて新投影行列を計算す
るステップとを有することを特徴とする。
【００３１】
また、本発明のコンピューターシステムにおいて、前記ポーズの変更はプロジェクター
であり、前記対応を用いて前記プロジェクターに対する新投影行列を計算するステップは
、
前記プロジェクターを用いて特徴点のセットを投影するステップであって、前記特徴点
のセットは既知のプロジェクターピクセル位置を有するステップと、
前記カメラを用いて前記特徴点のセットの少なくとも一部を取り込むステップと、
前記特徴点のセットから検出特徴点のセットを検出するステップと、
前記検出特徴点のセットの少なくともいくらかを用いて前記プロジェクターピクセルを
前記カメラピクセルに相関させるステップと、
前記対応を用い、前記相関されたプロジェクターピクセルを前記表示面点のセットから
の表示面点にマップするステップと、
前記マップされた対応を用いて異なるポーズにおける前記プロジェクターに対する新投
影行列を得るステップとを有することを特徴とする。
【００３２】
また、本発明のコンピューターシステムにおいて、前記ポーズの変更は、前記プロジェ
クターにより投影される画像が鑑賞者により見られる視点位置であり、前記対応を用いて
前記プロジェクターに対する新投影行列を計算するステップは、
前記カメラ位置に対する前記視点位置の移動および回転を得るステップと、
前記カメラ位置に対する前記視点位置の前記移動および前記回転を用い、前記カメラの
内部パラメーターを用いて新投影行列を演算するステップと、
新しいカメラ投影行列を用いて前記プロジェクターにより投影される画像を変更する新
光投影行列を得るステップとを有することを特徴とする。
【００３３】
本発明のプロジェクターシステムは、プロジェクターと、前記プロジェクターに接続さ
れた、前記コンピューターシステムと、を有することを特徴とする。
【図面の簡単な説明】
【００３４】
【図１】本発明の各種実施形態によるプロジェクター―カメラシステムの自動再較正の方法を呈示する図である。
【図２】本発明の各種実施形態によるプロジェクター―カメラシステムを示す図である。
【図３】本発明の各種実施形態によるカメラおよびプロジェクターを較正する方法を描く図である。
【図４】本発明の各種実施形態による表示面を再構成する方法を描く図である。
【図５】本発明の各種実施形態によりプロジェクター―カメラの立体ペアを用いて表示面を再構成する態様を示す図である。
【図６】本発明の各種実施形態により表示面の再構成を向上させる方法を描く図である。
【図７】本発明の各種実施形態により再構成された表示面における空孔を埋める方法を描く図である。
【図８】本発明の各種実施形態によりプロジェクターの動きが原因でプロジェクター―カメラシステムを再較正する方法を示す図である。
【図９】本発明の各種実施形態によりカメラの動きが原因でプロジェクター―カメラシステムを再較正する方法を示す図である。
【図１０】本発明の各種実施形態による視点の位置および投影の変更を描く図である。
【図１１】本発明の各種実施形態による較正／再較正システムの実施形態を描く図である。
【図１２】本発明の各種実施形態による演算システムを描く図である。
【発明を実施するための形態】
【００３５】
前述の制限を緩和するために、実施形態において任意の表示面で単一のカメラと単一の
プロジェクターを用いるシステムおよび方法が呈示される。実施形態において、システム
および方法は任意の組み込み関数を有するプロジェクターおよびポーズを自動的に再較正
し、さらに任意の望まれる視点に対し表示することができる。今までの方法と対照的に、
本明細書で開示される方法は観察カメラとプロジェクターを用いて立体のペアを形成する
。実施形態において、構造化された光を用いて表示面のピクセルレベルでの微細な再構成
を行なう。
【００３６】
実施形態において、幾何学形状的な歪みは直接的なテクスチャーのマッピング問題とし
て実施される。従って実施形態において、プロジェクターの動きの再較正は新しい投影行
列を演算してOpen Graphics Library（OpenGL）のカメラ行列として設定することにより
実施される。実施形態において、新視点を再較正するために、テクスチャーのマッピング
は新しいカメラ行列に従い修正される。実施形態において、方法はOpenGLおよびOpenGL S
hading Language（GLSL）を用いて実施され、これによりリアルタイムでビデオを表示す
るシステムや方法が可能となる。OpenGLおよびGLSL以外の異なるアプリケーションおよび
アプリケーションプログラムインターフェイスを使用することもできることが特筆される
。
【００３７】
本明細書において呈示される方法は1つ以上の命令のシーケンスを記憶する少なくとも1
つのコンピューター読み取り可能な記憶媒体を有してなるコンピュータープログラム製品
に含まれることができ、1つ以上のプロセッサーにより1つ以上の命令のシーケンスを実行
するとプロジェクターシステムを較正するコンピューター実施の方法が1つ以上のプロセ
ッサーにより実行される。本発明の実施形態はプロジェクターとカメラを有してなるプロ
ジェクターシステムを較正する1つまたは複数のコンピューターシステムを含む。
【００３８】
以下に発明の実施形態が参照され、その例は添付図面に図示されることができる。これ
らの図面は限定的ではなく例示的である。発明は全般的にこれらの実施形態との関連で説
明されるが、これは発明の範囲をこれら特定実施形態に限定する意図ではないことが理解
されよう。
【００３９】
以下の記述では説明の目的から、発明の理解を提供すべく具体的な詳細が述べられる。
しかし当業者であれば発明はこれらの詳細なしでも実施できることが明らかであろう。当
業者であれば以下にいくつか説明される本発明の実施形態はいくつかの異なるシステムお
よび装置に組み入れられ得、例示としてマルチメディアシステム、劇場システム、テレビ
会議システム、投影システム、ゲームシステム、コンピューターシステム、等々、が含ま
れるがこれらに限定されない。本発明の態様はソフトウェア、ハードウェア、ファームウ
ェア、またはその組み合わせにおいて実施することができる。
【００４０】
ブロック図に示される構成要素、またはモジュール、は発明の典型的な実施形態を図示
するもので、発明を分かりにくくすることを避けることが意図される。また、本考察を通
して構成要素はサブユニットを有してなり得る別個の機能ユニットとして説明され得るが
、当業者であれば各種構成要素、またはその部分は別個の構成要素に分割でき、または単
一システムまたは構成要素への統合を含みまとめて統合し得ることを理解しよう。
【００４１】
さらに、図面内の構成要素間の接続は直接接続に限定されることを意図していない。逆
に、これら構成要素間のデータは中間構成要素により修正、再フォーマット、または別途
変更され得る。さらに、付加的またはより少数の接続を用いることもできる。さらに「連
結される」または「通信上連結される」の用語は直接接続、1つ以上の中間装置を通した
間接接続、および無線接続を含むと理解されることが特筆される。
【００４２】
明細書において「一実施形態」、「ある実施形態」、または「実施形態」への言及はそ
の実施形態に関係して説明される特定の特徴、構造、特性、または機能は発明の少なくと
も1つの実施形態に含まれ、1つを超える実施形態に含まれ得ることを意味する。明細書の
さまざまな個所で「一実施形態において」、「ある実施形態において」、または「実施形
態において」の言い回しが現れる場合、必ずしも同じ実施形態を指しているわけではない
。
【００４３】
Ａ．概要
本明細書においてユーザーに優しく頑強な自動再較正を有し任意に指定された視点に対
し遠近の正しい影像を表示できる適応型プロジェクター表示システム向けのシステムおよ
び方法が呈示される。多くの研究者がこの問題に関心を持ち、異なる方法を提案している
。これまでの試みでは表示の非平面状の表面が使用される場合に生じる幾何学的歪みを補
正する一般的な方法が説明されている。他の方法では自動較正を行なうことが提案され、
これにより表示設定が変わった場合に表示が中断されるのを避ける。いくつかの自動較正
手法では較正補助物（例、投影影像における感知できない較正パターン）を用いている。
受動的なものは代わりにユーザーの影像における特徴を検出の上照合して自動的に表示面
の幾何学的形状を推定する。
【００４４】
これらの手法のほとんどは固定された視点を仮定しており、定まった内部投影行列を有
するプロジェクターの再構成および追跡に立体カメラのペアを典型的には用いる。これら
の方法は他の表示の選択肢に比べいくつかの利点を提供するものの、システム較正はしば
しば冗漫な仕事となる。その上、新しい視点の位置に対し表示するために再較正が必要と
なる。
【００４５】
本明細書において呈示されるシステムおよび方法はこれまでのこれらの方法と基本的に
異なる。第1に、実施形態において、本システムおよび方法はカメラをプロジェクターと
併せて表示面の細やかな（ピクセル毎のレベル）詳細を再構成する。これまでの方法とは
対称的に、観察カメラとプロジェクターを用いて立体ペアが形成される。第2に、実施形
態において、システムおよび方法は表示の際プロジェクターの内部および外部（ポーズ）
投影行列双方の変更を可能にする。第3に、実施形態において、システムおよび方法はさ
らに視点の位置をユーザーが望む任意の変更を可能にする。
【００４６】
本明細書に呈示されるシステムおよび方法はこれまでの方法における前述の制限を緩和
する。実施形態において、任意の表示面で単一のカメラおよび単一のプロジェクターによ
り任意の内部および外部（ポーズ）を有するプロジェクターおよびポーズを自動的に再較
正し、さらに任意の望まれる視点に対し表示することができる。
【００４７】
Ｂ．方法の実施形態
１．全般的な方法
図1は本発明の各種実施形態によるプロジェクター―カメラシステムの自動較正の全般
的な方法を呈示する。図2は本発明の各種実施形態による典型的なプロジェクター―カメ
ラシステムを描く。システム200はプロジェクター210およびカメラ220を有してなり、こ
れらは各々演算システム230に連結されている。演算システム230はプロジェクター210と
インターフェイスして投影用に画像をプロジェクター210に供給し、カメラ220とインター
フェイスしてカメラ220で取り込まれた画像を受信する。また表示面240も描かれており、
これは任意の非平面状の表面であることができる。
【００４８】
図1に描かれる実施形態において、方法100はカメラおよびプロジェクターの内部および
外部パラメーターを較正すること（ステップ105）から開始される。較正されたプロジェ
クター―カメラの立体ペアが与えられると表示面を再構成すること（ステップ110）がで
きる。表示面を再構成すると表示面点のセット経由でプロジェクターピクセルのセットを
カメラピクセルにマップする対応が確立される。プロジェクターまたはカメラが動かされ
た場合、および／またはプロジェクターの補正のためにこの表示面への対応を用いて（ス
テップ115）プロジェクター―カメラシステムを再較正する手助けとすることができる。
これらの工程のさまざまな実施形態が以下に説明される。
【００４９】
２．カメラおよびプロジェクターの内部および外部パラメーターの較正
図3は発明の各種実施形態によりカメラおよびプロジェクターを較正する方法300を描く
。図3の方法300はカメラおよびプロジェクターの内部および外部パラメーターを較正する
ステップ（ステップ105）（図1）に用い得る方法の実施形態である。
【００５０】
プロジェクター（例、プロジェクター210）はピンホールカメラの双対として扱うこと
ができ、その内部および外部パラメーターはカメラ（例、カメラ220）のそれらと同じよ
うに表現することができる。実施形態において、赤―白色の市松模様（当業者であれば他
の色を用い得ることを理解しよう）が表示面240などの平面状の台板上に配置される305。
同じ行および列数の別の緑―白色の市松模様（当業者であれば他の色を用い得ることを理
解しよう）が台板上に投影される（ステップ310）。市松模様の画像のセットをカメラで
取り込むこと（ステップ315）ができる。角など、パターンの部分は特徴付ける点として
検出することができ（ステップ320，340）、較正に用いることができる（ステップ325，3
45）。
【００５１】
【００５２】
真の赤の市松パターンおよび緑の投影パターンを含む画像のセットを取り込むこと（ス
テップ315）により、推定された画像の角のセットxprを求めることができる。従って、較
正プロセスはカメラを較正する場合と全く同じ方法である。
実施形態において、プロジェクターとカメラは同じ座標システム内で較正されると予想
されるので、検出された角の順序をプロジェクター画像における真の市松およびパターン
と一貫させて置くことが重要である。
【００５３】
実施形態において、較正プロセスはカメラとプロジェクターの較正を切り離すことによ
り簡略化することができる。実施形態において、カメラの較正はZhangの方法など（限定
ではなく例として）の較正方法を用いて行なうことができ、これはZ．Zhang著の“A Flex
ible New Technique for Camera Calibration”（「カメラ較正向けの適応性のある新規
手法」）、IEEE Transactions on Pattern Analysis and Machine Intelligence，第22巻
、11号、1330―1334ページ、2000年、において説明され、引用により本明細書に全体とし
て組み入れられる。Zhangの較正方法は通常の当業者には周知されていることが特筆され
、また当業者であれば較正に他の方法を用いることができ、本発明にとっていずれの特定
の較正方法も肝要でないことを理解しよう。市松パターンを有する画像のセットをさまざ
まな位置およびポーズの平面に投影し（ステップ330）取り込むこと（ステップ335）がで
きる。カメラの投影行列、Pc、は既知でプロジェクターの投影行列、Pp、は演算されるこ
とが特筆される。
【００５４】
【００５５】
３．表示面の再構成
カメラとプロジェクターは有効な立体ペアを形成する。カメラおよびプロジェクターを
較正した後、三角形分割を用いて表示面を再構成することができる。図4は発明の各種実
施形態により表示面を再構成する方法を描く。
【００５６】
図4に描かれる実施形態において、方法400は表示面について逆光輸送行列または逆光輸
送行列の近似を得ること（ステップ405）により開始される。逆光輸送行列または逆光輸
送行列の近似を直接用いプロジェクターピクセルとカメラピクセルとの間の対応を取得す
ること（ステップ410）ができる。カメラ画像は通常プロジェクターより多くのピクセル
を含むので、各プロジェクターピクセルに対しカメラピクセルのパッチを数えることがで
きる。実施形態において、このカメラピクセルのパッチの図心を再構成用の対応ピクセル
として用いること（ステップ415）ができる。
【００５７】
較正プロセスはカメラおよびプロジェクターの投影行列をもたらし、これらは表示面を
再構成するのに用いることができる。実施形態において、三次元表示構造は画像平面への
逆投影により判定することができる。同次座標［u，v，1］およびその対応三次元座標X［
x，y，z，1］を有する各ピクセルについて、次が得られる。
【００５８】
【００５９】
カメラおよびプロジェクターについて既知のu、v、およびPが与えられると、カメラお
よびプロジェクターの各々に対し2つの一次方程式を生成することができる。実施形態に
おいて、Xについて4つの方程式の線形システムを解くのに特異値分解（SVD）を用いるこ
とができる。
【００６０】
三角形分割の後、各プロジェクター―カメラのピクセルのペアについて、対応の各ペア
に対応する三次元座標により表される点のセット、または点のクラウドが求められる420
。すなわち、各プロジェクターピクセルとその対応カメラピクセルについて、対応する三
次元の表示面点がある。
【００６１】
図5は本発明の各種実施形態によりプロジェクター―カメラの立体ペアを用いて表示面
を再構成する態様を示す。図5にはプロジェクター510、カメラ530、および非平面状の表
示面であり得る表示面550が描かれている。プロジェクター510は結び付いたプロジェクタ
ー画像515を有し、これはピクセルのアレイを有してなる。同様にカメラ530は結び付いた
カメラ画像535を有し、これはピクセルのアレイを有してなる。
【００６２】
表示面についてカメラ画像535をプロジェクター画像515に関連付ける光輸送行列、T（5
70）、を得ることができる。プロジェクター510から放射される光線は表示面550に向けら
れ、その中のいくらかは最終的にカメラセンサー535に到達する。プロジェクターにおけ
るピクセルからの光線はカメラに到達しm―x―nの画像を形成し、カメラにおける各ピク
セルは一定量の光を受ける。投影される画像を（p × q）× 1 のベクターpとして表し取
り込み画像を（m × n）× 1 のベクターcとして表すと、プロジェクターとカメラとの間
の光輸送はc = Tpと書くことができ、ここでTは光輸送行列と呼ばれる。
【００６３】
カメラとプロジェクターとの関係は図5において描かれる575ように逆光輸送行列T-1に
より表すことができる。逆光輸送行列T-1は未知のプロジェクター画像を推測したり任意
の場面において光の跳ね返り方を分析したりするなど多数の用途に有用である。例えば、
c=Tpでcが与えられるようなプロジェクター―カメラシステムを仮定すると、未知の p を
推測するために逆光輸送行列T-1を用いてプロジェクター画像、p＝T-1c、が演算される。
【００６４】
上述のように、カメラ画像は通常プロジェクターより多くのピクセルを含むため、各プ
ロジェクターピクセル（例、520）に対しカメラピクセルのパッチ（例、540）を数えるこ
とができる。実施形態において、再構成用にこのカメラピクセルのパッチ（例、540）の
図心（例、545）をI対応ピクセルとして用いることができる。
【００６５】
さらに図5に描かれているのは三次元の再構成表示面点のセット555である。実施形態に
おいて、プロジェクターのピクセル座標に対する表面の表示がまず考慮され、各プロジェ
クター・ピクセル（例、520）は表示面上の三次元の点（例、560）に対応し、この点はカ
メラ画像における対応（例、545）を有する。
【００６６】
実施形態において、表示面点のセットは画像雑音、数字エラー、および／または他の要
因による外れ値を含む可能性があるので、追加処理を行ない表示面点のセットを精緻化す
ること425ができる。当業者であれば雑音または他のアーティーファクトにより影響を受
けたデータのセットを精緻化するのにはいくつかの方法があり、これらの方法を本明細書
において用いることを理解しよう。図6は本発明の各種実施形態により表示面の再構成を
精緻化する方法を描く。
【００６７】
図6に描かれる方法600は表示面の位置の統計的特徴を計算すること（ステップ605）で
開始される。三次元表示面の位置の平均（平均値、中央値、または最頻値）［xm，ym，zm
］および偏差［dx，dy，dz］が計算される（ステップ605）。望まれる範囲の閾値が設定
され、望まれる範囲外の点は除外される（ステップ610）。実施形態において次の条件を
満足する点が選択される。
｜x―xm｜＜dx・α，｜y―ym｜＜dy・α，｜z―zm｜＜dz・α （9）
ここでαは閾値化係数である。実施形態において、αは2．8に設定された。しかし当業
者であれば他の値も用い得ることを理解しよう。実施形態において、αは異なる値で実験
を試みることにより経験的に選択することができる。
【００６８】
実施形態において、平均（平均値、中央値、または最頻値）および標準偏差の計算なら
びに外れ値を除外する閾値化のプロセスは点のセット全体に対して行なう代わりに点のセ
ットの各々（すなわち、局所領域）について行なうことができる。実施形態において、三
次元の表示面点の局所セットはプロジェクターの画像面またはカメラの画像面におけるピ
クセルの局所窓（例、5×5のピクセル窓）を選択し、三次元の表示面点の局所セットを画
像面のピクセルの局所窓に対応する点として設定することによって得ることができる。実
施形態において、閾値化プロセスは局所窓内で行なうことができるが、局所窓からではな
く点のセット全体から得た平均（平均値、中央値、または最頻値）および標準偏差を用い
ることができる。
【００６９】
閾値化の後、再構成された表示面点は外れ値が除外されたため空孔または無効の点を含
み得る。つまり、表示面のある点が除外されると（例、図5における565）、除外された表
示面点に対応したプロジェクター面におけるピクセルは対応する表示面点がないので「空
孔」を有する。当業者であればデータの1セットまたは複数のセット内のデータの隙間を
埋める方法はいくつかあり、補間を含むがこれに限定されないことを理解しよう。例えば
、実施形態において、空孔を埋めるためにドロネー三角形分割を有効な三次元座標を有す
る点のクラウドに適用し、次に空孔を含む最も近い三角形を用いて空孔を補間する。
【００７０】
別の実施形態において、プロジェクターは高解像度を有する可能性が高いので、ドロネ
ー三角形分割および補間方法は効率が悪いかもしれない（ドロネー三角形分割の最も速い
実施はO（n*log n）で、nはプロジェクターの解像度である（例、1024×768））。この問
題に対処するために、局所三角形分割および補間の方法を用いることができる。
【００７１】
図7は本発明の各種実施形態により再構成された表示面における空孔を効率的に埋める
方法を描く。図7に描かれる方法700の背後にある主要な概念は空孔（無効点）に対し最も
近い有効点（近傍システム）を用いて局所のドロネー三角形分割を演算することである。
各空孔について、ドロネー三角形分割および補間を行なうために充分な有効点がある近傍
として窓が動的に定義される。図7に示すように、実施形態において、限定ではなく例と
してチャムファー距離変換など、二次元の画像面に作用する距離変換を用いて空孔ピクセ
ルから有効ピクセルまでの距離が演算される（ステップ705）。
【００７２】
プロジェクターの画像面が検索されるにつれ空孔に遭遇すると、距離マップの極大が見
出され（ステップ710）、その距離が窓のサイズを定義する。実施形態において、極大は
勾配上昇方向に沿って検索することにより見出される。局所窓サイズに基づき、局所窓内
の対応する三次元表面の点がドロネー三角形分割で、これを用いて欠けている三次元の表
示面点を補間する（ステップ715）。
【００７３】
カメラは通常プロジェクターよりはるかに高い解像度を有することが特筆される。図5
に示すように、1つのプロジェクターピクセル（例、520）はいくつかのカメラピクセル（
例、540）に対応し得、計算に図心（例、545）が用いられたことを想起されたい。実施形
態において、補間を用いてカメラピクセルを埋めることができる。実施形態において、双
一次補間を用いてカメラピクセルの三次元の表示面点への対応を埋めることができる。
【００７４】
別の実施形態において、カメラピクセルの表示面への対応はプロジェクター面に関して
上述したのと同様の方法で行なうことができる。すなわち、実施形態において、補間は：
（1）距離マップを演算すること；（2）局所三角形分割のメッシュを構築すること；およ
び（3）局所三角形分割のメッシュ内で補間すること；により実施できる。しかし、当業
者であればカメラピクセルの対応マップを埋める他の方法を認知するであろうことが特筆
される。
【００７５】
結果として2つの対応マップ：プロジェクターピクセル対3D表示面の対応およびカメラ
ピクセル対3D表示面、があることが特筆される。また、プロジェクターピクセルは三次元
表示面のピクセル経由でカメラピクセルとの対応があることも特筆される。実施形態にお
いて、これらの対応は保存され、以下に説明するように高速再較正に用いることができる
。
【００７６】
４．投影補正および高速再較正
ａ）リアルタイムの幾何学的形状認識表示
実施形態において、遠近の正しい画像を観察カメラの視点から投影するために、遠近補
正は直接テクスチャーマッピングプロセスとしてモデル化される。実施形態において再構
成された表面は観察カメラの画像の座標システムに対し相関しているので、カメラの視点
から望まれる画像を定義することにより画像ピクセルは直接三次元の点のクラウドにマッ
プすることができる。
【００７７】
望まれる画像からプロジェクターの入力画像への歪みは次に直接表示問題としてモデル
化することができる。実施形態において、OpenGLを用い、望まれる画像からのテクスチャ
ーマッピングで頂点のアレイ（点のクラウドを表す）を表示する。しかし、当業者であれ
ば他のグラフィックスアプリケーションプログラミングインターフェイスも用い得ること
を理解しよう。グラフィックスに基づく歪みはさらにリアルタイムのビデオ投影を可能に
する。
【００７８】
本明細書において呈示されるシステムおよび方法の1つの利点はプロジェクターの動き
および視点変更という2つの良く直面する再較正シナリオに対処する柔軟性を提供するこ
とである。本明細書において呈示されるシステムおよび方法これらの変化に適応するため
に自動的再較正ができる。実施形態において、投影で覆われる表示面は非平面状であると
仮定される。
【００７９】
ｂ）プロジェクターの動きの再較正
実行時の際、プロジェクターが動くと逆光輸送変換により定義された補正がもはや有効
でなくなる。図8は本発明の各種実施形態によりプロジェクターの動きが原因でプロジェ
クター―カメラシステムを再較正する方法を示す。
【００８０】
実施形態において、プロジェクター―カメラシステムを再較正するには市松パターンな
ど、プロジェクター画像のすべてまたはかなりの部分を覆うパターンが投影される（ステ
ップ805）。パターンはプロジェクター画像において既知のピクセル位置を有する特徴を
有する。投影された画像は固定カメラにより取り込まれる（ステップ810）。市松パター
ンの角など、特徴点のセットが検出される（ステップ815）。実施形態において、“Robus
t Checkerboard Recognition For Efficient Nonplanar Geometry Registration In Proj
ector―Camera Systems”（「プロジェクター―カメラシステムにおける効率的な非平面
状幾何学的形状の位置決め用の頑強な市松認識」）、PROCAMS’08：Proceedings of the
5th ACM／IEEE International Workshop on Projector Camera Systems、1―7頁、New Yo
rk，NY，USA、2008年，ACMでW．Sun、X．Yang、S．Xiao、およびW．Huにより提案される
方法（引用により全体として本明細書に組み入れられる）を用いて非平面状の表示面によ
り導入される歪みの下で市松の角を検出することができる。しかし、いずれの特定検出方
法も本発明に肝要でないことが特筆される。
【００８１】
三次元の表示面点の点クラウドを有する幾何学的形状マップを用いて静止カメラにおい
て検出された特徴点ピクセルに対応する三次元点が得られる（ステップ820）。プロジェ
クター画像における特徴点は既知であるので、カメラ画像点との相関から見出された三次
元の表示面点をプロジェクター画像ピクセルに関連付ける対応が得られる（ステップ825
）。すなわち、プロジェクター入力画像とカメラで観察された画像との間で二次元のピク
セル対応が検出される。三次元表面点からカメラピクセルへの3D対2D対応は既知であるの
で、三次元表面点からプロジェクター入力画像ピクセルへの3D対2D対応を得ることができ
る。次に3D対2D対応マップからプロジェクターの新規投影行列を演算することができる。
実施形態において、これらの三次元点は非同一平面状と仮定することができ、従って新位
置、新方向、または新位置および新方向を意味するとみなされる新ポーズにおけるプロジ
ェクターの新規投影行列、P、を得るのに充分な制約を提供する。
【００８２】
実施形態において、新規投影行列、P、は次のように得ることができる（830）。二次元
のプロジェクター画像ピクセル座標（x）と三次元の表示面点（X）との間における2D―3D
点対応（x，X）のN個のペア が与えられると、変換は次の方程式により与えられる。
【００８３】
【００８４】
従って、N 個の対応は2N個の一次方程式をもたらす。実施形態において、投影行列を解
くのに特異値分解（SVD）が用いられる。
実施形態において、OpenGL において投影行列を変えることにより新しいプロジェクタ
ー位置に対する正しい歪みを表示することができる。三次元点が同じ平面上に位置しない
場合、制約は一意性の解を決定するのに充分であることが特筆される。そうでない場合は
両義性があるかもしれない。しかし、これはいずれの解も再投影エラーを最小化すること
を目的としているので通常表示結果に影響しない。
【００８５】
ｃ）新規視点位置の投影
以前のシステムに対し、本システムおよび方法は固定された観察カメラ位置からのみで
はなく、任意の視点展望を作り出すことができる。プロジェクターから投影される1つの
画像または複数の画像が取り込まれる新しい視点位置はカメラ、人、または人のグループ
であり得るビュアーにより取り込まれ得る（見られる）ことが特筆される。
図9は本発明の各種実施形態によりカメラの動きが原因でプロジェクター―カメラシス
テムを再較正する方法を示す。
【００８６】
実施形態において、静止観察カメラと同じ組み込み関数を有する仮想目視カメラを考察
し、仮想目視カメラの投影中心（COP）をユーザーの望む位置に位置付ける。仮想目視カ
メラの初期の較正に用いられた固定取り込みカメラに対する移動と回転が計算される（90
5）。実施形態において、移動および回転情報はカメラの投影行列に対し同じ内部行列を
仮定しカメラの行列から内部行列を除外することにより得ることができる。別の実施形態
において、移動および回転情報はレーザーポインターとセンサー、高周波識別タグ、赤外
線ポインターとセンサー、等々、などの位置装置から得ることができる。実施形態におい
て、位置装置はリモコン内に埋め込められていても良く、リモコンの位置が目視位置とし
て用いられる。さらに別の実施形態において、ユーザーインターフェイスがプロジェクタ
ー表示環境を描き、ユーザーから異なる視点を指定する入力を受信することができる。現
在の視点と比較した新規視点の選択を用いて移動および回転情報を演算することができる
。
【００８７】
同じ内部パラメーターを用い、仮想カメラの新投影行列が演算される（910）。実施形
態において、新投影行列は内部パラメーターに移動および回転情報を掛けることにより演
算することができる。
【００８８】
実施形態において、新視点について再較正する別の方法は観察カメラを望まれる視点位
置に配置すること、元の光輸送行列を用いて投影される場面の画像を撮ること、および次
に投影画像とカメラで取り込まれた画像との間で特徴対応を見出すことを有してなる。投
影ピクセルから3D表面点への2D対3Dの対応は既知で、表面点からカメラピクセルへの3D対
2D対応は容易に得ることができる。従って、方程式x = PX を用いて新しい投影行列を直
接演算することができる。カメラの投影行列のこの再較正は1つの画像のみ必要で、非常
に速いことに注目されたい。
【００８９】
実施形態において、遠近の正しい画像を新視点から投影するために、テクスチャーマッ
ピングプロセスを修正することができる。実施形態において、テクスチャーマッピングは
頂点シェーダープログラムとして実施することができる。カメラの新しい投影行列を頂点
シェーダーの入力として設定することができ（915）、三次元の点のクラウドにおけるす
べての頂点のテクスチャー座標は投影行列を用いて頂点をカメラの新しい画像平面に投影
することにより演算される。
【００９０】
５．新投影行列の下で投影の演算
一旦カメラの視点またはプロジェクターの位置が変化すると、プロジェクターとカメラ
間の光輸送行列はもはや正確でなくなる。新しいカメラ／プロクジェクター位置に対する
更新光輸送行列を演算する必要がある。実施形態において、更新光輸送行列は元の光輸送
行列を置換することにより得ることができる。
【００９１】
例えば、実施形態において、プロジェクターが位置を変えた場合次のプロセスを用いて
更新光輸送行列を演算することができる。光輸送行列の行毎（例、r0）について、これは
元のプロジェクターピクセル（例、x0，y0）に対応し、その対応する三次元の表示面点は
対応マップを用いて見出される。次に、新プロジェクター投影行列を用いて三次元表示点
が表示され、その新しいピクセル座標（例、［x1，y1］）およびその新しい行位置（例、
r1）が得られる。実施形態において、ピクセル座標が整数でない場合、ピクセルの局所の
近傍内（例、4つの隣接ピクセル）でサブピクセルの補間を実施することができる。実施
形態において、列を置換して新光輸送行列を演算するのに同様の手順を適用することがで
きる。
【００９２】
実施形態において、リアルタイムの実行を達成するために、新光輸送行列の演算および
光輸送行列とカメラ画像の乗算を演算することはカリフォルニア州サンタクララ市のNVID
IA社により販売されるCompute Unified Device Architecture（CUDA）GPUなどの図形処理
装置（GPU）を用いて行なうことができる。
【００９３】
実施形態において、表示面がほぼ全面的に白で、放射性歪みを無視できる場合、対応マ
ップで光輸送行列を簡略化することができる。従って、再較正はマルチパス表示を用いて
GPUのグラフィックスパイプラインを利用することにより直接得ることができる。具体的
に、観察カメラ（目視カメラ）が位置を変えると、3D対2Dの対応マップを用いてすべての
表面点にピクセル色を割り当てることができる。また、三次元の表示面点はプロジェクタ
ー画像平面に投影され、三次元の表示面点の色からピクセルの色値を割り当てられる。実
施形態において、これらの工程は頂点シェーダーを用いて直接行なうことができる。従っ
て、ツーパス表示は視点位置において望まれる画像の遠近の正しい投影を実現するプロジ
ェクターの入力としての画像を直接出力する。同様のプロセスはプロジェクターの位置を
変えた場合に適用することができる。
【００９４】
６．インタラクティブな描画およびテクスチャリング
表示面のピクセルレベルの幾何学的形状（点のクラウド）が与えられると、インタラク
ティブは幾何学的形状認識の描画機能を実施できることが特筆される。グラフィカルユー
ザーインターフェイスまたは他種のユーザーインターフェイス経由で、ユーザーは任意の
ユーザー選択された視野から1つの画像または複数の画像を作成または描画することがで
きる。もたらされる画像は正しく見るために歪められ、表示面に投影することができる。
【００９５】
実施形態において、システムによりユーザーは表示面上の範囲を選択し、任意の望まれ
る1つの画像または複数の画像をテクスチャーとして指定し、選択された表示面領域にマ
ップすることができる。例示に目的から図10に示される描画を考察する。例えば実施形態
において、システムは表示環境1000―Aおよび1000―Bまたは表示面1040をユーザーに表示
することができる。ユーザーは鑑賞および視点位置（例、1050―A、1050―B）として表示
面1040のある領域（例、1055―A、1055―B）をハイライトまたは別途選択することができ
る。最初に較正されたプロジェクター―カメラシステム（1010、1020、および1030）は視
点位置の変化（例、1050―Aから1050―Bへ）を用いて新視点位置（例、1050―B）から正
しく見るために画像を調節することができる。
【００９６】
表示面は密な点のクラウドを形成する点のセットとして表されるので、直接的な単純な
頂点選択アルゴリズムは、特に点のクラウド高解像度であり得るカメラの画像の座標シス
テムに関して用いられているので、時間がかかるかもしれない。ユーザーが描画／画像機
能をリアルタイムでインタラクティブであることを望む場合新しい選択に適応する性能は
重要であるかもしれない。実施形態において、選択および画像調節を高速化するために表
示面点の点クラウドを記憶してアクセスを向上させることができる。例えば、実施形態に
おいて4分木に基づく詳細レベル方法を用いて点のクラウドを記憶し選択を粗から細の形
で実施することができ、それにより実行時をO（n）からO（log n）に削減できる。
【００９７】
Ｃ．システムの実施形態
本発明の各種実施形態によるプロジェクター―カメラシステムを示す。描かれているのは
通信上プロジェクター1110およびカメラ1120に連結された撮像システム1105である。図11
に描かれる実施形態において、撮像システム1105はプロジェクター1110とインターフェイ
スするプロジェクタードライバー1115を有してなる。プロジェクタードライバー1115はプ
ロジェクター1110に画像を供給し、これには限定ではなく例として遠近の正しい鑑賞用に
調節された特徴および画像のセットを有してなる1つ以上の画像を含む。図11に描かれる
実施形態において、撮像システム1105はカメラ1120とインターフェイスするカメラドライ
バー1125を有してなる。カメラドライバー1125はカメラ1120から画像を受信し、これは限
定ではなく例として特徴のセットを有してなる1つ以上の画像を含む。
【００９８】
実施形態において、撮像システムはカメラにより取り込まれる1つの画像または複数の
画像を受信するよう通信上連結される特徴点検出器1130を有してなる。特徴点検出器1130
は取り込まれた1つの画像または複数の画像を調べ、特徴点のカメラピクセル位置を特定
する。例えば、実施形態において、プロジェクタードライバー1115はプロジェクター1110
に市松パターンの画像のセットを表示させ、カメラドライバー1125はカメラ1120に市松パ
ターンの画像のセットを取り込ませ、特徴点検出器1130は市松パターンの画像のセットを
調べて特徴点を見つける。実施形態において、特徴点検出器1130はプロジェクター画像に
おける特徴点位置を受信しその情報を用いて取り込まれた1つの画像または複数の画像に
おける特徴点を見つけることに役立てる。当業者であれば特徴点検出器1130はいくつかの
特徴点検出方法のいずれをも実施できることを理解しよう。
【００９９】
実施形態において、撮像システム1105はさらにプロジェクターピクセルと取り込み画像
ピクセル間で相関する特徴点に関する情報を受信するホモグラフィ計算器1135も有してな
る。上述のように、既知のプロジェクターピクセルおよび検出されたカメラピクセルが与
えられると、プロジェクター―カメラピクセルのペアを用いてホモグラフィを演算するこ
とができる。実施形態において、ホモグラフィ計算器1135はさらにホモグラフィ変換の逆
も計算する。別の実施形態において、撮像システム1105はホモグラフィを受信しその逆を
演算する逆ホモグラフィ計算器（図示せず）を有してなる。
【０１００】
実施形態において、撮像システム1105はさらにカメラおよびプロジェクターの投影行列
を計算する投影行列計算器1140を有してなる。実施形態において、投影行列計算器1140は
例えば図1、3、8、および9に関連した方法に関して説明されたように上述の1つ以上の方
法を用いて投影行列を計算する。当業者であれば投影行列計算器は投影行列を計算するい
くつかの方法のいずれをも実施できることを理解しよう。
【０１０１】
実施形態において、撮像システム1105はさらにプロジェクターピクセルと取り込み画像
ピクセル間の光輸送行列を演算する光輸送行列計算器1145も有してなる。実施形態におい
て、光輸送行列計算器1145はさらに光輸送行列の逆の少なくとも近似を演算する。別の実
施形態において、撮像システム1105は光輸送行列を受信してその逆の少なくとも近似を演
算する逆光輸送行列計算器（図示せず）を有してなる。実施形態において、光輸送行列の
直交版である視点投影行列を用いることができ、視点投影行列の逆を逆光輸送行列の少な
くとも近似として用いることができ、これは35 U．S．C．§119（e）の下で、2006年1月2
4日に出願の米国仮出願番号60／762，178の特典を主張する2006年12月19日に出願の米国
特許出願番号11／613，129の特典を主張する2007年1月12日に出願の米国特許出願番号11
／623，016（公開番号US 2007／0171382 A1）において考察され、各々引用により全体と
して本明細書に組み入れられる。
【０１０２】
実施形態において、撮像システム1105は逆光輸送行列から得られたプロジェクターピク
セルとカメラピクセル間の対応を用いて三次元の表示面点を三角形分割する表示面再構成
器1150を有してなる。実施形態において、表示面再構成器1150は図4に関連した方法に関
し説明された1つ以上の方法を実施することができる。実施形態において、表示面再構成
器1150はさらに追加的な後処理も実施する。例えば、表示面再構成器1150は上述のように
三次元の表示面点を精緻化することができる。実施形態において、表示面再構成器1150は
図6および7に関連した方法に関し考察された1つ以上の方法を実施することにより表示面
点を精緻化することができる。
【０１０３】
実施形態において、撮像システム1105はテクスチャーマッピング用のテクスチャーマッ
パー1155を有してなる。各種実施形態において、テクスチャーマッパー1155は頂点シェー
ダーとして実施されることができる。
【０１０４】
実施形態において、撮像システム1105はユーザーと本発明の実施形態とのインタラクシ
ョンを促進するユーザーインターフェイスモジュール1160を有してなる。ユーザーインタ
ーフェイス1160はユーザーインターフェイスがユーザーに対し図形的に表示環境を描くグ
ラフィカルユーザーインターフェイスであって良い。実施形態において、ユーザーインタ
ーフェイスはユーザーからの入力を受信することができる。入力は：新視点位置の画像が
見る者に引き続き遠近が正しいように変更される、表示環境のユーザーによる変更、任意
のユーザー選択の視野からの表示画像に対する編集；等々を含むことができる。図10はユ
ーザーに呈示され、プロジェクターが画像を表示するための表示環境の部分をユーザーが
選択でき、さらにユーザーがユーザー視点を選択し得る表示環境の例を描く。
【０１０５】
実施形態において、撮像システム1105は差次元表示面点の効率的な記憶およびアクセス
を促進する4分木データストア1165を有してなる。実施形態において、4分木データストア
は三次元の表示面点1165の少なくともいくつかを記憶するために4分木の詳細レベル方法
を用いる。
【０１０６】
実施形態において、演算システムは本明細書に呈示される1つ以上の方法を実施するよ
う構成され得る。本明細書に説明される方法の少なくとも1つ以上を実施するシステムは
プロジェクターおよびカメラとインターフェイスを取り、またはこれらからデータを（直
接的および／または間接的に）受信する演算システム上で実行される較正アプリケーショ
ンを有してなり得る。演算システムは1つ以上のコンピューターを有してなることができ
、1つ以上のデータベースを含むことができる。実施形態において、較正アプリケーショ
ンはプロジェクターまたはカメラの一部であっても良く、または独立した装置であっても
良い。
【０１０７】
本発明は画像データを処理し得る任意の命令実行／演算装置またはシステムにおいて実
施できることが特筆され、これには汎用コンピューターおよびデータまたは画像処理用な
どの特定コンピューターが含まれるがこれらに限定されない。本発明の態様はデジタルカ
メラ、プロジェクター、マルチメディア装置、および画像を投影、処理、取り込み、伝送
、または記憶する他の任意の装置を含むがこれらに限定されず、他の演算装置およびシス
テムに実装され得ることが特筆される。さらに、本発明の態様は任意の装置内でソフトウ
ェア、ハードウェア、ファームウェア、またはこれらの組み合わせを含み、広範囲な形で
実施することができる。例えば、本発明の様々な態様を実施する機能は個々の論理部品、
1つ以上の特定用途向け集積回路（ASIC）、および／またはプログラム制御プロセッサー
を含み広範囲な形で実装される部品により実施することができる。これらの部品が実装さ
れる形は本発明に肝要ではないことが特筆される。
【０１０８】
図12は本発明の実施形態を実施または具現し得る命令実行／演算装置1200の実施形態の
機能的ブロック図を描く。図15に示すように、プロセッサー1202がソフトウェア命令を実
行し、他のシステム・コンポーネントとやりとりする。
一実施形態において、プロセッサー1202は（限定ではなく例として）AMD（登録商標）
プロセッサー、INTEL（登録商標）プロセッサー、SUN MICROSYSTEMS（登録商標）プロセ
ッサー、またはPOWERPC（登録商標）対応CPUなどの汎用プロセッサーであることができ、
またはプロセッサーは特定用途向けの1つまたは複数のプロセッサーであることができる
。
【０１０９】
プロセッサー1202に連結された記憶装置1204はデータおよびソフトウェア・プログラム
の長期的記憶を提供する。記憶装置1204はハードディスク・ドライブおよび／またはコン
ピューター読み取り可能な媒体（例、ディスケット、テープ、コンパクトディスク、DVD
、等々）のドライブまたはソリッドステート記憶装置などデータを記憶できる別の装置で
あって良い。記憶装置1204はプロセッサー1202で使用するプログラム、命令、および／ま
たはデータを収納することができる。
【０１１０】
一実施形態において、記憶装置1204に記憶されそこからロードされるプログラムまたは
命令はメモリー1206にロードされ、プロセッサー1202により実行される。
一実施形態において、記憶装置1204はプロセッサー1202でオペレーティングシステムを
実施するプログラムまたは命令を収納する。
一実施形態において、考えられるオペレーティングシステムはUNIX（登録商標）、AIX
（登録商標）、LINUX（登録商標）、Microsoft（登録商標）Windows（登録商標）、およ
びApple（登録商標）MAC（Ｍａｃｉｎｔｏｓｈ（登録商標））OSが含まれるが、これらに
限定されない。実施形態において、オペレーティングシステムは演算システム1200上で実
行し、システムの稼動を制御する。
【０１１１】
プロセッサー1202に連結されるアドレス可能なメモリー1206はデータおよびプロセッサ
ー1202により実行されるソフトウェア命令を記憶するのに使用することができる。メモリ
ー1206は例えばファームウェア、読み取り専用メモリー（ROM）、フラッシュメモリー、
不揮発性ランダムアクセスメモリー（NVRAM）、ランダムアクセスメモリー（RAM）、また
はこれらの任意の組み合わせであって良い。一実施形態において、メモリー1206は別途サ
ービス、ユーティリティー、コンポーネント、またはモジュールとして知られるソフトウ
ェア・オブジェクトをいくつか記憶している。当業者であれば、さらに記憶1204およびメ
モリー1206は同じ品目で双方の立場で機能し得ることを理解しよう。一実施形態において
、本明細書に描かれる方法の1つ以上はメモリー1204、1206などのコンピューター読み取
り可能な媒体に記憶される1つ以上のモジュールに具現されプロセッサー1202により実行
され得る。
【０１１２】
一実施形態において、演算システム1200は他の装置、他のネットワーク、または双方と
通信する能力を提供する。演算システム1200は1つ以上のネットワークインターフェイス
またはアダプター1212、1214を含み、演算システム1200を他のネットワークおよび装置と
通信上連結することができる。例えば、演算システム1200はネットワークインターフェイ
ス1212、通信ポート1214、または双方、を含むことができ、これらの各々はプロセッサー
1202に通信上連結され、演算システム1200を他のコンピューターシステム、ネットワーク
、および装置に連結するために使用することができる。
【０１１３】
一実施形態において、演算システム1200はプロセッサー1202に連結されグラフィックス
およびテキストの表示を容易にする1つ以上の出力装置1208を含むことができる。出力装
置1208はディスプレイ、LCD画面、CRTモニター、プリンター、タッチ画面、または情報を
表示する他の装置を含むことができるが、これらに限定されない。演算システム1500はさ
らに出力装置1508に情報または画像を表示するのを補助するグラフィックス・アダプター
（図示せず）を含むことができる。演算システム1200はさらに出力装置1208における情報
または画像の表示を補助するグラフィックスアダプター（図示せず）を含み得る。
【０１１４】
プロセッサー1202に通信できるよう連結される1つ以上の入力装置1210を用いてユーザ
ー入力を円滑にすることができる。入力装置1210はマウス、トラックボール、またはタッ
チ・パッドなどのポインター装置を含むことができるが、これらに限定されず、さらにデ
ータまたは命令を演算システム1200に入力するためにキーボードまたはキーパッドを含む
ことができる。
【０１１５】
一実施形態において、演算システム1200は通信ポート1214、ネットワークインターフェ
イス1212、メモリー1204／1206に記憶されるデータ、または入力装置1210を通して、スキ
ャナー、コピー機、ファクシミリ機、または他の演算装置から入力を受信することができ
る。
【０１１６】
当業者であれば、本発明の実施にいずれの演算システムも肝要ではないことを理解しよ
う。当業者であればさらに上述の構成要素のいくつかはサブ・モジュールに物理的および
／または機能的に分けられ、または組み合わせられることを理解しよう。
【０１１７】
本発明の実施形態はさらに各種コンピューター実施の操作を行なうためのコンピュータ
ーコードを有するコンピューター読み取り可能な媒体を有するコンピューター製品に関わ
ることができることが特筆される。媒体およびコンピューターコードは本発明の目的のた
めに特別に設計され構築されたものでも良く、または該当技術の当事者に知られ、利用可
能な種類のものであっても良い。コンピューター読み取り可能な媒体の例は：ハードディ
スク、フロッピーディスク、および磁気テープなどの磁気媒体；CD―ROMおよびホログラ
フィー装置などの光媒体；光磁気媒体；ならびに特定用途向け集積回路（ASIC）、プログ
ラマブル論理装置（PLD）、フラッシュメモリー装置、およびROMやRAM装置など、プログ
ラムコードを記憶し、または記憶して実行するよう特別に構成されるハードウェア装置；
を含むがこれらに限定されない。コンピューターコードの例はコンパイラーにより作成さ
れるような機械コード、およびインタープリターを用いてコンピューターにより実行され
るより高位レベルのコードを含むファイルを含む。
【０１１８】
本発明の実施形態は全体としてまたは一部コンピューターにより実行されるプログラム
モジュールにある機械実行可能な命令として実施することができる。プログラムモジュー
ルの例はライブラリー、プログラム、ルーチン、オブジェクト、コンポーネント、および
データ構造を含む。分散演算環境において、プログラムモジュールは物理的にローカル、
遠隔、または双方の環境に所在することができる。
【０１１９】
当業者であれば前述の例および実施形態は例示的で、本発明の範囲を限定しないことを
理解しよう。明細書を読み、図面を調べることにより当業者に明らかになるこれらに対す
る置換、拡張、等価物、および改良は本発明の精神および範囲内に含まれる。従って続く
クレームは本発明の精神および範囲内に入るこのような修正、置換および等価物を含むこ
とが意図される。従って、以下のクレームは本発明の精神および範囲に含まれるこのよう
な修正、置換、および等価物を含むことが意図される。
【符号の説明】
【０１２０】
２００ システム、２１０ プロジェクター、２２０ カメラ、２４０ 表示面、５１
０ プロジェクター、５１５ プロジェクター画像、５３０ カメラ、５３５ カメラ画
像。
【特許請求の範囲】
【請求項１】
各々表示面に向けられるカメラおよびプロジェクターを有してなるプロジェクターシス
テムを較正する方法であって、
プロジェクターピクセルのセットを表示面点のセット経由でカメラピクセルのセットに
マップする対応を得るステップと、
前記プロジェクターが異なるポーズにあることに応答して、
前記プロジェクターを用いて特徴点のセットを前記表示面に投影するステップであって
、前記特徴点のセットは既知のプロジェクターピクセル位置を有するステップと、
前記カメラを用いて前記特徴点のセットの少なくとも一部を取り込むステップと、
前記特徴点のセットから検出特徴点のセットを検出するステップと、
前記検出特徴点のセットの少なくともいくらかを用いて前記プロジェクターピクセルを
前記カメラピクセルに相関させるステップと、
前記対応を用い、前記相関されたプロジェクターピクセルを前記表示面点のセットから
の表示面点にマップするステップと、
前記マップされた対応を用いて前記異なるポーズにおける前記プロジェクターに対する
新投影行列を得るステップと、
を有することを特徴とするプロジェクターシステムを較正する方法。
【請求項２】
前記プロジェクターピクセルのセットを表示面点のセット経由でカメラピクセルのセッ
トにマップする対応を得るステップは、
前記プロジェクターに対するプロジェクター投影行列および前記カメラに対するカメラ
投影行列を得るステップと、
逆光輸送行列の少なくとも近似を用いて前記プロジェクターピクセルと前記カメラピク
セルとの相関を得るステップと、
前記プロジェクターピクセルと前記カメラピクセルとの相関、前記プロジェクター投影
行列、および前記カメラ投影行列を用いて前記表示面点のセットと対応を得るステップを
有する請求項１に記載のプロジェクターシステムを較正する方法。
【請求項３】
前記プロジェクターピクセルと前記カメラピクセルとの相関、前記プロジェクター投影
行列、および前記カメラ投影行列を用いて前記表示面点のセットと対応を得るステップは
、
プロジェクター画像面およびカメラ画像面から、逆投影して前記表示面点のセットにお
ける少なくともいくつかの表示面点に対する位置を三角形分割するステップを有する請求
項２に記載のプロジェクターシステムを較正する方法。
【請求項４】
前記表示面点のセットを精緻化するステップをさらに有する請求項２に記載のプロジェ
クターシステムを較正する方法。
【請求項５】
前記表示面点のセットを精緻化するステップは、
前記表示面点のセットから外れ値点のセットを特定するステップと、
前記表示面点のセットから前記外れ値点のセットを除外するステップと、
前記除外された外れ値点のセットに差し替える差し替え点のセットを生成するステップ
とを有する請求項４に記載のプロジェクターシステムを較正する方法。
【請求項６】
前記除外された外れ値点のセットに差し替える差し替え点のセットを生成するステップ
は、
前記外れ値点のセットから除外された各点について、有効な表示面点のセットを用いて
除外された点に対し値を補間するステップを有する請求項５に記載のプロジェクターシス
テムを較正する方法。
【請求項７】
前記有効な表示面点のセットを用いて除外された点に対し値を補間するステップは、
前記外れ値点のセットの少なくともいくらかから非除外表示面点のセットへ距離マップ
を演算するステップと、
前記外れ値点のセットから除外された1つの点に対して、
前記距離マップの極大を用いて局所窓を定義するステップと、前記局所窓内にある非除
外表示面点の少なくともいくつかを用いてドロネー三角形分割を演算し前記除外された点
に対し値を補間するステップとを有する請求項６に記載のプロジェクターシステムを較正
する方法。
【請求項８】
前記新投影行列を用いて前記プロジェクターにより投影される画像を変更するステップ
をさらに有する請求項１に記載されるプロジェクターシステムを較正する方法。
【請求項９】
各々表示面に向けられるカメラおよびプロジェクターを有してなるプロジェクターシス
テムを較正する方法であって、
プロジェクターピクセルのセットを表示面点のセット経由でカメラピクセルのセットに
マップする対応を得るステップと、
前記カメラの位置とは異なる位置に視点位置を有することに応答して、
前記視点位置に対し新カメラ投影行列を得るステップと、
前記対応を用いて新しい光投影行列を演算し、前記プロジェクターにより投影される画
像を変更するステップと、
を有することを特徴とするプロジェクターシステムを較正する方法。
【請求項１０】
前記対応を用いて新しい光投影行列を演算し、前記プロジェクターにより投影される画
像を変更するステップは、
新投影行列をテクスチャーマッパーの入力として設定するステップと、
前記新投影行列を用いて新視点位置の画像面に頂点を投影することにより、表示面点の
セットから表示点のセットにおけるすべての頂点に対しテクスチャー座標を演算するステ
ップとを有する請求項９に記載のプロジェクターシステムを較正する方法。
【請求項１１】
前記対応を用いて新しい光投影行列を演算し、前記プロジェクターにより投影される画
像を変更するステップは、
前記カメラと前記表示面との対応を用いて表示点のセットにおける各点に色値を割り当
てるステップと、
前記プロジェクター投影行列を用いて前記表示点のセットを前記プロジェクターの画像
面に投影するステップと、
前記投影された表示点のセットに基づき色値を割り当てるステップとを有する請求項９
に記載のプロジェクターシステムを較正する方法。
【請求項１２】
前記視点位置に対し新カメラ投影行列を得るステップは、
前記カメラ位置に対する前記視点位置の移動および回転を得るステップと、
前記カメラ位置に対する前記視点位置の前記移動および前記回転を用い、前記カメラの
内部パラメーターを用いて新投影行列を演算するステップとを有する請求項９に記載のプ
ロジェクターシステムを較正する方法。
【請求項１３】
ユーザーから前記視点位置の情報を受信するステップと、
前記視点位置の情報に基づき前記カメラ位置に対する前記視点位置の移動および回転を
演算するステップとをさらに有する請求項１１に記載のプロジェクターシステムを較正す
る方法。
【請求項１４】
前記ユーザーから前記視点位置の情報を受信するステップは、
前記表示面の描写および前記カメラの位置を有する表示環境を表示するステップと、
前記表示環境における視点位置を示す前記視点位置情報をユーザーから受信するステッ
プとを有する請求項１３に記載のプロジェクターシステムを較正する方法。
【請求項１５】
前記視点位置に対し新カメラ投影行列を得るステップは、
前記プロジェクターを用いて特徴点のセットを投影するステップであって、前記特徴点
のセットは既知のプロジェクターピクセル位置を有するステップと、
前記カメラを用いて前記特徴点のセットの少なくとも一部を取り込むステップと、
前記特徴点のセットから検出特徴点のセットを検出するステップと、
前記検出特徴点のセットの少なくともいくらかを用いて前記プロジェクターピクセルを
前記カメラピクセルに相関させるステップと、
前記対応を用い、前記相関されたプロジェクターピクセルを前記表示面点のセットから
の表示面点にマップするステップと、
前記マップされた対応を用いて異なるポーズにおける前記プロジェクターに対する前記
新投影行列を得るステップとを有する請求項９に記載のプロジェクターシステムを較正す
る方法。
【請求項１６】
前記プロジェクターピクセルのセットを表示面点のセット経由でカメラピクセルのセッ
トにマップする対応を得るステップは、
前記プロジェクターに対するプロジェクター投影行列および前記カメラに対するカメラ
投影行列を得るステップと、
逆光輸送行列の少なくとも近似を用いて前記プロジェクターピクセルと前記カメラピク
セルとの相関を得るステップと、
前記プロジェクターピクセルと前記カメラピクセルとの相関、前記プロジェクター投影
行列、および前記カメラ投影行列を用い前記表示面点のセットと対応を得るステップとを
有する請求項９に記載のプロジェクターシステムを較正する方法。
【請求項１７】
前記プロジェクターピクセルと前記カメラピクセルとの相関、前記プロジェクター投影
行列、および前記カメラ投影行列を用い表示面点のセットと対応を得るステップは、
プロジェクター画像面およびカメラ画像面から逆投影して前記表示面点のセットにおけ
る少なくともいくつかの表示面点に対する位置を三角形分割するステップを有する請求項
１３に記載のプロジェクターシステムを較正する方法。
【請求項１８】
1つ以上のプロセッサーで実行すると前記1つ以上のプロセッサーは各々表示面に向けら
れるカメラおよびプロジェクターを有してなるプロジェクターシステムを較正する方法を
実行するプログラムであって、
プロジェクターピクセルのセットを表示面点のセット経由でカメラピクセルのセットに
マップする対応を得るステップと、
前記プロジェクターが異なるポーズにあることに応答して、
前記プロジェクターを用いて特徴点のセットを前記表示面に投影するステップであって
、前記特徴点のセットは既知のプロジェクターピクセル位置を有するステップと、
前記カメラを用いて前記特徴点のセットの少なくとも一部を取り込むステップと、
前記特徴点のセットから検出特徴点のセットを検出するステップと、
前記検出特徴点のセットの少なくともいくらかを用いて前記プロジェクターピクセルを
前記カメラピクセルに相関させるステップと、
前記対応を用い、前記相関されたプロジェクターピクセルを前記表示面点のセットから
の表示面点にマップするステップと、
前記マップされた対応を用いて前記異なるポーズにおける前記プロジェクターに対する
新投影行列を得るステップと、
を有することを特徴とするプログラム。
【請求項１９】
1つ以上のプロセッサーで実行すると前記1つ以上のプロセッサーは各々表示面に向けら
れるカメラおよびプロジェクターを有してなるプロジェクターシステムを較正する方法を
実行するプログラムであって、
プロジェクターピクセルのセットを表示面点のセット経由でカメラピクセルのセットに
マップする対応を得るステップと、
前記カメラの位置とは異なる位置に視点位置を有することに応答して、
前記視点位置に対し新カメラ投影行列を得るステップと、
前記対応を用いて新しい光投影行列を演算し、前記プロジェクターにより投影される画
像を変更するステップと、
を有することを特徴とするプログラム。
【請求項２０】
プロジェクターおよびカメラを有するプロジェクターシステムを再較正するコンピュー
ターシステムであって、
1つ以上のプロセッサーと、
前記1つ以上のプロセッサーと通信し、前記1つ以上のプロセッサーにより実行可能な命
令のセットを記憶する1つ以上のコンピューター読み取り可能な媒体とを有し、
前記命令のセットは、
プロジェクターピクセルのセットを表示面点のセット経由でカメラピクセルのセットに
マップする対応を得るステップと、
前記プロジェクターまたはプロジェクターにより投影される画像が鑑賞者により見られ
る視点位置のいずれかのポーズの変更に応答して、前記対応を用いて新投影行列を計算す
るステップとを有するコンピューターシステム。
【請求項２１】
前記ポーズの変更はプロジェクターであり、前記対応を用いて前記プロジェクターに対
する新投影行列を計算するステップは、
前記プロジェクターを用いて特徴点のセットを投影するステップであって、前記特徴点
のセットは既知のプロジェクターピクセル位置を有するステップと、
前記カメラを用いて前記特徴点のセットの少なくとも一部を取り込むステップと、
前記特徴点のセットから検出特徴点のセットを検出するステップと、
前記検出特徴点のセットの少なくともいくらかを用いて前記プロジェクターピクセルを
前記カメラピクセルに相関させるステップと、
前記対応を用い、前記相関されたプロジェクターピクセルを前記表示面点のセットから
の表示面点にマップするステップと、
前記マップされた対応を用いて異なるポーズにおける前記プロジェクターに対する新投
影行列を得るステップとを有する請求項２０に記載のコンピューターシステム。
【請求項２２】
前記ポーズの変更は、前記プロジェクターにより投影される画像が鑑賞者により見られ
る視点位置であり、前記対応を用いて前記プロジェクターに対する新投影行列を計算する
ステップは、
前記カメラ位置に対する前記視点位置の移動および回転を得るステップと、
前記カメラ位置に対する前記視点位置の前記移動および前記回転を用い、前記カメラの
内部パラメーターを用いて新投影行列を演算するステップと、
新しいカメラ投影行列を用いて前記プロジェクターにより投影される画像を変更する新
光投影行列を得るステップとを有する請求項２０に記載のコンピューターシステム。
【請求項２３】
プロジェクターと、
前記プロジェクターに接続された、請求項２０〜２２のいずれか一項に記載のコンピュ
ーターシステムと、
を有することを特徴とするプロジェクターシステム。
【請求項１】
各々表示面に向けられるカメラおよびプロジェクターを有してなるプロジェクターシス
テムを較正する方法であって、
プロジェクターピクセルのセットを表示面点のセット経由でカメラピクセルのセットに
マップする対応を得るステップと、
前記プロジェクターが異なるポーズにあることに応答して、
前記プロジェクターを用いて特徴点のセットを前記表示面に投影するステップであって
、前記特徴点のセットは既知のプロジェクターピクセル位置を有するステップと、
前記カメラを用いて前記特徴点のセットの少なくとも一部を取り込むステップと、
前記特徴点のセットから検出特徴点のセットを検出するステップと、
前記検出特徴点のセットの少なくともいくらかを用いて前記プロジェクターピクセルを
前記カメラピクセルに相関させるステップと、
前記対応を用い、前記相関されたプロジェクターピクセルを前記表示面点のセットから
の表示面点にマップするステップと、
前記マップされた対応を用いて前記異なるポーズにおける前記プロジェクターに対する
新投影行列を得るステップと、
を有することを特徴とするプロジェクターシステムを較正する方法。
【請求項２】
前記プロジェクターピクセルのセットを表示面点のセット経由でカメラピクセルのセッ
トにマップする対応を得るステップは、
前記プロジェクターに対するプロジェクター投影行列および前記カメラに対するカメラ
投影行列を得るステップと、
逆光輸送行列の少なくとも近似を用いて前記プロジェクターピクセルと前記カメラピク
セルとの相関を得るステップと、
前記プロジェクターピクセルと前記カメラピクセルとの相関、前記プロジェクター投影
行列、および前記カメラ投影行列を用いて前記表示面点のセットと対応を得るステップを
有する請求項１に記載のプロジェクターシステムを較正する方法。
【請求項３】
前記プロジェクターピクセルと前記カメラピクセルとの相関、前記プロジェクター投影
行列、および前記カメラ投影行列を用いて前記表示面点のセットと対応を得るステップは
、
プロジェクター画像面およびカメラ画像面から、逆投影して前記表示面点のセットにお
ける少なくともいくつかの表示面点に対する位置を三角形分割するステップを有する請求
項２に記載のプロジェクターシステムを較正する方法。
【請求項４】
前記表示面点のセットを精緻化するステップをさらに有する請求項２に記載のプロジェ
クターシステムを較正する方法。
【請求項５】
前記表示面点のセットを精緻化するステップは、
前記表示面点のセットから外れ値点のセットを特定するステップと、
前記表示面点のセットから前記外れ値点のセットを除外するステップと、
前記除外された外れ値点のセットに差し替える差し替え点のセットを生成するステップ
とを有する請求項４に記載のプロジェクターシステムを較正する方法。
【請求項６】
前記除外された外れ値点のセットに差し替える差し替え点のセットを生成するステップ
は、
前記外れ値点のセットから除外された各点について、有効な表示面点のセットを用いて
除外された点に対し値を補間するステップを有する請求項５に記載のプロジェクターシス
テムを較正する方法。
【請求項７】
前記有効な表示面点のセットを用いて除外された点に対し値を補間するステップは、
前記外れ値点のセットの少なくともいくらかから非除外表示面点のセットへ距離マップ
を演算するステップと、
前記外れ値点のセットから除外された1つの点に対して、
前記距離マップの極大を用いて局所窓を定義するステップと、前記局所窓内にある非除
外表示面点の少なくともいくつかを用いてドロネー三角形分割を演算し前記除外された点
に対し値を補間するステップとを有する請求項６に記載のプロジェクターシステムを較正
する方法。
【請求項８】
前記新投影行列を用いて前記プロジェクターにより投影される画像を変更するステップ
をさらに有する請求項１に記載されるプロジェクターシステムを較正する方法。
【請求項９】
各々表示面に向けられるカメラおよびプロジェクターを有してなるプロジェクターシス
テムを較正する方法であって、
プロジェクターピクセルのセットを表示面点のセット経由でカメラピクセルのセットに
マップする対応を得るステップと、
前記カメラの位置とは異なる位置に視点位置を有することに応答して、
前記視点位置に対し新カメラ投影行列を得るステップと、
前記対応を用いて新しい光投影行列を演算し、前記プロジェクターにより投影される画
像を変更するステップと、
を有することを特徴とするプロジェクターシステムを較正する方法。
【請求項１０】
前記対応を用いて新しい光投影行列を演算し、前記プロジェクターにより投影される画
像を変更するステップは、
新投影行列をテクスチャーマッパーの入力として設定するステップと、
前記新投影行列を用いて新視点位置の画像面に頂点を投影することにより、表示面点の
セットから表示点のセットにおけるすべての頂点に対しテクスチャー座標を演算するステ
ップとを有する請求項９に記載のプロジェクターシステムを較正する方法。
【請求項１１】
前記対応を用いて新しい光投影行列を演算し、前記プロジェクターにより投影される画
像を変更するステップは、
前記カメラと前記表示面との対応を用いて表示点のセットにおける各点に色値を割り当
てるステップと、
前記プロジェクター投影行列を用いて前記表示点のセットを前記プロジェクターの画像
面に投影するステップと、
前記投影された表示点のセットに基づき色値を割り当てるステップとを有する請求項９
に記載のプロジェクターシステムを較正する方法。
【請求項１２】
前記視点位置に対し新カメラ投影行列を得るステップは、
前記カメラ位置に対する前記視点位置の移動および回転を得るステップと、
前記カメラ位置に対する前記視点位置の前記移動および前記回転を用い、前記カメラの
内部パラメーターを用いて新投影行列を演算するステップとを有する請求項９に記載のプ
ロジェクターシステムを較正する方法。
【請求項１３】
ユーザーから前記視点位置の情報を受信するステップと、
前記視点位置の情報に基づき前記カメラ位置に対する前記視点位置の移動および回転を
演算するステップとをさらに有する請求項１１に記載のプロジェクターシステムを較正す
る方法。
【請求項１４】
前記ユーザーから前記視点位置の情報を受信するステップは、
前記表示面の描写および前記カメラの位置を有する表示環境を表示するステップと、
前記表示環境における視点位置を示す前記視点位置情報をユーザーから受信するステッ
プとを有する請求項１３に記載のプロジェクターシステムを較正する方法。
【請求項１５】
前記視点位置に対し新カメラ投影行列を得るステップは、
前記プロジェクターを用いて特徴点のセットを投影するステップであって、前記特徴点
のセットは既知のプロジェクターピクセル位置を有するステップと、
前記カメラを用いて前記特徴点のセットの少なくとも一部を取り込むステップと、
前記特徴点のセットから検出特徴点のセットを検出するステップと、
前記検出特徴点のセットの少なくともいくらかを用いて前記プロジェクターピクセルを
前記カメラピクセルに相関させるステップと、
前記対応を用い、前記相関されたプロジェクターピクセルを前記表示面点のセットから
の表示面点にマップするステップと、
前記マップされた対応を用いて異なるポーズにおける前記プロジェクターに対する前記
新投影行列を得るステップとを有する請求項９に記載のプロジェクターシステムを較正す
る方法。
【請求項１６】
前記プロジェクターピクセルのセットを表示面点のセット経由でカメラピクセルのセッ
トにマップする対応を得るステップは、
前記プロジェクターに対するプロジェクター投影行列および前記カメラに対するカメラ
投影行列を得るステップと、
逆光輸送行列の少なくとも近似を用いて前記プロジェクターピクセルと前記カメラピク
セルとの相関を得るステップと、
前記プロジェクターピクセルと前記カメラピクセルとの相関、前記プロジェクター投影
行列、および前記カメラ投影行列を用い前記表示面点のセットと対応を得るステップとを
有する請求項９に記載のプロジェクターシステムを較正する方法。
【請求項１７】
前記プロジェクターピクセルと前記カメラピクセルとの相関、前記プロジェクター投影
行列、および前記カメラ投影行列を用い表示面点のセットと対応を得るステップは、
プロジェクター画像面およびカメラ画像面から逆投影して前記表示面点のセットにおけ
る少なくともいくつかの表示面点に対する位置を三角形分割するステップを有する請求項
１３に記載のプロジェクターシステムを較正する方法。
【請求項１８】
1つ以上のプロセッサーで実行すると前記1つ以上のプロセッサーは各々表示面に向けら
れるカメラおよびプロジェクターを有してなるプロジェクターシステムを較正する方法を
実行するプログラムであって、
プロジェクターピクセルのセットを表示面点のセット経由でカメラピクセルのセットに
マップする対応を得るステップと、
前記プロジェクターが異なるポーズにあることに応答して、
前記プロジェクターを用いて特徴点のセットを前記表示面に投影するステップであって
、前記特徴点のセットは既知のプロジェクターピクセル位置を有するステップと、
前記カメラを用いて前記特徴点のセットの少なくとも一部を取り込むステップと、
前記特徴点のセットから検出特徴点のセットを検出するステップと、
前記検出特徴点のセットの少なくともいくらかを用いて前記プロジェクターピクセルを
前記カメラピクセルに相関させるステップと、
前記対応を用い、前記相関されたプロジェクターピクセルを前記表示面点のセットから
の表示面点にマップするステップと、
前記マップされた対応を用いて前記異なるポーズにおける前記プロジェクターに対する
新投影行列を得るステップと、
を有することを特徴とするプログラム。
【請求項１９】
1つ以上のプロセッサーで実行すると前記1つ以上のプロセッサーは各々表示面に向けら
れるカメラおよびプロジェクターを有してなるプロジェクターシステムを較正する方法を
実行するプログラムであって、
プロジェクターピクセルのセットを表示面点のセット経由でカメラピクセルのセットに
マップする対応を得るステップと、
前記カメラの位置とは異なる位置に視点位置を有することに応答して、
前記視点位置に対し新カメラ投影行列を得るステップと、
前記対応を用いて新しい光投影行列を演算し、前記プロジェクターにより投影される画
像を変更するステップと、
を有することを特徴とするプログラム。
【請求項２０】
プロジェクターおよびカメラを有するプロジェクターシステムを再較正するコンピュー
ターシステムであって、
1つ以上のプロセッサーと、
前記1つ以上のプロセッサーと通信し、前記1つ以上のプロセッサーにより実行可能な命
令のセットを記憶する1つ以上のコンピューター読み取り可能な媒体とを有し、
前記命令のセットは、
プロジェクターピクセルのセットを表示面点のセット経由でカメラピクセルのセットに
マップする対応を得るステップと、
前記プロジェクターまたはプロジェクターにより投影される画像が鑑賞者により見られ
る視点位置のいずれかのポーズの変更に応答して、前記対応を用いて新投影行列を計算す
るステップとを有するコンピューターシステム。
【請求項２１】
前記ポーズの変更はプロジェクターであり、前記対応を用いて前記プロジェクターに対
する新投影行列を計算するステップは、
前記プロジェクターを用いて特徴点のセットを投影するステップであって、前記特徴点
のセットは既知のプロジェクターピクセル位置を有するステップと、
前記カメラを用いて前記特徴点のセットの少なくとも一部を取り込むステップと、
前記特徴点のセットから検出特徴点のセットを検出するステップと、
前記検出特徴点のセットの少なくともいくらかを用いて前記プロジェクターピクセルを
前記カメラピクセルに相関させるステップと、
前記対応を用い、前記相関されたプロジェクターピクセルを前記表示面点のセットから
の表示面点にマップするステップと、
前記マップされた対応を用いて異なるポーズにおける前記プロジェクターに対する新投
影行列を得るステップとを有する請求項２０に記載のコンピューターシステム。
【請求項２２】
前記ポーズの変更は、前記プロジェクターにより投影される画像が鑑賞者により見られ
る視点位置であり、前記対応を用いて前記プロジェクターに対する新投影行列を計算する
ステップは、
前記カメラ位置に対する前記視点位置の移動および回転を得るステップと、
前記カメラ位置に対する前記視点位置の前記移動および前記回転を用い、前記カメラの
内部パラメーターを用いて新投影行列を演算するステップと、
新しいカメラ投影行列を用いて前記プロジェクターにより投影される画像を変更する新
光投影行列を得るステップとを有する請求項２０に記載のコンピューターシステム。
【請求項２３】
プロジェクターと、
前記プロジェクターに接続された、請求項２０〜２２のいずれか一項に記載のコンピュ
ーターシステムと、
を有することを特徴とするプロジェクターシステム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１１−１４７１２５（Ｐ２０１１−１４７１２５Ａ）
【公開日】平成２３年７月２８日（２０１１．７．２８）
【国際特許分類】
【出願番号】特願２０１０−２８７１７８（Ｐ２０１０−２８７１７８）
【出願日】平成２２年１２月２４日（２０１０．１２．２４）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．フロッピー
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
【公開日】平成２３年７月２８日（２０１１．７．２８）
【国際特許分類】
【出願日】平成２２年１２月２４日（２０１０．１２．２４）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．フロッピー
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
[ Back to top ]