多重投影輝度調整方法、多重投影輝度調整装置、コンピュータプログラム及び記録媒体
【課題】非線形な応答を有していたとしても、オリジナル画像とほぼ同等になるように、複数のプロジェクタが投影したコンテンツ画像の輝度を補正する。
【解決手段】画像入力部２は、カメラ２０から画像データを取得する。画像変動検出部３は、その画像入力部２から画像を取得し、その画像情報を用いて輝度変動を検出する。モード判定部４は、全てのプロジェクタを制御するための同期信号を送出し、輝度調整部５−１〜５−Ｎ、または輝度分配部６−１〜６−Ｎへの処理を指示する。輝度調整部５−１〜５−Ｎは、その画像変動検出部３にて得た輝度変動に応じてプロジェクタ１０−１〜１０−Ｎから出力する輝度を調整し、多重投影輝度補正に用いるための分配係数を算出する。輝度分配部６−１〜６−Ｎは、分配係数を用いて各プロジェクタの輝度を補正する。
【解決手段】画像入力部２は、カメラ２０から画像データを取得する。画像変動検出部３は、その画像入力部２から画像を取得し、その画像情報を用いて輝度変動を検出する。モード判定部４は、全てのプロジェクタを制御するための同期信号を送出し、輝度調整部５−１〜５−Ｎ、または輝度分配部６−１〜６−Ｎへの処理を指示する。輝度調整部５−１〜５−Ｎは、その画像変動検出部３にて得た輝度変動に応じてプロジェクタ１０−１〜１０−Ｎから出力する輝度を調整し、多重投影輝度補正に用いるための分配係数を算出する。輝度分配部６−１〜６−Ｎは、分配係数を用いて各プロジェクタの輝度を補正する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マルチプロジェクタシステムを使って複数のプロジェクタからの投影像をカメラで観測するとき、各画素の観測輝度値が所定の値となるようにプロジェクタからの出力輝度値を自動的に補正する多重投影輝度調整技術に関する。
【背景技術】
【０００２】
プロジェクタ・カメラシステムは、様々な用途に利用されている。例えば、会議や、学会発表でのプレゼンテーションにプロジェクタを利用する以外に、ヒューマンインタラクションや、拡張現実感の表示システムとしても利用できる。さらに、複数のプロジェクタを使うと、各プロジェクタからの画像を繋ぎ合わせて巨大な画像（タイリング）を生成でき、近年では、ＨＤＲ（High Dynamic Range）画像を表示するアプリケーションとしても期待されている。
【０００３】
例えば、遠隔会議システムなどのアプリケーションによっては、単体のプロジェクタから画像を投影して、単体のカメラにより、その投影像を観測するとき、そのカメラが所定の輝度を観測するように、原画像の輝度を調整する必要がある。従来から、この技術は、輝度補正と呼ばれており、プロジェクタからのＲＧＢ輝度値とカメラで観測されたＲＧＢ輝度値との間の相関関係に着目し、カラー混合行列（Color Mixing Matrix）と呼ばれる３×３の行列Ｖを使って、所定のＲＧＢ輝度値Ｃ＝（ＣＲ，ＣＧ，ＣＢ）を、カメラが観測するようにプロジェクタからのＲＧＢ出力値Ｐ＝（ＰＲ，ＰＧ，ＰＢ）を補正する。このシステムにおいて、観測した画像の輝度値Ｃと各プロジェクタからの出力輝度Ｐとの間には、次式（１）が成り立つ。
【０００４】
【数１】
【０００５】
Ｖは、プロジェクタのカラー混合行列であり、Ｆ＝（Ｆｒ，Ｆｇ，Ｆｂ）は、プロジェクタ以外の光源からの照明を含む環境光である（物体表面の反射率は一定と考える）。非特許文献１によれば、４枚のサンプル画像が用意できれば、カラー混合行列と環境光を求めることができる。
【０００６】
上記の輝度補正は、Ｎ台のプロジェクタと１台のカメラとから構成されるマルチプロジェクタシステムに拡張すると、次式（２）の関係になる。
【０００７】
【数２】
【０００８】
Ｐｊはｊ番目のプロジェクタの輝度であり、Ｖｊはｊ番目のプロジェクタの輝度とカメラ観測による輝度とを結び付けたカラー混合行列である。ｊ番目のプロジェクタ以外のＮ−１台のプロジェクタに黒画像をセットした状態にすると、このマルチプロジェクタシステムは、数式（１）に示した従来のプロジェクタ・カメラシステムとなる。よって、このシステムにおいて、非特許文献１の方法を用いて、カラー混合行列Ｖｊを得ることができる。
【０００９】
マルチプロジェクタシステムの輝度補正については、非特許文献２が公知である。これは、全てのプロジェクタの輝度補正パラメータを共有させて、オリジナルの輝度をＮ台のプロジェクタで均等に配分して、各プロジェクタの輝度を決定する方法である。カラー混合行列を用いた輝度補正に輝度均等方式を採用すると、各プロジェクタの輝度は、次式（３）により補正することできる。
【００１０】
【数３】
【００１１】
但し、Ｎｊは、プロジェクタの重複数であり、Ｎ台のプロジェクタがその画素を多重投影すれば、Ｎｊ＝Ｎとし、１台のプロジェクタのみがその画素を投影する場合には、Ｎｊ＝１とセットする。
【先行技術文献】
【非特許文献】
【００１２】
【非特許文献１】K. Fujii, M. D. Grossberg, and S. K. Nayar: “A Projector-Camera System with Real-Time Photometric Adaptation for Dynamic Environments”, Proc. of IEEE Computer Vision and Pattern Recognition (CVPR), vol.1, pp.814-821, 2005.
【非特許文献２】O. Bimber, A. Emmerling, and T. Klemmer: “Embedded Entertainment with Smart Projec-tors”, IEEE Computer, vol. 38, no. 1, pp. 48-55, 2005.
【発明の概要】
【発明が解決しようとする課題】
【００１３】
図１１は、プロジェクタに与えた入力輝度（あるカラーチャネル）をカメラで観測した輝度出力の特性（トーンカーブ）の典型例を示す概念図である。マルチプロジェクタシステムの輝度補正は、数式（２）に示したように、各プロジェクタ輝度の線形和を仮定している。しかしながら、プロジェクタの入力輝度とカメラの観測輝度との入出力特性では、図１１のようなトーンカーブが得られる場合が多い。低階調ではプロジェクタの入力輝度に対して緩やかな応答特性を示し、中間階調ではほぼ線形な特性となり、高階調では再び緩やかな応答特性となる。よって、中間階調と比べると、輝度が低い応答レベル、または高い応答レベルでは線形特性から逸脱する。加えて、図１１の低階調で示したように、プロジェクタの輝度値が０でも、カメラ観測ではブラックオフセット（完全な黒を観測しない）が存在する。
【００１４】
１台のプロジェクタと１台のカメラ間のトーンカーブにおいても、このような非線形な特性を有しているため、複数台のプロジェクタと１台のカメラ間においても、より複雑なトーンカーブとなる。よって、マルチプロジェクタシステムにおいては、各プロジェクタからの輝度の線形和で輝度補正するには、その適用範囲に限界がある。例えば、数式（３）に従った輝度補正では、プロジェクタの台数が増えるにつれて、分配輝度値は、反比例するため、カメラの応答特性は、図１１の低階調の特性に近づく。よって、マルチプロジェクタシステムでは、一層、非線形な応答特性が顕著になるため、輝度を単純に等分配するだけでは、十分な補正ができる保証はない。
【００１５】
また、非特許文献２で公知の輝度補正方法は、補正パラメータを全てのプロジェクタで共有した上で、それらのパラメータを用いて均等配分された輝度を算出する。つまり、全てのプロジェクタの補正パラメータを用いないと、全てのプロジェクタの輝度補正ができない。これにより、マルチプロジェクタシステムが上記のような非線形な特性を有する場合には、この方法を容易に適用することができないという問題がある。さらに、プロジェクタの台数を変更する場合や、全体のシステム構成を変更する場合に応じて、補正パラメータの共有化を実装する必要がある。
【００１６】
そのようなシステム変更が生じても柔軟に輝度補正に対応できることが、様々なアプリケーションにおける利便性の点で重要である。よって、マルチプロジェクタシステムにおいて数式（２）に示したプロジェクタ輝度の線形和が成り立たず、かつ、数式でモデル化できない非線形応答が存在するシステムにおいても、複数のプロジェクタから投影される輝度を補正できることが望まれる。
【００１７】
本発明は、このような事情を考慮してなされたものであり、その目的は、複数プロジェクタによる多重投影システムにおいて非線形な応答を有していたとしても、複数のプロジェクタが投影した任意のコンテンツ画像がオリジナル画像とほぼ同等になるように、任意のコンテンツ画像の輝度を補正することができる技術を提供することにある。
【課題を解決するための手段】
【００１８】
本発明の一態様は、Ｎ台のプロジェクタによって投影される画像を１台のカメラによって撮像するマルチプロジェクタシステムでの多重投影輝度調整方法であって、入力されたテスト画像を前記プロジェクタによって投影した投影画像を、前記カメラで観測した観測画像として取得する観測画像取得ステップと、前記テスト画像と前記観測画像との輝度変動を検出する輝度変動検出ステップと、前記検出された輝度変動に基づいて前記Ｎ台のプロジェクタの輝度を制御する輝度制御ステップと、前記輝度制御の結果に基づいて、前記Ｎ台のプロジェクタへ輝度を分配するための各画素の分配係数を算出する算出ステップと、コンテンツ画像を読み込み、該コンテンツ画像上の各画素の輝度値を、前記分配係数に基づいて、前記Ｎ台のプロジェクタへの輝度値として分配する分配ステップと、前記輝度値が分配された前記コンテンツ画像を前記Ｎ台のプロジェクタから投影するステップとを含むことを特徴とする多重投影輝度調整方法である。
【００１９】
本発明の一態様は、上記の多重投影輝度調整方法であって、前記算出ステップは、前記テスト画像の各画素値が、前記輝度制御の後の前記輝度に基づいて得られる前記テスト画像の各画素値と線形結合で結び付けられた輝度分配モデルに基づいて前記分配係数を算出するステップであることを特徴とする。
【００２０】
本発明の一態様は、上記の多重投影輝度調整方法であって、前記観測画像取得ステップ、前記輝度変動検出ステップを繰り返し実行し、前記制御ステップは、前記輝度変動が所定の許容値以上の場合には、前記Ｎ台のプロジェクタへ入力される輝度状態を制御した後、前記Ｎ台のプロジェクタから更新後の輝度に基づいて画像を再び投影するステップと、前記輝度変動が前記所定の許容値より小さい場合には、前記テスト画像に対する前記Ｎ台のプロジェクタの輝度の制御が完了したと判定する完了判定ステップと、を含むことを特徴とする。
【００２１】
本発明の一態様は、Ｎ台のプロジェクタによって投影される画像を１台のカメラによって撮像するマルチプロジェクタシステムの多重投影輝度調整装置であって、入力されたテスト画像を前記プロジェクタによって投影した投影画像を、前記カメラで観測した観測画像として取得する観測画像取得部と、前記テスト画像と前記観測画像との輝度変動を検出する輝度変動検出部と、前記検出された輝度変動に基づいて前記Ｎ台のプロジェクタの輝度を制御する輝度制御部と、前記輝度制御の結果に基づいて、前記Ｎ台のプロジェクタへ輝度を分配するための各画素の分配係数を算出する算出部と、コンテンツ画像を読み込み、該コンテンツ画像上の各画素の輝度値を、前記分配係数に基づいて、前記Ｎ台のプロジェクタへの輝度値として分配する分配部と、前記輝度値が分配された前記コンテンツ画像を前記Ｎ台のプロジェクタから投影する投影部とを含むことを特徴とする多重投影輝度調整装置である。
【００２２】
本発明の一態様は、上記の多重投影輝度調整方法をコンピュータに実行させるためのコンピュータプログラムである。
【００２３】
本発明の一態様は、上記の多重投影輝度調整方法をコンピュータに実行させるためのコンピュータプログラムを記録した記録媒体である。
【発明の効果】
【００２４】
この発明によれば、複数プロジェクタによる多重投影システムにおいて、非線形な応答を有していたとしても、オリジナル画像とほぼ同等になるように、複数のプロジェクタが投影したコンテンツ画像の輝度を補正することができる。
【図面の簡単な説明】
【００２５】
【図１】本発明に係る第１実施形態の多重投影輝度調整装置１の構成を示すブロック図である。
【図２】本第１実施形態の動作を説明するためのフローチャートである。
【図３】本第１実施形態の動作を説明するためのフローチャートである。
【図４】本発明に係る第２実施形態の多重投影輝度調整装置１の構成を示すブロック図である。
【図５】本第２実施形態の動作を説明するためのフローチャートである。
【図６】本第２実施形態の動作を説明するためのフローチャートである。
【図７】本発明に係る第３実施形態の多重投影輝度調整装置１の構成を示すブロック図である。
【図８】本第３実施形態の動作を説明するためのフローチャートである。
【図９】本発明に係る第４実施形態の多重投影輝度調整装置１の構成を示すブロック図である。
【図１０】本第４実施形態の動作を説明するためのフローチャートである。
【図１１】プロジェクタに与えた入力輝度（あるカラーチャネル）をカメラで観測した輝度出力の特性（トーンカーブ）の典型例を示す概念図である。
【発明を実施するための形態】
【００２６】
以下、本発明の一実施形態を、図面を参照して説明する。
【００２７】
Ａ．第１実施形態
本発明の第１実施形態について説明する。
図１は、本発明に係る第１実施形態の多重投影輝度調整装置１の構成を示すブロック図である。図１において、多重投影輝度調整装置１は、Ｎ台のプロジェクタ１０と１台のカメラ２０とからなるマルチプロジェクタシステムに対する投影輝度自動調整方法を実現する。投影輝度自動調整装置１は、画像入力部２、画像変動検出部３、モード判定部４、輝度調整部５−１〜５−Ｎ、及び輝度分配部６−１〜６−Ｎを備えている。画像入力部２は、カメラ２０から画像データを取得する。画像変動検出部３は、その画像入力部１から画像を取得し、その画像情報を用いて輝度変動を検出する。モード判定部４は、全てのプロジェクタを制御するための同期信号を送出し、輝度調整部５−１〜５−Ｎ、または輝度分配部６−１〜６−Ｎへの処理を指示する。輝度調整部５−１〜５−Ｎは、その画像変動検出部３にて得た輝度変動に応じてプロジェクタ１０−１〜１０−Ｎから出力する輝度を調整し、多重投影輝度補正に用いるための分配係数を算出する。輝度分配部６−１〜６−Ｎは、分配係数を用いて各プロジェクタの輝度を補正する。
【００２８】
本第１実施形態は、従来技術とは異なり、他のプロジェクタと連動しない。本第１実施形態では、各プロジェクタ１０−１〜１０−Ｎを制御する輝度調整部５−１〜５−Ｎ、輝度分配部６−１〜６−Ｎは、モード判定部４から送出される同期信号に従ってそれぞれ独立に動作する。本第１実施形態では、複数のプロジェクタ１０−１〜１０−Ｎによって投影した任意のコンテンツ画像がオリジナル画像とほぼ同等になるように、輝度調整部５−１〜５−Ｎで得た分配係数を用いて、他のプロジェクタと連動しないで、任意のコンテンツ画像の輝度を自動的に補正する。
【００２９】
この構成において、プロジェクタ１０−１〜１０−Ｎ、カメラ２０は、必ずしも構成要素として接続している必要はなく、処理に必要なデータを取得すればよい。画像入力部２、画像変動検出部３、輝度調整部５−１〜５−Ｎ、輝度分配部６−１〜６−Ｎからそれぞれの矢印へのデータの流れは、ハードディスク、ＲＡＩＤ装置、ＣＤ−ＲＯＭなどの記録媒体を利用する形態、または、ネットワークを介してリモートなデータ資源を利用する形態でもどちらでも構わない。
【００３０】
以下、各部の詳細について説明する。
【００３１】
（モード判定部４）
モード判定部４は、起動されると、プロジェクタ１０−１〜１０−Ｎを制御するための状態を検出する。もし、初期状態において輝度補正を行うためのデータが何もないときは、状態の検出では「補正パラメータが無い」と判断し、モード選択において「輝度調整部の処理」を選択する。モード判定部４は、モードが調整モードである場合には、輝度調整部５−１〜５−Ｎの処理を実行させ、調整モードでない場合には、輝度分配部６−１〜６−Ｎの処理を実行させる。
【００３２】
さらに、モード判定部４は、各プロジェクタを制御する輝度調整部５−１〜５−Ｎ、輝度分配部６−１〜６−Ｎに対して同期信号を送出する。この同期信号を輝度調整部５−１〜５−Ｎ、輝度分配部６−１〜６−Ｎが受信した時点で、補正した画像をプロジェクタ１０−１〜１０−Ｎに出力する。これにより、全てのプロジェクタ１０−１〜１０−Ｎは、タイムラグを発生することなく画像を投影することができる。
【００３３】
（画像入力部２）
画像入力部２は、カメラ２０等で撮像された画像を取得する手段であり、取得した画像データを、輝度調整部５−１〜５−Ｎ、または輝度分配部６−１〜６−Ｎに転送する。画像入力部２で取得する画像の例としては、スクリーン全体が隠れることなく写された画像、または、所定の領域を撮影した画像である。
【００３４】
（画像変動検出部３）
本第１実施形態では、各プロジェクタ１０−１〜１０−Ｎが所定の平面へ画像を投影し、その像をカメラ２０が観測（撮影）するという形態で動作する。この形態において、画像変動検出部３は、画像入力部２からの観測した画像上の画素とオリジナル画像上の画素とを対応付けるための射影変換を行う。以下に、該射影変換方法について説明する。
【００３５】
あるプロジェクタ画面の点の２次元座標を（ｕ，ｖ）、その点がＺ＝０のＸＹ平面上に投影されたときの３次元座標を（Ｘ，Ｙ，０）、その投影点をカメラ２０で観測したときの点の２次元座標を（ｘ，ｙ）とすると、あるプロジェクタ１０−ｉ（ｉ＝１〜Ｎ）と平面間の平面射影変換Ｈｐｓ、並びに平面とカメラ２０間の平面射影変換Ｈｓｃによって、次式（４）、（５）の計算により、各画素をそれぞれ対応付けることができる。
【００３６】
【数４】
【００３７】
【数５】
【００３８】
さらに、プロジェクタ１０−ｉから出力する画像の２次元座標（ｕ，ｖ）とオリジナル画像上の点の２次元座標（ｕ′，ｖ′）とは、次式（６）の計算により両画素を対応付けることができる。
【００３９】
【数６】
【００４０】
Ｈｉｐは、オリジナル画像とプロジェクタ画面間の平面射影変換である。よって、これらの平面射影変換が既知であると、ｖ画像の２次元座標（ｕ′，ｖ′）とカメラ２０で観測した２次元座標（ｘ，ｙ）との間、並びに、プロジェクタ画面上の２次元座標（ｕ，ｖ）とカメラ２０で観測した２次元座標（ｘ，ｙ）との間を結び付けることができる。事前のキャリブレーション作業によって、それぞれのプロジェクタについて平面射影変換Ｈｐｓ、Ｈｓｃ、Ｈｉｐを得て、それらのデータを射影変換ＤＢ８に格納している。このキャリブレーションでは、公知となっている平面射影変換推定方法を利用することができる。
【００４１】
画像変動検出部３は、画像入力部２から観測画像を取得すると、射影変換ＤＢ８から上記平面射影変換のデータを読み込み、数式（６）に従ってオリジナル画像の画素の２次元座標値（ｕ′，ｖ′）から観測画像上の画素に該当する２次元座標値（ｘ，ｙ）を算出する。画像変動検出部３は、この座標計算を対象の画素全てに施して、観測画像を射影変換した画像を生成する。
【００４２】
該射影変換画像の各画素は、オリジナル画像の対応する各画素に対応付けられるので、観測画像の画素値Ｃ′（ｔ）とオリジナル画像上の画素値Ｃとを比較することができる。なお、本第１実施形態の動作が終了するまで、カメラ２０から画像を逐次観測するため、状態ｔ、あるいは時刻ｔでの観測画像の画素値をＣ′（ｔ）と表すことにする。平面射影変換を用いてオリジナル画像と観測画像との各画素を対応付けしながら、各画素の輝度変動ｅ（ｔ）を次式（７）の計算によって算出する。
【００４３】
【数７】
【００４４】
画像変動検出部３は、逐次観測した画像について、数式（７）を用いてオリジナル画像との輝度変動を検出する。
【００４５】
（輝度調整部５−１〜５−Ｎ）
輝度調整部５−１〜５−Ｎは、モード判定部４が輝度調整の処理を選択すると、処理を開始し、まず、テスト画像をセットする。テスト画像は、非特許文献１が用いている４種類の画像（グレー系画像、赤系画像、緑系画像、青系画像）を用いる。輝度調整部５−１〜５−Ｎでは、グレー系画像から処理を開始して、輝度補正がある程度まで完了した時点で、赤系画像、緑系画像、青系画像と順番に切り替えて処理する。
【００４６】
以下では、あるテスト画像について処理を説明するが、他の画像も同様に行う。また、本発明は、全てのプロジェクタについても同様の処理を行うため、Ｎ台のプロジェクタ１０−１〜１０−Ｎのうち，ｊ番目のプロジェクタ１０−ｊについての輝度調整部５−ｊの処理として説明する。以下では、ｊ番目であることを強調するため、下添え文字にｊを付ける。
【００４７】
テスト画像がセットされた後、各時刻、または各状態において、輝度を制御するための状態方程式を初期化する。輝度状態の初期化では、各画素値を次式（８）とする。
【００４８】
【数８】
【００４９】
αはテスト画像のオリジナル輝度を各プロジェクタへ分配するための定数である。Ｎ台のプロジェクタ１０−１〜１０−Ｎを用いた場合、α＝１／Ｎとする。
【００５０】
輝度調整部５−ｊは、テスト画像が所定の平面、または領域へ投影するように、射影変換ＤＢ８から平面射影変換のデータを取り出し、その平面射影変換のデータを用いて、そのテスト画像から投影用変換画像を生成する。平面射影変換のデータは、一度読み出してメモリ（図示略）に一時記憶して用いる。この平面射影変換については、前述した画像変動検出部３で説明しているので詳細を省略する。画像を観測するタイミングで、モード判定部４から同期信号が送出されるので、輝度調整部５−ｊは、その同期信号を受信した後、一定の時間を置いてから投影用変換画像をプロジェクタ１０−ｊにセットし、テスト画像を平面へ投影する。
【００５１】
輝度調整部５−ｊは、画像変動検出部３で得た輝度変動ｅ（ｔ）から、全画素についての誤差の平均値（輝度誤差）を計算し、その輝度誤差が所定の許容値ε（例えば、ε＝１０に設定しておく）より小さい場合には、現時点で処理を停止し、次のテスト画像をセットする。一方、その輝度誤差が所定の許容値ε以上である場合には、状態ｔ＋１での各画素の輝度状態を、次式（９）に従って制御する。
【００５２】
【数９】
【００５３】
この状態方程式では、Ｋはフィードバック制御におけるゲインパラメータの役割を担っており、本第１実施形態では、次式（１０）で与えられる。
【００５４】
【数１０】
【００５５】
ｋの設定値については、例えば、２台のプロジェクタを用いた例では、ｋ＝０．７、３台のプロジェクタを用いた例では、ｋ＝０．５とする。次に、プロジェクタ１０−ｊへの入力輝度とするため、次式（１１）により輝度を変換する。
【００５６】
【数１１】
【００５７】
Ｖｊはプロジェクタ１０−ｊのカラー混合行列であり、Ｆは環境光ベクトルである。これらのパラメータは、非特許文献１を利用して事前に求めておく。
【００５８】
数式（９）を用いて輝度が更新された画素は、プロジェクタ１０−ｊに次の状態として与えられる画像上の画素にセットされる。このとき、観測画像を射影変換したのと同様に、輝度調整部５−ｊは、射影変換ＤＢ８から取り出した平面射影変換のデータを用いて、投影用変換画像を生成する。投影用変換画像の画素は、プロジェクタ画面の画素である。テスト画像と同じ大きさの画像バッファを用意し、各画素が（ｕ′，ｖ′）に対応するため、数式（４）、（５）、（６）の平面射影変換の関係を利用して、プロジェクタ画面上の座標（ｕ，ｖ）を算出する。輝度が更新された画素は、その座標（ｕ，ｖ）の点にセットされる。全ての画素の輝度を更新した後、輝度調整部５−ｊは、この投影用変換画像をプロジェクタ１０−ｊにセットし、更新画像を再び平面に投影する。
【００５９】
数式（９）による輝度調整は、各状態ｔでの輝度変動に応じて行われ、輝度誤差が許容誤差εより小さくなるまで続けられる。各テスト画像について、輝度誤差が許容誤差εより小さくなった時点で、各テスト画像の輝度調整が完了したと判定し、作業用のメモリに一時確保しておく。上記の処理を、次々にテスト画像をセットして繰り返す。
【００６０】
全てのテスト画像の輝度を補正した後、分配係数の計算を実施する。上記の処理を繰り返して、グレー系画像、赤系画像、緑系画像、青系画像の輝度を調整し、最終的な輝度補正画像を得たとき、各画像上の各画素の輝度値がＣＷｊ、ＣＲｊ、ＣＧｊ、ＣＢｊであり、テスト画像上のそれぞれのオリジナルの画素の輝度値をＣＷ、ＣＲ、ＣＧ、ＣＢであるとする。これらの輝度値について、次式（１２）により関連付ける。
【００６１】
【数１２】
【００６２】
Ｄｊは３×３の行列、ｄｊは３次元ベクトルであり、これらを本発明では、分配係数と称する。つまり、数式（１２）の関係式を適用して、任意のコンテンツ画像の各画素を輝度補正する。Ｄｊとｄｊは、数式（１２）の連立方程式を解くことにより算出する。輝度調整部５−ｊは、各画素の分配係数Ｄｊ、ｄｊを算出すると、カラー分配ＤＢ７−ｊにそれらを格納し処理を終了する。
【００６３】
（輝度分配部６−１〜６−Ｎ）
輝度分配部６−１〜６−Ｎは、モード判定部４において、「輝度調整が完了した」という状態を検出すると、モードを「輝度分配モード」に変更する。モード判定部４が輝度分配部６−１〜６−Ｎの処理を選択すると、輝度分配部６−１〜６−Ｎは、輝度分配データのセットを実行する。カラー分配ＤＢ７−１〜７−Ｎから各画素のＤｊとｄｊをそれぞれ取り出し、一時メモリ（図示略）に記憶しておく。次に、コンテンツ画像ＤＢ９から任意の画像を読み込むと、その画像上の各画素の輝度値Ｃを、次式（１３）、（１４）により、各プロジェクタ１０−ｊへの輝度値Ｐｊを算出して分配する。
【００６４】
【数１３】
【００６５】
【数１４】
【００６６】
このとき、輝度調整部５−ｊにおいて投影用変換画像を生成したのと同様に、射影変換ＤＢ８から取り出した平面射影変換のデータを用いて、投影用変換画像を生成する。投影用変換画像の画素は、プロジェクタ画面の画素である。テスト画像と同じ大きさの画像バッファを用意し、各画素が（ｕ′，ｖ′）に対応するため、数式（４）、（５）、（６）の平面射影変換の関係を利用して、プロジェクタ画面上の座標（ｕ，ｖ）を算出する。新たな輝度値Ｐｊは、その座標（ｕ，ｖ）の点にセットされる。全ての画素をセットした後、モード判定部４からの同期信号を受信して、ある一定の時間（１秒以下の微小な時間）を置いて、その変換画像をプロジェクタ１０−ｊへ出力する。これにより、輝度補正された画像が所定の平面に投影される。もし、同期信号を受信したとき、その信号が停止命令ならば、処理を終了する。
【００６７】
図２、及び図３は、本第１実施形態の動作を説明するためのフローチャートである。モード判定部４は、起動されると、プロジェクタ１０−１〜１０−Ｎを制御するための状態を検出する（ステップＳ１）。次に、モード選択を実行する（ステップＳ２）。もし、初期状態において輝度補正を行うためのデータが何もないときは、ステップＳ１での状態検出では「補正パラメータが無い」と判断し、ステップＳ２でのモード選択において「輝度調整部５−１〜５−Ｎの処理」を選択する。次に、選択したモードが調整モードであるか否かを判断する（ステップＳ３）。そして、選択したモードが調整モードである場合には（ステップＳ３のＹＥＳ）、輝度調整部５−１〜５−Ｎの処理を実行させる。
【００６８】
モード判定部４が輝度調整の処理を選択すると、輝度調整部５−１〜５−Ｎは、テスト画像をセットし（ステップＳ４）、調整が終了したか否かを判断する（ステップＳ５）。ここで、調整が終了していない場合には（ステップＳ５のＮＯ）、プロジェクタ１０にセットする画像の輝度状態（状態方程式）を初期化し（ステップＳ６）、テスト画像が所定の平面、または領域へ投影するように、射影変換ＤＢ８から平面射影変換のデータを取り出し、その平面射影変換のデータを用いて、そのテスト画像から投影用変換画像を生成する（ステップＳ１２）。
【００６９】
次に、輝度調整部５−１〜５−Ｎは、画像を観測するタイミングで、モード判定部４から、その同期信号を受信したことを識別すると（ステップＳ１３）、一定の時間を置いてから投影用変換画像をプロジェクタ１０−１〜１０−Ｎにセットし、テスト画像を平面へ投影する（ステップＳ１４）。
【００７０】
画像入力部２では、カメラ２０で観測（撮像）された、プロジェクタ１０−１〜１０−Ｎによりスクリーン（平面）上に投影された画像を取得し、輝度変動検出部３に転送する（ステップＳ７）。輝度変動検出部３では、射影変換ＤＢ８から平面射影変換のデータを取り出し、画像上の画素とオリジナル画像上の画素とを対応付けるための射影変換を行い、射影変換画像を生成する（ステップＳ８）。次に、輝度変動検出部３は、逐次観測した画像について、オリジナル画像との輝度変動ｅ（ｔ）を検出する（ステップＳ９）。
【００７１】
輝度調整部５−１〜５−Ｎは、画像変動検出部３で得た輝度変動ｅ（ｔ）から、全画素についての誤差の平均値（輝度誤差）を計算し、その輝度誤差が所定の許容値ε（例えば、ε＝１０に設定しておく）より小さいか否かを判断する（ステップＳ１０）。そして、その輝度誤差が所定の許容値ε以上である場合には、状態ｔ＋１での各画素の輝度状態を、数式（９）に従って制御する（ステップＳ１１）。
【００７２】
次に、輝度調整部５−１〜５−Ｎは、観測画像を射影変換したのと同様に、射影変換ＤＢ８から取り出した平面射影変換のデータを用いて、投影用変換画像を生成し（ステップＳ１２）、モード判定部４から同期信号を受信したことを識別すると（ステップＳ１３）、全ての画素の輝度を更新した後、輝度調整部５−１〜５−Ｎは、この投影用変換画像をプロジェクタ１０−１〜１０−Ｎにセットし、更新画像を再び平面に投影する（ステップＳ１４）。
【００７３】
上述したステップＳ７〜Ｓ１４の輝度調整は、各状態ｔでの輝度変動に応じて行われ、輝度誤差が許容誤差εより小さくなるまで続けられる。そして、各テスト画像について、輝度誤差が許容誤差εより小さくなった時点で（ステップＳ１０のＹＥＳ）、次のテスト画像をセットし，上記の処理を繰り返す（ステップＳ４〜Ｓ１４）。
【００７４】
一方、全てのテスト画像の輝度を補正が終了すると（ステップＳ５のＹＥＳ）、輝度調整部５−１〜５−Ｎは、分配係数の計算を実施し、各画素の分配係数Ｄｊ、ｄｊを算出すると（ステップＳ１５）、カラー分配ＤＢ７−１〜７−Ｎにそれらを格納し、ステップＳ１の状態検出へ戻る。
【００７５】
一方、選択したモードが調整モードでない場合には（ステップＳ３のＮＯ）、すなわち、モードが「輝度分配モード」である場合には、輝度分配部６−ｊの処理を実行させる。輝度分配部６−ｊは、カラー分配ＤＢ７−ｊから各画素のＤｊとｄｊをそれぞれ取り出し、輝度分配データをセットする（図３のステップＳ１６）。次に、コンテンツ画像ＤＢ９から任意の画像を読み込み（ステップＳ１７）、その画像上の各画素の輝度値Ｃを、各プロジェクタ１０−ｊへの輝度値として分配する（ステップＳ１８）。
【００７６】
次に、輝度分配部６−ｊは、射影変換ＤＢ８から取り出した平面射影変換のデータを用いて、投影用変換画像を生成し（ステップＳ１９）、全ての画素をセットした後、モード判定部４からの同期信号を識別し（ステップＳ２０）、該同期信号が処理終了（停止命令）であるか否かを判断する（ステップＳ２１）。そして、該同期信号が処理終了（停止命令）でない場合には（ステップＳ２１のＮＯ）、ある一定の時間（１秒以下の微小な時間）を置いて、その変換画像をプロジェクタ１０−ｊへ出力し、輝度補正された画像を所定の平面に投影する（ステップＳ２２）。その後、図３のステップＳ１に戻る。一方、同期信号が処理終了（停止命令）である場合には（ステップＳ２１のＹＥＳ）、当該処理を終了する。
【００７７】
上述した第１実施形態によれば、適当に与えたテスト画像から任意のコンテンツの画像を各プロジェクタへ輝度配分するための分配係数を保有することにより、全てのプロジェクタ間でパラメータ等を共有すること無く、柔軟にマルチプロジェクタシステムの輝度補正を行うことができる。さらに、分配係数は、コンテンツ画像に依存しないため、それぞれのプロジェクタにおいて一度保有するだけで、その分配係数を用いて任意のコンテンツ画像を補正することができる。
【００７８】
Ｂ．第２実施形態
次に、本発明の第２実施形態について説明する。
図４は、本発明に係る第２実施形態の多重投影輝度調整装置１の構成を示すブロック図である。なお、図１に対応する部分には同一の符号を付けて説明を省略する。本第２実施形態では、任意のコンテンツ画像を投影している間に、照明などの環境に変化が発生したとき、その輝度変化に応じてプロジェクタ１０−１〜１０−Ｎの輝度を制御することを特徴としている。本第２実施形態は、上述した第１実施形態と同様の構成であるが、輝度調整部５−１〜５−Ｎと輝度分配部６ａ−１〜６ａ−Ｎの双方において画像変動検出部３で得た輝度変動を利用する。
【００７９】
（輝度分配部６ａ−１〜６ａ−Ｎ）
モード判定部４が輝度分配部６ａ−１〜６ａ−Ｎの処理を選択すると、画像変動検出部３で得た状態ｔでの輝度誤差ｅ（ｔ）を輝度分配部６ａ−ｊへ渡す。輝度分配部６ａ−ｊは、カラー分配ＤＢ７−ｊから各画素の分配係数データＤｊとｄｊをセットした後、コンテンツ画像ＤＢ９から任意の画像を読み込むと、その画像上の各画素の輝度値Ｃを、次式（１５）により、各プロジェクタ１０−ｊへの輝度値Ｐｊを算出して分配する。
【００８０】
【数１５】
【００８１】
Ｋは、数式（１０）を利用する（パラメータｋの値を変更してもよい）。各画素において輝度誤差が発生したとき、数式（１５）に従ったフィードバック制御により、その輝度変動を吸収して輝度補正することができる。
【００８２】
図５、及び図６は、本第２実施形態の動作を説明するためのフローチャートである。なお、第１実施形態での図２、図３と対応する部分には同一のステップを付け、説明を簡略化している。選択したモードが調整モードである場合には（ステップＳ３のＹＥＳ）、前述した第１実施形態と同様に、ステップＳ４〜Ｓ１４を繰り返し実行し、最終的に、全てのテスト画像の輝度を補正が終了すると（ステップＳ５のＹＥＳ）、輝度調整部５−ｊは、分配係数の計算を実施し、各画素の分配係数Ｄｊ、ｄｊを算出し（ステップＳ１５）、カラー分配ＤＢ７−ｊにそれらを格納し、ステップＳ１の状態検出へ戻る。
【００８３】
一方、選択したモードが輝度分配モードになると（ステップＳ３のＮＯ）、前述した第１実施形態と同様に、カメラ２０で観測（撮像）された、プロジェクタ１０−１〜１０−Ｎによりスクリーン（平面）上に投影された画像を画像入力部２で取得し（ステップＳ７）、輝度変動検出部３では、射影変換ＤＢ８から平面射影変換のデータを取り出し、画像上の画素とオリジナル画像上の画素とを対応付けるための射影変換を行い、射影変換画像を生成する（ステップＳ８）。次に、輝度変動検出部３は、逐次観測した画像について、オリジナル画像との輝度変動ｅ（ｔ）を検出する（ステップＳ９）。この場合、モードが「輝度分配モード」であるので（ステップＳ３のＮＯ）、再び、上述したステップＳ１６〜Ｓ２２を実行する。
【００８４】
ここで、輝度分配部６ａ−１〜６ａ−Ｎは、ステップＳ１８で、カラー分配ＤＢ７−ｊから各画素の分配係数データＤｊとｄｊをセットした後、コンテンツ画像ＤＢ９から任意の画像を読み込むと、その画像上の各画素の輝度値Ｃを、画像変動検出部３からの輝度誤差ｅ（ｔ）を用いて、数式（１５）により、各プロジェクタ１０−ｊへの輝度値Ｐｊを算出して分配する。そして、ステップＳ２２で、変換画像をプロジェクタ１０−ｊへ出力し、輝度補正された画像を所定の平面に投影する。その後、図５のステップＳ７へ戻り、上述した処理を同期信号が処理終了（停止命令）になるまで繰り返し実行し、同期信号が処理終了（停止命令）になると（ステップＳ２１のＹＥＳ）、当該処理を終了する。
【００８５】
上述した第２実施形態によれば、コンテンツ画像をプロジェクタ１０−１〜１０−Ｎで投射している間に、照明などの環境に変化が発生した場合であっても、カメラ２０で撮影し、輝度変動検出部３でリアルタイムで輝度変動を検出し、輝度分配部６ａ−１〜６ａ−Ｎでプロジェクタ１０−１〜１０−Ｎに分配する輝度を制御するので、コンテンツ画像を投影しているその輝度変化に応じてプロジェクタ１０−１〜１０−Ｎの輝度を制御することができる。
【００８６】
さらに、本第２実施形態によれば、全てのプロジェクタに対して補正パラメータを共有しないで輝度を補正するため、プロジェクタの台数や、配置を変更しても柔軟に輝度補正を行うことができる。
【００８７】
Ｃ．第３実施形態
次に、本発明の第３実施形態について説明する。
システムの設定や、プロジェクタの台数と配置に変更が無い状況では、第１実施形態、または第２実施形態の輝度調整部５−１〜５−Ｎにおいて分配係数を算出する手間を省くことができる。本第３実施形態では、先のセットアップにおいてカラー配分ＤＢ７−１〜７−Ｎに分配係数を記憶しておき、該分配係数を用いて輝度補正を行う。
【００８８】
図７は、本発明に係る第３実施形態の多重投影輝度調整装置１の構成を示すブロック図である。なお、図１に対応する部分には同一の符号を付けて説明を省略する。図示するように、本第３実施形態では、画像入力部１、画像変動検出部３、モード判別部４、輝度調整部５−１〜５−Ｎを省いた構成となっている。
【００８９】
図８は、本第３実施形態の動作を説明するためのフローチャートである。なお、図８に示すフローチャートは、前述した第１実施形態での図２のステップＳ３においてモード判定部４が輝度分配部６−１〜６−Ｎの処理を選択したときに実行される、図３に示すフローチャートと同じである。輝度分配部６−ｊは、カラー分配ＤＢ７−ｊから各画素のＤｊとｄｊをそれぞれ取り出し、輝度分配係数データをセットする（ステップＳ３０）。次に、コンテンツ画像ＤＢ９から任意の画像を読み込み（ステップＳ３１）、その画像上の各画素の輝度値Ｃを、各プロジェクタ１０−ｊへの輝度値として分配する（ステップＳ３２）。
【００９０】
次に、輝度分配部６−１〜６−Ｎは、射影変換ＤＢ８から取り出した平面射影変換のデータを用いて、投影用変換画像を生成し（ステップＳ３３）、全ての画素をセットした後、モード判定部４からの同期信号が処理終了（停止命令）でない場合には（ステップＳ３４のＮＯ）、その変換画像をプロジェクタ１０−ｊへ出力し、輝度補正された画像を所定の平面に投影する（ステップＳ３５）。その後、ステップＳ３１に戻り、次のコンテンツ画像に対して上述した処理を繰り返す。一方、同期信号が処理終了（停止命令）である場合には（ステップＳ３４のＹＥＳ）、当該処理を終了する。
【００９１】
上述した第３実施形態によれば、システムの設定や、プロジェクタの台数と配置に変更が無い場合には、先のセットアップにおいてカラー配分ＤＢ７−１〜７−Ｎに分配係数を記憶しておき、該分配係数を用いて輝度補正を行うようにしたので、画像入力部１、画像変動検出部３、モード判別部４、輝度調整部５−１〜５−Ｎを省くことができ、また、分配係数を算出する手間を省くことができる。
【００９２】
Ｄ．第４実施形態
次に、本発明の第４実施形態について説明する。
上述した第３実施形態では、プロジェクタ以外の照明や、環境光に変化がない状況を想定していた。これに対して、本第４実施形態は、任意のコンテンツ画像を投影している間に照明などの環境に変化が発生したとき、その輝度変化に応じて輝度を制御することを特徴としている。
【００９３】
図９は、本発明に係る第４実施形態の多重投影輝度調整装置１の構成を示すブロック図である。なお、図１に対応する部分には同一の符号を付けて説明を省略する。図示するように、本第４実施形態では、モード判別部４、輝度調整部５−１〜５−Ｎを省いた構成となっている。画像変動検出部３は、任意のコンテンツ画像を投影しているときに、画像入力部２からの画像に基づいて算出した、状態ｔでの輝度誤差ｅ（ｔ）を輝度分配部６ａ−１〜６ａ−Ｎへ渡す。輝度分配部６ａ−ｊは、カラー分配ＤＢ７−ｊから各画素の分配係数データＤｊとｄｊをセットした後、コンテンツ画像ＤＢ９から任意の画像を読み込むと、その画像上の各画素の輝度値Ｃを、数式（１５）により、各プロジェクタ１０−ｊへの輝度値Ｐｊを算出して分配する。
【００９４】
図１０は、本第４実施形態の動作を説明するためのフローチャートである。輝度分配部６−ｊは、カラー分配ＤＢ７−ｊから各画素のＤｊとｄｊをそれぞれ取り出し、輝度分配係数データをセットする（ステップＳ４０）。次に、コンテンツ画像ＤＢ９から任意の画像を読み込み（ステップＳ４１）、その画像上の各画素の輝度値Ｃを、各プロジェクタ１０−ｊへの輝度値として分配する（ステップＳ４２）。
【００９５】
次に、輝度分配部６−１〜６−Ｎは、射影変換ＤＢ８から取り出した平面射影変換のデータを用いて、投影用変換画像を生成し（ステップＳ４３）、全ての画素をセットした後、モード判定部４からの同期信号を識別し（ステップＳ４４）、同期信号が処理終了（停止命令）でない場合には（ステップＳ４５のＮＯ）、その変換画像をプロジェクタ１０−ｊへ出力し、輝度補正された画像を所定の平面に投影する（ステップＳ４６）。
【００９６】
画像入力部２では、カメラ２０で観測（撮像）された、プロジェクタ１０−１〜１０−Ｎによりスクリーン（平面）上に投影された画像を取得し、輝度変動検出部３に転送する（ステップＳ４７）。輝度変動検出部３では、射影変換ＤＢ８から平面射影変換のデータを取り出し、観測画像上の画素とオリジナル画像上の画素とを対応付けるための射影変換を行い、射影変換画像を生成する（ステップＳ４８）。次に、輝度変動検出部３は、観測した画像について、オリジナル画像との輝度変動ｅ（ｔ）を検出する（ステップＳ４９）。輝度分配部６−ｊでは、コンテンツ画像ＤＢ９から任意の画像を読み込み（ステップＳ４１）、その画像上の各画素の輝度値Ｃを、各プロジェクタ１０−ｊへの輝度値として分配する（ステップＳ４２）。
【００９７】
以上、コンテンツ画像をプロジェクタ１０−１〜１０−Ｎで投射しつつ、カメラ２０で撮影し、輝度変動検出部３でリアルタイムで輝度変動を検出して、輝度分配部６−１〜６−Ｎでプロジェクタ１０−１〜１０−Ｎに分配する輝度を制御すべく、上述した処理を繰り返す。一方、同期信号が処理終了（停止命令）である場合には（ステップＳ４５のＹＥＳ）、当該処理を終了する。
【００９８】
上述した第４実施形態によれば、任意のコンテンツ画像を投影している間に照明などの環境に変化が発生したときであっても、その輝度変化に応じて輝度を制御することができる。
【００９９】
さらに、本第４実施形態によれば、全てのプロジェクタに対して補正パラメータを共有しないで輝度を補正するため、プロジェクタの台数や、配置を変更しても柔軟に輝度補正を行うことができる。
【０１００】
なお、本発明は、前述した第１乃至第４実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム、あるいは装置に供給し、そのシステム、あるいは装置のＣＰＵ（ＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出して実行することによっても実現できる。この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施の形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＭＯ、ＨＤＤ等は本発明を構成する。
【符号の説明】
【０１０１】
１ 多重投影輝度調整装置
２ 画像入力部
３ 輝度変動検出部
４ モード判別部
５−１〜５−Ｎ 輝度調整部
６−１〜６−Ｎ、６ａ−１〜６ａ−Ｎ 輝度分配部
７−１〜７−Ｎ カラー分配ＤＢ
６ 射影変換ＤＢ
８ 輝度補正ＤＢ
９ コンテンツ画像ＤＢ
１０−１〜１０−Ｎ プロジェクタ
２０ カメラ
【技術分野】
【０００１】
本発明は、マルチプロジェクタシステムを使って複数のプロジェクタからの投影像をカメラで観測するとき、各画素の観測輝度値が所定の値となるようにプロジェクタからの出力輝度値を自動的に補正する多重投影輝度調整技術に関する。
【背景技術】
【０００２】
プロジェクタ・カメラシステムは、様々な用途に利用されている。例えば、会議や、学会発表でのプレゼンテーションにプロジェクタを利用する以外に、ヒューマンインタラクションや、拡張現実感の表示システムとしても利用できる。さらに、複数のプロジェクタを使うと、各プロジェクタからの画像を繋ぎ合わせて巨大な画像（タイリング）を生成でき、近年では、ＨＤＲ（High Dynamic Range）画像を表示するアプリケーションとしても期待されている。
【０００３】
例えば、遠隔会議システムなどのアプリケーションによっては、単体のプロジェクタから画像を投影して、単体のカメラにより、その投影像を観測するとき、そのカメラが所定の輝度を観測するように、原画像の輝度を調整する必要がある。従来から、この技術は、輝度補正と呼ばれており、プロジェクタからのＲＧＢ輝度値とカメラで観測されたＲＧＢ輝度値との間の相関関係に着目し、カラー混合行列（Color Mixing Matrix）と呼ばれる３×３の行列Ｖを使って、所定のＲＧＢ輝度値Ｃ＝（ＣＲ，ＣＧ，ＣＢ）を、カメラが観測するようにプロジェクタからのＲＧＢ出力値Ｐ＝（ＰＲ，ＰＧ，ＰＢ）を補正する。このシステムにおいて、観測した画像の輝度値Ｃと各プロジェクタからの出力輝度Ｐとの間には、次式（１）が成り立つ。
【０００４】
【数１】
【０００５】
Ｖは、プロジェクタのカラー混合行列であり、Ｆ＝（Ｆｒ，Ｆｇ，Ｆｂ）は、プロジェクタ以外の光源からの照明を含む環境光である（物体表面の反射率は一定と考える）。非特許文献１によれば、４枚のサンプル画像が用意できれば、カラー混合行列と環境光を求めることができる。
【０００６】
上記の輝度補正は、Ｎ台のプロジェクタと１台のカメラとから構成されるマルチプロジェクタシステムに拡張すると、次式（２）の関係になる。
【０００７】
【数２】
【０００８】
Ｐｊはｊ番目のプロジェクタの輝度であり、Ｖｊはｊ番目のプロジェクタの輝度とカメラ観測による輝度とを結び付けたカラー混合行列である。ｊ番目のプロジェクタ以外のＮ−１台のプロジェクタに黒画像をセットした状態にすると、このマルチプロジェクタシステムは、数式（１）に示した従来のプロジェクタ・カメラシステムとなる。よって、このシステムにおいて、非特許文献１の方法を用いて、カラー混合行列Ｖｊを得ることができる。
【０００９】
マルチプロジェクタシステムの輝度補正については、非特許文献２が公知である。これは、全てのプロジェクタの輝度補正パラメータを共有させて、オリジナルの輝度をＮ台のプロジェクタで均等に配分して、各プロジェクタの輝度を決定する方法である。カラー混合行列を用いた輝度補正に輝度均等方式を採用すると、各プロジェクタの輝度は、次式（３）により補正することできる。
【００１０】
【数３】
【００１１】
但し、Ｎｊは、プロジェクタの重複数であり、Ｎ台のプロジェクタがその画素を多重投影すれば、Ｎｊ＝Ｎとし、１台のプロジェクタのみがその画素を投影する場合には、Ｎｊ＝１とセットする。
【先行技術文献】
【非特許文献】
【００１２】
【非特許文献１】K. Fujii, M. D. Grossberg, and S. K. Nayar: “A Projector-Camera System with Real-Time Photometric Adaptation for Dynamic Environments”, Proc. of IEEE Computer Vision and Pattern Recognition (CVPR), vol.1, pp.814-821, 2005.
【非特許文献２】O. Bimber, A. Emmerling, and T. Klemmer: “Embedded Entertainment with Smart Projec-tors”, IEEE Computer, vol. 38, no. 1, pp. 48-55, 2005.
【発明の概要】
【発明が解決しようとする課題】
【００１３】
図１１は、プロジェクタに与えた入力輝度（あるカラーチャネル）をカメラで観測した輝度出力の特性（トーンカーブ）の典型例を示す概念図である。マルチプロジェクタシステムの輝度補正は、数式（２）に示したように、各プロジェクタ輝度の線形和を仮定している。しかしながら、プロジェクタの入力輝度とカメラの観測輝度との入出力特性では、図１１のようなトーンカーブが得られる場合が多い。低階調ではプロジェクタの入力輝度に対して緩やかな応答特性を示し、中間階調ではほぼ線形な特性となり、高階調では再び緩やかな応答特性となる。よって、中間階調と比べると、輝度が低い応答レベル、または高い応答レベルでは線形特性から逸脱する。加えて、図１１の低階調で示したように、プロジェクタの輝度値が０でも、カメラ観測ではブラックオフセット（完全な黒を観測しない）が存在する。
【００１４】
１台のプロジェクタと１台のカメラ間のトーンカーブにおいても、このような非線形な特性を有しているため、複数台のプロジェクタと１台のカメラ間においても、より複雑なトーンカーブとなる。よって、マルチプロジェクタシステムにおいては、各プロジェクタからの輝度の線形和で輝度補正するには、その適用範囲に限界がある。例えば、数式（３）に従った輝度補正では、プロジェクタの台数が増えるにつれて、分配輝度値は、反比例するため、カメラの応答特性は、図１１の低階調の特性に近づく。よって、マルチプロジェクタシステムでは、一層、非線形な応答特性が顕著になるため、輝度を単純に等分配するだけでは、十分な補正ができる保証はない。
【００１５】
また、非特許文献２で公知の輝度補正方法は、補正パラメータを全てのプロジェクタで共有した上で、それらのパラメータを用いて均等配分された輝度を算出する。つまり、全てのプロジェクタの補正パラメータを用いないと、全てのプロジェクタの輝度補正ができない。これにより、マルチプロジェクタシステムが上記のような非線形な特性を有する場合には、この方法を容易に適用することができないという問題がある。さらに、プロジェクタの台数を変更する場合や、全体のシステム構成を変更する場合に応じて、補正パラメータの共有化を実装する必要がある。
【００１６】
そのようなシステム変更が生じても柔軟に輝度補正に対応できることが、様々なアプリケーションにおける利便性の点で重要である。よって、マルチプロジェクタシステムにおいて数式（２）に示したプロジェクタ輝度の線形和が成り立たず、かつ、数式でモデル化できない非線形応答が存在するシステムにおいても、複数のプロジェクタから投影される輝度を補正できることが望まれる。
【００１７】
本発明は、このような事情を考慮してなされたものであり、その目的は、複数プロジェクタによる多重投影システムにおいて非線形な応答を有していたとしても、複数のプロジェクタが投影した任意のコンテンツ画像がオリジナル画像とほぼ同等になるように、任意のコンテンツ画像の輝度を補正することができる技術を提供することにある。
【課題を解決するための手段】
【００１８】
本発明の一態様は、Ｎ台のプロジェクタによって投影される画像を１台のカメラによって撮像するマルチプロジェクタシステムでの多重投影輝度調整方法であって、入力されたテスト画像を前記プロジェクタによって投影した投影画像を、前記カメラで観測した観測画像として取得する観測画像取得ステップと、前記テスト画像と前記観測画像との輝度変動を検出する輝度変動検出ステップと、前記検出された輝度変動に基づいて前記Ｎ台のプロジェクタの輝度を制御する輝度制御ステップと、前記輝度制御の結果に基づいて、前記Ｎ台のプロジェクタへ輝度を分配するための各画素の分配係数を算出する算出ステップと、コンテンツ画像を読み込み、該コンテンツ画像上の各画素の輝度値を、前記分配係数に基づいて、前記Ｎ台のプロジェクタへの輝度値として分配する分配ステップと、前記輝度値が分配された前記コンテンツ画像を前記Ｎ台のプロジェクタから投影するステップとを含むことを特徴とする多重投影輝度調整方法である。
【００１９】
本発明の一態様は、上記の多重投影輝度調整方法であって、前記算出ステップは、前記テスト画像の各画素値が、前記輝度制御の後の前記輝度に基づいて得られる前記テスト画像の各画素値と線形結合で結び付けられた輝度分配モデルに基づいて前記分配係数を算出するステップであることを特徴とする。
【００２０】
本発明の一態様は、上記の多重投影輝度調整方法であって、前記観測画像取得ステップ、前記輝度変動検出ステップを繰り返し実行し、前記制御ステップは、前記輝度変動が所定の許容値以上の場合には、前記Ｎ台のプロジェクタへ入力される輝度状態を制御した後、前記Ｎ台のプロジェクタから更新後の輝度に基づいて画像を再び投影するステップと、前記輝度変動が前記所定の許容値より小さい場合には、前記テスト画像に対する前記Ｎ台のプロジェクタの輝度の制御が完了したと判定する完了判定ステップと、を含むことを特徴とする。
【００２１】
本発明の一態様は、Ｎ台のプロジェクタによって投影される画像を１台のカメラによって撮像するマルチプロジェクタシステムの多重投影輝度調整装置であって、入力されたテスト画像を前記プロジェクタによって投影した投影画像を、前記カメラで観測した観測画像として取得する観測画像取得部と、前記テスト画像と前記観測画像との輝度変動を検出する輝度変動検出部と、前記検出された輝度変動に基づいて前記Ｎ台のプロジェクタの輝度を制御する輝度制御部と、前記輝度制御の結果に基づいて、前記Ｎ台のプロジェクタへ輝度を分配するための各画素の分配係数を算出する算出部と、コンテンツ画像を読み込み、該コンテンツ画像上の各画素の輝度値を、前記分配係数に基づいて、前記Ｎ台のプロジェクタへの輝度値として分配する分配部と、前記輝度値が分配された前記コンテンツ画像を前記Ｎ台のプロジェクタから投影する投影部とを含むことを特徴とする多重投影輝度調整装置である。
【００２２】
本発明の一態様は、上記の多重投影輝度調整方法をコンピュータに実行させるためのコンピュータプログラムである。
【００２３】
本発明の一態様は、上記の多重投影輝度調整方法をコンピュータに実行させるためのコンピュータプログラムを記録した記録媒体である。
【発明の効果】
【００２４】
この発明によれば、複数プロジェクタによる多重投影システムにおいて、非線形な応答を有していたとしても、オリジナル画像とほぼ同等になるように、複数のプロジェクタが投影したコンテンツ画像の輝度を補正することができる。
【図面の簡単な説明】
【００２５】
【図１】本発明に係る第１実施形態の多重投影輝度調整装置１の構成を示すブロック図である。
【図２】本第１実施形態の動作を説明するためのフローチャートである。
【図３】本第１実施形態の動作を説明するためのフローチャートである。
【図４】本発明に係る第２実施形態の多重投影輝度調整装置１の構成を示すブロック図である。
【図５】本第２実施形態の動作を説明するためのフローチャートである。
【図６】本第２実施形態の動作を説明するためのフローチャートである。
【図７】本発明に係る第３実施形態の多重投影輝度調整装置１の構成を示すブロック図である。
【図８】本第３実施形態の動作を説明するためのフローチャートである。
【図９】本発明に係る第４実施形態の多重投影輝度調整装置１の構成を示すブロック図である。
【図１０】本第４実施形態の動作を説明するためのフローチャートである。
【図１１】プロジェクタに与えた入力輝度（あるカラーチャネル）をカメラで観測した輝度出力の特性（トーンカーブ）の典型例を示す概念図である。
【発明を実施するための形態】
【００２６】
以下、本発明の一実施形態を、図面を参照して説明する。
【００２７】
Ａ．第１実施形態
本発明の第１実施形態について説明する。
図１は、本発明に係る第１実施形態の多重投影輝度調整装置１の構成を示すブロック図である。図１において、多重投影輝度調整装置１は、Ｎ台のプロジェクタ１０と１台のカメラ２０とからなるマルチプロジェクタシステムに対する投影輝度自動調整方法を実現する。投影輝度自動調整装置１は、画像入力部２、画像変動検出部３、モード判定部４、輝度調整部５−１〜５−Ｎ、及び輝度分配部６−１〜６−Ｎを備えている。画像入力部２は、カメラ２０から画像データを取得する。画像変動検出部３は、その画像入力部１から画像を取得し、その画像情報を用いて輝度変動を検出する。モード判定部４は、全てのプロジェクタを制御するための同期信号を送出し、輝度調整部５−１〜５−Ｎ、または輝度分配部６−１〜６−Ｎへの処理を指示する。輝度調整部５−１〜５−Ｎは、その画像変動検出部３にて得た輝度変動に応じてプロジェクタ１０−１〜１０−Ｎから出力する輝度を調整し、多重投影輝度補正に用いるための分配係数を算出する。輝度分配部６−１〜６−Ｎは、分配係数を用いて各プロジェクタの輝度を補正する。
【００２８】
本第１実施形態は、従来技術とは異なり、他のプロジェクタと連動しない。本第１実施形態では、各プロジェクタ１０−１〜１０−Ｎを制御する輝度調整部５−１〜５−Ｎ、輝度分配部６−１〜６−Ｎは、モード判定部４から送出される同期信号に従ってそれぞれ独立に動作する。本第１実施形態では、複数のプロジェクタ１０−１〜１０−Ｎによって投影した任意のコンテンツ画像がオリジナル画像とほぼ同等になるように、輝度調整部５−１〜５−Ｎで得た分配係数を用いて、他のプロジェクタと連動しないで、任意のコンテンツ画像の輝度を自動的に補正する。
【００２９】
この構成において、プロジェクタ１０−１〜１０−Ｎ、カメラ２０は、必ずしも構成要素として接続している必要はなく、処理に必要なデータを取得すればよい。画像入力部２、画像変動検出部３、輝度調整部５−１〜５−Ｎ、輝度分配部６−１〜６−Ｎからそれぞれの矢印へのデータの流れは、ハードディスク、ＲＡＩＤ装置、ＣＤ−ＲＯＭなどの記録媒体を利用する形態、または、ネットワークを介してリモートなデータ資源を利用する形態でもどちらでも構わない。
【００３０】
以下、各部の詳細について説明する。
【００３１】
（モード判定部４）
モード判定部４は、起動されると、プロジェクタ１０−１〜１０−Ｎを制御するための状態を検出する。もし、初期状態において輝度補正を行うためのデータが何もないときは、状態の検出では「補正パラメータが無い」と判断し、モード選択において「輝度調整部の処理」を選択する。モード判定部４は、モードが調整モードである場合には、輝度調整部５−１〜５−Ｎの処理を実行させ、調整モードでない場合には、輝度分配部６−１〜６−Ｎの処理を実行させる。
【００３２】
さらに、モード判定部４は、各プロジェクタを制御する輝度調整部５−１〜５−Ｎ、輝度分配部６−１〜６−Ｎに対して同期信号を送出する。この同期信号を輝度調整部５−１〜５−Ｎ、輝度分配部６−１〜６−Ｎが受信した時点で、補正した画像をプロジェクタ１０−１〜１０−Ｎに出力する。これにより、全てのプロジェクタ１０−１〜１０−Ｎは、タイムラグを発生することなく画像を投影することができる。
【００３３】
（画像入力部２）
画像入力部２は、カメラ２０等で撮像された画像を取得する手段であり、取得した画像データを、輝度調整部５−１〜５−Ｎ、または輝度分配部６−１〜６−Ｎに転送する。画像入力部２で取得する画像の例としては、スクリーン全体が隠れることなく写された画像、または、所定の領域を撮影した画像である。
【００３４】
（画像変動検出部３）
本第１実施形態では、各プロジェクタ１０−１〜１０−Ｎが所定の平面へ画像を投影し、その像をカメラ２０が観測（撮影）するという形態で動作する。この形態において、画像変動検出部３は、画像入力部２からの観測した画像上の画素とオリジナル画像上の画素とを対応付けるための射影変換を行う。以下に、該射影変換方法について説明する。
【００３５】
あるプロジェクタ画面の点の２次元座標を（ｕ，ｖ）、その点がＺ＝０のＸＹ平面上に投影されたときの３次元座標を（Ｘ，Ｙ，０）、その投影点をカメラ２０で観測したときの点の２次元座標を（ｘ，ｙ）とすると、あるプロジェクタ１０−ｉ（ｉ＝１〜Ｎ）と平面間の平面射影変換Ｈｐｓ、並びに平面とカメラ２０間の平面射影変換Ｈｓｃによって、次式（４）、（５）の計算により、各画素をそれぞれ対応付けることができる。
【００３６】
【数４】
【００３７】
【数５】
【００３８】
さらに、プロジェクタ１０−ｉから出力する画像の２次元座標（ｕ，ｖ）とオリジナル画像上の点の２次元座標（ｕ′，ｖ′）とは、次式（６）の計算により両画素を対応付けることができる。
【００３９】
【数６】
【００４０】
Ｈｉｐは、オリジナル画像とプロジェクタ画面間の平面射影変換である。よって、これらの平面射影変換が既知であると、ｖ画像の２次元座標（ｕ′，ｖ′）とカメラ２０で観測した２次元座標（ｘ，ｙ）との間、並びに、プロジェクタ画面上の２次元座標（ｕ，ｖ）とカメラ２０で観測した２次元座標（ｘ，ｙ）との間を結び付けることができる。事前のキャリブレーション作業によって、それぞれのプロジェクタについて平面射影変換Ｈｐｓ、Ｈｓｃ、Ｈｉｐを得て、それらのデータを射影変換ＤＢ８に格納している。このキャリブレーションでは、公知となっている平面射影変換推定方法を利用することができる。
【００４１】
画像変動検出部３は、画像入力部２から観測画像を取得すると、射影変換ＤＢ８から上記平面射影変換のデータを読み込み、数式（６）に従ってオリジナル画像の画素の２次元座標値（ｕ′，ｖ′）から観測画像上の画素に該当する２次元座標値（ｘ，ｙ）を算出する。画像変動検出部３は、この座標計算を対象の画素全てに施して、観測画像を射影変換した画像を生成する。
【００４２】
該射影変換画像の各画素は、オリジナル画像の対応する各画素に対応付けられるので、観測画像の画素値Ｃ′（ｔ）とオリジナル画像上の画素値Ｃとを比較することができる。なお、本第１実施形態の動作が終了するまで、カメラ２０から画像を逐次観測するため、状態ｔ、あるいは時刻ｔでの観測画像の画素値をＣ′（ｔ）と表すことにする。平面射影変換を用いてオリジナル画像と観測画像との各画素を対応付けしながら、各画素の輝度変動ｅ（ｔ）を次式（７）の計算によって算出する。
【００４３】
【数７】
【００４４】
画像変動検出部３は、逐次観測した画像について、数式（７）を用いてオリジナル画像との輝度変動を検出する。
【００４５】
（輝度調整部５−１〜５−Ｎ）
輝度調整部５−１〜５−Ｎは、モード判定部４が輝度調整の処理を選択すると、処理を開始し、まず、テスト画像をセットする。テスト画像は、非特許文献１が用いている４種類の画像（グレー系画像、赤系画像、緑系画像、青系画像）を用いる。輝度調整部５−１〜５−Ｎでは、グレー系画像から処理を開始して、輝度補正がある程度まで完了した時点で、赤系画像、緑系画像、青系画像と順番に切り替えて処理する。
【００４６】
以下では、あるテスト画像について処理を説明するが、他の画像も同様に行う。また、本発明は、全てのプロジェクタについても同様の処理を行うため、Ｎ台のプロジェクタ１０−１〜１０−Ｎのうち，ｊ番目のプロジェクタ１０−ｊについての輝度調整部５−ｊの処理として説明する。以下では、ｊ番目であることを強調するため、下添え文字にｊを付ける。
【００４７】
テスト画像がセットされた後、各時刻、または各状態において、輝度を制御するための状態方程式を初期化する。輝度状態の初期化では、各画素値を次式（８）とする。
【００４８】
【数８】
【００４９】
αはテスト画像のオリジナル輝度を各プロジェクタへ分配するための定数である。Ｎ台のプロジェクタ１０−１〜１０−Ｎを用いた場合、α＝１／Ｎとする。
【００５０】
輝度調整部５−ｊは、テスト画像が所定の平面、または領域へ投影するように、射影変換ＤＢ８から平面射影変換のデータを取り出し、その平面射影変換のデータを用いて、そのテスト画像から投影用変換画像を生成する。平面射影変換のデータは、一度読み出してメモリ（図示略）に一時記憶して用いる。この平面射影変換については、前述した画像変動検出部３で説明しているので詳細を省略する。画像を観測するタイミングで、モード判定部４から同期信号が送出されるので、輝度調整部５−ｊは、その同期信号を受信した後、一定の時間を置いてから投影用変換画像をプロジェクタ１０−ｊにセットし、テスト画像を平面へ投影する。
【００５１】
輝度調整部５−ｊは、画像変動検出部３で得た輝度変動ｅ（ｔ）から、全画素についての誤差の平均値（輝度誤差）を計算し、その輝度誤差が所定の許容値ε（例えば、ε＝１０に設定しておく）より小さい場合には、現時点で処理を停止し、次のテスト画像をセットする。一方、その輝度誤差が所定の許容値ε以上である場合には、状態ｔ＋１での各画素の輝度状態を、次式（９）に従って制御する。
【００５２】
【数９】
【００５３】
この状態方程式では、Ｋはフィードバック制御におけるゲインパラメータの役割を担っており、本第１実施形態では、次式（１０）で与えられる。
【００５４】
【数１０】
【００５５】
ｋの設定値については、例えば、２台のプロジェクタを用いた例では、ｋ＝０．７、３台のプロジェクタを用いた例では、ｋ＝０．５とする。次に、プロジェクタ１０−ｊへの入力輝度とするため、次式（１１）により輝度を変換する。
【００５６】
【数１１】
【００５７】
Ｖｊはプロジェクタ１０−ｊのカラー混合行列であり、Ｆは環境光ベクトルである。これらのパラメータは、非特許文献１を利用して事前に求めておく。
【００５８】
数式（９）を用いて輝度が更新された画素は、プロジェクタ１０−ｊに次の状態として与えられる画像上の画素にセットされる。このとき、観測画像を射影変換したのと同様に、輝度調整部５−ｊは、射影変換ＤＢ８から取り出した平面射影変換のデータを用いて、投影用変換画像を生成する。投影用変換画像の画素は、プロジェクタ画面の画素である。テスト画像と同じ大きさの画像バッファを用意し、各画素が（ｕ′，ｖ′）に対応するため、数式（４）、（５）、（６）の平面射影変換の関係を利用して、プロジェクタ画面上の座標（ｕ，ｖ）を算出する。輝度が更新された画素は、その座標（ｕ，ｖ）の点にセットされる。全ての画素の輝度を更新した後、輝度調整部５−ｊは、この投影用変換画像をプロジェクタ１０−ｊにセットし、更新画像を再び平面に投影する。
【００５９】
数式（９）による輝度調整は、各状態ｔでの輝度変動に応じて行われ、輝度誤差が許容誤差εより小さくなるまで続けられる。各テスト画像について、輝度誤差が許容誤差εより小さくなった時点で、各テスト画像の輝度調整が完了したと判定し、作業用のメモリに一時確保しておく。上記の処理を、次々にテスト画像をセットして繰り返す。
【００６０】
全てのテスト画像の輝度を補正した後、分配係数の計算を実施する。上記の処理を繰り返して、グレー系画像、赤系画像、緑系画像、青系画像の輝度を調整し、最終的な輝度補正画像を得たとき、各画像上の各画素の輝度値がＣＷｊ、ＣＲｊ、ＣＧｊ、ＣＢｊであり、テスト画像上のそれぞれのオリジナルの画素の輝度値をＣＷ、ＣＲ、ＣＧ、ＣＢであるとする。これらの輝度値について、次式（１２）により関連付ける。
【００６１】
【数１２】
【００６２】
Ｄｊは３×３の行列、ｄｊは３次元ベクトルであり、これらを本発明では、分配係数と称する。つまり、数式（１２）の関係式を適用して、任意のコンテンツ画像の各画素を輝度補正する。Ｄｊとｄｊは、数式（１２）の連立方程式を解くことにより算出する。輝度調整部５−ｊは、各画素の分配係数Ｄｊ、ｄｊを算出すると、カラー分配ＤＢ７−ｊにそれらを格納し処理を終了する。
【００６３】
（輝度分配部６−１〜６−Ｎ）
輝度分配部６−１〜６−Ｎは、モード判定部４において、「輝度調整が完了した」という状態を検出すると、モードを「輝度分配モード」に変更する。モード判定部４が輝度分配部６−１〜６−Ｎの処理を選択すると、輝度分配部６−１〜６−Ｎは、輝度分配データのセットを実行する。カラー分配ＤＢ７−１〜７−Ｎから各画素のＤｊとｄｊをそれぞれ取り出し、一時メモリ（図示略）に記憶しておく。次に、コンテンツ画像ＤＢ９から任意の画像を読み込むと、その画像上の各画素の輝度値Ｃを、次式（１３）、（１４）により、各プロジェクタ１０−ｊへの輝度値Ｐｊを算出して分配する。
【００６４】
【数１３】
【００６５】
【数１４】
【００６６】
このとき、輝度調整部５−ｊにおいて投影用変換画像を生成したのと同様に、射影変換ＤＢ８から取り出した平面射影変換のデータを用いて、投影用変換画像を生成する。投影用変換画像の画素は、プロジェクタ画面の画素である。テスト画像と同じ大きさの画像バッファを用意し、各画素が（ｕ′，ｖ′）に対応するため、数式（４）、（５）、（６）の平面射影変換の関係を利用して、プロジェクタ画面上の座標（ｕ，ｖ）を算出する。新たな輝度値Ｐｊは、その座標（ｕ，ｖ）の点にセットされる。全ての画素をセットした後、モード判定部４からの同期信号を受信して、ある一定の時間（１秒以下の微小な時間）を置いて、その変換画像をプロジェクタ１０−ｊへ出力する。これにより、輝度補正された画像が所定の平面に投影される。もし、同期信号を受信したとき、その信号が停止命令ならば、処理を終了する。
【００６７】
図２、及び図３は、本第１実施形態の動作を説明するためのフローチャートである。モード判定部４は、起動されると、プロジェクタ１０−１〜１０−Ｎを制御するための状態を検出する（ステップＳ１）。次に、モード選択を実行する（ステップＳ２）。もし、初期状態において輝度補正を行うためのデータが何もないときは、ステップＳ１での状態検出では「補正パラメータが無い」と判断し、ステップＳ２でのモード選択において「輝度調整部５−１〜５−Ｎの処理」を選択する。次に、選択したモードが調整モードであるか否かを判断する（ステップＳ３）。そして、選択したモードが調整モードである場合には（ステップＳ３のＹＥＳ）、輝度調整部５−１〜５−Ｎの処理を実行させる。
【００６８】
モード判定部４が輝度調整の処理を選択すると、輝度調整部５−１〜５−Ｎは、テスト画像をセットし（ステップＳ４）、調整が終了したか否かを判断する（ステップＳ５）。ここで、調整が終了していない場合には（ステップＳ５のＮＯ）、プロジェクタ１０にセットする画像の輝度状態（状態方程式）を初期化し（ステップＳ６）、テスト画像が所定の平面、または領域へ投影するように、射影変換ＤＢ８から平面射影変換のデータを取り出し、その平面射影変換のデータを用いて、そのテスト画像から投影用変換画像を生成する（ステップＳ１２）。
【００６９】
次に、輝度調整部５−１〜５−Ｎは、画像を観測するタイミングで、モード判定部４から、その同期信号を受信したことを識別すると（ステップＳ１３）、一定の時間を置いてから投影用変換画像をプロジェクタ１０−１〜１０−Ｎにセットし、テスト画像を平面へ投影する（ステップＳ１４）。
【００７０】
画像入力部２では、カメラ２０で観測（撮像）された、プロジェクタ１０−１〜１０−Ｎによりスクリーン（平面）上に投影された画像を取得し、輝度変動検出部３に転送する（ステップＳ７）。輝度変動検出部３では、射影変換ＤＢ８から平面射影変換のデータを取り出し、画像上の画素とオリジナル画像上の画素とを対応付けるための射影変換を行い、射影変換画像を生成する（ステップＳ８）。次に、輝度変動検出部３は、逐次観測した画像について、オリジナル画像との輝度変動ｅ（ｔ）を検出する（ステップＳ９）。
【００７１】
輝度調整部５−１〜５−Ｎは、画像変動検出部３で得た輝度変動ｅ（ｔ）から、全画素についての誤差の平均値（輝度誤差）を計算し、その輝度誤差が所定の許容値ε（例えば、ε＝１０に設定しておく）より小さいか否かを判断する（ステップＳ１０）。そして、その輝度誤差が所定の許容値ε以上である場合には、状態ｔ＋１での各画素の輝度状態を、数式（９）に従って制御する（ステップＳ１１）。
【００７２】
次に、輝度調整部５−１〜５−Ｎは、観測画像を射影変換したのと同様に、射影変換ＤＢ８から取り出した平面射影変換のデータを用いて、投影用変換画像を生成し（ステップＳ１２）、モード判定部４から同期信号を受信したことを識別すると（ステップＳ１３）、全ての画素の輝度を更新した後、輝度調整部５−１〜５−Ｎは、この投影用変換画像をプロジェクタ１０−１〜１０−Ｎにセットし、更新画像を再び平面に投影する（ステップＳ１４）。
【００７３】
上述したステップＳ７〜Ｓ１４の輝度調整は、各状態ｔでの輝度変動に応じて行われ、輝度誤差が許容誤差εより小さくなるまで続けられる。そして、各テスト画像について、輝度誤差が許容誤差εより小さくなった時点で（ステップＳ１０のＹＥＳ）、次のテスト画像をセットし，上記の処理を繰り返す（ステップＳ４〜Ｓ１４）。
【００７４】
一方、全てのテスト画像の輝度を補正が終了すると（ステップＳ５のＹＥＳ）、輝度調整部５−１〜５−Ｎは、分配係数の計算を実施し、各画素の分配係数Ｄｊ、ｄｊを算出すると（ステップＳ１５）、カラー分配ＤＢ７−１〜７−Ｎにそれらを格納し、ステップＳ１の状態検出へ戻る。
【００７５】
一方、選択したモードが調整モードでない場合には（ステップＳ３のＮＯ）、すなわち、モードが「輝度分配モード」である場合には、輝度分配部６−ｊの処理を実行させる。輝度分配部６−ｊは、カラー分配ＤＢ７−ｊから各画素のＤｊとｄｊをそれぞれ取り出し、輝度分配データをセットする（図３のステップＳ１６）。次に、コンテンツ画像ＤＢ９から任意の画像を読み込み（ステップＳ１７）、その画像上の各画素の輝度値Ｃを、各プロジェクタ１０−ｊへの輝度値として分配する（ステップＳ１８）。
【００７６】
次に、輝度分配部６−ｊは、射影変換ＤＢ８から取り出した平面射影変換のデータを用いて、投影用変換画像を生成し（ステップＳ１９）、全ての画素をセットした後、モード判定部４からの同期信号を識別し（ステップＳ２０）、該同期信号が処理終了（停止命令）であるか否かを判断する（ステップＳ２１）。そして、該同期信号が処理終了（停止命令）でない場合には（ステップＳ２１のＮＯ）、ある一定の時間（１秒以下の微小な時間）を置いて、その変換画像をプロジェクタ１０−ｊへ出力し、輝度補正された画像を所定の平面に投影する（ステップＳ２２）。その後、図３のステップＳ１に戻る。一方、同期信号が処理終了（停止命令）である場合には（ステップＳ２１のＹＥＳ）、当該処理を終了する。
【００７７】
上述した第１実施形態によれば、適当に与えたテスト画像から任意のコンテンツの画像を各プロジェクタへ輝度配分するための分配係数を保有することにより、全てのプロジェクタ間でパラメータ等を共有すること無く、柔軟にマルチプロジェクタシステムの輝度補正を行うことができる。さらに、分配係数は、コンテンツ画像に依存しないため、それぞれのプロジェクタにおいて一度保有するだけで、その分配係数を用いて任意のコンテンツ画像を補正することができる。
【００７８】
Ｂ．第２実施形態
次に、本発明の第２実施形態について説明する。
図４は、本発明に係る第２実施形態の多重投影輝度調整装置１の構成を示すブロック図である。なお、図１に対応する部分には同一の符号を付けて説明を省略する。本第２実施形態では、任意のコンテンツ画像を投影している間に、照明などの環境に変化が発生したとき、その輝度変化に応じてプロジェクタ１０−１〜１０−Ｎの輝度を制御することを特徴としている。本第２実施形態は、上述した第１実施形態と同様の構成であるが、輝度調整部５−１〜５−Ｎと輝度分配部６ａ−１〜６ａ−Ｎの双方において画像変動検出部３で得た輝度変動を利用する。
【００７９】
（輝度分配部６ａ−１〜６ａ−Ｎ）
モード判定部４が輝度分配部６ａ−１〜６ａ−Ｎの処理を選択すると、画像変動検出部３で得た状態ｔでの輝度誤差ｅ（ｔ）を輝度分配部６ａ−ｊへ渡す。輝度分配部６ａ−ｊは、カラー分配ＤＢ７−ｊから各画素の分配係数データＤｊとｄｊをセットした後、コンテンツ画像ＤＢ９から任意の画像を読み込むと、その画像上の各画素の輝度値Ｃを、次式（１５）により、各プロジェクタ１０−ｊへの輝度値Ｐｊを算出して分配する。
【００８０】
【数１５】
【００８１】
Ｋは、数式（１０）を利用する（パラメータｋの値を変更してもよい）。各画素において輝度誤差が発生したとき、数式（１５）に従ったフィードバック制御により、その輝度変動を吸収して輝度補正することができる。
【００８２】
図５、及び図６は、本第２実施形態の動作を説明するためのフローチャートである。なお、第１実施形態での図２、図３と対応する部分には同一のステップを付け、説明を簡略化している。選択したモードが調整モードである場合には（ステップＳ３のＹＥＳ）、前述した第１実施形態と同様に、ステップＳ４〜Ｓ１４を繰り返し実行し、最終的に、全てのテスト画像の輝度を補正が終了すると（ステップＳ５のＹＥＳ）、輝度調整部５−ｊは、分配係数の計算を実施し、各画素の分配係数Ｄｊ、ｄｊを算出し（ステップＳ１５）、カラー分配ＤＢ７−ｊにそれらを格納し、ステップＳ１の状態検出へ戻る。
【００８３】
一方、選択したモードが輝度分配モードになると（ステップＳ３のＮＯ）、前述した第１実施形態と同様に、カメラ２０で観測（撮像）された、プロジェクタ１０−１〜１０−Ｎによりスクリーン（平面）上に投影された画像を画像入力部２で取得し（ステップＳ７）、輝度変動検出部３では、射影変換ＤＢ８から平面射影変換のデータを取り出し、画像上の画素とオリジナル画像上の画素とを対応付けるための射影変換を行い、射影変換画像を生成する（ステップＳ８）。次に、輝度変動検出部３は、逐次観測した画像について、オリジナル画像との輝度変動ｅ（ｔ）を検出する（ステップＳ９）。この場合、モードが「輝度分配モード」であるので（ステップＳ３のＮＯ）、再び、上述したステップＳ１６〜Ｓ２２を実行する。
【００８４】
ここで、輝度分配部６ａ−１〜６ａ−Ｎは、ステップＳ１８で、カラー分配ＤＢ７−ｊから各画素の分配係数データＤｊとｄｊをセットした後、コンテンツ画像ＤＢ９から任意の画像を読み込むと、その画像上の各画素の輝度値Ｃを、画像変動検出部３からの輝度誤差ｅ（ｔ）を用いて、数式（１５）により、各プロジェクタ１０−ｊへの輝度値Ｐｊを算出して分配する。そして、ステップＳ２２で、変換画像をプロジェクタ１０−ｊへ出力し、輝度補正された画像を所定の平面に投影する。その後、図５のステップＳ７へ戻り、上述した処理を同期信号が処理終了（停止命令）になるまで繰り返し実行し、同期信号が処理終了（停止命令）になると（ステップＳ２１のＹＥＳ）、当該処理を終了する。
【００８５】
上述した第２実施形態によれば、コンテンツ画像をプロジェクタ１０−１〜１０−Ｎで投射している間に、照明などの環境に変化が発生した場合であっても、カメラ２０で撮影し、輝度変動検出部３でリアルタイムで輝度変動を検出し、輝度分配部６ａ−１〜６ａ−Ｎでプロジェクタ１０−１〜１０−Ｎに分配する輝度を制御するので、コンテンツ画像を投影しているその輝度変化に応じてプロジェクタ１０−１〜１０−Ｎの輝度を制御することができる。
【００８６】
さらに、本第２実施形態によれば、全てのプロジェクタに対して補正パラメータを共有しないで輝度を補正するため、プロジェクタの台数や、配置を変更しても柔軟に輝度補正を行うことができる。
【００８７】
Ｃ．第３実施形態
次に、本発明の第３実施形態について説明する。
システムの設定や、プロジェクタの台数と配置に変更が無い状況では、第１実施形態、または第２実施形態の輝度調整部５−１〜５−Ｎにおいて分配係数を算出する手間を省くことができる。本第３実施形態では、先のセットアップにおいてカラー配分ＤＢ７−１〜７−Ｎに分配係数を記憶しておき、該分配係数を用いて輝度補正を行う。
【００８８】
図７は、本発明に係る第３実施形態の多重投影輝度調整装置１の構成を示すブロック図である。なお、図１に対応する部分には同一の符号を付けて説明を省略する。図示するように、本第３実施形態では、画像入力部１、画像変動検出部３、モード判別部４、輝度調整部５−１〜５−Ｎを省いた構成となっている。
【００８９】
図８は、本第３実施形態の動作を説明するためのフローチャートである。なお、図８に示すフローチャートは、前述した第１実施形態での図２のステップＳ３においてモード判定部４が輝度分配部６−１〜６−Ｎの処理を選択したときに実行される、図３に示すフローチャートと同じである。輝度分配部６−ｊは、カラー分配ＤＢ７−ｊから各画素のＤｊとｄｊをそれぞれ取り出し、輝度分配係数データをセットする（ステップＳ３０）。次に、コンテンツ画像ＤＢ９から任意の画像を読み込み（ステップＳ３１）、その画像上の各画素の輝度値Ｃを、各プロジェクタ１０−ｊへの輝度値として分配する（ステップＳ３２）。
【００９０】
次に、輝度分配部６−１〜６−Ｎは、射影変換ＤＢ８から取り出した平面射影変換のデータを用いて、投影用変換画像を生成し（ステップＳ３３）、全ての画素をセットした後、モード判定部４からの同期信号が処理終了（停止命令）でない場合には（ステップＳ３４のＮＯ）、その変換画像をプロジェクタ１０−ｊへ出力し、輝度補正された画像を所定の平面に投影する（ステップＳ３５）。その後、ステップＳ３１に戻り、次のコンテンツ画像に対して上述した処理を繰り返す。一方、同期信号が処理終了（停止命令）である場合には（ステップＳ３４のＹＥＳ）、当該処理を終了する。
【００９１】
上述した第３実施形態によれば、システムの設定や、プロジェクタの台数と配置に変更が無い場合には、先のセットアップにおいてカラー配分ＤＢ７−１〜７−Ｎに分配係数を記憶しておき、該分配係数を用いて輝度補正を行うようにしたので、画像入力部１、画像変動検出部３、モード判別部４、輝度調整部５−１〜５−Ｎを省くことができ、また、分配係数を算出する手間を省くことができる。
【００９２】
Ｄ．第４実施形態
次に、本発明の第４実施形態について説明する。
上述した第３実施形態では、プロジェクタ以外の照明や、環境光に変化がない状況を想定していた。これに対して、本第４実施形態は、任意のコンテンツ画像を投影している間に照明などの環境に変化が発生したとき、その輝度変化に応じて輝度を制御することを特徴としている。
【００９３】
図９は、本発明に係る第４実施形態の多重投影輝度調整装置１の構成を示すブロック図である。なお、図１に対応する部分には同一の符号を付けて説明を省略する。図示するように、本第４実施形態では、モード判別部４、輝度調整部５−１〜５−Ｎを省いた構成となっている。画像変動検出部３は、任意のコンテンツ画像を投影しているときに、画像入力部２からの画像に基づいて算出した、状態ｔでの輝度誤差ｅ（ｔ）を輝度分配部６ａ−１〜６ａ−Ｎへ渡す。輝度分配部６ａ−ｊは、カラー分配ＤＢ７−ｊから各画素の分配係数データＤｊとｄｊをセットした後、コンテンツ画像ＤＢ９から任意の画像を読み込むと、その画像上の各画素の輝度値Ｃを、数式（１５）により、各プロジェクタ１０−ｊへの輝度値Ｐｊを算出して分配する。
【００９４】
図１０は、本第４実施形態の動作を説明するためのフローチャートである。輝度分配部６−ｊは、カラー分配ＤＢ７−ｊから各画素のＤｊとｄｊをそれぞれ取り出し、輝度分配係数データをセットする（ステップＳ４０）。次に、コンテンツ画像ＤＢ９から任意の画像を読み込み（ステップＳ４１）、その画像上の各画素の輝度値Ｃを、各プロジェクタ１０−ｊへの輝度値として分配する（ステップＳ４２）。
【００９５】
次に、輝度分配部６−１〜６−Ｎは、射影変換ＤＢ８から取り出した平面射影変換のデータを用いて、投影用変換画像を生成し（ステップＳ４３）、全ての画素をセットした後、モード判定部４からの同期信号を識別し（ステップＳ４４）、同期信号が処理終了（停止命令）でない場合には（ステップＳ４５のＮＯ）、その変換画像をプロジェクタ１０−ｊへ出力し、輝度補正された画像を所定の平面に投影する（ステップＳ４６）。
【００９６】
画像入力部２では、カメラ２０で観測（撮像）された、プロジェクタ１０−１〜１０−Ｎによりスクリーン（平面）上に投影された画像を取得し、輝度変動検出部３に転送する（ステップＳ４７）。輝度変動検出部３では、射影変換ＤＢ８から平面射影変換のデータを取り出し、観測画像上の画素とオリジナル画像上の画素とを対応付けるための射影変換を行い、射影変換画像を生成する（ステップＳ４８）。次に、輝度変動検出部３は、観測した画像について、オリジナル画像との輝度変動ｅ（ｔ）を検出する（ステップＳ４９）。輝度分配部６−ｊでは、コンテンツ画像ＤＢ９から任意の画像を読み込み（ステップＳ４１）、その画像上の各画素の輝度値Ｃを、各プロジェクタ１０−ｊへの輝度値として分配する（ステップＳ４２）。
【００９７】
以上、コンテンツ画像をプロジェクタ１０−１〜１０−Ｎで投射しつつ、カメラ２０で撮影し、輝度変動検出部３でリアルタイムで輝度変動を検出して、輝度分配部６−１〜６−Ｎでプロジェクタ１０−１〜１０−Ｎに分配する輝度を制御すべく、上述した処理を繰り返す。一方、同期信号が処理終了（停止命令）である場合には（ステップＳ４５のＹＥＳ）、当該処理を終了する。
【００９８】
上述した第４実施形態によれば、任意のコンテンツ画像を投影している間に照明などの環境に変化が発生したときであっても、その輝度変化に応じて輝度を制御することができる。
【００９９】
さらに、本第４実施形態によれば、全てのプロジェクタに対して補正パラメータを共有しないで輝度を補正するため、プロジェクタの台数や、配置を変更しても柔軟に輝度補正を行うことができる。
【０１００】
なお、本発明は、前述した第１乃至第４実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム、あるいは装置に供給し、そのシステム、あるいは装置のＣＰＵ（ＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出して実行することによっても実現できる。この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施の形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＭＯ、ＨＤＤ等は本発明を構成する。
【符号の説明】
【０１０１】
１ 多重投影輝度調整装置
２ 画像入力部
３ 輝度変動検出部
４ モード判別部
５−１〜５−Ｎ 輝度調整部
６−１〜６−Ｎ、６ａ−１〜６ａ−Ｎ 輝度分配部
７−１〜７−Ｎ カラー分配ＤＢ
６ 射影変換ＤＢ
８ 輝度補正ＤＢ
９ コンテンツ画像ＤＢ
１０−１〜１０−Ｎ プロジェクタ
２０ カメラ
【特許請求の範囲】
【請求項１】
Ｎ台のプロジェクタによって投影される画像を１台のカメラによって撮像するマルチプロジェクタシステムでの多重投影輝度調整方法であって、
入力されたテスト画像を前記プロジェクタによって投影した投影画像を、前記カメラで観測した観測画像として取得する観測画像取得ステップと、
前記テスト画像と前記観測画像との輝度変動を検出する輝度変動検出ステップと、
前記検出された輝度変動に基づいて前記Ｎ台のプロジェクタの輝度を制御する輝度制御ステップと、
前記輝度制御の結果に基づいて、前記Ｎ台のプロジェクタへ輝度を分配するための各画素の分配係数を算出する算出ステップと、
コンテンツ画像を読み込み、該コンテンツ画像上の各画素の輝度値を、前記分配係数に基づいて、前記Ｎ台のプロジェクタへの輝度値として分配する分配ステップと、
前記輝度値が分配された前記コンテンツ画像を前記Ｎ台のプロジェクタから投影するステップと
を含むことを特徴とする多重投影輝度調整方法。
【請求項２】
前記算出ステップは、
前記テスト画像の各画素値が、前記輝度制御の後の前記輝度に基づいて得られる前記テスト画像の各画素値と線形結合で結び付けられた輝度分配モデルに基づいて前記分配係数を算出するステップであることを特徴とする、請求項１に記載の多重投影輝度調整方法。
【請求項３】
前記観測画像取得ステップ、前記輝度変動検出ステップを繰り返し実行し、
前記制御ステップは、
前記輝度変動が所定の許容値以上の場合には、前記Ｎ台のプロジェクタへ入力される輝度状態を制御した後、前記Ｎ台のプロジェクタから更新後の輝度に基づいて画像を再び投影するステップと、
前記輝度変動が前記所定の許容値より小さい場合には、前記テスト画像に対する前記Ｎ台のプロジェクタの輝度の制御が完了したと判定する完了判定ステップと、
を含むことを特徴とする、請求項１又は２に記載の多重投影輝度調整方法。
【請求項４】
Ｎ台のプロジェクタによって投影される画像を１台のカメラによって撮像するマルチプロジェクタシステムの多重投影輝度調整装置であって、
入力されたテスト画像を前記プロジェクタによって投影した投影画像を、前記カメラで観測した観測画像として取得する観測画像取得部と、
前記テスト画像と前記観測画像との輝度変動を検出する輝度変動検出部と、
前記検出された輝度変動に基づいて前記Ｎ台のプロジェクタの輝度を制御する輝度制御部と、
前記輝度制御の結果に基づいて、前記Ｎ台のプロジェクタへ輝度を分配するための各画素の分配係数を算出する算出部と、
コンテンツ画像を読み込み、該コンテンツ画像上の各画素の輝度値を、前記分配係数に基づいて、前記Ｎ台のプロジェクタへの輝度値として分配する分配部と、
前記輝度値が分配された前記コンテンツ画像を前記Ｎ台のプロジェクタから投影する投影部と
を含むことを特徴とする多重投影輝度調整装置。
【請求項５】
請求項１から３のいずれかに記載の多重投影輝度調整方法をコンピュータに実行させるためのコンピュータプログラム。
【請求項６】
請求項１から３のいずれかに記載の多重投影輝度調整方法をコンピュータに実行させるためのコンピュータプログラムを記録した記録媒体。
【請求項１】
Ｎ台のプロジェクタによって投影される画像を１台のカメラによって撮像するマルチプロジェクタシステムでの多重投影輝度調整方法であって、
入力されたテスト画像を前記プロジェクタによって投影した投影画像を、前記カメラで観測した観測画像として取得する観測画像取得ステップと、
前記テスト画像と前記観測画像との輝度変動を検出する輝度変動検出ステップと、
前記検出された輝度変動に基づいて前記Ｎ台のプロジェクタの輝度を制御する輝度制御ステップと、
前記輝度制御の結果に基づいて、前記Ｎ台のプロジェクタへ輝度を分配するための各画素の分配係数を算出する算出ステップと、
コンテンツ画像を読み込み、該コンテンツ画像上の各画素の輝度値を、前記分配係数に基づいて、前記Ｎ台のプロジェクタへの輝度値として分配する分配ステップと、
前記輝度値が分配された前記コンテンツ画像を前記Ｎ台のプロジェクタから投影するステップと
を含むことを特徴とする多重投影輝度調整方法。
【請求項２】
前記算出ステップは、
前記テスト画像の各画素値が、前記輝度制御の後の前記輝度に基づいて得られる前記テスト画像の各画素値と線形結合で結び付けられた輝度分配モデルに基づいて前記分配係数を算出するステップであることを特徴とする、請求項１に記載の多重投影輝度調整方法。
【請求項３】
前記観測画像取得ステップ、前記輝度変動検出ステップを繰り返し実行し、
前記制御ステップは、
前記輝度変動が所定の許容値以上の場合には、前記Ｎ台のプロジェクタへ入力される輝度状態を制御した後、前記Ｎ台のプロジェクタから更新後の輝度に基づいて画像を再び投影するステップと、
前記輝度変動が前記所定の許容値より小さい場合には、前記テスト画像に対する前記Ｎ台のプロジェクタの輝度の制御が完了したと判定する完了判定ステップと、
を含むことを特徴とする、請求項１又は２に記載の多重投影輝度調整方法。
【請求項４】
Ｎ台のプロジェクタによって投影される画像を１台のカメラによって撮像するマルチプロジェクタシステムの多重投影輝度調整装置であって、
入力されたテスト画像を前記プロジェクタによって投影した投影画像を、前記カメラで観測した観測画像として取得する観測画像取得部と、
前記テスト画像と前記観測画像との輝度変動を検出する輝度変動検出部と、
前記検出された輝度変動に基づいて前記Ｎ台のプロジェクタの輝度を制御する輝度制御部と、
前記輝度制御の結果に基づいて、前記Ｎ台のプロジェクタへ輝度を分配するための各画素の分配係数を算出する算出部と、
コンテンツ画像を読み込み、該コンテンツ画像上の各画素の輝度値を、前記分配係数に基づいて、前記Ｎ台のプロジェクタへの輝度値として分配する分配部と、
前記輝度値が分配された前記コンテンツ画像を前記Ｎ台のプロジェクタから投影する投影部と
を含むことを特徴とする多重投影輝度調整装置。
【請求項５】
請求項１から３のいずれかに記載の多重投影輝度調整方法をコンピュータに実行させるためのコンピュータプログラム。
【請求項６】
請求項１から３のいずれかに記載の多重投影輝度調整方法をコンピュータに実行させるためのコンピュータプログラムを記録した記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１３−８５１８２（Ｐ２０１３−８５１８２Ａ）
【公開日】平成２５年５月９日（２０１３．５．９）
【国際特許分類】
【出願番号】特願２０１１−２２４９２０（Ｐ２０１１−２２４９２０）
【出願日】平成２３年１０月１２日（２０１１．１０．１２）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２５年５月９日（２０１３．５．９）
【国際特許分類】
【出願日】平成２３年１０月１２日（２０１１．１０．１２）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]