投影輝度調整方法、投影輝度調整装置、コンピュータプログラム及び記録媒体
【課題】プロジェクタの出力性能、カメラ感度、ダイナミックレンジに関わらず、プロジェクタからの出力輝度とカメラによる観測輝度との間を直線近似するカラー混合行列を容易に獲得可能とする。
【解決手段】画像入力部２は、スクリーン上に投影された画像を撮像したカメラ２０から画像データを取得する。輝度変化検出部３は、画像上の画素とサンプル画像上の画素とを対応付けるための射影変換を行い、射影変換画像を生成し、逐次観測した画像について、サンプル画像との輝度変化を検出する。輝度更新部４は、輝度変化に応じてプロジェクタ１０から出力する輝度を更新し、プロジェクタ１０から画像をスクリーンに投影する。補正係数算出部５は、ある目標とする画像に近い画像を観測した時点で輝度補正のパラメータを算出する。
【解決手段】画像入力部２は、スクリーン上に投影された画像を撮像したカメラ２０から画像データを取得する。輝度変化検出部３は、画像上の画素とサンプル画像上の画素とを対応付けるための射影変換を行い、射影変換画像を生成し、逐次観測した画像について、サンプル画像との輝度変化を検出する。輝度更新部４は、輝度変化に応じてプロジェクタ１０から出力する輝度を更新し、プロジェクタ１０から画像をスクリーンに投影する。補正係数算出部５は、ある目標とする画像に近い画像を観測した時点で輝度補正のパラメータを算出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、単数または複数のプロジェクタからの投影像をカメラで観測するとき、各画素の観測輝度値が所定の値となるようにプロジェクタからの出力輝度値を自動的に補正する投影輝度調整技術に関する。
【背景技術】
【０００２】
プロジェクタ・カメラシステムは、様々な用途に利用されている。例えば、会議や、学会発表でのプレゼンテーションにプロジェクタを利用する以外に、ヒューマンインタラクションや、拡張現実感の表示システムとしても利用できる。さらに、複数のプロジェクタを用いると、各プロジェクタからの画像を繋ぎ合わせて巨大な画像（タイリング）を生成でき、近年では、ＨＤＲ（High Dynamic Range）画像を表示するアプリケーションとしても期待されている。
【０００３】
プロジェクタからの画像を投影して、カメラによりその投影像を観測するとき、そのカメラが所定の輝度を観測するように原画像を調整する。これは輝度補正と呼ばれており、例えば非特許文献１、２に開示されている。この方法では、プロジェクタからのＲＧＢ輝度値とカメラで観測されたＲＧＢ輝度値との間の相関関係に着目し、カラー混合行列（Color Mixing Matrix）と呼ばれる３×３の行列Ｖを用いて、所定のＲＧＢ輝度値Ｃ＝（ＣＲ，ＣＧ，ＣＢ）を、カメラが観測するようにプロジェクタからのＲＧＢ出力値Ｐ＝（ＰＲ，ＰＧ，ＰＢ）を補正する。このシステムにおいて、観測した画像の輝度値Ｃと各プロジェクタからの出力輝度Ｐとの間には、次式（１）が成り立つ。
【０００４】
【数１】
【０００５】
Ｖは、プロジェクタのカラー混合行列であり、Ｆ＝（Ｆｒ，Ｆｇ，Ｆｂ）は、プロジェクタ以外の光源からの照明を含む環境光である（物体表面の反射率は一定と考える）。非特許文献２によれば、４枚のサンプル画像が用意できれば、カラー混合行列と環境光を求めることができる。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】S. K. Nayar, H. Peri, M. D. Grossberg, and P. N. Belhumeur:“A Projection System with Radiometric Compensation for Screen Imperfections”, Proc. of ICCV Workshop on Projector-Camera Systems (PROCAMS), 2003.
【非特許文献２】K. Fujii, M. D. Grossberg, and S. K. Nayar: “A Projector-Camera System with Real-Time Photometric Adaptation for Dynamic Environments”, Proc. of IEEE Computer Vision and Pattern Recognition (CVPR), vol.1, pp.814-821, 2005.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上述したように、非特許文献２によれば、プロジェクタとカメラ間のカラー混合行列を算出するには、４枚の画像が必要である。この画像の例として、グレー系画像、赤系画像、緑系画像、青系画像の４枚が用いられる（以下、サンプル画像と称する）。例えば、グレー系画像の全画素のＲＧＢ値をＰｗ＝（Ｒｗ，Ｇｗ，Ｂｗ）に、赤系画像の全画素値をＰｒ＝（Ｒｗ＋ΔＲ，Ｇｗ，Ｂｗ）に、緑系画像の全画素値をＰｇ＝（Ｒｗ，Ｇｗ＋ΔＧ，Ｂｗ）に、青系画像の全画素値をＰｂ＝（Ｒｗ，Ｇｗ，Ｂｗ＋ΔＢ）に設定する。つまり、グレー系画像を基準画像として、赤系画像、緑系画像、青系画像は、それぞれ１チャネルだけを変化させた画像とする。
【０００８】
非特許文献２は、これらの画像を用いることにより、各画素の輝度変化を容易に検出して、カラー混合行列の要素を算出する。例えば、グレー系の画像、赤系の画像をプロジェクタから出力し、それをカメラで観測したときの画像において、ある画素値がそれぞれＣｗ＝（Ｒｗ′，Ｇｗ′，Ｂｗ′），Ｃｒ＝（Ｒｒ′，Ｇｒ′，Ｂｒ′）とする。プロジェクタの輝度変化は、Ｒチャネルだけなので、式（１）に従えば、その差分Ｃｒ−Ｃｗから、次式（２）の関係になる。
【０００９】
【数２】
【００１０】
よって、次式（３）の計算により、カラー混合行列の要素Ｖｒｒ，Ｖｇｒ，Ｖｂｒを得ることができる。同様に、緑系画像、青系画像を用いることで、残りのカラー混合行列の要素を推定することができる。
【００１１】
【数３】
【００１２】
数式（１）から明らかなように、従来方法は、プロジェクタからの輝度Ｐとカメラによる観測輝度Ｃとの間を直線近似する方法であるため、各チャネルの変化量があまり小さいと、数式（３）で推定される各行列要素の精度が劣化する恐れがある（変化量に対して反比例の関係となっている）。
【００１３】
つまり、サンプル画像の各変化量ΔＲ、ΔＧ、並びにΔＢを適当に与えるためには、作業者は、プロジェクタの出力性能、カメラ感度、ダイナミックレンジなどを考慮して、カラー混合行列の各要素を安定して推定する必要があった。言い換えると、プロジェクタの出力性能、カメラ感度、ダイナミックレンジなどを作業者が考慮すること無く、カラー混合行列を自動的に推定することができないという問題があった。
【００１４】
本発明は、このような事情を考慮してなされたものであり、その目的は、プロジェクタの出力性能、カメラ感度、ダイナミックレンジに関わらず、任意のサンプル画像に基づいてプロジェクタからの出力輝度とカメラによる観測輝度との間を直線近似するためのカラー混合行列を容易に獲得することができる技術を提供することにある。
【課題を解決するための手段】
【００１５】
本発明の一態様は、プロジェクタによって投影される画像をカメラによって撮像するプロジェクタ・カメラシステムでの投影輝度調整方法であって、設定された値に基づくサンプル画像を前記プロジェクタによって投影した投影画像を、前記カメラで観測した観測画像として取得する観測画像取得ステップと、前記サンプル画像と前記観測画像との輝度変化を検出する輝度変化検出ステップと、前記プロジェクタ又は前記カメラの性能に基づいて予め設定される補正パラメータを用いることなく、前記検出された輝度変化の量に基づいて前記プロジェクタの輝度を制御する輝度制御ステップとを含むことを特徴とする投影輝度調整方法である。
【００１６】
本発明の一態様は、上記の投影輝度調整方法であって、前記観測画像取得ステップ、前記輝度変化検出ステップを繰り返し実行し、前記制御ステップは、前記輝度変化の量が所定の許容値以上の場合には、前記プロジェクタへ入力される輝度を更新した後、前記プロジェクタから更新後の輝度に基づいて画像を再び投影するステップと、前記輝度変化の量が前記所定の許容値より小さい場合には、サンプル画像に対する前記プロジェクタの輝度の制御が完了したと判定する完了判定ステップとを含むことを特徴とする。
【００１７】
本発明の一態様は、上記の投影輝度調整方法であって、前記輝度制御ステップの後、カラー混合行列と環境光ベクトルとを含む補正パラメータを算出する算出ステップを更に含むことを特徴とする。
【００１８】
本発明の一態様は、上記の投影輝度調整方法であって、階調誤差を算出するためのテスト画像を生成し、前記補正パラメータを用いて前記テスト画像を補正するステップと、補正後の前記テスト画像の投影画像を前記カメラで撮像して得られたテスト観測画像と、補正前の前記テスト画像との各階調での輝度の誤差を表す階調誤差を算出するステップと、前記階調誤差が所定の閾値以上の場合は、前記補正パラメータ算出に使った前記サンプル画像の輝度階調を変更して、前記輝度制御ステップにより再びそのサンプル画像を補正するステップと、前記階調誤差が所定の閾値より小さい場合は、前記サンプル画像の補正が完了したと判定するステップと、を更に含むことを特徴とする。
【００１９】
本発明の一態様は、プロジェクタによって投影される画像をカメラによって撮像するプロジェクタ・カメラシステムの投影輝度調整装置であって、設定された値に基づくサンプル画像を前記プロジェクタによって投影した投影画像を、前記カメラで観測した観測画像として取得する観測画像取得部と、前記サンプル画像と前記観測画像との輝度変化を検出する輝度変化検出部と、前記プロジェクタ又は前記カメラの性能に基づいて予め設定される補正パラメータを用いることなく、前記検出された輝度変化の量に基づいて前記プロジェクタの輝度を制御する輝度制御部とを備えることを特徴とする投影輝度調整装置である。
【００２０】
本発明の一態様は、上記の投影輝度調整方法をコンピュータに実行させるためのコンピュータプログラムである。
【００２１】
本発明の一態様は、上記の投影輝度調整方法をコンピュータに実行させるためのコンピュータプログラムを記録した記録媒体である。
【発明の効果】
【００２２】
この発明によれば、プロジェクタの出力性能、カメラ感度、ダイナミックレンジなどを考慮すること無く、任意のサンプル画像を与えても、プロジェクタからの出力輝度とカメラによる観測輝度との間を直線近似するためのカラー混合行列を自動的に獲得することができる。
【図面の簡単な説明】
【００２３】
【図１】本発明に係る第１実施形態の投影輝度調整装置１の構成を示すブロック図である。
【図２】本第１実施形態の動作を説明するためのフローチャートである。
【図３】プロジェクタに与えた入力輝度（あるカラーチャネル）をカメラで観測した輝度出力の特性（トーンカーブ）の典型例を示す概念図である。
【図４】線形近似を用いた輝度補正の例を示す概念図である（範囲の狭い近似）。
【図５】線形近似を用いた輝度補正の例を示す概念図である（範囲の広い近似）。
【図６】本発明に係る第２実施形態の投影輝度調整装置１の構成を示すブロック図である。
【図７】本第２実施形態での入力輝度レベルＰＬとＰＨの設定方法を説明するための概念図である。
【図８】本第２実施形態によるモデル評価部の動作を説明するためのフローチャートである。
【発明を実施するための形態】
【００２４】
以下、本発明の一実施形態を、図面を参照して説明する。
【００２５】
Ａ．第１実施形態
図１は、本発明に係る第１実施形態の投影輝度調整装置１の構成を示すブロック図である。図１において、投影輝度調整装置１は、１台のプロジェクタ１０と１台のカメラ２０とからなるプロジェクタ・カメラシステムに対する投影輝度調整方法を実現する。投影輝度調整装置１は、画像入力部２、輝度変化検出部３、輝度更新部４、及び補正係数算出部５を備えている。画像入力部２は、カメラ２０から画像データを取得する。輝度変化検出部３は、画像入力部１から観測画像を取得し、その画像情報を用いて輝度変化を検出する。輝度更新部４は、射影計算ＤＢ６から取り出した平面射影変換のデータを用いて、投影用変換画像を生成し、その輝度変化検出部３にて得た輝度変化に応じてプロジェクタ１０から出力する輝度を更新する。補正係数算出部５は、ある目標とする画像に近い画像を観測した時点で輝度補正のパラメータを算出して輝度補正ＤＢ７に保存する。
【００２６】
本第１実施形態による投影輝度調整装置１は、準備したサンプル画像に近い画像を、カメラ２０が観測するように、観測した画像の輝度変化に応じて、プロジェクタ１０へ与える輝度を更新し、自動的に任意の画像の輝度を補正するための輝度補正係数を算出する。
【００２７】
この構成において、プロジェクタ１０、カメラ２０は、必ずしも構成要素として接続している必要はなく、処理に必要なデータを取得すればよい。また、画像入力部２、輝度変化検出部３、輝度更新部４、補正係数算出部５からそれぞれの矢印へのデータの流れは、ハードディスク、ＲＡＩＤ装置、ＣＤ−ＲＯＭなどの記録媒体を利用する形態、または、ネットワークを介してリモートなデータ資源を利用する形態でもどちらでも構わない。
【００２８】
以下、各部の詳細について説明する。なお、下記の各処理部でのサンプル画像は、グレー系画像、赤系画像、緑系画像、青系画像を指している。
【００２９】
（画像入力部２）
画像入力部２は、カメラ２０で観測（撮像）された、プロジェクタ１０によりスクリーン（平面）上に投影された画像を取得し、輝度変化検出部３に転送する。画像入力部２で取得する画像の例としては、スクリーン全体が隠れることなく写された画像、または、所定の領域を撮影した画像である。
【００３０】
（輝度変化検出部３）
輝度変化検出部３は、画像上の画素とサンプル画像上の画素とを対応付けるための射影変換を行い、射影変換画像を生成する。以下に、該射影変換方法について説明する。
【００３１】
プロジェクタ画面の点の２次元座標を（ｕ，ｖ）、その点がＺ＝０のＸＹ平面上に投影されたときの３次元座標を（Ｘ，Ｙ，０）、その投影点をカメラ２０で観測したときの点の２次元座標を（ｘ，ｙ）とすると、プロジェクタ１０と平面間の平面射影変換Ｈｐｓ、並びに平面とカメラ２０間の平面射影変換Ｈｓｃによって、次式（４）、（５）の計算により、各画素をそれぞれ対応付けることができる。
【００３２】
【数４】
【００３３】
【数５】
【００３４】
さらに、プロジェクタ１０から出力する画像の２次元座標（ｕ，ｖ）とサンプル画像上の点の２次元座標（ｕ′，ｖ′）とは、次式（６）の計算により両画素を対応付けることができる。
【００３５】
【数６】
【００３６】
Ｈｉｐは、サンプル画像とプロジェクタ画面間の平面射影変換である。よって、これらの平面射影変換が既知であると、サンプル画像の２次元座標（ｕ′，ｖ′）とカメラ２０で観測した２次元座標（ｘ，ｙ）との間、並びに、プロジェクタ画面上の２次元座標（ｕ，ｖ）とカメラ２０で観測した２次元座標（ｘ，ｙ）との間を結び付けることができる。これらの平面射影変換は、事前のキャリブレーション作業によって得られており、そのデータが射影変換ＤＢ６に格納されている。このキャリブレーションでは、公知となっている平面射影変換推定方法を利用することができる。
【００３７】
輝度変化検出部３は、画像入力部２から観測画像を取得すると、射影変換ＤＢ６から上記平面射影変換のデータを読み込み、数式（６）に従ってサンプル画像の画素の２次元座標値（ｕ′，ｖ′）から観測画像上の画素に該当する２次元座標値（ｘ，ｙ）を算出する。輝度変化検出部３は、この座標計算を対象の画素全てに施して、観測画像を射影変換した画像を生成する。
【００３８】
該射影変換画像の各画素は、サンプル画像の対応する各画素に対応付けられるので、観測画像の画素値Ｃ′（ｔ）とサンプル画像上の画素値Ｃとを比較することができる。なお、本第１実施形態の動作が終了するまで、カメラ２０から画像を逐次観測するため、状態ｔ、あるいは時刻ｔでの観測画像の画素値をＣ′（ｔ）と表すことにする。平面射影変換を用いてオリジナル画像と観測画像との各画素を対応付けしながら、各画素の輝度変化ΔＣ（ｔ）を、次式（７）の計算によって算出する。
【００３９】
【数７】
【００４０】
輝度変化検出部３は、逐次観測した画像について、数式（７）を用いてサンプル画像との輝度変化を検出する。
【００４１】
（輝度更新部４）
輝度更新部４は、起動されると、まず、プロジェクタ１０にセットする画像を初期化する。例えば、各画素が次式（８）で与えられた入力画像をプロジェクタ１０へセットする。
【００４２】
【数８】
【００４３】
Ｃはサンプル画像の各画素に対応している。但し、αはパラメータであり、例として、α＝０．５とする。その画像が所定の平面、または領域へ投影するように、射影変換ＤＢ６から平面射影変換のデータを取り出し、その平面射影変換のデータを用いて、その画像から投影用変換画像を生成する。平面射影変換は、一度読み出してメモリ（図示略）に一時記憶して用いる。プロジェクタ１０にセットされた画像は、所定の平面であるスクリーン（図示略）に投影される。
【００４４】
いま、状態ｔでのプロジェクタ入力輝度がＰ（ｔ）だとする。輝度更新部４は、上述した輝度変化検出部３で得た輝度変化ΔＣ（ｔ）から全画素についての誤差の平均値（輝度誤差）を計算し、その輝度誤差が所定の許容値ε（例えば、ε＝１０に設定しておく）より小さい場合には、現時点で処理を停止し、補正係数算出部５へ処理を移行する（補正係数算出部５の処理内容については後述する）。一方、その輝度誤差が所定の許容値ε以上である場合には、状態ｔ＋１でのプロジェクタ入力輝度値を、次式（９）で更新する。
【００４５】
【数９】
【００４６】
ここで、Ｋは３×３の行列であり、フィードバック・ゲインとしての役割を担っている。本第１実施形態では、次式（１０）とする。
【００４７】
【数１０】
【００４８】
パラメータｋは自由に設定してもよい。例えば、１台のプロジェクタ１０を輝度補正する形態では、ｋ＝１．０にセットし、２台のプロジェクタ１０における輝度を同時に輝度補正する形態では、ｋ＝０．５にセットし、３台のプロジェクタ１０における輝度を同時に輝度補正する形態では、ｋ＝０．３にセットする。数式（９）を用いて輝度が更新された画素は、プロジェクタ１０へ次の状態として与えられる画像上の画素にセットされる。このとき、観測画像を射影変換したのと同様に、射影計算ＤＢ６から取り出した平面射影変換のデータを用いて、投影用変換画像を生成する。
【００４９】
投影用変換画像の画素は、プロジェクタ画面の画素である。サンプル画像と同じ大きさの画像バッファを用意し、画素が（ｕ′，ｖ′）に対応するため、数式（４）、（５）、（６）の平面射影変換の関係を利用して、プロジェクタ画面上の座標（ｕ，ｖ）を算出する。輝度が更新された画素は、その座標（ｕ，ｖ）の点にセットされる。全ての画素の輝度を更新した後、輝度更新部４は、この投影用変換画像をプロジェクタ１０にセットし、更新画像を再び平面に投影する。
【００５０】
数式（９）による輝度更新は、各状態ｔでの輝度変化に応じて行われ、輝度誤差が許容誤差εより小さくなるまで続けられる。各サンプル画像について、輝度誤差が許容誤差εより小さくなった時点で、各サンプル画像の輝度補正が完了したと判定し、作業用のメモリに一時確保しておく。
【００５１】
（補正係数算出部５）
補正係数算出部５は、４枚のサンプル画像について輝度更新部４の処理が完了した時点で動作を実行する。補正係数算出部５は、一時保存されていた各サンプル画像に関する輝度補正画像を取り出す。ある注目画素について、グレー系画像における、その画素値をＰＷ、赤系画像における、その各画素をＰＲ、緑系画像における、その各画素をＰＧ、青系画像における、その各画素をＰＢとする。これらの画素値は、プロジェクタにセットされた画像上の画素であるため、簡略的にプロジェクタ入力輝度と呼ぶことにする。
【００５２】
一方、オリジナルの画素値として、グレー系画像の各画素をＣＷ、赤系画像の各画素をＣＲ、緑系画像の各画素をＣＧ、青系画像の各画素をＣＢとする。これらの画素値は、カメラ観測で得た画像上の画素とほぼ同等なため、簡略的にカメラ観測輝度と呼ぶことにする。プロジェクタ入力輝度とカメラ観測輝度との関係は、カラー混合行列と環境光ベクトルとを用いて、数式（１）で結び付けることができる。
【００５３】
カラー混合行列Ｖの逆行列をＵとすると、赤系画像とグレー系画像との輝度差分は、次式（１１）で表される。
【００５４】
【数１１】
【００５５】
観測画像がサンプル画像とほぼ等しいので、数式（１１）の左辺の（ＣＲ−ＣＷ）は、Ｒ成分しか値がなく、他の成分は値０である。つまり、数式（１１）は、次式（１２）となる。
【００５６】
【数１２】
【００５７】
但し、ΔＲは（ＣＲ−ＣＷ）のＲ成分であり、（ΔＲｒ，ΔＧｒ，ΔＢｒ）はプロジェクタ入力輝度の差分ＰＲ−ＰＷの各ＲＧＢ値である。よって、数式（１２）から、カラー混合行列の逆行列要素が、次式（１３）で計算できる。
【００５８】
【数１３】
【００５９】
同様に、緑系画像とグレー系画像との差分から、次式（１４）が得られる。
【００６０】
【数１４】
【００６１】
同様に、青系画像とグレー系画像との差分から、次式（１５）が得られる。
【００６２】
【数１５】
【００６３】
但し、（ΔＲｇ，ΔＧｇ，ΔＢｇ）はプロジェクタ入力輝度の差分（ＰＧ−ＰＷ）の各ＲＧＢ値であり、（ΔＲｂ，ΔＧｂ，ΔＢｂ）はプロジェクタ入力輝度の差分（ＰＢ−ＰＷ）の各ＲＧＢ値である。以上により、カラー混合行列の逆行列を得たので、行列Ｕの逆行列を計算し、カラー混合行列Ｖを得る。さらに、グレー系画像を用いて、数式（１）の関係から、次式（１６）を利用して、環境光ベクトルＦを算出する。
【００６４】
【数１６】
【００６５】
補正係数算出部５は、全ての画素について、カラー混合行列Ｖと環境光ベクトルＦとを求めた後、それらのデータを輝度補正ＤＢ７に格納する（本発明では、カラー混合行列と環境光ベクトルとを合わせて補正パラメータと称している）。
【００６６】
図２は、本第１実施形態の動作を説明するためのフローチャートである。図２に示すフローチャートでは、グレー系画像、赤系画像、緑系画像、青系画像の順番に処理される。まず、動作が起動されると、輝度更新部４は、サンプル画像をセットし（ステップＳ１）、補正が完了したか否かを判断する（ステップＳ２）。ここで、補正が完了していない場合には（ステップＳ２のＮＯ）、プロジェクタ１０にセットする画像の輝度値を初期化し（ステップＳ３）、その画像が所定の平面、または領域へ投影するように、射影変換ＤＢ６から平面射影変換のデータを取り出し、その画像をその平面射影変換のデータを用いて投影用変換画像を生成し（ステップＳ９）、プロジェクタ１０から所定の平面であるスクリーンに投影する（ステップＳ１０）。
【００６７】
画像入力部２では、カメラ２０で観測（撮像）された、プロジェクタ１０によりスクリーン（平面）上に投影された画像を取得し、輝度変化検出部３に転送する（ステップＳ４）。輝度変化検出部３では、射影変換ＤＢ６から平面射影変換のデータを取り出し、画像上の画素とサンプル画像上の画素とを対応付けるための射影変換を行い、射影変換画像を生成する（ステップＳ５）。輝度変化検出部３は、逐次観測した画像について、サンプル画像との輝度変化を検出する（ステップＳ６）。
【００６８】
輝度更新部４は、上述した輝度変化検出部３で得た輝度変化から全画素についての誤差の平均値（輝度誤差）を計算し、その輝度誤差が所定の許容値ε（例えば、ε＝１０）より小さいか否かを判断する（ステップＳ７）。そして、その輝度誤差が所定の許容値ε以上の場合には（ステップＳ７のＮＯ）、輝度更新部４は、プロジェクタ入力輝度値を更新し（ステップＳ８）、全ての画素の輝度を更新した後、上述したように、射影変換ＤＢ６から取り出した平面射影変換のデータを用いて、投影用変換画像を生成し（ステップＳ９）、プロジェクタ１０から更新画像を再び平面であるスクリーンに投影する（ステップＳ１０）。
【００６９】
上述したステップＳ４〜Ｓ１０の処理は、輝度誤差が許容誤差εより小さくなるまで（ステップＳ７がＹＥＳになるまで）、その輝度更新を行いながら実行される。輝度更新部４は、各サンプル画像について、輝度誤差が許容誤差εより小さくなった時点で（ステップＳ７のＹＥＳ）、各サンプル画像の輝度補正が完了したと判定し（ステップＳ２のＹＥＳ）、補正係数算出部５へ処理を移行する。補正係数算出部５は、全ての画素について、カラー混合行列Ｖと環境光ベクトルＦを求めた後、それらのデータを輝度補正ＤＢ７に格納する（ステップＳ１１）。
【００７０】
上述した第１実施形態によれば、作業者は、事前にプロジェクタ・カメラシステムの光学的な内部パラメータを考慮する必要がなく、適当に与えたサンプル画像からプロジェクタ入力輝度とカメラ観測輝度間の輝度誤差を自動的に補正し、従来方法と同等の精度で各画素のカラー混合行列Ｖと環境光ベクトルＦとを得ることができる。
【００７１】
また、本第１実施形態によれば、アプリケーションに応じて、輝度補正ＤＢ７から補正パラメータを取り出し、非特許文献１、または２の従来方法に従って、任意のコンテンツ画像を輝度補正することが可能である。
【００７２】
なお、本第１実施形態によるフローチャートを一斉に複数のプロジェクタに適用するならば、マルチプロジェクタシステムを自動的に輝度補正し、それぞれの補正パラメータ（カラー混合行列と環境光ベクトル）を得ることができる。
【００７３】
Ｂ．第２実施形態
次に、本発明の第２実施形態について説明する。
本第２実施形態を説明する前に、本第２実施形態が解決する新たな課題について説明しておく。図３は、プロジェクタに与えた入力輝度（あるカラーチャネル）をカメラで観測した輝度出力の特性（トーンカーブ）の典型例を示す概念図である。また、図４、図５は、線形近似を用いた輝度補正の例を示す概念図である。
【００７４】
一般的に、カメラの感度は、区間Ａの低階調レベルでは反応が鈍く、区間Ｂの中間階調では、ほぼ直線の特性を示し、区間Ｃの高階調では、その傾きが緩やかとなる。従来方法におけるプロジェクタ・カメラシステムの輝度補正では、このような階調特性に対して、図４、または図５に示す太い直線ａ、ｂで示したような線形近似を行い、その直線に従って所定の出力輝度を観測するように、プロジェクタに与える入力輝度を補正する。
【００７５】
図４では、入力輝度レベルＰＬとＰＨの２点を結ぶ直線ａでトーンカーブを線形近似しており、図５では、入力輝度レベルＰＨをできるだけ大きくして、ＰＬと結ぶ直線ｂでトーンカーブを線形近似している。図４では、ＰＨより高い入力輝度に対して近似直線ａがトーンカーブから次第に外れるが、図５では、比較的広域な範囲を直線ｂで近似している。
【００７６】
つまり、図５では、広範囲にわたって元のトーンカーブとの誤差が小さいため、広範囲の補正が制御できることを示している。入力輝度レベルＰＬとＰＨは、サンプル画像のグレー系画像と各カラー系画像との輝度にそれぞれ対応する。すなわち、基準画像の全画素のＲＧＢ値は、ＰＬに対応し、あるカラー系画像（赤系画像、緑系画像、青系画像）のあるチャネルの輝度がＰＨ、それ以外のチャネルの輝度がＰＬに対応する。
【００７７】
従って、入力輝度レベルにおいてＰＬとＰＨが狭いということは、階調全体の輝度補正の精度に影響を与えるため、できるだけ広範囲に線形近似できる補正パラメータを求めることが必要となる。本第２実施形態は、この課題を解決することを目的とする。
【００７８】
図６は、本発明に係る第２実施形態の投影輝度調整装置１の構成を示すブロック図である。なお、図１に対応する部分には同一の符号を付けて説明を省略する。以下では、第１実施形態の構成に対して異なるモデル評価部８について説明する。
【００７９】
（モデル評価部８）
第１実施形態において、グレー系画像のＲＧＢチャネル値が全て（ＰＬ，ＰＬ，ＰＬ）にセットされ、赤系画像のＲＧＢチャネル値が（ＰＨ，ＰＬ，ＰＬ）にセットされ、緑系画像のＲＧＢチャネル値が（ＰＬ，ＰＨ，ＰＬ）にセットされ、青系画像のＲＧＢチャネル値が（ＰＬ，ＰＬ，ＰＨ）にセットされるとする。
【００８０】
図７は、本第２実施形態での入力輝度レベルＰＬとＰＨの設定方法を説明するための概念図である。図７に「●」で示すように、本第２実施形態では、初期化では、できるだけ広い範囲から処理を始めるため、ＰＬが０レベルに近い値に、ＰＨは２５５レベルに近い値に設定される。この初期段階では、補正パラメータが存在しないため、これらのサンプル画像が用意される（サンプル画像の再設定）だけの処理で終了する。
【００８１】
この初期のサンプル画像から、第１実施形態と同様の手法によって補正パラメータを算出する。輝度補正ＤＢ７の補正パラメータが更新されると、モデル評価部８が再起動する。モデル評価部８は、まず、評価誤差を算出するためのＮ枚のテスト画像を準備する。各テスト画像のＲＧＢチャネル値は、それぞれ（ＰＬ＋ｎ×ΔＬ，ＰＬ＋ｎ×ΔＬ，ＰＬ＋ｎ×ΔＬ）にセットされる。ｎは０，１，２，…，Ｎ−１の整数であり、ΔＬは、次式（１７）で決められた階調の量子化ステップであり、最大階調レベルを超えない程度に四捨五入されている。
【００８２】
【数１７】
【００８３】
図８は、本第２実施形態によるモデル評価部８の動作を説明するためのフローチャートである。モデル評価部８は、輝度補正ＤＢ７に補正パラメータがあるか否かを判断し（ステップＳ２０）、補正パラメータがある場合には（ステップＳ２０のＹＥＳ）、数式（１７）に従って輝度階調を設定し、射影変換ＤＢ６からの平面射影変換データを用いて所定の領域に投影されるように、投影用変換画像としてＮ種類のテスト画像を生成する（ステップＳ２１）。次に、モデル評価部８は、輝度補正ＤＢ７から得た補正パラメータを用いて、全てのテスト画像の輝度を補正する（ステップＳ２２）。
【００８４】
次に、モデル評価部８は、それぞれ補正されたテスト画像を、輝度更新部４に与え、プロジェクタ１０を通して順番に投影する（ステップＳ２３）。その投影画像をカメラ２０で次々と観測して、オリジナルのテスト画像との間の輝度誤差の平均値（輝度評価値）を算出する（ステップＳ２４）。次に、その輝度評価値が所定の誤差δ（例えば、δ＝１０と設定する）より小さいか否かを判断する（ステップＳ２５）。
【００８５】
そして、その輝度評価値が所定の誤差δより小さい場合には（ステップＳ２５のＹＥＳ）、モデル評価部８の処理を停止し、当該処理を終了する。一方、補正パラメータがない場合（ステップＳ２０のＮＯ）、あるいは、輝度評価値が所定の誤差δ以上の場合には、サンプル画像の再設定を実施する（ステップＳ２６）。この処理では、先に設定したグレー系画像、赤系画像、緑系画像、青系画像のＲＧＢチャネル値を変更する。図７に「○」で示したように、階調を狭める方向、すなわち、次式（１８）、（１９）に変更する。
【００８６】
【数１８】
【００８７】
【数１９】
【００８８】
ΔＤは任意の正の整数であり、例えば、ΔＤ＝１０と与える。この変更に伴い、サンプル画像の画素を更新し、同様に、第１実施形態に従って、再び、これらのサンプル画像から補正パラメータを算出する。補正パラメータが再度算出されると、モデル評価部８の処理を繰り返すことにより、トーンカーブに最も近い線形近似を探索することができ、それに応じた補正パラメータを得ることができる。
【００８９】
上述した第１、第２実施形態によれば、プロジェクタの出力性能、カメラ感度、ダイナミックレンジなどを考慮すること無く、任意のサンプル画像を与えても、プロジェクタからの出力輝度Ｐとカメラによる観測輝度Ｃとの間を直線近似するためのカラー混合行列を自動的に獲得することができるため、プロジェクタ・カメラシステムを柔軟に輝度補正することが可能となる。
【００９０】
なお、本発明は、前述した第１、第２実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム、あるいは装置に供給し、そのシステム、あるいは装置のＣＰＵ（ＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出して実行することによっても実現できる。この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施の形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＭＯ、ＨＤＤ等は本発明を構成する。
【符号の説明】
【００９１】
１ 投影輝度調整装置
２ 画像入力部
３ 輝度変化検出部
４ 起動更新部
５ 補正係数算出部
６ 射影変換ＤＢ
７ 輝度補正ＤＢ
８ モデル評価部
１０ プロジェクタ
２０ カメラ
【技術分野】
【０００１】
本発明は、単数または複数のプロジェクタからの投影像をカメラで観測するとき、各画素の観測輝度値が所定の値となるようにプロジェクタからの出力輝度値を自動的に補正する投影輝度調整技術に関する。
【背景技術】
【０００２】
プロジェクタ・カメラシステムは、様々な用途に利用されている。例えば、会議や、学会発表でのプレゼンテーションにプロジェクタを利用する以外に、ヒューマンインタラクションや、拡張現実感の表示システムとしても利用できる。さらに、複数のプロジェクタを用いると、各プロジェクタからの画像を繋ぎ合わせて巨大な画像（タイリング）を生成でき、近年では、ＨＤＲ（High Dynamic Range）画像を表示するアプリケーションとしても期待されている。
【０００３】
プロジェクタからの画像を投影して、カメラによりその投影像を観測するとき、そのカメラが所定の輝度を観測するように原画像を調整する。これは輝度補正と呼ばれており、例えば非特許文献１、２に開示されている。この方法では、プロジェクタからのＲＧＢ輝度値とカメラで観測されたＲＧＢ輝度値との間の相関関係に着目し、カラー混合行列（Color Mixing Matrix）と呼ばれる３×３の行列Ｖを用いて、所定のＲＧＢ輝度値Ｃ＝（ＣＲ，ＣＧ，ＣＢ）を、カメラが観測するようにプロジェクタからのＲＧＢ出力値Ｐ＝（ＰＲ，ＰＧ，ＰＢ）を補正する。このシステムにおいて、観測した画像の輝度値Ｃと各プロジェクタからの出力輝度Ｐとの間には、次式（１）が成り立つ。
【０００４】
【数１】
【０００５】
Ｖは、プロジェクタのカラー混合行列であり、Ｆ＝（Ｆｒ，Ｆｇ，Ｆｂ）は、プロジェクタ以外の光源からの照明を含む環境光である（物体表面の反射率は一定と考える）。非特許文献２によれば、４枚のサンプル画像が用意できれば、カラー混合行列と環境光を求めることができる。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】S. K. Nayar, H. Peri, M. D. Grossberg, and P. N. Belhumeur:“A Projection System with Radiometric Compensation for Screen Imperfections”, Proc. of ICCV Workshop on Projector-Camera Systems (PROCAMS), 2003.
【非特許文献２】K. Fujii, M. D. Grossberg, and S. K. Nayar: “A Projector-Camera System with Real-Time Photometric Adaptation for Dynamic Environments”, Proc. of IEEE Computer Vision and Pattern Recognition (CVPR), vol.1, pp.814-821, 2005.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上述したように、非特許文献２によれば、プロジェクタとカメラ間のカラー混合行列を算出するには、４枚の画像が必要である。この画像の例として、グレー系画像、赤系画像、緑系画像、青系画像の４枚が用いられる（以下、サンプル画像と称する）。例えば、グレー系画像の全画素のＲＧＢ値をＰｗ＝（Ｒｗ，Ｇｗ，Ｂｗ）に、赤系画像の全画素値をＰｒ＝（Ｒｗ＋ΔＲ，Ｇｗ，Ｂｗ）に、緑系画像の全画素値をＰｇ＝（Ｒｗ，Ｇｗ＋ΔＧ，Ｂｗ）に、青系画像の全画素値をＰｂ＝（Ｒｗ，Ｇｗ，Ｂｗ＋ΔＢ）に設定する。つまり、グレー系画像を基準画像として、赤系画像、緑系画像、青系画像は、それぞれ１チャネルだけを変化させた画像とする。
【０００８】
非特許文献２は、これらの画像を用いることにより、各画素の輝度変化を容易に検出して、カラー混合行列の要素を算出する。例えば、グレー系の画像、赤系の画像をプロジェクタから出力し、それをカメラで観測したときの画像において、ある画素値がそれぞれＣｗ＝（Ｒｗ′，Ｇｗ′，Ｂｗ′），Ｃｒ＝（Ｒｒ′，Ｇｒ′，Ｂｒ′）とする。プロジェクタの輝度変化は、Ｒチャネルだけなので、式（１）に従えば、その差分Ｃｒ−Ｃｗから、次式（２）の関係になる。
【０００９】
【数２】
【００１０】
よって、次式（３）の計算により、カラー混合行列の要素Ｖｒｒ，Ｖｇｒ，Ｖｂｒを得ることができる。同様に、緑系画像、青系画像を用いることで、残りのカラー混合行列の要素を推定することができる。
【００１１】
【数３】
【００１２】
数式（１）から明らかなように、従来方法は、プロジェクタからの輝度Ｐとカメラによる観測輝度Ｃとの間を直線近似する方法であるため、各チャネルの変化量があまり小さいと、数式（３）で推定される各行列要素の精度が劣化する恐れがある（変化量に対して反比例の関係となっている）。
【００１３】
つまり、サンプル画像の各変化量ΔＲ、ΔＧ、並びにΔＢを適当に与えるためには、作業者は、プロジェクタの出力性能、カメラ感度、ダイナミックレンジなどを考慮して、カラー混合行列の各要素を安定して推定する必要があった。言い換えると、プロジェクタの出力性能、カメラ感度、ダイナミックレンジなどを作業者が考慮すること無く、カラー混合行列を自動的に推定することができないという問題があった。
【００１４】
本発明は、このような事情を考慮してなされたものであり、その目的は、プロジェクタの出力性能、カメラ感度、ダイナミックレンジに関わらず、任意のサンプル画像に基づいてプロジェクタからの出力輝度とカメラによる観測輝度との間を直線近似するためのカラー混合行列を容易に獲得することができる技術を提供することにある。
【課題を解決するための手段】
【００１５】
本発明の一態様は、プロジェクタによって投影される画像をカメラによって撮像するプロジェクタ・カメラシステムでの投影輝度調整方法であって、設定された値に基づくサンプル画像を前記プロジェクタによって投影した投影画像を、前記カメラで観測した観測画像として取得する観測画像取得ステップと、前記サンプル画像と前記観測画像との輝度変化を検出する輝度変化検出ステップと、前記プロジェクタ又は前記カメラの性能に基づいて予め設定される補正パラメータを用いることなく、前記検出された輝度変化の量に基づいて前記プロジェクタの輝度を制御する輝度制御ステップとを含むことを特徴とする投影輝度調整方法である。
【００１６】
本発明の一態様は、上記の投影輝度調整方法であって、前記観測画像取得ステップ、前記輝度変化検出ステップを繰り返し実行し、前記制御ステップは、前記輝度変化の量が所定の許容値以上の場合には、前記プロジェクタへ入力される輝度を更新した後、前記プロジェクタから更新後の輝度に基づいて画像を再び投影するステップと、前記輝度変化の量が前記所定の許容値より小さい場合には、サンプル画像に対する前記プロジェクタの輝度の制御が完了したと判定する完了判定ステップとを含むことを特徴とする。
【００１７】
本発明の一態様は、上記の投影輝度調整方法であって、前記輝度制御ステップの後、カラー混合行列と環境光ベクトルとを含む補正パラメータを算出する算出ステップを更に含むことを特徴とする。
【００１８】
本発明の一態様は、上記の投影輝度調整方法であって、階調誤差を算出するためのテスト画像を生成し、前記補正パラメータを用いて前記テスト画像を補正するステップと、補正後の前記テスト画像の投影画像を前記カメラで撮像して得られたテスト観測画像と、補正前の前記テスト画像との各階調での輝度の誤差を表す階調誤差を算出するステップと、前記階調誤差が所定の閾値以上の場合は、前記補正パラメータ算出に使った前記サンプル画像の輝度階調を変更して、前記輝度制御ステップにより再びそのサンプル画像を補正するステップと、前記階調誤差が所定の閾値より小さい場合は、前記サンプル画像の補正が完了したと判定するステップと、を更に含むことを特徴とする。
【００１９】
本発明の一態様は、プロジェクタによって投影される画像をカメラによって撮像するプロジェクタ・カメラシステムの投影輝度調整装置であって、設定された値に基づくサンプル画像を前記プロジェクタによって投影した投影画像を、前記カメラで観測した観測画像として取得する観測画像取得部と、前記サンプル画像と前記観測画像との輝度変化を検出する輝度変化検出部と、前記プロジェクタ又は前記カメラの性能に基づいて予め設定される補正パラメータを用いることなく、前記検出された輝度変化の量に基づいて前記プロジェクタの輝度を制御する輝度制御部とを備えることを特徴とする投影輝度調整装置である。
【００２０】
本発明の一態様は、上記の投影輝度調整方法をコンピュータに実行させるためのコンピュータプログラムである。
【００２１】
本発明の一態様は、上記の投影輝度調整方法をコンピュータに実行させるためのコンピュータプログラムを記録した記録媒体である。
【発明の効果】
【００２２】
この発明によれば、プロジェクタの出力性能、カメラ感度、ダイナミックレンジなどを考慮すること無く、任意のサンプル画像を与えても、プロジェクタからの出力輝度とカメラによる観測輝度との間を直線近似するためのカラー混合行列を自動的に獲得することができる。
【図面の簡単な説明】
【００２３】
【図１】本発明に係る第１実施形態の投影輝度調整装置１の構成を示すブロック図である。
【図２】本第１実施形態の動作を説明するためのフローチャートである。
【図３】プロジェクタに与えた入力輝度（あるカラーチャネル）をカメラで観測した輝度出力の特性（トーンカーブ）の典型例を示す概念図である。
【図４】線形近似を用いた輝度補正の例を示す概念図である（範囲の狭い近似）。
【図５】線形近似を用いた輝度補正の例を示す概念図である（範囲の広い近似）。
【図６】本発明に係る第２実施形態の投影輝度調整装置１の構成を示すブロック図である。
【図７】本第２実施形態での入力輝度レベルＰＬとＰＨの設定方法を説明するための概念図である。
【図８】本第２実施形態によるモデル評価部の動作を説明するためのフローチャートである。
【発明を実施するための形態】
【００２４】
以下、本発明の一実施形態を、図面を参照して説明する。
【００２５】
Ａ．第１実施形態
図１は、本発明に係る第１実施形態の投影輝度調整装置１の構成を示すブロック図である。図１において、投影輝度調整装置１は、１台のプロジェクタ１０と１台のカメラ２０とからなるプロジェクタ・カメラシステムに対する投影輝度調整方法を実現する。投影輝度調整装置１は、画像入力部２、輝度変化検出部３、輝度更新部４、及び補正係数算出部５を備えている。画像入力部２は、カメラ２０から画像データを取得する。輝度変化検出部３は、画像入力部１から観測画像を取得し、その画像情報を用いて輝度変化を検出する。輝度更新部４は、射影計算ＤＢ６から取り出した平面射影変換のデータを用いて、投影用変換画像を生成し、その輝度変化検出部３にて得た輝度変化に応じてプロジェクタ１０から出力する輝度を更新する。補正係数算出部５は、ある目標とする画像に近い画像を観測した時点で輝度補正のパラメータを算出して輝度補正ＤＢ７に保存する。
【００２６】
本第１実施形態による投影輝度調整装置１は、準備したサンプル画像に近い画像を、カメラ２０が観測するように、観測した画像の輝度変化に応じて、プロジェクタ１０へ与える輝度を更新し、自動的に任意の画像の輝度を補正するための輝度補正係数を算出する。
【００２７】
この構成において、プロジェクタ１０、カメラ２０は、必ずしも構成要素として接続している必要はなく、処理に必要なデータを取得すればよい。また、画像入力部２、輝度変化検出部３、輝度更新部４、補正係数算出部５からそれぞれの矢印へのデータの流れは、ハードディスク、ＲＡＩＤ装置、ＣＤ−ＲＯＭなどの記録媒体を利用する形態、または、ネットワークを介してリモートなデータ資源を利用する形態でもどちらでも構わない。
【００２８】
以下、各部の詳細について説明する。なお、下記の各処理部でのサンプル画像は、グレー系画像、赤系画像、緑系画像、青系画像を指している。
【００２９】
（画像入力部２）
画像入力部２は、カメラ２０で観測（撮像）された、プロジェクタ１０によりスクリーン（平面）上に投影された画像を取得し、輝度変化検出部３に転送する。画像入力部２で取得する画像の例としては、スクリーン全体が隠れることなく写された画像、または、所定の領域を撮影した画像である。
【００３０】
（輝度変化検出部３）
輝度変化検出部３は、画像上の画素とサンプル画像上の画素とを対応付けるための射影変換を行い、射影変換画像を生成する。以下に、該射影変換方法について説明する。
【００３１】
プロジェクタ画面の点の２次元座標を（ｕ，ｖ）、その点がＺ＝０のＸＹ平面上に投影されたときの３次元座標を（Ｘ，Ｙ，０）、その投影点をカメラ２０で観測したときの点の２次元座標を（ｘ，ｙ）とすると、プロジェクタ１０と平面間の平面射影変換Ｈｐｓ、並びに平面とカメラ２０間の平面射影変換Ｈｓｃによって、次式（４）、（５）の計算により、各画素をそれぞれ対応付けることができる。
【００３２】
【数４】
【００３３】
【数５】
【００３４】
さらに、プロジェクタ１０から出力する画像の２次元座標（ｕ，ｖ）とサンプル画像上の点の２次元座標（ｕ′，ｖ′）とは、次式（６）の計算により両画素を対応付けることができる。
【００３５】
【数６】
【００３６】
Ｈｉｐは、サンプル画像とプロジェクタ画面間の平面射影変換である。よって、これらの平面射影変換が既知であると、サンプル画像の２次元座標（ｕ′，ｖ′）とカメラ２０で観測した２次元座標（ｘ，ｙ）との間、並びに、プロジェクタ画面上の２次元座標（ｕ，ｖ）とカメラ２０で観測した２次元座標（ｘ，ｙ）との間を結び付けることができる。これらの平面射影変換は、事前のキャリブレーション作業によって得られており、そのデータが射影変換ＤＢ６に格納されている。このキャリブレーションでは、公知となっている平面射影変換推定方法を利用することができる。
【００３７】
輝度変化検出部３は、画像入力部２から観測画像を取得すると、射影変換ＤＢ６から上記平面射影変換のデータを読み込み、数式（６）に従ってサンプル画像の画素の２次元座標値（ｕ′，ｖ′）から観測画像上の画素に該当する２次元座標値（ｘ，ｙ）を算出する。輝度変化検出部３は、この座標計算を対象の画素全てに施して、観測画像を射影変換した画像を生成する。
【００３８】
該射影変換画像の各画素は、サンプル画像の対応する各画素に対応付けられるので、観測画像の画素値Ｃ′（ｔ）とサンプル画像上の画素値Ｃとを比較することができる。なお、本第１実施形態の動作が終了するまで、カメラ２０から画像を逐次観測するため、状態ｔ、あるいは時刻ｔでの観測画像の画素値をＣ′（ｔ）と表すことにする。平面射影変換を用いてオリジナル画像と観測画像との各画素を対応付けしながら、各画素の輝度変化ΔＣ（ｔ）を、次式（７）の計算によって算出する。
【００３９】
【数７】
【００４０】
輝度変化検出部３は、逐次観測した画像について、数式（７）を用いてサンプル画像との輝度変化を検出する。
【００４１】
（輝度更新部４）
輝度更新部４は、起動されると、まず、プロジェクタ１０にセットする画像を初期化する。例えば、各画素が次式（８）で与えられた入力画像をプロジェクタ１０へセットする。
【００４２】
【数８】
【００４３】
Ｃはサンプル画像の各画素に対応している。但し、αはパラメータであり、例として、α＝０．５とする。その画像が所定の平面、または領域へ投影するように、射影変換ＤＢ６から平面射影変換のデータを取り出し、その平面射影変換のデータを用いて、その画像から投影用変換画像を生成する。平面射影変換は、一度読み出してメモリ（図示略）に一時記憶して用いる。プロジェクタ１０にセットされた画像は、所定の平面であるスクリーン（図示略）に投影される。
【００４４】
いま、状態ｔでのプロジェクタ入力輝度がＰ（ｔ）だとする。輝度更新部４は、上述した輝度変化検出部３で得た輝度変化ΔＣ（ｔ）から全画素についての誤差の平均値（輝度誤差）を計算し、その輝度誤差が所定の許容値ε（例えば、ε＝１０に設定しておく）より小さい場合には、現時点で処理を停止し、補正係数算出部５へ処理を移行する（補正係数算出部５の処理内容については後述する）。一方、その輝度誤差が所定の許容値ε以上である場合には、状態ｔ＋１でのプロジェクタ入力輝度値を、次式（９）で更新する。
【００４５】
【数９】
【００４６】
ここで、Ｋは３×３の行列であり、フィードバック・ゲインとしての役割を担っている。本第１実施形態では、次式（１０）とする。
【００４７】
【数１０】
【００４８】
パラメータｋは自由に設定してもよい。例えば、１台のプロジェクタ１０を輝度補正する形態では、ｋ＝１．０にセットし、２台のプロジェクタ１０における輝度を同時に輝度補正する形態では、ｋ＝０．５にセットし、３台のプロジェクタ１０における輝度を同時に輝度補正する形態では、ｋ＝０．３にセットする。数式（９）を用いて輝度が更新された画素は、プロジェクタ１０へ次の状態として与えられる画像上の画素にセットされる。このとき、観測画像を射影変換したのと同様に、射影計算ＤＢ６から取り出した平面射影変換のデータを用いて、投影用変換画像を生成する。
【００４９】
投影用変換画像の画素は、プロジェクタ画面の画素である。サンプル画像と同じ大きさの画像バッファを用意し、画素が（ｕ′，ｖ′）に対応するため、数式（４）、（５）、（６）の平面射影変換の関係を利用して、プロジェクタ画面上の座標（ｕ，ｖ）を算出する。輝度が更新された画素は、その座標（ｕ，ｖ）の点にセットされる。全ての画素の輝度を更新した後、輝度更新部４は、この投影用変換画像をプロジェクタ１０にセットし、更新画像を再び平面に投影する。
【００５０】
数式（９）による輝度更新は、各状態ｔでの輝度変化に応じて行われ、輝度誤差が許容誤差εより小さくなるまで続けられる。各サンプル画像について、輝度誤差が許容誤差εより小さくなった時点で、各サンプル画像の輝度補正が完了したと判定し、作業用のメモリに一時確保しておく。
【００５１】
（補正係数算出部５）
補正係数算出部５は、４枚のサンプル画像について輝度更新部４の処理が完了した時点で動作を実行する。補正係数算出部５は、一時保存されていた各サンプル画像に関する輝度補正画像を取り出す。ある注目画素について、グレー系画像における、その画素値をＰＷ、赤系画像における、その各画素をＰＲ、緑系画像における、その各画素をＰＧ、青系画像における、その各画素をＰＢとする。これらの画素値は、プロジェクタにセットされた画像上の画素であるため、簡略的にプロジェクタ入力輝度と呼ぶことにする。
【００５２】
一方、オリジナルの画素値として、グレー系画像の各画素をＣＷ、赤系画像の各画素をＣＲ、緑系画像の各画素をＣＧ、青系画像の各画素をＣＢとする。これらの画素値は、カメラ観測で得た画像上の画素とほぼ同等なため、簡略的にカメラ観測輝度と呼ぶことにする。プロジェクタ入力輝度とカメラ観測輝度との関係は、カラー混合行列と環境光ベクトルとを用いて、数式（１）で結び付けることができる。
【００５３】
カラー混合行列Ｖの逆行列をＵとすると、赤系画像とグレー系画像との輝度差分は、次式（１１）で表される。
【００５４】
【数１１】
【００５５】
観測画像がサンプル画像とほぼ等しいので、数式（１１）の左辺の（ＣＲ−ＣＷ）は、Ｒ成分しか値がなく、他の成分は値０である。つまり、数式（１１）は、次式（１２）となる。
【００５６】
【数１２】
【００５７】
但し、ΔＲは（ＣＲ−ＣＷ）のＲ成分であり、（ΔＲｒ，ΔＧｒ，ΔＢｒ）はプロジェクタ入力輝度の差分ＰＲ−ＰＷの各ＲＧＢ値である。よって、数式（１２）から、カラー混合行列の逆行列要素が、次式（１３）で計算できる。
【００５８】
【数１３】
【００５９】
同様に、緑系画像とグレー系画像との差分から、次式（１４）が得られる。
【００６０】
【数１４】
【００６１】
同様に、青系画像とグレー系画像との差分から、次式（１５）が得られる。
【００６２】
【数１５】
【００６３】
但し、（ΔＲｇ，ΔＧｇ，ΔＢｇ）はプロジェクタ入力輝度の差分（ＰＧ−ＰＷ）の各ＲＧＢ値であり、（ΔＲｂ，ΔＧｂ，ΔＢｂ）はプロジェクタ入力輝度の差分（ＰＢ−ＰＷ）の各ＲＧＢ値である。以上により、カラー混合行列の逆行列を得たので、行列Ｕの逆行列を計算し、カラー混合行列Ｖを得る。さらに、グレー系画像を用いて、数式（１）の関係から、次式（１６）を利用して、環境光ベクトルＦを算出する。
【００６４】
【数１６】
【００６５】
補正係数算出部５は、全ての画素について、カラー混合行列Ｖと環境光ベクトルＦとを求めた後、それらのデータを輝度補正ＤＢ７に格納する（本発明では、カラー混合行列と環境光ベクトルとを合わせて補正パラメータと称している）。
【００６６】
図２は、本第１実施形態の動作を説明するためのフローチャートである。図２に示すフローチャートでは、グレー系画像、赤系画像、緑系画像、青系画像の順番に処理される。まず、動作が起動されると、輝度更新部４は、サンプル画像をセットし（ステップＳ１）、補正が完了したか否かを判断する（ステップＳ２）。ここで、補正が完了していない場合には（ステップＳ２のＮＯ）、プロジェクタ１０にセットする画像の輝度値を初期化し（ステップＳ３）、その画像が所定の平面、または領域へ投影するように、射影変換ＤＢ６から平面射影変換のデータを取り出し、その画像をその平面射影変換のデータを用いて投影用変換画像を生成し（ステップＳ９）、プロジェクタ１０から所定の平面であるスクリーンに投影する（ステップＳ１０）。
【００６７】
画像入力部２では、カメラ２０で観測（撮像）された、プロジェクタ１０によりスクリーン（平面）上に投影された画像を取得し、輝度変化検出部３に転送する（ステップＳ４）。輝度変化検出部３では、射影変換ＤＢ６から平面射影変換のデータを取り出し、画像上の画素とサンプル画像上の画素とを対応付けるための射影変換を行い、射影変換画像を生成する（ステップＳ５）。輝度変化検出部３は、逐次観測した画像について、サンプル画像との輝度変化を検出する（ステップＳ６）。
【００６８】
輝度更新部４は、上述した輝度変化検出部３で得た輝度変化から全画素についての誤差の平均値（輝度誤差）を計算し、その輝度誤差が所定の許容値ε（例えば、ε＝１０）より小さいか否かを判断する（ステップＳ７）。そして、その輝度誤差が所定の許容値ε以上の場合には（ステップＳ７のＮＯ）、輝度更新部４は、プロジェクタ入力輝度値を更新し（ステップＳ８）、全ての画素の輝度を更新した後、上述したように、射影変換ＤＢ６から取り出した平面射影変換のデータを用いて、投影用変換画像を生成し（ステップＳ９）、プロジェクタ１０から更新画像を再び平面であるスクリーンに投影する（ステップＳ１０）。
【００６９】
上述したステップＳ４〜Ｓ１０の処理は、輝度誤差が許容誤差εより小さくなるまで（ステップＳ７がＹＥＳになるまで）、その輝度更新を行いながら実行される。輝度更新部４は、各サンプル画像について、輝度誤差が許容誤差εより小さくなった時点で（ステップＳ７のＹＥＳ）、各サンプル画像の輝度補正が完了したと判定し（ステップＳ２のＹＥＳ）、補正係数算出部５へ処理を移行する。補正係数算出部５は、全ての画素について、カラー混合行列Ｖと環境光ベクトルＦを求めた後、それらのデータを輝度補正ＤＢ７に格納する（ステップＳ１１）。
【００７０】
上述した第１実施形態によれば、作業者は、事前にプロジェクタ・カメラシステムの光学的な内部パラメータを考慮する必要がなく、適当に与えたサンプル画像からプロジェクタ入力輝度とカメラ観測輝度間の輝度誤差を自動的に補正し、従来方法と同等の精度で各画素のカラー混合行列Ｖと環境光ベクトルＦとを得ることができる。
【００７１】
また、本第１実施形態によれば、アプリケーションに応じて、輝度補正ＤＢ７から補正パラメータを取り出し、非特許文献１、または２の従来方法に従って、任意のコンテンツ画像を輝度補正することが可能である。
【００７２】
なお、本第１実施形態によるフローチャートを一斉に複数のプロジェクタに適用するならば、マルチプロジェクタシステムを自動的に輝度補正し、それぞれの補正パラメータ（カラー混合行列と環境光ベクトル）を得ることができる。
【００７３】
Ｂ．第２実施形態
次に、本発明の第２実施形態について説明する。
本第２実施形態を説明する前に、本第２実施形態が解決する新たな課題について説明しておく。図３は、プロジェクタに与えた入力輝度（あるカラーチャネル）をカメラで観測した輝度出力の特性（トーンカーブ）の典型例を示す概念図である。また、図４、図５は、線形近似を用いた輝度補正の例を示す概念図である。
【００７４】
一般的に、カメラの感度は、区間Ａの低階調レベルでは反応が鈍く、区間Ｂの中間階調では、ほぼ直線の特性を示し、区間Ｃの高階調では、その傾きが緩やかとなる。従来方法におけるプロジェクタ・カメラシステムの輝度補正では、このような階調特性に対して、図４、または図５に示す太い直線ａ、ｂで示したような線形近似を行い、その直線に従って所定の出力輝度を観測するように、プロジェクタに与える入力輝度を補正する。
【００７５】
図４では、入力輝度レベルＰＬとＰＨの２点を結ぶ直線ａでトーンカーブを線形近似しており、図５では、入力輝度レベルＰＨをできるだけ大きくして、ＰＬと結ぶ直線ｂでトーンカーブを線形近似している。図４では、ＰＨより高い入力輝度に対して近似直線ａがトーンカーブから次第に外れるが、図５では、比較的広域な範囲を直線ｂで近似している。
【００７６】
つまり、図５では、広範囲にわたって元のトーンカーブとの誤差が小さいため、広範囲の補正が制御できることを示している。入力輝度レベルＰＬとＰＨは、サンプル画像のグレー系画像と各カラー系画像との輝度にそれぞれ対応する。すなわち、基準画像の全画素のＲＧＢ値は、ＰＬに対応し、あるカラー系画像（赤系画像、緑系画像、青系画像）のあるチャネルの輝度がＰＨ、それ以外のチャネルの輝度がＰＬに対応する。
【００７７】
従って、入力輝度レベルにおいてＰＬとＰＨが狭いということは、階調全体の輝度補正の精度に影響を与えるため、できるだけ広範囲に線形近似できる補正パラメータを求めることが必要となる。本第２実施形態は、この課題を解決することを目的とする。
【００７８】
図６は、本発明に係る第２実施形態の投影輝度調整装置１の構成を示すブロック図である。なお、図１に対応する部分には同一の符号を付けて説明を省略する。以下では、第１実施形態の構成に対して異なるモデル評価部８について説明する。
【００７９】
（モデル評価部８）
第１実施形態において、グレー系画像のＲＧＢチャネル値が全て（ＰＬ，ＰＬ，ＰＬ）にセットされ、赤系画像のＲＧＢチャネル値が（ＰＨ，ＰＬ，ＰＬ）にセットされ、緑系画像のＲＧＢチャネル値が（ＰＬ，ＰＨ，ＰＬ）にセットされ、青系画像のＲＧＢチャネル値が（ＰＬ，ＰＬ，ＰＨ）にセットされるとする。
【００８０】
図７は、本第２実施形態での入力輝度レベルＰＬとＰＨの設定方法を説明するための概念図である。図７に「●」で示すように、本第２実施形態では、初期化では、できるだけ広い範囲から処理を始めるため、ＰＬが０レベルに近い値に、ＰＨは２５５レベルに近い値に設定される。この初期段階では、補正パラメータが存在しないため、これらのサンプル画像が用意される（サンプル画像の再設定）だけの処理で終了する。
【００８１】
この初期のサンプル画像から、第１実施形態と同様の手法によって補正パラメータを算出する。輝度補正ＤＢ７の補正パラメータが更新されると、モデル評価部８が再起動する。モデル評価部８は、まず、評価誤差を算出するためのＮ枚のテスト画像を準備する。各テスト画像のＲＧＢチャネル値は、それぞれ（ＰＬ＋ｎ×ΔＬ，ＰＬ＋ｎ×ΔＬ，ＰＬ＋ｎ×ΔＬ）にセットされる。ｎは０，１，２，…，Ｎ−１の整数であり、ΔＬは、次式（１７）で決められた階調の量子化ステップであり、最大階調レベルを超えない程度に四捨五入されている。
【００８２】
【数１７】
【００８３】
図８は、本第２実施形態によるモデル評価部８の動作を説明するためのフローチャートである。モデル評価部８は、輝度補正ＤＢ７に補正パラメータがあるか否かを判断し（ステップＳ２０）、補正パラメータがある場合には（ステップＳ２０のＹＥＳ）、数式（１７）に従って輝度階調を設定し、射影変換ＤＢ６からの平面射影変換データを用いて所定の領域に投影されるように、投影用変換画像としてＮ種類のテスト画像を生成する（ステップＳ２１）。次に、モデル評価部８は、輝度補正ＤＢ７から得た補正パラメータを用いて、全てのテスト画像の輝度を補正する（ステップＳ２２）。
【００８４】
次に、モデル評価部８は、それぞれ補正されたテスト画像を、輝度更新部４に与え、プロジェクタ１０を通して順番に投影する（ステップＳ２３）。その投影画像をカメラ２０で次々と観測して、オリジナルのテスト画像との間の輝度誤差の平均値（輝度評価値）を算出する（ステップＳ２４）。次に、その輝度評価値が所定の誤差δ（例えば、δ＝１０と設定する）より小さいか否かを判断する（ステップＳ２５）。
【００８５】
そして、その輝度評価値が所定の誤差δより小さい場合には（ステップＳ２５のＹＥＳ）、モデル評価部８の処理を停止し、当該処理を終了する。一方、補正パラメータがない場合（ステップＳ２０のＮＯ）、あるいは、輝度評価値が所定の誤差δ以上の場合には、サンプル画像の再設定を実施する（ステップＳ２６）。この処理では、先に設定したグレー系画像、赤系画像、緑系画像、青系画像のＲＧＢチャネル値を変更する。図７に「○」で示したように、階調を狭める方向、すなわち、次式（１８）、（１９）に変更する。
【００８６】
【数１８】
【００８７】
【数１９】
【００８８】
ΔＤは任意の正の整数であり、例えば、ΔＤ＝１０と与える。この変更に伴い、サンプル画像の画素を更新し、同様に、第１実施形態に従って、再び、これらのサンプル画像から補正パラメータを算出する。補正パラメータが再度算出されると、モデル評価部８の処理を繰り返すことにより、トーンカーブに最も近い線形近似を探索することができ、それに応じた補正パラメータを得ることができる。
【００８９】
上述した第１、第２実施形態によれば、プロジェクタの出力性能、カメラ感度、ダイナミックレンジなどを考慮すること無く、任意のサンプル画像を与えても、プロジェクタからの出力輝度Ｐとカメラによる観測輝度Ｃとの間を直線近似するためのカラー混合行列を自動的に獲得することができるため、プロジェクタ・カメラシステムを柔軟に輝度補正することが可能となる。
【００９０】
なお、本発明は、前述した第１、第２実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム、あるいは装置に供給し、そのシステム、あるいは装置のＣＰＵ（ＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出して実行することによっても実現できる。この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施の形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＭＯ、ＨＤＤ等は本発明を構成する。
【符号の説明】
【００９１】
１ 投影輝度調整装置
２ 画像入力部
３ 輝度変化検出部
４ 起動更新部
５ 補正係数算出部
６ 射影変換ＤＢ
７ 輝度補正ＤＢ
８ モデル評価部
１０ プロジェクタ
２０ カメラ
【特許請求の範囲】
【請求項１】
プロジェクタによって投影される画像をカメラによって撮像するプロジェクタ・カメラシステムでの投影輝度調整方法であって、
設定された値に基づくサンプル画像を前記プロジェクタによって投影した投影画像を、前記カメラで観測した観測画像として取得する観測画像取得ステップと、
前記サンプル画像と前記観測画像との輝度変化を検出する輝度変化検出ステップと、
前記プロジェクタ又は前記カメラの性能に基づいて予め設定される補正パラメータを用いることなく、前記検出された輝度変化の量に基づいて前記プロジェクタの輝度を制御する輝度制御ステップと
を含むことを特徴とする投影輝度調整方法。
【請求項２】
前記観測画像取得ステップ、前記輝度変化検出ステップを繰り返し実行し、
前記制御ステップは、
前記輝度変化の量が所定の許容値以上の場合には、前記プロジェクタへ入力される輝度を更新した後、前記プロジェクタから更新後の輝度に基づいて画像を再び投影するステップと、
前記輝度変化の量が前記所定の許容値より小さい場合には、サンプル画像に対する前記プロジェクタの輝度の制御が完了したと判定する完了判定ステップと
を含むことを特徴とする、請求項１に記載の投影輝度調整方法。
【請求項３】
前記輝度制御ステップの後、カラー混合行列と環境光ベクトルとを含む補正パラメータを算出する算出ステップを更に含むことを特徴とする請求項１又は２に記載の投影輝度調整方法。
【請求項４】
階調誤差を算出するためのテスト画像を生成し、前記補正パラメータを用いて前記テスト画像を補正するステップと、
補正後の前記テスト画像の投影画像を前記カメラで撮像して得られたテスト観測画像と、補正前の前記テスト画像との各階調での輝度の誤差を表す階調誤差を算出するステップと、
前記階調誤差が所定の閾値以上の場合は、前記補正パラメータ算出に使った前記サンプル画像の輝度階調を変更して、前記輝度制御ステップにより再びそのサンプル画像を補正するステップと、
前記階調誤差が所定の閾値より小さい場合は、前記サンプル画像の補正が完了したと判定するステップと、
を更に含むことを特徴とする請求項３に記載の投影輝度調整方法。
【請求項５】
プロジェクタによって投影される画像をカメラによって撮像するプロジェクタ・カメラシステムの投影輝度調整装置であって、
設定された値に基づくサンプル画像を前記プロジェクタによって投影した投影画像を、前記カメラで観測した観測画像として取得する観測画像取得部と、
前記サンプル画像と前記観測画像との輝度変化を検出する輝度変化検出部と、
前記プロジェクタ又は前記カメラの性能に基づいて予め設定される補正パラメータを用いることなく、前記検出された輝度変化の量に基づいて前記プロジェクタの輝度を制御する輝度制御部と
を備えることを特徴とする投影輝度調整装置。
【請求項６】
請求項１から４のいずれかに記載の投影輝度調整方法をコンピュータに実行させるためのコンピュータプログラム。
【請求項７】
請求項１から４のいずれかに記載の投影輝度調整方法をコンピュータに実行させるためのコンピュータプログラムを記録した記録媒体。
【請求項１】
プロジェクタによって投影される画像をカメラによって撮像するプロジェクタ・カメラシステムでの投影輝度調整方法であって、
設定された値に基づくサンプル画像を前記プロジェクタによって投影した投影画像を、前記カメラで観測した観測画像として取得する観測画像取得ステップと、
前記サンプル画像と前記観測画像との輝度変化を検出する輝度変化検出ステップと、
前記プロジェクタ又は前記カメラの性能に基づいて予め設定される補正パラメータを用いることなく、前記検出された輝度変化の量に基づいて前記プロジェクタの輝度を制御する輝度制御ステップと
を含むことを特徴とする投影輝度調整方法。
【請求項２】
前記観測画像取得ステップ、前記輝度変化検出ステップを繰り返し実行し、
前記制御ステップは、
前記輝度変化の量が所定の許容値以上の場合には、前記プロジェクタへ入力される輝度を更新した後、前記プロジェクタから更新後の輝度に基づいて画像を再び投影するステップと、
前記輝度変化の量が前記所定の許容値より小さい場合には、サンプル画像に対する前記プロジェクタの輝度の制御が完了したと判定する完了判定ステップと
を含むことを特徴とする、請求項１に記載の投影輝度調整方法。
【請求項３】
前記輝度制御ステップの後、カラー混合行列と環境光ベクトルとを含む補正パラメータを算出する算出ステップを更に含むことを特徴とする請求項１又は２に記載の投影輝度調整方法。
【請求項４】
階調誤差を算出するためのテスト画像を生成し、前記補正パラメータを用いて前記テスト画像を補正するステップと、
補正後の前記テスト画像の投影画像を前記カメラで撮像して得られたテスト観測画像と、補正前の前記テスト画像との各階調での輝度の誤差を表す階調誤差を算出するステップと、
前記階調誤差が所定の閾値以上の場合は、前記補正パラメータ算出に使った前記サンプル画像の輝度階調を変更して、前記輝度制御ステップにより再びそのサンプル画像を補正するステップと、
前記階調誤差が所定の閾値より小さい場合は、前記サンプル画像の補正が完了したと判定するステップと、
を更に含むことを特徴とする請求項３に記載の投影輝度調整方法。
【請求項５】
プロジェクタによって投影される画像をカメラによって撮像するプロジェクタ・カメラシステムの投影輝度調整装置であって、
設定された値に基づくサンプル画像を前記プロジェクタによって投影した投影画像を、前記カメラで観測した観測画像として取得する観測画像取得部と、
前記サンプル画像と前記観測画像との輝度変化を検出する輝度変化検出部と、
前記プロジェクタ又は前記カメラの性能に基づいて予め設定される補正パラメータを用いることなく、前記検出された輝度変化の量に基づいて前記プロジェクタの輝度を制御する輝度制御部と
を備えることを特徴とする投影輝度調整装置。
【請求項６】
請求項１から４のいずれかに記載の投影輝度調整方法をコンピュータに実行させるためのコンピュータプログラム。
【請求項７】
請求項１から４のいずれかに記載の投影輝度調整方法をコンピュータに実行させるためのコンピュータプログラムを記録した記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１３−８３８７２（Ｐ２０１３−８３８７２Ａ）
【公開日】平成２５年５月９日（２０１３．５．９）
【国際特許分類】
【出願番号】特願２０１１−２２４９１９（Ｐ２０１１−２２４９１９）
【出願日】平成２３年１０月１２日（２０１１．１０．１２）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２５年５月９日（２０１３．５．９）
【国際特許分類】
【出願日】平成２３年１０月１２日（２０１１．１０．１２）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]