投影画像補正システム及び補正情報生成プログラム
【課題】本発明は、観測者に知覚されにくいような色成分と輝度成分の変動を積極的に利用して、よりコントラストの高い画像を表示することを可能にする。
【解決手段】本発明は、原画像が入力され（ステップＳ１）、原画像がＹｘｙ値に変換されると（ステップＳ２）、物理的な輝度範囲の設定（ステップＳ１１）、色閾値による輝度範囲の拡張（ステップＳ１２）、輝度閾値による輝度範囲の拡張を行う（ステップＳ１３）。ステップＳ２で得られた原画像の輝度Ｙを、ステップＳ１３で求めた拡張輝度範囲［Ｌ``、Ｈ``］に収めるように調整して輝度変換（輝度写像）を行った後に（ステップＳ３）、投影すべき補正画像の生成を行う（ステップＳ４）。
【解決手段】本発明は、原画像が入力され（ステップＳ１）、原画像がＹｘｙ値に変換されると（ステップＳ２）、物理的な輝度範囲の設定（ステップＳ１１）、色閾値による輝度範囲の拡張（ステップＳ１２）、輝度閾値による輝度範囲の拡張を行う（ステップＳ１３）。ステップＳ２で得られた原画像の輝度Ｙを、ステップＳ１３で求めた拡張輝度範囲［Ｌ``、Ｈ``］に収めるように調整して輝度変換（輝度写像）を行った後に（ステップＳ３）、投影すべき補正画像の生成を行う（ステップＳ４）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、投影面に画像を投影するプロジェクタに適用して好適な投影画像補正システム及び補正情報生成プログラムに関する。
【背景技術】
【０００２】
従来、プロジェクタを利用する際には照明を落とした部屋に設置した専用スクリーンが用いられることがほとんどであった。しかしながら、プロジェクタの小型化、低価格化、高輝度変化などが進んだ結果、オフィスや居間の壁など、暗室内の専用スクリーンのように必ずしも理想的な特性を持つとは言えない場所への画像投影を実現する技術に注目が集まっている（非特許文献１、７参照）。
【０００３】
このような場合、投影される面（投影面）が専用スクリーンのような均一かつ高い反射率を持つことは稀であり、また、環境光の色や明るさなどの影響もあり、投影されるべき元の画像と投影された結果の画像とが大きくずれてしまうという問題が生じる。
【０００４】
このような問題に対して、プロジェクタへの入力（入力画像）とカメラを用いて観測される投影面上の出力（観測画像）との関係を予め求めておき、その関係に基づいて入力画像を補正してズレを軽減するような手法が提案されている（非特許文献４、３参照）。非特許文献４、３では、観測画像のＲ，Ｇ，Ｂ値は、入力画像のＲ，Ｇ，Ｂ値を線形変換したものに環境光成分を足し合わせたものとして表現されている。
【０００５】
そして、この関係をもとに、投影したい画像（以下、原画像）のＲ，Ｇ，Ｂ値と観測画像のＲ，Ｇ，Ｂ値が一致するように、プロジェクタへの入力画像を補正するという処理が用いられている。これにより、投影面の反射率のバラツキが比較的小さく、環境光の影響も少ない場合には良好な結果が得られることが示されている。
【０００６】
しかしながら、基本的にこれらの手法では、原画像の内容を考慮することなしに、プロジェクタへの入力画像の色と明るさの範囲を投影面上で観測可能な色や輝度の範囲に対応付けるという考え方に基づいている。ここで、明るさの範囲とは、例えば合計２４ビットのＲ，Ｇ，Ｂ画像であれば、Ｒ，Ｇ，Ｂに８ビットずつが割り当てられるので、各バンド（Ｒ，Ｇ，Ｂ）で０〜２５５の２５６階調となる。
【０００７】
そのため、投影面の一部の反射率が大きく異なる場合や環境光の影響が大きい場合には、その影響を避けることは観測画像の明るさや色の範囲を必要以上に制限することとなる。その結果、観測画像のコントラストが非常に低くなってしまうという欠点があった。
【０００８】
例えば、投影面上の一部が低い反射率を持つとすると、この部分では観測画像を明るくすることができない。そして、観測画像の一部だけが暗くなってしまうのを避けるためには、画像全体の明るさを制限しなければならない。しかし、この場合には、高い反射率を持つ部分では明るい画像を実現することが可能であるにもかかわらず、観測画像全体を必要以上に暗くし、コントラストを下げなければならない。
【０００９】
これに対して、本発明では、不均一な反射率を持つ投影面や環境光の影響のみならず、原画像の内容も考慮した上で、良好な画質が得られるような補正を実現する手法を提案する。非特許文献４、３による補正では、原画像の内容が考慮されなかったのに対し、本発明では、原画像の内容に基づいて補正の仕方を調整するコンテント依存型の補正となっている点が大きく異なる。
【００１０】
また、本発明では、人間の視覚特性に基づき、入力画像を補正する際に、観測者にとって違和感を生じないズレを積極的に認めることにより、投影される画像のコントラストを可能な限り拡大することができる点が大きな特長となっている。
【００１１】
これにより、本発明では、先に述べたように投影面の一部の反射率が低いような場合においても、その部分に投影する画像の明るさがもともと低いのであれば、画像全体を必要以上に暗くしてしまうことなく、良好なコントラストを持った観測画像を投影面上に映し出すことができる。
【００１２】
これまでにも、プロジェクタの光学補正に人間の視覚特性を考慮するという試みが、非特許文献６と１０によってほぼ同時に報告されている。しかしながら、非特許文献６に記載の手法は、タイル型に組み合わせた背面投影型のプロジェクタシステムのムラの低減を目的としたものであり、この手法では、原画像の内容は考慮されておらず、かつ、視覚特性に関するモデルとしても非常に簡略化されたもののみが利用されている。
【００１３】
また、非特許文献１０に記載の手法では、原画像の内容と人間の視覚特性を考慮して計算された閾値マップ（非特許文献８参照）に基づき、観測者にとって知覚されにくい誤差を積極的に用いて画像のコントラストを上げるというアルゴリズムが提案された。
【００１４】
しかしながら、この手法は、カラー画像ではなく白黒濃淡画像のみを扱うことができ、環境光は存在しないという仮定にもとづいていた。また、画像の補正に関しても、提案手法のように画像の各部分毎に補正の仕方を変えるのではなく、画像全体の明るさを等しく調整するという比較的簡単な処理のみが用いられていた。
【００１５】
また、カラー画像を投射するプロジェクタにおいて、壁等の投射面に色がある場合、正しい色再現するために、本来の投射面に投射する原色の混合量を、投射面の色情報を含めて原画像の色と同等の色を再現するような原色の混合量に変換することにより、色再現を行うプロジェクタの投射面色補正方法が提案されている（特許文献１参照）。
【００１６】
また、投影されている画像を見易くし、かつ簡易で安価な構成で投影するためのプロジェクタとして、投影面における光量または色の少なくとも一方を制御するプロジェクタが提案されている（特許文献２参照）。
【００１７】
このプロジェクタにおいては、撮像装置で検出される光量情報または色情報の少なくとも一方が入力され、この入力情報に基づいて、光源から射出される投影光の光量または色の少なくとも一方が調整される。すなわち、入力された光量情報または色情報の少なくとも一方に基づいて、投影光の光量または色の少なくとも一方が、投影面における光量または色の少なくとも一方に対応するように制御されるのである。
【００１８】
なお、非特許文献２，５，９，１１は、本願発明に最も近い先行技術文献ではないが、本願発明の構成要件の一部に関連する技術文献であり、関連文献で引用している。
【特許文献１】特開２００３−３３３６１１号公報
【特許文献２】特開２００４−１２８５７５号公報
【非特許文献１】Oliver Bimber, Andreas Emmerling,andThomas Klemmer: Embedded Entertainment with Smart Projectors,IEEE computer, 38(1),pp.48-55, 2005.
【非特許文献２】Peter J.Burt and Edward H.Adelson: The LaplacianPyramid as a Compact Image Code.IEEE Transactions on Communications, 31(4), pp.532-540, 1983.
【非特許文献３】Kensaku Fujii,Michasel D.Grossberg,and Shree K.Nayar.: A projector-camera System with Real-Time Photometric Adaptation for Dynamic Environments. Proceedings of CVPR2005, pp. 814-821, 2005.
【非特許文献４】Michasel D.Grossberg,Harish Peri,Shree K.Nayar,and Peter N.Belhumeur: Makig One Object Look Like Another:ControllingAppearance Using a Projector-Camera System, Proceedings of CVPR2004, pp. 452-459, 2004.
【非特許文献５】Adrian line and Greg Welch: Ensuring Color Consistancy across Multiple cameras. Proceedings of CVPR2005, pp. 1268-1275, 2005.
【非特許文献６】Adati Majumder and Rick Stevens: Perceptual Photometric Seamlessness in Projection-Based Titled Diplays. ACM Transactions on Graphics, 24(1), pp.118-139, 2005.
【非特許文献７】Claudio Pinhanez.: The Everywhere Displays Projector:A Device to Create Ubiquitous Graphical Interfaces. Proceedings of Ubiquitous Computing (UbiComp) 2001, pp. 315-331, 2001.
【非特許文献８】Mahesh Ramasubramanian,Sumanta N.Pattaniak,and Donald P.Greenberg.: A Perceptually Based Physical Error Metric for Realistic Images Synthesis. Proceedings of ACM SIGGRAPH99, pp.73-82, 1999.
【非特許文献９】Maureen C.Stone: Color and Brightness Appeasrance Issues in Tiles Displays. IEEE computer Graphics & Applications, 21(5), pp.58-66, 2001.
【非特許文献１０】Dong Wang,Imari Sato,TakahiroOkabe,and Yoichi Sato: Radiomentric Compensation in a Projector-Camera System Based on the Properties of Human Vision System. Proceedings of IEEE International Workshop on Projector-Camera System2005, 2005.
【非特許文献１１】W.D.Wright: The Sensitivity of the Eye to Small Colour Differences. Proceedings of the Physical Society, 53(2), pp.93-112, 1941.
【発明の開示】
【発明が解決しようとする課題】
【００１９】
これら特許文献１、２に記載の技術は、プロジェクタの投影面であるスクリーン全体の色に画像の背景色を合わせることにより、スクリーンの黄ばみ補正やピントボケの補正を行うのみである。従って、特許文献１、２に記載の技術では、投影面がカーテンや壁などの場合において、カーテンや壁に地模様や地色が含まれている場合には、対応することができないという不都合があった。
【００２０】
実世界内のさまざまな場所にプロジェクタで画像を投影するとき、不均一な反射特性を持つ被投影面や環境光などの影響により、正しい色で表示可能な画像のコントラストが制限されてしまうという問題がある。
【００２１】
これに対して、本発明では、観測者に知覚されにくいような色成分と輝度成分の変動を積極的に利用して、よりコントラストの高い画像を表示することを可能にする手法を提案する。
【課題を解決するための手段】
【００２２】
本発明では、画素毎に、原画像の色成分が厳密に表示されうる輝度の範囲を求めた後、人間の視覚特性に関するモデルに基づいて、色成分と輝度成分が許容しうる誤差を計算するようにしている。
【００２３】
本発明者は、上述したような各画素の輝度範囲、及び色成分と輝度成分の許容誤差を考慮し、かつ、原画像から観測画像への変換が隣接画素間で過度に変化しないようにして、さまざまな被投影面を用いた実験を行った。
【００２４】
本発明は、投影面に画像を投影するプロジェクタで投影すべき画像を補正する投影画像補正システムにおいて、プロジェクタの入力に対する投影面の輝度の応答に基づいてプロジェクタへの入力と投影面の輝度の応答との光学的な調整を行う調整手段と、プロジェクタの入力である原画像を輝度信号及び色信号で表される色空間へ色変換をする色変換手段と、この色信号に対して、人間の視覚特性に基づいて観測者が知覚できない許容範囲まで色信号の色と輝度信号の輝度の範囲を拡張させて補正処理を行い、上記補正処理により得られる補正画像を上記プロジェクタの入力とする補正手段と、を備えたことを特徴としている。
【００２５】
本発明の好ましい形態として、上記調整手段は、上記プロジェクタの入力に対するキャリブレーション面における輝度の応答で表される応答関数及び逆関数をプロジェクタ毎に求める第１の演算部と、上記プロジェクタの入力に上記応答関数の逆関数をかけた画素により構成されるプロジェクタ入力画像と、カラーカメラを用いて撮像された上記投影面の観測画像との関係を上記プロジェクタの応答関数、上記投影面の特性、上記投影面での環境光のそれぞれに対応して求める第２の演算部と、を備えている。
【００２６】
また、更なる本発明の好ましい形態として、上記補正手段は、カラーカメラを用いて撮像された投影面の観測画像の各画素において、原画像の色信号を満たす物理的な輝度の範囲を設定する物理的輝度範囲設定部と、色信号に対する誤差の許容範囲を示す色閾値に基づき輝度範囲を仮想的に広げる色閾値輝度範囲拡張部と、輝度信号の輝度に対応する誤差の許容範囲を示す輝度閾値に基づき上記色閾値に基づいて拡張された輝度範囲をさらに広げる輝度閾値輝度範囲拡張部と、を備えている。
【００２７】
また、上記補正手段は、輝度信号の輝度を輝度閾値に基づき拡張された輝度範囲に収まるように写像する輝度写像部と、上記輝度閾値に基づき拡張された輝度範囲に収められた変換後の輝度信号と色信号からプロジェクタの入力画像となる補正画像を生成する補正画像生成部とを備えている。
【００２８】
ここで、上記補正画像生成部は、上記色信号と上記変換後の輝度信号とから、上記投影面の観測画像の各画素の値を求める観測画像画素値演算部と、上記プロジェクタ入力画像と上記投影面の観測画像との関係と上記プロジェクタの応答関数にもとづき、上記投影面の観測画像の各画素の値から、上記プロジェクタ入力画像を求めるプロジェクタ入力画像演算部と、を備えている。
【００２９】
また、本発明の投影画像補正方法は、プロジェクタの入力に対する投影面の輝度の応答に基づいて、プロジェクタへの入力と投影面の輝度の応答との光学的な調整を行う調整ステップと、プロジェクタの入力である原画像を輝度信号及び色信号で表される色空間へ色変換をする色変換ステップと、この色信号に対して、人間の視覚特性に基づいて観測者が知覚できない許容範囲まで色信号の色と輝度信号の輝度の範囲を拡張させて補正処理を行い、上記補正処理により得られる補正画像を上記プロジェクタの入力とする補正ステップと、を含むことを特徴としている。
【００３０】
この投影画像補正方法の好ましい形態として、上記調整ステップは、上記プロジェクタの入力に対するキャリブレーション面における輝度の応答で表される応答関数及び逆関数をプロジェクタ毎に求める第１の演算ステップと、上記プロジェクタの入力に上記応答関数の逆関数をかけた画素により構成されるプロジェクタ入力画像と、カラーカメラを用いて撮像された上記投影面の観測画像との関係を上記プロジェクタの応答関数、上記投影面の特性、上記投影面での環境光のそれぞれに対応して求める第２の演算ステップと、を含んでいる。
【００３１】
また、本発明の投影画像補正方法の更なる好ましい形態においては、上記補正ステップは、カラーカメラを用いて撮像された投影面の観測画像の各画素において、原画像の色信号を満たす物理的な輝度の範囲を設定する物理的輝度範囲設定ステップと、上記色信号に対する誤差の許容範囲を示す色閾値に基づき輝度範囲を仮想的に広げる色閾値輝度範囲拡張ステップと、輝度信号の輝度に対応する誤差の許容範囲を示す輝度閾値に基づき上記色閾値に基づいて拡張された輝度範囲をさらに広げる輝度閾値輝度範囲拡張ステップと、を含んでいる。
【００３２】
また、上記補正ステップは、輝度信号の輝度を輝度閾値に基づき拡張された輝度範囲に収まるように写像する輝度写像ステップと、輝度閾値に基づき拡張された輝度範囲に収められた変換後の輝度信号と色信号からプロジェクタの入力画像となる補正画像を生成する補正画像生成ステップとを含んでいる。
【００３３】
ここで、上記補正画像生成ステップは、上記色信号と上記変換後の輝度信号とから、上記投影面の観測画像の各画素の値を求める観測画像画素値演算ステップと、上記プロジェクタ入力画像と上記投影面の観測画像との関係と上記プロジェクタの応答関数にもとづき、上記投影面の観測画像の各画素の値から、上記プロジェクタ入力画像を求めるプロジェクタ入力画像演算ステップと、を含んでいる。
【００３４】
また、本発明は、投影面に画像を投影するプロジェクタで投影すべき画像を補正する処理を実行するためにコンピュータに設けられた投影画像補正プログラムであって、このコンピュータに対して、プロジェクタの入力に対する投影面の輝度の応答に基づいてプロジェクタへの入力と投影面の輝度の応答との光学的な調整を行う調整機能と、プロジェクタの入力である原画像を輝度信号及び色信号で表される色空間へ色変換をする色変換機能と、この色信号に対して、人間の視覚特性に基づいて観測者が知覚できない許容範囲まで色信号の色と輝度信号の輝度の範囲を拡張させて補正処理を行い、上記補正処理により得られる補正画像を上記プロジェクタの入力とする補正機能と、を実現させることを特徴としている。
【００３５】
本発明の投影画像補正プログラムの好ましい形態としては、上記調整機能は、上記プロジェクタの入力に対するキャリブレーション面における輝度の応答で表される応答関数及び逆関数をプロジェクタ毎に求める第１の演算機能と、上記プロジェクタの入力に上記応答関数の逆関数をかけた画素により構成されるプロジェクタ入力画像と、カラーカメラを用いて撮像された上記投影面の観測画像との関係を上記プロジェクタの応答関数、上記投影面の特性、上記投影面での環境光のそれぞれに対応して求める第２の演算機能と、を含んでいる。
【００３６】
また、本発明の投影画像補正プログラムで実現する上記補正機能は、カラーカメラを用いて撮像された投影面の観測画像の各画素において、原画像の色信号を満たす物理的な輝度の範囲を設定する物理的輝度範囲設定機能と、色信号に対する誤差の許容範囲を示す色閾値に基づき投影面の観測画像の各画素について、輝度範囲を仮想的に広げる色閾値輝度範囲拡張機能と、輝度信号の輝度に対応する誤差の許容範囲を示す輝度閾値に基づき上記色閾値に基づいて拡張された輝度範囲をさらに広げる輝度閾値輝度範囲拡張機能と、を含んでいる。
【００３７】
また、上記補正機能は、原画像の輝度信号の輝度を輝度閾値に基づき拡張された投影面の観測画像の輝度範囲に収まるように写像する輝度写像機能と、輝度閾値に基づき拡張された輝度範囲に収められた変換後の輝度信号と色信号からプロジェクタの入力画像となる補正画像を生成する補正画像生成機能とを含んでいる。
【００３８】
ここで、上記補正画像生成機能は、上記色信号と上記変換後の輝度信号とから、上記投影面の観測画像の各画素の値を求める観測画像画素値演算機能と、上記プロジェクタ入力画像と上記投影面の観測画像との関係と上記プロジェクタの応答関数にもとづき、上記投影面の観測画像の各画素の値から、上記プロジェクタ入力画像を求めるプロジェクタ入力画像演算機能と、を含んでいる。
【発明の効果】
【００３９】
本発明により、投影面の反射特性の不均一性，環境光の影響を軽減し、観測者に知覚されにくいような色成分と輝度成分の変動を積極的に利用することで、よりコントラストの高い画像を投影面に表示することができる。
【発明を実施するための最良の形態】
【００４０】
本発明の実施形態を、適宜図面を参照しながら説明する。
［提案するプロジェクタカメラシステム］
本発明の実施形態では、人間の視覚特性に基づき、投影面の模様などの反射特性の不均一性、室内の蛍光灯などの環境光の影響、あるいはプロジェクタ出力の不均一性を補正して、知覚的に原画像に近い観測画像を投影面に実現することを目指している。
【００４１】
また、本発明の実施形態では、静的な環境を想定し（環境光は一定）、投影面は完全拡散面であり、視覚方向による見え方の変化はないと仮定している。また、投影面から観測者への距離は既知とする。本発明の実施形態で使用するプロジェクタは、赤、緑、青の３原色で構成され、その出力は各画素独立で投影面において加色混合されると考える。
【００４２】
ここで、プロジェクタを用いて、任意の面上に所望の色と明るさで入力画像を歪なく投影するためには、光学的補正だけではなく幾何学的補正が必要となる。カメラプロジェクタシステムの幾何キャリブレーションに関する研究はこれまで多く報告されているため、本発明の実施形態では投影面として平面のみを対象としている。したがって、特別な幾何学補正は考慮していない。以下では、入力画像と投影面においてカメラで観察される観測画像との関係式を導き、提案する光学補正手法を説明する。
【００４３】
図１に示すように、本発明の実施形態による投影画像補正システムは、投影面３に画像を投影するプロジェクタ１と、プロジェクタ１で投影すべき画像を補正するコンピュータ５とを有して構成される。
【００４４】
［キャリブレーション］
まず、補正処理の前提となるプロジェクタのキャリブレーションについて説明する。
プロジェクタのキャリブレーションは、使用するプロジェクタが変わる毎に行う処理である。
図１は、第１のキャリブレーション処理を示す図であり、コンピュータ５がプロジェクタ１の応答関数とその逆関数を求める様子を示している。
【００４５】
プロジェクタ１のキャリブレーションには、幾何学的側面と光学的側面がある。幾何学的キャリブレーションについては、投影面であるキャリブレーション面（白いスクリーン）３が平面であると仮定して、プロジェクタ１からの投影２による画像平面とキャリブレーション面３に投影された画像平面との幾何的な変換を示すホモグラフィーを求めることにより行っている。以後、プロジェクタ１の画像平面と投影面（図２に番号１２で示すカメラの画像平面）の対応は既知として説明を進める。
【００４６】
光学的キャリブレーションには、図１に示す輝度の応答関数の推定と、図２に示す色空間の変換式の推定という二つの調整がある。プロジェクタ１の輝度の応答関数については、空間的に一様であることが知られている（非特許文献６参照）。そこで、コンピュータ５がプロジェクタ１への入力ＲＧＢ１３（ｉ）を変化させたときに、キャリブレーション面３上の一点の輝度を、４で示すように測光計で計測する。
【００４７】
これにより、コンピュータ５は、プロジェクタ１への入力ＲＧＢ６に対するキャリブレーション面３上の輝度の応答関数及び逆関数を演算により得る（図１（７）参照）。なお、入力ＲＧＢ６は、０〜１の範囲に正規化されていて、測光計による投影面で計測される輝度（図１の（４）参照）も、０〜１の範囲に正規化されている。この応答関数は図１０に示すような特性を有するものである。
【００４８】
［画像と投影面で観察される明るさの関係］
図２は、第２のキャリブレーション処理を示す図であり、コンピュータ５が投影画像と観測画像との明るさの関係を求める様子を示すものである。第２のキャリブレーション処理は、プロジェクタ、カメラ、環境光、投影面が変化する毎に行う処理である。
【００４９】
コンピュータ５がプロジェクタ１への入力ＲＧＢ値１３（ｉ）を変化させたときに、投影面１１の観測画像（ＲＧＢ値）を番号１２で示すようにカメラにより撮像した観測画像に対して、コンピュータ５が以下の色変換をする。
【００５０】
このとき、１７で示すように、予めカラーチャートを投影面１１として利用して、プロジェクタ１から白色を投影した際の輝度を測光計を用いて計測し（図１の（４）参照）、同時に番号１２で示すカメラにより観測画像（ＲＧＢ値）を撮像することによって、コンピュータ５が観測画像の色変換（ＲＧＢからＸＹＺ）を求めている。なお、一度、コンピュータ５が上述した色変換を求めてしまえば、カメラが変わらない限り測光計は利用する必要はない。
【００５１】
本発明の実施形態では、入力画像をデバイス依存のＲ，Ｇ，Ｂ値からＹｘｙ値（Ｙは輝度値、ｘｙは色信号（クロミナンス：ある色と同輝度の参照色との差異））に変換した後に後述する光学補正を行っていく。一般に、プロジェクタ１の出力は入力に対して線形な値を示さないため、コンピュータ５は、図１に示すようにプロジェクタ１の入出力を示す応答関数を投影面の輝度計測に基づき求めておき、入力Ｒ，Ｇ，Ｂ値１３（ｉ）に応答関数の逆関数をかけた後のＲ，Ｇ，Ｂ値（以下、＃ｉとする。）をプロジェクタ１への入力とする（図２（１４）参照）。
【００５２】
このとき、コンピュータ５は、先に求めた色変換を用いて（図２（１７）参照）、カメラＲＧＢ値を投影面において観察されるＸＹＺ値（ＸＹＺ色空間で定義される色）へ変換する。変換されたＸＹＺ値はカメラで観察される明るさｃに対応する（図２の（１５）参照）。
【００５３】
これにより、コンピュータ５は、プロジェクタ１への入力であるＲ，Ｇ，Ｂ値＃ｉと、変換されたＸＹＺ値であるカメラで観察される画像の明るさｃとから、プロジェクタ入力と観測画像との関係を演算により求める。そして、さらに、コンピュータ５は、プロジェクタ入力Ｒ，Ｇ，Ｂ値＃ｉを観測画像に変換するための色変換行列Ｍと環境光ｔを周知の技術を用いて推定する（図２の（１６）参照）。
【００５４】
非特許文献９では、３×３の変換行列を用いて、プロジェクタ入力となるＲ，Ｇ，Ｂ値と投影面において観察されるＸＹＺ値（ＸＹＺ色空間で定義される色）との関係を定義している。また、非特許文献４では、同様の変換を用いて、入力画像の画素と投影面をカメラを用いて撮影した観測画像の画素との関係を導いている。ここで、環境光ｔの影響は、オフセットとして表現することができるため、プロジェクタ入力であるＲ，Ｇ，Ｂ値＃ｉとカメラにより観察される画像の明るさであるｃの関係は、数１式のように求められる。
【００５５】
【数１】
この式において、ｃは投影面１１の対応する画素のＸＹＺ値、Ｍは３×３の色変換行列、ｔは環境光の影響を示している。
【００５６】
本発明の実施形態では、予め準備された画像パターンをプロジェクタ１を用いて投影面１１に投影し、その明るさをカメラで観察することにより、変換行列Ｍの９つの要素とｔの３つの要素の併せて１２の要素を求めている。さらにカメラにより観察される画像の明るさであるｃに対応するＹｘｙ値は、標準的な色変換を用いて求めることができる。Ｙｘｙ空間におけるＹはＸＹＺ値のＹに対応し、ｘｙはｘ＝Ｘ／（Ｘ＋Ｙ＋Ｚ）、ｙ＝Ｙ／（Ｘ＋Ｙ＋Ｚ）のように求められる。また、その逆変換は、Ｘ＝ｘ Ｙ／ｙ、Ｙ ＝Ｙ 、Ｚ＝（１−ｘ−ｙ）Ｙ／ｙとなる。
【００５７】
数式１で記述される色空間の変換は、投影面１１のテクスチャや環境光の影響を受けるため、投影面１１の各点で定義される。そのため、プロジェクタ１へ入力した色（ＲＧＢ）とカメラで計測したときに得られる色（ＸＹＺ）の関係から、色空間の変換式を求めた。具体的には、変換式が１２個のパラメータを含むこと、及び、１回の計測で３つの拘束が得られることから、４よりも十分に多い回数の計測を行って、最小二乗法によりパラメータを推定した。
【００５８】
なお、カメラの色信号のキャリブレーション（ＲＧＢ色空間からＸＹＺ色空間）には、測光計を利用した。また、カラーチャートの色をカメラと測光計の両方で計測して、ＲＧＢからＸＹＺの二次の写像を求めた（非特許文献５参照）。
【００５９】
［光学補正の手順］
図３は、補正処理を示す図である。補正処理は、入力画像毎に行う処理である。
提案手法では、原画像が入力されると（ステップＳ１）、コンピュータ５は、原画像をＹｘｙ値に変換し（ステップＳ２）、以下の手順に基づき光学補正を行っていく。以下、色空間に変換された原画像を輝度Ｙ、色信号ｅ＝（ｅｘ，ｅｙ）ｔと表現する。ここで、コンピュータ５は、プロジェクタ投影により投影面において実現可能な最大輝度と最小輝度の平均を求め、この範囲内に原画像が収まるようにスケール調整を行うことで原画像の輝度Ｙを物理量で表現している。
【００６０】
まず、コンピュータ５は、第１の機能として、物理的な輝度範囲の設定を行う（ステップＳ１１）。具体的には、コンピュータ５は、観測画像の各画素において、原画像の色信号ｅを満たす輝度の範囲［Ｌ、Ｈ］を求める（図４参照）。図４において、原画像４１に対して、４２は最小輝度Ｌの画像、４３は最大輝度Ｈの画像を示す。
【００６１】
次に、コンピュータ５は、第２の機能として、色閾値による輝度範囲の拡張を行う（ステップＳ１２）。具体的には、コンピュータ５は、色信号ｅに対する誤差の許容範囲（色閾値）に基づき、輝度範囲を［Ｌ、Ｈ］ から［Ｌ`、Ｈ`］へ仮想的に広げる。
【００６２】
さらに、コンピュータ５は、第３の機能として、輝度閾値による輝度範囲の拡張を行う（ステップＳ１３）。具体的には、コンピュータ５は、輝度に対する誤差の許容範囲（輝度閾値）に基づき、上記で求めた輝度範囲［Ｌ`、Ｈ`］をさらに仮想的に広げる。色閾値及び輝度閾値により拡張された輝度範囲を［Ｌ``、Ｈ``］とする。ステップＳ１１〜ステップＳ１３までの処理は、画素単位で行われる処理である。
【００６３】
そして、コンピュータ５は、第４の機能として、輝度変換（輝度写像）を行う（ステップＳ３）。具体的には、コンピュータ５は、ステップＳ２で得られた原画像の輝度Ｙを、ステップＳ１３で求めた拡張輝度範囲 ［Ｌ``、Ｈ``］に収めるように調整する。この際、コンピュータ５は、観測者にとって違和感が生じない程度に空間的に非一様な非線形写像を認めることにより、原画像のコントラストを保ちつつ限られた輝度範囲に収めていく。
【００６４】
さらに、コンピュータ５は、第５の機能として、投影すべき補正画像の生成を行う（ステップＳ４）。具体的には、コンピュータ５は、ステップＳ３で写像された輝度Ｙ’と色信号ｅに基づき，観測画像のＸＹＺ値（数式１のｃ）を求め、式１の逆変換により光学補正を施した入力画像（補正画像）を求める。
【００６５】
ステップＳ４の補正画像の生成処理は、以下の手順により実行される。第１の手順として、コンピュータ５は、色信号ｅとステップＳ３で写像された輝度Ｙ｀から、カメラで観察される明るさｃ（ＸＹＺ値）を求める（ステップＳ２１）。第２の手順として、コンピュータ５は、数式１に、カメラで観察される明るさｃ（ＸＹＺ値）、色変換マトリックスＭ、環境光ｔを代入してプロジェクタ入力であるＲ，Ｇ，Ｂ値＃ｉを求める（ステップＳ２２）。第３の手順として、コンピュータ５は、プロジェクタの応答関数の逆関数によりプロジェクタ入力であるＲ，Ｇ，Ｂ値＃ｉからプロジェクタ１に入力すべきＲ，Ｇ，Ｂ値（ｉ）を求める（ステップＳ２３）。
【００６６】
最後に、プロジェクタ１にステップＳ４で生成された補正画像入力を行うことにより、投影面１１に補正画像の投影２が行われるようになる。
以下、特徴となる各手順を詳しく説明する。
【００６７】
［人間の視覚特性に基づく輝度範囲の拡張］
［物理的な輝度範囲の設定］
この説明は、図３のステップＳ１１に対応するものである。
実空間内のさまざまな場所にプロジェクタで画像を投影する場合、投影面の不均一な反射特性や環境光の影響により、プロジェクタ投影による投影面で観察可能な色信号の領域（色領域）も限られてしまう。ここで、コンピュータ５は、観測画像の各画素に対して色領域を求める。そして、原画像の色信号が求めた色領域外となる場合には、色領域へのクリッピング処理を行い、色信号ｅを満たす輝度の範囲を求めていく。
【００６８】
図５は、色信号のクリッピング及び色信号誤差の閾値を示す図であり、図５Ａは原画像の色信号が求めた色領域外に存在する場合のクリッピング処理を示し、図５Ｂは原画像の色信号から求めた色信号の誤差の閾値を示す。
【００６９】
数式１及びＸＹＺからＹｘｙへの色変換により、あるＲＧＢ値である＃ｉが入力として与えられれば、コンピュータ５は、対応するＸＹＺ値とＹｘｙ値を求めることができる。そこで、コンピュータ５は、彩度が最大となる入力ＲＧＢ値、＃ｉ＝（１，０，０）ｔ，（０，１，０）ｔ、（０，０，１）ｔそれぞれに対して（（）ｔは行列を示す）、対応するＹｘｙ値を求めることにより、ｘｙ空間において色領域を定義する３頂点（ｒ，ｇ，ｂ）が求められる（図５Ａ）。同様な手順により、コンピュータ５は、輝度が最小又は最大となる入力ＲＧＢ値、＃ｉ＝（０，０，０）ｔ，（１，１，１）ｔに対応する色信号（ｌ，ｈ）も求めておく。
【００７０】
ここで、コンピュータ５は、原画像の色信号ｅ＝（ｅｘ，ｅｙ）ｔが求めた色領域内に存在する場合はｅを用いて、色領域外となる場合には色領域を形成する３辺のうちｅからの距離が最小の点をｅとして、この色信号を満たす輝度の範囲を求めていく（図５Ａ）。
【００７１】
［色信号ｅ に対する最大輝度［Ｌ、Ｈ］の算出］
色信号ｅは、ＸＹＺ色空間ではベクトルｄ＝（ｅｘ，ｅｙ，１−ｅｘ−ｅｙ）ｔに対応する。すなわち、このベクトル上の点ｓｄ（ｓはベクトルｄのスケールを表し０以上の値をとる）は、全て同じ色信号ｅを持つことになる。数式１より以下の数２式を得る。
【００７２】
【数２】
ここで、＃ｄ＝Ｍ−１ｄ、＃ｔ＝Ｍ−１ｔとすると、以下の数３式となる。
【００７３】
【数３】
【００７４】
図６は、ＸＹＺ及びＲＧＢ空間における出力領域を示す図であり、図６ＡはＸＹＺ空間、図６ＢはＲＧＢ空間である。
以下では、ＲＧＢ色空間での説明を通して、最大、最小輝度に対応するベクトル＃ｄのスケール（ＳＬ、ＳＨ）を求めていく。ＲＧＢ色空間において、全ての＃ｉを含む領域は単位立方体を形成し、色信号ｅに対応し最小輝度を持つ点は、＃ｉＲ＝０、＃ｉＧ＝０、＃ｉＢ＝０、の面とベクトル＃ｄとの交点となることが分かる（図６Ｂ）。この交点に対応するスケールＳは、ＳＲ＝＃ｉＲ／＃ｄＲ、ＳＧ＝＃ｉＧ／＃ｄＧ、ＳＢ＝＃ｉＢ／＃ｄＢのように求められる。これらの点のうち、−＃ｔからの距離が最も遠い点が色信号ｅを満たしかつ最小輝度に対応する値へのスケールを示す。すなわち、以下の数４式となる。
【００７５】
【数４】
同様に、ベクトル上の点であり、最大輝度を持つ点のスケールは以下の数５式により求められる。
【００７６】
【数５】
従って、ｄＬ＝ＳＬｄ、ｄＨ＝ＳＨｄの２点を求め、それぞれに対応する輝度Ｌ及びＨを求めることができる。
【００７７】
［色信号における誤差の考慮］
この説明は、図３のステップＳ１２に対応するものである。
人間の視覚特性に基づき、色信号に対する誤差の許容範囲（色閾値）を考慮することにより、輝度範囲［Ｌ、Ｈ］を仮想的に広げていく。まず、図５Ｂに示すように、ｘｙ色空間において、色信号ｌ（最大輝度を導く色信号）と色信号ｈ（最小輝度を導く色信号）の方向に、色信号ｅから色閾値距離分離れた点（ｅＬ｀，ｅＨ｀）を求める。
【００７８】
言い換えれば、色信号ｅからの距離が閾値距離にあるｅＬ｀，ｅＨ｀と色信号ｅとの色信号差をユーザは知覚することができない。上述した色信号ｅに対する最大輝度［Ｌ、Ｈ］の算出に基づいて、ｅＬ｀を満たす最低輝度Ｌ`と、ｅＨ｀を満たす最大輝度Ｈ`を求めることができる。
【００７９】
ここで、ｅＬ｀，ｅＨ｀は、それぞれ色信号ｌ、色信号ｈに色信号ｅより近づいているため、その輝度範囲［Ｌ`、Ｈ`］は輝度範囲［Ｌ、Ｈ］よりも広くなる。本実施の形態では、周知の知覚可能な色誤差のデータに基づいた色閾値の決定を行っている（非特許文献１１参照）。
【００８０】
［輝度における誤差の考慮］
この説明は、図３のステップＳ１３に対応するものである。
図７は、輝度差の許容範囲の推定を示す図である。
輝度における誤差の許容範囲を考慮することにより、上記で求めた［Ｌ`、Ｈ`］の輝度範囲をさらに広げていく。本実施の形態では、周知の輝度閾値（非特許文献８参照）に基づき、人間が知覚しない輝度差の閾値Ｔを求めている。この輝度閾値は、以下の３要素により構成される。ＴＶＩ（Threshold-versus-intensity function）７２は、原画像７１に対して、人間が知覚する最小輝度差を示し、対象点を中心として視野１度内の周辺領域の平均輝度により決定される。対象点が８０ｃｄ／ｍ２以上の輝度を持つ場合、誤差の閾値は輝度に比例することが知られている。本実施の形態では、室内などの一般的な環境光下における光学補正を考えているため、この場合に相当するとしてＴＶＩ７２を求めている。
【００８１】
ＣＳＦ（Contrast sensitivity function）７３は、画像の各領域における空間周波数に基づき求められる誤差の許容範囲を示すものである。空間周波数の高い領域は許容範囲も高く認められるなど、周波数の各レベルに対応した許容誤差が定義される。具体的な計算手順では、各周波数バンドに対応するコントラスト値を周知のコントラストピラミッド手法（非特許文献２参照）に基づき求め、その値の重み付け和によりＣＳＦ７３を求めている。
【００８２】
ビジュアルマスキング（Visual Masking）は、ＣＳＦ７３と関係して、各周波数レベル同士の打ち消し効果などを示すものである。
これらの３要素のうち、ビジュアルマスキングは計算コストが非常に高いため、本実施の形態では、ＴＶＩ７２とＣＳＦ７３の２つの値を掛け合わせた閾値ｒを求め、さらに相対的な輝度閾値Ｔ＝（Ｙ＋ｒ）／Ｙを求めている。ここで、Ｔは輝度Ｙに対して相対的な閾値（７４）を示し、Ｔ＝１．１は与えられた輝度Ｙに対して１０％の輝度誤差を人間が知覚することができないことを示す。
人間が知覚する輝度差は輝度の対数に比例することが知られているため、Ｔに基づき拡張された輝度範囲は、以下の数６式により求められる。
【００８３】
【数６】
【００８４】
［光学補正のための原画像の変換］
光学補正の実現のためにプロジェクタへの入力として用いる画像を、原画像に対して、補正画像と呼ぶことにする。ここでは、輝度の変換を中心に、原画像から補正画像への変換について述べる。
【００８５】
［輝度の変換］
この説明は、図３のステップＳ３に対応するものである。
図８は、輝度の変換の概念図である。
各画素について、原画像の輝度Ｙを、数式６で計算した輝度の範囲［Ｌ``、Ｈ``］に写像することで、補正画像を投影したときに観測される物理的な輝度Ｙ`を求める。これは、原画像の輝度を、空間的に非一様な非線形写像で変換することに対応している。
【００８６】
一般に、人間の知覚する明るさは物理的な明るさの対数に比例することから、Ｌｌｇ＝ＬｏｇＬ``、Ｈｌｇ＝ＬｏｇＨ``、及びＹｌｇ＝ＬｏｇＹとして、対数ドメインで説明する。なお、Ｙｌｇは、［０，１］に正規化されているものとする。ここで、原画像の輝度Ｙを、Ｙｌｇ`＝Ｙｌｇ（Ｙｌｇｈ−Ｙｌｇｌ）＋Ｙｌｇｌのようにして、画素毎に定義された下限Ｙｌｇｌと上限Ｙｌｇｈの間に線形に写像するものとする。つまり、輝度の変換の問題を、二つの境界である下限Ｙｌｇｌと上限Ｙｌｇｈを求める問題として定義する。
【００８７】
これらの境界は、補正画像を投影したときに観測される画像のコントラストをより高くすると同時に、以下の二つの拘束条件を満たさなくてはならない。
第１に、ダイナミックレンジによる拘束がある。輝度Ｙｌｇ`は、プロジェクタのダイナミックレンジ内に収まる必要がある。すなわち、Ｌｌｇ≦Ｙｌｇ（Ｙｌｇｈ−Ｙｌｇｌ）＋Ｙｌｇｌ≦Ｈｌｇを満たさなくてはならない。
【００８８】
第２に、境界の一様性による拘束がある。境界の輝度があたかも一様であるかのように知覚されるためには、二つの境界ＹｌｇｌとＹｌｇｈの勾配は、人間の視覚特性に基づいて決める閾値δよりも小さくなければならない。
【００８９】
後述する実験では、上記の要求を満たす二つの境界ＹｌｇｌとＹｌｇｈを、周知の反復法により決定した。具体的には、Ｙｌｇｌ＝０の初期値を与えた後、拘束条件を満たすように、二つの境界ＹｌｇｌとＹｌｇｈを交互に更新した。詳細な更新ルールについては、後で述べる。
【００９０】
なお、本発明者は、数回の更新で値が収束することを確認している。このようにして二つの境界ＹｌｇｌとＹｌｇｈが決まると、補正画像を投影したときに観測される輝度Ｙｌｇ`は、以下の数７式のように与えられる。
【００９１】
【数７】
【００９２】
［ダイナミックレンジによる拘束］
まず、第一の拘束条件について、Ｈ、Ｙ及び下限Ｙｌｇｌの初期値が与えられたときに、上限Ｙｌｇｈを更新することを考える。プロジェクタのダイナミックレンジによる拘束条件を満たすためには、例えば、Ｈｌｇ＝Ｙｌｇ（Ｙｌｇｈ−Ｙｌｇｌ）＋Ｙｌｇｌを満たすようにＹｌｇｈを決定することが考えられる。しかしながら、このような更新は、コントラストの低い原画像を、過度にコントラストの高い画像に変換してしまう可能性がある。そこで、原画像のコントラストを過度に高くしすぎないために、パラメータε（０＜ε≦１）を用いて、Ｙｌｇｈを以下の数８式のように更新する。
【００９３】
【数８】
同様にして、Ｙｌｇｌの更新ルールを、以下の数９式のように求める。
【００９４】
【数９】
【００９５】
図９に示すように、パラメータεが小さくなればなるほど、原画像のコントラストを反映した低コントラストの結果が得られることが分かる。次節の実験では、ε＝０．９とした。
【００９６】
［境界の一様性による拘束］
次に、第二の拘束条件について、境界の更新をする（非特許文献６参照）。具体的には、数式８で得られた上限Ｙｌｇｈの値を、それ以下の値に置き換える。このとき、Ｙｌｇｈ（＝ＬｏｇＹｈ）の勾配が閾値よりも小さくなるように、以下の数１０式の条件下でＹｌｇｈを更新する。
【００９７】
【数１０】
【００９８】
下限Ｙｌｇｌについても同様に、数式９で得られた値を、それ以上の値に置き換える。
人間の視覚特性は、5 cycle per degreeの周波数において最も感度が高く、１％程度の輝度の差を知覚することができることが知られている。そのため、例えば、幅２ｍの平面に投影された１０２４×７６８画素の画像を、投影面から３ｍ離れて観測するときには、δ＝（１８０×５×０．０１×２）／（π×３×１０２４）≒１／５４０となる。
【００９９】
［補正画像への変換］
この説明は、図３のステップＳ４に対応するものである。
変換後の輝度Ｙ`がＬ≦Ｙ`≦Ｈを満たすとき、プロジェクタのダイナミックレンジ内で、原画像の色信号をそのまま再現することができる。一方、Ｌ≦Ｙ`≦Ｈを満たさない場合には、輝度や色信号を正確に表現するのは困難であるため、表１に示すように輝度と色信号を定める。
【０１００】
【表１】
【０１０１】
最後に、このようにして得られたＸＹＺ色空間の画像に対して、プロジェクタの応答関数と数式１で記述される色空間の変換を考慮して、プロジェクタへの入力となるＲＧＢ色空間で表現された補正画像を求める。
【０１０２】
［実験結果］
図１１に、光学補正の結果を示す。原画像１１２をそのまま投影した場合に、観測画像（補正なし）１１３には投影面１１１のテクスチャが見えているのに対して、補正画像による投影画像１１４を投影した場合には、観測画像（補正あり）１１５にはコントラストを低下させることなくテクスチャの影響を著しく軽減できているのが分かる。
【０１０３】
図１２には、異なる投影面に対する他の光学補正の結果を示した。この場合も、観測画像（補正なし）１２２、１２４、枠内拡大画像１２６に見られる投影面１２１のテクスチャなどの影響を、観測画像（補正あり）１２３，１２４、枠内拡大画像１２７では軽減できているのを確認することができる。
【０１０４】
ただし、本明細書を読む環境と実験環境では、画像の大きさやシーンの明るさなどが異なるために、一般に、知覚される画像は異なることに注意が必要である。
なお、コンピュータのＣＰＵとしてｐｅｎｔｉｕｍ４，３．２ＧＨｚを用いたときの典型的な計算時間は、１０２４×７６８画素の画像に対して、表２のとおりであった。
【０１０５】
【表２】
【０１０６】
最後に、ユーザ評価の結果を報告する。この評価では、本実施の形態の主題であり、かつ、上記のように計算コストも要する、色信号と輝度の閾値を導入することの効果を調べた。具体的には、１０名の被験者に対して、（ａ）提案手法により得られる補正画像、及び（ｂ）色信号と輝度の閾値をゼロにしたときに上述の手順で計算される補正画像の二種類の画像を、プロジェクタによりランダムな順番で提示した。被験者に、どちらの画像を好むか、及び、どちらの画像のコントラストが高いかという質問をした。なお、提示した画像は１０組であり、合計１００の回答を得た。
【０１０７】
その結果、被験者の好む画像は（ａ）９４、（ｂ）４、どちらともいえない２、コントラストの高い画像は（ａ）９６、（ｂ）４、どちらともいえない０であった。また、多くの被験者から、色信号と輝度の閾値を考慮した画像が、より鮮明かつ自然に見えるという感想を得た。これらの実験結果からも、プロジェクタの光学補正に関して、人間の視覚特性を考慮することが重要であることがわかる。
【０１０８】
環境光下で不均一な反射率を持つ面に画像を投影する場合、正しい色で投影可能な画像のコントラストが低下してしまうという問題がある。この問題に対し、本実施の形態では、人間の視覚特性に基づき、観測者がほとんど知覚できない形で色と輝度の誤差を積極的に用いることによって、よりコントラストの高い画像を再現可能とする手法を提案した。
【０１０９】
これまで報告されているプロジェクタの光学補正手法とは異なり、提案手法ではプロジェクタや投影面の光学特性のみならず、投影しようとする画像の内容に応じて可能な限り投影面で観察される画像の画質を向上させる工夫が用いられている点が大きな特長となっている。
【０１１０】
本実施の形態では、提案手法の詳細を紹介した上で、さまざまなパターンを持つ投影面への画像の投影に提案手法を適用した結果を詳述した。これらの実験結果から、提案手法を用いることにより環境光下で不均一な反射率を持つ面に投影する場合においても、コントラストの高い良好な画質を得ることができることを確認した。
【０１１１】
なお、今後の研究課題として、提案手法をさらに拡張するためにいくつかの方向を検討している。特に、本実施の形態では、静止画の投影を取り扱ったが、動画を投影する場合の光学補正に関しても適用可能であると想定される。
【０１１２】
その場合、静止画に知覚のみならず、動画の知覚に関する人間の視覚特性を考慮することにより、より積極的に画質を向上させることができると考えられる。また、本実施の形態の提案手法では、投影面と観測者との位置関係が既知であると仮定していたが、この条件を緩和した場合も適用可能であると想定される。
【図面の簡単な説明】
【０１１３】
【図１】第１のキャリブレーション処理を示す図であり、コンピュータ５がプロジェクタ１の応答関数とその逆関数を求める様子を示す図である。
【図２】第２のキャリブレーション処理を示す図であり、コンピュータ５が投影画像と観測画像との明るさの関係を求める様子を示すものである。
【図３】補正処理を示す図である。
【図４】原画像に対して、最小輝度画像、最大輝度画像を示す図である。
【図５】色信号のクリッピング及び色信号誤差の閾値を示す図であり、図５Ａは原画像の色信号が求めた色領域外に存在する場合のクリッピング処理を示し、図５Ｂは原画像の色信号から求めた色信号の誤差の閾値を示す。
【図６】ＸＹＺ及びＲＧＢ空間における出力領域を示す図であり、図６ＡはＸＹＺ空間、図６ＢはＲＧＢ空間である。
【図７】輝度差の許容範囲の推定を示す図である。
【図８】輝度の変換の概念図である。
【図９】コントラストの変換に対するパラメータεの効果を示す図である。
【図１０】プロジェクタの応答関数を示す図である。
【図１１】光学的補正の結果を示した図である。
【図１２】他の光学的補正の結果を示した図であり、１２２，１２４は観測画像（補正無し）、１２３，１２５は観測画像（補正あり）を示している。
【符号の説明】
【０１１４】
１・・・プロジェクタ、２・・・投影、３・・・キャリブレーション面、４・・・測光計による投影面の輝度計測、５・・コンピュータ、６・・・入力ＲＧＢ、７・・・応答関数とその逆関数を求める、１１・・・投影面、１２・・・カメラＲＧＢ（観測画像）、１３・・・入力ＲＧＢ（ｉ）、１４・・・応答関数により＃ｉを求める、１５・・・カメラＲＧＢ値をＸＹＺ値へ変換、１６・・・プロジェクタ入力と観測画像の関係を求める
【技術分野】
【０００１】
本発明は、例えば、投影面に画像を投影するプロジェクタに適用して好適な投影画像補正システム及び補正情報生成プログラムに関する。
【背景技術】
【０００２】
従来、プロジェクタを利用する際には照明を落とした部屋に設置した専用スクリーンが用いられることがほとんどであった。しかしながら、プロジェクタの小型化、低価格化、高輝度変化などが進んだ結果、オフィスや居間の壁など、暗室内の専用スクリーンのように必ずしも理想的な特性を持つとは言えない場所への画像投影を実現する技術に注目が集まっている（非特許文献１、７参照）。
【０００３】
このような場合、投影される面（投影面）が専用スクリーンのような均一かつ高い反射率を持つことは稀であり、また、環境光の色や明るさなどの影響もあり、投影されるべき元の画像と投影された結果の画像とが大きくずれてしまうという問題が生じる。
【０００４】
このような問題に対して、プロジェクタへの入力（入力画像）とカメラを用いて観測される投影面上の出力（観測画像）との関係を予め求めておき、その関係に基づいて入力画像を補正してズレを軽減するような手法が提案されている（非特許文献４、３参照）。非特許文献４、３では、観測画像のＲ，Ｇ，Ｂ値は、入力画像のＲ，Ｇ，Ｂ値を線形変換したものに環境光成分を足し合わせたものとして表現されている。
【０００５】
そして、この関係をもとに、投影したい画像（以下、原画像）のＲ，Ｇ，Ｂ値と観測画像のＲ，Ｇ，Ｂ値が一致するように、プロジェクタへの入力画像を補正するという処理が用いられている。これにより、投影面の反射率のバラツキが比較的小さく、環境光の影響も少ない場合には良好な結果が得られることが示されている。
【０００６】
しかしながら、基本的にこれらの手法では、原画像の内容を考慮することなしに、プロジェクタへの入力画像の色と明るさの範囲を投影面上で観測可能な色や輝度の範囲に対応付けるという考え方に基づいている。ここで、明るさの範囲とは、例えば合計２４ビットのＲ，Ｇ，Ｂ画像であれば、Ｒ，Ｇ，Ｂに８ビットずつが割り当てられるので、各バンド（Ｒ，Ｇ，Ｂ）で０〜２５５の２５６階調となる。
【０００７】
そのため、投影面の一部の反射率が大きく異なる場合や環境光の影響が大きい場合には、その影響を避けることは観測画像の明るさや色の範囲を必要以上に制限することとなる。その結果、観測画像のコントラストが非常に低くなってしまうという欠点があった。
【０００８】
例えば、投影面上の一部が低い反射率を持つとすると、この部分では観測画像を明るくすることができない。そして、観測画像の一部だけが暗くなってしまうのを避けるためには、画像全体の明るさを制限しなければならない。しかし、この場合には、高い反射率を持つ部分では明るい画像を実現することが可能であるにもかかわらず、観測画像全体を必要以上に暗くし、コントラストを下げなければならない。
【０００９】
これに対して、本発明では、不均一な反射率を持つ投影面や環境光の影響のみならず、原画像の内容も考慮した上で、良好な画質が得られるような補正を実現する手法を提案する。非特許文献４、３による補正では、原画像の内容が考慮されなかったのに対し、本発明では、原画像の内容に基づいて補正の仕方を調整するコンテント依存型の補正となっている点が大きく異なる。
【００１０】
また、本発明では、人間の視覚特性に基づき、入力画像を補正する際に、観測者にとって違和感を生じないズレを積極的に認めることにより、投影される画像のコントラストを可能な限り拡大することができる点が大きな特長となっている。
【００１１】
これにより、本発明では、先に述べたように投影面の一部の反射率が低いような場合においても、その部分に投影する画像の明るさがもともと低いのであれば、画像全体を必要以上に暗くしてしまうことなく、良好なコントラストを持った観測画像を投影面上に映し出すことができる。
【００１２】
これまでにも、プロジェクタの光学補正に人間の視覚特性を考慮するという試みが、非特許文献６と１０によってほぼ同時に報告されている。しかしながら、非特許文献６に記載の手法は、タイル型に組み合わせた背面投影型のプロジェクタシステムのムラの低減を目的としたものであり、この手法では、原画像の内容は考慮されておらず、かつ、視覚特性に関するモデルとしても非常に簡略化されたもののみが利用されている。
【００１３】
また、非特許文献１０に記載の手法では、原画像の内容と人間の視覚特性を考慮して計算された閾値マップ（非特許文献８参照）に基づき、観測者にとって知覚されにくい誤差を積極的に用いて画像のコントラストを上げるというアルゴリズムが提案された。
【００１４】
しかしながら、この手法は、カラー画像ではなく白黒濃淡画像のみを扱うことができ、環境光は存在しないという仮定にもとづいていた。また、画像の補正に関しても、提案手法のように画像の各部分毎に補正の仕方を変えるのではなく、画像全体の明るさを等しく調整するという比較的簡単な処理のみが用いられていた。
【００１５】
また、カラー画像を投射するプロジェクタにおいて、壁等の投射面に色がある場合、正しい色再現するために、本来の投射面に投射する原色の混合量を、投射面の色情報を含めて原画像の色と同等の色を再現するような原色の混合量に変換することにより、色再現を行うプロジェクタの投射面色補正方法が提案されている（特許文献１参照）。
【００１６】
また、投影されている画像を見易くし、かつ簡易で安価な構成で投影するためのプロジェクタとして、投影面における光量または色の少なくとも一方を制御するプロジェクタが提案されている（特許文献２参照）。
【００１７】
このプロジェクタにおいては、撮像装置で検出される光量情報または色情報の少なくとも一方が入力され、この入力情報に基づいて、光源から射出される投影光の光量または色の少なくとも一方が調整される。すなわち、入力された光量情報または色情報の少なくとも一方に基づいて、投影光の光量または色の少なくとも一方が、投影面における光量または色の少なくとも一方に対応するように制御されるのである。
【００１８】
なお、非特許文献２，５，９，１１は、本願発明に最も近い先行技術文献ではないが、本願発明の構成要件の一部に関連する技術文献であり、関連文献で引用している。
【特許文献１】特開２００３−３３３６１１号公報
【特許文献２】特開２００４−１２８５７５号公報
【非特許文献１】Oliver Bimber, Andreas Emmerling,andThomas Klemmer: Embedded Entertainment with Smart Projectors,IEEE computer, 38(1),pp.48-55, 2005.
【非特許文献２】Peter J.Burt and Edward H.Adelson: The LaplacianPyramid as a Compact Image Code.IEEE Transactions on Communications, 31(4), pp.532-540, 1983.
【非特許文献３】Kensaku Fujii,Michasel D.Grossberg,and Shree K.Nayar.: A projector-camera System with Real-Time Photometric Adaptation for Dynamic Environments. Proceedings of CVPR2005, pp. 814-821, 2005.
【非特許文献４】Michasel D.Grossberg,Harish Peri,Shree K.Nayar,and Peter N.Belhumeur: Makig One Object Look Like Another:ControllingAppearance Using a Projector-Camera System, Proceedings of CVPR2004, pp. 452-459, 2004.
【非特許文献５】Adrian line and Greg Welch: Ensuring Color Consistancy across Multiple cameras. Proceedings of CVPR2005, pp. 1268-1275, 2005.
【非特許文献６】Adati Majumder and Rick Stevens: Perceptual Photometric Seamlessness in Projection-Based Titled Diplays. ACM Transactions on Graphics, 24(1), pp.118-139, 2005.
【非特許文献７】Claudio Pinhanez.: The Everywhere Displays Projector:A Device to Create Ubiquitous Graphical Interfaces. Proceedings of Ubiquitous Computing (UbiComp) 2001, pp. 315-331, 2001.
【非特許文献８】Mahesh Ramasubramanian,Sumanta N.Pattaniak,and Donald P.Greenberg.: A Perceptually Based Physical Error Metric for Realistic Images Synthesis. Proceedings of ACM SIGGRAPH99, pp.73-82, 1999.
【非特許文献９】Maureen C.Stone: Color and Brightness Appeasrance Issues in Tiles Displays. IEEE computer Graphics & Applications, 21(5), pp.58-66, 2001.
【非特許文献１０】Dong Wang,Imari Sato,TakahiroOkabe,and Yoichi Sato: Radiomentric Compensation in a Projector-Camera System Based on the Properties of Human Vision System. Proceedings of IEEE International Workshop on Projector-Camera System2005, 2005.
【非特許文献１１】W.D.Wright: The Sensitivity of the Eye to Small Colour Differences. Proceedings of the Physical Society, 53(2), pp.93-112, 1941.
【発明の開示】
【発明が解決しようとする課題】
【００１９】
これら特許文献１、２に記載の技術は、プロジェクタの投影面であるスクリーン全体の色に画像の背景色を合わせることにより、スクリーンの黄ばみ補正やピントボケの補正を行うのみである。従って、特許文献１、２に記載の技術では、投影面がカーテンや壁などの場合において、カーテンや壁に地模様や地色が含まれている場合には、対応することができないという不都合があった。
【００２０】
実世界内のさまざまな場所にプロジェクタで画像を投影するとき、不均一な反射特性を持つ被投影面や環境光などの影響により、正しい色で表示可能な画像のコントラストが制限されてしまうという問題がある。
【００２１】
これに対して、本発明では、観測者に知覚されにくいような色成分と輝度成分の変動を積極的に利用して、よりコントラストの高い画像を表示することを可能にする手法を提案する。
【課題を解決するための手段】
【００２２】
本発明では、画素毎に、原画像の色成分が厳密に表示されうる輝度の範囲を求めた後、人間の視覚特性に関するモデルに基づいて、色成分と輝度成分が許容しうる誤差を計算するようにしている。
【００２３】
本発明者は、上述したような各画素の輝度範囲、及び色成分と輝度成分の許容誤差を考慮し、かつ、原画像から観測画像への変換が隣接画素間で過度に変化しないようにして、さまざまな被投影面を用いた実験を行った。
【００２４】
本発明は、投影面に画像を投影するプロジェクタで投影すべき画像を補正する投影画像補正システムにおいて、プロジェクタの入力に対する投影面の輝度の応答に基づいてプロジェクタへの入力と投影面の輝度の応答との光学的な調整を行う調整手段と、プロジェクタの入力である原画像を輝度信号及び色信号で表される色空間へ色変換をする色変換手段と、この色信号に対して、人間の視覚特性に基づいて観測者が知覚できない許容範囲まで色信号の色と輝度信号の輝度の範囲を拡張させて補正処理を行い、上記補正処理により得られる補正画像を上記プロジェクタの入力とする補正手段と、を備えたことを特徴としている。
【００２５】
本発明の好ましい形態として、上記調整手段は、上記プロジェクタの入力に対するキャリブレーション面における輝度の応答で表される応答関数及び逆関数をプロジェクタ毎に求める第１の演算部と、上記プロジェクタの入力に上記応答関数の逆関数をかけた画素により構成されるプロジェクタ入力画像と、カラーカメラを用いて撮像された上記投影面の観測画像との関係を上記プロジェクタの応答関数、上記投影面の特性、上記投影面での環境光のそれぞれに対応して求める第２の演算部と、を備えている。
【００２６】
また、更なる本発明の好ましい形態として、上記補正手段は、カラーカメラを用いて撮像された投影面の観測画像の各画素において、原画像の色信号を満たす物理的な輝度の範囲を設定する物理的輝度範囲設定部と、色信号に対する誤差の許容範囲を示す色閾値に基づき輝度範囲を仮想的に広げる色閾値輝度範囲拡張部と、輝度信号の輝度に対応する誤差の許容範囲を示す輝度閾値に基づき上記色閾値に基づいて拡張された輝度範囲をさらに広げる輝度閾値輝度範囲拡張部と、を備えている。
【００２７】
また、上記補正手段は、輝度信号の輝度を輝度閾値に基づき拡張された輝度範囲に収まるように写像する輝度写像部と、上記輝度閾値に基づき拡張された輝度範囲に収められた変換後の輝度信号と色信号からプロジェクタの入力画像となる補正画像を生成する補正画像生成部とを備えている。
【００２８】
ここで、上記補正画像生成部は、上記色信号と上記変換後の輝度信号とから、上記投影面の観測画像の各画素の値を求める観測画像画素値演算部と、上記プロジェクタ入力画像と上記投影面の観測画像との関係と上記プロジェクタの応答関数にもとづき、上記投影面の観測画像の各画素の値から、上記プロジェクタ入力画像を求めるプロジェクタ入力画像演算部と、を備えている。
【００２９】
また、本発明の投影画像補正方法は、プロジェクタの入力に対する投影面の輝度の応答に基づいて、プロジェクタへの入力と投影面の輝度の応答との光学的な調整を行う調整ステップと、プロジェクタの入力である原画像を輝度信号及び色信号で表される色空間へ色変換をする色変換ステップと、この色信号に対して、人間の視覚特性に基づいて観測者が知覚できない許容範囲まで色信号の色と輝度信号の輝度の範囲を拡張させて補正処理を行い、上記補正処理により得られる補正画像を上記プロジェクタの入力とする補正ステップと、を含むことを特徴としている。
【００３０】
この投影画像補正方法の好ましい形態として、上記調整ステップは、上記プロジェクタの入力に対するキャリブレーション面における輝度の応答で表される応答関数及び逆関数をプロジェクタ毎に求める第１の演算ステップと、上記プロジェクタの入力に上記応答関数の逆関数をかけた画素により構成されるプロジェクタ入力画像と、カラーカメラを用いて撮像された上記投影面の観測画像との関係を上記プロジェクタの応答関数、上記投影面の特性、上記投影面での環境光のそれぞれに対応して求める第２の演算ステップと、を含んでいる。
【００３１】
また、本発明の投影画像補正方法の更なる好ましい形態においては、上記補正ステップは、カラーカメラを用いて撮像された投影面の観測画像の各画素において、原画像の色信号を満たす物理的な輝度の範囲を設定する物理的輝度範囲設定ステップと、上記色信号に対する誤差の許容範囲を示す色閾値に基づき輝度範囲を仮想的に広げる色閾値輝度範囲拡張ステップと、輝度信号の輝度に対応する誤差の許容範囲を示す輝度閾値に基づき上記色閾値に基づいて拡張された輝度範囲をさらに広げる輝度閾値輝度範囲拡張ステップと、を含んでいる。
【００３２】
また、上記補正ステップは、輝度信号の輝度を輝度閾値に基づき拡張された輝度範囲に収まるように写像する輝度写像ステップと、輝度閾値に基づき拡張された輝度範囲に収められた変換後の輝度信号と色信号からプロジェクタの入力画像となる補正画像を生成する補正画像生成ステップとを含んでいる。
【００３３】
ここで、上記補正画像生成ステップは、上記色信号と上記変換後の輝度信号とから、上記投影面の観測画像の各画素の値を求める観測画像画素値演算ステップと、上記プロジェクタ入力画像と上記投影面の観測画像との関係と上記プロジェクタの応答関数にもとづき、上記投影面の観測画像の各画素の値から、上記プロジェクタ入力画像を求めるプロジェクタ入力画像演算ステップと、を含んでいる。
【００３４】
また、本発明は、投影面に画像を投影するプロジェクタで投影すべき画像を補正する処理を実行するためにコンピュータに設けられた投影画像補正プログラムであって、このコンピュータに対して、プロジェクタの入力に対する投影面の輝度の応答に基づいてプロジェクタへの入力と投影面の輝度の応答との光学的な調整を行う調整機能と、プロジェクタの入力である原画像を輝度信号及び色信号で表される色空間へ色変換をする色変換機能と、この色信号に対して、人間の視覚特性に基づいて観測者が知覚できない許容範囲まで色信号の色と輝度信号の輝度の範囲を拡張させて補正処理を行い、上記補正処理により得られる補正画像を上記プロジェクタの入力とする補正機能と、を実現させることを特徴としている。
【００３５】
本発明の投影画像補正プログラムの好ましい形態としては、上記調整機能は、上記プロジェクタの入力に対するキャリブレーション面における輝度の応答で表される応答関数及び逆関数をプロジェクタ毎に求める第１の演算機能と、上記プロジェクタの入力に上記応答関数の逆関数をかけた画素により構成されるプロジェクタ入力画像と、カラーカメラを用いて撮像された上記投影面の観測画像との関係を上記プロジェクタの応答関数、上記投影面の特性、上記投影面での環境光のそれぞれに対応して求める第２の演算機能と、を含んでいる。
【００３６】
また、本発明の投影画像補正プログラムで実現する上記補正機能は、カラーカメラを用いて撮像された投影面の観測画像の各画素において、原画像の色信号を満たす物理的な輝度の範囲を設定する物理的輝度範囲設定機能と、色信号に対する誤差の許容範囲を示す色閾値に基づき投影面の観測画像の各画素について、輝度範囲を仮想的に広げる色閾値輝度範囲拡張機能と、輝度信号の輝度に対応する誤差の許容範囲を示す輝度閾値に基づき上記色閾値に基づいて拡張された輝度範囲をさらに広げる輝度閾値輝度範囲拡張機能と、を含んでいる。
【００３７】
また、上記補正機能は、原画像の輝度信号の輝度を輝度閾値に基づき拡張された投影面の観測画像の輝度範囲に収まるように写像する輝度写像機能と、輝度閾値に基づき拡張された輝度範囲に収められた変換後の輝度信号と色信号からプロジェクタの入力画像となる補正画像を生成する補正画像生成機能とを含んでいる。
【００３８】
ここで、上記補正画像生成機能は、上記色信号と上記変換後の輝度信号とから、上記投影面の観測画像の各画素の値を求める観測画像画素値演算機能と、上記プロジェクタ入力画像と上記投影面の観測画像との関係と上記プロジェクタの応答関数にもとづき、上記投影面の観測画像の各画素の値から、上記プロジェクタ入力画像を求めるプロジェクタ入力画像演算機能と、を含んでいる。
【発明の効果】
【００３９】
本発明により、投影面の反射特性の不均一性，環境光の影響を軽減し、観測者に知覚されにくいような色成分と輝度成分の変動を積極的に利用することで、よりコントラストの高い画像を投影面に表示することができる。
【発明を実施するための最良の形態】
【００４０】
本発明の実施形態を、適宜図面を参照しながら説明する。
［提案するプロジェクタカメラシステム］
本発明の実施形態では、人間の視覚特性に基づき、投影面の模様などの反射特性の不均一性、室内の蛍光灯などの環境光の影響、あるいはプロジェクタ出力の不均一性を補正して、知覚的に原画像に近い観測画像を投影面に実現することを目指している。
【００４１】
また、本発明の実施形態では、静的な環境を想定し（環境光は一定）、投影面は完全拡散面であり、視覚方向による見え方の変化はないと仮定している。また、投影面から観測者への距離は既知とする。本発明の実施形態で使用するプロジェクタは、赤、緑、青の３原色で構成され、その出力は各画素独立で投影面において加色混合されると考える。
【００４２】
ここで、プロジェクタを用いて、任意の面上に所望の色と明るさで入力画像を歪なく投影するためには、光学的補正だけではなく幾何学的補正が必要となる。カメラプロジェクタシステムの幾何キャリブレーションに関する研究はこれまで多く報告されているため、本発明の実施形態では投影面として平面のみを対象としている。したがって、特別な幾何学補正は考慮していない。以下では、入力画像と投影面においてカメラで観察される観測画像との関係式を導き、提案する光学補正手法を説明する。
【００４３】
図１に示すように、本発明の実施形態による投影画像補正システムは、投影面３に画像を投影するプロジェクタ１と、プロジェクタ１で投影すべき画像を補正するコンピュータ５とを有して構成される。
【００４４】
［キャリブレーション］
まず、補正処理の前提となるプロジェクタのキャリブレーションについて説明する。
プロジェクタのキャリブレーションは、使用するプロジェクタが変わる毎に行う処理である。
図１は、第１のキャリブレーション処理を示す図であり、コンピュータ５がプロジェクタ１の応答関数とその逆関数を求める様子を示している。
【００４５】
プロジェクタ１のキャリブレーションには、幾何学的側面と光学的側面がある。幾何学的キャリブレーションについては、投影面であるキャリブレーション面（白いスクリーン）３が平面であると仮定して、プロジェクタ１からの投影２による画像平面とキャリブレーション面３に投影された画像平面との幾何的な変換を示すホモグラフィーを求めることにより行っている。以後、プロジェクタ１の画像平面と投影面（図２に番号１２で示すカメラの画像平面）の対応は既知として説明を進める。
【００４６】
光学的キャリブレーションには、図１に示す輝度の応答関数の推定と、図２に示す色空間の変換式の推定という二つの調整がある。プロジェクタ１の輝度の応答関数については、空間的に一様であることが知られている（非特許文献６参照）。そこで、コンピュータ５がプロジェクタ１への入力ＲＧＢ１３（ｉ）を変化させたときに、キャリブレーション面３上の一点の輝度を、４で示すように測光計で計測する。
【００４７】
これにより、コンピュータ５は、プロジェクタ１への入力ＲＧＢ６に対するキャリブレーション面３上の輝度の応答関数及び逆関数を演算により得る（図１（７）参照）。なお、入力ＲＧＢ６は、０〜１の範囲に正規化されていて、測光計による投影面で計測される輝度（図１の（４）参照）も、０〜１の範囲に正規化されている。この応答関数は図１０に示すような特性を有するものである。
【００４８】
［画像と投影面で観察される明るさの関係］
図２は、第２のキャリブレーション処理を示す図であり、コンピュータ５が投影画像と観測画像との明るさの関係を求める様子を示すものである。第２のキャリブレーション処理は、プロジェクタ、カメラ、環境光、投影面が変化する毎に行う処理である。
【００４９】
コンピュータ５がプロジェクタ１への入力ＲＧＢ値１３（ｉ）を変化させたときに、投影面１１の観測画像（ＲＧＢ値）を番号１２で示すようにカメラにより撮像した観測画像に対して、コンピュータ５が以下の色変換をする。
【００５０】
このとき、１７で示すように、予めカラーチャートを投影面１１として利用して、プロジェクタ１から白色を投影した際の輝度を測光計を用いて計測し（図１の（４）参照）、同時に番号１２で示すカメラにより観測画像（ＲＧＢ値）を撮像することによって、コンピュータ５が観測画像の色変換（ＲＧＢからＸＹＺ）を求めている。なお、一度、コンピュータ５が上述した色変換を求めてしまえば、カメラが変わらない限り測光計は利用する必要はない。
【００５１】
本発明の実施形態では、入力画像をデバイス依存のＲ，Ｇ，Ｂ値からＹｘｙ値（Ｙは輝度値、ｘｙは色信号（クロミナンス：ある色と同輝度の参照色との差異））に変換した後に後述する光学補正を行っていく。一般に、プロジェクタ１の出力は入力に対して線形な値を示さないため、コンピュータ５は、図１に示すようにプロジェクタ１の入出力を示す応答関数を投影面の輝度計測に基づき求めておき、入力Ｒ，Ｇ，Ｂ値１３（ｉ）に応答関数の逆関数をかけた後のＲ，Ｇ，Ｂ値（以下、＃ｉとする。）をプロジェクタ１への入力とする（図２（１４）参照）。
【００５２】
このとき、コンピュータ５は、先に求めた色変換を用いて（図２（１７）参照）、カメラＲＧＢ値を投影面において観察されるＸＹＺ値（ＸＹＺ色空間で定義される色）へ変換する。変換されたＸＹＺ値はカメラで観察される明るさｃに対応する（図２の（１５）参照）。
【００５３】
これにより、コンピュータ５は、プロジェクタ１への入力であるＲ，Ｇ，Ｂ値＃ｉと、変換されたＸＹＺ値であるカメラで観察される画像の明るさｃとから、プロジェクタ入力と観測画像との関係を演算により求める。そして、さらに、コンピュータ５は、プロジェクタ入力Ｒ，Ｇ，Ｂ値＃ｉを観測画像に変換するための色変換行列Ｍと環境光ｔを周知の技術を用いて推定する（図２の（１６）参照）。
【００５４】
非特許文献９では、３×３の変換行列を用いて、プロジェクタ入力となるＲ，Ｇ，Ｂ値と投影面において観察されるＸＹＺ値（ＸＹＺ色空間で定義される色）との関係を定義している。また、非特許文献４では、同様の変換を用いて、入力画像の画素と投影面をカメラを用いて撮影した観測画像の画素との関係を導いている。ここで、環境光ｔの影響は、オフセットとして表現することができるため、プロジェクタ入力であるＲ，Ｇ，Ｂ値＃ｉとカメラにより観察される画像の明るさであるｃの関係は、数１式のように求められる。
【００５５】
【数１】
この式において、ｃは投影面１１の対応する画素のＸＹＺ値、Ｍは３×３の色変換行列、ｔは環境光の影響を示している。
【００５６】
本発明の実施形態では、予め準備された画像パターンをプロジェクタ１を用いて投影面１１に投影し、その明るさをカメラで観察することにより、変換行列Ｍの９つの要素とｔの３つの要素の併せて１２の要素を求めている。さらにカメラにより観察される画像の明るさであるｃに対応するＹｘｙ値は、標準的な色変換を用いて求めることができる。Ｙｘｙ空間におけるＹはＸＹＺ値のＹに対応し、ｘｙはｘ＝Ｘ／（Ｘ＋Ｙ＋Ｚ）、ｙ＝Ｙ／（Ｘ＋Ｙ＋Ｚ）のように求められる。また、その逆変換は、Ｘ＝ｘ Ｙ／ｙ、Ｙ ＝Ｙ 、Ｚ＝（１−ｘ−ｙ）Ｙ／ｙとなる。
【００５７】
数式１で記述される色空間の変換は、投影面１１のテクスチャや環境光の影響を受けるため、投影面１１の各点で定義される。そのため、プロジェクタ１へ入力した色（ＲＧＢ）とカメラで計測したときに得られる色（ＸＹＺ）の関係から、色空間の変換式を求めた。具体的には、変換式が１２個のパラメータを含むこと、及び、１回の計測で３つの拘束が得られることから、４よりも十分に多い回数の計測を行って、最小二乗法によりパラメータを推定した。
【００５８】
なお、カメラの色信号のキャリブレーション（ＲＧＢ色空間からＸＹＺ色空間）には、測光計を利用した。また、カラーチャートの色をカメラと測光計の両方で計測して、ＲＧＢからＸＹＺの二次の写像を求めた（非特許文献５参照）。
【００５９】
［光学補正の手順］
図３は、補正処理を示す図である。補正処理は、入力画像毎に行う処理である。
提案手法では、原画像が入力されると（ステップＳ１）、コンピュータ５は、原画像をＹｘｙ値に変換し（ステップＳ２）、以下の手順に基づき光学補正を行っていく。以下、色空間に変換された原画像を輝度Ｙ、色信号ｅ＝（ｅｘ，ｅｙ）ｔと表現する。ここで、コンピュータ５は、プロジェクタ投影により投影面において実現可能な最大輝度と最小輝度の平均を求め、この範囲内に原画像が収まるようにスケール調整を行うことで原画像の輝度Ｙを物理量で表現している。
【００６０】
まず、コンピュータ５は、第１の機能として、物理的な輝度範囲の設定を行う（ステップＳ１１）。具体的には、コンピュータ５は、観測画像の各画素において、原画像の色信号ｅを満たす輝度の範囲［Ｌ、Ｈ］を求める（図４参照）。図４において、原画像４１に対して、４２は最小輝度Ｌの画像、４３は最大輝度Ｈの画像を示す。
【００６１】
次に、コンピュータ５は、第２の機能として、色閾値による輝度範囲の拡張を行う（ステップＳ１２）。具体的には、コンピュータ５は、色信号ｅに対する誤差の許容範囲（色閾値）に基づき、輝度範囲を［Ｌ、Ｈ］ から［Ｌ`、Ｈ`］へ仮想的に広げる。
【００６２】
さらに、コンピュータ５は、第３の機能として、輝度閾値による輝度範囲の拡張を行う（ステップＳ１３）。具体的には、コンピュータ５は、輝度に対する誤差の許容範囲（輝度閾値）に基づき、上記で求めた輝度範囲［Ｌ`、Ｈ`］をさらに仮想的に広げる。色閾値及び輝度閾値により拡張された輝度範囲を［Ｌ``、Ｈ``］とする。ステップＳ１１〜ステップＳ１３までの処理は、画素単位で行われる処理である。
【００６３】
そして、コンピュータ５は、第４の機能として、輝度変換（輝度写像）を行う（ステップＳ３）。具体的には、コンピュータ５は、ステップＳ２で得られた原画像の輝度Ｙを、ステップＳ１３で求めた拡張輝度範囲 ［Ｌ``、Ｈ``］に収めるように調整する。この際、コンピュータ５は、観測者にとって違和感が生じない程度に空間的に非一様な非線形写像を認めることにより、原画像のコントラストを保ちつつ限られた輝度範囲に収めていく。
【００６４】
さらに、コンピュータ５は、第５の機能として、投影すべき補正画像の生成を行う（ステップＳ４）。具体的には、コンピュータ５は、ステップＳ３で写像された輝度Ｙ’と色信号ｅに基づき，観測画像のＸＹＺ値（数式１のｃ）を求め、式１の逆変換により光学補正を施した入力画像（補正画像）を求める。
【００６５】
ステップＳ４の補正画像の生成処理は、以下の手順により実行される。第１の手順として、コンピュータ５は、色信号ｅとステップＳ３で写像された輝度Ｙ｀から、カメラで観察される明るさｃ（ＸＹＺ値）を求める（ステップＳ２１）。第２の手順として、コンピュータ５は、数式１に、カメラで観察される明るさｃ（ＸＹＺ値）、色変換マトリックスＭ、環境光ｔを代入してプロジェクタ入力であるＲ，Ｇ，Ｂ値＃ｉを求める（ステップＳ２２）。第３の手順として、コンピュータ５は、プロジェクタの応答関数の逆関数によりプロジェクタ入力であるＲ，Ｇ，Ｂ値＃ｉからプロジェクタ１に入力すべきＲ，Ｇ，Ｂ値（ｉ）を求める（ステップＳ２３）。
【００６６】
最後に、プロジェクタ１にステップＳ４で生成された補正画像入力を行うことにより、投影面１１に補正画像の投影２が行われるようになる。
以下、特徴となる各手順を詳しく説明する。
【００６７】
［人間の視覚特性に基づく輝度範囲の拡張］
［物理的な輝度範囲の設定］
この説明は、図３のステップＳ１１に対応するものである。
実空間内のさまざまな場所にプロジェクタで画像を投影する場合、投影面の不均一な反射特性や環境光の影響により、プロジェクタ投影による投影面で観察可能な色信号の領域（色領域）も限られてしまう。ここで、コンピュータ５は、観測画像の各画素に対して色領域を求める。そして、原画像の色信号が求めた色領域外となる場合には、色領域へのクリッピング処理を行い、色信号ｅを満たす輝度の範囲を求めていく。
【００６８】
図５は、色信号のクリッピング及び色信号誤差の閾値を示す図であり、図５Ａは原画像の色信号が求めた色領域外に存在する場合のクリッピング処理を示し、図５Ｂは原画像の色信号から求めた色信号の誤差の閾値を示す。
【００６９】
数式１及びＸＹＺからＹｘｙへの色変換により、あるＲＧＢ値である＃ｉが入力として与えられれば、コンピュータ５は、対応するＸＹＺ値とＹｘｙ値を求めることができる。そこで、コンピュータ５は、彩度が最大となる入力ＲＧＢ値、＃ｉ＝（１，０，０）ｔ，（０，１，０）ｔ、（０，０，１）ｔそれぞれに対して（（）ｔは行列を示す）、対応するＹｘｙ値を求めることにより、ｘｙ空間において色領域を定義する３頂点（ｒ，ｇ，ｂ）が求められる（図５Ａ）。同様な手順により、コンピュータ５は、輝度が最小又は最大となる入力ＲＧＢ値、＃ｉ＝（０，０，０）ｔ，（１，１，１）ｔに対応する色信号（ｌ，ｈ）も求めておく。
【００７０】
ここで、コンピュータ５は、原画像の色信号ｅ＝（ｅｘ，ｅｙ）ｔが求めた色領域内に存在する場合はｅを用いて、色領域外となる場合には色領域を形成する３辺のうちｅからの距離が最小の点をｅとして、この色信号を満たす輝度の範囲を求めていく（図５Ａ）。
【００７１】
［色信号ｅ に対する最大輝度［Ｌ、Ｈ］の算出］
色信号ｅは、ＸＹＺ色空間ではベクトルｄ＝（ｅｘ，ｅｙ，１−ｅｘ−ｅｙ）ｔに対応する。すなわち、このベクトル上の点ｓｄ（ｓはベクトルｄのスケールを表し０以上の値をとる）は、全て同じ色信号ｅを持つことになる。数式１より以下の数２式を得る。
【００７２】
【数２】
ここで、＃ｄ＝Ｍ−１ｄ、＃ｔ＝Ｍ−１ｔとすると、以下の数３式となる。
【００７３】
【数３】
【００７４】
図６は、ＸＹＺ及びＲＧＢ空間における出力領域を示す図であり、図６ＡはＸＹＺ空間、図６ＢはＲＧＢ空間である。
以下では、ＲＧＢ色空間での説明を通して、最大、最小輝度に対応するベクトル＃ｄのスケール（ＳＬ、ＳＨ）を求めていく。ＲＧＢ色空間において、全ての＃ｉを含む領域は単位立方体を形成し、色信号ｅに対応し最小輝度を持つ点は、＃ｉＲ＝０、＃ｉＧ＝０、＃ｉＢ＝０、の面とベクトル＃ｄとの交点となることが分かる（図６Ｂ）。この交点に対応するスケールＳは、ＳＲ＝＃ｉＲ／＃ｄＲ、ＳＧ＝＃ｉＧ／＃ｄＧ、ＳＢ＝＃ｉＢ／＃ｄＢのように求められる。これらの点のうち、−＃ｔからの距離が最も遠い点が色信号ｅを満たしかつ最小輝度に対応する値へのスケールを示す。すなわち、以下の数４式となる。
【００７５】
【数４】
同様に、ベクトル上の点であり、最大輝度を持つ点のスケールは以下の数５式により求められる。
【００７６】
【数５】
従って、ｄＬ＝ＳＬｄ、ｄＨ＝ＳＨｄの２点を求め、それぞれに対応する輝度Ｌ及びＨを求めることができる。
【００７７】
［色信号における誤差の考慮］
この説明は、図３のステップＳ１２に対応するものである。
人間の視覚特性に基づき、色信号に対する誤差の許容範囲（色閾値）を考慮することにより、輝度範囲［Ｌ、Ｈ］を仮想的に広げていく。まず、図５Ｂに示すように、ｘｙ色空間において、色信号ｌ（最大輝度を導く色信号）と色信号ｈ（最小輝度を導く色信号）の方向に、色信号ｅから色閾値距離分離れた点（ｅＬ｀，ｅＨ｀）を求める。
【００７８】
言い換えれば、色信号ｅからの距離が閾値距離にあるｅＬ｀，ｅＨ｀と色信号ｅとの色信号差をユーザは知覚することができない。上述した色信号ｅに対する最大輝度［Ｌ、Ｈ］の算出に基づいて、ｅＬ｀を満たす最低輝度Ｌ`と、ｅＨ｀を満たす最大輝度Ｈ`を求めることができる。
【００７９】
ここで、ｅＬ｀，ｅＨ｀は、それぞれ色信号ｌ、色信号ｈに色信号ｅより近づいているため、その輝度範囲［Ｌ`、Ｈ`］は輝度範囲［Ｌ、Ｈ］よりも広くなる。本実施の形態では、周知の知覚可能な色誤差のデータに基づいた色閾値の決定を行っている（非特許文献１１参照）。
【００８０】
［輝度における誤差の考慮］
この説明は、図３のステップＳ１３に対応するものである。
図７は、輝度差の許容範囲の推定を示す図である。
輝度における誤差の許容範囲を考慮することにより、上記で求めた［Ｌ`、Ｈ`］の輝度範囲をさらに広げていく。本実施の形態では、周知の輝度閾値（非特許文献８参照）に基づき、人間が知覚しない輝度差の閾値Ｔを求めている。この輝度閾値は、以下の３要素により構成される。ＴＶＩ（Threshold-versus-intensity function）７２は、原画像７１に対して、人間が知覚する最小輝度差を示し、対象点を中心として視野１度内の周辺領域の平均輝度により決定される。対象点が８０ｃｄ／ｍ２以上の輝度を持つ場合、誤差の閾値は輝度に比例することが知られている。本実施の形態では、室内などの一般的な環境光下における光学補正を考えているため、この場合に相当するとしてＴＶＩ７２を求めている。
【００８１】
ＣＳＦ（Contrast sensitivity function）７３は、画像の各領域における空間周波数に基づき求められる誤差の許容範囲を示すものである。空間周波数の高い領域は許容範囲も高く認められるなど、周波数の各レベルに対応した許容誤差が定義される。具体的な計算手順では、各周波数バンドに対応するコントラスト値を周知のコントラストピラミッド手法（非特許文献２参照）に基づき求め、その値の重み付け和によりＣＳＦ７３を求めている。
【００８２】
ビジュアルマスキング（Visual Masking）は、ＣＳＦ７３と関係して、各周波数レベル同士の打ち消し効果などを示すものである。
これらの３要素のうち、ビジュアルマスキングは計算コストが非常に高いため、本実施の形態では、ＴＶＩ７２とＣＳＦ７３の２つの値を掛け合わせた閾値ｒを求め、さらに相対的な輝度閾値Ｔ＝（Ｙ＋ｒ）／Ｙを求めている。ここで、Ｔは輝度Ｙに対して相対的な閾値（７４）を示し、Ｔ＝１．１は与えられた輝度Ｙに対して１０％の輝度誤差を人間が知覚することができないことを示す。
人間が知覚する輝度差は輝度の対数に比例することが知られているため、Ｔに基づき拡張された輝度範囲は、以下の数６式により求められる。
【００８３】
【数６】
【００８４】
［光学補正のための原画像の変換］
光学補正の実現のためにプロジェクタへの入力として用いる画像を、原画像に対して、補正画像と呼ぶことにする。ここでは、輝度の変換を中心に、原画像から補正画像への変換について述べる。
【００８５】
［輝度の変換］
この説明は、図３のステップＳ３に対応するものである。
図８は、輝度の変換の概念図である。
各画素について、原画像の輝度Ｙを、数式６で計算した輝度の範囲［Ｌ``、Ｈ``］に写像することで、補正画像を投影したときに観測される物理的な輝度Ｙ`を求める。これは、原画像の輝度を、空間的に非一様な非線形写像で変換することに対応している。
【００８６】
一般に、人間の知覚する明るさは物理的な明るさの対数に比例することから、Ｌｌｇ＝ＬｏｇＬ``、Ｈｌｇ＝ＬｏｇＨ``、及びＹｌｇ＝ＬｏｇＹとして、対数ドメインで説明する。なお、Ｙｌｇは、［０，１］に正規化されているものとする。ここで、原画像の輝度Ｙを、Ｙｌｇ`＝Ｙｌｇ（Ｙｌｇｈ−Ｙｌｇｌ）＋Ｙｌｇｌのようにして、画素毎に定義された下限Ｙｌｇｌと上限Ｙｌｇｈの間に線形に写像するものとする。つまり、輝度の変換の問題を、二つの境界である下限Ｙｌｇｌと上限Ｙｌｇｈを求める問題として定義する。
【００８７】
これらの境界は、補正画像を投影したときに観測される画像のコントラストをより高くすると同時に、以下の二つの拘束条件を満たさなくてはならない。
第１に、ダイナミックレンジによる拘束がある。輝度Ｙｌｇ`は、プロジェクタのダイナミックレンジ内に収まる必要がある。すなわち、Ｌｌｇ≦Ｙｌｇ（Ｙｌｇｈ−Ｙｌｇｌ）＋Ｙｌｇｌ≦Ｈｌｇを満たさなくてはならない。
【００８８】
第２に、境界の一様性による拘束がある。境界の輝度があたかも一様であるかのように知覚されるためには、二つの境界ＹｌｇｌとＹｌｇｈの勾配は、人間の視覚特性に基づいて決める閾値δよりも小さくなければならない。
【００８９】
後述する実験では、上記の要求を満たす二つの境界ＹｌｇｌとＹｌｇｈを、周知の反復法により決定した。具体的には、Ｙｌｇｌ＝０の初期値を与えた後、拘束条件を満たすように、二つの境界ＹｌｇｌとＹｌｇｈを交互に更新した。詳細な更新ルールについては、後で述べる。
【００９０】
なお、本発明者は、数回の更新で値が収束することを確認している。このようにして二つの境界ＹｌｇｌとＹｌｇｈが決まると、補正画像を投影したときに観測される輝度Ｙｌｇ`は、以下の数７式のように与えられる。
【００９１】
【数７】
【００９２】
［ダイナミックレンジによる拘束］
まず、第一の拘束条件について、Ｈ、Ｙ及び下限Ｙｌｇｌの初期値が与えられたときに、上限Ｙｌｇｈを更新することを考える。プロジェクタのダイナミックレンジによる拘束条件を満たすためには、例えば、Ｈｌｇ＝Ｙｌｇ（Ｙｌｇｈ−Ｙｌｇｌ）＋Ｙｌｇｌを満たすようにＹｌｇｈを決定することが考えられる。しかしながら、このような更新は、コントラストの低い原画像を、過度にコントラストの高い画像に変換してしまう可能性がある。そこで、原画像のコントラストを過度に高くしすぎないために、パラメータε（０＜ε≦１）を用いて、Ｙｌｇｈを以下の数８式のように更新する。
【００９３】
【数８】
同様にして、Ｙｌｇｌの更新ルールを、以下の数９式のように求める。
【００９４】
【数９】
【００９５】
図９に示すように、パラメータεが小さくなればなるほど、原画像のコントラストを反映した低コントラストの結果が得られることが分かる。次節の実験では、ε＝０．９とした。
【００９６】
［境界の一様性による拘束］
次に、第二の拘束条件について、境界の更新をする（非特許文献６参照）。具体的には、数式８で得られた上限Ｙｌｇｈの値を、それ以下の値に置き換える。このとき、Ｙｌｇｈ（＝ＬｏｇＹｈ）の勾配が閾値よりも小さくなるように、以下の数１０式の条件下でＹｌｇｈを更新する。
【００９７】
【数１０】
【００９８】
下限Ｙｌｇｌについても同様に、数式９で得られた値を、それ以上の値に置き換える。
人間の視覚特性は、5 cycle per degreeの周波数において最も感度が高く、１％程度の輝度の差を知覚することができることが知られている。そのため、例えば、幅２ｍの平面に投影された１０２４×７６８画素の画像を、投影面から３ｍ離れて観測するときには、δ＝（１８０×５×０．０１×２）／（π×３×１０２４）≒１／５４０となる。
【００９９】
［補正画像への変換］
この説明は、図３のステップＳ４に対応するものである。
変換後の輝度Ｙ`がＬ≦Ｙ`≦Ｈを満たすとき、プロジェクタのダイナミックレンジ内で、原画像の色信号をそのまま再現することができる。一方、Ｌ≦Ｙ`≦Ｈを満たさない場合には、輝度や色信号を正確に表現するのは困難であるため、表１に示すように輝度と色信号を定める。
【０１００】
【表１】
【０１０１】
最後に、このようにして得られたＸＹＺ色空間の画像に対して、プロジェクタの応答関数と数式１で記述される色空間の変換を考慮して、プロジェクタへの入力となるＲＧＢ色空間で表現された補正画像を求める。
【０１０２】
［実験結果］
図１１に、光学補正の結果を示す。原画像１１２をそのまま投影した場合に、観測画像（補正なし）１１３には投影面１１１のテクスチャが見えているのに対して、補正画像による投影画像１１４を投影した場合には、観測画像（補正あり）１１５にはコントラストを低下させることなくテクスチャの影響を著しく軽減できているのが分かる。
【０１０３】
図１２には、異なる投影面に対する他の光学補正の結果を示した。この場合も、観測画像（補正なし）１２２、１２４、枠内拡大画像１２６に見られる投影面１２１のテクスチャなどの影響を、観測画像（補正あり）１２３，１２４、枠内拡大画像１２７では軽減できているのを確認することができる。
【０１０４】
ただし、本明細書を読む環境と実験環境では、画像の大きさやシーンの明るさなどが異なるために、一般に、知覚される画像は異なることに注意が必要である。
なお、コンピュータのＣＰＵとしてｐｅｎｔｉｕｍ４，３．２ＧＨｚを用いたときの典型的な計算時間は、１０２４×７６８画素の画像に対して、表２のとおりであった。
【０１０５】
【表２】
【０１０６】
最後に、ユーザ評価の結果を報告する。この評価では、本実施の形態の主題であり、かつ、上記のように計算コストも要する、色信号と輝度の閾値を導入することの効果を調べた。具体的には、１０名の被験者に対して、（ａ）提案手法により得られる補正画像、及び（ｂ）色信号と輝度の閾値をゼロにしたときに上述の手順で計算される補正画像の二種類の画像を、プロジェクタによりランダムな順番で提示した。被験者に、どちらの画像を好むか、及び、どちらの画像のコントラストが高いかという質問をした。なお、提示した画像は１０組であり、合計１００の回答を得た。
【０１０７】
その結果、被験者の好む画像は（ａ）９４、（ｂ）４、どちらともいえない２、コントラストの高い画像は（ａ）９６、（ｂ）４、どちらともいえない０であった。また、多くの被験者から、色信号と輝度の閾値を考慮した画像が、より鮮明かつ自然に見えるという感想を得た。これらの実験結果からも、プロジェクタの光学補正に関して、人間の視覚特性を考慮することが重要であることがわかる。
【０１０８】
環境光下で不均一な反射率を持つ面に画像を投影する場合、正しい色で投影可能な画像のコントラストが低下してしまうという問題がある。この問題に対し、本実施の形態では、人間の視覚特性に基づき、観測者がほとんど知覚できない形で色と輝度の誤差を積極的に用いることによって、よりコントラストの高い画像を再現可能とする手法を提案した。
【０１０９】
これまで報告されているプロジェクタの光学補正手法とは異なり、提案手法ではプロジェクタや投影面の光学特性のみならず、投影しようとする画像の内容に応じて可能な限り投影面で観察される画像の画質を向上させる工夫が用いられている点が大きな特長となっている。
【０１１０】
本実施の形態では、提案手法の詳細を紹介した上で、さまざまなパターンを持つ投影面への画像の投影に提案手法を適用した結果を詳述した。これらの実験結果から、提案手法を用いることにより環境光下で不均一な反射率を持つ面に投影する場合においても、コントラストの高い良好な画質を得ることができることを確認した。
【０１１１】
なお、今後の研究課題として、提案手法をさらに拡張するためにいくつかの方向を検討している。特に、本実施の形態では、静止画の投影を取り扱ったが、動画を投影する場合の光学補正に関しても適用可能であると想定される。
【０１１２】
その場合、静止画に知覚のみならず、動画の知覚に関する人間の視覚特性を考慮することにより、より積極的に画質を向上させることができると考えられる。また、本実施の形態の提案手法では、投影面と観測者との位置関係が既知であると仮定していたが、この条件を緩和した場合も適用可能であると想定される。
【図面の簡単な説明】
【０１１３】
【図１】第１のキャリブレーション処理を示す図であり、コンピュータ５がプロジェクタ１の応答関数とその逆関数を求める様子を示す図である。
【図２】第２のキャリブレーション処理を示す図であり、コンピュータ５が投影画像と観測画像との明るさの関係を求める様子を示すものである。
【図３】補正処理を示す図である。
【図４】原画像に対して、最小輝度画像、最大輝度画像を示す図である。
【図５】色信号のクリッピング及び色信号誤差の閾値を示す図であり、図５Ａは原画像の色信号が求めた色領域外に存在する場合のクリッピング処理を示し、図５Ｂは原画像の色信号から求めた色信号の誤差の閾値を示す。
【図６】ＸＹＺ及びＲＧＢ空間における出力領域を示す図であり、図６ＡはＸＹＺ空間、図６ＢはＲＧＢ空間である。
【図７】輝度差の許容範囲の推定を示す図である。
【図８】輝度の変換の概念図である。
【図９】コントラストの変換に対するパラメータεの効果を示す図である。
【図１０】プロジェクタの応答関数を示す図である。
【図１１】光学的補正の結果を示した図である。
【図１２】他の光学的補正の結果を示した図であり、１２２，１２４は観測画像（補正無し）、１２３，１２５は観測画像（補正あり）を示している。
【符号の説明】
【０１１４】
１・・・プロジェクタ、２・・・投影、３・・・キャリブレーション面、４・・・測光計による投影面の輝度計測、５・・コンピュータ、６・・・入力ＲＧＢ、７・・・応答関数とその逆関数を求める、１１・・・投影面、１２・・・カメラＲＧＢ（観測画像）、１３・・・入力ＲＧＢ（ｉ）、１４・・・応答関数により＃ｉを求める、１５・・・カメラＲＧＢ値をＸＹＺ値へ変換、１６・・・プロジェクタ入力と観測画像の関係を求める
【特許請求の範囲】
【請求項１】
投影面に画像を投影するプロジェクタで投影すべき画像を補正する投影画像補正システムであって、
上記プロジェクタの入力に対する上記投影面の輝度の応答に基づいて上記プロジェクタへの入力と上記投影面の輝度の応答との光学的な調整を行う調整手段と、
上記プロジェクタの入力である原画像を輝度信号及び色信号で表される色空間へ色変換をする色変換手段と、
上記色信号に対して、人間の視覚特性に基づいて観測者が知覚できない許容範囲まで上記色信号の色と上記輝度信号の輝度の範囲を拡張させて補正処理を行い、上記補正処理により得られる補正画像を上記プロジェクタの入力とする補正手段と、
を備えたことを特徴とする投影画像補正システム。
【請求項２】
上記調整手段は、
上記プロジェクタの入力に対するキャリブレーション面における輝度の応答で表される応答関数及び逆関数を上記プロジェクタ毎に求める第１の演算部と、
上記プロジェクタの入力に上記応答関数の逆関数をかけた画素により構成されるプロジェクタ入力画像と、カラーカメラを用いて撮像された上記投影面の観測画像との関係を上記プロジェクタの応答関数、上記投影面の特性、上記投影面での環境光のそれぞれに対応して求める第２の演算部と、
を備えたことを特徴とする請求項１に記載の投影画像補正システム。
【請求項３】
上記補正手段は、カラーカメラを用いて撮像された上記投影面の観測画像の各画素において、原画像の色信号を満たす物理的な輝度の範囲を設定する物理的輝度範囲設定部と、
上記色信号に対する誤差の許容範囲を示す色閾値に基づき輝度範囲を仮想的に広げる色閾値輝度範囲拡張部と、
上記輝度信号の輝度に対応する誤差の許容範囲を示す輝度閾値に基づき上記色閾値に基づいて拡張された輝度範囲をさらに広げる輝度閾値輝度範囲拡張部と、
を備えたことを特徴とする請求項１に記載の投影画像補正システム。
【請求項４】
上記補正手段は、
上記輝度信号の輝度を上記輝度閾値に基づき拡張された輝度範囲に収まるように写像する輝度写像部と、
上記輝度閾値に基づき拡張された輝度範囲に収められた変換後の輝度信号と上記色信号から上記プロジェクタの入力画像となる補正画像を生成する補正画像生成部と
を備えたことを特徴とする請求項１に記載の投影画像補正システム。
【請求項５】
上記補正画像生成部は、
上記色信号と上記変換後の輝度信号とから、上記投影面の観測画像の各画素の値を求める観測画像画素値演算部と、
上記プロジェクタ入力画像と上記投影面の観測画像との関係と上記プロジェクタの応答関数にもとづき、上記投影面の観測画像の各画素の値から、上記プロジェクタ入力画像を求めるプロジェクタ入力画像演算部と、
を備えたことを特徴とする請求項４に記載の投影画像補正システム。
【請求項６】
投影面に画像を投影するプロジェクタで投影すべき画像を補正する処理を実行するためにコンピュータに設けられた投影画像補正プログラムであって、
上記コンピュータに対して、
上記プロジェクタの入力に対する上記投影面の輝度の応答に基づいて上記プロジェクタへの入力と上記投影面の輝度の応答との光学的な調整を行う調整機能と、
上記プロジェクタの入力である原画像を輝度信号及び色信号で表される色空間へ色変換をする色変換機能と、
上記色信号に対して、人間の視覚特性に基づいて観測者が知覚できない許容範囲まで上記色信号の色と上記輝度信号の輝度の範囲を拡張させて補正処理を行い、上記補正処理により得られる補正画像を上記プロジェクタの入力とする補正機能と、
を実現させることを特徴とする投影画像補正プログラム。
【請求項７】
上記調整機能は、
上記プロジェクタの入力に対するキャリブレーション面における輝度の応答で表される応答関数及び逆関数を上記プロジェクタ毎に求める第１の演算機能と、
上記プロジェクタの入力に上記応答関数の逆関数をかけた画素により構成されるプロジェクタ入力画像と、カラーカメラを用いて撮像された上記投影面の観測画像との関係を上記プロジェクタの応答関数、上記投影面の特性、上記投影面での環境光のそれぞれに対応して求める第２の演算機能と、
を含むことを特徴とする請求項６に記載の投影画像補正プログラム。
【請求項８】
上記補正機能は、カラーカメラを用いて撮像された上記投影面の観測画像の各画素において、原画像の色信号を満たす物理的な輝度の範囲を設定する物理的輝度範囲設定機能と、
上記色信号に対する誤差の許容範囲を示す色閾値に基づき輝度範囲を仮想的に広げる色閾値輝度範囲拡張機能と、
上記輝度信号の輝度に対応する誤差の許容範囲を示す輝度閾値に基づき上記色閾値に基づいて拡張された輝度範囲をさらに広げる輝度閾値輝度範囲拡張と、
を含むことを特徴とする請求項６に記載の投影画像補正プログラム。
【請求項９】
上記補正機能は、
上記輝度信号の輝度を上記輝度閾値に基づき拡張された輝度範囲に収まるように写像する輝度写像機能と、
上記輝度閾値に基づき拡張された輝度範囲に収められた変換後の輝度信号と上記色信号から上記プロジェクタの入力画像となる補正画像を生成する補正画像生成機能と
を含むことを特徴とする請求項６に記載の投影画像補正プログラム。
【請求項１０】
上記補正画像生成機能は、
上記色信号と上記変換後の輝度信号とから、上記投影面の観測画像の各画素の値を求める観測画像画素値演算機能と、
上記プロジェクタ入力画像と上記投影面の観測画像との関係と上記プロジェクタの応答関数にもとづき、上記投影面の観測画像の各画素の値から、上記プロジェクタ入力画像を求めるプロジェクタ入力画像演算機能と、
を含むことを特徴とする請求の範囲９に記載の投影画像補正プログラム。
【請求項１】
投影面に画像を投影するプロジェクタで投影すべき画像を補正する投影画像補正システムであって、
上記プロジェクタの入力に対する上記投影面の輝度の応答に基づいて上記プロジェクタへの入力と上記投影面の輝度の応答との光学的な調整を行う調整手段と、
上記プロジェクタの入力である原画像を輝度信号及び色信号で表される色空間へ色変換をする色変換手段と、
上記色信号に対して、人間の視覚特性に基づいて観測者が知覚できない許容範囲まで上記色信号の色と上記輝度信号の輝度の範囲を拡張させて補正処理を行い、上記補正処理により得られる補正画像を上記プロジェクタの入力とする補正手段と、
を備えたことを特徴とする投影画像補正システム。
【請求項２】
上記調整手段は、
上記プロジェクタの入力に対するキャリブレーション面における輝度の応答で表される応答関数及び逆関数を上記プロジェクタ毎に求める第１の演算部と、
上記プロジェクタの入力に上記応答関数の逆関数をかけた画素により構成されるプロジェクタ入力画像と、カラーカメラを用いて撮像された上記投影面の観測画像との関係を上記プロジェクタの応答関数、上記投影面の特性、上記投影面での環境光のそれぞれに対応して求める第２の演算部と、
を備えたことを特徴とする請求項１に記載の投影画像補正システム。
【請求項３】
上記補正手段は、カラーカメラを用いて撮像された上記投影面の観測画像の各画素において、原画像の色信号を満たす物理的な輝度の範囲を設定する物理的輝度範囲設定部と、
上記色信号に対する誤差の許容範囲を示す色閾値に基づき輝度範囲を仮想的に広げる色閾値輝度範囲拡張部と、
上記輝度信号の輝度に対応する誤差の許容範囲を示す輝度閾値に基づき上記色閾値に基づいて拡張された輝度範囲をさらに広げる輝度閾値輝度範囲拡張部と、
を備えたことを特徴とする請求項１に記載の投影画像補正システム。
【請求項４】
上記補正手段は、
上記輝度信号の輝度を上記輝度閾値に基づき拡張された輝度範囲に収まるように写像する輝度写像部と、
上記輝度閾値に基づき拡張された輝度範囲に収められた変換後の輝度信号と上記色信号から上記プロジェクタの入力画像となる補正画像を生成する補正画像生成部と
を備えたことを特徴とする請求項１に記載の投影画像補正システム。
【請求項５】
上記補正画像生成部は、
上記色信号と上記変換後の輝度信号とから、上記投影面の観測画像の各画素の値を求める観測画像画素値演算部と、
上記プロジェクタ入力画像と上記投影面の観測画像との関係と上記プロジェクタの応答関数にもとづき、上記投影面の観測画像の各画素の値から、上記プロジェクタ入力画像を求めるプロジェクタ入力画像演算部と、
を備えたことを特徴とする請求項４に記載の投影画像補正システム。
【請求項６】
投影面に画像を投影するプロジェクタで投影すべき画像を補正する処理を実行するためにコンピュータに設けられた投影画像補正プログラムであって、
上記コンピュータに対して、
上記プロジェクタの入力に対する上記投影面の輝度の応答に基づいて上記プロジェクタへの入力と上記投影面の輝度の応答との光学的な調整を行う調整機能と、
上記プロジェクタの入力である原画像を輝度信号及び色信号で表される色空間へ色変換をする色変換機能と、
上記色信号に対して、人間の視覚特性に基づいて観測者が知覚できない許容範囲まで上記色信号の色と上記輝度信号の輝度の範囲を拡張させて補正処理を行い、上記補正処理により得られる補正画像を上記プロジェクタの入力とする補正機能と、
を実現させることを特徴とする投影画像補正プログラム。
【請求項７】
上記調整機能は、
上記プロジェクタの入力に対するキャリブレーション面における輝度の応答で表される応答関数及び逆関数を上記プロジェクタ毎に求める第１の演算機能と、
上記プロジェクタの入力に上記応答関数の逆関数をかけた画素により構成されるプロジェクタ入力画像と、カラーカメラを用いて撮像された上記投影面の観測画像との関係を上記プロジェクタの応答関数、上記投影面の特性、上記投影面での環境光のそれぞれに対応して求める第２の演算機能と、
を含むことを特徴とする請求項６に記載の投影画像補正プログラム。
【請求項８】
上記補正機能は、カラーカメラを用いて撮像された上記投影面の観測画像の各画素において、原画像の色信号を満たす物理的な輝度の範囲を設定する物理的輝度範囲設定機能と、
上記色信号に対する誤差の許容範囲を示す色閾値に基づき輝度範囲を仮想的に広げる色閾値輝度範囲拡張機能と、
上記輝度信号の輝度に対応する誤差の許容範囲を示す輝度閾値に基づき上記色閾値に基づいて拡張された輝度範囲をさらに広げる輝度閾値輝度範囲拡張と、
を含むことを特徴とする請求項６に記載の投影画像補正プログラム。
【請求項９】
上記補正機能は、
上記輝度信号の輝度を上記輝度閾値に基づき拡張された輝度範囲に収まるように写像する輝度写像機能と、
上記輝度閾値に基づき拡張された輝度範囲に収められた変換後の輝度信号と上記色信号から上記プロジェクタの入力画像となる補正画像を生成する補正画像生成機能と
を含むことを特徴とする請求項６に記載の投影画像補正プログラム。
【請求項１０】
上記補正画像生成機能は、
上記色信号と上記変換後の輝度信号とから、上記投影面の観測画像の各画素の値を求める観測画像画素値演算機能と、
上記プロジェクタ入力画像と上記投影面の観測画像との関係と上記プロジェクタの応答関数にもとづき、上記投影面の観測画像の各画素の値から、上記プロジェクタ入力画像を求めるプロジェクタ入力画像演算機能と、
を含むことを特徴とする請求の範囲９に記載の投影画像補正プログラム。
【図１】
【図２】
【図３】
【図５】
【図６】
【図８】
【図９】
【図１０】
【図４】
【図７】
【図１１】
【図１２】
【図２】
【図３】
【図５】
【図６】
【図８】
【図９】
【図１０】
【図４】
【図７】
【図１１】
【図１２】
【公開番号】特開２００７−３２２６７１（Ｐ２００７−３２２６７１Ａ）
【公開日】平成１９年１２月１３日（２００７．１２．１３）
【国際特許分類】
【出願番号】特願２００６−１５２０１２（Ｐ２００６−１５２０１２）
【出願日】平成１８年５月３１日（２００６．５．３１）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＰＥＮＴＩＵＭ
【出願人】（５０４２０２４７２）大学共同利用機関法人情報・システム研究機構 (119)
【出願人】（５０４１３７９１２）国立大学法人 東京大学 (1,942)
【Ｆターム（参考）】
【公開日】平成１９年１２月１３日（２００７．１２．１３）
【国際特許分類】
【出願日】平成１８年５月３１日（２００６．５．３１）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＰＥＮＴＩＵＭ
【出願人】（５０４２０２４７２）大学共同利用機関法人情報・システム研究機構 (119)
【出願人】（５０４１３７９１２）国立大学法人 東京大学 (1,942)
【Ｆターム（参考）】
[ Back to top ]