表示画像撮影方法および表示画像撮影装置
【課題】 プロジェクタのフリッカーに起因する輝度変化およびプロジェクタのゆらぎに起因する輝度変化を補正し得る表示画像撮影装置および方法を提供する。
【解決手段】 本発明の表示画像撮影装置は、プロジェクタのフリッカー周期を検出し、キャリブレーション用カメラ６のシャッター時間を検出したフリッカー周期の整数倍に制御し、プロジェクタの照明光あるいは筐体の熱等に起因する輝度変化に対応するゆらぎ周期を検出し、前記シャッター速度に基づいて前記ゆらぎ周期に対応する繰り返し撮影回数を決定し、前記フリッカー周期の整数倍のシャッター時間を用いてキャリブレーション用カメラ６によりスクリーン１上に投影表示された画像を決定された繰り返し撮影回数だけ繰り返し撮影し、前記繰り返し撮影回数分の撮影画像を平均化することにより、フリッカー補正およびゆらぎ補正された撮像画像を生成するように構成されている。
【解決手段】 本発明の表示画像撮影装置は、プロジェクタのフリッカー周期を検出し、キャリブレーション用カメラ６のシャッター時間を検出したフリッカー周期の整数倍に制御し、プロジェクタの照明光あるいは筐体の熱等に起因する輝度変化に対応するゆらぎ周期を検出し、前記シャッター速度に基づいて前記ゆらぎ周期に対応する繰り返し撮影回数を決定し、前記フリッカー周期の整数倍のシャッター時間を用いてキャリブレーション用カメラ６によりスクリーン１上に投影表示された画像を決定された繰り返し撮影回数だけ繰り返し撮影し、前記繰り返し撮影回数分の撮影画像を平均化することにより、フリッカー補正およびゆらぎ補正された撮像画像を生成するように構成されている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、投影手段によって表示面上に投影表示された画像を撮影手段によって撮影する表示画像撮影方法および投影手段によって表示面上に投影表示された画像を撮影する表示画像撮影装置に関するものである。
【背景技術】
【０００２】
従来、複数台のプロジェクタからそれぞれ分割画像をスクリーン上に投影することにより全体画像を表示するマルチディスプレイ装置が提案されている。このマルチディスプレイ装置では、各分割画像の端部にオーバーラップ部分を持たせておき、隣接するオーバーラップ部分を貼り合わせて１つの全体画像を形成するようにしているため、高精細大画面表示が可能である。このマルチディスプレイ装置は、同一仕様の複数台のプロジェクタを用いて構成されているが、プロジェクタを配置するときの位置精度等に起因する幾何ずれ以外に、プロジェクタの構成部品のばらつきや照明ランプの明るさのばらつき等に起因して、色のばらつき、明るさ（輝度）のばらつき、ホワイトバランスの相違等が発生することがある。その場合、複数枚の分割画像をオーバーラップさせて貼り合わせることにより全体画像を表示する際に、各分割画像間の色や明るさのばらつきによって繋ぎ合わせ部分が目立ってしまい、表示品質を損ねてしまう。そこで、このような従来のマルチディスプレイ装置では、スクリーンの前にキャリブレーション用カメラ（例えばデジタルカメラ）を設置して、スクリーン上に表示した画像（例えばテストパターン画像）を撮影し、撮影画像データに基づいて補正データ（例えば各プロジェクタにおける色の特性を示すプロファイル）を生成しておき、各プロジェクタから部分画像を投影する際に各々のプロファイルを参照して色補正や幾何補正を行うようにしている。
プロファイルを作成する他の従来技術としては、テストパターン画像をスクリーンに投影してデジタルカメラ等の撮影手段で撮影して、撮影データからプロファイルを作成するシステムがある。なお、以下においては、テストパターン画像をデジタルカメラで撮影してプロファイルを作成することを「キャリブレーション」と称し、そのために用いるカメラを「キャリブレーション用カメラ」と称し、そのために用いるシステムを「キャリブレーションシステム」と称することにする。
【０００３】
上記マルチディスプレイ装置に適用されるキャリブレーションシステムにおいて色補正データを取得する際には、ＰＣ（パーソナルコンピュータ）からテストパターンを各プロジェクタに送出して、各プロジェクタからスクリーン上に輝度および色の異なるテストパターンを時系列的に投影したときに、スクリーンに表示されたテストパターンをキャリブレーション用カメラで撮影し、撮影データをＰＣに保存して、ＰＣ内で補正データを算出する。これによって得られた補正データは、画像補正処理部に送られて、そこで実際の表示に用いる画像データをリアルタイムに補正して、各プロジェクタに送出するので、補正を盛り込んだ画像を投影することにより、色、輝度が補正された画像がスクリーンに表示されることになる。なお、色補正には、各プロジェクタ間の色ムラ（または各プロジェクタ内の色ムラ）を軽減させるための小面積毎あるいは画素毎のガンマ補正と、Ｒ（Ｒｅｄ），Ｇ（Ｇｒｅｅｎ），Ｂ（Ｂｌｕｅ）各色の表示レベルを合せるホワイトバランス補正とがある。
【０００４】
上記キャリブレーションシステムにおいてガンマ補正データを取得する際には、輝度レベルが適当な範囲になるようなシャッタースピードをキャリブレーション用カメラ（例えばデジタルカメラ）に設定した後、ＲＧＢ各色において最低レベル（黒）から最高レベルまでの間の所定輝度値刻みの複数枚の画像（テストパターン）を順次スクリーンに投影して、それぞれの画像を撮影し、ＰＣにおいて輝度レベルを検出した後、各プロジェクタの輝度レベル差を算出して、各プロジェクタの輝度レベル差を解消するような補正データを作成する。
一方、ホワイトバランス補正データを取得する際には、輝度レベルが適当な範囲になるようなシャッタースピードをキャリブレーション用カメラ（例えばデジタルカメラ）に設定した後、キャリブレーション用カメラ側で、例えばＣＩＥ １９３１ ＸＹＺ表色系 等色関数のＸ，Ｙ，Ｚの各波長領域を通過するフィルタである、Ｘフィルタ、Ｙフィルタ、Ｚフィルタを順次カメラ光路上に挿入した状態で、各フィルタについて、画像（テストパターン）として、Ｒの輝度値２５５（全赤）のテストパターン、Ｇの輝度値２５５（全緑）のテストパターン、Ｂの輝度値２５５（全青）のテストパターンを順次スクリーンに投影して、それぞれの画像を撮影し、ＰＣにおいて各色のバランスがとれるように補正データを作成する。
【０００５】
上述したキャリブレーションシステムにおいてガンマ補正データやホワイトバランス補正データを得るために複数枚の画像（テストパターン）を撮影する際には、キャリブレーション用カメラ（例えばデジタルカメラ）において、シャッター速度調整等の露光制御を行う必要があるが、プロジェクターの投影画面には以下の３点の特有な輝度変化がある。
（１）表示周期によるフリッカー
単板ＤＬＰプロジェクターは、時系列にＲＧＢを順次投影しているので、それぞれの色のタイミングで輝度変化することになり、例えば一色あたり１／６０秒や１／１２０秒の周期で点灯している。
（２）プロジェクタの光源や筺体の熱に起因するゆらぎによる輝度変化
プロジェクタの照明用光源として一般的に用いられる超高圧水銀ランプやキセノンランプのような電極間の放電を利用した放電管形式の光源は、封入されたガスの対流等の影響により放射強度にゆらぎが発生するので、そのような光源から投影された照明光の輝度分布は不安定なものとなる。また、プロジェクタ筐体から発せられる熱に起因する光路上の空気のゆらぎにより投影した画像の輝度が不安定に変化する。
（３）正弦波高周波電力による光源のちらつき
プロジェクタの電力として交流電力（５０Ｈｚ）を数倍高速にした正弦波高周波電力を使用するが、一般に２００〜５００Ｈｚなので、人間の目では気にならない周期の輝度変化である。この（３）の周期は、上記（１），（２）の周期より比較的早い周期なので、上記（１），（２）に対応した低速シャッター速度にすれば、（３）の影響は平均化されてしまうので、ほとんどなくなる。
以上のように、電気的処理に起因する輝度変化を招くフリッカーと、光源や筺体の熱に起因する輝度変化を招くゆらぎとを考慮した適当な露光条件で撮影を行わないと、「所望の平均的な明るさ」からズレた画像が撮影されることになる。より具体的に説明すると、黒から白へ徐々に輝度を変化させながら撮影するときにフリッカーやゆらぎの影響を受けると正確な輝度変化データを取得できないので、適切な補正データが得られず、プロジェクタ間の輝度レベルが合わない等の不具合を招くことになる。
【０００６】
フリッカーの対策を行う従来技術としては、被写体の照明光の変化を検出する照明光検出手段の検出出力を周波数解析手段で周波数解析して、周波数解析手段の出力における最も多い周波数成分の周期の整数倍を露光時間として算出し、その露光時間を被写体の光学像を撮影する撮像素子に与えるもの（例えば特許文献１参照、以下、従来技術１という）および、第１の画像信号と、第１の画像信号を増幅して第２の画像信号を出力する増幅手段と、第１の画像信号を第１の周期でサンプリングした第１の信号レベルと第２の画像信号を第１の周期より短い第２の周期でサンプリングした第２の信号レベルとに基づいて前記増幅手段の利得を制御する利得制御手段とを備え、前記第２の周期が前記第１の画像信号の画像の撮影に用いられた照明用光源の放射強度のゆらぎの周期に対応する画像信号用ゆらぎ補償回路（例えば特許文献２参照、以下、従来技術２という）がある。なお、上記に加えて、基本的なフリッカー対策として、「フリッカー周期にシャッター速度を合致させること」がある。
【０００７】
【特許文献１】特開平７−３３６５８６号公報
【特許文献２】特開２００４−１４１３８２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
従来技術１は、フリッカーの原因が蛍光灯（１００Ｈｚ）等の比較的高周波数かつ一定の周波数である場合を想定した対策であるので、ゆらぎ周期がシャッター時間より遅い（長い）場合は対応できない、という問題がある。
また、従来技術２は、フリッカー周期に応じてシャッター時間を変化させる代わりに増幅手段の利得を制御する（増加させる）ようにしているので、利得の増加に伴い画像信号のＳ/Ｎ比が悪化する、という問題がある。
さらに、上記従来技術１および従来技術２は、共に、フリッカーのみの対策を行う技術であるため、「プロジェクタの光源や筐体の熱に起因するゆらぎによる輝度変化」に対応していないという問題がある。
【０００９】
本発明は、投影手段のフリッカーに起因する輝度変化および投影手段のゆらぎに起因する輝度変化の双方を補正し得る表示画像撮影方法を提供することを第１の目的とする。
本発明は、投影手段のフリッカーに起因する輝度変化および投影手段のゆらぎに起因する輝度変化の双方を補正し得る表示画像撮影装置を提供することを第２の目的とする。
【課題を解決するための手段】
【００１０】
上記第１の目的を達成するため、請求項１に記載の第１発明は、投影手段によって表示面上に投影表示された画像を撮影手段によって撮影する表示画像撮影方法であって、前記投影手段のフリッカー周期を検出するフリッカー周期検出工程と、前記撮影手段のシャッター時間を前記フリッカー周期の整数倍に制御するシャッター時間制御工程と、前記投影手段の照明光に起因する輝度変化あるいは前記投影手段の筐体の熱等に起因する輝度変化であるゆらぎ周期を検出するゆらぎ周期検出工程と、前記シャッター時間に基づいて前記ゆらぎ周期に対応する繰り返し撮影回数を決定する撮影回数決定工程と、前記フリッカー周期の整数倍のシャッター時間を用いて前記撮影手段により前記表示面上に投影表示された画像を前記決定された繰り返し撮影回数だけ繰り返し撮影する繰り返し撮影工程と、前記繰り返し撮影工程によって得られる前記繰り返し撮影回数分の撮影画像を平均化する撮影画像平均化工程と、を順次行うことを特徴とする。
【００１１】
請求項２に記載の第２発明は、前記フリッカー周期検出工程は、高速の同一シャッター速度を用いて前記撮影手段により前記表示面上に投影表示された画像を複数回撮影する第１工程と、前記撮影手段により同一シャッター速度で撮影した複数回分の撮影画像の信号レベルを比較してレベル差を求める第２工程と、前記同一シャッター速度よりも低速な同一シャッター速度を用いて前記撮影手段により前記表示面上に投影表示された画像を前記複数回撮影する第３工程と、前記撮影手段により前記低速な同一シャッター速度で撮影した複数回分の撮影画像の信号レベルを比較してレベル差を求める第４工程と、前記第２工程における前回のレベル差と前記第４工程における今回のレベル差とを比較する第５工程と、前記第５工程の比較において前回のレベル差が今回のレベル差以上である間、シャッター速度を徐々に低速側にシフトして前記第３工程〜前記第５工程を繰り返す第６工程と、前記第５工程の比較において前回のレベル差が今回のレベル差未満になったとき、前回のレベル差に対応するシャッター速度を前記投影手段のフリッカー周期として検出する第７工程と、から成ることを特徴とする。
【００１２】
請求項３に記載の第３発明は、前記シャッター時間制御工程は、撮影画像の信号レベルが飽和しない信号レベルになるように前記撮影手段への入射光量を制限する入射光量制御手段の入射光量制限状態と、シャッター時間との組合せにより制御することを特徴とする。
【００１３】
請求項４に記載の第４発明は、前記ゆらぎ周期検出工程は、前記シャッター時間制御工程によりフリッカー周期の整数倍に制御されたシャッター時間を用いて前記撮影手段により前記表示面上に投影表示された画像をＮ（Ｎ＝１，２，・・）回撮影する工程である工程Ｘおよび工程Ｙを行う撮影工程と、前記工程Ｘによって得られる撮影画像および前記工程Ｙによって得られる撮影画像をそれぞれ加算平均する加算平均工程と、前記工程Ｘの加算平均された撮影画像と前記工程Ｙの加算平均された撮影画像とのレベルを比較してレベル差を求めるレベル差算出工程と、撮影回数が（Ｎ−１）の場合のレベル差と撮影回数がＮの場合のレベル差とを比較するレベル差比較工程と、前記レベル差比較工程において撮影回数がＮの場合のレベル差が撮影回数が（Ｎ−１）の場合のレベル差よりも小さい場合は、撮影回数を（Ｎ＋１）として前記撮影工程〜前記レベル差比較工程を繰り返す再撮影工程と、前記レベル差比較工程において撮影回数がＮの場合のレベル差が撮影回数が（Ｎ−１）の場合のレベル差よりも大きくなった場合は、撮影回数を（Ｎ−１）に決定する撮影回数決定工程と、から成り、前記撮影工程におけるシャッター速度と前記撮影回数決定工程により決定された撮影回数との積を前記ゆらぎ周期として検出することを特徴とする。
【００１４】
請求項５に記載の第５発明は、前記ゆらぎ周期検出工程を複数回行って前記ゆらぎ周期を複数回検出し、［（ゆらぎ周期最大値−ゆらぎ周期最小値）／ゆらぎ周期最大値］で定義されるゆらぎ偏差の逆数に基づいて決定した繰り返し撮影回数だけ前記繰り返し撮影工程を行うことを特徴とする。
【００１５】
請求項６に記載の第６発明は、前記投影手段の照明光光源の経過時間に対するゆらぎ周期の特性を予め記憶した経過時間−ゆらぎ周期テーブルおよび前記投影手段の温度に対するゆらぎ周期の特性を予め記憶した温度−ゆらぎ周期テーブルの少なくとも一方を作成しておき、撮影時に前記経過時間および前記温度の少なくとも一方をパラメータとして前記経過時間−ゆらぎ周期テーブルおよび前記温度−ゆらぎ周期テーブルを参照することによりゆらぎ周期を求めることを特徴とする。
【００１６】
請求項７に記載の第７発明は、第６発明の表示画像撮影方法で前記表示面上に投影表示された画像を複数回撮影した場合の撮影画像のばらつきと、第１発明〜第４発明の何れかの表示画像撮影方法で前記表示面上に投影表示された画像を複数回撮影した場合の撮影画像のばらつきとを比較し、ばらつきの少ない方の表示画像撮影方法を選択することを特徴とする。
【００１７】
上記第１の目的を達成するため、請求項８に記載の第８発明は、投影手段によって表示面上に投影表示された画像を撮影手段によって撮影する表示画像撮影方法であって、前記投影手段のフリッカー周期を検出するフリッカー周期検出工程と、前記撮影手段のシャッター時間を前記フリッカー周期の整数倍に制御するシャッター時間制御工程と、ゆらぎ周期検出手段によって前記投影手段の照明光に起因する輝度変化あるいは前記投影手段の筐体の熱等に起因する輝度変化であるゆらぎ周期を検出するゆらぎ周期検出工程と、前記フリッカー周期の整数倍のシャッター時間を用いて前記撮影手段により前記表示面上に投影表示された画像を前記ゆらぎ周期の間繰り返し撮影する繰り返し撮影工程と、前記繰り返し撮影工程によって得られる前記ゆらぎ周期に対応する枚数の撮影画像を平均化する撮影画像平均化工程と、を順次行うことを特徴とする。
【００１８】
上記第２の目的を達成するため、請求項９に記載の第９発明は、投影手段によって表示面上に投影表示された画像を撮影する表示画像撮影装置であって、前記表示面上に投影表示された画像を撮影して撮影画像を出力する撮影手段と、前記投影手段のフリッカー周期を検出するフリッカー周期検出手段と、前記撮影手段のシャッター時間を前記フリッカー周期の整数倍に制御するシャッター時間制御手段と、前記投影手段の照明光に起因する輝度変化あるいは前記投影手段の筐体の熱等に起因する輝度変化であるゆらぎ周期を検出するゆらぎ周期検出手段と、前記シャッター時間に基づいて前記ゆらぎ周期に対応する繰り返し撮影回数を決定する撮影回数決定手段と、前記フリッカー周期の整数倍のシャッター時間を用いて前記撮影手段により前記表示面上に投影表示された画像を前記決定された繰り返し撮影回数だけ繰り返し撮影する繰り返し撮影手段と、前記繰り返し撮影手段によって得られる前記繰り返し撮影回数分の撮影画像を平均化する撮影画像平均化手段と、を具備して成ることを特徴とする。
【００１９】
請求項１０に記載の第１０発明は、前記フリッカ周期検出手段および前記ゆらぎ周期検出手段として機能するセンサを別に設けたことを特徴とする。
【発明の効果】
【００２０】
第１発明によれば、投影手段によって表示面上に投影表示された画像を撮影手段によって撮影する際には、前記投影手段のフリッカー周期を検出し、前記撮影手段のシャッター時間を前記フリッカー周期の整数倍に制御し、前記投影手段の照明光に起因する輝度変化あるいは前記投影手段の筐体の熱等に起因する輝度変化であるゆらぎ周期を検出し、前記シャッター時間に基づいて前記ゆらぎ周期に対応する繰り返し撮影回数を決定した後に、前記フリッカー周期の整数倍のシャッター時間を用いて前記撮影手段により前記表示面上に投影表示された画像を前記決定された繰り返し撮影回数だけ繰り返し撮影し、前記繰り返し撮影工程によって得られる前記繰り返し撮影回数分の撮影画像を平均化するので、投影手段のフリッカーに起因する輝度変化および投影手段のゆらぎに起因する輝度変化の双方を補正し得る表示画像撮影方法を提供することができる。
【００２１】
第２発明によれば、前記フリッカー周期検出工程は、高速の同一シャッター速度を用いて前記撮影手段により前記表示面上に投影表示された画像を複数回撮影し、前記撮影手段により同一シャッター速度で撮影した複数回分の撮影画像の信号レベルを比較してレベル差を求め、前記同一シャッター速度よりも低速な同一シャッター速度を用いて前記撮影手段により前記表示面上に投影表示された画像を前記複数回撮影し、前記撮影手段により前記低速な同一シャッター速度で撮影した複数回分の撮影画像の信号レベルを比較してレベル差を求め、前記第２工程における前回のレベル差と前記第４工程における今回のレベル差とを比較し、前記第５工程の比較において前回のレベル差が今回のレベル差以上である間、シャッター速度を徐々に低速側にシフトして前記第３工程〜前記第５工程を繰り返し、前記第５工程の比較において前回のレベル差が今回のレベル差未満になったとき、前回のレベル差に対応するシャッター速度を前記投影手段のフリッカー周期として検出するから、前記投影手段のフリッカー周期に対応するシャッター速度を求めることができる。
【００２２】
第３発明によれば、前記シャッター時間制御工程は、撮影画像の信号レベルが飽和しない信号レベルになるように前記撮影手段への入射光量を制限する入射光量制御手段の入射光量制限状態と、シャッター時間との組合せにより制御するから、撮影手段により撮影した撮影画像の信号レベル（輝度レベル）は飽和しないような適当な範囲に収まるので、撮影手段により撮影した撮影画像を用いて適正にフリッカー補正およびゆらぎ補正を行うことができる。
【００２３】
第４発明によれば、前記ゆらぎ周期検出工程は、前記シャッター時間制御工程によりフリッカー周期の整数倍に制御されたシャッター時間を用いて前記撮影手段により前記表示面上に投影表示された画像をＮ（Ｎ＝１，２，・・）回撮影する工程である工程Ｘおよび工程Ｙを行い、前記工程Ｘによって得られる撮影画像および前記工程Ｙによって得られる撮影画像をそれぞれ加算平均し、前記工程Ｘの加算平均された撮影画像と前記工程Ｙの加算平均された撮影画像とのレベルを比較してレベル差を求め、撮影回数が（Ｎ−１）の場合のレベル差と撮影回数がＮの場合のレベル差とを比較し、前記レベル差比較工程において撮影回数がＮの場合のレベル差が撮影回数が（Ｎ−１）の場合のレベル差よりも小さい場合は、撮影回数を（Ｎ＋１）として前記撮影工程〜前記レベル差比較工程を繰り返し、前記レベル差比較工程において撮影回数がＮの場合のレベル差が撮影回数が（Ｎ−１）の場合のレベル差よりも大きくなった場合は、撮影回数を（Ｎ−１）に決定し、前記撮影工程におけるシャッター速度と前記撮影回数決定工程により決定された撮影回数との積を前記ゆらぎ周期として検出するから、所望の通り、前記投影手段の光源あるいは筐体の熱等に起因するゆらぎのゆらぎ周期を求めることができる。
【００２４】
第５発明によれば、前記ゆらぎ周期検出工程を複数回行って前記ゆらぎ周期を複数回検出し、［（ゆらぎ周期最大値−ゆらぎ周期最小値）／ゆらぎ周期最大値］で定義されるゆらぎ偏差の逆数に基づいて決定した繰り返し撮影回数だけ前記繰り返し撮影工程を行うので、ゆらぎ周期検出値のばらつきを解消して正確にゆらぎ周期を求めることができるようになり、投影手段のゆらぎに起因する輝度変化を正確に補正することができる。
【００２５】
第６発明によれば、前記投影手段の照明光光源の経過時間に対するゆらぎ周期の特性を予め記憶した経過時間−ゆらぎ周期テーブルおよび前記投影手段の温度に対するゆらぎ周期の特性を予め記憶した温度−ゆらぎ周期テーブルの少なくとも一方を作成しておき、撮影時に前記経過時間および前記温度の少なくとも一方をパラメータとして前記経過時間−ゆらぎ周期テーブルおよび前記温度−ゆらぎ周期テーブルを参照することによりゆらぎ周期を求めるので、第１発明における実測データに基づくゆらぎ周期検出工程を、上記パラメータによる経過時間−ゆらぎ周期テーブル、温度−ゆらぎテーブルの参照に基づくゆらぎ周期検出工程に置き換えることにより、処理の高速化が期待できるようになる。
【００２６】
第７発明によれば、第６発明の表示画像撮影方法で前記表示面上に投影表示された画像を複数回撮影した場合の撮影画像のばらつきと、第１発明〜第４発明の何れかの表示画像撮影方法で前記表示面上に投影表示された画像を複数回撮影した場合の撮影画像のばらつきとを比較し、ばらつきの少ない方の表示画像撮影方法を選択するので、投影手段のフリッカーに起因する輝度変化および投影手段のゆらぎに起因する輝度変化の双方を確実に補正することができる。
【００２７】
第８発明によれば、投影手段によって表示面上に投影表示された画像を撮影手段によって撮影する際には、前記投影手段のフリッカー周期を検出し、前記撮影手段のシャッター時間を前記フリッカー周期の整数倍に制御し、ゆらぎ周期検出手段によって前記投影手段の照明光に起因する輝度変化あるいは前記投影手段の筐体の熱等に起因する輝度変化であるゆらぎ周期を検出し、前記フリッカー周期の整数倍のシャッター時間を用いて前記撮影手段により前記表示面上に投影表示された画像を前記ゆらぎ周期の間繰り返し撮影し、前記繰り返し撮影工程によって得られる前記ゆらぎ周期に対応する枚数の撮影画像を平均化するので、投影手段のフリッカーに起因する輝度変化および投影手段のゆらぎに起因する輝度変化の双方を補正し得る表示画像撮影方法を提供することができる。
【００２８】
第９発明によれば、投影手段によって表示面上に投影表示された画像を撮影する表示画像撮影装置は、前記表示面上に投影表示された画像を撮影して撮影画像を出力する撮影手段と、前記投影手段のフリッカー周期を検出するフリッカー周期検出手段と、前記撮影手段のシャッター時間を前記フリッカー周期の整数倍に制御するシャッター時間制御手段と、前記投影手段の照明光に起因する輝度変化あるいは前記投影手段の筐体の熱等に起因する輝度変化であるゆらぎ周期を検出するゆらぎ周期検出手段と、前記シャッター時間に基づいて前記ゆらぎ周期に対応する繰り返し撮影回数を決定する撮影回数決定手段と、前記フリッカー周期の整数倍のシャッター時間を用いて前記撮影手段により前記表示面上に投影表示された画像を前記決定された繰り返し撮影回数だけ繰り返し撮影する繰り返し撮影手段と、前記繰り返し撮影手段によって得られる前記繰り返し撮影回数分の撮影画像を平均化する撮影画像平均化手段と、を具備して成るから、投影手段のフリッカーに起因する輝度変化および投影手段のゆらぎに起因する輝度変化の双方を補正し得る表示画像撮影装置を提供することができる。
【００２９】
第１０発明によれば、前記フリッカ周期検出手段および前記ゆらぎ周期検出手段として機能するセンサを別に設けたから、第５発明においてフリッカー補正およびゆらぎ補正された撮像画像を生成する処理の高速化を希望する場合には、前記センサによって検出した前記投影手段の光源のフリッカー周期に起因する輝度変化および前記投影手段のゆらぎに起因する輝度変化を用いることにより、前記撮影手段のシャッター速度、露光条件および撮影回数を最適化することができるようになるので、フリッカー補正およびゆらぎ補正に要する時間を短縮してフリッカー補正およびゆらぎ補正された撮像画像を生成する処理を高速化することができる。
【発明を実施するための最良の形態】
【００３０】
以下、本発明を実施するための最良の形態を図面に基づき詳細に説明する。
【００３１】
［第１実施形態］
図１は本発明の第１実施形態の表示画像撮影方法の実施に用いる表示画像撮影装置の全体構成を示す図であり、図２は第１実施形態の表示画像撮影装置に用いるキャリブレーション用カメラおよびパーソナルコンピュータの詳細構成を示す図である。
【００３２】
本実施形態の表示画像撮影装置は、例えばマルチディスプレイ装置のスクリーン上に投影された画像の表示状態を調整するために色補正（ガンマ補正およびホワイトバランス補正）を行う際に、前記画像を撮影した撮影画像に基づいてフリッカー補正およびゆらぎ補正を行うように構成されており、図１に示すように、スクリーン１上にオーバーラップ部分２を有するように分割画像を投影表示する複数台（図示例では４台）の投影手段であるプロジェクタ３ａ，３ｂ，３ｃ，３ｄと、プロジェクタ３ａ，３ｂ，３ｃ，３ｄのそれぞれに分割画像信号を供給する画像補正処理部４と、画像補正処理部４を経由してプロジェクタ３ａ，３ｂ，３ｃ，３ｄ間の画像表示状態のばらつきを補正するための複数枚の画像（以下、テストパターンともいう）をスクリーン１上に順次投影表示する画像投影機能ならびに後述するようにスクリーン１上に表示された画像を複数回連続撮影することによりフリッカー補正およびゆらぎ補正された撮像画像データを生成するフリッカー補正機能およびゆらぎ補正機能を有するパーソナルコンピュータ（ＰＣ）５と、シャッター速度および絞りによって規定される所定露光条件下で前記複数枚の画像を撮影する撮影手段であるキャリブレーション用カメラ６と、キャリブレーション用カメラ６と同一光路上の所定位置に設けられた色フィルタ機構８とを具備して成る。
【００３３】
上記画像補正処理部４は、ＰＣ５で作成された補正データを記憶する補正データ記憶部４ａと、外部から供給される（画像補正処理部４自体で供給するようにしてもよい）分割画像データ（以下、単に画像データともいう）に上記補正データによる補正を加えて出力する補正処理部４ｂとを具備して成る。
【００３４】
上記ＰＣ５は、図２に示すように、キャリブレーション用カメラ６から入力された「スクリーン１上に投影表示された画像の撮影画像データ」の輝度レベル（信号レベル）を検出する輝度レベル検出部５ａと、前記「スクリーン１上に投影表示された画像の撮影画像データ」に基づいて当該画像を投影表示したプロジェクタに関する補正データを算出（生成）および記憶するとともに前記「スクリーン１上に投影表示された画像を複数回連続撮影した撮影画像データ」に基づいてフリッカーおよびゆらぎに関する補正データ（フリッカー補正およびゆらぎ補正された撮像画像データ）を算出（生成）および記憶する補正データ算出記憶部５ｂと、キャリブレーション用カメラ６によって同一シャッター速度で連続撮影したときに得られる２つの撮影画像の輝度レベルを比較して輝度レベル差を算出する輝度レベル比較部５ｃと、輝度レベル比較部５ｃが算出した輝度レベル差が極小になるようにキャリブレーション用カメラ６の露光制御（シャッター速度指令、絞り指令）を行う露光制御部５ｄと、輝度レベル比較手段５ｃが算出した輝度レベル差が極小になるシャッター速度に基づいて後述する繰り返し撮影時の繰り返し撮影回数をキャリブレーション用カメラ６に設定（指令）する撮影回数設定部５ｅと、輝度レベル検出部５ａによって検出した輝度レベルに基づいて前記複数枚の画像を順次撮影する際に使用する色フィルタを選択的に切り換える色フィルタ切換制御部５ｆとを具備して成る。なお、上記色フィルタ制御部５ｆは、キャリブレーション用カメラ６による前記複数枚のテストパターン画像の一連の撮影期間中に、後述するようにホワイトバランス補正時にＣＩＥ １９３１ ＸＹＺ表色系 等色関数のＸ，Ｙ，Ｚの各波長領域を通過するフィルタであるＸフィルタ、Ｙフィルタ、Ｚフィルタを順次切り換えて使用しガンマ補正時には色フィルタの無い空洞を使用するフィルタ切換制御を行うものとする。
【００３５】
上記キャリブレーション用カメラ６としては、本実施形態ではモノクロ撮影手段であるモノクロデジタルカメラを用いる。このキャリブレーション用カメラ６は、図２に示すように、被写体の像を形成するレンズ機構６ａと、レンズ機構６ａの出射光量を調整する絞り機構６ｂと、絞り機構６ｂを介して入射される被写体の像を電気信号（画像データ信号）に光電変換するＣＣＤ６ｃと、ＣＣＤ６ｃから出力される画像データ信号に対してサンプルホールドおよび自動利得制御（ＡＧＣ）を行うＳ／Ｈ・ＡＧＣ回路６ｄと、Ｓ／Ｈ・ＡＧＣ回路６ｄから出力される画像データ信号をＡ／Ｄ変換するＡ／Ｄ変換部６ｅと、Ａ／Ｄ変換した画像データ信号に対して各種信号処理を行うカメラ信号処理部６ｆと、カメラ信号処理部６ｆから出力される画像データ信号をＰＣ５に出力したりＰＣ５から入力される各種信号を中継したりする入出力Ｉ／Ｆ部６ｇと、ＰＣ５の露光制御部５ｄからの指令されたシャッター速度でＣＣＤ６ｃを駆動するＣＣＤ駆動部６ｈと、ＰＣ５の露出制御部５ｄから指令された絞り値となるように絞り機構６ｂを駆動する絞り駆動部６ｉとを具備して成る。本実施形態では、キャリブレーション用カメラ６として、シャッター速度を例えば１／１０００秒８〜２秒に設定可能なものを用いるものとする。なお、上記キャリブレーション用カメラ６としては、モノクロデジタルカメラの他、モノクロ撮影手段である、モノクロビデオカメラや、モノクロ用ＣＭＯＳセンサや、モノクロラインセンサ等を用いることもできる。
【００３６】
上記色フィルタ機構８は、ホワイトバランス補正のためのテストパターン撮影時に用いるものであり、ＣＩＥ １９３１ ＸＹＺ表色系 等色関数のＸ，Ｙ，Ｚの各波長領域を通過するフィルタであるＸフィルタ８ａ、Ｙフィルタ８ｂ、Ｚフィルタ８ｃと、これらフィルタを装着するための４個の開口が円周上に形成されたターレット８ｄと、ＰＣ５の色フィルタ切換制御部５ｆの指令に対応するフィルタ（または空洞）が光路上に位置するようにターレット８ｃを中心軸周りに回転駆動するモータ（図示せず）とから成り、４個の開口の内でフィルタを装着されない開口は、空洞８ｆとして、ＸＹＺフィルタを使用しないガンマ補正のための画像撮影時に用いる。
なお、上記色フィルタ機構８では、ホワイトバランス補正のためにキャリブレーション用カメラ６の入力光を複数の波長特性に分離し得る複数枚の色フィルタ手段として、ＣＩＥ １９３１ ＸＹＺ表色系 等色関数のＸ，Ｙ，Ｚの各波長領域を通過するフィルタであるＸフィルタ、Ｙフィルタ、Ｚフィルタを用いているが、代わりにＲ，Ｇ，Ｂ各色の通過フィルタを用いても、任意の色フィルタを用いてもよい。
【００３７】
次に、本実施形態の表示画像撮影装置においてキャリブレーション時に実施するフリッカー補正およびゆらぎ補正について説明する。本実施形態の表示画像撮影装置では、キャリブレーションとして、色補正および幾何補正を行うが、その手順は、以下の通りである。
まず、図１に示すように、キャリブレーション用カメラ６を概略観客の観察位置に配置する。次に、幾何補正用のテストパターン画像をスクリーン１に投影表示して撮影し、撮影データに基づいてＰＣ５で幾何補正データを作成する（幾何ずれが生じないマルチディスプレイ装置である場合は、幾何補正は不要である）。
その後、幾何補正を加えた色補正（ガンマ補正およびホワイトバランス補正）用のテストパターン画像をスクリーン１に投影表示して撮影し、撮影データに基づいてＰＣ５で色補正データを作成する。その際、「投影手段であるプロジェクタ３ａ，３ｂ，３ｃ，３ｄの光源のフリッカー周期がキャリブレーション用カメラ６のシャッター時間より遅い（長い）場合には、撮影するタイミングによって、キャリブレーション用カメラ６によって撮影した撮影画像データの輝度レベルが変動すること」と、「投影手段であるプロジェクタ３ａ，３ｂ，３ｃ，３ｄの筐体の熱等による光路上の空気のゆらぎのゆらぎ周期がキャリブレーション用カメラ６のシャッター時間より遅い（長い）場合には、撮影するタイミングによって、キャリブレーション用カメラ６によって撮影した撮影画像データの輝度レベルが変動すること」とを考慮して、本発明の狙いとする「フリッカー補正およびゆらぎ補正」を行う。
【００３８】
なお、上記のようにして実施する色補正では、各プロジェクタ間の色ムラ（または各プロジェクタ内の色ムラ）を軽減させるための小面積毎あるいは画素毎のガンマ補正と、Ｒ（Ｒｅｄ），Ｇ（Ｇｒｅｅｎ），Ｂ（Ｂｌｕｅ）各色の表示レベルを合せるホワイトバランス補正とを行う。ガンマ補正における補正対象をどの位の小面積にするかは、使用するキャリブレーション用カメラ（デジタルカメラ）の画素数に応じて決定することができ、例えば、スクリーン１上の表示画素数が８００万画素で、デジタルカメラの画素数が２００万画素である場合には、２×２画素毎が補正領域になる。ガンマ補正では、ＲＧＢ各色毎に輝度信号の最低レベル（黒）から最高レベルまでの範囲の所定輝度値刻みの複数枚のテストパターン画像をスクリーン１に投影表示して、それをキャリブレーション用カメラ６で撮影する。一方、ホワイトバランス補正は、ＲＧＢ各色の適当な輝度値（例えば最大輝度値）のテストパターン画像をスクリーン１に投影表示して、ＣＩＥ １９３１ ＸＹＺ表色系 等色関数等の人間の視感度にあったフィルタを通してキャリブレーション用カメラ６でテストパターン画像を撮影し、撮影データに基づいて、各色のバランスがとれるような補正を行う。
【００３９】
次に、本実施形態の表示画像撮影装置において実施するフリッカー補正およびゆらぎ補正を図３〜図７に基づいて詳細に説明する。
図３は第１実施形態の表示画像撮影装置において実施するフリッカー補正およびゆらぎ補正のための処理の概略を示すフローチャートである。なお、図３におけるフリッカー補正およびゆらぎ補正のための処理は、色補正のためのテストパターン画像の撮影時に同時に実施するようにしているが、色補正のためのテストパターン画像の撮影に先立って実施するようにしてもよい。
【００４０】
まず、図３のステップＳ１では、後述する図４のフローチャートに示す処理によって、投影手段であるプロジェクタの光源のフリッカー周期（すなわち、プロジェクタの垂直表示周期とキャリブレーション用カメラ６のシャッター時間とのずれにより発生するフリッカの周期）を検出し、次のステップＳ２では、撮影手段であるキャリブレーション用カメラ６のシャッター時間を上記ステップＳ１で求めたフリッカー周期の整数倍に制御（決定）することにより、フリッカー周期に対応したシャッター時間にする。なお、本実施形態では、フリッカー周期の検出方法として後述する図４のフローチャートに示す検出方法を用いているが、代わりに、上述した特許文献１に記載された検出方法や特許文献２に記載された検出方法等の公知技術を用いてもよい。
【００４１】
次のステップＳ３では、露出合わせを行う。この露出合わせは、撮影画像の信号レベルが飽和しない適正な信号レベル（例えば７０％〜９０％）になるようにキャリブレーション用カメラ６への入射光量を制限するものであり、キャリブレーション用カメラ６の絞りの絞り値と上記ステップＳ２で決定したシャッター時間との組合せにより制御する。なお、本実施形態では、露出合わせをステップＳ３で実施するようにしているが、信号レベルが飽和したり信号レベルが低いために上記ステップＳ１やステップＳ２で不具合が生じる場合には、ステップＳ１の前に信号レベルが適当になるように仮露出合せを行うようにしてもよい。
【００４２】
次のステップＳ４では、後述する図５のフローチャートに示す処理によって、ゆらぎ周期（プロジェクタの光源に起因する輝度変化あるいはプロジェクタの筐体の熱等に起因する光路上の空気のゆらぎによる輝度変化の双方に対応する周期である）を検出し、ゆらぎ周期に対応する繰り返し撮影回数を決定する。この繰り返し撮影回数の決定は、例えば、検出したゆらぎ周期が１秒であり、上記ステップＳ２で決定したシャッター時間が１／６０秒である場合には、繰り返し撮影回数は１秒÷（１／６０秒）＝６０（回）となる。
【００４３】
次のステップＳ５では、本撮影を行う。この本撮影は、上記ステップＳ２で決定したフリッカー周期の整数倍のシャッター時間を用いてキャリブレーション用カメラ６によりスクリーン１上に投影表示された画像をステップＳ４で決定した繰り返し撮影回数だけ繰り返し撮影することによって行う。そして、次のステップＳ６では、ステップＳ５の繰り返し撮影によって得られる繰り返し撮影回数分の撮影画像データの平均化処理を行う。それにより、フリッカー補正およびゆらぎ補正された撮像画像が生成されることになる。
なお、上記ステップＳ１〜ステップＳ４で行う撮影は、撮影条件を決めるための撮影であるので「プリ撮影」と称し、上記ステップＳ５で行う撮影は、実際に撮影画像データを得るための撮影であるので「本撮影」と称すことにする。
【００４４】
次に、本実施形態におけるフリッカー周期の検出を図４のフローチャートに基づいて説明する。図４のフローチャートでは、初回には比較データが存在しないので、初回のために別途比較データを取り込む必要があるが、その取り込み方法も含めて説明する。なお、キャリブレーション用カメラ６のシャッター速度は、例えば１／５００〜２秒の間のシャッター速度を設定可能であるものとする。
［初回の比較データの取り込み方法］
後述する図４のステップＳ１１と同様にして、シャッター速度を所定のシャッター速度（例えば上限高速シャッター速度である１／５００秒）に設定する。ただし、被写体であるスクリーン１上の画像が暗いため絞りを開放にしても信号レベルがほとんど０である場合には、シャッター速度を１／５００秒よりも低速なシャッター速度に設定する。次に、後述する図４のステップＳ１２と同様にして、キャリブレーション用カメラ６によってスクリーン１上に投影表示された画像を上記シャッタ速度で連続撮影して、ＰＣ５の補正データ算出記憶部５ｂ内のフレームメモリ（後述する図６参照）に２つの撮影画像データを取り込み、記憶する。次に、後述する図４のステップＳ１３と同様にして、２つの撮影画像データを積分して各々の信号レベル（輝度レベル）を求め、両者の信号レベルのレベル差を算出して、上記フレームメモリに記憶する。
【００４５】
［初回の比較データを取り込んだ後のフリッカー周期の検出］
まず、図４のステップＳ１１では、キャリブレーション用カメラ６のシャッター速度を所定シャッター速度に設定する。この所定シャッター速度としては、例えば上述した初回撮影時にに用いた上限高速シャッター速度（１／５００秒）から１段低下させたシャッター速度である１／２５０秒を用いる。次のステップＳ１２では、スクリーン１上に投影表示された画像を上記シャッタ速度で連続撮影して、ＰＣ５の補正データ算出記憶部５ｂ内のフレームメモリ（後述する図６参照）に２つの撮影画像データを取り込む。次のステップＳ１３では、２つの撮影画像データを積分して各々の信号レベル（輝度レベル）を求め、両者の信号レベルのレベル差を算出して、上記フレームメモリに記憶する。
【００４６】
次のステップＳ１４では、今回のレベル差と、前回（シャッター速度＝１／５００秒での撮影時）のレベル差とを比較し、今回のレベル差が前回のレベル差未満である場合には処理をステップＳ１５に進め、今回のレベル差が前回のレベル以上である場合には処理をステップＳ１６に進めて前回のシャッター速度をフリッカー周期とする。ステップＳ１５では、シャッター速度を低下させることが可能か否かを判定し、ＹＥＳ（低下可能）の場合には次のステップＳ１７でシャッター速度を１段低下させてから処理を上記ステップＳ１２以降に戻し、ＮＯ（低下不能）の場合には処理を上記ステップＳ１６に進める。なお、本実施形態で使用するキャリブレーション用カメラ６は１／１０００秒〜２秒の範囲のシャッター速度が設定可能であり、かつ、フリッカー周期は一般的にプロジェクターの表示周期とほぼ等しくなって１／６０秒以上となるので、ステップＳ１６がＮＯになるケースはほとんど起こり得ないことから、ステップＳ１６がＮＯになった場合には「エラー」としてユーザーに警告して、フリッカー周期の検出のやり直しを促すようにしてもよい。
【００４７】
上記ステップＳ１１〜ステップＳ１２・・・ステップＳ１４のＮＯ−ステップＳ１６の実行により、フリッカー周期の検出が完了するが、ステップＳ１６の次のステップＳ１８では、検出したフリッカー周期が妥当であるか否かを検証するために、２枚の撮影画像データの信号レベルが１００％であるか否かを判定する。この判定において、「２枚の撮影画像データの信号レベルが１００％であればレベル差は０となるが、その場合は２枚の撮影画像が飽和していてレベル差が０となった場合」であることから、上記ステップＳ１６で検出したシャッター速度はフリッカー周期として不適当であることを考慮して、処理をステップＳ１９に進めて露出補正（露光補正）を行ってから、処理を上記ステップＳ１２以降に戻して、再びフリッカー周期の検出をやり直す。上記ステップＳ１９における露出補正では、２枚の撮影画像データの信号レベルが飽和しない適切な信号レベルになるように入射光量を制限するために、キャリブレーション用カメラ６の絞りおよびシャッター時間の組合せを調整する。具体的には、信号レベルが飽和していれば絞り値を上げて入射光量を低下させ、信号レベルが小さい場合には絞り値を下げる（絞りを開放する）とともにシャッター速度をフリッカー周期に近似するシャッター速度（ステップＳ１６で求めたシャッター速度）から１段ずつ低下させて１／６０秒→１／３０秒→１／１５秒→１／８秒→１／４秒→１／２秒→１秒というように変化させる。
【００４８】
上記ステップＳ１９の露出調整およびその後のフリッカー周期の再検出は、上記ステップＳ１８の判定がＮＯになるまで繰り返し、上記ステップＳ１８の判定がＮＯになったら処理をステップＳ２０に進めてそのときのシャッター速度をシャッター速度に決定する。このステップＳ２０で決定されたシャッター速度は、フリッカー周期に近似するシャッター速度となる。
【００４９】
次に、本実施形態におけるゆらぎ周期の検出を図５のフローチャートに基づいて説明する。図５のフローチャートでは、初回には比較データが存在しないので、初回のために別途比較データを取り込む必要があるが、その取り込み方法も含めて説明する。なお、以下に説明する例では、上記ステップＳ２０で決定されたキャリブレーション用カメラ６のシャッター時間（すなわち、フリッカーを低減するシャッター時間）が１／６０秒であるものとし、かつ、そのときのゆらぎ周期は１秒であるものとする。
［初回の比較データの取り込み方法］
後述する図５のステップＳ２１において、撮影回数Ｎ（Ｎは自然数）を初回のプレ撮影時に限りＮ＝１に設定する。次に、後述する図５のステップＳ２２〜ステップＳ２５と同様にして、キャリブレーション用カメラ６によってスクリーン１上に投影表示された画像を上記ステップＳ２０で決定されたシャッタ時間でＮ回連続撮影して、ＰＣ５の補正データ算出記憶部５ｂ内のフレームメモリ（後述する図６参照）に２種類の撮影画像データ（撮影画像データＸ１ ，撮影画像データＹ１ ）を取り込み、記憶する。次に、後述する図５のステップＳ２６と同様にして、２種類の撮影画像データを積分して各々の信号レベル（輝度レベル）を求め、両者の信号レベルのレベル差を算出して、上記フレームメモリに記憶する。
【００５０】
［初回の比較データを取り込んだ後のゆらぎ周期の検出］
まず、図５のステップＳ２１では、撮影回数Ｎを設定する。この撮影回数Ｎの設定は、後述するステップＳ２８におけるＮのインクリメント（Ｎ＝Ｎ＋１）に応じて行うので、２回目のプレ撮影時には、撮影回数Ｎは、前回のＮ＝１に基づいて１＋１＝２回になる。同様に、３回目のプレ撮影時には、撮影回数Ｎは（２＋１）＝３回になり、Ｎ回目のプレ撮影時には、撮影回数Ｎは（Ｎ＋１）回になる。次のステップＳ２２、ステップＳ２３では、キャリブレーション用カメラ６によってスクリーン１上に投影表示された画像を上記ステップＳ２０で決定されたシャッタ時間でＮ回（２回目の場合は、２回）連続撮影して、ＰＣ５の補正データ算出記憶部５ｂ内のフレームメモリ（後述する図６参照）に２種類の撮影画像データ（撮影画像データＸ１ ，Ｘ２ および撮影画像データＹ１ ，Ｙ２ ）を取り込み、記憶する。次のステップＳ２４では、撮影画像データＸ１ ，Ｘ２ および撮影画像データＹ１ ，Ｙ２ ）をそれぞれ加算平均し、次のステップＳ２５では、加算平均値Ｘav、ＹavをＰＣ５の補正データ算出記憶部５ｂ内のフレームメモリ（後述する図６参照）に記憶する。次のステップＳ２６では、２種類の撮影画像データ加算平均値Ｘav、Ｙavを積分して各々の信号レベル（輝度レベル）を求め、両者の信号レベルのレベル差を算出して、上記フレームメモリに記憶する。
【００５１】
次のステップＳ２７では、今回のレベル差と、前回（今回が２回目の場合は、初回）のレベル差とを比較し、今回のレベル差が前回のレベル差未満である場合には処理をステップＳ２８に進め、今回のレベル差が前回のレベル以上である場合には処理をステップＳ２９に進める。ステップＳ２８では、Ｎのインクリメント（Ｎ＝Ｎ＋１）を行ってから処理を上記ステップＳ２１以降に戻して撮影回数を１回増やして上記と同様の処理を行い、ステップＳ２９では、撮影回数を（Ｎ−１）回に決定する。なお、この例の場合はゆらぎ周期が１秒であるので、Ｎ＝６０か撮影回数となる。
【００５２】
図６は第１実施形態のキャリブレーション装置における撮影画像データの平均化処理を説明するためのフレームメモリの機能ブロック図であり、図７は図６のフレームメモリのスイッチの状態推移を示す図である。以下、「４回の連続撮影で得られる撮影画像データの加算平均化処理」の場合を例に挙げて説明する。なお、図６および図７には４回連続撮影時の加算平均化処理を示しているが、「８回の連続撮影や１６回の連続撮影で得られる撮影画像データを加算平均化処理する場合には、後述する加算係数Ｋを変更することによって対応可能である。
【００５３】
まず、図６、図７に示すように、１枚目の撮影画像データ（以下、画像０１という）を加算係数Ｋ＝０で取り込む。このとき、巡回/出力切換スイッチであるＳＷ１は、ＳＷ１０２側に接続されているので、画像０１はフレームメモリＦＭ１に記憶される。
次に、２枚目の撮影画像データ（以下、画像０２という）を加算係数Ｋ＝１／２で取り込む。これにより、フレームメモリＦＭ１から読み出された画像０１と、取り込んだ画像０２とが加算平均されて、（画像０１＋画像０２）／２となって、フレームメモリＦＭ１に上書きされる。
次に、３枚目の撮影画像データ（以下、画像０３という）を加算係数Ｋ＝２／３で取り込む。これにより、フレームメモリＦＭ１から読み出された画像０１、画像０２と、取り込んだ画像０３とが加算平均されて、（画像０１＋画像０２＋画像０３）／３となって、フレームメモリＦＭ１に上書きされる。
次に、４枚目の撮影画像データ（以下、画像０４という）を加算係数Ｋ＝３／４で取り込む。これにより、フレームメモリＦＭ１から読み出された画像０１、画像０２、画像０３と、取り込んだ画像０４とが加算平均されて、（画像０１＋画像０２＋画像０３＋画像０４）／４となる。このとき、図７に示すように、巡回／出力切換スイッチであるＳＷ１はＳＷ１０１側に切り換わり、書込ＦＭ選択スイッチであるＳＷ２はＳＷ２０２側に接続されているので、加算平均された（画像０１＋画像０２＋画像０３＋画像０４）／４はフレームメモリＦＭ３に記憶される。
以下、同様にして、連続する４枚の撮影画像データの加算平均値は、フレームメモリＦＭ２，フレームメモリＦＭ３に交互に記憶されることになる。
このようにしてフレームメモリＦＭ２，フレームメモリＦＭ３に記憶された４枚の撮影画像データの加算平均値は、図７に示すように、フレームメモリＦＭ２，フレームメモリＦＭ３の一方においてデータ書き換えがなされたタイミングで読出ＦＭ選択スイッチであるＳＷ３が切り換わるので、外部に出力されることになる。つまり、ＳＷ２およびＳＷ３の書き込みと読み出しとは、交互に切り換わることになる。
なお、ＳＷ１，ＳＷ２，ＳＷ３は、動作を明確化するために記載したものであり、フレームメモリの書込動作および読出動作を適宜制御するようにすれば、ＳＷ１，ＳＷ２，ＳＷ３を必ずしも設けなくてもよい。
【００５４】
次に、本実施形態の表示画像撮影装置の作用を図１、図３〜図５、図８に基づいて説明する。
図１に示すように、キャリブレーション用カメラ６によってスクリーン１上に投影表示された画像を連続撮影して２枚分の撮影画像データを得る際には、プロジェクタの照明用光源のフリッカー周期およびゆらぎ周期と、キャリブレーション用カメラ６のシャッター時間との関係によって、「所望の平均的な明るさ」からズレた撮影画像となる場合がある。
例えば図８に示すように、プロジェクタの照明用光源のフリッカー周期が１／６０秒であり、プロジェクタのゆらぎ周期が１秒である場合にキャリブレーション用カメラ６のシャッター時間を１／６０秒よりも短く設定した場合には、フリッカー波形のどのタイミングで撮影するかによって輝度レベルが変化するので、シャッター時間をプロジェクタのフリッカー周期の整数倍にする必要があるが、そのためには、プロジェクタのフリッカー周期およびゆらぎ周期を検出することが要求される。
【００５５】
そこで、本実施形態では、図３のフローチャートのステップＳ１（すなわち図４のフローチャート）を実行することによりプロジェクタのフリッカー周期を検出し、ステップＳ２でキャリブレーション用カメラ６のシャッター時間を前記フリッカー周期の整数倍に制御することによりフリッカーの影響を最少にするとともに、ステップＳ３で撮影画像の信号レベルが飽和しない適正な信号レベルになるように露出合わせしてからステップＳ４（すなわち図５のフローチャート）を実行することによりプロジェクタのゆらぎ周期を検出するとともに前記ゆらぎ周期に対応する繰り返し撮影回数を決定した後に、ステップＳ５で前記フリッカー周期の整数倍のシャッター速度を用いてキャリブレーション用カメラ６によりスクリーン１上に投影表示された画像を前記繰り返し撮影回数だけ繰り返し撮影し、ステップＳ６で前記繰り返し撮影回数分の撮影画像の平均化処理を行うから、ステップＳ６においてフリッカー補正およびゆらぎ補正された撮像画像が生成されることになる。したがって、本実施形態の表示画像撮影装置は、プロジェクタのフリッカーに起因する輝度変化およびプロジェクタのゆらぎに起因する輝度変化の双方を補正し得る表示画像撮影装置となり、プロジェクタのフリッカーに起因する輝度変化およびプロジェクタのゆらぎに起因する輝度変化の双方を補正し得る表示画像撮影方法を提供することができる。
【００５６】
なお、上記第１実施形態では、撮影画像の信号レベルが飽和しない適正な信号レベルになるようにキャリブレーション用カメラ６のＣＣＤ６ｃへの入射光量を制限する入射光量制御手段として「絞り６ｃおよび絞り駆動部６ｉより成る絞り機構」を用いているが、代わりに、図９に示すように、「駆動回路６ｊと、駆動回路６ｊにより駆動されるモータ９と、モータ９の回転によってＮＤフィルタ１０ａ、ＮＤフィルタ１０ｂ、ＮＤフィルタ１０ｃ、空洞１０ｄの何れか１つをＣＣＤ６ｃの光路上前方に配置されるターレット１０とから成るＮＤフィルタ機構」を用いるようにしてもよい。なお、上記絞り機構および上記ＮＤフィルタ機構を併用するように構成してもよい。
【００５７】
また、上記第１実施形態において、図３のステップＳ４のゆらぎ周期の検出を複数回行ってゆらぎ周期を複数回検出し、［（ゆらぎ周期最大値−ゆらぎ周期最小値）／ゆらぎ周期最大値］で定義されるゆらぎ偏差を求め、ゆらぎ偏差の逆数に基づいて繰り返し撮影回数を決定し、該繰り返し撮影回数だけ図３のステップＳ５の本撮影を行うようにすれば、ゆらぎ周期検出値のばらつきを解消して正確にゆらぎ周期を求めることができるようになるので、投影手段であるプロジェクタのゆらぎに起因する輝度変化を正確に補正することができる。具体例を挙げると、ステップＳ４のゆらぎ周期検出を３回行った場合のゆらぎ周期検出値が０．９秒、０．９５秒、１秒である場合、ゆらぎ偏差は、（１−０．９）／１＝０．１＝１０％であるので、その逆数である１０回が繰り返し撮影回数になる。
【００５８】
［第２実施形態］
図１０は本発明の第２実施形態の表示画像撮影装置に用いるキャリブレーション用カメラ、パーソナルコンピュータおよび輝度センサの詳細構成を示す図である。本実施形態は、上記第１実施形態に対して、「輝度センサ１１を追加して輝度センサ１１の検出信号をＰＣ５の輝度レベル検出部５ａに入力する変更」を加えたものである。なお、上記輝度センサ１１としては、ＣＣＤやＣＭＯＳセンサ等を用いるものとする。
【００５９】
本実施形態の表示画像撮影装置は、キャリブレーション用カメラ６とは別に、プロジェクタの照明用光源等の輝度を検出することによってプロジェクタの照明用光源のフリッカー周期やゆらぎ周期を検出する輝度センサ１１を設けたため、上記第１実施形態と同様の「キャリブレーション用カメラ６の撮影画像データの信号レベル比較によって、プロジェクタの照明用光源のフリッカー周期を検出する図４の処理」および「キャリブレーション用カメラ６の撮影画像データの信号レベル比較によって、プロジェクタの光源や筺体の熱に起因するゆらぎのゆらぎ周期を検出する図５の処理」の一部または全部を省略することができる。よって、輝度センサ１１によって検出したプロジェクタの光源のフリッカー周期に起因する輝度変化およびプロジェクタのゆらぎに起因する輝度変化を用いることにより、「プロジェクタの照明用光源のフリッカー周期を検出する図４の処理」および「プロジェクタの光源や筺体の熱に起因するゆらぎのゆらぎ周期を検出する図５の処理」の一部または全部を省略して、キャリブレーション用カメラ６のシャッター速度、露光条件および撮影回数を最適化することができるようになるので、「フリッカー補正およびゆらぎ補正に関する一連の処理に要する時間」を短縮してキャリブレーションを高速化することができる。
また、本実施形態の表示画像撮影装置は、キャリブレーション用カメラ６の撮影とは無関係に、リアルタイムでプロジェクタの照明用光源のフリッカー周期およびゆらぎ周期を検出できるので、本撮影中であってもフリッカー補正およびゆらぎ補正に対応できる、という利点もある。
【００６０】
［第３実施形態］
図１１は本発明の第３実施形態の表示画像撮影方法の実施に用いる表示画像撮影装置に用いるキャリブレーション用カメラ、パーソナルコンピュータおよびプロジェクタの詳細構成を示す図である。図１１では、説明の都合上、複数台のプロジェクタの内の１台のプロジェクタ（プロジェクタ１２）のみを記載している。本実施形態は、上記第１実施形態に対して、ＰＣ５の内部構成を入れ換える変更を加えたものである。
すなわち、本実施形態のＰＣ５は、第１実施形態のＰＣ５における輝度レベル検出部５ａおよび輝度レベル比較部５ｃを省略し、代わりに温度−ゆらぎ周期テーブル５ｇ、経過時間−ゆらぎ周期テーブル５ｈおよび撮影条件決定部５ｉを追加して構成したものである。図１１では、説明の都合上、ＰＣ５の色フィルタ切換部５ｆ、色フィルタ機構８およびスクリーン１の記載を省略している。なお、本実施形態では温度−ゆらぎ周期テーブル５ｇ、経過時間−ゆらぎ周期テーブル５ｈの双方を設けているが、何れか一方のみを設けるようにしてもよい。
【００６１】
上記温度−ゆらぎ周期テーブル５ｇは、プロジェクタ１２の筺体内の温度に対するプロジェクタ１２のゆらぎ周期の特性を予め記憶したものである。プロジェクタ１２の筺体内の温度検出部１２ａによって温度検出を行うＣＰＵ１２ｂから「プロジェクタ温度に関する信号」がＰＣ５に入力されると、当該プロジェクタ温度をパラメータとして温度−ゆらぎ周期テーブル５ｇを参照することにより、当該プロジェクタ温度に対応するプロジェクタ１２のゆらぎ周期を求めることができる。
上記経過時間−ゆらぎ周期テーブル５ｈは、プロジェクタ１２の照明光光源であるランプのランプ経過時間（ランプの累積使用時間）に対するプロジェクタ１２のゆらぎ周期の特性を予め記憶したものである。プロジェクタ１２においてランプ駆動部１２ｃによるランプ（照明光光源）の駆動状態を監視しているＣＰＵ１２ｂから「ランプ経過時間（ランプの累積使用時間）に関する信号」がＰＣ５に入力されると、当該ランプ経過時間をパラメータとして経過時間−ゆらぎ周期テーブル５ｈを参照することにより、当該ランプ経過時間に対応するプロジェクタ１２のゆらぎ周期を求めることができる。
【００６２】
本実施形態の表示画像撮影装置において実施するフリッカー補正およびゆらぎ補正に関する処理は、図３のフローチャートに示す第１実施形態の処理とほぼ同様であるが、図３のステップＳ４中の「ゆらぎ周期の検出」の具体的な処理は、上記第１実施形態において用いた図５の「実際の撮影画像データに基づいてゆらぎ周期を検出（決定）する処理」の代わりに、上述した「経過時間データによる経過時間−ゆらぎ周期テーブルの参照、あるいは、温度データによる温度−ゆらぎ周期テーブルに参照に基づいてゆらぎ周期を検出（決定）する処理」を用いている。
【００６３】
本実施形態の表示画像撮影装置は、プロジェクタ１２のランプの経過時間に対するゆらぎ周期の特性を予め記憶した経過時間−ゆらぎ周期テーブル５ｇおよびプロジェクタ１２の温度に対するゆらぎ周期の特性を予め記憶した温度−ゆらぎ周期テーブル５ｈの少なくとも一方を作成しておき、撮影時に経過時間および前記温度の少なくとも一方をパラメータとして経過時間−ゆらぎ周期テーブル５ｇおよび温度−ゆらぎ周期テーブル５ｈを参照することによりゆらぎ周期を求め、該ゆらぎ周期に基づいて繰り返し撮影回数を決定し、フリッカー周期の整数倍のシャッター時間を用いてキャリブレーション用カメラ６によりスクリーン１上に投影表示された画像を前記繰り返し撮影回数だけ繰り返し撮影するので、第１実施形態の実測データに基づくゆらぎ周期検出工程を、上記パラメータによる経過時間−ゆらぎ周期テーブル、温度−ゆらぎテーブルの参照に基づくゆらぎ周期検出工程に置き換えることによって、処理の高速化が期待できるようになる。
【００６４】
［第４実施形態］
図１２は本発明の第４実施形態の表示画像撮影方法の実施に用いる表示画像撮影装置に用いるキャリブレーション用カメラ、パーソナルコンピュータおよびプロジェクタの詳細構成を示す図である。図１２では、説明の都合上、複数台のプロジェクタの内の１台のプロジェクタ（プロジェクタ１２）のみを記載している。本実施形態は、上記第１実施形態に対して、ＰＣ５の内部構成を入れ換える変更を加えたものである。
すなわち、本実施形態のＰＣ５は、第１実施形態のＰＣ５に、第３実施形態と同様の温度−ゆらぎ周期テーブル５ｇ、経過時間−ゆらぎ周期テーブル５ｈおよび撮影条件決定部５ｉを追加するとともに、選択部５ｊを追加して構成したものである。図１２では、説明の都合上、ＰＣ５の色フィルタ切換部５ｆ、色フィルタ機構８およびスクリーン１の記載を省略している。なお、本実施形態では温度−ゆらぎ周期テーブル５ｇ、経過時間−ゆらぎ周期テーブル５ｈの双方を設けているが、何れか一方のみを設けるようにしてもよい。
【００６５】
本実施形態の表示画像撮影装置は、上記第１実施形態の表示画像撮影方法および上記第３実施形態の表示画像撮影方法の双方を行い得るように構成されており、ＰＣ５に設けた選択部５ｊは、第１実施形態の表示画像撮影方法でキャリブレーション用カメラ６によりスクリーン１上に投影表示された画像を複数回撮影した場合の撮影画像のばらつきと、第３実施形態の表示画像撮影方法でキャリブレーション用カメラ６によりスクリーン１上に投影表示された画像を複数回撮影した場合の撮影画像のばらつきとを比較し、ばらつきの少ない方の表示画像撮影方法を選択するように構成されている。
したがって、本実施形態の表示画像撮影装置は、複数回撮影した場合の撮影画像のばらつきを最小にすることができるので、プロジェクタ１２のフリッカーに起因する輝度変化およびプロジェクタ１２のゆらぎに起因する輝度変化の双方を確実に補正することができるようになる。
【００６６】
［第５実施形態］
図１３は本発明の第５実施形態の表示画像撮影方法の実施に用いる表示画像撮影装置に用いるキャリブレーション用カメラ、パーソナルコンピュータおよびプロジェクタの詳細構成を示す図である。図１２では、説明の都合上、複数台のプロジェクタの内の１台のプロジェクタ（プロジェクタ１２）のみを記載している。本実施形態は、上記第１実施形態に対して、ＰＣ５の内部構成を入れ換える変更を加えたものである。
すなわち、本実施形態のＰＣ５は、第１実施形態のＰＣ５ににおける撮影回数設定部５ｅを省略し、代わりにゆらぎ周期検出部５ｋを追加して構成したものである。図１１では、説明の都合上、ＰＣ５の色フィルタ切換部５ｆ、色フィルタ機構８およびスクリーン１の記載を省略している。
【００６７】
本実施形態の表示画像撮影装置は、上記第１実施形態のように「撮影回数設定部５ｅが露光制御部５ｄに対してキャリブレーション用カメラ６による撮影回数を直接指示する」のではなく、「ゆらぎ周期検出部５ｋが露光制御部５ｄに対してキャリブレーション用カメラ６による撮影時間としてのゆらぎ周期を指示する」ように構成されている。そのため、プロジェクタ１２によってスクリーン１上に投影表示された画像をキャリブレーション用カメラ６によって撮影する際には、プロジェクタ１２のフリッカー周期を検出し、キャリブレーション用カメラ６のシャッター時間を前記フリッカー周期の整数倍に制御し、ゆらぎ周期検出部５ｋによってプロジェクタ１２の照明光に起因する輝度変化あるいはプロジェクタ１２の筐体の熱等に起因する輝度変化であるゆらぎ周期を検出し、前記フリッカー周期の整数倍のシャッター時間を用いてキャリブレーション用カメラ６によりスクリーン１上に投影表示された画像を前記ゆらぎ周期の間繰り返し撮影し、前記繰り返し撮影工程によって得られる前記ゆらぎ周期に対応する枚数の撮影画像を平均化することになる。
したがって、本実施形態の表示画像撮影装置は、プロジェクタのフリッカーに起因する輝度変化およびプロジェクタのゆらぎに起因する輝度変化の双方を補正し得る表示画像撮影装置となり、プロジェクタのフリッカーに起因する輝度変化およびプロジェクタのゆらぎに起因する輝度変化の双方を補正し得る表示画像撮影方法を提供することができる。
【００６８】
なお、上記各実施形態では、スクリーン上に投射される画像が一部オーバーラップしたシームレスマルチディスプレイ装置に本発明のフリッカー対策およびゆらぎ対策を適用した例について説明したが、本発明により実現し得るフリッカー対策およびゆらぎ対策は、「プロジェクタの照明用光源のフリッカーや、プロジェクタの光源や筺体の熱に起因するゆらぎに類似するゆらぎがある、他の光源」によって照明された被写体を撮影して画像データを取得する撮影システムにも適用可能であり、その場合、フリッカーおよびゆらぎの影響が少ない画像が取得できるようになるので有利である。
【図面の簡単な説明】
【００６９】
【図１】本発明の第１実施形態の表示画像撮影方法の実施に用いる表示画像撮影装置の全体構成を示す図である。
【図２】第１実施形態の表示画像撮影装置に用いるキャリブレーション用カメラおよびパーソナルコンピュータの詳細構成を示す図である。
【図３】第１実施形態の表示画像撮影装置において実施するフリッカー補正およびゆらぎ補正のための処理の概略を示すフローチャートである。
【図４】第１実施形態の表示画像撮影装置において実施するフリッカ周期の検出のための処理を示すフローチャートである。
【図５】第１実施形態の表示画像撮影装置において実施するゆらぎ周期の検出のための処理を示すフローチャートである。
【図６】第１実施形態の表示画像撮影装置における撮影画像データの平均化処理を説明するためのフレームメモリの機能ブロック図である。
【図７】図６のフレームメモリのスイッチの状態推移を示す図である。
【図８】第１実施形態の表示画像撮影装置の作用の説明に用いる、フリッカー周期およびゆらぎ周期と信号レベルとの関係を例示する図である。
【図９】第１実施形態の表示画像撮影装置の変形例を示す図である。
【図１０】本発明の第２実施形態の表示画像撮影方法の実施に用いる表示画像撮影装置の全体構成を示す図である。
【図１１】本発明の第３実施形態の表示画像撮影方法の実施に用いる表示画像撮影装置に用いるキャリブレーション用カメラ、パーソナルコンピュータおよびプロジェクタの詳細構成を示す図である。
【図１２】本発明の第４実施形態の表示画像撮影方法の実施に用いる表示画像撮影装置に用いるキャリブレーション用カメラ、パーソナルコンピュータおよびプロジェクタの詳細構成を示す図である。
【図１３】本発明の第５実施形態の表示画像撮影方法の実施に用いる表示画像撮影装置に用いるキャリブレーション用カメラ、パーソナルコンピュータおよびプロジェクタの詳細構成を示す図である。
【符号の説明】
【００７０】
１ スクリーン
２ オーバーラップ部分
３，３ａ，３ｂ，３ｃ，３ｄ プロジェクタ
４ 画像補正処理部
５ パーソナルコンピュータ（ＰＣ）
５ａ 輝度レベル検出部
５ｂ 補正データ算出記憶部
５ｃ 輝度レベル比較部
５ｄ 露光制御部
５ｅ 撮影回数設定部
５ｆ 色フィルタ切換制御部
５ｇ 経過時間−ゆらぎ周期テーブル
５ｈ 温度−ゆらぎ周期テーブル
５ｉ 撮影条件決定部
５ｊ 選択部
５ｋ ゆらぎ周期検出部
６ キャリブレーション用カメラ
６ａ レンズ機構
６ｂ 絞り機構
６ｃ ＣＣＤ
６ｄ Ｓ／Ｈ・ＡＧＣ回路
６ｅ Ａ／Ｄ変換部
６ｆ カメラ信号処理部
６ｇ 入出力Ｉ／Ｆ部
６ｈ ＣＣＤ駆動部
６ｉ 絞り駆動部
６ｊ 駆動回路
８ 色フィルタ機構
８ａ Ｘフィルタ
８ｂ Ｙフィルタ
８ｃ Ｚフィルタ
８ｄ ターレット
８ｆ 空洞
９ モータ
１０ ターレット
１０ａ，１０ｂ，１０ｃ ＮＤフィルタ
１０ｄ 空洞
１１ 輝度センサ
１２ プロジェクタ
１２ａ 温度検出部
１２ｂ ＣＰＵ
１２ｃ ランプ駆動部
【技術分野】
【０００１】
本発明は、投影手段によって表示面上に投影表示された画像を撮影手段によって撮影する表示画像撮影方法および投影手段によって表示面上に投影表示された画像を撮影する表示画像撮影装置に関するものである。
【背景技術】
【０００２】
従来、複数台のプロジェクタからそれぞれ分割画像をスクリーン上に投影することにより全体画像を表示するマルチディスプレイ装置が提案されている。このマルチディスプレイ装置では、各分割画像の端部にオーバーラップ部分を持たせておき、隣接するオーバーラップ部分を貼り合わせて１つの全体画像を形成するようにしているため、高精細大画面表示が可能である。このマルチディスプレイ装置は、同一仕様の複数台のプロジェクタを用いて構成されているが、プロジェクタを配置するときの位置精度等に起因する幾何ずれ以外に、プロジェクタの構成部品のばらつきや照明ランプの明るさのばらつき等に起因して、色のばらつき、明るさ（輝度）のばらつき、ホワイトバランスの相違等が発生することがある。その場合、複数枚の分割画像をオーバーラップさせて貼り合わせることにより全体画像を表示する際に、各分割画像間の色や明るさのばらつきによって繋ぎ合わせ部分が目立ってしまい、表示品質を損ねてしまう。そこで、このような従来のマルチディスプレイ装置では、スクリーンの前にキャリブレーション用カメラ（例えばデジタルカメラ）を設置して、スクリーン上に表示した画像（例えばテストパターン画像）を撮影し、撮影画像データに基づいて補正データ（例えば各プロジェクタにおける色の特性を示すプロファイル）を生成しておき、各プロジェクタから部分画像を投影する際に各々のプロファイルを参照して色補正や幾何補正を行うようにしている。
プロファイルを作成する他の従来技術としては、テストパターン画像をスクリーンに投影してデジタルカメラ等の撮影手段で撮影して、撮影データからプロファイルを作成するシステムがある。なお、以下においては、テストパターン画像をデジタルカメラで撮影してプロファイルを作成することを「キャリブレーション」と称し、そのために用いるカメラを「キャリブレーション用カメラ」と称し、そのために用いるシステムを「キャリブレーションシステム」と称することにする。
【０００３】
上記マルチディスプレイ装置に適用されるキャリブレーションシステムにおいて色補正データを取得する際には、ＰＣ（パーソナルコンピュータ）からテストパターンを各プロジェクタに送出して、各プロジェクタからスクリーン上に輝度および色の異なるテストパターンを時系列的に投影したときに、スクリーンに表示されたテストパターンをキャリブレーション用カメラで撮影し、撮影データをＰＣに保存して、ＰＣ内で補正データを算出する。これによって得られた補正データは、画像補正処理部に送られて、そこで実際の表示に用いる画像データをリアルタイムに補正して、各プロジェクタに送出するので、補正を盛り込んだ画像を投影することにより、色、輝度が補正された画像がスクリーンに表示されることになる。なお、色補正には、各プロジェクタ間の色ムラ（または各プロジェクタ内の色ムラ）を軽減させるための小面積毎あるいは画素毎のガンマ補正と、Ｒ（Ｒｅｄ），Ｇ（Ｇｒｅｅｎ），Ｂ（Ｂｌｕｅ）各色の表示レベルを合せるホワイトバランス補正とがある。
【０００４】
上記キャリブレーションシステムにおいてガンマ補正データを取得する際には、輝度レベルが適当な範囲になるようなシャッタースピードをキャリブレーション用カメラ（例えばデジタルカメラ）に設定した後、ＲＧＢ各色において最低レベル（黒）から最高レベルまでの間の所定輝度値刻みの複数枚の画像（テストパターン）を順次スクリーンに投影して、それぞれの画像を撮影し、ＰＣにおいて輝度レベルを検出した後、各プロジェクタの輝度レベル差を算出して、各プロジェクタの輝度レベル差を解消するような補正データを作成する。
一方、ホワイトバランス補正データを取得する際には、輝度レベルが適当な範囲になるようなシャッタースピードをキャリブレーション用カメラ（例えばデジタルカメラ）に設定した後、キャリブレーション用カメラ側で、例えばＣＩＥ １９３１ ＸＹＺ表色系 等色関数のＸ，Ｙ，Ｚの各波長領域を通過するフィルタである、Ｘフィルタ、Ｙフィルタ、Ｚフィルタを順次カメラ光路上に挿入した状態で、各フィルタについて、画像（テストパターン）として、Ｒの輝度値２５５（全赤）のテストパターン、Ｇの輝度値２５５（全緑）のテストパターン、Ｂの輝度値２５５（全青）のテストパターンを順次スクリーンに投影して、それぞれの画像を撮影し、ＰＣにおいて各色のバランスがとれるように補正データを作成する。
【０００５】
上述したキャリブレーションシステムにおいてガンマ補正データやホワイトバランス補正データを得るために複数枚の画像（テストパターン）を撮影する際には、キャリブレーション用カメラ（例えばデジタルカメラ）において、シャッター速度調整等の露光制御を行う必要があるが、プロジェクターの投影画面には以下の３点の特有な輝度変化がある。
（１）表示周期によるフリッカー
単板ＤＬＰプロジェクターは、時系列にＲＧＢを順次投影しているので、それぞれの色のタイミングで輝度変化することになり、例えば一色あたり１／６０秒や１／１２０秒の周期で点灯している。
（２）プロジェクタの光源や筺体の熱に起因するゆらぎによる輝度変化
プロジェクタの照明用光源として一般的に用いられる超高圧水銀ランプやキセノンランプのような電極間の放電を利用した放電管形式の光源は、封入されたガスの対流等の影響により放射強度にゆらぎが発生するので、そのような光源から投影された照明光の輝度分布は不安定なものとなる。また、プロジェクタ筐体から発せられる熱に起因する光路上の空気のゆらぎにより投影した画像の輝度が不安定に変化する。
（３）正弦波高周波電力による光源のちらつき
プロジェクタの電力として交流電力（５０Ｈｚ）を数倍高速にした正弦波高周波電力を使用するが、一般に２００〜５００Ｈｚなので、人間の目では気にならない周期の輝度変化である。この（３）の周期は、上記（１），（２）の周期より比較的早い周期なので、上記（１），（２）に対応した低速シャッター速度にすれば、（３）の影響は平均化されてしまうので、ほとんどなくなる。
以上のように、電気的処理に起因する輝度変化を招くフリッカーと、光源や筺体の熱に起因する輝度変化を招くゆらぎとを考慮した適当な露光条件で撮影を行わないと、「所望の平均的な明るさ」からズレた画像が撮影されることになる。より具体的に説明すると、黒から白へ徐々に輝度を変化させながら撮影するときにフリッカーやゆらぎの影響を受けると正確な輝度変化データを取得できないので、適切な補正データが得られず、プロジェクタ間の輝度レベルが合わない等の不具合を招くことになる。
【０００６】
フリッカーの対策を行う従来技術としては、被写体の照明光の変化を検出する照明光検出手段の検出出力を周波数解析手段で周波数解析して、周波数解析手段の出力における最も多い周波数成分の周期の整数倍を露光時間として算出し、その露光時間を被写体の光学像を撮影する撮像素子に与えるもの（例えば特許文献１参照、以下、従来技術１という）および、第１の画像信号と、第１の画像信号を増幅して第２の画像信号を出力する増幅手段と、第１の画像信号を第１の周期でサンプリングした第１の信号レベルと第２の画像信号を第１の周期より短い第２の周期でサンプリングした第２の信号レベルとに基づいて前記増幅手段の利得を制御する利得制御手段とを備え、前記第２の周期が前記第１の画像信号の画像の撮影に用いられた照明用光源の放射強度のゆらぎの周期に対応する画像信号用ゆらぎ補償回路（例えば特許文献２参照、以下、従来技術２という）がある。なお、上記に加えて、基本的なフリッカー対策として、「フリッカー周期にシャッター速度を合致させること」がある。
【０００７】
【特許文献１】特開平７−３３６５８６号公報
【特許文献２】特開２００４−１４１３８２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
従来技術１は、フリッカーの原因が蛍光灯（１００Ｈｚ）等の比較的高周波数かつ一定の周波数である場合を想定した対策であるので、ゆらぎ周期がシャッター時間より遅い（長い）場合は対応できない、という問題がある。
また、従来技術２は、フリッカー周期に応じてシャッター時間を変化させる代わりに増幅手段の利得を制御する（増加させる）ようにしているので、利得の増加に伴い画像信号のＳ/Ｎ比が悪化する、という問題がある。
さらに、上記従来技術１および従来技術２は、共に、フリッカーのみの対策を行う技術であるため、「プロジェクタの光源や筐体の熱に起因するゆらぎによる輝度変化」に対応していないという問題がある。
【０００９】
本発明は、投影手段のフリッカーに起因する輝度変化および投影手段のゆらぎに起因する輝度変化の双方を補正し得る表示画像撮影方法を提供することを第１の目的とする。
本発明は、投影手段のフリッカーに起因する輝度変化および投影手段のゆらぎに起因する輝度変化の双方を補正し得る表示画像撮影装置を提供することを第２の目的とする。
【課題を解決するための手段】
【００１０】
上記第１の目的を達成するため、請求項１に記載の第１発明は、投影手段によって表示面上に投影表示された画像を撮影手段によって撮影する表示画像撮影方法であって、前記投影手段のフリッカー周期を検出するフリッカー周期検出工程と、前記撮影手段のシャッター時間を前記フリッカー周期の整数倍に制御するシャッター時間制御工程と、前記投影手段の照明光に起因する輝度変化あるいは前記投影手段の筐体の熱等に起因する輝度変化であるゆらぎ周期を検出するゆらぎ周期検出工程と、前記シャッター時間に基づいて前記ゆらぎ周期に対応する繰り返し撮影回数を決定する撮影回数決定工程と、前記フリッカー周期の整数倍のシャッター時間を用いて前記撮影手段により前記表示面上に投影表示された画像を前記決定された繰り返し撮影回数だけ繰り返し撮影する繰り返し撮影工程と、前記繰り返し撮影工程によって得られる前記繰り返し撮影回数分の撮影画像を平均化する撮影画像平均化工程と、を順次行うことを特徴とする。
【００１１】
請求項２に記載の第２発明は、前記フリッカー周期検出工程は、高速の同一シャッター速度を用いて前記撮影手段により前記表示面上に投影表示された画像を複数回撮影する第１工程と、前記撮影手段により同一シャッター速度で撮影した複数回分の撮影画像の信号レベルを比較してレベル差を求める第２工程と、前記同一シャッター速度よりも低速な同一シャッター速度を用いて前記撮影手段により前記表示面上に投影表示された画像を前記複数回撮影する第３工程と、前記撮影手段により前記低速な同一シャッター速度で撮影した複数回分の撮影画像の信号レベルを比較してレベル差を求める第４工程と、前記第２工程における前回のレベル差と前記第４工程における今回のレベル差とを比較する第５工程と、前記第５工程の比較において前回のレベル差が今回のレベル差以上である間、シャッター速度を徐々に低速側にシフトして前記第３工程〜前記第５工程を繰り返す第６工程と、前記第５工程の比較において前回のレベル差が今回のレベル差未満になったとき、前回のレベル差に対応するシャッター速度を前記投影手段のフリッカー周期として検出する第７工程と、から成ることを特徴とする。
【００１２】
請求項３に記載の第３発明は、前記シャッター時間制御工程は、撮影画像の信号レベルが飽和しない信号レベルになるように前記撮影手段への入射光量を制限する入射光量制御手段の入射光量制限状態と、シャッター時間との組合せにより制御することを特徴とする。
【００１３】
請求項４に記載の第４発明は、前記ゆらぎ周期検出工程は、前記シャッター時間制御工程によりフリッカー周期の整数倍に制御されたシャッター時間を用いて前記撮影手段により前記表示面上に投影表示された画像をＮ（Ｎ＝１，２，・・）回撮影する工程である工程Ｘおよび工程Ｙを行う撮影工程と、前記工程Ｘによって得られる撮影画像および前記工程Ｙによって得られる撮影画像をそれぞれ加算平均する加算平均工程と、前記工程Ｘの加算平均された撮影画像と前記工程Ｙの加算平均された撮影画像とのレベルを比較してレベル差を求めるレベル差算出工程と、撮影回数が（Ｎ−１）の場合のレベル差と撮影回数がＮの場合のレベル差とを比較するレベル差比較工程と、前記レベル差比較工程において撮影回数がＮの場合のレベル差が撮影回数が（Ｎ−１）の場合のレベル差よりも小さい場合は、撮影回数を（Ｎ＋１）として前記撮影工程〜前記レベル差比較工程を繰り返す再撮影工程と、前記レベル差比較工程において撮影回数がＮの場合のレベル差が撮影回数が（Ｎ−１）の場合のレベル差よりも大きくなった場合は、撮影回数を（Ｎ−１）に決定する撮影回数決定工程と、から成り、前記撮影工程におけるシャッター速度と前記撮影回数決定工程により決定された撮影回数との積を前記ゆらぎ周期として検出することを特徴とする。
【００１４】
請求項５に記載の第５発明は、前記ゆらぎ周期検出工程を複数回行って前記ゆらぎ周期を複数回検出し、［（ゆらぎ周期最大値−ゆらぎ周期最小値）／ゆらぎ周期最大値］で定義されるゆらぎ偏差の逆数に基づいて決定した繰り返し撮影回数だけ前記繰り返し撮影工程を行うことを特徴とする。
【００１５】
請求項６に記載の第６発明は、前記投影手段の照明光光源の経過時間に対するゆらぎ周期の特性を予め記憶した経過時間−ゆらぎ周期テーブルおよび前記投影手段の温度に対するゆらぎ周期の特性を予め記憶した温度−ゆらぎ周期テーブルの少なくとも一方を作成しておき、撮影時に前記経過時間および前記温度の少なくとも一方をパラメータとして前記経過時間−ゆらぎ周期テーブルおよび前記温度−ゆらぎ周期テーブルを参照することによりゆらぎ周期を求めることを特徴とする。
【００１６】
請求項７に記載の第７発明は、第６発明の表示画像撮影方法で前記表示面上に投影表示された画像を複数回撮影した場合の撮影画像のばらつきと、第１発明〜第４発明の何れかの表示画像撮影方法で前記表示面上に投影表示された画像を複数回撮影した場合の撮影画像のばらつきとを比較し、ばらつきの少ない方の表示画像撮影方法を選択することを特徴とする。
【００１７】
上記第１の目的を達成するため、請求項８に記載の第８発明は、投影手段によって表示面上に投影表示された画像を撮影手段によって撮影する表示画像撮影方法であって、前記投影手段のフリッカー周期を検出するフリッカー周期検出工程と、前記撮影手段のシャッター時間を前記フリッカー周期の整数倍に制御するシャッター時間制御工程と、ゆらぎ周期検出手段によって前記投影手段の照明光に起因する輝度変化あるいは前記投影手段の筐体の熱等に起因する輝度変化であるゆらぎ周期を検出するゆらぎ周期検出工程と、前記フリッカー周期の整数倍のシャッター時間を用いて前記撮影手段により前記表示面上に投影表示された画像を前記ゆらぎ周期の間繰り返し撮影する繰り返し撮影工程と、前記繰り返し撮影工程によって得られる前記ゆらぎ周期に対応する枚数の撮影画像を平均化する撮影画像平均化工程と、を順次行うことを特徴とする。
【００１８】
上記第２の目的を達成するため、請求項９に記載の第９発明は、投影手段によって表示面上に投影表示された画像を撮影する表示画像撮影装置であって、前記表示面上に投影表示された画像を撮影して撮影画像を出力する撮影手段と、前記投影手段のフリッカー周期を検出するフリッカー周期検出手段と、前記撮影手段のシャッター時間を前記フリッカー周期の整数倍に制御するシャッター時間制御手段と、前記投影手段の照明光に起因する輝度変化あるいは前記投影手段の筐体の熱等に起因する輝度変化であるゆらぎ周期を検出するゆらぎ周期検出手段と、前記シャッター時間に基づいて前記ゆらぎ周期に対応する繰り返し撮影回数を決定する撮影回数決定手段と、前記フリッカー周期の整数倍のシャッター時間を用いて前記撮影手段により前記表示面上に投影表示された画像を前記決定された繰り返し撮影回数だけ繰り返し撮影する繰り返し撮影手段と、前記繰り返し撮影手段によって得られる前記繰り返し撮影回数分の撮影画像を平均化する撮影画像平均化手段と、を具備して成ることを特徴とする。
【００１９】
請求項１０に記載の第１０発明は、前記フリッカ周期検出手段および前記ゆらぎ周期検出手段として機能するセンサを別に設けたことを特徴とする。
【発明の効果】
【００２０】
第１発明によれば、投影手段によって表示面上に投影表示された画像を撮影手段によって撮影する際には、前記投影手段のフリッカー周期を検出し、前記撮影手段のシャッター時間を前記フリッカー周期の整数倍に制御し、前記投影手段の照明光に起因する輝度変化あるいは前記投影手段の筐体の熱等に起因する輝度変化であるゆらぎ周期を検出し、前記シャッター時間に基づいて前記ゆらぎ周期に対応する繰り返し撮影回数を決定した後に、前記フリッカー周期の整数倍のシャッター時間を用いて前記撮影手段により前記表示面上に投影表示された画像を前記決定された繰り返し撮影回数だけ繰り返し撮影し、前記繰り返し撮影工程によって得られる前記繰り返し撮影回数分の撮影画像を平均化するので、投影手段のフリッカーに起因する輝度変化および投影手段のゆらぎに起因する輝度変化の双方を補正し得る表示画像撮影方法を提供することができる。
【００２１】
第２発明によれば、前記フリッカー周期検出工程は、高速の同一シャッター速度を用いて前記撮影手段により前記表示面上に投影表示された画像を複数回撮影し、前記撮影手段により同一シャッター速度で撮影した複数回分の撮影画像の信号レベルを比較してレベル差を求め、前記同一シャッター速度よりも低速な同一シャッター速度を用いて前記撮影手段により前記表示面上に投影表示された画像を前記複数回撮影し、前記撮影手段により前記低速な同一シャッター速度で撮影した複数回分の撮影画像の信号レベルを比較してレベル差を求め、前記第２工程における前回のレベル差と前記第４工程における今回のレベル差とを比較し、前記第５工程の比較において前回のレベル差が今回のレベル差以上である間、シャッター速度を徐々に低速側にシフトして前記第３工程〜前記第５工程を繰り返し、前記第５工程の比較において前回のレベル差が今回のレベル差未満になったとき、前回のレベル差に対応するシャッター速度を前記投影手段のフリッカー周期として検出するから、前記投影手段のフリッカー周期に対応するシャッター速度を求めることができる。
【００２２】
第３発明によれば、前記シャッター時間制御工程は、撮影画像の信号レベルが飽和しない信号レベルになるように前記撮影手段への入射光量を制限する入射光量制御手段の入射光量制限状態と、シャッター時間との組合せにより制御するから、撮影手段により撮影した撮影画像の信号レベル（輝度レベル）は飽和しないような適当な範囲に収まるので、撮影手段により撮影した撮影画像を用いて適正にフリッカー補正およびゆらぎ補正を行うことができる。
【００２３】
第４発明によれば、前記ゆらぎ周期検出工程は、前記シャッター時間制御工程によりフリッカー周期の整数倍に制御されたシャッター時間を用いて前記撮影手段により前記表示面上に投影表示された画像をＮ（Ｎ＝１，２，・・）回撮影する工程である工程Ｘおよび工程Ｙを行い、前記工程Ｘによって得られる撮影画像および前記工程Ｙによって得られる撮影画像をそれぞれ加算平均し、前記工程Ｘの加算平均された撮影画像と前記工程Ｙの加算平均された撮影画像とのレベルを比較してレベル差を求め、撮影回数が（Ｎ−１）の場合のレベル差と撮影回数がＮの場合のレベル差とを比較し、前記レベル差比較工程において撮影回数がＮの場合のレベル差が撮影回数が（Ｎ−１）の場合のレベル差よりも小さい場合は、撮影回数を（Ｎ＋１）として前記撮影工程〜前記レベル差比較工程を繰り返し、前記レベル差比較工程において撮影回数がＮの場合のレベル差が撮影回数が（Ｎ−１）の場合のレベル差よりも大きくなった場合は、撮影回数を（Ｎ−１）に決定し、前記撮影工程におけるシャッター速度と前記撮影回数決定工程により決定された撮影回数との積を前記ゆらぎ周期として検出するから、所望の通り、前記投影手段の光源あるいは筐体の熱等に起因するゆらぎのゆらぎ周期を求めることができる。
【００２４】
第５発明によれば、前記ゆらぎ周期検出工程を複数回行って前記ゆらぎ周期を複数回検出し、［（ゆらぎ周期最大値−ゆらぎ周期最小値）／ゆらぎ周期最大値］で定義されるゆらぎ偏差の逆数に基づいて決定した繰り返し撮影回数だけ前記繰り返し撮影工程を行うので、ゆらぎ周期検出値のばらつきを解消して正確にゆらぎ周期を求めることができるようになり、投影手段のゆらぎに起因する輝度変化を正確に補正することができる。
【００２５】
第６発明によれば、前記投影手段の照明光光源の経過時間に対するゆらぎ周期の特性を予め記憶した経過時間−ゆらぎ周期テーブルおよび前記投影手段の温度に対するゆらぎ周期の特性を予め記憶した温度−ゆらぎ周期テーブルの少なくとも一方を作成しておき、撮影時に前記経過時間および前記温度の少なくとも一方をパラメータとして前記経過時間−ゆらぎ周期テーブルおよび前記温度−ゆらぎ周期テーブルを参照することによりゆらぎ周期を求めるので、第１発明における実測データに基づくゆらぎ周期検出工程を、上記パラメータによる経過時間−ゆらぎ周期テーブル、温度−ゆらぎテーブルの参照に基づくゆらぎ周期検出工程に置き換えることにより、処理の高速化が期待できるようになる。
【００２６】
第７発明によれば、第６発明の表示画像撮影方法で前記表示面上に投影表示された画像を複数回撮影した場合の撮影画像のばらつきと、第１発明〜第４発明の何れかの表示画像撮影方法で前記表示面上に投影表示された画像を複数回撮影した場合の撮影画像のばらつきとを比較し、ばらつきの少ない方の表示画像撮影方法を選択するので、投影手段のフリッカーに起因する輝度変化および投影手段のゆらぎに起因する輝度変化の双方を確実に補正することができる。
【００２７】
第８発明によれば、投影手段によって表示面上に投影表示された画像を撮影手段によって撮影する際には、前記投影手段のフリッカー周期を検出し、前記撮影手段のシャッター時間を前記フリッカー周期の整数倍に制御し、ゆらぎ周期検出手段によって前記投影手段の照明光に起因する輝度変化あるいは前記投影手段の筐体の熱等に起因する輝度変化であるゆらぎ周期を検出し、前記フリッカー周期の整数倍のシャッター時間を用いて前記撮影手段により前記表示面上に投影表示された画像を前記ゆらぎ周期の間繰り返し撮影し、前記繰り返し撮影工程によって得られる前記ゆらぎ周期に対応する枚数の撮影画像を平均化するので、投影手段のフリッカーに起因する輝度変化および投影手段のゆらぎに起因する輝度変化の双方を補正し得る表示画像撮影方法を提供することができる。
【００２８】
第９発明によれば、投影手段によって表示面上に投影表示された画像を撮影する表示画像撮影装置は、前記表示面上に投影表示された画像を撮影して撮影画像を出力する撮影手段と、前記投影手段のフリッカー周期を検出するフリッカー周期検出手段と、前記撮影手段のシャッター時間を前記フリッカー周期の整数倍に制御するシャッター時間制御手段と、前記投影手段の照明光に起因する輝度変化あるいは前記投影手段の筐体の熱等に起因する輝度変化であるゆらぎ周期を検出するゆらぎ周期検出手段と、前記シャッター時間に基づいて前記ゆらぎ周期に対応する繰り返し撮影回数を決定する撮影回数決定手段と、前記フリッカー周期の整数倍のシャッター時間を用いて前記撮影手段により前記表示面上に投影表示された画像を前記決定された繰り返し撮影回数だけ繰り返し撮影する繰り返し撮影手段と、前記繰り返し撮影手段によって得られる前記繰り返し撮影回数分の撮影画像を平均化する撮影画像平均化手段と、を具備して成るから、投影手段のフリッカーに起因する輝度変化および投影手段のゆらぎに起因する輝度変化の双方を補正し得る表示画像撮影装置を提供することができる。
【００２９】
第１０発明によれば、前記フリッカ周期検出手段および前記ゆらぎ周期検出手段として機能するセンサを別に設けたから、第５発明においてフリッカー補正およびゆらぎ補正された撮像画像を生成する処理の高速化を希望する場合には、前記センサによって検出した前記投影手段の光源のフリッカー周期に起因する輝度変化および前記投影手段のゆらぎに起因する輝度変化を用いることにより、前記撮影手段のシャッター速度、露光条件および撮影回数を最適化することができるようになるので、フリッカー補正およびゆらぎ補正に要する時間を短縮してフリッカー補正およびゆらぎ補正された撮像画像を生成する処理を高速化することができる。
【発明を実施するための最良の形態】
【００３０】
以下、本発明を実施するための最良の形態を図面に基づき詳細に説明する。
【００３１】
［第１実施形態］
図１は本発明の第１実施形態の表示画像撮影方法の実施に用いる表示画像撮影装置の全体構成を示す図であり、図２は第１実施形態の表示画像撮影装置に用いるキャリブレーション用カメラおよびパーソナルコンピュータの詳細構成を示す図である。
【００３２】
本実施形態の表示画像撮影装置は、例えばマルチディスプレイ装置のスクリーン上に投影された画像の表示状態を調整するために色補正（ガンマ補正およびホワイトバランス補正）を行う際に、前記画像を撮影した撮影画像に基づいてフリッカー補正およびゆらぎ補正を行うように構成されており、図１に示すように、スクリーン１上にオーバーラップ部分２を有するように分割画像を投影表示する複数台（図示例では４台）の投影手段であるプロジェクタ３ａ，３ｂ，３ｃ，３ｄと、プロジェクタ３ａ，３ｂ，３ｃ，３ｄのそれぞれに分割画像信号を供給する画像補正処理部４と、画像補正処理部４を経由してプロジェクタ３ａ，３ｂ，３ｃ，３ｄ間の画像表示状態のばらつきを補正するための複数枚の画像（以下、テストパターンともいう）をスクリーン１上に順次投影表示する画像投影機能ならびに後述するようにスクリーン１上に表示された画像を複数回連続撮影することによりフリッカー補正およびゆらぎ補正された撮像画像データを生成するフリッカー補正機能およびゆらぎ補正機能を有するパーソナルコンピュータ（ＰＣ）５と、シャッター速度および絞りによって規定される所定露光条件下で前記複数枚の画像を撮影する撮影手段であるキャリブレーション用カメラ６と、キャリブレーション用カメラ６と同一光路上の所定位置に設けられた色フィルタ機構８とを具備して成る。
【００３３】
上記画像補正処理部４は、ＰＣ５で作成された補正データを記憶する補正データ記憶部４ａと、外部から供給される（画像補正処理部４自体で供給するようにしてもよい）分割画像データ（以下、単に画像データともいう）に上記補正データによる補正を加えて出力する補正処理部４ｂとを具備して成る。
【００３４】
上記ＰＣ５は、図２に示すように、キャリブレーション用カメラ６から入力された「スクリーン１上に投影表示された画像の撮影画像データ」の輝度レベル（信号レベル）を検出する輝度レベル検出部５ａと、前記「スクリーン１上に投影表示された画像の撮影画像データ」に基づいて当該画像を投影表示したプロジェクタに関する補正データを算出（生成）および記憶するとともに前記「スクリーン１上に投影表示された画像を複数回連続撮影した撮影画像データ」に基づいてフリッカーおよびゆらぎに関する補正データ（フリッカー補正およびゆらぎ補正された撮像画像データ）を算出（生成）および記憶する補正データ算出記憶部５ｂと、キャリブレーション用カメラ６によって同一シャッター速度で連続撮影したときに得られる２つの撮影画像の輝度レベルを比較して輝度レベル差を算出する輝度レベル比較部５ｃと、輝度レベル比較部５ｃが算出した輝度レベル差が極小になるようにキャリブレーション用カメラ６の露光制御（シャッター速度指令、絞り指令）を行う露光制御部５ｄと、輝度レベル比較手段５ｃが算出した輝度レベル差が極小になるシャッター速度に基づいて後述する繰り返し撮影時の繰り返し撮影回数をキャリブレーション用カメラ６に設定（指令）する撮影回数設定部５ｅと、輝度レベル検出部５ａによって検出した輝度レベルに基づいて前記複数枚の画像を順次撮影する際に使用する色フィルタを選択的に切り換える色フィルタ切換制御部５ｆとを具備して成る。なお、上記色フィルタ制御部５ｆは、キャリブレーション用カメラ６による前記複数枚のテストパターン画像の一連の撮影期間中に、後述するようにホワイトバランス補正時にＣＩＥ １９３１ ＸＹＺ表色系 等色関数のＸ，Ｙ，Ｚの各波長領域を通過するフィルタであるＸフィルタ、Ｙフィルタ、Ｚフィルタを順次切り換えて使用しガンマ補正時には色フィルタの無い空洞を使用するフィルタ切換制御を行うものとする。
【００３５】
上記キャリブレーション用カメラ６としては、本実施形態ではモノクロ撮影手段であるモノクロデジタルカメラを用いる。このキャリブレーション用カメラ６は、図２に示すように、被写体の像を形成するレンズ機構６ａと、レンズ機構６ａの出射光量を調整する絞り機構６ｂと、絞り機構６ｂを介して入射される被写体の像を電気信号（画像データ信号）に光電変換するＣＣＤ６ｃと、ＣＣＤ６ｃから出力される画像データ信号に対してサンプルホールドおよび自動利得制御（ＡＧＣ）を行うＳ／Ｈ・ＡＧＣ回路６ｄと、Ｓ／Ｈ・ＡＧＣ回路６ｄから出力される画像データ信号をＡ／Ｄ変換するＡ／Ｄ変換部６ｅと、Ａ／Ｄ変換した画像データ信号に対して各種信号処理を行うカメラ信号処理部６ｆと、カメラ信号処理部６ｆから出力される画像データ信号をＰＣ５に出力したりＰＣ５から入力される各種信号を中継したりする入出力Ｉ／Ｆ部６ｇと、ＰＣ５の露光制御部５ｄからの指令されたシャッター速度でＣＣＤ６ｃを駆動するＣＣＤ駆動部６ｈと、ＰＣ５の露出制御部５ｄから指令された絞り値となるように絞り機構６ｂを駆動する絞り駆動部６ｉとを具備して成る。本実施形態では、キャリブレーション用カメラ６として、シャッター速度を例えば１／１０００秒８〜２秒に設定可能なものを用いるものとする。なお、上記キャリブレーション用カメラ６としては、モノクロデジタルカメラの他、モノクロ撮影手段である、モノクロビデオカメラや、モノクロ用ＣＭＯＳセンサや、モノクロラインセンサ等を用いることもできる。
【００３６】
上記色フィルタ機構８は、ホワイトバランス補正のためのテストパターン撮影時に用いるものであり、ＣＩＥ １９３１ ＸＹＺ表色系 等色関数のＸ，Ｙ，Ｚの各波長領域を通過するフィルタであるＸフィルタ８ａ、Ｙフィルタ８ｂ、Ｚフィルタ８ｃと、これらフィルタを装着するための４個の開口が円周上に形成されたターレット８ｄと、ＰＣ５の色フィルタ切換制御部５ｆの指令に対応するフィルタ（または空洞）が光路上に位置するようにターレット８ｃを中心軸周りに回転駆動するモータ（図示せず）とから成り、４個の開口の内でフィルタを装着されない開口は、空洞８ｆとして、ＸＹＺフィルタを使用しないガンマ補正のための画像撮影時に用いる。
なお、上記色フィルタ機構８では、ホワイトバランス補正のためにキャリブレーション用カメラ６の入力光を複数の波長特性に分離し得る複数枚の色フィルタ手段として、ＣＩＥ １９３１ ＸＹＺ表色系 等色関数のＸ，Ｙ，Ｚの各波長領域を通過するフィルタであるＸフィルタ、Ｙフィルタ、Ｚフィルタを用いているが、代わりにＲ，Ｇ，Ｂ各色の通過フィルタを用いても、任意の色フィルタを用いてもよい。
【００３７】
次に、本実施形態の表示画像撮影装置においてキャリブレーション時に実施するフリッカー補正およびゆらぎ補正について説明する。本実施形態の表示画像撮影装置では、キャリブレーションとして、色補正および幾何補正を行うが、その手順は、以下の通りである。
まず、図１に示すように、キャリブレーション用カメラ６を概略観客の観察位置に配置する。次に、幾何補正用のテストパターン画像をスクリーン１に投影表示して撮影し、撮影データに基づいてＰＣ５で幾何補正データを作成する（幾何ずれが生じないマルチディスプレイ装置である場合は、幾何補正は不要である）。
その後、幾何補正を加えた色補正（ガンマ補正およびホワイトバランス補正）用のテストパターン画像をスクリーン１に投影表示して撮影し、撮影データに基づいてＰＣ５で色補正データを作成する。その際、「投影手段であるプロジェクタ３ａ，３ｂ，３ｃ，３ｄの光源のフリッカー周期がキャリブレーション用カメラ６のシャッター時間より遅い（長い）場合には、撮影するタイミングによって、キャリブレーション用カメラ６によって撮影した撮影画像データの輝度レベルが変動すること」と、「投影手段であるプロジェクタ３ａ，３ｂ，３ｃ，３ｄの筐体の熱等による光路上の空気のゆらぎのゆらぎ周期がキャリブレーション用カメラ６のシャッター時間より遅い（長い）場合には、撮影するタイミングによって、キャリブレーション用カメラ６によって撮影した撮影画像データの輝度レベルが変動すること」とを考慮して、本発明の狙いとする「フリッカー補正およびゆらぎ補正」を行う。
【００３８】
なお、上記のようにして実施する色補正では、各プロジェクタ間の色ムラ（または各プロジェクタ内の色ムラ）を軽減させるための小面積毎あるいは画素毎のガンマ補正と、Ｒ（Ｒｅｄ），Ｇ（Ｇｒｅｅｎ），Ｂ（Ｂｌｕｅ）各色の表示レベルを合せるホワイトバランス補正とを行う。ガンマ補正における補正対象をどの位の小面積にするかは、使用するキャリブレーション用カメラ（デジタルカメラ）の画素数に応じて決定することができ、例えば、スクリーン１上の表示画素数が８００万画素で、デジタルカメラの画素数が２００万画素である場合には、２×２画素毎が補正領域になる。ガンマ補正では、ＲＧＢ各色毎に輝度信号の最低レベル（黒）から最高レベルまでの範囲の所定輝度値刻みの複数枚のテストパターン画像をスクリーン１に投影表示して、それをキャリブレーション用カメラ６で撮影する。一方、ホワイトバランス補正は、ＲＧＢ各色の適当な輝度値（例えば最大輝度値）のテストパターン画像をスクリーン１に投影表示して、ＣＩＥ １９３１ ＸＹＺ表色系 等色関数等の人間の視感度にあったフィルタを通してキャリブレーション用カメラ６でテストパターン画像を撮影し、撮影データに基づいて、各色のバランスがとれるような補正を行う。
【００３９】
次に、本実施形態の表示画像撮影装置において実施するフリッカー補正およびゆらぎ補正を図３〜図７に基づいて詳細に説明する。
図３は第１実施形態の表示画像撮影装置において実施するフリッカー補正およびゆらぎ補正のための処理の概略を示すフローチャートである。なお、図３におけるフリッカー補正およびゆらぎ補正のための処理は、色補正のためのテストパターン画像の撮影時に同時に実施するようにしているが、色補正のためのテストパターン画像の撮影に先立って実施するようにしてもよい。
【００４０】
まず、図３のステップＳ１では、後述する図４のフローチャートに示す処理によって、投影手段であるプロジェクタの光源のフリッカー周期（すなわち、プロジェクタの垂直表示周期とキャリブレーション用カメラ６のシャッター時間とのずれにより発生するフリッカの周期）を検出し、次のステップＳ２では、撮影手段であるキャリブレーション用カメラ６のシャッター時間を上記ステップＳ１で求めたフリッカー周期の整数倍に制御（決定）することにより、フリッカー周期に対応したシャッター時間にする。なお、本実施形態では、フリッカー周期の検出方法として後述する図４のフローチャートに示す検出方法を用いているが、代わりに、上述した特許文献１に記載された検出方法や特許文献２に記載された検出方法等の公知技術を用いてもよい。
【００４１】
次のステップＳ３では、露出合わせを行う。この露出合わせは、撮影画像の信号レベルが飽和しない適正な信号レベル（例えば７０％〜９０％）になるようにキャリブレーション用カメラ６への入射光量を制限するものであり、キャリブレーション用カメラ６の絞りの絞り値と上記ステップＳ２で決定したシャッター時間との組合せにより制御する。なお、本実施形態では、露出合わせをステップＳ３で実施するようにしているが、信号レベルが飽和したり信号レベルが低いために上記ステップＳ１やステップＳ２で不具合が生じる場合には、ステップＳ１の前に信号レベルが適当になるように仮露出合せを行うようにしてもよい。
【００４２】
次のステップＳ４では、後述する図５のフローチャートに示す処理によって、ゆらぎ周期（プロジェクタの光源に起因する輝度変化あるいはプロジェクタの筐体の熱等に起因する光路上の空気のゆらぎによる輝度変化の双方に対応する周期である）を検出し、ゆらぎ周期に対応する繰り返し撮影回数を決定する。この繰り返し撮影回数の決定は、例えば、検出したゆらぎ周期が１秒であり、上記ステップＳ２で決定したシャッター時間が１／６０秒である場合には、繰り返し撮影回数は１秒÷（１／６０秒）＝６０（回）となる。
【００４３】
次のステップＳ５では、本撮影を行う。この本撮影は、上記ステップＳ２で決定したフリッカー周期の整数倍のシャッター時間を用いてキャリブレーション用カメラ６によりスクリーン１上に投影表示された画像をステップＳ４で決定した繰り返し撮影回数だけ繰り返し撮影することによって行う。そして、次のステップＳ６では、ステップＳ５の繰り返し撮影によって得られる繰り返し撮影回数分の撮影画像データの平均化処理を行う。それにより、フリッカー補正およびゆらぎ補正された撮像画像が生成されることになる。
なお、上記ステップＳ１〜ステップＳ４で行う撮影は、撮影条件を決めるための撮影であるので「プリ撮影」と称し、上記ステップＳ５で行う撮影は、実際に撮影画像データを得るための撮影であるので「本撮影」と称すことにする。
【００４４】
次に、本実施形態におけるフリッカー周期の検出を図４のフローチャートに基づいて説明する。図４のフローチャートでは、初回には比較データが存在しないので、初回のために別途比較データを取り込む必要があるが、その取り込み方法も含めて説明する。なお、キャリブレーション用カメラ６のシャッター速度は、例えば１／５００〜２秒の間のシャッター速度を設定可能であるものとする。
［初回の比較データの取り込み方法］
後述する図４のステップＳ１１と同様にして、シャッター速度を所定のシャッター速度（例えば上限高速シャッター速度である１／５００秒）に設定する。ただし、被写体であるスクリーン１上の画像が暗いため絞りを開放にしても信号レベルがほとんど０である場合には、シャッター速度を１／５００秒よりも低速なシャッター速度に設定する。次に、後述する図４のステップＳ１２と同様にして、キャリブレーション用カメラ６によってスクリーン１上に投影表示された画像を上記シャッタ速度で連続撮影して、ＰＣ５の補正データ算出記憶部５ｂ内のフレームメモリ（後述する図６参照）に２つの撮影画像データを取り込み、記憶する。次に、後述する図４のステップＳ１３と同様にして、２つの撮影画像データを積分して各々の信号レベル（輝度レベル）を求め、両者の信号レベルのレベル差を算出して、上記フレームメモリに記憶する。
【００４５】
［初回の比較データを取り込んだ後のフリッカー周期の検出］
まず、図４のステップＳ１１では、キャリブレーション用カメラ６のシャッター速度を所定シャッター速度に設定する。この所定シャッター速度としては、例えば上述した初回撮影時にに用いた上限高速シャッター速度（１／５００秒）から１段低下させたシャッター速度である１／２５０秒を用いる。次のステップＳ１２では、スクリーン１上に投影表示された画像を上記シャッタ速度で連続撮影して、ＰＣ５の補正データ算出記憶部５ｂ内のフレームメモリ（後述する図６参照）に２つの撮影画像データを取り込む。次のステップＳ１３では、２つの撮影画像データを積分して各々の信号レベル（輝度レベル）を求め、両者の信号レベルのレベル差を算出して、上記フレームメモリに記憶する。
【００４６】
次のステップＳ１４では、今回のレベル差と、前回（シャッター速度＝１／５００秒での撮影時）のレベル差とを比較し、今回のレベル差が前回のレベル差未満である場合には処理をステップＳ１５に進め、今回のレベル差が前回のレベル以上である場合には処理をステップＳ１６に進めて前回のシャッター速度をフリッカー周期とする。ステップＳ１５では、シャッター速度を低下させることが可能か否かを判定し、ＹＥＳ（低下可能）の場合には次のステップＳ１７でシャッター速度を１段低下させてから処理を上記ステップＳ１２以降に戻し、ＮＯ（低下不能）の場合には処理を上記ステップＳ１６に進める。なお、本実施形態で使用するキャリブレーション用カメラ６は１／１０００秒〜２秒の範囲のシャッター速度が設定可能であり、かつ、フリッカー周期は一般的にプロジェクターの表示周期とほぼ等しくなって１／６０秒以上となるので、ステップＳ１６がＮＯになるケースはほとんど起こり得ないことから、ステップＳ１６がＮＯになった場合には「エラー」としてユーザーに警告して、フリッカー周期の検出のやり直しを促すようにしてもよい。
【００４７】
上記ステップＳ１１〜ステップＳ１２・・・ステップＳ１４のＮＯ−ステップＳ１６の実行により、フリッカー周期の検出が完了するが、ステップＳ１６の次のステップＳ１８では、検出したフリッカー周期が妥当であるか否かを検証するために、２枚の撮影画像データの信号レベルが１００％であるか否かを判定する。この判定において、「２枚の撮影画像データの信号レベルが１００％であればレベル差は０となるが、その場合は２枚の撮影画像が飽和していてレベル差が０となった場合」であることから、上記ステップＳ１６で検出したシャッター速度はフリッカー周期として不適当であることを考慮して、処理をステップＳ１９に進めて露出補正（露光補正）を行ってから、処理を上記ステップＳ１２以降に戻して、再びフリッカー周期の検出をやり直す。上記ステップＳ１９における露出補正では、２枚の撮影画像データの信号レベルが飽和しない適切な信号レベルになるように入射光量を制限するために、キャリブレーション用カメラ６の絞りおよびシャッター時間の組合せを調整する。具体的には、信号レベルが飽和していれば絞り値を上げて入射光量を低下させ、信号レベルが小さい場合には絞り値を下げる（絞りを開放する）とともにシャッター速度をフリッカー周期に近似するシャッター速度（ステップＳ１６で求めたシャッター速度）から１段ずつ低下させて１／６０秒→１／３０秒→１／１５秒→１／８秒→１／４秒→１／２秒→１秒というように変化させる。
【００４８】
上記ステップＳ１９の露出調整およびその後のフリッカー周期の再検出は、上記ステップＳ１８の判定がＮＯになるまで繰り返し、上記ステップＳ１８の判定がＮＯになったら処理をステップＳ２０に進めてそのときのシャッター速度をシャッター速度に決定する。このステップＳ２０で決定されたシャッター速度は、フリッカー周期に近似するシャッター速度となる。
【００４９】
次に、本実施形態におけるゆらぎ周期の検出を図５のフローチャートに基づいて説明する。図５のフローチャートでは、初回には比較データが存在しないので、初回のために別途比較データを取り込む必要があるが、その取り込み方法も含めて説明する。なお、以下に説明する例では、上記ステップＳ２０で決定されたキャリブレーション用カメラ６のシャッター時間（すなわち、フリッカーを低減するシャッター時間）が１／６０秒であるものとし、かつ、そのときのゆらぎ周期は１秒であるものとする。
［初回の比較データの取り込み方法］
後述する図５のステップＳ２１において、撮影回数Ｎ（Ｎは自然数）を初回のプレ撮影時に限りＮ＝１に設定する。次に、後述する図５のステップＳ２２〜ステップＳ２５と同様にして、キャリブレーション用カメラ６によってスクリーン１上に投影表示された画像を上記ステップＳ２０で決定されたシャッタ時間でＮ回連続撮影して、ＰＣ５の補正データ算出記憶部５ｂ内のフレームメモリ（後述する図６参照）に２種類の撮影画像データ（撮影画像データＸ１ ，撮影画像データＹ１ ）を取り込み、記憶する。次に、後述する図５のステップＳ２６と同様にして、２種類の撮影画像データを積分して各々の信号レベル（輝度レベル）を求め、両者の信号レベルのレベル差を算出して、上記フレームメモリに記憶する。
【００５０】
［初回の比較データを取り込んだ後のゆらぎ周期の検出］
まず、図５のステップＳ２１では、撮影回数Ｎを設定する。この撮影回数Ｎの設定は、後述するステップＳ２８におけるＮのインクリメント（Ｎ＝Ｎ＋１）に応じて行うので、２回目のプレ撮影時には、撮影回数Ｎは、前回のＮ＝１に基づいて１＋１＝２回になる。同様に、３回目のプレ撮影時には、撮影回数Ｎは（２＋１）＝３回になり、Ｎ回目のプレ撮影時には、撮影回数Ｎは（Ｎ＋１）回になる。次のステップＳ２２、ステップＳ２３では、キャリブレーション用カメラ６によってスクリーン１上に投影表示された画像を上記ステップＳ２０で決定されたシャッタ時間でＮ回（２回目の場合は、２回）連続撮影して、ＰＣ５の補正データ算出記憶部５ｂ内のフレームメモリ（後述する図６参照）に２種類の撮影画像データ（撮影画像データＸ１ ，Ｘ２ および撮影画像データＹ１ ，Ｙ２ ）を取り込み、記憶する。次のステップＳ２４では、撮影画像データＸ１ ，Ｘ２ および撮影画像データＹ１ ，Ｙ２ ）をそれぞれ加算平均し、次のステップＳ２５では、加算平均値Ｘav、ＹavをＰＣ５の補正データ算出記憶部５ｂ内のフレームメモリ（後述する図６参照）に記憶する。次のステップＳ２６では、２種類の撮影画像データ加算平均値Ｘav、Ｙavを積分して各々の信号レベル（輝度レベル）を求め、両者の信号レベルのレベル差を算出して、上記フレームメモリに記憶する。
【００５１】
次のステップＳ２７では、今回のレベル差と、前回（今回が２回目の場合は、初回）のレベル差とを比較し、今回のレベル差が前回のレベル差未満である場合には処理をステップＳ２８に進め、今回のレベル差が前回のレベル以上である場合には処理をステップＳ２９に進める。ステップＳ２８では、Ｎのインクリメント（Ｎ＝Ｎ＋１）を行ってから処理を上記ステップＳ２１以降に戻して撮影回数を１回増やして上記と同様の処理を行い、ステップＳ２９では、撮影回数を（Ｎ−１）回に決定する。なお、この例の場合はゆらぎ周期が１秒であるので、Ｎ＝６０か撮影回数となる。
【００５２】
図６は第１実施形態のキャリブレーション装置における撮影画像データの平均化処理を説明するためのフレームメモリの機能ブロック図であり、図７は図６のフレームメモリのスイッチの状態推移を示す図である。以下、「４回の連続撮影で得られる撮影画像データの加算平均化処理」の場合を例に挙げて説明する。なお、図６および図７には４回連続撮影時の加算平均化処理を示しているが、「８回の連続撮影や１６回の連続撮影で得られる撮影画像データを加算平均化処理する場合には、後述する加算係数Ｋを変更することによって対応可能である。
【００５３】
まず、図６、図７に示すように、１枚目の撮影画像データ（以下、画像０１という）を加算係数Ｋ＝０で取り込む。このとき、巡回/出力切換スイッチであるＳＷ１は、ＳＷ１０２側に接続されているので、画像０１はフレームメモリＦＭ１に記憶される。
次に、２枚目の撮影画像データ（以下、画像０２という）を加算係数Ｋ＝１／２で取り込む。これにより、フレームメモリＦＭ１から読み出された画像０１と、取り込んだ画像０２とが加算平均されて、（画像０１＋画像０２）／２となって、フレームメモリＦＭ１に上書きされる。
次に、３枚目の撮影画像データ（以下、画像０３という）を加算係数Ｋ＝２／３で取り込む。これにより、フレームメモリＦＭ１から読み出された画像０１、画像０２と、取り込んだ画像０３とが加算平均されて、（画像０１＋画像０２＋画像０３）／３となって、フレームメモリＦＭ１に上書きされる。
次に、４枚目の撮影画像データ（以下、画像０４という）を加算係数Ｋ＝３／４で取り込む。これにより、フレームメモリＦＭ１から読み出された画像０１、画像０２、画像０３と、取り込んだ画像０４とが加算平均されて、（画像０１＋画像０２＋画像０３＋画像０４）／４となる。このとき、図７に示すように、巡回／出力切換スイッチであるＳＷ１はＳＷ１０１側に切り換わり、書込ＦＭ選択スイッチであるＳＷ２はＳＷ２０２側に接続されているので、加算平均された（画像０１＋画像０２＋画像０３＋画像０４）／４はフレームメモリＦＭ３に記憶される。
以下、同様にして、連続する４枚の撮影画像データの加算平均値は、フレームメモリＦＭ２，フレームメモリＦＭ３に交互に記憶されることになる。
このようにしてフレームメモリＦＭ２，フレームメモリＦＭ３に記憶された４枚の撮影画像データの加算平均値は、図７に示すように、フレームメモリＦＭ２，フレームメモリＦＭ３の一方においてデータ書き換えがなされたタイミングで読出ＦＭ選択スイッチであるＳＷ３が切り換わるので、外部に出力されることになる。つまり、ＳＷ２およびＳＷ３の書き込みと読み出しとは、交互に切り換わることになる。
なお、ＳＷ１，ＳＷ２，ＳＷ３は、動作を明確化するために記載したものであり、フレームメモリの書込動作および読出動作を適宜制御するようにすれば、ＳＷ１，ＳＷ２，ＳＷ３を必ずしも設けなくてもよい。
【００５４】
次に、本実施形態の表示画像撮影装置の作用を図１、図３〜図５、図８に基づいて説明する。
図１に示すように、キャリブレーション用カメラ６によってスクリーン１上に投影表示された画像を連続撮影して２枚分の撮影画像データを得る際には、プロジェクタの照明用光源のフリッカー周期およびゆらぎ周期と、キャリブレーション用カメラ６のシャッター時間との関係によって、「所望の平均的な明るさ」からズレた撮影画像となる場合がある。
例えば図８に示すように、プロジェクタの照明用光源のフリッカー周期が１／６０秒であり、プロジェクタのゆらぎ周期が１秒である場合にキャリブレーション用カメラ６のシャッター時間を１／６０秒よりも短く設定した場合には、フリッカー波形のどのタイミングで撮影するかによって輝度レベルが変化するので、シャッター時間をプロジェクタのフリッカー周期の整数倍にする必要があるが、そのためには、プロジェクタのフリッカー周期およびゆらぎ周期を検出することが要求される。
【００５５】
そこで、本実施形態では、図３のフローチャートのステップＳ１（すなわち図４のフローチャート）を実行することによりプロジェクタのフリッカー周期を検出し、ステップＳ２でキャリブレーション用カメラ６のシャッター時間を前記フリッカー周期の整数倍に制御することによりフリッカーの影響を最少にするとともに、ステップＳ３で撮影画像の信号レベルが飽和しない適正な信号レベルになるように露出合わせしてからステップＳ４（すなわち図５のフローチャート）を実行することによりプロジェクタのゆらぎ周期を検出するとともに前記ゆらぎ周期に対応する繰り返し撮影回数を決定した後に、ステップＳ５で前記フリッカー周期の整数倍のシャッター速度を用いてキャリブレーション用カメラ６によりスクリーン１上に投影表示された画像を前記繰り返し撮影回数だけ繰り返し撮影し、ステップＳ６で前記繰り返し撮影回数分の撮影画像の平均化処理を行うから、ステップＳ６においてフリッカー補正およびゆらぎ補正された撮像画像が生成されることになる。したがって、本実施形態の表示画像撮影装置は、プロジェクタのフリッカーに起因する輝度変化およびプロジェクタのゆらぎに起因する輝度変化の双方を補正し得る表示画像撮影装置となり、プロジェクタのフリッカーに起因する輝度変化およびプロジェクタのゆらぎに起因する輝度変化の双方を補正し得る表示画像撮影方法を提供することができる。
【００５６】
なお、上記第１実施形態では、撮影画像の信号レベルが飽和しない適正な信号レベルになるようにキャリブレーション用カメラ６のＣＣＤ６ｃへの入射光量を制限する入射光量制御手段として「絞り６ｃおよび絞り駆動部６ｉより成る絞り機構」を用いているが、代わりに、図９に示すように、「駆動回路６ｊと、駆動回路６ｊにより駆動されるモータ９と、モータ９の回転によってＮＤフィルタ１０ａ、ＮＤフィルタ１０ｂ、ＮＤフィルタ１０ｃ、空洞１０ｄの何れか１つをＣＣＤ６ｃの光路上前方に配置されるターレット１０とから成るＮＤフィルタ機構」を用いるようにしてもよい。なお、上記絞り機構および上記ＮＤフィルタ機構を併用するように構成してもよい。
【００５７】
また、上記第１実施形態において、図３のステップＳ４のゆらぎ周期の検出を複数回行ってゆらぎ周期を複数回検出し、［（ゆらぎ周期最大値−ゆらぎ周期最小値）／ゆらぎ周期最大値］で定義されるゆらぎ偏差を求め、ゆらぎ偏差の逆数に基づいて繰り返し撮影回数を決定し、該繰り返し撮影回数だけ図３のステップＳ５の本撮影を行うようにすれば、ゆらぎ周期検出値のばらつきを解消して正確にゆらぎ周期を求めることができるようになるので、投影手段であるプロジェクタのゆらぎに起因する輝度変化を正確に補正することができる。具体例を挙げると、ステップＳ４のゆらぎ周期検出を３回行った場合のゆらぎ周期検出値が０．９秒、０．９５秒、１秒である場合、ゆらぎ偏差は、（１−０．９）／１＝０．１＝１０％であるので、その逆数である１０回が繰り返し撮影回数になる。
【００５８】
［第２実施形態］
図１０は本発明の第２実施形態の表示画像撮影装置に用いるキャリブレーション用カメラ、パーソナルコンピュータおよび輝度センサの詳細構成を示す図である。本実施形態は、上記第１実施形態に対して、「輝度センサ１１を追加して輝度センサ１１の検出信号をＰＣ５の輝度レベル検出部５ａに入力する変更」を加えたものである。なお、上記輝度センサ１１としては、ＣＣＤやＣＭＯＳセンサ等を用いるものとする。
【００５９】
本実施形態の表示画像撮影装置は、キャリブレーション用カメラ６とは別に、プロジェクタの照明用光源等の輝度を検出することによってプロジェクタの照明用光源のフリッカー周期やゆらぎ周期を検出する輝度センサ１１を設けたため、上記第１実施形態と同様の「キャリブレーション用カメラ６の撮影画像データの信号レベル比較によって、プロジェクタの照明用光源のフリッカー周期を検出する図４の処理」および「キャリブレーション用カメラ６の撮影画像データの信号レベル比較によって、プロジェクタの光源や筺体の熱に起因するゆらぎのゆらぎ周期を検出する図５の処理」の一部または全部を省略することができる。よって、輝度センサ１１によって検出したプロジェクタの光源のフリッカー周期に起因する輝度変化およびプロジェクタのゆらぎに起因する輝度変化を用いることにより、「プロジェクタの照明用光源のフリッカー周期を検出する図４の処理」および「プロジェクタの光源や筺体の熱に起因するゆらぎのゆらぎ周期を検出する図５の処理」の一部または全部を省略して、キャリブレーション用カメラ６のシャッター速度、露光条件および撮影回数を最適化することができるようになるので、「フリッカー補正およびゆらぎ補正に関する一連の処理に要する時間」を短縮してキャリブレーションを高速化することができる。
また、本実施形態の表示画像撮影装置は、キャリブレーション用カメラ６の撮影とは無関係に、リアルタイムでプロジェクタの照明用光源のフリッカー周期およびゆらぎ周期を検出できるので、本撮影中であってもフリッカー補正およびゆらぎ補正に対応できる、という利点もある。
【００６０】
［第３実施形態］
図１１は本発明の第３実施形態の表示画像撮影方法の実施に用いる表示画像撮影装置に用いるキャリブレーション用カメラ、パーソナルコンピュータおよびプロジェクタの詳細構成を示す図である。図１１では、説明の都合上、複数台のプロジェクタの内の１台のプロジェクタ（プロジェクタ１２）のみを記載している。本実施形態は、上記第１実施形態に対して、ＰＣ５の内部構成を入れ換える変更を加えたものである。
すなわち、本実施形態のＰＣ５は、第１実施形態のＰＣ５における輝度レベル検出部５ａおよび輝度レベル比較部５ｃを省略し、代わりに温度−ゆらぎ周期テーブル５ｇ、経過時間−ゆらぎ周期テーブル５ｈおよび撮影条件決定部５ｉを追加して構成したものである。図１１では、説明の都合上、ＰＣ５の色フィルタ切換部５ｆ、色フィルタ機構８およびスクリーン１の記載を省略している。なお、本実施形態では温度−ゆらぎ周期テーブル５ｇ、経過時間−ゆらぎ周期テーブル５ｈの双方を設けているが、何れか一方のみを設けるようにしてもよい。
【００６１】
上記温度−ゆらぎ周期テーブル５ｇは、プロジェクタ１２の筺体内の温度に対するプロジェクタ１２のゆらぎ周期の特性を予め記憶したものである。プロジェクタ１２の筺体内の温度検出部１２ａによって温度検出を行うＣＰＵ１２ｂから「プロジェクタ温度に関する信号」がＰＣ５に入力されると、当該プロジェクタ温度をパラメータとして温度−ゆらぎ周期テーブル５ｇを参照することにより、当該プロジェクタ温度に対応するプロジェクタ１２のゆらぎ周期を求めることができる。
上記経過時間−ゆらぎ周期テーブル５ｈは、プロジェクタ１２の照明光光源であるランプのランプ経過時間（ランプの累積使用時間）に対するプロジェクタ１２のゆらぎ周期の特性を予め記憶したものである。プロジェクタ１２においてランプ駆動部１２ｃによるランプ（照明光光源）の駆動状態を監視しているＣＰＵ１２ｂから「ランプ経過時間（ランプの累積使用時間）に関する信号」がＰＣ５に入力されると、当該ランプ経過時間をパラメータとして経過時間−ゆらぎ周期テーブル５ｈを参照することにより、当該ランプ経過時間に対応するプロジェクタ１２のゆらぎ周期を求めることができる。
【００６２】
本実施形態の表示画像撮影装置において実施するフリッカー補正およびゆらぎ補正に関する処理は、図３のフローチャートに示す第１実施形態の処理とほぼ同様であるが、図３のステップＳ４中の「ゆらぎ周期の検出」の具体的な処理は、上記第１実施形態において用いた図５の「実際の撮影画像データに基づいてゆらぎ周期を検出（決定）する処理」の代わりに、上述した「経過時間データによる経過時間−ゆらぎ周期テーブルの参照、あるいは、温度データによる温度−ゆらぎ周期テーブルに参照に基づいてゆらぎ周期を検出（決定）する処理」を用いている。
【００６３】
本実施形態の表示画像撮影装置は、プロジェクタ１２のランプの経過時間に対するゆらぎ周期の特性を予め記憶した経過時間−ゆらぎ周期テーブル５ｇおよびプロジェクタ１２の温度に対するゆらぎ周期の特性を予め記憶した温度−ゆらぎ周期テーブル５ｈの少なくとも一方を作成しておき、撮影時に経過時間および前記温度の少なくとも一方をパラメータとして経過時間−ゆらぎ周期テーブル５ｇおよび温度−ゆらぎ周期テーブル５ｈを参照することによりゆらぎ周期を求め、該ゆらぎ周期に基づいて繰り返し撮影回数を決定し、フリッカー周期の整数倍のシャッター時間を用いてキャリブレーション用カメラ６によりスクリーン１上に投影表示された画像を前記繰り返し撮影回数だけ繰り返し撮影するので、第１実施形態の実測データに基づくゆらぎ周期検出工程を、上記パラメータによる経過時間−ゆらぎ周期テーブル、温度−ゆらぎテーブルの参照に基づくゆらぎ周期検出工程に置き換えることによって、処理の高速化が期待できるようになる。
【００６４】
［第４実施形態］
図１２は本発明の第４実施形態の表示画像撮影方法の実施に用いる表示画像撮影装置に用いるキャリブレーション用カメラ、パーソナルコンピュータおよびプロジェクタの詳細構成を示す図である。図１２では、説明の都合上、複数台のプロジェクタの内の１台のプロジェクタ（プロジェクタ１２）のみを記載している。本実施形態は、上記第１実施形態に対して、ＰＣ５の内部構成を入れ換える変更を加えたものである。
すなわち、本実施形態のＰＣ５は、第１実施形態のＰＣ５に、第３実施形態と同様の温度−ゆらぎ周期テーブル５ｇ、経過時間−ゆらぎ周期テーブル５ｈおよび撮影条件決定部５ｉを追加するとともに、選択部５ｊを追加して構成したものである。図１２では、説明の都合上、ＰＣ５の色フィルタ切換部５ｆ、色フィルタ機構８およびスクリーン１の記載を省略している。なお、本実施形態では温度−ゆらぎ周期テーブル５ｇ、経過時間−ゆらぎ周期テーブル５ｈの双方を設けているが、何れか一方のみを設けるようにしてもよい。
【００６５】
本実施形態の表示画像撮影装置は、上記第１実施形態の表示画像撮影方法および上記第３実施形態の表示画像撮影方法の双方を行い得るように構成されており、ＰＣ５に設けた選択部５ｊは、第１実施形態の表示画像撮影方法でキャリブレーション用カメラ６によりスクリーン１上に投影表示された画像を複数回撮影した場合の撮影画像のばらつきと、第３実施形態の表示画像撮影方法でキャリブレーション用カメラ６によりスクリーン１上に投影表示された画像を複数回撮影した場合の撮影画像のばらつきとを比較し、ばらつきの少ない方の表示画像撮影方法を選択するように構成されている。
したがって、本実施形態の表示画像撮影装置は、複数回撮影した場合の撮影画像のばらつきを最小にすることができるので、プロジェクタ１２のフリッカーに起因する輝度変化およびプロジェクタ１２のゆらぎに起因する輝度変化の双方を確実に補正することができるようになる。
【００６６】
［第５実施形態］
図１３は本発明の第５実施形態の表示画像撮影方法の実施に用いる表示画像撮影装置に用いるキャリブレーション用カメラ、パーソナルコンピュータおよびプロジェクタの詳細構成を示す図である。図１２では、説明の都合上、複数台のプロジェクタの内の１台のプロジェクタ（プロジェクタ１２）のみを記載している。本実施形態は、上記第１実施形態に対して、ＰＣ５の内部構成を入れ換える変更を加えたものである。
すなわち、本実施形態のＰＣ５は、第１実施形態のＰＣ５ににおける撮影回数設定部５ｅを省略し、代わりにゆらぎ周期検出部５ｋを追加して構成したものである。図１１では、説明の都合上、ＰＣ５の色フィルタ切換部５ｆ、色フィルタ機構８およびスクリーン１の記載を省略している。
【００６７】
本実施形態の表示画像撮影装置は、上記第１実施形態のように「撮影回数設定部５ｅが露光制御部５ｄに対してキャリブレーション用カメラ６による撮影回数を直接指示する」のではなく、「ゆらぎ周期検出部５ｋが露光制御部５ｄに対してキャリブレーション用カメラ６による撮影時間としてのゆらぎ周期を指示する」ように構成されている。そのため、プロジェクタ１２によってスクリーン１上に投影表示された画像をキャリブレーション用カメラ６によって撮影する際には、プロジェクタ１２のフリッカー周期を検出し、キャリブレーション用カメラ６のシャッター時間を前記フリッカー周期の整数倍に制御し、ゆらぎ周期検出部５ｋによってプロジェクタ１２の照明光に起因する輝度変化あるいはプロジェクタ１２の筐体の熱等に起因する輝度変化であるゆらぎ周期を検出し、前記フリッカー周期の整数倍のシャッター時間を用いてキャリブレーション用カメラ６によりスクリーン１上に投影表示された画像を前記ゆらぎ周期の間繰り返し撮影し、前記繰り返し撮影工程によって得られる前記ゆらぎ周期に対応する枚数の撮影画像を平均化することになる。
したがって、本実施形態の表示画像撮影装置は、プロジェクタのフリッカーに起因する輝度変化およびプロジェクタのゆらぎに起因する輝度変化の双方を補正し得る表示画像撮影装置となり、プロジェクタのフリッカーに起因する輝度変化およびプロジェクタのゆらぎに起因する輝度変化の双方を補正し得る表示画像撮影方法を提供することができる。
【００６８】
なお、上記各実施形態では、スクリーン上に投射される画像が一部オーバーラップしたシームレスマルチディスプレイ装置に本発明のフリッカー対策およびゆらぎ対策を適用した例について説明したが、本発明により実現し得るフリッカー対策およびゆらぎ対策は、「プロジェクタの照明用光源のフリッカーや、プロジェクタの光源や筺体の熱に起因するゆらぎに類似するゆらぎがある、他の光源」によって照明された被写体を撮影して画像データを取得する撮影システムにも適用可能であり、その場合、フリッカーおよびゆらぎの影響が少ない画像が取得できるようになるので有利である。
【図面の簡単な説明】
【００６９】
【図１】本発明の第１実施形態の表示画像撮影方法の実施に用いる表示画像撮影装置の全体構成を示す図である。
【図２】第１実施形態の表示画像撮影装置に用いるキャリブレーション用カメラおよびパーソナルコンピュータの詳細構成を示す図である。
【図３】第１実施形態の表示画像撮影装置において実施するフリッカー補正およびゆらぎ補正のための処理の概略を示すフローチャートである。
【図４】第１実施形態の表示画像撮影装置において実施するフリッカ周期の検出のための処理を示すフローチャートである。
【図５】第１実施形態の表示画像撮影装置において実施するゆらぎ周期の検出のための処理を示すフローチャートである。
【図６】第１実施形態の表示画像撮影装置における撮影画像データの平均化処理を説明するためのフレームメモリの機能ブロック図である。
【図７】図６のフレームメモリのスイッチの状態推移を示す図である。
【図８】第１実施形態の表示画像撮影装置の作用の説明に用いる、フリッカー周期およびゆらぎ周期と信号レベルとの関係を例示する図である。
【図９】第１実施形態の表示画像撮影装置の変形例を示す図である。
【図１０】本発明の第２実施形態の表示画像撮影方法の実施に用いる表示画像撮影装置の全体構成を示す図である。
【図１１】本発明の第３実施形態の表示画像撮影方法の実施に用いる表示画像撮影装置に用いるキャリブレーション用カメラ、パーソナルコンピュータおよびプロジェクタの詳細構成を示す図である。
【図１２】本発明の第４実施形態の表示画像撮影方法の実施に用いる表示画像撮影装置に用いるキャリブレーション用カメラ、パーソナルコンピュータおよびプロジェクタの詳細構成を示す図である。
【図１３】本発明の第５実施形態の表示画像撮影方法の実施に用いる表示画像撮影装置に用いるキャリブレーション用カメラ、パーソナルコンピュータおよびプロジェクタの詳細構成を示す図である。
【符号の説明】
【００７０】
１ スクリーン
２ オーバーラップ部分
３，３ａ，３ｂ，３ｃ，３ｄ プロジェクタ
４ 画像補正処理部
５ パーソナルコンピュータ（ＰＣ）
５ａ 輝度レベル検出部
５ｂ 補正データ算出記憶部
５ｃ 輝度レベル比較部
５ｄ 露光制御部
５ｅ 撮影回数設定部
５ｆ 色フィルタ切換制御部
５ｇ 経過時間−ゆらぎ周期テーブル
５ｈ 温度−ゆらぎ周期テーブル
５ｉ 撮影条件決定部
５ｊ 選択部
５ｋ ゆらぎ周期検出部
６ キャリブレーション用カメラ
６ａ レンズ機構
６ｂ 絞り機構
６ｃ ＣＣＤ
６ｄ Ｓ／Ｈ・ＡＧＣ回路
６ｅ Ａ／Ｄ変換部
６ｆ カメラ信号処理部
６ｇ 入出力Ｉ／Ｆ部
６ｈ ＣＣＤ駆動部
６ｉ 絞り駆動部
６ｊ 駆動回路
８ 色フィルタ機構
８ａ Ｘフィルタ
８ｂ Ｙフィルタ
８ｃ Ｚフィルタ
８ｄ ターレット
８ｆ 空洞
９ モータ
１０ ターレット
１０ａ，１０ｂ，１０ｃ ＮＤフィルタ
１０ｄ 空洞
１１ 輝度センサ
１２ プロジェクタ
１２ａ 温度検出部
１２ｂ ＣＰＵ
１２ｃ ランプ駆動部
【特許請求の範囲】
【請求項１】
投影手段によって表示面上に投影表示された画像を撮影手段によって撮影する表示画像撮影方法であって、
前記投影手段のフリッカー周期を検出するフリッカー周期検出工程と、
前記撮影手段のシャッター時間を前記フリッカー周期の整数倍に制御するシャッター時間制御工程と、
前記投影手段の照明光に起因する輝度変化あるいは前記投影手段の筐体の熱等に起因する輝度変化であるゆらぎ周期を検出するゆらぎ周期検出工程と、
前記シャッター時間に基づいて前記ゆらぎ周期に対応する繰り返し撮影回数を決定する撮影回数決定工程と、
前記フリッカー周期の整数倍のシャッター時間を用いて前記撮影手段により前記表示面上に投影表示された画像を前記決定された繰り返し撮影回数だけ繰り返し撮影する繰り返し撮影工程と、
前記繰り返し撮影工程によって得られる前記繰り返し撮影回数分の撮影画像を平均化する撮影画像平均化工程と、
を順次行うことを特徴とする表示画像撮影方法。
【請求項２】
前記フリッカー周期検出工程は、
高速の同一シャッター速度を用いて前記撮影手段により前記表示面上に投影表示された画像を複数回撮影する第１工程と、
前記撮影手段により同一シャッター速度で撮影した複数回分の撮影画像の信号レベルを比較してレベル差を求める第２工程と、
前記同一シャッター速度よりも低速な同一シャッター速度を用いて前記撮影手段により前記表示面上に投影表示された画像を前記複数回撮影する第３工程と、
前記撮影手段により前記低速な同一シャッター速度で撮影した複数回分の撮影画像の信号レベルを比較してレベル差を求める第４工程と、
前記第２工程における前回のレベル差と前記第４工程における今回のレベル差とを比較する第５工程と、
前記第５工程の比較において前回のレベル差が今回のレベル差以上である間、シャッター速度を徐々に低速側にシフトして前記第３工程〜前記第５工程を繰り返す第６工程と、
前記第５工程の比較において前回のレベル差が今回のレベル差未満になったとき、前回のレベル差に対応するシャッター速度を前記投影手段のフリッカー周期として検出する第７工程と、から成ることを特徴とする請求項１記載の表示画像撮影方法。
【請求項３】
前記シャッター時間制御工程は、
撮影画像の信号レベルが飽和しない信号レベルになるように前記撮影手段への入射光量を制限する入射光量制御手段の入射光量制限状態と、シャッター時間との組合せにより制御することを特徴とする請求項１記載の表示画像撮影方法。
【請求項４】
前記ゆらぎ周期検出工程は、
前記シャッター時間制御工程によりフリッカー周期の整数倍に制御されたシャッター時間を用いて前記撮影手段により前記表示面上に投影表示された画像をＮ（Ｎ＝１，２，・・）回撮影する工程である工程Ｘおよび工程Ｙを行う撮影工程と、
前記工程Ｘによって得られる撮影画像および前記工程Ｙによって得られる撮影画像をそれぞれ加算平均する加算平均工程と、
前記工程Ｘの加算平均された撮影画像と前記工程Ｙの加算平均された撮影画像とのレベルを比較してレベル差を求めるレベル差算出工程と、
撮影回数が（Ｎ−１）の場合のレベル差と撮影回数がＮの場合のレベル差とを比較するレベル差比較工程と、
前記レベル差比較工程において撮影回数がＮの場合のレベル差が撮影回数が（Ｎ−１）の場合のレベル差よりも小さい場合は、撮影回数を（Ｎ＋１）として前記撮影工程〜前記レベル差比較工程を繰り返す再撮影工程と、
前記レベル差比較工程において撮影回数がＮの場合のレベル差が撮影回数が（Ｎ−１）の場合のレベル差よりも大きくなった場合は、撮影回数を（Ｎ−１）に決定する撮影回数決定工程と、から成り、
前記撮影工程におけるシャッター速度と前記撮影回数決定工程により決定された撮影回数との積を前記ゆらぎ周期として検出することを特徴とする請求項１記載の表示画像撮影方法。
【請求項５】
前記ゆらぎ周期検出工程を複数回行って前記ゆらぎ周期を複数回検出し、［（ゆらぎ周期最大値−ゆらぎ周期最小値）／ゆらぎ周期最大値］で定義されるゆらぎ偏差の逆数に基づいて決定した繰り返し撮影回数だけ前記繰り返し撮影工程を行うことを特徴とする請求項１〜４の何れか１項記載の表示画像撮影方法。
【請求項６】
前記投影手段の照明光光源の経過時間に対するゆらぎ周期の特性を予め記憶した経過時間−ゆらぎ周期テーブルおよび前記投影手段の温度に対するゆらぎ周期の特性を予め記憶した温度−ゆらぎ周期テーブルの少なくとも一方を作成しておき、撮影時に前記経過時間および前記温度の少なくとも一方をパラメータとして前記経過時間−ゆらぎ周期テーブルおよび前記温度−ゆらぎ周期テーブルを参照することによりゆらぎ周期を求めることを特徴とする請求項１〜４の何れか１項記載の表示画像撮影方法。
【請求項７】
請求項６記載の表示画像撮影方法で前記表示面上に投影表示された画像を複数回撮影した場合の撮影画像のばらつきと、請求項１〜４の何れか１項記載の表示画像撮影方法で前記表示面上に投影表示された画像を複数回撮影した場合の撮影画像のばらつきとを比較し、ばらつきの少ない方の表示画像撮影方法を選択することを特徴とする請求項６記載の表示画像撮影方法。
【請求項８】
投影手段によって表示面上に投影表示された画像を撮影手段によって撮影する表示画像撮影方法であって、
前記投影手段のフリッカー周期を検出するフリッカー周期検出工程と、
前記撮影手段のシャッター時間を前記フリッカー周期の整数倍に制御するシャッター時間制御工程と、
ゆらぎ周期検出手段によって前記投影手段の照明光に起因する輝度変化あるいは前記投影手段の筐体の熱等に起因する輝度変化であるゆらぎ周期を検出するゆらぎ周期検出工程と、
前記フリッカー周期の整数倍のシャッター時間を用いて前記撮影手段により前記表示面上に投影表示された画像を前記ゆらぎ周期の間繰り返し撮影する繰り返し撮影工程と、
前記繰り返し撮影工程によって得られる前記ゆらぎ周期に対応する枚数の撮影画像を平均化する撮影画像平均化工程と、
を順次行うことを特徴とする表示画像撮影方法。
【請求項９】
投影手段によって表示面上に投影表示された画像を撮影する表示画像撮影装置であって、
前記表示面上に投影表示された画像を撮影して撮影画像を出力する撮影手段と、
前記投影手段のフリッカー周期を検出するフリッカー周期検出手段と、
前記撮影手段のシャッター時間を前記フリッカー周期の整数倍に制御するシャッター時間制御手段と、
前記投影手段の照明光に起因する輝度変化あるいは前記投影手段の筐体の熱等に起因する輝度変化であるゆらぎ周期を検出するゆらぎ周期検出手段と、
前記シャッター時間に基づいて前記ゆらぎ周期に対応する繰り返し撮影回数を決定する撮影回数決定手段と、
前記フリッカー周期の整数倍のシャッター時間を用いて前記撮影手段により前記表示面上に投影表示された画像を前記決定された繰り返し撮影回数だけ繰り返し撮影する繰り返し撮影手段と、
前記繰り返し撮影手段によって得られる前記繰り返し撮影回数分の撮影画像を平均化する撮影画像平均化手段と、
を具備して成ることを特徴とする表示画像撮影装置。
【請求項１０】
前記フリッカ周期検出手段および前記ゆらぎ周期検出手段として機能するセンサを別に設けたことを特徴とする請求項９記載の表示画像撮影装置。
【請求項１】
投影手段によって表示面上に投影表示された画像を撮影手段によって撮影する表示画像撮影方法であって、
前記投影手段のフリッカー周期を検出するフリッカー周期検出工程と、
前記撮影手段のシャッター時間を前記フリッカー周期の整数倍に制御するシャッター時間制御工程と、
前記投影手段の照明光に起因する輝度変化あるいは前記投影手段の筐体の熱等に起因する輝度変化であるゆらぎ周期を検出するゆらぎ周期検出工程と、
前記シャッター時間に基づいて前記ゆらぎ周期に対応する繰り返し撮影回数を決定する撮影回数決定工程と、
前記フリッカー周期の整数倍のシャッター時間を用いて前記撮影手段により前記表示面上に投影表示された画像を前記決定された繰り返し撮影回数だけ繰り返し撮影する繰り返し撮影工程と、
前記繰り返し撮影工程によって得られる前記繰り返し撮影回数分の撮影画像を平均化する撮影画像平均化工程と、
を順次行うことを特徴とする表示画像撮影方法。
【請求項２】
前記フリッカー周期検出工程は、
高速の同一シャッター速度を用いて前記撮影手段により前記表示面上に投影表示された画像を複数回撮影する第１工程と、
前記撮影手段により同一シャッター速度で撮影した複数回分の撮影画像の信号レベルを比較してレベル差を求める第２工程と、
前記同一シャッター速度よりも低速な同一シャッター速度を用いて前記撮影手段により前記表示面上に投影表示された画像を前記複数回撮影する第３工程と、
前記撮影手段により前記低速な同一シャッター速度で撮影した複数回分の撮影画像の信号レベルを比較してレベル差を求める第４工程と、
前記第２工程における前回のレベル差と前記第４工程における今回のレベル差とを比較する第５工程と、
前記第５工程の比較において前回のレベル差が今回のレベル差以上である間、シャッター速度を徐々に低速側にシフトして前記第３工程〜前記第５工程を繰り返す第６工程と、
前記第５工程の比較において前回のレベル差が今回のレベル差未満になったとき、前回のレベル差に対応するシャッター速度を前記投影手段のフリッカー周期として検出する第７工程と、から成ることを特徴とする請求項１記載の表示画像撮影方法。
【請求項３】
前記シャッター時間制御工程は、
撮影画像の信号レベルが飽和しない信号レベルになるように前記撮影手段への入射光量を制限する入射光量制御手段の入射光量制限状態と、シャッター時間との組合せにより制御することを特徴とする請求項１記載の表示画像撮影方法。
【請求項４】
前記ゆらぎ周期検出工程は、
前記シャッター時間制御工程によりフリッカー周期の整数倍に制御されたシャッター時間を用いて前記撮影手段により前記表示面上に投影表示された画像をＮ（Ｎ＝１，２，・・）回撮影する工程である工程Ｘおよび工程Ｙを行う撮影工程と、
前記工程Ｘによって得られる撮影画像および前記工程Ｙによって得られる撮影画像をそれぞれ加算平均する加算平均工程と、
前記工程Ｘの加算平均された撮影画像と前記工程Ｙの加算平均された撮影画像とのレベルを比較してレベル差を求めるレベル差算出工程と、
撮影回数が（Ｎ−１）の場合のレベル差と撮影回数がＮの場合のレベル差とを比較するレベル差比較工程と、
前記レベル差比較工程において撮影回数がＮの場合のレベル差が撮影回数が（Ｎ−１）の場合のレベル差よりも小さい場合は、撮影回数を（Ｎ＋１）として前記撮影工程〜前記レベル差比較工程を繰り返す再撮影工程と、
前記レベル差比較工程において撮影回数がＮの場合のレベル差が撮影回数が（Ｎ−１）の場合のレベル差よりも大きくなった場合は、撮影回数を（Ｎ−１）に決定する撮影回数決定工程と、から成り、
前記撮影工程におけるシャッター速度と前記撮影回数決定工程により決定された撮影回数との積を前記ゆらぎ周期として検出することを特徴とする請求項１記載の表示画像撮影方法。
【請求項５】
前記ゆらぎ周期検出工程を複数回行って前記ゆらぎ周期を複数回検出し、［（ゆらぎ周期最大値−ゆらぎ周期最小値）／ゆらぎ周期最大値］で定義されるゆらぎ偏差の逆数に基づいて決定した繰り返し撮影回数だけ前記繰り返し撮影工程を行うことを特徴とする請求項１〜４の何れか１項記載の表示画像撮影方法。
【請求項６】
前記投影手段の照明光光源の経過時間に対するゆらぎ周期の特性を予め記憶した経過時間−ゆらぎ周期テーブルおよび前記投影手段の温度に対するゆらぎ周期の特性を予め記憶した温度−ゆらぎ周期テーブルの少なくとも一方を作成しておき、撮影時に前記経過時間および前記温度の少なくとも一方をパラメータとして前記経過時間−ゆらぎ周期テーブルおよび前記温度−ゆらぎ周期テーブルを参照することによりゆらぎ周期を求めることを特徴とする請求項１〜４の何れか１項記載の表示画像撮影方法。
【請求項７】
請求項６記載の表示画像撮影方法で前記表示面上に投影表示された画像を複数回撮影した場合の撮影画像のばらつきと、請求項１〜４の何れか１項記載の表示画像撮影方法で前記表示面上に投影表示された画像を複数回撮影した場合の撮影画像のばらつきとを比較し、ばらつきの少ない方の表示画像撮影方法を選択することを特徴とする請求項６記載の表示画像撮影方法。
【請求項８】
投影手段によって表示面上に投影表示された画像を撮影手段によって撮影する表示画像撮影方法であって、
前記投影手段のフリッカー周期を検出するフリッカー周期検出工程と、
前記撮影手段のシャッター時間を前記フリッカー周期の整数倍に制御するシャッター時間制御工程と、
ゆらぎ周期検出手段によって前記投影手段の照明光に起因する輝度変化あるいは前記投影手段の筐体の熱等に起因する輝度変化であるゆらぎ周期を検出するゆらぎ周期検出工程と、
前記フリッカー周期の整数倍のシャッター時間を用いて前記撮影手段により前記表示面上に投影表示された画像を前記ゆらぎ周期の間繰り返し撮影する繰り返し撮影工程と、
前記繰り返し撮影工程によって得られる前記ゆらぎ周期に対応する枚数の撮影画像を平均化する撮影画像平均化工程と、
を順次行うことを特徴とする表示画像撮影方法。
【請求項９】
投影手段によって表示面上に投影表示された画像を撮影する表示画像撮影装置であって、
前記表示面上に投影表示された画像を撮影して撮影画像を出力する撮影手段と、
前記投影手段のフリッカー周期を検出するフリッカー周期検出手段と、
前記撮影手段のシャッター時間を前記フリッカー周期の整数倍に制御するシャッター時間制御手段と、
前記投影手段の照明光に起因する輝度変化あるいは前記投影手段の筐体の熱等に起因する輝度変化であるゆらぎ周期を検出するゆらぎ周期検出手段と、
前記シャッター時間に基づいて前記ゆらぎ周期に対応する繰り返し撮影回数を決定する撮影回数決定手段と、
前記フリッカー周期の整数倍のシャッター時間を用いて前記撮影手段により前記表示面上に投影表示された画像を前記決定された繰り返し撮影回数だけ繰り返し撮影する繰り返し撮影手段と、
前記繰り返し撮影手段によって得られる前記繰り返し撮影回数分の撮影画像を平均化する撮影画像平均化手段と、
を具備して成ることを特徴とする表示画像撮影装置。
【請求項１０】
前記フリッカ周期検出手段および前記ゆらぎ周期検出手段として機能するセンサを別に設けたことを特徴とする請求項９記載の表示画像撮影装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２００７−４９２６９（Ｐ２００７−４９２６９Ａ）
【公開日】平成１９年２月２２日（２００７．２．２２）
【国際特許分類】
【出願番号】特願２００５−２２９２４２（Ｐ２００５−２２９２４２）
【出願日】平成１７年８月８日（２００５．８．８）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成１９年２月２２日（２００７．２．２２）
【国際特許分類】
【出願日】平成１７年８月８日（２００５．８．８）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]