説明

画像処理装置、画像表示システム、画像処理方法

【課題】表示条件に応じた階調ムラの補正を効率的に行う。
【解決手段】プロジェクター2から投射される画像の投射対象のスクリーン上での各画素の位置に向かう光の進行方向が、投射対象のスクリーンの法線方向となす第1の角度を算出し、プロジェクター2から投射される画像の投射対象のスクリーン上での各画素から視点の位置に向かう光の進行方向がスクリーンとなす第2の角度を算出し、第1の角度に対する基準のスクリーンゲインと第2の角度に対する投射対象のスクリーンゲインとの比率を算出し、この比率を用いてプロジェクター2の入出力特性情報が示す各階調値に対する投射対象のスクリーン上での推定輝度を算出し、推定輝度を入出力特性情報が示す輝度に近づけるために要求される各階調値の補正量を示すスクリーン特性補正情報を算出するスクリーン特性補正情報算出部31を備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、画像表示システム、画像処理方法に関する。
【背景技術】
【0002】
従来から、画像表示装置の1つとしてプロジェクターが知られている。プロジェクターは、設置が容易であることや、大画面の画像を表示可能であること等の特長を有している。プロジェクターにより投射されたスクリーン上の画像に、色ムラや輝度ムラ(以下、階調ムラと総称する)が発生することがある。階調ムラの発生は、スクリーン上に表示された各画像と視点との相対位置が画素ごとに異なることや、プロジェクター内の光学系が収差を有していること、スクリーンにたわみ等の局所的な歪を生じていること等に起因している。
【0003】
階調ムラを減らすことが可能な技術として、特許文献1に開示されている技術が挙げられる。特許文献1の画像表示装置は、画像補正部、データ格納部、および画像形成部を備えている。画像補正部は、データ格納部に格納されている補正データに基づいて、入力された画像データを補正する。画像形成部は、補正後の画像データに応じて表示する画像を形成する。
【0004】
上記の補正データは、画像調整装置により算出される。補正データを算出するには、プロジェクターにより投射されたスクリーン上でのグレイ画像における複数の位置での出力レベルを測定する。そして、スクリーン上での各画素の出力レベルの測定値と、グレイ画像の元になるグレイ画像データに規定された各画素の入力レベルとを比較して、出力レベルが入力レベルに近づくように補正データを決定する。補正データは、画像形成部の入出力特性データに基づいて算出されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2001−209358号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
特許文献1の技術にあっては、スクリーン上に表示された視聴者向けの画像(以下、コンテンツ画像という)の階調ムラを減らすことが可能であるが、次に説明するように改善の余地がある。
【0007】
上記の補正データは、スクリーンに対する視点の位置やプロジェクターの位置、スクリーンの種類等の条件(以下、表示条件という)に応じて定まる値である。すなわち、視聴者向けの画像(以下、コンテンツ画像という)を表示するときに、スクリーンに対するプロジェクターの位置が出力レベルの測定時と同じであり、スクリーンに対する視聴者の視点の位置が測定時の測定装置の位置と同じであれば、視聴者に階調ムラを認識されにくくなる。
【0008】
一方、上記の表示条件のいずれかを変更した場合には、補正データが表示条件に整合しなくなり、階調ムラを高精度に補正することができなくなる。変更後の表示条件で階調ムラを高精度に補正するには、変更後の表示条件に整合した測定条件でスクリーン上の出力レベルを測定して補正データを更新する必要がある。例えば、コンテンツ画像の表示途中で視聴者が移動した場合には、コンテンツ画像の表示を中断して出力レベルを測定することになる。
【0009】
以上のように従来の技術では、表示条件に応じて階調ムラを補正しようとすると、ユーザーの負担が増加してプロジェクターの利便性が低下するおそれがある。本発明は、上記の事情に鑑み成されたものであって、表示条件に応じた階調ムラの補正を効率的に行うことが可能になる画像処理装置、画像表示システム、および画像処理方法を提供することを目的の1つとする。
【課題を解決するための手段】
【0010】
本発明では、上記の目的を達成するために以下の手段を採用している。
本発明の画像処理装置は、スクリーンに投射された光のうちで前記スクリーンを経た後に前記スクリーンの法線方向と角度θをなす方向に進行する角度成分の光について、各角度成分の光の輝度を示すスクリーンゲインと前記角度θとの対応関係を示す情報をスクリーン特性情報としたときに、基準のスクリーンに関する第1の前記スクリーン特性情報と、投射対象のスクリーンに関する第2の前記スクリーン特性情報と、画像形成素子を含み前記投射対象のスクリーンに画像を投射するプロジェクターの前記投射対象のスクリーンに対する位置を示す装置位置情報と、前記投射対象のスクリーンに対する視点の位置を示す視点位置情報と、前記プロジェクターの画像形成素子へ入力される画像データに規定された階調値と該画像データに基づいてプロジェクターから出力される光の輝度との対応関係を示す入出力特性情報と、を取得する情報取得部と、前記装置位置情報を用いて、前記プロジェクターから投射される画像の前記投射対象のスクリーン上での各画素の位置に向かう各角度成分の光の進行方向が、前記投射対象のスクリーンの法線方向となす第1の角度を算出し、前記視点位置情報を用いて、前記プロジェクターから投射される画像の前記投射対象のスクリーン上での各画素から前記視点の位置に向かう各角度成分の光の進行方向が前記法線方向となす第2の角度を算出し、第1の前記スクリーン特性情報が示す前記第1の角度に対する前記第1のスクリーンゲインと第2の前記スクリーン特性情報が示す前記第2の角度に対する前記第2のスクリーンゲインとの比率を算出し、前記比率を用いて前記入出力特性情報が示す各階調値に対する前記投射対象のスクリーン上での推定輝度を算出し、前記推定輝度を前記入出力特性情報が示す輝度に近づけるために要求される各階調値の補正量を示すスクリーン特性補正情報を算出するスクリーン特性補正情報算出部を備えていることを特徴とする。
【0011】
このように、スクリーン特性補正情報算出部は、装置位置情報、視点位置情報、第1のスクリーン特性情報、および第2のスクリーン特性情報を用いてスクリーン特性補正情報を算出する。したがって、投射対象のスクリーンに対するプロジェクターの位置や視点の位置、投射対象のスクリーンの種類等の表示条件の変更に伴う階調値の補正量の変化分をスクリーン特性補正情報が示す補正量により補償することができる。よって、表示条件を変更したときに、表示条件に整合した測定条件でプロジェクターから投射された光の投射対象のスクリーン上での輝度を測定しなくとも、表示条件に応じて階調値が補正された画像データを得ることが可能になる。このように、本発明によれば、表示条件に応じた階調ムラの補正を効率的に行うことが可能になる。
【0012】
本発明に係る画像処理装置としては、前記プロジェクターにより投射される画像の画像形成素子へ入力される画像データに規定された各画素の階調値を、前記スクリーン特性補正情報が示す各階調値の補正量を用いて補正するスクリーン特性補正処理を施すスクリーン特性補正処理部を備えているとよい。
【0013】
このようにすれば、スクリーン特性補正処理部が、スクリーン特性補正情報を用いて画像データにスクリーン特性補正処理を施すので、表示条件の変更に伴う階調値の補正量の変化分が加味された画像データを得ることができる。
【0014】
本発明に係る画像処理装置としては、前記プロジェクターにより投射される画像の前記基準のスクリーン上での各画素における輝度を、前記画像を示す画像データに規定された各画素の階調値に相当する輝度に近づけるように前記画像データが示す階調値を補正するときの各階調値の補正量を示す階調補正情報を取得し、処理後の前記画像データに基づいて前記プロジェクターにより投射される画像の前記投射対象のスクリーン上での各画素の輝度が、処理前の前記画像データに規定された各画素の階調値に相当する輝度に近づくように、前記階調補正情報に基づいて前記画像データを処理する階調補正処理部を備えているとよい。
【0015】
上記のように、表示条件の変更に伴う階調値の補正量の変化分が加味された画像データを得ることができ、スクリーン特性補正処理の処理前または処理後の画像データを、階調補正処理部が基準のスクリーンに基づいた階調補正情報を用いて補正するので、表示条件に整合した階調補正情報を得るための輝度の測定を省くことが可能になる。
【0016】
本発明の第1の画像表示システムは、本発明に係る画像処理装置と、前記画像処理装置により処理された画像データに基づいて投射対象のスクリーンに画像を投射するプロジェクターと、前記装置位置情報および前記視点位置情報のユーザーからの入力を受け付け、入力された前記装置位置情報および前記視点位置情報を前記画像処理装置へ出力する位置情報入力装置と、を備えていることを特徴とする。
【0017】
このようにすれば、表示条件に応じた階調ムラの補正を効率的に行うことができるので、画像の表示品質を高めることや、画像表示システムの利便性を高めることができる。また、ユーザーが入力した装置位置情報および視点位置情報を用いてスクリーン特性補正情報を算出することが可能になり、簡便に階調ムラの補正を行うことが可能になる。
【0018】
本発明の第2の画像表示システムは、本発明に係る画像処理装置と、前記画像処理装置により処理された画像データに基づいて投射対象のスクリーンに画像を投射するプロジェクターと、前記投射対象のスクリーンに対する前記プロジェクターの位置および前記視点の位置を測定し、測定結果を前記画像処理装置へ出力する測定装置と、を備えていることを特徴とする。
【0019】
このようにすれば、表示条件に応じた階調ムラの補正を効率的に行うことができるので、画像の表示品質を高めることや、画像表示システムの利便性を高めることができる。また、測定装置による測定結果に基づいてスクリーン特性補正情報を算出することが可能になり、ユーザーの負担を減らすことができる。
【0020】
上記の第1、第2の画像表示システムは、前記第1のスクリーン特性情報および前記第2のスクリーン特性情報を格納した記憶部を備えているとよい。
このようにすれば、記憶部に格納されている第1のスクリーン特性情報および前記第2のスクリーン特性情報を用いてスクリーン特性補正情報を算出することが可能になり、スクリーンの種類の変更に伴うスクリーン特性補正情報の算出を効率的に行うことが可能になる。
【0021】
本発明の画像処理方法は、スクリーンに投射された光のうちで前記スクリーンを経た後に前記スクリーンの法線方向と角度θをなす方向に進行する角度成分の光について、各角度成分の光の輝度を示すスクリーンゲインと前記角度θとの対応関係を示す情報をスクリーン特性情報としたときに、基準のスクリーンに関する第1の前記スクリーン特性情報と、投射対象のスクリーンに関する第2の前記スクリーン特性情報と、画像形成素子を含み前記投射対象のスクリーンに画像を投射するプロジェクターの前記投射対象のスクリーンに対する位置を示す装置位置情報と、前記投射対象のスクリーンに対する視点の位置を示す視点位置情報と、前記プロジェクターの画像形成素子へ入力される画像データに規定された階調値と該画像データに基づいてプロジェクターから出力される光の輝度との対応関係を示す入出力特性情報と、を取得するステップと、前記装置位置情報を用いて、前記プロジェクターから投射される画像の前記投射対象のスクリーン上での各画素の位置に向かう各角度成分の光の進行方向が、前記投射対象のスクリーンの法線方向となす第1の角度を算出し、前記視点位置情報を用いて、前記プロジェクターから投射される画像の前記投射対象のスクリーン上での各画素から前記視点の位置に向かう各角度成分の光の進行方向が前記法線方向となす第2の角度を算出し、前記第1のスクリーン特性情報が示す前記第1の角度に対する第1の前記スクリーンゲインと第2のスクリーン特性情報が示す前記第2の角度に対する前記第2の前記スクリーンゲインとの比率を算出し、前記比率を用いて前記入出力特性情報が示す各階調値に対する前記投射対象のスクリーン上での推定輝度を算出し、前記推定輝度を前記入出力特性情報が示す輝度に近づけるために要求される各階調値の補正量を示すスクリーン特性補正情報を算出するステップを有することを特徴とする。
【0022】
このようにすれば、投射対象のスクリーンに対するプロジェクターの位置や視点の位置、投射対象のスクリーンの種類等の表示条件に整合した測定条件でプロジェクターから投射された光の投射対象のスクリーン上での輝度を測定しなくとも、表示条件に応じて階調値が補正された画像データを得ることが可能になる。よって、表示条件に応じた階調ムラの補正を効率的に行うことが可能になる。
【図面の簡単な説明】
【0023】
【図1】第1実施形態の画像表示システムの概略構成を示す模式図である。
【図2】画像処理装置の機能構成を示すブロック図である。
【図3】階調値に対する出力レベルのグラフにて入出力特性を示す概念図である。
【図4】スクリーンゲインの定義を示す説明図である。
【図5】(a)〜(c)は、互いに異なるスクリーン特性の例を示すグラフである。
【図6】階調補正情報の算出方法の説明に用いる変数の説明図である。
【図7】階調補正情報の算出方法の一例を示す説明図である。
【図8】本発明に係る画像処理方法の処理フローの例を示すフローチャートである。
【図9】スクリーン特性補正情報処理の処理フローを示すフローチャートである。
【図10】リア投射型での各種要素の位置関係を示す図である。
【図11】フロント投射型での各種要素の位置関係を示す図である。
【図12】スクリーン特性補正情報の算出方法の一例を示す説明図である。
【図13】第2実施形態の画像表示システムの概略構成を示す模式図である。
【図14】第3実施形態の画像表示システムの概略構成を示す模式図である。
【図15】第4実施形態の画像表示システムの概略構成を示す模式図である。
【図16】第5実施形態の画像表示システムの概略構成を示す模式図である。
【発明を実施するための形態】
【0024】
以下、図面を参照しつつ本発明の実施形態を説明する。説明に用いる図面において、特徴的な部分を分かりやすく示すために、図面中の構造の寸法や縮尺を実際の構造に対して異ならせている場合がある。また、実施形態において同様の構成要素については、同じ符号を付して図示し、その詳細な説明を省略する場合がある。なお、本発明の技術範囲は下記の実施形態に限定されるものではなく、実施形態で説明する各構成を適宜選択して組み合わせることもできる。本発明の主旨を逸脱しない範囲内で多様な変形が可能である。
【0025】
[第1実施形態]
図1は、第1実施形態の画像表示システムの概略構成を示す模式図である。
図1に示す画像表示システム1は、プロジェクター2、画像処理装置3、および操作パネル(位置情報入力装置)4を備えている。
【0026】
画像表示システム1は、概略すると以下のように動作する。画像表示システム1により視聴者向けの画像(以下、コンテンツ画像という)を表示するときに、画像処理装置3は、信号源5から表示する画像を示す画像データを受け取る。信号源5は、例えばパーソナルコンピューターやDVDプレイヤー等である。画像処理装置3は、表示されるコンテンツ画像の階調ムラを減らすべく、画像データにスクリーン特性補正処理および階調補正処理を施し、処理後の画像データをプロジェクター2へ入力する。プロジェクター2は、画像処理装置3から入力された画像データに基づいて投射対象のスクリーンSCに画像を投射する。
【0027】
画像処理装置3は、ユーザーの要請により、スクリーン特性補正処理に用いるスクリーン特性補正情報を算出する。スクリーン特性補正情報の算出は、例えば投射対象のスクリーンSCの種類や、投射対象のスクリーンSCに対するプロジェクター2の位置、投射対象のスクリーンSCに対する視聴者の視点の位置等の表示条件を変更する場合に行う。スクリーン特性補正情報は、表示条件の違いによる画像データの補正量の違いを補償するのに用いる情報である。
【0028】
スクリーン特性補正情報を算出するときに、操作パネル4は、スクリーン特性補正情報の算出に必要な情報についてユーザーからの入力を受け付ける。画像処理装置3は、ユーザーが入力した情報を取得し、スクリーン特性補正情報を算出して更新する。画像表示システム1は、表示条件の変更に伴って更新されたスクリーン特性補正情報を用いて、画像データにスクリーン特性補正処理を施す。画像データは、表示条件に応じた補正量で補正され、表示条件の変更後においてもコンテンツ画像の階調ムラを減らすことができる。
【0029】
このように、画像表示システム1は、表示条件に応じたスクリーン特性補正情報を用いて画像データの補正量を補償可能になっているので、表示条件の変更前後で階調補正処理に用いる階調補正情報を変更しなくとも階調ムラを高精度に抑制することができる。したがって、階調補正情報の変更に伴う手間や時間を省くことができ、ユーザーの負担を低減しつつ表示品質を高めることが可能になる。
【0030】
次に、画像表示システム1の構成要素について詳しく説明する。
プロジェクター2は、光源20、色分離光学系21、画像形成素子22〜24、色合成素子25、および投射光学系26を含んでいる。プロジェクター2は、供給された画像データに基づいて画像を投射可能なものであれば、その構成に限定されない。本実施形態のプロジェクター2は、複数の基本色(ここでは、赤、緑、青)の加法混合によりフルカラーの画像を投射可能な三板式のプロジェクターである。
【0031】
以下の説明では、画像における画素の配列方向をi方向、j方向とし、i方向の端かつj方向の端に位置する画素を基準とした画素の座標を(i,j)または添え字ijで表すことがある。例えば画素Pijは、座標(i,j)に配置された画素である。例えば、i方向がスクリーン上の画像の水平方向に相当し、j方向がスクリーン上の画像の垂直方向に相当する。プロジェクターに供給される画像データは、各画素用のデータ(以下、画素データという)を含んでいる。画素データは、赤の階調値Rij、緑の階調値Gij、および青の階調値Bijを含んでいる。
【0032】
光源20は、複数の基本色の成分を含んだ光Lを射出する。光源20は、レーザー素子やLED等の固体光源であってもよいし、高圧水銀ランプ等のランプ光源であってもよい。光源20には、紫外線カットフィルターや、インテグレーター光学系等の照度均一化光学系、光源から射出された光の偏光状態を揃える偏光変換素子等が必要に応じて設けられる。
【0033】
色分離光学系21は、波長選択性を有するダイクロイックミラーや、リレーレンズ、反射ミラー等により構成される。光源20から射出された光Lは、色分離光学系21により赤色光La、緑色光Lb、および青色光Lcに分離される。赤色光Laは画像形成素子22に入射し、緑色光Lbは画像形成素子23に、青色光Lcは画像形成素子24に、それぞれ入射する。
【0034】
各画像形成素子は、二次元的に配列された複数の画素(以下、変調要素という)を有している。画像形成素子は、例えば透過型または反射型の液晶ライトバルブや、デジタルミラーデバイス(DMD)等である。画像形成素子は、プロジェクター2へ入力された画像データの画素ごとの階調値に基づいて、複数の変調要素を互いに独立して制御する。変調要素に入射した光は、変調要素ごとに変調されて画素データに規定された階調値に応じた光量の光になる。複数の変調要素により変調された光が全体として光学像(画像)になる。画像形成素子22〜24は、互いに異なる色(赤、緑、青)の光学像を形成する。3色の光学像がダイクロイックプリズム等の色合成素子25により合成され、合成された光学像が投射光学系26により投射対象のスクリーンSCに投射される。
【0035】
なお、プロジェクター2は、画像形成素子の数が1つである単板式のプロジェクターであってもよいし、画像形成素子の数が2または4以上であるプロジェクター(例えば六板式のプロジェクター)等であってもよい。また、プロジェクター2は、投射対象のスクリーンSCに対して視聴者と同じ側から投射するフロント投射型であってもよいし、スクリーンSCを挟んで視聴者と反対側から投射するリア投射型であってもよい。
【0036】
操作パネル4は、例えばタッチパネル等の入力デバイスにより構成される。操作パネル4は、ユーザーから各種情報入力を受け付ける。操作パネル4は、例えばスクリーン特性補正情報の算出の要請を示す情報の入力をユーザーから受けて、装置位置情報および視点位置情報の入力をユーザーから受け付ける。装置位置情報は、投射対象のスクリーンSCに対するプロジェクター2の位置(投射位置)を示す情報である。視点位置情報は、投射対象のスクリーンSCに対する視聴者の視点の位置を示す情報である。視聴者の視点の位置は、視聴者の概ねの位置により代用可能である。装置位置情報および視点位置情報は、図示略の記憶部に格納され、スクリーン特性補正情報算出部31の要請に応じて読み出される。
【0037】
図2は、画像処理装置3の機能構成を示すブロック図である。
図2に示すように、画像処理装置3は、スクリーン特性補正情報算出部31、入出力特性記憶部32、スクリーン特性記憶部33、スクリーン特性補正処理部34、スクリーン特性補正情報記憶部35、階調補正処理部36、および階調補正情報記憶部37を含んでいる。
【0038】
スクリーン特性補正情報算出部31、スクリーン特性補正処理部34、および階調補正処理部36は、演算処理が可能なデバイスにより構成され、2以上が同一のデバイスにより構成されていてもよい。演算処理が可能なデバイスとしては、例えばASIC等のロジック回路や、コンピューターのCPU、コンピューターに実装されたビデオカードのGPU等が挙げられる。
【0039】
入出力特性記憶部32、スクリーン特性記憶部33、スクリーン特性補正情報記憶部35、および階調補正情報記憶部37は、不揮発性のメモリーやハードディスク等の記憶デバイスにより構成され、2以上が同一のデバイスにより構成されていてもよい。スクリーン特性補正情報記憶部35は、格納されたデータを書き換え可能な不揮発性メモリー等の記憶デバイスにより構成される。
【0040】
入出力特性記憶部32には、プロジェクター2の画像形成素子22〜24の入出力特性情報が格納されている。入出力特性情報は、各画像形成素子へ入力される画像データに規定された階調値と、この画像データに基づいてプロジェクター2から出力される光の輝度との対応関係を示す情報である。画像形成素子として液晶パネルを用いたプロジェクターでは、液晶パネルのVT特性情報、すなわち変調要素への印加電圧と液晶パネルの光透過率との対応関係を示す情報が、入出力特性情報に相当する。
【0041】
入出力特性を求めるには、まずプロジェクター2により投射された測定用画像の基準のスクリーン上での輝度を測定する。測定用画像には、画像内で画素の階調値が均一である画像(ベタ画像)であって、モノクロ(白、グレイ、黒を含む)の画像を用いる。そして、基準のスクリーン上の測定用画像を撮像装置により撮像し、撮像画像の中の測定用画像の複数の位置における輝度を調べる。例えば、xyz等色関数近似の分光感度を持つフィルターを用いて測定用画像を撮像し、撮像結果に対してマトリクス補正演算を行うことにより、基準のスクリーン上の複数の位置での輝度を示す値としてXYZ三刺激値が得られる。複数のレベルの階調値に対して上記の測定を行い、階調値に対するXYZ三刺激値の各成分をプロットすることにより、入出力特性が得られる。また、等色関数とは異なるRGBフィルターを用いて撮像し、基準のスクリーン上の複数の位置での輝度を示す値としてRGBの出力レベルを得ることも可能である。
【0042】
図3は、階調値に対して入出力特性情報の算出方法を概念的に示す図である。図3には、グレイの階調値NWに対するXYZ三刺激値の各成分(X、Y、Z)を示すグラフと、赤の階調値NRに対する赤の出力レベルLRを示すグラフと、緑の階調値NGに対する緑の出力レベルLGを示すグラフと、青の階調値NBに対する青の出力レベルLBを示すグラフと、を図示している。各グラフの横軸は、8ビットの階調値、すなわち0から255までの整数を示す。図3のグラフの縦軸は、階調値が255の場合を100%とした出力レベルを示している。出力レベルFX(NW)、FY(NW)、FZ(NW)は、それぞれXYZ三刺激値のX成分、Y成分、Z成分を示している。
【0043】
図3に示す例では、階調値が増加するにつれて、出力レベルは非線形的に単調増加している。グレイの各階調値に対するXYZ三刺激値を変換行列Qの逆行列Q−1により変換することにより、各基本色の出力レベルが得られる。例えばグレイの階調値がKであるときの、各基本色の階調値はいずれもKであるので、各基本色の階調値に対する各基本色の出力レベルが得られる。変換行列Qは、プロジェクターの特性により定まる行列である。
【0044】
入出力特性情報は、例えば階調補正情報を算出するときに求められる。この場合には、得られた入出力特性情報を入出力特性記憶部32に格納しておくとよい。入出力特性情報が、プロジェクター2の内部の記憶部等に予め格納されている場合には、この記憶部から入出力特性情報を読み出して入出力特性記憶部32に格納しておくとよい。プロジェクター2の製造元等から電気通信回線等を用いて入出力特性情報を取得し、入出力特性記憶部32に格納しておいてもよい。
【0045】
スクリーン特性記憶部33には、基準のスクリーンに関する第1のスクリーン特性情報と、投射対象のスクリーンSCに関する第2のスクリーン特性情報とが格納されている。基準のスクリーンは、階調補正処理に用いる階調補正情報を算出するときに用いるスクリーンと同じ特性のスクリーンである。スクリーン特性情報は、スクリーンに投射された光のうちでスクリーンを経た後にスクリーンの法線方向と角度θをなす方向に進行する角度成分の光について、各角度成分の光の輝度の基準値に対する比率を示すスクリーンゲインと角度θとの対応関係を示す情報である。
【0046】
基準のスクリーンと同じ特性のスクリーンを用いて階調補正情報を算出するので、第1のスクリーン特性情報については予め入手可能である。第2のスクリーン特性情報については、投射対象のスクリーンとして使用予定のものを選択しておき、そのスクリーン特性情報を入手しておくことが可能である。また、複数の種類のスクリーンの各スクリーン特性情報をデータベースとしてスクリーン特性記憶部33に格納しておき、例えばユーザーが操作パネル4を利用して投射対象のスクリーンを指定するようにしてもよい。この場合には、データベース上で指定されたスクリーンと関連付けられたスクリーン特性情報が、第2のスクリーン特性情報として読み出されるようにすればよい。
【0047】
複数のスクリーンの各スクリーン特性情報を含んだデータベースから電気通信回線を通じて、各スクリーン特性情報を取得可能である場合には、画像処理装置3内にデータベースを格納しておく必要はない。この場合には、電気通信回線を通じて、スクリーン補正情報の算出に必要なスクリーン特性情報を取得し、取得したスクリーン特性情報をスクリーン特性記憶部33に格納しておけばよい。
【0048】
図4は、スクリーンゲインの定義を示す説明図、図5(a)〜図5(c)は、スクリーン特性の例を示すグラフである。図4に示すようにスクリーンゲインGは、下記の式(1)で表される。
G=Y(θ)/Y’(θ) ・・・式(1)
【0049】
式(1)中のY(θ)は、スクリーンの法線方向から投射された光のうちで、スクリーンを経てスクリーンの法線方向と角度θをなす方向に進行する角度成分の光の輝度である。式(1)中のY’(θ)は、完全拡散板の法線方向から投射された光のうちで、完全拡散板を経て完全拡散板の法線方向と角度θをなす方向に進行する角度成分の光の輝度である。完全拡散板は、酸化マグネシウムを焼き付けた純白板等である。図4では、反射散乱型のスクリーンについて図示しているが、透過散乱型のスクリーンについても同様にスクリーンゲインGを定義することができる。以下の説明では、スクリーンゲインGと角度θとの対応関係を関数G(θ)で表し、関数G(θ)をスクリーン特性と称す。
【0050】
図5(a)に示す第1の例のスクリーン特性G(θ)は、フロント投射用に使用される反射散乱型のスクリーンのスクリーンゲインGを角度θに対してプロットしたものである。このスクリーンは、例えば白色塗料が塗布された生地の表面に、エンボス加工とツヤ消し処理を施したマット系スクリーンである。
【0051】
図5(b)に示す第2の例のスクリーン特性G(θ)は、リア投射用に使用される透過散乱型のスクリーンのスクリーンゲインGを角度θに対してプロットしたものである。
【0052】
図5(c)に示す第3の例のスクリーン特性G(θ)は、フロント投射用に使用される反射散乱型のスクリーンのスクリーンゲインGを角度θに対してプロットしたものである。このスクリーンは、例えば白色塗料が塗布された生地の表面に、超微粒のパール塗料を表面にコーティングしたパール系スクリーンである。
【0053】
スクリーン上の画像の画素(以下、表示画素という場合がある)から視点の位置に向かう光の進行方向がスクリーンの法線方向となす角度(第2の角度)をθとすると、視点に入射する光の光量はスクリーン特性G(θ)のθにθを代入した値に対応関係がある。すなわち、第2の角度θに対するスクリーンゲインG(θ)が大きくなるほど視聴者には表示画素が明るく感じられることになる。図5(a)〜図5(c)から分かるように、いずれのスクリーン特性においても角度θの変化に伴ってスクリーンゲインが変化している。ここで、視点の位置が固定であれば、第2の角度θが各表示画素の位置に応じて異なる。第2の角度θが各表示画素の位置ごとに異なると、これに対応してスクリーンゲインも各表示画素の位置ごとに異なるので、各表示画素の階調値が同じであっても視聴者が認識する画像に輝度ムラを生じることになる。
【0054】
このような輝度ムラは、画像データに階調補正処理を施すことにより低減可能である。しかしながら、図5(a)〜図5(c)のグラフから分かるようにスクリーンの種類に応じてスクリーン特性が異なるので、スクリーンの種類の変更前後で同じ階調補正処理を施すと、輝度ムラを減らす効果が低下し、端的には逆に輝度ムラを生じる一因になることもある。また、スクリーンに対するプロジェクターの位置や視点の位置が変化すると、位置の変化前と比較して第2の角度θが変化するので、スクリーンゲインG(θ)が変化することになる。この場合にも位置の変化前後で同じ階調補正処理を施すと、輝度ムラを減らす効果が低下してしまう。
【0055】
図2の説明に戻り、スクリーン特性補正情報算出部31は、表示条件の変更に伴って階調ムラを補正するのに必要な補正量が変化したときに、スクリーン特性補正情報を算出する。スクリーン特性補正情報は、階調補正処理での補正量の変化分を補償する補正量を示す情報である。
【0056】
スクリーン特性補正情報算出部31は、ユーザーが操作パネル4を用いて入力した装置位置情報および視点位置情報、入出力特性記憶部32に格納されている入出力特性情報、スクリーン特性記憶部33に格納されている第1のスクリーン特性情報および第2のスクリーン特性情報のうちでスクリーン特性補正情報の算出に必要な情報を取得して、これらの情報を用いてスクリーン特性補正情報を算出する。スクリーン特性補正情報の算出方法については後述する。
【0057】
本実施形態では、スクリーン特性補正情報算出部31が情報取得部を兼ねている。スクリーン特性補正情報算出部がロジック回路により構成されている場合には、各種記憶部から各種情報を読出してスクリーン特性補正情報算出部へ出力する読出回路が情報取得部に相当する。また、外部から各種情報のうちの1以上を取得する場合には、取得に用いる電気通信回路や各種入力デバイス(例えば、操作パネル4)も情報取得部に含まれる。
【0058】
例えば、スクリーンの種類を変更し、基準のスクリーンと投射対象のスクリーンとでスクリーンに対するプロジェクターの位置および視点の位置を変更しない場合には、ユーザーに装置位置情報および視点位置情報の入力を要請することなく、第2のスクリーン情報を取得してスクリーン特性補正情報を算出する。スクリーンの種類を変更することなく、基準のスクリーンに対するプロジェクターの位置および視点の位置を変更する場合には、第2のスクリーン特性情報として第1のスクリーン特性情報を取得し、ユーザーに装置位置情報および視点位置情報の入力を要請して、取得した情報を用いてスクリーン特性補正情報を算出する。
【0059】
スクリーン特性補正情報算出部31は、算出したスクリーン特性補正情報をスクリーン特性補正情報記憶部35に格納して更新する。本実施形態のスクリーン特性補正情報は、各画素用の補正情報が画素の座標と関連付けられたテーブルデータである。各画素用の補正情報は、赤成分用の補正量WRij、緑成分用の補正量WGij、および青成分用の補正量WBijを含んでいる。
【0060】
スクリーン特性補正処理部34は、コンテンツ画像を示す画像データを例えば信号源5から受け取る。スクリーン特性補正処理部34は、スクリーン特性補正情報を参照して、画像データにスクリーン特性補正処理を施す。スクリーン特性補正処理部34は、スクリーン特性補正処理後の画像データを階調補正処理部36へ出力する。
【0061】
階調補正情報記憶部37には、階調補正情報が格納されている。階調補正情報は、基準のスクリーン上での各表示画素の輝度を、画像データに規定された階調値に相当する輝度に近づけるように画像データが示す階調値を補正するときの各階調値の補正量を示す情報である。階調補正情報は、スクリーン特性補正情報と同様の形式になっている。階調補正情報は、各画素用の補正情報が画素の座標と関連付けられたテーブルデータである。各画素用の補正情報は、赤成分用の補正量WRij、緑成分用の補正量WGij、および青成分用の補正量WBijを含んでいる。
【0062】
なお、スクリーン特性補正情報は、全ての画素に関する各画素用の補正情報を含んでいるのではなく、一部の画素に関する各画素用の補正情報を含んでいてもよい。例えば、画素配列においてとびとびの画素に関する各画素用の補正情報を含んでいてもよいし、2以上の画素からなる領域で共通の各画素用の補正情報を含んでいてもよい。この場合に、直接的に補正情報が設定されていない画素に対しては、他の画素用の補正情報を用いた補間演算等により、間接的に補正情報を設定することができる。階調補正情報についても同様に、一部の画素に対して各画素用の補正情報を含んでいればよい。
【0063】
図6は、階調補正情報の算出方法の説明に用いる変数の説明図、図7は、階調補正情報の算出方法の第1の例を示す説明図である。
図6中の符号SC1は基準のスクリーンを示し、符号Aはプロジェクター2による基準のスクリーン上での投射領域を示す。符号Pijは、画像データが示す画素配列にて座標(i,j)に配置された画素を示し、符号Pcは、投射領域Aの中心位置を示す。
【0064】
階調補正情報を算出するには、まずプロジェクター2により投射された基準のスクリーンSC1上での測定用画像について、複数の位置(1以上の表示画素を含む領域)での輝度を測定する。輝度の測定は、入出力特性を求めるときと同様の手法により行うことができる。例えば、測定用画像としては、画像内で画素の階調値が均一である画像を用いる。そして、基準のスクリーンSC1上の測定用画像を撮像装置により撮像し、撮像画像の中の測定用画像の画素Pijにおける輝度を検出する。例えば、xyz等色関数近似の分光感度を持つフィルターを用いて測定用画像を撮像し、撮像結果に対してマトリクス補正演算を行うことにより、基準のスクリーンSC1上の各表示画素での輝度を示す値としてXYZ三刺激値(Xij,Yij,Zij)が得られる。
なお、入出力特性情報を求めるときと同様に、等色関数とは異なるRGBフィルターを用いて撮像し、基準のスクリーン上の各表示画素での輝度を示す値としてRGBの出力レベルを得ることも可能である。
【0065】
次いで、補正後のXYZ三刺激値の目標値(X,Y,Z)を設定する。各表示画素でのXYZ三刺激値の各成分の比(Xij:Yij:Zij)が基準のスクリーンSC1上で均一になっていない場合には、階調ムラを生じていることになる。階調ムラを補正するには、補正後のXYZ三刺激値(X’ij,Y’ij,Z’ij)が下記の式(2)を満たすように補正量を設定すればよい。
X’ij:Y’ij:Z’ij=X:Y:Z ・・・式(2)
なお、式(2)中の(X’ij,Y’ij,Z’ij)は、各表示画素でのXYZ三刺激値の補正量を(ΔXij,ΔYij,ΔZij)としたときに、X’ij=Xij+ΔXij、Y’ij=Xij+ΔXij、Z’ij=Xij+ΔXij、で表される値である。
【0066】
XYZ三刺激値の比(Xij:Yij:Zij)を選択する方針としては、例えばXYZ三刺激値の各成分を基準のスクリーン上の複数の位置で平均化した値の比を用いる方針や、スクリーン上の中心位置PcでのXYZ三刺激値の各成分の比を用いる方針等、各種の方針が考えられる。ここでは、後者の方針を採用し、また階調値が最大である場合にも補正可能にする観点で、表示画素のXYZ三刺激値の最小値を(XMIN,YMIN,ZMIN)としたときに、下記の式(3)に示すXYZ三刺激値の3成分に関する大小関係をいずれも満たすように目標値(X,Y,Z)を設定する。
<XMIN,Y<YMIN,Z<ZMIN ・・・式(3)
【0067】
次いで、XYZ三刺激値(Xij,Yij,Zij)および目標値(X,Y,Z)を上記の変換行列Qを用いて赤の出力レベルLR、緑の出力レベルLG、青の出力レベルLBに変換する。グレイの画像の階調値NWがKであるとすると、このグレイの画像の赤の階調値NR、緑の階調値NG、青の階調値NBはいずれもKであるので、例えば赤の各階調値NRに対する赤の各出力レベルLRが求まる。
【0068】
階調補正情報を構成する各基本色の階調値の補正量の算出方法は、いずれの基本色についても同様である。以下、赤の階調値NRの補正量の算出方法について説明する。図7中の符号LRij(NR)は、画素Pijにおける赤の階調値NRに対する赤の出力レベルを示す。図7中の符号LR(NR)は、中心位置Pcにおける赤の階調値NRに対する赤の出力レベルLRを示す。赤の階調値がNRijであるときに、画素Pijでの赤の出力レベルがLR(Pij)であり、中心位置Pcでの赤の出力レベルがLR(Pc)であるとする。
【0069】
画素Pijにおける赤の階調値NRijに対する補正量WRijを求めるには、中心位置Pcでの赤の階調値NRijに対する赤の出力レベルLR(Pc)を求める。そして、画素Pijでの出力レベルLRij(NR)にて出力レベルがLR(Pc)となるNRを探索し、該当するNRを補正後の赤の階調値NR’ijとする。すなわち、LR(NR’ij)=LR(NRij)を満たすNR’ijを求める。そして、NRijとNR’ijの差分を求めることにより、補正量(WRij=NR’ij−NRij)が得られる。
【0070】
画素Pijへ入力される赤の階調値がNRijである場合に、この階調値に補正量WRijを加算すると、補正後の赤の階調値がNR’ijとなる。画素Pijに赤の階調値NR’ijが入力されたときの赤の出力レベルがLR(Pc)になるので、画素Pijでの赤の出力レベルが中心位置Pcでの出力レベルに近づくように階調値が補正される。
【0071】
同様にして、各画素Pijについて赤の階調値NRの複数のレベルで補正量WRijを求め、必要に応じて複数のレベルの間のレベル用の補正量WRijを求める補間演算を行うことにより、赤の補正情報を示すデータテーブルが得られる。同様にして、緑の補正情報を示すデータテーブル、および青の補正情報を示すデータテーブルを求めることにより、階調補正情報が得られる。
【0072】
なお、階調補正処理部36が補正前の画像データの階調値を増幅する乗算回路で構成されている場合には、乗算回路の乗算係数が、階調補正情報の階調値の補正量として設定される。また、各色用の画像形成素子に対応した入出力特性データを利用するのではなく、モノクロの階調画像データに対する光の出力特性、すなわち、3つの画像形成素子によって合成された光の入出力特性を示す1つの入出力特性データを、各色において共通に利用するようにしてもよい。
【0073】
次に、図8〜図12を参照しつつ本発明に係る画像処理方法、スクリーン特性補正情報の算出方法、およびスクリーン特性補正処理について説明する。図8は、本発明に係る画像処理方法の処理フローの例を示すフローチャート、図9は、スクリーン特性補正情報を算出するステップにおける処理フローの例を示すフローチャートである。
【0074】
図8に示すように、階調ムラを減らすべく画像データを補正するには、スクリーン特性補正情報を算出する(ステップS1)。次いで、ステップS1で得られたスクリーン特性補正情報を用いて、画像データにスクリーン特性補正処理を施す(ステップS2)。次いで、スクリーン特性補正処理後の画像データに対して、階調補正情報を用いて階調補正処理を施す(ステップS3)。
【0075】
階調補正処理後の画像データに基づいてプロジェクター2により投射対象のスクリーンSC上に画像を投射させると、表示条件を変更した場合でも階調ムラが高精度に補正された画像が表示される。なお、階調補正情報およびスクリーン特性補正情報のいずれにおいても補正量が階調値に対する加算量または減算量として設定されている場合、若しくは階調補正情報およびスクリーン特性補正情報のいずれにおいても補正量が階調値に対する乗算量または除算量として設定されている場合には、画像データに対して階調補正処理を施した後に、スクリーン特性補正処理を施した場合でも同様の効果が得られる。
【0076】
上記の画像処理方法は、例えばスクリーン特性補正情報算出部31にスクリーン特性補正情報を算出させ、スクリーン特性補正処理部34にスクリーン特性補正処理を実行させ、階調補正処理部36に階調補正処理を実行させることにより実現可能である。また、ステップS1〜S3の処理をコンピューターに行わせるプログラムを用いて、上記の画像処理方法を実現することも可能である。また、ステップS1〜S3の処理のうちで少なくともステップS1の処理をコンピューターに行わせるプログラムを用いることにより、本発明に係る画像処理装置の機能を実現することができる。
【0077】
図9に示すように、スクリーン特性補正情報を算出するには、まず位置情報(装置位置情報、視点位置情報)、入出力特性情報、および第1、第2のスクリーン特性情報を取得する(ステップS11)。例えば、ユーザーが操作パネル4を利用して入力した装置位置情報および視点位置情報を、スクリーン特性補正情報算出部31が取得する。また、入出力特性記憶部32に格納されている入出力特性情報を、スクリーン特性補正情報算出部31が入出力特性記憶部32から読み出して取得する。また、スクリーン特性記憶部33に格納されている第1、第2のスクリーン特性情報を、スクリーン特性補正情報算出部31がスクリーン特性記憶部33から読み出して取得する。
【0078】
次いで、スクリーン特性補正情報算出部31は、装置位置情報、視点位置情報、および第1、第2のスクリーン特性情報を用いて、投射対象のスクリーンSC上での各表示画素の位置でのスクリーンゲインGの比率を算出する。
【0079】
図10は、リア投射型の画像表示システムでの各種要素の位置関係を示す図である。図10では、スクリーンに対する法線方向とスクリーン上での水平方向とに略平行な平面であって、スクリーン上の投射領域Aの中心位置Pcを含んだ平面内での各種要素の位置関係を図示している。図10中の符号aは、プロジェクター2の投射位置から投射対象のスクリーンSCまでの距離(投射距離)を示し、符号bは、視点から投射対象のスクリーンSCまでの距離(視距離)を示す。投射距離aは、装置位置情報から求まり、視距離bは、視点位置情報から求まる。
【0080】
図10中の符号θは、プロジェクター2から投射対象のスクリーンSC上の画素Pijに向かう角度成分の光の進行方向が、投射対象のスクリーンSCの法線方向となす角度(第1の角度)を示す。図10中の符号θは、投射対象のスクリーンSC上の画素Pijから視点の位置に向かう角度成分の光の進行方向が、投射対象のスクリーンSCの法線方向となす角度(第2の角度)を示す。図10中のi=0は、水平方向における投射領域Aの一端の位置を示し、i=Nは水平方向における投射領域Aの他端の位置を示す。図10中の符号Hは、水平方向の投射領域Aの一端から他端までの距離(水平距離)、すなわち水平方向の投射領域Aのサイズを示す。水平距離Hは、投射距離a、プロジェクター2の投射光学系26の投射倍率により求まる。
【0081】
以上のような条件下で、投射領域Aの中心位置Pcから各画素Pijまでの距離dは、下記の式(4)で表される。また、第1の角度θは下記の式(5)で表され、第2の角度θは下記の式(6)で表される。式(4)中のVは、垂直方向の投射領域Aの一端から他端までの距離(垂直距離)、すなわち垂直方向の投射領域Aのサイズを示す。垂直距離Vは、水平距離Hと同様に、投射距離a、プロジェクター2の投射光学系26の投射倍率により求まる。式(4)中のNは、水平方向に相当するi方向の画素数を示し、Mは垂直方向に相当するj方向の画素数を示す。
【0082】
【数1】

【0083】
図11は、フロント投射型の画像表示システムでの各種要素の位置関係を示す図である。図11に示すように、フロント投射型の画像表示システムにおいてもリア投射型の画像表示システムと同様に、第1の角度θおよび第2の角度θが定義される。フロント投射型の画像表示システムにおいても、第1の角度θは上記の式(5)で表され、第2の角度θは上記の式(6)で表される。
【0084】
なお、図10、図11では視点が、プロジェクター2と投射対象のスクリーンSCの法線方向に並んでいる例を図示しているが、視点の位置は、プロジェクター2の投射位置と独立して設定可能である。例えば、プロジェクター2が垂直方向の仰角や俯角、水平方向の煽り角をもって投射対象のスクリーンに投射する表示条件や、視聴者が投射対象のスクリーンSCの法線方向と交差する方向から視聴する表示条件であっても、第1の角度θおよび第2の角度θを幾何学的に求めることができる。
【0085】
ここでは、基準のスクリーンのスクリーン特性をG(θ)とし、投射対象のスクリーンのスクリーン特性をG(θ)とする。スクリーン特性G(θ)は、第1のスクリーン特性情報に規定され、スクリーン特性G(θ)は、第2のスクリーン特性情報に規定される。投射対象のスクリーンSC上での各表示画素の位置でのスクリーンゲインの比率をαijとすると、比率αijは下記の式(7)で表される。
αij=G(θ)/G(θ) ・・・式(7)
【0086】
比率αijは、表示条件の変更に伴う各表示画素でのスクリーンゲインの変化率を示すデータである。式(7)中の第1の角度θ、第2の角度θは、式(4)〜式(6)からわかるように、画素Pijの座標(i,j)の関数である。すなわち、画素Pijの座標を式(4)〜式(7)に順次代入することにより、各表示画素での比率αijが求まる。
【0087】
図9の説明に戻り、視点の位置から見た各表示画素の位置での輝度が、表示条件の変更前に対して比率αijの倍率で増幅または減衰しているものとして、投射対象のスクリーンSC上の各表示画素での推定輝度を算出する(ステップS13)。グレイの各階調値NWに対する推定輝度のXYZ三刺激値(推定XYZ三刺激値)を(X,Y,Z)とすると、(X,Y,Z)は下記の式(8)〜式(10)で表される。
=X×α=FX(NW)×α ・・・(8)
=Y×α=FY(NW)×α ・・・(9)
=Z×α=FZ(NW)×α ・・・(10)
【0088】
次いで、スクリーン特性補正情報算出部31は、推定輝度を基準輝度に補正するときの階調値の補正量をスクリーン特性補正情報として算出する(ステップS14)。スクリーン特性補正情報を構成する各基本色の階調値の補正量の算出方法は、いずれの基本色についても同様である。以下、スクリーン特性補正情報について、赤の階調値NRの補正量の算出方法について説明する。
【0089】
図12は、スクリーン特性補正情報の算出方法の一例を示す説明図である。
図12では推定XYZ三刺激値のうちのY成分YおよびZ成分Zの図示を省略しているが、グレイの各階調値NWに対する推定XYZ三刺激値(X,Y,Z)はステップS13で算出されている。スクリーン特性補正情報算出部31は、グレイの各階調値に対するXYZ三刺激値(X,Y,Z)を、変換行列Qを用いてRGBの出力レベル(LR,LG,LB)に変換する。また、スクリーン特性補正情報算出部31は、グレイの各階調値に対する推定XYZ三刺激値(X,Y,Z)を、変換行列Qを用いてRGBの推定出力レベル(LR,LG,LB)に変換する。
【0090】
赤の階調値NRijに対する補正量WRijを求めるには、赤の階調値NRijに対する標準輝度すなわち表示条件を変更する前の赤の出力レベルLRを求める。そして、推定出力レベルLRにて出力レベルがLRと同じになる補正後の赤の階調値CNRijを求める。すなわち、赤の階調値NRijに対して、FR(NRij)=FR(CNRij)を満たすような補正後の赤の階調値CNRijを求める。そして、NRijとCNRijの差分を求めることにより、補正量(WRij=CNRij−NRij)が得られる。
【0091】
画素Pijへ入力される赤の階調値がNRijである場合に、この階調値に補正量WRijを加算すると、補正後の赤の階調値がCNRijとなる。画素Pijに赤の階調値CNRijが入力されたときの赤の出力レベルがLRになるので、表示条件の変更後の赤の出力レベルが表示条件の変更前の赤の出力レベルに近づくように階調値が補正される。
【0092】
同様にして、各画素での赤の階調値NRの複数のレベルについて補正量WRijを求め、必要に応じて複数のレベルの間のレベル用の補正量WRijを求める補間演算を行うことにより、赤の補正情報を示すデータテーブルが得られる。同様にして、緑の補正情報を示すデータテーブル、および青の補正情報を示すデータテーブルを求めることにより、スクリーン特性補正情報が得られる。
【0093】
なお、スクリーン特性補正処理部31が補正前の画像データの階調値を増幅する乗算回路で構成されている場合には、乗算回路の乗算係数が、スクリーン特性補正情報の階調値の補正量として設定される。また、各色用の画像形成素子に対応した入出力特性データを利用するのではなく、モノクロの階調画像データに対する光の出力特性、すなわち、3つの画像形成素子によって合成された光の入出力特性を示す1つの入出力特性データを、各色において共通に利用するようにしてもよい。
【0094】
第1実施形態の画像処理装置3において、スクリーン特性補正情報算出部31は、装置位置情報、視点位置情報、第1、第2のスクリーン特性情報を用いてスクリーン特性補正情報を算出する。したがって、投射対象のスクリーンSCに対するプロジェクター2の位置や視点の位置、投射対象のスクリーンS1の種類等の表示条件の変更に伴う階調値の補正量の変化分をスクリーン特性補正情報が示す補正量により補償することができる。よって、表示条件を変更したときに、表示条件に整合した測定条件でプロジェクター2から投射された光の投射対象のスクリーンSC上での輝度を測定しなくとも、表示条件に応じて階調値が補正された画像データを得ることが可能になる。
【0095】
第1実施形態の画像表示システム1にあっては、表示条件の変更に応じて階調ムラの補正を効率的に行うことができるので、コンテンツ画像の表示品質を高めることや、画像表示システムの利便性を高めることができる。また、ユーザーが入力した装置位置情報および視点位置情報を用いてスクリーン特性補正情報を算出することが可能になり、簡便に階調ムラの補正を行うことが可能になる。
【0096】
第1実施形態の画像処理方法にあっては、表示条件を変更するときに、表示条件に整合した測定条件でプロジェクター2から投射された光の投射対象のスクリーンSC上での輝度を測定しなくとも、表示条件に応じて階調値が補正された画像データを得ることが可能になる。よって、表示条件の変更に応じた階調ムラの補正を効率的に行うことが可能になる。
【0097】
[第2実施形態]
次に、図13を参照しつつ第2実施形態の画像表示システムについて説明する。図13は、第2実施形態の画像表示システムの概略構成を示す模式図である。
図13に示す画像表示システム1Bは、プロジェクター2、画像処理装置3、および測定装置4Bを備えている。第2実施形態が第1実施形態と異なる点は、操作パネル4に代えて測定装置4Bが設けられている点である。
【0098】
測定装置4Bは、例えばユーザーからの要請により、投射対象のスクリーンSCに対する視点の位置、および投射対象のスクリーンSCに対するプロジェクター2の投射位置を測定する。画像処理装置3のスクリーン情報補正情報算出部31は、測定装置4Bの測定結果を元に装置位置情報および視点位置情報を取得し、スクリーン情報補正情報を算出する。
【0099】
測定装置4Bは、例えばCCDカメラ等の撮像部、および演算部により構成される。撮像部は、プロジェクター本体から離れた位置に設けられて、例えば投射対象のスクリーンSC、プロジェクター2、および視聴者を俯瞰的に撮像する。演算部は、撮像部による撮像画像にパターン認証などの処理を施して、投射対象のスクリーンSCの位置、プロジェクター2の位置、および視聴者の位置を検出する。演算部は、撮像部の設置位置を加味して、投射対象のスクリーンSCに対するプロジェクター2の投射位置、および投射対象のスクリーンSCに対する視点の位置を算出する。なお、超音波や電波等を用いた距離センサーにより投射距離や視距離を測定する手法や、赤外線を用いた温度センサーにより視聴者の位置を検出する手法を適用することも可能である。
【0100】
また、測定装置の他の例としては、発光部、受光部、および演算部により構成される装置が挙げられる。発光部は、視聴者が直接的に操作することにより赤外光等の光を発するものであり、例えばプロジェクター2を操作するためのリモコン等に併設される。受光部は、例えばプロジェクター本体に設けられ、発光部から発せられた光を受けて、この光の強度やこの光が発せられた方向を検出し、検出結果を演算部へ出力する。この検出結果に基づいて、測定装置の演算部は、プロジェクター本体と視聴者との距離を算出し、プロジェクター本体と投射対象のスクリーンSCの位置との間の距離(投射距離)を加味して、視聴者と投射対象のスクリーンSCの位置との間の距離(視距離)を算出する。投射距離を簡易に得るには、投射距離に代えてプロジェクター2の焦点距離を取得すればよい。
【0101】
第2実施形態の画像表示システム1Bにあっては、第1実施形態と同様に、画像の表示品質を高めることや、画像表示システムの利便性を高めることができる。また、測定装置4Bによる測定結果に基づいてスクリーン特性補正情報を算出することが可能になり、ユーザーの負担を減らしつつ、プロジェクター2の位置や視点の位置の変更に伴うスクリーン特性補正情報の算出を効率的に行うことが可能になる。
【0102】
[第3実施形態]
次に、図14を参照しつつ第3実施形態の画像表示システムについて説明する。図14は、第3実施形態の画像表示システムの概略構成を示す模式図である。
図14に示す画像表示システム1Cは、画像処理装置としての画像処理部3C、および操作パネル4Cが実装されたプロジェクター2Cにより構成されている。
【0103】
画像処理部3Cは、例えば信号源5から画像データを受け取る。画像処理部3Cは、この画像データにスクリーン特性補正処理や階調補正処理、その他のガンマ補正処理等の各種画像処理を施す。画像処理部3Cは処理後の画像データを画像形成素子22〜24へ入力する。
【0104】
操作パネル4Cは、ユーザーからスクリーン特性補正情報の算出の要請の入力や、装置位置情報および視点位置情報の入力を受け付ける。また、ユーザーは、操作パネル4Cを利用してプロジェクター2Cの動作モードの切り替えや、オンオフを制御することが可能になっている。
【0105】
第3実施形態の画像表示システム1Cにあっては、第1実施形態と同様に、画像の表示品質を高めることや、画像表示システムの利便性を高めることができる。また、および操作パネル4Cがプロジェクター2Cの一部として設けられているので、使い勝手のよい画像表示システム(プロジェクター2C)になる。また、画像処理部3Cや操作パネル4Cに通常のプロジェクターでの処理や機能を持たせることができるので、装置構成をシンプルにすることができる。
【0106】
[第4実施形態]
次に、図15を参照しつつ第4実施形態の画像表示システムについて説明する。図15は、第4実施形態の画像表示システムの概略構成を示す模式図である。
図15に示す画像表示システム1Dは、プロジェクター2、画像処理装置3D、および操作パネル4を備えている。
【0107】
画像処理装置3Dは、スクリーン特性補正情報算出部31D、入出力特性記憶部32、スクリーン特性記憶部33、階調補正情報記憶部34D、スクリーン特性補正情報記憶部35D、およびスクリーン特性補正処理部36Dを含んでいる。
【0108】
スクリーン特性補正情報算出部31Dは、表示条件の変更に伴う階調値の補正量として、第1実施形態で説明した赤成分用の補正量WRij、緑成分用の補正量WGij、および青成分用の補正量WBijを算出する。スクリーン特性補正情報算出部31Dは、階調補正情報記憶部34Dから階調補正情報として、赤成分用の補正量WRij、緑成分用の補正量WGij、および青成分用の補正量WBijを読み出す。スクリーン特性補正情報算出部31Dは、表示条件の変更に伴う各基本色の階調値の補正量を、階調補正情報が示す各基本色の階調値の補正量に加算した補正総量をスクリーン特性補正情報としてスクリーン特性補正情報記憶部35Dに格納する。補正総量(WRij,WGij,WBij)は、下記の式(11)〜式(13)の式で表される。
WRij=WRij+WRij ・・・式(11)
WGij=WGij+WGij ・・・式(12)
WBij=WBij+WBij ・・・式(13)
【0109】
スクリーン特性補正処理部36Dは、スクリーン特性補正情報記憶部35Dからスクリーン特性補正情報を読み出し、例えば信号源5から出力された画像データにスクリーン特性補正処理を施す。スクリーン特性補正処理部36Dは、スクリーン特性補正処理後の画像データをプロジェクター2へ入力し、この画像データに基づいてプロジェクター2は画像を投射する。階調補正情報が示す各基本色の補正量がスクリーン特性補正情報に加味されているので、スクリーン特性補正処理を施すことにより第1実施形態で説明した階調補正処理も合わせて施したことになる。
【0110】
第4実施形態の画像表示システム1Dにあっては、第1実施形態と同様に、画像の表示品質を高めることや、画像表示システム1Dの利便性を高めることができる。また、実質的に階調補正処理を兼ねたスクリーン特性補正処理を行うことができ、スクリーン特性補正処理とは別に階調補正処理を行う場合と比較して、処理に要する負荷を減らすことができる。
【0111】
[第5実施形態]
次に、図16を参照しつつ第5実施形態の画像表示システムについて説明する。図16は、第5実施形態の画像表示システムの概略構成を示す模式図である。
図16に示す画像表示システム1Eは、プロジェクター2Eおよび画像処理装置3Eを備えている。プロジェクター2Eは、第1実施形態で説明した光源20、色分離光学系21、画像形成素子22〜24、色合成素子25、投射光学系26に加えて、階調補正処理部27Eおよび階調補正情報記憶部28Eを含んでいる。階調補正情報記憶部28Eには、第1実施形態で説明した階調補正情報が格納されている。階調補正処理部27Eは、階調補正情報記憶部28Eから階調補正情報を読み出し、画像処理装置3Eにより処理された画像データに階調補正情報を用いて階調補正処理を施す。プロジェクター2Eは、階調補正処理後の画像データに基づいて投射画像を投射対象のスクリーンSCに投射する。
【0112】
画像処理装置3Eは、処理部31Eおよび記憶部32Eを含んだコンピューターにより構成されている。記憶部32Eには、各種処理をコンピューターに実行させるプログラムが格納されており、このプログラムを利用して本発明に係る画像処理装置の機能が実現されている。このコンピューターには、表示パネル34E、および入力デバイス35Eが接続されている。処理部31Eは、CPU等により構成されており、第1実施形態で説明したスクリーン特性補正情報算出部およびスクリーン特性補正処理部として機能する。記憶部32Eは、メモリーやハードディスク等により構成される。
【0113】
処理部31Eは、図示略の入出力ポートおよび電気通信回路等を介して、外部のスクリーン特性データベース6と接続されている。スクリーン特性データベース6には、複数の種類のスクリーンの各々に関するスクリーン特性情報が格納されている。ユーザーは、入力デバイスを利用して処理部31Eに指令を送り、スクリーン特性データベース6にアクセスして、処理部31Eに複数のスクリーン特性情報を外部のデータベースから取得させることが可能になっている。処理部31Eは、取得したスクリーン特性情報を記憶部32Eに格納する。
【0114】
処理部31Eは、ユーザーから装置位置情報や視点位置情報の入力を受け付けるときに、ユーザー向けの情報を表示パネル33Eに表示する。ユーザーは、表示パネルに表示された情報を参照しつつ、入力デバイス34Eを利用して装置位置情報や視点位置情報を入力する。処理部31Eは、ユーザーが入力した装置位置情報や視点位置情報を取得して記憶部32Eに格納する。
【0115】
記憶部32Eには、位置情報、入出力特性情報、スクリーン特性情報の他に、例えばコンテンツ画像を示す画像データが格納される。画像データは、例えば電気通信回路を介してダウンロードされたものや、図示略のビデオキャプチャーボード等を介して外部から入力されたものである。
【0116】
処理部31Eは、スクリーン特性補正情報を算出するときに、記憶部32Eに格納されているスクリーン特性情報に対応するスクリーンの種類を、例えば型番の一覧表として表示パネルに表示する。ユーザーは、表示パネルに表示されている一覧表から、投射対象のスクリーンの型番を指定する。例えば、一覧表に投射対象のスクリーンが含まれていない場合には、上述したようにスクリーン特性データベース6から対象となるスクリーン特性情報を取得可能になっている。
【0117】
処理部31Eは、第1のスクリーン特性情報と、ユーザーが指定した投射対象のスクリーンSCのスクリーン特性を示す第2のスクリーン特性情報とを記憶部32Eから読み出す。処理部31Eは、ユーザーが入力した装置位置情報や視点位置情報を記憶部32Eから読み出す。処理部31Eは、記憶部32に格納されている入出力特性情報を読み出す。
【0118】
処理部31Eは、装置位置情報、視点位置情報、入出力特性情報、および第1、第2のスクリーン特性情報を用いてスクリーン特性補正情報を算出し、算出したスクリーン特性補正情報を記憶部32Eに格納する。処理部31Eは、記憶部32Eからスクリーン特性補正情報を読み出し、スクリーン特性補正情報を用いて画像データにスクリーン特性補正処理を施す。処理部31Eは、スクリーン特性補正処理後の画像データをプロジェクター2Eへ出力する。
【0119】
第5実施形態の画像表示システム1Eにあっては、第1実施形態と同様に、画像の表示品質を高めることや、画像表示システム1Eの利便性を高めることができる。また、コンピューターを利用してスクリーン補正情報算出処理およびスクリーン補正処理を実行させるので、専用のロジック回路を用いる必要が低くなる。例えば、汎用のコンピューターに上記のプログラムを実装することにより画像処理装置の機能を実現可能になるので、階調ムラを減らしつつ手軽に表示条件を変更することが可能になり、画像表示システムの1E利便性が高くなる。
【符号の説明】
【0120】
1、1B〜1E・・・画像表示システム、2、2C、2E・・・プロジェクター、
3、3D、3E・・・画像処理装置、3C・・・画像処理部(画像処理装置)、
4、4C・・・操作パネル(位置情報入力装置)、4B・・・測定装置、5・・・信号源、
20・・・光源、21・・・色分離光学系、22〜24・・・画像形成素子、
25・・・色合成素子、26・・・投射光学系、27E・・・階調補正処理部、
28E・・・階調補正情報記憶部、31、31D・・・スクリーン特性補正情報算出部、
31E・・・処理部(スクリーン特性補正情報算出部、スクリーン特性補正処理部)、
32・・・入出力特性記憶部、32E・・・記憶部、
33・・・スクリーン特性記憶部、34、36D・・・スクリーン特性補正処理部、
34D・・・階調補正情報記憶部、34E・・・入力デバイス(位置情報入力装置)、
35、35D・・・スクリーン特性補正情報記憶部、36・・・階調補正処理部、
37・・・階調補正情報記憶部、
SC・・・投射対象のスクリーン、SC1・・・基準のスクリーン

【特許請求の範囲】
【請求項1】
スクリーンに投射された光のうちで前記スクリーンを経た後に前記スクリーンの法線方向と角度θをなす方向に進行する角度成分の光について、各角度成分の光の輝度を示すスクリーンゲインと前記角度θとの対応関係を示す情報をスクリーン特性情報としたときに、基準のスクリーンに関する第1の前記スクリーン特性情報と、投射対象のスクリーンに関する第2の前記スクリーン特性情報と、画像形成素子を含み前記投射対象のスクリーンに画像を投射するプロジェクターの前記投射対象のスクリーンに対する位置を示す装置位置情報と、前記投射対象のスクリーンに対する視点の位置を示す視点位置情報と、前記プロジェクターの画像形成素子へ入力される画像データに規定された階調値と該画像データに基づいてプロジェクターから出力される光の輝度との対応関係を示す入出力特性情報と、する情報取得部と、
前記装置位置情報を用いて、前記プロジェクターから投射される画像の前記投射対象のスクリーン上での各画素の位置に向かう各角度成分の光の進行方向が、前記投射対象のスクリーンの法線方向となす第1の角度を算出し、前記視点位置情報を用いて、前記プロジェクターから投射される画像の前記投射対象のスクリーン上での各画素から前記視点の位置に向かう各角度成分の光の進行方向が前記法線方向となす第2の角度を算出し、前記第1のスクリーン特性情報が示す前記第1の角度に対する第1の前記スクリーンゲインと前記第2のスクリーン特性情報が示す前記第2の角度に対する第2の前記スクリーンゲインとの比率を算出し、前記比率を用いて前記入出力特性情報が示す各階調値に対する前記投射対象のスクリーン上での推定輝度を算出し、前記推定輝度を前記入出力特性情報が示す輝度に近づけるために要求される各階調値の補正量を示すスクリーン特性補正情報を算出するスクリーン特性補正情報算出部を備えていることを特徴とする画像処理装置。
【請求項2】
前記プロジェクターにより投射される画像の画像形成素子へ入力される画像データに規定された各画素の階調値を、前記スクリーン特性補正情報が示す各階調値の補正量を用いて補正するスクリーン特性補正処理を施すスクリーン特性補正処理部を備えていることを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記プロジェクターにより投射される画像の前記基準のスクリーン上での各画素における輝度を、前記画像を示す画像データに規定された各画素の階調値に相当する輝度に近づけるように前記画像データが示す階調値を補正するときの各階調値の補正量を示す階調補正情報を取得し、処理後の前記画像データに基づいて前記プロジェクターにより投射される画像の前記投射対象のスクリーン上での各画素の輝度が、処理前の前記画像データに規定された各画素の階調値に相当する輝度に近づくように、前記階調補正情報に基づいて前記画像データを処理する階調補正処理部を備えていることを特徴とする請求項2に記載の画像処理装置。
【請求項4】
請求項1から請求項3のいずれか一項に記載の画像処理装置と、
前記画像処理装置により処理された画像データに基づいて投射対象のスクリーンに画像を投射するプロジェクターと、
前記装置位置情報および前記視点位置情報のユーザーからの入力を受け付け、入力された前記装置位置情報および前記視点位置情報を前記画像処理装置へ出力する位置情報入力装置と、
を備えていることを特徴とする画像表示システム。
【請求項5】
請求項1から請求項3のいずれか一項に記載の画像処理装置と、
前記画像処理装置により処理された画像データに基づいて投射対象のスクリーンに画像を投射するプロジェクターと、
前記投射対象のスクリーンに対する前記プロジェクターの位置および前記視点の位置を測定し、測定結果を前記画像処理装置へ出力する測定装置と、
を備えていることを特徴とする画像表示システム。
【請求項6】
前記第1のスクリーン特性情報および前記第2のスクリーン特性情報を格納した記憶部を備えていることを特徴とする請求項4または請求項5に記載の画像表示システム。
【請求項7】
スクリーンに投射された光のうちで前記スクリーンを経た後に前記スクリーンの法線方向と角度θをなす方向に進行する角度成分の光について、各角度成分の光の輝度を示すスクリーンゲインと前記角度θとの対応関係を示す情報をスクリーン特性情報としたときに、基準のスクリーンに関する第1の前記スクリーン特性情報と、投射対象のスクリーンに関する第2の前記スクリーン特性情報と、画像形成素子を含み前記投射対象のスクリーンに画像を投射するプロジェクターの前記投射対象のスクリーンに対する位置を示す装置位置情報と、前記投射対象のスクリーンに対する視点の位置を示す視点位置情報と、前記プロジェクターの画像形成素子へ入力される画像データに規定された階調値と該画像データに基づいてプロジェクターから出力される光の輝度との対応関係を示す入出力特性情報と、を取得するステップと、
前記装置位置情報を用いて、前記プロジェクターから投射される画像の前記投射対象のスクリーン上での各画素の位置に向かう各角度成分の光の進行方向が、前記投射対象のスクリーンの法線方向となす第1の角度を算出し、前記視点位置情報を用いて、前記プロジェクターから投射される画像の前記投射対象のスクリーン上での各画素から前記視点の位置に向かう各角度成分の光の進行方向が前記法線方向となす第2の角度を算出し、前記第1のスクリーン特性情報が示す前記第1の角度に対する第1の前記スクリーンゲインと前記第2のスクリーン特性情報が示す前記第2の角度に対する第2の前記スクリーンゲインとの比率を算出し、前記比率を用いて前記入出力特性情報が示す各階調値に対する前記投射対象のスクリーン上での推定輝度を算出し、前記推定輝度を前記入出力特性情報が示す輝度に近づけるために要求される各階調値の補正量を示すスクリーン特性補正情報を算出するステップを有することを特徴とする画像処理方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate


【公開番号】特開2011−205199(P2011−205199A)
【公開日】平成23年10月13日(2011.10.13)
【国際特許分類】
【出願番号】特願2010−67956(P2010−67956)
【出願日】平成22年3月24日(2010.3.24)
【出願人】(000002369)セイコーエプソン株式会社 (51,324)
【Fターム(参考)】