投写型映像表示装置及び画像調整方法
【課題】投写面上に投写される映像の形状の調整に必要とされる処理時間やコストの抑制を可能とする投写型映像表示装置及び画像調整方法を提供する。
【解決手段】投写型映像表示装置100は、3つ以上の交点を構成する3つ以上の線分のそれぞれの少なくとも一部分を構成するテストパターン画像を表示するように構成される。投写型映像表示装置100は、撮像テストパターン画像に含まれる3つ以上の交点に基づいて、投写型映像表示装置100と投写面400との位置関係を算出する。投写面400上に投写されるテストパターン画像は、テストパターン画像の撮像に用いるレンズとは逆方向の歪みを有する。
【解決手段】投写型映像表示装置100は、3つ以上の交点を構成する3つ以上の線分のそれぞれの少なくとも一部分を構成するテストパターン画像を表示するように構成される。投写型映像表示装置100は、撮像テストパターン画像に含まれる3つ以上の交点に基づいて、投写型映像表示装置100と投写面400との位置関係を算出する。投写面400上に投写されるテストパターン画像は、テストパターン画像の撮像に用いるレンズとは逆方向の歪みを有する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、光源から出射される光を変調するように構成された光変調素子と、光変調素子から出射される光を投写面上に投写するように構成された投写ユニットとを有する投写型映像表示装置及び投写型映像表示装置に適用される画像調整方法に関する。
【背景技術】
【0002】
従来、光源から出射される光を変調する光変調素子と、光変調素子から出射される光を投写面上に投写する投写ユニットとを備える投写型映像表示装置が知られている。
【0003】
ここで、投写型映像表示装置と投写面との位置関係によっては、投写面上に投写される映像の形状が歪んでしまう。
【0004】
これに対して、以下の手順で映像の形状を調整する方法が提案されている(例えば、特許文献1)。第1に、投写型映像表示装置は、長方形形状のテストパターン画像を投写面上に投写する。第2に、投写型映像表示装置は、投写面上に投写されたテストパターン画像を撮像して、投写面におけるテストパターン画像の4隅の座標を特定する。第3に、投写型映像表示装置は、投写面におけるテストパターン画像の4隅の座標に基づいて、投写型映像表示装置と投写面との位置関係を特定して、投写面上に投写される映像の形状を調整する。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2005−318652号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
ところで、投写型映像表示装置と投写面との距離が非常に短い場合には、投写型映像表示装置に設けられる撮像素子によってテストパターン画像を撮像するために、広角レンズなどのように歪みが大きいレンズを用いる必要がある。
【0007】
このようなケースでは、撮像素子によって撮像された撮像画像(テストパターン画像)が歪むため、撮像画像の歪みを補正するために多量の計算資源が必要とされる。従って、投写面上に投写される映像の形状の調整に必要とされる処理時間やコストが上昇する。
【0008】
そこで、本発明は、上述した課題を解決するためになされたものであり、投写面上に投写される映像の形状の調整に必要とされる処理時間やコストの抑制を可能とする投写型映像表示装置及び画像調整方法を提供することを目的とする。
【課題を解決するための手段】
【0009】
第1の特徴に係る投写型映像表示装置は、光源(光源10)から出射される光を変調するように構成された光変調素子(液晶パネル50)と、前記光変調素子から出射される光を投写面上に投写するように構成された投写ユニット(投写ユニット110)とを有する。投写型映像表示装置は、3つ以上の交点を構成する3つ以上の線分のそれぞれの少なくとも一部分を構成するテストパターン画像を表示するように前記光変調素子を制御する素子制御部(素子制御部260)と、前記投写面上に投写された前記テストパターン画像を撮像する撮像素子(撮像素子300)から前記テストパターン画像の撮像画像を取得する取得部(取得部230)と、前記取得部によって取得された撮像画像に基づいて、前記撮像画像に含まれる3つ以上の線分より3つ以上の交点を特定し、前記3つ以上の交点に基づいて、前記投写型映像表示装置と前記投写面との位置関係を算出する算出部(算出部250)と、前記投写型映像表示装置と前記投写面との位置関係に基づいて、前記投写面上に投写される映像を調整する調整部(調整部280)とを備える。前記撮像素子は、正方向或いは負方向の歪みを有するレンズを通して前記テストパターン画像を撮像する。前記素子制御部は、前記レンズとは逆方向の歪みを有する前記テストパターン画像を表示するように前記光変調素子を制御する。
【0010】
第1の特徴において、前記テストパターン画像が有する歪みは、糸巻き歪みである。
【0011】
第1の特徴において、前記光変調素子は、前記投写ユニットの光軸中心からシフトした位置に配置される。
【0012】
第1の特徴において、前記投写ユニットは、レンズ群と、前記レンズ群を透過する光を前記投写面上に反射する反射ミラーとによって構成される。
【0013】
第2の特徴に係る画像調整方法は、光源から出射される光を変調する光変調素子と、前記光変調素子から出射される光を投写面上に投写する投写ユニットとを有する投写型映像表示装置に適用される。画像調整方法は、3つ以上の交点を構成する3つ以上の線分のそれぞれの少なくとも一部分を構成するテストパターン画像を表示するステップAと、正方向或いは負方向の歪みを有するレンズを通して、前記投写面上に投写された前記テストパターン画像を撮像し、前記テストパターン画像の撮像画像を取得するステップBと、前記撮像画像に基づいて、前記投写型映像表示装置と前記投写面との位置関係を算出し、前記投写型映像表示装置と前記投写面との位置関係に基づいて、前記投写面上に投写される映像を調整するステップCとを備える。前記ステップAでは、前記レンズとは逆方向の歪みを有する前記テストパターン画像を表示する。
【発明の効果】
【0014】
本発明によれば、投写面上に投写される映像の形状の調整に必要とされる処理時間やコストの抑制を可能とする投写型映像表示装置及び画像調整方法を提供することができる。
【図面の簡単な説明】
【0015】
【図1】第1実施形態に係る投写型映像表示装置100の概略を示す図である。
【図2】第1実施形態に係る投写型映像表示装置100の構成を示す図である。
【図3】第1実施形態に係る液晶パネル50のシフトについて説明するための図である。
【図4】第1実施形態に係る制御ユニット200を示すブロック図である。
【図5】第1実施形態に係る記憶テストパターン画像の一例を示す図である。
【図6】第1実施形態に係る記憶テストパターン画像の一例を示す図である。
【図7】第1実施形態に係る記憶テストパターン画像の一例を示す図である。
【図8】第1実施形態に係る記憶テストパターン画像の一例を示す図である。
【図9】第1実施形態に係るテストパターン画像の歪みを説明するための図である。
【図10】第1実施形態に係るレンズの歪みを説明するための図である。
【図11】第1実施形態に係るレンズ歪みの補正を説明するための図である。
【図12】第1実施形態に係るテストパターン画像の算出を説明するための図である。
【図13】第1実施形態に係る撮像テストパターン画像の一例を示す図である。
【図14】第1実施形態に係る撮像テストパターン画像の一例を示す図である。
【図15】第1実施形態に係る投写テストパターン画像に含まれる交点を算出する方法を説明するための図である。
【図16】第1実施形態に係る投写型映像表示装置100の動作を示すフロー図である。
【図17】第1実施形態に係る投写型映像表示装置100の動作を示すフロー図である。
【図18】変更例1に係る液晶パネル50のシフトについて説明するための図である。
【発明を実施するための形態】
【0016】
以下において、本発明の実施形態に係る投写型映像表示装置について、図面を参照しながら説明する。なお、以下の図面の記載において、同一又は類似の部分には、同一又は類似の符号を付している。
【0017】
ただし、図面は模式的なものであり、各寸法の比率などは現実のものとは異なることに留意すべきである。従って、具体的な寸法などは以下の説明を参酌して判断すべきである。また、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることは勿論である。
【0018】
[実施形態の概要]
実施形態に係る投写型映像表示装置は、光源から出射される光を変調するように構成された光変調素子と、光変調素子から出射される光を投写面上に投写するように構成された投写ユニットとを有する。投写型映像表示装置は、3つ以上の交点を構成する3つ以上の線分のそれぞれの少なくとも一部分を構成するテストパターン画像を表示するように光変調素子を制御する素子制御部と、投写面上に投写されたテストパターン画像を撮像する撮像素子からテストパターン画像の撮像画像を取得する取得部と、取得部によって取得された撮像画像に基づいて、撮像画像に含まれる3つ以上の線分より3つ以上の交点を特定し、3つ以上の交点に基づいて、投写型映像表示装置と投写面との位置関係を算出する算出部と、投写型映像表示装置と投写面との位置関係に基づいて、投写面上に投写される映像を調整する調整部とを備える。撮像素子は、正方向或いは負方向の歪みを有するレンズを通してテストパターン画像を撮像する。素子制御部は、レンズとは逆方向の歪みを有するテストパターン画像を表示するように光変調素子を制御する。
【0019】
実施形態では、素子制御部は、レンズとは逆方向の歪みを有するテストパターン画像を表示するように光変調素子を制御する。従って、レンズとは逆方向の歪みを有するテストパターン画像を予め準備することが可能であり、テストパターン画像の撮像画像の歪みがキャンセルされるため、投写面上に投写される映像の形状の調整に必要とされる処理時間やコストを抑制することができる。
【0020】
なお、投写型映像表示装置は、取得部によって取得された撮像画像に基づいて、撮像画像に含まれる3つ以上の線分を特定し、撮像画像に含まれる3つ以上の線分に基づいて、撮像画像に含まれる3つ以上の交点を特定する特定部を有していてもよい。なお、算出部は、テストパターン画像に含まれる3つ以上の交点と撮像画像に含まれる3つ以上の交点とに基づいて、投写型映像表示装置と投写面との位置関係を算出する。
【0021】
[第1実施形態]
(投写型映像表示装置の概略)
以下において、第1実施形態に係る投写型映像表示装置について、図面を参照しながら説明する。図1は、第1実施形態に係る投写型映像表示装置100の概略を示す図である。なお、第1実施形態では、投写型映像表示装置100と投写面400との距離が非常に近いケースについて例示する。
【0022】
図1に示すように、投写型映像表示装置100には、撮像素子300が設けられる。また、投写型映像表示装置100は、投写面400上に映像光を投写する。
【0023】
撮像素子300は、投写面400を撮像するように構成される。すなわち、撮像素子300は、投写型映像表示装置100によって投写面400上に投写された映像光の反射光を検出するように構成される。撮像素子300は、投写型映像表示装置100に対して、撮像画像を所定ラインに沿って出力する。撮像素子300は、投写型映像表示装置100に内蔵されていてもよく、投写型映像表示装置100と併設されていてもよい。
【0024】
ここで、投写型映像表示装置100と投写面400との距離が非常に近いため、撮像素子300は、正方向或いは負方向の歪みを有するレンズを通してテストパターン画像を撮像する。例えば、レンズが有する歪みは、樽歪みである。
【0025】
投写面400は、スクリーンなどによって構成される。投写型映像表示装置100が映像光を投写可能な範囲(投写可能範囲410)は、投写面400上に形成される。また、投写面400は、スクリーンの外枠などによって構成される表示枠420を有する。
【0026】
(投写型映像表示装置の構成)
以下において、第1実施形態に係る投写型映像表示装置について、図面を参照しながら説明する。図2は、第1実施形態に係る投写型映像表示装置100の構成を示す図である。
【0027】
図2に示すように、投写型映像表示装置100は、投写ユニット110と、照明装置120とを有する。
【0028】
投写ユニット110は、照明装置120から出射された映像光を投写面(不図示)上などに投写する。具体的には、投写ユニット110は、照明装置120から出射された映像光を投写面(不図示)上などに投写する投写レンズ群111と、投写レンズ群から出射された映像光を投写面側に反射する反射ミラー112とを有する。反射ミラー112は、例えば、非球面の反射面を有する凹面ミラーである。
【0029】
第1に、照明装置120は、光源10と、UV/IRカットフィルタ20と、フライアイレンズユニット30と、PBSアレイ40と、複数の液晶パネル50(液晶パネル50R、液晶パネル50G及び液晶パネル50B)と、クロスダイクロイックプリズム60とを有する。
【0030】
光源10は、白色光を発する光源(例えば、UHPランプやキセノンランプ)などである。すなわち、光源10が発する白色光は、赤成分光R、緑成分光G及び青成分光Bを含む。
【0031】
UV/IRカットフィルタ20は、可視光成分(赤成分光R、緑成分光G及び青成分光B)を透過する。UV/IRカットフィルタ20は、赤外光成分や紫外光成分を遮光する。
【0032】
フライアイレンズユニット30は、光源10が発する光を均一化する。具体的には、フライアイレンズユニット30は、フライアイレンズ31及びフライアイレンズ32によって構成される。フライアイレンズ31及びフライアイレンズ32は、それぞれ、複数の微少レンズによって構成される。各微少レンズは、光源10が発する光が液晶パネル50の全面に照射されるように、光源10が発する光を集光する。
【0033】
PBSアレイ40は、フライアイレンズユニット30から出射された光の偏光状態を揃える。例えば、PBSアレイ40は、フライアイレンズユニット30から出射された光をS偏光(又はP偏光)に揃える。
【0034】
液晶パネル50Rは、赤出力信号Routに基づいて赤成分光Rを変調する。液晶パネル50Rに光が入射する側には、一の偏光方向(例えば、S偏光)を有する光を透過して、他の偏光方向(例えば、P偏光)を有する光を遮光する入射側偏光板52Rが設けられている。液晶パネル50Rから光が出射する側には、一の偏光方向(例えば、S偏光)を有する光を遮光して、他の偏光方向(例えば、P偏光)を有する光を透過する出射側偏光板53Rが設けられている。
【0035】
液晶パネル50Gは、緑出力信号Goutに基づいて緑成分光Gを変調する。液晶パネル50Gに光が入射する側には、一の偏光方向(例えば、S偏光)を有する光を透過して、他の偏光方向(例えば、P偏光)を有する光を遮光する入射側偏光板52Gが設けられる。一方で、液晶パネル50Gから光が出射する側には、一の偏光方向(例えば、S偏光)を有する光を遮光して、他の偏光方向(例えば、P偏光)を有する光を透過する出射側偏光板53Gが設けられる。
【0036】
液晶パネル50Bは、青出力信号Boutに基づいて青成分光Bを変調する。液晶パネル50Bに光が入射する側には、一の偏光方向(例えば、S偏光)を有する光を透過して、他の偏光方向(例えば、P偏光)を有する光を遮光する入射側偏光板52Bが設けられる。一方で、液晶パネル50Bから光が出射する側には、一の偏光方向(例えば、S偏光)を有する光を遮光して、他の偏光方向(例えば、P偏光)を有する光を透過する出射側偏光板53Bが設けられる。
【0037】
なお、赤出力信号Rout、緑出力信号Gout及び青出力信号Boutは、映像出力信号を構成する。映像出力信号は、1フレームを構成する複数の画素毎の信号である。
【0038】
ここで、各液晶パネル50には、コントラスト比や透過率を向上させる補償板(不図示)が設けられていてもよい。また、各偏光板は、偏光板に入射する光の光量や熱負担を軽減させるプリ偏光板を有していてもよい。
【0039】
第1実施形態において、投写型映像表示装置100と投写面400との距離が非常に近いため、液晶パネル50は、図3に示すように、投写ユニット110の光軸中心Lからシフトした位置に配置される。具体的には、液晶パネル50の中心は、投写ユニット110の光軸中心Lに対して、投写面400側にシフトしている。但し、液晶パネル50のシフト方向は、投写ユニット110の構成に依存することに留意すべきである。
【0040】
クロスダイクロイックプリズム60は、液晶パネル50R、液晶パネル50G及び液晶パネル50Bから出射される光を合成する色合成部を構成する。クロスダイクロイックプリズム60から出射された合成光は、投写ユニット110に導かれる。
【0041】
第2に、照明装置120は、ミラー群(ミラー71〜ミラー76)及びレンズ群(レンズ81〜レンズ85)を有する。
【0042】
ミラー71は、青成分光Bを透過して、赤成分光R及び緑成分光Gを反射するダイクロイックミラーである。ミラー72は、赤成分光Rを透過して、緑成分光Gを反射するダイクロイックミラーである。ミラー71及びミラー72は、赤成分光R、緑成分光G及び青成分光Bを分離する色分離部を構成する。
【0043】
ミラー73は、赤成分光R、緑成分光G及び青成分光Bを反射して、赤成分光R、緑成分光G及び青成分光Bをミラー71側に導く。ミラー74は、青成分光Bを反射して、青成分光Bを液晶パネル50B側に導く。ミラー75及びミラー76は、赤成分光Rを反射して、赤成分光Rを液晶パネル50R側に導く。
【0044】
レンズ81は、PBSアレイ40から出射された光を集光するコンデンサレンズである。レンズ82は、ミラー73で反射された光を集光するコンデンサレンズである。
【0045】
レンズ83Rは、液晶パネル50Rに赤成分光Rが照射されるように、赤成分光Rを略平行光化する。レンズ83Gは、液晶パネル50Gに緑成分光Gが照射されるように、緑成分光Gを略平行光化する。レンズ83Bは、液晶パネル50Bに青成分光Bが照射されるように、青成分光Bを略平行光化する。
【0046】
レンズ84及びレンズ85は、赤成分光Rの拡大を抑制しながら、液晶パネル50R上に赤成分光Rを略結像するリレーレンズである。
【0047】
(制御ユニットの構成)
以下において、第1実施形態に係る制御ユニットについて、図面を参照しながら説明する。図4は、第1実施形態に係る制御ユニット200を示すブロック図である。制御ユニット200は、投写型映像表示装置100に設けられており、投写型映像表示装置100を制御する。
【0048】
なお、制御ユニット200は、映像入力信号を映像出力信号に変換する。映像入力信号は、赤入力信号Rin、緑入力信号Gin及び青入力信号Binによって構成される。映像出力信号は、赤出力信号Rout、緑出力信号Gout及び青出力信号Boutによって構成される。映像入力信号及び映像出力信号は、1フレームを構成する複数の画素毎に入力される信号である。
【0049】
図4に示すように、制御ユニット200は、映像信号受付部210と、記憶部220と、取得部230と、特定部240と、算出部250と、素子制御部260と、投写ユニット調整部270とを有する。
【0050】
映像信号受付部210は、携帯電話、パーソナルコンピュータ、USBメモリ、DVDやTVチューナなどの外部装置(不図示)から映像入力信号を受付ける。
【0051】
記憶部220は、各種情報を記憶する。具体的には、記憶部220は、表示枠420を検出するために用いる枠検出パターン画像、フォーカスを調整するために用いるフォーカス調整画像、投写型映像表示装置100と投写面400との位置関係を算出するために用いるテストパターン画像を記憶する。或いは、記憶部220は、露光値を調整するために用いる露光調整画像を記憶してもよい。
【0052】
テストパターン画像は、3つ以上の交点を構成する3つ以上の線分のそれぞれの少なくとも一部分を構成する画像である。また、3つ以上の線分は、所定ラインに対して傾きを有する。
【0053】
なお、撮像素子300は、上述したように、撮像画像を所定ラインに沿って出力する。例えば、所定ラインは、水平方向の画素列であり、所定ラインの向きは、水平方向である。
【0054】
以下において、テストパターン画像の一例について、図5〜図8を参照しながら説明する。図5〜図8に示すように、テストパターン画像は、4つの交点(Ps1〜Ps4)を構成する4つの線分(Ls1〜Ls4)の少なくとも一部分を構成する画像である。第1実施形態では、4つの線分(Ls1〜Ls4)は、濃淡或いは明暗の差(エッジ)によって表される。
【0055】
詳細には、図5に示すように、テストパターン画像は、黒の背景及び白抜きの菱形であってもよい。ここで、白抜きの菱形の4辺は、4つの線分(Ls1〜Ls4)の少なくとも一部分を構成する。なお、4つの線分(Ls1〜Ls4)は、所定ライン(水平方向)に対して傾きを有する。
【0056】
或いは、図6に示すように、テストパターン画像は、黒の背景及び白抜きの線分であってもよい。白抜きの線分は、図5に示す白抜きの菱形の4辺の一部分を構成する。ここで、白抜きの線分は、4つの線分(Ls1〜Ls4)の少なくとも一部分を構成する。なお、4つの線分(Ls1〜Ls4)は、所定ライン(水平方向)に対して傾きを有する。
【0057】
或いは、図7に示すように、テストパターン画像は、黒の背景及び1対の白抜きの三角形であってもよい。ここで、1対の白抜きの三角形の2辺は、4つの線分(Ls1〜Ls4)の少なくとも一部分を構成する。なお、4つの線分(Ls1〜Ls4)は、所定ライン(水平方向)に対して傾きを有する。
【0058】
或いは、図8に示すように、テストパターン画像は、黒の背景及び白抜きの線分であってもよい。ここで、白抜きの線分は、4つの線分(Ls1〜Ls4)の少なくとも一部分を構成する。図8に示すように、4つの線分(Ls1〜Ls4)によって構成される4つの交点(Ps1〜Ps4)は、投写可能範囲410の外側に設けられてもよい。なお、4つの線分(Ls1〜Ls4)は、所定ライン(水平方向)に対して傾きを有する。
【0059】
ここで、第1実施形態では、上述したように、撮像素子300は、正方向或いは負方向の歪みを有するレンズを通してテストパターン画像を撮像する。例えば、レンズが有する歪みは、樽歪みである。
【0060】
従って、記憶部220に記憶されるテストパターン画像(すなわち、投写面400上に投写されるテストパターン画像)は、レンズとは逆方向の歪みを有する必要がある。
【0061】
例えば、図9に示すように、記憶部220に記憶されるテストパターン画像は、糸巻き歪みを有する。これによって、正方向或いは負方向の歪みを有するレンズを通して撮像素子300によって撮像されるテストパターン画像は、図10に示すように、樽歪みが加えられた状態で取得される。
【0062】
なお、Ls1〜Ls4は、記憶部220に記憶されるテストパターン画像における線分であり、Ps1〜Ps4は、記憶部220に記憶されるテストパターン画像における交点である。また、Lt1〜Lt4は、撮像素子300によって撮像されるテストパターン画像における線分であり、Pt1〜Pt4は、撮像素子300によって撮像されるテストパターン画像における交点である。
【0063】
以下において、レンズとは逆方向の歪みを有するテストパターン画像の算出について、図面を参照しながら説明する。
【0064】
第1に、レンズ歪みを補正するためのパラメータについて、図11を参照しながら説明する。ここでは、歪みが生じない中心画素が(cx,cy)で表されており、レンズ歪み補正前の座標が(u,v)で表されており、レンズ歪み補正後の座標が(u’,v’)で表されている。このようなケースにおいて、レンズ歪み補正後の座標(u’,v’)は、以下の式で表される。
【0065】
【数1】
但し、r2=(u−cx)2+(v−cy)2、p1、p2、q1及びq2は、所定係数
なお、このような歪み補正は、Zangの手法として知られている(例えば、“A Flexible new technique for camera caribration” IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(11):1330−1334,2000)。
【0066】
第2に、2次元空間における座標を3次元空間における座標に変換するためのパラメータについて、図12を参照しながら説明する。ここで、撮像画像の2次元空間における座標(xt,yt,1)と撮像素子300の焦点を原点とする3次元空間における座標(Xt,Yt,Zt)との関係は、以下の式によって表される。
【0067】
【数2】
なお、Atは、3×3の変換行列であり、キャリブレーション等の前処理によって予め取得することが可能である。すなわち、Atは、既知のパラメータである。また、λtは、媒介変数である。
【0068】
同様に、投写型映像表示装置100に記憶される画像の2次元空間における座標(xs,ys,1)と投写型映像表示装置100の焦点を原点とする3次元空間における座標(Xs,Ys,Zs)との関係は、以下の式によって表される。
【0069】
【数3】
なお、Asは、3×3の変換行列であり、キャリブレーション等の前処理によって予め取得することが可能である。すなわち、Asは、既知のパラメータである。また、λsは、媒介変数である。
【0070】
第3に、撮像素子300の焦点を原点とする3次元空間における座標と投写型映像表示装置100の焦点を原点とする3次元空間における座標との関係について、図12を参照しながら説明する。撮像素子300の焦点を原点とする3次元空間における座標(Xt,Yt,Zt)及び投写型映像表示装置100の焦点を原点とする3次元空間における座標(Xs,Ys,Zs)は、仮想投写面上において以下の関係を有する。
【0071】
【数4】
なお、投写型映像表示装置100の光軸及び撮像素子300の向き(撮像方向)は既知であるため、回転成分を示すパラメータRは既知である。同様に、投写型映像表示装置100及び撮像素子300の相対位置が既知であるため、並進成分を示すパラメータTも既知である。なお、パラメータRは、3×3の変換行列であり、パラメータTは、3×1の変換行列である。
【0072】
第4に、撮像素子300によって撮像されるテストパターン画像において、理想的なテストパターン画像(以下、理想テストパターンカメラ画像)の座標(xt,yt,1)を取得する。理想テストパターンカメラ画像は、例えば、図5〜図8に示すテストパターン画像と同じ形状である。なお、理想テストパターンカメラ画像は、2次元空間における座標を有する。
【0073】
第5に、上述した式(1)及び式(2)を用いて、理想テストパターンカメラ画像の座標(xt,yt,1)を変換する。これによって、レンズ歪みが補正されたテストパターン画像の座標、すなわち、レンズとは逆方向の歪みが付与されたテストパターン画像(以下、歪み補正後テストパターンカメラ画像)の座標(xt’,yt’,1)が取得される。なお、歪み補正後テストパターンカメラ画像は、2次元空間における座標を有する。
【0074】
第6に、撮像素子300の焦点を原点とする3次元空間における歪み補正後テストパターンカメラ画像の座標(Xt’,Yt’,Zt’)は、以下の式によって算出される。
【0075】
【数5】
第7に、投写型映像表示装置100の焦点を原点とする3次元空間における歪み補正後テストパターンカメラ画像の座標(Xs’,Ys’,Zs’)は、以下の式によって算出される。
【0076】
【数6】
第8に、投写型映像表示装置100の焦点を原点とする3次元空間において、仮想投写面がaXs+bYs+cZs+d=0で表される場合に、仮想投写面における歪み補正後テストパターンカメラ画像の座標(Xu’,Yu’,Zu’)は、以下の(式)によって算出される。
【0077】
【数7】
第9に、投写型映像表示装置100に記憶される画像の2次元空間において、歪み補正後テストパターンカメラ画像の座標(xs’,ys’,1)は、以下の(式)によって算出される。
【0078】
【数8】
【0079】
図4に戻って、取得部230は、撮像素子300から所定ラインに沿って出力される撮像画像を取得する。例えば、取得部230は、撮像素子300から所定ラインに沿って出力される枠検出パターン画像の撮像画像を取得する。取得部230は、撮像素子300から所定ラインに沿って出力されるフォーカス調整画像の撮像画像を取得する。取得部230は、撮像素子300から所定ラインに沿って出力されるテストパターン画像の撮像画像を取得する。或いは、取得部230は、撮像素子300から所定ラインに沿って出力される露光調整画像の撮像画像を取得してもよい。
【0080】
特定部240は、取得部230によって所定ライン毎に取得される撮像画像に基づいて、撮像画像に含まれる3つ以上の線分を特定する。続いて、特定部240は、撮像画像に含まれる3つ以上の線分に基づいて、撮像画像に含まれる3つ以上の交点を取得する。
【0081】
具体的には、特定部240は、以下の手順によって、撮像画像に含まれる3つ以上の交点を取得する。ここでは、テストパターン画像が図5に示す画像(白抜きの菱形)であるケースについて例示する。
【0082】
第1に、特定部240は、図13に示すように、取得部230によって所定ライン毎に取得される撮像画像に基づいて、濃淡或いは明暗の差(エッジ)を有する点群Pedgeを取得する。すなわち、特定部240は、テストパターン画像の白抜きの菱形の4辺に対応する点群Pedgeを特定する。
【0083】
第2に、特定部240は、図14に示すように、点群Pedgeに基づいて、撮像画像に含まれる4つの線分(Lt1〜Lt4)を特定する。すなわち、特定部240は、テストパターン画像に含まれる4つの線分(Ls1〜Ls4)に対応する4つの線分(Lt1〜Lt4)を特定する。
【0084】
第3に、特定部240は、図14に示すように、4つの線分(Lt1〜Lt4)に基づいて、撮像画像に含まれる4つの交点(Pt1〜Pt4)を特定する。すなわち、特定部240は、テストパターン画像に含まれる4つの交点(Ps1〜Ps4)に対応する4つの交点(Pt1〜Pt4)を特定する。
【0085】
算出部250は、テストパターン画像に含まれる3つ以上の交点(例えば、Ps1〜Ps4)及び撮像画像に含まれる3つ以上の交点(例えば、Pt1〜Pt4)に基づいて、投写型映像表示装置100と投写面400との位置関係を算出する。具体的には、算出部250は、投写型映像表示装置100(投写ユニット110)の光軸Nと投写面400の法線Mとのずれ量を算出する。
【0086】
なお、以下においては、記憶部220に記憶されたテストパターン画像を記憶テストパターン画像と称する。撮像画像に含まれるテストパターン画像を撮像テストパターン画像と称する。投写面400に投写されたテストパターン画像を投写テストパターン画像と称する。
【0087】
第1に、算出部250は、投写テストパターン画像に含まれる4つの交点(Pu1〜Pu4)の座標を算出する。ここでは、記憶テストパターン画像の交点Ps1、撮像テストパターン画像の交点Pt1、投写テストパターン画像の交点Pu1を例に挙げて説明する。交点Ps1、交点Pt1及び交点Pu1は、互いに対応する交点である。
【0088】
以下において、交点Pu1の座標(Xu1,Yu1,Zu1)の算出方法について、図15を参照しながら説明する。交点Pu1の座標(Xu1,Yu1,Zu1)は、投写型映像表示装置100の焦点Osを原点とする3次元空間における座標であることに留意すべきである。
【0089】
(1)算出部250は、記憶テストパターン画像の2次元平面における交点Ps1の座標(xs1,ys1)について、投写型映像表示装置100の焦点Osを原点とする3次元空間における交点Ps1の座標(Xs1,Ys1,Zs1)に変換する。具体的には、交点Ps1の座標(Xs1,Ys1,Zs1)は、以下の式によって表される。
【0090】
【数9】
なお、Asは、3×3の変換行列であり、キャリブレーション等の前処理によって予め取得することが可能である。すなわち、Asは、既知のパラメータである。
【0091】
ここでは、投写型映像表示装置100の光軸方向に垂直な面がXs軸及びYs軸で表されており、投写型映像表示装置100の光軸方向がZs軸で表されている。
【0092】
同様に、算出部250は、撮像テストパターン画像の2次元平面における交点Pt1の座標(xt1,yt1)について、撮像素子300の焦点Otを原点とする3次元空間における交点Pt1の座標(Xt1,Yt1,Zt1)に変換する。
【0093】
【数10】
なお、Atは、3×3の変換行列であり、キャリブレーション等の前処理によって予め取得することが可能である。すなわち、Atは、既知のパラメータである。
【0094】
ここでは、撮像素子300の光軸方向に垂直な面がXt軸及びYt軸で表されており、撮像素子300の向き(撮像方向)がZt軸で表されている。このような座標空間において、撮像素子300の向き(撮像方向)の傾き(ベクトル)は既知であることに留意すべきである。
【0095】
(2)算出部250は、交点Ps1と交点Pu1とを結ぶ直線Lvの式を算出する。同様に、算出部250は、交点Pt1と交点Pu1とを結ぶ直線Lwの式を算出する。なお、直線Lv及び直線Lwの式は、以下のように表される。
【0096】
【数11】
但し、Ks及びKt=媒介変数
(3)算出部250は、投写型映像表示装置100の焦点Osを原点とする3次元空間における直線Lw’に直線Lwを変換する。直線Lw’は、以下の式によって表される。
【0097】
【数12】
なお、投写型映像表示装置100の光軸及び撮像素子300の向き(撮像方向)は既知であるため、回転成分を示すパラメータRは既知である。同様に、投写型映像表示装置100及び撮像素子300の相対位置が既知であるため、並進成分を示すパラメータTも既知である。
【0098】
(4)算出部250は、式(3)及び式(5)に基づいて、直線Lv及び直線Lw’の交点(すなわち、交点Pu1)における媒介変数Ks及びKtを算出する。続いて、算出部250は、交点Ps1の座標(Xs1,Ys1,Zs1)及びKsに基づいて、交点Pu1の座標(Xu1,Yu1,Zu1)の座標を算出する。或いは、算出部250は、交点Pt1の座標(Xt1,Yt1,Zt1)及びKtに基づいて、交点Pu1の座標(Xu1,Yu1,Zu1)の座標を算出する。
【0099】
これによって、算出部250は、交点Pu1の座標(Xu1,Yu1,Zu1)を算出する。同様に、算出部250は、交点Pu2の座標(Xu2,Yu2,Zu2)、交点Pu3の座標(Xu3,Yu3,Zu3)、交点Pu4の座標(Xu4,Yu4,Zu4)を算出する。
【0100】
第2に、算出部250は、投写面400の法線Mのベクトルを算出する。具体的には、算出部250は、交点Pu1〜交点Pu4のうち、少なくとも3つ以上の交点の座標を用いて、投写面400の法線Mのベクトルを算出する。投写面400の式は、以下の式によって表され、パラメータk1、k2、k3は、投写面400の法線Mのベクトルを表している。
【0101】
【数13】
但し、k1、k2、k3、k4=所定係数
これによって、算出部250は、投写型映像表示装置100の光軸Nと投写面400の法線Mとのずれ量を算出することができる。すなわち、算出部250は、投写型映像表示装置100と投写面400との位置関係を算出することができる。
【0102】
なお、第1実施形態では、特定部240及び算出部250を別々に説明したが、特定部240及び算出部250は、1つの構成と考えてもよい。例えば、特定部240の機能を算出部250が有していてもよい。
【0103】
図4に戻って、素子制御部260は、映像入力信号を映像出力信号に変換して、映像出力信号に基づいて、液晶パネル50を制御する。また、素子制御部260は、以下に示す機能を有する。
【0104】
具体的には、素子制御部260は、投写型映像表示装置100と投写面400との位置関係に基づいて、投写面400上に投写された映像の形状の自動補正を行う機能を有する(形状調整)。すなわち、素子制御部260は、投写型映像表示装置100と投写面400との位置関係に基づいて、自動的に台形補正を行う機能を有する。
【0105】
投写ユニット調整部270は、投写ユニット110に設けられるレンズ群を制御する。第1に、投写ユニット調整部270は、投写ユニット110に設けられるレンズ群のシフトによって、投写面400上に設けられる表示枠420内に投写可能範囲410を収める(ズーム調整)。具体的には、投写ユニット調整部270は、投写ユニット調整部270は、取得部230によって取得される枠検出パターン画像の撮像画像に基づいて、表示枠420内に投写可能範囲410が収まるように、投写ユニット110に設けられるレンズ群を制御する。
【0106】
第2に、投写ユニット調整部270は、投写ユニット110に設けられるレンズ群のシフトによって、投写面400に投写された映像のフォーカスを調整する(フォーカス調整)。具体的には、投写ユニット調整部270は、取得部230によって取得されるフォーカス調整画像の撮像画像に基づいて、投写面400に投写された映像のフォーカス値が最大値となるように、投写ユニット110に設けられるレンズ群を制御する。
【0107】
なお、素子制御部260及び投写ユニット調整部270は、投写面400に投写された映像を調整する調整部280を構成する。
【0108】
ここで、投写型映像表示装置100は、テストパターン画像の全体を対象として、テストパターン画像に含まれる線分を特定し、投写型映像表示装置100と投写面400との位置関係を算出してもよい(一括処理モード)。すなわち、一括処理モードでは、撮像素子300は、投写可能範囲410の全体を対象としてフォーカスが調整された状態でテストパターン画像の全体を撮像し、投写型映像表示装置100は、テストパターン画像の全体の撮像画像に基づいて、テストパターン画像に含まれる3つ以上の線分を特定する。
【0109】
或いは、投写型映像表示装置100は、テストパターン画像を部分的に含むように分割された複数の画像領域のそれぞれを対象として、テストパターン画像に含まれる線分を特定し、投写型映像表示装置100と投写面400との位置関係を算出してもよい(分割処理モード)。すなわち、分割処理モードでは、撮像素子300は、複数の画像領域毎にフォーカスが調整された状態でテストパターン画像を複数の領域毎に撮像し、投写型映像表示装置100は、複数の領域毎のテストパターン画像の撮像画像に基づいて、テストパターン画像に含まれる3つ以上の線分を特定する。
【0110】
(投写型映像表示装置の動作)
以下において、第1実施形態に係る投写型映像表示装置(制御ユニット)の動作について、図面を参照しながら説明する。図16及び図17は、第1実施形態に係る投写型映像表示装置100(制御ユニット200)の動作を示すフロー図である。
【0111】
第1に、レンズとは逆方向の歪みが付与されたテストパターン画像を算出する方法について、図16を参照しながら説明する。
【0112】
図16に示すように、ステップ100において、投写型映像表示装置100は、各種パラメータを取得する。パラメータは、例えば、レンズ歪みを補正するためのパラメータ(cx、cy、p1、p2、q1、q2)、2次元空間座標を3次元空間座標に変換するためのパラメータ(At、As、R、T)を取得する。
【0113】
ステップ110において、投写型映像表示装置100は、撮像素子300によって撮像されるテストパターン画像において、理想テストパターンカメラ画像の座標(xs,ys,1)を取得する。
【0114】
ステップ120において、投写型映像表示装置100は、上述した式(1)及び式(2)を用いて、理想テストパターンカメラ画像を変換して、歪み補正後テストパターンカメラ画像の座標(xs’,ys’,1)を算出する。
【0115】
ステップ130において、投写型映像表示装置100は、撮像素子300によって撮像される画像の2次元空間における座標から投写型映像表示装置100に記憶される画像の2次元空間における座標に、歪み補正後テストパターンカメラ画像の座標(xs’,ys’,1)を変換する。
【0116】
詳細には、上述したように、撮像素子300によって撮像される画像の2次元空間における座標は、撮像素子300の焦点を原点とする3次元空間における座標に変換される。続いて、撮像素子300の焦点を原点とする3次元空間における座標は、投写型映像表示装置100の焦点を原点とする3次元空間における座標に変換される。続いて、投写型映像表示装置100の焦点を原点とする3次元空間における座標は、投写型映像表示装置100に記憶される画像の2次元空間における座標に変換される。
【0117】
第2に、映像の形状等を調整する方法について、図17を参照しながら説明する。図17に示すように、ステップ200において、投写型映像表示装置100は、投写面400上に枠検出パターン画像を表示(投写)する。枠検出パターン画像は、例えば、白画像などである。
【0118】
ステップ210において、投写型映像表示装置100に設けられた撮像素子300は、投写面400を撮像する。すなわち、撮像素子300は、投写面400上に投写された枠検出パターン画像を撮像する。続いて、投写型映像表示装置100は、枠検出パターン画像の撮像画像に基づいて、投写面400上に設けられる表示枠420を検出する。
【0119】
ステップ220において、投写型映像表示装置100は、投写面400上にフォーカス調整画像を表示(投写)する。
【0120】
ステップ230において、投写型映像表示装置100に設けられた撮像素子300は、投写面400を撮像する。すなわち、撮像素子300は、投写面400上に投写されたフォーカス調整画像を撮像する。続いて、投写型映像表示装置100は、フォーカス調整画像のフォーカス値が最大値となるように、フォーカス調整画像のフォーカスを調整する。
【0121】
ステップ240において、投写型映像表示装置100は、投写面400上にテストパターン画像を表示(投写)する。
【0122】
ステップ250において、投写型映像表示装置100に設けられた撮像素子300は、投写面400を撮像する。すなわち、撮像素子300は、投写面400上に投写されたテストパターン画像を撮像する。続いて、投写型映像表示装置100は、撮像テストパターン画像に含まれる4つの線分(Lt1〜Lt4)を特定し、4つの線分(Lt1〜Lt4)に基づいて、撮像テストパターン画像に含まれる4つの交点(Pt1〜Pt4)を特定する。投写型映像表示装置100は、記憶テストパターン画像に含まれる4つの交点(Ps1〜Ps4)及び撮像テストパターン画像に含まれる4つの交点(Pt1〜Pt4)に基づいて、投写型映像表示装置100と投写面400との位置関係を算出する。投写型映像表示装置100は、投写型映像表示装置100と投写面400との位置関係に基づいて、投写面400上に投写される映像の形状を調整する(台形補正)。
【0123】
(作用及び効果)
第1実施形態では、素子制御部260は、レンズとは逆方向の歪みを有するテストパターン画像を表示するように液晶パネル50を制御する。言い換えると、レンズとは逆方向の歪みを有するテストパターン画像を予め準備することによって、テストパターン画像の撮像画像の歪みがキャンセルされるため、投写面400上に投写される映像の形状の調整に必要とされる処理時間やコストを抑制することができる。
【0124】
第1実施形態では、テストパターン画像に含まれる3つ以上の線分は、所定ラインに対して傾きを有する。第1に、テストパターン画像に含まれる線分が所定ラインに沿っている場合と比べて、エッジ検出等を行うためにサンプリングすべき画素数を低減することができる。従って、映像調整の処理負荷を軽減することができる。第2に、テストパターン画像に含まれる線分が所定ラインに沿っている場合と比べて、テストパターン画像に含まれる線分の検出精度が向上する。
【0125】
[変更例1]
以下において、第1実施形態の変更例1について説明する。以下においては、第1実施形態に対する差異について主として説明する。
【0126】
具体的には、第1実施形態では、投写ユニット110が反射ミラー112を有するケースについて説明した。これに対して、変更例1では、図18に示すように、投写ユニット110は、反射ミラー112を有していない。このようなケースにおいて、投写ユニット110に設けられる投写レンズ群111は、広角レンズを含むことに留意すべきである。
【0127】
変更例1においても、液晶パネル50は、図18に示すように、投写ユニット110の光軸中心Lからシフトした位置に配置される。
【0128】
[その他の実施形態]
本発明は上述した実施形態によって説明したが、この開示の一部をなす論述及び図面は、この発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施形態、実施例及び運用技術が明らかとなろう。
【0129】
上述した実施形態では、光源として、白色光源を例示した。しかしながら、光源は、LED(Light Emitting Diode)、LD(Laser Diode)やEL(Electro Luminescence)であってもよい。
【0130】
上述した実施形態では、光変調素子として、透過型の液晶パネルについて例示した。しかしながら、光変調素子は、反射型の液用パネルやDMD(Digital Micromirror Device)であってもよい。
【0131】
上述した実施形態では特に触れていないが、素子制御部260は、表示枠420が検出されてから、テストパターン画像が表示されるまで、映像を表示しないように液晶パネル50を制御することが好ましい。
【0132】
上述した実施形態では特に触れていないが、素子制御部260は、撮像テストパターン画像に含まれる3つ以上の交点が取得されてから、投写面400上に投写される映像の形状が補正されるまで、映像を表示しないように液晶パネル50を制御することが好ましい。
【0133】
上述した実施形態では特に触れていないが、素子制御部260は、テストパターン画像とともに、テストパターン画像以外の所定画像(例えば、背景画像)を表示するように液晶パネル50を制御することが好ましい。
【0134】
例えば、撮像素子300によって検出可能な色や輝度によってテストパターン画像が構成されており、撮像素子300によって検出できない色や輝度によってテストパターン画像以外の所定画像が構成される。
【0135】
或いは、赤、緑及び青のうち、いずれかの色によってテストパターン画像が構成されており、他の色によってテストパターン画像以外の所定画像が構成される。撮像素子300は、テストパターン画像を構成する色のみを検出することによって、テストパターン画像の撮像画像を取得することができる。
【0136】
また、映像信号が入力されていない場合には、素子制御部260は、テストパターン画像とともに、所定画像としてエラーメッセージを表示するように液晶パネル50を制御してもよい。或いは、テストパターン画像に含まれる線分或いは交点を特定することができない場合に、素子制御部260は、所定画像としてエラーメッセージを表示するように液晶パネル50を制御してもよい。
【0137】
実施形態では、投写型映像表示装置100は、表示枠420の検出後に、フォーカスを調整する。しかしながら、実施形態は、これに限定されるものではない。例えば、投写型映像表示装置100は、表示枠420を検出せずに、フォーカスを調整してもよい。具体的には、通常の使用態様では、投写可能範囲410の中心部分が表示枠420内に含まれることが想定されるため、投写型映像表示装置100は、投写可能範囲410の中心部分にフォーカス調整画像を表示するとともに、投写可能範囲410の中心部分に表示される映像(フォーカス調整画像)のフォーカスを調整してもよい。
【0138】
実施形態では、テストパターン画像のうち、背景部分が黒であり、パターン部分が白である。しかしながら、実施形態は、これに限定されるものではない。例えば、背景部分が白であり、パターン部分が黒であってもよい。背景部分が青であり、パターン部分が白であってもよい。すなわち、エッジ検出が可能な程度、背景部分とパターン部分との間に輝度差があればよい。なお、エッジ検出が可能な程度は、撮像素子300の精度に応じて定められる。背景部分とパターン部分との間の輝度差が大きいほど、撮像素子300の精度が必要とされないため、撮像素子300のコストを低減できることは勿論である。
【0139】
なお、線分は、2点間を結ぶ線であって、直線に限定されるものではない。具体的には、記憶部220に記憶されるテストパターン画像は、上述したように、歪みを有するため、記憶部220に記憶されたテストパターン画像において、線分は、2点を結ぶ曲線となることに留意すべきである。また、正方向或いは負方向の歪みを有するレンズを通して撮像素子300によって撮像されるテストパターン画像において、線分は、2点を結ぶ曲線であってもよい。このようなケースでは、線分の交点を算出することができるように、曲線を特定するためのパラメータが予め記憶されていることに留意すべきである。
【符号の説明】
【0140】
10…光源、20…UV/IRカットフィルタ、30…フライアイレンズユニット、40…PBSアレイ、50…液晶パネル、52、53…偏光板、60…クロスダイクロイックキューブ、71〜76…ミラー、81〜85…レンズ、100…投写型映像表示装置、110…投写ユニット、120…照明ユニット、200…制御ユニット、210…映像信号受付部、220…記憶部、230…取得部、240…特定部、250…算出部、260…素子制御部、270…投写ユニット制御部、280…調整部、290…露光時間調整部、295…モード制御部、300…撮像素子、400…投写面、410…投写可能範囲、420…表示枠
【技術分野】
【0001】
本発明は、光源から出射される光を変調するように構成された光変調素子と、光変調素子から出射される光を投写面上に投写するように構成された投写ユニットとを有する投写型映像表示装置及び投写型映像表示装置に適用される画像調整方法に関する。
【背景技術】
【0002】
従来、光源から出射される光を変調する光変調素子と、光変調素子から出射される光を投写面上に投写する投写ユニットとを備える投写型映像表示装置が知られている。
【0003】
ここで、投写型映像表示装置と投写面との位置関係によっては、投写面上に投写される映像の形状が歪んでしまう。
【0004】
これに対して、以下の手順で映像の形状を調整する方法が提案されている(例えば、特許文献1)。第1に、投写型映像表示装置は、長方形形状のテストパターン画像を投写面上に投写する。第2に、投写型映像表示装置は、投写面上に投写されたテストパターン画像を撮像して、投写面におけるテストパターン画像の4隅の座標を特定する。第3に、投写型映像表示装置は、投写面におけるテストパターン画像の4隅の座標に基づいて、投写型映像表示装置と投写面との位置関係を特定して、投写面上に投写される映像の形状を調整する。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2005−318652号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
ところで、投写型映像表示装置と投写面との距離が非常に短い場合には、投写型映像表示装置に設けられる撮像素子によってテストパターン画像を撮像するために、広角レンズなどのように歪みが大きいレンズを用いる必要がある。
【0007】
このようなケースでは、撮像素子によって撮像された撮像画像(テストパターン画像)が歪むため、撮像画像の歪みを補正するために多量の計算資源が必要とされる。従って、投写面上に投写される映像の形状の調整に必要とされる処理時間やコストが上昇する。
【0008】
そこで、本発明は、上述した課題を解決するためになされたものであり、投写面上に投写される映像の形状の調整に必要とされる処理時間やコストの抑制を可能とする投写型映像表示装置及び画像調整方法を提供することを目的とする。
【課題を解決するための手段】
【0009】
第1の特徴に係る投写型映像表示装置は、光源(光源10)から出射される光を変調するように構成された光変調素子(液晶パネル50)と、前記光変調素子から出射される光を投写面上に投写するように構成された投写ユニット(投写ユニット110)とを有する。投写型映像表示装置は、3つ以上の交点を構成する3つ以上の線分のそれぞれの少なくとも一部分を構成するテストパターン画像を表示するように前記光変調素子を制御する素子制御部(素子制御部260)と、前記投写面上に投写された前記テストパターン画像を撮像する撮像素子(撮像素子300)から前記テストパターン画像の撮像画像を取得する取得部(取得部230)と、前記取得部によって取得された撮像画像に基づいて、前記撮像画像に含まれる3つ以上の線分より3つ以上の交点を特定し、前記3つ以上の交点に基づいて、前記投写型映像表示装置と前記投写面との位置関係を算出する算出部(算出部250)と、前記投写型映像表示装置と前記投写面との位置関係に基づいて、前記投写面上に投写される映像を調整する調整部(調整部280)とを備える。前記撮像素子は、正方向或いは負方向の歪みを有するレンズを通して前記テストパターン画像を撮像する。前記素子制御部は、前記レンズとは逆方向の歪みを有する前記テストパターン画像を表示するように前記光変調素子を制御する。
【0010】
第1の特徴において、前記テストパターン画像が有する歪みは、糸巻き歪みである。
【0011】
第1の特徴において、前記光変調素子は、前記投写ユニットの光軸中心からシフトした位置に配置される。
【0012】
第1の特徴において、前記投写ユニットは、レンズ群と、前記レンズ群を透過する光を前記投写面上に反射する反射ミラーとによって構成される。
【0013】
第2の特徴に係る画像調整方法は、光源から出射される光を変調する光変調素子と、前記光変調素子から出射される光を投写面上に投写する投写ユニットとを有する投写型映像表示装置に適用される。画像調整方法は、3つ以上の交点を構成する3つ以上の線分のそれぞれの少なくとも一部分を構成するテストパターン画像を表示するステップAと、正方向或いは負方向の歪みを有するレンズを通して、前記投写面上に投写された前記テストパターン画像を撮像し、前記テストパターン画像の撮像画像を取得するステップBと、前記撮像画像に基づいて、前記投写型映像表示装置と前記投写面との位置関係を算出し、前記投写型映像表示装置と前記投写面との位置関係に基づいて、前記投写面上に投写される映像を調整するステップCとを備える。前記ステップAでは、前記レンズとは逆方向の歪みを有する前記テストパターン画像を表示する。
【発明の効果】
【0014】
本発明によれば、投写面上に投写される映像の形状の調整に必要とされる処理時間やコストの抑制を可能とする投写型映像表示装置及び画像調整方法を提供することができる。
【図面の簡単な説明】
【0015】
【図1】第1実施形態に係る投写型映像表示装置100の概略を示す図である。
【図2】第1実施形態に係る投写型映像表示装置100の構成を示す図である。
【図3】第1実施形態に係る液晶パネル50のシフトについて説明するための図である。
【図4】第1実施形態に係る制御ユニット200を示すブロック図である。
【図5】第1実施形態に係る記憶テストパターン画像の一例を示す図である。
【図6】第1実施形態に係る記憶テストパターン画像の一例を示す図である。
【図7】第1実施形態に係る記憶テストパターン画像の一例を示す図である。
【図8】第1実施形態に係る記憶テストパターン画像の一例を示す図である。
【図9】第1実施形態に係るテストパターン画像の歪みを説明するための図である。
【図10】第1実施形態に係るレンズの歪みを説明するための図である。
【図11】第1実施形態に係るレンズ歪みの補正を説明するための図である。
【図12】第1実施形態に係るテストパターン画像の算出を説明するための図である。
【図13】第1実施形態に係る撮像テストパターン画像の一例を示す図である。
【図14】第1実施形態に係る撮像テストパターン画像の一例を示す図である。
【図15】第1実施形態に係る投写テストパターン画像に含まれる交点を算出する方法を説明するための図である。
【図16】第1実施形態に係る投写型映像表示装置100の動作を示すフロー図である。
【図17】第1実施形態に係る投写型映像表示装置100の動作を示すフロー図である。
【図18】変更例1に係る液晶パネル50のシフトについて説明するための図である。
【発明を実施するための形態】
【0016】
以下において、本発明の実施形態に係る投写型映像表示装置について、図面を参照しながら説明する。なお、以下の図面の記載において、同一又は類似の部分には、同一又は類似の符号を付している。
【0017】
ただし、図面は模式的なものであり、各寸法の比率などは現実のものとは異なることに留意すべきである。従って、具体的な寸法などは以下の説明を参酌して判断すべきである。また、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることは勿論である。
【0018】
[実施形態の概要]
実施形態に係る投写型映像表示装置は、光源から出射される光を変調するように構成された光変調素子と、光変調素子から出射される光を投写面上に投写するように構成された投写ユニットとを有する。投写型映像表示装置は、3つ以上の交点を構成する3つ以上の線分のそれぞれの少なくとも一部分を構成するテストパターン画像を表示するように光変調素子を制御する素子制御部と、投写面上に投写されたテストパターン画像を撮像する撮像素子からテストパターン画像の撮像画像を取得する取得部と、取得部によって取得された撮像画像に基づいて、撮像画像に含まれる3つ以上の線分より3つ以上の交点を特定し、3つ以上の交点に基づいて、投写型映像表示装置と投写面との位置関係を算出する算出部と、投写型映像表示装置と投写面との位置関係に基づいて、投写面上に投写される映像を調整する調整部とを備える。撮像素子は、正方向或いは負方向の歪みを有するレンズを通してテストパターン画像を撮像する。素子制御部は、レンズとは逆方向の歪みを有するテストパターン画像を表示するように光変調素子を制御する。
【0019】
実施形態では、素子制御部は、レンズとは逆方向の歪みを有するテストパターン画像を表示するように光変調素子を制御する。従って、レンズとは逆方向の歪みを有するテストパターン画像を予め準備することが可能であり、テストパターン画像の撮像画像の歪みがキャンセルされるため、投写面上に投写される映像の形状の調整に必要とされる処理時間やコストを抑制することができる。
【0020】
なお、投写型映像表示装置は、取得部によって取得された撮像画像に基づいて、撮像画像に含まれる3つ以上の線分を特定し、撮像画像に含まれる3つ以上の線分に基づいて、撮像画像に含まれる3つ以上の交点を特定する特定部を有していてもよい。なお、算出部は、テストパターン画像に含まれる3つ以上の交点と撮像画像に含まれる3つ以上の交点とに基づいて、投写型映像表示装置と投写面との位置関係を算出する。
【0021】
[第1実施形態]
(投写型映像表示装置の概略)
以下において、第1実施形態に係る投写型映像表示装置について、図面を参照しながら説明する。図1は、第1実施形態に係る投写型映像表示装置100の概略を示す図である。なお、第1実施形態では、投写型映像表示装置100と投写面400との距離が非常に近いケースについて例示する。
【0022】
図1に示すように、投写型映像表示装置100には、撮像素子300が設けられる。また、投写型映像表示装置100は、投写面400上に映像光を投写する。
【0023】
撮像素子300は、投写面400を撮像するように構成される。すなわち、撮像素子300は、投写型映像表示装置100によって投写面400上に投写された映像光の反射光を検出するように構成される。撮像素子300は、投写型映像表示装置100に対して、撮像画像を所定ラインに沿って出力する。撮像素子300は、投写型映像表示装置100に内蔵されていてもよく、投写型映像表示装置100と併設されていてもよい。
【0024】
ここで、投写型映像表示装置100と投写面400との距離が非常に近いため、撮像素子300は、正方向或いは負方向の歪みを有するレンズを通してテストパターン画像を撮像する。例えば、レンズが有する歪みは、樽歪みである。
【0025】
投写面400は、スクリーンなどによって構成される。投写型映像表示装置100が映像光を投写可能な範囲(投写可能範囲410)は、投写面400上に形成される。また、投写面400は、スクリーンの外枠などによって構成される表示枠420を有する。
【0026】
(投写型映像表示装置の構成)
以下において、第1実施形態に係る投写型映像表示装置について、図面を参照しながら説明する。図2は、第1実施形態に係る投写型映像表示装置100の構成を示す図である。
【0027】
図2に示すように、投写型映像表示装置100は、投写ユニット110と、照明装置120とを有する。
【0028】
投写ユニット110は、照明装置120から出射された映像光を投写面(不図示)上などに投写する。具体的には、投写ユニット110は、照明装置120から出射された映像光を投写面(不図示)上などに投写する投写レンズ群111と、投写レンズ群から出射された映像光を投写面側に反射する反射ミラー112とを有する。反射ミラー112は、例えば、非球面の反射面を有する凹面ミラーである。
【0029】
第1に、照明装置120は、光源10と、UV/IRカットフィルタ20と、フライアイレンズユニット30と、PBSアレイ40と、複数の液晶パネル50(液晶パネル50R、液晶パネル50G及び液晶パネル50B)と、クロスダイクロイックプリズム60とを有する。
【0030】
光源10は、白色光を発する光源(例えば、UHPランプやキセノンランプ)などである。すなわち、光源10が発する白色光は、赤成分光R、緑成分光G及び青成分光Bを含む。
【0031】
UV/IRカットフィルタ20は、可視光成分(赤成分光R、緑成分光G及び青成分光B)を透過する。UV/IRカットフィルタ20は、赤外光成分や紫外光成分を遮光する。
【0032】
フライアイレンズユニット30は、光源10が発する光を均一化する。具体的には、フライアイレンズユニット30は、フライアイレンズ31及びフライアイレンズ32によって構成される。フライアイレンズ31及びフライアイレンズ32は、それぞれ、複数の微少レンズによって構成される。各微少レンズは、光源10が発する光が液晶パネル50の全面に照射されるように、光源10が発する光を集光する。
【0033】
PBSアレイ40は、フライアイレンズユニット30から出射された光の偏光状態を揃える。例えば、PBSアレイ40は、フライアイレンズユニット30から出射された光をS偏光(又はP偏光)に揃える。
【0034】
液晶パネル50Rは、赤出力信号Routに基づいて赤成分光Rを変調する。液晶パネル50Rに光が入射する側には、一の偏光方向(例えば、S偏光)を有する光を透過して、他の偏光方向(例えば、P偏光)を有する光を遮光する入射側偏光板52Rが設けられている。液晶パネル50Rから光が出射する側には、一の偏光方向(例えば、S偏光)を有する光を遮光して、他の偏光方向(例えば、P偏光)を有する光を透過する出射側偏光板53Rが設けられている。
【0035】
液晶パネル50Gは、緑出力信号Goutに基づいて緑成分光Gを変調する。液晶パネル50Gに光が入射する側には、一の偏光方向(例えば、S偏光)を有する光を透過して、他の偏光方向(例えば、P偏光)を有する光を遮光する入射側偏光板52Gが設けられる。一方で、液晶パネル50Gから光が出射する側には、一の偏光方向(例えば、S偏光)を有する光を遮光して、他の偏光方向(例えば、P偏光)を有する光を透過する出射側偏光板53Gが設けられる。
【0036】
液晶パネル50Bは、青出力信号Boutに基づいて青成分光Bを変調する。液晶パネル50Bに光が入射する側には、一の偏光方向(例えば、S偏光)を有する光を透過して、他の偏光方向(例えば、P偏光)を有する光を遮光する入射側偏光板52Bが設けられる。一方で、液晶パネル50Bから光が出射する側には、一の偏光方向(例えば、S偏光)を有する光を遮光して、他の偏光方向(例えば、P偏光)を有する光を透過する出射側偏光板53Bが設けられる。
【0037】
なお、赤出力信号Rout、緑出力信号Gout及び青出力信号Boutは、映像出力信号を構成する。映像出力信号は、1フレームを構成する複数の画素毎の信号である。
【0038】
ここで、各液晶パネル50には、コントラスト比や透過率を向上させる補償板(不図示)が設けられていてもよい。また、各偏光板は、偏光板に入射する光の光量や熱負担を軽減させるプリ偏光板を有していてもよい。
【0039】
第1実施形態において、投写型映像表示装置100と投写面400との距離が非常に近いため、液晶パネル50は、図3に示すように、投写ユニット110の光軸中心Lからシフトした位置に配置される。具体的には、液晶パネル50の中心は、投写ユニット110の光軸中心Lに対して、投写面400側にシフトしている。但し、液晶パネル50のシフト方向は、投写ユニット110の構成に依存することに留意すべきである。
【0040】
クロスダイクロイックプリズム60は、液晶パネル50R、液晶パネル50G及び液晶パネル50Bから出射される光を合成する色合成部を構成する。クロスダイクロイックプリズム60から出射された合成光は、投写ユニット110に導かれる。
【0041】
第2に、照明装置120は、ミラー群(ミラー71〜ミラー76)及びレンズ群(レンズ81〜レンズ85)を有する。
【0042】
ミラー71は、青成分光Bを透過して、赤成分光R及び緑成分光Gを反射するダイクロイックミラーである。ミラー72は、赤成分光Rを透過して、緑成分光Gを反射するダイクロイックミラーである。ミラー71及びミラー72は、赤成分光R、緑成分光G及び青成分光Bを分離する色分離部を構成する。
【0043】
ミラー73は、赤成分光R、緑成分光G及び青成分光Bを反射して、赤成分光R、緑成分光G及び青成分光Bをミラー71側に導く。ミラー74は、青成分光Bを反射して、青成分光Bを液晶パネル50B側に導く。ミラー75及びミラー76は、赤成分光Rを反射して、赤成分光Rを液晶パネル50R側に導く。
【0044】
レンズ81は、PBSアレイ40から出射された光を集光するコンデンサレンズである。レンズ82は、ミラー73で反射された光を集光するコンデンサレンズである。
【0045】
レンズ83Rは、液晶パネル50Rに赤成分光Rが照射されるように、赤成分光Rを略平行光化する。レンズ83Gは、液晶パネル50Gに緑成分光Gが照射されるように、緑成分光Gを略平行光化する。レンズ83Bは、液晶パネル50Bに青成分光Bが照射されるように、青成分光Bを略平行光化する。
【0046】
レンズ84及びレンズ85は、赤成分光Rの拡大を抑制しながら、液晶パネル50R上に赤成分光Rを略結像するリレーレンズである。
【0047】
(制御ユニットの構成)
以下において、第1実施形態に係る制御ユニットについて、図面を参照しながら説明する。図4は、第1実施形態に係る制御ユニット200を示すブロック図である。制御ユニット200は、投写型映像表示装置100に設けられており、投写型映像表示装置100を制御する。
【0048】
なお、制御ユニット200は、映像入力信号を映像出力信号に変換する。映像入力信号は、赤入力信号Rin、緑入力信号Gin及び青入力信号Binによって構成される。映像出力信号は、赤出力信号Rout、緑出力信号Gout及び青出力信号Boutによって構成される。映像入力信号及び映像出力信号は、1フレームを構成する複数の画素毎に入力される信号である。
【0049】
図4に示すように、制御ユニット200は、映像信号受付部210と、記憶部220と、取得部230と、特定部240と、算出部250と、素子制御部260と、投写ユニット調整部270とを有する。
【0050】
映像信号受付部210は、携帯電話、パーソナルコンピュータ、USBメモリ、DVDやTVチューナなどの外部装置(不図示)から映像入力信号を受付ける。
【0051】
記憶部220は、各種情報を記憶する。具体的には、記憶部220は、表示枠420を検出するために用いる枠検出パターン画像、フォーカスを調整するために用いるフォーカス調整画像、投写型映像表示装置100と投写面400との位置関係を算出するために用いるテストパターン画像を記憶する。或いは、記憶部220は、露光値を調整するために用いる露光調整画像を記憶してもよい。
【0052】
テストパターン画像は、3つ以上の交点を構成する3つ以上の線分のそれぞれの少なくとも一部分を構成する画像である。また、3つ以上の線分は、所定ラインに対して傾きを有する。
【0053】
なお、撮像素子300は、上述したように、撮像画像を所定ラインに沿って出力する。例えば、所定ラインは、水平方向の画素列であり、所定ラインの向きは、水平方向である。
【0054】
以下において、テストパターン画像の一例について、図5〜図8を参照しながら説明する。図5〜図8に示すように、テストパターン画像は、4つの交点(Ps1〜Ps4)を構成する4つの線分(Ls1〜Ls4)の少なくとも一部分を構成する画像である。第1実施形態では、4つの線分(Ls1〜Ls4)は、濃淡或いは明暗の差(エッジ)によって表される。
【0055】
詳細には、図5に示すように、テストパターン画像は、黒の背景及び白抜きの菱形であってもよい。ここで、白抜きの菱形の4辺は、4つの線分(Ls1〜Ls4)の少なくとも一部分を構成する。なお、4つの線分(Ls1〜Ls4)は、所定ライン(水平方向)に対して傾きを有する。
【0056】
或いは、図6に示すように、テストパターン画像は、黒の背景及び白抜きの線分であってもよい。白抜きの線分は、図5に示す白抜きの菱形の4辺の一部分を構成する。ここで、白抜きの線分は、4つの線分(Ls1〜Ls4)の少なくとも一部分を構成する。なお、4つの線分(Ls1〜Ls4)は、所定ライン(水平方向)に対して傾きを有する。
【0057】
或いは、図7に示すように、テストパターン画像は、黒の背景及び1対の白抜きの三角形であってもよい。ここで、1対の白抜きの三角形の2辺は、4つの線分(Ls1〜Ls4)の少なくとも一部分を構成する。なお、4つの線分(Ls1〜Ls4)は、所定ライン(水平方向)に対して傾きを有する。
【0058】
或いは、図8に示すように、テストパターン画像は、黒の背景及び白抜きの線分であってもよい。ここで、白抜きの線分は、4つの線分(Ls1〜Ls4)の少なくとも一部分を構成する。図8に示すように、4つの線分(Ls1〜Ls4)によって構成される4つの交点(Ps1〜Ps4)は、投写可能範囲410の外側に設けられてもよい。なお、4つの線分(Ls1〜Ls4)は、所定ライン(水平方向)に対して傾きを有する。
【0059】
ここで、第1実施形態では、上述したように、撮像素子300は、正方向或いは負方向の歪みを有するレンズを通してテストパターン画像を撮像する。例えば、レンズが有する歪みは、樽歪みである。
【0060】
従って、記憶部220に記憶されるテストパターン画像(すなわち、投写面400上に投写されるテストパターン画像)は、レンズとは逆方向の歪みを有する必要がある。
【0061】
例えば、図9に示すように、記憶部220に記憶されるテストパターン画像は、糸巻き歪みを有する。これによって、正方向或いは負方向の歪みを有するレンズを通して撮像素子300によって撮像されるテストパターン画像は、図10に示すように、樽歪みが加えられた状態で取得される。
【0062】
なお、Ls1〜Ls4は、記憶部220に記憶されるテストパターン画像における線分であり、Ps1〜Ps4は、記憶部220に記憶されるテストパターン画像における交点である。また、Lt1〜Lt4は、撮像素子300によって撮像されるテストパターン画像における線分であり、Pt1〜Pt4は、撮像素子300によって撮像されるテストパターン画像における交点である。
【0063】
以下において、レンズとは逆方向の歪みを有するテストパターン画像の算出について、図面を参照しながら説明する。
【0064】
第1に、レンズ歪みを補正するためのパラメータについて、図11を参照しながら説明する。ここでは、歪みが生じない中心画素が(cx,cy)で表されており、レンズ歪み補正前の座標が(u,v)で表されており、レンズ歪み補正後の座標が(u’,v’)で表されている。このようなケースにおいて、レンズ歪み補正後の座標(u’,v’)は、以下の式で表される。
【0065】
【数1】
但し、r2=(u−cx)2+(v−cy)2、p1、p2、q1及びq2は、所定係数
なお、このような歪み補正は、Zangの手法として知られている(例えば、“A Flexible new technique for camera caribration” IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(11):1330−1334,2000)。
【0066】
第2に、2次元空間における座標を3次元空間における座標に変換するためのパラメータについて、図12を参照しながら説明する。ここで、撮像画像の2次元空間における座標(xt,yt,1)と撮像素子300の焦点を原点とする3次元空間における座標(Xt,Yt,Zt)との関係は、以下の式によって表される。
【0067】
【数2】
なお、Atは、3×3の変換行列であり、キャリブレーション等の前処理によって予め取得することが可能である。すなわち、Atは、既知のパラメータである。また、λtは、媒介変数である。
【0068】
同様に、投写型映像表示装置100に記憶される画像の2次元空間における座標(xs,ys,1)と投写型映像表示装置100の焦点を原点とする3次元空間における座標(Xs,Ys,Zs)との関係は、以下の式によって表される。
【0069】
【数3】
なお、Asは、3×3の変換行列であり、キャリブレーション等の前処理によって予め取得することが可能である。すなわち、Asは、既知のパラメータである。また、λsは、媒介変数である。
【0070】
第3に、撮像素子300の焦点を原点とする3次元空間における座標と投写型映像表示装置100の焦点を原点とする3次元空間における座標との関係について、図12を参照しながら説明する。撮像素子300の焦点を原点とする3次元空間における座標(Xt,Yt,Zt)及び投写型映像表示装置100の焦点を原点とする3次元空間における座標(Xs,Ys,Zs)は、仮想投写面上において以下の関係を有する。
【0071】
【数4】
なお、投写型映像表示装置100の光軸及び撮像素子300の向き(撮像方向)は既知であるため、回転成分を示すパラメータRは既知である。同様に、投写型映像表示装置100及び撮像素子300の相対位置が既知であるため、並進成分を示すパラメータTも既知である。なお、パラメータRは、3×3の変換行列であり、パラメータTは、3×1の変換行列である。
【0072】
第4に、撮像素子300によって撮像されるテストパターン画像において、理想的なテストパターン画像(以下、理想テストパターンカメラ画像)の座標(xt,yt,1)を取得する。理想テストパターンカメラ画像は、例えば、図5〜図8に示すテストパターン画像と同じ形状である。なお、理想テストパターンカメラ画像は、2次元空間における座標を有する。
【0073】
第5に、上述した式(1)及び式(2)を用いて、理想テストパターンカメラ画像の座標(xt,yt,1)を変換する。これによって、レンズ歪みが補正されたテストパターン画像の座標、すなわち、レンズとは逆方向の歪みが付与されたテストパターン画像(以下、歪み補正後テストパターンカメラ画像)の座標(xt’,yt’,1)が取得される。なお、歪み補正後テストパターンカメラ画像は、2次元空間における座標を有する。
【0074】
第6に、撮像素子300の焦点を原点とする3次元空間における歪み補正後テストパターンカメラ画像の座標(Xt’,Yt’,Zt’)は、以下の式によって算出される。
【0075】
【数5】
第7に、投写型映像表示装置100の焦点を原点とする3次元空間における歪み補正後テストパターンカメラ画像の座標(Xs’,Ys’,Zs’)は、以下の式によって算出される。
【0076】
【数6】
第8に、投写型映像表示装置100の焦点を原点とする3次元空間において、仮想投写面がaXs+bYs+cZs+d=0で表される場合に、仮想投写面における歪み補正後テストパターンカメラ画像の座標(Xu’,Yu’,Zu’)は、以下の(式)によって算出される。
【0077】
【数7】
第9に、投写型映像表示装置100に記憶される画像の2次元空間において、歪み補正後テストパターンカメラ画像の座標(xs’,ys’,1)は、以下の(式)によって算出される。
【0078】
【数8】
【0079】
図4に戻って、取得部230は、撮像素子300から所定ラインに沿って出力される撮像画像を取得する。例えば、取得部230は、撮像素子300から所定ラインに沿って出力される枠検出パターン画像の撮像画像を取得する。取得部230は、撮像素子300から所定ラインに沿って出力されるフォーカス調整画像の撮像画像を取得する。取得部230は、撮像素子300から所定ラインに沿って出力されるテストパターン画像の撮像画像を取得する。或いは、取得部230は、撮像素子300から所定ラインに沿って出力される露光調整画像の撮像画像を取得してもよい。
【0080】
特定部240は、取得部230によって所定ライン毎に取得される撮像画像に基づいて、撮像画像に含まれる3つ以上の線分を特定する。続いて、特定部240は、撮像画像に含まれる3つ以上の線分に基づいて、撮像画像に含まれる3つ以上の交点を取得する。
【0081】
具体的には、特定部240は、以下の手順によって、撮像画像に含まれる3つ以上の交点を取得する。ここでは、テストパターン画像が図5に示す画像(白抜きの菱形)であるケースについて例示する。
【0082】
第1に、特定部240は、図13に示すように、取得部230によって所定ライン毎に取得される撮像画像に基づいて、濃淡或いは明暗の差(エッジ)を有する点群Pedgeを取得する。すなわち、特定部240は、テストパターン画像の白抜きの菱形の4辺に対応する点群Pedgeを特定する。
【0083】
第2に、特定部240は、図14に示すように、点群Pedgeに基づいて、撮像画像に含まれる4つの線分(Lt1〜Lt4)を特定する。すなわち、特定部240は、テストパターン画像に含まれる4つの線分(Ls1〜Ls4)に対応する4つの線分(Lt1〜Lt4)を特定する。
【0084】
第3に、特定部240は、図14に示すように、4つの線分(Lt1〜Lt4)に基づいて、撮像画像に含まれる4つの交点(Pt1〜Pt4)を特定する。すなわち、特定部240は、テストパターン画像に含まれる4つの交点(Ps1〜Ps4)に対応する4つの交点(Pt1〜Pt4)を特定する。
【0085】
算出部250は、テストパターン画像に含まれる3つ以上の交点(例えば、Ps1〜Ps4)及び撮像画像に含まれる3つ以上の交点(例えば、Pt1〜Pt4)に基づいて、投写型映像表示装置100と投写面400との位置関係を算出する。具体的には、算出部250は、投写型映像表示装置100(投写ユニット110)の光軸Nと投写面400の法線Mとのずれ量を算出する。
【0086】
なお、以下においては、記憶部220に記憶されたテストパターン画像を記憶テストパターン画像と称する。撮像画像に含まれるテストパターン画像を撮像テストパターン画像と称する。投写面400に投写されたテストパターン画像を投写テストパターン画像と称する。
【0087】
第1に、算出部250は、投写テストパターン画像に含まれる4つの交点(Pu1〜Pu4)の座標を算出する。ここでは、記憶テストパターン画像の交点Ps1、撮像テストパターン画像の交点Pt1、投写テストパターン画像の交点Pu1を例に挙げて説明する。交点Ps1、交点Pt1及び交点Pu1は、互いに対応する交点である。
【0088】
以下において、交点Pu1の座標(Xu1,Yu1,Zu1)の算出方法について、図15を参照しながら説明する。交点Pu1の座標(Xu1,Yu1,Zu1)は、投写型映像表示装置100の焦点Osを原点とする3次元空間における座標であることに留意すべきである。
【0089】
(1)算出部250は、記憶テストパターン画像の2次元平面における交点Ps1の座標(xs1,ys1)について、投写型映像表示装置100の焦点Osを原点とする3次元空間における交点Ps1の座標(Xs1,Ys1,Zs1)に変換する。具体的には、交点Ps1の座標(Xs1,Ys1,Zs1)は、以下の式によって表される。
【0090】
【数9】
なお、Asは、3×3の変換行列であり、キャリブレーション等の前処理によって予め取得することが可能である。すなわち、Asは、既知のパラメータである。
【0091】
ここでは、投写型映像表示装置100の光軸方向に垂直な面がXs軸及びYs軸で表されており、投写型映像表示装置100の光軸方向がZs軸で表されている。
【0092】
同様に、算出部250は、撮像テストパターン画像の2次元平面における交点Pt1の座標(xt1,yt1)について、撮像素子300の焦点Otを原点とする3次元空間における交点Pt1の座標(Xt1,Yt1,Zt1)に変換する。
【0093】
【数10】
なお、Atは、3×3の変換行列であり、キャリブレーション等の前処理によって予め取得することが可能である。すなわち、Atは、既知のパラメータである。
【0094】
ここでは、撮像素子300の光軸方向に垂直な面がXt軸及びYt軸で表されており、撮像素子300の向き(撮像方向)がZt軸で表されている。このような座標空間において、撮像素子300の向き(撮像方向)の傾き(ベクトル)は既知であることに留意すべきである。
【0095】
(2)算出部250は、交点Ps1と交点Pu1とを結ぶ直線Lvの式を算出する。同様に、算出部250は、交点Pt1と交点Pu1とを結ぶ直線Lwの式を算出する。なお、直線Lv及び直線Lwの式は、以下のように表される。
【0096】
【数11】
但し、Ks及びKt=媒介変数
(3)算出部250は、投写型映像表示装置100の焦点Osを原点とする3次元空間における直線Lw’に直線Lwを変換する。直線Lw’は、以下の式によって表される。
【0097】
【数12】
なお、投写型映像表示装置100の光軸及び撮像素子300の向き(撮像方向)は既知であるため、回転成分を示すパラメータRは既知である。同様に、投写型映像表示装置100及び撮像素子300の相対位置が既知であるため、並進成分を示すパラメータTも既知である。
【0098】
(4)算出部250は、式(3)及び式(5)に基づいて、直線Lv及び直線Lw’の交点(すなわち、交点Pu1)における媒介変数Ks及びKtを算出する。続いて、算出部250は、交点Ps1の座標(Xs1,Ys1,Zs1)及びKsに基づいて、交点Pu1の座標(Xu1,Yu1,Zu1)の座標を算出する。或いは、算出部250は、交点Pt1の座標(Xt1,Yt1,Zt1)及びKtに基づいて、交点Pu1の座標(Xu1,Yu1,Zu1)の座標を算出する。
【0099】
これによって、算出部250は、交点Pu1の座標(Xu1,Yu1,Zu1)を算出する。同様に、算出部250は、交点Pu2の座標(Xu2,Yu2,Zu2)、交点Pu3の座標(Xu3,Yu3,Zu3)、交点Pu4の座標(Xu4,Yu4,Zu4)を算出する。
【0100】
第2に、算出部250は、投写面400の法線Mのベクトルを算出する。具体的には、算出部250は、交点Pu1〜交点Pu4のうち、少なくとも3つ以上の交点の座標を用いて、投写面400の法線Mのベクトルを算出する。投写面400の式は、以下の式によって表され、パラメータk1、k2、k3は、投写面400の法線Mのベクトルを表している。
【0101】
【数13】
但し、k1、k2、k3、k4=所定係数
これによって、算出部250は、投写型映像表示装置100の光軸Nと投写面400の法線Mとのずれ量を算出することができる。すなわち、算出部250は、投写型映像表示装置100と投写面400との位置関係を算出することができる。
【0102】
なお、第1実施形態では、特定部240及び算出部250を別々に説明したが、特定部240及び算出部250は、1つの構成と考えてもよい。例えば、特定部240の機能を算出部250が有していてもよい。
【0103】
図4に戻って、素子制御部260は、映像入力信号を映像出力信号に変換して、映像出力信号に基づいて、液晶パネル50を制御する。また、素子制御部260は、以下に示す機能を有する。
【0104】
具体的には、素子制御部260は、投写型映像表示装置100と投写面400との位置関係に基づいて、投写面400上に投写された映像の形状の自動補正を行う機能を有する(形状調整)。すなわち、素子制御部260は、投写型映像表示装置100と投写面400との位置関係に基づいて、自動的に台形補正を行う機能を有する。
【0105】
投写ユニット調整部270は、投写ユニット110に設けられるレンズ群を制御する。第1に、投写ユニット調整部270は、投写ユニット110に設けられるレンズ群のシフトによって、投写面400上に設けられる表示枠420内に投写可能範囲410を収める(ズーム調整)。具体的には、投写ユニット調整部270は、投写ユニット調整部270は、取得部230によって取得される枠検出パターン画像の撮像画像に基づいて、表示枠420内に投写可能範囲410が収まるように、投写ユニット110に設けられるレンズ群を制御する。
【0106】
第2に、投写ユニット調整部270は、投写ユニット110に設けられるレンズ群のシフトによって、投写面400に投写された映像のフォーカスを調整する(フォーカス調整)。具体的には、投写ユニット調整部270は、取得部230によって取得されるフォーカス調整画像の撮像画像に基づいて、投写面400に投写された映像のフォーカス値が最大値となるように、投写ユニット110に設けられるレンズ群を制御する。
【0107】
なお、素子制御部260及び投写ユニット調整部270は、投写面400に投写された映像を調整する調整部280を構成する。
【0108】
ここで、投写型映像表示装置100は、テストパターン画像の全体を対象として、テストパターン画像に含まれる線分を特定し、投写型映像表示装置100と投写面400との位置関係を算出してもよい(一括処理モード)。すなわち、一括処理モードでは、撮像素子300は、投写可能範囲410の全体を対象としてフォーカスが調整された状態でテストパターン画像の全体を撮像し、投写型映像表示装置100は、テストパターン画像の全体の撮像画像に基づいて、テストパターン画像に含まれる3つ以上の線分を特定する。
【0109】
或いは、投写型映像表示装置100は、テストパターン画像を部分的に含むように分割された複数の画像領域のそれぞれを対象として、テストパターン画像に含まれる線分を特定し、投写型映像表示装置100と投写面400との位置関係を算出してもよい(分割処理モード)。すなわち、分割処理モードでは、撮像素子300は、複数の画像領域毎にフォーカスが調整された状態でテストパターン画像を複数の領域毎に撮像し、投写型映像表示装置100は、複数の領域毎のテストパターン画像の撮像画像に基づいて、テストパターン画像に含まれる3つ以上の線分を特定する。
【0110】
(投写型映像表示装置の動作)
以下において、第1実施形態に係る投写型映像表示装置(制御ユニット)の動作について、図面を参照しながら説明する。図16及び図17は、第1実施形態に係る投写型映像表示装置100(制御ユニット200)の動作を示すフロー図である。
【0111】
第1に、レンズとは逆方向の歪みが付与されたテストパターン画像を算出する方法について、図16を参照しながら説明する。
【0112】
図16に示すように、ステップ100において、投写型映像表示装置100は、各種パラメータを取得する。パラメータは、例えば、レンズ歪みを補正するためのパラメータ(cx、cy、p1、p2、q1、q2)、2次元空間座標を3次元空間座標に変換するためのパラメータ(At、As、R、T)を取得する。
【0113】
ステップ110において、投写型映像表示装置100は、撮像素子300によって撮像されるテストパターン画像において、理想テストパターンカメラ画像の座標(xs,ys,1)を取得する。
【0114】
ステップ120において、投写型映像表示装置100は、上述した式(1)及び式(2)を用いて、理想テストパターンカメラ画像を変換して、歪み補正後テストパターンカメラ画像の座標(xs’,ys’,1)を算出する。
【0115】
ステップ130において、投写型映像表示装置100は、撮像素子300によって撮像される画像の2次元空間における座標から投写型映像表示装置100に記憶される画像の2次元空間における座標に、歪み補正後テストパターンカメラ画像の座標(xs’,ys’,1)を変換する。
【0116】
詳細には、上述したように、撮像素子300によって撮像される画像の2次元空間における座標は、撮像素子300の焦点を原点とする3次元空間における座標に変換される。続いて、撮像素子300の焦点を原点とする3次元空間における座標は、投写型映像表示装置100の焦点を原点とする3次元空間における座標に変換される。続いて、投写型映像表示装置100の焦点を原点とする3次元空間における座標は、投写型映像表示装置100に記憶される画像の2次元空間における座標に変換される。
【0117】
第2に、映像の形状等を調整する方法について、図17を参照しながら説明する。図17に示すように、ステップ200において、投写型映像表示装置100は、投写面400上に枠検出パターン画像を表示(投写)する。枠検出パターン画像は、例えば、白画像などである。
【0118】
ステップ210において、投写型映像表示装置100に設けられた撮像素子300は、投写面400を撮像する。すなわち、撮像素子300は、投写面400上に投写された枠検出パターン画像を撮像する。続いて、投写型映像表示装置100は、枠検出パターン画像の撮像画像に基づいて、投写面400上に設けられる表示枠420を検出する。
【0119】
ステップ220において、投写型映像表示装置100は、投写面400上にフォーカス調整画像を表示(投写)する。
【0120】
ステップ230において、投写型映像表示装置100に設けられた撮像素子300は、投写面400を撮像する。すなわち、撮像素子300は、投写面400上に投写されたフォーカス調整画像を撮像する。続いて、投写型映像表示装置100は、フォーカス調整画像のフォーカス値が最大値となるように、フォーカス調整画像のフォーカスを調整する。
【0121】
ステップ240において、投写型映像表示装置100は、投写面400上にテストパターン画像を表示(投写)する。
【0122】
ステップ250において、投写型映像表示装置100に設けられた撮像素子300は、投写面400を撮像する。すなわち、撮像素子300は、投写面400上に投写されたテストパターン画像を撮像する。続いて、投写型映像表示装置100は、撮像テストパターン画像に含まれる4つの線分(Lt1〜Lt4)を特定し、4つの線分(Lt1〜Lt4)に基づいて、撮像テストパターン画像に含まれる4つの交点(Pt1〜Pt4)を特定する。投写型映像表示装置100は、記憶テストパターン画像に含まれる4つの交点(Ps1〜Ps4)及び撮像テストパターン画像に含まれる4つの交点(Pt1〜Pt4)に基づいて、投写型映像表示装置100と投写面400との位置関係を算出する。投写型映像表示装置100は、投写型映像表示装置100と投写面400との位置関係に基づいて、投写面400上に投写される映像の形状を調整する(台形補正)。
【0123】
(作用及び効果)
第1実施形態では、素子制御部260は、レンズとは逆方向の歪みを有するテストパターン画像を表示するように液晶パネル50を制御する。言い換えると、レンズとは逆方向の歪みを有するテストパターン画像を予め準備することによって、テストパターン画像の撮像画像の歪みがキャンセルされるため、投写面400上に投写される映像の形状の調整に必要とされる処理時間やコストを抑制することができる。
【0124】
第1実施形態では、テストパターン画像に含まれる3つ以上の線分は、所定ラインに対して傾きを有する。第1に、テストパターン画像に含まれる線分が所定ラインに沿っている場合と比べて、エッジ検出等を行うためにサンプリングすべき画素数を低減することができる。従って、映像調整の処理負荷を軽減することができる。第2に、テストパターン画像に含まれる線分が所定ラインに沿っている場合と比べて、テストパターン画像に含まれる線分の検出精度が向上する。
【0125】
[変更例1]
以下において、第1実施形態の変更例1について説明する。以下においては、第1実施形態に対する差異について主として説明する。
【0126】
具体的には、第1実施形態では、投写ユニット110が反射ミラー112を有するケースについて説明した。これに対して、変更例1では、図18に示すように、投写ユニット110は、反射ミラー112を有していない。このようなケースにおいて、投写ユニット110に設けられる投写レンズ群111は、広角レンズを含むことに留意すべきである。
【0127】
変更例1においても、液晶パネル50は、図18に示すように、投写ユニット110の光軸中心Lからシフトした位置に配置される。
【0128】
[その他の実施形態]
本発明は上述した実施形態によって説明したが、この開示の一部をなす論述及び図面は、この発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施形態、実施例及び運用技術が明らかとなろう。
【0129】
上述した実施形態では、光源として、白色光源を例示した。しかしながら、光源は、LED(Light Emitting Diode)、LD(Laser Diode)やEL(Electro Luminescence)であってもよい。
【0130】
上述した実施形態では、光変調素子として、透過型の液晶パネルについて例示した。しかしながら、光変調素子は、反射型の液用パネルやDMD(Digital Micromirror Device)であってもよい。
【0131】
上述した実施形態では特に触れていないが、素子制御部260は、表示枠420が検出されてから、テストパターン画像が表示されるまで、映像を表示しないように液晶パネル50を制御することが好ましい。
【0132】
上述した実施形態では特に触れていないが、素子制御部260は、撮像テストパターン画像に含まれる3つ以上の交点が取得されてから、投写面400上に投写される映像の形状が補正されるまで、映像を表示しないように液晶パネル50を制御することが好ましい。
【0133】
上述した実施形態では特に触れていないが、素子制御部260は、テストパターン画像とともに、テストパターン画像以外の所定画像(例えば、背景画像)を表示するように液晶パネル50を制御することが好ましい。
【0134】
例えば、撮像素子300によって検出可能な色や輝度によってテストパターン画像が構成されており、撮像素子300によって検出できない色や輝度によってテストパターン画像以外の所定画像が構成される。
【0135】
或いは、赤、緑及び青のうち、いずれかの色によってテストパターン画像が構成されており、他の色によってテストパターン画像以外の所定画像が構成される。撮像素子300は、テストパターン画像を構成する色のみを検出することによって、テストパターン画像の撮像画像を取得することができる。
【0136】
また、映像信号が入力されていない場合には、素子制御部260は、テストパターン画像とともに、所定画像としてエラーメッセージを表示するように液晶パネル50を制御してもよい。或いは、テストパターン画像に含まれる線分或いは交点を特定することができない場合に、素子制御部260は、所定画像としてエラーメッセージを表示するように液晶パネル50を制御してもよい。
【0137】
実施形態では、投写型映像表示装置100は、表示枠420の検出後に、フォーカスを調整する。しかしながら、実施形態は、これに限定されるものではない。例えば、投写型映像表示装置100は、表示枠420を検出せずに、フォーカスを調整してもよい。具体的には、通常の使用態様では、投写可能範囲410の中心部分が表示枠420内に含まれることが想定されるため、投写型映像表示装置100は、投写可能範囲410の中心部分にフォーカス調整画像を表示するとともに、投写可能範囲410の中心部分に表示される映像(フォーカス調整画像)のフォーカスを調整してもよい。
【0138】
実施形態では、テストパターン画像のうち、背景部分が黒であり、パターン部分が白である。しかしながら、実施形態は、これに限定されるものではない。例えば、背景部分が白であり、パターン部分が黒であってもよい。背景部分が青であり、パターン部分が白であってもよい。すなわち、エッジ検出が可能な程度、背景部分とパターン部分との間に輝度差があればよい。なお、エッジ検出が可能な程度は、撮像素子300の精度に応じて定められる。背景部分とパターン部分との間の輝度差が大きいほど、撮像素子300の精度が必要とされないため、撮像素子300のコストを低減できることは勿論である。
【0139】
なお、線分は、2点間を結ぶ線であって、直線に限定されるものではない。具体的には、記憶部220に記憶されるテストパターン画像は、上述したように、歪みを有するため、記憶部220に記憶されたテストパターン画像において、線分は、2点を結ぶ曲線となることに留意すべきである。また、正方向或いは負方向の歪みを有するレンズを通して撮像素子300によって撮像されるテストパターン画像において、線分は、2点を結ぶ曲線であってもよい。このようなケースでは、線分の交点を算出することができるように、曲線を特定するためのパラメータが予め記憶されていることに留意すべきである。
【符号の説明】
【0140】
10…光源、20…UV/IRカットフィルタ、30…フライアイレンズユニット、40…PBSアレイ、50…液晶パネル、52、53…偏光板、60…クロスダイクロイックキューブ、71〜76…ミラー、81〜85…レンズ、100…投写型映像表示装置、110…投写ユニット、120…照明ユニット、200…制御ユニット、210…映像信号受付部、220…記憶部、230…取得部、240…特定部、250…算出部、260…素子制御部、270…投写ユニット制御部、280…調整部、290…露光時間調整部、295…モード制御部、300…撮像素子、400…投写面、410…投写可能範囲、420…表示枠
【特許請求の範囲】
【請求項1】
光源から出射される光を変調する光変調素子と、前記光変調素子から出射される光を投写面上に投写する投写ユニットとを有する投写型映像表示装置であって、
3つ以上の交点を構成する3つ以上の線分のそれぞれの少なくとも一部分を構成するテストパターン画像を表示するように前記光変調素子を制御する素子制御部と、
前記投写面上に投写された前記テストパターン画像を撮像する撮像素子から出力される前記テストパターン画像の撮像画像を取得する取得部と、
前記取得部によって取得された撮像画像に基づいて、前記撮像画像に含まれる3つ以上の線分より3つ以上の交点を特定し、前記3つ以上の交点に基づいて、前記投写型映像表示装置と前記投写面との位置関係を算出する算出部と、
前記投写型映像表示装置と前記投写面との位置関係に基づいて、前記投写面上に投写される映像を調整する調整部とを備え、
前記撮像素子は、正方向或いは負方向の歪みを有するレンズを通して前記テストパターン画像を撮像し、
前記素子制御部は、前記レンズとは逆方向の歪みを有する前記テストパターン画像を表示するように前記光変調素子を制御することを特徴とする投写型映像表示装置。
【請求項2】
前記テストパターン画像が有する歪みは、糸巻き歪みであることを特徴とする請求項1に記載の投写型映像表示装置。
【請求項3】
前記光変調素子は、前記投写ユニットの光軸中心からシフトした位置に配置されることを特徴とする請求項1に記載の投写型映像表示装置。
【請求項4】
前記投写ユニットは、レンズ群と、前記レンズ群を透過する光を前記投写面上に反射する反射ミラーとによって構成されることを特徴とする請求項1に記載の投写型映像表示装置。
【請求項5】
光源から出射される光を変調する光変調素子と、前記光変調素子から出射される光を投写面上に投写する投写ユニットとを有する投写型映像表示装置に適用される画像調整方法であって、
3つ以上の交点を構成する3つ以上の線分のそれぞれの少なくとも一部分を構成するテストパターン画像を表示するステップAと、
正方向或いは負方向の歪みを有するレンズを通して、前記投写面上に投写された前記テストパターン画像を撮像し、前記テストパターン画像の撮像画像を取得するステップBと、
前記撮像画像に基づいて、前記投写型映像表示装置と前記投写面との位置関係を算出し、前記投写型映像表示装置と前記投写面との位置関係に基づいて、前記投写面上に投写される映像を調整するステップCとを備え、
前記ステップAでは、前記レンズとは逆方向の歪みを有する前記テストパターン画像を表示することを特徴とする画像調整方法。
【請求項1】
光源から出射される光を変調する光変調素子と、前記光変調素子から出射される光を投写面上に投写する投写ユニットとを有する投写型映像表示装置であって、
3つ以上の交点を構成する3つ以上の線分のそれぞれの少なくとも一部分を構成するテストパターン画像を表示するように前記光変調素子を制御する素子制御部と、
前記投写面上に投写された前記テストパターン画像を撮像する撮像素子から出力される前記テストパターン画像の撮像画像を取得する取得部と、
前記取得部によって取得された撮像画像に基づいて、前記撮像画像に含まれる3つ以上の線分より3つ以上の交点を特定し、前記3つ以上の交点に基づいて、前記投写型映像表示装置と前記投写面との位置関係を算出する算出部と、
前記投写型映像表示装置と前記投写面との位置関係に基づいて、前記投写面上に投写される映像を調整する調整部とを備え、
前記撮像素子は、正方向或いは負方向の歪みを有するレンズを通して前記テストパターン画像を撮像し、
前記素子制御部は、前記レンズとは逆方向の歪みを有する前記テストパターン画像を表示するように前記光変調素子を制御することを特徴とする投写型映像表示装置。
【請求項2】
前記テストパターン画像が有する歪みは、糸巻き歪みであることを特徴とする請求項1に記載の投写型映像表示装置。
【請求項3】
前記光変調素子は、前記投写ユニットの光軸中心からシフトした位置に配置されることを特徴とする請求項1に記載の投写型映像表示装置。
【請求項4】
前記投写ユニットは、レンズ群と、前記レンズ群を透過する光を前記投写面上に反射する反射ミラーとによって構成されることを特徴とする請求項1に記載の投写型映像表示装置。
【請求項5】
光源から出射される光を変調する光変調素子と、前記光変調素子から出射される光を投写面上に投写する投写ユニットとを有する投写型映像表示装置に適用される画像調整方法であって、
3つ以上の交点を構成する3つ以上の線分のそれぞれの少なくとも一部分を構成するテストパターン画像を表示するステップAと、
正方向或いは負方向の歪みを有するレンズを通して、前記投写面上に投写された前記テストパターン画像を撮像し、前記テストパターン画像の撮像画像を取得するステップBと、
前記撮像画像に基づいて、前記投写型映像表示装置と前記投写面との位置関係を算出し、前記投写型映像表示装置と前記投写面との位置関係に基づいて、前記投写面上に投写される映像を調整するステップCとを備え、
前記ステップAでは、前記レンズとは逆方向の歪みを有する前記テストパターン画像を表示することを特徴とする画像調整方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【公開番号】特開2012−78490(P2012−78490A)
【公開日】平成24年4月19日(2012.4.19)
【国際特許分類】
【出願番号】特願2010−222443(P2010−222443)
【出願日】平成22年9月30日(2010.9.30)
【出願人】(000001889)三洋電機株式会社 (18,308)
【Fターム(参考)】
【公開日】平成24年4月19日(2012.4.19)
【国際特許分類】
【出願日】平成22年9月30日(2010.9.30)
【出願人】(000001889)三洋電機株式会社 (18,308)
【Fターム(参考)】
[ Back to top ]