画像表示装置、画像表示方法、およびプロジェクションシステム
【課題】スクリーン上に複数の分割画像を投影する際、各分割画像の重なりあった領域での位置ズレによる画質劣化を低減し高品位の１画面を得ることができる画像表示装置を提供する。
【解決手段】画像表示装置ＰＪは、位置関係算出用画像を生成する位置関係算出用画像生成部３３１と、スクリーンに投射された位置関係算出用画像を撮像部２００によって撮像して得られた撮像画像データに基づいて位置関係算出用画像の各特徴点の間の距離を算出する位置関係算出部３３２と、２つの光変調素子の理想的な位置関係に基づき画像を分割する画像分割部３３３と、位置関係算出部３３２によって算出された各特徴点における距離に応じて画像分割部３３３によって分割された画像を補正する画像補正部３３４と、撮像部２００および画像表示装置ＰＪに対する制御を行う制御部３３５とを含む画像補正装置３３０を有する。
【解決手段】画像表示装置ＰＪは、位置関係算出用画像を生成する位置関係算出用画像生成部３３１と、スクリーンに投射された位置関係算出用画像を撮像部２００によって撮像して得られた撮像画像データに基づいて位置関係算出用画像の各特徴点の間の距離を算出する位置関係算出部３３２と、２つの光変調素子の理想的な位置関係に基づき画像を分割する画像分割部３３３と、位置関係算出部３３２によって算出された各特徴点における距離に応じて画像分割部３３３によって分割された画像を補正する画像補正部３３４と、撮像部２００および画像表示装置ＰＪに対する制御を行う制御部３３５とを含む画像補正装置３３０を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の画像を一つの全体画像を形成するように投影する画像表示装置、画像形成方法及びプロジェクションシステムに関する。
【背景技術】
【０００２】
大画面化、高輝度化、高解像度化は、画像表示装置に要求される特性である。しかし、単体の画像表示装置において、これらを同時に実現することは非常に困難である。例えば、大画面化は、その画像表示装置を構成する部品の大きさ、製造装置の大きさなどにより限界がある。また、高輝度化は、表示素子の表示原理による限界があり、また寿命、信頼性を劣化させる可能性がある。また、高解像度化は、より高度な微細加工を必要とし、表示素子製造の歩留りを非常に劣化させる可能性がある。
【０００３】
単体の画像表示装置では困難である大画面化、高輝度化、高解像度化を実現する方法として、複数の画像投影手段をもった画像表示装置や、複数の画像表示装置を組み合わせて全体として一つの画像を表示する技術は非常に有効な方法である。特に、個々の画像表示装置としてプロジェクターを用いる画像表示方法は、個々のプロジェクターの表示する画像の一部を重ね合わせることにより、表示装置間の境界を見え難くし、高品質の画像を表示することのできる画像表示方法として優れている。
【０００４】
しかし、正確な画像を投影するには、複数の画像投影手段の位置関係を正確に平行に設置することや、スクリーンに正対していなければならない等の条件が必要とされる為、画像表示装置の設置が正確でない場合、投影画像は回転してしまったり、一般に言われる「あおり」といった現象が生じてしまったりする問題がある。
【０００５】
このような問題を解決する技術は様々提案されている（例えば、特許文献１参照）。
【０００６】
特許文献１で開示された技術は、高精細画像データを作成し出力するパーソナルコンピューターと、パーソナルコンピューターからの高精細画像データを処理・分割する高精細プロジェクター・コントローラー部と、複数のプロジェクターとで構成されている。このような構成において、予めプロジェクターは位置記憶部に記憶されたパラメーターに基づいて各プロジェクターに高精細画像データを分割し、複数のプロジェクターから投影している。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平９−３２６９８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、複数の画像投影手段の位置を意図した重ね合わせ位置と完全に一致させることは、技術面やコスト面からみても困難であり、重ね合わさった領域では、各画素の距離が一様ではなくなり、領域内で画質が変わってしまうといった課題があった。具体的には、複数のプロジェクターが正確に平行となっていない場合、特許文献１で開示された従来技術では、画像処理によって補正するが、図９（ｂ）に示すように、重ね合わさった領域で画素が一致する箇所とそうでない箇所が混在するため、画質が劣化する問題があった。
【課題を解決するための手段】
【０００９】
本発明は、上記課題の少なくとも一つを解決するように、以下の適用例または形態として実現され得る。
【００１０】
〔適用例１〕本適用例の画像表示装置は、複数の分割画像を一つの全体画像を形成するように投影する画像表示装置であって、前記複数の分割画像がスクリーン上で少なくとも一部が重なりあうように投影する複数の画像投影手段と、前記複数の分割画像に対応するように前記全体画像を複数に分割する画像分割手段と、前記スクリーンに投影された算出用画像を撮像して得られた撮像画像に基づき、前記スクリーンにおける前記複数の分割画像の位置関係を算出する位置関係算出手段と、前記位置関係算出手段で算出された各分割画像の位置関係に応じて前記画像分割手段によって分割された前記分割画像の明るさを補正する画像補正手段と、を有することを特徴とする。
【００１１】
これにより重なり合わさった画像の位置が理想的な位置とずれた場合、いずれかの分割画像の明るさを大きくすることで、画質劣化を軽減することができる。
【００１２】
本適用例の画像表示装置においては、算出用画像は複数の特徴点を含み、位置関係算出手段は、前記算出用画像における前記各特徴点の座標と、前記算出用画像を撮像して得られる撮像画像における前記各特徴点の座標とに基づいて、前記各特徴点における複数の分割画像間の距離を算出することができる。
【００１３】
これにより分割画像間の位置関係を把握することが可能となるため、隣接する画素との距離が理想的な場合の距離と異なれば画素がずれていることを把握できる。
【００１４】
〔適用例２〕上記適用例の画像表示装置においては、前記画像補正手段は、前記複数の分割画像の画素間の距離を判定する機能と、前記画素間の距離に対応して設定された複数の画像補正方法を選択する機能と、選択された画像補正方法で各分割画像を補正する機能とを有することが好ましい。
【００１５】
これにより光変調素子の配置に基づく画素間のずれに応じた画像補正を行うことができる。具体的には、各特徴点における各分割画像間の距離を判定するための閾値を１個以上設定し、各特徴点における分割画像の画素間の距離の大きさを２段階以上に分けて判定する。そして、それぞれの段階ごとに異なる画像補正方法を設定しておき、位置関係算出手段によって算出された各特徴点における分割画像の画素間の距離が複数段階のどの段階に属するかを判定し、その判定結果に基づいて適切な画像補正方法を選択して、選択された画像補正方法を用いて画像補正を行う。なお、各段階の画像補正方法は、各特徴点における分割画像の画素間の距離が大きいほど画質劣化の少ない画像補正を可能とする画像補正方法が設定される。
このように、歪み量の大きさを複数段階の分割画像の画素間の距離の大きさとして判定し、判定された分割画像の画素間の距離に適した画像補正方法を選択して画像補正を行うので、分割画像の画素間の距離の大きさに応じた適切な画像補正を行うことができる。
【００１６】
〔適用例３〕上記適用例の画像表示装置においては、前記画像補正手段は、前記画素間の距離を２段階で判定し、前記複数の画像補正方法は、複数の分割画像の値を均等に表示可能な第一画像補正方法と、複数の分割画像のうちいずれかの分割画像の値を大きくし、その他の分割画像の値を小さくする第二画像補正方法であって、前記画素間の距離が所定値未満であると判定した場合第一画像補正方法を選択し、前記画素間の距離が所定値以上であると判定した場合第二画像補正方法を選択することが好ましい。
【００１７】
これは、各特徴点における分割画像の画素間の距離が所定値未満であるか所定値以上であるかを判定し、その判定結果によって第一画像補正方法および前記第二画像補正方法のいずれかを選択して、選択された画像補正方法によって画像補正を行うものであり、これによれば、少ない演算量でスクリーン（投射面）の局所的ずれに応じた画像補正を行うことができる。
【００１８】
〔適用例４〕上記適用例の画像表示装置においては、前記第二画像補正方法における分割画像の値を大きくした総量と小さくした総量は同じになることが好ましい。
【００１９】
このようにすることで、第一画像補正処理と第二画像補正処理の選択により局所的な明るさの違いをなくすことができる。
【００２０】
〔適用例５〕上記適用例の画像表示装置においては、前記画像補正手段が補正する画像の所定領域は、前記複数の分割画像の特徴点に対応する前期分割画像の画素が重なり合わさった領域に含まれる少なくとも一部の領域であることが好ましい。
【００２１】
これにより、複数の投射映像の重なり合わさった箇所の画像劣化を軽減することができる。
【００２２】
〔適用例６〕上記適用例の画像表示装置においては、前記各分割画像の位置関係とは、前記各分割画像に対応する特徴点間の距離であることが好ましい。
【００２３】
これにより分割画像間のズレを距離で把握することができる。
【００２４】
〔適用例７〕上記適用例の画像表示装置においては、前記各特徴点は、前記複数の画像投影手段における光変調素子の各画素のうち離散的な位置の複数の画素に対応してそれぞれ設定されていることが好ましい。
【００２５】
これにより全画素の距離を計測する場合と比較し計算量を大きく削減することができる。
【００２６】
〔適用例８〕上記適用例の画像表示装置においては、前記算出用画像は複数の特徴点を含み、前記位置関係算出手段は、算出用画像における前記各特徴点の座標と、前記算出用画像を撮像して得られる撮像画像における前記各特徴点の座標とに基づいて、前記各特徴点における複数の分割画像間の距離を算出することが好ましい。
【００２７】
このような特徴点を有する算出用画像をスクリーン（投射面）に投射し、投射された算出用画像を撮像することにより、複数の光変調素子の配置の関係が特徴点の「ずれ」として現われた撮像画像を得ることができる。したがって、その撮像画像を用いることによって、複数の光変調素子の配置の誤差を適切に反映した分割画像間距離を算出することができる。なお、特徴点としては、縦方向および横方向に等間隔で並べた小さな丸や四角などのマーク、縦方向および横方向に格子状に描かれた線の交点（格子点）を用いることができる。
【００２８】
〔適用例９〕本適用例の画像表示方法は、複数の分割画像を一つの全体画像を形成するように投影する画像表示方法であって、前記複数の分割画像がスクリーン上で少なくとも一部が重なりあうように投影する画像投影ステップと、前記複数の分割画像に対応するように前記全体画像を複数に分割する画像分割ステップと、前記スクリーンに投影された複数の特徴点を撮像して得られた撮像画像に基づき、前記スクリーンにおける前記複数の分割画像の位置関係を算出する分割画像位置関係算出ステップと、前記分割画像位置関係算出ステップで算出された各分割画像の位置関係に応じて前記画像分割ステップにおいて分割された前記分割画像の明るさを補正する画像補正ステップと、を有することを特徴とする。
【００２９】
このような処理ステップを実行することによって、複数の分割画像が重なり合わさったスクリーン面（投射面）の領域において特徴点のずれに応じた画像補正を行うことができる。このようにして補正された投射画像は、重なり合わさった領域の特徴点のずれによる画質劣化の少ない画像となる。なお、本適用例の画像表示方法においても、上記適用例の画像表示装置が有するそれぞれの特徴を有することが好ましい。
【００３０】
〔適用例１０〕本適用例のプロジェクションシステムは、複数の分割画像を一つの全体画像を形成するように投影するプロジェクションシステムであって、前記複数の分割画像がスクリーン上で少なくとも一部が重なりあうように投影する複数のプロジェクターと、前記複数の分割画像に対応するように前記全体画像を複数に分割する画像分割手段と、前記スクリーンに投影された複数の特徴点を撮像して得られた撮像画像に基づき、前記スクリーンにおける前記複数の分割画像の位置関係を算出する位置関係算出手段と、前記位置関係算出手段で算出された各分割画像の位置関係に応じて前記画像分割手段によって分割された前記分割画像の明るさを補正する画像補正手段と、を有することを特徴とする。
【００３１】
これは、画像補正装置をプロジェクターとは別の構成要素とした場合であり、画像補正装置が有する機能をパーソナルコンピューターなどの情報処理装置に組み込んだ場合などがその一例である。このように、プロジェクターと画像補正装置とによってプロジェクションシステムを構成した場合であっても、本適用例の画像表示装置で述べた効果を得ることができる。なお、本適用例のプロジェクションシステムにおいても、上記適用例の画像表示装置が有するそれぞれの特徴を有することが好ましい。
【図面の簡単な説明】
【００３２】
【図１】実施形態１に係る画像表示装置の構成を示す図。
【図２】図１に示した画像補正装置３３０の構成を示す図。
【図３】スクリーンに投射される算出用画像と該算出用画像を撮像して得られた撮像画像の一例を示す図。
【図４】画像補正方法の一例を説明する図。
【図５】画像補正装置３３０が行う分割画像間の距離の算出手順を説明するフローチャート。
【図６】画像補正装置３３０が行う画像を補正して表示する手順を説明するフローチャート。
【図７】図５のステップＳ４における分割画像間距離の算出について説明するフローチャート。
【図８】図７のステップＳ１２およびステップＳ１４における各特徴点の撮像部系座標の算出処理について説明するフローチャート。
【図９】二つの光変調素子の理想的な配置と配置に誤差が存在する場合の画素位置関係の一例を示す図。
【図１０】実施形態２に係る画像表示システムの構成を示す図。
【発明を実施するための形態】
【００３３】
以下、本発明の実施の形態に基づき、図面を参照して説明する。
【００３４】
［実施形態１］
図１は実施形態１に係る画像表示装置の構成を示す図である。実施形態１に係る画像表示装置（プロジェクター）ＰＪは、図１に示すように、画像投射部１００、撮像部２００、画像処理部３００、を有している。
【００３５】
画像投射部１００は、投射制御部１１０、第一光変調素子１２０ａ及び第二光変調素子１２０ｂ、光源１３０、投射光学系１４０などを有し、画像処理部３００によって画像処理された画像データに基づく画像光を投射光学系１４０によって射出するものである。第一光変調素子１２０ａ及び第二光変調素子１２０ｂは、入射する光を画像信号に応じて変調する透過型の液晶ライトバルブである。なお、画像投射部１００は、これらの構成の他に、各種の光学系などを有しているが、これらは、一般的なプロジェクターが有する公知の構成要素であるので図示を省略する。なお、２つの光変調素子（第一光変調素子１２０ａ及び第二光変調素子１２０ｂ）は、図３(a)で示すように、０．５画素ずらして画素の関係が格子模様となるように配置することを目指している。
【００３６】
撮像部２００は、撮像光学系２１０、撮像センサー２２０、撮像センサー２２０からの出力信号の取得など撮像センサー２２０を制御するための撮像制御部２３０を有している。
【００３７】
画像処理部３００は、ＣＰＵ３１０、記憶装置３２０、画像補正装置３３０を有している。画像補正装置３３０は、投射画像の補正（台形歪み補正や画像の分割や光変調素子の位置関係に応じた画像補正などの各種補正）を含む各種の画像補正を行うものである。なお、光変調素子の位置関係に応じて画像を補正する処理については後述する。
【００３８】
図２は図１に示した画像補正装置３３０の構成を示す図である。画像補正装置３３０は、図２に示すように、算出用画像（詳細については図３により後述する）を生成する算出用画像生成部３３１、スクリーンに投射された算出用画像を撮像部２００によって撮像して得られた撮像画像データ（撮像画像という）に基づいて、算出用画像の各特徴点（図３におけるＰ１１１、Ｐ１１２、・・・、Ｐ１２１、Ｐ１３１、・・・、Ｐ２１１、Ｐ２１２、・・・、Ｐ２２１、Ｐ２３１、・・・）の間の距離（Ｐ１１１とＰ２１１の距離、Ｐ１１２とＰ２１２との距離）を算出する位置関係算出部３３２、二つの光変調素子（第一光変調素子１２０ａ及び第二光変調素子１２０ｂ）の理想的な位置関係（第一光変調素子１２０ａの画素に対し第二光変調素子１２０ｂの画素が縦方向に０．５画素、横方向に０．５画素ずれた位置）に基づき画像を分割する画像分割部３３３、位置関係算出部３３２によって算出された各特徴点における距離に応じて画像分割部３３３によって分割された画像を補正する画像補正部３３４、撮像部２００および画像表示装置ＰＪに対する制御を行う制御部３３５、を有している。
【００３９】
図３はスクリーンに投射する算出用画像と該算出用画像を撮像して得られた撮像画像の一例を示す図である。算出用画像は、図３（ａ）に示すように、第一光変調素子１２０ａが投射する画素を示す特徴点Ｐ１１１，Ｐ１１２，・・・，Ｐ１２１，Ｐ１３１，・・・と、第二光変調素子１２０ｂが投射する画素を示す特徴点Ｐ２１１，Ｐ２１２，・・・，Ｐ２２１，Ｐ２３１，・・・が縦方向および横方向に０．５画素ずれて等間隔に配列した画像である。
【００４０】
算出用画像の各特徴点は、画像表示装置ＰＪにおける第一光変調素子１２０ａ及び第二光変調素子１２０ｂ（例えば液晶ライトバルブ）の各画素のうちの離散的な位置の画素に対応して設定される。具体的には、光変調素子の縦方向及び横方向における画素のうち、所定画素数ごとの画素に対応するように各特徴点の位置が設定されるものとする。図３（ａ）に示す算出用画像は、各特徴点が縦方向および横方向において、それぞれ光変調素子の１画素分の間隔をおいて設定された例が示されている。
【００４１】
図３（ｂ）は図３（ａ）に示す算出用画像（元となる算出用画像という）がスクリーン上に投射されたときの算出用画像（投射算出用画像）を示すものである。図３（ｂ）に示す投射算出用画像は、二つの光変調素子の位置関係の理想的な配置に対する誤差を含んだ状態の特徴点（例えば、Ｐ２２１）の位置が、図３（ａ）に示す元となる算出用画像における特徴点とくらべ「ずれ」が生じている。
【００４２】
このような投射算出用画像を撮像部２００によって撮像すると、その撮像画像は当然のことながら、図３（ａ）に示す元となる算出用画像に対して、二つの光変調素子の理想的な位置に対する誤差に基づく「ずれ」が生じたものとなる。例えば、スクリーンに図３（ｂ）に示すような局所的な「ずれ」が存在すると、撮像画像は、元となる算出用画像に対して、特徴点に「ずれ」が生じたものとなる。
【００４３】
この投射算出用画像の「ずれ」は二つの光変調素子の理想的な配置に対する誤差に比例する。従って、撮像部２００から出力される撮像画像と、元となる算出用画像とから、それぞれに対応する特徴点の「ずれ」を算出することは、光変調素子の局所的な誤差を取得することと同義である。
【００４４】
画像分割部３３３は、入力された画像を二つの光変調素子用に二つに分割する。二つの光変調素子が正確に配置されている場合を想定し、入力された画像をスケーリングし、光変調素子それぞれの位置に対応するように間引くことで、画像を二つに分割する。
【００４５】
画像補正部３３４は、各特徴点における分割画像間距離を判定する機能と、互いに異なる複数の画像補正方法の中から各特徴点における分割画像間距離に対応して設定された画像補正方法を選択する機能と、選択された画像補正方法に基づき分割画像の各特徴点を補正する機能とを有する。なお「分割画像間距離」とは、第一光変調素子１２０ａ及び第二光変調素子１２０ｂによって表示される各分割画像の画素間の距離を指すものとする。
【００４６】
なお、実施形態１に係る画像表示装置ＰＪにおいては、各特徴点における分割画像間距離の判定は、各特徴点における分割画像間距離が所定値（分割画像間距離判定用閾値ＴＨ１とする）以上であるか否かの２段階で行い、また、複数の画像補正方法は、可能な限りいずれかの光変調素子を用いる第１画像補正方法および補正を行わない第２画像補正方法の２種類の画像補正方法が設定されているものとする。
【００４７】
そして、各特徴点のうちのある特徴点における分割画像間距離が分割画像間距離判定用閾値ＴＨ１以上であると判定した場合には、当該特徴点に対しては第一画像補正方法を選択し、各特徴点のうちのある特徴点における分割画像間距離が分割画像間距離判定用閾値ＴＨ１未満であると判定した場合には、当該特徴点に対しては第二画像補正方法を選択する。
【００４８】
図４では、第一画像補正方法の処理前と処理後の一例を示す。第一画像補正方法は可能な限りいずれかの光変調素子を利用するように補正処理を行う。各特徴点の輝度が変わらないようにいずれかの光変調素子の輝度を増加させ、もう一方の光変調素子の輝度を低下させる。二つの光変調素子（第一光変調素子１２０ａ及び第二光変調素子１２０ｂ）に対応する特徴点Ｐ１１１とＰ２１１の輝度をＹ１１１・Ｙ２１１とし可能な限りＹ１１１で表示するよう補正を行うとする。数式（１）で示すように、補正後の輝度をＹ１１１’・Ｙ２１１’とすると、Ｙ１１１が最大値１．０以下の範囲かつＹ２１１が輝度０以下にならない範囲でＹ２１１から輝度を減算し、Ｙ２１１に加算する。
Ｙ１１１＋Ｙ２１１＝Ｙ１１１’＋Ｙ２１１’（１）
【００４９】
実施形態１に係る画像表示装置ＰＪは、あらかじめ分割画像間の距離を算出する分割画像間距離算出機能と分割画像間距離に基づいて画像を表示する表示機能を有する。
【００５０】
図５は画像補正装置３３０が行う画像間距離算出手順を説明するフローチャートである。まず、算出用画像生成部３３１が算出用画像を生成する（ステップＳ１）。次に、制御部３３５が、生成した算出用画像を画像投射部１００に与えるとともに、画像投射部１００に対する算出用画像の投射指示を出力する（ステップＳ２）。これにより、画像投射部１００が算出用画像をスクリーンに投射する。次に、制御部３３５は、撮像部２００に対してスクリーンに投射された算出用画像を撮像するための撮像指示を出力する（ステップＳ３）。これにより、撮像部２００はスクリーンに投射された算出用画像を撮像する。そして、撮像部２００から出力される撮像画像を位置関係算出部３３２が制御部３３５を介して受け取り、算出用画像の各特徴点における分割画像間距離を算出する（ステップＳ４）。
【００５１】
図７は各特徴点における分割画像間距離算出の処理手順を説明するフローチャートである。位置関係算出部３３２は、図７に示すように、まず、投射算出用画像（図３（ａ）参照）を撮像して得られた撮像画像に基づいて、撮像画像における第一光変調素子１２０ａの各特徴点の座標（撮像部系座標という）を算出する（ステップＳ１１）。次に位置関係算出部３３２は、算出された各特徴点の撮像部系座標と元となる算出用画像（図３（ａ）参照）における各特徴点の座標（第一光変調素子１２０ａ系座標という）とを照合する（ステップＳ１２）。同様に、位置関係算出部３３２は、撮像画像における第二光変調素子１２０ｂの各特徴点の撮像部系座標を算出し（ステップＳ１３）、算出された各特徴点の撮像部系座標と、元となる算出用画像（図３（ａ）参照）における各特徴点の座標（第二光変調素子１２０ｂ系座標という）とを照合する（ステップＳ１４）。この第一光変調素子１２０ａ及び第二光変調素子１２０ｂで対応する各特徴点の距離を第一光変調素子１２０ａの座標系で算出する（ステップＳ１５）。なお、撮像画像における二つの光変調素子の特徴点は色が異なる。一例として第一光変調素子１２０ａで表示した特徴点は赤色でもう一方の第二光変調素子１２０ｂで表示した特徴点は緑色である。このように、位置関係算出部３３２は、スクリーンに投射された分割画像間のずれ量を算出する。
【００５２】
ここで、二つの光変調素子の配置が正確であれば、それぞれ対応する特徴点の座標とは縦方向および横方向ともに０．５画素となるが、配置に誤差が存在すると、二つの特徴点の座標に０．５画素よりも大きいもしくは小さいといった「ずれ」が生じる。
【００５３】
図８は図７のステップＳ１１およびステップＳ１３における各特徴点の撮像部系座標の算出処理について説明するフローチャートである。各特徴点の撮像部系座標の算出処理は、図８に示すように、撮像画像を二値化し（ステップＳ２１）、二値化された撮像画像をラベリングし（ステップＳ２２）、そのラベリング結果から各特徴点の撮像部系座標を算出する（ステップＳ２３）。
【００５４】
ここで、ステップＳ２１における撮像画像の二値化は、画素値に閾値ＴＨ２（例えば、撮像画像の画素値の最大値と最小値の中間値とする）を設定し、各画素の画素値が当該閾値ＴＨ２（二値化用閾値ＴＨ２という）以上であるか未満であるかによって２値化を行う。例えば、二値化用閾値ＴＨ２以上の画素値を有する画素には‘１’を与え、二値化用閾値ＴＨ２未満の画素値を有する画素には‘０’を与えるものとする。
【００５５】
また、ステップＳ２２におけるラベリング処理は、二値化された結果から、この場合、‘１’が連続する領域が特徴点に対応する画素の集合であるとして、‘１’が連続する領域に対してラベリングを行う。
【００５６】
また、ステップＳ２３における各特徴点の撮像装置系座標の算出処理は、二値化された画像データを用いる場合は、ラベリングされた領域の重心となる画素の位置を当該特徴点の座標位置であるとする。また、二値化される前の画像データを用いる場合には、ラベリングされた領域の中で最大の画素値を有する画素の位置を当該特徴点の座標位置とする。
【００５７】
撮像画像から各特徴点の座標位置が算出されると、算出された各特徴点の撮像部系座標と、元となる歪み量算出用画像における各特徴点の光変調素子系座標とを照合する（図７のステップＳ１２およびステップＳ１４）。各特徴点の撮像部系座標と各特徴点の光変調素子系座標との照合は、例えば、最小二乗法などを用いることによって行うことができる。
【００５８】
図６は画像補正装置３３０が行う画像表示手順を説明するフローチャートである。分割画像間距離算出手順により算出された各特徴点における分割画像間距離に基づき画像分割部３３３から得られた分割画像に対し補正処理を行い、その結果を表示する（図６）。具体的には、各特徴点における分割画像間距離が分割画像間距離判定用閾値ＴＨ１以上であるか否かを判定し、各特徴点における分割画像間距離が当該分割画像間距離判定用閾値ＴＨ１以上である場合には、可能な限りいずれか一つの光変調素子で表示するように輝度を補正する（ステップＳ５）。補正した分割画像を表示するため制御部３３５を介して画像投射部１００に指示する（ステップＳ６）
【００５９】
図９は二つの光変調素子が理想的な位置に正確に配置されたときの画素の関係と、配置に誤差が生じた結果、局所的に画素位置にずれが発生した場合を示している。このような二つの光変調素子の配置の誤差は、二つの光変調素子から投射された画像が重なりあった箇所において局所的な「ずれ」として表示される。
【００６０】
本発明の実施形態によって「ずれ」が大きい箇所においてはいずれか一方の画素で表示することで「ずれ」による画質の劣化を低減する。
【００６１】
［実施形態２］
前述の実施形態１では、画像補正装置３３０は、画像表示装置ＰＪに組み込まれている場合を例示したが、画像補正装置３３０を画像表示装置（プロジェクター）ＰＪとは別の構成要素として設け、画像表示装置（プロジェクター）ＰＪと画像補正装置３３０とでプロジェクションシステムを構成するようにしてもよい。さらに、画像を重ね合わせる機構として画像投射部１００が複数の光変調素子を有していたが、一つの光変調素子を持った画像投射部１００を複数有するプロジェクションシステムを構成するようにしてもよい。
【００６２】
また、図１０に示す例では、画像補正装置３３０を構成する構成要素として、算出用画像生成部３３１、位置関係算出部３３２、画像分割部３３３、画像補正部３３４、制御部３３５などを画像表示装置（プロジェクター）ＰＪとは別の構成としたが、これらの構成要素のうち一部は、画像表示装置（プロジェクター）ＰＪ側に持たせるようにすることもできる。
【００６３】
なお、本発明は前述の各実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲で下記（１）〜（４）に示すような変形実施も可能である。
【００６４】
（１）前述の各実施形態では、各特徴点における分割画像間距離が所定値（分割画像間距離判定用閾値ＴＨ１）以上であるか否かかによって、２種類の画像補正方法のいずれかを選択するようにしたが、これに限られるものではない。例えば、各特徴点における分割画像間距離を判定するための閾値を２個以上設定し、分割画像間距離の大きさを３段階以上に分けて判定するようにしてもよい。
【００６５】
この場合、それぞれの段階ごとに３つの異なる画像補正方法を設定しておき、各特徴点における分割画像間距離が複数段階のどの段階に属するかを判定し、その判定結果に基づいて画像補正方法を選択して、選択された画像補正方法を用いて画像補正を行う。なお、各段階ごとの画像補正方法は、各特徴点における分割画像間距離が大きいほど画質劣化を防ぐ効果が高い画像補正方法が設定される。このように、各特徴点における分割画像間距離の大きさを複数段階の分割画像間距離の大きさとして判定し、判定された分割画像間距離に適した画像補正方法を選択して画像補正を行うので、各特徴点における分割画像間距離の大きさに応じて適切な画像補正を行うことができる。画質劣化を防ぐ効果が低い補正方法の一例としては、いずれか一方の画像表示装置ＰＪの比率を高くする。具体的には、輝度をいずれか一方の画像表示装置ＰＪの最大値とするのではなく、画素値が０．８となるように補正することで、画質劣化を防ぐ効果が低くなる。
【００６６】
（２）撮像部（撮像装置）２００は、画像表示装置ＰＪと別の構成要素とした例を示しているが（図１０参照）、撮像部（撮像装置）２００は画像表示装置（プロジェクター）ＰＪ１又はＰＪ２と一体の構成要素としてもよい。
【００６７】
この場合、撮像部（撮像装置）２００も画像表示装置ＰＪと同様に複数となるため撮像装置間の座標系の関係を算出しなければならない。複数の撮像画像の重なり合わさった領域のようにいずれにも撮影された箇所から算出する。
【００６８】
（３）前述の各実施形態では、投射画像補正装置３３０は、算出用画像生成部３３１を有し、この算出用画像生成部３３１で算出用画像を生成するようにしたが、これに限らず、算出用画像に対応する算出用画像を記憶部などに記憶させておき、必要に応じて算出用画像を記憶部から読み出して画像表示装置（プロジェクター）ＰＪによって投射するようにしてもよい。
【００６９】
（４）前述の各実施形態で用いた算出用画像は、分割画像間距離算出位置としての特徴点を縦方向および横方向に等間隔で並べたものとしたが、これに限られるものではなく、撮像画像において特徴点が特定できるのであればよい。例えば、縦方向及び横方向に等間隔で格子状に線が描かれたものであってもよく、この場合は、縦方向及び横方向の各線の交差する位置（格子点）を特徴点として、その特徴点で分割画像間距離算出を行うようにすればよい。
（５）前述の各実施形態では、第一及び第二光変調素子として透過型の液晶ライトバルブを用いた画像表示装置の例について説明したが、本発明は、第一及び第二光変調素子として反射型の液晶ライトバルブを用いた画像表示装置にも適用することが可能である。また、第一及び第二光変調素子は、液晶ライトバルブ以外の光変調素子、例えばマイクロミラーによって画素が構成された光変調素子であっても良い。
【符号の説明】
【００７０】
１００…画像投射部、２００…撮像部、３００…画像処理部、３３０…画像補正装置、３３１…算出用画像生成部、３３２…位置関係算出部、３３３…画像分割部、３３４…画像補正処理部である画像補正部、ＰＪ…画像表示装置、Ｐ１１１，Ｐ１２１，Ｐ１１１，Ｐ１２１，Ｐ２１１，Ｐ２２１，Ｐ２１１，Ｐ２２１…特徴点。
【技術分野】
【０００１】
本発明は、複数の画像を一つの全体画像を形成するように投影する画像表示装置、画像形成方法及びプロジェクションシステムに関する。
【背景技術】
【０００２】
大画面化、高輝度化、高解像度化は、画像表示装置に要求される特性である。しかし、単体の画像表示装置において、これらを同時に実現することは非常に困難である。例えば、大画面化は、その画像表示装置を構成する部品の大きさ、製造装置の大きさなどにより限界がある。また、高輝度化は、表示素子の表示原理による限界があり、また寿命、信頼性を劣化させる可能性がある。また、高解像度化は、より高度な微細加工を必要とし、表示素子製造の歩留りを非常に劣化させる可能性がある。
【０００３】
単体の画像表示装置では困難である大画面化、高輝度化、高解像度化を実現する方法として、複数の画像投影手段をもった画像表示装置や、複数の画像表示装置を組み合わせて全体として一つの画像を表示する技術は非常に有効な方法である。特に、個々の画像表示装置としてプロジェクターを用いる画像表示方法は、個々のプロジェクターの表示する画像の一部を重ね合わせることにより、表示装置間の境界を見え難くし、高品質の画像を表示することのできる画像表示方法として優れている。
【０００４】
しかし、正確な画像を投影するには、複数の画像投影手段の位置関係を正確に平行に設置することや、スクリーンに正対していなければならない等の条件が必要とされる為、画像表示装置の設置が正確でない場合、投影画像は回転してしまったり、一般に言われる「あおり」といった現象が生じてしまったりする問題がある。
【０００５】
このような問題を解決する技術は様々提案されている（例えば、特許文献１参照）。
【０００６】
特許文献１で開示された技術は、高精細画像データを作成し出力するパーソナルコンピューターと、パーソナルコンピューターからの高精細画像データを処理・分割する高精細プロジェクター・コントローラー部と、複数のプロジェクターとで構成されている。このような構成において、予めプロジェクターは位置記憶部に記憶されたパラメーターに基づいて各プロジェクターに高精細画像データを分割し、複数のプロジェクターから投影している。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平９−３２６９８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、複数の画像投影手段の位置を意図した重ね合わせ位置と完全に一致させることは、技術面やコスト面からみても困難であり、重ね合わさった領域では、各画素の距離が一様ではなくなり、領域内で画質が変わってしまうといった課題があった。具体的には、複数のプロジェクターが正確に平行となっていない場合、特許文献１で開示された従来技術では、画像処理によって補正するが、図９（ｂ）に示すように、重ね合わさった領域で画素が一致する箇所とそうでない箇所が混在するため、画質が劣化する問題があった。
【課題を解決するための手段】
【０００９】
本発明は、上記課題の少なくとも一つを解決するように、以下の適用例または形態として実現され得る。
【００１０】
〔適用例１〕本適用例の画像表示装置は、複数の分割画像を一つの全体画像を形成するように投影する画像表示装置であって、前記複数の分割画像がスクリーン上で少なくとも一部が重なりあうように投影する複数の画像投影手段と、前記複数の分割画像に対応するように前記全体画像を複数に分割する画像分割手段と、前記スクリーンに投影された算出用画像を撮像して得られた撮像画像に基づき、前記スクリーンにおける前記複数の分割画像の位置関係を算出する位置関係算出手段と、前記位置関係算出手段で算出された各分割画像の位置関係に応じて前記画像分割手段によって分割された前記分割画像の明るさを補正する画像補正手段と、を有することを特徴とする。
【００１１】
これにより重なり合わさった画像の位置が理想的な位置とずれた場合、いずれかの分割画像の明るさを大きくすることで、画質劣化を軽減することができる。
【００１２】
本適用例の画像表示装置においては、算出用画像は複数の特徴点を含み、位置関係算出手段は、前記算出用画像における前記各特徴点の座標と、前記算出用画像を撮像して得られる撮像画像における前記各特徴点の座標とに基づいて、前記各特徴点における複数の分割画像間の距離を算出することができる。
【００１３】
これにより分割画像間の位置関係を把握することが可能となるため、隣接する画素との距離が理想的な場合の距離と異なれば画素がずれていることを把握できる。
【００１４】
〔適用例２〕上記適用例の画像表示装置においては、前記画像補正手段は、前記複数の分割画像の画素間の距離を判定する機能と、前記画素間の距離に対応して設定された複数の画像補正方法を選択する機能と、選択された画像補正方法で各分割画像を補正する機能とを有することが好ましい。
【００１５】
これにより光変調素子の配置に基づく画素間のずれに応じた画像補正を行うことができる。具体的には、各特徴点における各分割画像間の距離を判定するための閾値を１個以上設定し、各特徴点における分割画像の画素間の距離の大きさを２段階以上に分けて判定する。そして、それぞれの段階ごとに異なる画像補正方法を設定しておき、位置関係算出手段によって算出された各特徴点における分割画像の画素間の距離が複数段階のどの段階に属するかを判定し、その判定結果に基づいて適切な画像補正方法を選択して、選択された画像補正方法を用いて画像補正を行う。なお、各段階の画像補正方法は、各特徴点における分割画像の画素間の距離が大きいほど画質劣化の少ない画像補正を可能とする画像補正方法が設定される。
このように、歪み量の大きさを複数段階の分割画像の画素間の距離の大きさとして判定し、判定された分割画像の画素間の距離に適した画像補正方法を選択して画像補正を行うので、分割画像の画素間の距離の大きさに応じた適切な画像補正を行うことができる。
【００１６】
〔適用例３〕上記適用例の画像表示装置においては、前記画像補正手段は、前記画素間の距離を２段階で判定し、前記複数の画像補正方法は、複数の分割画像の値を均等に表示可能な第一画像補正方法と、複数の分割画像のうちいずれかの分割画像の値を大きくし、その他の分割画像の値を小さくする第二画像補正方法であって、前記画素間の距離が所定値未満であると判定した場合第一画像補正方法を選択し、前記画素間の距離が所定値以上であると判定した場合第二画像補正方法を選択することが好ましい。
【００１７】
これは、各特徴点における分割画像の画素間の距離が所定値未満であるか所定値以上であるかを判定し、その判定結果によって第一画像補正方法および前記第二画像補正方法のいずれかを選択して、選択された画像補正方法によって画像補正を行うものであり、これによれば、少ない演算量でスクリーン（投射面）の局所的ずれに応じた画像補正を行うことができる。
【００１８】
〔適用例４〕上記適用例の画像表示装置においては、前記第二画像補正方法における分割画像の値を大きくした総量と小さくした総量は同じになることが好ましい。
【００１９】
このようにすることで、第一画像補正処理と第二画像補正処理の選択により局所的な明るさの違いをなくすことができる。
【００２０】
〔適用例５〕上記適用例の画像表示装置においては、前記画像補正手段が補正する画像の所定領域は、前記複数の分割画像の特徴点に対応する前期分割画像の画素が重なり合わさった領域に含まれる少なくとも一部の領域であることが好ましい。
【００２１】
これにより、複数の投射映像の重なり合わさった箇所の画像劣化を軽減することができる。
【００２２】
〔適用例６〕上記適用例の画像表示装置においては、前記各分割画像の位置関係とは、前記各分割画像に対応する特徴点間の距離であることが好ましい。
【００２３】
これにより分割画像間のズレを距離で把握することができる。
【００２４】
〔適用例７〕上記適用例の画像表示装置においては、前記各特徴点は、前記複数の画像投影手段における光変調素子の各画素のうち離散的な位置の複数の画素に対応してそれぞれ設定されていることが好ましい。
【００２５】
これにより全画素の距離を計測する場合と比較し計算量を大きく削減することができる。
【００２６】
〔適用例８〕上記適用例の画像表示装置においては、前記算出用画像は複数の特徴点を含み、前記位置関係算出手段は、算出用画像における前記各特徴点の座標と、前記算出用画像を撮像して得られる撮像画像における前記各特徴点の座標とに基づいて、前記各特徴点における複数の分割画像間の距離を算出することが好ましい。
【００２７】
このような特徴点を有する算出用画像をスクリーン（投射面）に投射し、投射された算出用画像を撮像することにより、複数の光変調素子の配置の関係が特徴点の「ずれ」として現われた撮像画像を得ることができる。したがって、その撮像画像を用いることによって、複数の光変調素子の配置の誤差を適切に反映した分割画像間距離を算出することができる。なお、特徴点としては、縦方向および横方向に等間隔で並べた小さな丸や四角などのマーク、縦方向および横方向に格子状に描かれた線の交点（格子点）を用いることができる。
【００２８】
〔適用例９〕本適用例の画像表示方法は、複数の分割画像を一つの全体画像を形成するように投影する画像表示方法であって、前記複数の分割画像がスクリーン上で少なくとも一部が重なりあうように投影する画像投影ステップと、前記複数の分割画像に対応するように前記全体画像を複数に分割する画像分割ステップと、前記スクリーンに投影された複数の特徴点を撮像して得られた撮像画像に基づき、前記スクリーンにおける前記複数の分割画像の位置関係を算出する分割画像位置関係算出ステップと、前記分割画像位置関係算出ステップで算出された各分割画像の位置関係に応じて前記画像分割ステップにおいて分割された前記分割画像の明るさを補正する画像補正ステップと、を有することを特徴とする。
【００２９】
このような処理ステップを実行することによって、複数の分割画像が重なり合わさったスクリーン面（投射面）の領域において特徴点のずれに応じた画像補正を行うことができる。このようにして補正された投射画像は、重なり合わさった領域の特徴点のずれによる画質劣化の少ない画像となる。なお、本適用例の画像表示方法においても、上記適用例の画像表示装置が有するそれぞれの特徴を有することが好ましい。
【００３０】
〔適用例１０〕本適用例のプロジェクションシステムは、複数の分割画像を一つの全体画像を形成するように投影するプロジェクションシステムであって、前記複数の分割画像がスクリーン上で少なくとも一部が重なりあうように投影する複数のプロジェクターと、前記複数の分割画像に対応するように前記全体画像を複数に分割する画像分割手段と、前記スクリーンに投影された複数の特徴点を撮像して得られた撮像画像に基づき、前記スクリーンにおける前記複数の分割画像の位置関係を算出する位置関係算出手段と、前記位置関係算出手段で算出された各分割画像の位置関係に応じて前記画像分割手段によって分割された前記分割画像の明るさを補正する画像補正手段と、を有することを特徴とする。
【００３１】
これは、画像補正装置をプロジェクターとは別の構成要素とした場合であり、画像補正装置が有する機能をパーソナルコンピューターなどの情報処理装置に組み込んだ場合などがその一例である。このように、プロジェクターと画像補正装置とによってプロジェクションシステムを構成した場合であっても、本適用例の画像表示装置で述べた効果を得ることができる。なお、本適用例のプロジェクションシステムにおいても、上記適用例の画像表示装置が有するそれぞれの特徴を有することが好ましい。
【図面の簡単な説明】
【００３２】
【図１】実施形態１に係る画像表示装置の構成を示す図。
【図２】図１に示した画像補正装置３３０の構成を示す図。
【図３】スクリーンに投射される算出用画像と該算出用画像を撮像して得られた撮像画像の一例を示す図。
【図４】画像補正方法の一例を説明する図。
【図５】画像補正装置３３０が行う分割画像間の距離の算出手順を説明するフローチャート。
【図６】画像補正装置３３０が行う画像を補正して表示する手順を説明するフローチャート。
【図７】図５のステップＳ４における分割画像間距離の算出について説明するフローチャート。
【図８】図７のステップＳ１２およびステップＳ１４における各特徴点の撮像部系座標の算出処理について説明するフローチャート。
【図９】二つの光変調素子の理想的な配置と配置に誤差が存在する場合の画素位置関係の一例を示す図。
【図１０】実施形態２に係る画像表示システムの構成を示す図。
【発明を実施するための形態】
【００３３】
以下、本発明の実施の形態に基づき、図面を参照して説明する。
【００３４】
［実施形態１］
図１は実施形態１に係る画像表示装置の構成を示す図である。実施形態１に係る画像表示装置（プロジェクター）ＰＪは、図１に示すように、画像投射部１００、撮像部２００、画像処理部３００、を有している。
【００３５】
画像投射部１００は、投射制御部１１０、第一光変調素子１２０ａ及び第二光変調素子１２０ｂ、光源１３０、投射光学系１４０などを有し、画像処理部３００によって画像処理された画像データに基づく画像光を投射光学系１４０によって射出するものである。第一光変調素子１２０ａ及び第二光変調素子１２０ｂは、入射する光を画像信号に応じて変調する透過型の液晶ライトバルブである。なお、画像投射部１００は、これらの構成の他に、各種の光学系などを有しているが、これらは、一般的なプロジェクターが有する公知の構成要素であるので図示を省略する。なお、２つの光変調素子（第一光変調素子１２０ａ及び第二光変調素子１２０ｂ）は、図３(a)で示すように、０．５画素ずらして画素の関係が格子模様となるように配置することを目指している。
【００３６】
撮像部２００は、撮像光学系２１０、撮像センサー２２０、撮像センサー２２０からの出力信号の取得など撮像センサー２２０を制御するための撮像制御部２３０を有している。
【００３７】
画像処理部３００は、ＣＰＵ３１０、記憶装置３２０、画像補正装置３３０を有している。画像補正装置３３０は、投射画像の補正（台形歪み補正や画像の分割や光変調素子の位置関係に応じた画像補正などの各種補正）を含む各種の画像補正を行うものである。なお、光変調素子の位置関係に応じて画像を補正する処理については後述する。
【００３８】
図２は図１に示した画像補正装置３３０の構成を示す図である。画像補正装置３３０は、図２に示すように、算出用画像（詳細については図３により後述する）を生成する算出用画像生成部３３１、スクリーンに投射された算出用画像を撮像部２００によって撮像して得られた撮像画像データ（撮像画像という）に基づいて、算出用画像の各特徴点（図３におけるＰ１１１、Ｐ１１２、・・・、Ｐ１２１、Ｐ１３１、・・・、Ｐ２１１、Ｐ２１２、・・・、Ｐ２２１、Ｐ２３１、・・・）の間の距離（Ｐ１１１とＰ２１１の距離、Ｐ１１２とＰ２１２との距離）を算出する位置関係算出部３３２、二つの光変調素子（第一光変調素子１２０ａ及び第二光変調素子１２０ｂ）の理想的な位置関係（第一光変調素子１２０ａの画素に対し第二光変調素子１２０ｂの画素が縦方向に０．５画素、横方向に０．５画素ずれた位置）に基づき画像を分割する画像分割部３３３、位置関係算出部３３２によって算出された各特徴点における距離に応じて画像分割部３３３によって分割された画像を補正する画像補正部３３４、撮像部２００および画像表示装置ＰＪに対する制御を行う制御部３３５、を有している。
【００３９】
図３はスクリーンに投射する算出用画像と該算出用画像を撮像して得られた撮像画像の一例を示す図である。算出用画像は、図３（ａ）に示すように、第一光変調素子１２０ａが投射する画素を示す特徴点Ｐ１１１，Ｐ１１２，・・・，Ｐ１２１，Ｐ１３１，・・・と、第二光変調素子１２０ｂが投射する画素を示す特徴点Ｐ２１１，Ｐ２１２，・・・，Ｐ２２１，Ｐ２３１，・・・が縦方向および横方向に０．５画素ずれて等間隔に配列した画像である。
【００４０】
算出用画像の各特徴点は、画像表示装置ＰＪにおける第一光変調素子１２０ａ及び第二光変調素子１２０ｂ（例えば液晶ライトバルブ）の各画素のうちの離散的な位置の画素に対応して設定される。具体的には、光変調素子の縦方向及び横方向における画素のうち、所定画素数ごとの画素に対応するように各特徴点の位置が設定されるものとする。図３（ａ）に示す算出用画像は、各特徴点が縦方向および横方向において、それぞれ光変調素子の１画素分の間隔をおいて設定された例が示されている。
【００４１】
図３（ｂ）は図３（ａ）に示す算出用画像（元となる算出用画像という）がスクリーン上に投射されたときの算出用画像（投射算出用画像）を示すものである。図３（ｂ）に示す投射算出用画像は、二つの光変調素子の位置関係の理想的な配置に対する誤差を含んだ状態の特徴点（例えば、Ｐ２２１）の位置が、図３（ａ）に示す元となる算出用画像における特徴点とくらべ「ずれ」が生じている。
【００４２】
このような投射算出用画像を撮像部２００によって撮像すると、その撮像画像は当然のことながら、図３（ａ）に示す元となる算出用画像に対して、二つの光変調素子の理想的な位置に対する誤差に基づく「ずれ」が生じたものとなる。例えば、スクリーンに図３（ｂ）に示すような局所的な「ずれ」が存在すると、撮像画像は、元となる算出用画像に対して、特徴点に「ずれ」が生じたものとなる。
【００４３】
この投射算出用画像の「ずれ」は二つの光変調素子の理想的な配置に対する誤差に比例する。従って、撮像部２００から出力される撮像画像と、元となる算出用画像とから、それぞれに対応する特徴点の「ずれ」を算出することは、光変調素子の局所的な誤差を取得することと同義である。
【００４４】
画像分割部３３３は、入力された画像を二つの光変調素子用に二つに分割する。二つの光変調素子が正確に配置されている場合を想定し、入力された画像をスケーリングし、光変調素子それぞれの位置に対応するように間引くことで、画像を二つに分割する。
【００４５】
画像補正部３３４は、各特徴点における分割画像間距離を判定する機能と、互いに異なる複数の画像補正方法の中から各特徴点における分割画像間距離に対応して設定された画像補正方法を選択する機能と、選択された画像補正方法に基づき分割画像の各特徴点を補正する機能とを有する。なお「分割画像間距離」とは、第一光変調素子１２０ａ及び第二光変調素子１２０ｂによって表示される各分割画像の画素間の距離を指すものとする。
【００４６】
なお、実施形態１に係る画像表示装置ＰＪにおいては、各特徴点における分割画像間距離の判定は、各特徴点における分割画像間距離が所定値（分割画像間距離判定用閾値ＴＨ１とする）以上であるか否かの２段階で行い、また、複数の画像補正方法は、可能な限りいずれかの光変調素子を用いる第１画像補正方法および補正を行わない第２画像補正方法の２種類の画像補正方法が設定されているものとする。
【００４７】
そして、各特徴点のうちのある特徴点における分割画像間距離が分割画像間距離判定用閾値ＴＨ１以上であると判定した場合には、当該特徴点に対しては第一画像補正方法を選択し、各特徴点のうちのある特徴点における分割画像間距離が分割画像間距離判定用閾値ＴＨ１未満であると判定した場合には、当該特徴点に対しては第二画像補正方法を選択する。
【００４８】
図４では、第一画像補正方法の処理前と処理後の一例を示す。第一画像補正方法は可能な限りいずれかの光変調素子を利用するように補正処理を行う。各特徴点の輝度が変わらないようにいずれかの光変調素子の輝度を増加させ、もう一方の光変調素子の輝度を低下させる。二つの光変調素子（第一光変調素子１２０ａ及び第二光変調素子１２０ｂ）に対応する特徴点Ｐ１１１とＰ２１１の輝度をＹ１１１・Ｙ２１１とし可能な限りＹ１１１で表示するよう補正を行うとする。数式（１）で示すように、補正後の輝度をＹ１１１’・Ｙ２１１’とすると、Ｙ１１１が最大値１．０以下の範囲かつＹ２１１が輝度０以下にならない範囲でＹ２１１から輝度を減算し、Ｙ２１１に加算する。
Ｙ１１１＋Ｙ２１１＝Ｙ１１１’＋Ｙ２１１’（１）
【００４９】
実施形態１に係る画像表示装置ＰＪは、あらかじめ分割画像間の距離を算出する分割画像間距離算出機能と分割画像間距離に基づいて画像を表示する表示機能を有する。
【００５０】
図５は画像補正装置３３０が行う画像間距離算出手順を説明するフローチャートである。まず、算出用画像生成部３３１が算出用画像を生成する（ステップＳ１）。次に、制御部３３５が、生成した算出用画像を画像投射部１００に与えるとともに、画像投射部１００に対する算出用画像の投射指示を出力する（ステップＳ２）。これにより、画像投射部１００が算出用画像をスクリーンに投射する。次に、制御部３３５は、撮像部２００に対してスクリーンに投射された算出用画像を撮像するための撮像指示を出力する（ステップＳ３）。これにより、撮像部２００はスクリーンに投射された算出用画像を撮像する。そして、撮像部２００から出力される撮像画像を位置関係算出部３３２が制御部３３５を介して受け取り、算出用画像の各特徴点における分割画像間距離を算出する（ステップＳ４）。
【００５１】
図７は各特徴点における分割画像間距離算出の処理手順を説明するフローチャートである。位置関係算出部３３２は、図７に示すように、まず、投射算出用画像（図３（ａ）参照）を撮像して得られた撮像画像に基づいて、撮像画像における第一光変調素子１２０ａの各特徴点の座標（撮像部系座標という）を算出する（ステップＳ１１）。次に位置関係算出部３３２は、算出された各特徴点の撮像部系座標と元となる算出用画像（図３（ａ）参照）における各特徴点の座標（第一光変調素子１２０ａ系座標という）とを照合する（ステップＳ１２）。同様に、位置関係算出部３３２は、撮像画像における第二光変調素子１２０ｂの各特徴点の撮像部系座標を算出し（ステップＳ１３）、算出された各特徴点の撮像部系座標と、元となる算出用画像（図３（ａ）参照）における各特徴点の座標（第二光変調素子１２０ｂ系座標という）とを照合する（ステップＳ１４）。この第一光変調素子１２０ａ及び第二光変調素子１２０ｂで対応する各特徴点の距離を第一光変調素子１２０ａの座標系で算出する（ステップＳ１５）。なお、撮像画像における二つの光変調素子の特徴点は色が異なる。一例として第一光変調素子１２０ａで表示した特徴点は赤色でもう一方の第二光変調素子１２０ｂで表示した特徴点は緑色である。このように、位置関係算出部３３２は、スクリーンに投射された分割画像間のずれ量を算出する。
【００５２】
ここで、二つの光変調素子の配置が正確であれば、それぞれ対応する特徴点の座標とは縦方向および横方向ともに０．５画素となるが、配置に誤差が存在すると、二つの特徴点の座標に０．５画素よりも大きいもしくは小さいといった「ずれ」が生じる。
【００５３】
図８は図７のステップＳ１１およびステップＳ１３における各特徴点の撮像部系座標の算出処理について説明するフローチャートである。各特徴点の撮像部系座標の算出処理は、図８に示すように、撮像画像を二値化し（ステップＳ２１）、二値化された撮像画像をラベリングし（ステップＳ２２）、そのラベリング結果から各特徴点の撮像部系座標を算出する（ステップＳ２３）。
【００５４】
ここで、ステップＳ２１における撮像画像の二値化は、画素値に閾値ＴＨ２（例えば、撮像画像の画素値の最大値と最小値の中間値とする）を設定し、各画素の画素値が当該閾値ＴＨ２（二値化用閾値ＴＨ２という）以上であるか未満であるかによって２値化を行う。例えば、二値化用閾値ＴＨ２以上の画素値を有する画素には‘１’を与え、二値化用閾値ＴＨ２未満の画素値を有する画素には‘０’を与えるものとする。
【００５５】
また、ステップＳ２２におけるラベリング処理は、二値化された結果から、この場合、‘１’が連続する領域が特徴点に対応する画素の集合であるとして、‘１’が連続する領域に対してラベリングを行う。
【００５６】
また、ステップＳ２３における各特徴点の撮像装置系座標の算出処理は、二値化された画像データを用いる場合は、ラベリングされた領域の重心となる画素の位置を当該特徴点の座標位置であるとする。また、二値化される前の画像データを用いる場合には、ラベリングされた領域の中で最大の画素値を有する画素の位置を当該特徴点の座標位置とする。
【００５７】
撮像画像から各特徴点の座標位置が算出されると、算出された各特徴点の撮像部系座標と、元となる歪み量算出用画像における各特徴点の光変調素子系座標とを照合する（図７のステップＳ１２およびステップＳ１４）。各特徴点の撮像部系座標と各特徴点の光変調素子系座標との照合は、例えば、最小二乗法などを用いることによって行うことができる。
【００５８】
図６は画像補正装置３３０が行う画像表示手順を説明するフローチャートである。分割画像間距離算出手順により算出された各特徴点における分割画像間距離に基づき画像分割部３３３から得られた分割画像に対し補正処理を行い、その結果を表示する（図６）。具体的には、各特徴点における分割画像間距離が分割画像間距離判定用閾値ＴＨ１以上であるか否かを判定し、各特徴点における分割画像間距離が当該分割画像間距離判定用閾値ＴＨ１以上である場合には、可能な限りいずれか一つの光変調素子で表示するように輝度を補正する（ステップＳ５）。補正した分割画像を表示するため制御部３３５を介して画像投射部１００に指示する（ステップＳ６）
【００５９】
図９は二つの光変調素子が理想的な位置に正確に配置されたときの画素の関係と、配置に誤差が生じた結果、局所的に画素位置にずれが発生した場合を示している。このような二つの光変調素子の配置の誤差は、二つの光変調素子から投射された画像が重なりあった箇所において局所的な「ずれ」として表示される。
【００６０】
本発明の実施形態によって「ずれ」が大きい箇所においてはいずれか一方の画素で表示することで「ずれ」による画質の劣化を低減する。
【００６１】
［実施形態２］
前述の実施形態１では、画像補正装置３３０は、画像表示装置ＰＪに組み込まれている場合を例示したが、画像補正装置３３０を画像表示装置（プロジェクター）ＰＪとは別の構成要素として設け、画像表示装置（プロジェクター）ＰＪと画像補正装置３３０とでプロジェクションシステムを構成するようにしてもよい。さらに、画像を重ね合わせる機構として画像投射部１００が複数の光変調素子を有していたが、一つの光変調素子を持った画像投射部１００を複数有するプロジェクションシステムを構成するようにしてもよい。
【００６２】
また、図１０に示す例では、画像補正装置３３０を構成する構成要素として、算出用画像生成部３３１、位置関係算出部３３２、画像分割部３３３、画像補正部３３４、制御部３３５などを画像表示装置（プロジェクター）ＰＪとは別の構成としたが、これらの構成要素のうち一部は、画像表示装置（プロジェクター）ＰＪ側に持たせるようにすることもできる。
【００６３】
なお、本発明は前述の各実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲で下記（１）〜（４）に示すような変形実施も可能である。
【００６４】
（１）前述の各実施形態では、各特徴点における分割画像間距離が所定値（分割画像間距離判定用閾値ＴＨ１）以上であるか否かかによって、２種類の画像補正方法のいずれかを選択するようにしたが、これに限られるものではない。例えば、各特徴点における分割画像間距離を判定するための閾値を２個以上設定し、分割画像間距離の大きさを３段階以上に分けて判定するようにしてもよい。
【００６５】
この場合、それぞれの段階ごとに３つの異なる画像補正方法を設定しておき、各特徴点における分割画像間距離が複数段階のどの段階に属するかを判定し、その判定結果に基づいて画像補正方法を選択して、選択された画像補正方法を用いて画像補正を行う。なお、各段階ごとの画像補正方法は、各特徴点における分割画像間距離が大きいほど画質劣化を防ぐ効果が高い画像補正方法が設定される。このように、各特徴点における分割画像間距離の大きさを複数段階の分割画像間距離の大きさとして判定し、判定された分割画像間距離に適した画像補正方法を選択して画像補正を行うので、各特徴点における分割画像間距離の大きさに応じて適切な画像補正を行うことができる。画質劣化を防ぐ効果が低い補正方法の一例としては、いずれか一方の画像表示装置ＰＪの比率を高くする。具体的には、輝度をいずれか一方の画像表示装置ＰＪの最大値とするのではなく、画素値が０．８となるように補正することで、画質劣化を防ぐ効果が低くなる。
【００６６】
（２）撮像部（撮像装置）２００は、画像表示装置ＰＪと別の構成要素とした例を示しているが（図１０参照）、撮像部（撮像装置）２００は画像表示装置（プロジェクター）ＰＪ１又はＰＪ２と一体の構成要素としてもよい。
【００６７】
この場合、撮像部（撮像装置）２００も画像表示装置ＰＪと同様に複数となるため撮像装置間の座標系の関係を算出しなければならない。複数の撮像画像の重なり合わさった領域のようにいずれにも撮影された箇所から算出する。
【００６８】
（３）前述の各実施形態では、投射画像補正装置３３０は、算出用画像生成部３３１を有し、この算出用画像生成部３３１で算出用画像を生成するようにしたが、これに限らず、算出用画像に対応する算出用画像を記憶部などに記憶させておき、必要に応じて算出用画像を記憶部から読み出して画像表示装置（プロジェクター）ＰＪによって投射するようにしてもよい。
【００６９】
（４）前述の各実施形態で用いた算出用画像は、分割画像間距離算出位置としての特徴点を縦方向および横方向に等間隔で並べたものとしたが、これに限られるものではなく、撮像画像において特徴点が特定できるのであればよい。例えば、縦方向及び横方向に等間隔で格子状に線が描かれたものであってもよく、この場合は、縦方向及び横方向の各線の交差する位置（格子点）を特徴点として、その特徴点で分割画像間距離算出を行うようにすればよい。
（５）前述の各実施形態では、第一及び第二光変調素子として透過型の液晶ライトバルブを用いた画像表示装置の例について説明したが、本発明は、第一及び第二光変調素子として反射型の液晶ライトバルブを用いた画像表示装置にも適用することが可能である。また、第一及び第二光変調素子は、液晶ライトバルブ以外の光変調素子、例えばマイクロミラーによって画素が構成された光変調素子であっても良い。
【符号の説明】
【００７０】
１００…画像投射部、２００…撮像部、３００…画像処理部、３３０…画像補正装置、３３１…算出用画像生成部、３３２…位置関係算出部、３３３…画像分割部、３３４…画像補正処理部である画像補正部、ＰＪ…画像表示装置、Ｐ１１１，Ｐ１２１，Ｐ１１１，Ｐ１２１，Ｐ２１１，Ｐ２２１，Ｐ２１１，Ｐ２２１…特徴点。
【特許請求の範囲】
【請求項１】
複数の分割画像を一つの全体画像を形成するように投影する画像表示装置であって、
前記複数の分割画像がスクリーン上で少なくとも一部が重なりあうように投影する複数の画像投影手段と、
前記複数の分割画像に対応するように前記全体画像を複数に分割する画像分割手段と、
前記スクリーンに投影された算出用画像を撮像して得られた撮像画像に基づき、前記スクリーンにおける前記複数の分割画像の位置関係を算出する位置関係算出手段と、
前記位置関係算出手段で算出された各分割画像の位置関係に応じて前記画像分割手段によって分割された前記分割画像の明るさを補正する画像補正手段と、を有することを特徴とする画像表示装置。
【請求項２】
前記画像補正手段は、
前記複数の分割画像の画素間の距離を判定する機能と、
前記画素間の距離に対応して設定された複数の画像補正方法を選択する機能と、
選択された画像補正方法で各分割画像を補正する機能と、を有することを特徴とする請求項１に記載の画像表示装置。
【請求項３】
前記画像補正手段は、前記画素間の距離を２段階で判定し、
前記複数の画像補正方法は、複数の分割画像の値を均等に表示可能な第一画像補正方法と、複数の分割画像のうちいずれかの分割画像の値を大きくし、その他の分割画像の値を小さくする第二画像補正方法であって、
前記画素間の距離が所定値未満であると判定した場合は、前記第一画像補正方法を選択し、前記画素間の距離が所定値以上であると判定した場合は、前記第二画像補正方法を選択することを特徴とする請求項１又は２に記載の画像表示装置。
【請求項４】
前記第二画像補正方法における分割画像の値を大きくした総量と小さくした総量とは同じになることを特徴とする請求項３に記載の画像表示装置。
【請求項５】
前記画像補正手段が補正する画像の所定領域は、前記複数の分割画像の特徴点に対応する前記分割画像の画素が重なり合わさった領域に含まれる少なくとも一部の領域であることを特徴とする請求項１〜４のいずれか一項に記載の画像表示装置。
【請求項６】
前記各分割画像の位置関係とは、前記各分割画像に対応する特徴点間の距離であることを特徴とする請求項１〜５のいずれか一項に記載の画像表示装置。
【請求項７】
前記各特徴点は、前記複数の画像投影手段における光変調素子の各画素のうち離散的な位置の複数の画素に対応してそれぞれ設定されていることを特徴とする請求項１〜６のいずれか一項に記載の画像表示装置。
【請求項８】
前記算出用画像は複数の特徴点を含み、
前記位置関係算出手段は、前記算出用画像における前記各特徴点の座標と、前記算出用画像を撮像して得られる撮像画像における前記各特徴点の座標とに基づいて、前記各特徴点における複数の分割画像間の距離を算出することを特徴とする請求項１〜７のいずれか一項に記載の画像表示装置。
【請求項９】
複数の分割画像を一つの全体画像を形成するように投影する画像表示方法であって、
前記複数の分割画像がスクリーン上で少なくとも一部が重なりあうように投影する画像投影ステップと、
前記複数の分割画像に対応するように前記全体画像を複数に分割する画像分割ステップと、
前記スクリーンに投影された算出用画像を撮像して得られた撮像画像に基づき、前記スクリーンにおける前記複数の分割画像の位置関係を算出する位置関係算出ステップと、
前記位置関係算出ステップで算出された各分割画像の位置関係に応じて前記画像分割ステップにおいて分割された前記分割画像の明るさを補正する画像補正ステップと、を有することを特徴とする画像表示方法。
【請求項１０】
複数の分割画像を一つの全体画像を形成するように投影するプロジェクションシステムであって、
前記複数の分割画像がスクリーン上で少なくとも一部が重なりあうように投影する複数のプロジェクターと、
前記複数の分割画像に対応するように前記全体画像を複数に分割する画像分割手段と、
前記スクリーンに投影された複数の特徴点を撮像して得られた撮像画像に基づき、前記スクリーンにおける前記複数の分割画像の位置関係を算出する位置関係算出手段と、
前記位置関係算出手段で算出された各分割画像の位置関係に応じて前記画像分割手段によって分割された前記分割画像の明るさを補正する画像補正手段と、を有することを特徴とするプロジェクションシステム。
【請求項１】
複数の分割画像を一つの全体画像を形成するように投影する画像表示装置であって、
前記複数の分割画像がスクリーン上で少なくとも一部が重なりあうように投影する複数の画像投影手段と、
前記複数の分割画像に対応するように前記全体画像を複数に分割する画像分割手段と、
前記スクリーンに投影された算出用画像を撮像して得られた撮像画像に基づき、前記スクリーンにおける前記複数の分割画像の位置関係を算出する位置関係算出手段と、
前記位置関係算出手段で算出された各分割画像の位置関係に応じて前記画像分割手段によって分割された前記分割画像の明るさを補正する画像補正手段と、を有することを特徴とする画像表示装置。
【請求項２】
前記画像補正手段は、
前記複数の分割画像の画素間の距離を判定する機能と、
前記画素間の距離に対応して設定された複数の画像補正方法を選択する機能と、
選択された画像補正方法で各分割画像を補正する機能と、を有することを特徴とする請求項１に記載の画像表示装置。
【請求項３】
前記画像補正手段は、前記画素間の距離を２段階で判定し、
前記複数の画像補正方法は、複数の分割画像の値を均等に表示可能な第一画像補正方法と、複数の分割画像のうちいずれかの分割画像の値を大きくし、その他の分割画像の値を小さくする第二画像補正方法であって、
前記画素間の距離が所定値未満であると判定した場合は、前記第一画像補正方法を選択し、前記画素間の距離が所定値以上であると判定した場合は、前記第二画像補正方法を選択することを特徴とする請求項１又は２に記載の画像表示装置。
【請求項４】
前記第二画像補正方法における分割画像の値を大きくした総量と小さくした総量とは同じになることを特徴とする請求項３に記載の画像表示装置。
【請求項５】
前記画像補正手段が補正する画像の所定領域は、前記複数の分割画像の特徴点に対応する前記分割画像の画素が重なり合わさった領域に含まれる少なくとも一部の領域であることを特徴とする請求項１〜４のいずれか一項に記載の画像表示装置。
【請求項６】
前記各分割画像の位置関係とは、前記各分割画像に対応する特徴点間の距離であることを特徴とする請求項１〜５のいずれか一項に記載の画像表示装置。
【請求項７】
前記各特徴点は、前記複数の画像投影手段における光変調素子の各画素のうち離散的な位置の複数の画素に対応してそれぞれ設定されていることを特徴とする請求項１〜６のいずれか一項に記載の画像表示装置。
【請求項８】
前記算出用画像は複数の特徴点を含み、
前記位置関係算出手段は、前記算出用画像における前記各特徴点の座標と、前記算出用画像を撮像して得られる撮像画像における前記各特徴点の座標とに基づいて、前記各特徴点における複数の分割画像間の距離を算出することを特徴とする請求項１〜７のいずれか一項に記載の画像表示装置。
【請求項９】
複数の分割画像を一つの全体画像を形成するように投影する画像表示方法であって、
前記複数の分割画像がスクリーン上で少なくとも一部が重なりあうように投影する画像投影ステップと、
前記複数の分割画像に対応するように前記全体画像を複数に分割する画像分割ステップと、
前記スクリーンに投影された算出用画像を撮像して得られた撮像画像に基づき、前記スクリーンにおける前記複数の分割画像の位置関係を算出する位置関係算出ステップと、
前記位置関係算出ステップで算出された各分割画像の位置関係に応じて前記画像分割ステップにおいて分割された前記分割画像の明るさを補正する画像補正ステップと、を有することを特徴とする画像表示方法。
【請求項１０】
複数の分割画像を一つの全体画像を形成するように投影するプロジェクションシステムであって、
前記複数の分割画像がスクリーン上で少なくとも一部が重なりあうように投影する複数のプロジェクターと、
前記複数の分割画像に対応するように前記全体画像を複数に分割する画像分割手段と、
前記スクリーンに投影された複数の特徴点を撮像して得られた撮像画像に基づき、前記スクリーンにおける前記複数の分割画像の位置関係を算出する位置関係算出手段と、
前記位置関係算出手段で算出された各分割画像の位置関係に応じて前記画像分割手段によって分割された前記分割画像の明るさを補正する画像補正手段と、を有することを特徴とするプロジェクションシステム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１０−１９１３１１（Ｐ２０１０−１９１３１１Ａ）
【公開日】平成２２年９月２日（２０１０．９．２）
【国際特許分類】
【出願番号】特願２００９−３７３９２（Ｐ２００９−３７３９２）
【出願日】平成２１年２月２０日（２００９．２．２０）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
【公開日】平成２２年９月２日（２０１０．９．２）
【国際特許分類】
【出願日】平成２１年２月２０日（２００９．２．２０）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
[ Back to top ]