画像処理装置、画像表示装置及び画像処理方法
【課題】タイリング表示された画像の画質を向上させることができる画像処理装置及び画像処理方法等を提供する。
【解決手段】第1の投射画像IMG1及び第2の投射画像IMG2が重畳領域を設けて配置されるタイリング画像のむら補正を行う画像処理部100は、第1の投射画像IMG1のむらを補正するための補正値を記憶する第1のむら補正LUT記憶部160と、該補正値を用いて第1の投射画像IMG1のむらを補正する第1のむら補正処理部162とを含む。第1の投射画像IMG1の非重畳領域と重畳領域との境界部における境界位置B1の輝度は、第2の投射画像IMG2の非重畳領域と重畳領域との境界部における境界位置B2の輝度より低い。第1のむら補正処理部162は、第1の投射画像IMG1の非重畳領域及び重畳領域において、境界位置B2の輝度に基づいてむらを補正する。
【解決手段】第1の投射画像IMG1及び第2の投射画像IMG2が重畳領域を設けて配置されるタイリング画像のむら補正を行う画像処理部100は、第1の投射画像IMG1のむらを補正するための補正値を記憶する第1のむら補正LUT記憶部160と、該補正値を用いて第1の投射画像IMG1のむらを補正する第1のむら補正処理部162とを含む。第1の投射画像IMG1の非重畳領域と重畳領域との境界部における境界位置B1の輝度は、第2の投射画像IMG2の非重畳領域と重畳領域との境界部における境界位置B2の輝度より低い。第1のむら補正処理部162は、第1の投射画像IMG1の非重畳領域及び重畳領域において、境界位置B2の輝度に基づいてむらを補正する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、画像表示装置及び画像処理方法等に関する。
【背景技術】
【0002】
複数台のプロジェクター(画像表示装置)を用いて、各プロジェクターにより投射される投射画像の一部分を重ね合わせて表示することにより、大画面化と解像度向上を図るタイリング(マルチプロジェクション)技術が知られている。このタイリング技術においては、同一機種(同一種別、同一型番)のプロジェクターの組み合わせに限らず、異なる機種のプロジェクターを組み合わせることも考えられる。
【0003】
一方、プロジェクターには、輝度むらや色むら(広義には、むら)が高画質化への障壁となり、プロジェクター毎にその表示特性に応じた輝度むら補正や色むら補正が行われている。このようなプロジェクターを用いてタイリング表示を行う場合、1台のプロジェクターのみによる表示を考慮して輝度むら補正や色むら補正を行い、輝度は画面の中央部から周辺部に向かってなだらかに低下し、色は画面内で均一になるようにするのが望ましい。
【0004】
ところで、タイリング表示を行う場合、各プロジェクターの投射画像の上下方向(垂直方向)又は左右方向(水平方向)の一部を隣接する投射画像と重ね合わせ、その重畳領域は輝度や色の変化がなだらかになるようなブレンド処理を行うことが多い。あるいは、遮光板によるハードウェア的な光量調節に加えると共に、ソフトウェアによるブレンド処理を行うこともある。
【0005】
図21(A)に、タイリング表示の説明図を示す。図21(B)に、図21(A)のようにタイリング表示された画像に対して行うブレンド処理の説明図を示す。図21(A)及び図21(B)は、2台のプロジェクターを用いてタイリング表示された画像における水平方向の輝度の変化の一例を表したものである。図21(B)では、ブレンド処理後の各投射画像の水平方向の輝度の変化を波線で表し、タイリング表示された画像の水平方向の輝度の変化を実線で表している。
【0006】
タイリング表示を行うとき、投射面において重畳領域を設けて、第1のプロジェクターによる投射画像IMG1を第2のプロジェクターによる投射画像IMG2に重ね合わせる。このとき、各プロジェクター固有の輝度むら補正や色むら補正が行われ、投射画像IMG1,IMG2は、図21(A)に示すように、それぞれ輝度が中央部から周辺部に向かってなだらかに低下し、色は画面内で均一化される。その結果、図21(B)に示すように、ブレンド処理によって、投射画像IMG1,IMG2の重畳領域の輝度や色の変化がなだらかになるように補正され、タイリング表示された画像の画質の向上を図ることができる。
【0007】
このようなタイリング表示された画像の画質の向上を図る技術については、種々提案されている。例えば特許文献1には、タイリング表示された画像を撮影し、表示領域全体で均一又は連続した明るさとなるように補正することで、重畳領域の境界を目立たなくする技術が開示されている。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】特開2002−116500号公報
【発明の概要】
【発明が解決しようとする課題】
【0009】
しかしながら、各プロジェクターは、輝度や色度の差異、固有の周辺減光特性を有する。そのため、特許文献1に開示された技術では、図21(B)に示すようにブレンド処理を行っても、プロジェクター単体で画面全体をなだらかに変化させることは難しい。従って、タイリング表示された画像では、重畳領域において輝度や色の変化が波打って、画像を観察する人間の眼には、むらとして認識されてしまうという問題が残る。
【0010】
特に、各プロジェクターにおいては、白の色をsRGB(standard RGB)等の規格値に合わせるのではなく、プロジェクターの素の白色(デバイス白色)をそのまま用いたり、デバイス白色とsRGBの間の色にしたりすることで明るさを確保することが多い。従って、プロジェクターの個体差が大きいほど重畳領域での変化も激しくなる。また、タイリング表示のために各プロジェクターにおいて白を規格値に完全に合わせたり、輝度が画面内で均一になるようなむら補正を行ったりすると、輝度損失が大きくなり望ましくない。
【0011】
本発明は、以上のような技術的課題に鑑みてなされたものである。本発明の幾つかの態様によれば、各画像表示装置の表示特性に応じて重畳領域での変化が小さくなるような補正を行うことで、タイリング表示された画像の画質を向上させることができる画像処理装置、画像表示装置及び画像処理方法等を提供することができる。
【課題を解決するための手段】
【0012】
(1)本発明の第1の態様は、第1の投射画像及び第2の投射画像が重畳領域を設けて配置されるタイリング画像のむら補正を行う画像処理装置が、前記第1の投射画像のむらを補正するための補正値を記憶する第1のむら補正値記憶部と、前記第1のむら補正記憶部に記憶された補正値を用いて前記第1の投射画像のむらを補正する第1のむら補正処理部とを含み、前記第1の投射画像の非重畳領域と前記重畳領域との境界部における第1の画素位置の輝度は、前記第2の投射画像の非重畳領域と前記重畳領域との境界部における第2の画素位置の輝度より低く、前記第1のむら補正処理部は、前記第1の投射画像の非重畳領域及び前記重畳領域において、前記第2の画素位置の輝度に基づいてむらを補正する。
【0013】
本態様においては、第1の投射画像及び第2の投射画像によりタイリング画像を表示する。このとき、第1の投射画像の非重畳領域と重畳領域との境界部における第1の画素位置が、第2の投射画像の非重畳領域と重畳領域との境界部における第2の画素位置の輝度より低い。そこで、第1のむら補正処理部が、第1の画素位置における輝度が低い第1の投射画像の非重畳領域及び重畳領域において、第2の画素位置の輝度に基づいてむら補正処理を行う。これにより、第1の投射画像及び第2の投射画像の各々を表示する画像表示装置の表示特性に応じて重畳領域での変化が小さくなるように補正することができ、タイリング表示された画像の画質を向上させることができるようになる。
【0014】
(2)本発明の第2の態様に係る画像処理装置では、第1の態様において、前記第1のむら補正処理部は、前記第1の投射画像において前記第2の画素位置の輝度に対応する輝度を有する前記第1の投射画像内の非重畳領域内の第3の画素位置から前記重畳領域内の前記第1の投射画像端にかけて、むらを補正する。
本態様においては、第1の投射画像において第2の画素位置の輝度に対応する輝度を有する第1の投射画像内の非重畳領域内の第3の画素位置から重畳領域にかけてむらを補正するようにしたので、重畳領域における明るさの谷間等のむらを軽減することができる。
【0015】
(3)本発明の第3の態様に係る画像処理装置では、第2の態様において、前記第1のむら補正処理部は、前記第3の画素位置を基準とした色差が最小となるように、むらを補正する。
本態様によれば、第3の画素位置を基準とした色差が最小となるように、むらを補正するようにしたので、むらが補正される領域における色の変化を小さくし、タイリング表示された画像の画質を向上させることができるようになる。
【0016】
(4)本発明の第4の態様に係る画像処理装置では、第1の態様乃至第3の態様のいずれかにおいて、前記第2の投射画像のむらを補正するための補正値を記憶する第2のむら補正値記憶部と、前記第2のむら補正記憶部に記憶された補正値を用いて前記第2の投射画像のむらを補正する第2のむら補正処理部とを含み、前記第2のむら補正処理部は、前記第1のむら補正処理部による補正後の前記第1の画素位置と前記第2の投射画像内の輝度のピーク位置との色差が最小となるように、むらを補正する。
本態様においては、第1のむら補正処理部による補正後の第1の画素位置と第2の投射画像内の輝度のピーク位置との色差に着目して、第1の投射画像及び第2の投射画像の各々についてむらを補正する。こうすることで、タイリング上で表示される両投射画像の重畳領域における輝度変化や色変化をより滑らかにし、タイリング表示された画像の画質を向上させることができる。
【0017】
(5)本発明の第5の態様に係る画像処理装置では、第1の態様又は第2の態様において、前記第2の投射画像のむらを補正するための補正値を記憶する第2のむら補正値記憶部と、前記第2のむら補正記憶部に記憶された補正値を用いて前記第2の投射画像のむらを補正する第2のむら補正処理部とを含み、前記第1のむら補正処理部及び前記第2のむら補正処理部は、前記第1の投射画像内の輝度のピーク位置と前記第1のむら補正処理部による補正後の前記第1の画素位置との第1の色差と、前記第1のむら補正処理部による補正後の前記第1の画素位置と前記第2の投射画像内の輝度のピーク位置との第2の色差との和が最小となるように、むらを補正する。
本態様においては、第1の投射画像内の輝度のピーク位置と第1のむら補正処理部による補正後の第1の画素位置との第1の色差と、第1のむら補正処理部による補正後の第1の画素位置と第2の投射画像内の輝度のピーク位置との第2の色差との和に着目して、第1の投射画像及び第2の投射画像の各々についてむらを補正する。こうすることで、タイリング上で表示される両投射画像の重畳領域における輝度変化や色変化をより滑らかにし、タイリング表示された画像の画質を向上させることができる。
【0018】
(6)本発明の第6の態様に係る画像処理装置では、第1の態様又は第2の態様において、前記第2の投射画像のむらを補正するための補正値を記憶する第2のむら補正値記憶部と、前記第2のむら補正記憶部に記憶された補正値を用いて前記第2の投射画像のむらを補正する第2のむら補正処理部とを含み、前記第1のむら補正処理部及び前記第2のむら補正処理部は、前記第1の投射画像内の輝度のピーク位置と前記第2の投射画像内の輝度のピーク位置との間で明度の変化が単調変化となるように、むらを補正する。
本態様においては、第1の投射画像内の輝度のピーク位置と第2の投射画像内の輝度のピーク位置との間で明度の変化が単調変化となるように、第1の投射画像及び第2の投射画像の各々についてむらを補正する。こうすることで、タイリング上で表示される両投射画像の重畳領域における輝度変化や色変化をより滑らかにし、タイリング表示された画像の画質を向上させることができる。
【0019】
(7)本発明の第7の態様は、画像表示装置が、第1の態様乃至第6の態様のいずれかに記載の画像処理装置を含む。
【0020】
本態様によれば、表示特性に応じて重畳領域での変化が小さくなるような補正を行うことで、タイリング表示された画像の画質を向上させる画像表示装置を提供することができるようになる。
【0021】
(8)本発明の第8の態様は、第1の投射画像及び第2の投射画像が重畳領域を設けて配置されるタイリング画像のむら補正を行う画像処理方法が、前記第1の投射画像内の非重畳領域と前記重畳領域との境界部における第1の画素位置の輝度は、前記第2の投射画像内の非重畳領域と前記重畳領域との境界部における第2の画素位置の輝度より低く、前記第2の画素位置の輝度に基づいて、前記第1の投射画像の非重畳領域及び前記重畳領域において、むらを補正する。
【0022】
本態様においては、第1の投射画像及び第2の投射画像によりタイリング画像を表示するとき、第1の投射画像の非重畳領域と重畳領域との境界部における第1の画素位置が、第2の投射画像の非重畳領域と重畳領域との境界部における第2の画素位置の輝度より低い。このとき、第1の画素位置における輝度が低い第1の投射画像の非重畳領域及び重畳領域において、第2の画素位置の輝度に基づいてむら補正処理を行うようにしたので、第1の投射画像及び第2の投射画像の各々を表示する画像表示装置の表示特性に応じて重畳領域での変化が小さくなるように補正することができる。従って、タイリング表示された画像の画質を向上させる画像処理方法を提供することができるようになる。
【図面の簡単な説明】
【0023】
【図1】第1の実施形態におけるマルチプロジェクションシステムの構成例のブロック図。
【図2】図1の画像処理部の構成例のブロック図。
【図3】図2の画像処理部の処理例のフロー図。
【図4】むら補正LUTの準備処理の一例のフロー図。
【図5】むら補正LUT作成処理の一例のフロー図。
【図6】むら特性測定処理の一例のフロー図。
【図7】むら補正LUT生成処理の一例のフロー図。
【図8】図5のステップS42におけるむら補正目標値演算処理の一例のフロー図。
【図9】第1の実施形態におけるタイリング表示される第1の投射画像及び第2の投射画像の説明図。
【図10】図9に示す第1のプロジェクター及び第2のプロジェクターの色域の一例を示す図。
【図11】第1の実施形態におけるむら補正処理に関する第1の説明図。
【図12】第1の実施形態におけるむら補正処理に関する第2の説明図。
【図13】第1の実施形態における重畳領域の境界位置の説明図。
【図14】第1の実施形態におけるむら補正処理に関する第3の説明図。
【図15】第2の実施形態におけるマルチプロジェクションシステムの構成例のブロック図。
【図16】図15の画像処理装置の構成例のブロック図。
【図17】第2の実施形態におけるむら補正処理に関する第1の説明図。
【図18】第2の実施形態におけるむら補正処理に関する第2の説明図。
【図19】第2の実施形態の第1の変形例におけるむら補正処理に関する説明図。
【図20】第2の実施形態の第2の変形例におけるむら補正処理に関する説明図。
【図21】図21(A)は、タイリング表示の説明図。図21(B)は、図21(A)のようにタイリング表示された画像に対して行うブレンド処理の説明図。
【発明を実施するための形態】
【0024】
以下、本発明の実施の形態について図面を用いて詳細に説明する。なお、以下に説明する実施の形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また以下で説明される構成のすべてが本発明の課題を解決するために必須の構成要件であるとは限らない。
なお、以下の実施形態では、2台のプロジェクターを用いてタイリング表示を行う例について説明するが、3台以上のプロジェクターを用いてタイリング表示を行う場合にも本発明を適用することができる。また、以下では、2台のプロジェクターを用いて水平方向に並べてタイリング表示を行う例について説明するが、垂直方向に並べてタイリング表示を行う場合にも本発明を同様に適用することができる。
【0025】
〔第1の実施形態〕
図1に、本発明の第1の実施形態におけるマルチプロジェクションシステムの構成例のブロック図を示す。図1では、マルチプロジェクションシステムを構成する第1のプロジェクター(第1の画像表示装置)が第1の実施形態における画像処理装置としての画像処理部を備えている。そして、第1のプロジェクターがマスターとなり、第1のプロジェクターには第2のプロジェクター(第2の画像表示装置)がスレーブとして接続される。
【0026】
マルチプロジェクションシステム(広義には、表示システム)10は、第1のプロジェクターPJ1と、第2のプロジェクターPJ2と、画像信号供給装置20と、むら測定装置30とを備えている。第1のプロジェクターPJ1は、画像処理部100と、画像形成部200と、操作部300とを備えている。第2のプロジェクターPJ2もまた、第1のプロジェクターPJ1の画像形成部200と同様の画像形成部(図示せず)を備えている。
【0027】
第1のプロジェクターPJ1及び第2のプロジェクターPJ2の各々は、画像信号供給装置20からの画像信号に基づいて、投射画像を、重畳領域を設けてスクリーンSCR上に表示することで、タイリング画像を表示する。このとき、第1のプロジェクターPJ1は、むら測定装置30により測定されたスクリーンSCR上の投射画像のむら測定結果に基づいてむら補正処理を行い、むら補正処理後の画像信号に基づいて第1の投射画像IMG1をスクリーンSCRに投射する。第1の投射画像IMG1と第2の投射画像IMG2とでタイリング表示を行うことで、重畳領域の輝度変化や色変化が小さく、画質を向上させたタイリング画像を表示する。
【0028】
画像信号供給装置20は、タイリング表示を行う画像に対応した画像信号を生成し、該画像信号を第1のプロジェクターPJ1に供給する。第2のプロジェクターPJ2には、マスターとして設けられた第1のプロジェクターPJ1から画像信号が供給される。また、画像信号供給装置20は、輝度むら補正及び色むら補正等のむら補正処理を行うためのむら測定パターンに対応した画像信号を、第1のプロジェクターPJ1に対して供給する。このような画像信号供給装置20の機能は、DVD(Digital Versatile Disc)装置やパーソナルコンピューター(Personal Computer:PC)等により実現される。なお、画像信号供給装置20の機能の一部又は全部を、画像処理部100が有していてもよい。
【0029】
むら測定装置30は、CCD(Charge Coupled Device)センサー等の2次元イメージセンサーであり、スクリーンSCRに投射された画像を測定(撮影)できるように設置されている。むら測定装置30は、画像信号供給装置20からの各むら測定パターンの画像信号に基づいて表示されたべた画像を撮影し、面内におけるXYZ三刺激値の2次元分布情報を取得する。むら測定パターンは、グレイ画像及びRGBの各色成分の階調を0パーセントから100パーセントまで変化させた中間調を含むべた画像(全画素が同一画素値の画像)とすることができる。このようなむら測定装置30として、例えばxyz等色関数で近似された分光感度を有するフィルターを用いて撮影し、マトリクス補正演算によりXYZ三刺激値を得るもの(Radiant Imaging社のProMetric等)がある。むら測定装置30により撮影されたデータはむら測定値として、画像処理部100に送られる。画像処理部100は、むら測定装置30によるむら測定処理を制御するための制御部を内蔵していてもよい。
【0030】
画像処理部100は、単体表示用又はタイリング表示用の画像の解像度の種別や各プロジェクターの色特性(表示特性)に応じて、画像信号供給装置20からの画像信号に対してむら補正処理等の画像補正処理を行い、画像補正処理後の画像信号を各画像形成部に供給する。このような画像処理部100の機能は、中央演算処理装置(Central Processing Unit:CPU)及びメモリーを有する構成により実現されるソフトウェア処理や、ASIC(Application Specific Integrated Circuit)等のロジック回路により実現される。
【0031】
画像形成部200は、光源、光源からの光をライトバルブ(光変調部)に送る光学系(照明光学系)、ダイクロイックミラー、液晶ライトバルブ、色合成プリズム(クロスダイクロイックプリズム)、投射光学系、駆動回路等を含む。画像形成部200は、画像処理部100からの画像信号に基づいて、光源からの光を変調して画像を形成し、スクリーンSCRに投射する。
【0032】
操作部300には、単体表示やタイリング表示等の表示モードの設定や、タイリング表示の際の各プロジェクターの配置位置、重畳領域の大きさや位置をユーザーにより設定するための操作情報が入力される。また、画像処理部100は、複数のむら補正処理モードを備え、操作部300には、むら補正処理において用いるむら補正ルックアップテーブル(Look-Up Table:以下、LUT)を選択するための操作情報が入力される。これらの操作情報は、画像処理部100に送られる。
【0033】
図2に、図1の画像処理部100の構成例のブロック図を示す。図2では、説明の便宜上、図1の画像信号供給装置20、むら測定装置30、画像形成部200、操作部300、及び第2のプロジェクターPJ2も合わせて図示している。
【0034】
画像処理部100は、画像分割処理部110と、むら補正LUT選択部120と、むら補正目標値演算部130と、むら補正LUT生成部140と、通知処理部150とを備えている。また、画像処理部100は、第1のプロジェクターPJ1の画像形成部200に対応して、第1のむら補正LUT記憶部(第1のむら補正値記憶部)160と、第1のむら補正処理部162とを備えている。
【0035】
画像分割処理部110は、操作部300により設定された重畳領域の設定内容に従って、画像信号供給装置20からの画像信号に対して画像の分割処理を行う。分割処理後の画像信号は、第1のむら補正処理部162と、第2のプロジェクターPJ2に対して出力される。
むら補正LUT選択部120は、第1のむら補正LUT記憶部160に記憶される複数のむら補正LUTの1つを選択する。むら補正LUT選択部120は、画像信号供給装置20からの画像信号の種別(単体表示又はタイリング表示)やプロジェクターの配置に応じてむら補正LUTを選択したり、操作部300からの操作情報に基づいてむら補正LUTを選択したりする。また、むら補正LUT選択部120は、画像信号供給装置20からの画像信号自体に含まれる情報や、入力画像の解析結果に基づいて、むら補正LUTを選択するようにしてもよい。
【0036】
むら補正目標値演算部130は、むら測定装置30により測定された各プロジェクターの投射画像のむら測定値に基づいて、画像信号のむら補正処理の目標値を演算する。このとき、むら補正目標値演算部130は、操作部300により設定された重畳領域の設定内容に従って、重畳領域と第1の投射画像IMG1の非重畳領域の少なくとも一部におけるむら補正目標値を演算する。
むら補正LUT生成部140は、むら補正目標値演算部130により演算されたむら補正目標値に基づいて、第1のプロジェクターPJ1においてむら補正処理を行うためのむら補正値をテーブル化したむら補正LUTを生成する。
第1のむら補正LUT記憶部160は、むら補正LUT生成部140によって生成されたむら補正LUTを記憶する。このような第1のむら補正LUT記憶部160は、SRAM(Static Random Access Memory)等のメモリーと、該メモリーに対する書き込み制御及び読み出し制御を行う制御部とにより構成される。
【0037】
通知処理部150は、むら補正目標値演算部130における演算結果に基づき、所与の通知処理を行う。例えば、むら補正目標値演算部130における演算処理において第1のむら補正処理を行ってもタイリング画像の画質を向上できないと判断されるとき、通知処理部150は、タイリング画像の表示条件の変更を促す画面を表示する処理を行う。具体的には、通知処理部150は、重畳領域の再設定を促す画面をスクリーンSCRに表示する処理を行う。例えば第1のむら補正処理後の輝度又は色差の変化が所与の閾値以上であるとき、通知処理部150は、タイリング画像の画質を向上できないと判断することができる。
【0038】
第1のむら補正処理部162は、第1のむら補正LUT記憶部160に記憶されたむら補正LUTを用いてむら補正処理を行う。第1のむら補正LUT記憶部160には、記憶容量を削減するため、画面の縦方向×画面の横方向×階調方向の3軸における所与の数の格子点において、対応するむら補正値がLUTとして記憶される。そのため、第1のむら補正処理部162は、格子点におけるむら補正値から線形補間や曲線補間等の公知の補間演算により格子点間のむら補正値を求め、該むら補正値を用いてむら補正処理後の画像信号を得る。
【0039】
〔むら補正処理〕
次に、図2の画像処理部100によるむら補正処理について、詳細に説明する。
図3に、図2の画像処理部100の処理例のフロー図を示す。
まず、画像処理部100は、第1のむら補正LUT記憶部160に記憶される複数のむら補正LUTの中から、むら補正LUT選択部120により1つのむら補正LUTを選択する(ステップS10)。このとき、むら補正LUT選択部120は、画像信号供給装置20からの画像信号又は操作部300からの操作情報に基づいて、むら補正LUTを選択する。第1のむら補正LUT記憶部160には、単体表示やタイリング表示、プロジェクターの配置に応じた複数のむら補正LUTが記憶されている。
【0040】
画像処理部100は、画像分割処理部110において画像信号供給装置20からの画像信号の入力を監視しており(ステップS12:N)、画像信号が入力されたとき(ステップS12:Y)、画像の分割処理を行う。画像分割処理部110は、操作部300により設定された重畳領域の設定内容に従って画像の分割処理を行う。分割処理後の画像のうち第1のプロジェクターPJ1より投射される画像の画像信号は、第1のむら補正処理部162に出力され、第2のプロジェクターPJ2により投射される画像の画像信号は、第2のプロジェクターPJ2に出力される。
【0041】
次に、画像処理部100は、第1のむら補正処理部162において、第1のむら補正LUT記憶部160からむら補正値を読み出す(ステップS14)。そして、画像分割処理部110からの画像信号に対して、第1のむら補正処理部162は、むら補正LUTに記憶される格子点におけるむら補正値から、線形補間や曲線補間等の公知の補間演算により格子点間のむら補正値を演算する(ステップS16)。その後、第1のむら補正処理部162は、むら補正LUTに記憶される格子点におけるむら補正値、又はステップS16で求めた格子点間のむら補正値を用いて、画像信号に対してむら補正処理を行う(ステップS18)。
画像信号の入力が終了したとき(ステップS20:Y)、画像処理部100は、一連の処理を終了し(エンド)、画像信号の入力が終了しないとき(ステップS20:N)、画像処理部100は、ステップS12に戻る。
【0042】
上記のむら補正処理に用いられる補正LUTは、次のような手順で生成され、第1のむら補正LUT記憶部160に保存される。
図4に、むら補正LUTの準備処理の一例のフロー図を示す。図4に示すむら補正LUTの準備処理は、第1のむら補正処理部162によるむら補正処理に先立って行われる。
まず、画像処理部100は、ユーザーに対して、操作部300を介した重畳領域の指定を促す処理(例えば画面表示)を行う。ユーザーが操作部300を操作して各投射画像における重畳領域の範囲(例えば、各投射画像の25%)を指定すると、画像処理部100は、指定された重畳領域に対応する操作情報を受け付ける(ステップS30)。その後、画像処理部100は、指定された重畳領域に基づいて、該重畳領域をガイドとしてスクリーンSCR上に表示する処理を行って、ユーザーが、第1のプロジェクターPJ1及び第2のプロジェクターPJ2の設置位置を調整できるようにすることが望ましい。このとき、画像処理部100は、指定された重畳領域に応じて、スクリーンSCR上に重畳領域の色を変えて表示したり、境界を線で表示したりしてもよい。
【0043】
次に、画像処理部100は、第1のむら補正処理部162によるむら補正処理をオフに設定する(ステップS32)。これにより、第1のプロジェクターPJ1及び第2のプロジェクターPJ2の各々が有する色特性を測定することができる。
その後、画像処理部100は、むら補正LUT生成部140等においてむら補正LUT作成処理を行う(ステップS34)。ステップS34では、むら測定装置30により測定した第1のプロジェクターPJ1及び第2のプロジェクターPJ2のむら測定値に基づいてむら補正目標値を演算し、該むら補正目標値に基づいてむら補正LUTが生成される。そして、このむら補正LUTが、第1のむら補正LUT記憶部160に保存される。
【0044】
最後に、画像処理部100は、第1のむら補正処理部162によるむら補正処理をオンに設定し(ステップS36)、一連の処理を終了する(エンド)。これ以降、画像処理部100は、ステップS34において第1のむら補正LUT記憶部160に記憶されたむら補正LUTを用いてむら補正処理を開始することができる。
【0045】
図5に、むら補正LUT作成処理の一例のフロー図を示す。図5に示すむら補正LUT作成処理は、図4のステップS34において行われる。
図6に、むら特性測定処理の一例のフロー図を示す。図6に示すむら特性測定処理は、図5のステップS40において行われる。
図7に、むら補正LUT生成処理の一例のフロー図を示す。図7に示すむら補正LUT生成処理は、図5のステップS44において行われる。
【0046】
図5に示すむら補正LUT作成処理において、画像処理部100は、むら測定装置30を制御し、第1のプロジェクターPJ1及び第2のプロジェクターPJ2の各々のRGBの各階調の色特性値(XYZ値)をむら測定値として取得する(ステップS40)。
【0047】
ステップS40では、図6に示すように、画像処理部100が、画像形成部200によりむら補正処理用の測定パターンを表示する。この測定パターンは、WRGB(グレイ赤緑青)の全画面均一のべた画像を用いる。画像処理部100は、べた画像の測定パターンの表示を順次切り替える(ステップS50)。グレイのべた画像としては、例えばW255(白、数値は階調値),W224,W192,W160,W128,W96,W64,W32,W0(黒)を用いる。各階調のべた画像としては、例えばR255(赤),R224,…,R64,R32,G255(緑),G224,…,G64,G32,B255(青),B224,…,B64,B32を用いる。
【0048】
次に、画像処理部100は、むら測定装置30を制御して、スクリーンSCRに表示された測定パターンの測定(撮影)を行う(ステップS52)。むら測定装置30は、各プロジェクターの投射画像がすべて撮影画面内に入るように設置し、露出やピントは階調つぶれがなく、むらの状態を正しく認識できるようになっていればよい。このとき、測定パターンの撮影データにずれが生じないように、むら測定装置30は、三脚に設置されることが望ましい。画像処理部100は、1つの測定パターン(階調)につき1回の撮影を行い、その撮影データをむら測定装置として取得する。
全測定が終了したとき(ステップS54:Y)、画像処理部100は、一連のむら特性測定処理を終了し(エンド)、全測定が終了しないとき(ステップS54:N)、ステップS50に戻る。
【0049】
図5のステップS40においてむら測定が行われると、画像処理部100は、むら補正目標値演算部130においてむら補正目標値を演算する(ステップS42、むら補正目標値演算ステップ)。むら補正目標値演算部130は、sRGB等の目標色空間の色度を考慮した上で、プロジェクター毎の各階調のむら測定値から、タイリング状態で用いる各プロジェクターの白色やグレイ軸(白〜黒)の目標XYZ値を定める。ステップS42の詳細については、後述する。
【0050】
続いて、画像処理部100は、むら補正LUT生成部140において、むら補正LUTを生成する(ステップS44、むら補正LUT生成ステップ)。むら補正LUT生成部140は、プロジェクター毎のむら測定値を用いて、目標XYZ値を出力するための入力RGB値を算出することで、LUTを生成する。
【0051】
ステップS44では、図7に示すように、むら補正LUT生成部140は、むら補正LUTの各格子点入力値に対応する色目標値を演算する(ステップS60)。次に、むら補正LUT生成部140は、演算された色目標値を出力可能な入力値を、測定されたプロジェクターの色特性値から探索する(ステップS62)。むら補正LUT生成部140は、ステップS62において探索された結果をLUT値として保存する(ステップS64)。その後、むら補正LUTの全格子点についてLUT値の探索が終了したとき(ステップS66:Y)、むら補正LUT生成部140は、一連のむら補正LUT生成処理を終了し(エンド)、探索が終了していないとき(ステップS66:N)、ステップS60に戻る。
【0052】
図5のステップS44においてむら補正LUTが生成されると、画像処理部100は、生成されたむら補正LUTを第1のむら補正LUT記憶部160に保存し(ステップS46)、一連のむら補正LUT作成処理を終了する(エンド)。
【0053】
次に、図5のステップS42において行われるむら補正目標値演算処理について詳細に説明する。
図8に、図5のステップS42におけるむら補正目標値演算処理の一例のフロー図を示す。
まず、むら補正目標値演算部130は、目標色空間及び各プロジェクターの色特性値を取得する(ステップS70)。そして、むら補正目標値演算部130は、各プロジェクター(各プロジェクターの投射画像)の色特性値に基づいて、目標色空間における各プロジェクターの白色目標値を演算する(ステップS72)。その後、むら補正目標値演算部130は、ステップS72で演算した各プロジェクターの白色目標値を用いて、各プロジェクターの中間調目標値を演算し(ステップS74)、一連の処理を終了する(エンド)。
【0054】
以下、図8のむら補正目標値演算処理について具体的に説明する。
図9に、第1の実施形態におけるタイリング表示される第1の投射画像IMG1及び第2の投射画像IMG2の説明図を示す。図9は、タイリング表示された白色べた画像における水平方向の輝度の変化の一例を表したものである。
図9では、第1のプロジェクターPJ1による第1の投射画像IMG1と第2のプロジェクターPJ2による第2の投射画像IMG2とが、重畳領域を設けて隣接して水平方向に配置される。このとき、第1の投射画像IMG1の輝度のピーク位置をC1、第2の投射画像IMG2の輝度のピーク位置をC2、重畳領域の境界位置をB1,B2とする。また、ピーク位置C1における輝度をYc1、ピーク位置C2における輝度をYc2、境界位置B1における輝度をYb1、境界位置B2における輝度をYb2とする。ここで、ピーク位置C1,C2、境界位置B1,B2について、Yc1>Yb1<Yb2<Yc2とする。
【0055】
図10に、図9に示す第1のプロジェクターPJ1及び第2のプロジェクターPJ2の色域の一例を示す。図10は、均等色空間(具体的には、L*u*v*)において、第2のプロジェクターPJ2による白色の輝度を基準白色輝度とし、第1のプロジェクターPJ1の色域も同じ基準白色輝度を基準としている。
図10では、第1のプロジェクターPJ1について、ピーク位置C1におけるピーク色域CP1及び重畳領域の境界位置(境界位置B1を含む)における境界色域CB1を表している。また、図10では、第2のプロジェクターPJ2について、ピーク位置C2におけるピーク色域CP2及び重畳領域の境界位置(境界位置B2を含む)における境界色域CB2を表している。図10において、ピーク位置C1における明度をL*c1、ピーク位置C2における明度をL*c2、境界位置B1における明度をL*b1、境界位置B2における明度をL*b2とする。
【0056】
ここで、ピーク位置C1,C2、境界位置B1,B2についてYc1>Yb1<Yb2<Yc2とすると、従来のエッジブレンド処理を行った後でもこの大小関係が維持される。そのため、図9の境界位置B1,B2の間に明るさの谷が認識されてしまい、従来の色むら補正を行っても、基本的に画面内の輝度分布を継承したまま色むらを補正することになり、色むらは除去されても輝度むらが残ることになる。このような、明るさの谷間は、却って視覚的なむら感が酷くなることがある。
【0057】
そこで、第1の実施形態では、次のようにむら補正目標値を求めることで、むら補正処理後のタイリング画像の明るさや色の差の違和感が少なく、画質を向上させる。
【0058】
図11に、第1の実施形態におけるむら補正処理に関する第1の説明図を示す。図11は、タイリング表示された第1の投射画像IMG1及び第2の投射画像IMG2における水平方向の輝度の変化の一例を表したものである。図11において、図9と同様の部分には同一符号を付し、適宜説明を省略する。なお、図11において、境界位置B1におけるむら補正処理後の輝度をYb1´として表している。
第1に、第1の実施形態におけるむら補正処理では、境界位置B1(第1の画素位置)における輝度Yb1及び境界位置B2(第2の画素位置)における輝度Yb2のうち、低い方の輝度に対応するプロジェクターをむら補正処理対象とする。図11に示す場合、Yb1<Yb2であるため、第1の実施形態では、輝度Yb1に対応する第1のプロジェクターPJ1を、むら補正処理対象とする。これにより、第1のプロジェクターPJ1の境界位置B1における輝度を上げることで、境界位置B1,B2における明るさの谷を目立たなくすることができる。
【0059】
第2に、第1の実施形態におけるむら補正処理では、修正対象のプロジェクターによる投射画像において、非修正対象のプロジェクターによる投射画像の境界位置における輝度と等しい画素位置を検出する。図11に示す場合、第1のプロジェクターPJ1による第1の投射画像IMG1において、境界位置B2における輝度Yb2と等しい輝度を有する画素位置A1(第3の画素位置)を検出する。その後、第1の投射画像IMG1において、画素位置A1から境界端(第1の投射画像端)にかけてむら補正処理を行う。即ち、第1の実施形態では、第1の投射画像IMG1の非重畳領域及び重畳領域において、境界位置B2における輝度Yb2に基づいてむら補正処理が行われる。このとき、画素位置A1から境界端にかけてむら補正目標値をグレイ軸上に限定せず、明るさの変化が小さくなるようなむら目標値を算出する。
【0060】
第3に、第1の実施形態におけるむら補正処理では、画素位置A1との色差ΔEが最小となるように、画素位置A1から境界端にかけてむら補正処理を行う。
図12に、第1の実施形態におけるむら補正処理に関する第2の説明図を示す。図12は、図10におけるグレイ軸付近の拡大図を表す。図12において、画素位置A1における明度をL*a1、境界位置B1におけるむら補正処理後の明度をL*b1´と表している。
【0061】
即ち、第1の実施形態におけるむら補正処理では、グレイ軸上における画素位置A1の明度と第1のプロジェクターPJ1の境界色域CB1との距離が最小となるように、境界位置B1における明度L*b1´を定める。従来の方法では画素位置A1の輝度Ya1(=Yb2)からYb1まで輝度が低下し、色差でみるとΔE=ΔL*の変化が生じている。目標グレイ軸が色域外郭の角度が急峻なところと合致すると、色差変化がより大きくなる。第1の実施形態では、そのような場合には多少色度が変化しても色差がより小さい方向(Yb1´,L*b1´)にグレイ軸を変化させることで、明るさ低下と色の変化のバランスを取って、人間の視覚的に好ましい変化となるようにする。ΔEが最小という条件でなくても、明度を除いた色差成分であるΔEu*v*に制限を設けて、その制限内でΔEができるだけ小さくなるようにしてもよい。
【0062】
第4に、第1の実施形態におけるむら補正処理では、上記のように定められた非重畳領域のむら補正目標値に従って、重畳領域も滑らかにブレンドされるように、他方の境界にかけて値が0に収束するようなむら補正目標値を求める(図11を参照)。
【0063】
即ち、第1の投射画像IMG1の非重畳領域と重畳領域との境界部に位置する重畳領域の境界位置B1の輝度が、第2の投射画像IMG2の非重畳領域と重畳領域との境界部に位置する重畳領域の境界位置B2の輝度より低いものとする。このとき、第1の実施形態では、第1のむら補正処理部162は、第1の投射画像IMG1の非重畳領域及び重畳領域において、境界位置B2の輝度Yb2に基づいてむらを補正する。
具体的には、第1のむら補正処理部162は、第1の投射画像IMG1において境界位置B2の輝度に対応する輝度を有する画素位置A1(第1の投射画像IMG1内の非重畳領域内の第3の画素位置)から重畳領域内の第1の投射画像端にかけて、むらを補正する。第1のむら補正処理部162は、画素位置A1を基準とした色差が最小となるように、むらを補正することが望ましい。
【0064】
なお、上記では、境界位置B1,B2が、重畳領域の境界位置であるものとして説明したが、第1の実施形態では、境界位置B1,B2が重畳領域の境界位置に限定されるものではない。
図13に、第1の実施形態における重畳領域の境界位置の説明図を示す。図13は、第1の投射画像IMG1及び第2の投射画像IMG2を、重畳領域を設けてスクリーンSCRに並べて配置した様子を模式的に表す。
上述の境界位置B1は、第1の投射画像IMG1の非重畳領域と重畳領域との境界部AR1における画素位置であればよい。境界部AR1は、第1の投射画像IMG1の非重畳領域と重畳領域との境界とその近傍領域を含む領域である。
同様に、上述の境界位置B2は、第2の投射画像IMG2の非重畳領域と重畳領域との境界部AR2における画素位置であればよい。境界部AR2は、第2の投射画像IMG2の非重畳領域と重畳領域との境界とその近傍領域を含む領域である。
【0065】
以上のように白色目標値が求められると、むら補正目標値演算部130は、白色以外の色域の違いについて考慮し、目標グレイ軸を定める。白色点から黒に向かうにつれ、グレイ軸設定の自由度が高くなるため、上述のΔEが徐々に小さくなるようにし、重畳領域の色差が目立たないようにする。
【0066】
図14に、第1の実施形態におけるむら補正処理に関する第3の説明図を示す。図14は、図10におけるグレイ軸付近の拡大図を表す。図14において、図12と同様の部分には同一符号を付し、適宜説明を省略する。なお、図14では、ピーク位置C1、境界位置B1、及び画素位置A1における中間調グレイを、それぞれC1g,B2g,A1gと表している。
むら補正目標値演算部130は、例えば境界位置B1におけるむら補正処理後の白色の明度L*b1´と、境界位置B1における元の黒色の明度L*bbとを、直線若しくは曲線で結び、この2点間を例えば均等に分割して、中間調目標値を定める。
【0067】
以上のようにして、第1のプロジェクターPJ1のむら補正目標値を定めると、公知の方法でむら補正LUTを生成することができる。なお、むら補正目標値演算部130において、第1のプロジェクターPJ1及び第2のプロジェクターPJ2の明るさの差が大きいと判断される場合、通知処理部150は、タイリング画像の表示条件の変更を促す画面を表示する処理を行う。例えば、むら補正目標値演算部130は、ΔEを所定の閾値より小さくできないとき、両プロジェクターの明るさの差が大きいと判断することができる。このとき、むら補正目標値演算部130は、例えばむら補正処理後の境界位置B1における輝度Yb1´とピーク位置C1における輝度Yc1とを比較することで、両プロジェクターの明るさの差の大小を判断する。こうすることで、両プロジェクターの明るさの差を大きい状態でむら補正処理を行っても十分な効果が得られない場合、重畳領域の大きさを大きくすることで、むら補正処理の効果を十分得られるようになる。
【0068】
以上説明したように、第1の実施形態においては、第1の投射画像IMG1及び第2の投射画像IMG2によりタイリング画像を表示する。このとき、境界位置B1における輝度が低い第1の投射画像IMG1の非重畳領域及び重畳領域において、境界位置B2における輝度Yb2に基づいてむら補正処理を行う。こうすることで、各プロジェクターの表示特性に応じて重畳領域での変化が小さくなるような補正を行い、タイリング表示された画像の画質を向上させることができるようになる。
【0069】
〔第2の実施形態〕
第1の実施形態では、第1の投射画像IMG1及び第2の投射画像IMG2によりタイリング画像を表示する場合に、第1の投射画像IMG1を投射する第1のプロジェクターPJ1がむら補正処理を行うものとして説明した。しかしながら、本発明に係る実施形態は、これに限定されるものではない。本発明に係る第2の実施形態では、第1のプロジェクターPJ1及び第2のプロジェクターPJ2の両方がむら補正処理を行う。
【0070】
図15に、本発明の第2の実施形態におけるマルチプロジェクションシステムの構成例のブロック図を示す。図15では、画像処理装置が、第1のプロジェクター及び第2のプロジェクターに接続されている。図15において、図1と同様の部分には同一符号を付し、適宜説明を省略する。
マルチプロジェクションシステム10aは、第1のプロジェクターPJ1aと、第2のプロジェクターPJ2と、画像信号供給装置20と、むら測定装置30と、画像処理装置100aと、操作部300aとを備えている。第1のプロジェクターPJ1aは、図1の画像形成部200を備えている。画像処理装置100aは、図1の画像処理部100と同様の機能を有する。操作部300aは、図1の操作部300と同様の機能を有する。第2の実施形態では、第1のプロジェクターPJ1aによる第1の投射画像IMG1と第2のプロジェクターPJ2による第2の投射画像IMG2とをスクリーンSCRにおいて重畳領域を設けて並べて表示する。
【0071】
図16に、図15の画像処理装置100aの構成例のブロック図を示す。図16では、説明の便宜上、図15の画像信号供給装置20、むら測定装置30、操作部300a、第1のプロジェクターPJ1a及び第2のプロジェクターPJ2も合わせて図示している。図16において、図2と同様の部分には同一符号を付し、適宜説明を省略する。
【0072】
画像処理装置100aは、画像分割処理部110と、むら補正LUT選択部120aと、むら補正目標値演算部130aと、むら補正LUT生成部140aと、通知処理部150とを備えている。また、画像処理装置100aは、第1のプロジェクターPJ1aに対応して、第1のむら補正LUT記憶部160と、第1のむら補正処理部162とを備えている。更に、画像処理装置100aは、第2のプロジェクターPJ2に対応して、第2のむら補正LUT記憶部(第2のむら補正値記憶部)170と、第2のむら補正処理部172とを備えている。
【0073】
画像分割処理部110によって分割された画像に対応した画像信号は、第1のプロジェクターPJ1aと第2のプロジェクターPJ2に対して出力される。
むら補正LUT選択部120aは、画像信号供給装置20からの画像信号の種別やプロジェクターの配置に応じて、第1のむら補正LUT記憶部160に記憶されるむら補正LUTの1つを選択する。また、むら補正LUT選択部120aは、画像信号供給装置20からの画像信号の種別やプロジェクターの配置に応じて、第2のむら補正LUT記憶部170に記憶されるむら補正LUTの1つを選択する。
【0074】
むら補正目標値演算部130aは、むら測定装置30により測定された各プロジェクターの投射画像のむら測定値に基づいて、プロジェクター毎に画像信号のむら補正の目標値を演算する。このとき、むら補正目標値演算部130aは、重畳領域の設定内容に従って、重畳領域と第1の投射画像IMG1の非重畳領域の少なくとも一部におけるむら補正目標値を演算する。また、むら補正目標値演算部130aは、重畳領域の設定内容に従って、重畳領域と第2の投射画像IMG2の非重畳領域の少なくとも一部におけるむら補正目標値を演算する。
【0075】
むら補正LUT生成部140aは、むら補正目標値演算部130aにより演算されたむら補正目標値に基づいて、第1のプロジェクターPJ1aにおいてむら補正処理を行うためのむら補正値をテーブル化したむら補正LUTを生成する。また、むら補正LUT生成部140aは、むら補正目標値演算部130aにより演算されたむら補正目標値に基づいて、第2のプロジェクターPJ2においてむら補正処理を行うためのむら補正値をテーブル化したむら補正LUTを生成する。
第2のむら補正LUT記憶部170は、むら補正LUT生成部140aによって生成されたむら補正LUTを記憶する。このような第2のむら補正LUT記憶部170は、第1のむら補正LUT記憶部160と同様に、SRAM等のメモリーと、該メモリーに対する書き込み制御及び読み出し制御を行う制御部とにより構成される。
【0076】
第2のむら補正処理部172は、第2のむら補正LUT記憶部170に記憶されたむら補正LUTを用いてむら補正処理を行う。第2のむら補正LUT記憶部170には、記憶容量を削減するため、画面の縦方向×画面の横方向×階調方向の3軸における所与の数の格子点において、対応するむら補正値がLUTとして記憶される。そのため、第2のむら補正処理部172は、格子点におけるむら補正値から線形補間や曲線補間等の公知の補間演算により格子点間のむら補正値を求め、該むら補正値を用いてむら補正処理後の画像信号を得る。
【0077】
以上のような画像処理装置100aによるむら補正処理は、各プロジェクターに対する画像信号について第1の実施形態における画像処理部100によるむら補正処理と同様の処理を行う。そのため、第2の実施形態における画像処理装置100aの処理内容については、図示及び説明を省略する。
【0078】
ここで、周辺減光が大きいプロジェクターの場合、第1の実施形態では、輝度むらが気になる場合がある。この場合、第2の実施形態によれば、プロジェクターのピークが顕著でなくなるように、両方のプロジェクターの境界の目標値を変化させ、タイリング状態での輝度変化がより滑らかになるようにすることができる。
【0079】
図17に、第2の実施形態におけるむら補正処理に関する第1の説明図を示す。図17は、タイリング表示された第1の投射画像IMG1及び第2の投射画像IMG2における水平方向の輝度の変化の一例を表したものである。図17において、図11と同様の部分には同一符号を付し、適宜説明を省略する。
第2の実施形態におけるむら補正処理では、ピーク位置C1,C2からの色差であるΔEができるだけ小さくなるように、重畳領域の境界位置B1,B2における輝度を上げる。その結果、図17では、境界位置B1における輝度がYb1´´、境界位置B2における輝度がYb2´になる。このように、第1の投射画像IMG1及び第2の投射画像IMG2の非重畳領域の少なくとも一部についてもむら補正処理を行うことで、より一層、重畳領域における輝度変化を滑らかにすることができるようになる。
【0080】
図18に、第2の実施形態におけるむら補正処理に関する第2の説明図を示す。図18は、図10におけるグレイ軸付近の拡大図を表す。図18において、図12と同様の部分には同一符号を付し、適宜説明を省略する。
第2の実施形態におけるむら補正処理では、ピーク位置C1から境界位置B1までの色差が最小となるように、境界位置B1における明度L*b1´´を定める。そして、ピーク位置C2から境界位置B1までの色差が最小となるように直線を結び、該直線が境界色域CB2と交差する位置を境界位置B2における明度L*b2´と定める。即ち、第2のむら補正処理部172は、第1のむら補正処理部162による補正後の境界位置B1と第2の投射画像IMG2内の輝度のピーク位置C2との色差が最小となるように、重畳領域と第2の投射画像IMG2の非重畳領域についてむらを補正する。
【0081】
第2の実施形態におけるむら補正処理においても、第1の実施形態と同様に、重畳領域も滑らかにブレンドされるようにむら補正目標値を求める。そして、むら補正目標値演算部130aは、第1の実施形態と同様に、中間調目標値を定める。
こうして、各プロジェクターについてむら補正目標値を定めると、むら補正LUT生成部140aは、公知の方法でむら補正LUTを生成する。なお、むら補正目標値演算部130aにおいて、第1のプロジェクターPJ1及び第2のプロジェクターPJ2の明るさの差が大きいと判断される場合、通知処理部150は、タイリング画像の表示条件の変更を促す画面を表示する処理を行ってもよい。
【0082】
以上説明したように、第2の実施形態によれば、第1の投射画像IMG1及び第2の投射画像IMG2についてむら補正処理を行うようにしたので、第1の実施形態に比べて、より一層、重畳領域における輝度変化を滑らかにすることができるようになる。
【0083】
〔第2の実施形態の第1の変形例〕
第2の実施形態では、重畳領域における境界位置B1,B2における輝度を上げてむら補正処理を行っていたが、重畳領域において明るさの谷間が解消されない場合もある。そのため、第2の実施形態の第1の変形例では、重畳領域における明度の変化が単調変化(単調増加又は単調減少)となるように、重畳領域における境界位置B1,B2における輝度(明度)を定める。
【0084】
図19に、第2の実施形態の第1の変形例におけるむら補正処理に関する説明図を示す。図19は、図10におけるグレイ軸付近の拡大図を表す。図19において、図18と同様の部分には同一符号を付し、適宜説明を省略する。
第1の変形例では、ピーク位置C1と同一明度となるように境界位置B1における明度L*b1´´を定める。そして、ピーク位置C2から境界位置B1までの色差が最小となるように直線を結び、該直線が境界色域CB2と交差する位置を境界位置B2における明度L*b2´と定める。即ち、第1のむら補正処理部162及び第2のむら補正処理部172は、輝度のピーク位置C1と輝度のピーク位置C2との間で明度の変化が単調変化となるように、重畳領域及び各投射画像の非重畳領域についてむらを補正する。
【0085】
第2の実施形態の第1の変形例においても、第2の実施形態と同様に、重畳領域も滑らかにブレンドされるようにむら補正目標値を求める。そして、むら補正目標値演算部130aは、第2の実施形態と同様に、中間調目標値を定める。こうして、各プロジェクターについてむら補正目標値を定めると、むら補正LUT生成部140aは、公知の方法でむら補正LUTを生成する。
【0086】
〔第2の実施形態の第2の変形例〕
第2の実施形態の第1の変形例では、ピーク位置C1と同一明度となるように境界位置B1における明度を定めていたが、これに限定されるものではない。第2の変形例では、ピーク位置C1,C2からの色差の和が最小となるように境界位置B1における明度L*b1´´を定める。
【0087】
図20に、第2の実施形態の第2の変形例におけるむら補正処理に関する説明図を示す。図20は、図10におけるグレイ軸付近の拡大図を表す。図20において、図18と同様の部分には同一符号を付し、適宜説明を省略する。
第2の変形例では、ピーク位置C1,C2からの色差が最小となるように境界位置B1における明度L*b1´´を定める。即ち、ピーク位置C1と境界位置B1との色差と、ピーク位置C2から境界位置B1との色差との和が最小となるように、境界位置B1における明度L*b1´´を定める。そして、ピーク位置C2から境界位置B1までの色差が最小となるように直線を結び、該直線が境界色域CB2と交差する位置を境界位置B2における明度L*b2´と定める。即ち、第1のむら補正処理部162及び第2のむら補正処理部172は、輝度のピーク位置C1と第1のむら補正処理部162による補正後の境界位置B1との第1の色差と、第1のむら補正処理部162による補正後の境界位置B1とピーク位置C2との第2の色差との和が最小となるように、重畳領域及び各投射画像の非重畳領域についてむらを補正する。
【0088】
第2の実施形態の第2の変形例においても、第2の実施形態と同様に、重畳領域も滑らかにブレンドされるようにむら補正目標値を求める。そして、むら補正目標値演算部130aは、第2の実施形態と同様に、中間調目標値を定める。こうして、各プロジェクターについてむら補正目標値を定めると、むら補正LUT生成部140aは、公知の方法でむら補正LUTを生成する。
【0089】
以上のように、第2の実施形態では、むら補正目標値の設定自由度が高まるので、上記のような色々なパターンが考えられる。また、重畳領域の処理をできるだけユーザーに意識させないためには、境界位置B1と境界位置B2の色差ができるだけ小さくなるようにしてもよい。また、上記のむら補正処理の中から、ユーザーが選択部を解して選択できるようにしてもよい。
【0090】
以上、本発明に係る画像処理装置、画像表示装置及び画像処理方法等を上記のいずれかの実施形態又はその変形例に基づいて説明したが、本発明は上記のいずれかの実施形態又はその変形例に限定されるものではない。その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。
【0091】
(1)上記の実施形態又はその変形例では、2つの画像形成部により形成される画像をタイリングする例について説明したが、3以上の画像形成部により形成される画像を耐リンスする場合も同様である。
【0092】
(2)上記の実施形態又はその変形例では、本発明に係る画像形成部が、いわゆる3板式の透過型の液晶パネルを用いたライトバルブにより構成される例を説明したが、単板式の液晶パネルや2板又は4板式以上の透過型の液晶パネルを用いたライトバルブを採用することができる。また、光変調素子として透過型の液晶パネルを用いたライトバルブを用いるものとして説明したが、本発明はこれに限定されるものではない。光変調素子として、例えばDLP(Digital Light Processing)(登録商標)、LCOS(Liquid
Crystal On Silicon)等を採用したり、これらが混在した構成を採用したりしてもよい。
【0093】
(3)上記の実施形態又はその変形例では、本発明に係る画像表示装置がプロジェクターである例を説明したが、本発明はこれに限定されるものではない。
【0094】
(4)上記の実施形態又はその変形例では、均等色空間としてL*u*v*空間を例に説明したが、本発明はこれに限定されるものではない。例えば、均等色空間としてL*a*b*空間であってもよい。
【0095】
(5)上記の実施形態又はその変形例において、本発明を、画像処理装置、画像表示装置及び画像処理方法等として説明したが、本発明はこれに限定されるものではない。例えば、本発明に係る画像処理方法やむら補正値生成方法の処理手順が記述されたプログラム、本発明を実現するための画像表示装置の処理方法(画像表示方法)の処理手順が記述されたプログラム、これらのいずれかのプログラムが記録された記録媒体であってもよい。
【符号の説明】
【0096】
10,10a…マルチプロジェクションシステム(表示システム)、
20…画像信号供給装置、 30…むら測定装置、
100…画像処理部(画像処理装置)、 100a…画像処理装置、
110…画像分割処理部、 120,120a…むら補正LUT選択部、
130,130a…むら補正目標値演算部、140,140a…むら補正LUT生成部、
150…通知処理部、
160…第1のむら補正LUT記憶部(第1のむら補正値記憶部)、
162…第1のむら補正処理部、
170…第2のむら補正LUT記憶部(第2のむら補正値記憶部)、
172…第2のむら補正処理部、 200…画像形成部、 300,300a…操作部、
A1…画素位置(第3の画素位置)、 AR1,AR2…境界部、
B1…境界位置(第1の画素位置)、 B2…境界位置(第2の画素位置)、
C1,C2…ピーク位置、 CB1…第1のプロジェクターの境界色域、
CB2…第2のプロジェクターの境界色域、
CP1…第1のプロジェクターのピーク色域、
CP2…第2のプロジェクターのピーク色域、 IMG1…第1の投射画像、
IMG2…第2の投射画像、
L*a1,L*b1,L*b1´L*b1´´,L*b2,L*c1,L*c2…明度、
PJ1,PJ1a…第1のプロジェクター(第1の画像表示装置)、
PJ2…第2のプロジェクター(第2の画像表示装置) SCR…スクリーン、
Yb1,Yb1´,Yb1´´,Yb2,Yb2´,Yc1,Yc2…輝度
【技術分野】
【0001】
本発明は、画像処理装置、画像表示装置及び画像処理方法等に関する。
【背景技術】
【0002】
複数台のプロジェクター(画像表示装置)を用いて、各プロジェクターにより投射される投射画像の一部分を重ね合わせて表示することにより、大画面化と解像度向上を図るタイリング(マルチプロジェクション)技術が知られている。このタイリング技術においては、同一機種(同一種別、同一型番)のプロジェクターの組み合わせに限らず、異なる機種のプロジェクターを組み合わせることも考えられる。
【0003】
一方、プロジェクターには、輝度むらや色むら(広義には、むら)が高画質化への障壁となり、プロジェクター毎にその表示特性に応じた輝度むら補正や色むら補正が行われている。このようなプロジェクターを用いてタイリング表示を行う場合、1台のプロジェクターのみによる表示を考慮して輝度むら補正や色むら補正を行い、輝度は画面の中央部から周辺部に向かってなだらかに低下し、色は画面内で均一になるようにするのが望ましい。
【0004】
ところで、タイリング表示を行う場合、各プロジェクターの投射画像の上下方向(垂直方向)又は左右方向(水平方向)の一部を隣接する投射画像と重ね合わせ、その重畳領域は輝度や色の変化がなだらかになるようなブレンド処理を行うことが多い。あるいは、遮光板によるハードウェア的な光量調節に加えると共に、ソフトウェアによるブレンド処理を行うこともある。
【0005】
図21(A)に、タイリング表示の説明図を示す。図21(B)に、図21(A)のようにタイリング表示された画像に対して行うブレンド処理の説明図を示す。図21(A)及び図21(B)は、2台のプロジェクターを用いてタイリング表示された画像における水平方向の輝度の変化の一例を表したものである。図21(B)では、ブレンド処理後の各投射画像の水平方向の輝度の変化を波線で表し、タイリング表示された画像の水平方向の輝度の変化を実線で表している。
【0006】
タイリング表示を行うとき、投射面において重畳領域を設けて、第1のプロジェクターによる投射画像IMG1を第2のプロジェクターによる投射画像IMG2に重ね合わせる。このとき、各プロジェクター固有の輝度むら補正や色むら補正が行われ、投射画像IMG1,IMG2は、図21(A)に示すように、それぞれ輝度が中央部から周辺部に向かってなだらかに低下し、色は画面内で均一化される。その結果、図21(B)に示すように、ブレンド処理によって、投射画像IMG1,IMG2の重畳領域の輝度や色の変化がなだらかになるように補正され、タイリング表示された画像の画質の向上を図ることができる。
【0007】
このようなタイリング表示された画像の画質の向上を図る技術については、種々提案されている。例えば特許文献1には、タイリング表示された画像を撮影し、表示領域全体で均一又は連続した明るさとなるように補正することで、重畳領域の境界を目立たなくする技術が開示されている。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】特開2002−116500号公報
【発明の概要】
【発明が解決しようとする課題】
【0009】
しかしながら、各プロジェクターは、輝度や色度の差異、固有の周辺減光特性を有する。そのため、特許文献1に開示された技術では、図21(B)に示すようにブレンド処理を行っても、プロジェクター単体で画面全体をなだらかに変化させることは難しい。従って、タイリング表示された画像では、重畳領域において輝度や色の変化が波打って、画像を観察する人間の眼には、むらとして認識されてしまうという問題が残る。
【0010】
特に、各プロジェクターにおいては、白の色をsRGB(standard RGB)等の規格値に合わせるのではなく、プロジェクターの素の白色(デバイス白色)をそのまま用いたり、デバイス白色とsRGBの間の色にしたりすることで明るさを確保することが多い。従って、プロジェクターの個体差が大きいほど重畳領域での変化も激しくなる。また、タイリング表示のために各プロジェクターにおいて白を規格値に完全に合わせたり、輝度が画面内で均一になるようなむら補正を行ったりすると、輝度損失が大きくなり望ましくない。
【0011】
本発明は、以上のような技術的課題に鑑みてなされたものである。本発明の幾つかの態様によれば、各画像表示装置の表示特性に応じて重畳領域での変化が小さくなるような補正を行うことで、タイリング表示された画像の画質を向上させることができる画像処理装置、画像表示装置及び画像処理方法等を提供することができる。
【課題を解決するための手段】
【0012】
(1)本発明の第1の態様は、第1の投射画像及び第2の投射画像が重畳領域を設けて配置されるタイリング画像のむら補正を行う画像処理装置が、前記第1の投射画像のむらを補正するための補正値を記憶する第1のむら補正値記憶部と、前記第1のむら補正記憶部に記憶された補正値を用いて前記第1の投射画像のむらを補正する第1のむら補正処理部とを含み、前記第1の投射画像の非重畳領域と前記重畳領域との境界部における第1の画素位置の輝度は、前記第2の投射画像の非重畳領域と前記重畳領域との境界部における第2の画素位置の輝度より低く、前記第1のむら補正処理部は、前記第1の投射画像の非重畳領域及び前記重畳領域において、前記第2の画素位置の輝度に基づいてむらを補正する。
【0013】
本態様においては、第1の投射画像及び第2の投射画像によりタイリング画像を表示する。このとき、第1の投射画像の非重畳領域と重畳領域との境界部における第1の画素位置が、第2の投射画像の非重畳領域と重畳領域との境界部における第2の画素位置の輝度より低い。そこで、第1のむら補正処理部が、第1の画素位置における輝度が低い第1の投射画像の非重畳領域及び重畳領域において、第2の画素位置の輝度に基づいてむら補正処理を行う。これにより、第1の投射画像及び第2の投射画像の各々を表示する画像表示装置の表示特性に応じて重畳領域での変化が小さくなるように補正することができ、タイリング表示された画像の画質を向上させることができるようになる。
【0014】
(2)本発明の第2の態様に係る画像処理装置では、第1の態様において、前記第1のむら補正処理部は、前記第1の投射画像において前記第2の画素位置の輝度に対応する輝度を有する前記第1の投射画像内の非重畳領域内の第3の画素位置から前記重畳領域内の前記第1の投射画像端にかけて、むらを補正する。
本態様においては、第1の投射画像において第2の画素位置の輝度に対応する輝度を有する第1の投射画像内の非重畳領域内の第3の画素位置から重畳領域にかけてむらを補正するようにしたので、重畳領域における明るさの谷間等のむらを軽減することができる。
【0015】
(3)本発明の第3の態様に係る画像処理装置では、第2の態様において、前記第1のむら補正処理部は、前記第3の画素位置を基準とした色差が最小となるように、むらを補正する。
本態様によれば、第3の画素位置を基準とした色差が最小となるように、むらを補正するようにしたので、むらが補正される領域における色の変化を小さくし、タイリング表示された画像の画質を向上させることができるようになる。
【0016】
(4)本発明の第4の態様に係る画像処理装置では、第1の態様乃至第3の態様のいずれかにおいて、前記第2の投射画像のむらを補正するための補正値を記憶する第2のむら補正値記憶部と、前記第2のむら補正記憶部に記憶された補正値を用いて前記第2の投射画像のむらを補正する第2のむら補正処理部とを含み、前記第2のむら補正処理部は、前記第1のむら補正処理部による補正後の前記第1の画素位置と前記第2の投射画像内の輝度のピーク位置との色差が最小となるように、むらを補正する。
本態様においては、第1のむら補正処理部による補正後の第1の画素位置と第2の投射画像内の輝度のピーク位置との色差に着目して、第1の投射画像及び第2の投射画像の各々についてむらを補正する。こうすることで、タイリング上で表示される両投射画像の重畳領域における輝度変化や色変化をより滑らかにし、タイリング表示された画像の画質を向上させることができる。
【0017】
(5)本発明の第5の態様に係る画像処理装置では、第1の態様又は第2の態様において、前記第2の投射画像のむらを補正するための補正値を記憶する第2のむら補正値記憶部と、前記第2のむら補正記憶部に記憶された補正値を用いて前記第2の投射画像のむらを補正する第2のむら補正処理部とを含み、前記第1のむら補正処理部及び前記第2のむら補正処理部は、前記第1の投射画像内の輝度のピーク位置と前記第1のむら補正処理部による補正後の前記第1の画素位置との第1の色差と、前記第1のむら補正処理部による補正後の前記第1の画素位置と前記第2の投射画像内の輝度のピーク位置との第2の色差との和が最小となるように、むらを補正する。
本態様においては、第1の投射画像内の輝度のピーク位置と第1のむら補正処理部による補正後の第1の画素位置との第1の色差と、第1のむら補正処理部による補正後の第1の画素位置と第2の投射画像内の輝度のピーク位置との第2の色差との和に着目して、第1の投射画像及び第2の投射画像の各々についてむらを補正する。こうすることで、タイリング上で表示される両投射画像の重畳領域における輝度変化や色変化をより滑らかにし、タイリング表示された画像の画質を向上させることができる。
【0018】
(6)本発明の第6の態様に係る画像処理装置では、第1の態様又は第2の態様において、前記第2の投射画像のむらを補正するための補正値を記憶する第2のむら補正値記憶部と、前記第2のむら補正記憶部に記憶された補正値を用いて前記第2の投射画像のむらを補正する第2のむら補正処理部とを含み、前記第1のむら補正処理部及び前記第2のむら補正処理部は、前記第1の投射画像内の輝度のピーク位置と前記第2の投射画像内の輝度のピーク位置との間で明度の変化が単調変化となるように、むらを補正する。
本態様においては、第1の投射画像内の輝度のピーク位置と第2の投射画像内の輝度のピーク位置との間で明度の変化が単調変化となるように、第1の投射画像及び第2の投射画像の各々についてむらを補正する。こうすることで、タイリング上で表示される両投射画像の重畳領域における輝度変化や色変化をより滑らかにし、タイリング表示された画像の画質を向上させることができる。
【0019】
(7)本発明の第7の態様は、画像表示装置が、第1の態様乃至第6の態様のいずれかに記載の画像処理装置を含む。
【0020】
本態様によれば、表示特性に応じて重畳領域での変化が小さくなるような補正を行うことで、タイリング表示された画像の画質を向上させる画像表示装置を提供することができるようになる。
【0021】
(8)本発明の第8の態様は、第1の投射画像及び第2の投射画像が重畳領域を設けて配置されるタイリング画像のむら補正を行う画像処理方法が、前記第1の投射画像内の非重畳領域と前記重畳領域との境界部における第1の画素位置の輝度は、前記第2の投射画像内の非重畳領域と前記重畳領域との境界部における第2の画素位置の輝度より低く、前記第2の画素位置の輝度に基づいて、前記第1の投射画像の非重畳領域及び前記重畳領域において、むらを補正する。
【0022】
本態様においては、第1の投射画像及び第2の投射画像によりタイリング画像を表示するとき、第1の投射画像の非重畳領域と重畳領域との境界部における第1の画素位置が、第2の投射画像の非重畳領域と重畳領域との境界部における第2の画素位置の輝度より低い。このとき、第1の画素位置における輝度が低い第1の投射画像の非重畳領域及び重畳領域において、第2の画素位置の輝度に基づいてむら補正処理を行うようにしたので、第1の投射画像及び第2の投射画像の各々を表示する画像表示装置の表示特性に応じて重畳領域での変化が小さくなるように補正することができる。従って、タイリング表示された画像の画質を向上させる画像処理方法を提供することができるようになる。
【図面の簡単な説明】
【0023】
【図1】第1の実施形態におけるマルチプロジェクションシステムの構成例のブロック図。
【図2】図1の画像処理部の構成例のブロック図。
【図3】図2の画像処理部の処理例のフロー図。
【図4】むら補正LUTの準備処理の一例のフロー図。
【図5】むら補正LUT作成処理の一例のフロー図。
【図6】むら特性測定処理の一例のフロー図。
【図7】むら補正LUT生成処理の一例のフロー図。
【図8】図5のステップS42におけるむら補正目標値演算処理の一例のフロー図。
【図9】第1の実施形態におけるタイリング表示される第1の投射画像及び第2の投射画像の説明図。
【図10】図9に示す第1のプロジェクター及び第2のプロジェクターの色域の一例を示す図。
【図11】第1の実施形態におけるむら補正処理に関する第1の説明図。
【図12】第1の実施形態におけるむら補正処理に関する第2の説明図。
【図13】第1の実施形態における重畳領域の境界位置の説明図。
【図14】第1の実施形態におけるむら補正処理に関する第3の説明図。
【図15】第2の実施形態におけるマルチプロジェクションシステムの構成例のブロック図。
【図16】図15の画像処理装置の構成例のブロック図。
【図17】第2の実施形態におけるむら補正処理に関する第1の説明図。
【図18】第2の実施形態におけるむら補正処理に関する第2の説明図。
【図19】第2の実施形態の第1の変形例におけるむら補正処理に関する説明図。
【図20】第2の実施形態の第2の変形例におけるむら補正処理に関する説明図。
【図21】図21(A)は、タイリング表示の説明図。図21(B)は、図21(A)のようにタイリング表示された画像に対して行うブレンド処理の説明図。
【発明を実施するための形態】
【0024】
以下、本発明の実施の形態について図面を用いて詳細に説明する。なお、以下に説明する実施の形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また以下で説明される構成のすべてが本発明の課題を解決するために必須の構成要件であるとは限らない。
なお、以下の実施形態では、2台のプロジェクターを用いてタイリング表示を行う例について説明するが、3台以上のプロジェクターを用いてタイリング表示を行う場合にも本発明を適用することができる。また、以下では、2台のプロジェクターを用いて水平方向に並べてタイリング表示を行う例について説明するが、垂直方向に並べてタイリング表示を行う場合にも本発明を同様に適用することができる。
【0025】
〔第1の実施形態〕
図1に、本発明の第1の実施形態におけるマルチプロジェクションシステムの構成例のブロック図を示す。図1では、マルチプロジェクションシステムを構成する第1のプロジェクター(第1の画像表示装置)が第1の実施形態における画像処理装置としての画像処理部を備えている。そして、第1のプロジェクターがマスターとなり、第1のプロジェクターには第2のプロジェクター(第2の画像表示装置)がスレーブとして接続される。
【0026】
マルチプロジェクションシステム(広義には、表示システム)10は、第1のプロジェクターPJ1と、第2のプロジェクターPJ2と、画像信号供給装置20と、むら測定装置30とを備えている。第1のプロジェクターPJ1は、画像処理部100と、画像形成部200と、操作部300とを備えている。第2のプロジェクターPJ2もまた、第1のプロジェクターPJ1の画像形成部200と同様の画像形成部(図示せず)を備えている。
【0027】
第1のプロジェクターPJ1及び第2のプロジェクターPJ2の各々は、画像信号供給装置20からの画像信号に基づいて、投射画像を、重畳領域を設けてスクリーンSCR上に表示することで、タイリング画像を表示する。このとき、第1のプロジェクターPJ1は、むら測定装置30により測定されたスクリーンSCR上の投射画像のむら測定結果に基づいてむら補正処理を行い、むら補正処理後の画像信号に基づいて第1の投射画像IMG1をスクリーンSCRに投射する。第1の投射画像IMG1と第2の投射画像IMG2とでタイリング表示を行うことで、重畳領域の輝度変化や色変化が小さく、画質を向上させたタイリング画像を表示する。
【0028】
画像信号供給装置20は、タイリング表示を行う画像に対応した画像信号を生成し、該画像信号を第1のプロジェクターPJ1に供給する。第2のプロジェクターPJ2には、マスターとして設けられた第1のプロジェクターPJ1から画像信号が供給される。また、画像信号供給装置20は、輝度むら補正及び色むら補正等のむら補正処理を行うためのむら測定パターンに対応した画像信号を、第1のプロジェクターPJ1に対して供給する。このような画像信号供給装置20の機能は、DVD(Digital Versatile Disc)装置やパーソナルコンピューター(Personal Computer:PC)等により実現される。なお、画像信号供給装置20の機能の一部又は全部を、画像処理部100が有していてもよい。
【0029】
むら測定装置30は、CCD(Charge Coupled Device)センサー等の2次元イメージセンサーであり、スクリーンSCRに投射された画像を測定(撮影)できるように設置されている。むら測定装置30は、画像信号供給装置20からの各むら測定パターンの画像信号に基づいて表示されたべた画像を撮影し、面内におけるXYZ三刺激値の2次元分布情報を取得する。むら測定パターンは、グレイ画像及びRGBの各色成分の階調を0パーセントから100パーセントまで変化させた中間調を含むべた画像(全画素が同一画素値の画像)とすることができる。このようなむら測定装置30として、例えばxyz等色関数で近似された分光感度を有するフィルターを用いて撮影し、マトリクス補正演算によりXYZ三刺激値を得るもの(Radiant Imaging社のProMetric等)がある。むら測定装置30により撮影されたデータはむら測定値として、画像処理部100に送られる。画像処理部100は、むら測定装置30によるむら測定処理を制御するための制御部を内蔵していてもよい。
【0030】
画像処理部100は、単体表示用又はタイリング表示用の画像の解像度の種別や各プロジェクターの色特性(表示特性)に応じて、画像信号供給装置20からの画像信号に対してむら補正処理等の画像補正処理を行い、画像補正処理後の画像信号を各画像形成部に供給する。このような画像処理部100の機能は、中央演算処理装置(Central Processing Unit:CPU)及びメモリーを有する構成により実現されるソフトウェア処理や、ASIC(Application Specific Integrated Circuit)等のロジック回路により実現される。
【0031】
画像形成部200は、光源、光源からの光をライトバルブ(光変調部)に送る光学系(照明光学系)、ダイクロイックミラー、液晶ライトバルブ、色合成プリズム(クロスダイクロイックプリズム)、投射光学系、駆動回路等を含む。画像形成部200は、画像処理部100からの画像信号に基づいて、光源からの光を変調して画像を形成し、スクリーンSCRに投射する。
【0032】
操作部300には、単体表示やタイリング表示等の表示モードの設定や、タイリング表示の際の各プロジェクターの配置位置、重畳領域の大きさや位置をユーザーにより設定するための操作情報が入力される。また、画像処理部100は、複数のむら補正処理モードを備え、操作部300には、むら補正処理において用いるむら補正ルックアップテーブル(Look-Up Table:以下、LUT)を選択するための操作情報が入力される。これらの操作情報は、画像処理部100に送られる。
【0033】
図2に、図1の画像処理部100の構成例のブロック図を示す。図2では、説明の便宜上、図1の画像信号供給装置20、むら測定装置30、画像形成部200、操作部300、及び第2のプロジェクターPJ2も合わせて図示している。
【0034】
画像処理部100は、画像分割処理部110と、むら補正LUT選択部120と、むら補正目標値演算部130と、むら補正LUT生成部140と、通知処理部150とを備えている。また、画像処理部100は、第1のプロジェクターPJ1の画像形成部200に対応して、第1のむら補正LUT記憶部(第1のむら補正値記憶部)160と、第1のむら補正処理部162とを備えている。
【0035】
画像分割処理部110は、操作部300により設定された重畳領域の設定内容に従って、画像信号供給装置20からの画像信号に対して画像の分割処理を行う。分割処理後の画像信号は、第1のむら補正処理部162と、第2のプロジェクターPJ2に対して出力される。
むら補正LUT選択部120は、第1のむら補正LUT記憶部160に記憶される複数のむら補正LUTの1つを選択する。むら補正LUT選択部120は、画像信号供給装置20からの画像信号の種別(単体表示又はタイリング表示)やプロジェクターの配置に応じてむら補正LUTを選択したり、操作部300からの操作情報に基づいてむら補正LUTを選択したりする。また、むら補正LUT選択部120は、画像信号供給装置20からの画像信号自体に含まれる情報や、入力画像の解析結果に基づいて、むら補正LUTを選択するようにしてもよい。
【0036】
むら補正目標値演算部130は、むら測定装置30により測定された各プロジェクターの投射画像のむら測定値に基づいて、画像信号のむら補正処理の目標値を演算する。このとき、むら補正目標値演算部130は、操作部300により設定された重畳領域の設定内容に従って、重畳領域と第1の投射画像IMG1の非重畳領域の少なくとも一部におけるむら補正目標値を演算する。
むら補正LUT生成部140は、むら補正目標値演算部130により演算されたむら補正目標値に基づいて、第1のプロジェクターPJ1においてむら補正処理を行うためのむら補正値をテーブル化したむら補正LUTを生成する。
第1のむら補正LUT記憶部160は、むら補正LUT生成部140によって生成されたむら補正LUTを記憶する。このような第1のむら補正LUT記憶部160は、SRAM(Static Random Access Memory)等のメモリーと、該メモリーに対する書き込み制御及び読み出し制御を行う制御部とにより構成される。
【0037】
通知処理部150は、むら補正目標値演算部130における演算結果に基づき、所与の通知処理を行う。例えば、むら補正目標値演算部130における演算処理において第1のむら補正処理を行ってもタイリング画像の画質を向上できないと判断されるとき、通知処理部150は、タイリング画像の表示条件の変更を促す画面を表示する処理を行う。具体的には、通知処理部150は、重畳領域の再設定を促す画面をスクリーンSCRに表示する処理を行う。例えば第1のむら補正処理後の輝度又は色差の変化が所与の閾値以上であるとき、通知処理部150は、タイリング画像の画質を向上できないと判断することができる。
【0038】
第1のむら補正処理部162は、第1のむら補正LUT記憶部160に記憶されたむら補正LUTを用いてむら補正処理を行う。第1のむら補正LUT記憶部160には、記憶容量を削減するため、画面の縦方向×画面の横方向×階調方向の3軸における所与の数の格子点において、対応するむら補正値がLUTとして記憶される。そのため、第1のむら補正処理部162は、格子点におけるむら補正値から線形補間や曲線補間等の公知の補間演算により格子点間のむら補正値を求め、該むら補正値を用いてむら補正処理後の画像信号を得る。
【0039】
〔むら補正処理〕
次に、図2の画像処理部100によるむら補正処理について、詳細に説明する。
図3に、図2の画像処理部100の処理例のフロー図を示す。
まず、画像処理部100は、第1のむら補正LUT記憶部160に記憶される複数のむら補正LUTの中から、むら補正LUT選択部120により1つのむら補正LUTを選択する(ステップS10)。このとき、むら補正LUT選択部120は、画像信号供給装置20からの画像信号又は操作部300からの操作情報に基づいて、むら補正LUTを選択する。第1のむら補正LUT記憶部160には、単体表示やタイリング表示、プロジェクターの配置に応じた複数のむら補正LUTが記憶されている。
【0040】
画像処理部100は、画像分割処理部110において画像信号供給装置20からの画像信号の入力を監視しており(ステップS12:N)、画像信号が入力されたとき(ステップS12:Y)、画像の分割処理を行う。画像分割処理部110は、操作部300により設定された重畳領域の設定内容に従って画像の分割処理を行う。分割処理後の画像のうち第1のプロジェクターPJ1より投射される画像の画像信号は、第1のむら補正処理部162に出力され、第2のプロジェクターPJ2により投射される画像の画像信号は、第2のプロジェクターPJ2に出力される。
【0041】
次に、画像処理部100は、第1のむら補正処理部162において、第1のむら補正LUT記憶部160からむら補正値を読み出す(ステップS14)。そして、画像分割処理部110からの画像信号に対して、第1のむら補正処理部162は、むら補正LUTに記憶される格子点におけるむら補正値から、線形補間や曲線補間等の公知の補間演算により格子点間のむら補正値を演算する(ステップS16)。その後、第1のむら補正処理部162は、むら補正LUTに記憶される格子点におけるむら補正値、又はステップS16で求めた格子点間のむら補正値を用いて、画像信号に対してむら補正処理を行う(ステップS18)。
画像信号の入力が終了したとき(ステップS20:Y)、画像処理部100は、一連の処理を終了し(エンド)、画像信号の入力が終了しないとき(ステップS20:N)、画像処理部100は、ステップS12に戻る。
【0042】
上記のむら補正処理に用いられる補正LUTは、次のような手順で生成され、第1のむら補正LUT記憶部160に保存される。
図4に、むら補正LUTの準備処理の一例のフロー図を示す。図4に示すむら補正LUTの準備処理は、第1のむら補正処理部162によるむら補正処理に先立って行われる。
まず、画像処理部100は、ユーザーに対して、操作部300を介した重畳領域の指定を促す処理(例えば画面表示)を行う。ユーザーが操作部300を操作して各投射画像における重畳領域の範囲(例えば、各投射画像の25%)を指定すると、画像処理部100は、指定された重畳領域に対応する操作情報を受け付ける(ステップS30)。その後、画像処理部100は、指定された重畳領域に基づいて、該重畳領域をガイドとしてスクリーンSCR上に表示する処理を行って、ユーザーが、第1のプロジェクターPJ1及び第2のプロジェクターPJ2の設置位置を調整できるようにすることが望ましい。このとき、画像処理部100は、指定された重畳領域に応じて、スクリーンSCR上に重畳領域の色を変えて表示したり、境界を線で表示したりしてもよい。
【0043】
次に、画像処理部100は、第1のむら補正処理部162によるむら補正処理をオフに設定する(ステップS32)。これにより、第1のプロジェクターPJ1及び第2のプロジェクターPJ2の各々が有する色特性を測定することができる。
その後、画像処理部100は、むら補正LUT生成部140等においてむら補正LUT作成処理を行う(ステップS34)。ステップS34では、むら測定装置30により測定した第1のプロジェクターPJ1及び第2のプロジェクターPJ2のむら測定値に基づいてむら補正目標値を演算し、該むら補正目標値に基づいてむら補正LUTが生成される。そして、このむら補正LUTが、第1のむら補正LUT記憶部160に保存される。
【0044】
最後に、画像処理部100は、第1のむら補正処理部162によるむら補正処理をオンに設定し(ステップS36)、一連の処理を終了する(エンド)。これ以降、画像処理部100は、ステップS34において第1のむら補正LUT記憶部160に記憶されたむら補正LUTを用いてむら補正処理を開始することができる。
【0045】
図5に、むら補正LUT作成処理の一例のフロー図を示す。図5に示すむら補正LUT作成処理は、図4のステップS34において行われる。
図6に、むら特性測定処理の一例のフロー図を示す。図6に示すむら特性測定処理は、図5のステップS40において行われる。
図7に、むら補正LUT生成処理の一例のフロー図を示す。図7に示すむら補正LUT生成処理は、図5のステップS44において行われる。
【0046】
図5に示すむら補正LUT作成処理において、画像処理部100は、むら測定装置30を制御し、第1のプロジェクターPJ1及び第2のプロジェクターPJ2の各々のRGBの各階調の色特性値(XYZ値)をむら測定値として取得する(ステップS40)。
【0047】
ステップS40では、図6に示すように、画像処理部100が、画像形成部200によりむら補正処理用の測定パターンを表示する。この測定パターンは、WRGB(グレイ赤緑青)の全画面均一のべた画像を用いる。画像処理部100は、べた画像の測定パターンの表示を順次切り替える(ステップS50)。グレイのべた画像としては、例えばW255(白、数値は階調値),W224,W192,W160,W128,W96,W64,W32,W0(黒)を用いる。各階調のべた画像としては、例えばR255(赤),R224,…,R64,R32,G255(緑),G224,…,G64,G32,B255(青),B224,…,B64,B32を用いる。
【0048】
次に、画像処理部100は、むら測定装置30を制御して、スクリーンSCRに表示された測定パターンの測定(撮影)を行う(ステップS52)。むら測定装置30は、各プロジェクターの投射画像がすべて撮影画面内に入るように設置し、露出やピントは階調つぶれがなく、むらの状態を正しく認識できるようになっていればよい。このとき、測定パターンの撮影データにずれが生じないように、むら測定装置30は、三脚に設置されることが望ましい。画像処理部100は、1つの測定パターン(階調)につき1回の撮影を行い、その撮影データをむら測定装置として取得する。
全測定が終了したとき(ステップS54:Y)、画像処理部100は、一連のむら特性測定処理を終了し(エンド)、全測定が終了しないとき(ステップS54:N)、ステップS50に戻る。
【0049】
図5のステップS40においてむら測定が行われると、画像処理部100は、むら補正目標値演算部130においてむら補正目標値を演算する(ステップS42、むら補正目標値演算ステップ)。むら補正目標値演算部130は、sRGB等の目標色空間の色度を考慮した上で、プロジェクター毎の各階調のむら測定値から、タイリング状態で用いる各プロジェクターの白色やグレイ軸(白〜黒)の目標XYZ値を定める。ステップS42の詳細については、後述する。
【0050】
続いて、画像処理部100は、むら補正LUT生成部140において、むら補正LUTを生成する(ステップS44、むら補正LUT生成ステップ)。むら補正LUT生成部140は、プロジェクター毎のむら測定値を用いて、目標XYZ値を出力するための入力RGB値を算出することで、LUTを生成する。
【0051】
ステップS44では、図7に示すように、むら補正LUT生成部140は、むら補正LUTの各格子点入力値に対応する色目標値を演算する(ステップS60)。次に、むら補正LUT生成部140は、演算された色目標値を出力可能な入力値を、測定されたプロジェクターの色特性値から探索する(ステップS62)。むら補正LUT生成部140は、ステップS62において探索された結果をLUT値として保存する(ステップS64)。その後、むら補正LUTの全格子点についてLUT値の探索が終了したとき(ステップS66:Y)、むら補正LUT生成部140は、一連のむら補正LUT生成処理を終了し(エンド)、探索が終了していないとき(ステップS66:N)、ステップS60に戻る。
【0052】
図5のステップS44においてむら補正LUTが生成されると、画像処理部100は、生成されたむら補正LUTを第1のむら補正LUT記憶部160に保存し(ステップS46)、一連のむら補正LUT作成処理を終了する(エンド)。
【0053】
次に、図5のステップS42において行われるむら補正目標値演算処理について詳細に説明する。
図8に、図5のステップS42におけるむら補正目標値演算処理の一例のフロー図を示す。
まず、むら補正目標値演算部130は、目標色空間及び各プロジェクターの色特性値を取得する(ステップS70)。そして、むら補正目標値演算部130は、各プロジェクター(各プロジェクターの投射画像)の色特性値に基づいて、目標色空間における各プロジェクターの白色目標値を演算する(ステップS72)。その後、むら補正目標値演算部130は、ステップS72で演算した各プロジェクターの白色目標値を用いて、各プロジェクターの中間調目標値を演算し(ステップS74)、一連の処理を終了する(エンド)。
【0054】
以下、図8のむら補正目標値演算処理について具体的に説明する。
図9に、第1の実施形態におけるタイリング表示される第1の投射画像IMG1及び第2の投射画像IMG2の説明図を示す。図9は、タイリング表示された白色べた画像における水平方向の輝度の変化の一例を表したものである。
図9では、第1のプロジェクターPJ1による第1の投射画像IMG1と第2のプロジェクターPJ2による第2の投射画像IMG2とが、重畳領域を設けて隣接して水平方向に配置される。このとき、第1の投射画像IMG1の輝度のピーク位置をC1、第2の投射画像IMG2の輝度のピーク位置をC2、重畳領域の境界位置をB1,B2とする。また、ピーク位置C1における輝度をYc1、ピーク位置C2における輝度をYc2、境界位置B1における輝度をYb1、境界位置B2における輝度をYb2とする。ここで、ピーク位置C1,C2、境界位置B1,B2について、Yc1>Yb1<Yb2<Yc2とする。
【0055】
図10に、図9に示す第1のプロジェクターPJ1及び第2のプロジェクターPJ2の色域の一例を示す。図10は、均等色空間(具体的には、L*u*v*)において、第2のプロジェクターPJ2による白色の輝度を基準白色輝度とし、第1のプロジェクターPJ1の色域も同じ基準白色輝度を基準としている。
図10では、第1のプロジェクターPJ1について、ピーク位置C1におけるピーク色域CP1及び重畳領域の境界位置(境界位置B1を含む)における境界色域CB1を表している。また、図10では、第2のプロジェクターPJ2について、ピーク位置C2におけるピーク色域CP2及び重畳領域の境界位置(境界位置B2を含む)における境界色域CB2を表している。図10において、ピーク位置C1における明度をL*c1、ピーク位置C2における明度をL*c2、境界位置B1における明度をL*b1、境界位置B2における明度をL*b2とする。
【0056】
ここで、ピーク位置C1,C2、境界位置B1,B2についてYc1>Yb1<Yb2<Yc2とすると、従来のエッジブレンド処理を行った後でもこの大小関係が維持される。そのため、図9の境界位置B1,B2の間に明るさの谷が認識されてしまい、従来の色むら補正を行っても、基本的に画面内の輝度分布を継承したまま色むらを補正することになり、色むらは除去されても輝度むらが残ることになる。このような、明るさの谷間は、却って視覚的なむら感が酷くなることがある。
【0057】
そこで、第1の実施形態では、次のようにむら補正目標値を求めることで、むら補正処理後のタイリング画像の明るさや色の差の違和感が少なく、画質を向上させる。
【0058】
図11に、第1の実施形態におけるむら補正処理に関する第1の説明図を示す。図11は、タイリング表示された第1の投射画像IMG1及び第2の投射画像IMG2における水平方向の輝度の変化の一例を表したものである。図11において、図9と同様の部分には同一符号を付し、適宜説明を省略する。なお、図11において、境界位置B1におけるむら補正処理後の輝度をYb1´として表している。
第1に、第1の実施形態におけるむら補正処理では、境界位置B1(第1の画素位置)における輝度Yb1及び境界位置B2(第2の画素位置)における輝度Yb2のうち、低い方の輝度に対応するプロジェクターをむら補正処理対象とする。図11に示す場合、Yb1<Yb2であるため、第1の実施形態では、輝度Yb1に対応する第1のプロジェクターPJ1を、むら補正処理対象とする。これにより、第1のプロジェクターPJ1の境界位置B1における輝度を上げることで、境界位置B1,B2における明るさの谷を目立たなくすることができる。
【0059】
第2に、第1の実施形態におけるむら補正処理では、修正対象のプロジェクターによる投射画像において、非修正対象のプロジェクターによる投射画像の境界位置における輝度と等しい画素位置を検出する。図11に示す場合、第1のプロジェクターPJ1による第1の投射画像IMG1において、境界位置B2における輝度Yb2と等しい輝度を有する画素位置A1(第3の画素位置)を検出する。その後、第1の投射画像IMG1において、画素位置A1から境界端(第1の投射画像端)にかけてむら補正処理を行う。即ち、第1の実施形態では、第1の投射画像IMG1の非重畳領域及び重畳領域において、境界位置B2における輝度Yb2に基づいてむら補正処理が行われる。このとき、画素位置A1から境界端にかけてむら補正目標値をグレイ軸上に限定せず、明るさの変化が小さくなるようなむら目標値を算出する。
【0060】
第3に、第1の実施形態におけるむら補正処理では、画素位置A1との色差ΔEが最小となるように、画素位置A1から境界端にかけてむら補正処理を行う。
図12に、第1の実施形態におけるむら補正処理に関する第2の説明図を示す。図12は、図10におけるグレイ軸付近の拡大図を表す。図12において、画素位置A1における明度をL*a1、境界位置B1におけるむら補正処理後の明度をL*b1´と表している。
【0061】
即ち、第1の実施形態におけるむら補正処理では、グレイ軸上における画素位置A1の明度と第1のプロジェクターPJ1の境界色域CB1との距離が最小となるように、境界位置B1における明度L*b1´を定める。従来の方法では画素位置A1の輝度Ya1(=Yb2)からYb1まで輝度が低下し、色差でみるとΔE=ΔL*の変化が生じている。目標グレイ軸が色域外郭の角度が急峻なところと合致すると、色差変化がより大きくなる。第1の実施形態では、そのような場合には多少色度が変化しても色差がより小さい方向(Yb1´,L*b1´)にグレイ軸を変化させることで、明るさ低下と色の変化のバランスを取って、人間の視覚的に好ましい変化となるようにする。ΔEが最小という条件でなくても、明度を除いた色差成分であるΔEu*v*に制限を設けて、その制限内でΔEができるだけ小さくなるようにしてもよい。
【0062】
第4に、第1の実施形態におけるむら補正処理では、上記のように定められた非重畳領域のむら補正目標値に従って、重畳領域も滑らかにブレンドされるように、他方の境界にかけて値が0に収束するようなむら補正目標値を求める(図11を参照)。
【0063】
即ち、第1の投射画像IMG1の非重畳領域と重畳領域との境界部に位置する重畳領域の境界位置B1の輝度が、第2の投射画像IMG2の非重畳領域と重畳領域との境界部に位置する重畳領域の境界位置B2の輝度より低いものとする。このとき、第1の実施形態では、第1のむら補正処理部162は、第1の投射画像IMG1の非重畳領域及び重畳領域において、境界位置B2の輝度Yb2に基づいてむらを補正する。
具体的には、第1のむら補正処理部162は、第1の投射画像IMG1において境界位置B2の輝度に対応する輝度を有する画素位置A1(第1の投射画像IMG1内の非重畳領域内の第3の画素位置)から重畳領域内の第1の投射画像端にかけて、むらを補正する。第1のむら補正処理部162は、画素位置A1を基準とした色差が最小となるように、むらを補正することが望ましい。
【0064】
なお、上記では、境界位置B1,B2が、重畳領域の境界位置であるものとして説明したが、第1の実施形態では、境界位置B1,B2が重畳領域の境界位置に限定されるものではない。
図13に、第1の実施形態における重畳領域の境界位置の説明図を示す。図13は、第1の投射画像IMG1及び第2の投射画像IMG2を、重畳領域を設けてスクリーンSCRに並べて配置した様子を模式的に表す。
上述の境界位置B1は、第1の投射画像IMG1の非重畳領域と重畳領域との境界部AR1における画素位置であればよい。境界部AR1は、第1の投射画像IMG1の非重畳領域と重畳領域との境界とその近傍領域を含む領域である。
同様に、上述の境界位置B2は、第2の投射画像IMG2の非重畳領域と重畳領域との境界部AR2における画素位置であればよい。境界部AR2は、第2の投射画像IMG2の非重畳領域と重畳領域との境界とその近傍領域を含む領域である。
【0065】
以上のように白色目標値が求められると、むら補正目標値演算部130は、白色以外の色域の違いについて考慮し、目標グレイ軸を定める。白色点から黒に向かうにつれ、グレイ軸設定の自由度が高くなるため、上述のΔEが徐々に小さくなるようにし、重畳領域の色差が目立たないようにする。
【0066】
図14に、第1の実施形態におけるむら補正処理に関する第3の説明図を示す。図14は、図10におけるグレイ軸付近の拡大図を表す。図14において、図12と同様の部分には同一符号を付し、適宜説明を省略する。なお、図14では、ピーク位置C1、境界位置B1、及び画素位置A1における中間調グレイを、それぞれC1g,B2g,A1gと表している。
むら補正目標値演算部130は、例えば境界位置B1におけるむら補正処理後の白色の明度L*b1´と、境界位置B1における元の黒色の明度L*bbとを、直線若しくは曲線で結び、この2点間を例えば均等に分割して、中間調目標値を定める。
【0067】
以上のようにして、第1のプロジェクターPJ1のむら補正目標値を定めると、公知の方法でむら補正LUTを生成することができる。なお、むら補正目標値演算部130において、第1のプロジェクターPJ1及び第2のプロジェクターPJ2の明るさの差が大きいと判断される場合、通知処理部150は、タイリング画像の表示条件の変更を促す画面を表示する処理を行う。例えば、むら補正目標値演算部130は、ΔEを所定の閾値より小さくできないとき、両プロジェクターの明るさの差が大きいと判断することができる。このとき、むら補正目標値演算部130は、例えばむら補正処理後の境界位置B1における輝度Yb1´とピーク位置C1における輝度Yc1とを比較することで、両プロジェクターの明るさの差の大小を判断する。こうすることで、両プロジェクターの明るさの差を大きい状態でむら補正処理を行っても十分な効果が得られない場合、重畳領域の大きさを大きくすることで、むら補正処理の効果を十分得られるようになる。
【0068】
以上説明したように、第1の実施形態においては、第1の投射画像IMG1及び第2の投射画像IMG2によりタイリング画像を表示する。このとき、境界位置B1における輝度が低い第1の投射画像IMG1の非重畳領域及び重畳領域において、境界位置B2における輝度Yb2に基づいてむら補正処理を行う。こうすることで、各プロジェクターの表示特性に応じて重畳領域での変化が小さくなるような補正を行い、タイリング表示された画像の画質を向上させることができるようになる。
【0069】
〔第2の実施形態〕
第1の実施形態では、第1の投射画像IMG1及び第2の投射画像IMG2によりタイリング画像を表示する場合に、第1の投射画像IMG1を投射する第1のプロジェクターPJ1がむら補正処理を行うものとして説明した。しかしながら、本発明に係る実施形態は、これに限定されるものではない。本発明に係る第2の実施形態では、第1のプロジェクターPJ1及び第2のプロジェクターPJ2の両方がむら補正処理を行う。
【0070】
図15に、本発明の第2の実施形態におけるマルチプロジェクションシステムの構成例のブロック図を示す。図15では、画像処理装置が、第1のプロジェクター及び第2のプロジェクターに接続されている。図15において、図1と同様の部分には同一符号を付し、適宜説明を省略する。
マルチプロジェクションシステム10aは、第1のプロジェクターPJ1aと、第2のプロジェクターPJ2と、画像信号供給装置20と、むら測定装置30と、画像処理装置100aと、操作部300aとを備えている。第1のプロジェクターPJ1aは、図1の画像形成部200を備えている。画像処理装置100aは、図1の画像処理部100と同様の機能を有する。操作部300aは、図1の操作部300と同様の機能を有する。第2の実施形態では、第1のプロジェクターPJ1aによる第1の投射画像IMG1と第2のプロジェクターPJ2による第2の投射画像IMG2とをスクリーンSCRにおいて重畳領域を設けて並べて表示する。
【0071】
図16に、図15の画像処理装置100aの構成例のブロック図を示す。図16では、説明の便宜上、図15の画像信号供給装置20、むら測定装置30、操作部300a、第1のプロジェクターPJ1a及び第2のプロジェクターPJ2も合わせて図示している。図16において、図2と同様の部分には同一符号を付し、適宜説明を省略する。
【0072】
画像処理装置100aは、画像分割処理部110と、むら補正LUT選択部120aと、むら補正目標値演算部130aと、むら補正LUT生成部140aと、通知処理部150とを備えている。また、画像処理装置100aは、第1のプロジェクターPJ1aに対応して、第1のむら補正LUT記憶部160と、第1のむら補正処理部162とを備えている。更に、画像処理装置100aは、第2のプロジェクターPJ2に対応して、第2のむら補正LUT記憶部(第2のむら補正値記憶部)170と、第2のむら補正処理部172とを備えている。
【0073】
画像分割処理部110によって分割された画像に対応した画像信号は、第1のプロジェクターPJ1aと第2のプロジェクターPJ2に対して出力される。
むら補正LUT選択部120aは、画像信号供給装置20からの画像信号の種別やプロジェクターの配置に応じて、第1のむら補正LUT記憶部160に記憶されるむら補正LUTの1つを選択する。また、むら補正LUT選択部120aは、画像信号供給装置20からの画像信号の種別やプロジェクターの配置に応じて、第2のむら補正LUT記憶部170に記憶されるむら補正LUTの1つを選択する。
【0074】
むら補正目標値演算部130aは、むら測定装置30により測定された各プロジェクターの投射画像のむら測定値に基づいて、プロジェクター毎に画像信号のむら補正の目標値を演算する。このとき、むら補正目標値演算部130aは、重畳領域の設定内容に従って、重畳領域と第1の投射画像IMG1の非重畳領域の少なくとも一部におけるむら補正目標値を演算する。また、むら補正目標値演算部130aは、重畳領域の設定内容に従って、重畳領域と第2の投射画像IMG2の非重畳領域の少なくとも一部におけるむら補正目標値を演算する。
【0075】
むら補正LUT生成部140aは、むら補正目標値演算部130aにより演算されたむら補正目標値に基づいて、第1のプロジェクターPJ1aにおいてむら補正処理を行うためのむら補正値をテーブル化したむら補正LUTを生成する。また、むら補正LUT生成部140aは、むら補正目標値演算部130aにより演算されたむら補正目標値に基づいて、第2のプロジェクターPJ2においてむら補正処理を行うためのむら補正値をテーブル化したむら補正LUTを生成する。
第2のむら補正LUT記憶部170は、むら補正LUT生成部140aによって生成されたむら補正LUTを記憶する。このような第2のむら補正LUT記憶部170は、第1のむら補正LUT記憶部160と同様に、SRAM等のメモリーと、該メモリーに対する書き込み制御及び読み出し制御を行う制御部とにより構成される。
【0076】
第2のむら補正処理部172は、第2のむら補正LUT記憶部170に記憶されたむら補正LUTを用いてむら補正処理を行う。第2のむら補正LUT記憶部170には、記憶容量を削減するため、画面の縦方向×画面の横方向×階調方向の3軸における所与の数の格子点において、対応するむら補正値がLUTとして記憶される。そのため、第2のむら補正処理部172は、格子点におけるむら補正値から線形補間や曲線補間等の公知の補間演算により格子点間のむら補正値を求め、該むら補正値を用いてむら補正処理後の画像信号を得る。
【0077】
以上のような画像処理装置100aによるむら補正処理は、各プロジェクターに対する画像信号について第1の実施形態における画像処理部100によるむら補正処理と同様の処理を行う。そのため、第2の実施形態における画像処理装置100aの処理内容については、図示及び説明を省略する。
【0078】
ここで、周辺減光が大きいプロジェクターの場合、第1の実施形態では、輝度むらが気になる場合がある。この場合、第2の実施形態によれば、プロジェクターのピークが顕著でなくなるように、両方のプロジェクターの境界の目標値を変化させ、タイリング状態での輝度変化がより滑らかになるようにすることができる。
【0079】
図17に、第2の実施形態におけるむら補正処理に関する第1の説明図を示す。図17は、タイリング表示された第1の投射画像IMG1及び第2の投射画像IMG2における水平方向の輝度の変化の一例を表したものである。図17において、図11と同様の部分には同一符号を付し、適宜説明を省略する。
第2の実施形態におけるむら補正処理では、ピーク位置C1,C2からの色差であるΔEができるだけ小さくなるように、重畳領域の境界位置B1,B2における輝度を上げる。その結果、図17では、境界位置B1における輝度がYb1´´、境界位置B2における輝度がYb2´になる。このように、第1の投射画像IMG1及び第2の投射画像IMG2の非重畳領域の少なくとも一部についてもむら補正処理を行うことで、より一層、重畳領域における輝度変化を滑らかにすることができるようになる。
【0080】
図18に、第2の実施形態におけるむら補正処理に関する第2の説明図を示す。図18は、図10におけるグレイ軸付近の拡大図を表す。図18において、図12と同様の部分には同一符号を付し、適宜説明を省略する。
第2の実施形態におけるむら補正処理では、ピーク位置C1から境界位置B1までの色差が最小となるように、境界位置B1における明度L*b1´´を定める。そして、ピーク位置C2から境界位置B1までの色差が最小となるように直線を結び、該直線が境界色域CB2と交差する位置を境界位置B2における明度L*b2´と定める。即ち、第2のむら補正処理部172は、第1のむら補正処理部162による補正後の境界位置B1と第2の投射画像IMG2内の輝度のピーク位置C2との色差が最小となるように、重畳領域と第2の投射画像IMG2の非重畳領域についてむらを補正する。
【0081】
第2の実施形態におけるむら補正処理においても、第1の実施形態と同様に、重畳領域も滑らかにブレンドされるようにむら補正目標値を求める。そして、むら補正目標値演算部130aは、第1の実施形態と同様に、中間調目標値を定める。
こうして、各プロジェクターについてむら補正目標値を定めると、むら補正LUT生成部140aは、公知の方法でむら補正LUTを生成する。なお、むら補正目標値演算部130aにおいて、第1のプロジェクターPJ1及び第2のプロジェクターPJ2の明るさの差が大きいと判断される場合、通知処理部150は、タイリング画像の表示条件の変更を促す画面を表示する処理を行ってもよい。
【0082】
以上説明したように、第2の実施形態によれば、第1の投射画像IMG1及び第2の投射画像IMG2についてむら補正処理を行うようにしたので、第1の実施形態に比べて、より一層、重畳領域における輝度変化を滑らかにすることができるようになる。
【0083】
〔第2の実施形態の第1の変形例〕
第2の実施形態では、重畳領域における境界位置B1,B2における輝度を上げてむら補正処理を行っていたが、重畳領域において明るさの谷間が解消されない場合もある。そのため、第2の実施形態の第1の変形例では、重畳領域における明度の変化が単調変化(単調増加又は単調減少)となるように、重畳領域における境界位置B1,B2における輝度(明度)を定める。
【0084】
図19に、第2の実施形態の第1の変形例におけるむら補正処理に関する説明図を示す。図19は、図10におけるグレイ軸付近の拡大図を表す。図19において、図18と同様の部分には同一符号を付し、適宜説明を省略する。
第1の変形例では、ピーク位置C1と同一明度となるように境界位置B1における明度L*b1´´を定める。そして、ピーク位置C2から境界位置B1までの色差が最小となるように直線を結び、該直線が境界色域CB2と交差する位置を境界位置B2における明度L*b2´と定める。即ち、第1のむら補正処理部162及び第2のむら補正処理部172は、輝度のピーク位置C1と輝度のピーク位置C2との間で明度の変化が単調変化となるように、重畳領域及び各投射画像の非重畳領域についてむらを補正する。
【0085】
第2の実施形態の第1の変形例においても、第2の実施形態と同様に、重畳領域も滑らかにブレンドされるようにむら補正目標値を求める。そして、むら補正目標値演算部130aは、第2の実施形態と同様に、中間調目標値を定める。こうして、各プロジェクターについてむら補正目標値を定めると、むら補正LUT生成部140aは、公知の方法でむら補正LUTを生成する。
【0086】
〔第2の実施形態の第2の変形例〕
第2の実施形態の第1の変形例では、ピーク位置C1と同一明度となるように境界位置B1における明度を定めていたが、これに限定されるものではない。第2の変形例では、ピーク位置C1,C2からの色差の和が最小となるように境界位置B1における明度L*b1´´を定める。
【0087】
図20に、第2の実施形態の第2の変形例におけるむら補正処理に関する説明図を示す。図20は、図10におけるグレイ軸付近の拡大図を表す。図20において、図18と同様の部分には同一符号を付し、適宜説明を省略する。
第2の変形例では、ピーク位置C1,C2からの色差が最小となるように境界位置B1における明度L*b1´´を定める。即ち、ピーク位置C1と境界位置B1との色差と、ピーク位置C2から境界位置B1との色差との和が最小となるように、境界位置B1における明度L*b1´´を定める。そして、ピーク位置C2から境界位置B1までの色差が最小となるように直線を結び、該直線が境界色域CB2と交差する位置を境界位置B2における明度L*b2´と定める。即ち、第1のむら補正処理部162及び第2のむら補正処理部172は、輝度のピーク位置C1と第1のむら補正処理部162による補正後の境界位置B1との第1の色差と、第1のむら補正処理部162による補正後の境界位置B1とピーク位置C2との第2の色差との和が最小となるように、重畳領域及び各投射画像の非重畳領域についてむらを補正する。
【0088】
第2の実施形態の第2の変形例においても、第2の実施形態と同様に、重畳領域も滑らかにブレンドされるようにむら補正目標値を求める。そして、むら補正目標値演算部130aは、第2の実施形態と同様に、中間調目標値を定める。こうして、各プロジェクターについてむら補正目標値を定めると、むら補正LUT生成部140aは、公知の方法でむら補正LUTを生成する。
【0089】
以上のように、第2の実施形態では、むら補正目標値の設定自由度が高まるので、上記のような色々なパターンが考えられる。また、重畳領域の処理をできるだけユーザーに意識させないためには、境界位置B1と境界位置B2の色差ができるだけ小さくなるようにしてもよい。また、上記のむら補正処理の中から、ユーザーが選択部を解して選択できるようにしてもよい。
【0090】
以上、本発明に係る画像処理装置、画像表示装置及び画像処理方法等を上記のいずれかの実施形態又はその変形例に基づいて説明したが、本発明は上記のいずれかの実施形態又はその変形例に限定されるものではない。その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。
【0091】
(1)上記の実施形態又はその変形例では、2つの画像形成部により形成される画像をタイリングする例について説明したが、3以上の画像形成部により形成される画像を耐リンスする場合も同様である。
【0092】
(2)上記の実施形態又はその変形例では、本発明に係る画像形成部が、いわゆる3板式の透過型の液晶パネルを用いたライトバルブにより構成される例を説明したが、単板式の液晶パネルや2板又は4板式以上の透過型の液晶パネルを用いたライトバルブを採用することができる。また、光変調素子として透過型の液晶パネルを用いたライトバルブを用いるものとして説明したが、本発明はこれに限定されるものではない。光変調素子として、例えばDLP(Digital Light Processing)(登録商標)、LCOS(Liquid
Crystal On Silicon)等を採用したり、これらが混在した構成を採用したりしてもよい。
【0093】
(3)上記の実施形態又はその変形例では、本発明に係る画像表示装置がプロジェクターである例を説明したが、本発明はこれに限定されるものではない。
【0094】
(4)上記の実施形態又はその変形例では、均等色空間としてL*u*v*空間を例に説明したが、本発明はこれに限定されるものではない。例えば、均等色空間としてL*a*b*空間であってもよい。
【0095】
(5)上記の実施形態又はその変形例において、本発明を、画像処理装置、画像表示装置及び画像処理方法等として説明したが、本発明はこれに限定されるものではない。例えば、本発明に係る画像処理方法やむら補正値生成方法の処理手順が記述されたプログラム、本発明を実現するための画像表示装置の処理方法(画像表示方法)の処理手順が記述されたプログラム、これらのいずれかのプログラムが記録された記録媒体であってもよい。
【符号の説明】
【0096】
10,10a…マルチプロジェクションシステム(表示システム)、
20…画像信号供給装置、 30…むら測定装置、
100…画像処理部(画像処理装置)、 100a…画像処理装置、
110…画像分割処理部、 120,120a…むら補正LUT選択部、
130,130a…むら補正目標値演算部、140,140a…むら補正LUT生成部、
150…通知処理部、
160…第1のむら補正LUT記憶部(第1のむら補正値記憶部)、
162…第1のむら補正処理部、
170…第2のむら補正LUT記憶部(第2のむら補正値記憶部)、
172…第2のむら補正処理部、 200…画像形成部、 300,300a…操作部、
A1…画素位置(第3の画素位置)、 AR1,AR2…境界部、
B1…境界位置(第1の画素位置)、 B2…境界位置(第2の画素位置)、
C1,C2…ピーク位置、 CB1…第1のプロジェクターの境界色域、
CB2…第2のプロジェクターの境界色域、
CP1…第1のプロジェクターのピーク色域、
CP2…第2のプロジェクターのピーク色域、 IMG1…第1の投射画像、
IMG2…第2の投射画像、
L*a1,L*b1,L*b1´L*b1´´,L*b2,L*c1,L*c2…明度、
PJ1,PJ1a…第1のプロジェクター(第1の画像表示装置)、
PJ2…第2のプロジェクター(第2の画像表示装置) SCR…スクリーン、
Yb1,Yb1´,Yb1´´,Yb2,Yb2´,Yc1,Yc2…輝度
【特許請求の範囲】
【請求項1】
第1の投射画像及び第2の投射画像が重畳領域を設けて配置されるタイリング画像のむら補正を行う画像処理装置であって、
前記第1の投射画像のむらを補正するための補正値を記憶する第1のむら補正値記憶部と、
前記第1のむら補正記憶部に記憶された補正値を用いて前記第1の投射画像のむらを補正する第1のむら補正処理部とを含み、
前記第1の投射画像の非重畳領域と前記重畳領域との境界部における第1の画素位置の輝度は、前記第2の投射画像の非重畳領域と前記重畳領域との境界部における第2の画素位置の輝度より低く、
前記第1のむら補正処理部は、前記第1の投射画像の非重畳領域及び前記重畳領域において、前記第2の画素位置の輝度に基づいてむらを補正することを特徴とする画像処理装置。
【請求項2】
請求項1において、
前記第1のむら補正処理部は、
前記第1の投射画像において前記第2の画素位置の輝度に対応する輝度を有する前記第1の投射画像内の非重畳領域内の第3の画素位置から前記重畳領域内の前記第1の投射画像端にかけて、むらを補正することを特徴とする画像処理装置。
【請求項3】
請求項2において、
前記第1のむら補正処理部は、
前記第3の画素位置を基準とした色差が最小となるように、むらを補正することを特徴とする画像処理装置。
【請求項4】
請求項1乃至3のいずれかにおいて、
前記第2の投射画像のむらを補正するための補正値を記憶する第2のむら補正値記憶部と、
前記第2のむら補正記憶部に記憶された補正値を用いて前記第2の投射画像のむらを補正する第2のむら補正処理部とを含み、
前記第2のむら補正処理部は、
前記第1のむら補正処理部による補正後の前記第1の画素位置と前記第2の投射画像内の輝度のピーク位置との色差が最小となるように、むらを補正することを特徴とする画像処理装置。
【請求項5】
請求項1又は2において、
前記第2の投射画像のむらを補正するための補正値を記憶する第2のむら補正値記憶部と、
前記第2のむら補正記憶部に記憶された補正値を用いて前記第2の投射画像のむらを補正する第2のむら補正処理部とを含み、
前記第1のむら補正処理部及び前記第2のむら補正処理部は、
前記第1の投射画像内の輝度のピーク位置と前記第1のむら補正処理部による補正後の前記第1の画素位置との第1の色差と、前記第1のむら補正処理部による補正後の前記第1の画素位置と前記第2の投射画像内の輝度のピーク位置との第2の色差との和が最小となるように、むらを補正することを特徴とする画像処理装置。
【請求項6】
請求項1又は2において、
前記第2の投射画像のむらを補正するための補正値を記憶する第2のむら補正値記憶部と、
前記第2のむら補正記憶部に記憶された補正値を用いて前記第2の投射画像のむらを補正する第2のむら補正処理部とを含み、
前記第1のむら補正処理部及び前記第2のむら補正処理部は、
前記第1の投射画像内の輝度のピーク位置と前記第2の投射画像内の輝度のピーク位置との間で明度の変化が単調変化となるように、むらを補正することを特徴とする画像処理装置。
【請求項7】
請求項1乃至6のいずれか一項に記載の画像処理装置を含むことを特徴とする画像表示装置。
【請求項8】
第1の投射画像及び第2の投射画像が重畳領域を設けて配置されるタイリング画像のむら補正を行う画像処理方法であって、
前記第1の投射画像内の非重畳領域と前記重畳領域との境界部における第1の画素位置の輝度は、前記第2の投射画像内の非重畳領域と前記重畳領域との境界部における第2の画素位置の輝度より低く、
前記第2の画素位置の輝度に基づいて、前記第1の投射画像の非重畳領域及び前記重畳領域において、むらを補正することを特徴とする画像処理方法。
【請求項1】
第1の投射画像及び第2の投射画像が重畳領域を設けて配置されるタイリング画像のむら補正を行う画像処理装置であって、
前記第1の投射画像のむらを補正するための補正値を記憶する第1のむら補正値記憶部と、
前記第1のむら補正記憶部に記憶された補正値を用いて前記第1の投射画像のむらを補正する第1のむら補正処理部とを含み、
前記第1の投射画像の非重畳領域と前記重畳領域との境界部における第1の画素位置の輝度は、前記第2の投射画像の非重畳領域と前記重畳領域との境界部における第2の画素位置の輝度より低く、
前記第1のむら補正処理部は、前記第1の投射画像の非重畳領域及び前記重畳領域において、前記第2の画素位置の輝度に基づいてむらを補正することを特徴とする画像処理装置。
【請求項2】
請求項1において、
前記第1のむら補正処理部は、
前記第1の投射画像において前記第2の画素位置の輝度に対応する輝度を有する前記第1の投射画像内の非重畳領域内の第3の画素位置から前記重畳領域内の前記第1の投射画像端にかけて、むらを補正することを特徴とする画像処理装置。
【請求項3】
請求項2において、
前記第1のむら補正処理部は、
前記第3の画素位置を基準とした色差が最小となるように、むらを補正することを特徴とする画像処理装置。
【請求項4】
請求項1乃至3のいずれかにおいて、
前記第2の投射画像のむらを補正するための補正値を記憶する第2のむら補正値記憶部と、
前記第2のむら補正記憶部に記憶された補正値を用いて前記第2の投射画像のむらを補正する第2のむら補正処理部とを含み、
前記第2のむら補正処理部は、
前記第1のむら補正処理部による補正後の前記第1の画素位置と前記第2の投射画像内の輝度のピーク位置との色差が最小となるように、むらを補正することを特徴とする画像処理装置。
【請求項5】
請求項1又は2において、
前記第2の投射画像のむらを補正するための補正値を記憶する第2のむら補正値記憶部と、
前記第2のむら補正記憶部に記憶された補正値を用いて前記第2の投射画像のむらを補正する第2のむら補正処理部とを含み、
前記第1のむら補正処理部及び前記第2のむら補正処理部は、
前記第1の投射画像内の輝度のピーク位置と前記第1のむら補正処理部による補正後の前記第1の画素位置との第1の色差と、前記第1のむら補正処理部による補正後の前記第1の画素位置と前記第2の投射画像内の輝度のピーク位置との第2の色差との和が最小となるように、むらを補正することを特徴とする画像処理装置。
【請求項6】
請求項1又は2において、
前記第2の投射画像のむらを補正するための補正値を記憶する第2のむら補正値記憶部と、
前記第2のむら補正記憶部に記憶された補正値を用いて前記第2の投射画像のむらを補正する第2のむら補正処理部とを含み、
前記第1のむら補正処理部及び前記第2のむら補正処理部は、
前記第1の投射画像内の輝度のピーク位置と前記第2の投射画像内の輝度のピーク位置との間で明度の変化が単調変化となるように、むらを補正することを特徴とする画像処理装置。
【請求項7】
請求項1乃至6のいずれか一項に記載の画像処理装置を含むことを特徴とする画像表示装置。
【請求項8】
第1の投射画像及び第2の投射画像が重畳領域を設けて配置されるタイリング画像のむら補正を行う画像処理方法であって、
前記第1の投射画像内の非重畳領域と前記重畳領域との境界部における第1の画素位置の輝度は、前記第2の投射画像内の非重畳領域と前記重畳領域との境界部における第2の画素位置の輝度より低く、
前記第2の画素位置の輝度に基づいて、前記第1の投射画像の非重畳領域及び前記重畳領域において、むらを補正することを特徴とする画像処理方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【公開番号】特開2013−25076(P2013−25076A)
【公開日】平成25年2月4日(2013.2.4)
【国際特許分類】
【出願番号】特願2011−159627(P2011−159627)
【出願日】平成23年7月21日(2011.7.21)
【出願人】(000002369)セイコーエプソン株式会社 (51,324)
【Fターム(参考)】
【公開日】平成25年2月4日(2013.2.4)
【国際特許分類】
【出願日】平成23年7月21日(2011.7.21)
【出願人】(000002369)セイコーエプソン株式会社 (51,324)
【Fターム(参考)】
[ Back to top ]