画像表示装置、画像表示方法及びプログラム
【課題】被表示領域の正確な視環境情報に基づいて色調補正を行うことで、良好な色再現性を得ること。
【解決手段】画像を被表示領域に表示する表示手段を有する画像表示装置であって、前記表示手段が画像を表示した前記被表示領域を含む観察画像を撮影する撮像手段と、前記観察画像から、前記被表示領域の視環境情報を算出するための参照領域を決定する参照領域決定手段と、前記参照領域から前記被表示領域の視環境情報を算出する視環境情報算出手段と、前記視環境情報算出手段が算出した前記被表示領域の視環境情報に基づいて画像信号を補正して前記表示手段に送信する画像処理手段と、を備えることで、被表示領域の視環境情報を正確に算出して色調補正を行い、良好な色再現性を得ることができる。
【解決手段】画像を被表示領域に表示する表示手段を有する画像表示装置であって、前記表示手段が画像を表示した前記被表示領域を含む観察画像を撮影する撮像手段と、前記観察画像から、前記被表示領域の視環境情報を算出するための参照領域を決定する参照領域決定手段と、前記参照領域から前記被表示領域の視環境情報を算出する視環境情報算出手段と、前記視環境情報算出手段が算出した前記被表示領域の視環境情報に基づいて画像信号を補正して前記表示手段に送信する画像処理手段と、を備えることで、被表示領域の視環境情報を正確に算出して色調補正を行い、良好な色再現性を得ることができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像表示装置、画像表示方法及びプログラムに関する。
【背景技術】
【０００２】
スクリーン等の被表示領域に画像を投影して表示させる画像表示装置として、プロジェクタが広く用いられている。プロジェクタの画像投影面には、専用の白色スクリーンが用いられる場合が多いが、色を有する壁面やパーテーション等が使用される場合もあり、投影面が必ずしも白色であるとは限らない。また、投影面が照明や環境からの光に照らされた状態で使用される場合もある。
【０００３】
そこで、例えばイメージセンサ等を用いてプロジェクタが投影した所定のパターン画像を撮影し、撮影した画像から壁色及び照明光等の視環境情報を求め、実際に投影する画像データを補正する技術が提案されている。
【０００４】
例えば特許文献１には、プロジェクタから映像が投影される投影面の色情報と輝度情報とが各々検出される投影面情報検出手段を有し、投影面情報検出手段が検出した投影面の色情報と輝度情報とに基づいて白バランス調整と輝度調整とを行う補正回路付プロジェクタが提案されている。また、例えば特許文献２には、画像の被表示領域における視環境を把握する視環境把握手段による視環境情報に基づき、画像の色を補正して表示する画像表示システムが提案されている。
【０００５】
特許文献１又は特許文献２に係る技術によれば、投影面の視環境を把握して色調整を行うことができるため、良好な色再現を行うことが可能である。
【０００６】
ここで、プロジェクタの設置状況や投影レンズの状態によっては、投影する領域の大きさや位置が変化し、イメージセンサ等で撮影する画像にプロジェクタによる画像表示領域以外が含まれてしまう場合がある。この様な場合には、被表示領域の正確な視環境情報を求めることができず、投影画像を正確に色調補正することが困難になる。
【０００７】
そこで、例えば特許文献３には、画像投影装置から被投影面までの距離を検出する距離検出手段と、投影光学系のズーム状態を検出するズーム状態検出手段とを有し、検出された距離とズーム状態とに基づいて、画像の投影領域を算出し、算出された投影領域の視環境情報に基づいて色調整処理を行う画像投影装置が開示されている。
【０００８】
特許文献３に係る画像投影装置によれば、イメージセンサ等の撮影画像から、プロジェクタからの画像が投影されていない領域を除外して被表示領域の視環境情報を求めることができるため、投影する画像データに対する色調補正を正確に行うことができる。
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、イメージセンサ等の撮影画像から、プロジェクタが投影した画像のみを正確に抽出することは困難であり、結果的にプロジェクタの投影画像以外を含む画像信号に基づいて被表示領域の視環境情報を求めることとなり、正確な視環境情報に基づいて色調補正を行うことが難しい場合がある。
【００１０】
そこで本発明は、被表示領域の正確な視環境情報に基づいて色調補正を行うことで、良好な色再現性を得ることができる画像表示装置、画像表示方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明は、上記課題に鑑み、画像を被表示領域に表示する表示手段を有する画像表示装置であって、前記表示手段が画像を表示した前記被表示領域を含む観察画像を撮影する撮像手段と、前記観察画像から、前記被表示領域の視環境情報を算出するための参照領域を決定する参照領域決定手段と、前記参照領域から前記被表示領域の視環境情報を算出する視環境情報算出手段と、前記視環境情報算出手段が算出した前記被表示領域の視環境情報に基づいて画像信号を補正して前記表示手段に送信する画像処理手段と、を備えることを特徴とする。
【発明の効果】
【００１２】
本発明の実施形態によれば、被表示領域の正確な視環境情報に基づいて色調補正を行うことで、良好な色再現性を得ることができる。
【図面の簡単な説明】
【００１３】
【図１】実施形態に係る画像表示装置の使用例を示す図である。
【図２】実施形態に係る画像表示装置の機能ブロック図である。
【図３】実施形態に係る画像表示装置のハードウェア構成例を示す図である。
【図４】実施形態に係る画像表示装置における色調補正処理のフローチャートである。
【図５】実施形態に係る画像表示装置における視環境情報算出処理のフローチャートである。
【図６】実施形態に係る画像表示装置の表示領域、観察画像及び参照領域の例について説明する図である。
【図７】実施形態に係る画像表示装置における参照領域の分割及び重み付けの例を示す図である。
【図８】実施形態に係る画像表示装置において平滑化処理を行う視環境情報算出処理のフローチャートである。
【図９】画像表示装置が傾いている場合の画像表示領域との距離を説明する図である。
【図１０】実施形態に係る画像表示装置が傾いている場合の参照領域の決定例を示す図である。
【発明を実施するための形態】
【００１４】
以下、本発明の好適な実施の形態（以下「実施形態」という）について、図面を用いて詳細に説明する。
【００１５】
＜プロジェクタの構成＞
図１は、本実施形態に係るプロジェクタ１０の使用例を示す図である。
【００１６】
本発明の実施形態に係るプロジェクタ１０は、例えばＰＣ等から入力される画像を、プロジェクタ１０の表示部に対してほぼ正面に設けられるスクリーン２０等に投影して表示する。プレゼンター３０は、スクリーン２０上の画像表示領域２１に表示された画像を用いて第３者に対するプレゼンテーション等を行うことができる。
【００１７】
ここで、プロジェクタ１０がスクリーン２０に表示する画像は、スクリーン２０の種類、照明や自然光等の環境光４０によって、ＰＣ等から入力される元画像の色とは異なる色が表示されている様に見える場合がある。
【００１８】
そこで、本実施形態に係るプロジェクタ１０は、スクリーン２０の画像表示領域２１を含む画像を撮影し、撮影した画像に応じた信号を出力する撮像手段としてのイメージセンサ５０を備えている。
【００１９】
プロジェクタ１０は、イメージセンサ５０が撮影する観察画像からスクリーン２０の色や環境光４０を含む視環境情報を求め、当該視環境情報に基づいて表示する画像の色調補正を行うことで、入力された元画像の色調をスクリーン２０上に再現することができる。
【００２０】
図２に、本実施形態に係るプロジェクタ１０の機能ブロック図を示す。
【００２１】
プロジェクタ１０は、制御部１１、表示部１５、イメージセンサ５０を備える。制御部１１は、画像処理部１２、視環境情報算出部１３、参照領域決定部１４を有する。プロジェクタ１０は、内蔵する制御部１１を、例えばプロジェクタ１０に接続するサーバに設けても良く、また、イメージセンサ５０をプロジェクタ１０の外部に設けても良い。
【００２２】
表示部１５は光源及びレンズ等を含み、画像処理部１１から送られる画像データに基づいてスクリーン２０に画像を投影して表示する。
【００２３】
イメージセンサ５０は、例えばＣＣＤやＣＭＯＳ等の固体撮像素子を有し、表示部１５がスクリーン２０に投影した画像を撮影し、レンズ等の光学系によって撮像素子の受光平面に結像させ、画像を光電変換して電気信号として出力する。
【００２４】
参照領域決定部１４は、イメージセンサ５０から出力される電気信号から視環境情報を求めるための参照領域を決定する。
【００２５】
視環境情報算出部１３は、参照領域決定部１４が決定した参照領域から、スクリーン２０の被表示領域の視環境情報を算出する。
【００２６】
画像処理部１２は、例えば外部のＰＣ等から画像信号が入力され、視環境情報算出部１３によって算出された画像表示領域２１の視環境情報に基づいて入力画像信号の色調補正を行い、補正した画像データを表示部１５に送信する。
【００２７】
図３に、本実施形態に係るプロジェクタ１０のハードウェア構成例を示す。
【００２８】
プロジェクタ１０は、制御部１１、主記憶部１０２、操作部１０４、記録媒体Ｉ／Ｆ部１０５、補助記憶部１０７、ネットワークＩ／Ｆ部１０８等を備え、それぞれがバスで相互に接続されている。
【００２９】
制御部１１は、コンピュータの中で各装置の制御やデータの演算、加工を行うＣＰＵ（Central Processing Unit）であり、主記憶部１０２等に記憶されたプログラムを実行する演算装置である。
【００３０】
主記憶部１０２は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等であり、制御部１１が実行するプログラムやデータ等を記憶又は一時保存する記憶装置である。
【００３１】
補助記憶部１０７は、ＨＤＤ（Hard Disk Drive）等であり、アプリケーションソフトウェア等に関連するデータを記憶する記憶装置である。
【００３２】
操作部１０４は、例えばキースイッチ（ハードキー）で構成され、プロジェクタ１０が有する機能を設定等する際に用いられる。
【００３３】
記録媒体Ｉ／Ｆ部１０５は、ＵＳＢ（Universal Serial Bus）等のデータ伝送路を介して接続される例えばフラッシュメモリ等の記録媒体１０６とプロジェクタ１０とのインターフェースである。
【００３４】
記録媒体１０６には、所定のプログラムを格納し、この記録媒体１０６に格納されたプログラムは記録媒体Ｉ／Ｆ部１０５を介してプロジェクタ１０にインストールされ、インストールされた所定のプログラムは制御部１１により実行可能となる。
【００３５】
ネットワークＩ／Ｆ部１０８は、有線及び／又は無線回線等のデータ伝送路により構築されたＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等のネットワークを介して接続される通信機能を有する周辺機器とプロジェクタ１０とのインターフェースである。
【００３６】
＜色調補正処理について＞
次に、イメージセンサ５０が出力する画像信号に基づいて実行する、基本的な色調補正アルゴリズムについて説明する。
【００３７】
プロジェクタ１０が画像を投影するスクリーン２０あるいは壁面等が有する色や、照明等の影響を含む視環境情報は、被表示領域に複数の画像パターンを投影し、イメージセンサ５０による被表示領域を含む観察画像から色調補正パラメータを決定することで求められる。
【００３８】
一般的に、イメージセンサ５０が取得する観察画像（ＸＹＺ値）と、プロジェクタ１０が受信する入力画像（ＲＧＢ値）との間には、下式の様な関係が成立する。
【００３９】
【数１】
ｃ ： イメージセンサ５０が撮影する観察画像のＸＹＺ値
ｉ ： プロジェクタ１０に入力される画像のＲＧＢ値
ｉチルダ ： 入力画像のＲＧＢ値に応答関数の逆関数をかけた値
ｔ ： 環境光成分
Ｍ ： ３×３の色変換行列
この様に、イメージセンサ５０が撮影する観察画像の色は、プロジェクタ１０の入力画像のＲＧＢ値を線形変換したものに、環境光成分を足し合わせたものとして表される。
【００４０】
プロジェクタ１０の出力は入力画像に対して線形にはならないため、プロジェクタ１０の入出力を示す応答関数を予め求め、入力画像のＲＧＢ値に応答関数の逆関数をかけたＲＧＢ値（ｉチルダ）を、プロジェクタ１０への入力としている。
【００４１】
上式に基づき、３×３の色変換行列Ｍと、環境光成分ｔのパラメータを決定するため、プロジェクタ１０は所定のパターン画像をスクリーン２０に投影し、投影された各パターン画像を含む観察画像をイメージセンサ５０が撮影する。
【００４２】
プロジェクタ１０が上記パラメータを決定するために投影するパターン画像は、例えば黒、赤、緑、青の単色画像を用いることができ、入力される各パターン画像のＲＧＢ値を２５６階調で表すと下式の通りである。
【００４３】
【数２】
黒一色の画像（入力ＲＧＢ値が全て０の画像）からは、環境光成分ｔを求めることができる。また、他の単色画像については独立なベクトルを３つ与えることで、色変換行列Ｍを求めることができる。ここでは、パターン画像の観察画像からＲＧＢ特性を分離し易いこと、また、使用するイメージセンサ５０のＷＢ（White Balance）の影響を受けにくいことから、単色画像をパターン画像として与えて色変換行列Ｍのパラメータを算出している。
【００４４】
この様に所定のパターン画像を投影することで色変換行列Ｍ、環境光成分ｔといった視環境情報を算出することができる。
【００４５】
したがって、プロジェクタ１０が投影した画像のイメージセンサ５０による観察画像の色情報と入力画像信号の色情報とが近似する様に、入力画像信号のＲＧＢ値を補正処理することで、被表示領域の視環境情報によらず良好な色再現性を得ることが可能になる。
【００４６】
図４に、本実施形態に係るプロジェクタ１０における色調補正処理のフローチャートの例を示す。
【００４７】
まず、プロジェクタ１０はスクリーン２０に所定のパターン画像を投影する（Ｓ１）。次に、イメージセンサ５０が、投影されたパターン画像を含む観察画像を取得し、観察画像に応じた信号を出力する（Ｓ２）。
【００４８】
イメージセンサ５０が出力する信号は参照領域決定部１４に送られ、参照領域決定部１４及び視環境情報算出部１３にて、色変換行列Ｍや環境光成分ｔを算出する視環境情報算出処理が実行される（Ｓ３）。
【００４９】
視環境情報の算出後は、視環境情報に基づいて入力される画像信号の補正を行い、表示部１５が色調補正された画像の投影を行う（Ｓ４）。
【００５０】
ここで、非表示領域の視環境情報を正確に求めるために、プロジェクタ１０がパターン画像を投影する画像表示領域２１と、イメージセンサ５０が取得する観察画像とが、完全に一致していることが望ましい。しかし、プロジェクタ１０の設置状況やレンズの状態等は常に一定ではないため、画像表示領域２１と観察画像とが常に一致する様に構成することは困難である。
【００５１】
したがって、例えば図６に示す様に、プロジェクタ１０が投影するパターン画像の画像表示領域２１に対して、イメージセンサ５０が取得する観察画像５１が大きく、観察画像５１にプロジェクタ１０が投影したパターン画像以外の領域が含まれる場合がある。
【００５２】
プロジェクタ１０が投影する所定のパターン画像以外の領域を含む観察画像５１から色変換行列Ｍや環境光成分ｔを求めても、パターン画像以外からの影響を受けるため正確な視環境情報の算出が困難になる。
【００５３】
＜参照領域について＞
そこで、本実施形態に係るプロジェクタ１０では、参照領域決定部１４が、観察画像５１からプロジェクタ１０が投影したパターン画像に対応する参照領域５３を決定し、パターン画像以外の領域を除外して視環境情報の算出を行う。
【００５４】
参照領域５３は、例えば、投影されるパターン画像がＲ，Ｇ，Ｂの単色画像である場合には、観察画像５１から特定の範囲にある色を有する画素を抽出し、抽出された画素を含む最小矩形を参照領域５３として決定する。
【００５５】
また、抽出した最小矩形の周辺部の画素は解像度変換等の影響を受け易く、信頼度が低いため、抽出した最小矩形の周辺部から予め設定された距離にある画素を除外して参照領域５３として決定することが好ましい。
【００５６】
図６に示す様に、参照領域決定部１４が観察画像５１からパターン画像が投影されている参照領域５３を抽出することで、視環境情報算出部１３がパターン画像以外の領域からの影響を受けずに視環境情報を算出することが可能になる。
【００５７】
図５に、本実施形態に係るプロジェクタ１０における視環境情報算出処理のフローチャートの例を示す。
【００５８】
まず、参照領域決定部１４が、イメージセンサ５０が取得した観察画像５１に対応する画像信号を取得する（Ｓ３１）。次に、観察画像５１の画像信号を解析し（Ｓ３２）、プロジェクタ１０が投影する画像表示領域２１に相当する参照領域５３を決定する（Ｓ３３）。決定された参照領域５３の代表色を求め、色変換行列Ｍ及び環境光成分ｔといった視環境情報を算出する（Ｓ３４）。
【００５９】
プロジェクタ１０が画像を表示する被表示領域全体が均一の色を有する場合には、参照領域５３全体から１つの色変換行列Ｍを求めることで、適切に色調補正を行うことができる。また、模様を有する壁面に投影する場合や、照明等の影響が部分的に異なる場合の様に、画像表示領域２１の視環境が局所的に異なる場合には、参照領域５３を例えば６４×６４程度に分割し、領域ごとに視環境情報を算出し、分割した領域毎に色調補正を行うことで、良好な色再現性を得ることができる。
【００６０】
参照領域５３の代表色を求める方法としては、例えば均等量子化法を用いることができる。均等量子化法は、単純に色分布領域を代表色数Ｎ個（代表色を１つに絞りたい場合はＮ＝１）に均等分割し、各領域の中央値等を代表色とする方法である。通常はＲＧＢ空間等に画像の全画素値を投影し、分割領域がＮ個になるまで分布領域を軸ごとに順次均等分割していき、各分割領域の中央値等をその領域の代表色とする。
【００６１】
ここで、プロジェクタ１０が投影する画像としては、与える印象の大きさから、画像表示領域２１の周辺部よりも中心部に表示される画像の色再現性が良好であることが好ましい。そのため、画像表示領域２１の中心部付近に表示されている色に近くなる様に、画像表示領域２１の代表色を求めた上で、画像表示領域２１の代表色から視環境情報を求めて色調補正を行うことが望ましい。
【００６２】
そこで、参照領域５３を分割し、分割した領域ごとに重みを付与することで、領域毎に重み付けされた画素値から画像表示領域２１の中心部付近の色に近い代表色を求めることができる。参照領域５３の分割及び重み付けは、例えば図７に示す様に、中央部から周辺部まで複数の領域に分割し、中央部の領域の重みを「１０」、中心から離れるにしたがって「５」、「２」、「１」と、重みが小さくなる様に設定する。
【００６３】
この様に分割及び重み付けした状態で、例えば、重み「１０」の中央部は全画素、重み「５」の領域からは５割の画素をランダムに選択、といった様に重みに応じてＲＧＢ空間にプロットする画素数を調整することで、画像表示領域２１の中心部付近の表示色に近くなる様に代表色を求めることができる。したがって、画像表示領域２１の中央部付近に最適化された色調補正を行うことになり、表示画像の色再現性についてより良い印象を与えることができる。
【００６４】
なお、分割及び重み付けの方法は図７に示す例に限るものではなく、中央付近の１つの画素以外の画素の重みを「０」として、１点のみから参照領域５３の代表色を求めることも可能であり、適宜設定することができる。参照領域５３の代表色を求める方法としては、原画像の色分布の統計量を元に代表色を求める中央値分割法、色空間線形分割法、頻度法等を用いることもできる。
【００６５】
また、イメージセンサ５０が撮影する画像には、撮像素子の特性や、信号増幅処理・輪郭強調処理等の処理特性によって、単色部分にノイズ（ざらつき）が発生する場合がある。したがって、プロジェクタ１０が表示する画像パターンとして使用するＲ，Ｇ，Ｂ単色のベタ領域を含む観察画像５１では、画素値にバラツキを有する場合がある。
【００６６】
そこで、観察画像５１を平滑化処理し、観察画像５１内でざらつきとして目立つ低周波領域のノイズを低減した後に視環境情報を取得することが効果的である。平滑化処理としては、例えば移動平均法を用いて、ある画素の濃度に代えて、その画素を中心とする所定領域の画素の平均濃度を与えることで、画像に含まれるノイズを除去することができる。
【００６７】
図８に、平滑化処理を行う視環境情報算出処理のフローチャートの例を示す。
【００６８】
まず、参照領域決定部１４がイメージセンサ５０から観察画像５１に対応する画像信号を取得し（Ｓ３０１）、信号の解析を行う（Ｓ３０２）。次に、観察画像５１に平滑化処理を行い（Ｓ３０２）、平滑化処理された観察画像５１から参照領域５３を決定する（Ｓ３０４）。参照領域５３が決定されると、視環境情報算出部１３が、参照領域５３から代表色を求めて視環境情報を算出する（Ｓ３０５）。
【００６９】
この様に、観察画像５１の平滑化処理を行うことで、観察画像５１内のざらつきが抑えられ、視環境情報をより正確に求めることが可能になる。なお、平滑化処理としては、移動平均法以外にも例えば加重平均法、メディアンフィルタ若しくはウィナフィルタ等を用いて行うことも可能である。
【００７０】
また、プロジェクタ１０が水平から傾いた状態で設置されると、プロジェクタ１０の表示部１５からスクリーン２０の画像表示領域２１における上側部分までの距離と、下側部分までの距離との差異により、上側と下側とで異なる明るさに投影される場合がある。
【００７１】
例えば図９に示す様に、プロジェクタ１０が傾きθだけ後傾した状態で設置されると、プロジェクタ１０からスクリーン２０の画像表示領域２１の上側部分までの距離Ｌｕが、下側部分までの距離Ｌｌよりも長くなる。この状態では、スクリーン２０の画像表示領域２１において、上側部分が暗く、下側部分が明るい様に輝度が異なって表示されることとなる。
【００７２】
この様に、画像表示領域２１において部分的に明るさが異なる状態で視環境情報を求めて色調補正を行うと、色調補正後の画像が明るすぎたり、逆に暗く見づらくなってしまう場合がある。
【００７３】
そこで、プロジェクタ１０に、プロジェクタ１０の傾きを検知する傾き検知手段としての傾きセンサ５５を設け、傾きセンサ５５が検知する傾きθに基づいて参照領域５３を決定することで、上記した不具合を解消する。
【００７４】
図１０に、プロジェクタ１０が傾いて設置された場合の参照領域５３の決定例を示す。
【００７５】
例えば、図９に示す様にプロジェクタ１０が傾き角θで後傾している場合には、図１０（ａ）に示す様に、傾き角θに応じて除外する領域を変更し、画像表示領域２１の上側部分が参照領域５３になる様に設定する。
【００７６】
また、プロジェクタ１０が傾き角θで前傾している場合には、図１０（ｂ）に示す様に、傾き角θに応じて除外する領域を変更し、画像表示領域２１の下側部分が参照領域５３になる様に設定する。
【００７７】
この様に、プロジェクタ１０に傾きセンサ５５を設け、傾き角θに応じて参照領域５３の位置をずらすことで、プロジェクタ１０の設置状況によらず、画像表示領域２１の視環境情報を算出して良好な色再現性を得ることが可能になる。
【００７８】
なお、以上で説明した実施形態において、画像表示装置としてのプロジェクタ１０は、例えば、ＲＯＭ等に予め組み込まれて提供されたプログラムを実行することで、上述した本発明に関連する各機能を実現する様に構成できる。プロジェクタ１０で実行されるプログラムは、各手段（画像処理部１２、視環境情報算出部１３、参照領域決定部１４等）を実現するためのプログラムを含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記ＲＯＭからプログラムを読み出して実行することにより上記各部（機能部）を実現するプログラムが主記憶部１０２等にロードされ、上記の各手段が実現されるようになっている。
【００７９】
また、上記した実施形態に係るプロジェクタ１０で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
【００８０】
さらに、上記した実施形態に係るプロジェクタ１０で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供する様に構成してもよい。また、上記実施形態に係るプロジェクタ１０で実行されるプログラムをインターネット等のネットワーク経由で提供または配信する様に構成してもよい。
【００８１】
＜まとめ＞
以上で説明した様に、本発明の実施形態によれば、プロジェクタ１０がスクリーン２０等にパターン画像を投影して表示し、表示されたパターン画像を含む観察画像をイメージセンサ５０が取得し、パターン画像以外の領域を除外して被表示領域の視環境情報算出に適した参照領域を抽出することで、被表示領域の正確な視環境情報を求めることが可能になる。したがって、被表示領域の正確な視環境情報に基づいて入力画像に対して色調補正を行って画像を投影して表示することができるため、プロジェクタ１０の設置環境によらず、常に良好な色再現性を得ることができる。
【００８２】
なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせなど、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。
【符号の説明】
【００８３】
１０ プロジェクタ（画像表示装置）
１２ 画像処理部（画像処理手段）
１３ 色情報検出部（検出手段）
１４ 参照領域決定部（参照領域決定手段）
１５ 表示部
２１ 被表示領域
５０ イメージセンサ（画像信号出力手段）
５１ 観察画像
５３ 参照領域
５５ 傾きセンサ（傾き検知手段）
【先行技術文献】
【特許文献】
【００８４】
【特許文献１】特許第２９７３４７７号公報
【特許文献２】特許第３７０７３５０号公報
【特許文献３】特開２０１０−１３０４８１号公報
【技術分野】
【０００１】
本発明は、画像表示装置、画像表示方法及びプログラムに関する。
【背景技術】
【０００２】
スクリーン等の被表示領域に画像を投影して表示させる画像表示装置として、プロジェクタが広く用いられている。プロジェクタの画像投影面には、専用の白色スクリーンが用いられる場合が多いが、色を有する壁面やパーテーション等が使用される場合もあり、投影面が必ずしも白色であるとは限らない。また、投影面が照明や環境からの光に照らされた状態で使用される場合もある。
【０００３】
そこで、例えばイメージセンサ等を用いてプロジェクタが投影した所定のパターン画像を撮影し、撮影した画像から壁色及び照明光等の視環境情報を求め、実際に投影する画像データを補正する技術が提案されている。
【０００４】
例えば特許文献１には、プロジェクタから映像が投影される投影面の色情報と輝度情報とが各々検出される投影面情報検出手段を有し、投影面情報検出手段が検出した投影面の色情報と輝度情報とに基づいて白バランス調整と輝度調整とを行う補正回路付プロジェクタが提案されている。また、例えば特許文献２には、画像の被表示領域における視環境を把握する視環境把握手段による視環境情報に基づき、画像の色を補正して表示する画像表示システムが提案されている。
【０００５】
特許文献１又は特許文献２に係る技術によれば、投影面の視環境を把握して色調整を行うことができるため、良好な色再現を行うことが可能である。
【０００６】
ここで、プロジェクタの設置状況や投影レンズの状態によっては、投影する領域の大きさや位置が変化し、イメージセンサ等で撮影する画像にプロジェクタによる画像表示領域以外が含まれてしまう場合がある。この様な場合には、被表示領域の正確な視環境情報を求めることができず、投影画像を正確に色調補正することが困難になる。
【０００７】
そこで、例えば特許文献３には、画像投影装置から被投影面までの距離を検出する距離検出手段と、投影光学系のズーム状態を検出するズーム状態検出手段とを有し、検出された距離とズーム状態とに基づいて、画像の投影領域を算出し、算出された投影領域の視環境情報に基づいて色調整処理を行う画像投影装置が開示されている。
【０００８】
特許文献３に係る画像投影装置によれば、イメージセンサ等の撮影画像から、プロジェクタからの画像が投影されていない領域を除外して被表示領域の視環境情報を求めることができるため、投影する画像データに対する色調補正を正確に行うことができる。
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、イメージセンサ等の撮影画像から、プロジェクタが投影した画像のみを正確に抽出することは困難であり、結果的にプロジェクタの投影画像以外を含む画像信号に基づいて被表示領域の視環境情報を求めることとなり、正確な視環境情報に基づいて色調補正を行うことが難しい場合がある。
【００１０】
そこで本発明は、被表示領域の正確な視環境情報に基づいて色調補正を行うことで、良好な色再現性を得ることができる画像表示装置、画像表示方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明は、上記課題に鑑み、画像を被表示領域に表示する表示手段を有する画像表示装置であって、前記表示手段が画像を表示した前記被表示領域を含む観察画像を撮影する撮像手段と、前記観察画像から、前記被表示領域の視環境情報を算出するための参照領域を決定する参照領域決定手段と、前記参照領域から前記被表示領域の視環境情報を算出する視環境情報算出手段と、前記視環境情報算出手段が算出した前記被表示領域の視環境情報に基づいて画像信号を補正して前記表示手段に送信する画像処理手段と、を備えることを特徴とする。
【発明の効果】
【００１２】
本発明の実施形態によれば、被表示領域の正確な視環境情報に基づいて色調補正を行うことで、良好な色再現性を得ることができる。
【図面の簡単な説明】
【００１３】
【図１】実施形態に係る画像表示装置の使用例を示す図である。
【図２】実施形態に係る画像表示装置の機能ブロック図である。
【図３】実施形態に係る画像表示装置のハードウェア構成例を示す図である。
【図４】実施形態に係る画像表示装置における色調補正処理のフローチャートである。
【図５】実施形態に係る画像表示装置における視環境情報算出処理のフローチャートである。
【図６】実施形態に係る画像表示装置の表示領域、観察画像及び参照領域の例について説明する図である。
【図７】実施形態に係る画像表示装置における参照領域の分割及び重み付けの例を示す図である。
【図８】実施形態に係る画像表示装置において平滑化処理を行う視環境情報算出処理のフローチャートである。
【図９】画像表示装置が傾いている場合の画像表示領域との距離を説明する図である。
【図１０】実施形態に係る画像表示装置が傾いている場合の参照領域の決定例を示す図である。
【発明を実施するための形態】
【００１４】
以下、本発明の好適な実施の形態（以下「実施形態」という）について、図面を用いて詳細に説明する。
【００１５】
＜プロジェクタの構成＞
図１は、本実施形態に係るプロジェクタ１０の使用例を示す図である。
【００１６】
本発明の実施形態に係るプロジェクタ１０は、例えばＰＣ等から入力される画像を、プロジェクタ１０の表示部に対してほぼ正面に設けられるスクリーン２０等に投影して表示する。プレゼンター３０は、スクリーン２０上の画像表示領域２１に表示された画像を用いて第３者に対するプレゼンテーション等を行うことができる。
【００１７】
ここで、プロジェクタ１０がスクリーン２０に表示する画像は、スクリーン２０の種類、照明や自然光等の環境光４０によって、ＰＣ等から入力される元画像の色とは異なる色が表示されている様に見える場合がある。
【００１８】
そこで、本実施形態に係るプロジェクタ１０は、スクリーン２０の画像表示領域２１を含む画像を撮影し、撮影した画像に応じた信号を出力する撮像手段としてのイメージセンサ５０を備えている。
【００１９】
プロジェクタ１０は、イメージセンサ５０が撮影する観察画像からスクリーン２０の色や環境光４０を含む視環境情報を求め、当該視環境情報に基づいて表示する画像の色調補正を行うことで、入力された元画像の色調をスクリーン２０上に再現することができる。
【００２０】
図２に、本実施形態に係るプロジェクタ１０の機能ブロック図を示す。
【００２１】
プロジェクタ１０は、制御部１１、表示部１５、イメージセンサ５０を備える。制御部１１は、画像処理部１２、視環境情報算出部１３、参照領域決定部１４を有する。プロジェクタ１０は、内蔵する制御部１１を、例えばプロジェクタ１０に接続するサーバに設けても良く、また、イメージセンサ５０をプロジェクタ１０の外部に設けても良い。
【００２２】
表示部１５は光源及びレンズ等を含み、画像処理部１１から送られる画像データに基づいてスクリーン２０に画像を投影して表示する。
【００２３】
イメージセンサ５０は、例えばＣＣＤやＣＭＯＳ等の固体撮像素子を有し、表示部１５がスクリーン２０に投影した画像を撮影し、レンズ等の光学系によって撮像素子の受光平面に結像させ、画像を光電変換して電気信号として出力する。
【００２４】
参照領域決定部１４は、イメージセンサ５０から出力される電気信号から視環境情報を求めるための参照領域を決定する。
【００２５】
視環境情報算出部１３は、参照領域決定部１４が決定した参照領域から、スクリーン２０の被表示領域の視環境情報を算出する。
【００２６】
画像処理部１２は、例えば外部のＰＣ等から画像信号が入力され、視環境情報算出部１３によって算出された画像表示領域２１の視環境情報に基づいて入力画像信号の色調補正を行い、補正した画像データを表示部１５に送信する。
【００２７】
図３に、本実施形態に係るプロジェクタ１０のハードウェア構成例を示す。
【００２８】
プロジェクタ１０は、制御部１１、主記憶部１０２、操作部１０４、記録媒体Ｉ／Ｆ部１０５、補助記憶部１０７、ネットワークＩ／Ｆ部１０８等を備え、それぞれがバスで相互に接続されている。
【００２９】
制御部１１は、コンピュータの中で各装置の制御やデータの演算、加工を行うＣＰＵ（Central Processing Unit）であり、主記憶部１０２等に記憶されたプログラムを実行する演算装置である。
【００３０】
主記憶部１０２は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等であり、制御部１１が実行するプログラムやデータ等を記憶又は一時保存する記憶装置である。
【００３１】
補助記憶部１０７は、ＨＤＤ（Hard Disk Drive）等であり、アプリケーションソフトウェア等に関連するデータを記憶する記憶装置である。
【００３２】
操作部１０４は、例えばキースイッチ（ハードキー）で構成され、プロジェクタ１０が有する機能を設定等する際に用いられる。
【００３３】
記録媒体Ｉ／Ｆ部１０５は、ＵＳＢ（Universal Serial Bus）等のデータ伝送路を介して接続される例えばフラッシュメモリ等の記録媒体１０６とプロジェクタ１０とのインターフェースである。
【００３４】
記録媒体１０６には、所定のプログラムを格納し、この記録媒体１０６に格納されたプログラムは記録媒体Ｉ／Ｆ部１０５を介してプロジェクタ１０にインストールされ、インストールされた所定のプログラムは制御部１１により実行可能となる。
【００３５】
ネットワークＩ／Ｆ部１０８は、有線及び／又は無線回線等のデータ伝送路により構築されたＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等のネットワークを介して接続される通信機能を有する周辺機器とプロジェクタ１０とのインターフェースである。
【００３６】
＜色調補正処理について＞
次に、イメージセンサ５０が出力する画像信号に基づいて実行する、基本的な色調補正アルゴリズムについて説明する。
【００３７】
プロジェクタ１０が画像を投影するスクリーン２０あるいは壁面等が有する色や、照明等の影響を含む視環境情報は、被表示領域に複数の画像パターンを投影し、イメージセンサ５０による被表示領域を含む観察画像から色調補正パラメータを決定することで求められる。
【００３８】
一般的に、イメージセンサ５０が取得する観察画像（ＸＹＺ値）と、プロジェクタ１０が受信する入力画像（ＲＧＢ値）との間には、下式の様な関係が成立する。
【００３９】
【数１】
ｃ ： イメージセンサ５０が撮影する観察画像のＸＹＺ値
ｉ ： プロジェクタ１０に入力される画像のＲＧＢ値
ｉチルダ ： 入力画像のＲＧＢ値に応答関数の逆関数をかけた値
ｔ ： 環境光成分
Ｍ ： ３×３の色変換行列
この様に、イメージセンサ５０が撮影する観察画像の色は、プロジェクタ１０の入力画像のＲＧＢ値を線形変換したものに、環境光成分を足し合わせたものとして表される。
【００４０】
プロジェクタ１０の出力は入力画像に対して線形にはならないため、プロジェクタ１０の入出力を示す応答関数を予め求め、入力画像のＲＧＢ値に応答関数の逆関数をかけたＲＧＢ値（ｉチルダ）を、プロジェクタ１０への入力としている。
【００４１】
上式に基づき、３×３の色変換行列Ｍと、環境光成分ｔのパラメータを決定するため、プロジェクタ１０は所定のパターン画像をスクリーン２０に投影し、投影された各パターン画像を含む観察画像をイメージセンサ５０が撮影する。
【００４２】
プロジェクタ１０が上記パラメータを決定するために投影するパターン画像は、例えば黒、赤、緑、青の単色画像を用いることができ、入力される各パターン画像のＲＧＢ値を２５６階調で表すと下式の通りである。
【００４３】
【数２】
黒一色の画像（入力ＲＧＢ値が全て０の画像）からは、環境光成分ｔを求めることができる。また、他の単色画像については独立なベクトルを３つ与えることで、色変換行列Ｍを求めることができる。ここでは、パターン画像の観察画像からＲＧＢ特性を分離し易いこと、また、使用するイメージセンサ５０のＷＢ（White Balance）の影響を受けにくいことから、単色画像をパターン画像として与えて色変換行列Ｍのパラメータを算出している。
【００４４】
この様に所定のパターン画像を投影することで色変換行列Ｍ、環境光成分ｔといった視環境情報を算出することができる。
【００４５】
したがって、プロジェクタ１０が投影した画像のイメージセンサ５０による観察画像の色情報と入力画像信号の色情報とが近似する様に、入力画像信号のＲＧＢ値を補正処理することで、被表示領域の視環境情報によらず良好な色再現性を得ることが可能になる。
【００４６】
図４に、本実施形態に係るプロジェクタ１０における色調補正処理のフローチャートの例を示す。
【００４７】
まず、プロジェクタ１０はスクリーン２０に所定のパターン画像を投影する（Ｓ１）。次に、イメージセンサ５０が、投影されたパターン画像を含む観察画像を取得し、観察画像に応じた信号を出力する（Ｓ２）。
【００４８】
イメージセンサ５０が出力する信号は参照領域決定部１４に送られ、参照領域決定部１４及び視環境情報算出部１３にて、色変換行列Ｍや環境光成分ｔを算出する視環境情報算出処理が実行される（Ｓ３）。
【００４９】
視環境情報の算出後は、視環境情報に基づいて入力される画像信号の補正を行い、表示部１５が色調補正された画像の投影を行う（Ｓ４）。
【００５０】
ここで、非表示領域の視環境情報を正確に求めるために、プロジェクタ１０がパターン画像を投影する画像表示領域２１と、イメージセンサ５０が取得する観察画像とが、完全に一致していることが望ましい。しかし、プロジェクタ１０の設置状況やレンズの状態等は常に一定ではないため、画像表示領域２１と観察画像とが常に一致する様に構成することは困難である。
【００５１】
したがって、例えば図６に示す様に、プロジェクタ１０が投影するパターン画像の画像表示領域２１に対して、イメージセンサ５０が取得する観察画像５１が大きく、観察画像５１にプロジェクタ１０が投影したパターン画像以外の領域が含まれる場合がある。
【００５２】
プロジェクタ１０が投影する所定のパターン画像以外の領域を含む観察画像５１から色変換行列Ｍや環境光成分ｔを求めても、パターン画像以外からの影響を受けるため正確な視環境情報の算出が困難になる。
【００５３】
＜参照領域について＞
そこで、本実施形態に係るプロジェクタ１０では、参照領域決定部１４が、観察画像５１からプロジェクタ１０が投影したパターン画像に対応する参照領域５３を決定し、パターン画像以外の領域を除外して視環境情報の算出を行う。
【００５４】
参照領域５３は、例えば、投影されるパターン画像がＲ，Ｇ，Ｂの単色画像である場合には、観察画像５１から特定の範囲にある色を有する画素を抽出し、抽出された画素を含む最小矩形を参照領域５３として決定する。
【００５５】
また、抽出した最小矩形の周辺部の画素は解像度変換等の影響を受け易く、信頼度が低いため、抽出した最小矩形の周辺部から予め設定された距離にある画素を除外して参照領域５３として決定することが好ましい。
【００５６】
図６に示す様に、参照領域決定部１４が観察画像５１からパターン画像が投影されている参照領域５３を抽出することで、視環境情報算出部１３がパターン画像以外の領域からの影響を受けずに視環境情報を算出することが可能になる。
【００５７】
図５に、本実施形態に係るプロジェクタ１０における視環境情報算出処理のフローチャートの例を示す。
【００５８】
まず、参照領域決定部１４が、イメージセンサ５０が取得した観察画像５１に対応する画像信号を取得する（Ｓ３１）。次に、観察画像５１の画像信号を解析し（Ｓ３２）、プロジェクタ１０が投影する画像表示領域２１に相当する参照領域５３を決定する（Ｓ３３）。決定された参照領域５３の代表色を求め、色変換行列Ｍ及び環境光成分ｔといった視環境情報を算出する（Ｓ３４）。
【００５９】
プロジェクタ１０が画像を表示する被表示領域全体が均一の色を有する場合には、参照領域５３全体から１つの色変換行列Ｍを求めることで、適切に色調補正を行うことができる。また、模様を有する壁面に投影する場合や、照明等の影響が部分的に異なる場合の様に、画像表示領域２１の視環境が局所的に異なる場合には、参照領域５３を例えば６４×６４程度に分割し、領域ごとに視環境情報を算出し、分割した領域毎に色調補正を行うことで、良好な色再現性を得ることができる。
【００６０】
参照領域５３の代表色を求める方法としては、例えば均等量子化法を用いることができる。均等量子化法は、単純に色分布領域を代表色数Ｎ個（代表色を１つに絞りたい場合はＮ＝１）に均等分割し、各領域の中央値等を代表色とする方法である。通常はＲＧＢ空間等に画像の全画素値を投影し、分割領域がＮ個になるまで分布領域を軸ごとに順次均等分割していき、各分割領域の中央値等をその領域の代表色とする。
【００６１】
ここで、プロジェクタ１０が投影する画像としては、与える印象の大きさから、画像表示領域２１の周辺部よりも中心部に表示される画像の色再現性が良好であることが好ましい。そのため、画像表示領域２１の中心部付近に表示されている色に近くなる様に、画像表示領域２１の代表色を求めた上で、画像表示領域２１の代表色から視環境情報を求めて色調補正を行うことが望ましい。
【００６２】
そこで、参照領域５３を分割し、分割した領域ごとに重みを付与することで、領域毎に重み付けされた画素値から画像表示領域２１の中心部付近の色に近い代表色を求めることができる。参照領域５３の分割及び重み付けは、例えば図７に示す様に、中央部から周辺部まで複数の領域に分割し、中央部の領域の重みを「１０」、中心から離れるにしたがって「５」、「２」、「１」と、重みが小さくなる様に設定する。
【００６３】
この様に分割及び重み付けした状態で、例えば、重み「１０」の中央部は全画素、重み「５」の領域からは５割の画素をランダムに選択、といった様に重みに応じてＲＧＢ空間にプロットする画素数を調整することで、画像表示領域２１の中心部付近の表示色に近くなる様に代表色を求めることができる。したがって、画像表示領域２１の中央部付近に最適化された色調補正を行うことになり、表示画像の色再現性についてより良い印象を与えることができる。
【００６４】
なお、分割及び重み付けの方法は図７に示す例に限るものではなく、中央付近の１つの画素以外の画素の重みを「０」として、１点のみから参照領域５３の代表色を求めることも可能であり、適宜設定することができる。参照領域５３の代表色を求める方法としては、原画像の色分布の統計量を元に代表色を求める中央値分割法、色空間線形分割法、頻度法等を用いることもできる。
【００６５】
また、イメージセンサ５０が撮影する画像には、撮像素子の特性や、信号増幅処理・輪郭強調処理等の処理特性によって、単色部分にノイズ（ざらつき）が発生する場合がある。したがって、プロジェクタ１０が表示する画像パターンとして使用するＲ，Ｇ，Ｂ単色のベタ領域を含む観察画像５１では、画素値にバラツキを有する場合がある。
【００６６】
そこで、観察画像５１を平滑化処理し、観察画像５１内でざらつきとして目立つ低周波領域のノイズを低減した後に視環境情報を取得することが効果的である。平滑化処理としては、例えば移動平均法を用いて、ある画素の濃度に代えて、その画素を中心とする所定領域の画素の平均濃度を与えることで、画像に含まれるノイズを除去することができる。
【００６７】
図８に、平滑化処理を行う視環境情報算出処理のフローチャートの例を示す。
【００６８】
まず、参照領域決定部１４がイメージセンサ５０から観察画像５１に対応する画像信号を取得し（Ｓ３０１）、信号の解析を行う（Ｓ３０２）。次に、観察画像５１に平滑化処理を行い（Ｓ３０２）、平滑化処理された観察画像５１から参照領域５３を決定する（Ｓ３０４）。参照領域５３が決定されると、視環境情報算出部１３が、参照領域５３から代表色を求めて視環境情報を算出する（Ｓ３０５）。
【００６９】
この様に、観察画像５１の平滑化処理を行うことで、観察画像５１内のざらつきが抑えられ、視環境情報をより正確に求めることが可能になる。なお、平滑化処理としては、移動平均法以外にも例えば加重平均法、メディアンフィルタ若しくはウィナフィルタ等を用いて行うことも可能である。
【００７０】
また、プロジェクタ１０が水平から傾いた状態で設置されると、プロジェクタ１０の表示部１５からスクリーン２０の画像表示領域２１における上側部分までの距離と、下側部分までの距離との差異により、上側と下側とで異なる明るさに投影される場合がある。
【００７１】
例えば図９に示す様に、プロジェクタ１０が傾きθだけ後傾した状態で設置されると、プロジェクタ１０からスクリーン２０の画像表示領域２１の上側部分までの距離Ｌｕが、下側部分までの距離Ｌｌよりも長くなる。この状態では、スクリーン２０の画像表示領域２１において、上側部分が暗く、下側部分が明るい様に輝度が異なって表示されることとなる。
【００７２】
この様に、画像表示領域２１において部分的に明るさが異なる状態で視環境情報を求めて色調補正を行うと、色調補正後の画像が明るすぎたり、逆に暗く見づらくなってしまう場合がある。
【００７３】
そこで、プロジェクタ１０に、プロジェクタ１０の傾きを検知する傾き検知手段としての傾きセンサ５５を設け、傾きセンサ５５が検知する傾きθに基づいて参照領域５３を決定することで、上記した不具合を解消する。
【００７４】
図１０に、プロジェクタ１０が傾いて設置された場合の参照領域５３の決定例を示す。
【００７５】
例えば、図９に示す様にプロジェクタ１０が傾き角θで後傾している場合には、図１０（ａ）に示す様に、傾き角θに応じて除外する領域を変更し、画像表示領域２１の上側部分が参照領域５３になる様に設定する。
【００７６】
また、プロジェクタ１０が傾き角θで前傾している場合には、図１０（ｂ）に示す様に、傾き角θに応じて除外する領域を変更し、画像表示領域２１の下側部分が参照領域５３になる様に設定する。
【００７７】
この様に、プロジェクタ１０に傾きセンサ５５を設け、傾き角θに応じて参照領域５３の位置をずらすことで、プロジェクタ１０の設置状況によらず、画像表示領域２１の視環境情報を算出して良好な色再現性を得ることが可能になる。
【００７８】
なお、以上で説明した実施形態において、画像表示装置としてのプロジェクタ１０は、例えば、ＲＯＭ等に予め組み込まれて提供されたプログラムを実行することで、上述した本発明に関連する各機能を実現する様に構成できる。プロジェクタ１０で実行されるプログラムは、各手段（画像処理部１２、視環境情報算出部１３、参照領域決定部１４等）を実現するためのプログラムを含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記ＲＯＭからプログラムを読み出して実行することにより上記各部（機能部）を実現するプログラムが主記憶部１０２等にロードされ、上記の各手段が実現されるようになっている。
【００７９】
また、上記した実施形態に係るプロジェクタ１０で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
【００８０】
さらに、上記した実施形態に係るプロジェクタ１０で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供する様に構成してもよい。また、上記実施形態に係るプロジェクタ１０で実行されるプログラムをインターネット等のネットワーク経由で提供または配信する様に構成してもよい。
【００８１】
＜まとめ＞
以上で説明した様に、本発明の実施形態によれば、プロジェクタ１０がスクリーン２０等にパターン画像を投影して表示し、表示されたパターン画像を含む観察画像をイメージセンサ５０が取得し、パターン画像以外の領域を除外して被表示領域の視環境情報算出に適した参照領域を抽出することで、被表示領域の正確な視環境情報を求めることが可能になる。したがって、被表示領域の正確な視環境情報に基づいて入力画像に対して色調補正を行って画像を投影して表示することができるため、プロジェクタ１０の設置環境によらず、常に良好な色再現性を得ることができる。
【００８２】
なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせなど、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。
【符号の説明】
【００８３】
１０ プロジェクタ（画像表示装置）
１２ 画像処理部（画像処理手段）
１３ 色情報検出部（検出手段）
１４ 参照領域決定部（参照領域決定手段）
１５ 表示部
２１ 被表示領域
５０ イメージセンサ（画像信号出力手段）
５１ 観察画像
５３ 参照領域
５５ 傾きセンサ（傾き検知手段）
【先行技術文献】
【特許文献】
【００８４】
【特許文献１】特許第２９７３４７７号公報
【特許文献２】特許第３７０７３５０号公報
【特許文献３】特開２０１０−１３０４８１号公報
【特許請求の範囲】
【請求項１】
画像を被表示領域に表示する表示手段を有する画像表示装置であって、
前記表示手段が画像を表示した前記被表示領域を含む観察画像を撮影する撮像手段と、
前記観察画像から、前記被表示領域の視環境情報を算出するための参照領域を決定する参照領域決定手段と、
前記参照領域から前記被表示領域の視環境情報を算出する視環境情報算出手段と、
前記視環境情報算出手段が算出した前記被表示領域の視環境情報に基づいて画像信号を補正して前記表示手段に送信する画像処理手段と、
を備えることを特徴とする画像表示装置。
【請求項２】
前記参照領域決定手段は、前記観察画像から、前記被表示領域に対応する画像領域を抽出し、前記画像領域の周辺部から予め設定される所定の範囲を除外して前記参照領域を決定する
ことを特徴とする請求項１に記載の画像表示装置。
【請求項３】
前記視環境情報算出手段は、前記参照領域を分割した領域ごとに重み付けを行い、前記被表示領域の視環境情報を算出する
ことを特徴とする請求項２に記載の画像表示装置。
【請求項４】
前記視環境情報算出手段が付与する重みは、前記領域ごとに前記被表示手段の中心から離れるほど小さくなる様に設定することを特徴とする請求項３に記載の画像表示装置。
【請求項５】
前記画像表示装置の傾きを検知する傾き検知手段を備え、
前記傾き検知手段が検知する傾きに応じて、前記画像領域の周辺部から除外する範囲を変更することを特徴とする請求項２から４の何れか一項に記載の画像表示装置。
【請求項６】
前記視環境情報算出手段は、前記参照領域に平滑化処理を施した上で、前記被表示領域の視環境情報を算出することを特徴とする請求項１から５の何れか一項に記載の画像表示装置。
【請求項７】
画像を被表示領域に表示する表示手段を有する画像表示装置における画像表示方法であって、
前記表示手段が画像を表示した前記被表示領域を含む観察画像を撮影する撮像ステップと、
前記観察画像から、前記被表示領域の視環境情報を算出するための参照領域を決定する参照領域決定ステップと、
前記参照領域から前記被表示領域の視環境情報を算出する視環境情報算出ステップと、
算出された前記被表示領域の視環境情報に基づいて画像信号を補正して前記表示手段に送信する画像信号処理ステップと、
を有することを特徴とする画像表示方法。
【請求項８】
画像を被表示領域に表示する表示手段と、前記表示手段が画像を表示した前記被表示領域を含む観察画像を撮影する撮像手段と、を有する画像表示装置において、
コンピュータを、
前記観察画像から、前記被表示領域の視環境情報を算出するための参照領域を決定する参照領域決定手段と、
前記参照領域から前記被表示領域の視環境情報を算出する視環境情報算出手段と、
算出された前記被表示領域の視環境情報に基づいて画像信号を補正して前記表示手段に送信する画像信号処理手段と
して機能させるためのプログラム。
【請求項１】
画像を被表示領域に表示する表示手段を有する画像表示装置であって、
前記表示手段が画像を表示した前記被表示領域を含む観察画像を撮影する撮像手段と、
前記観察画像から、前記被表示領域の視環境情報を算出するための参照領域を決定する参照領域決定手段と、
前記参照領域から前記被表示領域の視環境情報を算出する視環境情報算出手段と、
前記視環境情報算出手段が算出した前記被表示領域の視環境情報に基づいて画像信号を補正して前記表示手段に送信する画像処理手段と、
を備えることを特徴とする画像表示装置。
【請求項２】
前記参照領域決定手段は、前記観察画像から、前記被表示領域に対応する画像領域を抽出し、前記画像領域の周辺部から予め設定される所定の範囲を除外して前記参照領域を決定する
ことを特徴とする請求項１に記載の画像表示装置。
【請求項３】
前記視環境情報算出手段は、前記参照領域を分割した領域ごとに重み付けを行い、前記被表示領域の視環境情報を算出する
ことを特徴とする請求項２に記載の画像表示装置。
【請求項４】
前記視環境情報算出手段が付与する重みは、前記領域ごとに前記被表示手段の中心から離れるほど小さくなる様に設定することを特徴とする請求項３に記載の画像表示装置。
【請求項５】
前記画像表示装置の傾きを検知する傾き検知手段を備え、
前記傾き検知手段が検知する傾きに応じて、前記画像領域の周辺部から除外する範囲を変更することを特徴とする請求項２から４の何れか一項に記載の画像表示装置。
【請求項６】
前記視環境情報算出手段は、前記参照領域に平滑化処理を施した上で、前記被表示領域の視環境情報を算出することを特徴とする請求項１から５の何れか一項に記載の画像表示装置。
【請求項７】
画像を被表示領域に表示する表示手段を有する画像表示装置における画像表示方法であって、
前記表示手段が画像を表示した前記被表示領域を含む観察画像を撮影する撮像ステップと、
前記観察画像から、前記被表示領域の視環境情報を算出するための参照領域を決定する参照領域決定ステップと、
前記参照領域から前記被表示領域の視環境情報を算出する視環境情報算出ステップと、
算出された前記被表示領域の視環境情報に基づいて画像信号を補正して前記表示手段に送信する画像信号処理ステップと、
を有することを特徴とする画像表示方法。
【請求項８】
画像を被表示領域に表示する表示手段と、前記表示手段が画像を表示した前記被表示領域を含む観察画像を撮影する撮像手段と、を有する画像表示装置において、
コンピュータを、
前記観察画像から、前記被表示領域の視環境情報を算出するための参照領域を決定する参照領域決定手段と、
前記参照領域から前記被表示領域の視環境情報を算出する視環境情報算出手段と、
算出された前記被表示領域の視環境情報に基づいて画像信号を補正して前記表示手段に送信する画像信号処理手段と
して機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１３−１０９１１７（Ｐ２０１３−１０９１１７Ａ）
【公開日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願番号】特願２０１１−２５３４７０（Ｐ２０１１−２５３４７０）
【出願日】平成２３年１１月２１日（２０１１．１１．２１）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願日】平成２３年１１月２１日（２０１１．１１．２１）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]