表示装置、表示装置の制御方法、及び、プログラム
【課題】画像の表示中に指示された指示位置に基づく処理を行う装置に対し、指示位置を示す情報を適切に提供できるようにする。
【解決手段】プロジェクター１１は、画像ソースから入力される入力画像をスクリーンＳＣに表示する投射ユニット３と、スクリーンＳＣにおける指示位置を検出する位置検出ユニット１５０と、位置検出ユニット１５０により検出された指示位置を示す座標を生成する座標変換部１６０と、座標変換部１６０により生成された座標に基づいて処理を実行する画像処理ユニット１１０と、座標変換部１６０により生成された座標の、画像処理ユニット１１０及びＰＣ１３に対する出力を制御する出力制御部１０１と、を備える。
【解決手段】プロジェクター１１は、画像ソースから入力される入力画像をスクリーンＳＣに表示する投射ユニット３と、スクリーンＳＣにおける指示位置を検出する位置検出ユニット１５０と、位置検出ユニット１５０により検出された指示位置を示す座標を生成する座標変換部１６０と、座標変換部１６０により生成された座標に基づいて処理を実行する画像処理ユニット１１０と、座標変換部１６０により生成された座標の、画像処理ユニット１１０及びＰＣ１３に対する出力を制御する出力制御部１０１と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示面に画像を表示する表示装置、表示装置の制御方法、及び、プログラムに関する。
【背景技術】
【０００２】
従来、プロジェクター等の表示装置が表示する画像の特定の位置が指示された場合に、指示位置を検出し、検出した位置に対応するようにポインター等を表示する装置が知られている（例えば、特許文献１参照）。この種の装置は、指示された位置を検出すると、例えば指示された位置に対応してポインターを表示したり、指示位置の軌跡を示す画像を描画し、表示したりする。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４２７２９０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
一般に、指示位置に基づいてポインターの表示や軌跡を描画する処理は、表示装置に画像を供給するパーソナルコンピューター等の装置が実行するが、表示装置自身が上記のような処理を行うことも不可能ではない。このため、例えば、表示装置に接続された画像供給装置と、表示装置自身との両方とも指示位置に対応する動作が可能な構成が考えられるし、表示装置に接続された装置がポインターの表示や軌跡を描画する機能を持たない構成も考えられる。ところが、このように様々な構成に対応して指示位置の情報を適切に提供する手法は知られていない。
本発明は、上述した事情に鑑みてなされたものであり、画像の表示中に指示された指示位置に基づく処理を行う装置に対し、指示位置を示す情報を適切に提供できるようにすることを目的とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するため、本発明は、画像ソースから入力される入力画像を表示面に表示する表示手段と、前記表示面における指示位置を検出する位置検出手段と、前記位置検出手段により検出された指示位置を示す位置情報を生成する位置情報生成手段と、前記位置情報生成手段により生成された位置情報に基づいて処理を実行する処理手段と、前記位置情報生成手段により生成された位置情報の、前記処理手段に対する出力を制御する出力制御手段とを備えることを特徴とする。
本発明によれば、表示面に対して位置の指示がなされた場合に、この指示位置を示す位置情報を生成し、表示装置が備える処理手段に対する位置情報の出力を制御する。これにより、例えば指示位置に基づく処理内容や処理を行う装置に対応して、適切に位置情報を出力でき、或いは、複数の処理手段を有する場合に、どの処理手段に位置情報を出力するかを制御して、適切な出力先に位置情報を出力できる。
【０００６】
また、本発明は、上記表示装置において、外部の装置に接続可能に構成され、前記出力制御手段は、前記位置情報生成手段により生成された位置情報の、前記処理手段又は前記外部の装置に対する出力を制御することを特徴とする。
本発明によれば、外部の装置に対しても、表示面に対する指示位置を示す位置情報の出力を制御できるので、外部の装置から入力される情報に基づいて動作する場合や、外部の装置を含む複数の出力先がある場合などに、適切な出力先に位置情報を出力できる。
【０００７】
また、本発明は、上記表示装置において、前記外部の装置を含む複数の前記画像ソースから入力画像を入力可能な画像入力手段と、前記画像入力手段に入力される入力画像のいずれか一以上の入力画像を前記表示手段により表示させる表示制御手段と、前記表示制御手段により表示中の入力画像を入力する前記画像ソースの種類を判別するソース判別手段とを備え、前記出力制御手段は、前記ソース判別手段により判別された前記画像ソースの種類に基づいて、当該画像ソース及び前記処理手段に対する前記位置情報生成手段により生成された位置情報の出力を制御することを特徴とする。
本発明によれば、表示中の画像を入力した画像ソースの種類に基づいて位置情報の出力を制御するので、複数の画像ソースから入力画像が入力可能な場合に位置情報を適切な出力先に出力することができる。
【０００８】
ここで、前記ソース判別手段が判別する前記画像ソースの種類は、前記画像ソースが接続されるインターフェイスの種類としてもよいし、前記画像ソースから入力される前記入力画像の種類としてもよいし、前記画像ソースとなる前記外部の装置の種類としてもよい。すなわち、前記ソース判別手段は、前記画像入力手段が、前記画像ソースとなる前記外部の装置に接続される複数種類のインターフェイスを有する場合に、インターフェイスの種類に基づいて前記画像ソースの種類を判別してもよいし、前記画像入力手段に接続された外部の装置から入力される入力画像の信号形式またはデータフォーマットに基づいて前記画像ソースの種類を判別してもよく、前記画像入力手段に接続された前記外部の装置の種類自体を識別することにより前記画像ソースの種類を判別してもよい。
また、前記表示装置が、画像データを記憶する記憶手段等の前記画像ソースを内蔵し、この内蔵された前記画像ソースから供給される画像を前記表示手段により表示してもよい。
このため、画像ソースのインターフェイスの種類、入力画像の種類、或いは画像ソースとなっている装置の種類に基づいて、位置情報の出力先を的確に判定し、或いは出力先を適切に選択して、位置情報を出力できる。
【０００９】
また、本発明は、上記表示装置において、前記表示制御手段は、前記表示手段によって、前記画像入力手段に複数の前記画像ソースから入力される複数の前記入力画像を、前記表示面に設けられた複数の領域のそれぞれに表示させ、前記出力制御手段は、前記位置検出手段により検出された指示位置がどの前記領域に属するかを判定し、指示位置が属する前記領域に表示されている前記入力画像の前記画像ソースの種類に応じて、当該画像ソース及び前記処理手段に対する前記位置情報生成手段により生成された位置情報の出力を制御することを特徴とする。
本発明によれば、複数の入力画像を表示面に同時に表示し、指示位置を検出した場合に、指示位置に重なる入力画像の画像ソースに対応して、位置情報の出力を制御できる。このため、複数の画像ソースから位置情報の出力先を的確に選択するなど、位置を指示する操作に適切に対応して位置情報を出力できる。
【００１０】
また、本発明は、上記表示装置において、前記出力制御手段は、前記位置検出手段により検出された指示位置が、前記表示面に表示された複数の前記入力画像のうち特定の前記入力画像が表示された領域に含まれない場合に、前記位置情報生成手段により生成された前記位置情報の出力を停止し、或いは、前記位置情報を出力する出力先を変更することを特徴とする。
本発明によれば、複数の画像ソースからの入力画像のうち、例えば予め設定された画像ソースからの入力画像、設定された位置に表示されている入力画像、或いは、何らかの条件を満たす入力画像など、特定の入力画像が表示された領域に、指示位置が含まれない場合に、位置情報の出力が停止あるいは出力先の画像ソースが変更されるので、画像ソースの装置が、対応していない座標に基づいて想定外の動作を行わないよう制御を行える。これにより、複数の画像ソースからの入力画像にまたがる操作に適切に対応するとともに、複数の装置が統合されていない動作を行うことによる画像の乱れ等を防止できる。
ここで、出力制御手段は、特定の前記入力画像が表示された領域で検出された指示位置が、その後に当該領域の外に移動したことを判別して、位置情報の出力を停止あるいは出力先の画像ソースを変更してもよい。
【００１１】
また、本発明は、上記表示装置において、前記表示手段による表示を停止させる表示停止制御手段をさらに備え、前記出力制御手段は、前記表示停止制御手段により前記表示手段による表示が停止されている間は、前記位置情報生成手段により生成された位置情報の出力を停止することを特徴とする。
本発明によれば、表示を停止している間の位置情報に基づく処理を停止させることができるので、表示を再開した際に意図しない画像が表示される等の事態を防止できる。
【００１２】
また、本発明は、上記表示装置において、前記処理手段は、前記位置情報生成手段により生成された位置情報をもとに、前記表示面に表示される画像の少なくとも一部を描画する描画処理、前記表示面に前記位置情報に対応するポインターを表示する処理、及び、当該処理手段の機能に対応づけられた操作画像が前記表示面に表示された状態で、前記位置情報に基づいて選択される前記操作画像に対応する動作を実行するＧＵＩ処理の少なくともいずれかを実行することを特徴とする。
本発明によれば、表示装置が、指示位置に対応した描画、指示位置にポインターを表示する処理、及び指示位置に対応したＧＵＩ操作のいずれかを実行でき、指示位置に基づいて操作性の高い操作環境を実現できる。また、この表示装置の機能に対する位置情報の出力を適切に制御するので、描画、ポインターの表示あるいはＧＵＩ操作における表示の混乱等を回避できる。
【００１３】
また、本発明は、上記表示装置において、前記位置情報生成手段により生成された位置情報の出力先を設定する設定画面を前記表示手段により表示させる設定画面表示手段と、前記設定画面表示手段により前記設定画面が表示された状態で、前記位置検出手段により検出された指示位置に基づいて出力先の設定を行う設定手段と、を備え、前記出力制御手段は、前記設定手段により設定された出力先に、前記位置情報生成手段が生成した前記位置情報を出力することを特徴とする。
本発明によれば、位置情報の出力先を、位置検出手段により指示位置が検出される操作によって容易に設定することができる。
【００１４】
また、本発明は、上記表示装置において、前記表示手段として、光源と、前記光源が発した光を前記入力画像に基づいて変調する光変調手段と、前記光変調手段により変調された光を前記表示面に投射する投射手段とを備えるプロジェクターであることを特徴とする。
本発明によれば、プロジェクターが投射した画像に対する位置を指示する操作に対応した適切な動作を実行できる。
【００１５】
また、上記課題を解決するため、本発明は、画像ソースから入力される入力画像を表示面に表示する表示装置を制御する表示装置の制御方法であって、前記表示面における指示位置を検出し、検出した指示位置を示す位置情報を生成し、前記位置情報に基づいて処理を実行する処理手段に対する前記位置情報の出力を制御することを特徴とする。
本発明の制御方法を実行することにより、表示面に位置の指示がなされた場合に、この指示位置を示す位置情報を生成し、表示装置が備える処理手段に対する位置情報の出力を制御できる。これにより、例えば指示位置に基づく処理内容や処理を行う装置に対応して、適切に位置情報を出力でき、或いは、複数の処理手段を有する場合に、どの処理手段に位置情報を出力するかを制御して、適切な出力先に位置情報を出力できる。
【００１６】
また、上記課題を解決するため、本発明は、画像ソースから入力される入力画像を表示面に表示する表示装置を制御するコンピューターが実行可能なプログラムであって、前記コンピューターを、前記表示面における指示位置を検出する位置検出手段と、前記位置検出手段により検出された指示位置を示す位置情報を生成する位置情報生成手段と、前記位置情報生成手段により生成された位置情報に基づいて処理を実行する処理手段と、前記位置情報生成手段により生成された位置情報の、前記処理手段に対する出力を制御する出力制御手段と、して機能させるためのプログラムである。
本発明のプログラムを実行することにより、表示装置を制御するコンピューターは、表示面に位置の指示がなされた場合に、この指示位置を示す位置情報を生成し、表示装置が備える処理手段に対する位置情報の出力を制御できる。これにより、例えば指示位置に基づく処理内容や処理を行う装置に対応して、適切に位置情報を出力でき、或いは、複数の処理手段を有する場合に、どの処理手段に位置情報を出力するかを制御して、適切な出力先に位置情報を出力できる。
また、上記プログラムを、コンピューターが読み取り可能に記録した記録媒体として実現することも可能である。
【発明の効果】
【００１７】
本発明によれば、表示面における指示位置を示す位置情報を適切に出力できる。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施形態に係る表示システムの構成を示す図である。
【図２】プロジェクターの機能的構成を示すブロック図である。
【図３】ＰＣの機能的構成を示すブロック図である。
【図４】スクリーンに画像を投射した例を示す図であり、（Ａ）は指示位置に従ってポインターを投射した状態を示し、（Ｂ）は指示位置に従って描画を行った例を示す。
【図５】座標を検出及び変換する処理の様子を示す説明図である。
【図６】座標を検出及び変換する処理の様子を示す説明図である。
【図７】画像の投射状態の変化と座標を変換する処理の様子を示す説明図である。
【図８】画像の投射状態の変化と座標を変換する処理の様子を示す説明図である。
【図９】プロジェクターの動作を示すフローチャートである。
【図１０】画像ソースの種類毎に座標の出力の可否を定義する設定データの構成を模式的に示す図である。
【図１１】出力先の設定画面の例を示す図である。
【図１２】図９のステップＳ１７に示した座標出力処理を詳細に示すフローチャートである。
【図１３】スクリーンにおける指示体による操作の例を示す図であり、（Ａ）は通常表示における操作前の状態を示し、（Ｂ）は指示位置の軌跡の例を示し、（Ｃ）は多画面表示における操作前の状態を示し、（Ｄ）は多画面表示時の指示位置の軌跡の例を示す。
【図１４】複数の領域に跨る操作に応じてズーム機能を実行する例を示す説明図であり、（Ａ）はズームの中心が指定された状態を示し、（Ｂ）は指定された中心に従ってズーム処理を行った状態を示す。
【図１５】位置検出部による位置検出の例を示す説明図である。
【図１６】変形例としてのプロジェクターの機能的構成を示すブロック図である。
【発明を実施するための形態】
【００１９】
以下、図面を参照して本発明を適用した実施形態について説明する。
図１は、実施形態に係るプロジェクター１１を用いた表示システム１０の構成を示す図である。図中の一部を円内に拡大して示す。
表示装置としてのプロジェクター１１には、画像供給装置としてのＰＣ（Personal Computer）１３、ＤＶＤプレーヤー１５、及びビデオレコーダー１６が有線接続されている。プロジェクター１１にはネットワーク１４を介して複数のＰＣ１３が接続され、いずれのＰＣ１３からもプロジェクター１１に画像データを供給可能である。ネットワーク１４はＬＡＮケーブル等の有線通信回線または無線通信回線により構成され、ネットワーク１４とプロジェクター１１とは有線または無線接続され、このネットワーク１４を介してプロジェクター１１と各ＰＣ１３との間、及び、ＰＣ１３間で各種データを送受信可能である。
図１に例示する構成では、プロジェクター１１は、一つのＰＣ１３に対し、アナログ映像信号を伝送するＲＧＢケーブル６１、及び、デジタルデータを伝送するＵＳＢケーブル６２により接続されている。このＰＣ１３は、プロジェクター１１にＲＧＢケーブル６１を介してアナログ映像信号を出力できる。また、プロジェクター１１は、ＵＳＢケーブル６２を介して、ＰＣ１３との間で後述する座標データを含む各種制御データ等を送受信する。なお、ＰＣ１３とプロジェクター１１とをＤＶＩケーブル等を介して接続し、デジタル画像データを伝送する構成とすることも勿論可能である。
プロジェクター１１は、ＰＣ１３、ＤＶＤプレーヤー１５及びビデオレコーダー１６から入力された画像データに基づいて、投射面（表示面）としてのスクリーンＳＣに投射する。プロジェクター１１は、ＰＣ１３、ＤＶＤプレーヤー１５及びビデオレコーダー１６から入力された画像データが静止画像であっても動画像であっても投射できる。スクリーンＳＣは、壁面に固定された平板に限らず、壁面自体をスクリーンＳＣとして使用することも可能である。ここで、スクリーンＳＣ上で画像が投射される範囲を実投射領域１１Ｂ（表示可能領域）とする。また、プロジェクター１１は通信ケーブル等によりＰＣ１３に接続され、ＰＣ１３との間で制御データ等を送受信する。
【００２０】
表示システム１０では、プロジェクター１１による画像の投射中、ユーザーが指示体１２を手に持って、スクリーンＳＣの実投射領域１１Ｂにおける位置指示操作を実行できる。指示体１２は、ペン型や棒形状の操作デバイスであって、スクリーンＳＣの上の任意の位置を指し示すために用いられる。プロジェクター１１は、後述するように指示体１２の先端位置を検出する機能を有し、検出した指示位置の座標を示す制御データをＰＣ１３に出力する。また、プロジェクター１１は、検出した指示位置の座標に基づいて、指示位置に沿って画像を描画する等の処理を行う。
【００２１】
図２は、プロジェクター１１の機能的構成を示すブロック図である。
プロジェクター１１は、大別して、ＲＧＢケーブル６１またはネットワーク１４を介してＰＣ１３から入力される入力画像やＤＶＤプレーヤー１５及びビデオレコーダー１６等から入力される入力画像に基づいて表示用の画像処理を実行する画像処理ユニット１１０と、画像処理ユニット１１０の制御に従ってスクリーンＳＣに画像を投射する投射ユニット３（表示手段）と、スクリーンＳＣ上の指示体１２の指示位置を検出する位置検出ユニット１５０と、位置検出ユニット１５０が検出した指示位置の座標を、画像データにおける座標に変換する座標変換部１６０と、座標変換部１６０が変換した変換後の座標をＰＣ１３または画像処理ユニット１１０に出力する出力切替部１６３と、出力切替部１６３が座標を出力する出力先を切り替えさせる出力制御部１０１と、これらの各部を制御する制御部１０３と、を備えている。
制御部１０３は、図示しないＣＰＵ、不揮発性メモリー、ＲＡＭ等により構成され、制御部１０３に接続された記憶部１０５に記憶されている制御プログラム１０５Ａを読み出して実行し、プロジェクター１１の各部を制御する。また、記憶部１０５に記憶された制御プログラム１０５Ａを実行することで、制御部１０３はキャリブレーション実行部１０３Ａとして機能する。キャリブレーション実行部１０３Ａは、後述するキャリブレーションを実行して、撮影画像データにおける座標と、キャリブレーションの対象となるスクリーンＳＣ上の領域における座標との対応関係（座標変換パラメーター）を求める。記憶部１０５は、磁気的、光学的記録装置または半導体記憶素子により構成され、制御プログラム１０５Ａを含む各種プログラム、及び、各種設定値等のデータを記憶する。
【００２２】
制御部１０３には操作パネル４１及びリモコン受光部４５が接続されている。
操作パネル４１は、各種スイッチ及びインジケーターランプを備え、プロジェクター１１の外装筐体（図示略）に配置されている。制御部１０３は、プロジェクター１１の動作状態や設定状態に応じて操作パネル４１のインジケーターランプを適宜点灯或いは点滅させる。また、操作パネル４１のスイッチが操作されると、操作されたスイッチに対応する操作信号を制御部１０３に出力する。操作パネル４１やリモコン等は、プロジェクター１１に対する操作をユーザーが入力するための操作部である。なお、プロジェクター１１に対する操作を表す操作信号をＰＣ１３からプロジェクター１１に送信し、この操作信号に基づいてプロジェクター１１を制御することもできる。ＰＣ１３から操作信号を送信する場合は、例えばＵＳＢインターフェイス等を介してプロジェクター１１に操作信号を送信することができる。この場合は、ＰＣ１３も、プロジェクター１１に対する操作をユーザーが入力するための操作部として機能する。
また、プロジェクター１１は、プロジェクター１１の操作者であるユーザーが使用するリモコン（図示略）がボタン操作に対応して送信した赤外線信号を、リモコン受光部４５によって受光する。リモコン受光部４５は、上記リモコンから受光した赤外線信号を受光素子により受光し、この信号に対応する操作信号を制御部１０３に出力する。
制御部１０３は、操作パネル４１またはリモコン受光部４５から入力される操作信号に基づいて、ユーザーの操作を検出し、この操作に従ってプロジェクター１１を制御する。
【００２３】
プロジェクター１１は、ＰＣ１３、ネットワーク１４、ＤＶＤプレーヤー１５及びビデオレコーダー１６等に接続される外部Ｉ／Ｆ１０２を備えている。外部Ｉ／Ｆ１０２は、制御データやデジタル画像データ等の各種データ、及び、アナログ映像信号を送受信するインターフェイスであり、複数種類のコネクター及びこれらのコネクターに対応するインターフェイス回路を備えている。本実施形態において、外部Ｉ／Ｆ１０２は、コンピューターの映像出力端子に接続されるＣｏｍｐインターフェイス、ビデオ再生装置やＤＶＤ再生装置に接続されるＳ−Ｖｉｄｅｏインターフェイス、Ｖｉｄｅｏインターフェイス、デジタル家電等が接続されるＨＤＭＩ（登録商標）規格に準拠したＨＤＭＩインターフェイス、コンピューターのＵＳＢ端子に接続されるＵＳＢインターフェイス、及び、コンピューターを含んで構成されるＬＡＮに接続されるＬＡＮインターフェイスを有する。
Ｃｏｍｐインターフェイスは、コンピューターからアナログ映像信号が入力されるＶＧＡ端子、デジタル映像信号が入力されるＤＶＩ（Digital Visual Interface）等である。このＣｏｍｐインターフェイスにはＲＧＢケーブル６１（図１）が接続され、ＵＳＢインターフェイスにはＵＳＢケーブル６２（図１）が接続される。
【００２４】
Ｓ−Ｖｉｄｅｏインターフェイスは、ビデオ再生装置、ＤＶＤ再生装置、テレビチューナー装置、ＣＡＴＶのセットトップボックス、ビデオゲーム装置等の画像供給装置から、ＮＴＳＣ、ＰＡＬ、ＳＥＣＡＭ等のコンポジット映像信号が入力されるＳ映像端子を備え、本実施形態ではＤＶＤプレーヤー１５が接続される。
Ｖｉｄｅｏインターフェイスは、上記の画像供給装置からコンポジット映像信号が入力されるＲＣＡ端子、或いはコンポーネント映像信号が入力されるＤ端子等を備え、アナログ画像信号が入力され、本実施形態ではビデオレコーダー１６が接続されている。
【００２５】
ＵＳＢインターフェイスは図示しないＵＳＢ端子と、このＵＳＢ端子を介してコンピューターと制御データやデジタル画像データを送受信するＵＳＢコントローラー（図示略）とを備えている。ここで、外部Ｉ／Ｆ１０２Ｇは、ＰＣ１３などのＵＳＢホストデバイスとなる装置を接続するためのＵＳＢ−Ｂインターフェイスを備えていてもよいし、プロジェクター１１に対してＵＳＢスレーブデバイスとして機能するＵＳＢメモリーや書画カメラ等のデバイスを接続するためのＵＳＢ−Ａインターフェイスを備えていてもよい。また、ＵＳＢ−Ａ、ＵＳＢ−Ｂの両方のインターフェイスを備えていてもよい。
また、ＬＡＮインターフェイスは、ＬＡＮケーブルを接続可能なＲＪ−４５端子等の端子を備え、この端子を介して１または複数のコンピューターを含むＬＡＮに接続される。例えばＥｔｈｅｒｎｅｔ（登録商標）規格に準拠したネットワークインターフェース回路（図示略）を備えており、ＬＡＮを構成するコンピューターとの間で制御データや画像データを送受信する。
また、外部Ｉ／Ｆ１０２に、ＶＥＳＡ（Video Electronics Standards Association）が策定したDisplayPortを備えた構成としてもよく、具体的にはDisplayPortコネクター或いはMini Displayportコネクターと、Displayport規格に準拠したインターフェイス回路とを備えた構成としてもよい。この場合、プロジェクター１１は、ＰＣ１３や、ＰＣ１３と同等の機能を有する携帯型デバイスが備えるDisplayPortに接続し、デジタル画像データを入力可能となる。
さらに、外部Ｉ／Ｆ１０２は有線通信によって画像信号の送受信を行っても良く、無線通信によって画像信号の送受信を行っても良い。例えば、外部Ｉ／Ｆ１０２に、無線ＬＡＮ等の無線通信インターフェイスを備え、プロジェクター１１をＰＣ１３等の各種装置と無線通信回線を介して接続してもよい。
外部Ｉ／Ｆ１０２が備える各インターフェイスに接続された各装置（上述した画像供給装置）を、画像ソースと呼び、各画像ソースから入力される画像信号または画像データを入力画像と総称する。このため、入力画像には、アナログ画像信号及びデジタル画像データの両方が含まれる。
【００２６】
プロジェクター１１は、大きく分けて光学的な画像の形成を行う光学系と画像信号を電気的に処理する画像処理系とからなる。光学系は、照明光学系３１（光源）、光変調装置３２（光変調手段）、及び投射光学系３３から構成される投射部３０（投射手段）を備えている。照明光学系３１は、キセノンランプ、超高圧水銀ランプ、ＬＥＤ（Light Emitting Diode）等からなる光源を備えている。また、照明光学系３１は、光源が発した光を光変調装置３２に導くリフレクター及び補助リフレクターを備えていてもよく、投射光の光学特性を高めるためのレンズ群（図示略）、偏光板、或いは光源が発した光の光量を光変調装置３２に至る経路上で低減させる調光素子等を備えたものであってもよい。
光変調装置３２は、後述する画像処理系からの信号を受けて、照明光学系３１からの光を変調する。本実施形態では、透過型液晶パネルを用いて光変調装置３２を構成した場合を例に挙げて説明する。この構成では、光変調装置３２は、カラーの投影を行うため、ＲＧＢの三原色に対応した３枚の液晶パネルからなる。照明光学系３１からの光はＲＧＢの３色の色光に分離され、各色光は対応する各液晶パネルに入射する。各液晶パネルを通過して変調された色光はクロスダイクロイックプリズム等の合成光学系によって合成され、投射光学系３３に射出される。
【００２７】
投射光学系３３は、投射する画像の拡大・縮小および焦点の調整を行うズームレンズ、ズームの度合いを調整するズーム調整用モーター、フォーカスの調整を行うフォーカス調整用モーター等を備えている。
投射ユニット３（表示手段）は、投射部３０とともに、表示制御部１０７の制御に従って投射光学系３３が備える各モーターを駆動する投射光学系駆動部１２１、表示制御部１０７から出力される画像信号に基づいて光変調装置３２を駆動して描画を行う光変調装置駆動部１１９、及び、制御部１０３の制御に従って照明光学系３１が備える光源を駆動する光源駆動部１１７を備えている。
【００２８】
一方、画像処理系は、プロジェクター１１全体を統合的に制御する制御部１０３の制御に従って画像データを処理する画像処理ユニット１１０により構成される。画像処理ユニット１１０は、外部Ｉ／Ｆ１０２から入力された入力画像を処理する画像入力部１０４を備えている。画像入力部１０４は、例えば、アナログ映像信号をデジタル画像データに変換するＡ／Ｄ変換回路を有し、外部Ｉ／Ｆ１０２が備えるアナログ映像端子を介して入力されたアナログ映像信号を画像データに変換して画像処理部１１３に出力する。また、画像入力部１０４は、外部Ｉ／Ｆ１０２において入力映像が入力されたポートを判別する機能を有する。
【００２９】
また、画像処理ユニット１１０は、制御部１０３の制御に従って外部Ｉ／Ｆ１０２から画像入力部１０４を介して入力された入力画像のうち少なくとも１以上の入力画像を選択し、選択した入力画像としての画像データに基づいて画像を表示するための処理を画像処理部１１３に実行させる表示制御部１０７、表示制御部１０７の制御に従って入力画像を処理し、投射部３０が投射する画像をフレームメモリー１１５に展開する画像処理部１１３、表示制御部１０７から出力される画像信号に基づいて光変調装置３２を駆動して描画を行う光変調装置駆動部１１９を備えている。画像処理ユニット１１０は処理手段、及び、表示制御手段として機能する。
【００３０】
制御部１０３は、記憶部１０５に記憶された制御プログラム１０５Ａを読み出して実行することにより、プロジェクター１１の各部を制御する。
表示制御部１０７は、画像入力部１０４を介して入力される画像データのフォーマット（フレームレート、解像度、圧縮状態）の判別等を行い、光変調装置３２に表示画像を表示するために必要な処理を決定し、画像処理部１１３を制御して当該処理を実行する。画像処理部１１３は、表示制御部１０７の制御に従って、画像入力部１０４を介して入力された画像データをフレームメモリー１１５に展開し、インターレース／プログレッシブ変換、解像度変換等の各種変換処理を適宜実行し、フレームメモリー１１５に描画した表示画像を表示するための所定フォーマットの画像信号を生成して、表示制御部１０７に出力する。なお、プロジェクター１１は、入力された画像データの解像度やアスペクト比を変更して表示することもでき、入力された画像データの解像度やアスペクト比を維持したままドットバイドットで表示することも可能である。また、画像処理部１１３は、表示制御部１０７の制御に従って、キーストーン補正、カラーモードに対応した色調補正、画像の拡大／縮小処理等の各種の画像処理を実行可能である。表示制御部１０７は、画像処理部１１３により処理された画像信号を光変調装置駆動部１１９に出力し、光変調装置３２に表示させる。また、画像処理部１１３は、表示中の画像データの解像度、アスペクト比、光変調装置３２の液晶表示パネルにおける表示サイズ等の情報から、後述する画像位置情報を導出し、求めた画像位置情報を座標変換部１６０に出力する。
制御部１０３は、制御プログラム１０５Ａを実行して表示制御部１０７を制御し、スクリーンＳＣ上に結像した表示画像のキーストーン補正を実行させる。また、制御部１０３は、操作パネル４１またはリモコン受光部４５から入力された操作信号に基づいて、表示制御部１０７を制御して表示画像の拡大／縮小処理を実行させる。
【００３１】
外部Ｉ／Ｆ１０２に接続された機器から画像入力部１０４にアナログ画像信号が入力された場合、画像入力部１０４によってデジタル画像データに変換され、その後はデジタル画像データとして処理される。また、外部Ｉ／Ｆ１０２に接続された機器から画像入力部１０４にデジタル画像データが入力された場合、画像入力部１０４はデジタル画像データのまま画像処理部１１３に出力する。このように、画像処理ユニット１１０は、入力画像がアナログまたはデジタルのいずれであっても、デジタル画像データとして処理を行うので、以下の説明では、アナログ画像信号をＡ／Ｄ変換する過程については省略し、画像処理ユニット１１０が画像データを処理するものとして説明する。
【００３２】
制御部１０３は、外部Ｉ／Ｆ１０２に接続された各画像ソースのうち、いずれか一以上の画像ソースを選択して当該画像ソースの入力画像を画像入力部１０４に入力する。また、制御部１０３は、外部Ｉ／Ｆ１０２から画像入力部１０４に入力されている画像ソースを判別する機能を有する。
ここで、制御部１０３は、外部Ｉ／Ｆ１０２において各画像ソースが接続されるインターフェイスの種類毎に選択及び判別を行ってもよいし、画像ソースから入力される入力画像の種類毎に選択及び判別を行ってもよく、コネクター毎に選択及び判別を行ってもよい。さらに、外部Ｉ／Ｆ１０２に接続された各装置の種類自体を識別することにより画像ソースを選択及び判別してもよい。例えば、ＨＤＭＩインターフェイス、或いはＬＡＮインターフェイスに接続された機器は、プロジェクター１１との間で制御データを送受信するので、この制御データに基づいて各機器（装置）の種類を判別できる。具体的には、ＰＣ１３、ＤＶＤレコーダー、ＵＳＢメモリー、ＰＤＡ（Personal Digital Assistant）、携帯電話機、半導体メモリーを備えたメディアプレーヤー等、画像ソースとしての装置を具体的に特定して分類し、この分類により画像ソースの種類を判別してもよい。
【００３３】
また、制御部１０３は、記憶部１０５に画像データを記憶している場合に、操作パネル４１またはリモコン受光部４５により検出した操作により、記憶部１０５に記憶している画像データの再生表示が指示されると、プロジェクター１１自身を画像ソースとして選択することもできる。
また、プロジェクター１１は、後述するようにスクリーンＳＣ上に複数の入力画像を並べて同時に表示する、いわゆる多画面表示機能を備えている。操作パネル４１又はリモコン受光部４５により検出された操作あるいは事前の設定により、制御部１０３は、画像を表示可能な領域（投射可能領域１１Ａまたは実投射領域１１Ｂ）を複数の領域に分割し、複数の画像ソース（画像供給装置）から入力された複数の入力画像を並べて表示する多画面表示を行う。多画面表示を行う場合、制御部１０３は、外部Ｉ／Ｆ１０２に接続された複数の画像ソースのうち、多画面表示で同時に表示可能な上限数以内で、画像ソースを選択する。
【００３４】
プロジェクター１１は、スクリーンＳＣ上で指示体１２により指示された指示位置の座標を検出する位置検出ユニット１５０を有する。位置検出ユニット１５０（位置検出手段）は、スクリーンＳＣを撮影する撮像部１５３、撮像部１５３を制御する撮影制御部１５５、及び、撮像部１５３の撮影画像に基づいて指示体１２の指示位置を検出する位置検出処理部１５７を有する位置検出部１５１と、この位置検出部１５１が検出した指示位置の座標を算出する座標算出部１５９とを備えている。
撮像部１５３は、スクリーンＳＣ上で投射部３０が画像を投射可能な最大範囲（後述する投射可能領域１１Ａに相当）を含む画角を撮影するデジタルカメラであり、撮影制御部１５５の制御に従って撮影を実行し、撮影画像データを出力する。撮影制御部１５５は、制御部１０３の制御にしたがって、撮像部１５３を制御して撮影を実行させる。撮像部１５３が撮影時のズーム倍率、フォーカス、絞りの調整を行う機構を有する場合、撮影制御部１５５は、これらの機構を制御して予め設定された条件で撮影を実行させる。撮影後、撮影制御部１５５は撮像部１５３が出力する撮影画像データを取得して、位置検出処理部１５７に出力する。撮像部１５３から出力される撮影画像データは、ＲＧＢやＹＵＶ等の形式で表されるものであっても良く、輝度成分のみを表すものであっても良い。また撮影制御部１５５は、撮像部１５３から出力される撮影画像データをそのまま位置検出処理部１５７へ出力してもよく、解像度の調整や所定のファイルフォーマット（ＪＰＥＧ、ＢＭＰなど）への変換等を行った上で位置検出処理部１５７へ出力しても良い。
なお、撮像部１５３は、可視光を撮像可能な構成であっても良く、非可視光（赤外光など）を撮像可能な構成であっても良い。撮像部１５３が非可視光を撮像可能な場合には、指示体１２が非可視光を射出して、撮像部１５３が指示体１２から射出された非可視光を撮像する構成や、指示体１２が非可視光を反射可能な反射部を備えており、制御部１０３の制御によってプロジェクター１１からスクリーンＳＣに対して非可視光を投射し、指示体１２の反射部によって反射された非可視光を撮像部１５３によって撮像する構成等を採用することができる。
【００３５】
位置検出処理部１５７は、撮影制御部１５５から入力される撮影画像データを解析してこの撮影画像データから、実投射領域１１Ｂの外部と実投射領域１１Ｂとの境界、及び、指示体１２の画像を抽出し、指示体１２による指示位置を特定する。指示体１２の指示位置は、例えば、棒状あるいはペン型の指示体１２の先端の位置である。位置検出部１５４は、検出した指示位置の実投射領域１１Ｂにおける座標を求める。
【００３６】
また、プロジェクター１１は、位置検出ユニット１５０が出力した座標（第１の座標）を、ＰＣ１３から入力された画像データにおける座標（第２の座標）に変換する座標変換部１６０（位置情報生成手段）を備えている。
位置検出処理部１５７が出力する座標は、撮像部１５３の撮影画像データに基づいて検出された座標であり、スクリーンＳＣに結像した表示画像上に仮想的に設けられた座標軸における座標である。座標変換部１６０は、画像処理部１１３がフレームメモリー１１５に展開した画像の解像度と、画像処理部１１３が画像を展開する際に行った解像度変換やズーム等の処理内容に関する情報とを含む各種の情報を取得し、取得した情報をもとに、位置検出処理部１５７が求めた表示画像における座標を入力画像データにおける座標に変換する。上述のように光変調装置３２は、例えば縦横にマトリクス状に並ぶ所定数の画素を有する液晶表示パネルを用いて構成されているので、画素の配列方向に仮想の直交座標系の座標軸を配置することで、パネル上の位置を座標で表すことができる。これに対し、撮影画像データにおける座標は、撮像装置５とスクリーンＳＣとの距離等の様々な要素の影響を受ける。そこで、本発明に係るプロジェクター１１においては、最初にキャリブレーション（後述）を実行して、撮影画像データにおける座標と、キャリブレーションの対象となるスクリーンＳＣ上の領域における座標との対応関係（座標変換パラメーター）を求める。ここで、キャリブレーションの対象となるスクリーンＳＣの領域は、実投射領域１１Ｂ全体であっても良く、実投射領域１１Ｂの一部であっても良い。実投射領域１１Ｂの一部をキャリブレーションの対象とする場合としては、プロジェクター１１の表示画像のアスペクト比とスクリーンＳＣのアスペクト比が異なる場合（例えば、プロジェクター１１の表示解像度がＷＸＧＡで、スクリーンＳＣのアスペクト比が４：３である場合）に、プロジェクター１１の表示画像の垂直方向の幅が、スクリーンＳＣの垂直方向の幅と一致するように表示する場合が考えられる。この場合は、プロジェクター１１の実投射領域１１Ｂのうち、スクリーンＳＣに含まれる領域をキャリブレーションの対象とし、それ以外の領域をキャリブレーションの対象外とすることが考えられる。キャリブレーション実行部１０３Ａによって座標変換パラメーターが求められると、この座標変換パラメーターに基づいて、座標算出部１５９が座標の変換を行う。この変換処理については後述する。さらに、座標変換部１６０は、座標算出部１５９から出力された座標（第１の座標）を画像位置情報（後述）に基づいて変換し、変換後の座標（第２の座標）を出力切替部１６３に出力する。
【００３７】
出力切替部１６３は、座標変換部１６０が変換した変換後の座標を出力する出力先を選択的に切り替える機能を有し、本実施形態では、外部Ｉ／Ｆ１０２または画像処理ユニット１１０のいずれかを出力先として選択し、座標を出力する。出力切替部１６３は、出力制御部１０１の制御に従って、変換後の座標を出力する出力先を切り替えて、座標を出力する。
表示制御部１０７は、出力切替部１６３から入力された座標に基づいて、フレームメモリー１１５に展開した画像上に、指示体１２の指示位置に対応してポインター１２Ａの画像を描画する。
ここで、座標算出部１５９は、出力切替部１６３に対して座標（第１の座標）を出力することも可能である。このため、出力切替部１６３は、座標算出部１５９が出力した座標（第１の座標）を、外部Ｉ／Ｆ１０２を介してＰＣ１３に出力することも、画像処理部１１３に出力することもできる。また、座標変換部１６０が、座標算出部１５９から入力された座標（第１の座標）を変換することなく、出力切替部１６３に座標を出力する機能を有する構成とすれば、座標算出部１５９が直接出力切替部１６３に座標を出力した場合と同様の作用効果が得られる。
【００３８】
なお本実施形態では、ＰＣ１３に座標を出力する場合は座標変換部１６０によって変換を行い、画像処理部１１３に座標を出力する場合は座標変換部１６０によって変換を行わないものとするが、プロジェクター１１の構成はこれに限られない。座標変換部１６０は、ＰＣ１３に座標情報を出力する場合にも座標の変換を行っても良く、画像処理部１１３に出力する場合にも座標の変換を行っても良い。
さらに、プロジェクター１１は座標変換部１６０を備えない構成であっても良い。この場合は、座標算出部１５９が出力した第１の座標が、ＰＣ１３及び画像処理部１１３に対して出力される。
出力切替部１６３が外部Ｉ／Ｆ１０２に出力した座標は、例えば、外部Ｉ／Ｆ１０２のＵＳＢインターフェイスを介してＰＣ１３に入力される。出力切替部１６３が出力する座標データは、マウス、トラックボール、デジタイザー、或いはペンタブレット等のポインティングデバイスが出力する座標データと同様のデータとして、ＰＣ１３に出力される。
【００３９】
ここで、ＰＣ１３において、出力切替部１６３から出力される座標データを、汎用的なポインティングデバイスが出力する座標データと同等に扱う場合は、これらの汎用的なポインティングデバイスに対応した、汎用のデバイスドライバープログラムを利用することができる。一般的に、これらの汎用のデバイスドライバープログラムは、ＰＣ１３のＯＳ（オペレーティングシステム）の一部として予めインストールされているため、汎用のデバイスドライバープログラムを利用する場合はデバイスドライバープログラムのインストールを行う必要がない。また、汎用のデバイスドライバープログラムを利用することから、専用のデバイスドライバープログラムを用意する必要がない一方で、プロジェクター１１とＰＣ１３との間でやり取りできる情報は、汎用のデバイスドライバープログラムの仕様によって定められた範囲に限定される。
また、プロジェクター１１に対応した専用のデバイスドライバープログラムを用意して、このデバイスドライバープログラムをＰＣ１３にインストールして使用しても良い。この場合は専用のデバイスドライバープログラムが必要になる一方で、プロジェクター１１とＰＣとの間でやり取りできる情報は、専用のデバイスドライバープログラムの仕様に応じて任意に設定することができる。
【００４０】
図３は、ＰＣ１３の機能的構成を示すブロック図である。
この図３に示すように、ＰＣ１３は、制御プログラムを実行してＰＣ１３の各部を中枢的に制御するＣＰＵ１３１、ＣＰＵ１３１により実行される基本制御プログラムや当該プログラムに係るデータを記憶したＲＯＭ１３２、ＣＰＵ１３１が実行するプログラムやデータを一時的に記憶するＲＡＭ１３３、プログラムやデータを不揮発的に記憶する記憶部１３４、入力操作を検出して入力内容を示すデータや操作信号をＣＰＵ１３１に出力する入力部１３５、ＣＰＵ１３１による処理結果等を表示するための表示データを出力する表示部１３６、及び、外部の装置との間でデータ等を送受信する外部Ｉ／Ｆ１３７を備えており、これらの各部はバスにより相互に接続されている。
【００４１】
入力部１３５は、コネクターや電源供給回路を有する入力Ｉ／Ｆ１４１を有し、この入力Ｉ／Ｆ１４１に入力デバイス１４２が接続される。入力Ｉ／Ｆ１４１は、例えばＵＳＢインターフェイス等の入力デバイス用の汎用インターフェイスで構成され、入力デバイス１４２は、例えば、キーボード、或いは、マウスやデジタイザー等のポインティングデバイスである。
入力Ｉ／Ｆ１４１には、プロジェクター１１に繋がる通信ケーブル（例えば、ＵＳＢケーブル６２）が接続され、プロジェクター１１から、指示体１２による指示位置の座標が入力される。ここで、入力Ｉ／Ｆ１４１には、プロジェクター１１が出力する座標データが、マウス、トラックボール、デジタイザー、或いはペンタブレット等のポインティングデバイスが出力する座標データと同様のデータとして入力される。従って、ＰＣ１３は、プロジェクター１１から入力される座標データを入力デバイスからの入力信号として処理することができ、例えば、この座標データに基づいてマウスカーソルやポインターの移動を行う等の動作を行える。
【００４２】
表示部１３６は、画像信号出力用のコネクター等を備えた画像出力Ｉ／Ｆ１４３を有し、画像出力Ｉ／Ｆ１４３には、モニター１４４、及び、プロジェクター１１に繋がる画像信号ケーブル（例えば、ＲＧＢケーブル６１）が接続される。画像出力Ｉ／Ｆ１４３は、例えば、アナログ映像信号が入力されるＶＧＡ端子、デジタル映像信号が入力されるＤＶＩインターフェイス、ＵＳＢインターフェイス、及びＬＡＮインターフェイス、ＮＴＳＣ、ＰＡＬ、ＳＥＣＡＭ等のコンポジット映像信号が入力されるＳ映像端子、コンポジット映像信号が入力されるＲＣＡ端子、コンポーネント映像信号が入力されるＤ端子、ＨＤＭＩ（登録商標）規格に準拠したＨＤＭＩコネクター等を複数備え、これら複数のコネクターにモニター１４４及びプロジェクター１１がそれぞれ接続される。また、画像出力Ｉ／Ｆ１４３は、ＶＥＳＡが策定したDisplayPortを備えた構成としてもよく、具体的にはDisplayPortコネクター或いはMini Displayportコネクターと、Displayport規格に準拠したインターフェイス回路とを備えた構成としてもよい。この場合、ＰＣ１３は、プロジェクター１１やモニター１４４或いは他の機器に対し、Displayportを介してデジタル映像信号を出力できる。なお、画像出力Ｉ／Ｆ１４３は有線通信によって画像信号の送受信を行っても良く、無線通信によって画像信号の送受信を行っても良い。
【００４３】
記憶部１３４は、ＣＰＵ１３１により実行される表示制御プログラム１３Ａ、及び、表示制御プログラム１３Ａの実行時に出力される画像データ１３Ｂを記憶している。ＣＰＵ１３１は、表示制御プログラム１３Ａを実行すると、プロジェクター１１に対して画像データ１３Ｂを送信する処理を実行する。この処理において、ＣＰＵ１３１は画像データ１３Ｂを再生するとともに、表示部１３６によって所定の表示解像度の画像信号を生成させ、画像出力Ｉ／Ｆ１４３に出力させる。ここで、表示部１３６は、アナログ信号を出力するコネクターに対してはアナログ画像信号を出力し、デジタルデータを出力するコネクターに対してはデジタル画像データを出力する。画像データ１３Ｂは、ＰＣ１３が表示した画面をキャプチャーした画像データであってもよい。
【００４４】
また、ＣＰＵ１３１は、表示制御プログラム１３Ａの実行中、入力部１３５から、ポインティングデバイスの操作に対応する座標が入力された場合に、この座標に対応する位置に、ポインター１２Ａ（図１）を表示するための画像を生成する。そして、ＣＰＵ１３１は、再生中の画像データ１３Ｂにポインター１２Ａを重ねた画像データを生成し、この画像データを入力Ｉ／Ｆ１４１からプロジェクター１１に出力する。
【００４５】
また、表示制御プログラム１３Ａは、プロジェクター１１を制御して、多画面表示の実行を指示したり、多画面表示時にＰＣ１３の入力画像を表示する領域を指定したりする機能を有するプロジェクター制御用のプログラムである。この表示制御プログラム１３Ａを実行することにより、ＰＣ１３は、プロジェクター１１に対して画像を出力するだけでなく、各種の制御データを送受信する。このため、例えばプロジェクター１１から入力Ｉ／Ｆ１４１に入力される座標データに基づいて、指示体１２の操作の軌跡を線で描画した画像をＣＰＵ１３１が生成し、プロジェクター１１に出力することも可能である。
【００４６】
このように、表示システム１０においては、元の画像データによって表される画像（原画像）に対して、新たな画像（付加画像）を重畳して描画する機能を、プロジェクター１１の表示制御部１０７及びＰＣ１３の両方において実行できる。具体的に、プロジェクター１１の表示制御部１０７において描画機能を実行する場合は、ＰＣ１３がプロジェクター１１に出力する画像データによって表される原画像に対して、表示制御部１０７が付加画像を重畳して描画する。一方、ＰＣ１３において描画機能を実行する場合は、ＰＣ１３が原画像に対して付加画像を重畳して描画し、付加画像が重畳された原画像を表す画像データをプロジェクター１１に出力する。なお、描画機能によって描画される付加画像としてポインター１２Ａを例示したが、描画機能によってポインター１２Ａ以外の付加画像を描画することも可能である。
【００４７】
原画像を表す画像データは、ＰＣ１３がプロジェクター１１に出力しても良く、プロジェクター１１が記憶していても良い。また、上述したようにプロジェクター１１、及びＰＣ１３のいずれにおいても付加画像の描画機能を実行することができる。
例えば、原画像を表す画像データをプロジェクター１１が記憶しており、プロジェクター１１において付加画像を描画する場合は、ＰＣ１３を用いることなく、原画像に対して描画を行うことができる。
また、ＰＣ１３から出力された原画像に対して、プロジェクター１１において付加画像を描画する場合は、ＰＣ１３が描画機能を備えていなくても原画像に対して付加画像の描画を行うことができるので、ＰＣ１３の描画用のソフトウェアがインストールされていなくても、原画像に対して描画を行うことができる。
さらに、原画像を表す画像データをプロジェクター１１又はＰＣ１３が記憶しており、この原画像に対して、ＰＣ１３において付加画像を描画しても良い。
【００４８】
図４は、プロジェクター１１によりスクリーンＳＣに画像を投射した例を示す図であり、（Ａ）は指示体１２の指示位置に従ってポインター１２Ａを投射した状態を示し、（Ｂ）は指示位置に従って描画図形１２Ｃを描画した状態を示す。
光変調装置３２が有する液晶表示パネル全体を使用して表示画像を投射した場合には、図４（Ａ）に２点差線で示す投射可能領域１１Ａに画像が結像する。プロジェクター１１がスクリーンＳＣの真正面に位置している場合を除き、図４（Ａ）に示すように台形歪みが発生するので、プロジェクター１１は、表示制御部１０７の機能によりキーストーン補正を行う。このキーストーン補正の実行後には、実投射領域１１Ｂに表示画像が投射される。実投射領域１１Ｂは、通常、スクリーンＳＣ上で長方形となり、かつ最大のサイズとなるよう設定される。具体的には、光変調装置３２の液晶表示パネルの解像度と台形歪みの程度により決定されるが、最大サイズでなくてもよい。
【００４９】
プロジェクター１１のキャリブレーション実行部１０３Ａは、キーストーン補正を行った後の実投射領域１１Ｂにおいてキャリブレーションを実行する。このキャリブレーションでは、キャリブレーション実行部１０３Ａが画像処理部１１３を制御して所定のキャリブレーション用の画像を描画させる。このキャリブレーション用の画像がスクリーンＳＣに投射された状態で、キャリブレーション実行部１０３Ａの制御により位置検出ユニット１５０がスクリーンＳＣを撮影する。キャリブレーション用の画像は、例えば白色の背景にドットが配置された画像であり、予め記憶部１０５等に記憶されている。なお、キャリブレーション用の画像は必ずしも記憶部１０５等に記憶されている必要はなく、キャリブレーションの実行が必要になり、キャリブレーションを実行する毎に、キャリブレーション実行部１０Ａがキャリブレーション用の画像をその都度生成する構成であっても良い。
【００５０】
キャリブレーション実行部１０３Ａは、撮影画像データ中の表示画像の輪郭、すなわち実投射領域１１Ｂの外部と実投射領域１１Ｂとの境界と、撮影画像データ中のドットを検出し、位置検出ユニット１５０の撮影範囲（画角）すなわち撮影画像データにおける位置と、実投射領域１１Ｂ上の位置と、画像処理部１１３が描画した画像上の位置との対応関係を特定する。キャリブレーション実行部１０３Ａは、キャリブレーションにより特定された撮影画像上の位置と実投射領域１１Ｂ上の位置との対応関係に基づいて、後述するように座標算出部１５９が用いる座標変換パラメーターを求める。座標変換パラメーターには、画像処理部１１３が描画した画像上の座標と、撮影画像データ上で求められた座標とを対応づけるデータ等が含まれる。座標算出部１５９は、この座標変換パラメーターに基づいて、撮影画像データ上で求められた座標を画像処理部１１３が描画した画像上の座標に変換することができる。この座標変換パラメーターに基づいて座標算出処理が行われる。
このキャリブレーションは、制御部１０３が記憶部１０５に記憶されたキャリブレーション用プログラム（図示略）を実行することで行われるので、ＰＣ１３においてキャリブレーション用のプログラムをインストールして実行する必要がない。また、撮影画像データに基づいてキャリブレーション実行部１０３Ａが自動で行う処理であっても良く、キャリブレーション用の画像に対するユーザーの操作が必要な処理であっても良い。さらに、プロジェクター１１がこれらの処理を併用しても良い。キャリブレーション用の画像に対するユーザーの操作は、キャリブレーション用の画像に含まれるドットをユーザーが指示体１２で指示する操作等が考えられる。
【００５１】
プロジェクター１１が備える位置検出ユニット１５０は、実投射領域１１Ｂに画像が投射された状態で撮影を実行し、図中に破線の矢印で示すように、撮影画像において実投射領域１１Ｂの隅を原点とする直交座標を仮想的に設定して、この座標系における指示体１２の先端位置の座標を求める。この直交座標は、上記のキャリブレーションにより得られた座標変換パラメーターに基づいて設定される。その後、座標変換部１６０により、実投射領域１１Ｂに表示された画像データにおける指示体１２の先端の座標が求められると、この座標に従って、例えば図４（Ａ）に示すポインター１２Ａや、メニューバー１２Ｂが表示される。ポインター１２Ａは指示体１２の先端位置を示す記号として描画される。また、メニューバー１２Ｂは、指示体１２により操作可能なＧＵＩであり、メニューバー１２Ｂに配置されたボタンを指示体１２により指示することで、線等の図形の描画、描画した図形のデータの保存、消去、コピー等の機能を実行させるＧＵＩ操作を行うことができる。具体的な例としては、指示体１２を図４（Ａ）に示す位置から図４（Ｂ）の位置まで移動させることで、指示体１２の先端の軌跡に沿って描画図形１２Ｃが描画される。この描画図形１２Ｃは、例えば、ポインター１２Ａやメニューバー１２Ｂと同様に、指示体１２の指示位置を示す座標データに従って、表示制御部１０７が、画像処理部１１３がフレームメモリー１１５に展開した画像に重ねて描画する。或いは、描画図形１２Ｃは、ＰＣ１３が描画して入力画像に重畳させてプロジェクター１１に出力する。
【００５２】
また、メニューバー１２Ｂには、外部から供給可能な複数の画像（例えば、外部Ｉ／Ｆ１０２のＵＳＢインターフェイスに接続されたＵＳＢフラッシュメモリーなどの外部記憶装置が記憶している画像データ）を順次読み出して表示するスライドショー表示の制御用のボタンや、プロジェクター１１の機能自体に関する設定（アスペクト比の変更、カラーモードの変更等）を行うためのボタン等を配置することも可能である。制御部１０３は、指示体１２の指示位置が出力切替部１６３から出力された場合に、この座標を取得して、メニューバー１２Ｂにおいて指示されたボタンを特定し、指示操作に対応した動作を実行する。
【００５３】
図５（Ａ）、（Ｂ）及び図６（Ａ）、（Ｂ）は、プロジェクター１１が指示位置の座標を検出し、画像データにおける座標に変換する処理の様子を示す説明図であり、図５（Ａ）は一連の動作の初期状態を示し、図５（Ｂ）及び図６（Ａ）、（Ｂ）は、図５（Ａ）の状態からＰＣ１３が表示画像の解像度を変更した状態を示す。
【００５４】
図５（Ａ）に示す例では、光変調装置３２の液晶表示パネルの解像度に基づき、実投射領域１１Ｂの解像度が1280×800ドットであり、ＰＣ１３から入力される画像データの解像度も1280×800ドットである。従って、実投射領域１１Ｂには、1280×800ドットの表示画像２０１が表示されている。位置検出ユニット１５０は、実投射領域１１Ｂの左上隅を原点とし、右方向をＸ軸方向、下方向をＹ軸方向とするＸ−Ｙ直交座標系を設定し、表示画像２０１のX方向の端位置をX1max、Ｙ方向の端位置をY1maxとし、指示体１２の指示位置の座標を（X1n，Y1n）とする。
ところで、ＰＣ１３から入力される画像データが、解像度が1024×768ドットの表示画像２０２に切り替えられると、スクリーンＳＣには図５（Ｂ）に示すように1066×800ドットの表示画像２０２が投射される。この1066×800ドットの画像データは、ＰＣ１３から入力された1024×768ドットのアスペクト比を維持しつつ、拡大した画像データである。この表示画像２０２は表示画像２０１より低解像度であるため、表示画像２０２が投射される領域は実投射領域１１Ｂよりも小さい。
【００５５】
ここで、図５（Ａ）及び（Ｂ）に示すように、スクリーンＳＣ上の指示体１２を動かさないようにすると、指示位置そのものは動いていないが、指示位置と表示されている画像との相対位置は変化する。このため、位置検出ユニット１５０が撮像部１５３の撮影画像データに基づいて算出した実投射領域１１Ｂにおける指示位置の座標（X1n，Y1n）をもとにポインター１２Ａを表示すると、ポインター１２Ａが実際の指示位置からずれてしまう。
【００５６】
すなわち、図６（Ａ）に示すように、変更後の表示画像２０２の左上隅を原点とする座標系において座標（X1n，Y1n）にポインターを表示すると、指示体１２の先端から離れたポインター１２Ａ´が表示されてしまう。このように、実投射領域１１Ｂを基準として求めた座標は表示画像の解像度の影響を受けてしまうので、位置検出ユニット１５０が算出した座標をそのまま、ＰＣ１３或いは表示制御部１０７が、ポインター１２Ａの表示に利用することはできない。
そこで、プロジェクター１１は、ＰＣ１３が出力する表示画像の解像度が変わった場合にも対応できるように、位置検出ユニット１５０の座標算出部１５９が算出した指示位置の座標（X1n，Y1n）を、座標変換部１６０によって、表示中の表示画像における指示位置の座標（X2n，Y2n）に変換する処理を行う。
【００５７】
以下、具体的な処理について説明する。
本実施形態では、座標変換部１６０は、表示画像における座標を実投射領域１１Ｂの隅に原点を設定した座標系（図５（Ａ））により表す。図５（Ｂ）及び図６（Ａ）〜（Ｂ）に示したように、実投射領域１１Ｂよりも小さい領域に表示画像（ここでは表示画像２０２）を表示した場合、位置検出処理部１５７が撮像部１５３の撮影画像において表示画像の隅を原点とした場合の指示位置を検出し、座標算出部１５９が実投射領域１１Ｂにおける表示画像２０２の位置を特定して、実投射領域１１Ｂにおける座標（X1n，Y1n）を算出する。
【００５８】
座標変換部１６０は、画像処理部１１３から画像位置情報を取得して、変更後の表示画像２０２の原点に相当する左上隅の座標（X1bmin，Y1bmin）を求める。この座標（X1bmin，Y1bmin）は、実投射領域１１Ｂの左上隅を原点とした場合の座標である。
また、以下の演算では、X2max、X2minの値を用いる。X2maxは、表示画像２０２を表示した場合に表示画像２０２の左上隅を原点とした座標系において、Ｘ軸方向の最大値であり、X2minは同座標系において最小値である。つまり、X2maxはＸ軸上で表示画像２０２の右端の座標であり、X2minは原点であるためゼロであると考えられるが、X2max、X2minの値としては正規化された値を用いるので、X2min＝0とは限らない。このため、変数X2minとして演算する。
【００５９】
図６（Ｂ）に示すように、表示画像２０２の原点に相当する左上隅の座標を（X1bmin，Y1bmin）とし、実投射領域１１ＢのＸ軸方向の端の座標値をX1max、表示画像２０２のＸ軸方向の端の座標をX1bmax、実投射領域１１ＢのＹ軸方向の端の座標値をY1max、表示画像２０２のＹ軸方向の端の座標をY1bmaxとする。
この場合、座標（X2n，Y2n）は、下記式（１）、（２）により算出される。
【００６０】
X2n＝（X2max−X2min）×（X1n−X1bmin）÷（X1bmax−X1bmin） …（１）
Y2n＝（Y2max−Y2min）×（Y1n−Y1bmin）÷（Y1bmax−Y1bmin） …（２）
本実施形態では図６（Ｂ）に示すようにY1bmin＝Y2min＝0、Y1bmax＝Y2max＝Y1maxである。このため、上記式（２）から、Y2n＝Y1nとなる。
【００６１】
指示位置の座標は、実際には正規化された論理座標として求められる。例として、X1min＝0、X1max＝32767、Y1min＝0、Y1max＝32767とする。
また、以下の例では、実投射領域１１Ｂは1280×800ドットの解像度の画像に合わせて設定され、この実投射領域１１Ｂにおける座標を（XPn，YPn）で表すと、（XPmin≦XPn≦XPmax，YPmin≦YPn≦YPmax）であり、XPmin＝0、XPmax＝1280、YPmin＝0、YPmax＝800であるものとする。
さらに、実投射領域１１Ｂに表示される表示画像の位置及びサイズに関する情報として、表示画像の右上端の座標を（XP0，YP0）とし、この例では（XP0，YP0）＝（0，0）とし、表示画像のＸ軸方向のサイズWP0＝1280、Ｙ軸方向のサイズHP0＝800とする。
【００６２】
実投射領域１１Ｂにおける表示画像の左上隅の座標（X1bmin，Y1bmin）及び端位置の座標（X1bmax，Y1bmax）は、以下の式（３）〜（６）により求められる。
X1bmin＝（X1max−X1min）×XP0÷（XPmax−XPmin） …（３）
X1bmax＝（X1max−X1min）×（XP0＋WP0）÷（XPmax−XPmin） …（４）
Y1bmin＝（Y1max−Y1min）×YP0÷（YPmax−YPmin） …（５）
Y1bmax＝（Y1max−Y1min）×（YP0＋HP0）÷（YPmax−YPmin） …（６）
【００６３】
これら式（３）〜（６）により得られた値をもとに、上記式（１）及び（２）の演算を行うことで、座標変換部１６０は、表示画像における指示位置の座標を得る。この座標は、ＰＣ１３或いは表示制御部１０７が、処理対象の画像データにおいてポインター１２Ａ、メニューバー１２Ｂ或いは描画図形１２Ｃを描画する場合に、画像データ中の位置を特定する情報として利用できる。このため、表示画像の解像度やズーム率等に影響されることなく、ポインター１２Ａ、メニューバー１２Ｂ及び描画図形１２Ｃを、正確に、指示体１２による指示位置に合わせて描画できる。
【００６４】
ところで、実投射領域１１Ｂに表示される表示画像の位置及びサイズは、表示画像の解像度や表示位置の影響を受ける。例えば、操作パネル４１またはリモコン受光部４５による操作や、ＰＣ１３から送信される制御信号に応じて、プロジェクター１１が、表示解像度の変更、アスペクト比の変更、ズーム、画像の表示位置の変更（移動）、多画面表示処理等、投射状態が変化するような処理を実行した場合には、画像位置情報（XP0，YP0，WP0，HP0）も変化する。ここで、画像位置情報とは、実投射領域１１Ｂに対する画像配置領域（表示画像２０１、２０２が投射される（表示される）領域）の配置に関する情報である。換言すれば、画像位置情報は、実投射領域１１Ｂ（表示可能領域）に対する表示画像の位置（配置）を示す情報である。また、ＰＣ１３の表示解像度が変化し、ＰＣ１３がプロジェクター１１に出力する画像データの解像度が変化した場合（例えば、ＰＣ１３において解像度に関する設定が変更された場合）にも、画像位置情報は変化する。
図７及び図８は、画像の投射状態の変化と座標を変換する処理の様子を示す説明図であり、投射状態の変化により画像位置情報（XP0，YP0，WP0，HP0）が変化する例を示す。
図７（Ａ）では実投射領域１１Ｂと同じ解像度（1280×800）の表示画像２０１を表示している。この場合の画像位置情報は、（XP0＝0，YP0＝0，WP0＝1280，HP0＝800）である。ここで、表示画像を、解像度が異なる表示画像２０２（1066×800）に変更した場合、図７（Ｂ）に示すように、表示画像２０２の周囲に非表示領域１１Ｃが発生する。この場合、画像位置情報は、（XP0＝107，YP0＝0，WP0＝1066，HP0＝800）となる。
ここで、表示画像２０２のアスペクト比を変更して実投射領域１１Ｂ全体に拡大表示した場合、図７（Ｃ）に示すように実投射領域１１Ｂいっぱいに表示画像２０２が表示され、画像位置情報は（XP0＝0，YP0＝0，WP0＝1280，HP0＝800）となる。
【００６５】
ここで、非表示領域１１Ｃが発生している状態で、指示体１２の指示位置が非表示領域１１Ｃに重なった場合、座標変換部１６０は、指示位置の座標を出力しないようにしてもよいし、表示画像の範囲内において指示位置に最も近い位置の座標を、出力切替部１６３に出力してもよい。
具体的には、座標変換部１６０は、座標変換処理を行う前に、座標算出部１５９が算出した座標が非表示領域１１Ｃに該当するか否かを、画像位置情報に基づいて判別する。ここで、座標算出部１５９が算出した座標が非表示領域１１Ｃに該当する場合、座標変換部１６０は、Ｘ軸方向の座標とＹ軸方向の座標の各々について、非表示領域１１Ｃに該当するか否か（実投射領域１１Ｂに含まれるか否か）、及び、非表示領域１１Ｃに該当する場合は、座標が大きい側と小さい側のどちらの非表示領域１１Ｃに含まれているかを判別する。例えば、図７（Ｂ）において指示位置が表示画像２０２の左側の非表示領域１１Ｃに重なっている場合には、指示位置のＸ軸方向の座標が、値が小さい側の非表示領域１１Ｃに含まれている。座標変換部１６０は、Ｘ軸方向の座標とＹ軸方向の座標のいずれかについて逸脱している方向を判別した場合、逸脱している方向の表示画像２０２の端位置の座標を、指示位置の座標に割り当てる。図７（Ｂ）において指示位置が表示画像２０２の左側の非表示領域１１Ｃに重なっている場合には、その指示位置のＸ軸方向の座標X1nの値を、X1bminの値に変更する。同様に、指示位置が表示画像２０２の右側の非表示領域１１Ｃに重なっている場合には、その指示位置のＸ軸方向の座標X1nの値を、X1bmaxの値に変更する。Ｙ軸方向においても同様である。
【００６６】
つまり、座標変換部１６０は、座標算出部１５９が算出した座標（X1n，Y1n）が、（X1bmin≦X1n≦X1bmax，Y1bmin≦Yn≦Y1bmax）を満たさない場合には、（X1bmin，Y1n）、（X1bmax，Y1n）、（X1n，Y1bmin）、（X1n，Y1bmax）のいずれかを出力切替部１６３に出力する。これにより、表示画像に含まれない指示位置に対しても、座標を出力し、ポインター１２Ａやメニューバー１２Ｂを、指示位置の近くに描画できる。
【００６７】
さらに、図７（Ａ）に示す状態から、表示画像２０１の表示位置を左へ１６０ドット分シフトさせると、図８（Ａ）に示すように、表示画像２０１の左側が切れて表示され、表示画像２０１の右側に非表示領域１１Ｃが発生する。図８（Ａ）の状態では、画像位置情報は、（XP0＝-160，YP0＝0，WP0＝1280，HP0＝800）となる。なお、図８（Ａ）では表示画像２０１の表示位置を左へシフトさせる場合を例示しているが、表示画像２０１は左以外（右、上又は下など）の方向へ移動させても良い。
図８（Ｂ）には、多画面表示機能により、表示画像２０２と、表示画像２０３とを表示した例を示す。この例では、２つの表示画像２０２及び表示画像２０３は、実投射領域１１Ｂに並べて表示できるように、アスペクト比を保って縮小表示され、その周囲に非表示領域１１Ｃが発生する。多画面表示機能によって複数の表示画像を同時に表示する場合、表示画像のそれぞれについて画像位置情報を定義できる。図８（Ｂ）のような場合は、表示画像２０２及び表示画像２０３のそれぞれについて異なる画像位置情報を定義できる。縮小後の表示画像２０１の解像度は縦横半分の533×400となり、表示画像２０２に関する画像位置情報は、（XP0＝53，YP0＝200，WP0＝533，HP0＝400）となる。
プロジェクター１１は、上記の多画面表示機能の実行時に、表示画像２０２及び表示画像２０３のいずれか一方を拡大あるいは縮小することも可能である。この場合、プロジェクター１１は、ユーザーが指示体１２で表示画像２０２、２０３の一方の拡大または縮小を指示する操作を行った場合に、この操作に応じて指示された表示画像を拡大または縮小し、拡大または縮小した表示画像の画像位置情報を更新する。
なお、プロジェクター１１が多画面表示機能を実行する契機は、ＰＣ１３がプロジェクター１１に対して多画面表示の開始を指示する制御データを送信する場合や、操作パネル４１又はリモコン等を介してユーザーが多画面表示の開始をプロジェクター１１に指示する場合のほか、プロジェクター１１自身が、所定の条件の成立を契機として、多画面表示機能を開始することもできる。例えば、プロジェクター１１が、外部Ｉ／Ｆ１０２を介して複数の画像ソースからの入力画像が入力されたことを、制御部１０３が検出した場合や、位置検出ユニット１５０により検出した指示体１２の操作により、メニューバー１２Ｂの多画面表示開始のボタンが操作された場合に、多画面表示機能を開始してもよい。
【００６８】
プロジェクター１１は、画像を実投射領域１１Ｂより大きく拡大して、その一部を表示するズーム機能を備えている。図７（Ｂ）に示した表示画像２０２を、もとの解像度の１．２５倍に拡大した例を図８（Ｃ）に示す。この図８（Ｃ）の例では、表示画像２０２全体を表示するためには実投射領域１１Ｂより大きい仮想表示領域１１Ｄの領域が必要であり、実際には表示画像２０２の中央において実投射領域１１Ｂに収まる部分のみが表示される。この場合の画像位置情報は、仮想表示領域１１Ｄの隅の座標及び仮想表示領域１１Ｄの解像度を基準として決定され、（XP0＝-27，YP0＝-100，WP0＝1333，HP0＝1000）となる。さらに、ズーム機能により拡大された表示画像における表示位置をシフトさせることも可能である。図８（Ｄ）には、図８（Ｃ）に示した拡大後の表示画像２０２を、下方に100ドット分シフトさせた状態を示す。この処理は、仮想表示領域１１Ｄを実投射領域１１Ｂに対して相対的に下方に移動させる処理に相当するので、画像位置情報は、（XP0＝-27，YP0＝0，WP0＝1333，HP0＝1000）となる。なお、図８（Ａ）では表示画像２０１の表示位置を下方へシフトさせる場合を例示しているが、表示画像２０１は下以外（上、右又は左など）の方向へ移動させても良い。
【００６９】
座標変換部１６０は、投射部３０による表示画像の投射状態（表示状態）が変化する毎に、制御部１０３及び画像処理ユニット１１０から情報を取得して画像位置情報を更新し、更新後の画像位置情報に基づいて座標を変換する。画像位置情報は、例えば、次に挙げるタイミングで更新される。
・制御部１０３がＰＣ１３からの画像データの入力を検出したとき。
・制御部１０３が、ＰＣ１３から入力される画像データに関する情報（画像の解像度など）の変化を検出したとき。
・プロジェクター１１において、画像データの解像度を変更したとき。
・画像データのアスペクト比を変更したとき。
・光変調装置３２により描画する画像を、投射する画像データの画像処理によって拡大／縮小するデジタルズーム機能を実行または解除したとき。
・実投射領域１１Ｂに対する表示画像の表示位置を変更したとき。
・上記のデジタルズーム機能により画像を拡大し、さらに画像処理によって画像の表示位置を変更する機能を実行または解除したとき。
・光変調装置３２により描画する画像と背景を含む全体すなわち実投射領域１１Ｂ全体の投射サイズを、画像データの画像処理を行うことにより拡大／縮小するテレワイド機能を実行または解除したとき。
・上記のデジタルズーム機能により画像を縮小し、さらに画像処理によって画像の表示位置を変更するピクチャーシフト機能を実行または解除したとき。
・複数の画像の同時表示を実行または解除したとき。
・出力切替部１６３から座標を出力する出力先が、画像処理ユニット１１０からＰＣ１３へ、或いはその逆へ変更されたとき。
解像度の変更、アスペクト比の変更、各種機能の実行および解除は、いずれも制御部１０３の制御により、画像処理ユニット１１０によって実行される。なお、上記に列挙したタイミングはあくまで一例であり、その他のタイミングで画像位置情報を更新することも勿論可能である。
【００７０】
図９は、プロジェクター１１の動作を示すフローチャートであり、特に、指示体１２による指示位置を検出して指示位置の座標を出力する動作を示す。
この図９に示す動作は、プロジェクター１１の起動後、或いは、操作パネル４１またはリモコン受光部４５の操作によってポインター１２Ａやメニューバー１２Ｂの表示が指示された場合、操作パネル４１やリモコン受光部４５により位置検出が指示された場合に、一定時間毎に繰り返し実行される。
【００７１】
まず、キャリブレーションが必要か否かが判別される（ステップＳ１１）。この判別は、キャリブレーションが必要か否かを示すユーザーの指示に基づいて行っても良く、キャリブレーションを行う必要があるかどうかをキャリブレーション実行部１０３Ａが自動的に判別し、この判別結果に基づいて自動的に行っても良い。キャリブレーションが必要な場合には（ステップＳ１１；Ｙｅｓ）、図４（Ａ）を参照して説明したようにキャリブレーションを実行する（ステップＳ１２）。すなわち、画像処理部１１３によりキャリブレーション用の画像を描画させ、このキャリブレーション用の画像が投射された状態で位置検出ユニット１５０により撮影を実行させ、得られた撮影画像データにおける実投射領域１１Ｂの輪郭やキャリブレーション用の画像に含まれる特徴点（ドット等）を検出することで、画像処理部１１３が描画した画像と撮影画像データとの対応関係を求める。なお、キャリブレーションはプロジェクター１１の使用を開始してから１度だけ行えば良く、特定の事象が発生しない限りは再度行う必要がない。例えば、次の（１）〜（３）のような場合には、新たにキャリブレーションを行う必要がある。
（１）キーストーン補正を行った場合。
（２）プロジェクター１１の設置条件が変わった場合。例えば、スクリーンＳＣに対するプロジェクター１１の相対的な位置（向きを含む）が変わった場合。
（３）光学条件が変わった場合。例えば、投射光学系３３のフォーカスまたはズームの状態が変わった場合。投射光学系３３あるいは撮像部１５３の光軸が経時変化等によりずれた場合。
これらの事象が発生した場合、座標変換部１６０が座標を算出する基準となる、初期状態における撮影画像データ上の位置と画像処理部１１３が描画する画像上の位置との対応関係が変化するので、改めてキャリブレーションを行う必要がある。逆にこれらの事象が発生しなければキャリブレーションを再度行う必要はないので、プロジェクター１１を前回使用してから今回使用するまでの間に上記の事象が発生していなければ、キャリブレーションを行うことなく、前回のキャリブレーションで求めた座標変換パラメーターを再利用することもできる。キャリブレーションを行う必要があるかどうかをキャリブレーション実行部１０３Ａが判別する方法としては、例えば、操作パネル４１においてキーストーン補正の実行を指示するスイッチの操作の有無に基づいて判別する方法や、プロジェクター１１に傾きや動きを検出するセンサーを設け、このセンサーの検出値の変化に基づいて判別する方法がある。また、投射光学系３３におけるフォーカス、ズームの調整を行った場合に、キャリブレーション実行部１０３Ａがキャリブレーションを自動で実行してもよい。また、ユーザーが、プロジェクター１１の設置位置や光学条件の変化を知って、キャリブレーション実行を指示する操作を行えるように、操作パネル４１やリモコン等の操作部に、対応するスイッチを設けてもよい。
【００７２】
撮影制御部１５５は、制御部１０３の制御により撮像部１５３に実投射領域１１Ｂを含む範囲を撮影させると、位置検出処理部１５７は撮影画像データを取得し（ステップＳ１３）、この撮影画像データに基づいて指示体１２の指示位置を検出する（ステップＳ１４）。続いて、座標算出部１５９が、位置検出処理部１５７により検出された指示位置の座標を算出する（ステップＳ１５）。このステップＳ１３で算出される座標は実投射領域１１Ｂにおける座標であり、図５（Ａ）で説明した座標（X1n，Y1n）である。
【００７３】
座標変換部１６０は、画像位置情報の更新が必要か否かを判別し（ステップＳ１６）、更新が必要な場合は制御部１０３及び画像処理ユニット１１０から情報を取得して画像位置情報を更新する（ステップＳ１７）。このステップＳ１７の処理は、ステップＳ１５の後に限定されず、上記に例示したタイミングで随時実行してもよい。
その後、座標変換部１６０は、座標算出部１５９が算出した座標を表示画像の画像データにおける座標に変換する処理を行い、変換後の座標を出力切替部１６３に出力する（ステップＳ１８）。変換後の座標は、図５（Ｂ）で説明した座標（X2n，Y2n）である。
出力切替部１６３は、変換後の座標を外部Ｉ／Ｆ１０２または画像処理ユニット１１０のいずれか指定された側に出力し（ステップＳ１９）、本処理を終了する。
【００７４】
出力制御部１０１（出力制御手段、ソース判別手段）は、出力切替部１６３を制御して、座標変換部１６０が変換した変換後の座標の出力を切り替えさせる制御を行う。出力制御部１０１は、外部Ｉ／Ｆ１０２に接続された画像ソースのうち、投射部３０が表示中の入力画像を供給しているＰＣ１３を、座標変換部１６０が算出した座標を出力する出力先として、出力切替部１６３により選択させる。また、出力制御部１０１は、出力切替部１６３の出力先として、画像処理ユニット１１０を選択させることも可能である。
また、出力制御部１０１は、座標変換部１６０が変換した座標を出力する出力先となる画像ソースを決定するため、現在表示中の画像を供給している画像ソースを特定する機能を有する。
【００７５】
また、制御部１０３は、操作パネル４１またはリモコン受光部４５により検出した操作により、ＡＶミュートが指示された場合に、スクリーンＳＣへの投射を一時的に停止させる。この場合に、制御部１０３は表示停止制御手段として機能する。具体的には、ＡＶミュートの指示を検出すると、制御部１０３は、表示制御部１０７が光変調装置駆動部１１９に出力する表示データを、全面黒を示すデータに切り替えさせる。この動作により、光変調装置３２の液晶パネルの全画素は黒表示となり、光変調装置３２の透過率はほぼゼロとなるので、スクリーンＳＣには画像が投射されず、投射光の光量もほぼゼロになる。この動作とともに、制御部１０３は、光源駆動部１１７を制御して、光源駆動部１１７が備える光源の光量を低減させてもよい。その後、制御部１０３は、操作パネル４１またはリモコン受光部４５が検出した操作によりＡＶミュートの解除が指示されると、表示制御部１０７を制御して光変調装置３２を通常表示状態に復帰させ、必要に応じて光源駆動部１１７の光源の輝度を通常時の輝度に戻す。
【００７６】
図１０は、画像ソースの種類毎に、座標を出力するか否かを定義する設定データ１０５Ｂの構成例を模式的に示す図である。
この図１０の例では外部Ｉ／Ｆ１０２の各インターフェイスが、ＰＣ系インターフェイスと非ＰＣ系インターフェイスの２つのグループに分類されている。本実施形態では、プロジェクター１１との間で制御データを送受信可能か否かという属性に基づき、ＰＣ系インターフェイスと、それ以外の非ＰＣ系インターフェイスとの２つのグループに分けた例を示す。ＰＣ系インターフェイスのグループに属するインターフェイスは、Ｃｏｍｐインターフェイス（ここではＣｏｍｐ２）、ＵＳＢ及びＬＡＮインターフェイスである。Ｃｏｍｐインターフェイスを経由して制御データを送受信することはできないが、図１に示したようにＰＣ１３がＲＧＢケーブル６１によりＣｏｍｐインターフェイスに接続されるとともに、ＵＳＢケーブル６２によりＵＳＢインターフェイスに接続されている場合は、入力画像がＣｏｍｐインターフェイスに入力されている場合にＵＳＢインターフェイスを介して制御データを送受信できる。このため、ＰＣ系インターフェイスにＣｏｍｐインターフェイスを含めることができる。また、非ＰＣ系インターフェイスには、Ｃｏｍｐインターフェイス（ここではＣｏｍｐ１）、Ｓ−Ｖｉｄｅｏ、Ｖｉｄｅｏ、ＨＤＭＩの各インターフェイスが属する。
なお、グループ分けの方法は任意であり、グループ分けされた各インターフェイスが設定データ１０５Ｂに反映されていればよく、インターフェイスの属性や機能（アナログインターフェイスかデジタルインターフェイスか等）とは無関係にグループ分けを行うことも可能である。
【００７７】
表示システム１０は、上述のように、指示体１２により指示された指示位置に追従するようにポインター１２Ａ等を描画する動作を実行可能であり、実際の描画をプロジェクター１１自身の画像処理ユニット１１０が行うことも、ＰＣ１３が行うこともできる。画像処理ユニット１１０が描画を行う動作モードは「ＰＪインタラクティブモード」、ＰＣ１３が描画を行う動作モードは「ＰＣインタラクティブモード」と定義されている。
ＰＪインタラクティブモードでは、指示体１２の指示位置の座標に基づく処理をプロジェクター１１が実行し、プロジェクター１１が、例えば、指示体１２の指示位置に追従するようにポインター１２Ａやメニューバー１２Ｂを表示し、これらの表示位置を移動させる処理や、指示位置の座標に基づいて、後述するように指示位置の軌跡１２Ｄを描画する処理を実行する。
【００７８】
これに対し、ＰＣインタラクティブモードでは、上述したように、出力切替部１６３が出力する座標データを汎用的なポインティングデバイスが出力する座標データと同等に扱うことにより、ＰＣ１３のＯＳの一部の機能として予めインストールされた汎用のデバイスドライバープログラムを用いて、指示体１２による指示操作をポインティングデバイスの操作として処理できる。例えば、指示体１２の指示位置に追従するようにポインター１２Ａやメニューバー１２Ｂを表示し、これらの表示位置を移動させる処理を行える。また、ＰＣ１３が、プロジェクター１１に対応した専用のデバイスドライバープログラムを実行する構成とすれば、ＰＣ１３のＯＳが備える機能に加えて独自の機能を実現できる。例えば、指示体１２による指示操作に基づいてプロジェクター１１の動作を制御し、特定の機能（ＡＶミュート機能、多画面表示機能等）の実行開始／終了、当該機能の実行中の制御等を行うことが可能となる。この独自の機能は専用のデバイスドライバープログラムの仕様により任意に設定できる。
【００７９】
ＰＣインタラクティブモードで、ＰＣ１３は、例えば、ＰＣ１３のＯＳの機能の一部として、或いはＯＳとともに提供される標準的なアプリケーションプログラムのうち、画像を描く描画機能を有するアプリケーションプログラムによって、プロジェクター１１から入力される座標データに基づいて軌跡１２Ｄを描画する。また、ＰＣ１３は、プロジェクター１１の利用を目的とした専用のアプリケーションプログラムを実行して、このアプリケーションプログラムの描画機能によって軌跡１２Ｄ等を描画してもよい。さらに、この専用のアプリケーションプログラムは、上述したプロジェクター１１を制御するためのデバイスドライバープログラムと協働して機能するプログラムとすることができる。この場合、プロジェクター１１から入力される座標を取得し、この座標に基づいてポインター１２Ａ、メニューバー１２Ｂ等を表示する処理と、当該座標に基づいて描画を行うことができる。
【００８０】
ＰＪインタラクティブモード及びＰＣインタラクティブモードでは、プロジェクター１１及びＰＣ１３は、画像の表示状態の変更に関する機能（例えば、上述した描画機能や、画像の色合いを調整する機能など）や、描画された画像データに対する処理に関する機能（例えば、描画された画像データを記録する機能など）を実行することができる。さらに、プロジェクター１１及びＰＣ１３がＰＪインタラクティブモードで実行できる機能と、ＰＣインタラクティブモードで実行できる機能とは共通していても良く、異なっていても良い。
【００８１】
表示システム１０は、ＰＪインタラクティブモードとＰＣインタラクティブモードとを切り替えて実行できるが、ＰＣインタラクティブモードはＰＣ１３から画像データが入力されている場合でなければ行えない。
設定データ１０５Ｂでは、インターフェイスのグループ毎あるいはインターフェイス毎に、実行可能な動作モードが設定されている。図１０の例では、非ＰＣ系インターフェイスにはＰＪインタラクティブモードが対応づけて設定され、ＰＣ系インターフェイスにはＰＣインタラクティブモードが設定されている。
【００８２】
また、設定データ１０５Ｂには出力切替部１６３が座標を出力する出力先が設定されている。例えば、上記のＰＣインタラクティブモードではＰＣ１３に対して座標を出力する必要があり、ＰＪインタラクティブモードでは画像処理ユニット１１０に座標を出力する必要がある。設定データ１０５Ｂには、グループ毎、及び動作モード毎に出力先が設定されている。ＰＣ系インターフェイスにはＰＣインタラクティブモードが設定されているので、出力先としてＰＣ１３が設定されている。
このように、設定データ１０５Ｂによって、外部Ｉ／Ｆ１０２が備えるインターフェイスの種類と、実行する動作モード（ＰＪインタラクティブモード、ＰＣインタラクティブモード）と、出力切替部１６３が座標データを出力する出力先とが対応づけられる。出力制御部１０１は、設定データ１０５Ｂの設定に従って出力切替部１６３を制御し、座標データの出力先を切り替えさせる。
なお、設定データ１０５Ｂにおいて、いずれかのグループに対応づけてＰＣ１３と画像処理ユニット１１０の両方を出力先として設定することも可能である。また、いったん出力切替部１６３から画像処理ユニット１１０に座標を出力し、この座標を画像処理ユニット１１０からＰＣ１３に出力する動作（すなわち、画像処理ユニット１１０を経由してＰＣ１３に出力する動作）と、出力切替部１６３から直接、外部Ｉ／Ｆ１０２を介してＰＣ１３に座標を出力する動作とを実行可能としてもよい。この場合、設定データ１０５Ｂにおいて出力先としてＰＣ１３が設定される場合に、さらに、出力切替部１６３から直接ＰＣ１３に座標を出力するのか、画像処理ユニット１１０を経由して出力するのかを指定する情報を設定してもよい。
【００８３】
図１１は、出力先の設定画面２１１の例を示す図である。
この図１１に示す設定画面２１１は、座標の出力先を設定する際にスクリーンＳＣに表示される画面であって、例えば、メニューバー１２Ｂにおける操作や、プロジェクター１１の操作パネル４１或いはリモコン受光部４５により検出された操作に対応して表示される。設定画面２１１は、制御部１０３の制御によって、表示制御部１０７（設定画面表示手段）により表示される。
【００８４】
設定画面２１１には、外部Ｉ／Ｆ１０２が備える各インターフェイスの名称が並べて表示され、各インターフェイスの名称に対応づけて、ＰＣインタラクティブモードに設定するか否かの入力ボックス２１３が配置されている。設定画面２１１が表示された状態で、ユーザーが指示体１２を用いて入力ボックス２１３を指定する操作を行うと、この操作に応じて、指定された入力ボックス２１３の選択状態が変化する。入力ボックス２１３が塗りつぶされている場合、その入力ボックス２１３に対応するインターフェイスはＰＣインタラクティブモードに対応づけられる。また、入力ボックス２１３が白抜きの状態となっている場合、その入力ボックス２１３に対応するインターフェイスは、ＰＣインタラクティブモード以外、すなわちＰＪインタラクティブモードに対応づけられる。図１１の例では、Ｃｏｍｐ１、ＵＳＢ、ＬＡＮの各インターフェイスがＰＣインタラクティブモードに対応づけられる。このように、設定画面２１１をスクリーンＳＣに表示させることで、座標の出力先を容易に設定できる。また、設定画面２１１における設定の操作そのものが、指示体１２を用いてポインター１２Ａを移動させるＧＵＩによって実現される。ユーザーの操作によって、設定画面２１１による設定の終了が指示されると、この設定画面２１１における設定を反映するように、制御部１０３（設定手段）は設定データ１０５Ｂを生成または更新する。
【００８５】
なお、図１１の例では設定画面２１１にプロジェクター１１が対応する各インターフェイスの名称の全てが表示されているが、ＰＣインタラクティブモードに対応付けることができないインターフェイスの名称を、設定画面２１１の表示開始時から設定画面２１１に表示させなくても良い。この場合、ＰＣインタラクティブモードに対応付けることができるインターフェイスの名称のみが、設定画面に２１１に表示される。
また、図１１に例示する設定画面２１１の構成では、ＰＣインタラクティブモードに対応付けるインターフェイスの名称を２以上選択できるようになっているが、選択可能なインターフェイスの名称を１つだけに制限しても良い。この場合、選択された１つのインターフェイスのみがＰＣインタラクティブモードに対応付けられ、それ以外のインターフェイスはＰＣインタラクティブモードに対応付けられない。
【００８６】
図１２は、図９のステップＳ１７に示した座標出力処理を詳細に示すフローチャートである。
出力制御部１０１は、プロジェクター１１が多画面表示中であるか否かを判別する（ステップＳ２１）。多画面表示は、上述のように、表示制御部１０７が、スクリーンＳＣの実投射領域１１Ｂに複数の画像を同時に表示する機能である。多画面表示中は、実投射領域１１Ｂが複数の領域に分割され、或いは実投射領域１１Ｂに複数の領域が設けられて、これら各領域に、外部Ｉ／Ｆ１０２に入力される画像が表示される。
【００８７】
多画面表示中でない場合（ステップＳ２１；Ｎｏ）、出力制御部１０１は、表示中の画像を供給している画像ソースの種類を判別する（ステップＳ２２）。ここで、出力制御部１０１は、判別した画像ソースの種類に基づいて図１０に例示した設定データ１０５Ｂを参照し、設定データ１０５Ｂの設定に従って、座標の出力先がＰＣ１３であるか画像処理ユニット１１０であるかを判別する（ステップＳ２３）。
【００８８】
続いて、出力制御部１０１は、制御部１０３によりＡＶミュートの実行中か否かを判別し（ステップＳ２４）、ミュート中でなければ（ステップＳ２４；Ｎｏ）、ステップＳ２３で判別した出力先への出力実行を決定し（ステップＳ２５）、出力切替部１６３から、座標変換部１６０が変換した座標のデータを出力する（ステップＳ２６）。また、ミュート実行中の場合は（ステップＳ２４；Ｙｅｓ）、出力制御部１０１は座標の出力を行わずに本処理を終了する。ここで、出力制御部１０１は、ＡＶミュート中に座標変換部１６０から出力切替部１６３への座標の出力を停止させてもよいし、出力切替部１６３から画像処理ユニット１１０または外部Ｉ／Ｆ１０２への座標の出力を停止させても良い。
【００８９】
一方、実投射領域１１Ｂに複数の入力画像を表示する多画面表示中であった場合（ステップＳ２１；Ｙｅｓ）、出力制御部１０１は、最新の指示位置の座標に基づいて指示位置の座標を取得し（ステップＳ３１）、指示体１２の指示位置の座標が、実投射領域１１Ｂに配置された複数の表示領域のうち、指示位置がどの表示領域に属しているかを特定する（ステップＳ３２）。
【００９０】
次いで、出力制御部１０１は、特定した領域の入力画像を供給している画像ソースを特定して、この画像ソースのグループを判別する（ステップＳ３３）。出力制御部１０１は、ステップＳ３３で判別した画像ソースのグループをもとに設定データ１０５Ｂを参照し、設定された出力先を判別する（ステップＳ３４）。出力制御部１０１は、ＡＶミュートの実行中か否かを判別し（ステップＳ３５）、ミュート実行中でなければ（ステップＳ３５；Ｎｏ）、ステップＳ２５で判別した出力先への出力実行を決定し（ステップＳ３６）、出力切替部１６３によって、座標変換部１６０が変換した座標データを出力する（ステップＳ３７）。また、ミュート実行中の場合は（ステップＳ３５；Ｙｅｓ）、出力制御部１０１は座標の出力を行わずに本処理を終了する。
このような処理によって、プロジェクター１１が多画面表示を行っている場合に、指示体１２の指示位置が含まれる領域に応じて、座標データの出力先を切り替えることができる。例えば、図８（Ｂ）に示すような多画面表示を行っているときに、表示画像２０２の画像ソースがＰＣインタラクティブモードに対応付けられ、表示画像２０３の画像ソースがＰＪインタラクティブモードに対応付けられている場合を考える。この場合は、表示画像２０２に対応する領域から表示画像２０３に対応する領域に指示体１２が移動した場合は、指示体１２の移動に応じて座標データの出力先を切り替えることもできる。
【００９１】
なお、多画面表示においては、ＰＣ系のインターフェイスに接続された複数の画像ソースから入力される入力画像を表示することがあり、この場合に、全ての画像ソースについて設定データ１０５Ｂを参照し、設定データ１０５Ｂに設定された出力先に座標を出力することも可能である。ここで、複数のＰＣ１３から供給される画像を同時に表示している場合、全てのＰＣ１３に座標を出力してもよいし、予め設定された一部のＰＣ１３にのみ座標を出力してもよい。さらに、ＰＣ１３にプロジェクター１１を制御する表示制御プログラム１３Ａ（図３）がインストールされているか否かを検出し、表示制御プログラム１３ＡがインストールされているＰＣ１３にのみ座標を出力してもよい。表示制御プログラム１３Ａは、指示体１２の指示位置を取得して、この指示位置の軌跡の画像や指示位置に対応するポインター１２Ａ（図１）の画像を生成して、この画像を入力画像に合成して出力する機能を有する。このため、当該機能を実行可能なＰＣ１３にのみ座標を出力することは合理的である。また、座標データとともに、各ＰＣ１３の出力画像が表示されている領域を示す情報を、ＰＣ１３に出力してもよい。この場合、指示体１２の指示位置に重ならない領域に入力画像が表示されているＰＣ１３に対して、誤った座標データを出力してしまうことがない。
【００９２】
本実施形態では、指示体１２の指示位置が含まれる領域に対応する画像ソースに対して座標を出力する構成としたが、全ての領域の画像がＰＣ１３から入力された画像であって、ＰＣインタラクティブモードで軌跡を描画する場合には、全てのＰＣ１３に対して座標を出力してもよい。この場合、各ＰＣが、自己が出力する画像に指示位置の軌跡を描画することにより、全体として一続きの軌跡を描画できる。
また、一部また全ての領域の画像がＰＣ１３以外の画像ソースから入力された画像であっても、ＰＪインタラクティブモードで軌跡を描画する場合には、プロジェクター１１の機能により軌跡を描画できる。この場合、出力制御部１０１は、設定データ１０５Ｂの設定に従って、或いは設定データ１０５Ｂの設定によらず、出力切替部１６３から画像処理ユニット１１０に対して座標を出力すれば、複数の領域に跨る一続きの軌跡を描画できる。
【００９３】
さらに、多画面表示中に、出力制御部１０１が、実投射領域１１Ｂに表示中の各画像の供給元の画像ソースを特定し、全ての画像ソースがＰＣ１３である場合、或いは、全ての画像ソースが、表示制御プログラム１３ＡがインストールされたＰＣ１３である場合に限り、座標を全てのＰＣ１３に出力し、それ以外の場合は、設定データ１０５Ｂの設定によらず出力先を画像処理ユニット１１０に決定してもよい。この場合、画像ソースがどのような機器であっても、複数の表示領域に跨る軌跡を必ず描画できるという利点がある。
【００９４】
また、図１２に示した動作においてはＡＶミュート中は座標変換部１６０から出力切替部１６３への座標の出力、或いは出力切替部１６３からの座標の出力を行わないものとして説明したが、出力制御部１０１は、例えば以下のような場合にも座標の出力を停止して良い。
・画像ソースの切替を行っている間。
・プロジェクター１１が表示する画像が一時停止している間。
・位置検出ユニット１５０が指示位置を検出可能な領域外に指示体１２が移動した場合。即ち、指示体１２の位置が検出できない、或いは、検出された指示体１２の指示位置の座標が、検出可能な範囲として設定された値から外れている場合。
この場合、座標の出力は行わないが、位置検出ユニット１５０が指示体１２の指示位置を検出し、座標変換部１６０が座標を変換する処理は行ってもよい。
【００９５】
図１３は、スクリーンＳＣにおける指示体１２による操作の例を示す図であり、（Ａ）は通常表示における操作前の状態を示し、（Ｂ）は指示位置の軌跡の例を示す図である。また、図１３（Ｃ）は多画面表示における操作前の状態を示し、（Ｄ）は多画面表示時の指示位置の軌跡の例を示す。図１３〜図１５ではペン型の指示体１２を用いた例を示す。
図１３（Ａ）に示す状態で指示体１２が操作され、図１３（Ｂ）に示す状態となった場合、指示体１２は、軌跡１２Ｄを描いて移動する。軌跡１２Ｄは、ＰＣインタラクティブモードにおいてはＰＣ１３によって描画されて入力画像に合成され、ＰＪインタラクティブモードにおいては画像処理ユニット１１０の機能により描画される。
この図１３〜図１５を参照した説明においてはスクリーンＳＣ上に投射された実投射領域１１Ｂで指示体１２が操作される場合について説明する。プロジェクター１１の設置状態によっては、投射可能領域１１Ａの全体に投射する場合、すなわち投射可能領域１１Ａと実投射領域１１Ｂとが一致する（等しい）場合があり、このような場合も本発明に含まれる。
【００９６】
多画面表示の実行中に指示体１２が操作され、図１３（Ｃ）に示す状態から図１３（Ｄ）に示す状態となった場合、指示体１２の軌跡１２Ｄは、実投射領域１１Ｂに設けられた複数の領域１８Ａ、１８Ｂ、１８Ｃ、１８Ｄに跨る。この場合、各領域１８Ａ、１８Ｂ、１８Ｃ、１８Ｄには、異なる画像ソースの入力画像が表示されるので、一つのＰＣ１３が軌跡１２Ｄを描画することはできない。このような場合、ＰＪインタラクティブモードでは座標変換部１６０が変換した座標が画像処理ユニット１１０に出力されるので、領域１８Ａ、１８Ｂ、１８Ｃ、１８Ｄのうち複数の領域に跨る軌跡１２Ｄを画像処理ユニット１１０が一括して描画できる。これにより、複数の画像ソースの入力画像に跨るような軌跡１２Ｄを、スクリーンＳＣに表示できる。
【００９７】
また、多画面表示の実行中に、プロジェクター１１から各領域１８Ａ、１８Ｂ、１８Ｃ、１８Ｄに表示中の画像を供給している全てのＰＣ１３に対して座標を出力し、各ＰＣ１３が自己が供給する画像に軌跡１２Ｄを描画することにより、複数の領域に跨る軌跡１２Ｄを描画できる。
図１４は、複数の領域に跨る操作に応じてズーム機能を実行する例を示す説明図であり、（Ａ）はズームの中心が指定された状態を示し、（Ｂ）は指定された中心に従ってズーム処理を行った状態を示す。
図１４（Ａ）では実投射領域１１Ｂに設けられた各領域１８Ａ、１８Ｂ、１８Ｃ、１８Ｄに異なる画像ソースからの入力画像が表示され、ペン型の指示体１２により、ズームの中心として、全領域１８Ａ、１８Ｂ、１８Ｃ、１８Ｄに跨る円が指定されている。ズームの中心を指定する機能の実行時、制御部１０３は、指示体１２の指示位置の軌跡を経時的に取得し、軌跡１２Ｄが一定の形状となった時点で、ズームの中心を決定する。
制御部１０３は、軌跡１２Ｄにより決定される円を中心として、各画像ソースの入力画像をそれぞれ拡大する処理を、画像処理部１１３により実行させる。画像処理部１１３は、各入力画像のフレームを指定された中心に基づいて拡大し、拡大した各フレームから、各領域１８Ａ、１８Ｂ、１８Ｃ、１８Ｄに表示される範囲を切り出して、実投射領域１１Ｂに相当する一つのフレームを生成する。これにより、実投射領域１１Ｂには、図１４（Ｂ）に示す画像が表示される。
【００９８】
図１４（Ｂ）では軌跡１２Ｄの円を中心に所定の拡大率で入力画像が拡大表示されている。この拡大表示の処理は、画像ソースに対して座標を出力することなくプロジェクター１１が実行可能であるため、画像ソースの種類を問わず実行できる。また、同様の処理によって各領域１８Ａ、１８Ｂ、１８Ｃ、１８Ｄに表示中の入力画像を縮小表示することも可能である。
【００９９】
図１５は、位置検出部による位置検出の例を示す説明図である。
多画面表示を行う場合には、実投射領域１１Ｂの全てを各領域（図１５では領域１８Ｇ、１８Ｈ）が占めることができず、入力画像を表示する領域１８Ｇ、１８Ｈの周囲に、黒色の非表示領域１８Ｆが発生することがある。
この場合、図７（Ｂ）を参照して説明したように、座標変換部１６０は、非表示領域１８Ｆが発生している状態で、指示体１２の指示位置が非表示領域１８Ｆに重なった場合、指示位置の座標を出力しないようにしてもよいし、画像が表示される領域１８Ｇ、１８Ｈ内において指示位置に最も近い位置の座標を出力してもよい。
【０１００】
また、図１５に示した例に限らず、多画面表示の実行中は、出力切替部１６３が座標を出力する出力先を、常に画像処理ユニット１１０とすることも可能である。この場合、実投射領域１１Ｂに一つの画像ソースから入力された一つの入力画像を表示する通常の表示状態から、多画面表示機能を開始した場合に、出力制御部１０１が出力切替部１６３の出力先を画像処理ユニット１１０に切り替えさせ、多画面表示機能の終了時にはこれと逆の制御を行う。この場合、複数の画像ソースから入力された入力画像を同時に実投射領域１１Ｂに表示する場合に、この実投射領域１１Ｂにおける指示位置に基づいてポインター１２Ａやメニューバー１２Ｂを表示する機能、或いは軌跡１２Ｄを描画する機能をプロジェクター１１が実行するので、各入力画像の画像ソースを判別する処理等を省略でき、処理負荷を軽減して、速やかに軌跡１２Ｄの描画等を行えるという利点がある。
【０１０１】
以上のように、本発明を適用した実施形態に係る表示システム１０において、プロジェクター１１は、外部Ｉ／Ｆ１０２を介して画像ソースから入力される入力画像を投射部３０によってスクリーンＳＣに表示し、スクリーンＳＣにおいて指示体１２が指示した指示位置を検出する位置検出ユニット１５０と、位置検出ユニット１５０により検出された指示位置を示す座標を生成する座標変換部１６０と、座標変換部１６０により生成された座標に基づいて処理を実行する処理手段としての画像処理ユニット１１０と、座標変換部１６０により生成された座標の、画像処理ユニット１１０に対する出力を制御する出力制御部１０１とを備え、指示体１２の指示位置を示す入力された画像における座標を生成し、この座標の出力を制御できる。これにより、例えば指示位置に基づく処理内容や処理を行うＰＣ１３等の外部の装置および内蔵する画像処理ユニット１１０に対して適切に座標を出力できる。
【０１０２】
また、プロジェクター１１が備える外部Ｉ／Ｆ１０２は、複数の画像ソースから入力画像を入力可能であり、プロジェクター１１は、外部Ｉ／Ｆ１０２に入力される入力画像のいずれか一以上の入力画像を投射部３０により表示させる画像処理ユニット１１０と、表示中の入力画像を入力する画像ソースの種類を判別する出力制御部１０１とを備え、出力制御部１０１は、判別した画像ソースの種類に基づいて、ＰＣ１３及び画像処理ユニット１１０に対する座標変換部１６０により生成された座標の出力を制御するので、表示中の画像を供給した画像ソースの種類に基づいて、座標の出力を制御できる。これにより、複数の画像ソースから入力画像が入力可能な場合に座標を適切な出力先に出力することができる。
【０１０３】
また、画像処理ユニット１１０は、制御部１０３の制御により、外部Ｉ／Ｆ１０２に複数の画像ソースから入力される複数の入力画像を、スクリーンＳＣに設けられた複数の領域のそれぞれに表示させる多画面表示を行い、多画面表示時には、出力制御部１０１は、位置検出ユニット１５０により検出された指示位置がどの領域に属するかを判定し、指示位置が属する領域に表示されている入力画像の画像ソースの種類に応じて、ＰＣ１３及び画像処理ユニット１１０に対する座標変換部１６０により生成された座標の出力を制御するので、多画面表示中に、指示位置に重なる入力画像の画像ソースに対応して、座標の出力を制御できる。このため、複数のＰＣ１３または画像処理ユニット１１０から座標の出力先を的確に選択するなど、位置を指示する操作に適切に対応して座標を出力できる。
【０１０４】
また、出力制御部１０１は、位置検出ユニット１５０により検出された指示位置が複数の領域にまたがる軌跡を描く場合には、指示位置の座標の出力を行わないので、各画像ソースが統合されない動作を行わないようにできる。これにより、複数の画像ソースからの入力画像にまたがる操作に適切に対応するとともに、複数の装置が統合されていない動作を行うことによる画像の乱れ等を防止できる。
【０１０５】
さらに、出力制御部１０１は、位置検出ユニット１５０によって検出された指示位置が、スクリーンＳＣに表示された複数の入力画像のうち特定の入力画像が表示された領域に含まれない場合や、指示位置が入力画像の表示領域から外に出た場合に、指示位置の座標の出力を停止し、或いは、指示位置の座標を出力する出力先を変更するので、例えば予め設定された画像ソースからの入力画像、設定された位置に表示されている入力画像、或いは、何らかの条件を満たす入力画像など、特定の入力画像が表示された領域に、検出された指示位置が含まれない場合に、座標の出力が停止され、あるいは座標の出力先が変更される。これにより、画像ソースである画像供給装置が、処理対象である画像が表示されている領域に含まれない無関係な座標に基づいて想定外の動作を行わないよう制御を行える。これにより、複数の画像ソースからの入力画像にまたがる操作に適切に対応するとともに、複数の画像供給装置が統合されていない動作を行うことによる画像の乱れ等を防止できる。
【０１０６】
また、出力制御部１０１は、制御部１０３のミュート機能により投射部３０による投射が停止されている間は、座標変換部１６０により生成された座標の出力を停止して、表示停止中の指示位置に基づく処理を停止させることができるので、表示を再開した際に意図しない画像が表示される等の事態を防止できる。
【０１０７】
さらに、ＰＪインタラクティブモードにおけるプロジェクター１１、及び、ＰＣインタラクティブモードにおけるＰＣ１３は、指示位置の座標に基づいて、スクリーンＳＣに表示される画像に重ねて付加画像としての軌跡１２Ｄを描画する描画処理、スクリーンＳＣに表示されたポインター１２Ａを移動させる処理、及び、スクリーンＳＣに表示されたメニューバー１２Ｂにおいて指示位置に対応するボタンに設定された機能を実行するＧＵＩ処理等を実行するので、指示体１２を用いた操作性の高い操作環境を実現できる。また、このようなプロジェクター１１及びＰＣ１３の機能に対応して、座標の出力を適切に制御するので、描画、ポインターの表示あるいはＧＵＩ操作の実行時の表示の混乱等を回避できる。
【０１０８】
なお、上記実施形態は本発明を適用した具体的態様の例に過ぎず、本発明を限定するものではなく、上記実施形態とは異なる態様として本発明を適用することも可能である。例えば、上記実施形態においては、ＰＣ１３、または、プロジェクター１１が備える画像処理ユニット１１０に対して座標変換部１６０が変換した変換後の座標を、出力切替部１６３が選択した出力先に出力し、ＰＣ１３または画像処理ユニット１１０が、ポインター１２Ａ、メニューバー１２Ｂ等を描画する構成を例に挙げて説明したが、本発明はこれに限定されるものではなく、プロジェクター１１内に、ポインター１２Ａやメニューバー１２Ｂ等、画像データに重畳して描画する画像を生成する画像処理ユニット１２０を設け、出力切替部１６３が画像処理ユニット１２０に座標を出力可能な構成としてもよい。
【０１０９】
図１６に示すプロジェクター５１は、実施形態のプロジェクター１１と同様の各機能部を有するとともに、指示体１２の指示位置に対応してポインター１２Ａ、メニューバー１２Ｂ等を描画する画像処理ユニット１２０を備えている。画像処理ユニット１２０は、座標変換部１６０から入力された座標に従って、画像データに重畳する画像を生成する画像処理部１２２と、画像処理部１２２が画像を生成する際にデータを展開するフレームメモリー１２４とを備えている。
座標変換部１６０が、変換後の座標データを画像処理ユニット１２０に出力すると、画像処理ユニット１２０は、画像処理部１２２によってポインター１２Ａやメニューバー１２Ｂの画像を描画し、表示制御部１０７が展開している画像と同じ解像度の画像を生成して、画像処理部１１３に出力する。ここで画像処理部１２２が出力する画像は、ポインター１２Ａまたはメニューバー１２Ｂ等の画像を含む。画像処理部１１３は、画像処理部１２２から入力された画像を、フレームメモリー１１５に展開した画像と合成する。これにより、画像処理ユニット１１０は、速やかにポインター１２Ａやメニューバー１２Ｂを入力画像に重畳して表示できる。
【０１１０】
この構成では、例えば、設定データ１０５Ｂ（図１０）の設定により、座標の出力先として画像処理ユニットが設定されている場合に、画像処理ユニット１１０及び画像処理ユニット１２０の両方に座標を出力するよう設定してもよい。また、座標変換部１６０から画像処理ユニット１１０に座標を出力し、この座標が画像処理ユニット１１０から画像処理ユニット１２０に出力されるように、設定データ１０５Ｂに設定してもよい。或いは、指示体１２の指示位置に基づくポインター１２Ａ、メニューバー１２Ｂ、描画図形１２Ｃ及び軌跡１２Ｄの描画を画像処理ユニット１２０のみが行う構成とした場合に、座標変換部１６０から画像処理ユニット１２０のみに座標を出力するよう設定データ１０５Ｂに設定してもよい。また、設定データ１０５Ｂに設定された出力先が「画像処理ユニット」となっている場合に、出力制御部１０１が、画像処理ユニット１２０のみに座標を出力する処理を行ってもよい。さらに、多画面表示機能の実行中は、出力切替部１６３の座標の出力先を、画像処理ユニット１１０、１２０の両方または画像処理ユニット１２０にすることも可能である。
【０１１１】
また、上記実施形態の構成では、座標算出部１５９により算出された指示位置の座標が、画像データが表示された領域に含まれない場合に、座標変換部１６０が変換後の座標を出力しない構成を例に挙げて説明したが、本発明はこれに限定されない。例えば、プロジェクター１１が外部から入力される信号の種別を判別しているとき、プロジェクター１１が投射している画像を一時停止しているとき、又はプロジェクター１１が画像の投射を中断しているとき等に、座標変換部１６０が変換後の座標を出力しない構成としても良い。なお、プロジェクター１１は、プロジェクター１１の前面に設けられたシャッター等の可動な遮蔽部（不図示）によって投射光学系３３が遮られたときや、操作パネル４１やリモコン等の操作部を介して画像の投射を中断する旨の指示を受けた場合等に、制御部１０３の制御により、画像の投射を中断することができる。
【０１１２】
また、上記実施形態の構成において、位置検出ユニット１５０が有する撮像部１５３及び撮影制御部１５５を、プロジェクター１１に外部接続されたデジタルカメラにより代替することも可能である。この場合のデジタルカメラは、制御部１０３の制御により撮影を実行して撮影画像データを位置検出処理部１５７に出力するものであればよい。また、このデジタルカメラとプロジェクター１１とを接続するインターフェイスとしてはＵＳＢ等の汎用インターフェイスを利用できるので、容易に実現可能である。
【０１１３】
さらに、上記実施形態では、ＰＣ１３とプロジェクター１１とがケーブル等により有線接続される構成を例に挙げて説明したが、プロジェクター１１とＰＣ１３との接続形態は任意である。例えば、プロジェクター１１とＰＣ１３とが無線ＬＡＮ等の近距離無線通信により相互に接続され、画像データや座標データを無線通信回線を介して送受信する構成としてもよい。
また、上記実施形態の構成において、指示体１２は、棒状のものやペン型のものに限定されず、例えばユーザーの指を指示体１２として、その指示位置を検出する構成とすることも可能である。
さらに、上記実施形態の構成では、位置検出ユニット１５０が撮影画像データに基づいて指示体１２による指示位置を検出する構成を例に挙げて説明したが、本発明はこれに限定されず、例えば、表示面としてのスクリーンＳＣ或いは他の表示方式における表示画面に、感圧式や静電容量式のタッチパネルを設け、このタッチパネルによって指示体１２としてのユーザーの指や棒体等の接触を検出する構成としてもよい。
【０１１４】
また、上記実施形態では、光源が発した光を変調する手段として、光変調装置３２がＲＧＢの各色に対応した３枚の透過型または反射型の液晶パネルを用いた構成を例に挙げて説明したが、本発明はこれに限定されるものではなく、例えば、１枚の液晶パネルとカラーホイールを組み合わせた方式、３枚のデジタルミラーデバイス（ＤＭＤ）を用いた方式、１枚のデジタルミラーデバイスとカラーホイールを組み合わせたＤＭＤ方式等により構成してもよい。ここで、表示部として１枚のみの液晶パネルまたはＤＭＤを用いる場合には、クロスダイクロイックプリズム等の合成光学系に相当する部材は不要である。また、液晶パネル及びＤＭＤ以外にも、光源が発した光を変調可能な構成であれば問題なく採用できる。
【０１１５】
また、本発明の表示装置は、スクリーンＳＣに画像を投射するプロジェクターに限定されず、液晶表示パネルに画像／画像を表示する液晶モニターまたは液晶テレビ、或いは、ＰＤＰ（プラズマディスプレイパネル）に画像／画像を表示するモニター装置またはテレビ受像機、ＯＬＥＤ（Organic light-emitting diode）、ＯＥＬ（Organic Electro-Luminescence）等と呼ばれる有機ＥＬ表示パネルに画像／画像を表示するモニター装置またはテレビ受像機等の自発光型の表示装置など、各種の表示装置も本発明の画像表示装置に含まれる。この場合、液晶表示パネル、プラズマディスプレイパネル、有機ＥＬ表示パネルが表示手段に相当し、その表示画面が表示面に相当する。より詳細には、画像を表示可能な領域全体が投射可能領域１１Ａに相当し、常に投射可能領域１１Ａの全体に画面を表示する場合には、投射可能領域１１Ａと実投射領域１１Ｂとが等しい場合に相当する。
【０１１６】
また、図２、図１６に示したプロジェクター１１、５１の各機能部、及び、図３に示したＰＣ１３の各機能部は、ハードウェアとソフトウェアとの協働により実現される機能的構成を示すものであって、具体的な実装形態は特に制限されない。従って、必ずしも各機能部に個別に対応するハードウェアが実装される必要はなく、一つのプロセッサーがプログラムを実行することで複数の機能部の機能を実現する構成とすることも勿論可能である。また、上記実施形態においてソフトウェアで実現されている機能の一部をハードウェアで実現してもよく、あるいは、ハードウェアで実現されている機能の一部をソフトウェアで実現してもよい。その他、プロジェクター１１及びＰＣ１３を含む表示システム１０の他の各部の具体的な細部構成についても、本発明の趣旨を逸脱しない範囲で任意に変更可能である。
また、上記実施形態において記憶部１０５が記憶していた制御プログラム１０５Ａを、プロジェクター１１が通信ネットワークを介して接続された他の装置からダウンロードして実行しても良いし、可搬型の記録媒体に制御プログラム１０５Ａを記録して、この記録媒体から上記各プログラムを読み取って実行する構成としても良い。ＰＣ１３が記憶していた表示制御プログラム１３Ａについても同様に、ＰＣ１３が他の装置から表示制御プログラム１３Ａをダウンロードして実行しても良いし、可搬型の記録媒体に記録された表示制御プログラム１３ＡをＰＣ１３が読み取って実行する構成としても良い。
さらに、ＰＪインタラクティブモードとＰＣインタラクティブモードとの切り替えは、操作パネル４１やリモコン等の操作を契機として実行されてもよいが、例えばメニューバー１２ＢにＰＪインタラクティブモードとＰＣインタラクティブモードとを切り替えるためのボタンを設けて、このボタンをユーザーが指示体１２により操作し、この操作をプロジェクター１１が検出したときに、これを契機として動作モードを切り替えても良い。この場合に、ＰＪインタラクティブモードからＰＣインタラクティブモードモードへ、或いはその逆の動作モードの切り替えに連動して、座標情報の出力先を切り替えても良い。
【符号の説明】
【０１１７】
３…投射ユニット（表示手段）、１０…表示システム、１１、５１…プロジェクター（表示装置）、１１Ａ…投射領域、１１Ｂ…実投射領域、１１Ｃ…非表示領域、１２…指示体、１３…ＰＣ（処理手段）、１３Ａ…表示制御プログラム、１８Ａ〜１８Ｄ、１８Ｅ、１８Ｇ、１８Ｈ…領域、１８Ｆ…非表示領域、３０…投射部（投射手段）、３１…照明光学系（光源）、３２…光変調装置（光変調手段）、１０１…出力制御部（出力制御手段、ソース判別手段）、１０２…外部Ｉ／Ｆ（画像入力手段）、１０３…制御部（表示停止制御手段、設定手段）、１０５Ａ…制御プログラム、１０７…表示制御部（設定画面表示手段）、１１０、１２０…画像処理ユニット（処理手段、表示制御手段）、１５０…位置検出ユニット（位置検出手段）、１６０…座標変換部（位置情報生成手段）、ＳＣ…スクリーン（表示面）。
【技術分野】
【０００１】
本発明は、表示面に画像を表示する表示装置、表示装置の制御方法、及び、プログラムに関する。
【背景技術】
【０００２】
従来、プロジェクター等の表示装置が表示する画像の特定の位置が指示された場合に、指示位置を検出し、検出した位置に対応するようにポインター等を表示する装置が知られている（例えば、特許文献１参照）。この種の装置は、指示された位置を検出すると、例えば指示された位置に対応してポインターを表示したり、指示位置の軌跡を示す画像を描画し、表示したりする。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４２７２９０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
一般に、指示位置に基づいてポインターの表示や軌跡を描画する処理は、表示装置に画像を供給するパーソナルコンピューター等の装置が実行するが、表示装置自身が上記のような処理を行うことも不可能ではない。このため、例えば、表示装置に接続された画像供給装置と、表示装置自身との両方とも指示位置に対応する動作が可能な構成が考えられるし、表示装置に接続された装置がポインターの表示や軌跡を描画する機能を持たない構成も考えられる。ところが、このように様々な構成に対応して指示位置の情報を適切に提供する手法は知られていない。
本発明は、上述した事情に鑑みてなされたものであり、画像の表示中に指示された指示位置に基づく処理を行う装置に対し、指示位置を示す情報を適切に提供できるようにすることを目的とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するため、本発明は、画像ソースから入力される入力画像を表示面に表示する表示手段と、前記表示面における指示位置を検出する位置検出手段と、前記位置検出手段により検出された指示位置を示す位置情報を生成する位置情報生成手段と、前記位置情報生成手段により生成された位置情報に基づいて処理を実行する処理手段と、前記位置情報生成手段により生成された位置情報の、前記処理手段に対する出力を制御する出力制御手段とを備えることを特徴とする。
本発明によれば、表示面に対して位置の指示がなされた場合に、この指示位置を示す位置情報を生成し、表示装置が備える処理手段に対する位置情報の出力を制御する。これにより、例えば指示位置に基づく処理内容や処理を行う装置に対応して、適切に位置情報を出力でき、或いは、複数の処理手段を有する場合に、どの処理手段に位置情報を出力するかを制御して、適切な出力先に位置情報を出力できる。
【０００６】
また、本発明は、上記表示装置において、外部の装置に接続可能に構成され、前記出力制御手段は、前記位置情報生成手段により生成された位置情報の、前記処理手段又は前記外部の装置に対する出力を制御することを特徴とする。
本発明によれば、外部の装置に対しても、表示面に対する指示位置を示す位置情報の出力を制御できるので、外部の装置から入力される情報に基づいて動作する場合や、外部の装置を含む複数の出力先がある場合などに、適切な出力先に位置情報を出力できる。
【０００７】
また、本発明は、上記表示装置において、前記外部の装置を含む複数の前記画像ソースから入力画像を入力可能な画像入力手段と、前記画像入力手段に入力される入力画像のいずれか一以上の入力画像を前記表示手段により表示させる表示制御手段と、前記表示制御手段により表示中の入力画像を入力する前記画像ソースの種類を判別するソース判別手段とを備え、前記出力制御手段は、前記ソース判別手段により判別された前記画像ソースの種類に基づいて、当該画像ソース及び前記処理手段に対する前記位置情報生成手段により生成された位置情報の出力を制御することを特徴とする。
本発明によれば、表示中の画像を入力した画像ソースの種類に基づいて位置情報の出力を制御するので、複数の画像ソースから入力画像が入力可能な場合に位置情報を適切な出力先に出力することができる。
【０００８】
ここで、前記ソース判別手段が判別する前記画像ソースの種類は、前記画像ソースが接続されるインターフェイスの種類としてもよいし、前記画像ソースから入力される前記入力画像の種類としてもよいし、前記画像ソースとなる前記外部の装置の種類としてもよい。すなわち、前記ソース判別手段は、前記画像入力手段が、前記画像ソースとなる前記外部の装置に接続される複数種類のインターフェイスを有する場合に、インターフェイスの種類に基づいて前記画像ソースの種類を判別してもよいし、前記画像入力手段に接続された外部の装置から入力される入力画像の信号形式またはデータフォーマットに基づいて前記画像ソースの種類を判別してもよく、前記画像入力手段に接続された前記外部の装置の種類自体を識別することにより前記画像ソースの種類を判別してもよい。
また、前記表示装置が、画像データを記憶する記憶手段等の前記画像ソースを内蔵し、この内蔵された前記画像ソースから供給される画像を前記表示手段により表示してもよい。
このため、画像ソースのインターフェイスの種類、入力画像の種類、或いは画像ソースとなっている装置の種類に基づいて、位置情報の出力先を的確に判定し、或いは出力先を適切に選択して、位置情報を出力できる。
【０００９】
また、本発明は、上記表示装置において、前記表示制御手段は、前記表示手段によって、前記画像入力手段に複数の前記画像ソースから入力される複数の前記入力画像を、前記表示面に設けられた複数の領域のそれぞれに表示させ、前記出力制御手段は、前記位置検出手段により検出された指示位置がどの前記領域に属するかを判定し、指示位置が属する前記領域に表示されている前記入力画像の前記画像ソースの種類に応じて、当該画像ソース及び前記処理手段に対する前記位置情報生成手段により生成された位置情報の出力を制御することを特徴とする。
本発明によれば、複数の入力画像を表示面に同時に表示し、指示位置を検出した場合に、指示位置に重なる入力画像の画像ソースに対応して、位置情報の出力を制御できる。このため、複数の画像ソースから位置情報の出力先を的確に選択するなど、位置を指示する操作に適切に対応して位置情報を出力できる。
【００１０】
また、本発明は、上記表示装置において、前記出力制御手段は、前記位置検出手段により検出された指示位置が、前記表示面に表示された複数の前記入力画像のうち特定の前記入力画像が表示された領域に含まれない場合に、前記位置情報生成手段により生成された前記位置情報の出力を停止し、或いは、前記位置情報を出力する出力先を変更することを特徴とする。
本発明によれば、複数の画像ソースからの入力画像のうち、例えば予め設定された画像ソースからの入力画像、設定された位置に表示されている入力画像、或いは、何らかの条件を満たす入力画像など、特定の入力画像が表示された領域に、指示位置が含まれない場合に、位置情報の出力が停止あるいは出力先の画像ソースが変更されるので、画像ソースの装置が、対応していない座標に基づいて想定外の動作を行わないよう制御を行える。これにより、複数の画像ソースからの入力画像にまたがる操作に適切に対応するとともに、複数の装置が統合されていない動作を行うことによる画像の乱れ等を防止できる。
ここで、出力制御手段は、特定の前記入力画像が表示された領域で検出された指示位置が、その後に当該領域の外に移動したことを判別して、位置情報の出力を停止あるいは出力先の画像ソースを変更してもよい。
【００１１】
また、本発明は、上記表示装置において、前記表示手段による表示を停止させる表示停止制御手段をさらに備え、前記出力制御手段は、前記表示停止制御手段により前記表示手段による表示が停止されている間は、前記位置情報生成手段により生成された位置情報の出力を停止することを特徴とする。
本発明によれば、表示を停止している間の位置情報に基づく処理を停止させることができるので、表示を再開した際に意図しない画像が表示される等の事態を防止できる。
【００１２】
また、本発明は、上記表示装置において、前記処理手段は、前記位置情報生成手段により生成された位置情報をもとに、前記表示面に表示される画像の少なくとも一部を描画する描画処理、前記表示面に前記位置情報に対応するポインターを表示する処理、及び、当該処理手段の機能に対応づけられた操作画像が前記表示面に表示された状態で、前記位置情報に基づいて選択される前記操作画像に対応する動作を実行するＧＵＩ処理の少なくともいずれかを実行することを特徴とする。
本発明によれば、表示装置が、指示位置に対応した描画、指示位置にポインターを表示する処理、及び指示位置に対応したＧＵＩ操作のいずれかを実行でき、指示位置に基づいて操作性の高い操作環境を実現できる。また、この表示装置の機能に対する位置情報の出力を適切に制御するので、描画、ポインターの表示あるいはＧＵＩ操作における表示の混乱等を回避できる。
【００１３】
また、本発明は、上記表示装置において、前記位置情報生成手段により生成された位置情報の出力先を設定する設定画面を前記表示手段により表示させる設定画面表示手段と、前記設定画面表示手段により前記設定画面が表示された状態で、前記位置検出手段により検出された指示位置に基づいて出力先の設定を行う設定手段と、を備え、前記出力制御手段は、前記設定手段により設定された出力先に、前記位置情報生成手段が生成した前記位置情報を出力することを特徴とする。
本発明によれば、位置情報の出力先を、位置検出手段により指示位置が検出される操作によって容易に設定することができる。
【００１４】
また、本発明は、上記表示装置において、前記表示手段として、光源と、前記光源が発した光を前記入力画像に基づいて変調する光変調手段と、前記光変調手段により変調された光を前記表示面に投射する投射手段とを備えるプロジェクターであることを特徴とする。
本発明によれば、プロジェクターが投射した画像に対する位置を指示する操作に対応した適切な動作を実行できる。
【００１５】
また、上記課題を解決するため、本発明は、画像ソースから入力される入力画像を表示面に表示する表示装置を制御する表示装置の制御方法であって、前記表示面における指示位置を検出し、検出した指示位置を示す位置情報を生成し、前記位置情報に基づいて処理を実行する処理手段に対する前記位置情報の出力を制御することを特徴とする。
本発明の制御方法を実行することにより、表示面に位置の指示がなされた場合に、この指示位置を示す位置情報を生成し、表示装置が備える処理手段に対する位置情報の出力を制御できる。これにより、例えば指示位置に基づく処理内容や処理を行う装置に対応して、適切に位置情報を出力でき、或いは、複数の処理手段を有する場合に、どの処理手段に位置情報を出力するかを制御して、適切な出力先に位置情報を出力できる。
【００１６】
また、上記課題を解決するため、本発明は、画像ソースから入力される入力画像を表示面に表示する表示装置を制御するコンピューターが実行可能なプログラムであって、前記コンピューターを、前記表示面における指示位置を検出する位置検出手段と、前記位置検出手段により検出された指示位置を示す位置情報を生成する位置情報生成手段と、前記位置情報生成手段により生成された位置情報に基づいて処理を実行する処理手段と、前記位置情報生成手段により生成された位置情報の、前記処理手段に対する出力を制御する出力制御手段と、して機能させるためのプログラムである。
本発明のプログラムを実行することにより、表示装置を制御するコンピューターは、表示面に位置の指示がなされた場合に、この指示位置を示す位置情報を生成し、表示装置が備える処理手段に対する位置情報の出力を制御できる。これにより、例えば指示位置に基づく処理内容や処理を行う装置に対応して、適切に位置情報を出力でき、或いは、複数の処理手段を有する場合に、どの処理手段に位置情報を出力するかを制御して、適切な出力先に位置情報を出力できる。
また、上記プログラムを、コンピューターが読み取り可能に記録した記録媒体として実現することも可能である。
【発明の効果】
【００１７】
本発明によれば、表示面における指示位置を示す位置情報を適切に出力できる。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施形態に係る表示システムの構成を示す図である。
【図２】プロジェクターの機能的構成を示すブロック図である。
【図３】ＰＣの機能的構成を示すブロック図である。
【図４】スクリーンに画像を投射した例を示す図であり、（Ａ）は指示位置に従ってポインターを投射した状態を示し、（Ｂ）は指示位置に従って描画を行った例を示す。
【図５】座標を検出及び変換する処理の様子を示す説明図である。
【図６】座標を検出及び変換する処理の様子を示す説明図である。
【図７】画像の投射状態の変化と座標を変換する処理の様子を示す説明図である。
【図８】画像の投射状態の変化と座標を変換する処理の様子を示す説明図である。
【図９】プロジェクターの動作を示すフローチャートである。
【図１０】画像ソースの種類毎に座標の出力の可否を定義する設定データの構成を模式的に示す図である。
【図１１】出力先の設定画面の例を示す図である。
【図１２】図９のステップＳ１７に示した座標出力処理を詳細に示すフローチャートである。
【図１３】スクリーンにおける指示体による操作の例を示す図であり、（Ａ）は通常表示における操作前の状態を示し、（Ｂ）は指示位置の軌跡の例を示し、（Ｃ）は多画面表示における操作前の状態を示し、（Ｄ）は多画面表示時の指示位置の軌跡の例を示す。
【図１４】複数の領域に跨る操作に応じてズーム機能を実行する例を示す説明図であり、（Ａ）はズームの中心が指定された状態を示し、（Ｂ）は指定された中心に従ってズーム処理を行った状態を示す。
【図１５】位置検出部による位置検出の例を示す説明図である。
【図１６】変形例としてのプロジェクターの機能的構成を示すブロック図である。
【発明を実施するための形態】
【００１９】
以下、図面を参照して本発明を適用した実施形態について説明する。
図１は、実施形態に係るプロジェクター１１を用いた表示システム１０の構成を示す図である。図中の一部を円内に拡大して示す。
表示装置としてのプロジェクター１１には、画像供給装置としてのＰＣ（Personal Computer）１３、ＤＶＤプレーヤー１５、及びビデオレコーダー１６が有線接続されている。プロジェクター１１にはネットワーク１４を介して複数のＰＣ１３が接続され、いずれのＰＣ１３からもプロジェクター１１に画像データを供給可能である。ネットワーク１４はＬＡＮケーブル等の有線通信回線または無線通信回線により構成され、ネットワーク１４とプロジェクター１１とは有線または無線接続され、このネットワーク１４を介してプロジェクター１１と各ＰＣ１３との間、及び、ＰＣ１３間で各種データを送受信可能である。
図１に例示する構成では、プロジェクター１１は、一つのＰＣ１３に対し、アナログ映像信号を伝送するＲＧＢケーブル６１、及び、デジタルデータを伝送するＵＳＢケーブル６２により接続されている。このＰＣ１３は、プロジェクター１１にＲＧＢケーブル６１を介してアナログ映像信号を出力できる。また、プロジェクター１１は、ＵＳＢケーブル６２を介して、ＰＣ１３との間で後述する座標データを含む各種制御データ等を送受信する。なお、ＰＣ１３とプロジェクター１１とをＤＶＩケーブル等を介して接続し、デジタル画像データを伝送する構成とすることも勿論可能である。
プロジェクター１１は、ＰＣ１３、ＤＶＤプレーヤー１５及びビデオレコーダー１６から入力された画像データに基づいて、投射面（表示面）としてのスクリーンＳＣに投射する。プロジェクター１１は、ＰＣ１３、ＤＶＤプレーヤー１５及びビデオレコーダー１６から入力された画像データが静止画像であっても動画像であっても投射できる。スクリーンＳＣは、壁面に固定された平板に限らず、壁面自体をスクリーンＳＣとして使用することも可能である。ここで、スクリーンＳＣ上で画像が投射される範囲を実投射領域１１Ｂ（表示可能領域）とする。また、プロジェクター１１は通信ケーブル等によりＰＣ１３に接続され、ＰＣ１３との間で制御データ等を送受信する。
【００２０】
表示システム１０では、プロジェクター１１による画像の投射中、ユーザーが指示体１２を手に持って、スクリーンＳＣの実投射領域１１Ｂにおける位置指示操作を実行できる。指示体１２は、ペン型や棒形状の操作デバイスであって、スクリーンＳＣの上の任意の位置を指し示すために用いられる。プロジェクター１１は、後述するように指示体１２の先端位置を検出する機能を有し、検出した指示位置の座標を示す制御データをＰＣ１３に出力する。また、プロジェクター１１は、検出した指示位置の座標に基づいて、指示位置に沿って画像を描画する等の処理を行う。
【００２１】
図２は、プロジェクター１１の機能的構成を示すブロック図である。
プロジェクター１１は、大別して、ＲＧＢケーブル６１またはネットワーク１４を介してＰＣ１３から入力される入力画像やＤＶＤプレーヤー１５及びビデオレコーダー１６等から入力される入力画像に基づいて表示用の画像処理を実行する画像処理ユニット１１０と、画像処理ユニット１１０の制御に従ってスクリーンＳＣに画像を投射する投射ユニット３（表示手段）と、スクリーンＳＣ上の指示体１２の指示位置を検出する位置検出ユニット１５０と、位置検出ユニット１５０が検出した指示位置の座標を、画像データにおける座標に変換する座標変換部１６０と、座標変換部１６０が変換した変換後の座標をＰＣ１３または画像処理ユニット１１０に出力する出力切替部１６３と、出力切替部１６３が座標を出力する出力先を切り替えさせる出力制御部１０１と、これらの各部を制御する制御部１０３と、を備えている。
制御部１０３は、図示しないＣＰＵ、不揮発性メモリー、ＲＡＭ等により構成され、制御部１０３に接続された記憶部１０５に記憶されている制御プログラム１０５Ａを読み出して実行し、プロジェクター１１の各部を制御する。また、記憶部１０５に記憶された制御プログラム１０５Ａを実行することで、制御部１０３はキャリブレーション実行部１０３Ａとして機能する。キャリブレーション実行部１０３Ａは、後述するキャリブレーションを実行して、撮影画像データにおける座標と、キャリブレーションの対象となるスクリーンＳＣ上の領域における座標との対応関係（座標変換パラメーター）を求める。記憶部１０５は、磁気的、光学的記録装置または半導体記憶素子により構成され、制御プログラム１０５Ａを含む各種プログラム、及び、各種設定値等のデータを記憶する。
【００２２】
制御部１０３には操作パネル４１及びリモコン受光部４５が接続されている。
操作パネル４１は、各種スイッチ及びインジケーターランプを備え、プロジェクター１１の外装筐体（図示略）に配置されている。制御部１０３は、プロジェクター１１の動作状態や設定状態に応じて操作パネル４１のインジケーターランプを適宜点灯或いは点滅させる。また、操作パネル４１のスイッチが操作されると、操作されたスイッチに対応する操作信号を制御部１０３に出力する。操作パネル４１やリモコン等は、プロジェクター１１に対する操作をユーザーが入力するための操作部である。なお、プロジェクター１１に対する操作を表す操作信号をＰＣ１３からプロジェクター１１に送信し、この操作信号に基づいてプロジェクター１１を制御することもできる。ＰＣ１３から操作信号を送信する場合は、例えばＵＳＢインターフェイス等を介してプロジェクター１１に操作信号を送信することができる。この場合は、ＰＣ１３も、プロジェクター１１に対する操作をユーザーが入力するための操作部として機能する。
また、プロジェクター１１は、プロジェクター１１の操作者であるユーザーが使用するリモコン（図示略）がボタン操作に対応して送信した赤外線信号を、リモコン受光部４５によって受光する。リモコン受光部４５は、上記リモコンから受光した赤外線信号を受光素子により受光し、この信号に対応する操作信号を制御部１０３に出力する。
制御部１０３は、操作パネル４１またはリモコン受光部４５から入力される操作信号に基づいて、ユーザーの操作を検出し、この操作に従ってプロジェクター１１を制御する。
【００２３】
プロジェクター１１は、ＰＣ１３、ネットワーク１４、ＤＶＤプレーヤー１５及びビデオレコーダー１６等に接続される外部Ｉ／Ｆ１０２を備えている。外部Ｉ／Ｆ１０２は、制御データやデジタル画像データ等の各種データ、及び、アナログ映像信号を送受信するインターフェイスであり、複数種類のコネクター及びこれらのコネクターに対応するインターフェイス回路を備えている。本実施形態において、外部Ｉ／Ｆ１０２は、コンピューターの映像出力端子に接続されるＣｏｍｐインターフェイス、ビデオ再生装置やＤＶＤ再生装置に接続されるＳ−Ｖｉｄｅｏインターフェイス、Ｖｉｄｅｏインターフェイス、デジタル家電等が接続されるＨＤＭＩ（登録商標）規格に準拠したＨＤＭＩインターフェイス、コンピューターのＵＳＢ端子に接続されるＵＳＢインターフェイス、及び、コンピューターを含んで構成されるＬＡＮに接続されるＬＡＮインターフェイスを有する。
Ｃｏｍｐインターフェイスは、コンピューターからアナログ映像信号が入力されるＶＧＡ端子、デジタル映像信号が入力されるＤＶＩ（Digital Visual Interface）等である。このＣｏｍｐインターフェイスにはＲＧＢケーブル６１（図１）が接続され、ＵＳＢインターフェイスにはＵＳＢケーブル６２（図１）が接続される。
【００２４】
Ｓ−Ｖｉｄｅｏインターフェイスは、ビデオ再生装置、ＤＶＤ再生装置、テレビチューナー装置、ＣＡＴＶのセットトップボックス、ビデオゲーム装置等の画像供給装置から、ＮＴＳＣ、ＰＡＬ、ＳＥＣＡＭ等のコンポジット映像信号が入力されるＳ映像端子を備え、本実施形態ではＤＶＤプレーヤー１５が接続される。
Ｖｉｄｅｏインターフェイスは、上記の画像供給装置からコンポジット映像信号が入力されるＲＣＡ端子、或いはコンポーネント映像信号が入力されるＤ端子等を備え、アナログ画像信号が入力され、本実施形態ではビデオレコーダー１６が接続されている。
【００２５】
ＵＳＢインターフェイスは図示しないＵＳＢ端子と、このＵＳＢ端子を介してコンピューターと制御データやデジタル画像データを送受信するＵＳＢコントローラー（図示略）とを備えている。ここで、外部Ｉ／Ｆ１０２Ｇは、ＰＣ１３などのＵＳＢホストデバイスとなる装置を接続するためのＵＳＢ−Ｂインターフェイスを備えていてもよいし、プロジェクター１１に対してＵＳＢスレーブデバイスとして機能するＵＳＢメモリーや書画カメラ等のデバイスを接続するためのＵＳＢ−Ａインターフェイスを備えていてもよい。また、ＵＳＢ−Ａ、ＵＳＢ−Ｂの両方のインターフェイスを備えていてもよい。
また、ＬＡＮインターフェイスは、ＬＡＮケーブルを接続可能なＲＪ−４５端子等の端子を備え、この端子を介して１または複数のコンピューターを含むＬＡＮに接続される。例えばＥｔｈｅｒｎｅｔ（登録商標）規格に準拠したネットワークインターフェース回路（図示略）を備えており、ＬＡＮを構成するコンピューターとの間で制御データや画像データを送受信する。
また、外部Ｉ／Ｆ１０２に、ＶＥＳＡ（Video Electronics Standards Association）が策定したDisplayPortを備えた構成としてもよく、具体的にはDisplayPortコネクター或いはMini Displayportコネクターと、Displayport規格に準拠したインターフェイス回路とを備えた構成としてもよい。この場合、プロジェクター１１は、ＰＣ１３や、ＰＣ１３と同等の機能を有する携帯型デバイスが備えるDisplayPortに接続し、デジタル画像データを入力可能となる。
さらに、外部Ｉ／Ｆ１０２は有線通信によって画像信号の送受信を行っても良く、無線通信によって画像信号の送受信を行っても良い。例えば、外部Ｉ／Ｆ１０２に、無線ＬＡＮ等の無線通信インターフェイスを備え、プロジェクター１１をＰＣ１３等の各種装置と無線通信回線を介して接続してもよい。
外部Ｉ／Ｆ１０２が備える各インターフェイスに接続された各装置（上述した画像供給装置）を、画像ソースと呼び、各画像ソースから入力される画像信号または画像データを入力画像と総称する。このため、入力画像には、アナログ画像信号及びデジタル画像データの両方が含まれる。
【００２６】
プロジェクター１１は、大きく分けて光学的な画像の形成を行う光学系と画像信号を電気的に処理する画像処理系とからなる。光学系は、照明光学系３１（光源）、光変調装置３２（光変調手段）、及び投射光学系３３から構成される投射部３０（投射手段）を備えている。照明光学系３１は、キセノンランプ、超高圧水銀ランプ、ＬＥＤ（Light Emitting Diode）等からなる光源を備えている。また、照明光学系３１は、光源が発した光を光変調装置３２に導くリフレクター及び補助リフレクターを備えていてもよく、投射光の光学特性を高めるためのレンズ群（図示略）、偏光板、或いは光源が発した光の光量を光変調装置３２に至る経路上で低減させる調光素子等を備えたものであってもよい。
光変調装置３２は、後述する画像処理系からの信号を受けて、照明光学系３１からの光を変調する。本実施形態では、透過型液晶パネルを用いて光変調装置３２を構成した場合を例に挙げて説明する。この構成では、光変調装置３２は、カラーの投影を行うため、ＲＧＢの三原色に対応した３枚の液晶パネルからなる。照明光学系３１からの光はＲＧＢの３色の色光に分離され、各色光は対応する各液晶パネルに入射する。各液晶パネルを通過して変調された色光はクロスダイクロイックプリズム等の合成光学系によって合成され、投射光学系３３に射出される。
【００２７】
投射光学系３３は、投射する画像の拡大・縮小および焦点の調整を行うズームレンズ、ズームの度合いを調整するズーム調整用モーター、フォーカスの調整を行うフォーカス調整用モーター等を備えている。
投射ユニット３（表示手段）は、投射部３０とともに、表示制御部１０７の制御に従って投射光学系３３が備える各モーターを駆動する投射光学系駆動部１２１、表示制御部１０７から出力される画像信号に基づいて光変調装置３２を駆動して描画を行う光変調装置駆動部１１９、及び、制御部１０３の制御に従って照明光学系３１が備える光源を駆動する光源駆動部１１７を備えている。
【００２８】
一方、画像処理系は、プロジェクター１１全体を統合的に制御する制御部１０３の制御に従って画像データを処理する画像処理ユニット１１０により構成される。画像処理ユニット１１０は、外部Ｉ／Ｆ１０２から入力された入力画像を処理する画像入力部１０４を備えている。画像入力部１０４は、例えば、アナログ映像信号をデジタル画像データに変換するＡ／Ｄ変換回路を有し、外部Ｉ／Ｆ１０２が備えるアナログ映像端子を介して入力されたアナログ映像信号を画像データに変換して画像処理部１１３に出力する。また、画像入力部１０４は、外部Ｉ／Ｆ１０２において入力映像が入力されたポートを判別する機能を有する。
【００２９】
また、画像処理ユニット１１０は、制御部１０３の制御に従って外部Ｉ／Ｆ１０２から画像入力部１０４を介して入力された入力画像のうち少なくとも１以上の入力画像を選択し、選択した入力画像としての画像データに基づいて画像を表示するための処理を画像処理部１１３に実行させる表示制御部１０７、表示制御部１０７の制御に従って入力画像を処理し、投射部３０が投射する画像をフレームメモリー１１５に展開する画像処理部１１３、表示制御部１０７から出力される画像信号に基づいて光変調装置３２を駆動して描画を行う光変調装置駆動部１１９を備えている。画像処理ユニット１１０は処理手段、及び、表示制御手段として機能する。
【００３０】
制御部１０３は、記憶部１０５に記憶された制御プログラム１０５Ａを読み出して実行することにより、プロジェクター１１の各部を制御する。
表示制御部１０７は、画像入力部１０４を介して入力される画像データのフォーマット（フレームレート、解像度、圧縮状態）の判別等を行い、光変調装置３２に表示画像を表示するために必要な処理を決定し、画像処理部１１３を制御して当該処理を実行する。画像処理部１１３は、表示制御部１０７の制御に従って、画像入力部１０４を介して入力された画像データをフレームメモリー１１５に展開し、インターレース／プログレッシブ変換、解像度変換等の各種変換処理を適宜実行し、フレームメモリー１１５に描画した表示画像を表示するための所定フォーマットの画像信号を生成して、表示制御部１０７に出力する。なお、プロジェクター１１は、入力された画像データの解像度やアスペクト比を変更して表示することもでき、入力された画像データの解像度やアスペクト比を維持したままドットバイドットで表示することも可能である。また、画像処理部１１３は、表示制御部１０７の制御に従って、キーストーン補正、カラーモードに対応した色調補正、画像の拡大／縮小処理等の各種の画像処理を実行可能である。表示制御部１０７は、画像処理部１１３により処理された画像信号を光変調装置駆動部１１９に出力し、光変調装置３２に表示させる。また、画像処理部１１３は、表示中の画像データの解像度、アスペクト比、光変調装置３２の液晶表示パネルにおける表示サイズ等の情報から、後述する画像位置情報を導出し、求めた画像位置情報を座標変換部１６０に出力する。
制御部１０３は、制御プログラム１０５Ａを実行して表示制御部１０７を制御し、スクリーンＳＣ上に結像した表示画像のキーストーン補正を実行させる。また、制御部１０３は、操作パネル４１またはリモコン受光部４５から入力された操作信号に基づいて、表示制御部１０７を制御して表示画像の拡大／縮小処理を実行させる。
【００３１】
外部Ｉ／Ｆ１０２に接続された機器から画像入力部１０４にアナログ画像信号が入力された場合、画像入力部１０４によってデジタル画像データに変換され、その後はデジタル画像データとして処理される。また、外部Ｉ／Ｆ１０２に接続された機器から画像入力部１０４にデジタル画像データが入力された場合、画像入力部１０４はデジタル画像データのまま画像処理部１１３に出力する。このように、画像処理ユニット１１０は、入力画像がアナログまたはデジタルのいずれであっても、デジタル画像データとして処理を行うので、以下の説明では、アナログ画像信号をＡ／Ｄ変換する過程については省略し、画像処理ユニット１１０が画像データを処理するものとして説明する。
【００３２】
制御部１０３は、外部Ｉ／Ｆ１０２に接続された各画像ソースのうち、いずれか一以上の画像ソースを選択して当該画像ソースの入力画像を画像入力部１０４に入力する。また、制御部１０３は、外部Ｉ／Ｆ１０２から画像入力部１０４に入力されている画像ソースを判別する機能を有する。
ここで、制御部１０３は、外部Ｉ／Ｆ１０２において各画像ソースが接続されるインターフェイスの種類毎に選択及び判別を行ってもよいし、画像ソースから入力される入力画像の種類毎に選択及び判別を行ってもよく、コネクター毎に選択及び判別を行ってもよい。さらに、外部Ｉ／Ｆ１０２に接続された各装置の種類自体を識別することにより画像ソースを選択及び判別してもよい。例えば、ＨＤＭＩインターフェイス、或いはＬＡＮインターフェイスに接続された機器は、プロジェクター１１との間で制御データを送受信するので、この制御データに基づいて各機器（装置）の種類を判別できる。具体的には、ＰＣ１３、ＤＶＤレコーダー、ＵＳＢメモリー、ＰＤＡ（Personal Digital Assistant）、携帯電話機、半導体メモリーを備えたメディアプレーヤー等、画像ソースとしての装置を具体的に特定して分類し、この分類により画像ソースの種類を判別してもよい。
【００３３】
また、制御部１０３は、記憶部１０５に画像データを記憶している場合に、操作パネル４１またはリモコン受光部４５により検出した操作により、記憶部１０５に記憶している画像データの再生表示が指示されると、プロジェクター１１自身を画像ソースとして選択することもできる。
また、プロジェクター１１は、後述するようにスクリーンＳＣ上に複数の入力画像を並べて同時に表示する、いわゆる多画面表示機能を備えている。操作パネル４１又はリモコン受光部４５により検出された操作あるいは事前の設定により、制御部１０３は、画像を表示可能な領域（投射可能領域１１Ａまたは実投射領域１１Ｂ）を複数の領域に分割し、複数の画像ソース（画像供給装置）から入力された複数の入力画像を並べて表示する多画面表示を行う。多画面表示を行う場合、制御部１０３は、外部Ｉ／Ｆ１０２に接続された複数の画像ソースのうち、多画面表示で同時に表示可能な上限数以内で、画像ソースを選択する。
【００３４】
プロジェクター１１は、スクリーンＳＣ上で指示体１２により指示された指示位置の座標を検出する位置検出ユニット１５０を有する。位置検出ユニット１５０（位置検出手段）は、スクリーンＳＣを撮影する撮像部１５３、撮像部１５３を制御する撮影制御部１５５、及び、撮像部１５３の撮影画像に基づいて指示体１２の指示位置を検出する位置検出処理部１５７を有する位置検出部１５１と、この位置検出部１５１が検出した指示位置の座標を算出する座標算出部１５９とを備えている。
撮像部１５３は、スクリーンＳＣ上で投射部３０が画像を投射可能な最大範囲（後述する投射可能領域１１Ａに相当）を含む画角を撮影するデジタルカメラであり、撮影制御部１５５の制御に従って撮影を実行し、撮影画像データを出力する。撮影制御部１５５は、制御部１０３の制御にしたがって、撮像部１５３を制御して撮影を実行させる。撮像部１５３が撮影時のズーム倍率、フォーカス、絞りの調整を行う機構を有する場合、撮影制御部１５５は、これらの機構を制御して予め設定された条件で撮影を実行させる。撮影後、撮影制御部１５５は撮像部１５３が出力する撮影画像データを取得して、位置検出処理部１５７に出力する。撮像部１５３から出力される撮影画像データは、ＲＧＢやＹＵＶ等の形式で表されるものであっても良く、輝度成分のみを表すものであっても良い。また撮影制御部１５５は、撮像部１５３から出力される撮影画像データをそのまま位置検出処理部１５７へ出力してもよく、解像度の調整や所定のファイルフォーマット（ＪＰＥＧ、ＢＭＰなど）への変換等を行った上で位置検出処理部１５７へ出力しても良い。
なお、撮像部１５３は、可視光を撮像可能な構成であっても良く、非可視光（赤外光など）を撮像可能な構成であっても良い。撮像部１５３が非可視光を撮像可能な場合には、指示体１２が非可視光を射出して、撮像部１５３が指示体１２から射出された非可視光を撮像する構成や、指示体１２が非可視光を反射可能な反射部を備えており、制御部１０３の制御によってプロジェクター１１からスクリーンＳＣに対して非可視光を投射し、指示体１２の反射部によって反射された非可視光を撮像部１５３によって撮像する構成等を採用することができる。
【００３５】
位置検出処理部１５７は、撮影制御部１５５から入力される撮影画像データを解析してこの撮影画像データから、実投射領域１１Ｂの外部と実投射領域１１Ｂとの境界、及び、指示体１２の画像を抽出し、指示体１２による指示位置を特定する。指示体１２の指示位置は、例えば、棒状あるいはペン型の指示体１２の先端の位置である。位置検出部１５４は、検出した指示位置の実投射領域１１Ｂにおける座標を求める。
【００３６】
また、プロジェクター１１は、位置検出ユニット１５０が出力した座標（第１の座標）を、ＰＣ１３から入力された画像データにおける座標（第２の座標）に変換する座標変換部１６０（位置情報生成手段）を備えている。
位置検出処理部１５７が出力する座標は、撮像部１５３の撮影画像データに基づいて検出された座標であり、スクリーンＳＣに結像した表示画像上に仮想的に設けられた座標軸における座標である。座標変換部１６０は、画像処理部１１３がフレームメモリー１１５に展開した画像の解像度と、画像処理部１１３が画像を展開する際に行った解像度変換やズーム等の処理内容に関する情報とを含む各種の情報を取得し、取得した情報をもとに、位置検出処理部１５７が求めた表示画像における座標を入力画像データにおける座標に変換する。上述のように光変調装置３２は、例えば縦横にマトリクス状に並ぶ所定数の画素を有する液晶表示パネルを用いて構成されているので、画素の配列方向に仮想の直交座標系の座標軸を配置することで、パネル上の位置を座標で表すことができる。これに対し、撮影画像データにおける座標は、撮像装置５とスクリーンＳＣとの距離等の様々な要素の影響を受ける。そこで、本発明に係るプロジェクター１１においては、最初にキャリブレーション（後述）を実行して、撮影画像データにおける座標と、キャリブレーションの対象となるスクリーンＳＣ上の領域における座標との対応関係（座標変換パラメーター）を求める。ここで、キャリブレーションの対象となるスクリーンＳＣの領域は、実投射領域１１Ｂ全体であっても良く、実投射領域１１Ｂの一部であっても良い。実投射領域１１Ｂの一部をキャリブレーションの対象とする場合としては、プロジェクター１１の表示画像のアスペクト比とスクリーンＳＣのアスペクト比が異なる場合（例えば、プロジェクター１１の表示解像度がＷＸＧＡで、スクリーンＳＣのアスペクト比が４：３である場合）に、プロジェクター１１の表示画像の垂直方向の幅が、スクリーンＳＣの垂直方向の幅と一致するように表示する場合が考えられる。この場合は、プロジェクター１１の実投射領域１１Ｂのうち、スクリーンＳＣに含まれる領域をキャリブレーションの対象とし、それ以外の領域をキャリブレーションの対象外とすることが考えられる。キャリブレーション実行部１０３Ａによって座標変換パラメーターが求められると、この座標変換パラメーターに基づいて、座標算出部１５９が座標の変換を行う。この変換処理については後述する。さらに、座標変換部１６０は、座標算出部１５９から出力された座標（第１の座標）を画像位置情報（後述）に基づいて変換し、変換後の座標（第２の座標）を出力切替部１６３に出力する。
【００３７】
出力切替部１６３は、座標変換部１６０が変換した変換後の座標を出力する出力先を選択的に切り替える機能を有し、本実施形態では、外部Ｉ／Ｆ１０２または画像処理ユニット１１０のいずれかを出力先として選択し、座標を出力する。出力切替部１６３は、出力制御部１０１の制御に従って、変換後の座標を出力する出力先を切り替えて、座標を出力する。
表示制御部１０７は、出力切替部１６３から入力された座標に基づいて、フレームメモリー１１５に展開した画像上に、指示体１２の指示位置に対応してポインター１２Ａの画像を描画する。
ここで、座標算出部１５９は、出力切替部１６３に対して座標（第１の座標）を出力することも可能である。このため、出力切替部１６３は、座標算出部１５９が出力した座標（第１の座標）を、外部Ｉ／Ｆ１０２を介してＰＣ１３に出力することも、画像処理部１１３に出力することもできる。また、座標変換部１６０が、座標算出部１５９から入力された座標（第１の座標）を変換することなく、出力切替部１６３に座標を出力する機能を有する構成とすれば、座標算出部１５９が直接出力切替部１６３に座標を出力した場合と同様の作用効果が得られる。
【００３８】
なお本実施形態では、ＰＣ１３に座標を出力する場合は座標変換部１６０によって変換を行い、画像処理部１１３に座標を出力する場合は座標変換部１６０によって変換を行わないものとするが、プロジェクター１１の構成はこれに限られない。座標変換部１６０は、ＰＣ１３に座標情報を出力する場合にも座標の変換を行っても良く、画像処理部１１３に出力する場合にも座標の変換を行っても良い。
さらに、プロジェクター１１は座標変換部１６０を備えない構成であっても良い。この場合は、座標算出部１５９が出力した第１の座標が、ＰＣ１３及び画像処理部１１３に対して出力される。
出力切替部１６３が外部Ｉ／Ｆ１０２に出力した座標は、例えば、外部Ｉ／Ｆ１０２のＵＳＢインターフェイスを介してＰＣ１３に入力される。出力切替部１６３が出力する座標データは、マウス、トラックボール、デジタイザー、或いはペンタブレット等のポインティングデバイスが出力する座標データと同様のデータとして、ＰＣ１３に出力される。
【００３９】
ここで、ＰＣ１３において、出力切替部１６３から出力される座標データを、汎用的なポインティングデバイスが出力する座標データと同等に扱う場合は、これらの汎用的なポインティングデバイスに対応した、汎用のデバイスドライバープログラムを利用することができる。一般的に、これらの汎用のデバイスドライバープログラムは、ＰＣ１３のＯＳ（オペレーティングシステム）の一部として予めインストールされているため、汎用のデバイスドライバープログラムを利用する場合はデバイスドライバープログラムのインストールを行う必要がない。また、汎用のデバイスドライバープログラムを利用することから、専用のデバイスドライバープログラムを用意する必要がない一方で、プロジェクター１１とＰＣ１３との間でやり取りできる情報は、汎用のデバイスドライバープログラムの仕様によって定められた範囲に限定される。
また、プロジェクター１１に対応した専用のデバイスドライバープログラムを用意して、このデバイスドライバープログラムをＰＣ１３にインストールして使用しても良い。この場合は専用のデバイスドライバープログラムが必要になる一方で、プロジェクター１１とＰＣとの間でやり取りできる情報は、専用のデバイスドライバープログラムの仕様に応じて任意に設定することができる。
【００４０】
図３は、ＰＣ１３の機能的構成を示すブロック図である。
この図３に示すように、ＰＣ１３は、制御プログラムを実行してＰＣ１３の各部を中枢的に制御するＣＰＵ１３１、ＣＰＵ１３１により実行される基本制御プログラムや当該プログラムに係るデータを記憶したＲＯＭ１３２、ＣＰＵ１３１が実行するプログラムやデータを一時的に記憶するＲＡＭ１３３、プログラムやデータを不揮発的に記憶する記憶部１３４、入力操作を検出して入力内容を示すデータや操作信号をＣＰＵ１３１に出力する入力部１３５、ＣＰＵ１３１による処理結果等を表示するための表示データを出力する表示部１３６、及び、外部の装置との間でデータ等を送受信する外部Ｉ／Ｆ１３７を備えており、これらの各部はバスにより相互に接続されている。
【００４１】
入力部１３５は、コネクターや電源供給回路を有する入力Ｉ／Ｆ１４１を有し、この入力Ｉ／Ｆ１４１に入力デバイス１４２が接続される。入力Ｉ／Ｆ１４１は、例えばＵＳＢインターフェイス等の入力デバイス用の汎用インターフェイスで構成され、入力デバイス１４２は、例えば、キーボード、或いは、マウスやデジタイザー等のポインティングデバイスである。
入力Ｉ／Ｆ１４１には、プロジェクター１１に繋がる通信ケーブル（例えば、ＵＳＢケーブル６２）が接続され、プロジェクター１１から、指示体１２による指示位置の座標が入力される。ここで、入力Ｉ／Ｆ１４１には、プロジェクター１１が出力する座標データが、マウス、トラックボール、デジタイザー、或いはペンタブレット等のポインティングデバイスが出力する座標データと同様のデータとして入力される。従って、ＰＣ１３は、プロジェクター１１から入力される座標データを入力デバイスからの入力信号として処理することができ、例えば、この座標データに基づいてマウスカーソルやポインターの移動を行う等の動作を行える。
【００４２】
表示部１３６は、画像信号出力用のコネクター等を備えた画像出力Ｉ／Ｆ１４３を有し、画像出力Ｉ／Ｆ１４３には、モニター１４４、及び、プロジェクター１１に繋がる画像信号ケーブル（例えば、ＲＧＢケーブル６１）が接続される。画像出力Ｉ／Ｆ１４３は、例えば、アナログ映像信号が入力されるＶＧＡ端子、デジタル映像信号が入力されるＤＶＩインターフェイス、ＵＳＢインターフェイス、及びＬＡＮインターフェイス、ＮＴＳＣ、ＰＡＬ、ＳＥＣＡＭ等のコンポジット映像信号が入力されるＳ映像端子、コンポジット映像信号が入力されるＲＣＡ端子、コンポーネント映像信号が入力されるＤ端子、ＨＤＭＩ（登録商標）規格に準拠したＨＤＭＩコネクター等を複数備え、これら複数のコネクターにモニター１４４及びプロジェクター１１がそれぞれ接続される。また、画像出力Ｉ／Ｆ１４３は、ＶＥＳＡが策定したDisplayPortを備えた構成としてもよく、具体的にはDisplayPortコネクター或いはMini Displayportコネクターと、Displayport規格に準拠したインターフェイス回路とを備えた構成としてもよい。この場合、ＰＣ１３は、プロジェクター１１やモニター１４４或いは他の機器に対し、Displayportを介してデジタル映像信号を出力できる。なお、画像出力Ｉ／Ｆ１４３は有線通信によって画像信号の送受信を行っても良く、無線通信によって画像信号の送受信を行っても良い。
【００４３】
記憶部１３４は、ＣＰＵ１３１により実行される表示制御プログラム１３Ａ、及び、表示制御プログラム１３Ａの実行時に出力される画像データ１３Ｂを記憶している。ＣＰＵ１３１は、表示制御プログラム１３Ａを実行すると、プロジェクター１１に対して画像データ１３Ｂを送信する処理を実行する。この処理において、ＣＰＵ１３１は画像データ１３Ｂを再生するとともに、表示部１３６によって所定の表示解像度の画像信号を生成させ、画像出力Ｉ／Ｆ１４３に出力させる。ここで、表示部１３６は、アナログ信号を出力するコネクターに対してはアナログ画像信号を出力し、デジタルデータを出力するコネクターに対してはデジタル画像データを出力する。画像データ１３Ｂは、ＰＣ１３が表示した画面をキャプチャーした画像データであってもよい。
【００４４】
また、ＣＰＵ１３１は、表示制御プログラム１３Ａの実行中、入力部１３５から、ポインティングデバイスの操作に対応する座標が入力された場合に、この座標に対応する位置に、ポインター１２Ａ（図１）を表示するための画像を生成する。そして、ＣＰＵ１３１は、再生中の画像データ１３Ｂにポインター１２Ａを重ねた画像データを生成し、この画像データを入力Ｉ／Ｆ１４１からプロジェクター１１に出力する。
【００４５】
また、表示制御プログラム１３Ａは、プロジェクター１１を制御して、多画面表示の実行を指示したり、多画面表示時にＰＣ１３の入力画像を表示する領域を指定したりする機能を有するプロジェクター制御用のプログラムである。この表示制御プログラム１３Ａを実行することにより、ＰＣ１３は、プロジェクター１１に対して画像を出力するだけでなく、各種の制御データを送受信する。このため、例えばプロジェクター１１から入力Ｉ／Ｆ１４１に入力される座標データに基づいて、指示体１２の操作の軌跡を線で描画した画像をＣＰＵ１３１が生成し、プロジェクター１１に出力することも可能である。
【００４６】
このように、表示システム１０においては、元の画像データによって表される画像（原画像）に対して、新たな画像（付加画像）を重畳して描画する機能を、プロジェクター１１の表示制御部１０７及びＰＣ１３の両方において実行できる。具体的に、プロジェクター１１の表示制御部１０７において描画機能を実行する場合は、ＰＣ１３がプロジェクター１１に出力する画像データによって表される原画像に対して、表示制御部１０７が付加画像を重畳して描画する。一方、ＰＣ１３において描画機能を実行する場合は、ＰＣ１３が原画像に対して付加画像を重畳して描画し、付加画像が重畳された原画像を表す画像データをプロジェクター１１に出力する。なお、描画機能によって描画される付加画像としてポインター１２Ａを例示したが、描画機能によってポインター１２Ａ以外の付加画像を描画することも可能である。
【００４７】
原画像を表す画像データは、ＰＣ１３がプロジェクター１１に出力しても良く、プロジェクター１１が記憶していても良い。また、上述したようにプロジェクター１１、及びＰＣ１３のいずれにおいても付加画像の描画機能を実行することができる。
例えば、原画像を表す画像データをプロジェクター１１が記憶しており、プロジェクター１１において付加画像を描画する場合は、ＰＣ１３を用いることなく、原画像に対して描画を行うことができる。
また、ＰＣ１３から出力された原画像に対して、プロジェクター１１において付加画像を描画する場合は、ＰＣ１３が描画機能を備えていなくても原画像に対して付加画像の描画を行うことができるので、ＰＣ１３の描画用のソフトウェアがインストールされていなくても、原画像に対して描画を行うことができる。
さらに、原画像を表す画像データをプロジェクター１１又はＰＣ１３が記憶しており、この原画像に対して、ＰＣ１３において付加画像を描画しても良い。
【００４８】
図４は、プロジェクター１１によりスクリーンＳＣに画像を投射した例を示す図であり、（Ａ）は指示体１２の指示位置に従ってポインター１２Ａを投射した状態を示し、（Ｂ）は指示位置に従って描画図形１２Ｃを描画した状態を示す。
光変調装置３２が有する液晶表示パネル全体を使用して表示画像を投射した場合には、図４（Ａ）に２点差線で示す投射可能領域１１Ａに画像が結像する。プロジェクター１１がスクリーンＳＣの真正面に位置している場合を除き、図４（Ａ）に示すように台形歪みが発生するので、プロジェクター１１は、表示制御部１０７の機能によりキーストーン補正を行う。このキーストーン補正の実行後には、実投射領域１１Ｂに表示画像が投射される。実投射領域１１Ｂは、通常、スクリーンＳＣ上で長方形となり、かつ最大のサイズとなるよう設定される。具体的には、光変調装置３２の液晶表示パネルの解像度と台形歪みの程度により決定されるが、最大サイズでなくてもよい。
【００４９】
プロジェクター１１のキャリブレーション実行部１０３Ａは、キーストーン補正を行った後の実投射領域１１Ｂにおいてキャリブレーションを実行する。このキャリブレーションでは、キャリブレーション実行部１０３Ａが画像処理部１１３を制御して所定のキャリブレーション用の画像を描画させる。このキャリブレーション用の画像がスクリーンＳＣに投射された状態で、キャリブレーション実行部１０３Ａの制御により位置検出ユニット１５０がスクリーンＳＣを撮影する。キャリブレーション用の画像は、例えば白色の背景にドットが配置された画像であり、予め記憶部１０５等に記憶されている。なお、キャリブレーション用の画像は必ずしも記憶部１０５等に記憶されている必要はなく、キャリブレーションの実行が必要になり、キャリブレーションを実行する毎に、キャリブレーション実行部１０Ａがキャリブレーション用の画像をその都度生成する構成であっても良い。
【００５０】
キャリブレーション実行部１０３Ａは、撮影画像データ中の表示画像の輪郭、すなわち実投射領域１１Ｂの外部と実投射領域１１Ｂとの境界と、撮影画像データ中のドットを検出し、位置検出ユニット１５０の撮影範囲（画角）すなわち撮影画像データにおける位置と、実投射領域１１Ｂ上の位置と、画像処理部１１３が描画した画像上の位置との対応関係を特定する。キャリブレーション実行部１０３Ａは、キャリブレーションにより特定された撮影画像上の位置と実投射領域１１Ｂ上の位置との対応関係に基づいて、後述するように座標算出部１５９が用いる座標変換パラメーターを求める。座標変換パラメーターには、画像処理部１１３が描画した画像上の座標と、撮影画像データ上で求められた座標とを対応づけるデータ等が含まれる。座標算出部１５９は、この座標変換パラメーターに基づいて、撮影画像データ上で求められた座標を画像処理部１１３が描画した画像上の座標に変換することができる。この座標変換パラメーターに基づいて座標算出処理が行われる。
このキャリブレーションは、制御部１０３が記憶部１０５に記憶されたキャリブレーション用プログラム（図示略）を実行することで行われるので、ＰＣ１３においてキャリブレーション用のプログラムをインストールして実行する必要がない。また、撮影画像データに基づいてキャリブレーション実行部１０３Ａが自動で行う処理であっても良く、キャリブレーション用の画像に対するユーザーの操作が必要な処理であっても良い。さらに、プロジェクター１１がこれらの処理を併用しても良い。キャリブレーション用の画像に対するユーザーの操作は、キャリブレーション用の画像に含まれるドットをユーザーが指示体１２で指示する操作等が考えられる。
【００５１】
プロジェクター１１が備える位置検出ユニット１５０は、実投射領域１１Ｂに画像が投射された状態で撮影を実行し、図中に破線の矢印で示すように、撮影画像において実投射領域１１Ｂの隅を原点とする直交座標を仮想的に設定して、この座標系における指示体１２の先端位置の座標を求める。この直交座標は、上記のキャリブレーションにより得られた座標変換パラメーターに基づいて設定される。その後、座標変換部１６０により、実投射領域１１Ｂに表示された画像データにおける指示体１２の先端の座標が求められると、この座標に従って、例えば図４（Ａ）に示すポインター１２Ａや、メニューバー１２Ｂが表示される。ポインター１２Ａは指示体１２の先端位置を示す記号として描画される。また、メニューバー１２Ｂは、指示体１２により操作可能なＧＵＩであり、メニューバー１２Ｂに配置されたボタンを指示体１２により指示することで、線等の図形の描画、描画した図形のデータの保存、消去、コピー等の機能を実行させるＧＵＩ操作を行うことができる。具体的な例としては、指示体１２を図４（Ａ）に示す位置から図４（Ｂ）の位置まで移動させることで、指示体１２の先端の軌跡に沿って描画図形１２Ｃが描画される。この描画図形１２Ｃは、例えば、ポインター１２Ａやメニューバー１２Ｂと同様に、指示体１２の指示位置を示す座標データに従って、表示制御部１０７が、画像処理部１１３がフレームメモリー１１５に展開した画像に重ねて描画する。或いは、描画図形１２Ｃは、ＰＣ１３が描画して入力画像に重畳させてプロジェクター１１に出力する。
【００５２】
また、メニューバー１２Ｂには、外部から供給可能な複数の画像（例えば、外部Ｉ／Ｆ１０２のＵＳＢインターフェイスに接続されたＵＳＢフラッシュメモリーなどの外部記憶装置が記憶している画像データ）を順次読み出して表示するスライドショー表示の制御用のボタンや、プロジェクター１１の機能自体に関する設定（アスペクト比の変更、カラーモードの変更等）を行うためのボタン等を配置することも可能である。制御部１０３は、指示体１２の指示位置が出力切替部１６３から出力された場合に、この座標を取得して、メニューバー１２Ｂにおいて指示されたボタンを特定し、指示操作に対応した動作を実行する。
【００５３】
図５（Ａ）、（Ｂ）及び図６（Ａ）、（Ｂ）は、プロジェクター１１が指示位置の座標を検出し、画像データにおける座標に変換する処理の様子を示す説明図であり、図５（Ａ）は一連の動作の初期状態を示し、図５（Ｂ）及び図６（Ａ）、（Ｂ）は、図５（Ａ）の状態からＰＣ１３が表示画像の解像度を変更した状態を示す。
【００５４】
図５（Ａ）に示す例では、光変調装置３２の液晶表示パネルの解像度に基づき、実投射領域１１Ｂの解像度が1280×800ドットであり、ＰＣ１３から入力される画像データの解像度も1280×800ドットである。従って、実投射領域１１Ｂには、1280×800ドットの表示画像２０１が表示されている。位置検出ユニット１５０は、実投射領域１１Ｂの左上隅を原点とし、右方向をＸ軸方向、下方向をＹ軸方向とするＸ−Ｙ直交座標系を設定し、表示画像２０１のX方向の端位置をX1max、Ｙ方向の端位置をY1maxとし、指示体１２の指示位置の座標を（X1n，Y1n）とする。
ところで、ＰＣ１３から入力される画像データが、解像度が1024×768ドットの表示画像２０２に切り替えられると、スクリーンＳＣには図５（Ｂ）に示すように1066×800ドットの表示画像２０２が投射される。この1066×800ドットの画像データは、ＰＣ１３から入力された1024×768ドットのアスペクト比を維持しつつ、拡大した画像データである。この表示画像２０２は表示画像２０１より低解像度であるため、表示画像２０２が投射される領域は実投射領域１１Ｂよりも小さい。
【００５５】
ここで、図５（Ａ）及び（Ｂ）に示すように、スクリーンＳＣ上の指示体１２を動かさないようにすると、指示位置そのものは動いていないが、指示位置と表示されている画像との相対位置は変化する。このため、位置検出ユニット１５０が撮像部１５３の撮影画像データに基づいて算出した実投射領域１１Ｂにおける指示位置の座標（X1n，Y1n）をもとにポインター１２Ａを表示すると、ポインター１２Ａが実際の指示位置からずれてしまう。
【００５６】
すなわち、図６（Ａ）に示すように、変更後の表示画像２０２の左上隅を原点とする座標系において座標（X1n，Y1n）にポインターを表示すると、指示体１２の先端から離れたポインター１２Ａ´が表示されてしまう。このように、実投射領域１１Ｂを基準として求めた座標は表示画像の解像度の影響を受けてしまうので、位置検出ユニット１５０が算出した座標をそのまま、ＰＣ１３或いは表示制御部１０７が、ポインター１２Ａの表示に利用することはできない。
そこで、プロジェクター１１は、ＰＣ１３が出力する表示画像の解像度が変わった場合にも対応できるように、位置検出ユニット１５０の座標算出部１５９が算出した指示位置の座標（X1n，Y1n）を、座標変換部１６０によって、表示中の表示画像における指示位置の座標（X2n，Y2n）に変換する処理を行う。
【００５７】
以下、具体的な処理について説明する。
本実施形態では、座標変換部１６０は、表示画像における座標を実投射領域１１Ｂの隅に原点を設定した座標系（図５（Ａ））により表す。図５（Ｂ）及び図６（Ａ）〜（Ｂ）に示したように、実投射領域１１Ｂよりも小さい領域に表示画像（ここでは表示画像２０２）を表示した場合、位置検出処理部１５７が撮像部１５３の撮影画像において表示画像の隅を原点とした場合の指示位置を検出し、座標算出部１５９が実投射領域１１Ｂにおける表示画像２０２の位置を特定して、実投射領域１１Ｂにおける座標（X1n，Y1n）を算出する。
【００５８】
座標変換部１６０は、画像処理部１１３から画像位置情報を取得して、変更後の表示画像２０２の原点に相当する左上隅の座標（X1bmin，Y1bmin）を求める。この座標（X1bmin，Y1bmin）は、実投射領域１１Ｂの左上隅を原点とした場合の座標である。
また、以下の演算では、X2max、X2minの値を用いる。X2maxは、表示画像２０２を表示した場合に表示画像２０２の左上隅を原点とした座標系において、Ｘ軸方向の最大値であり、X2minは同座標系において最小値である。つまり、X2maxはＸ軸上で表示画像２０２の右端の座標であり、X2minは原点であるためゼロであると考えられるが、X2max、X2minの値としては正規化された値を用いるので、X2min＝0とは限らない。このため、変数X2minとして演算する。
【００５９】
図６（Ｂ）に示すように、表示画像２０２の原点に相当する左上隅の座標を（X1bmin，Y1bmin）とし、実投射領域１１ＢのＸ軸方向の端の座標値をX1max、表示画像２０２のＸ軸方向の端の座標をX1bmax、実投射領域１１ＢのＹ軸方向の端の座標値をY1max、表示画像２０２のＹ軸方向の端の座標をY1bmaxとする。
この場合、座標（X2n，Y2n）は、下記式（１）、（２）により算出される。
【００６０】
X2n＝（X2max−X2min）×（X1n−X1bmin）÷（X1bmax−X1bmin） …（１）
Y2n＝（Y2max−Y2min）×（Y1n−Y1bmin）÷（Y1bmax−Y1bmin） …（２）
本実施形態では図６（Ｂ）に示すようにY1bmin＝Y2min＝0、Y1bmax＝Y2max＝Y1maxである。このため、上記式（２）から、Y2n＝Y1nとなる。
【００６１】
指示位置の座標は、実際には正規化された論理座標として求められる。例として、X1min＝0、X1max＝32767、Y1min＝0、Y1max＝32767とする。
また、以下の例では、実投射領域１１Ｂは1280×800ドットの解像度の画像に合わせて設定され、この実投射領域１１Ｂにおける座標を（XPn，YPn）で表すと、（XPmin≦XPn≦XPmax，YPmin≦YPn≦YPmax）であり、XPmin＝0、XPmax＝1280、YPmin＝0、YPmax＝800であるものとする。
さらに、実投射領域１１Ｂに表示される表示画像の位置及びサイズに関する情報として、表示画像の右上端の座標を（XP0，YP0）とし、この例では（XP0，YP0）＝（0，0）とし、表示画像のＸ軸方向のサイズWP0＝1280、Ｙ軸方向のサイズHP0＝800とする。
【００６２】
実投射領域１１Ｂにおける表示画像の左上隅の座標（X1bmin，Y1bmin）及び端位置の座標（X1bmax，Y1bmax）は、以下の式（３）〜（６）により求められる。
X1bmin＝（X1max−X1min）×XP0÷（XPmax−XPmin） …（３）
X1bmax＝（X1max−X1min）×（XP0＋WP0）÷（XPmax−XPmin） …（４）
Y1bmin＝（Y1max−Y1min）×YP0÷（YPmax−YPmin） …（５）
Y1bmax＝（Y1max−Y1min）×（YP0＋HP0）÷（YPmax−YPmin） …（６）
【００６３】
これら式（３）〜（６）により得られた値をもとに、上記式（１）及び（２）の演算を行うことで、座標変換部１６０は、表示画像における指示位置の座標を得る。この座標は、ＰＣ１３或いは表示制御部１０７が、処理対象の画像データにおいてポインター１２Ａ、メニューバー１２Ｂ或いは描画図形１２Ｃを描画する場合に、画像データ中の位置を特定する情報として利用できる。このため、表示画像の解像度やズーム率等に影響されることなく、ポインター１２Ａ、メニューバー１２Ｂ及び描画図形１２Ｃを、正確に、指示体１２による指示位置に合わせて描画できる。
【００６４】
ところで、実投射領域１１Ｂに表示される表示画像の位置及びサイズは、表示画像の解像度や表示位置の影響を受ける。例えば、操作パネル４１またはリモコン受光部４５による操作や、ＰＣ１３から送信される制御信号に応じて、プロジェクター１１が、表示解像度の変更、アスペクト比の変更、ズーム、画像の表示位置の変更（移動）、多画面表示処理等、投射状態が変化するような処理を実行した場合には、画像位置情報（XP0，YP0，WP0，HP0）も変化する。ここで、画像位置情報とは、実投射領域１１Ｂに対する画像配置領域（表示画像２０１、２０２が投射される（表示される）領域）の配置に関する情報である。換言すれば、画像位置情報は、実投射領域１１Ｂ（表示可能領域）に対する表示画像の位置（配置）を示す情報である。また、ＰＣ１３の表示解像度が変化し、ＰＣ１３がプロジェクター１１に出力する画像データの解像度が変化した場合（例えば、ＰＣ１３において解像度に関する設定が変更された場合）にも、画像位置情報は変化する。
図７及び図８は、画像の投射状態の変化と座標を変換する処理の様子を示す説明図であり、投射状態の変化により画像位置情報（XP0，YP0，WP0，HP0）が変化する例を示す。
図７（Ａ）では実投射領域１１Ｂと同じ解像度（1280×800）の表示画像２０１を表示している。この場合の画像位置情報は、（XP0＝0，YP0＝0，WP0＝1280，HP0＝800）である。ここで、表示画像を、解像度が異なる表示画像２０２（1066×800）に変更した場合、図７（Ｂ）に示すように、表示画像２０２の周囲に非表示領域１１Ｃが発生する。この場合、画像位置情報は、（XP0＝107，YP0＝0，WP0＝1066，HP0＝800）となる。
ここで、表示画像２０２のアスペクト比を変更して実投射領域１１Ｂ全体に拡大表示した場合、図７（Ｃ）に示すように実投射領域１１Ｂいっぱいに表示画像２０２が表示され、画像位置情報は（XP0＝0，YP0＝0，WP0＝1280，HP0＝800）となる。
【００６５】
ここで、非表示領域１１Ｃが発生している状態で、指示体１２の指示位置が非表示領域１１Ｃに重なった場合、座標変換部１６０は、指示位置の座標を出力しないようにしてもよいし、表示画像の範囲内において指示位置に最も近い位置の座標を、出力切替部１６３に出力してもよい。
具体的には、座標変換部１６０は、座標変換処理を行う前に、座標算出部１５９が算出した座標が非表示領域１１Ｃに該当するか否かを、画像位置情報に基づいて判別する。ここで、座標算出部１５９が算出した座標が非表示領域１１Ｃに該当する場合、座標変換部１６０は、Ｘ軸方向の座標とＹ軸方向の座標の各々について、非表示領域１１Ｃに該当するか否か（実投射領域１１Ｂに含まれるか否か）、及び、非表示領域１１Ｃに該当する場合は、座標が大きい側と小さい側のどちらの非表示領域１１Ｃに含まれているかを判別する。例えば、図７（Ｂ）において指示位置が表示画像２０２の左側の非表示領域１１Ｃに重なっている場合には、指示位置のＸ軸方向の座標が、値が小さい側の非表示領域１１Ｃに含まれている。座標変換部１６０は、Ｘ軸方向の座標とＹ軸方向の座標のいずれかについて逸脱している方向を判別した場合、逸脱している方向の表示画像２０２の端位置の座標を、指示位置の座標に割り当てる。図７（Ｂ）において指示位置が表示画像２０２の左側の非表示領域１１Ｃに重なっている場合には、その指示位置のＸ軸方向の座標X1nの値を、X1bminの値に変更する。同様に、指示位置が表示画像２０２の右側の非表示領域１１Ｃに重なっている場合には、その指示位置のＸ軸方向の座標X1nの値を、X1bmaxの値に変更する。Ｙ軸方向においても同様である。
【００６６】
つまり、座標変換部１６０は、座標算出部１５９が算出した座標（X1n，Y1n）が、（X1bmin≦X1n≦X1bmax，Y1bmin≦Yn≦Y1bmax）を満たさない場合には、（X1bmin，Y1n）、（X1bmax，Y1n）、（X1n，Y1bmin）、（X1n，Y1bmax）のいずれかを出力切替部１６３に出力する。これにより、表示画像に含まれない指示位置に対しても、座標を出力し、ポインター１２Ａやメニューバー１２Ｂを、指示位置の近くに描画できる。
【００６７】
さらに、図７（Ａ）に示す状態から、表示画像２０１の表示位置を左へ１６０ドット分シフトさせると、図８（Ａ）に示すように、表示画像２０１の左側が切れて表示され、表示画像２０１の右側に非表示領域１１Ｃが発生する。図８（Ａ）の状態では、画像位置情報は、（XP0＝-160，YP0＝0，WP0＝1280，HP0＝800）となる。なお、図８（Ａ）では表示画像２０１の表示位置を左へシフトさせる場合を例示しているが、表示画像２０１は左以外（右、上又は下など）の方向へ移動させても良い。
図８（Ｂ）には、多画面表示機能により、表示画像２０２と、表示画像２０３とを表示した例を示す。この例では、２つの表示画像２０２及び表示画像２０３は、実投射領域１１Ｂに並べて表示できるように、アスペクト比を保って縮小表示され、その周囲に非表示領域１１Ｃが発生する。多画面表示機能によって複数の表示画像を同時に表示する場合、表示画像のそれぞれについて画像位置情報を定義できる。図８（Ｂ）のような場合は、表示画像２０２及び表示画像２０３のそれぞれについて異なる画像位置情報を定義できる。縮小後の表示画像２０１の解像度は縦横半分の533×400となり、表示画像２０２に関する画像位置情報は、（XP0＝53，YP0＝200，WP0＝533，HP0＝400）となる。
プロジェクター１１は、上記の多画面表示機能の実行時に、表示画像２０２及び表示画像２０３のいずれか一方を拡大あるいは縮小することも可能である。この場合、プロジェクター１１は、ユーザーが指示体１２で表示画像２０２、２０３の一方の拡大または縮小を指示する操作を行った場合に、この操作に応じて指示された表示画像を拡大または縮小し、拡大または縮小した表示画像の画像位置情報を更新する。
なお、プロジェクター１１が多画面表示機能を実行する契機は、ＰＣ１３がプロジェクター１１に対して多画面表示の開始を指示する制御データを送信する場合や、操作パネル４１又はリモコン等を介してユーザーが多画面表示の開始をプロジェクター１１に指示する場合のほか、プロジェクター１１自身が、所定の条件の成立を契機として、多画面表示機能を開始することもできる。例えば、プロジェクター１１が、外部Ｉ／Ｆ１０２を介して複数の画像ソースからの入力画像が入力されたことを、制御部１０３が検出した場合や、位置検出ユニット１５０により検出した指示体１２の操作により、メニューバー１２Ｂの多画面表示開始のボタンが操作された場合に、多画面表示機能を開始してもよい。
【００６８】
プロジェクター１１は、画像を実投射領域１１Ｂより大きく拡大して、その一部を表示するズーム機能を備えている。図７（Ｂ）に示した表示画像２０２を、もとの解像度の１．２５倍に拡大した例を図８（Ｃ）に示す。この図８（Ｃ）の例では、表示画像２０２全体を表示するためには実投射領域１１Ｂより大きい仮想表示領域１１Ｄの領域が必要であり、実際には表示画像２０２の中央において実投射領域１１Ｂに収まる部分のみが表示される。この場合の画像位置情報は、仮想表示領域１１Ｄの隅の座標及び仮想表示領域１１Ｄの解像度を基準として決定され、（XP0＝-27，YP0＝-100，WP0＝1333，HP0＝1000）となる。さらに、ズーム機能により拡大された表示画像における表示位置をシフトさせることも可能である。図８（Ｄ）には、図８（Ｃ）に示した拡大後の表示画像２０２を、下方に100ドット分シフトさせた状態を示す。この処理は、仮想表示領域１１Ｄを実投射領域１１Ｂに対して相対的に下方に移動させる処理に相当するので、画像位置情報は、（XP0＝-27，YP0＝0，WP0＝1333，HP0＝1000）となる。なお、図８（Ａ）では表示画像２０１の表示位置を下方へシフトさせる場合を例示しているが、表示画像２０１は下以外（上、右又は左など）の方向へ移動させても良い。
【００６９】
座標変換部１６０は、投射部３０による表示画像の投射状態（表示状態）が変化する毎に、制御部１０３及び画像処理ユニット１１０から情報を取得して画像位置情報を更新し、更新後の画像位置情報に基づいて座標を変換する。画像位置情報は、例えば、次に挙げるタイミングで更新される。
・制御部１０３がＰＣ１３からの画像データの入力を検出したとき。
・制御部１０３が、ＰＣ１３から入力される画像データに関する情報（画像の解像度など）の変化を検出したとき。
・プロジェクター１１において、画像データの解像度を変更したとき。
・画像データのアスペクト比を変更したとき。
・光変調装置３２により描画する画像を、投射する画像データの画像処理によって拡大／縮小するデジタルズーム機能を実行または解除したとき。
・実投射領域１１Ｂに対する表示画像の表示位置を変更したとき。
・上記のデジタルズーム機能により画像を拡大し、さらに画像処理によって画像の表示位置を変更する機能を実行または解除したとき。
・光変調装置３２により描画する画像と背景を含む全体すなわち実投射領域１１Ｂ全体の投射サイズを、画像データの画像処理を行うことにより拡大／縮小するテレワイド機能を実行または解除したとき。
・上記のデジタルズーム機能により画像を縮小し、さらに画像処理によって画像の表示位置を変更するピクチャーシフト機能を実行または解除したとき。
・複数の画像の同時表示を実行または解除したとき。
・出力切替部１６３から座標を出力する出力先が、画像処理ユニット１１０からＰＣ１３へ、或いはその逆へ変更されたとき。
解像度の変更、アスペクト比の変更、各種機能の実行および解除は、いずれも制御部１０３の制御により、画像処理ユニット１１０によって実行される。なお、上記に列挙したタイミングはあくまで一例であり、その他のタイミングで画像位置情報を更新することも勿論可能である。
【００７０】
図９は、プロジェクター１１の動作を示すフローチャートであり、特に、指示体１２による指示位置を検出して指示位置の座標を出力する動作を示す。
この図９に示す動作は、プロジェクター１１の起動後、或いは、操作パネル４１またはリモコン受光部４５の操作によってポインター１２Ａやメニューバー１２Ｂの表示が指示された場合、操作パネル４１やリモコン受光部４５により位置検出が指示された場合に、一定時間毎に繰り返し実行される。
【００７１】
まず、キャリブレーションが必要か否かが判別される（ステップＳ１１）。この判別は、キャリブレーションが必要か否かを示すユーザーの指示に基づいて行っても良く、キャリブレーションを行う必要があるかどうかをキャリブレーション実行部１０３Ａが自動的に判別し、この判別結果に基づいて自動的に行っても良い。キャリブレーションが必要な場合には（ステップＳ１１；Ｙｅｓ）、図４（Ａ）を参照して説明したようにキャリブレーションを実行する（ステップＳ１２）。すなわち、画像処理部１１３によりキャリブレーション用の画像を描画させ、このキャリブレーション用の画像が投射された状態で位置検出ユニット１５０により撮影を実行させ、得られた撮影画像データにおける実投射領域１１Ｂの輪郭やキャリブレーション用の画像に含まれる特徴点（ドット等）を検出することで、画像処理部１１３が描画した画像と撮影画像データとの対応関係を求める。なお、キャリブレーションはプロジェクター１１の使用を開始してから１度だけ行えば良く、特定の事象が発生しない限りは再度行う必要がない。例えば、次の（１）〜（３）のような場合には、新たにキャリブレーションを行う必要がある。
（１）キーストーン補正を行った場合。
（２）プロジェクター１１の設置条件が変わった場合。例えば、スクリーンＳＣに対するプロジェクター１１の相対的な位置（向きを含む）が変わった場合。
（３）光学条件が変わった場合。例えば、投射光学系３３のフォーカスまたはズームの状態が変わった場合。投射光学系３３あるいは撮像部１５３の光軸が経時変化等によりずれた場合。
これらの事象が発生した場合、座標変換部１６０が座標を算出する基準となる、初期状態における撮影画像データ上の位置と画像処理部１１３が描画する画像上の位置との対応関係が変化するので、改めてキャリブレーションを行う必要がある。逆にこれらの事象が発生しなければキャリブレーションを再度行う必要はないので、プロジェクター１１を前回使用してから今回使用するまでの間に上記の事象が発生していなければ、キャリブレーションを行うことなく、前回のキャリブレーションで求めた座標変換パラメーターを再利用することもできる。キャリブレーションを行う必要があるかどうかをキャリブレーション実行部１０３Ａが判別する方法としては、例えば、操作パネル４１においてキーストーン補正の実行を指示するスイッチの操作の有無に基づいて判別する方法や、プロジェクター１１に傾きや動きを検出するセンサーを設け、このセンサーの検出値の変化に基づいて判別する方法がある。また、投射光学系３３におけるフォーカス、ズームの調整を行った場合に、キャリブレーション実行部１０３Ａがキャリブレーションを自動で実行してもよい。また、ユーザーが、プロジェクター１１の設置位置や光学条件の変化を知って、キャリブレーション実行を指示する操作を行えるように、操作パネル４１やリモコン等の操作部に、対応するスイッチを設けてもよい。
【００７２】
撮影制御部１５５は、制御部１０３の制御により撮像部１５３に実投射領域１１Ｂを含む範囲を撮影させると、位置検出処理部１５７は撮影画像データを取得し（ステップＳ１３）、この撮影画像データに基づいて指示体１２の指示位置を検出する（ステップＳ１４）。続いて、座標算出部１５９が、位置検出処理部１５７により検出された指示位置の座標を算出する（ステップＳ１５）。このステップＳ１３で算出される座標は実投射領域１１Ｂにおける座標であり、図５（Ａ）で説明した座標（X1n，Y1n）である。
【００７３】
座標変換部１６０は、画像位置情報の更新が必要か否かを判別し（ステップＳ１６）、更新が必要な場合は制御部１０３及び画像処理ユニット１１０から情報を取得して画像位置情報を更新する（ステップＳ１７）。このステップＳ１７の処理は、ステップＳ１５の後に限定されず、上記に例示したタイミングで随時実行してもよい。
その後、座標変換部１６０は、座標算出部１５９が算出した座標を表示画像の画像データにおける座標に変換する処理を行い、変換後の座標を出力切替部１６３に出力する（ステップＳ１８）。変換後の座標は、図５（Ｂ）で説明した座標（X2n，Y2n）である。
出力切替部１６３は、変換後の座標を外部Ｉ／Ｆ１０２または画像処理ユニット１１０のいずれか指定された側に出力し（ステップＳ１９）、本処理を終了する。
【００７４】
出力制御部１０１（出力制御手段、ソース判別手段）は、出力切替部１６３を制御して、座標変換部１６０が変換した変換後の座標の出力を切り替えさせる制御を行う。出力制御部１０１は、外部Ｉ／Ｆ１０２に接続された画像ソースのうち、投射部３０が表示中の入力画像を供給しているＰＣ１３を、座標変換部１６０が算出した座標を出力する出力先として、出力切替部１６３により選択させる。また、出力制御部１０１は、出力切替部１６３の出力先として、画像処理ユニット１１０を選択させることも可能である。
また、出力制御部１０１は、座標変換部１６０が変換した座標を出力する出力先となる画像ソースを決定するため、現在表示中の画像を供給している画像ソースを特定する機能を有する。
【００７５】
また、制御部１０３は、操作パネル４１またはリモコン受光部４５により検出した操作により、ＡＶミュートが指示された場合に、スクリーンＳＣへの投射を一時的に停止させる。この場合に、制御部１０３は表示停止制御手段として機能する。具体的には、ＡＶミュートの指示を検出すると、制御部１０３は、表示制御部１０７が光変調装置駆動部１１９に出力する表示データを、全面黒を示すデータに切り替えさせる。この動作により、光変調装置３２の液晶パネルの全画素は黒表示となり、光変調装置３２の透過率はほぼゼロとなるので、スクリーンＳＣには画像が投射されず、投射光の光量もほぼゼロになる。この動作とともに、制御部１０３は、光源駆動部１１７を制御して、光源駆動部１１７が備える光源の光量を低減させてもよい。その後、制御部１０３は、操作パネル４１またはリモコン受光部４５が検出した操作によりＡＶミュートの解除が指示されると、表示制御部１０７を制御して光変調装置３２を通常表示状態に復帰させ、必要に応じて光源駆動部１１７の光源の輝度を通常時の輝度に戻す。
【００７６】
図１０は、画像ソースの種類毎に、座標を出力するか否かを定義する設定データ１０５Ｂの構成例を模式的に示す図である。
この図１０の例では外部Ｉ／Ｆ１０２の各インターフェイスが、ＰＣ系インターフェイスと非ＰＣ系インターフェイスの２つのグループに分類されている。本実施形態では、プロジェクター１１との間で制御データを送受信可能か否かという属性に基づき、ＰＣ系インターフェイスと、それ以外の非ＰＣ系インターフェイスとの２つのグループに分けた例を示す。ＰＣ系インターフェイスのグループに属するインターフェイスは、Ｃｏｍｐインターフェイス（ここではＣｏｍｐ２）、ＵＳＢ及びＬＡＮインターフェイスである。Ｃｏｍｐインターフェイスを経由して制御データを送受信することはできないが、図１に示したようにＰＣ１３がＲＧＢケーブル６１によりＣｏｍｐインターフェイスに接続されるとともに、ＵＳＢケーブル６２によりＵＳＢインターフェイスに接続されている場合は、入力画像がＣｏｍｐインターフェイスに入力されている場合にＵＳＢインターフェイスを介して制御データを送受信できる。このため、ＰＣ系インターフェイスにＣｏｍｐインターフェイスを含めることができる。また、非ＰＣ系インターフェイスには、Ｃｏｍｐインターフェイス（ここではＣｏｍｐ１）、Ｓ−Ｖｉｄｅｏ、Ｖｉｄｅｏ、ＨＤＭＩの各インターフェイスが属する。
なお、グループ分けの方法は任意であり、グループ分けされた各インターフェイスが設定データ１０５Ｂに反映されていればよく、インターフェイスの属性や機能（アナログインターフェイスかデジタルインターフェイスか等）とは無関係にグループ分けを行うことも可能である。
【００７７】
表示システム１０は、上述のように、指示体１２により指示された指示位置に追従するようにポインター１２Ａ等を描画する動作を実行可能であり、実際の描画をプロジェクター１１自身の画像処理ユニット１１０が行うことも、ＰＣ１３が行うこともできる。画像処理ユニット１１０が描画を行う動作モードは「ＰＪインタラクティブモード」、ＰＣ１３が描画を行う動作モードは「ＰＣインタラクティブモード」と定義されている。
ＰＪインタラクティブモードでは、指示体１２の指示位置の座標に基づく処理をプロジェクター１１が実行し、プロジェクター１１が、例えば、指示体１２の指示位置に追従するようにポインター１２Ａやメニューバー１２Ｂを表示し、これらの表示位置を移動させる処理や、指示位置の座標に基づいて、後述するように指示位置の軌跡１２Ｄを描画する処理を実行する。
【００７８】
これに対し、ＰＣインタラクティブモードでは、上述したように、出力切替部１６３が出力する座標データを汎用的なポインティングデバイスが出力する座標データと同等に扱うことにより、ＰＣ１３のＯＳの一部の機能として予めインストールされた汎用のデバイスドライバープログラムを用いて、指示体１２による指示操作をポインティングデバイスの操作として処理できる。例えば、指示体１２の指示位置に追従するようにポインター１２Ａやメニューバー１２Ｂを表示し、これらの表示位置を移動させる処理を行える。また、ＰＣ１３が、プロジェクター１１に対応した専用のデバイスドライバープログラムを実行する構成とすれば、ＰＣ１３のＯＳが備える機能に加えて独自の機能を実現できる。例えば、指示体１２による指示操作に基づいてプロジェクター１１の動作を制御し、特定の機能（ＡＶミュート機能、多画面表示機能等）の実行開始／終了、当該機能の実行中の制御等を行うことが可能となる。この独自の機能は専用のデバイスドライバープログラムの仕様により任意に設定できる。
【００７９】
ＰＣインタラクティブモードで、ＰＣ１３は、例えば、ＰＣ１３のＯＳの機能の一部として、或いはＯＳとともに提供される標準的なアプリケーションプログラムのうち、画像を描く描画機能を有するアプリケーションプログラムによって、プロジェクター１１から入力される座標データに基づいて軌跡１２Ｄを描画する。また、ＰＣ１３は、プロジェクター１１の利用を目的とした専用のアプリケーションプログラムを実行して、このアプリケーションプログラムの描画機能によって軌跡１２Ｄ等を描画してもよい。さらに、この専用のアプリケーションプログラムは、上述したプロジェクター１１を制御するためのデバイスドライバープログラムと協働して機能するプログラムとすることができる。この場合、プロジェクター１１から入力される座標を取得し、この座標に基づいてポインター１２Ａ、メニューバー１２Ｂ等を表示する処理と、当該座標に基づいて描画を行うことができる。
【００８０】
ＰＪインタラクティブモード及びＰＣインタラクティブモードでは、プロジェクター１１及びＰＣ１３は、画像の表示状態の変更に関する機能（例えば、上述した描画機能や、画像の色合いを調整する機能など）や、描画された画像データに対する処理に関する機能（例えば、描画された画像データを記録する機能など）を実行することができる。さらに、プロジェクター１１及びＰＣ１３がＰＪインタラクティブモードで実行できる機能と、ＰＣインタラクティブモードで実行できる機能とは共通していても良く、異なっていても良い。
【００８１】
表示システム１０は、ＰＪインタラクティブモードとＰＣインタラクティブモードとを切り替えて実行できるが、ＰＣインタラクティブモードはＰＣ１３から画像データが入力されている場合でなければ行えない。
設定データ１０５Ｂでは、インターフェイスのグループ毎あるいはインターフェイス毎に、実行可能な動作モードが設定されている。図１０の例では、非ＰＣ系インターフェイスにはＰＪインタラクティブモードが対応づけて設定され、ＰＣ系インターフェイスにはＰＣインタラクティブモードが設定されている。
【００８２】
また、設定データ１０５Ｂには出力切替部１６３が座標を出力する出力先が設定されている。例えば、上記のＰＣインタラクティブモードではＰＣ１３に対して座標を出力する必要があり、ＰＪインタラクティブモードでは画像処理ユニット１１０に座標を出力する必要がある。設定データ１０５Ｂには、グループ毎、及び動作モード毎に出力先が設定されている。ＰＣ系インターフェイスにはＰＣインタラクティブモードが設定されているので、出力先としてＰＣ１３が設定されている。
このように、設定データ１０５Ｂによって、外部Ｉ／Ｆ１０２が備えるインターフェイスの種類と、実行する動作モード（ＰＪインタラクティブモード、ＰＣインタラクティブモード）と、出力切替部１６３が座標データを出力する出力先とが対応づけられる。出力制御部１０１は、設定データ１０５Ｂの設定に従って出力切替部１６３を制御し、座標データの出力先を切り替えさせる。
なお、設定データ１０５Ｂにおいて、いずれかのグループに対応づけてＰＣ１３と画像処理ユニット１１０の両方を出力先として設定することも可能である。また、いったん出力切替部１６３から画像処理ユニット１１０に座標を出力し、この座標を画像処理ユニット１１０からＰＣ１３に出力する動作（すなわち、画像処理ユニット１１０を経由してＰＣ１３に出力する動作）と、出力切替部１６３から直接、外部Ｉ／Ｆ１０２を介してＰＣ１３に座標を出力する動作とを実行可能としてもよい。この場合、設定データ１０５Ｂにおいて出力先としてＰＣ１３が設定される場合に、さらに、出力切替部１６３から直接ＰＣ１３に座標を出力するのか、画像処理ユニット１１０を経由して出力するのかを指定する情報を設定してもよい。
【００８３】
図１１は、出力先の設定画面２１１の例を示す図である。
この図１１に示す設定画面２１１は、座標の出力先を設定する際にスクリーンＳＣに表示される画面であって、例えば、メニューバー１２Ｂにおける操作や、プロジェクター１１の操作パネル４１或いはリモコン受光部４５により検出された操作に対応して表示される。設定画面２１１は、制御部１０３の制御によって、表示制御部１０７（設定画面表示手段）により表示される。
【００８４】
設定画面２１１には、外部Ｉ／Ｆ１０２が備える各インターフェイスの名称が並べて表示され、各インターフェイスの名称に対応づけて、ＰＣインタラクティブモードに設定するか否かの入力ボックス２１３が配置されている。設定画面２１１が表示された状態で、ユーザーが指示体１２を用いて入力ボックス２１３を指定する操作を行うと、この操作に応じて、指定された入力ボックス２１３の選択状態が変化する。入力ボックス２１３が塗りつぶされている場合、その入力ボックス２１３に対応するインターフェイスはＰＣインタラクティブモードに対応づけられる。また、入力ボックス２１３が白抜きの状態となっている場合、その入力ボックス２１３に対応するインターフェイスは、ＰＣインタラクティブモード以外、すなわちＰＪインタラクティブモードに対応づけられる。図１１の例では、Ｃｏｍｐ１、ＵＳＢ、ＬＡＮの各インターフェイスがＰＣインタラクティブモードに対応づけられる。このように、設定画面２１１をスクリーンＳＣに表示させることで、座標の出力先を容易に設定できる。また、設定画面２１１における設定の操作そのものが、指示体１２を用いてポインター１２Ａを移動させるＧＵＩによって実現される。ユーザーの操作によって、設定画面２１１による設定の終了が指示されると、この設定画面２１１における設定を反映するように、制御部１０３（設定手段）は設定データ１０５Ｂを生成または更新する。
【００８５】
なお、図１１の例では設定画面２１１にプロジェクター１１が対応する各インターフェイスの名称の全てが表示されているが、ＰＣインタラクティブモードに対応付けることができないインターフェイスの名称を、設定画面２１１の表示開始時から設定画面２１１に表示させなくても良い。この場合、ＰＣインタラクティブモードに対応付けることができるインターフェイスの名称のみが、設定画面に２１１に表示される。
また、図１１に例示する設定画面２１１の構成では、ＰＣインタラクティブモードに対応付けるインターフェイスの名称を２以上選択できるようになっているが、選択可能なインターフェイスの名称を１つだけに制限しても良い。この場合、選択された１つのインターフェイスのみがＰＣインタラクティブモードに対応付けられ、それ以外のインターフェイスはＰＣインタラクティブモードに対応付けられない。
【００８６】
図１２は、図９のステップＳ１７に示した座標出力処理を詳細に示すフローチャートである。
出力制御部１０１は、プロジェクター１１が多画面表示中であるか否かを判別する（ステップＳ２１）。多画面表示は、上述のように、表示制御部１０７が、スクリーンＳＣの実投射領域１１Ｂに複数の画像を同時に表示する機能である。多画面表示中は、実投射領域１１Ｂが複数の領域に分割され、或いは実投射領域１１Ｂに複数の領域が設けられて、これら各領域に、外部Ｉ／Ｆ１０２に入力される画像が表示される。
【００８７】
多画面表示中でない場合（ステップＳ２１；Ｎｏ）、出力制御部１０１は、表示中の画像を供給している画像ソースの種類を判別する（ステップＳ２２）。ここで、出力制御部１０１は、判別した画像ソースの種類に基づいて図１０に例示した設定データ１０５Ｂを参照し、設定データ１０５Ｂの設定に従って、座標の出力先がＰＣ１３であるか画像処理ユニット１１０であるかを判別する（ステップＳ２３）。
【００８８】
続いて、出力制御部１０１は、制御部１０３によりＡＶミュートの実行中か否かを判別し（ステップＳ２４）、ミュート中でなければ（ステップＳ２４；Ｎｏ）、ステップＳ２３で判別した出力先への出力実行を決定し（ステップＳ２５）、出力切替部１６３から、座標変換部１６０が変換した座標のデータを出力する（ステップＳ２６）。また、ミュート実行中の場合は（ステップＳ２４；Ｙｅｓ）、出力制御部１０１は座標の出力を行わずに本処理を終了する。ここで、出力制御部１０１は、ＡＶミュート中に座標変換部１６０から出力切替部１６３への座標の出力を停止させてもよいし、出力切替部１６３から画像処理ユニット１１０または外部Ｉ／Ｆ１０２への座標の出力を停止させても良い。
【００８９】
一方、実投射領域１１Ｂに複数の入力画像を表示する多画面表示中であった場合（ステップＳ２１；Ｙｅｓ）、出力制御部１０１は、最新の指示位置の座標に基づいて指示位置の座標を取得し（ステップＳ３１）、指示体１２の指示位置の座標が、実投射領域１１Ｂに配置された複数の表示領域のうち、指示位置がどの表示領域に属しているかを特定する（ステップＳ３２）。
【００９０】
次いで、出力制御部１０１は、特定した領域の入力画像を供給している画像ソースを特定して、この画像ソースのグループを判別する（ステップＳ３３）。出力制御部１０１は、ステップＳ３３で判別した画像ソースのグループをもとに設定データ１０５Ｂを参照し、設定された出力先を判別する（ステップＳ３４）。出力制御部１０１は、ＡＶミュートの実行中か否かを判別し（ステップＳ３５）、ミュート実行中でなければ（ステップＳ３５；Ｎｏ）、ステップＳ２５で判別した出力先への出力実行を決定し（ステップＳ３６）、出力切替部１６３によって、座標変換部１６０が変換した座標データを出力する（ステップＳ３７）。また、ミュート実行中の場合は（ステップＳ３５；Ｙｅｓ）、出力制御部１０１は座標の出力を行わずに本処理を終了する。
このような処理によって、プロジェクター１１が多画面表示を行っている場合に、指示体１２の指示位置が含まれる領域に応じて、座標データの出力先を切り替えることができる。例えば、図８（Ｂ）に示すような多画面表示を行っているときに、表示画像２０２の画像ソースがＰＣインタラクティブモードに対応付けられ、表示画像２０３の画像ソースがＰＪインタラクティブモードに対応付けられている場合を考える。この場合は、表示画像２０２に対応する領域から表示画像２０３に対応する領域に指示体１２が移動した場合は、指示体１２の移動に応じて座標データの出力先を切り替えることもできる。
【００９１】
なお、多画面表示においては、ＰＣ系のインターフェイスに接続された複数の画像ソースから入力される入力画像を表示することがあり、この場合に、全ての画像ソースについて設定データ１０５Ｂを参照し、設定データ１０５Ｂに設定された出力先に座標を出力することも可能である。ここで、複数のＰＣ１３から供給される画像を同時に表示している場合、全てのＰＣ１３に座標を出力してもよいし、予め設定された一部のＰＣ１３にのみ座標を出力してもよい。さらに、ＰＣ１３にプロジェクター１１を制御する表示制御プログラム１３Ａ（図３）がインストールされているか否かを検出し、表示制御プログラム１３ＡがインストールされているＰＣ１３にのみ座標を出力してもよい。表示制御プログラム１３Ａは、指示体１２の指示位置を取得して、この指示位置の軌跡の画像や指示位置に対応するポインター１２Ａ（図１）の画像を生成して、この画像を入力画像に合成して出力する機能を有する。このため、当該機能を実行可能なＰＣ１３にのみ座標を出力することは合理的である。また、座標データとともに、各ＰＣ１３の出力画像が表示されている領域を示す情報を、ＰＣ１３に出力してもよい。この場合、指示体１２の指示位置に重ならない領域に入力画像が表示されているＰＣ１３に対して、誤った座標データを出力してしまうことがない。
【００９２】
本実施形態では、指示体１２の指示位置が含まれる領域に対応する画像ソースに対して座標を出力する構成としたが、全ての領域の画像がＰＣ１３から入力された画像であって、ＰＣインタラクティブモードで軌跡を描画する場合には、全てのＰＣ１３に対して座標を出力してもよい。この場合、各ＰＣが、自己が出力する画像に指示位置の軌跡を描画することにより、全体として一続きの軌跡を描画できる。
また、一部また全ての領域の画像がＰＣ１３以外の画像ソースから入力された画像であっても、ＰＪインタラクティブモードで軌跡を描画する場合には、プロジェクター１１の機能により軌跡を描画できる。この場合、出力制御部１０１は、設定データ１０５Ｂの設定に従って、或いは設定データ１０５Ｂの設定によらず、出力切替部１６３から画像処理ユニット１１０に対して座標を出力すれば、複数の領域に跨る一続きの軌跡を描画できる。
【００９３】
さらに、多画面表示中に、出力制御部１０１が、実投射領域１１Ｂに表示中の各画像の供給元の画像ソースを特定し、全ての画像ソースがＰＣ１３である場合、或いは、全ての画像ソースが、表示制御プログラム１３ＡがインストールされたＰＣ１３である場合に限り、座標を全てのＰＣ１３に出力し、それ以外の場合は、設定データ１０５Ｂの設定によらず出力先を画像処理ユニット１１０に決定してもよい。この場合、画像ソースがどのような機器であっても、複数の表示領域に跨る軌跡を必ず描画できるという利点がある。
【００９４】
また、図１２に示した動作においてはＡＶミュート中は座標変換部１６０から出力切替部１６３への座標の出力、或いは出力切替部１６３からの座標の出力を行わないものとして説明したが、出力制御部１０１は、例えば以下のような場合にも座標の出力を停止して良い。
・画像ソースの切替を行っている間。
・プロジェクター１１が表示する画像が一時停止している間。
・位置検出ユニット１５０が指示位置を検出可能な領域外に指示体１２が移動した場合。即ち、指示体１２の位置が検出できない、或いは、検出された指示体１２の指示位置の座標が、検出可能な範囲として設定された値から外れている場合。
この場合、座標の出力は行わないが、位置検出ユニット１５０が指示体１２の指示位置を検出し、座標変換部１６０が座標を変換する処理は行ってもよい。
【００９５】
図１３は、スクリーンＳＣにおける指示体１２による操作の例を示す図であり、（Ａ）は通常表示における操作前の状態を示し、（Ｂ）は指示位置の軌跡の例を示す図である。また、図１３（Ｃ）は多画面表示における操作前の状態を示し、（Ｄ）は多画面表示時の指示位置の軌跡の例を示す。図１３〜図１５ではペン型の指示体１２を用いた例を示す。
図１３（Ａ）に示す状態で指示体１２が操作され、図１３（Ｂ）に示す状態となった場合、指示体１２は、軌跡１２Ｄを描いて移動する。軌跡１２Ｄは、ＰＣインタラクティブモードにおいてはＰＣ１３によって描画されて入力画像に合成され、ＰＪインタラクティブモードにおいては画像処理ユニット１１０の機能により描画される。
この図１３〜図１５を参照した説明においてはスクリーンＳＣ上に投射された実投射領域１１Ｂで指示体１２が操作される場合について説明する。プロジェクター１１の設置状態によっては、投射可能領域１１Ａの全体に投射する場合、すなわち投射可能領域１１Ａと実投射領域１１Ｂとが一致する（等しい）場合があり、このような場合も本発明に含まれる。
【００９６】
多画面表示の実行中に指示体１２が操作され、図１３（Ｃ）に示す状態から図１３（Ｄ）に示す状態となった場合、指示体１２の軌跡１２Ｄは、実投射領域１１Ｂに設けられた複数の領域１８Ａ、１８Ｂ、１８Ｃ、１８Ｄに跨る。この場合、各領域１８Ａ、１８Ｂ、１８Ｃ、１８Ｄには、異なる画像ソースの入力画像が表示されるので、一つのＰＣ１３が軌跡１２Ｄを描画することはできない。このような場合、ＰＪインタラクティブモードでは座標変換部１６０が変換した座標が画像処理ユニット１１０に出力されるので、領域１８Ａ、１８Ｂ、１８Ｃ、１８Ｄのうち複数の領域に跨る軌跡１２Ｄを画像処理ユニット１１０が一括して描画できる。これにより、複数の画像ソースの入力画像に跨るような軌跡１２Ｄを、スクリーンＳＣに表示できる。
【００９７】
また、多画面表示の実行中に、プロジェクター１１から各領域１８Ａ、１８Ｂ、１８Ｃ、１８Ｄに表示中の画像を供給している全てのＰＣ１３に対して座標を出力し、各ＰＣ１３が自己が供給する画像に軌跡１２Ｄを描画することにより、複数の領域に跨る軌跡１２Ｄを描画できる。
図１４は、複数の領域に跨る操作に応じてズーム機能を実行する例を示す説明図であり、（Ａ）はズームの中心が指定された状態を示し、（Ｂ）は指定された中心に従ってズーム処理を行った状態を示す。
図１４（Ａ）では実投射領域１１Ｂに設けられた各領域１８Ａ、１８Ｂ、１８Ｃ、１８Ｄに異なる画像ソースからの入力画像が表示され、ペン型の指示体１２により、ズームの中心として、全領域１８Ａ、１８Ｂ、１８Ｃ、１８Ｄに跨る円が指定されている。ズームの中心を指定する機能の実行時、制御部１０３は、指示体１２の指示位置の軌跡を経時的に取得し、軌跡１２Ｄが一定の形状となった時点で、ズームの中心を決定する。
制御部１０３は、軌跡１２Ｄにより決定される円を中心として、各画像ソースの入力画像をそれぞれ拡大する処理を、画像処理部１１３により実行させる。画像処理部１１３は、各入力画像のフレームを指定された中心に基づいて拡大し、拡大した各フレームから、各領域１８Ａ、１８Ｂ、１８Ｃ、１８Ｄに表示される範囲を切り出して、実投射領域１１Ｂに相当する一つのフレームを生成する。これにより、実投射領域１１Ｂには、図１４（Ｂ）に示す画像が表示される。
【００９８】
図１４（Ｂ）では軌跡１２Ｄの円を中心に所定の拡大率で入力画像が拡大表示されている。この拡大表示の処理は、画像ソースに対して座標を出力することなくプロジェクター１１が実行可能であるため、画像ソースの種類を問わず実行できる。また、同様の処理によって各領域１８Ａ、１８Ｂ、１８Ｃ、１８Ｄに表示中の入力画像を縮小表示することも可能である。
【００９９】
図１５は、位置検出部による位置検出の例を示す説明図である。
多画面表示を行う場合には、実投射領域１１Ｂの全てを各領域（図１５では領域１８Ｇ、１８Ｈ）が占めることができず、入力画像を表示する領域１８Ｇ、１８Ｈの周囲に、黒色の非表示領域１８Ｆが発生することがある。
この場合、図７（Ｂ）を参照して説明したように、座標変換部１６０は、非表示領域１８Ｆが発生している状態で、指示体１２の指示位置が非表示領域１８Ｆに重なった場合、指示位置の座標を出力しないようにしてもよいし、画像が表示される領域１８Ｇ、１８Ｈ内において指示位置に最も近い位置の座標を出力してもよい。
【０１００】
また、図１５に示した例に限らず、多画面表示の実行中は、出力切替部１６３が座標を出力する出力先を、常に画像処理ユニット１１０とすることも可能である。この場合、実投射領域１１Ｂに一つの画像ソースから入力された一つの入力画像を表示する通常の表示状態から、多画面表示機能を開始した場合に、出力制御部１０１が出力切替部１６３の出力先を画像処理ユニット１１０に切り替えさせ、多画面表示機能の終了時にはこれと逆の制御を行う。この場合、複数の画像ソースから入力された入力画像を同時に実投射領域１１Ｂに表示する場合に、この実投射領域１１Ｂにおける指示位置に基づいてポインター１２Ａやメニューバー１２Ｂを表示する機能、或いは軌跡１２Ｄを描画する機能をプロジェクター１１が実行するので、各入力画像の画像ソースを判別する処理等を省略でき、処理負荷を軽減して、速やかに軌跡１２Ｄの描画等を行えるという利点がある。
【０１０１】
以上のように、本発明を適用した実施形態に係る表示システム１０において、プロジェクター１１は、外部Ｉ／Ｆ１０２を介して画像ソースから入力される入力画像を投射部３０によってスクリーンＳＣに表示し、スクリーンＳＣにおいて指示体１２が指示した指示位置を検出する位置検出ユニット１５０と、位置検出ユニット１５０により検出された指示位置を示す座標を生成する座標変換部１６０と、座標変換部１６０により生成された座標に基づいて処理を実行する処理手段としての画像処理ユニット１１０と、座標変換部１６０により生成された座標の、画像処理ユニット１１０に対する出力を制御する出力制御部１０１とを備え、指示体１２の指示位置を示す入力された画像における座標を生成し、この座標の出力を制御できる。これにより、例えば指示位置に基づく処理内容や処理を行うＰＣ１３等の外部の装置および内蔵する画像処理ユニット１１０に対して適切に座標を出力できる。
【０１０２】
また、プロジェクター１１が備える外部Ｉ／Ｆ１０２は、複数の画像ソースから入力画像を入力可能であり、プロジェクター１１は、外部Ｉ／Ｆ１０２に入力される入力画像のいずれか一以上の入力画像を投射部３０により表示させる画像処理ユニット１１０と、表示中の入力画像を入力する画像ソースの種類を判別する出力制御部１０１とを備え、出力制御部１０１は、判別した画像ソースの種類に基づいて、ＰＣ１３及び画像処理ユニット１１０に対する座標変換部１６０により生成された座標の出力を制御するので、表示中の画像を供給した画像ソースの種類に基づいて、座標の出力を制御できる。これにより、複数の画像ソースから入力画像が入力可能な場合に座標を適切な出力先に出力することができる。
【０１０３】
また、画像処理ユニット１１０は、制御部１０３の制御により、外部Ｉ／Ｆ１０２に複数の画像ソースから入力される複数の入力画像を、スクリーンＳＣに設けられた複数の領域のそれぞれに表示させる多画面表示を行い、多画面表示時には、出力制御部１０１は、位置検出ユニット１５０により検出された指示位置がどの領域に属するかを判定し、指示位置が属する領域に表示されている入力画像の画像ソースの種類に応じて、ＰＣ１３及び画像処理ユニット１１０に対する座標変換部１６０により生成された座標の出力を制御するので、多画面表示中に、指示位置に重なる入力画像の画像ソースに対応して、座標の出力を制御できる。このため、複数のＰＣ１３または画像処理ユニット１１０から座標の出力先を的確に選択するなど、位置を指示する操作に適切に対応して座標を出力できる。
【０１０４】
また、出力制御部１０１は、位置検出ユニット１５０により検出された指示位置が複数の領域にまたがる軌跡を描く場合には、指示位置の座標の出力を行わないので、各画像ソースが統合されない動作を行わないようにできる。これにより、複数の画像ソースからの入力画像にまたがる操作に適切に対応するとともに、複数の装置が統合されていない動作を行うことによる画像の乱れ等を防止できる。
【０１０５】
さらに、出力制御部１０１は、位置検出ユニット１５０によって検出された指示位置が、スクリーンＳＣに表示された複数の入力画像のうち特定の入力画像が表示された領域に含まれない場合や、指示位置が入力画像の表示領域から外に出た場合に、指示位置の座標の出力を停止し、或いは、指示位置の座標を出力する出力先を変更するので、例えば予め設定された画像ソースからの入力画像、設定された位置に表示されている入力画像、或いは、何らかの条件を満たす入力画像など、特定の入力画像が表示された領域に、検出された指示位置が含まれない場合に、座標の出力が停止され、あるいは座標の出力先が変更される。これにより、画像ソースである画像供給装置が、処理対象である画像が表示されている領域に含まれない無関係な座標に基づいて想定外の動作を行わないよう制御を行える。これにより、複数の画像ソースからの入力画像にまたがる操作に適切に対応するとともに、複数の画像供給装置が統合されていない動作を行うことによる画像の乱れ等を防止できる。
【０１０６】
また、出力制御部１０１は、制御部１０３のミュート機能により投射部３０による投射が停止されている間は、座標変換部１６０により生成された座標の出力を停止して、表示停止中の指示位置に基づく処理を停止させることができるので、表示を再開した際に意図しない画像が表示される等の事態を防止できる。
【０１０７】
さらに、ＰＪインタラクティブモードにおけるプロジェクター１１、及び、ＰＣインタラクティブモードにおけるＰＣ１３は、指示位置の座標に基づいて、スクリーンＳＣに表示される画像に重ねて付加画像としての軌跡１２Ｄを描画する描画処理、スクリーンＳＣに表示されたポインター１２Ａを移動させる処理、及び、スクリーンＳＣに表示されたメニューバー１２Ｂにおいて指示位置に対応するボタンに設定された機能を実行するＧＵＩ処理等を実行するので、指示体１２を用いた操作性の高い操作環境を実現できる。また、このようなプロジェクター１１及びＰＣ１３の機能に対応して、座標の出力を適切に制御するので、描画、ポインターの表示あるいはＧＵＩ操作の実行時の表示の混乱等を回避できる。
【０１０８】
なお、上記実施形態は本発明を適用した具体的態様の例に過ぎず、本発明を限定するものではなく、上記実施形態とは異なる態様として本発明を適用することも可能である。例えば、上記実施形態においては、ＰＣ１３、または、プロジェクター１１が備える画像処理ユニット１１０に対して座標変換部１６０が変換した変換後の座標を、出力切替部１６３が選択した出力先に出力し、ＰＣ１３または画像処理ユニット１１０が、ポインター１２Ａ、メニューバー１２Ｂ等を描画する構成を例に挙げて説明したが、本発明はこれに限定されるものではなく、プロジェクター１１内に、ポインター１２Ａやメニューバー１２Ｂ等、画像データに重畳して描画する画像を生成する画像処理ユニット１２０を設け、出力切替部１６３が画像処理ユニット１２０に座標を出力可能な構成としてもよい。
【０１０９】
図１６に示すプロジェクター５１は、実施形態のプロジェクター１１と同様の各機能部を有するとともに、指示体１２の指示位置に対応してポインター１２Ａ、メニューバー１２Ｂ等を描画する画像処理ユニット１２０を備えている。画像処理ユニット１２０は、座標変換部１６０から入力された座標に従って、画像データに重畳する画像を生成する画像処理部１２２と、画像処理部１２２が画像を生成する際にデータを展開するフレームメモリー１２４とを備えている。
座標変換部１６０が、変換後の座標データを画像処理ユニット１２０に出力すると、画像処理ユニット１２０は、画像処理部１２２によってポインター１２Ａやメニューバー１２Ｂの画像を描画し、表示制御部１０７が展開している画像と同じ解像度の画像を生成して、画像処理部１１３に出力する。ここで画像処理部１２２が出力する画像は、ポインター１２Ａまたはメニューバー１２Ｂ等の画像を含む。画像処理部１１３は、画像処理部１２２から入力された画像を、フレームメモリー１１５に展開した画像と合成する。これにより、画像処理ユニット１１０は、速やかにポインター１２Ａやメニューバー１２Ｂを入力画像に重畳して表示できる。
【０１１０】
この構成では、例えば、設定データ１０５Ｂ（図１０）の設定により、座標の出力先として画像処理ユニットが設定されている場合に、画像処理ユニット１１０及び画像処理ユニット１２０の両方に座標を出力するよう設定してもよい。また、座標変換部１６０から画像処理ユニット１１０に座標を出力し、この座標が画像処理ユニット１１０から画像処理ユニット１２０に出力されるように、設定データ１０５Ｂに設定してもよい。或いは、指示体１２の指示位置に基づくポインター１２Ａ、メニューバー１２Ｂ、描画図形１２Ｃ及び軌跡１２Ｄの描画を画像処理ユニット１２０のみが行う構成とした場合に、座標変換部１６０から画像処理ユニット１２０のみに座標を出力するよう設定データ１０５Ｂに設定してもよい。また、設定データ１０５Ｂに設定された出力先が「画像処理ユニット」となっている場合に、出力制御部１０１が、画像処理ユニット１２０のみに座標を出力する処理を行ってもよい。さらに、多画面表示機能の実行中は、出力切替部１６３の座標の出力先を、画像処理ユニット１１０、１２０の両方または画像処理ユニット１２０にすることも可能である。
【０１１１】
また、上記実施形態の構成では、座標算出部１５９により算出された指示位置の座標が、画像データが表示された領域に含まれない場合に、座標変換部１６０が変換後の座標を出力しない構成を例に挙げて説明したが、本発明はこれに限定されない。例えば、プロジェクター１１が外部から入力される信号の種別を判別しているとき、プロジェクター１１が投射している画像を一時停止しているとき、又はプロジェクター１１が画像の投射を中断しているとき等に、座標変換部１６０が変換後の座標を出力しない構成としても良い。なお、プロジェクター１１は、プロジェクター１１の前面に設けられたシャッター等の可動な遮蔽部（不図示）によって投射光学系３３が遮られたときや、操作パネル４１やリモコン等の操作部を介して画像の投射を中断する旨の指示を受けた場合等に、制御部１０３の制御により、画像の投射を中断することができる。
【０１１２】
また、上記実施形態の構成において、位置検出ユニット１５０が有する撮像部１５３及び撮影制御部１５５を、プロジェクター１１に外部接続されたデジタルカメラにより代替することも可能である。この場合のデジタルカメラは、制御部１０３の制御により撮影を実行して撮影画像データを位置検出処理部１５７に出力するものであればよい。また、このデジタルカメラとプロジェクター１１とを接続するインターフェイスとしてはＵＳＢ等の汎用インターフェイスを利用できるので、容易に実現可能である。
【０１１３】
さらに、上記実施形態では、ＰＣ１３とプロジェクター１１とがケーブル等により有線接続される構成を例に挙げて説明したが、プロジェクター１１とＰＣ１３との接続形態は任意である。例えば、プロジェクター１１とＰＣ１３とが無線ＬＡＮ等の近距離無線通信により相互に接続され、画像データや座標データを無線通信回線を介して送受信する構成としてもよい。
また、上記実施形態の構成において、指示体１２は、棒状のものやペン型のものに限定されず、例えばユーザーの指を指示体１２として、その指示位置を検出する構成とすることも可能である。
さらに、上記実施形態の構成では、位置検出ユニット１５０が撮影画像データに基づいて指示体１２による指示位置を検出する構成を例に挙げて説明したが、本発明はこれに限定されず、例えば、表示面としてのスクリーンＳＣ或いは他の表示方式における表示画面に、感圧式や静電容量式のタッチパネルを設け、このタッチパネルによって指示体１２としてのユーザーの指や棒体等の接触を検出する構成としてもよい。
【０１１４】
また、上記実施形態では、光源が発した光を変調する手段として、光変調装置３２がＲＧＢの各色に対応した３枚の透過型または反射型の液晶パネルを用いた構成を例に挙げて説明したが、本発明はこれに限定されるものではなく、例えば、１枚の液晶パネルとカラーホイールを組み合わせた方式、３枚のデジタルミラーデバイス（ＤＭＤ）を用いた方式、１枚のデジタルミラーデバイスとカラーホイールを組み合わせたＤＭＤ方式等により構成してもよい。ここで、表示部として１枚のみの液晶パネルまたはＤＭＤを用いる場合には、クロスダイクロイックプリズム等の合成光学系に相当する部材は不要である。また、液晶パネル及びＤＭＤ以外にも、光源が発した光を変調可能な構成であれば問題なく採用できる。
【０１１５】
また、本発明の表示装置は、スクリーンＳＣに画像を投射するプロジェクターに限定されず、液晶表示パネルに画像／画像を表示する液晶モニターまたは液晶テレビ、或いは、ＰＤＰ（プラズマディスプレイパネル）に画像／画像を表示するモニター装置またはテレビ受像機、ＯＬＥＤ（Organic light-emitting diode）、ＯＥＬ（Organic Electro-Luminescence）等と呼ばれる有機ＥＬ表示パネルに画像／画像を表示するモニター装置またはテレビ受像機等の自発光型の表示装置など、各種の表示装置も本発明の画像表示装置に含まれる。この場合、液晶表示パネル、プラズマディスプレイパネル、有機ＥＬ表示パネルが表示手段に相当し、その表示画面が表示面に相当する。より詳細には、画像を表示可能な領域全体が投射可能領域１１Ａに相当し、常に投射可能領域１１Ａの全体に画面を表示する場合には、投射可能領域１１Ａと実投射領域１１Ｂとが等しい場合に相当する。
【０１１６】
また、図２、図１６に示したプロジェクター１１、５１の各機能部、及び、図３に示したＰＣ１３の各機能部は、ハードウェアとソフトウェアとの協働により実現される機能的構成を示すものであって、具体的な実装形態は特に制限されない。従って、必ずしも各機能部に個別に対応するハードウェアが実装される必要はなく、一つのプロセッサーがプログラムを実行することで複数の機能部の機能を実現する構成とすることも勿論可能である。また、上記実施形態においてソフトウェアで実現されている機能の一部をハードウェアで実現してもよく、あるいは、ハードウェアで実現されている機能の一部をソフトウェアで実現してもよい。その他、プロジェクター１１及びＰＣ１３を含む表示システム１０の他の各部の具体的な細部構成についても、本発明の趣旨を逸脱しない範囲で任意に変更可能である。
また、上記実施形態において記憶部１０５が記憶していた制御プログラム１０５Ａを、プロジェクター１１が通信ネットワークを介して接続された他の装置からダウンロードして実行しても良いし、可搬型の記録媒体に制御プログラム１０５Ａを記録して、この記録媒体から上記各プログラムを読み取って実行する構成としても良い。ＰＣ１３が記憶していた表示制御プログラム１３Ａについても同様に、ＰＣ１３が他の装置から表示制御プログラム１３Ａをダウンロードして実行しても良いし、可搬型の記録媒体に記録された表示制御プログラム１３ＡをＰＣ１３が読み取って実行する構成としても良い。
さらに、ＰＪインタラクティブモードとＰＣインタラクティブモードとの切り替えは、操作パネル４１やリモコン等の操作を契機として実行されてもよいが、例えばメニューバー１２ＢにＰＪインタラクティブモードとＰＣインタラクティブモードとを切り替えるためのボタンを設けて、このボタンをユーザーが指示体１２により操作し、この操作をプロジェクター１１が検出したときに、これを契機として動作モードを切り替えても良い。この場合に、ＰＪインタラクティブモードからＰＣインタラクティブモードモードへ、或いはその逆の動作モードの切り替えに連動して、座標情報の出力先を切り替えても良い。
【符号の説明】
【０１１７】
３…投射ユニット（表示手段）、１０…表示システム、１１、５１…プロジェクター（表示装置）、１１Ａ…投射領域、１１Ｂ…実投射領域、１１Ｃ…非表示領域、１２…指示体、１３…ＰＣ（処理手段）、１３Ａ…表示制御プログラム、１８Ａ〜１８Ｄ、１８Ｅ、１８Ｇ、１８Ｈ…領域、１８Ｆ…非表示領域、３０…投射部（投射手段）、３１…照明光学系（光源）、３２…光変調装置（光変調手段）、１０１…出力制御部（出力制御手段、ソース判別手段）、１０２…外部Ｉ／Ｆ（画像入力手段）、１０３…制御部（表示停止制御手段、設定手段）、１０５Ａ…制御プログラム、１０７…表示制御部（設定画面表示手段）、１１０、１２０…画像処理ユニット（処理手段、表示制御手段）、１５０…位置検出ユニット（位置検出手段）、１６０…座標変換部（位置情報生成手段）、ＳＣ…スクリーン（表示面）。
【特許請求の範囲】
【請求項１】
画像ソースから入力される入力画像を表示面に表示する表示手段と、
前記表示面における指示位置を検出する位置検出手段と、
前記位置検出手段により検出された指示位置を示す位置情報を生成する位置情報生成手段と、
前記位置情報生成手段により生成された位置情報に基づいて処理を実行する処理手段と、
前記位置情報生成手段により生成された位置情報の、前記処理手段に対する出力を制御する出力制御手段と、
を備えることを特徴とする表示装置。
【請求項２】
外部の装置に接続可能に構成され、前記出力制御手段は、前記位置情報生成手段により生成された位置情報の、前記処理手段又は前記外部の装置に対する出力を制御することを特徴とする請求項１記載の表示装置。
【請求項３】
前記外部の装置を含む複数の前記画像ソースから入力画像を入力可能な画像入力手段と、
前記画像入力手段に入力される入力画像のいずれか一以上の入力画像を前記表示手段により表示させる表示制御手段と、
前記表示制御手段により表示中の入力画像を入力する前記画像ソースの種類を判別するソース判別手段とを備え、
前記出力制御手段は、前記ソース判別手段により判別された前記画像ソースの種類に基づいて、当該画像ソース及び前記処理手段に対する前記位置情報生成手段により生成された位置情報の出力を制御することを特徴とする請求項２記載の表示装置。
【請求項４】
前記表示制御手段は、前記表示手段によって、前記画像入力手段に複数の前記画像ソースから入力される複数の前記入力画像を、前記表示面に設けられた複数の領域のそれぞれに表示させ、
前記出力制御手段は、前記位置検出手段により検出された指示位置がどの前記領域に属するかを判定し、指示位置が属する前記領域に表示されている前記入力画像の前記画像ソースの種類に応じて、当該画像ソース及び前記処理手段に対する前記位置情報生成手段により生成された位置情報の出力を制御することを特徴とする請求項３記載の表示装置。
【請求項５】
前記出力制御手段は、前記位置検出手段により検出された指示位置が、前記表示面に表示された複数の前記入力画像のうち特定の前記入力画像が表示された領域に含まれない場合に、前記位置情報生成手段により生成された前記位置情報の出力を停止し、或いは、前記位置情報を出力する出力先を変更することを特徴とする請求項４記載の表示装置。
【請求項６】
前記表示手段による表示を停止させる表示停止制御手段をさらに備え、
前記出力制御手段は、前記表示停止制御手段により前記表示手段による表示が停止されている間は、前記位置情報生成手段により生成された位置情報の出力を停止することを特徴とする請求項１から５のいずれかに記載の表示装置。
【請求項７】
前記処理手段は、前記位置情報生成手段により生成された位置情報をもとに、前記表示面に表示される画像の少なくとも一部を描画する描画処理、前記表示面に前記位置情報に対応するポインターを表示する処理、及び、当該処理手段の機能に対応づけられた操作画像が前記表示面に表示された状態で、前記位置情報に基づいて選択される前記操作画像に対応する動作を実行するＧＵＩ処理の少なくともいずれかを実行することを特徴とする請求項１から６のいずれかに記載の表示装置。
【請求項８】
前記位置情報生成手段により生成された位置情報の出力先を設定する設定画面を前記表示手段により表示させる設定画面表示手段と、
前記設定画面表示手段により前記設定画面が表示された状態で、前記位置検出手段により検出された指示位置に基づいて出力先の設定を行う設定手段と、を備え、
前記出力制御手段は、前記設定手段により設定された出力先に、前記位置情報生成手段が生成した前記位置情報を出力することを特徴とする請求項１から７のいずれかに記載の表示装置。
【請求項９】
前記表示手段として、光源と、前記光源が発した光を前記入力画像に基づいて変調する光変調手段と、前記光変調手段により変調された光を前記表示面に投射する投射手段とを備えるプロジェクターであることを特徴とする請求項１から８のいずれかに記載の表示装置。
【請求項１０】
画像ソースから入力される入力画像を表示面に表示する表示装置を制御する表示装置の制御方法であって、
前記表示面における指示位置を検出し、
検出した指示位置を示す位置情報を生成し、
前記位置情報に基づいて処理を実行する処理手段に対する前記位置情報の出力を制御すること、
を特徴とする表示装置の制御方法。
【請求項１１】
画像ソースから入力される入力画像を表示面に表示する表示装置を制御するコンピューターが実行可能なプログラムであって、
前記コンピューターを、
前記表示面における指示位置を検出する位置検出手段と、
前記位置検出手段により検出された指示位置を示す位置情報を生成する位置情報生成手段と、
前記位置情報生成手段により生成された位置情報に基づいて処理を実行する処理手段と、
前記位置情報生成手段により生成された位置情報の、前記処理手段に対する出力を制御する出力制御手段と、
して機能させるためのプログラム。
【請求項１】
画像ソースから入力される入力画像を表示面に表示する表示手段と、
前記表示面における指示位置を検出する位置検出手段と、
前記位置検出手段により検出された指示位置を示す位置情報を生成する位置情報生成手段と、
前記位置情報生成手段により生成された位置情報に基づいて処理を実行する処理手段と、
前記位置情報生成手段により生成された位置情報の、前記処理手段に対する出力を制御する出力制御手段と、
を備えることを特徴とする表示装置。
【請求項２】
外部の装置に接続可能に構成され、前記出力制御手段は、前記位置情報生成手段により生成された位置情報の、前記処理手段又は前記外部の装置に対する出力を制御することを特徴とする請求項１記載の表示装置。
【請求項３】
前記外部の装置を含む複数の前記画像ソースから入力画像を入力可能な画像入力手段と、
前記画像入力手段に入力される入力画像のいずれか一以上の入力画像を前記表示手段により表示させる表示制御手段と、
前記表示制御手段により表示中の入力画像を入力する前記画像ソースの種類を判別するソース判別手段とを備え、
前記出力制御手段は、前記ソース判別手段により判別された前記画像ソースの種類に基づいて、当該画像ソース及び前記処理手段に対する前記位置情報生成手段により生成された位置情報の出力を制御することを特徴とする請求項２記載の表示装置。
【請求項４】
前記表示制御手段は、前記表示手段によって、前記画像入力手段に複数の前記画像ソースから入力される複数の前記入力画像を、前記表示面に設けられた複数の領域のそれぞれに表示させ、
前記出力制御手段は、前記位置検出手段により検出された指示位置がどの前記領域に属するかを判定し、指示位置が属する前記領域に表示されている前記入力画像の前記画像ソースの種類に応じて、当該画像ソース及び前記処理手段に対する前記位置情報生成手段により生成された位置情報の出力を制御することを特徴とする請求項３記載の表示装置。
【請求項５】
前記出力制御手段は、前記位置検出手段により検出された指示位置が、前記表示面に表示された複数の前記入力画像のうち特定の前記入力画像が表示された領域に含まれない場合に、前記位置情報生成手段により生成された前記位置情報の出力を停止し、或いは、前記位置情報を出力する出力先を変更することを特徴とする請求項４記載の表示装置。
【請求項６】
前記表示手段による表示を停止させる表示停止制御手段をさらに備え、
前記出力制御手段は、前記表示停止制御手段により前記表示手段による表示が停止されている間は、前記位置情報生成手段により生成された位置情報の出力を停止することを特徴とする請求項１から５のいずれかに記載の表示装置。
【請求項７】
前記処理手段は、前記位置情報生成手段により生成された位置情報をもとに、前記表示面に表示される画像の少なくとも一部を描画する描画処理、前記表示面に前記位置情報に対応するポインターを表示する処理、及び、当該処理手段の機能に対応づけられた操作画像が前記表示面に表示された状態で、前記位置情報に基づいて選択される前記操作画像に対応する動作を実行するＧＵＩ処理の少なくともいずれかを実行することを特徴とする請求項１から６のいずれかに記載の表示装置。
【請求項８】
前記位置情報生成手段により生成された位置情報の出力先を設定する設定画面を前記表示手段により表示させる設定画面表示手段と、
前記設定画面表示手段により前記設定画面が表示された状態で、前記位置検出手段により検出された指示位置に基づいて出力先の設定を行う設定手段と、を備え、
前記出力制御手段は、前記設定手段により設定された出力先に、前記位置情報生成手段が生成した前記位置情報を出力することを特徴とする請求項１から７のいずれかに記載の表示装置。
【請求項９】
前記表示手段として、光源と、前記光源が発した光を前記入力画像に基づいて変調する光変調手段と、前記光変調手段により変調された光を前記表示面に投射する投射手段とを備えるプロジェクターであることを特徴とする請求項１から８のいずれかに記載の表示装置。
【請求項１０】
画像ソースから入力される入力画像を表示面に表示する表示装置を制御する表示装置の制御方法であって、
前記表示面における指示位置を検出し、
検出した指示位置を示す位置情報を生成し、
前記位置情報に基づいて処理を実行する処理手段に対する前記位置情報の出力を制御すること、
を特徴とする表示装置の制御方法。
【請求項１１】
画像ソースから入力される入力画像を表示面に表示する表示装置を制御するコンピューターが実行可能なプログラムであって、
前記コンピューターを、
前記表示面における指示位置を検出する位置検出手段と、
前記位置検出手段により検出された指示位置を示す位置情報を生成する位置情報生成手段と、
前記位置情報生成手段により生成された位置情報に基づいて処理を実行する処理手段と、
前記位置情報生成手段により生成された位置情報の、前記処理手段に対する出力を制御する出力制御手段と、
して機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１３−８８８４０（Ｐ２０１３−８８８４０Ａ）
【公開日】平成２５年５月１３日（２０１３．５．１３）
【国際特許分類】
【出願番号】特願２０１１−２２５６０２（Ｐ２０１１−２２５６０２）
【出願日】平成２３年１０月１３日（２０１１．１０．１３）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
【公開日】平成２５年５月１３日（２０１３．５．１３）
【国際特許分類】
【出願日】平成２３年１０月１３日（２０１１．１０．１３）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
[ Back to top ]