説明

表示装置、プロジェクター、及び、表示方法

【課題】表示されている画像に対する指示位置を検出する場合に、キャリブレーションの実行頻度を減らすことが可能な表示装置、プロジェクター、及び表示方法を提供する。
【解決手段】プロジェクター11は、画像データに基づき、スクリーンSCに表示画像を表示する投射ユニット3と、スクリーンSCにおける、表示画像に対する指示位置を検出する位置検出部151と、スクリーンSC内の実投射領域11Bにおける指示位置の座標である第1の座標を算出する座標算出部159と、座標算出部159により算出された第1の座標を、画像データにおける座標である第2の座標に変換する座標変換部160と、座標変換部160により得られた第2の座標を出力する出力部101とを備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、指示された位置の情報を出力する表示装置、プロジェクター、及び、表示方法に関する。
【背景技術】
【0002】
従来、プロジェクター等の表示装置が表示する画像の特定の位置が指示された場合に、指示位置を検出し、検出した位置に対応するようにポインター等を表示する装置が知られている(例えば、特許文献1参照)。この種の装置は、指示された位置とポインター等の表示位置とを一致させるためにキャリブレーションを行う必要がある。一般的には、表示する画像の表示位置が変わるなど、表示の条件が変化する毎にキャリブレーションをやり直す必要があり、手間がかかっていた。そこで、特許文献1記載の装置は、表示位置が変化した場合に、変化の前後の位置関係を示す位置変更データを利用することで、キャリブレーションを省略している。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特許第4272904号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1記載の装置は、表示の条件が変化した場合に、変化の前後の関係を示すデータを必要とする。表示装置における表示の条件の変更は多岐にわたるため、予め、変化の前後の関係を示すデータを用意しておくことは容易でない。このため、特許文献1記載の装置では、表示の条件が変わる毎に、この変化の前後の関係を示すデータを算出していたが、データを算出する処理が複雑なために負荷が大きく、高度な演算処理能力が要求されるという問題があった。
本発明は、上述した事情に鑑みてなされたものであり、表示されている画像に対する指示位置を検出する場合に、キャリブレーションの実行頻度を減らすことが可能な表示装置、プロジェクター、及び表示方法を提供することを目的とする。
【課題を解決するための手段】
【0005】
上記課題を解決するため、本発明は、画像データに基づき、表示面に表示画像を表示する表示手段と、前記表示面における、前記表示画像に対する指示位置を検出する位置検出手段と、前記表示面内の表示可能領域における前記指示位置の座標である第1の座標を算出する座標算出手段と、前記座標算出手段により算出された前記第1の座標を、前記画像データにおける座標である第2の座標に変換する座標変換手段と、前記座標変換手段により得られた前記第2の座標を出力する出力手段とを備えることを特徴とする。
本発明によれば、画像データに基づいて表示面に表示された表示画像に対する指示位置の座標を、画像データにおける座標として出力するので、出力された座標を利用する機器においては、表示解像度や表示領域の広さ等の表示態様に影響されずに、指示位置と画像データとの相対位置を特定できる。画像データにおける指示位置の座標を得る過程で、画像データ自体と指示位置とを直接対応づける必要がないため、画像データのサイズ等が変化してもキャリブレーションを行う必要がない。従って、キャリブレーションの実行頻度を減らすことができる。
【0006】
また、本発明は、上記表示装置において、前記座標変換手段は、前記座標算出手段により算出された前記第1の座標を、前記表示可能領域に対する前記表示画像の位置を示す情報である画像位置情報に基づいて、前記第2の座標に変換することを特徴とする。
本発明によれば、表示可能領域に対する表示画像の位置を示す情報である画像位置情報が変化しても、指示位置の座標を正確に変換して出力できる。
【0007】
また、本発明は、上記表示装置において、前記座標変換手段は、前記座標算出手段により算出された前記第1の座標を、前記画像データの解像度に基づいて前記第2の座標に変換することを特徴とする。
本発明によれば、画像データの解像度が変化しても指示位置の座標を正確に変換して出力できる。
【0008】
また、本発明は、上記表示装置において、前記位置検出手段は、撮像手段により前記表示面の指示体の位置を検出することにより、前記表示可能領域における前記指示位置を検出することを特徴とする。
本発明によれば、表示面を撮影した撮影画像に基づいて指示位置を速やかに検出できる。
【0009】
また、本発明は、上記表示装置において、前記座標変換手段は、前記指示位置が前記表示画像に含まれない場合に、前記画像データにおいて前記指示位置に近い位置の座標を、変換後の座標とすることを特徴とする。
本発明によれば、表示画像が表示されていない位置が指示された場合であっても、指示位置の座標を出力することが可能である。また、出力される座標は指示位置に近い位置の座標であるため、指示位置の座標と同様に処理することができる。
【0010】
また、本発明は、上記表示装置において、前記座標変換手段は、前記指示位置が前記表示画像に含まれない場合に、変換後の座標を出力しないことを特徴とする。
本発明によれば、表示画像が表示された領域が指示された場合のみ指示位置に対応する座標を出力するので、画像に重なる位置への指示のみに対応した動作を行うことができる。
【0011】
また、本発明は、上記表示装置において、前記画像データに対して画像処理が実行されることにより、前記表示面における前記表示画像の表示態様が変更された場合に、前記座標変換手段は、前記表示態様に応じて変化した前記画像位置情報に基づいて、前記第1の座標を前記第2の座標に変換することを特徴とする。
本発明によれば、表示画像の表示態様の変化に伴って常に適正な座標を出力できる。
【0012】
また、上記課題を解決するため、本発明は、光源が発した光を変調する光変調手段と、画像データに基づいて前記光変調手段の描画領域に表示画像を形成する画像形成手段と、前記画像形成手段により形成された表示画像を投射面に投射する投射手段と、前記投射面における、前記表示画像に対する指示位置を検出する位置検出手段と、前記投射面の投射領域における前記指示位置の座標である第1の座標を算出する座標算出手段と、前記座標算出手段により算出された前記第1の座標を、前記画像データにおける座標である第2の座標に変換する座標変換手段と、前記座標変換手段により得られた前記第2の座標を出力する出力手段とを備えることを特徴とする。
本発明のプロジェクターによれば、画像データに基づいて投射面に投射した表示画像に対する指示位置の座標を、画像データにおける座標として出力するので、出力された座標を利用する機器においては、表示解像度や表示領域の広さ等の表示態様に影響されずに、指示位置と画像データとの相対位置を特定できる。画像データにおける指示位置の座標を得る過程で、画像データ自体と指示位置とを直接対応づける必要がないため、画像データのサイズ等が変化してもキャリブレーションを行う必要がない。従って、キャリブレーションの実行頻度を減らすことができる。
【0013】
また、上記課題を解決するため、本発明は、画像データに基づいて表示面に表示画像を表示し、表示された前記表示画像に対する指示位置を検出し、前記表示面内の表示可能領域における前記指示位置の座標である第1の座標を算出し、算出した前記第1の座標を、前記画像データにおける座標である第2の座標に変換し、この変換により得られた前記第2の座標を出力することを特徴とする。
本発明によれば、画像データに基づいて表示面に表示された表示画像に対する指示位置の座標を、画像データにおける座標として出力するので、出力された座標を利用する機器においては、表示解像度や表示領域の広さ等の表示態様に影響されずに、指示位置と画像データとの相対位置を特定できる。画像データにおける指示位置の座標を得る過程で、画像データ自体と指示位置とを直接対応づける必要がないため、画像データのサイズ等が変化してもキャリブレーションを行う必要がない。従って、キャリブレーションの実行頻度を減らすことができる。
【0014】
また、本発明は、画像データに基づき表示面に表示画像を表示する表示装置を制御するコンピューターが実行可能なプログラムであって、前記コンピューターを、前記表示面における、前記表示画像に対する指示位置を検出する位置検出手段と、前記表示面内の表示可能領域における前記指示位置の座標である第1の座標を算出する座標算出手段と、前記座標算出手段により算出された前記第1の座標を、前記画像データにおける座標である第2の座標に変換する座標変換手段と、前記座標変換手段により得られた前記第2の座標を出力する出力手段として機能させるプログラムとして実現できる。
また、上記プログラムを、コンピューターが読み取り可能に記録した記録媒体として実現することも可能である。
【発明の効果】
【0015】
本発明によれば、表示面に表示された表示画像に対する指示位置の座標を、画像データ自体と指示位置とを直接対応づけることなく、画像データにおける座標として出力でき、キャリブレーションの実行頻度を減らすことができる。
【図面の簡単な説明】
【0016】
【図1】本発明の実施形態に係る表示システムの構成を示す図である。
【図2】プロジェクターの機能的構成を示すブロック図である。
【図3】PCの機能的構成を示すブロック図である。
【図4】スクリーンに画像を投射した例を示す図であり、(A)は指示位置に従ってポインターを投射した状態を示し、(B)は指示位置に従って描画を行った例を示す。
【図5】座標を検出及び変換する処理の様子を示す説明図である。
【図6】座標を検出及び変換する処理の様子を示す説明図である。
【図7】画像の投射状態の変化と座標を変換する処理の様子を示す説明図である。
【図8】画像の投射状態の変化と座標を変換する処理の様子を示す説明図である。
【図9】プロジェクターの動作を示すフローチャートである。
【図10】変形例としてのプロジェクターの機能的構成を示すブロック図である。
【発明を実施するための形態】
【0017】
以下、図面を参照して本発明を適用した実施形態について説明する。
図1は、実施形態に係るプロジェクター11を用いた表示システム10の構成を示す図である。図中の一部を円内に拡大して示す。
表示装置としてのプロジェクター11は、画像供給装置としてのPC(Personal Computer)13に画像信号ケーブル等により有線接続されている。プロジェクター11にはPC13から画像データが入力され、プロジェクター11は入力された画像データに基づいて、投射面(表示面)としてのスクリーンSCに表示画像を投射する。また、プロジェクター11は通信ケーブル等によりPC13に接続され、PC13との間で制御データ等を送受信する。プロジェクター11は、PC13から入力された画像データが静止画像であっても動画像であっても投射できる。スクリーンSCは、壁面に固定された平板に限らず、壁面自体をスクリーンSCとして使用することも可能である。ここで、プロジェクター11上で画像が投射される範囲を実投射領域11B(表示可能領域)とする。
【0018】
表示システム10では、プロジェクター11による画像の投射中、ユーザーが指示体12を手に持って、スクリーンSCの実投射領域11Bにおける位置指示操作を実行できる。指示体12は、ペン型や棒形状の操作デバイスであって、スクリーンSCの上の任意の位置を指し示すために用いられる。プロジェクター11は、後述するように指示体12の先端位置を検出する機能を有し、検出した指示位置の座標を示す制御データをPC13に出力する。
【0019】
図2は、プロジェクター11の機能的構成を示すブロック図である。
プロジェクター11は、大別して、PC13から入力される画像データに基づいて表示用の画像処理を実行する画像処理ユニット110と、画像処理ユニット110の制御に従ってスクリーンSCに画像を投射する投射ユニット3(表示手段)と、スクリーンSC上の指示体12の指示位置を検出する位置検出ユニット150と、位置検出ユニット150が検出した指示位置の座標を、画像データにおける座標に変換する座標変換部160と、座標変換部160が変換した変換後の座標をPC13に出力する出力部101(出力手段)と、これらの各部を制御する制御部103と、を備えている。
制御部103は、図示しないCPU、不揮発性メモリー、RAM等により構成され、制御部103に接続された記憶部105に記憶されている制御プログラム105Aを読み出して実行し、プロジェクター11の各部を制御する。また、記憶部105に記憶された制御プログラム105Aを実行することで、制御部103はキャリブレーション実行部103Aとして機能する。キャリブレーション実行部103Aは、後述するキャリブレーションを実行して、撮影画像データにおける座標と、キャリブレーションの対象となるスクリーンSC上の領域における座標との対応関係(座標変換パラメーター)を求める。記憶部105は、磁気的、光学的記録装置または半導体記憶素子により構成され、制御プログラム105Aを含む各種プログラム、及び、各種設定値等のデータを記憶する。
【0020】
制御部103には操作パネル41及びリモコン受光部45が接続されている。
操作パネル41は、各種スイッチ及びインジケーターランプを備え、プロジェクター11の外装筐体(図示略)に配置されている。制御部103は、プロジェクター11の動作状態や設定状態に応じて操作パネル41のインジケーターランプを適宜点灯或いは点滅させる。また、操作パネル41のスイッチが操作されると、操作されたスイッチに対応する操作信号が制御部103に出力される。
また、プロジェクター11は、プロジェクター11を操作する操作者としてのユーザーが使用するリモコン(図示略)がボタン操作に対応して送信した赤外線信号を、リモコン受光部45によって受光する。リモコン受光部45は、上記リモコンから受光した赤外線信号を受光素子により受光し、この信号に対応する操作信号を制御部103に出力する。操作パネル41やリモコン等は、プロジェクター11に対する操作をユーザーが入力するための操作部である。なお、プロジェクター11に対する操作を表す操作信号をPC13からプロジェクター11に送信し、この操作信号に基づいてプロジェクター11を制御することもできる。この場合は、PC13も、プロジェクター11に対する操作をユーザーが入力するための操作部として機能する。
制御部103は、操作パネル41またはリモコン受光部45から入力される操作信号に基づいて、ユーザーの操作を検出し、この操作に従ってプロジェクター11を制御する。
【0021】
プロジェクター11は、大きく分けて光学的な画像の形成を行う光学系と画像信号を電気的に処理する画像処理系とからなる。光学系は、照明光学系31、光変調装置32(光変調手段)、及び投射光学系33から構成される投射部30(投射手段)である。照明光学系31は、キセノンランプ、超高圧水銀ランプ、LED(Light Emitting Diode)等からなる光源を備えている。また、照明光学系31は、光源が発した光を光変調装置32に導くリフレクター及び補助リフレクターを備えていてもよく、投射光の光学特性を高めるためのレンズ群(図示略)、偏光板、或いは光源が発した光の光量を光変調装置32に至る経路上で低減させる調光素子等を備えたものであってもよい。
光変調装置32は、後述する画像処理系からの信号を受けて、照明光学系31からの光を変調する。本実施形態では、透過型液晶パネルを用いて光変調装置32を構成した場合を例に挙げて説明する。この構成では、光変調装置32は、カラーの投影を行うため、RGBの三原色に対応した3枚の液晶パネルからなる。照明光学系31からの光はRGBの3色の色光に分離され、各色光は対応する各液晶パネルに入射する。各液晶パネルを通過して変調された色光はクロスダイクロイックプリズム等の合成光学系によって合成され、投射光学系33に射出される。
【0022】
投射光学系33は、投射する画像の拡大・縮小および焦点の調整を行うズームレンズ、ズームの度合いを調整するズーム調整用モーター、フォーカスの調整を行うフォーカス調整用モーター等を備えている。
投射ユニット3は、投射部30とともに、表示制御部107の制御に従って投射光学系33が備える各モーターを駆動する投射光学系駆動部121、表示制御部107から出力される画像信号に基づいて光変調装置32を駆動して描画を行う光変調装置駆動部119、及び、制御部103の制御に従って照明光学系31が備える光源を駆動する光源駆動部117を備えている。
【0023】
一方、画像処理系は、プロジェクター11全体を統合的に制御する制御部103の制御に従って画像データを処理する画像処理ユニット110により構成される。画像処理ユニット110は、PC13に接続される画像入力部104を備えている。画像入力部104は、画像データを入力するインターフェイスであり、例えば、デジタル映像信号が入力されるDVI(Digital Visual Interface)インターフェイス、USBインターフェイス及びLANインターフェイスや、NTSC、PAL及びSECAM等のコンポジット映像信号が入力されるS映像端子、コンポジット映像信号が入力されるRCA端子、コンポーネント映像信号が入力されるD端子、HDMI(登録商標)規格に準拠したHDMIコネクター等の汎用インターフェイスを用いることができる。また、画像入力部104が、アナログ映像信号をデジタル画像データに変換するA/D変換回路を有し、VGA端子等のアナログ映像端子によりPC13に接続される構成としてもよい。なお、画像入力部104は有線通信によって画像信号の送受信を行っても良く、無線通信によって画像信号の送受信を行っても良い。
また、画像入力部104に、VESA(Video Electronics Standards Association)が策定したDisplayPortを備えた構成としてもよく、具体的にはDisplayPortコネクター或いはMini Displayportコネクターと、Displayport規格に準拠したインターフェイス回路とを備えた構成としてもよい。この場合、プロジェクター11は、PC13や、PC13と同等の機能を有する携帯型デバイスが備えるDisplayPortに接続することができる。
また、画像処理ユニット110(画像形成手段)は、画像入力部104を介して入力された画像データを処理する表示制御部107、表示制御部107の制御に従って画像をフレームメモリー115に展開し、投射部30が投射する画像を生成する画像処理部113を備えている。
【0024】
表示制御部107は、画像入力部104を介して入力される画像データのフォーマット(フレームレート、解像度、圧縮状態)の判別等を行い、光変調装置32に表示画像を表示するために必要な処理を決定し、画像処理部113を制御して当該処理を実行する。画像処理部113は、表示制御部107の制御に従って、画像入力部104を介して入力された画像データをフレームメモリー115に展開し、インターレース/プログレッシブ変換、解像度変換等の各種変換処理を適宜実行し、フレームメモリー115に描画した表示画像を表示するための所定フォーマットの画像信号を生成して、表示制御部107に出力する。なお、プロジェクター1は、入力された画像データの解像度やアスペクト比を変更して表示することもでき、入力された画像データの解像度やアスペクト比を維持したままドットバイドットで表示することも可能である。また、画像処理部113は、表示制御部107の制御に従って、キーストーン補正、カラーモードに対応した色調補正、画像の拡大/縮小処理等の各種の画像処理を実行可能である。表示制御部107は、画像処理部113により処理された画像信号を光変調装置駆動部119に出力し、光変調装置32に表示させる。また、画像処理部113は、表示中の画像データの解像度、アスペクト比、光変調装置32の液晶表示パネルにおける表示サイズ等の情報から、後述する画像位置情報を導出し、求めた画像位置情報を座標変換部160に出力する。
【0025】
制御部103は、制御プログラム105Aを実行して表示制御部107を制御し、スクリーンSC上に結像した表示画像のキーストーン補正を実行させる。また、制御部103は、操作パネル41またはリモコン受光部45から入力された操作信号に基づいて、表示制御部107を制御して表示画像の拡大/縮小処理を実行させる。
【0026】
プロジェクター11は、スクリーンSC上で指示体12により指示された指示位置の座標を検出する位置検出ユニット150を有する。位置検出ユニット150は、スクリーンSCを撮影する撮像部153、撮像部153を制御する撮影制御部155、及び、撮像部153の撮影画像に基づいて指示体12の指示位置を検出する位置検出処理部157を有する位置検出部151(位置検出手段)と、この位置検出部151が検出した指示位置の座標を算出する座標算出部159(座標算出手段)とを備えている。
【0027】
撮像部153は、スクリーンSC上で投射部30が画像を投射可能な最大範囲(後述する投射可能領域11Aに相当)を含む画角を撮影するデジタルカメラであり、撮影制御部155の制御に従って撮影を実行し、撮影画像データを出力する。撮影制御部155は、制御部103の制御にしたがって、撮像部153を制御して撮影を実行させる。撮像部153が撮影時のズーム倍率、フォーカス、絞りの調整を行う機構を有する場合、撮影制御部155は、これらの機構を制御して予め設定された条件で撮影を実行させる。撮影後、撮影制御部155は撮像部153が出力する撮影画像データを取得して、位置検出処理部157に出力する。撮像部153から出力される撮影画像データは、RGBやYUV等の形式で表されるものであっても良く、輝度成分のみを表すものであっても良い。また撮影制御部155は、撮像部153から出力される撮影画像データをそのまま位置検出処理部157へ出力してもよく、解像度の調整や所定のファイルフォーマット(JPEG、BMPなど)への変換等を行った上で位置検出処理部157へ出力しても良い。
なお、撮像部153は、可視光を撮像可能な構成であっても良く、非可視光(赤外光など)を撮像可能な構成であっても良い。撮像部153が非可視光を撮像可能な場合には、指示体12が非可視光を射出して、撮像部153が指示体12から射出された非可視光を撮像する構成や、指示体12が非可視光を反射可能な反射部を備えており、制御部103の制御によってプロジェクター11からスクリーンSCに対して非可視光を投射し、指示体12の反射部によって反射された非可視光を撮像部153によって撮像する構成等を採用することができる。
【0028】
位置検出処理部157は、撮影制御部155から入力される撮影画像データを解析して、この撮影画像データから、実投射領域11Bの外部と実投射領域11Bとの境界、及び、指示体12の画像を抽出し、指示体12による指示位置を特定する。指示体12の指示位置は、例えば、棒状あるいはペン型の指示体12の先端の位置である。位置検出部154は、検出した指示位置の実投射領域11Bにおける座標を求める。
【0029】
また、プロジェクター11は、位置検出ユニット150が出力した座標(第1の座標)を、PC13から入力された画像データにおける座標(第2の座標)に変換する座標変換部160(座標変換手段)を備えている。
位置検出処理部157が出力する座標は、撮像部153の撮影画像データに基づいて検出された座標であり、スクリーンSCに結像した表示画像上に仮想的に設けられた座標軸における座標である。座標変換部160は、画像処理部113がフレームメモリー115に展開した画像の解像度と、画像処理部113が画像を展開する際に行った解像度変換やズーム等の処理内容に関する情報とを含む各種の情報を取得し、取得した情報をもとに、位置検出処理部157が求めた表示画像における座標を入力画像データにおける座標に変換する。上述のように光変調装置32は、例えば縦横にマトリクス状に並ぶ所定数の画素を有する液晶表示パネルを用いて構成されているので、画素の配列方向に仮想の直交座標系の座標軸を配置することで、パネル上の位置を座標で表すことができる。これに対し、撮影画像データにおける座標は、プロジェクター11とスクリーンSCとの距離、投射光学系33におけるズーム率、プロジェクター11の設置角度、撮像装置5とスクリーンSCとの距離等の様々な要素の影響を受ける。そこで、本発明に係るプロジェクター11においては、最初にキャリブレーション(後述)を実行して、撮影画像データにおける座標と、キャリブレーションの対象となるスクリーンSC上の領域における座標との対応関係(座標変換パラメーター)を求める。ここで、キャリブレーションの対象となるスクリーンSCの領域は、実投射領域11B全体であっても良く、実投射領域11Bの一部であっても良い。実投射領域11Bの一部をキャリブレーションの対象とする場合としては、プロジェクター11の表示画像のアスペクト比とスクリーンSCのアスペクト比が異なる場合(例えば、プロジェクター11の表示解像度がWXGAで、スクリーンSCのアスペクト比が4:3である場合)に、プロジェクター11の表示画像の垂直方向の幅が、スクリーンSCの垂直方向の幅と一致するように表示する場合が考えられる。この場合は、プロジェクター11の実投射領域11Bのうち、スクリーンSCに含まれる領域をキャリブレーションの対象とし、それ以外の領域をキャリブレーションの対象外とすることが考えられる。キャリブレーション実行部103Aによって座標変換パラメーターが求められると、この座標変換パラメーターに基づいて、座標算出部159が座標の変換を行う。この変換処理については後述する。さらに、座標変換部160は、座標算出部159から出力された座標(第1の座標)を画像位置情報(後述)に基づいて変換し、変換後の座標(第2の座標)を出力部101に出力する。
【0030】
出力部101は、PC13に接続され、座標変換部160の変換処理後の座標データをPC13に出力するインターフェイスであり、例えば、USBインターフェイス、有線LANインターフェイス、無線LANインターフェイス、IEEE1394等の汎用インターフェイスで構成することができる。ここで、画像入力部104と出力部101とは別の機能ブロックとして説明するが、物理的に一つのインターフェイスに統合することも勿論可能である。例えば一つのUSBインターフェイスで出力部101と画像入力部104との両方の機能を実現してもよい。また、出力部101は、画像処理ユニット110が備える画像処理部113に接続され、座標変換部160の変換処理後の座標を画像処理ユニット110に出力することも可能である。出力部101の主力先は、制御部103により制御される。この出力部101が出力する座標データは、マウス、トラックボール、デジタイザー、或いはペンタブレット等のポインティングデバイスが出力する座標データと同様のデータとして、PC13に出力される。
【0031】
また、PC13において、出力部101から出力される座標データを、汎用的なポインティングデバイスが出力する座標データと同等に扱う場合は、これらの汎用的なポインティングデバイスに対応した、汎用のデバイスドライバープログラムを利用することができる。一般的に、これらの汎用のデバイスドライバープログラムは、PC13のOS(オペレーティングシステム)の一部として予めインストールされているため、汎用のデバイスドライバープログラムを利用する場合はデバイスドライバープログラムのインストールを行う必要がない。また、汎用のデバイスドライバープログラムを利用することから、専用のデバイスドライバープログラムを用意する必要がない一方で、プロジェクター11とPC13との間でやり取りできる情報は、汎用のデバイスドライバープログラムの仕様によって定められた範囲に限定される。
また、プロジェクター11に対応した専用のデバイスドライバープログラムを用意して、このデバイスドライバープログラムをPC13にインストールして使用しても良い。この場合は専用のデバイスドライバープログラムが必要になる一方で、プロジェクター11とPCとの間でやり取りできる情報は、専用のデバイスドライバープログラムの仕様に応じて任意に設定することができる。
【0032】
図3は、PC13の機能的構成を示すブロック図である。
この図3に示すように、PC13は、制御プログラムを実行してPC13の各部を中枢的に制御するCPU131、CPU131により実行される基本制御プログラムや当該プログラムに係るデータを記憶したROM132、CPU131が実行するプログラムやデータを一時的に記憶するRAM133、プログラムやデータを不揮発的に記憶する記憶部134、入力操作を検出して入力内容を示すデータや操作信号をCPU131に出力する入力部135、CPU131による処理結果等を表示するための表示データを出力する表示部136、及び、外部の装置との間でデータ等を送受信する外部I/F137を備えており、これらの各部はバスにより相互に接続されている。
【0033】
入力部135は、コネクターや電源供給回路を有する入力I/F141を有し、この入力I/F141に入力デバイス142が接続される。入力I/F141は、例えばUSBインターフェイス等の入力デバイス用の汎用インターフェイスで構成され、入力デバイス142は、例えば、キーボード、或いは、マウスやデジタイザー等のポインティングデバイスである。
入力I/F141には、プロジェクター11に繋がる通信ケーブルが接続され、プロジェクター11から、指示体12による指示位置の座標が入力される。ここで、入力I/F141には、プロジェクター11の出力部101が出力する座標データが、マウス、トラックボール、デジタイザー、或いはペンタブレット等のポインティングデバイスが出力する座標データと同様のデータとして入力される。従って、PC13は、プロジェクター11から入力される座標データを入力デバイスからの入力信号として処理することができ、例えば、この座標データに基づいてマウスカーソルやポインターの移動を行う等の動作を行える。
【0034】
表示部136は、画像信号出力用のコネクター等を備えた画像出力I/F143を有し、画像出力I/F143には、モニター144、及び、プロジェクター11に繋がる画像信号ケーブル(図示略)が接続される。画像出力I/F143は、例えば、アナログ映像信号が入力されるVGA端子、デジタル映像信号が入力されるDVIインターフェイス、USBインターフェイス、LANインターフェイス及びLANインターフェイス、NTSC、PAL及び、SECAM等のコンポジット映像信号が入力されるS映像端子、コンポジット映像信号が入力されるRCA端子、コンポーネント映像信号が入力されるD端子、HDMI(登録商標)規格に準拠したHDMIコネクター等を複数備え、これら複数のコネクターにモニター144及びプロジェクター11がそれぞれ接続される。また、画像出力I/F143は、VESAが策定したDisplayPortを備えた構成としてもよく、具体的にはDisplayPortコネクター或いはMini Displayportコネクターと、Displayport規格に準拠したインターフェイス回路とを備えた構成としてもよい。この場合、PC13は、プロジェクター11やモニター144或いは他の機器に対し、Displayportを介してデジタル映像信号を出力できる。なお、画像出力I/F143は有線通信によって画像信号の送受信を行っても良く、無線通信によって画像信号の送受信を行っても良い。
【0035】
記憶部134は、CPU131により実行される表示制御プログラム13A、及び、表示制御プログラム13Aの実行時に出力される画像データ13Bを記憶している。CPU131は、表示制御プログラム13Aを実行すると、プロジェクター11に対して画像データ13Bを送信する処理を実行する。この処理において、CPU131は画像データ13Bを再生するとともに、表示部136によって所定の表示解像度の画像信号を生成させ、画像出力I/F143に出力させる。ここで、表示部136は、アナログ信号を出力するコネクターに対してはアナログ画像信号を出力し、デジタルデータを出力するコネクターに対してはデジタル画像データを出力する。
【0036】
また、CPU131は、表示制御プログラム13Aの実行中、入力部135から、ポインティングデバイスの操作に対応する座標が入力された場合に、この座標に対応する位置に、ポインター12A(図1)を表示するための画像を生成する。そして、CPU131は、再生中の画像データ13Bにポインター12Aを重ねた画像データを生成し、この画像データを入力I/F141からプロジェクター11に出力する。
【0037】
このように、表示システム10においては、PC13がプロジェクター11に出力する画像データにポインター12Aを重畳して描画する機能を、PC13が実行する。
【0038】
図4は、プロジェクター11によりスクリーンSCに画像を投射した例を示す図であり、(A)は指示体12の指示位置に従ってポインター12Aを投射した状態を示し、(B)は指示位置に従って描画図形12Cを描画した状態を示す。
光変調装置32が有する液晶表示パネル全体を使用して表示画像を投射した場合には、図4(A)に2点差線で示す投射可能領域11Aに画像が結像する。プロジェクター11がスクリーンSCの真正面に位置している場合を除き、図4(A)に示すように台形歪みが発生するので、プロジェクター11は、表示制御部107の機能によりキーストーン補正を行う。このキーストーン補正の実行後には、実投射領域11Bに表示画像が投射される。実投射領域11Bは、通常、スクリーンSC上で長方形となり、かつ最大のサイズとなるよう設定される。具体的には、光変調装置32の液晶表示パネルの解像度と台形歪みの程度により決定されるが、最大サイズでなくてもよい。
【0039】
プロジェクター11のキャリブレーション実行部103Aは、キーストーン補正を行った後の実投射領域11Bにおいてキャリブレーションを実行する。このキャリブレーションでは、キャリブレーション実行部103Aが画像処理部113を制御して所定のキャリブレーション用の画像を描画させる。このキャリブレーション用の画像がスクリーンSCに投射された状態で、キャリブレーション実行部103Aの制御により位置検出ユニット150がスクリーンSCを撮影する。キャリブレーション用の画像は、例えば白色の背景にドットが配置された画像であり、予め記憶部105等に記憶されている。なお、キャリブレーション用の画像は必ずしも記憶部105等に記憶されている必要はなく、キャリブレーションの実行が必要になり、キャリブレーションを実行する毎に、キャリブレーション実行部10Aがキャリブレーション用の画像をその都度生成する構成であっても良い。
【0040】
キャリブレーション実行部103Aは、撮影画像データ中の表示画像の輪郭、すなわち実投射領域11Bの外部と実投射領域11Bとの境界と、撮影画像データ中のドットを検出し、位置検出ユニット150の撮影範囲(画角)すなわち撮影画像データにおける位置と、実投射領域11B上の位置と、画像処理部113が描画した画像上の位置との対応関係を特定する。キャリブレーション実行部103Aは、キャリブレーションにより特定された撮影画像上の位置と実投射領域11B上の位置との対応関係に基づいて、後述するように座標算出部159が用いる座標変換パラメーターを求める。座標変換パラメーターには、画像処理部113が描画した画像上の座標と、撮影画像データ上で求められた座標とを対応づけるデータ等が含まれる。座標算出部159は、この座標変換パラメーターに基づいて、撮影画像データ上で求められた座標を画像処理部113が描画した画像上の座標に変換することができる。この座標変換パラメーターに基づいて座標算出処理が行われる。
このキャリブレーションは、制御部103が記憶部105に記憶されたキャリブレーション用プログラム(図示略)を実行することで行われるので、PC13においてキャリブレーション用のプログラムをインストールして実行する必要がない。また、撮影画像データに基づいてキャリブレーション実行部103Aが自動で行う処理であっても良く、キャリブレーション用の画像に対するユーザーの操作が必要な処理であっても良い。さらに、プロジェクター11がこれらの処理を併用しても良い。キャリブレーション用の画像に対するユーザーの操作は、キャリブレーション用の画像に含まれるドットをユーザーが指示体12で指示する操作等が考えられる。
【0041】
プロジェクター11が備える位置検出ユニット150は、実投射領域11Bに画像が投射された状態で撮影を実行し、図中に破線の矢印で示すように、撮影画像において実投射領域11Bの隅を原点とする直交座標を仮想的に設定して、この座標系における指示体12の先端位置の座標を求める。この直交座標は、上記のキャリブレーションにより得られた座標変換パラメーターに基づいて設定される。その後、座標変換部160により、実投射領域11Bに表示された画像データにおける指示体12の先端の座標が求められると、この座標に従って、例えば図4(A)に示すポインター12Aや、メニューバー12Bが表示される。ポインター12Aは指示体12の先端位置を示す記号として描画される。また、メニューバー12Bは、指示体12により操作可能なGUIであり、メニューバー12Bに配置されたボタンを指示体12により指示することで、線等の図形の描画、描画した図形のデータの保存、消去、コピー等を行うことができる。具体的な例としては、指示体12を図4(A)に示す位置から図4(B)の位置まで移動させることで、指示体12の先端の軌跡に沿って描画図形12Cが描画される。この描画図形12Cは、例えば、ポインター12Aやメニューバー12Bと同様に、指示体12の指示位置を示す座標データに従ってPC13が描画する。
【0042】
また、メニューバー12Bには、外部から供給可能な複数の画像(例えば、外部I/F102のUSBインターフェイスに接続されたUSBフラッシュメモリーなどの外部記憶装置が記憶している画像データ等)を順次表示させるスライドショー表示の制御用のボタンや、プロジェクター11の機能自体に関する設定(アスペクト比の変更、カラーモードの変更等)を行うためのボタン等を配置することも可能である。制御部103は、指示体12の指示位置が座標変換部160から出力された場合に、この座標を取得して、メニューバー12Bにおいて指示されたボタンを特定し、指示操作に対応した動作を実行する。
【0043】
図5(A)、(B)及び図6(A)、(B)は、プロジェクター11が指示位置の座標を検出し、画像データにおける座標に変換する処理の様子を示す説明図であり、図5(A)は一連の動作の初期状態を示し、図5(B)及び図6(A)、(B)は、図5(A)の状態から表示画像の解像度を変更した状態を示す。
【0044】
図5(A)に示す例では、光変調装置32の液晶表示パネルの解像度に基づき、実投射領域11Bの解像度が1280×800ドットであり、PC13から入力される画像データの解像度も1280×800ドットである。従って、実投射領域11Bには、1280×800ドットの表示画像201が表示されている。位置検出ユニット150は、実投射領域11Bの左上隅を原点とし、右方向をX軸方向、下方向をY軸方向とするX−Y直交座標系を設定し、表示画像201のX方向の端位置をX1max、Y方向の端位置をY1maxとし、指示体12の指示位置の座標を(X1n,Y1n)とする。
ところで、PC13から入力される画像データが、解像度が1024×768ドットの表示画像202に切り替えられると、スクリーンSCには図5(B)に示すように1066×800ドットの表示画像202が投射される。この表示画像202は表示画像201より低解像度であるため、表示画像202が投射される領域は実投射領域11Bよりも小さい。
【0045】
ここで、図5(A)及び(B)に示すように、スクリーンSC上の指示体12を動かさないようにすると、指示位置そのものは動いていないが、指示位置と表示されている画像との相対位置は変化する。このため、位置検出ユニット150が撮像部153の撮影画像データに基づいて算出した実投射領域11Bにおける指示位置の座標(X1n,Y1n)をもとにポインター12Aを表示すると、ポインター12Aが実際の指示位置からずれてしまう。
【0046】
すなわち、図6(A)に示すように、変更後の表示画像202の左上隅を原点とする座標系において座標(X1n,Y1n)にポインターを表示すると、指示体12の先端から離れたポインター12A´が表示されてしまう。このように、実投射領域11Bを基準として求めた座標は表示画像の解像度の影響を受けてしまうので、位置検出ユニット150が算出した座標をそのまま、PC13が、ポインター12Aの表示に利用することはできない。
そこで、プロジェクター11は、表示画像の解像度が変わった場合にも対応できるように、位置検出ユニット150の座標算出部159が算出した指示位置の座標(X1n,Y1n)を、座標変換部160によって、表示中の表示画像における指示位置の座標(X2n,Y2n)に変換する処理を行う。
【0047】
以下、具体的な処理について説明する。
本実施形態では、座標変換部160は、表示画像における座標を実投射領域11Bの隅に原点を設定した座標系(図5(A))により表す。図5(B)及び図6(A)〜(B)に示したように、実投射領域11Bよりも小さい領域に表示画像(ここでは表示画像202)を表示した場合、位置検出処理部157が撮像部153の撮影画像において表示画像の隅を原点とした場合の指示位置を検出し、座標算出部159が実投射領域11Bにおける表示画像202の位置を特定して、実投射領域11Bにおける座標(X1n,Y1n)を算出する。
【0048】
座標変換部160は、画像処理部113から画像位置情報を取得して、変更後の表示画像202の原点に相当する左上隅の座標(X1bmin,Y1bmin)を求める。この座標(X1bmin,Y1bmin)は、実投射領域11Bの左上隅を原点とした場合の座標である。
また、以下の演算では、X2max、X2minの値を用いる。X2maxは、表示画像202を表示した場合に表示画像202の左上隅を原点とした座標系において、X軸方向の最大値であり、X2minは同座標系において最小値である。つまり、X2maxはX軸上で表示画像202の右端の座標であり、X2minは原点であるためゼロであると考えられるが、X2max、X2minの値としては正規化された値を用いるので、X2min=0とは限らない。このため、変数X2minとして演算する。
【0049】
図6(B)に示すように、表示画像202の原点に相当する左上隅の座標を(X1bmin,Y1bmin)とし、実投射領域11BのX軸方向の端の座標値をX1max、表示画像202のX軸方向の端の座標をX1bmax、実投射領域11BのY軸方向の端の座標値をY1max、表示画像202のY軸方向の端の座標をY1bmaxとする。
この場合、座標(X2n,Y2n)は、下記式(1)、(2)により算出される。
【0050】
X2n=(X2max−X2min)×(X1n−X1bmin)÷(X1bmax−X1bmin) …(1)
Y2n=(Y2max−Y2min)×(Y1n−Y1bmin)÷(Y1bmax−Y1bmin) …(2)
本実施形態では図6(B)に示すようにY1bmin=Y2min=0、Y1bmax=Y2max=Y1maxである。このため、上記式(2)から、Y2n=Y1nとなる。
【0051】
指示位置の座標は、実際には正規化された論理座標として求められる。例として、X1min=0、X1max=32767、Y1min=0、Y1max=32767とする。
また、以下の例では、実投射領域11Bは1280×800ドットの解像度の画像に合わせて設定され、この実投射領域11Bにおける座標を(XPn,YPn)で表すと、(XPmin≦XPn≦XPmax,YPmin≦YPn≦YPmax)であり、XPmin=0、XPmax=1280、YPmin=0、YPmax=800であるものとする。
さらに、実投射領域11Bに表示される表示画像の位置及びサイズに関する情報として、表示画像の右上端の座標を(XP0,YP0)とし、この例では(XP0,YP0)=(0,0)とし、表示画像のX軸方向のサイズWP0=1280、Y軸方向のサイズHP0=800とする。
【0052】
実投射領域11Bにおける表示画像の左上隅の座標(X1bmin,Y1bmin)及び端位置の座標(X1bmax,Y1bmax)は、以下の式(3)〜(6)により求められる。
X1bmin=(X1max−X1min)×XP0÷(XPmax−XPmin) …(3)
X1bmax=(X1max−X1min)×(XP0+WP0)÷(XPmax−XPmin) …(4)
Y1bmin=(Y1max−Y1min)×YP0÷(YPmax−YPmin) …(5)
Y1bmax=(Y1max−Y1min)×(YP0+HP0)÷(YPmax−YPmin) …(6)
【0053】
これら式(3)〜(6)により得られた値をもとに、上記式(1)及び(2)の演算を行うことで、座標変換部160は、表示画像における指示位置の座標を得る。この座標は、PC13が、処理対象の画像データにおいてポインター12A、メニューバー12B或いは描画図形12Cを描画する場合に、画像データ中の位置を特定する情報として利用できる。このため、表示画像の解像度やズーム率等に影響されることなく、ポインター12A、メニューバー12B及び描画図形12Cを、正確に、指示体12による指示位置に合わせて描画できる。
【0054】
ところで、実投射領域11Bに表示される表示画像の位置及びサイズは、表示画像の解像度や表示位置の影響を受ける。例えば、操作パネル41またはリモコン受光部45による操作や、PC13から送信される制御信号に応じて、プロジェクター11が、表示解像度の変更、アスペクト比の変更、ズーム、画像の表示位置の変更(移動)、多画面表示処理等、投射状態が変化するような処理を実行した場合には、画像位置情報(XP0,YP0,WP0,HP0)も変化する。ここで、画像位置情報とは、実投射領域11Bに対する画像配置領域(表示画像201、202が投射される(表示される)領域)の配置に関する情報である。換言すれば、画像位置情報は、実投射領域11B(表示可能領域)に対する表示画像の位置(配置)を示す情報である。また、PC13の表示解像度が変化し、PC13がプロジェクター11に出力する画像データの解像度が変化した場合(例えば、PC13において解像度に関する設定が変更された場合)にも、画像位置情報は変化する。なお「多画面表示処理」とは、プロジェクター11の実投射領域11Bを複数の領域に区分して、複数の画像供給装置から入力された異なる画像をこれらの領域に表示させる処理である。
図7及び図8は、画像の投射状態の変化と座標を変換する処理の様子を示す説明図であり、投射状態の変化により画像位置情報(XP0,YP0,WP0,HP0)が変化する例を示す。
図7(A)では実投射領域11Bと同じ解像度(1280×800)の表示画像201を表示している。この場合の画像位置情報は、(XP0=0,YP0=0,WP0=1280,HP0=800)である。ここで、表示画像を、解像度が異なる表示画像202(1066×800)に変更した場合、図7(B)に示すように、表示画像202の周囲に非表示領域11Cが発生する。この場合、画像位置情報は、(XP0=107,YP0=0,WP0=1066,HP0=800)となる。
ここで、表示画像202のアスペクト比を変更して実投射領域11B全体に拡大表示した場合、図7(C)に示すように実投射領域11Bいっぱいに表示画像202が表示され、画像位置情報は(XP0=0,YP0=0,WP0=1280,HP0=800)となる。
【0055】
ここで、非表示領域11Cが発生している状態で、指示体12の指示位置が非表示領域11Cに重なった場合、座標変換部160は、指示位置の座標を出力しないようにしてもよいし、表示画像の範囲内において指示位置に最も近い位置の座標を、PC13に出力してもよい。
具体的には、座標変換部160は、座標変換処理を行う前に、座標算出部159が算出した座標が非表示領域11Cに該当するか否かを、画像位置情報に基づいて判別する。ここで、座標算出部159が算出した座標が非表示領域11Cに該当する場合、座標変換部160は、X軸方向の座標とY軸方向の座標の各々について、非表示領域11Cに該当するか否か(実投射領域11Bに含まれるか否か)、及び、非表示領域11Cに該当する場合は、座標が大きい側と小さい側のどちらの非表示領域11Cに含まれているかを判別する。例えば、図7(B)において指示位置が表示画像202の左側の非表示領域11Cに重なっている場合には、指示位置のX軸方向の座標が、値が小さい側の非表示領域11Cに含まれている。座標変換部160は、X軸方向の座標とY軸方向の座標のいずれかについて逸脱している方向を判別した場合、逸脱している方向の表示画像202の端位置の座標を、指示位置の座標に割り当てる。図7(B)において指示位置が表示画像202の左側の非表示領域11Cに重なっている場合には、その指示位置のX軸方向の座標X1nの値を、X1bminの値に変更する。同様に、指示位置が表示画像202の右側の非表示領域11Cに重なっている場合には、その指示位置のX軸方向の座標X1nの値を、X1bmaxの値に変更する。Y軸方向においても同様である。
【0056】
つまり、座標変換部160は、座標算出部159が算出した座標(X1n,Y1n)が、(X1bmin≦X1n≦X1bmax,Y1bmin≦Yn≦Y1bmax)を満たさない場合には、(X1bmin,Y1n)、(X1bmax,Y1n)、(X1n,Y1bmin)、(X1n,Y1bmax)のいずれかを出力する。これにより、表示画像に含まれない指示位置に対しても、座標を出力し、ポインター12Aやメニューバー12Bを、指示位置の近くに描画できる。
【0057】
さらに、図7(A)に示す状態から、表示画像201の表示位置を左へ160ドット分シフトさせると、図8(A)に示すように、表示画像201の左側が切れて表示され、表示画像201の右側に非表示領域11Cが発生する。図8(A)の状態では、画像位置情報は、(XP0=-160,YP0=0,WP0=1280,HP0=800)となる。なお、図8(A)では表示画像201の表示位置を左へシフトさせる場合を例示しているが、表示画像201は左以外(右、上又は下など)の方向へ移動させても良い。
また、プロジェクター11は、複数の表示画像を同時に並べて表示する、いわゆる多画面表示機能を有する。図8(B)には、多画面表示機能により、表示画像202と、表示画像203とを表示した例を示す。この例では、表示画像202及び表示画像203は、実投射領域11Bに並べて表示できるように、アスペクト比を保って縮小表示され、その周囲には非表示領域11Cが発生する。多画面表示機能によって複数の表示画像を同時に表示する場合、表示画像のそれぞれについて画像位置情報を定義することができる。図8(B)のような場合は、表示画像202及び表示画像203のそれぞれについて異なる画像位置情報を定義することができる。縮小後の表示画像201の解像度は縦横半分の533×400となり、表示画像202に関する画像位置情報は、(XP0=53,YP0=200,WP0=533,HP0=400)となる。
プロジェクター11は、上記の多画面表示機能の実行時に、表示画像202及び表示画像203のいずれか一方を拡大あるいは縮小することも可能である。この場合、プロジェクター11は、ユーザーが指示体12で表示画像202、203の一方の拡大または縮小を指示する操作を行った場合に、この操作に応じて指示された表示画像を拡大または縮小し、拡大または縮小した表示画像の画像位置情報を更新する。
【0058】
プロジェクター11は、画像を実投射領域11Bより大きく拡大して、その一部を表示するズーム機能を備えている。図7(B)に示した表示画像202を、もとの解像度の1.25倍に拡大した例を図8(C)に示す。この図8(C)の例では、表示画像202全体を表示するためには実投射領域11Bより大きい仮想表示領域11Dの領域が必要であり、実際には表示画像202の中央において実投射領域11Bに収まる部分のみが表示される。この場合の画像位置情報は、仮想表示領域11Dの隅の座標及び仮想表示領域11Dの解像度を基準として決定され、(XP0=-27,YP0=-100,WP0=1333,HP0=1000)となる。さらに、ズーム機能により拡大された表示画像における表示位置をシフトさせることも可能である。図8(D)には、図8(C)に示した拡大後の表示画像202を、下方に100ドット分シフトさせた状態を示す。この処理は、仮想表示領域11Dを実投射領域11Bに対して相対的に下方に移動させる処理に相当するので、画像位置情報は、(XP0=-27,YP0=0,WP0=1333,HP0=1000)となる。なお、図8(A)では表示画像201の表示位置を下方へシフトさせる場合を例示しているが、表示画像201は下以外(上、右又は左など)の方向へ移動させても良い。
【0059】
座標変換部160は、投射部30による表示画像の投射状態(表示状態)が変化する毎に、制御部103及び表示制御部107から情報を取得して画像位置情報を更新し、更新後の画像位置情報に基づいて座標を変換する。画像位置情報は、例えば、次に挙げるタイミングで更新される。
・制御部103がPC13からの画像データの入力を検出したとき。
・制御部103が、PC13から入力される画像データに関する情報(画像の解像度など)の変化を検出したとき。
・プロジェクター1において、画像データの解像度を変更したとき。
・画像データのアスペクト比を変更したとき。
・光変調装置32により描画する画像を、投射する画像データの画像処理によって拡大/縮小するデジタルズーム機能を実行または解除したとき。
・実投射領域11Bに対する表示画像の表示位置を変更したとき。
・上記のデジタルズーム機能により画像を拡大し、さらに画像処理によって画像の表示位置を変更する機能を実行または解除したとき。
・光変調装置32により描画する画像と背景を含む全体すなわち実投射領域11B全体の投射サイズを、画像データの画像処理を行うことにより拡大/縮小するテレワイド機能を実行または解除したとき。
・上記のデジタルズーム機能により画像を縮小し、さらに画像処理によって画像の表示位置を変更するピクチャーシフト機能を実行または解除したとき。
・複数の画像の同時表示を実行または解除したとき。
・座標変換部160から座標を出力する出力先が、画像処理ユニット110からPC13(出力部101)へ、或いはその逆へ変更されたとき。
解像度の変更、アスペクト比の変更、各種機能の実行および解除は、いずれも制御部103の制御により、画像処理ユニット110によって実行される。なお、上記に列挙したタイミングはあくまで一例であり、その他のタイミングで画像位置情報を更新することも勿論可能である。
【0060】
図9は、プロジェクター11の動作を示すフローチャートであり、特に、指示体12による指示位置を検出して指示位置の座標を出力する動作を示す。
この図9に示す動作は、プロジェクター11の起動後、或いは、操作パネル41またはリモコン受光部45の操作によってポインター12Aやメニューバー12Bの表示が指示された場合に、投射を終了するまで一定時間毎に繰り返し実行される。
【0061】
まず、キャリブレーションが必要か否かが判別される(ステップS11)。この判別は、キャリブレーションが必要か否かを示すユーザーの指示に基づいて行っても良く、キャリブレーションを行う必要があるかどうかをキャリブレーション実行部103Aが自動的に判別し、この判別結果に基づいて自動的に行っても良い。キャリブレーションが必要な場合には(ステップS11;Yes)、図4(A)を参照して説明したようにキャリブレーションを実行する(ステップS12)。すなわち、画像処理部113によりキャリブレーション用の画像を描画させ、このキャリブレーション用の画像が投射された状態で位置検出ユニット150により撮影を実行させ、得られた撮影画像データにおける実投射領域11Bの輪郭やキャリブレーション用の画像に含まれる特徴点(ドット等)を検出することで、画像処理部113が描画した画像と撮影画像データとの対応関係を求める。なお、キャリブレーションはプロジェクター11の使用を開始してから1度だけ行えば良く、特定の事象が発生しない限りは再度行う必要がない。例えば、次の(1)〜(3)のような場合には、新たにキャリブレーションを行う必要がある。
(1)キーストーン補正を行った場合。
(2)プロジェクター11の設置条件が変わった場合。例えば、スクリーンSCに対するプロジェクター11の相対的な位置(向きを含む)が変わった場合。
(3)光学条件が変わった場合。例えば、投射光学系33のフォーカスまたはズームの状態が変わった場合。投射光学系33あるいは撮像部153の光軸が経時変化等によりずれた場合。
これらの事象が発生した場合、座標変換部160が座標を算出する基準となる、初期状態における撮影画像データ上の位置と画像処理部113が描画する画像上の位置との対応関係が変化するので、改めてキャリブレーションを行う必要がある。逆にこれらの事象が発生しなければキャリブレーションを再度行う必要はないので、プロジェクター11を前回使用してから今回使用するまでの間に上記の事象が発生していなければ、キャリブレーションを行うことなく、前回のキャリブレーションで求めた座標変換パラメーターを再利用することもできる。キャリブレーションを行う必要があるかどうかをキャリブレーション実行部103Aが判別する方法としては、例えば、操作パネル41においてキーストーン補正の実行を指示するスイッチの操作の有無に基づいて判別する方法や、プロジェクター11に傾きや動きを検出するセンサーを設け、このセンサーの検出値の変化に基づいて判別する方法がある。また、投射光学系33におけるフォーカス、ズームの調整を行った場合に、キャリブレーション実行部103Aがキャリブレーションを自動で実行してもよい。また、ユーザーが、プロジェクター11の設置位置や光学条件の変化を知って、キャリブレーション実行を指示する操作を行えるように、操作パネル41やリモコン等の操作部に、対応するスイッチを設けてもよい。
【0062】
撮影制御部155は、制御部103の制御により撮像部153に実投射領域11Bを含む範囲を撮影させると、位置検出処理部157は撮影画像データを取得し(ステップS13)、この撮影画像データに基づいて指示体12の指示位置を検出する(ステップS14)。続いて、座標算出部159が、位置検出処理部157により検出された指示位置の座標を算出する(ステップS15)。このステップS15で算出される座標は実投射領域11Bにおける座標であり、図5(A)で説明した座標(X1n,Y1n)である。
【0063】
座標変換部160は、画像位置情報の更新が必要か否かを判別し(ステップS16)、更新が必要な場合は制御部103及び表示制御部107から情報を取得して画像位置情報を更新する(ステップS17)。このステップS17の処理は、ステップS15の後に限定されず、上記に例示したタイミングで随時実行してもよい。
その後、座標変換部160は、座標算出部159が算出した座標を表示画像の画像データにおける座標に変換する処理を行う(ステップS18)。変換後の座標は、図5(B)で説明した座標(X2n,Y2n)である。
座標変換部160は、変換後の座標をPC13に出力し(ステップS19)、本処理を終了する。
【0064】
以上のように、本発明を適用した実施形態に係る表示システム10は、プロジェクター11が、画像データに基づき、スクリーンSCに表示画像を表示する投射ユニット3と、スクリーンSCにおける、表示画像に対する指示位置を検出する位置検出部151と、スクリーンSC内の表示可能領域(例えば、実投射領域11B)における指示位置の座標である第1の座標を算出する座標算出部159と、座標算出部159により算出された第1の座標を、画像データにおける座標である第2の座標に変換する座標変換部160と、座標変換部160により得られた第2の座標を出力する出力部101とを備え、指示体12による指示位置の座標を、画像データにおける座標として出力するので、出力された座標を利用するPC13等においては、表示解像度や表示領域の広さ等の表示態様に影響されずに、指示位置と画像データとの相対位置を特定できる。画像データにおける指示位置の座標を得る過程で、画像データ自体と指示位置とを直接対応づける必要がないため、画像データのサイズ等が変化してもキャリブレーションを行う必要がない。従って、キャリブレーションの実行頻度を減らすことができる。これにより、プロジェクター11の利便性の向上を図ることができる。また、PC13側においてキャリブレーション用のプログラムを実行する必要がないため、PC13の操作に不慣れなユーザーの負担を軽減できる。
【0065】
また、座標変換部160は、座標算出部159により算出された第1の座標を、表示可能領域に対する表示画像の位置を示す情報である画像位置情報に基づいて、第2の座標に変換するので、表示可能領域に対する表示画像の位置を示す情報である画像位置情報が変化しても、指示体12による指示位置の座標を正確に変換して出力できる。
【0066】
また、座標変換部160は、座標算出部159により算出された第1の座標を、画像データの解像度に基づいて第2の座標に変換する。例えば、座標変換部160は、投射部30の表示解像度と画像データの解像度を反映した画像位置情報を用いて座標の変換を行う。これにより、画像データの解像度が変化しても指示位置の座標を正確に変換して出力できる。
また、位置検出部151は、撮像部153が撮影した撮影画像に基づいて、スクリーンSC上の指示体12の位置を検出することにより、実投射領域11Bにおける指示位置を検出するので、指示位置を速やかに検出できる。
【0067】
さらに、座標変換部160は、座標算出部159により算出された指示位置の座標が、画像データが表示された領域に含まれない場合、言い換えれば、指示位置が表示画像に含まれない場合に、表示画像が表示された領域内で指示位置に近い位置の座標を、変換後の座標とするので、画像が表示されていない位置が指示された場合であっても、指示位置の座標を出力できる。また、出力される座標は指示位置に近い位置の座標であるため、指示位置の座標と同様に、PC13等によって処理できる。
【0068】
また、座標変換部160は、座標算出部159により算出された指示位置の座標が、画像データが表示された領域に含まれない場合、言い換えれば、指示位置が表示画像に含まれない場合に、変換後の座標を出力しないものとすることができ、この場合、PC13は、画像に重なる位置への指示のみに対応した動作を行うことができる。
また、表示制御部107等により画像データに対する処理が実行されることにより、スクリーンSCにおける画像の表示態様が変更された場合に、座標変換部160は、表示態様に応じて変化した画像位置情報に基づいて座標を変換する処理を行う。ここで新たに変換された座標は、出力部101が出力する。これにより、表示画像の表示態様の変化に伴って常に適正な座標を出力できる。
【0069】
なお、上記実施形態は本発明を適用した具体的態様の例に過ぎず、本発明を限定するものではなく、上記実施形態とは異なる態様として本発明を適用することも可能である。例えば、上記実施形態においては、PC13に対して変換後の座標を出力し、PC13がポインター12A、メニューバー12B等を描画する構成を例に挙げて説明したが、本発明はこれに限定されるものではなく、プロジェクター11内に、ポインター12Aやメニューバー12B等、画像データに重畳して描画する画像を生成する画像処理ユニット120を設けてもよい。
【0070】
図10に示すプロジェクター51は、実施形態のプロジェクター11と同様の各機能部を有するとともに、指示体12の指示位置に対応してポインター12A、メニューバー12B等を描画する画像処理ユニット120を備えている。画像処理ユニット120は、座標変換部160から入力された座標に従って、画像データに重畳する画像を生成する画像処理部122と、画像処理部122が画像を生成する際にデータを展開するフレームメモリー124とを備えている。
座標変換部160が、変換後の座標データを画像処理ユニット120に出力すると、画像処理ユニット120は、画像処理部122によってポインター12Aやメニューバー12Bの画像を描画し、表示制御部107が展開している画像と同じ解像度の画像を生成して、画像処理部113に出力する。ここで画像処理部122が出力する画像は、ポインター12Aまたはメニューバー12B等の画像を含む。画像処理部113は、画像処理部122から入力された画像を、フレームメモリー115に展開した画像と合成する。これにより、画像処理ユニット110は、速やかにポインター12Aやメニューバー12Bを入力画像に重畳して表示できる。
【0071】
また、上記実施形態の構成では、座標算出部159により算出された指示位置の座標が、画像データが表示された領域に含まれない場合に、座標変換部160が変換後の座標を出力しない構成を例に挙げて説明したが、本発明はこれに限定されない。例えば、プロジェクター11が外部から入力される信号の種別を判別しているとき、プロジェクター11が投射している画像を一時停止しているとき、又はプロジェクター11が画像の投射を中断しているとき等に、座標変換部160が変換後の座標を出力しない構成としても良い。なお、プロジェクター11は、プロジェクター11の前面に設けられたシャッター等の可動な遮蔽部(不図示)によって投射光学系33が遮られたときや、操作パネル41やリモコン等の操作部を介して画像の投射を中断する旨の指示を受けた場合等に、制御部103の制御により、画像の投射を中断することができる。
【0072】
また、上記実施形態の構成において、位置検出ユニット150が有する撮像部153及び撮影制御部155を、プロジェクター11に外部接続されたデジタルカメラにより代替することも可能である。この場合のデジタルカメラは、制御部103の制御により撮影を実行して撮影画像データを位置検出処理部157に出力するものであればよい。また、このデジタルカメラとプロジェクター11とを接続するインターフェイスとしてはUSB等の汎用インターフェイスを利用できるので、容易に実現可能である。
また、上記実施形態の構成において、指示体12は、棒状のものやペン型のものに限定されず、例えばユーザーの指を指示体12として、その指示位置を検出する構成とすることも可能である。
さらに、上記実施形態の構成では、位置検出ユニット150が撮影画像データに基づいて指示体12による指示位置を検出する構成を例に挙げて説明したが、本発明はこれに限定されず、例えば、表示面としてのスクリーンSC或いは他の表示方式における表示画面に、感圧式や静電容量式のタッチパネルを設け、このタッチパネルによって指示体12としてのユーザーの指や棒体等の接触を検出する構成としてもよい。
【0073】
さらに、上記実施形態では、PC13とプロジェクター11とがケーブル等により有線接続される構成を例に挙げて説明したが、プロジェクター11とPC13との接続形態は任意である。例えば、プロジェクター11とPC13とが無線LAN等を用いた無線通信により、或いはUSB等の汎用データ通信ケーブルや有線LAN等を用いた有線通信により相互に接続され、画像データや座標データを送受信する構成としてもよい。
【0074】
また、上記実施形態では、光源が発した光を変調する手段として、光変調装置32がRGBの各色に対応した3枚の透過型または反射型の液晶パネルを用いた構成を例に挙げて説明したが、本発明はこれに限定されるものではなく、例えば、1枚の液晶パネルとカラーホイールを組み合わせた方式、3枚のデジタルミラーデバイス(DMD)を用いた方式、1枚のデジタルミラーデバイスとカラーホイールを組み合わせたDMD方式等により構成してもよい。ここで、表示部として1枚のみの液晶パネルまたはDMDを用いる場合には、クロスダイクロイックプリズム等の合成光学系に相当する部材は不要である。また、液晶パネル及びDMD以外にも、光源が発した光を変調可能な構成であれば問題なく採用できる。
【0075】
また、本発明の表示装置は、スクリーンSCに画像を投射するプロジェクターに限定されず、液晶表示パネルに画像/画像を表示する液晶モニターまたは液晶テレビ、或いは、PDP(プラズマディスプレイパネル)に画像/画像を表示するモニター装置またはテレビ受像機、OLED(Organic light-emitting diode)、OEL(Organic Electro-Luminescence)等と呼ばれる有機EL表示パネルに画像/画像を表示するモニター装置またはテレビ受像機等の自発光型の表示装置など、各種の表示装置も本発明の画像表示装置に含まれる。この場合、液晶表示パネル、プラズマディスプレイパネル、有機EL表示パネルが表示手段に相当し、その表示画面が表示面に相当する。より詳細には、画像を表示可能な領域全体が上記実施形態の実投射領域11Bまたは投射可能領域11Aに相当する。
【0076】
また、図2、図10に示したプロジェクター11、51の各機能部、及び、図3に示したPC13の各機能部は、ハードウェアとソフトウェアとの協働により実現される機能的構成を示すものであって、具体的な実装形態は特に制限されない。従って、必ずしも各機能部に個別に対応するハードウェアが実装される必要はなく、一つのプロセッサーがプログラムを実行することで複数の機能部の機能を実現する構成とすることも勿論可能である。また、上記実施形態においてソフトウェアで実現されている機能の一部をハードウェアで実現してもよく、あるいは、ハードウェアで実現されている機能の一部をソフトウェアで実現してもよい。その他、プロジェクター11及びPC13を含む表示システム10の他の各部の具体的な細部構成についても、本発明の趣旨を逸脱しない範囲で任意に変更可能である。
また、上記実施形態において記憶部105が記憶していた制御プログラム105Aを、プロジェクター11が通信ネットワークを介して接続された他の装置からダウンロードして実行しても良いし、可搬型の記録媒体に制御プログラム105Aを記録して、この記録媒体から上記各プログラムを読み取って実行する構成としても良い。PC13が記憶していた表示制御プログラム13Aについても同様に、PC13が他の装置から表示制御プログラム13Aをダウンロードして実行しても良いし、可搬型の記録媒体に記録された表示制御プログラム13AをPC13が読み取って実行する構成としても良い。
【符号の説明】
【0077】
3…投射ユニット(表示手段)、10…表示システム、11、51…プロジェクター(表示装置)、11A…投射可能領域、11B…実投射領域(表示可能領域)、11C…非表示領域、12…指示体、12A…ポインター、12B…メニューバー、13…PC、30…投射部(投射手段)、31…照明光学系(光源)、32…光変調装置(光変調手段)、101…出力部(出力手段)、103…制御部、105A…制御プログラム、107…表示制御部、110…画像処理ユニット(画像形成手段)、150…位置検出ユニット、151…位置検出部(位置検出手段)、153…撮像部(撮像手段)、157…位置検出処理部、159…座標算出部(座標算出手段)、160…座標変換部(座標変換手段)、SC…スクリーン(投射面、表示面)。

【特許請求の範囲】
【請求項1】
画像データに基づき、表示面に表示画像を表示する表示手段と、
前記表示面における、前記表示画像に対する指示位置を検出する位置検出手段と、
前記表示面内の表示可能領域における前記指示位置の座標である第1の座標を算出する座標算出手段と、
前記座標算出手段により算出された前記第1の座標を、前記画像データにおける座標である第2の座標に変換する座標変換手段と、
前記座標変換手段により得られた前記第2の座標を出力する出力手段と、
を備えることを特徴とする表示装置。
【請求項2】
前記座標変換手段は、前記座標算出手段により算出された前記第1の座標を、前記表示可能領域に対する前記表示画像の位置を示す情報である画像位置情報に基づいて、前記第2の座標に変換することを特徴とする請求項1記載の表示装置。
【請求項3】
前記座標変換手段は、前記座標算出手段により算出された前記第1の座標を、前記画像データの解像度に基づいて前記第2の座標に変換することを特徴とする請求項2記載の表示装置。
【請求項4】
前記位置検出手段は、撮像手段により前記表示面を撮像した撮影画像に基づいて、前記表示面の指示体の位置を検出することにより、前記表示可能領域における前記指示位置を検出することを特徴とする請求項1から3のいずれかに記載の表示装置。
【請求項5】
前記座標変換手段は、前記指示位置が前記表示画像に含まれない場合に、前記画像データにおいて前記指示位置に近い位置の座標を、変換後の座標とすることを特徴とする請求項1から4のいずれかに記載の表示装置。
【請求項6】
前記座標変換手段は、前記指示位置が前記表示画像に含まれない場合に、変換後の座標を出力しないことを特徴とする請求項1から4のいずれかに記載の表示装置。
【請求項7】
前記画像データに対して画像処理が実行されることにより、前記表示面における前記表示画像の表示態様が変更された場合に、前記座標変換手段は、前記表示態様に応じて変化した前記画像位置情報に基づいて、前記第1の座標を前記第2の座標に変換することを特徴とする請求項1から6のいずれかに記載の表示装置。
【請求項8】
光源が発した光を変調する光変調手段と、
画像データに基づいて前記光変調手段に表示画像を形成する画像形成手段と、
前記画像形成手段により形成された表示画像を投射面に投射する投射手段と、
前記投射面における、前記表示画像に対する指示位置を検出する位置検出手段と、
前記投射面の投射領域における前記指示位置の座標である第1の座標を算出する座標算出手段と、
前記座標算出手段により算出された前記第1の座標を、前記画像データにおける座標である第2の座標に変換する座標変換手段と、
前記座標変換手段により得られた前記第2の座標を出力する出力手段と、
を備えることを特徴とするプロジェクター。
【請求項9】
画像データに基づいて表示面に表示画像を表示し、
表示された前記表示画像に対する指示位置を検出し、
前記表示面内の表示可能領域における前記指示位置の座標である第1の座標を算出し、
算出した前記第1の座標を、前記画像データにおける座標である第2の座標に変換し、
この変換により得られた前記第2の座標を出力すること、
を特徴とする表示方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate


【公開番号】特開2013−64917(P2013−64917A)
【公開日】平成25年4月11日(2013.4.11)
【国際特許分類】
【出願番号】特願2011−204289(P2011−204289)
【出願日】平成23年9月20日(2011.9.20)
【出願人】(000002369)セイコーエプソン株式会社 (51,324)
【Fターム(参考)】