投影システム、投影装置、投影方法及びプログラム
【課題】投影する３次元画像に対応して立体的な位置指定や描画等を直接実行する。
【解決手段】画像信号を入力する入力部11と、入力部11で入力した画像信号に対応し夫々に不可視の位置座標情報を重畳した左目用画像と右目用画像とを投影する投影系(13〜18)と、ポイント装置(2)から送られてくる、左目用画像及び右目用画像の各位置座標を示す情報と、ポインタ装置(2)に与えられた外力の方向及び大きさを示す情報とを受信するアンテナ26及びポインタ通信部24と、受信した情報に基づき、投影系(13〜18)で投影している画像の３次元空間中の指定位置を算出し、算出した３次元空間中の指定位置に従って投影系(13〜18)で投影する画像中に所定のポイント画像を加えて投影させるＣＰＵ19とを備える。
【解決手段】画像信号を入力する入力部11と、入力部11で入力した画像信号に対応し夫々に不可視の位置座標情報を重畳した左目用画像と右目用画像とを投影する投影系(13〜18)と、ポイント装置(2)から送られてくる、左目用画像及び右目用画像の各位置座標を示す情報と、ポインタ装置(2)に与えられた外力の方向及び大きさを示す情報とを受信するアンテナ26及びポインタ通信部24と、受信した情報に基づき、投影系(13〜18)で投影している画像の３次元空間中の指定位置を算出し、算出した３次元空間中の指定位置に従って投影系(13〜18)で投影する画像中に所定のポイント画像を加えて投影させるＣＰＵ19とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体画像の投影を行なう投影システム、投影装置、投影方法及びプログラムに関する。
【背景技術】
【０００２】
近時、映画や液晶テレビ、携帯ゲームで立体画像の投影、表示が実用化されており、広く一般に普及しようとしている。プロジェクタ装置でこの種の立体画像の投影機能を実現しようとした場合、例えば液晶シャッタ式の専用眼鏡を用いる立体方式等であれば、液晶テレビなどと原理的に同様であるため、比較的容易に実現できるものと考えられる。
【０００３】
しかるにプロジェクタ装置では、液晶テレビ等と異なり、投影されている画像中の任意の位置を例えばレーザポインタのような道具を用いて指示する必要が生じる場合があるが、上記レーザポインタ等では、投影画像中の２次元的な位置を示す（ポイントする）ものとなるので、例えば、投影している立体画像との奥行き方向の関係等を表現することができない。
【０００４】
また、ＧＵＩ（グラフィカル・ユーザ・インターフェイス）を用いたコンピュータの分野では、擬似的に３次元表示されたアイテムを、筆圧感知型タブレットなどの擬似的に三次元情報を入力する装置を用いて操作する技術が考えられている。（例えば、特許文献１）
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１１−００７３７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記特許文献は、ＧＵＩを用いたコンピュータで、タブレットなどの間接的な操作で位置を指定するポインタとして考えられた技術であり、表示された画像中の任意の位置を直接指示できるものではない。そのため、プロジェクタ装置のような投影装置で、投影する立体画像中の位置を直接指示するような技術には適用できない。
【０００７】
本発明は上記のような実情に鑑みてなされたもので、その目的とするところは、投影する３次元画像に対応して立体的なポインティングや描画等を直接実行することが可能な投影システム、投影装置、投影方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
本発明の一態様は、投影装置と、この投影装置が投影する画像中の任意位置を指定するポイント装置とを有する投影システムであって、上記ポイント装置は、上記投影装置が投影する左目用画像及び右目用画像に向けてポイント操作された際、該各画像に重畳されている各位置座標を示す情報を読取って復調する位置取得手段と、上記ポイント操作時に装置に与えられる外力の方向及び大きさを検知する操作検知手段と、上記位置取得手段で得た各位置座標を示す情報と上記操作検知手段で検知した外力の方向及び大きさを示す情報とを上記投影装置に対して送信する送信手段とを備え、上記投影装置は、画像信号を入力する入力手段と、上記入力手段で入力した画像信号に対応し、それぞれに不可視の位置座標情報を重畳した左目用画像と右目用画像とを投影する投影手段と、上記ポイント装置の送信手段から送られてくる、左目用画像及び右目用画像の各位置座標を示す情報と、外力の方向及び大きさを示す情報とを受信する受信手段と、上記受信手段で受信した情報に基づき、上記投影手段で投影している画像の３次元空間中の指定位置を算出する位置算出手段と、上記位置算出手段で算出した３次元空間中の指定位置に従って上記投影手段で投影する画像中に所定のポイント画像を加えて投影させる投影制御手段とを備えることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、投影する３次元画像に対応して立体的なポインティングや描画等を直接実行することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施形態に係る投影システムの概略構成を示す図。
【図２】同実施形態に係るデータプロジェクタ装置内部の機能構成を示すブロック図。
【図３】同実施形態に係るポイントペン内部の機能構成を示すブロック図。
【図４】同実施形態に係るデータプロジェクタ装置で投影動作時に実行する主としてポイントペン操作に伴う描画処理の内容を示すフローチャート。
【発明を実施するための形態】
【００１１】
以下本発明をＤＬＰ（登録商標）方式のデータプロジェクタ装置を含む３Ｄ投影システムに適用した場合の一実施形態について図面を参照して説明する。
図１は、上記３Ｄ投影システムの概略構成を示す。同図で１がデータプロジェクタ装置、２が上記データプロジェクタ装置１専用のポイントペンであり、データプロジェクタ装置１とポイントペン２とは例えばＢｌｕｅｔｏｏｔｈ（登録商標）技術により無線接続される。データプロジェクタ装置１は外部接続される機器、あるいはＵＳＢメモリ等に記録された画像ファイルから入力する画像信号に応じた画像を、投影対象のスクリーンＳＣに投影する。
【００１２】
データプロジェクタ装置１が投影する画像は、肉眼では不可視であるが本来の画像に対して各画素領域毎に位置座標情報が階調表現上でＰＷＭ変調して重畳されている。
【００１３】
加えてデータプロジェクタ装置１が投影する画像は、時分割で左目用画像と右目用画像が交互に出力される。スクリーンＳＣに投影された画像を見るユーザは、３Ｄメガネ３を装着することで、投影画像に同期して左目と右目が交互にレンズ面に形成された液晶シャッタにより遮蔽されるため、左目用画像と右目用画像とが正しく視認され、３Ｄ（立体）画像として認識することができる。
【００１４】
ポイントペン２は、詳しくは後述するが、内部に受光系及び上記位置座標信号の復調回路を備え、投影画像中の任意の位置をポイントとすることにより、そのポイント位置の位置座標信号を復調し、その時点でポイントペン２を操作した際の外力を示す情報と共にプロジェクタ１に送信する。
【００１５】
これを受けたデータプロジェクタ装置１は、例えば投影画像中の該当位置に図示する如くポインタ画像ＰＴを重ねて投影させる。
【００１６】
次に図２により上記データプロジェクタ装置１の概略機能構成を説明する。
同図で１１は入力部であり、例えばビデオ入力端子、ＲＧＢ入力端子、ＶＧＡ端子などを備え、これらのいずれかの端子に与えられる画像信号に対し、必要に応じてデジタル化した後に、システムバスＳＢ１を介して画像変換部１３に送る。
【００１７】
また、１２はＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）インタフェース（Ｉ／Ｆ）であり、Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ端子を備える。図示しないＵＳＢケーブルを用い、外部機器として例えばパーソナルコンピュータを接続した場合、データプロジェクタ装置１にはＵＳＢのアイソクロナス転送により静止画、動画や音声等のデジタルデータが入力可能となる。
【００１８】
しかるに、入力部１１またはＵＳＢインタフェース１２を介して入力した画像信号に対し、スケーラとも称される画像変換部１３が投影に適した所定のフォーマットの画像データに変換して投影処理部１４へ送る。
【００１９】
この際、ＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）用の各種動作状態を示すシンボル、上述したポインタ画像ＰＴ等の画像データも必要に応じて画像変換部１３が画像データに重畳加工し、加工後の画像データを投影処理部１４へ送る。
【００２０】
投影処理部１４は、内部に表示用のメモリ（ビデオメモリ）を有し、送られてきた画像データに応じて、所定のフォーマットに従ったフレームレート、例えば１２０［フレーム／秒］（左目用画像及び右目用画像共に６０［フレーム／秒］）と色成分の分割数、及び表示階調数を乗算した、より高速な時分割駆動により、上記表示用のメモリに記憶したデータを用いて空間的光変調素子であるマイクロミラー素子１５を表示するべく駆動する。
【００２１】
このマイクロミラー素子１５は、アレイ状に配列された複数、例えばＷＸＧＡ（Ｗｉｄｅ ｅＸｔｅｎｄｅｄ Ｇｒａｐｈｉｃ Ａｒｒａｙ）（横１２８０画素×縦８００画素）分の微小ミラーの各傾斜角度を個々に高速でオン／オフ動作して画像を表示することで、その反射光により光像を形成する。
【００２２】
このときマイクロミラー素子１５で表示する画像には、肉眼では不可視であるが本来の画像に対して各画素領域毎に位置座標情報が階調表現上でＰＷＭ変調して重畳されている。
【００２３】
一方で、光源部１６から時分割でＲ，Ｇ，Ｂの原色光を含む複数色の光が循環的に時分割で順次出射される。この光源部１６からの光が、ミラー１７で全反射して上記マイクロミラー素子１５に照射される。
【００２４】
そして、マイクロミラー素子１５での反射光で光源光の色に応じた光像が形成され、形成された光像が投影レンズ部１８を介して、投影対象となる図示しないスクリーンに投影表示される。
【００２５】
上記各回路の動作すべてをＣＰＵ１９が制御する。このＣＰＵ１９は、メインメモリ２０及びプログラムメモリ２１と直接接続される。メインメモリ２０は、例えばＳＲＡＭで構成され、ＣＰＵ１９のワークメモリとして機能する。プログラムメモリ２１は、電気的に書換可能な不揮発性メモリで構成され、ＣＰＵ１９が実行する動作プログラムや各種定型データ等を記憶する。ＣＰＵ１９は、上記メインメモリ２０及びプログラムメモリ２１を用いて、このデータプロジェクタ装置１内の制御動作を実行する。
【００２６】
上記ＣＰＵ１９は、操作部２２からのキー操作信号に応じて各種投影動作を実行する。
この操作部２２は、データプロジェクタ装置１の本体に設けられるキー操作部と、このデータプロジェクタ装置１専用の図示しないリモートコントローラからの赤外光を受光する赤外線受光部とを含み、ユーザが本体のキー操作部またはリモートコントローラで操作したキーに基づくキー操作信号をＣＰＵ１９へ直接出力する。
【００２７】
上記ＣＰＵ１９はさらに、上記システムバスＳＢ１を介して音声処理部２３、ポインタ通信部２４とも接続される。音声処理部２３は、ＰＣＭ音源等の音源回路を備え、投影動作時に与えられる音声データをアナログ化し、スピーカ部２５を駆動して拡声放音させ、あるいは必要によりビープ音等を発生させる。
【００２８】
ポインタ通信部２４は、アンテナ２６を介して上記ポイントペン２と無線接続し、ポイントペン２から送られてくる座標情報やポイントペン２に与えられた外力に応じた検知信号、及びポイントペン２に備えられる各種キーの操作信号等を受信して上記ＣＰＵ１９へ送出する。
【００２９】
次に図３により上記ポイントペン２の概略機能構成を説明する。
【００３０】
同図で３１は受光レンズ部３１である。上記スクリーンＳＣにこの受光レンズ部３１を対向させた場合、そのスクリーンＳＣ上のスポット位置における光の明滅が受光レンズ部３１で捉えられ、受光センサ３２上で結像される。受光センサ３２の出力する受光信号は受光復調部３３に送られる。
【００３１】
受光復調部３３は、送られてきた受光信号をデジタル化した後に復調することで、受光レンズ部３１が対向していたスクリーンＳＣ上の投影画像内における２次元の位置座標を取得し、取得した位置座標データを、システムバスＳＢ２を介してＣＰＵ３４へ送出する。
【００３２】
このＣＰＵ３４は、メインメモリ３５及びプログラムメモリ３６と直接接続される。メインメモリ３５は、例えばＳＲＡＭで構成され、ＣＰＵ３４のワークメモリとして機能する。プログラムメモリ３６は、電気的に書換可能な不揮発性メモリで構成され、ＣＰＵ３４が実行する動作プログラムや各種定型データ等を記憶する。ＣＰＵ３４は、上記メインメモリ３５及びプログラムメモリ３６を用いて、このポイントペン２内の制御動作を実行する。
【００３３】
上記ＣＰＵ３４は、キー操作部３７からのキー操作信号に応じて各種ポイント動作を実行する。
このキー操作部３７は、例えばこのポイントペン２の電源キー、クリック操作に使用するクリックキー、動作メニュー選択時にメニュー項目を選択するための番号キー等を含み、それらのキー操作に基づくキー操作信号をＣＰＵ３４へ直接出力する。
【００３４】
上記ＣＰＵ３４はさらに、上記システムバスＳＢ２を介してジャイロセンサ３８、３軸加速度センサ３９、及びプロジェクタ通信部４０とも接続される。
ジャイロセンサ３８は、例えば振動型のジャイロセンサで構成され、振動片に加わるコリオリの力から角速度を検出して、このポイントペン２がユーザの外力に操作された場合の角度を検知する。
【００３５】
３軸加速度センサ３９は、３次元空間内に働く、重力加速度を含む加速度を検知するもので、検知した加速度を積分することでポイントペン２の移動速度を、その移動速度を積分することで移動距離を求めることができる。
【００３６】
したがって、ジャイロセンサ３８と３軸加速度センサ３９の検知出力を用いることで、ＣＰＵ３４はポイントペン２がユーザによってどのような方向にどの程度の大きさで操作されたのかを検知することができる。
【００３７】
プロジェクタ通信部４０は、アンテナ４１を介して上記データプロジェクタ装置１側と無線接続し、上記投影画像の位置座標データや上記ジャイロセンサ３８、３軸加速度センサ３９で検知した検知データ等をデータプロジェクタ装置１に向けて送信する。
【００３８】
次に上記実施形態の動作について説明する。
なお、以下に示す動作は３Ｄ画像の投影動作時にデータプロジェクタ装置１内でＣＰＵ１９の制御に基づいて実行するものである。ＣＰＵ１９はプログラムメモリ２１に記憶されている動作プログラムやデータを読出し、メインメモリ２０に展開して記憶させた上で該動作プログラムを実行する。
【００３９】
プログラムメモリ２１に記憶されている動作プログラム等は、このデータプロジェクタ装置１の製造工場出荷時にプログラムメモリ２１に記憶されていたものに加え、例えばこのデータプロジェクタ装置１のバージョンアップに際して、データプロジェクタ装置１を、上記ＵＳＢインタフェース１２を介してパーソナルコンピュータと接続、あるいはバージョンアップ用のソフトウェアを格納したＵＳＢメモリをＵＳＢ端子に接続することにより外部から新たな動作プログラム等をインストールするものも含む。
【００４０】
図４は、３Ｄ画像の投影モード時に投影する一つの画像に対し、ポイントペン２の操作に対応した処理内容を示すフローチャートである。
その当初においてＣＰＵ１９は、入力部１１またはＵＳＢインタフェース１２から入力される画像信号に応じた３Ｄ画像のスクリーンＳＣへの投影処理を実行する（ステップＳ１０１）。
【００４１】
その上でＣＰＵ１９は、それまで投影していた画像を切換えるなどの理由により当該画像の投影の終了タイミングとなったか否かを判断する（ステップＳ１０２）。
ここでまだ画像の終了タイミングとはなっていないと判断した場合、さらにＣＰＵ１９はポイントペン２の描画用のキー操作、例えばクリックキーの操作があったか否かをポインタ通信部２４からの受信状況により判断する（ステップＳ１０３）。
【００４２】
ポイントペン２の描画用のキー操作がないと判断した場合、ＣＰＵ１９は上記ステップＳ１０１からの処理に戻る。
【００４３】
また上記ステップＳ１０３でポイントペン２の描画用のキー操作があった判断した場合は、次にその時点でポイントペン２から受信している位置座標データの内容を確認した上で（ステップＳ１０４）、当該位置座標データがあるか否かにより、その時点でポイントペン２によりスクリーンＳＣ上の投影画像の範囲内をポイント中であるか否かを判断する（ステップＳ１０５）。
【００４４】
ここで、当該位置座標データがなく、投影画像の範囲内をポイントしていないと判断した場合には、描画を行なうことができないものとして、上記ポイントペン２の描画用のキー操作を無効とし、上記ステップＳ１０１からの処理に戻る。
【００４５】
また上記ステップＳ１０５で当該位置座標データがあり、投影画像の範囲内をポイント中であると判断するとＣＰＵ１９は、あらためて左目用画像の投影タイミングに同期して投影画像でポイントしている位置の位置座標データを取得する（ステップＳ１０６）。
【００４６】
続けてＣＰＵ１９は、右目用画像の投影タイミングに同期して投影画像でポイントしている位置の位置座標データを取得する（ステップＳ１０７）。
【００４７】
さらに、その時点でポイントペン２内のジャイロセンサ３８の検知出力である角速度を取得すると共に（ステップＳ１０８）、３軸加速度センサ３９の検知出力である３軸加速度を取得する（ステップＳ１０９）。
【００４８】
ここで、描画が連続した描画の第１点目である場合にのみ、初期位置の設定処理を実行する（ステップＳ１１０ｐｒｅ）。この初期位置設定処理では、上記取得した左目用画像のポイント位置の位置座標データと右目用画像のポイント位置の位置座標データのみを用い、基準となる奥行き方向の位置（初期位置）を設定するためのもので、そのときは、上記各センサの検知出力は用いられない。
【００４９】
この基準位置（初期位置）の設定は、例えば、ポイントペン２のキー操作によって行なうことができる。
【００５０】
次に、上記取得した左目用画像のポイント位置の位置座標データ、右目用画像のポイント位置の位置座標データ、ジャイロセンサ３８及び３軸加速度センサ３９の各検知出力によりＣＰＵ１９は、その時点でポイントペン２が３Ｄ投影している画像中のどの位置がポイントされ、且つそのときにポイントペン２がどの方向にどれだけの大きさで操作されたのかを算出することで、基準位置（初期位置）に対する３次元空間内での位置座標を算出する（ステップＳ１１０）。
【００５１】
この算出結果に従ってＣＰＵ１９は、ポイント位置を示す３Ｄの描画データを作成する（ステップＳ１１１）。この３Ｄの描画データの作成に際して、上記ステップＳ１１０ｐｒｅにより基準位置（初期位置）の設定時にのみ各センサ出力が無効化され、以後のポイントペン２の操作によりこの基準位置（初期位置）を始点（基準点）とした描画が実行されることとなる。
【００５２】
つまり、２点目以降の始点からの奥行き方向の変化は、上記各センサの検知出力に対して、予め設定されたパラメータ（感度係数）によって設定される。
【００５３】
こうして作成した描画データを当該位置に上書きするように入力画像に重畳処理して投影処理部１４内部の表示用メモリに設定した上で投影処理を行ない（ステップＳ１１２）、上記ステップＳ１０１からの処理に戻る。
【００５４】
上記動作自体は、投影している画像情報とは基本的には関係がないが、このようにして、作成した描画データを、投影されている立体画像の視差に対応するように立体表示されるようにしてもよい。
【００５５】
また、このとき投影している入力画像の画像情報、立体画像の奥行き情報を判断することにより、描画データに入力画像との関係を表す描画効果を与えることもできる。
【００５６】
例えば、図１に示すような直方体を立体投影している場合を考える。このときポイント指示された位置が、３次元空間中で投影している画像の表面を含めてその手前に位置すると見なされる場合には、予め設定されている色、例えば黄色の実線による描画データを作成する。
【００５７】
一方で、ポイント指示された位置が、３次元空間中で投影している画像の表面より内部（奥側）であると見なされる場合には、予め設定されている色、例えば黄色により意図的に隙間を規則的に配置して形成した点線等の描画データを作成するような動作である。
【００５８】
例えば、ポイントペン２によりスクリーンＳＣ上に投影された画像の範囲内をポイントする際、例えばポイントペン２をスクリーンＳＣの面と平行に移動させるようにユーザがポイントペン２を操作した場合には、その操作状態をジャイロセンサ３８及び３軸加速度センサ３９の各検知出力により判断して、投影されている画像に重ねて完全に上書きするような描画を行なう。
【００５９】
一方で、ポイントペン２で投影画像をポイントした後にポイントペン２をスクリーンＳＣ面と垂直な（奥側の）方向に押し込むような操作、あるいはポイントペン２の先端をスクリーンＳＣ面の奥側に向けて振るような小さい幅でのスイング状の操作を行なった場合に、その操作の方向と大きさとをジャイロセンサ３８及び３軸加速度センサ３９の各検知出力により判断して、投影されている画像の内部に埋没するような点線等の描画を行なうことができる。
【００６０】
このように投影される画像に対する描画データは、入力部１１またはＵＳＢインタフェース１２より入力されている画像信号に対応したものとして随時、線種を表す情報と位置座標とを含むベクトルデータ化してメインメモリ２０に蓄積しながら記憶しておく。
【００６１】
しかるに、投影する画像を切換える場合、または投影動作を終了する場合など、それまで投影していた画像の投影を終了するタイミングとなった場合、上記ステップＳ１０２でそれを判断する。
【００６２】
このときＣＰＵ１９は、それまでメインメモリ２０に記憶していた、線種を表す情報と位置座標とを含むベクトルデータ化した描画データを取り纏めて、元の画像信号に添付する描画データのファイルを作成し、作成したファイルを、ＵＳＢインタフェース１２を介してＵＳＢ端子にＵＳＢメモリが装着されている場合に該ＵＳＢメモリに保存させる（ステップＳ１１３）。
【００６３】
以上で、入力された１つの画像信号に対応したポイントペン２の操作を含む処理を終了し、次に入力され画像に対する同様の処理に移行する。
【００６４】
なお、上記動作の説明では、投影画像に対してポイントペン２を用いて描画を行なうものとし、ポイントペン２のクリックキーを操作した状態での操作位置を描画するものとして説明したが、その他にも、例えば投影画像中の任意の２点、または３点を指定することで、その２点または３点を通るような直線、または平面（図形に対する切断面など）を規定するなど、上記実施形態では示さなかった種々の操作を考えることができる。
【００６５】
以上詳述した如く本実施形態によれば、投影する３次元画像に対応して立体的なポインティングや描画等を直接実行することが可能となる。
【００６６】
加えて上記実施形態では、入力される画像信号の視差に対応するように、ユーザが投影時にポイントペン２を用いて操作した内容に視差を与えるようにすれば、入力される画像信号に整合のとれたポイント画像を重畳することができる。
【００６７】
さらに上記実施形態では、入力される画像信号に対してユーザが投影時にポイントペン２を用いて操作した内容を保存できるものとしたので、投影段階でユーザが画像に対して付加した各種の情報を電子化して後に活用することができる。
【００６８】
また上記実施形態では、投影した画像に対してユーザがポイントペン２の操作により描画等を行なった場合、その操作の仕方によって３次元空間中の位置により投影する描画部分の態様、例えば線の種類などを変えて投影させるものとしたため、より多彩な表現を用いて３次元画像のポイント操作を実現できる。
【００６９】
なお、上記実施形態はＤＬＰ（登録商標）方式のデータプロジェクタ装置を含む３Ｄ投影システムに適用した例であるが、本発明はプロジェクタ方式等を限定することなく、例えばカラー液晶パネルを用いたプロジェクタ装置を含むシステム等でも同様に適用可能となる。
【００７０】
その他、本発明は上述した実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、上述した実施形態で実行される機能は可能な限り適宜組み合わせて実施しても良い。上述した実施形態には種々の段階が含まれており、開示される複数の構成要件による適宜の組み合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、効果が得られるのであれば、この構成要件が削除された構成が発明として抽出され得る。
【００７１】
以下に、本願出願の当所の特許請求の範囲に記載された発明を付記する。
請求項１記載の発明は、投影装置と、この投影装置が投影する画像中の任意位置を指定するポイント装置とを有する投影システムであって、上記ポイント装置は、上記投影装置が投影する左目用画像及び右目用画像に向けてポイント操作された際、該各画像に重畳されている各位置座標を示す情報を読取って復調する位置取得手段と、上記ポイント操作時に装置に与えられる外力の方向及び大きさを検知する操作検知手段と、上記位置取得手段で得た各位置座標を示す情報と上記操作検知手段で検知した外力の方向及び大きさを示す情報とを上記投影装置に対して送信する送信手段とを備え、上記投影装置は、画像信号を入力する入力手段と、上記入力手段で入力した画像信号に対応し、それぞれに不可視の位置座標情報を重畳した左目用画像と右目用画像とを投影する投影手段と、上記ポイント装置の送信手段から送られてくる、左目用画像及び右目用画像の各位置座標を示す情報と、外力の方向及び大きさを示す情報とを受信する受信手段と、上記受信手段で受信した情報に基づき、上記投影手段で投影している画像の３次元空間中の指定位置を算出する位置算出手段と、上記位置算出手段で算出した３次元空間中の指定位置に従って上記投影手段で投影する画像中に所定のポイント画像を加えて投影させる投影制御手段とを備えることを特徴とする。
【００７２】
請求項２記載の発明は、上記請求項１記載の発明において、上記投影装置の投影制御手段は、上記投影させる所定のポイント画像を、投影されている画像信号の視差に対応するように加えることを特徴とする。
【００７３】
請求項３記載の発明は、上記請求項１または２記載の発明において、上記投影装置は、上記投影制御手段で加えて投影するポイント画像を示す画像信号を保持する保持手段と、上記投影手段で投影する画像の切換時に、上記保持手段で保持する、当該画像に加えて投影した一連のポイント画像を示す画像信号を保存する保存手段とをさらに備えることを特徴とする。
【００７４】
請求項４記載の発明は、上記請求項１乃至３いずれかに記載の発明において、上記投影装置の投影制御手段は、上記投影手段で投影する画像に応じて、加えて投影させる所定のポイント画像の態様を可変することを特徴とする。
【００７５】
請求項５記載の発明は、投影画像中の任意位置を指定するポイント装置を投影時に併用する投影装置であって、画像信号を入力する入力手段と、上記入力手段で入力した画像信号に対応し、それぞれに不可視の位置座標情報を重畳した左目用画像と右目用画像とを投影する投影手段と、上記ポイント装置から送られてくる、左目用画像及び右目用画像の各位置座標を示す情報と、ポインタ装置に与えられた外力の方向及び大きさを示す情報とを受信する受信手段と、上記受信手段で受信した情報に基づき、上記投影手段で投影している画像の３次元空間中の指定位置を算出する位置算出手段と、上記位置算出手段で算出した３次元空間中の指定位置に従って上記投影手段で投影する画像中に所定のポイント画像を加えて投影させる投影制御手段とを備えたことを特徴とする。
【００７６】
請求項６記載の発明は、投影画像中の任意位置を指定するポイント装置を投影時に併用する、画像信号を入力する入力部、及び上記入力部で入力した画像信号に対応し、それぞれに不可視の位置座標情報を重畳した左目用画像と右目用画像とを投影する投影部を備えた装置での投影方法であって、上記ポイント装置から送られてくる、左目用画像及び右目用画像の各位置座標を示す情報と、ポインタ装置に与えられた外力の方向及び大きさを示す情報とを受信する受信工程と、上記受信工程で受信した情報に基づき、上記投影部で投影している画像の３次元空間中の指定位置を算出する位置算出工程と、上記位置算出工程で算出した３次元空間中の指定位置に従って上記投影部で投影する画像中に所定のポイント画像を加えて投影させる投影制御工程とを有したことを特徴とする。
【００７７】
請求項７記載の発明は、投影画像中の任意位置を指定するポイント装置を投影時に併用する、画像信号を入力する入力部、及び上記入力部で入力した画像信号に対応し、それぞれに不可視の位置座標情報を重畳した左目用画像と右目用画像とを投影する投影部を備えた装置が内蔵するコンピュータが実行するプログラムであって、上記コンピュータを、上記ポイント装置から送られてくる、左目用画像及び右目用画像の各位置座標を示す情報と、ポインタ装置に与えられた外力の方向及び大きさを示す情報とを受信する受信手段、上記受信手段で受信した情報に基づき、上記投影部で投影している画像の３次元空間中の指定位置を算出する位置算出手段、及び上記位置算出手段で算出した３次元空間中の指定位置に従って上記投影部で投影する画像中に所定のポイント画像を加えて投影させる投影制御手段として機能させることを特徴とする。
【符号の説明】
【００７８】
１…データプロジェクタ装置、２…ポイントペン、３…３Ｄメガネ、１１…入力部、１２…ＵＳＢインタフェース（Ｉ／Ｆ）、１３…画像変換部、１４…投影処理部、１５…マイクロミラー素子、１６…光源部、１７…ミラー、１８…投影レンズ部、１９…ＣＰＵ、２０…メインメモリ、２１…プログラムメモリ、２２…操作部、２３…音声処理部、２４…ポインタ通信部、２５…スピーカ部、２６…アンテナ、３１…受光レンズ部、３２…受光センサ、３３…受光復調部、３４…ＣＰＵ、３５…メインメモリ、３６…キー操作部、３７…キー操作部、３８…ジャイロセンサ、３９…３軸加速度センサ、４０…プロジェクタ通信部、４１…アンテナ、ＳＢ１，ＳＢ２…システムバス、ＳＣ…スクリーン。
【技術分野】
【０００１】
本発明は、立体画像の投影を行なう投影システム、投影装置、投影方法及びプログラムに関する。
【背景技術】
【０００２】
近時、映画や液晶テレビ、携帯ゲームで立体画像の投影、表示が実用化されており、広く一般に普及しようとしている。プロジェクタ装置でこの種の立体画像の投影機能を実現しようとした場合、例えば液晶シャッタ式の専用眼鏡を用いる立体方式等であれば、液晶テレビなどと原理的に同様であるため、比較的容易に実現できるものと考えられる。
【０００３】
しかるにプロジェクタ装置では、液晶テレビ等と異なり、投影されている画像中の任意の位置を例えばレーザポインタのような道具を用いて指示する必要が生じる場合があるが、上記レーザポインタ等では、投影画像中の２次元的な位置を示す（ポイントする）ものとなるので、例えば、投影している立体画像との奥行き方向の関係等を表現することができない。
【０００４】
また、ＧＵＩ（グラフィカル・ユーザ・インターフェイス）を用いたコンピュータの分野では、擬似的に３次元表示されたアイテムを、筆圧感知型タブレットなどの擬似的に三次元情報を入力する装置を用いて操作する技術が考えられている。（例えば、特許文献１）
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１１−００７３７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記特許文献は、ＧＵＩを用いたコンピュータで、タブレットなどの間接的な操作で位置を指定するポインタとして考えられた技術であり、表示された画像中の任意の位置を直接指示できるものではない。そのため、プロジェクタ装置のような投影装置で、投影する立体画像中の位置を直接指示するような技術には適用できない。
【０００７】
本発明は上記のような実情に鑑みてなされたもので、その目的とするところは、投影する３次元画像に対応して立体的なポインティングや描画等を直接実行することが可能な投影システム、投影装置、投影方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
本発明の一態様は、投影装置と、この投影装置が投影する画像中の任意位置を指定するポイント装置とを有する投影システムであって、上記ポイント装置は、上記投影装置が投影する左目用画像及び右目用画像に向けてポイント操作された際、該各画像に重畳されている各位置座標を示す情報を読取って復調する位置取得手段と、上記ポイント操作時に装置に与えられる外力の方向及び大きさを検知する操作検知手段と、上記位置取得手段で得た各位置座標を示す情報と上記操作検知手段で検知した外力の方向及び大きさを示す情報とを上記投影装置に対して送信する送信手段とを備え、上記投影装置は、画像信号を入力する入力手段と、上記入力手段で入力した画像信号に対応し、それぞれに不可視の位置座標情報を重畳した左目用画像と右目用画像とを投影する投影手段と、上記ポイント装置の送信手段から送られてくる、左目用画像及び右目用画像の各位置座標を示す情報と、外力の方向及び大きさを示す情報とを受信する受信手段と、上記受信手段で受信した情報に基づき、上記投影手段で投影している画像の３次元空間中の指定位置を算出する位置算出手段と、上記位置算出手段で算出した３次元空間中の指定位置に従って上記投影手段で投影する画像中に所定のポイント画像を加えて投影させる投影制御手段とを備えることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、投影する３次元画像に対応して立体的なポインティングや描画等を直接実行することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施形態に係る投影システムの概略構成を示す図。
【図２】同実施形態に係るデータプロジェクタ装置内部の機能構成を示すブロック図。
【図３】同実施形態に係るポイントペン内部の機能構成を示すブロック図。
【図４】同実施形態に係るデータプロジェクタ装置で投影動作時に実行する主としてポイントペン操作に伴う描画処理の内容を示すフローチャート。
【発明を実施するための形態】
【００１１】
以下本発明をＤＬＰ（登録商標）方式のデータプロジェクタ装置を含む３Ｄ投影システムに適用した場合の一実施形態について図面を参照して説明する。
図１は、上記３Ｄ投影システムの概略構成を示す。同図で１がデータプロジェクタ装置、２が上記データプロジェクタ装置１専用のポイントペンであり、データプロジェクタ装置１とポイントペン２とは例えばＢｌｕｅｔｏｏｔｈ（登録商標）技術により無線接続される。データプロジェクタ装置１は外部接続される機器、あるいはＵＳＢメモリ等に記録された画像ファイルから入力する画像信号に応じた画像を、投影対象のスクリーンＳＣに投影する。
【００１２】
データプロジェクタ装置１が投影する画像は、肉眼では不可視であるが本来の画像に対して各画素領域毎に位置座標情報が階調表現上でＰＷＭ変調して重畳されている。
【００１３】
加えてデータプロジェクタ装置１が投影する画像は、時分割で左目用画像と右目用画像が交互に出力される。スクリーンＳＣに投影された画像を見るユーザは、３Ｄメガネ３を装着することで、投影画像に同期して左目と右目が交互にレンズ面に形成された液晶シャッタにより遮蔽されるため、左目用画像と右目用画像とが正しく視認され、３Ｄ（立体）画像として認識することができる。
【００１４】
ポイントペン２は、詳しくは後述するが、内部に受光系及び上記位置座標信号の復調回路を備え、投影画像中の任意の位置をポイントとすることにより、そのポイント位置の位置座標信号を復調し、その時点でポイントペン２を操作した際の外力を示す情報と共にプロジェクタ１に送信する。
【００１５】
これを受けたデータプロジェクタ装置１は、例えば投影画像中の該当位置に図示する如くポインタ画像ＰＴを重ねて投影させる。
【００１６】
次に図２により上記データプロジェクタ装置１の概略機能構成を説明する。
同図で１１は入力部であり、例えばビデオ入力端子、ＲＧＢ入力端子、ＶＧＡ端子などを備え、これらのいずれかの端子に与えられる画像信号に対し、必要に応じてデジタル化した後に、システムバスＳＢ１を介して画像変換部１３に送る。
【００１７】
また、１２はＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）インタフェース（Ｉ／Ｆ）であり、Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ端子を備える。図示しないＵＳＢケーブルを用い、外部機器として例えばパーソナルコンピュータを接続した場合、データプロジェクタ装置１にはＵＳＢのアイソクロナス転送により静止画、動画や音声等のデジタルデータが入力可能となる。
【００１８】
しかるに、入力部１１またはＵＳＢインタフェース１２を介して入力した画像信号に対し、スケーラとも称される画像変換部１３が投影に適した所定のフォーマットの画像データに変換して投影処理部１４へ送る。
【００１９】
この際、ＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）用の各種動作状態を示すシンボル、上述したポインタ画像ＰＴ等の画像データも必要に応じて画像変換部１３が画像データに重畳加工し、加工後の画像データを投影処理部１４へ送る。
【００２０】
投影処理部１４は、内部に表示用のメモリ（ビデオメモリ）を有し、送られてきた画像データに応じて、所定のフォーマットに従ったフレームレート、例えば１２０［フレーム／秒］（左目用画像及び右目用画像共に６０［フレーム／秒］）と色成分の分割数、及び表示階調数を乗算した、より高速な時分割駆動により、上記表示用のメモリに記憶したデータを用いて空間的光変調素子であるマイクロミラー素子１５を表示するべく駆動する。
【００２１】
このマイクロミラー素子１５は、アレイ状に配列された複数、例えばＷＸＧＡ（Ｗｉｄｅ ｅＸｔｅｎｄｅｄ Ｇｒａｐｈｉｃ Ａｒｒａｙ）（横１２８０画素×縦８００画素）分の微小ミラーの各傾斜角度を個々に高速でオン／オフ動作して画像を表示することで、その反射光により光像を形成する。
【００２２】
このときマイクロミラー素子１５で表示する画像には、肉眼では不可視であるが本来の画像に対して各画素領域毎に位置座標情報が階調表現上でＰＷＭ変調して重畳されている。
【００２３】
一方で、光源部１６から時分割でＲ，Ｇ，Ｂの原色光を含む複数色の光が循環的に時分割で順次出射される。この光源部１６からの光が、ミラー１７で全反射して上記マイクロミラー素子１５に照射される。
【００２４】
そして、マイクロミラー素子１５での反射光で光源光の色に応じた光像が形成され、形成された光像が投影レンズ部１８を介して、投影対象となる図示しないスクリーンに投影表示される。
【００２５】
上記各回路の動作すべてをＣＰＵ１９が制御する。このＣＰＵ１９は、メインメモリ２０及びプログラムメモリ２１と直接接続される。メインメモリ２０は、例えばＳＲＡＭで構成され、ＣＰＵ１９のワークメモリとして機能する。プログラムメモリ２１は、電気的に書換可能な不揮発性メモリで構成され、ＣＰＵ１９が実行する動作プログラムや各種定型データ等を記憶する。ＣＰＵ１９は、上記メインメモリ２０及びプログラムメモリ２１を用いて、このデータプロジェクタ装置１内の制御動作を実行する。
【００２６】
上記ＣＰＵ１９は、操作部２２からのキー操作信号に応じて各種投影動作を実行する。
この操作部２２は、データプロジェクタ装置１の本体に設けられるキー操作部と、このデータプロジェクタ装置１専用の図示しないリモートコントローラからの赤外光を受光する赤外線受光部とを含み、ユーザが本体のキー操作部またはリモートコントローラで操作したキーに基づくキー操作信号をＣＰＵ１９へ直接出力する。
【００２７】
上記ＣＰＵ１９はさらに、上記システムバスＳＢ１を介して音声処理部２３、ポインタ通信部２４とも接続される。音声処理部２３は、ＰＣＭ音源等の音源回路を備え、投影動作時に与えられる音声データをアナログ化し、スピーカ部２５を駆動して拡声放音させ、あるいは必要によりビープ音等を発生させる。
【００２８】
ポインタ通信部２４は、アンテナ２６を介して上記ポイントペン２と無線接続し、ポイントペン２から送られてくる座標情報やポイントペン２に与えられた外力に応じた検知信号、及びポイントペン２に備えられる各種キーの操作信号等を受信して上記ＣＰＵ１９へ送出する。
【００２９】
次に図３により上記ポイントペン２の概略機能構成を説明する。
【００３０】
同図で３１は受光レンズ部３１である。上記スクリーンＳＣにこの受光レンズ部３１を対向させた場合、そのスクリーンＳＣ上のスポット位置における光の明滅が受光レンズ部３１で捉えられ、受光センサ３２上で結像される。受光センサ３２の出力する受光信号は受光復調部３３に送られる。
【００３１】
受光復調部３３は、送られてきた受光信号をデジタル化した後に復調することで、受光レンズ部３１が対向していたスクリーンＳＣ上の投影画像内における２次元の位置座標を取得し、取得した位置座標データを、システムバスＳＢ２を介してＣＰＵ３４へ送出する。
【００３２】
このＣＰＵ３４は、メインメモリ３５及びプログラムメモリ３６と直接接続される。メインメモリ３５は、例えばＳＲＡＭで構成され、ＣＰＵ３４のワークメモリとして機能する。プログラムメモリ３６は、電気的に書換可能な不揮発性メモリで構成され、ＣＰＵ３４が実行する動作プログラムや各種定型データ等を記憶する。ＣＰＵ３４は、上記メインメモリ３５及びプログラムメモリ３６を用いて、このポイントペン２内の制御動作を実行する。
【００３３】
上記ＣＰＵ３４は、キー操作部３７からのキー操作信号に応じて各種ポイント動作を実行する。
このキー操作部３７は、例えばこのポイントペン２の電源キー、クリック操作に使用するクリックキー、動作メニュー選択時にメニュー項目を選択するための番号キー等を含み、それらのキー操作に基づくキー操作信号をＣＰＵ３４へ直接出力する。
【００３４】
上記ＣＰＵ３４はさらに、上記システムバスＳＢ２を介してジャイロセンサ３８、３軸加速度センサ３９、及びプロジェクタ通信部４０とも接続される。
ジャイロセンサ３８は、例えば振動型のジャイロセンサで構成され、振動片に加わるコリオリの力から角速度を検出して、このポイントペン２がユーザの外力に操作された場合の角度を検知する。
【００３５】
３軸加速度センサ３９は、３次元空間内に働く、重力加速度を含む加速度を検知するもので、検知した加速度を積分することでポイントペン２の移動速度を、その移動速度を積分することで移動距離を求めることができる。
【００３６】
したがって、ジャイロセンサ３８と３軸加速度センサ３９の検知出力を用いることで、ＣＰＵ３４はポイントペン２がユーザによってどのような方向にどの程度の大きさで操作されたのかを検知することができる。
【００３７】
プロジェクタ通信部４０は、アンテナ４１を介して上記データプロジェクタ装置１側と無線接続し、上記投影画像の位置座標データや上記ジャイロセンサ３８、３軸加速度センサ３９で検知した検知データ等をデータプロジェクタ装置１に向けて送信する。
【００３８】
次に上記実施形態の動作について説明する。
なお、以下に示す動作は３Ｄ画像の投影動作時にデータプロジェクタ装置１内でＣＰＵ１９の制御に基づいて実行するものである。ＣＰＵ１９はプログラムメモリ２１に記憶されている動作プログラムやデータを読出し、メインメモリ２０に展開して記憶させた上で該動作プログラムを実行する。
【００３９】
プログラムメモリ２１に記憶されている動作プログラム等は、このデータプロジェクタ装置１の製造工場出荷時にプログラムメモリ２１に記憶されていたものに加え、例えばこのデータプロジェクタ装置１のバージョンアップに際して、データプロジェクタ装置１を、上記ＵＳＢインタフェース１２を介してパーソナルコンピュータと接続、あるいはバージョンアップ用のソフトウェアを格納したＵＳＢメモリをＵＳＢ端子に接続することにより外部から新たな動作プログラム等をインストールするものも含む。
【００４０】
図４は、３Ｄ画像の投影モード時に投影する一つの画像に対し、ポイントペン２の操作に対応した処理内容を示すフローチャートである。
その当初においてＣＰＵ１９は、入力部１１またはＵＳＢインタフェース１２から入力される画像信号に応じた３Ｄ画像のスクリーンＳＣへの投影処理を実行する（ステップＳ１０１）。
【００４１】
その上でＣＰＵ１９は、それまで投影していた画像を切換えるなどの理由により当該画像の投影の終了タイミングとなったか否かを判断する（ステップＳ１０２）。
ここでまだ画像の終了タイミングとはなっていないと判断した場合、さらにＣＰＵ１９はポイントペン２の描画用のキー操作、例えばクリックキーの操作があったか否かをポインタ通信部２４からの受信状況により判断する（ステップＳ１０３）。
【００４２】
ポイントペン２の描画用のキー操作がないと判断した場合、ＣＰＵ１９は上記ステップＳ１０１からの処理に戻る。
【００４３】
また上記ステップＳ１０３でポイントペン２の描画用のキー操作があった判断した場合は、次にその時点でポイントペン２から受信している位置座標データの内容を確認した上で（ステップＳ１０４）、当該位置座標データがあるか否かにより、その時点でポイントペン２によりスクリーンＳＣ上の投影画像の範囲内をポイント中であるか否かを判断する（ステップＳ１０５）。
【００４４】
ここで、当該位置座標データがなく、投影画像の範囲内をポイントしていないと判断した場合には、描画を行なうことができないものとして、上記ポイントペン２の描画用のキー操作を無効とし、上記ステップＳ１０１からの処理に戻る。
【００４５】
また上記ステップＳ１０５で当該位置座標データがあり、投影画像の範囲内をポイント中であると判断するとＣＰＵ１９は、あらためて左目用画像の投影タイミングに同期して投影画像でポイントしている位置の位置座標データを取得する（ステップＳ１０６）。
【００４６】
続けてＣＰＵ１９は、右目用画像の投影タイミングに同期して投影画像でポイントしている位置の位置座標データを取得する（ステップＳ１０７）。
【００４７】
さらに、その時点でポイントペン２内のジャイロセンサ３８の検知出力である角速度を取得すると共に（ステップＳ１０８）、３軸加速度センサ３９の検知出力である３軸加速度を取得する（ステップＳ１０９）。
【００４８】
ここで、描画が連続した描画の第１点目である場合にのみ、初期位置の設定処理を実行する（ステップＳ１１０ｐｒｅ）。この初期位置設定処理では、上記取得した左目用画像のポイント位置の位置座標データと右目用画像のポイント位置の位置座標データのみを用い、基準となる奥行き方向の位置（初期位置）を設定するためのもので、そのときは、上記各センサの検知出力は用いられない。
【００４９】
この基準位置（初期位置）の設定は、例えば、ポイントペン２のキー操作によって行なうことができる。
【００５０】
次に、上記取得した左目用画像のポイント位置の位置座標データ、右目用画像のポイント位置の位置座標データ、ジャイロセンサ３８及び３軸加速度センサ３９の各検知出力によりＣＰＵ１９は、その時点でポイントペン２が３Ｄ投影している画像中のどの位置がポイントされ、且つそのときにポイントペン２がどの方向にどれだけの大きさで操作されたのかを算出することで、基準位置（初期位置）に対する３次元空間内での位置座標を算出する（ステップＳ１１０）。
【００５１】
この算出結果に従ってＣＰＵ１９は、ポイント位置を示す３Ｄの描画データを作成する（ステップＳ１１１）。この３Ｄの描画データの作成に際して、上記ステップＳ１１０ｐｒｅにより基準位置（初期位置）の設定時にのみ各センサ出力が無効化され、以後のポイントペン２の操作によりこの基準位置（初期位置）を始点（基準点）とした描画が実行されることとなる。
【００５２】
つまり、２点目以降の始点からの奥行き方向の変化は、上記各センサの検知出力に対して、予め設定されたパラメータ（感度係数）によって設定される。
【００５３】
こうして作成した描画データを当該位置に上書きするように入力画像に重畳処理して投影処理部１４内部の表示用メモリに設定した上で投影処理を行ない（ステップＳ１１２）、上記ステップＳ１０１からの処理に戻る。
【００５４】
上記動作自体は、投影している画像情報とは基本的には関係がないが、このようにして、作成した描画データを、投影されている立体画像の視差に対応するように立体表示されるようにしてもよい。
【００５５】
また、このとき投影している入力画像の画像情報、立体画像の奥行き情報を判断することにより、描画データに入力画像との関係を表す描画効果を与えることもできる。
【００５６】
例えば、図１に示すような直方体を立体投影している場合を考える。このときポイント指示された位置が、３次元空間中で投影している画像の表面を含めてその手前に位置すると見なされる場合には、予め設定されている色、例えば黄色の実線による描画データを作成する。
【００５７】
一方で、ポイント指示された位置が、３次元空間中で投影している画像の表面より内部（奥側）であると見なされる場合には、予め設定されている色、例えば黄色により意図的に隙間を規則的に配置して形成した点線等の描画データを作成するような動作である。
【００５８】
例えば、ポイントペン２によりスクリーンＳＣ上に投影された画像の範囲内をポイントする際、例えばポイントペン２をスクリーンＳＣの面と平行に移動させるようにユーザがポイントペン２を操作した場合には、その操作状態をジャイロセンサ３８及び３軸加速度センサ３９の各検知出力により判断して、投影されている画像に重ねて完全に上書きするような描画を行なう。
【００５９】
一方で、ポイントペン２で投影画像をポイントした後にポイントペン２をスクリーンＳＣ面と垂直な（奥側の）方向に押し込むような操作、あるいはポイントペン２の先端をスクリーンＳＣ面の奥側に向けて振るような小さい幅でのスイング状の操作を行なった場合に、その操作の方向と大きさとをジャイロセンサ３８及び３軸加速度センサ３９の各検知出力により判断して、投影されている画像の内部に埋没するような点線等の描画を行なうことができる。
【００６０】
このように投影される画像に対する描画データは、入力部１１またはＵＳＢインタフェース１２より入力されている画像信号に対応したものとして随時、線種を表す情報と位置座標とを含むベクトルデータ化してメインメモリ２０に蓄積しながら記憶しておく。
【００６１】
しかるに、投影する画像を切換える場合、または投影動作を終了する場合など、それまで投影していた画像の投影を終了するタイミングとなった場合、上記ステップＳ１０２でそれを判断する。
【００６２】
このときＣＰＵ１９は、それまでメインメモリ２０に記憶していた、線種を表す情報と位置座標とを含むベクトルデータ化した描画データを取り纏めて、元の画像信号に添付する描画データのファイルを作成し、作成したファイルを、ＵＳＢインタフェース１２を介してＵＳＢ端子にＵＳＢメモリが装着されている場合に該ＵＳＢメモリに保存させる（ステップＳ１１３）。
【００６３】
以上で、入力された１つの画像信号に対応したポイントペン２の操作を含む処理を終了し、次に入力され画像に対する同様の処理に移行する。
【００６４】
なお、上記動作の説明では、投影画像に対してポイントペン２を用いて描画を行なうものとし、ポイントペン２のクリックキーを操作した状態での操作位置を描画するものとして説明したが、その他にも、例えば投影画像中の任意の２点、または３点を指定することで、その２点または３点を通るような直線、または平面（図形に対する切断面など）を規定するなど、上記実施形態では示さなかった種々の操作を考えることができる。
【００６５】
以上詳述した如く本実施形態によれば、投影する３次元画像に対応して立体的なポインティングや描画等を直接実行することが可能となる。
【００６６】
加えて上記実施形態では、入力される画像信号の視差に対応するように、ユーザが投影時にポイントペン２を用いて操作した内容に視差を与えるようにすれば、入力される画像信号に整合のとれたポイント画像を重畳することができる。
【００６７】
さらに上記実施形態では、入力される画像信号に対してユーザが投影時にポイントペン２を用いて操作した内容を保存できるものとしたので、投影段階でユーザが画像に対して付加した各種の情報を電子化して後に活用することができる。
【００６８】
また上記実施形態では、投影した画像に対してユーザがポイントペン２の操作により描画等を行なった場合、その操作の仕方によって３次元空間中の位置により投影する描画部分の態様、例えば線の種類などを変えて投影させるものとしたため、より多彩な表現を用いて３次元画像のポイント操作を実現できる。
【００６９】
なお、上記実施形態はＤＬＰ（登録商標）方式のデータプロジェクタ装置を含む３Ｄ投影システムに適用した例であるが、本発明はプロジェクタ方式等を限定することなく、例えばカラー液晶パネルを用いたプロジェクタ装置を含むシステム等でも同様に適用可能となる。
【００７０】
その他、本発明は上述した実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、上述した実施形態で実行される機能は可能な限り適宜組み合わせて実施しても良い。上述した実施形態には種々の段階が含まれており、開示される複数の構成要件による適宜の組み合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、効果が得られるのであれば、この構成要件が削除された構成が発明として抽出され得る。
【００７１】
以下に、本願出願の当所の特許請求の範囲に記載された発明を付記する。
請求項１記載の発明は、投影装置と、この投影装置が投影する画像中の任意位置を指定するポイント装置とを有する投影システムであって、上記ポイント装置は、上記投影装置が投影する左目用画像及び右目用画像に向けてポイント操作された際、該各画像に重畳されている各位置座標を示す情報を読取って復調する位置取得手段と、上記ポイント操作時に装置に与えられる外力の方向及び大きさを検知する操作検知手段と、上記位置取得手段で得た各位置座標を示す情報と上記操作検知手段で検知した外力の方向及び大きさを示す情報とを上記投影装置に対して送信する送信手段とを備え、上記投影装置は、画像信号を入力する入力手段と、上記入力手段で入力した画像信号に対応し、それぞれに不可視の位置座標情報を重畳した左目用画像と右目用画像とを投影する投影手段と、上記ポイント装置の送信手段から送られてくる、左目用画像及び右目用画像の各位置座標を示す情報と、外力の方向及び大きさを示す情報とを受信する受信手段と、上記受信手段で受信した情報に基づき、上記投影手段で投影している画像の３次元空間中の指定位置を算出する位置算出手段と、上記位置算出手段で算出した３次元空間中の指定位置に従って上記投影手段で投影する画像中に所定のポイント画像を加えて投影させる投影制御手段とを備えることを特徴とする。
【００７２】
請求項２記載の発明は、上記請求項１記載の発明において、上記投影装置の投影制御手段は、上記投影させる所定のポイント画像を、投影されている画像信号の視差に対応するように加えることを特徴とする。
【００７３】
請求項３記載の発明は、上記請求項１または２記載の発明において、上記投影装置は、上記投影制御手段で加えて投影するポイント画像を示す画像信号を保持する保持手段と、上記投影手段で投影する画像の切換時に、上記保持手段で保持する、当該画像に加えて投影した一連のポイント画像を示す画像信号を保存する保存手段とをさらに備えることを特徴とする。
【００７４】
請求項４記載の発明は、上記請求項１乃至３いずれかに記載の発明において、上記投影装置の投影制御手段は、上記投影手段で投影する画像に応じて、加えて投影させる所定のポイント画像の態様を可変することを特徴とする。
【００７５】
請求項５記載の発明は、投影画像中の任意位置を指定するポイント装置を投影時に併用する投影装置であって、画像信号を入力する入力手段と、上記入力手段で入力した画像信号に対応し、それぞれに不可視の位置座標情報を重畳した左目用画像と右目用画像とを投影する投影手段と、上記ポイント装置から送られてくる、左目用画像及び右目用画像の各位置座標を示す情報と、ポインタ装置に与えられた外力の方向及び大きさを示す情報とを受信する受信手段と、上記受信手段で受信した情報に基づき、上記投影手段で投影している画像の３次元空間中の指定位置を算出する位置算出手段と、上記位置算出手段で算出した３次元空間中の指定位置に従って上記投影手段で投影する画像中に所定のポイント画像を加えて投影させる投影制御手段とを備えたことを特徴とする。
【００７６】
請求項６記載の発明は、投影画像中の任意位置を指定するポイント装置を投影時に併用する、画像信号を入力する入力部、及び上記入力部で入力した画像信号に対応し、それぞれに不可視の位置座標情報を重畳した左目用画像と右目用画像とを投影する投影部を備えた装置での投影方法であって、上記ポイント装置から送られてくる、左目用画像及び右目用画像の各位置座標を示す情報と、ポインタ装置に与えられた外力の方向及び大きさを示す情報とを受信する受信工程と、上記受信工程で受信した情報に基づき、上記投影部で投影している画像の３次元空間中の指定位置を算出する位置算出工程と、上記位置算出工程で算出した３次元空間中の指定位置に従って上記投影部で投影する画像中に所定のポイント画像を加えて投影させる投影制御工程とを有したことを特徴とする。
【００７７】
請求項７記載の発明は、投影画像中の任意位置を指定するポイント装置を投影時に併用する、画像信号を入力する入力部、及び上記入力部で入力した画像信号に対応し、それぞれに不可視の位置座標情報を重畳した左目用画像と右目用画像とを投影する投影部を備えた装置が内蔵するコンピュータが実行するプログラムであって、上記コンピュータを、上記ポイント装置から送られてくる、左目用画像及び右目用画像の各位置座標を示す情報と、ポインタ装置に与えられた外力の方向及び大きさを示す情報とを受信する受信手段、上記受信手段で受信した情報に基づき、上記投影部で投影している画像の３次元空間中の指定位置を算出する位置算出手段、及び上記位置算出手段で算出した３次元空間中の指定位置に従って上記投影部で投影する画像中に所定のポイント画像を加えて投影させる投影制御手段として機能させることを特徴とする。
【符号の説明】
【００７８】
１…データプロジェクタ装置、２…ポイントペン、３…３Ｄメガネ、１１…入力部、１２…ＵＳＢインタフェース（Ｉ／Ｆ）、１３…画像変換部、１４…投影処理部、１５…マイクロミラー素子、１６…光源部、１７…ミラー、１８…投影レンズ部、１９…ＣＰＵ、２０…メインメモリ、２１…プログラムメモリ、２２…操作部、２３…音声処理部、２４…ポインタ通信部、２５…スピーカ部、２６…アンテナ、３１…受光レンズ部、３２…受光センサ、３３…受光復調部、３４…ＣＰＵ、３５…メインメモリ、３６…キー操作部、３７…キー操作部、３８…ジャイロセンサ、３９…３軸加速度センサ、４０…プロジェクタ通信部、４１…アンテナ、ＳＢ１，ＳＢ２…システムバス、ＳＣ…スクリーン。
【特許請求の範囲】
【請求項１】
投影装置と、この投影装置が投影する画像中の任意位置を指定するポイント装置とを有する投影システムであって、
上記ポイント装置は、
上記投影装置が投影する左目用画像及び右目用画像に向けてポイント操作された際、該各画像に重畳されている各位置座標を示す情報を読取って復調する位置取得手段と、
上記ポイント操作時に装置に与えられる外力の方向及び大きさを検知する操作検知手段と、
上記位置取得手段で得た各位置座標を示す情報と上記操作検知手段で検知した外力の方向及び大きさを示す情報とを上記投影装置に対して送信する送信手段と
を備え、
上記投影装置は、
画像信号を入力する入力手段と、
上記入力手段で入力した画像信号に対応し、それぞれに不可視の位置座標情報を重畳した左目用画像と右目用画像とを投影する投影手段と、
上記ポイント装置の送信手段から送られてくる、左目用画像及び右目用画像の各位置座標を示す情報と、外力の方向及び大きさを示す情報とを受信する受信手段と、
上記受信手段で受信した情報に基づき、上記投影手段で投影している画像の３次元空間中の指定位置を算出する位置算出手段と、
上記位置算出手段で算出した３次元空間中の指定位置に従って上記投影手段で投影する画像中に所定のポイント画像を加えて投影させる投影制御手段と
を備える
ことを特徴とする投影システム。
【請求項２】
上記投影装置の投影制御手段は、上記投影させる所定のポイント画像を、投影されている画像信号の視差に対応するように加えることを特徴とする請求項１記載の投影システム。
【請求項３】
上記投影装置は、
上記投影制御手段で加えて投影するポイント画像を示す画像信号を保持する保持手段と、
上記投影手段で投影する画像の切換時に、上記保持手段で保持する、当該画像に加えて投影した一連のポイント画像を示す画像信号を保存する保存手段と
をさらに備えることを特徴とする請求項１または２記載の投影システム。
【請求項４】
上記投影装置の投影制御手段は、上記投影手段で投影する画像に応じて、加えて投影させる所定のポイント画像の態様を可変することを特徴とする請求項１乃至３いずれかに記載の投影システム。
【請求項５】
投影画像中の任意位置を指定するポイント装置を投影時に併用する投影装置であって、
画像信号を入力する入力手段と、
上記入力手段で入力した画像信号に対応し、それぞれに不可視の位置座標情報を重畳した左目用画像と右目用画像とを投影する投影手段と、
上記ポイント装置から送られてくる、左目用画像及び右目用画像の各位置座標を示す情報と、ポインタ装置に与えられた外力の方向及び大きさを示す情報とを受信する受信手段と、
上記受信手段で受信した情報に基づき、上記投影手段で投影している画像の３次元空間中の指定位置を算出する位置算出手段と、
上記位置算出手段で算出した３次元空間中の指定位置に従って上記投影手段で投影する画像中に所定のポイント画像を加えて投影させる投影制御手段と
を備えたことを特徴とする投影装置。
【請求項６】
投影画像中の任意位置を指定するポイント装置を投影時に併用する、画像信号を入力する入力部、及び上記入力部で入力した画像信号に対応し、それぞれに不可視の位置座標情報を重畳した左目用画像と右目用画像とを投影する投影部を備えた装置での投影方法であって、
上記ポイント装置から送られてくる、左目用画像及び右目用画像の各位置座標を示す情報と、ポインタ装置に与えられた外力の方向及び大きさを示す情報とを受信する受信工程と、
上記受信工程で受信した情報に基づき、上記投影部で投影している画像の３次元空間中の指定位置を算出する位置算出工程と、
上記位置算出工程で算出した３次元空間中の指定位置に従って上記投影部で投影する画像中に所定のポイント画像を加えて投影させる投影制御工程と
を有したことを特徴とする投影方法。
【請求項７】
投影画像中の任意位置を指定するポイント装置を投影時に併用する、画像信号を入力する入力部、及び上記入力部で入力した画像信号に対応し、それぞれに不可視の位置座標情報を重畳した左目用画像と右目用画像とを投影する投影部を備えた装置が内蔵するコンピュータが実行するプログラムであって、
上記コンピュータを、
上記ポイント装置から送られてくる、左目用画像及び右目用画像の各位置座標を示す情報と、ポインタ装置に与えられた外力の方向及び大きさを示す情報とを受信する受信手段、
上記受信手段で受信した情報に基づき、上記投影部で投影している画像の３次元空間中の指定位置を算出する位置算出手段、及び
上記位置算出手段で算出した３次元空間中の指定位置に従って上記投影部で投影する画像中に所定のポイント画像を加えて投影させる投影制御手段
として機能させることを特徴とするプログラム。
【請求項１】
投影装置と、この投影装置が投影する画像中の任意位置を指定するポイント装置とを有する投影システムであって、
上記ポイント装置は、
上記投影装置が投影する左目用画像及び右目用画像に向けてポイント操作された際、該各画像に重畳されている各位置座標を示す情報を読取って復調する位置取得手段と、
上記ポイント操作時に装置に与えられる外力の方向及び大きさを検知する操作検知手段と、
上記位置取得手段で得た各位置座標を示す情報と上記操作検知手段で検知した外力の方向及び大きさを示す情報とを上記投影装置に対して送信する送信手段と
を備え、
上記投影装置は、
画像信号を入力する入力手段と、
上記入力手段で入力した画像信号に対応し、それぞれに不可視の位置座標情報を重畳した左目用画像と右目用画像とを投影する投影手段と、
上記ポイント装置の送信手段から送られてくる、左目用画像及び右目用画像の各位置座標を示す情報と、外力の方向及び大きさを示す情報とを受信する受信手段と、
上記受信手段で受信した情報に基づき、上記投影手段で投影している画像の３次元空間中の指定位置を算出する位置算出手段と、
上記位置算出手段で算出した３次元空間中の指定位置に従って上記投影手段で投影する画像中に所定のポイント画像を加えて投影させる投影制御手段と
を備える
ことを特徴とする投影システム。
【請求項２】
上記投影装置の投影制御手段は、上記投影させる所定のポイント画像を、投影されている画像信号の視差に対応するように加えることを特徴とする請求項１記載の投影システム。
【請求項３】
上記投影装置は、
上記投影制御手段で加えて投影するポイント画像を示す画像信号を保持する保持手段と、
上記投影手段で投影する画像の切換時に、上記保持手段で保持する、当該画像に加えて投影した一連のポイント画像を示す画像信号を保存する保存手段と
をさらに備えることを特徴とする請求項１または２記載の投影システム。
【請求項４】
上記投影装置の投影制御手段は、上記投影手段で投影する画像に応じて、加えて投影させる所定のポイント画像の態様を可変することを特徴とする請求項１乃至３いずれかに記載の投影システム。
【請求項５】
投影画像中の任意位置を指定するポイント装置を投影時に併用する投影装置であって、
画像信号を入力する入力手段と、
上記入力手段で入力した画像信号に対応し、それぞれに不可視の位置座標情報を重畳した左目用画像と右目用画像とを投影する投影手段と、
上記ポイント装置から送られてくる、左目用画像及び右目用画像の各位置座標を示す情報と、ポインタ装置に与えられた外力の方向及び大きさを示す情報とを受信する受信手段と、
上記受信手段で受信した情報に基づき、上記投影手段で投影している画像の３次元空間中の指定位置を算出する位置算出手段と、
上記位置算出手段で算出した３次元空間中の指定位置に従って上記投影手段で投影する画像中に所定のポイント画像を加えて投影させる投影制御手段と
を備えたことを特徴とする投影装置。
【請求項６】
投影画像中の任意位置を指定するポイント装置を投影時に併用する、画像信号を入力する入力部、及び上記入力部で入力した画像信号に対応し、それぞれに不可視の位置座標情報を重畳した左目用画像と右目用画像とを投影する投影部を備えた装置での投影方法であって、
上記ポイント装置から送られてくる、左目用画像及び右目用画像の各位置座標を示す情報と、ポインタ装置に与えられた外力の方向及び大きさを示す情報とを受信する受信工程と、
上記受信工程で受信した情報に基づき、上記投影部で投影している画像の３次元空間中の指定位置を算出する位置算出工程と、
上記位置算出工程で算出した３次元空間中の指定位置に従って上記投影部で投影する画像中に所定のポイント画像を加えて投影させる投影制御工程と
を有したことを特徴とする投影方法。
【請求項７】
投影画像中の任意位置を指定するポイント装置を投影時に併用する、画像信号を入力する入力部、及び上記入力部で入力した画像信号に対応し、それぞれに不可視の位置座標情報を重畳した左目用画像と右目用画像とを投影する投影部を備えた装置が内蔵するコンピュータが実行するプログラムであって、
上記コンピュータを、
上記ポイント装置から送られてくる、左目用画像及び右目用画像の各位置座標を示す情報と、ポインタ装置に与えられた外力の方向及び大きさを示す情報とを受信する受信手段、
上記受信手段で受信した情報に基づき、上記投影部で投影している画像の３次元空間中の指定位置を算出する位置算出手段、及び
上記位置算出手段で算出した３次元空間中の指定位置に従って上記投影部で投影する画像中に所定のポイント画像を加えて投影させる投影制御手段
として機能させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２０１２−２１６９２８（Ｐ２０１２−２１６９２８Ａ）
【公開日】平成２４年１１月８日（２０１２．１１．８）
【国際特許分類】
【出願番号】特願２０１１−７９６１６（Ｐ２０１１−７９６１６）
【出願日】平成２３年３月３１日（２０１１．３．３１）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
【公開日】平成２４年１１月８日（２０１２．１１．８）
【国際特許分類】
【出願日】平成２３年３月３１日（２０１１．３．３１）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
[ Back to top ]