説明

画像表示装置

【課題】簡単な操作方法で、投影画像を操作することができる画像表示装置を提供する。
【解決手段】被投影領域999に画像を投影する投影手段20と、被投影領域999を撮像し撮像画像データを生成する撮像手段30と、ユーザの指に装着される赤外線発光装置150と、前記撮像画像データから赤外線発光装置150より発光された光点950の被投影領域999上の位置を特定し、光点位置情報を生成する光点情報生成手段と、前記光点位置情報に基づいて、被投影領域999上のユーザの手の動きを解析し、被投影領域999に投影された画像501を移動させる画像操作手段とを有する。これにより、ユーザが、赤外線発光装置150が装着された指を、被投影領域999上で動かすという簡単な作業により、被投影領域999に投影された画像501を操作することが可能となる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ユーザが被投影領域に投影された画像を簡単に操作することができる画像表示装置に関する。
【背景技術】
【0002】
近年、打ち合わせの場において、プロジェクター等の画像表示装置で資料を大きく表示し、打ち合わせをすることが増えてきている。もし、打ち合わせの出席者が簡単な操作方法で前記投影画像を操作することができれば、打ち合わせはスムーズに進行する。
【0003】
一方で、特許文献1に示されるように、被投影領域に投影された画像に、ユーザが光線銃から発光される光線を照射し、光線の被投影領域上の位置を認識して、ゲームの進行に反映させる仮想空間生成装置が提案されている。ところが、このような仮想空間生成装置は、ユーザが交線銃を握ってトリガーを引く等の操作をする必要があり、この技術を画像表示装置に適用することは、ユーザに煩雑な操作を強いることになる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2000−172445号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明は、上記問題を解決し、簡単な操作方法で、投影画像を操作することができる画像表示装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
上記課題を解決するためになされた請求項1に記載の発明は、被投影領域に画像を投影する投影手段と、
前記被投影領域を撮像し、撮像画像データを生成する撮像手段と、
ユーザの手に装着される発光手段と、
前記撮像画像データから、前記発光手段により発光された光の前記被投影領域上の位置を特定し、光点位置情報を生成する光点情報生成手段と、
前記光点情報生成手段が生成した光点位置情報が記憶される記憶手段と、
前記記憶手段に記憶された光点位置情報に基づいて、被投影領域上のユーザの手の動きを解析し、被投影領域に投影された画像を操作する画像操作コマンドを生成する画像操作手段と、
を有することを特徴とする。
【0007】
請求項2に記載の発明は、請求項1に記載の発明において、撮像画像データから検出される光の強度が所定値以上である場合に、画像操作コマンドが生成されることを特徴とする。
【0008】
請求項3に記載の発明は、請求項2に記載の発明において、投影手段が投影する画像の領域内にあり、且つ、前記光の強度が所定値以上の場合に、
画像操作手段は、前記光の位置の移動に応じて画像の様態を変化させる画像操作コマンドを生成することを特徴とする。
【0009】
請求項4に記載の発明は、請求項3に記載の発明において、撮像画像データから検出される光の位置が、投影手段が投影する画像の領域内にあり、且つ、前記光の強度が所定値以上の場合に、
画像操作手段は、前記光の位置の移動に伴って画像を移動させる画像操作コマンドを生成することを特徴とする。
【0010】
請求項5に記載の発明は、請求項1〜請求項4に記載の発明において、発光手段は、被投影領域に対して光を照射するように設けられ、
撮像手段は、前記発光手段により発光された光が被投影領域で反射した反射光を撮像し、
光点情報生成手段は、前記撮像手段が撮像した前記反射光を光点として認識して、光点位置情報を生成することを特徴とする。
【0011】
請求項6に記載の発明は、請求項5に記載の発明において、発光手段は指先に装着され、指先方向に発散光を放射することを特徴とする。
【0012】
請求項7に記載の発明は、請求項1〜6に記載の発明において、投影手段は、被投影領域に対向して配置されていることを特徴とする。
【0013】
請求項8に記載の発明は、請求項1〜請求項7に記載の発明において、発光手段は赤外線を発光し、撮像手段は前記発光手段が発光した赤外線を撮像する赤外線カメラであることを特徴とする。
【発明の効果】
【0014】
請求項1に記載の発明は、被投影領域に画像を投影する投影手段と、前記被投影領域を撮像し、撮像画像データを生成する撮像手段と、ユーザの手に装着される発光手段と、前記撮像画像データから、前記発光手段により発光された光の前記被投影領域上の位置を特定し、光点位置情報を生成する光点情報生成手段と、前記光点情報生成手段が生成した光点位置情報が記憶される記憶手段と、前記記憶手段に記憶された光点位置情報に基づいて、被投影領域上のユーザの手の動きを解析し、被投影領域に投影された画像を操作する画像操作コマンドを生成する画像操作手段とを有することを特徴とする。
これにより、ユーザが、発光手段が装着された手を、被投影領域上で動かすという簡単な操作により、被投影領域に投影された画像を操作することが可能となる。
【0015】
請求項2に記載の発明は請求項1に記載の発明において、撮像画像データから検出される光の強度が所定値以上である場合に、画像操作コマンドが生成されることを特徴とする。
これにより、光点の強度が所定値より小さい場合には、画像操作コマンドが生成されないので、画像の誤操作の発生を防止することが可能となる。
【0016】
請求項3に記載の発明は、請求項2に記載の発明において、投影手段が投影する画像の領域内にあり、且つ、前記光の強度が所定値以上の場合に、
画像操作手段は、前記光の位置の移動に応じて画像の様態を変化させる画像操作コマンドを生成することを特徴とする。
これにより、ユーザが指し示している画像のみが操作の対象となり、ユーザが操作する画像を容易に認識することが可能となり、直感的な操作感を提供することが可能となる。
【0017】
請求項4に記載の発明は、請求項3に記載の発明において、撮像画像データから検出される光の位置が、投影手段が投影する画像の領域内にあり、且つ、前記光の強度が所定値以上の場合に、画像操作手段は、前記光の位置の移動に伴って画像を移動させる画像操作コマンドを生成することを特徴とする。
これにより、ユーザが、発光手段が装着されている手を被投影領域に投影されている画像上に置いて、前記光の強度が所定値以上の状態で前記手を移動させるだけで、被投影領域に投影されている画像を移動させることができ、容易な操作で画像を移動させることが可能となる。
【0018】
請求項5に記載の発明は、請求項1〜請求項4に記載の発明において、発光手段は、被投影領域に対して光を照射するように設けられ、撮像手段は、前記発光手段により発光された光が被投影領域で反射した反射光を撮像し、光点情報生成手段は、前記撮像手段が撮像した前記反射光を光点として認識して、光点位置情報を生成することを特徴とする。
これにより、ユーザが、発光手段が装着されている手を被投影領域から離すと、発光手段が発光する光が減衰して被投影領域に反射するので、ユーザが手を被投影領域から離したことを精度高く検出することができ、画像の誤操作を排除することが可能となる。
【0019】
請求項6に記載の発明は、請求項5に記載の発明において、発光手段は指先に装着され、指先方向に発散光を放射することを特徴とする。
これにより、指を被投影領域から離すと、被投影領域状の光強度が急速に弱まるので、被投影領域からユーザの指が離間していることが確実に検知され、被投影領域から離間した位置で、ユーザが指を動かした場合の誤作動を排除することが可能となる。このため、指で被投影領域を触れた時のみ、画像を操作することができ、被投影領域に投影されている画像を、指で操作している操作感をユーザに与えることが可能となる。
【0020】
請求項7に記載の発明は、請求項1〜5に記載の発明において、投影手段は、被投影領域に対向して配置されていることを特徴とする。
これにより、投影領域として特殊なスクリーンを使用することなく、通常の机や壁を被投影領域として使用することが可能となる。
【0021】
請求項8に記載の発明は、請求項1〜請求項7に記載の発明において、発光手段は赤外線を発光し、撮像手段は前記発光手段が発光した赤外線を撮像する赤外線カメラであることを特徴とする。
これにより、可視光によるノイズを排除し、正確にユーザの手の動きを検出することが可能となる。
【図面の簡単な説明】
【0022】
【図1】本発明の実施形態に係る、画像表示装置の概要図である。
【図2】赤外線発光装置の説明図である。
【図3】画像の移動操作状態の説明図である。
【図4】画像表示装置のブロック図である。
【図5】画像表示装置のメイン処理のフロー図である。
【図6】光点位置情報の説明図である。
【図7】画像の拡大操作状態の説明図である。
【発明を実施するための形態】
【0023】
(本発明の画像表示装置の概要)
以下に図面を参照しつつ、本発明の好ましい実施の形態を示す。図1に示されるように、本発明の画像表示装置100は、制御部10、投影手段20、撮像手段30、赤外線発光装置150とから構成されている。
本実施形態では、投影手段20及び撮像手段30は、テーブルの板面等の被投影領域999と対向して配置されている。投影手段20は、制御手段10が出力する「画像信号」に基づいて、単一又は複数の画像501を被投影領域999に投影する装置である。撮像手段30は、被投影領域999を撮像する装置である。なお、ユーザの指には、被投影領域999に赤外線を照射する赤外線発光装置150が装着されている。撮像手段30は、赤外線発光装置150が被投影領域999に照射した光点950(反射光)を撮像する。制御部10は、撮像手段30が撮像した光点950の被投影領域999上の位置を特定し、光点950の位置情報に基づいてユーザの指の動きを認識して、画像501を移動させる装置である。
【0024】
図2に示されるように、赤外線発光装置150は、電源部150a、赤外線発光部150b、装着部150cとから構成されている。電源部150aは、一次電池や二次電池を収納し、これら電池から供給される電流を、赤外線発光部150bに供給する。赤外線発光部150bは、電源部150aから供給された電流によって、赤外線を発光する。本実施形態では、赤外線発光部150bは赤外線LEDである。図2に示されるように、赤外線発光部150bから発光される赤外線は、所定の角度θで拡散するようになっている。装着部150cは、指輪状であり、ユーザの指に装着されるようになっている。図2に示されるように、赤外線発光部150bは、指先方向に赤外線を発散放射するようになっている。
【0025】
本発明では、図3に示されるように、被投影領域999に投影された画像501に対するドラッグ操作及びドロップ操作が可能である。具体的には、ユーザが、赤外線発光装置150が装着された指を被投影領域999に投影された画像501上に置いて、前記指が被投影領域999上に置かれた状態を維持したまま、前記指を目的の場所にまで移動させると(ドラッグ操作)、指の移動に伴って画像501が移動する。一方で、ユーザが目的の場所で前記指を被投影領域999から離すと(ドロップ操作)、ユーザが指を離した位置で前記画像501が表示されるようになっている。このように本発明の画像表示装置100は、被投影領域999に投影されている画像501を、ユーザが所謂「ドラッグ アンド ドロップ操作」することができるようになっている。なお、複数のユーザの指に赤外線発光装置150を装着し、複数のユーザが単一又は複数の画像501を操作することも可能である。
【0026】
本発明では、撮像手段30が被投影領域999で反射した赤外線(光点950)を撮像し、制御部10が前記光点950の被投影領域999上の位置を特定して「光点位置情報」を生成し、この「光点位置情報」の変化によって、ユーザの指の動きを認識し、投影手段20で投影される画像501の位置を移動させることにより、前記「ドラッグ操作」を実現している。前述したように、赤外線発光装置150から発光される赤外線は、所定の角度θで拡散するようになっている。このため、ユーザが指を被投影領域999から離すと、被投影領域999で反射される赤外線(光点950)の強度が弱くなるので、制御部10は撮像手段30で撮像される赤外線の強度が弱くなったことを認識して、ユーザの指が被投影領域999から離れたことを認識し、前記「ドロップ操作」が認識されるようになっている。以下に、本発明の画像表示装置100の具体的な構成について説明する。
【0027】
(画像表示装置のブロック図)
以下に図4を用いて、画像表示装置100のブロック図を説明する。制御部10は、CPU11、RAM12、ROM13、撮像画像コントローラ15、投影画像コントローラ17、VRAM18、入力部19を有していて、これらは相互にバス9で接続されている。なお、投影画像コントローラ17とVRAM18は相互に接続している。
【0028】
CPU11は、RAM12、ROM13と協動して、各種演算、処理を行う。
RAM12は、CPU11で処理されるプログラムや、CPU11が処理するデータを、そのアドレス空間に一時的に記憶する。RAM12には、画像データ記憶領域12a、撮像画像データ記憶領域12b、光点情報記憶領域12c、画像操作コマンド記憶領域12dを有している。
画像データ記憶領域12aには、後述するように入力部19で取得された「画像データ」が記憶されるようになっている。
撮像画像データ記憶領域12bには、撮像手段30で撮像され、撮像画像コントローラ15で生成された「撮像画像データ」が記憶されるようになっている。
光点情報記憶領域12cには、光点情報生成手段13bが生成した「光点位置情報」が記憶されるようになっている。
画像操作コマンド記憶領域12dには、画像操作手段13cが生成した「画像操作コマンド」が記憶されるようになっている。
【0029】
ROM13には、画像表示装置100を制御する各種プログラムが記憶されている。ROM13には、投影画像生成手段13a、光点情報生成手段13b、画像操作手段13c等のプログラムが記憶されている。当該各種プログラムが、CPU11で処理されることにより、画像表示装置100の各種機能を実現している。 なお、前記プログラムをASIC(Application Specific Integrated Circuit)として実現しても差し支えない。
【0030】
投影画像生成手段13aは、「描画命令」を投影画像コントローラ17に出力し、投影画像コントローラ17で「画像データ」から「投影画像データ」を生成させるプログラムである。
【0031】
光点情報生成手段13bは、撮像手段30が撮像した「撮像画像データ」から、赤外線発光装置150により発光された光点950の被投影領域999上の位置を特定し、「光点位置情報」を生成するプログラムである。
【0032】
画像操作手段13cは、「光点位置情報」に基づいて、被投影領域999上のユーザの手(指)の動きを解析し、被投影領域999に投影された画像501を操作する「画像操作コマンド」を生成するプログラムである。
【0033】
撮像画像コントローラ15は、A/Dコンバータ、DSP(Digital Signal Prosessor)を有している。A/Dコンバータは、後述する撮像手段30のイメージセンサーが出力する「信号電圧」を、「デジタル信号」に変換する。
DSPは、A/Dコンバータが生成したが生成した「デジタル信号」から、2次元のピクセルデータである「撮像画像データ」を生成する。生成された「撮像画像データ」は、撮像画像データ記憶領域12bに記憶される。
なお、「撮像画像データ」の各ピクセル(画素)は、被投影領域999上の位置情報である「ピクセル位置情報」及び、赤外線の強度(輝度)の情報である「赤外線強度情報」を有している。
【0034】
投影画像コントローラ17は、GPU(Graphics Processing Unit)等の画像処理回路を有している。投影画像コントローラ17は、投影画像生成手段13aから出力される「描画命令」に基づいて、画像データ記憶領域12aに記憶されている「画像データ」を画像処理して、「投影画像データ」を生成する。
VRAM18には、投影画像コントローラ17が生成した「投影画像データ」が記憶される。
投影画像コントローラ17は、VRAM18に記憶されている「投影画像データ」を「画像信号」として、投影手段20に出力する。
【0035】
入力部19は、「画像データ」を取得するものである。入力部19には、LAN(Local Area Networkの略)、USB(Unversal Serial Busの略)等のインターフェースや、SDメモリーカード等のメディアを読み取るメディアリーダ等が含まれる。「画像データ」が記憶されているパーソナルコンピュータやUSBメモリ等を入力部19に接続すると、入力部19が前記「画像データ」を取得して、当該「画像データ」がRAM12の画像データ記憶領域12aに記憶するようになっている。或いは、入力部19がLANやインターネットに接続している場合には、入力部19はLANやインターネットを介して「画像データ」を取得する。なお、ハードディスクやフラッシュメモリー等の補助記憶装置がバス9に接続され、入力部19が取得した「画像データ」を補助記憶装置に記憶させる構成であっても差し支えない。なお、入力部19で取得される「画像データ」には、写真等の画像ファイルや、表計算ソフト、ワードプロセッサソフト、プレゼンテーションソフト等の画像ファイルが含まれる。
【0036】
投影手段20は、ランプ駆動回路、ランプ、照明光学系、画像生成素子、結像光学系を有している。ランプ駆動回路は、ランプに電流を供給する回路である。ランプ駆動回路から電流が供給されたランプは拡散光を発光する。照明光学系は、ランプから発光された拡散光を集光し、均一な照明光にする。この照明光は画像生成素子に照射される。画像生成素子は、LCD(Liquid Clystal Display)やDMD(Digital Micromirror Device)であり、照射された照明光を各画素に階調表現して画像を生成する。結像光学系は多数のレンズから構成されていて、画像生成素子を透過した照明光を、被投影領域999に結像する。勿論、前記照明光の波長は、可視光領域である。
【0037】
撮像手段30は、被投影領域999を撮像する装置である。撮像装置30は、イメージセンサー及び結像光学系を有している。イメージセンサーは、2次元配列されたフォトダイオードを有している。各フォトダイオードは、入射光の強度を電荷に変換し、電荷を「信号電圧」として出力する。イメージセンサーには、CCD(Charge Coupled Device Image SenSor)やCMOS(Complementary Mwtal Oxide Semiconductor)が含まれる。結像光学系は、単一又は複数のレンズで構成され、入光した像を、イメージセンサー上で結像させるものである。本実施形態では、イメージセンサーは可視光から近赤外線の波長(0.3〜1.0μmの波長)の光を電荷に変換することができ、更に、撮像手段30は、赤外線カットフィルターを有さず、可視光及び赤外線による画像を撮像することができる所謂赤外線カメラである。なお、可視光によるノイズを除去するために、赤外線の波長の光(0.8〜1.0μmの波長)を透過し、可視光の波長の光(0.3〜0.8μmの波長)を遮断する可視光カットフィルターをイメージセンサーの前面に設けることが好ましい。
なお、近赤外線を確実に検出するために、HgCdTe(水銀カドミウムテルル)、InSb(インジウムアンチモン)、PtSi(プラチナシリコン)を用いたイメージセンサーを使用してもよい。この場合、赤外線発光部150bが発する赤外線の波長は、1.0μm以上とするのがよい。
【0038】
(フローの説明)
以下に、本発明のメイン処理のフローを説明する。画像表示装置100に電源が投入されると、S11「初期化」の処理に進む。
S11「初期化」の処理において、ROM13に記憶されている各種プログラムが起動する。S11の処理が終了すると、S12の処理に進む。
【0039】
S12「投影」の処理において、投影画像生成手段13aは、投影画像コントローラ17に「描画命令」を出力する。投影画像コントローラ17は、前記「描画命令」に基づき、画像データ記憶領域12aに記憶された「画像データ」から「投影画像データ」を生成し、VRAM18に記憶させる。投影画像コントローラ17は、VRAM18に記憶された「投影画像データ」を「画像信号」として投影手段20に出力し、投影手段20は被投影領域999に画像501を投影する。なお、前記「描画命令」には、画像501が投影される被投影領域999の上の領域位置を指定する命令が含まれる。また、投影画像コントローラ17は、投影画像生成手段13aが出力する「描画命令」により、複数の画像501を被投影領域999に投影させるための「投影画像データ」を生成することができる。
なお後述するように、投影画像生成手段13aは、投影画像コントローラ17に「描画命令」を出力する際に、画像操作コマンド記憶領域12dを参照し、当該記憶領域に「画像移動コマンド」が記憶されているか否かを確認し、「画像移動コマンド」が記憶されている場合には、当該「画像移動コマンド」に基づいて、被投影領域999に投影される画像501を移動させる「描画命令」を投影画像コントローラ17に出力する。
S12の処理が終了すると、S13「撮像」の処理に進む。
【0040】
S13「撮像」の処理において、光点情報生成手段13bは、撮像画像コントローラ15に「撮像命令」を出力し、撮像手段30による被投影領域999の撮像を開始させる。撮像手段30により撮像され、撮像画像コントローラ15によって生成された「撮像画像データ」は、撮像画像データ記憶領域12bに記憶される。一般に、人間にとって滑らかな動画であると認識されるフレームレートは、20〜25フレーム/秒とされている。従って、本実施形態では、40〜50ミリ秒でS12〜S18、S19、S20又はS12〜S25の処理が実行されて、メイン処理が1ループするので、40〜50ミリ秒毎に「撮像命令」が出力されて、「撮像画像データ」が生成されるようになっている。
S13の処理が終了すると、S14の処理に進む。
【0041】
S14「光点検出」の処理において、光点情報生成手段13bは、撮像画像データ記憶領域12bに記憶された「撮像画像データ」から、光点を検出する「光点検出処理」を実行する。具体的には、光点情報生成手段13bは、「撮像画像データ」の各ピクセルについて、赤外線の強度(輝度)の情報である「赤外線強度情報」を解析し、所定値以上の赤外線の強度のピクセルの集合を、光点950として検出する。
なお、ユーザが、赤外線発光装置150が装着された指を被投影領域999上に置いている状態では、赤外線LED150bと被投影領域999間の距離は近接している。そのため、赤外線LED150bから発光される赤外線は大きく減衰することなく被投影領域999で反射するので、被投影領域999で反射した赤外線は所定値以上の強度となり、光点950が検出される。一方で、ユーザが、赤外線発光装置150が装着された指を被投影領域999から離すと、赤外線LED150bと被投影領域999間の距離が離れる。そのため、赤外線LED150bから発光される赤外線は大きく減衰して被投影領域999で反射し、被投影領域999で反射した赤外線は所定値より小さい強度となり、光点950が検出されない。換言すれば、光点950が検出される基準となる赤外線の強度の所定値は、赤外線発光装置150が装着されたユーザの指が、被投影領域999上に置かれている場合に所定値以上となり、置かれていない場合に所定値未満となるように設定される。
なお、複数のユーザが、赤外線発光装置150が装着されている指を被投影領域999上に置いている場合には、複数の光点950が検出される。
S14の処理が終了すると、S15「光点有り?」の判断処理に進む。
【0042】
S15「光点有り?」の判断処理において、光点情報生成手段13bは、S14の処理において、光点950が検出されていたか否かを判断する。
光点情報生成手段13bが、S14の処理において、光点950が検出されていたと判断した場合には(S15の判断処理がYES)、S16の処理に進む。
一方で、光点情報生成手段13b?が、S14の処理において、光点950が検出されていなかった判断した場合に(S15の判断処理がNO)は、S25の判断処理に進む。
【0043】
S25「終了?」の判断処理において、ユーザが図示しない操作部を操作することにより、画像表示装置100を終了させることを選択した場合には(S25の判断処理がYES)、図5に示されるメインフローが終了する。一方で、ユーザが画像表示装置100を終了させることを選択しない場合には(S25の判断処理がNO)、S12の処理に進む。
【0044】
S16「光点位置情報記憶」の処理において、光点情報生成手段13bは、光点950の被投影領域999上の位置情報である、「光点位置情報」を生成し、光点情報記憶領域12cに記憶させる。なお、「光点位置情報」は、被投影領域999上の特定の点(0、0)(図1に示す)からの座標データである(X、Yの2次元の数値で表される)。所定時間をおいて「光点位置情報」が生成されるので、図6に示されるような「光点位置座標」の履歴として「光点位置情報」が光点情報記憶領域12cに順次記憶される。なお、S14の処理で複数の光点950が検出された場合には、図6に示されるように、複数の光点950の「光点位置情報」が光点情報記憶領域12cに記憶される。
なお、本実施形態では、光点情報生成手段13は、光点950として検出されたピクセルの集合の重心を、光点950の被投影領域999上の位置として、「光点位置情報」を生成する。S16の処理が終了すると、S17の処理に進む。
【0045】
S17「光点位置差分算出」の処理において、画像操作手段13cは、光点情報記憶領域12cを参照して、今回記憶された「光点位置情報」と前回記憶された「光点位置情報」の差分値を算出する。図6に示される例では、1600msと1650msの差分で、下記のように「光点位置情報が」算出される。
dX=819−818=1[mm]、dY=341−342=−1[mm]
S17の処理が終了すると、S18の判断処理に進む。
【0046】
S18「光点位置を投影画像は一致」の判断処理において、画像操作手段13cは、被投影領域999上に投影されている画像501上に光点950が有るか否かを判断する。具体的には、画像操作手段13cは、光点情報記憶領域12bに記憶されている最新の「光点位置情報」を参照することにより、光点950の被投影領域999上の座標が、被投影領域999上に投影されている投影画像501の領域の座標の範囲内にあるか否かを判断する。なお、投影手段20と被投影領域999との距離は一定であることから、画像操作手段13cは、被投影領域999上の画像501の領域の座標を認識している。
画像操作手段13cが、被投影領域999上に投影されている画像501上に光点950が有ると判断した場合には(S18の判断処理がYES)、S19の判断処理に進む。
一方で、画像操作手段13cが、被投影領域999上に投影されている画像501上に光点950が無いと判断した場合には(S18の判断処理がNO)、S12の処理に戻る。
【0047】
S19「光点が移動した?」の判断処理において、画像操作手段13cは、光点950が移動したか否かを判断する。
具体的には、画像操作手段13cが、S17の処理において算出した差分値が、XとYとの少なくとも一方において0でないと判断した場合には、画像操作手段13cは、光点950が移動したと判断し、(S19の判断処理がYES)、S20の処理に進む。
一方で、画像操作手段13cが、S17の処理において算出した差分値が、XとYとの両方において0であると判断した場合には、画像操作手段13cは、光点950が移動していないと判断し、(S19の判断処理がNO)、S12の処理に進む。
なお、S17の処理において算出した差分値が、所定値以上である場合には、同一ユーザの指の移動ではなく、あるユーザの「光点位置情報」と別のユーザの「光点位置情報」であると判断し、S20の処理に進むことなく、S12の処理に戻る。
【0048】
S20「投影画像移動処理」において、画像操作手段13cは、「投影画像移動処理」を実行する。具体的には、画像操作手段13cは、S17の処理で算出された「光点位置情報」の差分値分の座標だけ、被投影領域999に投影されている画像501を移動させる「投影画像移動コマンド」を生成し、画像操作コマンド記憶領域12dに記憶させる。S20の処理が終了すると、S12の処理に戻る。
【0049】
なお、「投影画像移動コマンド」が画像操作コマンド記憶領域12dに記憶されている場合には、S12の処理において、投影画像生成手段13aは、前記「投影画像移動コマンド」に基づいて、被投影領域999に投影される画像501を移動させる「描画命令」を投影画像コントローラ17に出力する。このため、光点950の位置の移動に伴って、画像501が移動する。
なお、ユーザが、赤外線発光装置150が装着されている指を被投影領域999から離すと、前述したように、赤外線が減衰して被投影領域999に照射されるので、S14の処理において光点が検出されず、前述した「ドロップ操作」が検出されて(S15の判断処理がNOとなり、S25に進む)、被投影領域999に投影されている画像501が移動することなく、ユーザが指を離した位置で画像501が表示される。
【0050】
このように、本発明の画像表示装置100は、被投影領域999に表示されている画像501上に、ユーザが、赤外線発光装置150が装着されている指を置き、この指を移動させるだけで、前記画像501を移動させる「ドラッグ アンド ドロップ操作」を行うことが可能であり、簡単な操作方法で、被投影領域999に投影されている投影画像501を移動させることが可能となった。
本実施形態では、赤外線カメラである撮像手段30で被投影領域999を撮像し、赤外線の被投影領域999での反射光を光点950として認識し、この光点950の位置情報に基づいてユーザの指の動きを認識することとしたので、被投影領域999上に投影された可視光である画像501上に赤外線である光点950が重なったとしても、可視光と赤外線とは波長が異なることから、確実に光点950を検出することができ、確実にユーザの指の動きを検出することが可能である。
【0051】
(総括)
本実施形態では、投影手段20は被投影領域999に対向して配置されているが、被投影領域999を半透明のスクリーンで構成し、当該スクリーンの背後に投影手段20を配置した所謂リアプロジェクション方式の画像表示装置として本発明を構成しても差し支えない。また、被投影領域999が半透明のスクリーンである場合には、前記スクリーンの背後に撮像手段30を配置して、前記スクリーンを撮像する構成にしても差し支えない。
【0052】
以上の説明では、ユーザが被投影領域999上に投影されている画像501を移動させる実施形態について説明したが、図7に示されるように、画像501の隅を「ドラッグ アンド ドロップ」し、或いは、複数のユーザが画像501の対角線をマルチタッチすることにより、前記画像501の拡大を行う画像表示装置にも、本発明の技術的思想が適用可能なことは言うまでもない。また、画像501の縮小、画像501を閉じる操作等を行う画像表示装置にも、本発明の技術的思想が適用可能なことは言うまでもない。この場合には、画像操作手段13cは、光点情報記憶領域12cに記憶されている「光点位置情報」の履歴から、ユーザの指の動きを解析し、ユーザの指の動きに対応する「画像操作コマンド」を生成し、画像操作コマンド記憶領域12dに記憶させ、投影画像生成手段13aは、画像操作コマンド記憶領域12dに記憶されている「画像操作コマンド」に基づいて、「描画命令」を生成して、当該「描画命令」を投影画像コントローラ17に出力する。
【0053】
以上説明した実施形態では、赤外線発光装置15をユーザの指に装着しているが、赤外線発光装置15をユーザの手に装着することにしても差し支えない。
【0054】
以上説明した実施形態では、「撮像画像データ」、「光点位置情報」及び「画像操作コマンド」が記憶される記憶領域としてRAM12を使用しているが、前記記憶領域としてフラッシュメモリーやハードディスク等の補助記憶装置を使用しても差し支えない。
【0055】
以上説明した実施形態では、赤外線を発光する赤外線発光装置15及び撮像手段30として赤外線カメラを用いた実施形態について本発明を説明したが、可視光線を発光する発光装置を用い、この発光装置が発光する光点を、可視光を撮像する撮像手段30で撮像して、ユーザの指の動きを検出することとしても差し支えない。この場合には、撮像手段30には、可視光カットフィルターの代わりに赤外線カットフィルターが設けられていて、可視光を撮像するようになっている。
【0056】
以上、現時点において、もっとも、実践的であり、かつ好ましいと思われる実施形態に関連して本発明を説明したが、本発明は、本願明細書中に開示された実施形態に限定されるものではなく、請求の範囲および明細書全体から読み取れる発明の要旨あるいは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う画像表示装置もまた技術的範囲に包含されるものとして理解されなければならない。
【符号の説明】
【0057】
9 バス
10 制御部
11 CPU
12 RAM
12a 画像データ記憶領域
12b 撮像画像データ記憶領域
12c 光点情報記憶領域
12d 画像操作コマンド記憶領域
13 ROM
13a 投影画像生成手段
13b 光点情報生成手段
13c 画像操作手段
15 撮像画像コントローラ
17 投影画像コントローラ
18 VRAM
19 入力部
20 投影手段
30 撮像手段
100 画像表示装置
150 赤外線発光装置
150a 電源部
150b 赤外線発光部
150c 装着部
501 投影画像
950 光点
999 被投影領域

【特許請求の範囲】
【請求項1】
被投影領域に画像を投影する投影手段と、
前記被投影領域を撮像し、撮像画像データを生成する撮像手段と、
ユーザの手に装着される発光手段と、
前記撮像画像データから、前記発光手段により発光された光の前記被投影領域上の位置を特定し、光点位置情報を生成する光点情報生成手段と、
前記光点情報生成手段が生成した光点位置情報が記憶される記憶手段と、
前記記憶手段に記憶された光点位置情報に基づいて、被投影領域上のユーザの手の動きを解析し、被投影領域に投影された画像を操作する画像操作コマンドを生成する画像操作手段と、
を有することを特徴とする画像表示装置。
【請求項2】
画像操作手段はさらに、撮像画像データから検出される光の強度が所定値以上である場合に、画像操作コマンドを生成することを特徴とする請求項1に記載の画像表示装置。
【請求項3】
撮像画像データから検出される光の位置が、投影手段が投影する画像の領域内にあり、且つ、前記光の強度が所定値以上の場合に、
画像操作手段は、前記光の位置の移動に応じて画像の様態を変化させる画像操作コマンドを生成することを特徴とする請求項2に記載の画像表示装置。
【請求項4】
撮像画像データから検出される光の位置が、投影手段が投影する画像の領域内にあり、且つ、前記光の強度が所定値以上の場合に、
画像操作手段は、前記光の位置の移動に伴って画像を移動させる画像操作コマンドを生成することを特徴とする請求項3に記載の画像表示装置。
【請求項5】
発光手段は、被投影領域に対して光を照射するように設けられ、
撮像手段は、前記発光手段により発光された光が被投影領域で反射した反射光を撮像し、
光点情報生成手段は、前記撮像手段が撮像した前記反射光を光点として認識して、光点位置情報を生成することを特徴とする請求項1〜請求項4のいずれかに記載の画像表示装置。
【請求項6】
発光手段は指先に装着され、指先方向に発散光を放射することを特徴とする請求項5に記載の画像表示装置。
【請求項7】
投影手段は、被投影領域に対向して配置されていることを特徴とする請求項1〜請求項6のいずれかに記載の画像表示装置。
【請求項8】
発光手段は赤外線を発光し、
撮像手段は前記発光手段が発光した赤外線を撮像する赤外線カメラであることを特徴とする請求項1〜請求項7のいずれかに記載の画像表示装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate


【公開番号】特開2011−43876(P2011−43876A)
【公開日】平成23年3月3日(2011.3.3)
【国際特許分類】
【出願番号】特願2009−189855(P2009−189855)
【出願日】平成21年8月19日(2009.8.19)
【出願人】(000005267)ブラザー工業株式会社 (13,856)
【Fターム(参考)】