ポインタ映出用投影像信号を生成するユーザインタフェース装置、画像投影方法及びプログラム
【課題】映出された投影像を見て確認しながら、タッチパネルに対する指での操作を適切に実行することができるユーザインタフェース装置を提供する。
【解決手段】本ユーザインタフェース装置は、指がタッチパネルに接触したか否かを判定する接触判定手段と、指による押圧力が所定閾値以上であるか否かを判定する押圧力判定手段と、接触判定手段が真の判定を行い且つ押圧力判定手段が真の判定を行った際、指による押し込み操作に対応した動作を発動させ、この動作に応じて画面に表示された画像を制御する動作・画像制御手段と、投影像内の位置であって、指の接触位置に相当する位置を指し示すポインタを映出するためのポインタ情報を生成するポインタ情報生成手段と、ポインタ情報と動作・画像制御手段によって制御された画像とを投影対象に投影するための投影像信号を生成する投影像信号生成手段と、を有する。
【解決手段】本ユーザインタフェース装置は、指がタッチパネルに接触したか否かを判定する接触判定手段と、指による押圧力が所定閾値以上であるか否かを判定する押圧力判定手段と、接触判定手段が真の判定を行い且つ押圧力判定手段が真の判定を行った際、指による押し込み操作に対応した動作を発動させ、この動作に応じて画面に表示された画像を制御する動作・画像制御手段と、投影像内の位置であって、指の接触位置に相当する位置を指し示すポインタを映出するためのポインタ情報を生成するポインタ情報生成手段と、ポインタ情報と動作・画像制御手段によって制御された画像とを投影対象に投影するための投影像信号を生成する投影像信号生成手段と、を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を表示するディスプレイと、ユーザインタフェースとしてのタッチパネルとを備え、画像を投影対象に投影するための投影像信号を生成するユーザインタフェース装置に関する。
【背景技術】
【０００２】
従来、指で、又はスタイラス等の接触器具で、画面に触れることによって入力操作を行う、タッチパネルを搭載したユーザインタフェース装置が広く普及している。特に、スマートフォン、タブレット型コンピュータ、電子書籍、ＰＤＡ(Personal Digital Assistant)といったユーザインタフェース装置、いわゆる携帯型情報機器では、指等による操作を受け入れるユーザインタフェースとしてタッチパネルが、積極的に採用されている。
【０００３】
近年、この携帯型情報機器において、動画を含む画像を、スクリーン等の投影対象に投影するプロジェクタ機能を備えたものが開発されている。このような機器を用いることにより、例えば、機器を携帯しているその場で、機器内のコンテンツ等を投影像として多数の人間に公開することができる。
【０００４】
このようなプロジェクタ機能を備えた携帯型情報機器として、例えば、特許文献１には、スクリーンに画像を投射する投射光学系内のＬＥＤ光源において、出力光の色変動を抑止したプロジェクタ装置が開示されている。また、特許文献２には、カウンターウエイトと減衰器とを利用して手振れを抑制した携帯型のプロジェクタ装置が開示されている。
【０００５】
さらに、特許文献３には、投影対象までの距離を測定する測距部からの信号に基づいて、投影光源の発光量を制御するプロジェクタ内蔵携帯機器が開示されている。ここでは、この発光量制御によって、視聴者に使用条件に応じた映像を投影することが意図されている。また、特許文献４には、プロジェクタ動作時の消費電力を低減させるため、電池電圧値に応じて投影用光源の発光量を制御する携帯通信端末が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−１９１４０２号公報
【特許文献２】特開２０１０−１６９９６６号公報
【特許文献３】特開２０１１−７９４８号公報
【特許文献４】特開２００７−３００３２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
このプロジェクタ機能を備えた携帯型情報機器において、タッチパネルに対して指で操作を行いながら画像を投影する際、ユーザにとって不都合が生じ易い。
【０００８】
一般に、プロジェクタ機能を利用する状況では、ユーザは、映出された投影像を見ながら指による操作を行いたい場合も少なくない。例えば、投影像が実際にどのような状態で映出されているかを見て確認しながら、その投影像について説明する場合もある。また、投影像の映出先を選びながら又は移動させながら、同時に指による操作を行う場合もある。さらに、プロジェクタ機能を利用したプレゼンテーションの際には、映出された投影像と参加者とに向かいながら説明を行うのが通常である。
【０００９】
これに対して、例えば、ディスプレイの画面に表示された画像にアイコンが含まれており、ユーザの指がこのアイコンに接触する場合を考える。スクリーン等の投影対象には、このアイコン（のイメージ）を含む投影像が映出されている。しかしながら、ユーザの指が画面内のアイコンの表示位置付近に接触したとしても、この投影像には、指の接触に関するイメージは何ら現れない。
【００１０】
従って、ユーザは、指による操作の際、ディスプレイの画面を見て、指の接触位置を確認しなければならない。さもなければ、指が意図しないアイコンを選択して不要のアプリケーションが起動したり、指をブラインドで移動させることになって所望の機能を発動させるのに時間がかかったりする可能性が高い。
【００１１】
このように、プロジェクタ機能を利用する際、映出された投影像を見ながら、タッチパネルに対して指で操作を行うことが困難となっている。しかしながら、特許文献１乃至４に開示されたような従来の携帯型プロジェクタ分野では、このようなユーザインタフェース及び操作性に関する問題に十分に取り組んでこなかったことは否めない。
【００１２】
そこで、本発明は、映出された投影像を見て確認しながら、タッチパネルに対する指での操作を適切に実行することができるユーザインタフェース装置、画像投影方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
本発明によれば、画像を画面に表示するディスプレイと、このディスプレイの画面上に配置され、指の接触位置を時間経過に応じて逐次出力するタッチパネルと、このタッチパネルに接触した指によって与えられる押圧力を検出する押圧力検出部とを備えており、画像に対応する投影像を投影対象に映出するための信号を生成するユーザインタフェース装置であって、
指がタッチパネルに接触したか否かを判定する接触判定手段と、
押圧力が所定閾値以上であるか否かを判定する押圧力判定手段と、
接触判定手段が真の判定を行った際、接触した指による操作に対応した動作を発動させ、この動作に応じて画面に表示された画像を制御し、さらに押圧力判定手段が真の判定を行った際、指による押し込み操作に対応した動作を発動させ、この動作に応じて画面に表示された画像を制御する動作・画像制御手段と、
接触判定手段が真の判定を行った際、投影対象に映出された投影像内の位置であって、指の接触位置に相当する位置を指し示すポインタを映出するためのポインタ情報を生成するポインタ情報生成手段と、
ポインタ情報と、動作・画像制御手段によって制御された画像とを投影対象に投影するための投影像信号を生成する投影像信号生成手段と
を有するユーザインタフェース装置が提供される。
【００１４】
また、本発明によるユーザインタフェース装置によれば、接触判定手段は、指の接触位置がディスプレイに表示された画像に含まれる操作対象であるオブジェクトの表示位置範囲と重畳したか否かを判定し、
動作・画像制御手段は、接触判定手段がオブジェクトの表示位置範囲に関して真の判定を行い且つ押圧力判定手段が真の判定を行った際、オブジェクトの機能を発動させる操作が行われたとして対応する動作を発動させ、この動作に応じて画面に表示された画像を制御することも好ましい。
【００１５】
また、この実施形態において、接触判定手段がオブジェクトの表示位置範囲に関して真の判定を行った際、動作・画像制御手段は、オブジェクトを選択する操作が行われたとして対応する動作を発動させ、この動作に応じて画面に表示された画像を制御することも好ましい。
【００１６】
また、本発明によるユーザインタフェース装置によれば、投影像信号を、外部のプロジェクタに出力するための投影像信号出力端子をさらに有することも好ましい。
【００１７】
さらに、本発明によるユーザインタフェース装置によれば、ポインタ情報と、動作・画像制御手段によって制御された画像とを投影対象に投影するプロジェクタ光学系と、
投影像信号を入力し、この投影像信号に応じてプロジェクタ光学系を制御するプロジェクタ制御手段と
をさらに有することも好ましい。
【００１８】
さらにまた、本発明によるユーザインタフェース装置によれば、ユーザの操作から見て、投影対象に映出されたポインタの指し示す位置を見て確認しつつ指による操作を実行することができるように、投影像信号生成手段は、ポインタに対応するポインタ情報を含む投影像信号を生成することも好ましい。
【００１９】
本発明によれば、さらに、画像を画面に表示するディスプレイと、このディスプレイの画面上に配置され、指の接触位置を時間経過に応じて逐次出力するタッチパネルと、このタッチパネルに接触した指によって与えられる押圧力を検出する押圧力検出部とを備えており、画像に対応する投影像を投影対象に映出するための信号を生成するユーザインタフェース装置に搭載されたプログラムであって、
指がタッチパネルに接触したか否かを判定する接触判定手段と、
押圧力が所定閾値以上であるか否かを判定する押圧力判定手段と、
接触判定手段が真の判定を行った際、接触した指による操作に対応した動作を発動させ、この動作に応じて画面に表示された画像を制御し、さらに押圧力判定手段が真の判定を行った際、指による押し込み操作に対応した動作を発動させ、この動作に応じて画面に表示された画像を制御する動作・画像制御手段と、
接触判定手段が真の判定を行った際、投影対象に映出された投影像内の位置であって、指の接触位置に相当する位置を指し示すポインタを映出するためのポインタ情報を生成するポインタ情報生成手段と、
ポインタ情報と、動作・画像制御手段によって制御された画像とを投影対象に投影するための投影像信号を生成する投影像信号生成手段と
してコンピュータを機能させるユーザインタフェース装置用のプログラムが提供される。
【００２０】
本発明によれば、さらにまた、画像を画面に表示するディスプレイと、このディスプレイの画面上に配置され、指の接触位置を時間経過に応じて逐次出力するタッチパネルと、このタッチパネルに接触した指によって与えられる押圧力を検出する押圧力検出部とを備えており、画像に対応する投影像を投影対象に映出するための信号を生成するユーザインタフェース装置における画像投影方法であって、
指がタッチパネルに接触したか否かを判定する第１のステップと、
第１のステップで真の判定がなされた際、接触した指による操作に対応した動作を発動させ、この動作に応じて画面に表示された画像を制御する第２のステップと、
押圧力が所定閾値以上であるか否かを判定する第３のステップと、
第１のステップで真の判定がなされ且つ第３のステップで真の判定がなされた際、指による押し込み操作に対応した動作を発動させ、この動作に応じて画面に表示された画像を制御する第４のステップと、
第１のステップで真の判定がなされた際、投影対象に映出された投影像内の位置であって、指の接触位置に相当する位置を指し示すポインタを映出するためのポインタ情報を生成する第５のステップと、
ポインタ情報と、第２のステップ及び第４のステップで制御された画像とを投影対象に投影するための投影像信号を生成する第６のステップと
を有する画像投影方法が提供される。
【発明の効果】
【００２１】
本発明のユーザインタフェース装置、画像投影方法及びプログラムによれば、映出された投影像を見て確認しながら、タッチパネルに対する指での操作を適切に実行することができる。
【図面の簡単な説明】
【００２２】
【図１】本発明によるプロジェクタ機能を備えた携帯型情報機器と、投影対象とを示す概略図、並びに、ディスプレイ画面に表示された画像を示す携帯型情報機器の前面図、及び投影対象に映出された投影像を示すスクリーンの正面図である。
【図２】「フォーカス」操作及びそれに対応した投影像の様子を説明するための、携帯型情報機器の前面図及びスクリーンの正面図、並びに指による操作を示す概略図である。
【図３】「クリック」操作及びそれらに対応した投影像の様子を説明するための、携帯型情報機器の前面図及びスクリーンの正面図である。
【図４】本発明による携帯型情報機器における他の実施形態を示す概略図である。
【図５】本発明による携帯型情報機器の一実施形態（図１（Ａ））の構成を概略的に示す斜視図及び機能構成図、並びに本発明による携帯型情報機器の他の実施形態（図４（Ｂ））の構成の一部を概略的に示す機能構成図である。
【図６】本発明によるユーザインタフェース装置における画像投影方法の一実施形態を示すフローチャートである。
【発明を実施するための形態】
【００２３】
以下、本発明の実施形態について、図面を用いて詳細に説明する。
【００２４】
本発明による、ディスプレイ及びタッチパネルを備えたユーザインタフェース装置は、
（１）ディスプレイ画面に表示された画像を投影するための投影像信号を生成する
ことができる装置である。また、
（２）スクリーン等の投影対象に、ディスプレイ画面に表示された画像を投影するプロジェクタ機能を有する
ことも好ましい。この本発明によるユーザインタフェース装置では、投影対象に映出された投影像内の位置であって、ディスプレイ画面内の指の接触位置に相当する位置を指し示すポインタを、投影対象に投影するための投影像信号を生成する点に特徴を有する。
【００２５】
これにより、ユーザは、映出された投影像に表示されたポインタを見て、その指し示す位置を確認することができる。その結果、投影像を見て確認しつつ、タッチパネルに対する指での操作を適切に実行することができる。
【００２６】
ここで、「画像」とは、ユーザインタフェース装置のディスプレイ画面に表示された、静止画及び動画を含むイメージである。また、「投影像信号」は、「画像」情報を含み、この「画像」をスクリーン等の投影対象に投影するためにプロジェクタ部またはプロジェクタ装置に出力される信号である。さらに、「投影像」とは、「投影像信号」を入力したプロジェクタ部またはプロジェクタ装置から放射された投射光が、スクリーン等の投影対象上に形成するイメージである。
【００２７】
また、本発明によるユーザインタフェース装置では、ユーザの指がタッチパネルに接触することによって情報が入力される。このため、当該装置の多くは、片手又は両手で携帯して指での操作が可能となる、スマートフォンやタブレット型コンピュータのような携帯型情報機器である。従って、以下、本発明の実施形態として、携帯型情報機器を説明する。
【００２８】
図１は、本発明によるプロジェクタ機能を備えた携帯型情報機器と、投影対象とを示す概略図、並びに、ディスプレイ画面に表示された画像を示す携帯型情報機器の前面図、及び投影対象に映出された投影像を示すスクリーンの正面図である。
【００２９】
図１（Ａ）は、プロジェクタ機能を備えた携帯型情報機器１から投射光が放射され、投影対象であるスクリーン２００に投影像２０１が映出された状態を示している。この図によれば、携帯型情報機器１は、画像を画面に表示するディスプレイ１０１と、ディスプレイ１０１の画面上に配置されたタッチパネル１００とを備えている。ユーザは、タッチパネル１００に対して指による入力操作を行う。この入力操作に応じて動作が発動し、この発動した動作に対応した画像が、ディスプレイ１０１の画面に表示される。
【００３０】
尚、以下、指を直接接触させて入力操作を行う形態を説明するが、指の代わりに、スタイラス等の接触器具を用いて入力することも可能である。この場合、以下に説明する実施形態において、指の接触位置が、接触器具の先端の接触位置に置き換わることになる。
【００３１】
携帯型情報機器１は、さらに、プロジェクタ機能を有するプロジェクタ光学系１３を内蔵している。ディスプレイ１０１の画面に表示される画像の情報は、同時に、投影像信号に変換される。この投影像信号は、プロジェクタ光学系１３を制御するプロジェクタ制御部１３０（図５（Ａ））に出力される。この投影像信号に基づいてプロジェクタ光学系１３が制御され、プロジェクタ光学系１３の出力部となる投射レンズ１３３から、ディスプレイ１０１の画面に表示される画像の情報を含む投射光が放射される。その結果、スクリーン２００に、この画像に対応した投影像２０１が映出される。
【００３２】
図１（Ｂ）は、ディスプレイ１０１の画面に表示された画像と、スクリーンに映出された投影像２０１との対応関係を示している。この図によれば、ディスプレイ１０１の画面に表示された画像には、複数のアイコン１０４が表示されている。アイコン１０４は、アプリケーションを起動させるための、ユーザにとっての操作対象（オブジェクト）である。ユーザは、指を直接アイコン１０４に接触させることによって、アイコン１０４を選択することができる。
【００３３】
図１（Ｂ）において、ユーザの指は、接触位置１０５で、タッチパネル１００に接触している。ここで、ディスプレイ１０１の画面にｘｙ座標系の第一象限を導入し、この指の接触位置１０５の座標を（ｘ１，ｙ１）とする。また、図１（Ｂ）における画面左下隅を原点（０，０）とする。この指の接触位置１０５に基づいて、後述するポインタ情報生成部１２３（図５（Ａ））により、ポインタ情報１０６が生成される。ポインタ情報１０６は、投影像２０１内にポインタ２０５を映出するための画像情報（イメージデータ）である。
【００３４】
ポインタ情報１０６において、先端１０６ａの座標は、指の接触位置１０５の座標（ｘ１，ｙ１）と一致するように設定される。すなわち、ポインタ情報１０６がディスプレイ１０１の画面に表示されたとすると、そのポインタ情報１０６のイメージは、指の接触位置１０５を指すことになる。すなわち、先端１０６ａが指の接触位置と一致する。尚、ポインタ情報１０６は、本実施形態において、ディスプレイ１０１の画面に表示されない。しかしながら、スクリーンに映出されたポインタ２０５と互いに対応する形で、ポインタ情報１０６がディスプレイ１０１の画面に表示されてもよい。
【００３５】
次いで、形成されたポインタ情報１０６と、ディスプレイ１０１の画面に表示される画像の情報とが合成されて、スクリーン２００に投影するための投影像信号が生成される。この投影像信号に応じた投射光が放射され、その結果、ポインタ情報１０６と、ディスプレイ１０１の画面に表示される画像の情報とに対応した投影像２０１が、スクリーン２００に映出される。
【００３６】
同じく図１（Ｂ）において、スクリーン２００に映出された投影像２０１は、ポインタ情報１０６に対応したポインタ２０５と、複数のアイコン１０４に対応した複数のアイコンイメージ２０４とを含む。ポインタ２０５は、投影像２０１内における、ディスプレイ１０１の画面内での指の接触位置１０５に相当する位置を指し示す。すなわち、ポインタ２０５の先端２０５ａの位置が、この投影像２０１内における指の接触位置１０５に相当する位置と一致する。
【００３７】
ここで、スクリーン２００の投射面は平坦であって、投影レンズ１３３から放射される投射光の光軸に垂直であるとする。また、これにより、投影像２０１は、ディスプレイ１０１の画面（に表示された画像全体）と相似形、または縦横比がこの画面とは異なる矩形をなしているとする。さらに、スクリーン２００の投影面にＸＹ座標系の第一象限を導入し、ポインタ２０５の先端２０５ａの位置の座標を（Ｘ１，Ｙ１）とする。また、図１（Ｂ）における投影像２０１左下隅を原点（０，０）とする。
【００３８】
この場合、指の接触位置１０５の座標（ｘ１，ｙ１）と、先端２０５ａ位置の座標（Ｘ１，Ｙ１）とには、以下の関係が存在する。
（ａ） Ｘ１＝α・ｘ１、 Ｙ１＝β・ｙ１
ここで、
（ｂ） α＝（投影像２０１のＸ軸方向での幅）／（画面のｘ軸方向での幅）
（ｃ） β＝（投影像２０１のＹ軸方向での高さ）／（画面のｙ軸方向での高さ）
である。例えば、投影像２０１とディスプレイ１０１の画面（に表示された画像全体）とが相似である場合、α＝β（＝拡大率）となる。
【００３９】
このように、ポインタ２０５は、その先端２０５ａによって、投影像２０１内における、指の接触位置１０５に相当する位置を指し示す。これにより、ユーザは、ディスプレイ１０１の画面を見なくとも、投影像２０１内での先端２０５ａの位置を見ることによって、画面内での指の接触位置１０５を確認することができる。従って、映出された投影像２０１内におけるポインタ２０５の先端２０５ａを見て確認しながら、タッチパネル１００に対する指での操作を適切に実行することが可能となる。
【００４０】
また、言い換えると、プロジェクタ光学系１３に出力される投影像信号は、ユーザの操作から見て、スクリーン２００に映出されたポインタ２０５の指し示す位置を確認しつつ指による操作を実行することができるように、ポインタ２０５に対応するポインタ情報１０６を含む信号となっている。
【００４１】
尚、ポインタ２０５は、必ずしも矢印形状のイメージに限られるものではない。例えば、頂点が明確な二等辺三角形、人差し指のみを伸ばした片手のイメージ、又はドット若しくは星形等の微小面積イメージ等、１つの点を指し示していることが認識されるイメージならば、種々の形態がポインタ２０５として採用可能となる。また、ポインタ２０５は、半透明であることも好ましい。これにより、投影像２０１内に表示された他のイメージ（アイコンイメージ２０４等）が、ポインタ２０５に遮られて確認し難くなる事態を回避することができる。
【００４２】
また、スクリーン２００の投影面が投影レンズ１３３から放射される投射光の光軸に垂直な場合においても、投影像２０１は、必ずしも矩形に限られるものではない。例えば、ディスプレイ１０１の画面に、円形の画像が表示され、その画像内に複数のアイコンが表示されている場合、投影像２０１は、この画像に応じて、複数のアイコンイメージを含む円形のイメージとすることもできる。または、このような円形のイメージを含む、ディスプレイ１０１の画面に対応した矩形のイメージであってもよい。
【００４３】
さらに、ユーザは、携帯型情報機器１を片手（図１（Ｂ）では右手）で保持することも可能である。この場合、ユーザは、片手で保持した携帯型情報機器１の投影レンズ１３３をスクリーン２００に向け、映出された投影像２０１を見ながら、この保持した片手の指（親指）で適切な操作を行うことも可能となる。
【００４４】
以下、タッチパネル１００に対して行うことができる指による操作の形態を示し、操作に対応した投影像２０１の様子を説明する。この指による操作の例として、
（１） 「フォーカス」操作：アイコン等のオブジェクトを選択する、
（２） 「クリック」操作：オブジェクトの機能を発動させる、
を以下に説明する。
【００４５】
尚、当然に、上記以外の従来の操作、例えばドラッグ操作、フリック操作、ピンチイン操作、ピンチアウト操作等も、タッチパネル１００を介して実行し得るように設定することもできる。ピンチイン操作およびピンチアウト操作のように、指の接触点が同時に２つ又はそれ以上存在する場合、これらの指の接触位置のそれぞれに対応した複数の位置を、それぞれ指し示す複数のポインタが、投影像２０１内に映出されることも好ましい。
【００４６】
図２は、「フォーカス」操作及びそれに対応した投影像２０１の様子を説明するための、携帯型情報機器１の前面図及びスクリーン２００の正面図、並びに指による操作を示す概略図である。
【００４７】
図２（Ａ）及び（Ｂ）は、「フォーカス」操作を示している。図２（Ａ）によれば、ユーザの指が、タッチパネル１００に接触し、接触を保ちながらタッチパネル１００上をなぞるように移動（スライド）している。ここで、アイコン１０４を含む画像全体は、指の移動にもかかわらず移動せず、固定された状態となっている。
【００４８】
ユーザは、指を接触させたまま移動させ、位置が固定されたアイコン１０４に順次触れていく。これに応じて、スクリーン２００に映出された投影像２０１内のポインタ２０５も移動し、同じく位置が固定されたアイコンイメージ２０４を順次指し示していく。また、後述する接触判定部１２１（図５（Ａ））が、指の移動中も、指の接触位置１０５とアイコン１０４の表示位置範囲とが重畳したか否かを判定している。すなわち、ディスプレイ１０１の画面に表示された画像全体を固定した状態で、指の接触位置１０５がモニタされている。
【００４９】
ユーザは、指で画面に表示された画像（タッチパネル１００）をなぞりつつ、画像内に所望のアイコン１０４が存在するか否かを確かめながら、所望のアイコン１０４の表示位置範囲まで指を進める。ここで、ユーザは、指を移動（スライド）させるためにディスプレイ１０１を見る必要はなく、接触位置を確認するために投影像２０１内のポインタ２０５を見ていればよい。従って、このような指での操作は、携帯型情報機器１においてプロジェクタ機能を発動させた場合に非常に適したものとなっている。
【００５０】
ユーザは、その後、所望のアイコン１０４を探し出し、対応するアイコン１０４の表示位置範囲内に指を進める。このように、指の接触位置をアイコン１０４の表示位置範囲に重畳させる操作を、以後、「フォーカス」操作と称する。「フォーカス」操作は、ユーザがアイコン１０４を選択する操作であり、その後のアイコン１０４の機能を発動させる操作を確実に行うための準備動作としての役割を果たす。
【００５１】
この指による「フォーカス」操作に対応して、投影像２０１内のポインタ２０５が、所望のアイコン１０４に対応したアイコンイメージ２０４を指し示す（ポインタ２０５の先端２０５ａが、アイコンイメージ２０４の表示位置範囲と重畳する）。従って、ユーザは、ポインタ２０５（の先端２０５ａ）のアイコンイメージ２０４に対する位置を見て確認することによって、画面内での指の接触位置１０５をアイコン１０４の表示位置範囲に重畳させることができる。すなわち、ディスプレイ１０１の画面を見なくとも、「フォーカス」操作を適切に実行することが可能となる。
【００５２】
ここで、「フォーカス」操作によって選択されたアイコン１０４は、表示位置範囲がより強く光る、又は周囲より浮き上がって見える等、強調表示されることも好ましい。この場合、投影像２０１に表示された対応するアイコンイメージ２０４も強調表示される。これにより、ユーザは、ディスプレイ１０１の画面を見なくとも、「フォーカス」操作が適切に実行されたことを確認することができる。
【００５３】
また、指の接触位置１０５がアイコン１０４の表示位置範囲に重畳した際には、後述する触覚応答機構部１０２（図５（Ａ））が、指に、物理的な押下ボタンの存在を感じさせる振動を与えることができる。これにより、ユーザは、投影像２０１を見ながらであっても、指による「フォーカス」操作が受け入れられたことを確認でき、安定した確実な操作感を得ることができる。
【００５４】
図３は、「クリック」操作及びそれらに対応した投影像２０１の様子を説明するための、携帯型情報機器１の前面図及びスクリーン２００の正面図である。
【００５５】
図３によれば、指が、所望のアイコン１０４の位置まで進み、その結果、指の接触位置１０５がアイコン１０４の表示位置範囲と重畳する。すなわち、「フォーカス」操作が行われる。これに対応して、投影像２０１内におけるポインタ２０５の先端２０５ａの位置も、アイコンイメージ２０４の表示位置範囲に重畳する。この状態から、ユーザが指をタッチパネル１００に押し込むと、対応するアイコン１０４の機能が発動する。このように、アイコン１０４の機能を発動させるために指でアイコン１０４（タッチパネル１００）を押し込む操作を、以後、「クリック」操作と称する。
【００５６】
尚、アイコン１０４の機能、例えば、電子メール・アプリケーションが起動すると、ディスプレイ１０１の画面に表示された画像は、例えば、送信メール作成画面のイメージとなる。これに対応して、スクリーン２００に映出された投影像２０１も、アイコンイメージ１０４が表示された状態から、送信メール作成画面のイメージに変化する。すなわち、投影像２０１は、アイコン１０４の機能発動前後を含めて常時、ディスプレイ１０１の画面に表示された画像を反映したものとなっている。
【００５７】
ここで、「クリック」操作と判定される条件を説明する。最初に、指の接触位置１０５が、所望のアイコン１０４の表示位置範囲と重畳する。すなわち「フォーカス」操作が行われる。次いで、この状態から、ユーザが指を強く押し込み、指による押圧力ｐＣが所定の押圧力閾値ｐＴＨ以上となる場合（ｐＣ≧ｐＴＨ）、後述する動作・画像制御部１２４（図５（Ａ））で、「クリック」操作が行われたと判断され、アイコン１０４の機能が発動する。このように、押圧力ｐＣが所定閾値ｐＴＨ以上であることが、「クリック」操作と判断される条件となる。尚、押圧力閾値ｐＴＨは、例えば、０.５Ｎ（ニュートン）乃至２.０Ｎの範囲内の値に設定可能である。
【００５８】
以上に述べた「クリック」操作は、あくまで指による押し込みの強さを変えて行う操作である。従って、ユーザは、ディスプレイ１０１を見て確認せずに、「クリック」操作を適切に実行することができる。このように、「クリック」操作は、携帯型情報機器１においてプロジェクタ機能を発動させた場合に、非常に実行し易い操作となることが理解される。
【００５９】
また、後述する触覚応答機構部１０２（図５（Ａ））が、「クリック」操作を行った指に、物理的な押下ボタンを実際に押下したかのような感覚を付与する振動を与えることもできる。これにより、ユーザは、投影像２０１を見ながらであっても、指による「クリック」操作が受け入れられたことを確認でき、安定した確実な操作感を得ることができる。
【００６０】
図４は、本発明による携帯型情報機器における他の実施形態を示す概略図である。
【００６１】
図４（Ａ）において、携帯型情報機器３は、タブレット型コンピュータである。ユーザは、携帯型情報機器３を一方の手（同図では左手）で保持しながら、他方の手の指（同図では右手の人差し指）をタッチパネル３０に接触させて操作することができる。このような携帯型情報機器３においても、指の接触位置３５に基づいてポインタ情報が生成される。また、指による操作に対応した動作が発動し、この動作に応じてディスプレイ３１の画面に表示される画像が制御される。次いで、このポインタ情報と、制御された画像とをスクリーン４０に投影するための投影像信号が生成される。
【００６２】
生成された投影像信号は、制御部を介して、携帯型情報機器３に内蔵されたプロジェクタ光学系３２に出力され、プロジェクタ光学系３２の投射レンズ３２０から、この投影像信号に対応した投射光が放射される。この投射光がスクリーン４０に投射されて、ディスプレイ３１の画面に表示される制御された画像に対応した投影像４１が形成される。この投影像４１は、さらに、ポインタ情報に対応したポインタであって、指の接触位置３５に相当する投影像４１上の位置を指し示すポインタ４５を含む。
【００６３】
ユーザは、ディスプレイ３１の画面を見なくとも、投影像４１内でのポインタ４５（の先端）を見ることによって、画面内での指の接触位置３５を確認することができる。従って、投影像４１内におけるポインタ４５（の先端）を見て確認しながら、タッチパネル３０に対する指での操作を適切に実行することが可能となる。
【００６４】
図４（Ｂ）において、携帯型情報機器５は、ディスプレイ５１の画面に表示された画像を投影するための投影像信号を生成することができる装置である。但し、この投影像信号を受けてこの画像を投影するプロジェクタ光学系及びその制御部は、設けられていない。携帯型情報機器５は、生成した投影像信号を、外部のプロジェクタ６に出力するための投影像信号出力端子５２を備えている。
【００６５】
プロジェクタ６は、投影像信号出力端子５２と接続される投影像信号入力端子６０と、投影像信号入力端子６０を介して投影像信号を入力するプロジェクタ制御部６１と、プロジェクタ制御部６１によって制御され、投影像信号に係る画像を投影するプロジェクタ光学系６２とを備えている。
【００６６】
ユーザは、保持した片手の指（同図では右手の親指）をタッチパネル５０に接触させて、携帯型情報機器５を操作する。このような携帯型情報機器５においても、指の接触位置５５に基づいてポインタ情報が生成される。また、指による操作に対応した動作が発動し、この動作に応じてディスプレイ５１の画面に表示される画像が制御される。次いで、このポインタ情報と、制御された画像とをスクリーン７０に投影するための投影像信号が生成される。
【００６７】
生成された投影像信号は、投影像信号出力端子５２を介して携帯型情報機器５から出力され、投影像信号入力端子６０を介してプロジェクタ６に入力される。プロジェクタ制御部６１は、プロジェクタ光学系６２を制御し、投射レンズ６２０から、入力した投影像信号に対応した投射光を放射させる。この投射光がスクリーン７０に投射されて、ディスプレイ５１の画面に表示される制御された画像に対応した投影像７１が形成される。この投影像７１は、さらに、ポインタ情報に対応したポインタであって、指の接触位置５５に相当する投影像７１上の位置を指し示すポインタ７５を含む。
【００６８】
ユーザは、ディスプレイ５１の画面を見なくとも、投影像７１内でのポインタ７５（の先端）を見ることによって、画面内での指の接触位置５５を確認することができる。従って、映出された投影像７１内におけるポインタ７５（の先端）を見て確認しながら、タッチパネル５０に対する指での操作を適切に実行することが可能となる。
【００６９】
以上述べたように、投影像信号の形成機能（携帯型情報機器５）を、画像投影機能（プロジェクタ６）から分離することによって、携帯型情報機器５が、小型・軽量化される。また、例えば、複数ユーザによるプレゼンテーションの際、各ユーザは、自らのプレゼンテーションデータを自らの携帯型情報機器５に保有したまま、定位置に設置されたプロジェクタ６を用いて、プレゼンテーションを、輪番で且つ同一スクリーン７０で行うことができる。
【００７０】
図５は、本発明による携帯型情報機器１の構成を概略的に示す斜視図及び機能構成図、並びに本発明による携帯型情報機器５（図４（Ｂ））の構成の一部を概略的に示す機能構成図である。
【００７１】
図５（Ａ）は、携帯型情報機器１の構成を示している。同図によれば、携帯型情報機器１は、タッチパネル１００と、ディスプレイ１０１と、触覚応答機構部１０２と、押圧力検出部１０３と、プロセッサ・メモリとを備えている。携帯型情報機器１は、さらに、プロジェクタ光学系１３を備えている。ここで、プロセッサ・メモリは、プログラムを実行することによってその機能を実現させる。
【００７２】
ディスプレイ１０１は、画面に画像を表示する。また、タッチパネル１００は、ディスプレイ１００の画面上に配置されており、ユーザの指の接触位置を時間経過に応じて逐次出力する。このタッチパネル１００として、投影型静電容量方式タッチパネル、表面型静電容量方式タッチパネル、抵抗膜方式タッチパネル、超音波表面弾性波方式タッチパネル、又は赤外線走査方式タッチパネル等を採用することができる。
【００７３】
触覚応答機構部１０２は、タッチパネル１００に接触した指に対して、タッチパネル１００を振動させることにより触覚応答を与える。例えば、上述した「フォーカス」操作時、及び／又は「クリック」操作時に、操作内容に応じた種類及び強度の振動を指に与える。触覚応答機構部１０２は、例えば、ＰＺＴ（チタン酸ジルコン酸鉛）等の圧電材料を用いて形成された圧電アクチュエータとすることができる。
【００７４】
押圧力検出部１０３は、指によってタッチパネル１００に与えられる押圧力ｐＣを検出する。押圧力検出部１０３は、例えば、タッチパネル１００の四隅下に設置されており、指を押し付けられて撓んだタッチパネル１００が自身に及ぼす押圧の合計を、押圧力ｐＣとして検出する。この押圧力検出部１０３が出力する押圧力信号は、後述する押圧力判定部１２２に入力される。押圧力検出部１０３は、例えば、ＰＺＴ等の圧電材料を用いて形成された圧電センサとすることができる。また、圧電アクチュエータで構成された触覚応答機構部１０２を設ける代わりに又は設けると共に、押圧力検出部１０３を触覚応答機構部として利用することも可能である。
【００７５】
プロセッサ・メモリは、タッチパネル１００から出力される指の接触位置信号と、押圧力検出部１０３から出力される押圧力信号とを入力し、これらの信号に基づいてユーザの指による操作を認定し、この操作に対応した動作を発動させる。また、この動作に応じてディスクプレイ１０１の画面に表示された画像を制御する。
【００７６】
さらに、プロセッサ・メモリは、スクリーン２００にポインタ２０５を映出するためのポインタ情報１０６を生成する。さらに、プロセッサ・メモリは、このポインタ情報と、制御された画像とを投影するための操作対応投影像信号を生成し、この信号に基づいて、プロジェクタ光学系１３を制御する。以下、同じく図５（Ａ）を用いて、このプロセッサ・メモリの機能構成を説明する。
【００７７】
図５（Ａ）によれば、プロセッサ・メモリは、接触判定部１２１と、押圧力判定部１２２と、ポインタ情報生成部１２３と、動作・画像制御部１２４と、投影像信号生成部１２５と、触覚応答制御部１２６と、プロジェクタ制御部１３０と、画面表示制御部１１１と、アプリケーション処理部１１２とを有する。
【００７８】
接触判定部１２１は、タッチパネル１００から出力される指の接触位置信号を入力し、指がタッチパネル１００に接触したか否かを判定して、この判定結果及び指の接触位置情報を、ポインタ情報生成部１２３及び動作・画像制御部１２４に出力する。また、この接触判定部１２１が、指の接触位置１０５がアイコン１０４の表示位置範囲と重畳したか否かを判定し、この判定結果を動作・画像制御部１２４に出力することも好ましい。
【００７９】
押圧力判定部１２２は、押圧力検出部１０３からの押圧力信号を入力し、指による押圧力ｐＣが所定の押圧力閾値ｐＴＨ以上であるか否かを判定する。さらに、この判定結果を、動作・画像制御部１２４へ出力する。
【００８０】
ポインタ情報生成部１２３は、接触判定部１２２から出力される、接触の有無についての判定結果及び指の接触位置情報を入力する。次いで、スクリーン２００に映出された投影像２０１内における、指の接触位置１０５に相当する位置を指し示すポインタ２０５を映出するためのポインタ情報（ポインタイメージデータ）１０６を生成する。ここで、ポインタ情報１０６は、投影像２０１内におけるポインタ２０５の先端２０５ａの位置が、ディスプレイ１０１の画面内における指の接触位置１０５に対応するように生成される。ポインタ情報生成部１２３は、この生成したポインタ情報１０６を、投影像信号生成部１２５に出力する。
【００８１】
動作・画像制御部１２４は、接触判定部１２２から、接触の有無についての判定結果及び指の接触位置情報を入力し、さらに、押圧力判定部１２２から判定結果を入力する。動作・画像制御部１２４は、これらの入力情報を基に、接触した指による操作（例えば、「フォーカス」操作又は「クリック」操作）を認定し、認定した操作に対応した動作を発動させる。さらに、この発動させた動作に応じてディスプレイ１０１の画面に表示された画像を制御するように、画面表示制御部１１１に動作指示情報を出力する。
【００８２】
具体的に、動作・画像制御部１２４は、指の接触位置１０５がアイコン１０４の表示位置範囲と重畳した場合に、「フォーカス」操作が行われたとして対応する動作を発動させることも好ましい。さらに、指の接触位置１０５がアイコン１０４の表示位置範囲と重畳し且つ押圧力ｐＣが所定の閾値ｐＴＨ以上である場合、「クリック」操作が行われたとして対応する動作を発動させることも好ましい。
【００８３】
さらに、動作・画像制御部１２４は、発動させた動作に応じて制御された（ディスプレイ１０１の画面に表示される）画像情報を、投影像信号生成部１２５に出力する。
【００８４】
投影像信号生成部１２５は、ポインタ情報生成部１２３からポインタ情報１０６を入力し、動作・画像制御部１２４から制御された画像情報を入力する。投影像信号生成部１２５は、これらポインタ情報１０６と制御された画像情報とをスクリーン２００に投影するための投影像信号を生成する。また、生成した投影像信号を、プロジェクタ制御部１３０に出力する。
【００８５】
触覚応答制御部１２６は、動作・画像制御部１２４から出力される動作指示情報を入力する。次いで、この情報に基づいて、タッチパネル１００に接触した指に対して触覚応答を与えるべく、触覚応答機構部１０２を制御する。
【００８６】
画面表示制御部１１１は、アプリケーション処理部１１２からのアプリケーション処理情報を入力して、アプリケーションの実行に応じた画像をディスプレイ１０１に表示させる。また、画面表示制御部１１１は、動作・画像制御部１２４から出力される動作指示情報を入力し、指示された動作に応じた画像をディスプレイ１０１に表示させる。
【００８７】
プロジェクタ制御部１３０は、投影像信号生成部１２５から入力した投影像信号に基づいて、プロジェクタ光学系１３を制御する。
【００８８】
プロジェクタ光学系１３は、光源１３１と、ＭＥＭＳ（微小電気機械系）ミラー光学系１３２と、投射レンズ１３３とを備えている。光源１３１は、スクリーン２００に投射する投射光用の光源である。この光源１３１には、それぞれＲ（赤）、Ｇ（緑）及びＢ（青）の光を放射する３種のＬＥＤ（発光ダイオード）、又はそれぞれＲ，Ｇ及びＢの光を放射する３種のダイオードチップが一体化したＬＥＤを用いることができる。
【００８９】
ＭＥＭＳミラー光学系１３２は、例えばＤＭＤ（Digital Micro mirror Device、登録商標）素子を備えていて、ＤＬＰ（Digital Light Processing、登録商標）方式により、投影像信号から投射光を形成する光学系である。ＤＭＤ素子は、２次元に配列しており鏡面の傾斜角が個別に制御される多数のマイクロミラーを有している。
【００９０】
ＤＬＰ方式では、プロジェクタ制御部１３０が、入力した投影像信号に対してＤＭＤ素子に合わせた解像度変換等を施し、これにより、多数のマイクロミラー駆動用の信号を形成する。次いで、この駆動用信号によってＤＭＤ素子を制御駆動させる。また、プロジェクタ制御部１３０は、個々のマイクロミラー駆動のタイミングに合わせて（同期させて）光源１３１を制御し、光源１３１からＲ、Ｇ又はＢの光を適宜放射させる。
【００９１】
光源１３１から放射された光は、所定の光学系を介してＤＭＤ素子に照射され、同素子で反射して、多数のマイクロミラーの傾斜角に対応した多数の画素からなる画像に相当する投射光を形成する。この投射光は、所定の光学系を介して投射レンズ１３３から、スクリーン２００に向けて放射される。これにより、（投影像信号生成部１２５が生成した）ポインタ情報１０６を含む投影像信号に対応した投影像２０１が、スクリーン２００に映出される。
【００９２】
図５（Ｂ）は、図４（Ｂ）に示す携帯型情報機器５の構成を示している。携帯型情報機器５も、携帯型情報機器１（図５（Ａ））と同様、タッチパネルと、ディスプレイと、触覚応答機構部と、押圧力検出部と（以上図示せず）、プロセッサ・メモリとを備えている。しかしながら、プロジェクタ光学系及びその制御部は設けられていない。また、携帯型情報機器５は、生成した投影像信号を、外部のプロジェクタ６（図４（Ｂ））に出力するための投影像信号出力端子５２を備えている。
【００９３】
また、携帯型情報機器５のプロセッサ・メモリも、携帯型情報機器１（図５（Ａ））と同様、接触判定部と、押圧力判定部と、ポインタ情報生成部と、動作・画像制御部と、触覚応答制御部と、画面表示制御部と、アプリケーション処理部と（以上図示せず）、投影像信号生成部５２５とを有する。しかしながら、プロジェクタ制御部は設けられていない。
【００９４】
このような携帯型情報機器５においても、外部のプロジェクタ６を利用することによって、（投影像信号生成部５２５が生成した）ポインタ情報を含む操作対応投影像信号に対応した投影像７１が、スクリーン７０に映出される。
【００９５】
図６は、本発明によるユーザインタフェース装置における画像投影方法の一実施形態を示すフローチャートである。
【００９６】
図６によれば、最初に、ディスプレイ１０１の画面に、アイコン１０４を含む画像が表示される（ステップＳ６００）。次いで、タッチパネル１００に対する指の接触の有無が測定される（ステップＳ６０１）。次いで、接触判定部１２１によって、指がタッチパネル１００に接触したか否かが判定される（ステップＳ６０２）。
【００９７】
ここで、真の判定、すなわち指が接触しているとの判定がなされた場合、指による接触・押し込み操作ループ（ステップＳ６１０乃至ステップＳ６２２）に入り、動作・画像制御部１２４が、画像全体を固定した状態で、指の接触位置をモニタ（監視）する（ステップＳ６１１）。一方、指が接触していないとの判定がなされた場合、再度、ステップＳ６０１に戻り、指の接触の有無をモニタする。
【００９８】
ステップＳ６１１の後、接触判定部１２１は、指の接触位置１０５がアイコン１０４の表示位置範囲と重畳したか否かを判定する（ステップＳ６１２）。接触判定部１２１が真の判定、すなわち指の接触位置１０５がアイコン１０４の表示位置範囲と重畳したとの判定を行った際、動作・画像制御部１２４は、「フォーカス」操作が行われたと判断して、アイコン１０４の選択動作を発動させる（ステップＳ６１３）。さらに、この発動した動作に応じてディスプレイ１０１の画面に表示された画像を制御（更新）する（ステップＳ６１４）。一方、接触判定部１２１が偽の判定を行った際、直ちにステップＳ６１９に進み、指の接触位置１０５に応じてポインタ情報が生成される。
【００９９】
ステップＳ６１４の後、押圧力検出部１０３が、指によるタッチパネル１００に対する押圧力ｐＣを測定する（ステップＳ６１５）。ここで、押圧力判定部１２２によって、指による押圧力ｐＣが所定の閾値ｐＴＨ以上であるか否かが判定される（ステップＳ６１６）。押圧力判定部１２２が真の判定、すなわち押圧力ｐＣが所定の閾値ｐＴＨ以上であるとの判定を行った際、動作・画像制御部１２４は、「クリック」操作が行われたと判断して、アイコン１０４の機能に対応した動作を発動させる（ステップＳ６１７）。さらに、この発動した動作に応じてディスプレイ１０１の画面に表示された画像を制御（更新）する（ステップＳ６１８）。一方、押圧力判定部１２２が偽の判定を行った際、直ちにステップＳ６１９に進み、指の接触位置１０５に応じてポインタ情報が生成される。
【０１００】
ステップＳ６１８の後、ポインタ情報生成部１２３が、指の接触位置１０５に応じてポインタ情報を生成する（ステップＳ６１９）。次いで、投影像信号生成部１２５が、生成されたポインタ情報と、制御（更新）された画像とをスクリーン２００に投影するための投影像信号を生成する（ステップＳ６２０）。次いで、プロジェクタ光学系１３及びプロジェクタ制御部１３０によって、ポインタ情報と制御（更新）された画像とをスクリーン２００に投影し、投影像２０１が映出される（ステップＳ６２１）。
【０１０１】
次いで、接触判定部１２１によって、指がタッチパネル１００に接触しているか否かが判定される（ステップＳ６２２）。ここで、指が接触していると判定された場合、以上に述べたステップＳ６１０乃至ステップＳ６２２からなる指による接触・押し込み操作ループが繰り返される。一方、指が接触していないと判定された場合、ユーザの指による操作が終了したものとして、本画像投影方法は終了する。
【０１０２】
以上、詳細に説明したように、本発明のユーザインタフェース装置、画像投影方法及びプログラムによれば、映出された投影像２０１に、指の接触位置１０５に相当する位置を指し示すポインタ２０５が表示される。これにより、映出された投影像２０１を見て確認しながら、タッチパネル１００に対する指での操作を適切に実行することができる。
【０１０３】
前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
【符号の説明】
【０１０４】
１、３、５ 携帯型情報機器（ユーザインタフェース装置）
１００、３０、５０ タッチパネル
１０１、３１、５１ ディスプレイ
１０２ 触覚応答機構部
１０３ 押圧力検出部
１０４ アイコン
１０５、３５、５５ 接触位置
１０６ ポインタ情報
１０７ 検索結果
１１１ 画面表示制御部
１１２ アプリケーション処理部
１２１ 接触判定部
１２２ 押圧力判定部
１２３ ポインタ情報生成部
１２４ 動作・画像制御部
１２５、５２５ 投影像信号生成部
１２６ 触覚応答制御部
１３、３２、６２ プロジェクタ光学系
１３０、６１ プロジェクタ制御部
１３１ 光源
１３２ ＭＥＭＳミラー光学系
１３３、３２０、６２０ 投射レンズ
２００、４０、７０ スクリーン
２０１、４１、７１ 投影像
２０４ アイコンイメージ
２０５、４５、７５ ポインタ
２０７ 検索結果イメージ
５２ 投影像信号出力端子
６ プロジェクタ
６０ 投影像信号入力端子
【技術分野】
【０００１】
本発明は、画像を表示するディスプレイと、ユーザインタフェースとしてのタッチパネルとを備え、画像を投影対象に投影するための投影像信号を生成するユーザインタフェース装置に関する。
【背景技術】
【０００２】
従来、指で、又はスタイラス等の接触器具で、画面に触れることによって入力操作を行う、タッチパネルを搭載したユーザインタフェース装置が広く普及している。特に、スマートフォン、タブレット型コンピュータ、電子書籍、ＰＤＡ(Personal Digital Assistant)といったユーザインタフェース装置、いわゆる携帯型情報機器では、指等による操作を受け入れるユーザインタフェースとしてタッチパネルが、積極的に採用されている。
【０００３】
近年、この携帯型情報機器において、動画を含む画像を、スクリーン等の投影対象に投影するプロジェクタ機能を備えたものが開発されている。このような機器を用いることにより、例えば、機器を携帯しているその場で、機器内のコンテンツ等を投影像として多数の人間に公開することができる。
【０００４】
このようなプロジェクタ機能を備えた携帯型情報機器として、例えば、特許文献１には、スクリーンに画像を投射する投射光学系内のＬＥＤ光源において、出力光の色変動を抑止したプロジェクタ装置が開示されている。また、特許文献２には、カウンターウエイトと減衰器とを利用して手振れを抑制した携帯型のプロジェクタ装置が開示されている。
【０００５】
さらに、特許文献３には、投影対象までの距離を測定する測距部からの信号に基づいて、投影光源の発光量を制御するプロジェクタ内蔵携帯機器が開示されている。ここでは、この発光量制御によって、視聴者に使用条件に応じた映像を投影することが意図されている。また、特許文献４には、プロジェクタ動作時の消費電力を低減させるため、電池電圧値に応じて投影用光源の発光量を制御する携帯通信端末が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−１９１４０２号公報
【特許文献２】特開２０１０−１６９９６６号公報
【特許文献３】特開２０１１−７９４８号公報
【特許文献４】特開２００７−３００３２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
このプロジェクタ機能を備えた携帯型情報機器において、タッチパネルに対して指で操作を行いながら画像を投影する際、ユーザにとって不都合が生じ易い。
【０００８】
一般に、プロジェクタ機能を利用する状況では、ユーザは、映出された投影像を見ながら指による操作を行いたい場合も少なくない。例えば、投影像が実際にどのような状態で映出されているかを見て確認しながら、その投影像について説明する場合もある。また、投影像の映出先を選びながら又は移動させながら、同時に指による操作を行う場合もある。さらに、プロジェクタ機能を利用したプレゼンテーションの際には、映出された投影像と参加者とに向かいながら説明を行うのが通常である。
【０００９】
これに対して、例えば、ディスプレイの画面に表示された画像にアイコンが含まれており、ユーザの指がこのアイコンに接触する場合を考える。スクリーン等の投影対象には、このアイコン（のイメージ）を含む投影像が映出されている。しかしながら、ユーザの指が画面内のアイコンの表示位置付近に接触したとしても、この投影像には、指の接触に関するイメージは何ら現れない。
【００１０】
従って、ユーザは、指による操作の際、ディスプレイの画面を見て、指の接触位置を確認しなければならない。さもなければ、指が意図しないアイコンを選択して不要のアプリケーションが起動したり、指をブラインドで移動させることになって所望の機能を発動させるのに時間がかかったりする可能性が高い。
【００１１】
このように、プロジェクタ機能を利用する際、映出された投影像を見ながら、タッチパネルに対して指で操作を行うことが困難となっている。しかしながら、特許文献１乃至４に開示されたような従来の携帯型プロジェクタ分野では、このようなユーザインタフェース及び操作性に関する問題に十分に取り組んでこなかったことは否めない。
【００１２】
そこで、本発明は、映出された投影像を見て確認しながら、タッチパネルに対する指での操作を適切に実行することができるユーザインタフェース装置、画像投影方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
本発明によれば、画像を画面に表示するディスプレイと、このディスプレイの画面上に配置され、指の接触位置を時間経過に応じて逐次出力するタッチパネルと、このタッチパネルに接触した指によって与えられる押圧力を検出する押圧力検出部とを備えており、画像に対応する投影像を投影対象に映出するための信号を生成するユーザインタフェース装置であって、
指がタッチパネルに接触したか否かを判定する接触判定手段と、
押圧力が所定閾値以上であるか否かを判定する押圧力判定手段と、
接触判定手段が真の判定を行った際、接触した指による操作に対応した動作を発動させ、この動作に応じて画面に表示された画像を制御し、さらに押圧力判定手段が真の判定を行った際、指による押し込み操作に対応した動作を発動させ、この動作に応じて画面に表示された画像を制御する動作・画像制御手段と、
接触判定手段が真の判定を行った際、投影対象に映出された投影像内の位置であって、指の接触位置に相当する位置を指し示すポインタを映出するためのポインタ情報を生成するポインタ情報生成手段と、
ポインタ情報と、動作・画像制御手段によって制御された画像とを投影対象に投影するための投影像信号を生成する投影像信号生成手段と
を有するユーザインタフェース装置が提供される。
【００１４】
また、本発明によるユーザインタフェース装置によれば、接触判定手段は、指の接触位置がディスプレイに表示された画像に含まれる操作対象であるオブジェクトの表示位置範囲と重畳したか否かを判定し、
動作・画像制御手段は、接触判定手段がオブジェクトの表示位置範囲に関して真の判定を行い且つ押圧力判定手段が真の判定を行った際、オブジェクトの機能を発動させる操作が行われたとして対応する動作を発動させ、この動作に応じて画面に表示された画像を制御することも好ましい。
【００１５】
また、この実施形態において、接触判定手段がオブジェクトの表示位置範囲に関して真の判定を行った際、動作・画像制御手段は、オブジェクトを選択する操作が行われたとして対応する動作を発動させ、この動作に応じて画面に表示された画像を制御することも好ましい。
【００１６】
また、本発明によるユーザインタフェース装置によれば、投影像信号を、外部のプロジェクタに出力するための投影像信号出力端子をさらに有することも好ましい。
【００１７】
さらに、本発明によるユーザインタフェース装置によれば、ポインタ情報と、動作・画像制御手段によって制御された画像とを投影対象に投影するプロジェクタ光学系と、
投影像信号を入力し、この投影像信号に応じてプロジェクタ光学系を制御するプロジェクタ制御手段と
をさらに有することも好ましい。
【００１８】
さらにまた、本発明によるユーザインタフェース装置によれば、ユーザの操作から見て、投影対象に映出されたポインタの指し示す位置を見て確認しつつ指による操作を実行することができるように、投影像信号生成手段は、ポインタに対応するポインタ情報を含む投影像信号を生成することも好ましい。
【００１９】
本発明によれば、さらに、画像を画面に表示するディスプレイと、このディスプレイの画面上に配置され、指の接触位置を時間経過に応じて逐次出力するタッチパネルと、このタッチパネルに接触した指によって与えられる押圧力を検出する押圧力検出部とを備えており、画像に対応する投影像を投影対象に映出するための信号を生成するユーザインタフェース装置に搭載されたプログラムであって、
指がタッチパネルに接触したか否かを判定する接触判定手段と、
押圧力が所定閾値以上であるか否かを判定する押圧力判定手段と、
接触判定手段が真の判定を行った際、接触した指による操作に対応した動作を発動させ、この動作に応じて画面に表示された画像を制御し、さらに押圧力判定手段が真の判定を行った際、指による押し込み操作に対応した動作を発動させ、この動作に応じて画面に表示された画像を制御する動作・画像制御手段と、
接触判定手段が真の判定を行った際、投影対象に映出された投影像内の位置であって、指の接触位置に相当する位置を指し示すポインタを映出するためのポインタ情報を生成するポインタ情報生成手段と、
ポインタ情報と、動作・画像制御手段によって制御された画像とを投影対象に投影するための投影像信号を生成する投影像信号生成手段と
してコンピュータを機能させるユーザインタフェース装置用のプログラムが提供される。
【００２０】
本発明によれば、さらにまた、画像を画面に表示するディスプレイと、このディスプレイの画面上に配置され、指の接触位置を時間経過に応じて逐次出力するタッチパネルと、このタッチパネルに接触した指によって与えられる押圧力を検出する押圧力検出部とを備えており、画像に対応する投影像を投影対象に映出するための信号を生成するユーザインタフェース装置における画像投影方法であって、
指がタッチパネルに接触したか否かを判定する第１のステップと、
第１のステップで真の判定がなされた際、接触した指による操作に対応した動作を発動させ、この動作に応じて画面に表示された画像を制御する第２のステップと、
押圧力が所定閾値以上であるか否かを判定する第３のステップと、
第１のステップで真の判定がなされ且つ第３のステップで真の判定がなされた際、指による押し込み操作に対応した動作を発動させ、この動作に応じて画面に表示された画像を制御する第４のステップと、
第１のステップで真の判定がなされた際、投影対象に映出された投影像内の位置であって、指の接触位置に相当する位置を指し示すポインタを映出するためのポインタ情報を生成する第５のステップと、
ポインタ情報と、第２のステップ及び第４のステップで制御された画像とを投影対象に投影するための投影像信号を生成する第６のステップと
を有する画像投影方法が提供される。
【発明の効果】
【００２１】
本発明のユーザインタフェース装置、画像投影方法及びプログラムによれば、映出された投影像を見て確認しながら、タッチパネルに対する指での操作を適切に実行することができる。
【図面の簡単な説明】
【００２２】
【図１】本発明によるプロジェクタ機能を備えた携帯型情報機器と、投影対象とを示す概略図、並びに、ディスプレイ画面に表示された画像を示す携帯型情報機器の前面図、及び投影対象に映出された投影像を示すスクリーンの正面図である。
【図２】「フォーカス」操作及びそれに対応した投影像の様子を説明するための、携帯型情報機器の前面図及びスクリーンの正面図、並びに指による操作を示す概略図である。
【図３】「クリック」操作及びそれらに対応した投影像の様子を説明するための、携帯型情報機器の前面図及びスクリーンの正面図である。
【図４】本発明による携帯型情報機器における他の実施形態を示す概略図である。
【図５】本発明による携帯型情報機器の一実施形態（図１（Ａ））の構成を概略的に示す斜視図及び機能構成図、並びに本発明による携帯型情報機器の他の実施形態（図４（Ｂ））の構成の一部を概略的に示す機能構成図である。
【図６】本発明によるユーザインタフェース装置における画像投影方法の一実施形態を示すフローチャートである。
【発明を実施するための形態】
【００２３】
以下、本発明の実施形態について、図面を用いて詳細に説明する。
【００２４】
本発明による、ディスプレイ及びタッチパネルを備えたユーザインタフェース装置は、
（１）ディスプレイ画面に表示された画像を投影するための投影像信号を生成する
ことができる装置である。また、
（２）スクリーン等の投影対象に、ディスプレイ画面に表示された画像を投影するプロジェクタ機能を有する
ことも好ましい。この本発明によるユーザインタフェース装置では、投影対象に映出された投影像内の位置であって、ディスプレイ画面内の指の接触位置に相当する位置を指し示すポインタを、投影対象に投影するための投影像信号を生成する点に特徴を有する。
【００２５】
これにより、ユーザは、映出された投影像に表示されたポインタを見て、その指し示す位置を確認することができる。その結果、投影像を見て確認しつつ、タッチパネルに対する指での操作を適切に実行することができる。
【００２６】
ここで、「画像」とは、ユーザインタフェース装置のディスプレイ画面に表示された、静止画及び動画を含むイメージである。また、「投影像信号」は、「画像」情報を含み、この「画像」をスクリーン等の投影対象に投影するためにプロジェクタ部またはプロジェクタ装置に出力される信号である。さらに、「投影像」とは、「投影像信号」を入力したプロジェクタ部またはプロジェクタ装置から放射された投射光が、スクリーン等の投影対象上に形成するイメージである。
【００２７】
また、本発明によるユーザインタフェース装置では、ユーザの指がタッチパネルに接触することによって情報が入力される。このため、当該装置の多くは、片手又は両手で携帯して指での操作が可能となる、スマートフォンやタブレット型コンピュータのような携帯型情報機器である。従って、以下、本発明の実施形態として、携帯型情報機器を説明する。
【００２８】
図１は、本発明によるプロジェクタ機能を備えた携帯型情報機器と、投影対象とを示す概略図、並びに、ディスプレイ画面に表示された画像を示す携帯型情報機器の前面図、及び投影対象に映出された投影像を示すスクリーンの正面図である。
【００２９】
図１（Ａ）は、プロジェクタ機能を備えた携帯型情報機器１から投射光が放射され、投影対象であるスクリーン２００に投影像２０１が映出された状態を示している。この図によれば、携帯型情報機器１は、画像を画面に表示するディスプレイ１０１と、ディスプレイ１０１の画面上に配置されたタッチパネル１００とを備えている。ユーザは、タッチパネル１００に対して指による入力操作を行う。この入力操作に応じて動作が発動し、この発動した動作に対応した画像が、ディスプレイ１０１の画面に表示される。
【００３０】
尚、以下、指を直接接触させて入力操作を行う形態を説明するが、指の代わりに、スタイラス等の接触器具を用いて入力することも可能である。この場合、以下に説明する実施形態において、指の接触位置が、接触器具の先端の接触位置に置き換わることになる。
【００３１】
携帯型情報機器１は、さらに、プロジェクタ機能を有するプロジェクタ光学系１３を内蔵している。ディスプレイ１０１の画面に表示される画像の情報は、同時に、投影像信号に変換される。この投影像信号は、プロジェクタ光学系１３を制御するプロジェクタ制御部１３０（図５（Ａ））に出力される。この投影像信号に基づいてプロジェクタ光学系１３が制御され、プロジェクタ光学系１３の出力部となる投射レンズ１３３から、ディスプレイ１０１の画面に表示される画像の情報を含む投射光が放射される。その結果、スクリーン２００に、この画像に対応した投影像２０１が映出される。
【００３２】
図１（Ｂ）は、ディスプレイ１０１の画面に表示された画像と、スクリーンに映出された投影像２０１との対応関係を示している。この図によれば、ディスプレイ１０１の画面に表示された画像には、複数のアイコン１０４が表示されている。アイコン１０４は、アプリケーションを起動させるための、ユーザにとっての操作対象（オブジェクト）である。ユーザは、指を直接アイコン１０４に接触させることによって、アイコン１０４を選択することができる。
【００３３】
図１（Ｂ）において、ユーザの指は、接触位置１０５で、タッチパネル１００に接触している。ここで、ディスプレイ１０１の画面にｘｙ座標系の第一象限を導入し、この指の接触位置１０５の座標を（ｘ１，ｙ１）とする。また、図１（Ｂ）における画面左下隅を原点（０，０）とする。この指の接触位置１０５に基づいて、後述するポインタ情報生成部１２３（図５（Ａ））により、ポインタ情報１０６が生成される。ポインタ情報１０６は、投影像２０１内にポインタ２０５を映出するための画像情報（イメージデータ）である。
【００３４】
ポインタ情報１０６において、先端１０６ａの座標は、指の接触位置１０５の座標（ｘ１，ｙ１）と一致するように設定される。すなわち、ポインタ情報１０６がディスプレイ１０１の画面に表示されたとすると、そのポインタ情報１０６のイメージは、指の接触位置１０５を指すことになる。すなわち、先端１０６ａが指の接触位置と一致する。尚、ポインタ情報１０６は、本実施形態において、ディスプレイ１０１の画面に表示されない。しかしながら、スクリーンに映出されたポインタ２０５と互いに対応する形で、ポインタ情報１０６がディスプレイ１０１の画面に表示されてもよい。
【００３５】
次いで、形成されたポインタ情報１０６と、ディスプレイ１０１の画面に表示される画像の情報とが合成されて、スクリーン２００に投影するための投影像信号が生成される。この投影像信号に応じた投射光が放射され、その結果、ポインタ情報１０６と、ディスプレイ１０１の画面に表示される画像の情報とに対応した投影像２０１が、スクリーン２００に映出される。
【００３６】
同じく図１（Ｂ）において、スクリーン２００に映出された投影像２０１は、ポインタ情報１０６に対応したポインタ２０５と、複数のアイコン１０４に対応した複数のアイコンイメージ２０４とを含む。ポインタ２０５は、投影像２０１内における、ディスプレイ１０１の画面内での指の接触位置１０５に相当する位置を指し示す。すなわち、ポインタ２０５の先端２０５ａの位置が、この投影像２０１内における指の接触位置１０５に相当する位置と一致する。
【００３７】
ここで、スクリーン２００の投射面は平坦であって、投影レンズ１３３から放射される投射光の光軸に垂直であるとする。また、これにより、投影像２０１は、ディスプレイ１０１の画面（に表示された画像全体）と相似形、または縦横比がこの画面とは異なる矩形をなしているとする。さらに、スクリーン２００の投影面にＸＹ座標系の第一象限を導入し、ポインタ２０５の先端２０５ａの位置の座標を（Ｘ１，Ｙ１）とする。また、図１（Ｂ）における投影像２０１左下隅を原点（０，０）とする。
【００３８】
この場合、指の接触位置１０５の座標（ｘ１，ｙ１）と、先端２０５ａ位置の座標（Ｘ１，Ｙ１）とには、以下の関係が存在する。
（ａ） Ｘ１＝α・ｘ１、 Ｙ１＝β・ｙ１
ここで、
（ｂ） α＝（投影像２０１のＸ軸方向での幅）／（画面のｘ軸方向での幅）
（ｃ） β＝（投影像２０１のＹ軸方向での高さ）／（画面のｙ軸方向での高さ）
である。例えば、投影像２０１とディスプレイ１０１の画面（に表示された画像全体）とが相似である場合、α＝β（＝拡大率）となる。
【００３９】
このように、ポインタ２０５は、その先端２０５ａによって、投影像２０１内における、指の接触位置１０５に相当する位置を指し示す。これにより、ユーザは、ディスプレイ１０１の画面を見なくとも、投影像２０１内での先端２０５ａの位置を見ることによって、画面内での指の接触位置１０５を確認することができる。従って、映出された投影像２０１内におけるポインタ２０５の先端２０５ａを見て確認しながら、タッチパネル１００に対する指での操作を適切に実行することが可能となる。
【００４０】
また、言い換えると、プロジェクタ光学系１３に出力される投影像信号は、ユーザの操作から見て、スクリーン２００に映出されたポインタ２０５の指し示す位置を確認しつつ指による操作を実行することができるように、ポインタ２０５に対応するポインタ情報１０６を含む信号となっている。
【００４１】
尚、ポインタ２０５は、必ずしも矢印形状のイメージに限られるものではない。例えば、頂点が明確な二等辺三角形、人差し指のみを伸ばした片手のイメージ、又はドット若しくは星形等の微小面積イメージ等、１つの点を指し示していることが認識されるイメージならば、種々の形態がポインタ２０５として採用可能となる。また、ポインタ２０５は、半透明であることも好ましい。これにより、投影像２０１内に表示された他のイメージ（アイコンイメージ２０４等）が、ポインタ２０５に遮られて確認し難くなる事態を回避することができる。
【００４２】
また、スクリーン２００の投影面が投影レンズ１３３から放射される投射光の光軸に垂直な場合においても、投影像２０１は、必ずしも矩形に限られるものではない。例えば、ディスプレイ１０１の画面に、円形の画像が表示され、その画像内に複数のアイコンが表示されている場合、投影像２０１は、この画像に応じて、複数のアイコンイメージを含む円形のイメージとすることもできる。または、このような円形のイメージを含む、ディスプレイ１０１の画面に対応した矩形のイメージであってもよい。
【００４３】
さらに、ユーザは、携帯型情報機器１を片手（図１（Ｂ）では右手）で保持することも可能である。この場合、ユーザは、片手で保持した携帯型情報機器１の投影レンズ１３３をスクリーン２００に向け、映出された投影像２０１を見ながら、この保持した片手の指（親指）で適切な操作を行うことも可能となる。
【００４４】
以下、タッチパネル１００に対して行うことができる指による操作の形態を示し、操作に対応した投影像２０１の様子を説明する。この指による操作の例として、
（１） 「フォーカス」操作：アイコン等のオブジェクトを選択する、
（２） 「クリック」操作：オブジェクトの機能を発動させる、
を以下に説明する。
【００４５】
尚、当然に、上記以外の従来の操作、例えばドラッグ操作、フリック操作、ピンチイン操作、ピンチアウト操作等も、タッチパネル１００を介して実行し得るように設定することもできる。ピンチイン操作およびピンチアウト操作のように、指の接触点が同時に２つ又はそれ以上存在する場合、これらの指の接触位置のそれぞれに対応した複数の位置を、それぞれ指し示す複数のポインタが、投影像２０１内に映出されることも好ましい。
【００４６】
図２は、「フォーカス」操作及びそれに対応した投影像２０１の様子を説明するための、携帯型情報機器１の前面図及びスクリーン２００の正面図、並びに指による操作を示す概略図である。
【００４７】
図２（Ａ）及び（Ｂ）は、「フォーカス」操作を示している。図２（Ａ）によれば、ユーザの指が、タッチパネル１００に接触し、接触を保ちながらタッチパネル１００上をなぞるように移動（スライド）している。ここで、アイコン１０４を含む画像全体は、指の移動にもかかわらず移動せず、固定された状態となっている。
【００４８】
ユーザは、指を接触させたまま移動させ、位置が固定されたアイコン１０４に順次触れていく。これに応じて、スクリーン２００に映出された投影像２０１内のポインタ２０５も移動し、同じく位置が固定されたアイコンイメージ２０４を順次指し示していく。また、後述する接触判定部１２１（図５（Ａ））が、指の移動中も、指の接触位置１０５とアイコン１０４の表示位置範囲とが重畳したか否かを判定している。すなわち、ディスプレイ１０１の画面に表示された画像全体を固定した状態で、指の接触位置１０５がモニタされている。
【００４９】
ユーザは、指で画面に表示された画像（タッチパネル１００）をなぞりつつ、画像内に所望のアイコン１０４が存在するか否かを確かめながら、所望のアイコン１０４の表示位置範囲まで指を進める。ここで、ユーザは、指を移動（スライド）させるためにディスプレイ１０１を見る必要はなく、接触位置を確認するために投影像２０１内のポインタ２０５を見ていればよい。従って、このような指での操作は、携帯型情報機器１においてプロジェクタ機能を発動させた場合に非常に適したものとなっている。
【００５０】
ユーザは、その後、所望のアイコン１０４を探し出し、対応するアイコン１０４の表示位置範囲内に指を進める。このように、指の接触位置をアイコン１０４の表示位置範囲に重畳させる操作を、以後、「フォーカス」操作と称する。「フォーカス」操作は、ユーザがアイコン１０４を選択する操作であり、その後のアイコン１０４の機能を発動させる操作を確実に行うための準備動作としての役割を果たす。
【００５１】
この指による「フォーカス」操作に対応して、投影像２０１内のポインタ２０５が、所望のアイコン１０４に対応したアイコンイメージ２０４を指し示す（ポインタ２０５の先端２０５ａが、アイコンイメージ２０４の表示位置範囲と重畳する）。従って、ユーザは、ポインタ２０５（の先端２０５ａ）のアイコンイメージ２０４に対する位置を見て確認することによって、画面内での指の接触位置１０５をアイコン１０４の表示位置範囲に重畳させることができる。すなわち、ディスプレイ１０１の画面を見なくとも、「フォーカス」操作を適切に実行することが可能となる。
【００５２】
ここで、「フォーカス」操作によって選択されたアイコン１０４は、表示位置範囲がより強く光る、又は周囲より浮き上がって見える等、強調表示されることも好ましい。この場合、投影像２０１に表示された対応するアイコンイメージ２０４も強調表示される。これにより、ユーザは、ディスプレイ１０１の画面を見なくとも、「フォーカス」操作が適切に実行されたことを確認することができる。
【００５３】
また、指の接触位置１０５がアイコン１０４の表示位置範囲に重畳した際には、後述する触覚応答機構部１０２（図５（Ａ））が、指に、物理的な押下ボタンの存在を感じさせる振動を与えることができる。これにより、ユーザは、投影像２０１を見ながらであっても、指による「フォーカス」操作が受け入れられたことを確認でき、安定した確実な操作感を得ることができる。
【００５４】
図３は、「クリック」操作及びそれらに対応した投影像２０１の様子を説明するための、携帯型情報機器１の前面図及びスクリーン２００の正面図である。
【００５５】
図３によれば、指が、所望のアイコン１０４の位置まで進み、その結果、指の接触位置１０５がアイコン１０４の表示位置範囲と重畳する。すなわち、「フォーカス」操作が行われる。これに対応して、投影像２０１内におけるポインタ２０５の先端２０５ａの位置も、アイコンイメージ２０４の表示位置範囲に重畳する。この状態から、ユーザが指をタッチパネル１００に押し込むと、対応するアイコン１０４の機能が発動する。このように、アイコン１０４の機能を発動させるために指でアイコン１０４（タッチパネル１００）を押し込む操作を、以後、「クリック」操作と称する。
【００５６】
尚、アイコン１０４の機能、例えば、電子メール・アプリケーションが起動すると、ディスプレイ１０１の画面に表示された画像は、例えば、送信メール作成画面のイメージとなる。これに対応して、スクリーン２００に映出された投影像２０１も、アイコンイメージ１０４が表示された状態から、送信メール作成画面のイメージに変化する。すなわち、投影像２０１は、アイコン１０４の機能発動前後を含めて常時、ディスプレイ１０１の画面に表示された画像を反映したものとなっている。
【００５７】
ここで、「クリック」操作と判定される条件を説明する。最初に、指の接触位置１０５が、所望のアイコン１０４の表示位置範囲と重畳する。すなわち「フォーカス」操作が行われる。次いで、この状態から、ユーザが指を強く押し込み、指による押圧力ｐＣが所定の押圧力閾値ｐＴＨ以上となる場合（ｐＣ≧ｐＴＨ）、後述する動作・画像制御部１２４（図５（Ａ））で、「クリック」操作が行われたと判断され、アイコン１０４の機能が発動する。このように、押圧力ｐＣが所定閾値ｐＴＨ以上であることが、「クリック」操作と判断される条件となる。尚、押圧力閾値ｐＴＨは、例えば、０.５Ｎ（ニュートン）乃至２.０Ｎの範囲内の値に設定可能である。
【００５８】
以上に述べた「クリック」操作は、あくまで指による押し込みの強さを変えて行う操作である。従って、ユーザは、ディスプレイ１０１を見て確認せずに、「クリック」操作を適切に実行することができる。このように、「クリック」操作は、携帯型情報機器１においてプロジェクタ機能を発動させた場合に、非常に実行し易い操作となることが理解される。
【００５９】
また、後述する触覚応答機構部１０２（図５（Ａ））が、「クリック」操作を行った指に、物理的な押下ボタンを実際に押下したかのような感覚を付与する振動を与えることもできる。これにより、ユーザは、投影像２０１を見ながらであっても、指による「クリック」操作が受け入れられたことを確認でき、安定した確実な操作感を得ることができる。
【００６０】
図４は、本発明による携帯型情報機器における他の実施形態を示す概略図である。
【００６１】
図４（Ａ）において、携帯型情報機器３は、タブレット型コンピュータである。ユーザは、携帯型情報機器３を一方の手（同図では左手）で保持しながら、他方の手の指（同図では右手の人差し指）をタッチパネル３０に接触させて操作することができる。このような携帯型情報機器３においても、指の接触位置３５に基づいてポインタ情報が生成される。また、指による操作に対応した動作が発動し、この動作に応じてディスプレイ３１の画面に表示される画像が制御される。次いで、このポインタ情報と、制御された画像とをスクリーン４０に投影するための投影像信号が生成される。
【００６２】
生成された投影像信号は、制御部を介して、携帯型情報機器３に内蔵されたプロジェクタ光学系３２に出力され、プロジェクタ光学系３２の投射レンズ３２０から、この投影像信号に対応した投射光が放射される。この投射光がスクリーン４０に投射されて、ディスプレイ３１の画面に表示される制御された画像に対応した投影像４１が形成される。この投影像４１は、さらに、ポインタ情報に対応したポインタであって、指の接触位置３５に相当する投影像４１上の位置を指し示すポインタ４５を含む。
【００６３】
ユーザは、ディスプレイ３１の画面を見なくとも、投影像４１内でのポインタ４５（の先端）を見ることによって、画面内での指の接触位置３５を確認することができる。従って、投影像４１内におけるポインタ４５（の先端）を見て確認しながら、タッチパネル３０に対する指での操作を適切に実行することが可能となる。
【００６４】
図４（Ｂ）において、携帯型情報機器５は、ディスプレイ５１の画面に表示された画像を投影するための投影像信号を生成することができる装置である。但し、この投影像信号を受けてこの画像を投影するプロジェクタ光学系及びその制御部は、設けられていない。携帯型情報機器５は、生成した投影像信号を、外部のプロジェクタ６に出力するための投影像信号出力端子５２を備えている。
【００６５】
プロジェクタ６は、投影像信号出力端子５２と接続される投影像信号入力端子６０と、投影像信号入力端子６０を介して投影像信号を入力するプロジェクタ制御部６１と、プロジェクタ制御部６１によって制御され、投影像信号に係る画像を投影するプロジェクタ光学系６２とを備えている。
【００６６】
ユーザは、保持した片手の指（同図では右手の親指）をタッチパネル５０に接触させて、携帯型情報機器５を操作する。このような携帯型情報機器５においても、指の接触位置５５に基づいてポインタ情報が生成される。また、指による操作に対応した動作が発動し、この動作に応じてディスプレイ５１の画面に表示される画像が制御される。次いで、このポインタ情報と、制御された画像とをスクリーン７０に投影するための投影像信号が生成される。
【００６７】
生成された投影像信号は、投影像信号出力端子５２を介して携帯型情報機器５から出力され、投影像信号入力端子６０を介してプロジェクタ６に入力される。プロジェクタ制御部６１は、プロジェクタ光学系６２を制御し、投射レンズ６２０から、入力した投影像信号に対応した投射光を放射させる。この投射光がスクリーン７０に投射されて、ディスプレイ５１の画面に表示される制御された画像に対応した投影像７１が形成される。この投影像７１は、さらに、ポインタ情報に対応したポインタであって、指の接触位置５５に相当する投影像７１上の位置を指し示すポインタ７５を含む。
【００６８】
ユーザは、ディスプレイ５１の画面を見なくとも、投影像７１内でのポインタ７５（の先端）を見ることによって、画面内での指の接触位置５５を確認することができる。従って、映出された投影像７１内におけるポインタ７５（の先端）を見て確認しながら、タッチパネル５０に対する指での操作を適切に実行することが可能となる。
【００６９】
以上述べたように、投影像信号の形成機能（携帯型情報機器５）を、画像投影機能（プロジェクタ６）から分離することによって、携帯型情報機器５が、小型・軽量化される。また、例えば、複数ユーザによるプレゼンテーションの際、各ユーザは、自らのプレゼンテーションデータを自らの携帯型情報機器５に保有したまま、定位置に設置されたプロジェクタ６を用いて、プレゼンテーションを、輪番で且つ同一スクリーン７０で行うことができる。
【００７０】
図５は、本発明による携帯型情報機器１の構成を概略的に示す斜視図及び機能構成図、並びに本発明による携帯型情報機器５（図４（Ｂ））の構成の一部を概略的に示す機能構成図である。
【００７１】
図５（Ａ）は、携帯型情報機器１の構成を示している。同図によれば、携帯型情報機器１は、タッチパネル１００と、ディスプレイ１０１と、触覚応答機構部１０２と、押圧力検出部１０３と、プロセッサ・メモリとを備えている。携帯型情報機器１は、さらに、プロジェクタ光学系１３を備えている。ここで、プロセッサ・メモリは、プログラムを実行することによってその機能を実現させる。
【００７２】
ディスプレイ１０１は、画面に画像を表示する。また、タッチパネル１００は、ディスプレイ１００の画面上に配置されており、ユーザの指の接触位置を時間経過に応じて逐次出力する。このタッチパネル１００として、投影型静電容量方式タッチパネル、表面型静電容量方式タッチパネル、抵抗膜方式タッチパネル、超音波表面弾性波方式タッチパネル、又は赤外線走査方式タッチパネル等を採用することができる。
【００７３】
触覚応答機構部１０２は、タッチパネル１００に接触した指に対して、タッチパネル１００を振動させることにより触覚応答を与える。例えば、上述した「フォーカス」操作時、及び／又は「クリック」操作時に、操作内容に応じた種類及び強度の振動を指に与える。触覚応答機構部１０２は、例えば、ＰＺＴ（チタン酸ジルコン酸鉛）等の圧電材料を用いて形成された圧電アクチュエータとすることができる。
【００７４】
押圧力検出部１０３は、指によってタッチパネル１００に与えられる押圧力ｐＣを検出する。押圧力検出部１０３は、例えば、タッチパネル１００の四隅下に設置されており、指を押し付けられて撓んだタッチパネル１００が自身に及ぼす押圧の合計を、押圧力ｐＣとして検出する。この押圧力検出部１０３が出力する押圧力信号は、後述する押圧力判定部１２２に入力される。押圧力検出部１０３は、例えば、ＰＺＴ等の圧電材料を用いて形成された圧電センサとすることができる。また、圧電アクチュエータで構成された触覚応答機構部１０２を設ける代わりに又は設けると共に、押圧力検出部１０３を触覚応答機構部として利用することも可能である。
【００７５】
プロセッサ・メモリは、タッチパネル１００から出力される指の接触位置信号と、押圧力検出部１０３から出力される押圧力信号とを入力し、これらの信号に基づいてユーザの指による操作を認定し、この操作に対応した動作を発動させる。また、この動作に応じてディスクプレイ１０１の画面に表示された画像を制御する。
【００７６】
さらに、プロセッサ・メモリは、スクリーン２００にポインタ２０５を映出するためのポインタ情報１０６を生成する。さらに、プロセッサ・メモリは、このポインタ情報と、制御された画像とを投影するための操作対応投影像信号を生成し、この信号に基づいて、プロジェクタ光学系１３を制御する。以下、同じく図５（Ａ）を用いて、このプロセッサ・メモリの機能構成を説明する。
【００７７】
図５（Ａ）によれば、プロセッサ・メモリは、接触判定部１２１と、押圧力判定部１２２と、ポインタ情報生成部１２３と、動作・画像制御部１２４と、投影像信号生成部１２５と、触覚応答制御部１２６と、プロジェクタ制御部１３０と、画面表示制御部１１１と、アプリケーション処理部１１２とを有する。
【００７８】
接触判定部１２１は、タッチパネル１００から出力される指の接触位置信号を入力し、指がタッチパネル１００に接触したか否かを判定して、この判定結果及び指の接触位置情報を、ポインタ情報生成部１２３及び動作・画像制御部１２４に出力する。また、この接触判定部１２１が、指の接触位置１０５がアイコン１０４の表示位置範囲と重畳したか否かを判定し、この判定結果を動作・画像制御部１２４に出力することも好ましい。
【００７９】
押圧力判定部１２２は、押圧力検出部１０３からの押圧力信号を入力し、指による押圧力ｐＣが所定の押圧力閾値ｐＴＨ以上であるか否かを判定する。さらに、この判定結果を、動作・画像制御部１２４へ出力する。
【００８０】
ポインタ情報生成部１２３は、接触判定部１２２から出力される、接触の有無についての判定結果及び指の接触位置情報を入力する。次いで、スクリーン２００に映出された投影像２０１内における、指の接触位置１０５に相当する位置を指し示すポインタ２０５を映出するためのポインタ情報（ポインタイメージデータ）１０６を生成する。ここで、ポインタ情報１０６は、投影像２０１内におけるポインタ２０５の先端２０５ａの位置が、ディスプレイ１０１の画面内における指の接触位置１０５に対応するように生成される。ポインタ情報生成部１２３は、この生成したポインタ情報１０６を、投影像信号生成部１２５に出力する。
【００８１】
動作・画像制御部１２４は、接触判定部１２２から、接触の有無についての判定結果及び指の接触位置情報を入力し、さらに、押圧力判定部１２２から判定結果を入力する。動作・画像制御部１２４は、これらの入力情報を基に、接触した指による操作（例えば、「フォーカス」操作又は「クリック」操作）を認定し、認定した操作に対応した動作を発動させる。さらに、この発動させた動作に応じてディスプレイ１０１の画面に表示された画像を制御するように、画面表示制御部１１１に動作指示情報を出力する。
【００８２】
具体的に、動作・画像制御部１２４は、指の接触位置１０５がアイコン１０４の表示位置範囲と重畳した場合に、「フォーカス」操作が行われたとして対応する動作を発動させることも好ましい。さらに、指の接触位置１０５がアイコン１０４の表示位置範囲と重畳し且つ押圧力ｐＣが所定の閾値ｐＴＨ以上である場合、「クリック」操作が行われたとして対応する動作を発動させることも好ましい。
【００８３】
さらに、動作・画像制御部１２４は、発動させた動作に応じて制御された（ディスプレイ１０１の画面に表示される）画像情報を、投影像信号生成部１２５に出力する。
【００８４】
投影像信号生成部１２５は、ポインタ情報生成部１２３からポインタ情報１０６を入力し、動作・画像制御部１２４から制御された画像情報を入力する。投影像信号生成部１２５は、これらポインタ情報１０６と制御された画像情報とをスクリーン２００に投影するための投影像信号を生成する。また、生成した投影像信号を、プロジェクタ制御部１３０に出力する。
【００８５】
触覚応答制御部１２６は、動作・画像制御部１２４から出力される動作指示情報を入力する。次いで、この情報に基づいて、タッチパネル１００に接触した指に対して触覚応答を与えるべく、触覚応答機構部１０２を制御する。
【００８６】
画面表示制御部１１１は、アプリケーション処理部１１２からのアプリケーション処理情報を入力して、アプリケーションの実行に応じた画像をディスプレイ１０１に表示させる。また、画面表示制御部１１１は、動作・画像制御部１２４から出力される動作指示情報を入力し、指示された動作に応じた画像をディスプレイ１０１に表示させる。
【００８７】
プロジェクタ制御部１３０は、投影像信号生成部１２５から入力した投影像信号に基づいて、プロジェクタ光学系１３を制御する。
【００８８】
プロジェクタ光学系１３は、光源１３１と、ＭＥＭＳ（微小電気機械系）ミラー光学系１３２と、投射レンズ１３３とを備えている。光源１３１は、スクリーン２００に投射する投射光用の光源である。この光源１３１には、それぞれＲ（赤）、Ｇ（緑）及びＢ（青）の光を放射する３種のＬＥＤ（発光ダイオード）、又はそれぞれＲ，Ｇ及びＢの光を放射する３種のダイオードチップが一体化したＬＥＤを用いることができる。
【００８９】
ＭＥＭＳミラー光学系１３２は、例えばＤＭＤ（Digital Micro mirror Device、登録商標）素子を備えていて、ＤＬＰ（Digital Light Processing、登録商標）方式により、投影像信号から投射光を形成する光学系である。ＤＭＤ素子は、２次元に配列しており鏡面の傾斜角が個別に制御される多数のマイクロミラーを有している。
【００９０】
ＤＬＰ方式では、プロジェクタ制御部１３０が、入力した投影像信号に対してＤＭＤ素子に合わせた解像度変換等を施し、これにより、多数のマイクロミラー駆動用の信号を形成する。次いで、この駆動用信号によってＤＭＤ素子を制御駆動させる。また、プロジェクタ制御部１３０は、個々のマイクロミラー駆動のタイミングに合わせて（同期させて）光源１３１を制御し、光源１３１からＲ、Ｇ又はＢの光を適宜放射させる。
【００９１】
光源１３１から放射された光は、所定の光学系を介してＤＭＤ素子に照射され、同素子で反射して、多数のマイクロミラーの傾斜角に対応した多数の画素からなる画像に相当する投射光を形成する。この投射光は、所定の光学系を介して投射レンズ１３３から、スクリーン２００に向けて放射される。これにより、（投影像信号生成部１２５が生成した）ポインタ情報１０６を含む投影像信号に対応した投影像２０１が、スクリーン２００に映出される。
【００９２】
図５（Ｂ）は、図４（Ｂ）に示す携帯型情報機器５の構成を示している。携帯型情報機器５も、携帯型情報機器１（図５（Ａ））と同様、タッチパネルと、ディスプレイと、触覚応答機構部と、押圧力検出部と（以上図示せず）、プロセッサ・メモリとを備えている。しかしながら、プロジェクタ光学系及びその制御部は設けられていない。また、携帯型情報機器５は、生成した投影像信号を、外部のプロジェクタ６（図４（Ｂ））に出力するための投影像信号出力端子５２を備えている。
【００９３】
また、携帯型情報機器５のプロセッサ・メモリも、携帯型情報機器１（図５（Ａ））と同様、接触判定部と、押圧力判定部と、ポインタ情報生成部と、動作・画像制御部と、触覚応答制御部と、画面表示制御部と、アプリケーション処理部と（以上図示せず）、投影像信号生成部５２５とを有する。しかしながら、プロジェクタ制御部は設けられていない。
【００９４】
このような携帯型情報機器５においても、外部のプロジェクタ６を利用することによって、（投影像信号生成部５２５が生成した）ポインタ情報を含む操作対応投影像信号に対応した投影像７１が、スクリーン７０に映出される。
【００９５】
図６は、本発明によるユーザインタフェース装置における画像投影方法の一実施形態を示すフローチャートである。
【００９６】
図６によれば、最初に、ディスプレイ１０１の画面に、アイコン１０４を含む画像が表示される（ステップＳ６００）。次いで、タッチパネル１００に対する指の接触の有無が測定される（ステップＳ６０１）。次いで、接触判定部１２１によって、指がタッチパネル１００に接触したか否かが判定される（ステップＳ６０２）。
【００９７】
ここで、真の判定、すなわち指が接触しているとの判定がなされた場合、指による接触・押し込み操作ループ（ステップＳ６１０乃至ステップＳ６２２）に入り、動作・画像制御部１２４が、画像全体を固定した状態で、指の接触位置をモニタ（監視）する（ステップＳ６１１）。一方、指が接触していないとの判定がなされた場合、再度、ステップＳ６０１に戻り、指の接触の有無をモニタする。
【００９８】
ステップＳ６１１の後、接触判定部１２１は、指の接触位置１０５がアイコン１０４の表示位置範囲と重畳したか否かを判定する（ステップＳ６１２）。接触判定部１２１が真の判定、すなわち指の接触位置１０５がアイコン１０４の表示位置範囲と重畳したとの判定を行った際、動作・画像制御部１２４は、「フォーカス」操作が行われたと判断して、アイコン１０４の選択動作を発動させる（ステップＳ６１３）。さらに、この発動した動作に応じてディスプレイ１０１の画面に表示された画像を制御（更新）する（ステップＳ６１４）。一方、接触判定部１２１が偽の判定を行った際、直ちにステップＳ６１９に進み、指の接触位置１０５に応じてポインタ情報が生成される。
【００９９】
ステップＳ６１４の後、押圧力検出部１０３が、指によるタッチパネル１００に対する押圧力ｐＣを測定する（ステップＳ６１５）。ここで、押圧力判定部１２２によって、指による押圧力ｐＣが所定の閾値ｐＴＨ以上であるか否かが判定される（ステップＳ６１６）。押圧力判定部１２２が真の判定、すなわち押圧力ｐＣが所定の閾値ｐＴＨ以上であるとの判定を行った際、動作・画像制御部１２４は、「クリック」操作が行われたと判断して、アイコン１０４の機能に対応した動作を発動させる（ステップＳ６１７）。さらに、この発動した動作に応じてディスプレイ１０１の画面に表示された画像を制御（更新）する（ステップＳ６１８）。一方、押圧力判定部１２２が偽の判定を行った際、直ちにステップＳ６１９に進み、指の接触位置１０５に応じてポインタ情報が生成される。
【０１００】
ステップＳ６１８の後、ポインタ情報生成部１２３が、指の接触位置１０５に応じてポインタ情報を生成する（ステップＳ６１９）。次いで、投影像信号生成部１２５が、生成されたポインタ情報と、制御（更新）された画像とをスクリーン２００に投影するための投影像信号を生成する（ステップＳ６２０）。次いで、プロジェクタ光学系１３及びプロジェクタ制御部１３０によって、ポインタ情報と制御（更新）された画像とをスクリーン２００に投影し、投影像２０１が映出される（ステップＳ６２１）。
【０１０１】
次いで、接触判定部１２１によって、指がタッチパネル１００に接触しているか否かが判定される（ステップＳ６２２）。ここで、指が接触していると判定された場合、以上に述べたステップＳ６１０乃至ステップＳ６２２からなる指による接触・押し込み操作ループが繰り返される。一方、指が接触していないと判定された場合、ユーザの指による操作が終了したものとして、本画像投影方法は終了する。
【０１０２】
以上、詳細に説明したように、本発明のユーザインタフェース装置、画像投影方法及びプログラムによれば、映出された投影像２０１に、指の接触位置１０５に相当する位置を指し示すポインタ２０５が表示される。これにより、映出された投影像２０１を見て確認しながら、タッチパネル１００に対する指での操作を適切に実行することができる。
【０１０３】
前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
【符号の説明】
【０１０４】
１、３、５ 携帯型情報機器（ユーザインタフェース装置）
１００、３０、５０ タッチパネル
１０１、３１、５１ ディスプレイ
１０２ 触覚応答機構部
１０３ 押圧力検出部
１０４ アイコン
１０５、３５、５５ 接触位置
１０６ ポインタ情報
１０７ 検索結果
１１１ 画面表示制御部
１１２ アプリケーション処理部
１２１ 接触判定部
１２２ 押圧力判定部
１２３ ポインタ情報生成部
１２４ 動作・画像制御部
１２５、５２５ 投影像信号生成部
１２６ 触覚応答制御部
１３、３２、６２ プロジェクタ光学系
１３０、６１ プロジェクタ制御部
１３１ 光源
１３２ ＭＥＭＳミラー光学系
１３３、３２０、６２０ 投射レンズ
２００、４０、７０ スクリーン
２０１、４１、７１ 投影像
２０４ アイコンイメージ
２０５、４５、７５ ポインタ
２０７ 検索結果イメージ
５２ 投影像信号出力端子
６ プロジェクタ
６０ 投影像信号入力端子
【特許請求の範囲】
【請求項１】
画像を画面に表示するディスプレイと、該ディスプレイの画面上に配置され、指の接触位置を時間経過に応じて逐次出力するタッチパネルと、該タッチパネルに接触した当該指によって与えられる押圧力を検出する押圧力検出部とを備えており、当該画像に対応する投影像を投影対象に映出するための信号を生成するユーザインタフェース装置であって、
当該指が前記タッチパネルに接触したか否かを判定する接触判定手段と、
前記押圧力が所定閾値以上であるか否かを判定する押圧力判定手段と、
前記接触判定手段が真の判定を行った際、接触した当該指による操作に対応した動作を発動させ、該動作に応じて前記画面に表示された画像を制御し、さらに前記押圧力判定手段が真の判定を行った際、当該指による押し込み操作に対応した動作を発動させ、該動作に応じて前記画面に表示された画像を制御する動作・画像制御手段と、
前記接触判定手段が真の判定を行った際、前記投影対象に映出された投影像内の位置であって、当該指の接触位置に相当する位置を指し示すポインタを映出するためのポインタ情報を生成するポインタ情報生成手段と、
前記ポインタ情報と、前記動作・画像制御手段によって制御された画像とを前記投影対象に投影するための投影像信号を生成する投影像信号生成手段と
を有することを特徴とするユーザインタフェース装置。
【請求項２】
前記接触判定手段は、当該指の接触位置が前記ディスプレイに表示された画像に含まれる操作対象であるオブジェクトの表示位置範囲と重畳したか否かを判定し、
前記動作・画像制御手段は、前記接触判定手段が当該オブジェクトの表示位置範囲に関して真の判定を行い且つ前記押圧力判定手段が真の判定を行った際、当該オブジェクトの機能を発動させる操作が行われたとして対応する動作を発動させ、該動作に応じて前記画面に表示された画像を制御する
ことを特徴とする請求項１に記載のユーザインタフェース装置。
【請求項３】
前記接触判定手段が当該オブジェクトの表示位置範囲に関して真の判定を行った際、前記動作・画像制御手段は、当該オブジェクトを選択する操作が行われたとして対応する動作を発動させ、該動作に応じて前記画面に表示された画像を制御することを特徴とする請求項２に記載のユーザインタフェース装置。
【請求項４】
前記投影像信号を、外部のプロジェクタに出力するための投影像信号出力端子をさらに有することを特徴とする請求項１から３のいずれか１項に記載のユーザインタフェース装置。
【請求項５】
前記ポインタ情報と、前記動作・画像制御手段によって制御された画像とを前記投影対象に投影するプロジェクタ光学系と、
前記投影像信号を入力し、該投影像信号に応じて前記プロジェクタ光学系を制御するプロジェクタ制御手段と
をさらに有することを特徴とする請求項１から４のいずれか１項に記載のユーザインタフェース装置。
【請求項６】
ユーザの操作から見て、前記投影対象に映出された前記ポインタの指し示す位置を見て確認しつつ当該指による操作を実行することができるように、前記投影像信号生成手段は、該ポインタに対応するポインタ情報を含む投影像信号を生成することを特徴とする請求項１から５のいずれか１項に記載のユーザインタフェース装置。
【請求項７】
画像を画面に表示するディスプレイと、該ディスプレイの画面上に配置され、指の接触位置を時間経過に応じて逐次出力するタッチパネルと、該タッチパネルに接触した当該指によって与えられる押圧力を検出する押圧力検出部とを備えており、当該画像に対応する投影像を投影対象に映出するための信号を生成するユーザインタフェース装置に搭載されたプログラムであって、
当該指が前記タッチパネルに接触したか否かを判定する接触判定手段と、
前記押圧力が所定閾値以上であるか否かを判定する押圧力判定手段と、
前記接触判定手段が真の判定を行った際、接触した当該指による操作に対応した動作を発動させ、該動作に応じて前記画面に表示された画像を制御し、さらに前記押圧力判定手段が真の判定を行った際、当該指による押し込み操作に対応した動作を発動させ、該動作に応じて前記画面に表示された画像を制御する動作・画像制御手段と、
前記接触判定手段が真の判定を行った際、前記投影対象に映出された投影像内の位置であって、当該指の接触位置に相当する位置を指し示すポインタを映出するためのポインタ情報を生成するポインタ情報生成手段と、
前記ポインタ情報と、前記動作・画像制御手段によって制御された画像とを前記投影対象に投影するための投影像信号を生成する投影像信号生成手段と
してコンピュータを機能させることを特徴とするユーザインタフェース装置用のプログラム。
【請求項８】
画像を画面に表示するディスプレイと、該ディスプレイの画面上に配置され、指の接触位置を時間経過に応じて逐次出力するタッチパネルと、該タッチパネルに接触した当該指によって与えられる押圧力を検出する押圧力検出部とを備えており、当該画像に対応する投影像を投影対象に映出するための信号を生成するユーザインタフェース装置における画像投影方法であって、
当該指が前記タッチパネルに接触したか否かを判定する第１のステップと、
第１のステップで真の判定がなされた際、接触した当該指による操作に対応した動作を発動させ、該動作に応じて前記画面に表示された画像を制御する第２のステップと、
前記押圧力が所定閾値以上であるか否かを判定する第３のステップと、
第１のステップで真の判定がなされ且つ第３のステップで真の判定がなされた際、当該指による押し込み操作に対応した動作を発動させ、該動作に応じて前記画面に表示された画像を制御する第４のステップと、
第１のステップで真の判定がなされた際、前記投影対象に映出された投影像内の位置であって、当該指の接触位置に相当する位置を指し示すポインタを映出するためのポインタ情報を生成する第５のステップと、
前記ポインタ情報と、第２のステップ及び第４のステップで制御された画像とを前記投影対象に投影するための投影像信号を生成する第６のステップと
を有することを特徴とする画像投影方法。
【請求項１】
画像を画面に表示するディスプレイと、該ディスプレイの画面上に配置され、指の接触位置を時間経過に応じて逐次出力するタッチパネルと、該タッチパネルに接触した当該指によって与えられる押圧力を検出する押圧力検出部とを備えており、当該画像に対応する投影像を投影対象に映出するための信号を生成するユーザインタフェース装置であって、
当該指が前記タッチパネルに接触したか否かを判定する接触判定手段と、
前記押圧力が所定閾値以上であるか否かを判定する押圧力判定手段と、
前記接触判定手段が真の判定を行った際、接触した当該指による操作に対応した動作を発動させ、該動作に応じて前記画面に表示された画像を制御し、さらに前記押圧力判定手段が真の判定を行った際、当該指による押し込み操作に対応した動作を発動させ、該動作に応じて前記画面に表示された画像を制御する動作・画像制御手段と、
前記接触判定手段が真の判定を行った際、前記投影対象に映出された投影像内の位置であって、当該指の接触位置に相当する位置を指し示すポインタを映出するためのポインタ情報を生成するポインタ情報生成手段と、
前記ポインタ情報と、前記動作・画像制御手段によって制御された画像とを前記投影対象に投影するための投影像信号を生成する投影像信号生成手段と
を有することを特徴とするユーザインタフェース装置。
【請求項２】
前記接触判定手段は、当該指の接触位置が前記ディスプレイに表示された画像に含まれる操作対象であるオブジェクトの表示位置範囲と重畳したか否かを判定し、
前記動作・画像制御手段は、前記接触判定手段が当該オブジェクトの表示位置範囲に関して真の判定を行い且つ前記押圧力判定手段が真の判定を行った際、当該オブジェクトの機能を発動させる操作が行われたとして対応する動作を発動させ、該動作に応じて前記画面に表示された画像を制御する
ことを特徴とする請求項１に記載のユーザインタフェース装置。
【請求項３】
前記接触判定手段が当該オブジェクトの表示位置範囲に関して真の判定を行った際、前記動作・画像制御手段は、当該オブジェクトを選択する操作が行われたとして対応する動作を発動させ、該動作に応じて前記画面に表示された画像を制御することを特徴とする請求項２に記載のユーザインタフェース装置。
【請求項４】
前記投影像信号を、外部のプロジェクタに出力するための投影像信号出力端子をさらに有することを特徴とする請求項１から３のいずれか１項に記載のユーザインタフェース装置。
【請求項５】
前記ポインタ情報と、前記動作・画像制御手段によって制御された画像とを前記投影対象に投影するプロジェクタ光学系と、
前記投影像信号を入力し、該投影像信号に応じて前記プロジェクタ光学系を制御するプロジェクタ制御手段と
をさらに有することを特徴とする請求項１から４のいずれか１項に記載のユーザインタフェース装置。
【請求項６】
ユーザの操作から見て、前記投影対象に映出された前記ポインタの指し示す位置を見て確認しつつ当該指による操作を実行することができるように、前記投影像信号生成手段は、該ポインタに対応するポインタ情報を含む投影像信号を生成することを特徴とする請求項１から５のいずれか１項に記載のユーザインタフェース装置。
【請求項７】
画像を画面に表示するディスプレイと、該ディスプレイの画面上に配置され、指の接触位置を時間経過に応じて逐次出力するタッチパネルと、該タッチパネルに接触した当該指によって与えられる押圧力を検出する押圧力検出部とを備えており、当該画像に対応する投影像を投影対象に映出するための信号を生成するユーザインタフェース装置に搭載されたプログラムであって、
当該指が前記タッチパネルに接触したか否かを判定する接触判定手段と、
前記押圧力が所定閾値以上であるか否かを判定する押圧力判定手段と、
前記接触判定手段が真の判定を行った際、接触した当該指による操作に対応した動作を発動させ、該動作に応じて前記画面に表示された画像を制御し、さらに前記押圧力判定手段が真の判定を行った際、当該指による押し込み操作に対応した動作を発動させ、該動作に応じて前記画面に表示された画像を制御する動作・画像制御手段と、
前記接触判定手段が真の判定を行った際、前記投影対象に映出された投影像内の位置であって、当該指の接触位置に相当する位置を指し示すポインタを映出するためのポインタ情報を生成するポインタ情報生成手段と、
前記ポインタ情報と、前記動作・画像制御手段によって制御された画像とを前記投影対象に投影するための投影像信号を生成する投影像信号生成手段と
してコンピュータを機能させることを特徴とするユーザインタフェース装置用のプログラム。
【請求項８】
画像を画面に表示するディスプレイと、該ディスプレイの画面上に配置され、指の接触位置を時間経過に応じて逐次出力するタッチパネルと、該タッチパネルに接触した当該指によって与えられる押圧力を検出する押圧力検出部とを備えており、当該画像に対応する投影像を投影対象に映出するための信号を生成するユーザインタフェース装置における画像投影方法であって、
当該指が前記タッチパネルに接触したか否かを判定する第１のステップと、
第１のステップで真の判定がなされた際、接触した当該指による操作に対応した動作を発動させ、該動作に応じて前記画面に表示された画像を制御する第２のステップと、
前記押圧力が所定閾値以上であるか否かを判定する第３のステップと、
第１のステップで真の判定がなされ且つ第３のステップで真の判定がなされた際、当該指による押し込み操作に対応した動作を発動させ、該動作に応じて前記画面に表示された画像を制御する第４のステップと、
第１のステップで真の判定がなされた際、前記投影対象に映出された投影像内の位置であって、当該指の接触位置に相当する位置を指し示すポインタを映出するためのポインタ情報を生成する第５のステップと、
前記ポインタ情報と、第２のステップ及び第４のステップで制御された画像とを前記投影対象に投影するための投影像信号を生成する第６のステップと
を有することを特徴とする画像投影方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１３−７３４１２（Ｐ２０１３−７３４１２Ａ）
【公開日】平成２５年４月２２日（２０１３．４．２２）
【国際特許分類】
【出願番号】特願２０１１−２１１７８３（Ｐ２０１１−２１１７８３）
【出願日】平成２３年９月２８日（２０１１．９．２８）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【復代理人】
【識別番号】１００１４１３１３
【弁理士】
【氏名又は名称】辰巳 富彦
【Ｆターム（参考）】
【公開日】平成２５年４月２２日（２０１３．４．２２）
【国際特許分類】
【出願日】平成２３年９月２８日（２０１１．９．２８）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【復代理人】
【識別番号】１００１４１３１３
【弁理士】
【氏名又は名称】辰巳 富彦
【Ｆターム（参考）】
[ Back to top ]