情報入出力装置、その制御方法、及びその制御プログラムを格納したコンピュータにより読み取り可能な記録媒体
【課題】 ホスト装置に対する情報の入出力を行う表示手段と座標入力手段からなる情報入出力装置において、表示手段が正常に表示していない状態での誤った座標入力によるホスト装置の誤操作、誤動作などの問題を防止する。
【解決手段】 ホスト装置に接続され、該ホスト装置が出力する情報を表示する表示手段と、座標入力面を有し該座標入力面上で任意に指示された入力点の座標を検出して座標データを前記ホスト装置に出力する座標入力手段とを有する情報入出力装置において、前記表示手段が正常に表示を行っていない状態となったときに、前記ホスト装置の座標入力モードを、連続的に入力される座標データのパターンを判定して該パターンに対応した動作を実行するジェスチャモードに変更させるためのコマンドを出力するように制御する。
【解決手段】 ホスト装置に接続され、該ホスト装置が出力する情報を表示する表示手段と、座標入力面を有し該座標入力面上で任意に指示された入力点の座標を検出して座標データを前記ホスト装置に出力する座標入力手段とを有する情報入出力装置において、前記表示手段が正常に表示を行っていない状態となったときに、前記ホスト装置の座標入力モードを、連続的に入力される座標データのパターンを判定して該パターンに対応した動作を実行するジェスチャモードに変更させるためのコマンドを出力するように制御する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンピュータ等のホスト装置に対する情報の入出力を行う情報入出力装置に関し、詳しくは、ホスト装置に接続され、該ホスト装置が出力する情報を表示する表示手段と、座標入力面を有し該座標入力面上で任意に指示された入力点の座標を検出して座標データを前記ホスト装置に出力する座標入力手段とを有する情報入出力装置に関するものである。
【背景技術】
【０００２】
現在、コンピュータが出力する各種情報を表示する表示装置と、座標入力面を有し、この面上でペンや指などで任意に指示された入力点の座標を検出して座標データをコンピュータに出力する座標入力装置とから構成された情報入出力装置があるが、その入力のし易さから、各種の用途において使用されている。
【０００３】
この情報入出力装置を構成する表示装置には、ＣＲＴ，ＬＣＤ，ＰＤＰ、プロジェクタ等があり、近年は、液晶の表示性能技術の向上や設置面積の観点から、ＬＣＤ，ＰＤＰ等のフラットパネルが、かなりの勢いで表示装置市場での割合を伸ばしている。
【０００４】
一方、座標入力装置は、タッチパネルやタブレットと呼ばれ、指やペン型の入力デバイスを用いて座標入力面の入力可能領域の任意の入力点を指示すると、その入力点の座標を検出し、接続されたコンピュータに座標データを出力し、入力点を表示装置で表示することができる装置であり、入力点（指示点）の座標を検出する方式としては、抵抗膜方式、電磁誘導方式、超音波方式が特に知られており、ユーザーが価格、用途に見合った選択ができるように多種多様化してきている。
【０００５】
この種の情報入出力装置の構成としては、座標入力装置が表示装置と別体の構成のものと、表示装置と一体型に構成したものがあり、とくに座標入力装置の座標入力面と表示装置の表示面が一体化された構成では、視認性および操作性に優れ、直感的な入力を可能とする装置とすることができる。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記の従来の情報入出力装置においては、表示装置が表示をしていない状態においても、座標入力装置に対する入力は可能であり、入力された座標がパソコン等のホスト装置側に出力されるため、以下のような不具合が発生していた。
【０００７】
表示装置が表示をしない原因として考えられるのは、何らかの故障、ホスト装置に接続するケーブルの切断（接続の外れ）、電源遮断等である。そのとき、座標入力装置からの出力（指示点の座標）は、表示装置では確認できないものの、ホスト装置側では、座標データとして入力されて処理される。したがって、ホスト装置側で座標入力に応じてファイル操作やアプリケーションの実行が可能な状態であるために、不用意な座標入力により、操作者の意図に反したファイル削除やソフトウェアの不具合が発生することがある。
【０００８】
このような不具合が発生する場面は、マウスよりも指やペンで操作する座標入力装置に多い。一般的なマウスは単に移動させただけではアイコンの選択やボタン操作などの動作にはならず、マウスボタンをクリック操作した場合に初めてアイコンの選択やボタン操作などが行われ、それに応じた処理が実行される。これに対し多くのペン入力型の座標入力装置では、ペンを座標入力面に接触させることがマウスのクリックに相当する動作となるため、表示装置の画面に表示がなくても、ペンを不用意に座標入力面に接触させることにより、ファイルを操作してしまうことが多い。そのために、ホスト装置側で操作者の意図に反してファイルが削除される等の問題が発生する原因になる。
【０００９】
また、操作中に突然、表示装置が動作不良になり、画面に表示されているアイコン等が消え、その操作ができないために、ホストコンピュータの終了すらできない場合が発生する。その場合は、電源を強制的に切断せざるを得なかった。そして、表示装置を交換或いは修理した後に再度電源を入れなおしたあと、コンピュータのシステムを通常操作で終了していないために、システムファイルのチェックを実行しなければならない等、不具合が発生していた。
【００１０】
そこで本発明の課題は、上述した表示手段と座標入力手段から構成される情報入出力装置、その制御方法、及びその制御プログラムを格納したコンピュータにより読み取り可能な記録媒体において、上記のような問題を解決し、情報入出力装置の信頼性を向上できるようにすることにある。
【課題を解決するための手段】
【００１１】
上記の課題を解決するため、本発明によれば、ホスト装置に接続され、該ホスト装置が出力する情報を表示する表示手段と、座標入力面を有し該座標入力面上で任意に指示された入力点の座標を検出して座標データを前記ホスト装置に出力する座標入力手段とを有する情報入出力装置において、前記表示手段が正常に表示を行っていない状態となったときに、前記ホスト装置の座標入力モードを、連続的に入力される座標データのパターンを判定して該パターンに対応した動作を実行するジェスチャモードに変更させるためのコマンドを出力するように制御する制御手段を有することを特徴とする。
【発明の効果】
【００１２】
本発明によれば、表示装置の表示が正常でない場合、ホストコンピュータの入力モードをジェスチャモードに変更させ、座標入力装置からの座標データの出力は各種コマンドに対応したジェスチャパターンとのパターンマッチングに用いられる。したがって、予め登録したジェスチャパターンのみでホストコンピュータを操作するので、表示装置の画面に何も表示されていない状態でも、ホストコンピュータを安全に操作することができ、ホストコンピュータの誤動作を防止することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の第１の実施形態における情報入出力装置の全体構成を示すブロック図である。
【図２】同装置の振動入力ペンの構成を示す概略構成図である。
【図３】同装置の演算制御回路の詳細な構成を示すブロック図である。
【図４】同装置の信号波形検出回路の詳細な構成を示すブロック図である。
【図５】同信号波形検出回路に供給される検出波形と、それに基づく振動到達タイミング検出のための信号処理を説明するタイミングチャート図である。
【図６】同装置の入力点の座標算出方法を説明するための説明図である。
【図７】同装置の演算制御回路のマイクロコンピュータによるホストコンピュータに対する出力制御手順を示すフローチャート図である。
【図８】同実施形態で情報入出力装置からの座標データまたはコマンドの受信に応じたホストコンピュータの処理手順を示すフローチャート図である。
【図９】第２の実施形態における情報入出力装置の全体構成を示す概略構成図である。
【図１０】同装置の座標検出器のコントローラによるホストコンピュータに対する出力制御手順を示すフローチャート図である。
【図１１】第３の実施形態における座標入力装置の制御部によるホストコンピュータに対する出力制御手順を示すフローチャート図である。
【図１２】同実施形態で情報入出力装置からの座標データまたはモード変更コマンドの受信に応じたホストコンピュータの処理手順を示すフローチャート図である。
【図１３】ジェスチャコマンドとその座標入力によるパターンの例を示す表図である。
【発明を実施するための形態】
【００１４】
以下、図を参照して本発明の実施の形態を説明する。まず、本発明の第１の実施形態を図１〜８により説明する。
【００１５】
［第１の実施形態］
図１は、第１の実施形態における情報入出力装置の全体構成を示している。ただし、図１中のホストコンピュータ１２は、この装置の構成に含まれないのは勿論である。
【００１６】
図１において、１は演算制御回路であり、本装置において超音波振動入力方式の座標入力装置としての構成部分を制御すると共に、入力点の位置の座標を算出して、ホストコンピュータ１２にシリアルケーブル等を通じて通信する。
【００１７】
２は光検出回路であって、後述する振動入力ペン２１の発光素子２２から発光される光信号を検出するものである。
【００１８】
３は信号処理回路であって、光検出回路２で検出された光信号を処理するものである。
【００１９】
８は座標入力面を形成するアクリルやガラス板等、透明部材からなる振動伝達板であり、これが割れたときの飛散を防止するＰＥＴ等からなるフィルム（ラミネート）が上面に粘着層を介して貼り合わされている。振動入力ペン２１による座標入力は、この振動伝達板８上をタッチすることで行う。実際には、振動伝達板８の座標入力面となる上面において図中に実線で示す符号Ａの座標入力有効エリア内の任意の入力点を振動入力ペン２１で指示し、その先端を点接触させることで行う。
【００２０】
そして、この振動伝達板８の外周部には、外周縁で反射した振動が中央部に戻るのを防止（減衰）するための防振材７が設けられている。さらに、長方形の振動伝達板８の四隅に圧電素子等、機械的振動を電気信号に変換する振動センサ６ａ〜６ｄが固定されている。
【００２１】
９は各振動センサ６ａ〜６ｄの出力信号を処理して、各センサが振動を検出した旨を示す振動到達タイミング信号（後述するｔｇ信号及びｔｐ信号）を演算制御回路１に出力する信号波形検出回路である。
【００２２】
以上の構成要素から振動入力方式の座標入力装置が構成される。
【００２３】
一方、１１は液晶表示装置等のドット単位の表示が可能なディスプレイであり、振動伝達板８の背後に配置されている。
【００２４】
また、ディスプレイ駆動回路１０は、ディスプレイ１１を駆動するとともに、演算制御回路１に対して後述の動作状態通知信号によりディスプレイ１１の動作状態を通知する。
【００２５】
以上の構成において、振動入力ペン２１でタッチした振動伝達板８の座標入力面上の入力点の位置の座標が後述のようにして検出され、その座標データが演算制御回路１からホストコンピュータ１２に入力される。ホストコンピュータ１２はディスプレイ駆動回路１０に対して座標データを含む表示データを出力し、これに応じてディスプレイ駆動回路１０がディスプレイ１１を駆動する。これにより、振動伝達板８に重ねられたディスプレイ１１の表示画面において、振動入力ペン２１によりなぞられた位置にドットを表示し、それを他の表示データとともに透明な振動伝達板８を透して見る事が可能になっている。
【００２６】
〈振動入力ペンの説明（図２）〉
次に、図２は振動入力ペンの構成を説明するものである。図２において、振動入力ペン２１に内蔵された振動子２６は、振動子駆動回路２５により駆動される。この回路２５が出力する電気的な駆動信号は振動子２６によって機械的な超音波振動に変換され、ペン先２７に伝達され、このペン先２７が前述の振動伝達板８に接触することによって振動伝達板８に振動が入射される。
【００２７】
ここで振動子２６の振動周波数は、ガラスなどの振動伝達板８に板波を発生する事が出来る値に選択されている。なお、本発明の装置は板波を用いるものに限定されず、例えば振動伝達板８を伝播する表面波を検出波として利用する場合は、振動入力ペン２１が発生する振動の周波数を、振動伝達板の厚みに対して十分高い値（振動伝達板８を伝播する波の波長λが板の厚みに対して十分小さくなるような状態）に設定すればよい。
【００２８】
また、振動子駆動回路２５は振動子２６の駆動と同時に発光素子駆動回路２４に発光タイミング信号を送信し、発光素子駆動回路２４は発光素子２２を所定の周波数で変調した駆動信号で駆動する。発光素子２２は、後述の受光素子の分光感度のピーク波長に合わせて選択する。変調する周波数は、回路を簡略化するために、振動子２６を駆動する周波数と同じにしてもよい。
【００２９】
なお、振動入力ペン２１内の全ての回路の電源は、電池、電源用ＩＣ、コンデンサ等で構成される電源回路２３によって供給される。
【００３０】
〈光信号の検出によるスタートタイミング信号生成の説明〉
上述のように振動入力ペン２１内の振動子駆動回路２５は、振動子２６を駆動するのと同時に発光素子駆動回路２４にその旨の信号を送信し、発光素子２２は振動子２６の発振と同時に所定の周波数で変調した信号を光信号として出力する。その光信号は、情報入出力装置本体側に設けられた光検出回路２で検出され、その光信号の検出信号が信号処理回路３で処理された後、演算制御回路１に対し、後述のように振動伝達板８上の振動入力点から振動センサ６ａ〜６ｄまでの振動伝達時間の計時を開始するスタートタイミング信号として入力される。
【００３１】
〈演算制御回路の説明（図３）〉
演算制御回路１は、前述の信号処理回路３から出力されるスタートタイミング信号により、内部のタイマを構成するカウンタによる振動伝達時間の計時を開始させる。そして、振動入力ペン２１より発生した振動は振動伝達板８の入力点から振動センサ６ａ〜６ｄ迄の距離に応じて遅延して到達する。
【００３２】
信号波形検出回路９は各振動センサ６ａ〜６ｄからの検出信号に対して後述する波形検出処理を行うことにより各振動センサへの振動到達タイミングを示す信号を生成する。演算制御回路１は各センサ毎のこの振動到達タイミング信号を入力し、各々の振動センサ６ａ〜６ｄまでの振動伝達時間を検出し、これに基づいて振動伝達板８上の振動入力ペン２１による振動入力点の位置の座標を算出する。そして、演算制御回路１は、この算出した入力点の座標データをホストコンピュータ１２に出力する。
【００３３】
図３は演算制御回路１の構成の詳細を示すブロック図であり、これによりその各構成要素及びその動作を以下に説明する。
【００３４】
図中３１は、演算制御回路１ひいては本装置の座標入力装置部分の全体を制御するマイクロコンピュータであり、制御処理を行う主体となるＣＰＵ３１１、その制御プログラムを格納したＲＯＭ３１２、ワーキングエリアとして計算等に使用するＲＡＭ３１３、及び定数等を記憶する不図示の不揮発性メモリ等によって構成されている。ＲＯＭ３１２に格納される制御プログラムには、後述する図７のフローチャートによる制御を行うための制御プログラムが含まれる。ＲＯＭ３１２は、本発明に係る情報入出力装置の制御プログラムを格納したコンピュータにより読み取り可能な記録媒体の実施形態に相当する。
【００３５】
また、３２ａ〜３２ｄは不図示の基準クロックをカウントして振動伝達時間を計時するカウンタであって、振動子駆動回路２５が振動入力ペン２１内の振動子２６の駆動を開始させるための信号と同時に発光素子２２から出力される光信号が光検出回路２で検出され、信号処理回路３により処理されてスタートタイミング信号として入力されると、その計時を開始する。これによって、計時開始と振動センサ６ａ〜６ｄによる振動検出の同期が取られ、振動センサ６ａ〜６ｄにより振動が検出されるまでの遅延時間（伝達時間）が測定できることになる。
【００３６】
信号波形検出回路９より出力される各振動センサ６ａ〜６ｄからの振動到達タイミング信号は、検出信号入力回路３４を介してカウンタ３２ａ〜３２ｄに入力される。カウンタ３２ａ〜３２ｄのそれぞれは、各振動センサ６ａ〜６ｄに対応しており、それぞれの振動到達タイミング信号が入力された時点の振動伝達時間の計時値がそれぞれに付設された不図示のラッチ回路にラッチされる。
【００３７】
こうして４つの振動センサ６ａ〜６ｄの全てからの振動到達タイミング信号の受信がなされたことを判定回路３３が判定すると、マイクロコンピュータ３１にその旨の信号を出力する。マイクロコンピュータ３１は、この判定回路３３からの信号を受信すると、カウンタ３２ａ〜３２ｄのそれぞれのラッチ回路から各々の振動センサまでの振動伝達時間を読み取り、後述する所定の計算を行なって、振動伝達板８上の振動入力ペン２１による振動入力点の位置の座標を算出する。そして、Ｉ／Ｏポート３５を介してホストコンピュータ１２に算出した座標データを出力する。
【００３８】
ホストコンピュータ１２が座標データを含む表示データをディスプレイ駆動回路１０に出力することにより、ディスプレイ１１の表示画面上の振動入力点に対応する位置にドット等を表示することができる。
【００３９】
なお、図３の構成において、ディスプレイ駆動回路１０から後述するディスプレイ１１の表示動作状態を通知する動作状態通知信号がＩ／Ｏポート３５を介してマイクロコンピュータ３１に入力され、これに応じてマイクロコンピュータ３１はホストコンピュータ１２に対する座標データの出力とコマンドの出力を制御する。その動作状態通知信号の取得に対応した座標データとコマンドの出力制御については後で詳細に説明する。
【００４０】
〈振動到達タイミング検出の説明（図４、図５）〉
次に、振動センサ６ａ〜６ｄへの振動到達タイミングを検出する信号波形検出回路９の構成と、その信号処理について図４，図５により説明する。図４は、信号波形検出回路９の構成を示すブロック図である。図５は信号波形検出回路９に入力される検出波形と、それに基づく振動到達タイミング検出のための信号処理を説明するためのタイミングチャート図である。なお、以下は振動センサ６ａの場合に付いて説明するが、その他の振動センサ６ｂ〜６ｄについても全く同様である。
【００４１】
振動センサ６ａへの振動伝達時間の計時は、信号処理回路３から演算制御回路１へのスタートタイミング信号の出力と同時に開始することは既に説明した。このとき、振動入力ペン２１内の振動子駆動回路２５から振動子２６へは図５に示す駆動信号５１が印加されている。駆動信号５１は、短い（例えば２発の）矩形パルスである。この信号５１によって駆動される振動入力ペン２１から振動伝達板８に伝達された超音波振動は、振動入力点から振動センサ６ａまでの距離に応じた時間をかけて進行した後、短い検出波形として振動センサ６ａで検出される。駆動信号５１を短いパルスとする理由は、振動伝達板８の主に端面での不要反射成分と検出すべき振動との干渉（重畳）による誤検出を防ぎ、装置全体の小型化を図るためである。図５中の５２で示す信号は振動センサ６ａが検出した信号波形を示している。
【００４２】
振動センサ６ａが検出した信号波形５２は、５２１で示される群信号と、５２２で示される位相信号についてそれぞれ以下に述べる手順によって処理される。
【００４３】
まず、群信号５２１については、不要振動に関して除去するためにハイパスフィルタ４０２を通過後の信号を処理する。反射波の影響を受けやすいのは群信号５２１の処理であるために、エンベロープ検出のみに、ハイパスフィルタ４０２通過後の短いままの検出信号を利用する。
【００４４】
ハイパスフィルタ４０２通過後の検出信号はエンベローブ検出回路４０３に入力され、これからエンベロープ５３が取り出される。取り出されたエンベローブ信号５３は、ゲート信号生成回路４０６に入力される。ゲート信号生成回路４０６は入力されたエンベロープ信号５３を適当な振幅に減衰した上で、一定のオフセットを加えて参照レベル信号５３１を生成する。ゲート信号生成回路４０６では、エンベロープ信号５３をエンベローブ変曲点検出回路４０４により２階微分した２階微分出力波形５４も入力され、それと参照レベル信号５３１とを比較することでゲート生成信号５５を出力する。
【００４５】
エンベロープ変曲点検出回路４０４が出力する２階微分出力波形５４はＴｇコンパレータ４０５にも入力される。
【００４６】
単安定マルチバイブレータ４０７はゲート信号生成回路４０６から入力されたゲート生成信号５５の立ち上がりタイミングから所定のパルス幅のゲート信号５６を生成し、Ｔｇコンパレータ４０５及びＴｐコンパレータ４１０に出力する。
【００４７】
Ｔｇコンパレータ４０５は、ゲート信号５６と２階微分出力波形５４とを入力とし、ゲート信号５６が開いている間の２階微分出力波形５４のゼロクロス点をエンベロープの変曲点として検出してｔｇ信号（エンベロープ遅延時間信号）５９を生成する。得られたｔｇ信号は、第１の振動到達タイミング信号として、演算制御回路１に供給されることになる。そして、スタートタイミング信号のタイミングからｔｇ信号のタイミングまでの時間がエンベロープの振動伝達時間ｔｇとして計時されることになる。
【００４８】
一方、位相信号について、波形５２２は、狭帯域なバンドパスフィルタ４０８によって所定幅の周波数成分の信号にされ、さらにスライス回路４０９によって、所定の振幅レベル以下に波形がスライス（波形のレベル圧縮）される。その出力である位相信号５７とゲート信号５６とがＴｐコンパレータ４１０に入力されると、Ｔｐコンパレータ４１０は、ゲート信号５６の開いている間の位相信号（スライス回路４０９の出力信号５８）の所定の順番にあたる立ち上がりのゼロクロス点を検出し、その検出信号であるｔｐ信号（位相遅延時間信号）が第２の振動到達タイミング信号として演算制御回路１に供給されることになる。図５の例では、ｔｐ信号は２番目の立ち上がりゼロクロス点の信号である。そして、前述したスタートタイミング信号のタイミングからｔｐ信号のタイミングまでの時間が位相の振動伝達時間ｔｐとして計時されることになる。
【００４９】
ところで、ゲート生成信号５６を出力するための参照レベル信号５３１は、振動入力ペン２１と振動センサ６ａの距離に応じて駆動パルス５１に同期した可変レベルとしてもよく、距離により検出レベルの変動幅が大きい場合は可変レベルとすることで検出点が安定するのでさらに有効である。
【００５０】
〈振動入力ペンと振動センサ間の距離算出の説明〉
次に、振動入力ペンと振動センサ間の距離、厳密に言うと振動伝達板８上で振動入力ペン２１を接触させた振動入力点と振動センサ６ａ〜６ｄの距離の算出について説明する。
【００５１】
本実施形態の装置で用いられている振動は板波であるため、振動伝達板８内での伝達距離に対して図５の検出波形のエンベロープ５２１と位相５２２の関係は振動伝達中に、その伝達距離に応じて変化する。ここでエンベローブ５２１の進む速度、即ち群速度をＶｇ、そして位相５２２の進む速度、即ち位相速度をＶｐとする。この群速度Ｖｇ及び位相速度Ｖｐから振動入力ペン２１と振動センサ６ａ間の距離を検出することができる。
【００５２】
まず、エンベロープ５２１にのみ着目すると、その速度はＶｇであり、ある特定の波形上の点（例えば変曲点）を検出すると、振動入力ペン２１及び振動センサ６ａの間の距離は、エンベロープの振動伝達時間（群遅延時間）をｔｇとして、
ｄ＝Ｖｇ・ｔｇ （１）
で与えられる。この式は１つの振動センサ６ａに関するものであるが、同じ式により他の３つの振動センサ６ｂ〜６ｄと振動入力ペン３の距離も同様にして表すことができる。
【００５３】
更に、より高精度な座標決定をするために、位相信号の検出に基づく処理を行なう。位相波形信号５２２から先述のように得た位相の振動伝達時間ｔｐより、振動センサと振動入力ペンの距離は、
ｄ＝ｎ・λｐ＋Ｖｐ・ｔｐ （２）
となる。ここでλｐは弾性波の波長、ｎは整数である。
【００５４】
前記（１）式と（２）式から上記の整数ｎは、次の（３）式により求めることができる。
ｎ＝ｉｎｔ［（Ｖｇ・ｔｇ−Ｖｐ・ｔｐ）／λｐ＋１／２］ （３）
先にも述べた様に、本実施形態では検出波として板波を用いているので、群遅延時間ｔｇの距離に対する線形性が良いとは言えず、式（３）において整数化を実行しているのはこのためである。正確な整数ｎを求めるための必要十分条件は、次の式（４）から導出される式（５）に示され、
ｎ＊＝（Ｖｇ・ｔｇ−Ｖｐ・ｔｐ）／λｐ （４）
ΔＮ＝ｎ＊−ｎ≦０．５ （５）
である。
【００５５】
つまり、発生する誤差量が±１／２波長以内であれば、群遅延時間ｔｇの線形性が良くなくても、整数ｎを正確に決定することができる事を示すものである。上記のようにして求めたｎを（２）式に代入することで、振動入力ペン２１と振動センサ６ａ間の距離ｄを精度良く測定することができる。
【００５６】
尚、以上説明した回路は振動センサ６ａに対するものであり、他の振動センサにも同じ回路が設けられている。
【００５７】
〈座標算出の説明（図６）〉
次に、上述のように算出した振動入力ペンの振動入力点と振動センサ間の距離に基づく振動入力点の位置座標の算出について図６により説明する。
【００５８】
今、図６に示す長方形の振動伝達板８上の四隅の符号Ｓａ〜Ｓｄの位置に４つの振動センサ６ａ〜６ｄを設けると、先に説明した振動伝達時間に基づいて、振動入力ペン２１の振動入力点の位置Ｐから各々の振動センサ６ａ〜６ｄの位置までの直線距離ｄａ〜ｄｄを求めることができる。更に演算制御回路１でこの直線距離ｄａ〜ｄｄに基づき、入力点の位置Ｐの座標（ｘ，ｙ）を３平方の定理から次の（６），（７）式のようにして求めることができる。
ｘ＝（ｄａ＋ｄｄ）・（ｄａ−ｄｄ）／２Ｘ （６）
ｙ＝（ｄａ＋ｄｂ）・（ｄａ−ｄｂ）／２Ｙ （７）
ここでＸ，Ｙはそれぞれ振動センサ６ａ，６ｄ間の距離、振動センサ６ａ，６ｂ間の距離であり、以上のようにして振動入力ペン２１の入力点の位置座標をリアルタイムで検出することができる。
【００５９】
なお、上記計算では３つの振動センサまでの距離情報を用いて計算しているが、本実施形態では４個のセンサが設置されているので、残りのセンサ１個の距離情報を用いて出力座標の確からしさの検証に用いることができる。もちろん、例えば振動入力ペンと振動センサ間の距離Ｌが最も大きくなったセンサの距離情報（距離Ｌが大きくなるので検出信号レベルが低下しノイズの影響を受ける確率が大きくなる）を用いず、残りのセンサ３個で座標を算出しても良い。また本実施形態では４個のセンサを配置し、３個のセンサで座標を算出しているが、幾何学的には２個以上のセンサで座標算出が可能であり、製品スペックに応じてセンサの個数が設定されることは言うまでもない。
【００６０】
〈座標データの出力制御に関する説明（図７、図８）〉
次に、図７、図８を用いて、ディスプレイ１１の動作状態に応じた座標データ及びコマンドの出力制御に関して説明する。
【００６１】
上記のようにして算出された座標のデータは、演算制御回路１のＩ／Ｏポート３５を介して、ホストコンピュータ１２に出力されるが、演算制御回路１はディスプレイ駆動回路１０から出力される後述の動作状態通知信号を取得し、この信号に応じて座標データとコマンドの出力を制御する。その制御処理は、演算制御回路１のマイクロコンピュータ３１を制御の主体とし、マイクロコンピュータ３１のＲＯＭ３１２に格納された制御プログラムに従って、図７のフローチャートに示す手順で以下のようになされる。
【００６２】
まず、ステップ７０１では、先述の通り、４つの振動センサ６ａ〜６ｄからの振動到達タイミング信号が検出信号入力回路３４を介してカウンタ３２ａ〜３２ｄに入力される。
【００６３】
ステップ７０２では、マイクロコンピュータ３１は、４センサすべてからの振動到達タイミング信号の受信がなされたかを判定回路３３からの入力で判定し、すべての受信がなされていなければ、ステップ７０１に戻り、残りのセンサからの振動到達タイミング信号の受信を待つ。４センサすべてからの受信がなされたらステップ７０３に進む。
【００６４】
ステップ７０３では、動作状態通知信号がディスプレイ駆動回路１０からＩ／Ｏポート３５を介してマイクロコンピュータ３１に入力される。ここで、この動作状態通知信号は、ディスプレイ１１が正常に表示可能な状態かどうかを通知する信号であり、例えば、ホストコンピュータ１２からディスプレイ駆動回路１１に出力されるＲＧＢ信号や同期信号等から判定されて生成される信号である。動作状態通知信号は、通常動作状態とそれ以外の状態を表し、通常動作状態とは、ホストコンピュータ１２が出力するデータを正常に表示している状態を示し、それ以外の状態とは、ケーブルの切断や、回路の故障等で、表示が正常でない状態（表示がなされない状態を含む）を示している。
【００６５】
ステップ７０４では、マイクロコンピュータ３１は、動作状態通知信号が通常動作状態か、それ以外の状態かの判定を行う。そして、通常動作状態と判定した場合は、ステップ７０５でＩ／Ｏポート３５を介して座標データをホストコンピュータ１２に出力し、その後、本ルーチンの処理を終了し、不図示のメインルーチンにリターンする。
【００６６】
一方、ステップ７０４で通常動作状態以外の状態と判定したときは、ステップ７０６で、ホストコンピュータ１２にディスプレイ１１が通常動作状態以外の状態であることを通知するコマンド信号を出力する。このコマンド信号によって後述の処理がホストコンピュータ１２で実行される。続いて、マイクロコンピュータ３１は、ステップ７０７で座標データの出力を禁止状態にし、その後、本ルーチンの処理を終了し、不図示のメインルーチンにリターンする。
【００６７】
次に、図８は、演算制御回路１が出力するコマンドに対するホストコンピュータ１２の処理手順を示す。
【００６８】
ステップ８０１では、演算制御回路１が出力するコマンド信号を受信したかどうかを判定し、コマンド信号を受信していない場合は、ステップ８０２で、座標値データを受信したかを判定する。座標値データを受信していない場合は、ステップ８０１にもどり、ステップ８０１，８０２の動作を繰り返し、コマンド信号ないし座標値データの受信を待つ。
【００６９】
そして、ステップ８０２で座標値データを受信した場合は、ステップ８０３で、ディスプレイ駆動回路１１に座標値データを送信してその座標に対応する表示を行わせ、その後、本ルーチンを終了し、不図示のメインルーチンにリターンする。
【００７０】
一方、ステップ８０１でコマンド信号を受信したら、ステップ８０４で、受信したコマンド信号に対応したプログラムを起動させる。ここで受信したコマンド信号が図７のステップ７０６でマイクロコンピュータ３１がホストコンピュータ１２に送信したコマンド信号であって、ディスプレイ１１が通常動作状態以外の状態であることを示すものである場合、ホストコンピュータ１２が以下のような動作を行うことにより、操作者にディスプレイ１１が通常動作状態以外である旨を報知して、誤動作等の事故を未然に防止することができる。
【００７１】
例えば、上記のコマンド信号を受信したら、音声出力を行うプログラムを実行し、操作者に対し、現在はディスプレイが何らかの原因で通常動作していない旨のメッセージを報知したりして、ペン入力動作を中止させる。また、音声認識技術を利用した入力を許可したりしてもよい。特に、ディスプレイの画面に表示がなされていない状態なので、音声入力による対話形式の入力システムがあれば、ホストコンピュータ１２の操作が可能になるので、例えば、ホストコンピュータ１２の電源をオフにする操作を音声入力コマンドに割り付けてあれば、その電源をオフにして安全にディスプレイ１１の状態を確認することができる。
【００７２】
以上のような本実施形態によれば、ディスプレイ１１の表示が正常でない状態（表示がなされない状態を含む）では演算制御回路１からホストコンピュータ１２への座標データの出力が禁止されるので、ディスプレイ１１の表示が正常でない状態で操作者が不用意に振動入力ペン２１による座標入力操作を行っても、その座標データはホストコンピュータ１２に入力されないので、座標の誤入力とそれによる誤操作、誤動作を確実に防止することができる。
【００７３】
また、ディスプレイ１１の表示が正常でない場合は、その旨がホストコンピュータ１２に通知されるので、ホストコンピュータ１２は例えば上述のように操作者にメッセージを報知するなどして、対処することができる。
【００７４】
なお、本実施形態の装置では、座標入力方式は超音波振動方式のものとしたが、例えば電磁誘導方式、電磁授受方式、抵抗膜方式など他の方式のものとしてもよいことは勿論である。
【００７５】
［第２の実施形態］
上述した第１の実施形態においては、情報入出力装置の座標入力方式は超音波振動を利用した方式で、ディスプレイは液晶表示装置等とした。これに対して、第２の実施形態として、座標入力方式を光学方式とし、ディスプレイは投射型表示装置として構成した情報入出力装置の場合について図９及び図１０を参照して説明する。
【００７６】
まず、図９を参照して、本実施形態における情報入出力装置の構成について説明する。本装置は大別して、座標入力面を形成するスクリーン９１０と、これに対して光スポット９０５を照射して座標入力を行うための指示具９０４と、光スポット９０５のスクリーン９１０上の位置の座標を検出する座標検出器９０１とからなる座標入力装置と、出力装置として、スクリーン９１０に画像、或いは前記座標情報等を表示する投射型表示装置９０８とから構成されている。
【００７７】
指示具９０４は、光ビームを発射する半導体レーザ、或いはＬＥＤ等の発光素子、その発光を制御する発光制御手段、電池などの電源手段を内蔵し、また、複数の操作用スイッチが設けられている。発光制御手段は、操作用スイッチの操作状態により、発光のオン／オフと、発光の変調を行うことによって、制御信号を重畳した発光制御を行う。指示具９０４のスイッチがオンになると発光が開始され、その発光信号として、まず比較的長い連続するパルス列からなるリーダ部と、これに続くコード（メーカーＩＤなど）とからなるヘッダ部が出力され、その後、ペンＩＤや制御信号などからなる送信データ列が予め定義された順序と形式にしたがって順次出力される。
【００７８】
座標検出器９０１は、ＣＣＤ等からなる座標検出センサ部９０２、このセンサ部９０２の制御および座標演算、及び後述する座標データの出力制御などを行うマイクロコンピュータからなるコントローラ９０３、受光素子からなる制御信号検出センサ９０６、その検出信号を処理する信号処理部９０７とから構成されており、所定の周期で点滅する光スポット９０５の点灯時と非点灯時との信号を別々に積分して差信号を求め、ピーク画素の位置を精度よく求める様に構成してあり、光スポット９０５のスクリーン９１０上の位置の座標、及び指示具９０４の各操作用スイッチの状態に対応する制御信号とを検出して、その情報をコントローラ９０３によって、本装置の外部に接続された不図示のホストコンピュータに通信するようになっている。
【００７９】
投射型表示装置９０８は、表示信号源としての不図示の外部のホストコンピュータから入力される画像信号を処理する画像信号処理部８１、これにより制御され画像を表示する液晶パネル８２、これを照明するランプ８３、ミラー８４、コンデンサーレンズ８５からなる照明光学系、及び液晶パネル８２の画像をスクリーン９１０上に投影する投影レンズ８６とからなり、所望の画像情報をスクリーン９１０に表示することができる。
【００８０】
スクリーン９１０は、投射画像の観察範囲を広くするために適度な光拡敵性を持たせてあるので、指示具９０４から発射された光ビームも光スポット９０５の位置で拡散され、画面上の位置や光ビームの方向によらず、光スポット９０５の位置で拡散された光の一部が座標検出器９０１に入射する様に構成されている。
【００８１】
上記のようにして検出された光スポットの照射位置の座標データは、コントローラ９０３から出力されて、外部のホストコンピュータで処理され、画像信号処理部８１に入力される。また、投射型表示装置９０８の画像信号処理部８１から動作状態通知信号が座標検出器９０１のコントローラ９０３に出力される。
【００８２】
この動作状態通知信号は、第１実施形態で説明した動作状態通知信号と同様の信号であり、投射型表示装置９０８の動作状態が通常動作状態かそれ以外の状態かを表し、通常動作状態とは、外部に接続されたホストコンピュータが出力するデータを正常に表示している状態を示し、それ以外の状態とは、ケーブルの切断や回路の故障等で表示が正常でない状態を示している。
【００８３】
この動作状態通知信号が、投射型表示装置９０８が通常動作状態でない旨の信号である場合は、コントローラ９０３は座標データを外部に接続したホストコンピュータに出力しない出力禁止処理を実行する。
【００８４】
しかしながら、ホストコンピュータのシステムを終了して電源をオフにする等の操作を行いたい場合があるときには、次の動作をすることによって、緊急に座標データの出力が可能になる。すなわち、詳しく図示していないが、指示器９０４には複数の操作用スイッチが設けられており、この複数のスイッチを特定の組み合わせで押すことにより、指示器９０４から座標データの出力禁止を行わないようにするための出力禁止解除用のコマンド信号を重畳した光信号が出力され、これにより座標データの出力の禁止が行われないようになり、入力した座標データをホストコンピュータに送信できるものとする。
【００８５】
このようにするための、座標検出器９０１のコントローラ９０３の制御処理について図１０のフローチャートにより以下に説明する。この制御処理は、コントローラ９０３内のＲＯＭ９０３ａに格納された制御プログラムにしたがって以下のように行われる。
【００８６】
まず、ステップ１００１で、コントローラ９０３は座標データを検出したかどうかを判定する。座標データを検出しない場合はステップ１００１の動作を繰り返し、座標データの検出を待つ。
【００８７】
座標データを検出した場合は、ステップ１００２で、投射型表示装置９０８の画像信号処理部８１から出力される動作状態通知信号を検知する。
【００８８】
次にステップ１００３で、動作状態通知信号により、投射型表示装置９０８が通常動作状態か否かを判定する。
【００８９】
通常動作状態の場合は、ステップ１００６で座標データを外部に接続されたホストコンピュータ等に出力する。
【００９０】
また、通常動作状態以外であると判定された場合は、ステップ１００４で、上述した座標データの出力禁止解除用のコマンドを受信したかどうかを判定する。このコマンド信号は、例えば指示器９０４の複数の操作用スイッチを全て押す等して、普段の使用時には操作者が意識的に押さない限り、送信されないように設定する。
【００９１】
前記コマンドを受信した場合は、ステップ１００６で座標データを出力し、その後、本ルーチンを終了し、不図示のメインルーチンにリターンしてその処理を行う。
【００９２】
また、前記コマンドを受信していない場合は、ステップ１００５で座標データの出力を禁止し、その後、ステップ１００１に戻り、上述したステップ１００１以下の処理を繰り返す。
【００９３】
以上のような本実施形態によれば、投射型表示装置９０８の表示が正常でない状態（表示がなされない状態を含む）では座標検出器９０１からホストコンピュータへの座標データの出力が禁止されるので、投射型表示装置９０８の表示が正常でない状態で操作者が不用意に指示具９０４による座標入力操作を行っても、その座標データはホストコンピュータに入力されないので、座標の誤入力とそれによる誤操作、誤動作を確実に防止することができる。さらに上述したように、投射型表示装置９０８の表示が正常でなく、座標データの出力が禁止された状態でも、指示器９０４の複数の操作用スイッチを特定の組み合せで押して座標データの出力禁止解除用のコマンド信号を入力すれば、座標データの出力の禁止が解除され、入力した座標データをホストコンピュータに出力できる。したがって、操作者が投射型表示装置９０８の表示が正常でなく、座標データの出力が禁止されたことを意識した上で、その禁止を解除して適正に座標入力を行うことができる。
【００９４】
なお、上記の説明において、動作状態通知信号は、投射型表示装置９０８の画像信号処理部８１が出力する信号としたが、投射型表示装置が既製の装置で、これに座標検出器を組み合わせて情報入出力装置を構成する場合は、座標検出器に投射型表示装置の光信号を検出する光センサーを設け、その出力値にしたがって投射型表示装置の動作状態を判定して、座標データの出力を制御してもよい。
【００９５】
［第３の実施形態］
次に、本発明の第３の実施形態について図１１〜図１３により説明する。本実施形態は、上述した第１ないし第２の実施形態の構成を変更したものであり、表示装置（ディスプレイ１１ないし投射型表示装置９０８）が通常動作状態以外のとき、すなわち表示が正常でないときは、座標入力装置の制御部（演算制御回路１ないしコントローラ９０３）がホストコンピュータに対して座標入力モードをジェスチャモードに変更するコマンドを送信する。ここでジェスチャモードとは、連続的に入力される座標データのパターンを判定し、そのパターンに対応した動作を実行するモードとする。これにより、表示装置が動作していない状態（表示していない状態）でもホストコンピュータを操作することができる。
【００９６】
このための、座標入力装置の制御部の制御処理は、そのメモリ（ＲＯＭ３１２ないし９０３ａ）に格納された制御プログラムに従って、図１１に示す手順で以下のように行われる。
【００９７】
まずステップ１１０１では、座標データを検出したかどうかの判定を実行し、検出しない場合はステップ１１０１を繰り返し実行し、座標データの検出を待つ。
【００９８】
座標データを検出した場合は、ステップ１１０２で、表示装置から出力される動作状態通知信号を検出する。
【００９９】
ステップ１１０３では、動作状態通知信号により、表示装置が通常動作状態であるかどうかを判定する。そして通常動作状態と判定された場合は、ステップ１１０４で座標データを出力し、その後、本ルーチンを終了して不図示のメインルーチンにリターンする。
【０１００】
一方、通常動作状態以外と判定された場合は、ステップ１１０５で座標データの出力を停止（禁止）し、続いてステップ１１０６でホストコンピュータに対して座標入力モードを上述したジェスチャモードに変更させるコマンドを送信する。これを受信した不図示のホストコンピュータでは、入力モードをジェスチャモードに変更し、この変更後は連続的に入力される座標データのパターンを判定することで、パターンに対応した各種動作を実行する。
【０１０１】
次に、ステップ１１０７では、ホストコンピュータから入力モードの変更が終了した旨のコマンドを受信したかどうかを判定する。受信しない場合は、ステップ１１０７を繰り返し、そのコマンドの受信を待つ。
【０１０２】
そのコマンドを受信した場合は、ステップ１１０８で座標データを検出したかを判定する。座標データを検出しない場合は、ステップ１１０８を繰り返し実行し、座標データの検出を待つ。
【０１０３】
座標データを検出した場合は、ステップ１１０９で、ホストコンピュータに座標データを出力し、その後、本ルーチンを終了し、メインルーチンにリターンする。なお、ここで出力される座標データは、ホストコンピュータで実行されるパターンマッチングに使用される。
【０１０４】
次に、図１１のステップ１１０６でホストコンピュータへ出力される座標入力モード変更のためのコマンド信号をホストコンピュータが受信した場合のホストコンピュータの処理について図１２のフローチャートにより説明する。
【０１０５】
まず図１２のステップ１２０１では、上述した座標入力装置の制御部が出力する入力モード変更のためのコマンド信号を受信したかどうかを判定する。そのコマンド信号を受信しない場合は、ステップ１２０２で座標データを受信し、ステップ１２０３で表示装置に座標データを出力する。その後、本ルーチンを終了し、不図示のメインルーチンにリターンする。
【０１０６】
一方、上記のコマンド信号を受信した場合は、ステップ１２０４で入力モードをジェスチャモードに変更する。ジェスチャモードでは、通常のファイル操作は無効となり、上述した座標データのパターン判定によるジェスチャのみの入力が受け付けられる。
【０１０７】
次に、ステップ１２０５で入力モードを変更した旨を操作者に知らせるための音声による案内メッセージを出力する。続いてステップ１２０６で、ジェスチャモードへの変更が終了した旨を通知するコマンドを座標入力装置の制御部に送信する。
【０１０８】
ここで操作者は、ステップ１２０５の音声による案内の後に、各種の操作コマンドに対応したジェスチャによる連続的な座標入力を行う。それにより座標入力装置で座標データが検出され、ホストコンピュータに送信されるが、ホストコンピュータはステップ１２０７でその座標データを受信する。
【０１０９】
次に、ステップ１２０８で連続的に受信した座標データのパターンを予め登録されている各種コマンドに対応したジェスチャパターンと照合する、いわゆるパターンマッチングを行い、入力されたパターンに合致するジェスチャパターンを判定する。そして、ステップ１２０９で入力パターンに合致したジェスチャパターンに対応するコマンドを実行する。その後、本ルーチンを終了し、メインルーチンにリターンする。
【０１１０】
ここで、ジェスチャコマンドの例を図１３に示す。パターンマッチングに使用する座標データのパターンは、表示装置にパターンの軌跡が表示されないことを考慮して、なるべく簡単なパターンとすることが望ましい。例えば、図１３に示すように、アルファベットの「Ｓ」のパターンの座標入力を行う、すなわち座標入力面上で「Ｓ］を書くことにより、データの「保存」を実行するように設定する。
【０１１１】
以上のように、本実施形態では、表示装置の表示が正常でない場合、ホストコンピュータの入力モードをジェスチャモードに変更させ、座標入力装置からの座標データの出力は各種コマンドに対応したジェスチャパターンとのパターンマッチングに用いられる。したがって、予め登録したジェスチャパターンのみでホストコンピュータを操作するので、表示装置の画面に何も表示されていない状態でも、ホストコンピュータを安全に操作することができ、ホストコンピュータの誤動作を防止することができる。
【技術分野】
【０００１】
本発明は、コンピュータ等のホスト装置に対する情報の入出力を行う情報入出力装置に関し、詳しくは、ホスト装置に接続され、該ホスト装置が出力する情報を表示する表示手段と、座標入力面を有し該座標入力面上で任意に指示された入力点の座標を検出して座標データを前記ホスト装置に出力する座標入力手段とを有する情報入出力装置に関するものである。
【背景技術】
【０００２】
現在、コンピュータが出力する各種情報を表示する表示装置と、座標入力面を有し、この面上でペンや指などで任意に指示された入力点の座標を検出して座標データをコンピュータに出力する座標入力装置とから構成された情報入出力装置があるが、その入力のし易さから、各種の用途において使用されている。
【０００３】
この情報入出力装置を構成する表示装置には、ＣＲＴ，ＬＣＤ，ＰＤＰ、プロジェクタ等があり、近年は、液晶の表示性能技術の向上や設置面積の観点から、ＬＣＤ，ＰＤＰ等のフラットパネルが、かなりの勢いで表示装置市場での割合を伸ばしている。
【０００４】
一方、座標入力装置は、タッチパネルやタブレットと呼ばれ、指やペン型の入力デバイスを用いて座標入力面の入力可能領域の任意の入力点を指示すると、その入力点の座標を検出し、接続されたコンピュータに座標データを出力し、入力点を表示装置で表示することができる装置であり、入力点（指示点）の座標を検出する方式としては、抵抗膜方式、電磁誘導方式、超音波方式が特に知られており、ユーザーが価格、用途に見合った選択ができるように多種多様化してきている。
【０００５】
この種の情報入出力装置の構成としては、座標入力装置が表示装置と別体の構成のものと、表示装置と一体型に構成したものがあり、とくに座標入力装置の座標入力面と表示装置の表示面が一体化された構成では、視認性および操作性に優れ、直感的な入力を可能とする装置とすることができる。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記の従来の情報入出力装置においては、表示装置が表示をしていない状態においても、座標入力装置に対する入力は可能であり、入力された座標がパソコン等のホスト装置側に出力されるため、以下のような不具合が発生していた。
【０００７】
表示装置が表示をしない原因として考えられるのは、何らかの故障、ホスト装置に接続するケーブルの切断（接続の外れ）、電源遮断等である。そのとき、座標入力装置からの出力（指示点の座標）は、表示装置では確認できないものの、ホスト装置側では、座標データとして入力されて処理される。したがって、ホスト装置側で座標入力に応じてファイル操作やアプリケーションの実行が可能な状態であるために、不用意な座標入力により、操作者の意図に反したファイル削除やソフトウェアの不具合が発生することがある。
【０００８】
このような不具合が発生する場面は、マウスよりも指やペンで操作する座標入力装置に多い。一般的なマウスは単に移動させただけではアイコンの選択やボタン操作などの動作にはならず、マウスボタンをクリック操作した場合に初めてアイコンの選択やボタン操作などが行われ、それに応じた処理が実行される。これに対し多くのペン入力型の座標入力装置では、ペンを座標入力面に接触させることがマウスのクリックに相当する動作となるため、表示装置の画面に表示がなくても、ペンを不用意に座標入力面に接触させることにより、ファイルを操作してしまうことが多い。そのために、ホスト装置側で操作者の意図に反してファイルが削除される等の問題が発生する原因になる。
【０００９】
また、操作中に突然、表示装置が動作不良になり、画面に表示されているアイコン等が消え、その操作ができないために、ホストコンピュータの終了すらできない場合が発生する。その場合は、電源を強制的に切断せざるを得なかった。そして、表示装置を交換或いは修理した後に再度電源を入れなおしたあと、コンピュータのシステムを通常操作で終了していないために、システムファイルのチェックを実行しなければならない等、不具合が発生していた。
【００１０】
そこで本発明の課題は、上述した表示手段と座標入力手段から構成される情報入出力装置、その制御方法、及びその制御プログラムを格納したコンピュータにより読み取り可能な記録媒体において、上記のような問題を解決し、情報入出力装置の信頼性を向上できるようにすることにある。
【課題を解決するための手段】
【００１１】
上記の課題を解決するため、本発明によれば、ホスト装置に接続され、該ホスト装置が出力する情報を表示する表示手段と、座標入力面を有し該座標入力面上で任意に指示された入力点の座標を検出して座標データを前記ホスト装置に出力する座標入力手段とを有する情報入出力装置において、前記表示手段が正常に表示を行っていない状態となったときに、前記ホスト装置の座標入力モードを、連続的に入力される座標データのパターンを判定して該パターンに対応した動作を実行するジェスチャモードに変更させるためのコマンドを出力するように制御する制御手段を有することを特徴とする。
【発明の効果】
【００１２】
本発明によれば、表示装置の表示が正常でない場合、ホストコンピュータの入力モードをジェスチャモードに変更させ、座標入力装置からの座標データの出力は各種コマンドに対応したジェスチャパターンとのパターンマッチングに用いられる。したがって、予め登録したジェスチャパターンのみでホストコンピュータを操作するので、表示装置の画面に何も表示されていない状態でも、ホストコンピュータを安全に操作することができ、ホストコンピュータの誤動作を防止することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の第１の実施形態における情報入出力装置の全体構成を示すブロック図である。
【図２】同装置の振動入力ペンの構成を示す概略構成図である。
【図３】同装置の演算制御回路の詳細な構成を示すブロック図である。
【図４】同装置の信号波形検出回路の詳細な構成を示すブロック図である。
【図５】同信号波形検出回路に供給される検出波形と、それに基づく振動到達タイミング検出のための信号処理を説明するタイミングチャート図である。
【図６】同装置の入力点の座標算出方法を説明するための説明図である。
【図７】同装置の演算制御回路のマイクロコンピュータによるホストコンピュータに対する出力制御手順を示すフローチャート図である。
【図８】同実施形態で情報入出力装置からの座標データまたはコマンドの受信に応じたホストコンピュータの処理手順を示すフローチャート図である。
【図９】第２の実施形態における情報入出力装置の全体構成を示す概略構成図である。
【図１０】同装置の座標検出器のコントローラによるホストコンピュータに対する出力制御手順を示すフローチャート図である。
【図１１】第３の実施形態における座標入力装置の制御部によるホストコンピュータに対する出力制御手順を示すフローチャート図である。
【図１２】同実施形態で情報入出力装置からの座標データまたはモード変更コマンドの受信に応じたホストコンピュータの処理手順を示すフローチャート図である。
【図１３】ジェスチャコマンドとその座標入力によるパターンの例を示す表図である。
【発明を実施するための形態】
【００１４】
以下、図を参照して本発明の実施の形態を説明する。まず、本発明の第１の実施形態を図１〜８により説明する。
【００１５】
［第１の実施形態］
図１は、第１の実施形態における情報入出力装置の全体構成を示している。ただし、図１中のホストコンピュータ１２は、この装置の構成に含まれないのは勿論である。
【００１６】
図１において、１は演算制御回路であり、本装置において超音波振動入力方式の座標入力装置としての構成部分を制御すると共に、入力点の位置の座標を算出して、ホストコンピュータ１２にシリアルケーブル等を通じて通信する。
【００１７】
２は光検出回路であって、後述する振動入力ペン２１の発光素子２２から発光される光信号を検出するものである。
【００１８】
３は信号処理回路であって、光検出回路２で検出された光信号を処理するものである。
【００１９】
８は座標入力面を形成するアクリルやガラス板等、透明部材からなる振動伝達板であり、これが割れたときの飛散を防止するＰＥＴ等からなるフィルム（ラミネート）が上面に粘着層を介して貼り合わされている。振動入力ペン２１による座標入力は、この振動伝達板８上をタッチすることで行う。実際には、振動伝達板８の座標入力面となる上面において図中に実線で示す符号Ａの座標入力有効エリア内の任意の入力点を振動入力ペン２１で指示し、その先端を点接触させることで行う。
【００２０】
そして、この振動伝達板８の外周部には、外周縁で反射した振動が中央部に戻るのを防止（減衰）するための防振材７が設けられている。さらに、長方形の振動伝達板８の四隅に圧電素子等、機械的振動を電気信号に変換する振動センサ６ａ〜６ｄが固定されている。
【００２１】
９は各振動センサ６ａ〜６ｄの出力信号を処理して、各センサが振動を検出した旨を示す振動到達タイミング信号（後述するｔｇ信号及びｔｐ信号）を演算制御回路１に出力する信号波形検出回路である。
【００２２】
以上の構成要素から振動入力方式の座標入力装置が構成される。
【００２３】
一方、１１は液晶表示装置等のドット単位の表示が可能なディスプレイであり、振動伝達板８の背後に配置されている。
【００２４】
また、ディスプレイ駆動回路１０は、ディスプレイ１１を駆動するとともに、演算制御回路１に対して後述の動作状態通知信号によりディスプレイ１１の動作状態を通知する。
【００２５】
以上の構成において、振動入力ペン２１でタッチした振動伝達板８の座標入力面上の入力点の位置の座標が後述のようにして検出され、その座標データが演算制御回路１からホストコンピュータ１２に入力される。ホストコンピュータ１２はディスプレイ駆動回路１０に対して座標データを含む表示データを出力し、これに応じてディスプレイ駆動回路１０がディスプレイ１１を駆動する。これにより、振動伝達板８に重ねられたディスプレイ１１の表示画面において、振動入力ペン２１によりなぞられた位置にドットを表示し、それを他の表示データとともに透明な振動伝達板８を透して見る事が可能になっている。
【００２６】
〈振動入力ペンの説明（図２）〉
次に、図２は振動入力ペンの構成を説明するものである。図２において、振動入力ペン２１に内蔵された振動子２６は、振動子駆動回路２５により駆動される。この回路２５が出力する電気的な駆動信号は振動子２６によって機械的な超音波振動に変換され、ペン先２７に伝達され、このペン先２７が前述の振動伝達板８に接触することによって振動伝達板８に振動が入射される。
【００２７】
ここで振動子２６の振動周波数は、ガラスなどの振動伝達板８に板波を発生する事が出来る値に選択されている。なお、本発明の装置は板波を用いるものに限定されず、例えば振動伝達板８を伝播する表面波を検出波として利用する場合は、振動入力ペン２１が発生する振動の周波数を、振動伝達板の厚みに対して十分高い値（振動伝達板８を伝播する波の波長λが板の厚みに対して十分小さくなるような状態）に設定すればよい。
【００２８】
また、振動子駆動回路２５は振動子２６の駆動と同時に発光素子駆動回路２４に発光タイミング信号を送信し、発光素子駆動回路２４は発光素子２２を所定の周波数で変調した駆動信号で駆動する。発光素子２２は、後述の受光素子の分光感度のピーク波長に合わせて選択する。変調する周波数は、回路を簡略化するために、振動子２６を駆動する周波数と同じにしてもよい。
【００２９】
なお、振動入力ペン２１内の全ての回路の電源は、電池、電源用ＩＣ、コンデンサ等で構成される電源回路２３によって供給される。
【００３０】
〈光信号の検出によるスタートタイミング信号生成の説明〉
上述のように振動入力ペン２１内の振動子駆動回路２５は、振動子２６を駆動するのと同時に発光素子駆動回路２４にその旨の信号を送信し、発光素子２２は振動子２６の発振と同時に所定の周波数で変調した信号を光信号として出力する。その光信号は、情報入出力装置本体側に設けられた光検出回路２で検出され、その光信号の検出信号が信号処理回路３で処理された後、演算制御回路１に対し、後述のように振動伝達板８上の振動入力点から振動センサ６ａ〜６ｄまでの振動伝達時間の計時を開始するスタートタイミング信号として入力される。
【００３１】
〈演算制御回路の説明（図３）〉
演算制御回路１は、前述の信号処理回路３から出力されるスタートタイミング信号により、内部のタイマを構成するカウンタによる振動伝達時間の計時を開始させる。そして、振動入力ペン２１より発生した振動は振動伝達板８の入力点から振動センサ６ａ〜６ｄ迄の距離に応じて遅延して到達する。
【００３２】
信号波形検出回路９は各振動センサ６ａ〜６ｄからの検出信号に対して後述する波形検出処理を行うことにより各振動センサへの振動到達タイミングを示す信号を生成する。演算制御回路１は各センサ毎のこの振動到達タイミング信号を入力し、各々の振動センサ６ａ〜６ｄまでの振動伝達時間を検出し、これに基づいて振動伝達板８上の振動入力ペン２１による振動入力点の位置の座標を算出する。そして、演算制御回路１は、この算出した入力点の座標データをホストコンピュータ１２に出力する。
【００３３】
図３は演算制御回路１の構成の詳細を示すブロック図であり、これによりその各構成要素及びその動作を以下に説明する。
【００３４】
図中３１は、演算制御回路１ひいては本装置の座標入力装置部分の全体を制御するマイクロコンピュータであり、制御処理を行う主体となるＣＰＵ３１１、その制御プログラムを格納したＲＯＭ３１２、ワーキングエリアとして計算等に使用するＲＡＭ３１３、及び定数等を記憶する不図示の不揮発性メモリ等によって構成されている。ＲＯＭ３１２に格納される制御プログラムには、後述する図７のフローチャートによる制御を行うための制御プログラムが含まれる。ＲＯＭ３１２は、本発明に係る情報入出力装置の制御プログラムを格納したコンピュータにより読み取り可能な記録媒体の実施形態に相当する。
【００３５】
また、３２ａ〜３２ｄは不図示の基準クロックをカウントして振動伝達時間を計時するカウンタであって、振動子駆動回路２５が振動入力ペン２１内の振動子２６の駆動を開始させるための信号と同時に発光素子２２から出力される光信号が光検出回路２で検出され、信号処理回路３により処理されてスタートタイミング信号として入力されると、その計時を開始する。これによって、計時開始と振動センサ６ａ〜６ｄによる振動検出の同期が取られ、振動センサ６ａ〜６ｄにより振動が検出されるまでの遅延時間（伝達時間）が測定できることになる。
【００３６】
信号波形検出回路９より出力される各振動センサ６ａ〜６ｄからの振動到達タイミング信号は、検出信号入力回路３４を介してカウンタ３２ａ〜３２ｄに入力される。カウンタ３２ａ〜３２ｄのそれぞれは、各振動センサ６ａ〜６ｄに対応しており、それぞれの振動到達タイミング信号が入力された時点の振動伝達時間の計時値がそれぞれに付設された不図示のラッチ回路にラッチされる。
【００３７】
こうして４つの振動センサ６ａ〜６ｄの全てからの振動到達タイミング信号の受信がなされたことを判定回路３３が判定すると、マイクロコンピュータ３１にその旨の信号を出力する。マイクロコンピュータ３１は、この判定回路３３からの信号を受信すると、カウンタ３２ａ〜３２ｄのそれぞれのラッチ回路から各々の振動センサまでの振動伝達時間を読み取り、後述する所定の計算を行なって、振動伝達板８上の振動入力ペン２１による振動入力点の位置の座標を算出する。そして、Ｉ／Ｏポート３５を介してホストコンピュータ１２に算出した座標データを出力する。
【００３８】
ホストコンピュータ１２が座標データを含む表示データをディスプレイ駆動回路１０に出力することにより、ディスプレイ１１の表示画面上の振動入力点に対応する位置にドット等を表示することができる。
【００３９】
なお、図３の構成において、ディスプレイ駆動回路１０から後述するディスプレイ１１の表示動作状態を通知する動作状態通知信号がＩ／Ｏポート３５を介してマイクロコンピュータ３１に入力され、これに応じてマイクロコンピュータ３１はホストコンピュータ１２に対する座標データの出力とコマンドの出力を制御する。その動作状態通知信号の取得に対応した座標データとコマンドの出力制御については後で詳細に説明する。
【００４０】
〈振動到達タイミング検出の説明（図４、図５）〉
次に、振動センサ６ａ〜６ｄへの振動到達タイミングを検出する信号波形検出回路９の構成と、その信号処理について図４，図５により説明する。図４は、信号波形検出回路９の構成を示すブロック図である。図５は信号波形検出回路９に入力される検出波形と、それに基づく振動到達タイミング検出のための信号処理を説明するためのタイミングチャート図である。なお、以下は振動センサ６ａの場合に付いて説明するが、その他の振動センサ６ｂ〜６ｄについても全く同様である。
【００４１】
振動センサ６ａへの振動伝達時間の計時は、信号処理回路３から演算制御回路１へのスタートタイミング信号の出力と同時に開始することは既に説明した。このとき、振動入力ペン２１内の振動子駆動回路２５から振動子２６へは図５に示す駆動信号５１が印加されている。駆動信号５１は、短い（例えば２発の）矩形パルスである。この信号５１によって駆動される振動入力ペン２１から振動伝達板８に伝達された超音波振動は、振動入力点から振動センサ６ａまでの距離に応じた時間をかけて進行した後、短い検出波形として振動センサ６ａで検出される。駆動信号５１を短いパルスとする理由は、振動伝達板８の主に端面での不要反射成分と検出すべき振動との干渉（重畳）による誤検出を防ぎ、装置全体の小型化を図るためである。図５中の５２で示す信号は振動センサ６ａが検出した信号波形を示している。
【００４２】
振動センサ６ａが検出した信号波形５２は、５２１で示される群信号と、５２２で示される位相信号についてそれぞれ以下に述べる手順によって処理される。
【００４３】
まず、群信号５２１については、不要振動に関して除去するためにハイパスフィルタ４０２を通過後の信号を処理する。反射波の影響を受けやすいのは群信号５２１の処理であるために、エンベロープ検出のみに、ハイパスフィルタ４０２通過後の短いままの検出信号を利用する。
【００４４】
ハイパスフィルタ４０２通過後の検出信号はエンベローブ検出回路４０３に入力され、これからエンベロープ５３が取り出される。取り出されたエンベローブ信号５３は、ゲート信号生成回路４０６に入力される。ゲート信号生成回路４０６は入力されたエンベロープ信号５３を適当な振幅に減衰した上で、一定のオフセットを加えて参照レベル信号５３１を生成する。ゲート信号生成回路４０６では、エンベロープ信号５３をエンベローブ変曲点検出回路４０４により２階微分した２階微分出力波形５４も入力され、それと参照レベル信号５３１とを比較することでゲート生成信号５５を出力する。
【００４５】
エンベロープ変曲点検出回路４０４が出力する２階微分出力波形５４はＴｇコンパレータ４０５にも入力される。
【００４６】
単安定マルチバイブレータ４０７はゲート信号生成回路４０６から入力されたゲート生成信号５５の立ち上がりタイミングから所定のパルス幅のゲート信号５６を生成し、Ｔｇコンパレータ４０５及びＴｐコンパレータ４１０に出力する。
【００４７】
Ｔｇコンパレータ４０５は、ゲート信号５６と２階微分出力波形５４とを入力とし、ゲート信号５６が開いている間の２階微分出力波形５４のゼロクロス点をエンベロープの変曲点として検出してｔｇ信号（エンベロープ遅延時間信号）５９を生成する。得られたｔｇ信号は、第１の振動到達タイミング信号として、演算制御回路１に供給されることになる。そして、スタートタイミング信号のタイミングからｔｇ信号のタイミングまでの時間がエンベロープの振動伝達時間ｔｇとして計時されることになる。
【００４８】
一方、位相信号について、波形５２２は、狭帯域なバンドパスフィルタ４０８によって所定幅の周波数成分の信号にされ、さらにスライス回路４０９によって、所定の振幅レベル以下に波形がスライス（波形のレベル圧縮）される。その出力である位相信号５７とゲート信号５６とがＴｐコンパレータ４１０に入力されると、Ｔｐコンパレータ４１０は、ゲート信号５６の開いている間の位相信号（スライス回路４０９の出力信号５８）の所定の順番にあたる立ち上がりのゼロクロス点を検出し、その検出信号であるｔｐ信号（位相遅延時間信号）が第２の振動到達タイミング信号として演算制御回路１に供給されることになる。図５の例では、ｔｐ信号は２番目の立ち上がりゼロクロス点の信号である。そして、前述したスタートタイミング信号のタイミングからｔｐ信号のタイミングまでの時間が位相の振動伝達時間ｔｐとして計時されることになる。
【００４９】
ところで、ゲート生成信号５６を出力するための参照レベル信号５３１は、振動入力ペン２１と振動センサ６ａの距離に応じて駆動パルス５１に同期した可変レベルとしてもよく、距離により検出レベルの変動幅が大きい場合は可変レベルとすることで検出点が安定するのでさらに有効である。
【００５０】
〈振動入力ペンと振動センサ間の距離算出の説明〉
次に、振動入力ペンと振動センサ間の距離、厳密に言うと振動伝達板８上で振動入力ペン２１を接触させた振動入力点と振動センサ６ａ〜６ｄの距離の算出について説明する。
【００５１】
本実施形態の装置で用いられている振動は板波であるため、振動伝達板８内での伝達距離に対して図５の検出波形のエンベロープ５２１と位相５２２の関係は振動伝達中に、その伝達距離に応じて変化する。ここでエンベローブ５２１の進む速度、即ち群速度をＶｇ、そして位相５２２の進む速度、即ち位相速度をＶｐとする。この群速度Ｖｇ及び位相速度Ｖｐから振動入力ペン２１と振動センサ６ａ間の距離を検出することができる。
【００５２】
まず、エンベロープ５２１にのみ着目すると、その速度はＶｇであり、ある特定の波形上の点（例えば変曲点）を検出すると、振動入力ペン２１及び振動センサ６ａの間の距離は、エンベロープの振動伝達時間（群遅延時間）をｔｇとして、
ｄ＝Ｖｇ・ｔｇ （１）
で与えられる。この式は１つの振動センサ６ａに関するものであるが、同じ式により他の３つの振動センサ６ｂ〜６ｄと振動入力ペン３の距離も同様にして表すことができる。
【００５３】
更に、より高精度な座標決定をするために、位相信号の検出に基づく処理を行なう。位相波形信号５２２から先述のように得た位相の振動伝達時間ｔｐより、振動センサと振動入力ペンの距離は、
ｄ＝ｎ・λｐ＋Ｖｐ・ｔｐ （２）
となる。ここでλｐは弾性波の波長、ｎは整数である。
【００５４】
前記（１）式と（２）式から上記の整数ｎは、次の（３）式により求めることができる。
ｎ＝ｉｎｔ［（Ｖｇ・ｔｇ−Ｖｐ・ｔｐ）／λｐ＋１／２］ （３）
先にも述べた様に、本実施形態では検出波として板波を用いているので、群遅延時間ｔｇの距離に対する線形性が良いとは言えず、式（３）において整数化を実行しているのはこのためである。正確な整数ｎを求めるための必要十分条件は、次の式（４）から導出される式（５）に示され、
ｎ＊＝（Ｖｇ・ｔｇ−Ｖｐ・ｔｐ）／λｐ （４）
ΔＮ＝ｎ＊−ｎ≦０．５ （５）
である。
【００５５】
つまり、発生する誤差量が±１／２波長以内であれば、群遅延時間ｔｇの線形性が良くなくても、整数ｎを正確に決定することができる事を示すものである。上記のようにして求めたｎを（２）式に代入することで、振動入力ペン２１と振動センサ６ａ間の距離ｄを精度良く測定することができる。
【００５６】
尚、以上説明した回路は振動センサ６ａに対するものであり、他の振動センサにも同じ回路が設けられている。
【００５７】
〈座標算出の説明（図６）〉
次に、上述のように算出した振動入力ペンの振動入力点と振動センサ間の距離に基づく振動入力点の位置座標の算出について図６により説明する。
【００５８】
今、図６に示す長方形の振動伝達板８上の四隅の符号Ｓａ〜Ｓｄの位置に４つの振動センサ６ａ〜６ｄを設けると、先に説明した振動伝達時間に基づいて、振動入力ペン２１の振動入力点の位置Ｐから各々の振動センサ６ａ〜６ｄの位置までの直線距離ｄａ〜ｄｄを求めることができる。更に演算制御回路１でこの直線距離ｄａ〜ｄｄに基づき、入力点の位置Ｐの座標（ｘ，ｙ）を３平方の定理から次の（６），（７）式のようにして求めることができる。
ｘ＝（ｄａ＋ｄｄ）・（ｄａ−ｄｄ）／２Ｘ （６）
ｙ＝（ｄａ＋ｄｂ）・（ｄａ−ｄｂ）／２Ｙ （７）
ここでＸ，Ｙはそれぞれ振動センサ６ａ，６ｄ間の距離、振動センサ６ａ，６ｂ間の距離であり、以上のようにして振動入力ペン２１の入力点の位置座標をリアルタイムで検出することができる。
【００５９】
なお、上記計算では３つの振動センサまでの距離情報を用いて計算しているが、本実施形態では４個のセンサが設置されているので、残りのセンサ１個の距離情報を用いて出力座標の確からしさの検証に用いることができる。もちろん、例えば振動入力ペンと振動センサ間の距離Ｌが最も大きくなったセンサの距離情報（距離Ｌが大きくなるので検出信号レベルが低下しノイズの影響を受ける確率が大きくなる）を用いず、残りのセンサ３個で座標を算出しても良い。また本実施形態では４個のセンサを配置し、３個のセンサで座標を算出しているが、幾何学的には２個以上のセンサで座標算出が可能であり、製品スペックに応じてセンサの個数が設定されることは言うまでもない。
【００６０】
〈座標データの出力制御に関する説明（図７、図８）〉
次に、図７、図８を用いて、ディスプレイ１１の動作状態に応じた座標データ及びコマンドの出力制御に関して説明する。
【００６１】
上記のようにして算出された座標のデータは、演算制御回路１のＩ／Ｏポート３５を介して、ホストコンピュータ１２に出力されるが、演算制御回路１はディスプレイ駆動回路１０から出力される後述の動作状態通知信号を取得し、この信号に応じて座標データとコマンドの出力を制御する。その制御処理は、演算制御回路１のマイクロコンピュータ３１を制御の主体とし、マイクロコンピュータ３１のＲＯＭ３１２に格納された制御プログラムに従って、図７のフローチャートに示す手順で以下のようになされる。
【００６２】
まず、ステップ７０１では、先述の通り、４つの振動センサ６ａ〜６ｄからの振動到達タイミング信号が検出信号入力回路３４を介してカウンタ３２ａ〜３２ｄに入力される。
【００６３】
ステップ７０２では、マイクロコンピュータ３１は、４センサすべてからの振動到達タイミング信号の受信がなされたかを判定回路３３からの入力で判定し、すべての受信がなされていなければ、ステップ７０１に戻り、残りのセンサからの振動到達タイミング信号の受信を待つ。４センサすべてからの受信がなされたらステップ７０３に進む。
【００６４】
ステップ７０３では、動作状態通知信号がディスプレイ駆動回路１０からＩ／Ｏポート３５を介してマイクロコンピュータ３１に入力される。ここで、この動作状態通知信号は、ディスプレイ１１が正常に表示可能な状態かどうかを通知する信号であり、例えば、ホストコンピュータ１２からディスプレイ駆動回路１１に出力されるＲＧＢ信号や同期信号等から判定されて生成される信号である。動作状態通知信号は、通常動作状態とそれ以外の状態を表し、通常動作状態とは、ホストコンピュータ１２が出力するデータを正常に表示している状態を示し、それ以外の状態とは、ケーブルの切断や、回路の故障等で、表示が正常でない状態（表示がなされない状態を含む）を示している。
【００６５】
ステップ７０４では、マイクロコンピュータ３１は、動作状態通知信号が通常動作状態か、それ以外の状態かの判定を行う。そして、通常動作状態と判定した場合は、ステップ７０５でＩ／Ｏポート３５を介して座標データをホストコンピュータ１２に出力し、その後、本ルーチンの処理を終了し、不図示のメインルーチンにリターンする。
【００６６】
一方、ステップ７０４で通常動作状態以外の状態と判定したときは、ステップ７０６で、ホストコンピュータ１２にディスプレイ１１が通常動作状態以外の状態であることを通知するコマンド信号を出力する。このコマンド信号によって後述の処理がホストコンピュータ１２で実行される。続いて、マイクロコンピュータ３１は、ステップ７０７で座標データの出力を禁止状態にし、その後、本ルーチンの処理を終了し、不図示のメインルーチンにリターンする。
【００６７】
次に、図８は、演算制御回路１が出力するコマンドに対するホストコンピュータ１２の処理手順を示す。
【００６８】
ステップ８０１では、演算制御回路１が出力するコマンド信号を受信したかどうかを判定し、コマンド信号を受信していない場合は、ステップ８０２で、座標値データを受信したかを判定する。座標値データを受信していない場合は、ステップ８０１にもどり、ステップ８０１，８０２の動作を繰り返し、コマンド信号ないし座標値データの受信を待つ。
【００６９】
そして、ステップ８０２で座標値データを受信した場合は、ステップ８０３で、ディスプレイ駆動回路１１に座標値データを送信してその座標に対応する表示を行わせ、その後、本ルーチンを終了し、不図示のメインルーチンにリターンする。
【００７０】
一方、ステップ８０１でコマンド信号を受信したら、ステップ８０４で、受信したコマンド信号に対応したプログラムを起動させる。ここで受信したコマンド信号が図７のステップ７０６でマイクロコンピュータ３１がホストコンピュータ１２に送信したコマンド信号であって、ディスプレイ１１が通常動作状態以外の状態であることを示すものである場合、ホストコンピュータ１２が以下のような動作を行うことにより、操作者にディスプレイ１１が通常動作状態以外である旨を報知して、誤動作等の事故を未然に防止することができる。
【００７１】
例えば、上記のコマンド信号を受信したら、音声出力を行うプログラムを実行し、操作者に対し、現在はディスプレイが何らかの原因で通常動作していない旨のメッセージを報知したりして、ペン入力動作を中止させる。また、音声認識技術を利用した入力を許可したりしてもよい。特に、ディスプレイの画面に表示がなされていない状態なので、音声入力による対話形式の入力システムがあれば、ホストコンピュータ１２の操作が可能になるので、例えば、ホストコンピュータ１２の電源をオフにする操作を音声入力コマンドに割り付けてあれば、その電源をオフにして安全にディスプレイ１１の状態を確認することができる。
【００７２】
以上のような本実施形態によれば、ディスプレイ１１の表示が正常でない状態（表示がなされない状態を含む）では演算制御回路１からホストコンピュータ１２への座標データの出力が禁止されるので、ディスプレイ１１の表示が正常でない状態で操作者が不用意に振動入力ペン２１による座標入力操作を行っても、その座標データはホストコンピュータ１２に入力されないので、座標の誤入力とそれによる誤操作、誤動作を確実に防止することができる。
【００７３】
また、ディスプレイ１１の表示が正常でない場合は、その旨がホストコンピュータ１２に通知されるので、ホストコンピュータ１２は例えば上述のように操作者にメッセージを報知するなどして、対処することができる。
【００７４】
なお、本実施形態の装置では、座標入力方式は超音波振動方式のものとしたが、例えば電磁誘導方式、電磁授受方式、抵抗膜方式など他の方式のものとしてもよいことは勿論である。
【００７５】
［第２の実施形態］
上述した第１の実施形態においては、情報入出力装置の座標入力方式は超音波振動を利用した方式で、ディスプレイは液晶表示装置等とした。これに対して、第２の実施形態として、座標入力方式を光学方式とし、ディスプレイは投射型表示装置として構成した情報入出力装置の場合について図９及び図１０を参照して説明する。
【００７６】
まず、図９を参照して、本実施形態における情報入出力装置の構成について説明する。本装置は大別して、座標入力面を形成するスクリーン９１０と、これに対して光スポット９０５を照射して座標入力を行うための指示具９０４と、光スポット９０５のスクリーン９１０上の位置の座標を検出する座標検出器９０１とからなる座標入力装置と、出力装置として、スクリーン９１０に画像、或いは前記座標情報等を表示する投射型表示装置９０８とから構成されている。
【００７７】
指示具９０４は、光ビームを発射する半導体レーザ、或いはＬＥＤ等の発光素子、その発光を制御する発光制御手段、電池などの電源手段を内蔵し、また、複数の操作用スイッチが設けられている。発光制御手段は、操作用スイッチの操作状態により、発光のオン／オフと、発光の変調を行うことによって、制御信号を重畳した発光制御を行う。指示具９０４のスイッチがオンになると発光が開始され、その発光信号として、まず比較的長い連続するパルス列からなるリーダ部と、これに続くコード（メーカーＩＤなど）とからなるヘッダ部が出力され、その後、ペンＩＤや制御信号などからなる送信データ列が予め定義された順序と形式にしたがって順次出力される。
【００７８】
座標検出器９０１は、ＣＣＤ等からなる座標検出センサ部９０２、このセンサ部９０２の制御および座標演算、及び後述する座標データの出力制御などを行うマイクロコンピュータからなるコントローラ９０３、受光素子からなる制御信号検出センサ９０６、その検出信号を処理する信号処理部９０７とから構成されており、所定の周期で点滅する光スポット９０５の点灯時と非点灯時との信号を別々に積分して差信号を求め、ピーク画素の位置を精度よく求める様に構成してあり、光スポット９０５のスクリーン９１０上の位置の座標、及び指示具９０４の各操作用スイッチの状態に対応する制御信号とを検出して、その情報をコントローラ９０３によって、本装置の外部に接続された不図示のホストコンピュータに通信するようになっている。
【００７９】
投射型表示装置９０８は、表示信号源としての不図示の外部のホストコンピュータから入力される画像信号を処理する画像信号処理部８１、これにより制御され画像を表示する液晶パネル８２、これを照明するランプ８３、ミラー８４、コンデンサーレンズ８５からなる照明光学系、及び液晶パネル８２の画像をスクリーン９１０上に投影する投影レンズ８６とからなり、所望の画像情報をスクリーン９１０に表示することができる。
【００８０】
スクリーン９１０は、投射画像の観察範囲を広くするために適度な光拡敵性を持たせてあるので、指示具９０４から発射された光ビームも光スポット９０５の位置で拡散され、画面上の位置や光ビームの方向によらず、光スポット９０５の位置で拡散された光の一部が座標検出器９０１に入射する様に構成されている。
【００８１】
上記のようにして検出された光スポットの照射位置の座標データは、コントローラ９０３から出力されて、外部のホストコンピュータで処理され、画像信号処理部８１に入力される。また、投射型表示装置９０８の画像信号処理部８１から動作状態通知信号が座標検出器９０１のコントローラ９０３に出力される。
【００８２】
この動作状態通知信号は、第１実施形態で説明した動作状態通知信号と同様の信号であり、投射型表示装置９０８の動作状態が通常動作状態かそれ以外の状態かを表し、通常動作状態とは、外部に接続されたホストコンピュータが出力するデータを正常に表示している状態を示し、それ以外の状態とは、ケーブルの切断や回路の故障等で表示が正常でない状態を示している。
【００８３】
この動作状態通知信号が、投射型表示装置９０８が通常動作状態でない旨の信号である場合は、コントローラ９０３は座標データを外部に接続したホストコンピュータに出力しない出力禁止処理を実行する。
【００８４】
しかしながら、ホストコンピュータのシステムを終了して電源をオフにする等の操作を行いたい場合があるときには、次の動作をすることによって、緊急に座標データの出力が可能になる。すなわち、詳しく図示していないが、指示器９０４には複数の操作用スイッチが設けられており、この複数のスイッチを特定の組み合わせで押すことにより、指示器９０４から座標データの出力禁止を行わないようにするための出力禁止解除用のコマンド信号を重畳した光信号が出力され、これにより座標データの出力の禁止が行われないようになり、入力した座標データをホストコンピュータに送信できるものとする。
【００８５】
このようにするための、座標検出器９０１のコントローラ９０３の制御処理について図１０のフローチャートにより以下に説明する。この制御処理は、コントローラ９０３内のＲＯＭ９０３ａに格納された制御プログラムにしたがって以下のように行われる。
【００８６】
まず、ステップ１００１で、コントローラ９０３は座標データを検出したかどうかを判定する。座標データを検出しない場合はステップ１００１の動作を繰り返し、座標データの検出を待つ。
【００８７】
座標データを検出した場合は、ステップ１００２で、投射型表示装置９０８の画像信号処理部８１から出力される動作状態通知信号を検知する。
【００８８】
次にステップ１００３で、動作状態通知信号により、投射型表示装置９０８が通常動作状態か否かを判定する。
【００８９】
通常動作状態の場合は、ステップ１００６で座標データを外部に接続されたホストコンピュータ等に出力する。
【００９０】
また、通常動作状態以外であると判定された場合は、ステップ１００４で、上述した座標データの出力禁止解除用のコマンドを受信したかどうかを判定する。このコマンド信号は、例えば指示器９０４の複数の操作用スイッチを全て押す等して、普段の使用時には操作者が意識的に押さない限り、送信されないように設定する。
【００９１】
前記コマンドを受信した場合は、ステップ１００６で座標データを出力し、その後、本ルーチンを終了し、不図示のメインルーチンにリターンしてその処理を行う。
【００９２】
また、前記コマンドを受信していない場合は、ステップ１００５で座標データの出力を禁止し、その後、ステップ１００１に戻り、上述したステップ１００１以下の処理を繰り返す。
【００９３】
以上のような本実施形態によれば、投射型表示装置９０８の表示が正常でない状態（表示がなされない状態を含む）では座標検出器９０１からホストコンピュータへの座標データの出力が禁止されるので、投射型表示装置９０８の表示が正常でない状態で操作者が不用意に指示具９０４による座標入力操作を行っても、その座標データはホストコンピュータに入力されないので、座標の誤入力とそれによる誤操作、誤動作を確実に防止することができる。さらに上述したように、投射型表示装置９０８の表示が正常でなく、座標データの出力が禁止された状態でも、指示器９０４の複数の操作用スイッチを特定の組み合せで押して座標データの出力禁止解除用のコマンド信号を入力すれば、座標データの出力の禁止が解除され、入力した座標データをホストコンピュータに出力できる。したがって、操作者が投射型表示装置９０８の表示が正常でなく、座標データの出力が禁止されたことを意識した上で、その禁止を解除して適正に座標入力を行うことができる。
【００９４】
なお、上記の説明において、動作状態通知信号は、投射型表示装置９０８の画像信号処理部８１が出力する信号としたが、投射型表示装置が既製の装置で、これに座標検出器を組み合わせて情報入出力装置を構成する場合は、座標検出器に投射型表示装置の光信号を検出する光センサーを設け、その出力値にしたがって投射型表示装置の動作状態を判定して、座標データの出力を制御してもよい。
【００９５】
［第３の実施形態］
次に、本発明の第３の実施形態について図１１〜図１３により説明する。本実施形態は、上述した第１ないし第２の実施形態の構成を変更したものであり、表示装置（ディスプレイ１１ないし投射型表示装置９０８）が通常動作状態以外のとき、すなわち表示が正常でないときは、座標入力装置の制御部（演算制御回路１ないしコントローラ９０３）がホストコンピュータに対して座標入力モードをジェスチャモードに変更するコマンドを送信する。ここでジェスチャモードとは、連続的に入力される座標データのパターンを判定し、そのパターンに対応した動作を実行するモードとする。これにより、表示装置が動作していない状態（表示していない状態）でもホストコンピュータを操作することができる。
【００９６】
このための、座標入力装置の制御部の制御処理は、そのメモリ（ＲＯＭ３１２ないし９０３ａ）に格納された制御プログラムに従って、図１１に示す手順で以下のように行われる。
【００９７】
まずステップ１１０１では、座標データを検出したかどうかの判定を実行し、検出しない場合はステップ１１０１を繰り返し実行し、座標データの検出を待つ。
【００９８】
座標データを検出した場合は、ステップ１１０２で、表示装置から出力される動作状態通知信号を検出する。
【００９９】
ステップ１１０３では、動作状態通知信号により、表示装置が通常動作状態であるかどうかを判定する。そして通常動作状態と判定された場合は、ステップ１１０４で座標データを出力し、その後、本ルーチンを終了して不図示のメインルーチンにリターンする。
【０１００】
一方、通常動作状態以外と判定された場合は、ステップ１１０５で座標データの出力を停止（禁止）し、続いてステップ１１０６でホストコンピュータに対して座標入力モードを上述したジェスチャモードに変更させるコマンドを送信する。これを受信した不図示のホストコンピュータでは、入力モードをジェスチャモードに変更し、この変更後は連続的に入力される座標データのパターンを判定することで、パターンに対応した各種動作を実行する。
【０１０１】
次に、ステップ１１０７では、ホストコンピュータから入力モードの変更が終了した旨のコマンドを受信したかどうかを判定する。受信しない場合は、ステップ１１０７を繰り返し、そのコマンドの受信を待つ。
【０１０２】
そのコマンドを受信した場合は、ステップ１１０８で座標データを検出したかを判定する。座標データを検出しない場合は、ステップ１１０８を繰り返し実行し、座標データの検出を待つ。
【０１０３】
座標データを検出した場合は、ステップ１１０９で、ホストコンピュータに座標データを出力し、その後、本ルーチンを終了し、メインルーチンにリターンする。なお、ここで出力される座標データは、ホストコンピュータで実行されるパターンマッチングに使用される。
【０１０４】
次に、図１１のステップ１１０６でホストコンピュータへ出力される座標入力モード変更のためのコマンド信号をホストコンピュータが受信した場合のホストコンピュータの処理について図１２のフローチャートにより説明する。
【０１０５】
まず図１２のステップ１２０１では、上述した座標入力装置の制御部が出力する入力モード変更のためのコマンド信号を受信したかどうかを判定する。そのコマンド信号を受信しない場合は、ステップ１２０２で座標データを受信し、ステップ１２０３で表示装置に座標データを出力する。その後、本ルーチンを終了し、不図示のメインルーチンにリターンする。
【０１０６】
一方、上記のコマンド信号を受信した場合は、ステップ１２０４で入力モードをジェスチャモードに変更する。ジェスチャモードでは、通常のファイル操作は無効となり、上述した座標データのパターン判定によるジェスチャのみの入力が受け付けられる。
【０１０７】
次に、ステップ１２０５で入力モードを変更した旨を操作者に知らせるための音声による案内メッセージを出力する。続いてステップ１２０６で、ジェスチャモードへの変更が終了した旨を通知するコマンドを座標入力装置の制御部に送信する。
【０１０８】
ここで操作者は、ステップ１２０５の音声による案内の後に、各種の操作コマンドに対応したジェスチャによる連続的な座標入力を行う。それにより座標入力装置で座標データが検出され、ホストコンピュータに送信されるが、ホストコンピュータはステップ１２０７でその座標データを受信する。
【０１０９】
次に、ステップ１２０８で連続的に受信した座標データのパターンを予め登録されている各種コマンドに対応したジェスチャパターンと照合する、いわゆるパターンマッチングを行い、入力されたパターンに合致するジェスチャパターンを判定する。そして、ステップ１２０９で入力パターンに合致したジェスチャパターンに対応するコマンドを実行する。その後、本ルーチンを終了し、メインルーチンにリターンする。
【０１１０】
ここで、ジェスチャコマンドの例を図１３に示す。パターンマッチングに使用する座標データのパターンは、表示装置にパターンの軌跡が表示されないことを考慮して、なるべく簡単なパターンとすることが望ましい。例えば、図１３に示すように、アルファベットの「Ｓ」のパターンの座標入力を行う、すなわち座標入力面上で「Ｓ］を書くことにより、データの「保存」を実行するように設定する。
【０１１１】
以上のように、本実施形態では、表示装置の表示が正常でない場合、ホストコンピュータの入力モードをジェスチャモードに変更させ、座標入力装置からの座標データの出力は各種コマンドに対応したジェスチャパターンとのパターンマッチングに用いられる。したがって、予め登録したジェスチャパターンのみでホストコンピュータを操作するので、表示装置の画面に何も表示されていない状態でも、ホストコンピュータを安全に操作することができ、ホストコンピュータの誤動作を防止することができる。
【特許請求の範囲】
【請求項１】
ホスト装置に接続され、該ホスト装置が出力する情報を表示する表示手段と、座標入力面を有し該座標入力面上で任意に指示された入力点の座標を検出して座標データを前記ホスト装置に出力する座標入力手段とを有する情報入出力装置において、
前記表示手段が正常に表示を行っていない状態となったときに、前記ホスト装置の座標入力モードを、連続的に入力される座標データのパターンを判定して該パターンに対応した動作を実行するジェスチャモードに変更させるためのコマンドを出力するように制御する制御手段を有することを特徴とする情報入出力装置。
【請求項２】
ホスト装置に接続され、該ホスト装置が出力する情報を表示する表示手段と、座標入力面を有し該座標入力面上で任意に指示された入力点の座標を検出して座標データを前記ホスト装置に出力する座標入力手段とを有する情報入出力装置の制御方法において、
前記表示手段が正常に表示を行っていない状態となったときに、前記ホスト装置の座標入力モードを、連続的に入力される座標データのパターンを判定して該パターンに対応した動作を実行するジェスチャモードに変更させるためのコマンドを出力するように制御する制御工程とを有することを特徴とする情報入出力装置の制御方法。
【請求項３】
ホスト装置に接続され、該ホスト装置が出力する情報を表示する表示手段と、座標入力面を有し該座標入力面上で任意に指示された入力点の座標を検出して座標データを前記ホスト装置に出力する座標入力手段とを有する情報入出力装置の制御プログラムを格納したコンピュータにより読み取り可能な記録媒体において、
前記表示手段が正常に表示を行っていない状態となったときに、前記ホスト装置の座標入力モードを、連続的に入力される座標データのパターンを判定して該パターンに対応した動作を実行するジェスチャモードに変更させるためのコマンドを出力するように制御するための制御プログラムを格納したことを特徴とする記録媒体。
【請求項１】
ホスト装置に接続され、該ホスト装置が出力する情報を表示する表示手段と、座標入力面を有し該座標入力面上で任意に指示された入力点の座標を検出して座標データを前記ホスト装置に出力する座標入力手段とを有する情報入出力装置において、
前記表示手段が正常に表示を行っていない状態となったときに、前記ホスト装置の座標入力モードを、連続的に入力される座標データのパターンを判定して該パターンに対応した動作を実行するジェスチャモードに変更させるためのコマンドを出力するように制御する制御手段を有することを特徴とする情報入出力装置。
【請求項２】
ホスト装置に接続され、該ホスト装置が出力する情報を表示する表示手段と、座標入力面を有し該座標入力面上で任意に指示された入力点の座標を検出して座標データを前記ホスト装置に出力する座標入力手段とを有する情報入出力装置の制御方法において、
前記表示手段が正常に表示を行っていない状態となったときに、前記ホスト装置の座標入力モードを、連続的に入力される座標データのパターンを判定して該パターンに対応した動作を実行するジェスチャモードに変更させるためのコマンドを出力するように制御する制御工程とを有することを特徴とする情報入出力装置の制御方法。
【請求項３】
ホスト装置に接続され、該ホスト装置が出力する情報を表示する表示手段と、座標入力面を有し該座標入力面上で任意に指示された入力点の座標を検出して座標データを前記ホスト装置に出力する座標入力手段とを有する情報入出力装置の制御プログラムを格納したコンピュータにより読み取り可能な記録媒体において、
前記表示手段が正常に表示を行っていない状態となったときに、前記ホスト装置の座標入力モードを、連続的に入力される座標データのパターンを判定して該パターンに対応した動作を実行するジェスチャモードに変更させるためのコマンドを出力するように制御するための制御プログラムを格納したことを特徴とする記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１０−１４６５８７（Ｐ２０１０−１４６５８７Ａ）
【公開日】平成２２年７月１日（２０１０．７．１）
【国際特許分類】
【出願番号】特願２０１０−１５７６８（Ｐ２０１０−１５７６８）
【出願日】平成２２年１月２７日（２０１０．１．２７）
【分割の表示】特願平１１−３０３２５６の分割
【原出願日】平成１１年１０月２６日（１９９９．１０．２６）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２２年７月１日（２０１０．７．１）
【国際特許分類】
【出願日】平成２２年１月２７日（２０１０．１．２７）
【分割の表示】特願平１１−３０３２５６の分割
【原出願日】平成１１年１０月２６日（１９９９．１０．２６）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]