データ入力装置、情報機器、およびデータ入力方法
【課題】２次元的な装置を用いて３次元的な画像の指定、画像の拡大・縮小、メニューの選択などを可能とするデータ入力装置を提供すること。
【解決手段】 ３次元的に空間を移動する指や指し棒などの指示手段の位置情報を計測して、コンピュータの制御内容あるいは表示画面に出力される表示内容を指定するためのデータ入力装置であって、指向性を有する発光手段と受光手段との対を複数具備し、受光手段の夫々は複数の発光手段から発せられ前記指示手段によって反射された光を取り込んで受光強度を測定し、少なくとも２以上の発光手段に対応する受光強度の相対的関係に基づいて指示手段の３次元位置を演算する。
【解決手段】 ３次元的に空間を移動する指や指し棒などの指示手段の位置情報を計測して、コンピュータの制御内容あるいは表示画面に出力される表示内容を指定するためのデータ入力装置であって、指向性を有する発光手段と受光手段との対を複数具備し、受光手段の夫々は複数の発光手段から発せられ前記指示手段によって反射された光を取り込んで受光強度を測定し、少なくとも２以上の発光手段に対応する受光強度の相対的関係に基づいて指示手段の３次元位置を演算する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画面表示への指示を３次元的に行うことを可能とするデータ入力装置、データ入力装置からの情報により画面制御を行う情報機器、情報機器の画面の制御方法および情報入力プログラムに関し、高度により階層化されたメニュー画面を指などの物体の高度を測定することにより表示を行い、そのメニュー画面に達した時に物体が動く方向によりメニューを選択し、また高度により画面を拡大・縮小表示したり、さらにカーソルの制御を行ったりすることを可能とするデータ入力装置、情報機器、およびデータ入力方法に関する。
【背景技術】
【０００２】
例えばパソコンなどの画面入力・表示を行うためにパソコンに指示する装置としてマウス、タッチパッド（トラックパッドとも言う）、スティック型ポインタ、およびトラックボールなどがある。上記４つの装置は、それら機器を使用する人などの２次元的な動作指示である、例えばマウスを使用する場合はマウスパッド上で２次元的にマウスを動かすことに連動して画面の表示を行うように、利用しているパソコンのソフトウェアに指示を行うように構成されている。また３次元的にコンピュータに動作指示を行うデータ入力装置として、データグローブやデータスーツ、サイバーグローブと呼ばれる手振りや身ぶりを使って入力するデバイスなども存在するが、体に装着する必要があり、手間であり、大変であった。
【０００３】
また、従来の電力使用量の監視として、特許文献１では、電子機器などを操作するための情報入力装置に関し、また、入力された画像から重心を抽出する画像処理方法に関する技術を提案している。特許文献２は、物体による反射光を獲得し入力情報を抽出する固体撮像装置についての技術を提案している。
【特許文献１】特開平９−９１０７９号公報
【特許文献２】特開２０００−２２２０９７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし従来行っている、２次元のポインティングデバイスであるデータ入力装置を用いて３次元の画面制御を行うのは直感的ではなく容易ではなかった。また、３次元の指定を行うのにデータグローブやデータスーツ、サイバーグローブなどの専用の装置を体に装着して作業を行うのは大変であり、簡単な３次元の作業を行うには非現実的であった。またコストも高くなり一般の人が容易に使用できるように普及するのは困難であった。
【０００５】
また、上記特許文献１および特許文献２で提案されている技術では、物体の反射光を測定して手や指の位置および形の特定を行っているが、反射光の絶対強度を用いるため精度が低く、また測定したデータを用いて、表示画面の拡大・縮小などを行うことを目的としたものではないので、データ入力を行う物体の高度により画面にいかに表示したり、メニューを選択するかについての記述が無い。
【０００６】
本発明は、上述のかかる事情に鑑みてなされたものであり、複数光源の反射光の相対強度を用いて計測精度を向上させた独自の２次元的なタッチパッドを用いて、指などのポインタの高度や移動方向を取得して容易に３次元的に階層化されたメニューや方向性を有した指定を可能とし、高度により画面の拡大・縮小を行うデータ入力装置、情報機器、情報入力方法、画面表示方法、情報入力プログラム、および画面表示プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明に係わるデータ入力装置は、３次元的に空間を移動する指や指し棒などの指示手段の位置情報を計測して、コンピュータの制御内容あるいは表示画面に出力される表示内容を指定するためのデータ入力装置であって、指向性を有する発光手段と受光手段との対を複数具備し、前記受光手段の夫々は複数の発光手段から発せられ前記指示手段によって反射された光を取り込んで受光強度を測定し、少なくとも２以上の発光手段に対応する受光強度の相対的関係に基づいて前記指示手段の３次元位置を演算することを特徴とする。
【０００８】
本発明では、各受光手段が、発光手段により複数地点から発光され指などによって反射された光を受光し、その受光強度の相対比率によって指の位置を特定する。
【０００９】
なお、指向性の実現方法として、発光手段自体をレーザなどの指向性のある発光素子を用いても良いし、発光手段と受光手段の対を外壁で囲むようにして、特定の方向あるいは範囲にしか光が行かないようにしても良い。
【００１０】
また、本発明に係わるデータ入力装置では、前記複数の発光手段のうち少なくとも２以上の発光手段は、発光時間と非発光時間からなりそれぞれ異なる発光タイミングで発光し、前記受光手段は、該タイミングの違いによって発光手段を特定し、かつ、発光時間における受光強度と非発光時間における受光強度の差分を演算することによって外来光の影響を除去することを特徴とする。
【００１１】
本発明では、複数の発光手段を一定の周期で発光させる。このとき近傍の発光手段はそれぞれ異なる位相で発光するようにする。これにより各受光手段は、対となっている発光手段からの光か、近傍の発光手段からの光なのか等、発光手段を特定することができる。さらに、各発光手段は割り当てられたタイミング（位相）の中で光を発している時間（発光時間）と光を発していない時間（非発光時間）を持つことにより、両時間帯にサンプリングした受光量の差分を演算して外来光（ノイズ）を除去することによって、発光手段による光の反射光の強度を精度良く測定することができる。
【００１２】
このとき、得られる受光強度の離散データを用いて補間関数を演算し、指示手段の３次元位置を推定するようにすると良い。
【００１３】
また、前記特定された物体の位置情報の推移より、物体の移動方向と移動速度を特定するベクトル量を特定する物体移動情報特定手段とを備え、前記位置情報通知手段は、前記特定した物体の移動量のベクトル量を外部に通知するように構成するのも好ましい。
【００１４】
本発明では、データ入力を行う物体の３次元的な移動を示すベクトル量を算出し、外部に通知することができるので、通知を受けた情報機器などは３次元的に広がった場所の指定やデータ入力の指示などを行うことができる。なお、この物体移動情報特定手段は、コンピュータ側に設けることもできるが、データ入力装置側に設けるようによって、コンピュータの負荷を軽減することができる。
【００１５】
また、本発明に係わる情報機器は、外部より通知される指や指し棒などの指示手段の３次元位置情報によって、コンピュータの制御内容あるいは表示画面に出力される表示内容を決定する情報機器であって、前記３次元位置情報の高度成分に基づいて画面の拡大・縮小または階層化されたメニュー項目の選択を行うと共に水平成分に基づいて表示内容の中心位置を移動することを特徴とする。指をデータ入力装置へ近づけることによって即座に最終項目の選択ができ、また、都度クリックして項目を選択するのに比べて全体を簡単にサーチすることができる。
【００１６】
ここで、「画面の拡大・縮小・・・」における「画面」とは、ディスプレイに表示される画像、メニューアイコン、その他の情報を意味する。
【００１７】
また、本発明に係わる情報機器は、外部より通知される指や指し棒などの物体（指示手段）の移動量の垂直成分または高度情報により機器の画面にメニュー画面などを表示する手段を備えた情報機器であって、物体の移動量の垂直成分または高度を受信する高度情報受信手段と、予め定めた高度、または直前に行ったメニュー画面表示からの相対高度に対応して予め定めたメニュー画面データと、受信した高度が前記予め定めた高度、または相対高度に達した時、前記メニュー画面データより表示するメニュー画面を抽出し、前記抽出したメニュー画面を表示するメニュー画面表示手段と、を備えたことを特徴とする。
【００１８】
本発明では、外部より通知されるデータ入力の指示としての物体の移動量の垂直成分または高度そのものの値により、高度もしくは相対高度により予め定めたメニュー画面を抽出し表示することができるので、データ入力装置に対して垂直成分の移動量により定義されるメニュー画面表示などの機能を実現することができる。
【００１９】
また、本発明に係わる情報機器は、外部より通知される指や指し棒などの物体の移動量の水平成分により機器の画面に表示されるカーソルの位置を特定する手段を備えた情報機器であって、物体の移動量の水平成分を受信する２次元移動情報受信手段と、前記受信した物体の移動量の水平成分により機器の画面上のカーソルの移動を行うカーソル移動手段と、を備えたことを特徴とする。
【００２０】
本発明では、外部より通知されるデータ入力の指示としての物体の移動量の水平成分の値により、カーソルを移動するなどの２次元的な作業を連動して行うことができるので、２次元成分を利用した画面表示を容易に行うことができる。画面中央から物体の位置までのベクトル情報によって、カーソルの移動方向および移動速度を決定するようにすると良い。すなわち、ベクトルの向きによってカーソルの移動方向を決定し、ベクトルの大きさによって移動速度を決定するのである。さらに、高度成分を加えて、３次元ベクトルとして、階層化された項目間の移動、あるいは画面の拡大・縮小をベクトルの大きさに基づいて決定される速度で行うようにしても良い。
【００２１】
本発明では、メニュー画面などを階層構造を持たせて構成させることができるので、２次元的および３次元的な広がりを有する画面にてその方向性にて異なるメニューを定義したり、そのメニューの項目の指定などをデータ入力を指示する物体の３次元的な移動によって行うことができるので、メニュー画面に２次元的および３次元的な広がり感を持たせることが可能となる。
【００２２】
また、本発明に係わるユーザインタフェース方法は、上記のデータ入力装置を用いて３次元的に空間を移動する指や指し棒などの指示手段の位置情報を計測して、コンピュータの画面に出力される表示内容を指定するユーザインタフェース方法であって、コンピュータに予め表示倍率と前記指示手段の３次元位置情報の高度成分との対応関係を保存しておき、前記データ入力装置から入力される前記指示手段の高度情報に基づいてコンピュータ画面上に表示すべき内容を前記対応関係による所定の倍率で表示し、かつ、前記３次元位置情報の水平成分の画面中心位置からのずれの方向および大きさ演算して、当該ずれの方向へ当該ずれの大きさに基づく速度で画面をスクロールすることを特徴とする。
【００２３】
上記目的を達成するため、本発明に係わる情報入力プログラムは、指や指し棒などの物体を３次元的に空間を移動させることでパソコンなどの表示画面に表示される内容を指定したり、表示を変更したりする情報入力装置上で動作するプログラムであって、外壁が遮光物によって形成され、一対の発光素子と受光素子を備えたセルが２次元的に配置されて成るデータ入力装置の前記発光素子の発光タイミングは、少なくとも隣接する他のセルの発光タイミングとは異なり、前記受光素子の受光タイミングは、少なくとも同一セル内の発光素子の発光タイミングと他のセル内の発光素子の発光タイミングを含んだ間隔で行われ、前記受光素子は、少なくとも前記同一セル内の発光素子の反射光および、前記他のセル内の発光素子からの反射光を受光する場合に、前記受光した受光量を記憶する受光内容記憶処理と、前記受光した受光量と同一セル内の受光量と他のセル内の受光量の相対比率により前記物体の３次元の位置情報を特定する物体位置特定処理と、特定した前記位置情報を外部に通知する位置情報通知処理と、を情報入力装置上で動作させることを特徴とする。
【００２４】
上記目的を達成するため、本発明に係わる情報入力プログラムは、外部より通知される指や指し棒などの物体の移動量の垂直成分または高度情報により機器の画面にメニュー画面の表示、または画面の拡大・縮小表示を行う情報装置上で動作するプログラムであって、物体の移動量の垂直成分または高度を受信する高度情報受信処理と、予め定めた高度または直前に行ったメニュー画面表示からの相対高度に対応して予め定めたメニュー画面データを用いて、受信した高度が前記予め定めた高度または相対高度に達した時、前記メニュー画面データより表示するメニュー画面を抽出し、前記抽出したメニュー画面を表示するメニュー画面表示処理と、を情報装置上で動作させることを特徴とする。
【発明の効果】
【００２５】
本発明によれば、画面情報として３次元的な広がりを有する画面のメニューの指定や方向性を有した情報を用いた画面上の指定を操作者が専用の装置などを装着すること無く容易に行うことができる。
【発明を実施するための最良の形態】
【００２６】
以下、本発明の実施の形態を説明する。図１は、本発明であるデータ入力装置とポインタである指などの物体との位置関係などを示す図である。データ入力装置からの位置をＸ軸、Ｙ軸、Ｚ軸の位置である（ｘ，ｙ，ｚ）で表現しその値の遷移を３次元的な画像などの指定やメニューの指定などに用いる。
【００２７】
図２は、本発明のデータ入力装置がポインタである指などの物体の位置を特定する原理を示す図である。図２（ａ）は、データ入力装置の断面図であり、図２（ｂ）は上面図である。３次元的な位置情報を取得するために光の反射光を利用するものであり、遮光壁３１３に囲まれた１つのセル内に発光素子３１１と受光素子３１２とを配置しそのセルの上部は光が通過するガラスなどの蓋３１４で覆われている。また、下部には、データ入力装置３の底部と非接触にて設けられ、指を蓋３１４に接触させて押下することにより接触することで押下を判定するためのスイッチ部３１５も設けられている。なお、便宜上図中の指のサイズに比べて発光素子３１１、受光素子３１２のサイズを大きく表している。
【００２８】
セルは、隣同士が遮光壁で区切られているため、セルの上部を例えば指などで覆ってしまうと発光素子３１２からの光は指で反射してその反射光は同じセル内の発光素子３１１からのみ届くが、指を上部へ上げていくと隣接するセルの発光素子３１１からの反射光も受光することになる。このように、指の高さに応じて変化する異なる発光素子の反射光量を用いることが本発明の特色の一つである。
【００２９】
なお、セル同士は本実施の形態では図２（ｂ）のように格子状に配列しているが大きさが異なっていたり、たとえば八角形で有ったりしても良い。
【００３０】
図３は、セル内の発光素子３１１（１，１）とその隣接する発光素子３１１（１，２）、さらにその隣の発光素子３１１（１，３）の発光タイミングと、セル内の受光素子３１２（１，１）の受光タイミングを示した図である。これら近傍のセルの発光タイミングは異なっており、受光素子３１２が受光するタイミングは自セルの発光素子の発光タイミングと近傍発光素子の発光タイミングを含んでおり別々のタイミングにて自セルの発光素子の反射光と近傍のセルの発光素子の反射光を受光し、反射光の受光量の大きさなどにより物体のＸ軸・Ｙ軸・Ｚ軸の位置情報を算出する。また、発光素子は、割り当てられた発光可能時間（発光タイミング）の全ての時間を発光させるのではなく、発光時間と非発光時間を持たせる。そして、受光素子は、この発光時間と非発光時間の受光量の両方を計測して、その差分をとり、これを当該発光素子による反射光の受光量とする。
【００３１】
次に、３次元位置情報の演算方法について説明する。なお、この演算は、コンピュータ側で行うこともできるが、データ入力装置側で行うことによってコンピュータの負荷を軽減することができる。以下、データ入力装置側で演算することを前提に説明する。
（３次元位置の演算方法）
【００３２】
まず、図２１に示すように、受光データと高度情報との関係を表す高度情報テーブルを予めデータ入力装置の記憶部に保存しておく。ここで、Ｘ１は、同一セル内の発光素子からの光の反射光強度（受光量）である。また、Ｘ２は隣のセル内の発光素子からの光の反射光強度である。実際に採取したデータとテーブルの各データとの偏差を演算して、この偏差が最小になるところの高度を抽出する。そして、各受光素子の高度データを比較して最も小さい値を物体（指示手段）の高度座標とし、このときの受光素子の位置を物体の水平座標とする。
【００３３】
なお、高度情報は、反射光強度の絶対量に関連付けるのではなく、同一セル内の発光素子の反射光強度をもとにした相対比率を用いるようにしても良い。このときの高度情報テーブルを図２２に示す。
【００３４】
もちろん、テーブルを用いる代わりに、次の式による関数によって、各受光素子位置における高度を求めるようにしても良い。このような関数により、ｘ１，ｘ２，・・・の任意の相互関係をｚの値に反映できる。
【００３５】
ｚ＝ｆ（ｘ１，ｘ２，ｘ３，・・・） ・・・（１）
【００３６】
あるいは、学習機能を有するニューラルネット等の技術によって関数ｆを求めるようにしても良い。定期的に学習しなおすことによって精度の良い校正が可能となり、これにより光源の劣化や環境の変化に対応することができる。
【００３７】
たとえば、図２３に示すように、各素子を配設した基盤（パネル）の下にコンピュータの実行ボタンとしての役割を有するタクトスイッチ３１５を設けておき、これを押下したときに、同時に高度（ｚ）＝０としてキャリブレーションを取るようにする。これをもとに関数の係数を修正したり、ニューラルネットにおけるパラメータを変更する。
（３次元位置の推定方法）
【００３８】
次に、さらに高精度に３次元位置を求める方法を述べる。
各受光素子に対応する高度データをもとに、図２４（ａ）に示すように予め決められた特定の関数（たとえば指の形状に合わせた変化を示す関数）の係数を最小二乗法等によって計算する。そして、この関数値が小さくなる地点（図中の○印）の高度座標（ｚ）と水平座標（ｘ，ｙ）を求める。なお、水平座標の求め方としては、ｘ方向、ｙ方向ごとにｚが最小となる座標を求めても良いし、３次元座標として直接求めるようにしても良い。
【００３９】
さらに、簡便な方法としては、データの変化方向（減少方向と増加方向）ごとに直線を求め、その直線の交点座標を用いるようにしても良い。この方法によれば、演算処理に負担がかからず、リアルタイムで精度の高い位置推定が可能となる（図２４（ｂ））。
【００４０】
次に、このようなデータ入力装置３から入力される３次元位置情報を用いて、コンピュータの画面操作を行うときの例を説明する。
【００４１】
図６は、本発明の第１の実施の形態に係わるデータ入力装置３および情報機器１の機能ブロック図を示す。この図において、データ入力装置３は、パソコンなどのコンピュータのシリアルポート、ＵＳＢポート、およびマウスポートなどに接続され、例えばパソコンなどのコンピュータもしくは機器制御用の装置などである情報機器１の画面制御を行うのに用いられるものである。
【００４２】
情報機器１は、データ入力装置３とのデータの送受信を行うための送受信部１２、送受信部１２から受け取ったデータの処理、およびその他のさまざまな処理を行う中央演算処理部１３、データを記憶するための記憶部１４、および、中央演算処理部１３との間でデータの入出力を行う入力部１５と表示部１６から構成されている。入力部１５と表示部１６はマンマシンインタフェースの機能を有する部分である。
【００４３】
さらに、中央演算処理部１３は、送受信部１２との間でデータの受け渡しを行う送受信処理手段（機能）１３１、入力部１５あるいは表示部１６とデータの受け渡しを行う入出力処理手段（機能）１３２、データ入力装置３より送受信部１２を経由して物体の高度を受信する高度情報受信手段（機能）１３３、物体の高度などによりメニュー画面の表示を行うメニュー画面表示手段（機能）１３４、データ入力装置３より送受信部１２１を介して物体のＸ軸、Ｙ軸方向の２次元の移動情報を受信する２次元移動情報受信手段（機能）１３５、予め定めた高度にて物体の２次元的な移動量および移動方向などを基に情報機器１の画面上のカーソルを移動させるカーソル移動手段手段（機能）１３６、物体の３次元的な移動のベクトル量をデータ入力装置３から受信する移動ベクトル量受信手段（機能）１３７、高度ごとなどに設けられたメニュー画面の情報から使用者が選択したメニュー項目を選択するメニュー画面項目選択手段（機能）１３８、予め定めた高度から次の予め定めた高度への移動時には表示中の画面の拡大もしくは縮小を行う画面拡大縮小表示手段（機能）１３９、データ入力装置３から送受信手段１２を介して入力の指定を行う物体の位置情報を受信する位置情報受信手段（機能）１３Ａ、受信した位置情報より入力を指定する物体の位置およびその移動量などを特定する位置・移動量特定手段（機能）１３Ｂから構成される。
【００４４】
また、記憶部１４は、データ入力装置３から受信する発光素子からの反射光の受光量などのデータを保存する受光内容データ１４１、受信した物体の位置情報とその以前に受信した位置情報より物体の移動成分などを保存する位置情報成分などデータ１４２、物体の高度により異なるメニュー画面を保存するメニュー画面データ１４３から構成されている。
【００４５】
データ入力装置３は、情報機器１に接続され画面入力を支援するために画面上のポイントを指定したり、画面をスクロールさせたり、メニュー選択画面のメニューの選択を行ったりすることが可能な画面入力の補助装置である。情報機器１との接続はシリアル回線、ＵＳＢなどを利用して行われる。
【００４６】
データ入力装置３は、上記シリアル回線もしくはＵＳＢポートなどを利用して情報機器１とのデータの送受信を行うための送受信部３２、送受信部３２からのデータの処理を行う中央演算処理部３３、中央演算処理部３３との間でデータの入力を行う入力部３５から構成されている。本実施の形態ではデータ入力装置３と情報機器１はシリアル回線もしくはＵＳＢなどを用いて別々に構成されているが、一体化して１つの装置として存在しても良い。
【００４７】
さらに、中央演算処理部３３は、送受信部３２との間でデータの受け渡しを行う送受信処理手段（機能）３３１、入力部１５とデータの受け渡しを行う入出力処理手段（機能）３３２、物体の存在により受光素子３１２受信する自セルおよび隣接するいくつかのセルに設けられた発光素子３１１の受光量の大きさなどを入力部３５より受信する受光内容記憶手段（機能）３３３、受信した自セルおよび隣接するセルからの反射光の受光量により物体の位置情報を特定する物体位置特定手段（機能）３３４、特定した位置情報を情報機器１に通知する位置情報通知手段（機能）３３５、物体の高度もしくは算出した物体の位置情報と以前の位置情報により物体の高度の相対移動量を算出する物体高度算出手段（機能）３３６、物体の２次元的な移動量を算出する２次元移動量算出手段（機能）３３７、物体の３次元的な移動量などの情報を特定する物体移動情報特定手段（機能）３３８から構成される。
【００４８】
また、記憶部３４は、受光素子３１２から受信する自セル発光素子３１１（１，１）および隣接するセルの発光素子３１１（１，２）、３１１（１，３）などからの反射光の受光量などのデータを保存する受光内容データ３４１、反射光の受光量などにより算出した物体の位置情報と以前の位置情報により物体の移動成分などを保存する位置情報成分などデータ３４２から構成されている。
【００４９】
本実施の形態においては、データ入力装置３において反射光の受光量のみを取得し情報機器１に通知するという形態のみでなく、複数の発光素子３１１からの反射光の受光量の相対的な違いを勘案して、物体の位置情報、高度、２次元的な移動量、３次元的な移動量までも算出して、算出した上記情報を情報機器１に通知するという機能も全て記載している。同様に情報機器１においてもデータ入力装置３から指示物体の高度・位置情報・２次元的な移動量・３次元的な移動量などを取得して動作する部分と、データ入力装置３からは受光量のみを受信して情報機器１の方で上記指示物体の高度・位置情報・２次元的な移動量・３次元的な移動量などを算出するという形態が混在して記載している。
【００５０】
図７は、データ入力装置３および、情報機器１が受光量により画面指示物体の位置などを算出する場合は情報機器１にも存在する受光素子３１２が受光した生データを保存する受光内容データ１４１のデータ構成例を示す。本データ内には、発光素子３１１からの反射光の受光量をスキャンした時の時刻である「スキャン時刻」、スキャンした時刻における同じセル内にある対になる発光素子３１１からの受光量である「対発光素子の受光量」、「隣接発光素子１の受光量」、および「隣接発光素子２の受光量」・・などと発光素子からの受光量の生データが保存されている。
【００５１】
図８は、入力の指示を行う物体の位置、相対高度移動量などを保存する位置情報成分などデータ１４２のデータ構成例である。位置情報成分などデータ１４２は、図７に示す各受光量などから算出される位置情報として、「Ｘ軸値」、「Ｙ軸値」、「Ｚ軸値」、および「２次元的相対移動量」、「高度相対移動量」、「移動距離」などから構成されている。
【００５２】
図９は、高度により表示するメニュー画面を保存するメニュー画面データ１４３のデータ構成例を示す。メニュー画面データ１４３は、複数のメニューから構成され、最上位の層から階層構造をなして構成されている。本実施の形態において最上位の第１層では、表示内容として「日本地図」という表示内容と、物体（指示手段）の高度範囲が関連付けられて保存されている。例えば入力を指示する物体の高度が「７０〜６０ｍｍ」の場合は「日本地図」を表示するということを意味している。
【００５３】
次の項目である「メニュー選択の範囲」では、「６２〜６０ｍｍ」間はメニューを表示し選択する範囲であることを意味している。上記範囲内の高度に入力を指示する物体が存在する場合は、画面上にメニューを表示し、「６２〜６０ｍｍ」までに操作者が入力を指示する物体を動かした内容により次に画面が決定されるということを意味する。また選択は「メニュー選択の閾値」に記載されている内容に合致するものにて選択されるものとする。このように、高度が高いときは、より包括的、抽象的な情報が選択されるようにして、高度が低くなるにしたがって、より個別的、具体的な情報が選択されるようにする。また、指の水平位置によってその階層における選択枝が順次選択されるようにする。そして、高度が０になって所定時間経過したとき、あるいは、受発光素子が配設されている基盤の下に設けられているタクトスイッチを当該基盤を介して押下することによって最終的なメニューを実行するようにする。
【００５４】
図４は、上述の如く高度に基づいてメニュー画面を階層的に定義した場合の、メニュー選択操作の説明図である。本実施の形態において、図４（ａ）は、図４（ｅ）のｚ４の高度におけるメニューであり、地図が表示される場合の例である。このメニュー画面から「千葉」を選択する場合は、このメニュー画面が表示されている際に指を右下の方向に向けながら降ろして行くことで可能である。下方にこのデータ入力装置に上部から指などの物体を下部に降ろしていくとある特定の高度に達した時に「千葉」が選択され、次に「千葉」の地図が表示され、その指の高度に応じて地図が拡大されたり、縮小されたりする。選択した「千葉」の地図を表示しながら、さらに指の高度を下げていることで画面を拡大することができる。
【００５５】
図４（ｂ）のメニュー画面に次に高度が低くなった図４（ｅ）のｚ５の高度で表示される画面である。この高度にて「浦安市」を選択するには上記と同様に指を左下向きで下方に降ろして行くことである定められた高度になった時に選択することができる。図４（ｃ）は、「浦安市」を選択した時の画面である。さらに指を降下させていくと地図画面が拡大表示されながらｚ６の高度にて図４（ｄ）の画面に示すように「コピー」、「切り取り」、「貼り付け」などのメニューが表示され、指を２次元的方向に動かすことでメニューから選択することができる。なお、図４（ａ）では４つの方向性で選択ができ、図４（ｂ）では９つの方向性で選択ができることを意味している。
【００５６】
図５は図４に示す高度ｚ４、ｚ５、ｚ６で表示するメニュー画面の階層化された構造と指位置の関係を示す図である。本実施の形態での画面表示は地図の画面表示の例であり、最初の地図として日本地図から始まり、「東北地方」、「関東地方」などの地方の地図の表示から、さらに「関東地方」の場合は、「東京」、「埼玉」、「千葉」などの県の地図がその配下に構成される。同様に「千葉」県の配下には「野田市」、「千葉市」、「浦安市」などの市の地図があり、さらに「浦安市」などの市の配下には「浦安市の詳細地図」などから構成され、最後に「コピー」、「切り貼り」、「貼り付け」などのメニューが続いている。指がデータ入力装置３のパッド３１４に接触したときは、詳細地図が選択され、さらにパッドを押すことによって図２３の如く構成された基盤３１６の下に設けられたタクトスイッチ３１５を押下することによって、当該選択画面におけるメニュー項目（コピー等）が表示される。そして、接触した状態で指を所望のメニューに移動して、タクトスイッチの２度目の押下によって、メニュー項目が実行される。なお、最終メニューの表示は、接触した状態で所定時間経過によって表示されるようにしても良い。
【００５７】
図５のデータ構成例を図１０に示す。高度ごとに選択可能なメニューが画面情報などの「コピー」、「切り取り」、「貼り付け」なども含めて定義されている。
【００５８】
第１の実施の形態におけるデータ入力装置３および情報機器１は以上のように構成され、以下にその動作をフローチャートなどを用いて詳述する。
［１． 反射光の受光内容の記憶］
【００５９】
図１１は、データ入力装置３もしくは情報機器１にて行われる反射光の受光量などの記憶を行う「受光内容記憶ルーチン」の動作の処理手順を示すフローチャートである。本動作はデータ入力手段３内の受光内容記憶手段３３３、または図示していない情報機器１内の情報登録手段が行う動作であり、以下図１１を用いて処理を説明する。受光内容記憶ルーチンは、例えば図３に示す受光タイミングなどにより周期的に起動し、例えばハードウェアの情報をスキャンするなどにて受光量を取得する。
【００６０】
もしくは、予め定めた周期にて起動され、同一セル内の発光タイミングの時の受光量データであるかどうかを確認する（Ｓ１１１）。同一セル内の発光素子３１１の発光タイミング時の受光量データであった場合は、スキャンした受光量を同一セル内の発行素子３１１の欄に保存し（Ｓ１１２）、処理を終了する。同一セル内の発光素子の発光タイミングではなかった場合は、次の隣接するセル内の発光素子の発光タイミングであるかを判定するために「ｎ」を初期化して「１」とし（Ｓ１１３）、隣接する発光素子の発光タイミングであるか判定する（Ｓ１１４）。
【００６１】
発光タイミングが合致した場合は、スキャンした受光量を隣接する発光素子＃ｎの欄に登録し（Ｓ１１７）、処理を終了する。合致しない場合は、全ての対象の発光素子の処理が終了したか判定する（Ｓ１１５）。全ての対象の発光素子の処理が終了した場合は何もせずに処理を終了する。終了していない場合は、「ｎ」をインクリメントし（Ｓ１１６）、ステップＳ１１４に戻り上記処理を全ての発光素子の処理が終了するまで繰り返す。上記手順にて一つのセル内の受光素子３１２が受光した発光素子３１１の受光量の測定を行うことができる。上記動作をデータ入力装置３上の全ての受光素子３１２にて行うことで入力を指定する物体の反射光の測定を行うことができる。
【００６２】
測定した受光量はデータ入力を指示する指の位置に一番近いセルの受光素子の受光量が多く、次に隣接する受光量が多く、次またその次に隣接するセルの受光量は大幅に少なくなり、指の輪郭が分かるような受光量の分布となる。これによりデータ入力を指示する指の輪郭を捉えることができ、重心を特定することが可能となる。
［２． 物体の位置特定、高度の算出、２次元の移動量算出、３次元の移動量算出］
【００６３】
図１２は、データ入力装置３のメインルーチンの動作の処置手順を示すフローチャートである。図１２に示すデータ入力装置３のメインルーチンは、図１１と同じ周期で動作しても良いが、別の周期にて動作しても良い。図１２は、データ入力の指示を行う指などの物体による発光素子からの反射光を受光素子が受光した受光量を基に物体の位置情報、相対移動量などを算出し、情報機器に通知する動作の処理手順を示すフローチャートである。
【００６４】
まず、受光した生データをそのまま通知するのかどうかをシステムに記憶している記載していないデータを用いて判定する（Ｓ１２１）。受光量の生データを通知する場合は、位置情報通知ルーチンを起動（Ｓ１２２）して、処理を終了する。その後の位置情報や相対移動量の算出は情報機器側にて行うものである。
【００６５】
生データではなく加工したデータを通知する場合は、「物体位置特定ルーチン」（Ｓ１２３）を起動することで物体の位置情報を算出し、次に「物体高度算出ルーチン」（Ｓ１２４）を起動することで物体の高度の相対移動量を算出し、次に「２次元移動量算出ルーチン」（Ｓ１２５）を起動することで２次元的な移動量を算出する。
【００６６】
次に高度・２次元情報の通知を行うかどうかを前述のようにシステムに記憶しているデータを参照して判定する（Ｓ１２６）。位置情報を通知する場合は、算出した位置情報と、高度および２次元的な移動量を「位置情報通知ルーチン」（Ｓ１２９）を起動することで情報機器に通知し処理を終了する。
【００６７】
３次元的な移動を通知する場合は、次に「物体移動情報特定ルーチン」（Ｓ１２７）を起動することで物体の３次元的な移動における３次元ベクトル量を算出し、次に「位置情報通知ルーチン」（Ｓ１２８）を起動することで情報機器に通知し処理を終了する。
【００６８】
このように、上記実施の形態では、データ入力装置にて入力を指示する物体の受光量を取得して、取得した情報を情報機器にそのまま通知して、情報機器側で物体の位置情報、相対高度移動量などの特定を行うことが可能である。さらにデータ入力装置にて受光素子が取得した受光量により位置情報を算出して、算出した位置情報を情報機器に通知して、情報機器側では受信した位置情報を用いて処理を行うことが可能である。さらにデータ入力装置にて物体の相対移動量を算出して情報機器に通知し、情報機器側では取得した相対移動量を用いて処理することが可能である。
【００６９】
図１３は、入力を指示する物体の位置情報を特定する「物体位置特定ルーチン」の処理の動作手順を示すフローチャートである。本動作は物体位置特定手段３３４が行う動作であり、以下図１３を用いて処理を説明する。まず取得した受光内容データ３４１により起動時点での物体の位置を求めるために同一セル内の対の発光素子３１１および隣接する発光素子のいくつかのデータを取得する（Ｓ１３１）。
【００７０】
次に、取得した対の発光素子３１１および隣接する発光素子３１１の受光量などのデータを用いて前述の３次元位置の演算方法、推定方法を用いて、物体の位置情報（Ｘ軸値、Ｙ軸値、Ｚ軸値）を求める（Ｓ１３２）。算出した物体の位置情報を位置情報成分などデータ３４２に保存（Ｓ１３３）して処理を終了する。
【００７１】
図１４は、「物体高度算出ルーチン」、「２次元移動量算出ルーチン」、「物体移動情報特定ルーチン」の動作の処理手順を示すフローチャートである。本動作は、物体高度算出手段３３６、２次元移動量算出手段３３７、物体移動情報特定手段３３８が行う動作である。
【００７２】
以下図１４を用いて処理を説明する。
まず、位置情報成分などデータ３４２より、今回の高度から前回の高度の差分を算出する（Ｓ１４１）。算出した値を高度移動量として位置情報成分などデータ３４２の「高度相対移動量」の欄に登録する（Ｓ１４２）。上記ステップＳ１４１〜Ｓ１４２は、「物体高度算出ルーチン」が行う動作である。次に、位置情報成分などデータ３４２より、今回のＸ軸値とＹ軸値から前回のＸ軸値とＹ軸値の成分の差分を求める（Ｓ１４３）。算出した値を２次元移動量として位置情報成分などデータ３４２の「２次元相対移動量」の欄に登録する。上記ステップＳ１４３〜Ｓ１４４は、「２次元移動量算出ルーチン」が行う動作である。
【００７３】
次に、位置情報成分などデータ３４２を用いて今回と前回の（Ｘ軸値、Ｙ軸値、Ｚ軸値）の差分を取りその大きさを求め（Ｓ１４５）、算出した値を物体の移動量として位置情報成分などデータ３４２の「移動量」の欄に登録（Ｓ１４６）して処理を終了する。
［３． 位置情報などの通知］
【００７４】
図１５は、データ入力装置３が物体の位置情報などを通知する「位置情報通知ルーチン」および情報機器１が行う「高度情報受信ルーチン」、「２次元移動情報受信ルーチン」、「移動ベクトル量受信ルーチン」、「位置情報受信ルーチン」の動作の処理手順を示すフローチャートである。上記「位置情報通知ルーチン」はデータ入力装置３内の位置情報通知手段３３５が行う動作であり、「高度情報受信ルーチン」、「２次元移動情報受信ルーチン」、「移動ベクトル量受信ルーチン」、「位置情報受信ルーチン」はそれぞれ、情報機器１内の高度情報受信手段１３３、２次元移動情報受信ルーチン１３５、移動ベクトル量受信ルーチン１３７、位置情報受信ルーチン１３Ａが行う動作である。以下図１５を用いてその処理を説明する。
【００７５】
「位置情報通知ルーチン」は周期的に起動され、まず各セルの受光素子が受光した受光量をそのまま通知するかどうかを記載していないが内部に有する登録されているデータを用いて判定する（Ｓ１５１ｂ）。受光量を通知する場合は、ステップＳ１５９ｂに進み、各セルの受光した受光量情報を「位置情報成分などデータ」より取得し送信しステップＳ１５８ｂへ進む。受光量情報を通知しない場合（Ｓ１５１ｂのｎｏのルート）は、まず物体の高度の情報を位置情報成分などデータ３４２より取得してバッファへ積み込む（Ｓ１５２ｂ）。
【００７６】
次に同様に２次元の移動量と３次元の移動量を位置情報成分などデータ３４２より取得してバッファに積み込み（Ｓ１５３ｂ、Ｓ１５４ｂ）、高度・２次元情報通知を通知する設定になるかを判定し（Ｓ１５５ｂ）、通知する設定になっている場合は、バッファに積み込んだ高度・２次元移動量を情報機器１に通知し（Ｓ１５６ｂ）、ステップＳ１５８ｂへ進む。異なる場合は、バッファに積み込んだ高度・２次元移動量・３次元移動量を通知する。
【００７７】
位置情報などを受信（Ｓ１５１ａ、Ｓ１５２ａ、Ｓ１５３ａ）した情報機器１は、情報機器１内の位置情報成分などデータ１４２の対応するエリアに受信した内容を保存し（Ｓ１５４ａ）、受信成功通知を送信し（Ｓ１５５ａ）、処理を終了する。受信成功通知を受信したデータ入力装置３は処理を終了する（Ｓ１５８ｂ）。
【００７８】
上記の動作にて、各セルが受光した受光量そのもの、データ入力装置３側で算出した位置情報、高度の相対移動量・２次元相対移動量、もしくは３次元的な移動量などを情報機器１に通知する。情報機器１が受光量のみを受信する場合や位置情報のみの情報を受信する場合は、必要な情報は情報機器１が算出することになる。
［４． メニュー画面の表示］
【００７９】
図１６は、情報機器１で行われるデータ入力に係わるメインルーチンの動作の処理手順を示すフローチャートである。本メインルーチンは周期的に起動され、入力を指示する物体の移動量と、メニュー画面の高度などになったことなど逐一判定し、画面を拡大・縮小したり、カーソルを移動したり、メニュー画面を表示したりするものである。
【００８０】
起動されるとまず、メニュー画面データ１４３を読み込み（Ｓ１６１）、メニューの切り替え部分（高度）に達したかを判定する（Ｓ１６２）。メニューの切り替え部分に達した場合は、「メニュー画面表示ルーチン」を起動（Ｓ１６３）して処理を終了する。メニュー切り替えの部分（高度）に達してない場合は、カーソル操作部分（高度）に達しているかを判定し（Ｓ１６４）、達している場合は「カーソル移動ルーチン」を起動（Ｓ１６５）して処理を終了する。
【００８１】
カーソル操作部分（高度）に達していない場合は次に、メニュー画面の表示選択部分（高度）に達したかを判定し（Ｓ１６６）、達している場合は「メニュー画面項目選択ルーチン」を起動（Ｓ１６７）して処理を終了する。メニュー画面項目選択の部分（高度）に達していない場合は、画面拡大縮小表示の部分（高度）に達しているかを判定し（Ｓ１６８）、達している場合は「画面拡大縮小表示ルーチン」を起動（Ｓ１６９）して処理を終了する。
【００８２】
以上の動作によってデータの入力を指示する物体の検知した移動量などにて画面の拡大縮小、カーソルの移動、メニュー画面の選択、メニュー画面の表示などを行うことができる。
【００８３】
図１７は、メニュー画面の表示を行う「メニュー画面表示ルーチン」の動作の処理手順を示すフローチャートである。本動作は情報機器１のメニュー画面表示手段１３４が行う動作であり、以下図１７を用いて処理を説明する。まず、メニュー画面データ１４３より高度に合ったメニュー画面を抽出し（Ｓ１７１）、抽出したメニュー画面を作成し画面上の表示されるように指示する（Ｓ１７２）。次に今の高度においてメニュー選択画面を表示したことを図示していないデータエリアに保存し処理を終了する（Ｓ１７３）。
［５． カーソルの移動］
【００８４】
図１８は、情報機器１の画面上のカーソルを移動する「カーソル移動ルーチン」の動作の処理手順を示すフローチャートである。本動作は情報機器１内のカーソル移動手段１３６が行う動作であり、以下図１８を用いて処理を説明する。まず、前回の位置の２次元成分を取得し（Ｓ１８１）、さらに今回の位置の２次元成分を取得する。（Ｓ１８２）。次に前回と今回の位置の差分に移動量と移動方向の２次元成分を取得する（Ｓ１８３）。次に、取得した移動量および移動方向の２次元成分に合致する移動量および方向に対して画面上のカーソルを移動する。
［６． メニュー画面項目の選択］
【００８５】
図１９は、メニュー画面に表示された項目を選択する「メニュー画面項目選択ルーチン」の動作の処理手順を示すフローチャートである。本動作は情報機器１のメニュー画面項目選択手段１３８が行う動作であり、以下図１９を用いて処理を説明する。まず、現時点で表示している画面上のメニューの項目を取得する（Ｓ１９１）。次に高度が選択基準値を超えたかどうかを判定し（Ｓ１９２）、越えていない場合は処理を終了する。
【００８６】
越えている場合（Ｓ１９２のｎｏのルート）は、現時点で選択しているメニューの項目を選択項目とし（Ｓ１９３）、選択された画面の表示を行い処理を終了する（Ｓ１９４）。
［７． 画面の拡大・縮小表示］
【００８７】
図２０は、情報機器１の画面上に表示されている画面の拡大・縮小を行う「画面拡大縮小表示ルーチン」の動作の処理手順を示すフローチャートである。本動作は情報機器１内の画面拡大縮小手段１３９が行う動作であり、以下図２０を用いて処理を説明する。まず、前回の位置の垂直成分の移動量を取得し（Ｓ２０１）、次に今回の位置からの移動量の垂直成分を取得する（Ｓ２０２）。
【００８８】
次に、前回からの移動量の垂直成分の大きさに従って表示している画面の大きさの拡大率もしくは縮小率を算出し（Ｓ２０３）、算出した拡大率もしくは縮小率にて表示する画面を作成し画面表示を行う（Ｓ２０４）。以上の動作にて画面の拡大縮小を行う。
本発明による第１の実施の形態は以上のように構成され動作する。
【００８９】
本発明によれば、平面状のデータ入力装置と指し棒や指などの特殊ではない物体を用いて３次元的な広がりがある画面情報にデータ入力を行ったり、３次元上の位置を指定したり、選択メニューを選択したり、画面上でカーソルを移動したり、画面を拡大・縮小したりすることを容易にできるので、操作者は安いコストで３次元画像の指定または操作などを容易に行うことが可能となる。
【００９０】
なお、上記の説明では、３次元位置情報のうち、水平成分をカーソル移動の機能に割り付けて、説明したが、水平成分を画面スクロール機能に割付け、垂直成分を画面の拡大・縮小機能に割り付けることによって、たとえば、図２５に示すように、指位置を近づけることによって、画面を徐々に拡大しつつ、所望の位置へ到達することができる。図２５では、図２５（ａ）のＡ位置の拡大図を見る場合の説明図である。当初は縮小画像で全体を把握しながら（図２５（ａ））、指をデータ入力装置へ近づけながら、水平方向についても所望の方向へ指を移動する（図２５（ｂ））。これにより、所望位置が画面中央になるように制御される。ユーザは、最終的に、画面の所望位置の拡大図を見ることができるのである（図２５（ｃ））。
【００９１】
また、メニュー選択用のアイコンを指の高度によって、そのサイズを拡大・縮小するようにしてもよい。たとえば、図２６（ａ）に示すように、指が高い位置にいるときは、アイコンを小さく表示し、選択可能なメニュー全体が見られるようにして、指の高さが低くなるにしたがって、アイコンの表示が拡大し、かつ上記図２５で説明したように、指の水平方向の動きに伴って所望の方向へ中心位置が移動していくようにする。この機能は図２０のステップＳ２０３の処理をアイコンに適用することによって実現できる。このようにすれば、指の高さが高いときは一画面内の情報量を多くすることができるので、ユーザは全体を見渡せることができ、指の高さが低くなるに従って所望のアイコンが拡大表示されるのでユーザの選択ミスを防止することができる。また、ユーザはクリックによってメニューの階層を切替える必要がないので操作性が向上する。なお、図２６は、ディスプレイとデータ入力装置３のパッド３１４とが一体となった図であるが、それぞれ分離された構成であっても有効であることは言うまでもない。
【００９２】
次に第２の実施の形態について以下に説明する。第１の実施の形態ではデータ入力を指示する物体である指の絶対高度によりメニュー画面の選択、画面の拡大および縮小を行っているが、第２の実施の形態では、相対的な高度・２次元移動量・３次元移動量を用いて動作を行うものである。
【００９３】
図示していないが、図１０においてｚ１〜ｚ６が絶対的な高度ではなく、基準点からの相対的な高度を示すものとする。高度・２／３次元的な移動量にてメニューの表示を行い、カーソルの移動などを行う。カーソルの移動については第１の実施の形態においても相対量で動作を規定していたが、高度においても相対的な高度を用いて第１の実施の形態の地図情報を表示することが可能である。
【００９４】
本実施の形態によれば、データ入力を指示する物体の相対的な移動量および移動方向によりカーソルを物体の移動方向に向かって物体の移動量に従って移動させたり、画面そのものを移動方向に移動量に従って移動させたりでき、さらにアプリケーションによっては３次元的な移動方向と移動量の相対値にてデータの入力を行ったり、指示したりすることができるので、３次元的な画像をなどを取り扱う様々なアプリケーションに対応することができる。
【００９５】
なお、物体の移動量を計測することで、物体の移動速度および加速度を算出することが可能であるが、これらの値を用いて画面スクロールの速度を速めたり、スクロールの幅を大きくしたり、画面の拡大および縮小表示の表示割合の大きさを変更したりするなどの処理が可能である。また、本実施の形態では高度をデータ入力装置からの垂直な高さと定義しているが、３次元的な任意の基準面を設けて、その基準からの高度および２次元の緯度量を算出し画面の制御を行うことも可能である。
【図面の簡単な説明】
【００９６】
【図１】指にて本発明のデータ入力装置を操作する場合の例を示す図である。
【図２】本発明の第１の実施の形態に係わるデータ入力装置の動作原理図および構成図である。
【図３】本発明の第１の実施の形態に係わるデータ入力装置の発光素子と受光素子が行う、発光および受光のタイミングを示す図である。
【図４】本発明の第１の実施の形態に係わるデータ入力装置と指（物体）を用いて、高度および移動方向により画面の拡大・縮小、メニュー表示と選択を行う一連の図である。
【図５】本発明の第１の実施の形態に係わる高度または相対高度により表示される階層化されたメニュー画面を示す図である。
【図６】本発明の第１の実施の形態に係わるデータ入力装置および情報装置の機能ブロック図である。
【図７】図６の受光内容データのデータ構成例である。
【図８】図６の位置情報成分などデータのデータ構成例である。
【図９】図６のメニュー画面データのデータ構成例である。
【図１０】図６のメニュー画面データのデータ構成例である。
【図１１】図６の受光内容記憶手段が行う動作の処理手順を示すフローチャートである。
【図１２】図６のデータ入力装置のメインルーチン動作の処理手順を示すフローチャートである。
【図１３】図６のデータ入力装置の物体位置特定手段が行う動作の処理手順を示すフローチャートである。
【図１４】図６の物体高度算出手段、２次元移動量算出手段、物体移動情報特定手段が行う動作の処理手順を示すフローチャートである。
【図１５】図６のデータ入力装置内の位置情報通知手段、および情報機器内の高度情報受信手段、２次元移動情報受信手段、移動ベクトル量受信手段、位置情報受信手段が行う動作の処理手順を示すフローチャートである。
【図１６】図６の情報機器のメインルーチンの動作の処理手順を示すフローチャートである。
【図１７】図６の情報機器のメニュー画面表示手段が行う動作の処理手順を示すフローチャートである。
【図１８】図６の情報機器のカーソル移動手段が行う動作の処理手順を示すフローチャートである。
【図１９】図６の情報機器のメニュー画面項目選択手段が行う動作の処理手順を示すフローチャートである。
【図２０】図６の情報機器の画面拡大縮小表示手段が行う動作の処理手順を示すフローチャートである。
【図２１】図６のデータ入力装置に保存される高度情報テーブルである。
【図２２】図２１の高度情報テーブルの他の例である。
【図２３】図６の入力装置の発光素子、受光素子部と実行スイッチの構成図である。
【図２４】本発明の実施の形態における補間関数の一例を示す図である。
【図２５】本発明の実施の形態における指動作と画面表示の関係の説明図である。
【図２６】指の高度に応じてアイコンを選択しやすくする方法の説明図である。
【符号の説明】
【００９７】
１ 情報機器
３ データ入力装置
９ 指（指示手段）
１２、３２ 送受信部
１３、３３ 中央演算処理部
１４、３４ 記憶部
１５、３５ 入力部
１６ 表示部
１３１、３３１ 送受信処理手段
１３２、３３２ 入出力処理手段
１３３ 高度情報受信手段
１３４ メニュー画面表示手段
１３５ ２次元移動情報受信手段
１３６ カーソル移動手段
１３７ 移動ベクトル量受信手段
１３８ メニュー画面項目選択手段
１３９ 画面拡大縮小表示手段
１３Ａ 位置情報受信手段
１３Ｂ 位置・移動量特定手段
１４１、３４１ 受光内容データ
１４２、３４２ 位置情報成分などデータ
１４３ メニュー画面データ
３１１ 発光素子
３１２ 受光素子
３１３ 遮光壁
３１４ 遮光しないガラス（パッド）
３１５ スイッチ部（タクトスイッチ、実行ボタン）
３１６ 基盤
３３３ 受光内容記憶手段
３３４ 物体位置特定手段
３３５ 位置情報通知手段
３３６ 物体高度算出手段
３３７ ２次元移動量算出手段
３３８ 物体移動情報特定手段
Ｆ３１ 光源１の点灯パターン
Ｆ３２ 光源２の点灯パターン
Ｆ３３ 受光素子が読むタイミング
Ｆ４１ 画面上の枠
ｚ４ データ入力装置からの距離
ｚ５ データ入力装置からの距離
ｚ６ データ入力装置からの距離
【技術分野】
【０００１】
本発明は、画面表示への指示を３次元的に行うことを可能とするデータ入力装置、データ入力装置からの情報により画面制御を行う情報機器、情報機器の画面の制御方法および情報入力プログラムに関し、高度により階層化されたメニュー画面を指などの物体の高度を測定することにより表示を行い、そのメニュー画面に達した時に物体が動く方向によりメニューを選択し、また高度により画面を拡大・縮小表示したり、さらにカーソルの制御を行ったりすることを可能とするデータ入力装置、情報機器、およびデータ入力方法に関する。
【背景技術】
【０００２】
例えばパソコンなどの画面入力・表示を行うためにパソコンに指示する装置としてマウス、タッチパッド（トラックパッドとも言う）、スティック型ポインタ、およびトラックボールなどがある。上記４つの装置は、それら機器を使用する人などの２次元的な動作指示である、例えばマウスを使用する場合はマウスパッド上で２次元的にマウスを動かすことに連動して画面の表示を行うように、利用しているパソコンのソフトウェアに指示を行うように構成されている。また３次元的にコンピュータに動作指示を行うデータ入力装置として、データグローブやデータスーツ、サイバーグローブと呼ばれる手振りや身ぶりを使って入力するデバイスなども存在するが、体に装着する必要があり、手間であり、大変であった。
【０００３】
また、従来の電力使用量の監視として、特許文献１では、電子機器などを操作するための情報入力装置に関し、また、入力された画像から重心を抽出する画像処理方法に関する技術を提案している。特許文献２は、物体による反射光を獲得し入力情報を抽出する固体撮像装置についての技術を提案している。
【特許文献１】特開平９−９１０７９号公報
【特許文献２】特開２０００−２２２０９７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし従来行っている、２次元のポインティングデバイスであるデータ入力装置を用いて３次元の画面制御を行うのは直感的ではなく容易ではなかった。また、３次元の指定を行うのにデータグローブやデータスーツ、サイバーグローブなどの専用の装置を体に装着して作業を行うのは大変であり、簡単な３次元の作業を行うには非現実的であった。またコストも高くなり一般の人が容易に使用できるように普及するのは困難であった。
【０００５】
また、上記特許文献１および特許文献２で提案されている技術では、物体の反射光を測定して手や指の位置および形の特定を行っているが、反射光の絶対強度を用いるため精度が低く、また測定したデータを用いて、表示画面の拡大・縮小などを行うことを目的としたものではないので、データ入力を行う物体の高度により画面にいかに表示したり、メニューを選択するかについての記述が無い。
【０００６】
本発明は、上述のかかる事情に鑑みてなされたものであり、複数光源の反射光の相対強度を用いて計測精度を向上させた独自の２次元的なタッチパッドを用いて、指などのポインタの高度や移動方向を取得して容易に３次元的に階層化されたメニューや方向性を有した指定を可能とし、高度により画面の拡大・縮小を行うデータ入力装置、情報機器、情報入力方法、画面表示方法、情報入力プログラム、および画面表示プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明に係わるデータ入力装置は、３次元的に空間を移動する指や指し棒などの指示手段の位置情報を計測して、コンピュータの制御内容あるいは表示画面に出力される表示内容を指定するためのデータ入力装置であって、指向性を有する発光手段と受光手段との対を複数具備し、前記受光手段の夫々は複数の発光手段から発せられ前記指示手段によって反射された光を取り込んで受光強度を測定し、少なくとも２以上の発光手段に対応する受光強度の相対的関係に基づいて前記指示手段の３次元位置を演算することを特徴とする。
【０００８】
本発明では、各受光手段が、発光手段により複数地点から発光され指などによって反射された光を受光し、その受光強度の相対比率によって指の位置を特定する。
【０００９】
なお、指向性の実現方法として、発光手段自体をレーザなどの指向性のある発光素子を用いても良いし、発光手段と受光手段の対を外壁で囲むようにして、特定の方向あるいは範囲にしか光が行かないようにしても良い。
【００１０】
また、本発明に係わるデータ入力装置では、前記複数の発光手段のうち少なくとも２以上の発光手段は、発光時間と非発光時間からなりそれぞれ異なる発光タイミングで発光し、前記受光手段は、該タイミングの違いによって発光手段を特定し、かつ、発光時間における受光強度と非発光時間における受光強度の差分を演算することによって外来光の影響を除去することを特徴とする。
【００１１】
本発明では、複数の発光手段を一定の周期で発光させる。このとき近傍の発光手段はそれぞれ異なる位相で発光するようにする。これにより各受光手段は、対となっている発光手段からの光か、近傍の発光手段からの光なのか等、発光手段を特定することができる。さらに、各発光手段は割り当てられたタイミング（位相）の中で光を発している時間（発光時間）と光を発していない時間（非発光時間）を持つことにより、両時間帯にサンプリングした受光量の差分を演算して外来光（ノイズ）を除去することによって、発光手段による光の反射光の強度を精度良く測定することができる。
【００１２】
このとき、得られる受光強度の離散データを用いて補間関数を演算し、指示手段の３次元位置を推定するようにすると良い。
【００１３】
また、前記特定された物体の位置情報の推移より、物体の移動方向と移動速度を特定するベクトル量を特定する物体移動情報特定手段とを備え、前記位置情報通知手段は、前記特定した物体の移動量のベクトル量を外部に通知するように構成するのも好ましい。
【００１４】
本発明では、データ入力を行う物体の３次元的な移動を示すベクトル量を算出し、外部に通知することができるので、通知を受けた情報機器などは３次元的に広がった場所の指定やデータ入力の指示などを行うことができる。なお、この物体移動情報特定手段は、コンピュータ側に設けることもできるが、データ入力装置側に設けるようによって、コンピュータの負荷を軽減することができる。
【００１５】
また、本発明に係わる情報機器は、外部より通知される指や指し棒などの指示手段の３次元位置情報によって、コンピュータの制御内容あるいは表示画面に出力される表示内容を決定する情報機器であって、前記３次元位置情報の高度成分に基づいて画面の拡大・縮小または階層化されたメニュー項目の選択を行うと共に水平成分に基づいて表示内容の中心位置を移動することを特徴とする。指をデータ入力装置へ近づけることによって即座に最終項目の選択ができ、また、都度クリックして項目を選択するのに比べて全体を簡単にサーチすることができる。
【００１６】
ここで、「画面の拡大・縮小・・・」における「画面」とは、ディスプレイに表示される画像、メニューアイコン、その他の情報を意味する。
【００１７】
また、本発明に係わる情報機器は、外部より通知される指や指し棒などの物体（指示手段）の移動量の垂直成分または高度情報により機器の画面にメニュー画面などを表示する手段を備えた情報機器であって、物体の移動量の垂直成分または高度を受信する高度情報受信手段と、予め定めた高度、または直前に行ったメニュー画面表示からの相対高度に対応して予め定めたメニュー画面データと、受信した高度が前記予め定めた高度、または相対高度に達した時、前記メニュー画面データより表示するメニュー画面を抽出し、前記抽出したメニュー画面を表示するメニュー画面表示手段と、を備えたことを特徴とする。
【００１８】
本発明では、外部より通知されるデータ入力の指示としての物体の移動量の垂直成分または高度そのものの値により、高度もしくは相対高度により予め定めたメニュー画面を抽出し表示することができるので、データ入力装置に対して垂直成分の移動量により定義されるメニュー画面表示などの機能を実現することができる。
【００１９】
また、本発明に係わる情報機器は、外部より通知される指や指し棒などの物体の移動量の水平成分により機器の画面に表示されるカーソルの位置を特定する手段を備えた情報機器であって、物体の移動量の水平成分を受信する２次元移動情報受信手段と、前記受信した物体の移動量の水平成分により機器の画面上のカーソルの移動を行うカーソル移動手段と、を備えたことを特徴とする。
【００２０】
本発明では、外部より通知されるデータ入力の指示としての物体の移動量の水平成分の値により、カーソルを移動するなどの２次元的な作業を連動して行うことができるので、２次元成分を利用した画面表示を容易に行うことができる。画面中央から物体の位置までのベクトル情報によって、カーソルの移動方向および移動速度を決定するようにすると良い。すなわち、ベクトルの向きによってカーソルの移動方向を決定し、ベクトルの大きさによって移動速度を決定するのである。さらに、高度成分を加えて、３次元ベクトルとして、階層化された項目間の移動、あるいは画面の拡大・縮小をベクトルの大きさに基づいて決定される速度で行うようにしても良い。
【００２１】
本発明では、メニュー画面などを階層構造を持たせて構成させることができるので、２次元的および３次元的な広がりを有する画面にてその方向性にて異なるメニューを定義したり、そのメニューの項目の指定などをデータ入力を指示する物体の３次元的な移動によって行うことができるので、メニュー画面に２次元的および３次元的な広がり感を持たせることが可能となる。
【００２２】
また、本発明に係わるユーザインタフェース方法は、上記のデータ入力装置を用いて３次元的に空間を移動する指や指し棒などの指示手段の位置情報を計測して、コンピュータの画面に出力される表示内容を指定するユーザインタフェース方法であって、コンピュータに予め表示倍率と前記指示手段の３次元位置情報の高度成分との対応関係を保存しておき、前記データ入力装置から入力される前記指示手段の高度情報に基づいてコンピュータ画面上に表示すべき内容を前記対応関係による所定の倍率で表示し、かつ、前記３次元位置情報の水平成分の画面中心位置からのずれの方向および大きさ演算して、当該ずれの方向へ当該ずれの大きさに基づく速度で画面をスクロールすることを特徴とする。
【００２３】
上記目的を達成するため、本発明に係わる情報入力プログラムは、指や指し棒などの物体を３次元的に空間を移動させることでパソコンなどの表示画面に表示される内容を指定したり、表示を変更したりする情報入力装置上で動作するプログラムであって、外壁が遮光物によって形成され、一対の発光素子と受光素子を備えたセルが２次元的に配置されて成るデータ入力装置の前記発光素子の発光タイミングは、少なくとも隣接する他のセルの発光タイミングとは異なり、前記受光素子の受光タイミングは、少なくとも同一セル内の発光素子の発光タイミングと他のセル内の発光素子の発光タイミングを含んだ間隔で行われ、前記受光素子は、少なくとも前記同一セル内の発光素子の反射光および、前記他のセル内の発光素子からの反射光を受光する場合に、前記受光した受光量を記憶する受光内容記憶処理と、前記受光した受光量と同一セル内の受光量と他のセル内の受光量の相対比率により前記物体の３次元の位置情報を特定する物体位置特定処理と、特定した前記位置情報を外部に通知する位置情報通知処理と、を情報入力装置上で動作させることを特徴とする。
【００２４】
上記目的を達成するため、本発明に係わる情報入力プログラムは、外部より通知される指や指し棒などの物体の移動量の垂直成分または高度情報により機器の画面にメニュー画面の表示、または画面の拡大・縮小表示を行う情報装置上で動作するプログラムであって、物体の移動量の垂直成分または高度を受信する高度情報受信処理と、予め定めた高度または直前に行ったメニュー画面表示からの相対高度に対応して予め定めたメニュー画面データを用いて、受信した高度が前記予め定めた高度または相対高度に達した時、前記メニュー画面データより表示するメニュー画面を抽出し、前記抽出したメニュー画面を表示するメニュー画面表示処理と、を情報装置上で動作させることを特徴とする。
【発明の効果】
【００２５】
本発明によれば、画面情報として３次元的な広がりを有する画面のメニューの指定や方向性を有した情報を用いた画面上の指定を操作者が専用の装置などを装着すること無く容易に行うことができる。
【発明を実施するための最良の形態】
【００２６】
以下、本発明の実施の形態を説明する。図１は、本発明であるデータ入力装置とポインタである指などの物体との位置関係などを示す図である。データ入力装置からの位置をＸ軸、Ｙ軸、Ｚ軸の位置である（ｘ，ｙ，ｚ）で表現しその値の遷移を３次元的な画像などの指定やメニューの指定などに用いる。
【００２７】
図２は、本発明のデータ入力装置がポインタである指などの物体の位置を特定する原理を示す図である。図２（ａ）は、データ入力装置の断面図であり、図２（ｂ）は上面図である。３次元的な位置情報を取得するために光の反射光を利用するものであり、遮光壁３１３に囲まれた１つのセル内に発光素子３１１と受光素子３１２とを配置しそのセルの上部は光が通過するガラスなどの蓋３１４で覆われている。また、下部には、データ入力装置３の底部と非接触にて設けられ、指を蓋３１４に接触させて押下することにより接触することで押下を判定するためのスイッチ部３１５も設けられている。なお、便宜上図中の指のサイズに比べて発光素子３１１、受光素子３１２のサイズを大きく表している。
【００２８】
セルは、隣同士が遮光壁で区切られているため、セルの上部を例えば指などで覆ってしまうと発光素子３１２からの光は指で反射してその反射光は同じセル内の発光素子３１１からのみ届くが、指を上部へ上げていくと隣接するセルの発光素子３１１からの反射光も受光することになる。このように、指の高さに応じて変化する異なる発光素子の反射光量を用いることが本発明の特色の一つである。
【００２９】
なお、セル同士は本実施の形態では図２（ｂ）のように格子状に配列しているが大きさが異なっていたり、たとえば八角形で有ったりしても良い。
【００３０】
図３は、セル内の発光素子３１１（１，１）とその隣接する発光素子３１１（１，２）、さらにその隣の発光素子３１１（１，３）の発光タイミングと、セル内の受光素子３１２（１，１）の受光タイミングを示した図である。これら近傍のセルの発光タイミングは異なっており、受光素子３１２が受光するタイミングは自セルの発光素子の発光タイミングと近傍発光素子の発光タイミングを含んでおり別々のタイミングにて自セルの発光素子の反射光と近傍のセルの発光素子の反射光を受光し、反射光の受光量の大きさなどにより物体のＸ軸・Ｙ軸・Ｚ軸の位置情報を算出する。また、発光素子は、割り当てられた発光可能時間（発光タイミング）の全ての時間を発光させるのではなく、発光時間と非発光時間を持たせる。そして、受光素子は、この発光時間と非発光時間の受光量の両方を計測して、その差分をとり、これを当該発光素子による反射光の受光量とする。
【００３１】
次に、３次元位置情報の演算方法について説明する。なお、この演算は、コンピュータ側で行うこともできるが、データ入力装置側で行うことによってコンピュータの負荷を軽減することができる。以下、データ入力装置側で演算することを前提に説明する。
（３次元位置の演算方法）
【００３２】
まず、図２１に示すように、受光データと高度情報との関係を表す高度情報テーブルを予めデータ入力装置の記憶部に保存しておく。ここで、Ｘ１は、同一セル内の発光素子からの光の反射光強度（受光量）である。また、Ｘ２は隣のセル内の発光素子からの光の反射光強度である。実際に採取したデータとテーブルの各データとの偏差を演算して、この偏差が最小になるところの高度を抽出する。そして、各受光素子の高度データを比較して最も小さい値を物体（指示手段）の高度座標とし、このときの受光素子の位置を物体の水平座標とする。
【００３３】
なお、高度情報は、反射光強度の絶対量に関連付けるのではなく、同一セル内の発光素子の反射光強度をもとにした相対比率を用いるようにしても良い。このときの高度情報テーブルを図２２に示す。
【００３４】
もちろん、テーブルを用いる代わりに、次の式による関数によって、各受光素子位置における高度を求めるようにしても良い。このような関数により、ｘ１，ｘ２，・・・の任意の相互関係をｚの値に反映できる。
【００３５】
ｚ＝ｆ（ｘ１，ｘ２，ｘ３，・・・） ・・・（１）
【００３６】
あるいは、学習機能を有するニューラルネット等の技術によって関数ｆを求めるようにしても良い。定期的に学習しなおすことによって精度の良い校正が可能となり、これにより光源の劣化や環境の変化に対応することができる。
【００３７】
たとえば、図２３に示すように、各素子を配設した基盤（パネル）の下にコンピュータの実行ボタンとしての役割を有するタクトスイッチ３１５を設けておき、これを押下したときに、同時に高度（ｚ）＝０としてキャリブレーションを取るようにする。これをもとに関数の係数を修正したり、ニューラルネットにおけるパラメータを変更する。
（３次元位置の推定方法）
【００３８】
次に、さらに高精度に３次元位置を求める方法を述べる。
各受光素子に対応する高度データをもとに、図２４（ａ）に示すように予め決められた特定の関数（たとえば指の形状に合わせた変化を示す関数）の係数を最小二乗法等によって計算する。そして、この関数値が小さくなる地点（図中の○印）の高度座標（ｚ）と水平座標（ｘ，ｙ）を求める。なお、水平座標の求め方としては、ｘ方向、ｙ方向ごとにｚが最小となる座標を求めても良いし、３次元座標として直接求めるようにしても良い。
【００３９】
さらに、簡便な方法としては、データの変化方向（減少方向と増加方向）ごとに直線を求め、その直線の交点座標を用いるようにしても良い。この方法によれば、演算処理に負担がかからず、リアルタイムで精度の高い位置推定が可能となる（図２４（ｂ））。
【００４０】
次に、このようなデータ入力装置３から入力される３次元位置情報を用いて、コンピュータの画面操作を行うときの例を説明する。
【００４１】
図６は、本発明の第１の実施の形態に係わるデータ入力装置３および情報機器１の機能ブロック図を示す。この図において、データ入力装置３は、パソコンなどのコンピュータのシリアルポート、ＵＳＢポート、およびマウスポートなどに接続され、例えばパソコンなどのコンピュータもしくは機器制御用の装置などである情報機器１の画面制御を行うのに用いられるものである。
【００４２】
情報機器１は、データ入力装置３とのデータの送受信を行うための送受信部１２、送受信部１２から受け取ったデータの処理、およびその他のさまざまな処理を行う中央演算処理部１３、データを記憶するための記憶部１４、および、中央演算処理部１３との間でデータの入出力を行う入力部１５と表示部１６から構成されている。入力部１５と表示部１６はマンマシンインタフェースの機能を有する部分である。
【００４３】
さらに、中央演算処理部１３は、送受信部１２との間でデータの受け渡しを行う送受信処理手段（機能）１３１、入力部１５あるいは表示部１６とデータの受け渡しを行う入出力処理手段（機能）１３２、データ入力装置３より送受信部１２を経由して物体の高度を受信する高度情報受信手段（機能）１３３、物体の高度などによりメニュー画面の表示を行うメニュー画面表示手段（機能）１３４、データ入力装置３より送受信部１２１を介して物体のＸ軸、Ｙ軸方向の２次元の移動情報を受信する２次元移動情報受信手段（機能）１３５、予め定めた高度にて物体の２次元的な移動量および移動方向などを基に情報機器１の画面上のカーソルを移動させるカーソル移動手段手段（機能）１３６、物体の３次元的な移動のベクトル量をデータ入力装置３から受信する移動ベクトル量受信手段（機能）１３７、高度ごとなどに設けられたメニュー画面の情報から使用者が選択したメニュー項目を選択するメニュー画面項目選択手段（機能）１３８、予め定めた高度から次の予め定めた高度への移動時には表示中の画面の拡大もしくは縮小を行う画面拡大縮小表示手段（機能）１３９、データ入力装置３から送受信手段１２を介して入力の指定を行う物体の位置情報を受信する位置情報受信手段（機能）１３Ａ、受信した位置情報より入力を指定する物体の位置およびその移動量などを特定する位置・移動量特定手段（機能）１３Ｂから構成される。
【００４４】
また、記憶部１４は、データ入力装置３から受信する発光素子からの反射光の受光量などのデータを保存する受光内容データ１４１、受信した物体の位置情報とその以前に受信した位置情報より物体の移動成分などを保存する位置情報成分などデータ１４２、物体の高度により異なるメニュー画面を保存するメニュー画面データ１４３から構成されている。
【００４５】
データ入力装置３は、情報機器１に接続され画面入力を支援するために画面上のポイントを指定したり、画面をスクロールさせたり、メニュー選択画面のメニューの選択を行ったりすることが可能な画面入力の補助装置である。情報機器１との接続はシリアル回線、ＵＳＢなどを利用して行われる。
【００４６】
データ入力装置３は、上記シリアル回線もしくはＵＳＢポートなどを利用して情報機器１とのデータの送受信を行うための送受信部３２、送受信部３２からのデータの処理を行う中央演算処理部３３、中央演算処理部３３との間でデータの入力を行う入力部３５から構成されている。本実施の形態ではデータ入力装置３と情報機器１はシリアル回線もしくはＵＳＢなどを用いて別々に構成されているが、一体化して１つの装置として存在しても良い。
【００４７】
さらに、中央演算処理部３３は、送受信部３２との間でデータの受け渡しを行う送受信処理手段（機能）３３１、入力部１５とデータの受け渡しを行う入出力処理手段（機能）３３２、物体の存在により受光素子３１２受信する自セルおよび隣接するいくつかのセルに設けられた発光素子３１１の受光量の大きさなどを入力部３５より受信する受光内容記憶手段（機能）３３３、受信した自セルおよび隣接するセルからの反射光の受光量により物体の位置情報を特定する物体位置特定手段（機能）３３４、特定した位置情報を情報機器１に通知する位置情報通知手段（機能）３３５、物体の高度もしくは算出した物体の位置情報と以前の位置情報により物体の高度の相対移動量を算出する物体高度算出手段（機能）３３６、物体の２次元的な移動量を算出する２次元移動量算出手段（機能）３３７、物体の３次元的な移動量などの情報を特定する物体移動情報特定手段（機能）３３８から構成される。
【００４８】
また、記憶部３４は、受光素子３１２から受信する自セル発光素子３１１（１，１）および隣接するセルの発光素子３１１（１，２）、３１１（１，３）などからの反射光の受光量などのデータを保存する受光内容データ３４１、反射光の受光量などにより算出した物体の位置情報と以前の位置情報により物体の移動成分などを保存する位置情報成分などデータ３４２から構成されている。
【００４９】
本実施の形態においては、データ入力装置３において反射光の受光量のみを取得し情報機器１に通知するという形態のみでなく、複数の発光素子３１１からの反射光の受光量の相対的な違いを勘案して、物体の位置情報、高度、２次元的な移動量、３次元的な移動量までも算出して、算出した上記情報を情報機器１に通知するという機能も全て記載している。同様に情報機器１においてもデータ入力装置３から指示物体の高度・位置情報・２次元的な移動量・３次元的な移動量などを取得して動作する部分と、データ入力装置３からは受光量のみを受信して情報機器１の方で上記指示物体の高度・位置情報・２次元的な移動量・３次元的な移動量などを算出するという形態が混在して記載している。
【００５０】
図７は、データ入力装置３および、情報機器１が受光量により画面指示物体の位置などを算出する場合は情報機器１にも存在する受光素子３１２が受光した生データを保存する受光内容データ１４１のデータ構成例を示す。本データ内には、発光素子３１１からの反射光の受光量をスキャンした時の時刻である「スキャン時刻」、スキャンした時刻における同じセル内にある対になる発光素子３１１からの受光量である「対発光素子の受光量」、「隣接発光素子１の受光量」、および「隣接発光素子２の受光量」・・などと発光素子からの受光量の生データが保存されている。
【００５１】
図８は、入力の指示を行う物体の位置、相対高度移動量などを保存する位置情報成分などデータ１４２のデータ構成例である。位置情報成分などデータ１４２は、図７に示す各受光量などから算出される位置情報として、「Ｘ軸値」、「Ｙ軸値」、「Ｚ軸値」、および「２次元的相対移動量」、「高度相対移動量」、「移動距離」などから構成されている。
【００５２】
図９は、高度により表示するメニュー画面を保存するメニュー画面データ１４３のデータ構成例を示す。メニュー画面データ１４３は、複数のメニューから構成され、最上位の層から階層構造をなして構成されている。本実施の形態において最上位の第１層では、表示内容として「日本地図」という表示内容と、物体（指示手段）の高度範囲が関連付けられて保存されている。例えば入力を指示する物体の高度が「７０〜６０ｍｍ」の場合は「日本地図」を表示するということを意味している。
【００５３】
次の項目である「メニュー選択の範囲」では、「６２〜６０ｍｍ」間はメニューを表示し選択する範囲であることを意味している。上記範囲内の高度に入力を指示する物体が存在する場合は、画面上にメニューを表示し、「６２〜６０ｍｍ」までに操作者が入力を指示する物体を動かした内容により次に画面が決定されるということを意味する。また選択は「メニュー選択の閾値」に記載されている内容に合致するものにて選択されるものとする。このように、高度が高いときは、より包括的、抽象的な情報が選択されるようにして、高度が低くなるにしたがって、より個別的、具体的な情報が選択されるようにする。また、指の水平位置によってその階層における選択枝が順次選択されるようにする。そして、高度が０になって所定時間経過したとき、あるいは、受発光素子が配設されている基盤の下に設けられているタクトスイッチを当該基盤を介して押下することによって最終的なメニューを実行するようにする。
【００５４】
図４は、上述の如く高度に基づいてメニュー画面を階層的に定義した場合の、メニュー選択操作の説明図である。本実施の形態において、図４（ａ）は、図４（ｅ）のｚ４の高度におけるメニューであり、地図が表示される場合の例である。このメニュー画面から「千葉」を選択する場合は、このメニュー画面が表示されている際に指を右下の方向に向けながら降ろして行くことで可能である。下方にこのデータ入力装置に上部から指などの物体を下部に降ろしていくとある特定の高度に達した時に「千葉」が選択され、次に「千葉」の地図が表示され、その指の高度に応じて地図が拡大されたり、縮小されたりする。選択した「千葉」の地図を表示しながら、さらに指の高度を下げていることで画面を拡大することができる。
【００５５】
図４（ｂ）のメニュー画面に次に高度が低くなった図４（ｅ）のｚ５の高度で表示される画面である。この高度にて「浦安市」を選択するには上記と同様に指を左下向きで下方に降ろして行くことである定められた高度になった時に選択することができる。図４（ｃ）は、「浦安市」を選択した時の画面である。さらに指を降下させていくと地図画面が拡大表示されながらｚ６の高度にて図４（ｄ）の画面に示すように「コピー」、「切り取り」、「貼り付け」などのメニューが表示され、指を２次元的方向に動かすことでメニューから選択することができる。なお、図４（ａ）では４つの方向性で選択ができ、図４（ｂ）では９つの方向性で選択ができることを意味している。
【００５６】
図５は図４に示す高度ｚ４、ｚ５、ｚ６で表示するメニュー画面の階層化された構造と指位置の関係を示す図である。本実施の形態での画面表示は地図の画面表示の例であり、最初の地図として日本地図から始まり、「東北地方」、「関東地方」などの地方の地図の表示から、さらに「関東地方」の場合は、「東京」、「埼玉」、「千葉」などの県の地図がその配下に構成される。同様に「千葉」県の配下には「野田市」、「千葉市」、「浦安市」などの市の地図があり、さらに「浦安市」などの市の配下には「浦安市の詳細地図」などから構成され、最後に「コピー」、「切り貼り」、「貼り付け」などのメニューが続いている。指がデータ入力装置３のパッド３１４に接触したときは、詳細地図が選択され、さらにパッドを押すことによって図２３の如く構成された基盤３１６の下に設けられたタクトスイッチ３１５を押下することによって、当該選択画面におけるメニュー項目（コピー等）が表示される。そして、接触した状態で指を所望のメニューに移動して、タクトスイッチの２度目の押下によって、メニュー項目が実行される。なお、最終メニューの表示は、接触した状態で所定時間経過によって表示されるようにしても良い。
【００５７】
図５のデータ構成例を図１０に示す。高度ごとに選択可能なメニューが画面情報などの「コピー」、「切り取り」、「貼り付け」なども含めて定義されている。
【００５８】
第１の実施の形態におけるデータ入力装置３および情報機器１は以上のように構成され、以下にその動作をフローチャートなどを用いて詳述する。
［１． 反射光の受光内容の記憶］
【００５９】
図１１は、データ入力装置３もしくは情報機器１にて行われる反射光の受光量などの記憶を行う「受光内容記憶ルーチン」の動作の処理手順を示すフローチャートである。本動作はデータ入力手段３内の受光内容記憶手段３３３、または図示していない情報機器１内の情報登録手段が行う動作であり、以下図１１を用いて処理を説明する。受光内容記憶ルーチンは、例えば図３に示す受光タイミングなどにより周期的に起動し、例えばハードウェアの情報をスキャンするなどにて受光量を取得する。
【００６０】
もしくは、予め定めた周期にて起動され、同一セル内の発光タイミングの時の受光量データであるかどうかを確認する（Ｓ１１１）。同一セル内の発光素子３１１の発光タイミング時の受光量データであった場合は、スキャンした受光量を同一セル内の発行素子３１１の欄に保存し（Ｓ１１２）、処理を終了する。同一セル内の発光素子の発光タイミングではなかった場合は、次の隣接するセル内の発光素子の発光タイミングであるかを判定するために「ｎ」を初期化して「１」とし（Ｓ１１３）、隣接する発光素子の発光タイミングであるか判定する（Ｓ１１４）。
【００６１】
発光タイミングが合致した場合は、スキャンした受光量を隣接する発光素子＃ｎの欄に登録し（Ｓ１１７）、処理を終了する。合致しない場合は、全ての対象の発光素子の処理が終了したか判定する（Ｓ１１５）。全ての対象の発光素子の処理が終了した場合は何もせずに処理を終了する。終了していない場合は、「ｎ」をインクリメントし（Ｓ１１６）、ステップＳ１１４に戻り上記処理を全ての発光素子の処理が終了するまで繰り返す。上記手順にて一つのセル内の受光素子３１２が受光した発光素子３１１の受光量の測定を行うことができる。上記動作をデータ入力装置３上の全ての受光素子３１２にて行うことで入力を指定する物体の反射光の測定を行うことができる。
【００６２】
測定した受光量はデータ入力を指示する指の位置に一番近いセルの受光素子の受光量が多く、次に隣接する受光量が多く、次またその次に隣接するセルの受光量は大幅に少なくなり、指の輪郭が分かるような受光量の分布となる。これによりデータ入力を指示する指の輪郭を捉えることができ、重心を特定することが可能となる。
［２． 物体の位置特定、高度の算出、２次元の移動量算出、３次元の移動量算出］
【００６３】
図１２は、データ入力装置３のメインルーチンの動作の処置手順を示すフローチャートである。図１２に示すデータ入力装置３のメインルーチンは、図１１と同じ周期で動作しても良いが、別の周期にて動作しても良い。図１２は、データ入力の指示を行う指などの物体による発光素子からの反射光を受光素子が受光した受光量を基に物体の位置情報、相対移動量などを算出し、情報機器に通知する動作の処理手順を示すフローチャートである。
【００６４】
まず、受光した生データをそのまま通知するのかどうかをシステムに記憶している記載していないデータを用いて判定する（Ｓ１２１）。受光量の生データを通知する場合は、位置情報通知ルーチンを起動（Ｓ１２２）して、処理を終了する。その後の位置情報や相対移動量の算出は情報機器側にて行うものである。
【００６５】
生データではなく加工したデータを通知する場合は、「物体位置特定ルーチン」（Ｓ１２３）を起動することで物体の位置情報を算出し、次に「物体高度算出ルーチン」（Ｓ１２４）を起動することで物体の高度の相対移動量を算出し、次に「２次元移動量算出ルーチン」（Ｓ１２５）を起動することで２次元的な移動量を算出する。
【００６６】
次に高度・２次元情報の通知を行うかどうかを前述のようにシステムに記憶しているデータを参照して判定する（Ｓ１２６）。位置情報を通知する場合は、算出した位置情報と、高度および２次元的な移動量を「位置情報通知ルーチン」（Ｓ１２９）を起動することで情報機器に通知し処理を終了する。
【００６７】
３次元的な移動を通知する場合は、次に「物体移動情報特定ルーチン」（Ｓ１２７）を起動することで物体の３次元的な移動における３次元ベクトル量を算出し、次に「位置情報通知ルーチン」（Ｓ１２８）を起動することで情報機器に通知し処理を終了する。
【００６８】
このように、上記実施の形態では、データ入力装置にて入力を指示する物体の受光量を取得して、取得した情報を情報機器にそのまま通知して、情報機器側で物体の位置情報、相対高度移動量などの特定を行うことが可能である。さらにデータ入力装置にて受光素子が取得した受光量により位置情報を算出して、算出した位置情報を情報機器に通知して、情報機器側では受信した位置情報を用いて処理を行うことが可能である。さらにデータ入力装置にて物体の相対移動量を算出して情報機器に通知し、情報機器側では取得した相対移動量を用いて処理することが可能である。
【００６９】
図１３は、入力を指示する物体の位置情報を特定する「物体位置特定ルーチン」の処理の動作手順を示すフローチャートである。本動作は物体位置特定手段３３４が行う動作であり、以下図１３を用いて処理を説明する。まず取得した受光内容データ３４１により起動時点での物体の位置を求めるために同一セル内の対の発光素子３１１および隣接する発光素子のいくつかのデータを取得する（Ｓ１３１）。
【００７０】
次に、取得した対の発光素子３１１および隣接する発光素子３１１の受光量などのデータを用いて前述の３次元位置の演算方法、推定方法を用いて、物体の位置情報（Ｘ軸値、Ｙ軸値、Ｚ軸値）を求める（Ｓ１３２）。算出した物体の位置情報を位置情報成分などデータ３４２に保存（Ｓ１３３）して処理を終了する。
【００７１】
図１４は、「物体高度算出ルーチン」、「２次元移動量算出ルーチン」、「物体移動情報特定ルーチン」の動作の処理手順を示すフローチャートである。本動作は、物体高度算出手段３３６、２次元移動量算出手段３３７、物体移動情報特定手段３３８が行う動作である。
【００７２】
以下図１４を用いて処理を説明する。
まず、位置情報成分などデータ３４２より、今回の高度から前回の高度の差分を算出する（Ｓ１４１）。算出した値を高度移動量として位置情報成分などデータ３４２の「高度相対移動量」の欄に登録する（Ｓ１４２）。上記ステップＳ１４１〜Ｓ１４２は、「物体高度算出ルーチン」が行う動作である。次に、位置情報成分などデータ３４２より、今回のＸ軸値とＹ軸値から前回のＸ軸値とＹ軸値の成分の差分を求める（Ｓ１４３）。算出した値を２次元移動量として位置情報成分などデータ３４２の「２次元相対移動量」の欄に登録する。上記ステップＳ１４３〜Ｓ１４４は、「２次元移動量算出ルーチン」が行う動作である。
【００７３】
次に、位置情報成分などデータ３４２を用いて今回と前回の（Ｘ軸値、Ｙ軸値、Ｚ軸値）の差分を取りその大きさを求め（Ｓ１４５）、算出した値を物体の移動量として位置情報成分などデータ３４２の「移動量」の欄に登録（Ｓ１４６）して処理を終了する。
［３． 位置情報などの通知］
【００７４】
図１５は、データ入力装置３が物体の位置情報などを通知する「位置情報通知ルーチン」および情報機器１が行う「高度情報受信ルーチン」、「２次元移動情報受信ルーチン」、「移動ベクトル量受信ルーチン」、「位置情報受信ルーチン」の動作の処理手順を示すフローチャートである。上記「位置情報通知ルーチン」はデータ入力装置３内の位置情報通知手段３３５が行う動作であり、「高度情報受信ルーチン」、「２次元移動情報受信ルーチン」、「移動ベクトル量受信ルーチン」、「位置情報受信ルーチン」はそれぞれ、情報機器１内の高度情報受信手段１３３、２次元移動情報受信ルーチン１３５、移動ベクトル量受信ルーチン１３７、位置情報受信ルーチン１３Ａが行う動作である。以下図１５を用いてその処理を説明する。
【００７５】
「位置情報通知ルーチン」は周期的に起動され、まず各セルの受光素子が受光した受光量をそのまま通知するかどうかを記載していないが内部に有する登録されているデータを用いて判定する（Ｓ１５１ｂ）。受光量を通知する場合は、ステップＳ１５９ｂに進み、各セルの受光した受光量情報を「位置情報成分などデータ」より取得し送信しステップＳ１５８ｂへ進む。受光量情報を通知しない場合（Ｓ１５１ｂのｎｏのルート）は、まず物体の高度の情報を位置情報成分などデータ３４２より取得してバッファへ積み込む（Ｓ１５２ｂ）。
【００７６】
次に同様に２次元の移動量と３次元の移動量を位置情報成分などデータ３４２より取得してバッファに積み込み（Ｓ１５３ｂ、Ｓ１５４ｂ）、高度・２次元情報通知を通知する設定になるかを判定し（Ｓ１５５ｂ）、通知する設定になっている場合は、バッファに積み込んだ高度・２次元移動量を情報機器１に通知し（Ｓ１５６ｂ）、ステップＳ１５８ｂへ進む。異なる場合は、バッファに積み込んだ高度・２次元移動量・３次元移動量を通知する。
【００７７】
位置情報などを受信（Ｓ１５１ａ、Ｓ１５２ａ、Ｓ１５３ａ）した情報機器１は、情報機器１内の位置情報成分などデータ１４２の対応するエリアに受信した内容を保存し（Ｓ１５４ａ）、受信成功通知を送信し（Ｓ１５５ａ）、処理を終了する。受信成功通知を受信したデータ入力装置３は処理を終了する（Ｓ１５８ｂ）。
【００７８】
上記の動作にて、各セルが受光した受光量そのもの、データ入力装置３側で算出した位置情報、高度の相対移動量・２次元相対移動量、もしくは３次元的な移動量などを情報機器１に通知する。情報機器１が受光量のみを受信する場合や位置情報のみの情報を受信する場合は、必要な情報は情報機器１が算出することになる。
［４． メニュー画面の表示］
【００７９】
図１６は、情報機器１で行われるデータ入力に係わるメインルーチンの動作の処理手順を示すフローチャートである。本メインルーチンは周期的に起動され、入力を指示する物体の移動量と、メニュー画面の高度などになったことなど逐一判定し、画面を拡大・縮小したり、カーソルを移動したり、メニュー画面を表示したりするものである。
【００８０】
起動されるとまず、メニュー画面データ１４３を読み込み（Ｓ１６１）、メニューの切り替え部分（高度）に達したかを判定する（Ｓ１６２）。メニューの切り替え部分に達した場合は、「メニュー画面表示ルーチン」を起動（Ｓ１６３）して処理を終了する。メニュー切り替えの部分（高度）に達してない場合は、カーソル操作部分（高度）に達しているかを判定し（Ｓ１６４）、達している場合は「カーソル移動ルーチン」を起動（Ｓ１６５）して処理を終了する。
【００８１】
カーソル操作部分（高度）に達していない場合は次に、メニュー画面の表示選択部分（高度）に達したかを判定し（Ｓ１６６）、達している場合は「メニュー画面項目選択ルーチン」を起動（Ｓ１６７）して処理を終了する。メニュー画面項目選択の部分（高度）に達していない場合は、画面拡大縮小表示の部分（高度）に達しているかを判定し（Ｓ１６８）、達している場合は「画面拡大縮小表示ルーチン」を起動（Ｓ１６９）して処理を終了する。
【００８２】
以上の動作によってデータの入力を指示する物体の検知した移動量などにて画面の拡大縮小、カーソルの移動、メニュー画面の選択、メニュー画面の表示などを行うことができる。
【００８３】
図１７は、メニュー画面の表示を行う「メニュー画面表示ルーチン」の動作の処理手順を示すフローチャートである。本動作は情報機器１のメニュー画面表示手段１３４が行う動作であり、以下図１７を用いて処理を説明する。まず、メニュー画面データ１４３より高度に合ったメニュー画面を抽出し（Ｓ１７１）、抽出したメニュー画面を作成し画面上の表示されるように指示する（Ｓ１７２）。次に今の高度においてメニュー選択画面を表示したことを図示していないデータエリアに保存し処理を終了する（Ｓ１７３）。
［５． カーソルの移動］
【００８４】
図１８は、情報機器１の画面上のカーソルを移動する「カーソル移動ルーチン」の動作の処理手順を示すフローチャートである。本動作は情報機器１内のカーソル移動手段１３６が行う動作であり、以下図１８を用いて処理を説明する。まず、前回の位置の２次元成分を取得し（Ｓ１８１）、さらに今回の位置の２次元成分を取得する。（Ｓ１８２）。次に前回と今回の位置の差分に移動量と移動方向の２次元成分を取得する（Ｓ１８３）。次に、取得した移動量および移動方向の２次元成分に合致する移動量および方向に対して画面上のカーソルを移動する。
［６． メニュー画面項目の選択］
【００８５】
図１９は、メニュー画面に表示された項目を選択する「メニュー画面項目選択ルーチン」の動作の処理手順を示すフローチャートである。本動作は情報機器１のメニュー画面項目選択手段１３８が行う動作であり、以下図１９を用いて処理を説明する。まず、現時点で表示している画面上のメニューの項目を取得する（Ｓ１９１）。次に高度が選択基準値を超えたかどうかを判定し（Ｓ１９２）、越えていない場合は処理を終了する。
【００８６】
越えている場合（Ｓ１９２のｎｏのルート）は、現時点で選択しているメニューの項目を選択項目とし（Ｓ１９３）、選択された画面の表示を行い処理を終了する（Ｓ１９４）。
［７． 画面の拡大・縮小表示］
【００８７】
図２０は、情報機器１の画面上に表示されている画面の拡大・縮小を行う「画面拡大縮小表示ルーチン」の動作の処理手順を示すフローチャートである。本動作は情報機器１内の画面拡大縮小手段１３９が行う動作であり、以下図２０を用いて処理を説明する。まず、前回の位置の垂直成分の移動量を取得し（Ｓ２０１）、次に今回の位置からの移動量の垂直成分を取得する（Ｓ２０２）。
【００８８】
次に、前回からの移動量の垂直成分の大きさに従って表示している画面の大きさの拡大率もしくは縮小率を算出し（Ｓ２０３）、算出した拡大率もしくは縮小率にて表示する画面を作成し画面表示を行う（Ｓ２０４）。以上の動作にて画面の拡大縮小を行う。
本発明による第１の実施の形態は以上のように構成され動作する。
【００８９】
本発明によれば、平面状のデータ入力装置と指し棒や指などの特殊ではない物体を用いて３次元的な広がりがある画面情報にデータ入力を行ったり、３次元上の位置を指定したり、選択メニューを選択したり、画面上でカーソルを移動したり、画面を拡大・縮小したりすることを容易にできるので、操作者は安いコストで３次元画像の指定または操作などを容易に行うことが可能となる。
【００９０】
なお、上記の説明では、３次元位置情報のうち、水平成分をカーソル移動の機能に割り付けて、説明したが、水平成分を画面スクロール機能に割付け、垂直成分を画面の拡大・縮小機能に割り付けることによって、たとえば、図２５に示すように、指位置を近づけることによって、画面を徐々に拡大しつつ、所望の位置へ到達することができる。図２５では、図２５（ａ）のＡ位置の拡大図を見る場合の説明図である。当初は縮小画像で全体を把握しながら（図２５（ａ））、指をデータ入力装置へ近づけながら、水平方向についても所望の方向へ指を移動する（図２５（ｂ））。これにより、所望位置が画面中央になるように制御される。ユーザは、最終的に、画面の所望位置の拡大図を見ることができるのである（図２５（ｃ））。
【００９１】
また、メニュー選択用のアイコンを指の高度によって、そのサイズを拡大・縮小するようにしてもよい。たとえば、図２６（ａ）に示すように、指が高い位置にいるときは、アイコンを小さく表示し、選択可能なメニュー全体が見られるようにして、指の高さが低くなるにしたがって、アイコンの表示が拡大し、かつ上記図２５で説明したように、指の水平方向の動きに伴って所望の方向へ中心位置が移動していくようにする。この機能は図２０のステップＳ２０３の処理をアイコンに適用することによって実現できる。このようにすれば、指の高さが高いときは一画面内の情報量を多くすることができるので、ユーザは全体を見渡せることができ、指の高さが低くなるに従って所望のアイコンが拡大表示されるのでユーザの選択ミスを防止することができる。また、ユーザはクリックによってメニューの階層を切替える必要がないので操作性が向上する。なお、図２６は、ディスプレイとデータ入力装置３のパッド３１４とが一体となった図であるが、それぞれ分離された構成であっても有効であることは言うまでもない。
【００９２】
次に第２の実施の形態について以下に説明する。第１の実施の形態ではデータ入力を指示する物体である指の絶対高度によりメニュー画面の選択、画面の拡大および縮小を行っているが、第２の実施の形態では、相対的な高度・２次元移動量・３次元移動量を用いて動作を行うものである。
【００９３】
図示していないが、図１０においてｚ１〜ｚ６が絶対的な高度ではなく、基準点からの相対的な高度を示すものとする。高度・２／３次元的な移動量にてメニューの表示を行い、カーソルの移動などを行う。カーソルの移動については第１の実施の形態においても相対量で動作を規定していたが、高度においても相対的な高度を用いて第１の実施の形態の地図情報を表示することが可能である。
【００９４】
本実施の形態によれば、データ入力を指示する物体の相対的な移動量および移動方向によりカーソルを物体の移動方向に向かって物体の移動量に従って移動させたり、画面そのものを移動方向に移動量に従って移動させたりでき、さらにアプリケーションによっては３次元的な移動方向と移動量の相対値にてデータの入力を行ったり、指示したりすることができるので、３次元的な画像をなどを取り扱う様々なアプリケーションに対応することができる。
【００９５】
なお、物体の移動量を計測することで、物体の移動速度および加速度を算出することが可能であるが、これらの値を用いて画面スクロールの速度を速めたり、スクロールの幅を大きくしたり、画面の拡大および縮小表示の表示割合の大きさを変更したりするなどの処理が可能である。また、本実施の形態では高度をデータ入力装置からの垂直な高さと定義しているが、３次元的な任意の基準面を設けて、その基準からの高度および２次元の緯度量を算出し画面の制御を行うことも可能である。
【図面の簡単な説明】
【００９６】
【図１】指にて本発明のデータ入力装置を操作する場合の例を示す図である。
【図２】本発明の第１の実施の形態に係わるデータ入力装置の動作原理図および構成図である。
【図３】本発明の第１の実施の形態に係わるデータ入力装置の発光素子と受光素子が行う、発光および受光のタイミングを示す図である。
【図４】本発明の第１の実施の形態に係わるデータ入力装置と指（物体）を用いて、高度および移動方向により画面の拡大・縮小、メニュー表示と選択を行う一連の図である。
【図５】本発明の第１の実施の形態に係わる高度または相対高度により表示される階層化されたメニュー画面を示す図である。
【図６】本発明の第１の実施の形態に係わるデータ入力装置および情報装置の機能ブロック図である。
【図７】図６の受光内容データのデータ構成例である。
【図８】図６の位置情報成分などデータのデータ構成例である。
【図９】図６のメニュー画面データのデータ構成例である。
【図１０】図６のメニュー画面データのデータ構成例である。
【図１１】図６の受光内容記憶手段が行う動作の処理手順を示すフローチャートである。
【図１２】図６のデータ入力装置のメインルーチン動作の処理手順を示すフローチャートである。
【図１３】図６のデータ入力装置の物体位置特定手段が行う動作の処理手順を示すフローチャートである。
【図１４】図６の物体高度算出手段、２次元移動量算出手段、物体移動情報特定手段が行う動作の処理手順を示すフローチャートである。
【図１５】図６のデータ入力装置内の位置情報通知手段、および情報機器内の高度情報受信手段、２次元移動情報受信手段、移動ベクトル量受信手段、位置情報受信手段が行う動作の処理手順を示すフローチャートである。
【図１６】図６の情報機器のメインルーチンの動作の処理手順を示すフローチャートである。
【図１７】図６の情報機器のメニュー画面表示手段が行う動作の処理手順を示すフローチャートである。
【図１８】図６の情報機器のカーソル移動手段が行う動作の処理手順を示すフローチャートである。
【図１９】図６の情報機器のメニュー画面項目選択手段が行う動作の処理手順を示すフローチャートである。
【図２０】図６の情報機器の画面拡大縮小表示手段が行う動作の処理手順を示すフローチャートである。
【図２１】図６のデータ入力装置に保存される高度情報テーブルである。
【図２２】図２１の高度情報テーブルの他の例である。
【図２３】図６の入力装置の発光素子、受光素子部と実行スイッチの構成図である。
【図２４】本発明の実施の形態における補間関数の一例を示す図である。
【図２５】本発明の実施の形態における指動作と画面表示の関係の説明図である。
【図２６】指の高度に応じてアイコンを選択しやすくする方法の説明図である。
【符号の説明】
【００９７】
１ 情報機器
３ データ入力装置
９ 指（指示手段）
１２、３２ 送受信部
１３、３３ 中央演算処理部
１４、３４ 記憶部
１５、３５ 入力部
１６ 表示部
１３１、３３１ 送受信処理手段
１３２、３３２ 入出力処理手段
１３３ 高度情報受信手段
１３４ メニュー画面表示手段
１３５ ２次元移動情報受信手段
１３６ カーソル移動手段
１３７ 移動ベクトル量受信手段
１３８ メニュー画面項目選択手段
１３９ 画面拡大縮小表示手段
１３Ａ 位置情報受信手段
１３Ｂ 位置・移動量特定手段
１４１、３４１ 受光内容データ
１４２、３４２ 位置情報成分などデータ
１４３ メニュー画面データ
３１１ 発光素子
３１２ 受光素子
３１３ 遮光壁
３１４ 遮光しないガラス（パッド）
３１５ スイッチ部（タクトスイッチ、実行ボタン）
３１６ 基盤
３３３ 受光内容記憶手段
３３４ 物体位置特定手段
３３５ 位置情報通知手段
３３６ 物体高度算出手段
３３７ ２次元移動量算出手段
３３８ 物体移動情報特定手段
Ｆ３１ 光源１の点灯パターン
Ｆ３２ 光源２の点灯パターン
Ｆ３３ 受光素子が読むタイミング
Ｆ４１ 画面上の枠
ｚ４ データ入力装置からの距離
ｚ５ データ入力装置からの距離
ｚ６ データ入力装置からの距離
【特許請求の範囲】
【請求項１】
３次元的に空間を移動する指や指し棒などの指示手段の位置情報を計測して、コンピュータの制御内容あるいは表示画面に出力される表示内容を指定するためのデータ入力装置であって、
指向性を有する発光手段と受光手段との対を複数具備し、前記受光手段の夫々は複数の発光手段から発せられ前記指示手段によって反射された光を取り込んで受光強度を測定し、少なくとも２以上の発光手段に対応する受光強度の相対的関係に基づいて前記指示手段の３次元位置を演算することを特徴とするデータ入力装置。
【請求項２】
前記複数の発光手段のうち少なくとも２以上の発光手段は、発光時間と非発光時間からなりそれぞれ異なる発光タイミングで発光し、前記受光手段は、該タイミングの違いによって発光手段を特定し、かつ、発光時間における受光強度と非発光時間における受光強度の差分を演算することによって外来光の影響を除去することを特徴とする請求項１記載のデータ入力装置。
【請求項３】
前記複数の受光手段による受光強度データを用いて補間関数を演算し、前記指示手段の３次元位置を推定することを特徴とする請求項１または２記載のデータ入力装置。
【請求項４】
外部より通知される指や指し棒などの指示手段の３次元位置情報によって、コンピュータの制御内容あるいは表示画面に出力される表示内容を決定する情報機器であって、
前記３次元位置情報の高度成分に基づいて画面の拡大・縮小または階層化されたメニュー項目の選択を行うと共に水平成分に基づいて表示内容の中心位置を移動することを特徴とする情報機器。
【請求項５】
請求項１ないし３のいずれか一に記載のデータ入力装置を用いて３次元的に空間を移動する指や指し棒などの指示手段の位置情報を計測して、コンピュータの画面に出力される表示内容を指定するユーザインタフェース方法であって、
コンピュータに予め表示倍率と前記指示手段の３次元位置情報の高度成分との対応関係を保存しておき、前記データ入力装置から入力される前記指示手段の高度情報に基づいてコンピュータ画面上に表示すべき内容を前記対応関係による所定の倍率で表示し、かつ、前記３次元位置情報の水平成分の画面中心位置からのずれの方向および大きさ演算して、当該ずれの方向へ当該ずれの大きさに基づく速度で画面をスクロールすることを特徴とするユーザインタフェース方法。
【請求項１】
３次元的に空間を移動する指や指し棒などの指示手段の位置情報を計測して、コンピュータの制御内容あるいは表示画面に出力される表示内容を指定するためのデータ入力装置であって、
指向性を有する発光手段と受光手段との対を複数具備し、前記受光手段の夫々は複数の発光手段から発せられ前記指示手段によって反射された光を取り込んで受光強度を測定し、少なくとも２以上の発光手段に対応する受光強度の相対的関係に基づいて前記指示手段の３次元位置を演算することを特徴とするデータ入力装置。
【請求項２】
前記複数の発光手段のうち少なくとも２以上の発光手段は、発光時間と非発光時間からなりそれぞれ異なる発光タイミングで発光し、前記受光手段は、該タイミングの違いによって発光手段を特定し、かつ、発光時間における受光強度と非発光時間における受光強度の差分を演算することによって外来光の影響を除去することを特徴とする請求項１記載のデータ入力装置。
【請求項３】
前記複数の受光手段による受光強度データを用いて補間関数を演算し、前記指示手段の３次元位置を推定することを特徴とする請求項１または２記載のデータ入力装置。
【請求項４】
外部より通知される指や指し棒などの指示手段の３次元位置情報によって、コンピュータの制御内容あるいは表示画面に出力される表示内容を決定する情報機器であって、
前記３次元位置情報の高度成分に基づいて画面の拡大・縮小または階層化されたメニュー項目の選択を行うと共に水平成分に基づいて表示内容の中心位置を移動することを特徴とする情報機器。
【請求項５】
請求項１ないし３のいずれか一に記載のデータ入力装置を用いて３次元的に空間を移動する指や指し棒などの指示手段の位置情報を計測して、コンピュータの画面に出力される表示内容を指定するユーザインタフェース方法であって、
コンピュータに予め表示倍率と前記指示手段の３次元位置情報の高度成分との対応関係を保存しておき、前記データ入力装置から入力される前記指示手段の高度情報に基づいてコンピュータ画面上に表示すべき内容を前記対応関係による所定の倍率で表示し、かつ、前記３次元位置情報の水平成分の画面中心位置からのずれの方向および大きさ演算して、当該ずれの方向へ当該ずれの大きさに基づく速度で画面をスクロールすることを特徴とするユーザインタフェース方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２６】
【図２５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２６】
【図２５】
【公開番号】特開２００７−２１９６７６（Ｐ２００７−２１９６７６Ａ）
【公開日】平成１９年８月３０日（２００７．８．３０）
【国際特許分類】
【出願番号】特願２００６−３７３７０（Ｐ２００６−３７３７０）
【出願日】平成１８年２月１５日（２００６．２．１５）
【出願人】（３０４０２１４１７）国立大学法人東京工業大学 (1,821)
【Ｆターム（参考）】
【公開日】平成１９年８月３０日（２００７．８．３０）
【国際特許分類】
【出願日】平成１８年２月１５日（２００６．２．１５）
【出願人】（３０４０２１４１７）国立大学法人東京工業大学 (1,821)
【Ｆターム（参考）】
[ Back to top ]