情報入出力装置及び情報入出力方法
【課題】インタラクティブな入出力環境を強化拡大する。
【解決手段】半透明面２の背面側に対して、赤外線光を定常的に照射する赤外線ＬＥＤパネル３と、半透明面２側から入射してくる赤外線光のみを撮像するＣＣＤカメラ４と、半透明面２に対して画像を投影表示するプロジェクタ５を設ける。ユーザが半透明面２の前面側で操作を行うと赤外線反射光量が変化するので、制御装置６では、ＣＣＤカメラ４の撮像信号に基づいて上記反射光量の変化を検出画像情報として捉えた上で、この画像情報に基づいて得られる操作情報に従って、例えば半透明面２に対するインターフェイス画面の切り換え表示などのための所要の制御を実行する。
【解決手段】半透明面２の背面側に対して、赤外線光を定常的に照射する赤外線ＬＥＤパネル３と、半透明面２側から入射してくる赤外線光のみを撮像するＣＣＤカメラ４と、半透明面２に対して画像を投影表示するプロジェクタ５を設ける。ユーザが半透明面２の前面側で操作を行うと赤外線反射光量が変化するので、制御装置６では、ＣＣＤカメラ４の撮像信号に基づいて上記反射光量の変化を検出画像情報として捉えた上で、この画像情報に基づいて得られる操作情報に従って、例えば半透明面２に対するインターフェイス画面の切り換え表示などのための所要の制御を実行する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば外部より与えられた入力情報に応答して所要の情報を出力する情報入出力装置、及び情報入出力方法に関するものである。
【背景技術】
【０００２】
例えば、コンピュータ装置などの情報入出力装置では、様々なアプリケーションプログラムなどのもとで、ユーザの操作に応答してコンピュータ装置側が所定の反応を表示等によって提示する、いわゆるインタラクティブな入出力形態が広く採用されている。具体的には、例えばマウス、タッチパネル（ここではトラックパッドも含むものとする）やキーボードなどの入力装置に対して行われたユーザの操作に対する応答を、ＣＲＴ（Cathode Ray Tube）や液晶ディスプレイなどの表示デバイスに対して画像情報として表示させるようにしている。
【０００３】
また、情報入出力装置として、コンピュータ化されたホワイトボードとして機能するプロジェクションディスプレイも知られている。このようなプロジェクションディスプレイでは、例えばユーザが専用の赤外線発光ペンを利用して、上記ホワイトボード上に対して操作を行うようにされる。
【０００４】
また、「ビデオプレイス」といわれるインタラクティブな効果をねらった情報入出力装置が知られている。このビデオプレイスは、例えばビデオカメラを利用した芸術性を有する装置とされる。例えばビデオプレイスの鑑賞者は、ビデオカメラに自身の手あるいはその他の人体の一部をシルエットとして撮影させる。鑑賞者は、この撮影画像と例えば他の画像とが合成された何らかの画像をモニタ装置でみながら自在に手や人体の一部を動かすことにより、モニタ装置に表示される画像の反応や変化を楽しむことができるようになっている。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、更に拡大されたインタラクティブな入出力環境を実現することを考えた場合、上記したようなこれまでの情報入出力形態では次のような点で限界が見えてくる。
例えば、コンピュータ装置においてタッチパネルやトラックパッドを情報入力装置として採用した場合について考えてみると、情報入力のためのポインティング操作は概して指に限定される。また、タッチパネル上の空間での操作は行えず、操作面に対して指などの物理的な操作体をパネル面上に接触させる必要がある。更に、タッチパネルは比較的高価なので大型の操作パネルとしては好適でない。
また、入力操作に応答して情報を出力する情報出力装置としての表示デバイスについて考えてみると、例えばコンピュータ装置では、前述のように一般にはＣＲＴや液晶ディスプレイなどが採用されることが多いが、このような表示デバイスにより例えば大画面化を図ろうとした場合、コストがかかるると共に設置条件等が厳しくなることから、その実現は困難である。
【０００６】
また、コンピュータ化されたホワイトボードとして機能するプロジェクションディスプレイの場合、操作画面や表示画面の大型化は容易に実現可能なのであるが、例えば上記したように赤外線発光ペンなどの特殊なポインティングデバイスが必要となる。
【０００７】
また、ビデオプレイスの場合には、手や人体のシルエットを利用して何らかのインタラクティブな操作を実現するため、その入出力間のインターフェイスが間接的であり、直接的な操作を望む場合には機能的に不十分となる。
このように、これまでの情報入出力装置ではインタラクティブな入出力環境を強化拡大するには様々な障害となる要因が存在する。
【課題を解決するための手段】
【０００８】
本発明は、入力情報に応答した所要の情報出力を行う情報入出力装置において、半透明面と、上記半透明面側の方向から入射する所定の波長帯域の光又は電磁波のみを像として捉える撮像手段と、上記撮像手段が受像すべき所定の波長帯域の光又は電磁波を、当該光又は電磁波が上記半透明面を透過しその後上記半透明面前の空間の操作体で反射して上記半透明面側に戻るように、上記半透明面に輻射する輻射手段と、上記半透明面前の空間の操作体により上記光又は電磁波が反射されたことに伴う上記撮像手段から入力された撮像信号の変化に基づいて、上記操作体により上記光又は電磁波が反射されている上記半透明面上における座標位置を検出する検出手段と、上記撮像手段が撮像すべき光又は電磁波の波長帯域を含まない可視光による画像を上記半透明面に対して投影表示可能に設けられる投影表示手段と、少なくとも入力情報として上記座標位置が入力可能とされ、この座標位置に応答した情報出力として、少なくとも上記半透明面に対して所要の内容の画像を投影表示するための上記投影表示手段に対する表示制御を含む所要の制御処理を実行可能とされる制御処理手段と、上記操作体から情報を受信することができる受信部と、を備え、上記受信部によって上記操作体から画像情報を受信し、上記制御処理手段は、上記半透明面に対して上記受信部により受信した画像情報を投影表示するための上記投影表示手段に対する表示制御処理を実行することとした。
【０００９】
さらに、上記制御処理手段は、上記操作体からの画像情報に基いて、上記輻射手段を制御して上記所定の波長帯域の光又は電磁波に対して強度変調を施し、該光又は電磁波によるデータ送信を行うこととした。
さらに、上記制御処理手段によるデータ送信は、上記操作体に対して行われることとした。
さらに、上記操作体からの画像情報は、該操作体を識別するＩＤ情報を含むものであることとした。
さらに、上記制御処理手段は、上記データ送信によって上記操作体に画像情報送信要求を行い、上記受信部により受信した該画像情報を投影表示するための上記投影表示手段に対する表示制御処理を実行することとした。
さらに、上記制御処理手段による上記操作体に対する画像情報送信要求は、上記操作体の表示手段に表示されている画像情報の送信要求であることとした。
さらに、上記制御処理手段は、上記送信要求によって上記受信部により受信した該画像情報を拡大表示が可能なよう上記投影表示手段に対する表示制御処理を実行することとした。
【発明の効果】
【００１０】
以上説明したように本発明は、所定波長帯域の光又は電磁波を反射するなどしてこれに状態変化（この状態変化が検出画像情報として反映される）を与えられさえすればこれを入力情報として認識することが可能となる。このため、入力操作のためには特殊なポインティングデバイスを必要とせず、本発明の基本的構成において説明したように、例えばユーザ自身の手や指を用いることによって入力操作を行うことが可能とされる。また、半透明面に近い位置（例えば半透明面の前面の中空位置）で入力情報としての検出対象物が認識可能なので、入力操作方法としても、操作パネルである半透明面に対して入力情報としての検出対象物を接触させることなく、その前面の空間に位置させることで入力情報としてとらえることが可能となる。
さらには、所定波長帯域の光又は電磁波を反射する面と吸収する面とを組み合わせることによって例えば二次元バーコード的なＩＤパターンを認識させ、認識したＩＤに応答した情報出力を行わせることが可能となる。
【００１１】
また、検出画像情報に基づいて得られる画像入力情報としては、半透明面に入力操作が与えられたときの位置情報を識別することが可能とされているので、例えば上記ＩＤ情報などの画像パターンによる識別情報に基づく出力情報に対して、位置情報に基づく出力情報を併合させるようにして出力させることが可能となる。つまり、例えば第１の実施の形態で説明したように、ユーザがＩＤパターンを認識させた半透明面上の位置に対応してメニュー画面を表示させることなどが可能となる。
【００１２】
また、本発明の半透明面は操作パネル及び表示パネルとして機能するのであるが、これにより、例えば半透明面に対して与えた入力情報に応答して半透明目に対して表示を行うようにすることができるため、直接的な入力操作が実現されることになる。また、従来のタッチパネルや各種表示デバイスとは異なり、半透明面のサイズの大型化も安価で容易に実現されることになる。
【００１３】
更に、検出画像情報に基づいて得られる画像入力情報のほか、例えば送信データを受信する受信手段を備えれば、単なる画像入力情報に基づく応答処理に加えて、時系列的に得られる送信データに基づいたより複雑な応答処理も同時に実行することが可能になる。そこで、一例として、先に説明した第３及び第６の実施の形態のようにして、受信データに応答して画像表示を行うように構成すれば、携帯用のパーソナルコンピュータやゲーム機などの表示機能を拡大することが可能となる。
【００１４】
このように本発明は、情報入力に際して上記のごとき自由度を与えると共に、表示パネルとして兼用可能な入力パネルとして大型化されたものを非常に簡略な構成でもって容易に提供できるようにすることで、容易にインタラクティブな入出力環境が強化拡大されるという効果を有している。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の実施の形態の情報入出力装置について説明する。なお、以降の説明は次の順序で行う。
＜１．実施の形態の基本的構成＞
（１−ａ．情報入出力装置の基本的構成）
（１−ｂ．入力情報の検出動作）
＜２．第１の実施の形態＞
＜３．第２の実施の形態＞
＜４．第３の実施の形態＞
＜５．第４の実施の形態＞
＜６．第５の実施の形態＞
＜７．第６の実施の形態＞
【００１６】
＜１．実施の形態の基本的構成＞
（１−ａ．情報入出力装置の基本的構成）
先ず、図１及び図２を参照して、本発明の実施の形態の基本的な構成について説明する。本発明ではこれより説明する情報入出力装置の基本的な構成をもとに後述する第１〜第６の実施の形態としての構成が実現されるものである。
【００１７】
図１は、本発明の実施の形態としての情報入出力装置の基本的構成を概念的に示している。
本実施の形態としての情報入出力装置１は、半透明面２、赤外線発光ダイオード素子（ＬＥＤ：Light Emitted Diode ）パネル３、ＣＣＤ(Charge Coupled Device) カメラ４、プロジェクタ５、及び制御装置６を備えて構成される。赤外線ＬＥＤパネル３、ＣＣＤカメラ４、及びプロジェクタ５は半透明面２の背面側に対して設けられる。
【００１８】
半透明面２は、例えば透明なガラス板に対してトレーシングペーパーのような見え方をする半透明膜を貼り合わせる、あるいは磨りガラスのような半透明の性質を有するものを利用するなどして形成され、後述するようなユーザの操作によって入力情報が与えられる操作パネルと、入力情報に応じた各種応答表示が行われる表示パネルとの両者の機能を併せ持つものとされる。
赤外線ＬＥＤパネル３は、例えばパネル面に対して多数の赤外線ＬＥＤが集合的に配列されることによって構成され、上記赤外線ＬＥＤから発光出力される赤外線光が半透明面の背面全体に対して照射されるように設けられる。上記赤外線ＬＥＤは制御装置６によって定常的に赤外線を発光するように駆動される。
なお、赤外線ＬＥＤパネル３としては、発光出力される赤外線光が半透明面２全体に対して照射されるのに充分な数の赤外線ＬＥＤが設けられればよい。また、後述するように、初期の赤外線画像に対する現在の赤外線画像の差分に基づいて半透明面２側から反射してくる画像情報を得るようにされることから、半透明面２全体に対して照射される赤外線光量が一律であるべき必要もない。従って赤外線ＬＥＤパネル３のサイズは、半透明面２よりもはるかに小さいもので済ませることができる。
【００１９】
ＣＣＤカメラ４は、撮像素子としてＣＣＤを用いたカメラ装置であり、この場合には、半透明面２に映る画像光として赤外線光の成分のみを撮像することにより、半透明面２に対して行われた操作を画像情報として認識するために設けられる。このため、ＣＣＤカメラ４の光学系の部分に対しては、赤外線領域の波長帯域のみを透過する赤外線透過フィルタ４ａが設けられる。また、ＣＣＤカメラ４により撮影される構図として半透明面２全体が含まれるようにその配置位置が設定される。
【００２０】
プロジェクタ５は、制御装置６から供給される画像情報に基づいて、可視光による画像光を半透明面２の背面に対して投影表示する。例えばユーザは、半透明面２に投影表示されたプロジェクタ５の画像を、半透明面２の前面側から観察することができる。ここで、プロジェクタ５の光学系には赤外線領域の波長を遮断する赤外線遮断フィルタ５ａが設けられているが、これにより、半透明面２に投影表示される画像光には赤外線が含まれなくなるため、プロジェクタ５の投影画像は、ＣＣＤカメラ４からは不可視となる。
【００２１】
制御装置６は、例えばマイクロコンピュータを備えて構成され、ＣＣＤカメラ４から供給される撮像信号から画像情報（映像データ）を得て、更にこの画像情報をもとに入力情報を得る。そして、この入力情報に基づいて、例えばプロジェクタ５により半透明面２に表示させる画像に関する表示制御を実行する他、各種所要の制御処理を行う。また、赤外線ＬＥＤパネル３の赤外線ＬＥＤの発光駆動を行う。
なお、上記赤外線ＬＥＤパネル３、ＣＣＤカメラ４及びプロジェクタ５の配置位置は、それぞれが果たすべき役割が充分機能することを考慮して設定されればよい。
【００２２】
図２は、上記制御装置６の内部構成例を示すブロック図である。この図に示す制御装置６において、ＬＥＤ駆動部１０は、赤外線ＬＥＤパネル３に設けられた複数の赤外線ＬＥＤを発光駆動するための回路部位である。
【００２３】
画像入力部１１は、ＣＣＤカメラ４から供給された撮像信号について所要の信号処理を施すことによって映像信号を生成して入力画像処理部１２に供給する。つまり、画像入力部１１では、半透明面２側からＣＣＤカメラ４を介して入射してきた赤外線光を映像情報として出力する。
【００２４】
入力画像処理部１２では、例えば画像入力部１１から供給された映像信号をデジタル信号による映像信号データに変換する。入力画像処理部１２においては、この映像信号データに基づいて得られる「画像情報（例えばフレーム単位の映像データ）」を利用して所要の解析処理等を実行することで、半透明面２に対して行われた操作等に基づく入力情報を得るようにされる。ここで画像情報に基づいて得られる入力情報としては、例えば、半透明面２に対して操作を行っている操作体の画像上の位置（座標）や画像の信号レベルなどが用いられる。この入力情報はデータベース駆動部１４に伝送される。また、上記映像信号データは、画像合成部１７に対しても供給可能とされている。
【００２５】
しきい値制御部１３は、入力画像処理部１２にて実行される入力情報に関する処理に必要なしきい値を設定して入力画像処理部１２に伝送する。上記入力画像処理部１２では、しきい値制御部１３において設定されるしきい値を利用して画像情報について解析を行うなど所要の処理を実行することで逐次必要とされる入力情報を識別する。また、本実施の形態では後述するようにして入力画像データのフレーム差分を算出することにより、現在の半透明面２の画像状態（検出画像情報）を得るようにされるが、フレーム差分演算に利用する基準値（基準画像入力レベル）等の情報も、後述するようにして、しきい値制御部１３に格納されるものとする。
【００２６】
データベース駆動部１４は、入力画像処理部１２により得られた入力情報を取り込み、この入力情報に基づいて適宜所要の処理を実行する。この際、データベース駆動部１４が実行すべき制御処理に必要なプログラムデータはデータベースメモリ１５に格納されており、データベース駆動部１４は、データベースメモリ１５に格納されたプログラムデータに基づいて所要の制御処理を実行することになる。
【００２７】
画像生成部１６は、データベース駆動部１４の制御によって、必要な画像データ（デジタル信号による映像信号データ）を生成して画像合成部１７に出力する。
画像合成部１７においては、必要があれば上記画像生成部１６から供給された映像信号データに対して、入力画像処理部１２から供給された映像信号データを合成してＲＧＢ信号生成部１８に対して出力する。
ＲＧＢ信号生成部１８では、上記画像合成部１７から供給された映像信号データについて、例えばアナログによるＲＧＢ信号に変換してプロジェクタ５に対して出力する。これにより、プロジェクタ５からは、半透明面２に対して行われる操作に応答した映像による画像光が半透明面２に対して照射出力されることになる。
【００２８】
（１−ｂ．入力情報の検出動作）
次に、上記構成による本実施の形態の情報入出力装置１における入力情報の検出方法について説明する。
前述のように、図１に示す半透明面２全体に対しては、その背面から赤外線ＬＥＤパネル３により赤外線光が照射されるのであるが、この赤外線光は半透明面２が半透明性を有することから、全ての赤外線光が半透明面２を通過するのではなく、幾分かの赤外線光がその半透明性の作用によって反射されることになる。
そして、本実施の形態においては半透明面２に対して何も操作が行われていないとされる状態のもとで、半透明面２にて反射される赤外線光をＣＣＤカメラ４により撮像して得られる映像信号データの初期レベルを「基準入力画像レベル」として記憶する。この基準入力画像レベルは、入力された映像信号データに基づいて例えば１フレームにおける画素ごとの信号レベルを検出することにより行うようにすればよい。この検出処理は、入力画像処理部１２により行われるものとされる。このようにして検出された基準入力画像レベルの情報はしきい値検出部１３に伝送され、ここで保持されることになる。
【００２９】
上記基準入力画像レベルの検出処理は、例えば図３のフローチャートに示すものとなる。この図に示すように、先ず入力画像処理部１２では、ステップＳ１０１において、ＣＣＤカメラ４から画像入力部１１を介して供給された映像信号から得られる１フレーム分の画像データに基づいて、上述のようにして画素ごとに信号レベルを検出し、この検出結果を基準入力画像レベルＬｉｎｔとして得る。なお、具体的には画素ごとの輝度信号成分のレベルを検出してこれを基準入力画像レベルＬｉｎｔとすることが考えられる。
入力画像処理部１２は、続くステップＳ１０２において、上記基準入力画像レベルＬｉｎｔをしきい値制御部１３に伝送して記憶させるように処理を実行する。
【００３０】
なお、基準入力画像レベルＬｉｎｔを検出してしきい値制御部１３に記憶させる処理（上記図３に示す処理動作）は、例えば当該情報入出力装置の電源オン時などに実行させたり、あるいは何らかのユーザの指示によって必要なときに基準入力画像レベルＬｉｎｔを更新させるように構成することが考えられる。
【００３１】
上記のようにして基準入力画像レベルＬｉｎｔの情報が保持された状態のもとで、入力情報として扱われる画像情報は次のようにして得るようにされる。
図４は、入力情報のもととなる画像情報（以下、この「画像情報」については特に「検出画像情報」という）を得るための入力画像処理部１２の処理動作を示すフローチャートである。この場合、入力画像処理部１２は、先ずステップＳ２０１において現在の入力画像レベルＬｐｒｓを検出する処理を実行する。ここでいう入力画像レベルＬｐｒｓは、現在においてＣＣＤカメラ４により撮像された、赤外線光に基づく半透明面２の画像についてのフレーム単位のデータであり、このフレーム単位の画像データにおける画素ごとの信号レベルを検出して得られる情報である。
続いて、入力画像処理部１２はステップＳ２０２において、基準入力画像レベルＬｉｎｔと上記現在の入力画像レベルＬｐｒｓの差分を演算する（Ｌ＝Ｌｐｒｓ−Ｌｉｎｔ）ことによって差分入力画像レベルＬを算出する。具体的には、基準入力画像レベルＬｉｎｔと上記入力画像レベルＬｐｒｓとして得られたデータ値を、同一位置の画素ごとに差分を求めることによって差分入力画像レベルＬを得るようにされる。従って、差分入力画像レベルＬとしては、常に基準入力画像レベルＬｉｎｔに対する現在の入力画像レベルＬｐｒｓとの信号レベル差が画素ごとに得られることになる。そして、入力画像処理部１２は、ステップＳ２０３に進み、上記差分入力画像レベルＬに基づいて、現在の検出画像情報（フレーム単位で画素ごとのレベル情報を有する形式の映像データ）を生成するようにされる。
【００３２】
上記のごとき検出画像情報の検出動作を、実際のユーザの半透明面２の前面側での動きと共に説明する。例えばユーザは、半透明面２の前面側において赤外線を反射可能な何らかの物体を利用して半透明面２の前面側において操作を行うようにするのであるが、ここでは、説明の簡単のためにユーザ自身の指や身体を用いることとする。
ここで、例えば図１に示すように半透明面２の前面側においてユーザが半透明面２から遠く離れた距離にいるときには、例えば半透明面２を通過してユーザの身体に反射するとされる赤外線光量は少ないことから、そのほとんどが半透明面２の前面から背面を通過して戻ることはない。このとき、上述した基準入力画像レベルＬｉｎｔと上記現在の入力画像レベルＬｐｒｓとは同等であり、入力画像処理部１２では、差分入力画像レベルＬとしてほぼ０であると検出することになる。つまり、差分入力画像レベルＬに基づいて生成される検出画像情報としては、初期状態と同様の変化の無いとされる状態が得られることになる。
【００３３】
ここで、例えば上記の状態からユーザが徐々に半透明面２に対して近づいていったとすると、半透明面２を通過してユーザの身体に反射する赤外線光のうち、半透明面２を通過して背面側に到達する光量が次第に増加していくことになる。この状態を、入力画像処理部１２からみた場合には、ユーザの身体に対応する画像部分の基準入力画像レベルＬｉｎｔに対する現在の入力画像レベルＬｐｒｓのレベルが徐々に増加していく状態として捉えられる。これに応じて、検出画像情報としては算出される差分入力画像レベルＬに応じて、半透明面２に接近するユーザの姿が徐々に捉えられていくことになる。
そして、半透明面２に対して例えばユーザの体が非常に接近した状態（しきい値の設定にもよるが例えば半透明面２から３０ｃｍ以内）では、その人体に反射した赤外線光がほとんど半透明面２を通過して背面側に到達することになるので、その身体形状がより鮮明な状態の検出画像情報が生成されることになる。
【００３４】
また、ここでユーザがその身体を半透明面２からある程度距離を置いた状態で、例えば自身の指を手前にかざして半透明面２の非常に近い位置にあるようにしたとする。
この場合、半透明面２に近接するユーザの指は他の身体部分よりも多くの赤外線光を反射するため、入力画像処理部１２において得られる画像情報としては、ユーザの指にあたる位置の画像領域のレベルが強く、その背景となる部分においてユーザの身体部分にあたる位置の画像領域のレベルは半透明面２からの距離に応じて弱くなることになる。そして、例えばこの状態のもとで、しきい値制御部１３にて設定された所定のしきい値と検出画像情報とを比較すれば、容易にユーザの指にあたる部分のみの画像を背景から分離させることが可能であり、同様にしきい値の設定によっては、半透明面２から離れた距離にあるユーザの身体部分のみを抽出した画像情報を得ることも可能である。このようなしきい値は、前述のように実際に必要とされる条件に応じた値がしきい値制御部１３において設定されるものである。
【００３５】
このようにして、半透明面２の前面側の状態を検出する構成を採ることにより、この半透明面２を例えばインタラクティブなインターフェイスのための操作パネルとして機能させる場合には次のような利点が得られる。
先ず、本実施の形態では半透明面２側からの赤外線の反射光量によって得られる画像に基づいて入力情報を得ることになるので、入力情報を与えるための物理的対象としては、特に特殊なポインティングデバイスを必要とせず、１つには、赤外線を反射する物体であればその種類は問わないことになる。つまり、操作体としては、上述のように人体全体もしくはその一部や、その他の何らかの物体を問題なく使用することができる。
また、例えば黒色は赤外線光を反射せずに吸収する作用があることなど利用し、後述するようにして、例えば黒色による特定パターンの図柄を半透明面２に対して与えることで、この図柄のパターンを特定の意義を有する入力情報（ＩＤ情報）として扱うようにすることも可能となる。
さらには、ＣＣＤカメラ４により赤外線光の光量変化が撮像さえされればこれを入力情報として扱えることになるので、入力情報として例えば赤外線を発光させるポインティングデバイスなどを用いて、積極的に半透明面２に対して赤外線光を与えるような方法を採ることも可能である。
【００３６】
また、例えばタッチパネルなどでは操作パネル面に対して指などの操作体を接触させる必要があるが、本実施の形態の場合には操作体の位置や動きは赤外線光の反射として検出されればよいことから、半透明面２に操作体を接触させる必要性はなく、その前面の空間において操作を行うような方法を採ることができる。更に、本実施の形態では、半透明面２側からの赤外線の反射光により得られる画像に基づいて入力情報を得るために、画像認識さえ可能であれば複数の操作体（即ち入力情報）を同時に認識することが可能である。
【００３７】
また、上述したように赤外線の反射光量は、操作体の半透明面２に対する距離に応じて変化するために、例えば操作体の半透明面２からの距離を入力情報として利用することも考えられる。
【００３８】
更に、半透明面２は前述のように例えば透明のガラス板などに対してトレーシングペーパーのような半透明の薄膜を組み合わせたり、磨りガラスのようなものを利用するなどの簡略な手段により構成可能とされ、特にパネル構造として表示のための駆動回路などを設ける必要がないので、低コストで容易に大型化を実現することができ、この点で大型化が困難なタッチパネルなどとは大きく異なる。
【００３９】
そして、半透明面２は画像表示パネルとしての機能も有することから、例えば後述するように操作対象となるメニュー画面のようなものを表示させた上で、ユーザがこのメニュー画面に対して指などにより操作を行えるようにするなどの直接的な操作を実現することも容易に可能となる。
このように、本実施の形態としての情報入出力装置では、その入力情報を入力するのに多くの可能性が得られるために、これまでには無かったようなインタラクティブな入出力環境を容易に構築することができる。
【００４０】
これまでの説明による構成を踏まえて、半透明面２に対して行われた操作により得られた入力情報に応答した本実施の形態の情報入出力装置１の動作として、ユーザがメニュー操作を行う場合を例に挙げ、これについて図５及び図６を参照して説明する。
【００４１】
図５には、ユーザが情報入出力装置１を利用してメニュー操作を行う場合が示されており、ここでは半透明面２を前面側からみた状態が示されている。
例えばこの図に示すように、ユーザが半透明面２の前面に近づいたとすると、先ず、情報入出力装置の制御装置６では、このときに得られる検出画像情報に基づいてユーザが近づいた半透明面２上の位置を認識する。そして、半透明面２上においてユーザが近づいたと認識された位置に対応させて、図のようにメニュー画面Ｍを表示するように表示制御を行う。このメニュー画面Ｍは当然のこととしてプロジェクタ５から半透明面２に対して投影された画像である。
【００４２】
そして、ユーザ自身が位置している付近の半透明面２上にメニュー画面Ｍが表示された状態のもとで、例えばユーザは自身の指を用いて、メニュー画面Ｍにおいて操作項目が表示されている任意の領域を指さすように指定したとする。このとき、ユーザの指先は、半透明面２上から３ｃｍ〜３０ｃｍ程度の範囲内の距離にあるようにされる。
【００４３】
これにより、例えばメニュー画面Ｍにおいては、ユーザが指し示した操作項目の領域が選択されたことを示す何らかの指示表示（例えば選択領域に対するカーソルの配置表示や所定の形態による強調表示など）が行われることになる。この強調表示のための表示制御は、検出画像情報に基づいてユーザの指が指し示している領域の座標を検出することにより実現される。
ここでは、上記のようにして指示表示が開始された状態から所定時間（例えば数秒程度）経過したときにエンター操作が行われたとみなすこととする。そして、ユーザがエンター操作を行った、つまり、特定の操作項目が強調表示された状態を所定時間以上維持させたとすると、指定された操作項目に従った所要の制御動作を実行することになる。例えば、指定された操作項目に従って、他の階層のメニュー画面を表示させたり、当該情報入出力装置に対して所望の動作を実行させたりすることになる。あるいは、当該情報入出力装置が何らかの外部機器を制御可能に構成されており、メニュー画面がその外部機器の動作についての操作制御を行うためのものであるとすれば、指定された操作項目に従って外部機器の動作を制御することになる。
なお、ユーザが半透明面２の前面から離れていき、ユーザと半透明面２との間にある程度以上の距離があいた場合には、それまで表示されていたメニュー画面Ｍは自動的に消去されるものとされる。
【００４４】
ここで、図６のフローチャートに、上記図５に示した利用例に対応して実行される制御装置６の処理動作を示す。この図に示す処理動作は、主として制御装置６内の入力画像処理部１２が検出画像情報に基づいて入力情報を認識すると共に、データベース駆動部１４がデータベースメモリ１５に格納されたプログラムに従って、上記入力情報に基づいて適宜処理動作を実行することにより実現されるものである。
【００４５】
この図に示すルーチンにおいては、先ずステップＳ３０１において現在の検出画像情報から入力情報として「接近体」が検出されるか否かについて判別を行う。ここで、「接近体」とは半透明面２に対して所定の距離範囲まで接近した何らかの検出対象（図５ではユーザ自身の身体とされている）をいうものとされる。
この「接近体」の検出は、例えば入力画像処理部１２が検出画像情報と接近体の検出用に設定されたしきい値（しきい値制御部１３により設定される）を比較して、例えば検出画像情報のある領域においてこのしきい値以上の値が得られた場合には「接近体有り」と検出し、しきい値以上の値が得られる領域がない場合には、「接近体無し」と検出することになる。上記接近体検出用のしきい値は、例えば通常、人体（ユーザ）が半透明面２にある程度（例えば数十ｃｍ）近づいたときに検出画像情報として得られる人体部分の画像レベルに基づいて設定されればよい。
【００４６】
上記ステップＳ３０１において接近体が検出されなかった場合にはステップＳ３０８に進んで、ここで現在メニュー画面Ｍが表示中であるか否かについて判別が行われ、ここでメニュー画面Ｍが表示されていない場合には元のルーチンに戻る（即ち再度ステップＳ３０１の処理に移行する）が、メニュー画面Ｍが表示中の状態である場合にはステップＳ３０９に進み、メニュー画面Ｍを消去するための制御処理を実行する。このメニュー画面Ｍの消去処理は、例えばデータベース駆動部１４が画像生成部１６に対するメニュー画面Ｍの画像データの生成処理を停止することで実現される。
【００４７】
これに対して、ステップＳ３０１において接近体が検出された場合には、ステップＳ３０２に進んで、半透明面２上における上記接近体の位置を検出することが行われる。この処理は、例えば検出画像情報における接近体の部分が占有する領域の座標を検出することで可能となる。この場合、検出すべき座標としては接近体の領域の所定の一地点であっても、所定規則に従って求められる複数地点であっても構わなく実際の使用環境等に応じて任意に設定されればよい。
【００４８】
続くステップＳ３０３においては、上記ステップＳ３０２にて検出された接近体の位置に応じた半透明面２の領域に対してメニュー画面Ｍを表示させるための制御を実行する。この制御処理は、例えばデータベース駆動部１４がデータベースメモリ１５に格納されているメニュー画面表示用のプログラムに基づいて、画像生成部１６において所要の種類のメニュー画面の画像データが作成されるように制御を行うことになる。
【００４９】
この際、データベース駆動部１４は、ステップＳ３０２にて検出された接近体の位置に対応する表示領域に対して、例えばメニュー画面の画像データをマッピングするようにして、表示用画像データを作成する。この結果、最終的にプロジェクタ５から投影される画像としては、半透明面２におけるユーザが近づいた位置に対してメニュー画面Ｍが表示されたものとなる。
【００５０】
上記ステップＳ３０３の処理が実行された後は、ステップＳ３０４において、現在表示中のメニュー画面Ｍの操作項目とされる表示領域内において、「操作体」が検出されたか否かについて判別が行われる。ここで、「操作体」とは半透明面２の前面において至近距離（しきい値の設定にもよるが３ｃｍ〜３０ｃｍ程度）にある物体（検出対象）のことをいうものとされる。つまり、図５においてはメニュー画面Ｍを指し示す指が対象となる。
そして、この「操作体」の検出処理は、先ず、操作体検出用としてしきい値制御部１３において設定されたしきい値と、検出画像情報の画像レベルとを比較することにより、操作体の有無を検出することが行われる。このとき設定されるしきい値としては、半透明面２の前面において至近距離にある物体を背景から分離して検出する必要上、前述した接近体検出用のしきい値よりも大きい値が設定される。
そして、例えばしきい値と比較した結果、操作体が検出されたとすれば、その操作体が検出された検出画像情報上の座標位置を検出し、この検出位置とメニュー画面Ｍが表示されているとされる画像情報上の位置が一致しているか否かを判別することで、現在表示中のメニュー画面の表示領域内における操作体の有無を検出することになる。
【００５１】
上記ステップＳ３０４においてメニュー画面Ｍの操作項目とされる表示領域内において操作体が検出されない場合とは、検出画像情報上に操作体が検出されなかった（ユーザが至近距離で半透明面２上を指し示していないような状態）か、或いは、検出画像情報上に操作体を検出したとしても、この操作体の検出位置（座標）がメニュー画面Ｍの表示領域内に対応する画像情報上の領域に無かった（ユーザが至近距離で半透明面２上を指し示していた位置がメニュー画面Ｍの操作項目以外の領域であったような状態）ことになるが、このような場合にはステップＳ３０１に戻るようにされる。
【００５２】
なお、ここで操作体が人体の手又は指に特定されるような場合には、ステップＳ３０４における操作体の検出処理として、例えば、データベースメモリ１５に対して操作時に現れる人体の手又は指の形状の情報を記憶させておき、この手又は指の形状の情報と、検出画像情報として得られた画像形状とを比較して、その一致状態をみて操作体の検出の有無を識別するように構成することが可能である。即ち、本発明では、画像情報から入力情報を検出するために、検出画像情報に得られる画像の形状に基づいても、これを何らかの意義を有する入力情報の１つとして認識可能なわけである。
【００５３】
ステップＳ３０４においてメニュー画面Ｍの操作項目とされる表示領域内において操作体が検出されたと判別された場合には、ステップＳ３０５に進んで、操作体が検出された位置に対応するメニュー画面Ｍの操作項目について指示表示が行われるように制御を実行してステップＳ３０６に進む。
【００５４】
ステップＳ３０６の処理はエンター操作の待機処理となる。前述のように、ここでのエンター操作は、指示表示が開始された状態から所定時間経過したときに確定されるものと規定している。そこで、ステップＳ３０６においては、ステップＳ３０４にて検出された操作体の検出状態が所定時間以上維持されるか否かについて検出を行うようにしている。この検出処理は、入力画像処理部１２において現在の検出画像の状態遷移を監視することにより行われる。
そして、例えば現在の検出画像情報上から操作体が検出されなくなったり、あるいは現在の検出画像情報上における操作体の検出位置が、ステップＳ３０４にて検出されたメニュー画面Ｍの操作項目とされる表示領域内から外れたことが検出されたような場合には、ステップＳ３０６からステップＳ３０１以降の処理に戻ることになる。（この処理により、例えばユーザがこれまでとは異なるメニュー画面Ｍ上の操作項目を指し示すように、その指定位置を変更した場合には、新たに指定されたメニュー画面Ｍ上の操作項目に対して指示表示が行われたりすることになる。）
【００５５】
これに対して、ステップＳ３０６において、直前のステップＳ３０４にて検出された操作体の検出状態が所定時間以上維持されたと判別された場合には、エンター操作が行われたものとしてステップＳ３０７に進む。
ステップＳ３０７においては、メニュー画面Ｍ上において操作体が検出された位置の操作項目に応じた所要の制御処理が実行される。このステップにおける処理は、データベース駆動部１４がデータベースメモリ１５に格納されたプログラムに従って実行する。
【００５６】
＜２．第１の実施の形態＞
次に、これまで説明してきた情報入出力装置１の構成をもととする実施の形態として、先ず、第１の実施の形態について図７〜図１１を参照して説明する。
図７には、第１の実施の形態としての情報入出力装置１をユーザが利用している状態が概念的に示されている。図７に示す第１の実施の形態としての情報入出力装置１の構成、及び制御装置６内部の構成は、先に図１及び図２に示した構成と同様でよいものとされる。
【００５７】
図７においては、ユーザが半透明面２の前に位置した状態でＩＤカード３０を手に持っている状態が示されている。このＩＤカード３０の裏面には、例えばユーザを特定するための情報としてのＩＤパターンが描かれている。
図８は、ＩＤカード３０の裏面に描かれたＩＤパターンの一例を示すものである。ＩＤパターン３０ａは、例えば白地のＩＤカード３０に対して、黒色の特定のパターンによる、いわゆる二次元バーコードといわれる図柄により描かれている。
【００５８】
例えば、図７に示されているユーザは、手に持っているＩＤカード３０の裏面に描かれたＩＤパターン３０ａを半透明面２に対して向けて近づけるようにする。
例えば黒色は赤外線光を反射せずに吸収する作用を有することから、上記した状態時において検出画像情報として得られたＩＤカード３０に相当する領域部分には、ちょうど図８に示したようなＩＤパターン３０ａの画像が得られることになる。そして、本実施の形態の情報入出力装置１の制御装置６では、上記のようにして得られるＩＤパターン３０ａの画像を、所定の意義内容を特定する入力情報、つまりＩＤ情報として識別し、この識別したＩＤ情報に従って所要の応答動作を実行するようにされる。
【００５９】
認識したＩＤ情報に基づいて実行すべき処理としては、その使用形態に応じて各種考えられるのであるが、一例としては、図９に示すようにしてＩＤ情報に応じて特定される種類のメニュー画面を表示させることが考えられる。
図９の場合においては、ＩＤカード３０はユーザを識別するためのカードであり、その裏面に描かれているＩＤパターン３０ａとしてはユーザごとに固有のパターンが決められているものとする。そして、ユーザの一人である甲氏が裏面のＩＤパターン３０ａを半透明面２側に見せるようにして自分が所有するＩＤカード３０を差し出したとすると、例えば図のように甲氏に関する情報内容のメニュー画面Ｍがプロジェクタ５により表示される。また、このときのメニュー画面Ｍは、図５により説明した場合と同様に、例えば実際にユーザが立っている位置に対応する半透明面２上の位置に表示されるものとする。このようにしてメニュー画面Ｍの表示位置が設定されれば、ユーザは表示されたメニュー画面Ｍを操作するために、これまでの立ち位置から移動しなくて済むことになる。なお、以降のメニュー画面Ｍに対する操作は、図５にて説明した方法に準ずればよい。
【００６０】
続いて、認識したＩＤ情報に基づいて実行すべき応答動作としての他の例を図１０に示す。
図１０（ａ）においては、書類フォルダ３１を手に持ちながら半透明面２の前に立っているユーザの姿が示されているが、この場合には、図１０（ｂ）に示すようにして書類フォルダ３１の裏面に対してＩＤパターン３１ａが描かれているものとされる。このＩＤパターン３１ａは、先に図８に示したＩＤパターン３０ａと同様に黒色により描かれる二次元バーコードとされて、フォルダごとの識別を可能とするためのものとされる。
この場合には、例えば図１０（ａ）に示すようにして、ユーザは書類フォルダ３１の裏面を半透明面２側に向けて近づけるようにする。これにより、上記図９の場合と同様に、情報入出力装置１の制御装置６においてＩＤパターン３１ａがＩＤ情報として認識されることになる。そして、ここでは認識したＩＤ情報に基づいて、ユーザが手に持っている書類フォルダ３１に関する内容の情報を呼び出すためのメニュー画面Ｍが表示される。また、このときもメニュー画面Ｍは、ユーザの立ち位置に対応するようにして半透明面２に対して表示されることになる。
【００６１】
上記図９又は図１０に示すような動作を実現するための制御装置６の処理動作を図１１に示す。なお、ここでは図９の動作に対応するものとして説明を行う。 図１１に示す処理動作が実行可能とされるためには、データベースメモリ１４に対して、予め用意されたＩＤパターン３０ａのすべてのパターンを識別可能とするためのＩＤパターンデータと、これら各ＩＤパターンデータと個々のユーザとの対応を示すテーブルデータが格納されていることと、更に、各ユーザに対応するメニュー画面の内容を有するデータが格納されていることが前提となる。
【００６２】
図１１においては、先ずステップＳ４０１において、検出画像情報からＩＤパターン３０ａが認識されるのを待機している。この処理は、例えば入力画像処理部１２において、検出画像情報をＩＤパターン認識用に設定された所定のしきい値（しきい値制御部により設定される）と比較することによって、検出画像情報の背景から分離されたＩＤパターンの画像データを、データベース駆動部１４がを取り込み、この画像データについてデータベースメモリ１５に格納されているＩＤパターンデータとの比較参照を行うことにより、ＩＤパターンが存在するか否かを判別することにより行われるものとされる。
【００６３】
そして、ステップＳ４０１において、何らかのＩＤパターン３０ａが認識されたのであれば、先ずステップＳ４０２において、例えば入力画像処理部１２により検出されたＩＤパターン３０ａの検出画像領域内における位置を識別し、この識別情報をデータベース駆動部１４が位置情報Ｐｏｓとして保持するようにされる。
続くステップＳ４０３においては、例えばデータベース駆動部１４の処理として、認識されたＩＤパターンに対応するユーザ名を上記テーブルデータを参照することによって特定し、特定されたユーザ名に対応するメニュー画面のデータを読み出すようにされる。
そして、データベース駆動部１４は、ステップＳ４０４において上記ステップＳ４０３の処理により読み出したメニュー画面のデータに基づいて画像生成部１６によりメニュー画面Ｍの画像が生成されるための制御を行うのであるが、このとき、ステップＳ４０３にて検出された位置情報Ｐｏｓを利用して、この位置情報Ｐｏｓに対応する半透明面２上の位置に対してメニュー画面Ｍが表示されるように、画像処理時に関する制御を実行することになる。
なお、図１０に示した動作もユーザ名の代わりにフォルダが特定されるようにすると共に、ＩＤ情報に応じてフォルダに関するメニュー画面が表示されるように、データベースメモリの記憶内容及び処理動作が変更されさえすれば、上記図１１に示す処理動作に準じて実現することが可能である。
【００６４】
＜３．第２の実施の形態＞
本発明としてＩＤ情報を認識するのにあたっては、上記のように検出画像情報として検出する構成には限定されず、例えば、専用のＩＤ認識装置を設けるように構成してもよい。そこで次に、このような専用のＩＤ認識装置が設けられた構成について、本発明の第２の実施の形態として図１２及び図１３を参照して説明する。
図１２は、第２の実施の形態としての情報入出力装置に対するユーザの利用形態を示しているものとされ、ここでは半透明面２に対してＩＤカード３０を持ったユーザが立っている様子が示されている。
【００６５】
この場合、例えば半透明面２は枠ｗｋに対して填められるようにして設置されており、この枠ｗｋに対してＩＤ認識装置２０が掛けられるようにして設置されている。このようにＩＤ認識装置２０を独立的に設ける構成を採る場合、多様な方法によりＩＤ情報の認識することが可能になる。
一例として、ＩＤ認識装置が撮像装置などであれば、左記の実施の形態において用いられたバーコードなどによる何らかの図柄をＩＤカードに描いておくことによりＩＤ情報を認識させることが可能であるほか、撮像装置がカラー対応の構成を採るのであれば、図柄により特定される色の相違をＩＤ情報として認識させることなども可能となる。
【００６６】
また、ＩＤ情報をＩＤカード３０に磁気記録したうえでＩＤ認識装置２０がこの磁気情報に基づいてＩＤ情報を検出可能に構成したり、さらには、電波や所定の波長帯域による光（この場合には、赤外線光とは異なる帯域であることが好ましい）や電磁波によって変調したＩＤコードデータを送信可能なようにＩＤカード３０を構成すると共に、ＩＤ認識装置２０ではこのＩＤコードデータを受信復調することによりＩＤ情報を得るように構成することなどが考えられる。
さらには、ＩＤカード３０を用いることなく、例えば個人を特定するのであれば指紋や声紋などをＩＤ情報として認識可能に構成することも可能とされる。
【００６７】
図１２においても、その利用形態として、ＩＤカード３０はユーザ（甲氏）を特定する識別情報としてのＩＤ情報を有しているものとされ、上記したようないずれかの方法に従ってＩＤ認識装置２０にＩＤ情報を認識させたことにより、半透明面２に対して甲氏専用のメニュー画面Ｍが表示された状態が示されている。
【００６８】
ここで、上記したような第２の実施の形態としての情報入出力装置１Ａの構成を図１３に示す。なお、この図では半透明面２は省略されているが当然のこととして赤外線ＬＥＤパネル３、ＣＣＤカメラ４，及びプロジェクタ５がその背面にあるように設けられているものとされる。また、図２と同一部分には同一符号を付して説明を省略する。
図１３に示す情報入出力装置１Ａでは、図１２にて説明したＩＤ認識装置２０が設けられている。このＩＤ認識装置２０は、所定のＩＤ認識方式に従って得られたＩＤ情報をデータベース駆動部１４に供給するようにされている。このＩＤ認識装置２０の内部構成は、実際に採用されるＩＤ認識方式に応じて適宜変更されることになる。
【００６９】
なお、本実施の形態の情報入出力装置１Ａにより認識したＩＤ情報に基づくメニュー画面Ｍの表示制御については、フローチャートによる図示は省略するが、この場合には、制御装置６のデータベース駆動部１４が、情報入出力装置１Ａにより認識したＩＤ情報から特定したメニュー画面のデータをデータベースメモリ１５から読み出して、このメニュー画面についての表示制御を行うことになる。
この際、例えば、検出画像情報内において検出されたユーザの撮像画像の位置情報（座標）に対応する半透明面２上の位置に対してメニュー画面を表示するように構成すれば、先の実施の形態と同様にして、ユーザの立ち位置のちょうど前あたりの半透明面２における表示領域に対してメニュー画面Ｍを表示させることが可能となる。
【００７０】
＜４．第３の実施の形態＞
図１４は、本発明の第３の実施の形態としての情報入出力装置１Ｂの構成を概念的に示すものであり、例えば図１と同一部分については同一符号を付して説明を省略する。
図１４に示す情報入出力装置１Ｂにおいては、受信装置２１が備えられている。この受信装置２１は、例えば赤外線により空間伝送されるデータ信号を受信して制御装置６伝送するように設けられている。本実施の形態の制御装置６では、受信装置２１から供給されるデータ信号を利用して各種所要の制御処理を実行可能なように構成されているものである。また、本実施の形態の情報入出力装置１Ａは、後述するようにして、赤外線ＬＥＤパネル３から出射される赤外線光に対して所要のデータに基づいて強度変調を施すことによって、赤外線によるデータ送信を外部に対して行うことができるように構成されている。
なお上記受信装置２１は、半透明面２の前面から送信される赤外線信号が良好に受信可能な位置に設置されればよく、実際の情報入出力装置１Ｂの設置環境によっても適切な配置位置は異なってくるため、ここでは特に限定されるものではない。
ところで、図１４においては、半透明面２の全面側に比較的近接した状態でパーソナルコンピュータ装置４０を操作しているユーザの姿が示されている。この場合、パーソナルコンピュータ装置４０は、例えば筐体の背面部等に対して、図８にて説明したようなＩＤパターンが付けられていると共に、赤外線により当該情報入出力装置１Ｂと送受信を行うことのできる赤外線通信機能が備えられているものとされる。なお、このパーソナルコンピュータ装置４０と併用した本実施の形態の情報入出力装置１Ｂの利用例については後述する。
【００７１】
図１５は、情報入出力装置１Ｂに備えられる制御装置６内部の構成例を、本実施の形態としての情報入出力装置１Ｂの全体構成と共に示すブロック図であり、図２及び図１３と同一部分については同一符号を付して説明を省略する。
先ず、図１５においては制御装置６におけるデータベース駆動部１４の内部構成として、例えば受信装置２１から時系列的に送信されてくるデータに対応するための構成が示されている。
【００７２】
この場合、データベース駆動部１４は、ＣＰＵ(Central Processing Unit) １４ａ、メモリ１４ｂ、アドレスカウンタ１４ｃ、及びクロック発生器１４ｄ等を備えて成るものとされている。ＣＰＵ１４ａは、入力画像処理部１２から供給される入力情報（半透明面２をＣＣＤカメラ４により撮像して得られる情報）及び受信装置２１から供給されるデータ信号に基づいて所要の制御処理を実行可能に構成されている。メモリ１４ｂは、ＣＰＵ１４ａが制御処理を実行する際に必要とされる上記入力情報やデータ信号等の各種データや各種演算処理に必要とされるデータを一時保持するために設けられる。このメモリ１４ｂに対するデータの書き込み及び読み出し制御は、アドレスカウンタ１４ｃにより発生された書き込みアドレス及び読み出しアドレスに基づいてＣＰＵ１４ａが実行する。また、ＣＰＵ１４ａの処理動作は、クロック１４ｄにより発生される所定周波数のクロックに基づいたタイミングにより実行される。このクロック１４ｄは、例えば水晶発振子を備えて構成される。
【００７３】
また、本実施の形態の情報入出力装置１Ｂでは、前述のようにデータ信号を赤外線光により強度変調して外部に送信可能とされているが、これに対応して、本実施の形態の制御装置６においてはＬＥＤ強度変調部１９が設けられている。
例えば、所要のデータ信号を送信する必要がある場合、ＣＰＵ１４ａは送信すべきデータ信号をＬＥＤ強度変調部１９に対して出力する。ＬＥＤ強度変調部１９では、入力されたデータ信号に対して所定方式に従った変調処理を施すことによって、データ信号に応じてそのレベルが変調された駆動信号を生成して出力する。ＬＥＤ強度変調部１９では、ＬＥＤ強度変調部１９にて生成された駆動信号に基づいて赤外線ＬＥＤパネル３のＬＥＤを発光駆動することになるが、これにより、赤外線ＬＥＤパネル３は、ＬＥＤの発光強度変化によりデータ信号を送信する送信部として機能することになる。
【００７４】
このようにして構成される第３の実施の形態としての情報入出力装置１Ｂの利用例について図１６を参照して説明する。
図１６においては、ユーザがパーソナルコンピュータ装置４０を使用しながら半透明面２の前面に位置している状態が示されている。なお、この図に示されているパーソナルコンピュータ装置４０は、先に図１４にて説明したものと同様とされ、前述のように背面側にはＩＤパターンとしての所定の図柄が付けられていると共に、情報入出力装置１Ｂ間との通信を可能とするための赤外線通信機能を備えているものとされる。なお、ここでパーソナルコンピュータ装置４０に付けられたＩＤパターンが意味する内容としては、半透明面２に対して接近した対象が、当該情報入出力装置１Ｂとの対応機能（ここでは少なくとも相互通信可能であることが条件となる）を有するパーソナルコンピュータ装置であることを示すものであればよいものとされる。
【００７５】
ここで、例えばユーザが、その背面側を半透明面２に対して対向させるようにして現在操作中のパーソナルコンピュータ装置４０を半透明面２に近づけたとする。
上記の状態のもとでは、情報入出力装置１Ｂ側の制御装置６において、検出画像情報に基づいて得られる入力情報として、パーソナルコンピュータ装置４０の背面にあるＩＤパターンの情報が得られることになるのであるが、制御装置６のデータベース駆動部１４（ＣＰＵ１４ａ）では、この入力情報として得たＩＤパターンに応答して、パーソナルコンピュータ装置４０に対してその表示データ（現在パーソナルコンピュータ装置４０のディスプレイパネルに４０ｂに表示中の画像と同一の画像データ）の送信を要求するため信号を送信する。この送信は、前述のようにして、赤外線ＬＥＤパネル３から強度変調によりＬＥＤを発光駆動するようにして行われるものである。
一方、赤外線通信機能を有するパーソナルコンピュータ装置４０では、上記のようにして送信される指示信号を受信する。そして、この受信した指示信号に応答して、現在ディスプレイパネル４０ｂに表示中の画像と同一内容の画像データを表示データとして赤外線信号により送信出力する。なお、このとき送信される画像データの形式については特に限定されるものではなく、実際の赤外線送信に適合する形式が任意に選択されてかまわない。
【００７６】
上記のようにして送信された表示データは、情報入出力装置１Ｂに設けられた受信装置２１にて受信されて制御装置６に対して供給される。制御装置６では、供給された画像データを例えばメモリ１４ｂに対して一時蓄積しながら、適宜、画像生成部１６に対して供給することで、例えば、画像生成部１６において、プロジェクタ５により表示するのに適合する形式の画像データを生成する。ここで、例えば送信されてくる表示データについて送信に適合させるための所定のエンコード処理や圧縮処理等が施されているのであれば、受信した表示データのデコード処理及び伸張処理等を実行可能なように、上記画像生成部１６及びデータベース駆動部１４が構成されることになる。
このようにして、画像生成部１６にて生成された画像が、画像合成部１７、ＲＧＢ信号生成部１８を介してプロジェクタ５に供給されることで、例えば図１６に示すようにして、パーソナルコンピュータ装置４０のディスプレイパネル４０ｂに表示されているものと同一のモニタ画像ＧＭＮが、半透明面２上に対して表示されることになる。
ここで、大型の半透明面２に対しては、ディスプレイパネル４０ｂに表示中の画像を拡大して表示することが可能であり、例えば具体的な利用形態としては、会議などで司会者が手元のパーソナルコンピュータを操作しながら説明を行うことなどが考えられる。
【００７７】
図１７は、上述したパーソナルコンピュータ装置４０のディスプレイパネル４０ｂに表示中の画像を半透明面２に対して拡大表示するための制御装置６（ＣＰＵ１４ａ）の処理動作を示すフローチャートである。
この図に示すように、先ずＣＰＵ１４ａは、ステップＳ５０１において検出画像情報に基づいて得られる入力情報として何らかのＩＤパターンが認識されるのを待機している。
そして、ここでＩＤパターンが認識されたことが識別されると、ＣＰＵ１４ａはステップＳ５０１に進んで、上記ステップＳ５０１において認識したＩＤパターンが当該情報入出力装置１Ｂに対応する機能を有するパーソナルコンピュータ装置であることを示すものであるか否かが判別される。この判別処理にあたっては、例えばデータベースメモリ１５において、当該情報入出力装置が認識して所要の応答処理をすべきとされる所要のＩＤパターンのデータが各種格納されているものとされ、ＣＰＵ１４ａは、入力されたＩＤパターンとデータベースメモリ１５に格納されているＩＤパターンのデータを参照するようにされる。
【００７８】
そして、ステップＳ５０２において、入力されたＩＤパターンは情報入出力装置１Ｂの対応機能を有するパーソナルコンピュータであることを示す内容でないことが判別された場合には、ステップＳ５０６に進み、実際にそのＩＤパターンが示す内容に従った処理動作を実行してもとのルーチンに戻るようにされる。
これに対して、入力されたＩＤパターンが当該情報入出力装置１Ｂの対応機能を有するパーソナルコンピュータであることを示していることが判別された場合には、ステップＳ５０３に進み、パーソナルコンピュータに対して表示データの出力を要求するための指示信号を送信してステップＳ５０４に進む。
【００７９】
ステップＳ５０４においては、上記ステップＳ５０４において送信した指示信号に応答して送信されるべき表示データが受信されたか否かを判別することになる。ここで表示データが受信されたことが判別されれば、ステップＳ５０５に進むのであるが、表示データが受信されたことが判別されない場合には、ステップＳ５０７→Ｓ５０３→Ｓ５０４の処理を継続して繰り返すことにより、ステップＳ５０７において所定時間が経過するまで、表示データ出力要求のための指示信号を送信するようにされる。ここで、ステップＳ５０７において所定時間が経過した場合にはもとのルーチンに戻るようにされる、即ち、特にパーソナルコンピュータ装置のモニタ画像ＧＭＮを表示する処理を実行しないことになる。このような非表示の処理が実行される場合としては、例えばパーソナルコンピュータ装置に電源が投入されていない、あるいは電源が投入されていたとしても、半透明面２に対するモニタ画像表示機能に対応したアプリケーションソフトウェアが起動していなかったり、パーソナルコンピュータ装置自体に何らかのトラブルが発生していることなどが考えられる。また、このようなことを考慮して、例えばステップＳ５０７において肯定結果が得られた場合には、何らかのエラーメッセージを半透明面２に表示させるなどした後にもとのルーチンに戻るようにすることが考えられる。
【００８０】
ステップＳ５０５においては、受信した表示データに基づいて、プロジェクタ５により表示可能な形式の画像データを生成し、この生成された画像（モニタ画像ＧＭＮ）をプロジェクタ５により半透明面２に対して投影表示するための制御処理を実行してもとのルーチンに戻るようにされる。このときにＣＰＵ１４ａが実行すべき処理としては、先に図１６においてその動作説明を行ったため、ここではその詳しい説明は省略する。
【００８１】
＜５．第４の実施の形態＞
図１８は、本発明の第４の実施の形態としての情報入出力装置の構成を示している。この図に示す情報入出力装置１Ｃは、先に図１４に示した第３の実施の形態としての情報入出力装置１Ｂの構成と同様であることから、ここでは同一部分に同一符号を付して説明を省略する。また、本実施の形態としての制御装置６の内部構成も図１５の構成と同様でよいものとされる。
本実施の形態においては、受信装置２１は、赤外線リモートコントローラ４１から送信される赤外線光によるコマンド信号を受信するものとされている。
【００８２】
ところで、これまでの説明からわかるように、本発明としての情報入出力装置では、ＣＣＤカメラ４により撮像される半透明面２からの赤外線光により得られる検出画像情報から操作情報を得るようにされる。つまり、本実施の形態においては半透明面２からＣＣＤカメラ４に入射する赤外線光の光量に変化が与えられさえすれば、これを操作情報として認識することができることになる。
【００８３】
そこで、この第４の実施の形態においては、図１８に示すように赤外線光によりコマンド信号を送信する赤外線リモートコントローラ４１をポインティングデバイス及び指示信号の入力装置として使用するものとされる。
【００８４】
例えば、本実施の形態では、ユーザが赤外線リモートコントローラ４１に対して所定のキー操作を行って所望のコマンド信号を送信出力させた状態で、このコマンド信号を半透明面２に対して照射し、半透明面２上の所望の位置に対してポインティングを行うようにされる。ＣＣＤカメラ４では、これを半透明面２上に現れた単なるスポット光として捉えることになる。そして、このとき検出される検出画像情報としては、赤外線光の照射部分に対応する位置（座標）のレベルが周囲に対して変化することになる。そこで、制御装置６側の入力画像処理部１２では、この検出画像情報のレベル変化を所定の意義を有する入力情報として認識するように処理を行えばよいことになる。そして、例えば制御装置６では、このポインティングされた位置に応答して所要の制御処理を実行することができる。このようにして本実施の形態では、先ず、赤外線リモートコントローラ４１をポインティングデバイスとして利用することが可能である。
【００８５】
なお、赤外線光は不可視であることから、例えば現在赤外線リモートコントローラ４１から半透明面２における赤外線光の照射位置が分かるようにスポットＳＰなどの表示を半透明面２上に行わせるようにすることが考えられる。この処理は、制御装置６の入力画像処理部１２が検出画像情報に基づいて現在赤外線光が照射されている位置（座標）を識別し、この識別された照射位置に対して、プロジェクタ５によるスポットＳＰの表示が行われるように表示制御を実行することで実現が可能である。
【００８６】
また、これと同時に、赤外線リモートコントローラ４１から出射された赤外線光は受信装置２１にてコマンド信号として受信されて制御装置６のデータベース駆動部１４（ＣＰＵ１４ａ）に対して伝送されることになる。データベース駆動部１４では、上記コマンド信号に応じて、上記した検出画像情報により得られる赤外線スポット光の入力情報に対する応答処理とは異なる、所要の制御処理を実行するように構成することができる。
【００８７】
このように、赤外線リモートコントローラ４１を使用した場合には、半透明面２に対するポインティング動作と同時に、コマンド信号による所定の動作制御を同時に実行することが可能となる。
具体的な利用例としては次のような形態が考えられる。例えば、半透明面２上に対して地図を表示させた状態の元で、例えば赤外線リモートコントローラ４１に対して画像の拡大又は縮小を行うためのキー操作により赤外線コマンド信号を送信出力するようにされる。そして、このときにはユーザは、この地図上に対して任意の所望の位置をポインティングするようにする。これにより、例えば半透明面２に表示されている地図の画像が、ポインティングした位置を中心に拡大又は縮小されるようにして変化するようにされる。
【００８８】
＜６．第５の実施の形態＞
図１９は、第５の実施の形態としての情報入出力装置の利用形態例を示す図であり、図１４と同一部分については同一符号を付して説明を省略する。なお、この図において赤外線透過フィルタ４ａと赤外線遮断フィルタ５ａの図示は省略されているが、実際にはＣＣＤカメラ４とプロジェクタ５に対して備えられているものである。また、制御装置６内の構成は、この場合も図１５と同様でよいものとされる。
この図においては半透明面２はテーブルとして設置されている。つまり、４本のテーブル脚Ｆ，Ｆ，Ｆ，Ｆにより支持されることにより、通常の家具としてのテーブルの天面としても機能している。この場合、半透明面２の下面側に対して図のように赤外線ＬＥＤパネル３、ＣＣＤカメラ４、プロジェクタ５（及び制御装置６）が設けられる。なお、この場合には制御装置６の設置位置は特に半透明面２の下面側である必要はなく、例えば透明面２（テーブル）の下面側のスペースに余裕を与えることを考慮して、これ以外の位置に設置することも考えられる。
【００８９】
また、この図においては情報入出力装置１Ｄとは別にテレビジョン受像器ＴＶが設置されている。このテレビジョン受像器ＴＶに対しては、例えば次に説明するスライダ操作子５０やボリューム操作子５１を操作することによって、例えば音量調整をはじめとする所定の動作制御が行えるように構成される。このため、本実施の形態では、制御装置６からテレビジョン受像器ＴＶの動作をコントロールするためのコマンド信号が伝送可能な構成を採ることになる。図１９では、制御装置６から供給されたコマンド信号をテレビジョン受像器ＴＶに供給するための制御ラインが示されているが、無線によりコマンド信号を送信するように構成されてもかまわない。
【００９０】
図１９では、操作子としてスライダ操作子５０及びボリューム操作子５１が置かれるようにして適当に配置されている。これらスライダ操作子３０及びボリューム操作子５１は、それぞれ本体に設けられたスライダあるいはボリューム等の操作子の操作に応じた赤外線コマンド信号が底面側から外部に対して送信されるようになっている。
【００９１】
ここで、例えばスライダ操作子５０を半透明面２上（テーブル面上）に配置した状態でユーザがこれを操作したとすると、その操作に従った赤外線コマンド信号がスライダ操作子５０の底面から半透明面２に対して照射されるようにして出力されることになる。この赤外線コマンド信号は、半透明面２を介して受信装置２１で受信され制御装置６に対して供給される。
ここで、仮にスライダ操作子５０の操作により、テレビジョン受像器ＴＶの音量を調整可能に構成されているとすると、制御装置６では、入力されたコマンド信号に基づいて、テレビジョン受像器ＴＶの音量をコントロールするためのコマンド信号を生成して、テレビジョン受像器ＴＶに対して送信出力するようにされる。これにより、テレビジョン受像器ＴＶでは、ユーザがスライダ操作子５０に対して行った操作に対応して音量が変化するように動作することになる。なお、上記と同様にして、スライダ操作子５０やボリューム操作子５１を操作することによって、例えばテレビジョン受像器ＴＶの音量だけでなく、チャンネル切り替えや、画質に関する調整等を行うように構成することも可能である。このような動作を実現するのにあたっては、例えば制御装置６内のデータベースメモリ１４に対して、当該情報入出力装置によりテレビジョン受像機ＴＶに対する操作を可能とするためのプログラムが格納されることになる。
なお、当然のこととして当該情報入出力装置１Ｄにより動作制御が可能な外部機器はテレビジョン受像機に限定されるものではなく、他の各種電子機器に対しても操作が可能なように構成することが可能である。
【００９２】
また、スライダ操作子５０やボリューム操作子５１の操作により制御可能なのは外部機器に限定されるものではない。図１９での図示は省略しているが、例えば、プロジェクタ５により半透明面２に表示された何らかの画像について、上記のような操作子の操作に従って移動させたり拡大、縮小したりさせるなどして変
化を与えることができるように構成することも考えられる。
【００９３】
＜７．第６の実施の形態＞
図２０は、第６の実施の形態としての情報入出力装置の利用形態例を示している。なおこの図に示す実施の形態についても、図１４と同一部分については同一符号を付して説明を省略する。また、この図においても赤外線透過フィルタ４ａと赤外線遮断フィルタ５ａの図示を省略しているが、実際にはＣＣＤカメラ４とプロジェクタ５に対して備えられており、制御装置６内の構成も例えば図１５と同様でよいものとされる。
【００９４】
この場合には、ユーザが携帯用電子ペット育成装置４２を手に持って半透明面２の前面に位置している状態が示されている。携帯用電子ペット育成装置４２は、例えば、ペットとしての何らかの生物を育成する携帯用のゲーム機とされ、この場合には、赤外線によりデータ送信を行う赤外線データ送信機能を有するものとされる。
ここで、例えばユーザが携帯用電子ペット育成装置４２に対して所要の操作を行うことによって、赤外線データ信号を送信出力させたとする。ここでは、赤外線データ信号として送信される情報内容としては、例えば、この送信信号の送信元が携帯用電子ペット育成装置であることを示す情報のほか、現在の電子ペットの成長状態に関する所要の情報（パラメータ）が含まれているものとする。
【００９５】
上記赤外線データ信号は、受信装置２１により受信されて制御装置６のＣＰＵ１４ａに供給される。
本実施の形態においては、データベースメモリ１５に対して例えば電子ペットの成長段階に応じた表示データが格納されているものとされる。制御装置６のＣＰＵ１４ａは赤外線データ信号を受信して得られたデータ内容に基づいて、先ず、送信もとが携帯用電子ペット育成装置であることを認識することになるが、続いて、受信したデータ内容から現在のペットの育成状況に関する所定のパラメータの状態を識別し、これらのパラメータを参照することにより必要となる表示データをデータべースメモリ１５から読み出すようにされる。この表示データは、現在の育成状況に関するパラメータに応じて、実際の電子ペットの成長状態を画像として表現するためのデータとされる。
【００９６】
そして、ＣＰＵ１４ａは、データべースメモリ１５から読み出した表示データに基づいて、プロジェクタ５により半透明面２に対して投影表示が行われるように表示制御を実行する。これにより、ユーザが所持している携帯用電子ペット育成装置４２において現在育成されている電子ペットの画像が、半透明面２に対して表示されることになり、ユーザは自分が育成している電子ペットの成長状態を半透明面２に表示された画像により観察することができる。
【００９７】
例えば、携帯用電子ペット育成装置４２に備えられている表示パネル（例えば液晶表示パネルなどが用いられる）によっても電子ペットの成長状態を観察することはできるが、通常は表示パネルの画面は小さく、また、画素数も少ないため、比較的簡略化された図柄の状態によってでしか電子ペットを表現することができない。これに対して、上記のような構成によって半透明面２に対して電子ペットを表示させる場合、大画面化された半透明面２に対して電子ペットを拡大して表示することが可能となるのに加え、携帯用電子ペット育成装置とは独立して、データべースメモリ１５に対して表示用データを格納することが可能であるため、半透明面２に表示させるべき電子ペットの画像としては、より高い精細度により表現することが可能となる。
【００９８】
ところで、これまで説明してきた各実施の形態の情報入出力装置としては、例えばその構成から赤外線ＬＥＤパネル３を省略することも可能であるが、これについて、本発明の情報入出力装置の基本的構成を示した図１を例に挙げて説明する。
たとえば、本発明に基づく情報入出力装置を屋外などの外光の強い環境で使用する場合、たとえば日中の自然光に含まれる赤外線が強いために、図１に示すような赤外線ＬＥＤパネル３から照射される赤外線光を入力情報検出用の光源とする構成では、赤外線ＬＥＤパネル３から照射される赤外線光の強度が自然光に含まれる赤外線に対して相対的に弱まるので、場合によっては適切な入力情報の検出が行われない（つまり入力情報を認識可能な適正な検出画像情報が得られない）可能性がある。
そこで、このような場合には、赤外線ＬＥＤパネル３を省略し、その代わりに自然光に含まれる赤外線光を入力情報検出用の光源として利用することができる。
この場合、検出画像情報を得るために必要な基準入力画像レベルＬｉｎｔは、例えば接近体及び操作体等の検出対象が無い（半透明面２に対して何の操作も行われていない）とされる状態のもとで、その前面側から半透明面２を透過してＣＣＤカメラ４において撮像される撮像信号から得た画像情報に基づいて検出するようにされる。
【００９９】
そして、例えば半透明面２に対して何らかの操作等が行われるとすると、このときの半透明面２における接近体及び操作体などの部分をＣＣＤカメラ４側からみた場合には、接近体及び操作体などにより自然光の赤外線が遮られることから、これを自然光に含まれる赤外線光の影として見ることができる。このような場合、本実施の形態の制御装置６では、基準入力画像レベルＬｉｎｔに対して、画像レベルがより低くなる（暗くなる）ようにして変化する画像情報を入力情報として扱うことになる。この場合、図２に示す制御装置６の内部構成としては、赤外線ＬＥＤパネル３が省略されたことに応じて、ＬＥＤ駆動部１０が設けられないことになる。
【０１００】
また、これまで説明してきた各実施の形態において、例えば赤外線ＬＥＤパネル３の代わりにマイクロ波発生器を設け、また、ＣＣＤカメラ４の代わりにマイクロ波受信器を設けて構成することも考えられる。
この場合、図２に示す制御装置６を例に採れば、ＬＥＤ駆動部１０の代わりに、マイクロ波発生器を駆動するためのマイクロ波駆動回路が備えられる。また、マイクロ波受信器から供給される受信マイクロ波を入力して例えば所定形式のデータに変換して出力する画像信号入力回路と、この画像信号入力回路から供給されるマイクロ波の受信データを入力して所要の処理を行うことにより、例えば検出画像情報を得ると共にこの検出画像情報に基づいて操作情報を得る入力データ処理回路が設けられる必要がある。画像信号入力回路及び入力データ処理回路は、それぞれ図２に示す画像入力部１１及び入力画像処理部１２に代わる機能回路部である。また、操作情報検出用の媒体としてマイクロ波を利用するため、ＣＣＤカメラ４に備えられた赤外線透過フィルタ４ａや、プロジェクタ５に備えられた赤外線遮断フィルタ５ａは不要となる。
【０１０１】
このように、それが照射された物体に反射する性質を有するマイクロ波のような媒体を操作情報の検出に利用するように構成しても、これまで説明してきた実施の形態（赤外線を入力情報の検出に利用した例）と同様にして本発明としての情報入力装置を構成することが可能である。
なお、このような構成において、例えば図８の説明に準じてＩＤパターンを認識させようとした場合には、例えばマイクロ波を反射する材質面と、これを吸収する材質面とを組み合わせるようにして図８に示したのと同等のＩＤパターンを形成するようにすればよい。
【０１０２】
また、本発明に基づいて構成される情報入出力装置において各種入出力動作を実現するための入力情報の入力形態及び入力情報に応じた制御処理動作は、これまでの説明の内容に限定されるものではなく、本発明としての情報入出力装置の利点を活かした情報入力方法や制御処理方法等は他にも各種考えられるものである。また、図１においては音声出力系の図示は省略したが、本発明の実施の形態としての情報入出力装置において、各種インタラクティブな応答を音声により行うことは当然考えられる。
【図面の簡単な説明】
【０１０３】
【図１】本発明の実施の形態としての情報入出力装置の基本的構成例を示す概念図である。
【図２】図１に示す情報入出力装置に備えられる制御装置の内部構成を示す図である。
【図３】基準入力画像レベルを検出及び保持するための処理動作を示すフローチャートである。
【図４】検出画像情報を生成するための処理動作を示すフローチャートである。
【図５】図１に示す情報入出力装置の利用例としてメニュー画面に対する操作例を示す説明図である。
【図６】図５に示すメニュー画面に対する操作を実現するための処理動作を示すフローチャートである。
【図７】第１の実施の形態としての情報入出力装置の構成を示す概念図である。
【図８】ＩＤパターンの一例を示す説明図である。
【図９】第１の実施の形態の情報入出力装置の利用例を示す説明図である。
【図１０】第１の実施の形態の情報入出力装置の他の利用例を示す説明図である。
【図１１】第１の実施の形態の情報入出力装置としての処理動作を示すフローチャートである。
【図１２】本発明の第２の実施の形態としての情報入出力装置の構成例を示す概念図である。
【図１３】第２の実施の形態の情報入出力装置に備えられる制御装置の内部構成を示す図である。
【図１４】第３の実施の形態の情報入出力装置の構成例を示す概念図である。
【図１５】第３の実施の形態の情報入出力装置に備えられる制御装置の内部構成を示す図である。
【図１６】第３の実施の形態の情報入出力装置の利用例を示す説明図である。
【図１７】第３の実施の形態の情報入出力装置としての処理動作を示すフローチャートである。
【図１８】第４の実施の形態としての情報入出力装置の利用例を示す概念図である。
【図１９】第５の実施の形態としての情報入出力装置の利用例を示す概念図である。
【図２０】第６の実施の形態としての情報入出力装置の利用例を示す概念図である。
【符号の説明】
【０１０４】
１，１Ａ，１Ｂ，１Ｃ，１Ｄ 情報入出力装置、２ 半透明面、３ 赤外線ＬＥＤパネル、４ ＣＣＤカメラ、５ プロジェクタ、６ 制御装置、１０ ＬＥＤ駆動部、１１ 画像入力部、１２ 入力画像処理部、１３ しきい値制御部、１４ データベース駆動部、１５ データベースメモリ、１６ 画像生成部、１７ 画像合成部、１８ ＲＧＢ信号生成部、２０ ＩＤ認識装置、２１ 受信装置、３０ ＩＤカード、３０ａ，３１ａ ＩＤパターン、３１ 書類フォルダ、４０ パーソナルコンピュータ装置、４０ａ ディスプレイパネル、４１ 赤外線リモートコントローラ、４２ 携帯用電子ペット育成装置、５０ スライダ操作子、５１ ボリューム操作子、ＴＶ テレビジョン受像機、
【技術分野】
【０００１】
本発明は、例えば外部より与えられた入力情報に応答して所要の情報を出力する情報入出力装置、及び情報入出力方法に関するものである。
【背景技術】
【０００２】
例えば、コンピュータ装置などの情報入出力装置では、様々なアプリケーションプログラムなどのもとで、ユーザの操作に応答してコンピュータ装置側が所定の反応を表示等によって提示する、いわゆるインタラクティブな入出力形態が広く採用されている。具体的には、例えばマウス、タッチパネル（ここではトラックパッドも含むものとする）やキーボードなどの入力装置に対して行われたユーザの操作に対する応答を、ＣＲＴ（Cathode Ray Tube）や液晶ディスプレイなどの表示デバイスに対して画像情報として表示させるようにしている。
【０００３】
また、情報入出力装置として、コンピュータ化されたホワイトボードとして機能するプロジェクションディスプレイも知られている。このようなプロジェクションディスプレイでは、例えばユーザが専用の赤外線発光ペンを利用して、上記ホワイトボード上に対して操作を行うようにされる。
【０００４】
また、「ビデオプレイス」といわれるインタラクティブな効果をねらった情報入出力装置が知られている。このビデオプレイスは、例えばビデオカメラを利用した芸術性を有する装置とされる。例えばビデオプレイスの鑑賞者は、ビデオカメラに自身の手あるいはその他の人体の一部をシルエットとして撮影させる。鑑賞者は、この撮影画像と例えば他の画像とが合成された何らかの画像をモニタ装置でみながら自在に手や人体の一部を動かすことにより、モニタ装置に表示される画像の反応や変化を楽しむことができるようになっている。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、更に拡大されたインタラクティブな入出力環境を実現することを考えた場合、上記したようなこれまでの情報入出力形態では次のような点で限界が見えてくる。
例えば、コンピュータ装置においてタッチパネルやトラックパッドを情報入力装置として採用した場合について考えてみると、情報入力のためのポインティング操作は概して指に限定される。また、タッチパネル上の空間での操作は行えず、操作面に対して指などの物理的な操作体をパネル面上に接触させる必要がある。更に、タッチパネルは比較的高価なので大型の操作パネルとしては好適でない。
また、入力操作に応答して情報を出力する情報出力装置としての表示デバイスについて考えてみると、例えばコンピュータ装置では、前述のように一般にはＣＲＴや液晶ディスプレイなどが採用されることが多いが、このような表示デバイスにより例えば大画面化を図ろうとした場合、コストがかかるると共に設置条件等が厳しくなることから、その実現は困難である。
【０００６】
また、コンピュータ化されたホワイトボードとして機能するプロジェクションディスプレイの場合、操作画面や表示画面の大型化は容易に実現可能なのであるが、例えば上記したように赤外線発光ペンなどの特殊なポインティングデバイスが必要となる。
【０００７】
また、ビデオプレイスの場合には、手や人体のシルエットを利用して何らかのインタラクティブな操作を実現するため、その入出力間のインターフェイスが間接的であり、直接的な操作を望む場合には機能的に不十分となる。
このように、これまでの情報入出力装置ではインタラクティブな入出力環境を強化拡大するには様々な障害となる要因が存在する。
【課題を解決するための手段】
【０００８】
本発明は、入力情報に応答した所要の情報出力を行う情報入出力装置において、半透明面と、上記半透明面側の方向から入射する所定の波長帯域の光又は電磁波のみを像として捉える撮像手段と、上記撮像手段が受像すべき所定の波長帯域の光又は電磁波を、当該光又は電磁波が上記半透明面を透過しその後上記半透明面前の空間の操作体で反射して上記半透明面側に戻るように、上記半透明面に輻射する輻射手段と、上記半透明面前の空間の操作体により上記光又は電磁波が反射されたことに伴う上記撮像手段から入力された撮像信号の変化に基づいて、上記操作体により上記光又は電磁波が反射されている上記半透明面上における座標位置を検出する検出手段と、上記撮像手段が撮像すべき光又は電磁波の波長帯域を含まない可視光による画像を上記半透明面に対して投影表示可能に設けられる投影表示手段と、少なくとも入力情報として上記座標位置が入力可能とされ、この座標位置に応答した情報出力として、少なくとも上記半透明面に対して所要の内容の画像を投影表示するための上記投影表示手段に対する表示制御を含む所要の制御処理を実行可能とされる制御処理手段と、上記操作体から情報を受信することができる受信部と、を備え、上記受信部によって上記操作体から画像情報を受信し、上記制御処理手段は、上記半透明面に対して上記受信部により受信した画像情報を投影表示するための上記投影表示手段に対する表示制御処理を実行することとした。
【０００９】
さらに、上記制御処理手段は、上記操作体からの画像情報に基いて、上記輻射手段を制御して上記所定の波長帯域の光又は電磁波に対して強度変調を施し、該光又は電磁波によるデータ送信を行うこととした。
さらに、上記制御処理手段によるデータ送信は、上記操作体に対して行われることとした。
さらに、上記操作体からの画像情報は、該操作体を識別するＩＤ情報を含むものであることとした。
さらに、上記制御処理手段は、上記データ送信によって上記操作体に画像情報送信要求を行い、上記受信部により受信した該画像情報を投影表示するための上記投影表示手段に対する表示制御処理を実行することとした。
さらに、上記制御処理手段による上記操作体に対する画像情報送信要求は、上記操作体の表示手段に表示されている画像情報の送信要求であることとした。
さらに、上記制御処理手段は、上記送信要求によって上記受信部により受信した該画像情報を拡大表示が可能なよう上記投影表示手段に対する表示制御処理を実行することとした。
【発明の効果】
【００１０】
以上説明したように本発明は、所定波長帯域の光又は電磁波を反射するなどしてこれに状態変化（この状態変化が検出画像情報として反映される）を与えられさえすればこれを入力情報として認識することが可能となる。このため、入力操作のためには特殊なポインティングデバイスを必要とせず、本発明の基本的構成において説明したように、例えばユーザ自身の手や指を用いることによって入力操作を行うことが可能とされる。また、半透明面に近い位置（例えば半透明面の前面の中空位置）で入力情報としての検出対象物が認識可能なので、入力操作方法としても、操作パネルである半透明面に対して入力情報としての検出対象物を接触させることなく、その前面の空間に位置させることで入力情報としてとらえることが可能となる。
さらには、所定波長帯域の光又は電磁波を反射する面と吸収する面とを組み合わせることによって例えば二次元バーコード的なＩＤパターンを認識させ、認識したＩＤに応答した情報出力を行わせることが可能となる。
【００１１】
また、検出画像情報に基づいて得られる画像入力情報としては、半透明面に入力操作が与えられたときの位置情報を識別することが可能とされているので、例えば上記ＩＤ情報などの画像パターンによる識別情報に基づく出力情報に対して、位置情報に基づく出力情報を併合させるようにして出力させることが可能となる。つまり、例えば第１の実施の形態で説明したように、ユーザがＩＤパターンを認識させた半透明面上の位置に対応してメニュー画面を表示させることなどが可能となる。
【００１２】
また、本発明の半透明面は操作パネル及び表示パネルとして機能するのであるが、これにより、例えば半透明面に対して与えた入力情報に応答して半透明目に対して表示を行うようにすることができるため、直接的な入力操作が実現されることになる。また、従来のタッチパネルや各種表示デバイスとは異なり、半透明面のサイズの大型化も安価で容易に実現されることになる。
【００１３】
更に、検出画像情報に基づいて得られる画像入力情報のほか、例えば送信データを受信する受信手段を備えれば、単なる画像入力情報に基づく応答処理に加えて、時系列的に得られる送信データに基づいたより複雑な応答処理も同時に実行することが可能になる。そこで、一例として、先に説明した第３及び第６の実施の形態のようにして、受信データに応答して画像表示を行うように構成すれば、携帯用のパーソナルコンピュータやゲーム機などの表示機能を拡大することが可能となる。
【００１４】
このように本発明は、情報入力に際して上記のごとき自由度を与えると共に、表示パネルとして兼用可能な入力パネルとして大型化されたものを非常に簡略な構成でもって容易に提供できるようにすることで、容易にインタラクティブな入出力環境が強化拡大されるという効果を有している。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の実施の形態の情報入出力装置について説明する。なお、以降の説明は次の順序で行う。
＜１．実施の形態の基本的構成＞
（１−ａ．情報入出力装置の基本的構成）
（１−ｂ．入力情報の検出動作）
＜２．第１の実施の形態＞
＜３．第２の実施の形態＞
＜４．第３の実施の形態＞
＜５．第４の実施の形態＞
＜６．第５の実施の形態＞
＜７．第６の実施の形態＞
【００１６】
＜１．実施の形態の基本的構成＞
（１−ａ．情報入出力装置の基本的構成）
先ず、図１及び図２を参照して、本発明の実施の形態の基本的な構成について説明する。本発明ではこれより説明する情報入出力装置の基本的な構成をもとに後述する第１〜第６の実施の形態としての構成が実現されるものである。
【００１７】
図１は、本発明の実施の形態としての情報入出力装置の基本的構成を概念的に示している。
本実施の形態としての情報入出力装置１は、半透明面２、赤外線発光ダイオード素子（ＬＥＤ：Light Emitted Diode ）パネル３、ＣＣＤ(Charge Coupled Device) カメラ４、プロジェクタ５、及び制御装置６を備えて構成される。赤外線ＬＥＤパネル３、ＣＣＤカメラ４、及びプロジェクタ５は半透明面２の背面側に対して設けられる。
【００１８】
半透明面２は、例えば透明なガラス板に対してトレーシングペーパーのような見え方をする半透明膜を貼り合わせる、あるいは磨りガラスのような半透明の性質を有するものを利用するなどして形成され、後述するようなユーザの操作によって入力情報が与えられる操作パネルと、入力情報に応じた各種応答表示が行われる表示パネルとの両者の機能を併せ持つものとされる。
赤外線ＬＥＤパネル３は、例えばパネル面に対して多数の赤外線ＬＥＤが集合的に配列されることによって構成され、上記赤外線ＬＥＤから発光出力される赤外線光が半透明面の背面全体に対して照射されるように設けられる。上記赤外線ＬＥＤは制御装置６によって定常的に赤外線を発光するように駆動される。
なお、赤外線ＬＥＤパネル３としては、発光出力される赤外線光が半透明面２全体に対して照射されるのに充分な数の赤外線ＬＥＤが設けられればよい。また、後述するように、初期の赤外線画像に対する現在の赤外線画像の差分に基づいて半透明面２側から反射してくる画像情報を得るようにされることから、半透明面２全体に対して照射される赤外線光量が一律であるべき必要もない。従って赤外線ＬＥＤパネル３のサイズは、半透明面２よりもはるかに小さいもので済ませることができる。
【００１９】
ＣＣＤカメラ４は、撮像素子としてＣＣＤを用いたカメラ装置であり、この場合には、半透明面２に映る画像光として赤外線光の成分のみを撮像することにより、半透明面２に対して行われた操作を画像情報として認識するために設けられる。このため、ＣＣＤカメラ４の光学系の部分に対しては、赤外線領域の波長帯域のみを透過する赤外線透過フィルタ４ａが設けられる。また、ＣＣＤカメラ４により撮影される構図として半透明面２全体が含まれるようにその配置位置が設定される。
【００２０】
プロジェクタ５は、制御装置６から供給される画像情報に基づいて、可視光による画像光を半透明面２の背面に対して投影表示する。例えばユーザは、半透明面２に投影表示されたプロジェクタ５の画像を、半透明面２の前面側から観察することができる。ここで、プロジェクタ５の光学系には赤外線領域の波長を遮断する赤外線遮断フィルタ５ａが設けられているが、これにより、半透明面２に投影表示される画像光には赤外線が含まれなくなるため、プロジェクタ５の投影画像は、ＣＣＤカメラ４からは不可視となる。
【００２１】
制御装置６は、例えばマイクロコンピュータを備えて構成され、ＣＣＤカメラ４から供給される撮像信号から画像情報（映像データ）を得て、更にこの画像情報をもとに入力情報を得る。そして、この入力情報に基づいて、例えばプロジェクタ５により半透明面２に表示させる画像に関する表示制御を実行する他、各種所要の制御処理を行う。また、赤外線ＬＥＤパネル３の赤外線ＬＥＤの発光駆動を行う。
なお、上記赤外線ＬＥＤパネル３、ＣＣＤカメラ４及びプロジェクタ５の配置位置は、それぞれが果たすべき役割が充分機能することを考慮して設定されればよい。
【００２２】
図２は、上記制御装置６の内部構成例を示すブロック図である。この図に示す制御装置６において、ＬＥＤ駆動部１０は、赤外線ＬＥＤパネル３に設けられた複数の赤外線ＬＥＤを発光駆動するための回路部位である。
【００２３】
画像入力部１１は、ＣＣＤカメラ４から供給された撮像信号について所要の信号処理を施すことによって映像信号を生成して入力画像処理部１２に供給する。つまり、画像入力部１１では、半透明面２側からＣＣＤカメラ４を介して入射してきた赤外線光を映像情報として出力する。
【００２４】
入力画像処理部１２では、例えば画像入力部１１から供給された映像信号をデジタル信号による映像信号データに変換する。入力画像処理部１２においては、この映像信号データに基づいて得られる「画像情報（例えばフレーム単位の映像データ）」を利用して所要の解析処理等を実行することで、半透明面２に対して行われた操作等に基づく入力情報を得るようにされる。ここで画像情報に基づいて得られる入力情報としては、例えば、半透明面２に対して操作を行っている操作体の画像上の位置（座標）や画像の信号レベルなどが用いられる。この入力情報はデータベース駆動部１４に伝送される。また、上記映像信号データは、画像合成部１７に対しても供給可能とされている。
【００２５】
しきい値制御部１３は、入力画像処理部１２にて実行される入力情報に関する処理に必要なしきい値を設定して入力画像処理部１２に伝送する。上記入力画像処理部１２では、しきい値制御部１３において設定されるしきい値を利用して画像情報について解析を行うなど所要の処理を実行することで逐次必要とされる入力情報を識別する。また、本実施の形態では後述するようにして入力画像データのフレーム差分を算出することにより、現在の半透明面２の画像状態（検出画像情報）を得るようにされるが、フレーム差分演算に利用する基準値（基準画像入力レベル）等の情報も、後述するようにして、しきい値制御部１３に格納されるものとする。
【００２６】
データベース駆動部１４は、入力画像処理部１２により得られた入力情報を取り込み、この入力情報に基づいて適宜所要の処理を実行する。この際、データベース駆動部１４が実行すべき制御処理に必要なプログラムデータはデータベースメモリ１５に格納されており、データベース駆動部１４は、データベースメモリ１５に格納されたプログラムデータに基づいて所要の制御処理を実行することになる。
【００２７】
画像生成部１６は、データベース駆動部１４の制御によって、必要な画像データ（デジタル信号による映像信号データ）を生成して画像合成部１７に出力する。
画像合成部１７においては、必要があれば上記画像生成部１６から供給された映像信号データに対して、入力画像処理部１２から供給された映像信号データを合成してＲＧＢ信号生成部１８に対して出力する。
ＲＧＢ信号生成部１８では、上記画像合成部１７から供給された映像信号データについて、例えばアナログによるＲＧＢ信号に変換してプロジェクタ５に対して出力する。これにより、プロジェクタ５からは、半透明面２に対して行われる操作に応答した映像による画像光が半透明面２に対して照射出力されることになる。
【００２８】
（１−ｂ．入力情報の検出動作）
次に、上記構成による本実施の形態の情報入出力装置１における入力情報の検出方法について説明する。
前述のように、図１に示す半透明面２全体に対しては、その背面から赤外線ＬＥＤパネル３により赤外線光が照射されるのであるが、この赤外線光は半透明面２が半透明性を有することから、全ての赤外線光が半透明面２を通過するのではなく、幾分かの赤外線光がその半透明性の作用によって反射されることになる。
そして、本実施の形態においては半透明面２に対して何も操作が行われていないとされる状態のもとで、半透明面２にて反射される赤外線光をＣＣＤカメラ４により撮像して得られる映像信号データの初期レベルを「基準入力画像レベル」として記憶する。この基準入力画像レベルは、入力された映像信号データに基づいて例えば１フレームにおける画素ごとの信号レベルを検出することにより行うようにすればよい。この検出処理は、入力画像処理部１２により行われるものとされる。このようにして検出された基準入力画像レベルの情報はしきい値検出部１３に伝送され、ここで保持されることになる。
【００２９】
上記基準入力画像レベルの検出処理は、例えば図３のフローチャートに示すものとなる。この図に示すように、先ず入力画像処理部１２では、ステップＳ１０１において、ＣＣＤカメラ４から画像入力部１１を介して供給された映像信号から得られる１フレーム分の画像データに基づいて、上述のようにして画素ごとに信号レベルを検出し、この検出結果を基準入力画像レベルＬｉｎｔとして得る。なお、具体的には画素ごとの輝度信号成分のレベルを検出してこれを基準入力画像レベルＬｉｎｔとすることが考えられる。
入力画像処理部１２は、続くステップＳ１０２において、上記基準入力画像レベルＬｉｎｔをしきい値制御部１３に伝送して記憶させるように処理を実行する。
【００３０】
なお、基準入力画像レベルＬｉｎｔを検出してしきい値制御部１３に記憶させる処理（上記図３に示す処理動作）は、例えば当該情報入出力装置の電源オン時などに実行させたり、あるいは何らかのユーザの指示によって必要なときに基準入力画像レベルＬｉｎｔを更新させるように構成することが考えられる。
【００３１】
上記のようにして基準入力画像レベルＬｉｎｔの情報が保持された状態のもとで、入力情報として扱われる画像情報は次のようにして得るようにされる。
図４は、入力情報のもととなる画像情報（以下、この「画像情報」については特に「検出画像情報」という）を得るための入力画像処理部１２の処理動作を示すフローチャートである。この場合、入力画像処理部１２は、先ずステップＳ２０１において現在の入力画像レベルＬｐｒｓを検出する処理を実行する。ここでいう入力画像レベルＬｐｒｓは、現在においてＣＣＤカメラ４により撮像された、赤外線光に基づく半透明面２の画像についてのフレーム単位のデータであり、このフレーム単位の画像データにおける画素ごとの信号レベルを検出して得られる情報である。
続いて、入力画像処理部１２はステップＳ２０２において、基準入力画像レベルＬｉｎｔと上記現在の入力画像レベルＬｐｒｓの差分を演算する（Ｌ＝Ｌｐｒｓ−Ｌｉｎｔ）ことによって差分入力画像レベルＬを算出する。具体的には、基準入力画像レベルＬｉｎｔと上記入力画像レベルＬｐｒｓとして得られたデータ値を、同一位置の画素ごとに差分を求めることによって差分入力画像レベルＬを得るようにされる。従って、差分入力画像レベルＬとしては、常に基準入力画像レベルＬｉｎｔに対する現在の入力画像レベルＬｐｒｓとの信号レベル差が画素ごとに得られることになる。そして、入力画像処理部１２は、ステップＳ２０３に進み、上記差分入力画像レベルＬに基づいて、現在の検出画像情報（フレーム単位で画素ごとのレベル情報を有する形式の映像データ）を生成するようにされる。
【００３２】
上記のごとき検出画像情報の検出動作を、実際のユーザの半透明面２の前面側での動きと共に説明する。例えばユーザは、半透明面２の前面側において赤外線を反射可能な何らかの物体を利用して半透明面２の前面側において操作を行うようにするのであるが、ここでは、説明の簡単のためにユーザ自身の指や身体を用いることとする。
ここで、例えば図１に示すように半透明面２の前面側においてユーザが半透明面２から遠く離れた距離にいるときには、例えば半透明面２を通過してユーザの身体に反射するとされる赤外線光量は少ないことから、そのほとんどが半透明面２の前面から背面を通過して戻ることはない。このとき、上述した基準入力画像レベルＬｉｎｔと上記現在の入力画像レベルＬｐｒｓとは同等であり、入力画像処理部１２では、差分入力画像レベルＬとしてほぼ０であると検出することになる。つまり、差分入力画像レベルＬに基づいて生成される検出画像情報としては、初期状態と同様の変化の無いとされる状態が得られることになる。
【００３３】
ここで、例えば上記の状態からユーザが徐々に半透明面２に対して近づいていったとすると、半透明面２を通過してユーザの身体に反射する赤外線光のうち、半透明面２を通過して背面側に到達する光量が次第に増加していくことになる。この状態を、入力画像処理部１２からみた場合には、ユーザの身体に対応する画像部分の基準入力画像レベルＬｉｎｔに対する現在の入力画像レベルＬｐｒｓのレベルが徐々に増加していく状態として捉えられる。これに応じて、検出画像情報としては算出される差分入力画像レベルＬに応じて、半透明面２に接近するユーザの姿が徐々に捉えられていくことになる。
そして、半透明面２に対して例えばユーザの体が非常に接近した状態（しきい値の設定にもよるが例えば半透明面２から３０ｃｍ以内）では、その人体に反射した赤外線光がほとんど半透明面２を通過して背面側に到達することになるので、その身体形状がより鮮明な状態の検出画像情報が生成されることになる。
【００３４】
また、ここでユーザがその身体を半透明面２からある程度距離を置いた状態で、例えば自身の指を手前にかざして半透明面２の非常に近い位置にあるようにしたとする。
この場合、半透明面２に近接するユーザの指は他の身体部分よりも多くの赤外線光を反射するため、入力画像処理部１２において得られる画像情報としては、ユーザの指にあたる位置の画像領域のレベルが強く、その背景となる部分においてユーザの身体部分にあたる位置の画像領域のレベルは半透明面２からの距離に応じて弱くなることになる。そして、例えばこの状態のもとで、しきい値制御部１３にて設定された所定のしきい値と検出画像情報とを比較すれば、容易にユーザの指にあたる部分のみの画像を背景から分離させることが可能であり、同様にしきい値の設定によっては、半透明面２から離れた距離にあるユーザの身体部分のみを抽出した画像情報を得ることも可能である。このようなしきい値は、前述のように実際に必要とされる条件に応じた値がしきい値制御部１３において設定されるものである。
【００３５】
このようにして、半透明面２の前面側の状態を検出する構成を採ることにより、この半透明面２を例えばインタラクティブなインターフェイスのための操作パネルとして機能させる場合には次のような利点が得られる。
先ず、本実施の形態では半透明面２側からの赤外線の反射光量によって得られる画像に基づいて入力情報を得ることになるので、入力情報を与えるための物理的対象としては、特に特殊なポインティングデバイスを必要とせず、１つには、赤外線を反射する物体であればその種類は問わないことになる。つまり、操作体としては、上述のように人体全体もしくはその一部や、その他の何らかの物体を問題なく使用することができる。
また、例えば黒色は赤外線光を反射せずに吸収する作用があることなど利用し、後述するようにして、例えば黒色による特定パターンの図柄を半透明面２に対して与えることで、この図柄のパターンを特定の意義を有する入力情報（ＩＤ情報）として扱うようにすることも可能となる。
さらには、ＣＣＤカメラ４により赤外線光の光量変化が撮像さえされればこれを入力情報として扱えることになるので、入力情報として例えば赤外線を発光させるポインティングデバイスなどを用いて、積極的に半透明面２に対して赤外線光を与えるような方法を採ることも可能である。
【００３６】
また、例えばタッチパネルなどでは操作パネル面に対して指などの操作体を接触させる必要があるが、本実施の形態の場合には操作体の位置や動きは赤外線光の反射として検出されればよいことから、半透明面２に操作体を接触させる必要性はなく、その前面の空間において操作を行うような方法を採ることができる。更に、本実施の形態では、半透明面２側からの赤外線の反射光により得られる画像に基づいて入力情報を得るために、画像認識さえ可能であれば複数の操作体（即ち入力情報）を同時に認識することが可能である。
【００３７】
また、上述したように赤外線の反射光量は、操作体の半透明面２に対する距離に応じて変化するために、例えば操作体の半透明面２からの距離を入力情報として利用することも考えられる。
【００３８】
更に、半透明面２は前述のように例えば透明のガラス板などに対してトレーシングペーパーのような半透明の薄膜を組み合わせたり、磨りガラスのようなものを利用するなどの簡略な手段により構成可能とされ、特にパネル構造として表示のための駆動回路などを設ける必要がないので、低コストで容易に大型化を実現することができ、この点で大型化が困難なタッチパネルなどとは大きく異なる。
【００３９】
そして、半透明面２は画像表示パネルとしての機能も有することから、例えば後述するように操作対象となるメニュー画面のようなものを表示させた上で、ユーザがこのメニュー画面に対して指などにより操作を行えるようにするなどの直接的な操作を実現することも容易に可能となる。
このように、本実施の形態としての情報入出力装置では、その入力情報を入力するのに多くの可能性が得られるために、これまでには無かったようなインタラクティブな入出力環境を容易に構築することができる。
【００４０】
これまでの説明による構成を踏まえて、半透明面２に対して行われた操作により得られた入力情報に応答した本実施の形態の情報入出力装置１の動作として、ユーザがメニュー操作を行う場合を例に挙げ、これについて図５及び図６を参照して説明する。
【００４１】
図５には、ユーザが情報入出力装置１を利用してメニュー操作を行う場合が示されており、ここでは半透明面２を前面側からみた状態が示されている。
例えばこの図に示すように、ユーザが半透明面２の前面に近づいたとすると、先ず、情報入出力装置の制御装置６では、このときに得られる検出画像情報に基づいてユーザが近づいた半透明面２上の位置を認識する。そして、半透明面２上においてユーザが近づいたと認識された位置に対応させて、図のようにメニュー画面Ｍを表示するように表示制御を行う。このメニュー画面Ｍは当然のこととしてプロジェクタ５から半透明面２に対して投影された画像である。
【００４２】
そして、ユーザ自身が位置している付近の半透明面２上にメニュー画面Ｍが表示された状態のもとで、例えばユーザは自身の指を用いて、メニュー画面Ｍにおいて操作項目が表示されている任意の領域を指さすように指定したとする。このとき、ユーザの指先は、半透明面２上から３ｃｍ〜３０ｃｍ程度の範囲内の距離にあるようにされる。
【００４３】
これにより、例えばメニュー画面Ｍにおいては、ユーザが指し示した操作項目の領域が選択されたことを示す何らかの指示表示（例えば選択領域に対するカーソルの配置表示や所定の形態による強調表示など）が行われることになる。この強調表示のための表示制御は、検出画像情報に基づいてユーザの指が指し示している領域の座標を検出することにより実現される。
ここでは、上記のようにして指示表示が開始された状態から所定時間（例えば数秒程度）経過したときにエンター操作が行われたとみなすこととする。そして、ユーザがエンター操作を行った、つまり、特定の操作項目が強調表示された状態を所定時間以上維持させたとすると、指定された操作項目に従った所要の制御動作を実行することになる。例えば、指定された操作項目に従って、他の階層のメニュー画面を表示させたり、当該情報入出力装置に対して所望の動作を実行させたりすることになる。あるいは、当該情報入出力装置が何らかの外部機器を制御可能に構成されており、メニュー画面がその外部機器の動作についての操作制御を行うためのものであるとすれば、指定された操作項目に従って外部機器の動作を制御することになる。
なお、ユーザが半透明面２の前面から離れていき、ユーザと半透明面２との間にある程度以上の距離があいた場合には、それまで表示されていたメニュー画面Ｍは自動的に消去されるものとされる。
【００４４】
ここで、図６のフローチャートに、上記図５に示した利用例に対応して実行される制御装置６の処理動作を示す。この図に示す処理動作は、主として制御装置６内の入力画像処理部１２が検出画像情報に基づいて入力情報を認識すると共に、データベース駆動部１４がデータベースメモリ１５に格納されたプログラムに従って、上記入力情報に基づいて適宜処理動作を実行することにより実現されるものである。
【００４５】
この図に示すルーチンにおいては、先ずステップＳ３０１において現在の検出画像情報から入力情報として「接近体」が検出されるか否かについて判別を行う。ここで、「接近体」とは半透明面２に対して所定の距離範囲まで接近した何らかの検出対象（図５ではユーザ自身の身体とされている）をいうものとされる。
この「接近体」の検出は、例えば入力画像処理部１２が検出画像情報と接近体の検出用に設定されたしきい値（しきい値制御部１３により設定される）を比較して、例えば検出画像情報のある領域においてこのしきい値以上の値が得られた場合には「接近体有り」と検出し、しきい値以上の値が得られる領域がない場合には、「接近体無し」と検出することになる。上記接近体検出用のしきい値は、例えば通常、人体（ユーザ）が半透明面２にある程度（例えば数十ｃｍ）近づいたときに検出画像情報として得られる人体部分の画像レベルに基づいて設定されればよい。
【００４６】
上記ステップＳ３０１において接近体が検出されなかった場合にはステップＳ３０８に進んで、ここで現在メニュー画面Ｍが表示中であるか否かについて判別が行われ、ここでメニュー画面Ｍが表示されていない場合には元のルーチンに戻る（即ち再度ステップＳ３０１の処理に移行する）が、メニュー画面Ｍが表示中の状態である場合にはステップＳ３０９に進み、メニュー画面Ｍを消去するための制御処理を実行する。このメニュー画面Ｍの消去処理は、例えばデータベース駆動部１４が画像生成部１６に対するメニュー画面Ｍの画像データの生成処理を停止することで実現される。
【００４７】
これに対して、ステップＳ３０１において接近体が検出された場合には、ステップＳ３０２に進んで、半透明面２上における上記接近体の位置を検出することが行われる。この処理は、例えば検出画像情報における接近体の部分が占有する領域の座標を検出することで可能となる。この場合、検出すべき座標としては接近体の領域の所定の一地点であっても、所定規則に従って求められる複数地点であっても構わなく実際の使用環境等に応じて任意に設定されればよい。
【００４８】
続くステップＳ３０３においては、上記ステップＳ３０２にて検出された接近体の位置に応じた半透明面２の領域に対してメニュー画面Ｍを表示させるための制御を実行する。この制御処理は、例えばデータベース駆動部１４がデータベースメモリ１５に格納されているメニュー画面表示用のプログラムに基づいて、画像生成部１６において所要の種類のメニュー画面の画像データが作成されるように制御を行うことになる。
【００４９】
この際、データベース駆動部１４は、ステップＳ３０２にて検出された接近体の位置に対応する表示領域に対して、例えばメニュー画面の画像データをマッピングするようにして、表示用画像データを作成する。この結果、最終的にプロジェクタ５から投影される画像としては、半透明面２におけるユーザが近づいた位置に対してメニュー画面Ｍが表示されたものとなる。
【００５０】
上記ステップＳ３０３の処理が実行された後は、ステップＳ３０４において、現在表示中のメニュー画面Ｍの操作項目とされる表示領域内において、「操作体」が検出されたか否かについて判別が行われる。ここで、「操作体」とは半透明面２の前面において至近距離（しきい値の設定にもよるが３ｃｍ〜３０ｃｍ程度）にある物体（検出対象）のことをいうものとされる。つまり、図５においてはメニュー画面Ｍを指し示す指が対象となる。
そして、この「操作体」の検出処理は、先ず、操作体検出用としてしきい値制御部１３において設定されたしきい値と、検出画像情報の画像レベルとを比較することにより、操作体の有無を検出することが行われる。このとき設定されるしきい値としては、半透明面２の前面において至近距離にある物体を背景から分離して検出する必要上、前述した接近体検出用のしきい値よりも大きい値が設定される。
そして、例えばしきい値と比較した結果、操作体が検出されたとすれば、その操作体が検出された検出画像情報上の座標位置を検出し、この検出位置とメニュー画面Ｍが表示されているとされる画像情報上の位置が一致しているか否かを判別することで、現在表示中のメニュー画面の表示領域内における操作体の有無を検出することになる。
【００５１】
上記ステップＳ３０４においてメニュー画面Ｍの操作項目とされる表示領域内において操作体が検出されない場合とは、検出画像情報上に操作体が検出されなかった（ユーザが至近距離で半透明面２上を指し示していないような状態）か、或いは、検出画像情報上に操作体を検出したとしても、この操作体の検出位置（座標）がメニュー画面Ｍの表示領域内に対応する画像情報上の領域に無かった（ユーザが至近距離で半透明面２上を指し示していた位置がメニュー画面Ｍの操作項目以外の領域であったような状態）ことになるが、このような場合にはステップＳ３０１に戻るようにされる。
【００５２】
なお、ここで操作体が人体の手又は指に特定されるような場合には、ステップＳ３０４における操作体の検出処理として、例えば、データベースメモリ１５に対して操作時に現れる人体の手又は指の形状の情報を記憶させておき、この手又は指の形状の情報と、検出画像情報として得られた画像形状とを比較して、その一致状態をみて操作体の検出の有無を識別するように構成することが可能である。即ち、本発明では、画像情報から入力情報を検出するために、検出画像情報に得られる画像の形状に基づいても、これを何らかの意義を有する入力情報の１つとして認識可能なわけである。
【００５３】
ステップＳ３０４においてメニュー画面Ｍの操作項目とされる表示領域内において操作体が検出されたと判別された場合には、ステップＳ３０５に進んで、操作体が検出された位置に対応するメニュー画面Ｍの操作項目について指示表示が行われるように制御を実行してステップＳ３０６に進む。
【００５４】
ステップＳ３０６の処理はエンター操作の待機処理となる。前述のように、ここでのエンター操作は、指示表示が開始された状態から所定時間経過したときに確定されるものと規定している。そこで、ステップＳ３０６においては、ステップＳ３０４にて検出された操作体の検出状態が所定時間以上維持されるか否かについて検出を行うようにしている。この検出処理は、入力画像処理部１２において現在の検出画像の状態遷移を監視することにより行われる。
そして、例えば現在の検出画像情報上から操作体が検出されなくなったり、あるいは現在の検出画像情報上における操作体の検出位置が、ステップＳ３０４にて検出されたメニュー画面Ｍの操作項目とされる表示領域内から外れたことが検出されたような場合には、ステップＳ３０６からステップＳ３０１以降の処理に戻ることになる。（この処理により、例えばユーザがこれまでとは異なるメニュー画面Ｍ上の操作項目を指し示すように、その指定位置を変更した場合には、新たに指定されたメニュー画面Ｍ上の操作項目に対して指示表示が行われたりすることになる。）
【００５５】
これに対して、ステップＳ３０６において、直前のステップＳ３０４にて検出された操作体の検出状態が所定時間以上維持されたと判別された場合には、エンター操作が行われたものとしてステップＳ３０７に進む。
ステップＳ３０７においては、メニュー画面Ｍ上において操作体が検出された位置の操作項目に応じた所要の制御処理が実行される。このステップにおける処理は、データベース駆動部１４がデータベースメモリ１５に格納されたプログラムに従って実行する。
【００５６】
＜２．第１の実施の形態＞
次に、これまで説明してきた情報入出力装置１の構成をもととする実施の形態として、先ず、第１の実施の形態について図７〜図１１を参照して説明する。
図７には、第１の実施の形態としての情報入出力装置１をユーザが利用している状態が概念的に示されている。図７に示す第１の実施の形態としての情報入出力装置１の構成、及び制御装置６内部の構成は、先に図１及び図２に示した構成と同様でよいものとされる。
【００５７】
図７においては、ユーザが半透明面２の前に位置した状態でＩＤカード３０を手に持っている状態が示されている。このＩＤカード３０の裏面には、例えばユーザを特定するための情報としてのＩＤパターンが描かれている。
図８は、ＩＤカード３０の裏面に描かれたＩＤパターンの一例を示すものである。ＩＤパターン３０ａは、例えば白地のＩＤカード３０に対して、黒色の特定のパターンによる、いわゆる二次元バーコードといわれる図柄により描かれている。
【００５８】
例えば、図７に示されているユーザは、手に持っているＩＤカード３０の裏面に描かれたＩＤパターン３０ａを半透明面２に対して向けて近づけるようにする。
例えば黒色は赤外線光を反射せずに吸収する作用を有することから、上記した状態時において検出画像情報として得られたＩＤカード３０に相当する領域部分には、ちょうど図８に示したようなＩＤパターン３０ａの画像が得られることになる。そして、本実施の形態の情報入出力装置１の制御装置６では、上記のようにして得られるＩＤパターン３０ａの画像を、所定の意義内容を特定する入力情報、つまりＩＤ情報として識別し、この識別したＩＤ情報に従って所要の応答動作を実行するようにされる。
【００５９】
認識したＩＤ情報に基づいて実行すべき処理としては、その使用形態に応じて各種考えられるのであるが、一例としては、図９に示すようにしてＩＤ情報に応じて特定される種類のメニュー画面を表示させることが考えられる。
図９の場合においては、ＩＤカード３０はユーザを識別するためのカードであり、その裏面に描かれているＩＤパターン３０ａとしてはユーザごとに固有のパターンが決められているものとする。そして、ユーザの一人である甲氏が裏面のＩＤパターン３０ａを半透明面２側に見せるようにして自分が所有するＩＤカード３０を差し出したとすると、例えば図のように甲氏に関する情報内容のメニュー画面Ｍがプロジェクタ５により表示される。また、このときのメニュー画面Ｍは、図５により説明した場合と同様に、例えば実際にユーザが立っている位置に対応する半透明面２上の位置に表示されるものとする。このようにしてメニュー画面Ｍの表示位置が設定されれば、ユーザは表示されたメニュー画面Ｍを操作するために、これまでの立ち位置から移動しなくて済むことになる。なお、以降のメニュー画面Ｍに対する操作は、図５にて説明した方法に準ずればよい。
【００６０】
続いて、認識したＩＤ情報に基づいて実行すべき応答動作としての他の例を図１０に示す。
図１０（ａ）においては、書類フォルダ３１を手に持ちながら半透明面２の前に立っているユーザの姿が示されているが、この場合には、図１０（ｂ）に示すようにして書類フォルダ３１の裏面に対してＩＤパターン３１ａが描かれているものとされる。このＩＤパターン３１ａは、先に図８に示したＩＤパターン３０ａと同様に黒色により描かれる二次元バーコードとされて、フォルダごとの識別を可能とするためのものとされる。
この場合には、例えば図１０（ａ）に示すようにして、ユーザは書類フォルダ３１の裏面を半透明面２側に向けて近づけるようにする。これにより、上記図９の場合と同様に、情報入出力装置１の制御装置６においてＩＤパターン３１ａがＩＤ情報として認識されることになる。そして、ここでは認識したＩＤ情報に基づいて、ユーザが手に持っている書類フォルダ３１に関する内容の情報を呼び出すためのメニュー画面Ｍが表示される。また、このときもメニュー画面Ｍは、ユーザの立ち位置に対応するようにして半透明面２に対して表示されることになる。
【００６１】
上記図９又は図１０に示すような動作を実現するための制御装置６の処理動作を図１１に示す。なお、ここでは図９の動作に対応するものとして説明を行う。 図１１に示す処理動作が実行可能とされるためには、データベースメモリ１４に対して、予め用意されたＩＤパターン３０ａのすべてのパターンを識別可能とするためのＩＤパターンデータと、これら各ＩＤパターンデータと個々のユーザとの対応を示すテーブルデータが格納されていることと、更に、各ユーザに対応するメニュー画面の内容を有するデータが格納されていることが前提となる。
【００６２】
図１１においては、先ずステップＳ４０１において、検出画像情報からＩＤパターン３０ａが認識されるのを待機している。この処理は、例えば入力画像処理部１２において、検出画像情報をＩＤパターン認識用に設定された所定のしきい値（しきい値制御部により設定される）と比較することによって、検出画像情報の背景から分離されたＩＤパターンの画像データを、データベース駆動部１４がを取り込み、この画像データについてデータベースメモリ１５に格納されているＩＤパターンデータとの比較参照を行うことにより、ＩＤパターンが存在するか否かを判別することにより行われるものとされる。
【００６３】
そして、ステップＳ４０１において、何らかのＩＤパターン３０ａが認識されたのであれば、先ずステップＳ４０２において、例えば入力画像処理部１２により検出されたＩＤパターン３０ａの検出画像領域内における位置を識別し、この識別情報をデータベース駆動部１４が位置情報Ｐｏｓとして保持するようにされる。
続くステップＳ４０３においては、例えばデータベース駆動部１４の処理として、認識されたＩＤパターンに対応するユーザ名を上記テーブルデータを参照することによって特定し、特定されたユーザ名に対応するメニュー画面のデータを読み出すようにされる。
そして、データベース駆動部１４は、ステップＳ４０４において上記ステップＳ４０３の処理により読み出したメニュー画面のデータに基づいて画像生成部１６によりメニュー画面Ｍの画像が生成されるための制御を行うのであるが、このとき、ステップＳ４０３にて検出された位置情報Ｐｏｓを利用して、この位置情報Ｐｏｓに対応する半透明面２上の位置に対してメニュー画面Ｍが表示されるように、画像処理時に関する制御を実行することになる。
なお、図１０に示した動作もユーザ名の代わりにフォルダが特定されるようにすると共に、ＩＤ情報に応じてフォルダに関するメニュー画面が表示されるように、データベースメモリの記憶内容及び処理動作が変更されさえすれば、上記図１１に示す処理動作に準じて実現することが可能である。
【００６４】
＜３．第２の実施の形態＞
本発明としてＩＤ情報を認識するのにあたっては、上記のように検出画像情報として検出する構成には限定されず、例えば、専用のＩＤ認識装置を設けるように構成してもよい。そこで次に、このような専用のＩＤ認識装置が設けられた構成について、本発明の第２の実施の形態として図１２及び図１３を参照して説明する。
図１２は、第２の実施の形態としての情報入出力装置に対するユーザの利用形態を示しているものとされ、ここでは半透明面２に対してＩＤカード３０を持ったユーザが立っている様子が示されている。
【００６５】
この場合、例えば半透明面２は枠ｗｋに対して填められるようにして設置されており、この枠ｗｋに対してＩＤ認識装置２０が掛けられるようにして設置されている。このようにＩＤ認識装置２０を独立的に設ける構成を採る場合、多様な方法によりＩＤ情報の認識することが可能になる。
一例として、ＩＤ認識装置が撮像装置などであれば、左記の実施の形態において用いられたバーコードなどによる何らかの図柄をＩＤカードに描いておくことによりＩＤ情報を認識させることが可能であるほか、撮像装置がカラー対応の構成を採るのであれば、図柄により特定される色の相違をＩＤ情報として認識させることなども可能となる。
【００６６】
また、ＩＤ情報をＩＤカード３０に磁気記録したうえでＩＤ認識装置２０がこの磁気情報に基づいてＩＤ情報を検出可能に構成したり、さらには、電波や所定の波長帯域による光（この場合には、赤外線光とは異なる帯域であることが好ましい）や電磁波によって変調したＩＤコードデータを送信可能なようにＩＤカード３０を構成すると共に、ＩＤ認識装置２０ではこのＩＤコードデータを受信復調することによりＩＤ情報を得るように構成することなどが考えられる。
さらには、ＩＤカード３０を用いることなく、例えば個人を特定するのであれば指紋や声紋などをＩＤ情報として認識可能に構成することも可能とされる。
【００６７】
図１２においても、その利用形態として、ＩＤカード３０はユーザ（甲氏）を特定する識別情報としてのＩＤ情報を有しているものとされ、上記したようないずれかの方法に従ってＩＤ認識装置２０にＩＤ情報を認識させたことにより、半透明面２に対して甲氏専用のメニュー画面Ｍが表示された状態が示されている。
【００６８】
ここで、上記したような第２の実施の形態としての情報入出力装置１Ａの構成を図１３に示す。なお、この図では半透明面２は省略されているが当然のこととして赤外線ＬＥＤパネル３、ＣＣＤカメラ４，及びプロジェクタ５がその背面にあるように設けられているものとされる。また、図２と同一部分には同一符号を付して説明を省略する。
図１３に示す情報入出力装置１Ａでは、図１２にて説明したＩＤ認識装置２０が設けられている。このＩＤ認識装置２０は、所定のＩＤ認識方式に従って得られたＩＤ情報をデータベース駆動部１４に供給するようにされている。このＩＤ認識装置２０の内部構成は、実際に採用されるＩＤ認識方式に応じて適宜変更されることになる。
【００６９】
なお、本実施の形態の情報入出力装置１Ａにより認識したＩＤ情報に基づくメニュー画面Ｍの表示制御については、フローチャートによる図示は省略するが、この場合には、制御装置６のデータベース駆動部１４が、情報入出力装置１Ａにより認識したＩＤ情報から特定したメニュー画面のデータをデータベースメモリ１５から読み出して、このメニュー画面についての表示制御を行うことになる。
この際、例えば、検出画像情報内において検出されたユーザの撮像画像の位置情報（座標）に対応する半透明面２上の位置に対してメニュー画面を表示するように構成すれば、先の実施の形態と同様にして、ユーザの立ち位置のちょうど前あたりの半透明面２における表示領域に対してメニュー画面Ｍを表示させることが可能となる。
【００７０】
＜４．第３の実施の形態＞
図１４は、本発明の第３の実施の形態としての情報入出力装置１Ｂの構成を概念的に示すものであり、例えば図１と同一部分については同一符号を付して説明を省略する。
図１４に示す情報入出力装置１Ｂにおいては、受信装置２１が備えられている。この受信装置２１は、例えば赤外線により空間伝送されるデータ信号を受信して制御装置６伝送するように設けられている。本実施の形態の制御装置６では、受信装置２１から供給されるデータ信号を利用して各種所要の制御処理を実行可能なように構成されているものである。また、本実施の形態の情報入出力装置１Ａは、後述するようにして、赤外線ＬＥＤパネル３から出射される赤外線光に対して所要のデータに基づいて強度変調を施すことによって、赤外線によるデータ送信を外部に対して行うことができるように構成されている。
なお上記受信装置２１は、半透明面２の前面から送信される赤外線信号が良好に受信可能な位置に設置されればよく、実際の情報入出力装置１Ｂの設置環境によっても適切な配置位置は異なってくるため、ここでは特に限定されるものではない。
ところで、図１４においては、半透明面２の全面側に比較的近接した状態でパーソナルコンピュータ装置４０を操作しているユーザの姿が示されている。この場合、パーソナルコンピュータ装置４０は、例えば筐体の背面部等に対して、図８にて説明したようなＩＤパターンが付けられていると共に、赤外線により当該情報入出力装置１Ｂと送受信を行うことのできる赤外線通信機能が備えられているものとされる。なお、このパーソナルコンピュータ装置４０と併用した本実施の形態の情報入出力装置１Ｂの利用例については後述する。
【００７１】
図１５は、情報入出力装置１Ｂに備えられる制御装置６内部の構成例を、本実施の形態としての情報入出力装置１Ｂの全体構成と共に示すブロック図であり、図２及び図１３と同一部分については同一符号を付して説明を省略する。
先ず、図１５においては制御装置６におけるデータベース駆動部１４の内部構成として、例えば受信装置２１から時系列的に送信されてくるデータに対応するための構成が示されている。
【００７２】
この場合、データベース駆動部１４は、ＣＰＵ(Central Processing Unit) １４ａ、メモリ１４ｂ、アドレスカウンタ１４ｃ、及びクロック発生器１４ｄ等を備えて成るものとされている。ＣＰＵ１４ａは、入力画像処理部１２から供給される入力情報（半透明面２をＣＣＤカメラ４により撮像して得られる情報）及び受信装置２１から供給されるデータ信号に基づいて所要の制御処理を実行可能に構成されている。メモリ１４ｂは、ＣＰＵ１４ａが制御処理を実行する際に必要とされる上記入力情報やデータ信号等の各種データや各種演算処理に必要とされるデータを一時保持するために設けられる。このメモリ１４ｂに対するデータの書き込み及び読み出し制御は、アドレスカウンタ１４ｃにより発生された書き込みアドレス及び読み出しアドレスに基づいてＣＰＵ１４ａが実行する。また、ＣＰＵ１４ａの処理動作は、クロック１４ｄにより発生される所定周波数のクロックに基づいたタイミングにより実行される。このクロック１４ｄは、例えば水晶発振子を備えて構成される。
【００７３】
また、本実施の形態の情報入出力装置１Ｂでは、前述のようにデータ信号を赤外線光により強度変調して外部に送信可能とされているが、これに対応して、本実施の形態の制御装置６においてはＬＥＤ強度変調部１９が設けられている。
例えば、所要のデータ信号を送信する必要がある場合、ＣＰＵ１４ａは送信すべきデータ信号をＬＥＤ強度変調部１９に対して出力する。ＬＥＤ強度変調部１９では、入力されたデータ信号に対して所定方式に従った変調処理を施すことによって、データ信号に応じてそのレベルが変調された駆動信号を生成して出力する。ＬＥＤ強度変調部１９では、ＬＥＤ強度変調部１９にて生成された駆動信号に基づいて赤外線ＬＥＤパネル３のＬＥＤを発光駆動することになるが、これにより、赤外線ＬＥＤパネル３は、ＬＥＤの発光強度変化によりデータ信号を送信する送信部として機能することになる。
【００７４】
このようにして構成される第３の実施の形態としての情報入出力装置１Ｂの利用例について図１６を参照して説明する。
図１６においては、ユーザがパーソナルコンピュータ装置４０を使用しながら半透明面２の前面に位置している状態が示されている。なお、この図に示されているパーソナルコンピュータ装置４０は、先に図１４にて説明したものと同様とされ、前述のように背面側にはＩＤパターンとしての所定の図柄が付けられていると共に、情報入出力装置１Ｂ間との通信を可能とするための赤外線通信機能を備えているものとされる。なお、ここでパーソナルコンピュータ装置４０に付けられたＩＤパターンが意味する内容としては、半透明面２に対して接近した対象が、当該情報入出力装置１Ｂとの対応機能（ここでは少なくとも相互通信可能であることが条件となる）を有するパーソナルコンピュータ装置であることを示すものであればよいものとされる。
【００７５】
ここで、例えばユーザが、その背面側を半透明面２に対して対向させるようにして現在操作中のパーソナルコンピュータ装置４０を半透明面２に近づけたとする。
上記の状態のもとでは、情報入出力装置１Ｂ側の制御装置６において、検出画像情報に基づいて得られる入力情報として、パーソナルコンピュータ装置４０の背面にあるＩＤパターンの情報が得られることになるのであるが、制御装置６のデータベース駆動部１４（ＣＰＵ１４ａ）では、この入力情報として得たＩＤパターンに応答して、パーソナルコンピュータ装置４０に対してその表示データ（現在パーソナルコンピュータ装置４０のディスプレイパネルに４０ｂに表示中の画像と同一の画像データ）の送信を要求するため信号を送信する。この送信は、前述のようにして、赤外線ＬＥＤパネル３から強度変調によりＬＥＤを発光駆動するようにして行われるものである。
一方、赤外線通信機能を有するパーソナルコンピュータ装置４０では、上記のようにして送信される指示信号を受信する。そして、この受信した指示信号に応答して、現在ディスプレイパネル４０ｂに表示中の画像と同一内容の画像データを表示データとして赤外線信号により送信出力する。なお、このとき送信される画像データの形式については特に限定されるものではなく、実際の赤外線送信に適合する形式が任意に選択されてかまわない。
【００７６】
上記のようにして送信された表示データは、情報入出力装置１Ｂに設けられた受信装置２１にて受信されて制御装置６に対して供給される。制御装置６では、供給された画像データを例えばメモリ１４ｂに対して一時蓄積しながら、適宜、画像生成部１６に対して供給することで、例えば、画像生成部１６において、プロジェクタ５により表示するのに適合する形式の画像データを生成する。ここで、例えば送信されてくる表示データについて送信に適合させるための所定のエンコード処理や圧縮処理等が施されているのであれば、受信した表示データのデコード処理及び伸張処理等を実行可能なように、上記画像生成部１６及びデータベース駆動部１４が構成されることになる。
このようにして、画像生成部１６にて生成された画像が、画像合成部１７、ＲＧＢ信号生成部１８を介してプロジェクタ５に供給されることで、例えば図１６に示すようにして、パーソナルコンピュータ装置４０のディスプレイパネル４０ｂに表示されているものと同一のモニタ画像ＧＭＮが、半透明面２上に対して表示されることになる。
ここで、大型の半透明面２に対しては、ディスプレイパネル４０ｂに表示中の画像を拡大して表示することが可能であり、例えば具体的な利用形態としては、会議などで司会者が手元のパーソナルコンピュータを操作しながら説明を行うことなどが考えられる。
【００７７】
図１７は、上述したパーソナルコンピュータ装置４０のディスプレイパネル４０ｂに表示中の画像を半透明面２に対して拡大表示するための制御装置６（ＣＰＵ１４ａ）の処理動作を示すフローチャートである。
この図に示すように、先ずＣＰＵ１４ａは、ステップＳ５０１において検出画像情報に基づいて得られる入力情報として何らかのＩＤパターンが認識されるのを待機している。
そして、ここでＩＤパターンが認識されたことが識別されると、ＣＰＵ１４ａはステップＳ５０１に進んで、上記ステップＳ５０１において認識したＩＤパターンが当該情報入出力装置１Ｂに対応する機能を有するパーソナルコンピュータ装置であることを示すものであるか否かが判別される。この判別処理にあたっては、例えばデータベースメモリ１５において、当該情報入出力装置が認識して所要の応答処理をすべきとされる所要のＩＤパターンのデータが各種格納されているものとされ、ＣＰＵ１４ａは、入力されたＩＤパターンとデータベースメモリ１５に格納されているＩＤパターンのデータを参照するようにされる。
【００７８】
そして、ステップＳ５０２において、入力されたＩＤパターンは情報入出力装置１Ｂの対応機能を有するパーソナルコンピュータであることを示す内容でないことが判別された場合には、ステップＳ５０６に進み、実際にそのＩＤパターンが示す内容に従った処理動作を実行してもとのルーチンに戻るようにされる。
これに対して、入力されたＩＤパターンが当該情報入出力装置１Ｂの対応機能を有するパーソナルコンピュータであることを示していることが判別された場合には、ステップＳ５０３に進み、パーソナルコンピュータに対して表示データの出力を要求するための指示信号を送信してステップＳ５０４に進む。
【００７９】
ステップＳ５０４においては、上記ステップＳ５０４において送信した指示信号に応答して送信されるべき表示データが受信されたか否かを判別することになる。ここで表示データが受信されたことが判別されれば、ステップＳ５０５に進むのであるが、表示データが受信されたことが判別されない場合には、ステップＳ５０７→Ｓ５０３→Ｓ５０４の処理を継続して繰り返すことにより、ステップＳ５０７において所定時間が経過するまで、表示データ出力要求のための指示信号を送信するようにされる。ここで、ステップＳ５０７において所定時間が経過した場合にはもとのルーチンに戻るようにされる、即ち、特にパーソナルコンピュータ装置のモニタ画像ＧＭＮを表示する処理を実行しないことになる。このような非表示の処理が実行される場合としては、例えばパーソナルコンピュータ装置に電源が投入されていない、あるいは電源が投入されていたとしても、半透明面２に対するモニタ画像表示機能に対応したアプリケーションソフトウェアが起動していなかったり、パーソナルコンピュータ装置自体に何らかのトラブルが発生していることなどが考えられる。また、このようなことを考慮して、例えばステップＳ５０７において肯定結果が得られた場合には、何らかのエラーメッセージを半透明面２に表示させるなどした後にもとのルーチンに戻るようにすることが考えられる。
【００８０】
ステップＳ５０５においては、受信した表示データに基づいて、プロジェクタ５により表示可能な形式の画像データを生成し、この生成された画像（モニタ画像ＧＭＮ）をプロジェクタ５により半透明面２に対して投影表示するための制御処理を実行してもとのルーチンに戻るようにされる。このときにＣＰＵ１４ａが実行すべき処理としては、先に図１６においてその動作説明を行ったため、ここではその詳しい説明は省略する。
【００８１】
＜５．第４の実施の形態＞
図１８は、本発明の第４の実施の形態としての情報入出力装置の構成を示している。この図に示す情報入出力装置１Ｃは、先に図１４に示した第３の実施の形態としての情報入出力装置１Ｂの構成と同様であることから、ここでは同一部分に同一符号を付して説明を省略する。また、本実施の形態としての制御装置６の内部構成も図１５の構成と同様でよいものとされる。
本実施の形態においては、受信装置２１は、赤外線リモートコントローラ４１から送信される赤外線光によるコマンド信号を受信するものとされている。
【００８２】
ところで、これまでの説明からわかるように、本発明としての情報入出力装置では、ＣＣＤカメラ４により撮像される半透明面２からの赤外線光により得られる検出画像情報から操作情報を得るようにされる。つまり、本実施の形態においては半透明面２からＣＣＤカメラ４に入射する赤外線光の光量に変化が与えられさえすれば、これを操作情報として認識することができることになる。
【００８３】
そこで、この第４の実施の形態においては、図１８に示すように赤外線光によりコマンド信号を送信する赤外線リモートコントローラ４１をポインティングデバイス及び指示信号の入力装置として使用するものとされる。
【００８４】
例えば、本実施の形態では、ユーザが赤外線リモートコントローラ４１に対して所定のキー操作を行って所望のコマンド信号を送信出力させた状態で、このコマンド信号を半透明面２に対して照射し、半透明面２上の所望の位置に対してポインティングを行うようにされる。ＣＣＤカメラ４では、これを半透明面２上に現れた単なるスポット光として捉えることになる。そして、このとき検出される検出画像情報としては、赤外線光の照射部分に対応する位置（座標）のレベルが周囲に対して変化することになる。そこで、制御装置６側の入力画像処理部１２では、この検出画像情報のレベル変化を所定の意義を有する入力情報として認識するように処理を行えばよいことになる。そして、例えば制御装置６では、このポインティングされた位置に応答して所要の制御処理を実行することができる。このようにして本実施の形態では、先ず、赤外線リモートコントローラ４１をポインティングデバイスとして利用することが可能である。
【００８５】
なお、赤外線光は不可視であることから、例えば現在赤外線リモートコントローラ４１から半透明面２における赤外線光の照射位置が分かるようにスポットＳＰなどの表示を半透明面２上に行わせるようにすることが考えられる。この処理は、制御装置６の入力画像処理部１２が検出画像情報に基づいて現在赤外線光が照射されている位置（座標）を識別し、この識別された照射位置に対して、プロジェクタ５によるスポットＳＰの表示が行われるように表示制御を実行することで実現が可能である。
【００８６】
また、これと同時に、赤外線リモートコントローラ４１から出射された赤外線光は受信装置２１にてコマンド信号として受信されて制御装置６のデータベース駆動部１４（ＣＰＵ１４ａ）に対して伝送されることになる。データベース駆動部１４では、上記コマンド信号に応じて、上記した検出画像情報により得られる赤外線スポット光の入力情報に対する応答処理とは異なる、所要の制御処理を実行するように構成することができる。
【００８７】
このように、赤外線リモートコントローラ４１を使用した場合には、半透明面２に対するポインティング動作と同時に、コマンド信号による所定の動作制御を同時に実行することが可能となる。
具体的な利用例としては次のような形態が考えられる。例えば、半透明面２上に対して地図を表示させた状態の元で、例えば赤外線リモートコントローラ４１に対して画像の拡大又は縮小を行うためのキー操作により赤外線コマンド信号を送信出力するようにされる。そして、このときにはユーザは、この地図上に対して任意の所望の位置をポインティングするようにする。これにより、例えば半透明面２に表示されている地図の画像が、ポインティングした位置を中心に拡大又は縮小されるようにして変化するようにされる。
【００８８】
＜６．第５の実施の形態＞
図１９は、第５の実施の形態としての情報入出力装置の利用形態例を示す図であり、図１４と同一部分については同一符号を付して説明を省略する。なお、この図において赤外線透過フィルタ４ａと赤外線遮断フィルタ５ａの図示は省略されているが、実際にはＣＣＤカメラ４とプロジェクタ５に対して備えられているものである。また、制御装置６内の構成は、この場合も図１５と同様でよいものとされる。
この図においては半透明面２はテーブルとして設置されている。つまり、４本のテーブル脚Ｆ，Ｆ，Ｆ，Ｆにより支持されることにより、通常の家具としてのテーブルの天面としても機能している。この場合、半透明面２の下面側に対して図のように赤外線ＬＥＤパネル３、ＣＣＤカメラ４、プロジェクタ５（及び制御装置６）が設けられる。なお、この場合には制御装置６の設置位置は特に半透明面２の下面側である必要はなく、例えば透明面２（テーブル）の下面側のスペースに余裕を与えることを考慮して、これ以外の位置に設置することも考えられる。
【００８９】
また、この図においては情報入出力装置１Ｄとは別にテレビジョン受像器ＴＶが設置されている。このテレビジョン受像器ＴＶに対しては、例えば次に説明するスライダ操作子５０やボリューム操作子５１を操作することによって、例えば音量調整をはじめとする所定の動作制御が行えるように構成される。このため、本実施の形態では、制御装置６からテレビジョン受像器ＴＶの動作をコントロールするためのコマンド信号が伝送可能な構成を採ることになる。図１９では、制御装置６から供給されたコマンド信号をテレビジョン受像器ＴＶに供給するための制御ラインが示されているが、無線によりコマンド信号を送信するように構成されてもかまわない。
【００９０】
図１９では、操作子としてスライダ操作子５０及びボリューム操作子５１が置かれるようにして適当に配置されている。これらスライダ操作子３０及びボリューム操作子５１は、それぞれ本体に設けられたスライダあるいはボリューム等の操作子の操作に応じた赤外線コマンド信号が底面側から外部に対して送信されるようになっている。
【００９１】
ここで、例えばスライダ操作子５０を半透明面２上（テーブル面上）に配置した状態でユーザがこれを操作したとすると、その操作に従った赤外線コマンド信号がスライダ操作子５０の底面から半透明面２に対して照射されるようにして出力されることになる。この赤外線コマンド信号は、半透明面２を介して受信装置２１で受信され制御装置６に対して供給される。
ここで、仮にスライダ操作子５０の操作により、テレビジョン受像器ＴＶの音量を調整可能に構成されているとすると、制御装置６では、入力されたコマンド信号に基づいて、テレビジョン受像器ＴＶの音量をコントロールするためのコマンド信号を生成して、テレビジョン受像器ＴＶに対して送信出力するようにされる。これにより、テレビジョン受像器ＴＶでは、ユーザがスライダ操作子５０に対して行った操作に対応して音量が変化するように動作することになる。なお、上記と同様にして、スライダ操作子５０やボリューム操作子５１を操作することによって、例えばテレビジョン受像器ＴＶの音量だけでなく、チャンネル切り替えや、画質に関する調整等を行うように構成することも可能である。このような動作を実現するのにあたっては、例えば制御装置６内のデータベースメモリ１４に対して、当該情報入出力装置によりテレビジョン受像機ＴＶに対する操作を可能とするためのプログラムが格納されることになる。
なお、当然のこととして当該情報入出力装置１Ｄにより動作制御が可能な外部機器はテレビジョン受像機に限定されるものではなく、他の各種電子機器に対しても操作が可能なように構成することが可能である。
【００９２】
また、スライダ操作子５０やボリューム操作子５１の操作により制御可能なのは外部機器に限定されるものではない。図１９での図示は省略しているが、例えば、プロジェクタ５により半透明面２に表示された何らかの画像について、上記のような操作子の操作に従って移動させたり拡大、縮小したりさせるなどして変
化を与えることができるように構成することも考えられる。
【００９３】
＜７．第６の実施の形態＞
図２０は、第６の実施の形態としての情報入出力装置の利用形態例を示している。なおこの図に示す実施の形態についても、図１４と同一部分については同一符号を付して説明を省略する。また、この図においても赤外線透過フィルタ４ａと赤外線遮断フィルタ５ａの図示を省略しているが、実際にはＣＣＤカメラ４とプロジェクタ５に対して備えられており、制御装置６内の構成も例えば図１５と同様でよいものとされる。
【００９４】
この場合には、ユーザが携帯用電子ペット育成装置４２を手に持って半透明面２の前面に位置している状態が示されている。携帯用電子ペット育成装置４２は、例えば、ペットとしての何らかの生物を育成する携帯用のゲーム機とされ、この場合には、赤外線によりデータ送信を行う赤外線データ送信機能を有するものとされる。
ここで、例えばユーザが携帯用電子ペット育成装置４２に対して所要の操作を行うことによって、赤外線データ信号を送信出力させたとする。ここでは、赤外線データ信号として送信される情報内容としては、例えば、この送信信号の送信元が携帯用電子ペット育成装置であることを示す情報のほか、現在の電子ペットの成長状態に関する所要の情報（パラメータ）が含まれているものとする。
【００９５】
上記赤外線データ信号は、受信装置２１により受信されて制御装置６のＣＰＵ１４ａに供給される。
本実施の形態においては、データベースメモリ１５に対して例えば電子ペットの成長段階に応じた表示データが格納されているものとされる。制御装置６のＣＰＵ１４ａは赤外線データ信号を受信して得られたデータ内容に基づいて、先ず、送信もとが携帯用電子ペット育成装置であることを認識することになるが、続いて、受信したデータ内容から現在のペットの育成状況に関する所定のパラメータの状態を識別し、これらのパラメータを参照することにより必要となる表示データをデータべースメモリ１５から読み出すようにされる。この表示データは、現在の育成状況に関するパラメータに応じて、実際の電子ペットの成長状態を画像として表現するためのデータとされる。
【００９６】
そして、ＣＰＵ１４ａは、データべースメモリ１５から読み出した表示データに基づいて、プロジェクタ５により半透明面２に対して投影表示が行われるように表示制御を実行する。これにより、ユーザが所持している携帯用電子ペット育成装置４２において現在育成されている電子ペットの画像が、半透明面２に対して表示されることになり、ユーザは自分が育成している電子ペットの成長状態を半透明面２に表示された画像により観察することができる。
【００９７】
例えば、携帯用電子ペット育成装置４２に備えられている表示パネル（例えば液晶表示パネルなどが用いられる）によっても電子ペットの成長状態を観察することはできるが、通常は表示パネルの画面は小さく、また、画素数も少ないため、比較的簡略化された図柄の状態によってでしか電子ペットを表現することができない。これに対して、上記のような構成によって半透明面２に対して電子ペットを表示させる場合、大画面化された半透明面２に対して電子ペットを拡大して表示することが可能となるのに加え、携帯用電子ペット育成装置とは独立して、データべースメモリ１５に対して表示用データを格納することが可能であるため、半透明面２に表示させるべき電子ペットの画像としては、より高い精細度により表現することが可能となる。
【００９８】
ところで、これまで説明してきた各実施の形態の情報入出力装置としては、例えばその構成から赤外線ＬＥＤパネル３を省略することも可能であるが、これについて、本発明の情報入出力装置の基本的構成を示した図１を例に挙げて説明する。
たとえば、本発明に基づく情報入出力装置を屋外などの外光の強い環境で使用する場合、たとえば日中の自然光に含まれる赤外線が強いために、図１に示すような赤外線ＬＥＤパネル３から照射される赤外線光を入力情報検出用の光源とする構成では、赤外線ＬＥＤパネル３から照射される赤外線光の強度が自然光に含まれる赤外線に対して相対的に弱まるので、場合によっては適切な入力情報の検出が行われない（つまり入力情報を認識可能な適正な検出画像情報が得られない）可能性がある。
そこで、このような場合には、赤外線ＬＥＤパネル３を省略し、その代わりに自然光に含まれる赤外線光を入力情報検出用の光源として利用することができる。
この場合、検出画像情報を得るために必要な基準入力画像レベルＬｉｎｔは、例えば接近体及び操作体等の検出対象が無い（半透明面２に対して何の操作も行われていない）とされる状態のもとで、その前面側から半透明面２を透過してＣＣＤカメラ４において撮像される撮像信号から得た画像情報に基づいて検出するようにされる。
【００９９】
そして、例えば半透明面２に対して何らかの操作等が行われるとすると、このときの半透明面２における接近体及び操作体などの部分をＣＣＤカメラ４側からみた場合には、接近体及び操作体などにより自然光の赤外線が遮られることから、これを自然光に含まれる赤外線光の影として見ることができる。このような場合、本実施の形態の制御装置６では、基準入力画像レベルＬｉｎｔに対して、画像レベルがより低くなる（暗くなる）ようにして変化する画像情報を入力情報として扱うことになる。この場合、図２に示す制御装置６の内部構成としては、赤外線ＬＥＤパネル３が省略されたことに応じて、ＬＥＤ駆動部１０が設けられないことになる。
【０１００】
また、これまで説明してきた各実施の形態において、例えば赤外線ＬＥＤパネル３の代わりにマイクロ波発生器を設け、また、ＣＣＤカメラ４の代わりにマイクロ波受信器を設けて構成することも考えられる。
この場合、図２に示す制御装置６を例に採れば、ＬＥＤ駆動部１０の代わりに、マイクロ波発生器を駆動するためのマイクロ波駆動回路が備えられる。また、マイクロ波受信器から供給される受信マイクロ波を入力して例えば所定形式のデータに変換して出力する画像信号入力回路と、この画像信号入力回路から供給されるマイクロ波の受信データを入力して所要の処理を行うことにより、例えば検出画像情報を得ると共にこの検出画像情報に基づいて操作情報を得る入力データ処理回路が設けられる必要がある。画像信号入力回路及び入力データ処理回路は、それぞれ図２に示す画像入力部１１及び入力画像処理部１２に代わる機能回路部である。また、操作情報検出用の媒体としてマイクロ波を利用するため、ＣＣＤカメラ４に備えられた赤外線透過フィルタ４ａや、プロジェクタ５に備えられた赤外線遮断フィルタ５ａは不要となる。
【０１０１】
このように、それが照射された物体に反射する性質を有するマイクロ波のような媒体を操作情報の検出に利用するように構成しても、これまで説明してきた実施の形態（赤外線を入力情報の検出に利用した例）と同様にして本発明としての情報入力装置を構成することが可能である。
なお、このような構成において、例えば図８の説明に準じてＩＤパターンを認識させようとした場合には、例えばマイクロ波を反射する材質面と、これを吸収する材質面とを組み合わせるようにして図８に示したのと同等のＩＤパターンを形成するようにすればよい。
【０１０２】
また、本発明に基づいて構成される情報入出力装置において各種入出力動作を実現するための入力情報の入力形態及び入力情報に応じた制御処理動作は、これまでの説明の内容に限定されるものではなく、本発明としての情報入出力装置の利点を活かした情報入力方法や制御処理方法等は他にも各種考えられるものである。また、図１においては音声出力系の図示は省略したが、本発明の実施の形態としての情報入出力装置において、各種インタラクティブな応答を音声により行うことは当然考えられる。
【図面の簡単な説明】
【０１０３】
【図１】本発明の実施の形態としての情報入出力装置の基本的構成例を示す概念図である。
【図２】図１に示す情報入出力装置に備えられる制御装置の内部構成を示す図である。
【図３】基準入力画像レベルを検出及び保持するための処理動作を示すフローチャートである。
【図４】検出画像情報を生成するための処理動作を示すフローチャートである。
【図５】図１に示す情報入出力装置の利用例としてメニュー画面に対する操作例を示す説明図である。
【図６】図５に示すメニュー画面に対する操作を実現するための処理動作を示すフローチャートである。
【図７】第１の実施の形態としての情報入出力装置の構成を示す概念図である。
【図８】ＩＤパターンの一例を示す説明図である。
【図９】第１の実施の形態の情報入出力装置の利用例を示す説明図である。
【図１０】第１の実施の形態の情報入出力装置の他の利用例を示す説明図である。
【図１１】第１の実施の形態の情報入出力装置としての処理動作を示すフローチャートである。
【図１２】本発明の第２の実施の形態としての情報入出力装置の構成例を示す概念図である。
【図１３】第２の実施の形態の情報入出力装置に備えられる制御装置の内部構成を示す図である。
【図１４】第３の実施の形態の情報入出力装置の構成例を示す概念図である。
【図１５】第３の実施の形態の情報入出力装置に備えられる制御装置の内部構成を示す図である。
【図１６】第３の実施の形態の情報入出力装置の利用例を示す説明図である。
【図１７】第３の実施の形態の情報入出力装置としての処理動作を示すフローチャートである。
【図１８】第４の実施の形態としての情報入出力装置の利用例を示す概念図である。
【図１９】第５の実施の形態としての情報入出力装置の利用例を示す概念図である。
【図２０】第６の実施の形態としての情報入出力装置の利用例を示す概念図である。
【符号の説明】
【０１０４】
１，１Ａ，１Ｂ，１Ｃ，１Ｄ 情報入出力装置、２ 半透明面、３ 赤外線ＬＥＤパネル、４ ＣＣＤカメラ、５ プロジェクタ、６ 制御装置、１０ ＬＥＤ駆動部、１１ 画像入力部、１２ 入力画像処理部、１３ しきい値制御部、１４ データベース駆動部、１５ データベースメモリ、１６ 画像生成部、１７ 画像合成部、１８ ＲＧＢ信号生成部、２０ ＩＤ認識装置、２１ 受信装置、３０ ＩＤカード、３０ａ，３１ａ ＩＤパターン、３１ 書類フォルダ、４０ パーソナルコンピュータ装置、４０ａ ディスプレイパネル、４１ 赤外線リモートコントローラ、４２ 携帯用電子ペット育成装置、５０ スライダ操作子、５１ ボリューム操作子、ＴＶ テレビジョン受像機、
【特許請求の範囲】
【請求項１】
入力情報に応答した所要の情報出力を行う情報入出力装置において、
半透明面と、
上記半透明面側の方向から入射する所定の波長帯域の光又は電磁波のみを像として捉える撮像手段と、
上記撮像手段が受像すべき所定の波長帯域の光又は電磁波を、当該光又は電磁波が上記半透明面を透過しその後上記半透明面前の空間の操作体で反射して上記半透明面側に戻るように、上記半透明面に輻射する輻射手段と、
上記半透明面前の空間の操作体により上記光又は電磁波が反射されたことに伴う上記撮像手段から入力された撮像信号の変化に基づいて、上記操作体により上記光又は電磁波が反射されている上記半透明面上における座標位置を検出する検出手段と、
上記撮像手段が撮像すべき光又は電磁波の波長帯域を含まない可視光による画像を上記半透明面に対して投影表示可能に設けられる投影表示手段と、
少なくとも入力情報として上記座標位置が入力可能とされ、この座標位置に応答した情報出力として、少なくとも上記半透明面に対して所要の内容の画像を投影表示するための上記投影表示手段に対する表示制御を含む所要の制御処理を実行可能とされる制御処理手段と、
上記操作体から情報を受信することができる受信部と、
を備え、
上記受信部によって上記操作体から画像情報を受信し、
上記制御処理手段は、上記半透明面に対して上記受信部により受信した画像情報を投影表示するための上記投影表示手段に対する表示制御処理を実行する
情報入出力装置。
【請求項２】
上記制御処理手段は、上記操作体からの画像情報に基いて、上記輻射手段を制御して上記所定の波長帯域の光又は電磁波に対して強度変調を施し、該光又は電磁波によるデータ送信を行うことを特徴とする請求項１に記載の情報入出力装置。
【請求項３】
上記制御処理手段によるデータ送信は、上記操作体に対して行われるものであることを特徴とする請求項２に記載の情報入出力装置。
【請求項４】
上記操作体からの画像情報は、該操作体を識別するＩＤ情報を含むものであることを特徴とする請求項２に記載の情報入出力装置。
【請求項５】
上記制御処理手段は、上記データ送信によって上記操作体に画像情報送信要求を行い、上記受信部により受信した該画像情報を投影表示するための上記投影表示手段に対する表示制御処理を実行することを特徴とする請求項２に記載の情報入出力装置。
【請求項６】
上記制御処理手段による上記操作体に対する画像情報送信要求は、上記操作体の表示手段に表示されている画像情報の送信要求であることを特徴とする請求項５に記載の情報入出力装置。
【請求項７】
上記制御処理手段は、上記送信要求によって上記受信部により受信した該画像情報を拡大表示が可能なよう上記投影表示手段に対する表示制御処理を実行することを特徴とする請求項５に記載の情報入出力装置。
【請求項８】
入力情報に応答した所要の情報出力を行う情報入出力装置の情報入出力方法において、
半透明面側の方向から入射する所定の波長帯域の光又は電磁波のみを像として捉える撮像動作と、
上記撮像動作において受像すべき所定の波長帯域の光又は電磁波を、当該光又は電磁波が上記半透明面を透過しその後上記半透明面前の空間の操作体で反射して上記半透明面側に戻るように、上記半透明面に輻射する輻射動作と、
上記半透明面前の空間の操作体により上記光又は電磁波が反射されたことに伴う上記撮像動作から入力された撮像信号の変化に基づいて、上記操作体により上記光又は電磁波が反射されている上記半透明面上における座標位置を検出する検出処理と、
上記撮像動作において撮像すべき光又は電磁波の波長帯域を含まない可視光による画像を上記半透明面に対して投影表示する投影表示処理と、
少なくとも入力情報として上記座標位置が入力可能とされ、この座標位置に応答した情報出力として、少なくとも上記半透明面に対して所要の内容の画像を投影表示するための上記投影表示処理に対する表示制御を含む所要の処理を実行する制御処理と、
上記操作体から情報を受信する受信処理と、
を実行し、
上記受信処理によって上記操作体から画像情報を受信し、
上記制御処理処理は、上記半透明面に対して上記受信処理によって受信した画像情報を投影表示するための上記投影表示処理に対する表示制御処理を実行する
情報入出力方法。
【請求項１】
入力情報に応答した所要の情報出力を行う情報入出力装置において、
半透明面と、
上記半透明面側の方向から入射する所定の波長帯域の光又は電磁波のみを像として捉える撮像手段と、
上記撮像手段が受像すべき所定の波長帯域の光又は電磁波を、当該光又は電磁波が上記半透明面を透過しその後上記半透明面前の空間の操作体で反射して上記半透明面側に戻るように、上記半透明面に輻射する輻射手段と、
上記半透明面前の空間の操作体により上記光又は電磁波が反射されたことに伴う上記撮像手段から入力された撮像信号の変化に基づいて、上記操作体により上記光又は電磁波が反射されている上記半透明面上における座標位置を検出する検出手段と、
上記撮像手段が撮像すべき光又は電磁波の波長帯域を含まない可視光による画像を上記半透明面に対して投影表示可能に設けられる投影表示手段と、
少なくとも入力情報として上記座標位置が入力可能とされ、この座標位置に応答した情報出力として、少なくとも上記半透明面に対して所要の内容の画像を投影表示するための上記投影表示手段に対する表示制御を含む所要の制御処理を実行可能とされる制御処理手段と、
上記操作体から情報を受信することができる受信部と、
を備え、
上記受信部によって上記操作体から画像情報を受信し、
上記制御処理手段は、上記半透明面に対して上記受信部により受信した画像情報を投影表示するための上記投影表示手段に対する表示制御処理を実行する
情報入出力装置。
【請求項２】
上記制御処理手段は、上記操作体からの画像情報に基いて、上記輻射手段を制御して上記所定の波長帯域の光又は電磁波に対して強度変調を施し、該光又は電磁波によるデータ送信を行うことを特徴とする請求項１に記載の情報入出力装置。
【請求項３】
上記制御処理手段によるデータ送信は、上記操作体に対して行われるものであることを特徴とする請求項２に記載の情報入出力装置。
【請求項４】
上記操作体からの画像情報は、該操作体を識別するＩＤ情報を含むものであることを特徴とする請求項２に記載の情報入出力装置。
【請求項５】
上記制御処理手段は、上記データ送信によって上記操作体に画像情報送信要求を行い、上記受信部により受信した該画像情報を投影表示するための上記投影表示手段に対する表示制御処理を実行することを特徴とする請求項２に記載の情報入出力装置。
【請求項６】
上記制御処理手段による上記操作体に対する画像情報送信要求は、上記操作体の表示手段に表示されている画像情報の送信要求であることを特徴とする請求項５に記載の情報入出力装置。
【請求項７】
上記制御処理手段は、上記送信要求によって上記受信部により受信した該画像情報を拡大表示が可能なよう上記投影表示手段に対する表示制御処理を実行することを特徴とする請求項５に記載の情報入出力装置。
【請求項８】
入力情報に応答した所要の情報出力を行う情報入出力装置の情報入出力方法において、
半透明面側の方向から入射する所定の波長帯域の光又は電磁波のみを像として捉える撮像動作と、
上記撮像動作において受像すべき所定の波長帯域の光又は電磁波を、当該光又は電磁波が上記半透明面を透過しその後上記半透明面前の空間の操作体で反射して上記半透明面側に戻るように、上記半透明面に輻射する輻射動作と、
上記半透明面前の空間の操作体により上記光又は電磁波が反射されたことに伴う上記撮像動作から入力された撮像信号の変化に基づいて、上記操作体により上記光又は電磁波が反射されている上記半透明面上における座標位置を検出する検出処理と、
上記撮像動作において撮像すべき光又は電磁波の波長帯域を含まない可視光による画像を上記半透明面に対して投影表示する投影表示処理と、
少なくとも入力情報として上記座標位置が入力可能とされ、この座標位置に応答した情報出力として、少なくとも上記半透明面に対して所要の内容の画像を投影表示するための上記投影表示処理に対する表示制御を含む所要の処理を実行する制御処理と、
上記操作体から情報を受信する受信処理と、
を実行し、
上記受信処理によって上記操作体から画像情報を受信し、
上記制御処理処理は、上記半透明面に対して上記受信処理によって受信した画像情報を投影表示するための上記投影表示処理に対する表示制御処理を実行する
情報入出力方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【公開番号】特開２００９−１４０４９８（Ｐ２００９−１４０４９８Ａ）
【公開日】平成２１年６月２５日（２００９．６．２５）
【国際特許分類】
【出願番号】特願２００８−３０８５２０（Ｐ２００８−３０８５２０）
【出願日】平成２０年１２月３日（２００８．１２．３）
【分割の表示】特願平９−２１１６６０の分割
【原出願日】平成９年８月６日（１９９７．８．６）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２１年６月２５日（２００９．６．２５）
【国際特許分類】
【出願日】平成２０年１２月３日（２００８．１２．３）
【分割の表示】特願平９−２１１６６０の分割
【原出願日】平成９年８月６日（１９９７．８．６）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]