制御システム及び制御方法
【課題】生活環境が変化する場合でも、状況に応じて必要なスイッチ操作を可能とする。
【解決手段】操作対象のスイッチ１７に無線受信機とコントローラを組み込み、その近傍に識別図形が描かれた識別タグ１８を配置する。撮像装置１５で周囲を撮影する。情報処理装置１３は、撮像画像を解析し、識別図形が存在するか否かを判別し、識別図形を検出すると、その識別図形に対応するアイコンを生成し、表示装置１２に表示し、順次強調表示する。利用者の脳波、視線等の生体情報から、利用者が注目しているアイコンを判別し、判別されたアイコンに対応する制御信号を、無線通信機１６からスイッチ１７の無線受信機に送信する。この制御信号に応答して、コントローラがスイッチ１７を制御する。
【解決手段】操作対象のスイッチ１７に無線受信機とコントローラを組み込み、その近傍に識別図形が描かれた識別タグ１８を配置する。撮像装置１５で周囲を撮影する。情報処理装置１３は、撮像画像を解析し、識別図形が存在するか否かを判別し、識別図形を検出すると、その識別図形に対応するアイコンを生成し、表示装置１２に表示し、順次強調表示する。利用者の脳波、視線等の生体情報から、利用者が注目しているアイコンを判別し、判別されたアイコンに対応する制御信号を、無線通信機１６からスイッチ１７の無線受信機に送信する。この制御信号に応答して、コントローラがスイッチ１７を制御する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、生活環境にある任意の機器・装置を制御する制御システムと制御方法に関する。
【背景技術】
【０００２】
生活環境にある各種機器・装置を制御・操作する手法として、操作スイッチを直接的に操作する方法と、リモコンやネットワークを介した通信機等による遠隔操作がある。四肢が不自由でこれらの操作が行えない場合に、表示盤に記号、文字、絵（アイコン）を表示し、表示されたアイコンを選択することにより、スイッチの操作を可能とする技術が知られている。
【０００３】
例えば、特許文献１には、表示されたアイコンを、利用者が注視することにより、スイッチの操作を可能とする技術が開示されている。
【０００４】
また、特許文献２には、脳波・筋電・眼電などを検出することにより、スイッチの操作を可能とする技術が開示されている。
【特許文献１】特開平１１−７３２７４号公報
【特許文献２】特開平１０−２０７５９２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
従来のスイッチ制御装置は、操作のスイッチが固定されている。このため、
利用者が移動する場合のように、利用環境（利用者の生活環境）が変化して、操作対象となるスイッチが変化する場合には、対応できない。
【０００６】
同様の問題は、利用者が四肢不自由である場合に限らず、アイコン等を用いて生活環境にあるスイッチを操作する場合全般に存在する。
【０００７】
本発明は、斯かる事情に鑑みてなされたものであり、生活環境が変化する場合でも、状況に応じて必要なスイッチ操作を可能とする技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、この発明の制御システムは、
操作対象の存在を示す情報を検出する検出手段と、
前記操作手段が制御対象の存在を示す情報を検出したことに応答し、アイコンを含む操作画像を特定する情報を記憶手段から読み出す読出手段と、
前記読出手段により読み出された情報に従って、アイコンを含む操作画像を生成し、生成した操作画像を表示装置に表示する表示制御手段と、
前記表示装置に表示されている操作画像に含まれるアイコンのうち、利用者が注目しているアイコンを判別する注目アイコン判別手段と、
前記注目アイコン判別手段により判別されたアイコンに対応する制御信号を出力する制御出力手段と、
を備えることを特徴とする。
【０００９】
例えば、前記検出手段は、画像信号を入力し、該画像信号が表す画像中の特定の図形を検出する特定図形検出手段から構成され、特定の図形と操作画像特定情報とを対応付けて記憶し、前記読出手段は、前記特定画像検出手段により検出された特定の図形に対応する操作画像特定情報を読み出し、前記表示制御手段は、読出手段により読み出された操作画像特定情報により特定される操作画像を前記表示装置に表示する。
【００１０】
例えば、前記検出手段は、操作対象の存在を指示する無線信号を検出する手段を備える。
【００１１】
例えば、前記検出手段は、操作対象の近傍に配置された非接触情報記憶媒体を検出する手段を備え、前記読出手段は、前記検出手段により検出された非接触情報記憶媒体に記憶されている操作画像を特定する情報を読み出す。
【００１２】
例えば、前記表示制御手段は、撮像装置からの画像信号を受信し、受信した画像信号が定義する画像と操作画像特定情報により特定される操作画像とを合成して前記表示装置に表示する。
【００１３】
例えば、前記表示装置は、透過型の表示装置から構成され、前記表示制御手段は、前記表示装置に操作画像を表示する。
【００１４】
例えば、前記注目アイコン判別手段は、利用者の生体情報を取得し、取得した生体情報に基づいて、前記表示手段に表示されている操作画像に含まれるアイコンのうち、いずれのアイコンに注目しているかを判別する手段を含む。
【００１５】
例えば、前記表示制御手段は、前記操作画像に含まれるアイコンを順次強調表示し、前記注目アイコン判別手段は、利用者の生体情報を取得し、取得した生体情報の変化を検出する手段と、変化時点において強調状態にあるアイコンを注目アイコンとして判別する手段と、を備える。
【００１６】
前記注目アイコン判別手段は、例えば、利用者の脳波信号を取得し、取得した脳波信号に基づいて、利用者が注目しているアイコン判別する手段と、利用者の視線を判別し、視線上のアイコンを判別する手段と、の少なくとも一方を備える。
【００１７】
また、この発明の制御方法は、操作対象の存在を検出し、検出に応答し、操作画像を特定する情報を読み出し、読み出した情報に従って、アイコンを含む操作画像を生成して表示し、利用者が注目しているアイコンを判別し、判別されたアイコンに対応する制御信号を操作対象に出力する、ことを特徴とする。
【発明の効果】
【００１８】
本発明によれば、操作対象であるスイッチ等の存在を検出し、検出した操作対象を操作するためにアイコンを含む操作画像を生成して表示する。従って、環境が変化して操作対象が変化しても、任意の操作対象を操作することが可能となる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の実施の形態に係る制御システムを図面を参照して説明する。この制御システムは、環境機器全般の操作を可能とするものである。環境機器の操作とは、例えば、生活環境に存在する映像・音響機器、空調装置、照明装置のオン・オフ・調整、窓やカーテン等の開閉、パソコンのオン・オフ・入力などを広く意味する。
【００２０】
（第１の実施の形態）
本実施の形態のスイッチ制御システム１００は、利用者の手近な位置に設置された表示盤（モニター）に表示されるアイコン（選択指標）により生活環境に存在する機器を操作可能とするものである。
【００２１】
図１に示すように、スイッチ制御システム１００は、脳波測定装置１１と、表示装置１２と、情報処理装置１３と、機器制御装置１４と、撮像装置１５と、無線通信機１６と、スイッチ１７と、識別タグ１８と、データベース（ＤＢ）サーバ２０と、ネットワークＮＷと、から構成される。
【００２２】
脳波測定装置１１は、図２に示すように、複数のプローブ１１１と、信号処理回路１１２と、出力部１１３と、を備える。
【００２３】
複数のプローブ１１１は、利用者１９の頭部に装着され、検出した電圧信号を出力する。
信号処理回路１１２は、アナログ信号処理回路、Ａ／Ｄコンバータ、ディジタル信号処理回路等から構成され、プローブ１１１で検出された電圧信号を整形し、ノイズを除去して、脳波を示す検出信号を出力する。
【００２４】
出力部１１３は、信号処理回路１１２から出力された検出信号を情報処理装置１３に順次供給する。
【００２５】
図１に示す表示装置１２は、利用者１９の視界内に配置され、環境機器を操作するためのユーザインタフェースとして機能し、図３（ａ）、（ｂ）に例示するような操作用画面１２１を表示する。
【００２６】
操作用画面１２１は、撮像画像１２２と定常操作パネル画像１２３とから構成されている。
【００２７】
撮像画像１２２は、撮像装置１５で撮影された画像であり、撮像装置１５の移動、向きの変更、倍率の変動などに伴って変化する。撮像画像中に識別タグ１８の画像が含まれている場合、識別タグ１８に重畳して、隣接するスイッチ１７を操作するための操作画像１２４が表示される。図の例では、スイッチをオンするためのアイコンとオフするためのアイコンを２組備える操作画像１２４が２つ、スペードが描かれた識別タグ１８と星印が描かれた識別タグ１８に重畳して表示されている。
【００２８】
定常操作パネル画像１２３は、撮像装置１５と、その他の特定の機器・装置を操作するための画面であり、複数の操作用アイコンを備える。
【００２９】
図３（ａ）は、アイコン「撮像装置」１２６を選択した場合の、定常操作パネル画像１２３を例示し、撮像装置１５の向きを変更するための矢印アイコン１２５と、他の機器を指定するアイコン１２６とを含む。図３（ｂ）は、アイコン「空調」１２６を選択した場合の、定常操作パネル画像１２３を例示し、空調機をオン・オフするアイコン１２７、設定温度を上げ・下げするためのアイコン１２８、他の機器を指定するアイコン１２６を備える。
【００３０】
これらのアイコンは、所定の順番（ランダムを含む）で複数同時に又は個別に強調表示される。所望のアイコンが強調表示されたタイミングで、利用者１９が、そのアイコンを選択することを意識することにより、脳波測定装置１１で脳波の変化が検出され、強調表示中のアイコンが選択・指定される。詳細は後述する。
【００３１】
図１に示す情報処理装置１３は、図４に示すように、入力部１３１と、タグ情報記憶部１３２と、通信部１３３と、制御部１３４と、脳波記憶部１３５とを備える。
【００３２】
入力部１３１は、脳波測定装置１１から出力された検出信号を取り込み、制御部１３４に供給する。
【００３３】
タグ情報記憶部１３２は、表示装置１２に表示させる操作画像１２４を構成する画像（素材）のライブラリを格納する。操作画像１２４は、例えば、図５（ａ）、（ｂ）に例示するような画像であり、このライブラリは、図６（ａ）、（ｂ）に例示する枠の画像、図７（ａ）〜（ｆ）に例示するアイコン（選択要素：ボタン）の画像等を含む。各画像（素材）には、識別情報が付与されている。
【００３４】
さらに、タグ情報記憶部１３２は、図８（ａ）に示すように、識別タグ１８に表示されている識別図形と、該識別図形に対応して表示する操作画像１２４を定義する操作画像定義情報と、操作対象のスイッチ１７を特定する情報（アドレス）を対応付けるスイッチ制御情報を格納する。
【００３５】
操作画像定義情報は、図８（ｂ）、（ｃ）に例示するように、図６に示した枠の画像の識別情報、図７に示したアイコンの識別情報と枠内の位置を特定する情報とその機能と解説、枠内に記載するテキスト（文字列）とその位置を特定する情報を有する。
【００３６】
タグ情報記憶部１３２は、さらに、予め設計された定常操作パネル画像１２３を複数記憶する。各定常操作パネル画像１２３とそれを呼び出すためのアイコン１２６とは予めリンク付けられている。
【００３７】
図３に示す通信部１３３は、ネットワークＮＷを介して、撮像装置１５が撮像した画像を受信し、撮像装置１５と無線通信機１６とに、制御信号（コマンド）を送信する。
【００３８】
制御部１３４は、マイクロプロセッサ、メモリ等を備え、機能的に、タグ検出部１３４１，判別処理部１３４２，表示出力制御部１３４３を備える。制御部１３４は、例えば、（１）表示出力制御部１３４３により、撮像装置１５の撮像画像を受信し、表示装置１２に表示する、（２）タグ検出部１３４１により、撮像装置１５の撮像画像中に、識別タグ１８に表示されている識別図形が含まれているか否かを判別し、含まれていると判別した場合には、表示出力制御部１３４３により、スイッチ制御情報に基づいて、操作画像１２４を生成し、これを撮像装置１５の撮像画像に重畳して撮像画像１２２を合成する。さらに、撮像画像１２２と予め用意されている定常操作パネル画像１２３のうちの１つを合成し、１画面分の画像を形成する、（３）表示出力制御部１３４３により、合成した１画面分の画像中のアイコン（ボタン）の画像を周期的又はランダムに強調し、（４）表示出力制御部１３４３により、これを表示装置１２に表示する。（５）脳波測定装置１１から送信される検出信号（脳波信号）を脳波記憶部１３５に順次格納する、（６）判別処理部１３４２により、脳波記憶部１３５に格納されている検出信号を解析し、脳波信号が変化したときに強調表示されていたアイコンがいずれであるかを判別し、（７）判別処理部１３４２により、判別したアイコンに対応する制御を指示する制御信号を通信部１３３を介して機器制御装置１４に送信する。
【００３９】
脳波記憶部１３５は、脳波測定装置１１から供給された検出信号（脳波信号）を数秒から数十秒の間、記憶する。
【００４０】
図１に示す機器制御装置１４は、図９に示すように、通信部１４１と、出力部１４２と、制御部１４３とを備える。
【００４１】
通信部１４１は、撮像装置１５からの映像をネットワークＮＷを介して情報処理装置１３に供給し、また、情報処理装置１３からの制御信号をネットワークＮＷを介して受信し、制御部１４３に供給する。
【００４２】
入出力部１４２は、撮像装置１５からの映像データを受信して制御部１４３に供給し、制御部１４３からの制御データ（方向制御信号、ズーム制御信号等）を撮像装置１５に供給する。また、制御部１４３からの制御データを無線通信機１６に供給する。
【００４３】
制御部１４３は、プロセッサを備え、撮像装置１５からの映像データを入出力部１４２を介して取り込み、通信部１４１を介して情報処理装置１３に供給する。また、制御部１４３は、情報処理装置１３からの制御データを通信部１４１を介して取り込み、入出力部１４２を介して撮像装置１５又は無線通信機１６に供給する。
【００４４】
図１に示す撮像装置１５は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）、ＣＭＯＳ（Ｃｏｍｐｌｉｍｅｎｔａｒｙ ＭＯＳ）センサ等を備え、画像を撮像し、画像信号を機器制御装置１４に供給し、また、機器制御装置１４からの制御信号に従って、向きを制御し、また、絞りやズームを制御する。
【００４５】
無線通信機１６は、無線通信機等をから構成され、電波、光、超音波等の無線信号を用いて、機器制御装置１４からの制御データをスイッチ１７に送信する。
【００４６】
ＤＢサーバ２０は、識別タグ１８の図形情報や、操作画面１２４を構成する情報、操作対象（スイッチ１７）を制御するためのスイッチ制御情報等を記憶したデータベース（ＤＢ）を備えており、制御装置１３からの要求に応答し、これらの情報を提供する。
【００４７】
スイッチ１７は、手動操作が可能であると共に無線通信機１６からの制御データによりリモート制御可能である。スイッチ１７は、図１０（ａ）に示すように、受信機１７１と、コントローラ１７２と、アクチュエータ１７３とを備える。
【００４８】
受信機１７１は、無線通信機１６からの制御データを受信し、コントローラ１７２に提供する。
【００４９】
コントローラ１７２は操作データに従って、アクチュエータ１７３に駆動信号を供給する。
【００５０】
アクチュエータ１７３は、ソレノイド、モータなどから構成され、スイッチの可動切片１７４を制御して、スイッチ１７をオン・オフする。
【００５１】
なお、電球の明るさや、機器のボリューム等を調節するような場合には、図１０（ｂ）に示すように、コントローラ１７２により、電源回路（又は変圧器、増幅器）１７５の出力電圧を制御して、制御対象の機器に供給するように構成してもよい。
【００５２】
図１に示す識別タグ１８は、枠内に予め識別可能な図形（識別図形）が表示されたカードであり、スイッチ１７に隣接して配置されている。
【００５３】
（動作説明）
次に、上記構成のスイッチ制御装置１００の動作を説明する。
まず、設備の施工段階で、操作対象機器の種類に応じて、図１０（ａ）、（ｂ）に示すような構成のスイッチ（ボリュームを含む）１７を設置する。
【００５４】
続いて、スイッチ１７に隣接して、識別タグ１８を設置する。この際、識別タグ１８に表示されている識別図形を互いに異なるもの（識別可能なもの）とする。図１の例では、スペードの図形が識別図形となる。
【００５５】
次に、操作対象のスイッチ（ボリュームを含む）１７を操作するために必要となる操作画像を、図５（ａ）、（ｂ）に例示するように設計し、図８（ｂ）、（ｃ）に例示するように、操作画像定義情報を作成する。即ち、操作画像１２４を構成する枠の識別情報と、枠内に配置するアイコンの識別情報及び位置と解説（ヘルプ）、表示するテキストとその位置と、を指定する情報を作成する。
【００５６】
また、操作対象の各スイッチ１７について、隣接して配置されている識別タグ１８の識別図形と、操作画像定義情報と、そのスイッチ１７の受信機１７１のアドレスを、図８（ａ）に示すように対応付けて、情報処理装置１３のタグ情報記憶部１３２に格納する。
【００５７】
利用者１９の頭部には、脳波測定装置１１のプローブ１１１がセットされる。
【００５８】
スイッチ制御システム１００が起動されると、信号処理回路１１２は、各プローブ１１１が検出した電圧信号に波形整形、ノイズ除去等の信号処理を行い、さらに、これをＡ／Ｄ変換して出力する。出力部１１３は、信号処理回路１１２が出力した検出信号を信号処理装置１３に送信する。
【００５９】
信号処理装置１３の制御部１３４は、供給された検出信号を、入力部１３１を介して取り込み、脳波記憶部１３５にＦＩＦＯ形式で順次格納する。これにより、脳波記憶部１３５には、常時、過去数秒分の検出信号が格納されている状態となる。
【００６０】
また、機器制御装置１４は、撮像装置１５の撮像画像を情報処理装置１３に送信する。
【００６１】
一方、情報処理装置１３の制御部１３４は、図１１のフローチャートに示す処理を開始し、表示装置１２に表示する画像を生成する。
まず、情報処理装置１３の制御部１３４は、機器制御装置１４を介して供給された撮像画像を取り込む（ステップＳ１１）。
【００６２】
次に、制御部１３４は、表示制御情報を参照し、取り込んだ撮像画像内に、識別タグ１８の識別図形が存在するか否かを判別する（ステップＳ１２）。即ち、撮像画像内に、表示制御情報に登録されている識別図形が存在するか否かを、パターンマッチング技術を用いて判別する。例えば、図８（ａ）に示す表示制御情報を参照する場合、枠とスペードの画像、枠とハートの画像等の有無を判別する。
【００６３】
制御部１３４は、識別図形が検出された場合、検出された識別図形の１つを特定する（ステップＳ１３）。次に、制御部１３４は、特定した識別図形に対応する操作画像１２４を合成する（ステップＳ１４）。即ち、特定した識別図形に対応する操作画像定義情報に従って、枠の図形を特定し、その枠内の指定された位置に各アイコンとテキストを配置して、操作画像１２４を形成する。なお、タグ情報記憶部１３２に格納しきれない情報、或いは、関連情報をＤＢサーバ２０のＤＢに格納し、適宜読み出して、操作画像１２４の生成に利用してもよい。
【００６４】
次に、操作画像１２４の形成が終了したか否かを判別する（ステップＳ１５）。即ち、撮像画像に含まれている全ての識別図形について、対応する操作画像１２４が形成されたか否かを判別する（ステップＳ１５）。未処理の識別図形が存在する場合（ステップＳ１５；Ｎｏ）には、ステップＳ１３にリターンし、次の識別図形を特定して、同様の処理を行う。
【００６５】
ステップＳ１２で検出された全ての識別図形について操作画像１２４が形成されたと判別されると（ステップＳ１５；Ｙｅｓ）、撮像画像の識別図形の上に形成した操作画像１２４を重畳し、表示用の撮像画像１２２を形成する（ステップＳ１６）。この際、操作画像１２４を半透明化して、下の識別図形が視認できる状態とすることが望ましい。
【００６６】
さらに、形成された撮像画像１２２と、選択状態にある（初期状態では、デフォルトの）定常操作パネル画像１２３とを合成して、１フレーム分の画像を合成する（ステップＳ１７）。
【００６７】
一方、ステップＳ１２で、撮像画像中に識別図形が存在しないと判別された場合（ステップＳ１２；Ｎｏ）、撮像画像と定常操作パネル画像１２３を合成し、１フレーム分の画像を合成する（ステップＳ１８）。
【００６８】
次に、ステップＳ１７又はＳ１８で合成した１フレーム分の画像上に、現在強調表示しているアイコンがあるか否かを判別する（ステップＳ１９）。即ち、今回のフレーム画像と直前のフレーム画像の両方に含まれているアイコンであって、直前のフレームで強調表示されていたアイコンがあるか否かを判別する。
【００６９】
強調表示中のアイコンがあれば、そのアイコンを強調表示している継続時間を更新し（例えば、１フレーム期間を加算し）、さらに、継続時間が、所定時間以上であるか否かを判別する（ステップＳ２０）。継続時間が所定時間未満であると判別された場合（ステップＳ２０；Ｎｏ）、そのアイコンの強調表示を維持する（ステップＳ２１）。例えば、そのアイコンを他のアイコンより大きくし、時間の経過に伴ってサイズを変化させ、他のアイコンよりも明るくし、時間の経過に伴って明るさを変化させ、点滅させ（濃度（階調）を変化させ）、他のアイコンと異なる色に着色し、時間の経過に伴って色を変化させ、時間の経過に伴って移動させる、等する。
【００７０】
続いて、このようにして生成した１フレーム分の表示画像を、表示装置１２に供給し、表示させる（ステップＳ２１）。その後、処理は、ステップＳ１にリターンする。
【００７１】
一方、ステップＳ２０で、強調表示の継続時間が所定時間以上であると判別すると、他アイコンを特定し、継続時間を０にリセットする（ステップＳ２２）。その後、処理は、ステップＳ２１に進む。なお、他のアイコンを選択する順番は任意である。例えば、ランダム（完全なランダム、全アイコンが選択されるまで、未選択のアイコンのなかからランダムに選択、操作画像単位でランダム・操作画像内では順番、等）、配列順（例えば、画面上の配列が左から右、上から下に配列されている順番）、これらの組み合わせ等である。
【００７２】
また、ステップＳ１９で、強調アイコンが無いと判別された場合（ステップＳ１９；Ｎｏ）、強調対象のアイコンを特定し、継続時間を０にリセットする（ステップＳ２３）。その後、処理は、ステップＳ２１に進む。なお、強調対象のアイコンを選択する順番は任意である。
【００７３】
このような処理を行う結果、図３（ａ）に示す表示画面を例にとると、例えば、図１３（ａ）に示すように、操作画像１２４ａ内のアイコンＩ１１が強調された状態が一定時間継続し、続いて、図１３（ｂ）に示すように、アイコンＩ１２が強調された状態が一定時間継続し、・・・、操作画像１２４ａ内のアイコンの強調が終了すると、図１３（ｃ）に示すように、操作画像１２４ｂ内のアイコンＩ２１〜Ｉ２４が一定時間ずつ強調される。撮像画像１２２内のアイコンの強調が終了すると、図１３（ｄ）に示すように、定常操作パネル画像１２３内の矢印アイコンＩ３１〜Ｉ３４が一定時間ずつ強調され、続いて、アイコンＩ４１〜Ｉ４３が順次強調される。
こうした表示が繰り返されることになる。
【００７４】
一方、制御部１３４は、図１２に示す注目アイコン検出処理を、周期的に実行する。注目アイコン検出処理を開始すると、制御部１３４は、まず、脳波記憶部１３５に格納されている過去数秒（例えば、５秒程度）分の検出信号を解析し、利用者１９が注視しているアイコンが強調表示される際に現れる特定の信号を探索する（ステップＳ３１）。特定の信号が検出されると（ステップＳ３２；Ｙｅｓ）、制御部１３４は、特定信号が生成されたタイミングで強調表示されていたアイコンを特定する（ステップＳ３３）。アイコンが特定されると、スイッチ制御情報を参照して、そのアイコンに対応する処理を特定する（ステップＳ３４）。続いて、制御部１３４は、特定された処理を実行する（ステップＳ３５）。即ち、対応するアドレスで特定される受信機１７１宛に、設定されている動作を指示する制御データを送信する。
【００７５】
一方、ステップＳ３１の解析処理で、特定の信号が検出されなかった場合（ステップＳ３２；Ｎｏ）、制御部１３４は、今回の処理を終了する。
【００７６】
例えば、利用者１９が玄関灯を点灯したいと欲したとする。
この場合、利用者１９は、図１３（ａ）に示すようにアイコンＩ１１が強調表示されているタイミングで、アイコンの選択指定を思考する。
【００７７】
制御部１３４は、脳波記憶部１３５に格納されている検出信号を解析し、アイコンＩ１１が強調表示されているタイミングで、アイコンを注視するときに発生する特定の信号が出力されていたことを判別する（ステップＳ３１〜Ｓ３３）。続いて、制御部１３４は、スイッチ制御情報を参照し、対応する処理がスイッチ１のオンすることであると判別し（ステップＳ３４）、対応する制御データを機器制御装置１４を介して無線通信機１６に指示する（ステップＳ３５）。無線通信機１６は、制御データを対応するアドレスに無線送信する。対応するスイッチ１７（スペードの識別図形が描かれた識別タグ１８に隣接すスイッチ１７）の受信部１７１はこの制御データを受信し、コントローラ１７２は、受信した制御データに従ってアクチュエータ１７３を駆動してスイッチをオンする。これにより玄関照明が点灯する。
【００７８】
例えば、撮像装置１５を左方向に向けたい場合、利用者１９は、図１３（ｄ）に示すようにアイコンＩ３１が強調表示されているタイミングで、アイコンの選択指定を思考する。
【００７９】
制御部１３４は、検出信号を解析し、アイコンＩ３１が強調表示中に特定の信号が出力されていたことを判別する（ステップＳ３１〜Ｓ３３）。続いて、スイッチ制御情報を参照し、対応する処理が撮像装置１５の左方向への回動制御であると判別し（ステップＳ３４）、対応する制御データを機器制御装置１４を介して撮像装置１５に指示する（ステップＳ３５）。撮像装置１５は、制御データに従って、左方向に回動する。
【００８０】
また、例えば、利用者１９が空調機器を制御したいと欲したとする。
この場合、利用者１９は、１３（ｅ）に示すようにアイコンＩ４１が強調表示されているタイミングで、アイコンの選択指定を思考する。
【００８１】
制御部１３４は、検出信号を解析し、アイコンＩ４１が強調表示中に特定の信号が出力されていたことを判別し（ステップＳ３１）、続いて、スイッチ制御情報を参照し、対応する処理がリンクされた定常操作画像の表示であると判別し（ステップＳ３２）、ステップＳ２２で合成する対象の操作画像を、指示されたアイコンに対応するものに切り替える（ステップＳ３３）。
【００８２】
以上説明したように、この実施の形態に係る環境操作システム１００によれば、任意のスイッチを、直接操作することなく、操作することが可能となる。
【００８３】
また、利用者１９の生活環境内のスイッチ１７を制御するためのスイッチ制御情報を予めタグ情報記憶部１３２に格納し、かつ、各スイッチ１７に隣接して識別タグ１８を配置しておけば、利用者１９がこのスイッチ制御装置１００と共に移動する限り、任意のスイッチ１７を制御可能となる。
【００８４】
（変形例）
上記実施の形態においては、操作画像１２４を対応する識別タグ１８に重ねて（半透明状態）で表示したが、操作画像１２４の表示位置は任意である。例えば、図１４に示すように画面の端部に配置してもよい。
【００８５】
上記実施の形態においては、図３（ａ）、（ｂ）に示すように、操作画像１２４を、正面を向いて表示した。ただし、表示態様は任意である。例えば、識別タグ１８に表示されている枠の画像の傾きから、撮像装置１５に対する識別タグ１８の傾き及び／又は距離を求め、操作画像１２４を、この傾きと同一の傾きとなるように、また、距離に応じたサイズに加工し、これを表示してもよい。
【００８６】
例えば、撮像画像中の識別図形の枠（本来矩形）が図１５（ａ）に示すものであった場合に、枠の頂点Ｐ１〜ｐ４の座標（ｘ１，ｙ１）〜（ｘ４，ｙ４）を求め、図１５（ｂ）に示されるように、４つの頂点Ｐ１〜Ｐ４の座標と枠の既知の一辺の距離Ｌに基づいて、タグの傾き角θ１（撮像装置１５の光軸に直角な面上の回転角）、θ２（撮像装置１５の光軸と成す角）、タグまでの距離Ｄを求め、図１５（ｃ）に例示するように相似形となるように操作画像１２４を変形して表示すればよい。
【００８７】
（第２の実施の形態）
上記第１の実施の形態においては、操作対象の各スイッチ１７について、スイッチ制御情報をタグ情報記憶部１３２に予め登録させておく必要がある。しかし、利用者１９の生活環境にある（移動可能範囲にある）全てのスイッチ１７のスイッチ制御情報をタグ情報記憶部１３２に予め登録するのは容易ではない。そこで、このような問題を解決できる第２の実施の形態を以下に説明する。
【００８８】
本実施の形態においては、図１６に模式的に示すように、部屋、建物、エリア２１１の入口２１２や内壁２１３等に、ＲＦＩＤ等の非接触情報記憶媒体２２１を配置する。
【００８９】
各非接触情報記憶媒体２２１は、図１７に示すように、メモリ２３１と無線通信部２３２と制御部２３３とを備える。メモリ２３１には、非接触情報記憶媒体２２１が設置されている部屋、建物、或いはエリア２１１内に配置されている各スイッチ１７についてのスイッチ制御情報が予め格納されている。制御部２３３は、無線通信部２３２を介して、リーダ・ライタからの問い合わせを受けると、メモリ２３１からスイッチ制御情報を読み出し、無線通信部２３２を介してリーダ・ライタに送信する。
【００９０】
また、スイッチ制御システム１００の情報処理装置１３は、図１８に示すように、非接触情報記憶媒体２２１と交信するための無線通信部１３６を備える。なお、情報処理装置１３が無線通信機１６を介して非接触情報記憶媒体２２１と通信を行うように構成してもよい。
【００９１】
情報処理装置１３の制御部１３４は、利用者の指示により或いは周期的に、入力部１３１を介して周囲の非接触情報記憶媒体２２１と交信し、スイッチ制御情報を読み出し、タグ情報記憶部１３２に格納する。また、追加情報・関連情報をＤＢサーバ２０から読み出す等してもよい。
【００９２】
以後の動作は、上述の第１の実施の形態における各装置の動作と同一である。
【００９３】
このような構成とすれば、スイッチ制御システム１００は、移動先で、非接触情報記憶媒体２２１と交信して、移動先のスイッチ制御情報を自動的に、図１１に示す処理に反映する。従って、撮像装置１５の視野内の各スイッチ１７について操作画像が形成・表示され、その操作が可能となる。
【００９４】
（第２の実施の形態の変形例）
各識別タグ１８をＲＦＩＤ等の非接触情報記憶媒体から構成し、対応するスイッチ１７を制御するためのスイッチ制御情報を格納するようにしてもよい。
この場合、識別タグ１８は、例えば、図１７に示す構成を有し、メモリ２３１に隣接するスイッチ１７を操作するためのスイッチ制御情報を格納しており、識別タグ１８の表面には、識別図形が描かれている。
また、情報処理装置１３は、識別タグ１８と交信するための通信機能を備える。
【００９５】
情報処理装置１３は、利用者の指示により或いは周期的に周囲の非接触情報記憶媒体２２１と交信し、スイッチ制御情報を読み出し、タグ情報記憶部１３２に格納する。また、追加情報・関連情報があれば、必要に応じて、ＤＢサーバ２０から読み出す。
以後の、情報処理装置１３の動作は上述の第１の実施の形態における動作と同一である。
このような構成とすれば、情報処理装置１３は、周囲の識別タグ１８と交信することにより、周囲のスイッチ１７を制御するためのスイッチ制御情報を自動的に取得して、操作可能とすることができ、利用者が移動する場合にも対応できる。
【００９６】
なお、隣接する識別タグ１８は、互いに異なる通信チャネル（周波数、タイムスロット等）を利用するように予め調整しておくことが望ましい。
【００９７】
（第３の実施の形態）
上記実施の形態においては、表示装置１２として、設置型のものを例示したが、例えば、装着型のヘッドマウントディスプレイ等を利用することも可能である。
この場合、図１９に示すように、ヘッドマウントディスプレイ（表示装置）１２５と撮像装置１５とを一体化し、利用者が向いている方向の画像を撮像装置１５で取得するようにしてもよい。また、取得した画像をヘッドマウントディスプレイ１２５に表示しても、或いは、ヘッドマウントディスプレイ１２５を半透過状態として、外部が見えるようにしてもよい。
【００９８】
この構成の場合、通常時は、表示装置１２を透過状態として、表示装置１２を通して外部を見ることができる状態とし、識別図形を検出したときに、検出した識別図形に対応する操作画像１２４を形成し、識別図形が見える位置に、例えば、半透過状態で表示するようにしてもよい。
また、表示画面の下部に定常操作パネルを表示するようにしてもよい。
【００９９】
（第３の実施の形態）
上記実施の形態では、スイッチと識別タグとを１：１に対応付ける例を示したが、１：多或いは多：１に対応付けることも可能である。
以下、一例として、操作対象のスイッチと識別タグとを１：多に対応つける例を説明する。
【０１００】
まず、本実施の形態においては、操作対象のスイッチは、電動車椅子等の車両１０４のコントローラであり、表示装置１２に表示されたアイコンを指定することにより、選択されたアイコンに割り当てられている操作をコントローラに指示するものとする。
この場合、図２０に示すように、スイッチ制御システム１００からコントローラ１０１に制御データが送信され、コントローラ１０１は、この制御データに従って、車両１０４のドライブ機構（駆動機構）１０２を制御する。
【０１０１】
次に、例えば、図２１に例示するような道路１０５を移動する場面を想定する。道路１０５の分岐点１０６，１０７には、識別タグ１８が配置されている。
【０１０２】
車両１０５が移動して、分岐点１０６の近傍に達すると、図２２（ａ−１）に例示するような画像が表示装置１２に表示される。ここで、情報処理装置１３の制御部１３４は、画像中に識別画像（スペードの図形）を検出し、対応するスイッチ制御情報に従って、一旦停止をコントローラ１０１に指示する。指示に従って、コントローラ１０１はドライブ機構１０２を停止する。さらに、制御部１３４は、スイッチ制御情報に従って、図２２（ａ−２）に示すようなアイコンを生成し、図２２（ａ−３）に示すように表示装置１２に表示する。利用者は、行きたい方向を指示するアイコンを選択する。スイッチ制御装置１００は、選択されたアイコンを検出し、コントローラ１０１に指示する。コントローラ１０１は、ドライブ機構１０２を制御して、指示された方向に車両１０４を進める。
【０１０３】
続いて、車両１０５が移動して、分岐点１０７の近傍に達すると、図２２（ｂ−１）に例示するような画像が表示装置１２に表示される。制御部１３４は、画像中に識別画像（ハートの図形）を検出し、対応するスイッチ制御情報に従って、一旦停止をコントローラ１０１に指示して、車両１０５を停止させ、
さらに、図２２（ｂ−１）に示すようなアイコンを生成し、図２２（ｂ−３）に示すように表示装置１２に表示する。利用者は、行きたい方向を指示するアイコンを選択する。スイッチ制御装置１００は、選択されたアイコンを検出し、コントローラ１０１に指示する。コントローラ１０１は、ドライブ機構１０２を制御して、指示された方向に車両１０４を進める。
【０１０４】
このように、この実施の形態においては、複数の識別タグ１８と特定のスイッチとが対応付けられ、識別タグ１８にスイッチの操作が対応付けられる。そして、識別タグ１８とスイッチ制御システム１００とがある程度近接した段階、即ち、スイッチ操作が必要となったタイミングで、識別タグ１８が認識され、その時点で、必要な操作を指示するアイコンが表示装置１２に表示され、操作対象である駆動機構１０５の操作が可能となる。
【０１０５】
この構成によれば、車両１０４のハンドル、操作レバー等を直接操作しなくても、車両１０４を制御することが可能となり、例えば、肢体が不自由な方でも、車両１０４の操作が可能となる。
【０１０６】
なお、識別タグ１８を、スイッチ制御情報を記憶した非接触情報記憶媒体（ＲＦＩＤ等）から構成し、スイッチ制御システム１００が所定距離まで近づいた時点で、識別タグ１８を認識できるようにしてもよい。
【０１０７】
（第４の実施の形態）
第３の実施の形態では、利用者１９が車両１０４を自らの意志で制御する例を示したが、車両１０４等を自動制御することも可能である。以下、車両１０４を自動制御する例を説明する。
【０１０８】
この例では、前提として、デパートの各フロアがスロープで結ばれており、車両１０４がフロア間を移動可能であるとする。また、各階の床面には、車両１０４の予想される移動経路が特定色でペイントされている。
【０１０９】
また、車両１０４は、図２３に示すように、移動経路を検出するための経路検出部３１１と、移動コースを予め記憶する経路メモリ３１２とを備えている。
【０１１０】
また、デパートの各「館内案内板」の横には、互いに異なる識別図形が描かれた識別タグ１８が配置されている。
【０１１１】
各識別タグ１８の識別図形と、その識別タグ１８が配置されている位置から任意の売り場に到るコースは予め経路メモリ３１２に格納されている。
【０１１２】
このような構成において、スイッチ制御システム１００の制御部１３４は、撮像画像中に館内案内板に対応する識別タグ１８上の識別図形を検出すると、例えば、図２４（ａ）に示すように、対応する操作画像１２４を表示する。この例では、識別タグ１８に描かれた識別図形は「スペード」であり、操作画像１２４は、館内案内に相当する画像であり、「階数」と「商品分類」等がアイコンとして配置されている。
【０１１３】
利用者１９は、目的とする階を示すアイコン（「１Ｆ」〜「４Ｆ」、「屋上」）或いは商品を示すアイコン（「レストラン」、「衣料品」）などが強調表示されているタイミングで、その選択を意識する。
【０１１４】
利用者１９が、例えば、図２４（ｂ）の状態で、選択を意識すれば、アイコン「衣料品」が選択され、スイッチ制御システム１００は、「衣料品」が選択されたことをコントローラ１０１に通知する。
コントローラ１０１は、スペードが描かれた識別タグ１８の設置位置から「衣料品」が陳列されている位置（２Ｆの所定エリア）に到る経路を経路メモリ３１２から読み出す。
【０１１５】
以後、コントローラ１０１は、床にペイントされた経路を経路検出部３１１によりトレースしながら、ドライブ機構１０２を制御し、車両１０４を２階の衣料品が陳列されている位置まで駆動する。なお、車両１０４を所定の経路に沿って目的地まで移動すること自体は、所謂、無人搬送車を制御・駆動する方法と同一である。
このような構成によれば、車両１０４を、自動制御することが可能となる。
【０１１６】
（第５の実施の形態）
第３、第４の実施の形態では、電動車椅子を制御する例を示したが制御対象は任意である。
例えば、デパートの例で示すと、エレベータを制御する場合などにも適用可能である。以下、本発明をエレベータを制御するシステムに適用した例を説明する。
本実施の形態においては、エレベータ内、例えば、ドアの内側に、識別タグ１８が配置され、この識別タグ１８に、図２４（ａ）に示すような操作画像１２４が対応付けられている。
【０１１７】
制御部１３４は、撮像画像中に館内案内板に対応する識別図形を検出すると、例えば、図２４（ａ）に示すように、対応する操作画像１２４を表示する。
【０１１８】
利用者１９は、目的とする階を示すアイコン（「１Ｆ」〜「４Ｆ」、「屋上」）或いは商品を示すアイコン（「レストラン」、「衣料品」）などが強調表示されているタイミングで、その選択を意識する。
利用者１９が、例えば、図２４（ｂ）の状態で、選択を意識すれば、アイコン「衣料品」が選択され、スイッチ制御システム１００は、「衣料品」が選択されたことを判別し、衣料品が２階に相当することを検出する。制御部１３４は、機器制御装置１４を制御して、エレベータに設置された受信機１７１に、「２階」を指示するコマンドを送信する。
エレベータのコントローラ１７２は、行き先階を２階にセットする。
【０１１９】
この構成によれば、エレベータを任意に制御することが可能となる。
【０１２０】
（第６の実施の形態）
上記実施の形態においては、撮像画像中の識別画像を検出し、これにより、アイコンを表示したが、非接触情報記憶媒体２２１を検出することにより、アイコンを表示するように構成してもよい。
この場合、非接触情報記憶媒体２２１は、図１７に例示した構成を有し、メモリ２３１には、例えば、図２５に例示する構成のスイッチ制御情報が格納される。
このスイッチ制御情報は、識別図形に関する情報を含んでいない。また、無線通信部２３２は、例えば、数メートル程度の通信距離を有する。
また、スイッチ制御システム１００は、図１８に示す構成又は無線通信部１６を介して非接触情報記憶媒体２２１と交信する構成を有する。
【０１２１】
次に、図２６を参照して、このような構成のスイッチ制御システム１００の動作を説明する。なお、この例では、表示装置１２は、透過型であり、例えば、図１９に示すようなヘッドマウントディスプレイから構成される。
【０１２２】
まず、情報処理装置１３の制御部１３４は、無線通信部１３６を介して近傍の非接触情報記憶媒体２２１と交信する（ステップＳ４１）。
次に、制御部１３４は、交信できた非接触情報記憶媒体２２１が存在するか否かを判別する（ステップＳ４２）。
【０１２３】
制御部１３４は、存在すると判別された場合、検出された各非接触情報記憶媒体２２１からスイッチ制御情報を読み出す（ステップＳ４３）。なお、非接触情報記憶媒体２２１に格納しきれない情報を、或いは、関連情報をタグ情報記憶部１３２及び／又はＤＢサーバ２０のＤＢに格納し、任意の情報を読み出して、操作画像１２４の生成に利用してもよい。
【０１２４】
次に、制御部１３４は、読み出したスイッチ制御情報に基づいて、操作画像１２４を合成する（ステップＳ４４）。即ち、読み出した各スイッチ制御情報に含まれている操作画像定義情報に従って、枠の図形を特定し、その枠内の指定された位置に各アイコンとテキストを配置して、操作画像１２４を形成する。
【０１２５】
次に、ステップＳ４１で検出された全ての非接触情報記憶媒体２２１について操作画像１２４が形成されたと、生成した操作画像１２４と選択状態にある（初期状態では、デフォルトの）定常操作パネル画像１２３とを合成して、１フレーム分の画像を合成する（ステップＳ４５）。
【０１２６】
一方、ステップＳ４２で、非接触情報記憶媒体２２１が存在しないと判別された場合（ステップＳ４２；Ｎｏ）、表示対象の定常操作パネル画像１２３を選択する（ステップＳ４６）。
【０１２７】
次に、ステップＳ４５又はＳ４６で合成した１フレーム分の画像上に、現在強調表示しているアイコンがあるか否かを判別する（ステップＳ４７）。
【０１２８】
強調表示中のアイコンがあれば、そのアイコンを強調表示している継続時間を更新し（例えば、１フレーム期間を加算し）、さらに、継続時間が、所定時間以上であるか否かを判別する（ステップＳ４８）。継続時間が所定時間未満であると判別された場合（ステップＳ４８；Ｎｏ）、そのアイコンの強調表示を維持する（ステップＳ４９）。
【０１２９】
続いて、このようにして生成した１フレーム分の表示画像を、表示装置１２に供給し、表示させる（ステップＳ５０）。その後、処理は、ステップＳ４１にリターンする。
【０１３０】
一方、ステップＳ４８で、強調表示の継続時間が所定時間以上であると判別すると、他アイコンを特定し、継続時間を０にリセットする（ステップＳ５１）。その後、処理は、ステップＳ４９に進む。
【０１３１】
また、ステップＳ４７で、強調アイコンが無いと判別された場合（ステップＳ４７；Ｎｏ）、強調対象のアイコンを特定し、継続時間を０にリセットする（ステップＳ５２）。その後、処理は、ステップＳ２１に進む。
【０１３２】
このような処理を行う結果、一定距離内にある非接触情報記憶媒体２２１に格納されたスイッチ制御情報により特定されるスイッチ操作を可能とするための操作画像１２４が、図１４に例示するように、表示される。
【０１３３】
そして、操作画像１２４上のアイコン及び定常操作パネル画像１２３上のアイコンが順次強調表示される。
そして、利用者１９が、所望のアイコンが強調表示されているタイミングで、そのアイコンの選択を希望することにより、脳波に変化が現れ、この変化が検出され、そのタイミングで強調されていたアイコンが特定され、そのアイコンに対応付けられている操作が実行される。
【０１３４】
このような構成によれば、操作対象とするスイッチ１７に対応するスイッチ制御情報を非接触情報記憶媒体２２１に格納して配置することにより、各スイッチの遠隔操作が可能となる。
【０１３５】
以上の説明においては、脳波の変化を検出して、アイコンを選択する例を説明したが、アイコンを指定する手法は任意である。
【０１３６】
例えば、脳波を判別関数で処理することにより、注視しているアイコンを判別するように構成してもよい。また、脳波は、頭皮上の電極により計測されたものに限らず、硬膜下電極などにより計測されたものでも良い。さらに、本システムは、脳磁計など他の脳機能計測手法を用いても動作する。また、脳波に限らず、任意の筋肉からの信号でもよい。
【０１３７】
また、体の各部、例えば、指、頭部の微妙な動きであってもよい。
また、例えば、図２７に示すように、利用者１９の顔を撮影する撮像装置を配置し、撮像装置で撮影した画像から、利用者１９の視線の方向を判別し、視線の位置にあるアイコンを選択するように構成してもよい。この場合には、アイコンを順次強調表示する必要はない。
【０１３８】
以上説明したように、本発明の制御システム・方法は、切替スイッチ、オン・オフスイッチ、ボリュームスイッチ等の狭義のスイッチの制御に限らず、機器、装置、システム等に指示・コマンド・入力等を与えるもの一般に広く適用可能である。また、利用者１９が肢体不自由者の場合などに特に有効であるが、利用者の属性は任意であり、健常者の利用にも有効である。
【０１３９】
以上、この発明の実施の形態を説明したが、この発明は、上記実施の形態に限定されるものではなく、任意に応用及び変更が可能である。
【図面の簡単な説明】
【０１４０】
【図１】この発明の実施の形態に係るスイッチ制御システムの構成を示すブロック図である。
【図２】図１に示す脳波測定装置の構成例を示すブロック図である。
【図３】（ａ）、（ｂ）は、図１の表示装置に表示する画面の例を示す図である。
【図４】図１に示す情報処理装置の構成例を示すブロック図である。
【図５】（ａ）、（ｂ）は、操作画像の例を示す図である。
【図６】（ａ）、（ｂ）は、操作画像を構成する素材としての枠の図形の例を示す図である。
【図７】（ａ）〜（ｆ）は、アイコンの例を示す図である。
【図８】（ａ）はスイッチ制御情報の構成例を示す図であり、（ｂ）と（ｃ）は、スイッチ制御情報を構成するスイッチ画像定義情報の構成例を示す図である。
【図９】図１に示す機器制御装置の構成例を示すブロック図である。
【図１０】（ａ）、（ｂ）は、図１に示すスイッチの構成例を示すブロック図である。
【図１１】図１に示すスイッチ制御システムの画像表示処理を説明するためのフローチャートである。
【図１２】図１に示すスイッチ制御システムの注目アイコン検出処理を説明するためのフローチャートである。
【図１３】（ａ）〜（ｅ）は、アイコンの強調表示の例を説明するための図である。
【図１４】表示画像の他の例を示す図である。
【図１５】（ａ）〜（ｃ）は、スイッチ操作画像及びアイコンを変形して表示する例を説明するための図である。
【図１６】非接触情報記憶媒体を配置する例を説明するための部屋の平面図である。
【図１７】非接触情報記憶媒体の構成例を示すブロック図である。
【図１８】情報処理装置の他の構成例を示すブロック図である。
【図１９】表示装置の他の例を示す図である。
【図２０】スイッチ制御システムにより車両（電動車椅子等）を制御する構成を説明するためのブロック図である。
【図２１】スイッチ制御システムにより車両を制御する構成を説明するための図であり、道路の図である。
【図２２】（ａ−１）〜（ｂ−３）は、スイッチ制御システムにより車両を制御する構成を説明するための図であり、表示画像の例を示す図である。
【図２３】スイッチ制御システムにより車両を制御する場合の構成を説明するためのブロック図である。
【図２４】（ａ）、（ｂ）は、スイッチ制御システムにより車両を制御する構成を説明するための図であり、表示画像の例を示す図である。
【図２５】非接触情報記憶媒体に格納されるスイッチ制御情報の他の例を示す図である。
【図２６】スイッチ制御システムの画像表示処理の他の例を説明するためのフローチャートである。
【図２７】スイッチ制御システムの構成の他の例を説明するためのブロック図である。
【符号の説明】
【０１４１】
１１ 脳波測定装置
１２ 表示装置
１３ 情報処理装置
１４ 機器制御装置
１５ 撮像装置
１６ 無線通信機
１７ スイッチ
１８ 識別タグ
１９ 利用者
２０ データベース（ＤＢ）サーバ
１００ スイッチ制御システム
１１１ プローブ
１１２ 信号処理回路
１１３ 出力部
１２１ 操作用画面
１２２ 撮像画像
１２４ 操作画像
１２３ 定常操作パネル画像
１２５ ヘッドマウントディスプレイ
１３１ 入力部
１３２ タグ情報記憶部
１３３ 通信部
１３４ 制御部
１３５ 脳波記憶部
１４１ 通信部
１４２ 入出力部
１４３ 制御部
１７１ 受信機
１７２ コントローラ
１７３ アクチュエータ
【技術分野】
【０００１】
本発明は、生活環境にある任意の機器・装置を制御する制御システムと制御方法に関する。
【背景技術】
【０００２】
生活環境にある各種機器・装置を制御・操作する手法として、操作スイッチを直接的に操作する方法と、リモコンやネットワークを介した通信機等による遠隔操作がある。四肢が不自由でこれらの操作が行えない場合に、表示盤に記号、文字、絵（アイコン）を表示し、表示されたアイコンを選択することにより、スイッチの操作を可能とする技術が知られている。
【０００３】
例えば、特許文献１には、表示されたアイコンを、利用者が注視することにより、スイッチの操作を可能とする技術が開示されている。
【０００４】
また、特許文献２には、脳波・筋電・眼電などを検出することにより、スイッチの操作を可能とする技術が開示されている。
【特許文献１】特開平１１−７３２７４号公報
【特許文献２】特開平１０−２０７５９２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
従来のスイッチ制御装置は、操作のスイッチが固定されている。このため、
利用者が移動する場合のように、利用環境（利用者の生活環境）が変化して、操作対象となるスイッチが変化する場合には、対応できない。
【０００６】
同様の問題は、利用者が四肢不自由である場合に限らず、アイコン等を用いて生活環境にあるスイッチを操作する場合全般に存在する。
【０００７】
本発明は、斯かる事情に鑑みてなされたものであり、生活環境が変化する場合でも、状況に応じて必要なスイッチ操作を可能とする技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、この発明の制御システムは、
操作対象の存在を示す情報を検出する検出手段と、
前記操作手段が制御対象の存在を示す情報を検出したことに応答し、アイコンを含む操作画像を特定する情報を記憶手段から読み出す読出手段と、
前記読出手段により読み出された情報に従って、アイコンを含む操作画像を生成し、生成した操作画像を表示装置に表示する表示制御手段と、
前記表示装置に表示されている操作画像に含まれるアイコンのうち、利用者が注目しているアイコンを判別する注目アイコン判別手段と、
前記注目アイコン判別手段により判別されたアイコンに対応する制御信号を出力する制御出力手段と、
を備えることを特徴とする。
【０００９】
例えば、前記検出手段は、画像信号を入力し、該画像信号が表す画像中の特定の図形を検出する特定図形検出手段から構成され、特定の図形と操作画像特定情報とを対応付けて記憶し、前記読出手段は、前記特定画像検出手段により検出された特定の図形に対応する操作画像特定情報を読み出し、前記表示制御手段は、読出手段により読み出された操作画像特定情報により特定される操作画像を前記表示装置に表示する。
【００１０】
例えば、前記検出手段は、操作対象の存在を指示する無線信号を検出する手段を備える。
【００１１】
例えば、前記検出手段は、操作対象の近傍に配置された非接触情報記憶媒体を検出する手段を備え、前記読出手段は、前記検出手段により検出された非接触情報記憶媒体に記憶されている操作画像を特定する情報を読み出す。
【００１２】
例えば、前記表示制御手段は、撮像装置からの画像信号を受信し、受信した画像信号が定義する画像と操作画像特定情報により特定される操作画像とを合成して前記表示装置に表示する。
【００１３】
例えば、前記表示装置は、透過型の表示装置から構成され、前記表示制御手段は、前記表示装置に操作画像を表示する。
【００１４】
例えば、前記注目アイコン判別手段は、利用者の生体情報を取得し、取得した生体情報に基づいて、前記表示手段に表示されている操作画像に含まれるアイコンのうち、いずれのアイコンに注目しているかを判別する手段を含む。
【００１５】
例えば、前記表示制御手段は、前記操作画像に含まれるアイコンを順次強調表示し、前記注目アイコン判別手段は、利用者の生体情報を取得し、取得した生体情報の変化を検出する手段と、変化時点において強調状態にあるアイコンを注目アイコンとして判別する手段と、を備える。
【００１６】
前記注目アイコン判別手段は、例えば、利用者の脳波信号を取得し、取得した脳波信号に基づいて、利用者が注目しているアイコン判別する手段と、利用者の視線を判別し、視線上のアイコンを判別する手段と、の少なくとも一方を備える。
【００１７】
また、この発明の制御方法は、操作対象の存在を検出し、検出に応答し、操作画像を特定する情報を読み出し、読み出した情報に従って、アイコンを含む操作画像を生成して表示し、利用者が注目しているアイコンを判別し、判別されたアイコンに対応する制御信号を操作対象に出力する、ことを特徴とする。
【発明の効果】
【００１８】
本発明によれば、操作対象であるスイッチ等の存在を検出し、検出した操作対象を操作するためにアイコンを含む操作画像を生成して表示する。従って、環境が変化して操作対象が変化しても、任意の操作対象を操作することが可能となる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の実施の形態に係る制御システムを図面を参照して説明する。この制御システムは、環境機器全般の操作を可能とするものである。環境機器の操作とは、例えば、生活環境に存在する映像・音響機器、空調装置、照明装置のオン・オフ・調整、窓やカーテン等の開閉、パソコンのオン・オフ・入力などを広く意味する。
【００２０】
（第１の実施の形態）
本実施の形態のスイッチ制御システム１００は、利用者の手近な位置に設置された表示盤（モニター）に表示されるアイコン（選択指標）により生活環境に存在する機器を操作可能とするものである。
【００２１】
図１に示すように、スイッチ制御システム１００は、脳波測定装置１１と、表示装置１２と、情報処理装置１３と、機器制御装置１４と、撮像装置１５と、無線通信機１６と、スイッチ１７と、識別タグ１８と、データベース（ＤＢ）サーバ２０と、ネットワークＮＷと、から構成される。
【００２２】
脳波測定装置１１は、図２に示すように、複数のプローブ１１１と、信号処理回路１１２と、出力部１１３と、を備える。
【００２３】
複数のプローブ１１１は、利用者１９の頭部に装着され、検出した電圧信号を出力する。
信号処理回路１１２は、アナログ信号処理回路、Ａ／Ｄコンバータ、ディジタル信号処理回路等から構成され、プローブ１１１で検出された電圧信号を整形し、ノイズを除去して、脳波を示す検出信号を出力する。
【００２４】
出力部１１３は、信号処理回路１１２から出力された検出信号を情報処理装置１３に順次供給する。
【００２５】
図１に示す表示装置１２は、利用者１９の視界内に配置され、環境機器を操作するためのユーザインタフェースとして機能し、図３（ａ）、（ｂ）に例示するような操作用画面１２１を表示する。
【００２６】
操作用画面１２１は、撮像画像１２２と定常操作パネル画像１２３とから構成されている。
【００２７】
撮像画像１２２は、撮像装置１５で撮影された画像であり、撮像装置１５の移動、向きの変更、倍率の変動などに伴って変化する。撮像画像中に識別タグ１８の画像が含まれている場合、識別タグ１８に重畳して、隣接するスイッチ１７を操作するための操作画像１２４が表示される。図の例では、スイッチをオンするためのアイコンとオフするためのアイコンを２組備える操作画像１２４が２つ、スペードが描かれた識別タグ１８と星印が描かれた識別タグ１８に重畳して表示されている。
【００２８】
定常操作パネル画像１２３は、撮像装置１５と、その他の特定の機器・装置を操作するための画面であり、複数の操作用アイコンを備える。
【００２９】
図３（ａ）は、アイコン「撮像装置」１２６を選択した場合の、定常操作パネル画像１２３を例示し、撮像装置１５の向きを変更するための矢印アイコン１２５と、他の機器を指定するアイコン１２６とを含む。図３（ｂ）は、アイコン「空調」１２６を選択した場合の、定常操作パネル画像１２３を例示し、空調機をオン・オフするアイコン１２７、設定温度を上げ・下げするためのアイコン１２８、他の機器を指定するアイコン１２６を備える。
【００３０】
これらのアイコンは、所定の順番（ランダムを含む）で複数同時に又は個別に強調表示される。所望のアイコンが強調表示されたタイミングで、利用者１９が、そのアイコンを選択することを意識することにより、脳波測定装置１１で脳波の変化が検出され、強調表示中のアイコンが選択・指定される。詳細は後述する。
【００３１】
図１に示す情報処理装置１３は、図４に示すように、入力部１３１と、タグ情報記憶部１３２と、通信部１３３と、制御部１３４と、脳波記憶部１３５とを備える。
【００３２】
入力部１３１は、脳波測定装置１１から出力された検出信号を取り込み、制御部１３４に供給する。
【００３３】
タグ情報記憶部１３２は、表示装置１２に表示させる操作画像１２４を構成する画像（素材）のライブラリを格納する。操作画像１２４は、例えば、図５（ａ）、（ｂ）に例示するような画像であり、このライブラリは、図６（ａ）、（ｂ）に例示する枠の画像、図７（ａ）〜（ｆ）に例示するアイコン（選択要素：ボタン）の画像等を含む。各画像（素材）には、識別情報が付与されている。
【００３４】
さらに、タグ情報記憶部１３２は、図８（ａ）に示すように、識別タグ１８に表示されている識別図形と、該識別図形に対応して表示する操作画像１２４を定義する操作画像定義情報と、操作対象のスイッチ１７を特定する情報（アドレス）を対応付けるスイッチ制御情報を格納する。
【００３５】
操作画像定義情報は、図８（ｂ）、（ｃ）に例示するように、図６に示した枠の画像の識別情報、図７に示したアイコンの識別情報と枠内の位置を特定する情報とその機能と解説、枠内に記載するテキスト（文字列）とその位置を特定する情報を有する。
【００３６】
タグ情報記憶部１３２は、さらに、予め設計された定常操作パネル画像１２３を複数記憶する。各定常操作パネル画像１２３とそれを呼び出すためのアイコン１２６とは予めリンク付けられている。
【００３７】
図３に示す通信部１３３は、ネットワークＮＷを介して、撮像装置１５が撮像した画像を受信し、撮像装置１５と無線通信機１６とに、制御信号（コマンド）を送信する。
【００３８】
制御部１３４は、マイクロプロセッサ、メモリ等を備え、機能的に、タグ検出部１３４１，判別処理部１３４２，表示出力制御部１３４３を備える。制御部１３４は、例えば、（１）表示出力制御部１３４３により、撮像装置１５の撮像画像を受信し、表示装置１２に表示する、（２）タグ検出部１３４１により、撮像装置１５の撮像画像中に、識別タグ１８に表示されている識別図形が含まれているか否かを判別し、含まれていると判別した場合には、表示出力制御部１３４３により、スイッチ制御情報に基づいて、操作画像１２４を生成し、これを撮像装置１５の撮像画像に重畳して撮像画像１２２を合成する。さらに、撮像画像１２２と予め用意されている定常操作パネル画像１２３のうちの１つを合成し、１画面分の画像を形成する、（３）表示出力制御部１３４３により、合成した１画面分の画像中のアイコン（ボタン）の画像を周期的又はランダムに強調し、（４）表示出力制御部１３４３により、これを表示装置１２に表示する。（５）脳波測定装置１１から送信される検出信号（脳波信号）を脳波記憶部１３５に順次格納する、（６）判別処理部１３４２により、脳波記憶部１３５に格納されている検出信号を解析し、脳波信号が変化したときに強調表示されていたアイコンがいずれであるかを判別し、（７）判別処理部１３４２により、判別したアイコンに対応する制御を指示する制御信号を通信部１３３を介して機器制御装置１４に送信する。
【００３９】
脳波記憶部１３５は、脳波測定装置１１から供給された検出信号（脳波信号）を数秒から数十秒の間、記憶する。
【００４０】
図１に示す機器制御装置１４は、図９に示すように、通信部１４１と、出力部１４２と、制御部１４３とを備える。
【００４１】
通信部１４１は、撮像装置１５からの映像をネットワークＮＷを介して情報処理装置１３に供給し、また、情報処理装置１３からの制御信号をネットワークＮＷを介して受信し、制御部１４３に供給する。
【００４２】
入出力部１４２は、撮像装置１５からの映像データを受信して制御部１４３に供給し、制御部１４３からの制御データ（方向制御信号、ズーム制御信号等）を撮像装置１５に供給する。また、制御部１４３からの制御データを無線通信機１６に供給する。
【００４３】
制御部１４３は、プロセッサを備え、撮像装置１５からの映像データを入出力部１４２を介して取り込み、通信部１４１を介して情報処理装置１３に供給する。また、制御部１４３は、情報処理装置１３からの制御データを通信部１４１を介して取り込み、入出力部１４２を介して撮像装置１５又は無線通信機１６に供給する。
【００４４】
図１に示す撮像装置１５は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）、ＣＭＯＳ（Ｃｏｍｐｌｉｍｅｎｔａｒｙ ＭＯＳ）センサ等を備え、画像を撮像し、画像信号を機器制御装置１４に供給し、また、機器制御装置１４からの制御信号に従って、向きを制御し、また、絞りやズームを制御する。
【００４５】
無線通信機１６は、無線通信機等をから構成され、電波、光、超音波等の無線信号を用いて、機器制御装置１４からの制御データをスイッチ１７に送信する。
【００４６】
ＤＢサーバ２０は、識別タグ１８の図形情報や、操作画面１２４を構成する情報、操作対象（スイッチ１７）を制御するためのスイッチ制御情報等を記憶したデータベース（ＤＢ）を備えており、制御装置１３からの要求に応答し、これらの情報を提供する。
【００４７】
スイッチ１７は、手動操作が可能であると共に無線通信機１６からの制御データによりリモート制御可能である。スイッチ１７は、図１０（ａ）に示すように、受信機１７１と、コントローラ１７２と、アクチュエータ１７３とを備える。
【００４８】
受信機１７１は、無線通信機１６からの制御データを受信し、コントローラ１７２に提供する。
【００４９】
コントローラ１７２は操作データに従って、アクチュエータ１７３に駆動信号を供給する。
【００５０】
アクチュエータ１７３は、ソレノイド、モータなどから構成され、スイッチの可動切片１７４を制御して、スイッチ１７をオン・オフする。
【００５１】
なお、電球の明るさや、機器のボリューム等を調節するような場合には、図１０（ｂ）に示すように、コントローラ１７２により、電源回路（又は変圧器、増幅器）１７５の出力電圧を制御して、制御対象の機器に供給するように構成してもよい。
【００５２】
図１に示す識別タグ１８は、枠内に予め識別可能な図形（識別図形）が表示されたカードであり、スイッチ１７に隣接して配置されている。
【００５３】
（動作説明）
次に、上記構成のスイッチ制御装置１００の動作を説明する。
まず、設備の施工段階で、操作対象機器の種類に応じて、図１０（ａ）、（ｂ）に示すような構成のスイッチ（ボリュームを含む）１７を設置する。
【００５４】
続いて、スイッチ１７に隣接して、識別タグ１８を設置する。この際、識別タグ１８に表示されている識別図形を互いに異なるもの（識別可能なもの）とする。図１の例では、スペードの図形が識別図形となる。
【００５５】
次に、操作対象のスイッチ（ボリュームを含む）１７を操作するために必要となる操作画像を、図５（ａ）、（ｂ）に例示するように設計し、図８（ｂ）、（ｃ）に例示するように、操作画像定義情報を作成する。即ち、操作画像１２４を構成する枠の識別情報と、枠内に配置するアイコンの識別情報及び位置と解説（ヘルプ）、表示するテキストとその位置と、を指定する情報を作成する。
【００５６】
また、操作対象の各スイッチ１７について、隣接して配置されている識別タグ１８の識別図形と、操作画像定義情報と、そのスイッチ１７の受信機１７１のアドレスを、図８（ａ）に示すように対応付けて、情報処理装置１３のタグ情報記憶部１３２に格納する。
【００５７】
利用者１９の頭部には、脳波測定装置１１のプローブ１１１がセットされる。
【００５８】
スイッチ制御システム１００が起動されると、信号処理回路１１２は、各プローブ１１１が検出した電圧信号に波形整形、ノイズ除去等の信号処理を行い、さらに、これをＡ／Ｄ変換して出力する。出力部１１３は、信号処理回路１１２が出力した検出信号を信号処理装置１３に送信する。
【００５９】
信号処理装置１３の制御部１３４は、供給された検出信号を、入力部１３１を介して取り込み、脳波記憶部１３５にＦＩＦＯ形式で順次格納する。これにより、脳波記憶部１３５には、常時、過去数秒分の検出信号が格納されている状態となる。
【００６０】
また、機器制御装置１４は、撮像装置１５の撮像画像を情報処理装置１３に送信する。
【００６１】
一方、情報処理装置１３の制御部１３４は、図１１のフローチャートに示す処理を開始し、表示装置１２に表示する画像を生成する。
まず、情報処理装置１３の制御部１３４は、機器制御装置１４を介して供給された撮像画像を取り込む（ステップＳ１１）。
【００６２】
次に、制御部１３４は、表示制御情報を参照し、取り込んだ撮像画像内に、識別タグ１８の識別図形が存在するか否かを判別する（ステップＳ１２）。即ち、撮像画像内に、表示制御情報に登録されている識別図形が存在するか否かを、パターンマッチング技術を用いて判別する。例えば、図８（ａ）に示す表示制御情報を参照する場合、枠とスペードの画像、枠とハートの画像等の有無を判別する。
【００６３】
制御部１３４は、識別図形が検出された場合、検出された識別図形の１つを特定する（ステップＳ１３）。次に、制御部１３４は、特定した識別図形に対応する操作画像１２４を合成する（ステップＳ１４）。即ち、特定した識別図形に対応する操作画像定義情報に従って、枠の図形を特定し、その枠内の指定された位置に各アイコンとテキストを配置して、操作画像１２４を形成する。なお、タグ情報記憶部１３２に格納しきれない情報、或いは、関連情報をＤＢサーバ２０のＤＢに格納し、適宜読み出して、操作画像１２４の生成に利用してもよい。
【００６４】
次に、操作画像１２４の形成が終了したか否かを判別する（ステップＳ１５）。即ち、撮像画像に含まれている全ての識別図形について、対応する操作画像１２４が形成されたか否かを判別する（ステップＳ１５）。未処理の識別図形が存在する場合（ステップＳ１５；Ｎｏ）には、ステップＳ１３にリターンし、次の識別図形を特定して、同様の処理を行う。
【００６５】
ステップＳ１２で検出された全ての識別図形について操作画像１２４が形成されたと判別されると（ステップＳ１５；Ｙｅｓ）、撮像画像の識別図形の上に形成した操作画像１２４を重畳し、表示用の撮像画像１２２を形成する（ステップＳ１６）。この際、操作画像１２４を半透明化して、下の識別図形が視認できる状態とすることが望ましい。
【００６６】
さらに、形成された撮像画像１２２と、選択状態にある（初期状態では、デフォルトの）定常操作パネル画像１２３とを合成して、１フレーム分の画像を合成する（ステップＳ１７）。
【００６７】
一方、ステップＳ１２で、撮像画像中に識別図形が存在しないと判別された場合（ステップＳ１２；Ｎｏ）、撮像画像と定常操作パネル画像１２３を合成し、１フレーム分の画像を合成する（ステップＳ１８）。
【００６８】
次に、ステップＳ１７又はＳ１８で合成した１フレーム分の画像上に、現在強調表示しているアイコンがあるか否かを判別する（ステップＳ１９）。即ち、今回のフレーム画像と直前のフレーム画像の両方に含まれているアイコンであって、直前のフレームで強調表示されていたアイコンがあるか否かを判別する。
【００６９】
強調表示中のアイコンがあれば、そのアイコンを強調表示している継続時間を更新し（例えば、１フレーム期間を加算し）、さらに、継続時間が、所定時間以上であるか否かを判別する（ステップＳ２０）。継続時間が所定時間未満であると判別された場合（ステップＳ２０；Ｎｏ）、そのアイコンの強調表示を維持する（ステップＳ２１）。例えば、そのアイコンを他のアイコンより大きくし、時間の経過に伴ってサイズを変化させ、他のアイコンよりも明るくし、時間の経過に伴って明るさを変化させ、点滅させ（濃度（階調）を変化させ）、他のアイコンと異なる色に着色し、時間の経過に伴って色を変化させ、時間の経過に伴って移動させる、等する。
【００７０】
続いて、このようにして生成した１フレーム分の表示画像を、表示装置１２に供給し、表示させる（ステップＳ２１）。その後、処理は、ステップＳ１にリターンする。
【００７１】
一方、ステップＳ２０で、強調表示の継続時間が所定時間以上であると判別すると、他アイコンを特定し、継続時間を０にリセットする（ステップＳ２２）。その後、処理は、ステップＳ２１に進む。なお、他のアイコンを選択する順番は任意である。例えば、ランダム（完全なランダム、全アイコンが選択されるまで、未選択のアイコンのなかからランダムに選択、操作画像単位でランダム・操作画像内では順番、等）、配列順（例えば、画面上の配列が左から右、上から下に配列されている順番）、これらの組み合わせ等である。
【００７２】
また、ステップＳ１９で、強調アイコンが無いと判別された場合（ステップＳ１９；Ｎｏ）、強調対象のアイコンを特定し、継続時間を０にリセットする（ステップＳ２３）。その後、処理は、ステップＳ２１に進む。なお、強調対象のアイコンを選択する順番は任意である。
【００７３】
このような処理を行う結果、図３（ａ）に示す表示画面を例にとると、例えば、図１３（ａ）に示すように、操作画像１２４ａ内のアイコンＩ１１が強調された状態が一定時間継続し、続いて、図１３（ｂ）に示すように、アイコンＩ１２が強調された状態が一定時間継続し、・・・、操作画像１２４ａ内のアイコンの強調が終了すると、図１３（ｃ）に示すように、操作画像１２４ｂ内のアイコンＩ２１〜Ｉ２４が一定時間ずつ強調される。撮像画像１２２内のアイコンの強調が終了すると、図１３（ｄ）に示すように、定常操作パネル画像１２３内の矢印アイコンＩ３１〜Ｉ３４が一定時間ずつ強調され、続いて、アイコンＩ４１〜Ｉ４３が順次強調される。
こうした表示が繰り返されることになる。
【００７４】
一方、制御部１３４は、図１２に示す注目アイコン検出処理を、周期的に実行する。注目アイコン検出処理を開始すると、制御部１３４は、まず、脳波記憶部１３５に格納されている過去数秒（例えば、５秒程度）分の検出信号を解析し、利用者１９が注視しているアイコンが強調表示される際に現れる特定の信号を探索する（ステップＳ３１）。特定の信号が検出されると（ステップＳ３２；Ｙｅｓ）、制御部１３４は、特定信号が生成されたタイミングで強調表示されていたアイコンを特定する（ステップＳ３３）。アイコンが特定されると、スイッチ制御情報を参照して、そのアイコンに対応する処理を特定する（ステップＳ３４）。続いて、制御部１３４は、特定された処理を実行する（ステップＳ３５）。即ち、対応するアドレスで特定される受信機１７１宛に、設定されている動作を指示する制御データを送信する。
【００７５】
一方、ステップＳ３１の解析処理で、特定の信号が検出されなかった場合（ステップＳ３２；Ｎｏ）、制御部１３４は、今回の処理を終了する。
【００７６】
例えば、利用者１９が玄関灯を点灯したいと欲したとする。
この場合、利用者１９は、図１３（ａ）に示すようにアイコンＩ１１が強調表示されているタイミングで、アイコンの選択指定を思考する。
【００７７】
制御部１３４は、脳波記憶部１３５に格納されている検出信号を解析し、アイコンＩ１１が強調表示されているタイミングで、アイコンを注視するときに発生する特定の信号が出力されていたことを判別する（ステップＳ３１〜Ｓ３３）。続いて、制御部１３４は、スイッチ制御情報を参照し、対応する処理がスイッチ１のオンすることであると判別し（ステップＳ３４）、対応する制御データを機器制御装置１４を介して無線通信機１６に指示する（ステップＳ３５）。無線通信機１６は、制御データを対応するアドレスに無線送信する。対応するスイッチ１７（スペードの識別図形が描かれた識別タグ１８に隣接すスイッチ１７）の受信部１７１はこの制御データを受信し、コントローラ１７２は、受信した制御データに従ってアクチュエータ１７３を駆動してスイッチをオンする。これにより玄関照明が点灯する。
【００７８】
例えば、撮像装置１５を左方向に向けたい場合、利用者１９は、図１３（ｄ）に示すようにアイコンＩ３１が強調表示されているタイミングで、アイコンの選択指定を思考する。
【００７９】
制御部１３４は、検出信号を解析し、アイコンＩ３１が強調表示中に特定の信号が出力されていたことを判別する（ステップＳ３１〜Ｓ３３）。続いて、スイッチ制御情報を参照し、対応する処理が撮像装置１５の左方向への回動制御であると判別し（ステップＳ３４）、対応する制御データを機器制御装置１４を介して撮像装置１５に指示する（ステップＳ３５）。撮像装置１５は、制御データに従って、左方向に回動する。
【００８０】
また、例えば、利用者１９が空調機器を制御したいと欲したとする。
この場合、利用者１９は、１３（ｅ）に示すようにアイコンＩ４１が強調表示されているタイミングで、アイコンの選択指定を思考する。
【００８１】
制御部１３４は、検出信号を解析し、アイコンＩ４１が強調表示中に特定の信号が出力されていたことを判別し（ステップＳ３１）、続いて、スイッチ制御情報を参照し、対応する処理がリンクされた定常操作画像の表示であると判別し（ステップＳ３２）、ステップＳ２２で合成する対象の操作画像を、指示されたアイコンに対応するものに切り替える（ステップＳ３３）。
【００８２】
以上説明したように、この実施の形態に係る環境操作システム１００によれば、任意のスイッチを、直接操作することなく、操作することが可能となる。
【００８３】
また、利用者１９の生活環境内のスイッチ１７を制御するためのスイッチ制御情報を予めタグ情報記憶部１３２に格納し、かつ、各スイッチ１７に隣接して識別タグ１８を配置しておけば、利用者１９がこのスイッチ制御装置１００と共に移動する限り、任意のスイッチ１７を制御可能となる。
【００８４】
（変形例）
上記実施の形態においては、操作画像１２４を対応する識別タグ１８に重ねて（半透明状態）で表示したが、操作画像１２４の表示位置は任意である。例えば、図１４に示すように画面の端部に配置してもよい。
【００８５】
上記実施の形態においては、図３（ａ）、（ｂ）に示すように、操作画像１２４を、正面を向いて表示した。ただし、表示態様は任意である。例えば、識別タグ１８に表示されている枠の画像の傾きから、撮像装置１５に対する識別タグ１８の傾き及び／又は距離を求め、操作画像１２４を、この傾きと同一の傾きとなるように、また、距離に応じたサイズに加工し、これを表示してもよい。
【００８６】
例えば、撮像画像中の識別図形の枠（本来矩形）が図１５（ａ）に示すものであった場合に、枠の頂点Ｐ１〜ｐ４の座標（ｘ１，ｙ１）〜（ｘ４，ｙ４）を求め、図１５（ｂ）に示されるように、４つの頂点Ｐ１〜Ｐ４の座標と枠の既知の一辺の距離Ｌに基づいて、タグの傾き角θ１（撮像装置１５の光軸に直角な面上の回転角）、θ２（撮像装置１５の光軸と成す角）、タグまでの距離Ｄを求め、図１５（ｃ）に例示するように相似形となるように操作画像１２４を変形して表示すればよい。
【００８７】
（第２の実施の形態）
上記第１の実施の形態においては、操作対象の各スイッチ１７について、スイッチ制御情報をタグ情報記憶部１３２に予め登録させておく必要がある。しかし、利用者１９の生活環境にある（移動可能範囲にある）全てのスイッチ１７のスイッチ制御情報をタグ情報記憶部１３２に予め登録するのは容易ではない。そこで、このような問題を解決できる第２の実施の形態を以下に説明する。
【００８８】
本実施の形態においては、図１６に模式的に示すように、部屋、建物、エリア２１１の入口２１２や内壁２１３等に、ＲＦＩＤ等の非接触情報記憶媒体２２１を配置する。
【００８９】
各非接触情報記憶媒体２２１は、図１７に示すように、メモリ２３１と無線通信部２３２と制御部２３３とを備える。メモリ２３１には、非接触情報記憶媒体２２１が設置されている部屋、建物、或いはエリア２１１内に配置されている各スイッチ１７についてのスイッチ制御情報が予め格納されている。制御部２３３は、無線通信部２３２を介して、リーダ・ライタからの問い合わせを受けると、メモリ２３１からスイッチ制御情報を読み出し、無線通信部２３２を介してリーダ・ライタに送信する。
【００９０】
また、スイッチ制御システム１００の情報処理装置１３は、図１８に示すように、非接触情報記憶媒体２２１と交信するための無線通信部１３６を備える。なお、情報処理装置１３が無線通信機１６を介して非接触情報記憶媒体２２１と通信を行うように構成してもよい。
【００９１】
情報処理装置１３の制御部１３４は、利用者の指示により或いは周期的に、入力部１３１を介して周囲の非接触情報記憶媒体２２１と交信し、スイッチ制御情報を読み出し、タグ情報記憶部１３２に格納する。また、追加情報・関連情報をＤＢサーバ２０から読み出す等してもよい。
【００９２】
以後の動作は、上述の第１の実施の形態における各装置の動作と同一である。
【００９３】
このような構成とすれば、スイッチ制御システム１００は、移動先で、非接触情報記憶媒体２２１と交信して、移動先のスイッチ制御情報を自動的に、図１１に示す処理に反映する。従って、撮像装置１５の視野内の各スイッチ１７について操作画像が形成・表示され、その操作が可能となる。
【００９４】
（第２の実施の形態の変形例）
各識別タグ１８をＲＦＩＤ等の非接触情報記憶媒体から構成し、対応するスイッチ１７を制御するためのスイッチ制御情報を格納するようにしてもよい。
この場合、識別タグ１８は、例えば、図１７に示す構成を有し、メモリ２３１に隣接するスイッチ１７を操作するためのスイッチ制御情報を格納しており、識別タグ１８の表面には、識別図形が描かれている。
また、情報処理装置１３は、識別タグ１８と交信するための通信機能を備える。
【００９５】
情報処理装置１３は、利用者の指示により或いは周期的に周囲の非接触情報記憶媒体２２１と交信し、スイッチ制御情報を読み出し、タグ情報記憶部１３２に格納する。また、追加情報・関連情報があれば、必要に応じて、ＤＢサーバ２０から読み出す。
以後の、情報処理装置１３の動作は上述の第１の実施の形態における動作と同一である。
このような構成とすれば、情報処理装置１３は、周囲の識別タグ１８と交信することにより、周囲のスイッチ１７を制御するためのスイッチ制御情報を自動的に取得して、操作可能とすることができ、利用者が移動する場合にも対応できる。
【００９６】
なお、隣接する識別タグ１８は、互いに異なる通信チャネル（周波数、タイムスロット等）を利用するように予め調整しておくことが望ましい。
【００９７】
（第３の実施の形態）
上記実施の形態においては、表示装置１２として、設置型のものを例示したが、例えば、装着型のヘッドマウントディスプレイ等を利用することも可能である。
この場合、図１９に示すように、ヘッドマウントディスプレイ（表示装置）１２５と撮像装置１５とを一体化し、利用者が向いている方向の画像を撮像装置１５で取得するようにしてもよい。また、取得した画像をヘッドマウントディスプレイ１２５に表示しても、或いは、ヘッドマウントディスプレイ１２５を半透過状態として、外部が見えるようにしてもよい。
【００９８】
この構成の場合、通常時は、表示装置１２を透過状態として、表示装置１２を通して外部を見ることができる状態とし、識別図形を検出したときに、検出した識別図形に対応する操作画像１２４を形成し、識別図形が見える位置に、例えば、半透過状態で表示するようにしてもよい。
また、表示画面の下部に定常操作パネルを表示するようにしてもよい。
【００９９】
（第３の実施の形態）
上記実施の形態では、スイッチと識別タグとを１：１に対応付ける例を示したが、１：多或いは多：１に対応付けることも可能である。
以下、一例として、操作対象のスイッチと識別タグとを１：多に対応つける例を説明する。
【０１００】
まず、本実施の形態においては、操作対象のスイッチは、電動車椅子等の車両１０４のコントローラであり、表示装置１２に表示されたアイコンを指定することにより、選択されたアイコンに割り当てられている操作をコントローラに指示するものとする。
この場合、図２０に示すように、スイッチ制御システム１００からコントローラ１０１に制御データが送信され、コントローラ１０１は、この制御データに従って、車両１０４のドライブ機構（駆動機構）１０２を制御する。
【０１０１】
次に、例えば、図２１に例示するような道路１０５を移動する場面を想定する。道路１０５の分岐点１０６，１０７には、識別タグ１８が配置されている。
【０１０２】
車両１０５が移動して、分岐点１０６の近傍に達すると、図２２（ａ−１）に例示するような画像が表示装置１２に表示される。ここで、情報処理装置１３の制御部１３４は、画像中に識別画像（スペードの図形）を検出し、対応するスイッチ制御情報に従って、一旦停止をコントローラ１０１に指示する。指示に従って、コントローラ１０１はドライブ機構１０２を停止する。さらに、制御部１３４は、スイッチ制御情報に従って、図２２（ａ−２）に示すようなアイコンを生成し、図２２（ａ−３）に示すように表示装置１２に表示する。利用者は、行きたい方向を指示するアイコンを選択する。スイッチ制御装置１００は、選択されたアイコンを検出し、コントローラ１０１に指示する。コントローラ１０１は、ドライブ機構１０２を制御して、指示された方向に車両１０４を進める。
【０１０３】
続いて、車両１０５が移動して、分岐点１０７の近傍に達すると、図２２（ｂ−１）に例示するような画像が表示装置１２に表示される。制御部１３４は、画像中に識別画像（ハートの図形）を検出し、対応するスイッチ制御情報に従って、一旦停止をコントローラ１０１に指示して、車両１０５を停止させ、
さらに、図２２（ｂ−１）に示すようなアイコンを生成し、図２２（ｂ−３）に示すように表示装置１２に表示する。利用者は、行きたい方向を指示するアイコンを選択する。スイッチ制御装置１００は、選択されたアイコンを検出し、コントローラ１０１に指示する。コントローラ１０１は、ドライブ機構１０２を制御して、指示された方向に車両１０４を進める。
【０１０４】
このように、この実施の形態においては、複数の識別タグ１８と特定のスイッチとが対応付けられ、識別タグ１８にスイッチの操作が対応付けられる。そして、識別タグ１８とスイッチ制御システム１００とがある程度近接した段階、即ち、スイッチ操作が必要となったタイミングで、識別タグ１８が認識され、その時点で、必要な操作を指示するアイコンが表示装置１２に表示され、操作対象である駆動機構１０５の操作が可能となる。
【０１０５】
この構成によれば、車両１０４のハンドル、操作レバー等を直接操作しなくても、車両１０４を制御することが可能となり、例えば、肢体が不自由な方でも、車両１０４の操作が可能となる。
【０１０６】
なお、識別タグ１８を、スイッチ制御情報を記憶した非接触情報記憶媒体（ＲＦＩＤ等）から構成し、スイッチ制御システム１００が所定距離まで近づいた時点で、識別タグ１８を認識できるようにしてもよい。
【０１０７】
（第４の実施の形態）
第３の実施の形態では、利用者１９が車両１０４を自らの意志で制御する例を示したが、車両１０４等を自動制御することも可能である。以下、車両１０４を自動制御する例を説明する。
【０１０８】
この例では、前提として、デパートの各フロアがスロープで結ばれており、車両１０４がフロア間を移動可能であるとする。また、各階の床面には、車両１０４の予想される移動経路が特定色でペイントされている。
【０１０９】
また、車両１０４は、図２３に示すように、移動経路を検出するための経路検出部３１１と、移動コースを予め記憶する経路メモリ３１２とを備えている。
【０１１０】
また、デパートの各「館内案内板」の横には、互いに異なる識別図形が描かれた識別タグ１８が配置されている。
【０１１１】
各識別タグ１８の識別図形と、その識別タグ１８が配置されている位置から任意の売り場に到るコースは予め経路メモリ３１２に格納されている。
【０１１２】
このような構成において、スイッチ制御システム１００の制御部１３４は、撮像画像中に館内案内板に対応する識別タグ１８上の識別図形を検出すると、例えば、図２４（ａ）に示すように、対応する操作画像１２４を表示する。この例では、識別タグ１８に描かれた識別図形は「スペード」であり、操作画像１２４は、館内案内に相当する画像であり、「階数」と「商品分類」等がアイコンとして配置されている。
【０１１３】
利用者１９は、目的とする階を示すアイコン（「１Ｆ」〜「４Ｆ」、「屋上」）或いは商品を示すアイコン（「レストラン」、「衣料品」）などが強調表示されているタイミングで、その選択を意識する。
【０１１４】
利用者１９が、例えば、図２４（ｂ）の状態で、選択を意識すれば、アイコン「衣料品」が選択され、スイッチ制御システム１００は、「衣料品」が選択されたことをコントローラ１０１に通知する。
コントローラ１０１は、スペードが描かれた識別タグ１８の設置位置から「衣料品」が陳列されている位置（２Ｆの所定エリア）に到る経路を経路メモリ３１２から読み出す。
【０１１５】
以後、コントローラ１０１は、床にペイントされた経路を経路検出部３１１によりトレースしながら、ドライブ機構１０２を制御し、車両１０４を２階の衣料品が陳列されている位置まで駆動する。なお、車両１０４を所定の経路に沿って目的地まで移動すること自体は、所謂、無人搬送車を制御・駆動する方法と同一である。
このような構成によれば、車両１０４を、自動制御することが可能となる。
【０１１６】
（第５の実施の形態）
第３、第４の実施の形態では、電動車椅子を制御する例を示したが制御対象は任意である。
例えば、デパートの例で示すと、エレベータを制御する場合などにも適用可能である。以下、本発明をエレベータを制御するシステムに適用した例を説明する。
本実施の形態においては、エレベータ内、例えば、ドアの内側に、識別タグ１８が配置され、この識別タグ１８に、図２４（ａ）に示すような操作画像１２４が対応付けられている。
【０１１７】
制御部１３４は、撮像画像中に館内案内板に対応する識別図形を検出すると、例えば、図２４（ａ）に示すように、対応する操作画像１２４を表示する。
【０１１８】
利用者１９は、目的とする階を示すアイコン（「１Ｆ」〜「４Ｆ」、「屋上」）或いは商品を示すアイコン（「レストラン」、「衣料品」）などが強調表示されているタイミングで、その選択を意識する。
利用者１９が、例えば、図２４（ｂ）の状態で、選択を意識すれば、アイコン「衣料品」が選択され、スイッチ制御システム１００は、「衣料品」が選択されたことを判別し、衣料品が２階に相当することを検出する。制御部１３４は、機器制御装置１４を制御して、エレベータに設置された受信機１７１に、「２階」を指示するコマンドを送信する。
エレベータのコントローラ１７２は、行き先階を２階にセットする。
【０１１９】
この構成によれば、エレベータを任意に制御することが可能となる。
【０１２０】
（第６の実施の形態）
上記実施の形態においては、撮像画像中の識別画像を検出し、これにより、アイコンを表示したが、非接触情報記憶媒体２２１を検出することにより、アイコンを表示するように構成してもよい。
この場合、非接触情報記憶媒体２２１は、図１７に例示した構成を有し、メモリ２３１には、例えば、図２５に例示する構成のスイッチ制御情報が格納される。
このスイッチ制御情報は、識別図形に関する情報を含んでいない。また、無線通信部２３２は、例えば、数メートル程度の通信距離を有する。
また、スイッチ制御システム１００は、図１８に示す構成又は無線通信部１６を介して非接触情報記憶媒体２２１と交信する構成を有する。
【０１２１】
次に、図２６を参照して、このような構成のスイッチ制御システム１００の動作を説明する。なお、この例では、表示装置１２は、透過型であり、例えば、図１９に示すようなヘッドマウントディスプレイから構成される。
【０１２２】
まず、情報処理装置１３の制御部１３４は、無線通信部１３６を介して近傍の非接触情報記憶媒体２２１と交信する（ステップＳ４１）。
次に、制御部１３４は、交信できた非接触情報記憶媒体２２１が存在するか否かを判別する（ステップＳ４２）。
【０１２３】
制御部１３４は、存在すると判別された場合、検出された各非接触情報記憶媒体２２１からスイッチ制御情報を読み出す（ステップＳ４３）。なお、非接触情報記憶媒体２２１に格納しきれない情報を、或いは、関連情報をタグ情報記憶部１３２及び／又はＤＢサーバ２０のＤＢに格納し、任意の情報を読み出して、操作画像１２４の生成に利用してもよい。
【０１２４】
次に、制御部１３４は、読み出したスイッチ制御情報に基づいて、操作画像１２４を合成する（ステップＳ４４）。即ち、読み出した各スイッチ制御情報に含まれている操作画像定義情報に従って、枠の図形を特定し、その枠内の指定された位置に各アイコンとテキストを配置して、操作画像１２４を形成する。
【０１２５】
次に、ステップＳ４１で検出された全ての非接触情報記憶媒体２２１について操作画像１２４が形成されたと、生成した操作画像１２４と選択状態にある（初期状態では、デフォルトの）定常操作パネル画像１２３とを合成して、１フレーム分の画像を合成する（ステップＳ４５）。
【０１２６】
一方、ステップＳ４２で、非接触情報記憶媒体２２１が存在しないと判別された場合（ステップＳ４２；Ｎｏ）、表示対象の定常操作パネル画像１２３を選択する（ステップＳ４６）。
【０１２７】
次に、ステップＳ４５又はＳ４６で合成した１フレーム分の画像上に、現在強調表示しているアイコンがあるか否かを判別する（ステップＳ４７）。
【０１２８】
強調表示中のアイコンがあれば、そのアイコンを強調表示している継続時間を更新し（例えば、１フレーム期間を加算し）、さらに、継続時間が、所定時間以上であるか否かを判別する（ステップＳ４８）。継続時間が所定時間未満であると判別された場合（ステップＳ４８；Ｎｏ）、そのアイコンの強調表示を維持する（ステップＳ４９）。
【０１２９】
続いて、このようにして生成した１フレーム分の表示画像を、表示装置１２に供給し、表示させる（ステップＳ５０）。その後、処理は、ステップＳ４１にリターンする。
【０１３０】
一方、ステップＳ４８で、強調表示の継続時間が所定時間以上であると判別すると、他アイコンを特定し、継続時間を０にリセットする（ステップＳ５１）。その後、処理は、ステップＳ４９に進む。
【０１３１】
また、ステップＳ４７で、強調アイコンが無いと判別された場合（ステップＳ４７；Ｎｏ）、強調対象のアイコンを特定し、継続時間を０にリセットする（ステップＳ５２）。その後、処理は、ステップＳ２１に進む。
【０１３２】
このような処理を行う結果、一定距離内にある非接触情報記憶媒体２２１に格納されたスイッチ制御情報により特定されるスイッチ操作を可能とするための操作画像１２４が、図１４に例示するように、表示される。
【０１３３】
そして、操作画像１２４上のアイコン及び定常操作パネル画像１２３上のアイコンが順次強調表示される。
そして、利用者１９が、所望のアイコンが強調表示されているタイミングで、そのアイコンの選択を希望することにより、脳波に変化が現れ、この変化が検出され、そのタイミングで強調されていたアイコンが特定され、そのアイコンに対応付けられている操作が実行される。
【０１３４】
このような構成によれば、操作対象とするスイッチ１７に対応するスイッチ制御情報を非接触情報記憶媒体２２１に格納して配置することにより、各スイッチの遠隔操作が可能となる。
【０１３５】
以上の説明においては、脳波の変化を検出して、アイコンを選択する例を説明したが、アイコンを指定する手法は任意である。
【０１３６】
例えば、脳波を判別関数で処理することにより、注視しているアイコンを判別するように構成してもよい。また、脳波は、頭皮上の電極により計測されたものに限らず、硬膜下電極などにより計測されたものでも良い。さらに、本システムは、脳磁計など他の脳機能計測手法を用いても動作する。また、脳波に限らず、任意の筋肉からの信号でもよい。
【０１３７】
また、体の各部、例えば、指、頭部の微妙な動きであってもよい。
また、例えば、図２７に示すように、利用者１９の顔を撮影する撮像装置を配置し、撮像装置で撮影した画像から、利用者１９の視線の方向を判別し、視線の位置にあるアイコンを選択するように構成してもよい。この場合には、アイコンを順次強調表示する必要はない。
【０１３８】
以上説明したように、本発明の制御システム・方法は、切替スイッチ、オン・オフスイッチ、ボリュームスイッチ等の狭義のスイッチの制御に限らず、機器、装置、システム等に指示・コマンド・入力等を与えるもの一般に広く適用可能である。また、利用者１９が肢体不自由者の場合などに特に有効であるが、利用者の属性は任意であり、健常者の利用にも有効である。
【０１３９】
以上、この発明の実施の形態を説明したが、この発明は、上記実施の形態に限定されるものではなく、任意に応用及び変更が可能である。
【図面の簡単な説明】
【０１４０】
【図１】この発明の実施の形態に係るスイッチ制御システムの構成を示すブロック図である。
【図２】図１に示す脳波測定装置の構成例を示すブロック図である。
【図３】（ａ）、（ｂ）は、図１の表示装置に表示する画面の例を示す図である。
【図４】図１に示す情報処理装置の構成例を示すブロック図である。
【図５】（ａ）、（ｂ）は、操作画像の例を示す図である。
【図６】（ａ）、（ｂ）は、操作画像を構成する素材としての枠の図形の例を示す図である。
【図７】（ａ）〜（ｆ）は、アイコンの例を示す図である。
【図８】（ａ）はスイッチ制御情報の構成例を示す図であり、（ｂ）と（ｃ）は、スイッチ制御情報を構成するスイッチ画像定義情報の構成例を示す図である。
【図９】図１に示す機器制御装置の構成例を示すブロック図である。
【図１０】（ａ）、（ｂ）は、図１に示すスイッチの構成例を示すブロック図である。
【図１１】図１に示すスイッチ制御システムの画像表示処理を説明するためのフローチャートである。
【図１２】図１に示すスイッチ制御システムの注目アイコン検出処理を説明するためのフローチャートである。
【図１３】（ａ）〜（ｅ）は、アイコンの強調表示の例を説明するための図である。
【図１４】表示画像の他の例を示す図である。
【図１５】（ａ）〜（ｃ）は、スイッチ操作画像及びアイコンを変形して表示する例を説明するための図である。
【図１６】非接触情報記憶媒体を配置する例を説明するための部屋の平面図である。
【図１７】非接触情報記憶媒体の構成例を示すブロック図である。
【図１８】情報処理装置の他の構成例を示すブロック図である。
【図１９】表示装置の他の例を示す図である。
【図２０】スイッチ制御システムにより車両（電動車椅子等）を制御する構成を説明するためのブロック図である。
【図２１】スイッチ制御システムにより車両を制御する構成を説明するための図であり、道路の図である。
【図２２】（ａ−１）〜（ｂ−３）は、スイッチ制御システムにより車両を制御する構成を説明するための図であり、表示画像の例を示す図である。
【図２３】スイッチ制御システムにより車両を制御する場合の構成を説明するためのブロック図である。
【図２４】（ａ）、（ｂ）は、スイッチ制御システムにより車両を制御する構成を説明するための図であり、表示画像の例を示す図である。
【図２５】非接触情報記憶媒体に格納されるスイッチ制御情報の他の例を示す図である。
【図２６】スイッチ制御システムの画像表示処理の他の例を説明するためのフローチャートである。
【図２７】スイッチ制御システムの構成の他の例を説明するためのブロック図である。
【符号の説明】
【０１４１】
１１ 脳波測定装置
１２ 表示装置
１３ 情報処理装置
１４ 機器制御装置
１５ 撮像装置
１６ 無線通信機
１７ スイッチ
１８ 識別タグ
１９ 利用者
２０ データベース（ＤＢ）サーバ
１００ スイッチ制御システム
１１１ プローブ
１１２ 信号処理回路
１１３ 出力部
１２１ 操作用画面
１２２ 撮像画像
１２４ 操作画像
１２３ 定常操作パネル画像
１２５ ヘッドマウントディスプレイ
１３１ 入力部
１３２ タグ情報記憶部
１３３ 通信部
１３４ 制御部
１３５ 脳波記憶部
１４１ 通信部
１４２ 入出力部
１４３ 制御部
１７１ 受信機
１７２ コントローラ
１７３ アクチュエータ
【特許請求の範囲】
【請求項１】
操作対象の存在を示す情報を検出する検出手段と、
前記検出手段が制御対象の存在を示す情報を検出したことに応答し、アイコンを含む操作画像を特定する情報を記憶手段から読み出す読出手段と、
前記読出手段により読み出された情報に従って、アイコンを含む操作画像を生成し、生成した操作画像を表示装置に表示する表示制御手段と、
前記表示装置に表示されている操作画像に含まれるアイコンのうち、利用者が注目しているアイコンを判別する注目アイコン判別手段と、
前記注目アイコン判別手段により判別されたアイコンに対応する制御信号を出力する制御出力手段と、
を備えることを特徴とする制御システム。
【請求項２】
前記検出手段は、画像信号を入力し、該画像信号が表す画像中の特定の図形を検出する特定図形検出手段から構成され、
前記記憶手段は、特定の図形と操作画像特定情報とを対応付けて記憶し、
前記読出手段は、前記特定図形検出手段により検出された特定の図形に対応する操作画像特定情報を読み出し、
前記表示制御手段は、読出手段により読み出された操作画像特定情報により特定される操作画像を前記表示装置に表示する、
ことを特徴とする請求項１に記載の制御システム。
【請求項３】
前記検出手段は、操作対象の存在を指示する無線信号を検出する手段を備える、ことを特徴とする請求項１に記載の制御システム。
【請求項４】
前記検出手段は、操作対象の近傍に配置された非接触情報記憶媒体を検出する手段を備え、
前記読出手段は、前記検出手段により検出された非接触情報記憶媒体に記憶されている操作画像を特定する情報を読み出す、ことを特徴とする請求項１に記載の制御システム。
【請求項５】
前記表示制御手段は、撮像装置からの画像信号を受信し、受信した画像信号が定義する画像と操作画像特定情報により特定される操作画像とを合成して前記表示装置に表示する、ことを特徴とする請求項１に記載の制御システム。
【請求項６】
前記表示装置は、透過型の表示装置から構成され、
前記表示制御手段は、前記表示装置に操作画像を表示する、ことを特徴とする請求項１に記載の制御システム。
【請求項７】
前記注目アイコン判別手段は、
利用者の生体情報を取得し、取得した生体情報に基づいて、前記表示手段に表示されている操作画像に含まれるアイコンのうち、いずれのアイコンに注目しているかを判別する手段を含む、
ことを特徴とする請求項１に記載の制御システム。
【請求項８】
前記表示制御手段は、前記操作画像に含まれるアイコンを順次強調表示し、
前記注目アイコン判別手段は、利用者の生体情報を取得し、取得した生体情報の変化を検出する手段と、変化時点において強調状態にあるアイコンを注目アイコンとして判別する手段と、を備える、
ことを特徴とする請求項１に記載の制御システム。
【請求項９】
前記注目アイコン判別手段は、
利用者の脳波信号を取得し、取得した脳波信号に基づいて、利用者が注目しているアイコン判別する手段と、利用者の視線を判別し、視線上のアイコンを判別する手段と、の少なくとも一方を備える、
ことを特徴とする請求項１に記載の制御システム。
【請求項１０】
操作対象の存在を検出し、
検出に応答し、操作画像を特定する情報を読み出し、
読み出した情報に従って、アイコンを含む操作画像を生成して表示し、
利用者が注目しているアイコンを判別し、
判別されたアイコンに対応する制御信号を操作対象に出力する、
ことを特徴とする制御方法。
【請求項１】
操作対象の存在を示す情報を検出する検出手段と、
前記検出手段が制御対象の存在を示す情報を検出したことに応答し、アイコンを含む操作画像を特定する情報を記憶手段から読み出す読出手段と、
前記読出手段により読み出された情報に従って、アイコンを含む操作画像を生成し、生成した操作画像を表示装置に表示する表示制御手段と、
前記表示装置に表示されている操作画像に含まれるアイコンのうち、利用者が注目しているアイコンを判別する注目アイコン判別手段と、
前記注目アイコン判別手段により判別されたアイコンに対応する制御信号を出力する制御出力手段と、
を備えることを特徴とする制御システム。
【請求項２】
前記検出手段は、画像信号を入力し、該画像信号が表す画像中の特定の図形を検出する特定図形検出手段から構成され、
前記記憶手段は、特定の図形と操作画像特定情報とを対応付けて記憶し、
前記読出手段は、前記特定図形検出手段により検出された特定の図形に対応する操作画像特定情報を読み出し、
前記表示制御手段は、読出手段により読み出された操作画像特定情報により特定される操作画像を前記表示装置に表示する、
ことを特徴とする請求項１に記載の制御システム。
【請求項３】
前記検出手段は、操作対象の存在を指示する無線信号を検出する手段を備える、ことを特徴とする請求項１に記載の制御システム。
【請求項４】
前記検出手段は、操作対象の近傍に配置された非接触情報記憶媒体を検出する手段を備え、
前記読出手段は、前記検出手段により検出された非接触情報記憶媒体に記憶されている操作画像を特定する情報を読み出す、ことを特徴とする請求項１に記載の制御システム。
【請求項５】
前記表示制御手段は、撮像装置からの画像信号を受信し、受信した画像信号が定義する画像と操作画像特定情報により特定される操作画像とを合成して前記表示装置に表示する、ことを特徴とする請求項１に記載の制御システム。
【請求項６】
前記表示装置は、透過型の表示装置から構成され、
前記表示制御手段は、前記表示装置に操作画像を表示する、ことを特徴とする請求項１に記載の制御システム。
【請求項７】
前記注目アイコン判別手段は、
利用者の生体情報を取得し、取得した生体情報に基づいて、前記表示手段に表示されている操作画像に含まれるアイコンのうち、いずれのアイコンに注目しているかを判別する手段を含む、
ことを特徴とする請求項１に記載の制御システム。
【請求項８】
前記表示制御手段は、前記操作画像に含まれるアイコンを順次強調表示し、
前記注目アイコン判別手段は、利用者の生体情報を取得し、取得した生体情報の変化を検出する手段と、変化時点において強調状態にあるアイコンを注目アイコンとして判別する手段と、を備える、
ことを特徴とする請求項１に記載の制御システム。
【請求項９】
前記注目アイコン判別手段は、
利用者の脳波信号を取得し、取得した脳波信号に基づいて、利用者が注目しているアイコン判別する手段と、利用者の視線を判別し、視線上のアイコンを判別する手段と、の少なくとも一方を備える、
ことを特徴とする請求項１に記載の制御システム。
【請求項１０】
操作対象の存在を検出し、
検出に応答し、操作画像を特定する情報を読み出し、
読み出した情報に従って、アイコンを含む操作画像を生成して表示し、
利用者が注目しているアイコンを判別し、
判別されたアイコンに対応する制御信号を操作対象に出力する、
ことを特徴とする制御方法。
【図２】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図１】
【図３】
【図２７】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図１】
【図３】
【図２７】
【公開番号】特開２０１０−１５３６０（Ｐ２０１０−１５３６０Ａ）
【公開日】平成２２年１月２１日（２０１０．１．２１）
【国際特許分類】
【出願番号】特願２００８−１７４４０２（Ｐ２００８−１７４４０２）
【出願日】平成２０年７月３日（２００８．７．３）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り （１）ＪＯＵＲＮＡＬ ＯＦ ＣＬＩＮＩＣＡＬ ＲＥＨＡＢＩＬＩＴＡＴＩＯＮ」（Ｖｏｌ．１６ Ｎｏ．９ ２００７．９号） 発行日：２００７（平成１９年）９月１５日 発行所：医歯薬出版株式会社 （２）プレスリリース 発行日：２００８年１月２２日 発行所：国立身体障害者リハビリテーションセンター （３）東京新聞（埼玉版）平成２０年１月２３日付夕刊 発行日：平成２０年１月２３日 発行所：株式会社中日新聞社 （４）読売新聞 埼玉西版 平成２０年１月３０日付 朝刊 発行日：平成２０年１月３０日 発行所：株式会社読売新聞東京本社 （５）朝日新聞 平成２０年２月６日付朝刊 発行日：平成２０年２月６日 発行所：株式会社朝日新聞社 （６）日本経済新聞 平成２０年２月８日付朝刊 発行日：平成２０年２月８日 発行所：株式会社日本経済新聞社 （７）市民新聞 Ｎｏ．２７２ 平成２０年２月８日付 発行日：平成２０年２月８日 発行所：株式会社読売新聞 所沢センター市民新聞社 （８）Ｗｅｂ埼玉 ホームページのアドレス：ｈｔｔｐ：／／ｗｗｗ．ｓａｉｔａｍａ−ｎｐ．ｃｏ．ｊｐ／ｎｅｗｓ０３／１３／０４ｘ．ｈｔｍｌ 掲載日：２００８年３月１３日
【出願人】（８０３００００５６）財団法人ヒューマンサイエンス振興財団 (341)
【Ｆターム（参考）】
【公開日】平成２２年１月２１日（２０１０．１．２１）
【国際特許分類】
【出願日】平成２０年７月３日（２００８．７．３）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り （１）ＪＯＵＲＮＡＬ ＯＦ ＣＬＩＮＩＣＡＬ ＲＥＨＡＢＩＬＩＴＡＴＩＯＮ」（Ｖｏｌ．１６ Ｎｏ．９ ２００７．９号） 発行日：２００７（平成１９年）９月１５日 発行所：医歯薬出版株式会社 （２）プレスリリース 発行日：２００８年１月２２日 発行所：国立身体障害者リハビリテーションセンター （３）東京新聞（埼玉版）平成２０年１月２３日付夕刊 発行日：平成２０年１月２３日 発行所：株式会社中日新聞社 （４）読売新聞 埼玉西版 平成２０年１月３０日付 朝刊 発行日：平成２０年１月３０日 発行所：株式会社読売新聞東京本社 （５）朝日新聞 平成２０年２月６日付朝刊 発行日：平成２０年２月６日 発行所：株式会社朝日新聞社 （６）日本経済新聞 平成２０年２月８日付朝刊 発行日：平成２０年２月８日 発行所：株式会社日本経済新聞社 （７）市民新聞 Ｎｏ．２７２ 平成２０年２月８日付 発行日：平成２０年２月８日 発行所：株式会社読売新聞 所沢センター市民新聞社 （８）Ｗｅｂ埼玉 ホームページのアドレス：ｈｔｔｐ：／／ｗｗｗ．ｓａｉｔａｍａ−ｎｐ．ｃｏ．ｊｐ／ｎｅｗｓ０３／１３／０４ｘ．ｈｔｍｌ 掲載日：２００８年３月１３日
【出願人】（８０３００００５６）財団法人ヒューマンサイエンス振興財団 (341)
【Ｆターム（参考）】
[ Back to top ]