信号生成装置、電子機器制御装置およびプログラム
【課題】本発明は、コマンド生成用のまばたきと通常の身体反応としてのまばたきを区別するための追加的構成を必要としない新規な電子機器制御装置を提供することを目的とする。
【解決手段】
眼瞼の閉動作に伴って生じる正電位の検出時刻と該眼瞼の開動作に伴って生じる負電位の検出時刻の差分時間が信号生成開始判断のための閾値範囲にあるか否かを判断し、当該差分時間が閾値範囲にある場合に、正電位の検出時刻または負電位の検出時刻の少なくとも一方を基準として信号生成時間を定義し、当該信号生成時間内におけるまばたきのみをコマンド生成用のまばたきとして検出する。
【解決手段】
眼瞼の閉動作に伴って生じる正電位の検出時刻と該眼瞼の開動作に伴って生じる負電位の検出時刻の差分時間が信号生成開始判断のための閾値範囲にあるか否かを判断し、当該差分時間が閾値範囲にある場合に、正電位の検出時刻または負電位の検出時刻の少なくとも一方を基準として信号生成時間を定義し、当該信号生成時間内におけるまばたきのみをコマンド生成用のまばたきとして検出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、信号生成装置に関し、より詳細には、眼瞼の開閉動作に伴って生じる筋電位を利用して信号を生成する信号生成装置に関する。
【背景技術】
【０００２】
従来、ハンズフリーで電子機器を操作する方法が種々検討されている。この点につき、特開２００９−２８２６５０号公報（特許文献１）は、人のまばたき動作をカメラや赤外線センサで検出し、その動作パターンとスイッチコマンドを括りつけることによって機器の操作を実現するインターフェース装置を開示する。しかしながら、特許文献１のインターフェース装置のユーザは、コマンド生成のための意識的なまばたきと通常の身体反応としてのまばたきを区別するために、提示されるリズムと同期したまばたきを要求される。したがって、特許文献１のインターフェース装置においては、ユーザがいつ機器を操作するか分からないので、ユーザに対して、常にリズムを提示する必要があり、そのための追加的構成（例えば、リズムを画像で提示するディスプレイ装置等）が必須となるという問題があった。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−２８２６５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明は、上記従来技術における課題に鑑みてなされたものであり、本発明は、コマンド生成用のまばたきと通常の身体反応としてのまばたきを区別するための追加的構成を必要としない新規な電子機器制御装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明者らは、コマンド生成用のまばたきと通常の身体反応としてのまばたきを区別するための追加的構成を必要としない新規な電子機器制御装置につき鋭意検討した結果、眼瞼の開閉動作に伴って生じる筋電位に着目した。検討を重ねる過程において、本発明者らは、眼瞼の閉動作に伴って正電位が生じ、眼瞼の開動作に伴って負電位が生じる現象に着想を得、本発明に至ったのである。
【０００６】
すなわち、本発明によれば、眼瞼の開閉動作に伴って生じる筋電位信号を筋電位検出手段から受信する筋電位信号受信部と、前記筋電位信号に基づいて眼瞼の閉動作に伴って生じる正電位の検出時刻と該眼瞼の開動作に伴って生じる負電位の検出時刻の差分時間が信号生成開始判断のための閾値範囲にあるか否かを判断し、前記差分時間が前記閾値範囲にある場合に、前記正電位の検出時刻または前記負電位の検出時刻の少なくとも一方を基準として信号生成時間を定義する信号生成時間定義部と、前記信号生成時間において検出された前記正電位または前記負電位の少なくとも一方に基づいてまばたきを検出するまばたき検出部と、前記信号生成時間におけるまばたきの有無を２値化した２値データを生成する２値データ生成部とを含む信号生成装置が提供される。
【０００７】
さらに、本発明によれば、前記信号生成装置を含む電子機器制御装置であって、電子機器の入力内容および該入力内容に対応する制御コマンドと前記２値データとを紐付けた対応テーブルと、前記２値データに紐付けられた前記制御コマンドを前記電子機器に出力する制御コマンド出力部とを含む、電子機器制御装置が提供される。
【０００８】
加えて、本発明によれば、眼瞼の開閉動作に伴って生じる筋電位信号を筋電位検出手段から受信する筋電位信号受信部と、前記筋電位信号に基づいて眼瞼の閉動作に伴って生じる正電位の検出時刻と該眼瞼の開動作に伴って生じる負電位の検出時刻の差分時間が信号生成開始判断のための閾値範囲にあるか否かを判断し、前記差分時間が前記閾値範囲にある場合に、前記正電位の検出時刻または前記負電位の検出時刻の少なくとも一方を基準として信号生成時間を定義する信号生成時間定義部と、前記信号生成時間において検出された前記正電位または前記負電位の少なくとも一方に基づいてまばたきを検出するまばたき検出部と、前記信号生成時間に受信した前記筋電位信号に基づいてまばたきの組み合わせに伴って生じる筋電位の時系列データである筋電位データを取得する筋電位データ取得部と、前記筋電位データのテンプレートを含むテンプレートデータと、電子機器の入力内容および該入力内容に対応する制御コマンドと前記テンプレートとを紐付けた対応テーブルと、前記テンプレートデータの中から取得された前記筋電位データと最も類似するテンプレートを選出するテンプレートマッチング部と、選出された前記テンプレートに紐付けられた前記制御コマンドを前記電子機器に出力する制御コマンド出力部とを含む、電子機器制御装置が提供される。
【発明の効果】
【０００９】
上述したように、本発明によれば、コマンド生成用のまばたきと通常の身体反応としてのまばたきを区別するための追加的構成を必要としない新規な電子機器制御装置が提供される。
【図面の簡単な説明】
【００１０】
【図１】本発明の電子機器制御システムを示す図。
【図２】第１の実施形態の電子機器制御装置の機能ブロックを示す図。
【図３】まばたきに伴って生じる筋電位を測定した筋電図。
【図４】トリガ動作において生じる筋電位を測定した筋電図。
【図５】第１の実施形態の電子機器制御装置が実行する処理を示したフローチャート。
【図６】第１の実施形態の電子機器制御装置が実行する処理を示したフローチャート。
【図７】第１の実施形態の電子機器制御装置が実行する処理を示したフローチャート。
【図８】ユーザが信号生成を意図しない状態における筋電位を測定した筋電図。
【図９】ユーザがトリガ動作から機器制御までを行った場合の筋電位を測定した筋電図。
【図１０】２値化データの生成方法を説明するための概念図。
【図１１】第１の実施形態におけるテレビ用の対応テーブルを示す図。
【図１２】確認時間における筋電位を測定した筋電図。
【図１３】長い確認時間を設ける場合の処理を示したフローチャート。
【図１４】長い確認時間を設けた場合に測定される筋電図。
【図１５】第２の実施形態の電子機器制御装置の機能ブロックを示す図。
【図１６】第２の実施形態の電子機器制御装置が実行する処理を示したフローチャート。
【図１７】第２の実施形態の電子機器制御装置が実行する処理を示したフローチャート。
【図１８】テンプレートデータの概念図。
【図１９】第２の実施形態におけるテレビ用の対応テーブルを示す図。
【発明を実施するための形態】
【００１１】
以下、本発明を図面に示した実施の形態をもって説明するが、本発明は、図面に示した実施の形態に限定されるものではない。なお、以下に参照する各図においては、共通する要素について同じ符号を用い、適宜、その説明を省略するものとする。
【００１２】
図１は、本発明の電子機器制御システム１００を示す。電子機器制御システム１００は、ユーザのまばたきによって電子機器４０を制御することを目的とするものであり、パーソナル・コンピュータとして参照される電子機器制御装置２０と、筋電位検出手段３０を含んで構成されている。
【００１３】
筋電位検出手段３０は、ユーザの眼瞼の開閉動作に伴って生じる筋電位を検出・出力する機能を備えるものであればよく、本発明は、筋電位検出手段３０の構成に限定されるものではない。好ましい実施形態においては、図１に例示するように、市販の脳波センサ搭載ヘッドフォンを転用して筋電位検出手段３０を構成することができる。
【００１４】
筋電位検出手段３０は、検出した筋電位信号を、例えば、Bluetooth通信によって、逐次、電子機器制御装置２０に送信する。電子機器制御装置２０は、筋電位検出手段３０から受信した筋電位信号に基づいて電子機器４０を制御するための制御コマンドを生成し、赤外線通信などを使用してこれを電子機器４０に送信する。なお、図１においては、筋電位検出手段３０と電子機器制御装置２０を分離して設け、両者間で遠隔通信を行わせる態様を例示したが、電子機器制御装置２０の機能を搭載したマイコンを筋電位検出手段３０に組み込んで一体化し、ユーザが装着する装置から電子機器４０に対して直接的に制御コマンドを送信するように構成してもよい。
【００１５】
図２は、本発明の第１の実施形態である電子機器制御装置２０の機能ブロックを示す。電子機器制御装置２０は、その主要部として信号生成装置１０を含み、その他に、入力内容提示部２２と、入力内容確定部２６と、制御コマンド出力部２８とを含んで構成されている。さらに、信号生成装置１０は、筋電位検出手段３０から受信した筋電位信号を時系列データとして取得する筋電位信号受信部１２と、信号生成部１４とを含んで構成されている。以上、本実施形態の電子機器制御装置２０の構成について概説してきたが、各構成の具体的な説明に入る前に、本発明の基本原理について、以下説明する。
【００１６】
図３は、まばたきに伴って生じる筋電位を測定した筋電図を示す。図３に示されるように、まばたきに伴って、正電位→負電位の順番で筋電位のピークが連続する波形が検出される。このことは、筋電位を監視することによって、まばたき動作を検出することができることを意味する。本発明者らは、この点に着目し、まばたきを利用して電子機器を制御するための構成について検討した。
【００１７】
ここで、まばたきを利用して電子機器を制御するためには、通常の身体反応として人が無意識に行うまばたきと、信号生成のために意識的に行うまばたきを区別する必要がある。この点につき、本発明者らは、多数の被験者についてデータを取ったところ、無意識のまばたきによる筋電位の波形と意識的なまばたきによる筋電位の波形の間に有意な差がないことを見出した。この結果を受けて、本発明者らは、信号生成のための時間帯を予め定義するという方法を着想した。すなわち、予め定義した信号生成時間において検出されたまばたきのみを信号生成に利用し、それ以外の時間帯に検出されたものは、無意識のまばたきとして利用しないという方法である。
【００１８】
しかしながら、この場合、信号生成時間をどのようにして定義するのかが問題となる。ここで、信号生成時間を定義することは、実質的に、信号生成時間の開始時刻を定義することと同義である。この点につき、本発明者らは、決められた時間にわたって意識的に眼瞼を閉じる動作をユーザによる信号生成開始の意思表示とするルールを考案して、この問題を解決した。以下、この点につき、図４を参照して説明する。
【００１９】
図４（ａ）は、眼瞼が開いた状態から所定の時間にわたって眼瞼を閉じた後、再び眼瞼を開ける動作（以下、トリガ動作として参照する）において生じる筋電位を測定した筋電図を示す。図４（ａ）に示されるように、トリガ動作においては、まばたきの場合と同様に、最初に、眼瞼の閉動作に同期して正電位のピークが現れる。しかしながら、トリガ動作においては、まばたきのときのように正電位のピークに連続して負電位のピークは現れず、再び、眼瞼を開けた際にはじめて負電位のピークが現れる。
【００２０】
ここで、ユーザが眼瞼を閉じている時間Ｔは、図４（ｂ）に示すように、正電位の検出時刻t(+)と負電位の検出時刻t(-)の差分として導出することができる。また、この時間Ｔは、ユーザが目標時間に応じて意識的に眼瞼を開閉することよって制御できるものである。本発明者らは、この点に着目し、正電位の検出時刻t(+)と負電位の検出時刻t(-)の差分時間Ｔを信号生成開始判断のための指標とする構成に想到し、本発明に至ったのである。以上、本発明の基本原理について説明してきたが、続いて、図２に示した電子機器制御装置２０の各構成が実行する処理について、図５〜図７に示すフローチャートに基づき、以下具体的に説明する。
【００２１】
図２に示した信号生成装置１０の筋電位信号受信部１２は、電子機器制御装置２０が電源ＯＮの間、筋電位検出手段３０から筋電位信号を受信し続ける。一方、信号生成装置１０の信号生成部１４は、信号生成時間を定義するための信号生成時間定義部１６と、筋電位に基づいてまばたきを検出するためのまばたき検出部１７と、検出されたまばたきに基づいて２値データを生成するための２値データ生成部１８を含んで構成されており、各機能部が協働して図５および図６を示す処理を実行する。
【００２２】
具体的には、電子機器制御装置２０の電源ＯＮに応答して、所定の初期化処理を実行した後（S101）、筋電位信号受信部１２が受信する筋電位信号を監視して閾値電位Vth(+)を超える正電位が検出されるか否かを判断し（S102）、閾値電位Vth(+)を超える正電位が検出されるまで処理をループする（S102 No）。その結果、閾値電位Vth(+)を超える正電位が検出されると（S102 Yes）、その検出時刻t(+)をセットして（S103）、ステップ１０４に進む。
【００２３】
ステップ１０４においては、同じく筋電位データに基づいて、今度は、閾値電位Vth(-)を下回る負電位が検出されるか否かを判断し（S104）、閾値電位Vth(-)を下回る負電位が検出されるまで処理をループする（S104 No）。その結果、閾値電位Vth(-)を下回る負電位が検出されると（S104 Yes）、その検出時刻t(-)をセットして（S105）、ステップ１０６に進む。
【００２４】
ステップ１０６においては、正電位の検出時刻t(+)と負電位の検出時刻t(-)の差分時間Ｔを導出する。この差分時間Ｔは、先に説明したようにユーザが眼瞼を閉じていた時間に相当する。続いて、ステップ１０７において、導出された差分時間Ｔが信号生成開始判断のために予め定められた閾値範囲（Ｔmin＜Ｔ＜Ｔmax）にあるか否かが判定される。ここで、信号生成開始判断のために定義される時間Ｔ（ユーザが意識的に眼瞼を閉じていなければならない時間）が短すぎると、無意識に眼瞼を閉じてしまったような場合に信号生成の意志ありと誤って判断されてしまうので、時間Ｔは、そのような誤判断を回避するための適切な長さを設定することが好ましく、例えば、時間Ｔを４秒に設定することができる。その場合、4秒を中心とした適切な閾値範囲（例えば、3.7秒＜Ｔ＜4.3秒）を予め決めておく。
【００２５】
なお、本実施形態においては、信号生成開始判断のための時間Ｔにつき、電子機器ごとに異なる閾値範囲を定めることができる。この場合、先のステップ１０６で導出された差分時間Ｔが第１の閾値範囲内にあった場合には、テレビ用の制御コマンドを生成し、差分時間Ｔが第２の閾値範囲内にあった場合は、オーディオ機器用の制御コマンドを生成するといったことが可能になる。
【００２６】
一般に、信号生成を行うつもりのないユーザは、無意識にランダムなまばたきを行うため、その際の筋電図は、図８に例示するような態様になる。まばたきの際には、先に説明したように、正電位および負電位の各ピークが連続するので、ステップ１０６で導出される差分時間Ｔは非常に小さい値（約100 ミリ秒）となる。したがって、ステップ１０７における判定は、常に「Ｎｏ」となり、ステップ１０２に戻って処理がループする。つまり、ユーザが信号生成開始判断のために定義される時間Ｔ（例えば、４秒）を目標にして意識的に眼瞼を閉じる動作をしない限り、信号生成のための処理は実行されない。一方、導出された差分時間Ｔが信号生成開始判断のために予め定められた閾値範囲（Ｔmin＜Ｔ＜Ｔmax）にあった場合（S107 Yes）、ループを脱出し、図６に示すステップ２０１に進む。
【００２７】
なお、以降の説明は、図５〜図７のフローチャートに加え、図９を適宜参照して行うものとする。本実施形態においては、信号生成時間が複数のタイムスロットに分割されているため、最初に、スロット番号ｎの値を「１」にセットした後（S201）、ステップ２０２において、第１のスロットの開始時刻を定義する。本発明においては、先のステップ１０３でセットし正電位の検出時刻t(+)または先のステップ１０５でセットした負電位の検出時刻t(-)の少なくとも一方を基準として第１のスロットの開始時刻を定義することができ、その方法については種々想定されることが理解されよう。本実施形態においては、先のステップ１０５でセットした負電位の検出時刻t(-)に適切な遅延時間Ｘを加えたものをタイムスロットの開始時刻ts（＝信号生成時間の開始時刻）としてセットする（S202）。
【００２８】
ここで、ステップ２０２で加算する遅延時間Ｘは、ユーザがトリガ動作を行った後、まばたきによる信号入力の準備を整えるまでに要する適切な時間を定義することが好ましく、例えば、約1 秒とすることができる。また、好ましい実施形態においては、この遅延時間Ｘを利用して、ユーザに対して信号入力の開始タイミングを案内することができる。例えば、図１に示すようなシステム構成の場合、「信号を入力して下さい」といった案内の音声をヘッドフォンに流し、遅延時間Ｘの終了に同期して当該案内を終了するように構成することができる。この場合、ユーザは、案内の終了に合わせて信号入力動作（すなわち、まばたき）を開始することができる。なお、システムの構成によっては、信号入力の開始タイミングの案内を映像や光を用いて行ってもよい。
【００２９】
図９は、信号生成時間が４つのタイムスロットに分割され、各タイムスロットには時間αが割り当てられている例を示す。なお、本実施形態においては、ユーザに、スロット総数と各スロットの割当時間αを事前に教えておくか、そうでない場合は、適切なタイミング提示手段（音声等）を利用してタイムスロットのタイミングをユーザに知らせることが好ましい。この場合、ユーザは、タイムスロットを意識しながら、その間にまばたきをしたりしなかったりすることによって電子機器を制御する。以下、この点につき説明を続ける。
【００３０】
ステップ２０２において、タイムスロットの開始時刻tsがセットされると、ステップ２０３に進み、タイムスロットの開始時刻tsに到達したか否かが判断され（S203）、開始時刻tsに到達するまで処理をループする（S203 No）。開始時刻tsに到達すると（S203 Yes）、ステップ２０４に進み、ユーザのまばたき動作を検出するための判定処理が実行される。先に説明したように、まばたきの際には、正電位のピークに連続して負電位のピークが現れる。したがって、まばたきを検出するためには、少なくともいずれか一方のピークを検出すれば足りる。この点につき、本実施形態のステップ２０４においては、閾値電位Vth(+)に基づいて正電位のピークを監視することによってまばたきを検出している。その他、同様に、負電位のピークを利用してまばたきを検出することもできる。また、検出精度を向上させるため、正電位に続いて負電位のピークが連続して検出されることをまばたき検出の条件としてもよい。
【００３１】
ステップ２０４の判定結果が「Ｙｅｓ」である場合（すなわち、まばたきが検出された場合）、ステップ２０５に進み、スロット番号[ｎ]の判定結果が[１]にセットされる。先のステップ２０１において、ｎ＝１にセットされているので、スロット番号[１]の判定結果が[１]にセットされる。一方、ステップ２０４の判定結果が「Ｎｏ」である場合（すなわち、まばたきが検出されない場合）、第１のタイムスロットの終了時刻に到達したか否かが判断される（S206）。ここで、第１のタイムスロットの終了時刻＝タイムスロットの開始時刻ts＋αとなる。したがって、ステップ２０６においては、現在時刻とタイムスロットの開始時刻ts＋αを比較してタイムスロットの終了時刻に到達したか否かを判断する。タイムスロットの終了時刻に到達していない場合（S206 No）、ステップ２０４に戻って処理をループする。その結果、閾値電位Vth(+)を超える正電位を検出しないまま、タイムスロットの終了時刻に到達した場合には（S206 Yes）、ステップ２０７に進み、スロット番号[１]の判定結果が[０]にセットされる。以上、説明したように、上述した一連の処理により、各スロットにおけるまばたきの有無が２値化される。なお、本実施形態においては、１つのスロットにつき、２回以上のまばたきあった場合も判定結果は[１]となることを理解されたい。
【００３２】
ステップ２０５またはステップ２０７のいずれか一方が終了すると、処理はステップ２０８に進み、スロット番号[ｎ]の値がタイムスロットの総数（＝４）であるか否かが判断される。このとき、ｎ＝１なので（S208 No）、ステップ２０９に進み、スロット番号[ｎ]の値がインクリメントされた後、次のタイムスロット（第２のタイムスロット）の開始時刻tsをセットする（S210）。第２のタイムスロットの開始時刻ts（＝第１のタイムスロットの開始時刻ts＋α）がセットされると、処理は、ステップ２０３に戻り、上述した一連の処理をループする。そして、第４のタイムスロットの判定結果がセットされると（S205またはS207）、ステップ２０８において、スロット番号[ｎ]の値が「４」であるか否かが判断される。この場合、ｎ＝４なので（S208 Yes）、処理はループから脱出してステップ２１１に進む。ステップ２１１においては、第１〜第４の各スロットについてセットされた判定結果に基づいて、２値データを生成する。
【００３３】
信号生成時間において、図１０の筋電図が示すような筋電位が取得された場合、スロット番号[１]〜[４]の判定結果は、それぞれ、[１]、[１]、[０]、[１]となる。これらの全判定結果をスロット番号で昇順にソートすることによって、２値データ[１１０１]が生成される。
【００３４】
なお、上述した実施形態においては、信号生成時間を４つのタイムスロットに分割する構成に基づいて説明したが、本発明は、当然にしてこれに限定されるものではなく、用途に合わせて適切なタイムスロット数を設定することができる。信号生成時間をｎ個のタイムスロットに分割した場合は、２ｎ種類の２値データを定義できることが理解されよう。以上、信号生成装置１０の信号生成部１４が実行する処理について説明してきたが、次に、入力内容提示部２２、入力内容確定部２６、および制御コマンド出力部２８が実行する処理について、以下、具体的に説明する。
【００３５】
信号生成部１４によって２値データが生成されると(S211)、処理は、図７に示すステップ３０１に進む。ステップ３０１においては、まず、入力内容確定部２６が後述するまばたきカウンタＮの値を「０」にセットする。続いて、ステップ３０２において、入力した内容をユーザに確認させるための時間（以下、確認時間として参照する）を定義する。具体的には、先のステップ２０６で比較に用いた最終スロットの終了時刻ts＋αに適切な遅延時間Ｙを加えたものを確認時間の開始時刻tCSとしてセットする。
【００３６】
ここで、ステップ３０２で加算する遅延時間Ｙは、ユーザのまばたきに基づいて生成された２値データに対応する入力内容をユーザに認知させた後、その是非を判断するのに要する適切な時間を定義することが好ましく、例えば、約1 秒とすることができる。本実施形態においては、この遅延時間Ｙを利用して、入力内容提示部２２が先のステップ２１１で生成された２値データに対応する入力内容をユーザに提示する（S303）。具体的には、生成された２値データをキーとして予め用意された対応テーブル２４（図２参照）を照会することによって、対応する入力内容を取得する。図１１は、テレビ用の対応テーブル２４を例示する。対応テーブル２４は、２値データを格納するためのフィールド５０１、入力内容を格納するためのフィールド５０２、制御コマンドを格納するためのフィールド５０３を備えており、各入力内容とこれに対応するテレビの制御コマンドが２値データに紐付けられて管理されている。
【００３７】
例えば、先のステップ２１１で生成された２値データが[０１００]であった場合、ステップ３０３において、「『６ｃｈ』でよろしいですか？」といった内容の音声や画像が提示される。この問いかけに対し、本実施形態においては、ユーザがまばたきによって応答する。すなわち、予め定義された確認時間β内で行われるまばたきの数によって「入力内容確定」、「再入力」および「入力内容キャンセル」を定義する。例えば、図１２（ａ）の筋電図に示すように、確認時間β内に２回まばたきをする動作を「入力内容確定」と定義し、図１２（ｂ）の筋電図に示すように、確認時間β内に３回以上まばたきをする動作を「再入力」と定義することができる。この場合、確認時間βは、３回のまばたきを連続して行うのに要する過不足ない適切な時間を定義することが好ましく、例えば、約1秒とすることができる。また、本実施形態においては、図１２（ｃ）の筋電図に示すように、確認時間β内に１回しかまばたきがなかった場合、または、一度もまばたきがない場合には、誤入力と判断して入力内容をキャンセルする。以下、図１２に示した例に基づいて、説明を続ける。
【００３８】
入力内容提示部２２が入力内容をユーザに提示した後（S303）、処理はステップ３０４に進む。ステップ３０４においては、入力内容確定部２６が確認時間の開始時刻tCSに到達したか否かを判断し、開始時刻tCSに到達するまで処理をループする（S304 No）。開始時刻tCSに到達すると（S304 Yes）、ステップ３０５に進み、筋電位信号受信部１２が受信した筋電位信号の閾値電位Vth(+)を超える正電位に基づいてまばたきを検出する。なお、まばたきの検出は、先に説明したステップ２０４と同様に、負電位のピークを利用することもできるし、正電位に続いて負電位のピークが連続して検出されることをまばたき検出の条件としてもよい。
【００３９】
ステップ３０５において、閾値電位Vth(+)を超える正電位が検出されない場合（S305 No）、処理はステップ３０６に進み、確認時間の終了時刻に到達したか否かが判断される。ここで確認時間が「β」であることから、確認時間の終了時刻＝確認時間の開始時刻tCS＋βとなる。したがって、ステップ３０６においては、現在時刻と確認時間の開始時刻tCS＋βを比較して確認時間の終了時刻に到達したか否かを判断される。
【００４０】
一方、ステップ３０５において、閾値電位Vth(+)を超える正電位が検出された場合（S305 Yes）、処理はステップ３０７に進み、まばたきカウンタ[Ｎ]の値がインクリメントされた後、ステップ３０６において、入力内容確認時間の終了時刻に到達したか否かが判断される。上述した一連の処理は、確認時間の終了時刻に到達するまでループする。その結果、確認時間β内に行われたまばたきの数がまばたきカウンタにセットされる。
【００４１】
確認時間の終了時刻に到達すると、処理はループを脱出してステップ３０８に進む。ステップ３０８においては、まばたきカウンタ[Ｎ]の値が[３]以上であるか否かが判断される。Ｎ≧３の場合は（S308 Yes）、「再入力」と判断し、図６のステップ２１２に進んで、スロット番号ｎの値を「１」にリセットし、ステップ２１３において、現在時刻に適切な遅延時間Ｘを加えたものをタイムスロットの開始時刻tsにリセットした後、ステップ２０３以降の一連の処理を繰り返す。
【００４２】
一方、Ｎ≠３の場合は（S308 No）、ステップ３０９に進む。ステップ３０９においては、まばたきカウンタ[Ｎ]の値が[２]であるか否かが判断される。Ｎ≠２の場合は、（S309 No）、「入力内容キャンセル」と判断され、図５のステップ１０１に戻る。一方、Ｎ＝２の場合は（S309 Yes）、「入力内容確定」と判断し、ステップ３１０に進む。ステップ３１０においては、制御コマンド出力部２８が先のステップ３０３で提示した入力内容に紐付けられた制御コマンドを電子機器（テレビ）に対して出力する。その後、処理は、図５のステップ１０１に戻り、各パラメータが初期化される。各パラメータが初期化された後は、引き続き、上述した一連の処理が繰り返される。
【００４３】
以上、入力内容の確認処理について説明してきたが、本発明においては、入力内容の是非について、ユーザに余裕をもって判断させるために、確認時間βを１０秒程度の長さとすることもできる。この場合、確認時間βとは別に入力時間γを定義する。入力時間γは、最大３回のまばたきを連続して行うのに要する過不足ない時間（例えば、約1 秒）とすることが好ましい。以下、確認時間βを長く取る場合の実施形態について、図１３に示したフローチャートに基づいて具体的に説明する。なお、図１３においては、図７について説明したのと同様の処理については、同じステップ番号を付してその説明を、適宜、省略するものとする。
【００４４】
ステップ３０４において、確認時間の開始時刻tCSに到達したと判断されると（S304 Yes）、ステップ３０５に進み、閾値電位Vth(+)を超える正電位が検出されたか否かが判断される。閾値電位Vth(+)を超える正電位が検出されない場合は（S305 No）、確認時間の終了時刻（＝確認時間の開始時刻tCS＋β）に到達するまで処理はループする（S306 No）。
【００４５】
一方、ステップ３０５において、閾値電位Vth(+)を超える正電位が検出された場合（S305 Yes）、ステップ３１１において、当該正電位の検出時刻tγSがセットされ、まばたきカウンタ[Ｎ]の値が[１]にセットされた後（S312）、処理は、ステップ３１３に進む。ステップ３１３においては、再び、閾値電位Vth(+)を超える正電位が検出されたか否かが判断され、閾値電位Vth(+)を超える正電位が検出されない場合は（S313 No）、最初の正電位の検出時刻tγSから入力時間γが経過するまで処理はループする（S315 No）。
【００４６】
一方、ステップ３１３において、閾値電位Vth(+)を超える正電位が検出された場合（S313 Yes）、ステップ３１４において、まばたきカウンタ[Ｎ]の値がインクリメントされた後、ステップ３１５において、最初の正電位の検出時刻tγSから入力時間γが経過したか否かが判断される。ステップ３１５において、最初の正電位の検出時刻tγSから入力時間γが経過したと判断された場合は（S315 Yes）、ステップ３０８以降の処理に進む。
【００４７】
上述した処理を採用することによって、図１４（ａ）（ｂ）に示すように、ある程度余裕をもった確認時間β（例えば、１０秒）を設けることができ、また、ユーザの連続したまばたき（２回または３回）が検出された時点で、直ちに、確認時間βを終了させて、次の処理に進むことができる。
【００４８】
なお、ユーザが無意識のうちに長く眼瞼を閉じてしまったような場合、装置がこれをトリガ動作と認識し、その結果、ユーザの意図しない信号生成が実行されてしまうことが想定されるが、本実施形態によれば、そのような場合でも、確認時間βの満了を待つことなく、誤入力をキャンセルすることができる。なぜなら、人は、一般に、3〜4秒に1回の割合で身体反応としてのまばたきをすることが知られており、ユーザが信号生成を意図していない場合であっても、確認時間βの満了前に１回のまばたきが検出されることが予想されるからである。つまり、本実施形態によれば、図１４（ｃ）に示すように、確認時間βの満了前に、身体反応としてのまばたきを利用して誤入力をキャンセルすることができる。
【００４９】
以上、説明したように、上述した第１の実施形態は、信号生成時間のスロット毎にまばたきの有無を判断し、その結果を符号化した２値データを制御用データとし、これを電子機器の制御コマンドに紐付ける構成を採用するものであったが、後述する第２の実施形態は、信号生成時間にわたって取得された時系列データとしての筋電位データを制御用データとし、これを電子機器の制御コマンドに紐付ける構成を採用する。以下、本発明の第２の実施形態について説明する。
【００５０】
図１５は、第２の実施形態である電子機器制御装置５０の機能ブロックを示す。なお、図１５においては、図２に示した要素と共通するものについて同じ符号を用い、適宜、その説明を省略するものとする。
【００５１】
電子機器制御装置５０における信号生成部１４においては、図２に示した２値データ生成部１８の代わりに、筋電位信号受信部１２が受信する筋電位信号に基づいて筋電位の時系列データ（以下、筋電位データとして参照する）を生成するための筋電位データ取得部５２を備える。さらに、電子機器制御装置５０は、生成した筋電位データを制御コマンドに紐付けられたテンプレートデータ５６と照合するためのテンプレートマッチング部５４を備える。以下、電子機器制御装置５０が実行する処理について、図５、図１６、図１７に示すフローチャートに基づき、具体的に説明する。
【００５２】
電子機器制御装置５０において、ユーザのトリガ動作を検出するための処理は、図５に示したステップ１０１〜ステップ１０７と同様であるので詳細な説明は省略する。なお、電子機器制御装置５０においては、初期化処理（S101）で後述する筋電位データのテンプレートが読み込まれる。ステップ１０７において、差分時間Ｔが閾値範囲（Ｔmin＜Ｔ＜Ｔmax）にあった場合（S107 Yes）、ループを脱出し、図１６に示すステップ４０１に進む。
【００５３】
ステップ４０１においては、先に説明した図６のステップ２０２の同様の処理を実行して信号生成時間の開始時刻tsを定義する。すなわち、ステップ１０３でセットし正電位の検出時刻t(+)または先のステップ１０５でセットした負電位の検出時刻t(-)の少なくとも一方を基準とし、これに適切な遅延時間Ｘを加えたものを信号生成時間開始時刻tsとして定義する。
【００５４】
ステップ４０１において、信号生成時間開始時刻tsがセットされると、信号生成時間開始時刻tsに到達したか否かが判断され（S402）、開始時刻tsに到達するまで処理をループする（S402 No）。開始時刻tsに到達すると（S402 Yes）、ステップ４０３に進み、筋電位信号受信部１２が受信する筋電位信号に基づいて筋電位データの取得処理を開始する。
【００５５】
ステップ４０３で筋電位データの保存処理が開始されると、ステップ４０４に進み、現在時刻が筋電位データ保存終了時刻に到達したか否かが判断される。仮に、１つのスロットの割当時間＝α、タイムスロット総数＝ｎとした場合、信号生成時間終了時刻＝信号生成時間開始時刻ts＋ｎαとなる。その結果、信号生成時間終了時刻に到達した場合には（S404 Yes）、ステップ４０５に進んで、筋電位データの取得処理を終了し、筋電位データを照合用データとして保存する（S406）。このようにして保存される照合用データの波形は、信号生成時間内にユーザが行ったまばたきの組み合わせに応じて変化する。
【００５６】
続いて、ステップ４０７において、筋電位データ取得部５２が取得した筋電位データとテンプレートとの間でテンプレートマッチング処理を実行し、最も類似するテンプレートを選出する（具体的には、最も類似するテンプレートのＩＤを取得する）。図１８は、本実施形態におけるテンプレートの概念図を示す。図１８は、タイムスロット総数＝４とした場合のテンプレートデータ５６を示す。テンプレートデータ５６には、１６個の制御コマンドに対応する１６種類のテンプレートが登録されており、各テンプレートに対してＩＤが付与されている。テンプレートは、ユーザに事前に信号生成用のまばたき動作を実施させ、その際に取得した筋電位データを基に生成することが好ましい。なお、本実施形態におけるテンプレートマッチングは、ＤＰマッチングに基づく波形認識手法を用いて行うことができる。但し、本実施形態は、これに限定されるものではなく、その他の適切なマッチング手法を用いて行ってもよい。
【００５７】
ステップ４０７において、テンプレートＩＤが取得されると、図１７に示す入力内容の確認処理が実行される。図１７に示す処理のうち、ステップ５０２およびステップ５０３以外の処理は、図７について説明したステップ３０１〜ステップ３１０と共通するので詳細な説明は省略する。本実施形態においては、ステップ５０２において、入力内容をユーザに確認させるための確認時間の開始時刻tCSをセットする。具体的には、先のステップ４０４で比較に用いた信号生成時間終了時刻ts＋ｎαに適切な遅延時間Ｙを加えたものを確認時間開始時刻tCSとしてセットする。
【００５８】
本実施形態においては、この遅延時間Ｙを利用して、入力内容提示部２２が入力された内容をユーザに提示する（S503）。図１９は、テレビ用の対応テーブル２５を例示する。対応テーブル２５は、テンプレートＩＤを格納するためのフィールド５０４、入力内容を格納するためのフィールド５０２、制御コマンドを格納するためのフィールド５０３を備えており、各入力内容とこれに対応するテレビの制御コマンドがテンプレートＩＤに紐付けられて管理されている。ステップ５０３においては、入力内容提示部２２が先のステップ４０７で取得したテンプレートＩＤをキーとして対応テーブル２５を照会し、テンプレートＩＤに対応する入力内容を取得する。
【００５９】
以上、本発明について実施形態をもって説明してきたが、本発明は上述した実施形態に限定されるものではなく、その他、当業者が推考しうる実施態様の範囲内において、本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。
【産業上の利用可能性】
【００６０】
以上、説明したように、本発明によれば、コマンド生成用のまばたきと通常の身体反応としてのまばたきを区別するための追加的構成を必要としない新規な電子機器制御装置が提供される。本発明は、四肢障害者の生活支援の他、ハンズフリーの電子機器操作が要求されるあらゆるシチュエーションにおいて活用されることが期待される。
【符号の説明】
【００６１】
１０…信号生成装置
１２…筋電位信号受信部
１４…信号生成部
１６…信号生成時間定義部
１７…まばたき検出部
１８…２値データ生成部
２０…電子機器制御装置
２２…入力内容提示部
２４,２５…対応テーブル
２６…入力内容確定部
２８…制御コマンド出力部
３０…筋電位検出手段
４０…電子機器
５０…電子機器制御装置
５２…筋電位データ取得部
５４…テンプレートマッチング部
５６…テンプレートデータ
１００…電子機器制御システム
５０１〜５０４…フィールド
【技術分野】
【０００１】
本発明は、信号生成装置に関し、より詳細には、眼瞼の開閉動作に伴って生じる筋電位を利用して信号を生成する信号生成装置に関する。
【背景技術】
【０００２】
従来、ハンズフリーで電子機器を操作する方法が種々検討されている。この点につき、特開２００９−２８２６５０号公報（特許文献１）は、人のまばたき動作をカメラや赤外線センサで検出し、その動作パターンとスイッチコマンドを括りつけることによって機器の操作を実現するインターフェース装置を開示する。しかしながら、特許文献１のインターフェース装置のユーザは、コマンド生成のための意識的なまばたきと通常の身体反応としてのまばたきを区別するために、提示されるリズムと同期したまばたきを要求される。したがって、特許文献１のインターフェース装置においては、ユーザがいつ機器を操作するか分からないので、ユーザに対して、常にリズムを提示する必要があり、そのための追加的構成（例えば、リズムを画像で提示するディスプレイ装置等）が必須となるという問題があった。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−２８２６５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明は、上記従来技術における課題に鑑みてなされたものであり、本発明は、コマンド生成用のまばたきと通常の身体反応としてのまばたきを区別するための追加的構成を必要としない新規な電子機器制御装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明者らは、コマンド生成用のまばたきと通常の身体反応としてのまばたきを区別するための追加的構成を必要としない新規な電子機器制御装置につき鋭意検討した結果、眼瞼の開閉動作に伴って生じる筋電位に着目した。検討を重ねる過程において、本発明者らは、眼瞼の閉動作に伴って正電位が生じ、眼瞼の開動作に伴って負電位が生じる現象に着想を得、本発明に至ったのである。
【０００６】
すなわち、本発明によれば、眼瞼の開閉動作に伴って生じる筋電位信号を筋電位検出手段から受信する筋電位信号受信部と、前記筋電位信号に基づいて眼瞼の閉動作に伴って生じる正電位の検出時刻と該眼瞼の開動作に伴って生じる負電位の検出時刻の差分時間が信号生成開始判断のための閾値範囲にあるか否かを判断し、前記差分時間が前記閾値範囲にある場合に、前記正電位の検出時刻または前記負電位の検出時刻の少なくとも一方を基準として信号生成時間を定義する信号生成時間定義部と、前記信号生成時間において検出された前記正電位または前記負電位の少なくとも一方に基づいてまばたきを検出するまばたき検出部と、前記信号生成時間におけるまばたきの有無を２値化した２値データを生成する２値データ生成部とを含む信号生成装置が提供される。
【０００７】
さらに、本発明によれば、前記信号生成装置を含む電子機器制御装置であって、電子機器の入力内容および該入力内容に対応する制御コマンドと前記２値データとを紐付けた対応テーブルと、前記２値データに紐付けられた前記制御コマンドを前記電子機器に出力する制御コマンド出力部とを含む、電子機器制御装置が提供される。
【０００８】
加えて、本発明によれば、眼瞼の開閉動作に伴って生じる筋電位信号を筋電位検出手段から受信する筋電位信号受信部と、前記筋電位信号に基づいて眼瞼の閉動作に伴って生じる正電位の検出時刻と該眼瞼の開動作に伴って生じる負電位の検出時刻の差分時間が信号生成開始判断のための閾値範囲にあるか否かを判断し、前記差分時間が前記閾値範囲にある場合に、前記正電位の検出時刻または前記負電位の検出時刻の少なくとも一方を基準として信号生成時間を定義する信号生成時間定義部と、前記信号生成時間において検出された前記正電位または前記負電位の少なくとも一方に基づいてまばたきを検出するまばたき検出部と、前記信号生成時間に受信した前記筋電位信号に基づいてまばたきの組み合わせに伴って生じる筋電位の時系列データである筋電位データを取得する筋電位データ取得部と、前記筋電位データのテンプレートを含むテンプレートデータと、電子機器の入力内容および該入力内容に対応する制御コマンドと前記テンプレートとを紐付けた対応テーブルと、前記テンプレートデータの中から取得された前記筋電位データと最も類似するテンプレートを選出するテンプレートマッチング部と、選出された前記テンプレートに紐付けられた前記制御コマンドを前記電子機器に出力する制御コマンド出力部とを含む、電子機器制御装置が提供される。
【発明の効果】
【０００９】
上述したように、本発明によれば、コマンド生成用のまばたきと通常の身体反応としてのまばたきを区別するための追加的構成を必要としない新規な電子機器制御装置が提供される。
【図面の簡単な説明】
【００１０】
【図１】本発明の電子機器制御システムを示す図。
【図２】第１の実施形態の電子機器制御装置の機能ブロックを示す図。
【図３】まばたきに伴って生じる筋電位を測定した筋電図。
【図４】トリガ動作において生じる筋電位を測定した筋電図。
【図５】第１の実施形態の電子機器制御装置が実行する処理を示したフローチャート。
【図６】第１の実施形態の電子機器制御装置が実行する処理を示したフローチャート。
【図７】第１の実施形態の電子機器制御装置が実行する処理を示したフローチャート。
【図８】ユーザが信号生成を意図しない状態における筋電位を測定した筋電図。
【図９】ユーザがトリガ動作から機器制御までを行った場合の筋電位を測定した筋電図。
【図１０】２値化データの生成方法を説明するための概念図。
【図１１】第１の実施形態におけるテレビ用の対応テーブルを示す図。
【図１２】確認時間における筋電位を測定した筋電図。
【図１３】長い確認時間を設ける場合の処理を示したフローチャート。
【図１４】長い確認時間を設けた場合に測定される筋電図。
【図１５】第２の実施形態の電子機器制御装置の機能ブロックを示す図。
【図１６】第２の実施形態の電子機器制御装置が実行する処理を示したフローチャート。
【図１７】第２の実施形態の電子機器制御装置が実行する処理を示したフローチャート。
【図１８】テンプレートデータの概念図。
【図１９】第２の実施形態におけるテレビ用の対応テーブルを示す図。
【発明を実施するための形態】
【００１１】
以下、本発明を図面に示した実施の形態をもって説明するが、本発明は、図面に示した実施の形態に限定されるものではない。なお、以下に参照する各図においては、共通する要素について同じ符号を用い、適宜、その説明を省略するものとする。
【００１２】
図１は、本発明の電子機器制御システム１００を示す。電子機器制御システム１００は、ユーザのまばたきによって電子機器４０を制御することを目的とするものであり、パーソナル・コンピュータとして参照される電子機器制御装置２０と、筋電位検出手段３０を含んで構成されている。
【００１３】
筋電位検出手段３０は、ユーザの眼瞼の開閉動作に伴って生じる筋電位を検出・出力する機能を備えるものであればよく、本発明は、筋電位検出手段３０の構成に限定されるものではない。好ましい実施形態においては、図１に例示するように、市販の脳波センサ搭載ヘッドフォンを転用して筋電位検出手段３０を構成することができる。
【００１４】
筋電位検出手段３０は、検出した筋電位信号を、例えば、Bluetooth通信によって、逐次、電子機器制御装置２０に送信する。電子機器制御装置２０は、筋電位検出手段３０から受信した筋電位信号に基づいて電子機器４０を制御するための制御コマンドを生成し、赤外線通信などを使用してこれを電子機器４０に送信する。なお、図１においては、筋電位検出手段３０と電子機器制御装置２０を分離して設け、両者間で遠隔通信を行わせる態様を例示したが、電子機器制御装置２０の機能を搭載したマイコンを筋電位検出手段３０に組み込んで一体化し、ユーザが装着する装置から電子機器４０に対して直接的に制御コマンドを送信するように構成してもよい。
【００１５】
図２は、本発明の第１の実施形態である電子機器制御装置２０の機能ブロックを示す。電子機器制御装置２０は、その主要部として信号生成装置１０を含み、その他に、入力内容提示部２２と、入力内容確定部２６と、制御コマンド出力部２８とを含んで構成されている。さらに、信号生成装置１０は、筋電位検出手段３０から受信した筋電位信号を時系列データとして取得する筋電位信号受信部１２と、信号生成部１４とを含んで構成されている。以上、本実施形態の電子機器制御装置２０の構成について概説してきたが、各構成の具体的な説明に入る前に、本発明の基本原理について、以下説明する。
【００１６】
図３は、まばたきに伴って生じる筋電位を測定した筋電図を示す。図３に示されるように、まばたきに伴って、正電位→負電位の順番で筋電位のピークが連続する波形が検出される。このことは、筋電位を監視することによって、まばたき動作を検出することができることを意味する。本発明者らは、この点に着目し、まばたきを利用して電子機器を制御するための構成について検討した。
【００１７】
ここで、まばたきを利用して電子機器を制御するためには、通常の身体反応として人が無意識に行うまばたきと、信号生成のために意識的に行うまばたきを区別する必要がある。この点につき、本発明者らは、多数の被験者についてデータを取ったところ、無意識のまばたきによる筋電位の波形と意識的なまばたきによる筋電位の波形の間に有意な差がないことを見出した。この結果を受けて、本発明者らは、信号生成のための時間帯を予め定義するという方法を着想した。すなわち、予め定義した信号生成時間において検出されたまばたきのみを信号生成に利用し、それ以外の時間帯に検出されたものは、無意識のまばたきとして利用しないという方法である。
【００１８】
しかしながら、この場合、信号生成時間をどのようにして定義するのかが問題となる。ここで、信号生成時間を定義することは、実質的に、信号生成時間の開始時刻を定義することと同義である。この点につき、本発明者らは、決められた時間にわたって意識的に眼瞼を閉じる動作をユーザによる信号生成開始の意思表示とするルールを考案して、この問題を解決した。以下、この点につき、図４を参照して説明する。
【００１９】
図４（ａ）は、眼瞼が開いた状態から所定の時間にわたって眼瞼を閉じた後、再び眼瞼を開ける動作（以下、トリガ動作として参照する）において生じる筋電位を測定した筋電図を示す。図４（ａ）に示されるように、トリガ動作においては、まばたきの場合と同様に、最初に、眼瞼の閉動作に同期して正電位のピークが現れる。しかしながら、トリガ動作においては、まばたきのときのように正電位のピークに連続して負電位のピークは現れず、再び、眼瞼を開けた際にはじめて負電位のピークが現れる。
【００２０】
ここで、ユーザが眼瞼を閉じている時間Ｔは、図４（ｂ）に示すように、正電位の検出時刻t(+)と負電位の検出時刻t(-)の差分として導出することができる。また、この時間Ｔは、ユーザが目標時間に応じて意識的に眼瞼を開閉することよって制御できるものである。本発明者らは、この点に着目し、正電位の検出時刻t(+)と負電位の検出時刻t(-)の差分時間Ｔを信号生成開始判断のための指標とする構成に想到し、本発明に至ったのである。以上、本発明の基本原理について説明してきたが、続いて、図２に示した電子機器制御装置２０の各構成が実行する処理について、図５〜図７に示すフローチャートに基づき、以下具体的に説明する。
【００２１】
図２に示した信号生成装置１０の筋電位信号受信部１２は、電子機器制御装置２０が電源ＯＮの間、筋電位検出手段３０から筋電位信号を受信し続ける。一方、信号生成装置１０の信号生成部１４は、信号生成時間を定義するための信号生成時間定義部１６と、筋電位に基づいてまばたきを検出するためのまばたき検出部１７と、検出されたまばたきに基づいて２値データを生成するための２値データ生成部１８を含んで構成されており、各機能部が協働して図５および図６を示す処理を実行する。
【００２２】
具体的には、電子機器制御装置２０の電源ＯＮに応答して、所定の初期化処理を実行した後（S101）、筋電位信号受信部１２が受信する筋電位信号を監視して閾値電位Vth(+)を超える正電位が検出されるか否かを判断し（S102）、閾値電位Vth(+)を超える正電位が検出されるまで処理をループする（S102 No）。その結果、閾値電位Vth(+)を超える正電位が検出されると（S102 Yes）、その検出時刻t(+)をセットして（S103）、ステップ１０４に進む。
【００２３】
ステップ１０４においては、同じく筋電位データに基づいて、今度は、閾値電位Vth(-)を下回る負電位が検出されるか否かを判断し（S104）、閾値電位Vth(-)を下回る負電位が検出されるまで処理をループする（S104 No）。その結果、閾値電位Vth(-)を下回る負電位が検出されると（S104 Yes）、その検出時刻t(-)をセットして（S105）、ステップ１０６に進む。
【００２４】
ステップ１０６においては、正電位の検出時刻t(+)と負電位の検出時刻t(-)の差分時間Ｔを導出する。この差分時間Ｔは、先に説明したようにユーザが眼瞼を閉じていた時間に相当する。続いて、ステップ１０７において、導出された差分時間Ｔが信号生成開始判断のために予め定められた閾値範囲（Ｔmin＜Ｔ＜Ｔmax）にあるか否かが判定される。ここで、信号生成開始判断のために定義される時間Ｔ（ユーザが意識的に眼瞼を閉じていなければならない時間）が短すぎると、無意識に眼瞼を閉じてしまったような場合に信号生成の意志ありと誤って判断されてしまうので、時間Ｔは、そのような誤判断を回避するための適切な長さを設定することが好ましく、例えば、時間Ｔを４秒に設定することができる。その場合、4秒を中心とした適切な閾値範囲（例えば、3.7秒＜Ｔ＜4.3秒）を予め決めておく。
【００２５】
なお、本実施形態においては、信号生成開始判断のための時間Ｔにつき、電子機器ごとに異なる閾値範囲を定めることができる。この場合、先のステップ１０６で導出された差分時間Ｔが第１の閾値範囲内にあった場合には、テレビ用の制御コマンドを生成し、差分時間Ｔが第２の閾値範囲内にあった場合は、オーディオ機器用の制御コマンドを生成するといったことが可能になる。
【００２６】
一般に、信号生成を行うつもりのないユーザは、無意識にランダムなまばたきを行うため、その際の筋電図は、図８に例示するような態様になる。まばたきの際には、先に説明したように、正電位および負電位の各ピークが連続するので、ステップ１０６で導出される差分時間Ｔは非常に小さい値（約100 ミリ秒）となる。したがって、ステップ１０７における判定は、常に「Ｎｏ」となり、ステップ１０２に戻って処理がループする。つまり、ユーザが信号生成開始判断のために定義される時間Ｔ（例えば、４秒）を目標にして意識的に眼瞼を閉じる動作をしない限り、信号生成のための処理は実行されない。一方、導出された差分時間Ｔが信号生成開始判断のために予め定められた閾値範囲（Ｔmin＜Ｔ＜Ｔmax）にあった場合（S107 Yes）、ループを脱出し、図６に示すステップ２０１に進む。
【００２７】
なお、以降の説明は、図５〜図７のフローチャートに加え、図９を適宜参照して行うものとする。本実施形態においては、信号生成時間が複数のタイムスロットに分割されているため、最初に、スロット番号ｎの値を「１」にセットした後（S201）、ステップ２０２において、第１のスロットの開始時刻を定義する。本発明においては、先のステップ１０３でセットし正電位の検出時刻t(+)または先のステップ１０５でセットした負電位の検出時刻t(-)の少なくとも一方を基準として第１のスロットの開始時刻を定義することができ、その方法については種々想定されることが理解されよう。本実施形態においては、先のステップ１０５でセットした負電位の検出時刻t(-)に適切な遅延時間Ｘを加えたものをタイムスロットの開始時刻ts（＝信号生成時間の開始時刻）としてセットする（S202）。
【００２８】
ここで、ステップ２０２で加算する遅延時間Ｘは、ユーザがトリガ動作を行った後、まばたきによる信号入力の準備を整えるまでに要する適切な時間を定義することが好ましく、例えば、約1 秒とすることができる。また、好ましい実施形態においては、この遅延時間Ｘを利用して、ユーザに対して信号入力の開始タイミングを案内することができる。例えば、図１に示すようなシステム構成の場合、「信号を入力して下さい」といった案内の音声をヘッドフォンに流し、遅延時間Ｘの終了に同期して当該案内を終了するように構成することができる。この場合、ユーザは、案内の終了に合わせて信号入力動作（すなわち、まばたき）を開始することができる。なお、システムの構成によっては、信号入力の開始タイミングの案内を映像や光を用いて行ってもよい。
【００２９】
図９は、信号生成時間が４つのタイムスロットに分割され、各タイムスロットには時間αが割り当てられている例を示す。なお、本実施形態においては、ユーザに、スロット総数と各スロットの割当時間αを事前に教えておくか、そうでない場合は、適切なタイミング提示手段（音声等）を利用してタイムスロットのタイミングをユーザに知らせることが好ましい。この場合、ユーザは、タイムスロットを意識しながら、その間にまばたきをしたりしなかったりすることによって電子機器を制御する。以下、この点につき説明を続ける。
【００３０】
ステップ２０２において、タイムスロットの開始時刻tsがセットされると、ステップ２０３に進み、タイムスロットの開始時刻tsに到達したか否かが判断され（S203）、開始時刻tsに到達するまで処理をループする（S203 No）。開始時刻tsに到達すると（S203 Yes）、ステップ２０４に進み、ユーザのまばたき動作を検出するための判定処理が実行される。先に説明したように、まばたきの際には、正電位のピークに連続して負電位のピークが現れる。したがって、まばたきを検出するためには、少なくともいずれか一方のピークを検出すれば足りる。この点につき、本実施形態のステップ２０４においては、閾値電位Vth(+)に基づいて正電位のピークを監視することによってまばたきを検出している。その他、同様に、負電位のピークを利用してまばたきを検出することもできる。また、検出精度を向上させるため、正電位に続いて負電位のピークが連続して検出されることをまばたき検出の条件としてもよい。
【００３１】
ステップ２０４の判定結果が「Ｙｅｓ」である場合（すなわち、まばたきが検出された場合）、ステップ２０５に進み、スロット番号[ｎ]の判定結果が[１]にセットされる。先のステップ２０１において、ｎ＝１にセットされているので、スロット番号[１]の判定結果が[１]にセットされる。一方、ステップ２０４の判定結果が「Ｎｏ」である場合（すなわち、まばたきが検出されない場合）、第１のタイムスロットの終了時刻に到達したか否かが判断される（S206）。ここで、第１のタイムスロットの終了時刻＝タイムスロットの開始時刻ts＋αとなる。したがって、ステップ２０６においては、現在時刻とタイムスロットの開始時刻ts＋αを比較してタイムスロットの終了時刻に到達したか否かを判断する。タイムスロットの終了時刻に到達していない場合（S206 No）、ステップ２０４に戻って処理をループする。その結果、閾値電位Vth(+)を超える正電位を検出しないまま、タイムスロットの終了時刻に到達した場合には（S206 Yes）、ステップ２０７に進み、スロット番号[１]の判定結果が[０]にセットされる。以上、説明したように、上述した一連の処理により、各スロットにおけるまばたきの有無が２値化される。なお、本実施形態においては、１つのスロットにつき、２回以上のまばたきあった場合も判定結果は[１]となることを理解されたい。
【００３２】
ステップ２０５またはステップ２０７のいずれか一方が終了すると、処理はステップ２０８に進み、スロット番号[ｎ]の値がタイムスロットの総数（＝４）であるか否かが判断される。このとき、ｎ＝１なので（S208 No）、ステップ２０９に進み、スロット番号[ｎ]の値がインクリメントされた後、次のタイムスロット（第２のタイムスロット）の開始時刻tsをセットする（S210）。第２のタイムスロットの開始時刻ts（＝第１のタイムスロットの開始時刻ts＋α）がセットされると、処理は、ステップ２０３に戻り、上述した一連の処理をループする。そして、第４のタイムスロットの判定結果がセットされると（S205またはS207）、ステップ２０８において、スロット番号[ｎ]の値が「４」であるか否かが判断される。この場合、ｎ＝４なので（S208 Yes）、処理はループから脱出してステップ２１１に進む。ステップ２１１においては、第１〜第４の各スロットについてセットされた判定結果に基づいて、２値データを生成する。
【００３３】
信号生成時間において、図１０の筋電図が示すような筋電位が取得された場合、スロット番号[１]〜[４]の判定結果は、それぞれ、[１]、[１]、[０]、[１]となる。これらの全判定結果をスロット番号で昇順にソートすることによって、２値データ[１１０１]が生成される。
【００３４】
なお、上述した実施形態においては、信号生成時間を４つのタイムスロットに分割する構成に基づいて説明したが、本発明は、当然にしてこれに限定されるものではなく、用途に合わせて適切なタイムスロット数を設定することができる。信号生成時間をｎ個のタイムスロットに分割した場合は、２ｎ種類の２値データを定義できることが理解されよう。以上、信号生成装置１０の信号生成部１４が実行する処理について説明してきたが、次に、入力内容提示部２２、入力内容確定部２６、および制御コマンド出力部２８が実行する処理について、以下、具体的に説明する。
【００３５】
信号生成部１４によって２値データが生成されると(S211)、処理は、図７に示すステップ３０１に進む。ステップ３０１においては、まず、入力内容確定部２６が後述するまばたきカウンタＮの値を「０」にセットする。続いて、ステップ３０２において、入力した内容をユーザに確認させるための時間（以下、確認時間として参照する）を定義する。具体的には、先のステップ２０６で比較に用いた最終スロットの終了時刻ts＋αに適切な遅延時間Ｙを加えたものを確認時間の開始時刻tCSとしてセットする。
【００３６】
ここで、ステップ３０２で加算する遅延時間Ｙは、ユーザのまばたきに基づいて生成された２値データに対応する入力内容をユーザに認知させた後、その是非を判断するのに要する適切な時間を定義することが好ましく、例えば、約1 秒とすることができる。本実施形態においては、この遅延時間Ｙを利用して、入力内容提示部２２が先のステップ２１１で生成された２値データに対応する入力内容をユーザに提示する（S303）。具体的には、生成された２値データをキーとして予め用意された対応テーブル２４（図２参照）を照会することによって、対応する入力内容を取得する。図１１は、テレビ用の対応テーブル２４を例示する。対応テーブル２４は、２値データを格納するためのフィールド５０１、入力内容を格納するためのフィールド５０２、制御コマンドを格納するためのフィールド５０３を備えており、各入力内容とこれに対応するテレビの制御コマンドが２値データに紐付けられて管理されている。
【００３７】
例えば、先のステップ２１１で生成された２値データが[０１００]であった場合、ステップ３０３において、「『６ｃｈ』でよろしいですか？」といった内容の音声や画像が提示される。この問いかけに対し、本実施形態においては、ユーザがまばたきによって応答する。すなわち、予め定義された確認時間β内で行われるまばたきの数によって「入力内容確定」、「再入力」および「入力内容キャンセル」を定義する。例えば、図１２（ａ）の筋電図に示すように、確認時間β内に２回まばたきをする動作を「入力内容確定」と定義し、図１２（ｂ）の筋電図に示すように、確認時間β内に３回以上まばたきをする動作を「再入力」と定義することができる。この場合、確認時間βは、３回のまばたきを連続して行うのに要する過不足ない適切な時間を定義することが好ましく、例えば、約1秒とすることができる。また、本実施形態においては、図１２（ｃ）の筋電図に示すように、確認時間β内に１回しかまばたきがなかった場合、または、一度もまばたきがない場合には、誤入力と判断して入力内容をキャンセルする。以下、図１２に示した例に基づいて、説明を続ける。
【００３８】
入力内容提示部２２が入力内容をユーザに提示した後（S303）、処理はステップ３０４に進む。ステップ３０４においては、入力内容確定部２６が確認時間の開始時刻tCSに到達したか否かを判断し、開始時刻tCSに到達するまで処理をループする（S304 No）。開始時刻tCSに到達すると（S304 Yes）、ステップ３０５に進み、筋電位信号受信部１２が受信した筋電位信号の閾値電位Vth(+)を超える正電位に基づいてまばたきを検出する。なお、まばたきの検出は、先に説明したステップ２０４と同様に、負電位のピークを利用することもできるし、正電位に続いて負電位のピークが連続して検出されることをまばたき検出の条件としてもよい。
【００３９】
ステップ３０５において、閾値電位Vth(+)を超える正電位が検出されない場合（S305 No）、処理はステップ３０６に進み、確認時間の終了時刻に到達したか否かが判断される。ここで確認時間が「β」であることから、確認時間の終了時刻＝確認時間の開始時刻tCS＋βとなる。したがって、ステップ３０６においては、現在時刻と確認時間の開始時刻tCS＋βを比較して確認時間の終了時刻に到達したか否かを判断される。
【００４０】
一方、ステップ３０５において、閾値電位Vth(+)を超える正電位が検出された場合（S305 Yes）、処理はステップ３０７に進み、まばたきカウンタ[Ｎ]の値がインクリメントされた後、ステップ３０６において、入力内容確認時間の終了時刻に到達したか否かが判断される。上述した一連の処理は、確認時間の終了時刻に到達するまでループする。その結果、確認時間β内に行われたまばたきの数がまばたきカウンタにセットされる。
【００４１】
確認時間の終了時刻に到達すると、処理はループを脱出してステップ３０８に進む。ステップ３０８においては、まばたきカウンタ[Ｎ]の値が[３]以上であるか否かが判断される。Ｎ≧３の場合は（S308 Yes）、「再入力」と判断し、図６のステップ２１２に進んで、スロット番号ｎの値を「１」にリセットし、ステップ２１３において、現在時刻に適切な遅延時間Ｘを加えたものをタイムスロットの開始時刻tsにリセットした後、ステップ２０３以降の一連の処理を繰り返す。
【００４２】
一方、Ｎ≠３の場合は（S308 No）、ステップ３０９に進む。ステップ３０９においては、まばたきカウンタ[Ｎ]の値が[２]であるか否かが判断される。Ｎ≠２の場合は、（S309 No）、「入力内容キャンセル」と判断され、図５のステップ１０１に戻る。一方、Ｎ＝２の場合は（S309 Yes）、「入力内容確定」と判断し、ステップ３１０に進む。ステップ３１０においては、制御コマンド出力部２８が先のステップ３０３で提示した入力内容に紐付けられた制御コマンドを電子機器（テレビ）に対して出力する。その後、処理は、図５のステップ１０１に戻り、各パラメータが初期化される。各パラメータが初期化された後は、引き続き、上述した一連の処理が繰り返される。
【００４３】
以上、入力内容の確認処理について説明してきたが、本発明においては、入力内容の是非について、ユーザに余裕をもって判断させるために、確認時間βを１０秒程度の長さとすることもできる。この場合、確認時間βとは別に入力時間γを定義する。入力時間γは、最大３回のまばたきを連続して行うのに要する過不足ない時間（例えば、約1 秒）とすることが好ましい。以下、確認時間βを長く取る場合の実施形態について、図１３に示したフローチャートに基づいて具体的に説明する。なお、図１３においては、図７について説明したのと同様の処理については、同じステップ番号を付してその説明を、適宜、省略するものとする。
【００４４】
ステップ３０４において、確認時間の開始時刻tCSに到達したと判断されると（S304 Yes）、ステップ３０５に進み、閾値電位Vth(+)を超える正電位が検出されたか否かが判断される。閾値電位Vth(+)を超える正電位が検出されない場合は（S305 No）、確認時間の終了時刻（＝確認時間の開始時刻tCS＋β）に到達するまで処理はループする（S306 No）。
【００４５】
一方、ステップ３０５において、閾値電位Vth(+)を超える正電位が検出された場合（S305 Yes）、ステップ３１１において、当該正電位の検出時刻tγSがセットされ、まばたきカウンタ[Ｎ]の値が[１]にセットされた後（S312）、処理は、ステップ３１３に進む。ステップ３１３においては、再び、閾値電位Vth(+)を超える正電位が検出されたか否かが判断され、閾値電位Vth(+)を超える正電位が検出されない場合は（S313 No）、最初の正電位の検出時刻tγSから入力時間γが経過するまで処理はループする（S315 No）。
【００４６】
一方、ステップ３１３において、閾値電位Vth(+)を超える正電位が検出された場合（S313 Yes）、ステップ３１４において、まばたきカウンタ[Ｎ]の値がインクリメントされた後、ステップ３１５において、最初の正電位の検出時刻tγSから入力時間γが経過したか否かが判断される。ステップ３１５において、最初の正電位の検出時刻tγSから入力時間γが経過したと判断された場合は（S315 Yes）、ステップ３０８以降の処理に進む。
【００４７】
上述した処理を採用することによって、図１４（ａ）（ｂ）に示すように、ある程度余裕をもった確認時間β（例えば、１０秒）を設けることができ、また、ユーザの連続したまばたき（２回または３回）が検出された時点で、直ちに、確認時間βを終了させて、次の処理に進むことができる。
【００４８】
なお、ユーザが無意識のうちに長く眼瞼を閉じてしまったような場合、装置がこれをトリガ動作と認識し、その結果、ユーザの意図しない信号生成が実行されてしまうことが想定されるが、本実施形態によれば、そのような場合でも、確認時間βの満了を待つことなく、誤入力をキャンセルすることができる。なぜなら、人は、一般に、3〜4秒に1回の割合で身体反応としてのまばたきをすることが知られており、ユーザが信号生成を意図していない場合であっても、確認時間βの満了前に１回のまばたきが検出されることが予想されるからである。つまり、本実施形態によれば、図１４（ｃ）に示すように、確認時間βの満了前に、身体反応としてのまばたきを利用して誤入力をキャンセルすることができる。
【００４９】
以上、説明したように、上述した第１の実施形態は、信号生成時間のスロット毎にまばたきの有無を判断し、その結果を符号化した２値データを制御用データとし、これを電子機器の制御コマンドに紐付ける構成を採用するものであったが、後述する第２の実施形態は、信号生成時間にわたって取得された時系列データとしての筋電位データを制御用データとし、これを電子機器の制御コマンドに紐付ける構成を採用する。以下、本発明の第２の実施形態について説明する。
【００５０】
図１５は、第２の実施形態である電子機器制御装置５０の機能ブロックを示す。なお、図１５においては、図２に示した要素と共通するものについて同じ符号を用い、適宜、その説明を省略するものとする。
【００５１】
電子機器制御装置５０における信号生成部１４においては、図２に示した２値データ生成部１８の代わりに、筋電位信号受信部１２が受信する筋電位信号に基づいて筋電位の時系列データ（以下、筋電位データとして参照する）を生成するための筋電位データ取得部５２を備える。さらに、電子機器制御装置５０は、生成した筋電位データを制御コマンドに紐付けられたテンプレートデータ５６と照合するためのテンプレートマッチング部５４を備える。以下、電子機器制御装置５０が実行する処理について、図５、図１６、図１７に示すフローチャートに基づき、具体的に説明する。
【００５２】
電子機器制御装置５０において、ユーザのトリガ動作を検出するための処理は、図５に示したステップ１０１〜ステップ１０７と同様であるので詳細な説明は省略する。なお、電子機器制御装置５０においては、初期化処理（S101）で後述する筋電位データのテンプレートが読み込まれる。ステップ１０７において、差分時間Ｔが閾値範囲（Ｔmin＜Ｔ＜Ｔmax）にあった場合（S107 Yes）、ループを脱出し、図１６に示すステップ４０１に進む。
【００５３】
ステップ４０１においては、先に説明した図６のステップ２０２の同様の処理を実行して信号生成時間の開始時刻tsを定義する。すなわち、ステップ１０３でセットし正電位の検出時刻t(+)または先のステップ１０５でセットした負電位の検出時刻t(-)の少なくとも一方を基準とし、これに適切な遅延時間Ｘを加えたものを信号生成時間開始時刻tsとして定義する。
【００５４】
ステップ４０１において、信号生成時間開始時刻tsがセットされると、信号生成時間開始時刻tsに到達したか否かが判断され（S402）、開始時刻tsに到達するまで処理をループする（S402 No）。開始時刻tsに到達すると（S402 Yes）、ステップ４０３に進み、筋電位信号受信部１２が受信する筋電位信号に基づいて筋電位データの取得処理を開始する。
【００５５】
ステップ４０３で筋電位データの保存処理が開始されると、ステップ４０４に進み、現在時刻が筋電位データ保存終了時刻に到達したか否かが判断される。仮に、１つのスロットの割当時間＝α、タイムスロット総数＝ｎとした場合、信号生成時間終了時刻＝信号生成時間開始時刻ts＋ｎαとなる。その結果、信号生成時間終了時刻に到達した場合には（S404 Yes）、ステップ４０５に進んで、筋電位データの取得処理を終了し、筋電位データを照合用データとして保存する（S406）。このようにして保存される照合用データの波形は、信号生成時間内にユーザが行ったまばたきの組み合わせに応じて変化する。
【００５６】
続いて、ステップ４０７において、筋電位データ取得部５２が取得した筋電位データとテンプレートとの間でテンプレートマッチング処理を実行し、最も類似するテンプレートを選出する（具体的には、最も類似するテンプレートのＩＤを取得する）。図１８は、本実施形態におけるテンプレートの概念図を示す。図１８は、タイムスロット総数＝４とした場合のテンプレートデータ５６を示す。テンプレートデータ５６には、１６個の制御コマンドに対応する１６種類のテンプレートが登録されており、各テンプレートに対してＩＤが付与されている。テンプレートは、ユーザに事前に信号生成用のまばたき動作を実施させ、その際に取得した筋電位データを基に生成することが好ましい。なお、本実施形態におけるテンプレートマッチングは、ＤＰマッチングに基づく波形認識手法を用いて行うことができる。但し、本実施形態は、これに限定されるものではなく、その他の適切なマッチング手法を用いて行ってもよい。
【００５７】
ステップ４０７において、テンプレートＩＤが取得されると、図１７に示す入力内容の確認処理が実行される。図１７に示す処理のうち、ステップ５０２およびステップ５０３以外の処理は、図７について説明したステップ３０１〜ステップ３１０と共通するので詳細な説明は省略する。本実施形態においては、ステップ５０２において、入力内容をユーザに確認させるための確認時間の開始時刻tCSをセットする。具体的には、先のステップ４０４で比較に用いた信号生成時間終了時刻ts＋ｎαに適切な遅延時間Ｙを加えたものを確認時間開始時刻tCSとしてセットする。
【００５８】
本実施形態においては、この遅延時間Ｙを利用して、入力内容提示部２２が入力された内容をユーザに提示する（S503）。図１９は、テレビ用の対応テーブル２５を例示する。対応テーブル２５は、テンプレートＩＤを格納するためのフィールド５０４、入力内容を格納するためのフィールド５０２、制御コマンドを格納するためのフィールド５０３を備えており、各入力内容とこれに対応するテレビの制御コマンドがテンプレートＩＤに紐付けられて管理されている。ステップ５０３においては、入力内容提示部２２が先のステップ４０７で取得したテンプレートＩＤをキーとして対応テーブル２５を照会し、テンプレートＩＤに対応する入力内容を取得する。
【００５９】
以上、本発明について実施形態をもって説明してきたが、本発明は上述した実施形態に限定されるものではなく、その他、当業者が推考しうる実施態様の範囲内において、本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。
【産業上の利用可能性】
【００６０】
以上、説明したように、本発明によれば、コマンド生成用のまばたきと通常の身体反応としてのまばたきを区別するための追加的構成を必要としない新規な電子機器制御装置が提供される。本発明は、四肢障害者の生活支援の他、ハンズフリーの電子機器操作が要求されるあらゆるシチュエーションにおいて活用されることが期待される。
【符号の説明】
【００６１】
１０…信号生成装置
１２…筋電位信号受信部
１４…信号生成部
１６…信号生成時間定義部
１７…まばたき検出部
１８…２値データ生成部
２０…電子機器制御装置
２２…入力内容提示部
２４,２５…対応テーブル
２６…入力内容確定部
２８…制御コマンド出力部
３０…筋電位検出手段
４０…電子機器
５０…電子機器制御装置
５２…筋電位データ取得部
５４…テンプレートマッチング部
５６…テンプレートデータ
１００…電子機器制御システム
５０１〜５０４…フィールド
【特許請求の範囲】
【請求項１】
眼瞼の開閉動作に伴って生じる筋電位信号を筋電位検出手段から受信する筋電位信号受信部と、
前記筋電位信号に基づいて眼瞼の閉動作に伴って生じる正電位の検出時刻と該眼瞼の開動作に伴って生じる負電位の検出時刻の差分時間が信号生成開始判断のための閾値範囲にあるか否かを判断し、前記差分時間が前記閾値範囲にある場合に、前記正電位の検出時刻または前記負電位の検出時刻の少なくとも一方を基準として信号生成時間を定義する信号生成時間定義部と、
前記信号生成時間において検出された前記正電位または前記負電位の少なくとも一方に基づいてまばたきを検出するまばたき検出部と、
前記信号生成時間におけるまばたきの有無を２値化した２値データを生成する２値データ生成部と
を含む信号生成装置。
【請求項２】
前記信号生成時間がｎ個のタイムスロットからなり、
前記２値データ生成部は、前記タイムスロット毎のまばたきの有無を２値化することによって、最大で２ｎ種類の前記２値データを定義する、
請求項１に記載の信号生成装置。
【請求項３】
請求項１または２に記載の信号生成装置を含む電子機器制御装置であって、
電子機器の入力内容および該入力内容に対応する制御コマンドと前記２値データとを紐付けた対応テーブルと、
前記２値データに紐付けられた前記制御コマンドを前記電子機器に出力する制御コマンド出力部と
を含む、電子機器制御装置。
【請求項４】
前記信号生成装置が前記２値データを生成したことに応答して、該２値データに紐付けられた前記入力内容を提示する入力内容提示部と、
前記信号生成時間の後に定義された確認時間において前記まばたき検出部が検出したまばたきの回数に基づいて前記入力内容を確定する入力内容確定部と
をさらに含む、請求項３に記載の電子機器制御装置。
【請求項５】
前記電子機器毎に固有の前記閾値範囲が定められる、請求項３または４に記載の電子機器制御装置。
【請求項６】
コンピュータに対して、
眼瞼の開閉動作に伴って生じる筋電位信号を筋電位検出手段から受信する機能手段と、
前記筋電位信号に基づいて眼瞼の閉動作に伴って生じる正電位の検出時刻と該眼瞼の開動作に伴って生じる負電位の検出時刻の差分時間が信号生成開始判断のための閾値範囲にあるか否かを判断し、前記差分時間が前記閾値範囲にある場合に、前記正電位の検出時刻または前記負電位の検出時刻の少なくとも一方を基準として信号生成時間を定義する機能手段と、
前記信号生成時間において検出された前記正電位または前記負電位の少なくとも一方に基づいてまばたきを検出する機能手段と、
前記信号生成時間におけるまばたきの有無を２値化した２値データを生成する機能手段と
を実現するためのコンピュータ実行可能なプログラム。
【請求項７】
眼瞼の開閉動作に伴って生じる筋電位信号を筋電位検出手段から受信する筋電位信号受信部と、
前記筋電位信号に基づいて眼瞼の閉動作に伴って生じる正電位の検出時刻と該眼瞼の開動作に伴って生じる負電位の検出時刻の差分時間が信号生成開始判断のための閾値範囲にあるか否かを判断し、前記差分時間が前記閾値範囲にある場合に、前記正電位の検出時刻または前記負電位の検出時刻の少なくとも一方を基準として信号生成時間を定義する信号生成時間定義部と、
前記信号生成時間において検出された前記正電位または前記負電位の少なくとも一方に基づいてまばたきを検出するまばたき検出部と、
前記信号生成時間に受信した前記筋電位信号に基づいてまばたきの組み合わせに伴って生じる筋電位の時系列データである筋電位データを取得する筋電位データ取得部と、
前記筋電位データのテンプレートを含むテンプレートデータと、
電子機器の入力内容および該入力内容に対応する制御コマンドと前記テンプレートとを紐付けた対応テーブルと、
前記テンプレートデータの中から取得された前記筋電位データと最も類似するテンプレートを選出するテンプレートマッチング部と、
選出された前記テンプレートに紐付けられた前記制御コマンドを前記電子機器に出力する制御コマンド出力部と
を含む、電子機器制御装置。
【請求項１】
眼瞼の開閉動作に伴って生じる筋電位信号を筋電位検出手段から受信する筋電位信号受信部と、
前記筋電位信号に基づいて眼瞼の閉動作に伴って生じる正電位の検出時刻と該眼瞼の開動作に伴って生じる負電位の検出時刻の差分時間が信号生成開始判断のための閾値範囲にあるか否かを判断し、前記差分時間が前記閾値範囲にある場合に、前記正電位の検出時刻または前記負電位の検出時刻の少なくとも一方を基準として信号生成時間を定義する信号生成時間定義部と、
前記信号生成時間において検出された前記正電位または前記負電位の少なくとも一方に基づいてまばたきを検出するまばたき検出部と、
前記信号生成時間におけるまばたきの有無を２値化した２値データを生成する２値データ生成部と
を含む信号生成装置。
【請求項２】
前記信号生成時間がｎ個のタイムスロットからなり、
前記２値データ生成部は、前記タイムスロット毎のまばたきの有無を２値化することによって、最大で２ｎ種類の前記２値データを定義する、
請求項１に記載の信号生成装置。
【請求項３】
請求項１または２に記載の信号生成装置を含む電子機器制御装置であって、
電子機器の入力内容および該入力内容に対応する制御コマンドと前記２値データとを紐付けた対応テーブルと、
前記２値データに紐付けられた前記制御コマンドを前記電子機器に出力する制御コマンド出力部と
を含む、電子機器制御装置。
【請求項４】
前記信号生成装置が前記２値データを生成したことに応答して、該２値データに紐付けられた前記入力内容を提示する入力内容提示部と、
前記信号生成時間の後に定義された確認時間において前記まばたき検出部が検出したまばたきの回数に基づいて前記入力内容を確定する入力内容確定部と
をさらに含む、請求項３に記載の電子機器制御装置。
【請求項５】
前記電子機器毎に固有の前記閾値範囲が定められる、請求項３または４に記載の電子機器制御装置。
【請求項６】
コンピュータに対して、
眼瞼の開閉動作に伴って生じる筋電位信号を筋電位検出手段から受信する機能手段と、
前記筋電位信号に基づいて眼瞼の閉動作に伴って生じる正電位の検出時刻と該眼瞼の開動作に伴って生じる負電位の検出時刻の差分時間が信号生成開始判断のための閾値範囲にあるか否かを判断し、前記差分時間が前記閾値範囲にある場合に、前記正電位の検出時刻または前記負電位の検出時刻の少なくとも一方を基準として信号生成時間を定義する機能手段と、
前記信号生成時間において検出された前記正電位または前記負電位の少なくとも一方に基づいてまばたきを検出する機能手段と、
前記信号生成時間におけるまばたきの有無を２値化した２値データを生成する機能手段と
を実現するためのコンピュータ実行可能なプログラム。
【請求項７】
眼瞼の開閉動作に伴って生じる筋電位信号を筋電位検出手段から受信する筋電位信号受信部と、
前記筋電位信号に基づいて眼瞼の閉動作に伴って生じる正電位の検出時刻と該眼瞼の開動作に伴って生じる負電位の検出時刻の差分時間が信号生成開始判断のための閾値範囲にあるか否かを判断し、前記差分時間が前記閾値範囲にある場合に、前記正電位の検出時刻または前記負電位の検出時刻の少なくとも一方を基準として信号生成時間を定義する信号生成時間定義部と、
前記信号生成時間において検出された前記正電位または前記負電位の少なくとも一方に基づいてまばたきを検出するまばたき検出部と、
前記信号生成時間に受信した前記筋電位信号に基づいてまばたきの組み合わせに伴って生じる筋電位の時系列データである筋電位データを取得する筋電位データ取得部と、
前記筋電位データのテンプレートを含むテンプレートデータと、
電子機器の入力内容および該入力内容に対応する制御コマンドと前記テンプレートとを紐付けた対応テーブルと、
前記テンプレートデータの中から取得された前記筋電位データと最も類似するテンプレートを選出するテンプレートマッチング部と、
選出された前記テンプレートに紐付けられた前記制御コマンドを前記電子機器に出力する制御コマンド出力部と
を含む、電子機器制御装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２０１２−２４７９７５（Ｐ２０１２−２４７９７５Ａ）
【公開日】平成２４年１２月１３日（２０１２．１２．１３）
【国際特許分類】
【出願番号】特願２０１１−１１８８８５（Ｐ２０１１−１１８８８５）
【出願日】平成２３年５月２７日（２０１１．５．２７）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り ２０１０年１２月１５日、社団法人電子情報通信学会ヒューマンコミュニケーショングループ発行の、ＨＣＧシンポジウム２０１０論文集にて発表 該当ページ ２９３−２９８ページ ２０１１年２月２８日、社団法人電子情報通信学会発行の、ＥｉＣ電子情報通信学会２０１１年総合大会講演論文集にて発表 該当ページ ２２７ページ
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕｅｔｏｏｔｈ
【出願人】（３９１０２２６１４）学校法人幾徳学園 (19)
【Ｆターム（参考）】
【公開日】平成２４年１２月１３日（２０１２．１２．１３）
【国際特許分類】
【出願日】平成２３年５月２７日（２０１１．５．２７）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り ２０１０年１２月１５日、社団法人電子情報通信学会ヒューマンコミュニケーショングループ発行の、ＨＣＧシンポジウム２０１０論文集にて発表 該当ページ ２９３−２９８ページ ２０１１年２月２８日、社団法人電子情報通信学会発行の、ＥｉＣ電子情報通信学会２０１１年総合大会講演論文集にて発表 該当ページ ２２７ページ
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕｅｔｏｏｔｈ
【出願人】（３９１０２２６１４）学校法人幾徳学園 (19)
【Ｆターム（参考）】
[ Back to top ]