説明

キーボードレス入力装置とその方法及びこの方法の実行プログラムとその記録媒体

【課題】 音声入力やタッチパネル入力等のキーボードレス入力においてデータ入力を容易にし、かつ音声入力での誤認識を減少させる。
【解決手段】 ファイル読込部2はインタフェース情報が記述されたインタフェース情報ファイル1を読み込む。インタフェース表示部4は、データ解析されたインタフェース情報に従って、ユーザから入力項目の指定が可能なボタンを配置した基本インタフェースを表示する。ユーザが入力項目を指定すると、補助インタフェース表示部5は、該インタフェース情報に従って入力項目のデータ形式に対応した補助インタフェースを表示する。この補助インタフェース上に選択候補を表示したり、英数字や数値を表す誤認識を減少させるキャプションの書かれたボタンを表示したりして、これらを読み上げたりタッチしたりするユーザ操作によって、データ入力を可能とする。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、音声入力において誤認識を減少させ、的確な数字、文字及び単語等を入力するための補助インタフェースを具備し、かつ適切な補助インタフェースの設定や提示が容易に可能であり、また音声入力だけでなくタッチパネル方式の入力等も包含したキーボードレス入力インタフェース技術に関するものである。
【背景技術】
【0002】
従来のコンピュータや生産機械におけるデータ入力インタフェースの大多数はキーボードあるいはマウスを用いた入力を前提としたものである。しかし、これら入力手法はキーボード等の物理インタフェースに習熟する必要がある。また、屋外等において両手で行わなければならない作業では、作業遂行中にキーボード入力を行うことは極めて困難である。さらに、屋外作業では手袋を着用することも多く、そのような状態でキーボードを扱うことは容易ではない。このように、キーボードによるデータ入力は習熟が必要であり、作業遂行中のデータ入力に向かないといった欠点を有していた。
【0003】
ところで、産業界における機器保守等のオフィス外作業では、キーボードレスで端末を操作し、電子マニュアル閲覧や作業記録収集等の作業(オペレーション)を実行可能なシステムが強く要求されている。キーボードレス操作を実現する有力な入力手段としては音声入力がある。音声入力は、キーボード入力と比較するとデバイスヘの習熟の必要性は低いという利点がある。
【0004】
音声による入力方法とキーボード等による入力方法と比較すると、音声による入力は練習の必要が無い簡易な手法である。従来の音声を用いた入力方法としては、ディクテーションと呼ばれる、ユーザが発声した音声をそのままテキスト化する手法が一般的である。
【発明の開示】
【発明が解決しようとする課題】
【0005】
しかしながら、ユーザが発声した音声をそのままテキスト化するディクテーションでは、誤認識による入力ミスも多い。さらに、入力後のデータの修正、変更を音声を使って行うのは非常に困難であり、ユーザにとって大きな負担となっていた。故に、音声を入力手段とする場合には誤認識をなくし、的確にデータ入力可能とする工夫が必要となる。
【0006】
また、ディクテーションにおいて数字入力や英字入力を切り替える場合、一般的にモード切り替え操作をユーザが行う必要がある。例えば、数字を入力する場合には、「数字モード」と発声してモードを切り替えて音声入力する方法が一般的である。しかし、この方法だと上記の例の「数字モード」という単語のように、ユーザがモード切り替えのための特別な単語を覚える必要がある。そこで、ユーザがデータ入力を行う場合には、モードを意識しなくても入力可能な機能が必要となる。
【0007】
以上のとおり、従来の技術では、キーボードによるデータ入力は習熟が必要であり、ハンズフリー作業に適したものではないという欠点があった。また、ディクテーションによる音声入力技術では誤認識が多い、入力内容の変更が容易ではない、入力モード切り替えが煩雑である、という欠点があった。
【0008】
本発明はこれらの問題点を解決し、キーボードレス入力、例えば音声入力やタッチパネル入力において容易にデータ入力可能であり、かつ音声入力において問題となる誤認識を減少させる仕組みを具備し、さらに入力項目のデータ形式に応じた補助インタフェースを提示するキーボードレス入力インタフェースを提供することにある。
【課題を解決するための手段】
【0009】
上記の課題を解決するため本発明によるキーボードレス入力装置では、インタフェース情報が記述されたインタフェース情報ファイルを読み込む読み込み手段と、ユーザから入力項目の指定が入力可能な基本インタフェースをユーザに提示する基本インタフェース手段と、該読み込んだインタフェース情報ファイルのインタフェース情報に従って該ユーザが指定した入力項目のデータ形式に対応した入力用の補助インタフェースを該ユーザに提示しデータ入力を可能とする補助インタフェース手段と、該基本インタフェース及び該補助インタフェースに対してキーボードレス入力を行う入力手段とを備えることを特徴とするキーボードレス入力装置で、インタフェース情報ファイルは、基本インタフェースに表示すべき内容と、基本インタフェースが操作された後に表示する補助インタフェースの入力項目のデータ形式として少なくとも選択入力、英数字入力、及び数値入力の1以上と、該各々の補助インタフェースに表示すべき内容と、該各々の補助インタフェースに入力された結果とを記述したものであり、補助インタフェース手段は、補助インタフェースとして、少なくとも該入力に対応した選択入力用インタフェース、英数字入力用インタフェース、及び数値入力用インタフェースのいずれかを、該インタフェース情報ファイルに記載されている入力項目のデータ形式および表示すべき内容に対応して提示し、入力されたデータを該インタフェース情報ファイルに書き込むことを特徴とする。
【0010】
また、本発明によるキーボードレス入力方法は、インタフェース情報が記述されたインタフェース情報ファイルを読み込む第1の手順と、ユーザから入力項目の指定が入力可能な基本インタフェースをユーザに提示する第2の手順と、該基本インタフェースに対してキーボードレス入力を行う第3の手順と、該読み込んだインタフェース情報ファイルのインタフェース情報に従って該ユーザが指定した入力項目のデータ形式に対応した入力用の補助インタフェースを該ユーザに提示しデータ入力を可能とする第4の手順と、該補助インタフェースに対してキーボードレス入力を行う第5の手順とを有することを特徴とするキーボードレス入力方法で、インタフェース情報ファイルには、基本インタフェースに表示すべき内容と、基本インタフェースが操作された後に表示する補助インタフェースの入力項目のデータ形式として少なくとも選択入力、英数字入力、及び数値入力の1以上と、該各々の補助インタフェースに表示すべき内容と、該各々の補助インタフェースに入力された結果とが記述され、第4の手順では、補助インタフェースとして、少なくとも該入力に対応した選択入力用インタフェース、英数字入力用インタフェース、及び数値入力用インタフェースのいずれかを該インタフェース情報ファイルに記載されている入力項目のデータ形式および表示すべき内容に対応して提示し、入力されたデータを該インタフェース情報ファイルに書き込むことを特徴とする。
【0011】
あるいは、上記のキーボードレス入力方法における手順をコンピュータに実行させるためのプログラムとしたことを特徴とする。
【0012】
さらには、上記のキーボードレス入力方法の実行プログラムを、コンピュータが読み取り可能な記録媒体に記録したことを特徴とする。
【0013】
音声入力は、キーボード入力と比較するとデバイスヘの習熟の必要性は低い反面、発声による疲労度が高いために、反復入力の回数を少なくするなど、キーボード入力を想定したインタフェースとは別の工夫が必要となる。特に以下の機能が必須と考えられる。
・数値やアルファベットの入力に関しては誤認識を低減させる入力手段又は入力手順
・入力データをできるだけ少ないコマンドで設定するための入力手段又は入力手順
そこで本発明では、ユーザがデータ入力を行う際に、キーボードレス用の補助インタフェースを提示して音声入力やタッチパネル入力等のキーボードレス入力を行えるようにした。また、インタフェースの開発者が容易に設計可能なようにした。例えば、入力データが数字、英数字、あるいはリスト候補から選択する形式のいずれかであるとする。開発者がそれらの入力方法をインタフェース情報ファイルに記述すれば、システムがインタフェース情報ファイルを読み込み、その記述された入力方法に即して音声入力時の誤認識によるデータ入力誤りを低減可能な補助インタフェースをユーザに提示する。例えば、補助インタフェース上に選択候補を表示したり誤認識を低減させる英数字等を表すキャプションが書かれたボタンを表示したりして、これらを読み上げたり、タッチしたりすることでデータ入力を可能とする。また、読み上げたり、タッチしたりすることで選択候補間を移動可能とする。同様に、入力項目や入力データの設定もインタフェース画面に表示されたボタンの読み上げ入力やタッチ入力によって、特に入力モードやコマンドを表す単語等を覚える必要なしに容易に可能とする。
【0014】
以上により本発明は、キーボードレスによるデータ入力手段として、音声入力やタッチパネル入力のための補助インタフェースを提供するとともに、入力するデータ形式に応じた補助インタフェースを容易に設定可能とし、音声入力時等の誤認識によるデータ入力誤りを低減可能として、キーボードレス入力手段の的確なデータ投入の困難さという課題を克服する。
【0015】
従来技術とは、キーボードレスな入力手法であり、補助インタフェースを提示することで音声によるデータ入力時の誤認識を低減させ、簡易なデータ入力手段を実現するという点が異なる。
【発明の効果】
【0016】
以上説明したように、本発明によれば、ハンズフリー操作を必須とする作業者に誤認識が少ない音声入力用の補助インタフェースを提示することで、音声による容易なデータ入力を実現できる。これらは、またタッチパネル方式等の他のキーボードレス入力方式としても使用可能である。また、開発側から見ると、インタフェース情報をファイルに記述することにより、様々な入力データ形式に応じた補助インタフェースを提示可能であることから、容易にキーボードレス入力インタフェースを構築可能であるという利点がある。
【発明を実施するための最良の形態】
【0017】
以下、本発明の実施の形態について図を用いて詳細に説明する。
【0018】
図1に本発明による一実施形態例の基本的な構成を示す。図1における構成部分は、本発明を構成する手段の一部もしくは全部を構成する。
【0019】
図1において、インタフェース情報ファイル1には各入力項目と、その入力項目のデータ種別が書かれている。具体的には、インタフェース情報ファイル1は拡張性が高く、容易に編集可能であるXML形式で記述してある。図2にその記述例を示す。
【0020】
図2に示したインタフェース情報ファイル1の各要素について以下に示す。
・<Dialog>要素
基本インタフェースを示す。Name属性は表示される基本インタフェースのタイトルバーに表示される名前を示す。この要素に他の属性を付加すれば、例えば基本インタフェースの大きさや項目を並べる方向等も変更可能である。
・<Item>要素
基本インタフェース上に表示される項目を示す。
・<InputMethod>要素
項目に応じた入力データ形式を示す。この要素の内容から表示されるキーボードレス入力用の補助インタフェースが決定される。要素の内容としてはSelection,Alphabet,Numberがあり、図3、図4、図5に対応する。
・<InputElement>要素
<InputMethod>がSelectionの場合の選択候補を示す。
・<InputResult>要素
ユーザにより入力されたデータを示す。
【0021】
図1において、ファイル読込部2は上記インタフェース情報ファイル1を取得する。この取得したインタフェース情報ファイル1をデータ解析部3で解析し、インタフェース表示部4で基本インタフェースを表示する。
【0022】
図3にインタフェース表示部4で表示される基本インタフェースの画面例を示す。現在の一般的な市販音声認識ソフトはGUIのボタン、あるいはリストボックス等のキャプション等を読み取り、認識対象とする。それゆえ、「項目名*」と書かれている部分はボタンになっており、音声認識ソフトにより認識可能としている。
【0023】
ユーザが「項目名*」ボタンを音声で指定するユーザ操作を行うと、補助インタフェース表示部5はインタフェース情報ファイル1に記載された入力方法(<InputMethod>要素の内容)を参照し、キーボードレス入力用の補助インタフェースを表示する。
【0024】
補助インタフェースには、
・入力候補が固定的な選択入力用インタフェース(<InputMethod>要素がSelectionの場合)
・英数字入力用インタフェース(<InputMethod>要素がAlphabetの場合)
・数値入力用インタフェース(<InputMethod>要素がNumberの場合)の3種類がある。
【0025】
図4にデータ入力候補が決まっている場合の、選択入力用インタフェースの画面例を示す。テキストボックス内の選択候補を直接読み上げるユーザ操作を行うことで候補選択可能である。また、誤認識で直接読み上げによる選択が困難であったり、選択候補が長い文章であったりする場合を考慮して、選択候補間を移動するためのボタンも右側に用意した。このボタンキャプションは少ない回数の音声操作で候補選択可能となるように決定した。
【0026】
また、図5に英数字入力用インタフェースの画面例を、図6に数値入力用インタフェースの画面例を示す。各補助インタフェースとも音声入力を考慮しており、ボタンキャプションに認識対象となる文字列が表記されている。図5、図6の例では、数値を単独で音声認識することは困難であり誤認識する割合が高いことから、音声認識ソフトで設定されている数値の読み方をキャプションとするボタン群を配置した。また、アルファベットの単独入力も誤認識する割合が高い。そこで、図5では、アルファベットの入力用にフォネティックコードをキャプションとするボタン群を配置した。図5、図6に示すように、数字、英数字を入力するためのフォネティックコード等は、ボタンキャプションという形でユーザに提示される。このため、ユーザがこれらを暗記する必要は無く、画面を見て簡易にデータ入力可能である。
【0027】
以上のように、これら補助インタフェースには音声入力において誤認識を低減するキャプションがつけられたボタンが配置されており、音声入力によるユーザ操作時に特別な単語を暗記する必要も無い。これらは他のキーボードレス入力手法であるタッチパネル方式の入力においても利用でき、ボタンに触れることでデータ入力可能である。入力データ格納部6では、ユーザが補助インタフェースを用いて入力したデータをインタフェース情報ファイル1の<InputResult>要素の中身として格納する。
【0028】
図7に、本発明による一実施形態例の具体的な構成を示す。図1における構成部分は、本発明を構成する手段の一部もしくは全部を構成するものである。
【0029】
図7による構成と図1による構成を比較すると、アプリケーション2がファイル読込部2の機能を、XMLパーサ3がデータ解析部3の機能を、インタフェース制御部4が基本インタフェースを表示するインタフェース表示部4の機能を、それぞれ有する。また、補助インタフェース表示部5、入力データ格納部6は同様のものである。
【0030】
図7において、補助インタフェース表示部5は、選択入力用インタフェースを表示する選択入力用インタフェース部5a、数値入力用インタフェースを表示する数値入力用インタフェース部5b、及び英数字入力用インタフェースを表示する英数字入力用インタフェース部5cを有する。これらの選択入力用インタフェース、数値入力用インタフェース、及び英数字入力用インタフェースは、インタフェース制御部4からの基本インタフェースと同様に出力制御部11によりドライバ12を介してモニタ16に表示される。
【0031】
また、音声入力は、マイク14で音声信号に変換されドライバ7を介して入力されて音声認識エンジン8で文字データとして認識される。認識された文字データは入力制御部10によりインタフェース制御部4の基本インタフェースや補助インタフェース表示部5の各入力用インタフェースを制御できるようになっている。入力制御10には、ドライバ9を介してタッチパネルや補助的なマウス、キーボード等の他の入力機器15も接続されており、これらからも同様に上記の各インタフェースを制御できるようになっている。
【0032】
以上の1〜12の構成部分は、パーソナルコンピュータ(PC)13等のコンピュータにより構成することができる。
【0033】
図8に、上記実施形態例での処理フローを示す。
【0034】
まず、アプリケーション2でインタフェース情報ファイル(XMLファイル)
1を読み込んでXMLパーサ3で解析し、インタフェース制御部4によりモニタ16に基本インタフェースを表示する。
【0035】
次に、マイク14を通して入力されたユーザの音声入力により、基本インタフェースにおいて入力項目ボタンの選択があった場合において、インタフェース情報ファイルにおける選択項目の<InputMethod>の内容がSelectionであれば、選択入力用インタフェース部5aにより選択入力用インタフェースをモニタ16に表示する。同様に、その内容がNumberであれば、数値入力用インタフェース部5bにより数値入力用インタフェースを表示し、Alphabetであれば、英数字入力用インタフェース部5cにより英数字入力用インタフェースを表示する。
【0036】
次に、モニタ16に表示されている入力用インタフェースにおいて、表示された選択候補ボタンに対する発声入力等があった場合には、その選択候補に対応するデータの入力結果を表示し、続いて入力終了(確定)のコマンドボタンが同様に入力されれば前記の入力を確定して補助インタフェースを終了し、基本インタフェースにその入力結果を反映する。
【0037】
次に、基本インタフェースにおいて入力終了のコマンドボタンの指示入力がなされた場合には、入力データ格納部6により、<InputResult>に入力結果反映し、別名で保存して処理を終了する。
【0038】
図9に、上記実施形態例によるモニタ16の画面の遷移例を示す。
【0039】
まず、インタフェース情報ファイル(XMLファイル)が取得されると、このファイルに従って基本インタフェースが表示される。
【0040】
続いて、この基本インタフェース上の「項目名2」のボタンを音声入力等により押すと、<Item Name=“項目名2”>の下の<InputMethod>の内容がNumberであることから、数値入力用インタフェースが表示される。ユーザは「数字の…」ボタンを音声入力等により押して数値入力を行い、「入力終了」ボタンを音声入力等により押して、入力値を確定する。
【0041】
続いて、数値入力用インタフェースが消えて、基本インタフェース上の「項目名2」のテキストエリアに数値入力用インタフェースで入力した数値が反映される。この基本インタフェースで「OK」ボタンを音声入力等により押すとXMLファイルの<Item Name=“項目名2”>の下の<InputResult>に入力値が反映される。
【0042】
以上の実施形態例においては、選択候補、アルファベット、及び数値の入力について説明したが、平仮名や片仮名、あるいは記号等の種々の文字についても同様に入力可能であることは言うまでもない。
【0043】
なお、図1や図7で示したキーボードレス装置における各部の一部もしくは全部での機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、あるいは、図8で示した処理の手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラム、あるいは、コンピュータにその処理手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、FD(フロッピーディスク(登録商標))や、MO、ROM、メモリカード、CD、DVD、リムーバブルディスクなどに記録して、保存したり、提供したりすることが可能である。また、本発明による上記のプログラムはインターネットや電子メール等によりネットワークを通して配布することが可能である。
【図面の簡単な説明】
【0044】
【図1】本発明による一実施形態例の基本的な構成を示す図である。
【図2】本発明のインタフェース情報ファイルの記述例を示す図である。
【図3】本発明のデータ入力のための基本インタフェースの画面例を示す図である。
【図4】本発明の選択入力のための補助インタフェースの画面例を示す図である。
【図5】本発明の英数字入力のための補助インタフェースの画面例を示す図である。
【図6】本発明の数字入力のための補助インタフェースの画面例を示す図である。
【図7】本発明による一実施形態例の具体的な構成を示す図である。
【図8】図7の構成の実施形態例での処理フローを示す図である。
【図9】本発明の実施形態例における画面遷移例を示す図である。
【符号の説明】
【0045】
1…インタフェース情報ファイル
2…ファイル読込部、アプリケーション
3…データ解析部、XMLパーサ
4…インタフェース表示部、インタフェース制御部
5…補助インタフェース表示部
5a…選択入力用インタフェース部
5b…数値入力用インタフェース部
5c…英数字入力用インタフェース部
6…入力データ格納部
7,9,12…ドライバ
8…音声認識エンジン
10…入力制御部
11…出力制御部
13…パーソナルコンピュータ
14…マイク
15…他の入力機器
16…モニタ

【特許請求の範囲】
【請求項1】
インタフェース情報が記述されたインタフェース情報ファイルを読み込む読み込み手段と、
ユーザから入力項目の指定が入力可能な基本インタフェースをユーザに提示する基本インタフェース手段と、
該読み込んだインタフェース情報ファイルのインタフェース情報に従って該ユーザが指定した入力項目のデータ形式に対応した入力用の補助インタフェースを該ユーザに提示しデータ入力を可能とする補助インタフェース手段と、
該基本インタフェース及び該補助インタフェースに対してキーボードレス入力を行う入力手段と
を備えることを特徴とするキーボードレス入力装置で、
インタフェース情報ファイルは、基本インタフェースに表示すべき内容と、
基本インタフェースが操作された後に表示する補助インタフェースの入力項目のデータ形式として少なくとも選択入力、英数字入力、及び数値入力の1以上と、該各々の補助インタフェースに表示すべき内容と、該各々の補助インタフェースに入力された結果とを記述したものであり、
補助インタフェース手段は、補助インタフェースとして、少なくとも該入力に対応した選択入力用インタフェース、英数字入力用インタフェース、及び数値入力用インタフェースのいずれかを、該インタフェース情報ファイルに記載されている入力項目のデータ形式および補助インタフェースに表示すべき内容に対応して提示し、入力されたデータを該インタフェース情報ファイルに書き込むこと
を特徴とするキーボードレス入力装置。
【請求項2】
インタフェース情報が記述されたインタフェース情報ファイルを読み込む第1の手順と、
ユーザから入力項目の指定が入力可能な基本インタフェースをユーザに提示する第2の手順と、
該基本インタフェースに対してキーボードレス入力を行う第3の手順と、
該読み込んだインタフェース情報ファイルのインタフェース情報に従って該ユーザが指定した入力項目のデータ形式に対応した入力用の補助インタフェースを該ユーザに提示しデータ入力を可能とする第4の手順と、
該補助インタフェースに対してキーボードレス入力を行う第5の手順と
を有することを特徴とするキーボードレス入力方法で、
インタフェース情報ファイルには、基本インタフェースに表示すべき内容と、
基本インタフェースが操作された後に表示する補助インタフェースの入力項目のデータ形式として少なくとも選択入力、英数字入力、及び数値入力の1以上と、該各々の補助インタフェースに表示すべき内容と、該各々の補助インタフェースに入力された結果とが記述され、
第4の手順では、補助インタフェースとして、少なくとも該入力に対応した選択入力用インタフェース、英数字入力用インタフェース、及び数値入力用インタフェースのいずれかを該インタフェース情報ファイルに記載されている入力項目のデータ形式および表示すべき内容に対応して提示し、入力されたデータを該インタフェース情報ファイルに書き込むこと
を特徴とするキーボードレス入力方法。
【請求項3】
請求項2に記載のキーボードレス入力方法における手順をコンピュータに実行させるためのプログラムとしたことを特徴とするキーボードレス入力方法の実行プログラム。
【請求項4】
請求項3に記載のキーボードレス入力方法の実行プログラムを、コンピュータが読み取り可能な記録媒体に記録したことを特徴とするキーボードレス入力方法の実行プログラムを記録した記録媒体。


【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate


【公開番号】特開2007−66318(P2007−66318A)
【公開日】平成19年3月15日(2007.3.15)
【国際特許分類】
【出願番号】特願2006−265713(P2006−265713)
【出願日】平成18年9月28日(2006.9.28)
【分割の表示】特願2001−131117(P2001−131117)の分割
【原出願日】平成13年4月27日(2001.4.27)
【出願人】(000004226)日本電信電話株式会社 (13,992)
【Fターム(参考)】