ハンドヘルド携帯装置のための音声入力メソッド・エディタのアーキテクチャ
【課題】 携帯情報端末などのハンドヘルド携帯装置に用いる音声入力メソッド・エディタのためのアーキテクチャ及び方法を提供する。
【解決手段】 音声入力メソッド・エディタは、少なくともマイクロフォン状態／トグル・ボタン（１０４）を有する音声ツールバー（１０２）を含むことができる。音声入力メソッド・エディタはまた、口述テキストがターゲット・アプリケーションに転送されるまで一時的口述ターゲットとして用いられる選択可能な口述ウィンドウ領域（１０８）と、口述された単語を訂正するための代替候補リスト（１２０）、アルファベット（１１４）、スペースバー（１１６）、スペル・モード・リマインダ（１１８）、又は仮想キーボード（１２２）のうちの少なくとも１つを有する選択可能な訂正ウィンドウ領域（１１２）とを含むことができる。音声入力メソッド・エディタは、選択可能な訂正ウィンドウ領域を使用し、かつ、口述テキストをターゲット・アプリケーションに転送している間、作動状態のままとすることができる。音声入力メソッド・エディタはさらに、音声入力メソッド・エディタを使用している間、口述ウィンドウ領域又はターゲット・アプリケーションの少なくとも１つにおいて非音声編集を可能にするのに用いられる代替入力メソッド・エディタ・ウィンドウ（１１２ｂ）を含むことができる。
【解決手段】 音声入力メソッド・エディタは、少なくともマイクロフォン状態／トグル・ボタン（１０４）を有する音声ツールバー（１０２）を含むことができる。音声入力メソッド・エディタはまた、口述テキストがターゲット・アプリケーションに転送されるまで一時的口述ターゲットとして用いられる選択可能な口述ウィンドウ領域（１０８）と、口述された単語を訂正するための代替候補リスト（１２０）、アルファベット（１１４）、スペースバー（１１６）、スペル・モード・リマインダ（１１８）、又は仮想キーボード（１２２）のうちの少なくとも１つを有する選択可能な訂正ウィンドウ領域（１１２）とを含むことができる。音声入力メソッド・エディタは、選択可能な訂正ウィンドウ領域を使用し、かつ、口述テキストをターゲット・アプリケーションに転送している間、作動状態のままとすることができる。音声入力メソッド・エディタはさらに、音声入力メソッド・エディタを使用している間、口述ウィンドウ領域又はターゲット・アプリケーションの少なくとも１つにおいて非音声編集を可能にするのに用いられる代替入力メソッド・エディタ・ウィンドウ（１１２ｂ）を含むことができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声認識の分野に関し、より具体的には、音声認識入力メソッド、並びに、ハンドヘルド携帯装置上の他の入力メソッド及び編集機能との対話に関する。
【背景技術】
【０００２】
ここ数年におけるハンドヘルド装置の急増は、これらの小型で携帯用の装置との対話に関する新たな非視覚的方法の創出を後押しする要因となっている。音声認識技術は、これらのタイプの装置にとって理想的なものである。小さな形状、及びデータ中心の使用は、あらゆる企業にとって、ユーザのポータブル・アプリケーションのデータ入力、データ・アクセス、及び全体制御を容易にする大きな機会を創出する。
【０００３】
今日販売されるほとんどのハンドヘルド携帯情報端末（ＰＤＡ）には、幾つかの異なるデータ入力方法が含まれる。しかしながら、それらはすべて、仮想小型キーボードへのタッチ、手書き、又は、（Ｇｒａｆｆｉｔｉなどの）ブロック認識のためのスタイラスの使用に頼るものである。ＰＤＡで利用可能なほとんどの手書き認識技術は、精度が低く、ユーザの特殊な手書きスタイルに適応させることができない。小型キーボード方法は、より正確であるが、長く複雑な覚え書き及び思考を記録するために用いるには扱いにくい。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
現在の音声認識技術は、こうしたハンドヘルド装置に適したものであると思われるが、既存のシステムは、主としてテキストをアプリケーションに転送するために設計されており、ターゲット・フィールド又はターゲット・アプリケーションからの状態情報を、入力マネージャ及び入力メソッド・エディタのためのインターフェースを介して転送することを可能にするものではない。さらに、音声入力メソッド・エディタ及び他の入力メソッド・エディタは、現在のところ、こうしたエディタ内でテキストを柔軟に管理するようには設計されていない。したがって、上述の欠点を克服する、携帯情報端末などのハンドヘルド携帯装置に用いる音声入力メソッド・エディタのためのアーキテクチャ及び方法が必要とされる。
【課題を解決するための手段】
【０００５】
本発明に係る実施形態は、ユーザが他の入力メソッド・エディタ（ＩＭＥ）を用いてデータを入力できるいかなる場所でもテキスト・データを入力することを可能にする音声認識技術を使用する。こうした実施形態は、音声ＩＭＥにおける代替入力メソッドとして他の（既に利用可能な）ＩＭＥの使用を可能にする高レベル設計、ユーザ・モデル、及び対話論理に焦点を当てる。
【０００６】
本発明の第１の実施形態においては、ハンドヘルド携帯装置のための音声入力メソッド・エディタのアーキテクチャは、口述領域ウィンドウを含むグラフィカル・ユーザ・インターフェースと、口述領域ウィンドウにおいて口述テキストを追加し、編集するための音声入力メソッド・エディタと、口述テキストを選択的に受け取るユーザのためのターゲット・アプリケーションと、音声入力メソッド・エディタが作動状態のままで口述テキストを編集することが可能な少なくとも１つの代替入力メソッド・エディタと、を含むことができる。音声入力メソッド・エディタは、作動状態に保たれたままで、編集済み口述テキストを、音声入力メソッド・エディタ又は代替入力メソッド・エディタの少なくとも１つから、ターゲット・アプリケーションに転送することができる。音声入力メソッド・エディタを用いるテキストの入力と、代替入力メソッド・エディタを用いるテキストの入力とは、同時に実行することができる。
【０００７】
本発明の第２の実施形態においては、音声入力メソッド・エディタは、マイクロフォン状態／トグル・ボタン、拡張機能アクセス・ボタン、及びボリューム・レベル情報インジケータのうちの少なくとも１つを有する音声ツールバーを含むことができる。音声入力メソッド・エディタはまた、口述テキストがターゲット・アプリケーションに転送されるまで一時的口述ターゲットとして用いられる選択可能な口述ウィンドウ領域と、口述された単語を訂正するための代替候補リスト、アルファベット、スペースバー、スペル・モード・リマインダ、及び仮想キーボードを含む選択可能な機能のうちの少なくとも１つを備える選択可能な訂正ウィンドウ領域とを含むことができる。音声入力メソッド・エディタは、選択可能な訂正ウィンドウ領域を使用し、かつ、口述テキストをターゲット・アプリケーションに転送している間、作動状態のままとすることができる。音声入力メソッド・エディタはさらに、音声入力メソッド・エディタを使用している間、選択可能な口述ウィンドウ又はターゲット・アプリケーションの少なくとも１つにおいて非音声編集を可能にするのに用いられる代替入力メソッド・エディタ・ウィンドウを含むことができる。
【０００８】
本発明の第３の実施形態においては、ハンドヘルド携帯装置のための音声入力編集の方法は、認識済みテキストを受け取るステップと、口述ウィンドウが可視状態の場合には認識済みテキストを口述ウィンドウに入力するステップと、口述ウィンドウが非表示状態の場合には認識済みテキストをターゲット・アプリケーションに直接入力するステップとを含むことができる。この第３の実施形態はさらに、音声入力メソッド・エディタと、音声入力メソッド・エディタを非作動状態にしない少なくとも１つの代替入力メソッド・エディタとを用いて、口述ウィンドウの認識済みテキストを編集するステップを含むことができる。
【０００９】
本発明のさらに別の態様においては、機械可読ストレージは、機械によって実行可能な複数のコード・セクションを有し、認識済みテキストを受け取るステップと、口述ウィンドウが可視状態の場合には認識済みテキストを口述ウィンドウに入力するステップと、口述ウィンドウが非表示状態の場合には認識済みテキストをターゲット・アプリケーションに直接入力するステップとを機械に行わせるためのコンピュータ・プログラムを含むことができる。コンピュータ・プログラムはまた、代替入力メソッド・エディタによる編集が音声入力メソッド・エディタを非作動状態にしないように、音声入力メソッド・エディタ及び少なくとも１つの代替入力メソッド・エディタを用いて口述ウィンドウにおける認識済みテキストの編集を可能にすることができる。
【発明を実施するための最良の形態】
【００１０】
現時点で好ましい実施形態が図面に示されているが、本発明は、示されるものと全く同一の構成及び手段に限定されるものではないことが分かるであろう。
【００１１】
本発明に係る実施形態は、携帯情報端末などのハンドヘルド携帯装置に用いられる幾つものオペレーティング・システムのための代替的な音声入力メソッド（ＩＭ）を実装することができる。特定の一実施形態においては、携帯装置のオペレーティング・システムは、Ｍｉｃｒｏｓｏｆｔ社のＰｏｃｋｅｔＰＣ（ＷｉｎＣＥ３．０以上）とすることができる。ここで説明される実施形態は、ＰＤＡなどのハンドヘルド装置に音声認識を統合するための実装ソリューションを提供する。ハンドヘルド装置に音声認識を統合するためのソリューションは、多くの異なるレベルで解決することができる。まず最初に、そのソリューションは、音声認識（口述）を用いるデータ入力を作動状態にするためにユーザが選択することが可能なＩＭＥモジュールとして具体化することができる。ユーザが音声ＩＭＥを選択する方法は、多数のプラットホーム間で異なっていてもよいが、通常は、装置上で利用可能なＩＭＥのリストから項目（例えば、「音声口述」）を選択することを必要とする。図１を参照すると、本発明に係るシステム又はアーキテクチャのコンポーネント間の典型的な親子関係を示すウィンドウ階層図１０が示される。グラフィカル・ユーザ・インターフェース又はデスクトップ１２は、（ワード・プロセシング・プログラム又は音声認識プログラムなどの）ターゲット・アプリケーション１４及び音声入力メソッド・エディタ・コンテナ１６に対する親として機能する、すなわち、それらの形態の子を持つことができる。音声入力メソッド・エディタ・コンテナ１６は、編集制御２４、ツールバー制御２６、及び他の子ウィンドウに対する親として機能する、すなわち、それらの形態の子を持つことができる。より重要なこととして、音声入力メソッド・エディタ・コンテナ１６は、複数の入力メソッド・エディタ２２についての集合ＩＭＥコンテナ２０を含むことができる音声入力エディタ１８に対する親として機能する、すなわち、その形態の子を持つことができる。
【００１２】
ＩＭＥモジュールは、入力メソッド（ＩＭ）エージェント又はマネージャによって管理され、実際にそれと対話するが、ＩＭマネージャは、ＩＭＥとＩＭマネージャの間の通信を行うインターフェースを提供する。図２を参照すると、入力マネージャ３４と入力メソッド・エディタとの間の参照及び集合関係を示すＣＯＭオブジェクト図３０が示される。具体的には、入力マネージャ３４は、ＩＭマネージャ・オブジェクト３２と対話することができる。音声ＩＭＥの場合には、ＩＭマネージャ・オブジェクトは、音声ＩＭＥオブジェクト３６とインターフェースし、該音声ＩＭＥオブジェクトは、一般には次に、他のＩＭＥオブジェクト３８とインターフェースすることができる。ＩＭマネージャ３４は、次に、（文字メッセージ通知のような）何らかのＯＳ機構によって、ターゲット・アプリケーション及びデータ・フィールドと直接インターフェースすることができる。（本発明以前には）ＩＭＥとＩＭとのインターフェースは、主としてテキストをアプリケーションに取り込むように設計されていたが、（選択範囲、選択テキスト、キャレット位置、マウス・イベント、クリップボード・イベントなどのような）ターゲット・フィールド又はアプリケーションからの状態情報を転送できるようにするものではなかった点を想起することが重要である。本発明に係る実施形態は、口述したテキストをユーザが編集／更新（訂正）することを可能にする方法で、口述クライアントが、後の口述イベントのためにユーザの個人的な音声モデルを改良し、適応させることを可能にする効率的な音声認識口述ソリューションを実装する場合に、インターフェース及びアプリケーションの間で状態情報を理想的に転送することができる。新しい単語を追加し、訂正するこの能力は、音声認識技術において９０％以上の認識精度を達成する能力に寄与する。さもなければ、ユーザは、ＰｏｃｋｅｔＰＣ ＰＤＡのブロック認識及び転記ＩＭＥで経験するように、同じ間違いを何度も訂正しなければならない。
【００１３】
音声ＩＭＥを用いて口述したテキストを訂正できるようにすることは、ここでのアーキテクチャ設計における主要設計要件であると考えられた。さらに、訂正処理の速度を上げるために、当初の単語が正しくなかった場合には音声認識装置が「最良の代替候補」として戻すことができる簡潔な代替候補リスト（４項目以下であることが好ましい）からユーザが選択することが可能になるように、ＩＭＥを設計することができる。ＩＭＥは、ユーザがＩＭＥ内でテキストを管理することを可能にするのではなく、単にテキストをターゲット・データ・フィールドに転送するように設計されていたため、こういった議論はさらなる課題を提起した。最終的に、最後かつ最大の課題となる設計事項は、ＩＭＥによって生成されたテキストを異なるＩＭＥを用いて訂正する能力に関するものであった。この絶好の例は、ユーザが単語を話し、それが誤認識され、訂正する必要がある場合である。この場合において、ユーザが代替候補リスト内に正しい単語を発見しない場合には、ユーザは、正しい単語を入力又は編集し、自らの個人的な音声モデルが次回には正しく適応するように、その正しい単語を何らかの方法で訂正動作に適用しなければならない。課題はここにあり、単語の訂正を可能にするために、ユーザは、（音声を用いた綴りを利用できるにもかかわらず）音声認識を用いることなく単語を入力することができなければならない。このことは、ユーザに、訂正のために別の（異なる）ＩＭＥモジュールに手動で切り替えさせることを意味し、この切り替えは、音声ＩＭＥを非作動状態にし、訂正を要するテキストを有する可視領域が喪失することになる。これは決して受け入れ可能なユーザ・シナリオではなく、本発明は、他のＩＭＥジュールを使用している間、音声ＩＭＥを作動状態にし続けることによって、この欠点を克服する。
【００１４】
したがって、音声ＩＭＥの設計は、その使用が自然かつ効率的となるように、これらの及び他の課題を克服しなければならない。図１及び図２に関してすでに示し、検討したように、音声ＩＭＥのモデルは、論理設計及びユーザ・インタフェース設計の両方についてこれらの問題を解決する。さらに、図３を参照すると、本発明に係る入力メソッド・エディタの動作方法（すなわち、使用モデル）５０を説明するフロー・チャートが示される。方法５０は、ステップ５２においてハンドヘルド携帯装置に音声ＩＭＥモジュールを読み込むことによって開始する。ＰＤＡ環境の例において、ユーザがその時点のＩＭＥとして音声ＩＭＥを選択すると、ステップ５４において音声ＩＭＥモジュールが作動状態にされる。これを行う幾つかの方法が存在するが、最も一般的なものは、メニュー・リストから音声ＩＭＥを選択することである。ＩＭＥは使用中には相互排他的であるので、以前のいずれかのＩＭＥクライアント領域がスクリーンから削除され、音声ＩＭＥには、その内容を表示する機会が与えられる。
【００１５】
ＩＭＥはここで、ステップ５６において示されるように、音声イベント及びユーザ・イベントを可能にする。当然のことながら、ユーザが音声ＩＭＥを選択解除することを１つのユーザ・イベントとすることが可能であり、その場合には、音声ＩＭＥモジュールはステップ５８において非作動状態にされる。ユーザは、自分の音声ＩＭＥの作業領域を自分の好みに合わせて構成した後、スタイラス又は他のいずれかの選択方法を用いることによって、有効なターゲット・アプリケーション／フィールド（自由形式の英数字情報を許容するあらゆるアプリケーション／フィールド）を選択できることに留意されたい。次いで、ユーザは、ＰＤＡ装置に話し始めるか、又は他のユーザ・イベントを実行することができる。ステップ５６においてユーザ・イベントが発生した場合には、判断ブロック６８においてボタンが押されたかどうか、判断ブロック７２においてメニューが選択されたかどうか、又は、判断ブロック７６において代理又は代替のＩＭＥアクションが呼び出されたかどうかが判断される。これらのユーザ・イベントの各々（又は、設計することができる他のユーザ・イベント）が発生しない場合には、方法は、ステップ８０において音声コマンドを処理することに進む。判断ブロック６８においてボタンが押された場合には、ステップ５６に戻る前に、ステップ７０においてボタン・アクションが処理される。判断ブロック７２においてメニューが選択された場合には、ステップ５６に戻る前に、ステップ７４においてメニュー・アクションが処理される。判断ブロック７６において代理ＩＭＥアクションが呼び出された場合には、ステップ５６に戻る前に、ステップ７８において代理ＩＭＥアクションが処理される。
【００１６】
ステップ５６において音声イベントが発生した場合には、判断ブロック６０において、音声イベントが口述テキストを伴うかどうかが判断される。判断ブロック６０において、音声イベントが口述テキストでない場合には、方法は、ステップ８０において音声コマンドを処理することに進む。判断ブロック６０において音声イベントが口述テキストを伴う場合には、口述されたテキストは、ステップ６２において（音声ＩＭＥの）口述領域に追加される。判断ブロック６４において、口述領域が可視状態の場合には、方法はステップ５６に戻る。判断ブロック６４において、口述領域が非表示状態の場合には、ステップ５６に戻る前に、ステップ６６において、口述されたテキストがターゲット・アプリケーションに直接送られる。要約すると、ステップ６０から６６は、認識済みテキストを受け取り、以下のアクション、すなわち、（ａ）口述ウィンドウ／領域が可視状態の場合には、認識済みテキストを、（訂正ウィンドウが可視状態の場合にはテキストを訂正する能力を持つ）そのテキスト・フィールドに置くか、又は、（ｂ）口述ウィンドウ／領域が非表示状態の場合には、認識済みテキストを、（テキストを訂正する能力のない）ターゲット・アプリケーション／フィールドに直接置くかのいずれか１つを実行する音声ＩＭＥに関する。
【００１７】
図４から図１１に関して、ディスプレイを有する携帯情報端末１００は、以下を含むことができる音声ＩＭＥの基本的な内容を示すことができる。
１．マイクロフォン状態／トグル・ボタン１０４と、拡張機能アクセス・ボタン１０６と、ボリューム・レベル情報とを含むことができる音声ツールバー１０２（ＶｏｉｃｅＣｅｎｔｅｒ）。必要に応じて、単一のボタン／アイコンを用いて、マイクロフォン状態とボリューム・レベル情報とを統合することができる。
【００１８】
２．ユーザがテキストを実際のターゲット・アプリケーション／フィールドに転送するまで一時的口述ターゲットとして用いられる編集フィールド１１０を含むことができる口述ウィンドウ（領域）１０８。このウィンドウ／領域は、本来はオプションであり、音声ツールバーのボタン１０４によって、可視表示／非表示を切り替えることができる。図４及び図８に示されるように口述ウィンドウが非表示状態の場合には、口述されたすべてのテキストは、ユーザの個人的な言語モデル（ＬＭ）キャッシュを改善するために、訂正又は編集する能力のないターゲット・アプリケーション／フィールドに直接入る。
【００１９】
３．訂正ウィンドウ／領域１１２は、図６、図９、及び図１１に示されるように、口述された単語を訂正するための代替候補リスト１２０を含むことができる。訂正ウィンドウ／領域１１２は、アルファベット１１４と、スペースバー１１６と、スペル・モード・リマインダ１１８とを含むこともできる。ユーザは、これらの領域の各々をタップするか、又は、これらの領域を、音声コマンドにより文字、スペースバー、及びスペル・モードを利用することができるというリマインダ（覚え書き）として用いることができる。ユーザは、訂正する１つ又は複数の単語を口述ウィンドウから選択し、ａ）スタイラスを用いて代替候補をタップするか、又は、ｂ）「ｎを選択」（ｎは代替候補番号である）と言うことによって、その単語を代替候補リスト１２０の代替候補と置き換えることができる。ユーザが（タップするか、又は「スペル開始（ｂｅｇｉｎ ｓｐｅｌｌ）」と言うことによって）スペル・モードに入った場合には、アルファベットは、（幾つかの変更／付加を加えた軍用アルファベットと同様の）スペル語彙１２４のクイック・レファレンスに置き換えられる。ユーザはここで、この極めて認識精度の高いスペル語彙１２４を用いて、訂正／口述されることになる単語を綴ることができる。訂正ウィンドウ／領域１１２は、オプションであり、音声ツールバーのユーザ・ボタンによって可視表示／非表示を切り替えることができる。訂正ウィンドウ／領域１１２は、必要に応じて、訂正ウィンドウに組み込まれる小型キーボード１２２を含むことができる。このキーボードは、ユーザがスペル・モードにないときに表示され、アルファベット及びスペースバーのみを含む上述のウィンドウに代わるものとなる。
【００２０】
４．代替／代理ＩＭＥウィンドウ／領域（図９において示される１１２ａ又は１１２ｂ）は、音声ＩＭＥを用いている間、音声によらない訂正／編集を可能にするのに用いられる代替ＩＭＥ１１２ｂを、口述ウィンドウ又はターゲット・アプリケーション内に含むことができる。この機能は、オペレーティング・システムにおける他の既存の／インストール済みのＩＭＥを用いる能力を損なうことなく、すべての音声機能の完全な使用を可能にする。この設計は、情報をターゲット・アプリケーションに入力するのに必要なユーザの労力量を低減する。本発明は、ＣＯＭ集約技術を用いることによって、完全に機能する外部ＩＭＥを音声ＩＭＥ内に含むことができる。このホスティング技術は、ユーザが好む複数の利用可能なＩＭＥ又は将来のＩＭＥと共に用いることができる。この代替ＩＭＥウィンドウ／領域は、音声ツールバー１０２にある別のユーザ・ボタンによって可視表示／非表示を切り替えることができる。ユーザは、自分の好みの代替ＩＭＥをオプション・パネルから選ぶことができ、音声ＩＭＥは、ユーザがこの機能を切り替える度に、その選択を用いることになる。
【００２１】
ユーザが口述すると、音声ＩＭＥは、ユーザが、スペル・モード又は数字モードに入り、（可能な場合には）訂正を実行し、口述ウィンドウ／領域１０８に口述する場合には、口述されたテキストをその時点で選択済みのアプリケーション／フィールドに転送することを可能にする。テキストの転送は、ユーザの要求で音声ＩＭＥによって実行される。これは、音声コマンドによって、又は音声ツールバー１０２のユーザ・ボタンを押すことによって、行うことができる。いつでもアクセスすることができる２つの転送タイプがある。これらの転送タイプは、以下のとおりである。
【００２２】
（ａ）（単純な）転送−口述されたテキストは、現行アプリケーション／フィールドに転送され、何ら特別に考慮することなく、現行キャレット位置（挿入ポイント）に挿入される。口述ウィンドウ／領域フィールドは、この操作によって影響を受けず、すべてのオリジナル・テキストは、転送が完了した後も残る。この機能のためのアイコンは、矢印付き二重ページ（１３０）とすることができる。このアイコンは、（例えば二重ページによって表される）標準コピー機能及びＶｉａＶｏｉｃｅのデスクトップ版による（例えば青い矢印によって表される）転送機能に関するユーザの知識を利用するものである。
【００２３】
（ｂ）転送及び消去−口述されたテキストは、タイプ（ａ）のように転送されるが、口述ウィンドウ／領域及び編集フィールドは、新たな口述のために消去され、リセットされる。このタイプは、口述領域のすべての内容を削除し、エンジンのコンテキストをリセットする。この機能のためのアイコンは、例えば、矢印付きはさみ（１４０）とすることができる。このアイコンは、（はさみによって表される）標準切り取り／消去機能及びＶｉａＶｏｉｃｅのデスクトップ版による転送機能に関するユーザの知識を利用するものである。ユーザは、ターゲット領域から内容の全部又は一部を消去したい場合には、転送オプションを選ぶ前に、消去されることになる領域を選択することができる。
【００２４】
別の可能な転送タイプは次のものとすることができる。
（ｃ）転送（及び消去）及び次フィールド−これは、音声ＩＭＥが選択カーソルをその時点で作動状態にあるアプリケーションの入力シーケンスにおける次の文書／フィールドに移動させようとすること以外は、上記の転送モードと同じである。これは、より迅速なフォーム記入シナリオを可能にし、ユーザに次のターゲット・フィールドを手動で選択させる余分なステップを取り除く。
【００２５】
本発明は、ハードウェア、ソフトウェア、又は、ハードウェア及びソフトウェアの組合せで実現することができる。本発明はまた、１つのコンピュータ・システムにおける集中方式で、又は異なる構成要素が相互接続された幾つかのコンピュータ・システムにわたって広がる分散方式で、実現することができる。本明細書に記載される方法を実施するように構成されたあらゆる種類のコンピュータ・システム又は他の装置が適する。ハードウェア及びソフトウェアの典型的な組合せは、読み込まれて実行されたときにコンピュータ・システムが本明細書に記載される方法を実施するように、該コンピュータ・システムを制御するコンピュータ・プログラムを持つ汎用コンピュータ・システムとすることができる。
【００２６】
本発明はまた、本明細書に記載される方法の実施を可能にするすべての機能を備え、かつ、コンピュータ・システムに読み込まれたときにこれらの方法を実施することが可能なコンピュータ・プログラムに、組み込むことができる。ここでのコンピュータ・プログラム又はアプリケーションは、直接的に、又は、ａ）別の言語、コード、若しくは表記への変換、ｂ）異なる媒体形式での再生、のいずれか一方若しくは両方の後に、情報処理能力を有するシステムに特定の機能を実行させることを目的とする命令のセットの、任意の言語、コード、又は表記における任意の表現を意味する。
【００２７】
本発明は、その精神又は本質的な性質から逸脱することなく、他の形態で具体化することができる。したがって、本発明の範囲を示すものとして、前述の詳細な説明ではなく特許請求の範囲が参照されるべきである。
【図面の簡単な説明】
【００２８】
【図１】本明細書に開示される発明の構成に係るハンドヘルド装置の音声入力メソッドと他のコンポーネントとの関係を示す階層図である。
【図２】本発明に係る入力メソッド・マネージャ・オブジェクトと入力マネージャを持つオブジェクトとの間の流れを示すオブジェクト図である。
【図３】本発明に係る入力メソッド・エディタの作動方法を示すフロー・チャートである。
【図４】本発明に係る携帯情報端末において、音声入力メソッド・エディタと、口述ウィンドウが表示されていない状態のスクリーンとを有することを示す。
【図５】図４の携帯情報端末において、表示状態の口述ウィンドウを有するスクリーンを示す。
【図６】図４の携帯情報端末において、編集フィールドを持つ可視状態の口述ウィンドウと、訂正ウィンドウ領域とを有するスクリーンを示す。
【図７】図４の携帯情報端末において、選択された編集フィールドのない可視状態の口述ウィンドウと、訂正ウィンドウ領域とを有するスクリーンを示す。
【図８】図４の携帯情報端末において、非表示状態の口述ウィンドウと、仮想キーボードを持つ訂正ウィンドウ領域とを有するスクリーンを示す。
【図９】図４の携帯情報端末において、編集フィールドを持つ可視状態の口述ウィンドウと、訂正ウィンドウ領域と、追加的な又は代替的なＩＭＥとを有するスクリーンを示す。
【図１０】図４の携帯情報端末において、編集フィールドのない可視状態の口述ウィンドウと、スペル語彙を表示するスペル・モードの訂正ウィンドウ領域とを有するスクリーンを示す。
【図１１】図４の携帯情報端末において、可視状態の口述ウィンドウと、代替候補リスト及び仮想キーボードを有する訂正ウィンドウ領域とを有するスクリーンを示す。
【技術分野】
【０００１】
本発明は、音声認識の分野に関し、より具体的には、音声認識入力メソッド、並びに、ハンドヘルド携帯装置上の他の入力メソッド及び編集機能との対話に関する。
【背景技術】
【０００２】
ここ数年におけるハンドヘルド装置の急増は、これらの小型で携帯用の装置との対話に関する新たな非視覚的方法の創出を後押しする要因となっている。音声認識技術は、これらのタイプの装置にとって理想的なものである。小さな形状、及びデータ中心の使用は、あらゆる企業にとって、ユーザのポータブル・アプリケーションのデータ入力、データ・アクセス、及び全体制御を容易にする大きな機会を創出する。
【０００３】
今日販売されるほとんどのハンドヘルド携帯情報端末（ＰＤＡ）には、幾つかの異なるデータ入力方法が含まれる。しかしながら、それらはすべて、仮想小型キーボードへのタッチ、手書き、又は、（Ｇｒａｆｆｉｔｉなどの）ブロック認識のためのスタイラスの使用に頼るものである。ＰＤＡで利用可能なほとんどの手書き認識技術は、精度が低く、ユーザの特殊な手書きスタイルに適応させることができない。小型キーボード方法は、より正確であるが、長く複雑な覚え書き及び思考を記録するために用いるには扱いにくい。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
現在の音声認識技術は、こうしたハンドヘルド装置に適したものであると思われるが、既存のシステムは、主としてテキストをアプリケーションに転送するために設計されており、ターゲット・フィールド又はターゲット・アプリケーションからの状態情報を、入力マネージャ及び入力メソッド・エディタのためのインターフェースを介して転送することを可能にするものではない。さらに、音声入力メソッド・エディタ及び他の入力メソッド・エディタは、現在のところ、こうしたエディタ内でテキストを柔軟に管理するようには設計されていない。したがって、上述の欠点を克服する、携帯情報端末などのハンドヘルド携帯装置に用いる音声入力メソッド・エディタのためのアーキテクチャ及び方法が必要とされる。
【課題を解決するための手段】
【０００５】
本発明に係る実施形態は、ユーザが他の入力メソッド・エディタ（ＩＭＥ）を用いてデータを入力できるいかなる場所でもテキスト・データを入力することを可能にする音声認識技術を使用する。こうした実施形態は、音声ＩＭＥにおける代替入力メソッドとして他の（既に利用可能な）ＩＭＥの使用を可能にする高レベル設計、ユーザ・モデル、及び対話論理に焦点を当てる。
【０００６】
本発明の第１の実施形態においては、ハンドヘルド携帯装置のための音声入力メソッド・エディタのアーキテクチャは、口述領域ウィンドウを含むグラフィカル・ユーザ・インターフェースと、口述領域ウィンドウにおいて口述テキストを追加し、編集するための音声入力メソッド・エディタと、口述テキストを選択的に受け取るユーザのためのターゲット・アプリケーションと、音声入力メソッド・エディタが作動状態のままで口述テキストを編集することが可能な少なくとも１つの代替入力メソッド・エディタと、を含むことができる。音声入力メソッド・エディタは、作動状態に保たれたままで、編集済み口述テキストを、音声入力メソッド・エディタ又は代替入力メソッド・エディタの少なくとも１つから、ターゲット・アプリケーションに転送することができる。音声入力メソッド・エディタを用いるテキストの入力と、代替入力メソッド・エディタを用いるテキストの入力とは、同時に実行することができる。
【０００７】
本発明の第２の実施形態においては、音声入力メソッド・エディタは、マイクロフォン状態／トグル・ボタン、拡張機能アクセス・ボタン、及びボリューム・レベル情報インジケータのうちの少なくとも１つを有する音声ツールバーを含むことができる。音声入力メソッド・エディタはまた、口述テキストがターゲット・アプリケーションに転送されるまで一時的口述ターゲットとして用いられる選択可能な口述ウィンドウ領域と、口述された単語を訂正するための代替候補リスト、アルファベット、スペースバー、スペル・モード・リマインダ、及び仮想キーボードを含む選択可能な機能のうちの少なくとも１つを備える選択可能な訂正ウィンドウ領域とを含むことができる。音声入力メソッド・エディタは、選択可能な訂正ウィンドウ領域を使用し、かつ、口述テキストをターゲット・アプリケーションに転送している間、作動状態のままとすることができる。音声入力メソッド・エディタはさらに、音声入力メソッド・エディタを使用している間、選択可能な口述ウィンドウ又はターゲット・アプリケーションの少なくとも１つにおいて非音声編集を可能にするのに用いられる代替入力メソッド・エディタ・ウィンドウを含むことができる。
【０００８】
本発明の第３の実施形態においては、ハンドヘルド携帯装置のための音声入力編集の方法は、認識済みテキストを受け取るステップと、口述ウィンドウが可視状態の場合には認識済みテキストを口述ウィンドウに入力するステップと、口述ウィンドウが非表示状態の場合には認識済みテキストをターゲット・アプリケーションに直接入力するステップとを含むことができる。この第３の実施形態はさらに、音声入力メソッド・エディタと、音声入力メソッド・エディタを非作動状態にしない少なくとも１つの代替入力メソッド・エディタとを用いて、口述ウィンドウの認識済みテキストを編集するステップを含むことができる。
【０００９】
本発明のさらに別の態様においては、機械可読ストレージは、機械によって実行可能な複数のコード・セクションを有し、認識済みテキストを受け取るステップと、口述ウィンドウが可視状態の場合には認識済みテキストを口述ウィンドウに入力するステップと、口述ウィンドウが非表示状態の場合には認識済みテキストをターゲット・アプリケーションに直接入力するステップとを機械に行わせるためのコンピュータ・プログラムを含むことができる。コンピュータ・プログラムはまた、代替入力メソッド・エディタによる編集が音声入力メソッド・エディタを非作動状態にしないように、音声入力メソッド・エディタ及び少なくとも１つの代替入力メソッド・エディタを用いて口述ウィンドウにおける認識済みテキストの編集を可能にすることができる。
【発明を実施するための最良の形態】
【００１０】
現時点で好ましい実施形態が図面に示されているが、本発明は、示されるものと全く同一の構成及び手段に限定されるものではないことが分かるであろう。
【００１１】
本発明に係る実施形態は、携帯情報端末などのハンドヘルド携帯装置に用いられる幾つものオペレーティング・システムのための代替的な音声入力メソッド（ＩＭ）を実装することができる。特定の一実施形態においては、携帯装置のオペレーティング・システムは、Ｍｉｃｒｏｓｏｆｔ社のＰｏｃｋｅｔＰＣ（ＷｉｎＣＥ３．０以上）とすることができる。ここで説明される実施形態は、ＰＤＡなどのハンドヘルド装置に音声認識を統合するための実装ソリューションを提供する。ハンドヘルド装置に音声認識を統合するためのソリューションは、多くの異なるレベルで解決することができる。まず最初に、そのソリューションは、音声認識（口述）を用いるデータ入力を作動状態にするためにユーザが選択することが可能なＩＭＥモジュールとして具体化することができる。ユーザが音声ＩＭＥを選択する方法は、多数のプラットホーム間で異なっていてもよいが、通常は、装置上で利用可能なＩＭＥのリストから項目（例えば、「音声口述」）を選択することを必要とする。図１を参照すると、本発明に係るシステム又はアーキテクチャのコンポーネント間の典型的な親子関係を示すウィンドウ階層図１０が示される。グラフィカル・ユーザ・インターフェース又はデスクトップ１２は、（ワード・プロセシング・プログラム又は音声認識プログラムなどの）ターゲット・アプリケーション１４及び音声入力メソッド・エディタ・コンテナ１６に対する親として機能する、すなわち、それらの形態の子を持つことができる。音声入力メソッド・エディタ・コンテナ１６は、編集制御２４、ツールバー制御２６、及び他の子ウィンドウに対する親として機能する、すなわち、それらの形態の子を持つことができる。より重要なこととして、音声入力メソッド・エディタ・コンテナ１６は、複数の入力メソッド・エディタ２２についての集合ＩＭＥコンテナ２０を含むことができる音声入力エディタ１８に対する親として機能する、すなわち、その形態の子を持つことができる。
【００１２】
ＩＭＥモジュールは、入力メソッド（ＩＭ）エージェント又はマネージャによって管理され、実際にそれと対話するが、ＩＭマネージャは、ＩＭＥとＩＭマネージャの間の通信を行うインターフェースを提供する。図２を参照すると、入力マネージャ３４と入力メソッド・エディタとの間の参照及び集合関係を示すＣＯＭオブジェクト図３０が示される。具体的には、入力マネージャ３４は、ＩＭマネージャ・オブジェクト３２と対話することができる。音声ＩＭＥの場合には、ＩＭマネージャ・オブジェクトは、音声ＩＭＥオブジェクト３６とインターフェースし、該音声ＩＭＥオブジェクトは、一般には次に、他のＩＭＥオブジェクト３８とインターフェースすることができる。ＩＭマネージャ３４は、次に、（文字メッセージ通知のような）何らかのＯＳ機構によって、ターゲット・アプリケーション及びデータ・フィールドと直接インターフェースすることができる。（本発明以前には）ＩＭＥとＩＭとのインターフェースは、主としてテキストをアプリケーションに取り込むように設計されていたが、（選択範囲、選択テキスト、キャレット位置、マウス・イベント、クリップボード・イベントなどのような）ターゲット・フィールド又はアプリケーションからの状態情報を転送できるようにするものではなかった点を想起することが重要である。本発明に係る実施形態は、口述したテキストをユーザが編集／更新（訂正）することを可能にする方法で、口述クライアントが、後の口述イベントのためにユーザの個人的な音声モデルを改良し、適応させることを可能にする効率的な音声認識口述ソリューションを実装する場合に、インターフェース及びアプリケーションの間で状態情報を理想的に転送することができる。新しい単語を追加し、訂正するこの能力は、音声認識技術において９０％以上の認識精度を達成する能力に寄与する。さもなければ、ユーザは、ＰｏｃｋｅｔＰＣ ＰＤＡのブロック認識及び転記ＩＭＥで経験するように、同じ間違いを何度も訂正しなければならない。
【００１３】
音声ＩＭＥを用いて口述したテキストを訂正できるようにすることは、ここでのアーキテクチャ設計における主要設計要件であると考えられた。さらに、訂正処理の速度を上げるために、当初の単語が正しくなかった場合には音声認識装置が「最良の代替候補」として戻すことができる簡潔な代替候補リスト（４項目以下であることが好ましい）からユーザが選択することが可能になるように、ＩＭＥを設計することができる。ＩＭＥは、ユーザがＩＭＥ内でテキストを管理することを可能にするのではなく、単にテキストをターゲット・データ・フィールドに転送するように設計されていたため、こういった議論はさらなる課題を提起した。最終的に、最後かつ最大の課題となる設計事項は、ＩＭＥによって生成されたテキストを異なるＩＭＥを用いて訂正する能力に関するものであった。この絶好の例は、ユーザが単語を話し、それが誤認識され、訂正する必要がある場合である。この場合において、ユーザが代替候補リスト内に正しい単語を発見しない場合には、ユーザは、正しい単語を入力又は編集し、自らの個人的な音声モデルが次回には正しく適応するように、その正しい単語を何らかの方法で訂正動作に適用しなければならない。課題はここにあり、単語の訂正を可能にするために、ユーザは、（音声を用いた綴りを利用できるにもかかわらず）音声認識を用いることなく単語を入力することができなければならない。このことは、ユーザに、訂正のために別の（異なる）ＩＭＥモジュールに手動で切り替えさせることを意味し、この切り替えは、音声ＩＭＥを非作動状態にし、訂正を要するテキストを有する可視領域が喪失することになる。これは決して受け入れ可能なユーザ・シナリオではなく、本発明は、他のＩＭＥジュールを使用している間、音声ＩＭＥを作動状態にし続けることによって、この欠点を克服する。
【００１４】
したがって、音声ＩＭＥの設計は、その使用が自然かつ効率的となるように、これらの及び他の課題を克服しなければならない。図１及び図２に関してすでに示し、検討したように、音声ＩＭＥのモデルは、論理設計及びユーザ・インタフェース設計の両方についてこれらの問題を解決する。さらに、図３を参照すると、本発明に係る入力メソッド・エディタの動作方法（すなわち、使用モデル）５０を説明するフロー・チャートが示される。方法５０は、ステップ５２においてハンドヘルド携帯装置に音声ＩＭＥモジュールを読み込むことによって開始する。ＰＤＡ環境の例において、ユーザがその時点のＩＭＥとして音声ＩＭＥを選択すると、ステップ５４において音声ＩＭＥモジュールが作動状態にされる。これを行う幾つかの方法が存在するが、最も一般的なものは、メニュー・リストから音声ＩＭＥを選択することである。ＩＭＥは使用中には相互排他的であるので、以前のいずれかのＩＭＥクライアント領域がスクリーンから削除され、音声ＩＭＥには、その内容を表示する機会が与えられる。
【００１５】
ＩＭＥはここで、ステップ５６において示されるように、音声イベント及びユーザ・イベントを可能にする。当然のことながら、ユーザが音声ＩＭＥを選択解除することを１つのユーザ・イベントとすることが可能であり、その場合には、音声ＩＭＥモジュールはステップ５８において非作動状態にされる。ユーザは、自分の音声ＩＭＥの作業領域を自分の好みに合わせて構成した後、スタイラス又は他のいずれかの選択方法を用いることによって、有効なターゲット・アプリケーション／フィールド（自由形式の英数字情報を許容するあらゆるアプリケーション／フィールド）を選択できることに留意されたい。次いで、ユーザは、ＰＤＡ装置に話し始めるか、又は他のユーザ・イベントを実行することができる。ステップ５６においてユーザ・イベントが発生した場合には、判断ブロック６８においてボタンが押されたかどうか、判断ブロック７２においてメニューが選択されたかどうか、又は、判断ブロック７６において代理又は代替のＩＭＥアクションが呼び出されたかどうかが判断される。これらのユーザ・イベントの各々（又は、設計することができる他のユーザ・イベント）が発生しない場合には、方法は、ステップ８０において音声コマンドを処理することに進む。判断ブロック６８においてボタンが押された場合には、ステップ５６に戻る前に、ステップ７０においてボタン・アクションが処理される。判断ブロック７２においてメニューが選択された場合には、ステップ５６に戻る前に、ステップ７４においてメニュー・アクションが処理される。判断ブロック７６において代理ＩＭＥアクションが呼び出された場合には、ステップ５６に戻る前に、ステップ７８において代理ＩＭＥアクションが処理される。
【００１６】
ステップ５６において音声イベントが発生した場合には、判断ブロック６０において、音声イベントが口述テキストを伴うかどうかが判断される。判断ブロック６０において、音声イベントが口述テキストでない場合には、方法は、ステップ８０において音声コマンドを処理することに進む。判断ブロック６０において音声イベントが口述テキストを伴う場合には、口述されたテキストは、ステップ６２において（音声ＩＭＥの）口述領域に追加される。判断ブロック６４において、口述領域が可視状態の場合には、方法はステップ５６に戻る。判断ブロック６４において、口述領域が非表示状態の場合には、ステップ５６に戻る前に、ステップ６６において、口述されたテキストがターゲット・アプリケーションに直接送られる。要約すると、ステップ６０から６６は、認識済みテキストを受け取り、以下のアクション、すなわち、（ａ）口述ウィンドウ／領域が可視状態の場合には、認識済みテキストを、（訂正ウィンドウが可視状態の場合にはテキストを訂正する能力を持つ）そのテキスト・フィールドに置くか、又は、（ｂ）口述ウィンドウ／領域が非表示状態の場合には、認識済みテキストを、（テキストを訂正する能力のない）ターゲット・アプリケーション／フィールドに直接置くかのいずれか１つを実行する音声ＩＭＥに関する。
【００１７】
図４から図１１に関して、ディスプレイを有する携帯情報端末１００は、以下を含むことができる音声ＩＭＥの基本的な内容を示すことができる。
１．マイクロフォン状態／トグル・ボタン１０４と、拡張機能アクセス・ボタン１０６と、ボリューム・レベル情報とを含むことができる音声ツールバー１０２（ＶｏｉｃｅＣｅｎｔｅｒ）。必要に応じて、単一のボタン／アイコンを用いて、マイクロフォン状態とボリューム・レベル情報とを統合することができる。
【００１８】
２．ユーザがテキストを実際のターゲット・アプリケーション／フィールドに転送するまで一時的口述ターゲットとして用いられる編集フィールド１１０を含むことができる口述ウィンドウ（領域）１０８。このウィンドウ／領域は、本来はオプションであり、音声ツールバーのボタン１０４によって、可視表示／非表示を切り替えることができる。図４及び図８に示されるように口述ウィンドウが非表示状態の場合には、口述されたすべてのテキストは、ユーザの個人的な言語モデル（ＬＭ）キャッシュを改善するために、訂正又は編集する能力のないターゲット・アプリケーション／フィールドに直接入る。
【００１９】
３．訂正ウィンドウ／領域１１２は、図６、図９、及び図１１に示されるように、口述された単語を訂正するための代替候補リスト１２０を含むことができる。訂正ウィンドウ／領域１１２は、アルファベット１１４と、スペースバー１１６と、スペル・モード・リマインダ１１８とを含むこともできる。ユーザは、これらの領域の各々をタップするか、又は、これらの領域を、音声コマンドにより文字、スペースバー、及びスペル・モードを利用することができるというリマインダ（覚え書き）として用いることができる。ユーザは、訂正する１つ又は複数の単語を口述ウィンドウから選択し、ａ）スタイラスを用いて代替候補をタップするか、又は、ｂ）「ｎを選択」（ｎは代替候補番号である）と言うことによって、その単語を代替候補リスト１２０の代替候補と置き換えることができる。ユーザが（タップするか、又は「スペル開始（ｂｅｇｉｎ ｓｐｅｌｌ）」と言うことによって）スペル・モードに入った場合には、アルファベットは、（幾つかの変更／付加を加えた軍用アルファベットと同様の）スペル語彙１２４のクイック・レファレンスに置き換えられる。ユーザはここで、この極めて認識精度の高いスペル語彙１２４を用いて、訂正／口述されることになる単語を綴ることができる。訂正ウィンドウ／領域１１２は、オプションであり、音声ツールバーのユーザ・ボタンによって可視表示／非表示を切り替えることができる。訂正ウィンドウ／領域１１２は、必要に応じて、訂正ウィンドウに組み込まれる小型キーボード１２２を含むことができる。このキーボードは、ユーザがスペル・モードにないときに表示され、アルファベット及びスペースバーのみを含む上述のウィンドウに代わるものとなる。
【００２０】
４．代替／代理ＩＭＥウィンドウ／領域（図９において示される１１２ａ又は１１２ｂ）は、音声ＩＭＥを用いている間、音声によらない訂正／編集を可能にするのに用いられる代替ＩＭＥ１１２ｂを、口述ウィンドウ又はターゲット・アプリケーション内に含むことができる。この機能は、オペレーティング・システムにおける他の既存の／インストール済みのＩＭＥを用いる能力を損なうことなく、すべての音声機能の完全な使用を可能にする。この設計は、情報をターゲット・アプリケーションに入力するのに必要なユーザの労力量を低減する。本発明は、ＣＯＭ集約技術を用いることによって、完全に機能する外部ＩＭＥを音声ＩＭＥ内に含むことができる。このホスティング技術は、ユーザが好む複数の利用可能なＩＭＥ又は将来のＩＭＥと共に用いることができる。この代替ＩＭＥウィンドウ／領域は、音声ツールバー１０２にある別のユーザ・ボタンによって可視表示／非表示を切り替えることができる。ユーザは、自分の好みの代替ＩＭＥをオプション・パネルから選ぶことができ、音声ＩＭＥは、ユーザがこの機能を切り替える度に、その選択を用いることになる。
【００２１】
ユーザが口述すると、音声ＩＭＥは、ユーザが、スペル・モード又は数字モードに入り、（可能な場合には）訂正を実行し、口述ウィンドウ／領域１０８に口述する場合には、口述されたテキストをその時点で選択済みのアプリケーション／フィールドに転送することを可能にする。テキストの転送は、ユーザの要求で音声ＩＭＥによって実行される。これは、音声コマンドによって、又は音声ツールバー１０２のユーザ・ボタンを押すことによって、行うことができる。いつでもアクセスすることができる２つの転送タイプがある。これらの転送タイプは、以下のとおりである。
【００２２】
（ａ）（単純な）転送−口述されたテキストは、現行アプリケーション／フィールドに転送され、何ら特別に考慮することなく、現行キャレット位置（挿入ポイント）に挿入される。口述ウィンドウ／領域フィールドは、この操作によって影響を受けず、すべてのオリジナル・テキストは、転送が完了した後も残る。この機能のためのアイコンは、矢印付き二重ページ（１３０）とすることができる。このアイコンは、（例えば二重ページによって表される）標準コピー機能及びＶｉａＶｏｉｃｅのデスクトップ版による（例えば青い矢印によって表される）転送機能に関するユーザの知識を利用するものである。
【００２３】
（ｂ）転送及び消去−口述されたテキストは、タイプ（ａ）のように転送されるが、口述ウィンドウ／領域及び編集フィールドは、新たな口述のために消去され、リセットされる。このタイプは、口述領域のすべての内容を削除し、エンジンのコンテキストをリセットする。この機能のためのアイコンは、例えば、矢印付きはさみ（１４０）とすることができる。このアイコンは、（はさみによって表される）標準切り取り／消去機能及びＶｉａＶｏｉｃｅのデスクトップ版による転送機能に関するユーザの知識を利用するものである。ユーザは、ターゲット領域から内容の全部又は一部を消去したい場合には、転送オプションを選ぶ前に、消去されることになる領域を選択することができる。
【００２４】
別の可能な転送タイプは次のものとすることができる。
（ｃ）転送（及び消去）及び次フィールド−これは、音声ＩＭＥが選択カーソルをその時点で作動状態にあるアプリケーションの入力シーケンスにおける次の文書／フィールドに移動させようとすること以外は、上記の転送モードと同じである。これは、より迅速なフォーム記入シナリオを可能にし、ユーザに次のターゲット・フィールドを手動で選択させる余分なステップを取り除く。
【００２５】
本発明は、ハードウェア、ソフトウェア、又は、ハードウェア及びソフトウェアの組合せで実現することができる。本発明はまた、１つのコンピュータ・システムにおける集中方式で、又は異なる構成要素が相互接続された幾つかのコンピュータ・システムにわたって広がる分散方式で、実現することができる。本明細書に記載される方法を実施するように構成されたあらゆる種類のコンピュータ・システム又は他の装置が適する。ハードウェア及びソフトウェアの典型的な組合せは、読み込まれて実行されたときにコンピュータ・システムが本明細書に記載される方法を実施するように、該コンピュータ・システムを制御するコンピュータ・プログラムを持つ汎用コンピュータ・システムとすることができる。
【００２６】
本発明はまた、本明細書に記載される方法の実施を可能にするすべての機能を備え、かつ、コンピュータ・システムに読み込まれたときにこれらの方法を実施することが可能なコンピュータ・プログラムに、組み込むことができる。ここでのコンピュータ・プログラム又はアプリケーションは、直接的に、又は、ａ）別の言語、コード、若しくは表記への変換、ｂ）異なる媒体形式での再生、のいずれか一方若しくは両方の後に、情報処理能力を有するシステムに特定の機能を実行させることを目的とする命令のセットの、任意の言語、コード、又は表記における任意の表現を意味する。
【００２７】
本発明は、その精神又は本質的な性質から逸脱することなく、他の形態で具体化することができる。したがって、本発明の範囲を示すものとして、前述の詳細な説明ではなく特許請求の範囲が参照されるべきである。
【図面の簡単な説明】
【００２８】
【図１】本明細書に開示される発明の構成に係るハンドヘルド装置の音声入力メソッドと他のコンポーネントとの関係を示す階層図である。
【図２】本発明に係る入力メソッド・マネージャ・オブジェクトと入力マネージャを持つオブジェクトとの間の流れを示すオブジェクト図である。
【図３】本発明に係る入力メソッド・エディタの作動方法を示すフロー・チャートである。
【図４】本発明に係る携帯情報端末において、音声入力メソッド・エディタと、口述ウィンドウが表示されていない状態のスクリーンとを有することを示す。
【図５】図４の携帯情報端末において、表示状態の口述ウィンドウを有するスクリーンを示す。
【図６】図４の携帯情報端末において、編集フィールドを持つ可視状態の口述ウィンドウと、訂正ウィンドウ領域とを有するスクリーンを示す。
【図７】図４の携帯情報端末において、選択された編集フィールドのない可視状態の口述ウィンドウと、訂正ウィンドウ領域とを有するスクリーンを示す。
【図８】図４の携帯情報端末において、非表示状態の口述ウィンドウと、仮想キーボードを持つ訂正ウィンドウ領域とを有するスクリーンを示す。
【図９】図４の携帯情報端末において、編集フィールドを持つ可視状態の口述ウィンドウと、訂正ウィンドウ領域と、追加的な又は代替的なＩＭＥとを有するスクリーンを示す。
【図１０】図４の携帯情報端末において、編集フィールドのない可視状態の口述ウィンドウと、スペル語彙を表示するスペル・モードの訂正ウィンドウ領域とを有するスクリーンを示す。
【図１１】図４の携帯情報端末において、可視状態の口述ウィンドウと、代替候補リスト及び仮想キーボードを有する訂正ウィンドウ領域とを有するスクリーンを示す。
【特許請求の範囲】
【請求項１】
ハンドヘルド携帯装置のための音声入力メソッド・エディタのアーキテクチャであって、口述領域ウィンドウを含むグラフィカル・ユーザ・インターフェースと、口述領域ウィンドウにおいて口述テキストを追加し、編集するための音声入力メソッド・エディタと、口述テキストを選択的に受け取るユーザのためのターゲット・アプリケーションと、音声入力メソッド・エディタを非作動状態にすることなく口述テキストを編集することが可能な少なくとも１つの代替入力メソッド・エディタと、を含むアーキテクチャ。
【請求項２】
音声入力メソッド・エディタは、編集済み口述テキストを、当該音声入力メソッド・エディタ及び代替入力メソッド・エディタの少なくとも１つからターゲット・アプリケーションに転送し、音声入力メソッド・エディタは作動状態のままに保たれる、請求項１に記載のアーキテクチャ。
【請求項３】
音声入力メソッド・エディタは、代替入力メソッド・エディタが口述テキストを編集するときに可視状態に保たれる音声入力メソッド・エディタ・ウィンドウをさらに含む、請求項１又は請求項２に記載のアーキテクチャ。
【請求項４】
音声入力メソッド・エディタと対話する入力メソッド・マネージャをさらに含む、請求項１、請求項２、又は請求項３に記載のアーキテクチャ。
【請求項５】
入力メソッド・マネージャは、ターゲット・アプリケーション及びデータ・フィールドと対話する、請求項４に記載のアーキテクチャ。
【請求項６】
入力メソッド・マネージャ及び音声入力メソッド・エディタは、ターゲット・フィールド及びターゲット・アプリケーションの少なくとも１つから状態情報をターゲット・アプリケーションに転送する、請求項５に記載のアーキテクチャ。
【請求項７】
状態情報は、選択範囲、選択テキスト、キャレット位置、マウス・イベント、及びクリップボード・イベントで構成される群から選択される、請求項６に記載のアーキテクチャ。
【請求項８】
音声入力メソッド・エディタは、ハンドヘルド携帯装置のユーザが音声入力メソッド・エディタ内のテキストを管理することを可能にする、請求項６に記載のアーキテクチャ。
【請求項９】
代替入力メソッド・エディタは、音声入力メソッド・エディタによって生成された口述テキストを編集することが可能である、請求項６に記載のアーキテクチャ。
【請求項１０】
マイクロフォン状態／トグル・ボタン、拡張機能アクセス・ボタン、及びボリューム・レベル情報インジケータのうちの少なくとも１つを有する音声ツールバーと、口述テキストがターゲット・アプリケーションに転送されるまで一時的口述ターゲットとして用いられる選択可能な口述ウィンドウ領域と、口述された単語を訂正するための代替候補リスト、アルファベット、スペースバー、スペル・モード・リマインダ、及び仮想キーボードを含む選択可能な機能のうちの少なくとも１つを備える選択可能な訂正ウィンドウ領域とを含み、選択可能な訂正ウィンドウ領域を使用し、かつ、口述テキストをターゲット・アプリケーションに転送している間、作動状態のままに保たれる音声入力メソッド・エディタ。
【請求項１１】
音声入力メソッド・エディタを使用している間、選択可能な口述ウィンドウ領域又はターゲット・アプリケーションの少なくとも１つにおいて非音声編集を可能にするのに用いられる代替入力メソッド・エディタ・ウィンドウをさらに含む、請求項１０に記載の音声入力メソッド・エディタ。
【請求項１２】
選択可能な口述ウィンドウ領域が非選択モードにあるときは、口述テキストが自動的にターゲット・アプリケーションに転送される、請求項１０又は請求項１１に記載の音声入力メソッド・エディタ。
【請求項１３】
選択可能な訂正ウィンドウ領域が非表示状態と可視状態との間で切り換えられる、請求項１０、請求項１１、又は請求項１２に記載の音声入力メソッド・エディタ。
【請求項１４】
音声入力メソッド・エディタを非作動状態にすることなく、編集済み口述テキストを音声入力メソッド・エディタ及び代替入力メソッド・エディタ・ウィンドウの少なくとも１つからターゲット・アプリケーションに転送する、請求項１１、請求項１２、又は請求項１３に記載の音声入力メソッド・エディタ。
【請求項１５】
ハンドヘルド携帯情報端末内のアプリケーションである、請求項１０から請求項１４までのいずれか１つの請求項に記載の音声入力メソッド・エディタ。
【請求項１６】
ハンドヘルド携帯装置のための音声入力編集の方法であって、認識済みテキストを受け取るステップと、口述ウィンドウが可視状態の場合には認識済みテキストを口述ウィンドウに入力するステップと、口述ウィンドウが非表示状態の場合には認識済みテキストをターゲット・アプリケーションに直接入力するステップとを含む方法。
【請求項１７】
音声入力メソッド・エディタ及び少なくとも１つの代替入力メソッド・エディタを用いて口述ウィンドウの認識済みテキストを編集するステップをさらに含み、代替入力メソッド・エディタによる編集が、音声入力メソッド・エディタによる編集と同時に実行される、請求項１６に記載の方法。
【請求項１８】
少なくとも１つの代替入力メソッド・エディタを用いて編集するステップが、関連するウィンドウを作動状態にするステップをさらに含む、請求項１７に記載の方法。
【請求項１９】
音声入力メソッド・エディタを用いて、編集された認識済みテキストをターゲット・アプリケーションに転送するステップをさらに含む、請求項１７に記載の方法。
【請求項２０】
転送するステップが、１）編集された認識済みテキストをターゲット・アプリケーションの挿入ポイントに挿入するステップ、２）編集された認識済みテキストをターゲット・アプリケーションの挿入ポイントに挿入し、口述ウィンドウを消去するステップ、３）ターゲット・アプリケーションの消去されることになる領域を選択し、次いで、編集された認識済みテキストをターゲット・アプリケーションの挿入ポイントに挿入するステップ、及び、４）編集された認識済みテキストをターゲット・アプリケーションの挿入ポイントに挿入し、口述ウィンドウを消去し、選択カーソルをターゲット・アプリケーションの入力シーケンスにおける次の文書又はフィールドに移動させるステップ、から選択されるステップを含む、請求項１９に記載の方法。
【請求項２１】
機械によって実行可能な複数のコード・セクションを有し、認識済みテキストを受け取るステップと、口述ウィンドウが可視状態の場合には、認識済みテキストを口述ウィンドウに入力し、音声入力メソッド・エディタ及び少なくとも１つの代替入力メソッド・エディタを用いて口述ウィンドウにおける認識済みテキストの編集を可能にするステップであって、代替入力メソッド・エディタによる編集が音声入力メソッド・エディタを非作動状態にしないステップと、口述ウィンドウが非表示状態の場合には認識済みテキストをターゲット・アプリケーションに直接入力するステップとを機械に行わせるためのコンピュータ・プログラムが記憶された機械可読ストレージ。
【請求項１】
ハンドヘルド携帯装置のための音声入力メソッド・エディタのアーキテクチャであって、口述領域ウィンドウを含むグラフィカル・ユーザ・インターフェースと、口述領域ウィンドウにおいて口述テキストを追加し、編集するための音声入力メソッド・エディタと、口述テキストを選択的に受け取るユーザのためのターゲット・アプリケーションと、音声入力メソッド・エディタを非作動状態にすることなく口述テキストを編集することが可能な少なくとも１つの代替入力メソッド・エディタと、を含むアーキテクチャ。
【請求項２】
音声入力メソッド・エディタは、編集済み口述テキストを、当該音声入力メソッド・エディタ及び代替入力メソッド・エディタの少なくとも１つからターゲット・アプリケーションに転送し、音声入力メソッド・エディタは作動状態のままに保たれる、請求項１に記載のアーキテクチャ。
【請求項３】
音声入力メソッド・エディタは、代替入力メソッド・エディタが口述テキストを編集するときに可視状態に保たれる音声入力メソッド・エディタ・ウィンドウをさらに含む、請求項１又は請求項２に記載のアーキテクチャ。
【請求項４】
音声入力メソッド・エディタと対話する入力メソッド・マネージャをさらに含む、請求項１、請求項２、又は請求項３に記載のアーキテクチャ。
【請求項５】
入力メソッド・マネージャは、ターゲット・アプリケーション及びデータ・フィールドと対話する、請求項４に記載のアーキテクチャ。
【請求項６】
入力メソッド・マネージャ及び音声入力メソッド・エディタは、ターゲット・フィールド及びターゲット・アプリケーションの少なくとも１つから状態情報をターゲット・アプリケーションに転送する、請求項５に記載のアーキテクチャ。
【請求項７】
状態情報は、選択範囲、選択テキスト、キャレット位置、マウス・イベント、及びクリップボード・イベントで構成される群から選択される、請求項６に記載のアーキテクチャ。
【請求項８】
音声入力メソッド・エディタは、ハンドヘルド携帯装置のユーザが音声入力メソッド・エディタ内のテキストを管理することを可能にする、請求項６に記載のアーキテクチャ。
【請求項９】
代替入力メソッド・エディタは、音声入力メソッド・エディタによって生成された口述テキストを編集することが可能である、請求項６に記載のアーキテクチャ。
【請求項１０】
マイクロフォン状態／トグル・ボタン、拡張機能アクセス・ボタン、及びボリューム・レベル情報インジケータのうちの少なくとも１つを有する音声ツールバーと、口述テキストがターゲット・アプリケーションに転送されるまで一時的口述ターゲットとして用いられる選択可能な口述ウィンドウ領域と、口述された単語を訂正するための代替候補リスト、アルファベット、スペースバー、スペル・モード・リマインダ、及び仮想キーボードを含む選択可能な機能のうちの少なくとも１つを備える選択可能な訂正ウィンドウ領域とを含み、選択可能な訂正ウィンドウ領域を使用し、かつ、口述テキストをターゲット・アプリケーションに転送している間、作動状態のままに保たれる音声入力メソッド・エディタ。
【請求項１１】
音声入力メソッド・エディタを使用している間、選択可能な口述ウィンドウ領域又はターゲット・アプリケーションの少なくとも１つにおいて非音声編集を可能にするのに用いられる代替入力メソッド・エディタ・ウィンドウをさらに含む、請求項１０に記載の音声入力メソッド・エディタ。
【請求項１２】
選択可能な口述ウィンドウ領域が非選択モードにあるときは、口述テキストが自動的にターゲット・アプリケーションに転送される、請求項１０又は請求項１１に記載の音声入力メソッド・エディタ。
【請求項１３】
選択可能な訂正ウィンドウ領域が非表示状態と可視状態との間で切り換えられる、請求項１０、請求項１１、又は請求項１２に記載の音声入力メソッド・エディタ。
【請求項１４】
音声入力メソッド・エディタを非作動状態にすることなく、編集済み口述テキストを音声入力メソッド・エディタ及び代替入力メソッド・エディタ・ウィンドウの少なくとも１つからターゲット・アプリケーションに転送する、請求項１１、請求項１２、又は請求項１３に記載の音声入力メソッド・エディタ。
【請求項１５】
ハンドヘルド携帯情報端末内のアプリケーションである、請求項１０から請求項１４までのいずれか１つの請求項に記載の音声入力メソッド・エディタ。
【請求項１６】
ハンドヘルド携帯装置のための音声入力編集の方法であって、認識済みテキストを受け取るステップと、口述ウィンドウが可視状態の場合には認識済みテキストを口述ウィンドウに入力するステップと、口述ウィンドウが非表示状態の場合には認識済みテキストをターゲット・アプリケーションに直接入力するステップとを含む方法。
【請求項１７】
音声入力メソッド・エディタ及び少なくとも１つの代替入力メソッド・エディタを用いて口述ウィンドウの認識済みテキストを編集するステップをさらに含み、代替入力メソッド・エディタによる編集が、音声入力メソッド・エディタによる編集と同時に実行される、請求項１６に記載の方法。
【請求項１８】
少なくとも１つの代替入力メソッド・エディタを用いて編集するステップが、関連するウィンドウを作動状態にするステップをさらに含む、請求項１７に記載の方法。
【請求項１９】
音声入力メソッド・エディタを用いて、編集された認識済みテキストをターゲット・アプリケーションに転送するステップをさらに含む、請求項１７に記載の方法。
【請求項２０】
転送するステップが、１）編集された認識済みテキストをターゲット・アプリケーションの挿入ポイントに挿入するステップ、２）編集された認識済みテキストをターゲット・アプリケーションの挿入ポイントに挿入し、口述ウィンドウを消去するステップ、３）ターゲット・アプリケーションの消去されることになる領域を選択し、次いで、編集された認識済みテキストをターゲット・アプリケーションの挿入ポイントに挿入するステップ、及び、４）編集された認識済みテキストをターゲット・アプリケーションの挿入ポイントに挿入し、口述ウィンドウを消去し、選択カーソルをターゲット・アプリケーションの入力シーケンスにおける次の文書又はフィールドに移動させるステップ、から選択されるステップを含む、請求項１９に記載の方法。
【請求項２１】
機械によって実行可能な複数のコード・セクションを有し、認識済みテキストを受け取るステップと、口述ウィンドウが可視状態の場合には、認識済みテキストを口述ウィンドウに入力し、音声入力メソッド・エディタ及び少なくとも１つの代替入力メソッド・エディタを用いて口述ウィンドウにおける認識済みテキストの編集を可能にするステップであって、代替入力メソッド・エディタによる編集が音声入力メソッド・エディタを非作動状態にしないステップと、口述ウィンドウが非表示状態の場合には認識済みテキストをターゲット・アプリケーションに直接入力するステップとを機械に行わせるためのコンピュータ・プログラムが記憶された機械可読ストレージ。
【公表番号】特表２００７−５２８０３７（Ｐ２００７−５２８０３７Ａ）
【公表日】平成１９年１０月４日（２００７．１０．４）
【国際特許分類】
【出願番号】特願２００６−５０８３０２（Ｐ２００６−５０８３０２）
【出願日】平成１６年５月１８日（２００４．５．１８）
【国際出願番号】ＰＣＴ／ＥＰ２００４／０５０８３１
【国際公開番号】ＷＯ２００４／１０７３１５
【国際公開日】平成１６年１２月９日（２００４．１２．９）
【出願人】（３９０００９５３１）インターナショナル・ビジネス・マシーンズ・コーポレーション (4,084)
【氏名又は名称原語表記】ＩＮＴＥＲＮＡＴＩＯＮＡＬ ＢＵＳＩＮＥＳＳ ＭＡＳＣＨＩＮＥＳ ＣＯＲＰＯＲＡＴＩＯＮ
【Ｆターム（参考）】
【公表日】平成１９年１０月４日（２００７．１０．４）
【国際特許分類】
【出願日】平成１６年５月１８日（２００４．５．１８）
【国際出願番号】ＰＣＴ／ＥＰ２００４／０５０８３１
【国際公開番号】ＷＯ２００４／１０７３１５
【国際公開日】平成１６年１２月９日（２００４．１２．９）
【出願人】（３９０００９５３１）インターナショナル・ビジネス・マシーンズ・コーポレーション (4,084)
【氏名又は名称原語表記】ＩＮＴＥＲＮＡＴＩＯＮＡＬ ＢＵＳＩＮＥＳＳ ＭＡＳＣＨＩＮＥＳ ＣＯＲＰＯＲＡＴＩＯＮ
【Ｆターム（参考）】
[ Back to top ]