文字入力装置および文字入力方法
【課題】マークアップ情報の設定操作をより少ない負担で行うことができる文字入力装置を提供すること。
【解決手段】キー操作を受け付け、受け付けたキー操作に対応するテキスト情報を出力するキー入力系統部２００と、音声の入力を受け付け、入力した音声に対応するマークアップ情報を出力する音声入力系統部３００とを有し、キー入力系統部２００は、キー操作のタイミングを示すキー操作同期情報を、当該キー操作に対応して出力されるテキスト情報に付加し、音声入力系統部３００は、音声の入力のタイミングを示す音声入力同期情報を、当該音声に対応して出力されるマークアップ情報に付加する。
【解決手段】キー操作を受け付け、受け付けたキー操作に対応するテキスト情報を出力するキー入力系統部２００と、音声の入力を受け付け、入力した音声に対応するマークアップ情報を出力する音声入力系統部３００とを有し、キー入力系統部２００は、キー操作のタイミングを示すキー操作同期情報を、当該キー操作に対応して出力されるテキスト情報に付加し、音声入力系統部３００は、音声の入力のタイミングを示す音声入力同期情報を、当該音声に対応して出力されるマークアップ情報に付加する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、キー操作によるテキスト情報の入力と、音声によるマークアップ情報の入力とを受け付ける、文字入力装置および文字入力方法に関する。
【背景技術】
【０００２】
電子メールを始めとするテキスト情報によるコミュニケーションツールは、その登場以来、非常に広範囲で利用されている。更に、近年では、テキストに対する表示制御の内容を指定する情報（以下「マークアップ情報」という）を付加したテキスト情報をやり取りすることが、頻繁に行われている。マークアップ情報が指定する内容には、例えば、表示の際の文字のサイズ、フォント、および色や、動く絵文字あるいはハイパーリンクへの置き換えが含まれる。
【０００３】
マークアップ情報が付加されたテキスト情報（以下、適宜「マークアップ付きテキスト情報」という）は、デスクトップ型あるいはノート型のパーソナルコンピュータなどの装置を用いた場合、比較的容易に作成することができる。
【０００４】
ところが、携帯電話機などの小型の装置では、マークアップ付きテキスト情報を作成することが比較的困難である。なぜなら、このような小型の装置では、配置可能なキー数や大きさが制限されており、テキスト情報を入力するためのキー操作およびマークアップ情報を入力するためのキー操作に、時間と手間が掛かるからである。
【０００５】
そこで、例えば、特許文献１には、マークアップ付きテキスト情報の作成のための操作の一部を、音声入力により行うようにする技術が、記載されている。
【０００６】
特許文献１に記載の技術（以下「従来技術」という）は、入力音声に対する音声認識処理を行い、入力したテキスト情報におけるカーソルの移動の命令を、音声により受け付ける。このような従来技術は、マークアップ情報を付加する位置の指定を、キー操作ではなく音声により受け付けることができるので、その分のユーザの操作負担を軽減することができる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平１０−３１２２６５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、従来技術は、マークアップ情報の入力操作や、マークアップ情報のテキスト情報に対する対応付けの操作（以下「マークアップ情報の設定操作」と総称する）の負担を、十分に軽減することができないという課題を有する。なぜなら、従来技術は、テキスト情報が入力された後に、音声による位置指定入力と、位置指定後のキー操作によるマークアップ情報の入力とを、行わなければならないからである。
【０００９】
本発明の目的は、マークアップ情報の設定操作をより少ない負担で行うことができる文字入力装置および文字入力方法を提供することである。
【課題を解決するための手段】
【００１０】
本発明の文字入力装置は、キー操作を受け付け、受け付けた前記キー操作に対応するテキスト情報を出力するキー入力系統部と、音声の入力を受け付け、入力した前記音声に対応するマークアップ情報を出力する音声入力系統部とを有し、前記キー入力系統部は、前記キー操作のタイミングを示すキー操作同期情報を、当該キー操作に対応して出力される前記テキスト情報に付加し、前記音声入力系統部は、前記音声の入力のタイミングを示す音声入力同期情報を、当該音声に対応して出力される前記マークアップ情報に付加する。
【００１１】
本発明の文字入力方法は、キー操作を受け付けるステップと、受け付けた前記キー操作のタイミングを示すキー操作同期情報を、当該キー操作に対応するテキスト情報に付加するステップと、前記キー操作同期情報が付加された前記テキスト情報を出力するステップと、音声の入力を受け付けるステップと、入力した前記音声の入力のタイミングを示す音声入力同期情報を、当該音声に対応するマークアップ情報に付加するステップと、前記音声入力同期情報が付加された前記マークアップ情報を出力するステップとを有する。
【発明の効果】
【００１２】
本発明によれば、マークアップ情報の設定操作をより少ない負担で行うことができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施の形態１に係る文字入力装置の構成の一例を示すブロック図
【図２】本発明の実施の形態２に係る文字入力装置の構成を示すブロック図
【図３】本発明の実施の形態２におけるマークアップ用認識辞書の内容の一例を示す図
【図４】本発明の実施の形態２におけるマークアップ命令表の内容の一例を示す図
【図５】本発明の実施の形態２における対応ルールの内容の一例を示す図
【図６】本発明の実施の形態２における文字型定義の一例を示す図
【図７】本発明の実施の形態２における文字列の表示状態の一例を示す図
【図８】本発明の実施の形態２におけるマークアップテキストの一例を示す図
【図９】本発明の実施の形態２に係る文字入力装置の動作の一例を示すフローチャート
【図１０】本発明の実施の形態２におけるキー操作受付処理の一例を示すフローチャート
【図１１】本発明の実施の形態２におけるキー操作開始タイミングの一例を示す図
【図１２】本発明の実施の形態２におけるアルファベットテキスト情報の同期情報付きテキスト情報の内容の一例を示す図
【図１３】本発明の実施の形態２における仮名テキスト情報の同期情報付きテキスト情報の内容の一例を示す図
【図１４】本発明の実施の形態２における漢字仮名テキスト情報の同期情報付きテキスト情報の内容の一例を示す図
【図１５】本発明の実施の形態２における音声入力受付処理の一例を示すフローチャート
【図１６】本発明の実施の形態２における音声入力開始タイミングの一例を示す図
【図１７】本発明の実施の形態２における入力タイミングが付加された読み情報の内容の一例を示す図
【図１８】本発明の実施の形態２における入力タイミングが付加された音声タグ情報の内容の一例を示す図
【図１９】本発明の実施の形態２における同期情報付きマークアップタグの内容の一例を示す図
【図２０】本発明の実施の形態２における同期・自動補正処理の一例を示すフローチャート
【図２１】本発明の実施の形態２における音声入力開始タイミングの他の例を示す図
【図２２】本発明の実施の形態２の変形例１におけるタグ挿入可能位置および音声入力タイミングの例を示す図
【図２３】本発明の実施の形態２の変形例２におけるマークアップ用認識辞書兼命令表の内容の一例を示す図
【図２４】本発明の実施の形態２の変形例３におけるマークアップ用認識辞書兼命令表の内容の一例を示す図
【図２５】本発明の実施の形態２の変形例３における対応ルールの内容の一例を示す図
【図２６】本発明の実施の形態２の変形例３における音声入力開始タイミングおよび音声入力終了タイミングの一例を示す図
【発明を実施するための形態】
【００１４】
以下、本発明の各実施の形態について、図面を参照して詳細に説明する。
【００１５】
（実施の形態１）
本発明の実施の形態１は、本発明の基本的態様の一例である。
【００１６】
図１は、本実施の形態に係る文字入力装置の構成の一例を示すブロック図である。
【００１７】
図１において、文字入力装置１００は、キー入力系統部２００および音声入力系統部３００を有する。
【００１８】
キー入力系統部２００は、キー操作を受け付け、受け付けたキー操作に対応するテキスト情報を出力する。また、キー入力系統部２００は、キー操作のタイミングを示すキー操作同期情報を、当該キー操作に対応して出力されるテキスト情報に付加する。
【００１９】
音声入力系統部３００は、音声の入力を受け付け、入力した音声に対応するマークアップ情報を出力する。また、音声入力系統部３００は、音声の入力のタイミングを示す音声入力同期情報を、当該音声に対応して出力されるマークアップ情報に付加する。
【００２０】
文字入力装置１００は、例えば、ＣＰＵ（Central Processing Unit）、制御プログラムを格納したＲＯＭ（Read Only Memory）などの記憶媒体、およびＲＡＭ（Random Access Memory）などの作業用メモリを有する。この場合、上述の各機能部は、ＣＰＵが制御プログラムを実行することにより実現される。
【００２１】
このような文字入力装置１００は、テキスト情報にキー操作のタイミングを示すキー操作同期情報を付加してこれを出力し、マークアップ情報に音声入力のタイミングを示す音声入力同期情報を付加してこれを出力することができる。これにより、文字入力装置１００は、テキスト情報と音声入力されたマークアップ情報とを、それぞれの入力タイミングに基づいて対応付けることを可能にするので、マークアップ情報の設定操作をより少ない負担で行うことを可能にする。
【００２２】
（実施の形態２）
本発明の実施の形態２は、本発明を、ＸＭＬ（Extensible Markup Language）によるマークアップテキストを生成する、スマートホンなどの携帯端末に適用した態様の一例である。本実施の形態において、マークアップ情報は、マークアップタグである。
【００２３】
まず、本実施の形態に係る文字入力装置の構成について説明する。
【００２４】
図２は、本実施の形態に係る文字入力装置の構成を示すブロック図である。ここでは、各機能部間を伝送される各種情報についても併せて図示する。
【００２５】
図２において、文字入力装置１００は、キー入力系統部２００、音声入力系統部３００、および同期・自動補正部４００を有する。
【００２６】
キー入力系統部２００は、キー操作を受け付け、受け付けたキー操作に対応するテキスト情報を、後述の同期・自動補正部４００へ出力する。キー入力系統部２００は、キー入力部２２０および文字変換部２３０を有する。
【００２７】
キー入力部２２０は、例えば、複数の物理的なキースイッチまたはソフトウェアによるキースイッチを有し、文字キーが操作されたとき、対応するテキスト情報を、文字変換部２３０へ出力する。また、キー入力部２２０は、テキスト情報の文字変換のための機能キーが操作されたとき、変換操作を示す変換操作情報を、文字変換部２３０へ出力する。更に、キー入力部２２０は、テキスト情報の変換確定操作のための機能キーが操作されたとき、確定操作を示す確定操作情報を、文字変換部２３０へ出力する。なお、キー入力部２２０は、物理的なキーボードではなく、ソフトウエアキーボードであってもよい。
【００２８】
ここでは、キー入力部２２０は、操作された文字キーに対応するアルファベットテキスト情報を、出力するものとする。なお、アルファベットテキスト情報とは、アルファベットのテキスト情報のみならず、記号のテキスト情報をも含む概念とする。
【００２９】
文字変換部２３０は、キー入力部２２０から入力されるテキスト情報（以下「変換前テキスト情報」という）に対し、キー入力部２２０から入力される変換操作情報に従って、文字変換処理を行う。文字変換部２３０は、キー操作同期情報付加部２１０を有する。
【００３０】
キー操作同期情報付加部２１０は、変換前テキスト情報が入力されるごとに、そのテキスト情報およびその入力タイミング（時間情報）を記録する。入力タイミングは、例えば、時刻や、基準時刻からの経過時間で表される。そして、キー操作同期情報付加部２１０は、文字変換処理により得られたテキスト情報（以下「変換後テキスト情報」という）に対して、構成単位ごとに、変換前テキスト情報の入力タイミングを示すキー操作同期情報を付加する。
【００３１】
ここで、構成単位とは、テキスト情報を構成する文字の単位である。例えば、アルファベットテキスト情報の構成単位はアルファベット１文字であり、仮名テキスト情報の構成単位は仮名１文字であり、仮名漢字テキスト情報の構成単位は１文節である。
【００３２】
すなわち、キー入力系統部２００は、変換後テキスト情報にキー操作同期情報が付加された情報である同期情報付きテキスト情報５１０を、同期・自動補正部４００へ出力する。
【００３３】
なお、本実施の形態において、文字変換部２３０は、アルファベットテキスト情報、仮名テキスト情報、および仮名漢字テキスト情報という、３階層についてのテキスト情報を、出力するものとする。仮名テキスト情報は、アルファベットテキスト情報に対してローマ字仮名変換を行って得られる情報である。仮名漢字テキスト情報は、仮名テキスト情報に対して仮名漢字変換を行って得られる情報である。
【００３４】
そして、キー操作同期情報付加部２１０は、３階層のテキスト情報の全てにおいて、各構成単位に対して、対応する変換前テキスト情報の入力開始タイミングを、キー操作開始タイミングとして付加する。また、キー操作同期情報付加部２１０は、３階層のテキスト情報の全てにおいて、各構成単位に対して、対応する変換前テキスト情報の入力終了タイミングを、キー操作終了タイミングとして付加する。
【００３５】
また、二度打ち、長押し、シフトキーとの併用などでアルファベットが入力される場合がある。この場合、キー操作同期情報付加部２１０は、最初に文字キーが打鍵された時間を入力開始タイミングとし、最後に文字キーがリリースされた時間を入力終了タイミングとしてもよい。例えば、「Ｋ」を入力するために、シフトキーが打鍵された後に、「ｋ」キーが打鍵され、「ｋ」キーがリリースされ、シフトキーがリリースされたとする。この場合、キー操作同期情報付加部２１０は、例えば、「ｋ」キーが打鍵された時刻を「Ｋ」の入力開始タイミングとし、「ｋ」キーがリリースされた時刻を、入力終了タイミングとする。なお、キー操作同期情報付加部２１０は、シフトキーが打鍵された時刻を「Ｋ」の入力開始タイミングとし、シフトキーがリリースされた時刻を、入力終了タイミングとしてもよい。
【００３６】
音声入力系統部３００は、音声の入力を受け付け、入力した音声に対応するマークアップタグを出力する。より具体的には、音声入力系統部３００は、一まとまりのテキスト情報に対して、音声信号の入力を受け付け、入力された音声信号を、マークアップタグに変換して出力する。すなわち、音声入力系統部３００は、一まとまりのテキスト情報（以下「地の文章」という）に対するマークアップ指示を、ユーザからの音声により入力する。音声入力系統部３００は、音声入力部３２０、マークアップ用音声認識部３３０、およびマークアップ命令変換部３４０を有する。
【００３７】
音声入力部３２０は、例えばマイクロホンを含み、ユーザの発話音声を収録し、収録した音声の信号をマークアップ用音声認識部３３０へ出力する。
【００３８】
マークアップ用音声認識部３３０は、マークアップ用認識辞書５２０を用いて、音声入力部３２０から入力された音声信号に対する音声認識処理を行う。これにより、マークアップ用音声認識部３３０は、音声信号を、マークアップ用の音声タグに変換する。マークアップ用認識辞書５２０は、音声信号が示す音韻情報の音声タグへの変換ルールを規定した辞書である。
【００３９】
図３は、マークアップ用認識辞書５２０の内容の一例を示す図である。
【００４０】
図３に示すように、マークアップ用認識辞書５２０は、情報ＩＤ５２１が割り当てられた読み（音韻情報）５２２に対応づけて、音声タグ（例えば、テキスト情報）５２３を記述している。マークアップ用認識辞書５２０には、例えば、「あか」という読み５２２に対応付けて、「赤」を示す音声タグ５２３が記述されている。これは、「あか」という読みの音声信号が入力されたとき、「赤」を示す音声タグを出力すべきことを示す。
【００４１】
そして、図２のマークアップ用音声認識部３３０は、得られた音声タグを、マークアップ命令変換部３４０へ出力する。マークアップ用音声認識部３３０は、音声入力同期情報付加部３１０を有する。
【００４２】
音声入力同期情報付加部３１０は、発話音声の音声信号（以下、単に「音声信号」という）の入力が開始されるごとに、その音声信号およびその音声入力開始タイミングを記録する。音声入力開始タイミングは、例えば、時刻や、基準時刻からの経過時間で表される。そして、音声入力同期情報付加部３１０は、記録内容に基づき、各音声タグに対して、対応する音声信号の音声入力開始タイミングを示す音声入力同期情報を付加する。
【００４３】
なお、音声入力同期情報付加部３１０は、例えば、音声信号に対してノイズ除去処理を行い、処理後の音声信号が示す値を監視することにより、音声信号の区間（つまり発声区間）を検出する。また、音声入力同期情報付加部３１０は、例えば、マークアップ用音声認識部３３０が実際の音素を認識した区間を、音声信号区間としてもよい。
【００４４】
マークアップ命令変換部３４０は、音声入力により入力された一まとまりの発話音声に対応する１つの音声タグを、１つのマークアップタグに変換する。具体的には、マークアップ命令変換部３４０は、マークアップ命令表５３０を用いて、マークアップ用音声認識部３３０から入力された音声タグに対し、マークアップ命令を示すマークアップタグに変換するマークアップ命令変換処理を行う。マークアップ命令表５３０は、音声タグに応じて、どのようなマークアップタグを挿入するかを規定するルールである。なお、本実施の形態において、マークアップタグは、ＸＭＬタグである。
【００４５】
図４は、マークアップ命令表５３０の内容の一例を示す図である。
【００４６】
図４に示すように、マークアップ命令表５３０は、情報ＩＤ５３１が割り当てられた音声タグ５３２に対応付けて、マークアップタグ５３３を記述している。音声タグ５３２は、マークアップ用認識辞書５２０の音声タグ５２３（図３参照）に対応している。マークアップ命令表５３０には、例えば、「赤」を示す音声タグ５３２に対応付けて、「＜ｆｏｎｔ ｃｏｌｏｒ＝“ｒｅｄ”＞」というマークアップタグ５３３が記述されている。
【００４７】
なお、「赤」および「黒」を示す音声タグ５３２に対応するマークアップタグ５３３の種類は、マークアップの開始点を指定するためのタグ（以下「開始タグ」という）である。また、「終わり」を示す音声タグ５３２に対応するマークアップタグ５３３の種類は、マークアップの終了点を指定するためのタグ（以下「終了タグ」という）である。
【００４８】
本実施の形態において、マークアップタグ（音声タグ）は、開始タグと終了タグとで対になっているものとする。
【００４９】
そして、図２のマークアップ命令変換部３４０は、得られたマークアップタグに、対応する音声タグに付加されていた音声入力同期情報を付加して、出力する。
【００５０】
すなわち、音声入力系統部３００は、音声認識処理およびマークアップ命令変換処理により得られたマークアップ命令に音声入力同期情報を付加した、同期情報付きマークアップタグ５４０を、同期・自動補正部４００へ出力する。この音声入力同期情報は、マークアップタグに変換された上記一まとまりの発話音声の、入力開始タイミングを示すことになる。
【００５１】
なお、マークアップ用認識辞書５２０およびマークアップ命令表５３０は、例えば、マークアップ型定義データ５５０に基づいて、認識辞書生成装置６００において生成される。この場合、音声入力系統部３００は、例えば、通信ネットワークを介して認識辞書生成装置６００にアクセスし、マークアップ用認識辞書５２０およびマークアップ命令表５３０を取得して、保持する。また、マークアップ用認識辞書５２０およびマークアップ命令表５３０は、ユーザまたはオペレータなどにより直接作成されたものであってもよい。
【００５２】
図２の同期・自動補正部４００は、キー操作および音声入力を行うユーザにとっての、キー操作のタイミングと前記音声入力のタイミングとの対応関係を規定する対応ルールを、予め格納する。そして、同期・自動補正部４００は、テキスト情報とマークアップタグとを、これらに付加されたキー操作同期情報および音声入力同期情報と、対応ルールが示す対応関係とに従って、対応付けて出力する。
【００５３】
すなわち、同期・自動補正部４００は、キー入力系統部２００から入力された同期情報付きテキスト情報５１０と、音声入力系統部３００から入力された同期情報付きマークアップタグ５４０とを、対応ルールに従って、適切に組み合わせる。そして、同期・自動補正部４００は、その組み合わせに従って変換後テキスト情報にマークアップタグを挿入し、マークアップテキスト５６０を生成する。
【００５４】
なお、同期・自動補正部４００は、必要に応じて、キー操作同期情報および音声入力同期情報の少なくとも一方を補正し、補正後に、テキスト情報とマークアップタグとを時間軸に沿って単純に対応付けてもよい。この補正については、別途、後述の変形例１として説明する。
【００５５】
図５は、対応ルールの内容の一例を示す図である。
【００５６】
図５に示すように、対応ルール５７０は、マークアップタグの種類５７１ごとに、優先順位５７２が割り当てられた対応付けの条件５７３を記述している。対応付けの条件５７３は、各テキスト情報（構成単位）にマークアップタグを対応付けるための条件である。
【００５７】
対応ルール５７０には、例えば、「開始タグ」というマークアップタグの種類５７１に対応付けて、「音声入力開始タイミングの直後の第１の時間内の区間に、・・・が存在」という対応付けの条件５７３が記述されている。これは、開始タグの音声入力開始タイミングの直後の第１の時間内の区間に、仮名漢字テキスト情報のいずれかの構成単位のキー操作開始タイミングが存在した場合、当該マークアップタグと当該構成単位とを対応付けることを意味する。
【００５８】
また、この対応付けの条件５７３には、「１」という優先順位５７２が割り当てられている。この優先順位５７２は、最優先に判断すべき条件であって、下位の条件を判断対象としないことを意味する。
【００５９】
なお、図５の第１〜第６の時間は、例えば、第１の時間を最大値とし、この順序で小さくなる値がそれぞれに設定される。また、図５の第７〜第１２の時間は、例えば、第７の時間を最大値とし、この順序で小さくなる値がそれぞれに設定される。
【００６０】
図２の同期・自動補正部４００は、例えば、生成したマークアップテキスト５６０を解釈するテキストアプリ７００へ出力する。
【００６１】
テキストアプリ７００は、液晶ディスプレイなどの表示装置（図示せず）を用いて、テキスト情報を画像表示する表示部である。また、テキストアプリ７００は、テキスト情報にマークアップタグが対応付けられている場合、当該マークアップタグに従ってテキスト画像の表示状態を制御する表示部である。すなわち、テキストアプリ７００は、文章エディタ（ワープロ）や、ウェブブラウザやテキストビューワなどの、文字を扱うアプリケーション一般である。本実施の形態において、テキストアプリ７００は、電子メールアプリを想定している。
【００６２】
図６は、テキストアプリ７００が扱う文字型定義（ＤＴＤ：Document Type Definition）の内容の一例を示す図である。
【００６３】
図６に示すように、文字型定義５８０は、「ｆｏｎｔ」というマークアップタグにより、文字の色の指定が可能（赤または黒）であり、指定がない場合は黒で表示する内容となっている。
【００６４】
文字入力装置１００は、例えば、ＣＰＵ、制御プログラムを格納したＲＯＭなどの記憶媒体、およびＲＡＭなどの作業用メモリを有する。この場合、上述の各機能部は、ＣＰＵが制御プログラムを実行することにより実現される。
【００６５】
このように、本実施の形態に係る文字入力装置１００は、キー操作によりテキスト情報の入力を受け付け、音声入力によりマークアップタグの入力を受け付けることができる。そして、文字入力装置１００は、テキスト情報を、キー操作のタイミングを示す情報を付加した状態で出力することができる。更に、文字入力装置１００は、マークアップタグを、音声入力のタイミングを示す情報を付加した状態で出力することができる。
【００６６】
キー操作によるテキスト情報入力と、音声認識処理を用いたマークアップタグ入力とを行う場合、上述の通り、これらの入力された情報の対応付けをどのように行うかが問題となる。理由は、以下の通りである。
【００６７】
例えば、ローマ字入力の後に仮名漢字変換などが行われる日本語入力システムでは、キー操作が行われてから目的とする最終的なテキスト情報が出力されるまでに、時間を要する。日本語入力システム以外では、例えば、非アルファベット圏において、ＩＭＥ（Input Method Editor）によるテキスト変換処理を伴うテキスト情報入力システムでも、同様のことがいえる。そして、特に、携帯端末などでは、テンキーや小さい操作領域でのテキスト入力となるため、目的とするテキスト情報が得られるまでに、比較的長い時間を要する。
【００６８】
また、音声認識処理を用いたマークアップタグの入力では、音声入力が行われてからマークアップタグが出力されるまでには、時間を要する。
【００６９】
これらの、テキスト情報出力までに要する時間、および、マークアップタグ出力までに要する時間は、一定ではなく、状況に応じて変動する。したがって、ユーザが、テキスト情報の出力タイミングとマークアップタグの出力タイミングとが一致するように、キー操作のタイミングおよび音声入力のタイミングを調整することは、難しい。
【００７０】
したがって、テキスト情報のキー操作入力と並行して、そのテキスト情報に対するマークアップタグの入力を、音声入力によって行う場合は、これらをほぼ同時に行うような設定操作が、最も効率が良く、ユーザへの負担も少ないと言える。
【００７１】
そこで、文字入力装置１００は、上述の通り、出力されるテキスト情報にキー操作のタイミングを示すキー操作同期情報が付加し、かつ、出力されるマークアップタグに音声入力のタイミングを示す音声入力同期情報が付加する。このように、テキスト情報およびマークアップタグの両方に付加された同期情報は、ユーザが対応付けたいテキスト情報とマークアップタグとを、容易かつ高精度に特定することを可能にし、上述の効率の良い設定操作を可能にする。したがって、文字入力装置１００は、マークアップタグの設定操作をより少ない負担で行うことを可能にする。
【００７２】
以上で、本実施の形態に係る文字入力装置の構成についての説明を終える。
【００７３】
ここでは、上述のマークアップ用認識辞書５２０およびマークアップ命令表５３０（図３および図４参照）の作成手法の一例について、説明する。
【００７４】
上述の認識辞書生成装置６００は、例えば、マークアップ用認識辞書５２０およびマークアップ命令表５３０を、テキストアプリ７００が扱う文字型定義５８０（図６参照）から、半自動で生成する。
【００７５】
認識辞書生成装置６００は、例えば、文字型定義５８０から、「ｃｏｌｏｒｍａｉｌ」型の文章が、全体を「ｂｏｄｙ」と呼び、「ｂｏｄｙ」の中の文章を「ｆｏｎｔ」というタグでマークアップ可能であることを認識する。
【００７６】
マークアップされた文章は、一般に木構造をとり、ある文章要素（タグで囲まれた部分）は、特定の文章要素の中にしか出現しない。例えば、「ｃｏｌｏｒｍａｉｌ」型の文章は、文章全体が「ｂｏｄｙ」という名前の文章要素１つから成り、その中に、地の文章（＃ＰＣＤＡＴＡ）と、ｆｏｎｔ文章要素が何度も現れる構造を有する。ｆｏｎｔ文章要素の中には、地の文章しか現れない。
【００７７】
認識辞書生成装置６００は、このような知識を予め有し、文字型定義５８０から、「ｆｏｎｔ」というマークアップタグの属性として、「ｒｅｄ」または「ｂｌａｃｋ」を指定可能であると判断する。そして、認識辞書生成装置６００は、その属性のデフォルト値が、「ｂｌａｃｋ」であると判断する。そして、認識辞書生成装置６００は、ユーザから、「ｆｏｎｔ」というマークアップタグや、属性名「ｃｏｌｏｒ」や属性値「ｒｅｄ」、「ｂｌａｃｋ」の発音の設定を受け付ける。これにより、認識辞書生成装置６００は、マークアップ用認識辞書５２０およびマークアップ命令表５３０を自動作成することができる。
【００７８】
以上で、マークアップ用認識辞書５２０およびマークアップ命令表５３０の作成手法の一例についての説明を終える。
【００７９】
次に、文字入力装置１００の動作について説明する。
【００８０】
動作の説明に先立ち、以下の説明において想定する文字列について説明する。
【００８１】
図７は、以下の説明において想定する、表示の対象となる文字列の表示状態を示す図である。
【００８２】
図７に示すように、本実施の形態では、「中止」というマークアップ対象部分８１１のみが赤色のフォントとなっている、「遠足は中止です」という文字列８１２が、表示の対象であるものとする。
【００８３】
この場合、ユーザは、「遠足は」と入力するためのキー操作が完了したタイミングで、「赤」と発声し、続く「中止」と入力するためのキー操作が完了したタイミングで、「終わり」と発声するように操作する。
【００８４】
図８は、図７の文字列８１２を表示するためのマークアップテキストの一例を示す図である。すなわち、図８は、以下の説明において想定する、生成の対象となるマークアップテキストを示す図である。
【００８５】
図８に示すように、生成の対象となるマークアップテキスト８２３は、「＜ｆｏｎｔ ｃｏｌｏｒ＝“ｒｅｄ”＞」というマークアップタグ８２１と、「＜／ｆｏｎｔ＞」というマークアップタグ８２２とに挟まれた「中止」の文字列から成る。
【００８６】
図９は、文字入力装置１００の動作の一例を示すフローチャートである。
【００８７】
図９に示すように、文字入力装置１００は、キー操作受付処理（Ｓ１０００）と、音声入力受付処理（Ｓ２０００）と、同期・自動補正処理（Ｓ３０００）とを、並列に実行する。
【００８８】
キー操作受付処理（Ｓ１０００）は、キー入力系統部２００が、キー操作によるテキスト情報の入力を受け付け、キー操作同期情報を付加して出力する処理である。音声入力受付処理（Ｓ２０００）は、音声入力系統部３００が、入力音声に対応するマークアップタグに、音声入力同期情報を付加して出力する処理である。同期・自動補正処理（Ｓ３０００）は、同期・自動補正部４００が、テキスト情報とマークアップタグとを、キー操作同期情報、音声入力同期情報、および対応ルールに基づいて対応付けて出力する処理である。
【００８９】
なお、各処理の処理順序は、キー操作受付処理（Ｓ１０００）と音声入力受付処理（Ｓ２０００）との間の並列性を保てばよい。したがって、同期・自動補正処理（Ｓ３０００）は、これら２つの処理のいずれかに含まれて実行されてもよい。
【００９０】
図１０は、キー操作受付処理（図９のステップＳ１０００）の一例を示すフローチャートである。
【００９１】
まず、ステップＳ１０１０において、キー入力部２２０は、テキスト情報の入力のためのキー操作があったか否かを判断する。キー入力部２２０は、キー操作がない場合（Ｓ１０１０：ＮＯ）、ステップＳ１０２０へ進む。また、キー入力部２２０は、キー操作があった場合（Ｓ１０１０：ＹＥＳ）、変換前テキスト情報（ここではアルファベットテキスト情報）を文字変換部２３０へ出力して、ステップＳ１０３０へ進む。
【００９２】
ステップＳ１０３０において、文字変換部２３０は、入力された変換前テキスト情報を記録する。
【００９３】
そして、ステップＳ１０４０において、キー操作同期情報付加部２１０は、変換前テキスト情報の入力タイミングを記録して、ステップＳ１０２０へ進む。
【００９４】
ステップＳ１０２０において、キー入力部２２０は、変換未確定のテキスト情報が記録されている状態において、変換操作があったか否かを判断する。キー入力部２２０は、変換操作がない場合（Ｓ１０２０：ＮＯ）、ステップＳ１０５０へ進む。また、キー入力部２２０は、変換操作があった場合（Ｓ１０２０：ＹＥＳ）、変換操作情報を文字変換部２３０へ出力して、ステップＳ１０６０へ進む。
【００９５】
ステップＳ１０６０において、文字変換部２３０は、変換操作情報に従って、記録された変換未確定のテキスト情報に対して、変換処理を行い、ステップＳ１０５０へ進む。
【００９６】
文字変換部２３０は、例えば、「ｃｈｕｕｓｉ」という変換前テキスト情報に対して、変換操作を行うことにより、「ちゅうし」という仮名テキスト情報に対応する「中止」という仮名漢字テキスト情報を、確定候補として選択する。そして、文字変換部２３０は、続けて変換操作が行われるごとに、「注視」、「注し」などの他の仮名漢字テキスト文字に、選択を切り替える。
【００９７】
ステップＳ１０５０において、キー入力部２２０は、変換未確定のテキスト情報に対する変換の確定操作があったか否かを判断する。キー入力部２２０は、確定操作がない場合（Ｓ１０５０：ＮＯ）、ステップＳ１０７０へ進む。また、キー入力部２２０は、確定操作があった場合（Ｓ１０５０：ＹＥＳ）、確定操作情報を文字変換部２３０へ出力して、ステップＳ１０８０へ進む。
【００９８】
この結果、文字変換部２３０は、例えば、「ｃｈｕｕｓｉ」というアルファベットテキスト情報と、「ちゅうし」という仮名テキスト情報と、「中止」という仮名漢字テキスト情報とを、出力の対象として確定する。
【００９９】
ステップＳ１０８０において、キー操作同期情報付加部２１０は、各階層のテキスト情報のそれぞれについて、構成単位ごとに、キー操作開始タイミングおよびキー操作終了タイミングを取得する。なお、テキスト情報とは、アルファベットテキスト情報、仮名テキスト情報、および仮名漢字テキスト情報を含む。
【０１００】
図１１は、以下の説明において想定する、各階層の構成単位ごとのキー操作開始タイミングを示す図である。ここでは、横軸を時間軸（秒）とし、最初のキー入力タイミングが０秒であるものとする。
【０１０１】
図１１に示すように、「ｅｎｓｏｋｕｈａ」の８文字は、１秒間隔で、０〜７秒にかけて順に入力されたとする。「ｃｈｕｕｓｉ」の６文字は、１秒間隔で、１０〜１５秒にかけて順に入力されたとする。「ｄｅｓｕ」の４文字は、１秒間隔で、１８〜２１秒にかけて順に入力されたとする。
【０１０２】
この場合、「えんそく」および「遠足」のキー操作開始タイミングは、０秒となり、「は」のキー操作開始タイミングは６秒となる。「ちゅ」および「中」のキー操作開始タイミングは、１０秒となる。また、「う」のキー操作開始タイミングは、１３秒となる。また、「し」および「止」のキー操作開始タイミングは、１４秒となる。「で」のキー操作開始タイミングは１８秒となり、「す」のキー操作開始タイミングは２０秒となる。
【０１０３】
また、「そ」のキー操作終了タイミングは、３秒となり、「く」および「遠足」のキー操作終了タイミングは、５秒となる。「は」のキー操作終了タイミングは、７秒となる。「ちゅ」のキー操作終了タイミングは、１２秒となり、「う」のキー操作終了タイミングは、１３秒となる。「し」および「中止」のキー操作終了タイミングは、１５秒となる。「で」のキー操作終了タイミングは１９秒となり、「す」および「です」のキー操作終了タイミングは、２１秒となる。
【０１０４】
そして、図１０のステップＳ１０９０において、キー操作同期情報付加部２１０は、取得したキー操作開始タイミングに基づいて、各階層の同期情報付きテキスト情報を生成する。すなわち、キー操作同期情報付加部２１０は、アルファベットテキスト情報、仮名テキスト情報、および仮名漢字テキスト情報のそれぞれに、キー操作開始タイミングおよびキー操作終了タイミングを付加した情報を、生成する。そして、キー操作同期情報付加部２１０は、生成した各階層の同期情報付きテキスト情報を出力して、ステップＳ１０７０へ進む。
【０１０５】
ステップＳ１０７０において、キー入力部２２０は、ユーザ操作などにより処理の終了を指示されたか否かを判断する。キー入力部２２０は、処理の終了を指示されていない場合（Ｓ１０７０：ＮＯ）、ステップＳ１０１０へ戻る。また、キー入力部２２０は、処理の終了を指示された場合（Ｓ１０７０：ＹＥＳ）、一連の処理を終了する。
【０１０６】
このようにして、キー入力系統部２００は、ユーザ操作に応じて、各階層の同期情報付きテキスト情報を出力する。
【０１０７】
図１２〜図１４は、キー入力系統部２００が出力する同期情報付きテキスト情報の内容の例を示す図である。図１２は、アルファベットテキスト情報の同期情報付きテキスト情報の内容の一例である。図１３は、仮名テキスト情報の同期情報付きテキスト情報の内容の一例である。図１４は、漢字仮名テキスト情報の同期情報付きテキスト情報の内容の一例である。
【０１０８】
図１２〜図１４において、ある文字または文字列（以下単に「文字」という）の直前に配置された「＜ｔ＞」というタグは、その文字が入力された時刻を表わす。タグの属性値は、例えば、「ｖ」および「ｅ」である。「ｖ」は、その文字の入力が開始された時刻である。「ｅ」は、その文字の入力が終った時刻である。「ｅ」の値が省略されている場合、「ｅ」の値は、「ｖ」の値と同じであることを示す。
【０１０９】
したがって、例えば、「＜ｔ ｖ＝１２３.４＞ａ＜／ｔ＞」は、「ａ」というキー（文字）が、「１２３.４」秒の時刻に打鍵され、同時に入力が終った（キーがリリースされた）ということを示す。
【０１１０】
また、例えば、「＜ｔ ｖ＝１０ ｅ＝１５＞遠足＜／ｔ＞」は、「遠足」という文字の入力が、「１０」秒の時刻に開始し、「１５」秒の時刻に終了したことを示す。
【０１１１】
なお、「遠足」という情報は、実際に打鍵された文字ではなく、アルファベットテキスト情報に対するローマ字仮名変換および仮名漢字変換を経て得られた文字である。したがって、「遠足」という文字の上述の入力開始時刻とおよび入力終了時刻は、対応するアルファベットの打鍵時刻（変換前テキスト情報の入力時刻）から算出された、見做し時刻である。
【０１１２】
また、図１２〜図１４において、ある文字の直前に配置された「＜ｓ＞」というタグは、その文字の品詞を示す。
【０１１３】
なお、品詞は、必ずしも必要ではないが、後段の同期・自動補正部４００での自動補正処理に役立つため、付与されることが望ましい。品詞は、文字変換部２３０が、品詞情報や文法などの言語情報を用いて文字変換を行う場合、その変換過程で得られた情報である。
【０１１４】
図１５は、音声入力受付処理（図９のステップＳ２０００）の一例を示すフローチャートである。
【０１１５】
まず、ステップＳ２０１０において、音声入力部３２０は、音声入力が開始されたか否かを判断する。音声入力部３２０は、音声入力が開始されていない場合（Ｓ２０１０：ＮＯ）、ステップＳ２０２０へ進む。なお、音声入力が開始されていない場合とは、音声入力が既に開始されており、音声入力継続中である場合を含むものとする。また、音声入力部３２０は、音声入力が開始された場合（Ｓ２０１０：ＹＥＳ）、ステップＳ２０３０へ進む。なお、いずれの場合においても、音声入力部３２０は、音声が入力されている場合には、音声信号を、マークアップ用音声認識部３３０へ出力する。
【０１１６】
ステップＳ２０３０において、マークアップ用音声認識部３３０は、入力された音声信号を記録する。
【０１１７】
そして、ステップＳ２０４０において、音声入力同期情報付加部３１０は、音声信号の入力開始タイミングを記録して、ステップＳ２０２０へ進む。
【０１１８】
ステップＳ２０２０において、音声入力部３２０は、音声入力が終了したか否かを判断する。音声入力部３２０は、音声入力が終了していない場合（Ｓ２０２０：ＮＯ）、ステップＳ２０５０へ進む。なお、音声入力が終了していない場合とは、音声入力がそもそも開始されていない場合を含むものとする。また、音声入力部３２０は、音声入力が終了した場合（Ｓ２０２０：ＹＥＳ）、ステップＳ２０６０へ進む。
【０１１９】
ステップＳ２０６０において、マークアップ用音声認識部３３０は、入力された音声信号に対する音声認識処理を行う。
【０１２０】
そして、ステップＳ２０７０において、マークアップ用音声認識部３３０は、音声認識結果が音声タグであるか否かを判断する。すなわち、マークアップ用音声認識部３３０は、音声認識結果が、マークアップ用認識辞書５２０（図３参照）に記述されたいずれかの音声タグに該当するか否かを判断する。マークアップ用音声認識部３３０は、音声認識結果が音声タグではない場合（Ｓ２０７０：ＮＯ）、ステップＳ２０８０へ進む。また、マークアップ用音声認識部３３０は、音声認識結果が音声タグである場合（Ｓ２０７０：ＹＥＳ）、音声タグをマークアップ命令変換部３４０へ出力して、ステップＳ２０９０へ進む。この際、音声入力同期情報付加部３１０は、記録した入力開始タイミングを、音声タグに付加する。
【０１２１】
ステップＳ２０８０において、マークアップ用音声認識部３３０は、入力音声および入力開始タイミングの記録を消去して、ステップＳ２０５０へ進む。
【０１２２】
また、ステップＳ２０９０において、マークアップ命令変換部３４０は、入力された音声タグを、マークアップ命令表５３０（図４参照）に従って、マークアップタグに変換する。また、マークアップ命令変換部３４０は、対応する音声タグに付加されていた入力開始タイミングを、マークアップタグに付加して、同期情報付きマークアップタグを生成する。そして、マークアップ命令変換部３４０は、生成した各階層の同期情報付きマークアップタグを出力して、ステップＳ２０５０へ進む。
【０１２３】
図１６（Ａ）は、図１１のキー操作開始タイミングを示す図である。また、図１６（Ｂ）は、以下の説明において想定する、音声ごとの音声入力開始タイミングを示す図である。
【０１２４】
図１６（Ｂ）に示すように、ユーザは、「ｃｈｕｕｓｉ」というテキストの入力開始タイミングの２秒前から１秒前にかけて、「あか」と発声したとする。そして、ユーザは、「ｃｈｕｕｓｉ」というテキストの入力終了タイミングの１秒後から２秒後にかけて、「おわり」と発声したとする。
【０１２５】
この場合、図１６（Ｂ）に示すように、例えば、「あか」という音声の入力は、８秒に開始され、「おわり」という音声の入力は、１６秒に開始される。
【０１２６】
一方で、図１６（Ｂ）に示すように、「あか」という読みに対する音声タグは、「赤」であり、「赤」を示す音声タグに対応するマークアップタグは「＜ｆｏｎｔ ｃｏｌｏｒ＝“ｒｅｄ”＞」である。また、「おわり」という読みに対する音声タグは、「終わり」であり、「終わり」を示す音声タグに対応するマークアップタグは「＜／ｆｏｎｔ＞」である（図３および図４参照）。したがって、音声入力系統部３００は、これらのマークアップタグに音声入力タイミングが付加された情報を、同期情報付きマークアップタグ５４０として出力する。
【０１２７】
図１７〜図１９は、音声入力系統部３００が出力する同期情報付きマークアップタグおよびその過程で生成される情報を示す図である。図１７は、入力タイミングが付加された読み情報の内容の一例である。図１８は、入力タイミングが付加された音声タグ情報の内容の一例である。図１９は、同期情報付きマークアップタグの内容の一例である。
【０１２８】
図１９において、「＆ｌｔ；」は、「＜」のエンティティ参照である。同様に「＆ｇｔ；」は、「＞」のエンティティ参照である。
【０１２９】
したがって、例えば、「＜ｔ ｖ＝８ ｅ＝９＞＆ｌｔ；ｆｏｎｔ ｃｏｌｏｒ＝“ｒｅｄ”＆ｇｔ；＜／ｔ＞」は、「ｆｏｎｔ ｃｏｌｏｒ＝“ｒｅｄ”＆ｇｔ」に対応する発声が、「８」秒の時刻に開始し、「９」秒の時刻に終了したことを示す。
【０１３０】
なお、「＜ｔ ｖ＝８ ｅ＝９＞＆ｌｔ；ｆｏｎｔ ｃｏｌｏｒ＝“ｒｅｄ”＆ｇｔ；＜／ｔ＞」という情報は、音声認識処理などを経た後に得られる。したがって、その取得時刻は、対応する音声の発声時刻とずれている。
【０１３１】
図１５のステップＳ２０５０において、音声入力部３２０は、ユーザ操作などにより処理の終了を指示されたか否かを判断する。音声入力部３２０は、処理の終了を指示されていない場合（Ｓ２０５０：ＮＯ）、ステップＳ２０１０へ戻る。また、音声入力部３２０は、処理の終了を指示された場合（Ｓ２０５０：ＹＥＳ）、一連の処理を終了する。
【０１３２】
このようにして、音声入力系統部３００は、音声入力に応じて、同期情報付きマークアップタグを出力する。
【０１３３】
図２０は、同期・自動補正処理（図９のステップＳ３０００）の一例を示すフローチャートである。
【０１３４】
まず、ステップＳ３０１０において、同期・自動補正部４００は、テキスト情報の入力があったか否かを判断する。同期・自動補正部４００は、テキスト情報の入力がない場合（Ｓ３０１０：ＮＯ）、ステップＳ３０２０へ進む。また、同期・自動補正部４００は、テキスト情報の入力があった場合（Ｓ３０１０：ＹＥＳ）、ステップＳ３０３０へ進む。
【０１３５】
ステップＳ３０３０において、同期・自動補正部４００は、テキスト情報に対応するマークアップタグの入力があったか否かを判断する。テキスト情報に対応するマークアップタグとは、例えば、テキスト情報の入力タイミングの前後の所定の時間範囲内に入力された、マークアップタグである。同期・自動補正部４００は、対応するマークアップタグの入力がない場合（Ｓ３０３０：ＮＯ）、ステップＳ３０４０へ進む。また、同期・自動補正部４００は、対応するマークアップタグの入力があった場合（Ｓ３０３０：ＹＥＳ）、ステップＳ３０５０へ進む。
【０１３６】
ステップＳ３０４０において、同期・自動補正部４００は、キー操作同期情報を除去したテキスト情報（マークアップテキスト）を、テキストアプリ７００へ出力して、ステップＳ３０２０へ進む。
【０１３７】
また、ステップＳ３０５０において、同期・自動補正部４００は、対応ルール５７０（図５参照）に従って、テキスト情報とマークアップタグとを対応付け、音声入力同期情報を除去して、マークアップ付きテキスト情報を生成する。そして、同期・自動補正部４００は、生成したマークアップ付きテキスト情報を、テキストアプリ７００へ出力して、ステップＳ３０２０へ進む。
【０１３８】
ステップＳ３０２０において、同期・自動補正部４００は、ユーザ操作などにより処理の終了を指示されたか否かを判断する。同期・自動補正部４００は、処理の終了を指示されていない場合（Ｓ３０２０：ＮＯ）、ステップＳ３０１０へ戻る。また、同期・自動補正部４００は、処理の終了を指示された場合（Ｓ３０２０：ＹＥＳ）、一連の処理を終了する。
【０１３９】
このようにして、同期・自動補正部４００は、テキスト情報とマークアップタグとを、キー操作同期情報および音声入力同期情報に基づいて統合する。
【０１４０】
以上で、文字入力装置１００の動作についての説明を終える。
【０１４１】
以上説明したように、本実施の形態に係る文字入力装置１００は、テキスト情報にキー操作同期情報を付加してこれを出力し、かつ、マークアップタグに音声入力同期情報を付加してこれを出力することができる。これにより、文字入力装置１００は、マークアップタグの設定操作をより少ない負担で行うことを可能にする。
【０１４２】
また、文字入力装置１００は、キー操作同期情報および音声入力同期情報に基づいて、テキスト情報とマークアップタグとを対応付けて出力する。これにより、文字入力装置１００は、ユーザあるいはオペレータがテキスト情報とマークアップタグとを手動で対応付ける手間を省くことができ、マークアップタグの設定操作を更に少ない負担で行うことを可能にする。
【０１４３】
また、文字入力装置１００は、マークアップタグが開始タグと終了タグとのどちらであるかを考慮して、上記対応付けを行う。これにより、文字入力装置１００は、より高い精度でのマークアップタグの設定を行うことができ、ユーザあるいはオペレータがテキスト情報とマークアップタグとを対応付けを後から手動で修正するといった手間を省くことができる。
【０１４４】
また、文字入力装置１００は、キー操作によるテキスト情報入力と、音声入力によるマークアップタグとを同時並行で受け付けることができる。これにより、文字入力装置１００は、ユーザのテキスト入力の速度を低下させることなく、ユーザが所望のマークアップをすることを可能にする。
【０１４５】
すなわち、文字入力装置１００は、ユーザが望むマークアップタグの設定操作をより少ない負担で行うことができる、リッチなテキスト入力環境を、ユーザに提供することができる。
【０１４６】
日本語入力システムにおける仮名漢字テキスト入力は、上述の通り、アルファベットテキストの入力の後、仮名テキストへの変換および仮名漢字テキストへの変換という過程を踏む。このため、ユーザが直感的に文字認識されたと感じるタイミングは、システム内で変換が全部終了して仮名漢字テキストが確定されるタイミングとの間に、ずれ（例えば０.５秒）が生じる。
【０１４７】
これは、音声系統の場合も同様である。すなわち、実際に文字入力装置１００内で音声認識の結果が確定するのは、発声開始タイミングでも発声終了タイミングでもなく、発声してから音声認識処理などに要する時間だけ後ろにずれた時間となる。
【０１４８】
例えば、ユーザは、図１６に示すタイミングで、キー操作および音声入力を行ったとする。しかし、「遠足」という仮名漢字テキストが得られるタイミングと、「＜ｆｏｎｔ ｃｏｌｏｒ＝“ｒｅｄ”＞」というマークアップタグが得られるタイミングとは、一致しない。したがって、これらのタイミングに基づいて単純にテキスト情報とマークアップタグとの対応付けは、ユーザの直感的な対応関係とは異なる場合がある。すなわち、単純なテキスト情報とマークアップタグとの対応付けでは、ユーザの意図した通りのマークアップ範囲を再現することはできない。
【０１４９】
そこで、文字入力装置１００は、上述の通り、キー操作受付処理において、テキスト情報にキー操作タイミングを示す情報を付加し、音声入力受付処理おいて、マークアップタグに音声入力タイミングを示す情報を付加する。そして、文字入力装置１００は、上述の通り、同期・自動補正処理において、これらの付加された情報に基づいて、テキスト情報とマークアップタグとを対応付ける。これにより、文字入力装置１００は、キー操作により入力されたテキスト情報と、音声入力により入力されたマークアップタグとを、ユーザの直感的な対応関係と一致するように対応付けることができる。すなわち、文字入力装置１００は、ユーザの意図した通りのマークアップ範囲を再現することができる。
【０１５０】
例えば、図５に示す対応ルール５７０の「第１の時間」および「第７の時間」は、それぞれ３秒であったとする。この場合、図１６に示す例において、「＜ｆｏｎｔ ｃｏｌｏｒ＝“ｒｅｄ”＞」というマークアップタグおよび「／ｆｏｎｔ」というマークアップタグは、「中止」という仮名漢字テキストに対応付けられる。
【０１５１】
これにより、同期・自動補正処理は、「中止」という仮名漢字テキストの直前に、「＜ｆｏｎｔ ｃｏｌｏｒ＝“ｒｅｄ”＞」というマークアップタグを挿入する。そして、同期・自動補正処理は、「中止」という仮名漢字テキストの直後に、「＜／ｆｏｎｔ」というマークアップタグを挿入する。
【０１５２】
この結果、本実施の形態では、図８に示した、生成の対象となるマークアップテキストが得られ、図７に示した、生成の対象となる文字列が表示されることになる。
【０１５３】
なお、キー操作のタイミングと音声入力のタイミングとの相対関係は、図１６に示す例に限られない。
【０１５４】
図２１は、各音声の入力開始タイミングの他の例を示す図であり、図１６に対応するものである。
【０１５５】
図２１に示すように、ユーザは、「ｃｈｕｕｓｉ」というテキストの入力開始タイミングの１秒前から１秒後にかけて、「あか」と発声したとする。そして、ユーザは、「ｃｈｕｕｃｉ」というテキストの入力終了タイミングの１.５秒前から０.５秒後にかけて、「おわり」と発声したとする。
【０１５６】
例えば、図５に示す対応ルール５７０の「第８の時間」は、２秒であったとする。この場合、図２１に示す例において、「＜ｆｏｎｔ ｃｏｌｏｒ＝“ｒｅｄ”＞」というマークアップタグおよび「／ｆｏｎｔ」というマークアップタグは、「中止」という仮名漢字テキストに対応付けられる。
【０１５７】
すなわち、同期・自動補正部４００は、終了タグの音声入力開始タイミングが、キー操作終了タイミングよりも先になることを考慮して、設定された対応ルール５７０を用いる。これにより、同期・自動補正部４００は、テキスト情報とマークアップタグとの対応付けを的確に行うことができる。
【０１５８】
なお、同期・自動補正部４００は、対応ルール５７０によってではなく、開始タグおよび終了タグの音声入力開始タイミングを補正することにより、時間軸に沿ってテキスト情報とマークアップタグとの対応付けを行ってもよい。
【０１５９】
また、上述のマークアップ用認識辞書５２０およびマークアップ命令表５３０は、ＸＭＬ文書のコンテキスト（文脈）を考慮した内容であってもよい。
【０１６０】
また、以上の説明において、マークアップタグ（音声タグ）は、開始タグと終了タグとで別となっているものとしたが、これに限定されない。マークアップタグ（音声タグ）は、発声の開始タイミングと終了タイミングとにより、マークアップの開始点と終了点との両方をそれぞれ指定するものであってもよい。すなわち、文字入力装置１００は、連続したテキスト情報に対して、連続した長音発音によるマークアップを受け付けるようにしてもよい。
【０１６１】
以下、本実施の形態の変形例１では、音声入力開始タイミングを補正し、時間軸に沿ってテキスト情報とマークアップタグとの対応付けを行うようにした例について説明する。
【０１６２】
また、本実施の形態の変形例２では、マークアップ用認識辞書５２０とマークアップ命令表５３０とをまとめ、更にこれをＸＭＬ文書のコンテキスト（文脈）を考慮した内容とした場合の例について説明する。
【０１６３】
更に、本実施の形態の変形例３では、連続した長音発音によるマークアップを受け付ける文字入力装置１００の一例について説明する。
【０１６４】
（変形例１）
同期・自動補正部４００は、テキスト情報の入力区間と、マークアップタグの入力区間とが、時系列に配置されていた場合に、その配置順序に従って、マークアップタグをテキスト情報に挿入する。このような理想的な配置は、図１６に示す例に相当する。
【０１６５】
そして、同期・自動補正部４００は、テキスト情報の入力区間とマークアップタグの入力区間とが重複している場合に、これらの区間を、理想的な配置に補正する。これは、図２１に示す例に相当する。
【０１６６】
以下、この補正の手順の一例について説明する。
【０１６７】
まず、同期・自動補正部４００は、地の文章のうち、マークアップタグ（マークアップテキスト）を挿入することが可能な位置を特定する。この位置（以下「タグ挿入可能位置」という）は、例えば、以下の４種である。
（ａ）入力が途切れた箇所
（ｂ）品詞の境界
（ｃ）日本語など文字種（平仮名、片仮名、漢字など）がある言語における文字種の境界
（ｄ）句読点、コンマ、カンマ、空白など区切り記号の直後、および、クオートや鉤括弧などの囲み記号の前後
【０１６８】
例えば、地の文章Ｓの同期情報付きテキスト情報が、下記の内容であったとする。
＜ｔ ｖ＝ｂ０ ｅ＝ｅ０＞Ｓ０＜／ｔ＞ ＜ｔ ｖ＝ｂ１ ｅ＝ｅ１＞Ｓ１＜／ｔ＞ ・・・ ＜ｔ ｖ＝ｂｎ ｅ＝ｅｎ＞Ｓｎ＜／ｔ＞
Ｓ ＝ Ｓ０＋Ｓ１＋… ＋ＳＮ （ただし、「＋」は、文章の連接演算子）
【０１６９】
また、マークアップタグＴｘの同期情報付きマークアップタグが、下記内容であったとする。
＜ｔ ｖ＝ｂｘ ｅ＝ｅｘ＞Ｔｘ＜／ｔ＞
【０１７０】
同期・自動補正部４００は、以下の手順で処理を実施する。
ステップ（１）：マークアップタグＴｘの入力開始時刻ｂｘに注目し、入力開始時刻ｂｘが前記（ａ）のタグ挿入可能位置に含まれている場合は、マークアップタグＴｘの挿入位置をそのタグ挿入可能位置に決定し、終了する。
【０１７１】
すなわち、同期・自動補正部４００は、ｅｍ ≦ ｂｘ ≦ ｂ（ｍ＋１）なるｍがあった場合、地の文章Ｓの構成単位である、ｍ番目の文章部分Ｓｍとｍ＋１番目の文章部分Ｓ（ｍ＋１）との間に、マークアップタグＴｘを挿入する。この結果、同期補正された文字列Ｓ′は、下記の内容となる。
Ｓ′ ＝ Ｓ０＋Ｓ１＋…＋Ｓｍ＋Ｔｘ＋Ｓ（ｍ＋１）＋…＋Ｓｎ
【０１７２】
ステップ（２）：同期・自動補正部４００は、マークアップタグの入力開始時刻ｂｘが、ｍ番目の文章部分Ｓｍの入力開始時刻ｂｍから入力終了時刻ｅｍまでの間にあるか否かを判定する。同期・自動補正部４００は、判定の結果、入力開始時刻ｂｘが間にある場合（ｂｍ ≦ ｂｘ ≦ ｅｍを満たすｍが存在した場合）は、マークアップタグＴｘの挿入位置を、マークアップタグＴｘの種類で場合分けをする。
【０１７３】
ステップ（２−１）：同期・自動補正部４００は、マークアップタグＴｘが終了タグ（＜／、＞で囲まれるタグ）である場合、ｍ番目の文章部分Ｓｍの入力開始時刻ｂｍ以降のタグ挿入可能位置に、マークアップタグＴｘを挿入する。ただし、同期・自動補正部４００は、ｍ番目の文章部分Ｓｍの入力開始時刻ｂｍから入力終了時刻ｅｍまでの間に複数のタグ挿入可能位置がある場合、それらのうち、最後のタグ挿入可能位置に、マークアップタグＴｘを挿入する。
【０１７４】
すなわち、ｍ番目の文章部分Ｓｍ中にタグ挿入可能位置がない場合、終了タグについての同期補正された文字列Ｓ′は、下記の内容となる。
Ｓ′ ＝ Ｓ０＋Ｓ１＋…＋Ｓｍ＋Ｔｘ＋Ｓ（ｍ＋１）＋…＋Ｓｎ
【０１７５】
また、ｍ番目の文章部分Ｓｍ中にタグ挿入可能位置があり、ｍ番目の文章部分Ｓｍが、Ｓｍ ＝ Ｓｍ（前半）＋Ｓｍ（後半）というように分割可能である場合、終了タグについての同期補正された文字列Ｓ′は、下記の内容となる。
Ｓ′ ＝ Ｓ０＋Ｓ１＋…＋Ｓｍ（前半）＋Ｔｘ＋Ｓｍ（後半）＋…＋Ｓｎ
【０１７６】
文章部分Ｓｍの分割は、他の階層のテキスト情報（例えば、仮名漢字テキストに対して、仮名テキストあるいはアルファベットテキスト）におけるタグ挿入可能位置を考慮することに相当する。
【０１７７】
ステップ（２−２）：同期・自動補正部４００は、マークアップタグＴｘが開始タグ（（＜、＞で囲まれたタグ）である場合、マークアップタグＴｘを、ｍ番目の文章部分Ｓｍの入力終了時刻ｅｍ以前のタグ挿入可能位置に挿入する。ただし、同期・自動補正部４００は、ｍ番目の文章部分Ｓｍの入力開始時刻ｂｍから入力終了時刻ｅｍまでの間に複数のタグ挿入可能位置がある場合、それらのうち、最前のタグ挿入可能位置に、マークアップタグＴｘを挿入する。
【０１７８】
すなわち、ｍ番目の文章部分Ｓｍ中にタグ挿入可能位置がない場合、開始タグについての同期補正された文字列Ｓ′は、下記の内容となる。
Ｓ′ ＝ Ｓ０＋Ｓ１＋…＋Ｓ（ｍ−１）＋Ｔｘ＋Ｓｍ＋…＋Ｓｎ
【０１７９】
また、ｍ番目の文章部分Ｓｍ中にタグ挿入可能位置があり、ｍ番目の文章部分Ｓｍが、Ｓｍ ＝ Ｓｍ（前半）＋Ｓｍ（後半）というように分割可能である場合、開始タグについての同期補正された文字列Ｓ′は、下記の内容となる。
Ｓ′ ＝ Ｓ０＋Ｓ１＋…＋Ｓｍ（前半）＋Ｔｘ＋Ｓｍ（後半）＋…＋Ｓｎ
【０１８０】
これらの手順により、図２１に示す例において、上記補正ルール（１）により、「＜ｆｏｎｔ ｃｏｌｏｒ＝“ｒｅｄ”＞」というマークアップタグは、「中止」という仮名漢字テキストの直前に挿入される。そして、上記補正ルール（２−１）により、「／ｆｏｎｔ」というマークアップタグは、「中止」という仮名漢字テキストの直後に挿入される。
【０１８１】
図２２は、図７に示す文字列８１２における、タグ挿入可能位置と、「中止」というマークアップ対象部分８１１の対応付けの対象とすべき音声入力タイミングの例を示す図である。
【０１８２】
図２２に示すように、「遠足は中止です」という文字列８１２には、三角印（▲）８３１〜８３５で示す、５個のタグ挿入可能位置が存在する。そして、この場合、「中止」というマークアップ対象部分の対応付けの対象とすべき開始タグの音声入力区間（発声区間）は、矢印８４１〜８４３で示す区間（３つの区間）となる。また、「中止」というマークアップ対象部分８１１の対応付けの対象とすべき終了タグの音声入力区間（発声区間）は、矢印８４４〜８４６で示す区間（３つの区間）となる。
【０１８３】
矢印８４１に示す区間の開始タグは、上記補正ルール（２−２）により、矢印８３３に示す位置に挿入される。矢印８４２に示す区間の開始タグは、上記補正ルール（１）により、矢印８３３に示す位置に挿入される。矢印８４３に示す区間の開始タグは、上記補正ルール（２−２）により、矢印８３３に示す位置に挿入される。
【０１８４】
また、矢印８４４に示す区間の終了タグは、上記補正ルール（２−２）により、矢印８３４に示す位置に挿入される。矢印８４５に示す区間の終了タグは、上記補正ルール（１）により、矢印８３４に示す位置に挿入される。矢印８４４に示す区間の終了タグは、上記補正ルール（２−１）により、矢印８３４に示す位置に挿入される。
【０１８５】
なお、以上説明した本実施の形態の変形例１では、音声入力開始タイミングを補正すると説明した。なお、文字入力装置１００は、逆に、キー操作タイミングの補正、または、音声入力開始タイミングとキー操作タイミングとの両方を補正してもよい。
【０１８６】
（変形例２）
図２３は、本変形例に係る文字入力装置１００における、マークアップ用認識辞書とマークアップ命令表とを兼用したマークアップ用認識辞書兼命令表の内容の一例を示す図である。
【０１８７】
図２３に示すように、マークアップ用認識辞書兼命令表５９０は、情報ＩＤ５９１が割り当てられた、読み付き音声タグ５９２と、コンテキスト５９３と、マークアップタグ５９４とを記述している。
【０１８８】
読み付き音声タグ５９２は、図３のマークアップ用認識辞書５２０の内容に対応し、も読み（音韻情報）から、音声タグへのマッピングを記述する。例えば、「ボディ（ぼでー｜ぼでぃい）」という読み付き音声タグ５９２は、「ぼでー」という読みと「ぼでぃい」という読みとのそれぞれを、「ボディ」を示す音声タグへ変換すべきことを示す。また、読み付き音声タグ５９２からマークアップタグ５９４へのマッピング部分は、図４のマークアップ命令表５３０に対応する。コンテキスト５９３は、マークアップタグ５９４の親の文章要素名を示す。
【０１８９】
このようなマークアップ用認識辞書兼命令表５９０によっても、音声入力系統部３００は、音声入力に基づいて、同期情報付きマークアップタグ５４０を出力することができる。また、このようなマークアップ用認識辞書兼命令表５９０を用いることにより、音声入力系統部３００は、コンテキストの概念を取り入れて音声認識の候補探索を狭め、音声認識の認識率を向上させることができる。
【０１９０】
ここでは、マークアップ用認識辞書兼命令表５９０を用いて、ユーザが「もじ、いろ、あか、おわり」と発声した場合の処理の流れの一例について、説明する。
【０１９１】
音声入力における最初のコンテキストは、「ｂｏｄｙ」である。したがって、次に出現する可能性がある音声タグ（よみ）は、２行目の「文字（もじ｜ふぉんと｜ほんと）」のみである。したがって、音声入力系統部３００は、音声認識対象を、「もじ」、「ふぉんと」、および「ほんと」に絞り、他の読み（例えば「あか」、「くろ」など）を音声認識対象から除外して、音声認識処理を行うことができる。これは、音声認識エンジンにとって有利な特徴であり、音声認識率をあげることが可能である。
【０１９２】
音声入力系統部３００は、「もじ」という発声から「文字」を示す音声タグを得ると、「ｆｏｎｔ」というマークアップタグを決定する。そして、音声入力系統部３００は、「ｆｏｎｔ」をコンテキストに含むマークアップタグを検索する。かかるマークアップタグは、ここまでのマークアップタグに対応する終了タグか、属性ｃｏｌｏｒの設定のマークアップタグのいずれかである。ここで、ユーザが発声する可能性がある音声認識対象は、「いろ」、「からー」、「おわり」、および「とじる」である。したがって、音声入力系統部３００は、音声認識対象を、「いろ」、「からー」、「おわり」、および「とじる」に絞って、音声認識処理を行うことができる。
【０１９３】
音声入力系統部３００は、「いろ」という発声から「色」を示す音声タグを得ると、「ｃｏｌｏｒ」というマークアップタグを挿入する。ここまでに、生成された文字列は、「＜ｆｏｎｔ ｃｏｌｏｒ＝」である。したがって、音声入力系統部３００は、「ｆｏｎｔ：ｃｏｌｏｒ」をコンテキストに含むマークアップタグを検索する。かかるマークアップタグは、ここまでのマークアップタグに対応する終了タグか、「ｒｅｄ」というマークアップタグか、「ｂｌａｃｋ」というマークアップタグのいずれかである。ここでユーザが発声する可能性がある音声認識対象は、「からー」、「おわり」、および「とじる」である。したがって、音声入力系統部３００は、音声認識対象を、「からー」、「おわり」、および「とじる」に絞って、音声認識処理を行うことができる。
【０１９４】
音声入力系統部３００は、「あか」という発声から「赤」を示す音声タグを得ると、「ｒｅｄ」というマークアップタグを挿入する。そして、音声入力系統部３００は、「おわり」という発声から「終わり」を示す音声タグを得ると、開始タグの閉じていない「＜＞」についての終了タグを挿入する。この結果、音声入力系統部３００は、「＜ｆｏｎｔ ｃｏｌｏｒ＝″ｒｅｄ″＞ ＜／ｆｏｎｔ＞」という文字列を、マークアップタグとして生成することになる。
【０１９５】
以上で、マークアップ用認識辞書兼命令表５９０を用いた処理の流れの一例について、説明を終える。
【０１９６】
なお、マークアップ用認識辞書兼命令表５９０は、例えば、認識辞書生成装置６００において、文字型定義５８０（図６参照）から、半自動で生成することができる。
【０１９７】
以下、マークアップ用認識辞書兼命令表５９０の作成手順の一例について説明する。
【０１９８】
認識辞書生成装置６００は、文章のルートになる要素が必ず「ｂｏｄｙ」であることから、コンテキストなしとした「ｂｏｄｙ」というマークアップタグ５９４を、マークアップ用認識辞書兼命令表５９０に追加する。コンテキストなしとは、親となる情報がない、文章の開始部分であることを示す。なお、「ｂｏｄｙ」というマークアップタグ５９４は、「ｃｏｌｏｒｍａｉｌ」という型の文章の開始と終りに必ず付与されるものであり、ユーザが手や音声で入力するようなものではない。したがって、文字入力装置１００において、図２３に示すマークアップ用認識辞書兼命令表５９０の１行目は、実際には利用されない。
【０１９９】
次に、認識辞書生成装置６００は、文字型定義５８０の２行目から、ｂｏｄｙ要素の中（「ｂｏｄｙ」というマークアップタグで囲まれた部分の中）でマークアップのために挿入できるタグが、「ｆｏｎｔ」だけであると判断する。したがって、認識辞書生成装置６００は、マークアップ用認識辞書兼命令表５９０の２行目に、「ｂｏｄｙ」というコンテキスト５９３に対応付けて、「ｆｏｎｔ」というマークアップタグ５９４を記述する。
【０２００】
また、認識辞書生成装置６００は、文字型定義５８０の４行目〜６行目から、「ｆｏｎｔ」というマークアップタグに対しては、「ｃｏｌｏｒ」という名前の属性があると判断する。したがって、認識辞書生成装置６００は、マークアップ用認識辞書兼命令表５９０の３行目に、「ａｔｔｒ＿ｎａｍｅ（ｆｏｎｔ）」というコンテキスト５９３に対応付けて、「ｃｏｌｏｒ」というマークアップタグ５９４を記述する。
【０２０１】
また、認識辞書生成装置６００は、文字型定義５８０の６行目から、「ｆｏｎｔ」というマークアップタグの「ｃｏｌｏｒ」という名前の属性の値が、ｒｅｄおよびｂｌａｃｋを採り得ると判断する。したがって、認識辞書生成装置６００は、マークアップ用認識辞書兼命令表５９０の４行目に、「ａｔｔｒ＿ｖａｌ（ｆｏｎｔ：ｃｏｌｏｒ）」というコンテキスト５９３に対応付けて、「ｒｅｄ」というマークアップタグ５９４を記述する。そして、認識辞書生成装置６００は、マークアップ用認識辞書兼命令表５９０の５行目に、「ａｔｔｒ＿ｖａｌ（ｆｏｎｔ：ｃｏｌｏｒ）」というコンテキスト５９３に対応付けて、「ｂｌａｃｋ」というマークアップタグ５９４を記述する。
【０２０２】
そして、認識辞書生成装置６００は、ユーザ操作あるいはオペレータ操作を受けて、各マークアップタグ５９４の読み付き音声タグ５９２を、そのマークアップタグ５９４の意味や使い方に応じた内容で記述する。
【０２０３】
このようにして、認識辞書生成装置６００は、マークアップ用認識辞書兼命令表５９０を、半自動で生成することができる。
【０２０４】
（変形例３）
図２４は、本変形例におけるマークアップ用認識辞書兼命令表の内容の一例を示す図であり、図２３に対応するものである。図２３と同一部分には同一符号を付し、これについての説明を省略する。なお、コンテキストについての図示および説明は、省略する。
【０２０５】
図２４に示すように、本変形例におけるマークアップ用認識辞書兼命令表５９０は、「赤（あ）」を示す音声タグ（読み）５９２に対応付けて、「＜ｆｏｎｔ ｃｏｌｏｒ＝“ｒｅｄ”＞」というマークアップタグ５９４を記述する。また、マークアップ用認識辞書兼命令表５９０は、「黒（う）」を示す音声タグ（読み）５９２に対応付けて、「＜ｆｏｎｔ ｃｏｌｏｒ＝“ｂｌａｃｋ”＞」というマークアップタグ５９４を記述する。そして、マークアップ用認識辞書兼命令表５９０は、「終わり（−）」を示す音声タグ（読み）５９２に対応付けて、「＜／ｆｏｎｔ＞」というマークアップタグ５９４を記述する。
【０２０６】
図２５は、本変形例における対応ルールの内容の一例を示す図であり、図５に対応するものである。図５と同一部分には、同一符号を付し、これについての説明を省略する。
【０２０７】
図２５に示すように、本変形例における対応ルール５７０は、図５のマークアップタグの種類５７１ではなく、音声入力タイミングの種類５７４ごとに、対応付けの条件５７３を記述する。音声入力開始タイミングは、開始タグの音声入力タイミングに相当し、音声入力終了タイミングは、終了タグの音声入力タイミングに相当する。また、音声入力終了タイミングに対応する対応付けの条件５７３は、音声入力終了タイミングを基準とした条件を記述している。
【０２０８】
対応ルール５７０には、例えば、音声入力タイミングの種類５７４に対応付けて、「音声入力終了タイミングの直前の第７の時間内の区間に、・・・キー操作開始タイミングが存在」という対応付けの条件５７３が記述されている。これは、マークアップタグの音声入力終了タイミングの直前の第７の時間内の区間に、仮名漢字テキスト情報のいずれかの構成単位のキー操作開始タイミングが存在した場合、これらを対応付けるべきことを意味する。
【０２０９】
図２６は、音声の入力開始タイミングおよび入力終了タイミングの一例を示す図であり、図１６に対応するものである。
【０２１０】
図２６に示すように、ユーザは、「ｃｈｕｕｓｉ」というテキストの入力開始タイミングの１秒前から、「ｃｈｕｕｓｉ」というテキストの入力終了タイミングの１秒後にかけて、「あー」と連続して発声したとする。
【０２１１】
例えば、図２５に示す対応ルール５７０の「第１の時間」および「第７の時間」は、それぞれ２秒であったとする。この場合、図２６に示す例において、「＜ｆｏｎｔ ｃｏｌｏｒ＝“ｒｅｄ”＞」というマークアップタグおよび「／ｆｏｎｔ」というマークアップタグは、「中止」という仮名漢字テキストに対応付けられる。すなわち、本変形例に係る文字入力装置１００は、マークアップタグ（音声タグ）が開始タグと終了タグとで別である場合と同様の結果を得ることができる。
【０２１２】
このように、本変形例に係る文字入力装置１００は、マークアップしたい文章を入力している間に、特定の音声で長く発声することにより、簡易的なマークアップをすることを可能にする。また、本変形例に係る文字入力装置１００は、発声の回数を抑えることができるため、特にキー操作が速いユーザに対して、マークアップ作業の負担を更に軽減することができる。
【０２１３】
なお、上述の対応ルールおよび補正ルールの内容は、以上の実施の形態２で説明した内容に制限されるものではなく、使用される言語や実際のシステムの性能等に応じて各種変形させることが望ましい。
【０２１４】
例えば、英語入力の場合には、タグ挿入可能位置を探索するのに文字種や品詞から推定する必要もなく、タグ挿入可能位置を空白や改行部分に限っても支障はない。また、英語の場合には、単語の途中で文字の色や大きさ等の属性が変化することも考えられない。したがって、同期・自動補正部は、英語のテキスト情報を処理対象とする場合、構成単位の分割を行わず、空白や改行部分のうち、最も近いものを、タグ挿入位置に決定するなど、よりシンプルな手法を用いることができる。但し、この場合は、ユーザが自然と思うような、対応ルールあるいは補正ルールを設定することが必要である。
【０２１５】
また、キー入力部２２０は、仮名テキスト情報を、変換前テキスト情報として入力してもよい。
【０２１６】
また、文字変換部２３０は、例えば、入力履歴に基づく予測変換機能などにより、キー操作により入力された１つの文字情報を、複数のテキスト情報に変換してもよい。この場合、キー操作同期情報付加部２１０（キー入力系統部２００）は、テキスト情報のそれぞれに対して、複数のテキスト情報全体における順序に沿った異なるタイミングを示すキー操作同期情報を付加すればよい。
【０２１７】
また、以上説明した実施の形態２では、同期情報付きテキスト情報および同期情報付きマークアップ情報がＸＭＬで記述される例について説明したが、これに限定されない。同期情報付きテキスト情報および同期情報付きマークアップ情報は、文書のある範囲に特別な属性を与えることができるような、ＸＭＬと同等の表現力をもったマークアップフォーマットであれば、どのような言語で記述されてもよい。例えば、同期情報付きテキスト情報および同期情報付きマークアップ情報は、マイクロソフト社のＲＴＦ（Rich Text Format）により記述されてもよいし、他のワードプロセッサごとの独自フォーマットなどであってもよい。
【０２１８】
また、本発明の適用は、スマートホンなどの携帯端末に制限されない。本発明は、キー操作によるテキスト情報の入力と、音声入力によるマークアップ情報の入力を受け付ける各種の装置に適用することができる。
【産業上の利用可能性】
【０２１９】
本発明は、マークアップ情報の設定操作をより少ない負担で行うことができる文字入力装置および文字入力方法として有用である。本発明は、特に、携帯端末などの入力インタフェースの大きさが限られた機器における文字入力装置および文字入力方法として有用である。
【符号の説明】
【０２２０】
１００ 文字入力装置
２００ キー入力系統部
２１０ キー操作同期情報付加部
２２０ キー入力部
２３０ 文字変換部
３００ 音声入力系統部
３１０ 音声入力同期情報付加部
３２０ 音声入力部
３３０ マークアップ用音声認識部
３４０ マークアップ命令変換部
４００ 同期・自動補正部
６００ 認識辞書生成装置
７００ テキストアプリ
【技術分野】
【０００１】
本発明は、キー操作によるテキスト情報の入力と、音声によるマークアップ情報の入力とを受け付ける、文字入力装置および文字入力方法に関する。
【背景技術】
【０００２】
電子メールを始めとするテキスト情報によるコミュニケーションツールは、その登場以来、非常に広範囲で利用されている。更に、近年では、テキストに対する表示制御の内容を指定する情報（以下「マークアップ情報」という）を付加したテキスト情報をやり取りすることが、頻繁に行われている。マークアップ情報が指定する内容には、例えば、表示の際の文字のサイズ、フォント、および色や、動く絵文字あるいはハイパーリンクへの置き換えが含まれる。
【０００３】
マークアップ情報が付加されたテキスト情報（以下、適宜「マークアップ付きテキスト情報」という）は、デスクトップ型あるいはノート型のパーソナルコンピュータなどの装置を用いた場合、比較的容易に作成することができる。
【０００４】
ところが、携帯電話機などの小型の装置では、マークアップ付きテキスト情報を作成することが比較的困難である。なぜなら、このような小型の装置では、配置可能なキー数や大きさが制限されており、テキスト情報を入力するためのキー操作およびマークアップ情報を入力するためのキー操作に、時間と手間が掛かるからである。
【０００５】
そこで、例えば、特許文献１には、マークアップ付きテキスト情報の作成のための操作の一部を、音声入力により行うようにする技術が、記載されている。
【０００６】
特許文献１に記載の技術（以下「従来技術」という）は、入力音声に対する音声認識処理を行い、入力したテキスト情報におけるカーソルの移動の命令を、音声により受け付ける。このような従来技術は、マークアップ情報を付加する位置の指定を、キー操作ではなく音声により受け付けることができるので、その分のユーザの操作負担を軽減することができる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平１０−３１２２６５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、従来技術は、マークアップ情報の入力操作や、マークアップ情報のテキスト情報に対する対応付けの操作（以下「マークアップ情報の設定操作」と総称する）の負担を、十分に軽減することができないという課題を有する。なぜなら、従来技術は、テキスト情報が入力された後に、音声による位置指定入力と、位置指定後のキー操作によるマークアップ情報の入力とを、行わなければならないからである。
【０００９】
本発明の目的は、マークアップ情報の設定操作をより少ない負担で行うことができる文字入力装置および文字入力方法を提供することである。
【課題を解決するための手段】
【００１０】
本発明の文字入力装置は、キー操作を受け付け、受け付けた前記キー操作に対応するテキスト情報を出力するキー入力系統部と、音声の入力を受け付け、入力した前記音声に対応するマークアップ情報を出力する音声入力系統部とを有し、前記キー入力系統部は、前記キー操作のタイミングを示すキー操作同期情報を、当該キー操作に対応して出力される前記テキスト情報に付加し、前記音声入力系統部は、前記音声の入力のタイミングを示す音声入力同期情報を、当該音声に対応して出力される前記マークアップ情報に付加する。
【００１１】
本発明の文字入力方法は、キー操作を受け付けるステップと、受け付けた前記キー操作のタイミングを示すキー操作同期情報を、当該キー操作に対応するテキスト情報に付加するステップと、前記キー操作同期情報が付加された前記テキスト情報を出力するステップと、音声の入力を受け付けるステップと、入力した前記音声の入力のタイミングを示す音声入力同期情報を、当該音声に対応するマークアップ情報に付加するステップと、前記音声入力同期情報が付加された前記マークアップ情報を出力するステップとを有する。
【発明の効果】
【００１２】
本発明によれば、マークアップ情報の設定操作をより少ない負担で行うことができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施の形態１に係る文字入力装置の構成の一例を示すブロック図
【図２】本発明の実施の形態２に係る文字入力装置の構成を示すブロック図
【図３】本発明の実施の形態２におけるマークアップ用認識辞書の内容の一例を示す図
【図４】本発明の実施の形態２におけるマークアップ命令表の内容の一例を示す図
【図５】本発明の実施の形態２における対応ルールの内容の一例を示す図
【図６】本発明の実施の形態２における文字型定義の一例を示す図
【図７】本発明の実施の形態２における文字列の表示状態の一例を示す図
【図８】本発明の実施の形態２におけるマークアップテキストの一例を示す図
【図９】本発明の実施の形態２に係る文字入力装置の動作の一例を示すフローチャート
【図１０】本発明の実施の形態２におけるキー操作受付処理の一例を示すフローチャート
【図１１】本発明の実施の形態２におけるキー操作開始タイミングの一例を示す図
【図１２】本発明の実施の形態２におけるアルファベットテキスト情報の同期情報付きテキスト情報の内容の一例を示す図
【図１３】本発明の実施の形態２における仮名テキスト情報の同期情報付きテキスト情報の内容の一例を示す図
【図１４】本発明の実施の形態２における漢字仮名テキスト情報の同期情報付きテキスト情報の内容の一例を示す図
【図１５】本発明の実施の形態２における音声入力受付処理の一例を示すフローチャート
【図１６】本発明の実施の形態２における音声入力開始タイミングの一例を示す図
【図１７】本発明の実施の形態２における入力タイミングが付加された読み情報の内容の一例を示す図
【図１８】本発明の実施の形態２における入力タイミングが付加された音声タグ情報の内容の一例を示す図
【図１９】本発明の実施の形態２における同期情報付きマークアップタグの内容の一例を示す図
【図２０】本発明の実施の形態２における同期・自動補正処理の一例を示すフローチャート
【図２１】本発明の実施の形態２における音声入力開始タイミングの他の例を示す図
【図２２】本発明の実施の形態２の変形例１におけるタグ挿入可能位置および音声入力タイミングの例を示す図
【図２３】本発明の実施の形態２の変形例２におけるマークアップ用認識辞書兼命令表の内容の一例を示す図
【図２４】本発明の実施の形態２の変形例３におけるマークアップ用認識辞書兼命令表の内容の一例を示す図
【図２５】本発明の実施の形態２の変形例３における対応ルールの内容の一例を示す図
【図２６】本発明の実施の形態２の変形例３における音声入力開始タイミングおよび音声入力終了タイミングの一例を示す図
【発明を実施するための形態】
【００１４】
以下、本発明の各実施の形態について、図面を参照して詳細に説明する。
【００１５】
（実施の形態１）
本発明の実施の形態１は、本発明の基本的態様の一例である。
【００１６】
図１は、本実施の形態に係る文字入力装置の構成の一例を示すブロック図である。
【００１７】
図１において、文字入力装置１００は、キー入力系統部２００および音声入力系統部３００を有する。
【００１８】
キー入力系統部２００は、キー操作を受け付け、受け付けたキー操作に対応するテキスト情報を出力する。また、キー入力系統部２００は、キー操作のタイミングを示すキー操作同期情報を、当該キー操作に対応して出力されるテキスト情報に付加する。
【００１９】
音声入力系統部３００は、音声の入力を受け付け、入力した音声に対応するマークアップ情報を出力する。また、音声入力系統部３００は、音声の入力のタイミングを示す音声入力同期情報を、当該音声に対応して出力されるマークアップ情報に付加する。
【００２０】
文字入力装置１００は、例えば、ＣＰＵ（Central Processing Unit）、制御プログラムを格納したＲＯＭ（Read Only Memory）などの記憶媒体、およびＲＡＭ（Random Access Memory）などの作業用メモリを有する。この場合、上述の各機能部は、ＣＰＵが制御プログラムを実行することにより実現される。
【００２１】
このような文字入力装置１００は、テキスト情報にキー操作のタイミングを示すキー操作同期情報を付加してこれを出力し、マークアップ情報に音声入力のタイミングを示す音声入力同期情報を付加してこれを出力することができる。これにより、文字入力装置１００は、テキスト情報と音声入力されたマークアップ情報とを、それぞれの入力タイミングに基づいて対応付けることを可能にするので、マークアップ情報の設定操作をより少ない負担で行うことを可能にする。
【００２２】
（実施の形態２）
本発明の実施の形態２は、本発明を、ＸＭＬ（Extensible Markup Language）によるマークアップテキストを生成する、スマートホンなどの携帯端末に適用した態様の一例である。本実施の形態において、マークアップ情報は、マークアップタグである。
【００２３】
まず、本実施の形態に係る文字入力装置の構成について説明する。
【００２４】
図２は、本実施の形態に係る文字入力装置の構成を示すブロック図である。ここでは、各機能部間を伝送される各種情報についても併せて図示する。
【００２５】
図２において、文字入力装置１００は、キー入力系統部２００、音声入力系統部３００、および同期・自動補正部４００を有する。
【００２６】
キー入力系統部２００は、キー操作を受け付け、受け付けたキー操作に対応するテキスト情報を、後述の同期・自動補正部４００へ出力する。キー入力系統部２００は、キー入力部２２０および文字変換部２３０を有する。
【００２７】
キー入力部２２０は、例えば、複数の物理的なキースイッチまたはソフトウェアによるキースイッチを有し、文字キーが操作されたとき、対応するテキスト情報を、文字変換部２３０へ出力する。また、キー入力部２２０は、テキスト情報の文字変換のための機能キーが操作されたとき、変換操作を示す変換操作情報を、文字変換部２３０へ出力する。更に、キー入力部２２０は、テキスト情報の変換確定操作のための機能キーが操作されたとき、確定操作を示す確定操作情報を、文字変換部２３０へ出力する。なお、キー入力部２２０は、物理的なキーボードではなく、ソフトウエアキーボードであってもよい。
【００２８】
ここでは、キー入力部２２０は、操作された文字キーに対応するアルファベットテキスト情報を、出力するものとする。なお、アルファベットテキスト情報とは、アルファベットのテキスト情報のみならず、記号のテキスト情報をも含む概念とする。
【００２９】
文字変換部２３０は、キー入力部２２０から入力されるテキスト情報（以下「変換前テキスト情報」という）に対し、キー入力部２２０から入力される変換操作情報に従って、文字変換処理を行う。文字変換部２３０は、キー操作同期情報付加部２１０を有する。
【００３０】
キー操作同期情報付加部２１０は、変換前テキスト情報が入力されるごとに、そのテキスト情報およびその入力タイミング（時間情報）を記録する。入力タイミングは、例えば、時刻や、基準時刻からの経過時間で表される。そして、キー操作同期情報付加部２１０は、文字変換処理により得られたテキスト情報（以下「変換後テキスト情報」という）に対して、構成単位ごとに、変換前テキスト情報の入力タイミングを示すキー操作同期情報を付加する。
【００３１】
ここで、構成単位とは、テキスト情報を構成する文字の単位である。例えば、アルファベットテキスト情報の構成単位はアルファベット１文字であり、仮名テキスト情報の構成単位は仮名１文字であり、仮名漢字テキスト情報の構成単位は１文節である。
【００３２】
すなわち、キー入力系統部２００は、変換後テキスト情報にキー操作同期情報が付加された情報である同期情報付きテキスト情報５１０を、同期・自動補正部４００へ出力する。
【００３３】
なお、本実施の形態において、文字変換部２３０は、アルファベットテキスト情報、仮名テキスト情報、および仮名漢字テキスト情報という、３階層についてのテキスト情報を、出力するものとする。仮名テキスト情報は、アルファベットテキスト情報に対してローマ字仮名変換を行って得られる情報である。仮名漢字テキスト情報は、仮名テキスト情報に対して仮名漢字変換を行って得られる情報である。
【００３４】
そして、キー操作同期情報付加部２１０は、３階層のテキスト情報の全てにおいて、各構成単位に対して、対応する変換前テキスト情報の入力開始タイミングを、キー操作開始タイミングとして付加する。また、キー操作同期情報付加部２１０は、３階層のテキスト情報の全てにおいて、各構成単位に対して、対応する変換前テキスト情報の入力終了タイミングを、キー操作終了タイミングとして付加する。
【００３５】
また、二度打ち、長押し、シフトキーとの併用などでアルファベットが入力される場合がある。この場合、キー操作同期情報付加部２１０は、最初に文字キーが打鍵された時間を入力開始タイミングとし、最後に文字キーがリリースされた時間を入力終了タイミングとしてもよい。例えば、「Ｋ」を入力するために、シフトキーが打鍵された後に、「ｋ」キーが打鍵され、「ｋ」キーがリリースされ、シフトキーがリリースされたとする。この場合、キー操作同期情報付加部２１０は、例えば、「ｋ」キーが打鍵された時刻を「Ｋ」の入力開始タイミングとし、「ｋ」キーがリリースされた時刻を、入力終了タイミングとする。なお、キー操作同期情報付加部２１０は、シフトキーが打鍵された時刻を「Ｋ」の入力開始タイミングとし、シフトキーがリリースされた時刻を、入力終了タイミングとしてもよい。
【００３６】
音声入力系統部３００は、音声の入力を受け付け、入力した音声に対応するマークアップタグを出力する。より具体的には、音声入力系統部３００は、一まとまりのテキスト情報に対して、音声信号の入力を受け付け、入力された音声信号を、マークアップタグに変換して出力する。すなわち、音声入力系統部３００は、一まとまりのテキスト情報（以下「地の文章」という）に対するマークアップ指示を、ユーザからの音声により入力する。音声入力系統部３００は、音声入力部３２０、マークアップ用音声認識部３３０、およびマークアップ命令変換部３４０を有する。
【００３７】
音声入力部３２０は、例えばマイクロホンを含み、ユーザの発話音声を収録し、収録した音声の信号をマークアップ用音声認識部３３０へ出力する。
【００３８】
マークアップ用音声認識部３３０は、マークアップ用認識辞書５２０を用いて、音声入力部３２０から入力された音声信号に対する音声認識処理を行う。これにより、マークアップ用音声認識部３３０は、音声信号を、マークアップ用の音声タグに変換する。マークアップ用認識辞書５２０は、音声信号が示す音韻情報の音声タグへの変換ルールを規定した辞書である。
【００３９】
図３は、マークアップ用認識辞書５２０の内容の一例を示す図である。
【００４０】
図３に示すように、マークアップ用認識辞書５２０は、情報ＩＤ５２１が割り当てられた読み（音韻情報）５２２に対応づけて、音声タグ（例えば、テキスト情報）５２３を記述している。マークアップ用認識辞書５２０には、例えば、「あか」という読み５２２に対応付けて、「赤」を示す音声タグ５２３が記述されている。これは、「あか」という読みの音声信号が入力されたとき、「赤」を示す音声タグを出力すべきことを示す。
【００４１】
そして、図２のマークアップ用音声認識部３３０は、得られた音声タグを、マークアップ命令変換部３４０へ出力する。マークアップ用音声認識部３３０は、音声入力同期情報付加部３１０を有する。
【００４２】
音声入力同期情報付加部３１０は、発話音声の音声信号（以下、単に「音声信号」という）の入力が開始されるごとに、その音声信号およびその音声入力開始タイミングを記録する。音声入力開始タイミングは、例えば、時刻や、基準時刻からの経過時間で表される。そして、音声入力同期情報付加部３１０は、記録内容に基づき、各音声タグに対して、対応する音声信号の音声入力開始タイミングを示す音声入力同期情報を付加する。
【００４３】
なお、音声入力同期情報付加部３１０は、例えば、音声信号に対してノイズ除去処理を行い、処理後の音声信号が示す値を監視することにより、音声信号の区間（つまり発声区間）を検出する。また、音声入力同期情報付加部３１０は、例えば、マークアップ用音声認識部３３０が実際の音素を認識した区間を、音声信号区間としてもよい。
【００４４】
マークアップ命令変換部３４０は、音声入力により入力された一まとまりの発話音声に対応する１つの音声タグを、１つのマークアップタグに変換する。具体的には、マークアップ命令変換部３４０は、マークアップ命令表５３０を用いて、マークアップ用音声認識部３３０から入力された音声タグに対し、マークアップ命令を示すマークアップタグに変換するマークアップ命令変換処理を行う。マークアップ命令表５３０は、音声タグに応じて、どのようなマークアップタグを挿入するかを規定するルールである。なお、本実施の形態において、マークアップタグは、ＸＭＬタグである。
【００４５】
図４は、マークアップ命令表５３０の内容の一例を示す図である。
【００４６】
図４に示すように、マークアップ命令表５３０は、情報ＩＤ５３１が割り当てられた音声タグ５３２に対応付けて、マークアップタグ５３３を記述している。音声タグ５３２は、マークアップ用認識辞書５２０の音声タグ５２３（図３参照）に対応している。マークアップ命令表５３０には、例えば、「赤」を示す音声タグ５３２に対応付けて、「＜ｆｏｎｔ ｃｏｌｏｒ＝“ｒｅｄ”＞」というマークアップタグ５３３が記述されている。
【００４７】
なお、「赤」および「黒」を示す音声タグ５３２に対応するマークアップタグ５３３の種類は、マークアップの開始点を指定するためのタグ（以下「開始タグ」という）である。また、「終わり」を示す音声タグ５３２に対応するマークアップタグ５３３の種類は、マークアップの終了点を指定するためのタグ（以下「終了タグ」という）である。
【００４８】
本実施の形態において、マークアップタグ（音声タグ）は、開始タグと終了タグとで対になっているものとする。
【００４９】
そして、図２のマークアップ命令変換部３４０は、得られたマークアップタグに、対応する音声タグに付加されていた音声入力同期情報を付加して、出力する。
【００５０】
すなわち、音声入力系統部３００は、音声認識処理およびマークアップ命令変換処理により得られたマークアップ命令に音声入力同期情報を付加した、同期情報付きマークアップタグ５４０を、同期・自動補正部４００へ出力する。この音声入力同期情報は、マークアップタグに変換された上記一まとまりの発話音声の、入力開始タイミングを示すことになる。
【００５１】
なお、マークアップ用認識辞書５２０およびマークアップ命令表５３０は、例えば、マークアップ型定義データ５５０に基づいて、認識辞書生成装置６００において生成される。この場合、音声入力系統部３００は、例えば、通信ネットワークを介して認識辞書生成装置６００にアクセスし、マークアップ用認識辞書５２０およびマークアップ命令表５３０を取得して、保持する。また、マークアップ用認識辞書５２０およびマークアップ命令表５３０は、ユーザまたはオペレータなどにより直接作成されたものであってもよい。
【００５２】
図２の同期・自動補正部４００は、キー操作および音声入力を行うユーザにとっての、キー操作のタイミングと前記音声入力のタイミングとの対応関係を規定する対応ルールを、予め格納する。そして、同期・自動補正部４００は、テキスト情報とマークアップタグとを、これらに付加されたキー操作同期情報および音声入力同期情報と、対応ルールが示す対応関係とに従って、対応付けて出力する。
【００５３】
すなわち、同期・自動補正部４００は、キー入力系統部２００から入力された同期情報付きテキスト情報５１０と、音声入力系統部３００から入力された同期情報付きマークアップタグ５４０とを、対応ルールに従って、適切に組み合わせる。そして、同期・自動補正部４００は、その組み合わせに従って変換後テキスト情報にマークアップタグを挿入し、マークアップテキスト５６０を生成する。
【００５４】
なお、同期・自動補正部４００は、必要に応じて、キー操作同期情報および音声入力同期情報の少なくとも一方を補正し、補正後に、テキスト情報とマークアップタグとを時間軸に沿って単純に対応付けてもよい。この補正については、別途、後述の変形例１として説明する。
【００５５】
図５は、対応ルールの内容の一例を示す図である。
【００５６】
図５に示すように、対応ルール５７０は、マークアップタグの種類５７１ごとに、優先順位５７２が割り当てられた対応付けの条件５７３を記述している。対応付けの条件５７３は、各テキスト情報（構成単位）にマークアップタグを対応付けるための条件である。
【００５７】
対応ルール５７０には、例えば、「開始タグ」というマークアップタグの種類５７１に対応付けて、「音声入力開始タイミングの直後の第１の時間内の区間に、・・・が存在」という対応付けの条件５７３が記述されている。これは、開始タグの音声入力開始タイミングの直後の第１の時間内の区間に、仮名漢字テキスト情報のいずれかの構成単位のキー操作開始タイミングが存在した場合、当該マークアップタグと当該構成単位とを対応付けることを意味する。
【００５８】
また、この対応付けの条件５７３には、「１」という優先順位５７２が割り当てられている。この優先順位５７２は、最優先に判断すべき条件であって、下位の条件を判断対象としないことを意味する。
【００５９】
なお、図５の第１〜第６の時間は、例えば、第１の時間を最大値とし、この順序で小さくなる値がそれぞれに設定される。また、図５の第７〜第１２の時間は、例えば、第７の時間を最大値とし、この順序で小さくなる値がそれぞれに設定される。
【００６０】
図２の同期・自動補正部４００は、例えば、生成したマークアップテキスト５６０を解釈するテキストアプリ７００へ出力する。
【００６１】
テキストアプリ７００は、液晶ディスプレイなどの表示装置（図示せず）を用いて、テキスト情報を画像表示する表示部である。また、テキストアプリ７００は、テキスト情報にマークアップタグが対応付けられている場合、当該マークアップタグに従ってテキスト画像の表示状態を制御する表示部である。すなわち、テキストアプリ７００は、文章エディタ（ワープロ）や、ウェブブラウザやテキストビューワなどの、文字を扱うアプリケーション一般である。本実施の形態において、テキストアプリ７００は、電子メールアプリを想定している。
【００６２】
図６は、テキストアプリ７００が扱う文字型定義（ＤＴＤ：Document Type Definition）の内容の一例を示す図である。
【００６３】
図６に示すように、文字型定義５８０は、「ｆｏｎｔ」というマークアップタグにより、文字の色の指定が可能（赤または黒）であり、指定がない場合は黒で表示する内容となっている。
【００６４】
文字入力装置１００は、例えば、ＣＰＵ、制御プログラムを格納したＲＯＭなどの記憶媒体、およびＲＡＭなどの作業用メモリを有する。この場合、上述の各機能部は、ＣＰＵが制御プログラムを実行することにより実現される。
【００６５】
このように、本実施の形態に係る文字入力装置１００は、キー操作によりテキスト情報の入力を受け付け、音声入力によりマークアップタグの入力を受け付けることができる。そして、文字入力装置１００は、テキスト情報を、キー操作のタイミングを示す情報を付加した状態で出力することができる。更に、文字入力装置１００は、マークアップタグを、音声入力のタイミングを示す情報を付加した状態で出力することができる。
【００６６】
キー操作によるテキスト情報入力と、音声認識処理を用いたマークアップタグ入力とを行う場合、上述の通り、これらの入力された情報の対応付けをどのように行うかが問題となる。理由は、以下の通りである。
【００６７】
例えば、ローマ字入力の後に仮名漢字変換などが行われる日本語入力システムでは、キー操作が行われてから目的とする最終的なテキスト情報が出力されるまでに、時間を要する。日本語入力システム以外では、例えば、非アルファベット圏において、ＩＭＥ（Input Method Editor）によるテキスト変換処理を伴うテキスト情報入力システムでも、同様のことがいえる。そして、特に、携帯端末などでは、テンキーや小さい操作領域でのテキスト入力となるため、目的とするテキスト情報が得られるまでに、比較的長い時間を要する。
【００６８】
また、音声認識処理を用いたマークアップタグの入力では、音声入力が行われてからマークアップタグが出力されるまでには、時間を要する。
【００６９】
これらの、テキスト情報出力までに要する時間、および、マークアップタグ出力までに要する時間は、一定ではなく、状況に応じて変動する。したがって、ユーザが、テキスト情報の出力タイミングとマークアップタグの出力タイミングとが一致するように、キー操作のタイミングおよび音声入力のタイミングを調整することは、難しい。
【００７０】
したがって、テキスト情報のキー操作入力と並行して、そのテキスト情報に対するマークアップタグの入力を、音声入力によって行う場合は、これらをほぼ同時に行うような設定操作が、最も効率が良く、ユーザへの負担も少ないと言える。
【００７１】
そこで、文字入力装置１００は、上述の通り、出力されるテキスト情報にキー操作のタイミングを示すキー操作同期情報が付加し、かつ、出力されるマークアップタグに音声入力のタイミングを示す音声入力同期情報が付加する。このように、テキスト情報およびマークアップタグの両方に付加された同期情報は、ユーザが対応付けたいテキスト情報とマークアップタグとを、容易かつ高精度に特定することを可能にし、上述の効率の良い設定操作を可能にする。したがって、文字入力装置１００は、マークアップタグの設定操作をより少ない負担で行うことを可能にする。
【００７２】
以上で、本実施の形態に係る文字入力装置の構成についての説明を終える。
【００７３】
ここでは、上述のマークアップ用認識辞書５２０およびマークアップ命令表５３０（図３および図４参照）の作成手法の一例について、説明する。
【００７４】
上述の認識辞書生成装置６００は、例えば、マークアップ用認識辞書５２０およびマークアップ命令表５３０を、テキストアプリ７００が扱う文字型定義５８０（図６参照）から、半自動で生成する。
【００７５】
認識辞書生成装置６００は、例えば、文字型定義５８０から、「ｃｏｌｏｒｍａｉｌ」型の文章が、全体を「ｂｏｄｙ」と呼び、「ｂｏｄｙ」の中の文章を「ｆｏｎｔ」というタグでマークアップ可能であることを認識する。
【００７６】
マークアップされた文章は、一般に木構造をとり、ある文章要素（タグで囲まれた部分）は、特定の文章要素の中にしか出現しない。例えば、「ｃｏｌｏｒｍａｉｌ」型の文章は、文章全体が「ｂｏｄｙ」という名前の文章要素１つから成り、その中に、地の文章（＃ＰＣＤＡＴＡ）と、ｆｏｎｔ文章要素が何度も現れる構造を有する。ｆｏｎｔ文章要素の中には、地の文章しか現れない。
【００７７】
認識辞書生成装置６００は、このような知識を予め有し、文字型定義５８０から、「ｆｏｎｔ」というマークアップタグの属性として、「ｒｅｄ」または「ｂｌａｃｋ」を指定可能であると判断する。そして、認識辞書生成装置６００は、その属性のデフォルト値が、「ｂｌａｃｋ」であると判断する。そして、認識辞書生成装置６００は、ユーザから、「ｆｏｎｔ」というマークアップタグや、属性名「ｃｏｌｏｒ」や属性値「ｒｅｄ」、「ｂｌａｃｋ」の発音の設定を受け付ける。これにより、認識辞書生成装置６００は、マークアップ用認識辞書５２０およびマークアップ命令表５３０を自動作成することができる。
【００７８】
以上で、マークアップ用認識辞書５２０およびマークアップ命令表５３０の作成手法の一例についての説明を終える。
【００７９】
次に、文字入力装置１００の動作について説明する。
【００８０】
動作の説明に先立ち、以下の説明において想定する文字列について説明する。
【００８１】
図７は、以下の説明において想定する、表示の対象となる文字列の表示状態を示す図である。
【００８２】
図７に示すように、本実施の形態では、「中止」というマークアップ対象部分８１１のみが赤色のフォントとなっている、「遠足は中止です」という文字列８１２が、表示の対象であるものとする。
【００８３】
この場合、ユーザは、「遠足は」と入力するためのキー操作が完了したタイミングで、「赤」と発声し、続く「中止」と入力するためのキー操作が完了したタイミングで、「終わり」と発声するように操作する。
【００８４】
図８は、図７の文字列８１２を表示するためのマークアップテキストの一例を示す図である。すなわち、図８は、以下の説明において想定する、生成の対象となるマークアップテキストを示す図である。
【００８５】
図８に示すように、生成の対象となるマークアップテキスト８２３は、「＜ｆｏｎｔ ｃｏｌｏｒ＝“ｒｅｄ”＞」というマークアップタグ８２１と、「＜／ｆｏｎｔ＞」というマークアップタグ８２２とに挟まれた「中止」の文字列から成る。
【００８６】
図９は、文字入力装置１００の動作の一例を示すフローチャートである。
【００８７】
図９に示すように、文字入力装置１００は、キー操作受付処理（Ｓ１０００）と、音声入力受付処理（Ｓ２０００）と、同期・自動補正処理（Ｓ３０００）とを、並列に実行する。
【００８８】
キー操作受付処理（Ｓ１０００）は、キー入力系統部２００が、キー操作によるテキスト情報の入力を受け付け、キー操作同期情報を付加して出力する処理である。音声入力受付処理（Ｓ２０００）は、音声入力系統部３００が、入力音声に対応するマークアップタグに、音声入力同期情報を付加して出力する処理である。同期・自動補正処理（Ｓ３０００）は、同期・自動補正部４００が、テキスト情報とマークアップタグとを、キー操作同期情報、音声入力同期情報、および対応ルールに基づいて対応付けて出力する処理である。
【００８９】
なお、各処理の処理順序は、キー操作受付処理（Ｓ１０００）と音声入力受付処理（Ｓ２０００）との間の並列性を保てばよい。したがって、同期・自動補正処理（Ｓ３０００）は、これら２つの処理のいずれかに含まれて実行されてもよい。
【００９０】
図１０は、キー操作受付処理（図９のステップＳ１０００）の一例を示すフローチャートである。
【００９１】
まず、ステップＳ１０１０において、キー入力部２２０は、テキスト情報の入力のためのキー操作があったか否かを判断する。キー入力部２２０は、キー操作がない場合（Ｓ１０１０：ＮＯ）、ステップＳ１０２０へ進む。また、キー入力部２２０は、キー操作があった場合（Ｓ１０１０：ＹＥＳ）、変換前テキスト情報（ここではアルファベットテキスト情報）を文字変換部２３０へ出力して、ステップＳ１０３０へ進む。
【００９２】
ステップＳ１０３０において、文字変換部２３０は、入力された変換前テキスト情報を記録する。
【００９３】
そして、ステップＳ１０４０において、キー操作同期情報付加部２１０は、変換前テキスト情報の入力タイミングを記録して、ステップＳ１０２０へ進む。
【００９４】
ステップＳ１０２０において、キー入力部２２０は、変換未確定のテキスト情報が記録されている状態において、変換操作があったか否かを判断する。キー入力部２２０は、変換操作がない場合（Ｓ１０２０：ＮＯ）、ステップＳ１０５０へ進む。また、キー入力部２２０は、変換操作があった場合（Ｓ１０２０：ＹＥＳ）、変換操作情報を文字変換部２３０へ出力して、ステップＳ１０６０へ進む。
【００９５】
ステップＳ１０６０において、文字変換部２３０は、変換操作情報に従って、記録された変換未確定のテキスト情報に対して、変換処理を行い、ステップＳ１０５０へ進む。
【００９６】
文字変換部２３０は、例えば、「ｃｈｕｕｓｉ」という変換前テキスト情報に対して、変換操作を行うことにより、「ちゅうし」という仮名テキスト情報に対応する「中止」という仮名漢字テキスト情報を、確定候補として選択する。そして、文字変換部２３０は、続けて変換操作が行われるごとに、「注視」、「注し」などの他の仮名漢字テキスト文字に、選択を切り替える。
【００９７】
ステップＳ１０５０において、キー入力部２２０は、変換未確定のテキスト情報に対する変換の確定操作があったか否かを判断する。キー入力部２２０は、確定操作がない場合（Ｓ１０５０：ＮＯ）、ステップＳ１０７０へ進む。また、キー入力部２２０は、確定操作があった場合（Ｓ１０５０：ＹＥＳ）、確定操作情報を文字変換部２３０へ出力して、ステップＳ１０８０へ進む。
【００９８】
この結果、文字変換部２３０は、例えば、「ｃｈｕｕｓｉ」というアルファベットテキスト情報と、「ちゅうし」という仮名テキスト情報と、「中止」という仮名漢字テキスト情報とを、出力の対象として確定する。
【００９９】
ステップＳ１０８０において、キー操作同期情報付加部２１０は、各階層のテキスト情報のそれぞれについて、構成単位ごとに、キー操作開始タイミングおよびキー操作終了タイミングを取得する。なお、テキスト情報とは、アルファベットテキスト情報、仮名テキスト情報、および仮名漢字テキスト情報を含む。
【０１００】
図１１は、以下の説明において想定する、各階層の構成単位ごとのキー操作開始タイミングを示す図である。ここでは、横軸を時間軸（秒）とし、最初のキー入力タイミングが０秒であるものとする。
【０１０１】
図１１に示すように、「ｅｎｓｏｋｕｈａ」の８文字は、１秒間隔で、０〜７秒にかけて順に入力されたとする。「ｃｈｕｕｓｉ」の６文字は、１秒間隔で、１０〜１５秒にかけて順に入力されたとする。「ｄｅｓｕ」の４文字は、１秒間隔で、１８〜２１秒にかけて順に入力されたとする。
【０１０２】
この場合、「えんそく」および「遠足」のキー操作開始タイミングは、０秒となり、「は」のキー操作開始タイミングは６秒となる。「ちゅ」および「中」のキー操作開始タイミングは、１０秒となる。また、「う」のキー操作開始タイミングは、１３秒となる。また、「し」および「止」のキー操作開始タイミングは、１４秒となる。「で」のキー操作開始タイミングは１８秒となり、「す」のキー操作開始タイミングは２０秒となる。
【０１０３】
また、「そ」のキー操作終了タイミングは、３秒となり、「く」および「遠足」のキー操作終了タイミングは、５秒となる。「は」のキー操作終了タイミングは、７秒となる。「ちゅ」のキー操作終了タイミングは、１２秒となり、「う」のキー操作終了タイミングは、１３秒となる。「し」および「中止」のキー操作終了タイミングは、１５秒となる。「で」のキー操作終了タイミングは１９秒となり、「す」および「です」のキー操作終了タイミングは、２１秒となる。
【０１０４】
そして、図１０のステップＳ１０９０において、キー操作同期情報付加部２１０は、取得したキー操作開始タイミングに基づいて、各階層の同期情報付きテキスト情報を生成する。すなわち、キー操作同期情報付加部２１０は、アルファベットテキスト情報、仮名テキスト情報、および仮名漢字テキスト情報のそれぞれに、キー操作開始タイミングおよびキー操作終了タイミングを付加した情報を、生成する。そして、キー操作同期情報付加部２１０は、生成した各階層の同期情報付きテキスト情報を出力して、ステップＳ１０７０へ進む。
【０１０５】
ステップＳ１０７０において、キー入力部２２０は、ユーザ操作などにより処理の終了を指示されたか否かを判断する。キー入力部２２０は、処理の終了を指示されていない場合（Ｓ１０７０：ＮＯ）、ステップＳ１０１０へ戻る。また、キー入力部２２０は、処理の終了を指示された場合（Ｓ１０７０：ＹＥＳ）、一連の処理を終了する。
【０１０６】
このようにして、キー入力系統部２００は、ユーザ操作に応じて、各階層の同期情報付きテキスト情報を出力する。
【０１０７】
図１２〜図１４は、キー入力系統部２００が出力する同期情報付きテキスト情報の内容の例を示す図である。図１２は、アルファベットテキスト情報の同期情報付きテキスト情報の内容の一例である。図１３は、仮名テキスト情報の同期情報付きテキスト情報の内容の一例である。図１４は、漢字仮名テキスト情報の同期情報付きテキスト情報の内容の一例である。
【０１０８】
図１２〜図１４において、ある文字または文字列（以下単に「文字」という）の直前に配置された「＜ｔ＞」というタグは、その文字が入力された時刻を表わす。タグの属性値は、例えば、「ｖ」および「ｅ」である。「ｖ」は、その文字の入力が開始された時刻である。「ｅ」は、その文字の入力が終った時刻である。「ｅ」の値が省略されている場合、「ｅ」の値は、「ｖ」の値と同じであることを示す。
【０１０９】
したがって、例えば、「＜ｔ ｖ＝１２３.４＞ａ＜／ｔ＞」は、「ａ」というキー（文字）が、「１２３.４」秒の時刻に打鍵され、同時に入力が終った（キーがリリースされた）ということを示す。
【０１１０】
また、例えば、「＜ｔ ｖ＝１０ ｅ＝１５＞遠足＜／ｔ＞」は、「遠足」という文字の入力が、「１０」秒の時刻に開始し、「１５」秒の時刻に終了したことを示す。
【０１１１】
なお、「遠足」という情報は、実際に打鍵された文字ではなく、アルファベットテキスト情報に対するローマ字仮名変換および仮名漢字変換を経て得られた文字である。したがって、「遠足」という文字の上述の入力開始時刻とおよび入力終了時刻は、対応するアルファベットの打鍵時刻（変換前テキスト情報の入力時刻）から算出された、見做し時刻である。
【０１１２】
また、図１２〜図１４において、ある文字の直前に配置された「＜ｓ＞」というタグは、その文字の品詞を示す。
【０１１３】
なお、品詞は、必ずしも必要ではないが、後段の同期・自動補正部４００での自動補正処理に役立つため、付与されることが望ましい。品詞は、文字変換部２３０が、品詞情報や文法などの言語情報を用いて文字変換を行う場合、その変換過程で得られた情報である。
【０１１４】
図１５は、音声入力受付処理（図９のステップＳ２０００）の一例を示すフローチャートである。
【０１１５】
まず、ステップＳ２０１０において、音声入力部３２０は、音声入力が開始されたか否かを判断する。音声入力部３２０は、音声入力が開始されていない場合（Ｓ２０１０：ＮＯ）、ステップＳ２０２０へ進む。なお、音声入力が開始されていない場合とは、音声入力が既に開始されており、音声入力継続中である場合を含むものとする。また、音声入力部３２０は、音声入力が開始された場合（Ｓ２０１０：ＹＥＳ）、ステップＳ２０３０へ進む。なお、いずれの場合においても、音声入力部３２０は、音声が入力されている場合には、音声信号を、マークアップ用音声認識部３３０へ出力する。
【０１１６】
ステップＳ２０３０において、マークアップ用音声認識部３３０は、入力された音声信号を記録する。
【０１１７】
そして、ステップＳ２０４０において、音声入力同期情報付加部３１０は、音声信号の入力開始タイミングを記録して、ステップＳ２０２０へ進む。
【０１１８】
ステップＳ２０２０において、音声入力部３２０は、音声入力が終了したか否かを判断する。音声入力部３２０は、音声入力が終了していない場合（Ｓ２０２０：ＮＯ）、ステップＳ２０５０へ進む。なお、音声入力が終了していない場合とは、音声入力がそもそも開始されていない場合を含むものとする。また、音声入力部３２０は、音声入力が終了した場合（Ｓ２０２０：ＹＥＳ）、ステップＳ２０６０へ進む。
【０１１９】
ステップＳ２０６０において、マークアップ用音声認識部３３０は、入力された音声信号に対する音声認識処理を行う。
【０１２０】
そして、ステップＳ２０７０において、マークアップ用音声認識部３３０は、音声認識結果が音声タグであるか否かを判断する。すなわち、マークアップ用音声認識部３３０は、音声認識結果が、マークアップ用認識辞書５２０（図３参照）に記述されたいずれかの音声タグに該当するか否かを判断する。マークアップ用音声認識部３３０は、音声認識結果が音声タグではない場合（Ｓ２０７０：ＮＯ）、ステップＳ２０８０へ進む。また、マークアップ用音声認識部３３０は、音声認識結果が音声タグである場合（Ｓ２０７０：ＹＥＳ）、音声タグをマークアップ命令変換部３４０へ出力して、ステップＳ２０９０へ進む。この際、音声入力同期情報付加部３１０は、記録した入力開始タイミングを、音声タグに付加する。
【０１２１】
ステップＳ２０８０において、マークアップ用音声認識部３３０は、入力音声および入力開始タイミングの記録を消去して、ステップＳ２０５０へ進む。
【０１２２】
また、ステップＳ２０９０において、マークアップ命令変換部３４０は、入力された音声タグを、マークアップ命令表５３０（図４参照）に従って、マークアップタグに変換する。また、マークアップ命令変換部３４０は、対応する音声タグに付加されていた入力開始タイミングを、マークアップタグに付加して、同期情報付きマークアップタグを生成する。そして、マークアップ命令変換部３４０は、生成した各階層の同期情報付きマークアップタグを出力して、ステップＳ２０５０へ進む。
【０１２３】
図１６（Ａ）は、図１１のキー操作開始タイミングを示す図である。また、図１６（Ｂ）は、以下の説明において想定する、音声ごとの音声入力開始タイミングを示す図である。
【０１２４】
図１６（Ｂ）に示すように、ユーザは、「ｃｈｕｕｓｉ」というテキストの入力開始タイミングの２秒前から１秒前にかけて、「あか」と発声したとする。そして、ユーザは、「ｃｈｕｕｓｉ」というテキストの入力終了タイミングの１秒後から２秒後にかけて、「おわり」と発声したとする。
【０１２５】
この場合、図１６（Ｂ）に示すように、例えば、「あか」という音声の入力は、８秒に開始され、「おわり」という音声の入力は、１６秒に開始される。
【０１２６】
一方で、図１６（Ｂ）に示すように、「あか」という読みに対する音声タグは、「赤」であり、「赤」を示す音声タグに対応するマークアップタグは「＜ｆｏｎｔ ｃｏｌｏｒ＝“ｒｅｄ”＞」である。また、「おわり」という読みに対する音声タグは、「終わり」であり、「終わり」を示す音声タグに対応するマークアップタグは「＜／ｆｏｎｔ＞」である（図３および図４参照）。したがって、音声入力系統部３００は、これらのマークアップタグに音声入力タイミングが付加された情報を、同期情報付きマークアップタグ５４０として出力する。
【０１２７】
図１７〜図１９は、音声入力系統部３００が出力する同期情報付きマークアップタグおよびその過程で生成される情報を示す図である。図１７は、入力タイミングが付加された読み情報の内容の一例である。図１８は、入力タイミングが付加された音声タグ情報の内容の一例である。図１９は、同期情報付きマークアップタグの内容の一例である。
【０１２８】
図１９において、「＆ｌｔ；」は、「＜」のエンティティ参照である。同様に「＆ｇｔ；」は、「＞」のエンティティ参照である。
【０１２９】
したがって、例えば、「＜ｔ ｖ＝８ ｅ＝９＞＆ｌｔ；ｆｏｎｔ ｃｏｌｏｒ＝“ｒｅｄ”＆ｇｔ；＜／ｔ＞」は、「ｆｏｎｔ ｃｏｌｏｒ＝“ｒｅｄ”＆ｇｔ」に対応する発声が、「８」秒の時刻に開始し、「９」秒の時刻に終了したことを示す。
【０１３０】
なお、「＜ｔ ｖ＝８ ｅ＝９＞＆ｌｔ；ｆｏｎｔ ｃｏｌｏｒ＝“ｒｅｄ”＆ｇｔ；＜／ｔ＞」という情報は、音声認識処理などを経た後に得られる。したがって、その取得時刻は、対応する音声の発声時刻とずれている。
【０１３１】
図１５のステップＳ２０５０において、音声入力部３２０は、ユーザ操作などにより処理の終了を指示されたか否かを判断する。音声入力部３２０は、処理の終了を指示されていない場合（Ｓ２０５０：ＮＯ）、ステップＳ２０１０へ戻る。また、音声入力部３２０は、処理の終了を指示された場合（Ｓ２０５０：ＹＥＳ）、一連の処理を終了する。
【０１３２】
このようにして、音声入力系統部３００は、音声入力に応じて、同期情報付きマークアップタグを出力する。
【０１３３】
図２０は、同期・自動補正処理（図９のステップＳ３０００）の一例を示すフローチャートである。
【０１３４】
まず、ステップＳ３０１０において、同期・自動補正部４００は、テキスト情報の入力があったか否かを判断する。同期・自動補正部４００は、テキスト情報の入力がない場合（Ｓ３０１０：ＮＯ）、ステップＳ３０２０へ進む。また、同期・自動補正部４００は、テキスト情報の入力があった場合（Ｓ３０１０：ＹＥＳ）、ステップＳ３０３０へ進む。
【０１３５】
ステップＳ３０３０において、同期・自動補正部４００は、テキスト情報に対応するマークアップタグの入力があったか否かを判断する。テキスト情報に対応するマークアップタグとは、例えば、テキスト情報の入力タイミングの前後の所定の時間範囲内に入力された、マークアップタグである。同期・自動補正部４００は、対応するマークアップタグの入力がない場合（Ｓ３０３０：ＮＯ）、ステップＳ３０４０へ進む。また、同期・自動補正部４００は、対応するマークアップタグの入力があった場合（Ｓ３０３０：ＹＥＳ）、ステップＳ３０５０へ進む。
【０１３６】
ステップＳ３０４０において、同期・自動補正部４００は、キー操作同期情報を除去したテキスト情報（マークアップテキスト）を、テキストアプリ７００へ出力して、ステップＳ３０２０へ進む。
【０１３７】
また、ステップＳ３０５０において、同期・自動補正部４００は、対応ルール５７０（図５参照）に従って、テキスト情報とマークアップタグとを対応付け、音声入力同期情報を除去して、マークアップ付きテキスト情報を生成する。そして、同期・自動補正部４００は、生成したマークアップ付きテキスト情報を、テキストアプリ７００へ出力して、ステップＳ３０２０へ進む。
【０１３８】
ステップＳ３０２０において、同期・自動補正部４００は、ユーザ操作などにより処理の終了を指示されたか否かを判断する。同期・自動補正部４００は、処理の終了を指示されていない場合（Ｓ３０２０：ＮＯ）、ステップＳ３０１０へ戻る。また、同期・自動補正部４００は、処理の終了を指示された場合（Ｓ３０２０：ＹＥＳ）、一連の処理を終了する。
【０１３９】
このようにして、同期・自動補正部４００は、テキスト情報とマークアップタグとを、キー操作同期情報および音声入力同期情報に基づいて統合する。
【０１４０】
以上で、文字入力装置１００の動作についての説明を終える。
【０１４１】
以上説明したように、本実施の形態に係る文字入力装置１００は、テキスト情報にキー操作同期情報を付加してこれを出力し、かつ、マークアップタグに音声入力同期情報を付加してこれを出力することができる。これにより、文字入力装置１００は、マークアップタグの設定操作をより少ない負担で行うことを可能にする。
【０１４２】
また、文字入力装置１００は、キー操作同期情報および音声入力同期情報に基づいて、テキスト情報とマークアップタグとを対応付けて出力する。これにより、文字入力装置１００は、ユーザあるいはオペレータがテキスト情報とマークアップタグとを手動で対応付ける手間を省くことができ、マークアップタグの設定操作を更に少ない負担で行うことを可能にする。
【０１４３】
また、文字入力装置１００は、マークアップタグが開始タグと終了タグとのどちらであるかを考慮して、上記対応付けを行う。これにより、文字入力装置１００は、より高い精度でのマークアップタグの設定を行うことができ、ユーザあるいはオペレータがテキスト情報とマークアップタグとを対応付けを後から手動で修正するといった手間を省くことができる。
【０１４４】
また、文字入力装置１００は、キー操作によるテキスト情報入力と、音声入力によるマークアップタグとを同時並行で受け付けることができる。これにより、文字入力装置１００は、ユーザのテキスト入力の速度を低下させることなく、ユーザが所望のマークアップをすることを可能にする。
【０１４５】
すなわち、文字入力装置１００は、ユーザが望むマークアップタグの設定操作をより少ない負担で行うことができる、リッチなテキスト入力環境を、ユーザに提供することができる。
【０１４６】
日本語入力システムにおける仮名漢字テキスト入力は、上述の通り、アルファベットテキストの入力の後、仮名テキストへの変換および仮名漢字テキストへの変換という過程を踏む。このため、ユーザが直感的に文字認識されたと感じるタイミングは、システム内で変換が全部終了して仮名漢字テキストが確定されるタイミングとの間に、ずれ（例えば０.５秒）が生じる。
【０１４７】
これは、音声系統の場合も同様である。すなわち、実際に文字入力装置１００内で音声認識の結果が確定するのは、発声開始タイミングでも発声終了タイミングでもなく、発声してから音声認識処理などに要する時間だけ後ろにずれた時間となる。
【０１４８】
例えば、ユーザは、図１６に示すタイミングで、キー操作および音声入力を行ったとする。しかし、「遠足」という仮名漢字テキストが得られるタイミングと、「＜ｆｏｎｔ ｃｏｌｏｒ＝“ｒｅｄ”＞」というマークアップタグが得られるタイミングとは、一致しない。したがって、これらのタイミングに基づいて単純にテキスト情報とマークアップタグとの対応付けは、ユーザの直感的な対応関係とは異なる場合がある。すなわち、単純なテキスト情報とマークアップタグとの対応付けでは、ユーザの意図した通りのマークアップ範囲を再現することはできない。
【０１４９】
そこで、文字入力装置１００は、上述の通り、キー操作受付処理において、テキスト情報にキー操作タイミングを示す情報を付加し、音声入力受付処理おいて、マークアップタグに音声入力タイミングを示す情報を付加する。そして、文字入力装置１００は、上述の通り、同期・自動補正処理において、これらの付加された情報に基づいて、テキスト情報とマークアップタグとを対応付ける。これにより、文字入力装置１００は、キー操作により入力されたテキスト情報と、音声入力により入力されたマークアップタグとを、ユーザの直感的な対応関係と一致するように対応付けることができる。すなわち、文字入力装置１００は、ユーザの意図した通りのマークアップ範囲を再現することができる。
【０１５０】
例えば、図５に示す対応ルール５７０の「第１の時間」および「第７の時間」は、それぞれ３秒であったとする。この場合、図１６に示す例において、「＜ｆｏｎｔ ｃｏｌｏｒ＝“ｒｅｄ”＞」というマークアップタグおよび「／ｆｏｎｔ」というマークアップタグは、「中止」という仮名漢字テキストに対応付けられる。
【０１５１】
これにより、同期・自動補正処理は、「中止」という仮名漢字テキストの直前に、「＜ｆｏｎｔ ｃｏｌｏｒ＝“ｒｅｄ”＞」というマークアップタグを挿入する。そして、同期・自動補正処理は、「中止」という仮名漢字テキストの直後に、「＜／ｆｏｎｔ」というマークアップタグを挿入する。
【０１５２】
この結果、本実施の形態では、図８に示した、生成の対象となるマークアップテキストが得られ、図７に示した、生成の対象となる文字列が表示されることになる。
【０１５３】
なお、キー操作のタイミングと音声入力のタイミングとの相対関係は、図１６に示す例に限られない。
【０１５４】
図２１は、各音声の入力開始タイミングの他の例を示す図であり、図１６に対応するものである。
【０１５５】
図２１に示すように、ユーザは、「ｃｈｕｕｓｉ」というテキストの入力開始タイミングの１秒前から１秒後にかけて、「あか」と発声したとする。そして、ユーザは、「ｃｈｕｕｃｉ」というテキストの入力終了タイミングの１.５秒前から０.５秒後にかけて、「おわり」と発声したとする。
【０１５６】
例えば、図５に示す対応ルール５７０の「第８の時間」は、２秒であったとする。この場合、図２１に示す例において、「＜ｆｏｎｔ ｃｏｌｏｒ＝“ｒｅｄ”＞」というマークアップタグおよび「／ｆｏｎｔ」というマークアップタグは、「中止」という仮名漢字テキストに対応付けられる。
【０１５７】
すなわち、同期・自動補正部４００は、終了タグの音声入力開始タイミングが、キー操作終了タイミングよりも先になることを考慮して、設定された対応ルール５７０を用いる。これにより、同期・自動補正部４００は、テキスト情報とマークアップタグとの対応付けを的確に行うことができる。
【０１５８】
なお、同期・自動補正部４００は、対応ルール５７０によってではなく、開始タグおよび終了タグの音声入力開始タイミングを補正することにより、時間軸に沿ってテキスト情報とマークアップタグとの対応付けを行ってもよい。
【０１５９】
また、上述のマークアップ用認識辞書５２０およびマークアップ命令表５３０は、ＸＭＬ文書のコンテキスト（文脈）を考慮した内容であってもよい。
【０１６０】
また、以上の説明において、マークアップタグ（音声タグ）は、開始タグと終了タグとで別となっているものとしたが、これに限定されない。マークアップタグ（音声タグ）は、発声の開始タイミングと終了タイミングとにより、マークアップの開始点と終了点との両方をそれぞれ指定するものであってもよい。すなわち、文字入力装置１００は、連続したテキスト情報に対して、連続した長音発音によるマークアップを受け付けるようにしてもよい。
【０１６１】
以下、本実施の形態の変形例１では、音声入力開始タイミングを補正し、時間軸に沿ってテキスト情報とマークアップタグとの対応付けを行うようにした例について説明する。
【０１６２】
また、本実施の形態の変形例２では、マークアップ用認識辞書５２０とマークアップ命令表５３０とをまとめ、更にこれをＸＭＬ文書のコンテキスト（文脈）を考慮した内容とした場合の例について説明する。
【０１６３】
更に、本実施の形態の変形例３では、連続した長音発音によるマークアップを受け付ける文字入力装置１００の一例について説明する。
【０１６４】
（変形例１）
同期・自動補正部４００は、テキスト情報の入力区間と、マークアップタグの入力区間とが、時系列に配置されていた場合に、その配置順序に従って、マークアップタグをテキスト情報に挿入する。このような理想的な配置は、図１６に示す例に相当する。
【０１６５】
そして、同期・自動補正部４００は、テキスト情報の入力区間とマークアップタグの入力区間とが重複している場合に、これらの区間を、理想的な配置に補正する。これは、図２１に示す例に相当する。
【０１６６】
以下、この補正の手順の一例について説明する。
【０１６７】
まず、同期・自動補正部４００は、地の文章のうち、マークアップタグ（マークアップテキスト）を挿入することが可能な位置を特定する。この位置（以下「タグ挿入可能位置」という）は、例えば、以下の４種である。
（ａ）入力が途切れた箇所
（ｂ）品詞の境界
（ｃ）日本語など文字種（平仮名、片仮名、漢字など）がある言語における文字種の境界
（ｄ）句読点、コンマ、カンマ、空白など区切り記号の直後、および、クオートや鉤括弧などの囲み記号の前後
【０１６８】
例えば、地の文章Ｓの同期情報付きテキスト情報が、下記の内容であったとする。
＜ｔ ｖ＝ｂ０ ｅ＝ｅ０＞Ｓ０＜／ｔ＞ ＜ｔ ｖ＝ｂ１ ｅ＝ｅ１＞Ｓ１＜／ｔ＞ ・・・ ＜ｔ ｖ＝ｂｎ ｅ＝ｅｎ＞Ｓｎ＜／ｔ＞
Ｓ ＝ Ｓ０＋Ｓ１＋… ＋ＳＮ （ただし、「＋」は、文章の連接演算子）
【０１６９】
また、マークアップタグＴｘの同期情報付きマークアップタグが、下記内容であったとする。
＜ｔ ｖ＝ｂｘ ｅ＝ｅｘ＞Ｔｘ＜／ｔ＞
【０１７０】
同期・自動補正部４００は、以下の手順で処理を実施する。
ステップ（１）：マークアップタグＴｘの入力開始時刻ｂｘに注目し、入力開始時刻ｂｘが前記（ａ）のタグ挿入可能位置に含まれている場合は、マークアップタグＴｘの挿入位置をそのタグ挿入可能位置に決定し、終了する。
【０１７１】
すなわち、同期・自動補正部４００は、ｅｍ ≦ ｂｘ ≦ ｂ（ｍ＋１）なるｍがあった場合、地の文章Ｓの構成単位である、ｍ番目の文章部分Ｓｍとｍ＋１番目の文章部分Ｓ（ｍ＋１）との間に、マークアップタグＴｘを挿入する。この結果、同期補正された文字列Ｓ′は、下記の内容となる。
Ｓ′ ＝ Ｓ０＋Ｓ１＋…＋Ｓｍ＋Ｔｘ＋Ｓ（ｍ＋１）＋…＋Ｓｎ
【０１７２】
ステップ（２）：同期・自動補正部４００は、マークアップタグの入力開始時刻ｂｘが、ｍ番目の文章部分Ｓｍの入力開始時刻ｂｍから入力終了時刻ｅｍまでの間にあるか否かを判定する。同期・自動補正部４００は、判定の結果、入力開始時刻ｂｘが間にある場合（ｂｍ ≦ ｂｘ ≦ ｅｍを満たすｍが存在した場合）は、マークアップタグＴｘの挿入位置を、マークアップタグＴｘの種類で場合分けをする。
【０１７３】
ステップ（２−１）：同期・自動補正部４００は、マークアップタグＴｘが終了タグ（＜／、＞で囲まれるタグ）である場合、ｍ番目の文章部分Ｓｍの入力開始時刻ｂｍ以降のタグ挿入可能位置に、マークアップタグＴｘを挿入する。ただし、同期・自動補正部４００は、ｍ番目の文章部分Ｓｍの入力開始時刻ｂｍから入力終了時刻ｅｍまでの間に複数のタグ挿入可能位置がある場合、それらのうち、最後のタグ挿入可能位置に、マークアップタグＴｘを挿入する。
【０１７４】
すなわち、ｍ番目の文章部分Ｓｍ中にタグ挿入可能位置がない場合、終了タグについての同期補正された文字列Ｓ′は、下記の内容となる。
Ｓ′ ＝ Ｓ０＋Ｓ１＋…＋Ｓｍ＋Ｔｘ＋Ｓ（ｍ＋１）＋…＋Ｓｎ
【０１７５】
また、ｍ番目の文章部分Ｓｍ中にタグ挿入可能位置があり、ｍ番目の文章部分Ｓｍが、Ｓｍ ＝ Ｓｍ（前半）＋Ｓｍ（後半）というように分割可能である場合、終了タグについての同期補正された文字列Ｓ′は、下記の内容となる。
Ｓ′ ＝ Ｓ０＋Ｓ１＋…＋Ｓｍ（前半）＋Ｔｘ＋Ｓｍ（後半）＋…＋Ｓｎ
【０１７６】
文章部分Ｓｍの分割は、他の階層のテキスト情報（例えば、仮名漢字テキストに対して、仮名テキストあるいはアルファベットテキスト）におけるタグ挿入可能位置を考慮することに相当する。
【０１７７】
ステップ（２−２）：同期・自動補正部４００は、マークアップタグＴｘが開始タグ（（＜、＞で囲まれたタグ）である場合、マークアップタグＴｘを、ｍ番目の文章部分Ｓｍの入力終了時刻ｅｍ以前のタグ挿入可能位置に挿入する。ただし、同期・自動補正部４００は、ｍ番目の文章部分Ｓｍの入力開始時刻ｂｍから入力終了時刻ｅｍまでの間に複数のタグ挿入可能位置がある場合、それらのうち、最前のタグ挿入可能位置に、マークアップタグＴｘを挿入する。
【０１７８】
すなわち、ｍ番目の文章部分Ｓｍ中にタグ挿入可能位置がない場合、開始タグについての同期補正された文字列Ｓ′は、下記の内容となる。
Ｓ′ ＝ Ｓ０＋Ｓ１＋…＋Ｓ（ｍ−１）＋Ｔｘ＋Ｓｍ＋…＋Ｓｎ
【０１７９】
また、ｍ番目の文章部分Ｓｍ中にタグ挿入可能位置があり、ｍ番目の文章部分Ｓｍが、Ｓｍ ＝ Ｓｍ（前半）＋Ｓｍ（後半）というように分割可能である場合、開始タグについての同期補正された文字列Ｓ′は、下記の内容となる。
Ｓ′ ＝ Ｓ０＋Ｓ１＋…＋Ｓｍ（前半）＋Ｔｘ＋Ｓｍ（後半）＋…＋Ｓｎ
【０１８０】
これらの手順により、図２１に示す例において、上記補正ルール（１）により、「＜ｆｏｎｔ ｃｏｌｏｒ＝“ｒｅｄ”＞」というマークアップタグは、「中止」という仮名漢字テキストの直前に挿入される。そして、上記補正ルール（２−１）により、「／ｆｏｎｔ」というマークアップタグは、「中止」という仮名漢字テキストの直後に挿入される。
【０１８１】
図２２は、図７に示す文字列８１２における、タグ挿入可能位置と、「中止」というマークアップ対象部分８１１の対応付けの対象とすべき音声入力タイミングの例を示す図である。
【０１８２】
図２２に示すように、「遠足は中止です」という文字列８１２には、三角印（▲）８３１〜８３５で示す、５個のタグ挿入可能位置が存在する。そして、この場合、「中止」というマークアップ対象部分の対応付けの対象とすべき開始タグの音声入力区間（発声区間）は、矢印８４１〜８４３で示す区間（３つの区間）となる。また、「中止」というマークアップ対象部分８１１の対応付けの対象とすべき終了タグの音声入力区間（発声区間）は、矢印８４４〜８４６で示す区間（３つの区間）となる。
【０１８３】
矢印８４１に示す区間の開始タグは、上記補正ルール（２−２）により、矢印８３３に示す位置に挿入される。矢印８４２に示す区間の開始タグは、上記補正ルール（１）により、矢印８３３に示す位置に挿入される。矢印８４３に示す区間の開始タグは、上記補正ルール（２−２）により、矢印８３３に示す位置に挿入される。
【０１８４】
また、矢印８４４に示す区間の終了タグは、上記補正ルール（２−２）により、矢印８３４に示す位置に挿入される。矢印８４５に示す区間の終了タグは、上記補正ルール（１）により、矢印８３４に示す位置に挿入される。矢印８４４に示す区間の終了タグは、上記補正ルール（２−１）により、矢印８３４に示す位置に挿入される。
【０１８５】
なお、以上説明した本実施の形態の変形例１では、音声入力開始タイミングを補正すると説明した。なお、文字入力装置１００は、逆に、キー操作タイミングの補正、または、音声入力開始タイミングとキー操作タイミングとの両方を補正してもよい。
【０１８６】
（変形例２）
図２３は、本変形例に係る文字入力装置１００における、マークアップ用認識辞書とマークアップ命令表とを兼用したマークアップ用認識辞書兼命令表の内容の一例を示す図である。
【０１８７】
図２３に示すように、マークアップ用認識辞書兼命令表５９０は、情報ＩＤ５９１が割り当てられた、読み付き音声タグ５９２と、コンテキスト５９３と、マークアップタグ５９４とを記述している。
【０１８８】
読み付き音声タグ５９２は、図３のマークアップ用認識辞書５２０の内容に対応し、も読み（音韻情報）から、音声タグへのマッピングを記述する。例えば、「ボディ（ぼでー｜ぼでぃい）」という読み付き音声タグ５９２は、「ぼでー」という読みと「ぼでぃい」という読みとのそれぞれを、「ボディ」を示す音声タグへ変換すべきことを示す。また、読み付き音声タグ５９２からマークアップタグ５９４へのマッピング部分は、図４のマークアップ命令表５３０に対応する。コンテキスト５９３は、マークアップタグ５９４の親の文章要素名を示す。
【０１８９】
このようなマークアップ用認識辞書兼命令表５９０によっても、音声入力系統部３００は、音声入力に基づいて、同期情報付きマークアップタグ５４０を出力することができる。また、このようなマークアップ用認識辞書兼命令表５９０を用いることにより、音声入力系統部３００は、コンテキストの概念を取り入れて音声認識の候補探索を狭め、音声認識の認識率を向上させることができる。
【０１９０】
ここでは、マークアップ用認識辞書兼命令表５９０を用いて、ユーザが「もじ、いろ、あか、おわり」と発声した場合の処理の流れの一例について、説明する。
【０１９１】
音声入力における最初のコンテキストは、「ｂｏｄｙ」である。したがって、次に出現する可能性がある音声タグ（よみ）は、２行目の「文字（もじ｜ふぉんと｜ほんと）」のみである。したがって、音声入力系統部３００は、音声認識対象を、「もじ」、「ふぉんと」、および「ほんと」に絞り、他の読み（例えば「あか」、「くろ」など）を音声認識対象から除外して、音声認識処理を行うことができる。これは、音声認識エンジンにとって有利な特徴であり、音声認識率をあげることが可能である。
【０１９２】
音声入力系統部３００は、「もじ」という発声から「文字」を示す音声タグを得ると、「ｆｏｎｔ」というマークアップタグを決定する。そして、音声入力系統部３００は、「ｆｏｎｔ」をコンテキストに含むマークアップタグを検索する。かかるマークアップタグは、ここまでのマークアップタグに対応する終了タグか、属性ｃｏｌｏｒの設定のマークアップタグのいずれかである。ここで、ユーザが発声する可能性がある音声認識対象は、「いろ」、「からー」、「おわり」、および「とじる」である。したがって、音声入力系統部３００は、音声認識対象を、「いろ」、「からー」、「おわり」、および「とじる」に絞って、音声認識処理を行うことができる。
【０１９３】
音声入力系統部３００は、「いろ」という発声から「色」を示す音声タグを得ると、「ｃｏｌｏｒ」というマークアップタグを挿入する。ここまでに、生成された文字列は、「＜ｆｏｎｔ ｃｏｌｏｒ＝」である。したがって、音声入力系統部３００は、「ｆｏｎｔ：ｃｏｌｏｒ」をコンテキストに含むマークアップタグを検索する。かかるマークアップタグは、ここまでのマークアップタグに対応する終了タグか、「ｒｅｄ」というマークアップタグか、「ｂｌａｃｋ」というマークアップタグのいずれかである。ここでユーザが発声する可能性がある音声認識対象は、「からー」、「おわり」、および「とじる」である。したがって、音声入力系統部３００は、音声認識対象を、「からー」、「おわり」、および「とじる」に絞って、音声認識処理を行うことができる。
【０１９４】
音声入力系統部３００は、「あか」という発声から「赤」を示す音声タグを得ると、「ｒｅｄ」というマークアップタグを挿入する。そして、音声入力系統部３００は、「おわり」という発声から「終わり」を示す音声タグを得ると、開始タグの閉じていない「＜＞」についての終了タグを挿入する。この結果、音声入力系統部３００は、「＜ｆｏｎｔ ｃｏｌｏｒ＝″ｒｅｄ″＞ ＜／ｆｏｎｔ＞」という文字列を、マークアップタグとして生成することになる。
【０１９５】
以上で、マークアップ用認識辞書兼命令表５９０を用いた処理の流れの一例について、説明を終える。
【０１９６】
なお、マークアップ用認識辞書兼命令表５９０は、例えば、認識辞書生成装置６００において、文字型定義５８０（図６参照）から、半自動で生成することができる。
【０１９７】
以下、マークアップ用認識辞書兼命令表５９０の作成手順の一例について説明する。
【０１９８】
認識辞書生成装置６００は、文章のルートになる要素が必ず「ｂｏｄｙ」であることから、コンテキストなしとした「ｂｏｄｙ」というマークアップタグ５９４を、マークアップ用認識辞書兼命令表５９０に追加する。コンテキストなしとは、親となる情報がない、文章の開始部分であることを示す。なお、「ｂｏｄｙ」というマークアップタグ５９４は、「ｃｏｌｏｒｍａｉｌ」という型の文章の開始と終りに必ず付与されるものであり、ユーザが手や音声で入力するようなものではない。したがって、文字入力装置１００において、図２３に示すマークアップ用認識辞書兼命令表５９０の１行目は、実際には利用されない。
【０１９９】
次に、認識辞書生成装置６００は、文字型定義５８０の２行目から、ｂｏｄｙ要素の中（「ｂｏｄｙ」というマークアップタグで囲まれた部分の中）でマークアップのために挿入できるタグが、「ｆｏｎｔ」だけであると判断する。したがって、認識辞書生成装置６００は、マークアップ用認識辞書兼命令表５９０の２行目に、「ｂｏｄｙ」というコンテキスト５９３に対応付けて、「ｆｏｎｔ」というマークアップタグ５９４を記述する。
【０２００】
また、認識辞書生成装置６００は、文字型定義５８０の４行目〜６行目から、「ｆｏｎｔ」というマークアップタグに対しては、「ｃｏｌｏｒ」という名前の属性があると判断する。したがって、認識辞書生成装置６００は、マークアップ用認識辞書兼命令表５９０の３行目に、「ａｔｔｒ＿ｎａｍｅ（ｆｏｎｔ）」というコンテキスト５９３に対応付けて、「ｃｏｌｏｒ」というマークアップタグ５９４を記述する。
【０２０１】
また、認識辞書生成装置６００は、文字型定義５８０の６行目から、「ｆｏｎｔ」というマークアップタグの「ｃｏｌｏｒ」という名前の属性の値が、ｒｅｄおよびｂｌａｃｋを採り得ると判断する。したがって、認識辞書生成装置６００は、マークアップ用認識辞書兼命令表５９０の４行目に、「ａｔｔｒ＿ｖａｌ（ｆｏｎｔ：ｃｏｌｏｒ）」というコンテキスト５９３に対応付けて、「ｒｅｄ」というマークアップタグ５９４を記述する。そして、認識辞書生成装置６００は、マークアップ用認識辞書兼命令表５９０の５行目に、「ａｔｔｒ＿ｖａｌ（ｆｏｎｔ：ｃｏｌｏｒ）」というコンテキスト５９３に対応付けて、「ｂｌａｃｋ」というマークアップタグ５９４を記述する。
【０２０２】
そして、認識辞書生成装置６００は、ユーザ操作あるいはオペレータ操作を受けて、各マークアップタグ５９４の読み付き音声タグ５９２を、そのマークアップタグ５９４の意味や使い方に応じた内容で記述する。
【０２０３】
このようにして、認識辞書生成装置６００は、マークアップ用認識辞書兼命令表５９０を、半自動で生成することができる。
【０２０４】
（変形例３）
図２４は、本変形例におけるマークアップ用認識辞書兼命令表の内容の一例を示す図であり、図２３に対応するものである。図２３と同一部分には同一符号を付し、これについての説明を省略する。なお、コンテキストについての図示および説明は、省略する。
【０２０５】
図２４に示すように、本変形例におけるマークアップ用認識辞書兼命令表５９０は、「赤（あ）」を示す音声タグ（読み）５９２に対応付けて、「＜ｆｏｎｔ ｃｏｌｏｒ＝“ｒｅｄ”＞」というマークアップタグ５９４を記述する。また、マークアップ用認識辞書兼命令表５９０は、「黒（う）」を示す音声タグ（読み）５９２に対応付けて、「＜ｆｏｎｔ ｃｏｌｏｒ＝“ｂｌａｃｋ”＞」というマークアップタグ５９４を記述する。そして、マークアップ用認識辞書兼命令表５９０は、「終わり（−）」を示す音声タグ（読み）５９２に対応付けて、「＜／ｆｏｎｔ＞」というマークアップタグ５９４を記述する。
【０２０６】
図２５は、本変形例における対応ルールの内容の一例を示す図であり、図５に対応するものである。図５と同一部分には、同一符号を付し、これについての説明を省略する。
【０２０７】
図２５に示すように、本変形例における対応ルール５７０は、図５のマークアップタグの種類５７１ではなく、音声入力タイミングの種類５７４ごとに、対応付けの条件５７３を記述する。音声入力開始タイミングは、開始タグの音声入力タイミングに相当し、音声入力終了タイミングは、終了タグの音声入力タイミングに相当する。また、音声入力終了タイミングに対応する対応付けの条件５７３は、音声入力終了タイミングを基準とした条件を記述している。
【０２０８】
対応ルール５７０には、例えば、音声入力タイミングの種類５７４に対応付けて、「音声入力終了タイミングの直前の第７の時間内の区間に、・・・キー操作開始タイミングが存在」という対応付けの条件５７３が記述されている。これは、マークアップタグの音声入力終了タイミングの直前の第７の時間内の区間に、仮名漢字テキスト情報のいずれかの構成単位のキー操作開始タイミングが存在した場合、これらを対応付けるべきことを意味する。
【０２０９】
図２６は、音声の入力開始タイミングおよび入力終了タイミングの一例を示す図であり、図１６に対応するものである。
【０２１０】
図２６に示すように、ユーザは、「ｃｈｕｕｓｉ」というテキストの入力開始タイミングの１秒前から、「ｃｈｕｕｓｉ」というテキストの入力終了タイミングの１秒後にかけて、「あー」と連続して発声したとする。
【０２１１】
例えば、図２５に示す対応ルール５７０の「第１の時間」および「第７の時間」は、それぞれ２秒であったとする。この場合、図２６に示す例において、「＜ｆｏｎｔ ｃｏｌｏｒ＝“ｒｅｄ”＞」というマークアップタグおよび「／ｆｏｎｔ」というマークアップタグは、「中止」という仮名漢字テキストに対応付けられる。すなわち、本変形例に係る文字入力装置１００は、マークアップタグ（音声タグ）が開始タグと終了タグとで別である場合と同様の結果を得ることができる。
【０２１２】
このように、本変形例に係る文字入力装置１００は、マークアップしたい文章を入力している間に、特定の音声で長く発声することにより、簡易的なマークアップをすることを可能にする。また、本変形例に係る文字入力装置１００は、発声の回数を抑えることができるため、特にキー操作が速いユーザに対して、マークアップ作業の負担を更に軽減することができる。
【０２１３】
なお、上述の対応ルールおよび補正ルールの内容は、以上の実施の形態２で説明した内容に制限されるものではなく、使用される言語や実際のシステムの性能等に応じて各種変形させることが望ましい。
【０２１４】
例えば、英語入力の場合には、タグ挿入可能位置を探索するのに文字種や品詞から推定する必要もなく、タグ挿入可能位置を空白や改行部分に限っても支障はない。また、英語の場合には、単語の途中で文字の色や大きさ等の属性が変化することも考えられない。したがって、同期・自動補正部は、英語のテキスト情報を処理対象とする場合、構成単位の分割を行わず、空白や改行部分のうち、最も近いものを、タグ挿入位置に決定するなど、よりシンプルな手法を用いることができる。但し、この場合は、ユーザが自然と思うような、対応ルールあるいは補正ルールを設定することが必要である。
【０２１５】
また、キー入力部２２０は、仮名テキスト情報を、変換前テキスト情報として入力してもよい。
【０２１６】
また、文字変換部２３０は、例えば、入力履歴に基づく予測変換機能などにより、キー操作により入力された１つの文字情報を、複数のテキスト情報に変換してもよい。この場合、キー操作同期情報付加部２１０（キー入力系統部２００）は、テキスト情報のそれぞれに対して、複数のテキスト情報全体における順序に沿った異なるタイミングを示すキー操作同期情報を付加すればよい。
【０２１７】
また、以上説明した実施の形態２では、同期情報付きテキスト情報および同期情報付きマークアップ情報がＸＭＬで記述される例について説明したが、これに限定されない。同期情報付きテキスト情報および同期情報付きマークアップ情報は、文書のある範囲に特別な属性を与えることができるような、ＸＭＬと同等の表現力をもったマークアップフォーマットであれば、どのような言語で記述されてもよい。例えば、同期情報付きテキスト情報および同期情報付きマークアップ情報は、マイクロソフト社のＲＴＦ（Rich Text Format）により記述されてもよいし、他のワードプロセッサごとの独自フォーマットなどであってもよい。
【０２１８】
また、本発明の適用は、スマートホンなどの携帯端末に制限されない。本発明は、キー操作によるテキスト情報の入力と、音声入力によるマークアップ情報の入力を受け付ける各種の装置に適用することができる。
【産業上の利用可能性】
【０２１９】
本発明は、マークアップ情報の設定操作をより少ない負担で行うことができる文字入力装置および文字入力方法として有用である。本発明は、特に、携帯端末などの入力インタフェースの大きさが限られた機器における文字入力装置および文字入力方法として有用である。
【符号の説明】
【０２２０】
１００ 文字入力装置
２００ キー入力系統部
２１０ キー操作同期情報付加部
２２０ キー入力部
２３０ 文字変換部
３００ 音声入力系統部
３１０ 音声入力同期情報付加部
３２０ 音声入力部
３３０ マークアップ用音声認識部
３４０ マークアップ命令変換部
４００ 同期・自動補正部
６００ 認識辞書生成装置
７００ テキストアプリ
【特許請求の範囲】
【請求項１】
キー操作を受け付け、受け付けた前記キー操作に対応するテキスト情報を出力するキー入力系統部と、
音声の入力を受け付け、入力した前記音声に対応するマークアップ情報を出力する音声入力系統部と、を有し、
前記キー入力系統部は、
前記キー操作のタイミングを示すキー操作同期情報を、当該キー操作に対応して出力される前記テキスト情報に付加し、
前記音声入力系統部は、
前記音声の入力のタイミングを示す音声入力同期情報を、当該音声に対応して出力される前記マークアップ情報に付加する、
文字入力装置。
【請求項２】
前記キー入力系統部は、
前記キー操作により入力された１つまたは複数の文字情報を１つの前記テキスト情報に変換する文字変換部、を更に有し、
前記キー操作同期情報は、前記テキスト情報に変換された前記１つまたは複数の文字情報のうち、最初に入力された前記文字情報を入力した前記キー操作のタイミングである、キー操作開始タイミングを示す、
請求項１記載の文字入力装置。
【請求項３】
前記キー操作同期情報は、前記テキスト情報に変換された前記１つまたは複数の文字情報のうち、最後に入力された前記文字情報を入力した前記キー操作のタイミングである、キー操作終了タイミングを示す、
請求項２記載の文字入力装置。
【請求項４】
前記文字変換部は、
前記キー操作により入力された１つの文字情報を複数の前記テキスト情報に変換し、
前記キー入力系統部は、
前記１つの文字情報が前記複数のテキスト情報に変換されたとき、前記テキスト情報のそれぞれに対して、前記複数のテキスト情報全体における順序に沿った異なるタイミングを示す前記キー操作同期情報を付加する、
請求項２記載の文字入力装置。
【請求項５】
前記音声入力系統部は、
入力された一まとまりの発話音声を１つの前記マークアップ情報に変換する命令変換部、を更に有し、
前記音声入力同期情報は、前記マークアップ情報に変換された前記一まとまりの発話音声の入力が開始したタイミングである、音声入力開始タイミングを示す、
請求項３記載の文字入力装置。
【請求項６】
前記音声入力同期情報は、前記マークアップ情報に変換された前記一まとまりの発話音声の入力が終了したタイミングである、音声入力終了タイミングを示す、
請求項５記載の文字入力装置。
【請求項７】
前記命令変換部は、
入力された一まとまりの発話音声に対して音声認識処理を行い、テキスト情報を生成する音声認識部、を更に有し、
前記音声認識部により生成された前記テキスト情報を、前記マークアップ情報に変換する、
請求項６記載の文字入力装置。
【請求項８】
前記キー入力系統部は、
アルファベットテキスト情報および仮名テキスト情報の少なくとも１つを、前記テキスト情報として入力するキー入力部、を有し、
前記文字変換部は、
前記キー入力部により入力されたアルファベットテキスト情報および仮名テキスト情報を、仮名漢字テキスト情報に変換する、
請求項２記載の文字入力装置。
【請求項９】
前記キー操作および前記音声の入力を行うユーザにとっての、前記キー操作のタイミングと前記音声の入力のタイミングとの対応関係を規定する対応ルールを予め格納し、前記テキスト情報および前記マークアップ情報を、当該テキスト情報に付加された前記キー操作同期情報と、当該マークアップ情報に付加された前記音声入力同期情報と、前記対応ルールが示す前記対応関係とに従って、対応付けて出力する同期・自動補正部、を更に有する、
請求項６記載の文字入力装置。
【請求項１０】
前記同期関係ルールは、
前記音声入力開始タイミングと、当該タイミングの直後の所定の区間における前記キー操作開始タイミングとが対応していることを、少なくとも規定する、
請求項９に記載の文字入力装置。
【請求項１１】
前記同期関係ルールは、
前記音声入力終了タイミングと、当該タイミングの直前の所定の区間における前記キー操作終了タイミングとが対応していることを、少なくとも規定する、
請求項１０に記載の文字入力装置。
【請求項１２】
前記同期・自動補正部は、
前記テキスト情報を画像表示し、かつ、前記テキスト情報に前記マークアップ情報が対応付けられている場合には当該マークアップ情報に従って前記テキスト画像の表示状態を制御する表示部に対して、前記テキスト情報および前記マークアップ情報を出力する、
請求項１１に記載の文字入力装置。
【請求項１３】
キー操作を受け付けるステップと、
受け付けた前記キー操作のタイミングを示すキー操作同期情報を、当該キー操作に対応するテキスト情報に付加するステップと、
前記キー操作同期情報が付加された前記テキスト情報を出力するステップと、
音声の入力を受け付けるステップと、
入力した前記音声の入力のタイミングを示す音声入力同期情報を、当該音声に対応するマークアップ情報に付加するステップと、
前記音声入力同期情報が付加された前記マークアップ情報を出力するステップと、を有する、
文字入力方法。
【請求項１】
キー操作を受け付け、受け付けた前記キー操作に対応するテキスト情報を出力するキー入力系統部と、
音声の入力を受け付け、入力した前記音声に対応するマークアップ情報を出力する音声入力系統部と、を有し、
前記キー入力系統部は、
前記キー操作のタイミングを示すキー操作同期情報を、当該キー操作に対応して出力される前記テキスト情報に付加し、
前記音声入力系統部は、
前記音声の入力のタイミングを示す音声入力同期情報を、当該音声に対応して出力される前記マークアップ情報に付加する、
文字入力装置。
【請求項２】
前記キー入力系統部は、
前記キー操作により入力された１つまたは複数の文字情報を１つの前記テキスト情報に変換する文字変換部、を更に有し、
前記キー操作同期情報は、前記テキスト情報に変換された前記１つまたは複数の文字情報のうち、最初に入力された前記文字情報を入力した前記キー操作のタイミングである、キー操作開始タイミングを示す、
請求項１記載の文字入力装置。
【請求項３】
前記キー操作同期情報は、前記テキスト情報に変換された前記１つまたは複数の文字情報のうち、最後に入力された前記文字情報を入力した前記キー操作のタイミングである、キー操作終了タイミングを示す、
請求項２記載の文字入力装置。
【請求項４】
前記文字変換部は、
前記キー操作により入力された１つの文字情報を複数の前記テキスト情報に変換し、
前記キー入力系統部は、
前記１つの文字情報が前記複数のテキスト情報に変換されたとき、前記テキスト情報のそれぞれに対して、前記複数のテキスト情報全体における順序に沿った異なるタイミングを示す前記キー操作同期情報を付加する、
請求項２記載の文字入力装置。
【請求項５】
前記音声入力系統部は、
入力された一まとまりの発話音声を１つの前記マークアップ情報に変換する命令変換部、を更に有し、
前記音声入力同期情報は、前記マークアップ情報に変換された前記一まとまりの発話音声の入力が開始したタイミングである、音声入力開始タイミングを示す、
請求項３記載の文字入力装置。
【請求項６】
前記音声入力同期情報は、前記マークアップ情報に変換された前記一まとまりの発話音声の入力が終了したタイミングである、音声入力終了タイミングを示す、
請求項５記載の文字入力装置。
【請求項７】
前記命令変換部は、
入力された一まとまりの発話音声に対して音声認識処理を行い、テキスト情報を生成する音声認識部、を更に有し、
前記音声認識部により生成された前記テキスト情報を、前記マークアップ情報に変換する、
請求項６記載の文字入力装置。
【請求項８】
前記キー入力系統部は、
アルファベットテキスト情報および仮名テキスト情報の少なくとも１つを、前記テキスト情報として入力するキー入力部、を有し、
前記文字変換部は、
前記キー入力部により入力されたアルファベットテキスト情報および仮名テキスト情報を、仮名漢字テキスト情報に変換する、
請求項２記載の文字入力装置。
【請求項９】
前記キー操作および前記音声の入力を行うユーザにとっての、前記キー操作のタイミングと前記音声の入力のタイミングとの対応関係を規定する対応ルールを予め格納し、前記テキスト情報および前記マークアップ情報を、当該テキスト情報に付加された前記キー操作同期情報と、当該マークアップ情報に付加された前記音声入力同期情報と、前記対応ルールが示す前記対応関係とに従って、対応付けて出力する同期・自動補正部、を更に有する、
請求項６記載の文字入力装置。
【請求項１０】
前記同期関係ルールは、
前記音声入力開始タイミングと、当該タイミングの直後の所定の区間における前記キー操作開始タイミングとが対応していることを、少なくとも規定する、
請求項９に記載の文字入力装置。
【請求項１１】
前記同期関係ルールは、
前記音声入力終了タイミングと、当該タイミングの直前の所定の区間における前記キー操作終了タイミングとが対応していることを、少なくとも規定する、
請求項１０に記載の文字入力装置。
【請求項１２】
前記同期・自動補正部は、
前記テキスト情報を画像表示し、かつ、前記テキスト情報に前記マークアップ情報が対応付けられている場合には当該マークアップ情報に従って前記テキスト画像の表示状態を制御する表示部に対して、前記テキスト情報および前記マークアップ情報を出力する、
請求項１１に記載の文字入力装置。
【請求項１３】
キー操作を受け付けるステップと、
受け付けた前記キー操作のタイミングを示すキー操作同期情報を、当該キー操作に対応するテキスト情報に付加するステップと、
前記キー操作同期情報が付加された前記テキスト情報を出力するステップと、
音声の入力を受け付けるステップと、
入力した前記音声の入力のタイミングを示す音声入力同期情報を、当該音声に対応するマークアップ情報に付加するステップと、
前記音声入力同期情報が付加された前記マークアップ情報を出力するステップと、を有する、
文字入力方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【公開番号】特開２０１３−３４１００（Ｐ２０１３−３４１００Ａ）
【公開日】平成２５年２月１４日（２０１３．２．１４）
【国際特許分類】
【出願番号】特願２０１１−１６９１９２（Ｐ２０１１−１６９１９２）
【出願日】平成２３年８月２日（２０１１．８．２）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２５年２月１４日（２０１３．２．１４）
【国際特許分類】
【出願日】平成２３年８月２日（２０１１．８．２）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]