入力支援システム
【課題】高いセキュリティを求められるアプリケーションに対して高精度な音声入力機能を簡単に追加することができる入力支援システムを提供すること。
【解決手段】アプリケーションソフトウェアを含む情報処理装置２００と、音声認識処理を行う音声認識サーバ６００とを有し、アプリケーションソフトウェアに対する入力作業を支援する入力支援システム１００であって、公共通信網５００を介して音声認識サーバ６００に接続する網通信部と、公共通信網５００とは別の通信経路により情報処理装置２００に接続する装置通信部と、音声を入力する音声入力部と、入力した音声の音声認識サーバ６００への送信と、音声認識サーバ６００から受信した音声認識処理の結果を表す情報の情報処理装置２００への送信とを、交互に行う音声認識管理部とを有する無線通信端末４００を有する。
【解決手段】アプリケーションソフトウェアを含む情報処理装置２００と、音声認識処理を行う音声認識サーバ６００とを有し、アプリケーションソフトウェアに対する入力作業を支援する入力支援システム１００であって、公共通信網５００を介して音声認識サーバ６００に接続する網通信部と、公共通信網５００とは別の通信経路により情報処理装置２００に接続する装置通信部と、音声を入力する音声入力部と、入力した音声の音声認識サーバ６００への送信と、音声認識サーバ６００から受信した音声認識処理の結果を表す情報の情報処理装置２００への送信とを、交互に行う音声認識管理部とを有する無線通信端末４００を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子カルテなどのアプリケーションソフトウェアに対して音声入力機能を追加する、入力支援システムに関する。
【背景技術】
【０００２】
データベースに大量のデータ入力を行うためのアプリケーションソフトウェア（以下、単に「アプリケーション」という）は、通常、データベースごと、あるいは用途ごとに、独自のものが用意されている。病院の電子カルテは、その代表的なものである。近年の音声認識技術の向上により、このようなアプリケーションに、高精度な音声入力機能を採り入れたいというニーズが高まっている。
【０００３】
そこで、入力音声に対する音声認識処理を、音声認識サーバで行う技術が存在する（例えば特許文献１参照）。
【０００４】
特許文献１に記載の技術（以下「従来技術」という）において、アプリケーションが稼動する情報処理装置は、入力された音声を、公共通信網を介して、音声認識サーバへ送信する。音声認識サーバは、受信した音声に対して高精度な音声認識処理を行い、その結果を、情報処理装置へ返信する。これにより、特許文献１に記載の技術は、アプリケーションに、高精度な音声入力機能を追加することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−３２８６５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載の技術は、アプリケーションが稼動する情報処理装置を、公共通信網に接続された状態にしておかなければならないため、高いセキュリティを求められるアプリケーションには適用し難いという課題を有する。
【０００７】
本発明の目的は、高いセキュリティを求められるアプリケーションに対して高精度な音声入力機能を簡単に追加することができる入力支援システムを提供することである。
【課題を解決するための手段】
【０００８】
本発明の入力支援システムは、アプリケーションソフトウェアを含む情報処理装置と、音声認識処理を行う音声認識サーバとを有し、前記アプリケーションソフトウェアに対する入力作業を支援する入力支援システムであって、公共通信網を介して前記音声認識サーバに接続する網通信部と、前記公共通信網とは別の通信経路により前記情報処理装置に接続する装置通信部と、音声を入力する音声入力部と、入力した前記音声の前記音声認識サーバへの送信と、前記音声認識サーバから受信した前記音声認識処理の結果を表す情報の前記情報処理装置への送信とを、交互に行う音声認識管理部とを有する無線通信端末を有する。
【発明の効果】
【０００９】
本発明によれば、高いセキュリティを求められるアプリケーションに対して高精度な音声入力機能を簡単に追加することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施の形態に係る入力支援システムの構成を示すシステム構成図
【図２】本実施の形態に係る情報処理装置の構成の一例を示すブロック図
【図３】本実施の形態におけるテーブル作成ルールの内容の一例を示す図
【図４】本実施の形態における操作変換ルールの一例を示す図
【図５】本実施の形態における無線通信端末の構成の一例を示すブロック図
【図６】本実施の形態における音声認識サーバの構成の一例を示すブロック図
【図７】本実施の形態における装置情報の内容の一例を示す図
【図８】本実施の形態におけるクラーク情報の内容の一例を示す図
【図９】本実施の形態におけるクラーク決定ルールの内容の一例を示す図
【図１０】本実施の形態における情報処理装置の動作の一例を示すフローチャート
【図１１】本実施の形態における入力画面の一例を示す平面図
【図１２】本実施の形態におけるテーブル生成処理の一例を示すフローチャート
【図１３】本実施の形態における画面構成テーブルの内容の一例を示す図
【図１４】本実施の形態における辞書用情報の内容の一例を示す図
【図１５】本実施の形態におけるＩＤテキスト対応情報の内容の一例を示す図
【図１６】本実施の形態における情報処理装置から無線通信端末への送信データの構成の一例を示す図
【図１７】本実施の形態における無線通信端末の動作の一例を示すフローチャート
【図１８】本実施の形態における無線通信端末から音声認識サーバへの第１の送信データの構成の一例を示す図
【図１９】本実施の形態における無線通信端末から音声認識サーバへの第２の送信データの構成の一例を示す図
【図２０】本実施の形態における音声認識装置の動作の一例を示すフローチャート
【図２１】本実施の形態におけるＩＤ読み対応テーブルの内容の一例を示す図
【図２２】本実施の形態における音声認識サーバから校正端末への送信データの構成の一例を示す図
【図２３】本実施の形態における校正端末から音声認識サーバへの送信データの構成の一例を示す図
【図２４】本実施の形態における音声認識サーバから情報処理装置への送信データの構成の一例を示す図
【図２５】本実施の形態における情報表示装置による操作変換処理の一例を示すフローチャート
【発明を実施するための形態】
【００１１】
以下、本発明の一実施の形態について、図面を参照して詳細に説明する。本実施の形態は、本発明を、病院の電子カルテに音声入力機能を追加する入力支援システムに適用した例である。
【００１２】
まず、本発明に係る入力支援システムの概要について説明する。
【００１３】
図１は、本発明の一実施の形態に係る入力支援システムの構成を示すシステム構成図である。
【００１４】
図１において、入力支援システム１００は、情報処理装置２００と、情報処理装置２００が接続する院内ＬＡＮ３００と、無線通信端末４００とを有する。情報処理装置２００および院内ＬＡＮ３００は、病院内に配置されている。無線通信端末４００は、情報処理装置２００のユーザ（医師）に携帯され、当該ユーザが情報処理装置２００を操作するときには病院内に位置している。
【００１５】
なお、院内ＬＡＮ３００、情報処理装置２００、および無線通信端末４００は、図示しないが、実際には複数配置されている。
【００１６】
また、入力支援システム１００は、公共通信網５００と、公共通信網５００に接続された音声認識サーバ６００および第１〜第Ｎの校正端末７００−１〜７００−Ｎとを有する。公共通信網５００、音声認識サーバ６００、および第１〜第Ｎの校正端末７００−１〜７００−Ｎは、病院外に配置されている。
【００１７】
情報処理装置２００は、電子カルテのアプリケーション（以下「電子カルテ」という）が搭載されたパーソナルコンピュータである。電子カルテに入力された情報は、例えば、院内ＬＡＮ３００に配置された情報サーバ（図示せず）に送信される。情報処理装置２００は、無線通信端末４００、公共通信網５００、音声認識サーバ６００、および第１〜第Ｎの校正端末７００−１〜７００−Ｎを用いて、電子カルテに対する音声入力操作を実現する。
【００１８】
本実施の形態において、電子カルテは、位置および大きさが可変のウィンドウにより入力画面を表示する、既存のアプリケーションソフトウェアである。入力画面は、テキストボックスなどの複数の入力エリアおよび複数のラベルテキストを配置している。入力エリア（コンポーネント）は、テキスト入力および項目選択の少なくとも１つを受け付ける画像の領域であり、例えば、テキストボックスや選択ボタンである。ラベルテキストは、入力画面に表示される、音声入力などによりユーザによって入力されたテキスト（以下「入力テキスト」という）以外のテキストであり、例えば、入力エリアの属性として表示される文字列である。また、本実施の形態における電子カルテは、各入力エリアに対する読みの設定がされておらず、かつ、高いセキュリティを求められるアプリケーションである。
【００１９】
院内ＬＡＮ３００は、患者情報など、秘匿性の高い各種情報をやり取りする通信ネットワークである。
【００２０】
無線通信端末４００は、例えば、情報処理装置２００のユーザ（医師）が携帯する、無線ＬＡＮ機能とインターネット通信機能とを備えた携帯電話機である。無線通信端末４００は、病院内に位置しているとき、情報処理装置２００および公共通信網５００のそれぞれと、無線通信により接続可能となっている。
【００２１】
また、無線通信端末４００は、ユーザの発話音声を入力する。無線通信端末４００は、公共通信網５００、音声認識サーバ６００、および第１〜第Ｎの校正端末７００−１〜７００−Ｎを用いて、入力した音声（以下、単に「端末入力音声」という）に対する音声認識結果を取得する。そして、無線通信端末４００は、取得した音声認識結果を、情報処理装置２００へ転送する。
【００２２】
公共通信網５００は、インターネットなど、不特定多数の端末が接続可能な通信ネットワークである。
【００２３】
音声認識サーバ６００は、端末入力音声に対して高精度な音声認識処理を行う。また、音声認識サーバ６００は、公共通信網５００および第１〜第Ｎの校正端末７００−１〜７００−Ｎを用いて、更に高精度な音声認識結果を得る。
【００２４】
第１〜第Ｎの校正端末７００−１〜７００−Ｎは、音声認識サーバ６００が行った音声認識処理の結果（以下、適宜、「未校正音声認識結果」という）に対する校正作業を受け付ける。以下、第１〜第Ｎの校正端末７００−１〜７００−Ｎを用いて校正作業を行う人は、「クラーク」という。また、校正作業の結果は、適宜、「校正済音声認識結果」という。
【００２５】
このような入力支援システム１００は、クラークによる校正作業を取り入れることにより、高精度な音声認識結果を得ることができる。そして、公共通信網５００に接続する複数の校正端末７００での校正作業を可能にすることにより、活用可能な人的リソースを増やすことができ、より高精度な音声認識結果を、しかも短時間で得ることが可能となる。
【００２６】
ところが、電子カルテおよび院内ＬＡＮ３００のセキュリティ確保の観点からみると、情報処理装置２００は、公共通信網５００と直接に接続すべきではない。
【００２７】
そこで、入力支援システム１００は、上述の通り、情報処理装置２００と公共通信網５００との接続を、無線通信端末４００との無線通信を介した間接的なものにする。また、入力支援システム１００は、音声入力を無線通信端末４００で行うことにより、基本的には音声認識結果の１方向転送が行われるのみとすることができ、情報処理装置２００と公共通信網５００との間の通信頻度を大幅に低減することができる。
【００２８】
これにより、入力支援システム１００は、電子カルテおよび院内ＬＡＮ３００のセキュリティを確保しつつ、高精度な音声入力機能を電子カルテに追加することができる。
【００２９】
また、本実施の形態における電子カルテは、上述の通り既存のアプリケーションであり、そのまま使用したいというニーズがある。
【００３０】
ところが、本実施の形態における電子カルテの各入力エリアには、上述の通り、予め読みが設定されているものではない。
【００３１】
そこで、入力支援システム１００は、情報処理装置２００において、入力画面を解析し、入力エリアの表示位置（以下「入力エリア位置」という）とラベルテキストの表示位置（以下「ラベルテキスト位置」という）との相対関係に基づいて、入力エリア位置に対するラベルテキストの対応付けを行う。そして、入力支援システム１００は、情報処理装置２００において、ラベルテキストに対応する音声認識結果が得られたとき、そのラベルテキストに対応する入力エリア位置を選択する操作情報（入力エリア位置に対する選択操作を示す操作情報）を、電子カルテに入力する。
【００３２】
これにより、入力支援システム１００は、電子カルテを改変せずに、音声入力機能を電子カルテに追加することができる。すなわち、入力支援システム１００は、高いセキュリティを求められる既存のアプリケーションである電子カルテに対して、高精度な音声入力機能を簡単に追加することができる。
【００３３】
なお、入力支援システム１００は、情報処理装置２００において、入力エリア位置を取得し、取得した入力エリア位置に対して、ユーザから手動でラベルテキストの対応付けを行うようにしてもよい。
【００３４】
以上で、入力支援システム１００の概要についての説明を終える。
【００３５】
次に、各装置の構成について説明する。
【００３６】
図２は、情報処理装置２００の構成の一例を示すブロック図である。
【００３７】
図２において、情報処理装置２００は、ＬＡＮ通信部２０１、端末通信部２０２、電子カルテ部２０３、画像出力部２０４、および操作入力部２０５を有する。また、情報処理装置２００は、テーブル作成ルール格納部２０６、画面構成解析部２０７、画面構成テーブル格納部２０８、操作変換ルール格納部２０９、および入力情報生成部２１０を有する。
【００３８】
なお、例えば、これら機能部のうち、テーブル作成ルール格納部２０６、画面構成解析部２０７、および画面構成テーブル格納部２０８は、入力エリア位置とラベルテキストとの対応付けの設定を行うアプリケーションを構成する。
【００３９】
また、操作変換ルール格納部２０９および入力情報生成部２１０は、設定された対応付けに基づいて音声認識結果を電子カルテに入力するアプリケーションを構成する。
【００４０】
ＬＡＮ通信部２０１は、例えばＬＡＮインタフェースであり、院内ＬＡＮ３００と通信可能に接続する。
【００４１】
端末通信部２０２は、例えば無線ＬＡＮインタフェースであり、無線通信端末４００と無線通信を行う。
【００４２】
電子カルテ部２０３は、上述の電子カルテを実現する機能部である。電子カルテ部２０３は、例えば、ＬＡＮ通信部２０１を介して、院内ＬＡＮ３００の情報サーバと通信を行う。
【００４３】
画像出力部２０４は、例えば液晶ディスプレイ（図示せず）であり、電子カルテ部２０３が生成する入力画面を表示する。
【００４４】
操作入力部２０５は、例えばマウスおよびキーボード（図示せず）であり、ユーザから電子カルテ部２０３に対する手入力操作を受け付ける。
【００４５】
テーブル作成ルール格納部２０６は、テーブル作成ルールを予め格納する。テーブル作成ルールは、入力エリア位置に対するラベルテキストの対応付けの条件を、入力エリア位置とラベルテキスト位置との相対関係によって規定するルールである。なお、この相対関係は、配置方向および距離を少なくとも含む。
【００４６】
図３は、テーブル作成ルールの内容の一例を示す図である。
【００４７】
図３に示すように、テーブル作成ルール８１０は、タイプ８１１ごとに優先順位８１２が設定された、対応付けの対象８１３を記述している。タイプ８１１は、入力エリアの入力形態のタイプ（以下、単に「タイプ」という）を示し、ここでは、「タブ」、「テキストボックス」、「選択ボタン」、および「選択メニュー」を含むものとする。優先順位８１２は、より高い優先順位８１２の対応付けの対象が存在する場合において、より低い優先順位８１２の対応付けの対象を無視すべきであるということを示す。対応付けの対象８１３は、入力エリアに対して対応付けるべきラベルテキストの条件を示す。
【００４８】
ここで、記号Ｄｘは、入力エリアとラベルテキストとの間のｘ軸方向の離隔距離を表し、記号Ｄｙは、入力エリアとラベルテキストとの間のｙ軸方向の離隔距離を表すものとする。また、記号｜Δｘ｜は、入力エリアのｘ軸座標とラベルテキストのｘ軸座標との差を表し、記号｜Δｙ｜は、入力エリアのｙ軸座標とラベルテキストのｙ軸座標との差を表す。
【００４９】
例えば、「テキストボックス」というタイプ８１１の「１」という優先順位８１２に対応付けて、「左側に位置し、Ｄｘ＜Ｐ１かつ｜Δｙ｜＜Ｐ２のラベルテキスト」と記述されている。これは、テキストボックスの左側に位置し、Ｄｘ＜Ｐ１かつ｜Δｙ｜＜Ｐ２を満たすラベルテキストが存在する場合、当該テキストボックスに当該ラベルテキストを対応付けるべきであるということを示す。
【００５０】
なお、ここで、Ｐ１は、ユーザが、通常の感覚において、入力エリアの左側に位置するラベルテキストを入力エリアの属性を示す情報と感じるｘ軸方向の離隔距離の、上限値である。また、Ｐ２は、ユーザが、通常の感覚において、入力エリアの左側に位置するラベルテキストを入力エリアの属性を示す情報と感じるｙ軸座標の差分の、上限値である。
【００５１】
したがって、テキストボックスの左側に位置し、Ｄｘ＜Ｐ１かつ｜Δｙ｜＜Ｐ２を満たすラベルテキストを、当該テキストボックスに対応付ける対応付けは、入力画面を見たときのユーザの感覚に適合する。なお、テーブル作成ルール８１０の他の対応付けも、同様にユーザの感覚に適合した内容となっている。
【００５２】
したがって、このようなテーブル作成ルール８１０に基づいて入力エリアに対するラベルテキストの対応付けを行うことにより、各入力エリアに対するラベルテキストの設定を、ユーザの感覚に適合した内容で行うことが可能となる。
【００５３】
図２の画面構成解析部２０７は、電子カルテ部２０３に問い合わせて、入力エリア位置およびラベルテキスト位置を取得する。そして、画面構成解析部２０７は、取得した、入力エリア位置およびラベルテキスト位置から、テーブル作成ルールに基づいて、画面構成テーブルを生成する。画面構成テーブルは、入力エリア位置に対するラベルテキストの対応付けと、対応付けごとのＩＤとを記述したテーブルである。画面構成テーブルに記述されるＩＤは、言い換えると、入力エリアを表す読みを特定する情報（第１の情報）であり、かつ、ラベルテキストの読みを特定する情報（第３の情報）である。
【００５４】
また、画面構成解析部２０７は、画面構成テーブルに記述された対応付けごとに、ＩＤとラベルテキストとの組を、端末通信部２０２を介して無線通信端末４００へ送信する。
【００５５】
また、画面構成解析部２０７は、選択メニューが存在するとき、選択メニューのＩＤと複数のメニュー項目テキストとを組み付けた辞書用情報を、端末通信部２０２を介して無線通信端末へ送信する。選択メニューとは、予め用意された複数のメニュー項目テキストに対する選択を受け付ける入力エリアであり、例えばプルダウンメニューである。
【００５６】
画面構成テーブル格納部２０８は、画面構成解析部２０７により生成された画面構成テーブルを記憶する。
【００５７】
なお、画面構成解析部２０７は、上述の通り、入力エリア位置に対して、ユーザから手動でラベルテキストの対応付けを行うようにしてもよい。
【００５８】
この場合、情報処理装置２００は、必ずしもテーブル作成ルール格納部２０６を備えなくてもよい。また、この場合のメリットは、例えば、ユーザが発話し易い読み（例えば略語や外国語）、あるいは覚え易い読みを、自由に設定することができる点である。
【００５９】
操作変換ルール格納部２０９は、操作変換ルールを予め格納する。操作変換ルールは、音声認識処理の結果を表す情報（第２の情報）を、画面構成テーブルを用いて操作情報に変換するためのルールである。
【００６０】
図４は、操作変換ルールの内容の一例を示す図である。
【００６１】
図４に示すように、操作変換ルール８２０は、タイプ８２１に対応付けて、操作情報の内容８２２を記述している。
【００６２】
操作情報の内容８２２は、音声認識処理の結果に対応するラベルテキストが画面構成テーブルに存在するとき、そのラベルテキストに対応する入力エリア（以下「操作対象入力エリア」という）に関して出力すべき操作情報の内容を示す。
【００６３】
例えば、「テキストボックス」というタイプ８２１に対応付けて、「取得された絶対座標でワンクリック＋入力テキスト」という操作情報の内容８２２が記述されている。これは、音声認識処理の結果が示す入力エリアの基準点（例えば左上端部）の絶対座標の位置においてワンクリックする操作と、音声認識処理の結果に含まれる入力テキストを続けて入力する操作とを示す操作情報を、出力すべきであるといいうことを示す。
【００６４】
図２の入力情報生成部２１０は、端末入力音声に対する音声認識処理の結果を表す情報が、画面構成テーブルにおいていずれかの入力エリアの表示位置に対応付けられているとき、当該表示位置に対する操作情報を、電子カルテ部２０３に入力する。
【００６５】
より具体には、入力情報生成部２１０は、無線通信端末４００から送られてきた音声認識処理の結果を表す情報を、画面構成テーブルにおいて検索する。そして、入力情報生成部２１０は、当該ＩＤが画面構成テーブルに記述されたＩＤと一致するとき、当該ＩＤに対応する入力エリアの表示位置に対する選択操作を示す操作情報を、電子カルテ部２０３に入力する。
【００６６】
また、入力情報生成部２１０は、音声認識処理の結果を表す情報が、選択メニューのＩＤと入力テキストとを示すとき、当該ＩＤに該当する入力エリアの表示位置に対する選択操作を示す操作情報を、まず電子カルテ部２０３に入力する。そして、これに続けて、入力情報生成部２１０は、テキストの入力操作を示す操作情報を、電子カルテ部２０３に入力する。
【００６７】
なお、入力情報生成部２１０は、これらの操作情報を、操作変換ルール（図４参照）を用いて、音声認識処理の結果を変換することにより取得する。
【００６８】
図５は、無線通信端末４００の構成の一例を示すブロック図である。
【００６９】
図５において、無線通信端末４００は、網通信部４０１、装置通信部４０２、音声入力部４０３、および音声認識管理部４０４を有する。
【００７０】
網通信部４０１は、例えば、公共通信網５００に接続された携帯電話網（図示せず）と無線通信を行うための無線通信インタフェースである。網通信部４０１は、携帯電話網および公共通信網５００を介して、音声認識サーバ６００および第１〜第Ｎの校正端末７００−１〜７００−Ｎのそれぞれと、通信可能に接続する。
【００７１】
装置通信部４０２は、例えば無線ＬＡＮインタフェースであり、公共通信網５００とは別の通信経路（ここでは無線ＬＡＮ）により、情報処理装置２００に接続する。
【００７２】
音声入力部４０３は、ユーザの発話音声を入力する。
【００７３】
音声認識管理部４０４は、音声入力部４０３により入力された音声である端末入力音声を、音声認識処理の対象として、網通信部４０１を介して音声認識サーバ６００へ送信する。
【００７４】
また、音声認識管理部４０４は、校正作業の結果（校正済音声認識結果）を、網通信部４０１を介して第１〜第Ｎの校正端末７００−１〜７００−Ｎから受信する。そして、音声認識管理部４０４は、受信した校正作業の結果を、電子カルテ部２０３に対する操作情報として、装置通信部４０２を介して情報処理装置２００へ送信する。
【００７５】
また、音声認識管理部４０４は、情報処理装置２００から装置通信部４０２を介して受信したＩＤとラベルテキストとの組を、網通信部４０１を介して音声認識サーバ６００へ送信する。
【００７６】
図６は、音声認識サーバ６００の構成の一例を示すブロック図である。
【００７７】
図６において、音声認識サーバ６００は、網通信部６０１、音声認識データベース６０２、逆認識処理部６０３、対応テーブル格納部６０４、および音声認識処理部６０５を有する。また、音声認識サーバ６００は、装置情報格納部６０６、クラーク情報格納部６０７、クラーク決定ルール格納部６０８、および校正管理部６０９を有する。
【００７８】
網通信部６０１は、例えば、公共通信網５００に接続されたプロバイダ網（図示せず）と有線通信を行うためのＬＡＮインタフェースである。網通信部６０１は、プロバイダ網および公共通信網５００を介して、音声認識サーバ６００および第１〜第Ｎの校正端末７００−１〜７００−Ｎのそれぞれと、通信可能に接続する。
【００７９】
音声認識データベース６０２は、音声認識処理に用いられる音響モデル、言語モデル、および辞書などのデータを格納する。
【００８０】
逆認識処理部６０３は、無線通信端末４００から受信したＩＤとラベルテキストとの組ごとに、ラベルテキストの読みをラベルテキストに対する逆認識処理により取得する。そして、逆認識処理部６０３は、取得した読みとＩＤとを対応付けたＩＤ読み対応テーブルを生成する。
【００８１】
対応テーブル格納部６０４は、逆認識処理部６０３により生成されたＩＤ読み対応テーブルを格納する。
【００８２】
音声認識処理部６０５は、音声認識データベース６０２を用いて、無線通信端末４００から受信した端末入力音声に対する音声認識処理を行う。
【００８３】
装置情報格納部６０６は、装置情報を格納する。装置情報は、情報処理装置２００、音声入力の対象となっているアプリケーション（ここでは電子カルテ部２０３）、および当該アプリケーションのユーザの少なくとも１つの属性情報を含む。
【００８４】
図７は、装置情報の内容の一例を示す図である。
【００８５】
図７に示すように、装置情報８３０は、端末ＩＤ８３１、装置ＩＤ８３２、分野８３３、希望レベル８３４、および希望単価８３５を、対応付けて記述する。
【００８６】
端末ＩＤ８３１は、無線通信端末（他の無線通信端末を含む）のＩＤである。装置ＩＤは、端末ＩＤ８３１が示す無線通信端末を利用して音声認識機能が追加される情報処理装置（他の情報処理装置を含む）のＩＤである。分野８３３は、装置ＩＤが示す情報処理装置において音声入力の対象となるアプリケーションの分野を示す。希望レベル８３４は、装置ＩＤが示す情報処理装置のユーザが希望する、上記アプリケーションに対する音声認識結果の校正の精度のレベル（以下、単に「レベル」という）を示す。希望単価８３５は、上記ユーザが希望する、上記アプリケーションに対する音声認識の単価（例えば音声１分当たりの金額。以下、単に「単価」という）を示す。
【００８７】
例えば、「Ｔ１」という端末ＩＤ８３１には、「Ｍ１」という装置ＩＤ８３２が対応付けられている。これは、端末ＩＤが「Ｔ１」である無線通信端末から受信した端末入力音声については、その音声認識結果を、装置ＩＤが「Ｍ１」である情報処理装置に送信すべきであるということを示す。ここでは、無線通信端末４００の端末ＩＤが、「Ｔ１」であるものとする。また、情報処理装置２００の装置ＩＤが、「Ｍ１」であるものとする。また、「Ｔ１」という端末ＩＤに対応付けて、「医療」という分野８３３が記述されている。これは、対応する情報処理装置２００において音声入力の対象となるアプリケーション（ここでは電子カルテ部２０３）は、医療分野のアプリケーションであるということを示す。また、「Ｔ１」という端末ＩＤに対応付けて、「２以上」という希望レベル８３４、および、「１００円／分以下」という希望単価８３５が記述されている。これは、校正作業の精度の希望レベルが２以上であり、その希望単価が１分当たり１００円以下であるということを示す。
【００８８】
装置情報８３０は、例えば、オペレータにより事前に手入力により設定されてもよいし、校正管理部６０９が情報処理装置および無線通信端末に必要な情報を問い合わせて作成してもよい。
【００８９】
図６のクラーク情報格納部６０７は、クラーク情報を格納する。クラーク情報は、校正端末のオペレータの属性情報を含む。本実施の形態において、クラーク情報は、現在、校正端末において校正作業が可能か否かを示す情報と、オペレータの校正作業の対象の得意範囲を示す情報を含むものとする。
【００９０】
図８は、クラーク情報の内容の一例を示す図である。
【００９１】
図８に示すように、クラーク情報８４０は、校正端末ＩＤ８４１、クラークＩＤ８４２、作業ステータス８４３、不得意分野８４４、得意分野８４５、レベル８４６、および単価８４７を記述する。
【００９２】
校正端末ＩＤ８４１は、校正端末７００のＩＤである。クラークＩＤ８４２は、校正端末ＩＤ８４１が示す校正端末７００を使用するクラークのＩＤである。作業ステータス８４３は、クラークＩＤ８４２が示すクラークが、現在、校正作業を即時に行うことができる状態か否かを示す。不得意分野８４４は、上記クラークが校正作業を不得意とする分野を示す。得意分野８４４は、上記クラークが校正作業を得意とする分野を示す。レベル８４６は、上記クラークのレベルを示す。単価８４７は、上記クラークにより校正作業が行われた場合の単価を示す。
【００９３】
例えば、「Ｐ１」という校正端末ＩＤ８４１に対応付けて、「Ｃ１」というクラークＩＤ８４２が記述されている。これは、「Ｐ１」という校正端末ＩＤ８４１に送信した未校正音声認識結果は、「Ｃ１」というクラークＩＤ８４２により校正作業を受けるということを示す。また、「Ｃ１」というクラークＩＤ８４２に対応付けて、「作業可」という作業ステータス８４３、「文学」という不得意分野８４４、および、「医療」という得意分野８４５が記述されている。これは、クラークＩＤが「Ｃ１」であるクラークが、現在、即時の校正作業が可能であり、不得意分野は文学であり、得意分野は医療であるということを示す。また、「Ｃ１」というクラークＩＤ８４２に対応付けて、「１」というレベル８４６、および、「９０円／分」という単価８４７が記述されている。これは、当該クラークのレベルは１であるということ、および、当該クラークが校正作業を行った場合の単価が１分あたり９０円であるということを示す。
【００９４】
図６のクラーク決定ルール格納部６０８は、クラーク決定ルールを予め格納する。クラーク決定ルールは、音声認識処理の結果に対する校正端末７００の選択の条件を、装置情報と、クラーク情報との関係によって規定するルールである。本実施の形態において、クラーク決定ルールは、現在、校正作業が可能である校正端末を選択することを少なくとも規定するものとする。また、クラーク決定ルールは、音声入力の対象となっているアプリケーション（ここでは電子カルテ部２０３）およびユーザを得意範囲に含むオペレータが存在するとき、当該オペレータの校正端末７００を選択することを少なくとも規定するものとする。
【００９５】
図９は、クラーク決定ルールの内容の一例を示す図である。
【００９６】
図９に示すように、クラーク決定ルール８５０は、優先順位８５１が設定された条件８５２を記述する。
【００９７】
優先順位８５１は、より高い優先順位８５１の条件が満たされるようなクラークをより優先的に選択すべきことを示す。条件８５２は、校正作業を行わせるべきクラークの条件を示す。
【００９８】
例えば、「１」という優先順位に対応付けて、「作業可である」という条件８５２が記述されている。これは、作業可となっていることが、校正作業を行わせるべきクラークの最優先の条件であるということを示す。
【００９９】
図６の校正管理部６０９は、音声認識処理部６０５による音声認識処理の結果（未校正音声認識結果）ごとに、対応する装置情報を取得する。校正管理部６０９は、クラーク決定ルールに基づいて、第１〜第Ｎの校正端末７００−１〜７００−Ｎの中から１つまたは複数の校正端末７００を選択する。そして、校正管理部６０９は、選択した校正端末７００に音声認識処理の結果に対する校正作業を行わせる。その後、校正管理部６０９は、校正端末７００から受信した校正作業の結果（校正済音声認識結果）が示す読みを、ＩＤ読み対応テーブルで検索する。そして、校正管理部６０９は、当該読みがＩＤ読み対応テーブルに存在するとき、当該読みに対応するＩＤを、無線通信端末４００へ送信する。
【０１００】
以上の情報処理装置２００、無線通信端末４００、および音声認識サーバ６００は、例えば、ＣＰＵ（Central Processing Unit）、制御プログラムを格納したＲＯＭ（Read Only Memory）などの記憶媒体、およびＲＡＭ（Random Access Memory）などの作業用メモリをそれぞれ有する。この場合、上記した各構成部の機能は、ＣＰＵが制御プログラムを実行することにより実現される。
【０１０１】
以上のような構成を有する情報処理装置２００、無線通信端末４００、および音声認識サーバ６００により、図１で説明したそれぞれの機能が実現される。すなわち、入力支援システム１００は、これらの装置と第１〜第Ｎの校正端末７００−１〜７００−Ｎとを備えることにより、高いセキュリティを求められる既存のアプリケーションである電子カルテに対して、高精度な音声入力機能を簡単に追加することができる。
【０１０２】
以上で、各装置の構成についての説明を終える。
【０１０３】
以下、各装置の動作について説明する。但し、電子カルテへの音声認識機能の追加に関する処理のみに着目して説明を行う。
【０１０４】
図１０は、情報処理装置２００の動作の一例を示すフローチャートである。
【０１０５】
まず、ステップＳ１１００において、画面構成解析部２０７は、電子カルテ部２０３が新たな入力画面を表示したか否かを判断する。
【０１０６】
新たな入力画面とは、解析済みの（つまり対応する画面構成テーブルを生成済みの）入力画面と内容が異なる入力画面だけでなく、内容が同じであっても大きさおよび配置の少なくとも１つが異なる入力画面を含む。
【０１０７】
図１１は、入力画面の一例を示す平面図である。
【０１０８】
図１１に示すように、入力画面８６１は、情報処理装置２００のデスクトップ画面８６２に表示されるウィンドウである。入力画面８６１は、例えば、操作入力部２０５を介してユーザにより行われるカーソル８６３の操作により、デスクトップ画面８６２における位置および大きさが可変となっている。
【０１０９】
本実施の形態において、入力画面８６１は、内部に「患者情報」というラベルテキスト８６４が配置されたタブ８６５と、内部に「病院情報」というラベルテキスト８６６が配置されたタブ８６７とを有する。入力画面８６１は、左側近傍に「氏名」というラベルテキスト８６８が配置されたテキストボックス８６９を有する。入力画面８６１は、左側近傍に「性別」というラベルテキスト８７０が配置され、右側近傍に「男」というラベルテキスト８７１が配置された選択ボタン８７２を有する。入力画面８６１は、左側近傍に「性別」というラベルテキスト８７０が配置され、右側近傍に「女」というラベルテキスト８７３が配置された選択ボタン８７４を有する。入力画面８６１は、左側近傍に「診療科目」というラベルテキスト８７５が配置された選択メニュー８７６を有する。選択メニュー８７６は、「内科」、「外科」、「整形外科」、・・・というメニュー項目テキスト群８７７を有する。
【０１１０】
なお、後述するが、画面構成解析部２０７は、デスクトップ画面８６２の座標系である絶対座標系８７８と、入力画面８６１の座標系である相対座標系８７９とを用いて、入力画面８６１の解析（以下、適宜、「画面構成解析」という）を行う。絶対座標系８７８は、Ｘ軸とＹ軸とから成るものとする。相対座標系８７９は、ｘ軸とｙ軸とから成るものとする。なお、図１１に示す絶対座標系８７８および相対座標系８７９は、デスクトップ画面８６２および入力画面８６１には表示されない。
【０１１１】
なお、絶対座標系における位置のみが異なるものは、新たな入力画面として扱ってもよいが、本実施の形態に係る情報処理装置２００は、新たな入力画面として取り扱わないものとする。但し、情報処理装置２００は、絶対座標系における入力画面の（相対座標系の）位置を逐次取得し、操絶対座標系を用いた内容で操作情報を生成するものとする。
【０１１２】
画面構成解析部２０７は、電子カルテ部２０３が新たな入力画面を表示した場合（図１０のＳ１１００：ＹＥＳ）、ステップＳ１２００へ進む。また、画像構成解析部２０７は、電子カルテ部２０３が新たな入力画面を表示していない場合（Ｓ１１００：ＮＯ）、ステップＳ１３００へ進む。
【０１１３】
ステップＳ１２００において、画面構成解析部２０７は、ステップＳ１１００において、テーブル生成処理を行って、ステップＳ１３００へ進む。テーブル生成処理は、入力画面を解析して画面構成テーブルを生成する処理である。テーブル生成処理の詳細については後述する。
【０１１４】
そして、ステップＳ１３００において、入力情報生成部２１０は、新たな音声認識結果を受信したか否かを判断する。入力情報生成部２１０は、新たな音声認識結果を受信した場合（Ｓ１３００：ＹＥＳ）、ステップＳ１４００へ進む。また、入力情報生成部２１０は、新たな音声認識結果を受信していない場合（Ｓ１３００：ＮＯ）、ステップＳ１５００へ進む。
【０１１５】
ステップＳ１４００において、入力情報生成部２１０は、操作変換処理を行って、ステップＳ１５００へ進む。操作変換処理は、端末入力音声に対する音声認識処理の結果を、操作情報に変換して電子カルテ部２０３へ渡す処理である。操作変換処理の詳細については後述する。
【０１１６】
そして、ステップＳ１５００において、入力情報生成部２１０は、ユーザ操作などにより処理の終了を指示されたか否かを判断する。入力情報生成部２１０は、処理の終了を指示されていない場合（Ｓ１５００：ＮＯ）、ステップＳ１１００へ戻る。また、入力情報生成部２１０は、処理の終了を指示された場合（Ｓ１５００：ＹＥＳ）、一連の処理を終了する。
【０１１７】
このような動作により、情報処理装置２００は、新たな入力画面が表示されるごとに、その入力画面に対応した画面構成テーブルを生成することができる。そして、情報処理装置２００は、新たな音声認識結果が受信されるごとに、その音声認識結果の操作情報への変換を行うことができる。
【０１１８】
図１２は、テーブル生成処理（図１０のステップＳ１２００）の一例を示すフローチャートである。
【０１１９】
まず、ステップＳ１２０１において、画面構成解析部２０７は、電子カルテ部２０３から、入力画面の画面情報を取得する。画面情報は、入力画面を構成する各入力エリアのタイプおよび表示位置と、入力画面を構成する各ラベルテキストと、その表示位置およびサイズを含む。画面情報の取得は、入力画面がマイクロソフト社のウィンドウズ（登録商標）におけるウィンドウである場合、対応するウィンドウズメッセージを電子カルテ部２０３へ渡すことにより、可能である。
【０１２０】
そして、ステップＳ１２０２において、画面構成解析部２０７は、取得した入力エリアのうち１つを選択する。
【０１２１】
そして、ステップＳ１２０３において、画面構成解析部２０７は、テーブル作成ルール（図３参照）に従って、選択中の入力エリアにラベルテキストを対応付ける。
【０１２２】
例えば、図１１に示す入力画面８６１において、テキストボックス８６９が選択されている場合、画面構成解析部２０７は、「氏名」というラベルテキスト８６８を、テキストボックス８６９に対応付ける。
【０１２３】
そして、ステップＳ１２０４において、画面構成解析部２０７は、ステップＳ１２０３において行った対応付けと、コンポーネットのタイプおよび相対座標などを、画面構成テーブルに登録する。後述のステップＳ１２０７の処理により、このような画面構成テーブルへの登録は、全ての入力エリアについて行われる。
【０１２４】
図１３は、図１１に示す入力画面から図３に示すテーブル作成ルールに基づいて生成された、画面構成テーブルの内容の一例を示す図である。
【０１２５】
図１３に示すように、画面構成テーブル８８０は、フィールドＩＤ８８１ごとに、親ＩＤ８８２、タイプ８８３、相対座標８８４、プロパティ８８５、およびラベルテキスト８８６を記述する。
【０１２６】
フィールドＩＤ８８１は、入力エリアのＩＤである。親ＩＤ８８２は、入力エリアの親に位置づける親入力エリアのＩＤである。タイプ８８３は、フィールドＩＤ８８１が示す入力エリアのタイプである。相対座標８８４は、入力画面８６１の相対座標系８２９における、フィールドＩＤ８８１が示す入力エリアの基準点の座標（図１１参照）である。プロパティ８８５は、フィールドＩＤ８８１が示す入力エリアがタブである場合のタブインデックスである。ラベルテキスト８８６は、フィールドＩＤ８８１が示す入力エリアに対応付けられたラベルテキスト８８６である。
【０１２７】
例えば、「２」というフィールドＩＤ８８１に対応付けて、「１」という親ＩＤ８８２、「テキストボックス」というタイプ８８３、および「ｘ２，ｙ２」という相対座標８８４が記述されている。これは、フィールドＩＤ８８１が「２」である入力エリアは、フィールドＩＤ８８１が「１」である入力エリアを親とし、テキストボックスであり、その基準点の相対座標が（ｘ２，ｙ２）であるということを示す。また、「２」というフィールドＩＤ８８１に対応付けて、「氏名」というラベルテキスト８８６が記述されている。これは、フィールドＩＤ８８１が「２」である入力エリアに、「氏名」というラベルテキスト８８６が対応付けられたことを示す。
【０１２８】
そして、図１２のステップＳ１２０５において、画面構成解析部２０７は、選択中の入力エリアのタイプが選択メニューであるか否かを判断する。画面構成解析部２０７は、選択中の入力エリアが選択メニューである場合（Ｓ１２０５：ＹＥＳ）、ステップＳ１２０６へ進む。また、画面構成解析部２０７は、選択中の入力エリアが選択メニューではない場合（Ｓ１２０５：ＮＯ）、ステップＳ１２０７へ進む。
【０１２９】
ステップＳ１２０６において、画面構成解析部２０７は、選択メニューのメニュー項目テキストから辞書用情報を生成して、ステップＳ１２０７へ進む。
【０１３０】
図１４は、図１１に示す入力画面から生成される辞書用情報の内容の一例を示す図である。
【０１３１】
図１４に示すように、辞書用情報８９０は、フィールドＩＤ８９１に対応付けて、メニュー項目テキスト８９２のリストを記述する。メニュー項目テキスト８９２は、フィールドＩＤ８９１が示す入力エリア（選択メニュー）における選択の対象であるメニュー項目テキストを示す。
【０１３２】
そして、図１２のステップＳ１２０７において、画面構成解析部２０７は、入力画面を構成する全ての入力エリアを処理したか否かを判断する。画面構成解析部２０７は、未処理の入力エリアが存在する場合（Ｓ１２０７：ＮＯ）、ステップＳ１２０２へ戻る。また、画面構成解析部２０７は、全ての入力エリアを処理した場合（Ｓ１２０７：ＹＥＳ）、ステップＳ１２０８へ進む。
【０１３３】
ステップＳ１２０８において、画面構成解析部２０７は、画面構成テーブルから、ＩＤテキスト対応情報を生成する。ＩＤテキスト対応情報は、フィールドＩＤとラベルテキストとの対応付けを示す情報である。
【０１３４】
図１５は、図１３に示す画面構成テーブルから生成されるＩＤテキスト対応情報の内容の一例を示す図である。
【０１３５】
図１５に示すように、ＩＤテキスト対応情報９００は、フィールドＩＤ９０１とラベルテキスト９０２との組およびタイプ９０３を記述する。ラベルテキスト９０２は、フィールドＩＤ９０１が示す入力エリアに対応付けられたラベルテキストを示す。タイプ９０３は、フィールドＩＤ９０１が示す入力エリアのタイプを示す。
【０１３６】
そして、図１２のステップＳ１２０９において、画面構成解析部２０７は、生成したＩＤテキスト対応情報を、無線通信端末４００へ送信する。また、画面構成解析部２０７は、辞書用情報を生成した場合には、これについても、無線通信端末４００へ送信する。そして、画面構成解析部２０７は、図１０の処理へ戻る。
【０１３７】
図１６は、情報処理装置２００から無線通信端末４００への送信データの構成の一例を示す図である。
【０１３８】
図１６に示すように、情報処理装置２００から無線通信端末４００への送信データ９１０は、例えば、ＩＤテキスト対応情報９１１を含み、更に、適宜、辞書用情報９１２を含む。
【０１３９】
このようなテーブル生成処理により、情報処理装置２００は、電子カルテ部２０３の入力画面から、入力エリア位置に対するラベルテキストの対応付けを決定することができる。そして、情報処理装置２００は、その対応付けを、画面構成データとして保持すると共に、ＩＤテキスト対応情報として無線通信端末４００へ送信することができる。
【０１４０】
図１７は、無線通信端末４００の動作の一例を示すフローチャートである。
【０１４１】
まず、音声認識管理部４０４は、ＩＤテキスト対応情報および辞書用情報の少なくとも一方を、情報処理装置２００から受信したか否かを判断する。音声認識管理部４０４は、ＩＤテキスト対応情報および辞書用情報の少なくとも一方を受信した場合（Ｓ２０１０：ＹＥＳ）、ステップＳ２０２０へ進む。また、音声認識管理部４０４は、ＩＤテキスト対応情報および辞書用情報のいずれも受信していない場合（Ｓ２０１０：ＮＯ）、ステップＳ２０３０へ進む。
【０１４２】
ステップＳ２０２０において、音声認識管理部４０４は、ＩＤテキスト対応情報および辞書用情報のうち受信したものを、音声認識サーバ６００へ転送して、ステップＳ２０３０へ進む。この際、音声認識管理部４０４は、送信元のＩＤとして、無線通信端末４００の端末ＩＤを、転送する情報に付与する。
【０１４３】
図１８は、無線通信端末４００から音声認識サーバ６００への第１の送信データの構成の一例を示す図である。
【０１４４】
図１８に示すように、無線通信端末４００から音声認識サーバ６００への第１の送信データ９２０は、例えば、端末ＩＤ９２１およびＩＤテキスト対応情報９２２を含み、更に、適宜、辞書用情報９２３を含む。端末ＩＤ９２１は、第１の送信データ９２０の送信元である無線通信端末４００の端末ＩＤを示す。ＩＤテキスト対応情報９２２および辞書用情報９２３は、図１６のＩＤテキスト対応情報９１１および辞書用情報９１２に対応している。
【０１４５】
そして、図１７のステップＳ２０３０において、音声認識管理部４０４は、音声入力部４０３を介してユーザの音声入力があったか否かを判断する。音声認識管理部４０４は、音声入力があった場合（Ｓ２０３０：ＹＥＳ）、ステップＳ２０４０へ進む。また、音声認識管理部４０４は、音声入力がない場合（Ｓ２０３０：ＮＯ）、ステップＳ２０５０へ進む。
【０１４６】
ステップＳ２０４０において、音声認識管理部４０４は、端末入力音声の音声データを含む音声情報を、音声認識サーバ６００へ送信して、ステップＳ２０５０へ進む。この際、音声認識管理部４０４は、送信元として無線通信端末４００の端末ＩＤを、送信する情報に付与する。
【０１４７】
図１９は、無線通信端末４００から音声認識サーバ６００への第２の送信データの構成の一例を示す図である。
【０１４８】
図１９に示すように、無線通信端末４００から音声認識サーバ６００への第２の送信データ９３０は、例えば、端末ＩＤ９３１および音声情報９３２を含む。端末ＩＤ９３１は、第２の送信データ９３０の送信元である無線通信端末４００の端末ＩＤを示す。音声情報９３２は、端末入力音声の音声データを含む情報である。
【０１４９】
そして、図１７のステップＳ２０５０において、音声認識管理部４０４は、音声認識サーバ６００から音声認識結果を受信したか否かを判断する。音声認識管理部４０４は、音声認識結果を受信した場合（Ｓ２０５０：ＹＥＳ）、ステップＳ２０６０へ進む。また、音声認識管理部４０４は、音声認識結果を受信していない場合（Ｓ２０５０：ＮＯ）、ステップＳ２０７０へ進む。
【０１５０】
ステップＳ２０６０において、音声認識管理部４０４は、受信した音声認識結果を、情報処理装置２００へ転送して、ステップＳ２０７０へ進む。ＩＤテキスト対応情報および辞書用情報のうち受信したものを、音声認識サーバ６００へ転送して、ステップＳ２０３０へ進む。この転送されるデータの詳細については後述する。
【０１５１】
そして、ステップＳ２０７０において、音声認識管理部４０４は、ユーザ操作などにより処理の終了を指示されたか否かを判断する。音声認識管理部４０４は、処理の終了を指示されていない場合（Ｓ２０７０：ＮＯ）、ステップＳ２０１０へ戻る。また、音声認識管理部４０４は、処理の終了を指示された場合（Ｓ２０７０：ＹＥＳ）、一連の処理を終了する。
【０１５２】
このような動作により、無線通信端末４００は、情報処理装置２００から送られてきたＩＤテキスト対応情報を、音声認識サーバ６００へ転送し、端末入力音声の音声情報を、音声認識サーバ６００へ送信することができる。また、無線通信端末４００は、音声認識サーバ６００から送られてきた音声認識結果を、情報処理装置２００へ転送することができる。
【０１５３】
図２０は、音声認識装置６００の動作の一例を示すフローチャートである。
【０１５４】
まず、ステップＳ３０１０において、逆認識処理部６０３は、無線通信端末４００からＩＤテキスト対応情報（図１５参照）を受信したか否かを判断する。逆認識処理部６０３は、ＩＤテキスト対応情報を受信していない場合（Ｓ３０１０：ＮＯ）、後述のステップＳ３０３０へ進む。また、逆認識処理部６０３は、ＩＤテキスト対応情報を受信した場合（Ｓ３０１０：ＹＥＳ）、ステップＳ３０２０へ進む。また、逆認証処理部６０３は、逆認識処理部６０３は、ＩＤテキスト対応情報に含まれるラベルテキストを読みに逆変換して、ＩＤ読み対応テーブルを生成する。
【０１５５】
図２１は、図１５に示すＩＤテキスト対応情報から生成されるＩＤ読み対応テーブルの内容の一例を示す図である。
【０１５６】
図２１に示すように、ＩＤ読み対応テーブル９４０は、フィールドＩＤ９４１に対応付けて、読み９４２を記述する。読み９４２は、フィールドＩＤ９４１が示す入力エリアに対応付けられていたラベルテキストの読みを示す。
【０１５７】
例えば、「２」というフィールドＩＤ９４１に対応付けて、「しめい」という読み９４２が記述されている。これは、フィールドＩＤ９４１が「２」である入力エリアに対応付けられたラベルテキストの読みが、「しめい」であるということを示す。
【０１５８】
なお、逆認識処理部６０３は、受信したＩＤテキスト対応情報に記述された入力エリアのタイプおよびラベルテキストと、逆変換処理により得られた読みとから、言語モデルを構築または再構築し、音声認識データベース６０２に登録する。
【０１５９】
例えば、逆認識処理部６０３は、「しめい」という読みがテキストボックスに対応すること、および、その基のラベルテキストが「氏名」であることから、「しめい」という読みの直後には名前が配置されるとする内容を、言語モデルに追加する。また、例えば、「しんりょうかもく」という読みが、選択メニューに対応している。このことから、逆認識処理部６０３は、「しんりょうかもく」という読みの直後には、対応して受信した辞書用情報に記述されたメニュー項目テキストが配置されるとする内容を、言語モデルに追加する。
【０１６０】
なお、音声認識サーバ６００は、端末ＩＤを用いて、ＩＤ読み対応テーブル９４０、言語モデル、辞書用情報などを、無線通信端末４００ごとに管理するものとする。
【０１６１】
そして、図２０のステップＳ３０３０において、逆認識処理部６０３は、無線通信端末４００から辞書用情報（図１４参照）を受信したか否かを判断する。逆認識処理部６０３は、辞書用情報を受信した場合（Ｓ３０３０：ＹＥＳ）、ステップＳ３０４０へ進む。また、逆認識処理部６０３は、辞書用辞書を受信していない場合（Ｓ３０３０：ＮＯ）、ステップＳ３０５０へ進む。
【０１６２】
ステップＳ３０４０において、逆認識処理部６０３は、辞書用情報に含まれるメニュー項目テキストのリストを、辞書用情報に含まれるフィールドＩＤについての音声認識結果候補（辞書）として、音声認識データベース６０２に登録する。
【０１６３】
なお、音声認識サーバ６００は、端末ＩＤを用いて、音声認識結果候補（辞書）を、無線通信端末４００ごとに管理するものとする。
【０１６４】
そして、ステップＳ３０５０において、音声認識処理部６０５は、無線通信端末４００から音声情報を受信したか否かを判断する。音声認識処理部６０５は、音声情報を受信した場合（Ｓ３０５０：ＹＥＳ）、ステップＳ３０６０へ進む。また、音声認識処理部６０５は、音声情報を受信していない場合（Ｓ３０５０：ＮＯ）、ステップＳ３０７０へ進む。
【０１６５】
ステップＳ３０６０において、音声認識処理部６０５は、音声認識データベース６０２０を用いて、受信した音声情報に含まれる音声データに対する音声認識処理を行う。音声認識処理の結果、端末入力音声を仮名に変換した読みと、その読みを仮名漢字変換した仮名漢字テキストとが得られる。
【０１６６】
そして、ステップＳ３０８０において、校正管理部６０９は、装置情報（図７参照）およびクラーク情報（図８参照）に基づき、クラーク決定ルール（図９参照）に従って、校正作業を行わせるクラークを決定する。そして、校正管理部６０９は、音声認識処理の結果（未校正音声認識結果）を、決定したクラークに対応する校正端末７００へ送信して、ステップＳ３０７０へ進む。
【０１６７】
図２２は、音声認識サーバ６００から校正端末７００への送信データの構成の一例を示す図である。
【０１６８】
図２２に示すように、音声認識サーバ６００から校正端末７００への送信データ９５０は、端末ＩＤ９５１、音声情報９５２、および未校正音声認識結果９５３を含む。
【０１６９】
端末ＩＤ９５１は、音声情報９５２の送信元の無線通信端末４００の端末ＩＤを示す。未校正音声認識結果９５３は、音声情報９５２に対する音声認識結果である。
【０１７０】
この未校正音声認識結果９５３は、校正端末７００における校正作業を経て、校正済音声認識結果として返信される。
【０１７１】
図２３は、校正端末７００から音声認識サーバ６００への送信データの構成の一例を示す図である。
【０１７２】
図２３に示すように、校正端末７００から音声認識サーバ６００への送信データ９６０は、端末ＩＤ９６１および校正済音声認識結果９６２を含む。端末ＩＤ９６１は、校正済音声認識結果９６２の基となった音声情報９５２の送信元の無線通信端末４００の端末ＩＤを示す。
【０１７３】
図２０のステップＳ３０７０において、校正管理部６０９は、校正端末７００から校正結果（校正済音声認識結果）を受信したか否かを判断する。校正管理部６０９は、校正結果を受信した場合（Ｓ３０７０：ＹＥＳ）、ステップＳ３０９０へ進む。また、校正管理部６０９は、校正結果を受信していない場合（Ｓ３０７０：ＮＯ）、ステップＳ３１００へ進む。
【０１７４】
ステップＳ３０９０において、校正管理部６０９は、ＩＤ読み対応テーブル（図２１参照）において、受信した校正済音声認識結果に対応するフィールドＩＤを取得する。そして、校正管理部６０９は、取得したフィールドＩＤを、校正済音声認識結果として、無線通信端末４００へ送信する。また、校正済音声認識結果が、「しめい、やまだはなこ」および「氏名、山田花子」というように、ＩＤ読み対応テーブルに記述された読みと入力テキストとから成る場合がある。この場合、校正管理部６０９は、フィールドＩＤと入力テキストとを、校正済音声認識結果として、無線通信端末４００へ送信する。この際、入力テキストとしては、仮名漢字変換されたテキスト（上述の例では、「やまだはなこ」ではなく「山田花子」）が送信される。そして、校正管理部６０９は、ステップＳ３１００へ進む。
【０１７５】
音声認識サーバ６００から無線通信端末４００への送信データは、上述の通り、無線通信端末４００により、情報処理装置２００へと転送される。
【０１７６】
図２４は、音声認識サーバ６００から情報処理装置２００への送信データの構成の一例を示す図である。
【０１７７】
図２４に示すように、音声認識サーバ６００から情報処理装置２００への送信データ９７０は、フィールドＩＤ９７１を含み、更に、適宜、入力テキスト９７２を含む。入力テキスト９７２が含まれるのは、フィールドＩＤ９７１が示す入力エリアの種類が、例えば、テキストボックスあるいは選択メニューのときである。
【０１７８】
そして、図２０のステップＳ３１００において、校正管理部６０９は、オペレータ操作などにより処理の終了を指示されたか否かを判断する。校正管理部６０９は、処理の終了を指示されていない場合（Ｓ３１００：ＮＯ）、ステップＳ３０１０へ戻る。また、校正管理部６０９は、処理の終了を指示された場合（Ｓ３１００：ＹＥＳ）、一連の処理を終了する。
【０１７９】
このような動作により、音声認識サーバ６００は、入力画面の属性や構成を反映させて精度の高い音声認識処理を行うことができ、更に、適切なクラークを選択し校正作業を行わせて、更に高い音声認識処理を行うことができる。
【０１８０】
図２５は、情報表示装置２００による操作変換処理（図１０のステップＳ１４００）の一例を示すフローチャートである。
【０１８１】
まず、ステップＳ１４０１において、入力情報生成部２１０は、入力画面８６１の絶対座標（例えば、相対座標系８７９の原点ｏの絶対座標、図１１参照）を、電子カルテ部２０３から取得する。入力画面８６１の絶対座標の取得は、入力画面がマイクロソフト社のウィンドウズ（登録商標）におけるウィンドウである場合、対応するウィンドウズメッセージを電子カルテ部２０３へ渡すことにより、可能である。
【０１８２】
そして、ステップＳ１４０２において、入力情報生成部２１０は、受信した校正済認識結果に含まれるフィールドＩＤに対応する入力エリアの相対座標を、画面構成テーブルから取得する。そして、入力エリアの相対座標を、入力画面の絶対座標に基づいて、絶対座標に変換する。例えば、相対座標系と絶対座標系とが同一スケールである場合には、入力情報生成部２１０は、入力エリアの相対座標の値と入力画面の絶対座標の値との加算することにより、入力エリアの絶対座標を取得する。
【０１８３】
そして、ステップＳ１４０３において、入力情報生成部２１０は、操作変換ルール（図４参照）に従って、校正済認識結果に対応する操作情報を生成する。そして、入力情報生成部２１０は、生成した操作情報を電子カルテ部２０３に入力して、図１０の処理へ戻る。
【０１８４】
例えば、「２」というフィールドＩＤと「山田花子」という入力テキストとを含む校正済認識結果が受信されたとする。この場合、入力情報生成部２１０は、まず、画面構成テーブル（図１３参照）から、対応する入力エリアのタイプがテキストボックスであり、その相対座標が（ｘ２、ｙ２）であるということを取得する。この結果、入力情報生成部２１０は、操作変換ルール８２０から、対応する入力エリアの絶対座標でワンクリックの操作と、続けて入力テキストの入力操作とを示す操作情報を生成することを決定する。そして、入力情報生成部２１０は、相対座標（ｘ２、ｙ２）を絶対座標に変換し、決定した内容の操作情報を生成し、電子カルテ部２０３に入力する。
【０１８５】
このような操作変換処理により、情報処理装置２００は、入力画面の大きさ、位置、構成が可変であるような電子カルテ部２０３に対しても、これを改変することなく、音声認識結果に対応する操作を行うことを可能にする。
【０１８６】
また、以上のような動作により、情報処理装置２００は、搭載する電子アプリを改変することなく、無線通信端末４００などの外部装置を用いて、しかも電子アプリのセキュリティを確保した状態で、電子カルテに音声入力機能を追加することができる。
【０１８７】
以上説明したように、本実施の形態に係る入力支援システム１００は、入力エリア位置とラベルテキスト位置との相対関係に基づいて、入力エリア位置にラベルテキストを対応付け、音声認識結果による入力エリアに対する選択操作を可能にした。これにより、入力支援システム１００は、電子カルテ部２０３に対し、音声入力機能を簡単に追加することができる。すなわち、入力支援システム１００は、入力エリアに読みが設定されていない既存のアプリケーションに対して音声入力機能を簡単に追加することができる。
【０１８８】
また、入力支援システム１００は、入力画面の相対座標を用いるので、入力画面が単に移動した場合に、その都度、画面構成解析を行わないようにすることができ、処理負荷を軽減することができる。
【０１８９】
また、入力支援システム１００は、公共通信網５００に音声認識サーバ６００と複数の校正端末７００を配置し、これらを利用して電子カルテ部２０３に音声認識機能を追加しつつ、これらと情報処理装置２００との間に無線通信端末４００を配置するようにした。これにより、入力支援システム１００は、情報処理装置２００を公共通信網５００に直接に通信可能に接続することなく、電子カルテ部２０３に対し、音声入力機能を簡単に追加することができる。すなわち、入力支援システム１００は、高いセキュリティを求められるアプリケーションに対して高精度な音声入力機能を簡単に追加することができる。
【０１９０】
なお、以上説明した実施の形態では、音声認識結果を操作情報に変換する機能部として、入力情報生成部２１０を情報処理装置に配置したが、かかる機能部の配置はこれに限定されない。音声認識結果を操作情報に変換する機能部は、例えば、無線通信端末４００に配置してもよい。この場合、画面構成解析部２０７は、生成した画面構成テーブルを、無線端末装置４００に送信してこれに格納させればよい。
【０１９１】
また、入力画面の各ページの構成や大きさが固定である場合には、全てのページについて一旦画面構成テーブルが生成されれば、画面構成解析部２０７は不要である。したがって、この場合、他の機能部（例えば入力情報生成部２１０）が、画面構成解析部２０７を情報処理装置２００から消去するようにしてもよい。
【０１９２】
また、入力支援システム１００は、ＩＤではなく、ラベルテキストの読みのテキストデータや、入力エリアの座標などを、音声認識結果としてもよい。但し、画面構成解析部２０７は、音声認識結果から入力エリアを特定できるように、画面構成テーブルを生成する必要がある。
【０１９３】
また、入力支援システム１００は、キーボード入力信号をエミュレートした操作情報を、アプリケーションに入力するようにしてもよい。
【０１９４】
この場合、例えば、無線通信端末４００の音声認識管理部４０４は、受信した校正作業の結果を、キーボード入力信号（平仮名文字列）に変換して、装置通信部４０２を介して情報処理装置２００へ送信する。このキーボード入力信号は、例えば、校正作業の結果である仮名漢字まじりテキストを平仮名文字列に変換したものを入力するために行われるべきキーボード操作の内容と、その後の変換操作（入力した平仮名文字列全てを選択し、変換すること）・確定操作（仮名漢字まじりに確定すること）を示す信号である。
【０１９５】
また、情報処理装置２００の入力情報生成部２１０は、入力エリアのいずれかが選択されている状態で、端末通信部２０２を介してこのキーボード入力信号を受信したとき、当該キーボード入力信号を仮名漢字テキストに変換する。そして、入力情報生成部２１０は、選択されている入力エリアの表示位置に対する当該仮名漢字テキストの入力操作を示す操作情報を、電子カルテ部２０３に入力する。
【０１９６】
更に、入力支援システム１００は、入力エリアの選択については手動で受け付け、テキスト入力についてのみ音声認識機能を用いるようにしてもよい。例えば、キーボード入力信号を一般の無線キーボードの無線信号で実現した場合、通常の無線キーボード入力と同じ経路で電子カルテ部２０３に入力するため、入力情報生成部２１０および端末通信部２０２は通常のコンピュータ端末に普通に備わっている入力機能である。
【０１９７】
また、入力情報生成部２１０のうち仮名漢字テキストへの変換機能は、情報処理装置２００に搭載されている機能と兼用としてもよい。音声認識サーバ６００との音声認識辞書は、対象分野に特化した変換辞書（よみと表記のペア）を持っているため、これを情報処理装置２００に備わってる仮名漢字変換（IME）にインポートしておくことが望ましい。そうすることにより、一回の変換操作で仮名漢字変換が成功する確率が高くなる。
【０１９８】
また、画面構成解析部２０７は、実際に表示される画像をスキャンし、入力画面から、各入力エリアの位置およびタイプや、各ラベルテキストの表示位置を取得（抽出）するようにしてもよい。かかる抽出は、例えば、パターンマッチングや画像特徴量抽出などにより行うことができる。
【０１９９】
また、本発明は、電子カルテ以外の各種アプリケーションに対して適用可能であることは勿論である。
【産業上の利用可能性】
【０２００】
本発明は、高いセキュリティを求められるアプリケーションに対して高精度な音声入力機能を簡単に追加することができる入力支援システムとして有用である。
【符号の説明】
【０２０１】
１００ 入力支援システム
２００ 情報処理装置
２０１ ＬＡＮ通信部
２０２ 端末通信部
２０３ 電子カルテ部
２０４ 画像出力部
２０５ 操作入力部
２０６ テーブル作成ルール格納部
２０７ 画面構成解析部
２０８ 画面構成テーブル格納部
２０９ 操作変換ルール格納部
２１０ 入力情報生成部
３００ 院内ＬＡＮ
４００ 無線通信端末
４０１ 装置通信部
４０２、６０１ 網通信部
４０３ 音声入力部
４０４ 音声認識管理部
５００ 公共通信網
６００ 音声認識サーバ
６０２ 音声認識データベース
６０３ 逆認識処理部
６０４ 対応テーブル格納部
６０５ 音声認識処理部
６０６ 装置情報格納部
６０７ クラーク情報格納部
６０８ クラーク決定ルール格納部
６０９ 校正管理部
７００ 校正端末
【技術分野】
【０００１】
本発明は、電子カルテなどのアプリケーションソフトウェアに対して音声入力機能を追加する、入力支援システムに関する。
【背景技術】
【０００２】
データベースに大量のデータ入力を行うためのアプリケーションソフトウェア（以下、単に「アプリケーション」という）は、通常、データベースごと、あるいは用途ごとに、独自のものが用意されている。病院の電子カルテは、その代表的なものである。近年の音声認識技術の向上により、このようなアプリケーションに、高精度な音声入力機能を採り入れたいというニーズが高まっている。
【０００３】
そこで、入力音声に対する音声認識処理を、音声認識サーバで行う技術が存在する（例えば特許文献１参照）。
【０００４】
特許文献１に記載の技術（以下「従来技術」という）において、アプリケーションが稼動する情報処理装置は、入力された音声を、公共通信網を介して、音声認識サーバへ送信する。音声認識サーバは、受信した音声に対して高精度な音声認識処理を行い、その結果を、情報処理装置へ返信する。これにより、特許文献１に記載の技術は、アプリケーションに、高精度な音声入力機能を追加することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−３２８６５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載の技術は、アプリケーションが稼動する情報処理装置を、公共通信網に接続された状態にしておかなければならないため、高いセキュリティを求められるアプリケーションには適用し難いという課題を有する。
【０００７】
本発明の目的は、高いセキュリティを求められるアプリケーションに対して高精度な音声入力機能を簡単に追加することができる入力支援システムを提供することである。
【課題を解決するための手段】
【０００８】
本発明の入力支援システムは、アプリケーションソフトウェアを含む情報処理装置と、音声認識処理を行う音声認識サーバとを有し、前記アプリケーションソフトウェアに対する入力作業を支援する入力支援システムであって、公共通信網を介して前記音声認識サーバに接続する網通信部と、前記公共通信網とは別の通信経路により前記情報処理装置に接続する装置通信部と、音声を入力する音声入力部と、入力した前記音声の前記音声認識サーバへの送信と、前記音声認識サーバから受信した前記音声認識処理の結果を表す情報の前記情報処理装置への送信とを、交互に行う音声認識管理部とを有する無線通信端末を有する。
【発明の効果】
【０００９】
本発明によれば、高いセキュリティを求められるアプリケーションに対して高精度な音声入力機能を簡単に追加することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施の形態に係る入力支援システムの構成を示すシステム構成図
【図２】本実施の形態に係る情報処理装置の構成の一例を示すブロック図
【図３】本実施の形態におけるテーブル作成ルールの内容の一例を示す図
【図４】本実施の形態における操作変換ルールの一例を示す図
【図５】本実施の形態における無線通信端末の構成の一例を示すブロック図
【図６】本実施の形態における音声認識サーバの構成の一例を示すブロック図
【図７】本実施の形態における装置情報の内容の一例を示す図
【図８】本実施の形態におけるクラーク情報の内容の一例を示す図
【図９】本実施の形態におけるクラーク決定ルールの内容の一例を示す図
【図１０】本実施の形態における情報処理装置の動作の一例を示すフローチャート
【図１１】本実施の形態における入力画面の一例を示す平面図
【図１２】本実施の形態におけるテーブル生成処理の一例を示すフローチャート
【図１３】本実施の形態における画面構成テーブルの内容の一例を示す図
【図１４】本実施の形態における辞書用情報の内容の一例を示す図
【図１５】本実施の形態におけるＩＤテキスト対応情報の内容の一例を示す図
【図１６】本実施の形態における情報処理装置から無線通信端末への送信データの構成の一例を示す図
【図１７】本実施の形態における無線通信端末の動作の一例を示すフローチャート
【図１８】本実施の形態における無線通信端末から音声認識サーバへの第１の送信データの構成の一例を示す図
【図１９】本実施の形態における無線通信端末から音声認識サーバへの第２の送信データの構成の一例を示す図
【図２０】本実施の形態における音声認識装置の動作の一例を示すフローチャート
【図２１】本実施の形態におけるＩＤ読み対応テーブルの内容の一例を示す図
【図２２】本実施の形態における音声認識サーバから校正端末への送信データの構成の一例を示す図
【図２３】本実施の形態における校正端末から音声認識サーバへの送信データの構成の一例を示す図
【図２４】本実施の形態における音声認識サーバから情報処理装置への送信データの構成の一例を示す図
【図２５】本実施の形態における情報表示装置による操作変換処理の一例を示すフローチャート
【発明を実施するための形態】
【００１１】
以下、本発明の一実施の形態について、図面を参照して詳細に説明する。本実施の形態は、本発明を、病院の電子カルテに音声入力機能を追加する入力支援システムに適用した例である。
【００１２】
まず、本発明に係る入力支援システムの概要について説明する。
【００１３】
図１は、本発明の一実施の形態に係る入力支援システムの構成を示すシステム構成図である。
【００１４】
図１において、入力支援システム１００は、情報処理装置２００と、情報処理装置２００が接続する院内ＬＡＮ３００と、無線通信端末４００とを有する。情報処理装置２００および院内ＬＡＮ３００は、病院内に配置されている。無線通信端末４００は、情報処理装置２００のユーザ（医師）に携帯され、当該ユーザが情報処理装置２００を操作するときには病院内に位置している。
【００１５】
なお、院内ＬＡＮ３００、情報処理装置２００、および無線通信端末４００は、図示しないが、実際には複数配置されている。
【００１６】
また、入力支援システム１００は、公共通信網５００と、公共通信網５００に接続された音声認識サーバ６００および第１〜第Ｎの校正端末７００−１〜７００−Ｎとを有する。公共通信網５００、音声認識サーバ６００、および第１〜第Ｎの校正端末７００−１〜７００−Ｎは、病院外に配置されている。
【００１７】
情報処理装置２００は、電子カルテのアプリケーション（以下「電子カルテ」という）が搭載されたパーソナルコンピュータである。電子カルテに入力された情報は、例えば、院内ＬＡＮ３００に配置された情報サーバ（図示せず）に送信される。情報処理装置２００は、無線通信端末４００、公共通信網５００、音声認識サーバ６００、および第１〜第Ｎの校正端末７００−１〜７００−Ｎを用いて、電子カルテに対する音声入力操作を実現する。
【００１８】
本実施の形態において、電子カルテは、位置および大きさが可変のウィンドウにより入力画面を表示する、既存のアプリケーションソフトウェアである。入力画面は、テキストボックスなどの複数の入力エリアおよび複数のラベルテキストを配置している。入力エリア（コンポーネント）は、テキスト入力および項目選択の少なくとも１つを受け付ける画像の領域であり、例えば、テキストボックスや選択ボタンである。ラベルテキストは、入力画面に表示される、音声入力などによりユーザによって入力されたテキスト（以下「入力テキスト」という）以外のテキストであり、例えば、入力エリアの属性として表示される文字列である。また、本実施の形態における電子カルテは、各入力エリアに対する読みの設定がされておらず、かつ、高いセキュリティを求められるアプリケーションである。
【００１９】
院内ＬＡＮ３００は、患者情報など、秘匿性の高い各種情報をやり取りする通信ネットワークである。
【００２０】
無線通信端末４００は、例えば、情報処理装置２００のユーザ（医師）が携帯する、無線ＬＡＮ機能とインターネット通信機能とを備えた携帯電話機である。無線通信端末４００は、病院内に位置しているとき、情報処理装置２００および公共通信網５００のそれぞれと、無線通信により接続可能となっている。
【００２１】
また、無線通信端末４００は、ユーザの発話音声を入力する。無線通信端末４００は、公共通信網５００、音声認識サーバ６００、および第１〜第Ｎの校正端末７００−１〜７００−Ｎを用いて、入力した音声（以下、単に「端末入力音声」という）に対する音声認識結果を取得する。そして、無線通信端末４００は、取得した音声認識結果を、情報処理装置２００へ転送する。
【００２２】
公共通信網５００は、インターネットなど、不特定多数の端末が接続可能な通信ネットワークである。
【００２３】
音声認識サーバ６００は、端末入力音声に対して高精度な音声認識処理を行う。また、音声認識サーバ６００は、公共通信網５００および第１〜第Ｎの校正端末７００−１〜７００−Ｎを用いて、更に高精度な音声認識結果を得る。
【００２４】
第１〜第Ｎの校正端末７００−１〜７００−Ｎは、音声認識サーバ６００が行った音声認識処理の結果（以下、適宜、「未校正音声認識結果」という）に対する校正作業を受け付ける。以下、第１〜第Ｎの校正端末７００−１〜７００−Ｎを用いて校正作業を行う人は、「クラーク」という。また、校正作業の結果は、適宜、「校正済音声認識結果」という。
【００２５】
このような入力支援システム１００は、クラークによる校正作業を取り入れることにより、高精度な音声認識結果を得ることができる。そして、公共通信網５００に接続する複数の校正端末７００での校正作業を可能にすることにより、活用可能な人的リソースを増やすことができ、より高精度な音声認識結果を、しかも短時間で得ることが可能となる。
【００２６】
ところが、電子カルテおよび院内ＬＡＮ３００のセキュリティ確保の観点からみると、情報処理装置２００は、公共通信網５００と直接に接続すべきではない。
【００２７】
そこで、入力支援システム１００は、上述の通り、情報処理装置２００と公共通信網５００との接続を、無線通信端末４００との無線通信を介した間接的なものにする。また、入力支援システム１００は、音声入力を無線通信端末４００で行うことにより、基本的には音声認識結果の１方向転送が行われるのみとすることができ、情報処理装置２００と公共通信網５００との間の通信頻度を大幅に低減することができる。
【００２８】
これにより、入力支援システム１００は、電子カルテおよび院内ＬＡＮ３００のセキュリティを確保しつつ、高精度な音声入力機能を電子カルテに追加することができる。
【００２９】
また、本実施の形態における電子カルテは、上述の通り既存のアプリケーションであり、そのまま使用したいというニーズがある。
【００３０】
ところが、本実施の形態における電子カルテの各入力エリアには、上述の通り、予め読みが設定されているものではない。
【００３１】
そこで、入力支援システム１００は、情報処理装置２００において、入力画面を解析し、入力エリアの表示位置（以下「入力エリア位置」という）とラベルテキストの表示位置（以下「ラベルテキスト位置」という）との相対関係に基づいて、入力エリア位置に対するラベルテキストの対応付けを行う。そして、入力支援システム１００は、情報処理装置２００において、ラベルテキストに対応する音声認識結果が得られたとき、そのラベルテキストに対応する入力エリア位置を選択する操作情報（入力エリア位置に対する選択操作を示す操作情報）を、電子カルテに入力する。
【００３２】
これにより、入力支援システム１００は、電子カルテを改変せずに、音声入力機能を電子カルテに追加することができる。すなわち、入力支援システム１００は、高いセキュリティを求められる既存のアプリケーションである電子カルテに対して、高精度な音声入力機能を簡単に追加することができる。
【００３３】
なお、入力支援システム１００は、情報処理装置２００において、入力エリア位置を取得し、取得した入力エリア位置に対して、ユーザから手動でラベルテキストの対応付けを行うようにしてもよい。
【００３４】
以上で、入力支援システム１００の概要についての説明を終える。
【００３５】
次に、各装置の構成について説明する。
【００３６】
図２は、情報処理装置２００の構成の一例を示すブロック図である。
【００３７】
図２において、情報処理装置２００は、ＬＡＮ通信部２０１、端末通信部２０２、電子カルテ部２０３、画像出力部２０４、および操作入力部２０５を有する。また、情報処理装置２００は、テーブル作成ルール格納部２０６、画面構成解析部２０７、画面構成テーブル格納部２０８、操作変換ルール格納部２０９、および入力情報生成部２１０を有する。
【００３８】
なお、例えば、これら機能部のうち、テーブル作成ルール格納部２０６、画面構成解析部２０７、および画面構成テーブル格納部２０８は、入力エリア位置とラベルテキストとの対応付けの設定を行うアプリケーションを構成する。
【００３９】
また、操作変換ルール格納部２０９および入力情報生成部２１０は、設定された対応付けに基づいて音声認識結果を電子カルテに入力するアプリケーションを構成する。
【００４０】
ＬＡＮ通信部２０１は、例えばＬＡＮインタフェースであり、院内ＬＡＮ３００と通信可能に接続する。
【００４１】
端末通信部２０２は、例えば無線ＬＡＮインタフェースであり、無線通信端末４００と無線通信を行う。
【００４２】
電子カルテ部２０３は、上述の電子カルテを実現する機能部である。電子カルテ部２０３は、例えば、ＬＡＮ通信部２０１を介して、院内ＬＡＮ３００の情報サーバと通信を行う。
【００４３】
画像出力部２０４は、例えば液晶ディスプレイ（図示せず）であり、電子カルテ部２０３が生成する入力画面を表示する。
【００４４】
操作入力部２０５は、例えばマウスおよびキーボード（図示せず）であり、ユーザから電子カルテ部２０３に対する手入力操作を受け付ける。
【００４５】
テーブル作成ルール格納部２０６は、テーブル作成ルールを予め格納する。テーブル作成ルールは、入力エリア位置に対するラベルテキストの対応付けの条件を、入力エリア位置とラベルテキスト位置との相対関係によって規定するルールである。なお、この相対関係は、配置方向および距離を少なくとも含む。
【００４６】
図３は、テーブル作成ルールの内容の一例を示す図である。
【００４７】
図３に示すように、テーブル作成ルール８１０は、タイプ８１１ごとに優先順位８１２が設定された、対応付けの対象８１３を記述している。タイプ８１１は、入力エリアの入力形態のタイプ（以下、単に「タイプ」という）を示し、ここでは、「タブ」、「テキストボックス」、「選択ボタン」、および「選択メニュー」を含むものとする。優先順位８１２は、より高い優先順位８１２の対応付けの対象が存在する場合において、より低い優先順位８１２の対応付けの対象を無視すべきであるということを示す。対応付けの対象８１３は、入力エリアに対して対応付けるべきラベルテキストの条件を示す。
【００４８】
ここで、記号Ｄｘは、入力エリアとラベルテキストとの間のｘ軸方向の離隔距離を表し、記号Ｄｙは、入力エリアとラベルテキストとの間のｙ軸方向の離隔距離を表すものとする。また、記号｜Δｘ｜は、入力エリアのｘ軸座標とラベルテキストのｘ軸座標との差を表し、記号｜Δｙ｜は、入力エリアのｙ軸座標とラベルテキストのｙ軸座標との差を表す。
【００４９】
例えば、「テキストボックス」というタイプ８１１の「１」という優先順位８１２に対応付けて、「左側に位置し、Ｄｘ＜Ｐ１かつ｜Δｙ｜＜Ｐ２のラベルテキスト」と記述されている。これは、テキストボックスの左側に位置し、Ｄｘ＜Ｐ１かつ｜Δｙ｜＜Ｐ２を満たすラベルテキストが存在する場合、当該テキストボックスに当該ラベルテキストを対応付けるべきであるということを示す。
【００５０】
なお、ここで、Ｐ１は、ユーザが、通常の感覚において、入力エリアの左側に位置するラベルテキストを入力エリアの属性を示す情報と感じるｘ軸方向の離隔距離の、上限値である。また、Ｐ２は、ユーザが、通常の感覚において、入力エリアの左側に位置するラベルテキストを入力エリアの属性を示す情報と感じるｙ軸座標の差分の、上限値である。
【００５１】
したがって、テキストボックスの左側に位置し、Ｄｘ＜Ｐ１かつ｜Δｙ｜＜Ｐ２を満たすラベルテキストを、当該テキストボックスに対応付ける対応付けは、入力画面を見たときのユーザの感覚に適合する。なお、テーブル作成ルール８１０の他の対応付けも、同様にユーザの感覚に適合した内容となっている。
【００５２】
したがって、このようなテーブル作成ルール８１０に基づいて入力エリアに対するラベルテキストの対応付けを行うことにより、各入力エリアに対するラベルテキストの設定を、ユーザの感覚に適合した内容で行うことが可能となる。
【００５３】
図２の画面構成解析部２０７は、電子カルテ部２０３に問い合わせて、入力エリア位置およびラベルテキスト位置を取得する。そして、画面構成解析部２０７は、取得した、入力エリア位置およびラベルテキスト位置から、テーブル作成ルールに基づいて、画面構成テーブルを生成する。画面構成テーブルは、入力エリア位置に対するラベルテキストの対応付けと、対応付けごとのＩＤとを記述したテーブルである。画面構成テーブルに記述されるＩＤは、言い換えると、入力エリアを表す読みを特定する情報（第１の情報）であり、かつ、ラベルテキストの読みを特定する情報（第３の情報）である。
【００５４】
また、画面構成解析部２０７は、画面構成テーブルに記述された対応付けごとに、ＩＤとラベルテキストとの組を、端末通信部２０２を介して無線通信端末４００へ送信する。
【００５５】
また、画面構成解析部２０７は、選択メニューが存在するとき、選択メニューのＩＤと複数のメニュー項目テキストとを組み付けた辞書用情報を、端末通信部２０２を介して無線通信端末へ送信する。選択メニューとは、予め用意された複数のメニュー項目テキストに対する選択を受け付ける入力エリアであり、例えばプルダウンメニューである。
【００５６】
画面構成テーブル格納部２０８は、画面構成解析部２０７により生成された画面構成テーブルを記憶する。
【００５７】
なお、画面構成解析部２０７は、上述の通り、入力エリア位置に対して、ユーザから手動でラベルテキストの対応付けを行うようにしてもよい。
【００５８】
この場合、情報処理装置２００は、必ずしもテーブル作成ルール格納部２０６を備えなくてもよい。また、この場合のメリットは、例えば、ユーザが発話し易い読み（例えば略語や外国語）、あるいは覚え易い読みを、自由に設定することができる点である。
【００５９】
操作変換ルール格納部２０９は、操作変換ルールを予め格納する。操作変換ルールは、音声認識処理の結果を表す情報（第２の情報）を、画面構成テーブルを用いて操作情報に変換するためのルールである。
【００６０】
図４は、操作変換ルールの内容の一例を示す図である。
【００６１】
図４に示すように、操作変換ルール８２０は、タイプ８２１に対応付けて、操作情報の内容８２２を記述している。
【００６２】
操作情報の内容８２２は、音声認識処理の結果に対応するラベルテキストが画面構成テーブルに存在するとき、そのラベルテキストに対応する入力エリア（以下「操作対象入力エリア」という）に関して出力すべき操作情報の内容を示す。
【００６３】
例えば、「テキストボックス」というタイプ８２１に対応付けて、「取得された絶対座標でワンクリック＋入力テキスト」という操作情報の内容８２２が記述されている。これは、音声認識処理の結果が示す入力エリアの基準点（例えば左上端部）の絶対座標の位置においてワンクリックする操作と、音声認識処理の結果に含まれる入力テキストを続けて入力する操作とを示す操作情報を、出力すべきであるといいうことを示す。
【００６４】
図２の入力情報生成部２１０は、端末入力音声に対する音声認識処理の結果を表す情報が、画面構成テーブルにおいていずれかの入力エリアの表示位置に対応付けられているとき、当該表示位置に対する操作情報を、電子カルテ部２０３に入力する。
【００６５】
より具体には、入力情報生成部２１０は、無線通信端末４００から送られてきた音声認識処理の結果を表す情報を、画面構成テーブルにおいて検索する。そして、入力情報生成部２１０は、当該ＩＤが画面構成テーブルに記述されたＩＤと一致するとき、当該ＩＤに対応する入力エリアの表示位置に対する選択操作を示す操作情報を、電子カルテ部２０３に入力する。
【００６６】
また、入力情報生成部２１０は、音声認識処理の結果を表す情報が、選択メニューのＩＤと入力テキストとを示すとき、当該ＩＤに該当する入力エリアの表示位置に対する選択操作を示す操作情報を、まず電子カルテ部２０３に入力する。そして、これに続けて、入力情報生成部２１０は、テキストの入力操作を示す操作情報を、電子カルテ部２０３に入力する。
【００６７】
なお、入力情報生成部２１０は、これらの操作情報を、操作変換ルール（図４参照）を用いて、音声認識処理の結果を変換することにより取得する。
【００６８】
図５は、無線通信端末４００の構成の一例を示すブロック図である。
【００６９】
図５において、無線通信端末４００は、網通信部４０１、装置通信部４０２、音声入力部４０３、および音声認識管理部４０４を有する。
【００７０】
網通信部４０１は、例えば、公共通信網５００に接続された携帯電話網（図示せず）と無線通信を行うための無線通信インタフェースである。網通信部４０１は、携帯電話網および公共通信網５００を介して、音声認識サーバ６００および第１〜第Ｎの校正端末７００−１〜７００−Ｎのそれぞれと、通信可能に接続する。
【００７１】
装置通信部４０２は、例えば無線ＬＡＮインタフェースであり、公共通信網５００とは別の通信経路（ここでは無線ＬＡＮ）により、情報処理装置２００に接続する。
【００７２】
音声入力部４０３は、ユーザの発話音声を入力する。
【００７３】
音声認識管理部４０４は、音声入力部４０３により入力された音声である端末入力音声を、音声認識処理の対象として、網通信部４０１を介して音声認識サーバ６００へ送信する。
【００７４】
また、音声認識管理部４０４は、校正作業の結果（校正済音声認識結果）を、網通信部４０１を介して第１〜第Ｎの校正端末７００−１〜７００−Ｎから受信する。そして、音声認識管理部４０４は、受信した校正作業の結果を、電子カルテ部２０３に対する操作情報として、装置通信部４０２を介して情報処理装置２００へ送信する。
【００７５】
また、音声認識管理部４０４は、情報処理装置２００から装置通信部４０２を介して受信したＩＤとラベルテキストとの組を、網通信部４０１を介して音声認識サーバ６００へ送信する。
【００７６】
図６は、音声認識サーバ６００の構成の一例を示すブロック図である。
【００７７】
図６において、音声認識サーバ６００は、網通信部６０１、音声認識データベース６０２、逆認識処理部６０３、対応テーブル格納部６０４、および音声認識処理部６０５を有する。また、音声認識サーバ６００は、装置情報格納部６０６、クラーク情報格納部６０７、クラーク決定ルール格納部６０８、および校正管理部６０９を有する。
【００７８】
網通信部６０１は、例えば、公共通信網５００に接続されたプロバイダ網（図示せず）と有線通信を行うためのＬＡＮインタフェースである。網通信部６０１は、プロバイダ網および公共通信網５００を介して、音声認識サーバ６００および第１〜第Ｎの校正端末７００−１〜７００−Ｎのそれぞれと、通信可能に接続する。
【００７９】
音声認識データベース６０２は、音声認識処理に用いられる音響モデル、言語モデル、および辞書などのデータを格納する。
【００８０】
逆認識処理部６０３は、無線通信端末４００から受信したＩＤとラベルテキストとの組ごとに、ラベルテキストの読みをラベルテキストに対する逆認識処理により取得する。そして、逆認識処理部６０３は、取得した読みとＩＤとを対応付けたＩＤ読み対応テーブルを生成する。
【００８１】
対応テーブル格納部６０４は、逆認識処理部６０３により生成されたＩＤ読み対応テーブルを格納する。
【００８２】
音声認識処理部６０５は、音声認識データベース６０２を用いて、無線通信端末４００から受信した端末入力音声に対する音声認識処理を行う。
【００８３】
装置情報格納部６０６は、装置情報を格納する。装置情報は、情報処理装置２００、音声入力の対象となっているアプリケーション（ここでは電子カルテ部２０３）、および当該アプリケーションのユーザの少なくとも１つの属性情報を含む。
【００８４】
図７は、装置情報の内容の一例を示す図である。
【００８５】
図７に示すように、装置情報８３０は、端末ＩＤ８３１、装置ＩＤ８３２、分野８３３、希望レベル８３４、および希望単価８３５を、対応付けて記述する。
【００８６】
端末ＩＤ８３１は、無線通信端末（他の無線通信端末を含む）のＩＤである。装置ＩＤは、端末ＩＤ８３１が示す無線通信端末を利用して音声認識機能が追加される情報処理装置（他の情報処理装置を含む）のＩＤである。分野８３３は、装置ＩＤが示す情報処理装置において音声入力の対象となるアプリケーションの分野を示す。希望レベル８３４は、装置ＩＤが示す情報処理装置のユーザが希望する、上記アプリケーションに対する音声認識結果の校正の精度のレベル（以下、単に「レベル」という）を示す。希望単価８３５は、上記ユーザが希望する、上記アプリケーションに対する音声認識の単価（例えば音声１分当たりの金額。以下、単に「単価」という）を示す。
【００８７】
例えば、「Ｔ１」という端末ＩＤ８３１には、「Ｍ１」という装置ＩＤ８３２が対応付けられている。これは、端末ＩＤが「Ｔ１」である無線通信端末から受信した端末入力音声については、その音声認識結果を、装置ＩＤが「Ｍ１」である情報処理装置に送信すべきであるということを示す。ここでは、無線通信端末４００の端末ＩＤが、「Ｔ１」であるものとする。また、情報処理装置２００の装置ＩＤが、「Ｍ１」であるものとする。また、「Ｔ１」という端末ＩＤに対応付けて、「医療」という分野８３３が記述されている。これは、対応する情報処理装置２００において音声入力の対象となるアプリケーション（ここでは電子カルテ部２０３）は、医療分野のアプリケーションであるということを示す。また、「Ｔ１」という端末ＩＤに対応付けて、「２以上」という希望レベル８３４、および、「１００円／分以下」という希望単価８３５が記述されている。これは、校正作業の精度の希望レベルが２以上であり、その希望単価が１分当たり１００円以下であるということを示す。
【００８８】
装置情報８３０は、例えば、オペレータにより事前に手入力により設定されてもよいし、校正管理部６０９が情報処理装置および無線通信端末に必要な情報を問い合わせて作成してもよい。
【００８９】
図６のクラーク情報格納部６０７は、クラーク情報を格納する。クラーク情報は、校正端末のオペレータの属性情報を含む。本実施の形態において、クラーク情報は、現在、校正端末において校正作業が可能か否かを示す情報と、オペレータの校正作業の対象の得意範囲を示す情報を含むものとする。
【００９０】
図８は、クラーク情報の内容の一例を示す図である。
【００９１】
図８に示すように、クラーク情報８４０は、校正端末ＩＤ８４１、クラークＩＤ８４２、作業ステータス８４３、不得意分野８４４、得意分野８４５、レベル８４６、および単価８４７を記述する。
【００９２】
校正端末ＩＤ８４１は、校正端末７００のＩＤである。クラークＩＤ８４２は、校正端末ＩＤ８４１が示す校正端末７００を使用するクラークのＩＤである。作業ステータス８４３は、クラークＩＤ８４２が示すクラークが、現在、校正作業を即時に行うことができる状態か否かを示す。不得意分野８４４は、上記クラークが校正作業を不得意とする分野を示す。得意分野８４４は、上記クラークが校正作業を得意とする分野を示す。レベル８４６は、上記クラークのレベルを示す。単価８４７は、上記クラークにより校正作業が行われた場合の単価を示す。
【００９３】
例えば、「Ｐ１」という校正端末ＩＤ８４１に対応付けて、「Ｃ１」というクラークＩＤ８４２が記述されている。これは、「Ｐ１」という校正端末ＩＤ８４１に送信した未校正音声認識結果は、「Ｃ１」というクラークＩＤ８４２により校正作業を受けるということを示す。また、「Ｃ１」というクラークＩＤ８４２に対応付けて、「作業可」という作業ステータス８４３、「文学」という不得意分野８４４、および、「医療」という得意分野８４５が記述されている。これは、クラークＩＤが「Ｃ１」であるクラークが、現在、即時の校正作業が可能であり、不得意分野は文学であり、得意分野は医療であるということを示す。また、「Ｃ１」というクラークＩＤ８４２に対応付けて、「１」というレベル８４６、および、「９０円／分」という単価８４７が記述されている。これは、当該クラークのレベルは１であるということ、および、当該クラークが校正作業を行った場合の単価が１分あたり９０円であるということを示す。
【００９４】
図６のクラーク決定ルール格納部６０８は、クラーク決定ルールを予め格納する。クラーク決定ルールは、音声認識処理の結果に対する校正端末７００の選択の条件を、装置情報と、クラーク情報との関係によって規定するルールである。本実施の形態において、クラーク決定ルールは、現在、校正作業が可能である校正端末を選択することを少なくとも規定するものとする。また、クラーク決定ルールは、音声入力の対象となっているアプリケーション（ここでは電子カルテ部２０３）およびユーザを得意範囲に含むオペレータが存在するとき、当該オペレータの校正端末７００を選択することを少なくとも規定するものとする。
【００９５】
図９は、クラーク決定ルールの内容の一例を示す図である。
【００９６】
図９に示すように、クラーク決定ルール８５０は、優先順位８５１が設定された条件８５２を記述する。
【００９７】
優先順位８５１は、より高い優先順位８５１の条件が満たされるようなクラークをより優先的に選択すべきことを示す。条件８５２は、校正作業を行わせるべきクラークの条件を示す。
【００９８】
例えば、「１」という優先順位に対応付けて、「作業可である」という条件８５２が記述されている。これは、作業可となっていることが、校正作業を行わせるべきクラークの最優先の条件であるということを示す。
【００９９】
図６の校正管理部６０９は、音声認識処理部６０５による音声認識処理の結果（未校正音声認識結果）ごとに、対応する装置情報を取得する。校正管理部６０９は、クラーク決定ルールに基づいて、第１〜第Ｎの校正端末７００−１〜７００−Ｎの中から１つまたは複数の校正端末７００を選択する。そして、校正管理部６０９は、選択した校正端末７００に音声認識処理の結果に対する校正作業を行わせる。その後、校正管理部６０９は、校正端末７００から受信した校正作業の結果（校正済音声認識結果）が示す読みを、ＩＤ読み対応テーブルで検索する。そして、校正管理部６０９は、当該読みがＩＤ読み対応テーブルに存在するとき、当該読みに対応するＩＤを、無線通信端末４００へ送信する。
【０１００】
以上の情報処理装置２００、無線通信端末４００、および音声認識サーバ６００は、例えば、ＣＰＵ（Central Processing Unit）、制御プログラムを格納したＲＯＭ（Read Only Memory）などの記憶媒体、およびＲＡＭ（Random Access Memory）などの作業用メモリをそれぞれ有する。この場合、上記した各構成部の機能は、ＣＰＵが制御プログラムを実行することにより実現される。
【０１０１】
以上のような構成を有する情報処理装置２００、無線通信端末４００、および音声認識サーバ６００により、図１で説明したそれぞれの機能が実現される。すなわち、入力支援システム１００は、これらの装置と第１〜第Ｎの校正端末７００−１〜７００−Ｎとを備えることにより、高いセキュリティを求められる既存のアプリケーションである電子カルテに対して、高精度な音声入力機能を簡単に追加することができる。
【０１０２】
以上で、各装置の構成についての説明を終える。
【０１０３】
以下、各装置の動作について説明する。但し、電子カルテへの音声認識機能の追加に関する処理のみに着目して説明を行う。
【０１０４】
図１０は、情報処理装置２００の動作の一例を示すフローチャートである。
【０１０５】
まず、ステップＳ１１００において、画面構成解析部２０７は、電子カルテ部２０３が新たな入力画面を表示したか否かを判断する。
【０１０６】
新たな入力画面とは、解析済みの（つまり対応する画面構成テーブルを生成済みの）入力画面と内容が異なる入力画面だけでなく、内容が同じであっても大きさおよび配置の少なくとも１つが異なる入力画面を含む。
【０１０７】
図１１は、入力画面の一例を示す平面図である。
【０１０８】
図１１に示すように、入力画面８６１は、情報処理装置２００のデスクトップ画面８６２に表示されるウィンドウである。入力画面８６１は、例えば、操作入力部２０５を介してユーザにより行われるカーソル８６３の操作により、デスクトップ画面８６２における位置および大きさが可変となっている。
【０１０９】
本実施の形態において、入力画面８６１は、内部に「患者情報」というラベルテキスト８６４が配置されたタブ８６５と、内部に「病院情報」というラベルテキスト８６６が配置されたタブ８６７とを有する。入力画面８６１は、左側近傍に「氏名」というラベルテキスト８６８が配置されたテキストボックス８６９を有する。入力画面８６１は、左側近傍に「性別」というラベルテキスト８７０が配置され、右側近傍に「男」というラベルテキスト８７１が配置された選択ボタン８７２を有する。入力画面８６１は、左側近傍に「性別」というラベルテキスト８７０が配置され、右側近傍に「女」というラベルテキスト８７３が配置された選択ボタン８７４を有する。入力画面８６１は、左側近傍に「診療科目」というラベルテキスト８７５が配置された選択メニュー８７６を有する。選択メニュー８７６は、「内科」、「外科」、「整形外科」、・・・というメニュー項目テキスト群８７７を有する。
【０１１０】
なお、後述するが、画面構成解析部２０７は、デスクトップ画面８６２の座標系である絶対座標系８７８と、入力画面８６１の座標系である相対座標系８７９とを用いて、入力画面８６１の解析（以下、適宜、「画面構成解析」という）を行う。絶対座標系８７８は、Ｘ軸とＹ軸とから成るものとする。相対座標系８７９は、ｘ軸とｙ軸とから成るものとする。なお、図１１に示す絶対座標系８７８および相対座標系８７９は、デスクトップ画面８６２および入力画面８６１には表示されない。
【０１１１】
なお、絶対座標系における位置のみが異なるものは、新たな入力画面として扱ってもよいが、本実施の形態に係る情報処理装置２００は、新たな入力画面として取り扱わないものとする。但し、情報処理装置２００は、絶対座標系における入力画面の（相対座標系の）位置を逐次取得し、操絶対座標系を用いた内容で操作情報を生成するものとする。
【０１１２】
画面構成解析部２０７は、電子カルテ部２０３が新たな入力画面を表示した場合（図１０のＳ１１００：ＹＥＳ）、ステップＳ１２００へ進む。また、画像構成解析部２０７は、電子カルテ部２０３が新たな入力画面を表示していない場合（Ｓ１１００：ＮＯ）、ステップＳ１３００へ進む。
【０１１３】
ステップＳ１２００において、画面構成解析部２０７は、ステップＳ１１００において、テーブル生成処理を行って、ステップＳ１３００へ進む。テーブル生成処理は、入力画面を解析して画面構成テーブルを生成する処理である。テーブル生成処理の詳細については後述する。
【０１１４】
そして、ステップＳ１３００において、入力情報生成部２１０は、新たな音声認識結果を受信したか否かを判断する。入力情報生成部２１０は、新たな音声認識結果を受信した場合（Ｓ１３００：ＹＥＳ）、ステップＳ１４００へ進む。また、入力情報生成部２１０は、新たな音声認識結果を受信していない場合（Ｓ１３００：ＮＯ）、ステップＳ１５００へ進む。
【０１１５】
ステップＳ１４００において、入力情報生成部２１０は、操作変換処理を行って、ステップＳ１５００へ進む。操作変換処理は、端末入力音声に対する音声認識処理の結果を、操作情報に変換して電子カルテ部２０３へ渡す処理である。操作変換処理の詳細については後述する。
【０１１６】
そして、ステップＳ１５００において、入力情報生成部２１０は、ユーザ操作などにより処理の終了を指示されたか否かを判断する。入力情報生成部２１０は、処理の終了を指示されていない場合（Ｓ１５００：ＮＯ）、ステップＳ１１００へ戻る。また、入力情報生成部２１０は、処理の終了を指示された場合（Ｓ１５００：ＹＥＳ）、一連の処理を終了する。
【０１１７】
このような動作により、情報処理装置２００は、新たな入力画面が表示されるごとに、その入力画面に対応した画面構成テーブルを生成することができる。そして、情報処理装置２００は、新たな音声認識結果が受信されるごとに、その音声認識結果の操作情報への変換を行うことができる。
【０１１８】
図１２は、テーブル生成処理（図１０のステップＳ１２００）の一例を示すフローチャートである。
【０１１９】
まず、ステップＳ１２０１において、画面構成解析部２０７は、電子カルテ部２０３から、入力画面の画面情報を取得する。画面情報は、入力画面を構成する各入力エリアのタイプおよび表示位置と、入力画面を構成する各ラベルテキストと、その表示位置およびサイズを含む。画面情報の取得は、入力画面がマイクロソフト社のウィンドウズ（登録商標）におけるウィンドウである場合、対応するウィンドウズメッセージを電子カルテ部２０３へ渡すことにより、可能である。
【０１２０】
そして、ステップＳ１２０２において、画面構成解析部２０７は、取得した入力エリアのうち１つを選択する。
【０１２１】
そして、ステップＳ１２０３において、画面構成解析部２０７は、テーブル作成ルール（図３参照）に従って、選択中の入力エリアにラベルテキストを対応付ける。
【０１２２】
例えば、図１１に示す入力画面８６１において、テキストボックス８６９が選択されている場合、画面構成解析部２０７は、「氏名」というラベルテキスト８６８を、テキストボックス８６９に対応付ける。
【０１２３】
そして、ステップＳ１２０４において、画面構成解析部２０７は、ステップＳ１２０３において行った対応付けと、コンポーネットのタイプおよび相対座標などを、画面構成テーブルに登録する。後述のステップＳ１２０７の処理により、このような画面構成テーブルへの登録は、全ての入力エリアについて行われる。
【０１２４】
図１３は、図１１に示す入力画面から図３に示すテーブル作成ルールに基づいて生成された、画面構成テーブルの内容の一例を示す図である。
【０１２５】
図１３に示すように、画面構成テーブル８８０は、フィールドＩＤ８８１ごとに、親ＩＤ８８２、タイプ８８３、相対座標８８４、プロパティ８８５、およびラベルテキスト８８６を記述する。
【０１２６】
フィールドＩＤ８８１は、入力エリアのＩＤである。親ＩＤ８８２は、入力エリアの親に位置づける親入力エリアのＩＤである。タイプ８８３は、フィールドＩＤ８８１が示す入力エリアのタイプである。相対座標８８４は、入力画面８６１の相対座標系８２９における、フィールドＩＤ８８１が示す入力エリアの基準点の座標（図１１参照）である。プロパティ８８５は、フィールドＩＤ８８１が示す入力エリアがタブである場合のタブインデックスである。ラベルテキスト８８６は、フィールドＩＤ８８１が示す入力エリアに対応付けられたラベルテキスト８８６である。
【０１２７】
例えば、「２」というフィールドＩＤ８８１に対応付けて、「１」という親ＩＤ８８２、「テキストボックス」というタイプ８８３、および「ｘ２，ｙ２」という相対座標８８４が記述されている。これは、フィールドＩＤ８８１が「２」である入力エリアは、フィールドＩＤ８８１が「１」である入力エリアを親とし、テキストボックスであり、その基準点の相対座標が（ｘ２，ｙ２）であるということを示す。また、「２」というフィールドＩＤ８８１に対応付けて、「氏名」というラベルテキスト８８６が記述されている。これは、フィールドＩＤ８８１が「２」である入力エリアに、「氏名」というラベルテキスト８８６が対応付けられたことを示す。
【０１２８】
そして、図１２のステップＳ１２０５において、画面構成解析部２０７は、選択中の入力エリアのタイプが選択メニューであるか否かを判断する。画面構成解析部２０７は、選択中の入力エリアが選択メニューである場合（Ｓ１２０５：ＹＥＳ）、ステップＳ１２０６へ進む。また、画面構成解析部２０７は、選択中の入力エリアが選択メニューではない場合（Ｓ１２０５：ＮＯ）、ステップＳ１２０７へ進む。
【０１２９】
ステップＳ１２０６において、画面構成解析部２０７は、選択メニューのメニュー項目テキストから辞書用情報を生成して、ステップＳ１２０７へ進む。
【０１３０】
図１４は、図１１に示す入力画面から生成される辞書用情報の内容の一例を示す図である。
【０１３１】
図１４に示すように、辞書用情報８９０は、フィールドＩＤ８９１に対応付けて、メニュー項目テキスト８９２のリストを記述する。メニュー項目テキスト８９２は、フィールドＩＤ８９１が示す入力エリア（選択メニュー）における選択の対象であるメニュー項目テキストを示す。
【０１３２】
そして、図１２のステップＳ１２０７において、画面構成解析部２０７は、入力画面を構成する全ての入力エリアを処理したか否かを判断する。画面構成解析部２０７は、未処理の入力エリアが存在する場合（Ｓ１２０７：ＮＯ）、ステップＳ１２０２へ戻る。また、画面構成解析部２０７は、全ての入力エリアを処理した場合（Ｓ１２０７：ＹＥＳ）、ステップＳ１２０８へ進む。
【０１３３】
ステップＳ１２０８において、画面構成解析部２０７は、画面構成テーブルから、ＩＤテキスト対応情報を生成する。ＩＤテキスト対応情報は、フィールドＩＤとラベルテキストとの対応付けを示す情報である。
【０１３４】
図１５は、図１３に示す画面構成テーブルから生成されるＩＤテキスト対応情報の内容の一例を示す図である。
【０１３５】
図１５に示すように、ＩＤテキスト対応情報９００は、フィールドＩＤ９０１とラベルテキスト９０２との組およびタイプ９０３を記述する。ラベルテキスト９０２は、フィールドＩＤ９０１が示す入力エリアに対応付けられたラベルテキストを示す。タイプ９０３は、フィールドＩＤ９０１が示す入力エリアのタイプを示す。
【０１３６】
そして、図１２のステップＳ１２０９において、画面構成解析部２０７は、生成したＩＤテキスト対応情報を、無線通信端末４００へ送信する。また、画面構成解析部２０７は、辞書用情報を生成した場合には、これについても、無線通信端末４００へ送信する。そして、画面構成解析部２０７は、図１０の処理へ戻る。
【０１３７】
図１６は、情報処理装置２００から無線通信端末４００への送信データの構成の一例を示す図である。
【０１３８】
図１６に示すように、情報処理装置２００から無線通信端末４００への送信データ９１０は、例えば、ＩＤテキスト対応情報９１１を含み、更に、適宜、辞書用情報９１２を含む。
【０１３９】
このようなテーブル生成処理により、情報処理装置２００は、電子カルテ部２０３の入力画面から、入力エリア位置に対するラベルテキストの対応付けを決定することができる。そして、情報処理装置２００は、その対応付けを、画面構成データとして保持すると共に、ＩＤテキスト対応情報として無線通信端末４００へ送信することができる。
【０１４０】
図１７は、無線通信端末４００の動作の一例を示すフローチャートである。
【０１４１】
まず、音声認識管理部４０４は、ＩＤテキスト対応情報および辞書用情報の少なくとも一方を、情報処理装置２００から受信したか否かを判断する。音声認識管理部４０４は、ＩＤテキスト対応情報および辞書用情報の少なくとも一方を受信した場合（Ｓ２０１０：ＹＥＳ）、ステップＳ２０２０へ進む。また、音声認識管理部４０４は、ＩＤテキスト対応情報および辞書用情報のいずれも受信していない場合（Ｓ２０１０：ＮＯ）、ステップＳ２０３０へ進む。
【０１４２】
ステップＳ２０２０において、音声認識管理部４０４は、ＩＤテキスト対応情報および辞書用情報のうち受信したものを、音声認識サーバ６００へ転送して、ステップＳ２０３０へ進む。この際、音声認識管理部４０４は、送信元のＩＤとして、無線通信端末４００の端末ＩＤを、転送する情報に付与する。
【０１４３】
図１８は、無線通信端末４００から音声認識サーバ６００への第１の送信データの構成の一例を示す図である。
【０１４４】
図１８に示すように、無線通信端末４００から音声認識サーバ６００への第１の送信データ９２０は、例えば、端末ＩＤ９２１およびＩＤテキスト対応情報９２２を含み、更に、適宜、辞書用情報９２３を含む。端末ＩＤ９２１は、第１の送信データ９２０の送信元である無線通信端末４００の端末ＩＤを示す。ＩＤテキスト対応情報９２２および辞書用情報９２３は、図１６のＩＤテキスト対応情報９１１および辞書用情報９１２に対応している。
【０１４５】
そして、図１７のステップＳ２０３０において、音声認識管理部４０４は、音声入力部４０３を介してユーザの音声入力があったか否かを判断する。音声認識管理部４０４は、音声入力があった場合（Ｓ２０３０：ＹＥＳ）、ステップＳ２０４０へ進む。また、音声認識管理部４０４は、音声入力がない場合（Ｓ２０３０：ＮＯ）、ステップＳ２０５０へ進む。
【０１４６】
ステップＳ２０４０において、音声認識管理部４０４は、端末入力音声の音声データを含む音声情報を、音声認識サーバ６００へ送信して、ステップＳ２０５０へ進む。この際、音声認識管理部４０４は、送信元として無線通信端末４００の端末ＩＤを、送信する情報に付与する。
【０１４７】
図１９は、無線通信端末４００から音声認識サーバ６００への第２の送信データの構成の一例を示す図である。
【０１４８】
図１９に示すように、無線通信端末４００から音声認識サーバ６００への第２の送信データ９３０は、例えば、端末ＩＤ９３１および音声情報９３２を含む。端末ＩＤ９３１は、第２の送信データ９３０の送信元である無線通信端末４００の端末ＩＤを示す。音声情報９３２は、端末入力音声の音声データを含む情報である。
【０１４９】
そして、図１７のステップＳ２０５０において、音声認識管理部４０４は、音声認識サーバ６００から音声認識結果を受信したか否かを判断する。音声認識管理部４０４は、音声認識結果を受信した場合（Ｓ２０５０：ＹＥＳ）、ステップＳ２０６０へ進む。また、音声認識管理部４０４は、音声認識結果を受信していない場合（Ｓ２０５０：ＮＯ）、ステップＳ２０７０へ進む。
【０１５０】
ステップＳ２０６０において、音声認識管理部４０４は、受信した音声認識結果を、情報処理装置２００へ転送して、ステップＳ２０７０へ進む。ＩＤテキスト対応情報および辞書用情報のうち受信したものを、音声認識サーバ６００へ転送して、ステップＳ２０３０へ進む。この転送されるデータの詳細については後述する。
【０１５１】
そして、ステップＳ２０７０において、音声認識管理部４０４は、ユーザ操作などにより処理の終了を指示されたか否かを判断する。音声認識管理部４０４は、処理の終了を指示されていない場合（Ｓ２０７０：ＮＯ）、ステップＳ２０１０へ戻る。また、音声認識管理部４０４は、処理の終了を指示された場合（Ｓ２０７０：ＹＥＳ）、一連の処理を終了する。
【０１５２】
このような動作により、無線通信端末４００は、情報処理装置２００から送られてきたＩＤテキスト対応情報を、音声認識サーバ６００へ転送し、端末入力音声の音声情報を、音声認識サーバ６００へ送信することができる。また、無線通信端末４００は、音声認識サーバ６００から送られてきた音声認識結果を、情報処理装置２００へ転送することができる。
【０１５３】
図２０は、音声認識装置６００の動作の一例を示すフローチャートである。
【０１５４】
まず、ステップＳ３０１０において、逆認識処理部６０３は、無線通信端末４００からＩＤテキスト対応情報（図１５参照）を受信したか否かを判断する。逆認識処理部６０３は、ＩＤテキスト対応情報を受信していない場合（Ｓ３０１０：ＮＯ）、後述のステップＳ３０３０へ進む。また、逆認識処理部６０３は、ＩＤテキスト対応情報を受信した場合（Ｓ３０１０：ＹＥＳ）、ステップＳ３０２０へ進む。また、逆認証処理部６０３は、逆認識処理部６０３は、ＩＤテキスト対応情報に含まれるラベルテキストを読みに逆変換して、ＩＤ読み対応テーブルを生成する。
【０１５５】
図２１は、図１５に示すＩＤテキスト対応情報から生成されるＩＤ読み対応テーブルの内容の一例を示す図である。
【０１５６】
図２１に示すように、ＩＤ読み対応テーブル９４０は、フィールドＩＤ９４１に対応付けて、読み９４２を記述する。読み９４２は、フィールドＩＤ９４１が示す入力エリアに対応付けられていたラベルテキストの読みを示す。
【０１５７】
例えば、「２」というフィールドＩＤ９４１に対応付けて、「しめい」という読み９４２が記述されている。これは、フィールドＩＤ９４１が「２」である入力エリアに対応付けられたラベルテキストの読みが、「しめい」であるということを示す。
【０１５８】
なお、逆認識処理部６０３は、受信したＩＤテキスト対応情報に記述された入力エリアのタイプおよびラベルテキストと、逆変換処理により得られた読みとから、言語モデルを構築または再構築し、音声認識データベース６０２に登録する。
【０１５９】
例えば、逆認識処理部６０３は、「しめい」という読みがテキストボックスに対応すること、および、その基のラベルテキストが「氏名」であることから、「しめい」という読みの直後には名前が配置されるとする内容を、言語モデルに追加する。また、例えば、「しんりょうかもく」という読みが、選択メニューに対応している。このことから、逆認識処理部６０３は、「しんりょうかもく」という読みの直後には、対応して受信した辞書用情報に記述されたメニュー項目テキストが配置されるとする内容を、言語モデルに追加する。
【０１６０】
なお、音声認識サーバ６００は、端末ＩＤを用いて、ＩＤ読み対応テーブル９４０、言語モデル、辞書用情報などを、無線通信端末４００ごとに管理するものとする。
【０１６１】
そして、図２０のステップＳ３０３０において、逆認識処理部６０３は、無線通信端末４００から辞書用情報（図１４参照）を受信したか否かを判断する。逆認識処理部６０３は、辞書用情報を受信した場合（Ｓ３０３０：ＹＥＳ）、ステップＳ３０４０へ進む。また、逆認識処理部６０３は、辞書用辞書を受信していない場合（Ｓ３０３０：ＮＯ）、ステップＳ３０５０へ進む。
【０１６２】
ステップＳ３０４０において、逆認識処理部６０３は、辞書用情報に含まれるメニュー項目テキストのリストを、辞書用情報に含まれるフィールドＩＤについての音声認識結果候補（辞書）として、音声認識データベース６０２に登録する。
【０１６３】
なお、音声認識サーバ６００は、端末ＩＤを用いて、音声認識結果候補（辞書）を、無線通信端末４００ごとに管理するものとする。
【０１６４】
そして、ステップＳ３０５０において、音声認識処理部６０５は、無線通信端末４００から音声情報を受信したか否かを判断する。音声認識処理部６０５は、音声情報を受信した場合（Ｓ３０５０：ＹＥＳ）、ステップＳ３０６０へ進む。また、音声認識処理部６０５は、音声情報を受信していない場合（Ｓ３０５０：ＮＯ）、ステップＳ３０７０へ進む。
【０１６５】
ステップＳ３０６０において、音声認識処理部６０５は、音声認識データベース６０２０を用いて、受信した音声情報に含まれる音声データに対する音声認識処理を行う。音声認識処理の結果、端末入力音声を仮名に変換した読みと、その読みを仮名漢字変換した仮名漢字テキストとが得られる。
【０１６６】
そして、ステップＳ３０８０において、校正管理部６０９は、装置情報（図７参照）およびクラーク情報（図８参照）に基づき、クラーク決定ルール（図９参照）に従って、校正作業を行わせるクラークを決定する。そして、校正管理部６０９は、音声認識処理の結果（未校正音声認識結果）を、決定したクラークに対応する校正端末７００へ送信して、ステップＳ３０７０へ進む。
【０１６７】
図２２は、音声認識サーバ６００から校正端末７００への送信データの構成の一例を示す図である。
【０１６８】
図２２に示すように、音声認識サーバ６００から校正端末７００への送信データ９５０は、端末ＩＤ９５１、音声情報９５２、および未校正音声認識結果９５３を含む。
【０１６９】
端末ＩＤ９５１は、音声情報９５２の送信元の無線通信端末４００の端末ＩＤを示す。未校正音声認識結果９５３は、音声情報９５２に対する音声認識結果である。
【０１７０】
この未校正音声認識結果９５３は、校正端末７００における校正作業を経て、校正済音声認識結果として返信される。
【０１７１】
図２３は、校正端末７００から音声認識サーバ６００への送信データの構成の一例を示す図である。
【０１７２】
図２３に示すように、校正端末７００から音声認識サーバ６００への送信データ９６０は、端末ＩＤ９６１および校正済音声認識結果９６２を含む。端末ＩＤ９６１は、校正済音声認識結果９６２の基となった音声情報９５２の送信元の無線通信端末４００の端末ＩＤを示す。
【０１７３】
図２０のステップＳ３０７０において、校正管理部６０９は、校正端末７００から校正結果（校正済音声認識結果）を受信したか否かを判断する。校正管理部６０９は、校正結果を受信した場合（Ｓ３０７０：ＹＥＳ）、ステップＳ３０９０へ進む。また、校正管理部６０９は、校正結果を受信していない場合（Ｓ３０７０：ＮＯ）、ステップＳ３１００へ進む。
【０１７４】
ステップＳ３０９０において、校正管理部６０９は、ＩＤ読み対応テーブル（図２１参照）において、受信した校正済音声認識結果に対応するフィールドＩＤを取得する。そして、校正管理部６０９は、取得したフィールドＩＤを、校正済音声認識結果として、無線通信端末４００へ送信する。また、校正済音声認識結果が、「しめい、やまだはなこ」および「氏名、山田花子」というように、ＩＤ読み対応テーブルに記述された読みと入力テキストとから成る場合がある。この場合、校正管理部６０９は、フィールドＩＤと入力テキストとを、校正済音声認識結果として、無線通信端末４００へ送信する。この際、入力テキストとしては、仮名漢字変換されたテキスト（上述の例では、「やまだはなこ」ではなく「山田花子」）が送信される。そして、校正管理部６０９は、ステップＳ３１００へ進む。
【０１７５】
音声認識サーバ６００から無線通信端末４００への送信データは、上述の通り、無線通信端末４００により、情報処理装置２００へと転送される。
【０１７６】
図２４は、音声認識サーバ６００から情報処理装置２００への送信データの構成の一例を示す図である。
【０１７７】
図２４に示すように、音声認識サーバ６００から情報処理装置２００への送信データ９７０は、フィールドＩＤ９７１を含み、更に、適宜、入力テキスト９７２を含む。入力テキスト９７２が含まれるのは、フィールドＩＤ９７１が示す入力エリアの種類が、例えば、テキストボックスあるいは選択メニューのときである。
【０１７８】
そして、図２０のステップＳ３１００において、校正管理部６０９は、オペレータ操作などにより処理の終了を指示されたか否かを判断する。校正管理部６０９は、処理の終了を指示されていない場合（Ｓ３１００：ＮＯ）、ステップＳ３０１０へ戻る。また、校正管理部６０９は、処理の終了を指示された場合（Ｓ３１００：ＹＥＳ）、一連の処理を終了する。
【０１７９】
このような動作により、音声認識サーバ６００は、入力画面の属性や構成を反映させて精度の高い音声認識処理を行うことができ、更に、適切なクラークを選択し校正作業を行わせて、更に高い音声認識処理を行うことができる。
【０１８０】
図２５は、情報表示装置２００による操作変換処理（図１０のステップＳ１４００）の一例を示すフローチャートである。
【０１８１】
まず、ステップＳ１４０１において、入力情報生成部２１０は、入力画面８６１の絶対座標（例えば、相対座標系８７９の原点ｏの絶対座標、図１１参照）を、電子カルテ部２０３から取得する。入力画面８６１の絶対座標の取得は、入力画面がマイクロソフト社のウィンドウズ（登録商標）におけるウィンドウである場合、対応するウィンドウズメッセージを電子カルテ部２０３へ渡すことにより、可能である。
【０１８２】
そして、ステップＳ１４０２において、入力情報生成部２１０は、受信した校正済認識結果に含まれるフィールドＩＤに対応する入力エリアの相対座標を、画面構成テーブルから取得する。そして、入力エリアの相対座標を、入力画面の絶対座標に基づいて、絶対座標に変換する。例えば、相対座標系と絶対座標系とが同一スケールである場合には、入力情報生成部２１０は、入力エリアの相対座標の値と入力画面の絶対座標の値との加算することにより、入力エリアの絶対座標を取得する。
【０１８３】
そして、ステップＳ１４０３において、入力情報生成部２１０は、操作変換ルール（図４参照）に従って、校正済認識結果に対応する操作情報を生成する。そして、入力情報生成部２１０は、生成した操作情報を電子カルテ部２０３に入力して、図１０の処理へ戻る。
【０１８４】
例えば、「２」というフィールドＩＤと「山田花子」という入力テキストとを含む校正済認識結果が受信されたとする。この場合、入力情報生成部２１０は、まず、画面構成テーブル（図１３参照）から、対応する入力エリアのタイプがテキストボックスであり、その相対座標が（ｘ２、ｙ２）であるということを取得する。この結果、入力情報生成部２１０は、操作変換ルール８２０から、対応する入力エリアの絶対座標でワンクリックの操作と、続けて入力テキストの入力操作とを示す操作情報を生成することを決定する。そして、入力情報生成部２１０は、相対座標（ｘ２、ｙ２）を絶対座標に変換し、決定した内容の操作情報を生成し、電子カルテ部２０３に入力する。
【０１８５】
このような操作変換処理により、情報処理装置２００は、入力画面の大きさ、位置、構成が可変であるような電子カルテ部２０３に対しても、これを改変することなく、音声認識結果に対応する操作を行うことを可能にする。
【０１８６】
また、以上のような動作により、情報処理装置２００は、搭載する電子アプリを改変することなく、無線通信端末４００などの外部装置を用いて、しかも電子アプリのセキュリティを確保した状態で、電子カルテに音声入力機能を追加することができる。
【０１８７】
以上説明したように、本実施の形態に係る入力支援システム１００は、入力エリア位置とラベルテキスト位置との相対関係に基づいて、入力エリア位置にラベルテキストを対応付け、音声認識結果による入力エリアに対する選択操作を可能にした。これにより、入力支援システム１００は、電子カルテ部２０３に対し、音声入力機能を簡単に追加することができる。すなわち、入力支援システム１００は、入力エリアに読みが設定されていない既存のアプリケーションに対して音声入力機能を簡単に追加することができる。
【０１８８】
また、入力支援システム１００は、入力画面の相対座標を用いるので、入力画面が単に移動した場合に、その都度、画面構成解析を行わないようにすることができ、処理負荷を軽減することができる。
【０１８９】
また、入力支援システム１００は、公共通信網５００に音声認識サーバ６００と複数の校正端末７００を配置し、これらを利用して電子カルテ部２０３に音声認識機能を追加しつつ、これらと情報処理装置２００との間に無線通信端末４００を配置するようにした。これにより、入力支援システム１００は、情報処理装置２００を公共通信網５００に直接に通信可能に接続することなく、電子カルテ部２０３に対し、音声入力機能を簡単に追加することができる。すなわち、入力支援システム１００は、高いセキュリティを求められるアプリケーションに対して高精度な音声入力機能を簡単に追加することができる。
【０１９０】
なお、以上説明した実施の形態では、音声認識結果を操作情報に変換する機能部として、入力情報生成部２１０を情報処理装置に配置したが、かかる機能部の配置はこれに限定されない。音声認識結果を操作情報に変換する機能部は、例えば、無線通信端末４００に配置してもよい。この場合、画面構成解析部２０７は、生成した画面構成テーブルを、無線端末装置４００に送信してこれに格納させればよい。
【０１９１】
また、入力画面の各ページの構成や大きさが固定である場合には、全てのページについて一旦画面構成テーブルが生成されれば、画面構成解析部２０７は不要である。したがって、この場合、他の機能部（例えば入力情報生成部２１０）が、画面構成解析部２０７を情報処理装置２００から消去するようにしてもよい。
【０１９２】
また、入力支援システム１００は、ＩＤではなく、ラベルテキストの読みのテキストデータや、入力エリアの座標などを、音声認識結果としてもよい。但し、画面構成解析部２０７は、音声認識結果から入力エリアを特定できるように、画面構成テーブルを生成する必要がある。
【０１９３】
また、入力支援システム１００は、キーボード入力信号をエミュレートした操作情報を、アプリケーションに入力するようにしてもよい。
【０１９４】
この場合、例えば、無線通信端末４００の音声認識管理部４０４は、受信した校正作業の結果を、キーボード入力信号（平仮名文字列）に変換して、装置通信部４０２を介して情報処理装置２００へ送信する。このキーボード入力信号は、例えば、校正作業の結果である仮名漢字まじりテキストを平仮名文字列に変換したものを入力するために行われるべきキーボード操作の内容と、その後の変換操作（入力した平仮名文字列全てを選択し、変換すること）・確定操作（仮名漢字まじりに確定すること）を示す信号である。
【０１９５】
また、情報処理装置２００の入力情報生成部２１０は、入力エリアのいずれかが選択されている状態で、端末通信部２０２を介してこのキーボード入力信号を受信したとき、当該キーボード入力信号を仮名漢字テキストに変換する。そして、入力情報生成部２１０は、選択されている入力エリアの表示位置に対する当該仮名漢字テキストの入力操作を示す操作情報を、電子カルテ部２０３に入力する。
【０１９６】
更に、入力支援システム１００は、入力エリアの選択については手動で受け付け、テキスト入力についてのみ音声認識機能を用いるようにしてもよい。例えば、キーボード入力信号を一般の無線キーボードの無線信号で実現した場合、通常の無線キーボード入力と同じ経路で電子カルテ部２０３に入力するため、入力情報生成部２１０および端末通信部２０２は通常のコンピュータ端末に普通に備わっている入力機能である。
【０１９７】
また、入力情報生成部２１０のうち仮名漢字テキストへの変換機能は、情報処理装置２００に搭載されている機能と兼用としてもよい。音声認識サーバ６００との音声認識辞書は、対象分野に特化した変換辞書（よみと表記のペア）を持っているため、これを情報処理装置２００に備わってる仮名漢字変換（IME）にインポートしておくことが望ましい。そうすることにより、一回の変換操作で仮名漢字変換が成功する確率が高くなる。
【０１９８】
また、画面構成解析部２０７は、実際に表示される画像をスキャンし、入力画面から、各入力エリアの位置およびタイプや、各ラベルテキストの表示位置を取得（抽出）するようにしてもよい。かかる抽出は、例えば、パターンマッチングや画像特徴量抽出などにより行うことができる。
【０１９９】
また、本発明は、電子カルテ以外の各種アプリケーションに対して適用可能であることは勿論である。
【産業上の利用可能性】
【０２００】
本発明は、高いセキュリティを求められるアプリケーションに対して高精度な音声入力機能を簡単に追加することができる入力支援システムとして有用である。
【符号の説明】
【０２０１】
１００ 入力支援システム
２００ 情報処理装置
２０１ ＬＡＮ通信部
２０２ 端末通信部
２０３ 電子カルテ部
２０４ 画像出力部
２０５ 操作入力部
２０６ テーブル作成ルール格納部
２０７ 画面構成解析部
２０８ 画面構成テーブル格納部
２０９ 操作変換ルール格納部
２１０ 入力情報生成部
３００ 院内ＬＡＮ
４００ 無線通信端末
４０１ 装置通信部
４０２、６０１ 網通信部
４０３ 音声入力部
４０４ 音声認識管理部
５００ 公共通信網
６００ 音声認識サーバ
６０２ 音声認識データベース
６０３ 逆認識処理部
６０４ 対応テーブル格納部
６０５ 音声認識処理部
６０６ 装置情報格納部
６０７ クラーク情報格納部
６０８ クラーク決定ルール格納部
６０９ 校正管理部
７００ 校正端末
【特許請求の範囲】
【請求項１】
アプリケーションソフトウェアを含む情報処理装置と、音声認識処理を行う音声認識サーバと、を有し、前記アプリケーションソフトウェアに対する入力作業を支援する入力支援システムであって、
公共通信網を介して前記音声認識サーバに接続する網通信部と、
前記公共通信網とは別の通信経路により前記情報処理装置に接続する装置通信部と、
音声を入力する音声入力部と、
入力した前記音声の前記音声認識サーバへの送信と、前記音声認識サーバから受信した前記音声認識処理の結果を表す情報の前記情報処理装置への送信とを、交互に行う音声認識管理部と、を有する無線通信端末、を有する、
入力支援システム。
【請求項２】
前記網通信部および前記装置通信部は、
それぞれ無線通信を行う、
請求項１記載の入力支援システム。
【請求項３】
前記公共通信網を介して前記音声認識サーバに接続し、前記音声認識サーバによる前記音声認識処理の結果に対する校正作業を受け付ける複数の校正端末、を更に有する、
請求項１記載の入力支援システム。
【請求項４】
前記音声認識サーバは、
前記情報処理装置、前記アプリケーションソフトウェア、および前記アプリケーションソフトウェアのユーザの少なくとも１つの属性情報を含む装置情報と、前記校正端末のオペレータの属性情報を含むクラーク情報と、の関係により、前記音声認識処理の結果に対する前記校正端末の選択の条件を規定するクラーク決定ルールを予め格納し、前記音声認識処理の結果ごとに、前記装置情報を取得し、前記クラーク決定ルールを参照して前記校正端末を選択し、選択した前記校正端末に対して前記校正作業を行わせる、
請求項３記載の入力支援システム。
【請求項５】
前記装置情報は、現在、前記校正端末において前記校正作業が可能か否かを示す情報を含み、
前記クラーク決定ルールは、現在、前記校正作業が可能である前記校正端末を選択することを少なくとも規定する、
請求項４記載の入力支援システム。
【請求項６】
前記校正端末のオペレータの属性情報は、前記オペレータの校正作業の対象の得意範囲を示す情報を含み、
前記クラーク決定ルールは、前記アプリケーションソフトウェアおよび前記ユーザを得意範囲に含む前記オペレータが存在するとき、当該オペレータの前記校正端末を選択することを規定する、
請求項５記載の入力支援システム。
【請求項７】
前記アプリケーションソフトウェアは、テキスト入力および項目選択の少なくとも１つを受け付ける入力エリアから構成される入力画面を表示し、
前記情報処理装置は、
前記入力エリアのいずれかが選択されている状態でキーボード入力信号を受信したとき、当該キーボード入力信号を仮名漢字テキストに変換し、選択されている前記入力エリアの表示位置に対する前記仮名漢字テキストの入力操作を示す操作情報を、前記アプリケーションソフトウェアへ出力し、
前記無線通信端末の前記音声認識管理部は、
受信した前記音声認識処理の結果を、キーボード入力信号に変換して前記情報処理装置へ送信する、
請求項１記載の入力支援システム。
【請求項８】
前記入力画面は、テキスト入力および項目選択の少なくとも１つを受け付ける入力エリアとラベルテキストとから構成され、
前記情報処理装置は、
前記入力エリアの表示位置に対する前記ラベルテキストの対応付けと、当該ラベルテキストに割り当てられたＩＤとを記述した画面構成テーブルを保持し、前記音声認識サーバから前記ＩＤを受信するごとに、受信した前記ＩＤに対応する前記入力エリアの表示位置を、前記画面構成テーブルを参照して特定し、特定した前記表示位置を選択する操作情報を前記アプリケーションソフトウェアに入力し、
前記音声認識サーバは、
前記ラベルテキストに対する逆音声認識処理により得られた前記ラベルテキストの読みと、当該ラベルテキストに割り当てられた前記ＩＤとを記述した、ＩＤ読み対応テーブルを保持し、前記音声認識処理の結果が得られるごとに、当該結果に対応する前記ＩＤを、前記ＩＤ読み対応テーブルを参照して特定し、特定した前記ＩＤを前記情報処理装置へ送信する、
請求項１記載の入力支援システム。
【請求項９】
前記情報処理装置は、
前記対応付けごとに、前記ラベルテキストと当該ラベルテキストに割り当てられた前記ＩＤとの組を、前記音声認識サーバへ送信し、
前記音声認識サーバは、
前記情報処理装置から受信した前記ラベルテキストと前記ＩＤとの組に基づいて、前記ＩＤ読み対応テーブルを生成する、
請求項８記載の入力支援システム。
【請求項１０】
前記画面構成解析部は、
前記入力エリアが、予め用意された複数のメニュー項目テキストに対する選択を受け付ける選択メニューであるとき、当該選択メニューに割り当てた前記ＩＤと前記複数のメニュー項目テキストとを組み付けた辞書用情報を、前記無線通信端末を介して前記音声認識サーバへ送信し、
前記入力情報生成部は、
受信した前記音声認識処理の結果が、前記選択メニューに割り当てられた前記ＩＤと入力テキストとを示すとき、当該ＩＤに対応する前記入力エリアの表示位置を選択する操作情報に続けて、前記入力テキストを入力する操作情報を、前記アプリケーションソフトウェアに入力する、
請求項９記載の入力支援システム。
【請求項１】
アプリケーションソフトウェアを含む情報処理装置と、音声認識処理を行う音声認識サーバと、を有し、前記アプリケーションソフトウェアに対する入力作業を支援する入力支援システムであって、
公共通信網を介して前記音声認識サーバに接続する網通信部と、
前記公共通信網とは別の通信経路により前記情報処理装置に接続する装置通信部と、
音声を入力する音声入力部と、
入力した前記音声の前記音声認識サーバへの送信と、前記音声認識サーバから受信した前記音声認識処理の結果を表す情報の前記情報処理装置への送信とを、交互に行う音声認識管理部と、を有する無線通信端末、を有する、
入力支援システム。
【請求項２】
前記網通信部および前記装置通信部は、
それぞれ無線通信を行う、
請求項１記載の入力支援システム。
【請求項３】
前記公共通信網を介して前記音声認識サーバに接続し、前記音声認識サーバによる前記音声認識処理の結果に対する校正作業を受け付ける複数の校正端末、を更に有する、
請求項１記載の入力支援システム。
【請求項４】
前記音声認識サーバは、
前記情報処理装置、前記アプリケーションソフトウェア、および前記アプリケーションソフトウェアのユーザの少なくとも１つの属性情報を含む装置情報と、前記校正端末のオペレータの属性情報を含むクラーク情報と、の関係により、前記音声認識処理の結果に対する前記校正端末の選択の条件を規定するクラーク決定ルールを予め格納し、前記音声認識処理の結果ごとに、前記装置情報を取得し、前記クラーク決定ルールを参照して前記校正端末を選択し、選択した前記校正端末に対して前記校正作業を行わせる、
請求項３記載の入力支援システム。
【請求項５】
前記装置情報は、現在、前記校正端末において前記校正作業が可能か否かを示す情報を含み、
前記クラーク決定ルールは、現在、前記校正作業が可能である前記校正端末を選択することを少なくとも規定する、
請求項４記載の入力支援システム。
【請求項６】
前記校正端末のオペレータの属性情報は、前記オペレータの校正作業の対象の得意範囲を示す情報を含み、
前記クラーク決定ルールは、前記アプリケーションソフトウェアおよび前記ユーザを得意範囲に含む前記オペレータが存在するとき、当該オペレータの前記校正端末を選択することを規定する、
請求項５記載の入力支援システム。
【請求項７】
前記アプリケーションソフトウェアは、テキスト入力および項目選択の少なくとも１つを受け付ける入力エリアから構成される入力画面を表示し、
前記情報処理装置は、
前記入力エリアのいずれかが選択されている状態でキーボード入力信号を受信したとき、当該キーボード入力信号を仮名漢字テキストに変換し、選択されている前記入力エリアの表示位置に対する前記仮名漢字テキストの入力操作を示す操作情報を、前記アプリケーションソフトウェアへ出力し、
前記無線通信端末の前記音声認識管理部は、
受信した前記音声認識処理の結果を、キーボード入力信号に変換して前記情報処理装置へ送信する、
請求項１記載の入力支援システム。
【請求項８】
前記入力画面は、テキスト入力および項目選択の少なくとも１つを受け付ける入力エリアとラベルテキストとから構成され、
前記情報処理装置は、
前記入力エリアの表示位置に対する前記ラベルテキストの対応付けと、当該ラベルテキストに割り当てられたＩＤとを記述した画面構成テーブルを保持し、前記音声認識サーバから前記ＩＤを受信するごとに、受信した前記ＩＤに対応する前記入力エリアの表示位置を、前記画面構成テーブルを参照して特定し、特定した前記表示位置を選択する操作情報を前記アプリケーションソフトウェアに入力し、
前記音声認識サーバは、
前記ラベルテキストに対する逆音声認識処理により得られた前記ラベルテキストの読みと、当該ラベルテキストに割り当てられた前記ＩＤとを記述した、ＩＤ読み対応テーブルを保持し、前記音声認識処理の結果が得られるごとに、当該結果に対応する前記ＩＤを、前記ＩＤ読み対応テーブルを参照して特定し、特定した前記ＩＤを前記情報処理装置へ送信する、
請求項１記載の入力支援システム。
【請求項９】
前記情報処理装置は、
前記対応付けごとに、前記ラベルテキストと当該ラベルテキストに割り当てられた前記ＩＤとの組を、前記音声認識サーバへ送信し、
前記音声認識サーバは、
前記情報処理装置から受信した前記ラベルテキストと前記ＩＤとの組に基づいて、前記ＩＤ読み対応テーブルを生成する、
請求項８記載の入力支援システム。
【請求項１０】
前記画面構成解析部は、
前記入力エリアが、予め用意された複数のメニュー項目テキストに対する選択を受け付ける選択メニューであるとき、当該選択メニューに割り当てた前記ＩＤと前記複数のメニュー項目テキストとを組み付けた辞書用情報を、前記無線通信端末を介して前記音声認識サーバへ送信し、
前記入力情報生成部は、
受信した前記音声認識処理の結果が、前記選択メニューに割り当てられた前記ＩＤと入力テキストとを示すとき、当該ＩＤに対応する前記入力エリアの表示位置を選択する操作情報に続けて、前記入力テキストを入力する操作情報を、前記アプリケーションソフトウェアに入力する、
請求項９記載の入力支援システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【公開番号】特開２０１３−６２６８１（Ｐ２０１３−６２６８１Ａ）
【公開日】平成２５年４月４日（２０１３．４．４）
【国際特許分類】
【出願番号】特願２０１１−１９９７５２（Ｐ２０１１−１９９７５２）
【出願日】平成２３年９月１３日（２０１１．９．１３）
【出願人】（３９８０１８０２１）株式会社アドバンスト・メディア (23)
【出願人】（５１０１８８４０３）株式会社サイバークラーク研究所 (3)
【Ｆターム（参考）】
【公開日】平成２５年４月４日（２０１３．４．４）
【国際特許分類】
【出願日】平成２３年９月１３日（２０１１．９．１３）
【出願人】（３９８０１８０２１）株式会社アドバンスト・メディア (23)
【出願人】（５１０１８８４０３）株式会社サイバークラーク研究所 (3)
【Ｆターム（参考）】
[ Back to top ]