業務支援装置および業務支援方法
【課題】既存のアプリケーションに対し極めて容易に音声入力機能を採り入れることができる業務支援装置を提供すること。
【解決手段】プラットフォームサーバ６００は、アプリケーションを対象とした入力音声を受信する音声受信部６２１と、音声認識処理を音声認識システムに実行させる音声認識制御部６２０と、音声認識処理の結果を送信するテキスト送信部６４１とを有する。音声受信部６２１は、アプリケーションに組み込まれた入力切替機能部から、発話者を特定する発話者ＩＤと、入力対象を特定する入力対象ＩＤとを受信する。音声認識制御部６２０は、発話者ＩＤに基づいて、音声認識システムに対し、発話者毎にカスタマイズされた音声認識処理を実行させる。テキスト送信部６４１は、音声認識処理の結果であるテキストを、発話者ＩＤおよび入力対象ＩＤに基づいて、発話者によるテキスト入力としてアプリケーションへ送信する。
【解決手段】プラットフォームサーバ６００は、アプリケーションを対象とした入力音声を受信する音声受信部６２１と、音声認識処理を音声認識システムに実行させる音声認識制御部６２０と、音声認識処理の結果を送信するテキスト送信部６４１とを有する。音声受信部６２１は、アプリケーションに組み込まれた入力切替機能部から、発話者を特定する発話者ＩＤと、入力対象を特定する入力対象ＩＤとを受信する。音声認識制御部６２０は、発話者ＩＤに基づいて、音声認識システムに対し、発話者毎にカスタマイズされた音声認識処理を実行させる。テキスト送信部６４１は、音声認識処理の結果であるテキストを、発話者ＩＤおよび入力対象ＩＤに基づいて、発話者によるテキスト入力としてアプリケーションへ送信する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テキスト入力を受け付けるアプリケーションと、音声認識処理を行う音声認識システムと、アプリケーションのユーザに対しテキスト入力の業務を支援する業務支援装置とを含むシステムにおける業務支援装置および業務支援方法に関する。
【背景技術】
【０００２】
病院の電子カルテのような、テキスト入力を受け付けるアプリケーションソフトウェア（以下単に「アプリケーション」という）において、音声入力機能を採り入れることが提案されている（例えば特許文献１参照）。例えば、電子カルテに音声入力機能を採り入れた場合、医師は病名等を発話することによりその病名のテキストをカルテに入力することができるため、膨大な量の入力作業やその管理を効率化することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−３２８６５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、既に音声入力機能を有さない電子カルテを使用している場合、このような新しいアプリケーションへの切り替えは、システム環境の変化よる操作性の低下、データベースの載せ替えの手間、コスト面等から、容易ではない。したがって、既存のアプリケーションに、このような音声入力機能を追加できることが望ましい。
【０００５】
ところが、既存のアプリケーションにおいて音声入力機能を実現しようとすると、そのアプリケーションと音声認識システムとを統合する必要があり、アプリケーションの大規模な改修や、操作インタフェースの大幅な変更が必要となる。したがって、既存のアプリケーションに音声入力機能を追加することは容易ではなかった。
【０００６】
本発明の目的は、既存のアプリケーションに対し極めて容易に音声入力機能を採り入れることができる業務支援装置および業務支援方法を提供することである。
【課題を解決するための手段】
【０００７】
本発明の業務支援装置は、テキスト入力を受け付けるアプリケーションと、音声認識処理を行う音声認識システムと、前記アプリケーションのユーザに対し前記テキスト入力の業務を支援する業務支援装置とを含むシステムにおける前記業務支援装置であって、前記アプリケーションを対象とした入力音声を受信する音声受信部と、前記入力音声に対する音声認識処理を前記音声認識システムに実行させる音声認識制御部と、前記音声認識処理の結果を送信するテキスト送信部とを有し、前記音声受信部は、前記アプリケーションに組み込まれた入力切替機能部から、前記入力音声の発話者を特定する発話者ＩＤと、前記入力音声の入力対象を特定する入力対象ＩＤとを受信し、前記音声認識制御部は、前記発話者ＩＤに基づいて、前記音声認識システムに対し、前記発話者毎にカスタマイズされた前記音声認識処理を実行させ、前記テキスト送信部は、前記音声認識処理の結果であるテキストを、前記発話者ＩＤおよび前記入力対象ＩＤに基づいて、前記発話者によるテキスト入力として前記アプリケーションへ送信する。
【０００８】
本発明の業務支援方法は、テキスト入力を受け付けるアプリケーションと、音声認識処理を行う音声認識システムと、前記アプリケーションのユーザに対し前記テキスト入力の業務を支援する業務支援装置と、を含むシステムの前記業務支援装置における業務支援方法であって、前記アプリケーションに組み込まれた入力切替機能部から、前記アプリケーションを対象とした入力音声と、前記入力音声の発話者を特定する発話者ＩＤと、前記入力音声の入力対象を特定する入力対象ＩＤと、を受信するステップと、前記発話者ＩＤに基づいて、前記音声認識システムに、前記発話者毎にカスタマイズされた前記音声認識処理を前記入力音声に対して実行させるステップと、前記音声認識処理の結果であるテキストを、前記発話者ＩＤおよび前記入力対象ＩＤに基づいて、前記発話者によるテキスト入力として前記アプリケーションへ送信するステップとを有する。
【発明の効果】
【０００９】
本発明によれば、アプリケーションに、発話者ＩＤおよび入力対象ＩＤを送信する入力切替機能部を持たせるだけで、そのアプリケーションに対し音声入力機能を実現することができる。すなわち、本発明は、既存のアプリケーションに対し極めて容易に音声入力機能を採り入れることができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施の形態に係る業務支援装置を含むネットワークシステムの構成を示すシステム構成図
【図２】本実施の形態における入力端末の構成を示すブロック図
【図３】本実施の形態におけるアプリケーションサーバの構成を示すブロック図
【図４】本実施の形態に係る業務支援装置としてのプラットフォームサーバの構成を示すブロック図
【図５】本実施の形態における音声認識サーバの構成を示すブロック図
【図６】本実施の形態に係るプラットフォームサーバの動作を示すフローチャート
【図７】本実施の形態に係るネットワークシステムの動作の一例を示すシーケンス図
【発明を実施するための形態】
【００１１】
以下、本発明の一実施の形態について、図面を参照して詳細に説明する。
【００１２】
図１は、本発明の一実施の形態に係る業務支援装置を含むネットワークシステムの構成を示すシステム構成図である。本実施の形態は、本発明を、電子カルテのウェブアプリケーションに対して音声入力機能を実現する場合に適用した例である。
【００１３】
図１に示すように、本実施の形態に係るネットワークシステム１００は、アプリケーションサーバ２００、第１〜第Ｍの入力端末３００−１〜３００−Ｍ、音声認識サーバ４００、第１〜第Ｎの校正端末５００−１〜５００−Ｎ、プラットフォームサーバ６００を有する。プラットフォームサーバ６００は、本実施の形態に係る業務支援装置を含む。以下、第１〜第Ｍの入力端末３００−１〜３００−Ｍは同一の構成を有するため、適宜、これらを単に入力端末３００として説明する。また、第１〜第Ｎの校正端末５００−１〜５００−Ｎは同一の構成を有するため、適宜、これらを単に校正端末５００として説明する。上述の各装置は、インターネット等の公共の通信ネットワークである通信ネットワーク７００にそれぞれ接続されている。
【００１４】
アプリケーションサーバ２００は、電子カルテのウェブアプリケーションが実装された装置であり、例えば、通信機能を有するサーバコンピュータである。アプリケーションサーバ２００の電子カルテは、通信ネットワーク７００を介して、各病院の医師、看護師、または電子カルテの入力オペレータ等（以下「入力オペレータ」と総称する）から、ユーザＩＤの入力によるログイン手続を経て、操作を受け付ける。この操作には、テキスト入力が含まれる。また、アプリケーションサーバ２００の電子カルテは、入力切替機能部を有する。この入力切替機能部は、後述の音声入力開始操作が行われたとき、発話者ＩＤおよび入力対象ＩＤを、後述のプラットフォームサーバ６００へ送信する。アプリケーションサーバ２００の電子カルテは、例えば、既存の電子カルテに対して入力切替機能部が追加されたものである。
【００１５】
なお、ここで、発話者ＩＤとは、音声を入力した入力端末３００および入力音声を発話した入力オペレータを特定する情報であり、例えば、入力端末３００のネットワークＩＤと電子カルテへのログイン手続で入力されるユーザＩＤとの組、またはこれに一意に対応付けられた識別情報である。
【００１６】
また、ここで、入力対象ＩＤとは、テキスト入力先の場所、分野種別、業務種別、タスク種別、およびテキスト種別等を特定する情報である。テキスト入力先の場所とは、例えば、どの入力端末３００のどのアプリケーション（ここでは電子カルテ）のどのページのどの入力欄がテキスト入力先として指定されているかを示すものである。分野種別は、整形外科、婦人科等、入力されたテキストが属する分野の種別である。業務種別は、電子カルテ、服薬指導、議事録等、入力されたテキストが属する業務の種別である。タスク種別は、手術記事、診断書等、入力されたテキストが属するタスクの種別である。テキスト種別は、疾患名、文章等、入力されたテキストの構造に関する種別である。
【００１７】
入力端末３００は、病院の診療室毎に設置された、ウェブブラウザとウェブブラウザのメディアモジュールプラグインとがインストールされた装置であり、例えば、通信機能を有するパーソナルコンピュータである。入力端末３００は、入力オペレータから各種操作を受け付けると共に、ウェブブラウザにより、アプリケーションサーバ２００の電子カルテを操作する環境を、入力オペレータに提供する。また、入力端末３００は、後述のプラットフォームサーバ６００からの後述の音声入力開始指示を受けて、音声入力および入力音声のプラットフォームサーバ６００への送信を開始する。
【００１８】
音声認識サーバ４００は、音声認識処理を行う装置であり、例えば、通信機能を有するサーバコンピュータである。より具体的には、音声認識サーバ４００は、入力音声の発話者毎に音響モデルをカスタマイズして、音声認識処理を行う。音声認識サーバ４００は、後述のプラットフォームサーバ６００から依頼を受けて音声認識処理を行い、処理結果として得られた、発話時間情報付きテキスト（以下単に「音声認識結果」という）を、プラットフォームサーバ６００へ返信する。ここで、発話時間情報とは、入力音声の時間軸における発話区間の時刻（最初からの時間）を示す情報である。
【００１９】
校正端末５００は、音声認識サーバ４００の音声認識結果に対する校正処理を行う装置であり、例えば、通信機能を有するパーソナルコンピュータである。校正端末５００は、後述のプラットフォームサーバ６００からの依頼を受けて校正処理を行い、処理結果（以下「校正結果」という）を、プラットフォームサーバ６００へ返信する。校正処理は、音声認識結果を表示すると共に入力音声を再生し、校正端末５００のオペレータ（以下「校正オペレータ」という）から、音声認識結果を修正する操作を受け付ける処理である。ここでは、各校正端末５００は、専用の校正オペレータによりそれぞれ使用されるものとし、以下、校正端末５００の校正オペレータが得意とする分野種別（例えば整形外科）を、「校正端末５００の対応分野」という。
【００２０】
プラットフォームサーバ６００は、本発明に係る業務支援装置を含み、例えば、通信機能を有するサーバコンピュータである。プラットフォームサーバ６００は、アプリケーションサーバ２００から発話者ＩＤおよび入力対象ＩＤを受信したとき、入力対象ＩＤが特定する入力端末３００に対して、音声入力および入力音声のプラットフォームサーバ６００への送信を開始する旨の指示（以下「音声入力開始指示」という）を送信する。そして、プラットフォームサーバ６００は、受信した入力音声に対する音声認識処理を、音声認識サーバ４００に実行させる。このとき、プラットフォームサーバ６００は、発話者ＩＤおよび入力対象ＩＤに基づいて、入力音声に対応する音響モデル、言語モデル、および辞書を用いた音声認識処理を、音声認識サーバ４００に実行させる。
【００２１】
また、プラットフォームサーバ６００は、音声認識サーバ４００の音声認識結果に対する校正処理を、校正端末５００に実行させる。このとき、プラットフォームサーバ６００は、入力対象ＩＤに基づいて、入力対象の分野種別に対応分野がマッチする校正端末５００を選択する。例えば、整形外科の診療室の入力端末３００から受信した入力音声には、分野種別として整形外科を特定する入力対象ＩＤが付随しているため、整形外科の専門用語に詳しい校正オペレータの校正端末５００が選択される。
【００２２】
また、プラットフォームサーバ６００は、校正結果として得られたテキスト（以下、単に「校正結果」という）を、その校正結果に付随して受信した発話者ＩＤおよび入力対象ＩＤに基づいて、元の発話者によるテキスト入力として、アプリケーションサーバ２００へ送信する。すなわち、プラットフォームサーバ６００は、入力対象ＩＤが特定する場所への、発話者ＩＤが特定する発話者による入力テキストとして、校正結果を送信する。例えば、第１の入力端末３００−１からの入力音声には、第１の入力端末３００−１の入力対象を特定する入力対象ＩＤと、第１の入力端末３００−１の発話者ＩＤとが付随している。したがって、この場合、第１の入力端末３００−１の入力音声の校正結果は、第１の入力端末３００−１からの入力テキストとして、アプリケーションサーバ２００の電子カルテに入力される。
【００２３】
図２は、入力端末３００の構成を示すブロック図である。
【００２４】
図２において、入力端末３００は、入力操作部３１０、音声入力部３２０、表示部３３０、通信部３４０、アプリケーション表示部３５０、およびプラットフォーム表示部３６０を有する。
【００２５】
入力操作部３１０は、例えばキーボードおよびマウスであり、入力端末３００に対する各種操作を受け付ける。例えば、入力操作部３１０は、入力オペレータからの手入力の結果として、アプリケーション表示部３５０を介して、電子カルテに対するカーソル位置の移動操作や、電子カルテのカーソル位置へのテキスト入力操作を受け付ける。
【００２６】
音声入力部３２０は、例えばマイクロフォンであり、入力端末３００に対する音声入力を受け付ける。
【００２７】
表示部３３０は、例えば液晶ディスプレイであり、画像表示を行う。
【００２８】
通信部３４０は、例えば通信回路であり、通信ネットワーク７００上の他の装置と通信可能に接続する。
【００２９】
アプリケーション表示部３５０は、ウェブブラウザであり、例えば、アプリケーションサーバ２００の電子カルテを操作する環境を、入力オペレータに提供する。具体的には、アプリケーション表示部３５０は、発話者ＩＤの送信によるログイン手続を経て、アプリケーションサーバ２００から送られてくるカルテ画面のデータに基づき、カルテ画面を表示部３３０に表示させる。そして、アプリケーション表示部３５０は、カルテ画面に対するテキスト入力操作が行われる毎に、そのときのカーソル位置を入力対象として、発話者ＩＤと共に、入力テキストをアプリケーションサーバ２００へ送信する。
【００３０】
また、アプリケーション表示部３５０は、入力操作部３１０において音声入力の開始を指示する所定の操作（以下「音声入力開始操作」という）があったとき、音声入力の開始が求められている旨の通知（以下「音声入力開始通知」という）および発話者ＩＤを、アプリケーションサーバ２００へ送信する。音声入力開始操作は、例えば、カルテ画面に表示された「音声入力開始」等のメニュー項目またはアイコンの選択操作である。
【００３１】
プラットフォーム表示部３６０は、上述のメディアモジュールプラグインであり、プラットフォームサーバ６００から音声入力開始指示を受けたとき、音声入力開始を通知するポップアップウィンドウを表示し、音声入力部３２０を介して入力オペレータの発話音声の入力を開始する。そして、プラットフォーム表示部３６０は、入力音声を、プラットフォームサーバ６００へ送信する。なお、プラットフォーム表示部３６０は、入力音声を直接連続的に送信するストリーミングの形式か、入力音声をある程度溜めてファイルとして保存してから送信するアップロードの形式か、どちらの形式で行うかの選択を、入力オペレータから受け付けても良い。後者の場合は、プラットフォーム表示部３６０は、ＩＣ（integrated circuit）レコーダ等で別途録音した音声ファイルを、プラットフォームサーバ６００へアップロードするようにしても良い。
【００３２】
図３は、アプリケーションサーバ２００の構成を示すブロック図である。
【００３３】
図３において、アプリケーションサーバ２００は、通信部２１０およびアプリケーション部２２０を有する。
【００３４】
通信部２１０は、例えば通信回路であり、通信ネットワーク７００上の他の装置と通信可能に接続する。
【００３５】
アプリケーション部２２０は、ここでは電子カルテを実現する機能部であり、入力端末３００のアプリケーション表示部３５０からの発話者ＩＤの受信を含むログイン手続を経て起動する。アプリケーション部２２０は、画面生成部２２１、テキスト入力受付部２２２、入力情報記憶部２２３、および入力切替機能部２２４を有する。
【００３６】
画面生成部２２１は、病歴や経過等をテキスト入力するための入力欄や、情報の入力先を指定するためのカーソルを含むカルテ画面を生成し、生成したカルテ画面のデータを、ログイン中の入力端末３００のアプリケーション表示部３５０に送信する。この結果、ログイン中の入力端末３００の表示部３３０には、ウェブブラウザによるカルテ画面が表示される。
【００３７】
テキスト入力受付部２２２は、ログイン中の入力端末３００から、カルテ画面の各所へのテキスト入力を受け付ける。より具体的には、テキスト入力受付部２２２は、入力対象を指定してテキストおよび発話者ＩＤが送られてくる毎に、受信した発話者ＩＤがログイン中の発話者ＩＤであるか否かを判断する。そして、テキスト入力受付部２２２は、受信した発話者ＩＤがログイン中の発話者ＩＤである場合には、指定された入力対象に、送られてきたテキストを入力する。
【００３８】
入力情報記憶部２２３は、ログイン中の入力オペレータの発話者ＩＤと、テキスト入力受付部２２２の各入力結果とを記憶する。また、入力情報記憶部２２３は、アプリケーション部２２０の初期設定または構造により定められる、アプリケーションの分野種別および業務種別、各入力欄の場所、タスク種別、およびテキスト属性を記憶する。入力対象ＩＤは、これらの入力情報記憶部２２３に記憶された情報から作成される。
【００３９】
入力切替機能部２２４は、音声入力開始通知を受信したとき、その時点における表示中のカルテ画面およびカーソル位置等から入力対象ＩＤを作成し、発話者ＩＤおよび入力対象ＩＤを、後述のプラットフォームサーバ６００へ送信する。
【００４０】
図４は、プラットフォームサーバ６００の構成を示すブロック図である。
【００４１】
図４において、プラットフォームサーバ６００は、通信部６１０、音声認識制御部６２０、対応分野テーブル格納部６３０、および校正制御部６４０を有する。
【００４２】
通信部６１０は、例えば通信回路であり、通信ネットワーク７００上の他の装置と通信可能に接続する。
【００４３】
音声認識制御部６２０は、音声受信部６２１にて、アプリケーションサーバ２００から発話者ＩＤおよび入力対象ＩＤを受信したとき、受信した発話者ＩＤが特定する入力端末３００に対して音声入力開始指示を送信する。そして、音声認識制御部６２０は、音声受信部６２１において入力音声を受信すると、入力音声と共に発話者ＩＤおよび入力対象ＩＤを音声認識サーバ４００へ送信する。これにより、音声認識制御部６２０は、発話者ＩＤに対応する音響モデルと入力対象ＩＤに対応する言語モデルおよび辞書を用いた音声認識処理を、音声認識サーバ４００に実行させる。
【００４４】
対応分野テーブル格納部６３０は、各校正端末５００の対応分野を記述した対応分野テーブルを予め格納する。
【００４５】
校正制御部６４０は、音声認識サーバ４００から入力音声、音声認識結果、入力対象ＩＤ、および発話者ＩＤを受信する。校正制御部６４０は、入力対象ＩＤと対応分野がマッチする校正端末５００を、対応分野テーブルを参照して選択する。そして、校正制御部６４０は、選択した校正端末５００に対して、入力音声および音声認識結果と共に入力対象ＩＤおよび発話者ＩＤを送信し、校正処理を実行させる。そして、校正制御部６４０は、校正結果、入力対象ＩＤ、および発話者ＩＤを、校正端末５００から受信し、テキスト送信部６４１から、入力対象ＩＤが特定するテキスト入力先への、発話者ＩＤが特定する発話者による入力テキストとして、校正結果を送信する。
【００４６】
図５は、音声認識サーバ４００の構成を示すブロック図である。
【００４７】
図５において、音声認識サーバ４００は、通信部４１０、ＤＢ（database）対応テーブル格納部４２０、音声認識処理部４３０、および音声認識ＤＢ４４０を有する。
【００４８】
通信部４１０は、例えば通信回路であり、通信ネットワーク７００上の他の装置と通信可能に接続する。
【００４９】
ＤＢ対応テーブル格納部４２０は、ＤＢ対応テーブルを格納する。ＤＢ対応テーブルは、後述の音声認識ＤＢ４４０に格納されている音響モデル、言語モデル、および辞書と、発話者ＩＤおよび入力対象ＩＤとの対応関係を記述したテーブルである。
【００５０】
音声認識処理部４３０は、プラットフォームサーバ６００から入力音声を受信し、その発話者毎および入力対象毎にカスタマイズされた音声認識処理を実行する。より具体的には、音声認識処理部４３０は、プラットフォームサーバ６００から、入力音声、発話者ＩＤ、および入力対象ＩＤを受信し、後述の音声認識ＤＢ４４０を用いて、入力音声に対する音声認識処理を行う。更に具体的には、音声認識処理部４３０は、音響モデル、言語モデル、辞書を新規に作成する毎に、これらを発話者ＩＤおよび入力対象ＩＤと共にＤＢ対応テーブルに登録する。また、音声認識処理部４３０は、ＤＢ対応テーブルを参照し、発話者ＩＤに対応する音響モデルと、入力対象ＩＤに対応する言語モデルおよび辞書とを用いて、音声認識処理を実行する。そして、音声認識処理部４３０は、入力音声の時間軸に形態素単位等で対応付けた音声認識結果を、入力音声、入力対象ＩＤ、および発話者ＩＤと共に、プラットフォームサーバ６００へ返信する。
【００５１】
音声認識ＤＢ４４０は、発話者毎に生成された第１〜第Ｊの音響モデルと、テキスト属性毎に生成された第１〜第Ｋの言語モデルおよび分野種別、業務種別、およびタスク種別の組み合わせ毎に生成された第１〜第Ｌの辞書とを格納する。
【００５２】
入力端末３００、プラットフォームサーバ６００、および音声認識サーバ４００は、図示しないが、ＣＰＵ（central processing unit）、制御プログラムを格納したＲＯＭ（read only memory）等の記憶媒体、およびＲＡＭ（random access memory）等の作業用メモリによってそれぞれ実現することができる。この場合、上記した各部の機能は、ＣＰＵが制御プログラムを実行することにより実現される。
【００５３】
このような構成を有するネットワークシステム１００は、入力オペレータ毎および電子カルテの使用環境（診療科、入力オペレータ等）毎にカスタマイズされた音声入力機能を、実現することができる。例えば、整形外科のＡ医師が電子カルテの病歴欄に対して音声入力を行うときには、Ａ医師用の音響モデルと、整形外科の病歴用にカスタマイズされた言語モデル・辞書を使用した、音声認識結果が得られる。すなわち、ネットワークシステム１００は、ウェブアプリケーションを、そのウェブアプリケーション自体に音声入力機能および校正受付機能を個別に追加したかのような状態にすることができ、高精度の音声入力を実現することができる。
【００５４】
また、既存のアプリケーションに対する上述の入力切替機能部２２４の追加は、ＨＴＭＬ（hypertext markup language）で実現されるウェブアプリケーションの場合、数行のＡＰＩ（application program interface）の追加で済む。したがって、ネットワークシステム１００は、極めて容易に実現することができる。
【００５５】
次に、プラットフォームサーバ６００の動作について説明する。
【００５６】
図６は、プラットフォームサーバ６００の動作を示すフローチャートである。
【００５７】
まず、ステップＳ１１００において、音声認識制御部６２０は、発話者ＩＤおよび入力対象ＩＤを受信したか否かを判断する。音声認識制御部６２０は、発話者ＩＤおよび入力対象ＩＤを受信していない場合は（Ｓ１１００：ＮＯ）、ステップＳ１２００へ進み、発話者ＩＤおよび入力対象ＩＤを受信した場合は（Ｓ１１００：ＹＥＳ）、ステップＳ１３００へ進む。
【００５８】
ステップＳ１２００において、音声認識制御部６２０は、オペレータ操作等によって入力音声に対する処理の終了が指示されたか否かを判断し、入力音声に対する処理の終了が指示されていない場合は（Ｓ１２００：ＮＯ）、ステップＳ１１００へ戻る。
【００５９】
ステップＳ１３００において、音声認識制御部６２０は、受信した発話者ＩＤが特定する入力端末３００に対し、音声入力開始指示を送信する。これにより、音声認識制御部６２０は、音声入力開始通知をアプリケーションサーバ２００に発した入力端末３００に対し、音声入力および入力音声の送信を開始させることができる。そして、音声認識制御部６２０は、入力端末３００から、入力音声を受信する。
【００６０】
ステップＳ１４００において、音声認識制御部６２０は、受信した入力音声を音声認識サーバ４００へ送信する。この際、音声認識制御部６２０は、入力音声と共に、発話者ＩＤおよび入力対象ＩＤを送信する。これにより、音声認識制御部６２０は、音声認識サーバ４００に対して、発話者および入力対象の分野に応じた音声認識を実行させると共に、入力対象ＩＤが付随した状態で、音声認識結果を返信させることができる。そして、校正制御部６４０は、入力音声およびその入力音声に対する音声認識結果を、入力対象ＩＤおよび発話者ＩＤと共に、音声認識サーバ４００から受信する。
【００６１】
そして、ステップＳ１５００において、校正制御部６４０は、受信した入力対象ＩＤから、入力音声の入力対象の分野と対応分野がマッチする校正端末５００を選択する。すなわち、校正制御部６４０は、対応分野テーブルを参照して、入力対象ＩＤが特定する分野種別を対応分野とする校正端末５００の中から、校正端末５００を１つ選択する。
【００６２】
そして、ステップＳ１６００において、校正制御部６４０は、音声認識サーバ４００から受信した音声認識結果および入力音声を、選択した校正端末５００へ送信する。この際、校正制御部６４０は、音声認識結果および入力音声と共に、入力対象ＩＤおよび発話者ＩＤを送信する。これにより、校正制御部６４０は、校正端末５００に対して、入力対象ＩＤおよび発話者ＩＤが付随した状態で、校正結果を返信させることができる。そして、校正制御部６４０は、音声認識結果に対する校正処理結果を、入力対象ＩＤおよび発話者ＩＤと共に、校正端末５００から受信する。
【００６３】
なお、校正制御部６４０は、各校正端末５００の可動状況を逐次調べておき、可動している校正端末５００のみを選択対象とするようにしても良い。また、校正制御部６４０は、複数の校正端末５００を選択して校正処理を実行させ、最も早く返信されてきた校正結果のみを利用するようにしても良い。
【００６４】
そして、ステップＳ１７００において、校正制御部６４０は、受信した入力対象ＩＤが特定する場所を指定して、校正結果を送信する。この際、校正制御部６４０は、校正結果と共に、発話者ＩＤを、送信元を特定する情報として送信する。これにより、校正制御部６４０は、アプリケーションサーバ２００のアプリケーション部２２０に対して、あたかも入力端末３００からテキスト入力操作が行われているかのように、校正結果を送信することができる。この結果、例えば、電子カルテの入力欄のうち、カーソルが位置する入力欄に、入力音声に対する校正済みの音声認識結果が入力され、音声入力が完了することになる。
【００６５】
そして、音声認識制御部６２０は、入力音声に対する処理の終了が指示された場合は（Ｓ１２００：ＹＥＳ）、一連の処理を終了する。
【００６６】
このような動作により、プラットフォームサーバ６００は、アプリケーションサーバ２００からのトリガにより、入力端末３００に対して音声入力と入力音声のプラットフォームサーバ６００への送信を開始させることができる。また、プラットフォームサーバ６００は、音声認識サーバ４００に入力音声に対する音声認識処理を実行させ、校正端末５００に音声認識結果に対する校正処理を実行させることができる。また、プラットフォームサーバ６００は、入力音声、音声認識結果、および校正結果を他の装置に渡す際に、入力対象ＩＤおよび発話者ＩＤを付随させることができる。これにより、プラットフォームサーバ６００は、あたかも入力端末３００からテキスト入力操作が行われているかのように、音声認識の校正結果を、元のアプリケーションの適切な場所に入力することができる。
【００６７】
以下、プラットフォームサーバ６００がこのように動作する場合に、ネットワークシステム１００がどのように動作するかについて説明する。
【００６８】
図７は、ネットワークシステム１００の動作の一例を示すシーケンス図である。
【００６９】
図７に示すように、まず、入力端末３００の入力操作部３１０において、電子カルテの起動操作およびログイン操作が行われると（Ｓ２０１０）、アプリケーション表示部３５０からアプリケーションサーバ２００のテキスト入力受付部２２２へと、発話者ＩＤが送信される（Ｓ２０２０）。この発話者ＩＤは、アプリケーション部サーバ２００の入力情報記憶部２２３に記憶される（Ｓ２０３０）。
【００７０】
そして、入力操作部３１０においてテキストが手入力されると（Ｓ２０４０）、カーソルの位置（入力対象）と、入力テキストと、発話者ＩＤとを、テキスト入力受付部２２２が受け付け（Ｓ２０５０）、当該入力対象の入力内容として、当該テキストが入力情報記憶部２２３に記憶される（Ｓ２０６０）。
【００７１】
一方、入力操作部３１０を介してアプリケーション（ＡＰ）表示部３５０において音声入力開始操作が行われると（Ｓ２０７０）、その旨がアプリケーション部サーバ２００の入力切替機能部２２４に通知される（Ｓ２０８０）。すると、入力切替機能部２２４は、カーソルの位置等から、入力対象ＩＤを取得し（Ｓ２０９０）、発話者ＩＤおよび入力対象ＩＤを、プラットフォームサーバ６００へ送信する（Ｓ２１００）。
【００７２】
発話者ＩＤおよび入力対象ＩＤを受信したプラットフォームサーバ６００は（Ｓ２１１０）、受信した発話者ＩＤが特定する入力端末３００に対し、音声入力開始指示を送信する（Ｓ２１２０）。音声入力部３２０を介して、プラットフォーム表示部３６０に入力オペレータの発話音声が入力されると（Ｓ２１３０）、その入力音声は、プラットフォームサーバ６００へ送信される（Ｓ２１４０）。そして、入力音声、発話者ＩＤ、および入力対象ＩＤは、プラットフォームサーバ６００から音声認識サーバ４００へと送信される（Ｓ２１５０）。
【００７３】
入力音声を受信した音声認識サーバ４００は、入力音声に付随して受信した発話者ＩＤおよび入力対象ＩＤに基づいて、発話者毎および電子カルテの使用環境毎にカスタマイズされた音声認識処理を行う（Ｓ２１６０）。そして、音声認識サーバ４００は、入力音声および音声認識結果と共に、入力対象ＩＤおよび発話者ＩＤをプラットフォームサーバ６００へ送信する（Ｓ２１７０）。
【００７４】
音声認識結果を受信したプラットフォームサーバ６００は、付随して受信した入力対象ＩＤに基づいて、入力対象の分野と対応分野がマッチする校正端末５００を選択する（Ｓ２１８０）。そして、プラットフォームサーバ６００は、選択した校正端末５００に対し、入力音声および音声認識結果と共に、入力対象ＩＤおよび発話者ＩＤを送信する（Ｓ２１９０）。
【００７５】
入力音声および音声認識結果を受信した校正端末５００は、音声認識結果を表示すると共に入力音声を再生し、音声認識結果に対する修正操作を校正オペレータから受け付ける（校正処理）（Ｓ２２００）。そして、校正端末５００は、校正結果と共に、入力対象ＩＤをプラットフォームサーバ６００へ送信する（Ｓ２２１０）。
【００７６】
校正結果、入力対象ＩＤ、および発話者ＩＤは、更に、入力対象ＩＤに基づいて、元のアプリケーション部２２０へと送信される。そして、アプリケーション部２２０のテキスト入力受付部２２２は、入力対象ＩＤが特定する場所（入力対象）への、発話者ＩＤが特定する発話者による入力テキストとして、校正結果を入力する（Ｓ２２２０）。この結果、当該入力対象の入力内容として当該校正結果のテキストが入力情報記憶部２２３に記憶される（Ｓ２２３０）。
【００７７】
このようにネットワークシステム１００が動作する結果、入力端末３００は、ステップＳ２０４０の手入力からステップＳ２０６０のテキスト入力を受け付けると共に、ステップＳ２１３０の音声入力からも、ステップＳ２２３０のテキスト入力を受け付けることができる。また、ネットワークシステム１００は、アプリケーションサーバ２００ではなく、外部の音声認識サーバ４００で音声認識を行うので、アプリケーション部２２０に対し、その内部に特に音声入力機能を追加することなく、音声入力機能を実現することができる。
【００７８】
以上説明したように、本実施の形態に係るネットワークシステム１００は、入力音声、音声認識結果、および校正結果の送受信を、発話者ＩＤおよび入力対象ＩＤを付随させて行う。これにより、ネットワークシステム１００は、入力音声の対象となるアプリケーション部２２０に、その校正済みの音声認識結果を、入力対象を特定した状態で返信することができると共に、発話毎にカスタマイズされた音声認識処理等を実現することができる。
【００７９】
したがって、ネットワークシステム１００は、アプリケーション部２２０に、発話者ＩＤおよび入力対象ＩＤを送信する入力切替機能部を持たせるだけで、そのアプリケーション部２２０に対し音声入力機能を実現することができる。すなわち、ネットワークシステム１００は、手入力専用の電子カルテ等の既存のウェブアプリケーションに対し、極めて容易に音声入力機能を採り入れることができる。
【００８０】
また、音声認識サーバ４００および校正端末５００は、具体的にどの入力オペレータによる何を入力対象とした入力音声に対する処理なのかを特定する必要がなく、単に発話者ＩＤおよび入力対象ＩＤ毎に区別した処理を行うだけで良い。したがって、本実施の形態に係るネットワークシステム１００は、既存の各種クラウドアプリケーションやネットワークアプリケーションの機能を、容易に他のアプリケーションに取り入れることができる。
【００８１】
また、発話者ＩＤおよび入力対象ＩＤは、具体的な個人情報をそのまま表す情報としなくても良いため、個人情報の漏洩を防いだ状態で、上述のアプリケーションへの機能追加を実現することができる。
【００８２】
なお、ネットワークシステム１００は、校正端末５００と同様に、アプリケーション部２２０においても、音声認識結果または校正結果に対する校正を受け付けても良い。また、ネットワークシステム１００は、校正内容を音声認識サーバ４００にフィードバックし、次回以降により精度の高い音声認識処理が行われるように、音声認識サーバ４００の音響モデルおよび言語モデル等を修正しても良い。
【００８３】
また、プラットフォームサーバ６００は、アプリケーション側と、他の機能追加用のシステム側との間で、発話者ＩＤおよび入力対象ＩＤの書き換えまたは付け替えを行っても良い。この場合、プラットフォームサーバ６００は、例えば、アプリケーション側における発話者ＩＤおよび入力対象ＩＤと、他のシステム側における発話者ＩＤおよび入力対象ＩＤとの対応テーブルを格納し、これを参照して発話者ＩＤおよび入力対象ＩＤの書き換えまたは付け替えを行う。これにより、アプリケーションから送信された発話者ＩＤおよび入力対象ＩＤが、外部のシステムに漏洩するのを防ぐことができる。また、音声認識サーバ４００および校正端末５００での処理に必要な情報のみに絞って送信を行うことができ、通信負荷を低減することができる。
【００８４】
また、プラットフォームサーバ６００は、入力端末３００に対し、入力端末ＩＤをそのまま校正結果に付随させて送信するのではなく、入力端末ＩＤのうち場所を特定する部分のみを校正結果に付随させて送信しても良い。これにより、通信負荷を低減することができる。
【００８５】
また、ネットワークシステム１００は、音声認識サーバ４００が、発話者毎あるいは入力対象毎に設けられている場合には、校正端末５００の選択と同様に、プラットフォームサーバ６００で、どの音声認識サーバ４００に入力音声を送信すべきかを判断するようにしても良い。
【００８６】
また、ネットワークシステム１００は、音声入力機能に加えて、手書き文字入力機能をアプリケーションに実現するものであっても良い。
【００８７】
この場合、例えば、入力端末３００のプラットフォーム表示部３５０は、手書き文字画像を入力し、その手書き文字画像をプラットフォームサーバ６００に送信すれば良い。そして、プラットフォームサーバ６００の音声受信部６２１は、手書き文字認識システムに、受信した手書き文字画像と共に、発話者ＩＤ（筆者ＩＤ）および入力対象ＩＤを送信する。そして、プラットフォームサーバ６００のテキスト送信部６４１は、手書き文字認識結果を、入力対象ＩＤおよび発話者ＩＤと共に受信し、これらをアプリケーションサーバ２００へ送信する。これにより、ネットワークシステム１００は、アプリケーションに軽微な機能部を持たせるだけで、そのアプリケーションに対し、入力オペレータの癖字等を考慮した、入力オペレータ毎および使用環境毎にカスタマイズされた手書き文字入力機能を実現することができる。すなわち、ネットワークシステム１００は、キーボード入力専用の電子カルテ等の既存のアプリケーションに対し、極めて容易に手書き文字入力機能を採り入れることができる。
【００８８】
また、ネットワークシステム１００は、音声認識システムや手書文字認識システム以外の各種機能についても、同様に発話者ＩＤや入力対象ＩＤ等を付随させてデータを転送することにより、既存のアプリケーションに採り入れることができる。
【００８９】
また、ネットワークシステム１００は、複数種類のアプリケーションに対して、機能追加を行うようにしても良い。
【００９０】
但し、このように複数種類のアプリケーションまたは複数種類の機能について機能追加を行う場合には、プラットフォームサーバ６００は、音声や話者情報等についてのリソース管理テーブルを保持することが望ましい。この場合、プラットフォームサーバ６００は、アプリケーションから受信した情報から、リソース管理テーブルを参照して、どの機能を提供すべきかを決定するリソースマッチングを行い、適切な情報転送を行う。このように、プラットフォームサーバ６００がリソースマッチングを行う場合、機能拡張されるアプリケーションと機能を提供するリソースとのいずれもリソースマッチングの機能を用意する必要が無いため、極めて容易にアプリケーションへの機能追加を行うことができる。
【００９１】
また、機能の追加の対象となるアプリケーションは、上述のようなパブリッククラウドアプリケーションに制限されない。アプリケーションは、例えば、病院内の各パーソナルコンピュータにインストールされたローカルアプリケーションや、病院内のサーバコンピュータに配置されたプライベートクラウドアプリケーションであっても良い。
【００９２】
また、アプリケーションは、プラットフォームサーバ６００から受信した校正結果を、カーソル位置の入力欄等に入力せず、画面上に表示するのみとし、入力オペレータが表示された校正結果をコピーして任意の箇所にペーストするようにしても良い。この場合、ネットワークシステム１００は、入力対象ＩＤに、カーソル位置を示す情報を含めずに済む。
【００９３】
また、アプリケーションは、音声入力開始通知の有無によらず、常に、または、他のトリガに基づいて、発話者ＩＤおよび入力対象ＩＤをプラットフォームサーバ６００に送信しても良い。
【００９４】
また、ネットワークシステム１００は、入力対象ＩＤに、病院、テキスト入力の緊急度など、他の属性を特定する情報を含めても良い。例えば、プラットフォームサーバ６００は、校正端末５００を、音声認識結果を送信してから校正結果を返信するまでに要する時間のレベルで分類しておき、テキスト入力の緊急度に応じて、適切なレベルに属する校正端末５００を選択するようにする。これにより、ネットワークシステム１００は、要求される緊急性を満たす音声入力機能を実現することができる。
【００９５】
また、本発明は、会議音声の文字化による議事録作成や、ニュース音声の字幕化、携帯電話の音声のメール文章化等の各種システムおよびサービスにも適用することができる。
【産業上の利用可能性】
【００９６】
本発明に係る業務支援装置および業務支援方法は、既存のアプリケーションに対し極めて容易に音声入力機能を採り入れることができる業務支援装置および業務支援方法として有用である。
【符号の説明】
【００９７】
１００ ネットワークシステム
２００ アプリケーションサーバ
２１０、３４０、４１０、６１０ 通信部
２２０ アプリケーション部
２２１ 画面生成部
２２２ テキスト入力受付部
２２３ 入力情報記憶部
２２４ 入力切替機能部
３００ 入力端末
３１０ 入力操作部
３２０ 音声入力部
３３０ 表示部
３５０ アプリケーション表示部
３６０ プラットフォーム表示部
４００ 音声認識サーバ
４２０ ＤＢ対応テーブル格納部
４３０ 音声認識処理部
４４０ 音声認識ＤＢ
５００ 校正端末
６００ プラットフォームサーバ
６２０ 音声認識制御部
６２１ 音声受信部
６３０ 対応分野テーブル格納部
６４０ 校正制御部
６４１ テキスト送信部
７００ 通信ネットワーク
【技術分野】
【０００１】
本発明は、テキスト入力を受け付けるアプリケーションと、音声認識処理を行う音声認識システムと、アプリケーションのユーザに対しテキスト入力の業務を支援する業務支援装置とを含むシステムにおける業務支援装置および業務支援方法に関する。
【背景技術】
【０００２】
病院の電子カルテのような、テキスト入力を受け付けるアプリケーションソフトウェア（以下単に「アプリケーション」という）において、音声入力機能を採り入れることが提案されている（例えば特許文献１参照）。例えば、電子カルテに音声入力機能を採り入れた場合、医師は病名等を発話することによりその病名のテキストをカルテに入力することができるため、膨大な量の入力作業やその管理を効率化することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−３２８６５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、既に音声入力機能を有さない電子カルテを使用している場合、このような新しいアプリケーションへの切り替えは、システム環境の変化よる操作性の低下、データベースの載せ替えの手間、コスト面等から、容易ではない。したがって、既存のアプリケーションに、このような音声入力機能を追加できることが望ましい。
【０００５】
ところが、既存のアプリケーションにおいて音声入力機能を実現しようとすると、そのアプリケーションと音声認識システムとを統合する必要があり、アプリケーションの大規模な改修や、操作インタフェースの大幅な変更が必要となる。したがって、既存のアプリケーションに音声入力機能を追加することは容易ではなかった。
【０００６】
本発明の目的は、既存のアプリケーションに対し極めて容易に音声入力機能を採り入れることができる業務支援装置および業務支援方法を提供することである。
【課題を解決するための手段】
【０００７】
本発明の業務支援装置は、テキスト入力を受け付けるアプリケーションと、音声認識処理を行う音声認識システムと、前記アプリケーションのユーザに対し前記テキスト入力の業務を支援する業務支援装置とを含むシステムにおける前記業務支援装置であって、前記アプリケーションを対象とした入力音声を受信する音声受信部と、前記入力音声に対する音声認識処理を前記音声認識システムに実行させる音声認識制御部と、前記音声認識処理の結果を送信するテキスト送信部とを有し、前記音声受信部は、前記アプリケーションに組み込まれた入力切替機能部から、前記入力音声の発話者を特定する発話者ＩＤと、前記入力音声の入力対象を特定する入力対象ＩＤとを受信し、前記音声認識制御部は、前記発話者ＩＤに基づいて、前記音声認識システムに対し、前記発話者毎にカスタマイズされた前記音声認識処理を実行させ、前記テキスト送信部は、前記音声認識処理の結果であるテキストを、前記発話者ＩＤおよび前記入力対象ＩＤに基づいて、前記発話者によるテキスト入力として前記アプリケーションへ送信する。
【０００８】
本発明の業務支援方法は、テキスト入力を受け付けるアプリケーションと、音声認識処理を行う音声認識システムと、前記アプリケーションのユーザに対し前記テキスト入力の業務を支援する業務支援装置と、を含むシステムの前記業務支援装置における業務支援方法であって、前記アプリケーションに組み込まれた入力切替機能部から、前記アプリケーションを対象とした入力音声と、前記入力音声の発話者を特定する発話者ＩＤと、前記入力音声の入力対象を特定する入力対象ＩＤと、を受信するステップと、前記発話者ＩＤに基づいて、前記音声認識システムに、前記発話者毎にカスタマイズされた前記音声認識処理を前記入力音声に対して実行させるステップと、前記音声認識処理の結果であるテキストを、前記発話者ＩＤおよび前記入力対象ＩＤに基づいて、前記発話者によるテキスト入力として前記アプリケーションへ送信するステップとを有する。
【発明の効果】
【０００９】
本発明によれば、アプリケーションに、発話者ＩＤおよび入力対象ＩＤを送信する入力切替機能部を持たせるだけで、そのアプリケーションに対し音声入力機能を実現することができる。すなわち、本発明は、既存のアプリケーションに対し極めて容易に音声入力機能を採り入れることができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施の形態に係る業務支援装置を含むネットワークシステムの構成を示すシステム構成図
【図２】本実施の形態における入力端末の構成を示すブロック図
【図３】本実施の形態におけるアプリケーションサーバの構成を示すブロック図
【図４】本実施の形態に係る業務支援装置としてのプラットフォームサーバの構成を示すブロック図
【図５】本実施の形態における音声認識サーバの構成を示すブロック図
【図６】本実施の形態に係るプラットフォームサーバの動作を示すフローチャート
【図７】本実施の形態に係るネットワークシステムの動作の一例を示すシーケンス図
【発明を実施するための形態】
【００１１】
以下、本発明の一実施の形態について、図面を参照して詳細に説明する。
【００１２】
図１は、本発明の一実施の形態に係る業務支援装置を含むネットワークシステムの構成を示すシステム構成図である。本実施の形態は、本発明を、電子カルテのウェブアプリケーションに対して音声入力機能を実現する場合に適用した例である。
【００１３】
図１に示すように、本実施の形態に係るネットワークシステム１００は、アプリケーションサーバ２００、第１〜第Ｍの入力端末３００−１〜３００−Ｍ、音声認識サーバ４００、第１〜第Ｎの校正端末５００−１〜５００−Ｎ、プラットフォームサーバ６００を有する。プラットフォームサーバ６００は、本実施の形態に係る業務支援装置を含む。以下、第１〜第Ｍの入力端末３００−１〜３００−Ｍは同一の構成を有するため、適宜、これらを単に入力端末３００として説明する。また、第１〜第Ｎの校正端末５００−１〜５００−Ｎは同一の構成を有するため、適宜、これらを単に校正端末５００として説明する。上述の各装置は、インターネット等の公共の通信ネットワークである通信ネットワーク７００にそれぞれ接続されている。
【００１４】
アプリケーションサーバ２００は、電子カルテのウェブアプリケーションが実装された装置であり、例えば、通信機能を有するサーバコンピュータである。アプリケーションサーバ２００の電子カルテは、通信ネットワーク７００を介して、各病院の医師、看護師、または電子カルテの入力オペレータ等（以下「入力オペレータ」と総称する）から、ユーザＩＤの入力によるログイン手続を経て、操作を受け付ける。この操作には、テキスト入力が含まれる。また、アプリケーションサーバ２００の電子カルテは、入力切替機能部を有する。この入力切替機能部は、後述の音声入力開始操作が行われたとき、発話者ＩＤおよび入力対象ＩＤを、後述のプラットフォームサーバ６００へ送信する。アプリケーションサーバ２００の電子カルテは、例えば、既存の電子カルテに対して入力切替機能部が追加されたものである。
【００１５】
なお、ここで、発話者ＩＤとは、音声を入力した入力端末３００および入力音声を発話した入力オペレータを特定する情報であり、例えば、入力端末３００のネットワークＩＤと電子カルテへのログイン手続で入力されるユーザＩＤとの組、またはこれに一意に対応付けられた識別情報である。
【００１６】
また、ここで、入力対象ＩＤとは、テキスト入力先の場所、分野種別、業務種別、タスク種別、およびテキスト種別等を特定する情報である。テキスト入力先の場所とは、例えば、どの入力端末３００のどのアプリケーション（ここでは電子カルテ）のどのページのどの入力欄がテキスト入力先として指定されているかを示すものである。分野種別は、整形外科、婦人科等、入力されたテキストが属する分野の種別である。業務種別は、電子カルテ、服薬指導、議事録等、入力されたテキストが属する業務の種別である。タスク種別は、手術記事、診断書等、入力されたテキストが属するタスクの種別である。テキスト種別は、疾患名、文章等、入力されたテキストの構造に関する種別である。
【００１７】
入力端末３００は、病院の診療室毎に設置された、ウェブブラウザとウェブブラウザのメディアモジュールプラグインとがインストールされた装置であり、例えば、通信機能を有するパーソナルコンピュータである。入力端末３００は、入力オペレータから各種操作を受け付けると共に、ウェブブラウザにより、アプリケーションサーバ２００の電子カルテを操作する環境を、入力オペレータに提供する。また、入力端末３００は、後述のプラットフォームサーバ６００からの後述の音声入力開始指示を受けて、音声入力および入力音声のプラットフォームサーバ６００への送信を開始する。
【００１８】
音声認識サーバ４００は、音声認識処理を行う装置であり、例えば、通信機能を有するサーバコンピュータである。より具体的には、音声認識サーバ４００は、入力音声の発話者毎に音響モデルをカスタマイズして、音声認識処理を行う。音声認識サーバ４００は、後述のプラットフォームサーバ６００から依頼を受けて音声認識処理を行い、処理結果として得られた、発話時間情報付きテキスト（以下単に「音声認識結果」という）を、プラットフォームサーバ６００へ返信する。ここで、発話時間情報とは、入力音声の時間軸における発話区間の時刻（最初からの時間）を示す情報である。
【００１９】
校正端末５００は、音声認識サーバ４００の音声認識結果に対する校正処理を行う装置であり、例えば、通信機能を有するパーソナルコンピュータである。校正端末５００は、後述のプラットフォームサーバ６００からの依頼を受けて校正処理を行い、処理結果（以下「校正結果」という）を、プラットフォームサーバ６００へ返信する。校正処理は、音声認識結果を表示すると共に入力音声を再生し、校正端末５００のオペレータ（以下「校正オペレータ」という）から、音声認識結果を修正する操作を受け付ける処理である。ここでは、各校正端末５００は、専用の校正オペレータによりそれぞれ使用されるものとし、以下、校正端末５００の校正オペレータが得意とする分野種別（例えば整形外科）を、「校正端末５００の対応分野」という。
【００２０】
プラットフォームサーバ６００は、本発明に係る業務支援装置を含み、例えば、通信機能を有するサーバコンピュータである。プラットフォームサーバ６００は、アプリケーションサーバ２００から発話者ＩＤおよび入力対象ＩＤを受信したとき、入力対象ＩＤが特定する入力端末３００に対して、音声入力および入力音声のプラットフォームサーバ６００への送信を開始する旨の指示（以下「音声入力開始指示」という）を送信する。そして、プラットフォームサーバ６００は、受信した入力音声に対する音声認識処理を、音声認識サーバ４００に実行させる。このとき、プラットフォームサーバ６００は、発話者ＩＤおよび入力対象ＩＤに基づいて、入力音声に対応する音響モデル、言語モデル、および辞書を用いた音声認識処理を、音声認識サーバ４００に実行させる。
【００２１】
また、プラットフォームサーバ６００は、音声認識サーバ４００の音声認識結果に対する校正処理を、校正端末５００に実行させる。このとき、プラットフォームサーバ６００は、入力対象ＩＤに基づいて、入力対象の分野種別に対応分野がマッチする校正端末５００を選択する。例えば、整形外科の診療室の入力端末３００から受信した入力音声には、分野種別として整形外科を特定する入力対象ＩＤが付随しているため、整形外科の専門用語に詳しい校正オペレータの校正端末５００が選択される。
【００２２】
また、プラットフォームサーバ６００は、校正結果として得られたテキスト（以下、単に「校正結果」という）を、その校正結果に付随して受信した発話者ＩＤおよび入力対象ＩＤに基づいて、元の発話者によるテキスト入力として、アプリケーションサーバ２００へ送信する。すなわち、プラットフォームサーバ６００は、入力対象ＩＤが特定する場所への、発話者ＩＤが特定する発話者による入力テキストとして、校正結果を送信する。例えば、第１の入力端末３００−１からの入力音声には、第１の入力端末３００−１の入力対象を特定する入力対象ＩＤと、第１の入力端末３００−１の発話者ＩＤとが付随している。したがって、この場合、第１の入力端末３００−１の入力音声の校正結果は、第１の入力端末３００−１からの入力テキストとして、アプリケーションサーバ２００の電子カルテに入力される。
【００２３】
図２は、入力端末３００の構成を示すブロック図である。
【００２４】
図２において、入力端末３００は、入力操作部３１０、音声入力部３２０、表示部３３０、通信部３４０、アプリケーション表示部３５０、およびプラットフォーム表示部３６０を有する。
【００２５】
入力操作部３１０は、例えばキーボードおよびマウスであり、入力端末３００に対する各種操作を受け付ける。例えば、入力操作部３１０は、入力オペレータからの手入力の結果として、アプリケーション表示部３５０を介して、電子カルテに対するカーソル位置の移動操作や、電子カルテのカーソル位置へのテキスト入力操作を受け付ける。
【００２６】
音声入力部３２０は、例えばマイクロフォンであり、入力端末３００に対する音声入力を受け付ける。
【００２７】
表示部３３０は、例えば液晶ディスプレイであり、画像表示を行う。
【００２８】
通信部３４０は、例えば通信回路であり、通信ネットワーク７００上の他の装置と通信可能に接続する。
【００２９】
アプリケーション表示部３５０は、ウェブブラウザであり、例えば、アプリケーションサーバ２００の電子カルテを操作する環境を、入力オペレータに提供する。具体的には、アプリケーション表示部３５０は、発話者ＩＤの送信によるログイン手続を経て、アプリケーションサーバ２００から送られてくるカルテ画面のデータに基づき、カルテ画面を表示部３３０に表示させる。そして、アプリケーション表示部３５０は、カルテ画面に対するテキスト入力操作が行われる毎に、そのときのカーソル位置を入力対象として、発話者ＩＤと共に、入力テキストをアプリケーションサーバ２００へ送信する。
【００３０】
また、アプリケーション表示部３５０は、入力操作部３１０において音声入力の開始を指示する所定の操作（以下「音声入力開始操作」という）があったとき、音声入力の開始が求められている旨の通知（以下「音声入力開始通知」という）および発話者ＩＤを、アプリケーションサーバ２００へ送信する。音声入力開始操作は、例えば、カルテ画面に表示された「音声入力開始」等のメニュー項目またはアイコンの選択操作である。
【００３１】
プラットフォーム表示部３６０は、上述のメディアモジュールプラグインであり、プラットフォームサーバ６００から音声入力開始指示を受けたとき、音声入力開始を通知するポップアップウィンドウを表示し、音声入力部３２０を介して入力オペレータの発話音声の入力を開始する。そして、プラットフォーム表示部３６０は、入力音声を、プラットフォームサーバ６００へ送信する。なお、プラットフォーム表示部３６０は、入力音声を直接連続的に送信するストリーミングの形式か、入力音声をある程度溜めてファイルとして保存してから送信するアップロードの形式か、どちらの形式で行うかの選択を、入力オペレータから受け付けても良い。後者の場合は、プラットフォーム表示部３６０は、ＩＣ（integrated circuit）レコーダ等で別途録音した音声ファイルを、プラットフォームサーバ６００へアップロードするようにしても良い。
【００３２】
図３は、アプリケーションサーバ２００の構成を示すブロック図である。
【００３３】
図３において、アプリケーションサーバ２００は、通信部２１０およびアプリケーション部２２０を有する。
【００３４】
通信部２１０は、例えば通信回路であり、通信ネットワーク７００上の他の装置と通信可能に接続する。
【００３５】
アプリケーション部２２０は、ここでは電子カルテを実現する機能部であり、入力端末３００のアプリケーション表示部３５０からの発話者ＩＤの受信を含むログイン手続を経て起動する。アプリケーション部２２０は、画面生成部２２１、テキスト入力受付部２２２、入力情報記憶部２２３、および入力切替機能部２２４を有する。
【００３６】
画面生成部２２１は、病歴や経過等をテキスト入力するための入力欄や、情報の入力先を指定するためのカーソルを含むカルテ画面を生成し、生成したカルテ画面のデータを、ログイン中の入力端末３００のアプリケーション表示部３５０に送信する。この結果、ログイン中の入力端末３００の表示部３３０には、ウェブブラウザによるカルテ画面が表示される。
【００３７】
テキスト入力受付部２２２は、ログイン中の入力端末３００から、カルテ画面の各所へのテキスト入力を受け付ける。より具体的には、テキスト入力受付部２２２は、入力対象を指定してテキストおよび発話者ＩＤが送られてくる毎に、受信した発話者ＩＤがログイン中の発話者ＩＤであるか否かを判断する。そして、テキスト入力受付部２２２は、受信した発話者ＩＤがログイン中の発話者ＩＤである場合には、指定された入力対象に、送られてきたテキストを入力する。
【００３８】
入力情報記憶部２２３は、ログイン中の入力オペレータの発話者ＩＤと、テキスト入力受付部２２２の各入力結果とを記憶する。また、入力情報記憶部２２３は、アプリケーション部２２０の初期設定または構造により定められる、アプリケーションの分野種別および業務種別、各入力欄の場所、タスク種別、およびテキスト属性を記憶する。入力対象ＩＤは、これらの入力情報記憶部２２３に記憶された情報から作成される。
【００３９】
入力切替機能部２２４は、音声入力開始通知を受信したとき、その時点における表示中のカルテ画面およびカーソル位置等から入力対象ＩＤを作成し、発話者ＩＤおよび入力対象ＩＤを、後述のプラットフォームサーバ６００へ送信する。
【００４０】
図４は、プラットフォームサーバ６００の構成を示すブロック図である。
【００４１】
図４において、プラットフォームサーバ６００は、通信部６１０、音声認識制御部６２０、対応分野テーブル格納部６３０、および校正制御部６４０を有する。
【００４２】
通信部６１０は、例えば通信回路であり、通信ネットワーク７００上の他の装置と通信可能に接続する。
【００４３】
音声認識制御部６２０は、音声受信部６２１にて、アプリケーションサーバ２００から発話者ＩＤおよび入力対象ＩＤを受信したとき、受信した発話者ＩＤが特定する入力端末３００に対して音声入力開始指示を送信する。そして、音声認識制御部６２０は、音声受信部６２１において入力音声を受信すると、入力音声と共に発話者ＩＤおよび入力対象ＩＤを音声認識サーバ４００へ送信する。これにより、音声認識制御部６２０は、発話者ＩＤに対応する音響モデルと入力対象ＩＤに対応する言語モデルおよび辞書を用いた音声認識処理を、音声認識サーバ４００に実行させる。
【００４４】
対応分野テーブル格納部６３０は、各校正端末５００の対応分野を記述した対応分野テーブルを予め格納する。
【００４５】
校正制御部６４０は、音声認識サーバ４００から入力音声、音声認識結果、入力対象ＩＤ、および発話者ＩＤを受信する。校正制御部６４０は、入力対象ＩＤと対応分野がマッチする校正端末５００を、対応分野テーブルを参照して選択する。そして、校正制御部６４０は、選択した校正端末５００に対して、入力音声および音声認識結果と共に入力対象ＩＤおよび発話者ＩＤを送信し、校正処理を実行させる。そして、校正制御部６４０は、校正結果、入力対象ＩＤ、および発話者ＩＤを、校正端末５００から受信し、テキスト送信部６４１から、入力対象ＩＤが特定するテキスト入力先への、発話者ＩＤが特定する発話者による入力テキストとして、校正結果を送信する。
【００４６】
図５は、音声認識サーバ４００の構成を示すブロック図である。
【００４７】
図５において、音声認識サーバ４００は、通信部４１０、ＤＢ（database）対応テーブル格納部４２０、音声認識処理部４３０、および音声認識ＤＢ４４０を有する。
【００４８】
通信部４１０は、例えば通信回路であり、通信ネットワーク７００上の他の装置と通信可能に接続する。
【００４９】
ＤＢ対応テーブル格納部４２０は、ＤＢ対応テーブルを格納する。ＤＢ対応テーブルは、後述の音声認識ＤＢ４４０に格納されている音響モデル、言語モデル、および辞書と、発話者ＩＤおよび入力対象ＩＤとの対応関係を記述したテーブルである。
【００５０】
音声認識処理部４３０は、プラットフォームサーバ６００から入力音声を受信し、その発話者毎および入力対象毎にカスタマイズされた音声認識処理を実行する。より具体的には、音声認識処理部４３０は、プラットフォームサーバ６００から、入力音声、発話者ＩＤ、および入力対象ＩＤを受信し、後述の音声認識ＤＢ４４０を用いて、入力音声に対する音声認識処理を行う。更に具体的には、音声認識処理部４３０は、音響モデル、言語モデル、辞書を新規に作成する毎に、これらを発話者ＩＤおよび入力対象ＩＤと共にＤＢ対応テーブルに登録する。また、音声認識処理部４３０は、ＤＢ対応テーブルを参照し、発話者ＩＤに対応する音響モデルと、入力対象ＩＤに対応する言語モデルおよび辞書とを用いて、音声認識処理を実行する。そして、音声認識処理部４３０は、入力音声の時間軸に形態素単位等で対応付けた音声認識結果を、入力音声、入力対象ＩＤ、および発話者ＩＤと共に、プラットフォームサーバ６００へ返信する。
【００５１】
音声認識ＤＢ４４０は、発話者毎に生成された第１〜第Ｊの音響モデルと、テキスト属性毎に生成された第１〜第Ｋの言語モデルおよび分野種別、業務種別、およびタスク種別の組み合わせ毎に生成された第１〜第Ｌの辞書とを格納する。
【００５２】
入力端末３００、プラットフォームサーバ６００、および音声認識サーバ４００は、図示しないが、ＣＰＵ（central processing unit）、制御プログラムを格納したＲＯＭ（read only memory）等の記憶媒体、およびＲＡＭ（random access memory）等の作業用メモリによってそれぞれ実現することができる。この場合、上記した各部の機能は、ＣＰＵが制御プログラムを実行することにより実現される。
【００５３】
このような構成を有するネットワークシステム１００は、入力オペレータ毎および電子カルテの使用環境（診療科、入力オペレータ等）毎にカスタマイズされた音声入力機能を、実現することができる。例えば、整形外科のＡ医師が電子カルテの病歴欄に対して音声入力を行うときには、Ａ医師用の音響モデルと、整形外科の病歴用にカスタマイズされた言語モデル・辞書を使用した、音声認識結果が得られる。すなわち、ネットワークシステム１００は、ウェブアプリケーションを、そのウェブアプリケーション自体に音声入力機能および校正受付機能を個別に追加したかのような状態にすることができ、高精度の音声入力を実現することができる。
【００５４】
また、既存のアプリケーションに対する上述の入力切替機能部２２４の追加は、ＨＴＭＬ（hypertext markup language）で実現されるウェブアプリケーションの場合、数行のＡＰＩ（application program interface）の追加で済む。したがって、ネットワークシステム１００は、極めて容易に実現することができる。
【００５５】
次に、プラットフォームサーバ６００の動作について説明する。
【００５６】
図６は、プラットフォームサーバ６００の動作を示すフローチャートである。
【００５７】
まず、ステップＳ１１００において、音声認識制御部６２０は、発話者ＩＤおよび入力対象ＩＤを受信したか否かを判断する。音声認識制御部６２０は、発話者ＩＤおよび入力対象ＩＤを受信していない場合は（Ｓ１１００：ＮＯ）、ステップＳ１２００へ進み、発話者ＩＤおよび入力対象ＩＤを受信した場合は（Ｓ１１００：ＹＥＳ）、ステップＳ１３００へ進む。
【００５８】
ステップＳ１２００において、音声認識制御部６２０は、オペレータ操作等によって入力音声に対する処理の終了が指示されたか否かを判断し、入力音声に対する処理の終了が指示されていない場合は（Ｓ１２００：ＮＯ）、ステップＳ１１００へ戻る。
【００５９】
ステップＳ１３００において、音声認識制御部６２０は、受信した発話者ＩＤが特定する入力端末３００に対し、音声入力開始指示を送信する。これにより、音声認識制御部６２０は、音声入力開始通知をアプリケーションサーバ２００に発した入力端末３００に対し、音声入力および入力音声の送信を開始させることができる。そして、音声認識制御部６２０は、入力端末３００から、入力音声を受信する。
【００６０】
ステップＳ１４００において、音声認識制御部６２０は、受信した入力音声を音声認識サーバ４００へ送信する。この際、音声認識制御部６２０は、入力音声と共に、発話者ＩＤおよび入力対象ＩＤを送信する。これにより、音声認識制御部６２０は、音声認識サーバ４００に対して、発話者および入力対象の分野に応じた音声認識を実行させると共に、入力対象ＩＤが付随した状態で、音声認識結果を返信させることができる。そして、校正制御部６４０は、入力音声およびその入力音声に対する音声認識結果を、入力対象ＩＤおよび発話者ＩＤと共に、音声認識サーバ４００から受信する。
【００６１】
そして、ステップＳ１５００において、校正制御部６４０は、受信した入力対象ＩＤから、入力音声の入力対象の分野と対応分野がマッチする校正端末５００を選択する。すなわち、校正制御部６４０は、対応分野テーブルを参照して、入力対象ＩＤが特定する分野種別を対応分野とする校正端末５００の中から、校正端末５００を１つ選択する。
【００６２】
そして、ステップＳ１６００において、校正制御部６４０は、音声認識サーバ４００から受信した音声認識結果および入力音声を、選択した校正端末５００へ送信する。この際、校正制御部６４０は、音声認識結果および入力音声と共に、入力対象ＩＤおよび発話者ＩＤを送信する。これにより、校正制御部６４０は、校正端末５００に対して、入力対象ＩＤおよび発話者ＩＤが付随した状態で、校正結果を返信させることができる。そして、校正制御部６４０は、音声認識結果に対する校正処理結果を、入力対象ＩＤおよび発話者ＩＤと共に、校正端末５００から受信する。
【００６３】
なお、校正制御部６４０は、各校正端末５００の可動状況を逐次調べておき、可動している校正端末５００のみを選択対象とするようにしても良い。また、校正制御部６４０は、複数の校正端末５００を選択して校正処理を実行させ、最も早く返信されてきた校正結果のみを利用するようにしても良い。
【００６４】
そして、ステップＳ１７００において、校正制御部６４０は、受信した入力対象ＩＤが特定する場所を指定して、校正結果を送信する。この際、校正制御部６４０は、校正結果と共に、発話者ＩＤを、送信元を特定する情報として送信する。これにより、校正制御部６４０は、アプリケーションサーバ２００のアプリケーション部２２０に対して、あたかも入力端末３００からテキスト入力操作が行われているかのように、校正結果を送信することができる。この結果、例えば、電子カルテの入力欄のうち、カーソルが位置する入力欄に、入力音声に対する校正済みの音声認識結果が入力され、音声入力が完了することになる。
【００６５】
そして、音声認識制御部６２０は、入力音声に対する処理の終了が指示された場合は（Ｓ１２００：ＹＥＳ）、一連の処理を終了する。
【００６６】
このような動作により、プラットフォームサーバ６００は、アプリケーションサーバ２００からのトリガにより、入力端末３００に対して音声入力と入力音声のプラットフォームサーバ６００への送信を開始させることができる。また、プラットフォームサーバ６００は、音声認識サーバ４００に入力音声に対する音声認識処理を実行させ、校正端末５００に音声認識結果に対する校正処理を実行させることができる。また、プラットフォームサーバ６００は、入力音声、音声認識結果、および校正結果を他の装置に渡す際に、入力対象ＩＤおよび発話者ＩＤを付随させることができる。これにより、プラットフォームサーバ６００は、あたかも入力端末３００からテキスト入力操作が行われているかのように、音声認識の校正結果を、元のアプリケーションの適切な場所に入力することができる。
【００６７】
以下、プラットフォームサーバ６００がこのように動作する場合に、ネットワークシステム１００がどのように動作するかについて説明する。
【００６８】
図７は、ネットワークシステム１００の動作の一例を示すシーケンス図である。
【００６９】
図７に示すように、まず、入力端末３００の入力操作部３１０において、電子カルテの起動操作およびログイン操作が行われると（Ｓ２０１０）、アプリケーション表示部３５０からアプリケーションサーバ２００のテキスト入力受付部２２２へと、発話者ＩＤが送信される（Ｓ２０２０）。この発話者ＩＤは、アプリケーション部サーバ２００の入力情報記憶部２２３に記憶される（Ｓ２０３０）。
【００７０】
そして、入力操作部３１０においてテキストが手入力されると（Ｓ２０４０）、カーソルの位置（入力対象）と、入力テキストと、発話者ＩＤとを、テキスト入力受付部２２２が受け付け（Ｓ２０５０）、当該入力対象の入力内容として、当該テキストが入力情報記憶部２２３に記憶される（Ｓ２０６０）。
【００７１】
一方、入力操作部３１０を介してアプリケーション（ＡＰ）表示部３５０において音声入力開始操作が行われると（Ｓ２０７０）、その旨がアプリケーション部サーバ２００の入力切替機能部２２４に通知される（Ｓ２０８０）。すると、入力切替機能部２２４は、カーソルの位置等から、入力対象ＩＤを取得し（Ｓ２０９０）、発話者ＩＤおよび入力対象ＩＤを、プラットフォームサーバ６００へ送信する（Ｓ２１００）。
【００７２】
発話者ＩＤおよび入力対象ＩＤを受信したプラットフォームサーバ６００は（Ｓ２１１０）、受信した発話者ＩＤが特定する入力端末３００に対し、音声入力開始指示を送信する（Ｓ２１２０）。音声入力部３２０を介して、プラットフォーム表示部３６０に入力オペレータの発話音声が入力されると（Ｓ２１３０）、その入力音声は、プラットフォームサーバ６００へ送信される（Ｓ２１４０）。そして、入力音声、発話者ＩＤ、および入力対象ＩＤは、プラットフォームサーバ６００から音声認識サーバ４００へと送信される（Ｓ２１５０）。
【００７３】
入力音声を受信した音声認識サーバ４００は、入力音声に付随して受信した発話者ＩＤおよび入力対象ＩＤに基づいて、発話者毎および電子カルテの使用環境毎にカスタマイズされた音声認識処理を行う（Ｓ２１６０）。そして、音声認識サーバ４００は、入力音声および音声認識結果と共に、入力対象ＩＤおよび発話者ＩＤをプラットフォームサーバ６００へ送信する（Ｓ２１７０）。
【００７４】
音声認識結果を受信したプラットフォームサーバ６００は、付随して受信した入力対象ＩＤに基づいて、入力対象の分野と対応分野がマッチする校正端末５００を選択する（Ｓ２１８０）。そして、プラットフォームサーバ６００は、選択した校正端末５００に対し、入力音声および音声認識結果と共に、入力対象ＩＤおよび発話者ＩＤを送信する（Ｓ２１９０）。
【００７５】
入力音声および音声認識結果を受信した校正端末５００は、音声認識結果を表示すると共に入力音声を再生し、音声認識結果に対する修正操作を校正オペレータから受け付ける（校正処理）（Ｓ２２００）。そして、校正端末５００は、校正結果と共に、入力対象ＩＤをプラットフォームサーバ６００へ送信する（Ｓ２２１０）。
【００７６】
校正結果、入力対象ＩＤ、および発話者ＩＤは、更に、入力対象ＩＤに基づいて、元のアプリケーション部２２０へと送信される。そして、アプリケーション部２２０のテキスト入力受付部２２２は、入力対象ＩＤが特定する場所（入力対象）への、発話者ＩＤが特定する発話者による入力テキストとして、校正結果を入力する（Ｓ２２２０）。この結果、当該入力対象の入力内容として当該校正結果のテキストが入力情報記憶部２２３に記憶される（Ｓ２２３０）。
【００７７】
このようにネットワークシステム１００が動作する結果、入力端末３００は、ステップＳ２０４０の手入力からステップＳ２０６０のテキスト入力を受け付けると共に、ステップＳ２１３０の音声入力からも、ステップＳ２２３０のテキスト入力を受け付けることができる。また、ネットワークシステム１００は、アプリケーションサーバ２００ではなく、外部の音声認識サーバ４００で音声認識を行うので、アプリケーション部２２０に対し、その内部に特に音声入力機能を追加することなく、音声入力機能を実現することができる。
【００７８】
以上説明したように、本実施の形態に係るネットワークシステム１００は、入力音声、音声認識結果、および校正結果の送受信を、発話者ＩＤおよび入力対象ＩＤを付随させて行う。これにより、ネットワークシステム１００は、入力音声の対象となるアプリケーション部２２０に、その校正済みの音声認識結果を、入力対象を特定した状態で返信することができると共に、発話毎にカスタマイズされた音声認識処理等を実現することができる。
【００７９】
したがって、ネットワークシステム１００は、アプリケーション部２２０に、発話者ＩＤおよび入力対象ＩＤを送信する入力切替機能部を持たせるだけで、そのアプリケーション部２２０に対し音声入力機能を実現することができる。すなわち、ネットワークシステム１００は、手入力専用の電子カルテ等の既存のウェブアプリケーションに対し、極めて容易に音声入力機能を採り入れることができる。
【００８０】
また、音声認識サーバ４００および校正端末５００は、具体的にどの入力オペレータによる何を入力対象とした入力音声に対する処理なのかを特定する必要がなく、単に発話者ＩＤおよび入力対象ＩＤ毎に区別した処理を行うだけで良い。したがって、本実施の形態に係るネットワークシステム１００は、既存の各種クラウドアプリケーションやネットワークアプリケーションの機能を、容易に他のアプリケーションに取り入れることができる。
【００８１】
また、発話者ＩＤおよび入力対象ＩＤは、具体的な個人情報をそのまま表す情報としなくても良いため、個人情報の漏洩を防いだ状態で、上述のアプリケーションへの機能追加を実現することができる。
【００８２】
なお、ネットワークシステム１００は、校正端末５００と同様に、アプリケーション部２２０においても、音声認識結果または校正結果に対する校正を受け付けても良い。また、ネットワークシステム１００は、校正内容を音声認識サーバ４００にフィードバックし、次回以降により精度の高い音声認識処理が行われるように、音声認識サーバ４００の音響モデルおよび言語モデル等を修正しても良い。
【００８３】
また、プラットフォームサーバ６００は、アプリケーション側と、他の機能追加用のシステム側との間で、発話者ＩＤおよび入力対象ＩＤの書き換えまたは付け替えを行っても良い。この場合、プラットフォームサーバ６００は、例えば、アプリケーション側における発話者ＩＤおよび入力対象ＩＤと、他のシステム側における発話者ＩＤおよび入力対象ＩＤとの対応テーブルを格納し、これを参照して発話者ＩＤおよび入力対象ＩＤの書き換えまたは付け替えを行う。これにより、アプリケーションから送信された発話者ＩＤおよび入力対象ＩＤが、外部のシステムに漏洩するのを防ぐことができる。また、音声認識サーバ４００および校正端末５００での処理に必要な情報のみに絞って送信を行うことができ、通信負荷を低減することができる。
【００８４】
また、プラットフォームサーバ６００は、入力端末３００に対し、入力端末ＩＤをそのまま校正結果に付随させて送信するのではなく、入力端末ＩＤのうち場所を特定する部分のみを校正結果に付随させて送信しても良い。これにより、通信負荷を低減することができる。
【００８５】
また、ネットワークシステム１００は、音声認識サーバ４００が、発話者毎あるいは入力対象毎に設けられている場合には、校正端末５００の選択と同様に、プラットフォームサーバ６００で、どの音声認識サーバ４００に入力音声を送信すべきかを判断するようにしても良い。
【００８６】
また、ネットワークシステム１００は、音声入力機能に加えて、手書き文字入力機能をアプリケーションに実現するものであっても良い。
【００８７】
この場合、例えば、入力端末３００のプラットフォーム表示部３５０は、手書き文字画像を入力し、その手書き文字画像をプラットフォームサーバ６００に送信すれば良い。そして、プラットフォームサーバ６００の音声受信部６２１は、手書き文字認識システムに、受信した手書き文字画像と共に、発話者ＩＤ（筆者ＩＤ）および入力対象ＩＤを送信する。そして、プラットフォームサーバ６００のテキスト送信部６４１は、手書き文字認識結果を、入力対象ＩＤおよび発話者ＩＤと共に受信し、これらをアプリケーションサーバ２００へ送信する。これにより、ネットワークシステム１００は、アプリケーションに軽微な機能部を持たせるだけで、そのアプリケーションに対し、入力オペレータの癖字等を考慮した、入力オペレータ毎および使用環境毎にカスタマイズされた手書き文字入力機能を実現することができる。すなわち、ネットワークシステム１００は、キーボード入力専用の電子カルテ等の既存のアプリケーションに対し、極めて容易に手書き文字入力機能を採り入れることができる。
【００８８】
また、ネットワークシステム１００は、音声認識システムや手書文字認識システム以外の各種機能についても、同様に発話者ＩＤや入力対象ＩＤ等を付随させてデータを転送することにより、既存のアプリケーションに採り入れることができる。
【００８９】
また、ネットワークシステム１００は、複数種類のアプリケーションに対して、機能追加を行うようにしても良い。
【００９０】
但し、このように複数種類のアプリケーションまたは複数種類の機能について機能追加を行う場合には、プラットフォームサーバ６００は、音声や話者情報等についてのリソース管理テーブルを保持することが望ましい。この場合、プラットフォームサーバ６００は、アプリケーションから受信した情報から、リソース管理テーブルを参照して、どの機能を提供すべきかを決定するリソースマッチングを行い、適切な情報転送を行う。このように、プラットフォームサーバ６００がリソースマッチングを行う場合、機能拡張されるアプリケーションと機能を提供するリソースとのいずれもリソースマッチングの機能を用意する必要が無いため、極めて容易にアプリケーションへの機能追加を行うことができる。
【００９１】
また、機能の追加の対象となるアプリケーションは、上述のようなパブリッククラウドアプリケーションに制限されない。アプリケーションは、例えば、病院内の各パーソナルコンピュータにインストールされたローカルアプリケーションや、病院内のサーバコンピュータに配置されたプライベートクラウドアプリケーションであっても良い。
【００９２】
また、アプリケーションは、プラットフォームサーバ６００から受信した校正結果を、カーソル位置の入力欄等に入力せず、画面上に表示するのみとし、入力オペレータが表示された校正結果をコピーして任意の箇所にペーストするようにしても良い。この場合、ネットワークシステム１００は、入力対象ＩＤに、カーソル位置を示す情報を含めずに済む。
【００９３】
また、アプリケーションは、音声入力開始通知の有無によらず、常に、または、他のトリガに基づいて、発話者ＩＤおよび入力対象ＩＤをプラットフォームサーバ６００に送信しても良い。
【００９４】
また、ネットワークシステム１００は、入力対象ＩＤに、病院、テキスト入力の緊急度など、他の属性を特定する情報を含めても良い。例えば、プラットフォームサーバ６００は、校正端末５００を、音声認識結果を送信してから校正結果を返信するまでに要する時間のレベルで分類しておき、テキスト入力の緊急度に応じて、適切なレベルに属する校正端末５００を選択するようにする。これにより、ネットワークシステム１００は、要求される緊急性を満たす音声入力機能を実現することができる。
【００９５】
また、本発明は、会議音声の文字化による議事録作成や、ニュース音声の字幕化、携帯電話の音声のメール文章化等の各種システムおよびサービスにも適用することができる。
【産業上の利用可能性】
【００９６】
本発明に係る業務支援装置および業務支援方法は、既存のアプリケーションに対し極めて容易に音声入力機能を採り入れることができる業務支援装置および業務支援方法として有用である。
【符号の説明】
【００９７】
１００ ネットワークシステム
２００ アプリケーションサーバ
２１０、３４０、４１０、６１０ 通信部
２２０ アプリケーション部
２２１ 画面生成部
２２２ テキスト入力受付部
２２３ 入力情報記憶部
２２４ 入力切替機能部
３００ 入力端末
３１０ 入力操作部
３２０ 音声入力部
３３０ 表示部
３５０ アプリケーション表示部
３６０ プラットフォーム表示部
４００ 音声認識サーバ
４２０ ＤＢ対応テーブル格納部
４３０ 音声認識処理部
４４０ 音声認識ＤＢ
５００ 校正端末
６００ プラットフォームサーバ
６２０ 音声認識制御部
６２１ 音声受信部
６３０ 対応分野テーブル格納部
６４０ 校正制御部
６４１ テキスト送信部
７００ 通信ネットワーク
【特許請求の範囲】
【請求項１】
テキスト入力を受け付けるアプリケーションと、音声認識処理を行う音声認識システムと、前記アプリケーションのユーザに対し前記テキスト入力の業務を支援する業務支援装置と、を含むシステムにおける前記業務支援装置であって、
前記アプリケーションを対象とした入力音声を受信する音声受信部と、
前記入力音声に対する音声認識処理を前記音声認識システムに実行させる音声認識制御部と、
前記音声認識処理の結果を送信するテキスト送信部と、を有し、
前記音声受信部は、
前記アプリケーションに組み込まれた入力切替機能部から、前記入力音声の発話者を特定する発話者ＩＤと、前記入力音声の入力対象を特定する入力対象ＩＤと、を受信し、
前記音声認識制御部は、
前記発話者ＩＤに基づいて、前記音声認識システムに対し、前記発話者毎にカスタマイズされた前記音声認識処理を実行させ、
前記テキスト送信部は、
前記音声認識処理の結果であるテキストを、前記発話者ＩＤおよび前記入力対象ＩＤに基づいて、前記発話者によるテキスト入力として前記アプリケーションへ送信する、
業務支援装置。
【請求項２】
前記音声受信部は、
前記発話者ＩＤにより特定される発話者から、前記入力音声を受信する、
請求項１記載の業務支援装置。
【請求項３】
前記音声認識制御部は、
前記入力対象ＩＤに基づいて、前記音声認識システムに対し、前記入力対象の分野毎にカスタマイズされた前記音声認識処理を実行させる、
請求項１記載の業務支援装置。
【請求項４】
前記音声認識処理の結果に対する校正処理を行う複数の校正端末のいずれかを選択し、選択した校正端末に前記校正処理を実行させる校正制御部、を更に有し、
前記校正制御部は、
前記音声認識システムから、前記音声認識結果と共に、前記入力音声の入力対象ＩＤを受信し、受信した入力対象ＩＤに基づいて前記校正端末を選択する、
請求項１記載の業務支援装置。
【請求項５】
前記音声認識制御部は、
前記音声認識システムに対し、前記発話者ＩＤにより特定される発話者の音響モデルと、前記入力対象ＩＤにより特定される入力対象の分野の言語モデルおよび辞書とを用いた音声認識処理を実行させる、
請求項３記載の業務支援装置。
【請求項６】
前記校正制御部は、
前記入力対象ＩＤにより特定される入力対象の分野に適した前記校正端末を選択する、
請求項４記載の業務支援装置。
【請求項７】
前記アプリケーションは、ＨＴＭＬにより実現されるウェブアプリケーションである、
請求項１記載の業務支援装置。
【請求項８】
テキスト入力を受け付けるアプリケーションと、音声認識処理を行う音声認識システムと、前記アプリケーションのユーザに対し前記テキスト入力の業務を支援する業務支援装置と、を含むシステムの前記業務支援装置における業務支援方法であって、
前記アプリケーションに組み込まれた入力切替機能部から、前記アプリケーションを対象とした入力音声と、前記入力音声の発話者を特定する発話者ＩＤと、前記入力音声の入力対象を特定する入力対象ＩＤと、を受信するステップと、
前記発話者ＩＤに基づいて、前記音声認識システムに、前記発話者毎にカスタマイズされた前記音声認識処理を前記入力音声に対して実行させるステップと、
前記音声認識処理の結果であるテキストを、前記発話者ＩＤおよび前記入力対象ＩＤに基づいて、前記発話者によるテキスト入力として前記アプリケーションへ送信するステップと、を有する、
業務支援方法。
【請求項１】
テキスト入力を受け付けるアプリケーションと、音声認識処理を行う音声認識システムと、前記アプリケーションのユーザに対し前記テキスト入力の業務を支援する業務支援装置と、を含むシステムにおける前記業務支援装置であって、
前記アプリケーションを対象とした入力音声を受信する音声受信部と、
前記入力音声に対する音声認識処理を前記音声認識システムに実行させる音声認識制御部と、
前記音声認識処理の結果を送信するテキスト送信部と、を有し、
前記音声受信部は、
前記アプリケーションに組み込まれた入力切替機能部から、前記入力音声の発話者を特定する発話者ＩＤと、前記入力音声の入力対象を特定する入力対象ＩＤと、を受信し、
前記音声認識制御部は、
前記発話者ＩＤに基づいて、前記音声認識システムに対し、前記発話者毎にカスタマイズされた前記音声認識処理を実行させ、
前記テキスト送信部は、
前記音声認識処理の結果であるテキストを、前記発話者ＩＤおよび前記入力対象ＩＤに基づいて、前記発話者によるテキスト入力として前記アプリケーションへ送信する、
業務支援装置。
【請求項２】
前記音声受信部は、
前記発話者ＩＤにより特定される発話者から、前記入力音声を受信する、
請求項１記載の業務支援装置。
【請求項３】
前記音声認識制御部は、
前記入力対象ＩＤに基づいて、前記音声認識システムに対し、前記入力対象の分野毎にカスタマイズされた前記音声認識処理を実行させる、
請求項１記載の業務支援装置。
【請求項４】
前記音声認識処理の結果に対する校正処理を行う複数の校正端末のいずれかを選択し、選択した校正端末に前記校正処理を実行させる校正制御部、を更に有し、
前記校正制御部は、
前記音声認識システムから、前記音声認識結果と共に、前記入力音声の入力対象ＩＤを受信し、受信した入力対象ＩＤに基づいて前記校正端末を選択する、
請求項１記載の業務支援装置。
【請求項５】
前記音声認識制御部は、
前記音声認識システムに対し、前記発話者ＩＤにより特定される発話者の音響モデルと、前記入力対象ＩＤにより特定される入力対象の分野の言語モデルおよび辞書とを用いた音声認識処理を実行させる、
請求項３記載の業務支援装置。
【請求項６】
前記校正制御部は、
前記入力対象ＩＤにより特定される入力対象の分野に適した前記校正端末を選択する、
請求項４記載の業務支援装置。
【請求項７】
前記アプリケーションは、ＨＴＭＬにより実現されるウェブアプリケーションである、
請求項１記載の業務支援装置。
【請求項８】
テキスト入力を受け付けるアプリケーションと、音声認識処理を行う音声認識システムと、前記アプリケーションのユーザに対し前記テキスト入力の業務を支援する業務支援装置と、を含むシステムの前記業務支援装置における業務支援方法であって、
前記アプリケーションに組み込まれた入力切替機能部から、前記アプリケーションを対象とした入力音声と、前記入力音声の発話者を特定する発話者ＩＤと、前記入力音声の入力対象を特定する入力対象ＩＤと、を受信するステップと、
前記発話者ＩＤに基づいて、前記音声認識システムに、前記発話者毎にカスタマイズされた前記音声認識処理を前記入力音声に対して実行させるステップと、
前記音声認識処理の結果であるテキストを、前記発話者ＩＤおよび前記入力対象ＩＤに基づいて、前記発話者によるテキスト入力として前記アプリケーションへ送信するステップと、を有する、
業務支援方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１２−１８５１８（Ｐ２０１２−１８５１８Ａ）
【公開日】平成２４年１月２６日（２０１２．１．２６）
【国際特許分類】
【出願番号】特願２０１０−１５４８７０（Ｐ２０１０−１５４８７０）
【出願日】平成２２年７月７日（２０１０．７．７）
【出願人】（５１０１８８４０３）株式会社サイバークラーク研究所 (3)
【出願人】（３９８０１８０２１）株式会社アドバンスト・メディア (23)
【Ｆターム（参考）】
【公開日】平成２４年１月２６日（２０１２．１．２６）
【国際特許分類】
【出願日】平成２２年７月７日（２０１０．７．７）
【出願人】（５１０１８８４０３）株式会社サイバークラーク研究所 (3)
【出願人】（３９８０１８０２１）株式会社アドバンスト・メディア (23)
【Ｆターム（参考）】
[ Back to top ]