説明

データ処理装置、音声変換方法および音声変換プログラム

【課題】外部から入力される音声に含まれる内容が外部に出力される範囲を制限する。
【解決手段】MFPは、外部から入力される音声を取得する音声取得部と、取得された音声を文字情報に変換する音声変換部と、文字情報のうちからユーザを識別するためのユーザ識別情報を抽出するユーザ抽出部と、抽出されたユーザ識別情報に基づいて、文字情報を出力する出力制御部とを備える。

【発明の詳細な説明】
【技術分野】
【0001】
この発明は、データ処理装置、音声変換方法および音声変換プログラムに関し、特に音声認識機能を備えたデータ処理装置、そのデータ処理装置により実行される音声変換方法および音声変換プログラムに関する。
【背景技術】
【0002】
従来、会議の議事録を作成する際、会議の音声をボイスレコーダで録音し、後に録音した音声を再生した音を聞く作成者が議事録を作成するなどしていた。また、特開平11−242669号公報(特許文献1)には、入力された音声から話者属性情報を生成し、指示された文書中の位置の情報と、入力された音声と、話者属性情報とからなる組情報を記憶し、文章を出力する際に、入力音声とその話者属性情報とを視覚的にわかるように出力する文書処理装置が記載されている。
【0003】
しかしながら、この従来の技術は、指示された文書中の位置の情報と、入力された音声と、話者属性情報とからなる組情報を添付した文書が電子データとして記憶されるが、音声が機密情報を含む場合、電子データが外部に流出すれば、機密情報が漏れてしまうといった問題がある。電子データにアクセス制限を付与することにより、電子データにアクセスできる人を制限することができるが、電子データごとにアクセス制限を付与しなければならず、作業が煩雑であるといった問題がある。
【特許文献1】特開平11−242669号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
この発明は上述した問題点を解決するためになされたもので、この発明の目的の1つは、外部から入力される音声に含まれる内容が外部に出力される範囲を制限することが可能なデータ処理装置を提供することである。
【0005】
この発明の他の目的は、音声を変換した文字情報を自動的に送信することが可能なデータ処理装置を提供することである。
【0006】
この発明のさらに他の目的は、外部から入力される音声に含まれる内容が外部に出力される範囲を制限することが可能な音声変換方法を提供することである。
【0007】
この発明のさらに他の目的は、外部から入力される音声に含まれる内容が外部に出力される範囲を制限することが可能な音声変換プログラムを提供することである。
【課題を解決するための手段】
【0008】
上述した目的を達成するためにこの発明のある局面によれば、データ処理装置は、外部から入力される音声を取得する音声取得手段と、取得された音声を文字情報に変換する音声変換手段と、文字情報のうちからユーザを識別するためのユーザ識別情報を抽出するユーザ抽出手段と、抽出されたユーザ識別情報に基づいて、文字情報を出力する出力制御手段と、を備える。
【0009】
この局面に従えば、外部から入力される音声が文字情報に変換され、文字情報のうちからユーザ識別情報が抽出され、抽出されたユーザ識別情報に基づいて、文字情報が出力される。このため、文字情報がユーザ識別情報に基づいて出力されるので、出力を制限することができる。その結果、外部から入力される音声に含まれる内容が外部に出力される範囲を制限することが可能なデータ処理装置を提供することができる。
【0010】
好ましくは、ユーザを認証する認証手段をさらに備え、出力制御手段は、抽出されたユーザ識別情報のユーザが認証手段により認証されることを条件に、文字情報を出力する条件付出力手段を含む。
【0011】
この局面に従えば、抽出されたユーザ識別情報のユーザが認証されることを条件に、文字情報が出力される。このため、取得された音声に、認証されたユーザのユーザ識別情報を発話した音声が含まれなければ音声から変換された文字情報が出力されないので、外部から入力される音声を変換した文字情報の出力を指示することができる者を制限することができる。
【0012】
好ましくは、出力制御手段は、抽出されたユーザ識別情報のユーザに文字情報を送信する送信手段を含む。
【0013】
この局面に従えば、音声を変換した文字情報が、文字情報から抽出されたユーザ識別情報に関連付けられた送信先情報に基づいて送信されるので、音声を変換した文字情報を自動的に送信することができる。
【0014】
好ましくは、ユーザ識別情報と関連付けられた記憶領域を有し、データを記憶する記憶手段をさらに備え、出力制御手段は、抽出されたユーザ識別情報に関連付けられた記憶領域に文字情報を記憶する記憶制御手段を含む。
【0015】
この局面に従えば、音声を変換した文字情報が、文字情報から抽出されたユーザ識別情報に関連付けられた記憶領域に記憶されるので、音声を変換した文字情報を自動的に記憶することができる。
【0016】
好ましくは、文字情報のうちからコマンドを抽出するコマンド抽出手段をさらに備え、出力制御手段は、抽出されたコマンドに対して予め定められた出力方法で、文字情報を出力する。
【0017】
この局面に従えば、音声を変換した文字情報が、文字情報から抽出されたコマンドに対して予め定められた出力方法で出力される。このため、文字情報の出力方法を音声に含めることができるので、出力時における設定を容易にすることができる。
【0018】
この発明の他の局面によれば、データ処理装置は、外部から入力される音声を取得する音声取得手段と、取得された音声を文字情報に変換する音声変換手段と、文字情報のうちからデータを送信するための送信先情報を抽出する送信先抽出手段と、抽出された送信先情報に基づいて、文字情報を送信する送信手段と、を備える。
【0019】
この局面に従えば、音声を変換した文字情報が、文字情報から抽出された送信先情報に基づいて、送信されるので、音声を変換した文字情報を自動的に送信することが可能なデータ処理装置を提供することができる。
【0020】
この発明のさらに他の局面によれば、音声変換方法は、外部から入力される音声を取得するステップと、取得された音声を文字情報に変換するステップと、文字情報のうちからユーザを識別するためのユーザ識別情報を抽出するステップと、抽出されたユーザ識別情報に基づいて、文字情報を出力するステップと、を含む。
【0021】
この局面に従えば、外部から入力される音声に含まれる内容が外部に出力される範囲を制限することが可能な音声変換方法を提供することができる。
【0022】
この発明のさらに他の局面によれば音声変換プログラムは、外部から入力される音声を取得するステップと、取得された音声を文字情報に変換するステップと、文字情報のうちからユーザを識別するためのユーザ識別情報を抽出するステップと、ユーザを認証するステップと、抽出されたユーザ識別情報に基づいて、文字情報を出力するステップと、をコンピュータに実行させる。
【0023】
この局面に従えば、外部から入力される音声に含まれる内容が外部に出力される範囲を制限することが可能な音声変換プログラムを提供することができる。
【発明を実施するための最良の形態】
【0024】
以下、本発明の実施の形態について図面を参照して説明する。以下の説明では同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがってそれらについての詳細な説明は繰返さない。
【0025】
図1は、本発明の実施の形態における議事録作成システムの全体概要を示す図である。図1を参照して、議事録作成システム1は、物理的に離れた空間である会議室A,B,Cに区切られ、会議室A,B,Cにはネットワーク2が敷設される。会議室Aには、それぞれがネットワーク2に接続されたMFP(Multi Function Peripheral)100と、テレビ会議用端末装置200ととが設置される。会議室Bおよび会議室Cには、それぞれがネットワーク2に接続されたテレビ会議用端末装置200A,200Bがそれぞれ設置される。また、ネットワーク2には、、サーバ500が接続される。MFP100は、テレビ会議用端末装置200,200A,200Bおよびサーバ500とネットワーク2を介して通信することが可能である。
【0026】
ネットワーク2は、ローカルエリアネットワーク(LAN)であり、接続形態は有線または無線を問わない。またネットワーク2は、LANに限らず、ワイドエリアネットワーク(WAN)、公衆交換電話網(PSTN)、インターネット等であってもよい。
【0027】
なお、本実施の形態においてはデータ処理装置の一例としてMFP100を例に説明するが、MFP100に代えて、たとえば、スキャナ、プリンタ、ファクシミリ、コンピュータ等であってもよい。また、ここでは会議室A、会議室B、会議室Cの3つの物理的に離れた空間を配置する例を示すが、空間の数はこれに限定されることなく、会議室A,B,Cのいずれか1つであってもよいし、複数の会議室のうちから選ばれた2以上の組であってもよい。
【0028】
図2は、MFPの外観を示す斜視図である。図3は、MFPのハードウェア構成の一例を示すブロック図である。図2および図3を参照して、MFP100は、メイン回路101と、原稿を読み取るための画像読取部20と、原稿を原稿読取部20に搬送するための自動原稿搬送装置(ADF)10と、画像読取部20が原稿を読み取って出力する静止画像を用紙等に形成するための画像形成部30と、画像形成部30に用紙を供給するための給紙部40と、ファクシミリ部60と、ユーザインターフェースとしての操作パネル9と、を含む。
【0029】
ADF10は、原稿台11に搭載された複数枚の原稿をさばいて1枚ずつ順に、画像読取部20に搬送する。画像読取部20は、写真、文字、絵等の画像情報を原稿から光学的に読み取って画像データを取得する。
【0030】
画像形成部30は、画像データが入力されると、画像データに基づいて用紙上に画像を形成する。画像形成部30は、シアン、マゼンタ、イエローおよびブラックの4色のトナーを用いてカラーの画像を形成する、また、シアン、マゼンタ、イエローおよびブラックのいずれか1色のトナーを用いてモノクロの画像を形成する。
【0031】
給紙部40は、用紙を格納しており、格納した用紙を1枚ずつ画像形成部30に供給する。MFP100は、その上面に操作パネル9を備える。
【0032】
メイン回路101は、ファクシミリ部60と、ADF10と、画像読取部20と、画像形成部30と、給紙部40と接続される。メイン回路101は、中央演算装置(CPU)111と、CPU111の作業領域として使用されるRAM(Random Access Memory)112と、CPU111が実行するプログラム等を記憶するためのEEPROM(Electronically Erasable Programmable Read Only Memory)113と、表示部114と、操作部115と、大容量記憶装置としてのハードディスクドライブ(HDD)116と、データ通信制御部117と、を含む。
【0033】
CPU111は、表示部114、操作部115、HDD116およびデータ通信制御部117とそれぞれ接続され、メイン回路101の全体を制御する。また、CPU111は、ファクシミリ部60、ADF10、画像読取部20、画像形成部30および給紙部40と接続され、MFP100の全体を制御する。
【0034】
表示部114は、液晶表示装置(LCD)、有機ELD(Electro Luminescence Display)等のディスプレイであり、ユーザに対する指示メニューや取得した画像データに関する情報等を表示する。操作部115は、複数のキーを備え、キーに対応するユーザの操作による各種の指示、文字、数字などのデータの入力を受付ける。操作部115は、表示部114上に設けられたタッチパネルを含む。表示部114と操作部115とで、操作パネル9が構成される。
【0035】
HDD116は、複数の記憶領域を有し、複数の記憶領域は複数のユーザそれぞれに割り当てられている。ここでは、HDD116が有する記憶領域をBOXといい、BOXを識別するための情報をBOX識別情報という。
【0036】
データ通信制御部117は、TCP(Transmission Control Protocol)またはUDP(User Datagram Protocol)等の通信プロトコルで通信するためのインターフェースであるLAN端子118と、シリアル通信するためのシリアルインターフェース端子119とを有する。データ通信制御部117は、CPU111からの指示に従って、LAN端子118またはシリアルインターフェース端子119に接続された外部の機器との間でデータを送受信する。
【0037】
LAN端子118に、ネットワーク2に接続するためのLANケーブルが接続される場合、データ通信制御部117は、LAN端子118を介してテレビ会議用端末装置200、200A,200Bと通信することが可能である。
【0038】
また、CPU111は、データ通信制御部117を制御して、メモリカード119AからCPU111が実行するためのプログラムを読出し、読み出したプログラムをRAM112に記憶し、実行する。なお、CPU111が実行するためのプログラムを記憶する記録媒体としては、メモリカード119Aに限られず、フレキシブルディスク、カセットテープ、光ディスク(CD−ROM(Compact Disc−Read Only Memory)/MO(Magnetic Optical Disc)/MD(Mini Disc)/DVD(Digital Versatile Disc))、ICカード、光カード、マスクROM、EPROM(Erasable Programmable ROM)、EEPROM(Electronically EPROM)などの半導体メモリ等の媒体でもよい。さらに、CPU111がインターネットに接続されたコンピュータからプログラムをダウンロードしてHDD116に記憶する、または、インターネットに接続されたコンピュータがプログラムをHDD116に書込みするようにして、HDD116に記憶されたプログラムをRAM112にロードしてCPU111で実行するようにしてもよい。ここでいうプログラムは、CPU111により直接実行可能なプログラムだけでなく、ソースプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。
【0039】
ファクシミリ部60は、PSTN7に接続され、PSTN7にファクシミリデータを送信する、またはPSTN7からファクシミリデータを受信する。ファクシミリ部60は、受信したファクシミリデータをHDD116に記憶する、または画像形成部30でファクシミリデータを用紙にプリントする。また、ファクシミリ部60は、画像読取部20が原稿を読み取って出力するデータ、またはHDD116に記憶されたデータをファクシミリデータに変換して、PSTN7に接続されたファクシミリ装置に出力する。
【0040】
テレビ会議用端末装置200,200A,200Bの構成および機能は同じなので、ここではテレビ会議用端末装置200を例に説明する。図4は、テレビ会議用端末装置の機能概要の一例を示す機能ブロック図である。図4を参照して、テレビ会議用端末装置200は、テレビ会議用端末装置200の全体を制御するための制御部201と、テレビ会議用端末装置200をネットワーク2に接続するためのネットワークI/F207と、操作パネル205と、画像を投影する投影部203と、会議室内を撮像するためのカメラ204と、音声を収集するマイクロフォン208と、音声を出力するスピーカ209と、を含む。
【0041】
カメラ204は、会議室A内を撮像し、撮像して得られる映像データを制御部201に出力する。マイクロフォン208は、音を収集し、音声データを制御部201に出力する。
【0042】
制御部201は、CPUと、作業領域として用いられるRAMと、CPUが実行するプログラムを記憶するためのROMと、を含む。制御部201は、カメラ204から入力される映像データと、マイクロフォン208から入力される音声データとを、ネットワークI/F207を介して他のテレビ会議用端末装置200A,200Bに送信する。これにより、テレビ会議用端末装置200A,200Bにおいて、会議室A内を撮像した映像と会議室A内で集音された音声が、テレビ会議用端末装置200A,200Bで出力される。さらに、制御部201は、音声データをMFP100に送信する。なお、テレビ会議用端末装置200A,200Bも音声データをMFP100に送信する。
【0043】
また、制御部201は、ネットワークI/F207を介して他のテレビ会議用端末装置200A,200Bから受信する映像データを投影用のフォーマットに変換し、投影用のデータを投影部203に出力し、他のテレビ会議用端末装置200A,200Bから受信する音声データをスピーカ209に出力する。これにより、テレビ会議用端末装置200A,200Bにおいて、会議室B,C内をそれぞれ撮像した映像と会議室B,C内でそれぞれ集音された音声が、テレビ会議用端末装置200で出力される。
【0044】
投影部203は、液晶表示装置、レンズおよび光源を備える。液晶表示装置は、制御部201から入力されるデータを表示する。光源から発せられる光は、液晶表示装置を透過し、レンズを介して外部に照射される。投影部203から照射される光が、スクリーンに照射されると、液晶表示装置に表示された画像を拡大した画像がスクリーンに映し出される。なお、反射率の高い面であれば、壁などを利用することができ、その場合にはスクリーンを設置する必要はない。操作パネル205は、ユーザインターフェースであり、液晶表示装置などの表示部と、複数のキーを含む操作部とを含む。
【0045】
なお、ここでは、テレビ会議用端末装置200,200A,200Bが投影部203を有する例を説明するが、投影部203に代えて、LCD、有機ELD等のディスプレイであってもよい。
【0046】
図5は、MFPが備えるCPUの機能の一例をHDDに記憶される情報とともに示す機能ブロック図である。本実施の形態におけるMFP100が備えるHDD116は、ユーザ管理テーブル91を予め記憶する。ユーザ管理テーブル91は、ユーザごとに1つのユーザレコードを含む。MFP100にユーザに関する情報が予め入力されると、ユーザレコードが生成され、ユーザ管理テーブル91に追加される。
【0047】
図6は、ユーザ管理レコードのフォーマットの一例を示す図である。図6を参照して、ユーザ管理レコードは、ユーザ識別情報の項目と、認証情報の項目と、氏名の項目と、声紋データの項目と、送信先情報の項目と、BOX識別情報の項目とを含む。ユーザ識別情報の項目は、ユーザを識別するためのユーザ識別情報が設定される。認証情報の項目は、ユーザを認証するための認証情報が設定され、ここでは、認証情報にパスワードを用いている。氏名の項目は、ユーザの氏名が設定される。声紋データの項目は、声紋認識に用いられ、そのユーザの声紋が設定される。送信先情報の項目は、ユーザにデータを送信するためにそのユーザに割り当てられたアドレスが設定され、ここでは、電子メールアドレスが設定される。BOX識別情報は、HDD116が有する複数の記憶領域のうちユーザに割り当てられた記憶領域を識別するためのBOX識別情報が設定される。なお、氏名をユーザ識別情報とするようにしてもよい。
【0048】
図5に戻って、CPU111は、外部から入力される音声を取得する音声取得部51と、取得された音声を文字情報に変換する音声変換部53と、取得された音声を発話したユーザを特定する話者特定部55と、文字情報からコマンドを抽出するコマンド抽出部57と、文字情報からユーザ識別情報を抽出するユーザ抽出部59と、文字情報を含む議事録を生成する議事録生成部61と、文字情報の出力を制御する出力制御部63と、MFP100を操作するユーザを認証するための認証部71と、を含む。
【0049】
音声取得部51は、テレビ会議用端末装置200,200A,200Bから送信されてくる音声データを取得する。具体的には、データ通信制御部117がテレビ会議用端末装置200,200A,200Bのそれぞれから送信されてくる音声データを受信すると、データ通信制御部117から音声データを受け付ける。音声取得部51は、音声データを話者特定部55および音声変換部53に出力する。なお、ここでは、テレビ会議用端末装置200,200A,200Bから送信されてくる音声データを取得する例を説明するが、会議の音声をICレコーダなどの音声記憶装置に記憶する場合、シリアルインターフェース端子119に接続されるICレコーダから音声データを取得するようにしてもよい。
【0050】
話者特定部55は、音声データが入力されると、音声データに基づいて話者を特定する。話者は、音声データの音声を発話したユーザである。具体的には、話者特定部55は、ユーザ管理テーブル91を読み出し、読み出したユーザ管理テーブル91に含まれるユーザレコードそれぞれに含まれる声紋データを用いて、音声データの話者を特定する。なお、会議の参加者のユーザ識別情報を、サーバ500から取得するようにし、ユーザ管理テーブル91に含まれるユーザレコードのうちから参加者のユーザ識別情報を含むユーザレコードを抽出しておき、抽出されたユーザレコードそれぞれに含まれる声紋データを用いて、音声データの話者を特定するようにしてもよい。ユーザ管理テーブル91に含まれるユーザレコードのすべてを用いる必要がなく、参加者のうちから話者を特定するので、比較的短時間に話者を特定することができる。話者特定部55は、特定した話者の氏名を議事録生成部61に出力する。
【0051】
音声変換部53は、音声データを音声認識して文字情報に変換し、文字情報をコマンド抽出部57、ユーザ抽出部59および議事録生成部61に出力する。なお、ユーザ管理テーブル91に、音声認識用のデータとしてユーザの音声をユーザ識別情報と関連付けて記憶するようにして、話者特定部55において特定された話者の音声認識用のデータを用いて音声認識するようにしてもよい。話者を特定し、その話者のために予め記憶された音声認識用データを用いて音声認識するので、音声認識の精度を高くすることができる。
【0052】
コマンド抽出部57は、音声変換部53から入力される文字情報からコマンドを抽出する。コマンドは、予め定められた文字列であり、後述する出力制御部63が、議事録を出力するための出力方法と対応付けられている。また、コマンドは、開始コマンドと終了コマンドとを含む。開始コマンドと終了コマンドとは対をなす。コマンド抽出部57は、開始コマンドを抽出すると、それをユーザ抽出部59に出力し、終了コマンドを抽出すると、それをユーザ抽出部59と、出力制御部63に出力する。
【0053】
コマンドは、ここでは、議事録を送信する出力方法と関連付けれられた送信コマンドと、議事録をBOXに記憶する出力方法と関連付けられた記憶コマンドと、出力方法を指示するユーザが認証されることを条件に議事録を出力する出力方法と関連付けられた認証出力コマンドとを含む。送信コマンドの開始コマンドおよび終了コマンドは、たとえば、「送信者開始」および「送信者終了」であり、記憶コマンドの開始コマンドおよび終了コマンドは、たとえば、「記憶者開始」および「記憶者終了」であり、認証出力コマンドの開始コマンドおよび出力コマンドは、たとえば、「許可者開始」および「許可者終了」である。
【0054】
ユーザ抽出部59は、音声変換部53から入力される文字情報から、ユーザ管理テーブル91に含まれるユーザ識別情報を抽出する。ユーザ抽出部59は、コマンド抽出部57から開始コマンドが入力されてからコマンド抽出部57から終了コマンドが入力されるまで、開始コマンドの後に続く文字列をユーザ識別情報として抽出する。音声変換部53は、音声が途切れる区間にスペースを挿入した文字情報を出力するので、ユーザ抽出部59は、文字列をスペースで区切ることにより、複数のユーザ識別情報を抽出する。ユーザ抽出部59は、抽出したユーザ識別情報を、出力制御部に出力する。
【0055】
議事録生成部61は、音声変換部53から入力される文字情報に話者特定部55から入力される氏名を付加することにより、議事録を生成し、生成した議事録をHDD116に記憶する。これにより、HDD116に議事録93が記憶される。また、話者特定部55において特定された話者のユーザ識別情報を、音声変換部53から入力される文字情報に付加するので、文字情報から文字列を発声したユーザを特定することができる。
【0056】
出力制御部63は、議事録をBOXに記憶するBOX記憶部65と、議事録を送信する送信部67と、MFP100の操作者が認証されることを条件に議事録を出力する認証出力部69と、を含む。出力制御部63は、コマンド抽出部57から入力されるコマンドに応じて、BOX記憶部65、送信部67、認証出力部69のいずれかを能動化する。出力制御部63は、記憶コマンドが入力されると、BOX記憶部65を能動化し、送信コマンドが入力されると送信部67を能動化し、認証出力コマンドが入力されると認証出力部69を能動化する。
【0057】
BOX記憶部65は、能動化されると、ユーザ抽出部59より入力されるユーザ識別情報を含むユーザ管理レコードを、HDD116に記憶されているユーザ管理テーブル91から抽出し、抽出されたユーザ管理レコードのBOX識別情報の項目に設定されているBOX識別情報を取得する。そして、HDD116に記憶されている議事録93を、取得したBOX識別情報で特定されるBOXに記憶する。
【0058】
送信部67は、能動化されると、ユーザ抽出部59より入力されるユーザ識別情報を含むユーザ管理レコードを、HDD116に記憶されているユーザ管理テーブル91から抽出し、抽出されたユーザ管理レコードの送信先情報の項目に設定されている送信先情報を取得する。そして、HDD116に記憶されている議事録93を、取得した送信先情報で定まる送信先に、送信先情報で定まる送信方法で、送信する。たとえば、送信先情報の項目に電子メールアドレスが設定されている場合、その電子メールアドレスを宛先とし、議事録を添付した電子メールを生成し、データ通信制御部117を介して電子メールを電子メールサーバに送信する。送信先情報の項目にファクシミリ番号が設定されている場合、議事録をファクシミリ部60に出力し、ファクシミリ部60に文字情報をファクシミリの通信規格で、ファクシミリ番号のファクシミリ装置に送信させる。送信先情報の項目に、IPアドレスが設定されていれば、そのIPアドレスにFTPまたはSMBの通信プロトコルで、データ通信制御部117に議事録を送信させる。
【0059】
認証出力部69は、ユーザ抽出部59より入力されるユーザ識別情報と、HDD116に記憶された議事録93とを関連付けた対応レコードを生成し、HDD116に記憶されている対応テーブル95に記憶する。対応テーブル95は、音声変換部53によりHDD116に記憶される議事録93に対して1つの対応レコードを含む。対応レコードは、HDD116に記憶された議事録93と、それの出力が許可されたユーザのユーザ識別情報とを関連付ける。
【0060】
図7は、対応レコードのフォーマットの一例を示す図である。図7を参照して、対応レコードは、議事録識別情報の項目と、少なくとも1つのユーザ識別情報の項目とを含む。議事録識別情報の項目は、議事録93に付されたファイル名が設定され、ユーザ識別情報の項目は、ユーザ抽出部59により文字情報から抽出されたユーザ識別情報が設定される。対応レコードにより、文字情報を含む1つの議事録93に対して、少なくとも1つのユーザ識別情報が関連付けられる。
【0061】
図5に戻って、認証部71は、MFP100を操作するユーザを認証する。認証部71は、認証画面を表示部114に表示し、ユーザが操作部115にユーザ識別情報とパスワードとを入力すると、操作部115からそれらを受け付ける。そして、ユーザ管理テーブル91から操作部115から受け付けたユーザ識別情報を含むユーザ管理レコードを抽出し、抽出したユーザ管理レコードが操作部115から受け付けたパスワードと、抽出されたユーザ管理レコードに含まれるパスワードとが一致するか否かを判断する。両者が一致すれば、ユーザを認証し、一致しなければ認証しない。認証部71は、認証する場合、操作部115から受け付けたユーザ識別情報を認証出力部69に出力する。
【0062】
認証出力部69は、認証部71からユーザ識別情報が入力されると、HDD116に記憶されている対応テーブル95から認証部71から入力されたユーザ識別情報を含む対応レコードを抽出する。そして、抽出された対応レコードに含まれる議事録識別情報で特定される議事録93をHDD116から読出し、出力する。出力先は、ユーザが操作部115に入力する指示に従う。ユーザが操作部115に印刷指示を入力すれば、認証出力部69は、議事録93を画像形成部30に出力し、画像形成部30に議事録93の画像を形成させる。
【0063】
また、ユーザが操作部115に送信指示を入力すれば、認証出力部69は、送信指示で特定される送信方法で、議事録93をデータ通信制御部117を介して、送信指示で特定される送信先に送信する。たとえば、電子メールアドレスを指定する送信指示が入力される場合、宛先を指定された電子メールアドレスとし、議事録93を添付した電子メールを生成し、電子メールを電子メールサーバに送信する。ユーザが操作部115にファクシミリ番号を入力すれば、認証出力部69は、議事録93をファクシミリ部60に出力し、ファクシミリ部に文字情報をファクシミリの通信規格で、入力されたファクシミリ番号のファクシミリ装置に送信させる。さらに、ユーザが、FTPまたはSMBの送信指示を入力すれば、データ通信制御部117に送信指示に含まれるIPアドレスに文字情報を送信させる。
【0064】
また、ユーザがBOXに記憶する記憶指示を入力すれば、認証出力部69は、そのユーザのユーザ識別情報と、ユーザ管理テーブル91により関連付けられたBOX識別情報で特定されるBOXに、議事録93を記憶する。
【0065】
図8は、議事録出力処理の流れの一例を示すフローチャートである。議事録出力処理は、CPU111が音声変換プログラムを実行することにより、CPU111により実行される処理である。
【0066】
図8を参照して、CPU111は、音声データを取得したか否かを判断する(ステップS01)。データ通信制御部117がテレビ会議用端末装置200,200A,200Bのいずれかから音声データを受信すると、音声を取得したと判断する。音声データを取得するまで待機状態となり(ステップS01でNO)、音声データを取得すると(すてっぷ
S01でYES)、処理をステップS02に進める。
【0067】
ステップS02においては、音声データに基づいて話者を特定する。ユーザ管理テーブル91に含まれるユーザレコードに含まれる声紋データを用いて、音声データと比較することにより、話者を特定する。
【0068】
次のステップS03においては、ステップS01において取得された音声データを、ステップS02において特定された話者に対して予め定められた音声認識用データを用いて音声認識する。話者を特定し、その話者のために予め記憶された音声認識用データを用いて音声認識するので、音声認識の精度を高くすることができる。
【0069】
ステップS04においては、音声データを音声認識して得られる文字情報に含まれる文字列に話者の氏名を付加する。具体的には、音声データを音声認識した結果得られる文字情報を、ステップS02において特定された話者のユーザ識別情報とユーザレコードにより関連付けられる氏名を文字情報に付加する。
【0070】
次のステップS05においては、音声データを音声認識して得られる文字情報から開始コマンドを抽出したか否かを判断する。開始コマンドを抽出したならば処理をステップS06に進め、そうでなければ処理をステップS08に進める。開始コマンドは、予め定められた文字列であり、ここでは、開始コマンドは、「送信者開始」、「記憶者開始」および「許可者開始」のいずれかである。
【0071】
ステップS06においては、音声データを音声認識して得られる文字情報からユーザ識別情報を抽出する。開始コマンドの後に続く文字列をユーザ識別情報として抽出する。開始コマンドの後に、スペースで区切られた複数の文字列が続く場合、スペースで区切られた複数の文字列をユーザ識別情報として抽出する。そして、音声データを音声認識して得られる文字情報から終了コマンドを抽出したか否かを判断する。終了コマンドを抽出したならば処理をステップS08に進め、そうでなければ処理をステップS06に戻す。ここでは、終了コマンドは、「送信者終了」、「記憶者終了」および「許可者終了」のいずれかである。すなわち、開始コマンドと終了コマンドとの間に位置し、スペースで区切られた文字列のすべてをユーザ識別情報として抽出する。
【0072】
次のステップS08においては、会議が終了したか否かを判断する。MFP100のユーザが操作部115に会議の終了を指示する操作を入力すると、操作部115から会議の終了指示を受け付ける。会議の終了指示を受け付けたならば会議が終了したと判断し、処理をステップS09に進めるが、会議の終了指示を受け付けなければ処理をステップS01に戻す。
【0073】
ステップS09においては、ステップS03において音声データを音声認識して得られる文字情報にステップS04において氏名が追加された文字情報を議事録としてHDD116に記憶する。そして、ステップS05で抽出された開始コマンドおよびステップS07で抽出された終了コマンドで定まるコマンドによって処理を分岐させる(ステップS10)。コマンドが認証出力コマンドならば処理をステップS11に進め、コマンドが送信コマンドならば処理をステップS13に進め、コマンドが記憶コマンドならば処理をステップS18に進める。
【0074】
ステップS11においては、対応レコードを生成し、HDD116に記憶し、処理をステップS12に進める。対応レコードは、ステップS09でHDD116に記憶された議事録の議事録識別情報と、ステップS06において抽出されたユーザ識別情報とを関連付ける。そして、議事録を出力する認証出力処理を実行し(ステップS12)、処理を終了する。認証出力処理については後述する。
【0075】
一方、ステップS13においては、HDD116に記憶されている議事録93を読み出す。そして、ステップS06において抽出されたユーザ識別情報のうちから1つを処理対象に選択する(ステップS14)。次に、処理対象に選択されたユーザ識別情報と関連付けられた送信先情報を取得する(ステップS15)。具体的には、処理対象に選択されたユーザ識別情報を含むユーザ管理レコードを、HDD116に記憶されているユーザ管理テーブル91から抽出し、抽出されたユーザ管理レコードの送信先情報の項目に設定されている送信先情報を取得する。
【0076】
次に、ステップS13において読み出した議事録93を、取得された送信先情報で定まる送信方法で、送信先情報で定まる送信先に議事録を送信する(ステップS16)。ステップS17においては、次に処理対象とするべきユーザ識別情報が存在するか否かを判断する。未処理のユーザ識別情報が存在すれば処理をステップS14に戻すが、存在しなければ処理を終了する。
【0077】
一方、ステップS18においては、HDD116に記憶されている議事録93を読み出す。そして、ステップS06において抽出されたユーザ識別情報のうちから1つを処理対象に選択する(ステップS19)。次に、処理対象に選択されたユーザ識別情報と関連付けられたBOX識別情報を取得する(ステップS20)。具体的には、処理対象に選択されたユーザ識別情報を含むユーザ管理レコードを、HDD116に記憶されているユーザ管理テーブル91から抽出し、抽出されたユーザ管理レコードのBOX識別情報の項目に設定されているBOX識別情報を取得する。
【0078】
次に、ステップS18において読み出した議事録93を、HDD116が有する複数のBOXのうちBOX識別情報で特定されるBOXに記憶する(ステップS21)。ステップS22においては、次に処理対象とするべきユーザ識別情報が存在するか否かを判断する。未処理のユーザ識別情報が存在すれば処理をステップS19に戻すが、存在しなければ処理を終了する。
【0079】
図9は、認証出力処理の流れの一例を示すフローチャートである。認証出力処理は、図8のステップS12において実行される処理である。図9を参照して、ログイン要求を受け付けたか否かを判断する(ステップS31)。認証画面を表示部114に表示し、ユーザ識別情報とパスワードとが操作部115に入力されたか否かを判断する。ユーザ識別情報とパスワードとが操作部115に入力されたことを検出すると、ログイン要求を受け付けたと判断する。ログイン要求を受け付けるまで待機状態となり(ステップS31でNO)、ログイン要求を受け付けると(ステップS31でYES)、処理をステップS32に進める。すなわち、ステップS32以降の処理は、ログイン要求を受け付けることを条件に、実行される処理である。
【0080】
ステップS32においては、受け付けられたユーザ識別情報とパスワードとに基づいて認証し、認証に成功したか否かを判断する。HDD116に記憶されているユーザ管理テーブル91から、受け付けられたユーザ識別情報を含むユーザ管理レコードを抽出し、操作部115から受け付けたパスワードと、抽出されたユーザ管理レコードに含まれるパスワードとが一致するか否かを判断する。双方が一致すれば認証し、処理をステップS33に進めるが、一致しなければ認証せず処理を議事録出力処理に戻す。
【0081】
ステップS33においては、ステップS31において受け付けられたユーザ識別情報を含む対応レコードが存在するか否かを判断する。HDD116に記憶されている対応テーブル95を検索し、操作部115から受け付けられたユーザ識別情報を含む対応レコードを抽出する。操作部115から受け付けられたユーザ識別情報を含む対応レコードが抽出されたならば、処理をステップS34に進め、抽出されなければ処理を議事録出力処理に戻す。
【0082】
ステップS34においては、抽出された対応レコードの議事録識別情報の項目に設定されている議事録識別情報を表示部114に表示する。そして、ユーザが入力する出力指示を受け付けるまで待機状態となり(ステップS35でNO)、操作部115が出力指示を受け付けると(ステップS35でYES)、処理をステップS36に進める。ステップS36においては、出力指示によって処理を分岐させる。出力指示が印刷を指示する場合、処理をステップS37に進め、出力指示が送信を指示する場合、処理をステップS38に進め、出力指示が記憶を指示する場合、処理をステップS39に進める。なお、ステップS33において、複数の対応レコードが抽出される場合、複数の対応レコードにそれぞれ設定されている複数の議事録識別情報を表示し、複数の議事録識別情報ごとに出力指示を受け付ける。
【0083】
ステップS37においては、ステップS33において抽出された対応レコードに設定されている議事録識別情報で特定される議事録93をHDD116から読出し、印刷する。議事録93を画像形成部30に出力し、画像形成部30に議事録の画像を用紙に形成させる。
【0084】
ステップS38においては、ステップS33において抽出された対応レコードに設定されている議事録識別情報で特定される議事録93をHDD116から読出し、送信する。具体的には、HDD116に記憶されているユーザ管理テーブル91から、ステップS31において受け付けられたユーザ識別情報を含むユーザ管理レコードを抽出し、抽出されたユーザ管理レコードの送信先情報の項目に設定されている送信先情報に従って、議事録93を送信する。
【0085】
ステップS39においては、ステップS33において抽出された対応レコードに設定されている議事録識別情報で特定される議事録93をHDD116から読出し、HDD116に記憶する。具体的には、HDD116に記憶されているユーザ管理テーブル91から、ステップS31において受け付けられたユーザ識別情報を含むユーザ管理レコードを抽出する。そして、抽出されたユーザ管理レコードのBOX識別情報の項目に設定されているBOX識別情報で特定されるBOXに、議事録93を記憶する。
【0086】
<変形例>
上述したMFP100は、音声を変換した文字情報からコマンドとユーザ識別情報とを抽出するようにしたが、文字情報からコマンドと送信先情報を抽出するようにしてもよい。この場合、図5に示した機能ブロック図において、ユーザ抽出部59に代えて、送信先情報を抽出する送信先抽出部がCPU111に形成される。たとえば、開始コマンドを「送信先開始」、終了コマンドを「送信者終了」とすれば、送信先抽出部は、それらの間に存在する文字列を送信先情報として抽出する。
【0087】
送信先抽出部は、送信先情報を文字情報から抽出すると、送信先情報を送信部67に出力する。送信部67は、HDD116に記憶された議事録93を、送信先情報によって定まる送信方法で、送信先情報によって定まる送信先に送信する。たとえば、送信先情報に、電子メールアドレスを用いる場合、電子メールアドレスを宛先とし、議事録を添付した電子メールを生成し、電子メールを送信する。また、送信先情報に、複数の電子メールアドレスを含み、複数の電子メールアドレス宛に電子メールを同報送信するためのメーリングリストを用いることができる。この場合には、送信部67は、電子メールリストを宛先とし、議事録を添付した電子メールを生成し、電子メールを送信する。送信先情報に同報送信のために設定されたファクシミリ番号が設定されている場合、議事録をファクシミリ部60に出力し、ファクシミリ部60に文字情報をファクシミリの通信規格で、ファクシミリ番号のファクシミリ装置に送信させる。送信先情報の項目に、IPアドレスが設定されていれば、そのIPアドレスにFTPまたはSMBの通信プロトコルで、データ通信制御部117に議事録を送信させる。
【0088】
以上説明したように、本実施の形態におけるMFP100は、テレビ会議用端末装置200,200A,200Bのいずれかから入力される音声を文字情報に変換し、文字情報のうちからユーザ識別情報を抽出し、抽出されたユーザ識別情報に基づいて、文字情報を出力する。このため、文字情報がユーザ識別情報に基づいて出力されるので、出力を制限することができる。
【0089】
また、抽出されたユーザ識別情報のユーザが、MFP100を操作する際に、認証されることを条件に、文字情報が出力される。このため、認証されたユーザのユーザ識別情報を発話した音声が含まれなければ音声から変換された文字情報の画像が形成されないので、外部から入力される音声で、その音声を変換した文字情報の出力を指示することができる者を制限することができる。
【0090】
また、音声を変換した文字情報が、文字情報から抽出されたユーザ識別情報に関連付けられた送信先情報に基づいて送信されるので、音声を変換した文字情報を自動的に送信することができる。
【0091】
さらに、音声を変換した文字情報が、文字情報から抽出されたユーザ識別情報に関連付けられたBOX識別情報で特定されるBOXに記憶されるので、音声を変換した文字情報を自動的に記憶することができる。
【0092】
さらに、音声を変換した文字情報が、文字情報から抽出されたコマンドに対して予め定められた出力方法で文字情報を含む議事録93が出力される。コマンドが送信コマンドならば議事録93が送信され、記憶コマンドならば議事録93が記憶され、認証出力コマンドならばMFP100を操作するユーザが認証されることを条件に議事録93の画像が出力される。このため、文字情報の出力方法を音声に含めることができるので、出力時における設定を容易にすることができる。
【0093】
さらに、音声を変換した文字情報を含む議事録93が、文字情報から抽出された送信先情報に基づいて、送信されるので、音声を変換した文字情報を含む議事録93を自動的に送信することができる。
【0094】
なお、上述した実施の形態においては、議事録作成システム1に含まれるデータ処理装置としてのMFP100について説明したが、図8および図9に示した処理を実行するための音声変換方法または音声変換方法をコンピュータに実行させるための音声変換プログラムとして発明を捉えることができるのは言うまでもない。
【0095】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【0096】
<付記>
(1) ユーザのユーザ識別情報と、該ユーザの声紋情報とを関連付けて記憶するユーザ情報記憶手段と、
前記取得された音声を前記記憶された声紋情報を用いて解析し、発話者を特定する発話者特定手段と、をさらに備え、
前記音声から変換された文字情報のうち前記特定された発話者が発生した文字列に該発話者のユーザ識別情報を付加する発話者特定手段と、をさらに備えた、請求項1に記載のデータ処理装置。
(2) 前記ユーザ識別情報と、データを送信するための送信先情報とを関連付けて記憶するユーザ記憶手段をさらに備え、
前記送信手段は、前記抽出されたユーザ識別情報に関連付けて記憶された前記送信先情報に基づいて、前記文字情報を送信する、請求項3に記載のデータ処理装置。
(3) 前記記憶領域に割り当てられたユーザ識別情報のユーザが前記認証手段により認証されることを条件に、前記認証されたユーザに関連付けられた前記記憶領域へのアクセスを許可するアクセス許可手段を、さらに備えた、請求項4に記載のデータ処理装置。
(4) 前記コマンド抽出手段は、開始コマンドと終了コマンドとを抽出し、
前記ユーザ抽出手段は、前記開始コマンドと終了コマンドとの間に位置する文字列をユーザ識別情報として抽出する、請求項5に記載のデータ処理装置。
(5) ユーザを認証する認証手段と、
ユーザ識別情報と関連付けられた記憶領域を有し、データを記憶する記憶手段と、をさらに備え、
前記出力制御手段は、前記抽出されたユーザ識別情報のユーザが前記認証手段により認証されることを条件に、前記文字情報を出力する条件付出力手段と、
前記抽出されたユーザ識別情報のユーザに前記文字情報を送信する送信手段と、
前記抽出されたユーザ識別情報に関連付けられた前記記憶領域に前記文字情報を記憶する記憶制御手段とを含み、
前記コマンドに基づいて、前記条件付出力手段、送信手段および記憶制御手段のいずれかを能動化する、請求項5または(4)に記載のデータ処理装置。
(6) 前記送信先情報は、メーリングリストを含み、
前記送信手段は、前記メーリングリストを宛先とし、前記文字情報を含む電子メールを送信する、請求項6に記載のデータ処理装置。
【図面の簡単な説明】
【0097】
【図1】本発明の実施の形態における議事録作成システムの全体概要を示す図である。
【図2】MFPの外観を示す斜視図である。
【図3】MFPのハードウェア構成の一例を示すブロック図である。
【図4】テレビ会議用端末装置の機能概要の一例を示す機能ブロック図である。
【図5】MFPが備えるCPUの機能の一例をHDDに記憶される情報とともに示す機能ブロック図である。
【図6】ユーザ管理レコードのフォーマットの一例を示す図である。
【図7】対応レコードのフォーマットの一例を示す図である。
【図8】議事録出力処理の流れの一例を示すフローチャートである。
【図9】認証出力処理の流れの一例を示すフローチャートである。
【符号の説明】
【0098】
1 議事録作成システム、2 ネットワーク、9 操作パネル、10 ADF、20 画像読取部、30 画像形成部、40 給紙部、51 音声取得部、53 音声変換部、53 音声変換部、55 話者特定部、57 コマンド抽出部、59 ユーザ抽出部、60 ファクシミリ部、61 議事録生成部、63 出力制御部、65 記憶部、67 送信部、69 認証出力部、71 認証部、91 ユーザ管理テーブル、93 議事録、95 対応テーブル、101 メイン回路、111 CPU、112 RAM、113 EEPROM、114 表示部、115 操作部、116 HDD、117 データ通信制御部、119A メモリカード、200,200A,200B テレビ会議用端末装置、201 制御部、203 投影部、204 カメラ、205 操作パネル、208 マイクロフォン、209 スピーカ、207 ネットワークI/F。

【特許請求の範囲】
【請求項1】
外部から入力される音声を取得する音声取得手段と、
前記取得された音声を文字情報に変換する音声変換手段と、
前記文字情報のうちからユーザを識別するためのユーザ識別情報を抽出するユーザ抽出手段と、
前記抽出されたユーザ識別情報に基づいて、前記文字情報を出力する出力制御手段と、を備えたデータ処理データ処理装置。
【請求項2】
ユーザを認証する認証手段をさらに備え、
前記出力制御手段は、前記抽出されたユーザ識別情報のユーザが前記認証手段により認証されることを条件に、前記文字情報を出力する条件付出力手段を含む、請求項1に記載のデータ処理装置。
【請求項3】
前記出力制御手段は、前記抽出されたユーザ識別情報のユーザに前記文字情報を送信する送信手段を含む、請求項1に記載のデータ処理装置。
【請求項4】
ユーザ識別情報と関連付けられた記憶領域を有し、データを記憶する記憶手段をさらに備え、
前記出力制御手段は、前記抽出されたユーザ識別情報に関連付けられた前記記憶領域に前記文字情報を記憶する記憶制御手段を含む、請求項1に記載のデータ処理装置。
【請求項5】
前記文字情報のうちからコマンドを抽出するコマンド抽出手段をさらに備え、
前記出力制御手段は、前記抽出されたコマンドに対して予め定められた出力方法で、前記文字情報を出力する、請求項1に記載のデータ処理装置。
【請求項6】
外部から入力される音声を取得する音声取得手段と、
前記取得された音声を文字情報に変換する音声変換手段と、
前記文字情報のうちからデータを送信するための送信先情報を抽出する送信先抽出手段と、
前記抽出された送信先情報に基づいて、前記文字情報を送信する送信手段と、を備えたデータ処理装置。
【請求項7】
外部から入力される音声を取得するステップと、
前記取得された音声を文字情報に変換するステップと、
前記文字情報のうちからユーザを識別するためのユーザ識別情報を抽出するステップと、
前記抽出されたユーザ識別情報に基づいて、前記文字情報を出力するステップと、を含む音声変換方法。
【請求項8】
外部から入力される音声を取得するステップと、
前記取得された音声を文字情報に変換するステップと、
前記文字情報のうちからユーザを識別するためのユーザ識別情報を抽出するステップと、
ユーザを認証するステップと、
前記抽出されたユーザ識別情報に基づいて、前記文字情報を出力するステップと、をコンピュータに実行させる音声変換プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate


【公開番号】特開2009−277037(P2009−277037A)
【公開日】平成21年11月26日(2009.11.26)
【国際特許分類】
【出願番号】特願2008−128047(P2008−128047)
【出願日】平成20年5月15日(2008.5.15)
【出願人】(303000372)コニカミノルタビジネステクノロジーズ株式会社 (12,802)
【Fターム(参考)】