端末装置と通信制御方法
【課題】音声認識を利用することで、相手の会話の内容を明確に知ることができ、聴き取りが困難な環境下でも通話可能とする端末装置及び通信制御方法の提供。
【解決手段】圧縮符号化されて伝送された通話相手の音声信号を受信回路８で受信し、復調回路９及び伸長回路１０で復調及び伸長されたデジタル音声信号を受け取って音声認識し、テキストデータに変換する音声認識回路１５を備え、制御部１４は、音声認識回路１５で変換されたテキストデータを受けとり該テキストデータを表示部１６に表示させる制御を行う。
【解決手段】圧縮符号化されて伝送された通話相手の音声信号を受信回路８で受信し、復調回路９及び伸長回路１０で復調及び伸長されたデジタル音声信号を受け取って音声認識し、テキストデータに変換する音声認識回路１５を備え、制御部１４は、音声認識回路１５で変換されたテキストデータを受けとり該テキストデータを表示部１６に表示させる制御を行う。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、移動体通信システムに関し、特に、移動体通信網等において通話相手の会話を音声認識する機能を具備した端末装置及び通信制御方法に関する。
【０００２】
【従来の技術】移動体通信設備をなす基地局と無線回線にて接続し交換局、電話網等を介して接続相手の電話端末と接続する携帯電話装置（移動局（MS（mobile station）），あるいは「mobile phone」ともいう）等の通信端末装置を用いて、騒音環境で通話する場合、接続相手の通話内容が周囲騒音に妨害され、聞き取りにくい場合がある。騒音環境下でも、相手の会話の内容を知ることができ、聞き取りが困難な環境下でも通話可能とした携帯電話装置の実現により、その利用範囲、利便性を増大する。
【０００３】なお、音声信号を文字データに変換する音声認識手段を備えた携帯電話装置として、例えば特開平１１−１６８５５２号公報には、通話中の会話の内容等を録音する音声メモ機能を有する携帯電話装置において、音声データを文字データに変換する音声認識手段を備え、変換された文字データをメモリに書き込むことで、一件あたりの音声メモに必要なデータサイズを大幅に縮減するようにした携帯電話装置が開示されている。上記特開平１１−１６８５５２号公報に記載された装置は、音声メモ用のメモリの有効利用を図るために、文字データに変換してメモリに格納するというものであり、利用者が相手の会話を即時に出力するための手段を欠いている。
【０００４】
【発明が解決しようとする課題】したがって、本発明が解決しようとする課題は、音声認識を利用することで、相手の会話の内容を明確に知ることができ、例えば聞き取りが困難な環境下でも通話可能とする端末装置及び通信制御方法を提供することにある。
【０００５】
【課題を解決するための手段】上記課題を解決するための手段を提供する本発明に係る装置は、接続相手の端末と通話接続時に、音声認識モードに設定されている場合、前記接続相手の端末から送信された通話相手の音声をデジタル音声信号として受け取って音声認識しテキストデータに変換する音声認識手段と、前記音声認識手段で変換されたテキストデータを出力手段から出力させる制御を行う制御手段と、を備えている。
【０００６】本発明に係る装置においては、音声認識の開始を指示するための操作キーを備え、前記操作キーの操作を受けて、前記操作キーの操作時点から、前記通話相手の会話を、前記音声認識手段にて音声認識し、テキストデータへの変換を開始するように制御する手段を備えた構成としてもよい。
【０００７】本発明に係る装置においては、接続相手の音声信号を音声認識してテキストデータに変換する音声認識手段と、前記接続相手の音声信号の音声認識結果のテキストデータを前記接続相手の端末に送信する手段と、を備え、前記接続相手の端末から送信された音声認識結果のテキストデータを表示手段に表示する構成としてもよい。
【０００８】本発明に係る装置においては、利用者が音声入力手段より入力した音声を音声認識してテキストデータに変換する音声認識手段と、前記音声認識結果であるテキストデータを接続相手の端末に送信する手段と、を備えた構成としてもよい。
【０００９】本発明の他のアスペクトに係るシステムは、一の端末と他の端末との間で送受される音声信号を伝送する通信網上の少なくとも一のノードが、前記伝送される音声信号を受け取って音声認識しテキストデータに変換する手段を備え、前記変換されたテキストデータが、前記通信網上のノードから前記音声信号の受け手側の端末、又は、前記音声信号の受け手と送り手側の双方の端末に伝送される、構成とされている。
【００１０】本発明の他のアスペクトに係る通信制御方法は、互いに通信接続する複数の端末のうちの一の端末が、他の端末から送信された通話相手の音声を復調及び伸張してなるデジタル音声信号を受け取って音声認識しテキストデータに変換するステップと、前記一の端末において前記テキストデータを出力手段から出力するステップと、を有する。
【００１１】以下の実施の形態の説明からも、当業者には明らかであるように、上記課題は、特許請求の範囲の各請求項の発明によっても同様にして解決される。
【００１２】
【発明の実施の形態】本発明の実施の形態について説明する。本発明に係る端末装置は、その好ましい一実施の形態において、図１を参照すると、接続相手の端末と通話接続時、受信回路で受信された通話相手の会話の音声信号を、復調回路及び伸張回路で復調及び伸張したデジタル音声信号を受け取って音声認識し、テキストデータに変換する音声認識手段（１５）を備え、音声認識手段（１５）から出力されるテキストデータを受け取り、表示手段（１６）に供給して表示するように制御する制御手段（１４）を備えている。
【００１３】より詳細には、本発明に係る端末装置は、その好ましい一実施の形態において、図１を参照すると、音声入力手段（図１の７、２８）から入力されデジタル信号に変換された音声信号を圧縮して出力する音声圧縮手段（５）と、音声圧縮手段（５）からの出力信号を変調して出力する変調手段（４）と、変調手段の出力信号を受けて無線送信する無線送信手段（３、２、１）と、無線受信手段（１、２、８）で受信された信号を復調して出力する復調手段（９）と、復調手段（９）で復調された信号を受け取って伸張しデジタル音声信号を出力する音声伸張手段（１０）と、音声伸張手段（１０）から出力されるデジタル音声信号を音声認識してテキストデータに変換して出力する音声認識手段（１５）と、前記音声伸張手段（１０）から出力されるデジタル音声信号をアナログ信号に変換した信号を受け取って音声出力する音声出力手段（１２、２８）と、音声認識モードに設定されている場合に、前記音声伸張手段（１０）で伸張されたデジタル音声信号は、音声認識手段（１５）に入力されて音声認識が行われ、音声認識手段（１５）から出力されるテキストデータを、表示手段（１６）に供給して表示させる制御を行う制御手段（１４）と、を備えている。
【００１４】本発明に係る端末装置は、その好ましい一実施の形態において、操作キーとして、音声認識開始ボタン（１７）を備えており、音声認識開始ボタン（１７）が押下された際に、制御手段（１４）は、このボタンの押下時点からの通話相手の会話を、音声認識手段（１５）にて音声認識し、テキストデータへの変換を開始するように制御する。
【００１５】あるいは、本発明に係る端末装置は、その好ましい一実施の形態において、周囲の騒音レベルを監視し騒音レベルが所定の閾値を超えたと判断したとき、自動で、音声認識手段（１５）による音声認識処理を起動する構成としてもよい。
【００１６】さらに、本発明に係る端末装置は、その好ましい別の実施の形態において、図３を参照すると、通話相手の会話を音声認識してテキストデータに変換する音声認識手段（１５）と、通話相手の会話の音声認識結果を、テキストデータにて通話相手の端末に送信する手段（１４、２４）を備え、テキストデータを受け取った通話相手の端末では、その表示手段（１６）に、前記テキストデータが表示される。本発明に係る端末装置は、その好ましい別の実施の形態において、携帯テレビ電話機能付きである場合に、音声認識結果のテキストデータを接続相手の端末に送信される映像情報に多重して、前記接続相手の端末に送信する。
【００１７】より詳細には、本発明に係る端末装置の別の実施の形態において、図３を参照すると、入力された音声信号を音声認識しテキストデータに変換して出力する音声認識手段（１５）と、音声認識結果のテキストデータと、映像入力手段（２１）から入力され第１のアナログデジタル変換手段（２０）でデジタル信号に変換された映像情報とを入力しこれらを多重して出力する第１の多重手段（２４）と、第１の多重手段（２４）の出力を受けて圧縮する映像圧縮手段（１９）と、音声入力手段（７、２８）から入力され第２のアナログデジタル変換手段（６）でデジタル信号に変換された音声信号を圧縮する音声圧縮手段（５）と、映像圧縮手段（１９）の出力と音声圧縮手段（５）の出力とを入力しこれらを多重して出力する第２の多重手段（１８）と、第２の多重手段（１８）の出力を変調する変調手段（４）と、変調手段（４）の出力を受けて無線送信する無線送信手段（３、２、１）と、無線受信手段（１、２、８）で受信された信号を復調する復調手段（９）と、復調手段（９）で復調された信号を入力し映像信号と音声信号とに分離して出力する分離手段（２２）と、分離手段（２２）で分離された映像信号を受け取り該映像信号を伸張して出力する映像伸張手段（２３）と、分離手段（２２）で分離された前記音声信号を受け取り前記音声信号を伸張して出力する音声伸張手段（１０）と、映像伸張手段（２３）で伸張されたデジタル映像信号をアナログ映像信号に変換する第１のデジタルアナログ変換手段（２５）と、第１のデジタルアナログ変換手段（２５）からのアナログ映像信号を表示する表示手段（１６）と、音声伸張手段（１０）で伸張されたデジタル音声信号をアナログ音声信号に変換する第２のデジタルアナログ変換手段（１１）と、第２のデジタルアナログ変換手段（１１）からの音声信号を出力する音声出力手段（１２、２８）と、を備え、音声認識モードに設定されている場合、音声伸張手段（１０）で伸張されたデジタル音声信号は、音声認識手段（１５）に入力されて音声認識が行われ、音声認識手段（１５）から出力されるテキストデータを、第１の多重手段（２４）に供給するように制御する制御手段（１４）を備えている。この実施の形態においても、音声認識開始ボタン（１７）が押下された場合に、音声認識手段（１５）によって音声認識が行われる。
【００１８】本発明は、第３の実施の形態において、図７R>７を参照すると、音声入力手段（７、２８）から入力されアナログデジタル変換手段（６）でデジタル信号に変換された音声信号を圧縮して出力する音声圧縮手段（５）と、デジタル信号に変換された音声信号を音声認識してテキストデータに変換して出力する音声認識手段（１５）と、音声圧縮手段（５）の出力を変調する第１の変調手段（４）と、テキストデータを変調する第２の変調手段（３１）と、第１、第２の変調手段（４、３１）の出力を受けて多重する多重手段（３０）と、多重手段（３０）の出力を受けて無線送信する無線送信手段（３、２、１）と、無線受信手段（１、２、８）で受信された信号をテキストデータと音声データに分離する分離手段（３３）と、分離手段（３３）で分離された前記音声信号を受け取り前記音声信号を復調する第１の復調手段（９）と、分離手段（３３）で分離された前記テキストデータを受け取り復調する第２の復調手段（３２）と、前記第１の復調手段の出力を伸張して出力する音声伸張手段（１０）と、音声伸張手段（１０）で伸張されたデジタル音声信号をデジタルアナログ変換手段（１１）でアナログ信号に変換した信号を入力して出力する音声出力手段（１２、２８）と、を備え、第２の復調手段（３２）は復調したテキストデータを、制御手段（１４）にわたし、制御手段（１４）は、第２の復調手段（３２）で復調したテキストデータを受け取り、表示手段（１６）にテキストデータを表示し、前記第２の変調手段（３１）に供給し、音声認識手段（１５）からのテキストデータを前記第２の変調手段（３１）に供給する制御を行う。
【００１９】さらに本発明は、第４の実施の形態において、図１０を参照すると、音声入力手段（７、２８）から入力されアナログデジタル変換手段（６）でデジタル信号に変換された音声信号を圧縮して出力する音声圧縮手段（５）と、デジタル信号に変換された音声信号を音声認識してテキストデータに変換して出力する音声認識手段（１５）と、前記テキストデータと、映像入力手段（２１）から入力されアナログデジタル変換手段（２０）でデジタル信号に変換された映像情報と、を入力し、これらを多重して出力する第１の多重手段（２４）と、第１の多重手段（２４）の出力を受けて圧縮して出力する映像圧縮手段（１９）と、前記映像圧縮手段の出力と前記音声圧縮手段の出力とを入力し、これらを多重して出力する第２の多重手段（１８）と、第２の多重手段（１８）の出力を変調する変調手段（４）と、変調手段（４）の出力を受けて無線送信する無線送信手段（３、２、１）と、無線受信手段（１、２、８）で受信された信号を復調する復調手段（９）と、復調手段（９）で復調された信号を入力し映像信号と音声信号とに分離して出力する分離手段（２２）と、分離手段（２２）で分離された前記映像信号を受け取り前記映像信号を伸張して出力する映像伸張手段（２３）と、分離手段（２２）で分離された前記音声信号を受け取り前記音声信号を伸張して出力する音声伸張手段（１０）と、映像伸張手段（２３）で伸張されたデジタル映像信号をデジタルアナログ変換手段（２５）でアナログ信号に変換した信号を入力して表示する表示手段（１６）と、前記音声伸張手段で伸張されたデジタル音声信号をデジタルアナログ変換手段（１１）でアナログ信号に変換した信号を入力して出力する音声出力手段（１２）と、音声認識モードに設定されている場合、音声認識手段（１５）に入力されて音声認識が行われたテキストデータを入力し前記第１の多重手段（２４）に供給する制御を行う制御手段（１４）を備えている。制御手段（１４）は、テキストデータを表示手段（１６）にも出力する。
【００２０】本発明は、第５の実施の形態において、図１３１３を参照すると、通信網上の一ノードをなす交換局（３６）で、音声通話接続がなされている音声信号を入力して音声認識し、音声認識結果であるテキストデータを、音声信号に多重して、音声信号の受け手側の端末と、音声信号の送り手側の端末に送信する手段（４２、４３、３８、３９）を備えている。あるいは、音声認識を端末側で行い、端末のバットリ残量あるいは負荷状況に応じて、もしくは端末からの要求に応じて、通信網上で音声認識を行うように切替制御する構成としてもよい。
【００２１】本発明に係る方法は、その一実施の形態において、以下のステップよりなる。
【００２２】ステップ１：互いに通信接続する複数の端末のうち一の端末が、他の端末から送信された通話相手の音声を復調及び伸張してなるデジタル音声信号を受け取って音声認識しテキストデータに変換する。
【００２３】ステップ２：一の端末においてテキストデータを表示部に表示する。
【００２４】さらに次のステップ３を有する構成としてもよい。
【００２５】ステップ３：前記一の端末が前記テキストデータを前記他の端末に送信する。これにより、通話相手の会話を音声認識した結果が前記通話相手に返送され、通話相手は、端末上で、通話相手の会話の内容を確認することができる。
【００２６】本発明に係る方法は、他の実施の形態において、以下のステップよりなる。
【００２７】ステップ１：利用者の端末より利用者が入力した音声を音声認識してテキストデータに変換する。
【００２８】ステップ２：前記音声認識結果であるテキストデータを接続相手の端末に送信する。
【００２９】本発明に係る方法の前記他の実施の形態において、上記音声認識結果であるテキストデータは、利用者の端末の表示部に表示される。また接続相手の端末では、前記利用者の端末より送信されたテキストデータが表示部に表示される。また利用者の端末より、音声認識結果であるテキストデータは、接続相手の端末に送信される音声信号又は映像信号に多重して、接続相手の端末に送信される。
【００３０】
【実施例】本発明の実施の形態についてさらに詳細に説明すべく、本発明の実施例について図面を参照して説明する。以下では、本発明が実施される端末装置として携帯電話装置を用いた例に即して説明する。図１は、本発明の第１の実施例の構成を示す図である。
【００３１】図１を参照すると、本発明の第１の実施例をなす携帯電話装置は、送受信兼用のアンテナ１と、送信信号と受信信号を切り換えるアンテナスイッチ２と、送信する音声信号を入力するマイクロホン７と、マイクロホン７からのアナログ音声信号をデジタル変換するＡ／Ｄコンバータ６と、Ａ／Ｄコンバータ６から出力されるデジタル音声信号を圧縮する音声圧縮回路５と、音声圧縮回路５から出力される送信信号をＱＰＳＫ（Quadrature Phase Shift Keying）変調する変調回路４と、変調回路４から出力される送信信号を送信周波数に変換する送信部３と、を備えている。さらに、本発明の第１の実施例をなす携帯電話装置は、受信電波の増幅と周波数同調検波を行う受信回路８と、受信回路８からの信号をＱＰＳＫ復調する復調回路９と、復調回路９から出力される圧縮音声信号を伸張する音声伸張回路１０と、音声伸張回路１０から出力されるデジタル受信音声信号をアナログ音声信号に変換するＤ／Ａコンバータ１１と、Ｄ／Ａコンバータ１１から出力されるアナログ信号を受け、音声信号を出力するスピーカ１２と、音声伸張回路１０で伸張された信号（通話相手からのデジタル受信音声信音）を入力して音声認識を行いテキストデータに変換する音声認識回路１５と、制御部１４からの文字や画像を表示するＬＣＤ（Liquid Crystal Display）等の表示部１６と、全体の制御を行う制御部１４と、キー、ボタン等を有する操作部１３と、音声認識を開始する音声認識開始ボタン１７と、周囲騒音が大きいときに、利用者が装着して通話を行うためのイヤホンマイク２８と、を備えている。以下の実施例において、音声認識回路１５は、音響特徴量を抽出し辞書とのマッチングをとる公知の音声認識エンジンよりなり、特定話者、及び不特定話者に対応可能な構成とされている。
【００３２】図２は、本発明の一実施例の携帯電話装置の外観を示す正面図である。図２において、騒音環境等で通話する通話者の携帯電話端末２６であり、参照符号は、図１と対応しており、１は送受信兼用のアンテナ、７はマイクロホン、１２はスピーカ、１３は操作部、１６は表示部、１７は音声認識開始ボタン、２８はイヤホンである。通話相手の話す音声信号を音声認識により、テキストに変換して、表示部１６に２７（「さんじにあおう」）のように表示を行う。
【００３３】本発明の一実施例の携帯電話装置の動作について説明する。まず、本発明の一実施例の携帯電話装置の送信動作について説明する。この携帯電話装置は、基地局、基地局制御局を介して移動体交換局との間で通話チャネルが確立され、さらに接続先と通信接続がなされているものとする。図１において、マイクロホン７、イヤホンマイク２８からのアナログ音声信号はＡ／Ｄコンバータ６でデジタル音声信号に変換され、音声圧縮回路５で帯域圧縮され、変調回路４でＱＰＳＫ変調され、送信回路３で送信周波数に変換され増幅され、アンテナスイッチ２を経由してアンテナ部１より無線送信される。
【００３４】次に、本発明の一実施例の携帯電話装置の受信動作について説明する。アンテナ１で受信された通信電波は、アンテナスイッチ２を経て、受信回路８に入力され、受信回路８にて、受信電波の増幅と周波数同調が行われ、受信回路８から取り出された変調信号は、復調回路９に送られる。
【００３５】復調回路９でＱＰＳＫ復調されたデジタル音声信号は、伸張回路１０で伸張され、Ｄ／Ａコンバータ１１でアナログ音声信号に変換されてスピーカ１２から出力される。
【００３６】図５は、本発明の一実施例の携帯電話装置を用いて音声認識を行う場合の通話開始からの動作を示したフローチャートである。図１及び図５を参照して、本発明の一実施例の携帯電話装置で音声認識を行う場合の処理を説明する。通話を開始したとき、騒音環境か否かを通話者が判断し（ステップＳ１）、騒音環境になく、通話相手の会話が明瞭に聞き取ることができるときは、そのまま通話を継続する（ステップＳ３）。
【００３７】一方、通話者が騒音環境にあると判断したときには、通話者は、イヤホンマイク２８を装着する（ステップＳ２）。イヤホンマイク２８を装着したとき、通話相手の会話が明瞭に聞こえるときは、そのまま会話を続ける（ステップＳ６）。
【００３８】通話者がイヤホンマイク２８を使っても、通話相手の声が明瞭に聞き取ることができないときは、通話者は音声認識開始ボタン１７を押下し（ステップＳ５）、音声認識部１５で通話相手の声の音声認識を開始し、認識結果を、テキスト表示２７として、携帯電話装置の表示部１６の画面に表示する（ステップＳ７）。
【００３９】このとき、通話相手の通話データが、受信回路８で受信され、復調回路９でＱＰＳＫ復調された後、伸張回路１０で帯域伸張され、伸張されたデジタル音声データが音声認識部１５に入力されて、音声認識処理が行われ、その音声認識結果は、制御部１４により、表示部１６の画面上に、図２の２７のようにテキスト表示される。
【００４０】なお、音声認識開始ボタン１７の押下によって音声認識部１５での音声認識を起動するというマニュアル操作の代わりに、携帯電話装置内部で背景の騒音の音量（雑音レベル）等を監視し、雑音レベルを予め定められた閾値と比較判定し、雑音レベルが閾値を超えている場合に、音声認識部１５による音声認識とテキスト表示を行うように自動で制御する構成としてもよい。あるいは、イヤホンマイクの装着を検出し、音声認識部１５による音声認識とテキスト表示を行うようにしてもよい。
【００４１】テキスト表示は、表示部１６の一行に横スクロールで表示する代わりに、表示画面中の所定のウインドウに複数行にわたって縦にスクロール表示するようにしてもよい。
【００４２】さらに音声認識結果であるテキストデータを、図示されないメモリに格納しておき、後に、電子メールで送信する等の機能を具備してもよい。
【００４３】次に、本発明の第２の実施例について説明する。本発明の第２の実施例の携帯電話装置は、携帯テレビ電話を用いて、音声認識を用いた騒音環境にある携帯テレビ電話を実現したものである。図３は、本発明の第２の実施例の携帯電話装置の構成を示す図であり、図４R>４は、その外観を示す正面図である。
【００４４】図３を参照すると、本発明の第２の実施例をなす携帯テレビ電話装置は、送受信兼用のアンテナ１と、送信信号と受信信号を切り換えるアンテナスイッチ２と、送信するための映像を撮影するカメラ２１と、カメラ２１からのアナログ映像信号をデジタル信号に変換するＡ／Ｄコンバータ２０と、音声認識の結果得られたテキストデータを映像信号に重畳する（例えばテキストデータを予め決められたタイミング（画面上の位置及び大きさ）でビデオ信号にスーパーインポーズする）多重回路２４と、Ａ／Ｄコンバータ２０から出力されるデジタル映像信号を圧縮する映像圧縮回路１９と、送信する音声信号を入力するマイクロホン７と、マイクロホン７、イヤホンマイク２８からのアナログ音声信号をデジタル変換するＡ／Ｄコンバータ６と、Ａ／Ｄコンバータ６から出力されるデジタル音声信号を圧縮する音声圧縮回路５と、映像圧縮回路１９からの映像信号と音声圧縮回路５からの音声信号を多重する多重回路１８と、多重回路１８から出力される送信信号をＱＰＳＫ変調する変調回路４と、変調回路４から出力される送信信号を送信周波数に変換する送信回路３と、を備えている。
【００４５】さらに、第２の実施例の携帯テレビ電話装置は、受信電波の増幅と周波数同調検波を行う受信回路８と、受信回路８からの信号をＱＰＳＫ復調する復調回路９と、復調回路９で復調された信号を入力し音声信号と映像信号を分離する分離回路２２と、分離回路２２で分離された圧縮音声信号を伸張する音声伸張回路１０と、音声伸張回路１０から出力されるデジタル化されている受信音声信号をアナログ音声信号に変換するＤ／Ａコンバータ１１と、音声信号を出力するスピーカ１２と、分離回路２２で分離された圧縮映像信号を伸張する映像伸張回路２３と、映像伸張回路２３から出力されるデジタル化されている受信映像信号をアナログ映像信号に変換するＤ／Ａコンバータ２５と、受信映像や制御部１４からの文字や映像を表示する表示部１６と、全体の制御を行う制御部１４と、携帯電話の操作回路１３と、通話相手からのデジタル音声信号を音声認識を行うことにより、テキストデータに変換する音声認識回路１５と、音声認識を開始する音声認識開始ボタン１７と、を備えている。
【００４６】図４には、本発明の第２の実施例として、騒音環境で通話する通話者の携帯テレビ電話装置２６Ａ（図４（ｂ）参照）と、通話相手の携帯テレビ電話装置２６Ｂ（図４（ａ）参照）が示されている。携帯テレビ電話装置２６Ａは、通話相手の話す音声信号を音声認識により、テキストデータに変換して、表示部１６に符号２７に示すように表示を行うと同時に、通話相手の携帯テレビ電話装置２６Ｂにテキストデータを送信し、携帯テレビ電話装置２６Ｂにも、表示部１６に符号２９に示すように表示を行う。
【００４７】本発明の第２の実施例の携帯テレビ電話装置の動作について、図３を参照して説明する。本発明の第２の実施例における携帯テレビ電話装置の送信動作は次のようにして行われる。マイクロホン７、イヤホンマイク２８からのアナログ音声信号はＡ／Ｄコンバータ６でデジタル信号に変換され、音声圧縮回路５で帯域圧縮される。ビデオカメラ２１で撮影されたアナログ映像信号は、Ａ／Ｄコンバータ２０でデジタル信号に変換され、映像圧縮回路１９で帯域圧縮される。帯域圧縮された映像信号は、多重回路１８で、圧縮された音声信号と多重され、以降は、音声通話のみの前記実施例の場合と同様の経路で送信される。
【００４８】次に本発明の第２の実施例における携帯テレビ電話装置の受信動作について説明する。受信された音声信号は、受信回路８、復調回路９を経て、分離回路２２を経由し、分離回路２２で分離された音声信号は音声伸張回路１０で伸張され、Ｄ／Ａコンバータ１１でアナログ音声信号に変換されてスピーカ１２から出力される。
【００４９】分離回路２２で音声信号から分離された映像信号は、映像伸張回路２３で、送信時圧縮された映像信号を伸張する。
【００５０】映像伸張回路２３で伸張されたデジタル映像信号は、Ｄ／Ａコンバータ２５でアナログ映像信号に変換され、表示部１６に表示される。
【００５１】図６は、本発明の第２の実施例の携帯テレビ電話装置が、通話開始からの動作を示したフローチャートである。図３、図４、及び図６を参照して、本発明の第２の実施例の動作について説明する。通話を開始したとき、騒音環境かどうかを通話者が判断し（図６のステップＳ１）、騒音環境になく、通話相手の会話が明瞭に聞き取ることができるときは、そのまま通話を継続する（ステップＳ３）。騒音環境にあると判断したときには、通話者はイヤホンマイク２８を装着する（ステップＳ２）。通話者がイヤホンマイク２８を装着したとき、通話相手の会話が明瞭に聞こえるときはそのまま会話を続ける（ステップＳ６）。
【００５２】通話者がイヤホンマイク２８を使っても通話相手の声が明瞭に聞き取ることができないときは（ステップＳ４のＮＯ分岐）、音声認識開始ボタン１７を押下して（ステップＳ５）、通話相手の声の音声認識を開始し、その結果をテキスト表示２７として携帯電話装置２６の表示部１６に表示する（ステップＳ７）。
【００５３】通話相手の通話データが、受信回路８で受信され、復調回路９でＱＰＳＫ復調された後、伸張回路１０で帯域伸張され、伸張されたデジタル音声データは、音声認識部１５で音声認識処理が行われ、その結果は、制御部１４により、表示部１６において、図４（ｂ）の２７のようにテキスト表示される。
【００５４】また、テレビ電話モードに設定されている場合において（ステップＳ８のＹＥＳ分岐）、送信映像にテキストを重畳する場合（ステップＳ９のＹＥＳ分岐）、制御部１４により、ビデオカメラ２１で撮影され、Ａ／Ｄコンバータ２０でデジタル変換された映像信号に、音声認識されたテキスト信号がテキスト多重回路２４で、重畳される。
【００５５】テキストが重畳された映像信号は、通話相手の携帯電話装置に送られ、図４（ａ）の２９のように表示される（ステップＳ１０）。テレビ電話モードに設定されていない場合（ステップＳ８のＮＯ分岐）と、テレビ電話モードに設定されているが、送信映像に重畳しない場合（ステップＳ９のＮＯ分岐）、テキストの映像信号への重畳、通話相手の携帯電話装置への送信は行われない（ステップＳ１１）。
【００５６】なお上記実施例において、音声認識開始ボタン１７を再度押下することで、音声認識機能を停止させるように制御してもよいことは勿論である。
【００５７】上記した本発明の第１、第２の実施例の作用効果について説明する。
【００５８】本発明の実施例においては、デジタル移動体通信網を介して伝送された通話相手の音声信号から、テキストデータに変換する音声認識手段を備え、通話相手の音声は、圧縮符号化されたデジタルデータとして伝送されてくるため、アナログからデジタルに変換する必要がなく、そのまま、音声認識し、テキストデータに変換することができる。
【００５９】音声信号から、音声認識手段により変換された、テキストデータを表示手段で表示することにより、通話相手の会話内容を理解するための補助データとすることができ、騒音環境でも会話を行うことができる。
【００６０】通話中に、操作キーを制御することにより、その時点からの通話相手の会話を音声認識によりテキストデータへの変換を開始する操作キーを備え、騒音環境で通話中、相手の会話内容が聞き取ることができない場合、キー入力により簡易に、音声認識を開始することができる。
【００６１】上記実施例によれば、通話相手の会話を音声認識によりテキストデータへの変換をし、表示部に表示することにより、騒音環境下で音声通話の理解しにくい部分を、音声認識されたテキスト表示を見ることにより、通話相手の会話の内容の理解を助けることができる。また、かかるテキスト表示機能は、聴覚障害者、難聴のユーザに対しても、携帯電話装置の利便性を向上している。
【００６２】通話相手の会話を音声認識によりテキストデータへの変換をし、そのテキストデータを通話相手にも伝送し、通話相手の端末の表示部に表示することができる構成とされ、騒音環境下にいる通話者の携帯電話装置に表示されている相手の通話を音声認識し変換後のテキストデータを通話相手の電話機に伝送して表示し、通話相手側でも、自分が話した内容を、テキストに変換されている内容を通して確認することができる。
【００６３】携帯テレビ電話装置を利用したテレビ会議等において、通話相手の音声認識結果であるテキストデータを、図示されないメモリに格納しておき，後に、会議の議事録の一部として利用することもできる。このテキストデータを電子メールで配布してもよい。
【００６４】なお、接続相手に伝送される音声認識結果のテキストデータは、音声情報、映像情報等に多重化して情報チャネル（ＴＣＨ）を用いて転送される。音声認識結果のテキストデータは例えば日本語１文字（例えばＪＩＳ）で２バイト、英数字等は１文字で１バイトと、そのデータ容量（バイト数）は小さいことから、情報チャネルで本来転送されるべき情報を圧迫することはない。また音声認識結果のテキストデータは、基地局と携帯電話装置との間の無線チャネルのうち、制御チャネル（ＣＣＨ）等に付加して伝送してもよい。
【００６５】次に本発明の第３の実施例について説明する。前記第１及び第２の実施例では、騒音環境下にある携帯電話装置の側で受信音声の音声認識を行っているが、送信側の端末で話者が入力した音声を認識し、音声認識の結果得たテキストデータを、制御チャネルを用いて、あるいは、音声信号に多重し、騒音環境下の携帯電話に送り、表示するようにしている。
【００６６】図７は、本発明の第３の実施例の構成を示す図である。図７を参照すると、本発明の第３の実施例をなす携帯電話装置は、送受信兼用のアンテナ１と、送信信号と受信信号を切り換えるアンテナスイッチ２と、送信する音声信号を入力するマイクロホン７と、マイクロホン７からのアナログ音声信号をデジタル変換するＡ／Ｄコンバータ６と、Ａ／Ｄコンバータ６から出力されるデジタル音声信号を圧縮する音声圧縮回路５と、音声圧縮回路５から出力される送信信号を例えばＱＰＳＫ変調する変調回路４と、制御部１４から出力されるテキストデータを受け取り変調する変調回路３１と、変調回路４からの信号と変調回路３１から出力されるテキスト変調信号を入力して多重化して出力する多重回路３０と、多重回路３０から出力される送信信号を送信周波数に変換する送信部３と、を備えている。
【００６７】さらに、この第３の実施例の携帯電話装置は、受信電波の増幅と周波数同調検波を行う受信回路８と、受信回路８からの信号を音声変調信号とテキスト変調信号に分離する分離回路３３と、分離回路３３で分離された音声変調信号をＱＰＳＫ復調する復調回路９と、分離回路３３で分離されたテキスト変調信号を復調する復調回路３２と、復調回路９から出力される圧縮音声信号を伸張する音声伸張回路１０と、音声伸張回路１０から出力されるデジタル受信音声信号をアナログ音声信号に変換するＤ／Ａコンバータ１１と、Ｄ／Ａコンバータ１１から出力されるアナログ信号を受け、音声信号を出力するスピーカ１２と、Ａ／Ｄコンバータ６から出力されるデジタル音声信号を入力して音声認識を行いテキストデータに変換する音声認識回路１５と、制御部１４からの文字や画像を表示する、ＬＣＤ（Liquid Crystal Display）等の表示部１６と、キー、ボタン等を有する操作部１３と、音声認識を開始する音声認識開始ボタン１７と、利用者が装着して通話を行うためのイヤホンマイク２８と、全体の制御を行う制御部１４とを備えている。制御部１４は、音声認識開始ボタン１７の入力、操作部１３の入力を受け取る。また制御部１４は、復調回路３２で復調されたテキストデータを受け取り、表示部１６への表示を制御する。また制御部１４は、音声認識回路１５で音声認識されたテキストデータを受け取り、表示部１６へ出力する。制御部１４は、音声認識回路１５で音声認識されたテキストデータを変調回路３１へ出力する。
【００６８】図８は、本発明の第３の実施例の携帯電話装置の外観を示す図である。図８の２６Ｃは、マイクロホン７からの音声入力を音声認識して送信する側の携帯電話装置、２６Ｄは、騒音下にありイヤホンマイク２８を用いて通話し、携帯電話装置２６Ｃから音声認識されたテキストデータを表示部１６に表示している携帯電話装置である。なお、携帯電話装置の参照符号は図５に示したものと同様とされる。図９は、本発明の第３の実施例の動作を説明するための流れ図である。
【００６９】図７乃至図９を参照すると、騒音環境にあり、イヤホンマイク２８を装着した状態で、相手の声が明瞭に聞こえない場合（図９のステップＳ４がＮＯの場合）、通話相手の携帯電話装置の音声認識開始ボタン１７を押してもらう（ステップＳ１２）。
【００７０】すると、相手端末において、マイクロホン７からのアナログ音声信号がＡ／Ｄコンバータ６でデジタル変換された後、音声認識部１５で音声認識され、認識された結果であるテキストデータは制御部１４を経由し、図８（ａ）に示すように、端末２６Ｃにおいて、表示部１６に、符号２９で示すように表示される（ステップＳ１３）。
【００７１】テキストデータは、変調回路３１で変調され多重回路３０で変調された音声信号と多重される。多重された信号は送信回路３で送信周波数に変換され、増幅されてアンテナスイッチ２を経由してアンテナ部１より送信される。
【００７２】騒音環境下の端末では、アンテナ１で受信した通信電波はアンテナスイッチ２を経て受信回路８に入力される。受信回路８で受信電波の増幅と周波数同調が行われる。受信回路８から取り出された後、変調信号は分離回路３３で音声変調信号とテキスト変調信号とに分離される。分離されたテキスト変調信号は、復調回路３２でテキストデータに復調され、復調されたテキストデータは、図８（ｂ）に示すように、端末２６Ｄにおいて、制御部１４を経由して表示部１６で符号２７で示すように表示される。
【００７３】次に、本発明の第４の実施例について説明する。この第４の実施例は、前記第３の実施例の機能を、携帯テレビ電話の場合に適用したものである。図１０R>０は、本発明の第４の実施例の携帯電話装置の構成を示す図であり、図１１は、その外観の一例を示す正面図である。
【００７４】図１０を参照すると、本発明の第４の実施例をなす携帯テレビ電話装置は、送受信兼用のアンテナ１と、送信信号と受信信号を切り換えるアンテナスイッチ２と、送信するための映像を撮影するビデオカメラ２１と、ビデオカメラ２１からのアナログ映像信号をデジタル信号に変換するＡ／Ｄコンバータ２０と、送信する音声信号を入力するマイクロホン７と、マイクロホン７又はイヤホンマイク２８からのアナログ音声信号をデジタル変換するＡ／Ｄコンバータ６と、Ａ／Ｄコンバータ６から出力されるデジタル音声信号を圧縮する音声圧縮回路５と、Ａ／Ｄコンバータ６から出力されるデジタル音声信号を音声認識してテキストデータに変換し制御部１４に出力する音声認識回路１５と、制御部１４から供給される音声認識結果であるテキストデータを、Ａ／Ｄコンバータ２０から出力されるデジタル映像信号に重畳するテキスト多重回路２４と、テキスト多重回路２４から出力されるデジタル映像信号を圧縮する映像圧縮回路１９と、映像圧縮回路１９からの映像信号と、音声圧縮回路５からの音声信号を多重する多重回路１８と、多重回路１８から出力される送信信号をＱＰＳＫ変調する変調回路４と、変調回路４から出力される送信信号を送信周波数に変換する送信回路３と、を備えている。
【００７５】さらに、この第４の実施例の携帯電話装置は、受信電波の増幅と周波数同調検波を行う受信回路８と、受信回路８からの信号をＱＰＳＫ復調する復調回路９と、復調回路９で復調された信号を入力し音声信号と映像信号を分離する分離回路２２と、分離回路２２で分離された圧縮音声信号を伸張する音声伸張回路１０と、音声伸張回路１０から出力されるデジタル化されている受信音声信号をアナログ音声信号に変換するＤ／Ａコンバータ１１と、音声信号を出力するスピーカ１２と、分離回路２２で分離された圧縮映像信号を伸張する映像伸張回路２３と、映像伸張回路２３から出力されるデジタル化されている受信映像信号をアナログ映像信号に変換するＤ／Ａコンバータ２５と、受信映像や制御部１４からの文字や映像を表示する表示部１６と、全体の制御を行う制御部１４と、携帯電話の操作回路１３と、音声認識を開始する音声認識開始ボタン１７と、を備えている。
【００７６】図１２は、本発明の第４の実施例の動作を説明するための流れ図である。図１０乃至図１２を参照して、本発明の第４の実施例の動作について説明する。騒音環境下で、通話相手の声が明瞭に聞こえない場合（図１２のステップＳ４のＮＯ）で、テレビ電話モードの場合（ステップＳ１４のＹＥＳ）、通話相手に、音声認識開始ボタン１７を押してもらう（ステップＳ１５）。
【００７７】通話相手の端末では、マイクロホン７からのアナログ音声信号をＡ／Ｄコンバータ６でデジタル変換されたデジタル音声信号は、音声認識回路１５で音声認識される。
【００７８】音声認識の結果として出力されるテキストデータは、図１１（ａ）の装置２６Ｅにおいて、制御部１４を経由して表示部１６に２９のように表示する（ステップＳ１６）。音声認識の結果として制御部１４から出力されるテキストデータはテキスト重畳回路２４に入力され、ビデオカメラ２１で撮影され、Ａ／Ｄコンバータ２０でデジタル変換された映像信号に重畳される。その後、テキスト重畳された映像信号は、映像圧縮回路１９で帯域圧縮された後、多重回路１８で音声信号と多重されて相手端末に送信される。
【００７９】次に、テキストデータと映像信号と音声信号が多重化されて伝送される信号を受け取る側の端末の受信動作の経路について説明する。受信回路８、復調回路９を経て、分離回路２２を経由し、デジタルの映像信号と音声信号に分離され、映像信号は、映像伸張回路２３で、送信時圧縮された映像信号を伸張する。伸張された映像信号はＤ／Ａコンバータ２５でアナログ映像信号に変換され、表示部１６に表示される。映像信号に多重されたテキストデータは、図１１（ｂ）の装置２６Ｆにおいて、表示部１６に２７のように表示される（ステップ１２のＳ１７）。
【００８０】この実施例では、話者側で音声認識した結果のテキストデータを相手側端末に送信する構成としたことにより、伝送系等でのノイズを受けることなく、相手側端末に表示させることができる。
【００８１】次に、第５の実施例について説明する。前記各実施例では、通信端末側で音声認識を行っているが、端末間の通信網で音声信号の音声認識を行ってもよいことは勿論である。音声認識の開始は、通信端末からの指示で行う場合、通信事業者が通信網で常時行うようにしてもよい。あるいは、通信端末と通信網側で分散処理して行ってもよい。
【００８２】図１３は、本発明の第５の実施例として、交換局３６で音声認識を行う場合の構成の一例を示している。交換局３６は、基地局３５に接続する側から、交換局インタフェース３７、交換機４０、交換局インタフェース４１を備え、交換機４０と交換局インタフェース３７の間の双方の経路に、音声認識回路４２による音声認識結果をテキスト変換回路４３でテキストデータに変換したものと音声信号を多重する多重回路３８、３９を備えている。
【００８３】騒音環境下の端末２６と通話している端末２６’からの音声データは、交換機４０で交換された後、音声認識回路４２で、音声認識され、テキスト変換回路４３でテキストデータに変換され、多重回路３８で、交換機４０から出力された音声信号と多重される。
【００８４】テキストデータが多重された音声信号は、交換局インタフェース３７を経由して騒音環境下の端末２６に送られ、前記第１の実施例と同様にして、端末２６の表示部にテキストデータが表示される。
【００８５】交換局３６で、騒音環境下の端末２６からの音声信号に、テキスト変換回路４３からのテキストデータが重畳され、端末２６’の表示部でも、テキストデータが表示され、端末２６’側の話者も音声認識結果を確認することができる。なお、騒音環境下の端末２６が、前記第１の実施例の携帯電話装置よりなり、交換局３６側では、端末２６の負荷状況に基づき、あるいは、端末２６からの要求により、音声認識回路４２で音声認識を行い、テキスト変換回路４３でテキストデータに変換する構成としてもよい。
【００８６】現在のＰＤＣ移動体パケット通信システム（第２世代）、及び次世代移動通信ＩＭＴ−２０００ではインターネットへの簡易なアクセス能力が提供される。したがって、本発明において、音声認識が行われる通信網上のノードとしては、上記した交換局に限定されるものでなく、音声信号等をパケット化して伝送するゲートウエイ、ルータ等で音声認識を行い、音声認識結果をパケットに挿入して相手端末宛てに経路選択して伝送構成としてもよい。例えば３ＧＰＰ（Third Generation Partnership Project）のコアネットワーク方式では、図１４に示すように、回線交換機能（ＭＳＣ（Mobile services Switching Center）／ＧＭＳＣ（Gateway MSC））とパケット交換機能（ＰＤＳＮ（Packet Data Serving Node）／ＰＤＧＮ（Packet Data Gateway Node））を単一ノードに統合化することで、音声トラフィックから各種メディアを統合的に交換・伝送できることが知られている。ユーザＩＰ（internet protocol）パケットをノードＡＴＭ（Asynchronous Transfer Mode）アドレスに基づくＡＴＭ−ＳＶＣ（SwitchedVirtual Connection）によりトネリングし、QoS（Quality of Services）を提供しているが、このコアネットワークで音声の認識を行い、回線交換又はパケット交換で交換・伝送される音声データに、音声認識結果であるテキストデータを付加して宛先端末に伝送するようにしてもよい。図１４に示したコアネットワークは、立川敬二監修、「Ｗ−ＣＤＭＡ移動通信方式」、丸善（株）発行、平成１３年６月２５日発行の第２３９頁の図４．２、あるいは、木下 耕太著、「やさしいＩＭＴ−２０００ 第３世代移動通信方式」、電気通信協会、平成１3年５月１０日発行、第８１頁の図５．２が参照される。
【００８７】上記実施例によれば、通信網側で、音声認識した結果のテキストデータを接続先端末に送信する構成としたことにより、音声認識処理を実行するＤＳＰ（デジタル信号プロセッサ）等の処理負荷を削減し、バッテリ駆動の端末の消費電流の増大を抑止することができる。
【００８８】上記した各実施例では、携帯電話装置の構成として、表示部と音声通話部とが一体型とされた例に基づき説明したが、音声通話部と、映像表示のための表示部とを着脱自在な構成とし、音声通話部と、表示部を分離し単独に使用可能とした構成としてもよい。音声通話部を映像表示／撮像部から分離独立させた携帯電話装置については、本願発明者による特開２０００−５０２２３号公報等が参照される。映像表示／撮像部と、音声通話部は、赤外線、Bluetooth等の無線で通信する構成としてもよい。音声通話部と、表示部を分離し単独に使用可能とした構成の場合、利用者はイヤホンマイクを装着することなく、表示部に表示されるテキストを見ることができる。
【００８９】携帯電話装置は、ＰＨＳ（Personal Handyphone System）端末、携帯情報端末（ＰＤＡ）等であってもよいことは勿論である。あるいは、VoIP（Voice OverIP）機能を備えたパソコン等の端末であってもよい。以上本発明を上記実施例に即して説明したが、本発明は、上記実施例の構成にのみ限定されるものでなく、特許請求の範囲の各請求項の発明の範囲内で、当業者であればなし得るであろう各種変形、修正を含むことは勿論である。
【００９０】
【発明の効果】以上説明したように、本発明によれば下記記載の効果を奏する。
【００９１】本発明によれば、通話相手の音声信号をテキストデータに変換する音声認識手段を備えたことにより、通話相手の会話内容の理解を助け、例えば騒音環境でも会話を行うことができる、という効果を奏する。
【００９２】本発明によれば、通話中に、キーの操作時点からの通話相手の会話を音声認識によりテキストデータへの変換を開始する操作キーを備え、騒音環境で通話中、相手の会話内容が聞き取ることができない場合、キー入力により簡易に、音声認識を開始することができる、という効果を奏する。
【００９３】さらに、本発明によれば、通話相手の会話を音声認識によりテキストデータへ変換して、該テキストデータを通話相手に伝送し、通話相手の端末の表示部にも表示できるようにしたことにより、通話相手側でも自分が話した内容を、テキストに変換されている内容を通して知ることができ、利便性を向上している。
【００９４】本発明によれば、話者側で音声認識した結果のテキストデータを相手側端末に送信する構成としたことにより、伝送系等でのノイズを受けることなく、相手側端末に表示させることができる。
【００９５】本発明によれば、通信網側で、音声認識した結果のテキストデータを接続先端末に送信する構成としたことにより、端末での処理負荷を低減し、バッテリ駆動の端末の消費電力の増大を抑止低減することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施例の携帯電話装置の構成を示す図である。
【図２】本発明の第１の実施例の携帯電話装置の外観を示す図である。
【図３】本発明の第２の実施例の携帯電話装置の構成を示す図である。
【図４】本発明の第２の実施例の携帯電話装置の外観を示す図である。
【図５】本発明の第１の実施例の携帯電話装置の動作を説明するための流れ図である。
【図６】本発明の第２の実施例の携帯電話装置の動作を説明するための流れ図である。
【図７】本発明の第３の実施例の携帯電話装置の構成を示す図である。
【図８】本発明の第３の実施例の携帯電話装置の外観を示す図である。
【図９】本発明の第３の実施例の携帯電話装置の動作を説明するための流れ図である。
【図１０】本発明の第４の実施例の携帯電話装置の構成を示す図である。
【図１１】本発明の第４の実施例の携帯電話装置の外観を示す図である。
【図１２】本発明の第４の実施例の携帯電話装置の動作を説明するための流れ図である。
【図１３】本発明の第５の実施例の交換局の構成を示す図である。
【図１４】本発明が適用される３GPPコアネットワークの構成を示す図である。
【符号の説明】
１ 送受信兼用のアンテナ
２ アンテナスイッチ
３ 送信部
４ 変調回路
５ 音声圧縮回路
６、２０ Ａ／Ｄコンバータ
７ マイクロホン
８ 受信回路
９ 復調回路
１０ 音声伸張回路
１１、２５ Ｄ／Ａコンバータ
１２ スピーカ
１３ 操作部
１４ 制御部
１５ 音声認識回路
１６ 表示部
１７ 音声認識開始ボタン
１８ 多重回路
１９ 映像圧縮回路
２１ ビデオカメラ
２２ 分離回路
２３ 映像伸張回路
２４ 多重回路
２６、２６Ｃ、２６Ｄ 携帯電話装置
２６Ａ、２６Ｂ、２６Ｅ、２６Ｆ 携帯テレビ電話装置
２７、２９ テキスト表示
２８ イヤホンマイク
３０ 多重回路
３１ 変調回路
３２ 復調回路
３３ 分離回路
３５ 基地局
３６ 交換局
３７、４１ 交換局インタフェース
３８、３９ 多重回路
４０ 交換機
４２ 音声認識回路
４３ テキスト変換回路
【０００１】
【発明の属する技術分野】本発明は、移動体通信システムに関し、特に、移動体通信網等において通話相手の会話を音声認識する機能を具備した端末装置及び通信制御方法に関する。
【０００２】
【従来の技術】移動体通信設備をなす基地局と無線回線にて接続し交換局、電話網等を介して接続相手の電話端末と接続する携帯電話装置（移動局（MS（mobile station）），あるいは「mobile phone」ともいう）等の通信端末装置を用いて、騒音環境で通話する場合、接続相手の通話内容が周囲騒音に妨害され、聞き取りにくい場合がある。騒音環境下でも、相手の会話の内容を知ることができ、聞き取りが困難な環境下でも通話可能とした携帯電話装置の実現により、その利用範囲、利便性を増大する。
【０００３】なお、音声信号を文字データに変換する音声認識手段を備えた携帯電話装置として、例えば特開平１１−１６８５５２号公報には、通話中の会話の内容等を録音する音声メモ機能を有する携帯電話装置において、音声データを文字データに変換する音声認識手段を備え、変換された文字データをメモリに書き込むことで、一件あたりの音声メモに必要なデータサイズを大幅に縮減するようにした携帯電話装置が開示されている。上記特開平１１−１６８５５２号公報に記載された装置は、音声メモ用のメモリの有効利用を図るために、文字データに変換してメモリに格納するというものであり、利用者が相手の会話を即時に出力するための手段を欠いている。
【０００４】
【発明が解決しようとする課題】したがって、本発明が解決しようとする課題は、音声認識を利用することで、相手の会話の内容を明確に知ることができ、例えば聞き取りが困難な環境下でも通話可能とする端末装置及び通信制御方法を提供することにある。
【０００５】
【課題を解決するための手段】上記課題を解決するための手段を提供する本発明に係る装置は、接続相手の端末と通話接続時に、音声認識モードに設定されている場合、前記接続相手の端末から送信された通話相手の音声をデジタル音声信号として受け取って音声認識しテキストデータに変換する音声認識手段と、前記音声認識手段で変換されたテキストデータを出力手段から出力させる制御を行う制御手段と、を備えている。
【０００６】本発明に係る装置においては、音声認識の開始を指示するための操作キーを備え、前記操作キーの操作を受けて、前記操作キーの操作時点から、前記通話相手の会話を、前記音声認識手段にて音声認識し、テキストデータへの変換を開始するように制御する手段を備えた構成としてもよい。
【０００７】本発明に係る装置においては、接続相手の音声信号を音声認識してテキストデータに変換する音声認識手段と、前記接続相手の音声信号の音声認識結果のテキストデータを前記接続相手の端末に送信する手段と、を備え、前記接続相手の端末から送信された音声認識結果のテキストデータを表示手段に表示する構成としてもよい。
【０００８】本発明に係る装置においては、利用者が音声入力手段より入力した音声を音声認識してテキストデータに変換する音声認識手段と、前記音声認識結果であるテキストデータを接続相手の端末に送信する手段と、を備えた構成としてもよい。
【０００９】本発明の他のアスペクトに係るシステムは、一の端末と他の端末との間で送受される音声信号を伝送する通信網上の少なくとも一のノードが、前記伝送される音声信号を受け取って音声認識しテキストデータに変換する手段を備え、前記変換されたテキストデータが、前記通信網上のノードから前記音声信号の受け手側の端末、又は、前記音声信号の受け手と送り手側の双方の端末に伝送される、構成とされている。
【００１０】本発明の他のアスペクトに係る通信制御方法は、互いに通信接続する複数の端末のうちの一の端末が、他の端末から送信された通話相手の音声を復調及び伸張してなるデジタル音声信号を受け取って音声認識しテキストデータに変換するステップと、前記一の端末において前記テキストデータを出力手段から出力するステップと、を有する。
【００１１】以下の実施の形態の説明からも、当業者には明らかであるように、上記課題は、特許請求の範囲の各請求項の発明によっても同様にして解決される。
【００１２】
【発明の実施の形態】本発明の実施の形態について説明する。本発明に係る端末装置は、その好ましい一実施の形態において、図１を参照すると、接続相手の端末と通話接続時、受信回路で受信された通話相手の会話の音声信号を、復調回路及び伸張回路で復調及び伸張したデジタル音声信号を受け取って音声認識し、テキストデータに変換する音声認識手段（１５）を備え、音声認識手段（１５）から出力されるテキストデータを受け取り、表示手段（１６）に供給して表示するように制御する制御手段（１４）を備えている。
【００１３】より詳細には、本発明に係る端末装置は、その好ましい一実施の形態において、図１を参照すると、音声入力手段（図１の７、２８）から入力されデジタル信号に変換された音声信号を圧縮して出力する音声圧縮手段（５）と、音声圧縮手段（５）からの出力信号を変調して出力する変調手段（４）と、変調手段の出力信号を受けて無線送信する無線送信手段（３、２、１）と、無線受信手段（１、２、８）で受信された信号を復調して出力する復調手段（９）と、復調手段（９）で復調された信号を受け取って伸張しデジタル音声信号を出力する音声伸張手段（１０）と、音声伸張手段（１０）から出力されるデジタル音声信号を音声認識してテキストデータに変換して出力する音声認識手段（１５）と、前記音声伸張手段（１０）から出力されるデジタル音声信号をアナログ信号に変換した信号を受け取って音声出力する音声出力手段（１２、２８）と、音声認識モードに設定されている場合に、前記音声伸張手段（１０）で伸張されたデジタル音声信号は、音声認識手段（１５）に入力されて音声認識が行われ、音声認識手段（１５）から出力されるテキストデータを、表示手段（１６）に供給して表示させる制御を行う制御手段（１４）と、を備えている。
【００１４】本発明に係る端末装置は、その好ましい一実施の形態において、操作キーとして、音声認識開始ボタン（１７）を備えており、音声認識開始ボタン（１７）が押下された際に、制御手段（１４）は、このボタンの押下時点からの通話相手の会話を、音声認識手段（１５）にて音声認識し、テキストデータへの変換を開始するように制御する。
【００１５】あるいは、本発明に係る端末装置は、その好ましい一実施の形態において、周囲の騒音レベルを監視し騒音レベルが所定の閾値を超えたと判断したとき、自動で、音声認識手段（１５）による音声認識処理を起動する構成としてもよい。
【００１６】さらに、本発明に係る端末装置は、その好ましい別の実施の形態において、図３を参照すると、通話相手の会話を音声認識してテキストデータに変換する音声認識手段（１５）と、通話相手の会話の音声認識結果を、テキストデータにて通話相手の端末に送信する手段（１４、２４）を備え、テキストデータを受け取った通話相手の端末では、その表示手段（１６）に、前記テキストデータが表示される。本発明に係る端末装置は、その好ましい別の実施の形態において、携帯テレビ電話機能付きである場合に、音声認識結果のテキストデータを接続相手の端末に送信される映像情報に多重して、前記接続相手の端末に送信する。
【００１７】より詳細には、本発明に係る端末装置の別の実施の形態において、図３を参照すると、入力された音声信号を音声認識しテキストデータに変換して出力する音声認識手段（１５）と、音声認識結果のテキストデータと、映像入力手段（２１）から入力され第１のアナログデジタル変換手段（２０）でデジタル信号に変換された映像情報とを入力しこれらを多重して出力する第１の多重手段（２４）と、第１の多重手段（２４）の出力を受けて圧縮する映像圧縮手段（１９）と、音声入力手段（７、２８）から入力され第２のアナログデジタル変換手段（６）でデジタル信号に変換された音声信号を圧縮する音声圧縮手段（５）と、映像圧縮手段（１９）の出力と音声圧縮手段（５）の出力とを入力しこれらを多重して出力する第２の多重手段（１８）と、第２の多重手段（１８）の出力を変調する変調手段（４）と、変調手段（４）の出力を受けて無線送信する無線送信手段（３、２、１）と、無線受信手段（１、２、８）で受信された信号を復調する復調手段（９）と、復調手段（９）で復調された信号を入力し映像信号と音声信号とに分離して出力する分離手段（２２）と、分離手段（２２）で分離された映像信号を受け取り該映像信号を伸張して出力する映像伸張手段（２３）と、分離手段（２２）で分離された前記音声信号を受け取り前記音声信号を伸張して出力する音声伸張手段（１０）と、映像伸張手段（２３）で伸張されたデジタル映像信号をアナログ映像信号に変換する第１のデジタルアナログ変換手段（２５）と、第１のデジタルアナログ変換手段（２５）からのアナログ映像信号を表示する表示手段（１６）と、音声伸張手段（１０）で伸張されたデジタル音声信号をアナログ音声信号に変換する第２のデジタルアナログ変換手段（１１）と、第２のデジタルアナログ変換手段（１１）からの音声信号を出力する音声出力手段（１２、２８）と、を備え、音声認識モードに設定されている場合、音声伸張手段（１０）で伸張されたデジタル音声信号は、音声認識手段（１５）に入力されて音声認識が行われ、音声認識手段（１５）から出力されるテキストデータを、第１の多重手段（２４）に供給するように制御する制御手段（１４）を備えている。この実施の形態においても、音声認識開始ボタン（１７）が押下された場合に、音声認識手段（１５）によって音声認識が行われる。
【００１８】本発明は、第３の実施の形態において、図７R>７を参照すると、音声入力手段（７、２８）から入力されアナログデジタル変換手段（６）でデジタル信号に変換された音声信号を圧縮して出力する音声圧縮手段（５）と、デジタル信号に変換された音声信号を音声認識してテキストデータに変換して出力する音声認識手段（１５）と、音声圧縮手段（５）の出力を変調する第１の変調手段（４）と、テキストデータを変調する第２の変調手段（３１）と、第１、第２の変調手段（４、３１）の出力を受けて多重する多重手段（３０）と、多重手段（３０）の出力を受けて無線送信する無線送信手段（３、２、１）と、無線受信手段（１、２、８）で受信された信号をテキストデータと音声データに分離する分離手段（３３）と、分離手段（３３）で分離された前記音声信号を受け取り前記音声信号を復調する第１の復調手段（９）と、分離手段（３３）で分離された前記テキストデータを受け取り復調する第２の復調手段（３２）と、前記第１の復調手段の出力を伸張して出力する音声伸張手段（１０）と、音声伸張手段（１０）で伸張されたデジタル音声信号をデジタルアナログ変換手段（１１）でアナログ信号に変換した信号を入力して出力する音声出力手段（１２、２８）と、を備え、第２の復調手段（３２）は復調したテキストデータを、制御手段（１４）にわたし、制御手段（１４）は、第２の復調手段（３２）で復調したテキストデータを受け取り、表示手段（１６）にテキストデータを表示し、前記第２の変調手段（３１）に供給し、音声認識手段（１５）からのテキストデータを前記第２の変調手段（３１）に供給する制御を行う。
【００１９】さらに本発明は、第４の実施の形態において、図１０を参照すると、音声入力手段（７、２８）から入力されアナログデジタル変換手段（６）でデジタル信号に変換された音声信号を圧縮して出力する音声圧縮手段（５）と、デジタル信号に変換された音声信号を音声認識してテキストデータに変換して出力する音声認識手段（１５）と、前記テキストデータと、映像入力手段（２１）から入力されアナログデジタル変換手段（２０）でデジタル信号に変換された映像情報と、を入力し、これらを多重して出力する第１の多重手段（２４）と、第１の多重手段（２４）の出力を受けて圧縮して出力する映像圧縮手段（１９）と、前記映像圧縮手段の出力と前記音声圧縮手段の出力とを入力し、これらを多重して出力する第２の多重手段（１８）と、第２の多重手段（１８）の出力を変調する変調手段（４）と、変調手段（４）の出力を受けて無線送信する無線送信手段（３、２、１）と、無線受信手段（１、２、８）で受信された信号を復調する復調手段（９）と、復調手段（９）で復調された信号を入力し映像信号と音声信号とに分離して出力する分離手段（２２）と、分離手段（２２）で分離された前記映像信号を受け取り前記映像信号を伸張して出力する映像伸張手段（２３）と、分離手段（２２）で分離された前記音声信号を受け取り前記音声信号を伸張して出力する音声伸張手段（１０）と、映像伸張手段（２３）で伸張されたデジタル映像信号をデジタルアナログ変換手段（２５）でアナログ信号に変換した信号を入力して表示する表示手段（１６）と、前記音声伸張手段で伸張されたデジタル音声信号をデジタルアナログ変換手段（１１）でアナログ信号に変換した信号を入力して出力する音声出力手段（１２）と、音声認識モードに設定されている場合、音声認識手段（１５）に入力されて音声認識が行われたテキストデータを入力し前記第１の多重手段（２４）に供給する制御を行う制御手段（１４）を備えている。制御手段（１４）は、テキストデータを表示手段（１６）にも出力する。
【００２０】本発明は、第５の実施の形態において、図１３１３を参照すると、通信網上の一ノードをなす交換局（３６）で、音声通話接続がなされている音声信号を入力して音声認識し、音声認識結果であるテキストデータを、音声信号に多重して、音声信号の受け手側の端末と、音声信号の送り手側の端末に送信する手段（４２、４３、３８、３９）を備えている。あるいは、音声認識を端末側で行い、端末のバットリ残量あるいは負荷状況に応じて、もしくは端末からの要求に応じて、通信網上で音声認識を行うように切替制御する構成としてもよい。
【００２１】本発明に係る方法は、その一実施の形態において、以下のステップよりなる。
【００２２】ステップ１：互いに通信接続する複数の端末のうち一の端末が、他の端末から送信された通話相手の音声を復調及び伸張してなるデジタル音声信号を受け取って音声認識しテキストデータに変換する。
【００２３】ステップ２：一の端末においてテキストデータを表示部に表示する。
【００２４】さらに次のステップ３を有する構成としてもよい。
【００２５】ステップ３：前記一の端末が前記テキストデータを前記他の端末に送信する。これにより、通話相手の会話を音声認識した結果が前記通話相手に返送され、通話相手は、端末上で、通話相手の会話の内容を確認することができる。
【００２６】本発明に係る方法は、他の実施の形態において、以下のステップよりなる。
【００２７】ステップ１：利用者の端末より利用者が入力した音声を音声認識してテキストデータに変換する。
【００２８】ステップ２：前記音声認識結果であるテキストデータを接続相手の端末に送信する。
【００２９】本発明に係る方法の前記他の実施の形態において、上記音声認識結果であるテキストデータは、利用者の端末の表示部に表示される。また接続相手の端末では、前記利用者の端末より送信されたテキストデータが表示部に表示される。また利用者の端末より、音声認識結果であるテキストデータは、接続相手の端末に送信される音声信号又は映像信号に多重して、接続相手の端末に送信される。
【００３０】
【実施例】本発明の実施の形態についてさらに詳細に説明すべく、本発明の実施例について図面を参照して説明する。以下では、本発明が実施される端末装置として携帯電話装置を用いた例に即して説明する。図１は、本発明の第１の実施例の構成を示す図である。
【００３１】図１を参照すると、本発明の第１の実施例をなす携帯電話装置は、送受信兼用のアンテナ１と、送信信号と受信信号を切り換えるアンテナスイッチ２と、送信する音声信号を入力するマイクロホン７と、マイクロホン７からのアナログ音声信号をデジタル変換するＡ／Ｄコンバータ６と、Ａ／Ｄコンバータ６から出力されるデジタル音声信号を圧縮する音声圧縮回路５と、音声圧縮回路５から出力される送信信号をＱＰＳＫ（Quadrature Phase Shift Keying）変調する変調回路４と、変調回路４から出力される送信信号を送信周波数に変換する送信部３と、を備えている。さらに、本発明の第１の実施例をなす携帯電話装置は、受信電波の増幅と周波数同調検波を行う受信回路８と、受信回路８からの信号をＱＰＳＫ復調する復調回路９と、復調回路９から出力される圧縮音声信号を伸張する音声伸張回路１０と、音声伸張回路１０から出力されるデジタル受信音声信号をアナログ音声信号に変換するＤ／Ａコンバータ１１と、Ｄ／Ａコンバータ１１から出力されるアナログ信号を受け、音声信号を出力するスピーカ１２と、音声伸張回路１０で伸張された信号（通話相手からのデジタル受信音声信音）を入力して音声認識を行いテキストデータに変換する音声認識回路１５と、制御部１４からの文字や画像を表示するＬＣＤ（Liquid Crystal Display）等の表示部１６と、全体の制御を行う制御部１４と、キー、ボタン等を有する操作部１３と、音声認識を開始する音声認識開始ボタン１７と、周囲騒音が大きいときに、利用者が装着して通話を行うためのイヤホンマイク２８と、を備えている。以下の実施例において、音声認識回路１５は、音響特徴量を抽出し辞書とのマッチングをとる公知の音声認識エンジンよりなり、特定話者、及び不特定話者に対応可能な構成とされている。
【００３２】図２は、本発明の一実施例の携帯電話装置の外観を示す正面図である。図２において、騒音環境等で通話する通話者の携帯電話端末２６であり、参照符号は、図１と対応しており、１は送受信兼用のアンテナ、７はマイクロホン、１２はスピーカ、１３は操作部、１６は表示部、１７は音声認識開始ボタン、２８はイヤホンである。通話相手の話す音声信号を音声認識により、テキストに変換して、表示部１６に２７（「さんじにあおう」）のように表示を行う。
【００３３】本発明の一実施例の携帯電話装置の動作について説明する。まず、本発明の一実施例の携帯電話装置の送信動作について説明する。この携帯電話装置は、基地局、基地局制御局を介して移動体交換局との間で通話チャネルが確立され、さらに接続先と通信接続がなされているものとする。図１において、マイクロホン７、イヤホンマイク２８からのアナログ音声信号はＡ／Ｄコンバータ６でデジタル音声信号に変換され、音声圧縮回路５で帯域圧縮され、変調回路４でＱＰＳＫ変調され、送信回路３で送信周波数に変換され増幅され、アンテナスイッチ２を経由してアンテナ部１より無線送信される。
【００３４】次に、本発明の一実施例の携帯電話装置の受信動作について説明する。アンテナ１で受信された通信電波は、アンテナスイッチ２を経て、受信回路８に入力され、受信回路８にて、受信電波の増幅と周波数同調が行われ、受信回路８から取り出された変調信号は、復調回路９に送られる。
【００３５】復調回路９でＱＰＳＫ復調されたデジタル音声信号は、伸張回路１０で伸張され、Ｄ／Ａコンバータ１１でアナログ音声信号に変換されてスピーカ１２から出力される。
【００３６】図５は、本発明の一実施例の携帯電話装置を用いて音声認識を行う場合の通話開始からの動作を示したフローチャートである。図１及び図５を参照して、本発明の一実施例の携帯電話装置で音声認識を行う場合の処理を説明する。通話を開始したとき、騒音環境か否かを通話者が判断し（ステップＳ１）、騒音環境になく、通話相手の会話が明瞭に聞き取ることができるときは、そのまま通話を継続する（ステップＳ３）。
【００３７】一方、通話者が騒音環境にあると判断したときには、通話者は、イヤホンマイク２８を装着する（ステップＳ２）。イヤホンマイク２８を装着したとき、通話相手の会話が明瞭に聞こえるときは、そのまま会話を続ける（ステップＳ６）。
【００３８】通話者がイヤホンマイク２８を使っても、通話相手の声が明瞭に聞き取ることができないときは、通話者は音声認識開始ボタン１７を押下し（ステップＳ５）、音声認識部１５で通話相手の声の音声認識を開始し、認識結果を、テキスト表示２７として、携帯電話装置の表示部１６の画面に表示する（ステップＳ７）。
【００３９】このとき、通話相手の通話データが、受信回路８で受信され、復調回路９でＱＰＳＫ復調された後、伸張回路１０で帯域伸張され、伸張されたデジタル音声データが音声認識部１５に入力されて、音声認識処理が行われ、その音声認識結果は、制御部１４により、表示部１６の画面上に、図２の２７のようにテキスト表示される。
【００４０】なお、音声認識開始ボタン１７の押下によって音声認識部１５での音声認識を起動するというマニュアル操作の代わりに、携帯電話装置内部で背景の騒音の音量（雑音レベル）等を監視し、雑音レベルを予め定められた閾値と比較判定し、雑音レベルが閾値を超えている場合に、音声認識部１５による音声認識とテキスト表示を行うように自動で制御する構成としてもよい。あるいは、イヤホンマイクの装着を検出し、音声認識部１５による音声認識とテキスト表示を行うようにしてもよい。
【００４１】テキスト表示は、表示部１６の一行に横スクロールで表示する代わりに、表示画面中の所定のウインドウに複数行にわたって縦にスクロール表示するようにしてもよい。
【００４２】さらに音声認識結果であるテキストデータを、図示されないメモリに格納しておき、後に、電子メールで送信する等の機能を具備してもよい。
【００４３】次に、本発明の第２の実施例について説明する。本発明の第２の実施例の携帯電話装置は、携帯テレビ電話を用いて、音声認識を用いた騒音環境にある携帯テレビ電話を実現したものである。図３は、本発明の第２の実施例の携帯電話装置の構成を示す図であり、図４R>４は、その外観を示す正面図である。
【００４４】図３を参照すると、本発明の第２の実施例をなす携帯テレビ電話装置は、送受信兼用のアンテナ１と、送信信号と受信信号を切り換えるアンテナスイッチ２と、送信するための映像を撮影するカメラ２１と、カメラ２１からのアナログ映像信号をデジタル信号に変換するＡ／Ｄコンバータ２０と、音声認識の結果得られたテキストデータを映像信号に重畳する（例えばテキストデータを予め決められたタイミング（画面上の位置及び大きさ）でビデオ信号にスーパーインポーズする）多重回路２４と、Ａ／Ｄコンバータ２０から出力されるデジタル映像信号を圧縮する映像圧縮回路１９と、送信する音声信号を入力するマイクロホン７と、マイクロホン７、イヤホンマイク２８からのアナログ音声信号をデジタル変換するＡ／Ｄコンバータ６と、Ａ／Ｄコンバータ６から出力されるデジタル音声信号を圧縮する音声圧縮回路５と、映像圧縮回路１９からの映像信号と音声圧縮回路５からの音声信号を多重する多重回路１８と、多重回路１８から出力される送信信号をＱＰＳＫ変調する変調回路４と、変調回路４から出力される送信信号を送信周波数に変換する送信回路３と、を備えている。
【００４５】さらに、第２の実施例の携帯テレビ電話装置は、受信電波の増幅と周波数同調検波を行う受信回路８と、受信回路８からの信号をＱＰＳＫ復調する復調回路９と、復調回路９で復調された信号を入力し音声信号と映像信号を分離する分離回路２２と、分離回路２２で分離された圧縮音声信号を伸張する音声伸張回路１０と、音声伸張回路１０から出力されるデジタル化されている受信音声信号をアナログ音声信号に変換するＤ／Ａコンバータ１１と、音声信号を出力するスピーカ１２と、分離回路２２で分離された圧縮映像信号を伸張する映像伸張回路２３と、映像伸張回路２３から出力されるデジタル化されている受信映像信号をアナログ映像信号に変換するＤ／Ａコンバータ２５と、受信映像や制御部１４からの文字や映像を表示する表示部１６と、全体の制御を行う制御部１４と、携帯電話の操作回路１３と、通話相手からのデジタル音声信号を音声認識を行うことにより、テキストデータに変換する音声認識回路１５と、音声認識を開始する音声認識開始ボタン１７と、を備えている。
【００４６】図４には、本発明の第２の実施例として、騒音環境で通話する通話者の携帯テレビ電話装置２６Ａ（図４（ｂ）参照）と、通話相手の携帯テレビ電話装置２６Ｂ（図４（ａ）参照）が示されている。携帯テレビ電話装置２６Ａは、通話相手の話す音声信号を音声認識により、テキストデータに変換して、表示部１６に符号２７に示すように表示を行うと同時に、通話相手の携帯テレビ電話装置２６Ｂにテキストデータを送信し、携帯テレビ電話装置２６Ｂにも、表示部１６に符号２９に示すように表示を行う。
【００４７】本発明の第２の実施例の携帯テレビ電話装置の動作について、図３を参照して説明する。本発明の第２の実施例における携帯テレビ電話装置の送信動作は次のようにして行われる。マイクロホン７、イヤホンマイク２８からのアナログ音声信号はＡ／Ｄコンバータ６でデジタル信号に変換され、音声圧縮回路５で帯域圧縮される。ビデオカメラ２１で撮影されたアナログ映像信号は、Ａ／Ｄコンバータ２０でデジタル信号に変換され、映像圧縮回路１９で帯域圧縮される。帯域圧縮された映像信号は、多重回路１８で、圧縮された音声信号と多重され、以降は、音声通話のみの前記実施例の場合と同様の経路で送信される。
【００４８】次に本発明の第２の実施例における携帯テレビ電話装置の受信動作について説明する。受信された音声信号は、受信回路８、復調回路９を経て、分離回路２２を経由し、分離回路２２で分離された音声信号は音声伸張回路１０で伸張され、Ｄ／Ａコンバータ１１でアナログ音声信号に変換されてスピーカ１２から出力される。
【００４９】分離回路２２で音声信号から分離された映像信号は、映像伸張回路２３で、送信時圧縮された映像信号を伸張する。
【００５０】映像伸張回路２３で伸張されたデジタル映像信号は、Ｄ／Ａコンバータ２５でアナログ映像信号に変換され、表示部１６に表示される。
【００５１】図６は、本発明の第２の実施例の携帯テレビ電話装置が、通話開始からの動作を示したフローチャートである。図３、図４、及び図６を参照して、本発明の第２の実施例の動作について説明する。通話を開始したとき、騒音環境かどうかを通話者が判断し（図６のステップＳ１）、騒音環境になく、通話相手の会話が明瞭に聞き取ることができるときは、そのまま通話を継続する（ステップＳ３）。騒音環境にあると判断したときには、通話者はイヤホンマイク２８を装着する（ステップＳ２）。通話者がイヤホンマイク２８を装着したとき、通話相手の会話が明瞭に聞こえるときはそのまま会話を続ける（ステップＳ６）。
【００５２】通話者がイヤホンマイク２８を使っても通話相手の声が明瞭に聞き取ることができないときは（ステップＳ４のＮＯ分岐）、音声認識開始ボタン１７を押下して（ステップＳ５）、通話相手の声の音声認識を開始し、その結果をテキスト表示２７として携帯電話装置２６の表示部１６に表示する（ステップＳ７）。
【００５３】通話相手の通話データが、受信回路８で受信され、復調回路９でＱＰＳＫ復調された後、伸張回路１０で帯域伸張され、伸張されたデジタル音声データは、音声認識部１５で音声認識処理が行われ、その結果は、制御部１４により、表示部１６において、図４（ｂ）の２７のようにテキスト表示される。
【００５４】また、テレビ電話モードに設定されている場合において（ステップＳ８のＹＥＳ分岐）、送信映像にテキストを重畳する場合（ステップＳ９のＹＥＳ分岐）、制御部１４により、ビデオカメラ２１で撮影され、Ａ／Ｄコンバータ２０でデジタル変換された映像信号に、音声認識されたテキスト信号がテキスト多重回路２４で、重畳される。
【００５５】テキストが重畳された映像信号は、通話相手の携帯電話装置に送られ、図４（ａ）の２９のように表示される（ステップＳ１０）。テレビ電話モードに設定されていない場合（ステップＳ８のＮＯ分岐）と、テレビ電話モードに設定されているが、送信映像に重畳しない場合（ステップＳ９のＮＯ分岐）、テキストの映像信号への重畳、通話相手の携帯電話装置への送信は行われない（ステップＳ１１）。
【００５６】なお上記実施例において、音声認識開始ボタン１７を再度押下することで、音声認識機能を停止させるように制御してもよいことは勿論である。
【００５７】上記した本発明の第１、第２の実施例の作用効果について説明する。
【００５８】本発明の実施例においては、デジタル移動体通信網を介して伝送された通話相手の音声信号から、テキストデータに変換する音声認識手段を備え、通話相手の音声は、圧縮符号化されたデジタルデータとして伝送されてくるため、アナログからデジタルに変換する必要がなく、そのまま、音声認識し、テキストデータに変換することができる。
【００５９】音声信号から、音声認識手段により変換された、テキストデータを表示手段で表示することにより、通話相手の会話内容を理解するための補助データとすることができ、騒音環境でも会話を行うことができる。
【００６０】通話中に、操作キーを制御することにより、その時点からの通話相手の会話を音声認識によりテキストデータへの変換を開始する操作キーを備え、騒音環境で通話中、相手の会話内容が聞き取ることができない場合、キー入力により簡易に、音声認識を開始することができる。
【００６１】上記実施例によれば、通話相手の会話を音声認識によりテキストデータへの変換をし、表示部に表示することにより、騒音環境下で音声通話の理解しにくい部分を、音声認識されたテキスト表示を見ることにより、通話相手の会話の内容の理解を助けることができる。また、かかるテキスト表示機能は、聴覚障害者、難聴のユーザに対しても、携帯電話装置の利便性を向上している。
【００６２】通話相手の会話を音声認識によりテキストデータへの変換をし、そのテキストデータを通話相手にも伝送し、通話相手の端末の表示部に表示することができる構成とされ、騒音環境下にいる通話者の携帯電話装置に表示されている相手の通話を音声認識し変換後のテキストデータを通話相手の電話機に伝送して表示し、通話相手側でも、自分が話した内容を、テキストに変換されている内容を通して確認することができる。
【００６３】携帯テレビ電話装置を利用したテレビ会議等において、通話相手の音声認識結果であるテキストデータを、図示されないメモリに格納しておき，後に、会議の議事録の一部として利用することもできる。このテキストデータを電子メールで配布してもよい。
【００６４】なお、接続相手に伝送される音声認識結果のテキストデータは、音声情報、映像情報等に多重化して情報チャネル（ＴＣＨ）を用いて転送される。音声認識結果のテキストデータは例えば日本語１文字（例えばＪＩＳ）で２バイト、英数字等は１文字で１バイトと、そのデータ容量（バイト数）は小さいことから、情報チャネルで本来転送されるべき情報を圧迫することはない。また音声認識結果のテキストデータは、基地局と携帯電話装置との間の無線チャネルのうち、制御チャネル（ＣＣＨ）等に付加して伝送してもよい。
【００６５】次に本発明の第３の実施例について説明する。前記第１及び第２の実施例では、騒音環境下にある携帯電話装置の側で受信音声の音声認識を行っているが、送信側の端末で話者が入力した音声を認識し、音声認識の結果得たテキストデータを、制御チャネルを用いて、あるいは、音声信号に多重し、騒音環境下の携帯電話に送り、表示するようにしている。
【００６６】図７は、本発明の第３の実施例の構成を示す図である。図７を参照すると、本発明の第３の実施例をなす携帯電話装置は、送受信兼用のアンテナ１と、送信信号と受信信号を切り換えるアンテナスイッチ２と、送信する音声信号を入力するマイクロホン７と、マイクロホン７からのアナログ音声信号をデジタル変換するＡ／Ｄコンバータ６と、Ａ／Ｄコンバータ６から出力されるデジタル音声信号を圧縮する音声圧縮回路５と、音声圧縮回路５から出力される送信信号を例えばＱＰＳＫ変調する変調回路４と、制御部１４から出力されるテキストデータを受け取り変調する変調回路３１と、変調回路４からの信号と変調回路３１から出力されるテキスト変調信号を入力して多重化して出力する多重回路３０と、多重回路３０から出力される送信信号を送信周波数に変換する送信部３と、を備えている。
【００６７】さらに、この第３の実施例の携帯電話装置は、受信電波の増幅と周波数同調検波を行う受信回路８と、受信回路８からの信号を音声変調信号とテキスト変調信号に分離する分離回路３３と、分離回路３３で分離された音声変調信号をＱＰＳＫ復調する復調回路９と、分離回路３３で分離されたテキスト変調信号を復調する復調回路３２と、復調回路９から出力される圧縮音声信号を伸張する音声伸張回路１０と、音声伸張回路１０から出力されるデジタル受信音声信号をアナログ音声信号に変換するＤ／Ａコンバータ１１と、Ｄ／Ａコンバータ１１から出力されるアナログ信号を受け、音声信号を出力するスピーカ１２と、Ａ／Ｄコンバータ６から出力されるデジタル音声信号を入力して音声認識を行いテキストデータに変換する音声認識回路１５と、制御部１４からの文字や画像を表示する、ＬＣＤ（Liquid Crystal Display）等の表示部１６と、キー、ボタン等を有する操作部１３と、音声認識を開始する音声認識開始ボタン１７と、利用者が装着して通話を行うためのイヤホンマイク２８と、全体の制御を行う制御部１４とを備えている。制御部１４は、音声認識開始ボタン１７の入力、操作部１３の入力を受け取る。また制御部１４は、復調回路３２で復調されたテキストデータを受け取り、表示部１６への表示を制御する。また制御部１４は、音声認識回路１５で音声認識されたテキストデータを受け取り、表示部１６へ出力する。制御部１４は、音声認識回路１５で音声認識されたテキストデータを変調回路３１へ出力する。
【００６８】図８は、本発明の第３の実施例の携帯電話装置の外観を示す図である。図８の２６Ｃは、マイクロホン７からの音声入力を音声認識して送信する側の携帯電話装置、２６Ｄは、騒音下にありイヤホンマイク２８を用いて通話し、携帯電話装置２６Ｃから音声認識されたテキストデータを表示部１６に表示している携帯電話装置である。なお、携帯電話装置の参照符号は図５に示したものと同様とされる。図９は、本発明の第３の実施例の動作を説明するための流れ図である。
【００６９】図７乃至図９を参照すると、騒音環境にあり、イヤホンマイク２８を装着した状態で、相手の声が明瞭に聞こえない場合（図９のステップＳ４がＮＯの場合）、通話相手の携帯電話装置の音声認識開始ボタン１７を押してもらう（ステップＳ１２）。
【００７０】すると、相手端末において、マイクロホン７からのアナログ音声信号がＡ／Ｄコンバータ６でデジタル変換された後、音声認識部１５で音声認識され、認識された結果であるテキストデータは制御部１４を経由し、図８（ａ）に示すように、端末２６Ｃにおいて、表示部１６に、符号２９で示すように表示される（ステップＳ１３）。
【００７１】テキストデータは、変調回路３１で変調され多重回路３０で変調された音声信号と多重される。多重された信号は送信回路３で送信周波数に変換され、増幅されてアンテナスイッチ２を経由してアンテナ部１より送信される。
【００７２】騒音環境下の端末では、アンテナ１で受信した通信電波はアンテナスイッチ２を経て受信回路８に入力される。受信回路８で受信電波の増幅と周波数同調が行われる。受信回路８から取り出された後、変調信号は分離回路３３で音声変調信号とテキスト変調信号とに分離される。分離されたテキスト変調信号は、復調回路３２でテキストデータに復調され、復調されたテキストデータは、図８（ｂ）に示すように、端末２６Ｄにおいて、制御部１４を経由して表示部１６で符号２７で示すように表示される。
【００７３】次に、本発明の第４の実施例について説明する。この第４の実施例は、前記第３の実施例の機能を、携帯テレビ電話の場合に適用したものである。図１０R>０は、本発明の第４の実施例の携帯電話装置の構成を示す図であり、図１１は、その外観の一例を示す正面図である。
【００７４】図１０を参照すると、本発明の第４の実施例をなす携帯テレビ電話装置は、送受信兼用のアンテナ１と、送信信号と受信信号を切り換えるアンテナスイッチ２と、送信するための映像を撮影するビデオカメラ２１と、ビデオカメラ２１からのアナログ映像信号をデジタル信号に変換するＡ／Ｄコンバータ２０と、送信する音声信号を入力するマイクロホン７と、マイクロホン７又はイヤホンマイク２８からのアナログ音声信号をデジタル変換するＡ／Ｄコンバータ６と、Ａ／Ｄコンバータ６から出力されるデジタル音声信号を圧縮する音声圧縮回路５と、Ａ／Ｄコンバータ６から出力されるデジタル音声信号を音声認識してテキストデータに変換し制御部１４に出力する音声認識回路１５と、制御部１４から供給される音声認識結果であるテキストデータを、Ａ／Ｄコンバータ２０から出力されるデジタル映像信号に重畳するテキスト多重回路２４と、テキスト多重回路２４から出力されるデジタル映像信号を圧縮する映像圧縮回路１９と、映像圧縮回路１９からの映像信号と、音声圧縮回路５からの音声信号を多重する多重回路１８と、多重回路１８から出力される送信信号をＱＰＳＫ変調する変調回路４と、変調回路４から出力される送信信号を送信周波数に変換する送信回路３と、を備えている。
【００７５】さらに、この第４の実施例の携帯電話装置は、受信電波の増幅と周波数同調検波を行う受信回路８と、受信回路８からの信号をＱＰＳＫ復調する復調回路９と、復調回路９で復調された信号を入力し音声信号と映像信号を分離する分離回路２２と、分離回路２２で分離された圧縮音声信号を伸張する音声伸張回路１０と、音声伸張回路１０から出力されるデジタル化されている受信音声信号をアナログ音声信号に変換するＤ／Ａコンバータ１１と、音声信号を出力するスピーカ１２と、分離回路２２で分離された圧縮映像信号を伸張する映像伸張回路２３と、映像伸張回路２３から出力されるデジタル化されている受信映像信号をアナログ映像信号に変換するＤ／Ａコンバータ２５と、受信映像や制御部１４からの文字や映像を表示する表示部１６と、全体の制御を行う制御部１４と、携帯電話の操作回路１３と、音声認識を開始する音声認識開始ボタン１７と、を備えている。
【００７６】図１２は、本発明の第４の実施例の動作を説明するための流れ図である。図１０乃至図１２を参照して、本発明の第４の実施例の動作について説明する。騒音環境下で、通話相手の声が明瞭に聞こえない場合（図１２のステップＳ４のＮＯ）で、テレビ電話モードの場合（ステップＳ１４のＹＥＳ）、通話相手に、音声認識開始ボタン１７を押してもらう（ステップＳ１５）。
【００７７】通話相手の端末では、マイクロホン７からのアナログ音声信号をＡ／Ｄコンバータ６でデジタル変換されたデジタル音声信号は、音声認識回路１５で音声認識される。
【００７８】音声認識の結果として出力されるテキストデータは、図１１（ａ）の装置２６Ｅにおいて、制御部１４を経由して表示部１６に２９のように表示する（ステップＳ１６）。音声認識の結果として制御部１４から出力されるテキストデータはテキスト重畳回路２４に入力され、ビデオカメラ２１で撮影され、Ａ／Ｄコンバータ２０でデジタル変換された映像信号に重畳される。その後、テキスト重畳された映像信号は、映像圧縮回路１９で帯域圧縮された後、多重回路１８で音声信号と多重されて相手端末に送信される。
【００７９】次に、テキストデータと映像信号と音声信号が多重化されて伝送される信号を受け取る側の端末の受信動作の経路について説明する。受信回路８、復調回路９を経て、分離回路２２を経由し、デジタルの映像信号と音声信号に分離され、映像信号は、映像伸張回路２３で、送信時圧縮された映像信号を伸張する。伸張された映像信号はＤ／Ａコンバータ２５でアナログ映像信号に変換され、表示部１６に表示される。映像信号に多重されたテキストデータは、図１１（ｂ）の装置２６Ｆにおいて、表示部１６に２７のように表示される（ステップ１２のＳ１７）。
【００８０】この実施例では、話者側で音声認識した結果のテキストデータを相手側端末に送信する構成としたことにより、伝送系等でのノイズを受けることなく、相手側端末に表示させることができる。
【００８１】次に、第５の実施例について説明する。前記各実施例では、通信端末側で音声認識を行っているが、端末間の通信網で音声信号の音声認識を行ってもよいことは勿論である。音声認識の開始は、通信端末からの指示で行う場合、通信事業者が通信網で常時行うようにしてもよい。あるいは、通信端末と通信網側で分散処理して行ってもよい。
【００８２】図１３は、本発明の第５の実施例として、交換局３６で音声認識を行う場合の構成の一例を示している。交換局３６は、基地局３５に接続する側から、交換局インタフェース３７、交換機４０、交換局インタフェース４１を備え、交換機４０と交換局インタフェース３７の間の双方の経路に、音声認識回路４２による音声認識結果をテキスト変換回路４３でテキストデータに変換したものと音声信号を多重する多重回路３８、３９を備えている。
【００８３】騒音環境下の端末２６と通話している端末２６’からの音声データは、交換機４０で交換された後、音声認識回路４２で、音声認識され、テキスト変換回路４３でテキストデータに変換され、多重回路３８で、交換機４０から出力された音声信号と多重される。
【００８４】テキストデータが多重された音声信号は、交換局インタフェース３７を経由して騒音環境下の端末２６に送られ、前記第１の実施例と同様にして、端末２６の表示部にテキストデータが表示される。
【００８５】交換局３６で、騒音環境下の端末２６からの音声信号に、テキスト変換回路４３からのテキストデータが重畳され、端末２６’の表示部でも、テキストデータが表示され、端末２６’側の話者も音声認識結果を確認することができる。なお、騒音環境下の端末２６が、前記第１の実施例の携帯電話装置よりなり、交換局３６側では、端末２６の負荷状況に基づき、あるいは、端末２６からの要求により、音声認識回路４２で音声認識を行い、テキスト変換回路４３でテキストデータに変換する構成としてもよい。
【００８６】現在のＰＤＣ移動体パケット通信システム（第２世代）、及び次世代移動通信ＩＭＴ−２０００ではインターネットへの簡易なアクセス能力が提供される。したがって、本発明において、音声認識が行われる通信網上のノードとしては、上記した交換局に限定されるものでなく、音声信号等をパケット化して伝送するゲートウエイ、ルータ等で音声認識を行い、音声認識結果をパケットに挿入して相手端末宛てに経路選択して伝送構成としてもよい。例えば３ＧＰＰ（Third Generation Partnership Project）のコアネットワーク方式では、図１４に示すように、回線交換機能（ＭＳＣ（Mobile services Switching Center）／ＧＭＳＣ（Gateway MSC））とパケット交換機能（ＰＤＳＮ（Packet Data Serving Node）／ＰＤＧＮ（Packet Data Gateway Node））を単一ノードに統合化することで、音声トラフィックから各種メディアを統合的に交換・伝送できることが知られている。ユーザＩＰ（internet protocol）パケットをノードＡＴＭ（Asynchronous Transfer Mode）アドレスに基づくＡＴＭ−ＳＶＣ（SwitchedVirtual Connection）によりトネリングし、QoS（Quality of Services）を提供しているが、このコアネットワークで音声の認識を行い、回線交換又はパケット交換で交換・伝送される音声データに、音声認識結果であるテキストデータを付加して宛先端末に伝送するようにしてもよい。図１４に示したコアネットワークは、立川敬二監修、「Ｗ−ＣＤＭＡ移動通信方式」、丸善（株）発行、平成１３年６月２５日発行の第２３９頁の図４．２、あるいは、木下 耕太著、「やさしいＩＭＴ−２０００ 第３世代移動通信方式」、電気通信協会、平成１3年５月１０日発行、第８１頁の図５．２が参照される。
【００８７】上記実施例によれば、通信網側で、音声認識した結果のテキストデータを接続先端末に送信する構成としたことにより、音声認識処理を実行するＤＳＰ（デジタル信号プロセッサ）等の処理負荷を削減し、バッテリ駆動の端末の消費電流の増大を抑止することができる。
【００８８】上記した各実施例では、携帯電話装置の構成として、表示部と音声通話部とが一体型とされた例に基づき説明したが、音声通話部と、映像表示のための表示部とを着脱自在な構成とし、音声通話部と、表示部を分離し単独に使用可能とした構成としてもよい。音声通話部を映像表示／撮像部から分離独立させた携帯電話装置については、本願発明者による特開２０００−５０２２３号公報等が参照される。映像表示／撮像部と、音声通話部は、赤外線、Bluetooth等の無線で通信する構成としてもよい。音声通話部と、表示部を分離し単独に使用可能とした構成の場合、利用者はイヤホンマイクを装着することなく、表示部に表示されるテキストを見ることができる。
【００８９】携帯電話装置は、ＰＨＳ（Personal Handyphone System）端末、携帯情報端末（ＰＤＡ）等であってもよいことは勿論である。あるいは、VoIP（Voice OverIP）機能を備えたパソコン等の端末であってもよい。以上本発明を上記実施例に即して説明したが、本発明は、上記実施例の構成にのみ限定されるものでなく、特許請求の範囲の各請求項の発明の範囲内で、当業者であればなし得るであろう各種変形、修正を含むことは勿論である。
【００９０】
【発明の効果】以上説明したように、本発明によれば下記記載の効果を奏する。
【００９１】本発明によれば、通話相手の音声信号をテキストデータに変換する音声認識手段を備えたことにより、通話相手の会話内容の理解を助け、例えば騒音環境でも会話を行うことができる、という効果を奏する。
【００９２】本発明によれば、通話中に、キーの操作時点からの通話相手の会話を音声認識によりテキストデータへの変換を開始する操作キーを備え、騒音環境で通話中、相手の会話内容が聞き取ることができない場合、キー入力により簡易に、音声認識を開始することができる、という効果を奏する。
【００９３】さらに、本発明によれば、通話相手の会話を音声認識によりテキストデータへ変換して、該テキストデータを通話相手に伝送し、通話相手の端末の表示部にも表示できるようにしたことにより、通話相手側でも自分が話した内容を、テキストに変換されている内容を通して知ることができ、利便性を向上している。
【００９４】本発明によれば、話者側で音声認識した結果のテキストデータを相手側端末に送信する構成としたことにより、伝送系等でのノイズを受けることなく、相手側端末に表示させることができる。
【００９５】本発明によれば、通信網側で、音声認識した結果のテキストデータを接続先端末に送信する構成としたことにより、端末での処理負荷を低減し、バッテリ駆動の端末の消費電力の増大を抑止低減することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施例の携帯電話装置の構成を示す図である。
【図２】本発明の第１の実施例の携帯電話装置の外観を示す図である。
【図３】本発明の第２の実施例の携帯電話装置の構成を示す図である。
【図４】本発明の第２の実施例の携帯電話装置の外観を示す図である。
【図５】本発明の第１の実施例の携帯電話装置の動作を説明するための流れ図である。
【図６】本発明の第２の実施例の携帯電話装置の動作を説明するための流れ図である。
【図７】本発明の第３の実施例の携帯電話装置の構成を示す図である。
【図８】本発明の第３の実施例の携帯電話装置の外観を示す図である。
【図９】本発明の第３の実施例の携帯電話装置の動作を説明するための流れ図である。
【図１０】本発明の第４の実施例の携帯電話装置の構成を示す図である。
【図１１】本発明の第４の実施例の携帯電話装置の外観を示す図である。
【図１２】本発明の第４の実施例の携帯電話装置の動作を説明するための流れ図である。
【図１３】本発明の第５の実施例の交換局の構成を示す図である。
【図１４】本発明が適用される３GPPコアネットワークの構成を示す図である。
【符号の説明】
１ 送受信兼用のアンテナ
２ アンテナスイッチ
３ 送信部
４ 変調回路
５ 音声圧縮回路
６、２０ Ａ／Ｄコンバータ
７ マイクロホン
８ 受信回路
９ 復調回路
１０ 音声伸張回路
１１、２５ Ｄ／Ａコンバータ
１２ スピーカ
１３ 操作部
１４ 制御部
１５ 音声認識回路
１６ 表示部
１７ 音声認識開始ボタン
１８ 多重回路
１９ 映像圧縮回路
２１ ビデオカメラ
２２ 分離回路
２３ 映像伸張回路
２４ 多重回路
２６、２６Ｃ、２６Ｄ 携帯電話装置
２６Ａ、２６Ｂ、２６Ｅ、２６Ｆ 携帯テレビ電話装置
２７、２９ テキスト表示
２８ イヤホンマイク
３０ 多重回路
３１ 変調回路
３２ 復調回路
３３ 分離回路
３５ 基地局
３６ 交換局
３７、４１ 交換局インタフェース
３８、３９ 多重回路
４０ 交換機
４２ 音声認識回路
４３ テキスト変換回路
【特許請求の範囲】
【請求項１】接続相手の端末と通話接続時に、音声認識モードに設定されている場合、前記接続相手の端末から送信された通話相手の音声をデジタル音声信号として受け取って音声認識しテキストデータに変換する音声認識手段と、前記音声認識手段で変換されたテキストデータを出力手段から出力させる制御を行う制御手段と、を備えている、ことを特徴とする端末装置。
【請求項２】前記出力手段が、表示手段よりなり、前記テキストデータが前記表示手段に表示される、ことを特徴とする請求項１に記載の端末装置。
【請求項３】前記出力手段として、前記音声認識手段から出力される前記テキストデータを前記接続相手の端末に送信する手段を備えている、ことを特徴とする請求項１又は２に記載の端末装置。
【請求項４】接続相手の端末から送信された音声信号を音声認識してテキストデータに変換する音声認識手段と、前記音声認識結果のテキストデータを前記接続相手の端末に送信する手段と、を備えている、ことを特徴とする端末装置。
【請求項５】請求項４に記載の前記端末装置と通信接続する端末装置であって、請求項４に記載の前記端末装置から送信される前記テキストデータを受け取り表示手段に表示する制御を行う手段を備えている、ことを特徴とする端末装置。
【請求項６】接続相手の端末から送信された音声信号を音声認識してテキストデータに変換する音声認識手段と、前記音声認識結果のテキストデータを前記接続相手の端末に送信する手段と、接続相手の端末から送信された信号からテキストデータを取りだし前記テキストデータを表示手段に表示させる制御を行う手段と、を備えている、ことを特徴とする端末装置。
【請求項７】前記音声認識結果のテキストデータを、前記接続相手の端末に送信される信号に多重して前記接続相手の端末に送信する手段を備えている、ことを特徴とする請求項６に記載の端末装置。
【請求項８】前記音声認識結果のテキストデータを、前記接続相手の端末に送信される映像情報に多重して前記接続相手の端末に送信する手段を備えている、ことを特徴とする請求項６に記載の端末装置。
【請求項９】前記音声認識手段は、前記接続相手の端末から送信された通話相手の音声を復調手段で復調し伸張手段で伸張してなるデジタル音声信号を入力として受け取り音声認識を行う、ことを特徴とする請求項１乃至４、請求項６乃至８のいずれか一に記載の端末装置。
【請求項１０】音声入力手段から入力されデジタル信号に変換された音声信号を圧縮して出力する音声圧縮手段と、前記音声圧縮手段からの出力信号を変調して出力する変調手段と、前記変調手段の出力信号を受けて無線送信する無線送信手段と、無線受信手段で受信された信号を復調して出力する復調手段と、前記復調手段で復調された信号を受け取って伸張しデジタル音声信号を出力する音声伸張手段と、前記音声伸張手段から出力されるデジタル音声信号を音声認識してテキストデータに変換して出力する音声認識手段と、前記音声伸張手段から出力されるデジタル音声信号をアナログ信号に変換した信号を受け取って音声出力する音声出力手段と、音声認識モードに設定されている場合に、前記音声伸張手段で伸張された前記デジタル音声信号は、前記音声認識手段に入力されて音声認識が行われ、前記音声認識手段から出力されるテキストデータを、表示手段に供給して表示させる制御を行う制御手段と、を備えている、ことを特徴とする端末装置。
【請求項１１】入力された音声信号を音声認識してテキストデータに変換して出力する音声認識手段と、前記音声認識手段から出力される音声認識結果のテキストデータと、映像入力手段から入力されデジタル信号に変換された映像情報とを入力し、これらを多重して出力する第１の多重手段と、前記第１の多重手段の出力信号を受け圧縮して出力する映像圧縮手段と、音声入力手段から入力されデジタル信号に変換された音声信号を圧縮して出力する音声圧縮手段と、前記映像圧縮手段からの出力信号と前記音声圧縮手段からの出力信号とを入力し、これらの信号を多重して出力する第２の多重手段と、前記第２の多重手段の出力信号を変調して出力する変調手段と、前記変調手段の出力信号を受けて無線送信する無線送信手段と、無線受信手段で受信された信号を復調して出力する復調手段と、前記復調手段で復調された信号を入力し映像信号と音声信号とに分離して出力する分離手段と、前記分離手段で分離された前記映像信号を受け取って伸張しデジタル映像信号を出力する映像伸張手段と、前記分離手段で分離された前記音声信号を受け取って伸張しデジタル音声信号を出力する音声伸張手段と、前記映像伸張手段から出力されるデジタル映像信号をアナログ信号に変換した信号を受け取って表示する表示手段と、前記音声伸張手段から出力されるデジタル音声信号をアナログ信号に変換した信号を受け取って音声出力する音声出力手段と、音声認識モードに設定されている場合に、前記音声伸張手段で伸張された前記デジタル音声信号は、前記音声認識手段に入力されて音声認識が行われ、前記音声認識手段から出力されるテキストデータを、前記第１の多重手段に供給する制御を行う制御手段と、を備えている、ことを特徴とする端末装置。
【請求項１２】前記制御手段が、前記音声認識手段から出力されるテキストデータを表示手段に供給して表示させるように制御する手段を備えている、ことを特徴とする請求項１１に記載の端末装置。
【請求項１３】利用者が音声入力手段より入力した音声を音声認識してテキストデータに変換する音声認識手段と、前記音声認識結果であるテキストデータを接続相手の端末装置に送信する手段と、を備えている、ことを特徴とする端末装置。
【請求項１４】前記音声認識結果であるテキストデータが表示手段に表示される、ことを特徴とする端末装置。
【請求項１５】請求項１３又は１４に記載の端末装置に接続する前記接続相手の端末装置であって、請求項１３又は１４に記載の前記端末装置から送信された信号からテキストデータを抽出し前記テキストデータを表示手段に表示する制御を行う手段を備えている、ことを特徴とする端末装置。
【請求項１６】前記音声認識結果であるテキストデータを、前記接続相手の端末装置に送信する音声信号、又は、前記接続相手の端末装置に送信する映像信号に多重して前記接続相手の端末装置に送信する手段を備えている、ことを特徴とする請求項１３又は１４に記載の端末装置。
【請求項１７】音声入力手段から入力されデジタル信号に変換された音声信号を圧縮して出力する音声圧縮手段と、前記音声入力手段から入力されデジタル信号に変換された音声信号を音声認識してテキストデータに変換して出力する音声認識手段と、前記音声圧縮手段の出力信号を変調して出力する第１の変調手段と、入力されたテキストデータを変調して出力する第２の変調手段と、前記第１及び第２の変調手段の出力信号を受け、これらの信号を多重して出力する多重手段と、前記多重手段の出力信号を受けて無線送信する無線送信手段と、無線受信手段で受信された信号をテキスト信号と音声信号に分離して出力する分離手段と、前記分離手段で分離された前記音声信号を受け取り前記音声信号を復調して出力する第１の復調手段と、前記分離手段で分離された前記テキスト信号を受け取り前記テキスト信号を復調しテキストデータを出力する第２の復調手段と、前記第１の復調手段の出力信号を受け取って伸張しデジタル音声信号を出力する音声伸張手段と、前記音声伸張手段で伸張されたデジタル音声信号をアナログ信号に変換した信号を受け取り音声出力する音声出力手段と、を備え、前記第２の復調手段は、復調した前記テキストデータを制御手段に受けわたし、前記制御手段は、前記第２の復調手段で復調された前記テキストデータを受け取り、表示手段に前記テキストデータを表示するとともに、前記第２の変調手段に供給し、さらに、前記制御手段は、前記音声認識手段からのテキストデータを受け取り前記第２の変調手段に供給する制御を行う、ことを特徴とする端末装置。
【請求項１８】音声入力手段から入力されデジタル信号に変換された音声信号を圧縮して出力する音声圧縮手段と、前記音声入力手段から入力されデジタル信号に変換された音声信号を音声認識してテキストデータに変換して出力する音声認識手段と、前記テキストデータと、映像入力手段から入力されデジタル信号に変換された映像情報とを入力し、これらを多重して出力する第１の多重手段と、前記第１の多重手段の出力信号を受け取り圧縮した映像信号を出力する映像圧縮手段と、前記映像圧縮手段からの出力信号と前記音声圧縮手段からの出力信号とを入力し、これらの信号を多重して出力する第２の多重手段と、前記第２の多重手段の出力信号を変調して出力する変調手段と、前記変調手段の出力信号を受けて無線送信する無線送信手段と、無線受信手段で受信された信号を復調して出力する復調手段と、前記復調手段で復調された信号を入力し映像信号と音声信号とに分離して出力する分離手段と、前記分離手段で分離された前記映像信号を受け取って伸張しデジタル映像信号を出力する映像伸張手段と、前記分離手段で分離された前記音声信号を受け取って伸張しデジタル音声信号を出力する音声伸張手段と、前記映像伸張手段で伸張されたデジタル映像信号をアナログ信号に変換した信号を受け取り表示する表示手段と、前記音声伸張手段で伸張されたデジタル音声信号をアナログ信号に変換した信号を受け取り音声出力する音声出力手段と、音声認識モードに設定されている場合に、前記音声認識手段で音声認識が行われて出力されるテキストデータを前記第１の多重手段に供給する制御を行う制御手段と、を備えている、ことを特徴とする端末装置。
【請求項１９】前記制御手段が、前記テキストデータを、前記表示手段に供給して表示する、ことを特徴とする請求項１８に記載の端末装置。
【請求項２０】音声認識の開始を指示するための操作キーを備え、前記操作キーの所定の操作が行われた際に、前記音声認識手段による音声のテキストデータへの変換処理を開始させる手段を備えている、ことを特徴とする請求項１乃至４、請求項６乃至１４、請求項１６乃至１９のいずれか一に記載の端末装置。
【請求項２１】監視対象の所定の信号の状態が予め定められた条件を満たしている場合に、前記音声認識手段による音声のテキストデータへの変換処理を開始させる手段を備えている、ことを特徴とする請求項１乃至４、請求項６乃至１４、請求項１６乃至１９のいずれか一に記載の端末装置。
【請求項２２】一の端末と他の端末との間で送受される音声信号を伝送する通信網上の少なくとも一のノードが、前記伝送される音声信号を受け取って音声認識しテキストデータに変換する手段を備え、前記変換されたテキストデータが、前記通信網上の前記一のノードから前記音声信号の受け手側の端末、又は、前記音声信号の受け手と送り手側の双方の端末に伝送される、ことを特徴とする通信システム。
【請求項２３】前記音声信号の受け手、又は、前記音声信号の受け手と送り手の端末が、音声信号を音声認識してテキストデータに変換する手段を備え、前記音声信号の受け手及び／又は送り手の端末の負荷状況に基づき、あるいは、前記音声信号の受け手及び／又は送り手の端末からの要求により、前記通信網側で音声認識を行う、ことを特徴とする請求項２２に記載の通信システム。
【請求項２４】請求項１乃至４、請求項６乃至１４、請求項１６乃至２１のいずれか一に記載の端末装置において、前記端末装置が、基地局と無線通信する移動局である、ことを特徴とする端末装置。
【請求項２５】請求項２２又は２３に記載の前記通信網に接続する端末が、基地局と無線通信する移動局である、ことを特徴とする端末装置。
【請求項２６】請求項１乃至４、請求項６乃至１４、請求項１６乃至２１のいずれか一に記載の端末装置において、音声入力手段と音声出力手段とを備えた第１のユニットと、表示手段を備えた第２のユニットとに互いに分離自在とされている、ことを特徴とする端末装置。
【請求項２７】互いに通信接続する複数の端末のうち一の端末が、他の端末から送信された通話相手の音声を復調及び伸張してなるデジタル音声信号を受け取って音声認識しテキストデータに変換するステップと、前記一の端末において前記テキストデータを出力手段から出力するステップと、を含む、ことを特徴とする通信制御方法。
【請求項２８】前記テキストデータを、前記一の端末において前記出力手段をなす表示部に表示する、ことを特徴とする請求項２７に記載の通信制御方法。
【請求項２９】前記一の端末が前記テキストデータを前記他の端末に送信するステップを有し、通話相手の会話を音声認識した結果が前記通話相手に返送される、ことを特徴とする請求項２７又は２８に記載の通信制御方法。
【請求項３０】前記他の端末において、前記一の端末から送信される前記テキストデータを前記他の端末の表示部に表示するステップを有する、ことを特徴とする請求項２７又は２８に記載の通信制御方法。
【請求項３１】前記一の端末上での予め定められた所定の操作キーの操作により、あるいは、予め定められた監視対象の信号が所定の条件を満たしている場合に、前記一の端末において、通話相手の会話を音声認識し、テキストデータへの変換を開始するように制御する、ことを特徴とする請求項２７乃至３０のいずれか一に記載の通信制御方法。
【請求項３２】一の端末が、接続相手の端末から送信された音声信号を音声認識してテキストデータに変換するステップと、前記一の端末が、音声認識結果のテキストデータを、前記接続相手の端末に送信するステップと、前記一の端末が、接続相手の端末から送信された音声認識結果のテキストデータを表示手段に表示させる制御を行うステップと、を含む、ことを特徴とする通信制御方法。
【請求項３３】前記各端末が携帯テレビ電話機能付きの端末よりなり、前記一の端末は、前記音声認識結果のテキストデータを前記接続相手の端末に送信される映像情報に多重して前記接続相手の端末に送信する、ことを特徴とする請求項３２記載の通信制御方法。
【請求項３４】利用者が一の端末より入力した音声を音声認識してテキストデータに変換するステップと、前記音声認識結果であるテキストデータを接続相手の端末に送信するステップと、を含む、ことを特徴とする通信制御方法。
【請求項３５】前記音声認識結果であるテキストデータが前記一の端末の表示部に表示される、ことを特徴とする請求項３４記載の通信制御方法。
【請求項３６】前記接続相手の端末では、前記一の端末より送信されたテキストデータを表示部に表示する、ことを特徴とする請求項３４又は３５記載の通信制御方法。
【請求項３７】前記一の端末より、音声認識結果であるテキストデータを、前記接続相手の端末に送信される音声信号又は映像信号に多重して、前記接続相手の端末に送信するステップを含む、ことを特徴とする請求項３４又は３５記載の通信制御方法。
【請求項３８】少なくとも話者の音声信号を伝送する送信側端末と受信側端末との間の通信網に設けられている音声認識装置が前記音声信号を受け取って音声認識しテキストデータに変換するステップと、前記通信網上の音声認識装置で変換されたテキストデータが、受信側の端末、又は、受信側の端末と送信側の端末に伝送されるステップと、を含む、ことを特徴とする通信制御方法。
【請求項１】接続相手の端末と通話接続時に、音声認識モードに設定されている場合、前記接続相手の端末から送信された通話相手の音声をデジタル音声信号として受け取って音声認識しテキストデータに変換する音声認識手段と、前記音声認識手段で変換されたテキストデータを出力手段から出力させる制御を行う制御手段と、を備えている、ことを特徴とする端末装置。
【請求項２】前記出力手段が、表示手段よりなり、前記テキストデータが前記表示手段に表示される、ことを特徴とする請求項１に記載の端末装置。
【請求項３】前記出力手段として、前記音声認識手段から出力される前記テキストデータを前記接続相手の端末に送信する手段を備えている、ことを特徴とする請求項１又は２に記載の端末装置。
【請求項４】接続相手の端末から送信された音声信号を音声認識してテキストデータに変換する音声認識手段と、前記音声認識結果のテキストデータを前記接続相手の端末に送信する手段と、を備えている、ことを特徴とする端末装置。
【請求項５】請求項４に記載の前記端末装置と通信接続する端末装置であって、請求項４に記載の前記端末装置から送信される前記テキストデータを受け取り表示手段に表示する制御を行う手段を備えている、ことを特徴とする端末装置。
【請求項６】接続相手の端末から送信された音声信号を音声認識してテキストデータに変換する音声認識手段と、前記音声認識結果のテキストデータを前記接続相手の端末に送信する手段と、接続相手の端末から送信された信号からテキストデータを取りだし前記テキストデータを表示手段に表示させる制御を行う手段と、を備えている、ことを特徴とする端末装置。
【請求項７】前記音声認識結果のテキストデータを、前記接続相手の端末に送信される信号に多重して前記接続相手の端末に送信する手段を備えている、ことを特徴とする請求項６に記載の端末装置。
【請求項８】前記音声認識結果のテキストデータを、前記接続相手の端末に送信される映像情報に多重して前記接続相手の端末に送信する手段を備えている、ことを特徴とする請求項６に記載の端末装置。
【請求項９】前記音声認識手段は、前記接続相手の端末から送信された通話相手の音声を復調手段で復調し伸張手段で伸張してなるデジタル音声信号を入力として受け取り音声認識を行う、ことを特徴とする請求項１乃至４、請求項６乃至８のいずれか一に記載の端末装置。
【請求項１０】音声入力手段から入力されデジタル信号に変換された音声信号を圧縮して出力する音声圧縮手段と、前記音声圧縮手段からの出力信号を変調して出力する変調手段と、前記変調手段の出力信号を受けて無線送信する無線送信手段と、無線受信手段で受信された信号を復調して出力する復調手段と、前記復調手段で復調された信号を受け取って伸張しデジタル音声信号を出力する音声伸張手段と、前記音声伸張手段から出力されるデジタル音声信号を音声認識してテキストデータに変換して出力する音声認識手段と、前記音声伸張手段から出力されるデジタル音声信号をアナログ信号に変換した信号を受け取って音声出力する音声出力手段と、音声認識モードに設定されている場合に、前記音声伸張手段で伸張された前記デジタル音声信号は、前記音声認識手段に入力されて音声認識が行われ、前記音声認識手段から出力されるテキストデータを、表示手段に供給して表示させる制御を行う制御手段と、を備えている、ことを特徴とする端末装置。
【請求項１１】入力された音声信号を音声認識してテキストデータに変換して出力する音声認識手段と、前記音声認識手段から出力される音声認識結果のテキストデータと、映像入力手段から入力されデジタル信号に変換された映像情報とを入力し、これらを多重して出力する第１の多重手段と、前記第１の多重手段の出力信号を受け圧縮して出力する映像圧縮手段と、音声入力手段から入力されデジタル信号に変換された音声信号を圧縮して出力する音声圧縮手段と、前記映像圧縮手段からの出力信号と前記音声圧縮手段からの出力信号とを入力し、これらの信号を多重して出力する第２の多重手段と、前記第２の多重手段の出力信号を変調して出力する変調手段と、前記変調手段の出力信号を受けて無線送信する無線送信手段と、無線受信手段で受信された信号を復調して出力する復調手段と、前記復調手段で復調された信号を入力し映像信号と音声信号とに分離して出力する分離手段と、前記分離手段で分離された前記映像信号を受け取って伸張しデジタル映像信号を出力する映像伸張手段と、前記分離手段で分離された前記音声信号を受け取って伸張しデジタル音声信号を出力する音声伸張手段と、前記映像伸張手段から出力されるデジタル映像信号をアナログ信号に変換した信号を受け取って表示する表示手段と、前記音声伸張手段から出力されるデジタル音声信号をアナログ信号に変換した信号を受け取って音声出力する音声出力手段と、音声認識モードに設定されている場合に、前記音声伸張手段で伸張された前記デジタル音声信号は、前記音声認識手段に入力されて音声認識が行われ、前記音声認識手段から出力されるテキストデータを、前記第１の多重手段に供給する制御を行う制御手段と、を備えている、ことを特徴とする端末装置。
【請求項１２】前記制御手段が、前記音声認識手段から出力されるテキストデータを表示手段に供給して表示させるように制御する手段を備えている、ことを特徴とする請求項１１に記載の端末装置。
【請求項１３】利用者が音声入力手段より入力した音声を音声認識してテキストデータに変換する音声認識手段と、前記音声認識結果であるテキストデータを接続相手の端末装置に送信する手段と、を備えている、ことを特徴とする端末装置。
【請求項１４】前記音声認識結果であるテキストデータが表示手段に表示される、ことを特徴とする端末装置。
【請求項１５】請求項１３又は１４に記載の端末装置に接続する前記接続相手の端末装置であって、請求項１３又は１４に記載の前記端末装置から送信された信号からテキストデータを抽出し前記テキストデータを表示手段に表示する制御を行う手段を備えている、ことを特徴とする端末装置。
【請求項１６】前記音声認識結果であるテキストデータを、前記接続相手の端末装置に送信する音声信号、又は、前記接続相手の端末装置に送信する映像信号に多重して前記接続相手の端末装置に送信する手段を備えている、ことを特徴とする請求項１３又は１４に記載の端末装置。
【請求項１７】音声入力手段から入力されデジタル信号に変換された音声信号を圧縮して出力する音声圧縮手段と、前記音声入力手段から入力されデジタル信号に変換された音声信号を音声認識してテキストデータに変換して出力する音声認識手段と、前記音声圧縮手段の出力信号を変調して出力する第１の変調手段と、入力されたテキストデータを変調して出力する第２の変調手段と、前記第１及び第２の変調手段の出力信号を受け、これらの信号を多重して出力する多重手段と、前記多重手段の出力信号を受けて無線送信する無線送信手段と、無線受信手段で受信された信号をテキスト信号と音声信号に分離して出力する分離手段と、前記分離手段で分離された前記音声信号を受け取り前記音声信号を復調して出力する第１の復調手段と、前記分離手段で分離された前記テキスト信号を受け取り前記テキスト信号を復調しテキストデータを出力する第２の復調手段と、前記第１の復調手段の出力信号を受け取って伸張しデジタル音声信号を出力する音声伸張手段と、前記音声伸張手段で伸張されたデジタル音声信号をアナログ信号に変換した信号を受け取り音声出力する音声出力手段と、を備え、前記第２の復調手段は、復調した前記テキストデータを制御手段に受けわたし、前記制御手段は、前記第２の復調手段で復調された前記テキストデータを受け取り、表示手段に前記テキストデータを表示するとともに、前記第２の変調手段に供給し、さらに、前記制御手段は、前記音声認識手段からのテキストデータを受け取り前記第２の変調手段に供給する制御を行う、ことを特徴とする端末装置。
【請求項１８】音声入力手段から入力されデジタル信号に変換された音声信号を圧縮して出力する音声圧縮手段と、前記音声入力手段から入力されデジタル信号に変換された音声信号を音声認識してテキストデータに変換して出力する音声認識手段と、前記テキストデータと、映像入力手段から入力されデジタル信号に変換された映像情報とを入力し、これらを多重して出力する第１の多重手段と、前記第１の多重手段の出力信号を受け取り圧縮した映像信号を出力する映像圧縮手段と、前記映像圧縮手段からの出力信号と前記音声圧縮手段からの出力信号とを入力し、これらの信号を多重して出力する第２の多重手段と、前記第２の多重手段の出力信号を変調して出力する変調手段と、前記変調手段の出力信号を受けて無線送信する無線送信手段と、無線受信手段で受信された信号を復調して出力する復調手段と、前記復調手段で復調された信号を入力し映像信号と音声信号とに分離して出力する分離手段と、前記分離手段で分離された前記映像信号を受け取って伸張しデジタル映像信号を出力する映像伸張手段と、前記分離手段で分離された前記音声信号を受け取って伸張しデジタル音声信号を出力する音声伸張手段と、前記映像伸張手段で伸張されたデジタル映像信号をアナログ信号に変換した信号を受け取り表示する表示手段と、前記音声伸張手段で伸張されたデジタル音声信号をアナログ信号に変換した信号を受け取り音声出力する音声出力手段と、音声認識モードに設定されている場合に、前記音声認識手段で音声認識が行われて出力されるテキストデータを前記第１の多重手段に供給する制御を行う制御手段と、を備えている、ことを特徴とする端末装置。
【請求項１９】前記制御手段が、前記テキストデータを、前記表示手段に供給して表示する、ことを特徴とする請求項１８に記載の端末装置。
【請求項２０】音声認識の開始を指示するための操作キーを備え、前記操作キーの所定の操作が行われた際に、前記音声認識手段による音声のテキストデータへの変換処理を開始させる手段を備えている、ことを特徴とする請求項１乃至４、請求項６乃至１４、請求項１６乃至１９のいずれか一に記載の端末装置。
【請求項２１】監視対象の所定の信号の状態が予め定められた条件を満たしている場合に、前記音声認識手段による音声のテキストデータへの変換処理を開始させる手段を備えている、ことを特徴とする請求項１乃至４、請求項６乃至１４、請求項１６乃至１９のいずれか一に記載の端末装置。
【請求項２２】一の端末と他の端末との間で送受される音声信号を伝送する通信網上の少なくとも一のノードが、前記伝送される音声信号を受け取って音声認識しテキストデータに変換する手段を備え、前記変換されたテキストデータが、前記通信網上の前記一のノードから前記音声信号の受け手側の端末、又は、前記音声信号の受け手と送り手側の双方の端末に伝送される、ことを特徴とする通信システム。
【請求項２３】前記音声信号の受け手、又は、前記音声信号の受け手と送り手の端末が、音声信号を音声認識してテキストデータに変換する手段を備え、前記音声信号の受け手及び／又は送り手の端末の負荷状況に基づき、あるいは、前記音声信号の受け手及び／又は送り手の端末からの要求により、前記通信網側で音声認識を行う、ことを特徴とする請求項２２に記載の通信システム。
【請求項２４】請求項１乃至４、請求項６乃至１４、請求項１６乃至２１のいずれか一に記載の端末装置において、前記端末装置が、基地局と無線通信する移動局である、ことを特徴とする端末装置。
【請求項２５】請求項２２又は２３に記載の前記通信網に接続する端末が、基地局と無線通信する移動局である、ことを特徴とする端末装置。
【請求項２６】請求項１乃至４、請求項６乃至１４、請求項１６乃至２１のいずれか一に記載の端末装置において、音声入力手段と音声出力手段とを備えた第１のユニットと、表示手段を備えた第２のユニットとに互いに分離自在とされている、ことを特徴とする端末装置。
【請求項２７】互いに通信接続する複数の端末のうち一の端末が、他の端末から送信された通話相手の音声を復調及び伸張してなるデジタル音声信号を受け取って音声認識しテキストデータに変換するステップと、前記一の端末において前記テキストデータを出力手段から出力するステップと、を含む、ことを特徴とする通信制御方法。
【請求項２８】前記テキストデータを、前記一の端末において前記出力手段をなす表示部に表示する、ことを特徴とする請求項２７に記載の通信制御方法。
【請求項２９】前記一の端末が前記テキストデータを前記他の端末に送信するステップを有し、通話相手の会話を音声認識した結果が前記通話相手に返送される、ことを特徴とする請求項２７又は２８に記載の通信制御方法。
【請求項３０】前記他の端末において、前記一の端末から送信される前記テキストデータを前記他の端末の表示部に表示するステップを有する、ことを特徴とする請求項２７又は２８に記載の通信制御方法。
【請求項３１】前記一の端末上での予め定められた所定の操作キーの操作により、あるいは、予め定められた監視対象の信号が所定の条件を満たしている場合に、前記一の端末において、通話相手の会話を音声認識し、テキストデータへの変換を開始するように制御する、ことを特徴とする請求項２７乃至３０のいずれか一に記載の通信制御方法。
【請求項３２】一の端末が、接続相手の端末から送信された音声信号を音声認識してテキストデータに変換するステップと、前記一の端末が、音声認識結果のテキストデータを、前記接続相手の端末に送信するステップと、前記一の端末が、接続相手の端末から送信された音声認識結果のテキストデータを表示手段に表示させる制御を行うステップと、を含む、ことを特徴とする通信制御方法。
【請求項３３】前記各端末が携帯テレビ電話機能付きの端末よりなり、前記一の端末は、前記音声認識結果のテキストデータを前記接続相手の端末に送信される映像情報に多重して前記接続相手の端末に送信する、ことを特徴とする請求項３２記載の通信制御方法。
【請求項３４】利用者が一の端末より入力した音声を音声認識してテキストデータに変換するステップと、前記音声認識結果であるテキストデータを接続相手の端末に送信するステップと、を含む、ことを特徴とする通信制御方法。
【請求項３５】前記音声認識結果であるテキストデータが前記一の端末の表示部に表示される、ことを特徴とする請求項３４記載の通信制御方法。
【請求項３６】前記接続相手の端末では、前記一の端末より送信されたテキストデータを表示部に表示する、ことを特徴とする請求項３４又は３５記載の通信制御方法。
【請求項３７】前記一の端末より、音声認識結果であるテキストデータを、前記接続相手の端末に送信される音声信号又は映像信号に多重して、前記接続相手の端末に送信するステップを含む、ことを特徴とする請求項３４又は３５記載の通信制御方法。
【請求項３８】少なくとも話者の音声信号を伝送する送信側端末と受信側端末との間の通信網に設けられている音声認識装置が前記音声信号を受け取って音声認識しテキストデータに変換するステップと、前記通信網上の音声認識装置で変換されたテキストデータが、受信側の端末、又は、受信側の端末と送信側の端末に伝送されるステップと、を含む、ことを特徴とする通信制御方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１３】
【図１２】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１３】
【図１２】
【図１４】
【公開番号】特開２００３−１４３２５６（Ｐ２００３−１４３２５６Ａ）
【公開日】平成１５年５月１６日（２００３．５．１６）
【国際特許分類】
【出願番号】特願２００１−３３２７６９（Ｐ２００１−３３２７６９）
【出願日】平成１３年１０月３０日（２００１．１０．３０）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
【公開日】平成１５年５月１６日（２００３．５．１６）
【国際特許分類】
【出願日】平成１３年１０月３０日（２００１．１０．３０）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
[ Back to top ]