電話システム
【目的】本発明は、送信側で音声を送信し、受信側で受信する電話システムに関し、電話システムで送信側と受信側とで通話する際に、受信側で音声として途中で途切れが発生しても音声テキストを同期して表示すると共に途切れた部分を強調表示したり、受信側から送信側に途切れた旨を送信して表示したりすることを目的とする。
【構成】 送信側で音声をパケットにするおよび当該音声を音声認識したテキスト情報をパケットにすると共に、両者の同期を表す識別情報を付加して送信する手段と、受信側でパケットを受信し、音声およびテキスト情報を出力する際に、識別情報をもとに音声とテキスト情報とを同期出力する手段とを備える。
【構成】 送信側で音声をパケットにするおよび当該音声を音声認識したテキスト情報をパケットにすると共に、両者の同期を表す識別情報を付加して送信する手段と、受信側でパケットを受信し、音声およびテキスト情報を出力する際に、識別情報をもとに音声とテキスト情報とを同期出力する手段とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、送信側で音声を送信し、受信側で受信する電話システムに関するものである。
【背景技術】
【０００２】
従来、ＩＰ技術を用いた電話システムは、音声をなるべく途切れさせないためにネットワーク内のパケット優先付け技術で音声（パケット）を優先的に処理する工夫がなされている。
【０００３】
また、ネットワーク上に通信サーバを配して、このサーバ内で電話システムからの音声（パケット）を音声認識してテキスト化し、指定された宛先にメールで配信する技術がある（特許文献１）。
【０００４】
また、着信に応答できない場合、発信者からの音声メッセージを蓄積し音声認識してテキストメッセージに変換し、発信者からのメッセージ報知タイミングあるいはユーザ指定があった場合に、変換したテキストメッセージを送信して表示させる技術がある（特許文献２）。
【特許文献１】特開２００５−１２３９１号公報
【特許文献２】特開２００４−３２８５２５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、従来のパケット優先付け技術で音声（パケット）を優先的に処理したとしても、電話システムが全面的にＩＰ化されると優先制御を完全に動作させることが困難となり、音声が途切れる事態が発生するおそれがあるという問題がある。
【０００６】
このため、例えば送信側では受信側で音声が正常に再生されない事態が発生したことが判らないため、そのまま会話を継続し後から話しの内容についての補足や途中から話しのやり直しを行う必要性が生じてしまうという問題があった。
【０００７】
また、従来の前者の特許文献の技術では、ネットワーク上にサーバを設けて当該サーバで音声を認識してメールで配信するものであり、音声に同期してその音声認識したテキストデータを表示できないと共に、送信側で受信側で音声が正常に再生されない事態が発生したことを認識できないという問題があった。
【０００８】
また、従来の後者の特許文献の技術では、着信に応答できない場合に、発信者からの音声メッセージをテキスデータにし、表示するものであり、音声に同期してその音声認識したテキストデータを表示できないと共に、送信側で受信側で音声が正常に再生されない事態が発生したことを認識できないという問題があった。
【課題を解決するための手段】
【０００９】
本発明は、これらの問題を解決するため、電話システムで送信側と受信側とで通話する際に、受信側で音声として途中で途切れが発生しても音声テキストを同期して表示すると共に途切れた部分を強調表示したり、受信側から送信側に途切れた旨を送信して表示するようにしている。
【発明の効果】
【００１０】
本発明は、電話システムで送信側と受信側とで通話する際に、受信側で音声として途中で途切れが発生しても音声テキストを同期して表示すると共に途切れた部分を強調表示したり、更に、受信側から送信側に途切れた旨を送信して表示することにより、ＩＰ電話における音声の途切れが発生しても同期して確実に音声テキストを表示、欠落部分を強調表示すると共に、送信側に音声の途切れた旨を送信して表示して知らせることが可能となる。
【発明を実施するための最良の形態】
【００１１】
本発明は、電話システムで送信側と受信側とで通話する際に、受信側で音声として途中で途切れが発生しても音声テキストを同期して表示すると共に途切れた部分を強調表示したり、受信側から送信側に途切れた旨を送信して表示したりすることを実現した。
【実施例１】
【００１２】
図１は、本発明のシステム構成図を示す。
図１の（ａ）は、全体システム構成図を示す。
【００１３】
図１の（ａ）において、端末１は、固定加入電話／携帯電話などの通話する端末であって、ここでは、送話側の端末を端末Ａ，受話側の端末を端末Ｂとしたものであり、相互に通話および同期したテキスト情報を表示するためのものである。
【００１４】
収容基地局２は、ネットワーク４に接続され、端末１と加入者回線（無線、有線）を介して相互にパケットで通話するものであって、ここでは、送話側の端末Ａとの間に通話するものを収容基地局Ａ，受話側の端末Ｂと通話するものを収容基地局Ｂとしたものである。端末１と収容基地局２との間には、通話時に、音声情報および当該音声情報を文字認識したテキスト情報と識別情報が相互に送受信される（図２から図１１参照）。
【００１５】
サーバ３は、ネットワーク４に接続され、送話側の端末Ａと、受話側の端末Ｂとの間の呼管理（呼の接続、課金管理など）を行うものである。
【００１６】
ネットワーク４は、パケットを相互に通信する通信路であって、ここでは、収容基地局Ａ，収容基地局Ｂ、サーバなどを接続し、端末Ａと端末Ｂとが相互に通話（通話およびテキスト情報を表示）するものである。
【００１７】
図１の（ｂ）は、パケット例を示す。これは、端末Ａからネットワーク４を介して端末Ｂに向けて送信するパケットの例を示す。
【００１８】
図１の（ｂ）において、送信ブロック１００は、図１の（ａ）の送話側の端末Ａが、ユーザから発声されたアナログの音声信号をサンプリングしてデジタルの音声信号に変換し、これをパケットに設定した音声情報パケット３００および当該音声信号を文字認識してテキスト情報にし、これをパケットに設定したテキスト情報パケット４００の両者を含むものであって、送信側の端末Ａからネットワーク４に向けて送信するものである。
【００１９】
受信ブロック２００は、ネットワーク４から、受話側の端末Ｂが受信する受信ブロックを示す。当該受信ブロック２００から音声情報およびテキスト情報をそれぞれ取り出すためのものである。
【００２０】
図１の（ｃ）は、音声照合情報例を示す。これは、図１の（ｂ）のテキスト情報について、データ部に、テキスト情報本体４０１に加えて、音声照合情報４０２が設定されているのでこれを取り出し、後述するように、音声の発声に併せて当該テキスト情報本体４０１を同期して表示したり、音声パケットが欠落したときにテキスト情報中の欠落した部分を強調表示したりなどするためのものである（図２から図１１参照）。
【００２１】
図２は、本発明の端末（送話側）の例を示す。
図２において、呼設定・管理手段１１は、ネットワーク４との間（更に、受話側の端末Ｂ）に呼を設定して管理するものであって、ここでは、呼を設定して通話可能となったときに、スタート情報を入力サンプリング手段１２に送出し、通話の開始情報を音声情報中に埋め込むものである（図５の（１）Ａ参照）。
【００２２】
入力サンプリング手段１２は、ユーザＡからの音声信号の入力サンプリング時間を記録したり、呼設定・管理手段１１からの通話の開始情報を当該音声信号中に埋め込んだりなどするものである（図５の（１）Ａ参照）。
【００２３】
符号化処理手段１３は、音声信号（含む、通話の開始情報）をサンプリング時間単位でサンプリングしてデジタルの音声信号を生成するものである（図５の（２）Ｂ参照）。
【００２４】
ＲＴＰ情報生成手段１４は、符号化処理手段１３で生成されたデジタルの複数の符号化された音声情報を束ねてパケット用データ（ＲＴＰ情報）を生成するものである（図６の（５）Ｅ参照）。
【００２５】
音声情報パケット化手段１５は、パケット用データ（ＲＴＰ情報）をパケットにするものである。そして、生成したパケットをネットワークに送出する。
【００２６】
テキスト化処理手段１６は、音声を文字認識してテキスト情報とし、これに音声照合情報を付加するものであって、音声読込手段１６１、テキスト情報化手段１６２などから構成されるものである（図５の（４）Ｄ参照）。
【００２７】
音声読込手段１６１は、音声を読み込むものである。
テキスト情報化手段１６２は、どの入力サンプリング時間の音声信号をテキスト化したかの情報を記録するものである（図５の（４）Ｄ参照）。
【００２８】
時間情報照合手段１７は、スタート情報の含まれる入力サンプリング時間とＲＴＰタイムスタンプ位置を合わせ、時間対応情報を、テキスト情報パケット化手段１８に送信するものである（図５の（４）Ｄ参照）。
【００２９】
テキスト情報パケット化手段１８は、ネットワークの互換性、相互接続性を維持するために例えばＩＥＴＦ標準のパケットを生成するものである（図６の（６）Ｆ参照）。
【００３０】
次に、図３および図４のフローチャートの順番に従い、図１、図２の構成の動作を詳細に説明する。
【００３１】
図３は、本発明の動作説明フローチャート（呼設定から通話開始まで）を示す。ここで、端末Ａは図１、図２の発話側の端末Ａ、サーバ３は図１、図２のサーバ３、端末Ｂは図１、図２の受話側の端末Ｂである。ユーザＡ（送話）は送話側のユーザＡの番号操作、発話などを表す。端末Ａの音声情報、テキスト情報は、当該端末Ａの側の音声情報、テキスト情報の符号化などの処理を表す。端末Ｂの音声情報、テキスト情報は、当該端末Ｂの側の音声情報、テキスト情報の表示などの処理を表す。
【００３２】
図３において、Ｓ１は、ユーザＡ（発話）が番号投入する。これは、発話側のユーザＡが受話側の端末Ｂの電話番号をダイヤル入力する。
【００３３】
Ｓ２は、発呼処理を行う。これは、Ｓ１でユーザＡがダイヤルしたことに対応して、当該番号の発呼を行う。
【００３４】
Ｓ３は、サーバ３が受話側端末を認識する。これは、サーバ３がＳ２で発呼された受話側の端末Ｂの電話番号を認識する。
【００３５】
Ｓ４は、発呼処理を行う。これは、Ｓ３でサーバ３が認識した受話側の端末Ｂの電話番号に発呼する。
【００３６】
Ｓ５は、端末Ｂで着信処理を行う。
Ｓ６は、呼び出しする。これらＳ５、Ｓ６は、Ｓ４でサーバ３から発呼された受話側の端末Ｂが着信処理を行うと共にユーザＢを呼び出すためのベルを鳴らす。
【００３７】
Ｓ７は、着信通知する。端末ＢがＳ５で着信したことを認識したので、当該着信した返答をサーバ３に返す。
【００３８】
Ｓ８は、呼開設監視を開始すると共に、呼び出し中を送話側に返答する。
Ｓ９は、送話側の端末Ａに呼び出し中表示（あるいは呼び出し音声を発声）する。
【００３９】
Ｓ１１は、オフフックする。これは、Ｓ６の呼び出しに対応して、ユーザＢが受話側の端末Ｂの受話器を取り上げる。
【００４０】
Ｓ１２は、応答通知する。
Ｓ１３は、Ｓ１２の応答通知に対応して、サーバ３が課金開始する。
【００４１】
Ｓ１４は、端末Ｂが通話セッションを開始する。
Ｓ１５は、サーバ３が呼開設通知を端末Ａに送信する。
【００４２】
Ｓ１６は、端末Ａが通話セッションを開始する。
Ｓ１７は、通話開始する。これにより、発話側の端末ＡのユーザＡと、受話側の端末ＢのユーザＢとが相互に通話および当該通話に同期してテキスト情報を表示することが相互に可能となる。
【００４３】
次に、通話とテキスト情報の同期表示について詳細に説明する。
図３において、Ｓ２１は、ユーザＡが通話する。
【００４４】
Ｓ２２は、音声符号化する。
Ｓ２３は、音声パケット化する。これらＳ２２、Ｓ２３により、ユーザＡが送話側の端末Ａの受話器に送話すると、サンプリングして符号化し、更に、パケットにしてネットワークを介して受話側の端末Ｂに向けて順次送信する。
【００４５】
Ｓ２４は、送話音声を読み込む。
Ｓ２５は、音声テキスト化する。
【００４６】
Ｓ２６は、テキストパケット化する。これらＳ２４からＳ２６により、ユーザＡが送話側の端末Ａの受話器に送話すると、当該送話された音声を読み込んで音声認識してテキスト化および音声照合情報を付加し、更に、これらをパケットにしてネットワークを介して受話側の端末Ｂに向けて順次送信する。
【００４７】
以上のＳ２１からＳ２６によって、ユーザＡが送話側の端末Ａの受話器に送話すると、音声符号化してパケット化、および音声を文字認識してテキスト化および音声照合情報を付加してパケット化し、受話側の端末Ｂに向けて当該パケットを送信することが可能となる。この際、テキスト情報のパケットは、音声が所定閾値よりも小さいときあるいは音声が無いときに送出するようにしている。
【００４８】
Ｓ２７は、初期化する。
Ｓ２８は、バッファ処理を行う。
【００４９】
Ｓ２９は、音声復号化する。
Ｓ３０は、受話する。これらＳ２８、Ｓ２９、Ｓ３０は、Ｓ２３で送話側のユーザＡの送話をパケット化したパケットを、端末Ｂが受信したときに、当該受信したパケットをバッファに一旦格納した後、所定時間遅延して時間順に当該バッファから該当パケットを取り出し、復号化して元の音声信号にし、受話器で元の音声に戻して出力し、ユーザＢに聞かせる。
【００５０】
Ｓ３１は、同期処理を行う。
Ｓ３２は、表示処理を行う。
【００５１】
Ｓ３３は、テキスト表示する。これらＳ３１、Ｓ３２、Ｓ３３は、Ｓ２６で送話側のユーザＡの送話を文字認識したテキスト情報をパケット化したパケットを、端末Ｂが受信したときに、当該パケット中の音声照合情報をもとに同期処理を行い、端末Ｂの表示画面上にテキスト情報を音声と同期して表示する（図７から図１１参照）。
【００５２】
同様に繰り返しと記載したように、Ｓ２１からＳ３３を繰り返すことにより、送話側の端末Ａから受話側の端末Ｂに、音声および当該音声を認識したテキスト情報とその音声照合情報とをパケットにして送信して受信し、発声およびテキスト情報を同期化して表示することが可能となる（図７から図１１参照）。
【００５３】
図４は、本発明の動作説明フローチャート（通話から呼開放まで）を示す。
図４において、Ｓ４１は、通話終了する。
【００５４】
Ｓ４２は、ユーザＢ（受話）がオフフックする。これは、ユーザＢが端末Ｂの受話器を置き、通話を終了する。
【００５５】
Ｓ４３は、端末Ｂが通話セッション終了通知をサーバ３に行う。
Ｓ４４は、サーバ３が課金終了する。
【００５６】
Ｓ４５は、サーバ３が課金通知を送話側の端末Ａに通知する。
Ｓ４６は、端末Ａが通話セッションを終了する。
【００５７】
Ｓ４７は、端末Ａが音声の符号化を終了する。
Ｓ４８は、端末Ａがテキスト化を終了する。
【００５８】
Ｓ４９は、サーバ３が呼開放する。
Ｓ５０は、端末Ｂがテキスト情報の表示処理を終了する。
【００５９】
Ｓ５１は、端末Ｂが音声パケットの復号化を終了する。
以上によって、通話終了処理を行うことが可能となる。
【００６０】
図５および図６は、本発明の説明図を示す。ここで、図２のＡ〜Ｆの各ポイントでの情報形態を以下に示す。音声は１２５μｓ単位にサンプリングし、ＲＴＰ間隔を２０ｍｓとする。
【００６１】
図５の（１）Ａは、図２の入力サンプリング手段１２から符号化処理手段１３に入力する信号の例を示す。ここでは、呼設定・管理手段１１からのスタート情報を、ユーザＡが送話した音声信号中の図示の位置に挿入している。サンプリング時間は１２５μｓである。これにより、スタート情報の位置を基準に、音声（１２５μｓ間隔でサンプリングしたデジタルの音声）と、音声を文字認識したテキスト情報との同期化を行うことが可能となる。
【００６２】
図５の（２）Ｂは、図２の符号化処理手段１３からＲＴＰ情報生成手段１４に入力される信号の例を示す。ここでは、図示のように、サンプリング時間（１２５μｓ間隔）毎に、サンプリング時間と、サンプリングされた音声信号（デジタル値）とを組した情報を生成する。
【００６３】
図５の（３）Ｃは、図２の時間情報照合手段１７がテキスト情報パケット化手段１８に出力する信号の例を示す。ここでは、入力サンプリング時間と、ＲＴＰタイムスタンプ（ｍｓ）（スタート情報を含む）とを対応づけた情報である。尚、スタート情報の位置を確認することで、入力サンプリング時間とＲＴＰタイムスタンプとの対応ができる。また、ＲＴＰタイムスタンプはパケットの生成間隔ごとの値をとる（図の例では２０ｍｓ）。
【００６４】
図５の（４）Ｄは、図２のテキスト化処理手段１６からテキスト化情報パケット化手段１８に入力される信号の例を示す。ここでは、入力サンプリング時間、テキスト情報シーケンス番号、テキスト情報内容を対応づけたものである。尚、テキスト情報については、スタート情報の位置と、テキスト化した先頭の入力サンプリング時間を記録することで、テキスト情報がどのＲＴＰに対応しているか判明する。
【００６５】
図６の（５）Ｅは、図２のＲＴＰ情報生成手段１４から音声情報パケット化手段１５に入力する信号の例を示す。ここでは、ＲＴＰ情報は、標準的な仕様で生成する（テキスト化情報との照合情報はここには記述されない）。これはテキスト表示できない端末との通信互換性を保つためである。
【００６６】
図６の（６）Ｆは、図２のテキスト情報パケット化手段７から出力される信号の例を示す。ここでは、テキスト情報ヘッダ（ヘッダ部）には、テキスト化した順序を示すシーケンス番号と、対応するＲＴＰのタイムスタンプ情報とが記述されている。データ部には図１の（ｃ）で既述したように、音声照合情報（ここでは、シーケンス番号、ＲＴＰタイムスタンプ）と、テキスト情報本体とが記述されている。
【００６７】
次に、図７から図１１を参照して受話側の端末Ｂの構成および動作を詳細に説明する。
図７は、本発明の端末（受話側）の例を示す。
【００６８】
図７において、呼設定・管理手段２１は、呼を設定して管理するものであって、ここでは、受信開始（通話セッション開始時）を指示するものである。
【００６９】
音声情報受信処理手段２２は、音声情報パケットを受信するものであって、ここでは、音声情報パケットの音声情報中からタイムスタンプ情報を読み取り、同期化処理手段２６に渡すなどするものである。
【００７０】
バッファ２３は、受信した音声パケットを一時的に格納し、同期化処理手段２６からの調整時間の通知をもとに、当該所定時間調整して同期化したパケットを取り出すためのものである。
【００７１】
復号化処理手段２４は、音声パケットを復号し、デジタルの音声の戻すものである。
テキスト情報受信処理手段２５は、テキスト情報パケットを受信するものであって、ここでは、テキスト情報中の音声照合情報として、テキスト化した音声情報パケットのタイムスタンプの範囲を取り出し、同期化処理手段２６に渡すなどするものである。
【００７２】
同期化処理手段２６は、音声情報受信処理手段２２から渡された音声パケットのタイムスタンプ情報と、テキスト情報受信処理手段２５から渡された当該音声パケットの音声をパケット化したときのタイムスタンプの範囲の情報とをもとに、テキスト情報に同期化するように、バッファ２３の深さを調整して音声パケットの同期化を行うものである（図８から図１１参照）。
【００７３】
表示処理手段２７は、テキスト情報を表示するものである（図８から図１１参照）。
図８は、本発明の受信ブロック２００の構成例を示す。受信ブロック２００は、図１の（ｂ），（ｃ）で既述したように、音声情報パケットと、テキスト情報パケットとが混在したものであって、ここでは、音声情報パケットに対して、テキスト情報パケットが図示の到着時間差ｔ１を持つものである。
【００７４】
図９は、本発明の説明図（到着時間差等）を示す。
図９において、バッファ２３のバッファの深さをｔＢ（時間）とし、規定音声情報間隔をｔｃ（時間）とし、音声パケットの規定音声情報間隔からのずれをΔｔ（時間）とすると、音声情報パケットがバッファ２３に入力されてから出力されるまでの時間ｔ２は、
ｔ２＝ｔＢ−Δｔ
となる。そして、この不ぞろいなｔ２の時間を持つ音声パケットをバッファ２３に一時的に格納し、出力からはｔｃが一定の音声パケットを、図７の復号処理手段２４に出力して音声に復号化することが可能となる。また、図８で既述した到着時間差ｔ１が丁度ｔＢにほぼ等しくなるように当該バッファの深さを調整することにより同期化を行い、音声情報パケットを復号化した音声と、テキスト情報パケットを復号化したテキスト情報との同期化を行うことが可能となる。
【００７５】
図１０は、本発明の表示例（音声情報欠落時のテキスト表示例）を示す。
図１０の（ａ）は、原音の例を示す。ここでは、「ひゃくまんえん」（百万円）の例を示す。
【００７６】
図１０の（ｂ）は、送話側出力音声パケットの例を示す。ここでは、音声パケットは、欠落することなく出力されている。
【００７７】
図１０の（ｃ）は、受話側に到着した音声情報パケットの例を示す。ここでは、黒印のものが欠落したとする。欠落したパケットを図示のように、黒印で表示してユーザＢに知らせる。
【００７８】
図１０の（ｄ）は、再生音の例を示す。再生音は、図１０の（ｃ）の音声情報パケットのうち、「ま」、「ん」の音声グループ内のパケットが欠落したので、当該「ま」、「ん」の音を再生不可であるので、「ひゃく−−えん」と再生され、「百円」と誤認識する事態が発生する恐れがある。この際、音声情報パケットが欠落した場合、送話側に欠落した音声部分（シーケンス番号、タイムスタンプ）を通知し、送話側の画面に同様に、図１０の（ｃ）のように欠落したパケット部分を強調表示するようにしてもよい。
【００７９】
図１０の（ｅ）は、テキスト表示の例を示す。これは、図１０の（ｂ）の送話側出力音声情報パケットの元の音声情報を文字認識したテキスト情報「ひゃくまんえん」をパケットにし、受話側で受信して表示した例を示す。
【００８０】
図１１は、本発明の表示例を示す。
図１１の（ａ）は、パケットの例を示す。これは、受話側で受信されたパケットの例を示す。欠落したパケットを強調表示する。
【００８１】
図１１の（ｂ）は、音声情報パケットの例を示す。これは、図１１の（ａ）の受信パケットから音声情報パケットのみを抽出し、欠落したパケットを強調表示した例を示す。
【００８２】
図１１の（ｃ）は、テキスト情報パケットの例を示す。これは、図１１の（ａ）の受信パケットからテキスト情報パケットのみを抽出し、欠落したパケットを強調表示した例を示す。
【産業上の利用可能性】
【００８３】
本発明は、電話システムで送信側と受信側とで通話する際に、受信側で音声として途中で途切れが発生しても音声テキストを同期して表示すると共に途切れた部分を強調表示したり、更に、受信側から送信側に途切れた旨を送信して表示し、ＩＰ電話における音声の途切れが発生しても同期して確実に音声テキストを表示、欠落部分を強調表示すると共に、送信側に音声の途切れた旨を送信して表示して知らせる電話システムに関するものである。
【図面の簡単な説明】
【００８４】
【図１】本発明のシステム構成図である。
【図２】本発明の端末（送話側）である。
【図３】本発明の動作説明フローチャート（呼設定から通話開始まで）である。
【図４】本発明の動作説明フローチャート（通話から呼開放まで）である。
【図５】本発明の説明図（その１）である。
【図６】本発明の説明図（その２）である。
【図７】本発明の端末（受話側）である。
【図８】本発明の受信ブロック２００の構成例である。
【図９】本発明の説明図（到着時間差等）である。
【図１０】本発明の表示例（音声情報欠落時のテキスト表示例）である。
【図１１】本発明の表示例である。
【符号の説明】
【００８５】
１：端末
２：収容基地局
３：サーバ
４：ネットワーク
１１、２１：呼設定・管理手段
１２：入力サンプリング手段
１３：符号化処理手段
１４：ＲＴＰ情報生成手段
１５：音声情報パケット化手段
１６：テキスト化処理手段
１６１：音声読込手段
１６２：テキスト情報化手段
１７：時間情報照合手段
１８：テキスト情報パケット化手段
２２：音声情報受信処理手段
２３：バッファ
２４：復号処理手段
２５：テキスト情報受信処理手段
２６：同期化処理手段
２７：表示処理手段
【技術分野】
【０００１】
本発明は、送信側で音声を送信し、受信側で受信する電話システムに関するものである。
【背景技術】
【０００２】
従来、ＩＰ技術を用いた電話システムは、音声をなるべく途切れさせないためにネットワーク内のパケット優先付け技術で音声（パケット）を優先的に処理する工夫がなされている。
【０００３】
また、ネットワーク上に通信サーバを配して、このサーバ内で電話システムからの音声（パケット）を音声認識してテキスト化し、指定された宛先にメールで配信する技術がある（特許文献１）。
【０００４】
また、着信に応答できない場合、発信者からの音声メッセージを蓄積し音声認識してテキストメッセージに変換し、発信者からのメッセージ報知タイミングあるいはユーザ指定があった場合に、変換したテキストメッセージを送信して表示させる技術がある（特許文献２）。
【特許文献１】特開２００５−１２３９１号公報
【特許文献２】特開２００４−３２８５２５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、従来のパケット優先付け技術で音声（パケット）を優先的に処理したとしても、電話システムが全面的にＩＰ化されると優先制御を完全に動作させることが困難となり、音声が途切れる事態が発生するおそれがあるという問題がある。
【０００６】
このため、例えば送信側では受信側で音声が正常に再生されない事態が発生したことが判らないため、そのまま会話を継続し後から話しの内容についての補足や途中から話しのやり直しを行う必要性が生じてしまうという問題があった。
【０００７】
また、従来の前者の特許文献の技術では、ネットワーク上にサーバを設けて当該サーバで音声を認識してメールで配信するものであり、音声に同期してその音声認識したテキストデータを表示できないと共に、送信側で受信側で音声が正常に再生されない事態が発生したことを認識できないという問題があった。
【０００８】
また、従来の後者の特許文献の技術では、着信に応答できない場合に、発信者からの音声メッセージをテキスデータにし、表示するものであり、音声に同期してその音声認識したテキストデータを表示できないと共に、送信側で受信側で音声が正常に再生されない事態が発生したことを認識できないという問題があった。
【課題を解決するための手段】
【０００９】
本発明は、これらの問題を解決するため、電話システムで送信側と受信側とで通話する際に、受信側で音声として途中で途切れが発生しても音声テキストを同期して表示すると共に途切れた部分を強調表示したり、受信側から送信側に途切れた旨を送信して表示するようにしている。
【発明の効果】
【００１０】
本発明は、電話システムで送信側と受信側とで通話する際に、受信側で音声として途中で途切れが発生しても音声テキストを同期して表示すると共に途切れた部分を強調表示したり、更に、受信側から送信側に途切れた旨を送信して表示することにより、ＩＰ電話における音声の途切れが発生しても同期して確実に音声テキストを表示、欠落部分を強調表示すると共に、送信側に音声の途切れた旨を送信して表示して知らせることが可能となる。
【発明を実施するための最良の形態】
【００１１】
本発明は、電話システムで送信側と受信側とで通話する際に、受信側で音声として途中で途切れが発生しても音声テキストを同期して表示すると共に途切れた部分を強調表示したり、受信側から送信側に途切れた旨を送信して表示したりすることを実現した。
【実施例１】
【００１２】
図１は、本発明のシステム構成図を示す。
図１の（ａ）は、全体システム構成図を示す。
【００１３】
図１の（ａ）において、端末１は、固定加入電話／携帯電話などの通話する端末であって、ここでは、送話側の端末を端末Ａ，受話側の端末を端末Ｂとしたものであり、相互に通話および同期したテキスト情報を表示するためのものである。
【００１４】
収容基地局２は、ネットワーク４に接続され、端末１と加入者回線（無線、有線）を介して相互にパケットで通話するものであって、ここでは、送話側の端末Ａとの間に通話するものを収容基地局Ａ，受話側の端末Ｂと通話するものを収容基地局Ｂとしたものである。端末１と収容基地局２との間には、通話時に、音声情報および当該音声情報を文字認識したテキスト情報と識別情報が相互に送受信される（図２から図１１参照）。
【００１５】
サーバ３は、ネットワーク４に接続され、送話側の端末Ａと、受話側の端末Ｂとの間の呼管理（呼の接続、課金管理など）を行うものである。
【００１６】
ネットワーク４は、パケットを相互に通信する通信路であって、ここでは、収容基地局Ａ，収容基地局Ｂ、サーバなどを接続し、端末Ａと端末Ｂとが相互に通話（通話およびテキスト情報を表示）するものである。
【００１７】
図１の（ｂ）は、パケット例を示す。これは、端末Ａからネットワーク４を介して端末Ｂに向けて送信するパケットの例を示す。
【００１８】
図１の（ｂ）において、送信ブロック１００は、図１の（ａ）の送話側の端末Ａが、ユーザから発声されたアナログの音声信号をサンプリングしてデジタルの音声信号に変換し、これをパケットに設定した音声情報パケット３００および当該音声信号を文字認識してテキスト情報にし、これをパケットに設定したテキスト情報パケット４００の両者を含むものであって、送信側の端末Ａからネットワーク４に向けて送信するものである。
【００１９】
受信ブロック２００は、ネットワーク４から、受話側の端末Ｂが受信する受信ブロックを示す。当該受信ブロック２００から音声情報およびテキスト情報をそれぞれ取り出すためのものである。
【００２０】
図１の（ｃ）は、音声照合情報例を示す。これは、図１の（ｂ）のテキスト情報について、データ部に、テキスト情報本体４０１に加えて、音声照合情報４０２が設定されているのでこれを取り出し、後述するように、音声の発声に併せて当該テキスト情報本体４０１を同期して表示したり、音声パケットが欠落したときにテキスト情報中の欠落した部分を強調表示したりなどするためのものである（図２から図１１参照）。
【００２１】
図２は、本発明の端末（送話側）の例を示す。
図２において、呼設定・管理手段１１は、ネットワーク４との間（更に、受話側の端末Ｂ）に呼を設定して管理するものであって、ここでは、呼を設定して通話可能となったときに、スタート情報を入力サンプリング手段１２に送出し、通話の開始情報を音声情報中に埋め込むものである（図５の（１）Ａ参照）。
【００２２】
入力サンプリング手段１２は、ユーザＡからの音声信号の入力サンプリング時間を記録したり、呼設定・管理手段１１からの通話の開始情報を当該音声信号中に埋め込んだりなどするものである（図５の（１）Ａ参照）。
【００２３】
符号化処理手段１３は、音声信号（含む、通話の開始情報）をサンプリング時間単位でサンプリングしてデジタルの音声信号を生成するものである（図５の（２）Ｂ参照）。
【００２４】
ＲＴＰ情報生成手段１４は、符号化処理手段１３で生成されたデジタルの複数の符号化された音声情報を束ねてパケット用データ（ＲＴＰ情報）を生成するものである（図６の（５）Ｅ参照）。
【００２５】
音声情報パケット化手段１５は、パケット用データ（ＲＴＰ情報）をパケットにするものである。そして、生成したパケットをネットワークに送出する。
【００２６】
テキスト化処理手段１６は、音声を文字認識してテキスト情報とし、これに音声照合情報を付加するものであって、音声読込手段１６１、テキスト情報化手段１６２などから構成されるものである（図５の（４）Ｄ参照）。
【００２７】
音声読込手段１６１は、音声を読み込むものである。
テキスト情報化手段１６２は、どの入力サンプリング時間の音声信号をテキスト化したかの情報を記録するものである（図５の（４）Ｄ参照）。
【００２８】
時間情報照合手段１７は、スタート情報の含まれる入力サンプリング時間とＲＴＰタイムスタンプ位置を合わせ、時間対応情報を、テキスト情報パケット化手段１８に送信するものである（図５の（４）Ｄ参照）。
【００２９】
テキスト情報パケット化手段１８は、ネットワークの互換性、相互接続性を維持するために例えばＩＥＴＦ標準のパケットを生成するものである（図６の（６）Ｆ参照）。
【００３０】
次に、図３および図４のフローチャートの順番に従い、図１、図２の構成の動作を詳細に説明する。
【００３１】
図３は、本発明の動作説明フローチャート（呼設定から通話開始まで）を示す。ここで、端末Ａは図１、図２の発話側の端末Ａ、サーバ３は図１、図２のサーバ３、端末Ｂは図１、図２の受話側の端末Ｂである。ユーザＡ（送話）は送話側のユーザＡの番号操作、発話などを表す。端末Ａの音声情報、テキスト情報は、当該端末Ａの側の音声情報、テキスト情報の符号化などの処理を表す。端末Ｂの音声情報、テキスト情報は、当該端末Ｂの側の音声情報、テキスト情報の表示などの処理を表す。
【００３２】
図３において、Ｓ１は、ユーザＡ（発話）が番号投入する。これは、発話側のユーザＡが受話側の端末Ｂの電話番号をダイヤル入力する。
【００３３】
Ｓ２は、発呼処理を行う。これは、Ｓ１でユーザＡがダイヤルしたことに対応して、当該番号の発呼を行う。
【００３４】
Ｓ３は、サーバ３が受話側端末を認識する。これは、サーバ３がＳ２で発呼された受話側の端末Ｂの電話番号を認識する。
【００３５】
Ｓ４は、発呼処理を行う。これは、Ｓ３でサーバ３が認識した受話側の端末Ｂの電話番号に発呼する。
【００３６】
Ｓ５は、端末Ｂで着信処理を行う。
Ｓ６は、呼び出しする。これらＳ５、Ｓ６は、Ｓ４でサーバ３から発呼された受話側の端末Ｂが着信処理を行うと共にユーザＢを呼び出すためのベルを鳴らす。
【００３７】
Ｓ７は、着信通知する。端末ＢがＳ５で着信したことを認識したので、当該着信した返答をサーバ３に返す。
【００３８】
Ｓ８は、呼開設監視を開始すると共に、呼び出し中を送話側に返答する。
Ｓ９は、送話側の端末Ａに呼び出し中表示（あるいは呼び出し音声を発声）する。
【００３９】
Ｓ１１は、オフフックする。これは、Ｓ６の呼び出しに対応して、ユーザＢが受話側の端末Ｂの受話器を取り上げる。
【００４０】
Ｓ１２は、応答通知する。
Ｓ１３は、Ｓ１２の応答通知に対応して、サーバ３が課金開始する。
【００４１】
Ｓ１４は、端末Ｂが通話セッションを開始する。
Ｓ１５は、サーバ３が呼開設通知を端末Ａに送信する。
【００４２】
Ｓ１６は、端末Ａが通話セッションを開始する。
Ｓ１７は、通話開始する。これにより、発話側の端末ＡのユーザＡと、受話側の端末ＢのユーザＢとが相互に通話および当該通話に同期してテキスト情報を表示することが相互に可能となる。
【００４３】
次に、通話とテキスト情報の同期表示について詳細に説明する。
図３において、Ｓ２１は、ユーザＡが通話する。
【００４４】
Ｓ２２は、音声符号化する。
Ｓ２３は、音声パケット化する。これらＳ２２、Ｓ２３により、ユーザＡが送話側の端末Ａの受話器に送話すると、サンプリングして符号化し、更に、パケットにしてネットワークを介して受話側の端末Ｂに向けて順次送信する。
【００４５】
Ｓ２４は、送話音声を読み込む。
Ｓ２５は、音声テキスト化する。
【００４６】
Ｓ２６は、テキストパケット化する。これらＳ２４からＳ２６により、ユーザＡが送話側の端末Ａの受話器に送話すると、当該送話された音声を読み込んで音声認識してテキスト化および音声照合情報を付加し、更に、これらをパケットにしてネットワークを介して受話側の端末Ｂに向けて順次送信する。
【００４７】
以上のＳ２１からＳ２６によって、ユーザＡが送話側の端末Ａの受話器に送話すると、音声符号化してパケット化、および音声を文字認識してテキスト化および音声照合情報を付加してパケット化し、受話側の端末Ｂに向けて当該パケットを送信することが可能となる。この際、テキスト情報のパケットは、音声が所定閾値よりも小さいときあるいは音声が無いときに送出するようにしている。
【００４８】
Ｓ２７は、初期化する。
Ｓ２８は、バッファ処理を行う。
【００４９】
Ｓ２９は、音声復号化する。
Ｓ３０は、受話する。これらＳ２８、Ｓ２９、Ｓ３０は、Ｓ２３で送話側のユーザＡの送話をパケット化したパケットを、端末Ｂが受信したときに、当該受信したパケットをバッファに一旦格納した後、所定時間遅延して時間順に当該バッファから該当パケットを取り出し、復号化して元の音声信号にし、受話器で元の音声に戻して出力し、ユーザＢに聞かせる。
【００５０】
Ｓ３１は、同期処理を行う。
Ｓ３２は、表示処理を行う。
【００５１】
Ｓ３３は、テキスト表示する。これらＳ３１、Ｓ３２、Ｓ３３は、Ｓ２６で送話側のユーザＡの送話を文字認識したテキスト情報をパケット化したパケットを、端末Ｂが受信したときに、当該パケット中の音声照合情報をもとに同期処理を行い、端末Ｂの表示画面上にテキスト情報を音声と同期して表示する（図７から図１１参照）。
【００５２】
同様に繰り返しと記載したように、Ｓ２１からＳ３３を繰り返すことにより、送話側の端末Ａから受話側の端末Ｂに、音声および当該音声を認識したテキスト情報とその音声照合情報とをパケットにして送信して受信し、発声およびテキスト情報を同期化して表示することが可能となる（図７から図１１参照）。
【００５３】
図４は、本発明の動作説明フローチャート（通話から呼開放まで）を示す。
図４において、Ｓ４１は、通話終了する。
【００５４】
Ｓ４２は、ユーザＢ（受話）がオフフックする。これは、ユーザＢが端末Ｂの受話器を置き、通話を終了する。
【００５５】
Ｓ４３は、端末Ｂが通話セッション終了通知をサーバ３に行う。
Ｓ４４は、サーバ３が課金終了する。
【００５６】
Ｓ４５は、サーバ３が課金通知を送話側の端末Ａに通知する。
Ｓ４６は、端末Ａが通話セッションを終了する。
【００５７】
Ｓ４７は、端末Ａが音声の符号化を終了する。
Ｓ４８は、端末Ａがテキスト化を終了する。
【００５８】
Ｓ４９は、サーバ３が呼開放する。
Ｓ５０は、端末Ｂがテキスト情報の表示処理を終了する。
【００５９】
Ｓ５１は、端末Ｂが音声パケットの復号化を終了する。
以上によって、通話終了処理を行うことが可能となる。
【００６０】
図５および図６は、本発明の説明図を示す。ここで、図２のＡ〜Ｆの各ポイントでの情報形態を以下に示す。音声は１２５μｓ単位にサンプリングし、ＲＴＰ間隔を２０ｍｓとする。
【００６１】
図５の（１）Ａは、図２の入力サンプリング手段１２から符号化処理手段１３に入力する信号の例を示す。ここでは、呼設定・管理手段１１からのスタート情報を、ユーザＡが送話した音声信号中の図示の位置に挿入している。サンプリング時間は１２５μｓである。これにより、スタート情報の位置を基準に、音声（１２５μｓ間隔でサンプリングしたデジタルの音声）と、音声を文字認識したテキスト情報との同期化を行うことが可能となる。
【００６２】
図５の（２）Ｂは、図２の符号化処理手段１３からＲＴＰ情報生成手段１４に入力される信号の例を示す。ここでは、図示のように、サンプリング時間（１２５μｓ間隔）毎に、サンプリング時間と、サンプリングされた音声信号（デジタル値）とを組した情報を生成する。
【００６３】
図５の（３）Ｃは、図２の時間情報照合手段１７がテキスト情報パケット化手段１８に出力する信号の例を示す。ここでは、入力サンプリング時間と、ＲＴＰタイムスタンプ（ｍｓ）（スタート情報を含む）とを対応づけた情報である。尚、スタート情報の位置を確認することで、入力サンプリング時間とＲＴＰタイムスタンプとの対応ができる。また、ＲＴＰタイムスタンプはパケットの生成間隔ごとの値をとる（図の例では２０ｍｓ）。
【００６４】
図５の（４）Ｄは、図２のテキスト化処理手段１６からテキスト化情報パケット化手段１８に入力される信号の例を示す。ここでは、入力サンプリング時間、テキスト情報シーケンス番号、テキスト情報内容を対応づけたものである。尚、テキスト情報については、スタート情報の位置と、テキスト化した先頭の入力サンプリング時間を記録することで、テキスト情報がどのＲＴＰに対応しているか判明する。
【００６５】
図６の（５）Ｅは、図２のＲＴＰ情報生成手段１４から音声情報パケット化手段１５に入力する信号の例を示す。ここでは、ＲＴＰ情報は、標準的な仕様で生成する（テキスト化情報との照合情報はここには記述されない）。これはテキスト表示できない端末との通信互換性を保つためである。
【００６６】
図６の（６）Ｆは、図２のテキスト情報パケット化手段７から出力される信号の例を示す。ここでは、テキスト情報ヘッダ（ヘッダ部）には、テキスト化した順序を示すシーケンス番号と、対応するＲＴＰのタイムスタンプ情報とが記述されている。データ部には図１の（ｃ）で既述したように、音声照合情報（ここでは、シーケンス番号、ＲＴＰタイムスタンプ）と、テキスト情報本体とが記述されている。
【００６７】
次に、図７から図１１を参照して受話側の端末Ｂの構成および動作を詳細に説明する。
図７は、本発明の端末（受話側）の例を示す。
【００６８】
図７において、呼設定・管理手段２１は、呼を設定して管理するものであって、ここでは、受信開始（通話セッション開始時）を指示するものである。
【００６９】
音声情報受信処理手段２２は、音声情報パケットを受信するものであって、ここでは、音声情報パケットの音声情報中からタイムスタンプ情報を読み取り、同期化処理手段２６に渡すなどするものである。
【００７０】
バッファ２３は、受信した音声パケットを一時的に格納し、同期化処理手段２６からの調整時間の通知をもとに、当該所定時間調整して同期化したパケットを取り出すためのものである。
【００７１】
復号化処理手段２４は、音声パケットを復号し、デジタルの音声の戻すものである。
テキスト情報受信処理手段２５は、テキスト情報パケットを受信するものであって、ここでは、テキスト情報中の音声照合情報として、テキスト化した音声情報パケットのタイムスタンプの範囲を取り出し、同期化処理手段２６に渡すなどするものである。
【００７２】
同期化処理手段２６は、音声情報受信処理手段２２から渡された音声パケットのタイムスタンプ情報と、テキスト情報受信処理手段２５から渡された当該音声パケットの音声をパケット化したときのタイムスタンプの範囲の情報とをもとに、テキスト情報に同期化するように、バッファ２３の深さを調整して音声パケットの同期化を行うものである（図８から図１１参照）。
【００７３】
表示処理手段２７は、テキスト情報を表示するものである（図８から図１１参照）。
図８は、本発明の受信ブロック２００の構成例を示す。受信ブロック２００は、図１の（ｂ），（ｃ）で既述したように、音声情報パケットと、テキスト情報パケットとが混在したものであって、ここでは、音声情報パケットに対して、テキスト情報パケットが図示の到着時間差ｔ１を持つものである。
【００７４】
図９は、本発明の説明図（到着時間差等）を示す。
図９において、バッファ２３のバッファの深さをｔＢ（時間）とし、規定音声情報間隔をｔｃ（時間）とし、音声パケットの規定音声情報間隔からのずれをΔｔ（時間）とすると、音声情報パケットがバッファ２３に入力されてから出力されるまでの時間ｔ２は、
ｔ２＝ｔＢ−Δｔ
となる。そして、この不ぞろいなｔ２の時間を持つ音声パケットをバッファ２３に一時的に格納し、出力からはｔｃが一定の音声パケットを、図７の復号処理手段２４に出力して音声に復号化することが可能となる。また、図８で既述した到着時間差ｔ１が丁度ｔＢにほぼ等しくなるように当該バッファの深さを調整することにより同期化を行い、音声情報パケットを復号化した音声と、テキスト情報パケットを復号化したテキスト情報との同期化を行うことが可能となる。
【００７５】
図１０は、本発明の表示例（音声情報欠落時のテキスト表示例）を示す。
図１０の（ａ）は、原音の例を示す。ここでは、「ひゃくまんえん」（百万円）の例を示す。
【００７６】
図１０の（ｂ）は、送話側出力音声パケットの例を示す。ここでは、音声パケットは、欠落することなく出力されている。
【００７７】
図１０の（ｃ）は、受話側に到着した音声情報パケットの例を示す。ここでは、黒印のものが欠落したとする。欠落したパケットを図示のように、黒印で表示してユーザＢに知らせる。
【００７８】
図１０の（ｄ）は、再生音の例を示す。再生音は、図１０の（ｃ）の音声情報パケットのうち、「ま」、「ん」の音声グループ内のパケットが欠落したので、当該「ま」、「ん」の音を再生不可であるので、「ひゃく−−えん」と再生され、「百円」と誤認識する事態が発生する恐れがある。この際、音声情報パケットが欠落した場合、送話側に欠落した音声部分（シーケンス番号、タイムスタンプ）を通知し、送話側の画面に同様に、図１０の（ｃ）のように欠落したパケット部分を強調表示するようにしてもよい。
【００７９】
図１０の（ｅ）は、テキスト表示の例を示す。これは、図１０の（ｂ）の送話側出力音声情報パケットの元の音声情報を文字認識したテキスト情報「ひゃくまんえん」をパケットにし、受話側で受信して表示した例を示す。
【００８０】
図１１は、本発明の表示例を示す。
図１１の（ａ）は、パケットの例を示す。これは、受話側で受信されたパケットの例を示す。欠落したパケットを強調表示する。
【００８１】
図１１の（ｂ）は、音声情報パケットの例を示す。これは、図１１の（ａ）の受信パケットから音声情報パケットのみを抽出し、欠落したパケットを強調表示した例を示す。
【００８２】
図１１の（ｃ）は、テキスト情報パケットの例を示す。これは、図１１の（ａ）の受信パケットからテキスト情報パケットのみを抽出し、欠落したパケットを強調表示した例を示す。
【産業上の利用可能性】
【００８３】
本発明は、電話システムで送信側と受信側とで通話する際に、受信側で音声として途中で途切れが発生しても音声テキストを同期して表示すると共に途切れた部分を強調表示したり、更に、受信側から送信側に途切れた旨を送信して表示し、ＩＰ電話における音声の途切れが発生しても同期して確実に音声テキストを表示、欠落部分を強調表示すると共に、送信側に音声の途切れた旨を送信して表示して知らせる電話システムに関するものである。
【図面の簡単な説明】
【００８４】
【図１】本発明のシステム構成図である。
【図２】本発明の端末（送話側）である。
【図３】本発明の動作説明フローチャート（呼設定から通話開始まで）である。
【図４】本発明の動作説明フローチャート（通話から呼開放まで）である。
【図５】本発明の説明図（その１）である。
【図６】本発明の説明図（その２）である。
【図７】本発明の端末（受話側）である。
【図８】本発明の受信ブロック２００の構成例である。
【図９】本発明の説明図（到着時間差等）である。
【図１０】本発明の表示例（音声情報欠落時のテキスト表示例）である。
【図１１】本発明の表示例である。
【符号の説明】
【００８５】
１：端末
２：収容基地局
３：サーバ
４：ネットワーク
１１、２１：呼設定・管理手段
１２：入力サンプリング手段
１３：符号化処理手段
１４：ＲＴＰ情報生成手段
１５：音声情報パケット化手段
１６：テキスト化処理手段
１６１：音声読込手段
１６２：テキスト情報化手段
１７：時間情報照合手段
１８：テキスト情報パケット化手段
２２：音声情報受信処理手段
２３：バッファ
２４：復号処理手段
２５：テキスト情報受信処理手段
２６：同期化処理手段
２７：表示処理手段
【特許請求の範囲】
【請求項１】
送信側で音声を送信し、受信側で受信する電話システムにおいて、
送信側で音声をパケットにするおよび当該音声を音声認識したテキスト情報をパケットにすると共に、両者の同期を表す識別情報を付加して送信する手段と、
受信側で前記パケットを受信し、音声およびテキスト情報を出力する際に、前記識別情報をもとに当該音声と当該テキスト情報とを同期出力する手段と
を備えたことを特徴とする電話システム。
【請求項２】
送信側で前記音声のレベルが所定閾値より小さいときあるいは音声が無いときに、前記識別情報をパケットに付加して送信することを特徴とする請求項１記載の電話システム。
【請求項３】
前記識別情報として、送信側で前記テキスト情報に同期対象の音声のパケットのシーケンス番号を付加し、受信側で受信したテキスト情報中のシーケンス番号をもとに音声のパケットを一時的に格納するバッファの深さを調整し同期して音声を出力することを特徴とする請求項１あるいは請求項２記載の電話システム。
【請求項４】
前記識別情報として、送信側で前記テキスト情報に同期対象の音声のパケットのタイムスタンプを付加し、受信側で受信したテキスト情報中のタイムスタンプをもとに音声のパケットを一時的に格納するバッファの深さを調整し同期して音声を出力することを特徴とする請求項１あるいは請求項２記載の電話システム。
【請求項５】
受信側で受信した音声のパケットについて、欠落した場合あるいは所定時間以内に受信できかった場合に、対応するテキスト情報の部分を強調表示することを特徴とする請求項１から請求項４のいずれかに記載の電話システム。
【請求項６】
受信側で受信したテキスト情報のパケットについて、欠落した場合あるいは所定時間以内に受信できかった場合に、対応するテキスト情報の部分を強調表示することを特徴とする請求項１から請求項５のいずれかに記載の電話システム。
【請求項７】
受信側で受信した音声のパケットについて、欠落した場合あるいは所定時間以内に受信できかった場合に、送信側にその旨をパケットで送信して音声のパケットが受信できなかった旨を出力させることを特徴とする請求項１から請求項６のいずれかに記載の電話システム。
【請求項１】
送信側で音声を送信し、受信側で受信する電話システムにおいて、
送信側で音声をパケットにするおよび当該音声を音声認識したテキスト情報をパケットにすると共に、両者の同期を表す識別情報を付加して送信する手段と、
受信側で前記パケットを受信し、音声およびテキスト情報を出力する際に、前記識別情報をもとに当該音声と当該テキスト情報とを同期出力する手段と
を備えたことを特徴とする電話システム。
【請求項２】
送信側で前記音声のレベルが所定閾値より小さいときあるいは音声が無いときに、前記識別情報をパケットに付加して送信することを特徴とする請求項１記載の電話システム。
【請求項３】
前記識別情報として、送信側で前記テキスト情報に同期対象の音声のパケットのシーケンス番号を付加し、受信側で受信したテキスト情報中のシーケンス番号をもとに音声のパケットを一時的に格納するバッファの深さを調整し同期して音声を出力することを特徴とする請求項１あるいは請求項２記載の電話システム。
【請求項４】
前記識別情報として、送信側で前記テキスト情報に同期対象の音声のパケットのタイムスタンプを付加し、受信側で受信したテキスト情報中のタイムスタンプをもとに音声のパケットを一時的に格納するバッファの深さを調整し同期して音声を出力することを特徴とする請求項１あるいは請求項２記載の電話システム。
【請求項５】
受信側で受信した音声のパケットについて、欠落した場合あるいは所定時間以内に受信できかった場合に、対応するテキスト情報の部分を強調表示することを特徴とする請求項１から請求項４のいずれかに記載の電話システム。
【請求項６】
受信側で受信したテキスト情報のパケットについて、欠落した場合あるいは所定時間以内に受信できかった場合に、対応するテキスト情報の部分を強調表示することを特徴とする請求項１から請求項５のいずれかに記載の電話システム。
【請求項７】
受信側で受信した音声のパケットについて、欠落した場合あるいは所定時間以内に受信できかった場合に、送信側にその旨をパケットで送信して音声のパケットが受信できなかった旨を出力させることを特徴とする請求項１から請求項６のいずれかに記載の電話システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２００７−２２８１１４（Ｐ２００７−２２８１１４Ａ）
【公開日】平成１９年９月６日（２００７．９．６）
【国際特許分類】
【出願番号】特願２００６−４４７３０（Ｐ２００６−４４７３０）
【出願日】平成１８年２月２２日（２００６．２．２２）
【出願人】（５９８０５７２９１）富士通サポートアンドサービス株式会社 (147)
【Ｆターム（参考）】
【公開日】平成１９年９月６日（２００７．９．６）
【国際特許分類】
【出願日】平成１８年２月２２日（２００６．２．２２）
【出願人】（５９８０５７２９１）富士通サポートアンドサービス株式会社 (147)
【Ｆターム（参考）】
[ Back to top ]