携帯電話端末装置
【課題】携帯電話端末装置を用いて通話する際、発話者および受話者は、発話した情報が受話側に正しく伝達できているか否かを双方で判断することができず、コミュニケーションを円滑に進めることができない。
【解決手段】携帯電話端末装置が、発話した音声の音量と自端末周辺の騒音やノイズ等の周辺音量とを比較することで発話した音声が相手側に正しく伝達されているか否かについて判断し、その判断結果を発話側と受話側に伝えることで、双方に、発話した情報の不伝達を認識させる。
【解決手段】携帯電話端末装置が、発話した音声の音量と自端末周辺の騒音やノイズ等の周辺音量とを比較することで発話した音声が相手側に正しく伝達されているか否かについて判断し、その判断結果を発話側と受話側に伝えることで、双方に、発話した情報の不伝達を認識させる。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、携帯電話端末装置に関する。本発明は、例えば発話した情報が受話側に伝達されていない状態を検出することができる携帯電話端末装置に適用することもできる。
【背景技術】
【０００２】
携帯電話端末を使用した音声による情報伝達は、周囲の騒音や、携帯電話端末と無線基地局との間における電波状態の影響等を受けやすく、発話側からの情報を受話側に正確に伝達できない場合がある。
【０００３】
この問題に対して、既存の携帯電話システムでは、ノイズキャンセリング機能や欠落した受話音声の補完等により、受話音声の品質を高め、受話者の認識率を向上させる技術が広く知られている。
【０００４】
例えば、無線基地局と携帯電話端末との電波状態が悪く、携帯電話端末間の無線伝送路上で、発話した音声情報が欠落し、欠落した状態で受話側に伝達された場合に、受話側の携帯電話端末にて欠落した音声情報を補完するという技術が知られている（例えば、特許文献１参照）。
【０００５】
また、無線基地局と携帯電話端末装置間との電波状態に応じて、発話した情報自体が相手側に到達したか否かを判断し、電波状態が悪く、相手側に発話した情報が到達しなかった場合に、その旨を携帯電話端末装置のユーザに通知するという技術が知られている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００２−３３０２３３号公報
【特許文献２】特開平１０−１６４１８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述した従来の技術では、発話した情報が受話側に正しく伝達できているか否かを発話側で判断することができず、コミュニケーションを円滑に進めることができないという問題があった。
【０００８】
例えば、受話音声の品質を高め、認識確率を向上させても、受話側の受話音声がクリアになるだけで、発話側は、発話した情報が受話側に正しく伝達できているか否かを判断することはできない。
【０００９】
同様に、無線伝送路上で欠落した音声を受話側の携帯電話端末装置で補完しても、例えば、携帯電話端末装置から出力された音声が、受話者の耳に到達するまでの間に、受話者の周囲環境の騒音やノイズ等の周辺音により、かき消された場合、受話側は、発話した情報を正しく認識することができない。
【００１０】
したがって、発話側は、受話側が発話した情報を認識できていない状況にも関わらず、通話し続けてしまい、話者間での誤解等招き、円滑にコミュニケーションを進めることができない。
【００１１】
また、電波状態が良好で、発話した情報が相手側に到達したとしても、到達した情報に発話した情報のみならず周囲の雑音も含まれていた場合に、受話側は、発話した情報を正しく認識することができない。
【００１２】
この場合においても、発話側は、受話側が通話情報を認識できていないにも関わらず、受話側に一方的に発話し続けてしまう可能性がある。その結果、話者間での誤解やトラブルが発生しやすく、円滑にコミュニケーションを進めることができない。
【００１３】
本件開示の装置は、円滑なコミュニケーションの実現を図ることを目的とする。
【課題を解決するための手段】
【００１４】
上述した課題を解決し、目的を達成するため、携帯電話端末装置は、自携帯電話端末装置の利用者により入力された音声の音量と、前記携帯電話端末装置周辺の音量を含む周辺音の音量とを比較して、前記利用者の音声が相手側の携帯電話端末装置に正しく伝達されているか否かを判断する発話音量判断手段と、前記発話音量判断手段の判断結果を出力する出力手段とを備えたことを要件とする。
【発明の効果】
【００１５】
本件開示の携帯電話端末装置によれば、円滑なコミュニケーションの実現を図ることができる。
【図面の簡単な説明】
【００１６】
【図１】図１は、実施例１の概要を説明するための図である。
【図２】図２は、実施例１に係る携帯電話端末装置システムについて説明するための図である。
【図３】図３は、実施例１に係る携帯電話端末装置の構成を示す図である。
【図４】図４は、発話音量判断部が行う判断動作を説明するための図である。
【図５】図５は、音量比較判断部が行う判断動作を説明するための図である。
【図６】図６は、双方が同時に発話したか否かの判断動作を説明するための図である。
【図７】図７は、応答があるか否かの判断動作を説明するための図である。
【図８】図８は、発話音声が受話側に伝達できているか否かを判断するフローチャートである。
【図９】図９は、受話音声が受話側に伝達できているか否かを判断するフローチャートである。
【図１０】図１０は、双方が同時に発話した場合を判断するフローチャートである。
【図１１】図１１は、発話後の無応答時間を判断するフローチャートである。
【図１２】図１２は、実施例２の概要を説明するための図である。
【図１３】図１３は、実施例２に係る携帯電話端末装置の構成を示す図である。
【図１４】図１４は、テキスト比較部３１６ｃの処理について説明するための図である。
【図１５】図１５は、実施例２に係る携帯電話端末装置の処理を示すフローチャートである。
【図１６】図１６は、発話情報の不伝達を判断するプログラムを実行する携帯電話端末装置のハードウェア構成を示す図である。
【発明を実施するための形態】
【００１７】
以下に添付図面を参照して、この発明に係る携帯電話端末装置の好適な実施の形態を詳細に説明する。
【実施例１】
【００１８】
まず、実施例１に係る携帯電話端末装置の概要について説明する。実施例１に係る携帯電話端末装置は、発話した情報が受話側に伝達できているか否かを判断し、その判断結果を発話者と受話者に通知する。
【００１９】
図１は、実施例１の概要を説明するための図である。図１では、まず、話者１０が携帯電話機１００ａを使用し、話者２０が携帯電話機１００ｂを使用し、通話している。そして、話者１０が、携帯電話機１００ａに発話する（ステップＳ１）。なお、以下、説明の便宜上、話者１０を発話者１０とし、話者２０を受話者２０とする。
【００２０】
その後、携帯電話機１００ａは、発話した情報が受話者２０に正しく伝達できていないと判断した場合に、その判断結果を検出する。そして、携帯電話機１００ａは、その判断結果を発話者１０に通知するとともに、携帯電話機１００ｂを介し、受話者２０にも通知する（ステップＳ２）。
【００２１】
このように、携帯電話端末装置が、相手側に発話した情報が正しく伝達できていないと判断した場合、その判断結果を発話側と受話側に通知することで、双方で、発話した情報の不伝達を認識することが可能となる。
【００２２】
その結果、発話者に対して、相手に正しく情報伝達を行うための措置を採るよう促すことができる。例えば、周囲の雑音が少ない場所に移動することや、再度発話をするといったことが挙げられる。
【００２３】
そして、情報が正しく伝達されないことによる話者間の不安やトラブルを軽減し、円滑なコミュニケーションを実現することができる。
【００２４】
次に、実施例１の前提となる携帯電話端末装置システムの構成について説明する。図２は、実施例１に係る携帯電話端末装置システムについて説明するための図である。図１には、電話網２００を介して、携帯電話機１００ａおよび携帯電話機１００ｂが相互に通話を行う例を示している。
【００２５】
電話網２００は、携帯電話機１００ａおよび携帯電話機１００ｂに、通話情報を伝送する手段で、基地局２００ａと、基地局２００ｂと、交換機２００ｃと、交換機２００ｄと、交換機２００ｅとを有する。
【００２６】
そして、電話網２００に含まれる各種装置は、携帯電話機１００ａや携帯電話機１００ｂが、発話した情報の不伝達を検出した場合に、その旨を相手側の携帯電話機に通知する機能を具備する。
【００２７】
次に、実施例１に係る携帯電話端末装置の構成について説明する。図３は、実施例１に係る携帯電話端末装置の構成を示す図である。図３に示すように、携帯電話端末装置１００は、マイク１０１と、スピーカ１１３と、無線部１１４と、制御部１１５とを有する。
【００２８】
マイク１０１は、発話者が発話した音声や、周辺の雑音や騒音、ノイズといった周辺音を取得し、発話音変換部１０２に取得した情報を入力する手段である。
【００２９】
スピーカ１１３は、発話した情報が受話側に伝達できていない状況を示す音声の再生や、通話情報が示す音声を再生する手段である。
【００３０】
無線部１１４は、携帯電話端末装置で行う通常の無線通信機能の他に、本発明に密接に関連するものとして、通話先の携帯電話端末装置使用者に対して、発話した情報が受話者に伝達できていない旨を示す情報を出力する手段である。
【００３１】
制御部１１５は、携帯電話端末装置１００のユーザが発話した情報を各種制御する手段で、発話音変換部１０２と、人語判断部１０３と、発話音量判断部１０４と、受話音変換部１０５と、人語判断部１０６と、音量比較判断部１０７と、受話／発話監視・判断部１０８と、ユーザ通知部１０９と、通話先通知部１１０と、ディスプレイ制御部１１１と、バイブレータ制御部１１２とを有する。
【００３２】
発話音変換部１０２は、マイク１０１から入力された情報を、携帯電話端末装置１００が取扱う形式に変換し、変換した情報を人語判断部１０３や発話音量判断部１０４または音量比較判断部１０７に入力する手段である。
【００３３】
人語判断部１０３は、発話音変換部１０２から入力された情報に言語情報が含まれているか否かを判断する手段である。この言語情報とは、「あ」や「い」といった言葉そのものを示す言葉情報と、その「あ」や「い」といった言葉情報が有する音量（以下、言葉音量とする）とを含んだ情報である。
【００３４】
そして、言語情報が含まれている場合、人語判断部１０３は、入力された情報から、発話者の言語情報を抽出し、抽出した言語情報を発話音量判断部１０４や受話／発話監視・判断部１０８に入力する。
【００３５】
発話音量判断部１０４は、発話音変換部１０２と人語判断部１０３とから入力された情報に基づいて、発話した情報が受話側に伝達できているか否かを判断し、発話した情報が受話側に伝達できていないと判断した場合に、その判断結果をユーザ通知部１０９へ入力する手段である。
【００３６】
この発話音量判断部１０４が行う判断動作について図３および図４を用いて説明する。図４は、発話音量判断部が行う判断動作を説明するための図である。なお、図４に示した携帯電話機１００ａおよび携帯電話機１００ｂは、図３に示した携帯電話端末装置１００に相当するものとし、説明の便宜上、携帯電話機１００ａを発話側端末装置、携帯電話機１００ｂを受話側端末装置として、図示する。
【００３７】
まず、発話者１０が、携帯電話機１００ａを使用して発話した際に、マイク１０１に対して、発話者１０の音声と、騒音やノイズといった周辺音等とが入力される（ステップＳ１０）。
【００３８】
その後、発話音量判断部１０４は、発話音変換部１０２からマイク１０１に入力された情報を受け取り、受け取った情報が有する音量を全体音量として保持する。したがって、この全体音量とは、マイク１０１に入力される音量（発話者の音声が有する音量や、騒音やノイズといった周辺音等とを合わせた音量）を示す。
【００３９】
一方、発話音量判断部１０４は、人語判断部１０３から言語情報を受け取った場合、受け取った言語情報に含まれる言葉音量を発話音量として保持する。
【００４０】
そして、発話音量判断部１０４は、全体音量と発話音量とを比較し、発話音量が十分に大きいか否かを判断し、発話音量が十分に大きいと判断できなかった場合に、発話した情報が受話者２０に伝達できていないと判断する（ステップＳ１１）。
【００４１】
上述したステップＳ１１にて示した判断は、例えば、以下に示す式（１）と閾値Ｘとを用いて説明するものとする。
【００４２】
式（１）；（発話音量Ａ／全体音量Ｂ）≦Ｘ（定数）
【００４３】
式（１）によれば、発話音量判断部１０４は、発話音量Ａ（単位；デシベル）を全体音量Ｂ（単位；デシベル）で割った値が、定数Ｘ以下であれば、発話音量が十分に大きいと判断しない。
【００４４】
一方、発話音量判断部１０４は、発話音量Ａを全体音量Ｂで割った値が、定数Ｘを超えていた場合に、発話音量が十分に大きいと判断する。なお、上述した定数Ｘは、携帯電話端末装置を使用して通話が成立する閾値を示し、任意に設定することができるものとする。
【００４５】
例えば、閾値Ｘを０．６として、発話音量が５０ｄｂ、全体音量が１００ｄｂであれば、式（１）より、発話音量判断部１０４は、発話音量が十分に大きいとは判断せずに、発話した情報が受話者２０に伝達できていないと判断する。
【００４６】
５０／１００（＝０．５）≦０．６
【００４７】
そして、発話した情報が受話者２０に伝達できていなかったと判断した場合に、携帯電話機１００ａは、その判断結果を、発話者１０に、後述する使用者への通知部１０９を介して通知する。一方、受話者２０に対しても、後述する通話先通知部１１０を介して通知する（ステップＳ１２）。
【００４８】
次に、図３の説明に戻り、受話音変換部１０５について説明する。受話音変換部１０５は、無線部１１４を経由し、スピーカ１１３で再生された受話音声を携帯電話端末装置１００が取扱う形式に変換し、変換した情報を人語判断部１０６に入力する手段である。
【００４９】
人語判断部１０６は、受話音変換部１０５から受け取った情報に、言語情報が含まれているか否かを判断する手段である。そして、言語情報が含まれていた場合、言語情報を抽出し、抽出した言語情報を音量比較判断部１０７や受話／発話監視・判断部１０８に入力する。
【００５０】
音量比較判断部１０７は、発話音変換部１０２と人語判断部１０６とから入力された情報に基づいて、受話音声が正しく受話側に伝達できたか否かを判断し、受話音声が受話側に伝達できていないと判断した場合に、その判断結果をユーザ通知部１０９へ入力する手段である。
【００５１】
この音量比較判断部１０７が行う判断動作について図３および図５を用いて説明する。図５は、音量比較判断部が行う判断動作を説明するための図である。なお、図５に示した携帯電話機１００ａおよび携帯電話機１００ｂは、図３に示した携帯電話端末装置１００に相当するものとし、説明の便宜上、携帯電話機１００ａを発話側端末、携帯電話機１００ｂを受話側端末として、図示する。
【００５２】
まず、発話者１０が携帯電話機１００ａを使用して発話し、発話した情報が、電話網２００（図２参照）を介して、携帯電話機１００ｂに到達する（ステップＳ２０）。
【００５３】
その後、発話した情報が、受話音変換部１０５を介し、人語判断部１０６に入力される。また、携帯電話機１００ｂの周囲雑音が、マイク１０１を介し、発話音変換部１０２に入力される（ステップＳ２１）。
【００５４】
続いて、音量比較判断部１０７は、発話音変換部１０２から入力される騒音やノイズといった周辺音等を受け取り、受け取った周辺音等が含む音量を周囲雑音量として保持する。また、音量比較判断部１０７は、人語判断部１０６から言語情報に含まれる言葉音量を受け取り、その言葉音量が示す音量を受話音量として保持する。
【００５５】
そして、音量比較判断部１０７は、周囲雑音量と受話音量とを比較し、受話音量が十分に大きいか否かを判断し、受話音量が十分に大きいと判断できなかった場合に、受話音声が受話者２０に伝達できていないと判断する（ステップＳ２２）。
【００５６】
上述したステップＳ２２にて示した判断は、例えば、以下に示す式（２）と閾値Ｙとを用いて説明するものとする。
【００５７】
式（２）；（受話音量Ｃ／周囲雑音量Ｄ）≦Ｙ（定数）
【００５８】
式（２）によれば、音量比較判断部１０７は、受話音量Ｃ（単位；デシベル）を周囲雑音量Ｄ（単位；デシベル）で割った値が、定数Ｙ以下であれば、受話音量が十分に大きいと判断しない。
【００５９】
一方、音量比較判断部１０７は、受話音量Ｃを周囲雑音量Ｄで割った値が、定数Ｙを超えていた場合に、受話音量が十分に大きいと判断する。なお、上述した定数Ｙは、携帯電話端末装置を使用して通話が成立する閾値を示し、任意に設定することができるものとする。
【００６０】
例えば、閾値Ｙを０．７として、受話音量が４０ｄｂ、周囲雑音量が１００ｄｂであれば、式（２）より、音量比較判断部１０７は、受話音量が十分に大きいとは判断せずに、受話音声が受話者２０に伝達できていないと判断する。
【００６１】
４０／１００（＝０．４）≦０．７
【００６２】
そして、受話音声が受話者２０に伝達できていないと判断した場合に、携帯電話機１００ｂは、その判断結果を、受話者２０に、使用者への通知部１０９を介して通知する。一方、発話者１０に対しても、通話先通知部１１０を介して通知する（ステップＳ２３）。
【００６３】
次に、図３の説明に戻り、受話／発話監視・判断部１０８について説明する。受話／発話監視・判断部１０８は、通話中の双方が同時に発話した場合、あるいは発話完了から一定時間経過後、受話側の応答がない場合に、発話した情報が受話側に伝達できていないと判断し、その判断結果をユーザ通知部１０９へ入力する手段である。
【００６４】
まず、受話／発話監視・判断部１０８が、通話中の双方が同時に発話したか否かを判断する動作について図３および図６を用いて説明する。図６は、双方が同時に発話したか否かの判断動作を説明するための図である。
【００６５】
なお、図６の説明において、便宜的に携帯電話機１００ａを発話側の端末、携帯電話機１００ｂを受話側の端末とし、受話者２０が発話している最中に、発話者１０から発話があった場合を例に挙げて説明する。
【００６６】
まず、発話者１０の発話情報が、電話網２００（図２参照）を介して、携帯電話機１００ｂに到達する。そして、発話した情報は、受話音変換部１０５にスピーカ１１３を介して入力される。
【００６７】
続いて、人語判断部１０６は、発話者１０が発話した情報から言語情報（例えば、「あ」）を抽出し、抽出した言語情報を受話／発話監視・判断部１０８に入力する（ステップＳ３０）。
【００６８】
一方、受話者２０が発話すると、発話情報が発話音変換部１０２に入力され、人語判断部１０３は、受話者２０が発話した情報から言語情報（例えば「い」）を抽出し、抽出した言語情報を受話／発話監視・判断部１０８に入力する（ステップＳ３１）。
【００６９】
その後、受話／発話監視・判断部１０８は、言語情報「あ」を受け取った時点から、言語情報「い」を受け取るまでの間隔を監視し、監視した結果、間隔が一定値以下（例えば、Ｔ秒以下；Ｔは自然数）である場合に、「ほぼ同時に発話された」と判断する。
【００７０】
したがって、受話／発話監視・判断部１０８は、発話者１０の発話情報が受話者２０に伝達できていないと判断し、その判断結果をユーザ通知部１０９へ入力する（ステップＳ３２）。
【００７１】
そして、発話した情報が正しく伝達できていないと判断した場合に、携帯電話機１００ｂは、その判断結果を、受話者２０に対して、ユーザ通知部１０９を介して通知する。一方、発話者１０に対しても、通話先通知部１１０を介して通知する（ステップＳ３３）。
【００７２】
次に、受話／発話監視・判断部１０８が、発話側の発話が終了してから一定時間経過後に、受話側の応答があるか否かを判断する動作について図３および図７を用いて説明する。図７は、応答があるか否かの判断動作を説明するための図である。
【００７３】
なお、図７に示した携帯電話機１００ａおよび携帯電話機１００ｂは、図３に示した携帯電話端末装置１００に相当するものとし、説明の便宜上、携帯電話機１００ａを発話側端末、携帯電話機１００ｂを受話側端末として、図示する。
【００７４】
まず、発話者１０が発話した情報が、携帯電話機１００ｂに到達し、無線部１１４を介して、受話音変換部１０５に入力される。そして、人語判断部１０６は、言語情報（例えば、「あ」）を抽出し、抽出した言語情報を受話／発話監視・判断部１０８に入力する（ステップＳ４０）。
【００７５】
その後、受話／発話監視・判断部１０８は、言語情報「あ」を受け取った後に、人語判断部１０３から言語情報を受け取るまでの時間を監視する（ステップＳ４１）。
【００７６】
監視した結果、一定値以上（例えば、Ｎ秒間以上；Ｎは自然数）、人語判断部１０３から受話／発話監視・判断部１０８に言語情報の入力が無かった場合に、受話／発話監視・判断部１０８は、受話者２０が発話者１０の発話情報を上の空で聞いていたと考え、発話した情報が正しく伝達されていないと判断する（ステップＳ４２）。
【００７７】
そして、音量比較判断部１０７は、ステップＳ４２の判断結果を、ユーザ通知部１０９へ入力し、携帯電話機１００ｂは、ステップＳ４２にて得た判断結果を、受話者２０に対して、ユーザ通知部１０９を介して通知する。一方、発話者１０に対しても、通話先通知部１１０を介して通知する（ステップＳ４３）。
【００７８】
次に、図３の説明に戻り、ユーザ通知部１０９について説明する。ユーザ通知部１０９は、「発話した情報が受話側に伝達できていない状況」あるいは、「受話した情報が受話側に伝達できていない状況」を携帯電話端末装置の使用者に、その旨を通知する手段である。
【００７９】
具体的には、発話音量判断部１０４や受話／発話監視・判断部１０８が「発話した情報が受話側に伝達できていない状況である」と判断した場合、あるいは音量比較判断部１０７が、「受話した情報が受話側に伝達できていない状況である」と判断した場合に、その旨を示す情報を通話先通知部１１０と、ディスプレイ制御部１１１と、バイブレータ制御部１１２、スピーカ１１３に入力する。
【００８０】
例えば、携帯電話端末装置１００が発話側の携帯電話端末装置として使用された場合、ユーザ通知部１０９は、発話した情報が受話者（例えば、受話者２０；図２参照）に伝達できていない旨を示す情報をディスプレイやバイブレータの動作等を通じて発話者（例えば、発話者１０；図２参照）へ通知する。
【００８１】
一方、受話側の携帯電話端末として使用された場合、ユーザ通知部１０９は、受話した情報が受話者（例えば、受話者２０；図２参照）に伝達できていない旨を示す情報をディスプレイへの表示やバイブレータの動作を通じて受話者２０へ通知する。
【００８２】
通話先通知部１１０は、ユーザ通知部１０９からの通知を受けて、「発話した情報が受話側に伝達できていない状況」を示す情報を通話先の携帯電話端末装置へ通知する手段である。
【００８３】
例えば、携帯電話端末装置１００が発話者側の携帯電話端末装置として使用された場合、通話先通知部１１０は、発話した情報が受話者（例えば、受話者２０；図２参照）に伝達できていない旨を示す情報を電話網２００経由で受話者に対して通知する。
【００８４】
また、上述したように発話者側の端末装置として使用され、「受話した情報が受話側に伝達できていない状況」を無線部１１４より、取得した場合は、ユーザ通知部１０９は、その判断結果を発話者へ通知する。
【００８５】
一方、受話側の携帯電話端末装置として使用された場合に、通話先通知部１１０は、受話した情報が受話者に伝達できていない旨を示す情報を電話網２００経由で発話者（例えば、発話者１０；図２参照）に対して通知する。
【００８６】
また、上述したように受話者側の端末として使用され、「発話した情報が受話側に伝達できていない状況」を無線部１１４より、取得した場合は、ユーザ通知部１０９は、その判断結果を受話者へ通知する。
【００８７】
ディスプレイ制御部１１１は、携帯電話端末のディスプレイに対して、「発話した情報が受話側に伝達できていない状況」を示す情報表示を行う手段である。
【００８８】
バイブレータ制御部１１２は、ユーザ通知部１０９からの通知を受けて、携帯電話端末装置のバイブレータに対して、「発話した情報が受話側に伝達できていない状況」を示す動作命令を行う手段である。
【００８９】
次に、携帯電話端末１００が、発話音声と発話側の周囲雑音とを比較して、発話した情報が相手側に伝達できているか否かを判断する処理手順について説明する。図８は、発話音声が受話側に伝達できているか否かを判断するフローチャートである。
【００９０】
まず、発話情報と周辺音等が携帯電話端末装置１００に入力される（ステップＳ１００）。その後、発話音量判断部１０４は、発話音変換部１０２から入力される情報を全体音量として保持する（ステップＳ１０１）。
【００９１】
続いて、人語判断部１０３が、発話音変換部１０２より受け取った情報から言語情報を抽出する（ステップＳ１０２）。そして、人語判断部１０３は、発話音量判断部１０４に抽出した情報を入力する（ステップＳ１０３）。
【００９２】
その後、発話音量判断部１０４は、人語判断部１０３が抽出した情報に含まれる言葉音量を発話音量として保持し（ステップＳ１０４）、保持している全体音量と発話音量とを比較し、発話音量が十分に大きいか否かを判断し（ステップＳ１０５）、十分に大きいと判断した場合（ステップＳ１０６、Ｙｅｓ）、ステップＳ１００に戻る。
【００９３】
一方、十分に大きくないと判断した場合（ステップＳ１０６、Ｎｏ）、発話音量判断部１０４は、発話した情報が受話者に伝達できていないと判断する。そして、発話者と受話者に対して、その判断結果を通知する（ステップＳ１０７）。
【００９４】
このフローチャートによれば、発話者および受話者は、発話した情報が相手に伝達できないことを双方で認識することができ、発話者と受話者に対して相手側に情報を正しく伝達するための措置を採るように促すことができ、円滑なコミュニケーションの実現を図ることが可能になる。
【００９５】
次に、携帯電話端末装置１００が、受話音声と受話側の周囲雑音とを比較して、受話音声が受話者に伝達できているか否かを判断する処理手順について説明する。図９は、受話音声が受話側に伝達できているか否かを判断するフローチャートである。
【００９６】
まず、受話情報と携帯電話端末装置１００の騒音やノイズ等を含む周辺音が携帯電話端末装置１００に入力される（ステップＳ２００）。その後、音量比較判断部１０７は、発話音変換部１０２から入力される情報が示す音量を周囲雑音量として保持する（ステップＳ２０１）。
【００９７】
続いて、人語判断部１０６が、受話音変換部１０５より受け取った情報から言語情報を抽出する（ステップＳ２０２）。そして、人語判断部１０６は、音量比較判断部１０７に抽出した情報を入力する（ステップＳ２０３）。
【００９８】
音量比較判断部１０７は、人語判断部１０６が抽出した情報に含まれる言葉音量を受話音量として保持し（ステップＳ２０４）、保持している周囲雑音量と受話音量とを比較して受話音量が十分に大きいか否かを判断し（ステップＳ２０５）、十分に大きいと判断した場合（ステップＳ２０６、Ｙｅｓ）、ステップＳ２００に戻る。
【００９９】
一方、十分に大きくないと判断した場合（ステップＳ２０６、Ｎｏ）、音量比較判断部１０７は、受話音声が受話者に伝達できていないと判断する。そして、発話者と受話者に対して、その判断結果を通知する（ステップＳ２０７）。
【０１００】
このフローチャートによれば、発話者および受話者は、受話音声が受話者に伝達できていないことを双方で認識することができ、発話者に相手側に対して正しく情報伝達を行うための措置を採るように促すことができる。また、受話者に対しても、正確に受話できるような措置を採るように促すことができる。したがって、発話者および受話者はコミュニケーションを円滑に進めるための措置を採ることができるようになる。
【０１０１】
次に、双方が同時に発話した場合における携帯電話端末装置１００の処理手順について説明する。図１０は、双方が同時に発話した場合を判断するフローチャートである。
【０１０２】
まず、発話者が発話した情報が、電話網２００（図２参照）を介して、携帯電話端末装置１００に到達する。そして、発話者からの情報が、受話音変換部１０５に無線部１１４を介し、入力される。一方、受話者が発話すると、発話情報が発話音変換部１０２に入力される（ステップＳ３００）。
【０１０３】
続いて、人語判断部１０６は、発話者が発話した情報から言語情報「あ」を抽出し、抽出した言語情報（例えば「あ」）を受話／発話監視・判断部１０８に入力する（ステップＳ３０１）。
【０１０４】
また、受話者が発話すると、受話者の発話情報が発話音変換部１０２に入力され、人語判断部１０３は、受話者が受話した情報から言語情報（例えば「い」）を抽出し、抽出した言語情報「い」を受話／発話監視・判断部１０８に入力する（ステップＳ３０２）。
【０１０５】
その後、受話／発話監視・判断部１０８は、言語情報「あ」を受け取った時点から、言語情報「い」を受け取るまでの間隔が一定値以下であるか判断する（ステップＳ３０３）。判断結果、間隔が一定値以下（ステップＳ３０４、Ｙｅｓ）である場合に、「ほぼ同時に発話された」と判断する。
【０１０６】
そして、携帯電話端末装置１００は、ステップＳ３０４にて得た判断結果を、受話者にユーザ通知部１０９を介して通知する。一方、発話者に対しても、通話先通知部１１０を介して、受話者に通知する（ステップＳ３０５）。
【０１０７】
一方、間隔が一定値を越えていた場合に（ステップＳ３０４、Ｎｏ）、「ほぼ同時に発話された」と判断せず、ステップＳ３００へ移行する。
【０１０８】
このフローチャートによれば、発話者および受話者が同時に発話した場合に、発話した情報が受話者に伝達できていないことを双方で認識することができ、発話者および受話者はコミュニケーションを円滑に進めるための措置を採ることができるようになる。
【０１０９】
次に、発話側の発話が終了してから一定時間経過後に、携帯電話端末装置１００が、受話側の応答があるか否かを判断する処理手順について説明する。図１１は、発話後の無応答時間を判断するフローチャートである。
【０１１０】
まず、発話者の発話した情報が、携帯電話端末装置１００に到達し、受話音変換部１０５に入力される（ステップＳ４００）。
【０１１１】
そして、人語判断部１０６は、言語情報（例えば、「あ」）を抽出し（ステップＳ４０１）、抽出した言語情報を受話／発話監視・判断部１０８に入力する（ステップＳ４０２）。
【０１１２】
その後、受話／発話監視・判断部１０８は、言語情報「あ」を受け取った後に、受話者の発話に係る言語情報を人語判断部１０３から受け取るまでの時間を監視する（ステップＳ４０３）。
【０１１３】
監視した結果、人語判断部１０３から言語情報の入力が一定期間なく、一定値以上（一定期間の経過）であれば（ステップＳ４０４、Ｙｅｓ）、受話／発話監視・判断部１０８は、「正しく情報が伝達されていない可能性がある」と判断し、その判断結果を受話者と発話者に対して通知する（ステップＳ４０５）。
【０１１４】
一方、人語判断部１０３から言語情報の入力が、一定期間内に受話／発話監視・判断部１０８に対してされた場合（ステップＳ４０４、Ｎｏ）、ステップＳ４００へ移行する。
【０１１５】
このフローチャートによれば、発話側の発話が終了してから一定時間経過後に、受話側の応答が無い場合に、携帯電話端末装置１００は、発話した情報が正しく伝達できていないと判断することができ、その判断結果を受話者および発話者に通知することで、発話者および受話者はコミュニケーションを円滑に進めるための措置を採ることができるようになる。
【０１１６】
上述してきたように、実施例１に係る携帯電話端末装置は、発話した情報の不伝達について判断し、その判断結果を発話者および受話者に通知することで、発話した情報が受話者に伝達できていないことを双方で認識することができ、発話者および受話者はコミュニケーションを円滑に進めるための措置を採ることができるようになる。
【０１１７】
ところで、上述してきたように実施例１によれば、発話した情報が相手側に伝達されていない場合を判断する例について説明したが、発話した情報が相手側に正しく伝達されている場合についても、携帯電話端末装置１００は判断することができ、その判断結果を発話者および受話者に対しても通知することができる。
【０１１８】
例えば、図３で示した発話音量判断部１０４が、全体音量と発話音量とを比較して、発話音量が全体音量に対して十分に大きい場合は、発話した情報が相手側に正しく伝達されていると判断し、その判断結果をユーザ通知部１０９や通話先通知部１１０を介して、発話者および受話者に通知することができる。
【０１１９】
その結果、発話側は、相手側に発話した情報が正しく伝達できている旨を認識することが可能となり、周囲の雑音等が少ない場所に移動することや、再度発話をするといったことをすることなく、安心して通話することができる。
【０１２０】
そして、発話した情報が相手側に伝達されていないことを判断する場合と同様に、情報が正しく伝達されないことによる人間関係のトラブル発生の抑止や話者の不安を軽減し、円滑なコミュニケーションの実現を図ることができる。
【０１２１】
次に、実施例２に係る携帯電話端末装置の概要について説明する。実施例２に係る携帯電話端末装置は、受話側の携帯電話端末装置として使用された際に、受話側の周囲雑音等の影響により、通話情報が欠落しているか否かを判断し、欠落していると判断した場合は、発話者にアラーム音を通知する。
【０１２２】
図１２は、実施例２の概要を説明するための図である。図１２では、まず、話者１０が携帯電話機３００ａを使用し、話者２０が携帯電話機３００ｂを使用し、通話している。そして、話者１０が、携帯電話機３００ａに、「９時集合」と発話した場合を例に挙げる（ステップＳ５０）。なお、以下、説明の便宜上、話者１０を発話者１０とし、話者２０を受話者２０とする。
【０１２３】
その後、発話者１０の発話した情報「９時集合」が、電話網２００（図２参照）を介して、携帯電話機３００ｂに到達し、携帯電話機３００ｂのスピーカを介して、受話者２０の耳までに到達する。
【０１２４】
この間、例えば、携帯電話機３００ｂ内の集音部（図示省略）が、携帯電話機３００ｂの周囲雑音等を取得した場合、その取得した周囲雑音等の影響を受け、「９時集合」がかき消された状態で受話者２０の耳に伝達された場合に（ステップＳ５１）、携帯電話機３００ｂは、発話者１０が発話した情報が、欠落した状態で受話者２０に伝達されたと判断し、携帯電話機３００ａに「欠落アラーム」を通知する（ステップＳ５２）。
【０１２５】
したがって、この欠落アラームとは、発話者の発話した情報が、受話側の周囲雑音等の影響を受け、欠落した状態で受話者の耳に到達したことを示すアラームを指すものとする。
【０１２６】
このように、携帯電話機３００ｂが、発話した情報の欠落を示す「欠落アラーム」を発話者に通知することで、発話者の方で、自ら発話した情報が受話者に正しく伝達されていないことを認識することができる。
【０１２７】
次に、実施例２に係る携帯電話端末装置の構成について説明する。図１３は、実施例２に係る携帯電話端末装置の構成を示すブロック図である。なお、図１３の携帯電話端末装置３００は、図１２に示した携帯電話機３００ａおよび携帯電話機３００ｂに相当するものとするが、説明の便宜上、携帯電話端末装置３００が受話側の携帯電話機３００ｂとして使用された場合を例に挙げて以下説明する。
【０１２８】
図１３に示すように、携帯電話端末装置３００は、メモリ３０１と、ＣＰＵ(Central Processing Unit)３０２と、スピーカ３０３と、モニターマイク３０４と、表示部３１８とを有する。
【０１２９】
メモリ３０１は、ＣＰＵ３０２が使用する各種データなど記憶する記憶手段で、ＣＰＵ３０２は、メモリ３０１から各種データを読み出して各種処理を実行する中央処理部である。
【０１３０】
具体的処理として、発話音声のテキスト化と、発話音声と携帯電話端末装置３００の周囲雑音等とが混在した情報のテキスト化とを行い、これらテキスト化した情報に基づいて、発話音声が欠落しているか否かを判断し、欠落していると判断した場合は、欠落アラームを発話側の携帯電話端末装置に通知を行う。
【０１３１】
そして、ＣＰＵ３０２は、無線制御部３１０と、呼制御部３１１と、スピーカ制御部３１２と、モニターマイク制御部３１３と、音声認識エンジン３１４と、音声認識エンジン３１５と、欠落アラーム部３１６と、アラーム音生成部３１７とを有する。
【０１３２】
無線制御部３１０は、発話音声の取得や、アラーム音生成部３１７が生成した欠落アラームおよび欠落した情報が示すテキストデータを発話側の携帯電話機３００ａ（図１２参照）に出力する手段である。
【０１３３】
呼制御部３１１は、発話音声や所定のテキストデータの入出力制御、欠落アラームの作成要求や出力を行う手段である。例えば、呼制御部３１１は、無線制御部３１０が取得した発話音声をスピーカ制御部３１２と欠落アラーム部３１６とに出力する。さらに、音声認識エンジン３１４および音声認識エンジン３１５がテキスト化した情報に基づいて、所定のテキストデータを無線制御部３１０や表示部３１８に出力する。
【０１３４】
スピーカ制御部３１２は、呼制御部３１１から入力された発話音声をスピーカ３０３に出力する手段である。
【０１３５】
モニターマイク制御部３１３は、モニターマイク３０４が取得した情報を欠落アラーム部３１６に出力する手段である。なお、上述したように、このモニターマイク３０４が取得する情報は、発話音声と、携帯電話端末装置３００の周辺騒音やノイズ等を含む周辺音とが混在した情報とする。
【０１３６】
音声認識エンジン３１４は、欠落アラーム部３１６を介して、呼制御部３１１に入力された発話音声を音声認識によりテキスト化し、テキスト化されたデータをテキストデータＡとして保持する手段である。また、欠落アラーム部３１６の要求に応じて、テキストデータＡを欠落アラーム部３１６に出力する。
【０１３７】
音声認識エンジン３１５は、欠落アラーム部３１６を介して、モニターマイク制御部３１３に入力された発話音声と携帯電話端末装置３００の周囲音等とが混在した情報を音声認識によりテキスト化し、テキスト化されたデータをテキストデータＢとして保持する手段である。また、欠落アラーム部３１６の要求に応じて、テキストデータＢを欠落アラーム部３１６に出力する。
【０１３８】
欠落アラーム部３１６は、音声認識エンジン３１４と、音声認識エンジン３１５とが変換したテキストデータＡとテキストデータＢとをあらかじめ定められた所定間隔に基づいて、比較を行い、比較したテキストデータ間に差分が発生しているか否かを判断する手段である。なお、この「差分」とは、比較するテキストデータの一致率が所定値以下の場合を示すものとする。
【０１３９】
さらに、欠落アラーム部３１６は、差分が発生していると判断した場合に、欠落アラームの生成を呼制御部３１１に要求する手段で、タイマー３１６ａ、テキスト入出力制御部３１６ｂと、テキスト比較部３１６ｃとを有する。
【０１４０】
タイマー３１６ａは、時間情報を生成し、生成した時間情報をテキスト入出力制御部３１６ｂに出力する手段である。生成する時間情報は、１秒、３秒、５秒といった例が挙げられる。
【０１４１】
テキスト入出力制御部３１６ｂは、音声認識エンジン３１４と音声認識エンジン３１５とに、各種テキストデータの取得要求を同時に行い、取得した各種テキストデータをテキスト比較部３１６ｃに出力する手段である。なお、タイマー３１６ａが生成する時間情報に基づき、テキスト入出力制御部３１６ｂは、周期的（例えば、５秒間）に、各種テキストデータの取得要求を行うものとする。
【０１４２】
そして、テキスト入出力制御部３１６ｂが、音声認識エンジン３１４からテキストデータＡ、また、音声エンジン３１５からテキストデータＢを取得した場合は、取得したテキストデータＡとテキストＢとをテキスト比較部３１６ｃに出力する。
【０１４３】
テキスト比較部３１６ｃは、テキスト入出力制御部３１６ｂから取得した各種テキストデータを比較して、比較したテキストデータ間に、差分が発生したか否かを判断し、その判断結果に基づいて、発話音声が欠落して受話者に届いたか否かを判断する手段である。
【０１４４】
さらに、テキスト比較部３１６ｃは、発話音声に欠落が発生したと判断した場合に、欠落アラームの生成要求と、欠落した箇所に相当するテキストデータの出力を呼制御部３１１に対して行う手段である。
【０１４５】
テキスト比較部３１６ｃが行う処理について、具体的に図を挙げて説明する。図１４は、テキスト比較部３１６ｃの処理について説明するための図である。図１４の上段は、テキストデータが一致した場合を示し、一方、下段は、テキストデータに差分が発生した場合を示すものとする。
【０１４６】
図１４の上段に示すように、発話音声の示すテキストデータＡが、「９時集合」の場合を例に挙げ、テキスト比較部３１６ｃが行う処理を説明する。まず、テキスト比較部３１６ｃが、テキスト入出力制御部３１６ｂからテキストデータＡとして「９時集合」を取得する。
【０１４７】
同様に、テキスト比較部３１６ｃが、テキスト入出力制御部３１６ｂからテキストデータＢとして「９時集合」を取得した場合に、テキストデータＡとテキストデータＢとが一致することから、差分は発生しない。
【０１４８】
したがって、テキスト比較部３１６ｃは、発話音声の欠落は発生しないで、受話者に届いたと判断し、欠落アラームの生成要求を呼制御部３１１に対して行わない。
【０１４９】
一方、図１４の下段に示すように、テキスト比較部３１６ｃが、テキスト入出力制御部３１６ｂからテキストデータＡとして「９時集合」を取得し、テキストデータＢとして「ガガガ集合」を取得した場合に、テキストデータＡとテキストデータＢとを比較すると、テキストデータＡとテキストデータＢとに共通するテキストデータは、「集合」で、「９時」は、テキストデータＡにしか含んでおらず、「ガガガ」は、テキストデータＢにしか含んでいない。
【０１５０】
したがって、テキスト比較部３１６ｃは、テキストデータＡとテキストデータＢとの間に、差分が発生していると判断する。そして、テキスト比較部３１６ｃは、差分が発生していると判断した場合に、発話音声が欠落した状態で受話者に届いたと判断し、欠落アラームの生成要求を呼制御部３１１に対して行なうとともに、欠落したテキストデータ「９時」を呼制御部３１１に出力する。
【０１５１】
また、このとき、欠落したテキストデータ「９時」を受け取った呼制御部３１１は、無線制御部３１０を介して、発話側の携帯電話機３００ａにテキストデータ「９時」を送信する。その後、携帯電話機３００ａは、自装置の表示部（図示省略）に「９時」を表示する。
【０１５２】
さらに、呼制御部３１１は、欠落したテキストデータ「９時」を表示部３１８に対しても出力する。
【０１５３】
なお、テキスト比較部３１６ｃは、各種テキストデータの差分が発生するか否かを判断していることから、音声認識エンジン３１４および音声認識エンジン３１５がテキスト化する精度（音声認識精度）に左右されず、テキスト比較３１６ｃは、各種テキストデータの差分について判断することが可能なものとする。
【０１５４】
次に、図１３の説明に戻り、アラーム音生成部３１７について説明する。アラーム音生成部３１７は、呼制御部３１１から欠落アラームの生成要求に応じて、欠落アラームを生成し、生成した欠落アラームを呼制御部３１１に出力する手段である。
【０１５５】
スピーカ３０３は、図１２に示した発話者１０の方で発話した発話情報の音声（以下、発話音声とする）を出力する手段である。具体的には、ＣＰＵ３０２から出力された発話音声を受話者２０に対して出力する。
【０１５６】
モニターマイク３０４は、スピーカ３０３より出力された発話音声や、携帯電話端末装置３００の周囲雑音やノイズ等を含む周辺音等を取得する手段で、スピーカ３０３に隣接する。なお、モニターマイク３０４は、スピーカ３０３に隣接する他、スピーカ３０３と一体化させても良いものとする。
【０１５７】
表示部３１８は、欠落したテキストデータ（例えば、「９時」；図１４参照）を呼制御部３１１の要求に応じて表示する手段である。
【０１５８】
次に、携帯電話端末装置３００が行う処理について説明する。図１５は、携帯電話端末装置３００の処理を示すフローチャートである。
【０１５９】
まず、発話者１０が発話した発話音声が、音声認識エンジン３１４に、呼制御部３１１から入力され（ステップＳ５００）、音声認識エンジン３１４は、入力された発話音声に対して、音声認識によるテキスト変換を開始する（ステップＳ５０１）。
【０１６０】
続いて、モニターマイク３０４が取得した情報が、音声認識エンジン３１５に、モニターマイク制御部３１３から入力され（ステップＳ５０２）、音声認識エンジン３１５は、入力された情報に対して、音声認識によるテキスト変換を開始する（ステップＳ５０３）。
【０１６１】
その後、テキスト入出力制御部３１６ｂが、タイマー３１６ａが生成する時間情報に基づいて、所定時間（例えば、５秒）が経過したか否かを判断し、５秒経過していた場合（ステップＳ５０４、Ｙｅｓ）、ステップＳ５０５へ移行する。一方、５秒経過していない場合（ステップＳ５０４、Ｎｏ）、ステップＳ５０３へ移行する。
【０１６２】
そして、テキスト入出力制御部３１６ｂは、音声認識エンジン３１４と音声認識エンジン３１５とに対して、音声認識により変換されたテキストデータの取得を要求する（ステップＳ５０５）。
【０１６３】
その後、音声認識エンジン３１４は、変換したテキストデータ（例えば、テキストデータＡ）をテキスト入出力制御部３１６ｂに出力する。一方、音声認識エンジン３１５は、変換したテキストデータ（たとえば、テキストデータＢ）をテキスト入出力制御部３１６ｂに出力する。
【０１６４】
その後、テキスト比較部３１６ｃは、テキスト入出力制御部３１６ｂからテキストデータＡを取得し（ステップＳ５０６）、さらに、テキストデータＢを取得する（ステップＳ５０７）。そして、テキスト比較部３１６ｃは、テキスト入出力制御部３１６ｂから取得したテキストデータＡとテキストデータＢとを比較する（ステップＳ５０８）。
【０１６５】
続いて、テキスト比較部３１６ｃが、テキストデータＡとテキストデータＢとに差分があると判断した場合（ステップＳ５０９、Ｙｅｓ）、呼制御部３１１は、アラーム音生成部３１７が生成した欠落アラームを発話側に通知する（ステップＳ５１０）。
【０１６６】
一方、テキスト比較部３１６ｃが、差分がないと判断した場合（ステップＳ５０９、Ｎｏ）、ステップＳ５１１に移行する。
【０１６７】
そして、通話が終了される場合（ステップＳ５１１、Ｙｅｓ）、音声認識が終了する（ステップＳ５１２）。一方、通話が終了されない場合（ステップＳ５１１、Ｎｏ）、ステップＳ５０４に移行する。
【０１６８】
このフローチャートによれば、携帯電話端末装置３００が、発話音声が欠落した状態で受話側の耳に伝達されたと判断した場合、「欠落アラーム」を発話側に通知することで、発話者の方で発話した情報が受話者に正しく伝達されていないことを認識することができる。
【０１６９】
上述してきたように、実施例２に係る携帯電話端末装置３００は、発話した情報が欠落した状態で受話者の耳に到達した場合に、発話した情報の「欠落アラーム」を発話側の携帯電話端末装置に通知することで、発話者は、自分の発話した情報が相手に対し、欠落して伝達された旨を把握することができ、発話者はコミュニケーションを円滑に進めるための措置を採ることができるようになる。
【０１７０】
なお、これまで、実施例１と実施例２とを例に挙げ、別々に説明してきたが、実施例１に示す携帯電話端末装置１００と、実施例２に示す携帯電話端末装置３００との各処理部を組合せて構成しても良いものとする。
【０１７１】
ところで、実施例１及び２において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部あるいは一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種データを含む情報については、特記する場合を除いて任意に変更することができる。
【０１７２】
また、図３に示した携帯電話端末装置１００や図１３に示した携帯電話端末装置３００の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行われる各処理機能は、その全部または任意の一部がＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
【０１７３】
図１６は、発話情報の不伝達を判断するプログラムを実行する携帯電話端末装置のハードウェア構成を示す図である。図１６に示すように、この携帯電話端末装置４００は、マイク４０１、無線通信部４０２、音声変換部４０３、記憶領域４０４、ＣＰＵ(Central Processing Unit)４０５、バイブレータ４０６、ディスプレイ４０７、スピーカ４０８をバス４０９で接続している。
【０１７４】
そして、記憶領域４０４には、ＣＰＵ４０５によって利用されるデータを含んだ各種データ４０４ａ、上述した携帯電話端末装置１００の発話音量と全体音量とを比較判断する機能と同様の機能を発揮する発話音量判断プログラム４０４ｂ、受話音量と周囲音量を比較判断する機能と同様の機能を発揮する音量比較判断プログラム４０４ｃ、発話情報や受話情報から言語情報に係る情報を抽出する機能と同様の機能を発揮する人語判断プログラム４０４ｄ、発話者と受話者が同時に発話したかの判断、あるいは発話後の無応答時間を判断する機能と同様の機能発揮する受話／発話監視プログラム４０４ｅ、発話した音声が欠落したか否かを判断する欠落アラームプログラム４０４ｆが記憶されている。
【０１７５】
そして、ＣＰＵ４０５が、発話音量判断プログラム４０４ｂ、音量比較判断プログラム４０４ｃ、人語判断プログラム４０４ｄ、受話／発話監視プログラム４０４ｅ、欠落アラームプログラム４０４ｆをそれぞれ読み出して実行することにより、発話音量判断プロセス４０５ａ、音量比較判断プロセス４０５ｂ、人語判断プロセス４０５ｃ、受話／発話監視プロセス４０５ｄ、欠落アラームプロセス４０５ｅがそれぞれ起動される。ここで、発話音量判断プロセス４０５ａは、図３に示した発話音量判断部１０４に対応し、音量比較判断プロセス４０５ｂは図３に示した音量比較判断部１０７に対応し、人語判断プロセス４０５ｃは図３に示した人語判断部１０３、人語判断部１０６に対応し、受話／発話監視プロセス４０５ｄは、受話／発話監視・判断部１０８に対応し、欠落アラームプロセス４０５ｅは、図１３に示した欠落アラーム部３１６に対応する。
【０１７６】
なお、各種データ４０４ａには、例えば、発話音量判断プロセス４０５ａに利用される発話音量や全体音量といったデータが一例として挙げられる。そして、ＣＰＵ４０５は、各種データ４０４ａを読み出して、記憶領域４０４に一時的に格納し、記憶領域４０４に格納された各種データ４０４ａに基づいて「発話した情報が相手側に正しく伝達できているか否か」の判断処理を行う。
【０１７７】
ところで、図１６に示した発話音量判断プログラム４０４ｂ、音量比較判断プログラム４０４ｃ、人語判断プログラム４０４ｄ、受話／発話監視プログラム４０４ｅ、欠落アラームプログラム４０４ｆは、必ずしも最初から携帯電話端末装置４００が有する記憶領域に記憶させておく必要はない。たとえば、ＳＤカードなどの「可搬用の物理媒体」に記憶させておき、携帯電話端末装置が発話音量判断プログラム４０４ｂ、音量比較判断プログラム４０４ｃ、人語判断プログラム４０４ｄ、受話／発話監視プログラム４０４ｅ、欠落アラームプログラム４０４ｆを読み出して実行するようにしても良い。
【０１７８】
上記の実施例を含む実施形態に関し、更に以下の付記を開示する。
【０１７９】
（付記１）自携帯電話端末装置の利用者により入力された音声の音量と、前記携帯電話端末装置周辺の音量を含む周辺音量とを比較して、前記利用者の音声が相手側の携帯電話端末装置に正しく伝達されているか否かを判断する発話音量判断手段と、
前記発話音量判断手段の判断結果を出力する出力手段と
を有する携帯電話端末装置。
【０１８０】
（付記２）前記発話音量判断手段の判断結果を前記相手側の携帯電話端末装置に出力し、当該携帯電話端末装置の利用者に前記判断結果を通知する通知手段を更に有する付記１に記載の携帯電話端末装置。
【０１８１】
（付記３）前記通知手段は、アラームやバイブレータまたはディスプレイ表示にて、前記利用者に前記判断結果を通知する付記２に記載の携帯電話端末装置。
【０１８２】
（付記４）前記発話音量判断手段が、自携帯電話端末装置の利用者の音声が相手側の携帯電話端末装置に正しく伝達されていると判断した場合に、前記出力手段は、前記判断結果を出力する付記１、２または３に記載の携帯電話端末装置。
【０１８３】
（付記５）相手側の携帯電話端末装置の利用者により入力された音声を取得し、取得した音声の音量と、自携帯電話端末装置周辺の音量を含む周辺音量とを比較して、前記相手側の携帯電話端末装置に入力された利用者の音声が自携帯電話端末装置の利用者に正しく伝わっているか否かを判断する音量比較判断手段と、
前記音量比較判断手段の判断結果を出力する出力手段と
を有する携帯電話端末装置。
【０１８４】
（付記６）前記音量比較判断手段の判断結果を前記相手側の携帯電話端末装置に出力し、当該携帯電話端末装置の利用者に前記判断結果を通知する通知手段を更に有する付記５に記載の携帯電話端末装置。
【０１８５】
（付記７）前記通知手段は、アラームやバイブレータまたはディスプレイ表示にて、前記利用者に前記判断結果を通知する付記６に記載の携帯電話端末装置。
【０１８６】
（付記８）前記音量比較判断手段が、自携帯電話端末装置の利用者の音声が相手側の携帯電話端末装置に正しく伝達されていると判断した場合に、前記出力手段は、前記判断結果を出力する付記５、６または７に記載の携帯電話端末装置。
【０１８７】
（付記９）前記相手側の携帯電話端末装置から自携帯電話端末装置に入力された音声を第１の文字情報に変換する第１変換手段と、前記相手側の携帯電話端末装置から自携帯電話端末装置に入力された音声が出力された際に、出力された音声を自携帯電話端末装置周辺の周辺音と共に取得し、取得した音を第２の文字情報に変換する第２変換手段と、前記第１の文字情報と前記第２の文字情報とを比較し、比較結果に基づいて、前記相手側の携帯電話端末装置からの音声が自携帯電話端末装置の利用者に正しく伝わっているか否かを判断する判断手段を更に有する付記５〜８のいずれか一つに記載の携帯電話端末装置。
【０１８８】
（付記１０）前記判断手段は、前記第１の文字情報と前記第２の文字情報とを基にして、前記第１の文字情報に存在し、かつ、前記第２の文字情報に存在しない文字情報を判断し、判断結果を前記相手側の携帯電話端末装置に通知する付記５〜９のいずれか一つに記載の携帯電話端末装置。
【０１８９】
（付記１１）前記判断手段による判断結果を前記相手側の携帯電話端末装置および／または自携帯電話端末装置に表示する表示手段を更に有する付記５〜１０のいずれか一つに記載の携帯電話端末装置。
【０１９０】
（付記１２）発話と受話とが同時に行われたか否かにより、自携帯電話端末装置の利用者の音声が前記相手側の携帯電話端末装置に正しく伝達されているか否かを判断する受話／発話判断手段を更に有する付記１〜１１のいずれか一つに記載の携帯電話端末装置。
【０１９１】
（付記１３）前記受話／発話判断手段は、自携帯電話端末装置の利用者による音声入力が完了してから所定時間経過しても、前記相手側の携帯電話端末装置に利用者の音声が入力されない場合に、自携帯電話端末装置の利用者の音声が当該相手側の携帯電話端末装置に正しく伝達されていないと判断する付記１〜１２のいずれか一つに記載の携帯電話端末装置。
【０１９２】
（付記１４）携帯電話端末装置の通話情報を伝送する装置において、前記付記１〜１３に記載の携帯電話端末装置から前記携帯電話端末装置に入力された音声が相手側の携帯電話端末装置に伝達できていないことを示す情報が通知された場合に、当該通知された情報を前記相手側の携帯電話端末装置に伝送する伝送手段を備えた伝送装置。
【０１９３】
（付記１５）携帯電話端末装置が、
前記携帯電話端末装置の利用者により入力された音声の音量と、前記携帯電話端末装置周辺の音量を含む周辺音量とを記憶装置に記憶する記憶ステップと、
前記記憶装置に記憶された前記音声の音量と、前記周辺音量とを比較して、前記利用者の音声が相手側の携帯電話端末装置に正しく伝達されているか否かを判断する発話音量判断ステップと、
前記発話音量判断ステップの判断結果を出力する出力ステップと
を有する通話伝達の判断方法。
【０１９４】
（付記１６）携帯電話端末装置に、
前記携帯電話端末装置の利用者により入力された音声の音量と、前記携帯電話端末装置周辺の音量を含む周辺音量とを記憶装置に記憶する記憶手順と、
前記記憶装置に記憶された前記音声と、前記周辺音量とを比較して、当該利用者の音声が相手側の携帯電話端末装置に正しく伝達されているか否かを判断する発話音量判断手順と、
前記発話音量判断手順の判断結果を出力する出力手順と
を実行させる通話伝達の判断プログラム。
【符号の説明】
【０１９５】
１０ 発話者
２０ 受話者
１００、３００、４００ 携帯電話端末装置
１００ａ、１００ｂ、３００ａ、３００ｂ 携帯電話機
２００ 電話網
２００ａ、２００ｂ 基地局
２００ｃ、２００ｄ、２００ｅ 交換機
１０１、３０１ マイク
１０２ 発話音変換部
１０３、１０６ 人語判断部
１０４ 発話音量判断部
１０５ 受話音変換部
１０７ 音量比較判断部
１０８ 受話／発話監視・判断部
１０９ ユーザ通知部
１１０ 通話先通知部
１１１ ディスプレイ制御部
１１２ バイブレータ制御部
１１３、３０３、４０８ スピーカ
１１４ 無線部
１１５ 制御部
３０１ メモリ
３０２、４０５ ＣＰＵ
３０４ モニターマイク
３１０ 無線制御部
３１１ 呼制御部
３１２ スピーカ制御部
３１３ モニターマイク制御部
３１４、３１５ 音声認識エンジン
３１６ 欠落アラーム部
３１６ａ タイマー
３１６ｂ テキスト入出力制御部
３１６ｃ テキスト比較部
３１７ アラーム音生成部
３１８ 表示部
４０１ マイク
４０２ 無線通信部
４０３ 音声変換部
４０４ 記憶領域
４０４ａ 各種データ
４０４ｂ 発話音量判断プログラム
４０４ｃ 音量比較判断プログラム
４０４ｄ 人語判断プログラム
４０４ｅ 受話／発話監視プログラム
４０４ｆ 欠落アラームプログラム
４０５ａ 発話音量判断プロセス
４０５ｂ 音量比較判断プロセス
４０５ｃ 人語判断プロセス
４０５ｄ 受話／発話監視プロセス
４０５ｅ 欠落アラームプロセス
４０６ バイブレータ
４０７ ディスプレイ
４０９ バス
【技術分野】
【０００１】
この発明は、携帯電話端末装置に関する。本発明は、例えば発話した情報が受話側に伝達されていない状態を検出することができる携帯電話端末装置に適用することもできる。
【背景技術】
【０００２】
携帯電話端末を使用した音声による情報伝達は、周囲の騒音や、携帯電話端末と無線基地局との間における電波状態の影響等を受けやすく、発話側からの情報を受話側に正確に伝達できない場合がある。
【０００３】
この問題に対して、既存の携帯電話システムでは、ノイズキャンセリング機能や欠落した受話音声の補完等により、受話音声の品質を高め、受話者の認識率を向上させる技術が広く知られている。
【０００４】
例えば、無線基地局と携帯電話端末との電波状態が悪く、携帯電話端末間の無線伝送路上で、発話した音声情報が欠落し、欠落した状態で受話側に伝達された場合に、受話側の携帯電話端末にて欠落した音声情報を補完するという技術が知られている（例えば、特許文献１参照）。
【０００５】
また、無線基地局と携帯電話端末装置間との電波状態に応じて、発話した情報自体が相手側に到達したか否かを判断し、電波状態が悪く、相手側に発話した情報が到達しなかった場合に、その旨を携帯電話端末装置のユーザに通知するという技術が知られている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００２−３３０２３３号公報
【特許文献２】特開平１０−１６４１８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述した従来の技術では、発話した情報が受話側に正しく伝達できているか否かを発話側で判断することができず、コミュニケーションを円滑に進めることができないという問題があった。
【０００８】
例えば、受話音声の品質を高め、認識確率を向上させても、受話側の受話音声がクリアになるだけで、発話側は、発話した情報が受話側に正しく伝達できているか否かを判断することはできない。
【０００９】
同様に、無線伝送路上で欠落した音声を受話側の携帯電話端末装置で補完しても、例えば、携帯電話端末装置から出力された音声が、受話者の耳に到達するまでの間に、受話者の周囲環境の騒音やノイズ等の周辺音により、かき消された場合、受話側は、発話した情報を正しく認識することができない。
【００１０】
したがって、発話側は、受話側が発話した情報を認識できていない状況にも関わらず、通話し続けてしまい、話者間での誤解等招き、円滑にコミュニケーションを進めることができない。
【００１１】
また、電波状態が良好で、発話した情報が相手側に到達したとしても、到達した情報に発話した情報のみならず周囲の雑音も含まれていた場合に、受話側は、発話した情報を正しく認識することができない。
【００１２】
この場合においても、発話側は、受話側が通話情報を認識できていないにも関わらず、受話側に一方的に発話し続けてしまう可能性がある。その結果、話者間での誤解やトラブルが発生しやすく、円滑にコミュニケーションを進めることができない。
【００１３】
本件開示の装置は、円滑なコミュニケーションの実現を図ることを目的とする。
【課題を解決するための手段】
【００１４】
上述した課題を解決し、目的を達成するため、携帯電話端末装置は、自携帯電話端末装置の利用者により入力された音声の音量と、前記携帯電話端末装置周辺の音量を含む周辺音の音量とを比較して、前記利用者の音声が相手側の携帯電話端末装置に正しく伝達されているか否かを判断する発話音量判断手段と、前記発話音量判断手段の判断結果を出力する出力手段とを備えたことを要件とする。
【発明の効果】
【００１５】
本件開示の携帯電話端末装置によれば、円滑なコミュニケーションの実現を図ることができる。
【図面の簡単な説明】
【００１６】
【図１】図１は、実施例１の概要を説明するための図である。
【図２】図２は、実施例１に係る携帯電話端末装置システムについて説明するための図である。
【図３】図３は、実施例１に係る携帯電話端末装置の構成を示す図である。
【図４】図４は、発話音量判断部が行う判断動作を説明するための図である。
【図５】図５は、音量比較判断部が行う判断動作を説明するための図である。
【図６】図６は、双方が同時に発話したか否かの判断動作を説明するための図である。
【図７】図７は、応答があるか否かの判断動作を説明するための図である。
【図８】図８は、発話音声が受話側に伝達できているか否かを判断するフローチャートである。
【図９】図９は、受話音声が受話側に伝達できているか否かを判断するフローチャートである。
【図１０】図１０は、双方が同時に発話した場合を判断するフローチャートである。
【図１１】図１１は、発話後の無応答時間を判断するフローチャートである。
【図１２】図１２は、実施例２の概要を説明するための図である。
【図１３】図１３は、実施例２に係る携帯電話端末装置の構成を示す図である。
【図１４】図１４は、テキスト比較部３１６ｃの処理について説明するための図である。
【図１５】図１５は、実施例２に係る携帯電話端末装置の処理を示すフローチャートである。
【図１６】図１６は、発話情報の不伝達を判断するプログラムを実行する携帯電話端末装置のハードウェア構成を示す図である。
【発明を実施するための形態】
【００１７】
以下に添付図面を参照して、この発明に係る携帯電話端末装置の好適な実施の形態を詳細に説明する。
【実施例１】
【００１８】
まず、実施例１に係る携帯電話端末装置の概要について説明する。実施例１に係る携帯電話端末装置は、発話した情報が受話側に伝達できているか否かを判断し、その判断結果を発話者と受話者に通知する。
【００１９】
図１は、実施例１の概要を説明するための図である。図１では、まず、話者１０が携帯電話機１００ａを使用し、話者２０が携帯電話機１００ｂを使用し、通話している。そして、話者１０が、携帯電話機１００ａに発話する（ステップＳ１）。なお、以下、説明の便宜上、話者１０を発話者１０とし、話者２０を受話者２０とする。
【００２０】
その後、携帯電話機１００ａは、発話した情報が受話者２０に正しく伝達できていないと判断した場合に、その判断結果を検出する。そして、携帯電話機１００ａは、その判断結果を発話者１０に通知するとともに、携帯電話機１００ｂを介し、受話者２０にも通知する（ステップＳ２）。
【００２１】
このように、携帯電話端末装置が、相手側に発話した情報が正しく伝達できていないと判断した場合、その判断結果を発話側と受話側に通知することで、双方で、発話した情報の不伝達を認識することが可能となる。
【００２２】
その結果、発話者に対して、相手に正しく情報伝達を行うための措置を採るよう促すことができる。例えば、周囲の雑音が少ない場所に移動することや、再度発話をするといったことが挙げられる。
【００２３】
そして、情報が正しく伝達されないことによる話者間の不安やトラブルを軽減し、円滑なコミュニケーションを実現することができる。
【００２４】
次に、実施例１の前提となる携帯電話端末装置システムの構成について説明する。図２は、実施例１に係る携帯電話端末装置システムについて説明するための図である。図１には、電話網２００を介して、携帯電話機１００ａおよび携帯電話機１００ｂが相互に通話を行う例を示している。
【００２５】
電話網２００は、携帯電話機１００ａおよび携帯電話機１００ｂに、通話情報を伝送する手段で、基地局２００ａと、基地局２００ｂと、交換機２００ｃと、交換機２００ｄと、交換機２００ｅとを有する。
【００２６】
そして、電話網２００に含まれる各種装置は、携帯電話機１００ａや携帯電話機１００ｂが、発話した情報の不伝達を検出した場合に、その旨を相手側の携帯電話機に通知する機能を具備する。
【００２７】
次に、実施例１に係る携帯電話端末装置の構成について説明する。図３は、実施例１に係る携帯電話端末装置の構成を示す図である。図３に示すように、携帯電話端末装置１００は、マイク１０１と、スピーカ１１３と、無線部１１４と、制御部１１５とを有する。
【００２８】
マイク１０１は、発話者が発話した音声や、周辺の雑音や騒音、ノイズといった周辺音を取得し、発話音変換部１０２に取得した情報を入力する手段である。
【００２９】
スピーカ１１３は、発話した情報が受話側に伝達できていない状況を示す音声の再生や、通話情報が示す音声を再生する手段である。
【００３０】
無線部１１４は、携帯電話端末装置で行う通常の無線通信機能の他に、本発明に密接に関連するものとして、通話先の携帯電話端末装置使用者に対して、発話した情報が受話者に伝達できていない旨を示す情報を出力する手段である。
【００３１】
制御部１１５は、携帯電話端末装置１００のユーザが発話した情報を各種制御する手段で、発話音変換部１０２と、人語判断部１０３と、発話音量判断部１０４と、受話音変換部１０５と、人語判断部１０６と、音量比較判断部１０７と、受話／発話監視・判断部１０８と、ユーザ通知部１０９と、通話先通知部１１０と、ディスプレイ制御部１１１と、バイブレータ制御部１１２とを有する。
【００３２】
発話音変換部１０２は、マイク１０１から入力された情報を、携帯電話端末装置１００が取扱う形式に変換し、変換した情報を人語判断部１０３や発話音量判断部１０４または音量比較判断部１０７に入力する手段である。
【００３３】
人語判断部１０３は、発話音変換部１０２から入力された情報に言語情報が含まれているか否かを判断する手段である。この言語情報とは、「あ」や「い」といった言葉そのものを示す言葉情報と、その「あ」や「い」といった言葉情報が有する音量（以下、言葉音量とする）とを含んだ情報である。
【００３４】
そして、言語情報が含まれている場合、人語判断部１０３は、入力された情報から、発話者の言語情報を抽出し、抽出した言語情報を発話音量判断部１０４や受話／発話監視・判断部１０８に入力する。
【００３５】
発話音量判断部１０４は、発話音変換部１０２と人語判断部１０３とから入力された情報に基づいて、発話した情報が受話側に伝達できているか否かを判断し、発話した情報が受話側に伝達できていないと判断した場合に、その判断結果をユーザ通知部１０９へ入力する手段である。
【００３６】
この発話音量判断部１０４が行う判断動作について図３および図４を用いて説明する。図４は、発話音量判断部が行う判断動作を説明するための図である。なお、図４に示した携帯電話機１００ａおよび携帯電話機１００ｂは、図３に示した携帯電話端末装置１００に相当するものとし、説明の便宜上、携帯電話機１００ａを発話側端末装置、携帯電話機１００ｂを受話側端末装置として、図示する。
【００３７】
まず、発話者１０が、携帯電話機１００ａを使用して発話した際に、マイク１０１に対して、発話者１０の音声と、騒音やノイズといった周辺音等とが入力される（ステップＳ１０）。
【００３８】
その後、発話音量判断部１０４は、発話音変換部１０２からマイク１０１に入力された情報を受け取り、受け取った情報が有する音量を全体音量として保持する。したがって、この全体音量とは、マイク１０１に入力される音量（発話者の音声が有する音量や、騒音やノイズといった周辺音等とを合わせた音量）を示す。
【００３９】
一方、発話音量判断部１０４は、人語判断部１０３から言語情報を受け取った場合、受け取った言語情報に含まれる言葉音量を発話音量として保持する。
【００４０】
そして、発話音量判断部１０４は、全体音量と発話音量とを比較し、発話音量が十分に大きいか否かを判断し、発話音量が十分に大きいと判断できなかった場合に、発話した情報が受話者２０に伝達できていないと判断する（ステップＳ１１）。
【００４１】
上述したステップＳ１１にて示した判断は、例えば、以下に示す式（１）と閾値Ｘとを用いて説明するものとする。
【００４２】
式（１）；（発話音量Ａ／全体音量Ｂ）≦Ｘ（定数）
【００４３】
式（１）によれば、発話音量判断部１０４は、発話音量Ａ（単位；デシベル）を全体音量Ｂ（単位；デシベル）で割った値が、定数Ｘ以下であれば、発話音量が十分に大きいと判断しない。
【００４４】
一方、発話音量判断部１０４は、発話音量Ａを全体音量Ｂで割った値が、定数Ｘを超えていた場合に、発話音量が十分に大きいと判断する。なお、上述した定数Ｘは、携帯電話端末装置を使用して通話が成立する閾値を示し、任意に設定することができるものとする。
【００４５】
例えば、閾値Ｘを０．６として、発話音量が５０ｄｂ、全体音量が１００ｄｂであれば、式（１）より、発話音量判断部１０４は、発話音量が十分に大きいとは判断せずに、発話した情報が受話者２０に伝達できていないと判断する。
【００４６】
５０／１００（＝０．５）≦０．６
【００４７】
そして、発話した情報が受話者２０に伝達できていなかったと判断した場合に、携帯電話機１００ａは、その判断結果を、発話者１０に、後述する使用者への通知部１０９を介して通知する。一方、受話者２０に対しても、後述する通話先通知部１１０を介して通知する（ステップＳ１２）。
【００４８】
次に、図３の説明に戻り、受話音変換部１０５について説明する。受話音変換部１０５は、無線部１１４を経由し、スピーカ１１３で再生された受話音声を携帯電話端末装置１００が取扱う形式に変換し、変換した情報を人語判断部１０６に入力する手段である。
【００４９】
人語判断部１０６は、受話音変換部１０５から受け取った情報に、言語情報が含まれているか否かを判断する手段である。そして、言語情報が含まれていた場合、言語情報を抽出し、抽出した言語情報を音量比較判断部１０７や受話／発話監視・判断部１０８に入力する。
【００５０】
音量比較判断部１０７は、発話音変換部１０２と人語判断部１０６とから入力された情報に基づいて、受話音声が正しく受話側に伝達できたか否かを判断し、受話音声が受話側に伝達できていないと判断した場合に、その判断結果をユーザ通知部１０９へ入力する手段である。
【００５１】
この音量比較判断部１０７が行う判断動作について図３および図５を用いて説明する。図５は、音量比較判断部が行う判断動作を説明するための図である。なお、図５に示した携帯電話機１００ａおよび携帯電話機１００ｂは、図３に示した携帯電話端末装置１００に相当するものとし、説明の便宜上、携帯電話機１００ａを発話側端末、携帯電話機１００ｂを受話側端末として、図示する。
【００５２】
まず、発話者１０が携帯電話機１００ａを使用して発話し、発話した情報が、電話網２００（図２参照）を介して、携帯電話機１００ｂに到達する（ステップＳ２０）。
【００５３】
その後、発話した情報が、受話音変換部１０５を介し、人語判断部１０６に入力される。また、携帯電話機１００ｂの周囲雑音が、マイク１０１を介し、発話音変換部１０２に入力される（ステップＳ２１）。
【００５４】
続いて、音量比較判断部１０７は、発話音変換部１０２から入力される騒音やノイズといった周辺音等を受け取り、受け取った周辺音等が含む音量を周囲雑音量として保持する。また、音量比較判断部１０７は、人語判断部１０６から言語情報に含まれる言葉音量を受け取り、その言葉音量が示す音量を受話音量として保持する。
【００５５】
そして、音量比較判断部１０７は、周囲雑音量と受話音量とを比較し、受話音量が十分に大きいか否かを判断し、受話音量が十分に大きいと判断できなかった場合に、受話音声が受話者２０に伝達できていないと判断する（ステップＳ２２）。
【００５６】
上述したステップＳ２２にて示した判断は、例えば、以下に示す式（２）と閾値Ｙとを用いて説明するものとする。
【００５７】
式（２）；（受話音量Ｃ／周囲雑音量Ｄ）≦Ｙ（定数）
【００５８】
式（２）によれば、音量比較判断部１０７は、受話音量Ｃ（単位；デシベル）を周囲雑音量Ｄ（単位；デシベル）で割った値が、定数Ｙ以下であれば、受話音量が十分に大きいと判断しない。
【００５９】
一方、音量比較判断部１０７は、受話音量Ｃを周囲雑音量Ｄで割った値が、定数Ｙを超えていた場合に、受話音量が十分に大きいと判断する。なお、上述した定数Ｙは、携帯電話端末装置を使用して通話が成立する閾値を示し、任意に設定することができるものとする。
【００６０】
例えば、閾値Ｙを０．７として、受話音量が４０ｄｂ、周囲雑音量が１００ｄｂであれば、式（２）より、音量比較判断部１０７は、受話音量が十分に大きいとは判断せずに、受話音声が受話者２０に伝達できていないと判断する。
【００６１】
４０／１００（＝０．４）≦０．７
【００６２】
そして、受話音声が受話者２０に伝達できていないと判断した場合に、携帯電話機１００ｂは、その判断結果を、受話者２０に、使用者への通知部１０９を介して通知する。一方、発話者１０に対しても、通話先通知部１１０を介して通知する（ステップＳ２３）。
【００６３】
次に、図３の説明に戻り、受話／発話監視・判断部１０８について説明する。受話／発話監視・判断部１０８は、通話中の双方が同時に発話した場合、あるいは発話完了から一定時間経過後、受話側の応答がない場合に、発話した情報が受話側に伝達できていないと判断し、その判断結果をユーザ通知部１０９へ入力する手段である。
【００６４】
まず、受話／発話監視・判断部１０８が、通話中の双方が同時に発話したか否かを判断する動作について図３および図６を用いて説明する。図６は、双方が同時に発話したか否かの判断動作を説明するための図である。
【００６５】
なお、図６の説明において、便宜的に携帯電話機１００ａを発話側の端末、携帯電話機１００ｂを受話側の端末とし、受話者２０が発話している最中に、発話者１０から発話があった場合を例に挙げて説明する。
【００６６】
まず、発話者１０の発話情報が、電話網２００（図２参照）を介して、携帯電話機１００ｂに到達する。そして、発話した情報は、受話音変換部１０５にスピーカ１１３を介して入力される。
【００６７】
続いて、人語判断部１０６は、発話者１０が発話した情報から言語情報（例えば、「あ」）を抽出し、抽出した言語情報を受話／発話監視・判断部１０８に入力する（ステップＳ３０）。
【００６８】
一方、受話者２０が発話すると、発話情報が発話音変換部１０２に入力され、人語判断部１０３は、受話者２０が発話した情報から言語情報（例えば「い」）を抽出し、抽出した言語情報を受話／発話監視・判断部１０８に入力する（ステップＳ３１）。
【００６９】
その後、受話／発話監視・判断部１０８は、言語情報「あ」を受け取った時点から、言語情報「い」を受け取るまでの間隔を監視し、監視した結果、間隔が一定値以下（例えば、Ｔ秒以下；Ｔは自然数）である場合に、「ほぼ同時に発話された」と判断する。
【００７０】
したがって、受話／発話監視・判断部１０８は、発話者１０の発話情報が受話者２０に伝達できていないと判断し、その判断結果をユーザ通知部１０９へ入力する（ステップＳ３２）。
【００７１】
そして、発話した情報が正しく伝達できていないと判断した場合に、携帯電話機１００ｂは、その判断結果を、受話者２０に対して、ユーザ通知部１０９を介して通知する。一方、発話者１０に対しても、通話先通知部１１０を介して通知する（ステップＳ３３）。
【００７２】
次に、受話／発話監視・判断部１０８が、発話側の発話が終了してから一定時間経過後に、受話側の応答があるか否かを判断する動作について図３および図７を用いて説明する。図７は、応答があるか否かの判断動作を説明するための図である。
【００７３】
なお、図７に示した携帯電話機１００ａおよび携帯電話機１００ｂは、図３に示した携帯電話端末装置１００に相当するものとし、説明の便宜上、携帯電話機１００ａを発話側端末、携帯電話機１００ｂを受話側端末として、図示する。
【００７４】
まず、発話者１０が発話した情報が、携帯電話機１００ｂに到達し、無線部１１４を介して、受話音変換部１０５に入力される。そして、人語判断部１０６は、言語情報（例えば、「あ」）を抽出し、抽出した言語情報を受話／発話監視・判断部１０８に入力する（ステップＳ４０）。
【００７５】
その後、受話／発話監視・判断部１０８は、言語情報「あ」を受け取った後に、人語判断部１０３から言語情報を受け取るまでの時間を監視する（ステップＳ４１）。
【００７６】
監視した結果、一定値以上（例えば、Ｎ秒間以上；Ｎは自然数）、人語判断部１０３から受話／発話監視・判断部１０８に言語情報の入力が無かった場合に、受話／発話監視・判断部１０８は、受話者２０が発話者１０の発話情報を上の空で聞いていたと考え、発話した情報が正しく伝達されていないと判断する（ステップＳ４２）。
【００７７】
そして、音量比較判断部１０７は、ステップＳ４２の判断結果を、ユーザ通知部１０９へ入力し、携帯電話機１００ｂは、ステップＳ４２にて得た判断結果を、受話者２０に対して、ユーザ通知部１０９を介して通知する。一方、発話者１０に対しても、通話先通知部１１０を介して通知する（ステップＳ４３）。
【００７８】
次に、図３の説明に戻り、ユーザ通知部１０９について説明する。ユーザ通知部１０９は、「発話した情報が受話側に伝達できていない状況」あるいは、「受話した情報が受話側に伝達できていない状況」を携帯電話端末装置の使用者に、その旨を通知する手段である。
【００７９】
具体的には、発話音量判断部１０４や受話／発話監視・判断部１０８が「発話した情報が受話側に伝達できていない状況である」と判断した場合、あるいは音量比較判断部１０７が、「受話した情報が受話側に伝達できていない状況である」と判断した場合に、その旨を示す情報を通話先通知部１１０と、ディスプレイ制御部１１１と、バイブレータ制御部１１２、スピーカ１１３に入力する。
【００８０】
例えば、携帯電話端末装置１００が発話側の携帯電話端末装置として使用された場合、ユーザ通知部１０９は、発話した情報が受話者（例えば、受話者２０；図２参照）に伝達できていない旨を示す情報をディスプレイやバイブレータの動作等を通じて発話者（例えば、発話者１０；図２参照）へ通知する。
【００８１】
一方、受話側の携帯電話端末として使用された場合、ユーザ通知部１０９は、受話した情報が受話者（例えば、受話者２０；図２参照）に伝達できていない旨を示す情報をディスプレイへの表示やバイブレータの動作を通じて受話者２０へ通知する。
【００８２】
通話先通知部１１０は、ユーザ通知部１０９からの通知を受けて、「発話した情報が受話側に伝達できていない状況」を示す情報を通話先の携帯電話端末装置へ通知する手段である。
【００８３】
例えば、携帯電話端末装置１００が発話者側の携帯電話端末装置として使用された場合、通話先通知部１１０は、発話した情報が受話者（例えば、受話者２０；図２参照）に伝達できていない旨を示す情報を電話網２００経由で受話者に対して通知する。
【００８４】
また、上述したように発話者側の端末装置として使用され、「受話した情報が受話側に伝達できていない状況」を無線部１１４より、取得した場合は、ユーザ通知部１０９は、その判断結果を発話者へ通知する。
【００８５】
一方、受話側の携帯電話端末装置として使用された場合に、通話先通知部１１０は、受話した情報が受話者に伝達できていない旨を示す情報を電話網２００経由で発話者（例えば、発話者１０；図２参照）に対して通知する。
【００８６】
また、上述したように受話者側の端末として使用され、「発話した情報が受話側に伝達できていない状況」を無線部１１４より、取得した場合は、ユーザ通知部１０９は、その判断結果を受話者へ通知する。
【００８７】
ディスプレイ制御部１１１は、携帯電話端末のディスプレイに対して、「発話した情報が受話側に伝達できていない状況」を示す情報表示を行う手段である。
【００８８】
バイブレータ制御部１１２は、ユーザ通知部１０９からの通知を受けて、携帯電話端末装置のバイブレータに対して、「発話した情報が受話側に伝達できていない状況」を示す動作命令を行う手段である。
【００８９】
次に、携帯電話端末１００が、発話音声と発話側の周囲雑音とを比較して、発話した情報が相手側に伝達できているか否かを判断する処理手順について説明する。図８は、発話音声が受話側に伝達できているか否かを判断するフローチャートである。
【００９０】
まず、発話情報と周辺音等が携帯電話端末装置１００に入力される（ステップＳ１００）。その後、発話音量判断部１０４は、発話音変換部１０２から入力される情報を全体音量として保持する（ステップＳ１０１）。
【００９１】
続いて、人語判断部１０３が、発話音変換部１０２より受け取った情報から言語情報を抽出する（ステップＳ１０２）。そして、人語判断部１０３は、発話音量判断部１０４に抽出した情報を入力する（ステップＳ１０３）。
【００９２】
その後、発話音量判断部１０４は、人語判断部１０３が抽出した情報に含まれる言葉音量を発話音量として保持し（ステップＳ１０４）、保持している全体音量と発話音量とを比較し、発話音量が十分に大きいか否かを判断し（ステップＳ１０５）、十分に大きいと判断した場合（ステップＳ１０６、Ｙｅｓ）、ステップＳ１００に戻る。
【００９３】
一方、十分に大きくないと判断した場合（ステップＳ１０６、Ｎｏ）、発話音量判断部１０４は、発話した情報が受話者に伝達できていないと判断する。そして、発話者と受話者に対して、その判断結果を通知する（ステップＳ１０７）。
【００９４】
このフローチャートによれば、発話者および受話者は、発話した情報が相手に伝達できないことを双方で認識することができ、発話者と受話者に対して相手側に情報を正しく伝達するための措置を採るように促すことができ、円滑なコミュニケーションの実現を図ることが可能になる。
【００９５】
次に、携帯電話端末装置１００が、受話音声と受話側の周囲雑音とを比較して、受話音声が受話者に伝達できているか否かを判断する処理手順について説明する。図９は、受話音声が受話側に伝達できているか否かを判断するフローチャートである。
【００９６】
まず、受話情報と携帯電話端末装置１００の騒音やノイズ等を含む周辺音が携帯電話端末装置１００に入力される（ステップＳ２００）。その後、音量比較判断部１０７は、発話音変換部１０２から入力される情報が示す音量を周囲雑音量として保持する（ステップＳ２０１）。
【００９７】
続いて、人語判断部１０６が、受話音変換部１０５より受け取った情報から言語情報を抽出する（ステップＳ２０２）。そして、人語判断部１０６は、音量比較判断部１０７に抽出した情報を入力する（ステップＳ２０３）。
【００９８】
音量比較判断部１０７は、人語判断部１０６が抽出した情報に含まれる言葉音量を受話音量として保持し（ステップＳ２０４）、保持している周囲雑音量と受話音量とを比較して受話音量が十分に大きいか否かを判断し（ステップＳ２０５）、十分に大きいと判断した場合（ステップＳ２０６、Ｙｅｓ）、ステップＳ２００に戻る。
【００９９】
一方、十分に大きくないと判断した場合（ステップＳ２０６、Ｎｏ）、音量比較判断部１０７は、受話音声が受話者に伝達できていないと判断する。そして、発話者と受話者に対して、その判断結果を通知する（ステップＳ２０７）。
【０１００】
このフローチャートによれば、発話者および受話者は、受話音声が受話者に伝達できていないことを双方で認識することができ、発話者に相手側に対して正しく情報伝達を行うための措置を採るように促すことができる。また、受話者に対しても、正確に受話できるような措置を採るように促すことができる。したがって、発話者および受話者はコミュニケーションを円滑に進めるための措置を採ることができるようになる。
【０１０１】
次に、双方が同時に発話した場合における携帯電話端末装置１００の処理手順について説明する。図１０は、双方が同時に発話した場合を判断するフローチャートである。
【０１０２】
まず、発話者が発話した情報が、電話網２００（図２参照）を介して、携帯電話端末装置１００に到達する。そして、発話者からの情報が、受話音変換部１０５に無線部１１４を介し、入力される。一方、受話者が発話すると、発話情報が発話音変換部１０２に入力される（ステップＳ３００）。
【０１０３】
続いて、人語判断部１０６は、発話者が発話した情報から言語情報「あ」を抽出し、抽出した言語情報（例えば「あ」）を受話／発話監視・判断部１０８に入力する（ステップＳ３０１）。
【０１０４】
また、受話者が発話すると、受話者の発話情報が発話音変換部１０２に入力され、人語判断部１０３は、受話者が受話した情報から言語情報（例えば「い」）を抽出し、抽出した言語情報「い」を受話／発話監視・判断部１０８に入力する（ステップＳ３０２）。
【０１０５】
その後、受話／発話監視・判断部１０８は、言語情報「あ」を受け取った時点から、言語情報「い」を受け取るまでの間隔が一定値以下であるか判断する（ステップＳ３０３）。判断結果、間隔が一定値以下（ステップＳ３０４、Ｙｅｓ）である場合に、「ほぼ同時に発話された」と判断する。
【０１０６】
そして、携帯電話端末装置１００は、ステップＳ３０４にて得た判断結果を、受話者にユーザ通知部１０９を介して通知する。一方、発話者に対しても、通話先通知部１１０を介して、受話者に通知する（ステップＳ３０５）。
【０１０７】
一方、間隔が一定値を越えていた場合に（ステップＳ３０４、Ｎｏ）、「ほぼ同時に発話された」と判断せず、ステップＳ３００へ移行する。
【０１０８】
このフローチャートによれば、発話者および受話者が同時に発話した場合に、発話した情報が受話者に伝達できていないことを双方で認識することができ、発話者および受話者はコミュニケーションを円滑に進めるための措置を採ることができるようになる。
【０１０９】
次に、発話側の発話が終了してから一定時間経過後に、携帯電話端末装置１００が、受話側の応答があるか否かを判断する処理手順について説明する。図１１は、発話後の無応答時間を判断するフローチャートである。
【０１１０】
まず、発話者の発話した情報が、携帯電話端末装置１００に到達し、受話音変換部１０５に入力される（ステップＳ４００）。
【０１１１】
そして、人語判断部１０６は、言語情報（例えば、「あ」）を抽出し（ステップＳ４０１）、抽出した言語情報を受話／発話監視・判断部１０８に入力する（ステップＳ４０２）。
【０１１２】
その後、受話／発話監視・判断部１０８は、言語情報「あ」を受け取った後に、受話者の発話に係る言語情報を人語判断部１０３から受け取るまでの時間を監視する（ステップＳ４０３）。
【０１１３】
監視した結果、人語判断部１０３から言語情報の入力が一定期間なく、一定値以上（一定期間の経過）であれば（ステップＳ４０４、Ｙｅｓ）、受話／発話監視・判断部１０８は、「正しく情報が伝達されていない可能性がある」と判断し、その判断結果を受話者と発話者に対して通知する（ステップＳ４０５）。
【０１１４】
一方、人語判断部１０３から言語情報の入力が、一定期間内に受話／発話監視・判断部１０８に対してされた場合（ステップＳ４０４、Ｎｏ）、ステップＳ４００へ移行する。
【０１１５】
このフローチャートによれば、発話側の発話が終了してから一定時間経過後に、受話側の応答が無い場合に、携帯電話端末装置１００は、発話した情報が正しく伝達できていないと判断することができ、その判断結果を受話者および発話者に通知することで、発話者および受話者はコミュニケーションを円滑に進めるための措置を採ることができるようになる。
【０１１６】
上述してきたように、実施例１に係る携帯電話端末装置は、発話した情報の不伝達について判断し、その判断結果を発話者および受話者に通知することで、発話した情報が受話者に伝達できていないことを双方で認識することができ、発話者および受話者はコミュニケーションを円滑に進めるための措置を採ることができるようになる。
【０１１７】
ところで、上述してきたように実施例１によれば、発話した情報が相手側に伝達されていない場合を判断する例について説明したが、発話した情報が相手側に正しく伝達されている場合についても、携帯電話端末装置１００は判断することができ、その判断結果を発話者および受話者に対しても通知することができる。
【０１１８】
例えば、図３で示した発話音量判断部１０４が、全体音量と発話音量とを比較して、発話音量が全体音量に対して十分に大きい場合は、発話した情報が相手側に正しく伝達されていると判断し、その判断結果をユーザ通知部１０９や通話先通知部１１０を介して、発話者および受話者に通知することができる。
【０１１９】
その結果、発話側は、相手側に発話した情報が正しく伝達できている旨を認識することが可能となり、周囲の雑音等が少ない場所に移動することや、再度発話をするといったことをすることなく、安心して通話することができる。
【０１２０】
そして、発話した情報が相手側に伝達されていないことを判断する場合と同様に、情報が正しく伝達されないことによる人間関係のトラブル発生の抑止や話者の不安を軽減し、円滑なコミュニケーションの実現を図ることができる。
【０１２１】
次に、実施例２に係る携帯電話端末装置の概要について説明する。実施例２に係る携帯電話端末装置は、受話側の携帯電話端末装置として使用された際に、受話側の周囲雑音等の影響により、通話情報が欠落しているか否かを判断し、欠落していると判断した場合は、発話者にアラーム音を通知する。
【０１２２】
図１２は、実施例２の概要を説明するための図である。図１２では、まず、話者１０が携帯電話機３００ａを使用し、話者２０が携帯電話機３００ｂを使用し、通話している。そして、話者１０が、携帯電話機３００ａに、「９時集合」と発話した場合を例に挙げる（ステップＳ５０）。なお、以下、説明の便宜上、話者１０を発話者１０とし、話者２０を受話者２０とする。
【０１２３】
その後、発話者１０の発話した情報「９時集合」が、電話網２００（図２参照）を介して、携帯電話機３００ｂに到達し、携帯電話機３００ｂのスピーカを介して、受話者２０の耳までに到達する。
【０１２４】
この間、例えば、携帯電話機３００ｂ内の集音部（図示省略）が、携帯電話機３００ｂの周囲雑音等を取得した場合、その取得した周囲雑音等の影響を受け、「９時集合」がかき消された状態で受話者２０の耳に伝達された場合に（ステップＳ５１）、携帯電話機３００ｂは、発話者１０が発話した情報が、欠落した状態で受話者２０に伝達されたと判断し、携帯電話機３００ａに「欠落アラーム」を通知する（ステップＳ５２）。
【０１２５】
したがって、この欠落アラームとは、発話者の発話した情報が、受話側の周囲雑音等の影響を受け、欠落した状態で受話者の耳に到達したことを示すアラームを指すものとする。
【０１２６】
このように、携帯電話機３００ｂが、発話した情報の欠落を示す「欠落アラーム」を発話者に通知することで、発話者の方で、自ら発話した情報が受話者に正しく伝達されていないことを認識することができる。
【０１２７】
次に、実施例２に係る携帯電話端末装置の構成について説明する。図１３は、実施例２に係る携帯電話端末装置の構成を示すブロック図である。なお、図１３の携帯電話端末装置３００は、図１２に示した携帯電話機３００ａおよび携帯電話機３００ｂに相当するものとするが、説明の便宜上、携帯電話端末装置３００が受話側の携帯電話機３００ｂとして使用された場合を例に挙げて以下説明する。
【０１２８】
図１３に示すように、携帯電話端末装置３００は、メモリ３０１と、ＣＰＵ(Central Processing Unit)３０２と、スピーカ３０３と、モニターマイク３０４と、表示部３１８とを有する。
【０１２９】
メモリ３０１は、ＣＰＵ３０２が使用する各種データなど記憶する記憶手段で、ＣＰＵ３０２は、メモリ３０１から各種データを読み出して各種処理を実行する中央処理部である。
【０１３０】
具体的処理として、発話音声のテキスト化と、発話音声と携帯電話端末装置３００の周囲雑音等とが混在した情報のテキスト化とを行い、これらテキスト化した情報に基づいて、発話音声が欠落しているか否かを判断し、欠落していると判断した場合は、欠落アラームを発話側の携帯電話端末装置に通知を行う。
【０１３１】
そして、ＣＰＵ３０２は、無線制御部３１０と、呼制御部３１１と、スピーカ制御部３１２と、モニターマイク制御部３１３と、音声認識エンジン３１４と、音声認識エンジン３１５と、欠落アラーム部３１６と、アラーム音生成部３１７とを有する。
【０１３２】
無線制御部３１０は、発話音声の取得や、アラーム音生成部３１７が生成した欠落アラームおよび欠落した情報が示すテキストデータを発話側の携帯電話機３００ａ（図１２参照）に出力する手段である。
【０１３３】
呼制御部３１１は、発話音声や所定のテキストデータの入出力制御、欠落アラームの作成要求や出力を行う手段である。例えば、呼制御部３１１は、無線制御部３１０が取得した発話音声をスピーカ制御部３１２と欠落アラーム部３１６とに出力する。さらに、音声認識エンジン３１４および音声認識エンジン３１５がテキスト化した情報に基づいて、所定のテキストデータを無線制御部３１０や表示部３１８に出力する。
【０１３４】
スピーカ制御部３１２は、呼制御部３１１から入力された発話音声をスピーカ３０３に出力する手段である。
【０１３５】
モニターマイク制御部３１３は、モニターマイク３０４が取得した情報を欠落アラーム部３１６に出力する手段である。なお、上述したように、このモニターマイク３０４が取得する情報は、発話音声と、携帯電話端末装置３００の周辺騒音やノイズ等を含む周辺音とが混在した情報とする。
【０１３６】
音声認識エンジン３１４は、欠落アラーム部３１６を介して、呼制御部３１１に入力された発話音声を音声認識によりテキスト化し、テキスト化されたデータをテキストデータＡとして保持する手段である。また、欠落アラーム部３１６の要求に応じて、テキストデータＡを欠落アラーム部３１６に出力する。
【０１３７】
音声認識エンジン３１５は、欠落アラーム部３１６を介して、モニターマイク制御部３１３に入力された発話音声と携帯電話端末装置３００の周囲音等とが混在した情報を音声認識によりテキスト化し、テキスト化されたデータをテキストデータＢとして保持する手段である。また、欠落アラーム部３１６の要求に応じて、テキストデータＢを欠落アラーム部３１６に出力する。
【０１３８】
欠落アラーム部３１６は、音声認識エンジン３１４と、音声認識エンジン３１５とが変換したテキストデータＡとテキストデータＢとをあらかじめ定められた所定間隔に基づいて、比較を行い、比較したテキストデータ間に差分が発生しているか否かを判断する手段である。なお、この「差分」とは、比較するテキストデータの一致率が所定値以下の場合を示すものとする。
【０１３９】
さらに、欠落アラーム部３１６は、差分が発生していると判断した場合に、欠落アラームの生成を呼制御部３１１に要求する手段で、タイマー３１６ａ、テキスト入出力制御部３１６ｂと、テキスト比較部３１６ｃとを有する。
【０１４０】
タイマー３１６ａは、時間情報を生成し、生成した時間情報をテキスト入出力制御部３１６ｂに出力する手段である。生成する時間情報は、１秒、３秒、５秒といった例が挙げられる。
【０１４１】
テキスト入出力制御部３１６ｂは、音声認識エンジン３１４と音声認識エンジン３１５とに、各種テキストデータの取得要求を同時に行い、取得した各種テキストデータをテキスト比較部３１６ｃに出力する手段である。なお、タイマー３１６ａが生成する時間情報に基づき、テキスト入出力制御部３１６ｂは、周期的（例えば、５秒間）に、各種テキストデータの取得要求を行うものとする。
【０１４２】
そして、テキスト入出力制御部３１６ｂが、音声認識エンジン３１４からテキストデータＡ、また、音声エンジン３１５からテキストデータＢを取得した場合は、取得したテキストデータＡとテキストＢとをテキスト比較部３１６ｃに出力する。
【０１４３】
テキスト比較部３１６ｃは、テキスト入出力制御部３１６ｂから取得した各種テキストデータを比較して、比較したテキストデータ間に、差分が発生したか否かを判断し、その判断結果に基づいて、発話音声が欠落して受話者に届いたか否かを判断する手段である。
【０１４４】
さらに、テキスト比較部３１６ｃは、発話音声に欠落が発生したと判断した場合に、欠落アラームの生成要求と、欠落した箇所に相当するテキストデータの出力を呼制御部３１１に対して行う手段である。
【０１４５】
テキスト比較部３１６ｃが行う処理について、具体的に図を挙げて説明する。図１４は、テキスト比較部３１６ｃの処理について説明するための図である。図１４の上段は、テキストデータが一致した場合を示し、一方、下段は、テキストデータに差分が発生した場合を示すものとする。
【０１４６】
図１４の上段に示すように、発話音声の示すテキストデータＡが、「９時集合」の場合を例に挙げ、テキスト比較部３１６ｃが行う処理を説明する。まず、テキスト比較部３１６ｃが、テキスト入出力制御部３１６ｂからテキストデータＡとして「９時集合」を取得する。
【０１４７】
同様に、テキスト比較部３１６ｃが、テキスト入出力制御部３１６ｂからテキストデータＢとして「９時集合」を取得した場合に、テキストデータＡとテキストデータＢとが一致することから、差分は発生しない。
【０１４８】
したがって、テキスト比較部３１６ｃは、発話音声の欠落は発生しないで、受話者に届いたと判断し、欠落アラームの生成要求を呼制御部３１１に対して行わない。
【０１４９】
一方、図１４の下段に示すように、テキスト比較部３１６ｃが、テキスト入出力制御部３１６ｂからテキストデータＡとして「９時集合」を取得し、テキストデータＢとして「ガガガ集合」を取得した場合に、テキストデータＡとテキストデータＢとを比較すると、テキストデータＡとテキストデータＢとに共通するテキストデータは、「集合」で、「９時」は、テキストデータＡにしか含んでおらず、「ガガガ」は、テキストデータＢにしか含んでいない。
【０１５０】
したがって、テキスト比較部３１６ｃは、テキストデータＡとテキストデータＢとの間に、差分が発生していると判断する。そして、テキスト比較部３１６ｃは、差分が発生していると判断した場合に、発話音声が欠落した状態で受話者に届いたと判断し、欠落アラームの生成要求を呼制御部３１１に対して行なうとともに、欠落したテキストデータ「９時」を呼制御部３１１に出力する。
【０１５１】
また、このとき、欠落したテキストデータ「９時」を受け取った呼制御部３１１は、無線制御部３１０を介して、発話側の携帯電話機３００ａにテキストデータ「９時」を送信する。その後、携帯電話機３００ａは、自装置の表示部（図示省略）に「９時」を表示する。
【０１５２】
さらに、呼制御部３１１は、欠落したテキストデータ「９時」を表示部３１８に対しても出力する。
【０１５３】
なお、テキスト比較部３１６ｃは、各種テキストデータの差分が発生するか否かを判断していることから、音声認識エンジン３１４および音声認識エンジン３１５がテキスト化する精度（音声認識精度）に左右されず、テキスト比較３１６ｃは、各種テキストデータの差分について判断することが可能なものとする。
【０１５４】
次に、図１３の説明に戻り、アラーム音生成部３１７について説明する。アラーム音生成部３１７は、呼制御部３１１から欠落アラームの生成要求に応じて、欠落アラームを生成し、生成した欠落アラームを呼制御部３１１に出力する手段である。
【０１５５】
スピーカ３０３は、図１２に示した発話者１０の方で発話した発話情報の音声（以下、発話音声とする）を出力する手段である。具体的には、ＣＰＵ３０２から出力された発話音声を受話者２０に対して出力する。
【０１５６】
モニターマイク３０４は、スピーカ３０３より出力された発話音声や、携帯電話端末装置３００の周囲雑音やノイズ等を含む周辺音等を取得する手段で、スピーカ３０３に隣接する。なお、モニターマイク３０４は、スピーカ３０３に隣接する他、スピーカ３０３と一体化させても良いものとする。
【０１５７】
表示部３１８は、欠落したテキストデータ（例えば、「９時」；図１４参照）を呼制御部３１１の要求に応じて表示する手段である。
【０１５８】
次に、携帯電話端末装置３００が行う処理について説明する。図１５は、携帯電話端末装置３００の処理を示すフローチャートである。
【０１５９】
まず、発話者１０が発話した発話音声が、音声認識エンジン３１４に、呼制御部３１１から入力され（ステップＳ５００）、音声認識エンジン３１４は、入力された発話音声に対して、音声認識によるテキスト変換を開始する（ステップＳ５０１）。
【０１６０】
続いて、モニターマイク３０４が取得した情報が、音声認識エンジン３１５に、モニターマイク制御部３１３から入力され（ステップＳ５０２）、音声認識エンジン３１５は、入力された情報に対して、音声認識によるテキスト変換を開始する（ステップＳ５０３）。
【０１６１】
その後、テキスト入出力制御部３１６ｂが、タイマー３１６ａが生成する時間情報に基づいて、所定時間（例えば、５秒）が経過したか否かを判断し、５秒経過していた場合（ステップＳ５０４、Ｙｅｓ）、ステップＳ５０５へ移行する。一方、５秒経過していない場合（ステップＳ５０４、Ｎｏ）、ステップＳ５０３へ移行する。
【０１６２】
そして、テキスト入出力制御部３１６ｂは、音声認識エンジン３１４と音声認識エンジン３１５とに対して、音声認識により変換されたテキストデータの取得を要求する（ステップＳ５０５）。
【０１６３】
その後、音声認識エンジン３１４は、変換したテキストデータ（例えば、テキストデータＡ）をテキスト入出力制御部３１６ｂに出力する。一方、音声認識エンジン３１５は、変換したテキストデータ（たとえば、テキストデータＢ）をテキスト入出力制御部３１６ｂに出力する。
【０１６４】
その後、テキスト比較部３１６ｃは、テキスト入出力制御部３１６ｂからテキストデータＡを取得し（ステップＳ５０６）、さらに、テキストデータＢを取得する（ステップＳ５０７）。そして、テキスト比較部３１６ｃは、テキスト入出力制御部３１６ｂから取得したテキストデータＡとテキストデータＢとを比較する（ステップＳ５０８）。
【０１６５】
続いて、テキスト比較部３１６ｃが、テキストデータＡとテキストデータＢとに差分があると判断した場合（ステップＳ５０９、Ｙｅｓ）、呼制御部３１１は、アラーム音生成部３１７が生成した欠落アラームを発話側に通知する（ステップＳ５１０）。
【０１６６】
一方、テキスト比較部３１６ｃが、差分がないと判断した場合（ステップＳ５０９、Ｎｏ）、ステップＳ５１１に移行する。
【０１６７】
そして、通話が終了される場合（ステップＳ５１１、Ｙｅｓ）、音声認識が終了する（ステップＳ５１２）。一方、通話が終了されない場合（ステップＳ５１１、Ｎｏ）、ステップＳ５０４に移行する。
【０１６８】
このフローチャートによれば、携帯電話端末装置３００が、発話音声が欠落した状態で受話側の耳に伝達されたと判断した場合、「欠落アラーム」を発話側に通知することで、発話者の方で発話した情報が受話者に正しく伝達されていないことを認識することができる。
【０１６９】
上述してきたように、実施例２に係る携帯電話端末装置３００は、発話した情報が欠落した状態で受話者の耳に到達した場合に、発話した情報の「欠落アラーム」を発話側の携帯電話端末装置に通知することで、発話者は、自分の発話した情報が相手に対し、欠落して伝達された旨を把握することができ、発話者はコミュニケーションを円滑に進めるための措置を採ることができるようになる。
【０１７０】
なお、これまで、実施例１と実施例２とを例に挙げ、別々に説明してきたが、実施例１に示す携帯電話端末装置１００と、実施例２に示す携帯電話端末装置３００との各処理部を組合せて構成しても良いものとする。
【０１７１】
ところで、実施例１及び２において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部あるいは一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種データを含む情報については、特記する場合を除いて任意に変更することができる。
【０１７２】
また、図３に示した携帯電話端末装置１００や図１３に示した携帯電話端末装置３００の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行われる各処理機能は、その全部または任意の一部がＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
【０１７３】
図１６は、発話情報の不伝達を判断するプログラムを実行する携帯電話端末装置のハードウェア構成を示す図である。図１６に示すように、この携帯電話端末装置４００は、マイク４０１、無線通信部４０２、音声変換部４０３、記憶領域４０４、ＣＰＵ(Central Processing Unit)４０５、バイブレータ４０６、ディスプレイ４０７、スピーカ４０８をバス４０９で接続している。
【０１７４】
そして、記憶領域４０４には、ＣＰＵ４０５によって利用されるデータを含んだ各種データ４０４ａ、上述した携帯電話端末装置１００の発話音量と全体音量とを比較判断する機能と同様の機能を発揮する発話音量判断プログラム４０４ｂ、受話音量と周囲音量を比較判断する機能と同様の機能を発揮する音量比較判断プログラム４０４ｃ、発話情報や受話情報から言語情報に係る情報を抽出する機能と同様の機能を発揮する人語判断プログラム４０４ｄ、発話者と受話者が同時に発話したかの判断、あるいは発話後の無応答時間を判断する機能と同様の機能発揮する受話／発話監視プログラム４０４ｅ、発話した音声が欠落したか否かを判断する欠落アラームプログラム４０４ｆが記憶されている。
【０１７５】
そして、ＣＰＵ４０５が、発話音量判断プログラム４０４ｂ、音量比較判断プログラム４０４ｃ、人語判断プログラム４０４ｄ、受話／発話監視プログラム４０４ｅ、欠落アラームプログラム４０４ｆをそれぞれ読み出して実行することにより、発話音量判断プロセス４０５ａ、音量比較判断プロセス４０５ｂ、人語判断プロセス４０５ｃ、受話／発話監視プロセス４０５ｄ、欠落アラームプロセス４０５ｅがそれぞれ起動される。ここで、発話音量判断プロセス４０５ａは、図３に示した発話音量判断部１０４に対応し、音量比較判断プロセス４０５ｂは図３に示した音量比較判断部１０７に対応し、人語判断プロセス４０５ｃは図３に示した人語判断部１０３、人語判断部１０６に対応し、受話／発話監視プロセス４０５ｄは、受話／発話監視・判断部１０８に対応し、欠落アラームプロセス４０５ｅは、図１３に示した欠落アラーム部３１６に対応する。
【０１７６】
なお、各種データ４０４ａには、例えば、発話音量判断プロセス４０５ａに利用される発話音量や全体音量といったデータが一例として挙げられる。そして、ＣＰＵ４０５は、各種データ４０４ａを読み出して、記憶領域４０４に一時的に格納し、記憶領域４０４に格納された各種データ４０４ａに基づいて「発話した情報が相手側に正しく伝達できているか否か」の判断処理を行う。
【０１７７】
ところで、図１６に示した発話音量判断プログラム４０４ｂ、音量比較判断プログラム４０４ｃ、人語判断プログラム４０４ｄ、受話／発話監視プログラム４０４ｅ、欠落アラームプログラム４０４ｆは、必ずしも最初から携帯電話端末装置４００が有する記憶領域に記憶させておく必要はない。たとえば、ＳＤカードなどの「可搬用の物理媒体」に記憶させておき、携帯電話端末装置が発話音量判断プログラム４０４ｂ、音量比較判断プログラム４０４ｃ、人語判断プログラム４０４ｄ、受話／発話監視プログラム４０４ｅ、欠落アラームプログラム４０４ｆを読み出して実行するようにしても良い。
【０１７８】
上記の実施例を含む実施形態に関し、更に以下の付記を開示する。
【０１７９】
（付記１）自携帯電話端末装置の利用者により入力された音声の音量と、前記携帯電話端末装置周辺の音量を含む周辺音量とを比較して、前記利用者の音声が相手側の携帯電話端末装置に正しく伝達されているか否かを判断する発話音量判断手段と、
前記発話音量判断手段の判断結果を出力する出力手段と
を有する携帯電話端末装置。
【０１８０】
（付記２）前記発話音量判断手段の判断結果を前記相手側の携帯電話端末装置に出力し、当該携帯電話端末装置の利用者に前記判断結果を通知する通知手段を更に有する付記１に記載の携帯電話端末装置。
【０１８１】
（付記３）前記通知手段は、アラームやバイブレータまたはディスプレイ表示にて、前記利用者に前記判断結果を通知する付記２に記載の携帯電話端末装置。
【０１８２】
（付記４）前記発話音量判断手段が、自携帯電話端末装置の利用者の音声が相手側の携帯電話端末装置に正しく伝達されていると判断した場合に、前記出力手段は、前記判断結果を出力する付記１、２または３に記載の携帯電話端末装置。
【０１８３】
（付記５）相手側の携帯電話端末装置の利用者により入力された音声を取得し、取得した音声の音量と、自携帯電話端末装置周辺の音量を含む周辺音量とを比較して、前記相手側の携帯電話端末装置に入力された利用者の音声が自携帯電話端末装置の利用者に正しく伝わっているか否かを判断する音量比較判断手段と、
前記音量比較判断手段の判断結果を出力する出力手段と
を有する携帯電話端末装置。
【０１８４】
（付記６）前記音量比較判断手段の判断結果を前記相手側の携帯電話端末装置に出力し、当該携帯電話端末装置の利用者に前記判断結果を通知する通知手段を更に有する付記５に記載の携帯電話端末装置。
【０１８５】
（付記７）前記通知手段は、アラームやバイブレータまたはディスプレイ表示にて、前記利用者に前記判断結果を通知する付記６に記載の携帯電話端末装置。
【０１８６】
（付記８）前記音量比較判断手段が、自携帯電話端末装置の利用者の音声が相手側の携帯電話端末装置に正しく伝達されていると判断した場合に、前記出力手段は、前記判断結果を出力する付記５、６または７に記載の携帯電話端末装置。
【０１８７】
（付記９）前記相手側の携帯電話端末装置から自携帯電話端末装置に入力された音声を第１の文字情報に変換する第１変換手段と、前記相手側の携帯電話端末装置から自携帯電話端末装置に入力された音声が出力された際に、出力された音声を自携帯電話端末装置周辺の周辺音と共に取得し、取得した音を第２の文字情報に変換する第２変換手段と、前記第１の文字情報と前記第２の文字情報とを比較し、比較結果に基づいて、前記相手側の携帯電話端末装置からの音声が自携帯電話端末装置の利用者に正しく伝わっているか否かを判断する判断手段を更に有する付記５〜８のいずれか一つに記載の携帯電話端末装置。
【０１８８】
（付記１０）前記判断手段は、前記第１の文字情報と前記第２の文字情報とを基にして、前記第１の文字情報に存在し、かつ、前記第２の文字情報に存在しない文字情報を判断し、判断結果を前記相手側の携帯電話端末装置に通知する付記５〜９のいずれか一つに記載の携帯電話端末装置。
【０１８９】
（付記１１）前記判断手段による判断結果を前記相手側の携帯電話端末装置および／または自携帯電話端末装置に表示する表示手段を更に有する付記５〜１０のいずれか一つに記載の携帯電話端末装置。
【０１９０】
（付記１２）発話と受話とが同時に行われたか否かにより、自携帯電話端末装置の利用者の音声が前記相手側の携帯電話端末装置に正しく伝達されているか否かを判断する受話／発話判断手段を更に有する付記１〜１１のいずれか一つに記載の携帯電話端末装置。
【０１９１】
（付記１３）前記受話／発話判断手段は、自携帯電話端末装置の利用者による音声入力が完了してから所定時間経過しても、前記相手側の携帯電話端末装置に利用者の音声が入力されない場合に、自携帯電話端末装置の利用者の音声が当該相手側の携帯電話端末装置に正しく伝達されていないと判断する付記１〜１２のいずれか一つに記載の携帯電話端末装置。
【０１９２】
（付記１４）携帯電話端末装置の通話情報を伝送する装置において、前記付記１〜１３に記載の携帯電話端末装置から前記携帯電話端末装置に入力された音声が相手側の携帯電話端末装置に伝達できていないことを示す情報が通知された場合に、当該通知された情報を前記相手側の携帯電話端末装置に伝送する伝送手段を備えた伝送装置。
【０１９３】
（付記１５）携帯電話端末装置が、
前記携帯電話端末装置の利用者により入力された音声の音量と、前記携帯電話端末装置周辺の音量を含む周辺音量とを記憶装置に記憶する記憶ステップと、
前記記憶装置に記憶された前記音声の音量と、前記周辺音量とを比較して、前記利用者の音声が相手側の携帯電話端末装置に正しく伝達されているか否かを判断する発話音量判断ステップと、
前記発話音量判断ステップの判断結果を出力する出力ステップと
を有する通話伝達の判断方法。
【０１９４】
（付記１６）携帯電話端末装置に、
前記携帯電話端末装置の利用者により入力された音声の音量と、前記携帯電話端末装置周辺の音量を含む周辺音量とを記憶装置に記憶する記憶手順と、
前記記憶装置に記憶された前記音声と、前記周辺音量とを比較して、当該利用者の音声が相手側の携帯電話端末装置に正しく伝達されているか否かを判断する発話音量判断手順と、
前記発話音量判断手順の判断結果を出力する出力手順と
を実行させる通話伝達の判断プログラム。
【符号の説明】
【０１９５】
１０ 発話者
２０ 受話者
１００、３００、４００ 携帯電話端末装置
１００ａ、１００ｂ、３００ａ、３００ｂ 携帯電話機
２００ 電話網
２００ａ、２００ｂ 基地局
２００ｃ、２００ｄ、２００ｅ 交換機
１０１、３０１ マイク
１０２ 発話音変換部
１０３、１０６ 人語判断部
１０４ 発話音量判断部
１０５ 受話音変換部
１０７ 音量比較判断部
１０８ 受話／発話監視・判断部
１０９ ユーザ通知部
１１０ 通話先通知部
１１１ ディスプレイ制御部
１１２ バイブレータ制御部
１１３、３０３、４０８ スピーカ
１１４ 無線部
１１５ 制御部
３０１ メモリ
３０２、４０５ ＣＰＵ
３０４ モニターマイク
３１０ 無線制御部
３１１ 呼制御部
３１２ スピーカ制御部
３１３ モニターマイク制御部
３１４、３１５ 音声認識エンジン
３１６ 欠落アラーム部
３１６ａ タイマー
３１６ｂ テキスト入出力制御部
３１６ｃ テキスト比較部
３１７ アラーム音生成部
３１８ 表示部
４０１ マイク
４０２ 無線通信部
４０３ 音声変換部
４０４ 記憶領域
４０４ａ 各種データ
４０４ｂ 発話音量判断プログラム
４０４ｃ 音量比較判断プログラム
４０４ｄ 人語判断プログラム
４０４ｅ 受話／発話監視プログラム
４０４ｆ 欠落アラームプログラム
４０５ａ 発話音量判断プロセス
４０５ｂ 音量比較判断プロセス
４０５ｃ 人語判断プロセス
４０５ｄ 受話／発話監視プロセス
４０５ｅ 欠落アラームプロセス
４０６ バイブレータ
４０７ ディスプレイ
４０９ バス
【特許請求の範囲】
【請求項１】
自携帯電話端末装置の利用者により入力された音声の音量と、前記携帯電話端末装置周辺の音量を含む周辺音量とを比較して、前記利用者の音声が相手側の携帯電話端末装置に正しく伝達されているか否かを判断する発話音量判断手段と、
前記発話音量判断手段の判断結果を出力する出力手段と
を有する携帯電話端末装置。
【請求項２】
前記発話音量判断手段の判断結果を前記相手側の携帯電話端末装置に出力し、当該携帯電話端末装置の利用者に前記判断結果を通知する通知手段を更に有する請求項１に記載の携帯電話端末装置。
【請求項３】
相手側の携帯電話端末装置の利用者により入力された音声を取得し、取得した音声の音量と、自携帯電話端末周辺の音量を含む周辺音量とを比較して、前記相手側の携帯電話端末装置に入力された利用者の音声が自携帯電話端末装置の利用者に正しく伝わっているか否かを判断する音量比較判断手段と、
前記音量比較判断手段の判断結果を出力する出力手段と
を有する携帯電話端末装置。
【請求項４】
前記音量比較判断手段の判断結果を前記相手側の携帯電話端末装置に出力し、当該携帯電話端末装置の利用者に前記判断結果を通知する通知手段を更に有する請求項３に記載の携帯電話端末装置。
【請求項５】
前記相手側の携帯電話端末装置から自携帯電話端末装置に入力された音声を第１の文字情報に変換する第１変換手段と、前記相手側の携帯電話端末装置から自携帯電話端末装置に入力された音声が出力された際に、出力された音声を自携帯電話端末装置周辺の周辺音と共に取得し、取得した音を第２の文字情報に変換する第２変換手段と、前記第１の文字情報と前記第２の文字情報とを比較し、比較結果に基づいて、前記相手側の携帯電話端末装置からの音声が自携帯電話端末装置の利用者に正しく伝わっているか否かを判断する判断手段を更に有する請求項３または４に記載の携帯電話端末装置。
【請求項６】
前記判断手段は、前記第１の文字情報と前記第２の文字情報とを基にして、前記第１の文字情報に存在し、かつ、前記第２の文字情報に存在しない文字情報を判断し、判断結果を前記相手側の携帯電話端末装置に通知する請求項３、４または５に記載の携帯電話端末装置。
【請求項７】
前記判断手段による判断結果を前記相手側の携帯電話端末装置および／または自携帯電話端末装置に表示する表示手段を更に有する請求項３〜６のいずれか一つに記載の携帯電話端末装置。
【請求項８】
発話と受話とが同時に行われたか否かにより、自携帯電話端末装置の利用者の音声が前記相手側の携帯電話端末装置に正しく伝達されているか否かを判断する受話／発話判断手段を更に有する請求項１〜７のいずれか一つに記載の携帯電話端末装置。
【請求項９】
前記受話／発話判断手段は、自携帯電話端末装置の利用者による音声入力が完了してから所定時間経過しても、前記相手側の携帯電話端末装置に利用者の音声が入力されない場合に、自携帯電話端末装置の利用者の音声が当該相手側の携帯電話端末装置に正しく伝達されていないと判断する請求項１〜８のいずれか一つに記載の携帯電話端末装置。
【請求項１０】
携帯電話端末装置が、
前記携帯電話端末装置の利用者により入力された音声の音量と、前記携帯電話端末装置周辺の音量を含む周辺音量とを記憶装置に記憶する記憶ステップと、
前記記憶装置に記憶された前記音声の音量と、前記周辺音量とを比較して、前記利用者の音声が相手側の携帯電話端末装置に正しく伝達されているか否かを判断する発話音量判断ステップと、
前記発話音量判断ステップの判断結果を出力する出力ステップと
を有する通話伝達の判断方法。
【請求項１】
自携帯電話端末装置の利用者により入力された音声の音量と、前記携帯電話端末装置周辺の音量を含む周辺音量とを比較して、前記利用者の音声が相手側の携帯電話端末装置に正しく伝達されているか否かを判断する発話音量判断手段と、
前記発話音量判断手段の判断結果を出力する出力手段と
を有する携帯電話端末装置。
【請求項２】
前記発話音量判断手段の判断結果を前記相手側の携帯電話端末装置に出力し、当該携帯電話端末装置の利用者に前記判断結果を通知する通知手段を更に有する請求項１に記載の携帯電話端末装置。
【請求項３】
相手側の携帯電話端末装置の利用者により入力された音声を取得し、取得した音声の音量と、自携帯電話端末周辺の音量を含む周辺音量とを比較して、前記相手側の携帯電話端末装置に入力された利用者の音声が自携帯電話端末装置の利用者に正しく伝わっているか否かを判断する音量比較判断手段と、
前記音量比較判断手段の判断結果を出力する出力手段と
を有する携帯電話端末装置。
【請求項４】
前記音量比較判断手段の判断結果を前記相手側の携帯電話端末装置に出力し、当該携帯電話端末装置の利用者に前記判断結果を通知する通知手段を更に有する請求項３に記載の携帯電話端末装置。
【請求項５】
前記相手側の携帯電話端末装置から自携帯電話端末装置に入力された音声を第１の文字情報に変換する第１変換手段と、前記相手側の携帯電話端末装置から自携帯電話端末装置に入力された音声が出力された際に、出力された音声を自携帯電話端末装置周辺の周辺音と共に取得し、取得した音を第２の文字情報に変換する第２変換手段と、前記第１の文字情報と前記第２の文字情報とを比較し、比較結果に基づいて、前記相手側の携帯電話端末装置からの音声が自携帯電話端末装置の利用者に正しく伝わっているか否かを判断する判断手段を更に有する請求項３または４に記載の携帯電話端末装置。
【請求項６】
前記判断手段は、前記第１の文字情報と前記第２の文字情報とを基にして、前記第１の文字情報に存在し、かつ、前記第２の文字情報に存在しない文字情報を判断し、判断結果を前記相手側の携帯電話端末装置に通知する請求項３、４または５に記載の携帯電話端末装置。
【請求項７】
前記判断手段による判断結果を前記相手側の携帯電話端末装置および／または自携帯電話端末装置に表示する表示手段を更に有する請求項３〜６のいずれか一つに記載の携帯電話端末装置。
【請求項８】
発話と受話とが同時に行われたか否かにより、自携帯電話端末装置の利用者の音声が前記相手側の携帯電話端末装置に正しく伝達されているか否かを判断する受話／発話判断手段を更に有する請求項１〜７のいずれか一つに記載の携帯電話端末装置。
【請求項９】
前記受話／発話判断手段は、自携帯電話端末装置の利用者による音声入力が完了してから所定時間経過しても、前記相手側の携帯電話端末装置に利用者の音声が入力されない場合に、自携帯電話端末装置の利用者の音声が当該相手側の携帯電話端末装置に正しく伝達されていないと判断する請求項１〜８のいずれか一つに記載の携帯電話端末装置。
【請求項１０】
携帯電話端末装置が、
前記携帯電話端末装置の利用者により入力された音声の音量と、前記携帯電話端末装置周辺の音量を含む周辺音量とを記憶装置に記憶する記憶ステップと、
前記記憶装置に記憶された前記音声の音量と、前記周辺音量とを比較して、前記利用者の音声が相手側の携帯電話端末装置に正しく伝達されているか否かを判断する発話音量判断ステップと、
前記発話音量判断ステップの判断結果を出力する出力ステップと
を有する通話伝達の判断方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１０−１９９７４１（Ｐ２０１０−１９９７４１Ａ）
【公開日】平成２２年９月９日（２０１０．９．９）
【国際特許分類】
【出願番号】特願２００９−３９７３６（Ｐ２００９−３９７３６）
【出願日】平成２１年２月２３日（２００９．２．２３）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成２２年９月９日（２０１０．９．９）
【国際特許分類】
【出願日】平成２１年２月２３日（２００９．２．２３）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]