聴覚障がい者支援装置およびその動作方法
【課題】視覚によらないで聴覚障がい者に非言語音声情報がもたらす感情的状態を伝える。
【解決手段】音声解析部１４が、音声によってもたらされる感情的状態を検出するとともに、同じ感情的状態をもたらすフレーム群のそれぞれにつき、フレーム群情報ならびに該当の感情的状態を示すラベルを含む音声解析結果を生成する。温度指示情報生成部１５が、音声解析結果からフレーム群情報とラベルを読み出し、温度制御情報記憶部１１からラベルを含むレコードを検索し、レコードから温度制御情報を読み出し、温度制御情報とフレーム群情報とを含む温度指示情報を生成する。温度制御情報送信部１７が、温度指示情報からフレーム群情報を読み出し、先頭のフレームが再生されるタイミングになったら、温度指示情報内の温度制御情報を聴覚障がい者装置２に送信する。
【解決手段】音声解析部１４が、音声によってもたらされる感情的状態を検出するとともに、同じ感情的状態をもたらすフレーム群のそれぞれにつき、フレーム群情報ならびに該当の感情的状態を示すラベルを含む音声解析結果を生成する。温度指示情報生成部１５が、音声解析結果からフレーム群情報とラベルを読み出し、温度制御情報記憶部１１からラベルを含むレコードを検索し、レコードから温度制御情報を読み出し、温度制御情報とフレーム群情報とを含む温度指示情報を生成する。温度制御情報送信部１７が、温度指示情報からフレーム群情報を読み出し、先頭のフレームが再生されるタイミングになったら、温度指示情報内の温度制御情報を聴覚障がい者装置２に送信する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、聴覚障がい者支援装置およびその動作方法に関するものである。
【背景技術】
【０００２】
聴覚に障がいのない人（聴者）は、映像を視聴する際、言語にならない音声情報（非言語音声情報）から映像の雰囲気や登場人物の心情を感じとっている。しかし、非言語音声情報は字幕にならないため、聴覚に障がいのある人（聴覚障がい者）には映像の雰囲気や登場人物の心情などが伝わりにくいという問題がある。
【０００３】
以上のような問題を解決するために、非言語音声情報を聴覚障がい者に伝える先行技術については、非特許文献１、２のようなものがある。
【０００４】
非特許文献１は、（ａ）字幕を発話者の近くに配置する、(ｂ) カラオケのように発話の速度に合わせて字幕をハイライトさせる、（ｃ）インジケータにより音量を提示する、以上３つの特徴をもつDynamic Captioningという字幕表示手法の提案である。
【０００５】
非特許文献２は、BGMや効果音、声のトーンなどの情報を画面上にアイコンで表示したり、字幕を色つきのフレームで囲んで表示したりするEmotive Captioningという手法の提案である。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】R. Hong、M. Wang、 M. Xu、S. Yan、and T.-S. Chua、“Dynamic Captioning: Video Accessibility Enhancement for Hearing Impairment、”ACM multimedia 2010、2010.
【非特許文献２】D.G. Lee、D.I. Fels, and J.P. Udo、“Emotive Captioning、”ACM Computers in Entertainment Vol.5、No.2、2007．
【発明の概要】
【発明が解決しようとする課題】
【０００７】
各非特許文献の技術はどちらも、非言語音声情報を伝えることで、聴覚障がい者自身の映像視聴の質を高めようとするものであり、聴覚障がい者と共に映像を視聴する聴者のことは考慮されていない。そのため、非言語音声情報を伝える手段は字幕に付随する情報として画面上に視覚的に表出されるものに限られている。これは聴覚障がい者にとっては有効な手段であるが、聴者にとっては映像を覆い隠す情報が増え煩わしく感じられる。
【０００８】
しかし、聴覚障がい者と聴者が共に生活する家庭の多くにおいて、非言語音声情報がない状態で映像を視聴する聴覚障がい者と、非言語音声情報をもって映像を視聴する聴者との間で、映像コンテンツに対する印象や理解の相違がコミュニケーションギャップにつながり、家族団らんの阻害要因となっている現状があることからも、非言語音声情報を聴覚障がい者に伝える技術は、聴覚障がい者と聴者が共に映像を視聴するシーンにこそ必要とされているといえる。
【０００９】
さらに非特許文献２においては、映像の雰囲気や登場人物の心情を表すアイコンや色つきのフレームを表示するための処理をコンテンツ制作者などの人手により行う必要がある。これには多大なコストがかかり、実際の映像コンテンツ制作の現場を考えると現実的でない。
【００１０】
本発明は、上記の課題に鑑みてなされたものであり、その目的とするところは、視覚によらないで聴覚障がい者に非言語音声情報がもたらす感情的状態を伝えられる聴覚障がい者支援装置およびその動作方法を提供することにある。
【課題を解決するための手段】
【００１１】
上記の課題を解決するために、第１の本発明の聴覚障がい者支援装置は、聴覚障がい者が触れて使用する聴覚障がい者装置とともに使用される聴覚障がい者支援装置であって、前記聴覚障がい者装置は、温度を変化させることが可能な温度可変体と、複数種類の温度制御情報のそれぞれにつき、当該温度制御情報を受信したら、前記温度可変体の温度が当該温度制御情報に応じた温度に等しくなるように前記温度可変体を制御する温度制御部とを備え、前記聴覚障がい者支援装置は、前記各温度制御情報につき、当該温度制御情報と当該温度制御情報に対応する温度に応じた感情的状態を示すラベルとを含むレコードを記憶する温度制御情報記憶部と、映像トラックと音声トラックを備えるストリームを受信するストリーム受信部と、前記ストリームの映像トラックを構成する各フレームにつき、当該フレームを再生するときに再生される音声トラックの部分により生じる音声によってもたらされる感情的状態を検出するとともに、同じ感情的状態をもたらす１以上の連続するフレームからなるフレーム群のそれぞれにつき、当該フレーム群を示すフレーム群情報ならびに当該フレーム群に該当する感情的状態を示すラベルを含む音声解析結果を生成する音声解析部と、前記各音声解析結果につき、当該音声解析結果からフレーム群情報とラベルを読み出し、前記温度制御情報記憶部から当該ラベルを含むレコードを検索し、当該レコードから温度制御情報を読み出し、当該温度制御情報と当該フレーム群情報とを含む温度指示情報を生成する温度指示情報生成部と、前記各温度指示情報につき、当該温度指示情報からフレーム群情報を読み出し、当該フレーム群情報により示されるフレーム群の先頭のフレームが再生されるタイミングになったら、当該温度指示情報内の温度制御情報を前記聴覚障がい者装置に送信する温度制御情報送信部とを備えることを特徴とする。
【００１２】
第２の本実施の形態の聴覚障がい者支援装置は、聴覚障がい者が触れて使用する聴覚障がい者装置ならびに前記聴覚障がい者が見て使用する表示装置とともに使用される聴覚障がい者支援装置であって、前記聴覚障がい者装置は、温度を変化させることが可能な温度可変体と、複数種類の温度制御情報のそれぞれにつき、該温度制御情報を受信したら、前記温度可変体の温度が当該温度制御情報に応じた温度に等しくなるように前記温度可変体を制御する温度制御部とを備え、前記表示装置は、複数種類の表示制御情報のそれぞれにつき、当該表示制御情報を受信したら、当該表示制御情報に応じた表示内容を表示するようになっており、前記聴覚障がい者支援装置は、前記各温度制御情報につき、当該温度制御情報と当該温度制御情報に対応する温度に応じた感情的状態を示すラベルとを含むレコードを記憶する温度制御情報記憶部と、前記各表示制御情報につき、当該表示制御情報と当該表示制御情報に対応する温度に応じた感情的状態を示すラベルとを含むレコードを記憶する表示制御情報記憶部と、映像トラックと音声トラックを備えるストリームを受信するストリーム受信部と、前記ストリームの映像トラックを構成する各フレームにつき、当該フレームを再生するときに再生される音声トラックの部分により生じる音声によってもたらされる感情的状態を検出するとともに、同じ感情的状態をもたらす１以上の連続するフレームからなるフレーム群のそれぞれにつき、当該フレーム群を示すフレーム群情報ならびに当該フレーム群に該当する感情的状態を示すラベルを含む音声解析結果を生成する音声解析部と、前記各音声解析結果につき、当該音声解析結果からフレーム群情報とラベルを読み出し、前記温度制御情報記憶部から当該ラベルを含むレコードを検索し、当該レコードから温度制御情報を読み出し、当該温度制御情報と当該フレーム群情報とを含む温度指示情報を生成する温度指示情報生成部と、前記各音声解析結果につき、当該音声解析結果からフレーム群情報とラベルを読み出し、前記表示制御情報記憶部から当該ラベルを含むレコードを検索し、当該レコードから表示制御情報を読み出し、当該表示制御情報と当該フレーム群情報とを含む表示指示情報を生成する表示指示情報生成部と、前記各温度指示情報につき、当該温度指示情報からフレーム群情報を読み出し、当該フレーム群情報により示されるフレーム群の先頭のフレームが再生されるタイミングになったら、当該温度指示情報内の温度制御情報を前記聴覚障がい者装置に送信する温度制御情報送信部と、前記各表示指示情報につき、当該表示指示情報からフレーム群情報を読み出し、当該フレーム群情報により示されるフレーム群の先頭のフレームが再生されるタイミングになったら、当該表示指示情報内の表示制御情報を前記表示装置に送信する表示制御情報送信部とを備えることを特徴とする。
【００１３】
第３の本発明の聴覚障がい者支援装置の動作方法は、聴覚障がい者が触れて使用する聴覚障がい者装置とともに使用される聴覚障がい者支援装置の動作方法であって、前記聴覚障がい者装置は、温度を変化させることが可能な温度可変体と、複数種類の温度制御情報のそれぞれにつき、当該温度制御情報を受信したら、前記温度可変体の温度が当該温度制御情報に応じた温度に等しくなるように前記温度可変体を制御する温度制御部とを備え、前記聴覚障がい者支援装置は、前記各温度制御情報につき、当該温度制御情報と当該温度制御情報に対応する温度に応じた感情的状態を示すラベルとを含むレコードを記憶する温度制御情報記憶部を備え、前記動作方法は、前記聴覚障がい者支援装置のストリーム受信部が、映像トラックと音声トラックを備えるストリームを受信し、前記聴覚障がい者支援装置の音声解析部が、前記ストリームの映像トラックを構成する各フレームにつき、当該フレームを再生するときに再生される音声トラックの部分により生じる音声によってもたらされる感情的状態を検出するとともに、同じ感情的状態をもたらす１以上の連続するフレームからなるフレーム群のそれぞれにつき、当該フレーム群を示すフレーム群情報ならびに当該フレーム群に該当する感情的状態を示すラベルを含む音声解析結果を生成し、前記聴覚障がい者支援装置の温度指示情報生成部が、前記各音声解析結果につき、当該音声解析結果からフレーム群情報とラベルを読み出し、前記温度制御情報記憶部から当該ラベルを含むレコードを検索し、当該レコードから温度制御情報を読み出し、当該温度制御情報と当該フレーム群情報とを含む温度指示情報を生成し、前記聴覚障がい者支援装置の温度制御情報送信部が、前記各温度指示情報につき、当該温度指示情報からフレーム群情報を読み出し、当該フレーム群情報により示されるフレーム群の先頭のフレームが再生されるタイミングになったら、当該温度指示情報内の温度制御情報を前記聴覚障がい者装置に送信することを特徴とする。
【００１４】
第４の本発明の聴覚障がい者支援装置の動作方法は、聴覚障がい者が触れて使用する聴覚障がい者装置ならびに前記聴覚障がい者が見て使用する表示装置とともに使用される聴覚障がい者支援装置の動作方法であって、前記聴覚障がい者装置は、温度を変化させることが可能な温度可変体と、複数種類の温度制御情報のそれぞれにつき、該温度制御情報を受信したら、前記温度可変体の温度が当該温度制御情報に応じた温度に等しくなるように前記温度可変体を制御する温度制御部とを備え、前記表示装置は、複数種類の表示制御情報のそれぞれにつき、当該表示制御情報を受信したら、当該表示制御情報に応じた表示内容を表示するようになっており、前記聴覚障がい者支援装置は、前記各温度制御情報につき、当該温度制御情報と当該温度制御情報に対応する温度に応じた感情的状態を示すラベルとを含むレコードを記憶する温度制御情報記憶部と、前記各表示制御情報につき、当該表示制御情報と当該表示制御情報に対応する温度に応じた感情的状態を示すラベルとを含むレコードを記憶する表示制御情報記憶部とを備え、前記動作方法は、前記聴覚障がい者支援装置のストリーム受信部が、映像トラックと音声トラックを備えるストリームを受信し、前記聴覚障がい者支援装置の音声解析部が、前記ストリームの映像トラックを構成する各フレームにつき、当該フレームを再生するときに再生される音声トラックの部分により生じる音声によってもたらされる感情的状態を検出するとともに、同じ感情的状態をもたらす１以上の連続するフレームからなるフレーム群のそれぞれにつき、当該フレーム群を示すフレーム群情報ならびに当該フレーム群に該当する感情的状態を示すラベルを含む音声解析結果を生成し、前記聴覚障がい者支援装置の温度指示情報生成部が、前記各音声解析結果につき、当該音声解析結果からフレーム群情報とラベルを読み出し、前記温度制御情報記憶部から当該ラベルを含むレコードを検索し、当該レコードから温度制御情報を読み出し、当該温度制御情報と当該フレーム群情報とを含む温度指示情報を生成し、前記聴覚障がい者支援装置の表示指示情報生成部が、前記各音声解析結果につき、当該音声解析結果からフレーム群情報とラベルを読み出し、前記表示制御情報記憶部から当該ラベルを含むレコードを検索し、当該レコードから表示制御情報を読み出し、当該表示制御情報と当該フレーム群情報とを含む表示指示情報を生成し、前記聴覚障がい者支援装置の温度制御情報送信部が、前記各温度指示情報につき、当該温度指示情報からフレーム群情報を読み出し、当該フレーム群情報により示されるフレーム群の先頭のフレームが再生されるタイミングになったら、当該温度指示情報内の温度制御情報を前記聴覚障がい者装置に送信し、前記聴覚障がい者支援装置の表示制御情報送信部が、前記各表示指示情報につき、当該表示指示情報からフレーム群情報を読み出し、当該フレーム群情報により示されるフレーム群の先頭のフレームが再生されるタイミングになったら、当該表示指示情報内の表示制御情報を前記表示装置に送信することを特徴とする。
【発明の効果】
【００１５】
本発明の聴覚障がい者支援装置およびその動作方法によれば、視覚によらないで聴覚障がい者に非言語音声情報がもたらす感情的状態を伝えることができる。
【図面の簡単な説明】
【００１６】
【図１】本実施の形態に係る聴覚障がい者支援装置を含む聴覚障がい者支援システムの構成図である。
【図２】温度制御情報記憶部１１の構成の一例を示す図である。
【図３】表示制御情報記憶部１２の構成の一例を示す図である。
【図４】音声解析部１４が感情的状態を検出する仕組みを示す図である。
【図５】音声解析部１４により生成される音声解析結果の一例を示す図である。
【図６】温度指示情報生成部１５により生成される温度指示情報の一例を示す図である。
【図７】表示指示情報生成部１６により生成される表示指示情報の一例を示す図である。
【図８】温度制御情報送信部１７の動作の流れを示すフローチャートである。
【図９】表示制御情報送信部１８の動作の流れを示すフローチャートである。
【図１０】表示制御情報により表示されるアイコンを含む映像、音声信号により再生される音声、および聴覚障がい者装置２（温度可変体２１）の温度推移の一例を示す図である。
【発明を実施するための形態】
【００１７】
以下、本発明の実施の形態について図面を参照して説明する。
【００１８】
図１は、本実施の形態に係る聴覚障がい者支援装置を含む聴覚障がい者支援システムの構成図である。
【００１９】
聴覚障がい者支援システムは、聴覚障がい者支援装置１、聴覚障がい者装置２、表示装置３およびスピーカ４を含む構成である。
【００２０】
聴覚障がい者装置２は、聴覚障がい者が触れて使用するものであり、表示装置３は、聴覚障がい者が見て使用するものであり、スピーカ４は、聴覚障がい者とともに映像を見る聴覚に障がいのない人（聴者）に音声を聞かせるためのものである。
【００２１】
聴覚障がい者装置２は、温度を変化させることが可能な温度可変体２１と、複数種類の温度制御情報のそれぞれにつき、温度制御情報を受信したら、温度可変体２１の温度が温度制御情報に応じた温度に等しくなるように温度可変体２１を制御する温度制御部２２とを備える。温度可変体２１としては、例えば、ニクロム線などが考えられる。
【００２２】
表示装置３は、映像トラックと音声トラックを備えるストリームから取り出された映像トラックにより映像を表示し、さらに、複数種類の表示制御情報のそれぞれにつき、表示制御情報を受信したら、表示制御情報に応じた表示内容を表示するようになっている。
【００２３】
スピーカ４は、音声トラックから変換された音声信号により音声を再生するようになっている。
【００２４】
聴覚障がい者支援装置１は、聴覚障がい者装置２に送信する温度制御情報が予め記憶される温度制御情報記憶部１１と、表示装置３に送信する表示制御情報が予め記憶される表示制御情報記憶部１２と、映像トラックと音声トラックを備えるストリームを受信するストリーム受信部１３と、ストリームの音声トラックを解析する音声解析部１４と、聴覚障がい者装置２に送信する温度制御情報を含む温度指示情報を生成する温度指示情報生成部１５と、表示装置３に送信する表示制御情報を含む表示指示情報を生成する表示指示情報生成部１６と、温度指示情報内の温度制御情報を聴覚障がい者装置２に送信する温度制御情報送信部１７と、表示指示情報内の表示制御情報を表示装置３に送信する表示制御情報送信部１８と、映像トラックを表示装置３に送信する映像送信部１９と、音声トラックを音声信号を変換してスピーカ４に送信する音声送信部１０１とを備える。
【００２５】
図２は、温度制御情報記憶部１１の構成の一例を示す図である。
【００２６】
温度制御情報記憶部１１には、各温度制御情報につき、温度制御情報と温度制御情報に対応する温度に応じた感情的状態を示すラベルとを含むレコードが記憶されている。
【００２７】
同図では、温度制御情報は、例えば、目標の温度を示す引数を含むプログラム名（例えば、Ｐ（ｗａｒｍ））であるが、ここでは便宜的に「あたたかい」のように表現している。以降も便宜的にこのような表現を用いる。
【００２８】
温度制御情報「あたたかい」を含むレコードは、ラベル「１」つまり、ここでは感情的状態「喜び」を示すラベルを含んでいる。温度制御情報「熱い」を含むレコードは、ラベル「２」つまり、ここでは感情的状態「怒り」を示すラベルを含んでいる。温度制御情報「冷たい」を含むレコードは、ラベル「３」つまり、ここでは感情的状態「哀しみ」を示すラベルを含んでいる。温度制御情報「ふつう」を含むレコードは、ラベル「８」つまり、ここでは感情的状態「平静」を示すラベルを含んでいる。
【００２９】
図示しないが、その他のレコードは、感情的状態「恐怖」、「驚き」、「焦り」などを示すラベルとラベル対応する温度制御情報とを含んでいる。
【００３０】
図３は、表示制御情報記憶部１２の構成の一例を示す図である。
【００３１】
表示制御情報記憶部１２には、各表示制御情報につき、表示制御情報と表示制御情報に対応する表示内容に応じた感情的状態を示すラベルとを含むレコードが記憶されている。
【００３２】
同図では、表示制御情報は、例えば、表示すべきアイコン（人間の顔に似せた画像）のファイル名（Ｓｍｉｌｅ.ｇｉｆなど）を含むものであるが、ここでは便宜的に「笑顔」のように表現している。以降も便宜的にこのような表現を用いる。
【００３３】
表示制御情報「笑顔」を含むレコードは、ラベル「１」つまり、ここでは感情的状態「喜び」を示すラベルを含んでいる。表示制御情報「怒っている顔」を含むレコードは、ラベル「２」つまり、ここでは感情的状態「怒り」を示すラベルを含んでいる。表示制御情報「泣き顔」を含むレコードは、ラベル「３」つまり、ここでは感情的状態「哀しみ」を示すラベルを含んでいる。表示制御情報「ふつうの顔」を含むレコードは、ラベル「８」つまり、ここでは感情的状態「平静」を示すラベルを含んでいる。
【００３４】
図示しないが、その他のレコードは、感情的状態「恐怖」、「驚き」、「焦り」などを示すラベルとラベル対応する表示制御情報とを含んでいる。
【００３５】
（聴覚障がい者支援システムの動作）
次に、聴覚障がい者支援システムの動作について詳しくを説明する。
【００３６】
まず、ストリーム受信部１３は、映像トラックと音声トラックを備えるストリームを受信する。音声解析部１４は、ストリーム受信部１３から音声トラックを受信する。映像送信部１９は、ストリーム受信部１３から映像トラックを受信し、表示装置３へ送信する。音声送信部１０１は、ストリーム受信部１３から音声トラックを受信し、音声信号に変換し、スピーカ４へ送信する。
【００３７】
表示装置３は、映像トラックを受信し、映像トラックにより映像を表示する。スピーカ４は、音声信号を受信し、音声信号により音声を再生する。
【００３８】
音声解析部１４は、映像トラックを構成する各フレームにつき、フレームを再生するときに再生される音声トラックの部分により生じる音声によってもたらされる感情的状態を検出し、同一の感情的状態が継続するフレーム区間に、その感情的状態のラベルを割り当てる。感情的状態の検出は、例えば、国際公開番号WO2008/032787の技術によって行うことが可能である。音声解析部１４は、まず、フレームを再生するときに再生される音声トラックの部分とフレームを対応づける情報をストリームから取得し、これにより、音声トラックのどの部分がどのフレームに対応するかを認識する。
【００３９】
図４は、音声解析部１４が感情的状態を検出する仕組みを示す図であり、図５は、音声解析部１４により生成される音声解析結果の一例を示す図である。
【００４０】
音声解析部１４は、各フレームにつき、フレームを再生するときに再生される音声トラックの部分により生じる音声によってもたらされる感情的状態「喜び」の大きさを示す値を求め、その他の感情的状態「怒り」、「哀しみ」等についても同様に値を求める。
【００４１】
音声解析部１４は、次に、各フレームにつき、各感情的状態の大きさを示す値の最大値を求める。つまり、音声解析部１４は、各フレームにつき、フレームに対応する音声は、最大値に対応する感情的状態をもたらすと判定する。
【００４２】
音声解析部１４は、次に、同じ感情的状態をもたらす１以上の連続するフレームからなるフレーム群のそれぞれにつき、フレーム群を示すフレーム群情報ならびにフレーム群に該当する感情的状態を示すラベルを含む音声解析結果を生成する。
【００４３】
音声解析部１４は、例えば、連続するフレーム１〜３５１の中の各フレームにつき、感情的状態「喜び」を示す値が最大値だったなら、フレーム１〜３５１を示すフレーム群情報ならびに感情的状態「喜び」を示すラベル「１」とを含む音声解析結果を生成する。
【００４４】
音声解析部１４は、例えば、連続するフレーム３５２〜９１１の中の各フレームにつき、感情的状態「怒り」を示す値が最大値だったなら、フレーム３５２〜９１１を示すフレーム群情報ならびに感情的状態「怒り」を示すラベル「２」とを含む音声解析結果を生成する。
【００４５】
温度指示情報生成部１５は、音声解析部１４から各音声解析結果を受信し、音声解析結果からフレーム群情報とラベルを読み出し、温度制御情報記憶部１１からこのラベルを含むレコードを検索し、レコードから温度制御情報を読み出し、温度制御情報とこのフレーム群情報とを含む温度指示情報を生成する。
【００４６】
図６は、温度指示情報生成部１５により生成される温度指示情報の一例を示す図である。
【００４７】
温度指示情報生成部１５は、例えば、フレーム１〜３５１を示すフレーム群情報ならびに感情的状態「喜び」を示すラベル「１」とを含む音声解析結果からフレーム群情報とラベル「１」を読み出し、温度制御情報記憶部１１からラベル「１」を含むレコードを検索し、レコードから温度制御情報「あたたかい」を読み出し、温度制御情報「あたたかい」とフレーム１〜３５１を示すフレーム群情報とを含む温度指示情報を生成する。
【００４８】
温度指示情報生成部１５は、例えば、フレーム３５２〜９１１を示すフレーム群情報ならびに感情的状態「怒り」を示すラベル「２」とを含む音声解析結果からフレーム群情報とラベル「２」を読み出し、温度制御情報記憶部１１からラベル「２」を含むレコードを検索し、レコードから温度制御情報「熱い」を読み出し、温度制御情報「熱い」とフレーム３５２〜９１１を示すフレーム群情報とを含む温度指示情報を生成する。
【００４９】
一方、表示指示情報生成部１６は、音声解析部１４から各音声解析結果を受信し、音声解析結果からフレーム群情報とラベルを読み出し、表示制御情報記憶部１２からこのラベルを含むレコードを検索し、レコードから表示制御情報を読み出し、表示制御情報とこのフレーム群情報とを含む表示指示情報を生成する。
【００５０】
図７は、表示指示情報生成部１６により生成される表示指示情報の一例を示す図である。
【００５１】
表示指示情報生成部１６は、例えば、フレーム１〜３５１を示すフレーム群情報ならびに感情的状態「喜び」を示すラベル「１」とを含む音声解析結果からフレーム群情報とラベル「１」を読み出し、表示制御情報記憶部１２からラベル「１」を含むレコードを検索し、レコードから表示制御情報「笑顔」を読み出し、表示制御情報「笑顔」とフレーム１〜３５１を示すフレーム群情報とを含む表示指示情報を生成する。
【００５２】
表示指示情報生成部１６は、例えば、フレーム３５２〜９１１を示すフレーム群情報ならびに感情的状態「怒り」を示すラベル「２」とを含む音声解析結果からフレーム群情報とラベル「２」を読み出し、表示制御情報記憶部１２からラベル「２」を含むレコードを検索し、レコードから表示制御情報「怒っている顔」を読み出し、表示制御情報「怒っている顔」とフレーム３５２〜９１１を示すフレーム群情報とを含む表示指示情報を生成する。
【００５３】
温度制御情報送信部１７は、温度指示情報生成部１５から各温度指示情報を受信し、温度指示情報からフレーム群情報を読み出し、例えば、映像送信部１９から送信される映像トラックを監視し、フレーム群情報により示されるフレーム群の先頭のフレームが再生されるタイミングになったら、温度指示情報内の温度制御情報を聴覚障がい者装置２に送信する。
【００５４】
図８は、温度制御情報送信部１７の動作の流れを示すフローチャートである。
【００５５】
温度制御情報送信部１７は、映像トラックの先頭フレームを含むフレーム群を示すフレーム群情報を含む温度指示情報を選択し、フレーム群情報を読み出す（Ｓ１）。温度制御情報送信部１７は、読み出したフレーム群情報により示されるフレーム群の先頭のフレームが再生されるタイミングになったか否かを判定する（Ｓ３）。温度制御情報送信部１７は、このタイミングになったなら（Ｓ３：ＹＥＳ）、選択した温度指示情報内の温度制御情報を聴覚障がい者装置２に送信する（Ｓ５）。温度制御情報送信部１７は、次に、このフレーム群を除く映像トラックの先頭フレームを含むフレーム群を示すフレーム群情報を含む温度指示情報を選択し、フレーム群情報を読み出す（Ｓ１）。以降、温度制御情報送信部１７は、同様に処理を行う。
【００５６】
聴覚障がい者装置２の温度制御部２２は、温度制御情報送信部１７から温度制御情報を受信したら、温度可変体２１の温度が温度制御情報に応じた温度に等しくなるように温度可変体２１を制御する。
【００５７】
一方、表示制御情報送信部１８は、表示指示情報生成部１６から各表示指示情報を受信し、表示指示情報からフレーム群情報を読み出し、例えば、映像送信部１９から送信される映像トラックを監視し、フレーム群情報により示されるフレーム群の先頭のフレームが再生されるタイミングになったら、表示指示情報内の表示制御情報を表示装置３に送信する。
【００５８】
図９は、表示制御情報送信部１８の動作の流れを示すフローチャートである。
【００５９】
表示制御情報送信部１８は、映像トラックの先頭フレームを含むフレーム群を示すフレーム群情報を含む表示指示情報を選択し、フレーム群情報を読み出す（Ｓ１１）。表示制御情報送信部１８は、読み出したフレーム群情報により示されるフレーム群の先頭のフレームが再生されるタイミングになったか否かを判定する（Ｓ１３）。表示制御情報送信部１８は、このタイミングになったなら（Ｓ１３：ＹＥＳ１）、選択した表示指示情報内の表示制御情報を聴覚障がい者装置２に送信する（Ｓ１５）。表示制御情報送信部１８は、次に、このフレーム群を除く映像トラックの先頭フレームを含むフレーム群を示すフレーム群情報を含む表示指示情報を選択し、フレーム群情報を読み出す（Ｓ１１）。以降、表示制御情報送信部１８は、同様に処理を行う。
【００６０】
表示装置３は、表示制御情報送信部１８から表示制御情報を受信したら、表示されている映像に重ねて、表示制御情報に応じた表示内容（例えばアイコン）を表示する。
【００６１】
図１０は、表示制御情報により表示されるアイコンを含む映像、音声信号により再生される音声、および聴覚障がい者装置２（温度可変体２１）の温度推移の一例を示す図である。
【００６２】
フレーム１〜３５１の期間では、映像には、例えば、風景が表示される。また、フレーム３５２〜９１１の期間でも、同様に、映像には風景が表示される。
【００６３】
また、フレーム１〜３５１の期間では、音声は、鳥のさえずりである。ところが、フレーム３５２〜９１１の期間では、音声は、雷鳴になる。
【００６４】
聴覚障がい者とともに映像を見る聴者は、音声の変化を認識し、フレーム３５２〜９１１の期間では、「なにかが起こるかもしれない」のように感じる。
【００６５】
一方、聴覚障がい者は、このような映像のみでは、音声の変化を認識できず、フレーム１〜３５１の期間と同様に、フレーム３５２〜９１１の期間でも、「のどかな風景だな」のように感じてしまう。
【００６６】
しかし、本実施の形態では、フレーム１〜３５１の期間では、聴覚障がい者装置２（温度可変体２１）の温度は、例えば、３８°Ｃに制御され、フレーム３５２〜９１１の期間では、温度は、例えば、４２°Ｃに制御される。
【００６７】
よって、聴覚障がい者は、フレーム３５２〜９１１の期間において、例えば、聴者と同様に、「なにかが起こるかもしれない」のように感じることができる。
【００６８】
また、本実施の形態では、フレーム１〜３５１の期間では、笑顔のアイコンが表示され、フレーム３５２〜９１１の期間では、怒っている顔のアイコンが表示される。
【００６９】
よって、聴覚障がい者は、フレーム３５２〜９１１の期間において、例えば、聴者と同様な感情を、より強く感じることができる。
【００７０】
したがって、本実施の形態によれば、「（鳥のさえずり）」、「（雷鳴）」のような字幕を表示させることなく、聴覚障がい者に対し、このような非言語音声情報がもたらす感情的状態をリアルタイムに伝えることができる。
【００７１】
一方、聴者に対しては、このような非言語音声情報が音声によりリアルタイムに伝わる。非言語音声情報は、聴覚障がい者にも聴者にもリアルタイムに伝わるので、両者は、同じタイミングで同じ感情をもつことができ、よって、いわゆる両者のコミュニケーションギャップを埋め、コミュニケーションを円滑にすることができる。
【００７２】
なお、本実施の形態では、アイコンを表示するようにしたが、これは必須でなく、聴覚障がい者装置２の温度制御のみを行ってもよい。この場合、表示指示情報生成部１６および表示制御情報送信部１８は不要である。
【００７３】
また、本実施の形態では、聴覚障がい者とともに映像を見る聴者を想定して、音声を再生したが、聴覚障がい者だけの場合などにおいては、音声を再生しなくてもよい。この場合、スピーカ４、音声送信部１０１は不要である。
【００７４】
また、聴覚障がい者支援装置１としてコンピュータを機能させるためのコンピュータプログラムは、半導体メモリ、磁気ディスク、光ディスク、光磁気ディスク、磁気テープなどのコンピュータ読み取り可能な記録媒体に記録でき、また、インターネットなどの通信網を介して伝送させて、広く流通させることができる。
【符号の説明】
【００７５】
１…聴覚障がい者支援装置
２…聴覚障がい者装置
３…表示装置
４…スピーカ
１１…温度制御情報記憶部
１２…表示制御情報記憶部
１３…ストリーム受信部
１４…音声解析部
１５…温度指示情報生成部
１６…表示指示情報生成部
１７…温度制御情報送信部
１８…表示制御情報送信部
１９…映像送信部
２１…温度可変体
２２…温度制御部
１０１…音声送信部
【技術分野】
【０００１】
本発明は、聴覚障がい者支援装置およびその動作方法に関するものである。
【背景技術】
【０００２】
聴覚に障がいのない人（聴者）は、映像を視聴する際、言語にならない音声情報（非言語音声情報）から映像の雰囲気や登場人物の心情を感じとっている。しかし、非言語音声情報は字幕にならないため、聴覚に障がいのある人（聴覚障がい者）には映像の雰囲気や登場人物の心情などが伝わりにくいという問題がある。
【０００３】
以上のような問題を解決するために、非言語音声情報を聴覚障がい者に伝える先行技術については、非特許文献１、２のようなものがある。
【０００４】
非特許文献１は、（ａ）字幕を発話者の近くに配置する、(ｂ) カラオケのように発話の速度に合わせて字幕をハイライトさせる、（ｃ）インジケータにより音量を提示する、以上３つの特徴をもつDynamic Captioningという字幕表示手法の提案である。
【０００５】
非特許文献２は、BGMや効果音、声のトーンなどの情報を画面上にアイコンで表示したり、字幕を色つきのフレームで囲んで表示したりするEmotive Captioningという手法の提案である。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】R. Hong、M. Wang、 M. Xu、S. Yan、and T.-S. Chua、“Dynamic Captioning: Video Accessibility Enhancement for Hearing Impairment、”ACM multimedia 2010、2010.
【非特許文献２】D.G. Lee、D.I. Fels, and J.P. Udo、“Emotive Captioning、”ACM Computers in Entertainment Vol.5、No.2、2007．
【発明の概要】
【発明が解決しようとする課題】
【０００７】
各非特許文献の技術はどちらも、非言語音声情報を伝えることで、聴覚障がい者自身の映像視聴の質を高めようとするものであり、聴覚障がい者と共に映像を視聴する聴者のことは考慮されていない。そのため、非言語音声情報を伝える手段は字幕に付随する情報として画面上に視覚的に表出されるものに限られている。これは聴覚障がい者にとっては有効な手段であるが、聴者にとっては映像を覆い隠す情報が増え煩わしく感じられる。
【０００８】
しかし、聴覚障がい者と聴者が共に生活する家庭の多くにおいて、非言語音声情報がない状態で映像を視聴する聴覚障がい者と、非言語音声情報をもって映像を視聴する聴者との間で、映像コンテンツに対する印象や理解の相違がコミュニケーションギャップにつながり、家族団らんの阻害要因となっている現状があることからも、非言語音声情報を聴覚障がい者に伝える技術は、聴覚障がい者と聴者が共に映像を視聴するシーンにこそ必要とされているといえる。
【０００９】
さらに非特許文献２においては、映像の雰囲気や登場人物の心情を表すアイコンや色つきのフレームを表示するための処理をコンテンツ制作者などの人手により行う必要がある。これには多大なコストがかかり、実際の映像コンテンツ制作の現場を考えると現実的でない。
【００１０】
本発明は、上記の課題に鑑みてなされたものであり、その目的とするところは、視覚によらないで聴覚障がい者に非言語音声情報がもたらす感情的状態を伝えられる聴覚障がい者支援装置およびその動作方法を提供することにある。
【課題を解決するための手段】
【００１１】
上記の課題を解決するために、第１の本発明の聴覚障がい者支援装置は、聴覚障がい者が触れて使用する聴覚障がい者装置とともに使用される聴覚障がい者支援装置であって、前記聴覚障がい者装置は、温度を変化させることが可能な温度可変体と、複数種類の温度制御情報のそれぞれにつき、当該温度制御情報を受信したら、前記温度可変体の温度が当該温度制御情報に応じた温度に等しくなるように前記温度可変体を制御する温度制御部とを備え、前記聴覚障がい者支援装置は、前記各温度制御情報につき、当該温度制御情報と当該温度制御情報に対応する温度に応じた感情的状態を示すラベルとを含むレコードを記憶する温度制御情報記憶部と、映像トラックと音声トラックを備えるストリームを受信するストリーム受信部と、前記ストリームの映像トラックを構成する各フレームにつき、当該フレームを再生するときに再生される音声トラックの部分により生じる音声によってもたらされる感情的状態を検出するとともに、同じ感情的状態をもたらす１以上の連続するフレームからなるフレーム群のそれぞれにつき、当該フレーム群を示すフレーム群情報ならびに当該フレーム群に該当する感情的状態を示すラベルを含む音声解析結果を生成する音声解析部と、前記各音声解析結果につき、当該音声解析結果からフレーム群情報とラベルを読み出し、前記温度制御情報記憶部から当該ラベルを含むレコードを検索し、当該レコードから温度制御情報を読み出し、当該温度制御情報と当該フレーム群情報とを含む温度指示情報を生成する温度指示情報生成部と、前記各温度指示情報につき、当該温度指示情報からフレーム群情報を読み出し、当該フレーム群情報により示されるフレーム群の先頭のフレームが再生されるタイミングになったら、当該温度指示情報内の温度制御情報を前記聴覚障がい者装置に送信する温度制御情報送信部とを備えることを特徴とする。
【００１２】
第２の本実施の形態の聴覚障がい者支援装置は、聴覚障がい者が触れて使用する聴覚障がい者装置ならびに前記聴覚障がい者が見て使用する表示装置とともに使用される聴覚障がい者支援装置であって、前記聴覚障がい者装置は、温度を変化させることが可能な温度可変体と、複数種類の温度制御情報のそれぞれにつき、該温度制御情報を受信したら、前記温度可変体の温度が当該温度制御情報に応じた温度に等しくなるように前記温度可変体を制御する温度制御部とを備え、前記表示装置は、複数種類の表示制御情報のそれぞれにつき、当該表示制御情報を受信したら、当該表示制御情報に応じた表示内容を表示するようになっており、前記聴覚障がい者支援装置は、前記各温度制御情報につき、当該温度制御情報と当該温度制御情報に対応する温度に応じた感情的状態を示すラベルとを含むレコードを記憶する温度制御情報記憶部と、前記各表示制御情報につき、当該表示制御情報と当該表示制御情報に対応する温度に応じた感情的状態を示すラベルとを含むレコードを記憶する表示制御情報記憶部と、映像トラックと音声トラックを備えるストリームを受信するストリーム受信部と、前記ストリームの映像トラックを構成する各フレームにつき、当該フレームを再生するときに再生される音声トラックの部分により生じる音声によってもたらされる感情的状態を検出するとともに、同じ感情的状態をもたらす１以上の連続するフレームからなるフレーム群のそれぞれにつき、当該フレーム群を示すフレーム群情報ならびに当該フレーム群に該当する感情的状態を示すラベルを含む音声解析結果を生成する音声解析部と、前記各音声解析結果につき、当該音声解析結果からフレーム群情報とラベルを読み出し、前記温度制御情報記憶部から当該ラベルを含むレコードを検索し、当該レコードから温度制御情報を読み出し、当該温度制御情報と当該フレーム群情報とを含む温度指示情報を生成する温度指示情報生成部と、前記各音声解析結果につき、当該音声解析結果からフレーム群情報とラベルを読み出し、前記表示制御情報記憶部から当該ラベルを含むレコードを検索し、当該レコードから表示制御情報を読み出し、当該表示制御情報と当該フレーム群情報とを含む表示指示情報を生成する表示指示情報生成部と、前記各温度指示情報につき、当該温度指示情報からフレーム群情報を読み出し、当該フレーム群情報により示されるフレーム群の先頭のフレームが再生されるタイミングになったら、当該温度指示情報内の温度制御情報を前記聴覚障がい者装置に送信する温度制御情報送信部と、前記各表示指示情報につき、当該表示指示情報からフレーム群情報を読み出し、当該フレーム群情報により示されるフレーム群の先頭のフレームが再生されるタイミングになったら、当該表示指示情報内の表示制御情報を前記表示装置に送信する表示制御情報送信部とを備えることを特徴とする。
【００１３】
第３の本発明の聴覚障がい者支援装置の動作方法は、聴覚障がい者が触れて使用する聴覚障がい者装置とともに使用される聴覚障がい者支援装置の動作方法であって、前記聴覚障がい者装置は、温度を変化させることが可能な温度可変体と、複数種類の温度制御情報のそれぞれにつき、当該温度制御情報を受信したら、前記温度可変体の温度が当該温度制御情報に応じた温度に等しくなるように前記温度可変体を制御する温度制御部とを備え、前記聴覚障がい者支援装置は、前記各温度制御情報につき、当該温度制御情報と当該温度制御情報に対応する温度に応じた感情的状態を示すラベルとを含むレコードを記憶する温度制御情報記憶部を備え、前記動作方法は、前記聴覚障がい者支援装置のストリーム受信部が、映像トラックと音声トラックを備えるストリームを受信し、前記聴覚障がい者支援装置の音声解析部が、前記ストリームの映像トラックを構成する各フレームにつき、当該フレームを再生するときに再生される音声トラックの部分により生じる音声によってもたらされる感情的状態を検出するとともに、同じ感情的状態をもたらす１以上の連続するフレームからなるフレーム群のそれぞれにつき、当該フレーム群を示すフレーム群情報ならびに当該フレーム群に該当する感情的状態を示すラベルを含む音声解析結果を生成し、前記聴覚障がい者支援装置の温度指示情報生成部が、前記各音声解析結果につき、当該音声解析結果からフレーム群情報とラベルを読み出し、前記温度制御情報記憶部から当該ラベルを含むレコードを検索し、当該レコードから温度制御情報を読み出し、当該温度制御情報と当該フレーム群情報とを含む温度指示情報を生成し、前記聴覚障がい者支援装置の温度制御情報送信部が、前記各温度指示情報につき、当該温度指示情報からフレーム群情報を読み出し、当該フレーム群情報により示されるフレーム群の先頭のフレームが再生されるタイミングになったら、当該温度指示情報内の温度制御情報を前記聴覚障がい者装置に送信することを特徴とする。
【００１４】
第４の本発明の聴覚障がい者支援装置の動作方法は、聴覚障がい者が触れて使用する聴覚障がい者装置ならびに前記聴覚障がい者が見て使用する表示装置とともに使用される聴覚障がい者支援装置の動作方法であって、前記聴覚障がい者装置は、温度を変化させることが可能な温度可変体と、複数種類の温度制御情報のそれぞれにつき、該温度制御情報を受信したら、前記温度可変体の温度が当該温度制御情報に応じた温度に等しくなるように前記温度可変体を制御する温度制御部とを備え、前記表示装置は、複数種類の表示制御情報のそれぞれにつき、当該表示制御情報を受信したら、当該表示制御情報に応じた表示内容を表示するようになっており、前記聴覚障がい者支援装置は、前記各温度制御情報につき、当該温度制御情報と当該温度制御情報に対応する温度に応じた感情的状態を示すラベルとを含むレコードを記憶する温度制御情報記憶部と、前記各表示制御情報につき、当該表示制御情報と当該表示制御情報に対応する温度に応じた感情的状態を示すラベルとを含むレコードを記憶する表示制御情報記憶部とを備え、前記動作方法は、前記聴覚障がい者支援装置のストリーム受信部が、映像トラックと音声トラックを備えるストリームを受信し、前記聴覚障がい者支援装置の音声解析部が、前記ストリームの映像トラックを構成する各フレームにつき、当該フレームを再生するときに再生される音声トラックの部分により生じる音声によってもたらされる感情的状態を検出するとともに、同じ感情的状態をもたらす１以上の連続するフレームからなるフレーム群のそれぞれにつき、当該フレーム群を示すフレーム群情報ならびに当該フレーム群に該当する感情的状態を示すラベルを含む音声解析結果を生成し、前記聴覚障がい者支援装置の温度指示情報生成部が、前記各音声解析結果につき、当該音声解析結果からフレーム群情報とラベルを読み出し、前記温度制御情報記憶部から当該ラベルを含むレコードを検索し、当該レコードから温度制御情報を読み出し、当該温度制御情報と当該フレーム群情報とを含む温度指示情報を生成し、前記聴覚障がい者支援装置の表示指示情報生成部が、前記各音声解析結果につき、当該音声解析結果からフレーム群情報とラベルを読み出し、前記表示制御情報記憶部から当該ラベルを含むレコードを検索し、当該レコードから表示制御情報を読み出し、当該表示制御情報と当該フレーム群情報とを含む表示指示情報を生成し、前記聴覚障がい者支援装置の温度制御情報送信部が、前記各温度指示情報につき、当該温度指示情報からフレーム群情報を読み出し、当該フレーム群情報により示されるフレーム群の先頭のフレームが再生されるタイミングになったら、当該温度指示情報内の温度制御情報を前記聴覚障がい者装置に送信し、前記聴覚障がい者支援装置の表示制御情報送信部が、前記各表示指示情報につき、当該表示指示情報からフレーム群情報を読み出し、当該フレーム群情報により示されるフレーム群の先頭のフレームが再生されるタイミングになったら、当該表示指示情報内の表示制御情報を前記表示装置に送信することを特徴とする。
【発明の効果】
【００１５】
本発明の聴覚障がい者支援装置およびその動作方法によれば、視覚によらないで聴覚障がい者に非言語音声情報がもたらす感情的状態を伝えることができる。
【図面の簡単な説明】
【００１６】
【図１】本実施の形態に係る聴覚障がい者支援装置を含む聴覚障がい者支援システムの構成図である。
【図２】温度制御情報記憶部１１の構成の一例を示す図である。
【図３】表示制御情報記憶部１２の構成の一例を示す図である。
【図４】音声解析部１４が感情的状態を検出する仕組みを示す図である。
【図５】音声解析部１４により生成される音声解析結果の一例を示す図である。
【図６】温度指示情報生成部１５により生成される温度指示情報の一例を示す図である。
【図７】表示指示情報生成部１６により生成される表示指示情報の一例を示す図である。
【図８】温度制御情報送信部１７の動作の流れを示すフローチャートである。
【図９】表示制御情報送信部１８の動作の流れを示すフローチャートである。
【図１０】表示制御情報により表示されるアイコンを含む映像、音声信号により再生される音声、および聴覚障がい者装置２（温度可変体２１）の温度推移の一例を示す図である。
【発明を実施するための形態】
【００１７】
以下、本発明の実施の形態について図面を参照して説明する。
【００１８】
図１は、本実施の形態に係る聴覚障がい者支援装置を含む聴覚障がい者支援システムの構成図である。
【００１９】
聴覚障がい者支援システムは、聴覚障がい者支援装置１、聴覚障がい者装置２、表示装置３およびスピーカ４を含む構成である。
【００２０】
聴覚障がい者装置２は、聴覚障がい者が触れて使用するものであり、表示装置３は、聴覚障がい者が見て使用するものであり、スピーカ４は、聴覚障がい者とともに映像を見る聴覚に障がいのない人（聴者）に音声を聞かせるためのものである。
【００２１】
聴覚障がい者装置２は、温度を変化させることが可能な温度可変体２１と、複数種類の温度制御情報のそれぞれにつき、温度制御情報を受信したら、温度可変体２１の温度が温度制御情報に応じた温度に等しくなるように温度可変体２１を制御する温度制御部２２とを備える。温度可変体２１としては、例えば、ニクロム線などが考えられる。
【００２２】
表示装置３は、映像トラックと音声トラックを備えるストリームから取り出された映像トラックにより映像を表示し、さらに、複数種類の表示制御情報のそれぞれにつき、表示制御情報を受信したら、表示制御情報に応じた表示内容を表示するようになっている。
【００２３】
スピーカ４は、音声トラックから変換された音声信号により音声を再生するようになっている。
【００２４】
聴覚障がい者支援装置１は、聴覚障がい者装置２に送信する温度制御情報が予め記憶される温度制御情報記憶部１１と、表示装置３に送信する表示制御情報が予め記憶される表示制御情報記憶部１２と、映像トラックと音声トラックを備えるストリームを受信するストリーム受信部１３と、ストリームの音声トラックを解析する音声解析部１４と、聴覚障がい者装置２に送信する温度制御情報を含む温度指示情報を生成する温度指示情報生成部１５と、表示装置３に送信する表示制御情報を含む表示指示情報を生成する表示指示情報生成部１６と、温度指示情報内の温度制御情報を聴覚障がい者装置２に送信する温度制御情報送信部１７と、表示指示情報内の表示制御情報を表示装置３に送信する表示制御情報送信部１８と、映像トラックを表示装置３に送信する映像送信部１９と、音声トラックを音声信号を変換してスピーカ４に送信する音声送信部１０１とを備える。
【００２５】
図２は、温度制御情報記憶部１１の構成の一例を示す図である。
【００２６】
温度制御情報記憶部１１には、各温度制御情報につき、温度制御情報と温度制御情報に対応する温度に応じた感情的状態を示すラベルとを含むレコードが記憶されている。
【００２７】
同図では、温度制御情報は、例えば、目標の温度を示す引数を含むプログラム名（例えば、Ｐ（ｗａｒｍ））であるが、ここでは便宜的に「あたたかい」のように表現している。以降も便宜的にこのような表現を用いる。
【００２８】
温度制御情報「あたたかい」を含むレコードは、ラベル「１」つまり、ここでは感情的状態「喜び」を示すラベルを含んでいる。温度制御情報「熱い」を含むレコードは、ラベル「２」つまり、ここでは感情的状態「怒り」を示すラベルを含んでいる。温度制御情報「冷たい」を含むレコードは、ラベル「３」つまり、ここでは感情的状態「哀しみ」を示すラベルを含んでいる。温度制御情報「ふつう」を含むレコードは、ラベル「８」つまり、ここでは感情的状態「平静」を示すラベルを含んでいる。
【００２９】
図示しないが、その他のレコードは、感情的状態「恐怖」、「驚き」、「焦り」などを示すラベルとラベル対応する温度制御情報とを含んでいる。
【００３０】
図３は、表示制御情報記憶部１２の構成の一例を示す図である。
【００３１】
表示制御情報記憶部１２には、各表示制御情報につき、表示制御情報と表示制御情報に対応する表示内容に応じた感情的状態を示すラベルとを含むレコードが記憶されている。
【００３２】
同図では、表示制御情報は、例えば、表示すべきアイコン（人間の顔に似せた画像）のファイル名（Ｓｍｉｌｅ.ｇｉｆなど）を含むものであるが、ここでは便宜的に「笑顔」のように表現している。以降も便宜的にこのような表現を用いる。
【００３３】
表示制御情報「笑顔」を含むレコードは、ラベル「１」つまり、ここでは感情的状態「喜び」を示すラベルを含んでいる。表示制御情報「怒っている顔」を含むレコードは、ラベル「２」つまり、ここでは感情的状態「怒り」を示すラベルを含んでいる。表示制御情報「泣き顔」を含むレコードは、ラベル「３」つまり、ここでは感情的状態「哀しみ」を示すラベルを含んでいる。表示制御情報「ふつうの顔」を含むレコードは、ラベル「８」つまり、ここでは感情的状態「平静」を示すラベルを含んでいる。
【００３４】
図示しないが、その他のレコードは、感情的状態「恐怖」、「驚き」、「焦り」などを示すラベルとラベル対応する表示制御情報とを含んでいる。
【００３５】
（聴覚障がい者支援システムの動作）
次に、聴覚障がい者支援システムの動作について詳しくを説明する。
【００３６】
まず、ストリーム受信部１３は、映像トラックと音声トラックを備えるストリームを受信する。音声解析部１４は、ストリーム受信部１３から音声トラックを受信する。映像送信部１９は、ストリーム受信部１３から映像トラックを受信し、表示装置３へ送信する。音声送信部１０１は、ストリーム受信部１３から音声トラックを受信し、音声信号に変換し、スピーカ４へ送信する。
【００３７】
表示装置３は、映像トラックを受信し、映像トラックにより映像を表示する。スピーカ４は、音声信号を受信し、音声信号により音声を再生する。
【００３８】
音声解析部１４は、映像トラックを構成する各フレームにつき、フレームを再生するときに再生される音声トラックの部分により生じる音声によってもたらされる感情的状態を検出し、同一の感情的状態が継続するフレーム区間に、その感情的状態のラベルを割り当てる。感情的状態の検出は、例えば、国際公開番号WO2008/032787の技術によって行うことが可能である。音声解析部１４は、まず、フレームを再生するときに再生される音声トラックの部分とフレームを対応づける情報をストリームから取得し、これにより、音声トラックのどの部分がどのフレームに対応するかを認識する。
【００３９】
図４は、音声解析部１４が感情的状態を検出する仕組みを示す図であり、図５は、音声解析部１４により生成される音声解析結果の一例を示す図である。
【００４０】
音声解析部１４は、各フレームにつき、フレームを再生するときに再生される音声トラックの部分により生じる音声によってもたらされる感情的状態「喜び」の大きさを示す値を求め、その他の感情的状態「怒り」、「哀しみ」等についても同様に値を求める。
【００４１】
音声解析部１４は、次に、各フレームにつき、各感情的状態の大きさを示す値の最大値を求める。つまり、音声解析部１４は、各フレームにつき、フレームに対応する音声は、最大値に対応する感情的状態をもたらすと判定する。
【００４２】
音声解析部１４は、次に、同じ感情的状態をもたらす１以上の連続するフレームからなるフレーム群のそれぞれにつき、フレーム群を示すフレーム群情報ならびにフレーム群に該当する感情的状態を示すラベルを含む音声解析結果を生成する。
【００４３】
音声解析部１４は、例えば、連続するフレーム１〜３５１の中の各フレームにつき、感情的状態「喜び」を示す値が最大値だったなら、フレーム１〜３５１を示すフレーム群情報ならびに感情的状態「喜び」を示すラベル「１」とを含む音声解析結果を生成する。
【００４４】
音声解析部１４は、例えば、連続するフレーム３５２〜９１１の中の各フレームにつき、感情的状態「怒り」を示す値が最大値だったなら、フレーム３５２〜９１１を示すフレーム群情報ならびに感情的状態「怒り」を示すラベル「２」とを含む音声解析結果を生成する。
【００４５】
温度指示情報生成部１５は、音声解析部１４から各音声解析結果を受信し、音声解析結果からフレーム群情報とラベルを読み出し、温度制御情報記憶部１１からこのラベルを含むレコードを検索し、レコードから温度制御情報を読み出し、温度制御情報とこのフレーム群情報とを含む温度指示情報を生成する。
【００４６】
図６は、温度指示情報生成部１５により生成される温度指示情報の一例を示す図である。
【００４７】
温度指示情報生成部１５は、例えば、フレーム１〜３５１を示すフレーム群情報ならびに感情的状態「喜び」を示すラベル「１」とを含む音声解析結果からフレーム群情報とラベル「１」を読み出し、温度制御情報記憶部１１からラベル「１」を含むレコードを検索し、レコードから温度制御情報「あたたかい」を読み出し、温度制御情報「あたたかい」とフレーム１〜３５１を示すフレーム群情報とを含む温度指示情報を生成する。
【００４８】
温度指示情報生成部１５は、例えば、フレーム３５２〜９１１を示すフレーム群情報ならびに感情的状態「怒り」を示すラベル「２」とを含む音声解析結果からフレーム群情報とラベル「２」を読み出し、温度制御情報記憶部１１からラベル「２」を含むレコードを検索し、レコードから温度制御情報「熱い」を読み出し、温度制御情報「熱い」とフレーム３５２〜９１１を示すフレーム群情報とを含む温度指示情報を生成する。
【００４９】
一方、表示指示情報生成部１６は、音声解析部１４から各音声解析結果を受信し、音声解析結果からフレーム群情報とラベルを読み出し、表示制御情報記憶部１２からこのラベルを含むレコードを検索し、レコードから表示制御情報を読み出し、表示制御情報とこのフレーム群情報とを含む表示指示情報を生成する。
【００５０】
図７は、表示指示情報生成部１６により生成される表示指示情報の一例を示す図である。
【００５１】
表示指示情報生成部１６は、例えば、フレーム１〜３５１を示すフレーム群情報ならびに感情的状態「喜び」を示すラベル「１」とを含む音声解析結果からフレーム群情報とラベル「１」を読み出し、表示制御情報記憶部１２からラベル「１」を含むレコードを検索し、レコードから表示制御情報「笑顔」を読み出し、表示制御情報「笑顔」とフレーム１〜３５１を示すフレーム群情報とを含む表示指示情報を生成する。
【００５２】
表示指示情報生成部１６は、例えば、フレーム３５２〜９１１を示すフレーム群情報ならびに感情的状態「怒り」を示すラベル「２」とを含む音声解析結果からフレーム群情報とラベル「２」を読み出し、表示制御情報記憶部１２からラベル「２」を含むレコードを検索し、レコードから表示制御情報「怒っている顔」を読み出し、表示制御情報「怒っている顔」とフレーム３５２〜９１１を示すフレーム群情報とを含む表示指示情報を生成する。
【００５３】
温度制御情報送信部１７は、温度指示情報生成部１５から各温度指示情報を受信し、温度指示情報からフレーム群情報を読み出し、例えば、映像送信部１９から送信される映像トラックを監視し、フレーム群情報により示されるフレーム群の先頭のフレームが再生されるタイミングになったら、温度指示情報内の温度制御情報を聴覚障がい者装置２に送信する。
【００５４】
図８は、温度制御情報送信部１７の動作の流れを示すフローチャートである。
【００５５】
温度制御情報送信部１７は、映像トラックの先頭フレームを含むフレーム群を示すフレーム群情報を含む温度指示情報を選択し、フレーム群情報を読み出す（Ｓ１）。温度制御情報送信部１７は、読み出したフレーム群情報により示されるフレーム群の先頭のフレームが再生されるタイミングになったか否かを判定する（Ｓ３）。温度制御情報送信部１７は、このタイミングになったなら（Ｓ３：ＹＥＳ）、選択した温度指示情報内の温度制御情報を聴覚障がい者装置２に送信する（Ｓ５）。温度制御情報送信部１７は、次に、このフレーム群を除く映像トラックの先頭フレームを含むフレーム群を示すフレーム群情報を含む温度指示情報を選択し、フレーム群情報を読み出す（Ｓ１）。以降、温度制御情報送信部１７は、同様に処理を行う。
【００５６】
聴覚障がい者装置２の温度制御部２２は、温度制御情報送信部１７から温度制御情報を受信したら、温度可変体２１の温度が温度制御情報に応じた温度に等しくなるように温度可変体２１を制御する。
【００５７】
一方、表示制御情報送信部１８は、表示指示情報生成部１６から各表示指示情報を受信し、表示指示情報からフレーム群情報を読み出し、例えば、映像送信部１９から送信される映像トラックを監視し、フレーム群情報により示されるフレーム群の先頭のフレームが再生されるタイミングになったら、表示指示情報内の表示制御情報を表示装置３に送信する。
【００５８】
図９は、表示制御情報送信部１８の動作の流れを示すフローチャートである。
【００５９】
表示制御情報送信部１８は、映像トラックの先頭フレームを含むフレーム群を示すフレーム群情報を含む表示指示情報を選択し、フレーム群情報を読み出す（Ｓ１１）。表示制御情報送信部１８は、読み出したフレーム群情報により示されるフレーム群の先頭のフレームが再生されるタイミングになったか否かを判定する（Ｓ１３）。表示制御情報送信部１８は、このタイミングになったなら（Ｓ１３：ＹＥＳ１）、選択した表示指示情報内の表示制御情報を聴覚障がい者装置２に送信する（Ｓ１５）。表示制御情報送信部１８は、次に、このフレーム群を除く映像トラックの先頭フレームを含むフレーム群を示すフレーム群情報を含む表示指示情報を選択し、フレーム群情報を読み出す（Ｓ１１）。以降、表示制御情報送信部１８は、同様に処理を行う。
【００６０】
表示装置３は、表示制御情報送信部１８から表示制御情報を受信したら、表示されている映像に重ねて、表示制御情報に応じた表示内容（例えばアイコン）を表示する。
【００６１】
図１０は、表示制御情報により表示されるアイコンを含む映像、音声信号により再生される音声、および聴覚障がい者装置２（温度可変体２１）の温度推移の一例を示す図である。
【００６２】
フレーム１〜３５１の期間では、映像には、例えば、風景が表示される。また、フレーム３５２〜９１１の期間でも、同様に、映像には風景が表示される。
【００６３】
また、フレーム１〜３５１の期間では、音声は、鳥のさえずりである。ところが、フレーム３５２〜９１１の期間では、音声は、雷鳴になる。
【００６４】
聴覚障がい者とともに映像を見る聴者は、音声の変化を認識し、フレーム３５２〜９１１の期間では、「なにかが起こるかもしれない」のように感じる。
【００６５】
一方、聴覚障がい者は、このような映像のみでは、音声の変化を認識できず、フレーム１〜３５１の期間と同様に、フレーム３５２〜９１１の期間でも、「のどかな風景だな」のように感じてしまう。
【００６６】
しかし、本実施の形態では、フレーム１〜３５１の期間では、聴覚障がい者装置２（温度可変体２１）の温度は、例えば、３８°Ｃに制御され、フレーム３５２〜９１１の期間では、温度は、例えば、４２°Ｃに制御される。
【００６７】
よって、聴覚障がい者は、フレーム３５２〜９１１の期間において、例えば、聴者と同様に、「なにかが起こるかもしれない」のように感じることができる。
【００６８】
また、本実施の形態では、フレーム１〜３５１の期間では、笑顔のアイコンが表示され、フレーム３５２〜９１１の期間では、怒っている顔のアイコンが表示される。
【００６９】
よって、聴覚障がい者は、フレーム３５２〜９１１の期間において、例えば、聴者と同様な感情を、より強く感じることができる。
【００７０】
したがって、本実施の形態によれば、「（鳥のさえずり）」、「（雷鳴）」のような字幕を表示させることなく、聴覚障がい者に対し、このような非言語音声情報がもたらす感情的状態をリアルタイムに伝えることができる。
【００７１】
一方、聴者に対しては、このような非言語音声情報が音声によりリアルタイムに伝わる。非言語音声情報は、聴覚障がい者にも聴者にもリアルタイムに伝わるので、両者は、同じタイミングで同じ感情をもつことができ、よって、いわゆる両者のコミュニケーションギャップを埋め、コミュニケーションを円滑にすることができる。
【００７２】
なお、本実施の形態では、アイコンを表示するようにしたが、これは必須でなく、聴覚障がい者装置２の温度制御のみを行ってもよい。この場合、表示指示情報生成部１６および表示制御情報送信部１８は不要である。
【００７３】
また、本実施の形態では、聴覚障がい者とともに映像を見る聴者を想定して、音声を再生したが、聴覚障がい者だけの場合などにおいては、音声を再生しなくてもよい。この場合、スピーカ４、音声送信部１０１は不要である。
【００７４】
また、聴覚障がい者支援装置１としてコンピュータを機能させるためのコンピュータプログラムは、半導体メモリ、磁気ディスク、光ディスク、光磁気ディスク、磁気テープなどのコンピュータ読み取り可能な記録媒体に記録でき、また、インターネットなどの通信網を介して伝送させて、広く流通させることができる。
【符号の説明】
【００７５】
１…聴覚障がい者支援装置
２…聴覚障がい者装置
３…表示装置
４…スピーカ
１１…温度制御情報記憶部
１２…表示制御情報記憶部
１３…ストリーム受信部
１４…音声解析部
１５…温度指示情報生成部
１６…表示指示情報生成部
１７…温度制御情報送信部
１８…表示制御情報送信部
１９…映像送信部
２１…温度可変体
２２…温度制御部
１０１…音声送信部
【特許請求の範囲】
【請求項１】
聴覚障がい者が触れて使用する聴覚障がい者装置とともに使用される聴覚障がい者支援装置であって、
前記聴覚障がい者装置は、温度を変化させることが可能な温度可変体と、複数種類の温度制御情報のそれぞれにつき、当該温度制御情報を受信したら、前記温度可変体の温度が当該温度制御情報に応じた温度に等しくなるように前記温度可変体を制御する温度制御部とを備え、
前記聴覚障がい者支援装置は、
前記各温度制御情報につき、当該温度制御情報と当該温度制御情報に対応する温度に応じた感情的状態を示すラベルとを含むレコードを記憶する温度制御情報記憶部と、
映像トラックと音声トラックを備えるストリームを受信するストリーム受信部と、
前記ストリームの映像トラックを構成する各フレームにつき、当該フレームを再生するときに再生される音声トラックの部分により生じる音声によってもたらされる感情的状態を検出するとともに、同じ感情的状態をもたらす１以上の連続するフレームからなるフレーム群のそれぞれにつき、当該フレーム群を示すフレーム群情報ならびに当該フレーム群に該当する感情的状態を示すラベルを含む音声解析結果を生成する音声解析部と、
前記各音声解析結果につき、当該音声解析結果からフレーム群情報とラベルを読み出し、前記温度制御情報記憶部から当該ラベルを含むレコードを検索し、当該レコードから温度制御情報を読み出し、当該温度制御情報と当該フレーム群情報とを含む温度指示情報を生成する温度指示情報生成部と、
前記各温度指示情報につき、当該温度指示情報からフレーム群情報を読み出し、当該フレーム群情報により示されるフレーム群の先頭のフレームが再生されるタイミングになったら、当該温度指示情報内の温度制御情報を前記聴覚障がい者装置に送信する温度制御情報送信部と
を備えることを特徴とする聴覚障がい者支援装置。
【請求項２】
聴覚障がい者が触れて使用する聴覚障がい者装置ならびに前記聴覚障がい者が見て使用する表示装置とともに使用される聴覚障がい者支援装置であって、
前記聴覚障がい者装置は、温度を変化させることが可能な温度可変体と、複数種類の温度制御情報のそれぞれにつき、該温度制御情報を受信したら、前記温度可変体の温度が当該温度制御情報に応じた温度に等しくなるように前記温度可変体を制御する温度制御部とを備え、
前記表示装置は、複数種類の表示制御情報のそれぞれにつき、当該表示制御情報を受信したら、当該表示制御情報に応じた表示内容を表示するようになっており、
前記聴覚障がい者支援装置は、
前記各温度制御情報につき、当該温度制御情報と当該温度制御情報に対応する温度に応じた感情的状態を示すラベルとを含むレコードを記憶する温度制御情報記憶部と、
前記各表示制御情報につき、当該表示制御情報と当該表示制御情報に対応する温度に応じた感情的状態を示すラベルとを含むレコードを記憶する表示制御情報記憶部と、
映像トラックと音声トラックを備えるストリームを受信するストリーム受信部と、
前記ストリームの映像トラックを構成する各フレームにつき、当該フレームを再生するときに再生される音声トラックの部分により生じる音声によってもたらされる感情的状態を検出するとともに、同じ感情的状態をもたらす１以上の連続するフレームからなるフレーム群のそれぞれにつき、当該フレーム群を示すフレーム群情報ならびに当該フレーム群に該当する感情的状態を示すラベルを含む音声解析結果を生成する音声解析部と、
前記各音声解析結果につき、当該音声解析結果からフレーム群情報とラベルを読み出し、前記温度制御情報記憶部から当該ラベルを含むレコードを検索し、当該レコードから温度制御情報を読み出し、当該温度制御情報と当該フレーム群情報とを含む温度指示情報を生成する温度指示情報生成部と、
前記各音声解析結果につき、当該音声解析結果からフレーム群情報とラベルを読み出し、前記表示制御情報記憶部から当該ラベルを含むレコードを検索し、当該レコードから表示制御情報を読み出し、当該表示制御情報と当該フレーム群情報とを含む表示指示情報を生成する表示指示情報生成部と、
前記各温度指示情報につき、当該温度指示情報からフレーム群情報を読み出し、当該フレーム群情報により示されるフレーム群の先頭のフレームが再生されるタイミングになったら、当該温度指示情報内の温度制御情報を前記聴覚障がい者装置に送信する温度制御情報送信部と、
前記各表示指示情報につき、当該表示指示情報からフレーム群情報を読み出し、当該フレーム群情報により示されるフレーム群の先頭のフレームが再生されるタイミングになったら、当該表示指示情報内の表示制御情報を前記表示装置に送信する表示制御情報送信部と
を備えることを特徴とする聴覚障がい者支援装置。
【請求項３】
聴覚障がい者が触れて使用する聴覚障がい者装置とともに使用される聴覚障がい者支援装置の動作方法であって、
前記聴覚障がい者装置は、温度を変化させることが可能な温度可変体と、複数種類の温度制御情報のそれぞれにつき、当該温度制御情報を受信したら、前記温度可変体の温度が当該温度制御情報に応じた温度に等しくなるように前記温度可変体を制御する温度制御部とを備え、
前記聴覚障がい者支援装置は、前記各温度制御情報につき、当該温度制御情報と当該温度制御情報に対応する温度に応じた感情的状態を示すラベルとを含むレコードを記憶する温度制御情報記憶部を備え、
前記動作方法は、
前記聴覚障がい者支援装置のストリーム受信部が、映像トラックと音声トラックを備えるストリームを受信し、
前記聴覚障がい者支援装置の音声解析部が、前記ストリームの映像トラックを構成する各フレームにつき、当該フレームを再生するときに再生される音声トラックの部分により生じる音声によってもたらされる感情的状態を検出するとともに、同じ感情的状態をもたらす１以上の連続するフレームからなるフレーム群のそれぞれにつき、当該フレーム群を示すフレーム群情報ならびに当該フレーム群に該当する感情的状態を示すラベルを含む音声解析結果を生成し、
前記聴覚障がい者支援装置の温度指示情報生成部が、前記各音声解析結果につき、当該音声解析結果からフレーム群情報とラベルを読み出し、前記温度制御情報記憶部から当該ラベルを含むレコードを検索し、当該レコードから温度制御情報を読み出し、当該温度制御情報と当該フレーム群情報とを含む温度指示情報を生成し、
前記聴覚障がい者支援装置の温度制御情報送信部が、前記各温度指示情報につき、当該温度指示情報からフレーム群情報を読み出し、当該フレーム群情報により示されるフレーム群の先頭のフレームが再生されるタイミングになったら、当該温度指示情報内の温度制御情報を前記聴覚障がい者装置に送信する
ことを特徴とする聴覚障がい者支援装置の動作方法。
【請求項４】
聴覚障がい者が触れて使用する聴覚障がい者装置ならびに前記聴覚障がい者が見て使用する表示装置とともに使用される聴覚障がい者支援装置の動作方法であって、
前記聴覚障がい者装置は、温度を変化させることが可能な温度可変体と、複数種類の温度制御情報のそれぞれにつき、該温度制御情報を受信したら、前記温度可変体の温度が当該温度制御情報に応じた温度に等しくなるように前記温度可変体を制御する温度制御部とを備え、
前記表示装置は、複数種類の表示制御情報のそれぞれにつき、当該表示制御情報を受信したら、当該表示制御情報に応じた表示内容を表示するようになっており、
前記聴覚障がい者支援装置は、前記各温度制御情報につき、当該温度制御情報と当該温度制御情報に対応する温度に応じた感情的状態を示すラベルとを含むレコードを記憶する温度制御情報記憶部と、前記各表示制御情報につき、当該表示制御情報と当該表示制御情報に対応する温度に応じた感情的状態を示すラベルとを含むレコードを記憶する表示制御情報記憶部とを備え、
前記動作方法は、
前記聴覚障がい者支援装置のストリーム受信部が、映像トラックと音声トラックを備えるストリームを受信し、
前記聴覚障がい者支援装置の音声解析部が、前記ストリームの映像トラックを構成する各フレームにつき、当該フレームを再生するときに再生される音声トラックの部分により生じる音声によってもたらされる感情的状態を検出するとともに、同じ感情的状態をもたらす１以上の連続するフレームからなるフレーム群のそれぞれにつき、当該フレーム群を示すフレーム群情報ならびに当該フレーム群に該当する感情的状態を示すラベルを含む音声解析結果を生成し、
前記聴覚障がい者支援装置の温度指示情報生成部が、前記各音声解析結果につき、当該音声解析結果からフレーム群情報とラベルを読み出し、前記温度制御情報記憶部から当該ラベルを含むレコードを検索し、当該レコードから温度制御情報を読み出し、当該温度制御情報と当該フレーム群情報とを含む温度指示情報を生成し、
前記聴覚障がい者支援装置の表示指示情報生成部が、前記各音声解析結果につき、当該音声解析結果からフレーム群情報とラベルを読み出し、前記表示制御情報記憶部から当該ラベルを含むレコードを検索し、当該レコードから表示制御情報を読み出し、当該表示制御情報と当該フレーム群情報とを含む表示指示情報を生成し、
前記聴覚障がい者支援装置の温度制御情報送信部が、前記各温度指示情報につき、当該温度指示情報からフレーム群情報を読み出し、当該フレーム群情報により示されるフレーム群の先頭のフレームが再生されるタイミングになったら、当該温度指示情報内の温度制御情報を前記聴覚障がい者装置に送信し、
前記聴覚障がい者支援装置の表示制御情報送信部が、前記各表示指示情報につき、当該表示指示情報からフレーム群情報を読み出し、当該フレーム群情報により示されるフレーム群の先頭のフレームが再生されるタイミングになったら、当該表示指示情報内の表示制御情報を前記表示装置に送信する
ことを特徴とする聴覚障がい者支援装置の動作方法。
【請求項５】
請求項１または２記載の聴覚障がい者支援装置としてコンピュータを機能させるためのコンピュータプログラム。
【請求項１】
聴覚障がい者が触れて使用する聴覚障がい者装置とともに使用される聴覚障がい者支援装置であって、
前記聴覚障がい者装置は、温度を変化させることが可能な温度可変体と、複数種類の温度制御情報のそれぞれにつき、当該温度制御情報を受信したら、前記温度可変体の温度が当該温度制御情報に応じた温度に等しくなるように前記温度可変体を制御する温度制御部とを備え、
前記聴覚障がい者支援装置は、
前記各温度制御情報につき、当該温度制御情報と当該温度制御情報に対応する温度に応じた感情的状態を示すラベルとを含むレコードを記憶する温度制御情報記憶部と、
映像トラックと音声トラックを備えるストリームを受信するストリーム受信部と、
前記ストリームの映像トラックを構成する各フレームにつき、当該フレームを再生するときに再生される音声トラックの部分により生じる音声によってもたらされる感情的状態を検出するとともに、同じ感情的状態をもたらす１以上の連続するフレームからなるフレーム群のそれぞれにつき、当該フレーム群を示すフレーム群情報ならびに当該フレーム群に該当する感情的状態を示すラベルを含む音声解析結果を生成する音声解析部と、
前記各音声解析結果につき、当該音声解析結果からフレーム群情報とラベルを読み出し、前記温度制御情報記憶部から当該ラベルを含むレコードを検索し、当該レコードから温度制御情報を読み出し、当該温度制御情報と当該フレーム群情報とを含む温度指示情報を生成する温度指示情報生成部と、
前記各温度指示情報につき、当該温度指示情報からフレーム群情報を読み出し、当該フレーム群情報により示されるフレーム群の先頭のフレームが再生されるタイミングになったら、当該温度指示情報内の温度制御情報を前記聴覚障がい者装置に送信する温度制御情報送信部と
を備えることを特徴とする聴覚障がい者支援装置。
【請求項２】
聴覚障がい者が触れて使用する聴覚障がい者装置ならびに前記聴覚障がい者が見て使用する表示装置とともに使用される聴覚障がい者支援装置であって、
前記聴覚障がい者装置は、温度を変化させることが可能な温度可変体と、複数種類の温度制御情報のそれぞれにつき、該温度制御情報を受信したら、前記温度可変体の温度が当該温度制御情報に応じた温度に等しくなるように前記温度可変体を制御する温度制御部とを備え、
前記表示装置は、複数種類の表示制御情報のそれぞれにつき、当該表示制御情報を受信したら、当該表示制御情報に応じた表示内容を表示するようになっており、
前記聴覚障がい者支援装置は、
前記各温度制御情報につき、当該温度制御情報と当該温度制御情報に対応する温度に応じた感情的状態を示すラベルとを含むレコードを記憶する温度制御情報記憶部と、
前記各表示制御情報につき、当該表示制御情報と当該表示制御情報に対応する温度に応じた感情的状態を示すラベルとを含むレコードを記憶する表示制御情報記憶部と、
映像トラックと音声トラックを備えるストリームを受信するストリーム受信部と、
前記ストリームの映像トラックを構成する各フレームにつき、当該フレームを再生するときに再生される音声トラックの部分により生じる音声によってもたらされる感情的状態を検出するとともに、同じ感情的状態をもたらす１以上の連続するフレームからなるフレーム群のそれぞれにつき、当該フレーム群を示すフレーム群情報ならびに当該フレーム群に該当する感情的状態を示すラベルを含む音声解析結果を生成する音声解析部と、
前記各音声解析結果につき、当該音声解析結果からフレーム群情報とラベルを読み出し、前記温度制御情報記憶部から当該ラベルを含むレコードを検索し、当該レコードから温度制御情報を読み出し、当該温度制御情報と当該フレーム群情報とを含む温度指示情報を生成する温度指示情報生成部と、
前記各音声解析結果につき、当該音声解析結果からフレーム群情報とラベルを読み出し、前記表示制御情報記憶部から当該ラベルを含むレコードを検索し、当該レコードから表示制御情報を読み出し、当該表示制御情報と当該フレーム群情報とを含む表示指示情報を生成する表示指示情報生成部と、
前記各温度指示情報につき、当該温度指示情報からフレーム群情報を読み出し、当該フレーム群情報により示されるフレーム群の先頭のフレームが再生されるタイミングになったら、当該温度指示情報内の温度制御情報を前記聴覚障がい者装置に送信する温度制御情報送信部と、
前記各表示指示情報につき、当該表示指示情報からフレーム群情報を読み出し、当該フレーム群情報により示されるフレーム群の先頭のフレームが再生されるタイミングになったら、当該表示指示情報内の表示制御情報を前記表示装置に送信する表示制御情報送信部と
を備えることを特徴とする聴覚障がい者支援装置。
【請求項３】
聴覚障がい者が触れて使用する聴覚障がい者装置とともに使用される聴覚障がい者支援装置の動作方法であって、
前記聴覚障がい者装置は、温度を変化させることが可能な温度可変体と、複数種類の温度制御情報のそれぞれにつき、当該温度制御情報を受信したら、前記温度可変体の温度が当該温度制御情報に応じた温度に等しくなるように前記温度可変体を制御する温度制御部とを備え、
前記聴覚障がい者支援装置は、前記各温度制御情報につき、当該温度制御情報と当該温度制御情報に対応する温度に応じた感情的状態を示すラベルとを含むレコードを記憶する温度制御情報記憶部を備え、
前記動作方法は、
前記聴覚障がい者支援装置のストリーム受信部が、映像トラックと音声トラックを備えるストリームを受信し、
前記聴覚障がい者支援装置の音声解析部が、前記ストリームの映像トラックを構成する各フレームにつき、当該フレームを再生するときに再生される音声トラックの部分により生じる音声によってもたらされる感情的状態を検出するとともに、同じ感情的状態をもたらす１以上の連続するフレームからなるフレーム群のそれぞれにつき、当該フレーム群を示すフレーム群情報ならびに当該フレーム群に該当する感情的状態を示すラベルを含む音声解析結果を生成し、
前記聴覚障がい者支援装置の温度指示情報生成部が、前記各音声解析結果につき、当該音声解析結果からフレーム群情報とラベルを読み出し、前記温度制御情報記憶部から当該ラベルを含むレコードを検索し、当該レコードから温度制御情報を読み出し、当該温度制御情報と当該フレーム群情報とを含む温度指示情報を生成し、
前記聴覚障がい者支援装置の温度制御情報送信部が、前記各温度指示情報につき、当該温度指示情報からフレーム群情報を読み出し、当該フレーム群情報により示されるフレーム群の先頭のフレームが再生されるタイミングになったら、当該温度指示情報内の温度制御情報を前記聴覚障がい者装置に送信する
ことを特徴とする聴覚障がい者支援装置の動作方法。
【請求項４】
聴覚障がい者が触れて使用する聴覚障がい者装置ならびに前記聴覚障がい者が見て使用する表示装置とともに使用される聴覚障がい者支援装置の動作方法であって、
前記聴覚障がい者装置は、温度を変化させることが可能な温度可変体と、複数種類の温度制御情報のそれぞれにつき、該温度制御情報を受信したら、前記温度可変体の温度が当該温度制御情報に応じた温度に等しくなるように前記温度可変体を制御する温度制御部とを備え、
前記表示装置は、複数種類の表示制御情報のそれぞれにつき、当該表示制御情報を受信したら、当該表示制御情報に応じた表示内容を表示するようになっており、
前記聴覚障がい者支援装置は、前記各温度制御情報につき、当該温度制御情報と当該温度制御情報に対応する温度に応じた感情的状態を示すラベルとを含むレコードを記憶する温度制御情報記憶部と、前記各表示制御情報につき、当該表示制御情報と当該表示制御情報に対応する温度に応じた感情的状態を示すラベルとを含むレコードを記憶する表示制御情報記憶部とを備え、
前記動作方法は、
前記聴覚障がい者支援装置のストリーム受信部が、映像トラックと音声トラックを備えるストリームを受信し、
前記聴覚障がい者支援装置の音声解析部が、前記ストリームの映像トラックを構成する各フレームにつき、当該フレームを再生するときに再生される音声トラックの部分により生じる音声によってもたらされる感情的状態を検出するとともに、同じ感情的状態をもたらす１以上の連続するフレームからなるフレーム群のそれぞれにつき、当該フレーム群を示すフレーム群情報ならびに当該フレーム群に該当する感情的状態を示すラベルを含む音声解析結果を生成し、
前記聴覚障がい者支援装置の温度指示情報生成部が、前記各音声解析結果につき、当該音声解析結果からフレーム群情報とラベルを読み出し、前記温度制御情報記憶部から当該ラベルを含むレコードを検索し、当該レコードから温度制御情報を読み出し、当該温度制御情報と当該フレーム群情報とを含む温度指示情報を生成し、
前記聴覚障がい者支援装置の表示指示情報生成部が、前記各音声解析結果につき、当該音声解析結果からフレーム群情報とラベルを読み出し、前記表示制御情報記憶部から当該ラベルを含むレコードを検索し、当該レコードから表示制御情報を読み出し、当該表示制御情報と当該フレーム群情報とを含む表示指示情報を生成し、
前記聴覚障がい者支援装置の温度制御情報送信部が、前記各温度指示情報につき、当該温度指示情報からフレーム群情報を読み出し、当該フレーム群情報により示されるフレーム群の先頭のフレームが再生されるタイミングになったら、当該温度指示情報内の温度制御情報を前記聴覚障がい者装置に送信し、
前記聴覚障がい者支援装置の表示制御情報送信部が、前記各表示指示情報につき、当該表示指示情報からフレーム群情報を読み出し、当該フレーム群情報により示されるフレーム群の先頭のフレームが再生されるタイミングになったら、当該表示指示情報内の表示制御情報を前記表示装置に送信する
ことを特徴とする聴覚障がい者支援装置の動作方法。
【請求項５】
請求項１または２記載の聴覚障がい者支援装置としてコンピュータを機能させるためのコンピュータプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１３−９７２４０（Ｐ２０１３−９７２４０Ａ）
【公開日】平成２５年５月２０日（２０１３．５．２０）
【国際特許分類】
【出願番号】特願２０１１−２４１０２９（Ｐ２０１１−２４１０２９）
【出願日】平成２３年１１月２日（２０１１．１１．２）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 社団法人電子情報通信学会主催、２０１１年８月４日〜２０１１年８月５日電子情報通信学会技術研究報告「聴覚障がい者と聴者の団らん視聴を支援する映像視聴インタフェースに関する研究」信学技報Ｖｏｌ．１１１ Ｎｏ．１７４ ４９〜５３頁２０１１年７月２８日発行、に発表
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２５年５月２０日（２０１３．５．２０）
【国際特許分類】
【出願日】平成２３年１１月２日（２０１１．１１．２）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 社団法人電子情報通信学会主催、２０１１年８月４日〜２０１１年８月５日電子情報通信学会技術研究報告「聴覚障がい者と聴者の団らん視聴を支援する映像視聴インタフェースに関する研究」信学技報Ｖｏｌ．１１１ Ｎｏ．１７４ ４９〜５３頁２０１１年７月２８日発行、に発表
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]