理解支援システム、支援端末、理解支援方法およびプログラム
【課題】被支援者に、被支援者が認識できる視覚表示可能な情報を提供し、また、被支援者から支援者に対する質問を受け付け、支援者に提供する。
【解決手段】講師端末１００は、講師を含む、話者の発話音声、および話者の周辺映像または画像を取得し、支援端末２００に送る。支援端末２００は、視覚表示可能な支援情報として、発話音声の要約の文字情報や話者の周辺映像または画像からの画像の選択を含む、編集指示の入力などを受け付ける。そして、編集指示に基づき、話者の周辺映像または画像から選択された画像を支援情報に重畳し、支援情報を被支援端末３００に送る。被支援端末３００は、質問の入力を受け付け、質問を支援端末２００に送る。支援端末２００は、被支援者の質問に対する回答や、上述の編集指示を受け付け、支援情報に重畳し、支援情報を被支援端末３００に送る。被支援端末３００は、支援情報に含まれる複数の情報および質問を共に出力する。
【解決手段】講師端末１００は、講師を含む、話者の発話音声、および話者の周辺映像または画像を取得し、支援端末２００に送る。支援端末２００は、視覚表示可能な支援情報として、発話音声の要約の文字情報や話者の周辺映像または画像からの画像の選択を含む、編集指示の入力などを受け付ける。そして、編集指示に基づき、話者の周辺映像または画像から選択された画像を支援情報に重畳し、支援情報を被支援端末３００に送る。被支援端末３００は、質問の入力を受け付け、質問を支援端末２００に送る。支援端末２００は、被支援者の質問に対する回答や、上述の編集指示を受け付け、支援情報に重畳し、支援情報を被支援端末３００に送る。被支援端末３００は、支援情報に含まれる複数の情報および質問を共に出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、理解支援システム、支援端末、理解支援方法およびプログラムに関する。
【背景技術】
【０００２】
音声を認識することができない聴覚障がい者が、健聴者が講師を務める講義や講演を受講する際には、手話通訳や要約筆記通訳などの支援が必要である。そこで、聴覚障がい者が講師の口頭での説明を理解することを支援する技術や、聴覚障がい者と健聴者の間のコミュニケーションを支援する技術が開発されている。
【０００３】
特許文献１には、要約者支援装置および要約者支援方法が開示されている。この要約者支援方法により、話者の発話音声に含まれる指示代名詞および話者の指示動作に基づく、図、写真、式などの指示対象候補を要約者端末に表示することが可能となる。そして、要約者から、指示対象の選択および文字の入力を受け付け、選択された指示対象を、入力された文字情報と共に聴覚障がい者端末に表示する。
【０００４】
特許文献２には、要約者から提供される文字情報中に、聴覚障がい者がメモをとることができる要約筆記通訳支援システムが開示されている。この要約筆記通訳支援システムにおいて、要約者端末は、要約者から、話者の発話音声の要約の入力を受け付け、要約の文字情報を聴覚障がい者端末に送る。また、聴覚障がい者端末は、聴覚障がい者から、注釈や板書の内容などのメモの入力を受け付けることができる。
【０００５】
特許文献３には、健聴者と聴覚障がい者の間のコミュニケーションを支援する技術が開示されている。このコミュニケーション支援技術は、健聴者の発話音声を文字に変換し、冗長な言い回しを除去して、聴覚障がい者端末に表示する。また、発話データに基づき、文字入力予測データを更新し、聴覚障がい者の文字入力を支援する。
【０００６】
特許文献４には、文字入力を音声に変換して音声出力し、音声入力を文字に変換して表示する聴覚障がい者用対話支援装置が開示されている。
【０００７】
特許文献５には、手話を認識して文字に変換し、音声入力を文字に変換して表示するインターフォン装置および双方向通話方法が開示されている。
【０００８】
特許文献６には、１の講師端末から複数の受講者端末へ講義を配信し、受講者端末から講師端末へ質問が送られた場合に、所定の条件に基づいて質問の回答の取得および質問の分類を行い、分類に基づいて所定の受講者端末に回答を送信する技術が開示されている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００９−１７５８０３号公報
【特許文献２】特開平０７−１９９８０３号公報
【特許文献３】特開２００２−３２３９６９号公報
【特許文献４】特開２００３−１５０１８８号公報
【特許文献５】特開２００４−２５４２１７号公報
【特許文献６】特開２００９−２１７１５１号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
講義や講演の受講者の中には、聴覚障がい者のように、話者の発話音声を理解するために、手話通訳や要約筆記通訳などの支援が必要な受講者（以下、被支援者と記す）がいる場合がある。被支援者が、講師や被支援者でない聴講者の発話音声を理解するためには、例えば、要約者などの支援者が入力する発話音声の要約の文字情報のような、被支援者が認識できる視覚表示可能な情報が、被支援者に提供される必要がある。また、被支援者から支援者に対する質問を受け付け、被支援者が認識可能な形で、支援者からの回答が被支援者に提供されると、被支援者がより理解を深めることを支援することが可能となる。
【００１１】
特許文献１に開示されている技術では、被支援者に、被支援者が認識可能な形で、話者の発話内容が提供されるが、被支援者から質問を受け付けることはできない。
【００１２】
特許文献２に開示されている技術では、被支援者に、被支援者が認識可能な形で、話者の発話音声が提供される。また、被支援者がメモをとり、支援者が、被支援者のメモを確認することができる。しかし、被支援者から質問を受け付け、支援者に質問を提供することはできない。
【００１３】
特許文献３、４および５に開示されている技術では、話者の発話音声を文字情報に変換することにより、被支援者に、被支援者が認識可能な形で、話者の発話音声を提供することが可能となり、被支援者の文字または手話の入力により、質問を受け付けることが可能となる。しかし、講師以外の第三者である、支援者に質問を提供することはできない。
【００１４】
特許文献６に開示されている技術では、被支援者と講師の間で、文字での質問と回答のやりとりが可能であるが、被支援者の質問に、講師が口頭で回答した場合には、被支援者に、被支援者が認識可能な形で、講師の回答を提供することができない。また、講師以外の第三者である、支援者に質問を提供することはできない。
【００１５】
本発明は、上述の事情に鑑みてなされたものであり、被支援者に、被支援者が認識できる視覚表示可能な情報を提供し、また、被支援者から支援者に対する質問を受け付け、支援者に伝えることを目的とする。
【課題を解決するための手段】
【００１６】
上記目的を達成するため、本発明の第１の観点に係る理解支援システムは、
講師を含む、話者の発話音声を取得して音声信号を生成する、講義内容取得手段と、
前記音声信号から、前記発話音声を再生する、講義内容再生手段と、
前記講義内容再生手段で再生された、前記発話音声を聞き取ることができる範囲において、視覚表示可能な支援情報の入力を受け付ける、支援情報入力手段と、
前記支援情報を被支援者に表示する、支援情報表示手段と、
前記被支援者から、質問情報の入力を受け付ける、質問取得手段と、
入力された前記質問情報を、前記講義内容再生手段で再生された、前記発話音声を聞き取ることができる範囲において、表示する、質問表示手段と、
を備えることを特徴とする。
【００１７】
本発明の第２の観点に係る支援端末は、
講師を含む、話者の発話音声から生成された音声信号を受信する、講義内容受信手段と、
前記音声信号から、前記発話音声を再生する、講義内容再生手段と、
前記講義内容再生手段で再生された、前記発話音声を聞き取ることができる範囲において、視覚表示可能な支援情報の入力を受け付ける、支援情報入力手段と、
前記支援情報を、被支援者に表示、または被支援端末に送信する、支援情報表示手段と、
前記被支援者から入力を受け付けた質問情報を受信する、質問受信手段と、
前記質問情報を、前記講義内容再生手段で再生された、前記発話音声を聞き取ることができる範囲において、表示する、質問表示手段と、
を備えることを特徴とする。
【００１８】
本発明の第３の観点に係る理解支援方法は、
聴覚障がい者が、話者の発話音声を理解することを支援する、理解支援システムが行う理解支援方法であって、
講師を含む、話者の発話音声を取得して音声信号を生成する、講義内容取得ステップと、
前記音声信号から、前記発話音声を再生する、講義内容再生ステップと、
前記講義内容再生ステップで再生された、前記発話音声を聞き取ることができる範囲において、視覚表示可能な支援情報の入力を受け付ける、支援情報入力ステップと、
前記支援情報を被支援者に表示する、支援情報表示ステップと、
前記被支援者から、質問情報の入力を受け付ける、質問取得ステップと、
入力された前記質問情報を、前記講義内容再生ステップで再生された、前記発話音声を聞き取ることができる範囲において、表示する、質問表示ステップと、
を備えることを特徴とする。
【００１９】
本発明の第４の観点に係る理解支援方法は、
聴覚障がい者が、話者の発話音声を理解することを支援するための、支援情報の入力を受け付ける、支援端末が行う理解支援方法であって、
講師を含む、話者の発話音声から生成された音声信号を受信する、講義内容受信ステップと、
前記音声信号から、前記発話音声を再生する、講義内容再生ステップと、
前記講義内容再生ステップで再生された、前記発話音声を聞き取ることができる範囲において、視覚表示可能な支援情報の入力を受け付ける、支援情報入力ステップと、
前記支援情報を、被支援者に表示、または被支援端末に送信する、支援情報表示ステップと、
前記被支援者から入力を受け付けた質問情報を受信する、質問受信ステップと、
前記質問情報を、前記講義内容再生ステップで再生された、前記発話音声を聞き取ることができる範囲において、表示する、質問表示ステップと、
を備えることを特徴とする。
【００２０】
本発明の第５の観点に係るプログラムは、コンピュータに、
講師を含む、話者の発話音声を取得して音声信号を生成する、講義内容取得ステップと、
前記音声信号から、前記発話音声を再生する、講義内容再生ステップと、
前記講義内容再生ステップで再生された、前記発話音声を聞き取ることができる範囲において、視覚表示可能な支援情報の入力を受け付ける、支援情報入力ステップと、
前記支援情報を被支援者に表示する、支援情報表示ステップと、
前記被支援者から、質問情報の入力を受け付ける、質問取得ステップと、
入力された前記質問情報を、前記講義内容再生ステップで再生された、前記発話音声を聞き取ることができる範囲において、表示する、質問表示ステップと、
を実行させることを特徴とする。
【発明の効果】
【００２１】
本発明によれば、被支援者に、被支援者が認識できる視覚表示可能な情報を提供し、また、被支援者から支援者に対する質問を受け付け、支援者に伝えることが可能となる。
【図面の簡単な説明】
【００２２】
【図１】本発明の実施の形態に係る理解支援システムの構成例を示すブロック図である。
【図２】実施の形態に係る講義出力部における表示例を示す図である。
【図３】実施の形態に係る被支援側出力部における表示例を示す図である。
【図４】実施の形態に係る理解支援の動作の一例を示すフローチャートである。
【図５】実施の形態に係る質問支援の動作の一例を示すフローチャートである。
【図６】実施の形態に係る各端末の物理的構成例を示すブロック図である。
【発明を実施するための形態】
【００２３】
以下、本発明の実施の形態について図面を参照して詳細に説明する。なお図中、同一または同等の部分には同一の符号を付す。
【００２４】
図１は、本発明の実施の形態に係る理解支援システムの構成例を示すブロック図である。理解支援システム１は、１または２以上の講師端末１００、１または２以上の支援端末２００、および、１または２以上の被支援端末３００を備える。講師端末１００、支援端末２００、および被支援端末３００は、物理的に離れて存在し、それぞれ互いに、ネットワーク２で接続されている。ネットワーク２には、ＬＡＮ、ＷＡＮ、インターネットなどの規格を用いることができる。
【００２５】
理解支援システム１は、講師端末１００、支援端末２００、および被支援端末３００が協働して、被支援者に、講師を含む、話者の発話音声に基づき、支援者から、例えば、発話音声の要約の文字情報や理解を支援するための図のように、被支援者が認識できる視覚表示可能な支援情報の入力を受け付け、被支援者に提供する、理解支援を行う。また、被支援者から支援者に対する質問を受け付け、支援者に伝える、質問支援を行う。支援者および被支援者が、話者と同じ空間にいる場合や、話者と別の空間にいるが、通信装置により講義を視聴できる場合や、支援者および被支援者がそれぞれ録画された講義を視聴している場合などに、理解支援システム１は、理解支援および質問支援を行う。なお質問支援については、さらに、講師に質問を伝えるよう構成してもよい。以下に、講師端末１００、支援端末２００、および被支援端末３００の各部について説明する。
【００２６】
講師端末１００は、話者の発話音声、および話者の周辺映像または画像の取得を行い、それぞれを基に音声信号および映像信号を生成する端末である。講師端末１００は、講師側受信部１１、講師側送信部１２、講師側出力部１３および講義取得部１４を備える。
【００２７】
講義取得部１４は、例えば、複数のビデオカメラやマイクなどの、入力装置を用いて、例えば、講師の口頭での説明、被支援者以外の聴講者の口頭での質問、および講師の口頭での回答などの、講師を含む話者の発話音声を取得し、音声信号を生成する。また、例えば、講師を含む話者の周辺映像または画像を取得し、映像信号を生成する。入力装置は、講師端末１００に設けられ、または、講師端末１００の外部に設けられ講師端末１００に接続されている。講義取得部１４は、生成した音声信号および映像信号を、講師側送信部１２に送る。講師側送信部１２は、送られた音声信号および映像信号を、支援端末２００に送信する。
【００２８】
講師側受信部１１は、支援端末２００、および／または、被支援端末３００が送信した、被支援者の質問を受信し、講師側出力部１３に送る。講師側出力部１３は、講師側受信部１１から送られた被支援者の質問を出力する。
【００２９】
支援端末２００は、音声信号および映像信号に基づき、話者の発話音声および話者の周辺映像または画像を出力し、支援者から、発話音声の要約や被支援者の質問に対する回答を含む、視覚表示可能な支援情報、および話者の周辺映像または画像からの画像の選択を含む、編集指示の入力を受け付ける端末である。支援端末２００は、講義受信部２１、支援側送信部２２、講義出力部２３、支援部２４、支援側入力部２５、質問受信部２８、および質問出力部２９を備える。支援部２４は、編集部２６および重畳部２７を備える。講義受信部２１は、講師端末１００が送信した、音声信号および映像信号、を受信し、講義出力部２３および支援部２４に送る。
【００３０】
講義出力部２３は、送られた音声信号および映像信号から、話者の発話音声および話者の周辺映像または画像を再生する。講義取得部１４から、講義出力部２３への伝送遅延時間の差で、被支援者に発話音声が伝達されるのと同時に、講義出力部２３は、音声信号から発話音声を再生する。また、支援者および被支援者がライブで講義を視聴している場合には、講義取得部１４から、講義出力部２３への伝送遅延時間の差で、発話音声が発されるのと同時に、講義出力部２３は、音声信号から発話音声を再生する。伝送遅延時間には、例えば、発話音声の取得、Ａ／Ｄ変換、変調、伝送、復調、Ｄ／Ａ変換、再生などの処理にかかる時間が含まれる。
【００３１】
話者の発話音声および話者の周辺映像または画像については、例えば、支援者が発話音声を聞きながら、話者の周辺映像または画像の一部を選択して画像を生成する指示、および必要に応じて生成された画像を加工する指示の入力ができるように、再生された発話音声を聞き取ることができる範囲において、講義出力部２３は、映像信号から話者の周辺映像または画像を再生する。なお、上述の編集指示として、話者の周辺映像の任意の一部を動画として抽出する指示を受け付けるよう構成してもよい。
【００３２】
支援側入力部２５は、講義出力部２３において再生された発話音声を聞き取ることができる範囲において、発話音声の要約や被支援者の質問に対する回答などの視覚表示可能な支援情報の入力を受け付ける。さらに、話者の周辺映像または画像からの画像の選択を含む、編集指示の入力を受け付ける。支援側入力部２５は、受け付けた入力を支援部２４に送る。支援部２４内の、編集部２６は、入力された編集指示に基づき、例えば、話者の周辺映像または画像から選択された画像を生成する。重畳部２７は、入力された支援情報に、編集部２６において、話者の周辺映像または画像から選択された画像を重畳する。支援部２４は、支援情報を、支援側送信部２２に送る。
【００３３】
なお、講師端末１００において、映像を画像に変換して、支援端末２００に送信し、支援端末２００において、複数の画像から、支援者が選択した画像を支援情報に重畳するよう構成してもよい。視覚表示可能な情報とは、文字に限らず、例えば、手話を撮影した映像や画像などの、視覚的に認識可能な情報が含まれる。
【００３４】
質問受信部２８は、被支援端末３００から、被支援者の質問を受信し、支援側送信部２２および質問出力部２９に送る。質問出力部２９は、講義出力部２３において再生された、発話音声を聞き取ることができる範囲において、送られた質問を出力する。
【００３５】
支援側送信部２２は、送られた支援情報を、被支援端末３００に送信する。支援側入力部２５から、支援側送信部２２への処理遅延時間の差で、支援情報の入力の受け付けと同時に、被支援端末３００に支援情報を送信する。処理遅延時間には、例えば、話者の周辺映像または画像から選択された画像の生成、支援情報への画像の重畳、伝送などの処理にかかる時間が含まれる。支援側送信部２２は、支援者から、被支援者の質問を講師端末１００に送る旨の入力を受け付けた場合は、送られた被支援者の質問を講師端末１００に転送する。
【００３６】
図２は、実施の形態に係る講義出力部における表示例を示す図である。話者の周辺映像または画像が講義内容エリアに出力され、被支援者の質問が質問エリアに出力される。編集エリアは、編集指示に基づき話者の周辺映像または画像から選択された画像を出力する。入力された視覚表示可能な支援情報は、支援情報入力エリアに出力される。なお、上述の出力方法は一例であり、例えば、入力された視覚表示可能な支援情報と話者の周辺映像または画像から選択された画像を同じエリアに出力するよう構成してもよい。
【００３７】
図１の被支援端末３００は、被支援者からの質問の入力を受け付け、支援情報および被支援者の質問を出力する端末である。被支援端末３００は、被支援側受信部３１、被支援側送信部３２、被支援側出力部３３、質問部３４、および被支援側記憶部３５を備える。被支援側受信部３１は、支援端末２００が送信した、支援情報を受信し、被支援側出力部３３および被支援側記憶部３５に送る。
【００３８】
質問部３４は、被支援者からの、質問の入力を受け付け、被支援側送信部３２、被支援側出力部３３、および被支援側記憶部３５に送る。被支援側送信部３２は、送られた被支援者の質問を、支援端末２００に送信する。なお、被支援者の質問を、被支援端末３００から講師端末１００に送信するよう構成してもよい。
【００３９】
被支援側出力部３３は、送られた支援情報および被支援者の質問を出力する。被支援側出力部３３は、支援情報に含まれる複数の情報、例えば、発話音声の要約や回答などの文字入力と、話者の周辺映像または画像から選択された画像を共に出力する。また、被支援者の質問の入力を受け付けた場合には、支援情報と被支援者の質問を共に出力する。支援側入力部２５から、被支援側出力部３３への処理遅延時間の差で、支援情報の入力の受け付けと同時に、被支援側出力部３３は、支援情報を出力する。処理遅延時間には、例えば、話者の周辺映像または画像からの画像の選択、支援情報への画像の重畳、伝送などの処理にかかる時間が含まれる。
【００４０】
図３は、実施の形態に係る被支援側出力部における表示例を示す図である。支援情報に含まれる話者の周辺映像または画像から選択された画像や視覚表示可能な支援情報として入力された画像などが、画像エリアに出力される。支援情報に含まれる視覚表示可能な支援情報として入力された文字情報が文字エリアに出力される。また、被支援者から入力を受け付けた質問は、質問エリアに出力される。なお、上述の出力方法は一例であり、例えば、入力された文字情報と話者の周辺映像または画像から選択された画像を同じエリアに出力するよう構成してもよい。
【００４１】
図１の被支援側記憶部３５は、送られた支援情報および被支援者の質問を記憶する。被支援側記憶部３５は、支援情報に含まれる、入力された視覚表示可能な支援情報と、話者の周辺映像または画像から選択された画像との関連づけを保持したまま記憶する。また、被支援者の質問の入力を受け付けた場合には、支援情報と被支援者の質問の関連づけを保持したまま記憶する。
【００４２】
これにより、被支援側記憶部３５に記憶されたデータを読み込むことで、例えば、講義後に、被支援側出力部３３が、支援情報に含まれる、入力された発話音声の要約の文字情報または回答と、話者の周辺映像または画像から選択された画像とを共に出力することが可能となる。また、支援情報と支援情報に対する被支援者の質問を共に出力することも可能となる。
【００４３】
図１を用いて説明した、理解支援および質問支援の動作について、順に説明する。図４は、実施の形態に係る理解支援の動作の一例を示すフローチャートである。講師端末１００、支援端末２００、および被支援端末３００が協働して、理解支援を行う。講師端末１００は、話者の発話音声および話者の周辺映像または画像の取得を行い、それぞれを基に音声信号および映像信号を生成する（ステップＳ１０１）。講師端末１００は、音声信号および映像信号を、支援端末２００に送信する（ステップＳ１０２）。講師端末１００は、音声信号および映像信号の送信（ステップＳ１０２）が完了すると、ステップＳ１０１に戻る。
【００４４】
支援端末２００は、講師端末１００から、音声信号および映像信号を受信する（ステップＳ２０１）。支援端末２００は、音声信号および映像信号から、話者の発話音声および話者の周辺映像または画像を再生する（ステップＳ２０２）。支援端末２００は、支援者から、視覚表示可能な支援情報および編集指示の入力を受け付け、支援情報に話者の周辺映像または画像から選択された画像を重畳する（ステップＳ２０３）。支援端末２００は、支援情報を、被支援端末３００に送信する（ステップＳ２０４）。支援端末２００は、支援情報送信（ステップＳ２０４）が完了すると、ステップＳ２０１に戻る。
【００４５】
被支援端末３００は、支援端末２００から、支援情報を受信する（ステップＳ３０１）。被支援端末３００は、支援情報を出力する（ステップＳ３０２）。被支援端末３００は、支援情報を記憶する（ステップＳ３０３）。被支援端末３００は、支援情報記憶（ステップＳ３０３）が完了すると、ステップＳ３０１に戻る。なお、ステップＳ３０２およびステップＳ３０３の順序は問わない。また、ステップＳ３０２およびステップＳ３０３を並行して行うよう構成してもよい。
【００４６】
理解支援システム１は、上述の処理を繰り返し行い、理解支援を行う。
【００４７】
図５は、実施の形態に係る質問支援の動作の一例を示すフローチャートである。講師端末１００、支援端末２００、および被支援端末３００が協働して、質問支援を行う。被支援者の質問を支援端末２００において受信し、講師端末１００に転送せず支援者が回答する場合、講師端末１００に転送する場合のそれぞれについて、説明する。
【００４８】
（講師に転送せず、支援者が被支援者の質問に回答）
被支援端末３００は、被支援者から、質問の入力を受け付ける（ステップＳ４０１、Ｓ４０２：質問入力）。被支援端末３００は、被支援者の質問を支援端末２００に送信する（ステップＳ４０３）。被支援端末３００は、被支援者の質問を記憶する（ステップＳ４０４）。被支援者の質問の記憶（ステップＳ４０４）が完了すると、被支援端末３００は、ステップＳ４０１に戻る。なお、ステップＳ４０３およびステップＳ４０４の順序は問わない。また、ステップＳ４０３およびステップＳ４０４を並行して行うよう構成してもよい。
【００４９】
支援端末２００は、被支援端末３００から、被支援者の質問を受信する（ステップＳ５０１）。支援端末２００は、被支援者の質問を出力する（ステップＳ５０２）。
【００５０】
支援端末２００は、被支援者の質問を講師端末１００に転送するか否かの入力を受け付ける（ステップＳ５０３）。転送しない旨の入力を受け付けた場合は（ステップＳ５０３：ＮＯ）、支援者から、視覚表示可能な支援情報、および話者の周辺映像または画像に対する編集指示の入力を受け付け、話者の周辺映像または画像から選択された画像を支援情報に重畳する（ステップＳ５０４）。支援端末２００は、支援情報を、被支援端末３００に送信する（ステップＳ５０５）。支援端末２００は、支援情報送信（ステップＳ５０５）が完了すると、ステップＳ５０１に戻る。
【００５１】
被支援端末３００は、支援端末２００から、支援情報を受信する（ステップＳ４０１、Ｓ４０２：支援情報受信）。被支援端末３００は、支援情報を出力する（ステップＳ４０５）。被支援端末３００は、支援情報を記憶する（ステップＳ４０６）。被支援端末３００は、支援情報記憶（ステップＳ４０６）が完了すると、ステップＳ４０１に戻る。なお、ステップＳ４０５およびステップＳ４０６の順序は問わない。また、ステップＳ４０５およびステップＳ４０６を並行して行うよう構成してもよい。
【００５２】
（講師に質問を転送）
支援者が被支援者の質問に回答する場合と同様に、被支援端末３００は、被支援者から、質問の入力を受け付ける（ステップＳ４０１、Ｓ４０２：質問入力）。被支援端末３００は、被支援者の質問を支援端末２００に送信する（ステップＳ４０３）。被支援端末３００は、被支援者の質問を記憶する（ステップＳ４０４）。被支援者の質問の記憶（ステップＳ４０４）が完了すると、被支援端末３００は、ステップＳ４０１に戻る。
【００５３】
支援者が被支援者の質問に回答する場合と同様に、支援端末２００は、被支援端末３００から、被支援者の質問を受信する（ステップＳ５０１）。支援端末２００は、被支援者の質問を出力する（ステップＳ５０２）。
【００５４】
支援端末２００は、被支援者の質問を講師端末１００に転送するか否かの入力を受け付ける（ステップＳ５０３）。転送する旨の入力を受け付けた場合は（ステップＳ５０３：ＹＥＳ）、被支援者の質問を講師端末１００に転送する（ステップＳ５０６）。被支援者の質問の転送（ステップＳ５０６）が完了すると、支援端末２００は、ステップＳ５０１に戻る。なお質問の転送（ステップＳ５０６）が完了した後に、上述のステップＳ５０４、Ｓ５０５を行い、支援者が質問に回答するよう構成してもよい。
【００５５】
講師端末１００は、支援端末２００から、被支援者の質問を受信する（ステップＳ６０１）。講師端末１００は、被支援者の質問を出力する（ステップＳ６０２）。講師端末１００は、被支援者の質問の出力（ステップＳ６０２）が完了すると、ステップＳ６０１に戻る。講師端末１００が行う被支援者の質問の出力（ステップＳ６０２）により、講師が被支援者の質問を確認することが可能となる。その後、講師の口頭での回答は、図４の講師端末１００が行うステップＳ１０１において取得され、図４を用いて説明した理解支援が行われる。そして、図４を用いて説明したとおり、被支援端末３００に、支援情報が出力され、被支援者が講師の回答を認識することが可能となる。
【００５６】
理解支援システム１は、上述の処理を繰り返し行い、質問支援を行う。
【００５７】
以上説明したとおり、本発明の実施の形態に係る理解支援システム１が、被支援者に、被支援者が認識できる視覚表示可能な情報を提供することで、被支援者が講義内容を理解することを支援することが可能となる。また、被支援者から質問を受け付け、支援者および／または講師に提供し、被支援者が認識可能な形で、支援者および／または講師の回答を提供することで、被支援者が回答を理解することを支援することが可能となる。
【００５８】
本発明の実施の形態は上述の実施の形態に限られない。上述の実施の形態においては、各端末が出力部を備えていたが、例えば大型スクリーンのような、出力装置を講師端末１００、支援端末２００および被支援端末３００が共有するよう構成してもよい。
【００５９】
図６は、本発明の実施の形態に係る各端末の物理的な構成例を示すブロック図である。講師端末１００、支援端末２００および被支援端末３００は、図６に示すように、制御部４１、主記憶部４２、外部記憶部４３、操作部４４、表示部４５、入出力部４６、および送受信部４７を備える。主記憶部４２、外部記憶部４３、操作部４４、表示部４５、入出力部４６および送受信部４７はいずれも内部バス４０を介して制御部４１に接続されている。
【００６０】
制御部４１はＣＰＵ（Central Processing Unit）などから構成され、外部記憶部４３に記憶されている制御プログラム４８に従って、講師端末１００、支援端末２００、および被支援端末３００が行う理解支援および質問支援を実行する。
【００６１】
主記憶部４２はＲＡＭ（Random-Access Memory）などから構成され、外部記憶部４３に記憶されている制御プログラム４８をロードし、制御部４１の作業領域として用いられる。
【００６２】
外部記憶部４３は、フラッシュメモリ、ハードディスク、ＤＶＤ−ＲＡＭ（Digital Versatile Disc Random-Access Memory）、ＤＶＤ−ＲＷ（Digital Versatile Disc ReWritable）などの不揮発性メモリから構成され、上述の処理を制御部４１に行わせるための制御プログラム４８を予め記憶し、また、制御部４１の指示に従って、この制御プログラム４８が記憶するデータを制御部４１に供給し、制御部４１から供給されたデータを記憶する。
【００６３】
操作部４４はキーボードおよびマウスまたはタッチパネルなどのポインティングデバイス等と、キーボードおよびポインティングデバイス等を内部バス４０に接続するインタフェース装置から構成されている。操作部４４を介して、視覚表示可能な支援情報、話者の周辺映像または画像に対する編集指示、および被支援者の質問などの入力を受け付ける。
【００６４】
表示部４５は、ＣＲＴ（Cathode Ray Tube）、ＬＣＤ（Liquid Crystal Display）もしくは有機ＥＬディスプレイ、およびスピーカなどから構成され、例えば、話者の発話音声、話者の周辺映像または画像、被支援者の質問、および支援情報などを出力する。
【００６５】
入出力部４６は、シリアルインタフェースまたはパラレルインタフェースから構成されている。入出力部４６に、例えば、ビデオカメラやマイクなどが接続され、話者の発話音声、および話者の周辺映像または画像を取得する。
【００６６】
送受信部４７は、無線送受信機、無線モデムまたは網終端装置、およびそれらと接続するシリアルインタフェースまたはＬＡＮ（Local Area Network）インタフェースから構成されている。講師端末１００、支援端末２００、および被支援端末３００は、それぞれ送受信部４７を介して、ネットワーク２に接続し、相互の通信を行う。
【００６７】
講師端末１００、支援端末２００、および被支援端末３００の処理は、制御プログラム４８が、制御部４１、主記憶部４２、外部記憶部４３、操作部４４、表示部４５、入出力部４６、送受信部４７などを資源として用いて処理することによって実行する。
【００６８】
その他、前記のハードウェア構成やフローチャートは一例であり、任意に変更および修正が可能である。
【００６９】
制御部４１、主記憶部４２、外部記憶部４３、内部バス４０などから構成される制御処理を行う中心となる部分は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。たとえば、前記の動作を実行するためのコンピュータプログラムを、コンピュータが読み取り可能な記録媒体（フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭなど）に格納して配布し、前記コンピュータプログラムをコンピュータにインストールすることにより、前記の処理を実行する講師端末１００、支援端末２００、および被支援端末３００を構成してもよい。また、インターネットなどの通信ネットワーク上のサーバ装置が有する記憶装置に前記コンピュータプログラムを格納しておき、通常のコンピュータシステムがダウンロードなどすることで講師端末１００、支援端末２００、および被支援端末３００を構成してもよい。
【００７０】
また、講師端末１００、支援端末２００、および被支援端末３００の機能を、ＯＳ（オペレーティングシステム）とアプリケーションプログラムの分担、またはＯＳとアプリケーションプログラムとの協働により実現する場合などには、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。
【００７１】
また、搬送波にコンピュータプログラムを重畳し、通信ネットワークを介して配信することも可能である。たとえば、通信ネットワーク上の掲示板(BBS：Bulletin Board System)に前記コンピュータプログラムを掲示し、ネットワークを介して前記コンピュータプログラムを配信してもよい。そして、このコンピュータプログラムを起動し、ＯＳの制御下で、他のアプリケーションプログラムと同様に実行することにより、前記の処理を実行できるように構成してもよい。
【００７２】
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。
【００７３】
（付記１）
講師を含む、話者の発話音声を取得して音声信号を生成する、講義内容取得手段と、
前記音声信号から、前記発話音声を再生する、講義内容再生手段と、
前記講義内容再生手段で再生された、前記発話音声を聞き取ることができる範囲において、視覚表示可能な支援情報の入力を受け付ける、支援情報入力手段と、
前記支援情報を被支援者に表示する、支援情報表示手段と、
前記被支援者から、質問情報の入力を受け付ける、質問取得手段と、
入力された前記質問情報を、前記講義内容再生手段で再生された、前記発話音声を聞き取ることができる範囲において、表示する、質問表示手段と、
を備えることを特徴とする理解支援システム。
【００７４】
（付記２）
前記講義内容取得手段は、前記話者の発話音声に加えて、前記話者の、周辺映像または画像を取得して映像信号を生成し、
前記講義内容再生手段は、再生された前記発話音声を聞き取ることができる範囲において、前記映像信号から、前記話者の周辺映像または画像を再生し、
前記支援情報入力手段は、前記講義内容再生手段で再生された、前記発話音声を聞き取ることができる範囲において、前記話者の周辺映像または画像からの画像の選択を含む、編集指示の入力を受け付け、前記話者の周辺映像または画像から選択された画像を前記支援情報に重畳する、
ことを特徴とする付記１に記載の理解支援システム。
【００７５】
（付記３）
前記講義内容再生手段は、前記講義内容取得手段から前記講義内容再生手段への、前記音声信号の伝送遅延時間の差で、前記発話音声が発されるのと同時に、前記音声信号から前記発話音声を再生する、
ことを特徴とする付記１または２に記載の理解支援システム。
【００７６】
（付記４）
前記支援情報入力手段は、前記視覚表示可能な支援情報として、文字、画像もしくは映像、またはこれらの組み合わせ、の入力を受け付ける、
ことを特徴とする付記１ないし３のいずれかに記載の理解支援システム。
【００７７】
（付記５）
講師を含む、話者の発話音声から生成された音声信号を受信する、講義内容受信手段と、
前記音声信号から、前記発話音声を再生する、講義内容再生手段と、
前記講義内容再生手段で再生された、前記発話音声を聞き取ることができる範囲において、視覚表示可能な支援情報の入力を受け付ける、支援情報入力手段と、
前記支援情報を、被支援者に表示、または被支援端末に送信する、支援情報表示手段と、
前記被支援者から入力を受け付けた質問情報を受信する、質問受信手段と、
前記質問情報を、前記講義内容再生手段で再生された、前記発話音声を聞き取ることができる範囲において、表示する、質問表示手段と、
を備えることを特徴とする支援端末。
【００７８】
（付記６）
前記講義内容受信手段は、前記音声信号に加え、前記話者の、周辺映像または画像から生成された映像信号を受信し、
前記講義内容再生手段は、再生された前記発話音声を聞き取ることができる範囲において、前記映像信号から、前記話者の周辺映像または画像を再生し、
前記支援情報入力手段は、前記講義内容再生手段で再生された、前記発話音声を聞き取ることができる範囲において、前記話者の周辺映像または画像からの画像の選択を含む、編集指示の入力を受け付け、前記話者の周辺映像または画像から選択された画像を前記支援情報に重畳する、
ことを特徴とする付記５に記載の支援端末。
【００７９】
（付記７）
前記支援情報入力手段は、前記視覚表示可能な支援情報として、文字、画像もしくは映像、またはこれらの組み合わせ、の入力を受け付ける、
ことを特徴とする付記５または６に記載の支援端末。
【００８０】
（付記８）
聴覚障がい者が、話者の発話音声を理解することを支援する、理解支援システムが行う理解支援方法であって、
講師を含む、話者の発話音声を取得して音声信号を生成する、講義内容取得ステップと、
前記音声信号から、前記発話音声を再生する、講義内容再生ステップと、
前記講義内容再生ステップで再生された、前記発話音声を聞き取ることができる範囲において、視覚表示可能な支援情報の入力を受け付ける、支援情報入力ステップと、
前記支援情報を被支援者に表示する、支援情報表示ステップと、
前記被支援者から、質問情報の入力を受け付ける、質問取得ステップと、
入力された前記質問情報を、前記講義内容再生ステップで再生された、前記発話音声を聞き取ることができる範囲において、表示する、質問表示ステップと、
を備えることを特徴とする理解支援方法。
【００８１】
（付記９）
前記講義内容取得ステップにおいて、前記話者の発話音声に加えて、前記話者の、周辺映像または画像を取得して映像信号を生成し、
前記講義内容再生ステップにおいて、再生された前記発話音声を聞き取ることができる範囲において、前記映像信号から、前記話者の周辺映像または画像を再生し、
前記支援情報入力ステップにおいて、前記講義内容再生ステップで再生された、前記発話音声を聞き取ることができる範囲において、前記話者の周辺映像または画像からの画像の選択を含む、編集指示の入力を受け付け、前記話者の周辺映像または画像から選択された画像を前記支援情報に重畳する、
ことを特徴とする付記８に記載の理解支援方法。
【００８２】
（付記１０）
前記講義内容再生ステップにおいて、前記講義内容取得ステップから前記講義内容再生ステップへの、前記音声信号の伝送遅延時間の差で、前記発話音声が発されるのと同時に、前記音声信号から前記発話音声を再生する、
ことを特徴とする付記８または９に記載の理解支援方法。
【００８３】
（付記１１）
前記支援情報入力ステップにおいて、前記視覚表示可能な支援情報として、文字、画像もしくは映像、またはこれらの組み合わせ、の入力を受け付ける、
ことを特徴とする付記８ないし１０のいずれかに記載の理解支援方法。
【００８４】
（付記１２）
聴覚障がい者が、話者の発話音声を理解することを支援するための、支援情報の入力を受け付ける、支援端末が行う理解支援方法であって、
講師を含む、話者の発話音声から生成された音声信号を受信する、講義内容受信ステップと、
前記音声信号から、前記発話音声を再生する、講義内容再生ステップと、
前記講義内容再生ステップで再生された、前記発話音声を聞き取ることができる範囲において、視覚表示可能な支援情報の入力を受け付ける、支援情報入力ステップと、
前記支援情報を、被支援者に表示、または被支援端末に送信する、支援情報表示ステップと、
前記被支援者から入力を受け付けた質問情報を受信する、質問受信ステップと、
前記質問情報を、前記講義内容再生ステップで再生された、前記発話音声を聞き取ることができる範囲において、表示する、質問表示ステップと、
を備えることを特徴とする理解支援方法。
【００８５】
（付記１３）
前記講義内容受信ステップにおいて、前記音声信号に加え、前記話者の、周辺映像または画像から生成された映像信号を受信し、
前記講義内容再生ステップにおいて、再生された前記発話音声を聞き取ることができる範囲において、前記映像信号から、前記話者の周辺映像または画像を再生し、
前記支援情報入力ステップにおいて、前記講義内容再生ステップで再生された、前記発話音声を聞き取ることができる範囲において、前記話者の周辺映像または画像からの画像の選択を含む、編集指示の入力を受け付け、前記話者の周辺映像または画像から選択された画像を前記支援情報に重畳する、
ことを特徴とする付記１２に記載の理解支援方法。
【００８６】
（付記１４）
前記支援情報入力ステップにおいて、前記視覚表示可能な支援情報として、文字、画像もしくは映像、またはこれらの組み合わせ、の入力を受け付ける、
ことを特徴とする付記１２または１３に記載の理解支援方法。
【００８７】
（付記１５）
コンピュータに、
講師を含む、話者の発話音声を取得して音声信号を生成する、講義内容取得ステップと、
前記音声信号から、前記発話音声を再生する、講義内容再生ステップと、
前記講義内容再生ステップで再生された、前記発話音声を聞き取ることができる範囲において、視覚表示可能な支援情報の入力を受け付ける、支援情報入力ステップと、
前記支援情報を被支援者に表示する、支援情報表示ステップと、
前記被支援者から、質問情報の入力を受け付ける、質問取得ステップと、
入力された前記質問情報を、前記講義内容再生ステップで再生された、前記発話音声を聞き取ることができる範囲において、表示する、質問表示ステップと、
を実行させることを特徴とするプログラム。
【符号の説明】
【００８８】
１ 理解支援システム
２ ネットワーク
１１ 講師側受信部
１２ 講師側送信部
１３ 講師側出力部
１４ 講義取得部
２１ 講義受信部
２２ 支援側送信部
２３ 講義出力部
２４ 支援部
２５ 支援側入力部
２６ 編集部
２７ 重畳部
２８ 質問受信部
２９ 質問出力部
３１ 被支援側受信部
３２ 被支援側送信部
３３ 被支援側出力部
３４ 質問部
３５ 被支援側記憶部
４０ 内部バス
４１ 制御部
４２ 主記憶部
４３ 外部記憶部
４４ 操作部
４５ 表示部
４６ 入出力部
４７ 送受信部
４８ 制御プログラム
１００ 講師端末
２００ 支援端末
３００ 被支援端末
【技術分野】
【０００１】
本発明は、理解支援システム、支援端末、理解支援方法およびプログラムに関する。
【背景技術】
【０００２】
音声を認識することができない聴覚障がい者が、健聴者が講師を務める講義や講演を受講する際には、手話通訳や要約筆記通訳などの支援が必要である。そこで、聴覚障がい者が講師の口頭での説明を理解することを支援する技術や、聴覚障がい者と健聴者の間のコミュニケーションを支援する技術が開発されている。
【０００３】
特許文献１には、要約者支援装置および要約者支援方法が開示されている。この要約者支援方法により、話者の発話音声に含まれる指示代名詞および話者の指示動作に基づく、図、写真、式などの指示対象候補を要約者端末に表示することが可能となる。そして、要約者から、指示対象の選択および文字の入力を受け付け、選択された指示対象を、入力された文字情報と共に聴覚障がい者端末に表示する。
【０００４】
特許文献２には、要約者から提供される文字情報中に、聴覚障がい者がメモをとることができる要約筆記通訳支援システムが開示されている。この要約筆記通訳支援システムにおいて、要約者端末は、要約者から、話者の発話音声の要約の入力を受け付け、要約の文字情報を聴覚障がい者端末に送る。また、聴覚障がい者端末は、聴覚障がい者から、注釈や板書の内容などのメモの入力を受け付けることができる。
【０００５】
特許文献３には、健聴者と聴覚障がい者の間のコミュニケーションを支援する技術が開示されている。このコミュニケーション支援技術は、健聴者の発話音声を文字に変換し、冗長な言い回しを除去して、聴覚障がい者端末に表示する。また、発話データに基づき、文字入力予測データを更新し、聴覚障がい者の文字入力を支援する。
【０００６】
特許文献４には、文字入力を音声に変換して音声出力し、音声入力を文字に変換して表示する聴覚障がい者用対話支援装置が開示されている。
【０００７】
特許文献５には、手話を認識して文字に変換し、音声入力を文字に変換して表示するインターフォン装置および双方向通話方法が開示されている。
【０００８】
特許文献６には、１の講師端末から複数の受講者端末へ講義を配信し、受講者端末から講師端末へ質問が送られた場合に、所定の条件に基づいて質問の回答の取得および質問の分類を行い、分類に基づいて所定の受講者端末に回答を送信する技術が開示されている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００９−１７５８０３号公報
【特許文献２】特開平０７−１９９８０３号公報
【特許文献３】特開２００２−３２３９６９号公報
【特許文献４】特開２００３−１５０１８８号公報
【特許文献５】特開２００４−２５４２１７号公報
【特許文献６】特開２００９−２１７１５１号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
講義や講演の受講者の中には、聴覚障がい者のように、話者の発話音声を理解するために、手話通訳や要約筆記通訳などの支援が必要な受講者（以下、被支援者と記す）がいる場合がある。被支援者が、講師や被支援者でない聴講者の発話音声を理解するためには、例えば、要約者などの支援者が入力する発話音声の要約の文字情報のような、被支援者が認識できる視覚表示可能な情報が、被支援者に提供される必要がある。また、被支援者から支援者に対する質問を受け付け、被支援者が認識可能な形で、支援者からの回答が被支援者に提供されると、被支援者がより理解を深めることを支援することが可能となる。
【００１１】
特許文献１に開示されている技術では、被支援者に、被支援者が認識可能な形で、話者の発話内容が提供されるが、被支援者から質問を受け付けることはできない。
【００１２】
特許文献２に開示されている技術では、被支援者に、被支援者が認識可能な形で、話者の発話音声が提供される。また、被支援者がメモをとり、支援者が、被支援者のメモを確認することができる。しかし、被支援者から質問を受け付け、支援者に質問を提供することはできない。
【００１３】
特許文献３、４および５に開示されている技術では、話者の発話音声を文字情報に変換することにより、被支援者に、被支援者が認識可能な形で、話者の発話音声を提供することが可能となり、被支援者の文字または手話の入力により、質問を受け付けることが可能となる。しかし、講師以外の第三者である、支援者に質問を提供することはできない。
【００１４】
特許文献６に開示されている技術では、被支援者と講師の間で、文字での質問と回答のやりとりが可能であるが、被支援者の質問に、講師が口頭で回答した場合には、被支援者に、被支援者が認識可能な形で、講師の回答を提供することができない。また、講師以外の第三者である、支援者に質問を提供することはできない。
【００１５】
本発明は、上述の事情に鑑みてなされたものであり、被支援者に、被支援者が認識できる視覚表示可能な情報を提供し、また、被支援者から支援者に対する質問を受け付け、支援者に伝えることを目的とする。
【課題を解決するための手段】
【００１６】
上記目的を達成するため、本発明の第１の観点に係る理解支援システムは、
講師を含む、話者の発話音声を取得して音声信号を生成する、講義内容取得手段と、
前記音声信号から、前記発話音声を再生する、講義内容再生手段と、
前記講義内容再生手段で再生された、前記発話音声を聞き取ることができる範囲において、視覚表示可能な支援情報の入力を受け付ける、支援情報入力手段と、
前記支援情報を被支援者に表示する、支援情報表示手段と、
前記被支援者から、質問情報の入力を受け付ける、質問取得手段と、
入力された前記質問情報を、前記講義内容再生手段で再生された、前記発話音声を聞き取ることができる範囲において、表示する、質問表示手段と、
を備えることを特徴とする。
【００１７】
本発明の第２の観点に係る支援端末は、
講師を含む、話者の発話音声から生成された音声信号を受信する、講義内容受信手段と、
前記音声信号から、前記発話音声を再生する、講義内容再生手段と、
前記講義内容再生手段で再生された、前記発話音声を聞き取ることができる範囲において、視覚表示可能な支援情報の入力を受け付ける、支援情報入力手段と、
前記支援情報を、被支援者に表示、または被支援端末に送信する、支援情報表示手段と、
前記被支援者から入力を受け付けた質問情報を受信する、質問受信手段と、
前記質問情報を、前記講義内容再生手段で再生された、前記発話音声を聞き取ることができる範囲において、表示する、質問表示手段と、
を備えることを特徴とする。
【００１８】
本発明の第３の観点に係る理解支援方法は、
聴覚障がい者が、話者の発話音声を理解することを支援する、理解支援システムが行う理解支援方法であって、
講師を含む、話者の発話音声を取得して音声信号を生成する、講義内容取得ステップと、
前記音声信号から、前記発話音声を再生する、講義内容再生ステップと、
前記講義内容再生ステップで再生された、前記発話音声を聞き取ることができる範囲において、視覚表示可能な支援情報の入力を受け付ける、支援情報入力ステップと、
前記支援情報を被支援者に表示する、支援情報表示ステップと、
前記被支援者から、質問情報の入力を受け付ける、質問取得ステップと、
入力された前記質問情報を、前記講義内容再生ステップで再生された、前記発話音声を聞き取ることができる範囲において、表示する、質問表示ステップと、
を備えることを特徴とする。
【００１９】
本発明の第４の観点に係る理解支援方法は、
聴覚障がい者が、話者の発話音声を理解することを支援するための、支援情報の入力を受け付ける、支援端末が行う理解支援方法であって、
講師を含む、話者の発話音声から生成された音声信号を受信する、講義内容受信ステップと、
前記音声信号から、前記発話音声を再生する、講義内容再生ステップと、
前記講義内容再生ステップで再生された、前記発話音声を聞き取ることができる範囲において、視覚表示可能な支援情報の入力を受け付ける、支援情報入力ステップと、
前記支援情報を、被支援者に表示、または被支援端末に送信する、支援情報表示ステップと、
前記被支援者から入力を受け付けた質問情報を受信する、質問受信ステップと、
前記質問情報を、前記講義内容再生ステップで再生された、前記発話音声を聞き取ることができる範囲において、表示する、質問表示ステップと、
を備えることを特徴とする。
【００２０】
本発明の第５の観点に係るプログラムは、コンピュータに、
講師を含む、話者の発話音声を取得して音声信号を生成する、講義内容取得ステップと、
前記音声信号から、前記発話音声を再生する、講義内容再生ステップと、
前記講義内容再生ステップで再生された、前記発話音声を聞き取ることができる範囲において、視覚表示可能な支援情報の入力を受け付ける、支援情報入力ステップと、
前記支援情報を被支援者に表示する、支援情報表示ステップと、
前記被支援者から、質問情報の入力を受け付ける、質問取得ステップと、
入力された前記質問情報を、前記講義内容再生ステップで再生された、前記発話音声を聞き取ることができる範囲において、表示する、質問表示ステップと、
を実行させることを特徴とする。
【発明の効果】
【００２１】
本発明によれば、被支援者に、被支援者が認識できる視覚表示可能な情報を提供し、また、被支援者から支援者に対する質問を受け付け、支援者に伝えることが可能となる。
【図面の簡単な説明】
【００２２】
【図１】本発明の実施の形態に係る理解支援システムの構成例を示すブロック図である。
【図２】実施の形態に係る講義出力部における表示例を示す図である。
【図３】実施の形態に係る被支援側出力部における表示例を示す図である。
【図４】実施の形態に係る理解支援の動作の一例を示すフローチャートである。
【図５】実施の形態に係る質問支援の動作の一例を示すフローチャートである。
【図６】実施の形態に係る各端末の物理的構成例を示すブロック図である。
【発明を実施するための形態】
【００２３】
以下、本発明の実施の形態について図面を参照して詳細に説明する。なお図中、同一または同等の部分には同一の符号を付す。
【００２４】
図１は、本発明の実施の形態に係る理解支援システムの構成例を示すブロック図である。理解支援システム１は、１または２以上の講師端末１００、１または２以上の支援端末２００、および、１または２以上の被支援端末３００を備える。講師端末１００、支援端末２００、および被支援端末３００は、物理的に離れて存在し、それぞれ互いに、ネットワーク２で接続されている。ネットワーク２には、ＬＡＮ、ＷＡＮ、インターネットなどの規格を用いることができる。
【００２５】
理解支援システム１は、講師端末１００、支援端末２００、および被支援端末３００が協働して、被支援者に、講師を含む、話者の発話音声に基づき、支援者から、例えば、発話音声の要約の文字情報や理解を支援するための図のように、被支援者が認識できる視覚表示可能な支援情報の入力を受け付け、被支援者に提供する、理解支援を行う。また、被支援者から支援者に対する質問を受け付け、支援者に伝える、質問支援を行う。支援者および被支援者が、話者と同じ空間にいる場合や、話者と別の空間にいるが、通信装置により講義を視聴できる場合や、支援者および被支援者がそれぞれ録画された講義を視聴している場合などに、理解支援システム１は、理解支援および質問支援を行う。なお質問支援については、さらに、講師に質問を伝えるよう構成してもよい。以下に、講師端末１００、支援端末２００、および被支援端末３００の各部について説明する。
【００２６】
講師端末１００は、話者の発話音声、および話者の周辺映像または画像の取得を行い、それぞれを基に音声信号および映像信号を生成する端末である。講師端末１００は、講師側受信部１１、講師側送信部１２、講師側出力部１３および講義取得部１４を備える。
【００２７】
講義取得部１４は、例えば、複数のビデオカメラやマイクなどの、入力装置を用いて、例えば、講師の口頭での説明、被支援者以外の聴講者の口頭での質問、および講師の口頭での回答などの、講師を含む話者の発話音声を取得し、音声信号を生成する。また、例えば、講師を含む話者の周辺映像または画像を取得し、映像信号を生成する。入力装置は、講師端末１００に設けられ、または、講師端末１００の外部に設けられ講師端末１００に接続されている。講義取得部１４は、生成した音声信号および映像信号を、講師側送信部１２に送る。講師側送信部１２は、送られた音声信号および映像信号を、支援端末２００に送信する。
【００２８】
講師側受信部１１は、支援端末２００、および／または、被支援端末３００が送信した、被支援者の質問を受信し、講師側出力部１３に送る。講師側出力部１３は、講師側受信部１１から送られた被支援者の質問を出力する。
【００２９】
支援端末２００は、音声信号および映像信号に基づき、話者の発話音声および話者の周辺映像または画像を出力し、支援者から、発話音声の要約や被支援者の質問に対する回答を含む、視覚表示可能な支援情報、および話者の周辺映像または画像からの画像の選択を含む、編集指示の入力を受け付ける端末である。支援端末２００は、講義受信部２１、支援側送信部２２、講義出力部２３、支援部２４、支援側入力部２５、質問受信部２８、および質問出力部２９を備える。支援部２４は、編集部２６および重畳部２７を備える。講義受信部２１は、講師端末１００が送信した、音声信号および映像信号、を受信し、講義出力部２３および支援部２４に送る。
【００３０】
講義出力部２３は、送られた音声信号および映像信号から、話者の発話音声および話者の周辺映像または画像を再生する。講義取得部１４から、講義出力部２３への伝送遅延時間の差で、被支援者に発話音声が伝達されるのと同時に、講義出力部２３は、音声信号から発話音声を再生する。また、支援者および被支援者がライブで講義を視聴している場合には、講義取得部１４から、講義出力部２３への伝送遅延時間の差で、発話音声が発されるのと同時に、講義出力部２３は、音声信号から発話音声を再生する。伝送遅延時間には、例えば、発話音声の取得、Ａ／Ｄ変換、変調、伝送、復調、Ｄ／Ａ変換、再生などの処理にかかる時間が含まれる。
【００３１】
話者の発話音声および話者の周辺映像または画像については、例えば、支援者が発話音声を聞きながら、話者の周辺映像または画像の一部を選択して画像を生成する指示、および必要に応じて生成された画像を加工する指示の入力ができるように、再生された発話音声を聞き取ることができる範囲において、講義出力部２３は、映像信号から話者の周辺映像または画像を再生する。なお、上述の編集指示として、話者の周辺映像の任意の一部を動画として抽出する指示を受け付けるよう構成してもよい。
【００３２】
支援側入力部２５は、講義出力部２３において再生された発話音声を聞き取ることができる範囲において、発話音声の要約や被支援者の質問に対する回答などの視覚表示可能な支援情報の入力を受け付ける。さらに、話者の周辺映像または画像からの画像の選択を含む、編集指示の入力を受け付ける。支援側入力部２５は、受け付けた入力を支援部２４に送る。支援部２４内の、編集部２６は、入力された編集指示に基づき、例えば、話者の周辺映像または画像から選択された画像を生成する。重畳部２７は、入力された支援情報に、編集部２６において、話者の周辺映像または画像から選択された画像を重畳する。支援部２４は、支援情報を、支援側送信部２２に送る。
【００３３】
なお、講師端末１００において、映像を画像に変換して、支援端末２００に送信し、支援端末２００において、複数の画像から、支援者が選択した画像を支援情報に重畳するよう構成してもよい。視覚表示可能な情報とは、文字に限らず、例えば、手話を撮影した映像や画像などの、視覚的に認識可能な情報が含まれる。
【００３４】
質問受信部２８は、被支援端末３００から、被支援者の質問を受信し、支援側送信部２２および質問出力部２９に送る。質問出力部２９は、講義出力部２３において再生された、発話音声を聞き取ることができる範囲において、送られた質問を出力する。
【００３５】
支援側送信部２２は、送られた支援情報を、被支援端末３００に送信する。支援側入力部２５から、支援側送信部２２への処理遅延時間の差で、支援情報の入力の受け付けと同時に、被支援端末３００に支援情報を送信する。処理遅延時間には、例えば、話者の周辺映像または画像から選択された画像の生成、支援情報への画像の重畳、伝送などの処理にかかる時間が含まれる。支援側送信部２２は、支援者から、被支援者の質問を講師端末１００に送る旨の入力を受け付けた場合は、送られた被支援者の質問を講師端末１００に転送する。
【００３６】
図２は、実施の形態に係る講義出力部における表示例を示す図である。話者の周辺映像または画像が講義内容エリアに出力され、被支援者の質問が質問エリアに出力される。編集エリアは、編集指示に基づき話者の周辺映像または画像から選択された画像を出力する。入力された視覚表示可能な支援情報は、支援情報入力エリアに出力される。なお、上述の出力方法は一例であり、例えば、入力された視覚表示可能な支援情報と話者の周辺映像または画像から選択された画像を同じエリアに出力するよう構成してもよい。
【００３７】
図１の被支援端末３００は、被支援者からの質問の入力を受け付け、支援情報および被支援者の質問を出力する端末である。被支援端末３００は、被支援側受信部３１、被支援側送信部３２、被支援側出力部３３、質問部３４、および被支援側記憶部３５を備える。被支援側受信部３１は、支援端末２００が送信した、支援情報を受信し、被支援側出力部３３および被支援側記憶部３５に送る。
【００３８】
質問部３４は、被支援者からの、質問の入力を受け付け、被支援側送信部３２、被支援側出力部３３、および被支援側記憶部３５に送る。被支援側送信部３２は、送られた被支援者の質問を、支援端末２００に送信する。なお、被支援者の質問を、被支援端末３００から講師端末１００に送信するよう構成してもよい。
【００３９】
被支援側出力部３３は、送られた支援情報および被支援者の質問を出力する。被支援側出力部３３は、支援情報に含まれる複数の情報、例えば、発話音声の要約や回答などの文字入力と、話者の周辺映像または画像から選択された画像を共に出力する。また、被支援者の質問の入力を受け付けた場合には、支援情報と被支援者の質問を共に出力する。支援側入力部２５から、被支援側出力部３３への処理遅延時間の差で、支援情報の入力の受け付けと同時に、被支援側出力部３３は、支援情報を出力する。処理遅延時間には、例えば、話者の周辺映像または画像からの画像の選択、支援情報への画像の重畳、伝送などの処理にかかる時間が含まれる。
【００４０】
図３は、実施の形態に係る被支援側出力部における表示例を示す図である。支援情報に含まれる話者の周辺映像または画像から選択された画像や視覚表示可能な支援情報として入力された画像などが、画像エリアに出力される。支援情報に含まれる視覚表示可能な支援情報として入力された文字情報が文字エリアに出力される。また、被支援者から入力を受け付けた質問は、質問エリアに出力される。なお、上述の出力方法は一例であり、例えば、入力された文字情報と話者の周辺映像または画像から選択された画像を同じエリアに出力するよう構成してもよい。
【００４１】
図１の被支援側記憶部３５は、送られた支援情報および被支援者の質問を記憶する。被支援側記憶部３５は、支援情報に含まれる、入力された視覚表示可能な支援情報と、話者の周辺映像または画像から選択された画像との関連づけを保持したまま記憶する。また、被支援者の質問の入力を受け付けた場合には、支援情報と被支援者の質問の関連づけを保持したまま記憶する。
【００４２】
これにより、被支援側記憶部３５に記憶されたデータを読み込むことで、例えば、講義後に、被支援側出力部３３が、支援情報に含まれる、入力された発話音声の要約の文字情報または回答と、話者の周辺映像または画像から選択された画像とを共に出力することが可能となる。また、支援情報と支援情報に対する被支援者の質問を共に出力することも可能となる。
【００４３】
図１を用いて説明した、理解支援および質問支援の動作について、順に説明する。図４は、実施の形態に係る理解支援の動作の一例を示すフローチャートである。講師端末１００、支援端末２００、および被支援端末３００が協働して、理解支援を行う。講師端末１００は、話者の発話音声および話者の周辺映像または画像の取得を行い、それぞれを基に音声信号および映像信号を生成する（ステップＳ１０１）。講師端末１００は、音声信号および映像信号を、支援端末２００に送信する（ステップＳ１０２）。講師端末１００は、音声信号および映像信号の送信（ステップＳ１０２）が完了すると、ステップＳ１０１に戻る。
【００４４】
支援端末２００は、講師端末１００から、音声信号および映像信号を受信する（ステップＳ２０１）。支援端末２００は、音声信号および映像信号から、話者の発話音声および話者の周辺映像または画像を再生する（ステップＳ２０２）。支援端末２００は、支援者から、視覚表示可能な支援情報および編集指示の入力を受け付け、支援情報に話者の周辺映像または画像から選択された画像を重畳する（ステップＳ２０３）。支援端末２００は、支援情報を、被支援端末３００に送信する（ステップＳ２０４）。支援端末２００は、支援情報送信（ステップＳ２０４）が完了すると、ステップＳ２０１に戻る。
【００４５】
被支援端末３００は、支援端末２００から、支援情報を受信する（ステップＳ３０１）。被支援端末３００は、支援情報を出力する（ステップＳ３０２）。被支援端末３００は、支援情報を記憶する（ステップＳ３０３）。被支援端末３００は、支援情報記憶（ステップＳ３０３）が完了すると、ステップＳ３０１に戻る。なお、ステップＳ３０２およびステップＳ３０３の順序は問わない。また、ステップＳ３０２およびステップＳ３０３を並行して行うよう構成してもよい。
【００４６】
理解支援システム１は、上述の処理を繰り返し行い、理解支援を行う。
【００４７】
図５は、実施の形態に係る質問支援の動作の一例を示すフローチャートである。講師端末１００、支援端末２００、および被支援端末３００が協働して、質問支援を行う。被支援者の質問を支援端末２００において受信し、講師端末１００に転送せず支援者が回答する場合、講師端末１００に転送する場合のそれぞれについて、説明する。
【００４８】
（講師に転送せず、支援者が被支援者の質問に回答）
被支援端末３００は、被支援者から、質問の入力を受け付ける（ステップＳ４０１、Ｓ４０２：質問入力）。被支援端末３００は、被支援者の質問を支援端末２００に送信する（ステップＳ４０３）。被支援端末３００は、被支援者の質問を記憶する（ステップＳ４０４）。被支援者の質問の記憶（ステップＳ４０４）が完了すると、被支援端末３００は、ステップＳ４０１に戻る。なお、ステップＳ４０３およびステップＳ４０４の順序は問わない。また、ステップＳ４０３およびステップＳ４０４を並行して行うよう構成してもよい。
【００４９】
支援端末２００は、被支援端末３００から、被支援者の質問を受信する（ステップＳ５０１）。支援端末２００は、被支援者の質問を出力する（ステップＳ５０２）。
【００５０】
支援端末２００は、被支援者の質問を講師端末１００に転送するか否かの入力を受け付ける（ステップＳ５０３）。転送しない旨の入力を受け付けた場合は（ステップＳ５０３：ＮＯ）、支援者から、視覚表示可能な支援情報、および話者の周辺映像または画像に対する編集指示の入力を受け付け、話者の周辺映像または画像から選択された画像を支援情報に重畳する（ステップＳ５０４）。支援端末２００は、支援情報を、被支援端末３００に送信する（ステップＳ５０５）。支援端末２００は、支援情報送信（ステップＳ５０５）が完了すると、ステップＳ５０１に戻る。
【００５１】
被支援端末３００は、支援端末２００から、支援情報を受信する（ステップＳ４０１、Ｓ４０２：支援情報受信）。被支援端末３００は、支援情報を出力する（ステップＳ４０５）。被支援端末３００は、支援情報を記憶する（ステップＳ４０６）。被支援端末３００は、支援情報記憶（ステップＳ４０６）が完了すると、ステップＳ４０１に戻る。なお、ステップＳ４０５およびステップＳ４０６の順序は問わない。また、ステップＳ４０５およびステップＳ４０６を並行して行うよう構成してもよい。
【００５２】
（講師に質問を転送）
支援者が被支援者の質問に回答する場合と同様に、被支援端末３００は、被支援者から、質問の入力を受け付ける（ステップＳ４０１、Ｓ４０２：質問入力）。被支援端末３００は、被支援者の質問を支援端末２００に送信する（ステップＳ４０３）。被支援端末３００は、被支援者の質問を記憶する（ステップＳ４０４）。被支援者の質問の記憶（ステップＳ４０４）が完了すると、被支援端末３００は、ステップＳ４０１に戻る。
【００５３】
支援者が被支援者の質問に回答する場合と同様に、支援端末２００は、被支援端末３００から、被支援者の質問を受信する（ステップＳ５０１）。支援端末２００は、被支援者の質問を出力する（ステップＳ５０２）。
【００５４】
支援端末２００は、被支援者の質問を講師端末１００に転送するか否かの入力を受け付ける（ステップＳ５０３）。転送する旨の入力を受け付けた場合は（ステップＳ５０３：ＹＥＳ）、被支援者の質問を講師端末１００に転送する（ステップＳ５０６）。被支援者の質問の転送（ステップＳ５０６）が完了すると、支援端末２００は、ステップＳ５０１に戻る。なお質問の転送（ステップＳ５０６）が完了した後に、上述のステップＳ５０４、Ｓ５０５を行い、支援者が質問に回答するよう構成してもよい。
【００５５】
講師端末１００は、支援端末２００から、被支援者の質問を受信する（ステップＳ６０１）。講師端末１００は、被支援者の質問を出力する（ステップＳ６０２）。講師端末１００は、被支援者の質問の出力（ステップＳ６０２）が完了すると、ステップＳ６０１に戻る。講師端末１００が行う被支援者の質問の出力（ステップＳ６０２）により、講師が被支援者の質問を確認することが可能となる。その後、講師の口頭での回答は、図４の講師端末１００が行うステップＳ１０１において取得され、図４を用いて説明した理解支援が行われる。そして、図４を用いて説明したとおり、被支援端末３００に、支援情報が出力され、被支援者が講師の回答を認識することが可能となる。
【００５６】
理解支援システム１は、上述の処理を繰り返し行い、質問支援を行う。
【００５７】
以上説明したとおり、本発明の実施の形態に係る理解支援システム１が、被支援者に、被支援者が認識できる視覚表示可能な情報を提供することで、被支援者が講義内容を理解することを支援することが可能となる。また、被支援者から質問を受け付け、支援者および／または講師に提供し、被支援者が認識可能な形で、支援者および／または講師の回答を提供することで、被支援者が回答を理解することを支援することが可能となる。
【００５８】
本発明の実施の形態は上述の実施の形態に限られない。上述の実施の形態においては、各端末が出力部を備えていたが、例えば大型スクリーンのような、出力装置を講師端末１００、支援端末２００および被支援端末３００が共有するよう構成してもよい。
【００５９】
図６は、本発明の実施の形態に係る各端末の物理的な構成例を示すブロック図である。講師端末１００、支援端末２００および被支援端末３００は、図６に示すように、制御部４１、主記憶部４２、外部記憶部４３、操作部４４、表示部４５、入出力部４６、および送受信部４７を備える。主記憶部４２、外部記憶部４３、操作部４４、表示部４５、入出力部４６および送受信部４７はいずれも内部バス４０を介して制御部４１に接続されている。
【００６０】
制御部４１はＣＰＵ（Central Processing Unit）などから構成され、外部記憶部４３に記憶されている制御プログラム４８に従って、講師端末１００、支援端末２００、および被支援端末３００が行う理解支援および質問支援を実行する。
【００６１】
主記憶部４２はＲＡＭ（Random-Access Memory）などから構成され、外部記憶部４３に記憶されている制御プログラム４８をロードし、制御部４１の作業領域として用いられる。
【００６２】
外部記憶部４３は、フラッシュメモリ、ハードディスク、ＤＶＤ−ＲＡＭ（Digital Versatile Disc Random-Access Memory）、ＤＶＤ−ＲＷ（Digital Versatile Disc ReWritable）などの不揮発性メモリから構成され、上述の処理を制御部４１に行わせるための制御プログラム４８を予め記憶し、また、制御部４１の指示に従って、この制御プログラム４８が記憶するデータを制御部４１に供給し、制御部４１から供給されたデータを記憶する。
【００６３】
操作部４４はキーボードおよびマウスまたはタッチパネルなどのポインティングデバイス等と、キーボードおよびポインティングデバイス等を内部バス４０に接続するインタフェース装置から構成されている。操作部４４を介して、視覚表示可能な支援情報、話者の周辺映像または画像に対する編集指示、および被支援者の質問などの入力を受け付ける。
【００６４】
表示部４５は、ＣＲＴ（Cathode Ray Tube）、ＬＣＤ（Liquid Crystal Display）もしくは有機ＥＬディスプレイ、およびスピーカなどから構成され、例えば、話者の発話音声、話者の周辺映像または画像、被支援者の質問、および支援情報などを出力する。
【００６５】
入出力部４６は、シリアルインタフェースまたはパラレルインタフェースから構成されている。入出力部４６に、例えば、ビデオカメラやマイクなどが接続され、話者の発話音声、および話者の周辺映像または画像を取得する。
【００６６】
送受信部４７は、無線送受信機、無線モデムまたは網終端装置、およびそれらと接続するシリアルインタフェースまたはＬＡＮ（Local Area Network）インタフェースから構成されている。講師端末１００、支援端末２００、および被支援端末３００は、それぞれ送受信部４７を介して、ネットワーク２に接続し、相互の通信を行う。
【００６７】
講師端末１００、支援端末２００、および被支援端末３００の処理は、制御プログラム４８が、制御部４１、主記憶部４２、外部記憶部４３、操作部４４、表示部４５、入出力部４６、送受信部４７などを資源として用いて処理することによって実行する。
【００６８】
その他、前記のハードウェア構成やフローチャートは一例であり、任意に変更および修正が可能である。
【００６９】
制御部４１、主記憶部４２、外部記憶部４３、内部バス４０などから構成される制御処理を行う中心となる部分は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。たとえば、前記の動作を実行するためのコンピュータプログラムを、コンピュータが読み取り可能な記録媒体（フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭなど）に格納して配布し、前記コンピュータプログラムをコンピュータにインストールすることにより、前記の処理を実行する講師端末１００、支援端末２００、および被支援端末３００を構成してもよい。また、インターネットなどの通信ネットワーク上のサーバ装置が有する記憶装置に前記コンピュータプログラムを格納しておき、通常のコンピュータシステムがダウンロードなどすることで講師端末１００、支援端末２００、および被支援端末３００を構成してもよい。
【００７０】
また、講師端末１００、支援端末２００、および被支援端末３００の機能を、ＯＳ（オペレーティングシステム）とアプリケーションプログラムの分担、またはＯＳとアプリケーションプログラムとの協働により実現する場合などには、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。
【００７１】
また、搬送波にコンピュータプログラムを重畳し、通信ネットワークを介して配信することも可能である。たとえば、通信ネットワーク上の掲示板(BBS：Bulletin Board System)に前記コンピュータプログラムを掲示し、ネットワークを介して前記コンピュータプログラムを配信してもよい。そして、このコンピュータプログラムを起動し、ＯＳの制御下で、他のアプリケーションプログラムと同様に実行することにより、前記の処理を実行できるように構成してもよい。
【００７２】
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。
【００７３】
（付記１）
講師を含む、話者の発話音声を取得して音声信号を生成する、講義内容取得手段と、
前記音声信号から、前記発話音声を再生する、講義内容再生手段と、
前記講義内容再生手段で再生された、前記発話音声を聞き取ることができる範囲において、視覚表示可能な支援情報の入力を受け付ける、支援情報入力手段と、
前記支援情報を被支援者に表示する、支援情報表示手段と、
前記被支援者から、質問情報の入力を受け付ける、質問取得手段と、
入力された前記質問情報を、前記講義内容再生手段で再生された、前記発話音声を聞き取ることができる範囲において、表示する、質問表示手段と、
を備えることを特徴とする理解支援システム。
【００７４】
（付記２）
前記講義内容取得手段は、前記話者の発話音声に加えて、前記話者の、周辺映像または画像を取得して映像信号を生成し、
前記講義内容再生手段は、再生された前記発話音声を聞き取ることができる範囲において、前記映像信号から、前記話者の周辺映像または画像を再生し、
前記支援情報入力手段は、前記講義内容再生手段で再生された、前記発話音声を聞き取ることができる範囲において、前記話者の周辺映像または画像からの画像の選択を含む、編集指示の入力を受け付け、前記話者の周辺映像または画像から選択された画像を前記支援情報に重畳する、
ことを特徴とする付記１に記載の理解支援システム。
【００７５】
（付記３）
前記講義内容再生手段は、前記講義内容取得手段から前記講義内容再生手段への、前記音声信号の伝送遅延時間の差で、前記発話音声が発されるのと同時に、前記音声信号から前記発話音声を再生する、
ことを特徴とする付記１または２に記載の理解支援システム。
【００７６】
（付記４）
前記支援情報入力手段は、前記視覚表示可能な支援情報として、文字、画像もしくは映像、またはこれらの組み合わせ、の入力を受け付ける、
ことを特徴とする付記１ないし３のいずれかに記載の理解支援システム。
【００７７】
（付記５）
講師を含む、話者の発話音声から生成された音声信号を受信する、講義内容受信手段と、
前記音声信号から、前記発話音声を再生する、講義内容再生手段と、
前記講義内容再生手段で再生された、前記発話音声を聞き取ることができる範囲において、視覚表示可能な支援情報の入力を受け付ける、支援情報入力手段と、
前記支援情報を、被支援者に表示、または被支援端末に送信する、支援情報表示手段と、
前記被支援者から入力を受け付けた質問情報を受信する、質問受信手段と、
前記質問情報を、前記講義内容再生手段で再生された、前記発話音声を聞き取ることができる範囲において、表示する、質問表示手段と、
を備えることを特徴とする支援端末。
【００７８】
（付記６）
前記講義内容受信手段は、前記音声信号に加え、前記話者の、周辺映像または画像から生成された映像信号を受信し、
前記講義内容再生手段は、再生された前記発話音声を聞き取ることができる範囲において、前記映像信号から、前記話者の周辺映像または画像を再生し、
前記支援情報入力手段は、前記講義内容再生手段で再生された、前記発話音声を聞き取ることができる範囲において、前記話者の周辺映像または画像からの画像の選択を含む、編集指示の入力を受け付け、前記話者の周辺映像または画像から選択された画像を前記支援情報に重畳する、
ことを特徴とする付記５に記載の支援端末。
【００７９】
（付記７）
前記支援情報入力手段は、前記視覚表示可能な支援情報として、文字、画像もしくは映像、またはこれらの組み合わせ、の入力を受け付ける、
ことを特徴とする付記５または６に記載の支援端末。
【００８０】
（付記８）
聴覚障がい者が、話者の発話音声を理解することを支援する、理解支援システムが行う理解支援方法であって、
講師を含む、話者の発話音声を取得して音声信号を生成する、講義内容取得ステップと、
前記音声信号から、前記発話音声を再生する、講義内容再生ステップと、
前記講義内容再生ステップで再生された、前記発話音声を聞き取ることができる範囲において、視覚表示可能な支援情報の入力を受け付ける、支援情報入力ステップと、
前記支援情報を被支援者に表示する、支援情報表示ステップと、
前記被支援者から、質問情報の入力を受け付ける、質問取得ステップと、
入力された前記質問情報を、前記講義内容再生ステップで再生された、前記発話音声を聞き取ることができる範囲において、表示する、質問表示ステップと、
を備えることを特徴とする理解支援方法。
【００８１】
（付記９）
前記講義内容取得ステップにおいて、前記話者の発話音声に加えて、前記話者の、周辺映像または画像を取得して映像信号を生成し、
前記講義内容再生ステップにおいて、再生された前記発話音声を聞き取ることができる範囲において、前記映像信号から、前記話者の周辺映像または画像を再生し、
前記支援情報入力ステップにおいて、前記講義内容再生ステップで再生された、前記発話音声を聞き取ることができる範囲において、前記話者の周辺映像または画像からの画像の選択を含む、編集指示の入力を受け付け、前記話者の周辺映像または画像から選択された画像を前記支援情報に重畳する、
ことを特徴とする付記８に記載の理解支援方法。
【００８２】
（付記１０）
前記講義内容再生ステップにおいて、前記講義内容取得ステップから前記講義内容再生ステップへの、前記音声信号の伝送遅延時間の差で、前記発話音声が発されるのと同時に、前記音声信号から前記発話音声を再生する、
ことを特徴とする付記８または９に記載の理解支援方法。
【００８３】
（付記１１）
前記支援情報入力ステップにおいて、前記視覚表示可能な支援情報として、文字、画像もしくは映像、またはこれらの組み合わせ、の入力を受け付ける、
ことを特徴とする付記８ないし１０のいずれかに記載の理解支援方法。
【００８４】
（付記１２）
聴覚障がい者が、話者の発話音声を理解することを支援するための、支援情報の入力を受け付ける、支援端末が行う理解支援方法であって、
講師を含む、話者の発話音声から生成された音声信号を受信する、講義内容受信ステップと、
前記音声信号から、前記発話音声を再生する、講義内容再生ステップと、
前記講義内容再生ステップで再生された、前記発話音声を聞き取ることができる範囲において、視覚表示可能な支援情報の入力を受け付ける、支援情報入力ステップと、
前記支援情報を、被支援者に表示、または被支援端末に送信する、支援情報表示ステップと、
前記被支援者から入力を受け付けた質問情報を受信する、質問受信ステップと、
前記質問情報を、前記講義内容再生ステップで再生された、前記発話音声を聞き取ることができる範囲において、表示する、質問表示ステップと、
を備えることを特徴とする理解支援方法。
【００８５】
（付記１３）
前記講義内容受信ステップにおいて、前記音声信号に加え、前記話者の、周辺映像または画像から生成された映像信号を受信し、
前記講義内容再生ステップにおいて、再生された前記発話音声を聞き取ることができる範囲において、前記映像信号から、前記話者の周辺映像または画像を再生し、
前記支援情報入力ステップにおいて、前記講義内容再生ステップで再生された、前記発話音声を聞き取ることができる範囲において、前記話者の周辺映像または画像からの画像の選択を含む、編集指示の入力を受け付け、前記話者の周辺映像または画像から選択された画像を前記支援情報に重畳する、
ことを特徴とする付記１２に記載の理解支援方法。
【００８６】
（付記１４）
前記支援情報入力ステップにおいて、前記視覚表示可能な支援情報として、文字、画像もしくは映像、またはこれらの組み合わせ、の入力を受け付ける、
ことを特徴とする付記１２または１３に記載の理解支援方法。
【００８７】
（付記１５）
コンピュータに、
講師を含む、話者の発話音声を取得して音声信号を生成する、講義内容取得ステップと、
前記音声信号から、前記発話音声を再生する、講義内容再生ステップと、
前記講義内容再生ステップで再生された、前記発話音声を聞き取ることができる範囲において、視覚表示可能な支援情報の入力を受け付ける、支援情報入力ステップと、
前記支援情報を被支援者に表示する、支援情報表示ステップと、
前記被支援者から、質問情報の入力を受け付ける、質問取得ステップと、
入力された前記質問情報を、前記講義内容再生ステップで再生された、前記発話音声を聞き取ることができる範囲において、表示する、質問表示ステップと、
を実行させることを特徴とするプログラム。
【符号の説明】
【００８８】
１ 理解支援システム
２ ネットワーク
１１ 講師側受信部
１２ 講師側送信部
１３ 講師側出力部
１４ 講義取得部
２１ 講義受信部
２２ 支援側送信部
２３ 講義出力部
２４ 支援部
２５ 支援側入力部
２６ 編集部
２７ 重畳部
２８ 質問受信部
２９ 質問出力部
３１ 被支援側受信部
３２ 被支援側送信部
３３ 被支援側出力部
３４ 質問部
３５ 被支援側記憶部
４０ 内部バス
４１ 制御部
４２ 主記憶部
４３ 外部記憶部
４４ 操作部
４５ 表示部
４６ 入出力部
４７ 送受信部
４８ 制御プログラム
１００ 講師端末
２００ 支援端末
３００ 被支援端末
【特許請求の範囲】
【請求項１】
講師を含む、話者の発話音声を取得して音声信号を生成する、講義内容取得手段と、
前記音声信号から、前記発話音声を再生する、講義内容再生手段と、
前記講義内容再生手段で再生された、前記発話音声を聞き取ることができる範囲において、視覚表示可能な支援情報の入力を受け付ける、支援情報入力手段と、
前記支援情報を被支援者に表示する、支援情報表示手段と、
前記被支援者から、質問情報の入力を受け付ける、質問取得手段と、
入力された前記質問情報を、前記講義内容再生手段で再生された、前記発話音声を聞き取ることができる範囲において、表示する、質問表示手段と、
を備えることを特徴とする理解支援システム。
【請求項２】
前記講義内容取得手段は、前記話者の発話音声に加えて、前記話者の、周辺映像または画像を取得して映像信号を生成し、
前記講義内容再生手段は、再生された前記発話音声を聞き取ることができる範囲において、前記映像信号から、前記話者の周辺映像または画像を再生し、
前記支援情報入力手段は、前記講義内容再生手段で再生された、前記発話音声を聞き取ることができる範囲において、前記話者の周辺映像または画像からの画像の選択を含む、編集指示の入力を受け付け、前記話者の周辺映像または画像から選択された画像を前記支援情報に重畳する、
ことを特徴とする請求項１に記載の理解支援システム。
【請求項３】
前記講義内容再生手段は、前記講義内容取得手段から前記講義内容再生手段への、前記音声信号の伝送遅延時間の差で、前記発話音声が発されるのと同時に、前記音声信号から前記発話音声を再生する、
ことを特徴とする請求項１または２に記載の理解支援システム。
【請求項４】
前記支援情報入力手段は、前記視覚表示可能な支援情報として、文字、画像もしくは映像、またはこれらの組み合わせ、の入力を受け付ける、
ことを特徴とする請求項１ないし３のいずれか１項に記載の理解支援システム。
【請求項５】
講師を含む、話者の発話音声から生成された音声信号を受信する、講義内容受信手段と、
前記音声信号から、前記発話音声を再生する、講義内容再生手段と、
前記講義内容再生手段で再生された、前記発話音声を聞き取ることができる範囲において、視覚表示可能な支援情報の入力を受け付ける、支援情報入力手段と、
前記支援情報を、被支援者に表示、または被支援端末に送信する、支援情報表示手段と、
前記被支援者から入力を受け付けた質問情報を受信する、質問受信手段と、
前記質問情報を、前記講義内容再生手段で再生された、前記発話音声を聞き取ることができる範囲において、表示する、質問表示手段と、
を備えることを特徴とする支援端末。
【請求項６】
前記講義内容受信手段は、前記音声信号に加え、前記話者の、周辺映像または画像から生成された映像信号を受信し、
前記講義内容再生手段は、再生された前記発話音声を聞き取ることができる範囲において、前記映像信号から、前記話者の周辺映像または画像を再生し、
前記支援情報入力手段は、前記講義内容再生手段で再生された、前記発話音声を聞き取ることができる範囲において、前記話者の周辺映像または画像からの画像の選択を含む、編集指示の入力を受け付け、前記話者の周辺映像または画像から選択された画像を前記支援情報に重畳する、
ことを特徴とする請求項５に記載の支援端末。
【請求項７】
前記支援情報入力手段は、前記視覚表示可能な支援情報として、文字、画像もしくは映像、またはこれらの組み合わせ、の入力を受け付ける、
ことを特徴とする請求項５または６に記載の支援端末。
【請求項８】
聴覚障がい者が、話者の発話音声を理解することを支援する、理解支援システムが行う理解支援方法であって、
講師を含む、話者の発話音声を取得して音声信号を生成する、講義内容取得ステップと、
前記音声信号から、前記発話音声を再生する、講義内容再生ステップと、
前記講義内容再生ステップで再生された、前記発話音声を聞き取ることができる範囲において、視覚表示可能な支援情報の入力を受け付ける、支援情報入力ステップと、
前記支援情報を被支援者に表示する、支援情報表示ステップと、
前記被支援者から、質問情報の入力を受け付ける、質問取得ステップと、
入力された前記質問情報を、前記講義内容再生ステップで再生された、前記発話音声を聞き取ることができる範囲において、表示する、質問表示ステップと、
を備えることを特徴とする理解支援方法。
【請求項９】
聴覚障がい者が、話者の発話音声を理解することを支援するための、支援情報の入力を受け付ける、支援端末が行う理解支援方法であって、
講師を含む、話者の発話音声から生成された音声信号を受信する、講義内容受信ステップと、
前記音声信号から、前記発話音声を再生する、講義内容再生ステップと、
前記講義内容再生ステップで再生された、前記発話音声を聞き取ることができる範囲において、視覚表示可能な支援情報の入力を受け付ける、支援情報入力ステップと、
前記支援情報を、被支援者に表示、または被支援端末に送信する、支援情報表示ステップと、
前記被支援者から入力を受け付けた質問情報を受信する、質問受信ステップと、
前記質問情報を、前記講義内容再生ステップで再生された、前記発話音声を聞き取ることができる範囲において、表示する、質問表示ステップと、
を備えることを特徴とする理解支援方法。
【請求項１０】
コンピュータに、
講師を含む、話者の発話音声を取得して音声信号を生成する、講義内容取得ステップと、
前記音声信号から、前記発話音声を再生する、講義内容再生ステップと、
前記講義内容再生ステップで再生された、前記発話音声を聞き取ることができる範囲において、視覚表示可能な支援情報の入力を受け付ける、支援情報入力ステップと、
前記支援情報を被支援者に表示する、支援情報表示ステップと、
前記被支援者から、質問情報の入力を受け付ける、質問取得ステップと、
入力された前記質問情報を、前記講義内容再生ステップで再生された、前記発話音声を聞き取ることができる範囲において、表示する、質問表示ステップと、
を実行させることを特徴とするプログラム。
【請求項１】
講師を含む、話者の発話音声を取得して音声信号を生成する、講義内容取得手段と、
前記音声信号から、前記発話音声を再生する、講義内容再生手段と、
前記講義内容再生手段で再生された、前記発話音声を聞き取ることができる範囲において、視覚表示可能な支援情報の入力を受け付ける、支援情報入力手段と、
前記支援情報を被支援者に表示する、支援情報表示手段と、
前記被支援者から、質問情報の入力を受け付ける、質問取得手段と、
入力された前記質問情報を、前記講義内容再生手段で再生された、前記発話音声を聞き取ることができる範囲において、表示する、質問表示手段と、
を備えることを特徴とする理解支援システム。
【請求項２】
前記講義内容取得手段は、前記話者の発話音声に加えて、前記話者の、周辺映像または画像を取得して映像信号を生成し、
前記講義内容再生手段は、再生された前記発話音声を聞き取ることができる範囲において、前記映像信号から、前記話者の周辺映像または画像を再生し、
前記支援情報入力手段は、前記講義内容再生手段で再生された、前記発話音声を聞き取ることができる範囲において、前記話者の周辺映像または画像からの画像の選択を含む、編集指示の入力を受け付け、前記話者の周辺映像または画像から選択された画像を前記支援情報に重畳する、
ことを特徴とする請求項１に記載の理解支援システム。
【請求項３】
前記講義内容再生手段は、前記講義内容取得手段から前記講義内容再生手段への、前記音声信号の伝送遅延時間の差で、前記発話音声が発されるのと同時に、前記音声信号から前記発話音声を再生する、
ことを特徴とする請求項１または２に記載の理解支援システム。
【請求項４】
前記支援情報入力手段は、前記視覚表示可能な支援情報として、文字、画像もしくは映像、またはこれらの組み合わせ、の入力を受け付ける、
ことを特徴とする請求項１ないし３のいずれか１項に記載の理解支援システム。
【請求項５】
講師を含む、話者の発話音声から生成された音声信号を受信する、講義内容受信手段と、
前記音声信号から、前記発話音声を再生する、講義内容再生手段と、
前記講義内容再生手段で再生された、前記発話音声を聞き取ることができる範囲において、視覚表示可能な支援情報の入力を受け付ける、支援情報入力手段と、
前記支援情報を、被支援者に表示、または被支援端末に送信する、支援情報表示手段と、
前記被支援者から入力を受け付けた質問情報を受信する、質問受信手段と、
前記質問情報を、前記講義内容再生手段で再生された、前記発話音声を聞き取ることができる範囲において、表示する、質問表示手段と、
を備えることを特徴とする支援端末。
【請求項６】
前記講義内容受信手段は、前記音声信号に加え、前記話者の、周辺映像または画像から生成された映像信号を受信し、
前記講義内容再生手段は、再生された前記発話音声を聞き取ることができる範囲において、前記映像信号から、前記話者の周辺映像または画像を再生し、
前記支援情報入力手段は、前記講義内容再生手段で再生された、前記発話音声を聞き取ることができる範囲において、前記話者の周辺映像または画像からの画像の選択を含む、編集指示の入力を受け付け、前記話者の周辺映像または画像から選択された画像を前記支援情報に重畳する、
ことを特徴とする請求項５に記載の支援端末。
【請求項７】
前記支援情報入力手段は、前記視覚表示可能な支援情報として、文字、画像もしくは映像、またはこれらの組み合わせ、の入力を受け付ける、
ことを特徴とする請求項５または６に記載の支援端末。
【請求項８】
聴覚障がい者が、話者の発話音声を理解することを支援する、理解支援システムが行う理解支援方法であって、
講師を含む、話者の発話音声を取得して音声信号を生成する、講義内容取得ステップと、
前記音声信号から、前記発話音声を再生する、講義内容再生ステップと、
前記講義内容再生ステップで再生された、前記発話音声を聞き取ることができる範囲において、視覚表示可能な支援情報の入力を受け付ける、支援情報入力ステップと、
前記支援情報を被支援者に表示する、支援情報表示ステップと、
前記被支援者から、質問情報の入力を受け付ける、質問取得ステップと、
入力された前記質問情報を、前記講義内容再生ステップで再生された、前記発話音声を聞き取ることができる範囲において、表示する、質問表示ステップと、
を備えることを特徴とする理解支援方法。
【請求項９】
聴覚障がい者が、話者の発話音声を理解することを支援するための、支援情報の入力を受け付ける、支援端末が行う理解支援方法であって、
講師を含む、話者の発話音声から生成された音声信号を受信する、講義内容受信ステップと、
前記音声信号から、前記発話音声を再生する、講義内容再生ステップと、
前記講義内容再生ステップで再生された、前記発話音声を聞き取ることができる範囲において、視覚表示可能な支援情報の入力を受け付ける、支援情報入力ステップと、
前記支援情報を、被支援者に表示、または被支援端末に送信する、支援情報表示ステップと、
前記被支援者から入力を受け付けた質問情報を受信する、質問受信ステップと、
前記質問情報を、前記講義内容再生ステップで再生された、前記発話音声を聞き取ることができる範囲において、表示する、質問表示ステップと、
を備えることを特徴とする理解支援方法。
【請求項１０】
コンピュータに、
講師を含む、話者の発話音声を取得して音声信号を生成する、講義内容取得ステップと、
前記音声信号から、前記発話音声を再生する、講義内容再生ステップと、
前記講義内容再生ステップで再生された、前記発話音声を聞き取ることができる範囲において、視覚表示可能な支援情報の入力を受け付ける、支援情報入力ステップと、
前記支援情報を被支援者に表示する、支援情報表示ステップと、
前記被支援者から、質問情報の入力を受け付ける、質問取得ステップと、
入力された前記質問情報を、前記講義内容再生ステップで再生された、前記発話音声を聞き取ることができる範囲において、表示する、質問表示ステップと、
を実行させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１３−１５９３９（Ｐ２０１３−１５９３９Ａ）
【公開日】平成２５年１月２４日（２０１３．１．２４）
【国際特許分類】
【出願番号】特願２０１１−１４６９９４（Ｐ２０１１−１４６９９４）
【出願日】平成２３年７月１日（２０１１．７．１）
【出願人】（３９０００１３９５）ＮＥＣシステムテクノロジー株式会社 (438)
【Ｆターム（参考）】
【公開日】平成２５年１月２４日（２０１３．１．２４）
【国際特許分類】
【出願日】平成２３年７月１日（２０１１．７．１）
【出願人】（３９０００１３９５）ＮＥＣシステムテクノロジー株式会社 (438)
【Ｆターム（参考）】
[ Back to top ]