手話通訳映像表示制御装置、手話通訳映像表示制御方法及び手話通訳映像表示制御プログラム
【課題】耳の聞こえない人が耳の聞こえる人と一緒に映像を楽しむようにすること。
【解決手段】表示対象の手話通訳付き映像に含まれる手話通訳映像を抽出し、その手話通訳映像が表示される表示タイミングに関連付けて手話通訳映像蓄積部に記憶させ、指示された指示タイミングから遡った所定の遡及時間分の手話通訳映像を手話通訳映像蓄積部から読み出して、現在表示中の手話通訳付き映像に重畳して再生する。
【解決手段】表示対象の手話通訳付き映像に含まれる手話通訳映像を抽出し、その手話通訳映像が表示される表示タイミングに関連付けて手話通訳映像蓄積部に記憶させ、指示された指示タイミングから遡った所定の遡及時間分の手話通訳映像を手話通訳映像蓄積部から読み出して、現在表示中の手話通訳付き映像に重畳して再生する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、手話通訳の映像表示を制御する技術に関する。
【背景技術】
【０００２】
現在では、耳の聞こえない聴覚障害者にも放送中の音声情報を届けられるように、撮影されている話者の音声を手話で通訳し、その放送中の元映像に含めて放送することができる。
【０００３】
そのような映像データは、例えば、図１４に示すように、アンテナ４００や通信ネットワーク５００を通じて宅内などにあるＳＴＢ１００で受信され、それに接続されたＴＶ２００に出力される。これにより、伝送された映像データ内の映像が画面上で表示（再生）される。
【０００４】
特に、手話により通訳された手話通訳映像ＤＡ１は、話者Ｔを映している元映像ＤＡ２に重畳され、多くの場合、その元映像ＤＡ２の片隅で楕円形の枠内にピクチャインピクチャ（ワイプイン）表示される。このような形態の放送番組やその現状については、非特許文献１に記載されている。
【０００５】
また、ＣＳ放送では、手話通訳者が放送番組中の映像を見ながら通訳を行い、それを放送し、例えばアイ・ドラゴンと称される専用装置を利用して、その放送番組で放送されている元映像と手話通訳映像とをそれぞれ受信して、同一画面にリアルタイム表示する聴覚障害者向けのサービスが提供されている（非特許文献２，３参照）。
【０００６】
また、送信側において、手話用データを、手話動作を記述するメタデータに変換して送信し、受信側において、そのメタデータからアバターの動作に変換して手話画像データを生成し、それを元映像に多重化して、ディスプレイ装置に伝送し、聴覚障害者に提示する技術も存在する（特許文献１参照）。
【０００７】
そして、このような技術やサービスは、耳の聞こえない人が日常の生活をする上で極めて重要なものとなっている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００６−２１５５５３号公報
【非特許文献】
【０００９】
【非特許文献１】「リハビリテーション研究」、第82号、（財）日本障害者リハビリテーション協会、1994年12月、p16-17、（インターネット、平成23年10月4日検索、［online］、＜URL : http://www.dinf.ne.jp/doc/japanese/prdl/jsrd/rehab/r082/r082_016.html＞）
【非特許文献２】「放送における聴覚障害者の情報環境 ―独立メディア「目で聴くテレビ」を中心に―」、立命館産業社会論集、第39巻第3号、2003年12月
【非特許文献３】「目で聞くテレビ」、インターネット、平成23年10月4日検索、［online］、＜URL : http://www.medekiku.jp/index.html＞
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、手話は視覚的言語であるため、手話通訳映像から目を離すと当然に見えなく（聞こえなく）なってしまう。また、画面の隅に小さくワイプイン表示される手話通訳映像は見え難く、リアルタイムな一度だけの表示では内容が分からない場合もある。例えば、図１５に示すように、放送番組中の進行中にちょっと横を向いていた間に手話通訳映像を見逃してしまう場合や、手話動作が早くて読み取れなかった場合が考えられる。
【００１１】
一方、耳の聞こえない人が一人で放送番組を視聴している場合は、同時録画しておいて巻き戻して再生することにより、そのような問題を解決できるかもしれない。しかし、耳の聞こえる人と一緒に視聴している場合、内容が理解できているその人にとって巻き戻し再生することは不要であることから、気を使う人にとっては、自分一人のために巻き戻すことがためらわれる場合もある。
【００１２】
本発明は、上記課題を鑑みてなされたものであり、その課題とするところは、耳の聞こえない人が耳の聞こえる人と一緒に映像を楽しむようにすることにある。
【課題を解決するための手段】
【００１３】
請求項１記載の手話通訳映像表示制御装置は、表示対象の手話通訳付き映像に含まれる手話通訳映像を抽出し、前記手話通訳映像が表示される表示タイミングに関連付けて記憶手段に記憶させる抽出手段と、指示された指示タイミングから遡った所定の遡及時間分の手話通訳映像を前記記憶手段から読み出して、現在表示中の前記手話通訳付き映像に重畳して再生する再生手段と、を有することを特徴とする。
【００１４】
本発明によれば、表示対象の手話通訳付き映像に含まれる手話通訳映像を抽出し、その手話通訳映像が表示される表示タイミングに関連付けて記憶手段に記憶させ、指示された指示タイミングから遡った所定の遡及時間分の手話通訳映像を上記記憶手段から読み出して、現在表示中の手話通訳付き映像に重畳して再生するため、手話通訳が理解できなかった場合に手話通訳映像のみを巻き戻して遡及再生可能となることから、耳の聞こえない人が耳の聞こえる人と一緒に映像を楽しむことができる。
【００１５】
請求項２記載の手話通訳映像表示制御装置は、請求項１記載の手話通訳映像表示制御装置において、前記重畳して再生される手話通訳映像の速度を、前記現在表示中の手話通訳付き映像が表示される速度よりも速くする制御手段を更に有することを特徴とする。
【００１６】
本発明によれば、重畳して再生される手話通訳映像の速度を、現在表示中の手話通訳付き映像が表示される速度よりも速くするため、その現在表示中の手話通訳付き映像に含まれる手話通訳映像の表示に追い付くことができる。
【００１７】
請求項３記載の手話通訳映像表示制御装置は、請求項１又は２記載の手話通訳映像表示制御装置において、前記抽出された手話通訳映像内で動きの無い時間的な区間を分析し、手話通訳での意味的な区切りとする分析手段を更に有し、前記再生手段は、前記指定タイミングから前記意味的な区切りに対応する前記表示タイミングまで遡った遡及時間分の手話通訳映像を前記重畳して再生することを特徴とする。
【００１８】
本発明によれば、抽出された手話通訳映像内で動きの無い時間的な区間を分析し、手話通訳での意味的な区切りとし、指定タイミングから意味的な区切りに対応する表示タイミングまで遡った遡及時間分の手話通訳映像を重畳して再生するため、遡及再生される手話通訳映像の意味が分からなくなることを防止できる。
【００１９】
請求項４記載の手話通訳映像表示制御方法は、手話通訳映像表示制御装置で行う手話通訳映像表示制御方法において、前記手話通訳映像表示制御装置により、表示対象の手話通訳付き映像に含まれる手話通訳映像を抽出し、前記手話通訳映像が表示される表示タイミングに関連付けて記憶手段に記憶させる抽出ステップと、指示された指示タイミングから遡った所定の遡及時間分の手話通訳映像を前記記憶手段から読み出して、現在表示中の前記手話通訳付き映像に重畳して再生する再生ステップと、を有することを特徴とする。
【００２０】
本発明によれば、表示対象の手話通訳付き映像に含まれる手話通訳映像を抽出し、その手話通訳映像が表示される表示タイミングに関連付けて記憶手段に記憶させ、指示された指示タイミングから遡った所定の遡及時間分の手話通訳映像を上記記憶手段から読み出して、現在表示中の手話通訳付き映像に重畳して再生するため、手話通訳が理解できなかった場合に手話通訳映像のみを巻き戻して遡及再生可能となることから、耳の聞こえない人が耳の聞こえる人と一緒に映像を楽しむことができる。
【００２１】
請求項５記載の手話通訳映像表示制御方法は、請求項４記載の手話通訳映像表示制御方法において、前記重畳して再生される手話通訳映像の速度を、前記現在表示中の手話通訳付き映像が表示される速度よりも速くする制御ステップを更に有することを特徴とする。
【００２２】
本発明によれば、重畳して再生される手話通訳映像の速度を、現在表示中の手話通訳付き映像が表示される速度よりも速くするため、その現在表示中の手話通訳付き映像に含まれる手話通訳映像の表示に追い付くことができる。
【００２３】
請求項６記載の手話通訳映像表示制御方法は、請求項４又は５記載の手話通訳映像表示制御方法において、前記抽出された手話通訳映像内で動きの無い時間的な区間を分析し、手話通訳での意味的な区切りとする分析ステップを更に有し、前記再生ステップは、前記指定タイミングから前記意味的な区切りに対応する前記表示タイミングまで遡った遡及時間分の手話通訳映像を前記重畳して再生することを特徴とする。
【００２４】
本発明によれば、抽出された手話通訳映像内で動きの無い時間的な区間を分析し、手話通訳での意味的な区切りとし、指定タイミングから意味的な区切りに対応する表示タイミングまで遡った遡及時間分の手話通訳映像を重畳して再生するため、遡及再生される手話通訳映像の意味が分からなくなることを防止できる。
【００２５】
請求項７記載の手話通訳映像表示制御プログラムは、請求項４乃至６のいずれかに記載の手話通訳映像表示制御方法をコンピュータに実行させることを特徴とする。
【発明の効果】
【００２６】
本発明によれば、耳の聞こえない人が耳の聞こえる人と一緒に映像を楽しむようにすることができる。
【図面の簡単な説明】
【００２７】
【図１】実現されるサービス概要のイメージ例を示す図である。
【図２】遡及再生対象の手話通訳映像のみを元映像に重畳する概念を示す図である。
【図３】第１の実施の形態に係る手話通訳映像表示制御装置の機能ブロック構成を示す図である。
【図４】第１の実施の形態に係る手話通訳映像の抽出フローを示す図である。
【図５】第１の実施の形態に係る手話通訳映像の再生フローを示す図である。
【図６】第２の実施の形態に係る手話通訳映像表示制御装置の機能ブロック構成を示す図である。
【図７】第２の実施の形態に係る手話通訳映像の再生フローを示す図である。
【図８】再生速度の調整を説明する図である。
【図９】第３の実施の形態に係る手話通訳映像表示制御装置の機能ブロック構成を示す図である。
【図１０】手話通訳での意見的な区切りと手話通訳映像の遡及再生との関係について説明する図である。
【図１１】第３の実施の形態に係る手話通訳映像の抽出フローを示す図である。
【図１２】第３の実施の形態に係る手話通訳映像の再生フローを示す図である。
【図１３】第４の実施の形態に係る手話通訳映像表示制御装置の機能ブロック構成を示す図である。
【図１４】手話通訳映像表示システムの構成例を示す図である。
【図１５】手話通訳映像表示システムの課題を説明する図である。
【発明を実施するための形態】
【００２８】
以下、本発明を実施する一実施の形態について図面を用いて説明する。但し、本発明は多くの異なる様態で実施することが可能であり、本実施の形態の記載内容に限定して解釈すべきではない。
【００２９】
最初に、本発明により実現されるサービスの概要について説明する。図１は、本発明で実現されるサービス概要のイメージを示す図である。
【００３０】
まず、耳の聞こえない視聴者（以下、単に視聴者）Ｖが、ＴＶ２００の画面右下で手話通訳映像ＤＡ１がワイプインされている映像ＤＡを視聴している（図１（ａ）参照）。映像ＤＡとは、話者Ｔを映している元映像ＤＡ２に、その話者Ｔの発する音声を手話で通訳している手話通訳映像ＤＡ１を重畳して小さく表示している映像をいう。
【００３１】
次に、ＴＶ２００から少し目を離して手話通訳映像ＤＡ１を見逃したか、ワイプイン表示された手話通訳映像ＤＡ１が小さすぎてよく見えなかったかで、手話通訳の内容が少し分からなくなり、数秒前の手話通訳映像ＤＡ１を見たくなった場合には、リモコン３００のボタン押下により、時間的に遡及された過去の手話通訳映像ＤＡ１の再表示を指示する（図１（ｂ）参照）。
【００３２】
その後、予め設定しておいた時間分遡及した時点からの手話通訳映像ＤＡ１のみが再生される（図１（ｃ）参照）。
【００３３】
次に、そのように遡及再生する手話通訳映像ＤＡ１のみを元映像ＤＡ２に重畳する概念を図２に示す。
【００３４】
現在表示中の映像ＤＡにワイプイン表示された手話通訳映像ＤＡ１の上に、画像処理によって手話通訳映像部分だけになり時間的に遡及された手話通訳映像ＤＡ１’が重畳されて、画面表示される映像ＤＡ’となる。
【００３５】
なお、楕円状や矩形状のワイプイン表示部分の位置を識別することは、公知の画像処理技術を用いれば容易に実現できる。その部分から手話通訳映像を抽出したり、その部分に他の映像を重畳したりすることも可能である。
【００３６】
また、手話通訳映像ＤＡ１の上に重なるように重畳させるのに代えて、その手話通訳映像ＤＡ１に重ならないように手話通訳映像ＤＡ１’を重畳させるようにしてもよい。また、手話通訳映像ＤＡは、ワイプイン表示されていない場合であっても、公知の画像処理技術を利用してその映像部分を抽出などの処理を施すことが可能である。
【００３７】
〔第１の実施の形態〕
次に、第１の実施の形態に係る手話通訳映像表示制御装置の機能ブロック構成について説明する。図３は、本実施の形態に係る手話通訳映像表示制御装置の機能ブロック構成を示す図である。
【００３８】
本手話通訳映像表示制御装置は、映像データ受信部１１と、映像表示部１２と、手話通訳映像抽出部１３と、手話通訳映像蓄積部１４と、手話通訳映像読取部１５と、手話通訳映像重畳部１６と、リモコン信号受信部１７とで主に構成されている。
【００３９】
本実施の形態では、例として、ＴＶ２００に接続されたＳＴＢ（Set Top Box）１００に手話通訳映像表示制御装置を具備させる構成を採用している。そのＳＴＢ１００に代えてＴＶ２００に内蔵させてもよく、その実現形態は問わない。
【００４０】
映像データ受信部１１は、表示される手話通訳付き映像の映像データを受信して、映像表示部１２に送信すると共に、手話通訳映像抽出部１３にも送信する。映像入力のインタフェースは、例えば、地上デジタル放送のためのアンテナやＩＰ放送の通信ネットワーク、或いはＨＤやＤＶＤ、ＢＤ等の蓄積メディア等である。
【００４１】
映像データとは、図１（ａ）に示したように、話者Ｔの発する音声を手話で通訳している手話通訳映像ＤＡ１が、その話者Ｔを映している元映像ＤＡ２の片隅に矩形や円形でワイプイン表示されている映像ＤＡである。話者Ｔの発する音声も含まれる。現在放送されているものでもよく、上記蓄積メディアに蓄積されているものでもよい。
【００４２】
映像表示部１２は、映像データ受信部１１から送信された映像データを受け取り、そのままＴＶ２００に出力する。但し、視聴者Ｖから遡及再生指示があった場合には、手話通訳映像重畳部１６によって重畳された遡及再生用手話通訳映像（後述）を元映像と共に出力する。映像出力のインタフェースは、例えば、ＨＤＭＩ等である。
【００４３】
手話通訳映像抽出部１３は、映像データ受信部１１から送信された映像データを受け取り、画像処理によりワイプイン部分のみを識別し、その部分から手話通訳映像を抽出して、その手話通訳映像が本来表示される元の表示タイミング情報（以下、元のタイムスタンプ）に関連付けて、そのタイムスタンプと共に手話通訳映像蓄積部１４に蓄積する。
【００４４】
手話通訳映像読取部１５は、リモコン信号受信部１７から遡及再生指示を受け取った場合に、手話通訳映像蓄積部１４内のタイムスタンプを参照して、その指示された指示タイミングから予め設定されている遡及時間分だけ遡った時点までの手話通訳映像（以下、遡及再生用手話通訳映像）を当該手話通訳映像蓄積部１４から読み出して、手話通訳映像重畳部１６に送信する。
【００４５】
手話通訳映像重畳部１６は、手話通訳映像読取部１５から送信された遡及再生用手話通訳映像を受け取り、現在表示中の手話通訳付き映像のワイプイン部分に重畳して再生させる。
【００４６】
リモコン信号受信部１７は、視聴者Ｖのボタン押下によるリモコン３００からの遡及再生指示を受信して、手話通訳映像読取部１５に送信する。遡及再生指示入力のインタフェースは、例えば、赤外線や無線ＬＡＮ等である。
【００４７】
手話通訳映像表示制御装置を構成する上記各機能部は、ＣＰＵなどの制御手段やメモリなどの記憶手段により実現できる。それら各機能部での各処理は、その処理を実行可能にプログラミングされたプログラムにより実行される。
【００４８】
続いて、本実施の形態に係る手話通訳映像表示制御装置の動作について説明する。最初に、手話通訳付き映像から手話通訳映像を抽出する動作について説明する。図４は、本実施の形態に係る手話通訳映像の抽出フローを示す図である。
【００４９】
まず、ステップＳ１０１において、映像データ受信部１１が、通信ネットワークやアンテナなどを介して、手話通訳映像がワイプイン表示されている映像データを受信する。
【００５０】
次に、ステップＳ１０２において、手話通訳映像抽出部１３が、ステップＳ１０１で受信した映像データを画像処理することにより、ワイプイン表示されている手話通訳映像部分を識別して、その部分内の手話通訳映像を抽出する。
【００５１】
最後に、ステップＳ１０３において、手話通訳映像抽出部１３が、ステップＳ１０２で抽出された手話通訳映像を元のタイムスタンプと同じ値と共に関連付けて手話通訳映像蓄積部１４に保存する。
【００５２】
例えば、抽出された手話通訳映像を構成している時系列な複数の画像フレームと、それら各画像フレームがＴＶ２００に表示される表示時刻とがそれぞれ対応付けて保存される。
【００５３】
以上の処理は、映像データを受信している間、継続して常に実行される。これにより、手話通訳映像のみを蓄積しておくことができる。
【００５４】
次に、手話通訳映像を現在表示中の手話通訳付き映像に重畳して再生する動作について説明する。図５は、本実施の形態に係る手話通訳映像の再生フローを示す図である。この再生処理は、リモコン３００から遡及再生指示を受けた際に、図４に示した手話通訳映像の抽出処理と並行して実行される。
【００５５】
まず、ステップＳ２０１において、手話通訳映像表示制御装置の設定部（図１において不図示）により、１回の遡及再生指示で遡及する遡及再生単位時間ｔｒが設定される。
【００５６】
次に、ステップＳ２０２，Ｓ２０３において、リモコン３００から遡及再生指示を受けた場合に、手話通訳映像読取部１５が、遡及再生指示された時刻から上記遡及再生単位時間ｔｒだけ遡及した遡及再生用手話通訳映像を手話通訳映像蓄積部１４から読み出す。
【００５７】
次に、ステップＳ２０４において、手話通訳映像重畳部１６が、ステップＳ２０３で読み出された遡及再生用手話通訳映像を、画像処理によって現在表示中の手話通訳付き映像のワイプイン部分に重畳する。このとき、ワイプイン部分以外の位置に重畳させてもよい。
【００５８】
最後に、ステップＳ２０５において、映像表示部１２が、現在表示中の手話通訳付き映像に遡及再生用手話通訳映像が重畳された映像をＴＶ２００に出力する。
【００５９】
以上の処理により、受信した元映像については現在の表示状態を継続しながら、ワイプイン表示された手話通訳映像のみを再生することができる。
【００６０】
なお、遡及再生用手話通訳映像再生中（より正確には、ステップＳ２０２後からステップＳ２０５後までのどの段階）であっても、リモコン３００のボタン押下による遡及再生指示の有無を判断することができる。遡及再生用手話通訳映像再生中に更に遡及再生指示を受けた場合には、更に遡及再生単位時間ｔｒ分遡及した手話通訳映像を再生する。すなわち、「遡及再生指示回数（ボタン押下回数）×遡及再生単位時間ｔｒ」分だけ遡及再生することができる。これにより、視聴者Ｖの所望するところまで遡及再生単位時間ｔｒを単位として遡及することができる。
【００６１】
本実施の形態によれば、表示対象の手話通訳付き映像に含まれる手話通訳映像を抽出し、その手話通訳映像が表示される表示タイミングに関連付けて手話通訳映像蓄積部１４に記憶させ、指示された指示タイミングから遡った所定の遡及時間分の手話通訳映像を手話通訳映像蓄積部１４から読み出して、現在表示中の手話通訳付き映像に重畳して再生するので、手話通訳が理解できなかった場合に手話通訳映像のみを巻き戻して遡及再生可能となることから、耳の聞こえない人が耳の聞こえる人と一緒に映像を楽しむことができる。
【００６２】
〔第２の実施の形態〕
次に、第２の実施の形態に係る手話通訳映像表示制御装置の機能ブロック構成について説明する。図６は、本実施の形態に係る手話通訳映像表示制御装置の機能ブロック構成を示す図である。
【００６３】
本手話通訳映像表示制御装置は、第１の実施の形態に係る手話通訳映像表示制御装置において、手話通訳映像読取部１５と手話通訳映像重畳部１６との間に、重畳再生される遡及再生用手話通訳映像の速度を、現在表示中の手話通訳付き映像が表示される速度よりも速くするように調整する手話通訳映像再生速度調整部１８を更に備えている。以下、第１の実施の形態と相違する機能について主に説明する。
【００６４】
手話通訳映像読取部１５は、遡及再生用手話通訳映像を、手話通訳映像重畳部１６に送信するのに代えて、手話通訳映像再生速度調整部１８に送信する。
【００６５】
手話通訳映像再生速度調整部１８は、手話通訳映像読取部１５から送信された遡及再生用手話通訳映像を受け取り、その映像の再生速度を調整し、調整された速度にしたがって適切に再生する遡及再生用手話通訳映像を手話通訳映像重畳部１６に送信する。
【００６６】
手話通訳映像重畳部１６は、手話通訳映像再生速度調整部１８から送信された再生速度調整後の遡及再生用手話通訳映像を受け取り、現在表示中の手話通訳付き映像のワイプイン部分に重畳して再生させる。
【００６７】
続いて、本実施の形態に係る手話通訳映像表示制御装置の動作について説明する。手話通訳映像を抽出する動作については第１の実施の形態と同様であることから、手話通訳映像を再生する動作についてのみ以下説明する。
【００６８】
図７は、本実施の形態に係る手話通訳映像の再生フローを示す図である。この再生フローは、リモコン３００から遡及再生指示を受けた際に、手話通訳映像の抽出処理と並行して実行される。
【００６９】
まず、ステップＳ３０１において、手話通訳映像表示制御装置の設定部により、１回の遡及再生指示で遡及する遡及再生単位時間ｔｒと、遡及再生指示された時刻から元映像の表示（現在表示中の手話通訳付き映像の再生）に追い付くまでの再生追付時間ｔｓとが設定される。
【００７０】
次に、ステップＳ３０２，Ｓ３０３において、リモコン３００から遡及再生指示を受けた場合に、手話通訳映像読取部１５が、遡及再生指示された時刻から上記遡及再生単位時間ｔｒだけ遡及した遡及再生用手話通訳映像を手話通訳映像蓄積部１４から読み出す。
【００７１】
次に、ステップＳ３０４において、手話通訳映像再生速度調整部１８が、ステップＳ３０３で読み出された遡及再生用手話通訳映像の再生速度を、元映像の表示速度（現在表示中の手話通訳付き映像の再生速度）の（ｔｒ＋ｔｓ）／ｔｓ倍に設定して再生する。
【００７２】
図８に示すように、例えば時刻ｔの時点で遡及再生指示された場合、再生追付時間ｔｓ後に元映像の表示に追い付くように再生しなければならないので、（ｔｒ＋ｔｓ）分の映像をｔｓの間で再生することになる。すなわち、元映像の表示速度に比べて(ｔｒ＋ｔｓ)／ｔｓ倍の速度で再生しなければならない。例えば、ｔｓ＝５秒、ｔｒ＝３秒とすると、(５＋３)／５＝１．６倍の速度で再生する。
【００７３】
次に、ステップＳ３０５において、手話通訳映像重畳部１６が、ステップＳ３０４で再生速度が調整された遡及再生用手話通訳映像を、画像処理によって現在表示中の手話通訳付き映像のワイプイン部分に重畳する。
【００７４】
最後に、ステップＳ３０６において、映像表示部１２が、現在表示中の手話通訳付き映像に、再生速度調整後の遡及再生用手話通訳映像が重畳された映像をＴＶ２００に出力する。
【００７５】
本実施の形態によれば、重畳して再生される手話通訳映像の速度を、現在表示中の手話通訳付き映像が表示される速度よりも速くするので、その現在表示中の手話通訳付き映像に含まれる手話通訳映像の表示に追い付くことができる。
【００７６】
〔第３の実施の形態〕
第１及び第２の実施の形態では、遡及再生する単位を、予め設定された一定の単位時間としていた。しかし、手話は視覚的言語であるので、言葉の途中から再生されても分からない可能性がある。例えば、「今日は晴れでした」という文章を途中から「うは、はれでした。」（「きょうは」の、「うは」から）と表現されても分からない。
【００７７】
そこで、第３の実施の形態では、手話通訳映像内での動きのある・無い時間区間を分析し、動きの無い時間区間を手話通訳での意味的な区切りとして、その区切りに対応する元のタイムスタンプまで遡った遡及時間分の手話通訳映像を再生させるようにする。これにより、遡及再生される手話通訳映像の意味が分からなくなることを防止する。
【００７８】
この点を考慮して構成される本実施の形態に係る手話通訳映像表示制御装置の機能ブロック構成を図９に示す。以下、第１、第２の実施の形態と相違する機能について主に説明する。
【００７９】
本手話通訳映像表示制御装置は、第１の実施の形態に係る手話通訳映像表示制御装置において、手話通訳映像抽出部１３と手話通訳映像蓄積部１４との間に、手話通訳での意味的な区切り分析する手話通訳区分分析部１９を更に備えている。
【００８０】
この手話通訳区分分析部１９について説明する前に、図１０を用いて、手話通訳での意見的な区切りと手話通訳映像の遡及再生との関係について説明する。
【００８１】
手話通訳は、一塊の意味のある文章は一連の動きで表現される。そして、次の文章の間に動きの無い区間が生じる。ここが意味的な区切り（意味の切れ目）である可能性が高い。例えば、図１０では、（あ）（う）は動きがある時間区間なので意味のある一連の文章であり、（い）（え）は動きの無い時間区間なので意味の切れ目と考えられる。
【００８２】
例えば、時刻ｔ０のタイミングで遡及再生指示を受けた場合、前述の遡及再生単位時間ｔｒ分遡及した時刻ｔ１から再生を開始しても一連の文章の途中なので意味が分からない可能性がある。一方、時刻ｔ０から一番近い意味的切れ目である時刻ｔ１’であれば、一連の文章の最初から再生されるので、意味が分かりやすい可能性がある。
【００８３】
そこで、手話通訳区分分析部１９は、手話通訳映像抽出部１３から送信された手話通訳映像を受け取り、その手話通訳映像内での動きのある時間区間および無い時間区間を分析し、動きの無い時間区間を意味的な区切りとして、その意味的な区切り毎に元のタイムスタンプを付与して、手話通訳映像蓄積部１４に蓄積する。
【００８４】
手話通訳映像読取部１５は、リモコン信号受信部１７から遡及再生指示を受けた場合に、その指示タイミングから遡ってもっとも最近の意味的な区切りのタイムスタンプを検索し、そのタイムスタンプから始まる手話通訳映像を手話通訳映像蓄積部１４から読み出して、手話通訳映像重畳部１６に送信する。
【００８５】
なお、手話通訳映像抽出部１３は、手話通訳映像抽出部１３により抽出された手話通訳映像を、手話通訳映像蓄積部１４に蓄積するのに代えて、手話通訳区分分析部１９に送信する。
【００８６】
続いて、本実施の形態に係る手話通訳映像表示制御装置の動作について説明する。最初に、手話通訳映像を抽出する動作について説明する。図１１は、本実施の形態に係る手話通訳映像の抽出フローを示す図である。
【００８７】
まず、ステップＳ４０１において、映像データ受信部１１が、通信ネットワークやアンテナなどを介して、手話通訳映像がワイプイン表示されている映像データを受信する。
【００８８】
次に、ステップＳ４０２において、手話通訳映像抽出部１３が、ステップＳ４０１で受信した映像データを画像処理することにより、ワイプイン表示されている手話通訳映像部分を識別して、その部分内の手話通訳映像を抽出する。
【００８９】
次に、ステップＳ４０３において、手話通訳区分分析部１９が、ステップＳ４０２で抽出された手話通訳映像内で動きの無い時間的な区間（動きが少ない区間を含む）を分析し、その区間を手話通訳の意味的な区切りとして、その意味的な区切り毎に元のタイムスタンプと同じ値を付与する。
【００９０】
例えば、手話通訳映像において時間的に前後するフレーム間での画素輝度値の差分や動きベクトルの変化率など、画像としての動作の大きさを分析し、その大きさの変化量が一定値以下である時間区間を動きの無い区間（すなわち、意味的な区切り）とする。
【００９１】
最後に、ステップＳ４０４において、手話通訳映像抽出部１３が、ステップＳ４０３で付与された元のタイムスタンプと同じ値と手話通訳映像とを関連付けて手話通訳映像蓄積部１４に保存する。
【００９２】
以上の処理は、映像データを受信している間、継続して常に実行される。これにより、抽出された手話通訳映像での意味的な区切り毎のタイムスタンプが蓄積される。
【００９３】
次に、手話通訳映像を再生する動作について説明する。図１２は、本実施の形態に係る手話通訳映像の再生フローを示す図である。この再生処理は、リモコン３００から遡及再生指示を受けた際に、図１１に示した手話通訳映像の抽出処理と並行して実行される。
【００９４】
まず、ステップＳ５０１，Ｓ５０２において、リモコン３００から遡及再生指示を受けた場合に、手話通訳映像読取部１５が、遡及再生指示された時刻から遡及して最も時間的に近いタイムスタンプを検索し、そのタイムスタンプから始まる遡及再生用手話通訳映像を手話通訳映像蓄積部１４から読み出す。
【００９５】
次に、ステップＳ５０３において、手話通訳映像重畳部１６が、ステップＳ５０２で読み出された遡及再生用手話通訳映像を、画像処理によって現在表示中の手話通訳付き映像のワイプイン部分に重畳する。
【００９６】
最後に、ステップＳ５０４において、映像表示部１２が、現在表示中の手話通訳付き映像に遡及再生用手話通訳映像が重畳された映像をＴＶ２００に出力する。
【００９７】
以上の処理により、意味のある手話通訳映像から再生することができる。
【００９８】
なお、遡及再生用手話通訳映像再生中（より正確には、ステップＳ５０１後からステップＳ５０４後までのどの段階）であっても、リモコン３００のボタン押下による遡及再生指示の有無を判断することができる。遡及再生用手話通訳映像再生中に更に遡及再生指示を受けた場合には、更に意味的な区切り分遡及した手話通訳映像を再生する。すなわち、「遡及再生指示回数（ボタン押下回数）×意味的な区切り」分だけ遡及して遡及再生することができる。これにより、視聴者Ｖの所望するところまで手話通訳映像の意味的な区切りを単位として遡及することができる。
【００９９】
本実施の形態によれば、抽出された手話通訳映像内で動きの無い時間的な区間を分析し、手話通訳での意味的な区切りとし、指定タイミングから意味的な区切りに対応する表示タイミングまで遡った遡及時間分の手話通訳映像を重畳して再生するので、遡及再生される手話通訳映像の意味が分からなくなることを防止できる。
【０１００】
〔第４の実施の形態〕
図１３は、第４の実施の形態に係る手話通訳映像表示制御装置の機能構成ブロックである。本手話通訳映像表示制御装置は、第２及び第３の実施の形態で説明した両機能を併せ持つものである。即ち、手話通訳での意味的な切れ目から再生される遡及再生用手話通訳映像の再生速度を元映像に追い付くように調整する装置である。
【０１０１】
この場合の再生速度は、第２の実施の形態で用いた遡及再生単位時間ｔｒを、第３の実施の形態における最近の意味的な区切りのタイムスタンプまでの時間に置き換えればよい。本実施の形態に係る手話通訳映像表示制御装置の具体的な構成及び動作については第２及び第３の実施の形態で説明したものと同様なので、重複する説明は省略する。
【符号の説明】
【０１０２】
１００…ＳＴＢ
１１…映像データ受信部
１２…映像表示部
１３…手話通訳映像抽出部
１４…手話通訳映像蓄積部
１５…手話通訳映像読取部
１６…手話通訳映像重畳部
１７…リモコン信号受信部
１８…手話通訳映像再生速度調整部
１９…手話通訳区分分析部
２００…ＴＶ
３００…リモコン
４００…アンテナ
５００…通信ネットワーク
Ｓ１０１〜Ｓ１０３、Ｓ２０１〜Ｓ２０５、Ｓ３０１〜Ｓ３０６、Ｓ４０１〜Ｓ４０４、Ｓ５０１〜Ｓ５０４…ステップ
Ｔ…話者
Ｖ…視聴者
【技術分野】
【０００１】
本発明は、手話通訳の映像表示を制御する技術に関する。
【背景技術】
【０００２】
現在では、耳の聞こえない聴覚障害者にも放送中の音声情報を届けられるように、撮影されている話者の音声を手話で通訳し、その放送中の元映像に含めて放送することができる。
【０００３】
そのような映像データは、例えば、図１４に示すように、アンテナ４００や通信ネットワーク５００を通じて宅内などにあるＳＴＢ１００で受信され、それに接続されたＴＶ２００に出力される。これにより、伝送された映像データ内の映像が画面上で表示（再生）される。
【０００４】
特に、手話により通訳された手話通訳映像ＤＡ１は、話者Ｔを映している元映像ＤＡ２に重畳され、多くの場合、その元映像ＤＡ２の片隅で楕円形の枠内にピクチャインピクチャ（ワイプイン）表示される。このような形態の放送番組やその現状については、非特許文献１に記載されている。
【０００５】
また、ＣＳ放送では、手話通訳者が放送番組中の映像を見ながら通訳を行い、それを放送し、例えばアイ・ドラゴンと称される専用装置を利用して、その放送番組で放送されている元映像と手話通訳映像とをそれぞれ受信して、同一画面にリアルタイム表示する聴覚障害者向けのサービスが提供されている（非特許文献２，３参照）。
【０００６】
また、送信側において、手話用データを、手話動作を記述するメタデータに変換して送信し、受信側において、そのメタデータからアバターの動作に変換して手話画像データを生成し、それを元映像に多重化して、ディスプレイ装置に伝送し、聴覚障害者に提示する技術も存在する（特許文献１参照）。
【０００７】
そして、このような技術やサービスは、耳の聞こえない人が日常の生活をする上で極めて重要なものとなっている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００６−２１５５５３号公報
【非特許文献】
【０００９】
【非特許文献１】「リハビリテーション研究」、第82号、（財）日本障害者リハビリテーション協会、1994年12月、p16-17、（インターネット、平成23年10月4日検索、［online］、＜URL : http://www.dinf.ne.jp/doc/japanese/prdl/jsrd/rehab/r082/r082_016.html＞）
【非特許文献２】「放送における聴覚障害者の情報環境 ―独立メディア「目で聴くテレビ」を中心に―」、立命館産業社会論集、第39巻第3号、2003年12月
【非特許文献３】「目で聞くテレビ」、インターネット、平成23年10月4日検索、［online］、＜URL : http://www.medekiku.jp/index.html＞
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、手話は視覚的言語であるため、手話通訳映像から目を離すと当然に見えなく（聞こえなく）なってしまう。また、画面の隅に小さくワイプイン表示される手話通訳映像は見え難く、リアルタイムな一度だけの表示では内容が分からない場合もある。例えば、図１５に示すように、放送番組中の進行中にちょっと横を向いていた間に手話通訳映像を見逃してしまう場合や、手話動作が早くて読み取れなかった場合が考えられる。
【００１１】
一方、耳の聞こえない人が一人で放送番組を視聴している場合は、同時録画しておいて巻き戻して再生することにより、そのような問題を解決できるかもしれない。しかし、耳の聞こえる人と一緒に視聴している場合、内容が理解できているその人にとって巻き戻し再生することは不要であることから、気を使う人にとっては、自分一人のために巻き戻すことがためらわれる場合もある。
【００１２】
本発明は、上記課題を鑑みてなされたものであり、その課題とするところは、耳の聞こえない人が耳の聞こえる人と一緒に映像を楽しむようにすることにある。
【課題を解決するための手段】
【００１３】
請求項１記載の手話通訳映像表示制御装置は、表示対象の手話通訳付き映像に含まれる手話通訳映像を抽出し、前記手話通訳映像が表示される表示タイミングに関連付けて記憶手段に記憶させる抽出手段と、指示された指示タイミングから遡った所定の遡及時間分の手話通訳映像を前記記憶手段から読み出して、現在表示中の前記手話通訳付き映像に重畳して再生する再生手段と、を有することを特徴とする。
【００１４】
本発明によれば、表示対象の手話通訳付き映像に含まれる手話通訳映像を抽出し、その手話通訳映像が表示される表示タイミングに関連付けて記憶手段に記憶させ、指示された指示タイミングから遡った所定の遡及時間分の手話通訳映像を上記記憶手段から読み出して、現在表示中の手話通訳付き映像に重畳して再生するため、手話通訳が理解できなかった場合に手話通訳映像のみを巻き戻して遡及再生可能となることから、耳の聞こえない人が耳の聞こえる人と一緒に映像を楽しむことができる。
【００１５】
請求項２記載の手話通訳映像表示制御装置は、請求項１記載の手話通訳映像表示制御装置において、前記重畳して再生される手話通訳映像の速度を、前記現在表示中の手話通訳付き映像が表示される速度よりも速くする制御手段を更に有することを特徴とする。
【００１６】
本発明によれば、重畳して再生される手話通訳映像の速度を、現在表示中の手話通訳付き映像が表示される速度よりも速くするため、その現在表示中の手話通訳付き映像に含まれる手話通訳映像の表示に追い付くことができる。
【００１７】
請求項３記載の手話通訳映像表示制御装置は、請求項１又は２記載の手話通訳映像表示制御装置において、前記抽出された手話通訳映像内で動きの無い時間的な区間を分析し、手話通訳での意味的な区切りとする分析手段を更に有し、前記再生手段は、前記指定タイミングから前記意味的な区切りに対応する前記表示タイミングまで遡った遡及時間分の手話通訳映像を前記重畳して再生することを特徴とする。
【００１８】
本発明によれば、抽出された手話通訳映像内で動きの無い時間的な区間を分析し、手話通訳での意味的な区切りとし、指定タイミングから意味的な区切りに対応する表示タイミングまで遡った遡及時間分の手話通訳映像を重畳して再生するため、遡及再生される手話通訳映像の意味が分からなくなることを防止できる。
【００１９】
請求項４記載の手話通訳映像表示制御方法は、手話通訳映像表示制御装置で行う手話通訳映像表示制御方法において、前記手話通訳映像表示制御装置により、表示対象の手話通訳付き映像に含まれる手話通訳映像を抽出し、前記手話通訳映像が表示される表示タイミングに関連付けて記憶手段に記憶させる抽出ステップと、指示された指示タイミングから遡った所定の遡及時間分の手話通訳映像を前記記憶手段から読み出して、現在表示中の前記手話通訳付き映像に重畳して再生する再生ステップと、を有することを特徴とする。
【００２０】
本発明によれば、表示対象の手話通訳付き映像に含まれる手話通訳映像を抽出し、その手話通訳映像が表示される表示タイミングに関連付けて記憶手段に記憶させ、指示された指示タイミングから遡った所定の遡及時間分の手話通訳映像を上記記憶手段から読み出して、現在表示中の手話通訳付き映像に重畳して再生するため、手話通訳が理解できなかった場合に手話通訳映像のみを巻き戻して遡及再生可能となることから、耳の聞こえない人が耳の聞こえる人と一緒に映像を楽しむことができる。
【００２１】
請求項５記載の手話通訳映像表示制御方法は、請求項４記載の手話通訳映像表示制御方法において、前記重畳して再生される手話通訳映像の速度を、前記現在表示中の手話通訳付き映像が表示される速度よりも速くする制御ステップを更に有することを特徴とする。
【００２２】
本発明によれば、重畳して再生される手話通訳映像の速度を、現在表示中の手話通訳付き映像が表示される速度よりも速くするため、その現在表示中の手話通訳付き映像に含まれる手話通訳映像の表示に追い付くことができる。
【００２３】
請求項６記載の手話通訳映像表示制御方法は、請求項４又は５記載の手話通訳映像表示制御方法において、前記抽出された手話通訳映像内で動きの無い時間的な区間を分析し、手話通訳での意味的な区切りとする分析ステップを更に有し、前記再生ステップは、前記指定タイミングから前記意味的な区切りに対応する前記表示タイミングまで遡った遡及時間分の手話通訳映像を前記重畳して再生することを特徴とする。
【００２４】
本発明によれば、抽出された手話通訳映像内で動きの無い時間的な区間を分析し、手話通訳での意味的な区切りとし、指定タイミングから意味的な区切りに対応する表示タイミングまで遡った遡及時間分の手話通訳映像を重畳して再生するため、遡及再生される手話通訳映像の意味が分からなくなることを防止できる。
【００２５】
請求項７記載の手話通訳映像表示制御プログラムは、請求項４乃至６のいずれかに記載の手話通訳映像表示制御方法をコンピュータに実行させることを特徴とする。
【発明の効果】
【００２６】
本発明によれば、耳の聞こえない人が耳の聞こえる人と一緒に映像を楽しむようにすることができる。
【図面の簡単な説明】
【００２７】
【図１】実現されるサービス概要のイメージ例を示す図である。
【図２】遡及再生対象の手話通訳映像のみを元映像に重畳する概念を示す図である。
【図３】第１の実施の形態に係る手話通訳映像表示制御装置の機能ブロック構成を示す図である。
【図４】第１の実施の形態に係る手話通訳映像の抽出フローを示す図である。
【図５】第１の実施の形態に係る手話通訳映像の再生フローを示す図である。
【図６】第２の実施の形態に係る手話通訳映像表示制御装置の機能ブロック構成を示す図である。
【図７】第２の実施の形態に係る手話通訳映像の再生フローを示す図である。
【図８】再生速度の調整を説明する図である。
【図９】第３の実施の形態に係る手話通訳映像表示制御装置の機能ブロック構成を示す図である。
【図１０】手話通訳での意見的な区切りと手話通訳映像の遡及再生との関係について説明する図である。
【図１１】第３の実施の形態に係る手話通訳映像の抽出フローを示す図である。
【図１２】第３の実施の形態に係る手話通訳映像の再生フローを示す図である。
【図１３】第４の実施の形態に係る手話通訳映像表示制御装置の機能ブロック構成を示す図である。
【図１４】手話通訳映像表示システムの構成例を示す図である。
【図１５】手話通訳映像表示システムの課題を説明する図である。
【発明を実施するための形態】
【００２８】
以下、本発明を実施する一実施の形態について図面を用いて説明する。但し、本発明は多くの異なる様態で実施することが可能であり、本実施の形態の記載内容に限定して解釈すべきではない。
【００２９】
最初に、本発明により実現されるサービスの概要について説明する。図１は、本発明で実現されるサービス概要のイメージを示す図である。
【００３０】
まず、耳の聞こえない視聴者（以下、単に視聴者）Ｖが、ＴＶ２００の画面右下で手話通訳映像ＤＡ１がワイプインされている映像ＤＡを視聴している（図１（ａ）参照）。映像ＤＡとは、話者Ｔを映している元映像ＤＡ２に、その話者Ｔの発する音声を手話で通訳している手話通訳映像ＤＡ１を重畳して小さく表示している映像をいう。
【００３１】
次に、ＴＶ２００から少し目を離して手話通訳映像ＤＡ１を見逃したか、ワイプイン表示された手話通訳映像ＤＡ１が小さすぎてよく見えなかったかで、手話通訳の内容が少し分からなくなり、数秒前の手話通訳映像ＤＡ１を見たくなった場合には、リモコン３００のボタン押下により、時間的に遡及された過去の手話通訳映像ＤＡ１の再表示を指示する（図１（ｂ）参照）。
【００３２】
その後、予め設定しておいた時間分遡及した時点からの手話通訳映像ＤＡ１のみが再生される（図１（ｃ）参照）。
【００３３】
次に、そのように遡及再生する手話通訳映像ＤＡ１のみを元映像ＤＡ２に重畳する概念を図２に示す。
【００３４】
現在表示中の映像ＤＡにワイプイン表示された手話通訳映像ＤＡ１の上に、画像処理によって手話通訳映像部分だけになり時間的に遡及された手話通訳映像ＤＡ１’が重畳されて、画面表示される映像ＤＡ’となる。
【００３５】
なお、楕円状や矩形状のワイプイン表示部分の位置を識別することは、公知の画像処理技術を用いれば容易に実現できる。その部分から手話通訳映像を抽出したり、その部分に他の映像を重畳したりすることも可能である。
【００３６】
また、手話通訳映像ＤＡ１の上に重なるように重畳させるのに代えて、その手話通訳映像ＤＡ１に重ならないように手話通訳映像ＤＡ１’を重畳させるようにしてもよい。また、手話通訳映像ＤＡは、ワイプイン表示されていない場合であっても、公知の画像処理技術を利用してその映像部分を抽出などの処理を施すことが可能である。
【００３７】
〔第１の実施の形態〕
次に、第１の実施の形態に係る手話通訳映像表示制御装置の機能ブロック構成について説明する。図３は、本実施の形態に係る手話通訳映像表示制御装置の機能ブロック構成を示す図である。
【００３８】
本手話通訳映像表示制御装置は、映像データ受信部１１と、映像表示部１２と、手話通訳映像抽出部１３と、手話通訳映像蓄積部１４と、手話通訳映像読取部１５と、手話通訳映像重畳部１６と、リモコン信号受信部１７とで主に構成されている。
【００３９】
本実施の形態では、例として、ＴＶ２００に接続されたＳＴＢ（Set Top Box）１００に手話通訳映像表示制御装置を具備させる構成を採用している。そのＳＴＢ１００に代えてＴＶ２００に内蔵させてもよく、その実現形態は問わない。
【００４０】
映像データ受信部１１は、表示される手話通訳付き映像の映像データを受信して、映像表示部１２に送信すると共に、手話通訳映像抽出部１３にも送信する。映像入力のインタフェースは、例えば、地上デジタル放送のためのアンテナやＩＰ放送の通信ネットワーク、或いはＨＤやＤＶＤ、ＢＤ等の蓄積メディア等である。
【００４１】
映像データとは、図１（ａ）に示したように、話者Ｔの発する音声を手話で通訳している手話通訳映像ＤＡ１が、その話者Ｔを映している元映像ＤＡ２の片隅に矩形や円形でワイプイン表示されている映像ＤＡである。話者Ｔの発する音声も含まれる。現在放送されているものでもよく、上記蓄積メディアに蓄積されているものでもよい。
【００４２】
映像表示部１２は、映像データ受信部１１から送信された映像データを受け取り、そのままＴＶ２００に出力する。但し、視聴者Ｖから遡及再生指示があった場合には、手話通訳映像重畳部１６によって重畳された遡及再生用手話通訳映像（後述）を元映像と共に出力する。映像出力のインタフェースは、例えば、ＨＤＭＩ等である。
【００４３】
手話通訳映像抽出部１３は、映像データ受信部１１から送信された映像データを受け取り、画像処理によりワイプイン部分のみを識別し、その部分から手話通訳映像を抽出して、その手話通訳映像が本来表示される元の表示タイミング情報（以下、元のタイムスタンプ）に関連付けて、そのタイムスタンプと共に手話通訳映像蓄積部１４に蓄積する。
【００４４】
手話通訳映像読取部１５は、リモコン信号受信部１７から遡及再生指示を受け取った場合に、手話通訳映像蓄積部１４内のタイムスタンプを参照して、その指示された指示タイミングから予め設定されている遡及時間分だけ遡った時点までの手話通訳映像（以下、遡及再生用手話通訳映像）を当該手話通訳映像蓄積部１４から読み出して、手話通訳映像重畳部１６に送信する。
【００４５】
手話通訳映像重畳部１６は、手話通訳映像読取部１５から送信された遡及再生用手話通訳映像を受け取り、現在表示中の手話通訳付き映像のワイプイン部分に重畳して再生させる。
【００４６】
リモコン信号受信部１７は、視聴者Ｖのボタン押下によるリモコン３００からの遡及再生指示を受信して、手話通訳映像読取部１５に送信する。遡及再生指示入力のインタフェースは、例えば、赤外線や無線ＬＡＮ等である。
【００４７】
手話通訳映像表示制御装置を構成する上記各機能部は、ＣＰＵなどの制御手段やメモリなどの記憶手段により実現できる。それら各機能部での各処理は、その処理を実行可能にプログラミングされたプログラムにより実行される。
【００４８】
続いて、本実施の形態に係る手話通訳映像表示制御装置の動作について説明する。最初に、手話通訳付き映像から手話通訳映像を抽出する動作について説明する。図４は、本実施の形態に係る手話通訳映像の抽出フローを示す図である。
【００４９】
まず、ステップＳ１０１において、映像データ受信部１１が、通信ネットワークやアンテナなどを介して、手話通訳映像がワイプイン表示されている映像データを受信する。
【００５０】
次に、ステップＳ１０２において、手話通訳映像抽出部１３が、ステップＳ１０１で受信した映像データを画像処理することにより、ワイプイン表示されている手話通訳映像部分を識別して、その部分内の手話通訳映像を抽出する。
【００５１】
最後に、ステップＳ１０３において、手話通訳映像抽出部１３が、ステップＳ１０２で抽出された手話通訳映像を元のタイムスタンプと同じ値と共に関連付けて手話通訳映像蓄積部１４に保存する。
【００５２】
例えば、抽出された手話通訳映像を構成している時系列な複数の画像フレームと、それら各画像フレームがＴＶ２００に表示される表示時刻とがそれぞれ対応付けて保存される。
【００５３】
以上の処理は、映像データを受信している間、継続して常に実行される。これにより、手話通訳映像のみを蓄積しておくことができる。
【００５４】
次に、手話通訳映像を現在表示中の手話通訳付き映像に重畳して再生する動作について説明する。図５は、本実施の形態に係る手話通訳映像の再生フローを示す図である。この再生処理は、リモコン３００から遡及再生指示を受けた際に、図４に示した手話通訳映像の抽出処理と並行して実行される。
【００５５】
まず、ステップＳ２０１において、手話通訳映像表示制御装置の設定部（図１において不図示）により、１回の遡及再生指示で遡及する遡及再生単位時間ｔｒが設定される。
【００５６】
次に、ステップＳ２０２，Ｓ２０３において、リモコン３００から遡及再生指示を受けた場合に、手話通訳映像読取部１５が、遡及再生指示された時刻から上記遡及再生単位時間ｔｒだけ遡及した遡及再生用手話通訳映像を手話通訳映像蓄積部１４から読み出す。
【００５７】
次に、ステップＳ２０４において、手話通訳映像重畳部１６が、ステップＳ２０３で読み出された遡及再生用手話通訳映像を、画像処理によって現在表示中の手話通訳付き映像のワイプイン部分に重畳する。このとき、ワイプイン部分以外の位置に重畳させてもよい。
【００５８】
最後に、ステップＳ２０５において、映像表示部１２が、現在表示中の手話通訳付き映像に遡及再生用手話通訳映像が重畳された映像をＴＶ２００に出力する。
【００５９】
以上の処理により、受信した元映像については現在の表示状態を継続しながら、ワイプイン表示された手話通訳映像のみを再生することができる。
【００６０】
なお、遡及再生用手話通訳映像再生中（より正確には、ステップＳ２０２後からステップＳ２０５後までのどの段階）であっても、リモコン３００のボタン押下による遡及再生指示の有無を判断することができる。遡及再生用手話通訳映像再生中に更に遡及再生指示を受けた場合には、更に遡及再生単位時間ｔｒ分遡及した手話通訳映像を再生する。すなわち、「遡及再生指示回数（ボタン押下回数）×遡及再生単位時間ｔｒ」分だけ遡及再生することができる。これにより、視聴者Ｖの所望するところまで遡及再生単位時間ｔｒを単位として遡及することができる。
【００６１】
本実施の形態によれば、表示対象の手話通訳付き映像に含まれる手話通訳映像を抽出し、その手話通訳映像が表示される表示タイミングに関連付けて手話通訳映像蓄積部１４に記憶させ、指示された指示タイミングから遡った所定の遡及時間分の手話通訳映像を手話通訳映像蓄積部１４から読み出して、現在表示中の手話通訳付き映像に重畳して再生するので、手話通訳が理解できなかった場合に手話通訳映像のみを巻き戻して遡及再生可能となることから、耳の聞こえない人が耳の聞こえる人と一緒に映像を楽しむことができる。
【００６２】
〔第２の実施の形態〕
次に、第２の実施の形態に係る手話通訳映像表示制御装置の機能ブロック構成について説明する。図６は、本実施の形態に係る手話通訳映像表示制御装置の機能ブロック構成を示す図である。
【００６３】
本手話通訳映像表示制御装置は、第１の実施の形態に係る手話通訳映像表示制御装置において、手話通訳映像読取部１５と手話通訳映像重畳部１６との間に、重畳再生される遡及再生用手話通訳映像の速度を、現在表示中の手話通訳付き映像が表示される速度よりも速くするように調整する手話通訳映像再生速度調整部１８を更に備えている。以下、第１の実施の形態と相違する機能について主に説明する。
【００６４】
手話通訳映像読取部１５は、遡及再生用手話通訳映像を、手話通訳映像重畳部１６に送信するのに代えて、手話通訳映像再生速度調整部１８に送信する。
【００６５】
手話通訳映像再生速度調整部１８は、手話通訳映像読取部１５から送信された遡及再生用手話通訳映像を受け取り、その映像の再生速度を調整し、調整された速度にしたがって適切に再生する遡及再生用手話通訳映像を手話通訳映像重畳部１６に送信する。
【００６６】
手話通訳映像重畳部１６は、手話通訳映像再生速度調整部１８から送信された再生速度調整後の遡及再生用手話通訳映像を受け取り、現在表示中の手話通訳付き映像のワイプイン部分に重畳して再生させる。
【００６７】
続いて、本実施の形態に係る手話通訳映像表示制御装置の動作について説明する。手話通訳映像を抽出する動作については第１の実施の形態と同様であることから、手話通訳映像を再生する動作についてのみ以下説明する。
【００６８】
図７は、本実施の形態に係る手話通訳映像の再生フローを示す図である。この再生フローは、リモコン３００から遡及再生指示を受けた際に、手話通訳映像の抽出処理と並行して実行される。
【００６９】
まず、ステップＳ３０１において、手話通訳映像表示制御装置の設定部により、１回の遡及再生指示で遡及する遡及再生単位時間ｔｒと、遡及再生指示された時刻から元映像の表示（現在表示中の手話通訳付き映像の再生）に追い付くまでの再生追付時間ｔｓとが設定される。
【００７０】
次に、ステップＳ３０２，Ｓ３０３において、リモコン３００から遡及再生指示を受けた場合に、手話通訳映像読取部１５が、遡及再生指示された時刻から上記遡及再生単位時間ｔｒだけ遡及した遡及再生用手話通訳映像を手話通訳映像蓄積部１４から読み出す。
【００７１】
次に、ステップＳ３０４において、手話通訳映像再生速度調整部１８が、ステップＳ３０３で読み出された遡及再生用手話通訳映像の再生速度を、元映像の表示速度（現在表示中の手話通訳付き映像の再生速度）の（ｔｒ＋ｔｓ）／ｔｓ倍に設定して再生する。
【００７２】
図８に示すように、例えば時刻ｔの時点で遡及再生指示された場合、再生追付時間ｔｓ後に元映像の表示に追い付くように再生しなければならないので、（ｔｒ＋ｔｓ）分の映像をｔｓの間で再生することになる。すなわち、元映像の表示速度に比べて(ｔｒ＋ｔｓ)／ｔｓ倍の速度で再生しなければならない。例えば、ｔｓ＝５秒、ｔｒ＝３秒とすると、(５＋３)／５＝１．６倍の速度で再生する。
【００７３】
次に、ステップＳ３０５において、手話通訳映像重畳部１６が、ステップＳ３０４で再生速度が調整された遡及再生用手話通訳映像を、画像処理によって現在表示中の手話通訳付き映像のワイプイン部分に重畳する。
【００７４】
最後に、ステップＳ３０６において、映像表示部１２が、現在表示中の手話通訳付き映像に、再生速度調整後の遡及再生用手話通訳映像が重畳された映像をＴＶ２００に出力する。
【００７５】
本実施の形態によれば、重畳して再生される手話通訳映像の速度を、現在表示中の手話通訳付き映像が表示される速度よりも速くするので、その現在表示中の手話通訳付き映像に含まれる手話通訳映像の表示に追い付くことができる。
【００７６】
〔第３の実施の形態〕
第１及び第２の実施の形態では、遡及再生する単位を、予め設定された一定の単位時間としていた。しかし、手話は視覚的言語であるので、言葉の途中から再生されても分からない可能性がある。例えば、「今日は晴れでした」という文章を途中から「うは、はれでした。」（「きょうは」の、「うは」から）と表現されても分からない。
【００７７】
そこで、第３の実施の形態では、手話通訳映像内での動きのある・無い時間区間を分析し、動きの無い時間区間を手話通訳での意味的な区切りとして、その区切りに対応する元のタイムスタンプまで遡った遡及時間分の手話通訳映像を再生させるようにする。これにより、遡及再生される手話通訳映像の意味が分からなくなることを防止する。
【００７８】
この点を考慮して構成される本実施の形態に係る手話通訳映像表示制御装置の機能ブロック構成を図９に示す。以下、第１、第２の実施の形態と相違する機能について主に説明する。
【００７９】
本手話通訳映像表示制御装置は、第１の実施の形態に係る手話通訳映像表示制御装置において、手話通訳映像抽出部１３と手話通訳映像蓄積部１４との間に、手話通訳での意味的な区切り分析する手話通訳区分分析部１９を更に備えている。
【００８０】
この手話通訳区分分析部１９について説明する前に、図１０を用いて、手話通訳での意見的な区切りと手話通訳映像の遡及再生との関係について説明する。
【００８１】
手話通訳は、一塊の意味のある文章は一連の動きで表現される。そして、次の文章の間に動きの無い区間が生じる。ここが意味的な区切り（意味の切れ目）である可能性が高い。例えば、図１０では、（あ）（う）は動きがある時間区間なので意味のある一連の文章であり、（い）（え）は動きの無い時間区間なので意味の切れ目と考えられる。
【００８２】
例えば、時刻ｔ０のタイミングで遡及再生指示を受けた場合、前述の遡及再生単位時間ｔｒ分遡及した時刻ｔ１から再生を開始しても一連の文章の途中なので意味が分からない可能性がある。一方、時刻ｔ０から一番近い意味的切れ目である時刻ｔ１’であれば、一連の文章の最初から再生されるので、意味が分かりやすい可能性がある。
【００８３】
そこで、手話通訳区分分析部１９は、手話通訳映像抽出部１３から送信された手話通訳映像を受け取り、その手話通訳映像内での動きのある時間区間および無い時間区間を分析し、動きの無い時間区間を意味的な区切りとして、その意味的な区切り毎に元のタイムスタンプを付与して、手話通訳映像蓄積部１４に蓄積する。
【００８４】
手話通訳映像読取部１５は、リモコン信号受信部１７から遡及再生指示を受けた場合に、その指示タイミングから遡ってもっとも最近の意味的な区切りのタイムスタンプを検索し、そのタイムスタンプから始まる手話通訳映像を手話通訳映像蓄積部１４から読み出して、手話通訳映像重畳部１６に送信する。
【００８５】
なお、手話通訳映像抽出部１３は、手話通訳映像抽出部１３により抽出された手話通訳映像を、手話通訳映像蓄積部１４に蓄積するのに代えて、手話通訳区分分析部１９に送信する。
【００８６】
続いて、本実施の形態に係る手話通訳映像表示制御装置の動作について説明する。最初に、手話通訳映像を抽出する動作について説明する。図１１は、本実施の形態に係る手話通訳映像の抽出フローを示す図である。
【００８７】
まず、ステップＳ４０１において、映像データ受信部１１が、通信ネットワークやアンテナなどを介して、手話通訳映像がワイプイン表示されている映像データを受信する。
【００８８】
次に、ステップＳ４０２において、手話通訳映像抽出部１３が、ステップＳ４０１で受信した映像データを画像処理することにより、ワイプイン表示されている手話通訳映像部分を識別して、その部分内の手話通訳映像を抽出する。
【００８９】
次に、ステップＳ４０３において、手話通訳区分分析部１９が、ステップＳ４０２で抽出された手話通訳映像内で動きの無い時間的な区間（動きが少ない区間を含む）を分析し、その区間を手話通訳の意味的な区切りとして、その意味的な区切り毎に元のタイムスタンプと同じ値を付与する。
【００９０】
例えば、手話通訳映像において時間的に前後するフレーム間での画素輝度値の差分や動きベクトルの変化率など、画像としての動作の大きさを分析し、その大きさの変化量が一定値以下である時間区間を動きの無い区間（すなわち、意味的な区切り）とする。
【００９１】
最後に、ステップＳ４０４において、手話通訳映像抽出部１３が、ステップＳ４０３で付与された元のタイムスタンプと同じ値と手話通訳映像とを関連付けて手話通訳映像蓄積部１４に保存する。
【００９２】
以上の処理は、映像データを受信している間、継続して常に実行される。これにより、抽出された手話通訳映像での意味的な区切り毎のタイムスタンプが蓄積される。
【００９３】
次に、手話通訳映像を再生する動作について説明する。図１２は、本実施の形態に係る手話通訳映像の再生フローを示す図である。この再生処理は、リモコン３００から遡及再生指示を受けた際に、図１１に示した手話通訳映像の抽出処理と並行して実行される。
【００９４】
まず、ステップＳ５０１，Ｓ５０２において、リモコン３００から遡及再生指示を受けた場合に、手話通訳映像読取部１５が、遡及再生指示された時刻から遡及して最も時間的に近いタイムスタンプを検索し、そのタイムスタンプから始まる遡及再生用手話通訳映像を手話通訳映像蓄積部１４から読み出す。
【００９５】
次に、ステップＳ５０３において、手話通訳映像重畳部１６が、ステップＳ５０２で読み出された遡及再生用手話通訳映像を、画像処理によって現在表示中の手話通訳付き映像のワイプイン部分に重畳する。
【００９６】
最後に、ステップＳ５０４において、映像表示部１２が、現在表示中の手話通訳付き映像に遡及再生用手話通訳映像が重畳された映像をＴＶ２００に出力する。
【００９７】
以上の処理により、意味のある手話通訳映像から再生することができる。
【００９８】
なお、遡及再生用手話通訳映像再生中（より正確には、ステップＳ５０１後からステップＳ５０４後までのどの段階）であっても、リモコン３００のボタン押下による遡及再生指示の有無を判断することができる。遡及再生用手話通訳映像再生中に更に遡及再生指示を受けた場合には、更に意味的な区切り分遡及した手話通訳映像を再生する。すなわち、「遡及再生指示回数（ボタン押下回数）×意味的な区切り」分だけ遡及して遡及再生することができる。これにより、視聴者Ｖの所望するところまで手話通訳映像の意味的な区切りを単位として遡及することができる。
【００９９】
本実施の形態によれば、抽出された手話通訳映像内で動きの無い時間的な区間を分析し、手話通訳での意味的な区切りとし、指定タイミングから意味的な区切りに対応する表示タイミングまで遡った遡及時間分の手話通訳映像を重畳して再生するので、遡及再生される手話通訳映像の意味が分からなくなることを防止できる。
【０１００】
〔第４の実施の形態〕
図１３は、第４の実施の形態に係る手話通訳映像表示制御装置の機能構成ブロックである。本手話通訳映像表示制御装置は、第２及び第３の実施の形態で説明した両機能を併せ持つものである。即ち、手話通訳での意味的な切れ目から再生される遡及再生用手話通訳映像の再生速度を元映像に追い付くように調整する装置である。
【０１０１】
この場合の再生速度は、第２の実施の形態で用いた遡及再生単位時間ｔｒを、第３の実施の形態における最近の意味的な区切りのタイムスタンプまでの時間に置き換えればよい。本実施の形態に係る手話通訳映像表示制御装置の具体的な構成及び動作については第２及び第３の実施の形態で説明したものと同様なので、重複する説明は省略する。
【符号の説明】
【０１０２】
１００…ＳＴＢ
１１…映像データ受信部
１２…映像表示部
１３…手話通訳映像抽出部
１４…手話通訳映像蓄積部
１５…手話通訳映像読取部
１６…手話通訳映像重畳部
１７…リモコン信号受信部
１８…手話通訳映像再生速度調整部
１９…手話通訳区分分析部
２００…ＴＶ
３００…リモコン
４００…アンテナ
５００…通信ネットワーク
Ｓ１０１〜Ｓ１０３、Ｓ２０１〜Ｓ２０５、Ｓ３０１〜Ｓ３０６、Ｓ４０１〜Ｓ４０４、Ｓ５０１〜Ｓ５０４…ステップ
Ｔ…話者
Ｖ…視聴者
【特許請求の範囲】
【請求項１】
表示対象の手話通訳付き映像に含まれる手話通訳映像を抽出し、前記手話通訳映像が表示される表示タイミングに関連付けて記憶手段に記憶させる抽出手段と、
指示された指示タイミングから遡った所定の遡及時間分の手話通訳映像を前記記憶手段から読み出して、現在表示中の前記手話通訳付き映像に重畳して再生する再生手段と、
を有することを特徴とする手話通訳映像表示制御装置。
【請求項２】
前記重畳して再生される手話通訳映像の速度を、前記現在表示中の手話通訳付き映像が表示される速度よりも速くする制御手段を更に有することを特徴とする請求項１記載の手話通訳映像表示制御装置。
【請求項３】
前記抽出された手話通訳映像内で動きの無い時間的な区間を分析し、手話通訳での意味的な区切りとする分析手段を更に有し、
前記再生手段は、
前記指定タイミングから前記意味的な区切りに対応する前記表示タイミングまで遡った遡及時間分の手話通訳映像を前記重畳して再生することを特徴とする請求項１又は２記載の手話通訳映像表示制御装置。
【請求項４】
手話通訳映像表示制御装置で行う手話通訳映像表示制御方法において、
前記手話通訳映像表示制御装置により、
表示対象の手話通訳付き映像に含まれる手話通訳映像を抽出し、前記手話通訳映像が表示される表示タイミングに関連付けて記憶手段に記憶させる抽出ステップと、
指示された指示タイミングから遡った所定の遡及時間分の手話通訳映像を前記記憶手段から読み出して、現在表示中の前記手話通訳付き映像に重畳して再生する再生ステップと、
を有することを特徴とする手話通訳映像表示制御方法。
【請求項５】
前記重畳して再生される手話通訳映像の速度を、前記現在表示中の手話通訳付き映像が表示される速度よりも速くする制御ステップを更に有することを特徴とする請求項４記載の手話通訳映像表示制御方法。
【請求項６】
前記抽出された手話通訳映像内で動きの無い時間的な区間を分析し、手話通訳での意味的な区切りとする分析ステップを更に有し、
前記再生ステップは、
前記指定タイミングから前記意味的な区切りに対応する前記表示タイミングまで遡った遡及時間分の手話通訳映像を前記重畳して再生することを特徴とする請求項４又は５記載の手話通訳映像表示制御方法。
【請求項７】
請求項４乃至６のいずれかに記載の手話通訳映像表示制御方法をコンピュータに実行させることを特徴とする手話通訳映像表示制御プログラム。
【請求項１】
表示対象の手話通訳付き映像に含まれる手話通訳映像を抽出し、前記手話通訳映像が表示される表示タイミングに関連付けて記憶手段に記憶させる抽出手段と、
指示された指示タイミングから遡った所定の遡及時間分の手話通訳映像を前記記憶手段から読み出して、現在表示中の前記手話通訳付き映像に重畳して再生する再生手段と、
を有することを特徴とする手話通訳映像表示制御装置。
【請求項２】
前記重畳して再生される手話通訳映像の速度を、前記現在表示中の手話通訳付き映像が表示される速度よりも速くする制御手段を更に有することを特徴とする請求項１記載の手話通訳映像表示制御装置。
【請求項３】
前記抽出された手話通訳映像内で動きの無い時間的な区間を分析し、手話通訳での意味的な区切りとする分析手段を更に有し、
前記再生手段は、
前記指定タイミングから前記意味的な区切りに対応する前記表示タイミングまで遡った遡及時間分の手話通訳映像を前記重畳して再生することを特徴とする請求項１又は２記載の手話通訳映像表示制御装置。
【請求項４】
手話通訳映像表示制御装置で行う手話通訳映像表示制御方法において、
前記手話通訳映像表示制御装置により、
表示対象の手話通訳付き映像に含まれる手話通訳映像を抽出し、前記手話通訳映像が表示される表示タイミングに関連付けて記憶手段に記憶させる抽出ステップと、
指示された指示タイミングから遡った所定の遡及時間分の手話通訳映像を前記記憶手段から読み出して、現在表示中の前記手話通訳付き映像に重畳して再生する再生ステップと、
を有することを特徴とする手話通訳映像表示制御方法。
【請求項５】
前記重畳して再生される手話通訳映像の速度を、前記現在表示中の手話通訳付き映像が表示される速度よりも速くする制御ステップを更に有することを特徴とする請求項４記載の手話通訳映像表示制御方法。
【請求項６】
前記抽出された手話通訳映像内で動きの無い時間的な区間を分析し、手話通訳での意味的な区切りとする分析ステップを更に有し、
前記再生ステップは、
前記指定タイミングから前記意味的な区切りに対応する前記表示タイミングまで遡った遡及時間分の手話通訳映像を前記重畳して再生することを特徴とする請求項４又は５記載の手話通訳映像表示制御方法。
【請求項７】
請求項４乃至６のいずれかに記載の手話通訳映像表示制御方法をコンピュータに実行させることを特徴とする手話通訳映像表示制御プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１３−８８７３８（Ｐ２０１３−８８７３８Ａ）
【公開日】平成２５年５月１３日（２０１３．５．１３）
【国際特許分類】
【出願番号】特願２０１１−２３１３６６（Ｐ２０１１−２３１３６６）
【出願日】平成２３年１０月２１日（２０１１．１０．２１）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２５年５月１３日（２０１３．５．１３）
【国際特許分類】
【出願日】平成２３年１０月２１日（２０１１．１０．２１）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]