放送・通信融合システムにおける手話ビデオデータの提供システム及びその方法
【課題】マルチメディアデータを送受信する送受信器を備える放送・通信融合システムにおいて手話画像データの提供システム及びその方法を提供する。
【解決手段】本発明のシステムは、マルチメディアデータから手話を適用するデータを抽出して動作データに切り換え、該動作データをアバター動作データとしてのアバター動作スキーマに切り換え、該アバター動作スキーマをメタデータに切り換え、マルチメディアデータと該メタデータとを多重化して伝送する送信器と、多重化されたマルチメディアデータとメタデータとを受信して逆多重化し、メタデータを用いてアバター動作スキーマを抽出し、該アバター動作スキーマに基づいてアバターの動作を制御して手話画像データを生成し、当該手話画像データとマルチメディアデータとを多重化してディスプレイ装置に伝送する受信器とを備える。
【解決手段】本発明のシステムは、マルチメディアデータから手話を適用するデータを抽出して動作データに切り換え、該動作データをアバター動作データとしてのアバター動作スキーマに切り換え、該アバター動作スキーマをメタデータに切り換え、マルチメディアデータと該メタデータとを多重化して伝送する送信器と、多重化されたマルチメディアデータとメタデータとを受信して逆多重化し、メタデータを用いてアバター動作スキーマを抽出し、該アバター動作スキーマに基づいてアバターの動作を制御して手話画像データを生成し、当該手話画像データとマルチメディアデータとを多重化してディスプレイ装置に伝送する受信器とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、放送・通信融合システムに係り、特に、マルチメディアデータに手話アバターを適用することで、マルチメディアデータを手話ビデオデータと共に提供するシステム及びその方法に関する。
【背景技術】
【０００２】
放送と通信ネットワークの融合は、アナログ技術に取って代わったデジタル技術の発展による成果である。現在のデジタル技術は、あらゆる情報をデジタル化することで、オーディオデータとビデオデータとの間の境界の区別（データの区別）がなくなり、単一のネットワークを通じて全てのデータが提供される傾向にある。そして、放送ネットワークと通信ネットワークが単一のネットワークに融合されるに伴い、融合網におけるマルチメディアデータの量は一層膨大化しつつある。
【０００３】
このような放送・通信融合型のシステムにおいて、上記マルチメディアデータを用いるユーザ、中でも、耳の不自由な人は、一般の人に比べて上記マルチメディアデータを処理（正確に受信）してこれを活用する上で多くの難点を有している。そこで、このような耳の不自由な人のために、上記マルチメディアデータを提供する放送局などにおいては、一部のマルチメディアデータを字幕放送の形で提供している。
【０００４】
しかしながら、大多数の耳の不自由な人は、文字（字幕）に比べて手話（sign language）に慣れ親しんでおり、当該手話の方がよく理解できる。このため、ニュース番組などの放送においては、人が直接上記マルチメディアデータに対応する手話を行ったビデオ（画像）データを記録（録画）し、その後、当該手話に関する画像データを上記マルチメディアデータと同時に伝送していた。すなわち、このような方法でマルチメディアデータを耳の不自由な人に対して伝送する場合、上記マルチメディアデータを生成するために人が直接手話を行う必要がある（人間を雇って手話を行わせる必要ある）とともに、それを記録（録画）させる必要があった。その結果、放送コストが嵩むという問題があった。
【０００５】
このような理由から、耳の不自由な人のために放送・通信融合ネットワークにおいてマルチメディアデータを提供する場合に、耳の不自由な人に手話アバターなどを用いた手話ビデオデータ（手話画像データ）を提供するシステム及び方法が望まれていた。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
そこで、本発明は、放送・通信融合システムにおける手話画像データを提供するシステム及びその方法を提供することをその目的としている。
【０００７】
また、本発明の他の目的としては、放送・通信融合システムにおいてマルチメディアデータに耳の不自由な人のための手話画像データを提供するシステム及びその方法を提供することにある。
【０００８】
さらに、本発明の他の目的としては、放送・通信融合システムにおいて耳の不自由な人に手話アバターなどを用いて手話画像データを提供するシステム及び方法を提供することにある。
【０００９】
さらには、本発明の他の目的としては、放送・通信融合ネットワークにおける国外の手話と自国の手話とを連携して手話画像データを提供するシステム及び方法を提供することにある。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、本発明に係るシステムは、マルチメディアデータを送受信する送信器及び受信器を備える放送・通信融合システムにおいて手話ビデオデータを提供するシステムであって、マルチメディアデータから手話を適用するデータを抽出し、抽出された手話を適用するデータを手話動作データに変換し、手話動作データをアバター動作データとしてのアバター動作スキーマに変換し、アバター動作スキーマをメタデータに変換し、マルチメディアデータとメタデータとを多重化して受信器に伝送する送信器と、多重化されたマルチメディアデータとメタデータを受信して逆多重化し、メタデータ（手話メタデータ）を用いてアバター動作スキーマを抽出し、アバター動作スキーマに基づいてアバターの動作を制御して手話画像データを生成し、手話画像データとマルチメディアデータとを多重化してディスプレイ装置に伝送する受信器とを備えることを特徴とする。
【００１１】
また、上記目的を達成するために、本発明に係る他のシステムは、マルチメディアデータを送受信する送信器及び受信器を備える放送・通信融合システムにおいて手話ビデオデータを提供するシステムであって、マルチメディアデータを受信して逆多重化し、マルチメディアデータから手話を適用するデータを抽出し、抽出された手話を適用するデータを手話動作データに変換し、該手話動作データをアバター動作データとしてのアバター動作スキーマに変換し、該アバター動作スキーマに基づいてアバターの動作を制御して手話画像データを生成し、該手話画像データとマルチメディアデータとを多重化してディスプレイ装置に伝送する受信器を備えることを特徴とする。
【００１２】
また、上記目的を達成するために、本発明に係る方法は、マルチメディアデータを送受信する送信器及び受信器を備える放送・通信融合システムにおいて手話ビデオデータを提供する送受信器の動作方法であって、送信器は、マルチメディアデータから手話を適用するデータを抽出し、抽出された手話を適用するデータを手話動作データに変換する過程と、該手話動作データをアバター動作データとしてのアバター動作スキーマに変換し、該アバター動作スキーマをメタデータに変換する過程と、マルチメディアデータと該メタデータとを多重化して伝送する過程とを含み、受信器は、多重化されたマルチメディアデータとメタデータを受信して逆多重化する過程と、該メタデータを用いてアバター動作スキーマを抽出する過程と、該アバター動作スキーマに基づいてアバターの動作を制御して手話画像データを生成する過程と、手話画像データとマルチメディアデータとを多重化してディスプレイ装置に伝送する過程とを含むことを特徴とする。
【００１３】
また、上記目的を達成するために、本発明に係る他の方法は、マルチメディアデータを送受信する送信器及び受信器を備える放送・通信融合システムにおいて手話ビデオデータを提供する受信器の動作方法であって、マルチメディアデータを受信して逆多重化し、マルチメディアデータから手話を適用するデータを抽出し、抽出された手話を適用するデータを手話動作データに変換する過程と、該手話動作データをアバター動作データとしてのアバター動作スキーマに変換する過程と、該アバター動作スキーマに基づいてアバターの動作を制御して手話画像データを生成する過程と、該手話画像データとマルチメディアデータとを多重化してディスプレイ装置に伝送する過程とを含むことを特徴とする。
【発明の効果】
【００１４】
本発明によれば、上記放送・通信融合システムにおいて、マルチメディアデータの伝送に際して耳の不自由な人のための手話画像データを提供することが可能となる。すなわち、手話アバターなどを用いて受信したマルチメディアデータの一部の情報をディスプレイすることが可能になる。
【００１５】
また、本発明によれば、従来のように人物（人間）自らの指揮による手話システムに取って代わることが可能となり、国外の言語に関係する手話データベースが構築されれば、他の言語によらずに自国の言語に適合する手話システムへの切り換えが可能になる。また、キャプションなどの機能に対応するマルチメディアデータでは、字幕などのテキスト情報と混在した手話画像データを提供することが可能にある。
【発明を実施するための最良の形態】
【００１６】
以下、添付図面を参照しながら本発明の好適な実施形態について詳細に説明する。なお、図面において、同じ構成要素若しくは同様の構成要素については、異なる図面であっても同符号を付している、また、本発明の要旨のみを明瞭にするために公知の機能や構成についての詳細な説明を、適宜省略するものとする。
【００１７】
本発明は、放送・通信融合システムにおいて提供されるマルチメディアデータから手話を適用するデータを抽出し、これを用いて手話アバターの動作を制御して手話ビデオ（画像）データを生成することにより、マルチメディアデータと同時に生成された手話画像データをディスプレイするシステム及びその方法を提案するものである。図１は、本発明の実施形態の放送・通信融合システムにおけるマルチメディアデータを送受信する送信器及び受信器の構造を説明するための構成図である。
【００１８】
図１に示すように、本実施形態のマルチメディアデータを提供する送信器は、エンコーダ１０１と、手話適用データ抽出器１０３と、手話適応エンジン１０５と、メタデータ生成器１０７と、多重化器（ＭＵＸ）１０９と、手話データベース１１１とを備えている。
【００１９】
また、本実施形態のマルチメディアデータを受信するための受信器は、逆多重化器（ＤＥＭＵＸ）１５１と、デコーダ１５３と、手話アバター動作パーサー１５５と、手話アバター動作制御器１５７と、手話画像データ生成器１５９と、多重化器１６１と、手話データベース１６３とを備える。本実施形態の受信器における手話データベース１６３は、単独で若しくは国外（外国）の手話データベース１６５と連動した形態で使用することが可能である。
【００２０】
以下、本実施形態の送信器の動作を説明する。本実施形態の送信器においては、ビデオデータ及びオーディオデータよりなる上記マルチメディアデータは、それぞれエンコーダ１０１によりエンコードされ、多重化器（ＭＵＸ）１０９に出力する。
【００２１】
手話適用データ抽出器１０３は、エンコーダ１０１によりエンコードされる前の入力されたマルチメディアデータから、手話を適用される手話適用データ、例えば、オーディオデータ及びテキストデータを抽出して、手話適用エンジン１０５に出力する。そして、手話適用エンジン１０５により、これらオーディオデータ及びテキストデータに対してＭＰＥＧ（Motion Picture Experts Group）−２１が適用される。より具体的に説明すると、本実施形態の手話適応エンジン１０５は、上記ＭＰＥＧ−２１のデジタルアイテム適応（Digital Item Adaptation：以下、「ＤＩＡ」と称する。）の適応エンジンであり、当該ＤＩＡエンジンは、入力されるデジタルデータをＭＰＥＧ−２１のＤＩＡ適応エンジンを用いて資源（リソース）の適応及び等級適応の処理を行うものである。
【００２２】
また、本実施形態の手話適応エンジン１０５は、手話データベース１１１と連動してデジタルデータを適応データに切り換える（変換する）。
【００２３】
具体的に説明すると、手話適応エンジン１０５は、手話適用データ抽出器１０３で抽出されたオーディオデータ及びテキストデータなどのデジタルデータを、複雑度が低減された適応メタデータ、例えば、拡張マークアップ言語（eXtensible Markup Language、以下、「ＸＭＬ」と称する。）などにより構成された手話アバター動作スキーマに変換する（デジタルデータを手話アバター動作スキーマとして生成する）。次いで、手話適応エンジン１０５は、生成された手話アバター動作スキーマをメタデータ生成器１０７に伝送する。メタデータ生成器１０７では、生成された手話アバター動作スキーマを用いてメタデータを生成する。このとき、当該メタデータは、マルチメディアデータと関連する手話アバターの動作を制御するための手話アバター動作スキーマを含んでいる。そして、このメタデータを、エンコードされたマルチメディアデータと多重化し、これを放送通信ネットワークを介して受信器に伝送する。
【００２４】
受信器は、送信器からの多重化されたマルチメディアデータ及びメタデータを受信すると、逆多重化器１５１と通じて多重化されたデータをマルチメディアデータとメタデータに分離する。
【００２５】
そして、マルチメディアデータは、デコーダ１５３においてデコードされた後に、多重化器１６１に出力され、メタデータは、手話アバター動作パーサー１５５に入力される。手話アバター動作パーサー１５５は、メタデータを解析して手話アバター動作スキーマを抽出（ここでも同様に、上述のＭＰＥＧ−２１のＤＩＡ方式を再び適用して手話アバター動作スキーマを解析・抽出）し、手話アバター動作スキーマを手話アバター動作制御器１５７に出力する。手話アバター動作制御器１５７では、抽出されたアバター動作スキーマを用いて手話アバターの動作を制御する。そして、手話アバター動作制御器１５７の出力結果に基づき、手話画像データ生成器１５９は、ディスプレイ装置にディスプレイされる手話画像データを生成する。
【００２６】
なお、本実施形態の受信器は、自国（国内）の手話の場合は、上記受信器の構成により、メタデータの形で手話アバターを制御するアバター動作スキーマを用いて手話アバターを制御することが可能であるが、自国の手話ではない外国（国外）、すなわち、他国の手話に関するメタデータを受信した場合には、当該手話アバター動作パーサー１５５は、国内手話に関する情報を格納している手話データベース１６３と他国の手話データベース１６５を連動させて上記国外の手話メタデータを国内の手話メタデータに切り換え（変換し）、これを解析することにより、国内の手話アバター動作スキーマを生成し、手話アバター動作制御器１５７において制御を行うように、拡張適用することも可能である。
【００２７】
また、本実施形態では、図１に示すように、送信器及び受信器の各々に、手話データベース１１１、１６３を個別に設け、手話データベースとして同様のデータを有する形態を想定しているが、これに限定されるものではなく、例えば、本実施形態の送信器及び受信器が、一つの装置で構成される場合には、一つの送信器と受信器が１つの手話データベースを共有するように構成することが可能である。また、送信器及び受信器の内部に手話データベースを設けない構成、すなわち、送信器及び受信器の外部に手話データベースを設ける構成でもよい。この場合、送信器及び受信器は、ネットワークを通じて外部の手話データベースに接続可能である。なお、国外の手話データベース１６５についても同様である。
【００２８】
図２は、本実施形態の手話適応エンジンの概略構造図である。
【００２９】
図２に示すように、手話適応エンジン１０５には、ＭＰＥＧ-２１のＤＩＡが適用されている。そして、手話適応エンジン１０５は、手話動作データ変換器２０１と、手話アバター動作スキーマ切換器２０３とを備えている。
【００３０】
そして、手話適用データ抽出器１０３において抽出した手話を適用するデータ、例えば、オーディオデータやテキストデータが当該手話適応エンジン１０５に入力されると、手話動作データ変換器２０１は、オーディオデータやテキストデータを手話動作データに切り換える（変換する）。例えば、「行く」という内容を含むオーディオデータやテキストデータを例にとってみると、上記「行く」に該当する手話、すなわち、「人差指の先を下に向け、さっと前方へ向ける動作」が手話データベース１１１に所定のプロセスを経て手話動作データの形で格納されている。
【００３１】
これにより、手話動作データ変換器２０１は、受信した手話適用データを手話データベース１１１の内部に格納されている手話動作データに切り換える。このように、手話データベース１１１は、手話を適用するデータ、すなわち、オーディオデータやテキストデータの手話適用データに該当する手話動作データを格納しており、当該手話動作データ変換器２０１は、手話データベース１１１に格納された手話動作データを用いて、手話を適用するデータを手話動作データに切り換えている。
【００３２】
そして、手話アバター動作スキーマ切換器２０３は、手話動作データに切り換えられたデータを受信し、それらを各手話動作データに該当する手話アバター動作スキーマに切り換える（変換する）。手話データベース１１１は、手話動作データに該当する手話アバター動作の制御のための手話アバター動作スキーマを格納している。なお、手話アバター動作スキーマは、上述したようにＸＭＬなどの言語により表現可能である。そして、手話アバター動作スキーマは、手話アバター動作のためのデータであり、受信器においては、これを用いて手話アバターの動作を制御する。なお、手話適応エンジン１０５が手話適用データを各手話動作データに切り換え、これをさらに手話アバター動作スキーマに切り換えるに際し、ＭＰＥＧ−２１が用いられる。
【００３３】
次に、本実施形態の受信器の別形態について説明する。図１は、送信器及び受信器の各々に、手話画像データを生成するための構成を設けているが、例えば、図３に示すような受信器を適用し、送信器を、放送・通信融合システムにおけるマルチメディアデータを生成するための通常の形態で構成することも可能である。
【００３４】
図３は、本実施形態の放送・通信融合システムにおける手話画像データを提供する受信器の別形態を示す概略構造図である。なお、この場合、送信器は通常のマルチメディアデータを送信する送信器を用いることから、当該送信機の構造及び説明は省略する。
【００３５】
図３に示すように、送信器からマルチメディアデータを受信する受信器は、逆多重化器３０１と、デコーダ３０３と、手話適用データ抽出器３０５と、手話適応エンジン３０７と、手話アバター動作制御器３０９と、手話画像データ生成器３１１と、多重化器３１３と、を備えている。そして、当該受信器は、手話データベース３１５をさらに備え、手話データベースを単独で用いることが可能で、また、上述のように、国外の手話データベース３１７とも連動するように適用可能である。
【００３６】
受信器は、多重化されたマルチメディアデータを受信すると、逆多重化器３０１においては、当該受信したマルチメディアデータを逆多重化する。逆多重化されたマルチメディアデータは、デコーダ３０３に出力され、当該デコーダ３０３がこれをデコードし、多重化器３１３に出力する。
【００３７】
また、手話適用データ抽出器３０５は、逆多重化器３０１から出力されたマルチメディアデータを受信し、手話の適用のために受信したマルチメディアデータのうちの一部のデータを抽出する。この抽出されるマルチメディアデータの一部のデータは、マルチメディアデータのオーディオデータやテキストデータを含んでいることが好ましい。すなわち、本実施形態の手話適用データ抽出器３０７は、受信したマルチメディアデータから手話を適用する手話適用データ、例えば、オーディオデータ及びテキストデータを抽出する。そして、抽出されたオーディオデータ及びテキストデータは、手話適用エンジン３０７に出力され、上述のように、当該手話適用エンジン３０７において、ＭＰＥＧ−２１が適用される。なお、図３の手話適応エンジン３０７は、図２に示したＭＰＥＧ−２１のＤＩＡの適応エンジンに相当するものである。すなわち、手話適用エンジン３０７は、ＤＩＡ適応エンジンを用いて、入力されるデジタルデータに対し、資源の適応及び等級適応の処理を行う。
【００３８】
また、手話適応エンジン３０７は、手話データベース３１５と連動してデジタルデータを適応データに切り換える。具体的に説明すると 手話適応エンジン３０７は、受信したオーディオデータ及びテキストデータなどのデジタルデータを、複雑度が低減された適応メタデータ、例えば、ＸＭＬによって生成される手話アバター動作スキーマに変換する（オーディオデータ及びテキストデータなどのデジタルデータを手話アバター動作スキーマとして生成する）。手話適応エンジン３０７において生成された手話アバター動作スキーマは、手話アバター動作制御器３１１に出力され、手話アバター動作制御器３０９が、入力されたアバター動作スキーマを用いてアバターの動作を制御する。手話アバター動作制御器３０９の出力結果は、手話画像データ生成器３１１に出力され、当該手話画像データ生成器３１１が、ディスプレイ装置にディスプレイされる手話画像データを生成する。生成された手話画像データは、デコーダ３０３においてデコードされたマルチメディアデータと多重化器３１３で多重化され、ディスプレイ装置に出力される。
【００３９】
なお、図３の手話適応エンジン３０７は、図２に示した送信器の手話適用エンジン１０５と同様の構成を有し、ＭＰＥＧ−２１方式を用いて手話アバター動作スキーマを生成する（これについては、図２の説明において詳述しているので、具体的な構成及び動作についての説明は省略する）。
【００４０】
また、図３に示した受信器は、図１（ａ）に示した送信器ではなく、通常の送信器から伝送されたマルチメディアデータを受信する構成として説明したが、当該図３の受信器（手話適応エンジン３０７）は、図１（ｂ）に示した本実施形態の受信器から伝送される信号を受信することも可能である。また、図３に示した手話適応エンジン３０７は、図１（ｂ）の受信器の手話アバター動作パーサー１５５若しくは手話アバター動作パーサー１５５に相当する機能を含むように構成することが好ましい。このように構成することで、入力するマルチメディアデータが国外のマルチメディアデータであって、かつ手話アバター動作スキーマを含む（適用）メタデータである場合には、国外手話データベース３１７と連動して国内の手話アバタースキーマに切り換えて、自国以外の手話に対応した手話画像データを提供することが可能になる
【００４１】
次に、図１（ａ）に示した本実施形態の、マルチメディアデータを送受信する送受信器を備える放送・通信融合システムにおける手話画像データを提供する送信器及び受信器の動作について、図面を参照しながら詳細に説明する。
【００４２】
図４は、本実施形態の送信器（図１（ａ））における動作過程を示すフローチャートである。
【００４３】
図４に示すように、本実施形態の送信器は、入力されたマルチメディアデータから手話を適用したい手話適用データ、例えば、オーディオデータ及びテキストデータを抽出する（ステップＳ４０１）。次いで、抽出された手話適用データを手話動作データに切り換える（ステップＳ４０３）。ここで、この手話動作データは、手話アバターの動作を制御するための手話動作を前もってデータの形に変換してデータベースに格納しておいたデータである。その後、手話動作データを手話アバター動作スキーマに切り換える（ステップＳ４０５）。なお、手話適用データを手話動作データに切り換えた後に、これを手話アバターの動作を制御するために手話アバター動作スキーマに切り換えるが、手話適用データの手話動作データへの切り換え及び手話動作データの手話アバター動作スキーマへの切り換える過程においては、上述したようにＭＰＥＧ−２１のＤＩＡを用いて適応処理が行われる。また、生成されたアバター動作スキーマは、例えば、ＸＭＬなどよりなる手話アバター動作スキーマである。次いで、アバター動作スキーマに切り換えられたデータを用いてメタデータ（手話メタデータ）を生成する（ステップＳ４０７）。このとき、当該メタデータは、マルチメディアデータと関連する手話アバターの動作を制御する手話アバター動作スキーマを含んでいる。次いで、メタデータをエンコードされたマルチメディアデータと共に多重化して受信側、すなわち、図１（ｂ）の受信器に伝送する（ステップＳ４０９）。
【００４４】
図５は、本実施形態の図１（ｂ）に示した受信器の動作過程を説明するためのフローチャートである。
【００４５】
図５に示すように、本実施形態の受信器は、多重化されたメタデータとマルチメディアデータを受信し、これを逆多重化してマルチメディアデータからメタデータを分離する（ステップＳ５０１）。そして、メタデータを分離した後、メタデータからアバター動作スキーマを抽出する（ステップＳ５０３）。なお、抽出されたアバター動作スキーマは、送信側（送信器）において、ＭＰＥＧ−２１のＤＩＡを用いて生成されたものであるため、本実施形態の受信器（受信側）においても、ＭＰＥＧ−２１のＤＩＡ方式を用いてメタデータを解析し、アバター動作スキーマを抽出する。次いで、アバター動作スキーマを用いて手話アバターの動作を制御し（ステップＳ５０５）、アバター動作の制御に基づいてアバターを制御し、手話画像データを生成する（ステップＳ５０７）。そして、生成された手話画像データとマルチメディアデータとを多重化して（ステップＳ５０９）、ディスプレイ装置に伝送する（ステップＳ５１１）。多重化されたマルチメディアデータ及び手話画像データを受信したディスプレイ装置では、マルチメディアデータと手話画像データとが同時にディスプレイする。なお、受信したメタデータが国外の手話であり、且つ国外の手話データベースと国内の手話データベースとをさらに備えている場合は、２つのデータベースを連動させて国外のメタデータを国内のメタデータに切り換えることで、自国以外の手話画像データを生成することが可能である。
【００４６】
また、この場合は、国外のメタデータから切り換えられた国内のメタデータから国内の手話アバター動作スキーマを再び抽出して手話画像データを生成する方法が適用される。この場合、手話アバター動作パーサー１５５が、自国の手話に関するメタデータか、若しくは国外の手話に関するメタデータか否かを判別する処理を行う。例えば、受信したメタデータが自国の手話に関するデータベースとマッチングしない場合やその他のデータ判別方法により、自国若しくは国外のメタデータであることを判別し、国外の手話に関するメタデータである場合には、当該手話アバター動作パーサー１５５は、国外の手話データベース１６５を連動して、国内の手話に関するメタデータに変換し、手話アバター動作スキーマを生成する。
【００４７】
図６は、本実施形態の図３に示した受信器の動作過程を説明するためのフローチャートである。
【００４８】
図６に示すように、図３に示した受信器は、通常の送信器からのマルチメディアデータを受信すると、受信したマルチメディアデータから手話適用データを抽出し（ステップＳ６０１）、抽出された手話適用データを手話動作データに切り換える（ステップＳ６０３）。なお、当該手話適用データは、上述のように、例えば、オーディオデータ及びテキストデータなどであり手話動作データは、手話アバターの動作を制御するための手話動作を前もってデータの形に切り換えてデータベースに格納しておいたデータである。次いで、手話動作データを手話アバター動作スキーマに切り換える（ステップＳ６０５）。なお、手話適用データを手話動作データに切り換えた後に、これを手話アバターの動作を制御するために手話アバター動作スキーマに切り換えるが、手話適用データの手話動作データへの切り換え、及び手話動作データの手話アバター動作スキーマへの切り換える過程においては、上述したように、ＭＰＥＧ−２１のＤＩＡを用いた適応処理が行われる。また、アバター動作スキーマとしては、例えば、ＸＭＬなどよりなる手話アバター動作スキーマである。
【００４９】
次いで、図３の受信器は、生成された手話アバター動作スキーマを用いて手話アバターの動作を制御し（ステップＳ６０７）。手話アバター動作制御に基づいてアバターを制御し、当該アバターを用いて手話画像データを生成する（ステップＳ６０９）。
【００５０】
そして、生成された手話画像データとマルチメディアデータを多重化し（ステップＳ６１１）、多重化されたマルチメディアデータと手話画像データとをディスプレイ装置に伝送する（ステップＳ６１３）。マルチメディアデータと手話画像データを受信したディスプレイ装置は、マルチメディアデータと手話画像データとを同時にディスプレイする。なお、ここでも同様に、受信したマルチメディアデータが国外のマルチメディアデータである場合には、手話データベースを国外の手話データと連動させて国内のアバター動作スキーマを生成し、国内の手話アバター動作を制御して手話画像データを生成する方法が適用されることになる。また、本実施形態の国外の手話データベースには、国外のマルチメディアデータに対応する手話動作データ、手話アバター動作に関する情報、及び手話アバター動作についてのメタデータなどが含まれる。
【００５１】
以上、本発明を具体的な実施形態に則して詳述したが、特許請求の範囲に記載されるような本発明の精神及び範囲を外れることなく、形式や細部等についての種々の変形が可能であることは勿論である。したがって、本発明の範囲は、上述した実施形態に限定されるものではなく、特許請求の範囲及び該記載と均等なものによって定められるべきである。
【図面の簡単な説明】
【００５２】
【図１】本発明の好適な実施形態の放送・通信融合システムにおいて手話画像データを提供する送受信器の概略構造図であって、図１（ａ）は送信器、図（ｂ）は受信器の構成図である。
【図２】本発明の好適な実施形態の手話適応エンジンの概略構造図である。
【図３】本発明の好適な実施形態における図１（ｂ）とは異なる形態の受信器の概略構造図である。
【図４】本発明の好適な実施形態の送信器（図１（ａ））の動作過程を説明するためのフローチャートである。
【図５】本発明の好適な実施形態の受信器（図１（ｂ））の動作過程を説明するためのフローチャートである。
【図６】本発明の好適な実施形態の図３に示した受信器の動作過程を説明するためのフローチャートである。
【符号の説明】
【００５３】
１０１ エンコーダ
１０３ 手話適用データ抽出器
１０５ 手話適用エンジン
１０７ メタデータ生成器
１０９ 多重化（ＭＵＸ）
１１１ 手話データベース
１５１ 逆多重化器（ＤＥＭＵＸ）
１５３ デコーダ
１５５ 手話アバター動作パーサー
１５７ 手話アバター動作制御器
１５９ 手話画像データ生成器
１６１ 多重化器（ＭＵＸ）
１６３ 手話データベース
１６５ 国外の手話データベース
【技術分野】
【０００１】
本発明は、放送・通信融合システムに係り、特に、マルチメディアデータに手話アバターを適用することで、マルチメディアデータを手話ビデオデータと共に提供するシステム及びその方法に関する。
【背景技術】
【０００２】
放送と通信ネットワークの融合は、アナログ技術に取って代わったデジタル技術の発展による成果である。現在のデジタル技術は、あらゆる情報をデジタル化することで、オーディオデータとビデオデータとの間の境界の区別（データの区別）がなくなり、単一のネットワークを通じて全てのデータが提供される傾向にある。そして、放送ネットワークと通信ネットワークが単一のネットワークに融合されるに伴い、融合網におけるマルチメディアデータの量は一層膨大化しつつある。
【０００３】
このような放送・通信融合型のシステムにおいて、上記マルチメディアデータを用いるユーザ、中でも、耳の不自由な人は、一般の人に比べて上記マルチメディアデータを処理（正確に受信）してこれを活用する上で多くの難点を有している。そこで、このような耳の不自由な人のために、上記マルチメディアデータを提供する放送局などにおいては、一部のマルチメディアデータを字幕放送の形で提供している。
【０００４】
しかしながら、大多数の耳の不自由な人は、文字（字幕）に比べて手話（sign language）に慣れ親しんでおり、当該手話の方がよく理解できる。このため、ニュース番組などの放送においては、人が直接上記マルチメディアデータに対応する手話を行ったビデオ（画像）データを記録（録画）し、その後、当該手話に関する画像データを上記マルチメディアデータと同時に伝送していた。すなわち、このような方法でマルチメディアデータを耳の不自由な人に対して伝送する場合、上記マルチメディアデータを生成するために人が直接手話を行う必要がある（人間を雇って手話を行わせる必要ある）とともに、それを記録（録画）させる必要があった。その結果、放送コストが嵩むという問題があった。
【０００５】
このような理由から、耳の不自由な人のために放送・通信融合ネットワークにおいてマルチメディアデータを提供する場合に、耳の不自由な人に手話アバターなどを用いた手話ビデオデータ（手話画像データ）を提供するシステム及び方法が望まれていた。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
そこで、本発明は、放送・通信融合システムにおける手話画像データを提供するシステム及びその方法を提供することをその目的としている。
【０００７】
また、本発明の他の目的としては、放送・通信融合システムにおいてマルチメディアデータに耳の不自由な人のための手話画像データを提供するシステム及びその方法を提供することにある。
【０００８】
さらに、本発明の他の目的としては、放送・通信融合システムにおいて耳の不自由な人に手話アバターなどを用いて手話画像データを提供するシステム及び方法を提供することにある。
【０００９】
さらには、本発明の他の目的としては、放送・通信融合ネットワークにおける国外の手話と自国の手話とを連携して手話画像データを提供するシステム及び方法を提供することにある。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、本発明に係るシステムは、マルチメディアデータを送受信する送信器及び受信器を備える放送・通信融合システムにおいて手話ビデオデータを提供するシステムであって、マルチメディアデータから手話を適用するデータを抽出し、抽出された手話を適用するデータを手話動作データに変換し、手話動作データをアバター動作データとしてのアバター動作スキーマに変換し、アバター動作スキーマをメタデータに変換し、マルチメディアデータとメタデータとを多重化して受信器に伝送する送信器と、多重化されたマルチメディアデータとメタデータを受信して逆多重化し、メタデータ（手話メタデータ）を用いてアバター動作スキーマを抽出し、アバター動作スキーマに基づいてアバターの動作を制御して手話画像データを生成し、手話画像データとマルチメディアデータとを多重化してディスプレイ装置に伝送する受信器とを備えることを特徴とする。
【００１１】
また、上記目的を達成するために、本発明に係る他のシステムは、マルチメディアデータを送受信する送信器及び受信器を備える放送・通信融合システムにおいて手話ビデオデータを提供するシステムであって、マルチメディアデータを受信して逆多重化し、マルチメディアデータから手話を適用するデータを抽出し、抽出された手話を適用するデータを手話動作データに変換し、該手話動作データをアバター動作データとしてのアバター動作スキーマに変換し、該アバター動作スキーマに基づいてアバターの動作を制御して手話画像データを生成し、該手話画像データとマルチメディアデータとを多重化してディスプレイ装置に伝送する受信器を備えることを特徴とする。
【００１２】
また、上記目的を達成するために、本発明に係る方法は、マルチメディアデータを送受信する送信器及び受信器を備える放送・通信融合システムにおいて手話ビデオデータを提供する送受信器の動作方法であって、送信器は、マルチメディアデータから手話を適用するデータを抽出し、抽出された手話を適用するデータを手話動作データに変換する過程と、該手話動作データをアバター動作データとしてのアバター動作スキーマに変換し、該アバター動作スキーマをメタデータに変換する過程と、マルチメディアデータと該メタデータとを多重化して伝送する過程とを含み、受信器は、多重化されたマルチメディアデータとメタデータを受信して逆多重化する過程と、該メタデータを用いてアバター動作スキーマを抽出する過程と、該アバター動作スキーマに基づいてアバターの動作を制御して手話画像データを生成する過程と、手話画像データとマルチメディアデータとを多重化してディスプレイ装置に伝送する過程とを含むことを特徴とする。
【００１３】
また、上記目的を達成するために、本発明に係る他の方法は、マルチメディアデータを送受信する送信器及び受信器を備える放送・通信融合システムにおいて手話ビデオデータを提供する受信器の動作方法であって、マルチメディアデータを受信して逆多重化し、マルチメディアデータから手話を適用するデータを抽出し、抽出された手話を適用するデータを手話動作データに変換する過程と、該手話動作データをアバター動作データとしてのアバター動作スキーマに変換する過程と、該アバター動作スキーマに基づいてアバターの動作を制御して手話画像データを生成する過程と、該手話画像データとマルチメディアデータとを多重化してディスプレイ装置に伝送する過程とを含むことを特徴とする。
【発明の効果】
【００１４】
本発明によれば、上記放送・通信融合システムにおいて、マルチメディアデータの伝送に際して耳の不自由な人のための手話画像データを提供することが可能となる。すなわち、手話アバターなどを用いて受信したマルチメディアデータの一部の情報をディスプレイすることが可能になる。
【００１５】
また、本発明によれば、従来のように人物（人間）自らの指揮による手話システムに取って代わることが可能となり、国外の言語に関係する手話データベースが構築されれば、他の言語によらずに自国の言語に適合する手話システムへの切り換えが可能になる。また、キャプションなどの機能に対応するマルチメディアデータでは、字幕などのテキスト情報と混在した手話画像データを提供することが可能にある。
【発明を実施するための最良の形態】
【００１６】
以下、添付図面を参照しながら本発明の好適な実施形態について詳細に説明する。なお、図面において、同じ構成要素若しくは同様の構成要素については、異なる図面であっても同符号を付している、また、本発明の要旨のみを明瞭にするために公知の機能や構成についての詳細な説明を、適宜省略するものとする。
【００１７】
本発明は、放送・通信融合システムにおいて提供されるマルチメディアデータから手話を適用するデータを抽出し、これを用いて手話アバターの動作を制御して手話ビデオ（画像）データを生成することにより、マルチメディアデータと同時に生成された手話画像データをディスプレイするシステム及びその方法を提案するものである。図１は、本発明の実施形態の放送・通信融合システムにおけるマルチメディアデータを送受信する送信器及び受信器の構造を説明するための構成図である。
【００１８】
図１に示すように、本実施形態のマルチメディアデータを提供する送信器は、エンコーダ１０１と、手話適用データ抽出器１０３と、手話適応エンジン１０５と、メタデータ生成器１０７と、多重化器（ＭＵＸ）１０９と、手話データベース１１１とを備えている。
【００１９】
また、本実施形態のマルチメディアデータを受信するための受信器は、逆多重化器（ＤＥＭＵＸ）１５１と、デコーダ１５３と、手話アバター動作パーサー１５５と、手話アバター動作制御器１５７と、手話画像データ生成器１５９と、多重化器１６１と、手話データベース１６３とを備える。本実施形態の受信器における手話データベース１６３は、単独で若しくは国外（外国）の手話データベース１６５と連動した形態で使用することが可能である。
【００２０】
以下、本実施形態の送信器の動作を説明する。本実施形態の送信器においては、ビデオデータ及びオーディオデータよりなる上記マルチメディアデータは、それぞれエンコーダ１０１によりエンコードされ、多重化器（ＭＵＸ）１０９に出力する。
【００２１】
手話適用データ抽出器１０３は、エンコーダ１０１によりエンコードされる前の入力されたマルチメディアデータから、手話を適用される手話適用データ、例えば、オーディオデータ及びテキストデータを抽出して、手話適用エンジン１０５に出力する。そして、手話適用エンジン１０５により、これらオーディオデータ及びテキストデータに対してＭＰＥＧ（Motion Picture Experts Group）−２１が適用される。より具体的に説明すると、本実施形態の手話適応エンジン１０５は、上記ＭＰＥＧ−２１のデジタルアイテム適応（Digital Item Adaptation：以下、「ＤＩＡ」と称する。）の適応エンジンであり、当該ＤＩＡエンジンは、入力されるデジタルデータをＭＰＥＧ−２１のＤＩＡ適応エンジンを用いて資源（リソース）の適応及び等級適応の処理を行うものである。
【００２２】
また、本実施形態の手話適応エンジン１０５は、手話データベース１１１と連動してデジタルデータを適応データに切り換える（変換する）。
【００２３】
具体的に説明すると、手話適応エンジン１０５は、手話適用データ抽出器１０３で抽出されたオーディオデータ及びテキストデータなどのデジタルデータを、複雑度が低減された適応メタデータ、例えば、拡張マークアップ言語（eXtensible Markup Language、以下、「ＸＭＬ」と称する。）などにより構成された手話アバター動作スキーマに変換する（デジタルデータを手話アバター動作スキーマとして生成する）。次いで、手話適応エンジン１０５は、生成された手話アバター動作スキーマをメタデータ生成器１０７に伝送する。メタデータ生成器１０７では、生成された手話アバター動作スキーマを用いてメタデータを生成する。このとき、当該メタデータは、マルチメディアデータと関連する手話アバターの動作を制御するための手話アバター動作スキーマを含んでいる。そして、このメタデータを、エンコードされたマルチメディアデータと多重化し、これを放送通信ネットワークを介して受信器に伝送する。
【００２４】
受信器は、送信器からの多重化されたマルチメディアデータ及びメタデータを受信すると、逆多重化器１５１と通じて多重化されたデータをマルチメディアデータとメタデータに分離する。
【００２５】
そして、マルチメディアデータは、デコーダ１５３においてデコードされた後に、多重化器１６１に出力され、メタデータは、手話アバター動作パーサー１５５に入力される。手話アバター動作パーサー１５５は、メタデータを解析して手話アバター動作スキーマを抽出（ここでも同様に、上述のＭＰＥＧ−２１のＤＩＡ方式を再び適用して手話アバター動作スキーマを解析・抽出）し、手話アバター動作スキーマを手話アバター動作制御器１５７に出力する。手話アバター動作制御器１５７では、抽出されたアバター動作スキーマを用いて手話アバターの動作を制御する。そして、手話アバター動作制御器１５７の出力結果に基づき、手話画像データ生成器１５９は、ディスプレイ装置にディスプレイされる手話画像データを生成する。
【００２６】
なお、本実施形態の受信器は、自国（国内）の手話の場合は、上記受信器の構成により、メタデータの形で手話アバターを制御するアバター動作スキーマを用いて手話アバターを制御することが可能であるが、自国の手話ではない外国（国外）、すなわち、他国の手話に関するメタデータを受信した場合には、当該手話アバター動作パーサー１５５は、国内手話に関する情報を格納している手話データベース１６３と他国の手話データベース１６５を連動させて上記国外の手話メタデータを国内の手話メタデータに切り換え（変換し）、これを解析することにより、国内の手話アバター動作スキーマを生成し、手話アバター動作制御器１５７において制御を行うように、拡張適用することも可能である。
【００２７】
また、本実施形態では、図１に示すように、送信器及び受信器の各々に、手話データベース１１１、１６３を個別に設け、手話データベースとして同様のデータを有する形態を想定しているが、これに限定されるものではなく、例えば、本実施形態の送信器及び受信器が、一つの装置で構成される場合には、一つの送信器と受信器が１つの手話データベースを共有するように構成することが可能である。また、送信器及び受信器の内部に手話データベースを設けない構成、すなわち、送信器及び受信器の外部に手話データベースを設ける構成でもよい。この場合、送信器及び受信器は、ネットワークを通じて外部の手話データベースに接続可能である。なお、国外の手話データベース１６５についても同様である。
【００２８】
図２は、本実施形態の手話適応エンジンの概略構造図である。
【００２９】
図２に示すように、手話適応エンジン１０５には、ＭＰＥＧ-２１のＤＩＡが適用されている。そして、手話適応エンジン１０５は、手話動作データ変換器２０１と、手話アバター動作スキーマ切換器２０３とを備えている。
【００３０】
そして、手話適用データ抽出器１０３において抽出した手話を適用するデータ、例えば、オーディオデータやテキストデータが当該手話適応エンジン１０５に入力されると、手話動作データ変換器２０１は、オーディオデータやテキストデータを手話動作データに切り換える（変換する）。例えば、「行く」という内容を含むオーディオデータやテキストデータを例にとってみると、上記「行く」に該当する手話、すなわち、「人差指の先を下に向け、さっと前方へ向ける動作」が手話データベース１１１に所定のプロセスを経て手話動作データの形で格納されている。
【００３１】
これにより、手話動作データ変換器２０１は、受信した手話適用データを手話データベース１１１の内部に格納されている手話動作データに切り換える。このように、手話データベース１１１は、手話を適用するデータ、すなわち、オーディオデータやテキストデータの手話適用データに該当する手話動作データを格納しており、当該手話動作データ変換器２０１は、手話データベース１１１に格納された手話動作データを用いて、手話を適用するデータを手話動作データに切り換えている。
【００３２】
そして、手話アバター動作スキーマ切換器２０３は、手話動作データに切り換えられたデータを受信し、それらを各手話動作データに該当する手話アバター動作スキーマに切り換える（変換する）。手話データベース１１１は、手話動作データに該当する手話アバター動作の制御のための手話アバター動作スキーマを格納している。なお、手話アバター動作スキーマは、上述したようにＸＭＬなどの言語により表現可能である。そして、手話アバター動作スキーマは、手話アバター動作のためのデータであり、受信器においては、これを用いて手話アバターの動作を制御する。なお、手話適応エンジン１０５が手話適用データを各手話動作データに切り換え、これをさらに手話アバター動作スキーマに切り換えるに際し、ＭＰＥＧ−２１が用いられる。
【００３３】
次に、本実施形態の受信器の別形態について説明する。図１は、送信器及び受信器の各々に、手話画像データを生成するための構成を設けているが、例えば、図３に示すような受信器を適用し、送信器を、放送・通信融合システムにおけるマルチメディアデータを生成するための通常の形態で構成することも可能である。
【００３４】
図３は、本実施形態の放送・通信融合システムにおける手話画像データを提供する受信器の別形態を示す概略構造図である。なお、この場合、送信器は通常のマルチメディアデータを送信する送信器を用いることから、当該送信機の構造及び説明は省略する。
【００３５】
図３に示すように、送信器からマルチメディアデータを受信する受信器は、逆多重化器３０１と、デコーダ３０３と、手話適用データ抽出器３０５と、手話適応エンジン３０７と、手話アバター動作制御器３０９と、手話画像データ生成器３１１と、多重化器３１３と、を備えている。そして、当該受信器は、手話データベース３１５をさらに備え、手話データベースを単独で用いることが可能で、また、上述のように、国外の手話データベース３１７とも連動するように適用可能である。
【００３６】
受信器は、多重化されたマルチメディアデータを受信すると、逆多重化器３０１においては、当該受信したマルチメディアデータを逆多重化する。逆多重化されたマルチメディアデータは、デコーダ３０３に出力され、当該デコーダ３０３がこれをデコードし、多重化器３１３に出力する。
【００３７】
また、手話適用データ抽出器３０５は、逆多重化器３０１から出力されたマルチメディアデータを受信し、手話の適用のために受信したマルチメディアデータのうちの一部のデータを抽出する。この抽出されるマルチメディアデータの一部のデータは、マルチメディアデータのオーディオデータやテキストデータを含んでいることが好ましい。すなわち、本実施形態の手話適用データ抽出器３０７は、受信したマルチメディアデータから手話を適用する手話適用データ、例えば、オーディオデータ及びテキストデータを抽出する。そして、抽出されたオーディオデータ及びテキストデータは、手話適用エンジン３０７に出力され、上述のように、当該手話適用エンジン３０７において、ＭＰＥＧ−２１が適用される。なお、図３の手話適応エンジン３０７は、図２に示したＭＰＥＧ−２１のＤＩＡの適応エンジンに相当するものである。すなわち、手話適用エンジン３０７は、ＤＩＡ適応エンジンを用いて、入力されるデジタルデータに対し、資源の適応及び等級適応の処理を行う。
【００３８】
また、手話適応エンジン３０７は、手話データベース３１５と連動してデジタルデータを適応データに切り換える。具体的に説明すると 手話適応エンジン３０７は、受信したオーディオデータ及びテキストデータなどのデジタルデータを、複雑度が低減された適応メタデータ、例えば、ＸＭＬによって生成される手話アバター動作スキーマに変換する（オーディオデータ及びテキストデータなどのデジタルデータを手話アバター動作スキーマとして生成する）。手話適応エンジン３０７において生成された手話アバター動作スキーマは、手話アバター動作制御器３１１に出力され、手話アバター動作制御器３０９が、入力されたアバター動作スキーマを用いてアバターの動作を制御する。手話アバター動作制御器３０９の出力結果は、手話画像データ生成器３１１に出力され、当該手話画像データ生成器３１１が、ディスプレイ装置にディスプレイされる手話画像データを生成する。生成された手話画像データは、デコーダ３０３においてデコードされたマルチメディアデータと多重化器３１３で多重化され、ディスプレイ装置に出力される。
【００３９】
なお、図３の手話適応エンジン３０７は、図２に示した送信器の手話適用エンジン１０５と同様の構成を有し、ＭＰＥＧ−２１方式を用いて手話アバター動作スキーマを生成する（これについては、図２の説明において詳述しているので、具体的な構成及び動作についての説明は省略する）。
【００４０】
また、図３に示した受信器は、図１（ａ）に示した送信器ではなく、通常の送信器から伝送されたマルチメディアデータを受信する構成として説明したが、当該図３の受信器（手話適応エンジン３０７）は、図１（ｂ）に示した本実施形態の受信器から伝送される信号を受信することも可能である。また、図３に示した手話適応エンジン３０７は、図１（ｂ）の受信器の手話アバター動作パーサー１５５若しくは手話アバター動作パーサー１５５に相当する機能を含むように構成することが好ましい。このように構成することで、入力するマルチメディアデータが国外のマルチメディアデータであって、かつ手話アバター動作スキーマを含む（適用）メタデータである場合には、国外手話データベース３１７と連動して国内の手話アバタースキーマに切り換えて、自国以外の手話に対応した手話画像データを提供することが可能になる
【００４１】
次に、図１（ａ）に示した本実施形態の、マルチメディアデータを送受信する送受信器を備える放送・通信融合システムにおける手話画像データを提供する送信器及び受信器の動作について、図面を参照しながら詳細に説明する。
【００４２】
図４は、本実施形態の送信器（図１（ａ））における動作過程を示すフローチャートである。
【００４３】
図４に示すように、本実施形態の送信器は、入力されたマルチメディアデータから手話を適用したい手話適用データ、例えば、オーディオデータ及びテキストデータを抽出する（ステップＳ４０１）。次いで、抽出された手話適用データを手話動作データに切り換える（ステップＳ４０３）。ここで、この手話動作データは、手話アバターの動作を制御するための手話動作を前もってデータの形に変換してデータベースに格納しておいたデータである。その後、手話動作データを手話アバター動作スキーマに切り換える（ステップＳ４０５）。なお、手話適用データを手話動作データに切り換えた後に、これを手話アバターの動作を制御するために手話アバター動作スキーマに切り換えるが、手話適用データの手話動作データへの切り換え及び手話動作データの手話アバター動作スキーマへの切り換える過程においては、上述したようにＭＰＥＧ−２１のＤＩＡを用いて適応処理が行われる。また、生成されたアバター動作スキーマは、例えば、ＸＭＬなどよりなる手話アバター動作スキーマである。次いで、アバター動作スキーマに切り換えられたデータを用いてメタデータ（手話メタデータ）を生成する（ステップＳ４０７）。このとき、当該メタデータは、マルチメディアデータと関連する手話アバターの動作を制御する手話アバター動作スキーマを含んでいる。次いで、メタデータをエンコードされたマルチメディアデータと共に多重化して受信側、すなわち、図１（ｂ）の受信器に伝送する（ステップＳ４０９）。
【００４４】
図５は、本実施形態の図１（ｂ）に示した受信器の動作過程を説明するためのフローチャートである。
【００４５】
図５に示すように、本実施形態の受信器は、多重化されたメタデータとマルチメディアデータを受信し、これを逆多重化してマルチメディアデータからメタデータを分離する（ステップＳ５０１）。そして、メタデータを分離した後、メタデータからアバター動作スキーマを抽出する（ステップＳ５０３）。なお、抽出されたアバター動作スキーマは、送信側（送信器）において、ＭＰＥＧ−２１のＤＩＡを用いて生成されたものであるため、本実施形態の受信器（受信側）においても、ＭＰＥＧ−２１のＤＩＡ方式を用いてメタデータを解析し、アバター動作スキーマを抽出する。次いで、アバター動作スキーマを用いて手話アバターの動作を制御し（ステップＳ５０５）、アバター動作の制御に基づいてアバターを制御し、手話画像データを生成する（ステップＳ５０７）。そして、生成された手話画像データとマルチメディアデータとを多重化して（ステップＳ５０９）、ディスプレイ装置に伝送する（ステップＳ５１１）。多重化されたマルチメディアデータ及び手話画像データを受信したディスプレイ装置では、マルチメディアデータと手話画像データとが同時にディスプレイする。なお、受信したメタデータが国外の手話であり、且つ国外の手話データベースと国内の手話データベースとをさらに備えている場合は、２つのデータベースを連動させて国外のメタデータを国内のメタデータに切り換えることで、自国以外の手話画像データを生成することが可能である。
【００４６】
また、この場合は、国外のメタデータから切り換えられた国内のメタデータから国内の手話アバター動作スキーマを再び抽出して手話画像データを生成する方法が適用される。この場合、手話アバター動作パーサー１５５が、自国の手話に関するメタデータか、若しくは国外の手話に関するメタデータか否かを判別する処理を行う。例えば、受信したメタデータが自国の手話に関するデータベースとマッチングしない場合やその他のデータ判別方法により、自国若しくは国外のメタデータであることを判別し、国外の手話に関するメタデータである場合には、当該手話アバター動作パーサー１５５は、国外の手話データベース１６５を連動して、国内の手話に関するメタデータに変換し、手話アバター動作スキーマを生成する。
【００４７】
図６は、本実施形態の図３に示した受信器の動作過程を説明するためのフローチャートである。
【００４８】
図６に示すように、図３に示した受信器は、通常の送信器からのマルチメディアデータを受信すると、受信したマルチメディアデータから手話適用データを抽出し（ステップＳ６０１）、抽出された手話適用データを手話動作データに切り換える（ステップＳ６０３）。なお、当該手話適用データは、上述のように、例えば、オーディオデータ及びテキストデータなどであり手話動作データは、手話アバターの動作を制御するための手話動作を前もってデータの形に切り換えてデータベースに格納しておいたデータである。次いで、手話動作データを手話アバター動作スキーマに切り換える（ステップＳ６０５）。なお、手話適用データを手話動作データに切り換えた後に、これを手話アバターの動作を制御するために手話アバター動作スキーマに切り換えるが、手話適用データの手話動作データへの切り換え、及び手話動作データの手話アバター動作スキーマへの切り換える過程においては、上述したように、ＭＰＥＧ−２１のＤＩＡを用いた適応処理が行われる。また、アバター動作スキーマとしては、例えば、ＸＭＬなどよりなる手話アバター動作スキーマである。
【００４９】
次いで、図３の受信器は、生成された手話アバター動作スキーマを用いて手話アバターの動作を制御し（ステップＳ６０７）。手話アバター動作制御に基づいてアバターを制御し、当該アバターを用いて手話画像データを生成する（ステップＳ６０９）。
【００５０】
そして、生成された手話画像データとマルチメディアデータを多重化し（ステップＳ６１１）、多重化されたマルチメディアデータと手話画像データとをディスプレイ装置に伝送する（ステップＳ６１３）。マルチメディアデータと手話画像データを受信したディスプレイ装置は、マルチメディアデータと手話画像データとを同時にディスプレイする。なお、ここでも同様に、受信したマルチメディアデータが国外のマルチメディアデータである場合には、手話データベースを国外の手話データと連動させて国内のアバター動作スキーマを生成し、国内の手話アバター動作を制御して手話画像データを生成する方法が適用されることになる。また、本実施形態の国外の手話データベースには、国外のマルチメディアデータに対応する手話動作データ、手話アバター動作に関する情報、及び手話アバター動作についてのメタデータなどが含まれる。
【００５１】
以上、本発明を具体的な実施形態に則して詳述したが、特許請求の範囲に記載されるような本発明の精神及び範囲を外れることなく、形式や細部等についての種々の変形が可能であることは勿論である。したがって、本発明の範囲は、上述した実施形態に限定されるものではなく、特許請求の範囲及び該記載と均等なものによって定められるべきである。
【図面の簡単な説明】
【００５２】
【図１】本発明の好適な実施形態の放送・通信融合システムにおいて手話画像データを提供する送受信器の概略構造図であって、図１（ａ）は送信器、図（ｂ）は受信器の構成図である。
【図２】本発明の好適な実施形態の手話適応エンジンの概略構造図である。
【図３】本発明の好適な実施形態における図１（ｂ）とは異なる形態の受信器の概略構造図である。
【図４】本発明の好適な実施形態の送信器（図１（ａ））の動作過程を説明するためのフローチャートである。
【図５】本発明の好適な実施形態の受信器（図１（ｂ））の動作過程を説明するためのフローチャートである。
【図６】本発明の好適な実施形態の図３に示した受信器の動作過程を説明するためのフローチャートである。
【符号の説明】
【００５３】
１０１ エンコーダ
１０３ 手話適用データ抽出器
１０５ 手話適用エンジン
１０７ メタデータ生成器
１０９ 多重化（ＭＵＸ）
１１１ 手話データベース
１５１ 逆多重化器（ＤＥＭＵＸ）
１５３ デコーダ
１５５ 手話アバター動作パーサー
１５７ 手話アバター動作制御器
１５９ 手話画像データ生成器
１６１ 多重化器（ＭＵＸ）
１６３ 手話データベース
１６５ 国外の手話データベース
【特許請求の範囲】
【請求項１】
マルチメディアデータを送受信する送信器及び受信器を備える放送・通信融合システムにおける手話画像データを提供するシステムであって、
前記マルチメディアデータから手話を適用するデータを抽出し、抽出された前記データを手話動作データに変換し、前記手話動作データをアバター動作データとしてのアバター動作スキーマに変換し、前記アバター動作スキーマをメタデータに変換して、前記マルチメディアデータと前記メタデータとを多重化して伝送する送信器と、
受信した前記多重化されたマルチメディアデータとメタデータを逆多重化し、前記メタデータを用いて前記アバター動作スキーマを抽出し、抽出された前記アバター動作スキーマに基づいてアバターの動作を制御して手話画像データを生成し、前記手話画像データと前記マルチメディアデータとを多重化してディスプレイ装置に伝送する受信器とを備えることを特徴とするシステム。
【請求項２】
前記手話を適用するデータは、前記マルチメディアデータに含まれるオーディオデータ若しくはテキストデータであることを特徴とする請求項１に記載のシステム。
【請求項３】
前記送信器は、
前記マルチメディアデータから前記手話を適用するデータを抽出する手話適用データ抽出器と、
抽出された前記手話を適用するデータを手話動作データに変換し、この手話動作データをアバター動作データとしてのアバター動作スキーマに変換する手話適応エンジンと、
前記手話を適用するデータに対応するデータ若しくは手話と関連するアバター動作スキーマについての情報を含む動作データが格納される手話データベースと、
前記アバター動作スキーマを変換して、メタデータを生成するメタデータ生成器と、
前記マルチメディアデータと前記メタデータとを多重化して前記受信器に伝送する多重化器とを備えることを特徴とする請求項１に記載のシステム。
【請求項４】
前記手話適応エンジンは、
前記手話を適用するデータを、前記手話データベースを通じて前記手話動作データに変換する手話動作データ変換器と、
前記手話動作データを前記手話データベースに格納されている前記アバター動作スキーマに変換する手話アバター動作スキーマ切換器とを備えることを特徴とする請求項３に記載のシステム。
【請求項５】
前記手話適応エンジンは、ＭＰＥＧ−２１のデジタルアイテム適応方式が適用されることを特徴とする請求項３に記載のシステム。
【請求項６】
前記受信器は、
受信した前記多重化されたマルチメディアデータとメタデータとを逆多重化する逆多重化器と、
前記メタデータからアバター動作スキーマを抽出するアバター動作パーサーと、
抽出された前記アバター動作スキーマに基づいてアバターの動作を制御する手話アバター動作制御器と、
前記アバターの動作に対応する手話画像データを生成する手話画像データ生成器と、
前記マルチメディアデータと前記手話画像データを多重化してディスプレイ装置に伝送する多重化器とを備えることを特徴とする請求項１に記載のシステム。
【請求項７】
前記受信器は、国外の手話に関するデータベースと連動可能な自国の手話に関するデータベースを備え、
前記手話アバター動作パーサーは、受信した前記メタデータが、自国の手話に関するものなのか若しくは国外の手話に関するものなのかを判別し、前記メタデータが国外のメタデータである場合には、前記国外の手話に関するデータベースと前記自国の手話に関するデータベースとを連動させて、受信した前記メタデータを自国の手話に関するメタデータに変換することを特徴とする請求項６に記載のシステム。
【請求項８】
マルチメディアデータを送受信する送信器及び受信器を備える放送・通信融合システムにおける手話画像データを提供するシステムであって、
前記送信器からのマルチメディアデータを受信して逆多重化し、前記マルチメディアデータから手話を適用するデータを抽出し、前記抽出された手話を適用するデータを手話動作データに変換し、前記手話動作データをアバター動作データとしてのアバター動作スキーマに変換し、前記アバター動作スキーマに基づいてアバターの動作を制御して手話画像データを生成し、前記手話画像データと前記マルチメディアデータを多重化してディスプレイ装置に伝送する受信器を備えることを特徴とするシステム。
【請求項９】
前記手話を適用するデータは、前記マルチメディアデータに含まれるオーディオデータ若しくはテキストデータであることを特徴とする請求項８に記載のシステム。
【請求項１０】
前記受信器は、
前記マルチメディアデータを受信して逆多重化する逆多重化器と、
前記マルチメディアデータから前記手話を適用するデータを抽出して前記手話動作データに変換し、前記手話動作データを用いてアバター動作データとしてのアバター動作スキーマに変換する手話適応エンジンと、
前記手話を適用するデータに対応するデータ若しくは手話と関連するアバター動作スキーマに関する情報を含む動作データが格納される手話データベースと、
前記アバター動作スキーマに基づいて前記アバターの動作を制御する手話アバター動作制御器と、
前記アバターの動作に対応する手話画像データを生成する手話画像データ生成器と、
前記マルチメディアデータと前記手話画像データを多重化してディスプレイ装置に伝送する多重化器とを備えることを特徴とする請求項８に記載のシステム。
【請求項１１】
前記手話適応エンジンは、前記手話を適用するデータを前記手話データベースに格納された前記動作データに基づいて前記手話動作データに変換する手話動作データ変換器と、
前記手話動作データをアバター動作スキーマに変換する手話アバター動作スキーマ切換器とを備えることを特徴とする請求項１０に記載のシステム。
【請求項１２】
前記手話適応エンジンは、ＭＰＥＧ−２１のデジタルアイテム適応方式が適用されることを特徴とする請求項１０に記載のシステム。
【請求項１３】
前記手話データベースは、前記マルチメディアデータが国外のマルチメディアデータであるあるか否かを判別し、前記マルチメディアデータが国外のマルチメディアデータである場合には、国外の手話データベースと連動することを特徴とする請求項１０に記載のシステム。
【請求項１４】
マルチメディアデータを送受信する送信器及び受信器を備える放送・通信融合システムにおける手話ビデオデータを提供する方法であって、
前記送信器が、
前記マルチメディアデータから手話を適用するデータを抽出し、抽出された前記手話を適用するデータを手話動作データに変換する過程と、
前記手話動作データを用いてアバター動作データとしてのアバター動作スキーマに変換する過程と、
前記アバター動作スキーマを前記メタデータに変換する過程と、
前記マルチメディアデータと前記メタデータを多重化して伝送する過程とを含み、
前記受信器が、
前記多重化されたマルチメディアデータとメタデータを受信して逆多重化する過程と、
前記メタデータを用いてアバター動作スキーマを抽出する過程と、
前記アバター動作スキーマに基づいてアバターの動作を制御して手話画像データを生成する過程と、
前記手話画像データと前記マルチメディアデータとを多重化してディスプレイ装置に伝送する過程とを含むことを特徴とする方法。
【請求項１５】
前記手話を適用するデータは、前記マルチメディアデータに含まれるオーディオデータ若しくはテキストデータであることを特徴とする請求項１４に記載の方法。
【請求項１６】
前記手話を適用するデータを前記手話動作データに変換する過程と前記手話動作データを用いてアバター動作データとしてのアバター動作スキーマに変換する過程は、ＭＰＥＧ−２１のデジタルアイテム適応方式を適用することを特徴とする請求項１４に記載の方法。
【請求項１７】
前記受信器が、前記メタデータが国外のメタデータであるか否かを判別し、前記メタデータが国外のメタデータで場合には、国外の手話データベースと連動して国内のアバター動作スキーマを生成する過程をさらに含むことを特徴とする請求項１４に記載の方法。
【請求項１８】
マルチメディアデータを送受信する送信器及び受信器を備える放送・通信融合システムにおける手話ビデオデータを提供する受信器の動作方法であって、
受信した前記マルチメディアデータを逆多重化し、前記マルチメディアデータから手話を適用するデータを抽出し、抽出した前記手話を適用するデータを手話動作データに変換する過程と、
前記手話動作データを用いてアバター動作データとしてのアバター動作スキーマに変換する過程と、
前記アバター動作スキーマに基づいてアバターの動作を制御し、手話画像データを生成する過程と、
前記手話画像データと前記マルチメディアデータとを多重化してディスプレイ装置に伝送する過程とを含むことを特徴とする方法。
【請求項１９】
前記手話を適用するデータは、前記マルチメディアデータに含まれるオーディオデータ若しくはテキストデータであることを特徴とする請求項１８に記載の方法。
【請求項２０】
前記手話適用データを手話動作データに変換する過程及び前記手話動作データを用いてアバター動作データとしてのアバター動作スキーマに変換する過程は、ＭＰＥＧ−２１のデジタルアイテム適応方式を適用することを特徴とする請求項１８に記載の方法。
【請求項２１】
前記マルチメディアデータが国外のマルチメディアデータであるか否かを判別し、前記マルチメディアデータが国外のマルチメディアデータである場合には、国外の手話データベースと連動して国内のアバター動作スキーマを生成する過程をさらに含むことを特徴とする請求項１８に記載の方法。
【請求項１】
マルチメディアデータを送受信する送信器及び受信器を備える放送・通信融合システムにおける手話画像データを提供するシステムであって、
前記マルチメディアデータから手話を適用するデータを抽出し、抽出された前記データを手話動作データに変換し、前記手話動作データをアバター動作データとしてのアバター動作スキーマに変換し、前記アバター動作スキーマをメタデータに変換して、前記マルチメディアデータと前記メタデータとを多重化して伝送する送信器と、
受信した前記多重化されたマルチメディアデータとメタデータを逆多重化し、前記メタデータを用いて前記アバター動作スキーマを抽出し、抽出された前記アバター動作スキーマに基づいてアバターの動作を制御して手話画像データを生成し、前記手話画像データと前記マルチメディアデータとを多重化してディスプレイ装置に伝送する受信器とを備えることを特徴とするシステム。
【請求項２】
前記手話を適用するデータは、前記マルチメディアデータに含まれるオーディオデータ若しくはテキストデータであることを特徴とする請求項１に記載のシステム。
【請求項３】
前記送信器は、
前記マルチメディアデータから前記手話を適用するデータを抽出する手話適用データ抽出器と、
抽出された前記手話を適用するデータを手話動作データに変換し、この手話動作データをアバター動作データとしてのアバター動作スキーマに変換する手話適応エンジンと、
前記手話を適用するデータに対応するデータ若しくは手話と関連するアバター動作スキーマについての情報を含む動作データが格納される手話データベースと、
前記アバター動作スキーマを変換して、メタデータを生成するメタデータ生成器と、
前記マルチメディアデータと前記メタデータとを多重化して前記受信器に伝送する多重化器とを備えることを特徴とする請求項１に記載のシステム。
【請求項４】
前記手話適応エンジンは、
前記手話を適用するデータを、前記手話データベースを通じて前記手話動作データに変換する手話動作データ変換器と、
前記手話動作データを前記手話データベースに格納されている前記アバター動作スキーマに変換する手話アバター動作スキーマ切換器とを備えることを特徴とする請求項３に記載のシステム。
【請求項５】
前記手話適応エンジンは、ＭＰＥＧ−２１のデジタルアイテム適応方式が適用されることを特徴とする請求項３に記載のシステム。
【請求項６】
前記受信器は、
受信した前記多重化されたマルチメディアデータとメタデータとを逆多重化する逆多重化器と、
前記メタデータからアバター動作スキーマを抽出するアバター動作パーサーと、
抽出された前記アバター動作スキーマに基づいてアバターの動作を制御する手話アバター動作制御器と、
前記アバターの動作に対応する手話画像データを生成する手話画像データ生成器と、
前記マルチメディアデータと前記手話画像データを多重化してディスプレイ装置に伝送する多重化器とを備えることを特徴とする請求項１に記載のシステム。
【請求項７】
前記受信器は、国外の手話に関するデータベースと連動可能な自国の手話に関するデータベースを備え、
前記手話アバター動作パーサーは、受信した前記メタデータが、自国の手話に関するものなのか若しくは国外の手話に関するものなのかを判別し、前記メタデータが国外のメタデータである場合には、前記国外の手話に関するデータベースと前記自国の手話に関するデータベースとを連動させて、受信した前記メタデータを自国の手話に関するメタデータに変換することを特徴とする請求項６に記載のシステム。
【請求項８】
マルチメディアデータを送受信する送信器及び受信器を備える放送・通信融合システムにおける手話画像データを提供するシステムであって、
前記送信器からのマルチメディアデータを受信して逆多重化し、前記マルチメディアデータから手話を適用するデータを抽出し、前記抽出された手話を適用するデータを手話動作データに変換し、前記手話動作データをアバター動作データとしてのアバター動作スキーマに変換し、前記アバター動作スキーマに基づいてアバターの動作を制御して手話画像データを生成し、前記手話画像データと前記マルチメディアデータを多重化してディスプレイ装置に伝送する受信器を備えることを特徴とするシステム。
【請求項９】
前記手話を適用するデータは、前記マルチメディアデータに含まれるオーディオデータ若しくはテキストデータであることを特徴とする請求項８に記載のシステム。
【請求項１０】
前記受信器は、
前記マルチメディアデータを受信して逆多重化する逆多重化器と、
前記マルチメディアデータから前記手話を適用するデータを抽出して前記手話動作データに変換し、前記手話動作データを用いてアバター動作データとしてのアバター動作スキーマに変換する手話適応エンジンと、
前記手話を適用するデータに対応するデータ若しくは手話と関連するアバター動作スキーマに関する情報を含む動作データが格納される手話データベースと、
前記アバター動作スキーマに基づいて前記アバターの動作を制御する手話アバター動作制御器と、
前記アバターの動作に対応する手話画像データを生成する手話画像データ生成器と、
前記マルチメディアデータと前記手話画像データを多重化してディスプレイ装置に伝送する多重化器とを備えることを特徴とする請求項８に記載のシステム。
【請求項１１】
前記手話適応エンジンは、前記手話を適用するデータを前記手話データベースに格納された前記動作データに基づいて前記手話動作データに変換する手話動作データ変換器と、
前記手話動作データをアバター動作スキーマに変換する手話アバター動作スキーマ切換器とを備えることを特徴とする請求項１０に記載のシステム。
【請求項１２】
前記手話適応エンジンは、ＭＰＥＧ−２１のデジタルアイテム適応方式が適用されることを特徴とする請求項１０に記載のシステム。
【請求項１３】
前記手話データベースは、前記マルチメディアデータが国外のマルチメディアデータであるあるか否かを判別し、前記マルチメディアデータが国外のマルチメディアデータである場合には、国外の手話データベースと連動することを特徴とする請求項１０に記載のシステム。
【請求項１４】
マルチメディアデータを送受信する送信器及び受信器を備える放送・通信融合システムにおける手話ビデオデータを提供する方法であって、
前記送信器が、
前記マルチメディアデータから手話を適用するデータを抽出し、抽出された前記手話を適用するデータを手話動作データに変換する過程と、
前記手話動作データを用いてアバター動作データとしてのアバター動作スキーマに変換する過程と、
前記アバター動作スキーマを前記メタデータに変換する過程と、
前記マルチメディアデータと前記メタデータを多重化して伝送する過程とを含み、
前記受信器が、
前記多重化されたマルチメディアデータとメタデータを受信して逆多重化する過程と、
前記メタデータを用いてアバター動作スキーマを抽出する過程と、
前記アバター動作スキーマに基づいてアバターの動作を制御して手話画像データを生成する過程と、
前記手話画像データと前記マルチメディアデータとを多重化してディスプレイ装置に伝送する過程とを含むことを特徴とする方法。
【請求項１５】
前記手話を適用するデータは、前記マルチメディアデータに含まれるオーディオデータ若しくはテキストデータであることを特徴とする請求項１４に記載の方法。
【請求項１６】
前記手話を適用するデータを前記手話動作データに変換する過程と前記手話動作データを用いてアバター動作データとしてのアバター動作スキーマに変換する過程は、ＭＰＥＧ−２１のデジタルアイテム適応方式を適用することを特徴とする請求項１４に記載の方法。
【請求項１７】
前記受信器が、前記メタデータが国外のメタデータであるか否かを判別し、前記メタデータが国外のメタデータで場合には、国外の手話データベースと連動して国内のアバター動作スキーマを生成する過程をさらに含むことを特徴とする請求項１４に記載の方法。
【請求項１８】
マルチメディアデータを送受信する送信器及び受信器を備える放送・通信融合システムにおける手話ビデオデータを提供する受信器の動作方法であって、
受信した前記マルチメディアデータを逆多重化し、前記マルチメディアデータから手話を適用するデータを抽出し、抽出した前記手話を適用するデータを手話動作データに変換する過程と、
前記手話動作データを用いてアバター動作データとしてのアバター動作スキーマに変換する過程と、
前記アバター動作スキーマに基づいてアバターの動作を制御し、手話画像データを生成する過程と、
前記手話画像データと前記マルチメディアデータとを多重化してディスプレイ装置に伝送する過程とを含むことを特徴とする方法。
【請求項１９】
前記手話を適用するデータは、前記マルチメディアデータに含まれるオーディオデータ若しくはテキストデータであることを特徴とする請求項１８に記載の方法。
【請求項２０】
前記手話適用データを手話動作データに変換する過程及び前記手話動作データを用いてアバター動作データとしてのアバター動作スキーマに変換する過程は、ＭＰＥＧ−２１のデジタルアイテム適応方式を適用することを特徴とする請求項１８に記載の方法。
【請求項２１】
前記マルチメディアデータが国外のマルチメディアデータであるか否かを判別し、前記マルチメディアデータが国外のマルチメディアデータである場合には、国外の手話データベースと連動して国内のアバター動作スキーマを生成する過程をさらに含むことを特徴とする請求項１８に記載の方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２００６−２１５５５３（Ｐ２００６−２１５５５３Ａ）
【公開日】平成１８年８月１７日（２００６．８．１７）
【国際特許分類】
【出願番号】特願２００６−１８６６２（Ｐ２００６−１８６６２）
【出願日】平成１８年１月２７日（２００６．１．２７）
【出願人】（３９００１９８３９）三星電子株式会社 (8,520)
【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．
【Ｆターム（参考）】
【公開日】平成１８年８月１７日（２００６．８．１７）
【国際特許分類】
【出願日】平成１８年１月２７日（２００６．１．２７）
【出願人】（３９００１９８３９）三星電子株式会社 (8,520)
【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．
【Ｆターム（参考）】
[ Back to top ]