送信装置、受信装置、通信システム、通信方法、及びプログラム
【課題】ネットワークを介したユーザインタフェースの提供における通信エラーへの耐性を高めること。
【解決手段】ユーザインタフェースの制御に用いられる第１制御データに基づいて生成したユーザインタフェース画像をコンテンツ画像に重畳して重畳画像データを生成する画像重畳部と、前記画像重畳部により生成された前記重畳画像データを１フィールド内のＮライン（Ｎは１以上）に相当する符号化単位で符号化する画像圧縮部と、前記画像圧縮部により符号化された前記重畳画像データを送信する通信部と、を備える送信装置を提供する。
【解決手段】ユーザインタフェースの制御に用いられる第１制御データに基づいて生成したユーザインタフェース画像をコンテンツ画像に重畳して重畳画像データを生成する画像重畳部と、前記画像重畳部により生成された前記重畳画像データを１フィールド内のＮライン（Ｎは１以上）に相当する符号化単位で符号化する画像圧縮部と、前記画像圧縮部により符号化された前記重畳画像データを送信する通信部と、を備える送信装置を提供する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、送信装置、受信装置、通信システム、通信方法、及びプログラムに関する。
【背景技術】
【０００２】
近年、ネットワークを介して、画像データ（動画像データを含む）を転送する様々なアプリケーションやサービスが提案されている。ネットワークを介して画像データを送受信する場合には、送信側で符号化（圧縮）処理によりデータ量を減少させた上でネットワークに送出し、受信側で符号化された受信データを復号（伸長）処理して再生するのが一般的である。
【０００３】
例えば、画像圧縮処理の最も知られた手法として、ＭＰＥＧ（Moving Pictures Experts Group）と呼ばれる圧縮技術がある。ＭＰＥＧ圧縮技術を用いる場合には、ＭＰＥＧ圧縮技術により生成されたＭＰＥＧストリームが通信パケットに格納され、ネットワーク経由で配信される。また、ＭＰＥＧ４又はＪＰＥＧ２０００では、性能の異なる様々な受信端末に画像データが受信されることを想定し、送受信するデータの符号化を階層的に実行する階層符号化と呼ばれる技術が導入されている。さらに、画像の符号化と復号の際に生じる遅延時間を短縮するために、１ピクチャをＮ個のライン（Ｎは１以上）の集合に分割し、分割した集合（ラインブロックという）ごとに画像を符号化するラインベース・コーデックと呼ばれる圧縮技術も提案され始めている。
【０００４】
このような画像圧縮技術を応用したネットワーク経由での画像データの配信は、コンテンツプロバイダなどの事業者によるインターネットを介したユーザへの配信に限らず、オフィスや家庭内のＬＡＮ（Local Area Network）などの小規模ネットワーク上でも利用可能である。
【０００５】
家庭内の小規模ネットワークを用いた画像データ配信の利用形態としては、ＨＤＤ（Hard Disk Drive）やＢＤ（Blu-ray Disk（登録商標））などの大容量記憶装置に格納された画像データをネットワークに接続された表示装置に表示させる例が挙げられる。このような小規模ネットワークの利用は、例えばＤＬＮＡ（Digital Living Network Alliance）などによるデジタル機器間でのデータ交換の標準仕様の整備が進むことで、今後もその発展が見込まれる。
【０００６】
小規模ネットワークを用いて画像データを配信する場合、再生装置や表示装置をユーザが操作するためのユーザインタフェースの使い易さを向上させることも重要である。例えば、ＤＬＮＡガイドラインでは、ネットワークに接続された機器をサーチし、サーチの結果得られた利用可能なサービス内容の情報を相互連携してユーザに提示するための仕組みも検討されている。
【０００７】
また、画像データの配信に関連するユーザインタフェースの改善を目的とした技術開発の事例としては、例えば下記特許文献１が挙げられる。下記特許文献１では、無線通信端末へ画像データを配信する際に、ユーザインタフェースに関する制御データ（ユーザにより入力されたアイコン及びその位置情報など）を含む画像制御信号を受信端末へ送信する手法が提案されている。
【０００８】
【特許文献１】特開２００７−１３５１９５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、通信回線エラーが発生する環境において、ユーザインタフェースに関する制御データをネットワークを介して通信する場合、制御データの送受信の確実性とユーザの操作に対する即応性を共に高いレベルに維持することは困難である。通信エラーの発生を許容することでリアルタイムのデータ配信が実現される画像データとは異なり、制御データは、機器間で確実に送受信されることが求められるためである。例えば、ユーザインタフェースに関する制御データが欠落すると、表示装置はユーザインタフェースを正しく構成して表示することができず、ユーザは適切な操作を指示することができない。
【００１０】
これに対し、制御データの送受信の確実性を維持しようとすると、通信エラー発生時の再送頻度が高まり、ネットワークの帯域が圧迫され、またユーザの操作に対する即応性も損なわれる。こうした問題は、ユーザにとっての使い易さを向上させることを目的としたユーザインタフェースに関するプロトコルの複雑化とそれに伴う制御データの容量増大により、その影響が無視できないものとなっている。
【００１１】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ネットワークを介したユーザインタフェースの提供における通信エラーへの耐性を高めた、新規かつ改良された送信装置、受信装置、通信システム、通信方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【００１２】
上記課題を解決するために、本発明のある観点によれば、ユーザインタフェースの制御に用いられる第１制御データに基づいて生成したユーザインタフェース画像をコンテンツ画像に重畳して重畳画像データを生成する画像重畳部と、前記画像重畳部により生成された前記重畳画像データを１フィールド内のＮライン（Ｎは１以上）に相当する符号化単位で符号化する画像圧縮部と、前記画像圧縮部により符号化された前記重畳画像データを送信する通信部と、を備える送信装置が提供される。
【００１３】
また、前記送信装置は、前記画像圧縮部により符号化された前記重畳画像データに通信の制御に用いられる第２制御データを多重化する多重化部、をさらに備え、前記通信部は、前記多重化部により前記第２制御データと多重化された前記重畳画像データを送信してもよい。
【００１４】
また、前記通信部は、さらに前記重畳画像データを受信した他の装置により表示された前記ユーザインタフェース画像に関連して外部装置から送信される操作信号を受信してもよい。
【００１５】
上記課題を解決するために、本発明の別の観点によれば、ユーザインタフェースの制御に用いられる第１制御データに基づいて生成されたユーザインタフェース画像をコンテンツ画像に重畳して生成された重畳画像データであって、１フィールド内のＮライン（Ｎは１以上）に相当する符号化単位で符号化された前記重畳画像データを受信する通信部と、前記通信部により受信された前記重畳画像データを前記符号化単位で復号する画像復号部と、を備える受信装置が提供される。
【００１６】
また、前記受信装置は、前記画像復号部により前記重畳画像データが復号される前に、通信の制御に用いられる第２制御データを当該重畳画像データから分離する分離部、をさらに備えてもよい。
【００１７】
また、前記通信部は、受信した前記重畳画像データに含まれるエラーの割合を所定の閾値と比較し、エラーの割合が当該閾値よりも大きくない場合には前記重畳画像データを前記画像復号部に復号させてもよい。
【００１８】
また、前記通信部は、受信した前記重畳画像データに含まれるエラーの割合が所定の閾値よりも大きい場合に、エラー通知のための応答信号を前記重畳画像データの送信元の装置へ送信してもよい。
【００１９】
また、前記重畳画像データは、２種類以上の画質の低い低周波画像データと画質の高い高周波画像データとを含む階層符号化された画像データであり、前記画像復号部は、前記重畳画像データとして所定の周波数の低周波画像データが前記通信部により受信された場合には、より周波数の高い画像データが受信されたか否かによらず受信された前記重畳画像データを復号してもよい。
【００２０】
上記課題を解決するために、本発明の別の観点によれば、ユーザインタフェースの制御に用いられる第１制御データに基づいて生成したユーザインタフェース画像をコンテンツ画像に重畳して重畳画像データを生成する画像重畳部と、前記画像重畳部により生成された前記重畳画像データを符号化する画像圧縮部と、前記画像圧縮部により符号化された前記重畳画像データに通信の制御に用いられる第２制御データを多重化する多重化部と、前記多重化部により前記第２制御データと多重化された前記重畳画像データを送信する通信部と、を備える送信装置が提供される。
【００２１】
上記課題を解決するために、本発明の別の観点によれば、ユーザインタフェースの制御に用いられる第１制御データに基づいて生成されたユーザインタフェース画像をコンテンツ画像に重畳して生成された重畳画像データであって、通信の制御に用いられる第２制御データと多重化された前記重畳画像データを受信する通信部と、前記通信部により受信された前記重畳画像データから前記第２制御データを分離する分離部と、前記分離部により前記第２制御データが分離された前記重畳画像データを復号する画像復号部と、を備える受信装置が提供される。
【００２２】
上記課題を解決するために、本発明の別の観点によれば、ユーザインタフェースの制御に用いられる第１制御データに基づいて生成したユーザインタフェース画像をコンテンツ画像に重畳して重畳画像データを生成する画像重畳部、前記画像重畳部により生成された前記重畳画像データを１フィールド内のＮライン（Ｎは１以上）に相当する符号化単位で符号化する画像圧縮部、及び、前記画像圧縮部により符号化された前記重畳画像データを送信する送信側通信部、を備える送信装置と、前記送信装置により送信された前記重畳画像データを受信する受信側通信部、及び、前記受信側通信部により受信された前記重畳画像データを前記符号化単位で復号する画像復号部、を備える受信装置と、を含む通信システムが提供される。
【００２３】
上記課題を解決するために、本発明の別の観点によれば、送信装置において、ユーザインタフェースの制御に用いられる第１制御データに基づいて生成したユーザインタフェース画像をコンテンツ画像に重畳して重畳画像データを生成するステップと、生成された前記重畳画像データを１フィールド内のＮライン（Ｎは１以上）に相当する符号化単位で符号化するステップと、符号化された前記重畳画像データを送信装置から受信装置へ送信するステップと、受信装置において、前記送信装置により送信された前記重畳画像データを受信するステップと、受信された前記重畳画像データを前記符号化単位で復号するステップと、を含む通信方法が提供される。
【００２４】
上記課題を解決するために、本発明の別の観点によれば、送信装置を制御するコンピュータを、ユーザインタフェースの制御に用いられる第１制御データに基づいて生成したユーザインタフェース画像をコンテンツ画像に重畳して重畳画像データを生成する画像重畳部と、前記画像重畳部により生成された前記重畳画像データを１フィールド内のＮライン（Ｎは１以上）に相当する符号化単位で符号化する画像圧縮部と、前記画像圧縮部により符号化された前記重畳画像データを送信する通信部と、として機能させるためのプログラムが提供される。
【００２５】
上記課題を解決するために、本発明の別の観点によれば、受信装置を制御するコンピュータを、ユーザインタフェースの制御に用いられる第１制御データに基づいて生成されたユーザインタフェース画像をコンテンツ画像に重畳して生成された重畳画像データであって、１フィールド内のＮライン（Ｎは１以上）に相当する符号化単位で符号化された前記重畳画像データを受信する通信部と、前記通信部により受信された前記重畳画像データを前記符号化単位で復号する画像復号部と、として機能させるためのプログラムが提供される。
【発明の効果】
【００２６】
以上説明した本発明に係る送信装置、受信装置、通信システム、通信方法、及びプログラムによれば、ネットワークを介したユーザインタフェースの提供における通信エラーへの耐性を高めることができる。
【発明を実施するための最良の形態】
【００２７】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２８】
また、以下の順序にしたがって当該「発明を実施するための最良の形態」を説明する。
１．一実施形態に係る通信システムの概要
２．一実施形態に係る送信装置の説明
３．一実施形態に係る受信装置の説明
４．まとめ
【００２９】
＜１．一実施形態に係る通信システムの概要＞
まず、図１を参照して、本発明の一実施形態に係る通信システム１の概要について説明する。
【００３０】
図１は、本発明の一実施形態に係る通信システム１の概要を示す模式図である。図１を参照すると、通信システム１は、ネットワーク１０、送信装置１００、受信装置２００、及び遠隔制御装置３００を含む。
【００３１】
図１において、ネットワーク１０は、ＬＡＮ、ＷＡＮ、ＡＤＳＬ、電力線、ＬＶＤＳ接続回線、ＨＤＭＩ、無線ＬＡＮ（ＩＥＥＥ８０２．１１）、Ｂｌｕｅｔｏｏｔｈ、ＷｉＭａｘ、又は超広帯域無線（ＵＷＢ）などを用いた任意のネットワークである。ネットワーク１０は、例えば、送信装置１００と受信装置２０とを接続するホームネットワークとしての役割を果たす。ネットワーク１０が有線であるか無線であるかは問わない。
【００３２】
送信装置１００は、典型的には、映像コンテンツなどの画像データを記憶しているＨＤＤレコーダやＢＤレコーダなどの記録再生装置として構成される。その代わりに、送信装置１００は、例えば、放送される番組を受信して中継するチューナ、又は撮像素子を用いて撮影された画像データを出力する撮像装置などであってもよい。送信装置１００は、例えば、画像データを内蔵する記録媒体から読み出し、外部から受信し、又は撮影した後、当該画像データを圧縮して受信装置２００へ送信する。なお、本明細書において、圧縮とは、例えばＣｈａｎｎｅｌＣｏｄｅｃのような符号化も含むものとする。また、送信装置１００は、ユーザによる操作を受け付けるためのユーザインタフェースを、受信装置２００の画面を介してユーザに提供する。
【００３３】
受信装置２００は、例えばＣＲＴ（Cathode Ray Tube）やＰＤＰ（Plasma Display Panel）、液晶ディスプレイ、又はＯＬＥＤ（Organic Light Emitting Diode）などを用いた表示装置として構成される。受信装置２００は、例えば、送信装置１００から送信された画像データをネットワーク１０を介して受信し、当該画像データを復号して得られたコンテンツ画像を画面に表示する。また、受信装置２００は、送信装置１００又は受信装置２００をユーザに操作させるためのユーザインタフェース画像（例えばメニューやアイコンを含む画像）２０２を画面に表示する。
【００３４】
遠隔制御装置３００は、送信装置１００又は受信装置２００を操作するための操作信号を、ユーザからの指示に応じて、例えば赤外線信号又は無線信号として出力する。遠隔制御装置３００から操作信号が出力されると、当該操作信号は、例えば受信装置２００により検知される。そして、受信装置２００は、操作の内容を伝える操作データをネットワーク１０を介して送信装置１００へ送信する。その代わりに、遠隔制御装置３００から出力された操作信号は、例えば離れた場所に位置する送信装置１００により直接検知されてもよい。
【００３５】
このような通信システム１の構成により、例えば、ユーザが、家庭内の任意の場所に設置された受信装置２００を用いて離れた場所ある送信装置１００にアクセスし、送信装置１００の保持するコンテンツを楽しむといった利用形態が可能となる。しかし、この場合、例えば周囲の環境から生じるノイズ（マルチパス、ゲインロス、瞬断といった一時的に回線が不安定になる状態を引き起こす要因）や一時的な通信の輻輳などを原因として、ネットワーク１０上で通信エラーが発生し得る。その際、画像データについては、例えばＵＤＰ（User Datagram Protocol）及びＲＴＰ（Real-time Transport Protocol）などのプロトコルに従い、通信エラーによるデータの欠損等に関わらずリアルタイム性を維持したデータ配信が継続される。これに対し、仮にユーザインタフェースを制御するための制御データを単独でネットワーク１０上に送出することとすると、例えばＴＣＰ（Transmission Control Protocol）などによるデータ再送の結果、通信は遅延し、ユーザによる操作の即応性は損なわれる。そこで、次節より詳しく説明する本発明の一実施形態では、ユーザインタフェースを制御するための制御データに基づいて生成されるユーザインタフェース画像を予めコンテンツ画像に重畳することで、当該制御データの送信／再送の必要性を排除する。
【００３６】
＜２．一実施形態に係る送信装置の説明＞
図２は、本実施形態に係る送信装置１００の構成の一例を示すブロック図である。図２を参照すると、送信装置１００は、アプリケーション部１１０、圧縮部１２０、及び通信部１４０を備える。
【００３７】
［アプリケーション部１１０］
アプリケーション部１１０は、ユーザによる操作に応じて所定の画像データを取得して圧縮部１２０へ供給する。また、アプリケーション部１１０は、各アプリケーションをユーザに操作させるためのユーザインタフェースの制御に用いられる第１制御データ、及び通信の制御に用いられる第２制御データを、圧縮部１２０へ供給する。
【００３８】
アプリケーション部１１０は、図３に例示するように、例えば、個々のアプリケーション１１２ａ〜１１２ｎと共通インタフェース（共通ＩＦ）１１４とにより構成されてもよい。
【００３９】
図３の例において、アプリケーション１１２ａ〜１１２ｎは、例えば、送信装置１００上で動作するコンテンツ再生用アプリケーション、放送番組受信用アプリケーション、又は映像撮影用アプリケーションなどの任意のアプリケーションであってよい。アプリケーション１１２ａ〜１１２ｎは、例えばユーザからの要求に応じて、それぞれ所定の画像データ及び音声データを取得し、取得したデータを圧縮部１２０へ出力する。また、アプリケーション１１２ａ〜１１２ｎは、前述した第１制御データ及び第２制御データの出力と操作データの取得を、共通インタフェース１１４を介して実行する。
【００４０】
共通インタフェース１１４は、送信装置１００がユーザに提供するユーザインタフェースを共通的に管理するインタフェースである。共通インタフェース１１４は、例えば、ＸＭＢ（Xross Media Bar）などの独自ユーザインタフェースやＤＬＮＡのＵＩ等の標準化された仕様に従って動作するミドルウェアなどであってもよい。
【００４１】
共通インタフェース１１４は、例えば、ユーザインタフェースの制御に用いられる第１制御データを生成して圧縮部１２０へ出力する。第１制御データには、例えばユーザが選択可能なメニューの一覧や各メニューに対応するアイコンの識別子、画面上にアイコンを表示すべき位置など、ユーザインタフェースの表示に関連する任意の制御データを含むことができる。また、共通インタフェース１１４は、アプリケーションレベルでの通信の制御に用いられる第２制御データを圧縮部１２０へ出力する。
【００４２】
さらに、共通インタフェース１１４は、例えば図１に示した遠隔制御装置３００から出力され又は受信装置２００により中継された操作データが入力されると、当該操作データに応じた動作をアプリケーション１１２ａ〜１１２ｎのいずれかに指示する。また、共通インタフェース１１４は、後に説明するように、重畳画像データに関するエラーが通知されると、前述した第１制御データを圧縮部１２０へ再度出力してもよい
【００４３】
［圧縮部１２０］
図２に戻り、本実施形態に係る送信装置１００の構成の説明を継続する。
【００４４】
圧縮部１２０は、アプリケーション部１１０から画像データと第１制御データが供給されると、ユーザインタフェース画像をコンテンツ画像に重畳した重畳画像データを生成して符号化する。また、圧縮部１２０は、その重畳画像データに、アプリケーション部１１０から供給された第２制御データや符号化した音声データを多重化する。なお、本実施形態において、コンテンツ画像とは、アプリケーション部１１０から供給される画像データにより表現される任意の画像であってよい。
【００４５】
図４は、圧縮部１２０のより詳細な構成の一例を示すブロック図である。
【００４６】
図４の例において、圧縮部１２０は、画像重畳部１２２、制御送信準備部１２４、音声圧縮部１２６、画像圧縮部１２８、及び多重化部１３０を含む。
【００４７】
画像重畳部１２２は、ユーザインタフェースの制御に用いられる第１制御データに基づいて生成したユーザインタフェース画像をコンテンツ画像に重畳し、重畳画像データを生成する。
【００４８】
図５は、画像重畳部１２２による画像重畳処理について説明するための説明図である。図５では、画像Ｉ１、画像Ｉ２、及び画像Ｉ３の３枚の画像が示されている。このうち、画像Ｉ１は、アプリケーション部１１０から供給された画像データの内容を表示するコンテンツ画像である。一方、画像Ｉ２は、アプリケーション部１１０から供給された第１制御データに含まれるメニューの一覧などのデータに基づいて生成されるユーザインタフェース画像である。図５の例では、ユーザインタフェース画像Ｉ２には、“Ｍｅｎｕ１”から“Ｍｅｎｕ４”までの４つのメニュー文字列及びそれらに対応するアイコンの組が表示されている。画像重畳部１２２は、このようなコンテンツ画像Ｉ１にユーザインタフェース画像Ｉ２を重畳し、重畳画像データＩ３を生成する。
【００４９】
図５の例では、画像重畳部１２２はユーザインタフェース画像Ｉ２を透過させてコンテンツ画像Ｉ１と重ね合わせているが、画像重畳部１２２による画像の重畳はかかる例に限定されない。例えば、画像重畳部１２２は、ユーザインタフェース画像Ｉ２を透過させることなくコンテンツ画像Ｉ１に重ね合わせてもよい。また、画像重畳部１２２は、コンテンツ画像Ｉ１とユーザインタフェース画像Ｉ２とを重ね合わせることなく、任意の方向に並べて配置してもよい。さらに、画像重畳部１２２は、重畳画像データにユーザインタフェース画像Ｉ２のみを表示してもよい。本明細書において、画像の重畳とは、送信データストリームにユーザインタフェース画像を任意の形式で挿入することを意味する。
【００５０】
図４に戻り、制御送信準備部１２４は、アプリケーション部１１０から供給された第２制御データを一時的に保持し、後述する多重化部１３０へ出力する。
【００５１】
音声圧縮部１２６は、アプリケーション部１１０から供給された音声データを、ＰＣＭ、ＡＤＰＣＭ、ＭＰ３、ＷＭＡ、ＡＡＣ、ＡＴＲＡＣ３ｐｌｕｓ、ＡＴＲＡＣ３などの任意の音声符号化方式に従って圧縮する。なお、通信システム１において送信装置１００から配信される画像データには、必ずしも音声データが伴っていなくてもよい。即ち、送信装置１００の構成において、音声圧縮部１２６は省略されてもよい。
【００５２】
画像圧縮部１２８は、画像重畳部１２２により生成された前述の重畳画像データを、１フィールド内のＮライン（Ｎは１以上）に相当する符号化単位で符号化する。即ち、画像圧縮部１２８は、Ｎ≧１である場合には、画像重畳部１２２により生成された前述の重畳画像データを、ラインベース・コーデックに従って圧縮する。
【００５３】
以下、図１３〜図１５を用いて、ラインベース・コーデックの一例としてのラインベース・ウェーブレット変換の仕組みについて説明する。
【００５４】
ラインベース・ウェーブレット変換とは、原画像のベースバンド信号の１ラインをスキャンするごとに横方向のウェーブレット変換を行い、一定数のラインを読み込むごとに縦方向のウェーブレット変換を行うコーデック技術である。
【００５５】
図１３は、ウェーブレット変換を実行する符号化器８００の構成例を示すブロック図である。図１３に示した符号化器８００は、最も一般的なウェーブレット変換であるオクターブ分割を３階層（３つのレベル）にわたって実行し、階層符号化された画像データを生成する。
【００５６】
図１３を参照すると、符号化器８００は、レベル１の回路部８１０、レベル２の回路部８２０、及びレベル３の回路部８３０を備える。また、レベル１の回路部８１０は、ローパスフィルタ８１２、ダウンサンプラ８１４、ハイパスフィルタ８１６、及びダウンサンプラ８１８を有している。レベル２の回路部８２０は、ローパスフィルタ８２２、ダウンサンプラ８２４、ハイパスフィルタ８２６、及びダウンサンプラ８２８を有している。レベル３の回路部８３０は、ローパスフィルタ８３２、ダウンサンプラ８３４、ハイパスフィルタ８３６、及びダウンサンプラ８３８を有している。
【００５７】
入力画像信号は、回路部８１０のローパスフィルタ８１２（伝達関数Ｈ０（ｚ））とハイパスフィルタ８１６（伝達関数Ｈ１（ｚ））によって帯域分割される。帯域分割によって得られた低域成分（１Ｌ成分）と高域成分（１Ｈ成分）は、それぞれ対応するダウンサンプラ８１４、８１８によって、解像度がそれぞれ２分の１倍に間引かれる。
【００５８】
ダウンサンプラ８１４で間引かれた低域成分（１Ｌ成分）の信号は、回路部８２０のローパスフィルタ８２２（伝達関数Ｈ０（ｚ））とハイパスフィルタ８２６（伝達関数Ｈ１（ｚ））によってさらに帯域分割される。帯域分割により得られた低域成分（２Ｌ成分）と高域成分（２Ｈ成分）は、それぞれ対応するダウンサンプラ８２４、８２８によって、解像度がそれぞれ２分の１倍に間引かれる。
【００５９】
さらに、ダウンサンプラ８２４で間引かれた低域成分（２Ｌ成分）の信号は、回路部８３０のローパスフィルタ８３２（伝達関数Ｈ０（ｚ））とハイパスフィルタ８３６（伝達関数Ｈ１（ｚ））によってさらに帯域分割される。帯域分割により得られた低域成分（３Ｌ成分）と高域成分（３Ｈ成分）は、それぞれ対応するダウンサンプラ８３４、８３８によって、解像度がそれぞれ２分の１倍に間引かれる。
【００６０】
このように、所定のレベルまで低域成分を階層的に帯域分割した周波数成分が順次生成される。図１３の例では、レベル３まで帯域分割した結果、ダウンサンプラ８１８で間引かれた高域成分（１Ｈ成分）、ダウンサンプラ８２８で間引かれた高域成分（２Ｈ成分）、ダウンサンプラ８３８で間引かれた高域成分（３Ｈ成分）、ダウンサンプラ８３４で間引かれた低域成分（３Ｌ成分）が生成される。
【００６１】
図１４は、レベル３まで２次元画像を帯域分割した結果得られる周波数成分を示す図である。図１４の例では、まずレベル１の帯域分割（水平・垂直方向）により４つの成分１ＬＬ、１ＬＨ、１ＨＬ、１ＨＨの各副画像が取得される。ここでＬＬは水平・垂直成分が共にＬであることを意味し、ＬＨは水平成分がＨで垂直成分がＬであることを意味している。次に、１ＬＬ成分は再度帯域分割されて、２ＬＬ、２ＨＬ、２ＬＨ、２ＨＨの各副画像が取得される。さらに、２ＬＬ成分は再度帯域分割されて、３ＬＬ、３ＨＬ、３ＬＨ、３ＨＨの各副画像が取得される。
【００６２】
このようにウェーブレット変換が繰り返し行われた結果、出力信号においては、副画像が階層構造を形成する。こうしたウェーブレット変換をさらにラインベースに拡張したのが、ラインベース・ウェーブレット変換である。
【００６３】
図１５は、ラインベース・ウェーブレット変換による変換処理を概念的に示した模式図である。ここでは、一例として、ベースバンドの８ラインごとに縦方向のウェーブレット変換を行うこととしている。
【００６４】
この場合、ウェーブレット変換を３階層で行うとすると、その８ラインに対して、最低域３ＬＬ副画像に１ライン、その次のレベルのサブバンド３Ｈ（副画像３ＨＬ、３ＬＨ、３ＨＨ）に各１ラインが生成される。また、さらに次のレベルのサブバンド２Ｈ（副画像２ＨＬ、２ＬＨ、２ＨＨ）に各２ライン、さらに最高域１Ｈ（副画像１ＨＬ、１ＬＨ、１ＨＨ）に各４ラインの符号化データが生成される。
【００６５】
なお、この各サブバンドのラインの集合をプレシンクトと称する。即ち、ラインベース・ウェーブレット変換におけるプレシンクトは、ラインの集合であるラインブロックの一形態として、ラインベース・ウェーブレット変換の符号化単位となるラインの集合である。なお、本明細書において、符号化単位とは、一般的に符号化処理の単位となるラインの集合を意味する。即ち、符号化単位とは、ラインベース・ウェーブレット変換におけるプレシンクトに限定されず、例えば、ＪＰＥＧ２００やＭＰＥＧ４のような既存の階層符号化における符号化処理の単位であってもよい。
【００６６】
図１５を参照すると、図１５の左側に示されるベースバンド信号８０２において８ラインであったプレシンクト（図中斜線部分）は、図３の右側に示されるように、ラインベース・ウェーブレット変換された変換後信号８０４の１Ｈにおいて、１ＨＬ、１ＬＨ、および１ＨＨのそれぞれの４ライン（図中斜線部分）、２Ｈにおいて、２ＨＬ、２ＬＨ、および２ＨＨのそれぞれの２ライン（図中斜線部分）、３ＬＬ、３ＨＬ、３ＨＬ、および３ＨＨのそれぞれの１ライン（図中斜線部分）として構成されている。
【００６７】
このようなラインベース・ウェーブレット変換処理によれば、ＪＰＥＧ２０００のタイル分割と同様、１枚のピクチャをより細かい粒度に分解して処理を行うことが可能となり、画像データの送受信時の低遅延化を図ることができる。さらに、ラインベース・ウェーブレット変換の場合、ＪＰＥＧ２０００のタイル分割とは異なり、１つのベースバンド信号に対する分割ではなくウェーブレット係数での分割であるため、タイル境界でのブロックノイズ的な画質劣化が発生しないという特徴も有する。
【００６８】
ここまで、ラインベース・コーデックの一例としての、ラインベース・ウェーブレット変換について説明した。なお、図４に示した画像圧縮部１２８による圧縮処理は、ラインベース・ウェーブレット変換に限定されない。画像圧縮部１２８は、例えば、ＪＰＥＧ２０００やＭＰＥＧ４のような既存の階層符号化など、任意のラインベース・コーデックに適用可能である。
【００６９】
図４に戻り、多重化部１３０は、画像圧縮部１２８により符号化された重畳画像データを、制御送信準備部１２４から出力される第２制御データ及び音声圧縮部１２６から出力される符号化された音声データと多重化する。そして、多重化部１３０は、多重化された重畳画像データを、通信部１４０へ出力する。
【００７０】
さらに図２に戻り、本実施形態に係る送信装置１００の構成の説明を継続する。
【００７１】
［通信部１４０］
通信部１４０は、送信データ生成部１４２、送受信制御部１４４、物理層制御部１４６、物理層Ｔｘ１４８、スイッチ部１５０、アンテナ部１５２、物理層Ｒｘ１５４、及び受信データ分離部１５６を含む。
【００７２】
送信データ生成部１４２は、圧縮部１２０から出力された重畳画像データを含む通信パケットを生成する。例えば、ＴＣＰ若しくはＵＤＰ、又はＩＰプロトコルに基づく通信を行う場合には、送信データ生成部１４２は、重畳画像データにＴＣＰヘッダ又はＵＤＰヘッダ及び端末識別情報（例えば、イーサネット（登録商標）のＭＡＣアドレスやＩＰアドレス）を付加してＩＰパケットを生成する。
【００７３】
送受信制御部１４４は、例えば、ＴＤＭＡ（Time Division Multiple Access）方式、ＣＳＭＡ（Carrier Sense Multiple Access）方式、又はＦＤＭＡ(Frequency Division Multiple Access)方式でのＭＡＣ（Media Access Control）層の制御を行う。また、送受信制御部１４４は、キャリアではなくプリアンブルの相関からパケットを識別するＰＳＭＡ（Preamble Sense Multiple Access）に基づくＭＡＣ層の制御を行ってもよい。
【００７４】
物理層制御部１４６は、送受信制御部１４４又は送信データ生成部１４２からの指示に基づいて物理層を制御する。物理層Ｔｘ１４８は、物理層制御部１４６の要求に基づいて動作を開始し、送信データ生成部１４２から供給された通信パケットをスイッチ部１５０に出力する。
【００７５】
スイッチ部１５０は、データの送信と受信とを切り替える機能を有する。例えば、スイッチ部１５０は、物理層Ｔｘ１４８から通信パケットが供給されてきた場合、通信パケットをアンテナ部１５２を介して送信する。また、アンテナ部１５２を介して通信パケットが受信された場合、スイッチ部１５０は、受信されたパケットを物理層Ｒｘ１５４に供給する。
【００７６】
物理層Ｒｘ１５４は、物理層制御部１４６の要求に基づいて動作を開始し、受信パケットを受信データ分離部１５６に供給する。
【００７７】
受信データ分離部１５６は、物理層Ｒｘ１５４から供給された受信パケットを解析し、アプリケーション部１１０に受け渡すべきデータを分離してアプリケーション部１１０へ出力する。例えば、受信データ分離部１５６は、受信パケットに含まれるＴＣＰ又はＵＤＰヘッダのポート番号を参照し、アプリケーション部１１０に受け渡すべきデータを識別してもよい。
【００７８】
ここで、通信システム１において、送信装置１００が受信する可能性のあるデータは主に２種類存在する。そのうち、第１のデータは、受信装置２００により表示されたユーザインタフェース画像を見たユーザからの指示を受けて遠隔制御装置３００から出力される操作データである。また、第２のデータは、受信装置２００が重畳画像データのエラーを検出した際に応答するエラー関連統計データである。
【００７９】
操作データは、遠隔制御装置３００から出力される操作信号に含まれる。送信装置１００の通信部１４０は、遠隔制御装置３００から直接、又は受信装置２００により中継された当該操作信号を受信する。そして、通知部１４０により操作信号から分離された操作データは、アプリケーション部１１０へ入力される。なお、操作信号が例えば赤外線信号として遠隔制御装置３００から出力される場合には、図２に示した通知部１４０の外部に設けられる赤外線インタフェース（図示せず）が当該操作信号を受信し、操作データをアプリケーション部１１０へ出力してもよい。
【００８０】
一方、エラー関連統計データは、受信装置２００から送信される応答信号に含まれる。送信装置１００の通信部１４０は、受信装置２００から応答信号を受信すると、当該応答信号からエラー関連統計データを分離してアプリケーション部１１０へ入力する。それにより、アプリケーション部１１０は、例えば、ユーザインタフェースを制御するための第１制御データを圧縮部１２０へ再度出力してもよい。
【００８１】
［処理フローの一例］
次に、図６は、図２〜図５を用いて説明した送信装置１００による重畳画像データの送信処理の流れの一例を示すフローチャートである。
【００８２】
図６を参照すると、まず、アプリケーション部１１０により、受信装置１００に表示させるコンテンツ画像の画像データが、圧縮部１２０へ出力される（Ｓ１０２）。このとき、必要に応じて音声データも圧縮部１２０へ出力される。
【００８３】
次に、アプリケーション部１１０により、第１制御データ又は第２制御データが圧縮部１２０へ出力される（Ｓ１０４）。
【００８４】
その後、圧縮部１２０において、アプリケーション部１１０から出力された制御データが第１制御データか否かが判定される（Ｓ１０６）。ここで、制御データが第１制御データである場合には、処理はＳ１０８へ進む。一方、制御データが第１制御データでなければ、処理はＳ１１２へ進む。
【００８５】
Ｓ１０８では、圧縮部１２０の画像重畳部１２２により、アプリケーション部１１０から入力された画像データ及び第１制御データを用いて、コンテンツ画像にユーザインタフェース画像を重畳させた重畳画像データが生成される（Ｓ１０８）。
【００８６】
次に、画像圧縮部１２８により、重畳画像データが、１フィールド内のＮライン（Ｎは１以上）に相当する符号化単位で符号化される（Ｓ１１０）。
【００８７】
次に、多重化部１３０により、画像圧縮部１２８において圧縮された重畳画像データにアプリケーション部１１０から入力された第２制御データが多重化される（Ｓ１１２）。このとき、必要に応じて音声圧縮部１２６において圧縮された音声データも合わせて多重化される。
【００８８】
その後、通信部１４０により、多重化後の重畳画像データを含む通信パケットが生成され、ネットワーク１０を介して受信装置２００へ送信される（Ｓ１１４）。
【００８９】
ここまで、図２〜図６を用いて、本実施形態に係る送信装置１００について説明した。次に、かかる送信装置１００から送信される重畳画像データを受信する受信装置２００の構成について説明する。
【００９０】
＜３．一実施形態に係る受信装置の説明＞
図７は、本実施形態に係る受信装置２００の構成の一例を示すブロック図である。図７を参照すると、受信装置２００は、通信部２４０、復号部２７０、及びアプリケーション部２９０を備える。
【００９１】
［通信部２４０］
通信部２４０は、送信データ生成部２４２、送受信制御部２４４、物理層制御部１４６、物理層Ｔｘ１４８、スイッチ部１５０、アンテナ部１５２、物理層Ｒｘ１５４、及び受信データ分離部２５６を含む。
【００９２】
送信データ生成部２４２は、送受信制御部２４４の要求に基づいて、送信装置１００へ送信すべきデータを読み出して送信パケットを生成する。例えば、送信データ生成部２４２は、ＩＰパケットを生成して物理層Ｔｘ１４８へ出力する。
【００９３】
送受信制御部２４４は、送信装置１００の送受信制御部１４４と同様、ＭＡＣ層の制御を行う。また、送受信制御部２４４は、例えば後述する受信データ分離部２５６により検出される重畳画像データのエラーの割合を予め定義される所定の閾値と比較し、エラーの割合が大きい場合には、エラーの発生を通知するエラー関連統計データを含む応答信号を送信装置１００へ送信させる。重畳画像データに含まれるエラーの検出については、後にさらに説明する。
【００９４】
受信データ分離部２５６は、物理層Ｒｘ１５４から供給された受信パケットを解析し、復号部２７０に受け渡すべきデータを分離して復号部２７０へ出力する。例えば、ＩＰプロトコルに基づく通信を行う場合には、受信データ分離部２５６は、受信パケットに含まれる宛先ＩＰアドレス及び宛先ポート番号を参照し、復号部２７０に受け渡すべきデータを識別することができる。
【００９５】
［復号部２７０］
復号部２７０は、例えば、受信データ分離部２５６から出力される重畳画像データを１フィールド内のＮライン（Ｎは１以上）の単位で復号した後、復号後の重畳画像データをアプリケーション部２９０へ出力する。
【００９６】
図８は、復号部２７０のより詳細な構成の一例を示すブロック図である。図８を参照すると、復号部２７０は、アプリケーションデータ分離部２７２、音声復号部２７４、及び画像復号部２７６を含む。
【００９７】
アプリケーションデータ分離部２７２は、受信データ分離部２５６から入力されたデータのアプリケーションヘッダを参照してメディアの種類を判定し、データを分配する。例えば、アプリケーションデータ分離部２７２は、入力されたデータが符号化された音声データであれば、当該音声データを音声復号部２７４へ出力する。また、アプリケーションデータ分離部２７２は、入力されたデータが符号化された重畳画像データであれば、当該重畳画像データを画像復号部２７６へ出力する。また、アプリケーションデータ分離部２７２は、入力されたデータが第２制御データであれば、当該第２制御データをアプリケーション部２９０へ出力する。
【００９８】
なお、ピクチャベースのコーデックと比較すると、ラインベース・コーデックでは、画像データの受信及び復号の制御に使用できる時間は短い。そこで、アプリケーションデータ分離部２７２は、安定して同期された状態で重畳画像データを復号するために、受信データ分離部２５６から入力された重畳画像データを一時的に蓄積し、所定の同期タイミングを判定して画像復号部２７６へ出力する。このようなアプリケーションデータ分離部２７２による同期処理については、後に図１１を用いてさらに説明する。
【００９９】
音声復号部２７４は、アプリケーションデータ分離部２７２から入力された音声データを、ＰＣＭ、ＡＤＰＣＭ、ＭＰ３、ＷＭＡ、ＡＡＣ、ＡＴＲＡＣ３ｐｌｕｓ、ＡＴＲＡＣ３などの任意の音声符号化方式に従って復号する。音声復号部２７４により復号された音声データは、アプリケーション部２９０へ出力される。なお、音声復号部２７４は、送信装置１００の音声圧縮部１２６と同様、受信装置２００において省略されてもよい。
【０１００】
画像復号部２７６は、アプリケーションデータ分離部２７２から入力された重畳画像データを、１フィールド内のＮラインに相当する符号化単位で復号する。画像復号部２７６により復号された重畳画像データは、アプリケーション部２９０へ出力される。
【０１０１】
［アプリケーション部２９０］
図７に戻り、受信装置２００の構成の説明を継続する。
【０１０２】
アプリケーション部２９０は、復号部２７０から供給される復号済みの重畳画像データを再生する。それにより、重畳画像データに含まれるコンテンツ画像に重畳されたユーザインタフェース画像が、受信装置２００の画面に表示される。また、アプリケーション部２９０は、復号部２７０から供給される復号済みの音声データをスピーカなどの音声出力装置を用いて再生する。
【０１０３】
かかる受信装置２００の構成において注目すべき点は、復号部２７０の画像復号部２７６において復号された重畳画像データを、さらにコンテンツ画像の画像データとユーザインタフェース画像用の第１制御データとに分離する必要がないことである。仮に通信エラーが発生した場合、重畳画像データの一部にエラーが含まれている可能性はある。しかし、その場合でも、ユーザインタフェース画像がコンテンツ画像に重畳されているため、エラーの割合が一定量を超えていなければ、受信装置２００において表示された画像に映るユーザインタフェース画像をユーザは認識することができる。その結果、部分的なエラーの発生によらず、例えばＵＤＰ及びＲＴＰなどのリアルタイム性を重視したプロトコルに従って、ユーザインタフェースを即応的にユーザに提供できる。
【０１０４】
［エラーの検出］
受信装置２００における重畳画像データのエラーの検出は、例えば、図７に示した物理層Ｒｘ１５４又は受信データ分離部２５６などにより行い得る。例えば、物理層Ｒｘ１５４では、巡回冗長検査、リードソロモン符号、ゴールド符号、又はビタビアルゴリズムなどの公知の手法を用いて、受信パケットに含まれるビットやシンボルのエラーを検出することができる。また、例えば、受信データ分離部２５６では、ＲＴＰヘッダなどに含まれるシーケンス番号の抜けなどからパケットのロスを検出することができる。また、無線通信における位相のずれや信号強度のばらつきから通信エラーを検出してもよい。
【０１０５】
このように検出された重畳画像データのエラーは、例えば、送受信制御部２４４に通知され、エラーの割合が算出される。そして、送受信制御部２４４は、例えば予め定義された所定の閾値と算出されたエラーの割合とを比較する。ここでエラーの割合が予め定義された閾値よりも大きい場合、即ち重畳画像データを復号して表示してもユーザインタフェース画像をユーザが正しく認識できない場合には、送受信制御部２４４は、エラーを通知する応答信号を送信装置１００へ送信する。また、エラーの割合が上記閾値よりも大きくない場合、即ちユーザインタフェース画像をユーザが認識できると判断される場合には、送受信制御部２４４は、重畳画像データの復号処理を継続させる。
【０１０６】
なお、ここでは送受信制御部２４４によりエラーの割合の閾値判定を行う例について説明したが、その代わりに復号部２７０又はアプリケーション部２９０が当該閾値判定を行ってもよい。
【０１０７】
［通信パケットの構成例］
図９は、本実施形態において受信装置２００が受信する可能性のある通信パケットの一例としての、ＵＤＰ／ＩＰパケットの構成を示している。
【０１０８】
図９では、１つのＩＰパケットの内部構成が（Ａ）〜（Ｄ）の４段階に分けて示されている。図９（Ａ）を参照すると、ＩＰパケットは、ＩＰヘッダ及びＩＰデータから構成される。ＩＰヘッダには、例えば宛先ＩＰアドレスなどのＩＰプロトコルに基づく通信経路の制御に関する制御情報が含まれる。
【０１０９】
次に、図９（Ｂ）を参照すると、ＩＰデータは、さらにＵＤＰヘッダ及びＵＤＰデータから構成されている。ＵＤＰヘッダには、例えばアプリケーション識別情報である宛先ポート番号などが含まれる。
【０１１０】
次に、図９（Ｃ）を参照すると、ＵＤＰデータは、さらにＲＴＰヘッダ及びＲＴＰデータから構成されている。ＲＴＰヘッダには、例えばデータストリームの順序性を保証するシーケンス番号などの制御情報が含まれる。
【０１１１】
次に、図９（Ｄ）を参照すると、ＲＴＰデータは、画像データのヘッダ（画像ヘッダ）、及びラインベース・コーデックに基づいて符号化された重畳画像データから構成されている。画像ヘッダには、例えばピクチャ番号やラインブロック番号（１ライン単位で符号化を行う場合にはライン番号）、サブバンド番号などが含まれる。なお、画像ヘッダは、ピクチャごとに付与されるピクチャヘッダと、ラインブロックごとに付与されるラインブロックヘッダにさらに分けて構成されてもよい。
【０１１２】
［処理フローの一例］
次に、図１０は、図７〜図９を用いて説明した受信装置２００による重畳画像データの受信処理の流れの一例を示すフローチャートである。
【０１１３】
図１０を参照すると、まず、通信部２４０により、送信装置１００から送信された通信パケットが受信される（Ｓ２０２）。
【０１１４】
次いで、例えば通信部２４０の通信制御部２４４により、通信経路上で発生したエラーの割合が所定の閾値よりも大きいか否かが判定される（Ｓ２０４）。ここでエラーの割合が所定の閾値よりも大きい場合には、処理はＳ２０６へ進む。
【０１１５】
Ｓ２０６では、受信装置２００から送信装置１００へ、エラーの発生を通知する応答信号が送信される（Ｓ２０６）。それにより、送信装置１００は、通信環境が悪化してサービス提供に支障が出ていることを認識することができる。
【０１１６】
一方、Ｓ２０４において、通信経路上で発生したエラーの割合が所定の閾値よりも小さい場合には、処理はＳ２０８へ進む。Ｓ２０８では、受信した通信パケットに含まれるデータが重畳画像データであるか否かが判定される（Ｓ２０８）。ここで、受信した通信パケットに含まれるデータが重畳画像データでなければ、処理はＳ２１０へ進む。
【０１１７】
Ｓ２１０では、重畳画像データ以外のデータ、例えば音声データが、復号部２７０の音声復号部２７４により復号される（Ｓ２１０）。音声復号部２７４により復号された音声データは、アプリケーション部２９０へ出力さる。また、本ステップでは、例えば第２制御データが、復号部２７０のアプリケーションデータ分離部２７２からアプリケーション部２９０へ出力される。
【０１１８】
一方、Ｓ２０８において、受信した通信パケットに含まれるデータが重畳画像データであれば、アプリケーションデータ分離部２７２により、重畳画像データの復号開始時点の同期処理が行われる（Ｓ２１２）。
【０１１９】
図１１は、アプリケーションデータ分離部２７２による同期処理のより具体的な流れの一例を示すフローチャートである。
【０１２０】
図１１を参照すると、まず、アプリケーションデータ分離部２７２へ入力された重畳画像データのヘッダ（例えば図９に示した画像ヘッダ）が検出され、ラインブロック番号などからピクチャの先頭が認識される（Ｓ３０２）。
【０１２１】
次に、アプリケーションデータ分離部２７２は、ピクチャの先頭を認識すると、タイマーを起動して時間を計測し、復号開始時点の到来を待受ける（Ｓ３０４）。なお、ここでの復号開始時点までの待ち時間は、例えば、符号化単位ごとのデータ量の変動や通信経路のジッタの影響等による遅延を吸収できる時間として予め設定される。但し、ユーザインタフェースの応答性を高めるためには、復号開始時点までの待ち時間は、可能な限り短い時間とするのが好適である。
【０１２２】
その後、復号開始時点に到達すると、アプリケーションデータ分離部２７２は、符号化単位でのデータ転送時間の計測を開始する（Ｓ３０６）。ここで、符号化単位でのデータ転送時間とは、１つの符号化単位の重畳画像データを表示するために費やすことのできる時間を意味する。一例として、１０８０／６０ｐ（画面サイズ２２００ｘ１１２５、６０ｆｐｓのプログレッシブ方式）の映像を復号する場合、１ラインの表示に費やせる時間は、ブランク時間を加算すると約１４．８［μｓ］、ブランク時間を加算しないと約１５．４［μｓ］となる。符号化単位がＮライン分のラインブロックであった場合には、符号化単位でのデータ転送時間は、前述の１ラインの表示に費やせる時間のＮ倍となる。
【０１２３】
さらに、アプリケーションデータ分離部２７２は、特定の周波数成分の重畳画像データの受信がその時点で完了しているか否を判定する（Ｓ３０８）。本ステップにおける特定の周波数成分とは、例えば、ユーザに表示されるべき最低限の画質を有する周波数成分として予め設定される。当該特定の周波数成分は、重畳画像データに含まれる最も周波数の低い成分であってもよく、又は画像の種類に応じて設定されるいずれかの周波数成分であってもよい。ここで特定の周波数成分の重畳画像データの受信が完了していない場合には、処理はＳ３１０へ進む。一方、特定の周波数成分の重畳画像データの受信が完了していた場合には、処理はＳ３１２へ進む。
【０１２４】
処理がＳ３１０へ進んだ場合、最低限表示されるべき周波数成分（特定の周波数成分）の重畳画像データがデータの遅延やエラーにより受信されなかったと考えられる。その場合、当該データの受信を待つと同期タイミングがずれて画像の表示が遅延するため、受信できなかったライン（又はラインブロック）へダミーデータが挿入される（Ｓ３１０）。例えば、ここで受信した周波数成分までをそのまま使用し、受信できなかった周波数成分のみについてダミーデータを挿入してもよい。ここで挿入されるダミーデータとしては、例えば１ピクチャ前（又はそれ以前）の同一ライン（又はラインブロック）の重畳画像データ、又は固定の画像データや、動き保証などにより予測したデータなどであってよい。
【０１２５】
一方、Ｓ３１２では、特定の周波数成分を含む重畳画像データが、アプリケーションデータ分離部２７２から画像復号部２７６へ転送される（Ｓ３１２）。重畳画像データの転送は、符号化単位でのデータ転送時間が終了するまで継続される（Ｓ３１４）。そして、符号化単位でのデータ転送時間が終了すると、処理はＳ３１６へ進む。
【０１２６】
Ｓ３１６では、その時点で転送されていない復号対象の重畳画像データが残っているかどうかが判定される（Ｓ３１６）。ここで、転送されていない復号対象の重畳画像データが残っていれば、その重畳画像データは削除される（Ｓ３１８）。
【０１２７】
その後、ピクチャ内の全てのラインの処理が終了したか否かが判定される（Ｓ３２０）。ここで、処理の終了していないラインが残っていれば、処理はＳ３０６へ戻り、符号化単位でのデータ転送時間の計測と重畳画像データの画像復号部２７６への転送が繰り返される。一方、全てのラインの処理が終了すると、１ピクチャ分の重畳画像データを復号するための同期処理は終了する。
【０１２８】
図１０に戻り、重畳画像データの受信処理の流れの説明を継続する。
【０１２９】
アプリケーションデータ分離部２７２による同期処理の結果として画像復号部２７６へ転送された重畳画像データは、画像復号部２７６により符号化単位で順次復号される（Ｓ２１４）。ここで、復号された重畳画像データは、画像復号部２７６からアプリケーション部２９０へ出力される。なお、一度Ｓ３２０までの処理を終了した後、次にピクチャの先頭を示すヘッダを検出した場合には、復号開始時刻を計測せずに一度目の同期タイミングを流用してもよい。
【０１３０】
そして、アプリケーション部２９０は、復号された重畳画像データを受信装置２００の画面に表示する（Ｓ２１６）。その結果、ユーザは、送信装置１００又は受信装置２００を操作するためのユーザインタフェース画像を画面上で見ることができる。
【０１３１】
ここまで、図１０及び図１１を用いて、本実施形態に係る受信装置２００により実行される重畳画像データの受信処理について説明した。ここでの説明から理解されるように、受信装置２００の表示装置に表示される重畳画像データに所定の閾値を超えない程度の通信エラーが含まれている場合であっても、ユーザインタフェース画像をユーザに視認させることができる。また、本実施形態でが、多段階の周波数成分のうち予め設定された特定の周波数成分の重畳画像データの送受信に成功すれば、他の周波数成分が失われた場合でも、少なくともその特定の周波数成分に対応する画質を有するユーザインタフェース画像が表示される。
【０１３２】
［変形例の説明］
なお、本実施形態の変形例として、図１２に示すように受信装置２００の復号部２７０を構成することも可能である。図１２を参照すると、受信装置２００の復号部２７０は、図８に示したアプリケーションデータ分離部２７２、音声復号部２７４、及び画像復号部２７６に加えて、端末識別部２７８を含む。
【０１３３】
端末識別部２７８は、通信部２４０から入力されたアプリケーションデータの送信元の端末を例えばパケットのＩＰヘッダを参照して識別し、識別結果に応じてデータを分配する。例えば、端末識別部２７８は、遠隔制御装置３００からデータを受信した場合には、当該データを操作信号から取得された操作データとしてアプリケーション部２９０へ出力する。また、端末識別部２７８は、送信装置１００から重畳画像データなどを含むデータを受信した場合には、当該データをアプリケーションデータ分離部２７２へ出力する。
【０１３４】
かかる変形例によれば、受信装置２００は、遠隔制御装置３００から操作信号を受信した場合に、受信した操作信号から操作データを取得して送信装置１００へ中継することができる。即ち、送信装置１００と受信装置２００が互いに離れた場所に設置され、遠隔制御装置３００から操作信号を直接送信装置１００へ送信できない場合にも、ユーザは、受信装置２００に表示されたユーザインタフェース画像を見ながら送信装置１００を操作できる。
【０１３５】
また、他の変形例として、受信装置２００の復号部２７０又はアプリケーション部２９０は、通信エラーにより受信できなかったラインブロックの画面上の位置を特定し、その位置に応じて画像の復号又は表示の可否を判定してもよい。ラインブロックの画面上の位置は、図９に示したラインブロック番号などから識別することができる。
【０１３６】
＜４．まとめ＞
ここまで、図１〜図１３を用いて、本発明の一実施形態に係る通信システム１について説明した。本実施形態によれば、前述したように、受信装置２００の画面に表示される重畳画像データに所定の閾値を超えない程度の通信エラーが含まれている場合であっても、ユーザインタフェース画像をユーザに視認させることができる。また、多段階の周波数成分のうち予め設定された特定の周波数成分の重畳画像データの送受信に成功すれば、少なくともその周波数成分に対応する画質を有するユーザインタフェース画像が画面上に表示される。その結果、ネットワーク１０を介した送信装置１００から受信装置２００へのユーザインタフェースの提供におけるエラー耐性が高められると共に、ユーザの操作に対する即応性が向上する。
【０１３７】
また、本実施形態によれば、ユーザインタフェースを制御するための第１制御データがネットワーク上に送出されないため、ユーザインタフェースの仕様の複雑化による制御データの容量増大やプロトコルの複雑化によって通信効率が低下することも防がれる。
【０１３８】
さらに、ラインベース・コーデックを用いることで、画像の符号化及び復号、並びに送受信において扱われる一単位の情報量が少なくなり、高速処理やハードウェア規模の低減といったメリットも享受される。
【０１３９】
なお、重畳画像データは、ピクチャベースのコーデックにより符号化されてもよい。そうした場合にも、ユーザインタフェース画像はコンテンツ画像に重畳されて送受信されるため、ユーザインタフェースの制御のための第１制御データはネットワーク上に送出されない。それにより、一部のデータに通信エラーが発生しても、ユーザインタフェース画像をユーザに視認させることができる。
【０１４０】
また、本明細書において説明した一連の処理をハードウェアで実現するかソフトウェアで実現するかは問わない。一連の処理又はその一部をソフトウェアで実行させる場合には、ソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれたコンピュータ、又は例えば図１６に示した汎用コンピュータなどを用いて実行される。
【０１４１】
図１６において、ＣＰＵ（Central Processing Unit）９０２は、汎用コンピュータの動作全般を制御する。ＲＯＭ（Read Only Memory）９０４には、一連の処理の一部又は全部を記述したプログラム又はデータが格納される。ＲＡＭ（Random Access Memory）９０６には、処理の実行時にＣＰＵ９０２により用いられる実行プログラムや制御データなどが一時的に記憶される。
【０１４２】
ＣＰＵ９０２、ＲＯＭ９０４、及びＲＡＭ９０６は、バス９０８を介して相互に接続される。バス９０８にはさらに、入出力インタフェース９１０が接続される。入出力インタフェース９１０は、ＣＰＵ９０２、ＲＯＭ９０４、及びＲＡＭ９０６と、入力装置９１２、表示装置９１４、記憶装置９１６、通信装置９１８、及びドライブ９２０とを接続するためのインタフェースである。
【０１４３】
入力装置９１２は、例えばボタン、スイッチ、レバー、マウスやキーボードなどを介して、ユーザからの指示や情報入力を受け付ける。表示装置９１４は、前述したように、例えばＣＲＴ、ＰＤＰ、液晶ディスプレイ、ＯＬＥＤなどの画面を有し、ユーザにコンテンツ画像やユーザインタフェース画像を表示する。
【０１４４】
記憶装置９１６は、例えばＨＤＤ又は半導体メモリなどにより構成され、プログラムやプログラムデータ、コンテンツデータなどを記憶する。通信装置９１８は、有線又は無線によるネットワークを介する通信処理を行う。ドライブ９２０は、必要に応じて汎用コンピュータに設けられ、例えばドライブ９２０にはリムーバブルメディア９２２が装着される。
【０１４５】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【０１４６】
例えば、本実施形態では、通信回線として無線回線を使用する例について説明した。しかしながら、他の実施形態として、無線回線の代わりに有線回線が使用されてもよい。例えば、物理層Ｔｘ１４８、アンテナ部１５２、及び物理層Ｒｘ１５４などを好適な機能に置き換えることにより、上記ネットワーク１０と同様に、ＬＡＮ、ＷＡＮ、ＡＤＳＬ、電力線、ＬＶＤＳ接続回線、ＨＤＭＩ、又は無線ＬＡＮ（ＩＥＥＥ８０２．１１）、Ｂｌｕｅｔｏｏｔｈ、ＷｉＭａｘ、超広帯域無線などを用いた任意のネットワークを使用することができる。
【０１４７】
さらに、本実施形態では、ＴＣＰ又はＵＤＰ／ＲＴＰプロトコルの使用を前提として説明した。しかしながら、本発明は、かかる例に限定されず、画像データと制御データとを区別可能な任意のプロトコルに適用可能である。
【０１４８】
例えば、フローチャートを用いて説明した一実施形態に係る送信処理及び受信処理を、必ずしもフローチャートに記載された順序に沿って実行しなくてもよい。各処理ステップは、並列的あるいは個別に独立して実行される処理を含んでもよい。
【図面の簡単な説明】
【０１４９】
【図１】一実施形態に係る通信システムの概要を示す模式図である。
【図２】一実施形態に係る送信装置の構成の一例を示すブロック図である。
【図３】一実施形態に係るアプリケーション部の詳細な構成の一例を示すブロック図である。
【図４】一実施形態に係る圧縮部の詳細な構成の一例を示すブロック図である。
【図５】一実施形態に係る画像重畳処理について説明するための説明図である。
【図６】一実施形態に係る送信処理の流れの一例を示すフローチャートである。
【図７】一実施形態に係る受信装置の構成の一例を示すブロック図である。
【図８】一実施形態に係る復号部の詳細な構成の一例を示すブロック図である。
【図９】通信パケットの構成の一例を示す説明図である。
【図１０】一実施形態に係る受信処理の流れの一例を示すフローチャートである。
【図１１】一実施形態に係る同期処理の具体的な流れの一例を示すフローチャートである。
【図１２】変形例に係る復号部の構成の一例を示すブロック図である。
【図１３】ウェーブレット変換を行う符号化器の構成例を示すブロック図である。
【図１４】２次元画像を帯域分割して得られる周波数成分の一例を示す説明図である。
【図１５】ラインベース・ウェーブレット変換による変換処理を概念的に示した模式図である。
【図１６】汎用コンピュータの構成例を示すブロック図である。
【符号の説明】
【０１５０】
１ 無線通信システム
１００ 送信装置
１１０、２９０ アプリケーション部
１１２ アプリケーション
１１４ 共通インタフェース
１２０ 圧縮部
１２２ 画像重畳部
１２４ 制御送信準備部
１２６ 音声圧縮部
１２８ 画像圧縮部
１３０ 多重化部
１４０、２４０ 通信部
１４２、２４２ 送信データ生成部
１４４、２４４ 送受信制御部
１４６ 物理層制御部
１４８ 物理層Ｔｘ
１５０ スイッチ部
１５２ アンテナ部
１５４ 物理層Ｒｘ
１５６、２５６ 受信データ分離部
２００ 受信装置
２７０ 復号部
２７２ アプリケーションデータ分離部
２７４ 音声復号部
２７６ 画像復号部
２７８ 端末識別部
３００ 遠隔制御装置
【技術分野】
【０００１】
本発明は、送信装置、受信装置、通信システム、通信方法、及びプログラムに関する。
【背景技術】
【０００２】
近年、ネットワークを介して、画像データ（動画像データを含む）を転送する様々なアプリケーションやサービスが提案されている。ネットワークを介して画像データを送受信する場合には、送信側で符号化（圧縮）処理によりデータ量を減少させた上でネットワークに送出し、受信側で符号化された受信データを復号（伸長）処理して再生するのが一般的である。
【０００３】
例えば、画像圧縮処理の最も知られた手法として、ＭＰＥＧ（Moving Pictures Experts Group）と呼ばれる圧縮技術がある。ＭＰＥＧ圧縮技術を用いる場合には、ＭＰＥＧ圧縮技術により生成されたＭＰＥＧストリームが通信パケットに格納され、ネットワーク経由で配信される。また、ＭＰＥＧ４又はＪＰＥＧ２０００では、性能の異なる様々な受信端末に画像データが受信されることを想定し、送受信するデータの符号化を階層的に実行する階層符号化と呼ばれる技術が導入されている。さらに、画像の符号化と復号の際に生じる遅延時間を短縮するために、１ピクチャをＮ個のライン（Ｎは１以上）の集合に分割し、分割した集合（ラインブロックという）ごとに画像を符号化するラインベース・コーデックと呼ばれる圧縮技術も提案され始めている。
【０００４】
このような画像圧縮技術を応用したネットワーク経由での画像データの配信は、コンテンツプロバイダなどの事業者によるインターネットを介したユーザへの配信に限らず、オフィスや家庭内のＬＡＮ（Local Area Network）などの小規模ネットワーク上でも利用可能である。
【０００５】
家庭内の小規模ネットワークを用いた画像データ配信の利用形態としては、ＨＤＤ（Hard Disk Drive）やＢＤ（Blu-ray Disk（登録商標））などの大容量記憶装置に格納された画像データをネットワークに接続された表示装置に表示させる例が挙げられる。このような小規模ネットワークの利用は、例えばＤＬＮＡ（Digital Living Network Alliance）などによるデジタル機器間でのデータ交換の標準仕様の整備が進むことで、今後もその発展が見込まれる。
【０００６】
小規模ネットワークを用いて画像データを配信する場合、再生装置や表示装置をユーザが操作するためのユーザインタフェースの使い易さを向上させることも重要である。例えば、ＤＬＮＡガイドラインでは、ネットワークに接続された機器をサーチし、サーチの結果得られた利用可能なサービス内容の情報を相互連携してユーザに提示するための仕組みも検討されている。
【０００７】
また、画像データの配信に関連するユーザインタフェースの改善を目的とした技術開発の事例としては、例えば下記特許文献１が挙げられる。下記特許文献１では、無線通信端末へ画像データを配信する際に、ユーザインタフェースに関する制御データ（ユーザにより入力されたアイコン及びその位置情報など）を含む画像制御信号を受信端末へ送信する手法が提案されている。
【０００８】
【特許文献１】特開２００７−１３５１９５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、通信回線エラーが発生する環境において、ユーザインタフェースに関する制御データをネットワークを介して通信する場合、制御データの送受信の確実性とユーザの操作に対する即応性を共に高いレベルに維持することは困難である。通信エラーの発生を許容することでリアルタイムのデータ配信が実現される画像データとは異なり、制御データは、機器間で確実に送受信されることが求められるためである。例えば、ユーザインタフェースに関する制御データが欠落すると、表示装置はユーザインタフェースを正しく構成して表示することができず、ユーザは適切な操作を指示することができない。
【００１０】
これに対し、制御データの送受信の確実性を維持しようとすると、通信エラー発生時の再送頻度が高まり、ネットワークの帯域が圧迫され、またユーザの操作に対する即応性も損なわれる。こうした問題は、ユーザにとっての使い易さを向上させることを目的としたユーザインタフェースに関するプロトコルの複雑化とそれに伴う制御データの容量増大により、その影響が無視できないものとなっている。
【００１１】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ネットワークを介したユーザインタフェースの提供における通信エラーへの耐性を高めた、新規かつ改良された送信装置、受信装置、通信システム、通信方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【００１２】
上記課題を解決するために、本発明のある観点によれば、ユーザインタフェースの制御に用いられる第１制御データに基づいて生成したユーザインタフェース画像をコンテンツ画像に重畳して重畳画像データを生成する画像重畳部と、前記画像重畳部により生成された前記重畳画像データを１フィールド内のＮライン（Ｎは１以上）に相当する符号化単位で符号化する画像圧縮部と、前記画像圧縮部により符号化された前記重畳画像データを送信する通信部と、を備える送信装置が提供される。
【００１３】
また、前記送信装置は、前記画像圧縮部により符号化された前記重畳画像データに通信の制御に用いられる第２制御データを多重化する多重化部、をさらに備え、前記通信部は、前記多重化部により前記第２制御データと多重化された前記重畳画像データを送信してもよい。
【００１４】
また、前記通信部は、さらに前記重畳画像データを受信した他の装置により表示された前記ユーザインタフェース画像に関連して外部装置から送信される操作信号を受信してもよい。
【００１５】
上記課題を解決するために、本発明の別の観点によれば、ユーザインタフェースの制御に用いられる第１制御データに基づいて生成されたユーザインタフェース画像をコンテンツ画像に重畳して生成された重畳画像データであって、１フィールド内のＮライン（Ｎは１以上）に相当する符号化単位で符号化された前記重畳画像データを受信する通信部と、前記通信部により受信された前記重畳画像データを前記符号化単位で復号する画像復号部と、を備える受信装置が提供される。
【００１６】
また、前記受信装置は、前記画像復号部により前記重畳画像データが復号される前に、通信の制御に用いられる第２制御データを当該重畳画像データから分離する分離部、をさらに備えてもよい。
【００１７】
また、前記通信部は、受信した前記重畳画像データに含まれるエラーの割合を所定の閾値と比較し、エラーの割合が当該閾値よりも大きくない場合には前記重畳画像データを前記画像復号部に復号させてもよい。
【００１８】
また、前記通信部は、受信した前記重畳画像データに含まれるエラーの割合が所定の閾値よりも大きい場合に、エラー通知のための応答信号を前記重畳画像データの送信元の装置へ送信してもよい。
【００１９】
また、前記重畳画像データは、２種類以上の画質の低い低周波画像データと画質の高い高周波画像データとを含む階層符号化された画像データであり、前記画像復号部は、前記重畳画像データとして所定の周波数の低周波画像データが前記通信部により受信された場合には、より周波数の高い画像データが受信されたか否かによらず受信された前記重畳画像データを復号してもよい。
【００２０】
上記課題を解決するために、本発明の別の観点によれば、ユーザインタフェースの制御に用いられる第１制御データに基づいて生成したユーザインタフェース画像をコンテンツ画像に重畳して重畳画像データを生成する画像重畳部と、前記画像重畳部により生成された前記重畳画像データを符号化する画像圧縮部と、前記画像圧縮部により符号化された前記重畳画像データに通信の制御に用いられる第２制御データを多重化する多重化部と、前記多重化部により前記第２制御データと多重化された前記重畳画像データを送信する通信部と、を備える送信装置が提供される。
【００２１】
上記課題を解決するために、本発明の別の観点によれば、ユーザインタフェースの制御に用いられる第１制御データに基づいて生成されたユーザインタフェース画像をコンテンツ画像に重畳して生成された重畳画像データであって、通信の制御に用いられる第２制御データと多重化された前記重畳画像データを受信する通信部と、前記通信部により受信された前記重畳画像データから前記第２制御データを分離する分離部と、前記分離部により前記第２制御データが分離された前記重畳画像データを復号する画像復号部と、を備える受信装置が提供される。
【００２２】
上記課題を解決するために、本発明の別の観点によれば、ユーザインタフェースの制御に用いられる第１制御データに基づいて生成したユーザインタフェース画像をコンテンツ画像に重畳して重畳画像データを生成する画像重畳部、前記画像重畳部により生成された前記重畳画像データを１フィールド内のＮライン（Ｎは１以上）に相当する符号化単位で符号化する画像圧縮部、及び、前記画像圧縮部により符号化された前記重畳画像データを送信する送信側通信部、を備える送信装置と、前記送信装置により送信された前記重畳画像データを受信する受信側通信部、及び、前記受信側通信部により受信された前記重畳画像データを前記符号化単位で復号する画像復号部、を備える受信装置と、を含む通信システムが提供される。
【００２３】
上記課題を解決するために、本発明の別の観点によれば、送信装置において、ユーザインタフェースの制御に用いられる第１制御データに基づいて生成したユーザインタフェース画像をコンテンツ画像に重畳して重畳画像データを生成するステップと、生成された前記重畳画像データを１フィールド内のＮライン（Ｎは１以上）に相当する符号化単位で符号化するステップと、符号化された前記重畳画像データを送信装置から受信装置へ送信するステップと、受信装置において、前記送信装置により送信された前記重畳画像データを受信するステップと、受信された前記重畳画像データを前記符号化単位で復号するステップと、を含む通信方法が提供される。
【００２４】
上記課題を解決するために、本発明の別の観点によれば、送信装置を制御するコンピュータを、ユーザインタフェースの制御に用いられる第１制御データに基づいて生成したユーザインタフェース画像をコンテンツ画像に重畳して重畳画像データを生成する画像重畳部と、前記画像重畳部により生成された前記重畳画像データを１フィールド内のＮライン（Ｎは１以上）に相当する符号化単位で符号化する画像圧縮部と、前記画像圧縮部により符号化された前記重畳画像データを送信する通信部と、として機能させるためのプログラムが提供される。
【００２５】
上記課題を解決するために、本発明の別の観点によれば、受信装置を制御するコンピュータを、ユーザインタフェースの制御に用いられる第１制御データに基づいて生成されたユーザインタフェース画像をコンテンツ画像に重畳して生成された重畳画像データであって、１フィールド内のＮライン（Ｎは１以上）に相当する符号化単位で符号化された前記重畳画像データを受信する通信部と、前記通信部により受信された前記重畳画像データを前記符号化単位で復号する画像復号部と、として機能させるためのプログラムが提供される。
【発明の効果】
【００２６】
以上説明した本発明に係る送信装置、受信装置、通信システム、通信方法、及びプログラムによれば、ネットワークを介したユーザインタフェースの提供における通信エラーへの耐性を高めることができる。
【発明を実施するための最良の形態】
【００２７】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２８】
また、以下の順序にしたがって当該「発明を実施するための最良の形態」を説明する。
１．一実施形態に係る通信システムの概要
２．一実施形態に係る送信装置の説明
３．一実施形態に係る受信装置の説明
４．まとめ
【００２９】
＜１．一実施形態に係る通信システムの概要＞
まず、図１を参照して、本発明の一実施形態に係る通信システム１の概要について説明する。
【００３０】
図１は、本発明の一実施形態に係る通信システム１の概要を示す模式図である。図１を参照すると、通信システム１は、ネットワーク１０、送信装置１００、受信装置２００、及び遠隔制御装置３００を含む。
【００３１】
図１において、ネットワーク１０は、ＬＡＮ、ＷＡＮ、ＡＤＳＬ、電力線、ＬＶＤＳ接続回線、ＨＤＭＩ、無線ＬＡＮ（ＩＥＥＥ８０２．１１）、Ｂｌｕｅｔｏｏｔｈ、ＷｉＭａｘ、又は超広帯域無線（ＵＷＢ）などを用いた任意のネットワークである。ネットワーク１０は、例えば、送信装置１００と受信装置２０とを接続するホームネットワークとしての役割を果たす。ネットワーク１０が有線であるか無線であるかは問わない。
【００３２】
送信装置１００は、典型的には、映像コンテンツなどの画像データを記憶しているＨＤＤレコーダやＢＤレコーダなどの記録再生装置として構成される。その代わりに、送信装置１００は、例えば、放送される番組を受信して中継するチューナ、又は撮像素子を用いて撮影された画像データを出力する撮像装置などであってもよい。送信装置１００は、例えば、画像データを内蔵する記録媒体から読み出し、外部から受信し、又は撮影した後、当該画像データを圧縮して受信装置２００へ送信する。なお、本明細書において、圧縮とは、例えばＣｈａｎｎｅｌＣｏｄｅｃのような符号化も含むものとする。また、送信装置１００は、ユーザによる操作を受け付けるためのユーザインタフェースを、受信装置２００の画面を介してユーザに提供する。
【００３３】
受信装置２００は、例えばＣＲＴ（Cathode Ray Tube）やＰＤＰ（Plasma Display Panel）、液晶ディスプレイ、又はＯＬＥＤ（Organic Light Emitting Diode）などを用いた表示装置として構成される。受信装置２００は、例えば、送信装置１００から送信された画像データをネットワーク１０を介して受信し、当該画像データを復号して得られたコンテンツ画像を画面に表示する。また、受信装置２００は、送信装置１００又は受信装置２００をユーザに操作させるためのユーザインタフェース画像（例えばメニューやアイコンを含む画像）２０２を画面に表示する。
【００３４】
遠隔制御装置３００は、送信装置１００又は受信装置２００を操作するための操作信号を、ユーザからの指示に応じて、例えば赤外線信号又は無線信号として出力する。遠隔制御装置３００から操作信号が出力されると、当該操作信号は、例えば受信装置２００により検知される。そして、受信装置２００は、操作の内容を伝える操作データをネットワーク１０を介して送信装置１００へ送信する。その代わりに、遠隔制御装置３００から出力された操作信号は、例えば離れた場所に位置する送信装置１００により直接検知されてもよい。
【００３５】
このような通信システム１の構成により、例えば、ユーザが、家庭内の任意の場所に設置された受信装置２００を用いて離れた場所ある送信装置１００にアクセスし、送信装置１００の保持するコンテンツを楽しむといった利用形態が可能となる。しかし、この場合、例えば周囲の環境から生じるノイズ（マルチパス、ゲインロス、瞬断といった一時的に回線が不安定になる状態を引き起こす要因）や一時的な通信の輻輳などを原因として、ネットワーク１０上で通信エラーが発生し得る。その際、画像データについては、例えばＵＤＰ（User Datagram Protocol）及びＲＴＰ（Real-time Transport Protocol）などのプロトコルに従い、通信エラーによるデータの欠損等に関わらずリアルタイム性を維持したデータ配信が継続される。これに対し、仮にユーザインタフェースを制御するための制御データを単独でネットワーク１０上に送出することとすると、例えばＴＣＰ（Transmission Control Protocol）などによるデータ再送の結果、通信は遅延し、ユーザによる操作の即応性は損なわれる。そこで、次節より詳しく説明する本発明の一実施形態では、ユーザインタフェースを制御するための制御データに基づいて生成されるユーザインタフェース画像を予めコンテンツ画像に重畳することで、当該制御データの送信／再送の必要性を排除する。
【００３６】
＜２．一実施形態に係る送信装置の説明＞
図２は、本実施形態に係る送信装置１００の構成の一例を示すブロック図である。図２を参照すると、送信装置１００は、アプリケーション部１１０、圧縮部１２０、及び通信部１４０を備える。
【００３７】
［アプリケーション部１１０］
アプリケーション部１１０は、ユーザによる操作に応じて所定の画像データを取得して圧縮部１２０へ供給する。また、アプリケーション部１１０は、各アプリケーションをユーザに操作させるためのユーザインタフェースの制御に用いられる第１制御データ、及び通信の制御に用いられる第２制御データを、圧縮部１２０へ供給する。
【００３８】
アプリケーション部１１０は、図３に例示するように、例えば、個々のアプリケーション１１２ａ〜１１２ｎと共通インタフェース（共通ＩＦ）１１４とにより構成されてもよい。
【００３９】
図３の例において、アプリケーション１１２ａ〜１１２ｎは、例えば、送信装置１００上で動作するコンテンツ再生用アプリケーション、放送番組受信用アプリケーション、又は映像撮影用アプリケーションなどの任意のアプリケーションであってよい。アプリケーション１１２ａ〜１１２ｎは、例えばユーザからの要求に応じて、それぞれ所定の画像データ及び音声データを取得し、取得したデータを圧縮部１２０へ出力する。また、アプリケーション１１２ａ〜１１２ｎは、前述した第１制御データ及び第２制御データの出力と操作データの取得を、共通インタフェース１１４を介して実行する。
【００４０】
共通インタフェース１１４は、送信装置１００がユーザに提供するユーザインタフェースを共通的に管理するインタフェースである。共通インタフェース１１４は、例えば、ＸＭＢ（Xross Media Bar）などの独自ユーザインタフェースやＤＬＮＡのＵＩ等の標準化された仕様に従って動作するミドルウェアなどであってもよい。
【００４１】
共通インタフェース１１４は、例えば、ユーザインタフェースの制御に用いられる第１制御データを生成して圧縮部１２０へ出力する。第１制御データには、例えばユーザが選択可能なメニューの一覧や各メニューに対応するアイコンの識別子、画面上にアイコンを表示すべき位置など、ユーザインタフェースの表示に関連する任意の制御データを含むことができる。また、共通インタフェース１１４は、アプリケーションレベルでの通信の制御に用いられる第２制御データを圧縮部１２０へ出力する。
【００４２】
さらに、共通インタフェース１１４は、例えば図１に示した遠隔制御装置３００から出力され又は受信装置２００により中継された操作データが入力されると、当該操作データに応じた動作をアプリケーション１１２ａ〜１１２ｎのいずれかに指示する。また、共通インタフェース１１４は、後に説明するように、重畳画像データに関するエラーが通知されると、前述した第１制御データを圧縮部１２０へ再度出力してもよい
【００４３】
［圧縮部１２０］
図２に戻り、本実施形態に係る送信装置１００の構成の説明を継続する。
【００４４】
圧縮部１２０は、アプリケーション部１１０から画像データと第１制御データが供給されると、ユーザインタフェース画像をコンテンツ画像に重畳した重畳画像データを生成して符号化する。また、圧縮部１２０は、その重畳画像データに、アプリケーション部１１０から供給された第２制御データや符号化した音声データを多重化する。なお、本実施形態において、コンテンツ画像とは、アプリケーション部１１０から供給される画像データにより表現される任意の画像であってよい。
【００４５】
図４は、圧縮部１２０のより詳細な構成の一例を示すブロック図である。
【００４６】
図４の例において、圧縮部１２０は、画像重畳部１２２、制御送信準備部１２４、音声圧縮部１２６、画像圧縮部１２８、及び多重化部１３０を含む。
【００４７】
画像重畳部１２２は、ユーザインタフェースの制御に用いられる第１制御データに基づいて生成したユーザインタフェース画像をコンテンツ画像に重畳し、重畳画像データを生成する。
【００４８】
図５は、画像重畳部１２２による画像重畳処理について説明するための説明図である。図５では、画像Ｉ１、画像Ｉ２、及び画像Ｉ３の３枚の画像が示されている。このうち、画像Ｉ１は、アプリケーション部１１０から供給された画像データの内容を表示するコンテンツ画像である。一方、画像Ｉ２は、アプリケーション部１１０から供給された第１制御データに含まれるメニューの一覧などのデータに基づいて生成されるユーザインタフェース画像である。図５の例では、ユーザインタフェース画像Ｉ２には、“Ｍｅｎｕ１”から“Ｍｅｎｕ４”までの４つのメニュー文字列及びそれらに対応するアイコンの組が表示されている。画像重畳部１２２は、このようなコンテンツ画像Ｉ１にユーザインタフェース画像Ｉ２を重畳し、重畳画像データＩ３を生成する。
【００４９】
図５の例では、画像重畳部１２２はユーザインタフェース画像Ｉ２を透過させてコンテンツ画像Ｉ１と重ね合わせているが、画像重畳部１２２による画像の重畳はかかる例に限定されない。例えば、画像重畳部１２２は、ユーザインタフェース画像Ｉ２を透過させることなくコンテンツ画像Ｉ１に重ね合わせてもよい。また、画像重畳部１２２は、コンテンツ画像Ｉ１とユーザインタフェース画像Ｉ２とを重ね合わせることなく、任意の方向に並べて配置してもよい。さらに、画像重畳部１２２は、重畳画像データにユーザインタフェース画像Ｉ２のみを表示してもよい。本明細書において、画像の重畳とは、送信データストリームにユーザインタフェース画像を任意の形式で挿入することを意味する。
【００５０】
図４に戻り、制御送信準備部１２４は、アプリケーション部１１０から供給された第２制御データを一時的に保持し、後述する多重化部１３０へ出力する。
【００５１】
音声圧縮部１２６は、アプリケーション部１１０から供給された音声データを、ＰＣＭ、ＡＤＰＣＭ、ＭＰ３、ＷＭＡ、ＡＡＣ、ＡＴＲＡＣ３ｐｌｕｓ、ＡＴＲＡＣ３などの任意の音声符号化方式に従って圧縮する。なお、通信システム１において送信装置１００から配信される画像データには、必ずしも音声データが伴っていなくてもよい。即ち、送信装置１００の構成において、音声圧縮部１２６は省略されてもよい。
【００５２】
画像圧縮部１２８は、画像重畳部１２２により生成された前述の重畳画像データを、１フィールド内のＮライン（Ｎは１以上）に相当する符号化単位で符号化する。即ち、画像圧縮部１２８は、Ｎ≧１である場合には、画像重畳部１２２により生成された前述の重畳画像データを、ラインベース・コーデックに従って圧縮する。
【００５３】
以下、図１３〜図１５を用いて、ラインベース・コーデックの一例としてのラインベース・ウェーブレット変換の仕組みについて説明する。
【００５４】
ラインベース・ウェーブレット変換とは、原画像のベースバンド信号の１ラインをスキャンするごとに横方向のウェーブレット変換を行い、一定数のラインを読み込むごとに縦方向のウェーブレット変換を行うコーデック技術である。
【００５５】
図１３は、ウェーブレット変換を実行する符号化器８００の構成例を示すブロック図である。図１３に示した符号化器８００は、最も一般的なウェーブレット変換であるオクターブ分割を３階層（３つのレベル）にわたって実行し、階層符号化された画像データを生成する。
【００５６】
図１３を参照すると、符号化器８００は、レベル１の回路部８１０、レベル２の回路部８２０、及びレベル３の回路部８３０を備える。また、レベル１の回路部８１０は、ローパスフィルタ８１２、ダウンサンプラ８１４、ハイパスフィルタ８１６、及びダウンサンプラ８１８を有している。レベル２の回路部８２０は、ローパスフィルタ８２２、ダウンサンプラ８２４、ハイパスフィルタ８２６、及びダウンサンプラ８２８を有している。レベル３の回路部８３０は、ローパスフィルタ８３２、ダウンサンプラ８３４、ハイパスフィルタ８３６、及びダウンサンプラ８３８を有している。
【００５７】
入力画像信号は、回路部８１０のローパスフィルタ８１２（伝達関数Ｈ０（ｚ））とハイパスフィルタ８１６（伝達関数Ｈ１（ｚ））によって帯域分割される。帯域分割によって得られた低域成分（１Ｌ成分）と高域成分（１Ｈ成分）は、それぞれ対応するダウンサンプラ８１４、８１８によって、解像度がそれぞれ２分の１倍に間引かれる。
【００５８】
ダウンサンプラ８１４で間引かれた低域成分（１Ｌ成分）の信号は、回路部８２０のローパスフィルタ８２２（伝達関数Ｈ０（ｚ））とハイパスフィルタ８２６（伝達関数Ｈ１（ｚ））によってさらに帯域分割される。帯域分割により得られた低域成分（２Ｌ成分）と高域成分（２Ｈ成分）は、それぞれ対応するダウンサンプラ８２４、８２８によって、解像度がそれぞれ２分の１倍に間引かれる。
【００５９】
さらに、ダウンサンプラ８２４で間引かれた低域成分（２Ｌ成分）の信号は、回路部８３０のローパスフィルタ８３２（伝達関数Ｈ０（ｚ））とハイパスフィルタ８３６（伝達関数Ｈ１（ｚ））によってさらに帯域分割される。帯域分割により得られた低域成分（３Ｌ成分）と高域成分（３Ｈ成分）は、それぞれ対応するダウンサンプラ８３４、８３８によって、解像度がそれぞれ２分の１倍に間引かれる。
【００６０】
このように、所定のレベルまで低域成分を階層的に帯域分割した周波数成分が順次生成される。図１３の例では、レベル３まで帯域分割した結果、ダウンサンプラ８１８で間引かれた高域成分（１Ｈ成分）、ダウンサンプラ８２８で間引かれた高域成分（２Ｈ成分）、ダウンサンプラ８３８で間引かれた高域成分（３Ｈ成分）、ダウンサンプラ８３４で間引かれた低域成分（３Ｌ成分）が生成される。
【００６１】
図１４は、レベル３まで２次元画像を帯域分割した結果得られる周波数成分を示す図である。図１４の例では、まずレベル１の帯域分割（水平・垂直方向）により４つの成分１ＬＬ、１ＬＨ、１ＨＬ、１ＨＨの各副画像が取得される。ここでＬＬは水平・垂直成分が共にＬであることを意味し、ＬＨは水平成分がＨで垂直成分がＬであることを意味している。次に、１ＬＬ成分は再度帯域分割されて、２ＬＬ、２ＨＬ、２ＬＨ、２ＨＨの各副画像が取得される。さらに、２ＬＬ成分は再度帯域分割されて、３ＬＬ、３ＨＬ、３ＬＨ、３ＨＨの各副画像が取得される。
【００６２】
このようにウェーブレット変換が繰り返し行われた結果、出力信号においては、副画像が階層構造を形成する。こうしたウェーブレット変換をさらにラインベースに拡張したのが、ラインベース・ウェーブレット変換である。
【００６３】
図１５は、ラインベース・ウェーブレット変換による変換処理を概念的に示した模式図である。ここでは、一例として、ベースバンドの８ラインごとに縦方向のウェーブレット変換を行うこととしている。
【００６４】
この場合、ウェーブレット変換を３階層で行うとすると、その８ラインに対して、最低域３ＬＬ副画像に１ライン、その次のレベルのサブバンド３Ｈ（副画像３ＨＬ、３ＬＨ、３ＨＨ）に各１ラインが生成される。また、さらに次のレベルのサブバンド２Ｈ（副画像２ＨＬ、２ＬＨ、２ＨＨ）に各２ライン、さらに最高域１Ｈ（副画像１ＨＬ、１ＬＨ、１ＨＨ）に各４ラインの符号化データが生成される。
【００６５】
なお、この各サブバンドのラインの集合をプレシンクトと称する。即ち、ラインベース・ウェーブレット変換におけるプレシンクトは、ラインの集合であるラインブロックの一形態として、ラインベース・ウェーブレット変換の符号化単位となるラインの集合である。なお、本明細書において、符号化単位とは、一般的に符号化処理の単位となるラインの集合を意味する。即ち、符号化単位とは、ラインベース・ウェーブレット変換におけるプレシンクトに限定されず、例えば、ＪＰＥＧ２００やＭＰＥＧ４のような既存の階層符号化における符号化処理の単位であってもよい。
【００６６】
図１５を参照すると、図１５の左側に示されるベースバンド信号８０２において８ラインであったプレシンクト（図中斜線部分）は、図３の右側に示されるように、ラインベース・ウェーブレット変換された変換後信号８０４の１Ｈにおいて、１ＨＬ、１ＬＨ、および１ＨＨのそれぞれの４ライン（図中斜線部分）、２Ｈにおいて、２ＨＬ、２ＬＨ、および２ＨＨのそれぞれの２ライン（図中斜線部分）、３ＬＬ、３ＨＬ、３ＨＬ、および３ＨＨのそれぞれの１ライン（図中斜線部分）として構成されている。
【００６７】
このようなラインベース・ウェーブレット変換処理によれば、ＪＰＥＧ２０００のタイル分割と同様、１枚のピクチャをより細かい粒度に分解して処理を行うことが可能となり、画像データの送受信時の低遅延化を図ることができる。さらに、ラインベース・ウェーブレット変換の場合、ＪＰＥＧ２０００のタイル分割とは異なり、１つのベースバンド信号に対する分割ではなくウェーブレット係数での分割であるため、タイル境界でのブロックノイズ的な画質劣化が発生しないという特徴も有する。
【００６８】
ここまで、ラインベース・コーデックの一例としての、ラインベース・ウェーブレット変換について説明した。なお、図４に示した画像圧縮部１２８による圧縮処理は、ラインベース・ウェーブレット変換に限定されない。画像圧縮部１２８は、例えば、ＪＰＥＧ２０００やＭＰＥＧ４のような既存の階層符号化など、任意のラインベース・コーデックに適用可能である。
【００６９】
図４に戻り、多重化部１３０は、画像圧縮部１２８により符号化された重畳画像データを、制御送信準備部１２４から出力される第２制御データ及び音声圧縮部１２６から出力される符号化された音声データと多重化する。そして、多重化部１３０は、多重化された重畳画像データを、通信部１４０へ出力する。
【００７０】
さらに図２に戻り、本実施形態に係る送信装置１００の構成の説明を継続する。
【００７１】
［通信部１４０］
通信部１４０は、送信データ生成部１４２、送受信制御部１４４、物理層制御部１４６、物理層Ｔｘ１４８、スイッチ部１５０、アンテナ部１５２、物理層Ｒｘ１５４、及び受信データ分離部１５６を含む。
【００７２】
送信データ生成部１４２は、圧縮部１２０から出力された重畳画像データを含む通信パケットを生成する。例えば、ＴＣＰ若しくはＵＤＰ、又はＩＰプロトコルに基づく通信を行う場合には、送信データ生成部１４２は、重畳画像データにＴＣＰヘッダ又はＵＤＰヘッダ及び端末識別情報（例えば、イーサネット（登録商標）のＭＡＣアドレスやＩＰアドレス）を付加してＩＰパケットを生成する。
【００７３】
送受信制御部１４４は、例えば、ＴＤＭＡ（Time Division Multiple Access）方式、ＣＳＭＡ（Carrier Sense Multiple Access）方式、又はＦＤＭＡ(Frequency Division Multiple Access)方式でのＭＡＣ（Media Access Control）層の制御を行う。また、送受信制御部１４４は、キャリアではなくプリアンブルの相関からパケットを識別するＰＳＭＡ（Preamble Sense Multiple Access）に基づくＭＡＣ層の制御を行ってもよい。
【００７４】
物理層制御部１４６は、送受信制御部１４４又は送信データ生成部１４２からの指示に基づいて物理層を制御する。物理層Ｔｘ１４８は、物理層制御部１４６の要求に基づいて動作を開始し、送信データ生成部１４２から供給された通信パケットをスイッチ部１５０に出力する。
【００７５】
スイッチ部１５０は、データの送信と受信とを切り替える機能を有する。例えば、スイッチ部１５０は、物理層Ｔｘ１４８から通信パケットが供給されてきた場合、通信パケットをアンテナ部１５２を介して送信する。また、アンテナ部１５２を介して通信パケットが受信された場合、スイッチ部１５０は、受信されたパケットを物理層Ｒｘ１５４に供給する。
【００７６】
物理層Ｒｘ１５４は、物理層制御部１４６の要求に基づいて動作を開始し、受信パケットを受信データ分離部１５６に供給する。
【００７７】
受信データ分離部１５６は、物理層Ｒｘ１５４から供給された受信パケットを解析し、アプリケーション部１１０に受け渡すべきデータを分離してアプリケーション部１１０へ出力する。例えば、受信データ分離部１５６は、受信パケットに含まれるＴＣＰ又はＵＤＰヘッダのポート番号を参照し、アプリケーション部１１０に受け渡すべきデータを識別してもよい。
【００７８】
ここで、通信システム１において、送信装置１００が受信する可能性のあるデータは主に２種類存在する。そのうち、第１のデータは、受信装置２００により表示されたユーザインタフェース画像を見たユーザからの指示を受けて遠隔制御装置３００から出力される操作データである。また、第２のデータは、受信装置２００が重畳画像データのエラーを検出した際に応答するエラー関連統計データである。
【００７９】
操作データは、遠隔制御装置３００から出力される操作信号に含まれる。送信装置１００の通信部１４０は、遠隔制御装置３００から直接、又は受信装置２００により中継された当該操作信号を受信する。そして、通知部１４０により操作信号から分離された操作データは、アプリケーション部１１０へ入力される。なお、操作信号が例えば赤外線信号として遠隔制御装置３００から出力される場合には、図２に示した通知部１４０の外部に設けられる赤外線インタフェース（図示せず）が当該操作信号を受信し、操作データをアプリケーション部１１０へ出力してもよい。
【００８０】
一方、エラー関連統計データは、受信装置２００から送信される応答信号に含まれる。送信装置１００の通信部１４０は、受信装置２００から応答信号を受信すると、当該応答信号からエラー関連統計データを分離してアプリケーション部１１０へ入力する。それにより、アプリケーション部１１０は、例えば、ユーザインタフェースを制御するための第１制御データを圧縮部１２０へ再度出力してもよい。
【００８１】
［処理フローの一例］
次に、図６は、図２〜図５を用いて説明した送信装置１００による重畳画像データの送信処理の流れの一例を示すフローチャートである。
【００８２】
図６を参照すると、まず、アプリケーション部１１０により、受信装置１００に表示させるコンテンツ画像の画像データが、圧縮部１２０へ出力される（Ｓ１０２）。このとき、必要に応じて音声データも圧縮部１２０へ出力される。
【００８３】
次に、アプリケーション部１１０により、第１制御データ又は第２制御データが圧縮部１２０へ出力される（Ｓ１０４）。
【００８４】
その後、圧縮部１２０において、アプリケーション部１１０から出力された制御データが第１制御データか否かが判定される（Ｓ１０６）。ここで、制御データが第１制御データである場合には、処理はＳ１０８へ進む。一方、制御データが第１制御データでなければ、処理はＳ１１２へ進む。
【００８５】
Ｓ１０８では、圧縮部１２０の画像重畳部１２２により、アプリケーション部１１０から入力された画像データ及び第１制御データを用いて、コンテンツ画像にユーザインタフェース画像を重畳させた重畳画像データが生成される（Ｓ１０８）。
【００８６】
次に、画像圧縮部１２８により、重畳画像データが、１フィールド内のＮライン（Ｎは１以上）に相当する符号化単位で符号化される（Ｓ１１０）。
【００８７】
次に、多重化部１３０により、画像圧縮部１２８において圧縮された重畳画像データにアプリケーション部１１０から入力された第２制御データが多重化される（Ｓ１１２）。このとき、必要に応じて音声圧縮部１２６において圧縮された音声データも合わせて多重化される。
【００８８】
その後、通信部１４０により、多重化後の重畳画像データを含む通信パケットが生成され、ネットワーク１０を介して受信装置２００へ送信される（Ｓ１１４）。
【００８９】
ここまで、図２〜図６を用いて、本実施形態に係る送信装置１００について説明した。次に、かかる送信装置１００から送信される重畳画像データを受信する受信装置２００の構成について説明する。
【００９０】
＜３．一実施形態に係る受信装置の説明＞
図７は、本実施形態に係る受信装置２００の構成の一例を示すブロック図である。図７を参照すると、受信装置２００は、通信部２４０、復号部２７０、及びアプリケーション部２９０を備える。
【００９１】
［通信部２４０］
通信部２４０は、送信データ生成部２４２、送受信制御部２４４、物理層制御部１４６、物理層Ｔｘ１４８、スイッチ部１５０、アンテナ部１５２、物理層Ｒｘ１５４、及び受信データ分離部２５６を含む。
【００９２】
送信データ生成部２４２は、送受信制御部２４４の要求に基づいて、送信装置１００へ送信すべきデータを読み出して送信パケットを生成する。例えば、送信データ生成部２４２は、ＩＰパケットを生成して物理層Ｔｘ１４８へ出力する。
【００９３】
送受信制御部２４４は、送信装置１００の送受信制御部１４４と同様、ＭＡＣ層の制御を行う。また、送受信制御部２４４は、例えば後述する受信データ分離部２５６により検出される重畳画像データのエラーの割合を予め定義される所定の閾値と比較し、エラーの割合が大きい場合には、エラーの発生を通知するエラー関連統計データを含む応答信号を送信装置１００へ送信させる。重畳画像データに含まれるエラーの検出については、後にさらに説明する。
【００９４】
受信データ分離部２５６は、物理層Ｒｘ１５４から供給された受信パケットを解析し、復号部２７０に受け渡すべきデータを分離して復号部２７０へ出力する。例えば、ＩＰプロトコルに基づく通信を行う場合には、受信データ分離部２５６は、受信パケットに含まれる宛先ＩＰアドレス及び宛先ポート番号を参照し、復号部２７０に受け渡すべきデータを識別することができる。
【００９５】
［復号部２７０］
復号部２７０は、例えば、受信データ分離部２５６から出力される重畳画像データを１フィールド内のＮライン（Ｎは１以上）の単位で復号した後、復号後の重畳画像データをアプリケーション部２９０へ出力する。
【００９６】
図８は、復号部２７０のより詳細な構成の一例を示すブロック図である。図８を参照すると、復号部２７０は、アプリケーションデータ分離部２７２、音声復号部２７４、及び画像復号部２７６を含む。
【００９７】
アプリケーションデータ分離部２７２は、受信データ分離部２５６から入力されたデータのアプリケーションヘッダを参照してメディアの種類を判定し、データを分配する。例えば、アプリケーションデータ分離部２７２は、入力されたデータが符号化された音声データであれば、当該音声データを音声復号部２７４へ出力する。また、アプリケーションデータ分離部２７２は、入力されたデータが符号化された重畳画像データであれば、当該重畳画像データを画像復号部２７６へ出力する。また、アプリケーションデータ分離部２７２は、入力されたデータが第２制御データであれば、当該第２制御データをアプリケーション部２９０へ出力する。
【００９８】
なお、ピクチャベースのコーデックと比較すると、ラインベース・コーデックでは、画像データの受信及び復号の制御に使用できる時間は短い。そこで、アプリケーションデータ分離部２７２は、安定して同期された状態で重畳画像データを復号するために、受信データ分離部２５６から入力された重畳画像データを一時的に蓄積し、所定の同期タイミングを判定して画像復号部２７６へ出力する。このようなアプリケーションデータ分離部２７２による同期処理については、後に図１１を用いてさらに説明する。
【００９９】
音声復号部２７４は、アプリケーションデータ分離部２７２から入力された音声データを、ＰＣＭ、ＡＤＰＣＭ、ＭＰ３、ＷＭＡ、ＡＡＣ、ＡＴＲＡＣ３ｐｌｕｓ、ＡＴＲＡＣ３などの任意の音声符号化方式に従って復号する。音声復号部２７４により復号された音声データは、アプリケーション部２９０へ出力される。なお、音声復号部２７４は、送信装置１００の音声圧縮部１２６と同様、受信装置２００において省略されてもよい。
【０１００】
画像復号部２７６は、アプリケーションデータ分離部２７２から入力された重畳画像データを、１フィールド内のＮラインに相当する符号化単位で復号する。画像復号部２７６により復号された重畳画像データは、アプリケーション部２９０へ出力される。
【０１０１】
［アプリケーション部２９０］
図７に戻り、受信装置２００の構成の説明を継続する。
【０１０２】
アプリケーション部２９０は、復号部２７０から供給される復号済みの重畳画像データを再生する。それにより、重畳画像データに含まれるコンテンツ画像に重畳されたユーザインタフェース画像が、受信装置２００の画面に表示される。また、アプリケーション部２９０は、復号部２７０から供給される復号済みの音声データをスピーカなどの音声出力装置を用いて再生する。
【０１０３】
かかる受信装置２００の構成において注目すべき点は、復号部２７０の画像復号部２７６において復号された重畳画像データを、さらにコンテンツ画像の画像データとユーザインタフェース画像用の第１制御データとに分離する必要がないことである。仮に通信エラーが発生した場合、重畳画像データの一部にエラーが含まれている可能性はある。しかし、その場合でも、ユーザインタフェース画像がコンテンツ画像に重畳されているため、エラーの割合が一定量を超えていなければ、受信装置２００において表示された画像に映るユーザインタフェース画像をユーザは認識することができる。その結果、部分的なエラーの発生によらず、例えばＵＤＰ及びＲＴＰなどのリアルタイム性を重視したプロトコルに従って、ユーザインタフェースを即応的にユーザに提供できる。
【０１０４】
［エラーの検出］
受信装置２００における重畳画像データのエラーの検出は、例えば、図７に示した物理層Ｒｘ１５４又は受信データ分離部２５６などにより行い得る。例えば、物理層Ｒｘ１５４では、巡回冗長検査、リードソロモン符号、ゴールド符号、又はビタビアルゴリズムなどの公知の手法を用いて、受信パケットに含まれるビットやシンボルのエラーを検出することができる。また、例えば、受信データ分離部２５６では、ＲＴＰヘッダなどに含まれるシーケンス番号の抜けなどからパケットのロスを検出することができる。また、無線通信における位相のずれや信号強度のばらつきから通信エラーを検出してもよい。
【０１０５】
このように検出された重畳画像データのエラーは、例えば、送受信制御部２４４に通知され、エラーの割合が算出される。そして、送受信制御部２４４は、例えば予め定義された所定の閾値と算出されたエラーの割合とを比較する。ここでエラーの割合が予め定義された閾値よりも大きい場合、即ち重畳画像データを復号して表示してもユーザインタフェース画像をユーザが正しく認識できない場合には、送受信制御部２４４は、エラーを通知する応答信号を送信装置１００へ送信する。また、エラーの割合が上記閾値よりも大きくない場合、即ちユーザインタフェース画像をユーザが認識できると判断される場合には、送受信制御部２４４は、重畳画像データの復号処理を継続させる。
【０１０６】
なお、ここでは送受信制御部２４４によりエラーの割合の閾値判定を行う例について説明したが、その代わりに復号部２７０又はアプリケーション部２９０が当該閾値判定を行ってもよい。
【０１０７】
［通信パケットの構成例］
図９は、本実施形態において受信装置２００が受信する可能性のある通信パケットの一例としての、ＵＤＰ／ＩＰパケットの構成を示している。
【０１０８】
図９では、１つのＩＰパケットの内部構成が（Ａ）〜（Ｄ）の４段階に分けて示されている。図９（Ａ）を参照すると、ＩＰパケットは、ＩＰヘッダ及びＩＰデータから構成される。ＩＰヘッダには、例えば宛先ＩＰアドレスなどのＩＰプロトコルに基づく通信経路の制御に関する制御情報が含まれる。
【０１０９】
次に、図９（Ｂ）を参照すると、ＩＰデータは、さらにＵＤＰヘッダ及びＵＤＰデータから構成されている。ＵＤＰヘッダには、例えばアプリケーション識別情報である宛先ポート番号などが含まれる。
【０１１０】
次に、図９（Ｃ）を参照すると、ＵＤＰデータは、さらにＲＴＰヘッダ及びＲＴＰデータから構成されている。ＲＴＰヘッダには、例えばデータストリームの順序性を保証するシーケンス番号などの制御情報が含まれる。
【０１１１】
次に、図９（Ｄ）を参照すると、ＲＴＰデータは、画像データのヘッダ（画像ヘッダ）、及びラインベース・コーデックに基づいて符号化された重畳画像データから構成されている。画像ヘッダには、例えばピクチャ番号やラインブロック番号（１ライン単位で符号化を行う場合にはライン番号）、サブバンド番号などが含まれる。なお、画像ヘッダは、ピクチャごとに付与されるピクチャヘッダと、ラインブロックごとに付与されるラインブロックヘッダにさらに分けて構成されてもよい。
【０１１２】
［処理フローの一例］
次に、図１０は、図７〜図９を用いて説明した受信装置２００による重畳画像データの受信処理の流れの一例を示すフローチャートである。
【０１１３】
図１０を参照すると、まず、通信部２４０により、送信装置１００から送信された通信パケットが受信される（Ｓ２０２）。
【０１１４】
次いで、例えば通信部２４０の通信制御部２４４により、通信経路上で発生したエラーの割合が所定の閾値よりも大きいか否かが判定される（Ｓ２０４）。ここでエラーの割合が所定の閾値よりも大きい場合には、処理はＳ２０６へ進む。
【０１１５】
Ｓ２０６では、受信装置２００から送信装置１００へ、エラーの発生を通知する応答信号が送信される（Ｓ２０６）。それにより、送信装置１００は、通信環境が悪化してサービス提供に支障が出ていることを認識することができる。
【０１１６】
一方、Ｓ２０４において、通信経路上で発生したエラーの割合が所定の閾値よりも小さい場合には、処理はＳ２０８へ進む。Ｓ２０８では、受信した通信パケットに含まれるデータが重畳画像データであるか否かが判定される（Ｓ２０８）。ここで、受信した通信パケットに含まれるデータが重畳画像データでなければ、処理はＳ２１０へ進む。
【０１１７】
Ｓ２１０では、重畳画像データ以外のデータ、例えば音声データが、復号部２７０の音声復号部２７４により復号される（Ｓ２１０）。音声復号部２７４により復号された音声データは、アプリケーション部２９０へ出力さる。また、本ステップでは、例えば第２制御データが、復号部２７０のアプリケーションデータ分離部２７２からアプリケーション部２９０へ出力される。
【０１１８】
一方、Ｓ２０８において、受信した通信パケットに含まれるデータが重畳画像データであれば、アプリケーションデータ分離部２７２により、重畳画像データの復号開始時点の同期処理が行われる（Ｓ２１２）。
【０１１９】
図１１は、アプリケーションデータ分離部２７２による同期処理のより具体的な流れの一例を示すフローチャートである。
【０１２０】
図１１を参照すると、まず、アプリケーションデータ分離部２７２へ入力された重畳画像データのヘッダ（例えば図９に示した画像ヘッダ）が検出され、ラインブロック番号などからピクチャの先頭が認識される（Ｓ３０２）。
【０１２１】
次に、アプリケーションデータ分離部２７２は、ピクチャの先頭を認識すると、タイマーを起動して時間を計測し、復号開始時点の到来を待受ける（Ｓ３０４）。なお、ここでの復号開始時点までの待ち時間は、例えば、符号化単位ごとのデータ量の変動や通信経路のジッタの影響等による遅延を吸収できる時間として予め設定される。但し、ユーザインタフェースの応答性を高めるためには、復号開始時点までの待ち時間は、可能な限り短い時間とするのが好適である。
【０１２２】
その後、復号開始時点に到達すると、アプリケーションデータ分離部２７２は、符号化単位でのデータ転送時間の計測を開始する（Ｓ３０６）。ここで、符号化単位でのデータ転送時間とは、１つの符号化単位の重畳画像データを表示するために費やすことのできる時間を意味する。一例として、１０８０／６０ｐ（画面サイズ２２００ｘ１１２５、６０ｆｐｓのプログレッシブ方式）の映像を復号する場合、１ラインの表示に費やせる時間は、ブランク時間を加算すると約１４．８［μｓ］、ブランク時間を加算しないと約１５．４［μｓ］となる。符号化単位がＮライン分のラインブロックであった場合には、符号化単位でのデータ転送時間は、前述の１ラインの表示に費やせる時間のＮ倍となる。
【０１２３】
さらに、アプリケーションデータ分離部２７２は、特定の周波数成分の重畳画像データの受信がその時点で完了しているか否を判定する（Ｓ３０８）。本ステップにおける特定の周波数成分とは、例えば、ユーザに表示されるべき最低限の画質を有する周波数成分として予め設定される。当該特定の周波数成分は、重畳画像データに含まれる最も周波数の低い成分であってもよく、又は画像の種類に応じて設定されるいずれかの周波数成分であってもよい。ここで特定の周波数成分の重畳画像データの受信が完了していない場合には、処理はＳ３１０へ進む。一方、特定の周波数成分の重畳画像データの受信が完了していた場合には、処理はＳ３１２へ進む。
【０１２４】
処理がＳ３１０へ進んだ場合、最低限表示されるべき周波数成分（特定の周波数成分）の重畳画像データがデータの遅延やエラーにより受信されなかったと考えられる。その場合、当該データの受信を待つと同期タイミングがずれて画像の表示が遅延するため、受信できなかったライン（又はラインブロック）へダミーデータが挿入される（Ｓ３１０）。例えば、ここで受信した周波数成分までをそのまま使用し、受信できなかった周波数成分のみについてダミーデータを挿入してもよい。ここで挿入されるダミーデータとしては、例えば１ピクチャ前（又はそれ以前）の同一ライン（又はラインブロック）の重畳画像データ、又は固定の画像データや、動き保証などにより予測したデータなどであってよい。
【０１２５】
一方、Ｓ３１２では、特定の周波数成分を含む重畳画像データが、アプリケーションデータ分離部２７２から画像復号部２７６へ転送される（Ｓ３１２）。重畳画像データの転送は、符号化単位でのデータ転送時間が終了するまで継続される（Ｓ３１４）。そして、符号化単位でのデータ転送時間が終了すると、処理はＳ３１６へ進む。
【０１２６】
Ｓ３１６では、その時点で転送されていない復号対象の重畳画像データが残っているかどうかが判定される（Ｓ３１６）。ここで、転送されていない復号対象の重畳画像データが残っていれば、その重畳画像データは削除される（Ｓ３１８）。
【０１２７】
その後、ピクチャ内の全てのラインの処理が終了したか否かが判定される（Ｓ３２０）。ここで、処理の終了していないラインが残っていれば、処理はＳ３０６へ戻り、符号化単位でのデータ転送時間の計測と重畳画像データの画像復号部２７６への転送が繰り返される。一方、全てのラインの処理が終了すると、１ピクチャ分の重畳画像データを復号するための同期処理は終了する。
【０１２８】
図１０に戻り、重畳画像データの受信処理の流れの説明を継続する。
【０１２９】
アプリケーションデータ分離部２７２による同期処理の結果として画像復号部２７６へ転送された重畳画像データは、画像復号部２７６により符号化単位で順次復号される（Ｓ２１４）。ここで、復号された重畳画像データは、画像復号部２７６からアプリケーション部２９０へ出力される。なお、一度Ｓ３２０までの処理を終了した後、次にピクチャの先頭を示すヘッダを検出した場合には、復号開始時刻を計測せずに一度目の同期タイミングを流用してもよい。
【０１３０】
そして、アプリケーション部２９０は、復号された重畳画像データを受信装置２００の画面に表示する（Ｓ２１６）。その結果、ユーザは、送信装置１００又は受信装置２００を操作するためのユーザインタフェース画像を画面上で見ることができる。
【０１３１】
ここまで、図１０及び図１１を用いて、本実施形態に係る受信装置２００により実行される重畳画像データの受信処理について説明した。ここでの説明から理解されるように、受信装置２００の表示装置に表示される重畳画像データに所定の閾値を超えない程度の通信エラーが含まれている場合であっても、ユーザインタフェース画像をユーザに視認させることができる。また、本実施形態でが、多段階の周波数成分のうち予め設定された特定の周波数成分の重畳画像データの送受信に成功すれば、他の周波数成分が失われた場合でも、少なくともその特定の周波数成分に対応する画質を有するユーザインタフェース画像が表示される。
【０１３２】
［変形例の説明］
なお、本実施形態の変形例として、図１２に示すように受信装置２００の復号部２７０を構成することも可能である。図１２を参照すると、受信装置２００の復号部２７０は、図８に示したアプリケーションデータ分離部２７２、音声復号部２７４、及び画像復号部２７６に加えて、端末識別部２７８を含む。
【０１３３】
端末識別部２７８は、通信部２４０から入力されたアプリケーションデータの送信元の端末を例えばパケットのＩＰヘッダを参照して識別し、識別結果に応じてデータを分配する。例えば、端末識別部２７８は、遠隔制御装置３００からデータを受信した場合には、当該データを操作信号から取得された操作データとしてアプリケーション部２９０へ出力する。また、端末識別部２７８は、送信装置１００から重畳画像データなどを含むデータを受信した場合には、当該データをアプリケーションデータ分離部２７２へ出力する。
【０１３４】
かかる変形例によれば、受信装置２００は、遠隔制御装置３００から操作信号を受信した場合に、受信した操作信号から操作データを取得して送信装置１００へ中継することができる。即ち、送信装置１００と受信装置２００が互いに離れた場所に設置され、遠隔制御装置３００から操作信号を直接送信装置１００へ送信できない場合にも、ユーザは、受信装置２００に表示されたユーザインタフェース画像を見ながら送信装置１００を操作できる。
【０１３５】
また、他の変形例として、受信装置２００の復号部２７０又はアプリケーション部２９０は、通信エラーにより受信できなかったラインブロックの画面上の位置を特定し、その位置に応じて画像の復号又は表示の可否を判定してもよい。ラインブロックの画面上の位置は、図９に示したラインブロック番号などから識別することができる。
【０１３６】
＜４．まとめ＞
ここまで、図１〜図１３を用いて、本発明の一実施形態に係る通信システム１について説明した。本実施形態によれば、前述したように、受信装置２００の画面に表示される重畳画像データに所定の閾値を超えない程度の通信エラーが含まれている場合であっても、ユーザインタフェース画像をユーザに視認させることができる。また、多段階の周波数成分のうち予め設定された特定の周波数成分の重畳画像データの送受信に成功すれば、少なくともその周波数成分に対応する画質を有するユーザインタフェース画像が画面上に表示される。その結果、ネットワーク１０を介した送信装置１００から受信装置２００へのユーザインタフェースの提供におけるエラー耐性が高められると共に、ユーザの操作に対する即応性が向上する。
【０１３７】
また、本実施形態によれば、ユーザインタフェースを制御するための第１制御データがネットワーク上に送出されないため、ユーザインタフェースの仕様の複雑化による制御データの容量増大やプロトコルの複雑化によって通信効率が低下することも防がれる。
【０１３８】
さらに、ラインベース・コーデックを用いることで、画像の符号化及び復号、並びに送受信において扱われる一単位の情報量が少なくなり、高速処理やハードウェア規模の低減といったメリットも享受される。
【０１３９】
なお、重畳画像データは、ピクチャベースのコーデックにより符号化されてもよい。そうした場合にも、ユーザインタフェース画像はコンテンツ画像に重畳されて送受信されるため、ユーザインタフェースの制御のための第１制御データはネットワーク上に送出されない。それにより、一部のデータに通信エラーが発生しても、ユーザインタフェース画像をユーザに視認させることができる。
【０１４０】
また、本明細書において説明した一連の処理をハードウェアで実現するかソフトウェアで実現するかは問わない。一連の処理又はその一部をソフトウェアで実行させる場合には、ソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれたコンピュータ、又は例えば図１６に示した汎用コンピュータなどを用いて実行される。
【０１４１】
図１６において、ＣＰＵ（Central Processing Unit）９０２は、汎用コンピュータの動作全般を制御する。ＲＯＭ（Read Only Memory）９０４には、一連の処理の一部又は全部を記述したプログラム又はデータが格納される。ＲＡＭ（Random Access Memory）９０６には、処理の実行時にＣＰＵ９０２により用いられる実行プログラムや制御データなどが一時的に記憶される。
【０１４２】
ＣＰＵ９０２、ＲＯＭ９０４、及びＲＡＭ９０６は、バス９０８を介して相互に接続される。バス９０８にはさらに、入出力インタフェース９１０が接続される。入出力インタフェース９１０は、ＣＰＵ９０２、ＲＯＭ９０４、及びＲＡＭ９０６と、入力装置９１２、表示装置９１４、記憶装置９１６、通信装置９１８、及びドライブ９２０とを接続するためのインタフェースである。
【０１４３】
入力装置９１２は、例えばボタン、スイッチ、レバー、マウスやキーボードなどを介して、ユーザからの指示や情報入力を受け付ける。表示装置９１４は、前述したように、例えばＣＲＴ、ＰＤＰ、液晶ディスプレイ、ＯＬＥＤなどの画面を有し、ユーザにコンテンツ画像やユーザインタフェース画像を表示する。
【０１４４】
記憶装置９１６は、例えばＨＤＤ又は半導体メモリなどにより構成され、プログラムやプログラムデータ、コンテンツデータなどを記憶する。通信装置９１８は、有線又は無線によるネットワークを介する通信処理を行う。ドライブ９２０は、必要に応じて汎用コンピュータに設けられ、例えばドライブ９２０にはリムーバブルメディア９２２が装着される。
【０１４５】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【０１４６】
例えば、本実施形態では、通信回線として無線回線を使用する例について説明した。しかしながら、他の実施形態として、無線回線の代わりに有線回線が使用されてもよい。例えば、物理層Ｔｘ１４８、アンテナ部１５２、及び物理層Ｒｘ１５４などを好適な機能に置き換えることにより、上記ネットワーク１０と同様に、ＬＡＮ、ＷＡＮ、ＡＤＳＬ、電力線、ＬＶＤＳ接続回線、ＨＤＭＩ、又は無線ＬＡＮ（ＩＥＥＥ８０２．１１）、Ｂｌｕｅｔｏｏｔｈ、ＷｉＭａｘ、超広帯域無線などを用いた任意のネットワークを使用することができる。
【０１４７】
さらに、本実施形態では、ＴＣＰ又はＵＤＰ／ＲＴＰプロトコルの使用を前提として説明した。しかしながら、本発明は、かかる例に限定されず、画像データと制御データとを区別可能な任意のプロトコルに適用可能である。
【０１４８】
例えば、フローチャートを用いて説明した一実施形態に係る送信処理及び受信処理を、必ずしもフローチャートに記載された順序に沿って実行しなくてもよい。各処理ステップは、並列的あるいは個別に独立して実行される処理を含んでもよい。
【図面の簡単な説明】
【０１４９】
【図１】一実施形態に係る通信システムの概要を示す模式図である。
【図２】一実施形態に係る送信装置の構成の一例を示すブロック図である。
【図３】一実施形態に係るアプリケーション部の詳細な構成の一例を示すブロック図である。
【図４】一実施形態に係る圧縮部の詳細な構成の一例を示すブロック図である。
【図５】一実施形態に係る画像重畳処理について説明するための説明図である。
【図６】一実施形態に係る送信処理の流れの一例を示すフローチャートである。
【図７】一実施形態に係る受信装置の構成の一例を示すブロック図である。
【図８】一実施形態に係る復号部の詳細な構成の一例を示すブロック図である。
【図９】通信パケットの構成の一例を示す説明図である。
【図１０】一実施形態に係る受信処理の流れの一例を示すフローチャートである。
【図１１】一実施形態に係る同期処理の具体的な流れの一例を示すフローチャートである。
【図１２】変形例に係る復号部の構成の一例を示すブロック図である。
【図１３】ウェーブレット変換を行う符号化器の構成例を示すブロック図である。
【図１４】２次元画像を帯域分割して得られる周波数成分の一例を示す説明図である。
【図１５】ラインベース・ウェーブレット変換による変換処理を概念的に示した模式図である。
【図１６】汎用コンピュータの構成例を示すブロック図である。
【符号の説明】
【０１５０】
１ 無線通信システム
１００ 送信装置
１１０、２９０ アプリケーション部
１１２ アプリケーション
１１４ 共通インタフェース
１２０ 圧縮部
１２２ 画像重畳部
１２４ 制御送信準備部
１２６ 音声圧縮部
１２８ 画像圧縮部
１３０ 多重化部
１４０、２４０ 通信部
１４２、２４２ 送信データ生成部
１４４、２４４ 送受信制御部
１４６ 物理層制御部
１４８ 物理層Ｔｘ
１５０ スイッチ部
１５２ アンテナ部
１５４ 物理層Ｒｘ
１５６、２５６ 受信データ分離部
２００ 受信装置
２７０ 復号部
２７２ アプリケーションデータ分離部
２７４ 音声復号部
２７６ 画像復号部
２７８ 端末識別部
３００ 遠隔制御装置
【特許請求の範囲】
【請求項１】
ユーザインタフェースの制御に用いられる第１制御データに基づいて生成したユーザインタフェース画像をコンテンツ画像に重畳して重畳画像データを生成する画像重畳部と；
前記画像重畳部により生成された前記重畳画像データを１フィールド内のＮライン（Ｎは１以上）に相当する符号化単位で符号化する画像圧縮部と；
前記画像圧縮部により符号化された前記重畳画像データを送信する通信部と；
を備える送信装置。
【請求項２】
前記送信装置は、前記画像圧縮部により符号化された前記重畳画像データに通信の制御に用いられる第２制御データを多重化する多重化部、をさらに備え、
前記通信部は、前記多重化部により前記第２制御データと多重化された前記重畳画像データを送信する、
請求項１に記載の送信装置。
【請求項３】
前記通信部は、さらに前記重畳画像データを受信した他の装置により表示された前記ユーザインタフェース画像に関連して外部装置から送信される操作信号を受信する、請求項１又は請求項２のいずれかに記載の送信装置。
【請求項４】
ユーザインタフェースの制御に用いられる第１制御データに基づいて生成されたユーザインタフェース画像をコンテンツ画像に重畳して生成された重畳画像データであって、１フィールド内のＮライン（Ｎは１以上）に相当する符号化単位で符号化された前記重畳画像データを受信する通信部と；
前記通信部により受信された前記重畳画像データを前記符号化単位で復号する画像復号部と；
を備える受信装置。
【請求項５】
前記受信装置は、前記画像復号部により前記重畳画像データが復号される前に、通信の制御に用いられる第２制御データを当該重畳画像データから分離する分離部、をさらに備える、請求項４に記載の受信装置。
【請求項６】
前記通信部は、受信した前記重畳画像データに含まれるエラーの割合を所定の閾値と比較し、エラーの割合が当該閾値よりも大きくない場合には前記重畳画像データを前記画像復号部に復号させる、請求項４に記載の受信装置。
【請求項７】
前記通信部は、受信した前記重畳画像データに含まれるエラーの割合が所定の閾値よりも大きい場合に、エラー通知のための応答信号を前記重畳画像データの送信元の装置へ送信する、請求項６に記載の受信装置。
【請求項８】
前記重畳画像データは、２種類以上の画質の低い低周波画像データと画質の高い高周波画像データとを含む階層符号化された画像データであり、
前記画像復号部は、前記重畳画像データとして所定の周波数の低周波画像データが前記通信部により受信された場合には、より周波数の高い画像データが受信されたか否かによらず受信された前記重畳画像データを復号する、請求項４に記載の受信装置。
【請求項９】
ユーザインタフェースの制御に用いられる第１制御データに基づいて生成したユーザインタフェース画像をコンテンツ画像に重畳して重畳画像データを生成する画像重畳部と；
前記画像重畳部により生成された前記重畳画像データを符号化する画像圧縮部と；
前記画像圧縮部により符号化された前記重畳画像データに通信の制御に用いられる第２制御データを多重化する多重化部と；
前記多重化部により前記第２制御データと多重化された前記重畳画像データを送信する通信部と；
を備える送信装置。
【請求項１０】
ユーザインタフェースの制御に用いられる第１制御データに基づいて生成されたユーザインタフェース画像をコンテンツ画像に重畳して生成された重畳画像データであって、通信の制御に用いられる第２制御データと多重化された前記重畳画像データを受信する通信部と；
前記通信部により受信された前記重畳画像データから前記第２制御データを分離する分離部と；
前記分離部により前記第２制御データが分離された前記重畳画像データを復号する画像復号部と；
を備える受信装置。
【請求項１１】
ユーザインタフェースの制御に用いられる第１制御データに基づいて生成したユーザインタフェース画像をコンテンツ画像に重畳して重畳画像データを生成する画像重畳部、
前記画像重畳部により生成された前記重畳画像データを１フィールド内のＮライン（Ｎは１以上）に相当する符号化単位で符号化する画像圧縮部、
及び、前記画像圧縮部により符号化された前記重畳画像データを送信する送信側通信部、
を備える送信装置と；
前記送信装置により送信された前記重畳画像データを受信する受信側通信部、
及び、前記受信側通信部により受信された前記重畳画像データを前記符号化単位で復号する画像復号部、
を備える受信装置と；
を含む通信システム。
【請求項１２】
送信装置において、ユーザインタフェースの制御に用いられる第１制御データに基づいて生成したユーザインタフェース画像をコンテンツ画像に重畳して重畳画像データを生成するステップと；
生成された前記重畳画像データを１フィールド内のＮライン（Ｎは１以上）に相当する符号化単位で符号化するステップと；
符号化された前記重畳画像データを送信装置から受信装置へ送信するステップと；
受信装置において、前記送信装置により送信された前記重畳画像データを受信するステップと；
受信された前記重畳画像データを前記符号化単位で復号するステップと；
を含む通信方法。
【請求項１３】
送信装置を制御するコンピュータを：
ユーザインタフェースの制御に用いられる第１制御データに基づいて生成したユーザインタフェース画像をコンテンツ画像に重畳して重畳画像データを生成する画像重畳部と；
前記画像重畳部により生成された前記重畳画像データを１フィールド内のＮライン（Ｎは１以上）に相当する符号化単位で符号化する画像圧縮部と；
前記画像圧縮部により符号化された前記重畳画像データを送信する通信部と；
として機能させるための、プログラム。
【請求項１４】
受信装置を制御するコンピュータを：
ユーザインタフェースの制御に用いられる第１制御データに基づいて生成されたユーザインタフェース画像をコンテンツ画像に重畳して生成された重畳画像データであって、１フィールド内のＮライン（Ｎは１以上）に相当する符号化単位で符号化された前記重畳画像データを受信する通信部と；
前記通信部により受信された前記重畳画像データを前記符号化単位で復号する画像復号部と；
として機能させるための、プログラム。
【請求項１】
ユーザインタフェースの制御に用いられる第１制御データに基づいて生成したユーザインタフェース画像をコンテンツ画像に重畳して重畳画像データを生成する画像重畳部と；
前記画像重畳部により生成された前記重畳画像データを１フィールド内のＮライン（Ｎは１以上）に相当する符号化単位で符号化する画像圧縮部と；
前記画像圧縮部により符号化された前記重畳画像データを送信する通信部と；
を備える送信装置。
【請求項２】
前記送信装置は、前記画像圧縮部により符号化された前記重畳画像データに通信の制御に用いられる第２制御データを多重化する多重化部、をさらに備え、
前記通信部は、前記多重化部により前記第２制御データと多重化された前記重畳画像データを送信する、
請求項１に記載の送信装置。
【請求項３】
前記通信部は、さらに前記重畳画像データを受信した他の装置により表示された前記ユーザインタフェース画像に関連して外部装置から送信される操作信号を受信する、請求項１又は請求項２のいずれかに記載の送信装置。
【請求項４】
ユーザインタフェースの制御に用いられる第１制御データに基づいて生成されたユーザインタフェース画像をコンテンツ画像に重畳して生成された重畳画像データであって、１フィールド内のＮライン（Ｎは１以上）に相当する符号化単位で符号化された前記重畳画像データを受信する通信部と；
前記通信部により受信された前記重畳画像データを前記符号化単位で復号する画像復号部と；
を備える受信装置。
【請求項５】
前記受信装置は、前記画像復号部により前記重畳画像データが復号される前に、通信の制御に用いられる第２制御データを当該重畳画像データから分離する分離部、をさらに備える、請求項４に記載の受信装置。
【請求項６】
前記通信部は、受信した前記重畳画像データに含まれるエラーの割合を所定の閾値と比較し、エラーの割合が当該閾値よりも大きくない場合には前記重畳画像データを前記画像復号部に復号させる、請求項４に記載の受信装置。
【請求項７】
前記通信部は、受信した前記重畳画像データに含まれるエラーの割合が所定の閾値よりも大きい場合に、エラー通知のための応答信号を前記重畳画像データの送信元の装置へ送信する、請求項６に記載の受信装置。
【請求項８】
前記重畳画像データは、２種類以上の画質の低い低周波画像データと画質の高い高周波画像データとを含む階層符号化された画像データであり、
前記画像復号部は、前記重畳画像データとして所定の周波数の低周波画像データが前記通信部により受信された場合には、より周波数の高い画像データが受信されたか否かによらず受信された前記重畳画像データを復号する、請求項４に記載の受信装置。
【請求項９】
ユーザインタフェースの制御に用いられる第１制御データに基づいて生成したユーザインタフェース画像をコンテンツ画像に重畳して重畳画像データを生成する画像重畳部と；
前記画像重畳部により生成された前記重畳画像データを符号化する画像圧縮部と；
前記画像圧縮部により符号化された前記重畳画像データに通信の制御に用いられる第２制御データを多重化する多重化部と；
前記多重化部により前記第２制御データと多重化された前記重畳画像データを送信する通信部と；
を備える送信装置。
【請求項１０】
ユーザインタフェースの制御に用いられる第１制御データに基づいて生成されたユーザインタフェース画像をコンテンツ画像に重畳して生成された重畳画像データであって、通信の制御に用いられる第２制御データと多重化された前記重畳画像データを受信する通信部と；
前記通信部により受信された前記重畳画像データから前記第２制御データを分離する分離部と；
前記分離部により前記第２制御データが分離された前記重畳画像データを復号する画像復号部と；
を備える受信装置。
【請求項１１】
ユーザインタフェースの制御に用いられる第１制御データに基づいて生成したユーザインタフェース画像をコンテンツ画像に重畳して重畳画像データを生成する画像重畳部、
前記画像重畳部により生成された前記重畳画像データを１フィールド内のＮライン（Ｎは１以上）に相当する符号化単位で符号化する画像圧縮部、
及び、前記画像圧縮部により符号化された前記重畳画像データを送信する送信側通信部、
を備える送信装置と；
前記送信装置により送信された前記重畳画像データを受信する受信側通信部、
及び、前記受信側通信部により受信された前記重畳画像データを前記符号化単位で復号する画像復号部、
を備える受信装置と；
を含む通信システム。
【請求項１２】
送信装置において、ユーザインタフェースの制御に用いられる第１制御データに基づいて生成したユーザインタフェース画像をコンテンツ画像に重畳して重畳画像データを生成するステップと；
生成された前記重畳画像データを１フィールド内のＮライン（Ｎは１以上）に相当する符号化単位で符号化するステップと；
符号化された前記重畳画像データを送信装置から受信装置へ送信するステップと；
受信装置において、前記送信装置により送信された前記重畳画像データを受信するステップと；
受信された前記重畳画像データを前記符号化単位で復号するステップと；
を含む通信方法。
【請求項１３】
送信装置を制御するコンピュータを：
ユーザインタフェースの制御に用いられる第１制御データに基づいて生成したユーザインタフェース画像をコンテンツ画像に重畳して重畳画像データを生成する画像重畳部と；
前記画像重畳部により生成された前記重畳画像データを１フィールド内のＮライン（Ｎは１以上）に相当する符号化単位で符号化する画像圧縮部と；
前記画像圧縮部により符号化された前記重畳画像データを送信する通信部と；
として機能させるための、プログラム。
【請求項１４】
受信装置を制御するコンピュータを：
ユーザインタフェースの制御に用いられる第１制御データに基づいて生成されたユーザインタフェース画像をコンテンツ画像に重畳して生成された重畳画像データであって、１フィールド内のＮライン（Ｎは１以上）に相当する符号化単位で符号化された前記重畳画像データを受信する通信部と；
前記通信部により受信された前記重畳画像データを前記符号化単位で復号する画像復号部と；
として機能させるための、プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１０−１４１５６８（Ｐ２０１０−１４１５６８Ａ）
【公開日】平成２２年６月２４日（２０１０．６．２４）
【国際特許分類】
【出願番号】特願２００８−３１５６１５（Ｐ２００８−３１５６１５）
【出願日】平成２０年１２月１１日（２００８．１２．１１）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕｅｔｏｏｔｈ
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２２年６月２４日（２０１０．６．２４）
【国際特許分類】
【出願日】平成２０年１２月１１日（２００８．１２．１１）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕｅｔｏｏｔｈ
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]