説明

表示制御装置及びその制御方法

【課題】スケーラブル符号化映像データから、映像コンテンツの重要領域を設定することが可能な表示制御装置及びその制御方法を提供する。
【解決手段】スケーラブル符号化映像データが有する、各レイヤの映像の空間解像度の情報を判別する。そして、複数のレイヤの映像の空間解像度を同一にした際に、各レイヤの映像が表現する同一映像コンテンツ内の領域のうち、最小の領域を、重要領域として設定する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、スケーラブル符号化映像データを受信可能な表示制御装置及びその制御方法に関する。
【背景技術】
【0002】
近年、デジタルテレビ放送の開始により、映像コンテンツに加えて様々な情報が配信されている。例えば、テレビ受像機のような放送受信機は、映像コンテンツとともに、データ放送や番組表(EPG(Electronic Program Guide))等の情報を受信可能であり、視聴者の入力を受け、受信した情報を画面内の所定の表示領域に表示する。放送受信機の中には、番組表の表示中に、番組表で選択されている放送局の配信映像を、通常の表示領域より小さい領域に子画面として表示するものがあり、視聴者の選局を容易にしている。
【0003】
しかしながら、配信されている映像の全体を子画面の大きさに合わせて縮小して表示すると、映像の内容がわかりづらくなる可能性がある。これに対し、映像の全体ではなく、映像の一部領域を映像から動的に切出して子画面表示に用いる方式が提案されている。特許文献1には、表示領域の解像度が映像コンテンツの解像度よりも低い場合に、映像コンテンツとともに配信されるメタデータで定義された時空間領域を含むように映像を表示領域の解像度に合わせて切出して表示する技術が開示されている。また特許文献2には、子画面表示時に表示させたい領域を指定する情報を映像コンテンツに含めることにより、子画面表示時には指定された領域を含む領域を表示領域の解像度に合わせて切出して表示する技術が開示されている。
【0004】
一方、近年、H.264/SVC(Scalable Video Coding)のような、スケーラブル映像符号化技術の標準化が検討されている。スケーラブル映像符号化技術によれば、1つの映像コンテンツの同一領域を異なる解像度で符号化することで、復号装置において複数の解像度のいずれかで選択的に復号することが可能となる。例えば、H.264/AVC(Advanced Video Coding)の拡張符号化方式であるH.264・SVCは、符号化された異なる解像度の映像を複数のレイヤとして有する。例えば、H.264/SVCでは、ベースレイヤ(低解像度、低フレームレート、低S/N比など低品質に符号化されたデータ)に、エンハンスレイヤ(高解像度、高フレームレート、高S/N比など高品質のデータ)を積み重ねていく構成をとる。即ち、低解像度の映像を復号するためにはベースレイヤを復号し、高解像度の映像を復号するためにはベースレイヤの復号に加え、必要なエンハンスレイヤを復号することにより、用途に応じた解像度の映像を復号することが可能となる。このように、スケーラブル符号化映像データは、一部のレイヤを用いて低品質な映像を復号したり、複数のレイヤを用いて高品質な映像を復号したりする空間スケーラビリティの実現を可能とする。
【0005】
また、H.264/SVCでは、レイヤ毎に映像の領域を異なせることが可能である。このような場合は、下位レイヤと上位レイヤとで映像の領域が一致していないことがあるため、H.264/SVC符号化された映像コンテンツ(H.264/SVCコンテンツ)は、各レイヤ間で共通する領域の相対的な位置関係の情報を有する。具体的には、下位レイヤと上位レイヤに共通する領域の相対的な位置関係の情報は、シーケンス全体の符号化に関わる情報が記述されているシーケンス・パラメータ・セットや、スライスの符号化に関わる情報が記述されているスライス・ヘッダで定義される。なお、シーケンスとはH.264/SVCにおける1回のデータ送出の単位であり、例えばシーケンス・パラメータ・セットやスライス・ヘッダに加え、映像の1フレームを符号化した複数のレイヤのデータが含まれる。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2004−172671号公報
【特許文献2】特開2005−316007号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、従来、H.264/SVCコンテンツのようなスケーラブル符号化映像データを子画面表示する際などに、特許文献1や特許文献2に記載されるような一部領域を優先的に表示させるための方法は知られていなかった。
本発明は、上述の問題点に鑑みてなされたものであり、スケーラブル符号化映像データから、例えば優先的に表示を行うために用いることのできる重要領域を設定することが可能な表示制御装置及びその制御方法を提供する。
【課題を解決するための手段】
【0008】
前述の目的を達成するために、本発明の映像再生装置は、以下の構成を備える。
複数の符号化レイヤから構成され、複数の符号化レイヤを選択的に復号することにより、同一映像コンテンツに係る、異なる空間解像度を有する復号映像を得ることが可能なスケーラブル符号化映像データであって、複数の符号化レイヤの各々の復号映像が、同一映像コンテンツ内の一部又は全ての領域を表現するスケーラブル符号化映像データを受信する受信手段と、スケーラブル符号化映像データから、複数の符号化レイヤの各符号化レイヤが表現する映像の空間解像度を判別する判別手段と、各符号化レイヤが表現する映像の空間解像度を同一にした場合の、各符号化レイヤが表現する映像コンテンツ内の領域の大きさを判別し、最小の領域を、映像コンテンツの重要領域として設定する設定手段とを備えることを特徴とする。
【発明の効果】
【0009】
このような構成により、本発明によれば、スケーラブル符号化映像データから、重要領域を設定することが可能になる。
【図面の簡単な説明】
【0010】
【図1】実施形態に係るセットトップボックスの機能構成を示すブロック図。
【図2】実施形態1のレイヤ情報テーブル生成処理のフローチャート。
【図3】実施形態に係るレイヤ情報テーブルの構成例を示した図。
【図4】実施形態1のレイヤ情報テーブルの例を示した図。
【図5】実施形態1の表示制御処理のフローチャート。
【図6】実施形態に係る切出し領域判定処理のフローチャート。
【図7】図4のレイヤ情報テーブルの例における、復号レイヤ及び切出し領域の判定結果を示した図。
【図8】実施形態2のレイヤ情報テーブル生成処理のフローチャート。
【図9】実施形態2のレイヤ情報テーブルの例を示した図。
【図10】実施形態2の表示制御処理のフローチャート。
【発明を実施するための形態】
【0011】
(実施形態1)
以下、本発明の好適な一実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、表示制御装置の一例としての、H.264/SVCコンテンツを再生可能なセットトップボックスに、本発明を適用した例を説明する。しかし、本発明は、スケーラブル符号化映像データを再生することが可能な任意の機器に適用可能である。
【0012】
図1は、本発明の実施形態に係るセットトップボックス100の機能構成を示すブロック図である。なお、セットトップボックス100の各ブロックの動作は、不図示のCPUが、例えば不図示のROMに記憶されている、セットトップボックス100の各ブロックの動作プログラムを、不図示のRAMに展開し実行することにより実現するものとして説明する。
【0013】
赤外線信号受光部101は、視聴者がリモートコントローラを操作することにより発信された赤外線信号を受信し、受信した赤外線信号を解析し、視聴者によってなされた操作を判断し、CPUに伝送する。視聴者によってなされる操作には、例えば電源のON/OFFや、視聴チャンネル変更、EPG画面表示等がある。例えば視聴チャンネル変更の要求を受信した場合は、CPUは変更する視聴チャンネルの情報をROMに記憶するとともに、赤外線信号受光部101に視聴チャンネルの情報を選局部102に出力させる。また、例えばEPG画面表示の要求を受信した場合は、CPUは画面表示形態の情報をROMに記憶するとともに、赤外線信号受光部101に画面表示形態の情報を、描画処理部109に出力させる。
【0014】
選局部102は、赤外線信号受光部101から受信した視聴チャンネルの情報をSIデータ情報管理部107に出力する。また選局部102は、SIデータ情報管理部107から視聴チャンネルに対応した3桁番号を受信し、得られた3桁番号に対応した周波数の情報をチューナ部103に出力する。チューナ部103は、選局部102から受信した周波数の情報に従い、放送波信号から視聴チャンネルの信号を分離してデマックス部104に出力する。なお、セットトップボックス100の起動時は、CPUは例えばROMに記憶されている、前回終了時の視聴チャンネルの情報に従って、初期受信チャンネルを決定すればよい。デマックス部104は、チューナ部103から受信した放送波信号を、映像符号化データ、音声符号化データ、及びSIデータとに分離し、それぞれのデータを映像復号部105、音声復号部106、及びSIデータ情報管理部107に出力する。なお、映像符号化データはH.264/SVC規格の1シーケンスであり、Picture Parameter Set(PPS)やSequence Parameter Set(SPS)等のヘッダ情報を有する。さらに、H.264/SVC規格の1シーケンスは、複数の符号化レイヤ(レイヤ)で構成される映像データを有する。またSIデータには、EPGやデータ放送の情報や、配信チャンネルの周波数情報、映像データが有する複数のレイヤの表示優先度等の情報を有する。
【0015】
映像復号部105は、デマックス部104より受信した映像符号化データのうち、例えばPPSに含まれるレイヤ情報を復号し、得られたレイヤ情報をレイヤ情報管理部111に出力する。レイヤ情報の詳細については後述するが、レイヤ情報は映像データに含まれる複数のレイヤの各レイヤについて、映像の情報やレイヤ間の同一映像領域の相対位置関係等の情報を有する。また映像復号部105は、後述する復号レイヤ判定部112から復号するレイヤを識別するdependency_id(DID)の情報を取得すると、対応したレイヤを復号し、得られた復号映像のデータを切出し部114に出力する。なお、復号レイヤ判定部112からDIDの情報を受信しない、又はDIDの情報が例えば0xffのような意味を成さない情報であるような、通常の全画面表示時である場合、映像復号部105は次のように処理する。映像復号部105は、例えば映像出力を行う表示装置の、表示解像度以上のレイヤを復号し、得られた映像データを切出し部114に出力すればよい。
【0016】
音声復号部106は、デマックス部104から受信した音声符号化データを音声信号に復号して、接続される音声出力装置に出力する。SIデータ情報管理部107は、デマックス部104から受信したSIデータ情報を管理する。またSIデータ情報管理部107は、選局部102より視聴チャンネルの情報が受信した場合は、視聴チャンネルに対応した3桁番号をSIデータから取得し、選局部102へ出力する。番組表作成部108は、SIデータ情報管理部107から取得した、EPG等の番組名称、番組開始時間等の各番組情報を基に、EPG画面表示のGUI形成処理を行い、得られたEPG画面のGUIデータを映像合成部110に出力する。
【0017】
描画処理部109は、例えばGPUのような描画に関する動作を制御するブロックであり、赤外線信号受光部101から受信した画面表示形態の情報に従い、描画内容を変更する。具体的には、描画処理部109は、例えばEPGや2画面表示の表示形態の情報を受信した場合、映像合成部110の動作を合成動作に切り替える。また描画処理部109は、例えばROMに記憶されているGUIデータや、番組表作成部108に作成させたEPG画面のGUIデータの情報を映像合成部110に出力し、映像合成部110に合成させる。また、画面表示形態に合わせた合成処理を行うように指示する。また、映像データの表示領域が変更された場合は、後述する切出し領域判定部113に画面表示形態の情報及び映像の表示領域の情報を出力する。映像合成部110は、描画処理部109より合成動作に切り替えられている場合、切出し部114から受信した映像データと、例えば受信したGUIデータとを合成して表示装置に出力する。
【0018】
レイヤ情報管理部111は、映像復号部105から受信したレイヤ情報に基づき、各レイヤについてレイヤ情報テーブルを作成し記憶する。ここで、レイヤ情報テーブルの作成方法について、図2のフローチャート及び図3を用いて詳細に説明する。
図3はレイヤ情報テーブルが有する各項目を示した表である。レイヤ情報テーブルにおいて基本情報の項目に含まれる情報は、レイヤ情報管理部111が映像復号部105から受信したレイヤ情報に含まれる情報である。レイヤ情報には、DID、解像度(x、y)、アスペクト比l、復号参照レイヤDID、対参照レイヤ解像度比d、左上端点オフセット値(x1、y1)、及び右下端点オフセット値(x2、y2)が含まれる。
【0019】
DIDは、H.264/SVCの空間スケーラビリティの階層ID情報であり、コンテンツ内の各レイヤを識別するIDである。本実施形態では16進数の0x00〜0xffを用いてDIDを管理するが、DIDの実施はこれに限らない。解像度(x,y)は、レイヤの映像を復号した際の映像の解像度であり、xは水平方向の画素数、yは垂直方向の画素数を示す。またアスペクト比lは、レイヤの映像を復号した際の映像の縦横比であり、l=x/y(水平方向の画素数/垂直方向の画素数)で算出される情報である。
【0020】
復号参照レイヤDIDは、レイヤの映像を復号する際に参照されるレイヤのDIDである。H.264/SVCコンテンツでは、通常、レイヤの映像を復号する際は、該当のレイヤよりも下位のレイヤが参照される。なお、本実施形態では、説明を簡単にするために、各レイヤは1つ階層の低いレイヤを復号時に参照するものとする。例えば、DIDが0x03のレイヤの映像を復号するためには、0x02のレイヤが参照されるが、参照するレイヤ0x02は0x01のレイヤを参照して復号するため、結果的に0x00から0x02までのレイヤを参照して0x03のレイヤの映像は復号される。対参照レイヤ解像度比dは、レイヤの映像を復号する際に参照する下位レイヤと、復号するレイヤにおける、同じ映像情報を表すために用いられる縦及び横の解像度比を示す。対参照レイヤ解像度比dは、映像表現における空間解像度の比、即ち復号するレイヤの領域における復号参照レイヤの領域の画素数の比を表し、解像度比が高いほど復号参照レイヤに比べて同じ領域の映像を表現するビットが細かくなる。左上端点オフセット値(x1、y1)、及び右下端点オフセット値(x2、y2)は、対参照レイヤ解像度比に従って拡大・縮小した際に、復号参照レイヤの映像の領域が、復号するレイヤの映像の領域のどこに位置するかを表す情報である。左上端点オフセット値は、復号するレイヤの映像の領域の左上端点を原点したときの、復号参照レイヤの映像の領域の左上端点のx及びy座標を表す。また右下端点オフセット値は、復号するレイヤの映像の領域の右下端点を原点としたときの、復号参照レイヤの映像の領域の右下端点のx及びy座標を表す。本実施形態では、H.264/SVCコンテンツが複数の映像の領域を有するレイヤをもつため、レイヤ間の映像において映像の領域が異なる場合は、それぞれのレイヤの映像の領域の相対位置関係の情報を、オフセット値として有する。例えばレイヤ間の映像が同じ領域の映像である場合、オフセット値は全て0となる。
【0021】
レイヤ情報テーブルの最上位レイヤ相対位置情報及び重要領域情報は、基本情報を用いて生成する。以下、レイヤ情報管理部111で行われるレイヤ情報テーブル生成処理について、図2のフローチャートを用いて説明する。本レイヤ情報テーブル生成処理は、レイヤ情報管理部111が、映像復号部105からレイヤ情報を受信することにより、開始するものとする。またフローチャートの動作は、レイヤ情報管理部111が行うものとして説明するが、具体的には上述したように、CPUがレイヤ情報管理部111の動作プログラムを実行することにより、レイヤ情報管理部111に行わせている。
【0022】
S201で、レイヤ情報管理部111は、映像復号部105から受信したレイヤ情報を、各レイヤのレイヤ情報テーブルに基本情報として追加する。S202で、レイヤ情報管理部111は、各レイヤの映像の領域が異なるかを判断する。具体的には、レイヤ情報管理部111は、各レイヤの左上端点オフセット値(x1、y1)及び右下端点オフセット値(x2、y2)に、(0,0)ではない値が含まれる場合、各レイヤの映像の領域が異なると判断し、処理をS203に移す。また、各レイヤの映像の領域が等しい、即ち各レイヤの左上端点オフセット値及び右下端点オフセット値が全て(0,0)である場合、レイヤ情報管理部111はレイヤ情報テーブル生成処理を完了する。
【0023】
S203で、レイヤ情報管理部111は、各レイヤのレイヤ情報テーブルの基本情報から、各レイヤの最上位レイヤ相対位置情報を算出して、レイヤ情報テーブルに追加する。最上位レイヤ相対位置情報とは、対最上位レイヤ解像度比D、相対位置左上端点オフセット値(u1、v1)、及び相対位置右下端点オフセット値(u2、v2)である。
【0024】
対最上位レイヤ解像度比Dは、最上位レイヤと、対象のレイヤにおける、同じ映像情報を表すために用いられる縦及び横の解像度比を表す情報であり、各レイヤの対参照レイヤ解像度比dを用いて算出される。レイヤ数がpのとき、r番目のレイヤ(1≦r≦p)の対最上位レイヤ解像度比Dは、r番目のレイヤの対参照レイヤ解像度比d用いて以下のように表せる。
【0025】
【数1】

【0026】
数1からも明らかなように、最上位であるp番目のレイヤの対最上位レイヤ解像度比Dは、対参照レイヤ解像度比dのみを参照するため、1となる。また上述したように、本実施形態では各レイヤは1つ下位のレイヤを復号参照レイヤするものとしたが、復号参照レイヤが選択的に任意の下位レイヤを参照する場合は、数1において必要なレイヤの対参照レイヤ解像度比dのみで直積すればよい。
【0027】
相対位置左上端点オフセット値(u1、v1)は、最上位レイヤの映像の領域の左上端点を原点としたときの、対象レイヤの映像の領域の左上端点のx及びy座標の情報であり、各レイヤの左上端点オフセット値及び対最上位レイヤ解像度比より算出する。レイヤ数がpのとき、r番目(1≦r≦p−1)のレイヤの相対位置左上端点オフセット値(u1、v1)は、r番目のレイヤの左上端点オフセット値(x1、y1)及び対最上位レイヤ解像度比Dを用いて以下のように表せる。
【0028】
【数2】

【0029】
【数3】

【0030】
また、相対位置右下端点オフセット値(u2、v2)は、最上位レイヤの映像の領域の右下端点を原点としたときの、対象レイヤの映像の領域の右下端点のx及びy座標であり、各レイヤの右下端点オフセット値及び対最上位レイヤ解像度比より同様に算出する。レイヤ数がpのとき、r番目のレイヤの相対位置右下端点オフセット値(u2、v2)、r番目のレイヤの右下端点オフセット値(x2、y2)及び対最上位レイヤ解像度比Dを用いて以下のように表せる。
【0031】
【数4】

【0032】
【数5】

【0033】
また、最上位であるp番目のレイヤの相対位置左上端点オフセット値(u1、v1)、及び相対位置左上端点オフセット値(u2、v2)は、(0,0)となることは明らかである。このようにして算出したレイヤ情報テーブルの最上位レイヤ相対位置情報の各項目を、レイヤ情報管理部111は各レイヤのレイヤ情報テーブルに追加する。
【0034】
S204で、レイヤ情報管理部111は、重要領域の情報が算出可能であるかを判断する。本実施形態においては、重要領域はH.264/SVCコンテンツが有する複数の映像の領域のうち、最上位レイヤ解像度比の情報を元に、最上位レイヤを基準として全レイヤの空間解像度を同一とした場合に、最小の映像の領域を重要領域とする。即ち、最小の映像の領域は、その領域の映像を復号させる機器を想定して配信されていると考えられるため、重要な情報を持つ重要領域としてみなすことが可能である。
【0035】
具体的には、レイヤ情報管理部111は、全レイヤのレイヤ情報テーブルの、相対位置左上端点オフセット値、及び相対位置右下端点オフセット値の情報から、重要領域の情報が算出可能であるか否かを判断する。レイヤ情報管理部111は、全レイヤの最上位レイヤ相対位置情報において、最大の相対位置左上端点オフセット値のx座標u1max、最小の相対位置左上端点オフセット値のy座標v1minを検出する。さらに、レイヤ情報管理部111は、全レイヤの最上位レイヤ相対位置情報において、最小の相対位置右下端点オフセット値のx座標u2min、最大の相対位置右下端点オフセット値のy座標v2maxを検出する。そして、レイヤ情報管理部111は、レイヤ数がpであるとき、最上位レイヤの解像度(x、y)と、上述の4つのオフセット値から、以下の式を用いて重要領域が存在するかを判断する。
【0036】
(|u1max|+|u2min|)<xp
且つ (|v1min|+|v2max|)<yp
上記の式が成り立つならば、左上端点と右下端点との位置関係が逆転していない、即ち全レイヤの映像において、重要領域の情報が含まれると判断され、重要領域情報算出可能と判定される。これにより、重要領域の情報が算出可能であると判断した場合、レイヤ情報管理部111は処理をS205に移し、算出不可能であると判断した場合は、レイヤ情報管理部111はレイヤ情報テーブル生成処理を完了する。
【0037】
S205で、レイヤ情報管理部111は、各レイヤのレイヤレイヤ情報テーブルの基本情報及び最上位レイヤ相対位置情報から重要領域情報を算出し、レイヤ情報テーブルに追加する。重要領域情報とは、重要領域解像度(a,b)、重要領域アスペクト比m、、重要領域左上端点オフセット値(a1,b1)、及び重要領域右下端点オフセット値(a2,b2)である。
【0038】
重要領域左上端点オフセット値(a1、b1)は、対象のレイヤを復号した際に、映像の領域の左上端点を原点としたときの、対象のレイヤの映像の領域における重要領域の左上端点のx及びy座標である。重要領域左上端点オフセット値は、対象のレイヤのレイヤ情報テーブルの、相対位置左上端点オフセット値及び対最上位レイヤ解像度比より算出することができる。レイヤ数をpとすると、r番目のレイヤの重要領域左上端点オフセット値(a1、b1)は、同レイヤの相対位置左上端点オフセット値(u1、v1)、対最上位レイヤ解像度比D、u1max及びv1minを用いて次のように算出する。
【0039】
a1=(u1max−u1)/D
b1=(v1min−v1)/D
また同様に、重要領域右下端点オフセット値(a2、b2)は、対象のレイヤを復号した際に、映像の領域の右下端点を原点としたときの、対象のレイヤの映像の領域における重要領域の右下端点のx及びy座標である。重要領域右下端点オフセット値は、対象のレイヤのレイヤ情報テーブルの、相対位置右下端点オフセット値及び対最上位レイヤ解像度比より算出することができる。レイヤ数をpとすると、r番目のレイヤの重要領域右下端点オフセット値(a2、b2)、相対位置右下端点オフセット値(u2、v2)、対最上位レイヤ解像度比D、u2max及びv2minを用いて次のように算出する。
【0040】
a2=(u2min−u2)/D
b2=(v2max−v2)/D
なお、重要領域を、映像の領域とするレイヤにおいては、重要領域左上端点オフセット値及び重要領域右上端点オフセット値は(0,0)となる。このようなレイヤを「重要領域レイヤ」と呼び、重要領域を表示する際の基準レイヤとする。なお、重要領域レイヤに該当するレイヤが複数存在する場合は、例えば、複数の重要領域レイヤのうち、基本情報の解像度の情報(x,y)が最大のものを重要領域レイヤとして設定すればよい。
【0041】
重要領域解像度(a,b)は、対象のレイヤを復号した際の、映像の領域における重要領域の解像度であり、aは水平方向の画素数、bは垂直方向の画素数を示す。重要領域解像度の情報は、上述した重要領域左上端点オフセット値、重要領域右下端点オフセット値、及び対象のレイヤの映像の領域の解像度を用いて、以下のように算出することができる。
【0042】
a=x−(a1−a2)
b=y−(−b1+b2)
また、重要領域アスペクト比mは、重要領域解像度(a,b)を用いてm=a/bとして算出する。そして、レイヤ情報管理部111は、このように算出した、各レイヤの重要領域情報の項目の情報を、各レイヤのレイヤ情報テーブルに追加し、レイヤ情報テーブル生成処理を完了する。例えば、レイヤ情報管理部111が、映像復号部から受信したレイヤ情報である、基本情報に基づいて生成したレイヤ情報テーブルを、図4に示す。図4の例では、レイヤ情報テーブル生成の結果、ベースレイヤであるDID0x00のレイヤの重要領域情報において、重要領域左上端点オフセット値及び重要領域右下端点オフセット値の値が(0,0)となっている。このため、図4のH.264/SVCコンテンツにおいて、DID0x00のレイヤの映像の領域は、全領域が重要領域である。
【0043】
復号レイヤ判定部112は、後述する切出し領域判定部113から映像の表示領域の情報を受信すると、レイヤ情報管理部111よりレイヤ情報テーブルを取得し、レイヤ情報テーブルを参照して、表示領域に適した映像を有するレイヤを判定する。そして、復号レイヤ判定部112は、決定した復号するレイヤの情報を映像復号部105及び切出し領域判定部113に出力する。
【0044】
切出し領域判定部113は、描画処理部109から画面表示形態及び映像の表示領域の情報を受信すると、復号レイヤ判定部112に画面表示形態及び映像の表示領域の情報を出力する。また、切出し領域判定部113は、復号レイヤ判定部112より、決定した復号するレイヤの情報を受信すると、レイヤ情報管理部111からレイヤ情報テーブルを取得し、復号するレイヤの映像の領域を表示領域のアスペクト比に合わせて切出すか否かを判断する。切出し領域判定部113は、復号するレイヤの映像の領域を切出すと判断した場合、切出し領域の情報を切出し部114に伝送する。切出し部114は、映像復号部105から復号されたレイヤの映像が入力されると、切出し領域判定部113から、切出し領域の情報を受信しているかを判断する。切出し領域の情報を受信している場合、切出し部114は、復号されたレイヤの映像を切出し領域の情報に従って切出して、映像合成部110に出力する。また、切出し部114は、切出し領域の情報を受信しない場合は、映像復号部105から入力された映像をそのまま映像合成部110に出力する。なお、切出し部114にて復号したレイヤの映像を、表示領域に合わせて解像度変換を行う必要がある場合は、映像の表示領域に合わせて解像度変換を行い、映像合成部110に出力するものとする。
【0045】
このように、本実施形態のセットトップボックス100は、視聴チャンネル設定の情報に従って、チューナ部103が分離した信号がデマックス部104に出力される。そして、デマックス部104において、映像符号化データ、音声符号化データ及びSIデータに分離され、それぞれ映像復号部105、音声復号部106、SIデータ情報管理部107に出力される。映像復号部105は、映像符号化データが入力されると、まず映像符号化データに含まれるレイヤ情報のみを復号し、得られたレイヤ情報をレイヤ情報管理部111に出力する。レイヤ情報管理部111は、取得したレイヤ情報を基にレイヤ情報テーブルを生成し、管理する。
【0046】
セットトップボックス100の起動時などでは、例えば描画処理部109は全画面表示(通常表示)の画面表示形態を設定し、映像合成部110の動作を合成しない動作に設定する。また、全画面表示における表示領域の解像度の情報を、接続されている表示装置より取得し、画面表示形態の情報とともに切出し領域判定部113に伝送する。そして切出し領域判定部113は、描画処理部109より入力された表示領域の解像度の情報と、全画面表示の画面表示形態の情報とを復号レイヤ判定部112に出力する。復号レイヤ判定部112は、入力された表示領域の解像度と、全画面表示の情報に従い、レイヤ情報テーブルを参照し、例えば表示領域の解像度と同一の解像度をもつレイヤの中から、最も広い映像の領域を有するレイヤを復号するレイヤとして決定する。復号レイヤ判定部112は、決定した復号するレイヤの情報を、映像復号部105及び切出し領域判定部113に出力する。そして映像復号部105は受信した復号するレイヤの情報に従って、該当のレイヤの映像を復号し、切出し部114に出力する。切出し領域判定部113は、例えば全画面表示における表示領域と同一のレイヤが選択されたと判断した場合は、切出し部114に切出し領域の情報を伝送しないため、切出し部114は入力された映像をそのまま映像合成部110に出力する。映像合成部110は、描画処理部109によって動作を合成しない動作に切り替えられているため、入力された映像をそのまま、外部接続されている表示装置に映像出力する。
【0047】
また、EPG画面表示など、映像の表示領域が小さくなる画面表示形態に切り替えられた場合、描画処理部109は、次のように処理する。描画処理部109は、例えば番組表作成部108がSIデータに基づいて生成した番組表のGUIデータや、ROMに記憶されているGUIデータを映像合成部110に出力させ、映像合成部110の動作を合成動作に切り替える。また、描画処理部109は画面表示形態及び映像の表示領域の解像度の情報を切出し判定部113に伝送し、切出し領域判定部113は受信した情報を、さらに復号レイヤ判定部112に伝送する。復号レイヤ判定部112は、例えば画面表示形態が全画面表示でなくなったことと、映像の表示領域の解像度が小さくなったことを判断し、レイヤ情報テーブルに基づいて、表示領域の解像度に適した復号するレイヤを決定する。復号レイヤ判定部112は、決定した復号するレイヤの情報を映像復号部105及び切出し判定部113に出力する。映像復号部105は、入力された復号するレイヤの情報に従って、該当のレイヤの映像を復号し、解像度変換を切出し部114に出力する。切出し領域判定部113は、復号するレイヤに決定された画像を、表示領域のアスペクト比に合わせて切出し領域を設定し、切出し領域の情報を切出し部114に出力する。切出し部114は、切出し領域の情報を受信している場合は、映像復号部105から出力された映像を、切出し領域の情報に従って切出し、表示領域の解像度に解像度変換を行う必要がある場合は解像度変換を行い、映像合成部110に出力する。そして、映像合成部110は、入力されたGUIデータと映像を合成し、外部接続されている表示装置に映像出力する。
【0048】
このような構成をもつ本実施形態のセットトップボックス100において、復号レイヤと切出し領域を決定して表示映像を生成する表示制御処理について、図5のフローチャートをさらに用いて説明する。なお、本表示制御処理は、例えば視聴者がリモートコントローラを操作により、EPG画面表示等に描画処理部109が映像の表示形態を変更する際に行われるものとする。また、本表示制御処理を行う前に、レイヤ情報管理部111は受信したレイヤ情報を元に、受信しているH.264/SVCコンテンツの各レイヤのレイヤ情報テーブルを生成しているものとする。
【0049】
S501で、CPUは、セットトップボックス100に接続されている例えばLCD等のパネル解像度の情報を取得し、変更された表示形態で定義される映像の表示領域の解像度(e,f)がパネル解像度(i,j)よりも小さいかを判断する。即ちCPUは、e<i又はf<jの場合に、表示領域の解像度がパネル解像度よりも小さいと判断する。表示領域の解像度がパネル解像度よりも小さい場合、CPUは表示領域の解像度の情報及び、表示領域のアスペクト比nの情報を復号レイヤ判定部112及び切出し領域判定部113に出力し、処理をS502に移す。また、表示領域の解像度がパネル解像度と同じ場合は、CPUは処理をS507に移す。
【0050】
S502で、CPUは、レイヤ情報管理部111にレイヤ情報テーブルを復号レイヤ判定部112に出力させる。また、CPUは復号レイヤ判定部112に、レイヤ情報テーブルに重要領域情報が含まれているかを判断させる。即ち、CPUは、レイヤ情報管理部111に入力されたレイヤ情報において、受信しているH.264/SVCコンテンツの各レイヤの映像の領域が異なり、さらに重要領域の情報が算出可能であったかを、復号レイヤ判定部112に判断させる(S503)。レイヤ情報テーブルに重要領域情報が含まれている場合は、CPUは処理をS504に移し、レイヤ情報テーブルに重要領域情報が含まれていない場合は、CPUは処理をS507に移す。
【0051】
S504で、CPUは復号レイヤ判定部112に、レイヤ情報テーブルの重要領域情報において、重要領域レイヤが存在するかを判断させる。即ち、CPUは、レイヤ情報テーブルの重要領域情報の中に、重要領域左上端点オフセット値及び重要領域右下端点オフセット値が(0,0)であるレイヤが存在するかを、復号レイヤ判定部112に判断させる。重要領域レイヤが存在する場合、CPUは重要領域レイヤのDIDを例えばROMに保持し、処理をS505に移す。また重要領域レイヤが存在しない場合、CPUは処理をS509に移す。
【0052】
S505で、CPUは復号レイヤ判定部112に、重要領域レイヤのアスペクト比、即ち重要領域のアスペクト比mと、表示領域のアスペクト比nが同一であるかを判断させる。重要領域のアスペクト比と表示領域のアスペクト比が同一である場合は、CPUは処理をS506に移し、アスペクト比が異なる場合は、CPUは処理をS509に移す。
【0053】
S506で、CPUは復号レイヤ判定部112に、重要領域レイヤの解像度(x,y)が、表示領域の解像度(e,f)以上であるかを判断させる。即ち、CPUは重要領域レイヤの縦及び横の画素数が、表示領域の縦及び横の画素数以上であるか(x≧eかつy≧f)を復号レイヤ判定部112に判定させる。重要領域レイヤの解像度が、表示領域の解像度以上である場合、CPUは処理をS508に移す。また、重要領域レイヤの解像度が、表示領域の解像度に満たない、即ち、重要領域レイヤの縦又は横の画素数が、表示領域の縦又は横の画素数に満たない場合、CPUは処理をS509に移す。
【0054】
S508で、CPUは復号レイヤ判定部112に、重要領域レイヤのDIDの情報を映像復号部105に出力させる。そして、CPUは映像復号部105に、重要領域レイヤの映像を復号させ、切出し部114に出力させる。なお、CPUは重要領域のアスペクト比と表示領域のアスペクト比が同一であるため、切出し領域判定部113に切出し領域の判定を行わせないため、切出し部114において映像の切出し処理は行わない。また、CPUは重要領域レイヤの解像度が、表示領域の解像度と同一でない場合は、切出し部114に重要領域レイヤの映像を表示領域の解像度に縮小させる。さらに、CPUは、切出し部114に重要領域レイヤの映像を、映像合成部110に出力させる。映像合成部110は、描画処理部109により動作を合成動作に切り替えられており、CPUは、映像合成部110に例えば番組表作成部108により生成されたEPG表示のGUIデータと重要領域レイヤの映像を合成させる。このとき、重要領域レイヤの映像は、EPG表示のGUI内の表示領域部分に合成されるものとする。CPUは、映像合成部110に、合成により生成された重要領域レイヤの映像が含まれたEPG表示GUIデータを、外部接続されている表示装置に出力し、表示制御処理を完了する。
【0055】
S501で表示領域の解像度がパネル解像度と同一、又はS503でレイヤ情報テーブルに重要領域情報がない場合、CPUはS507で復号レイヤ判定部112に、復号するレイヤのDIDとして例えば0xffを、映像復号部105へ出力させる。復号するレイヤのDIDとして設定される0xffの値は、受信しているH.264/SVCコンテンツにおいて存在しないDIDであるか、又はDIDではなく予め定められた信号であっても構わない。映像復号部105は、CPUの制御の下、本表示制御処理が開始される前に復号していたレイヤのDID、又はパネル解像度に対応したレイヤのDIDの情報を例えばROMより取得する。そして、映像復号部105は、CPUの指示により、入力されたDIDのレイヤの映像を復号して、切出し部114に出力する。
【0056】
なお、S503でレイヤ情報テーブルに重要領域の情報がないと判断された場合は、CPUは切出し領域判定部113にROMに記憶されている処理開始前に復号していたレイヤのDIDと、レイヤ情報テーブルを出力する。そして、切出し領域判定部113は、CPUの指示により、レイヤ情報テーブルから、処理開始前に復号していたレイヤのアスペクト比と、表示領域のアスペクト比が異なる場合は、表示領域のアスペクト比になるよう切出し領域を判定する。そして、CPUは切出し領域判定部113に、判定された切出し領域の情報を切出し部114に出力させ、切出し部114に映像復号部105から入力された、処理開始前に復号していたレイヤの映像を切出し領域の情報に従って切出させる。また、切出し部114は、CPUの指示により、切出した復号していたレイヤの映像の解像度が、表示領域の解像度より大きい場合は、縮小処理を適用し、映像合成部110に出力する。そして、CPUは映像合成部110にEPG表示のGUIデータと切出し部114が出力した映像とを合成させ、外部接続されている表示装置に出力させる。また、S501で表示領域の解像度がパネル解像度と同一であった場合は、通常の全画面表示形態の際と同様の表示処理であるものとして説明は省略する。
【0057】
S509で、CPUは復号レイヤ判定部112に、レイヤ情報テーブルの重要領域解像度の値を参照して、重要領域の解像度が最大であるレイヤのDIDの情報を、映像復号部105に出力させる。このとき、最大の重要領域の解像度の情報を有するレイヤが複数ある場合は、復号レイヤ判定部112は、より上位のレイヤを選択して出力するものとする。映像復号部105は、CPUの指示により、復号レイヤ判定部112より、復号するレイヤのDIDを受信すると、受信したDIDのレイヤの映像を復号して、切出し部114に出力する。また、復号レイヤ判定部112は、CPUの指示により、切出し領域判定部113にも重要領域の解像度が最大であるレイヤのDIDの情報を出力するものとする。このとき、切出し領域判定部113は、CPUの指示により、レイヤ情報管理部111よりレイヤ情報テーブルを取得する。
【0058】
S510で、CPUは、切出し領域判定部113及びに、切出し領域判定処理を行わせる。ここで、切出し領域判定部113で行われる切出し領域判定処理について、図6のフローチャートを用いて詳細に説明する。本切出し領域判定処理において、切出し領域は、切出し領域左上端点オフセット値(g1,h1)、切出し領域右下端点オフセット値(g2,h2)、及び切出し領域解像度(g,h)で定義されるものとする。切出し領域解像度は、入力されたDIDのレイヤの映像の解像度(x,y)を用いて
g=x−(g1−g2)
h=y−(−h1+h2)
で、表すことができる。
なお、切出し領域判定処理は、切出し領域判定部113が行うものとして以下に説明するが、切出し領域判定部113がLSI等の装置でない場合は、CPUが切出し領域判定部113の動作プログラムを実行することにより、行われるものとする。
【0059】
S601で、切出し領域判定部113は、レイヤ情報テーブルから入力されたDIDのレイヤの重要領域アスペクト比mの情報と、表示領域のアスペクト比nの情報とが同一であるかを判断する。重要領域と表示領域のアスペクト比が同一である場合、切出し領域判定部113は処理をS602に移し、アスペクト比が異なる場合は、処理をS603に移す。
【0060】
S602で、切出し領域判定部113は、切出し領域左上端点オフセット値、及び切出し領域右下端点オフセット値を、それぞれ入力されたDIDのレイヤの重要領域左上端点オフセット値、及び重要領域右下端点オフセット値の情報として設定する。また、S603で、切出し領域判定部113は、表示領域のアスペクト比であって、重要領域を含む領域を切出し領域として設定する。具体的には、例えば以下のようにして、切出し領域左上端点オフセット値(g1,h1)、及び切出し領域右下端点オフセット値(g2,h2)を算出する。
【0061】
i)m>nの場合
g1=a1
h1=b1+(a/n−b)/2
g2=a2
h2=b2−(a/n−b)/2
ii)m<nの場合
g1=a1−(b×n−a)/2
h1=b1
g2=a2+(b×n−a)/2
h2=b2
上述の式では、表示領域のアスペクト比であって、重要領域の全てを含み、切出し領域において重要領域が最大の占有率をもつ、切出し領域のオフセット値が設定される。具体的には、例えば表示領域のアスペクト比が重要領域のアスペクト比よりも小さい場合は、重要領域の水平方向の画素数が切出し領域の水平方向の画素数となり、切出し領域の垂直方向の画素数は、表示領域のアスペクト比に合わせて重要領域より大きくなる。これにより、切出し領域のアスペクト比と表示領域のアスペクト比は等しくなる。
【0062】
S604で、切出し領域判定部113は、S602又はS603で設定した切出し領域の解像度が、表示領域の解像度より小さいかを判断する。設定された切出し領域の解像度が表示領域の解像度より小さい場合、切出し領域判定部113は処理をS605に移し、切出し領域の解像度が表示領域の解像度以上であった場合は、切出し領域判定部113は処理をS606に移す。
【0063】
S605で、切出し領域判定部113は、例えば、切出し領域の中心座標を変更せずに、切出し領域を、表示領域の解像度となるように、切出し領域左上端点オフセット値及び切出し領域右下端点オフセット値を変更する。このとき、変更する切出し領域のオフセット値は、
g1=g1−(e−g)/2
h1=h1+(f−h)/2
g2=g2+(e−g)/2
h2=h2−(f−h)/2
で算出することが可能である。これにより、表示領域に切出し領域の映像を表示する際に、拡大処理に伴う画質劣化をさせずに、重要領域を表示する切出し領域を設定することができる。
【0064】
S606で、切出し領域判定部113は、設定された切出し領域のオフセット値を参照し、切出し領域が非映像部を含むかを判断する。具体的には、切出し領域左上端点オフセット値(g1,h1)、及び切出し領域右下端点オフセット値(g2,h2)が、
g1<0, h1>0, g2>0, h2<0
のいずれかを満たす場合、切出し領域判定部113は、切出し領域が非映像部を含むと判断し、処理をS607に移す。また、切出し領域判定部113は、切出し領域が非映像部を含まない場合、切出し領域判定処理を完了する。
【0065】
S607で、切出し領域判定部113は、非映像部を含まないように切出し領域のオフセット値の情報を変更し、切出し領域判定処理を完了する。具体的には、それぞれの非映像部を含む条件に応じて、次のようにして切出し領域のオフセット値の情報を変更する。
【0066】
i)g1<0の場合
g1=0
g2=g2+|g1|
ii)h1>0の場合
h1=0
h2=h2−|h1|
iii)g2>0の場合
g1=g1+|g2|
g2=0
iv)h2<0の場合
h1=h1−|h2|
h2=0
これにより、表示領域に適した、即ちアスペクト比が同一で、重要領域を含んだ表示領域の解像度を満たす切出し領域を設定することが可能である。
【0067】
なお、S607で非映像部の領域を含まないようにオフセット値が0となるように切出し領域をシフトさせると、シフトしてオフセット値が0となった端点と反対の端点が非映像部の領域になる場合が存在する。このような場合、切出し領域判定部113は、表示領域に表示される映像に非映像部の領域を含んでもよいとして、切出し領域を設定すればよい。また、セットトップボックス100の設定で、拡大処理による画質劣化を伴って表示領域に設定しても良いとする場合、切出し領域判定部113は、表示領域のアスペクト比であって、レイヤの映像の領域において最大の切出し領域を設定すればよい。このとき、設定された切出し領域が表示領域の解像度に満たない場合は、表示領域に切出し領域を表示する際に、切出し領域の映像は切出し部114において拡大処理が必要となり拡大処理による画質劣化が生じるが、非映像領域を含まないで表示できる。
【0068】
また、重要領域の解像度が最大となるレイヤが重要領域レイヤそのものである場合が存在する。このとき、表示領域と重要領域のアスペクト比が異なる場合は、切出し領域は重要領域の全てを含むことができないため、例えば重要領域内で最大となる切出し領域を設定しても良い。この場合、切出し領域の映像は、重要領域の映像の一部を切り抜く形になるが、表示領域には主として重要領域の映像が表示されることになるため、視聴者に対して同一映像コンテンツ内の重要領域が提示されると言える。
【0069】
以上のような切出し領域判定処理を終え、切出し領域判定部113は切出し領域の情報を取得する。S511で、切出し領域判定部113は、CPUの指示により、切出し領域判定処理にて決定した切出し領域の情報である、切出し領域左上端点オフセット値、切出し領域右下端点オフセット値を切出し部114に出力する。そして、切出し部114は、CPUの指示により、入力された切出し領域の情報に従って、映像復号部105から入力された復号されたレイヤの映像を切出し、必要に応じて表示領域の解像度に解像度変換を行って映像合成部110に出力する。CPUは映像合成部110に、EPG表示のGUIデータと切出し部114が出力した映像とを合成させ、外部接続されている表示装置に出力させ、表示制御処理を完了する。
【0070】
図7は、図4に示した3つのレイヤが存在するH.264/SVCコンテンツを受信する際の、表示領域によって選択される復号するレイヤと、切出し領域の情報を示した図である。なお、パネル解像度(i,j)は(3840,2160)であるとする。
パターン701は、映像表示領域アスペクト比nが重要領域レイヤのアスペクト比lと同じで、重要領域レイヤ解像度が映像表示解像度以上なので、判定結果として復号レイヤDIDは重要領域レイヤの0x00となり、切出し領域は指定されない。
【0071】
パターン702は、映像表示領域のアスペクト比が重要領域レイヤのアスペクト比と同じで、重要領域レイヤ解像度が映像表示解像度未満なので、判定結果の復号レイヤDIDは重要領域レイヤ以外で重要領域解像度が最大の0x02となる。そして、映像表示領域のアスペクト比が重要領域アスペクト比同じなので、切出し領域に重要領域を代入する。ここで、切出し領域解像度が映像表示領域解像度以上なので、切出し領域左上端点オフセット値(g1,h1)および切出し領域右下端点オフセット値(g2,h2)は、(580、−540)および(−1340、540)となる。
【0072】
パターン703は、映像表示領域のアスペクト比が重要領域レイヤのアスペクト比と同じで、重要領域レイヤ解像度が映像表示解像度未満なので、判定結果の復号レイヤDIDは重要領域レイヤ以外で重要領域解像度が最大の0x02となる。そして、映像表示領域のアスペクト比が重要領域アスペクト比と同じなので、切出し領域に重要領域を代入する。さらに、切出し領域解像度が映像表示領域解像度未満なので、切出し領域を映像表示領域の大きさに拡大する。ここで、切出し領域が非映像部を含まないので、切出し領域左上端点オフセット値(g1,h1)および切出し領域右下端点オフセット値(g2,h2)は、(100、−270)および(−860、270)となる。
【0073】
パターン704は、映像表示領域のアスペクト比が重要領域レイヤのアスペクト比と異なるので、判定結果の復号レイヤDIDは重要領域レイヤ以外で重要領域解像度が最大の0x02となる。そして、映像表示領域のアスペクト比が重要領域アスペクト比と異なるので、重要領域からアスペクト比に適した切出し領域を算出する。ここで、切出し領域解像度が映像表示領域解像度以上なので、切出し領域左上端点オフセット値(g1,h1)および切出し領域右下端点オフセット値(g2,h2)は、(580、−360)および(−1340、360)となる。
【0074】
パターン705は、映像表示領域のアスペクト比が重要領域レイヤのアスペクト比と異なるので、判定結果の復号レイヤDIDは重要領域レイヤ以外で重要領域解像度が最大の0x02となる。そして、映像表示領域のアスペクト比が重要領域アスペクト比と異なるので、重要領域からアスペクト比に適した切出し領域を算出する。さらに、切出し領域解像度が映像表示領域解像度未満なので、切出し領域を映像表示領域の大きさに拡大する。ここで、切出し領域が非映像部を含まないので、切出し領域左上端点オフセット値(g1,h1)および切出し領域右下端点オフセット値(g2,h2)は、(340、−180)および(−1100、180)となる。
【0075】
パターン706は、映像表示領域のアスペクト比が重要領域レイヤのアスペクト比と異なるので、判定結果の復号レイヤDIDは重要領域レイヤ以外で重要領域解像度が最大の0x02となる。そして、映像表示領域のアスペクト比が重要領域アスペクト比と異なるので、重要領域からアスペクト比に適した切出し領域を算出する。ここで、切出し領域解像度が映像表示領域解像度以上なので、切出し領域左上端点オフセット値(g1,h1)および切出し領域右下端点オフセット値(g2,h2)は、(460、−540)および(−1220、540)となる。
【0076】
パターン707は、映像表示領域のアスペクト比が重要領域レイヤのアスペクト比と異なるので、判定結果の復号レイヤDIDは重要領域レイヤ以外で重要領域解像度が最大の0x02となる。そして、映像表示領域のアスペクト比が重要領域アスペクト比と異なるので、重要領域からアスペクト比に適した切出し領域を算出する。さらに、切出し領域解像度が映像表示領域解像度未満なので、切出し領域を映像表示領域の大きさに拡大する。ここで、切出し領域が非映像部を含まないので、切出し領域左上端点オフセット値(g1,h1)および切出し領域右下端点オフセット値(g2,h2)は、(100、−480)および(−860、480)となる。
【0077】
以上説明したように、本実施形態の表示制御装置は、1つの映像コンテンツに対し、複数の空間解像度の、同一映像コンテンツ内の領域の符号化された映像を、レイヤ構造として有するスケーラブル符号化映像データにおいて、重要領域を設定することが可能である。具体的には、表示制御装置は、スケーラブル符号化映像データが有する、各レイヤの映像の空間解像度の情報を判別する。そして、複数のレイヤの映像の空間解像度を同一にした際に、各レイヤの映像が表現する同一映像コンテンツ内の領域のうち、最小の領域を、重要領域として設定する。そして、表示制御装置は、映像コンテンツを表示する表示領域が縮小された場合に、重要領域の映像を復号して縮小された表示領域に表示する。これにより、表示領域が縮小される前に表示されていた映像を縮小して表示する際に比べ、映像コンテンツの特徴的な部分を視聴者に提示可能であり、表示領域が縮小された際も視聴者は映像コンテンツの内容を容易に確認しながら、所望の操作を行うことができる。
【0078】
また表示制御装置は、表示領域が縮小された際に、表示領域に表示する重要領域の映像を、スケーラブル符号か映像データが有する複数のレイヤから次のように選択して、重要領域の映像を切出し、必要があれば縮小して表示する。
1.最小の領域を表現するレイヤの映像の解像度が、表示領域の解像度を満たす場合は、最小の領域を表現するレイヤの映像を表示する。
2.最小の領域を表現するレイヤの縦又は横の画素数が、表示領域の画素数に満たない場合、重要領域の空間解像度が最大となるレイヤの映像から、重要領域の映像を切出して表示する。
3.重要領域の空間解像度が最大となるレイヤの映像の縦又は横の画素数が表示領域の画素数に満たない場合、重要領域の空間解像度が最大となるレイヤの映像から、重要領域の全体を含む、表示領域の解像度の領域の映像を切出して表示する。
【0079】
なお、表示領域と重要領域のアスペクト比が異なる場合は、重要領域の空間解像度が最大となるレイヤの映像から、重要領域の映像を、表示領域のアスペクト比に合わせて切出して表示すればよい。また本実施形態では、なるべく拡大処理を行わないように表示領域に表示する重要領域の映像を選択し、表示する。これにより、縮小された表示領域に重要領域の映像を表示する際に、重要領域を最大限に含み、かつ拡大処理による重要領域の画質劣化を回避した映像を提示することが可能である。
【0080】
(実施形態2)
次に、本発明の実施形態2について、図面を参照して説明する。
実施形態1のH.264/SVCコンテンツは、各レイヤは、1階層前のレイヤを復号時に参照するレイヤとしている構成、即ち1つのレイヤは1つのレイヤにのみ参照される構成について説明した。本実施形態では、1つのレイヤは、複数のレイヤにおいて復号時に参照されるレイヤである構成について説明する。また、本実施形態のH.264/SVCコンテンツは、重要領域が複数存在する。即ち、H.264/SVCコンテンツが有する複数のレイヤにおいて、各レイヤの映像の空間解像度を同一にした場合、最小の領域を表現するレイヤが複数存在し、それぞれの最小の領域が異なる領域を示す場合について考える。本実施形態では説明を簡単にするため、受信するH.264/SVCコンテンツは2つの重要領域を有するものとする。しかしながら、本発明の実施において、重要領域の数は2つに限らない。またこの場合、セットトップボックスはそれぞれの重要領域を含むレイヤについて、別々のレイヤ情報テーブルを持つ。
【0081】
なお、本実施形態にかかるセットトップボックスの機能構成は、実施形態1と同じであるものとして説明を省略する。また、本実施形態のセットトップボックス100は、外部接続される例えばLCD等の表示機器において、通常の画面表示形態(全画面表示)の際に表示される映像の解像度を有するレイヤが複数存在する場合は、それぞれのレイヤの映像が切り替えて表示できる。即ち、視聴者は、全画面表示の画面表示形態に対応した解像度の映像を有する複数のレイヤの映像を、任意に切り替えて表示することが可能であるものとする。なお、本実施形態のH.264/SVCコンテンツは、各レイヤの表示優先度kの情報を、例えばSIデータとして受信する。そして、セットトップボックス100の起動時など、外部接続されている表示機器の全画面表示時に表示する解像度のレイヤが複数ある場合は、セットトップボックス100は表示優先度の一番高い(kが最小)レイヤの映像を復号して表示装置に表示する。
【0082】
このような本実施形態のセットトップボックス100の、レイヤ情報テーブル生成処理について、図8のフローチャートを用いて説明する。なお、本レイヤ情報テーブル生成処理において、実施形態1のレイヤ情報テーブル生成処理と同様の処理を行うステップについては、同一の参照符号を付して説明を省略し、本実施形態のレイヤ情報テーブル生成処理において特徴的な処理の説明に留める。
【0083】
S801で、CPUはSIデータ情報管理部107から各レイヤの表示優先度の情報を読み出し、レイヤ情報管理部111に出力する。S201で、レイヤ情報管理部111は、CPUの制御の下、入力されたH.264/SVCコンテンツのレイヤ情報と、各レイヤの表示優先度の情報を用いて、レイヤ情報テーブルを生成する。このとき、レイヤ情報と表示優先度kの情報は、レイヤ情報テーブルの基本情報の項目に入力される。またレイヤ情報において、復号参照レイヤDIDが同一であるレイヤが複数存在した場合、そのレイヤの数だけレイヤ情報テーブルを生成し、各レイヤ情報テーブルにおいて復号参照レイヤDIDが同一のレイヤが存在しないようにレイヤ情報を分類する。例えば、全レイヤ数が3であり、レイヤ2とレイヤ3の2つが、復号参照レイヤとして下位のレイヤ1を指定する場合、レイヤ情報テーブルは、レイヤ1とレイヤ2を含むものと、レイヤ1とレイヤ3を含むものとの2つ生成される。これにより、各レイヤ情報テーブルには、同一の復号参照レイヤを含まず構成することが可能である。なお、レイヤ情報テーブルの最上位レイヤ相対位置情報及び重要領域情報の項目は、S203及びS205において、それぞれのレイヤ情報テーブルについて算出する。
【0084】
図9は、本実施形態で受信するH.264/SVCコンテンツから生成されたレイヤ情報テーブルの例である。DIDが0x01及び0x02のレイヤにおいて、復号参照レイヤDIDとして、最下位のレイヤのDIDである0x00が参照されているため、レイヤ情報テーブル901とレイヤ情報テーブル902の2種類が生成される。図に示すように、このような場合、DIDが0x01と0x02のレイヤはそれぞれ別のレイヤ情報テーブルに分類される。
【0085】
次に、本実施形態の表示制御処理について、図10のフローチャートを用いて説明する。なお、本表示制御処理において、実施形態1の表示制御処理と同様の処理を行うステップは同一の参照符号を付して説明を省略し、本実施形態の表示制御処理において特徴的な処理の説明にとどめる。
【0086】
S1001で、復号レイヤ判定部112は、CPUの指示により、S502においてレイヤ情報管理部111から受信したレイヤ情報テーブルが複数であるかを判断する。レイヤ情報テーブルが複数であった場合、CPUは処理をS1002に移し、レイヤ情報テーブルが一つであった場合、CPUは処理をS503に移す。
【0087】
S1002で、CPUは例えばROMに記憶されている、表示制御処理前に復号していたレイヤのDIDの情報を読み出し、復号レイヤ判定部112に伝送する。S1003で、復号レイヤ判定部112は、CPUの制御の下、以降のステップの処理に用いるレイヤ情報テーブルを選択する。復号レイヤ判定部112は、CPUの制御の下、受信した表示制御処理前に復号していたレイヤのDIDが含まれるレイヤ情報テーブルを選択する。このとき、表示制御処理前に復号していたレイヤのDIDが、複数のレイヤ情報テーブルに含まれる場合は、さらにその中からレイヤ情報テーブルの各レイヤの表示優先度kの総和が最小となるレイヤ情報テーブルを選択するものとする。例えば、復号レイヤ判定部112が、図9のレイヤ情報テーブル901及びレイヤ情報テーブル902を受信する場合は、表示制御処理前に復号していたレイヤ(現在復号中レイヤ)のDIDによって、下記の表1のようにレイヤ情報テーブルは選択される。
【0088】
【表1】

【0089】
以降のステップでは、本ステップで選択されたレイヤ情報テーブルを用いて、復号レイヤの選択、及び切出し領域判定処理が行われ、表示領域に表示する映像が決定される。即ち、複数の重要領域が存在し、視聴中に映像の表示領域の縮小がなされた場合に、表示領域の縮小前に視聴していた映像と表示優先度とに基づいた重要領域の映像を表示領域に表示するため、子画面表示の際にも視聴者に違和感を与えない映像を提示できる。
【0090】
以上説明したように、本実施形態の表示制御装置は、1つの映像コンテンツに対し、複数の空間解像度の、同一映像コンテンツ内の領域の符号化された映像を、レイヤ構造として有するスケーラブル符号化映像データにおいて、重要領域を設定することが可能である。具体的には、表示制御装置は、スケーラブル符号化映像データが有する、各レイヤの映像の空間解像度の情報を判別する。そして、複数のレイヤの映像の空間解像度を同一にした際に、各レイヤの映像が表現する同一映像コンテンツ内の領域のうち、1つ又は複数の最小の領域を、重要領域として設定する。そして、表示制御装置は、映像コンテンツを表示する表示領域が縮小された場合に、重要領域の映像を復号して縮小された表示領域に表示する。これにより、表示領域が縮小される前に表示されていた映像を縮小して表示する際に比べ、映像コンテンツの特徴的な部分を視聴者に提示可能であり、表示領域が縮小された際も視聴者は映像コンテンツの内容を容易に確認しながら、所望の操作を行うことができる。
【0091】
また表示制御装置は、表示領域が縮小された際に、表示領域が縮小される前に表示されていた映像のレイヤが復号時に参照するレイヤ、及び表示領域が縮小される前に表示されていた映像のレイヤを復号時に参照するレイヤの中から重要領域を選択する。そして、表示領域に表示する重要領域の映像を、スケーラブル符号か映像データが有する複数のレイヤから次のように選択して、重要領域の映像を切出し、必要があれば縮小して表示する。
1.最小の領域を表現するレイヤの映像の解像度が、表示領域の解像度を満たす場合は、最小の領域を表現するレイヤの映像を表示する。
2.最小の領域を表現するレイヤの縦又は横の画素数が、表示領域の画素数に満たない場合、重要領域の空間解像度が最大となるレイヤの映像から、重要領域の映像を切出して表示する。
3.重要領域の空間解像度が最大となるレイヤの映像の縦又は横の画素数が表示領域の画素数に満たない場合、重要領域の空間解像度が最大となるレイヤの映像から、重要領域の全体を含む、表示領域の解像度の領域の映像を切出して表示する。
【0092】
なお、表示領域と重要領域のアスペクト比が異なる場合は、重要領域の空間解像度が最大となるレイヤの映像から、重要領域の映像を、表示領域のアスペクト比に合わせて切出して表示すればよい。また本実施形態では、なるべく拡大処理を行わないように表示領域に表示する重要領域の映像を選択し、表示する。これにより、表示領域が縮小される前に表示されていた映像に関連した重要領域を表示することができ、複数の重要領域が存在する際に表示領域に関連性の低い重要領域の映像が表示されることを抑止できる。また、縮小された表示領域に重要領域の映像を表示する際に、重要領域を最大限に含み、かつ拡大処理による重要領域の画質劣化を回避した映像を提示することが可能である。
【0093】
なお、実施形態1及び2の説明において、最小の領域を表現するレイヤの縦又は横の画素数が、表示領域の画素数に満たない場合、重要領域の空間解像度が最大となるレイヤの映像から、重要領域の映像を切出して表示するものとして説明した。しかしながら、重要領域を含むレイヤの映像は、例えば表示領域の解像度に一番近く、表示領域の解像度より重要領域の解像度が大きいといったように、重要領域の解像度が表示領域の解像度より大きいレイヤの映像を切出して表示しても構わない。また、実施形態1及び2の説明において、拡大処理を含まないような重要領域を含むレイヤを選択する方法について説明したが、拡大処理を許容する場合は、重要領域を含むレイヤの中から表示領域に合わせて所望のレイヤを選択しても良い。
【0094】
(その他の実施形態)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。

【特許請求の範囲】
【請求項1】
複数の符号化レイヤから構成され、前記複数の符号化レイヤを選択的に復号することにより、同一映像コンテンツに係る、異なる空間解像度を有する復号映像を得ることが可能なスケーラブル符号化映像データであって、前記複数の符号化レイヤの各々の復号映像が、前記同一映像コンテンツ内の一部又は全ての領域を表現するスケーラブル符号化映像データを受信する受信手段と、
前記スケーラブル符号化映像データから、前記複数の符号化レイヤの各符号化レイヤが表現する映像の空間解像度を判別する判別手段と、
前記各符号化レイヤが表現する映像の空間解像度を同一にした場合の、前記各符号化レイヤが表現する前記映像コンテンツ内の領域の大きさを判別し、最小の領域を、前記映像コンテンツの重要領域として設定する設定手段とを備えることを特徴とする表示制御装置。
【請求項2】
前記複数の符号化レイヤの1つを復号する復号手段と、
前記復号手段で復号された映像を表示装置の表示領域に表示する表示手段と、
前記復号手段で復号された映像の、一部の領域を切出して出力する切出し手段とをさらに備え、
前記復号手段は、前記表示領域が通常表示の大きさから縮小された際に、前記重要領域を含む符号化レイヤの映像を復号し、
前記表示手段は、前記復号された符号化レイヤの映像から前記切出し手段が切出した前記重要領域の映像を前記縮小された表示領域に表示することを特徴とする請求項1に記載の表示制御装置。
【請求項3】
前記復号手段は、前記表示領域が通常表示の大きさから縮小された際に、前記重要領域を表現する符号化レイヤの映像を復号し、
前記表示手段は、前記復号された前記重要領域の映像を、前記縮小された表示領域に表示することを特徴とする請求項2に記載の表示制御装置。
【請求項4】
前記復号手段は、前記重要領域を表現する符号化レイヤを復号して得られる前記重要領域の映像の縦又は横の画素数が、前記縮小された表示領域の縦又は横の画素数に満たない場合、復号する符号化レイヤを、前記重要領域の空間解像度が最大となる符号化レイヤに変更し、
前記表示手段は、前記重要領域の空間解像度が最大となる符号化レイヤを復号して得られる映像から前記切出し手段が切出した前記重要領域の映像を前記縮小された表示領域に表示することを特徴とする請求項3に記載の表示制御装置。
【請求項5】
前記表示手段は、前記重要領域の空間解像度が最大となる符号化レイヤから前記切出し手段が切出した重要領域の映像の縦又は横の画素数が、前記表示領域の縦又は横の画素数よりも大きい場合、前記切出した重要領域の映像を縮小して、前記縮小された表示領域に表示することを特徴とする請求項4に記載の表示制御装置。
【請求項6】
前記切出し手段は、前記重要領域の空間解像度が最大となる符号化レイヤを復号して得られる重要領域の映像の縦又は横の画素数が、前記縮小された表示領域の縦又は横の画素数に満たない場合、前記重要領域の空間解像度が最大となる符号化レイヤを復号して得られる映像から、前記重要領域を含む、前記縮小された表示領域の大きさの領域を切出すことを特徴とする請求項4に記載の表示制御装置。
【請求項7】
前記復号手段は、前記重要領域を表現する符号化レイヤを復号して得られる前記重要領域の映像の縦又は横の画素数が、前記縮小された表示領域の縦又は横の画素数に満たない場合、前記複数の符号化レイヤの中から、復号して得られる前記重要領域の縦及び横の画素数が、前記表示領域の縦及び横の画素数以上となる1つの符号化レイヤを復号し、前記切出し手段は、該復号して得られる映像から前記重要領域の映像を切出し、前記表示手段は当該切出された重要領域の映像を前記縮小された表示領域の大きさに縮小して、前記縮小された表示領域に表示することを特徴とする請求項3に記載の表示制御装置。
【請求項8】
前記切出し手段は、前記縮小された表示領域のアスペクト比と、前記重要領域のアスペクト比が異なる場合は、前記縮小された表示領域のアスペクト比を有し、前記重要領域の映像の全体を含む領域を前記復号により得られる映像から切出して出力することを特徴とする請求項2乃至7のいずれか1項に記載の表示制御装置。
【請求項9】
前記復号手段は、符号化レイヤの1つを復号する際に下位の符号化レイヤを参照して復号し、
前記設定手段は、前記最小の領域が複数存在し、前記最小の領域の少なくとも1つが他の最小の領域と異なる領域を表現している場合、
前記複数の最小の領域のみを表現する符号化レイヤのうち、
(1)前記表示領域が縮小される前に前記表示領域に表示されていた映像を表現する符号化レイヤを復号時に参照する符号化レイヤ、又は(2)前記表示領域が縮小される前に前記表示領域に表示されていた映像を表現する符号化レイヤの復号時に参照される符号化レイヤが表現する領域を、前記重要領域として設定することを特徴とする請求項2乃至8のいずれか1項に記載の表示制御装置。
【請求項10】
複数の符号化レイヤから構成され、前記複数の符号化レイヤを選択的に復号することにより、同一映像コンテンツに係る、異なる空間解像度を有する復号映像を得ることが可能なスケーラブル符号化映像データであって、前記複数の符号化レイヤの各々の復号映像が、前記同一映像コンテンツ内の一部又は全ての領域を表現するスケーラブル符号化映像データを受信する受信工程と、
前記スケーラブル符号化映像データから、前記複数の符号化レイヤの各符号化レイヤが表現する映像の空間解像度を判別する判別工程と、
前記各符号化レイヤが表現する映像の空間解像度を同一にした場合の、前記各符号化レイヤが表現する前記映像コンテンツ内の領域の大きさを判別し、最小の領域を、前記映像コンテンツの重要領域として設定する設定工程とを備えることを特徴とする表示制御装置の制御方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate


【公開番号】特開2011−114724(P2011−114724A)
【公開日】平成23年6月9日(2011.6.9)
【国際特許分類】
【出願番号】特願2009−270787(P2009−270787)
【出願日】平成21年11月27日(2009.11.27)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】