映像合成装置及びプログラム
【課題】ピクチャ・イン・ピクチャ映像の特殊再生時の再生形態に対して、提供者の意図を反映した再生形態とすることを可能にする映像合成装置等を提供すること。
【解決手段】複数の映像データと、該複数の映像データの少なくとも１つに関する管理データが入力され、該複数の映像データの映像を合成したピクチャ・イン・ピクチャ形式の再生映像を出力する映像合成装置であって、管理データは、前記再生映像の特殊再生時の再生形態を指示する指示情報を含み、管理データから指示情報を読み出す読出手段と、読出手段により読み出された指示情報に従って、指示された再生形態で複数の映像データの映像を合成する合成手段と、を備え、指示情報は、ピクチャ・イン・ピクチャ形式の再生映像で、親画面の映像が特殊再生の間、子画面の映像が表示されるか否かを示した情報であることを特徴とする。
【解決手段】複数の映像データと、該複数の映像データの少なくとも１つに関する管理データが入力され、該複数の映像データの映像を合成したピクチャ・イン・ピクチャ形式の再生映像を出力する映像合成装置であって、管理データは、前記再生映像の特殊再生時の再生形態を指示する指示情報を含み、管理データから指示情報を読み出す読出手段と、読出手段により読み出された指示情報に従って、指示された再生形態で複数の映像データの映像を合成する合成手段と、を備え、指示情報は、ピクチャ・イン・ピクチャ形式の再生映像で、親画面の映像が特殊再生の間、子画面の映像が表示されるか否かを示した情報であることを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の映像データと、該複数の映像データの映像を合成したピクチャ・イン・ピクチャ形式の再生映像を出力する映像合成装置等に関する。
【背景技術】
【０００２】
ネットワークインフラの高速化や記録メディアの大容量化によって、ユーザやユーザが扱う映像機器が一度に扱える映像データの絶対量は飛躍的に増加している。それに伴い、複数の映像データを使って実現される様々な機能や、それらに基づく高度アプリケーションも登場しつつある。そのような機能の１つにピクチャ・イン・ピクチャとよばれる機能がある。「ピクチャ・イン・ピクチャ」は、画面（親画面）の中に小さな子画面を重ねて２つの映像を同時に表示する機能である。例えば、親画面の映像と別のアングルから撮影された映像を子画面中に表示する「マルチアングル表示」や、親画面の映像に関する付加情報をコメンタリ形式で表示する「コメンタリ表示」（例えば、映画に関する撮影秘話などを収録した監督のコメンタリ映像等を表示する）に用いられる。
【０００３】
このピクチャ・イン・ピクチャ機能は、例えば、図１７に示されるように、２つの映像データを２つの異なるレイヤ上にそれぞれ復号し、それらの復号映像を重ね合せることといった処理により実現される。
【０００４】
また、図１８はピクチャ・イン・ピクチャ機能における子画面の映像の表示形態の違いを示すもので、子画面には矩形映像１８０１の他、任意形状からなる映像１８０２が用いられることもある。ピクチャ・イン・ピクチャの機能及び実現方法については、例えば特許文献１等に記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−１２３７７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ピクチャ・イン・ピクチャでは、２つの映像が同時に再生されて表示される。このため、ピクチャ・イン・ピクチャ表示時に、例えば親画面の映像に対して高速再生などの特殊再生が指示された場合に、子画面の映像が親画面の映像に追従して特殊再生するのか、あるいは特殊再生しないのかといったことには従来制限がなく、再生機器の実装依存であった。従って、映像を提供する側で特殊再生時の動作を制限することはできなかった。ここで、特殊再生とは、２倍速、４倍速といった映像の高速再生の他、スロー再生、コマ送り再生、逆再生など、通常再生と異なった映像の再生形態のことをいう。
【０００７】
図１９に、映像コンテンツを提供者から消費者に配信する場合の代表的な３つのルート（放送、通信（ネットワーク）、パッケージ流通）を示す。また、複合的な配信手段として、基本部分を放送又はパッケージ流通で送り、追加分を通信（ネットワーク）で送るといったことも行われる。このようにしてピクチャ・イン・ピクチャを含んだ映像を提供者から消費者に配信する際、用途（アプリケーション）によっては、映像の提供者側でピクチャ・イン・ピクチャの特殊再生時の再生形態を提供者の意図した通りに指定したい要求がある。
【０００８】
例えば、子画面に表示される映像は特典映像であり、高速再生せずに最後まで視聴することを視聴条件として設定する、といった要求である。それに対して、従来のピクチャ・イン・ピクチャでは、特殊再生時の再生形態が上述のように再生機器側任せであり、提供者側のそのような要求を実現する方法がなかった。
【０００９】
本発明は上記の問題を鑑みてなされたものであり、ピクチャ・イン・ピクチャ映像の特殊再生時の再生形態に対して、提供者の意図を反映した再生形態とすることを可能にする映像合成装置等を提供するものである。
【課題を解決するための手段】
【００１０】
上述した課題を解決するために、本発明の映像合成装置は、複数の映像データと、該複数の映像データの少なくとも１つに関する管理データが入力され、該複数の映像データの映像を合成したピクチャ・イン・ピクチャ形式の再生映像を出力する映像合成装置であって、
前記管理データは、前記再生映像の特殊再生時の再生形態を指示する指示情報を含み、
前記管理データから前記指示情報を読み出す読出手段と、
前記読出手段により読み出された前記指示情報に従って、前記指示された再生形態で前記複数の映像データの映像を合成する合成手段と、
を備え、
前記指示情報は、前記ピクチャ・イン・ピクチャ形式の再生映像で、親画面の映像が特殊再生の間、子画面の映像が表示されるか否かを示した情報であることを特徴とする。
【００１１】
本発明の映像合成装置は、複数の映像データと、該複数の映像データの映像を合成したピクチャ・イン・ピクチャ形式の再生映像を出力する映像合成装置であって、
前記複数の映像データの少なくとも１つに前記再生映像の特殊再生時の再生形態を指示する指示情報を含み、
前記映像データから前記指示情報を読み出す読出手段と、
前記読出手段により読み出された前記指示情報に従って、前記指示された再生形態で前記複数の映像データの映像を合成する合成手段と、
を備え、
前記指示情報は、前記ピクチャ・イン・ピクチャ形式の再生映像で、親画面の映像が特殊再生の間、子画面の映像が表示されるか否かを示した情報であることを特徴とする。
【００１２】
また、本発明の映像合成装置において、前記指示情報は、前記ピクチャ・イン・ピクチャ形式の映像で親画面の映像が特殊再生の間、子画面の映像が表示されるか否かを示した情報に換えて、前記ピクチャ・イン・ピクチャ形式の再生映像で、親画面の映像が特殊再生の間、子画面の映像が特殊再生されるか否かを示した情報であることを特徴とする。
【００１３】
また、本発明の映像合成装置において、前記指示情報は、前記ピクチャ・イン・ピクチャ形式の映像で親画面の映像が特殊再生の間、子画面の映像が表示されるか否かを示した情報に換えて、前記ピクチャ・イン・ピクチャ形式の再生映像で、子画面の映像が特殊再生の間、親画面の映像が特殊再生されるか否かを示した情報であることを特徴とする。
【００１４】
本発明のプログラムは、複数の映像データと、該複数の映像データの少なくとも１つに関する管理データを読み出し、該複数の映像データの映像を合成したピクチャ・イン・ピクチャ形式の再生映像を出力する映像合成装置において実行されるプログラムであって、
前記管理データは、前記再生映像の特殊再生時の再生形態を指示する指示情報を含み、
前記映像合成装置は、
前記管理データから前記指示情報を読み出す読出手段と、
前記読出手段により読み出された前記指示情報に従って、前記指示された再生形態で前記複数の映像データの映像を合成する合成手段と、
を備え、
前記指示情報に従って、ピクチャ・イン・ピクチャ形式の再生映像で、親画面の映像が特殊再生の間、子画面の映像が表示されるか否かを前記合成手段に指示する制御を行う第１制御ステップを実現することを特徴とする。
【００１５】
本発明のプログラムは、複数の映像データを読み出し、該複数の映像データの映像を合成したピクチャ・イン・ピクチャ形式の再生映像を出力する映像合成装置において実行されるプログラムであって、
前記複数の映像データの少なくとも１つに前記再生映像の特殊再生時の再生形態を指示する指示情報を含み、
前記映像合成装置は、
前記少なくとも１つの映像データから前記指示情報を読み出す読出手段と、
前記読出手段により読み出された前記指示情報に従って、前記指示された再生形態で前記複数の映像データの映像を合成する合成手段と、
を備え、
前記指示情報に従って、ピクチャ・イン・ピクチャ形式の再生映像で、親画面の映像が特殊再生の間、子画面の映像が表示されるか否かを前記合成手段に指示する制御を行う第１制御ステップを実現することを特徴とする。
【００１６】
また、本発明のプログラムは、前記第１制御ステップに換えて、前記ピクチャ・イン・ピクチャ形式の再生映像で、親画面の映像が特殊再生の間、子画面の映像が特殊再生されるか否かを前記合成手段に指示する制御を行う第２制御ステップを実現することを特徴とする。
【００１７】
また、本発明のプログラムは、前記第１制御ステップに換えて、前記ピクチャ・イン・ピクチャ形式の再生映像で、子画面の映像が特殊再生の間、親画面の映像が特殊再生されるか否かを前記合成手段に指示する制御を行う第３制御ステップを実現することを特徴とする。
【００１８】
本発明のプログラムは、複数の映像データと、該複数の映像データの少なくとも１つに関する管理データを読み出し、該複数の映像データの映像を合成したピクチャ・イン・ピクチャ形式の再生映像を出力する映像合成装置において実行されるプログラムであって、
前記管理データは、前記再生映像の特殊再生時の再生形態を指示する指示情報を含み、
前記映像合成装置は、前記管理データから前記指示情報を読み出す読出手段を備え、
前記プログラムは、前記指示情報に従って、前記指示された再生形態で前記複数の映像データの映像を合成する合成ステップを含み、
前記指示情報は、前記ピクチャ・イン・ピクチャ形式の再生映像で、親画面の映像が特殊再生の間、子画面の映像が表示されるか否かを示した情報であることを特徴とする。
【００１９】
本発明のプログラムは、複数の映像データと、該複数の映像データの映像を合成したピクチャ・イン・ピクチャ形式の再生映像を出力する映像合成装置において実行されるプログラムであって、
前記複数の映像データの少なくとも１つに前記再生映像の特殊再生時の再生形態を指示する指示情報を含み、
前記映像合成装置は、前記少なくとも１つの映像データから前記指示情報を読み出す読出手段を備え、
前記プログラムは、前記指示情報に従って、前記指示された再生形態で前記複数の映像データの映像を合成する合成ステップを含み、
前記指示情報は、前記ピクチャ・イン・ピクチャ形式の再生映像で、親画面の映像が特殊再生の間、子画面の映像が表示されるか否かを示した情報であることを特徴とする。
【００２０】
また、本発明のプログラムにおいて、前記指示情報は、前記ピクチャ・イン・ピクチャ形式の映像で親画面の映像が特殊再生の間、子画面の映像が表示されるか否かを示した情報に換えて、前記ピクチャ・イン・ピクチャ形式の再生映像で、親画面の映像が特殊再生の間、子画面の映像が特殊再生されるか否かを示した情報であることを特徴とする。
【００２１】
また、本発明のプログラムにおいて、前記指示情報は、前記ピクチャ・イン・ピクチャ形式の映像で親画面の映像が特殊再生の間、子画面の映像が表示されるか否かを示した情報に換えて、前記ピクチャ・イン・ピクチャ形式の再生映像で、子画面の映像が特殊再生の間、親画面の映像が特殊再生されるか否かを示した情報であることを特徴とする。
【発明の効果】
【００２２】
本発明では、親画面の映像の特殊再生時における、子画面の映像の再生形態（親画面の特殊再生に追従させるか否か）を示した指示フラグを、子画面の映像の映像データ中に含める。あるいは、親画面、子画面の映像データと独立した管理データ内に格納する。こうして、映像データの配信時などに、指示フラグによる指示情報を映像データとともに扱う。映像合成装置では、上記格納された指示フラグを読み出して利用することにより、提供者の意図した通りにピクチャ・イン・ピクチャ時の特殊再生を行う（子画面映像を親画面映像と追従して特殊再生する、あるいは独立して再生する）ことが可能となる。その結果、ピクチャ・イン・ピクチャ時の再生形態が映像合成装置や再生機器の実装に不依存となる。
【図面の簡単な説明】
【００２３】
【図１】第１の実施形態にかかる映像再生装置の概略構成を示した機能ブロック図である。
【図２】第１の実施形態にかかる映像再生装置で、特殊再生時の再生形態を示した説明図である。
【図３】第１の実施形態にかかる映像再生装置で、特殊再生時の別の再生形態を示した図である。
【図４】第１の実施形態にかかる映像再生装置で、特殊再生時のさらに別の再生形態を示した説明図である。
【図５】第１の実施形態にかかる映像再生装置で、特殊再生時のさらに別の再生形態を示した説明図である。
【図６】第１の実施形態にかかる映像再生装置で扱われる指示フラグの値と特殊再生時の再生形態との対応関係を示した表である。
【図７】第１の実施形態にかかる映像データ生成装置の概略構成を示した機能ブロック図である。
【図８】第１の実施形態で扱われる映像データの概略構造を示した説明図である。
【図９】第１の実施形態にかかる映像再生装置の別の構成を示した機能ブロック図である。
【図１０】第１の実施形態で扱われる映像データの別の概略構造を示した説明図である。
【図１１】第１の実施形態にかかる映像再生装置のさらに別の構成を示した機能ブロック図である。
【図１２】第１の実施形態で再生される映像の画面表示例を示した説明図である。
【図１３】第２の実施形態にかかる映像再生装置の概略構成を示した機能ブロック図である。
【図１４】第３の実施形態にかかる映像再生装置の概略構成を示した機能ブロック図である。
【図１５】第３の実施形態にかかる映像データ生成装置の概略構成を示した機能ブロック図である。
【図１６】第３の実施形態で扱われる映像データの概略構造を示した説明図である。
【図１７】従来のピクチャ・イン・ピクチャ機能の実現方式を示した説明図である。
【図１８】従来のピクチャ・イン・ピクチャ機能を示した例である。
【図１９】従来の映像コンテンツの配信を説明した説明図である。
【発明を実施するための形態】
【００２４】
以下、図面を参照して本発明を実施するための形態について説明する。なお、以下の実施形態では、一例として、本発明における映像合成装置（プログラム）を、記録媒体を再生する映像再生装置に適用した場合について説明する。
【００２５】
（第１の実施形態）
まず、第１の実施形態にかかる映像再生装置を、図１乃至図１２を用いて説明する。
【００２６】
図１は、第１の実施形態にかかる映像再生装置１の概略構成を示した機能ブロック図である。映像再生装置１は、２つの映像データ（符号化映像ストリーム）を入力とし、それらを復号、復号映像を合成した映像を出力表示する。なお、本明細書では以下、ピクチャ・イン・ピクチャ表示において親画面に表示される映像を「メイン映像」、子画面として表示される映像を「サブ映像」と呼んで区別する。
【００２７】
映像再生装置１は、サブ映像の映像データから後述する指示フラグを読み出すためのフラグ読出部１０１、映像データそれぞれについて符号化データを復号するための復号部１０２と１０３、同じくそれぞれの復号映像を保持して合成タイミングに応じて出力するためのバッファ（ＢＦ）１０４と１０５、それら復号映像を合成するための合成部１０６、出力映像を表示する表示部１０７、ユーザからの入力を受け付ける入力部１０８、並びに、復号部１０２、１０３の復号処理を制御するための復号管理部１０９を備えて構成されている。また、上記合成部１０６には、サブ映像の復号映像について、合成用に表示サイズや表示位置を調整するための調整部１１０が含まれる。
【００２８】
本実施形態にかかる映像再生装置１では、フラグ読出部１０１において、後述する指示フラグが映像データから読み出されて出力される。実際の映像データの復号では、付随するオーディオデータの分離や、映像に付随する管理情報（映像の符号化方式を示す情報などデータの復号に必要な情報や、映像の時間的な切出しや連結を指定するプレイリスト情報など映像の再生に必要な情報等）の読み出しが必要な場合があるが、図１では説明の簡便のため、それらの分離、読み出しについては省略する。
【００２９】
まず初めに、フラグ読出部１０１で、サブ映像の映像データから、特殊再生時の再生形態を指示する指示フラグが読み出される。この読み出された指示フラグは、復号管理部１０９に入力されて、ピクチャ・イン・ピクチャ映像の特殊再生時に利用される。指示フラグの具体的内容については後で詳しく説明する。
【００３０】
まず、通常再生時の動作について説明する。通常再生の場合、メイン映像の映像データ及び（指示フラグ読み出し後の）サブ映像の映像データは、それぞれ復号部１０２、１０３に入力されて順次復号される。そして、復号された各映像は、バッファ（ＢＦ）１０４、１０５に一時蓄積されたのち、出力タイミングを調整された上で合成部１０６に送られる。
【００３１】
合成部１０６は、内部に調整部１１０を含んで構成されている。そして、合成部１０６に入力される２つの復号映像のうち、サブ映像にあたる復号映像がＢＦ１０５から調整部１１０に入力される。調整部１１０では、サブ映像をメイン映像へ重ね合せる前処理として、サブ映像の画像サイズの変更や表示位置の設定を行う。これらサブ映像（子画面）の画像サイズや表示位置の値は、合成パラメータとして映像再生装置１が予め持っているか、又は、ユーザによって入力される。あるいは、ユーザとのインタラクションを通して決定されるものであってもよい。こうして調整されたサブ映像は、ＢＦ１０４から入力されるメイン映像にあたる復号映像上に重ねて合成される。
【００３２】
なお、合成する際、サブ映像の透過度を設定して、メイン映像が透けて見えるようにしてもよい。この透過度も合成パラメータとして映像再生装置１が予め持っているか、もしくはユーザとのインタラクションを通して決定されることとなる。
【００３３】
こうして合成部１０６で合成されて出力されたピクチャ・イン・ピクチャ映像は、表示部１０７を通してモニタなどに表示される。
【００３４】
次に、特殊再生が指示された場合の動作について説明する。映像再生装置１は入力部１０８を備えており、ユーザからの特殊再生指示を受け付ける。入力部１０８は、特殊再生の指示入力を受け取ると、その指示内容を示す特殊再生指示情報に変換し、当該特殊再生指示情報を復号管理部１０９に送る。
【００３５】
復号管理部１０９には、入力部１０８からの特殊再生指示情報と共に、フラグ読出部１０１でサブ映像の映像データから読み出された特殊再生時の再生形態を示す指示フラグが入力されている。復号管理部１０９は、上記特殊再生指示情報を受け取ると、２つの復号部１０２、１０３、並びに合成部１０６の処理を制御して、図２から図５に示すような再生形態のいずれかでピクチャ・イン・ピクチャ時の特殊再生を実行する。この時、フラグ読出部１０１から入力された指示フラグは、どの再生形態で特殊再生するかを決定するために用いられる。
【００３６】
図２に示す再生形態（Ａ）は、メイン映像の特殊再生が指示された場合に、メイン映像に追従してサブ映像も特殊再生される再生形態を示したものである。この時、映像再生装置１の復号管理部１０９は、復号部１０２、１０３双方に対して、同期して特殊再生（のための復号処理の実行）を指示する。指示を受けた復号部１０２、１０３は、例えば高速再生の場合、復号するフレームデータを間引き、例えばＩフレームのみを復号して出力することで、メイン映像、サブ映像双方の高速再生を実現する。出力された復号映像は、通常再生の時と同様に合成部１０６に入力され、合成されて出力、表示される。
【００３７】
なお、このように同期して特殊再生するのを容易にするために、符号化時にＩフレームの挿入位置をメイン映像とサブ映像とで合せておくといった処理を加えてもよい。更に、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）規格で規定されたフレーム間予測符号化方式のデータ構造であるＧｏＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅ）構造まで含めて、メイン映像とサブ映像のデータ構造を合せるようにしてもよい。ＧｏＰ構造まで含めてメイン映像とサブ映像のデータ構造を合せることで、Ｐフレームなども含めた滑らかな特殊再生での同期が可能となる。
【００３８】
図３に示す再生形態（Ｂ）は、メイン映像の特殊再生が指示された場合に、メイン映像が特殊再生される間のサブ映像の出力を止め、通常再生に復帰後に、通常再生に復帰したメイン映像と同じ時刻位置からのサブ映像を再度合成して表示する再生形態を示したものである。この時、映像再生装置１の復号管理部１０９は、復号部１０２のみに特殊再生（のための復号処理の実行）を指示する。また、復号管理部１０９は、合成部１０６に、特殊再生の間、サブ映像の合成を止めるよう指示する。通常再生への復帰が指示されたら、復号管理部１０９は、復号部１０２に通用再生（のための復号処理の実行）を指示すると共に、復号部１０３に、通常再生に復帰したメイン映像と同じ時刻位置からサブ映像の映像データの復号を指示する。そして、通常再生復帰後は、メイン、サブの復号画像が合成部１０６に入力され、合成されて出力、表示される。
【００３９】
図２、図３の再生形態は、メイン映像とサブ映像とが同期して再生される場合を示した例である。即ち、図２、図３の再生形態では、メイン映像とサブ映像とが同一の時刻基準によって再生されている。
【００４０】
図４に示す再生形態（Ｃ）は、メイン映像の特殊再生が指示された場合に、メイン映像のみを特殊再生し、サブ映像は通常再生のまま再生し表示する再生形態を示したものである。この時、映像再生装置１の復号管理部１０９は、復号部１０２のみに特殊再生（のための復号処理の実行）を指示する。復号部１０３は通常再生のまま復号が行われる。そして、復号部１０２から出力された特殊再生されたメイン映像と、復号部１０３から出力された通常再生されたサブ映像とは、通常再生の時と同様に合成部１０６に入力され、合成されて出力、表示される。
【００４１】
図５に示す再生形態（Ｄ）は、メイン映像の特殊再生が指示された場合に、メイン映像が特殊再生される間のサブ映像の出力を止め、通常再生に復帰後に、停止した時間位置からのサブ映像を再度合成して表示する再生形態を示したものである。この時、映像再生装置１の復号管理部１０９は、復号部１０２のみに特殊再生（のための復号処理の実行）を指示する。また、復号管理部１０９は、合成部１０６に、特殊再生の間、サブ映像の合成を止めるよう指示する。通常再生への復帰が指示されたら、復号管理部１０９は、復号部１０２に通常再生（のための復号処理の実行）を指示すると共に、復号部１０３に、特殊再生が開始されてサブ映像の復号が停止された位置からのサブ映像の復号を指示する。そして、通常再生復帰後は、メイン映像とサブ映像とが合成部１０６に入力され、合成されて出力、表示される。
【００４２】
図４、図５の再生形態は、メイン映像とサブ映像との再生が特殊再生を行った時に非同期となる場合を示した例である。即ち、図４、図５の再生形態では、メイン映像とサブ映像とが異なる時刻基準によって再生される。
【００４３】
ここで、指示フラグについて説明する。フラグ読出部１０１で読み出され復号管理部１０９へ入力される指示フラグは、上記したどの再生形態で特殊再生するかを決定するために用いられる。即ち、サブ映像の映像データに含まれる指示フラグの値によって、サブ映像をメイン映像と同期させるか（図２、図３）、非同期とするか（図４、図５）を制御する。本明細書では、設定される指示フラグの例として、次の３種類を定義する。
【００４４】
「再生形態指示フラグ」：
メイン映像が特殊再生時、サブ映像を追従して特殊再生させるか、追従しないで独立に再生（例えば通常再生）させるかを示す２値のフラグ。
【００４５】
「追従再生禁止フラグ」：
メイン映像が特殊再生時、サブ映像が追従して特殊再生することを禁止する２値のフラグ。本フラグが「真」の時、サブ映像は常にメイン映像の特殊再生と独立に再生（例えば通常再生）される。
【００４６】
「独立再生禁止フラグ」：
メイン映像が特殊再生時、サブ映像がメイン映像に追従しないで独立に再生（例えば通常再生）することを禁止する２値のフラグ。本フラグが「真」の時、サブ映像は常にメイン映像に追従して特殊再生される。
【００４７】
映像データはこれらの指示フラグのいずれか１つ又は複数を含み、それあるいはそれらの値によって映像再生装置１におけるピクチャ・イン・ピクチャにおける特殊再生時の再生形態が決定される。図６の表に、それら指示フラグの値と、採り得る再生形態（Ａ）（図２）、再生形態（Ｃ）（図４）との具体的な対応関係を示した。
【００４８】
図６の表６０１は、再生形態指示フラグの値「独立」「追従」と、再生形態指示フラグが「独立」もしくは「追従」の時に映像再生装置１が採り得る再生形態との関係を示している。再生形態指示フラグが「独立」の場合、サブ映像はメイン映像の特殊再生に追従せず、独立した時間基準で通常再生される。再生形態指示フラグが「追従」の場合、サブ映像はメイン映像の特殊再生に追従して、同一の時間基準で特殊再生される。
【００４９】
なお、同期して特殊再生を行うことを容易にするために、符号化時にＩフレームの挿入位置をメイン映像とサブ映像とで合せるといった処理を加えている場合、このフラグの値は直接、Ｉフレーム位置を合せているか（フラグの値は「追従」）、合せていないか（フラグの値は「独立」）を表していると捉えることもできる。
【００５０】
図６の表６０２は、追従再生禁止フラグの値「真」「偽」と、追従再生禁止フラグが「真」もしくは「偽」の時に映像再生装置１が採り得る再生形態との関係を示している。追従再生禁止フラグが「真」の場合、サブ映像はメイン映像の特殊再生に追従せず、独立した時間基準で通常再生される。一方、追従再生禁止フラグが「偽」の時には、いずれの再生を映像再生装置１が行ってもよい。
【００５１】
また、図６の表６０３は、独立再生禁止フラグの値「真」「偽」と、独立再生禁止フラグが「真」もしくは「偽」の際に映像再生装置１が採り得る再生形態との関係を示している。独立再生禁止フラグが「真」の場合、サブ映像はメイン映像の特殊再生に追従して、同一の時間基準で特殊再生される。一方、独立再生禁止フラグが「偽」の時には、いずれの再生を映像再生装置１が行ってもよい。
【００５２】
なお、ここに示した指示フラグは一例であり、いずれも「０」、「１」の２値フラグであるが、多値からなるさらに複雑な指示フラグを定義して用いることも可能である。例えば、追従再生を禁止し独立再生を許可するフラグであって、かつ、図５のようにサブ映像の再生を止める形式での独立再生は禁止し、図４のようにサブ映像を通常再生し続ける形式の独立再生のみを許可する、といった指示フラグを設けることもできる。
【００５３】
言い換えれば、上記した、再生が「追従」か「独立」かを示す「０」、「１」の２値フラグ以外に、メイン映像が特殊再生時にサブ映像の表示を続けるか（図２、図４）、あるいはメイン映像が特殊再生時にはサブ映像を表示しないか（図３、図５）、を示した「表示」か「非表示」かを表す「０」、「１」の２値フラグを用意し、それらフラグの値の組合せによって図２から図５の再生形態（Ａ）〜（Ｄ）のいずれか１つを一意に指定することも可能である。前者（再生が「追従」か「独立」かを示すフラグ）を「再生指示フラグ」、後者（サブ映像が「表示」か「非表示」かを示すフラグ）を「表示指示フラグ」と呼んで区別してもよい。
【００５４】
例えば、再生指示フラグを「追従」とし、表示指示フラグを「表示」とすると、図２の再生形態（Ａ）が選ばれる。このような再生では、メイン映像に合成されたサブ映像が完全にメイン映像の一部であるように見せることができ、見かけ上、メイン映像とサブ映像の区別が付かないように見せる効果を持つ。このため、映像提供者がそのような効果を望む場合には、各指示フラグを上記のように設定する。反対に、サブ映像をメイン映像と異なる付加映像であることを明示したい場合には、再生指示フラグを「追従」とし、表示指示フラグを「非表示」として、図３の再生形態（Ｂ）を選ぶ。
【００５５】
また、再生指示フラグを「独立」とし、表示指示フラグを「表示」とすると、図４の再生形態（Ｃ）が選ばれる。これは、例えば、サブ映像１回の再生にかかる実再生時間が厳密に決められているような、優先度の極めて高いサブ映像に対して適用される再生形態であり、サブ映像１回の再生の間、サブ映像の再生を停止しない。一方、再生指示フラグを「独立」とし、表示指示フラグを「非表示」とした図５の再生形態（Ｄ）では、メイン映像が特殊再生の間、サブ映像の再生並びに表示を停止し、メイン映像が通常再生に復帰後に、停止位置から続きのサブ映像を再生し表示する。このため、機器を操作している間にうっかりサブ映像を見逃してしまうといった状況を回避できて、サブ映像を落ち着いて見せるのに適している。
【００５６】
このように、映像データに付随して与えられる指示フラグによって、映像再生装置１における特殊再生時の再生形態を指定することができる。この指示フラグは、映像データの提供者側でサブ映像の映像データを生成する際に付加される。
【００５７】
図７に、映像データ生成装置１１の概略構成を示す機能ブロック図を示した。映像データ生成装置１１は、符号化部７０１とフラグ設定部７０２、及びフラグ書込部７０３を含む。映像提供者の指示入力は、フラグ設定部７０２で指示フラグに変換される。入力された映像は、符号化部７０１で符号化されて映像データ（符号化映像ストリーム）に変換される。その後、フラグ書込部７０３を通して映像データ（符号化映像ストリーム）に指示フラグが格納される。
【００５８】
映像提供者は、指示フラグを映像データ（符号化映像ストリーム）に埋め込むことにより、提供者の意図した再生形態で映像再生装置でのピクチャ・イン・ピクチャの特殊再生を可能とする。また、図８に、図７の映像データ生成装置１１で生成される映像データの例を示し、特に指示フラグの埋込位置の例を示した。図８に示すように、指示フラグは、映像データ（符号化映像ストリーム）中のシーケンスヘッダに埋め込むか（８０１）、各パケットヘッダに埋め込むか（８０２）、又は、符号化映像ストリームに対する管理情報（プレイリスト情報など）が映像データ内に記録されている場合に、管理情報内に指示フラグを格納する（８０３）。但し、指示フラグの映像データ内の埋込位置はこれに限るものではない。
【００５９】
上記した第１の実施形態にかかる映像再生装置１では、入力された映像データ（符号化映像ストリーム）中に指示フラグが含まれている例を示したが、これに限られない。例えば、映像データのデータストリームと共に、映像データストリームを管理するための管理情報（映像の符号化方式を示す情報などデータの復号に必要な情報や、映像の時間的な切出しや連結を指定するプレイリスト情報など映像の再生に必要な情報）を記録したデータストリーム（管理データストリーム）が与えられ、それらが多重化された多重化データが入力される場合に、映像データストリームでなく管理データストリーム内に指示フラグが格納されて入力されることとしても良い。
【００６０】
また、上記した映像再生装置１に入力される映像データでは、指示フラグがサブ映像の映像データに含まれている例を示したが、これに限らず、メイン映像の映像データ側に指示フラグを格納して入力されることも想定される。その場合の指示フラグは、そのメイン映像の映像データに対して任意のサブ映像の映像データが組み合わされた時、そのメイン映像の特殊再生に対して任意のサブ映像が追従するか否かを示すフラグとなる。
【００６１】
図９に、それら入力パターンの違いを整理して図示した。９１、９２は、指示フラグを含む２つの映像データ（符号化映像ストリーム）を入力する場合を示したもので、９１は図１のαと同一のものである。９３、９４は、指示フラグを含む管理データ（ストリーム）を映像データ（ストリーム）と多重化した多重化データを入力する場合を示したものである。分離部９０３及び９０４は、多重化されたデータから管理データを分離する為の機能部である。なお、分離された管理データの扱いについてはここでは説明を省略する。また、９１、９３は指示フラグがサブ映像側の映像データ（もしくは対応する管理データ）に含まれる場合、９２、９４は指示フラグがメイン映像側の映像データ（もしくは対応する管理データ）に含まれる場合を示している。いずれも出力は２つの映像データと指示フラグであり、図１のα部分に置き換えて接続されるものである。
【００６２】
なお、図９の９３や９４では、多重化データが映像データと管理データの２つのデータストリームのみで構成されているように描いているが、実際にはオーディオのデータストリームなど他のデータストリームが多重化されていてもよい。図９では簡便のため、それらについては図示していない。
【００６３】
また、図１０は、多重化データを構成する映像データ（符号化映像ストリーム）及び管理データストリームの例を示した図である。図１０に示すように、指示フラグは、映像データ（符号化映像ストリーム）に関する再生管理情報（プレイリスト情報など）内に埋め込むか（１００１）、あるいは映像データ（符号化映像ストリーム）に関する復号管理情報（符号化方式情報など）に格納する（１００２）。ただし、指示フラグの管理データ内の埋込位置はこれに限るものではない。
【００６４】
図１の２つの復号部１０２と１０３とは、同一の復号能力を持ったものであってもよいし、それぞれ別個の復号能力を持ったものであってもよい。第１の実施形態にかかる映像再生装置１では、入力された時点でそれぞれの映像データが、メイン映像用の映像データであるか、サブ映像用の映像データであるかが決まっている。したがって、メイン映像よりも解像度が低い（画像サイズが小さい）サブ映像専用の映像データを定義することができ、そのような場合、サブ映像の映像データが入力される復号部１０３には、サブ映像専用の映像データ復号用に低解像度映像を復号する専用のものを用いることもできる。
【００６５】
また、図１の映像再生装置１において、入力される映像データが、符号化されていない映像データであるといったケースも想定され得る。その場合では、映像データの復号は必要でないため、復号部１０２、１０３は復号を行う機能ブロックではなく、入力された映像データを適宜切り分けて出力する機能ブロック（分離部１０２’、１０３’）に置換えられる。また、復号管理部１０９は、前記の機能ブロック（分離部１０２’、１０３’）が映像データを切り分けて出力するのを管理するための機能ブロック（分離管理部１０９’）に置換えられる。
【００６６】
また、図１に示した映像再生装置１の合成部１０６は、サブ映像の調整のみを行い、メイン映像の調整は行わない（即ちメイン映像は全画面表示）ものであった（図１１（ａ））が、合成部１０６はこれに限らず、図１１（ｂ）に示すように、メイン映像側にも調整部１１１０を設け、調整して出力する合成部１１０６に置き換えることもできる。図１２に、合成部１１０６に置き換えた場合の出力映像の例を示した。この場合、図１２の１２０２に示したようにメイン映像を任意の大きさに変更したり、あるいは１２０３に示したようにメイン、サブの２つの映像を重ね合わさずに、並べて２画面表示するといった画面構成にすることもできる。
【００６７】
本実施形態の映像再生装置では、ピクチャ・イン・ピクチャ表示用途以外に、図１２の１２０３に示したような２画面表示させる映像再生装置においても適用可能である。すなわち、指示フラグを映像データに埋め込むことで、一方の映像の特殊再生に対して他方の映像を追従して特殊再生させるか否かといった制御を加えることができ、映像提供者側の意図した２画面表示映像の特殊再生を行うことが可能となる。
【００６８】
上記した第１の実施形態にかかる映像再生装置１では、映像データと共に、ピクチャ・イン・ピクチャで特殊再生時の再生形態を示した情報である指示フラグが入力され、指示フラグに基づいて上記特殊再生時の再生形態が決定される。したがって、映像の提供者が映像データを生成する際に指示フラグを映像データに付随させて送ることにより、提供者の意図した再生形態でピクチャ・イン・ピクチャ再生時の特殊再生を映像再生装置に行わせることができる。
【００６９】
なお、本実施形態にかかる映像再生装置１、図９の９１の場合には、入力された時点で各映像データがメイン映像用か、サブ映像用かが決まっているが、サブ映像用として生成された映像データをメイン映像の映像データとして入力することもできる。その場合、映像データに格納されている指示フラグは無視される。また同様に、図９の９２の場合には、メイン映像用として生成された指示フラグを含む映像データをサブ映像の映像データとして入力することもできる。その場合にも、映像データに格納されている指示フラグは無視される。また、映像再生装置１にデフォルトの再生形態を設けて、指示フラグがメイン映像、サブ映像のいずれからも読み出されなかった場合に、デフォルトの再生形態で特殊再生するように設定してもよい。
【００７０】
また、上記第１の実施形態で説明した指示フラグは、メイン映像が特殊再生された際のサブ映像の挙動を示したフラグであるが、逆に、サブ映像の特殊再生が指示された場合のメイン映像の挙動を示す指示フラグを定義することもできる。このことについて以下の実施形態内では特に断らないが、他の実施形態についても同様に適用される。
【００７１】
また、サブ映像の挙動を示して映像提供者の意図を伝えるフラグとしては、上記特殊再生時の再生形態を示した指示フラグ以外に、サブ映像の移動・拡大を禁止するフラグなども合せて格納するようにしてもよい。このサブ映像の移動・拡大を禁止するフラグは、サブ映像の表示サイズ、表示位置がユーザによって変更可能である再生装置において適用される。サブ映像の拡大・移動を禁止するフラグの値が「真」であるとき、メイン映像に対してサブ映像の表示サイズ、表示位置を固定とし、ユーザの指示を受け付けなくする。
【００７２】
また、上記第１の実施形態の映像再生装置１では、特殊再生の実現方法として復号部の処理を制御する方法を示したが、特殊再生の実現方法はこれに限らない。例えば、高速再生の例では、上記実施形態で示した復号部で間引く処理以外にも、全てのフレームを復号した後で、バッファ１０４、１０５から出力される復号画像をタイミングの調整と合せて間引くといった方法でも高速再生を実現することができる。即ち、図１に示した映像再生装置１は特殊再生を実現するための装置の一構成形態であり、これ以外にも特殊再生を実現する装置構成をとることができ、それらについても同様に本実施形態の指示フラグによる特殊再生の制御を適用可能である。このことについても以下の実施形態内では特に断らないが、他の実施形態についても同様に適用される。
【００７３】
（第２の実施形態）
次に、第２の実施形態にかかる映像再生装置２を、図１３を用いて説明する。
【００７４】
図１３は、第２の実施形態にかかる映像再生装置２の概略構成を示した機能ブロック図である。映像再生装置２は、各映像データから指示フラグを読み出すためのフラグ読出部１３０１と１３０２、復号部１３０３と１３０４、バッファ（ＢＦ）１３０５と１３０６、合成部１３０７（調整部１３１２と１３１３を含む）、表示部１３０８、入力部１３０９、復号管理部１３１０、並びに、合成部１３０７で実行される合成処理を制御するための合成管理部１３１１とを備えて構成される。このうち、フラグ読出部１３０１、１３０２はいずれも図１に示したフラグ読出部１０１と同等の機能を持ち、また、復号部１３０３、１３０４、バッファ１３０５、１３０６、表示部１３０８はそれぞれ、図１に示した復号部１０２、１０３、バッファ１０４、１０５、表示部１０７と同等の機能を持つものである。さらに、調整部１３１２、１３１３は図１に示した調整部１１０と同等の機能を持つ。以下、第１の実施形態にかかる映像再生装置１との相違を中心に、第２の実施形態にかかる映像再生装置２の動作を説明する。
【００７５】
上記した第１の実施形態にかかる映像再生装置１では、２つの入力映像データについて、入力される段階で、いずれがメイン映像用でいずれがサブ映像用かが予め決められた上で入力されていた。これは、サブ映像専用の映像データ、例えば、メイン映像に対するおまけ映像や撮影秘話のちょっとしたコメンタリ映像など、メイン映像再生をしない映像データがある場合に最も有効である。
【００７６】
これに対して、第２の実施形態にかかる映像再生装置２は、２つの入力映像データについて、入力段階でメイン用かサブ用かに分けずに、入力後、映像の合成段階で２つの映像の合成を調整することでメイン映像、サブ映像を決定するようにしたものである。これは、頻繁にメイン映像再生とサブ映像再生を切り替えるような用途、例えば、マルチアングル表示で表示映像を頻繁に切り替えるような場合に最も有効となる。
【００７７】
このために、映像再生装置２は、映像再生装置１にない新たな機能ブロック、合成管理部１３１１を有している。
【００７８】
入力部１３０９は、特殊再生指示以外に、ユーザから、メイン映像、サブ映像を切り替える（いずれがメイン映像でいずれがサブ映像かを選択する）映像選択の指示を受け付ける。入力部１３０９は、映像選択の指示を受け取ると、映像選択指示情報を発行し、合成管理部１３１１に伝える。
【００７９】
合成管理部１３１１は、上記映像選択指示情報にていずれがメイン表示でいずれがサブ表示となるかを知り、それぞれの調整部１３１２、１３１３に対して、上記映像選択指示情報で示されたメイン映像表示、サブ映像表示に対応する合成パラメータを各々に送る。また、重ねる際の上下関係（メイン映像の上にサブ映像を重ねる）を合成部１３０７に通知する。また透過度の設定などを合せて送ってもよい。さらに、いずれがサブ映像として選択されているかを示した選択情報を復号管理部１３１０に送る。
【００８０】
フラグ読出部１３０１、１３０２では、入力されたそれぞれの映像データから指示フラグを読み出し、読み出された指示フラグのいずれも復号管理部１３１０に入力される。
【００８１】
復号管理部１３１０は、ユーザからの特殊再生指示を受けて入力部１３０９が発行した特殊再生指示情報を受け取ると、合成管理部１３１１から受け取っている上記選択情報（いずれがサブ映像として選択されているかを示した情報）を参照して、入力されている２つの指示フラグのうちサブ映像にあたる映像データの指示フラグを知り、該指示フラグに基づいて、第１の実施形態で示したのと同様にピクチャ・イン・ピクチャ再生時の特殊再生の再生形態を決定する。
【００８２】
映像再生装置２では、入力される２つの映像データはいずれもメイン映像、サブ映像として再生することが可能な映像データである。したがって、映像再生装置２では、復号部１３０３、１３０４は全く等価な機能を有する。
【００８３】
（第３の実施形態）
次に、第３の実施形態にかかる映像再生装置３を、図１４乃至図１６を用いて説明する。
【００８４】
図１４は、第３の実施形態にかかる映像再生装置３の概略構成を示した機能ブロック図である。映像再生装置３は、複数の映像データが多重化された多重化データを複数の映像データと管理データその他に分離するための分離部１４０１、管理データから指示フラグを読み出すフラグ読出部１４０２、２つの復号部１４０３と１４０４、２つのバッファ（ＢＦ）１４０５と１４０６、合成部１４０７（調整部１４１１を含む）、表示部１４０８、入力部１４０９、並びに復号管理部１４１０を備えて構成される。このうち、復号部１４０３、１４０４、バッファ１４０５、１４０６、合成部１４０７、調整部１４１１、表示部１４０８及び復号管理部１４１０はそれぞれ、図１に示した映像再生装置１の復号部１０２、１０３、バッファ１０４、１０５、合成部１０６、調整部１１０、表示部１０７及び復号管理部１０９と同等の機能を持つものである。即ち、第３の実施形態にかかる映像再生装置３は、第１の実施形態にかかる映像再生装置１と比べて、分離部１４０１、フラグ読出部１４０２（映像再生装置１ではフラグ読出部１０１）、及び入力部１４０９（映像再生装置１では入力部１０８）のみが異なっている。以下、第１、第２の実施形態にかかる映像再生装置１、２との相違を中心に、第３の実施形態にかかる映像再生装置３の動作を説明する。
【００８５】
上記した映像再生装置１及び２では、映像データ（符号化映像ストリーム）内、もしくは映像データと１対１に対応する管理データストリーム内に指示フラグが格納されており、その指示フラグは、対応する映像データに対して、その映像データがピクチャ・イン・ピクチャ再生でサブ映像表示される際の特殊再生時の再生形態を制御するものであった。それに対して、本第３の実施形態にかかる映像再生装置３は、複数の映像データ（符号化映像ストリーム）に対して、それらを管理する管理データストリームが独立して与えられる状況で、その管理データストリームに格納された指示フラグによってピクチャ・イン・ピクチャ再生での特殊再生時の再生形態を制御する。
【００８６】
即ち、映像再生装置３で扱われる指示フラグは、入力されたいずれかの映像データに対する再生形態を示すものではなく、一方がメイン映像データとして、他方がサブ映像データとして決定されたのちに、決定されたサブ映像の再生形態を制御するように動作する。このため、映像再生装置１では予めメイン映像、サブ映像の映像データが決定後に入力され、また、映像再生装置２では合成段階でメイン映像かサブ映像かが決定されるのに対して、映像再生装置３では、分離部１４０１で多重化データの分離時にいずれがメイン映像でいずれがサブ映像かが決定されて、復号部１４０３、１４０４以降の処理に引き継がれる。
【００８７】
本実施形態にかかる映像再生装置３は、２つの映像データ（符号化映像ストリーム）並びに指示フラグを含む管理データストリームが多重化された多重化データを入力として、２つの映像データの復号画像を合成した映像として表示するものである。図１５に、この入力される多重化データを生成するための映像データ生成装置３１の概略構成を示す機能ブロック図を示す。
【００８８】
図１５の映像データ生成装置３１は、２つの符号化部１５０１と１５０２、管理情報生成部１５０３、フラグ設定部１５０４、フラグ書込部１５０５、及び多重化部１５０６を備えて構成される。
【００８９】
入力された２つの映像は符号化部１５０１、１５０２でそれぞれ映像データ（符号化映像ストリーム）に変換される。フラグ設定部１５０４は映像提供者から指示される再生形態に対応した指示フラグを生成し、生成された指示フラグはフラグ書込部１５０５で、管理情報生成部１５０３で生成された管理情報（管理データストリーム）に書き込まれる。
【００９０】
管理データストリームに格納されている管理情報は、映像データ（符号化映像ストリーム）の符号化方式を示す情報など各映像データに対応して記録される情報（復号管理情報）や、映像の時間的な切出しと連結情報により複数の映像データの再生を指定するプレイリスト情報など共通の情報（再生管理情報）などが含まれる。
【００９１】
また、図１６に、図１５の映像データ生成装置３１で生成されるデータの多重化前のデータの例（指示フラグの埋込位置の例）を示す。図１６に示すように、指示フラグは、管理データストリームの共通の再生管理情報内に格納される（１６０１）。これらの映像データ、管理データは多重化部１５０６で多重化されて多重化データが形成される。
【００９２】
図１５に示した映像データ生成装置３１で生成される多重化データを入力した後、図１４の映像再生装置３の分離部１４０１の動作は次のようになる。
【００９３】
第２の実施形態の映像再生装置２と同様に、入力部１４０９は、ユーザから、メイン映像、サブ映像を切り替える（いずれがメイン映像でいずれがサブ映像かを選択する）映像選択の指示を受け付ける。入力部１４０９は、映像選択の指示を受け取ると、対応する映像選択指示情報を発行し、分離部１４０１に伝える。
【００９４】
分離部１４０１は、入力された多重化データを２つの映像データ並びに管理データに分離した後、上記受け取った映像選択指示情報に従って、メイン映像に指定された映像データを復号部１４０３に、サブ映像に指定された映像データを復号部１４０４に入力する。また、分離部１４０１から出力された管理データは、フラグ読出部１４０２に入力され、指示フラグが読み出される。読み出された指示フラグは、復号管理部１４１０に入力され、ピクチャ・イン・ピクチャ再生における特殊再生時の再生形態を制御する。以降は、第１の実施形態で説明したのと同様の動作となる。
【００９５】
なお、本第３の実施形態の図１４乃至図１６では、多重化データが映像データ（符号化映像ストリーム）及び管理データ（管理データストリーム）のみからなるように説明しているが、実際にはオーディオデータなどの他のデータが多重化されていることもある。ここでは説明の簡便のため、そのような映像データ及び管理データ以外のデータについては図示を省略した。
【００９６】
また、映像再生装置３に入力される映像データ（符号化データストリーム）及び管理データ（管理データストリーム）は多重化されて入力されるように図示したが、必ずしも多重化されている必要はない。２つの映像データ及び１つの管理データが別個のチャンネルを通して入力されて、それらを処理するように構成しても構わない。即ち、本第３の実施形態にかかる映像再生装置３は、いずれかの映像データに依存しない、複数の映像データに対して共通に扱える指示フラグが、管理データを通して装置に与えられることがポイントであり、それ以外ではない。
【００９７】
なお、上記した各実施形態では、放送や通信といった伝送路を経由して入力される映像データ（及び管理データ）が映像再生装置を通して直接再生される状況を想定して、各実施形態にかかる映像再生装置を説明したが、本発明が適用可能な状況はこれに限らず、例えば、映像データ（及び管理データ）が予め記録媒体に記録されており、記録媒体に記録された映像データ（及び管理データ）を逐次読み出して再生するといった状況においても同様に適用可能である。図１９のパッケージ流通における適用がそれにあたる。また、伝送路を経由して一旦記録媒体に記録された後、記録された映像データ（及び管理データ）を読み出して再生する状況についても同様である。即ち、本発明は、各実施形態で詳細に説明した指示フラグを含んだ映像データ、あるいは管理データが記録された記録媒体に対して、またそのような記録媒体を再生する映像再生装置に対しても、適用可能である。
【００９８】
また、各実施形態において説明した映像データ（あるいは管理データ）に格納される指示フラグは、ピクチャ・イン・ピクチャ映像の特殊再生時の再生形態について、映像提供者の意図を反映させるための固定の情報として記載した。しかしながら、この映像データ（あるいは管理データ）に格納される指示フラグを、再生側において、ユーザの再生時の好みを記録しておくためのフィールドとして利用することも可能である。あるいは、映像再生装置の再生能力によって制限される値に、上記指示フラグを映像再生装置側で書き換えるといったことも起こり得る。このような書き換えは、放送や通信などの伝送路を通して入力された映像データ（及び管理データ）を記録媒体に記録する際や、記録媒体から映像データ（及び管理データ）を逐次読み出して再生するといった際に、映像再生装置が指示フラグの格納フィールドの値を書き換えることで行われる。この書き換え処理は、ユーザが直接入力しても、あるいはＪａｖａ（登録商標）等のプログラムで動的に変更できるようにしてもよい。即ち、本発明は、指示フラグの値が最終的に何処で設定されたかに拘らず、各実施形態で詳細に説明した指示フラグを含む映像データ、あるいは管理データの映像再生装置に対して適用可能である。
【００９９】
なお、ここで開示された実施形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【０１００】
１ 映像再生装置
１０１ フラグ読出部
１０２、１０３ 復号部
１０４、１０５ バッファ（ＢＦ）
１０６ 合成部
１０７ 表示部
１０８ 入力部
１０９ 復号管理部
１１０ 調整部
【技術分野】
【０００１】
本発明は、複数の映像データと、該複数の映像データの映像を合成したピクチャ・イン・ピクチャ形式の再生映像を出力する映像合成装置等に関する。
【背景技術】
【０００２】
ネットワークインフラの高速化や記録メディアの大容量化によって、ユーザやユーザが扱う映像機器が一度に扱える映像データの絶対量は飛躍的に増加している。それに伴い、複数の映像データを使って実現される様々な機能や、それらに基づく高度アプリケーションも登場しつつある。そのような機能の１つにピクチャ・イン・ピクチャとよばれる機能がある。「ピクチャ・イン・ピクチャ」は、画面（親画面）の中に小さな子画面を重ねて２つの映像を同時に表示する機能である。例えば、親画面の映像と別のアングルから撮影された映像を子画面中に表示する「マルチアングル表示」や、親画面の映像に関する付加情報をコメンタリ形式で表示する「コメンタリ表示」（例えば、映画に関する撮影秘話などを収録した監督のコメンタリ映像等を表示する）に用いられる。
【０００３】
このピクチャ・イン・ピクチャ機能は、例えば、図１７に示されるように、２つの映像データを２つの異なるレイヤ上にそれぞれ復号し、それらの復号映像を重ね合せることといった処理により実現される。
【０００４】
また、図１８はピクチャ・イン・ピクチャ機能における子画面の映像の表示形態の違いを示すもので、子画面には矩形映像１８０１の他、任意形状からなる映像１８０２が用いられることもある。ピクチャ・イン・ピクチャの機能及び実現方法については、例えば特許文献１等に記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−１２３７７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ピクチャ・イン・ピクチャでは、２つの映像が同時に再生されて表示される。このため、ピクチャ・イン・ピクチャ表示時に、例えば親画面の映像に対して高速再生などの特殊再生が指示された場合に、子画面の映像が親画面の映像に追従して特殊再生するのか、あるいは特殊再生しないのかといったことには従来制限がなく、再生機器の実装依存であった。従って、映像を提供する側で特殊再生時の動作を制限することはできなかった。ここで、特殊再生とは、２倍速、４倍速といった映像の高速再生の他、スロー再生、コマ送り再生、逆再生など、通常再生と異なった映像の再生形態のことをいう。
【０００７】
図１９に、映像コンテンツを提供者から消費者に配信する場合の代表的な３つのルート（放送、通信（ネットワーク）、パッケージ流通）を示す。また、複合的な配信手段として、基本部分を放送又はパッケージ流通で送り、追加分を通信（ネットワーク）で送るといったことも行われる。このようにしてピクチャ・イン・ピクチャを含んだ映像を提供者から消費者に配信する際、用途（アプリケーション）によっては、映像の提供者側でピクチャ・イン・ピクチャの特殊再生時の再生形態を提供者の意図した通りに指定したい要求がある。
【０００８】
例えば、子画面に表示される映像は特典映像であり、高速再生せずに最後まで視聴することを視聴条件として設定する、といった要求である。それに対して、従来のピクチャ・イン・ピクチャでは、特殊再生時の再生形態が上述のように再生機器側任せであり、提供者側のそのような要求を実現する方法がなかった。
【０００９】
本発明は上記の問題を鑑みてなされたものであり、ピクチャ・イン・ピクチャ映像の特殊再生時の再生形態に対して、提供者の意図を反映した再生形態とすることを可能にする映像合成装置等を提供するものである。
【課題を解決するための手段】
【００１０】
上述した課題を解決するために、本発明の映像合成装置は、複数の映像データと、該複数の映像データの少なくとも１つに関する管理データが入力され、該複数の映像データの映像を合成したピクチャ・イン・ピクチャ形式の再生映像を出力する映像合成装置であって、
前記管理データは、前記再生映像の特殊再生時の再生形態を指示する指示情報を含み、
前記管理データから前記指示情報を読み出す読出手段と、
前記読出手段により読み出された前記指示情報に従って、前記指示された再生形態で前記複数の映像データの映像を合成する合成手段と、
を備え、
前記指示情報は、前記ピクチャ・イン・ピクチャ形式の再生映像で、親画面の映像が特殊再生の間、子画面の映像が表示されるか否かを示した情報であることを特徴とする。
【００１１】
本発明の映像合成装置は、複数の映像データと、該複数の映像データの映像を合成したピクチャ・イン・ピクチャ形式の再生映像を出力する映像合成装置であって、
前記複数の映像データの少なくとも１つに前記再生映像の特殊再生時の再生形態を指示する指示情報を含み、
前記映像データから前記指示情報を読み出す読出手段と、
前記読出手段により読み出された前記指示情報に従って、前記指示された再生形態で前記複数の映像データの映像を合成する合成手段と、
を備え、
前記指示情報は、前記ピクチャ・イン・ピクチャ形式の再生映像で、親画面の映像が特殊再生の間、子画面の映像が表示されるか否かを示した情報であることを特徴とする。
【００１２】
また、本発明の映像合成装置において、前記指示情報は、前記ピクチャ・イン・ピクチャ形式の映像で親画面の映像が特殊再生の間、子画面の映像が表示されるか否かを示した情報に換えて、前記ピクチャ・イン・ピクチャ形式の再生映像で、親画面の映像が特殊再生の間、子画面の映像が特殊再生されるか否かを示した情報であることを特徴とする。
【００１３】
また、本発明の映像合成装置において、前記指示情報は、前記ピクチャ・イン・ピクチャ形式の映像で親画面の映像が特殊再生の間、子画面の映像が表示されるか否かを示した情報に換えて、前記ピクチャ・イン・ピクチャ形式の再生映像で、子画面の映像が特殊再生の間、親画面の映像が特殊再生されるか否かを示した情報であることを特徴とする。
【００１４】
本発明のプログラムは、複数の映像データと、該複数の映像データの少なくとも１つに関する管理データを読み出し、該複数の映像データの映像を合成したピクチャ・イン・ピクチャ形式の再生映像を出力する映像合成装置において実行されるプログラムであって、
前記管理データは、前記再生映像の特殊再生時の再生形態を指示する指示情報を含み、
前記映像合成装置は、
前記管理データから前記指示情報を読み出す読出手段と、
前記読出手段により読み出された前記指示情報に従って、前記指示された再生形態で前記複数の映像データの映像を合成する合成手段と、
を備え、
前記指示情報に従って、ピクチャ・イン・ピクチャ形式の再生映像で、親画面の映像が特殊再生の間、子画面の映像が表示されるか否かを前記合成手段に指示する制御を行う第１制御ステップを実現することを特徴とする。
【００１５】
本発明のプログラムは、複数の映像データを読み出し、該複数の映像データの映像を合成したピクチャ・イン・ピクチャ形式の再生映像を出力する映像合成装置において実行されるプログラムであって、
前記複数の映像データの少なくとも１つに前記再生映像の特殊再生時の再生形態を指示する指示情報を含み、
前記映像合成装置は、
前記少なくとも１つの映像データから前記指示情報を読み出す読出手段と、
前記読出手段により読み出された前記指示情報に従って、前記指示された再生形態で前記複数の映像データの映像を合成する合成手段と、
を備え、
前記指示情報に従って、ピクチャ・イン・ピクチャ形式の再生映像で、親画面の映像が特殊再生の間、子画面の映像が表示されるか否かを前記合成手段に指示する制御を行う第１制御ステップを実現することを特徴とする。
【００１６】
また、本発明のプログラムは、前記第１制御ステップに換えて、前記ピクチャ・イン・ピクチャ形式の再生映像で、親画面の映像が特殊再生の間、子画面の映像が特殊再生されるか否かを前記合成手段に指示する制御を行う第２制御ステップを実現することを特徴とする。
【００１７】
また、本発明のプログラムは、前記第１制御ステップに換えて、前記ピクチャ・イン・ピクチャ形式の再生映像で、子画面の映像が特殊再生の間、親画面の映像が特殊再生されるか否かを前記合成手段に指示する制御を行う第３制御ステップを実現することを特徴とする。
【００１８】
本発明のプログラムは、複数の映像データと、該複数の映像データの少なくとも１つに関する管理データを読み出し、該複数の映像データの映像を合成したピクチャ・イン・ピクチャ形式の再生映像を出力する映像合成装置において実行されるプログラムであって、
前記管理データは、前記再生映像の特殊再生時の再生形態を指示する指示情報を含み、
前記映像合成装置は、前記管理データから前記指示情報を読み出す読出手段を備え、
前記プログラムは、前記指示情報に従って、前記指示された再生形態で前記複数の映像データの映像を合成する合成ステップを含み、
前記指示情報は、前記ピクチャ・イン・ピクチャ形式の再生映像で、親画面の映像が特殊再生の間、子画面の映像が表示されるか否かを示した情報であることを特徴とする。
【００１９】
本発明のプログラムは、複数の映像データと、該複数の映像データの映像を合成したピクチャ・イン・ピクチャ形式の再生映像を出力する映像合成装置において実行されるプログラムであって、
前記複数の映像データの少なくとも１つに前記再生映像の特殊再生時の再生形態を指示する指示情報を含み、
前記映像合成装置は、前記少なくとも１つの映像データから前記指示情報を読み出す読出手段を備え、
前記プログラムは、前記指示情報に従って、前記指示された再生形態で前記複数の映像データの映像を合成する合成ステップを含み、
前記指示情報は、前記ピクチャ・イン・ピクチャ形式の再生映像で、親画面の映像が特殊再生の間、子画面の映像が表示されるか否かを示した情報であることを特徴とする。
【００２０】
また、本発明のプログラムにおいて、前記指示情報は、前記ピクチャ・イン・ピクチャ形式の映像で親画面の映像が特殊再生の間、子画面の映像が表示されるか否かを示した情報に換えて、前記ピクチャ・イン・ピクチャ形式の再生映像で、親画面の映像が特殊再生の間、子画面の映像が特殊再生されるか否かを示した情報であることを特徴とする。
【００２１】
また、本発明のプログラムにおいて、前記指示情報は、前記ピクチャ・イン・ピクチャ形式の映像で親画面の映像が特殊再生の間、子画面の映像が表示されるか否かを示した情報に換えて、前記ピクチャ・イン・ピクチャ形式の再生映像で、子画面の映像が特殊再生の間、親画面の映像が特殊再生されるか否かを示した情報であることを特徴とする。
【発明の効果】
【００２２】
本発明では、親画面の映像の特殊再生時における、子画面の映像の再生形態（親画面の特殊再生に追従させるか否か）を示した指示フラグを、子画面の映像の映像データ中に含める。あるいは、親画面、子画面の映像データと独立した管理データ内に格納する。こうして、映像データの配信時などに、指示フラグによる指示情報を映像データとともに扱う。映像合成装置では、上記格納された指示フラグを読み出して利用することにより、提供者の意図した通りにピクチャ・イン・ピクチャ時の特殊再生を行う（子画面映像を親画面映像と追従して特殊再生する、あるいは独立して再生する）ことが可能となる。その結果、ピクチャ・イン・ピクチャ時の再生形態が映像合成装置や再生機器の実装に不依存となる。
【図面の簡単な説明】
【００２３】
【図１】第１の実施形態にかかる映像再生装置の概略構成を示した機能ブロック図である。
【図２】第１の実施形態にかかる映像再生装置で、特殊再生時の再生形態を示した説明図である。
【図３】第１の実施形態にかかる映像再生装置で、特殊再生時の別の再生形態を示した図である。
【図４】第１の実施形態にかかる映像再生装置で、特殊再生時のさらに別の再生形態を示した説明図である。
【図５】第１の実施形態にかかる映像再生装置で、特殊再生時のさらに別の再生形態を示した説明図である。
【図６】第１の実施形態にかかる映像再生装置で扱われる指示フラグの値と特殊再生時の再生形態との対応関係を示した表である。
【図７】第１の実施形態にかかる映像データ生成装置の概略構成を示した機能ブロック図である。
【図８】第１の実施形態で扱われる映像データの概略構造を示した説明図である。
【図９】第１の実施形態にかかる映像再生装置の別の構成を示した機能ブロック図である。
【図１０】第１の実施形態で扱われる映像データの別の概略構造を示した説明図である。
【図１１】第１の実施形態にかかる映像再生装置のさらに別の構成を示した機能ブロック図である。
【図１２】第１の実施形態で再生される映像の画面表示例を示した説明図である。
【図１３】第２の実施形態にかかる映像再生装置の概略構成を示した機能ブロック図である。
【図１４】第３の実施形態にかかる映像再生装置の概略構成を示した機能ブロック図である。
【図１５】第３の実施形態にかかる映像データ生成装置の概略構成を示した機能ブロック図である。
【図１６】第３の実施形態で扱われる映像データの概略構造を示した説明図である。
【図１７】従来のピクチャ・イン・ピクチャ機能の実現方式を示した説明図である。
【図１８】従来のピクチャ・イン・ピクチャ機能を示した例である。
【図１９】従来の映像コンテンツの配信を説明した説明図である。
【発明を実施するための形態】
【００２４】
以下、図面を参照して本発明を実施するための形態について説明する。なお、以下の実施形態では、一例として、本発明における映像合成装置（プログラム）を、記録媒体を再生する映像再生装置に適用した場合について説明する。
【００２５】
（第１の実施形態）
まず、第１の実施形態にかかる映像再生装置を、図１乃至図１２を用いて説明する。
【００２６】
図１は、第１の実施形態にかかる映像再生装置１の概略構成を示した機能ブロック図である。映像再生装置１は、２つの映像データ（符号化映像ストリーム）を入力とし、それらを復号、復号映像を合成した映像を出力表示する。なお、本明細書では以下、ピクチャ・イン・ピクチャ表示において親画面に表示される映像を「メイン映像」、子画面として表示される映像を「サブ映像」と呼んで区別する。
【００２７】
映像再生装置１は、サブ映像の映像データから後述する指示フラグを読み出すためのフラグ読出部１０１、映像データそれぞれについて符号化データを復号するための復号部１０２と１０３、同じくそれぞれの復号映像を保持して合成タイミングに応じて出力するためのバッファ（ＢＦ）１０４と１０５、それら復号映像を合成するための合成部１０６、出力映像を表示する表示部１０７、ユーザからの入力を受け付ける入力部１０８、並びに、復号部１０２、１０３の復号処理を制御するための復号管理部１０９を備えて構成されている。また、上記合成部１０６には、サブ映像の復号映像について、合成用に表示サイズや表示位置を調整するための調整部１１０が含まれる。
【００２８】
本実施形態にかかる映像再生装置１では、フラグ読出部１０１において、後述する指示フラグが映像データから読み出されて出力される。実際の映像データの復号では、付随するオーディオデータの分離や、映像に付随する管理情報（映像の符号化方式を示す情報などデータの復号に必要な情報や、映像の時間的な切出しや連結を指定するプレイリスト情報など映像の再生に必要な情報等）の読み出しが必要な場合があるが、図１では説明の簡便のため、それらの分離、読み出しについては省略する。
【００２９】
まず初めに、フラグ読出部１０１で、サブ映像の映像データから、特殊再生時の再生形態を指示する指示フラグが読み出される。この読み出された指示フラグは、復号管理部１０９に入力されて、ピクチャ・イン・ピクチャ映像の特殊再生時に利用される。指示フラグの具体的内容については後で詳しく説明する。
【００３０】
まず、通常再生時の動作について説明する。通常再生の場合、メイン映像の映像データ及び（指示フラグ読み出し後の）サブ映像の映像データは、それぞれ復号部１０２、１０３に入力されて順次復号される。そして、復号された各映像は、バッファ（ＢＦ）１０４、１０５に一時蓄積されたのち、出力タイミングを調整された上で合成部１０６に送られる。
【００３１】
合成部１０６は、内部に調整部１１０を含んで構成されている。そして、合成部１０６に入力される２つの復号映像のうち、サブ映像にあたる復号映像がＢＦ１０５から調整部１１０に入力される。調整部１１０では、サブ映像をメイン映像へ重ね合せる前処理として、サブ映像の画像サイズの変更や表示位置の設定を行う。これらサブ映像（子画面）の画像サイズや表示位置の値は、合成パラメータとして映像再生装置１が予め持っているか、又は、ユーザによって入力される。あるいは、ユーザとのインタラクションを通して決定されるものであってもよい。こうして調整されたサブ映像は、ＢＦ１０４から入力されるメイン映像にあたる復号映像上に重ねて合成される。
【００３２】
なお、合成する際、サブ映像の透過度を設定して、メイン映像が透けて見えるようにしてもよい。この透過度も合成パラメータとして映像再生装置１が予め持っているか、もしくはユーザとのインタラクションを通して決定されることとなる。
【００３３】
こうして合成部１０６で合成されて出力されたピクチャ・イン・ピクチャ映像は、表示部１０７を通してモニタなどに表示される。
【００３４】
次に、特殊再生が指示された場合の動作について説明する。映像再生装置１は入力部１０８を備えており、ユーザからの特殊再生指示を受け付ける。入力部１０８は、特殊再生の指示入力を受け取ると、その指示内容を示す特殊再生指示情報に変換し、当該特殊再生指示情報を復号管理部１０９に送る。
【００３５】
復号管理部１０９には、入力部１０８からの特殊再生指示情報と共に、フラグ読出部１０１でサブ映像の映像データから読み出された特殊再生時の再生形態を示す指示フラグが入力されている。復号管理部１０９は、上記特殊再生指示情報を受け取ると、２つの復号部１０２、１０３、並びに合成部１０６の処理を制御して、図２から図５に示すような再生形態のいずれかでピクチャ・イン・ピクチャ時の特殊再生を実行する。この時、フラグ読出部１０１から入力された指示フラグは、どの再生形態で特殊再生するかを決定するために用いられる。
【００３６】
図２に示す再生形態（Ａ）は、メイン映像の特殊再生が指示された場合に、メイン映像に追従してサブ映像も特殊再生される再生形態を示したものである。この時、映像再生装置１の復号管理部１０９は、復号部１０２、１０３双方に対して、同期して特殊再生（のための復号処理の実行）を指示する。指示を受けた復号部１０２、１０３は、例えば高速再生の場合、復号するフレームデータを間引き、例えばＩフレームのみを復号して出力することで、メイン映像、サブ映像双方の高速再生を実現する。出力された復号映像は、通常再生の時と同様に合成部１０６に入力され、合成されて出力、表示される。
【００３７】
なお、このように同期して特殊再生するのを容易にするために、符号化時にＩフレームの挿入位置をメイン映像とサブ映像とで合せておくといった処理を加えてもよい。更に、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）規格で規定されたフレーム間予測符号化方式のデータ構造であるＧｏＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅ）構造まで含めて、メイン映像とサブ映像のデータ構造を合せるようにしてもよい。ＧｏＰ構造まで含めてメイン映像とサブ映像のデータ構造を合せることで、Ｐフレームなども含めた滑らかな特殊再生での同期が可能となる。
【００３８】
図３に示す再生形態（Ｂ）は、メイン映像の特殊再生が指示された場合に、メイン映像が特殊再生される間のサブ映像の出力を止め、通常再生に復帰後に、通常再生に復帰したメイン映像と同じ時刻位置からのサブ映像を再度合成して表示する再生形態を示したものである。この時、映像再生装置１の復号管理部１０９は、復号部１０２のみに特殊再生（のための復号処理の実行）を指示する。また、復号管理部１０９は、合成部１０６に、特殊再生の間、サブ映像の合成を止めるよう指示する。通常再生への復帰が指示されたら、復号管理部１０９は、復号部１０２に通用再生（のための復号処理の実行）を指示すると共に、復号部１０３に、通常再生に復帰したメイン映像と同じ時刻位置からサブ映像の映像データの復号を指示する。そして、通常再生復帰後は、メイン、サブの復号画像が合成部１０６に入力され、合成されて出力、表示される。
【００３９】
図２、図３の再生形態は、メイン映像とサブ映像とが同期して再生される場合を示した例である。即ち、図２、図３の再生形態では、メイン映像とサブ映像とが同一の時刻基準によって再生されている。
【００４０】
図４に示す再生形態（Ｃ）は、メイン映像の特殊再生が指示された場合に、メイン映像のみを特殊再生し、サブ映像は通常再生のまま再生し表示する再生形態を示したものである。この時、映像再生装置１の復号管理部１０９は、復号部１０２のみに特殊再生（のための復号処理の実行）を指示する。復号部１０３は通常再生のまま復号が行われる。そして、復号部１０２から出力された特殊再生されたメイン映像と、復号部１０３から出力された通常再生されたサブ映像とは、通常再生の時と同様に合成部１０６に入力され、合成されて出力、表示される。
【００４１】
図５に示す再生形態（Ｄ）は、メイン映像の特殊再生が指示された場合に、メイン映像が特殊再生される間のサブ映像の出力を止め、通常再生に復帰後に、停止した時間位置からのサブ映像を再度合成して表示する再生形態を示したものである。この時、映像再生装置１の復号管理部１０９は、復号部１０２のみに特殊再生（のための復号処理の実行）を指示する。また、復号管理部１０９は、合成部１０６に、特殊再生の間、サブ映像の合成を止めるよう指示する。通常再生への復帰が指示されたら、復号管理部１０９は、復号部１０２に通常再生（のための復号処理の実行）を指示すると共に、復号部１０３に、特殊再生が開始されてサブ映像の復号が停止された位置からのサブ映像の復号を指示する。そして、通常再生復帰後は、メイン映像とサブ映像とが合成部１０６に入力され、合成されて出力、表示される。
【００４２】
図４、図５の再生形態は、メイン映像とサブ映像との再生が特殊再生を行った時に非同期となる場合を示した例である。即ち、図４、図５の再生形態では、メイン映像とサブ映像とが異なる時刻基準によって再生される。
【００４３】
ここで、指示フラグについて説明する。フラグ読出部１０１で読み出され復号管理部１０９へ入力される指示フラグは、上記したどの再生形態で特殊再生するかを決定するために用いられる。即ち、サブ映像の映像データに含まれる指示フラグの値によって、サブ映像をメイン映像と同期させるか（図２、図３）、非同期とするか（図４、図５）を制御する。本明細書では、設定される指示フラグの例として、次の３種類を定義する。
【００４４】
「再生形態指示フラグ」：
メイン映像が特殊再生時、サブ映像を追従して特殊再生させるか、追従しないで独立に再生（例えば通常再生）させるかを示す２値のフラグ。
【００４５】
「追従再生禁止フラグ」：
メイン映像が特殊再生時、サブ映像が追従して特殊再生することを禁止する２値のフラグ。本フラグが「真」の時、サブ映像は常にメイン映像の特殊再生と独立に再生（例えば通常再生）される。
【００４６】
「独立再生禁止フラグ」：
メイン映像が特殊再生時、サブ映像がメイン映像に追従しないで独立に再生（例えば通常再生）することを禁止する２値のフラグ。本フラグが「真」の時、サブ映像は常にメイン映像に追従して特殊再生される。
【００４７】
映像データはこれらの指示フラグのいずれか１つ又は複数を含み、それあるいはそれらの値によって映像再生装置１におけるピクチャ・イン・ピクチャにおける特殊再生時の再生形態が決定される。図６の表に、それら指示フラグの値と、採り得る再生形態（Ａ）（図２）、再生形態（Ｃ）（図４）との具体的な対応関係を示した。
【００４８】
図６の表６０１は、再生形態指示フラグの値「独立」「追従」と、再生形態指示フラグが「独立」もしくは「追従」の時に映像再生装置１が採り得る再生形態との関係を示している。再生形態指示フラグが「独立」の場合、サブ映像はメイン映像の特殊再生に追従せず、独立した時間基準で通常再生される。再生形態指示フラグが「追従」の場合、サブ映像はメイン映像の特殊再生に追従して、同一の時間基準で特殊再生される。
【００４９】
なお、同期して特殊再生を行うことを容易にするために、符号化時にＩフレームの挿入位置をメイン映像とサブ映像とで合せるといった処理を加えている場合、このフラグの値は直接、Ｉフレーム位置を合せているか（フラグの値は「追従」）、合せていないか（フラグの値は「独立」）を表していると捉えることもできる。
【００５０】
図６の表６０２は、追従再生禁止フラグの値「真」「偽」と、追従再生禁止フラグが「真」もしくは「偽」の時に映像再生装置１が採り得る再生形態との関係を示している。追従再生禁止フラグが「真」の場合、サブ映像はメイン映像の特殊再生に追従せず、独立した時間基準で通常再生される。一方、追従再生禁止フラグが「偽」の時には、いずれの再生を映像再生装置１が行ってもよい。
【００５１】
また、図６の表６０３は、独立再生禁止フラグの値「真」「偽」と、独立再生禁止フラグが「真」もしくは「偽」の際に映像再生装置１が採り得る再生形態との関係を示している。独立再生禁止フラグが「真」の場合、サブ映像はメイン映像の特殊再生に追従して、同一の時間基準で特殊再生される。一方、独立再生禁止フラグが「偽」の時には、いずれの再生を映像再生装置１が行ってもよい。
【００５２】
なお、ここに示した指示フラグは一例であり、いずれも「０」、「１」の２値フラグであるが、多値からなるさらに複雑な指示フラグを定義して用いることも可能である。例えば、追従再生を禁止し独立再生を許可するフラグであって、かつ、図５のようにサブ映像の再生を止める形式での独立再生は禁止し、図４のようにサブ映像を通常再生し続ける形式の独立再生のみを許可する、といった指示フラグを設けることもできる。
【００５３】
言い換えれば、上記した、再生が「追従」か「独立」かを示す「０」、「１」の２値フラグ以外に、メイン映像が特殊再生時にサブ映像の表示を続けるか（図２、図４）、あるいはメイン映像が特殊再生時にはサブ映像を表示しないか（図３、図５）、を示した「表示」か「非表示」かを表す「０」、「１」の２値フラグを用意し、それらフラグの値の組合せによって図２から図５の再生形態（Ａ）〜（Ｄ）のいずれか１つを一意に指定することも可能である。前者（再生が「追従」か「独立」かを示すフラグ）を「再生指示フラグ」、後者（サブ映像が「表示」か「非表示」かを示すフラグ）を「表示指示フラグ」と呼んで区別してもよい。
【００５４】
例えば、再生指示フラグを「追従」とし、表示指示フラグを「表示」とすると、図２の再生形態（Ａ）が選ばれる。このような再生では、メイン映像に合成されたサブ映像が完全にメイン映像の一部であるように見せることができ、見かけ上、メイン映像とサブ映像の区別が付かないように見せる効果を持つ。このため、映像提供者がそのような効果を望む場合には、各指示フラグを上記のように設定する。反対に、サブ映像をメイン映像と異なる付加映像であることを明示したい場合には、再生指示フラグを「追従」とし、表示指示フラグを「非表示」として、図３の再生形態（Ｂ）を選ぶ。
【００５５】
また、再生指示フラグを「独立」とし、表示指示フラグを「表示」とすると、図４の再生形態（Ｃ）が選ばれる。これは、例えば、サブ映像１回の再生にかかる実再生時間が厳密に決められているような、優先度の極めて高いサブ映像に対して適用される再生形態であり、サブ映像１回の再生の間、サブ映像の再生を停止しない。一方、再生指示フラグを「独立」とし、表示指示フラグを「非表示」とした図５の再生形態（Ｄ）では、メイン映像が特殊再生の間、サブ映像の再生並びに表示を停止し、メイン映像が通常再生に復帰後に、停止位置から続きのサブ映像を再生し表示する。このため、機器を操作している間にうっかりサブ映像を見逃してしまうといった状況を回避できて、サブ映像を落ち着いて見せるのに適している。
【００５６】
このように、映像データに付随して与えられる指示フラグによって、映像再生装置１における特殊再生時の再生形態を指定することができる。この指示フラグは、映像データの提供者側でサブ映像の映像データを生成する際に付加される。
【００５７】
図７に、映像データ生成装置１１の概略構成を示す機能ブロック図を示した。映像データ生成装置１１は、符号化部７０１とフラグ設定部７０２、及びフラグ書込部７０３を含む。映像提供者の指示入力は、フラグ設定部７０２で指示フラグに変換される。入力された映像は、符号化部７０１で符号化されて映像データ（符号化映像ストリーム）に変換される。その後、フラグ書込部７０３を通して映像データ（符号化映像ストリーム）に指示フラグが格納される。
【００５８】
映像提供者は、指示フラグを映像データ（符号化映像ストリーム）に埋め込むことにより、提供者の意図した再生形態で映像再生装置でのピクチャ・イン・ピクチャの特殊再生を可能とする。また、図８に、図７の映像データ生成装置１１で生成される映像データの例を示し、特に指示フラグの埋込位置の例を示した。図８に示すように、指示フラグは、映像データ（符号化映像ストリーム）中のシーケンスヘッダに埋め込むか（８０１）、各パケットヘッダに埋め込むか（８０２）、又は、符号化映像ストリームに対する管理情報（プレイリスト情報など）が映像データ内に記録されている場合に、管理情報内に指示フラグを格納する（８０３）。但し、指示フラグの映像データ内の埋込位置はこれに限るものではない。
【００５９】
上記した第１の実施形態にかかる映像再生装置１では、入力された映像データ（符号化映像ストリーム）中に指示フラグが含まれている例を示したが、これに限られない。例えば、映像データのデータストリームと共に、映像データストリームを管理するための管理情報（映像の符号化方式を示す情報などデータの復号に必要な情報や、映像の時間的な切出しや連結を指定するプレイリスト情報など映像の再生に必要な情報）を記録したデータストリーム（管理データストリーム）が与えられ、それらが多重化された多重化データが入力される場合に、映像データストリームでなく管理データストリーム内に指示フラグが格納されて入力されることとしても良い。
【００６０】
また、上記した映像再生装置１に入力される映像データでは、指示フラグがサブ映像の映像データに含まれている例を示したが、これに限らず、メイン映像の映像データ側に指示フラグを格納して入力されることも想定される。その場合の指示フラグは、そのメイン映像の映像データに対して任意のサブ映像の映像データが組み合わされた時、そのメイン映像の特殊再生に対して任意のサブ映像が追従するか否かを示すフラグとなる。
【００６１】
図９に、それら入力パターンの違いを整理して図示した。９１、９２は、指示フラグを含む２つの映像データ（符号化映像ストリーム）を入力する場合を示したもので、９１は図１のαと同一のものである。９３、９４は、指示フラグを含む管理データ（ストリーム）を映像データ（ストリーム）と多重化した多重化データを入力する場合を示したものである。分離部９０３及び９０４は、多重化されたデータから管理データを分離する為の機能部である。なお、分離された管理データの扱いについてはここでは説明を省略する。また、９１、９３は指示フラグがサブ映像側の映像データ（もしくは対応する管理データ）に含まれる場合、９２、９４は指示フラグがメイン映像側の映像データ（もしくは対応する管理データ）に含まれる場合を示している。いずれも出力は２つの映像データと指示フラグであり、図１のα部分に置き換えて接続されるものである。
【００６２】
なお、図９の９３や９４では、多重化データが映像データと管理データの２つのデータストリームのみで構成されているように描いているが、実際にはオーディオのデータストリームなど他のデータストリームが多重化されていてもよい。図９では簡便のため、それらについては図示していない。
【００６３】
また、図１０は、多重化データを構成する映像データ（符号化映像ストリーム）及び管理データストリームの例を示した図である。図１０に示すように、指示フラグは、映像データ（符号化映像ストリーム）に関する再生管理情報（プレイリスト情報など）内に埋め込むか（１００１）、あるいは映像データ（符号化映像ストリーム）に関する復号管理情報（符号化方式情報など）に格納する（１００２）。ただし、指示フラグの管理データ内の埋込位置はこれに限るものではない。
【００６４】
図１の２つの復号部１０２と１０３とは、同一の復号能力を持ったものであってもよいし、それぞれ別個の復号能力を持ったものであってもよい。第１の実施形態にかかる映像再生装置１では、入力された時点でそれぞれの映像データが、メイン映像用の映像データであるか、サブ映像用の映像データであるかが決まっている。したがって、メイン映像よりも解像度が低い（画像サイズが小さい）サブ映像専用の映像データを定義することができ、そのような場合、サブ映像の映像データが入力される復号部１０３には、サブ映像専用の映像データ復号用に低解像度映像を復号する専用のものを用いることもできる。
【００６５】
また、図１の映像再生装置１において、入力される映像データが、符号化されていない映像データであるといったケースも想定され得る。その場合では、映像データの復号は必要でないため、復号部１０２、１０３は復号を行う機能ブロックではなく、入力された映像データを適宜切り分けて出力する機能ブロック（分離部１０２’、１０３’）に置換えられる。また、復号管理部１０９は、前記の機能ブロック（分離部１０２’、１０３’）が映像データを切り分けて出力するのを管理するための機能ブロック（分離管理部１０９’）に置換えられる。
【００６６】
また、図１に示した映像再生装置１の合成部１０６は、サブ映像の調整のみを行い、メイン映像の調整は行わない（即ちメイン映像は全画面表示）ものであった（図１１（ａ））が、合成部１０６はこれに限らず、図１１（ｂ）に示すように、メイン映像側にも調整部１１１０を設け、調整して出力する合成部１１０６に置き換えることもできる。図１２に、合成部１１０６に置き換えた場合の出力映像の例を示した。この場合、図１２の１２０２に示したようにメイン映像を任意の大きさに変更したり、あるいは１２０３に示したようにメイン、サブの２つの映像を重ね合わさずに、並べて２画面表示するといった画面構成にすることもできる。
【００６７】
本実施形態の映像再生装置では、ピクチャ・イン・ピクチャ表示用途以外に、図１２の１２０３に示したような２画面表示させる映像再生装置においても適用可能である。すなわち、指示フラグを映像データに埋め込むことで、一方の映像の特殊再生に対して他方の映像を追従して特殊再生させるか否かといった制御を加えることができ、映像提供者側の意図した２画面表示映像の特殊再生を行うことが可能となる。
【００６８】
上記した第１の実施形態にかかる映像再生装置１では、映像データと共に、ピクチャ・イン・ピクチャで特殊再生時の再生形態を示した情報である指示フラグが入力され、指示フラグに基づいて上記特殊再生時の再生形態が決定される。したがって、映像の提供者が映像データを生成する際に指示フラグを映像データに付随させて送ることにより、提供者の意図した再生形態でピクチャ・イン・ピクチャ再生時の特殊再生を映像再生装置に行わせることができる。
【００６９】
なお、本実施形態にかかる映像再生装置１、図９の９１の場合には、入力された時点で各映像データがメイン映像用か、サブ映像用かが決まっているが、サブ映像用として生成された映像データをメイン映像の映像データとして入力することもできる。その場合、映像データに格納されている指示フラグは無視される。また同様に、図９の９２の場合には、メイン映像用として生成された指示フラグを含む映像データをサブ映像の映像データとして入力することもできる。その場合にも、映像データに格納されている指示フラグは無視される。また、映像再生装置１にデフォルトの再生形態を設けて、指示フラグがメイン映像、サブ映像のいずれからも読み出されなかった場合に、デフォルトの再生形態で特殊再生するように設定してもよい。
【００７０】
また、上記第１の実施形態で説明した指示フラグは、メイン映像が特殊再生された際のサブ映像の挙動を示したフラグであるが、逆に、サブ映像の特殊再生が指示された場合のメイン映像の挙動を示す指示フラグを定義することもできる。このことについて以下の実施形態内では特に断らないが、他の実施形態についても同様に適用される。
【００７１】
また、サブ映像の挙動を示して映像提供者の意図を伝えるフラグとしては、上記特殊再生時の再生形態を示した指示フラグ以外に、サブ映像の移動・拡大を禁止するフラグなども合せて格納するようにしてもよい。このサブ映像の移動・拡大を禁止するフラグは、サブ映像の表示サイズ、表示位置がユーザによって変更可能である再生装置において適用される。サブ映像の拡大・移動を禁止するフラグの値が「真」であるとき、メイン映像に対してサブ映像の表示サイズ、表示位置を固定とし、ユーザの指示を受け付けなくする。
【００７２】
また、上記第１の実施形態の映像再生装置１では、特殊再生の実現方法として復号部の処理を制御する方法を示したが、特殊再生の実現方法はこれに限らない。例えば、高速再生の例では、上記実施形態で示した復号部で間引く処理以外にも、全てのフレームを復号した後で、バッファ１０４、１０５から出力される復号画像をタイミングの調整と合せて間引くといった方法でも高速再生を実現することができる。即ち、図１に示した映像再生装置１は特殊再生を実現するための装置の一構成形態であり、これ以外にも特殊再生を実現する装置構成をとることができ、それらについても同様に本実施形態の指示フラグによる特殊再生の制御を適用可能である。このことについても以下の実施形態内では特に断らないが、他の実施形態についても同様に適用される。
【００７３】
（第２の実施形態）
次に、第２の実施形態にかかる映像再生装置２を、図１３を用いて説明する。
【００７４】
図１３は、第２の実施形態にかかる映像再生装置２の概略構成を示した機能ブロック図である。映像再生装置２は、各映像データから指示フラグを読み出すためのフラグ読出部１３０１と１３０２、復号部１３０３と１３０４、バッファ（ＢＦ）１３０５と１３０６、合成部１３０７（調整部１３１２と１３１３を含む）、表示部１３０８、入力部１３０９、復号管理部１３１０、並びに、合成部１３０７で実行される合成処理を制御するための合成管理部１３１１とを備えて構成される。このうち、フラグ読出部１３０１、１３０２はいずれも図１に示したフラグ読出部１０１と同等の機能を持ち、また、復号部１３０３、１３０４、バッファ１３０５、１３０６、表示部１３０８はそれぞれ、図１に示した復号部１０２、１０３、バッファ１０４、１０５、表示部１０７と同等の機能を持つものである。さらに、調整部１３１２、１３１３は図１に示した調整部１１０と同等の機能を持つ。以下、第１の実施形態にかかる映像再生装置１との相違を中心に、第２の実施形態にかかる映像再生装置２の動作を説明する。
【００７５】
上記した第１の実施形態にかかる映像再生装置１では、２つの入力映像データについて、入力される段階で、いずれがメイン映像用でいずれがサブ映像用かが予め決められた上で入力されていた。これは、サブ映像専用の映像データ、例えば、メイン映像に対するおまけ映像や撮影秘話のちょっとしたコメンタリ映像など、メイン映像再生をしない映像データがある場合に最も有効である。
【００７６】
これに対して、第２の実施形態にかかる映像再生装置２は、２つの入力映像データについて、入力段階でメイン用かサブ用かに分けずに、入力後、映像の合成段階で２つの映像の合成を調整することでメイン映像、サブ映像を決定するようにしたものである。これは、頻繁にメイン映像再生とサブ映像再生を切り替えるような用途、例えば、マルチアングル表示で表示映像を頻繁に切り替えるような場合に最も有効となる。
【００７７】
このために、映像再生装置２は、映像再生装置１にない新たな機能ブロック、合成管理部１３１１を有している。
【００７８】
入力部１３０９は、特殊再生指示以外に、ユーザから、メイン映像、サブ映像を切り替える（いずれがメイン映像でいずれがサブ映像かを選択する）映像選択の指示を受け付ける。入力部１３０９は、映像選択の指示を受け取ると、映像選択指示情報を発行し、合成管理部１３１１に伝える。
【００７９】
合成管理部１３１１は、上記映像選択指示情報にていずれがメイン表示でいずれがサブ表示となるかを知り、それぞれの調整部１３１２、１３１３に対して、上記映像選択指示情報で示されたメイン映像表示、サブ映像表示に対応する合成パラメータを各々に送る。また、重ねる際の上下関係（メイン映像の上にサブ映像を重ねる）を合成部１３０７に通知する。また透過度の設定などを合せて送ってもよい。さらに、いずれがサブ映像として選択されているかを示した選択情報を復号管理部１３１０に送る。
【００８０】
フラグ読出部１３０１、１３０２では、入力されたそれぞれの映像データから指示フラグを読み出し、読み出された指示フラグのいずれも復号管理部１３１０に入力される。
【００８１】
復号管理部１３１０は、ユーザからの特殊再生指示を受けて入力部１３０９が発行した特殊再生指示情報を受け取ると、合成管理部１３１１から受け取っている上記選択情報（いずれがサブ映像として選択されているかを示した情報）を参照して、入力されている２つの指示フラグのうちサブ映像にあたる映像データの指示フラグを知り、該指示フラグに基づいて、第１の実施形態で示したのと同様にピクチャ・イン・ピクチャ再生時の特殊再生の再生形態を決定する。
【００８２】
映像再生装置２では、入力される２つの映像データはいずれもメイン映像、サブ映像として再生することが可能な映像データである。したがって、映像再生装置２では、復号部１３０３、１３０４は全く等価な機能を有する。
【００８３】
（第３の実施形態）
次に、第３の実施形態にかかる映像再生装置３を、図１４乃至図１６を用いて説明する。
【００８４】
図１４は、第３の実施形態にかかる映像再生装置３の概略構成を示した機能ブロック図である。映像再生装置３は、複数の映像データが多重化された多重化データを複数の映像データと管理データその他に分離するための分離部１４０１、管理データから指示フラグを読み出すフラグ読出部１４０２、２つの復号部１４０３と１４０４、２つのバッファ（ＢＦ）１４０５と１４０６、合成部１４０７（調整部１４１１を含む）、表示部１４０８、入力部１４０９、並びに復号管理部１４１０を備えて構成される。このうち、復号部１４０３、１４０４、バッファ１４０５、１４０６、合成部１４０７、調整部１４１１、表示部１４０８及び復号管理部１４１０はそれぞれ、図１に示した映像再生装置１の復号部１０２、１０３、バッファ１０４、１０５、合成部１０６、調整部１１０、表示部１０７及び復号管理部１０９と同等の機能を持つものである。即ち、第３の実施形態にかかる映像再生装置３は、第１の実施形態にかかる映像再生装置１と比べて、分離部１４０１、フラグ読出部１４０２（映像再生装置１ではフラグ読出部１０１）、及び入力部１４０９（映像再生装置１では入力部１０８）のみが異なっている。以下、第１、第２の実施形態にかかる映像再生装置１、２との相違を中心に、第３の実施形態にかかる映像再生装置３の動作を説明する。
【００８５】
上記した映像再生装置１及び２では、映像データ（符号化映像ストリーム）内、もしくは映像データと１対１に対応する管理データストリーム内に指示フラグが格納されており、その指示フラグは、対応する映像データに対して、その映像データがピクチャ・イン・ピクチャ再生でサブ映像表示される際の特殊再生時の再生形態を制御するものであった。それに対して、本第３の実施形態にかかる映像再生装置３は、複数の映像データ（符号化映像ストリーム）に対して、それらを管理する管理データストリームが独立して与えられる状況で、その管理データストリームに格納された指示フラグによってピクチャ・イン・ピクチャ再生での特殊再生時の再生形態を制御する。
【００８６】
即ち、映像再生装置３で扱われる指示フラグは、入力されたいずれかの映像データに対する再生形態を示すものではなく、一方がメイン映像データとして、他方がサブ映像データとして決定されたのちに、決定されたサブ映像の再生形態を制御するように動作する。このため、映像再生装置１では予めメイン映像、サブ映像の映像データが決定後に入力され、また、映像再生装置２では合成段階でメイン映像かサブ映像かが決定されるのに対して、映像再生装置３では、分離部１４０１で多重化データの分離時にいずれがメイン映像でいずれがサブ映像かが決定されて、復号部１４０３、１４０４以降の処理に引き継がれる。
【００８７】
本実施形態にかかる映像再生装置３は、２つの映像データ（符号化映像ストリーム）並びに指示フラグを含む管理データストリームが多重化された多重化データを入力として、２つの映像データの復号画像を合成した映像として表示するものである。図１５に、この入力される多重化データを生成するための映像データ生成装置３１の概略構成を示す機能ブロック図を示す。
【００８８】
図１５の映像データ生成装置３１は、２つの符号化部１５０１と１５０２、管理情報生成部１５０３、フラグ設定部１５０４、フラグ書込部１５０５、及び多重化部１５０６を備えて構成される。
【００８９】
入力された２つの映像は符号化部１５０１、１５０２でそれぞれ映像データ（符号化映像ストリーム）に変換される。フラグ設定部１５０４は映像提供者から指示される再生形態に対応した指示フラグを生成し、生成された指示フラグはフラグ書込部１５０５で、管理情報生成部１５０３で生成された管理情報（管理データストリーム）に書き込まれる。
【００９０】
管理データストリームに格納されている管理情報は、映像データ（符号化映像ストリーム）の符号化方式を示す情報など各映像データに対応して記録される情報（復号管理情報）や、映像の時間的な切出しと連結情報により複数の映像データの再生を指定するプレイリスト情報など共通の情報（再生管理情報）などが含まれる。
【００９１】
また、図１６に、図１５の映像データ生成装置３１で生成されるデータの多重化前のデータの例（指示フラグの埋込位置の例）を示す。図１６に示すように、指示フラグは、管理データストリームの共通の再生管理情報内に格納される（１６０１）。これらの映像データ、管理データは多重化部１５０６で多重化されて多重化データが形成される。
【００９２】
図１５に示した映像データ生成装置３１で生成される多重化データを入力した後、図１４の映像再生装置３の分離部１４０１の動作は次のようになる。
【００９３】
第２の実施形態の映像再生装置２と同様に、入力部１４０９は、ユーザから、メイン映像、サブ映像を切り替える（いずれがメイン映像でいずれがサブ映像かを選択する）映像選択の指示を受け付ける。入力部１４０９は、映像選択の指示を受け取ると、対応する映像選択指示情報を発行し、分離部１４０１に伝える。
【００９４】
分離部１４０１は、入力された多重化データを２つの映像データ並びに管理データに分離した後、上記受け取った映像選択指示情報に従って、メイン映像に指定された映像データを復号部１４０３に、サブ映像に指定された映像データを復号部１４０４に入力する。また、分離部１４０１から出力された管理データは、フラグ読出部１４０２に入力され、指示フラグが読み出される。読み出された指示フラグは、復号管理部１４１０に入力され、ピクチャ・イン・ピクチャ再生における特殊再生時の再生形態を制御する。以降は、第１の実施形態で説明したのと同様の動作となる。
【００９５】
なお、本第３の実施形態の図１４乃至図１６では、多重化データが映像データ（符号化映像ストリーム）及び管理データ（管理データストリーム）のみからなるように説明しているが、実際にはオーディオデータなどの他のデータが多重化されていることもある。ここでは説明の簡便のため、そのような映像データ及び管理データ以外のデータについては図示を省略した。
【００９６】
また、映像再生装置３に入力される映像データ（符号化データストリーム）及び管理データ（管理データストリーム）は多重化されて入力されるように図示したが、必ずしも多重化されている必要はない。２つの映像データ及び１つの管理データが別個のチャンネルを通して入力されて、それらを処理するように構成しても構わない。即ち、本第３の実施形態にかかる映像再生装置３は、いずれかの映像データに依存しない、複数の映像データに対して共通に扱える指示フラグが、管理データを通して装置に与えられることがポイントであり、それ以外ではない。
【００９７】
なお、上記した各実施形態では、放送や通信といった伝送路を経由して入力される映像データ（及び管理データ）が映像再生装置を通して直接再生される状況を想定して、各実施形態にかかる映像再生装置を説明したが、本発明が適用可能な状況はこれに限らず、例えば、映像データ（及び管理データ）が予め記録媒体に記録されており、記録媒体に記録された映像データ（及び管理データ）を逐次読み出して再生するといった状況においても同様に適用可能である。図１９のパッケージ流通における適用がそれにあたる。また、伝送路を経由して一旦記録媒体に記録された後、記録された映像データ（及び管理データ）を読み出して再生する状況についても同様である。即ち、本発明は、各実施形態で詳細に説明した指示フラグを含んだ映像データ、あるいは管理データが記録された記録媒体に対して、またそのような記録媒体を再生する映像再生装置に対しても、適用可能である。
【００９８】
また、各実施形態において説明した映像データ（あるいは管理データ）に格納される指示フラグは、ピクチャ・イン・ピクチャ映像の特殊再生時の再生形態について、映像提供者の意図を反映させるための固定の情報として記載した。しかしながら、この映像データ（あるいは管理データ）に格納される指示フラグを、再生側において、ユーザの再生時の好みを記録しておくためのフィールドとして利用することも可能である。あるいは、映像再生装置の再生能力によって制限される値に、上記指示フラグを映像再生装置側で書き換えるといったことも起こり得る。このような書き換えは、放送や通信などの伝送路を通して入力された映像データ（及び管理データ）を記録媒体に記録する際や、記録媒体から映像データ（及び管理データ）を逐次読み出して再生するといった際に、映像再生装置が指示フラグの格納フィールドの値を書き換えることで行われる。この書き換え処理は、ユーザが直接入力しても、あるいはＪａｖａ（登録商標）等のプログラムで動的に変更できるようにしてもよい。即ち、本発明は、指示フラグの値が最終的に何処で設定されたかに拘らず、各実施形態で詳細に説明した指示フラグを含む映像データ、あるいは管理データの映像再生装置に対して適用可能である。
【００９９】
なお、ここで開示された実施形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【０１００】
１ 映像再生装置
１０１ フラグ読出部
１０２、１０３ 復号部
１０４、１０５ バッファ（ＢＦ）
１０６ 合成部
１０７ 表示部
１０８ 入力部
１０９ 復号管理部
１１０ 調整部
【特許請求の範囲】
【請求項１】
複数の映像データと、該複数の映像データの少なくとも１つに関する管理データが入力され、該複数の映像データの映像を合成したピクチャ・イン・ピクチャ形式の再生映像を出力する映像合成装置であって、
前記管理データは、前記再生映像の特殊再生時の再生形態を指示する指示情報を含み、
前記管理データから前記指示情報を読み出す読出手段と、
前記読出手段により読み出された前記指示情報に従って、前記指示された再生形態で前記複数の映像データの映像を合成する合成手段と、
を備え、
前記指示情報は、前記ピクチャ・イン・ピクチャ形式の再生映像で、親画面の映像が特殊再生の間、子画面の映像が表示されるか否かを示した情報であることを特徴とする映像合成装置。
【請求項２】
複数の映像データと、該複数の映像データの映像を合成したピクチャ・イン・ピクチャ形式の再生映像を出力する映像合成装置であって、
前記複数の映像データの少なくとも１つは、前記再生映像の特殊再生時の再生形態を指示する指示情報を含み、
前記映像データから前記指示情報を読み出す読出手段と、
前記読出手段により読み出された前記指示情報に従って、前記指示された再生形態で前記複数の映像データの映像を合成する合成手段と、
を備え、
前記指示情報は、前記ピクチャ・イン・ピクチャ形式の再生映像で、親画面の映像が特殊再生の間、子画面の映像が表示されるか否かを示した情報であることを特徴とする映像合成装置。
【請求項３】
前記指示情報は、前記ピクチャ・イン・ピクチャ形式の映像で親画面の映像が特殊再生の間、子画面の映像が表示されるか否かを示した情報に換えて、前記ピクチャ・イン・ピクチャ形式の再生映像で、親画面の映像が特殊再生の間、子画面の映像が特殊再生されるか否かを示した情報であることを特徴とする請求項１又は２に記載の映像合成装置。
【請求項４】
前記指示情報は、前記ピクチャ・イン・ピクチャ形式の映像で親画面の映像が特殊再生の間、子画面の映像が表示されるか否かを示した情報に換えて、前記ピクチャ・イン・ピクチャ形式の再生映像で、子画面の映像が特殊再生の間、親画面の映像が特殊再生されるか否かを示した情報であることを特徴とする請求項１又は２に記載の映像合成装置。
【請求項５】
複数の映像データと、該複数の映像データの少なくとも１つに関する管理データを読み出し、該複数の映像データの映像を合成したピクチャ・イン・ピクチャ形式の再生映像を出力する映像合成装置において実行されるプログラムであって、
前記管理データは、前記再生映像の特殊再生時の再生形態を指示する指示情報を含み、
前記映像合成装置は、
前記管理データから前記指示情報を読み出す読出手段と、
前記読出手段により読み出された前記指示情報に従って、前記指示された再生形態で前記複数の映像データの映像を合成する合成手段と、
を備え、
前記指示情報に従って、ピクチャ・イン・ピクチャ形式の再生映像で、親画面の映像が特殊再生の間、子画面の映像が表示されるか否かを前記合成手段に指示する制御を行う第１制御ステップを実現するためのプログラム。
【請求項６】
複数の映像データを読み出し、該複数の映像データの映像を合成したピクチャ・イン・ピクチャ形式の再生映像を出力する映像合成装置において実行されるプログラムであって、
前記複数の映像データの少なくとも１つは、前記再生映像の特殊再生時の再生形態を指示する指示情報を含み、
前記映像合成装置は、
前記少なくとも１つの映像データから前記指示情報を読み出す読出手段と、
前記読出手段により読み出された前記指示情報に従って、前記指示された再生形態で前記複数の映像データの映像を合成する合成手段と、
を備え、
前記指示情報に従って、ピクチャ・イン・ピクチャ形式の再生映像で、親画面の映像が特殊再生の間、子画面の映像が表示されるか否かを前記合成手段に指示する制御を行う第１制御ステップを実現するためのプログラム。
【請求項７】
前記第１制御ステップに換えて、前記ピクチャ・イン・ピクチャ形式の再生映像で、親画面の映像が特殊再生の間、子画面の映像が特殊再生されるか否かを前記合成手段に指示する制御を行う第２制御ステップを実現するための請求項５又は６に記載のプログラム。
【請求項８】
前記第１制御ステップに換えて、前記ピクチャ・イン・ピクチャ形式の再生映像で、子画面の映像が特殊再生の間、親画面の映像が特殊再生されるか否かを前記合成手段に指示する制御を行う第３制御ステップを実現するための請求項５又は６に記載のプログラム。
【請求項９】
複数の映像データと、該複数の映像データの少なくとも１つに関する管理データを読み出し、該複数の映像データの映像を合成したピクチャ・イン・ピクチャ形式の再生映像を出力する映像合成装置において実行されるプログラムであって、
前記管理データは、前記再生映像の特殊再生時の再生形態を指示する指示情報を含み、
前記映像合成装置は、前記管理データから前記指示情報を読み出す読出手段を備え、
前記プログラムは、前記指示情報に従って、前記指示された再生形態で前記複数の映像データの映像を合成する合成ステップを含み、
前記指示情報は、前記ピクチャ・イン・ピクチャ形式の再生映像で、親画面の映像が特殊再生の間、子画面の映像が表示されるか否かを示した情報であることを特徴とするプログラム。
【請求項１０】
複数の映像データと、該複数の映像データの映像を合成したピクチャ・イン・ピクチャ形式の再生映像を出力する映像合成装置において実行されるプログラムであって、
前記複数の映像データの少なくとも１つは、前記再生映像の特殊再生時の再生形態を指示する指示情報を含み、
前記映像合成装置は、前記少なくとも１つの映像データから前記指示情報を読み出す読出手段を備え、
前記プログラムは、前記指示情報に従って、前記指示された再生形態で前記複数の映像データの映像を合成する合成ステップを含み、
前記指示情報は、前記ピクチャ・イン・ピクチャ形式の再生映像で、親画面の映像が特殊再生の間、子画面の映像が表示されるか否かを示した情報であることを特徴とするプログラム。
【請求項１１】
前記指示情報は、前記ピクチャ・イン・ピクチャ形式の映像で親画面の映像が特殊再生の間、子画面の映像が表示されるか否かを示した情報に換えて、前記ピクチャ・イン・ピクチャ形式の再生映像で、親画面の映像が特殊再生の間、子画面の映像が特殊再生されるか否かを示した情報であることを特徴とする請求項９又は１０に記載のプログラム。
【請求項１２】
前記指示情報は、前記ピクチャ・イン・ピクチャ形式の映像で親画面の映像が特殊再生の間、子画面の映像が表示されるか否かを示した情報に換えて、前記ピクチャ・イン・ピクチャ形式の再生映像で、子画面の映像が特殊再生の間、親画面の映像が特殊再生されるか否かを示した情報であることを特徴とする請求項９又は１０に記載のプログラム。
【請求項１】
複数の映像データと、該複数の映像データの少なくとも１つに関する管理データが入力され、該複数の映像データの映像を合成したピクチャ・イン・ピクチャ形式の再生映像を出力する映像合成装置であって、
前記管理データは、前記再生映像の特殊再生時の再生形態を指示する指示情報を含み、
前記管理データから前記指示情報を読み出す読出手段と、
前記読出手段により読み出された前記指示情報に従って、前記指示された再生形態で前記複数の映像データの映像を合成する合成手段と、
を備え、
前記指示情報は、前記ピクチャ・イン・ピクチャ形式の再生映像で、親画面の映像が特殊再生の間、子画面の映像が表示されるか否かを示した情報であることを特徴とする映像合成装置。
【請求項２】
複数の映像データと、該複数の映像データの映像を合成したピクチャ・イン・ピクチャ形式の再生映像を出力する映像合成装置であって、
前記複数の映像データの少なくとも１つは、前記再生映像の特殊再生時の再生形態を指示する指示情報を含み、
前記映像データから前記指示情報を読み出す読出手段と、
前記読出手段により読み出された前記指示情報に従って、前記指示された再生形態で前記複数の映像データの映像を合成する合成手段と、
を備え、
前記指示情報は、前記ピクチャ・イン・ピクチャ形式の再生映像で、親画面の映像が特殊再生の間、子画面の映像が表示されるか否かを示した情報であることを特徴とする映像合成装置。
【請求項３】
前記指示情報は、前記ピクチャ・イン・ピクチャ形式の映像で親画面の映像が特殊再生の間、子画面の映像が表示されるか否かを示した情報に換えて、前記ピクチャ・イン・ピクチャ形式の再生映像で、親画面の映像が特殊再生の間、子画面の映像が特殊再生されるか否かを示した情報であることを特徴とする請求項１又は２に記載の映像合成装置。
【請求項４】
前記指示情報は、前記ピクチャ・イン・ピクチャ形式の映像で親画面の映像が特殊再生の間、子画面の映像が表示されるか否かを示した情報に換えて、前記ピクチャ・イン・ピクチャ形式の再生映像で、子画面の映像が特殊再生の間、親画面の映像が特殊再生されるか否かを示した情報であることを特徴とする請求項１又は２に記載の映像合成装置。
【請求項５】
複数の映像データと、該複数の映像データの少なくとも１つに関する管理データを読み出し、該複数の映像データの映像を合成したピクチャ・イン・ピクチャ形式の再生映像を出力する映像合成装置において実行されるプログラムであって、
前記管理データは、前記再生映像の特殊再生時の再生形態を指示する指示情報を含み、
前記映像合成装置は、
前記管理データから前記指示情報を読み出す読出手段と、
前記読出手段により読み出された前記指示情報に従って、前記指示された再生形態で前記複数の映像データの映像を合成する合成手段と、
を備え、
前記指示情報に従って、ピクチャ・イン・ピクチャ形式の再生映像で、親画面の映像が特殊再生の間、子画面の映像が表示されるか否かを前記合成手段に指示する制御を行う第１制御ステップを実現するためのプログラム。
【請求項６】
複数の映像データを読み出し、該複数の映像データの映像を合成したピクチャ・イン・ピクチャ形式の再生映像を出力する映像合成装置において実行されるプログラムであって、
前記複数の映像データの少なくとも１つは、前記再生映像の特殊再生時の再生形態を指示する指示情報を含み、
前記映像合成装置は、
前記少なくとも１つの映像データから前記指示情報を読み出す読出手段と、
前記読出手段により読み出された前記指示情報に従って、前記指示された再生形態で前記複数の映像データの映像を合成する合成手段と、
を備え、
前記指示情報に従って、ピクチャ・イン・ピクチャ形式の再生映像で、親画面の映像が特殊再生の間、子画面の映像が表示されるか否かを前記合成手段に指示する制御を行う第１制御ステップを実現するためのプログラム。
【請求項７】
前記第１制御ステップに換えて、前記ピクチャ・イン・ピクチャ形式の再生映像で、親画面の映像が特殊再生の間、子画面の映像が特殊再生されるか否かを前記合成手段に指示する制御を行う第２制御ステップを実現するための請求項５又は６に記載のプログラム。
【請求項８】
前記第１制御ステップに換えて、前記ピクチャ・イン・ピクチャ形式の再生映像で、子画面の映像が特殊再生の間、親画面の映像が特殊再生されるか否かを前記合成手段に指示する制御を行う第３制御ステップを実現するための請求項５又は６に記載のプログラム。
【請求項９】
複数の映像データと、該複数の映像データの少なくとも１つに関する管理データを読み出し、該複数の映像データの映像を合成したピクチャ・イン・ピクチャ形式の再生映像を出力する映像合成装置において実行されるプログラムであって、
前記管理データは、前記再生映像の特殊再生時の再生形態を指示する指示情報を含み、
前記映像合成装置は、前記管理データから前記指示情報を読み出す読出手段を備え、
前記プログラムは、前記指示情報に従って、前記指示された再生形態で前記複数の映像データの映像を合成する合成ステップを含み、
前記指示情報は、前記ピクチャ・イン・ピクチャ形式の再生映像で、親画面の映像が特殊再生の間、子画面の映像が表示されるか否かを示した情報であることを特徴とするプログラム。
【請求項１０】
複数の映像データと、該複数の映像データの映像を合成したピクチャ・イン・ピクチャ形式の再生映像を出力する映像合成装置において実行されるプログラムであって、
前記複数の映像データの少なくとも１つは、前記再生映像の特殊再生時の再生形態を指示する指示情報を含み、
前記映像合成装置は、前記少なくとも１つの映像データから前記指示情報を読み出す読出手段を備え、
前記プログラムは、前記指示情報に従って、前記指示された再生形態で前記複数の映像データの映像を合成する合成ステップを含み、
前記指示情報は、前記ピクチャ・イン・ピクチャ形式の再生映像で、親画面の映像が特殊再生の間、子画面の映像が表示されるか否かを示した情報であることを特徴とするプログラム。
【請求項１１】
前記指示情報は、前記ピクチャ・イン・ピクチャ形式の映像で親画面の映像が特殊再生の間、子画面の映像が表示されるか否かを示した情報に換えて、前記ピクチャ・イン・ピクチャ形式の再生映像で、親画面の映像が特殊再生の間、子画面の映像が特殊再生されるか否かを示した情報であることを特徴とする請求項９又は１０に記載のプログラム。
【請求項１２】
前記指示情報は、前記ピクチャ・イン・ピクチャ形式の映像で親画面の映像が特殊再生の間、子画面の映像が表示されるか否かを示した情報に換えて、前記ピクチャ・イン・ピクチャ形式の再生映像で、子画面の映像が特殊再生の間、親画面の映像が特殊再生されるか否かを示した情報であることを特徴とする請求項９又は１０に記載のプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２０１０−２０６８０３（Ｐ２０１０−２０６８０３Ａ）
【公開日】平成２２年９月１６日（２０１０．９．１６）
【国際特許分類】
【出願番号】特願２０１０−８２６３１（Ｐ２０１０−８２６３１）
【出願日】平成２２年３月３１日（２０１０．３．３１）
【分割の表示】特願２００９−１６３３８３（Ｐ２００９−１６３３８３）の分割
【原出願日】平成１７年８月５日（２００５．８．５）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２２年９月１６日（２０１０．９．１６）
【国際特許分類】
【出願日】平成２２年３月３１日（２０１０．３．３１）
【分割の表示】特願２００９−１６３３８３（Ｐ２００９−１６３３８３）の分割
【原出願日】平成１７年８月５日（２００５．８．５）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]