オーディオ及びビデオデータのディスプレイ装置及びディスプレイ方法と該方法を行うプログラムが記録された記録媒体
【書類】
オーディオ及びビデオデータのディスプレイ装置及びディスプレイ方法と該方法を行うプログラムが記録された記録媒体を提供する。
ＭＰＶ（ミュージックフォトビデオ）フォーマットによって記述されるマルチメディアデータのディスプレイ装置は、ユーザが選択した資産が単一のオーディオデータと少なくとも１以上のビデオデータとより構成される資産であるか否かを確認し、オーディオデータとビデオデータとをディスプレイするための参照情報を抽出した後、参照情報を用いてオーディオデータを抽出してディスプレイし、オーディオデータがディスプレイされる間に所定のディスプレイ方法によって参照情報から少なくとも１以上のビデオデータを抽出して順次にディスプレイすることを特徴とする。
オーディオ及びビデオデータのディスプレイ装置及びディスプレイ方法と該方法を行うプログラムが記録された記録媒体を提供する。
ＭＰＶ（ミュージックフォトビデオ）フォーマットによって記述されるマルチメディアデータのディスプレイ装置は、ユーザが選択した資産が単一のオーディオデータと少なくとも１以上のビデオデータとより構成される資産であるか否かを確認し、オーディオデータとビデオデータとをディスプレイするための参照情報を抽出した後、参照情報を用いてオーディオデータを抽出してディスプレイし、オーディオデータがディスプレイされる間に所定のディスプレイ方法によって参照情報から少なくとも１以上のビデオデータを抽出して順次にディスプレイすることを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はオーディオ及びビデオデータのディスプレイ装置及びディスプレイ方法と該方法を記録した記録媒体に係り、より詳細には、マルチメディアデータのうち、オーディオデータとビデオデータとをＭＰＶ（マルチフォトビデオ又はミュージックフォトビデオ）フォーマットの形に管理し、これをユーザに提供することである。
【背景技術】
【０００２】
ＭＰＶは、Ｏｐｔｉｃａｌ Ｓｔｏｒａｇｅ Ｔｅｃｈｎｏｌｏｇｙ Ａｓｓｏｃｉａｔｉｏｎ（光保存装置の製造会社が作った協会：以下‘ＯＳＴＡ’と称する）で２００２年に発表したマルチメディアタイトルの業界標準規格であって、多様な形の音楽、写真、ビデオデータをユーザにより便利に提供するか、前記マルチメディアデータを操作して処理可能にするための標準規格である。ＭＰＶについての定義及びその他の標準規格については、ＯＳＴＡの公式ウェブサイト（ｗｗｗ．ｏｓｔａ．ｏｒｇ）を通じて提供されて利用しうる。
【０００３】
最近には、パソコンを用いてデジタル写真、ビデオ、デジタルオーディオ、テキストなどのメディアデータを処理して、再生した。そして、前記メディアコンテンツを生成する装置、例えば、デジタルカメラ、デジタルカムコーダ、デジタルオーディオ再生器（ＭＰ３、ＷＭＡなどのデジタルオーディオデータを再生する装置）などの使用が多くなるにつれて多種のメディアデータが大量に生成されている。
【０００４】
しかし、このように大量生成されているマルチメディアデータを管理するためにパソコンを主に使用してきて、これにより、ユーザのファイル基盤経験（Ｆｉｌｅ−ｂａｓｅｄ ｕｓｅｒ ｅｘｐｅｒｉｅｎｃｅ）を要求するようになる難点が生じた。また、特定製品でマルチメディアデータが生成される時、属性データ、データ再生順序、再生方法などもそれぞれのマルチメディアデータ別に生成される場合があるが、これをパソコンと連結すれば、属性データをなくして、原本データのみ移動する。すなわち、家電製品、パソコン、及びデジタルコンテンツ生成装置間にデータとデータとの属性についての相互連動性（Ｉｎｔｅｒ−ｏｐｅｒａｂｉｌｉｔｙ）が非常に脆弱である。
【０００５】
前記相互連動性が脆弱な点について、例を挙げて説明する。デジタルカメラを使用して写真をキャプチャし、キャプチャされた写真をデジタルカメラで確認するためにスライドショー機能を使用しつつ決定された属性スライドショー順序、写真間の時間間隔、パノマラ機能を使用しつつ決定された属性撮影された写真間の関係、連写機能を使用しつつ決定された属性などのデータが原本データの実際画像データと共に保存される。この際、前記デジタルカメラにＡＶケーブルを使用してテレビに画像を伝送すれば、それぞれの属性が表現されたマルチメディアデータをユーザが見られるようになる。しかし、ＵＳＢ（ユニバーサルシリアルバス）ケーブルを通じてパソコンに連結すれば、原本データのみコンピュータに伝送され、それぞれの属性をいずれも失うようになる。
【０００６】
前記の例に現れたようにデジタルカメラで保存された属性データ、すなわち、メタデータについてのパソコンの相互連動性が非常に脆弱であると見なし得る。または、デジタルカメラの機能に対するパソコンの相互連動性がないとも見なし得る。
【０００７】
このようなデジタル機器間のデータに対する相互−連動性の脆弱を補強するために、ＭＰＶ標準が進行しているものである。
【０００８】
ＭＰＶスペックは、光学ディスク、メモリカード、コンピュータハードディスクのような記録媒体（または装置）に保存されるか、インターネットプロトコルにより交換されるデジタル写真、ビデオ、オーディオなどのマルチメディアデータの集合を処理し、再生（Ｐｌａｙｂａｃｋ）するためのマニフェスト（Ｍａｎｉｆｅｓｔ）、メタデータ及びプラクティスを定義している。
【０００９】
ＭＰＶは、現在ＯＳＴＡ（Ｏｐｔｉｃａｌ Ｓｔｏｒａｇｅ Ｔｅｃｈｎｏｌｏｇｙ Ａｓｓｏｃｉａｔｉｏｎ）とＩ３Ａ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｉｍａｇｉｎｇ Ｉｎｄｕｓｔｒｙ Ａｓｓｏｃｉａｔｉｏｎ）で標準化を進行しており、前記ＭＰＶは、オープンスペック（Ｏｐｅｎ ｓｐｅｃｉｆｉｃａｔｉｏｎ）であり、デジタル写真やビデオ、デジタルオーディオ、テキストなどの集合の処理、交換、再生を容易にすることを主目的とする。
【００１０】
ＭＰＶは、ＭＰＶコアスペック（ＭＰＶ Ｃｏｒｅ−Ｓｐｅｃ．０．９０ＷＤ）とプロファイルに大別される。
【００１１】
コアは、コレクション、メタデータ、識別（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）のような３種の基本要素からなりうる。
【００１２】
コレクションには、ルートメンバーとしてマニフェストを有しており、メタデータ、アルバム、表示資産（Ｍａｒｋｅｄ Ａｓｓｅｔ）、資産リスト（Ａｓｓｅｔ Ｌｉｓｔ）などがある。この際、資産は、ＭＰＶフォーマットによって記述されたマルチメディアデータを意味するが、ここには２種がある。まず、シンプルメディア資産（Ｓｉｍｐｌｅ ｍｅｄｉａ ａｓｓｅｔ）があり、デジタル写真、ビデオ、デジタルオーディオ、文書などがその例に該当する。そして、複合メディア資産（Ｃｏｍｐｏｓｉｔｅ ｍｅｄｉａ ａｓｓｅｔ）があり、デジタル写真＋デジタルオーディオ（ＳｔｉｌｌＷｉｔｈＡｕｄｉｏ）、連続撮影デジタル写真（ＳｔｉｌｌＭｕｌｔｉｓｈｏｔＳｅｑｕｅｎｃｅ）、パノマラ撮影デジタル写真（ＳｔｉｌｌＰａｎｏｒａｍａＳｅｑｕｅｎｃｅ）などがここに該当する。図１は、前記した内容の例を表している。
【００１３】
メタデータは、ＸＭＬフォーマットによって、識別のために下記のような５種の識別子がある。
【００１４】
１．ＬａｓｔＵＲＬ：該当資産のパス名とファイル名（Ｐａｔｈ ｔｏ ｔｈｅ ｏｂｊｅｃｔ）
２．ＩｎｓｔａｎｃｅＩＤ：各資産ごとに唯一のＩＤ（ｕｎｉｑｕｅ ｐｅｒ ｏｂｊｅｃｔ：例、Ｅｘｉｆ２．２）
３．ＤｏｃｕｍｅｎｔＩＤ：原本データと変更されたデータとにいずれも同一
４．ＣｏｎｔｅｎｔＩＤ：該当資産が特定の目的のために使われる度に生成
５．ｉｄ：メタデータ内でのローカル変数
一方、プロファイルは、全て７種であって、基本プロファイル（Ｂａｓｉｃ ｐｒｏｆｉｌｅ）、プレゼンテーションプロファイル（Ｐｒｅｓｅｎｔａｔｉｏｎ ｐｒｏｆｉｌｅ）、キャプチャ／編集プロファイル（Ｃａｐｔｕｒｅ／Ｅｄｉｔ ｐｒｏｆｉｌｅ）、記録プロファイル（Ａｒｃｈｉｖｅ ｐｒｏｆｉｌｅ）、インターネットプロファイル（Ｉｎｔｅｒｎｅｔ ｐｒｏｆｉｌｅ）、印刷プロファイル（Ｐｒｉｎｔｉｎｇ ｐｒｏｆｉｌｅ）、コンテナプロファイル（Ｃｏｎｔａｉｎｅｒ ｐｒｏｆｉｌｅ）などがある。
【００１５】
すなわち、ＭＰＶは、ユーザの意図通り記録媒体に記録された各種マルチメディアデータが再生されるようにＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）メタデータを用いて多様なファイル連結（ａｓｓｏｃｉａｔｉｏｎ）を管理するなどの機能を支援し、特にＪＰＥＧ、ＭＰ３、ＷＭＡ、ＷＭＶ、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４を支援し、デジタルカメラフォーマットであるＡＶＩ及びクイックタイム（ＱｕｉｃｋＴｉｍｅ）ＭＪＰＥＧビデオを支援し、ＭＰＶ規格ディスクは、ＩＳＯ９６６０レベル１、Ｊｏｌｉｅｔと互換性があり、マルチセッションＣＤ、ＤＶＤ、メモリカード、ハードディスク及びインターネットとも互換されることによって、ユーザをしてさらに多様なマルチメディアデータの管理及び処理を可能ならしめる。
【発明の開示】
【発明が解決しようとする課題】
【００１６】
しかし、ＭＰＶフォーマットについての標準において標準で定義されていない多様なマルチメディアデータの形態、すなわち、新たな形態の資産が必要となり、前記マルチメディアデータを提供する機能の追加が要請されている。
【課題を解決するための手段】
【００１７】
本発明では、現在ＭＰＶフォーマットが提案している多様な形のマルチメディアデータに加えて新たなマルチメディアデータに関する形態を提案し、ＭＰＶフォーマットによって記述されるマルチメディアデータをユーザにより多様に提供する方法を提案することによって、多様な種類のマルチメディアデータの活用をさらに多様にしようとすることである。
【００１８】
前記目的を達成するための本発明の実施によるＭＰＶ（Ｍｕｓｉｃ Ｐｈｏｔｏ Ｖｉｄｅｏ）フォーマットによって記述されるオーディオ及びビデオデータのディスプレイ装置は、ユーザが選択した資産が単一のオーディオデータと少なくとも１以上のビデオデータとより構成される資産であるか否かを確認し、前記オーディオデータと前記ビデオデータとをディスプレイするための参照情報を抽出した後、前記参照情報を用いて前記オーディオデータを抽出してディスプレイし、前記オーディオデータがディスプレイされる間、所定のディスプレイ方法によって前記参照情報から少なくとも１以上の前記ビデオデータを抽出して順次にディスプレイすることを特徴とする。この際、望ましくは、前記ディスプレイ方法は、前記オーディオデータがディスプレイされる間に前記それぞれのビデオデータの再生時間を指定するためのディスプレイ時間情報と前記オーディオデータ及び前記ビデオデータの再生時に発生する音量の大きさを調節するための音量制御情報とによってディスプレイされることを含む。
【００１９】
前記目的を達成するための本発明の実施によるＭＰＶ（Ｍｕｓｉｃ Ｐｈｏｔｏ Ｖｉｄｅｏ）フォーマットによって記述されるオーディオ及びビデオデータのディスプレイ装置は、ユーザが選択した資産が単一のビデオデータと少なくとも１以上のオーディオデータとより構成される資産であるか否かを確認し、前記ビデオデータと前記オーディオデータとをディスプレイするための参照情報を抽出した後、前記参照情報を用いて前記ビデオデータを抽出してディスプレイし、前記ビデオデータがディスプレイされる間に所定のディスプレイ方法によって前記参照情報から少なくとも１以上の前記オーディオデータを抽出して順次にディスプレイすることを特徴とする。この際、望ましくは、前記ディスプレイ方法は、前記ビデオデータがディスプレイされる間に前記それぞれのオーディオデータの再生時間を指定するためのディスプレイ時間情報と前記オーディオデータの再生時に発生する音量の大きさを調節するための音量制御情報によってディスプレイされることを含む。
【００２０】
前記目的を達成するための本発明の実施によるＭＰＶフォーマットによって記述されるオーディオ及びビデオデータのディスプレイ方法は、ユーザが選択した資産が単一のオーディオデータと少なくとも１以上のビデオデータとより構成される資産であるか否かを確認する第１ステップと、前記オーディオデータとビデオデータとをディスプレイするための参照情報を抽出する第２ステップと、前記参照情報を用いて前記オーディオデータを抽出してディスプレイする第３ステップと、前記オーディオデータがディスプレイされる間に所定のディスプレイ方法によって前記参照情報から少なくとも１以上の前記ビデオデータを抽出して順次にディスプレイする第４ステップと、を含むことを特徴とする。
【００２１】
この際、望ましくは、前記ディスプレイ方法は、前記オーディオデータがディスプレイされる間に前記それぞれのビデオデータの再生時間を指定するためのディスプレイ時間情報と前記オーディオデータ及び前記ビデオデータの再生時に発生する音量の大きさを調節するための音量制御情報とによってディスプレイされることを含む。この際、前記ディスプレイ時間情報は、前記ビデオデータを再生し始める開始時点情報と前記ビデオデータの再生時間を示す再生時間情報とを含む。
【００２２】
また、望ましくは、前記第４ステップは、前記オーディオデータの再生時間を指定するための第１時間情報と前記少なくとも１以上のビデオデータの再生時間を指定するための第２時間情報とを同期化する第４−１ステップと、前記オーディオデータの再生時に発生する音量の大きさを調節するための第１音量制御情報と前記少なくとも１以上のビデオデータの再生時に発生する音量の大きさを調節するための第２音量制御情報とを抽出する第４−２ステップと、前記時間情報と前記音量制御情報とを用いて前記オーディオデータと前記ビデオデータとをディスプレイ媒体を通じて提供する第４−３ステップと、を含む。
【００２３】
前記目的を達成するための本発明の実施によるＭＰＶフォーマットによって記述されるオーディオ及びビデオデータのディスプレイ方法は、ユーザが選択した資産が単一のビデオデータと少なくとも１以上のオーディオデータとより構成される資産であるか否かを確認する第１ステップと、前記ビデオデータとオーディオデータをとディスプレイするための参照情報を抽出する第２ステップと、前記参照情報を用いて前記ビデオデータを抽出してディスプレイする第３ステップと、前記ビデオデータがディスプレイされる間に所定のディスプレイ方法によって前記参照情報から少なくとも１以上の前記オーディオデータを抽出して順次にディスプレイする第４ステップと、を含むことを特徴とする。
【００２４】
この際、望ましくは、前記ディスプレイ方法は、前記ビデオデータがディスプレイされる間に前記それぞれのオーディオデータの再生時間を指定するためのディスプレイ時間情報と前記ビデオデータ及び前記オーディオデータの再生時に発生する音量の大きさを調節するための音量制御情報とによってディスプレイされることを含む。この際、前記ディスプレイ時間情報は、前記オーディオデータを再生し始める開始時点情報と前記オーディオデータの再生時間を示す再生時間情報とを含む。
【００２５】
また、望ましくは、前記第４ステップは、前記ビデオデータの再生時間を指定するための第１時間情報と前記少なくとも１以上のオーディオデータの再生時間を指定するための第２時間情報とを同期化する第４−１ステップと、前記ビデオデータの再生時に発生する音量の大きさを調節するための第１音量制御情報と前記少なくとも１以上のオーディオデータの再生時に発生する音量の大きさを調節するための第２音量制御情報とを抽出する第４−２ステップと、前記時間情報と前記音量制御情報とを用いて前記ビデオデータと前記オーディオデータとをディスプレイ媒体を通じて提供する第４−３ステップと、を含むことを特徴とする。
【００２６】
前記目的を達成するために、本発明の実施によるＭＰＶフォーマットによって記述されるオーディオ及びビデオデータをディスプレイするプログラムが記録された記録媒体は、ユーザが選択した資産が単一のオーディオデータと少なくとも１以上のビデオデータとより構成される資産であるか否かを確認し、前記オーディオデータと前記ビデオデータとをディスプレイするための参照情報を抽出した後、前記参照情報を用いて前記オーディオデータを抽出してディスプレイし、前記オーディオデータがディスプレイされる間に所定のディスプレイ方法によって前記参照情報から少なくとも１以上の前記ビデオデータを抽出して順次にディスプレイすることを特徴とする。
【００２７】
また、前記目的を達成するために、本発明の実施によるＭＰＶフォーマットによって記述されるオーディオ及びビデオデータをディスプレイするプログラムが記録された記録媒体は、ユーザが選択した資産が単一のビデオデータと少なくとも１以上のオーディオデータとより構成される資産であるか否かを確認し、前記ビデオデータと前記オーディオデータとをディスプレイするための参照情報を抽出した後、前記参照情報を用いて前記ビデオデータを抽出してディスプレイし、前記ビデオデータがディスプレイされる間に所定のディスプレイ方法によって前記参照情報から少なくとも１以上の前記オーディオデータを抽出して順次にディスプレイすることを特徴とする。
【発明を実施するための最良の形態】
【００２８】
以下、添付された図面を参照して本発明の一実施形態によるＭＰＶフォーマットによって記述されるオーディオ及びビデオデータのディスプレイ装置及び方法を説明すれば次の通りである。
【００２９】
一方、本発明ではＭＰＶフォーマットによるマルチメディアデータを提供するためにＸＭＬ（ｅＸｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）を用いており、以下ＸＭＬ−スキーマ（ｓｃｈｅｍａ）によって記述する。
【００３０】
本発明ではＯＳＴＡで提案していない‘ＡｕｄｉｏＷｉｔｈＶｉｄｅｏ’資産と、‘ＶｉｄｅｏＷｉｔｈＡｕｄｉｏ’資産を提示することによって、さらに多様なマルチメディアデータを提供している。前記２種の新たな資産についての定義と使用例などを説明すれば次の通りである。以下で、‘ｓｍｐｖ’と‘ｍｐｖ’は、ＸＭＬでのネームスペースを示すが、‘ｓｍｐｖ’は、本発明で新たに提案するエレメントに対するネームスペースを示し、‘ｍｐｖ’は、ＯＳＴＡで提案しているエレメントに対するネームスペースを示す。
【００３１】
１．ＡｕｄｉｏＷｉｔｈＶｉｄｅｏ資産
ＡｕｄｉｏＷｉｔｈＶｉｄｅｏ資産は、単一のオーディオ資産に少なくとも１以上のビデオ資産を結合した形態の資産であって、ＸＭＬで記述される場合に＜ＡｕｄｉｏＷｉｔｈＶｉｄｅｏ＞エレメントと称しうる。例えば、ユーザが１つの音楽を聞きつつ、少なくとも１以上の動画像コンテンツを鑑賞するケースに該当する。この際、複数の動画像コンテンツが再生される時間間隔を調節でき、動画像コンテンツから出る音量と前記音楽から出る音量とを相互調節することもできる。
【００３２】
前記オーディオ資産とビデオ資産もＸＭＬで記述される文書（ｆｉｌｅ）ではエレメントと取扱われる。この際、前記オーディオ資産は、＜ｓｍｐｖ：ＡｕｄｉｏＰａｒｔ＞と＜ｍｐｖ：Ａｕｄｉｏ＞、前記ビデオ資産は、＜ｓｍｐｖ：ＶｉｄｅｏＰａｒｔ＞と＜ｍｐｖ：Ｖｉｄｅｏ＞とで示し得る。
【００３３】
前記＜ＡｕｄｉｏＰａｒｔ＞エレメントは、オーディオ資産の一部を示す。前記＜ＡｕｄｉｏＰａｒｔ＞エレメントの下位エレメントとして＜ＳＭＰＶ：ｓｔａｒｔ＞、＜ＳＭＰＶ：ｓｔｏｐ＞、＜ＳＭＰＶ：ｄｕｒ＞を定義しうるが、前記３種の下位エレメントのうち少なくとも１つ以上は必ずその値が指定されねばならない。
【００３４】
＜ＳＭＰＶ：ｓｔａｒｔ＞エレメントは、＜ｘｓ：ｅｌｅｍｅｎｔ ｎａｍｅ＝“ＳＭＰＶ：ｓｔａｒｔ” ｔｙｐｅ＝“ｘｓ：ｌｏｎｇ” ｍｉｎＯｃｃｕｒｓ＝“０”／＞のように定義されうるが、参照されるオーディオ資産の全体時間のうち、一部に対する開始時点を‘秒（ｓｅｃｏｎｄ）’単位で表す。もし、如何なる値も与えられていなければ、開始時間は、＜ＳＭＰＶ：ｓｔｏｐ＞、＜ＳＭＰＶ：ｄｕｒ＞の値に基づいて［ＳＭＰＶ：ｓｔａｒｔ］＝［ＳＭＰＶ：ｓｔｏｐ］−［ＳＭＰＶ：ｄｕｒ］のように計算される。＜ＳＭＰＶ：ｓｔｏｐ＞または＜ＳＭＰＶ：ｄｕｒ＞の値が指定されないと、＜ＳＭＰＶ：ｓｔａｒｔ＞の値は０となる。
【００３５】
＜ＳＭＰＶ：ｓｔｏｐ＞エレメントは、＜ｘｓ：ｅｌｅｍｅｎｔｎａｍｅ＝“ＳＭＰＶ：ｓｔｏｐ” ｔｙｐｅ＝“ｘｓ：ｌｏｎｇ” ｍｉｎＯｃｃｕｒｓ＝“０”／＞のように定義されうるが、参照されるオーディオ資産の全体時間のうち、一部に対して終了地点を‘秒（ｓｅｃｏｎｄ）’単位で表す。もし如何なる値も与えられていなければ、終了時間は＜ＳＭＰＶ：ｓｔａｒｔ＞、＜ＳＭＰＶ：ｄｕｒ＞の値に基づいて［ＳＭＰＶ：ｓｔｏｐ］＝［ＳＭＰＶ：ｓｔａｒｔ］＋［ＳＭＰＶ：ｄｕｒ］のように計算される。＜ＳＭＰＶ：ｄｕｒ＞の値が指定されずに、＜ＳＭＰＶ：ｓｔａｒｔ＞の値が指定されれば、＜ＳＭＰＶ：ｓｔｏｐ＞の値は参照される資産の終了時間になる。一方、＜ＳＭＰＶ：ｓｔａｒｔ＞の値が指定されず、＜ＳＭＰＶ：ｄｕｒ＞の値が指定されれば、＜ＳＭＰＶ：ｓｔｏｐ＞の値は＜ＳＭＰＶ：ｄｕｒ＞値になる。
【００３６】
＜ＭＰＶ：ｄｕｒ＞エレメントは、＜ｘｓ：ｅｌｅｍｅｎｔ ｎａｍｅ＝“ＳＭＰＶ：ｄｕｒ” ｔｙｐｅ＝“ｘｓ：ｌｏｎｇ” ｍｉｎＯｃｃｕｒｓ＝“０”／＞のように定義されうるが、参照されるオーディオ資産の全体時間のうち、実際に再生される時間を示す。もし、＜ＳＭＰＶ：ｄｕｒ＞の値が与えられていなければ、［ＳＭＰＶ：ｄｕｒ］＝［ＳＭＰＶ：ｓｔｏｐ］−［ＳＭＰＶ：ｓｔａｒｔ］のような方法で計算されうる。
【００３７】
前記＜ＶｉｄｅｏＰａｒｔ＞エレメントは、ビデオ資産の一部を示す。＜ＶｉｄｅｏＰａｒｔ＞エレメントを定義する方法は、前記＜ＡｕｄｉｏＰａｒｔ＞エレメントの方法を同一に適用しうる。
【００３８】
図２では、‘ＡｕｄｉｏＷｉｔｈＶｉｄｅｏ’資産の構造を概略的に説明している。
【００３９】
図２で図示した＜ＡｕｄｉｏＷｉｔｈＶｉｄｅｏ＞エレメントのダイアグラムを見れば、＜ＡｕｄｉｏＷｉｔｈＶｉｄｅｏ＞エレメントは、‘ｍｐｖ’と‘ｓｍｐｖ’とを各々ネームスペース（ｎａｍｅｓｐａｃｅ）とする複数のエレメントからなっていることが分かる。
【００４０】
ここで、‘ｍｐｖ’をネームスペースとするエレメントについての説明は、ＭＰＶ規格に対して提案しているＯＳＴＡのホームページ‘ｗｗｗ．ｏｓｔａ．ｏｒｇ’に記述されているので省略する。したがって、以下では‘ｓｍｐｖ’をネームスペースとするエレメントについて順次に説明する。
【００４１】
（１）＜ＡｕｄｉｏＰａｒｔＲｅｆ＞
＜ＡｕｄｉｏＰａｒｔＲｅｆ＞エレメントは、＜ＡｕｄｉｏＰａｒｔ＞エレメントを参照する。
【００４２】
（２）＜ＶｉｄｅｏＰａｒｔＲｅｆ＞
＜ＶｉｄｅｏＰａｒｔＲｅｆ＞エレメントは、＜ＶｉｄｅｏＰａｒｔ＞エレメントを参照する。
【００４３】
（３）＜ＶｉｄｅｏＷｉｔｈＡｕｄｉｏＲｅｆ＞
＜ＶｉｄｅｏＷｉｔｈＡｕｄｉｏＲｅｆ＞エレメントは、＜ＶｉｄｅｏＷｉｔｈＡｕｄｉｏ＞エレメントを参照するが、図３では、前記＜ＶｉｄｅｏＷｉｔｈＡｕｄｉｏＲｅｆ＞エレメントを簡略に記述している。
【００４４】
（４）＜ＡｕｄｉｏＷｉｔｈＶｉｄｅｏＲｅｆ＞
＜ＡｕｄｉｏＷｉｔｈＶｉｄｅｏＲｅｆ＞エレメントは、＜ＡｕｄｉｏＷｉｔｈＶｉｄｅｏ＞エレメントを参照するが、図４では前記＜ＡｕｄｉｏＷｉｔｈＶｉｄｅｏＲｅｆ＞エレメントを簡略に記述している。
【００４５】
（５）＜ＶｉｄｅｏＤｕｒＳｅｑ＞
＜ＶｉｄｅｏＤｕｒＳｅｑ＞エレメントの値は、それぞれのビデオデータの再生時間を示す。この際、単位は秒であり、相対的な時間値を示す。再生される時間は小数点単位でも示しうる。＜ＶｉｄｅｏＤｕｒＳｅｑ＞エレメントの値が設定されていない場合には、再生時間が設定されていないと判断し、該当ビデオデータの総再生時間を＜ＶｉｄｅｏＤｕｒＳｅｑ＞エレメントの値と見なす。
【００４６】
一方、該当ビデオデータの総再生時間は、ビデオ資産で参照されるビデオデータの参照形態（ｒｅｆｅｒｅｎｃｅ ｔｙｐｅ）によって決定されうる。
【００４７】
すなわち、該当ビデオデータの総再生時間は、前記参照形態が‘ＶｉｄｅｏＲｅｆ’ならば、参照されるビデオデータの総再生時間となる。もし、前記参照形態が‘ＶｉｄｅｏＰａｒｔＲｅｆ’ならば、参照される＜ＶｉｄｅｏＰａｒｔ＞エレメントの属性値を用いて該当ビデオデータの総再生時間が得られる。また、前記参照形態が‘ＡｕｄｉｏＷｉｔｈＶｉｄｅｏＲｅｆ’である場合には、参照される＜ＡｕｄｉｏＷｉｔｈＶｉｄｅｏ＞エレメントでオーディオデータについての参照形態を確認せねばならない。すなわち、オーディオデータについての参照形態が‘ＡｕｄｉｏＲｅｆ’である場合には、該当ビデオデータの総再生時間は、前記オーディオデータの総再生となり、オーディオデータについての参照形態が‘ＡｕｄｉｏＰａｒｔＲｅｆ’である場合には、参照される＜ＡｕｄｉｏＰａｒｔ＞エレメントの属性値を用いて該当ビデオデータの総再生時間が得られる。もし、前記参照形態が‘ＶｉｄｅｏＷｉｔｈＡｕｄｉｏＲｅｆ’である場合には、参照される＜ＶｉｄｅｏＷｉｔｈＡｕｄｉｏ＞エレメントからビデオ資産だけ抽出し、抽出されたビデオ資産で‘ＶｉｄｅｏＲｅｆ’として参照されるビデオデータの総再生時間を該当ビデオデータの総再生時間とする。
【００４８】
＜ＶｉｄｅｏＤｕｒＳｅｑ＞エレメントの値についての説明を要約すれば次の通りである。
ＶｉｄｅｏＤｕｒＳｅｑ＝＜ｃｌｏｃｋ−ｖａｌｕｅ＞（“；”＜ｃｌｏｃｋ−ｖａｌｕｅ＞）； ［式１］
ｃｌｏｃｋ−ｖａｌｕｅ＝（＜ｓｅｃｏｎｄｓ＞｜＜ｕｎｋｎｏｗｎ−ｄｕｒ＞） ［式２］
ｕｎｋｎｏｗｎ−ｄｕｒ＝ｔｈｅ ｅｍｐｔｙ ｓｔｒｉｎｇ ［式３］
ｓｅｃｏｎｄｓ＝＜ｄｅｃｉｍａｌｎｕｍｂｅｒ＞（．＜ｄｅｃｉｍａｌｎｕｍｂｅｒ＞）． ［式４］
［式１］は、＜ＶｉｄｅｏＤｕｒＳｅｑ＞エレメント値は‘ｃｌｏｃｋ−ｖａｌｕｅ’により示し、ビデオデータが２以上である場合には、”；”を用いてそれぞれのビデオデータの再生時間を区別するということを意味する。
【００４９】
［式２］は、前記［式１］で‘ｃｌｏｃｋ−ｖａｌｕｅ’値は、‘ｓｅｃｏｎｄｓ’で示すか、‘ｕｎｋｎｏｗｎ−ｄｕｒ’で表すということを意味する。
【００５０】
［式３］は、前記［式２］で‘ｕｎｋｎｏｗｎ−ｄｕｒ’は、前記‘ｃｌｏｃｋ−ｖａｌｕｅ’値を設定していないことを意味する。
【００５１】
［式４］は、前記［式２］で‘ｓｅｃｏｎｄｓ’値は、１０進数で示し、小数点を用いて該当ビデオデータの再生時間を示すということを意味する。
【００５２】
例えば、前記‘ｃｌｏｃｋ−ｖａｌｕｅ’値が‘７．２’である場合は、該当ビデオデータの再生時間が７．２秒であることを示す。他の例として、前‘ｃｌｏｃｋ−ｖａｌｕｅ’値が、‘２；１０．９’である場合は、該当ビデオデータは２個があるが、最初のビデオデータの再生時間は、２秒であり、２番目のビデオデータの再生時間は、１０．９秒であることを示す。さらに他の例として、前記‘ｃｌｏｃｋ−ｖａｌｕｅ’値が‘；，５．６’である場合は、該当ビデオデータが２個あるが、最初のビデオデータの再生時間は設定されていないので、最初のビデオデータは、該当コンテンツの総再生時間の間に再生され、２番目のビデオデータの再生時間は、５．６秒であることを示す。図５では、前記＜ＶｉｄｅｏＤｕｒＳｅｑ＞エレメントを簡略に記述している。
【００５３】
（６）＜ＳｔａｒｔＳｅｑ＞
＜ＳｔａｒｔＳｅｑ＞エレメントの値は、それぞれのビデオデータの再生時の再生開始時点を示す。この際、単位は、秒（ｓｅｃｏｎｄ）であり、それぞれのビデオデータが再生開始時点に基づいて相対的な時間値を示す。再生開始時点は、小数点単位でも示し得る。例えば、＜ＳｔａｒｔＳｅｑ＞エレメントの値が設定されていない場合には、該当値を０秒と見なす。すなわち、該当ビデオデータが再生開始時点から再生し始める。もし、＜ＳｔａｒｔＳｅｑ＞エレメントの値が該当ビデオデータの総再生時間より大きい場合には、該当ビデオデータの再生が終了された後に再生される結果となるので、このような場合には、＜ＳｔａｒｔＳｅｑ＞エレメントの値を‘０’と見なす。
【００５４】
もし、前記＜ＶｉｄｅｏＤｕｒＳｅｑ＞エレメントと前記＜ＳｔａｒｔＳｅｑ＞エレメントとが＜ＡｕｄｉｏＷｉｔｈＶｉｄｅｏ＞エレメント内でいずれも定義された場合に、前記＜ＶｉｄｅｏＤｕｒＳｅｑ＞エレメント値と前記＜ＳｔａｒｔＳｅｑ＞エレメント値とを加算した値が再生しようとするビデオデータの総再生時間より同じか、小さくなければならない。もし、そうでない場合には、＜ＶｉｄｅｏＤｕｒＳｅｑ＞エレメント値は、該当ビデオデータの総再生時間から、前記＜ＳｔａｒｔＳｅｑ＞エレメント値を差し引いた値とする。図６では、前記＜ＳｔａｒｔＳｅｑ＞エレメントを簡略に記述している。
【００５５】
（７）＜ＶｉｄｅｏＶｏｌｕｍｅＳｅｑ＞
＜ＶｉｄｅｏＶｏｌｕｍｅＳｅｑ＞エレメント値は、該当ビデオデータの音量大きさを百分率で示す。したがって、＜ＶｉｄｅｏＶｏｌｕｍｅＳｅｑ＞エレメント値が０である場合には、該当ビデオデータに対する音量も０となる。もし、＜ＶｉｄｅｏＶｏｌｕｍｅＳｅｑ＞エレメント値が設定されていない場合には、該当ビデオデータの元の音量で再生される。
【００５６】
複数のビデオデータが再生される場合には、再生されるビデオデータの数ほど＜ＶｉｄｅｏＶｏｌｕｍｅＳｅｑ＞エレメント値が設定されるが、もし単一の値（ｓｉｎｇｌｅ ｖａｌｕｅ）のみ設定された場合には、再生されるあらゆるビデオデータの音量は設定された前記単一の値（ｓｉｎｇｌｅ ｖａｌｕｅ）に再生される。図７では、前記＜ＶｉｄｅｏＶｏｌｕｍｅＳｅｑ＞エレメントを簡略に記述している。
【００５７】
（８）＜ＡｕｄｉｏＶｏｌｕｍｅ＞
＜ＡｕｄｉｏＶｏｌｕｍｅ＞エレメント値は、該当オーディオデータの音量大きさを百分率で示す。もし、＜ＡｕｄｉｏＶｏｌｕｍｅ＞エレメント値が設定されていない場合には、＜ＡｕｄｉｏＶｏｌｕｍｅ＞エレメント値を１００と見なす。図８では、前記＜ＡｕｄｉｏＶｏｌｕｍｅ＞エレメントを簡略に記述している。
【００５８】
図９は、＜ＡｕｄｉｏＷｉｔｈＶｉｄｅｏ＞エレメントのタイプについてのダイアグラムを要約した例示図である。
【００５９】
前記で記述したエレメントを用いてＡｕｄｉｏＷｉｔｈＶｉｄｅｏ資産を提供する方法を例として挙げる。
【００６０】
例１）
＜ＳＭＰＶ：ＡｕｄｉｏＷｉｔｈＶｉｄｅｏ＞
＜ＡｕｄｉｏＲｅｆ＞Ａ０００７＜／ＡｕｄｉｏＲｅｆ＞
＜ＶｉｄｅｏＲｅｆ＞Ｖ１２０５＜／ＶｉｄｅｏＲｅｆ＞
＜ＶｉｄｅｏＲｅｆ＞Ｖ１２０６＜／ＶｉｄｅｏＲｅｆ＞
＜ＳＭＰＶ：ＳｔａｒｔＳｅｑ＞；３＜／ＳＭＰＶ：ＳｔａｒｔＳｅｑ＞
＜／ＳＭＰＶ：ＡｕｄｉｏＷｉｔｈＶｉｄｅｏ＞
前記例１）では、‘Ａ０００７’値で参照される１個のオーディオ資産と各々‘Ｖ１２０５’と‘Ｖ１２０６’値で参照される２個のビデオ資産を用いてＡｕｄｉｏＷｉｔｈＶｉｄｅｏ資産を再生する方法を示している。前記例１）の場合＜ＳｔａｒｔＳｅｑ＞エレメント値を見れば、‘Ｖ１２０５’値で参照されるビデオ資産に対しては値が設定されていないので、該当値を０秒と見なす。すなわち、‘Ｖ１２０５’値で参照されるビデオ資産は、‘Ａ０００７’値で参照されるオーディオ資産が再生開始時点から‘Ｖ１２０６’値で参照されるビデオ資産が再生されるまで再生する。一方、‘Ｖ１２０６’値で参照されるビデオ資産に対しては値が３に設定されたので、‘Ｖ１２０６’値で参照されるビデオ資産は‘Ｖ１２０６’値で参照されるビデオ資産の開始から３秒が経つ時点から再生し始める。
【００６１】
例２）
＜ＳＭＰＶ：ＡｕｄｉｏＷｉｔｈＶｉｄｅｏ＞
＜ＡｕｄｉｏＲｅｆ＞Ａ０００１＜／ＡｕｄｉｏＲｅｆ＞
＜ＶｉｄｅｏＲｅｆ＞Ｖ１００１＜／ＶｉｄｅｏＲｅｆ＞
＜ＶｉｄｅｏＲｅｆ＞Ｖ１００２＜／ＶｉｄｅｏＲｅｆ＞
＜ＶｉｄｅｏＲｅｆ＞Ｖ１００３＜／ＶｉｄｅｏＲｅｆ＞
＜ＳＭＰＶ：ＶｉｄｅｏＤｕｒＳｅｑ＞２；；１０＜／ＳＭＰＶ：ＶｉｄｅｏＤｕｒＳｅｑ＞
＜ＳＭＰＶ：ＳｔａｒｔＳｅｑ＞；３；０＜／ＳＭＰＶ：ＳｔａｒｔＳｅｑ＞
＜ＳＭＰＶ：ＶｉｄｅｏＶｏｌｕｍｅＳｅｑ＞５０＜／ＳＭＰＶ：ＶｉｄｅｏＶｏｌｕｍｅＳｅｑ＞
＜ＳＭＰＶ：ＡｕｄｉｏＶｏｌｕｍｅ＞５０＜／ＳＭＰＶ：ＡｕｄｉｏＶｏｌｕｍｅ＞
＜／ＳＭＰＶ：ＡｕｄｉｏＷｉｔｈＶｉｄｅｏ＞
前記例２）では、‘Ａ０００１’値で参照される１個のオーディオ資産と各々‘Ｖ１００１’、‘Ｖ１００２’、‘Ｖ１００３’値で参照される３個のビデオ資産を用いてＡｕｄｉｏＷｉｔｈＶｉｄｅｏ資産を再生する方法を表している。前記例２）の場合、‘Ｖ１００１’値で参照されるビデオ資産は、２秒間再生される。そして、‘Ｖ１００２’値で参照されるビデオ資産は前記‘Ｖ１００１’値で参照されるビデオ資産の再生が終了した後に‘Ｖ１００２’値で参照されるビデオ資産の開始から３秒が経つ時点から再生し始める。そして、‘Ｖ１００３’値で参照されるビデオ資産は、前記‘Ｖ１００２’値で参照されるビデオ資産の再生が終了した後に１０秒間再生される。
【００６２】
一方、前記３個のビデオ資産の音量は、いずれも原音量の５０％ほど再生され、前記オーディオ資産の音量も原音量の５０％ほど再生される。
【００６３】
例３）
＜ＳＭＰＶ：ＡｕｄｉｏＷｉｔｈＶｉｄｅｏ＞
＜ＡｕｄｉｏＲｅｆ＞Ａ０００１＜／ＡｕｄｉｏＲｅｆ＞
＜ＶｉｄｅｏＰａｒｔＲｅｆ＞ＶＰ１００１＜／ＶｉｄｅｏＰａｒｔＲｅｆ＞
＜ＡｕｄｉｏＷｉｔｈＶｉｄｅｏＲｅｆ＞ＡＶ１００２＜／ＡｕｄｉｏＷｉｔｈＶｉｄｅｏＲｅｆ＞
＜／ＳＭＰＶ：ＡｕｄｉｏＷｉｔｈＶｉｄｅｏ＞
前記例３）では、‘Ａ０００１’値で参照される１個のオーディオ資産と‘ＶＰ１００１’で参照されるＶｉｄｅｏＰａｒｔ資産と、‘ＡＶ１００２’値で参照されるＡｕｄｉｏＷｉｔｈＶｉｄｅｏ資産を用いてＡｕｄｉｏＷｉｔｈＶｉｄｅｏ資産を再生することを表している。
【００６４】
２．‘ＶｉｄｅｏＷｉｔｈＡｕｄｉｏ’資産
‘ＶｉｄｅｏＷｉｔｈＡｕｄｉｏ’資産は、単一のビデオ資産（ｖｉｄｅｏ ａｓｓｅｔ）に少なくとも１以上のオーディオ資産を結合した形態の資産であって、ＸＭＬで記述される場合に‘ＶｉｄｅｏＷｉｔｈＡｕｄｉｏ’エレメントと称しうる。前記オーディオ資産とビデオ資産ともＸＭＬで記述される文書ではエレメントと取扱われる。この際、前記オーディオ資産は、‘ｓｍｐｖ：ＡｕｄｉｏＰａｒｔ’と‘ｍｐｖ：Ａｕｄｉｏ’で示し、前記ビデオ資産は、‘ｓｍｐｖ：ＶｉｄｅｏＰａｒｔ’と‘ｍｐｖ：Ｖｉｄｅｏ’で示し得る。
【００６５】
図１０では、‘ＶｉｄｅｏＷｉｔｈＡｕｄｉｏ’エレメントの構造を概略的に説明している。前記図１０で図示した＜ＶｉｄｅｏＷｉｔｈＡｕｄｉｏ＞エレメントのダイアグラムを見れば、＜ＶｉｄｅｏＷｉｔｈＡｕｄｉｏ＞エレメントは、‘ｍｐｖ’と‘ｓｍｐｖ’とを各々ネームスペースとする複数のエレメントからなっていることが分かる。
【００６６】
ここで、‘ｍｐｖ’をネームスペースとするエレメントについての説明は、ＭＰＶ規格について提案しているＯＳＴＡのホームページ‘ｗｗｗ．Ｏｓｔａ．ｏｒｇ’に記述されているので省略する。したがって、以下では、‘ｓｍｐｖ’をネームスペースとするエレメントについて順次に説明する。一方、ＡｕｄｉｏＷｉｔｈＶｉｄｅｏ資産についての説明で既に記述した内容は省略する。
【００６７】
（１）＜ＡｕｄｉｏＤｕｒＳｅｑ＞
＜ＡｕｄｉｏＤｕｒＳｅｑ＞エレメントの値は、それぞれのオーディオデータの再生時間を示す。この際、単位は秒であり、相対的な時間値を示す。再生時間は、小数点単位でも示し得る。＜ＡｕｄｉｏＤｕｒＳｅｑ＞エレメントの値が設定されていない場合には、再生時間が設定されていないと見て該当オーディオデータの総再生時間を＜ＡｕｄｉｏＤｕｒＳｅｑ＞エレメントの値と見なす。＜ＡｕｄｉｏＤｕｒＳｅｑ＞エレメントの値についての説明を要約すれば次の通りである。
ＡｕｄｉｏＤｕｒＳｅｑ＝＜ｃｌｏｃｋ−ｖａｌｕｅ＞（“；”＜ｃｌｏｃｋ−ｖａｌｕｅ＞）； ［式５］
ｃｌｏｃｋ−ｖａｌｕｅ＝（＜ｓｅｃｏｎｄｓ＞｜＜ｕｎｋｎｏｗｎ−ｄｕｒ＞） ［式６］
ｕｎｋｎｏｗｎ−ｄｕｒ＝ｔｈｅ ｅｍｐｔｙ ｓｔｒｉｎｇ ［式７］
ｓｅｃｏｎｄｓ＝＜ｄｅｃｉｍａｌｎｕｍｂｅｒ＞（．＜ｄｅｃｉｍａｌｎｕｍｂｅｒ＞）． ［式８］
［式５］で＜ＡｕｄｉｏＤｕｒＳｅｑ＞エレメント値は、‘ｃｌｏｃｋ−ｖａｌｕｅ’により示し、オーディオデータが２以上である場合には、”；”を用いてそれぞれのオーディオコンテンツの再生時間を区別するということを意味する。
【００６８】
［式６］は、前記［式５］で‘ｃｌｏｃｋ−ｖａｌｕｅ’値は、‘ｓｅｃｏｎｄｓ’で示すか、‘ｕｎｋｎｏｗｎ−ｄｕｒ’で示すということを意味する。
【００６９】
［式７］は、前記［式６］で‘ｕｎｋｎｏｗｎ−ｄｕｒ’は、前記‘ｃｌｏｃｋ−ｖａｌｕｅ’値を設定していないということを意味する。
【００７０】
［式８］は、前記［式６］で‘ｓｅｃｏｎｄｓ’値は、１０進数で示し、小数点を用いて該当オーディオデータの再生時間を示すということを意味する。
【００７１】
例えば、前記‘ｃｌｏｃｋ−ｖａｌｕｅ’値が‘１２．２’である場合は、該当オーディオデータの再生時間が１２．２秒であることを示す。他の例として前記‘ｌｏｃｋ−ｖａｌｕｅ’値が‘２０；８．９’である場合に該当オーディオデータは２個があるが、最初のオーディオデータの再生時間は２０秒であり、２番目のオーディオデータの再生時間は、８．９秒であることを示す。さらに他の例として前記‘ｃｌｏｃｋ−ｖａｌｕｅ’値が‘；５６．５’である場合に、該当オーディオデータは２個があるが、最初のオーディオデータの再生時間は設定されていないので、最初のオーディオデータは、該当オーディオデータの総再生時間の間に再生され、２番目のオーディオデータの再生時間は５６．５秒であることを示す。図１１では、前記＜ＡｕｄｉｏＤｕｒＳｅｑ＞エレメントを簡略に記述している。
【００７２】
（２）＜ＡｕｄｉｏＶｏｌｕｍｅＳｅｑ＞
ＡｕｄｉｏＶｏｌｕｍｅＳｅｑ＞エレメント値は、該当オーディオデータの音量大きさを百分率で表す。もし、＜ＡｕｄｉｏＶｏｌｕｍｅＳｅｑ＞エレメント値が設定されていない場合には、該当オーディオデータの元の音量で再生される。
【００７３】
複数のオーディオデータが再生される場合には、再生されるオーディオデータの数ほど＜ＡｕｄｉｏＶｏｌｕｍｅＳｅｑ＞エレメント値が設定されるが、もし単一の値（ｓｉｎｇｌｅ ｖａｌｕｅ）のみ設定された場合には、再生されるあらゆるオーディオデータの音量は設定された前記単一の値で再生される。図１２では、前記＜ＡｕｄｉｏＶｏｌｕｍｅＳｅｑ＞エレメントを簡略に記述している。
【００７４】
（３）＜ＶｉｄｅｏＶｏｌｕｍｅ＞
＜ＶｉｄｅｏＶｏｌｕｍｅ＞エレメント値は、該当ビデオデータの音量大きさを百分率で示す。もし、＜ＶｉｄｅｏＶｏｌｕｍｅ＞エレメント値が設定されていない場合には、＜ＶｉｄｅｏＶｏｌｕｍｅ＞エレメント値を１００と見なす。すなわち、該当ビデオデータの原音量で再生される。図１３では、前記＜ＶｉｄｅｏＶｏｌｕｍｅ＞エレメントを簡略に記述している。
【００７５】
図１４は、前記＜ＶｉｄｅｏＷｉｔｈＡｕｄｉｏ＞エレメントのタイプについてのダイアグラムを要約した例示図である。
【００７６】
一方、本発明では資産の参照のための参照グループを定義しうる。
【００７７】
すなわち、オーディオ資産を参照（ｒｅｆｅｒｅｎｃｅ）するための‘ＡｕｄｉｏＲｅｆＧｒｏｕｐ’とビデオ資産を参照するための‘ＶｉｄｅｏＲｅｆＧｒｏｕｐ’を定義しうる。
【００７８】
この際、前記ＡｕｄｉｏＲｅｆＧｒｏｕｐには、＜ｍｐｖ：ＡｕｄｉｏＲｅｆ＞エレメントと、＜ＳＭＰＶ：ＡｕｄｉｏＰａｒｔＲｅｆ＞エレメントとが含まれる。
【００７９】
また、前記ＶｉｄｅｏＲｅｆＧｒｏｕｐには、＜ｍｐｖ：ＶｉｄｅｏＲｅｆ＞エレメントと、＜ＳＭＰＶ：ＶｉｄｅｏＰａｒｔＲｅｆ＞エレメントと、＜ＳＭＰＶ：ＶｉｄｅｏＷｉｔｈＡｕｄｉｏＲｅｆ＞エレメントと、＜ＳＭＰＶ：ＡｕｄｉｏＷｉｔｈＶｉｄｅｏＲｅｆ＞エレメントとが含まれる。図１５及び図１６では、前記‘ＡｕｄｉｏＲｅｆＧｒｏｕｐ’グループと前記‘ＶｉｄｅｏＲｅｆＧｒｏｕｐ’グループとについて記述している。
【００８０】
図１７は、本発明の実施による‘ＡｕｄｉｏＷｉｔｈＶｉｄｅｏ’資産を再生する過程を示すフローチャートである。
【００８１】
ユーザがＭＰＶフォーマットによって記述されたファイルを実行させうるソフトウェアを実行させ、特定のアルバムにある‘ＡｄｕｉｏＷｉｔｈＶｉｄｅｏ’資産を選択する（Ｓ１７００）。次いで、スレッド（ｔｈｒｅａｄ）または子プロセッサ（ｃｈｉｌｄ ｐｒｏｃｅｓｓｏｒ）が生成されて各々オーディオ資産についての情報とビデオ資産についての情報とを収集する。
【００８２】
すなわち、ユーザが選択した‘ＡｕｄｉｏＷｉｔｈＶｉｄｅｏ’資産を構成するオーディオ資産についての参照情報を抽出する（Ｓ１７０５）。そして、前記参照情報を用いて資産目録（ａｓｓｅｔ ｌｉｓｔ）から前記オーディオ資産に関する情報を抽出する（Ｓ１７１０）。この際、前記オーディオ資産の再生時間情報とボリューム情報とを得る（Ｓ１７１５、Ｓ１７２０）。
【００８３】
一方、他のスレッドまたは子プロセッサでは、まず前記オーディオ資産と結合されるビデオ資産目録を抽出し（Ｓ１７２５）、前記資産目録からあらゆるビデオ資産に関する情報を抽出する（Ｓ１７３０）。次いで、前記情報を用いてビデオ資産を再生するためのシナリオ、すなわち、それぞれのビデオデータの順序及び再生時間を決定する（Ｓ１７３５）。前記Ｓ１７３５ステップで前記オーディオ資産と結合されるあらゆるビデオ資産のシナリオが決まるとしても、あらゆるビデオ資産の総再生時間が前記オーディオ資産の再生時間より長くなることもある。したがって、このような場合には、前記オーディオ資産の再生時間に合わせて前記ビデオ資産の総再生時間を決定するが、この際、前記Ｓ１７１５ステップで得たオーディオ資産の再生時間情報を利用する（Ｓ１７４０）。したがって、前記オーディオ資産の再生時間以後に再生される一部のビデオ資産は再生されないこともある。前記Ｓ１７４０ステップを終えれば、それぞれのビデオデータから発生する音量の大きさが調節される（Ｓ１７４５）。
【００８４】
前記‘ＡｕｄｉｏＷｉｔｈＶｉｄｅｏ’資産をディスプレイするために前記‘ＡｕｄｉｏＷｉｔｈＶｉｄｅｏ’資産を構成するオーディオ資産とビデオ資産についての情報をいずれも得るならば、前記情報を用いて前記‘ＡｕｄｉｏＷｉｔｈＶｉｄｅｏ’資産を示すコンテンツを再生する（Ｓ１７５０）。
【００８５】
図１８は、本発明の実施によるオーディオ及びビデオデータをディスプレイする装置のブロックダイアグラムであって、図１７に示されている過程を行う。
【００８６】
図１８に示される装置１８００は、確認部１８１０と抽出部１８２０とを備える。確認部１８１０は、ユーザによる入力を受信し、前記ユーザにより選択された資産がオーディオデータとビデオデータとを含んでいるかを確認する。次いで、抽出部１８２０は、オーディオデータとビデオデータとをディスプレイするための参照情報を抽出し、前記参照情報を用いて抽出されたオーディオデータを出力する。次いで、抽出部１８２０は、前記参照情報からビデオデータを抽出して前記オーディオデータが出力される間に前記ビデオデータをディスプレイする。前記ビデオデータは、既定の方法によって順次にディスプレイされうる。
【００８７】
一方、ＭＰＶフォーマットにより提供されるマルチメディアデータはＸＭＬ文書の形態に記述されて示し得るが、ＸＭＬ文書に適用されるスタイルシート（ｓｔｙｌｅ ｓｈｅｅｔｓ）によって前記ＸＭＬ文書は、複数のアプリケーション文書に変換されうる。本発明では、ＸＭＬ文書をＨＴＭＬ文書に変換するスタイルシートを適用してブラウザーを通じてユーザがオーディオ及びビデオデータを管理可能にしているが、その他にもＷＭＬ（Ｗｉｒｅｌｅｓｓ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）、ｃＨＴＭＬ（Ｃｏｍｐａｃｔ ＨＴＭＬ）文書に変換するスタイルシートを適用してＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、セルラーホン、スマートホンのようなモバイル端末機を通じてユーザがＭＰＶフォーマットにより記述されるオーディオ及びビデオデータに対する接近が可能である。
【産業上の利用可能性】
【００８８】
本発明によってオーディオデータとビデオデータとが結合された新たな形のマルチメディアデータ資産をユーザに提供することによって、ユーザはＭＰＶフォーマットで記述されるさらに多様なマルチメディアデータを生成して利用できる効果がある。
【００８９】
前述した本発明は、本発明が属する技術分野で当業者によって本発明の技術的思想を外れない範囲内で色々な置換、変形及び変更が可能なので、前述した実施形態及び添付された図面に限定されるものではない。
【図面の簡単な説明】
【００９０】
【図１】ＭＰＶ（ミュージックフォトビデオ）スペックで記述している資産の種類を示す例示図である。
【図２】本発明の実施による‘ＡｕｄｉｏＷｉｔｈＶｉｄｅｏ’資産の構造を概略的に示している例示図である。
【図３】本発明の実施による＜ＶｉｄｅｏＷｉｔｈＡｕｄｉｏＲｅｆ＞エレメントを簡略に記述している例示図である。
【図４】本発明の実施による＜ＡｕｄｉｏＷｉｔｈＶｉｄｅｏＲｅｆ＞エレメントを簡略に記述する例示図である。
【図５】本発明の実施による＜ＶｉｄｅｏＤｕｒＳｅｑ＞エレメントを簡略に記述する例示図である。
【図６】本発明の実施による＜ＳｔａｒｔＳｅｑ＞エレメントを簡略に記述する例示図である。
【図７】本発明の実施による＜ＶｉｄｅｏＶｏｌｕｍｅＳｅｑ＞エレメントを簡略に記述する例示図である。
【図８】本発明の実施による＜ＡｕｄｉｏＶｏｌｕｍｅ＞エレメントを簡略に記述する例示図である。
【図９】本発明の実施による＜ＡｕｄｉｏＷｉｔｈＶｉｄｅｏ＞エレメントのタイプについてのダイアグラムを要約した例示図である。
【図１０】本発明の実施による‘ＶｉｄｅｏＷｉｔｈＡｕｄｉｏ’資産の構造を概略的に示している例示図である。
【図１１】本発明の実施による＜ＡｕｄｉｏＤｕｒＳｅｑ＞エレメントを簡略に記述する例示図である。
【図１２】本発明の実施による＜ＡｕｄｉｏＶｏｌｕｍｅＳｅｑ＞エレメントを簡略に記述する例示図である。
【図１３】本発明の実施による＜ＶｉｄｅｏＶｏｌｕｍｅ＞エレメントを簡略に記述する例示図である。
【図１４】本発明の実施による＜ＶｉｄｅｏＷｉｔｈＡｕｄｉｏ＞エレメントのタイプについてのダイアグラムを要約した例示図である。
【図１５】本発明の実施によるＡｕｄｉｏＲｅｆＧｒｏｕｐグループを簡略に記述する例示図である。
【図１６】本発明の実施によるＶｉｄｅｏＲｅｆＧｒｏｕｐグループを簡略に記述する例示図である。
【図１７】本発明の実施による‘ＡｕｄｉｏＷｉｔｈＶｉｄｅｏ’資産を再生する過程を示すフローチャートである。
【図１８】本発明の実施によるオーディオ及びビデオデータをディスプレイする装置のブロックダイアグラムである。
【技術分野】
【０００１】
本発明はオーディオ及びビデオデータのディスプレイ装置及びディスプレイ方法と該方法を記録した記録媒体に係り、より詳細には、マルチメディアデータのうち、オーディオデータとビデオデータとをＭＰＶ（マルチフォトビデオ又はミュージックフォトビデオ）フォーマットの形に管理し、これをユーザに提供することである。
【背景技術】
【０００２】
ＭＰＶは、Ｏｐｔｉｃａｌ Ｓｔｏｒａｇｅ Ｔｅｃｈｎｏｌｏｇｙ Ａｓｓｏｃｉａｔｉｏｎ（光保存装置の製造会社が作った協会：以下‘ＯＳＴＡ’と称する）で２００２年に発表したマルチメディアタイトルの業界標準規格であって、多様な形の音楽、写真、ビデオデータをユーザにより便利に提供するか、前記マルチメディアデータを操作して処理可能にするための標準規格である。ＭＰＶについての定義及びその他の標準規格については、ＯＳＴＡの公式ウェブサイト（ｗｗｗ．ｏｓｔａ．ｏｒｇ）を通じて提供されて利用しうる。
【０００３】
最近には、パソコンを用いてデジタル写真、ビデオ、デジタルオーディオ、テキストなどのメディアデータを処理して、再生した。そして、前記メディアコンテンツを生成する装置、例えば、デジタルカメラ、デジタルカムコーダ、デジタルオーディオ再生器（ＭＰ３、ＷＭＡなどのデジタルオーディオデータを再生する装置）などの使用が多くなるにつれて多種のメディアデータが大量に生成されている。
【０００４】
しかし、このように大量生成されているマルチメディアデータを管理するためにパソコンを主に使用してきて、これにより、ユーザのファイル基盤経験（Ｆｉｌｅ−ｂａｓｅｄ ｕｓｅｒ ｅｘｐｅｒｉｅｎｃｅ）を要求するようになる難点が生じた。また、特定製品でマルチメディアデータが生成される時、属性データ、データ再生順序、再生方法などもそれぞれのマルチメディアデータ別に生成される場合があるが、これをパソコンと連結すれば、属性データをなくして、原本データのみ移動する。すなわち、家電製品、パソコン、及びデジタルコンテンツ生成装置間にデータとデータとの属性についての相互連動性（Ｉｎｔｅｒ−ｏｐｅｒａｂｉｌｉｔｙ）が非常に脆弱である。
【０００５】
前記相互連動性が脆弱な点について、例を挙げて説明する。デジタルカメラを使用して写真をキャプチャし、キャプチャされた写真をデジタルカメラで確認するためにスライドショー機能を使用しつつ決定された属性スライドショー順序、写真間の時間間隔、パノマラ機能を使用しつつ決定された属性撮影された写真間の関係、連写機能を使用しつつ決定された属性などのデータが原本データの実際画像データと共に保存される。この際、前記デジタルカメラにＡＶケーブルを使用してテレビに画像を伝送すれば、それぞれの属性が表現されたマルチメディアデータをユーザが見られるようになる。しかし、ＵＳＢ（ユニバーサルシリアルバス）ケーブルを通じてパソコンに連結すれば、原本データのみコンピュータに伝送され、それぞれの属性をいずれも失うようになる。
【０００６】
前記の例に現れたようにデジタルカメラで保存された属性データ、すなわち、メタデータについてのパソコンの相互連動性が非常に脆弱であると見なし得る。または、デジタルカメラの機能に対するパソコンの相互連動性がないとも見なし得る。
【０００７】
このようなデジタル機器間のデータに対する相互−連動性の脆弱を補強するために、ＭＰＶ標準が進行しているものである。
【０００８】
ＭＰＶスペックは、光学ディスク、メモリカード、コンピュータハードディスクのような記録媒体（または装置）に保存されるか、インターネットプロトコルにより交換されるデジタル写真、ビデオ、オーディオなどのマルチメディアデータの集合を処理し、再生（Ｐｌａｙｂａｃｋ）するためのマニフェスト（Ｍａｎｉｆｅｓｔ）、メタデータ及びプラクティスを定義している。
【０００９】
ＭＰＶは、現在ＯＳＴＡ（Ｏｐｔｉｃａｌ Ｓｔｏｒａｇｅ Ｔｅｃｈｎｏｌｏｇｙ Ａｓｓｏｃｉａｔｉｏｎ）とＩ３Ａ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｉｍａｇｉｎｇ Ｉｎｄｕｓｔｒｙ Ａｓｓｏｃｉａｔｉｏｎ）で標準化を進行しており、前記ＭＰＶは、オープンスペック（Ｏｐｅｎ ｓｐｅｃｉｆｉｃａｔｉｏｎ）であり、デジタル写真やビデオ、デジタルオーディオ、テキストなどの集合の処理、交換、再生を容易にすることを主目的とする。
【００１０】
ＭＰＶは、ＭＰＶコアスペック（ＭＰＶ Ｃｏｒｅ−Ｓｐｅｃ．０．９０ＷＤ）とプロファイルに大別される。
【００１１】
コアは、コレクション、メタデータ、識別（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）のような３種の基本要素からなりうる。
【００１２】
コレクションには、ルートメンバーとしてマニフェストを有しており、メタデータ、アルバム、表示資産（Ｍａｒｋｅｄ Ａｓｓｅｔ）、資産リスト（Ａｓｓｅｔ Ｌｉｓｔ）などがある。この際、資産は、ＭＰＶフォーマットによって記述されたマルチメディアデータを意味するが、ここには２種がある。まず、シンプルメディア資産（Ｓｉｍｐｌｅ ｍｅｄｉａ ａｓｓｅｔ）があり、デジタル写真、ビデオ、デジタルオーディオ、文書などがその例に該当する。そして、複合メディア資産（Ｃｏｍｐｏｓｉｔｅ ｍｅｄｉａ ａｓｓｅｔ）があり、デジタル写真＋デジタルオーディオ（ＳｔｉｌｌＷｉｔｈＡｕｄｉｏ）、連続撮影デジタル写真（ＳｔｉｌｌＭｕｌｔｉｓｈｏｔＳｅｑｕｅｎｃｅ）、パノマラ撮影デジタル写真（ＳｔｉｌｌＰａｎｏｒａｍａＳｅｑｕｅｎｃｅ）などがここに該当する。図１は、前記した内容の例を表している。
【００１３】
メタデータは、ＸＭＬフォーマットによって、識別のために下記のような５種の識別子がある。
【００１４】
１．ＬａｓｔＵＲＬ：該当資産のパス名とファイル名（Ｐａｔｈ ｔｏ ｔｈｅ ｏｂｊｅｃｔ）
２．ＩｎｓｔａｎｃｅＩＤ：各資産ごとに唯一のＩＤ（ｕｎｉｑｕｅ ｐｅｒ ｏｂｊｅｃｔ：例、Ｅｘｉｆ２．２）
３．ＤｏｃｕｍｅｎｔＩＤ：原本データと変更されたデータとにいずれも同一
４．ＣｏｎｔｅｎｔＩＤ：該当資産が特定の目的のために使われる度に生成
５．ｉｄ：メタデータ内でのローカル変数
一方、プロファイルは、全て７種であって、基本プロファイル（Ｂａｓｉｃ ｐｒｏｆｉｌｅ）、プレゼンテーションプロファイル（Ｐｒｅｓｅｎｔａｔｉｏｎ ｐｒｏｆｉｌｅ）、キャプチャ／編集プロファイル（Ｃａｐｔｕｒｅ／Ｅｄｉｔ ｐｒｏｆｉｌｅ）、記録プロファイル（Ａｒｃｈｉｖｅ ｐｒｏｆｉｌｅ）、インターネットプロファイル（Ｉｎｔｅｒｎｅｔ ｐｒｏｆｉｌｅ）、印刷プロファイル（Ｐｒｉｎｔｉｎｇ ｐｒｏｆｉｌｅ）、コンテナプロファイル（Ｃｏｎｔａｉｎｅｒ ｐｒｏｆｉｌｅ）などがある。
【００１５】
すなわち、ＭＰＶは、ユーザの意図通り記録媒体に記録された各種マルチメディアデータが再生されるようにＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）メタデータを用いて多様なファイル連結（ａｓｓｏｃｉａｔｉｏｎ）を管理するなどの機能を支援し、特にＪＰＥＧ、ＭＰ３、ＷＭＡ、ＷＭＶ、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４を支援し、デジタルカメラフォーマットであるＡＶＩ及びクイックタイム（ＱｕｉｃｋＴｉｍｅ）ＭＪＰＥＧビデオを支援し、ＭＰＶ規格ディスクは、ＩＳＯ９６６０レベル１、Ｊｏｌｉｅｔと互換性があり、マルチセッションＣＤ、ＤＶＤ、メモリカード、ハードディスク及びインターネットとも互換されることによって、ユーザをしてさらに多様なマルチメディアデータの管理及び処理を可能ならしめる。
【発明の開示】
【発明が解決しようとする課題】
【００１６】
しかし、ＭＰＶフォーマットについての標準において標準で定義されていない多様なマルチメディアデータの形態、すなわち、新たな形態の資産が必要となり、前記マルチメディアデータを提供する機能の追加が要請されている。
【課題を解決するための手段】
【００１７】
本発明では、現在ＭＰＶフォーマットが提案している多様な形のマルチメディアデータに加えて新たなマルチメディアデータに関する形態を提案し、ＭＰＶフォーマットによって記述されるマルチメディアデータをユーザにより多様に提供する方法を提案することによって、多様な種類のマルチメディアデータの活用をさらに多様にしようとすることである。
【００１８】
前記目的を達成するための本発明の実施によるＭＰＶ（Ｍｕｓｉｃ Ｐｈｏｔｏ Ｖｉｄｅｏ）フォーマットによって記述されるオーディオ及びビデオデータのディスプレイ装置は、ユーザが選択した資産が単一のオーディオデータと少なくとも１以上のビデオデータとより構成される資産であるか否かを確認し、前記オーディオデータと前記ビデオデータとをディスプレイするための参照情報を抽出した後、前記参照情報を用いて前記オーディオデータを抽出してディスプレイし、前記オーディオデータがディスプレイされる間、所定のディスプレイ方法によって前記参照情報から少なくとも１以上の前記ビデオデータを抽出して順次にディスプレイすることを特徴とする。この際、望ましくは、前記ディスプレイ方法は、前記オーディオデータがディスプレイされる間に前記それぞれのビデオデータの再生時間を指定するためのディスプレイ時間情報と前記オーディオデータ及び前記ビデオデータの再生時に発生する音量の大きさを調節するための音量制御情報とによってディスプレイされることを含む。
【００１９】
前記目的を達成するための本発明の実施によるＭＰＶ（Ｍｕｓｉｃ Ｐｈｏｔｏ Ｖｉｄｅｏ）フォーマットによって記述されるオーディオ及びビデオデータのディスプレイ装置は、ユーザが選択した資産が単一のビデオデータと少なくとも１以上のオーディオデータとより構成される資産であるか否かを確認し、前記ビデオデータと前記オーディオデータとをディスプレイするための参照情報を抽出した後、前記参照情報を用いて前記ビデオデータを抽出してディスプレイし、前記ビデオデータがディスプレイされる間に所定のディスプレイ方法によって前記参照情報から少なくとも１以上の前記オーディオデータを抽出して順次にディスプレイすることを特徴とする。この際、望ましくは、前記ディスプレイ方法は、前記ビデオデータがディスプレイされる間に前記それぞれのオーディオデータの再生時間を指定するためのディスプレイ時間情報と前記オーディオデータの再生時に発生する音量の大きさを調節するための音量制御情報によってディスプレイされることを含む。
【００２０】
前記目的を達成するための本発明の実施によるＭＰＶフォーマットによって記述されるオーディオ及びビデオデータのディスプレイ方法は、ユーザが選択した資産が単一のオーディオデータと少なくとも１以上のビデオデータとより構成される資産であるか否かを確認する第１ステップと、前記オーディオデータとビデオデータとをディスプレイするための参照情報を抽出する第２ステップと、前記参照情報を用いて前記オーディオデータを抽出してディスプレイする第３ステップと、前記オーディオデータがディスプレイされる間に所定のディスプレイ方法によって前記参照情報から少なくとも１以上の前記ビデオデータを抽出して順次にディスプレイする第４ステップと、を含むことを特徴とする。
【００２１】
この際、望ましくは、前記ディスプレイ方法は、前記オーディオデータがディスプレイされる間に前記それぞれのビデオデータの再生時間を指定するためのディスプレイ時間情報と前記オーディオデータ及び前記ビデオデータの再生時に発生する音量の大きさを調節するための音量制御情報とによってディスプレイされることを含む。この際、前記ディスプレイ時間情報は、前記ビデオデータを再生し始める開始時点情報と前記ビデオデータの再生時間を示す再生時間情報とを含む。
【００２２】
また、望ましくは、前記第４ステップは、前記オーディオデータの再生時間を指定するための第１時間情報と前記少なくとも１以上のビデオデータの再生時間を指定するための第２時間情報とを同期化する第４−１ステップと、前記オーディオデータの再生時に発生する音量の大きさを調節するための第１音量制御情報と前記少なくとも１以上のビデオデータの再生時に発生する音量の大きさを調節するための第２音量制御情報とを抽出する第４−２ステップと、前記時間情報と前記音量制御情報とを用いて前記オーディオデータと前記ビデオデータとをディスプレイ媒体を通じて提供する第４−３ステップと、を含む。
【００２３】
前記目的を達成するための本発明の実施によるＭＰＶフォーマットによって記述されるオーディオ及びビデオデータのディスプレイ方法は、ユーザが選択した資産が単一のビデオデータと少なくとも１以上のオーディオデータとより構成される資産であるか否かを確認する第１ステップと、前記ビデオデータとオーディオデータをとディスプレイするための参照情報を抽出する第２ステップと、前記参照情報を用いて前記ビデオデータを抽出してディスプレイする第３ステップと、前記ビデオデータがディスプレイされる間に所定のディスプレイ方法によって前記参照情報から少なくとも１以上の前記オーディオデータを抽出して順次にディスプレイする第４ステップと、を含むことを特徴とする。
【００２４】
この際、望ましくは、前記ディスプレイ方法は、前記ビデオデータがディスプレイされる間に前記それぞれのオーディオデータの再生時間を指定するためのディスプレイ時間情報と前記ビデオデータ及び前記オーディオデータの再生時に発生する音量の大きさを調節するための音量制御情報とによってディスプレイされることを含む。この際、前記ディスプレイ時間情報は、前記オーディオデータを再生し始める開始時点情報と前記オーディオデータの再生時間を示す再生時間情報とを含む。
【００２５】
また、望ましくは、前記第４ステップは、前記ビデオデータの再生時間を指定するための第１時間情報と前記少なくとも１以上のオーディオデータの再生時間を指定するための第２時間情報とを同期化する第４−１ステップと、前記ビデオデータの再生時に発生する音量の大きさを調節するための第１音量制御情報と前記少なくとも１以上のオーディオデータの再生時に発生する音量の大きさを調節するための第２音量制御情報とを抽出する第４−２ステップと、前記時間情報と前記音量制御情報とを用いて前記ビデオデータと前記オーディオデータとをディスプレイ媒体を通じて提供する第４−３ステップと、を含むことを特徴とする。
【００２６】
前記目的を達成するために、本発明の実施によるＭＰＶフォーマットによって記述されるオーディオ及びビデオデータをディスプレイするプログラムが記録された記録媒体は、ユーザが選択した資産が単一のオーディオデータと少なくとも１以上のビデオデータとより構成される資産であるか否かを確認し、前記オーディオデータと前記ビデオデータとをディスプレイするための参照情報を抽出した後、前記参照情報を用いて前記オーディオデータを抽出してディスプレイし、前記オーディオデータがディスプレイされる間に所定のディスプレイ方法によって前記参照情報から少なくとも１以上の前記ビデオデータを抽出して順次にディスプレイすることを特徴とする。
【００２７】
また、前記目的を達成するために、本発明の実施によるＭＰＶフォーマットによって記述されるオーディオ及びビデオデータをディスプレイするプログラムが記録された記録媒体は、ユーザが選択した資産が単一のビデオデータと少なくとも１以上のオーディオデータとより構成される資産であるか否かを確認し、前記ビデオデータと前記オーディオデータとをディスプレイするための参照情報を抽出した後、前記参照情報を用いて前記ビデオデータを抽出してディスプレイし、前記ビデオデータがディスプレイされる間に所定のディスプレイ方法によって前記参照情報から少なくとも１以上の前記オーディオデータを抽出して順次にディスプレイすることを特徴とする。
【発明を実施するための最良の形態】
【００２８】
以下、添付された図面を参照して本発明の一実施形態によるＭＰＶフォーマットによって記述されるオーディオ及びビデオデータのディスプレイ装置及び方法を説明すれば次の通りである。
【００２９】
一方、本発明ではＭＰＶフォーマットによるマルチメディアデータを提供するためにＸＭＬ（ｅＸｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）を用いており、以下ＸＭＬ−スキーマ（ｓｃｈｅｍａ）によって記述する。
【００３０】
本発明ではＯＳＴＡで提案していない‘ＡｕｄｉｏＷｉｔｈＶｉｄｅｏ’資産と、‘ＶｉｄｅｏＷｉｔｈＡｕｄｉｏ’資産を提示することによって、さらに多様なマルチメディアデータを提供している。前記２種の新たな資産についての定義と使用例などを説明すれば次の通りである。以下で、‘ｓｍｐｖ’と‘ｍｐｖ’は、ＸＭＬでのネームスペースを示すが、‘ｓｍｐｖ’は、本発明で新たに提案するエレメントに対するネームスペースを示し、‘ｍｐｖ’は、ＯＳＴＡで提案しているエレメントに対するネームスペースを示す。
【００３１】
１．ＡｕｄｉｏＷｉｔｈＶｉｄｅｏ資産
ＡｕｄｉｏＷｉｔｈＶｉｄｅｏ資産は、単一のオーディオ資産に少なくとも１以上のビデオ資産を結合した形態の資産であって、ＸＭＬで記述される場合に＜ＡｕｄｉｏＷｉｔｈＶｉｄｅｏ＞エレメントと称しうる。例えば、ユーザが１つの音楽を聞きつつ、少なくとも１以上の動画像コンテンツを鑑賞するケースに該当する。この際、複数の動画像コンテンツが再生される時間間隔を調節でき、動画像コンテンツから出る音量と前記音楽から出る音量とを相互調節することもできる。
【００３２】
前記オーディオ資産とビデオ資産もＸＭＬで記述される文書（ｆｉｌｅ）ではエレメントと取扱われる。この際、前記オーディオ資産は、＜ｓｍｐｖ：ＡｕｄｉｏＰａｒｔ＞と＜ｍｐｖ：Ａｕｄｉｏ＞、前記ビデオ資産は、＜ｓｍｐｖ：ＶｉｄｅｏＰａｒｔ＞と＜ｍｐｖ：Ｖｉｄｅｏ＞とで示し得る。
【００３３】
前記＜ＡｕｄｉｏＰａｒｔ＞エレメントは、オーディオ資産の一部を示す。前記＜ＡｕｄｉｏＰａｒｔ＞エレメントの下位エレメントとして＜ＳＭＰＶ：ｓｔａｒｔ＞、＜ＳＭＰＶ：ｓｔｏｐ＞、＜ＳＭＰＶ：ｄｕｒ＞を定義しうるが、前記３種の下位エレメントのうち少なくとも１つ以上は必ずその値が指定されねばならない。
【００３４】
＜ＳＭＰＶ：ｓｔａｒｔ＞エレメントは、＜ｘｓ：ｅｌｅｍｅｎｔ ｎａｍｅ＝“ＳＭＰＶ：ｓｔａｒｔ” ｔｙｐｅ＝“ｘｓ：ｌｏｎｇ” ｍｉｎＯｃｃｕｒｓ＝“０”／＞のように定義されうるが、参照されるオーディオ資産の全体時間のうち、一部に対する開始時点を‘秒（ｓｅｃｏｎｄ）’単位で表す。もし、如何なる値も与えられていなければ、開始時間は、＜ＳＭＰＶ：ｓｔｏｐ＞、＜ＳＭＰＶ：ｄｕｒ＞の値に基づいて［ＳＭＰＶ：ｓｔａｒｔ］＝［ＳＭＰＶ：ｓｔｏｐ］−［ＳＭＰＶ：ｄｕｒ］のように計算される。＜ＳＭＰＶ：ｓｔｏｐ＞または＜ＳＭＰＶ：ｄｕｒ＞の値が指定されないと、＜ＳＭＰＶ：ｓｔａｒｔ＞の値は０となる。
【００３５】
＜ＳＭＰＶ：ｓｔｏｐ＞エレメントは、＜ｘｓ：ｅｌｅｍｅｎｔｎａｍｅ＝“ＳＭＰＶ：ｓｔｏｐ” ｔｙｐｅ＝“ｘｓ：ｌｏｎｇ” ｍｉｎＯｃｃｕｒｓ＝“０”／＞のように定義されうるが、参照されるオーディオ資産の全体時間のうち、一部に対して終了地点を‘秒（ｓｅｃｏｎｄ）’単位で表す。もし如何なる値も与えられていなければ、終了時間は＜ＳＭＰＶ：ｓｔａｒｔ＞、＜ＳＭＰＶ：ｄｕｒ＞の値に基づいて［ＳＭＰＶ：ｓｔｏｐ］＝［ＳＭＰＶ：ｓｔａｒｔ］＋［ＳＭＰＶ：ｄｕｒ］のように計算される。＜ＳＭＰＶ：ｄｕｒ＞の値が指定されずに、＜ＳＭＰＶ：ｓｔａｒｔ＞の値が指定されれば、＜ＳＭＰＶ：ｓｔｏｐ＞の値は参照される資産の終了時間になる。一方、＜ＳＭＰＶ：ｓｔａｒｔ＞の値が指定されず、＜ＳＭＰＶ：ｄｕｒ＞の値が指定されれば、＜ＳＭＰＶ：ｓｔｏｐ＞の値は＜ＳＭＰＶ：ｄｕｒ＞値になる。
【００３６】
＜ＭＰＶ：ｄｕｒ＞エレメントは、＜ｘｓ：ｅｌｅｍｅｎｔ ｎａｍｅ＝“ＳＭＰＶ：ｄｕｒ” ｔｙｐｅ＝“ｘｓ：ｌｏｎｇ” ｍｉｎＯｃｃｕｒｓ＝“０”／＞のように定義されうるが、参照されるオーディオ資産の全体時間のうち、実際に再生される時間を示す。もし、＜ＳＭＰＶ：ｄｕｒ＞の値が与えられていなければ、［ＳＭＰＶ：ｄｕｒ］＝［ＳＭＰＶ：ｓｔｏｐ］−［ＳＭＰＶ：ｓｔａｒｔ］のような方法で計算されうる。
【００３７】
前記＜ＶｉｄｅｏＰａｒｔ＞エレメントは、ビデオ資産の一部を示す。＜ＶｉｄｅｏＰａｒｔ＞エレメントを定義する方法は、前記＜ＡｕｄｉｏＰａｒｔ＞エレメントの方法を同一に適用しうる。
【００３８】
図２では、‘ＡｕｄｉｏＷｉｔｈＶｉｄｅｏ’資産の構造を概略的に説明している。
【００３９】
図２で図示した＜ＡｕｄｉｏＷｉｔｈＶｉｄｅｏ＞エレメントのダイアグラムを見れば、＜ＡｕｄｉｏＷｉｔｈＶｉｄｅｏ＞エレメントは、‘ｍｐｖ’と‘ｓｍｐｖ’とを各々ネームスペース（ｎａｍｅｓｐａｃｅ）とする複数のエレメントからなっていることが分かる。
【００４０】
ここで、‘ｍｐｖ’をネームスペースとするエレメントについての説明は、ＭＰＶ規格に対して提案しているＯＳＴＡのホームページ‘ｗｗｗ．ｏｓｔａ．ｏｒｇ’に記述されているので省略する。したがって、以下では‘ｓｍｐｖ’をネームスペースとするエレメントについて順次に説明する。
【００４１】
（１）＜ＡｕｄｉｏＰａｒｔＲｅｆ＞
＜ＡｕｄｉｏＰａｒｔＲｅｆ＞エレメントは、＜ＡｕｄｉｏＰａｒｔ＞エレメントを参照する。
【００４２】
（２）＜ＶｉｄｅｏＰａｒｔＲｅｆ＞
＜ＶｉｄｅｏＰａｒｔＲｅｆ＞エレメントは、＜ＶｉｄｅｏＰａｒｔ＞エレメントを参照する。
【００４３】
（３）＜ＶｉｄｅｏＷｉｔｈＡｕｄｉｏＲｅｆ＞
＜ＶｉｄｅｏＷｉｔｈＡｕｄｉｏＲｅｆ＞エレメントは、＜ＶｉｄｅｏＷｉｔｈＡｕｄｉｏ＞エレメントを参照するが、図３では、前記＜ＶｉｄｅｏＷｉｔｈＡｕｄｉｏＲｅｆ＞エレメントを簡略に記述している。
【００４４】
（４）＜ＡｕｄｉｏＷｉｔｈＶｉｄｅｏＲｅｆ＞
＜ＡｕｄｉｏＷｉｔｈＶｉｄｅｏＲｅｆ＞エレメントは、＜ＡｕｄｉｏＷｉｔｈＶｉｄｅｏ＞エレメントを参照するが、図４では前記＜ＡｕｄｉｏＷｉｔｈＶｉｄｅｏＲｅｆ＞エレメントを簡略に記述している。
【００４５】
（５）＜ＶｉｄｅｏＤｕｒＳｅｑ＞
＜ＶｉｄｅｏＤｕｒＳｅｑ＞エレメントの値は、それぞれのビデオデータの再生時間を示す。この際、単位は秒であり、相対的な時間値を示す。再生される時間は小数点単位でも示しうる。＜ＶｉｄｅｏＤｕｒＳｅｑ＞エレメントの値が設定されていない場合には、再生時間が設定されていないと判断し、該当ビデオデータの総再生時間を＜ＶｉｄｅｏＤｕｒＳｅｑ＞エレメントの値と見なす。
【００４６】
一方、該当ビデオデータの総再生時間は、ビデオ資産で参照されるビデオデータの参照形態（ｒｅｆｅｒｅｎｃｅ ｔｙｐｅ）によって決定されうる。
【００４７】
すなわち、該当ビデオデータの総再生時間は、前記参照形態が‘ＶｉｄｅｏＲｅｆ’ならば、参照されるビデオデータの総再生時間となる。もし、前記参照形態が‘ＶｉｄｅｏＰａｒｔＲｅｆ’ならば、参照される＜ＶｉｄｅｏＰａｒｔ＞エレメントの属性値を用いて該当ビデオデータの総再生時間が得られる。また、前記参照形態が‘ＡｕｄｉｏＷｉｔｈＶｉｄｅｏＲｅｆ’である場合には、参照される＜ＡｕｄｉｏＷｉｔｈＶｉｄｅｏ＞エレメントでオーディオデータについての参照形態を確認せねばならない。すなわち、オーディオデータについての参照形態が‘ＡｕｄｉｏＲｅｆ’である場合には、該当ビデオデータの総再生時間は、前記オーディオデータの総再生となり、オーディオデータについての参照形態が‘ＡｕｄｉｏＰａｒｔＲｅｆ’である場合には、参照される＜ＡｕｄｉｏＰａｒｔ＞エレメントの属性値を用いて該当ビデオデータの総再生時間が得られる。もし、前記参照形態が‘ＶｉｄｅｏＷｉｔｈＡｕｄｉｏＲｅｆ’である場合には、参照される＜ＶｉｄｅｏＷｉｔｈＡｕｄｉｏ＞エレメントからビデオ資産だけ抽出し、抽出されたビデオ資産で‘ＶｉｄｅｏＲｅｆ’として参照されるビデオデータの総再生時間を該当ビデオデータの総再生時間とする。
【００４８】
＜ＶｉｄｅｏＤｕｒＳｅｑ＞エレメントの値についての説明を要約すれば次の通りである。
ＶｉｄｅｏＤｕｒＳｅｑ＝＜ｃｌｏｃｋ−ｖａｌｕｅ＞（“；”＜ｃｌｏｃｋ−ｖａｌｕｅ＞）； ［式１］
ｃｌｏｃｋ−ｖａｌｕｅ＝（＜ｓｅｃｏｎｄｓ＞｜＜ｕｎｋｎｏｗｎ−ｄｕｒ＞） ［式２］
ｕｎｋｎｏｗｎ−ｄｕｒ＝ｔｈｅ ｅｍｐｔｙ ｓｔｒｉｎｇ ［式３］
ｓｅｃｏｎｄｓ＝＜ｄｅｃｉｍａｌｎｕｍｂｅｒ＞（．＜ｄｅｃｉｍａｌｎｕｍｂｅｒ＞）． ［式４］
［式１］は、＜ＶｉｄｅｏＤｕｒＳｅｑ＞エレメント値は‘ｃｌｏｃｋ−ｖａｌｕｅ’により示し、ビデオデータが２以上である場合には、”；”を用いてそれぞれのビデオデータの再生時間を区別するということを意味する。
【００４９】
［式２］は、前記［式１］で‘ｃｌｏｃｋ−ｖａｌｕｅ’値は、‘ｓｅｃｏｎｄｓ’で示すか、‘ｕｎｋｎｏｗｎ−ｄｕｒ’で表すということを意味する。
【００５０】
［式３］は、前記［式２］で‘ｕｎｋｎｏｗｎ−ｄｕｒ’は、前記‘ｃｌｏｃｋ−ｖａｌｕｅ’値を設定していないことを意味する。
【００５１】
［式４］は、前記［式２］で‘ｓｅｃｏｎｄｓ’値は、１０進数で示し、小数点を用いて該当ビデオデータの再生時間を示すということを意味する。
【００５２】
例えば、前記‘ｃｌｏｃｋ−ｖａｌｕｅ’値が‘７．２’である場合は、該当ビデオデータの再生時間が７．２秒であることを示す。他の例として、前‘ｃｌｏｃｋ−ｖａｌｕｅ’値が、‘２；１０．９’である場合は、該当ビデオデータは２個があるが、最初のビデオデータの再生時間は、２秒であり、２番目のビデオデータの再生時間は、１０．９秒であることを示す。さらに他の例として、前記‘ｃｌｏｃｋ−ｖａｌｕｅ’値が‘；，５．６’である場合は、該当ビデオデータが２個あるが、最初のビデオデータの再生時間は設定されていないので、最初のビデオデータは、該当コンテンツの総再生時間の間に再生され、２番目のビデオデータの再生時間は、５．６秒であることを示す。図５では、前記＜ＶｉｄｅｏＤｕｒＳｅｑ＞エレメントを簡略に記述している。
【００５３】
（６）＜ＳｔａｒｔＳｅｑ＞
＜ＳｔａｒｔＳｅｑ＞エレメントの値は、それぞれのビデオデータの再生時の再生開始時点を示す。この際、単位は、秒（ｓｅｃｏｎｄ）であり、それぞれのビデオデータが再生開始時点に基づいて相対的な時間値を示す。再生開始時点は、小数点単位でも示し得る。例えば、＜ＳｔａｒｔＳｅｑ＞エレメントの値が設定されていない場合には、該当値を０秒と見なす。すなわち、該当ビデオデータが再生開始時点から再生し始める。もし、＜ＳｔａｒｔＳｅｑ＞エレメントの値が該当ビデオデータの総再生時間より大きい場合には、該当ビデオデータの再生が終了された後に再生される結果となるので、このような場合には、＜ＳｔａｒｔＳｅｑ＞エレメントの値を‘０’と見なす。
【００５４】
もし、前記＜ＶｉｄｅｏＤｕｒＳｅｑ＞エレメントと前記＜ＳｔａｒｔＳｅｑ＞エレメントとが＜ＡｕｄｉｏＷｉｔｈＶｉｄｅｏ＞エレメント内でいずれも定義された場合に、前記＜ＶｉｄｅｏＤｕｒＳｅｑ＞エレメント値と前記＜ＳｔａｒｔＳｅｑ＞エレメント値とを加算した値が再生しようとするビデオデータの総再生時間より同じか、小さくなければならない。もし、そうでない場合には、＜ＶｉｄｅｏＤｕｒＳｅｑ＞エレメント値は、該当ビデオデータの総再生時間から、前記＜ＳｔａｒｔＳｅｑ＞エレメント値を差し引いた値とする。図６では、前記＜ＳｔａｒｔＳｅｑ＞エレメントを簡略に記述している。
【００５５】
（７）＜ＶｉｄｅｏＶｏｌｕｍｅＳｅｑ＞
＜ＶｉｄｅｏＶｏｌｕｍｅＳｅｑ＞エレメント値は、該当ビデオデータの音量大きさを百分率で示す。したがって、＜ＶｉｄｅｏＶｏｌｕｍｅＳｅｑ＞エレメント値が０である場合には、該当ビデオデータに対する音量も０となる。もし、＜ＶｉｄｅｏＶｏｌｕｍｅＳｅｑ＞エレメント値が設定されていない場合には、該当ビデオデータの元の音量で再生される。
【００５６】
複数のビデオデータが再生される場合には、再生されるビデオデータの数ほど＜ＶｉｄｅｏＶｏｌｕｍｅＳｅｑ＞エレメント値が設定されるが、もし単一の値（ｓｉｎｇｌｅ ｖａｌｕｅ）のみ設定された場合には、再生されるあらゆるビデオデータの音量は設定された前記単一の値（ｓｉｎｇｌｅ ｖａｌｕｅ）に再生される。図７では、前記＜ＶｉｄｅｏＶｏｌｕｍｅＳｅｑ＞エレメントを簡略に記述している。
【００５７】
（８）＜ＡｕｄｉｏＶｏｌｕｍｅ＞
＜ＡｕｄｉｏＶｏｌｕｍｅ＞エレメント値は、該当オーディオデータの音量大きさを百分率で示す。もし、＜ＡｕｄｉｏＶｏｌｕｍｅ＞エレメント値が設定されていない場合には、＜ＡｕｄｉｏＶｏｌｕｍｅ＞エレメント値を１００と見なす。図８では、前記＜ＡｕｄｉｏＶｏｌｕｍｅ＞エレメントを簡略に記述している。
【００５８】
図９は、＜ＡｕｄｉｏＷｉｔｈＶｉｄｅｏ＞エレメントのタイプについてのダイアグラムを要約した例示図である。
【００５９】
前記で記述したエレメントを用いてＡｕｄｉｏＷｉｔｈＶｉｄｅｏ資産を提供する方法を例として挙げる。
【００６０】
例１）
＜ＳＭＰＶ：ＡｕｄｉｏＷｉｔｈＶｉｄｅｏ＞
＜ＡｕｄｉｏＲｅｆ＞Ａ０００７＜／ＡｕｄｉｏＲｅｆ＞
＜ＶｉｄｅｏＲｅｆ＞Ｖ１２０５＜／ＶｉｄｅｏＲｅｆ＞
＜ＶｉｄｅｏＲｅｆ＞Ｖ１２０６＜／ＶｉｄｅｏＲｅｆ＞
＜ＳＭＰＶ：ＳｔａｒｔＳｅｑ＞；３＜／ＳＭＰＶ：ＳｔａｒｔＳｅｑ＞
＜／ＳＭＰＶ：ＡｕｄｉｏＷｉｔｈＶｉｄｅｏ＞
前記例１）では、‘Ａ０００７’値で参照される１個のオーディオ資産と各々‘Ｖ１２０５’と‘Ｖ１２０６’値で参照される２個のビデオ資産を用いてＡｕｄｉｏＷｉｔｈＶｉｄｅｏ資産を再生する方法を示している。前記例１）の場合＜ＳｔａｒｔＳｅｑ＞エレメント値を見れば、‘Ｖ１２０５’値で参照されるビデオ資産に対しては値が設定されていないので、該当値を０秒と見なす。すなわち、‘Ｖ１２０５’値で参照されるビデオ資産は、‘Ａ０００７’値で参照されるオーディオ資産が再生開始時点から‘Ｖ１２０６’値で参照されるビデオ資産が再生されるまで再生する。一方、‘Ｖ１２０６’値で参照されるビデオ資産に対しては値が３に設定されたので、‘Ｖ１２０６’値で参照されるビデオ資産は‘Ｖ１２０６’値で参照されるビデオ資産の開始から３秒が経つ時点から再生し始める。
【００６１】
例２）
＜ＳＭＰＶ：ＡｕｄｉｏＷｉｔｈＶｉｄｅｏ＞
＜ＡｕｄｉｏＲｅｆ＞Ａ０００１＜／ＡｕｄｉｏＲｅｆ＞
＜ＶｉｄｅｏＲｅｆ＞Ｖ１００１＜／ＶｉｄｅｏＲｅｆ＞
＜ＶｉｄｅｏＲｅｆ＞Ｖ１００２＜／ＶｉｄｅｏＲｅｆ＞
＜ＶｉｄｅｏＲｅｆ＞Ｖ１００３＜／ＶｉｄｅｏＲｅｆ＞
＜ＳＭＰＶ：ＶｉｄｅｏＤｕｒＳｅｑ＞２；；１０＜／ＳＭＰＶ：ＶｉｄｅｏＤｕｒＳｅｑ＞
＜ＳＭＰＶ：ＳｔａｒｔＳｅｑ＞；３；０＜／ＳＭＰＶ：ＳｔａｒｔＳｅｑ＞
＜ＳＭＰＶ：ＶｉｄｅｏＶｏｌｕｍｅＳｅｑ＞５０＜／ＳＭＰＶ：ＶｉｄｅｏＶｏｌｕｍｅＳｅｑ＞
＜ＳＭＰＶ：ＡｕｄｉｏＶｏｌｕｍｅ＞５０＜／ＳＭＰＶ：ＡｕｄｉｏＶｏｌｕｍｅ＞
＜／ＳＭＰＶ：ＡｕｄｉｏＷｉｔｈＶｉｄｅｏ＞
前記例２）では、‘Ａ０００１’値で参照される１個のオーディオ資産と各々‘Ｖ１００１’、‘Ｖ１００２’、‘Ｖ１００３’値で参照される３個のビデオ資産を用いてＡｕｄｉｏＷｉｔｈＶｉｄｅｏ資産を再生する方法を表している。前記例２）の場合、‘Ｖ１００１’値で参照されるビデオ資産は、２秒間再生される。そして、‘Ｖ１００２’値で参照されるビデオ資産は前記‘Ｖ１００１’値で参照されるビデオ資産の再生が終了した後に‘Ｖ１００２’値で参照されるビデオ資産の開始から３秒が経つ時点から再生し始める。そして、‘Ｖ１００３’値で参照されるビデオ資産は、前記‘Ｖ１００２’値で参照されるビデオ資産の再生が終了した後に１０秒間再生される。
【００６２】
一方、前記３個のビデオ資産の音量は、いずれも原音量の５０％ほど再生され、前記オーディオ資産の音量も原音量の５０％ほど再生される。
【００６３】
例３）
＜ＳＭＰＶ：ＡｕｄｉｏＷｉｔｈＶｉｄｅｏ＞
＜ＡｕｄｉｏＲｅｆ＞Ａ０００１＜／ＡｕｄｉｏＲｅｆ＞
＜ＶｉｄｅｏＰａｒｔＲｅｆ＞ＶＰ１００１＜／ＶｉｄｅｏＰａｒｔＲｅｆ＞
＜ＡｕｄｉｏＷｉｔｈＶｉｄｅｏＲｅｆ＞ＡＶ１００２＜／ＡｕｄｉｏＷｉｔｈＶｉｄｅｏＲｅｆ＞
＜／ＳＭＰＶ：ＡｕｄｉｏＷｉｔｈＶｉｄｅｏ＞
前記例３）では、‘Ａ０００１’値で参照される１個のオーディオ資産と‘ＶＰ１００１’で参照されるＶｉｄｅｏＰａｒｔ資産と、‘ＡＶ１００２’値で参照されるＡｕｄｉｏＷｉｔｈＶｉｄｅｏ資産を用いてＡｕｄｉｏＷｉｔｈＶｉｄｅｏ資産を再生することを表している。
【００６４】
２．‘ＶｉｄｅｏＷｉｔｈＡｕｄｉｏ’資産
‘ＶｉｄｅｏＷｉｔｈＡｕｄｉｏ’資産は、単一のビデオ資産（ｖｉｄｅｏ ａｓｓｅｔ）に少なくとも１以上のオーディオ資産を結合した形態の資産であって、ＸＭＬで記述される場合に‘ＶｉｄｅｏＷｉｔｈＡｕｄｉｏ’エレメントと称しうる。前記オーディオ資産とビデオ資産ともＸＭＬで記述される文書ではエレメントと取扱われる。この際、前記オーディオ資産は、‘ｓｍｐｖ：ＡｕｄｉｏＰａｒｔ’と‘ｍｐｖ：Ａｕｄｉｏ’で示し、前記ビデオ資産は、‘ｓｍｐｖ：ＶｉｄｅｏＰａｒｔ’と‘ｍｐｖ：Ｖｉｄｅｏ’で示し得る。
【００６５】
図１０では、‘ＶｉｄｅｏＷｉｔｈＡｕｄｉｏ’エレメントの構造を概略的に説明している。前記図１０で図示した＜ＶｉｄｅｏＷｉｔｈＡｕｄｉｏ＞エレメントのダイアグラムを見れば、＜ＶｉｄｅｏＷｉｔｈＡｕｄｉｏ＞エレメントは、‘ｍｐｖ’と‘ｓｍｐｖ’とを各々ネームスペースとする複数のエレメントからなっていることが分かる。
【００６６】
ここで、‘ｍｐｖ’をネームスペースとするエレメントについての説明は、ＭＰＶ規格について提案しているＯＳＴＡのホームページ‘ｗｗｗ．Ｏｓｔａ．ｏｒｇ’に記述されているので省略する。したがって、以下では、‘ｓｍｐｖ’をネームスペースとするエレメントについて順次に説明する。一方、ＡｕｄｉｏＷｉｔｈＶｉｄｅｏ資産についての説明で既に記述した内容は省略する。
【００６７】
（１）＜ＡｕｄｉｏＤｕｒＳｅｑ＞
＜ＡｕｄｉｏＤｕｒＳｅｑ＞エレメントの値は、それぞれのオーディオデータの再生時間を示す。この際、単位は秒であり、相対的な時間値を示す。再生時間は、小数点単位でも示し得る。＜ＡｕｄｉｏＤｕｒＳｅｑ＞エレメントの値が設定されていない場合には、再生時間が設定されていないと見て該当オーディオデータの総再生時間を＜ＡｕｄｉｏＤｕｒＳｅｑ＞エレメントの値と見なす。＜ＡｕｄｉｏＤｕｒＳｅｑ＞エレメントの値についての説明を要約すれば次の通りである。
ＡｕｄｉｏＤｕｒＳｅｑ＝＜ｃｌｏｃｋ−ｖａｌｕｅ＞（“；”＜ｃｌｏｃｋ−ｖａｌｕｅ＞）； ［式５］
ｃｌｏｃｋ−ｖａｌｕｅ＝（＜ｓｅｃｏｎｄｓ＞｜＜ｕｎｋｎｏｗｎ−ｄｕｒ＞） ［式６］
ｕｎｋｎｏｗｎ−ｄｕｒ＝ｔｈｅ ｅｍｐｔｙ ｓｔｒｉｎｇ ［式７］
ｓｅｃｏｎｄｓ＝＜ｄｅｃｉｍａｌｎｕｍｂｅｒ＞（．＜ｄｅｃｉｍａｌｎｕｍｂｅｒ＞）． ［式８］
［式５］で＜ＡｕｄｉｏＤｕｒＳｅｑ＞エレメント値は、‘ｃｌｏｃｋ−ｖａｌｕｅ’により示し、オーディオデータが２以上である場合には、”；”を用いてそれぞれのオーディオコンテンツの再生時間を区別するということを意味する。
【００６８】
［式６］は、前記［式５］で‘ｃｌｏｃｋ−ｖａｌｕｅ’値は、‘ｓｅｃｏｎｄｓ’で示すか、‘ｕｎｋｎｏｗｎ−ｄｕｒ’で示すということを意味する。
【００６９】
［式７］は、前記［式６］で‘ｕｎｋｎｏｗｎ−ｄｕｒ’は、前記‘ｃｌｏｃｋ−ｖａｌｕｅ’値を設定していないということを意味する。
【００７０】
［式８］は、前記［式６］で‘ｓｅｃｏｎｄｓ’値は、１０進数で示し、小数点を用いて該当オーディオデータの再生時間を示すということを意味する。
【００７１】
例えば、前記‘ｃｌｏｃｋ−ｖａｌｕｅ’値が‘１２．２’である場合は、該当オーディオデータの再生時間が１２．２秒であることを示す。他の例として前記‘ｌｏｃｋ−ｖａｌｕｅ’値が‘２０；８．９’である場合に該当オーディオデータは２個があるが、最初のオーディオデータの再生時間は２０秒であり、２番目のオーディオデータの再生時間は、８．９秒であることを示す。さらに他の例として前記‘ｃｌｏｃｋ−ｖａｌｕｅ’値が‘；５６．５’である場合に、該当オーディオデータは２個があるが、最初のオーディオデータの再生時間は設定されていないので、最初のオーディオデータは、該当オーディオデータの総再生時間の間に再生され、２番目のオーディオデータの再生時間は５６．５秒であることを示す。図１１では、前記＜ＡｕｄｉｏＤｕｒＳｅｑ＞エレメントを簡略に記述している。
【００７２】
（２）＜ＡｕｄｉｏＶｏｌｕｍｅＳｅｑ＞
ＡｕｄｉｏＶｏｌｕｍｅＳｅｑ＞エレメント値は、該当オーディオデータの音量大きさを百分率で表す。もし、＜ＡｕｄｉｏＶｏｌｕｍｅＳｅｑ＞エレメント値が設定されていない場合には、該当オーディオデータの元の音量で再生される。
【００７３】
複数のオーディオデータが再生される場合には、再生されるオーディオデータの数ほど＜ＡｕｄｉｏＶｏｌｕｍｅＳｅｑ＞エレメント値が設定されるが、もし単一の値（ｓｉｎｇｌｅ ｖａｌｕｅ）のみ設定された場合には、再生されるあらゆるオーディオデータの音量は設定された前記単一の値で再生される。図１２では、前記＜ＡｕｄｉｏＶｏｌｕｍｅＳｅｑ＞エレメントを簡略に記述している。
【００７４】
（３）＜ＶｉｄｅｏＶｏｌｕｍｅ＞
＜ＶｉｄｅｏＶｏｌｕｍｅ＞エレメント値は、該当ビデオデータの音量大きさを百分率で示す。もし、＜ＶｉｄｅｏＶｏｌｕｍｅ＞エレメント値が設定されていない場合には、＜ＶｉｄｅｏＶｏｌｕｍｅ＞エレメント値を１００と見なす。すなわち、該当ビデオデータの原音量で再生される。図１３では、前記＜ＶｉｄｅｏＶｏｌｕｍｅ＞エレメントを簡略に記述している。
【００７５】
図１４は、前記＜ＶｉｄｅｏＷｉｔｈＡｕｄｉｏ＞エレメントのタイプについてのダイアグラムを要約した例示図である。
【００７６】
一方、本発明では資産の参照のための参照グループを定義しうる。
【００７７】
すなわち、オーディオ資産を参照（ｒｅｆｅｒｅｎｃｅ）するための‘ＡｕｄｉｏＲｅｆＧｒｏｕｐ’とビデオ資産を参照するための‘ＶｉｄｅｏＲｅｆＧｒｏｕｐ’を定義しうる。
【００７８】
この際、前記ＡｕｄｉｏＲｅｆＧｒｏｕｐには、＜ｍｐｖ：ＡｕｄｉｏＲｅｆ＞エレメントと、＜ＳＭＰＶ：ＡｕｄｉｏＰａｒｔＲｅｆ＞エレメントとが含まれる。
【００７９】
また、前記ＶｉｄｅｏＲｅｆＧｒｏｕｐには、＜ｍｐｖ：ＶｉｄｅｏＲｅｆ＞エレメントと、＜ＳＭＰＶ：ＶｉｄｅｏＰａｒｔＲｅｆ＞エレメントと、＜ＳＭＰＶ：ＶｉｄｅｏＷｉｔｈＡｕｄｉｏＲｅｆ＞エレメントと、＜ＳＭＰＶ：ＡｕｄｉｏＷｉｔｈＶｉｄｅｏＲｅｆ＞エレメントとが含まれる。図１５及び図１６では、前記‘ＡｕｄｉｏＲｅｆＧｒｏｕｐ’グループと前記‘ＶｉｄｅｏＲｅｆＧｒｏｕｐ’グループとについて記述している。
【００８０】
図１７は、本発明の実施による‘ＡｕｄｉｏＷｉｔｈＶｉｄｅｏ’資産を再生する過程を示すフローチャートである。
【００８１】
ユーザがＭＰＶフォーマットによって記述されたファイルを実行させうるソフトウェアを実行させ、特定のアルバムにある‘ＡｄｕｉｏＷｉｔｈＶｉｄｅｏ’資産を選択する（Ｓ１７００）。次いで、スレッド（ｔｈｒｅａｄ）または子プロセッサ（ｃｈｉｌｄ ｐｒｏｃｅｓｓｏｒ）が生成されて各々オーディオ資産についての情報とビデオ資産についての情報とを収集する。
【００８２】
すなわち、ユーザが選択した‘ＡｕｄｉｏＷｉｔｈＶｉｄｅｏ’資産を構成するオーディオ資産についての参照情報を抽出する（Ｓ１７０５）。そして、前記参照情報を用いて資産目録（ａｓｓｅｔ ｌｉｓｔ）から前記オーディオ資産に関する情報を抽出する（Ｓ１７１０）。この際、前記オーディオ資産の再生時間情報とボリューム情報とを得る（Ｓ１７１５、Ｓ１７２０）。
【００８３】
一方、他のスレッドまたは子プロセッサでは、まず前記オーディオ資産と結合されるビデオ資産目録を抽出し（Ｓ１７２５）、前記資産目録からあらゆるビデオ資産に関する情報を抽出する（Ｓ１７３０）。次いで、前記情報を用いてビデオ資産を再生するためのシナリオ、すなわち、それぞれのビデオデータの順序及び再生時間を決定する（Ｓ１７３５）。前記Ｓ１７３５ステップで前記オーディオ資産と結合されるあらゆるビデオ資産のシナリオが決まるとしても、あらゆるビデオ資産の総再生時間が前記オーディオ資産の再生時間より長くなることもある。したがって、このような場合には、前記オーディオ資産の再生時間に合わせて前記ビデオ資産の総再生時間を決定するが、この際、前記Ｓ１７１５ステップで得たオーディオ資産の再生時間情報を利用する（Ｓ１７４０）。したがって、前記オーディオ資産の再生時間以後に再生される一部のビデオ資産は再生されないこともある。前記Ｓ１７４０ステップを終えれば、それぞれのビデオデータから発生する音量の大きさが調節される（Ｓ１７４５）。
【００８４】
前記‘ＡｕｄｉｏＷｉｔｈＶｉｄｅｏ’資産をディスプレイするために前記‘ＡｕｄｉｏＷｉｔｈＶｉｄｅｏ’資産を構成するオーディオ資産とビデオ資産についての情報をいずれも得るならば、前記情報を用いて前記‘ＡｕｄｉｏＷｉｔｈＶｉｄｅｏ’資産を示すコンテンツを再生する（Ｓ１７５０）。
【００８５】
図１８は、本発明の実施によるオーディオ及びビデオデータをディスプレイする装置のブロックダイアグラムであって、図１７に示されている過程を行う。
【００８６】
図１８に示される装置１８００は、確認部１８１０と抽出部１８２０とを備える。確認部１８１０は、ユーザによる入力を受信し、前記ユーザにより選択された資産がオーディオデータとビデオデータとを含んでいるかを確認する。次いで、抽出部１８２０は、オーディオデータとビデオデータとをディスプレイするための参照情報を抽出し、前記参照情報を用いて抽出されたオーディオデータを出力する。次いで、抽出部１８２０は、前記参照情報からビデオデータを抽出して前記オーディオデータが出力される間に前記ビデオデータをディスプレイする。前記ビデオデータは、既定の方法によって順次にディスプレイされうる。
【００８７】
一方、ＭＰＶフォーマットにより提供されるマルチメディアデータはＸＭＬ文書の形態に記述されて示し得るが、ＸＭＬ文書に適用されるスタイルシート（ｓｔｙｌｅ ｓｈｅｅｔｓ）によって前記ＸＭＬ文書は、複数のアプリケーション文書に変換されうる。本発明では、ＸＭＬ文書をＨＴＭＬ文書に変換するスタイルシートを適用してブラウザーを通じてユーザがオーディオ及びビデオデータを管理可能にしているが、その他にもＷＭＬ（Ｗｉｒｅｌｅｓｓ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）、ｃＨＴＭＬ（Ｃｏｍｐａｃｔ ＨＴＭＬ）文書に変換するスタイルシートを適用してＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、セルラーホン、スマートホンのようなモバイル端末機を通じてユーザがＭＰＶフォーマットにより記述されるオーディオ及びビデオデータに対する接近が可能である。
【産業上の利用可能性】
【００８８】
本発明によってオーディオデータとビデオデータとが結合された新たな形のマルチメディアデータ資産をユーザに提供することによって、ユーザはＭＰＶフォーマットで記述されるさらに多様なマルチメディアデータを生成して利用できる効果がある。
【００８９】
前述した本発明は、本発明が属する技術分野で当業者によって本発明の技術的思想を外れない範囲内で色々な置換、変形及び変更が可能なので、前述した実施形態及び添付された図面に限定されるものではない。
【図面の簡単な説明】
【００９０】
【図１】ＭＰＶ（ミュージックフォトビデオ）スペックで記述している資産の種類を示す例示図である。
【図２】本発明の実施による‘ＡｕｄｉｏＷｉｔｈＶｉｄｅｏ’資産の構造を概略的に示している例示図である。
【図３】本発明の実施による＜ＶｉｄｅｏＷｉｔｈＡｕｄｉｏＲｅｆ＞エレメントを簡略に記述している例示図である。
【図４】本発明の実施による＜ＡｕｄｉｏＷｉｔｈＶｉｄｅｏＲｅｆ＞エレメントを簡略に記述する例示図である。
【図５】本発明の実施による＜ＶｉｄｅｏＤｕｒＳｅｑ＞エレメントを簡略に記述する例示図である。
【図６】本発明の実施による＜ＳｔａｒｔＳｅｑ＞エレメントを簡略に記述する例示図である。
【図７】本発明の実施による＜ＶｉｄｅｏＶｏｌｕｍｅＳｅｑ＞エレメントを簡略に記述する例示図である。
【図８】本発明の実施による＜ＡｕｄｉｏＶｏｌｕｍｅ＞エレメントを簡略に記述する例示図である。
【図９】本発明の実施による＜ＡｕｄｉｏＷｉｔｈＶｉｄｅｏ＞エレメントのタイプについてのダイアグラムを要約した例示図である。
【図１０】本発明の実施による‘ＶｉｄｅｏＷｉｔｈＡｕｄｉｏ’資産の構造を概略的に示している例示図である。
【図１１】本発明の実施による＜ＡｕｄｉｏＤｕｒＳｅｑ＞エレメントを簡略に記述する例示図である。
【図１２】本発明の実施による＜ＡｕｄｉｏＶｏｌｕｍｅＳｅｑ＞エレメントを簡略に記述する例示図である。
【図１３】本発明の実施による＜ＶｉｄｅｏＶｏｌｕｍｅ＞エレメントを簡略に記述する例示図である。
【図１４】本発明の実施による＜ＶｉｄｅｏＷｉｔｈＡｕｄｉｏ＞エレメントのタイプについてのダイアグラムを要約した例示図である。
【図１５】本発明の実施によるＡｕｄｉｏＲｅｆＧｒｏｕｐグループを簡略に記述する例示図である。
【図１６】本発明の実施によるＶｉｄｅｏＲｅｆＧｒｏｕｐグループを簡略に記述する例示図である。
【図１７】本発明の実施による‘ＡｕｄｉｏＷｉｔｈＶｉｄｅｏ’資産を再生する過程を示すフローチャートである。
【図１８】本発明の実施によるオーディオ及びビデオデータをディスプレイする装置のブロックダイアグラムである。
【特許請求の範囲】
【請求項１】
ＭＰＶ（ミュージックフォトビデオ）フォーマットによって記述されるマルチメディアデータのディスプレイ装置において、
ユーザが選択した資産（アセット）が単一のオーディオデータと少なくとも１以上のビデオデータとより構成される資産であるか否かを確認し、前記オーディオデータと前記ビデオデータとをディスプレイするための参照情報を抽出した後、前記参照情報を用いて前記オーディオデータを抽出してディスプレイし、前記オーディオデータがディスプレイされる間に所定のディスプレイ方法によって前記参照情報から少なくとも１以上の前記ビデオデータを抽出して順次にディスプレイすることを特徴とするオーディオ及びビデオデータのディスプレイ装置。
【請求項２】
前記ディスプレイ方法は、前記オーディオデータがディスプレイされる間に前記それぞれのビデオデータの再生時間を指定するためのディスプレイ時間情報と前記オーディオデータ及び前記ビデオデータの再生時に発生する音量の大きさを調節するための音量制御情報によってディスプレイされることを含むことを特徴とする請求項１に記載のオーディオ及びビデオデータのディスプレイ装置。
【請求項３】
ＭＰＶフォーマットによって記述されるマルチメディアデータのディスプレイ装置において、
ユーザが選択した資産が単一のビデオデータと少なくとも１以上のオーディオデータとより構成される資産であるか否かを確認し、前記ビデオデータと前記オーディオデータとをディスプレイするための参照情報を抽出した後、前記参照情報を用いて前記ビデオデータを抽出してディスプレイし、前記ビデオデータがディスプレイされる間に所定のディスプレイ方法によって前記参照情報から少なくとも１以上の前記オーディオデータを抽出して順次にディスプレイすることを特徴とするオーディオ及びビデオデータのディスプレイ装置。
【請求項４】
前記ディスプレイ方法は、前記ビデオデータがディスプレイされる間に前記それぞれのオーディオデータの再生時間を指定するためのディスプレイ時間情報と前記オーディオデータの再生時に発生する音量の大きさを調節するための音量制御情報によってディスプレイされることを含むことを特徴とする請求項３に記載のオーディオ及びビデオデータディスプレイ装置。
【請求項５】
ＭＰＶフォーマットによって記述されるマルチメディアデータのディスプレイ方法において、
ユーザが選択した資産が単一のオーディオデータと少なくとも１以上のビデオデータとより構成される資産であるか否かを確認する第１ステップと、
前記オーディオデータとビデオデータとをディスプレイするための参照情報を抽出する第２ステップと、
前記参照情報を用いて前記オーディオデータを抽出してディスプレイする第３ステップと、
前記オーディオデータがディスプレイされる間に所定のディスプレイ方法によって前記参照情報から少なくとも１以上の前記ビデオデータを抽出して順次にディスプレイする第４ステップと、を含むことを特徴とするオーディオ及びビデオデータのディスプレイ方法。
【請求項６】
前記ディスプレイ方法は、前記オーディオデータがディスプレイされる間に前記それぞれのビデオデータの再生時間を指定するためのディスプレイ時間情報と前記オーディオデータ及び前記ビデオデータの再生時に発生する音量の大きさを調節するための音量制御情報によってディスプレイされることを含むことを特徴とする請求項５に記載のオーディオ及びビデオデータのディスプレイ方法。
【請求項７】
前記ディスプレイ時間情報は、前記ビデオデータを再生し始める開始時点情報と前記ビデオデータの再生時間を示す再生時間情報とを含むことを特徴とする請求項６に記載のオーディオ及びビデオデータのディスプレイ方法。
【請求項８】
前記第４ステップは、前記オーディオデータの再生時間を指定するための第１時間情報と前記少なくとも１以上のビデオデータの再生時間を指定するための第２時間情報とを同期化する第４−１ステップと、
前記オーディオデータの再生時に発生する音量の大きさを調節するための第１音量制御情報と前記少なくとも１以上のビデオデータの再生時に発生する音量の大きさを調節するための第２音量制御情報とを抽出する第４−２ステップと、
前記時間情報と前記音量制御情報とを用いて前記オーディオデータと前記ビデオデータとをディスプレイ媒体を通じて提供する第４−３ステップと、を含むことを特徴とする請求項５に記載のオーディオ及びビデオデータのディスプレイ方法。
【請求項９】
ＭＰＶフォーマットによって記述されるマルチメディアデータのディスプレイ方法において、
ユーザが選択した資産が単一のビデオデータと少なくとも１以上のオーディオデータとより構成される資産であるか否かを確認する第１ステップと、
前記ビデオデータとオーディオデータとをディスプレイするための参照情報を抽出する第２ステップと、
前記参照情報を用いて前記ビデオデータを抽出してディスプレイする第３ステップと、
前記ビデオデータがディスプレイされる間に所定のディスプレイ方法によって前記参照情報から少なくとも１以上の前記オーディオデータを抽出して順次にディスプレイする第４ステップと、を含むことを特徴とするオーディオ及びビデオデータのディスプレイ方法。
【請求項１０】
前記ディスプレイ方法は、前記ビデオデータがディスプレイされる間に前記それぞれのオーディオデータの再生時間を指定するためのディスプレイ時間情報と前記ビデオデータ及び前記オーディオデータの再生時に発生する音量の大きさを調節するための音量制御情報とによってディスプレイされることを含むことを特徴とする請求項９に記載のオーディオ及びビデオデータのディスプレイ方法。
【請求項１１】
前記ディスプレイ時間情報は、前記オーディオデータを再生し始める開始時点情報と前記オーディオデータの再生時間を示す再生時間情報とを含むことを特徴とする請求項１０に記載のオーディオ及びビデオデータのディスプレイ方法。
【請求項１２】
前記第４ステップは、前記ビデオデータの再生時間を指定するための第１時間情報と前記少なくとも１以上のオーディオデータの再生時間を指定するための第２時間情報とを同期化する第４−１ステップと、
前記ビデオデータの再生時に発生する音量の大きさを調節するための第１音量制御情報と前記少なくとも１以上のオーディオデータの再生時に発生する音量の大きさを調節するための第２音量制御情報とを抽出する第４−２ステップと、
前記時間情報と前記音量制御情報とを用いて前記ビデオデータと前記オーディオデータとをディスプレイ媒体を通じて提供する第４−３ステップと、を含むことを特徴とする請求項９に記載のオーディオ及びビデオデータのディスプレイ方法。
【請求項１３】
ＭＰＶフォーマットによって記述されるマルチメディアデータのディスプレイのためのプログラムが記録された記録媒体において、
前記プログラムは、ユーザが選択した資産が単一のオーディオデータと少なくとも１以上のビデオデータとより構成される資産であるか否かを確認し、前記オーディオデータと前記ビデオデータとをディスプレイするための参照情報を抽出した後、前記参照情報を用いて前記オーディオデータを抽出してディスプレイし、前記オーディオデータがディスプレイされる間に所定のディスプレイ方法によって前記参照情報から少なくとも１以上の前記ビデオデータを抽出して順次にディスプレイすることを特徴とする記録媒体。
【請求項１４】
ＭＰＶフォーマットによって記述されるマルチメディアデータのディスプレイのためのプログラムが記録された記録媒体において、
前記プログラムは、ユーザが選択した資産が単一のビデオデータと少なくとも１以上のオーディオデータとより構成される資産であるか否かを確認し、前記ビデオデータと前記オーディオデータとをディスプレイするための参照情報を抽出した後、前記参照情報を用いて前記ビデオデータを抽出してディスプレイし、前記ビデオデータがディスプレイされる間に所定のディスプレイ方法によって前記参照情報から少なくとも１以上の前記オーディオデータを抽出して順次にディスプレイすることを特徴とする記録媒体。
【請求項１】
ＭＰＶ（ミュージックフォトビデオ）フォーマットによって記述されるマルチメディアデータのディスプレイ装置において、
ユーザが選択した資産（アセット）が単一のオーディオデータと少なくとも１以上のビデオデータとより構成される資産であるか否かを確認し、前記オーディオデータと前記ビデオデータとをディスプレイするための参照情報を抽出した後、前記参照情報を用いて前記オーディオデータを抽出してディスプレイし、前記オーディオデータがディスプレイされる間に所定のディスプレイ方法によって前記参照情報から少なくとも１以上の前記ビデオデータを抽出して順次にディスプレイすることを特徴とするオーディオ及びビデオデータのディスプレイ装置。
【請求項２】
前記ディスプレイ方法は、前記オーディオデータがディスプレイされる間に前記それぞれのビデオデータの再生時間を指定するためのディスプレイ時間情報と前記オーディオデータ及び前記ビデオデータの再生時に発生する音量の大きさを調節するための音量制御情報によってディスプレイされることを含むことを特徴とする請求項１に記載のオーディオ及びビデオデータのディスプレイ装置。
【請求項３】
ＭＰＶフォーマットによって記述されるマルチメディアデータのディスプレイ装置において、
ユーザが選択した資産が単一のビデオデータと少なくとも１以上のオーディオデータとより構成される資産であるか否かを確認し、前記ビデオデータと前記オーディオデータとをディスプレイするための参照情報を抽出した後、前記参照情報を用いて前記ビデオデータを抽出してディスプレイし、前記ビデオデータがディスプレイされる間に所定のディスプレイ方法によって前記参照情報から少なくとも１以上の前記オーディオデータを抽出して順次にディスプレイすることを特徴とするオーディオ及びビデオデータのディスプレイ装置。
【請求項４】
前記ディスプレイ方法は、前記ビデオデータがディスプレイされる間に前記それぞれのオーディオデータの再生時間を指定するためのディスプレイ時間情報と前記オーディオデータの再生時に発生する音量の大きさを調節するための音量制御情報によってディスプレイされることを含むことを特徴とする請求項３に記載のオーディオ及びビデオデータディスプレイ装置。
【請求項５】
ＭＰＶフォーマットによって記述されるマルチメディアデータのディスプレイ方法において、
ユーザが選択した資産が単一のオーディオデータと少なくとも１以上のビデオデータとより構成される資産であるか否かを確認する第１ステップと、
前記オーディオデータとビデオデータとをディスプレイするための参照情報を抽出する第２ステップと、
前記参照情報を用いて前記オーディオデータを抽出してディスプレイする第３ステップと、
前記オーディオデータがディスプレイされる間に所定のディスプレイ方法によって前記参照情報から少なくとも１以上の前記ビデオデータを抽出して順次にディスプレイする第４ステップと、を含むことを特徴とするオーディオ及びビデオデータのディスプレイ方法。
【請求項６】
前記ディスプレイ方法は、前記オーディオデータがディスプレイされる間に前記それぞれのビデオデータの再生時間を指定するためのディスプレイ時間情報と前記オーディオデータ及び前記ビデオデータの再生時に発生する音量の大きさを調節するための音量制御情報によってディスプレイされることを含むことを特徴とする請求項５に記載のオーディオ及びビデオデータのディスプレイ方法。
【請求項７】
前記ディスプレイ時間情報は、前記ビデオデータを再生し始める開始時点情報と前記ビデオデータの再生時間を示す再生時間情報とを含むことを特徴とする請求項６に記載のオーディオ及びビデオデータのディスプレイ方法。
【請求項８】
前記第４ステップは、前記オーディオデータの再生時間を指定するための第１時間情報と前記少なくとも１以上のビデオデータの再生時間を指定するための第２時間情報とを同期化する第４−１ステップと、
前記オーディオデータの再生時に発生する音量の大きさを調節するための第１音量制御情報と前記少なくとも１以上のビデオデータの再生時に発生する音量の大きさを調節するための第２音量制御情報とを抽出する第４−２ステップと、
前記時間情報と前記音量制御情報とを用いて前記オーディオデータと前記ビデオデータとをディスプレイ媒体を通じて提供する第４−３ステップと、を含むことを特徴とする請求項５に記載のオーディオ及びビデオデータのディスプレイ方法。
【請求項９】
ＭＰＶフォーマットによって記述されるマルチメディアデータのディスプレイ方法において、
ユーザが選択した資産が単一のビデオデータと少なくとも１以上のオーディオデータとより構成される資産であるか否かを確認する第１ステップと、
前記ビデオデータとオーディオデータとをディスプレイするための参照情報を抽出する第２ステップと、
前記参照情報を用いて前記ビデオデータを抽出してディスプレイする第３ステップと、
前記ビデオデータがディスプレイされる間に所定のディスプレイ方法によって前記参照情報から少なくとも１以上の前記オーディオデータを抽出して順次にディスプレイする第４ステップと、を含むことを特徴とするオーディオ及びビデオデータのディスプレイ方法。
【請求項１０】
前記ディスプレイ方法は、前記ビデオデータがディスプレイされる間に前記それぞれのオーディオデータの再生時間を指定するためのディスプレイ時間情報と前記ビデオデータ及び前記オーディオデータの再生時に発生する音量の大きさを調節するための音量制御情報とによってディスプレイされることを含むことを特徴とする請求項９に記載のオーディオ及びビデオデータのディスプレイ方法。
【請求項１１】
前記ディスプレイ時間情報は、前記オーディオデータを再生し始める開始時点情報と前記オーディオデータの再生時間を示す再生時間情報とを含むことを特徴とする請求項１０に記載のオーディオ及びビデオデータのディスプレイ方法。
【請求項１２】
前記第４ステップは、前記ビデオデータの再生時間を指定するための第１時間情報と前記少なくとも１以上のオーディオデータの再生時間を指定するための第２時間情報とを同期化する第４−１ステップと、
前記ビデオデータの再生時に発生する音量の大きさを調節するための第１音量制御情報と前記少なくとも１以上のオーディオデータの再生時に発生する音量の大きさを調節するための第２音量制御情報とを抽出する第４−２ステップと、
前記時間情報と前記音量制御情報とを用いて前記ビデオデータと前記オーディオデータとをディスプレイ媒体を通じて提供する第４−３ステップと、を含むことを特徴とする請求項９に記載のオーディオ及びビデオデータのディスプレイ方法。
【請求項１３】
ＭＰＶフォーマットによって記述されるマルチメディアデータのディスプレイのためのプログラムが記録された記録媒体において、
前記プログラムは、ユーザが選択した資産が単一のオーディオデータと少なくとも１以上のビデオデータとより構成される資産であるか否かを確認し、前記オーディオデータと前記ビデオデータとをディスプレイするための参照情報を抽出した後、前記参照情報を用いて前記オーディオデータを抽出してディスプレイし、前記オーディオデータがディスプレイされる間に所定のディスプレイ方法によって前記参照情報から少なくとも１以上の前記ビデオデータを抽出して順次にディスプレイすることを特徴とする記録媒体。
【請求項１４】
ＭＰＶフォーマットによって記述されるマルチメディアデータのディスプレイのためのプログラムが記録された記録媒体において、
前記プログラムは、ユーザが選択した資産が単一のビデオデータと少なくとも１以上のオーディオデータとより構成される資産であるか否かを確認し、前記ビデオデータと前記オーディオデータとをディスプレイするための参照情報を抽出した後、前記参照情報を用いて前記ビデオデータを抽出してディスプレイし、前記ビデオデータがディスプレイされる間に所定のディスプレイ方法によって前記参照情報から少なくとも１以上の前記オーディオデータを抽出して順次にディスプレイすることを特徴とする記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公表番号】特表２００７−５０６３８８（Ｐ２００７−５０６３８８Ａ）
【公表日】平成１９年３月１５日（２００７．３．１５）
【国際特許分類】
【出願番号】特願２００６−５２７９０５（Ｐ２００６−５２７９０５）
【出願日】平成１６年９月１０日（２００４．９．１０）
【国際出願番号】ＰＣＴ／ＫＲ２００４／００２３０９
【国際公開番号】ＷＯ２００５／０２９４９０
【国際公開日】平成１７年３月３１日（２００５．３．３１）
【出願人】（５０３４４７０３６）サムスン エレクトロニクス カンパニー リミテッド (2,221)
【Ｆターム（参考）】
【公表日】平成１９年３月１５日（２００７．３．１５）
【国際特許分類】
【出願日】平成１６年９月１０日（２００４．９．１０）
【国際出願番号】ＰＣＴ／ＫＲ２００４／００２３０９
【国際公開番号】ＷＯ２００５／０２９４９０
【国際公開日】平成１７年３月３１日（２００５．３．３１）
【出願人】（５０３４４７０３６）サムスン エレクトロニクス カンパニー リミテッド (2,221)
【Ｆターム（参考）】
[ Back to top ]