説明

ステレオスコピック映像に関するデータを伝送する方法、ステレオスコピック映像を再生する方法、およびステレオスコピック映像データのファイル生成方法

本発明は、ステレオスコピック映像に関するデータを伝送する方法、およびステレオスコピック映像を再生する方法に関するもので、ステレオスコピック静止映像を利用して多様な場面を表現することができるステレオスコピック映像を提供する。このために本発明によるステレオスコピック映像データの伝送方法は、ステレオスコピック静止映像に関するデータを予め設定されたファイルフォーマットで生成するステップと、ファイルフォーマットで生成されたデータを伝送するステップとを含み、ファイルフォーマットが、ステレオスコピック映像を構成するステレオスコピック静止映像を含むメディア情報部と、ステレオスコピック静止映像の再生を制御する制御情報と、ステレオスコピック静止映像がステレオスコピック映像を構成する形態を指示する映像構成情報とを含むヘッダ情報部を含む。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ステレオスコピック映像に関するもので、より詳細に、ステレオスコピック映像に関するデータを伝送する方法、およびステレオスコピック映像を再生する方法に関するものである。
【0002】
本発明は知識経済部のIT基礎固有技術開発事業の一環として行われた研究かから導出されたものである[課題管理番号:2006−F−011−01、課題名:次世代DTV核心技術開発(標準化連係)]。
【背景技術】
【0003】
最近ステレオスコピック映像を利用して3次元映像を提供する技術が開発されている。ステレオスコピック映像は、遠近感と実在感を感じることができるように3次元表示装置を介して再生する。3次元表示装置は、ユーザの両方の目に互いに異なる2次元映像が表示されるようにしたり、互いに異なる2次元映像を交互に表示するなどの方法でステレオスコピック映像を再生する。
【0004】
従来のステレオスコピック映像サービスは単純なステレオスコピック静止映像またはステレオスコピックビデオに焦点が合わせられている。単純なステレオスコピック静止映像は、3次元で再生するワンカットの映像(例えば、3次元写真、3次元スライドなど)である。ステレオスコピックビデオは、ステレオスコピックフレームが複数連結して3次元で再生する映像を示す。
【0005】
ステレオスコピックビデオが、映像内でモーションを表現しようとするならば、ステレオスコピックビデオを構成するすべてのステレオスコピックフレームにモーションが記録されていなければならない。そのため、ステレオスコピックビデオを提供するためには多くのデータ量が要求されるという短所がある。したがって、ステレオスコピック映像を提供するにおいて、少ないデータ量で多様な場面を表現することができる技術が要求される。
【発明の概要】
【発明が解決しようとする課題】
【0006】
したがって、本発明は前述した問題を解決するためのものであって、ステレオスコピック静止映像を利用して多様な場面を表現することができるステレオスコピック映像を提供する。
【0007】
また、本発明は、ステレオスコピック映像を伝送または再生するにおいて要求されるデータ量を最小化することを他の目的とする。
【0008】
本発明の目的は、以上で言及した目的で限定されず、言及されなかった本発明の他の目的および長所は、下記の説明によって理解することができ、本発明の実施形態によって、一層明らかに理解されるだろう。また、本発明の目的および長所は、特許請求の範囲に示した手段およびその組み合わせによって実現される可能性があることが簡単に分かるだろう。
【課題を解決するための手段】
【0009】
前述したような課題を解決するための本発明の一実施形態によるステレオスコピック映像データの伝送方法が、ステレオスコピック静止映像に関するデータを予め設定されたファイルフォーマットで生成するステップと、ファイルフォーマットで生成されたデータを伝送するステップを含み、ファイルフォーマットが、ステレオスコピック静止映像を含むメディア情報部と、ステレオスコピック静止映像の再生を制御する制御情報と、ステレオスコピック静止映像がステレオスコピック映像を構成する形態を指示する映像構成情報を含むヘッダ情報部とを含む。
【0010】
また、本発明の他の実施形態によるステレオスコピック映像の再生方法が、ステレオスコピック静止映像を含むメディア情報部と、制御情報と映像構成情報を含むヘッダ情報部とを含むファイルフォーマットで生成されたデータを受信するステップと、映像構成情報に応じてステレオスコピック静止映像からステレオスコピック映像を構成するステップと、制御情報によりステレオスコピック映像を再生するステップとを含む。
【0011】
また、本発明のまた他の実施形態によるステレオスコピック映像データのファイル生成方法は、ステレオスコピック静止映像を含むメディア情報部を生成するステップと、ステレオスコピック静止映像の再生を制御する制御情報とステレオスコピック静止映像がステレオスコピック映像を構成する形態を指示する映像構成情報とを含むヘッダ情報部を生成するステップと、メディア情報部およびヘッダ情報部を含むファイルフォーマットを生成するステップとを含む。
【発明の効果】
【0012】
前述したような本発明によれば、ステレオスコピック静止映像を利用して多様な場面を表現できるステレオスコピック映像を提供することができる。
【0013】
本発明によれば、ステレオスコピック映像を伝送または再生するにおいて要求されるデータ量を最小化できるという効果がある。
【図面の簡単な説明】
【0014】
【図1】本発明の一実施形態によるステレオスコピック映像データの伝送方法を説明するフローチャートである。
【図2】本発明の一実施形態によるファイルフォーマット200の構造図である。
【図3】本発明の他の実施形態によるファイルフォーマット300の構造図である。
【図4】本発明の一実施形態によるステレオスコピック映像の再生方法を説明するフローチャートである。
【図5】従来技術により2次元映像を提供するためのファイルフォーマット500の構造図である。
【図6】本発明の一実施形態によるファイルフォーマット600の構造図である。
【図7】本発明の一実施形態によるファイルフォーマット700の構造図である。
【図8】本発明の一実施形態によるファイルフォーマット800の構造図である。
【図9】本発明の一実施形態によるステレオスコピック映像の再生を説明する図である。
【図10】本発明の一実施形態によるステレオスコピック映像の再生を説明する図である。
【図11】本発明の一実施形態によるファイルフォーマット1000の構造図である。
【発明を実施するための形態】
【0015】
以下の内容は単に本発明の原理を例示する。そのため、当業者はたとえ本明細書に明確な説明や、図示がなくとも、本発明の原理を具現して本発明の概念と範囲に含まれた多様な装置を発明できるものである。また、本明細書に列挙されたすべての条件付き用語および実施形態は、原則的に、本発明の概念が理解されるようにするための目的にのみ明確に意図され、これと共に特別に列挙された実施形態および状態に制限的でないものと理解されなければならない。
【0016】
また、本発明の原理、観点および実施形態だけでなく特定実施形態を列挙するすべての詳細な説明は、このような事項の構造的および機能的均等物を含むように意図されるものと理解されなければならない。またこのような均等物は現在公知された均等物だけでなく将来に開発される均等物すなわち構造と関係がなく同一の機能を行うように発明されたすべての素子を含むものと理解されなければならない。
【0017】
したがって、例えば、本明細書のブロック図は、本発明の原理を具体化する例示的な回路の概念的な観点を表すものとして理解されなければならない。これと類似するように、すべてのフローチャート、状態変換図、擬似コードなどはコンピュータが読み取り可能な媒体に実質的に表すことができ、コンピュータまたはプロセッサが明確に図示されたのか否かを問わずコンピュータまたはプロセッサによって行われる多様なプロセスを表すものとして理解されなければならない。
【0018】
プロセッサまたはこれと類似した概念で表示された機能ブロックを含む図面に図示された多様な素子の機能は、専用ハードウェアだけでなく適切なソフトウェアと関連してソフトウェアを実行する能力を有したハードウェアの使用に提供することもできる。プロセッサによって提供される時、前記機能は単一専用プロセッサ、単一共有プロセッサまたは複数の個別的プロセッサによって提供可能であり、これらの中の一部は共有することもできる。
【0019】
またプロセッサ、制御またはこれと類似した概念で提示される用語の明確な使用は、ソフトウェアを実行する能力を有したハードウェアを排他的に引用して解釈されてはならず、制限なくデジタル信号プロセッサ(DSP)ハードウェア、ソフトウェアを保存するためのロム(ROM)、ラム(RAM)および不揮発性メモリを暗示的に含むものと理解されなければならない。周知慣用の他のハードウェアも含みうる。
【0020】
本明細書の請求範囲で、詳細な説明に記載された機能を行うための手段として表現された構成要素は、例えば前記機能を行う回路素子の組み合わせまたはファームウェア/マイクロコードなどを含むすべての形式のソフトウェアを含む機能を行うすべての方法を含むものと意図され、前記機能を行うように前記ソフトウェアを実行するための適切な回路と結合される。このような請求範囲によって定義される本発明は多様に列挙された手段によって提供される機能が結合され請求項が要求する方式と結合されるため前記機能を提供できるいかなる手段も本明細書から把握されるものと均等なものとして理解されなければならない。
【0021】
前述した目的、特徴および長所は添付された図面と関連した以下の詳細な説明を通して、より明確になるものであり、それによって本発明が属する技術分野で通常の知識を有する者が本発明の技術的思想を容易に実施できるであろう。また、本発明を説明するにおいて本発明と関連した公知技術に対する具体的な説明が本発明の要旨を不必要に濁すこともあると判断される場合にその詳細な説明を省略することにする。以下、添付された図面を参照して本発明による好ましい一実施形態を詳細に説明する。
【0022】
本発明ではメディア情報部およびヘッダ(header)情報部を含むファイルフォーマットを利用してステレオスコピック(stereoscopic)映像を提供する。この時、メディア情報部はステレオスコピック静止映像を含む。
【0023】
ここで、ステレオスコピック静止映像は、ステレオスコピック映像の多様な場面を表現するために使用することもできる。例えば、ステレオスコピック静止映像を2次元ビデオと連動して再生する場合、ステレオスコピック静止映像によって表現される特定オブジェクトのみを3次元で再生することができる。また、この時、複数のステレオスコピック静止映像を利用すると、各ステレオスコピック静止映像によって表現されるオブジェクトが一場面で各々3次元で再生することができる。
【0024】
したがって、ビデオまたはオーディオ連動型ステレオスコピック静止映像を利用すると、ステレオスコピックビデオまたは単純なステレオスコピック静止映像より多様な場面の構成が可能である。また、特定場面に同期化されたステレオスコピック静止映像を再生することによって連動された場面の効果を一層極大化することができる。3次元で表現しようとするオブジェクトに対するデータのみステレオスコピック静止映像に含めることができるため、少ないデータ量でステレオスコピック映像を提供することができる。また、ユーザがステレオスコピック映像を鑑賞する時に発生する視覚的な疲労度を減少させることができる。
【0025】
本発明ではステレオスコピック静止映像の再生を制御する制御情報と、ステレオスコピック静止映像がステレオスコピック映像を構成する形態に対する映像構成情報によって多様な場面構成が可能になる。
【0026】
<ステレオスコピック映像データの伝送方法>
以下では、本発明によるステレオスコピック映像データの伝送方法に対する一実施形態を説明する。
【0027】
図1は、本発明の一実施形態によるステレオスコピック映像データの伝送方法を説明するフローチャートである。図1を参照すれば、ステレオスコピック映像データの伝送方法は、ステレオスコピック静止映像に関するデータを予め設定されたファイルフォーマットで生成するステップ102、およびファイルフォーマットで生成されたデータを伝送するステップ104を含む。
【0028】
本発明でステレオスコピック静止映像は、例えば、JPG(Joint Photographic expert Group)およびPNG(Portable Network Graphics)のようにフレーム一枚ずつで構成される静止映像、およびMNG(Multiple−Image Network Graphics)のように1つのファイル内でアニメーション効果が可能な静止映像すべてを含む。一方、ステレオスコピック映像は、3次元で表示可能な映像を含む。
【0029】
この時、ファイルフォーマットに対して図2を参照して説明する。図2は、本発明の一実施形態によるファイルフォーマット200の構造図である。
【0030】
ファイルフォーマット200は、メディア情報部220とヘッダ情報部210を含む。メディア情報部220は、ステレオスコピック静止映像222を含み、ヘッダ情報部210は、ステレオスコピック静止映像222の再生を制御する制御情報212と、ステレオスコピック静止映像がステレオスコピック映像を構成する形態またはファイルの種類を指示する映像構成情報214を含む。映像構成情報214が指示するステレオスコピック静止映像の構成形態は多様な種類がありえる。一般的にステレオスコピック映像は、左映像と右映像の2つのステレオスコピック静止映像を組み合わせて構成される。ステレオスコピック静止映像の構成形態は、左右映像をどのように組み合わせるのかによって変化する。ステレオスコピック静止映像の構成形態には例えば、左右映像のフレームを交互に反復して再生するフレームシーケンシャル(Frame sequential)方式、左右映像のフィールド映像を交互に反復して再生するフィールドシーケンシャル(Field sequential)方式、左映像の奇数番目のラインと右映像の偶数番目のラインをライン単位でインターリービング(interleaving)して再生する方式などがある。
【0031】
ファイルフォーマット200に含まれた各々の情報部および情報の位置は実施形態に応じて多様に構成可能である。例えば、図2に示されたものとは異なり、映像構成情報214は、制御情報212に含まれうる。
【0032】
ファイルフォーマット200は、ステレオスコピック映像が提供される形態またはファイルの種類を指示する映像タイプ情報を含むことができる。映像タイプ情報は、ステレオスコピック映像がどんな種類なのかを表す情報およびファイルフォーマットで保存されたステレオスコピック映像のタイプを区分するのに使用される。例えば単純なステレオスコピック静止映像サービス、ビデオ/オーディオ連動型ステレオスコピック静止映像サービスなどとなることができる。「ビデオ/オーディオ連動型ステレオスコピック静止映像サービス」は、ステレオスコピック静止映像を利用して多様な場面が表現されるステレオスコピック映像を提供するサービスを総称する。ビデオ/オーディオ連動型ステレオスコピック静止映像サービスは、ステレオスコピック静止映像をビデオまたはオーディオに連動することによって多様な場面を表現することができる。また、ステレオスコピック静止映像サービスは、連動されるビデオまたはオーディオなく単純にステレオスコピック静止映像のみで構成される形態のサービスタイプを表す。
【0033】
図3を参照してファイルフォーマットの他の可能な構造に対して説明する。図3は、本発明の他の実施形態によるファイルフォーマット300の構造図である。
【0034】
ファイルフォーマット300は、ヘッダ情報部310とメディア情報部320を含む。図3に示されたように、メディア情報部320は、ステレオスコピック映像の1場面を構成する複数のステレオスコピック静止映像を含むことができる。複数のステレオスコピック静止映像は、2個以上のステレオスコピック静止映像になりうる。図3では、ステレオスコピック静止映像が3個の場合を示し、各々第1ステレオスコピック静止映像322、第2ステレオスコピック静止映像324、第3ステレオスコピック静止映像326で表わす。この場合、ヘッダ情報部310に含まれた映像構成情報312は、複数のステレオスコピック静止映像322、324、326がステレオスコピック映像を構成する形態を指示することができる。第1ステレオスコピック静止映像322、第2ステレオスコピック静止映像324、第3ステレオスコピック静止映像326が、ステレオスコピック映像を構成する形態が全く同じ場合には映像構成情報を各々に対して使用する必要がないためである。または実施形態に応じて、複数のステレオスコピック静止映像に対して映像構成情報を各々使用することもできる。
【0035】
ヘッダ情報部310は、各々のステレオスコピック静止映像322、324、326の再生を制御する制御情報314、316、318を含む。この時、各制御情報314、316、318は、各々の制御情報314、316、318に対する識別情報を含むことができる。そして、ヘッダ情報部310は、識別情報の目録を含むことができる。識別情報の目録は、制御情報を区分するための情報として利用することができる。例えば、識別情報の目録が「ビデオ/オーディオ連動型ステレオスコピック静止映像サービス」に使用されるステレオスコピック静止映像に対する制御情報のみを含む場合、識別情報の目録を照会することによって「ビデオ/オーディオ連動型ステレオスコピック静止映像サービス」のためのステレオスコピック静止映像を区分することができる。
【0036】
一方、ステレオスコピック映像がメイン映像と付加映像で構成される場合には、2個のステレオスコピック静止映像が1つのオブジェクトと認識されなければならない必要がある。したがって、制御情報は、ステレオスコピック静止映像がメイン映像なのかまたは付加映像なのか否かを表す参照情報を含むことができる。図3を参照すれば、第1制御情報314は、第1参照情報334を含み、第2制御情報316は第2参照情報336を含む。第1参照情報334と第2参照情報336は、各々該当するステレオスコピック静止映像、すなわち第1ステレオスコピック静止映像322と、第2ステレオスコピック静止映像324がメイン映像なのかまたは付加映像なのか否かを表す。
【0037】
例えば、メイン映像として第1ステレオスコピック静止映像322が使用され、付加映像として第2ステレオスコピック静止映像324が使用される場合を説明する。2つのステレオスコピック静止映像322、234の結合によってステレオスコピック映像が3次元で再生することになる。この時、第1参照情報334は、第1ステレオスコピック静止映像322がメイン映像として使用されるという情報を含み、第2参照情報336は、第2ステレオスコピック静止映像324が付加映像として使用されるという情報を含む。また、第1参照情報334と第2参照情報336は、どんなステレオスコピック静止映像と連結するかを認識することができるようにお互いに対する識別情報を含むことができる。
【0038】
一方、ステレオスコピック静止映像が「ビデオ/オーディオ連動型ステレオスコピック静止映像サービス」で活用される場合、ステレオスコピック静止映像の再生が開始する時点または終了する時点に対する時間情報が必要である。このような時間情報はヘッダ情報部に含まれることができる。
【0039】
図3を参照し、例を挙げて説明する。第3ステレオスコピック静止映像326が、2次元ビデオと連動されて再生することによってステレオスコピック映像を構成する場合、第3ステレオスコピック静止映像326は、2次元ビデオの一部区間でのみ再生することができる。このために、時間情報338は、第3ステレオスコピック静止映像326が再生が開始する時点または終了する時点に対する情報を含む。この時、第3制御情報318は、時間情報338に応じて第3ステレオスコピック静止映像326の再生を制御するように構成することができる。
【0040】
一方、ヘッダ情報部は、ステレオスコピック静止映像が3次元で表示される方式に対する情報を含むことができる。ステレオスコピック静止映像を3次元で再生するにおいて多様な3次元表示方式を使用することもできる。3次元表示方式の例として、パララックスバリア、レンチキュラー方式および偏光方式などを挙げることができる。
【0041】
<ステレオスコピック映像の再生方法>
以下では本発明によるステレオスコピック映像の再生方法に対する一実施形態を説明する。
【0042】
図4は、本発明の一実施形態によるステレオスコピック映像の再生方法を説明するフローチャートである。図4を参照すれば、ステレオスコピック映像の再生方法は、ステレオスコピック映像に関するデータを受信するステップ402、映像構成情報に応じてステレオスコピック映像を構成するステップ408、制御情報に応じてステレオスコピック映像を再生するステップ410を含む。
【0043】
ステレオスコピック映像に関するデータは、メディア情報部およびヘッダ情報部を含むファイルフォーマットで生成されたものである。メディア情報部は、ステレオスコピック静止映像を含み、ヘッダ情報部は、制御情報と映像構成情報を含む。
【0044】
実施形態に応じて、映像構成情報は制御情報に含まれることができる。
【0045】
また、映像構成情報は、ステレオスコピック映像の1場面を構成する複数のステレオスコピック静止映像に対する映像構成情報であることができる。これは複数のステレオスコピック静止映像がステレオスコピック映像を構成する形態が同一な場合に、重複する映像構成情報を何度も使用しないためである。
【0046】
図4に示されたように、ステレオスコピック映像の再生方法は、ステレオスコピック映像が提供される形態またはファイルの種類を指示する映像タイプ情報を確認するステップ404をさらに含むことができる。映像タイプ情報を確認することによって、ステレオスコピック映像を再生する方法を選択することができる効果がある。例えば、映像タイプ情報を確認するステップ404で、映像タイプ情報が「ビデオ/オーディオ連動型ステレオスコピック静止映像サービス」として確認された場合に、408ステップおよび410ステップが行われるように具現することができる。
【0047】
また、図4に示されたように、ステレオスコピック映像の再生方法は、映像構成情報の有無を確認するステップ406をさらに含むことができる。映像タイプ情報は、ステレオスコピック映像を構成するステレオスコピック静止映像に関連した情報としてヘッダ情報部に含まれる。したがって、ステレオスコピック静止映像でないモノスコピック(monoscopic)静止映像の場合には映像タイプ情報を含めないこともできる。したがって、この場合、映像構成情報の有無を確認406することによって、静止映像がステレオスコピック静止映像なのか否かを判断することができる。例えば、映像構成情報の有無を確認するステップ406で、映像構成情報が存在すると確認された場合に、408ステップおよび410ステップが行われるように具現することができる。
【0048】
一方、図4に示されてはいないが、ステレオスコピック映像の再生方法は、ヘッダ情報部に含まれた識別情報目録で制御情報の識別情報を照会するステップをさらに含むことができる。識別情報目録は、一定の基準に符合する制御情報の識別情報を含む。例えば、識別情報目録は「ビデオ/オーディオ連動型ステレオスコピック静止映像サービス」に使用されるステレオスコピック静止映像に対する制御情報のみを含むことができる。この場合、識別情報を照会することによってステレオスコピック静止映像が「ビデオ/オーディオ連動型ステレオスコピック静止映像サービス」に使用されるのかを判断することができる。
【0049】
ステレオスコピック映像を構成するステップ408は、ステレオスコピック静止映像がメイン映像なのか、または付加映像なのか否かを表す参照情報を確認するステップを含むことができる。ステレオスコピック映像は、メイン映像と付加映像の組み合わせで構成することができる。参照情報を確認すれば、ステレオスコピック静止映像が、メイン映像と付加映像のうち、どちら映像に該当するのかを判断することができる。
【0050】
ステレオスコピック映像を再生するステップ410は、ステレオスコピック静止映像が3次元で表示される方式に対する情報を確認するステップを含むことができる。ステレオスコピック静止映像を3次元で再生するにおいて多様な3次元表示方式を使用することができるためである。
【0051】
ステレオスコピック映像を構成するステップ408は、ステレオスコピック静止映像を2次元ビデオまたはオーディオに連動するステップを含むことができる。「ビデオ/オーディオ連動型ステレオスコピック静止映像サービス」は、2次元ビデオまたはオーディオにステレオスコピック静止映像を連動して再生することによって、多様な場面構成を可能にするサービスである。
【0052】
2次元ビデオまたはオーディオに連動するステップによって、「ビデオ/オーディオ連動型ステレオスコピック静止映像サービス」を提供することができる。
【0053】
その他ステレオスコピック映像の再生方法に対する詳細な説明は、前述したステレオスコピック映像データの伝送方法に対する説明と重複するため、ここでは省略する。
【0054】
<具体的な実施形態>
以下では本発明によるステレオスコピック映像データの伝送またはステレオスコピック映像の再生に使用されるファイルフォーマットの具体的な実施形態に対し説明する。
【0055】
本発明によるファイルフォーマットは、既存のファイルフォーマットと互換性を維持することができるように具現することができる。したがって、図5を参照して従来技術によるファイルフォーマットを先に説明する。図5は、従来技術によって2次元映像を提供するためのファイルフォーマット500の構造図である。
【0056】
ファイルフォーマット500は大きくftyp502、moov504、mdat506の1部分で構成される。ftyp502は、ファイルフォーマット500に保存されるファイルの種類を表す情報である。moov504は、ファイルフォーマット内に保存されるメディアストリーム(media stream)の再生のための制御情報を含む。mdat506は、メディアストリームデータを含む。
【0057】
図5に示されたように、moov504にはトラック(trak)ボックスが含まれる。各々のトラックボックス510、514、518、522は、メディアストリームの再生のために要求される制御情報および関連した付加情報を含む。トラックボックスはメディアストリーム毎に存在したり、メディアストリームの種類毎に存在することができる。例えば、図5は、mdat506に含まれた各々のメディアストリーム508、512、516、520毎にトラックボックス510、514、518、522が存在する。実施形態に応じて、2D still image516、520は、同一の種類のメディアストリームであるため、これに対するトラックボックスは1つで構成することもできる。
【0058】
図5を参照すれば、mdat506は、LASeR(Lightweight Application ScenE Representation)508、2D video stream512、2D still image516、2D still image520を含む。LASeR508は、場面記述子(Scene Descriptor)であって、各メディアストリームを再生するにおいて、位置および再生時間に対する情報を含む。本明細書において、LASeR508は、場面記述子に対する1つの実施形態であるのみであり、LASeR508の他に、他の規格の場面記述子を使用することもできる。
【0059】
2D video stream512は、2次元ビデオに対するメディアストリームであり、2D still image516、520は、各々2次元静止映像に対するメディアストリームである。
【0060】
図5に示されたような従来のファイルフォーマット500は、2次元映像サービスに適合するように構成されるため、多様な場面構成が可能なステレオスコピック映像サービスを提供するには限界がある。
【0061】
図6は、本発明の一実施形態によるファイルフォーマット600の構造図である。ファイルフォーマット600は、ステレオスコピック映像の提供に適合するように構成される。
【0062】
ftyp602は、ステレオスコピック映像が提供されるサービス形態に対する情報を含むことができる。ftyp602は、ステレオスコピック映像がいかなる形態で提供されるかを識別するために使用することもできる。例えば、ftyp602に含まれる情報は表1のように提供することもできる。
【表1】

【0063】
「ビデオ/オーディオ連動型ステレオスコピック静止映像サービス」はステレオスコピック静止映像がメイン映像に付加的に連動されて再生することによってステレオスコピック映像が提供される場合を表す。「ビデオ/オーディオ連動型ステレオスコピック静止映像サービス」では、ステレオスコピック静止映像を制御することによって、多様な場面が構成できる。このサービスのために場面記述子を活用することもできる。
【0064】
「ステレオスコピック静止映像サービス」は、ビデオまたはオーディオ連動なくステレオスコピック静止映像自体のみで提供されるスライドショーのようなサービスを表す。
【0065】
mdat606は、ステレオスコピック静止映像610を含み、moov604は、ステレオスコピック静止映像に対するトラック612を含む。図6に示されたように、トラック612は、映像構成情報であるImage_composition_type614を含むことができる。実施形態に応じてImage_composition_type614は、トラック612外部に存在し、moov604に含まれるように構成することもできる。また、実施形態に応じてImage_composition_type614は、任意のボックスに含まれず、既に定義されたReservedビットに記録されることもできる。
【0066】
Image_composition_type614は、ステレオスコピック静止映像610が構成される形態に対する情報であって、ステレオスコピック静止映像610が、いかなる形態で保存されているのかに対する情報を含むことができる。例えば、Image_composition_type614は、表2のように提供することもできる。
【表2】

【0067】
一般的にステレオスコピック映像は、左映像と右映像の2つのステレオスコピック静止映像を組み合わせることによって構成される。この時、左映像と右映像を組み合わせる形態をImage_composition_type614に記録できる。
【0068】
「Side−by−side」は、左映像と右映像を1つのステレオスコピック静止映像の左側と右側半分に各々保存する状態である。「Top−down」は、左映像と右映像を各々1つのステレオスコピック静止映像の上側と下側半分に各々保存する状態である。「Field sequential」は、左映像と右映像がステレオスコピック静止映像のフィールド毎に交互に反復されて保存される状態である。「Frame sequential」は、左映像と右映像がステレオスコピック静止映像のフレーム毎に交互に反復されて保存される状態である。「Vertical line interleaved」は、左映像と右映像がステレオスコピック静止映像の垂直ライン毎に交互に反復されて保存される状態である。「Horizontal line interleaved」は、左映像と右映像がステレオスコピック静止映像の水平ライン毎に交互に反復されて保存される状態である。「Left−right view」は、左映像と右映像が各々互いに異なるステレオスコピック静止映像として保存される状態である。
【0069】
ここで、「Side−by−side」、「Top−down」、「Field sequential」、「Frame sequential」、「Vertical line interleaved」、および「Horizontal line interleaved」タイプは、ステレオスコピック静止映像を再生するにおいて、1個の符号化ストリームおよび1個のトラックを有するようになる。このように1つのオブジェクトを表現するステレオスコピック静止映像に対して、1つの符号化ストリームおよび1つのトラックで構成されるサービスの場合、該当トラックは映像構成情報を含むことができる。
【0070】
一方、「Left−right view」タイプは、ステレオスコピック静止映像を再生するにおいて、各々左映像と右映像で構成された2個の符号化ストリームおよび2個のトラックを有するようになる。このように1つのオブジェクトを表現するステレオスコピック静止映像に対して、1つの符号化ストリームおよび1つのトラックで構成されないサービスの場合、映像構成情報はすべてのトラックに含まれないことがある。例えば、2次元ビデオストリームのメイン映像にステレオスコピック静止映像が付加映像として組み合わされてステレオスコピック映像を構成する場合、ステレオスコピック静止映像に対するトラックにのみ映像構成情報を含むこともできる。
【0071】
「ビデオ/オーディオ連動型ステレオスコピック静止映像サービス」の場合、複数のステレオスコピック静止映像がステレオスコピック映像の一場面を構成することができる。例えば、2次元ビデオをメイン映像として、複数のステレオスコピック静止映像がメイン映像に付加映像として連動されて再生される場合である。この時、複数のステレオスコピック静止映像は、互いに異なるオブジェクトを各々3次元で再生することができる。
【0072】
このようにファイルフォーマットに複数のステレオスコピック静止映像を含みつつ、複数のステレオスコピック静止映像が同一の映像構成情報を有する場合には、映像構成情報が各々のトラックに存在せず、トラックの上位レベルに含まれることもできる。
【0073】
図7を参照して説明する。図7は、本発明の一実施形態によるファイルフォーマット700の構造図である。ファイルフォーマット700は、複数のステレオスコピック静止映像710、714、718と各々に対するトラック712、716、720を含む。
【0074】
複数のステレオスコピック静止映像710、714、718に同一の映像構成情報が適用される場合、映像構成情報は重複を減らすために1つのみ使用することもできる。図7に示されたように、映像構成情報のImage_composition_type730は、各々のステレオスコピック静止映像トラック712、716、720に含まず、その上位レベルに含まれることもある。
【0075】
複数のステレオスコピック静止映像710、714、718に互いに異なる映像構成情報が適用される場合には、該当する映像構成情報が各々のステレオスコピック静止映像トラック712、716、720毎に含まれることもある。
【0076】
また、2Dビデオの特定場面にステレオスコピック静止映像とモノスコピック静止映像が共に存在する場合がある。例えば、天気予報が入った2次元ビデオに2次元字幕として表現されたお天気情報がモノスコピック静止映像の再生と同時に、天気を表現する3次元アイコンがステレオスコピック静止映像として再生される場合である。この時、ヘッダ情報部に含まれた各トラックが指称するストリームがモノスコピック静止映像ストリームなのか、そうででなければステレオスコピック静止映像ストリームなのかを区分する必要がある。このような区分方法として2種類の方法を考慮することができる。
【0077】
最初に、トラックに映像構成情報が含まれたのかどうか確認することによって区分する方法がある。例えば、映像構成情報が含まれたトラックに該当するストリームは、ステレオスコピック静止映像ストリームとして判断し、そうではないストリームは、モノスコピック静止映像ストリームとして判断するものである。
【0078】
二番目に、ステレオスコピック静止映像に対するトラックのID(track_ID)を集めてグループID(Group_ID)を生成し、グループIDを照会することによって区分する方法がある。例えば、グループIDに含まれたトラックIDに対するストリームは、ステレオスコピック静止映像ストリームとして判断し、そうではないストリームは、モノスコピック静止映像ストリームとして判断するものである。
【0079】
複数のステレオスコピック静止映像が再生される時、1つのオブジェクトとして認識されなければならない場合がある。例えば、映像構成情報が「Left−right view」である場合、左映像と右映像に該当する2個のステレオスコピック静止映像ストリームが1つのオブジェクトとして認識されなければならない。この場合、ステレオスコピック静止映像に対する複数のトラックは、物理的に何個かで構成されるが、あたかも1つのトラックのように認識されるべきである。複数のトラックが1つのトラックのように認識されると、複数のステレオスコピック静止映像が1つのステレオスコピック映像として構成されて再生される。したがって、複数のステレオスコピック静止映像が1つのオブジェクトとして認識されることもある。
【0080】
図8を参照して、複数のステレオスコピック静止映像が1つのオブジェクトと認識される場合に対して説明する。図8は本発明の一実施形態によるファイルフォーマット800の構造図である。
【0081】
ファイルフォーマット800のmdat806は、複数のステレオスコピック静止映像810、814を含む。ステレオスコピック静止映像810、814は、同一のオブジェクトを表現するための互いに異なる時点の静止映像である。moov804は、各々のステレオスコピック静止映像810、814に対するトラック812、816を含む。
【0082】
image_composition_type820は、トラック812とトラック816に共通に適用される。図8に示されたように、image_composition_type820は、重複性を減らすためにトラック812にのみ含まれる。
【0083】
一方、トラック812とトラック816が互いに1つのトラックのように認識されるようにするために、tref822とtref824に参照情報が含まれる。参照情報は、tref822、824に含まれるreference_type情報に「sbas(stereoscopic content base)」または「scdp(stereoscopic content dependency)」として記録されることもできる。この時「sbas」は、「sbas」が含まれたトラックに対するステレオスコピック静止映像がステレオスコピック映像を構成するにおいてメイン映像として使用されることを意味する。「scdp」は、「scdp」が含まれたトラックに対するステレオスコピック静止映像がステレオスコピック映像を構成するにおいて付加映像として使用されることを意味する。
【0084】
図8において、トラック812は、tref822にreference_type=’sbas’を含み、トラック816は、tref828にreference_type=’scdp’を含む。したがって、ステレオスコピック静止映像810は、メイン映像として使用され、ステレオスコピック静止映像814は、付加映像として使用される。
【0085】
この時、ステレオスコピック静止映像810とステレオスコピック静止映像814の連結を確認することができるように、トラックID(Track_ID)を使用することができる。track_IDは、各トラックの固有識別情報である。図8において、トラック812のtrack_ID(826)は、1であり、トラック816のtrack_ID828は、2である。トラック816は、tref824のtrack_ID情報によってトラック812と連結することができる。一方、前述したグループIDでステレオスコピック静止映像を識別する場合、メイン映像に対するトラックのIDのみグループIDに含まれるように具現されることができる。
【0086】
図9および図10は、本発明の一実施形態によるステレオスコピック映像の再生を説明する図である。
【0087】
「ビデオ/オーディオ連動型ステレオスコピック静止映像サービス」の場合、図9および図10に各々示された形態のサービスを提供することができる。図9および図10において、Tは、映像が再生する時間を表し、Sは、各々ステレオスコピック静止映像を表す。
【0088】
図9に図示されたサービスの場合、2Dビデオ910が再生される時間全体に対してステレオスコピック静止映像912が連動され、ステレオスコピック映像を構成する。一方、図10に図示されたサービスの場合、2Dビデオ920の一部区間に対してのみステレオスコピック静止映像922が連動され、ステレオスコピック映像を構成する。この場合、残り区間では2Dビデオ920のみ再生されるため、この区間では2次元映像が再生される。
【0089】
図10のようなサービスのために、ステレオスコピック静止映像922が開始され終了する時点に対する時間情報が要求される。例えば、ステレオスコピック映像を再生する端末は、2次元映像が再生する時には2次元表示モードを使用しなければならず、ステレオスコピック映像が再生される時には3次元表示モードを使用しなければならないため、端末は、時間情報を活用して表示モードを変更することができる。
【0090】
図11を参照して、時間情報が含まれたファイルフォーマットに対して説明する。図11は、本発明の一実施形態によるファイルフォーマット1000の構造図である。
【0091】
図11に示されたように、ファイルフォーマット1000は、2D videoトラックに時間情報1020を含むことができる。時間情報1020は、ステレオスコピック静止映像1010、1014が開始したり終了する時点に対するものであって、本実施形態ではStereoscopic_Scene_Time__information1020として表現される。時間情報1020は、実施形態に応じて多様な位置に含まれるように構成することもできる。例えば、時間情報1020は、moov1004内部に含まれ、ステレオスコピック静止映像に対するトラック1012、1016の外部に含むこともできる。
【0092】
Stereoscopic_Scene_Time_information1020は、時間情報に対する1つの実施形態であって、表3のように構成することもできる。
【表3】

【0093】
stereo_scene_time_countは、再生時間の間のステレオスコピック区間の数を表す。start_timeは、ステレオスコピック静止映像1010、1014に対する開始時間を表す。durationは、ステレオスコピック静止映像1010、1014の開始から終了までの区間の時間を表す。
【0094】
一方、ステレオスコピック静止映像を効果的に3次元再生するために3次元表示情報が必要なこともある。表4は、3次元表示情報に対する一実施形態を表す。3次元表示情報は、別途のボックスにおいて、ファイルフォーマットのヘッダ情報部に含むこともできる。
【表4】

【0095】
前述したような本発明の方法は、プログラムで具現され、コンピュータで読み出し可能な形態で記録媒体(CDROM、RAM、ROM、フロッピーディスク、ハードディスク、光磁気ディスクなど)に保存することもできる。このような過程は本発明が属する技術分野で通常の知識を有する者が容易に実施することができるのでこれ以上詳細に説明しない。
【0096】
以上で説明した本発明は、本発明が属する技術分野で通常の知識を有する者にあって、本発明の技術的思想を外れない範囲内で種々の置換、変形および変更が可能なため、前述した実施形態および添付された図面によって限定されるものではない。

【特許請求の範囲】
【請求項1】
ステレオスコピック静止映像に関するデータを予め設定されたファイルフォーマットで生成するステップと、
前記ファイルフォーマットで生成されたデータを伝送するステップを含み、
前記ファイルフォーマットが、
前記ステレオスコピック静止映像を含むメディア情報部、および前記ステレオスコピック静止映像の再生を制御する制御情報と、前記ステレオスコピック静止映像がステレオスコピック映像を構成する形態を指示する映像構成情報を含むヘッダ(header)情報部と、
を含むことを特徴とするステレオスコピック映像データの伝送方法。
【請求項2】
前記ファイルフォーマットが、前記ステレオスコピック映像が提供される形態またはファイルの種類を指示する映像タイプ(type)情報を含むことを特徴とする請求項1に記載のステレオスコピック映像データの伝送方法。
【請求項3】
前記制御情報が、前記映像構成情報を含むことを特徴とする請求項1に記載のステレオスコピック映像データの伝送方法。
【請求項4】
前記メディア情報部が、
前記ステレオスコピック映像の一場面を構成する複数のステレオスコピック静止映像を含み、
前記映像構成情報は、
前記複数のステレオスコピック静止映像が前記ステレオスコピック映像を構成する形態を指示することを特徴とする請求項1に記載のステレオスコピック映像データの伝送方法。
【請求項5】
前記制御情報が、前記制御情報に対する識別情報を含み、
前記ヘッダ情報部が、前記識別情報の目録を含むことを特徴とする請求項1に記載のステレオスコピック映像データの伝送方法。
【請求項6】
前記ステレオスコピック映像が、メイン映像と付加映像で構成される場合、
前記制御情報が、
前記ステレオスコピック静止映像が前記メイン映像なのかまたは前記付加映像なのか否かを表す参照情報を含むことを特徴とする請求項1に記載のステレオスコピック映像データの伝送方法。
【請求項7】
前記ヘッダ情報部は、
前記ステレオスコピック静止映像の再生が開始する時点または終了する時点に対する時間情報を含むことを特徴とする請求項1に記載のステレオスコピック映像データの伝送方法。
【請求項8】
前記ヘッダ情報部は、
前記ステレオスコピック静止映像が3次元で表示される方式に対する情報を含むことを特徴とする請求項1に記載のステレオスコピック映像データの伝送方法。
【請求項9】
ステレオスコピック静止映像を含むメディア情報部、および制御情報と映像構成情報を含むヘッダ(header)情報部を含むファイルフォーマットで生成されたデータを受信するステップと、
前記映像構成情報に応じて前記ステレオスコピック静止映像からステレオスコピック映像を構成するステップと、
前記制御情報に応じて前記ステレオスコピック映像を再生するステップと、
を含むことを特徴とするステレオスコピック映像の再生方法。
【請求項10】
前記ステレオスコピック映像が提供される形態またはファイルの種類を指示する映像タイプ(type)情報を確認するステップをさらに含むことを特徴とする請求項9に記載のステレオスコピック映像の再生方法。
【請求項11】
前記映像構成情報が、前記制御情報に含まれることを特徴とする請求項9に記載のステレオスコピック映像の再生方法。
【請求項12】
前記映像構成情報が、
前記ステレオスコピック映像の一場面を構成する複数のステレオスコピック静止映像に対する映像構成情報であることを特徴とする請求項9に記載のステレオスコピック映像の再生方法。
【請求項13】
前記映像構成情報の有無を確認するステップをさらに含むことを特徴とする請求項9に記載のステレオスコピック映像の再生方法。
【請求項14】
前記ヘッダ情報部に含まれた識別情報目録で前記制御情報の識別情報を問い合わせるステップをさらに含むことを特徴とする請求項9に記載のステレオスコピック映像の再生方法。
【請求項15】
前記構成するステップは、
前記ステレオスコピック静止映像が前記メイン映像なのかまたは前記付加映像なのかどうかを表す参照情報を確認するステップを含むことを特徴とする請求項9に記載のステレオスコピック映像の再生方法。
【請求項16】
前記再生するステップは、
前記ステレオスコピック静止映像の再生が開始する時点または終了する時点に対する時間情報を確認するステップを含むことを特徴とする請求項9に記載のステレオスコピック映像の再生方法。
【請求項17】
前記再生するステップは、
前記ステレオスコピック静止映像が3次元で表示される方式に対する情報を確認するステップを含むことを特徴とする請求項9に記載のステレオスコピック映像の再生方法。
【請求項18】
前記構成するステップが、
前記ステレオスコピック静止映像を2次元ビデオまたはオーディオに連動するステップを含むことを特徴とする請求項9に記載のステレオスコピック映像の再生方法。
【請求項19】
ステレオスコピック静止映像を含むメディア情報部を生成するステップと、
前記ステレオスコピック静止映像の再生を制御する制御情報と前記ステレオスコピック静止映像がステレオスコピック映像を構成する形態を指示する映像構成情報を含むヘッダ情報部を生成するステップと、
前記メディア情報部および前記ヘッダ情報部を含むファイルフォーマットを生成するステップと、
を含むことを特徴とするステレオスコピック映像データのファイル生成方法。
【請求項20】
前記ファイルフォーマットは、
前記ステレオスコピック映像が提供されるファイルの種類または形態を指示する映像タイプ(type)情報を含むことを特徴とする請求項19に記載のステレオスコピック映像データのファイル生成方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate


【公表番号】特表2012−513148(P2012−513148A)
【公表日】平成24年6月7日(2012.6.7)
【国際特許分類】
【出願番号】特願2011−541996(P2011−541996)
【出願日】平成21年6月24日(2009.6.24)
【国際出願番号】PCT/KR2009/003416
【国際公開番号】WO2010/074378
【国際公開日】平成22年7月1日(2010.7.1)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.フロッピー
【出願人】(596099882)エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート (179)
【氏名又は名称原語表記】ELECTRONICS AND TELECOMMUNICATIONS RESEARCH INSTITUTE
【Fターム(参考)】