立体映像配信システム、立体映像配信方法、立体映像配信装置、立体映像視聴システム、立体映像視聴方法、立体映像視聴装置
【課題】本発明は、立体映像配信システム、立体映像配信方法、立体映像配信装置、立体映像視聴システム、立体映像視聴方法、立体映像視聴装置を提供することを目的とする。
【解決手段】この発明にかかる立体映像配信システムは、複数ある立体映像配信を行う映像配信元サーバ２５０，２５１，２５２，２５３からの立体映像信号を、一旦トランスコーディングサーバ２５４で受けることにより、立体視聴用のＢＤプレーヤやＴＶ２５６にて再生できるようにしたものである。
【解決手段】この発明にかかる立体映像配信システムは、複数ある立体映像配信を行う映像配信元サーバ２５０，２５１，２５２，２５３からの立体映像信号を、一旦トランスコーディングサーバ２５４で受けることにより、立体視聴用のＢＤプレーヤやＴＶ２５６にて再生できるようにしたものである。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体映像配信システム、立体映像配信方法、立体映像配信装置、立体映像視聴システム、立体映像視聴方法、立体映像視聴装置に係る発明に関するものである。
【背景技術】
【０００２】
ディジタル映像信号を圧縮する符号化技術が進むにつれ、圧縮された映像信号を光ディスクに記録することによって、検索性や操作性に優れた光ディスク装置を実現することが可能となった。このような光ディスク装置は、映像をディジタル信号として記録するため、アナログ映像信号を記録する場合に比べてダビングによる劣化が無い他、光記録再生であるため、非接触で信頼性に優れている。
【０００３】
一方、上記のようなディジタル映像信号をデータ圧縮する符号化方法としては、例えば、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）方式によるものがあるが、この圧縮方法はモーションＪＰＥＧ等の面内圧縮方法に比べ圧縮効率は良いものの、時間方向の動き補償予測を用いているため、複数枚の映像グループからなる（ＧＯＰ）映像単位でしか検索できなかったり、ディスク上のアクセスも面内圧縮からなるＩピクチャにまずアクセスしなければならない等の制約条件が存在していた。そのため、特許文献１では、光ディスク上のデータフォーマットを工夫することが提案されている。
【０００４】
また、特許文献１のデータフォーマットは、あくまで２次元の平面映像をファイルするためのものである。立体映像をファイルする場合、ＴＶ信号の第一フィールドと第二フィールドとで、それぞれ右目左目の映像を別々に表示し、偏向メガネ等で２つの映像をそれぞれのフィールド映像をそれぞれの目にのみ見せる特許文献２の方法を採用することが必要である。
【０００５】
またサーバ上に立体画像を入れておき表示させる方法としては特許文献３に記載があるが、これは画像を回転表示させることによって広告を立体的に見せるものであり、特許文献５に記載された複数カメラを用いた方法についてもあくまで回転画像により、立体的に見せる工夫を行ったものにすぎない。一方、サーバ内で動画キャラクターとして生成するための方法として、左右の画像を用い３次元画像をサーバにアップロードする方式が特許文献４に記載があるほか、遠隔操作時の医療用の３次元画像レンダリング処理方法として特許文献７に記載があるが、立体映像をサーバ配信する際の信号フォーマット等の記載はない。また特許文献６には映像情報送出手段において、２Ｄ映像から３Ｄ映像への変換の記述があるが具体的変換方法等の記載はない。また、立体仮想実現空間を実現するための方法としては特許文献８と特許文献９にも記載あるが、本件にある映像コンテンツを立体視聴するためのシステムや信号フォーマットに関するものではない。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−２６０９８８号公報
【特許文献２】特開２００７−１６６６５１号公報
【特許文献３】特開２００１−１６７１８０号公報
【特許文献４】特表２００２−５１７８４０号公表
【特許文献５】特表２００３−５３２３４６号公表
【特許文献６】特開２００５−１７５５６６号公報
【特許文献７】特開２００６−１０１３２９号公報
【特許文献８】特開２００６−３１６６５号公報
【特許文献９】特表２００７−５００８８３号公表
【発明の概要】
【発明が解決しようとする課題】
【０００７】
立体映像視聴する際の信号フォーマットとしては、左右映像をそれぞれＭＰＥＧ圧縮し伝送する方法や、画面を両サイドに分割する方法、また画面を上下に分割する方法など、さまざまな方法が提案されている。そのため配信される映像コンテンツの元映像として、多くの方法が並存し、各社が所有しサービスを行う映像配信サーバにおいても、特定の方式に統一することが難しい状態にあった。
【０００８】
また、これら方式が異なる複数のサーバを課金処理も含め統合的に取り扱うことができる方法が望まれていた。
【０００９】
また、ユーザの視聴環境においても、映像配信元サーバが立体映像コンテンツを所有している場合でも、必ずしもユーザの視聴環境として立体視聴できる状態にあるとは限らず、視差映像に基づく立体映像が配信された場合、通常の２次元映像視聴ＴＶでは２重写しに見えたり、立体視聴可能なＴＶであっても、ＴＶの設定が平面映像視聴設定となっていた場合は同様な問題が生じた。
【００１０】
また、コンテンツの視聴メニューにおいても、立体視聴環境が可能な場合と、平面映像しか視聴できない場合とで、３Ｄコンテンツを含む含まない等別々のメニューを配信する必要があったが、視聴環境の状態を認識しないとできない等の問題があった。
【００１１】
また、マルチアングル映像の配信に関し、装置からのアングル切り替え指示に対する応答が遅く、視聴すべきコンテンツをアングル回転して視聴する等の対応ができないなどの課題があった。
【００１２】
また、ウィジェット情報をＴＶ画面にオーバレイもしくは画面分割して視聴する場合、２次元映像用に作られたウィジェット情報を立体映像中にそのまま表示させると、常に奥行き飛び出し方向の位置がデフォルトの位置に固定され視聴しづらかったり、例えば映像全体が飛び出している場合に奥のほうに位置するように見える違和感のあるウィジェット情報が視聴される問題があった。
【００１３】
また、通常の映像配信コンテンツは一般的には平面映像によるものがほとんどであるが、立体視聴環境を有するユーザにおいては、２次元映像を３次元化して視聴できる方法が望まれていたほか、目の疲れ等の視聴安全性に配慮し、映像の飛び出し量を可変する方法も望まれていた。
【００１４】
また、ユーザがムービ等で個人的に録画した２次元コンテンツについても同様に３次元化して視聴する方法が望まれていたほか、個人のコンテンツをアップした場合においても他の人が簡単に視聴できてしまう問題があった。
【００１５】
本発明の目的は、映像配信元サーバからの立体映像信号フォーマットが複数ある形態であっても、プレーヤもしくはＴＶで再生可能な統一されたフォーマットで変換して、あらゆる映像配信元サーバが所有する立体映像コンテンツも、家庭内の映像視聴装置で再生・視聴することができる立体映像配信システム、立体映像配信方法、立体映像配信装置を提供することである。
【課題を解決するための手段】
【００１６】
この発明の第１の態様にかかる立体映像配信システムは、視差映像を利用した左目映像と右目映像とからなる立体映像をサーバから配信する立体映像配信システムであって、立体映像を含む映像コンテンツは、フレーム内でデータ圧縮されたＩピクチャと、時間的に前方向の前記Ｉピクチャによる動き補償を加えてデータ圧縮されたＰピクチャと、時間的に前後方向の前記Ｉピクチャ又は前記Ｐピクチャによる動き補償を加えてデータ圧縮されたＢピクチャとを有するディジタル映像情報により構成されるとともに、前記映像情報は、左目映像もしくは右目映像の片方のみで構成される平面映像と、さらに前記平面映像と逆側の目の映像の情報とを用いることにより立体映像視聴可能となる立体映像配信コンテンツであって、前記立体映像配信コンテンツは、複数の映像配信サーバにて保管されているとともに、映像配信時においては、前記複数の映像配信サーバの中から外部指示により選択した所望のコンテンツを有する特定の前記映像配信サーバより前記立体映像配信コンテンツが配信され、前記配信される立体映像配信コンテンツはさらに一旦トランスコーディングサーバに入力し、前記トランスコーディングサーバにてフォーマット変換することにより、立体視聴可能なプレーヤもしくはＴＶにおいてデコードできる映像信号フォーマットの形態にして、前記立体視聴可能なプレーヤもしくはＴＶに再配信することを特徴とする。
【００１７】
また、この発明の第２の態様にかかる立体映像配信システムは、視差映像を利用した左目映像と右目映像とからなる立体映像をサーバから配信する立体映像配信システムであって、立体映像を含む映像コンテンツは、フレーム内でデータ圧縮されたＩピクチャと、時間的に前方向の前記Ｉピクチャによる動き補償を加えてデータ圧縮されたＰピクチャと、時間的に前後方向の前記Ｉピクチャ又は前記Ｐピクチャによる動き補償を加えてデータ圧縮されたＢピクチャとを有するディジタル映像情報により構成されるとともに、前記映像情報は、左目映像もしくは右目映像の片方のみで構成される平面映像と、さらに前記平面映像と逆側の目の映像の情報とを用いることにより立体映像視聴可能となる立体映像配信コンテンツであって、前記立体映像配信コンテンツは、複数の映像配信サーバにて保管されている左目映像もしくは右目映像の片方のみで構成される平面映像から構成されるとともに、映像配信時において、前記複数の映像配信サーバの中から外部指示により選択した所望の平面映像配信コンテンツを有する特定の前記映像配信サーバより所望の平面映像配信コンテンツが配信されるとともに、前記配信される平面映像配信コンテンツはさらに一旦トランスコーディングサーバに入力され、前記トランスコーディングサーバにて前記平面映像配信コンテンツを平面映像から立体映像に変換させるとともに、立体視聴可能なプレーヤもしくはＴＶにおいてデコードできる映像信号フォーマットの形態に変換して、前記立体視聴可能なプレーヤもしくはＴＶに再配信することを特徴とする。
【００１８】
また、この発明の第３の態様にかかる立体映像配信システムは、視差映像を利用した左目映像と右目映像とからなる立体映像をサーバから配信する立体映像配信システムであって、立体映像を含む映像コンテンツは、フレーム内でデータ圧縮されたＩピクチャと、時間的に前方向の前記Ｉピクチャによる動き補償を加えてデータ圧縮されたＰピクチャと、時間的に前後方向の前記Ｉピクチャ又は前記Ｐピクチャによる動き補償を加えてデータ圧縮されたＢピクチャとを有するディジタル映像情報により構成されるとともに、前記映像情報は、左目映像もしくは右目映像の片方のみで構成される平面映像が、まず外部保有の映像機器であるムービで撮影した映像をムービから、もしくは外部が録画した映像をレコーダから、直接トランスコーディングサーバにアップロードするとともに、前記アップロードした前記平面映像を前記トランスコーディングサーバにて平面映像から立体映像に変換させるとともに、前記変換した映像を、立体視聴可能なプレーヤもしくはＴＶにおいてデコードできる映像信号フォーマットの形態に変換して、前記立体視聴可能なプレーヤもしくはＴＶに再配信することを特徴とする。
【００１９】
また、この発明の第１の態様にかかる立体映像配信方法は、視差映像を利用した左目映像と右目映像とからなる立体映像をサーバから配信する立体映像配信方法であって、立体映像を含む映像コンテンツは、フレーム内でデータ圧縮されたＩピクチャと、時間的に前方向の前記Ｉピクチャによる動き補償を加えてデータ圧縮されたＰピクチャと、時間的に前後方向の前記Ｉピクチャ又は前記Ｐピクチャによる動き補償を加えてデータ圧縮されたＢピクチャとを有するディジタル映像情報により構成されるとともに、前記映像情報は、左目映像もしくは右目映像の片方のみで構成される平面映像と、さらに前記平面映像と逆側の目の映像の情報とを用いることにより立体映像視聴可能となる立体映像配信コンテンツであって、前記立体映像配信コンテンツは、複数の映像配信サーバにて保管されているとともに、映像配信時においては、前記複数の映像配信サーバの中から外部指示により選択した所望のコンテンツを有する特定の前記映像配信サーバより前記立体映像配信コンテンツが配信され、前記配信される立体映像配信コンテンツはさらに一旦トランスコーディングサーバに入力し、前記トランスコーディングサーバにてフォーマット変換することにより、立体視聴可能なプレーヤもしくはＴＶにおいてデコードできる映像信号フォーマットの形態にして、前記立体視聴可能なプレーヤもしくはＴＶに再配信することを特徴とする。
【００２０】
また、この発明の第２の態様にかかる立体映像配信方法は、視差映像を利用した左目映像と右目映像とからなる立体映像をサーバから配信する立体映像配信方法であって、立体映像を含む映像コンテンツは、フレーム内でデータ圧縮されたＩピクチャと、時間的に前方向の前記Ｉピクチャによる動き補償を加えてデータ圧縮されたＰピクチャと、時間的に前後方向の前記Ｉピクチャ又は前記Ｐピクチャによる動き補償を加えてデータ圧縮されたＢピクチャとを有するディジタル映像情報により構成されるとともに、前記映像情報は、左目映像もしくは右目映像の片方のみで構成される平面映像と、さらに前記平面映像と逆側の目の映像の情報とを用いることにより立体映像視聴可能となる立体映像配信コンテンツであって、前記立体映像配信コンテンツは、複数の映像配信サーバにて保管されている左目映像もしくは右目映像の片方のみで構成される平面映像から構成されるとともに、映像配信時において、前記複数の映像配信サーバの中から外部指示により選択した所望の平面映像配信コンテンツを有する特定の前記映像配信サーバより所望の平面映像配信コンテンツが配信されるとともに、前記配信される平面映像配信コンテンツはさらに一旦トランスコーディングサーバに入力され、前記トランスコーディングサーバにて前記平面映像配信コンテンツを平面映像から立体映像に変換させるとともに、立体視聴可能なプレーヤもしくはＴＶにおいてデコードできる映像信号フォーマットの形態に変換して、前記立体視聴可能なプレーヤもしくはＴＶに再配信することを特徴とする。
【００２１】
また、この発明の第３の態様にかかる立体映像配信方法は、視差映像を利用した左目映像と右目映像とからなる立体映像をサーバから配信する立体映像配信方法であって、立体映像を含む映像コンテンツは、フレーム内でデータ圧縮されたＩピクチャと、時間的に前方向の前記Ｉピクチャによる動き補償を加えてデータ圧縮されたＰピクチャと、時間的に前後方向の前記Ｉピクチャ又は前記Ｐピクチャによる動き補償を加えてデータ圧縮されたＢピクチャとを有するディジタル映像情報により構成されるとともに、前記映像情報は、左目映像もしくは右目映像の片方のみで構成される平面映像が、まず外部保有の映像機器であるムービで撮影した映像をムービから、もしくは外部が録画した映像をレコーダから、直接トランスコーディングサーバにアップロードするとともに、前記アップロードした前記平面映像を前記トランスコーディングサーバにて平面映像から立体映像に変換させるとともに、前記変換した映像を、立体視聴可能なプレーヤもしくはＴＶにおいてデコードできる映像信号フォーマットの形態に変換して、前記立体視聴可能なプレーヤもしくはＴＶに再配信することを特徴とする。
【００２２】
また、この発明の第１の態様にかかる立体映像配信装置は、視差映像を利用した左目映像と右目映像とからなる立体映像をサーバから配信する立体映像配信装置であって、立体映像を含む映像コンテンツは、フレーム内でデータ圧縮されたＩピクチャと、時間的に前方向の前記Ｉピクチャによる動き補償を加えてデータ圧縮されたＰピクチャと、時間的に前後方向の前記Ｉピクチャ又は前記Ｐピクチャによる動き補償を加えてデータ圧縮されたＢピクチャとを有するディジタル映像情報により構成され、前記映像情報は、左目映像もしくは右目映像の片方のみで構成される平面映像と、さらに前記平面映像と逆側の目の映像の情報とを用いることにより立体映像視聴可能となる立体映像配信コンテンツであって、前記立体映像配信コンテンツは、複数の映像配信サーバにて保管され、映像配信時において、前記複数の映像配信サーバの中から外部指示により選択した、所望のコンテンツを有する特定の前記映像配信サーバより、前記立体映像配信コンテンツが配信され、配信される前記立体映像配信コンテンツは、さらに一旦トランスコーディングサーバに入力され、前記トランスコーディングサーバはフォーマット変換手段を有し、前記フォーマット変換手段にて前記立体映像配信コンテンツを立体視聴可能なプレーヤもしくは立体視聴可能ＴＶにおいてデコードできる映像信号フォーマットの形態にして、立体視聴可能なプレーヤもしくは立体視聴可能ＴＶに再配信することを特徴とする。
【００２３】
また、この発明の第２の態様にかかる立体映像配信装置は、視差映像を利用した左目映像と右目映像とからなる立体映像をサーバから配信する立体映像配信装置であって、立体映像を含む映像コンテンツは、フレーム内でデータ圧縮されたＩピクチャと、時間的に前方向の前記Ｉピクチャによる動き補償を加えてデータ圧縮されたＰピクチャと、時間的に前後方向の前記Ｉピクチャ又は前記Ｐピクチャによる動き補償を加えてデータ圧縮されたＢピクチャとを有するディジタル映像情報により構成され、前記映像情報は、左目映像もしくは右目映像の片方のみで構成される平面映像と、さらに前記平面映像と逆側の目の映像の情報とを用いることにより立体映像視聴可能となる立体映像配信コンテンツであって、前記立体映像配信コンテンツは、複数の映像配信サーバにて保管されている左目映像もしくは右目映像の片方のみで構成される平面映像から構成され、映像配信時において、前記複数の映像配信サーバの中から外部指示により選択した所望の平面映像配信コンテンツを有する特定の前記映像配信サーバより所望の平面映像配信コンテンツが配信され、前記配信される平面映像配信コンテンツは、さらに一旦トランスコーディングサーバに入力され、前記トランスコーディングサーバにて前記平面映像配信コンテンツを平面映像から立体映像に変換させる手段と、立体視聴可能なプレーヤもしくは立体視聴可能ＴＶにおいてデコードできる映像信号フォーマットの形態に当該コンテンツのフォーマットを変換する手段とを備え、前記立体視聴可能なプレーヤもしくは立体視聴可能ＴＶに再配信することを特徴とする。
【００２４】
また、この発明の第３の態様にかかる立体映像配信装置は、視差映像を利用した左目映像と右目映像とからなる立体映像をサーバから配信する立体映像配信装置であって、立体映像を含む映像コンテンツは、フレーム内でデータ圧縮されたＩピクチャと、時間的に前方向の前記Ｉピクチャによる動き補償を加えてデータ圧縮されたＰピクチャと、時間的に前後方向の前記Ｉピクチャ又は前記Ｐピクチャによる動き補償を加えてデータ圧縮されたＢピクチャとを有するディジタル映像情報により構成され、前記映像情報は、左目映像もしくは右目映像の片方のみで構成される平面映像が、まず外部が保有する映像機器であるムービで撮影した映像をムービから、もしくは外部が録画した映像をレコーダから、直接トランスコーディングサーバにアップロードする手段と、アップロードした前記平面映像を前記トランスコーディングサーバにて平面映像から立体映像に変換させる手段と、前記変換した映像を、立体視聴可能なプレーヤもしくは立体視聴可能ＴＶにおいてデコードできる映像信号フォーマットの形態に変換する手段とを備え、前記立体視聴可能なプレーヤもしくはＴＶに再配信することを特徴とする。
【発明の効果】
【００２５】
この発明の第１の態様にかかる立体映像配信システムによれば、視差映像を利用した左目映像と右目映像とからなる立体映像をサーバから配信する立体映像配信システムであって、立体映像を含む映像コンテンツは、フレーム内でデータ圧縮されたＩピクチャと、時間的に前方向の前記Ｉピクチャによる動き補償を加えてデータ圧縮されたＰピクチャと、時間的に前後方向の前記Ｉピクチャ又は前記Ｐピクチャによる動き補償を加えてデータ圧縮されたＢピクチャとを有するディジタル映像情報により構成されるとともに、前記映像情報は、左目映像もしくは右目映像の片方のみで構成される平面映像と、さらに前記平面映像と逆側の目の映像の情報とを用いることにより立体映像視聴可能となる立体映像配信コンテンツであって、前記立体映像配信コンテンツは、複数の映像配信サーバにて保管されているとともに、映像配信時においては、前記複数の映像配信サーバの中から外部指示により選択した所望のコンテンツを有する特定の前記映像配信サーバより前記立体映像配信コンテンツが配信され、前記配信される立体映像配信コンテンツはさらに一旦トランスコーディングサーバに入力し、前記トランスコーディングサーバにてフォーマット変換することにより、立体視聴可能なプレーヤもしくはＴＶにおいてデコードできる映像信号フォーマットの形態にして、前記立体視聴可能なプレーヤもしくはＴＶに再配信することを特徴とすることにより、映像配信元サーバからの立体映像信号フォーマットが複数ある形態であっても、一旦トランスコーディングサーバにてプレーヤもしくはＴＶで再生可能な統一されたフォーマットで変換して伝送されるため、あらゆる映像配信元サーバが所有する立体映像コンテンツも、家庭内の映像視聴装置で再生・視聴することができる。
【００２６】
また、この発明の第２の態様にかかる立体映像配信システムによれば、視差映像を利用した左目映像と右目映像とからなる立体映像をサーバから配信する立体映像配信システムであって、立体映像を含む映像コンテンツは、フレーム内でデータ圧縮されたＩピクチャと、時間的に前方向の前記Ｉピクチャによる動き補償を加えてデータ圧縮されたＰピクチャと、時間的に前後方向の前記Ｉピクチャ又は前記Ｐピクチャによる動き補償を加えてデータ圧縮されたＢピクチャとを有するディジタル映像情報により構成されるとともに、前記映像情報は、左目映像もしくは右目映像の片方のみで構成される平面映像と、さらに前記平面映像と逆側の目の映像の情報とを用いることにより立体映像視聴可能となる立体映像配信コンテンツであって、前記立体映像配信コンテンツは、複数の映像配信サーバにて保管されている左目映像もしくは右目映像の片方のみで構成される平面映像から構成されるとともに、映像配信時において、前記複数の映像配信サーバの中から外部指示により選択した所望の平面映像配信コンテンツを有する特定の前記映像配信サーバより所望の平面映像配信コンテンツが配信されるとともに、前記配信される平面映像配信コンテンツはさらに一旦トランスコーディングサーバに入力され、前記トランスコーディングサーバにて前記平面映像配信コンテンツを平面映像から立体映像に変換させるとともに、立体視聴可能なプレーヤもしくはＴＶにおいてデコードできる映像信号フォーマットの形態に変換して、前記立体視聴可能なプレーヤもしくはＴＶに再配信することを特徴とすることにより、映像配信元サーバのコンテンツが平面映像のものしかない場合でも、トランスコーディングサーバにて立体映像に変換し、またプレーヤやＴＶで再生できる信号フォーマットに変換して配信するため、通常の平面映像であっても立体映像視聴を楽しむことが可能となる。
【００２７】
また、この発明の第３の態様にかかる立体映像配信システムによれば、視差映像を利用した左目映像と右目映像とからなる立体映像をサーバから配信する立体映像配信システムであって、立体映像を含む映像コンテンツは、フレーム内でデータ圧縮されたＩピクチャと、時間的に前方向の前記Ｉピクチャによる動き補償を加えてデータ圧縮されたＰピクチャと、時間的に前後方向の前記Ｉピクチャ又は前記Ｐピクチャによる動き補償を加えてデータ圧縮されたＢピクチャとを有するディジタル映像情報により構成されるとともに、前記映像情報は、左目映像もしくは右目映像の片方のみで構成される平面映像が、まず外部保有の映像機器であるムービで撮影した映像をムービから、もしくは外部が録画した映像をレコーダから、直接トランスコーディングサーバにアップロードするとともに、前記アップロードした前記平面映像を前記トランスコーディングサーバにて平面映像から立体映像に変換させるとともに、前記変換した映像を、立体視聴可能なプレーヤもしくはＴＶにおいてデコードできる映像信号フォーマットの形態に変換して、前記立体視聴可能なプレーヤもしくはＴＶに再配信することを特徴とすることにより、ユーザがムービなどで録画した映像をサーバにアップし、この平面映像を立体映像に変換し、プレーヤやＴＶで再生できる信号フォーマットに変換して、特定のＩＤで認証のうえ配信するため、個人的な映像を立体変換し、プライバシーを保った上で視聴することが可能となる。
【００２８】
また、この発明の第１の態様にかかる立体映像配信方法によれば、視差映像を利用した左目映像と右目映像とからなる立体映像をサーバから配信する立体映像配信方法であって、立体映像を含む映像コンテンツは、フレーム内でデータ圧縮されたＩピクチャと、時間的に前方向の前記Ｉピクチャによる動き補償を加えてデータ圧縮されたＰピクチャと、時間的に前後方向の前記Ｉピクチャ又は前記Ｐピクチャによる動き補償を加えてデータ圧縮されたＢピクチャとを有するディジタル映像情報により構成されるとともに、前記映像情報は、左目映像もしくは右目映像の片方のみで構成される平面映像と、さらに前記平面映像と逆側の目の映像の情報とを用いることにより立体映像視聴可能となる立体映像配信コンテンツであって、前記立体映像配信コンテンツは、複数の映像配信サーバにて保管されているとともに、映像配信時においては、前記複数の映像配信サーバの中から外部指示により選択した所望のコンテンツを有する特定の前記映像配信サーバより前記立体映像配信コンテンツが配信され、前記配信される立体映像配信コンテンツはさらに一旦トランスコーディングサーバに入力し、前記トランスコーディングサーバにてフォーマット変換することにより、立体視聴可能なプレーヤもしくはＴＶにおいてデコードできる映像信号フォーマットの形態にして、前記立体視聴可能なプレーヤもしくはＴＶに再配信することを特徴とすることにより、映像配信元サーバからの立体映像信号フォーマットが複数ある形態であっても、一旦トランスコーディングサーバにてプレーヤもしくはＴＶで再生可能な統一されたフォーマットで変換して伝送されるため、あらゆる映像配信元サーバが所有する立体映像コンテンツも、家庭内の映像視聴装置で再生・視聴することができる。
【００２９】
また、この発明の第２の態様にかかる立体映像配信方法によれば、視差映像を利用した左目映像と右目映像とからなる立体映像をサーバから配信する立体映像配信方法であって、立体映像を含む映像コンテンツは、フレーム内でデータ圧縮されたＩピクチャと、時間的に前方向の前記Ｉピクチャによる動き補償を加えてデータ圧縮されたＰピクチャと、時間的に前後方向の前記Ｉピクチャ又は前記Ｐピクチャによる動き補償を加えてデータ圧縮されたＢピクチャとを有するディジタル映像情報により構成されるとともに、前記映像情報は、左目映像もしくは右目映像の片方のみで構成される平面映像と、さらに前記平面映像と逆側の目の映像の情報とを用いることにより立体映像視聴可能となる立体映像配信コンテンツであって、前記立体映像配信コンテンツは、複数の映像配信サーバにて保管されている左目映像もしくは右目映像の片方のみで構成される平面映像から構成されるとともに、映像配信時において、前記複数の映像配信サーバの中から外部指示により選択した所望の平面映像配信コンテンツを有する特定の前記映像配信サーバより所望の平面映像配信コンテンツが配信されるとともに、前記配信される平面映像配信コンテンツはさらに一旦トランスコーディングサーバに入力され、前記トランスコーディングサーバにて前記平面映像配信コンテンツを平面映像から立体映像に変換させるとともに、立体視聴可能なプレーヤもしくはＴＶにおいてデコードできる映像信号フォーマットの形態に変換して、前記立体視聴可能なプレーヤもしくはＴＶに再配信することを特徴とすることにより、映像配信元サーバのコンテンツが平面映像のものしかない場合でも、トランスコーディングサーバにて立体映像に変換し、またプレーヤやＴＶで再生できる信号フォーマットに変換して配信するため、通常の平面映像であっても立体映像視聴を楽しむことが可能となる。
【００３０】
また、この発明の第３の態様にかかる立体映像配信方法によれば、視差映像を利用した左目映像と右目映像とからなる立体映像をサーバから配信する立体映像配信方法であって、立体映像を含む映像コンテンツは、フレーム内でデータ圧縮されたＩピクチャと、時間的に前方向の前記Ｉピクチャによる動き補償を加えてデータ圧縮されたＰピクチャと、時間的に前後方向の前記Ｉピクチャ又は前記Ｐピクチャによる動き補償を加えてデータ圧縮されたＢピクチャとを有するディジタル映像情報により構成されるとともに、前記映像情報は、左目映像もしくは右目映像の片方のみで構成される平面映像が、まず外部保有の映像機器であるムービで撮影した映像をムービから、もしくは外部が録画した映像をレコーダから、直接トランスコーディングサーバにアップロードするとともに、前記アップロードした前記平面映像を前記トランスコーディングサーバにて平面映像から立体映像に変換させるとともに、前記変換した映像を、立体視聴可能なプレーヤもしくはＴＶにおいてデコードできる映像信号フォーマットの形態に変換して、前記立体視聴可能なプレーヤもしくはＴＶに再配信することを特徴とすることにより、ユーザがムービなどで録画した映像をサーバにアップし、この平面映像を立体映像に変換し、プレーヤやＴＶで再生できる信号フォーマットに変換して、特定のＩＤで認証のうえ配信するため、個人的な映像を立体変換し、プライバシーを保った上で視聴することが可能となる。
【００３１】
また、この発明の第１の態様にかかる立体映像配信装置によれば、視差映像を利用した左目映像と右目映像とからなる立体映像をサーバから配信する立体映像配信装置であって、立体映像を含む映像コンテンツは、フレーム内でデータ圧縮されたＩピクチャと、時間的に前方向の前記Ｉピクチャによる動き補償を加えてデータ圧縮されたＰピクチャと、時間的に前後方向の前記Ｉピクチャ又は前記Ｐピクチャによる動き補償を加えてデータ圧縮されたＢピクチャとを有するディジタル映像情報により構成され、前記映像情報は、左目映像もしくは右目映像の片方のみで構成される平面映像と、さらに前記平面映像と逆側の目の映像の情報とを用いることにより立体映像視聴可能となる立体映像配信コンテンツであって、前記立体映像配信コンテンツは、複数の映像配信サーバにて保管され、映像配信時において、前記複数の映像配信サーバの中から外部指示により選択した、所望のコンテンツを有する特定の前記映像配信サーバより、前記立体映像配信コンテンツが配信され、配信される前記立体映像配信コンテンツは、さらに一旦トランスコーディングサーバに入力され、前記トランスコーディングサーバはフォーマット変換手段を有し、前記フォーマット変換手段にて前記立体映像配信コンテンツを立体視聴可能なプレーヤもしくは立体視聴可能ＴＶにおいてデコードできる映像信号フォーマットの形態にして、立体視聴可能なプレーヤもしくは立体視聴可能ＴＶに再配信することを特徴とすることにより、映像配信元サーバからの立体映像信号フォーマットが複数ある形態であっても、一旦トランスコーディングサーバにてプレーヤもしくはＴＶで再生可能な統一されたフォーマットで変換して伝送されるため、あらゆる映像配信元サーバが所有する立体映像コンテンツも、家庭内の映像視聴装置で再生・視聴することができる。
【００３２】
また、この発明の第２の態様にかかる立体映像配信装置によれば、視差映像を利用した左目映像と右目映像とからなる立体映像をサーバから配信する立体映像配信装置であって、立体映像を含む映像コンテンツは、フレーム内でデータ圧縮されたＩピクチャと、時間的に前方向の前記Ｉピクチャによる動き補償を加えてデータ圧縮されたＰピクチャと、時間的に前後方向の前記Ｉピクチャ又は前記Ｐピクチャによる動き補償を加えてデータ圧縮されたＢピクチャとを有するディジタル映像情報により構成され、前記映像情報は、左目映像もしくは右目映像の片方のみで構成される平面映像と、さらに前記平面映像と逆側の目の映像の情報とを用いることにより立体映像視聴可能となる立体映像配信コンテンツであって、前記立体映像配信コンテンツは、複数の映像配信サーバにて保管されている左目映像もしくは右目映像の片方のみで構成される平面映像から構成され、映像配信時において、前記複数の映像配信サーバの中から外部指示により選択した所望の平面映像配信コンテンツを有する特定の前記映像配信サーバより所望の平面映像配信コンテンツが配信され、前記配信される平面映像配信コンテンツは、さらに一旦トランスコーディングサーバに入力され、前記トランスコーディングサーバにて前記平面映像配信コンテンツを平面映像から立体映像に変換させる手段と、立体視聴可能なプレーヤもしくは立体視聴可能ＴＶにおいてデコードできる映像信号フォーマットの形態に当該コンテンツのフォーマットを変換する手段とを備え、前記立体視聴可能なプレーヤもしくは立体視聴可能ＴＶに再配信することを特徴とすることにより、映像配信元サーバのコンテンツが平面映像のものしかない場合でも、トランスコーディングサーバにて立体映像に変換し、またプレーヤやＴＶで再生できる信号フォーマットに変換して配信するため、通常の平面映像であっても立体映像視聴を楽しむことが可能となる。
【００３３】
また、この発明の第３の態様にかかる立体映像配信装置によれば、視差映像を利用した左目映像と右目映像とからなる立体映像をサーバから配信する立体映像配信装置であって、立体映像を含む映像コンテンツは、フレーム内でデータ圧縮されたＩピクチャと、時間的に前方向の前記Ｉピクチャによる動き補償を加えてデータ圧縮されたＰピクチャと、時間的に前後方向の前記Ｉピクチャ又は前記Ｐピクチャによる動き補償を加えてデータ圧縮されたＢピクチャとを有するディジタル映像情報により構成され、前記映像情報は、左目映像もしくは右目映像の片方のみで構成される平面映像が、まず外部が保有する映像機器であるムービで撮影した映像をムービから、もしくは外部が録画した映像をレコーダから、直接トランスコーディングサーバにアップロードする手段と、アップロードした前記平面映像を前記トランスコーディングサーバにて平面映像から立体映像に変換させる手段と、前記変換した映像を、立体視聴可能なプレーヤもしくは立体視聴可能ＴＶにおいてデコードできる映像信号フォーマットの形態に変換する手段とを備え、前記立体視聴可能なプレーヤもしくはＴＶに再配信することを特徴とすることにより、ユーザがムービなどで録画した映像をサーバにアップし、この平面映像を立体映像に変換し、プレーヤやＴＶで再生できる信号フォーマットに変換して、特定のＩＤで認証のうえ配信するため、個人的な映像を立体変換し、プライバシーを保った上で視聴することが可能となる。
【図面の簡単な説明】
【００３４】
【図１】本発明の実施の形態１に係るシャッタを用いた立体映像表示システムの概念図である。
【図２】本発明の実施の形態１に係る偏光フィルタを用いた立体映像表示システムの概念図である。
【図３】本発明の実施の形態１に係る回転偏光フィルタを用いた立体映像表示システムの概念図である。
【図４】本発明の実施の形態１に係る多重情報を用いた立体映像表示システムの概念図である。
【図５】本発明の実施の形態１に係る立体映像の模試図である。
【図６】本発明の実施の形態１に係る字幕表示を含む立体映像の模試図である。
【図７】本発明の実施の形態１に係る目の疲労度を説明するための図である。
【図８】本発明の実施の形態１に係る奥行き方向の加速度と目の疲労度を説明するための図である。
【図９】本発明の実施の形態１に係る字幕の表示範囲を説明するための図である。
【図１０】本発明の実施の形態２に係る記録媒体上の情報記録領域を示す図である。
【図１１】本発明の実施の形態２に係る映像タイトルの映像ストリーム構造を説明するための図である。
【図１２】本発明の実施の形態２に係る映像タイトルの映像ストリーム構造を説明するための図である。
【図１３】本発明の実施の形態２に係る映像タイトルの映像ストリーム構造を説明するための図である。
【図１４】本発明の実施の形態２に係る付帯情報のコンテンツ情報を説明するための図である。
【図１５】本発明の実施の形態２に係る付帯情報のタイムコード情報を説明するための図である。
【図１６】本発明の実施の形態２に係る付帯情報の配置情報を説明するための図である。
【図１７】本発明の実施の形態２に係る付帯情報の映像情報を説明するための図である。
【図１８】本発明の実施の形態２に係る付帯情報を用いたＴＶ表示の概念図である。
【図１９】本発明の実施の形態２に係るマルチアングル情報の模試図である。
【図２０】本発明の実施の形態２に係るＯＳＤ情報を説明するための図である。
【図２１】本発明の実施の形態２に係る映像制御情報のＧＯＰテーブル情報を説明するための図である。
【図２２】本発明の実施の形態２に係る映像制御情報のＧＯＰテーブル情報とＯＳＤ情報を説明するための図である。
【図２３】本発明の実施の形態２に係る映像制御情報のシーケンス情報とＯＳＤ情報と映像属性情報を説明するための図である。
【図２４】本発明の実施の形態３に係る立体映像記録装置のブロック図である。
【図２５】本発明の実施の形態３に係る映像ストリーム構造を説明するための図である。
【図２６】本発明の実施の形態３に係る映像ストリーム構造を説明するための図である。
【図２７】本発明の実施の形態３に係る立体映像記録装置のブロック図である。
【図２８】本発明の実施の形態３に係る差分情報の圧縮の原理を説明するための視差画像概念図である。
【図２９】本発明の実施の形態３に係る立体映像記録装置のブロック図である。
【図３０】本発明の実施の形態３に係る視差情報画像変換の圧縮を説明するための模試図である。
【図３１】本発明の実施の形態３に係る映像ストリーム構造を説明するための図である。
【図３２】本発明の実施の形態３に係る映像ストリーム構造を説明するための図である。
【図３３】本発明の実施の形態３に係る立体映像記録装置のブロック図である。
【図３４】本発明の実施の形態３に係る映像ストリーム構造を説明するための図である。
【図３５】本発明の実施の形態３に係る映像ストリーム構造を説明するための図である。
【図３６】本発明の実施の形態４に係る立体映像再生装置のブロック図である。
【図３７】本発明の実施の形態４に係る立体映像再生装置のブロック図である。
【図３８】本発明の実施の形態４に係る立体映像再生装置を説明する図である。
【図３９】本発明の実施の形態４に係る立体映像再生装置を説明する図である。
【図４０】本発明の実施の形態４に係る立体映像再生装置を説明する図である。
【図４１】本発明の実施の形態５に係るネットワークによる立体視聴システムを説明するための図である。
【図４２】本発明の実施の形態５に係るネットワーク視聴時の視聴選択画面を説明するための図である。
【図４３】本発明の実施の形態５に係る立体ウィジェット表示システムを説明するための図である。
【図４４】本発明の実施の形態６に係る立体映像視聴システムのブロック図である。
【図４５】本発明の実施の形態６に係る立体映像視聴システムのブロック図である。
【図４６】本発明の実施の形態６に係る立体映像視聴のフローを説明するための図である。
【図４７】本発明の実施の形態６に係る立体映像視聴のフローを説明するための図である。
【図４８】本発明の実施の形態６に係る立体映像視聴のフローを説明するための図である。
【図４９】本発明の実施の形態６に係る立体映像視聴を説明するための図である。
【発明を実施するための形態】
【００３５】
（実施の形態１）
本発明の実施の形態１について、図に従い以下に説明する。図１は、本実施の形態に係る立体映像システムの全体構成を示すブロック図である。図１に示す立体映像システムでは、立体映像が記録されたメディアを再生して右目映像１及び左目映像２を出力する立体映像記録装置６（以下、単に記録装置６ともいう）、ＴＶやプロジェクター等の表示装置３、液晶等で構成され２つの透過偏光を切り替える事ができるシャッタ４、シャッタ４を介したフレーム順からなる映像５Ａ，５Ｂを見るために左右それぞれに液晶シャッタもしくは左右それぞれに異なる偏光板が構成されたメガネ７Ａとで構成されている。図２は、本実施の形態１に係る立体映像システムの別の構成例を示している。図２に示す立体映像システムでは、図１と異なり２つの表示装置Ａ，Ｂを備え、且つそれぞれ方向の異なる特定の偏光成分の光のみを通すための偏光板９，１０、表示パネル１２に投影させるための光学系１１、偏光板９，１０を介して得られるフレーム順からなる映像５Ｃ，５Ｄを見るために左右異なる偏光板を有するメガネ７Ｂとで構成されている。
【００３６】
図３は、本実施の形態１に係る立体映像システムのさらなる別の構成例を示している。図３に示す立体映像システムでは、図１と異なりそれぞれ方向の異なる特定の偏光成分の光のみを通す半円の偏光板を張り合わせた円形の回転円盤を有する同期回転部材１３と、同期回転部材１３に光を投射する光源１４とを備えている。図４は、本実施の形態１に係る立体映像システムのさらなる別の構成例を示している。図４に示す立体映像システムでは、図１と異なり、映像信号２２に基づく複数の映像を投影するための表示デバイス１５〜１９と、投影された立体映像を再現するための回転ミラー２１とを備えている。
【００３７】
図５は、人間が知覚する立体映像を模試したものである。図５では、無限遠方１１１から順に奥行き位置１１２〜１１７として、奥行き位置１１７が一番飛び出した（目に近い）位置としている。さらに、図５では、奥行き位置１１５上に表示された人間１１８、奥行き１１４上に表示された人間１１９、遠方から流れてくる川１２０、遠方に見える山１２１が図示されている。図６は、図５の表示にさらに字幕表示を追加表示したもので、それぞれの奥行き位置に表示された字幕１２２Ａ〜１２２Ｃと、当該字幕の奥行き範囲１２３Ａ〜１２３Ｃとを図示している。
【００３８】
図７（ａ），図７（ｂ）は、視差の角度変化加速度・変化にかかる時間・回数と目の疲労度を示した図である。図７（ａ）では、目の疲労度１２４を縦軸、角度変化加速度・変化の積１２５を横軸とし、注目点や字幕に対する目の疲労度１２６、注目点や字幕に対する最高疲労点１２７、背景画像の目の疲労度１２８、背景映像における酔いが発生する限界点１２９、人の目に対する安全領域１３０、人の目に対する危険領域１３１、人の目に対する３Ｄ酔いが発生する領域１３２をそれぞれ図示している。また、図７（ｂ）は、目の視差運動を示すための模試図であり、注目点の遠くの映像１２６Ａ、注目点の近くの映像１２６Ｂ、近くにある場合の視野角１２６Ｄ、遠くにある場合の視野角１２６Ｅ、人間の目１２６Ｆ、映像１２６Ｂが表示されている奥行き１２６Ｇ、映像１２６Ａが表示されている奥行き１２６Ｈをそれぞれ図示している。
【００３９】
また、図８は、注目点の奥行き方向の加速度と移動時間×回数との関係を示したグラフである。図８に示すグラフでは、注目点の奥行き方向の加速度１３３を縦軸、移動時間と回数の積（移動時間×回数）１３４を横軸として、安全領域１３０と危険領域１３１の境界１３５、危険領域１３１と３Ｄ酔い発生領域１３２との境界１３６とを図示している。また、図９は、字幕表示における奥行き位置と奥行き位置変化量の関係を示したものである。図９では、奥行き位置１３７を縦軸、奥行き変化量１４０を横軸として、無限遠の位置１３８、目の位置（一番手前）１３９、奥行き変化量制限値１４１、手前の奥行き制限（飛び出し制限）１４２、遠方の奥行き制限１４３をそれぞれ示している。
【００４０】
ここで、一般的にＴＶやプロジェクターを用いた立体映像システムでは、図１から図３に示されるように、人間の目の視差情報を利用したものが多く、メガネによって左右にそれぞれの映像情報を投影し、立体に見せるものである。一般的には映像の撮影の際も２台のカメラを用いて、左右の目に入力させるための映像を撮影するため、２つのストリームが構成させることになる。ここではまず記録装置６に蓄積された左右の映像情報を、ＴＶやプロジェクターの表示装置に入力させる。この際、記録装置６と表示装置間の情報インターフェイスとしてアナログ方式の場合は、左右それぞれ別々の情報伝送が必要となるが、ＨＤＭＩ等のディジタルインターフェイスの場合は左右の情報を交互にシリアル伝送させることも可能である他、記録装置６側で圧縮して伝送し、ＴＶ側で解凍させる方法もある。また。左右の映像情報はＴＶ表示の場合フィールド毎に、左と右を切り替えて表示する事となるが、近年の倍スキャン表示を用いたＴＶを用いれば再生映像を、フィールド毎に左右に分けるにあたり、フリッカ等の問題を解消する事ができ、スムーズな立体映像再生が可能になっている。
【００４１】
さらに、図１に示すように液晶等で構成され２つの透過偏光を切り替える事ができるシャッタ４を構成した場合は、透過するフィールド映像５Ａを例えば縦偏光、映像５Ｂを横偏光とするように、シャッタ４を制御する事でフィールド毎の光の偏光角を変える事ができる。この場合はメガネ７Ａ側は左右異なる偏光板（縦偏光と横偏光）を貼り付けたものでよく、ケーブル３Ａを介して表示装置３がシャッタ４を制御するタイミングに対応する信号を表示装置３からメガネ７Ａに供給するケーブル３Ｂが不要となる。一方、シャッタ４を用いない場合は、メガネ７Ａ側に液晶シャッタを設ける必要があり、ケーブル３Ｂのフィールド同期信号ケーブルが必要となる。メガネ７Ａ側の液晶シャッタで対応する場合は偏光を用いていないため、首を傾けたりする等のメガネの角度が変わっても立体表示に対する影響は小さく抑えられる効果がある。
【００４２】
また、図２の方式では、ＰＬＤ素子や透過型液晶タイプを有する表示デバイスを２つ有することにより、それぞれに左右別々の映像を表示させる方法である。この場合は表示装置（Ａ，Ｂ）７，８の前面に異なる偏光方向を持つ偏光板９，１０を取りつけておく。このことで、それぞれの表示発光部分から出射される光が異なる偏光となっており、これを光学系１１を介して表示パネル１２に投影する事で、例えば右目は縦偏光の映像５Ｃ、左目は横偏光の映像５Ｄを映し出す事が可能となる。ここではさらに、偏光メガネ７Ｂを用いてそれぞれの目に視差のある映像情報を入力させる。
【００４３】
また、図３の方式ではＰＬＤ等の光学素子に入射させる光源の部分において、ＴＶのフィールド表示のタイミングに同期して回転する同期回転部材１３を有する偏光切換え機構を構成し、フィールド表示のタイミングにあわせた偏光を有する光をＰＬＤ素子等に入射させる方式である。この場合、映像表示パネル上にはフィールド毎に異なる偏光を有する映像が投射される。これを図２と同様な方式の偏光メガネ７で見ることにより視差映像を目に入れることが可能となる。また、図４のように複数の表示デバイス１５〜１９によって複数角度から撮影した映像を投影し、立体映像を再現する方法もある。この場合は立体用の映像ストリームは２本ではなく複数本のストリームを蓄積し再生しなければならない。
【００４４】
さらに、ＴＶのフィールド表示のタイミングに同期して回転する上記同期回転部材１３をＲＧＢの特定の波長のみを通す光学フィルタにて構成し、円盤の半分を左目用残りの半分を右目用として、それぞれのＲＧＢの波長をずらす事によって、右目用の光と左目用に光の波長を変え、またメガネ７をそれぞれ右目用と左目用の波長しか通さない光学フィルタから構成する事によっても左右の映像をそれぞれの目に入射させる事ができる。この場合、左右のＲＧＢのずれはＴＶの表示側の色調整によって補正し、色再現上遜色ないようにする事が可能で、またこのＲＧＢ波長を左右でずらす方式ではメガネを傾けてもメガネ７からの光が減衰したりする事がない。
【００４５】
また、図４の回転ミラー２１を用いた方式では、複数の視点による映像を表示デバイス１５〜１９によって、回転ミラー２１に立体映像が投影されるため、実際の立体映像においてみる側の視点を変えても実物のように見える（極端な場合は裏側等隠れて見えなかった部分も見えるようになる。）ものである。
【００４６】
次に、実際の立体映像について説明する。視差を利用した映像再現の場合であっても、人間の目においては図５のように知覚される。この場合、奥行き位置の無限遠１１１から目の位置１１７までの奥行きを分解表現すると、奥行き位置１１２〜１１５までの奥行き平面上にそれぞれの画像が表示されている事となる。例えば、注目点となる登場人物は手前にあれば大きく人間１１８のように見え、離れると人間１１９のように見える。背景情報である川１２１などは手前に近づけば大きく遠くなれば小さく見え、大きな山１２１などは背景であっても大きく見える。例えば、図５に示すような立体映像に字幕を表示させた場合、図６のように表現される。近くにある字幕１２２Ａは、字幕１２２Ｂ，１２２Ｃと表示が少しずつ遠ざかっていく。この注目点である登場人物である人間１１９Ａ〜１１９Ｃはシーンにより奥行き位置が変化しているとすると、字幕もそれにあわせて変化させれば目の焦点の動きを少なくさせるため疲れにくくなる。そのため、登場人物である人間１１９Ａのシーンでは字幕１２２Ａを、登場人物である人間１１９Ｂのシーンでは字幕１２２Ｂを、登場人物である人間１１９Ｃのシーンでは字幕１２２Ｃを表示させる事が望ましい。従来の２Ｄ映像においてはもともと奥行き位置の変化がないため、ユーザとＴＶとの距離が人間の目の焦点であり、目の焦点方向の筋肉を動かすことはないが、立体映像では視差を利用したものであっても視差分の目の移動が必要となるためである。
【００４７】
また、図７（ａ）に示すように登場人物等の注目点の焦点方向の移動においては、その視差角度の変化速度や変化にかかる時間やその回数に比例して目の疲れが発生する。特に注目点においては目が追随しなければならないため、目の疲労は激しく、視差角度の変化速度や変化にかかる時間やその回数が少ない段階で疲労のピークに達するものと考えられる。特に、図７（ｂ）に示す視野角１２６Ｄのように手前の映像は視差角度が大きく、遠くのものは視野角１２６Ｅのように視差角度が小さい。遠近が変化すると視差角度が変化し両目１２６Ｆはこの角度をつけて目標に焦点を合わせる必要が生じ、遠近の変化に伴う視差角の変化に追従しなければならない。従来の平面映像を表示するＴＶは遠近の映像がないため目の奥行き方向認知に必要な視差角は常に一定であるが立体映像の場合は、平面内の目の動きの他に奥行き方向（視差角をもたせる）の目の動きをつけなければならないため、目の負担は増大する。ただし、目の応答よりも早い動きをした場合は追従できないので逆に疲労も減少するため目の疲労度１２６のカーブのようになるものと予想される。また、背景情報については元々目が追随していないものの、遠近の変化に伴う視差角度の変化速度や変化にかかる時間やその回数が増えると、疲労度が増加傾向にあるものと推定される。これを奥行き方向加速度と、移動時間と回数の積の関係で表したものが図８であり、奥行き方向の加速度が小さくても回数や距離が増えると危険領域や酔いの発生が見られるが、あるレベルを下回った場合、移動時間と回数の積が増えても疲れない状態になると推定する。
【００４８】
ここで、評価値としての目の疲労度は、画面サイズが大きくなると面内方向の目の移動も大きくなり疲労も増大する事から、これを配慮した場合とそうでない場合とで２つの評価関数が考えられる。まず、評価関数１は、目の追従が無視できる値ａ＜注目点の視差角変化速度＜目の追従範囲ｂとして、評価値（目の疲労度）が視差角変化速度×変化にかかる時間×変化した回数に比例する。評価関数２は、目の追従が無視できる値ａ＜注目点の視差角変化速度＜目の追従範囲ｂとして、評価値（目の疲労度）が視差角変化速度×変化にかかる時間×変化した回数×画面サイズに比例する。ＴＶ画面のサイズが検知できる場合は評価関数２を、できない場合は評価関数１を用いる。なお、実施の形態２以降では上記評価値（目の疲労度）は奥行き変化度として記載している。
【００４９】
１本の立体映像を製作する際、１本の映像コンテンツにおける立体映像の視差角変化量と変化に関わる時間と変化した回数を評価係数としてもっておき、これが図７の危険領域１３１に入らないように再エンコードする事で立体映像コンテンツを製作する事ができる。また、この立体映像コンテンツにおいても評価関数としての奥行き変化度を記述しておくことで、映画視聴前に目の疲労度を提示しユーザに２Ｄ再生とするか３Ｄ再生とするかの選択をさせる事ができる。この際、再エンコードの方法としては視差映像を撮影するカメラの視差間隔を小さくする（２台のカメラの距離を小さくする）といった撮影上の工夫や、後述する視差情報を用いた画素変換処理によって視差を小さくするような画像処理を行う方法、アニメーション等ではＣＧ等でのコンテンツ制作時に飛び出し量を制限させる方法等が行われる。
【００５０】
このような映画等のストーリを把握するため、ユーザが必ず読まなければならない字幕表示については、図９に示すように奥行き方向の変化量を制限する必要がある。あまり目の焦点方向の追従速度が速くなると図７や図８のように目の疲れが増大し３Ｄ酔いが発生しやすくなるからである。また、あまり遠方すぎる位置の字幕は、字幕の大きさと背景との関係で、図６にあるように違和感があるため遠方位置についても制限を加えたほうがよいと思われる。また、目に近い手前側についても制限が必要である。これは特に目に近すぎる位置は視野角の関係で目の角度変化量が大きくなるため元々目の疲労が大きくなるほか、飛び出し量が大きいと「びっくりする」，「おどろく」といった影響を及ぼす場合もあるからである。また、表示するＴＶ画面が大きくなる場合、面内方向の目の動き量も増大するとともに、上述する「びっくりする」，「おどろく」といった心理的効果も増大するため、より制限を大きくする事が望ましい。再生装置とＴＶがリンク接続されている場合、ＴＶ画面の大きさに関する情報を再生装置との間でやりとりし、字幕等の飛び出し範囲制限をきびしくする。また、飛び出し量の異なる複数のストリームが配置されている場合、ＴＶ画面の大きい場合は飛び出し量の小さいストリームを選択し、ＴＶ画面が小さい場合は飛び出し量の大きなストリームを選択する等の構成が考えられる。また、後述する装置側の設定によって飛び出し量が可変できる場合には、ＴＶのサイズ情報やユーザの状態（年齢等）を配慮し自動設定する事も考えられる。
【００５１】
この際、上記評価値や視野角である最大飛び出し量からなる立体映像パレンタルレベルを規定し、立体映像パレンタルレベルに応じて、視聴する年齢の制限やお年寄りや病人に対する危険告知を行う事が可能となる。例えば、立体映像パレンタルレベルとして、レベル１は疲労・危険が大として、評価値（目の疲労度）＞ｃ，最大飛び出し量＞ｄ，通常のパレンタルレベルが高い場合とする。レベル２は疲労・危険がやや大として、評価値（目の疲労度）＞ｃ，最大飛び出し量＞ｄ，通常のパレンタルレベルが普通以下の場合、又は評価値（目の疲労度）＞ｅ，最大飛び出し量＞ｆ，通常のパレンタルレベルが高いの場合とする。レベル３は疲労・危険が中として、評価値（目の疲労度）＞ｅ，最大飛び出し量＞ｆ，通常のパレンタルレベルが普通以下の場合とする。レベル４は疲労・危険なしとして、評価値（目の疲労度）＞ｇ，最大飛び出し量＞ｈ，通常のパレンタルレベルが普通以下とする。
【００５２】
なお、上記の立体映像パレンタルレベルの例では、ｃ＞ｅ＞ｇ，ｄ＞ｆ＞ｈの関係を有し、通常のパレンタルレベル（平面画像パレンタルレベル）が、ホラー映画等に対し現行の２Ｄ映像のＤＶＤ等で規定されている安全のための視聴制限を指すものとする。また、このような立体映像パレンタルレベルの設定は製品購入時や、初期設定時に設定・変更する事ができ、例えば暗証番号等を記憶させる事によって、後での解除変更をできるようにしておけばより有用である。
【００５３】
（実施の形態２）
次に、本実施の形態２について、図に従い以下に説明する。図１から図３のような特に視差情報を用いた立体映像においては、そのままＴＶ放送すると２重写しのような画面になり、上述したような専用の立体表示装置を構成しなければ見ることができない。従って、放送において立体映像を行う事は視聴者側の機器のインフラにも左右されるため、一般には視聴できない専用のチャンネルを設けるか、３Ｄ映像である事のフラグを放送の情報に重畳する等が必要となる。そのため、通常では記録メディア等で配信され、専用のプレーヤもしくは本機能が搭載されたプレーヤで見るのが都合が良い。このような状況から、上記のような立体映像を記録メディアに保存するための方法やフォーマットを、以下に説明する。
【００５４】
図１０は、本実施の形態２に係る記録媒体２６である。本発明に係る記録媒体（映像メディア）は、ＤＶＤやＢＤ、ＨＤ−ＤＶＤ、ＭＯ等の光ディスク媒体の他、ＨＤＤ媒体であっても良いことはいうまでもない。ＨＤＤの場合はそれ自体可搬できない場合が多いものの、放送された立体映像情報を記録する際には容量の点からも有利である。一方、ＲＯＭメディア等の光ディスク媒体においては、放送される前の立体のキラーコンテンツや、立体有料コンテンツを配信するのに有効である。図１０に示す円盤状の記録媒体２６では、映像情報に関する制御情報を確認している領域（映像制御情報２３）、立体映像が格納されている領域（映像タイトル２４）、通常の２Ｄ映像が格納されている領域（映像タイトル２５）に分けられている。
【００５５】
図１１は、図１０の映像タイトル（映像コンテンツ）２４部分の映像ストリームの構造例を示したものである。図１１では、映像タイトル２７が２Ｄ映像情報２８、ユーザの選択が可能な２Ｄ映像情報３０，３１、表示装置が立体映像表示可能な場合に自動的に選択もしくはユーザの選択により選ばれる３Ｄ映像情報２９、上記映像情報２９〜３１に引き続いて再生される２Ｄ映像情報３２、映像タイトル２７の最後の２Ｄ映像情報３３で構成されている。また、図１１では、ＧＯＰレイヤのストリーム情報として、後に続くＧＯＰ映像情報３５，３６の先頭に配置されＧＯＰ映像情報に関連した付帯情報が記述された付帯情報領域３４、ＧＯＰ映像情報３８の先頭に配置されＧＯＰ映像情報に関連した付帯情報が記述された付帯情報領域３７、ＧＯＰ映像情報４０，４１の先頭に配置されＧＯＰ映像情報に関連した付帯情報が記述された付帯情報領域３９が図示されている。
【００５６】
また、図１１では、ピクチャレイヤのストリーム情報として、付帯情報を記載したパケットデータ部４２、面内符号化データから構成されたＩピクチャデータ４３、Ｉピクチャデータ４３とＰピクチャ４５とから時間方向に予測された符号化データであるＢピクチャ４４、Ｉピクチャデータ４３から片方向のみの時間方向に予測された符号化データであるＰピクチャ４５が図示されている。また、図１１では、トランスポートパケットデータのレイヤとして、付帯情報を記載したトランスポートパケットデータ部でパケットデータ部４２と同じパケット４６、Ｉピクチャデータ４３をトランスポートパケットで分割した先頭のパケット４７、Ｉピクチャデータ４３の最後のデータが格納されたトランスポートパケット４８、トランスポートパケット４８の中のＩピクチャデータの最後の部分４９、トランスポートパケット４８の中のパディング処理された部分５０が図示されている。
【００５７】
また、図１２は、映像タイトル（映像コンテンツ）２７における３Ｄ映像情報２９、２Ｄ映像情報３０，３１とが選択的に選べる領域の階層のデータ構造を示したものである。図１２では、３Ｄ映像情報２９、２Ｄ映像情報３０，３１とが選択的に選べる領域における先頭に配置された本映像列に関連した情報が格納された付帯情報５１、当該領域におけるＧＯＰ映像情報列５２、ＧＯＰ映像情報列５４に関連した情報が格納されている付帯情報５３、当該領域の最後のＧＯＰ映像情報列５６に関連した情報が格納されている付帯情報５５が図示されている。また、図１２では、ピクチャレイヤのストリーム情報として、面内符号化データから構成されたＩピクチャデータ５７、Ｉピクチャデータ５７とＰピクチャ５９とから時間方向に予測された符号化データであるＰピクチャ５８、Ｉピクチャデータ５７から片方向のみの時間方向に予測された符号化データであるＢピクチャ５９が図示されている。
【００５８】
また、図１２では、トランスポートパケットデータのレイヤとして、Ｉピクチャデータ５７をトランスポートパケットで分割した先頭のパケット６０、Ｉピクチャデータ５７の最後のデータが格納されたトランスポートパケット６１、トランスポートパケット６１の中のＩピクチャデータの最後の部分６２、トランスポートパケット６１の中のパディング処理された部分６３が図示されている。また、図１２に示す矢印Ａは再生部分、矢印Ｂは３Ｄ再生を行った場合にジャンプする部分、矢印Ｃは３Ｄ再生を行うために再生する部分であり、右目映像のＧＯＰ映像情報と左目映像のＧＯＰ映像情報とが配置されているものである。図１３では、映像タイトル２７における３Ｄ映像情報２９、２Ｄ映像情報３１とが選択的に選べる領域の階層のデータ構造を示したものであり、基本的に図１２と同じであるため同じ構成要素については同符号を付して説明を省略する。
【００５９】
光ディスクやＨＤＤ媒体に記録されるデータの構造としては、図１０に示されるように映像関連の付帯情報やシーケンス等を記録した映像制御情報２３の領域と実際の映像タイトル（映像コンテンツ）２４，２５の領域とから構成される。この時、３Ｄ映像は必ずしも全編が３Ｄ映像となっているわけではなく、２Ｄ映像との混在である場合や、これら映像がユーザの選択により切り替えられる場合が想定される。特に、ＤＶＤ規格においてはマルチアングルといったユーザの選択可能な映像情報列を切り替えて表示できるようになっており、３Ｄ映像情報の場合も、ユーザの機器がすべて３Ｄ映像対応になっていない事を考慮すると、２Ｄ映像ストリームの上に、追加的に３Ｄ映像ストリームが構築される。そして、ユーザの表示機器が３Ｄ対応の場合、ＨＤＭＩ端子のリンク機能等により自動的に識別し３Ｄ映像ストリームを選択的に表示させるか、ユーザのボタン操作により選択的に３Ｄ映像側に決定し動作させる方法が考えられる。もちろん、全てのコンテンツが２Ｄ映像のみもしくは３Ｄ映像のみの形態もある事はいうまでもないが、フォーマットとしてはこのような複合形態への配慮が必要である。
【００６０】
また、映像タイトル２４の映像情報ストリームにおいても、映像情報ストリーム上にこれに関連する付帯情報領域を設け、情報のアクセスと管理や、機器の設定切換えの対応等を行う事が望ましい。特に、２Ｄ映像と３Ｄ映像とが混在するコンテンツにおいては、ＴＶ側で映像ストリームの２Ｄ映像か３Ｄ映像かの判定を行う必要があり、ストリーム上に付帯情報領域があればこの情報に基づき、ＴＶ側の設定を簡便にかつ自動的に切り替える事が可能となる。記録媒体を再生もしくは記録するプレーヤ・レコーダですべての設定を閉じて行う場合、制御情報をディスクの一部に集約して配置する映像制御情報２３に記載するのみでも良い。しかし、ＴＶとの接続連携を行う場合では、特に再生中にＴＶを切り替える等の処置を行う場合は、映像情報自体に、必要最低限の制御情報を重畳させておくことで、ＴＶ側の自動切換え設定等が行えるようになる。上記映像情報中の制御情報がない場合は、ＴＶの接続切換えを検出し、別途制御情報をプレーヤ・レコーダから送出しＴＶ側の設定を変更した後、映像情報を送出する事となる。これらＴＶ側の設定変更については、立体映像再生の処理自体が偏光を切り替える等表示装置側で行われるため、表示装置の設定変更処理を迅速に行うようなしくみが必要となる事はいうまでもない。
【００６１】
付帯情報５１は、情報のアクセス管理にも使用する事が可能であり、ＤＶＤ規格ではＮａｖｉ情報として定着しているものである。ここで、２Ｄ映像と３Ｄ映像とが混在している場合、図１１に示す３Ｄ映像情報２９，２Ｄ映像情報３０，３１のようにコンテンツの時系列上は並列する形となる。そこで、先頭にある付帯情報３４はＧＯＰデータ情報群の頭に配置される必要があり、まず付帯情報の内容を読み取る事により、次のＧＯＰ列の情報が２Ｄ映像なのか、３Ｄ映像なのか、３Ｄ映像であれば左目映像なのか右目映像なのか、またＧＯＰ映像情報群におけるそれらの配置情報（どこにアクセスすれば良いか）を判断する事ができる。ここで、付帯情報５１を先頭に含むＧＯＰ映像情報群はビデオユニットとしてＧＯＰ映像情報よりもさらに大きな映像単位として定義される。
【００６２】
また、ＭＰＥＧ等の時間方向にも圧縮をかけた映像情報データの場合は、Ｉピクチャを先頭とするＧＯＰ映像情報単位で情報が存在するため、映像データのアクセスはこのＧＯＰ映像情報単位となる事はいうまでもない。また、付帯情報は最初に読み取る必要があるためＧＯＰ映像情報群の先頭に配置しなければならず、例えば図１２のように３Ｄ映像情報部分を再生する場合は、まず付帯情報５１を再生（図中矢印Ａ）した後、２Ｄ映像情報３０，３１をジャンプして、３Ｄ映像情報２９を再生する。この際、２Ｄ映像情報３０，３１は図中矢印Ｂのようにジャンプし再生機器のメモリに不要な情報（この場合は２Ｄ映像情報３０，３１）を取り込まないようにして不要なメモリの増大を回避するとともに、映像の途切れが生じないように図中矢印Ｃの３Ｄ映像情報２９を再生する。
【００６３】
また、上記ＧＯＰ映像情報の先頭の付帯情報５１は、その下のピクチャレイヤの状態で示すと、Ｉピクチャ５７の先頭位置に配置されている。さらに、地上波や衛星・ケーブル等のディジタル放送等との親和性を持たせるため、これら圧縮映像データはトランスポートパケットで分割しておく事が便利であるため、最下層のデータとしては図１２のようにトランスポートパケット６０，６１に分割する。この場合でも付帯情報５１はＧＯＰ映像情報群５２の先頭のトランスポートパケットにて記載される事となる。なお、トランスポートパケットにおける新たに定義されたプライベートパケットを使用する事はいうまでもない。さらに、上記ＧＯＰ映像情報群の最後のトランスポートパケット６１は、必ずしも一定のトランスポートパケット単位でデータが切れるわけではないので、最後の部分６３を「００」や「ＦＦ」でパディングしてＧＯＰ映像情報単位でパケットのデータが完結するようにしておく事が良い。また、図１３のように１つの２Ｄ映像３１と１つの３Ｄ映像２９との２本に分岐している場合は、図１２と比べ図中矢印ＢのジャンプするＧＯＰ映像情報量が少ないだけであり、基本的な動作は図１１と変わらない。
【００６４】
なお、上記付帯情報の内容についてさらに説明する。図１４に示す付帯情報５１は、コンテンツ情報６４、タイムコード６５、配置情報６６、映像情報に関する情報６７、音声情報に関する情報６８、ＯＳＤ情報に関する情報６９で構成されている。そして、図１４に示すコンテンツ情報６４は、コンテンツ名７０、著作権７１、暗号情報７２、３Ｄ映像の有無７３、有効地域情報７４で構成されている。
【００６５】
また、図１５に示すタイムコード情報領域６５は、プレゼンテーションタイム６５Ａ、同期情報６５Ｂで構成されている。図１６に示す配置情報６６は、シームレス情報７５、ジャンプ先情報７６、アングル情報７７、ＧＯＰ内配置情報７８で構成されている。図１７に示す映像情報６７は、解像度情報７９、フレームレート情報８０、３Ｄ映像情報８１、パレンタル情報８２、アングル情報８３、暗号情報８４、３Ｄ映像方式及び有無に関する情報８５、３Ｄ映像フレームレートに関する情報８６、３Ｄ映像情報数８７、奥行き解像度に関する情報８８、奥行き変化度に関する情報８９、字幕許可の奥行きに関する情報９０、奥行き制限に関する情報１００、視差量制限に関する情報１０１で構成されている。
【００６６】
また、図１８は、上記付帯情報を表示装置であるＴＶに表示させた場合の模試図である。図１９（ａ），図１９（ｂ）は、複数のカメラからマルチアングル撮影した場合の模試図である。また、図２０に示すＯＳＤ情報６９は、ＯＳＤ配置情報６９Ａ、ＯＳＤ格納先の情報６９Ｂ、フォントや字体の大きさ指定６９Ｃ、面内のＯＳＤ配置情報６９Ｄ、奥行き方向のＯＳＤ配置情報６９Ｅ、奥行き位置６９Ｆ、奥行き許可制限６９Ｇ、奥行きズーミング速度６９Ｈで構成されている。
【００６７】
ここで、図１４における付帯情報５１は、まずストリーム上のＧＯＰ映像情報群毎に記述されたものであり、ＴＶ等にＨＤＭＩ伝送された場合でも、映像情報ともに伝送されるものである。従って、特に３Ｄ映像表示に関するＴＶ側の設定にも必要な情報も含まれることはいうまでもない。
【００６８】
次に、図１４に示すコンテンツ情報６４について説明する。コンテンツ名７０は、（１）コンテンツ名，（２）出演者名，（３）製作時期，（４）配給会社，（５）関連する作品名，（６）あらましをＴＶ側のＯＳＤ情報として表示させる場合がある。当該コンテンツ名７０は、映像ストリーム上に重畳された付帯情報５１が含まれるのであれば、途中でＴＶ側の入力を３Ｄ映像情報に切り替えた場合でも、コンテンツ名７０の内容を表示する事が可能となる。
【００６９】
図１４に示す著作権情報７１として、（７）著作権者，（８）配給会社，（９）輸入業者，（１０）資本参加社を記載しておくことで、映像ストリームの著作権所有者の情報も同時に配信する事ができ、本再生データを用いて不正な使用を行った場合でも著作権者の権利を主張する事ができる。また、本情報は映像ストリームに重畳されるため、ＴＶをつなぎかえた場合においても常にＴＶ側に情報配信されるため、著作権に関する表示を行う事も可能となる。
【００７０】
また、図１４に示す暗号情報７２は、（１１）暗号の有無，（１２）暗号方式を記載しておく事で、暗号化された機密性の高い情報なのか、コマーシャル等の機密性の無い情報なのか伝送先の機器へ送付する事ができる。
【００７１】
また、図１４に示す３Ｄ映像情報７３は、（１３）３Ｄ映像対応の有無，（１４）全２Ｄ映像対応かどうか（２Ｄ映像表示のみで最後まで再生できるかどうか？），（１５）３Ｄ映像対応の場合、３Ｄ映像再生が優先かどうかを記載する事で、３Ｄ映像対応でないＴＶと接続した場合には非対応である事をユーザに表示させる事ができるようになる。また、ＴＶとＨＤＭＩでリンク接続している場合は、ＴＶ側を自動的に３Ｄ映像設定に切り替えたり（例えば、図１から図３に示すように自動的に２映像ストリームをフィールド毎に表示させる）、ＴＶ側に３Ｄ映像機能が無い場合は、ＴＶや再生装置側でＴＶが未対応と表示させたり、ディスクを吐き出す等の処置を行う事ができる。
【００７２】
また、図１４に示す有効地域７４は、（１６）２Ｄ映像の再生許可地域，（１７）３Ｄ映像の再生許可地域を記述する事で、本ディスクの再生許可地域を限定するだけではなく、２Ｄ映像のみ許可し３Ｄ映像対応の表示を許可する地域を限定して指定する事もできる。これは、３Ｄ映像再生に関するライセンス条件が整っていない場合に、特定の地域で２Ｄ映像再生のみを許可するケースが生じるからである。３Ｄ映像の再生許可地域が許可されていない地域であれば、３Ｄ映像表示装置と接続してあっても２Ｄ映像のみの再生となったり、ディスクを吐き出す等の処置が行われる事となる。
【００７３】
次に、図１５に示すタイムコード情報６５について説明する。２Ｄ映像と３Ｄ映像とが混在する映像コンテンツにおいては、ユーザによって途中の切換え（例えば３Ｄ映像から２Ｄ映像）が発生した場合でも、映像情報の流れを途切れたり省略したりする事なく連続的に再生させなければならない。また、ユーザの指示から例えば１０分前に戻る・進む等のタイムサーチが発生する場合がある。そのためＧＯＰ映像情報群の先頭には以下に示す、その映像のタイトル開始時点からの再生時間情報であるプレゼンテーションタイム６５Ａを記録しておく必要がある。なお、タイトル再生終了までの残り時間情報もしくはタイトル再生全時間を記載しておく事でＴＶ側で残時間表示等を行う事が可能となる。
【００７４】
また、３Ｄ映像は実施の形態１で説明した目の疲れ等を誘発しやすいため、３Ｄ映像再生開始からのタイムコード（連続してどれだけの３Ｄ映像を視聴したか）や、本映像コンテンツのトータルでどれだけの３Ｄ映像を視聴したかについて表示し、目の疲れを防ぐための休憩の指示や危険表示を行う事ができる。また、３Ｄ映像における右目・左目それぞれのＧＯＰ映像情報があった場合、その再生順序に対応するフィールド指定を行う事が可能となる。つまり、プレゼンテーションタイム６５Ａには、（１８）タイトル開始時点からのタイムコード（プレゼンテーションタイム），（１９）タイトル再生終了までの残り時間情報もしくはタイトル再生全時間，（２０）３Ｄ映像再生開始からのタイムコード（３Ｄプレゼンテーションタイム），（２３）トータル３Ｄ再生時間，（２４）左右映像の再生順もしくはフィールド指定を記載しておく。また、同期情報６５Ｂは、映像コンテンツの同期を規定し左右映像の再生順もしくはフィールドを指定して行う。
【００７５】
次に、図１６に示す配置情報６６について説明する。特に２Ｄ映像コンテンツと３Ｄ映像コンテンツとが混在する場合、再生に不要な情報を飛ばしたり、必要なデータの先頭位置にＧＯＰ映像情報群における配置情報の記述が必要となる。また、特殊再生動作を行う場合はＭＰＥＧ等の時間軸方向の圧縮映像の特性からまず面内圧縮画像からアクセスが必要となる点も配慮しなければならない。そのため、シームレス情報７５には、（２５）シームレス再生の有無（次のＧＯＰ映像情報群までの）が記録される。また、ジャンプ先情報７６には、（２６）ジャンプ先（正方向と逆方向）アドレス１、アドレス２等，（２７）ジャンプ先のタイムコード情報１、タイムコード情報２等（複数のジャンプ先情報をテーブル情報として有する），（２８）ジャンプ先の３Ｄ映像情報有無が記録される。なお、（２８）ジャンプ先の３Ｄ映像情報有無の情報に基づきジャンプ先に３Ｄ映像情報が無い場合、ストリーム再生中にＴＶの設定を２Ｄ映像に戻すことができる。
【００７６】
アングル情報７７には、（２９）複数のアングルに対応したＧＯＰ映像情報のアドレス１、アドレス２等，（３０）複数のアングルに対応したＧＯＰ映像情報のタイムコード情報１、タイムコード情報２等が記録される。ＧＯＰ内配置情報７８には、（３１）各ＧＯＰ内のＰピクチャの配置情報としてのアドレス情報１、アドレス情報２等が記録されることになる。以上のように、シームレス情報７５を有することにより、必要なアングルをつなぎながら順次再生する事も可能になるほか、ＧＯＰ内の配置情報によりＩピクチャのみを再生したり、ＩとＰピクチャのみを再生する事による早送りや早戻し際再生が可能となる。
【００７７】
次に、図１７に示す映像情報６７について説明する。映像情報６７において立体映像情報として特に必要となるものを以下に示す。まず、解像度情報７９には、（３２）２Ｄ映像再生の場合の解像度（面内方向）、ＰｉｎＰ画像の解像度（面内方向），（３３）３Ｄ再生時の解像度（面内方向）を記憶する。３Ｄ映像有無方式８５には、（３４）３Ｄの有無，（３５）３Ｄ映像方式指定（倍スキャンレート指定，偏光メガネありなし，液晶シャッタありなし）が記録される。３Ｄフレームレート８６には、（３６）２Ｄ映像再生時のフレームレート、３Ｄ映像再生時のフレームレートが記録される。
【００７８】
３Ｄ映像情報数８７には、（３７）平行して再生される独立した３Ｄ映像情報ストリーム数が記録される。なお、別々のアングルがｎ本ある場合は、ｎ＝アングル番号と記載される。本情報に基づき、再生中にアングル数を表示し、ユーザからの選択によるアングルの切換えとともに、アングル番号の表示による認識を行わせる事が可能となる。３Ｄ映像情報数８７には、（３８）左右映像を順次切換える場合の３Ｄ映像ストリーム数とカメラ情報も記録される。例えば、図１９（ａ）に示すように、５本の視差分だけずれたカメラＤ〜Ｈを用いて映像を撮影、もしくは、アニメ画像等をＣＧによって５本の視差映像情報にして記録した場合、これらの本数と、各カメラの間隔もしくは角度を記載する。付帯情報の記載一例としては、総合情報−映像本数５−カメラ間隔＊＊ｍｍ，カメラＤによる映像１−角度１，カメラＥによる映像２−角度２，カメラＦによる映像３−角度３，カメラＧによる映像４−角度４，カメラＨによる映像５−角度５となる。
【００７９】
視差分だけずれた映像が５本あった場合、実際のアングル映像としては、アングルＤは映像１が左、映像２が右，アングルＥは映像２が左、映像３が右，アングルＦは映像３が左、映像４が右，アングルＧは映像４が左、映像５が右と５本の視差映像情報で、図１９（ｂ）に示すように少しずつアングルの異なる４つの立体アングル映像を再生する事ができる。このとき順次アングル情報をずらす事で映像を回転させたりする事も可能である。従って、各映像ストリームが１つのアングル情報を指すのではなく、隣接する視差角を持った映像との組み合わせで新たなアングル情報が構築できる。近年、ＣＧ技術の進化により、アニメーション映像では容易に立体映像を作る事が可能となっており、このような複数アングルの視差情報を準備し、ユーザからのリモコンの指定によりおのおのにアクセスする事で、アングルずらしによる視点変更も可能になる。
【００８０】
奥行き解像度８８には、（３９）３Ｄ映像における奥行き解像度１、解像度２等が記録される。なお、３Ｄ映像ストリームが複数本あった場合、複数本奥行き方向解像度を記載する。例えば、ＣＧ映像等により極端に奥行き解像度が低く、時間的にもカクカク動くような場合は、本情報に基づき、時間方向に奥行きを補完して、なめらかに表示させる事も可能になる。奥行き変化度８９には、（４０）３Ｄ映像における奥行き変化度１、変化度２等が記録される。なお、３Ｄ映像ストリームが複数本あった場合、複数本奥行き方向変化度を記載する。特に、変化度については実施の形態１に示すような人間の目の疲れに関連するため、安全性を確保するために、記載しておき、ユーザへの警告や休憩指示等に用いる事ができる。
【００８１】
字幕許可奥行き９０には、（４１）字幕許可奥行き範囲（最大視野角１、最小視野角１、最大視野角２、最小視野角２等）が記録される。なお、３Ｄ映像ストリームが複数本あった場合、複数本奥行き方向変化度を記載する。字幕情報については、後述する立体映像視聴の際に、字幕焦点位置と注目点とで焦点を頻繁に合わせる必要がある事から、目の疲れに影響しやすく、表示範囲を十分限定しておくことが必要となる。また、奥行き情報の記載は、実距離にした場合、遠い方が無限遠になるため数値化しづらく、視野角情報で記載する事が望ましい。また、無限遠に近い場合は詳細数値を記載する事に意味をなさないため、例えば視野角１ｄｅｇ以下は省略する等の下限を設けても良い。プレーヤではこれら情報に基づいて、ＯＳＤの表示における字幕の奥行き位置を設定する。
【００８２】
奥行き制限１００には、（４２）奥行き制限（最大視野角１、最大視野角２等）が記録される。あまり近くに飛び出してくる立体映像においては、心理的な効果からびっくりする等の感覚を与える。そのため、字幕ではなく立体映像そのものの飛び出し量を制限し、目にやさしい効果や、あまりびっくりさせないような配慮を行う。この場合プレーヤでは、図１７に示すように映像コンテンツで予め飛び出しの最大量となる視野角を記録しておく事により、図１８のように小さなお子さま等の視聴者に警告したり視聴制限させる事が可能となる。
【００８３】
視差量制限１０１には、（４３）視差量制限（撮影時の最大視野角１、最小視野角１、最大視野角２、最小視野角２等）を記載する。なお、３Ｄ映像ストリームが複数本あった場合、複数本奥行き方向変化度を記載する。本情報は撮影時の２つのカメラの距離である視差基準量は人の目の間隔によって異なるため、この基準角度のずれ量の範囲を規定したものである。これにより両目の間隔の小さな子供等が視聴した場合の違和感を予め把握する事ができる。
【００８４】
このように、違和感の解消のために、同一映像コンテンツにおいて視差基準量の異なる複数立体映像を用意し、視聴者の目の間隔に合わせて選択する方法等も考えられる。複数の視差基準量については、近年ＣＧ技術が革新し、アニメーション映像等においてはコンピュータにより容易に変更できるようになっている。この場合、このような視差量制限情報を付帯情報に記載することによって、プレーヤでは図１８に示すように＊＊才〜＊＊才、大人等の選択キーを用意し、これを選択する事で元の映像コンテンツにおける視差基準量を視聴者にあわせて、正確な立体視聴が可能となる。また、視差のずれた映像を長時間見る事による目の疲れ等も回避できる。さらに、パレンタル８２においては、通常の平面映像２Ｄパレンタルレベル以外に３Ｄ映像対応した立体映像パレンタルレベルが規定される。パレンタル８２には、（４４Ａ）平面映像パレンタルレベル（現行ＤＶＤ等と同等のパレンタル表記），（４４Ｂ）立体映像パレンタルレベル（実施の形態１にて説明した立体映像パレンタルレベル）とを記録する。
【００８５】
また、図２０に示すようにＯＳＤ情報６９には、まずＯＳＤ自体の付帯情報となる配置情報６９Ａと、ＯＳＤそのものの情報が格納されているアドレスを記載したＯＳＤ情報格納先６９Ｂとを記録する。ＯＳＤ表示６９には、まずこの付帯情報を取り込みマイコン等で理解した上で、この格納先情報により実際のＯＳＤを取得し表示させる事となる。
【００８６】
ここで、字体の大きさ等の情報６９Ｃには、（４５）字体フォント、字体大きさを記録する。面内配置情報６９Ｄには、（４６）字体の配置情報（Ｘ位置、Ｙ位置）を記録する。
【００８７】
奥行き方向ＯＳＤ配置情報６９Ｅには、（４７）奥行き位置６９Ｆ，（４８）奥行き許可制限６９Ｇ（遠方制限位置、手前制限位置、奥行き変化量制限等の実施の形態１における目の疲れを軽減するための制限），（４９）奥行きズーミング速度６９Ｈ（ズーミングありなし、ズーミング速度）が記録される。なお、奥行きズーミング速度６９Ｈでズーミングを規定する事により、ある字幕から次の字幕に切りかわる際に、瞬時に奥行き位置を変化させるのではなく、すこしずつズームするように変化させ、目の疲れを軽減させるためのものである。
【００８８】
なお、上記（１）から（４３）までの３Ｄ映像情報における付帯情報は、映像情報ストリームに重畳されたものとして、映像情報とともに配信されるが、以下に述べる映像情報そのものとは別の領域に記載された映像制御情報２３にも同様な記載を行う事ができる。また、プレーヤ起動時の最初にすべての情報を読み込めるため、各種初期設定を行う事が可能である他、ビットレートやメモリの制限にかかる事なく映像情報に重畳するよりも多くの情報を記述できるため、より詳細な制御情報を記述する事が可能である。
【００８９】
次に、記録媒体のある領域に映像情報とは別に配置されている制御情報の構造について説明する。図２１は、まとめて配置されている映像制御情報２３のＧＯＰテーブル部分とその中の映像関連情報について詳細に説明するための図である。図２１に示す映像制御情報２３は、コンテンツ情報６４、著作権７１、暗号情報７２、３Ｄ映像の有無７３、有効地域情報７４、ＧＯＰテーブル情報１０２、シーケンス情報１０３、メニュー情報１０４、メニューのＯＳＤデータ１０５を備えている。そして、ＧＯＰテーブル情報１０２は、図２１に示すように表形式となっており、ＧＯＰ番号、論理アドレス、タイムコード、シーケンス、配置、映像、音声、ＯＳＤの各欄が設けられている。
【００９０】
図２１では、特に映像欄の構成が図示されており、解像度情報７９、フレームレート情報８０、３Ｄ映像情報８１、パレンタル情報８２、アングル情報８３、暗号情報８４で構成されている。さらに、図２１では、３Ｄ映像情報８１が３Ｄ映像方式及び有無に関する情報８５、３Ｄ映像フレームレートに関する情報８６、３Ｄ映像情報数８７、奥行き解像度に関する情報８８、奥行き変化度に関する情報８９、字幕許可の奥行きに関する情報９０、奥行き制限に関する情報１００、視差量制限に関する情報１０１で構成されていることが図示されている。
【００９１】
また、図２２も、まとめて配置されている映像制御情報２３のＧＯＰテーブル部分とその中の映像関連情報について詳細に説明するための図である。図２２では、特にＯＳＤ欄の構成が図示されており、字幕の有無１０６とＯＳＤ情報６９とで構成されている。ＯＳＤ情報６９は、ＯＳＤ配置情報６９Ａ、ＯＳＤ格納先の情報６９Ｂで構成され、ＯＳＤ配置情報６９Ａは、フォントや字体の大きさ指定６９Ｃ、面内のＯＳＤ配置情報６９Ｄ、奥行き方向のＯＳＤ配置情報６９Ｅで構成され、奥行き方向のＯＳＤ配置情報６９Ｅは、奥行き位置６９Ｆ、奥行き許可制限６９Ｇ、奥行きズーミング速度６９Ｈで構成されている。
【００９２】
また、図２３は、記録媒体のある領域に映像情報とは別にまとめて配置されている映像制御情報のシーケンス情報の構造について説明したもので、シーケンス情報１０３が表形式で記録されていることを示している。図２３の映像欄には、解像度情報７９、フレームレート情報８０、アングル情報８３、３Ｄ映像情報８１、パレンタル情報８２が記録されている。なお、３Ｄ映像情報８１は、３Ｄ映像方式及び有無に関する情報８５、３Ｄ映像フレームレートに関する情報８６、３Ｄ映像情報数８７、奥行き制限に関する情報１００、視差量制限に関する情報１０１で構成されている。一方、図２３のＯＳＤ欄には、字幕の有無１０６、字幕フォント・色１０７、字幕表示方法１０８、字幕表示奥行制限１０９、字幕データアドレス１１０とが記録されている。
【００９３】
記録媒体のある領域に映像情報とは別に配置されている制御情報については、映像情報ストリーム上に重畳された付帯情報３４、５１の情報を含めてすべての情報が記載されている。これはプレーヤ・レコーダの立ち上げ時にまず制御情報を読みこみ、各種初期設定を行うためである。
【００９４】
まず、映像制御情報２３は図２１のように記載されており、図１４の映像情報中に重畳された付帯情報５１と同じくコンテンツ情報６４、タイムコード６５、配置情報６６、映像情報に関する情報６７、音声情報に関する情報６８、ＯＳＤ情報に関する情報６９を含んでいる。しかしながら、より多くの情報を格納できる映像制御情報２３においては、ＧＯＰテーブル１０２といった全ＧＯＰに関するテーブル情報を記載する事ができ、映像再生しなくてもＧＯＰ映像情報単位での情報内容を把握する事が可能となる。ここでＧＯＰテーブル１０２は図２１中の表のように記載され、論理アドレスがある事から、所定のセクタ領域から読み出された信号から上記データ・ファイル識別情報を検出し、検出された上記データ・ファイル識別情報にもとづいて、上記位置識別信号によって示された位置にある上記符号化単位に対応した上記データ・ファイルがディスク媒体上に記録されている位置を識別する。識別された上記ディスク媒体上の位置にもとづいて上記データ・ファイルを読み出し、読み出された上記データ・ファイルに含まれる上記符号化単位で符号化された信号を復号化して画像信号を再生する事ができる。これにより、所望の時点にある符号化単位が記録されている位置を容易にしかも即座に特定して再生することを可能にする。
【００９５】
また、上記ＧＯＰテーブル１０２においては映像に関する付帯情報において３Ｄ映像情報を含み上記（３２）〜（４３）の映像ストリーム中に記述された項目と同じ項目の付帯情報をＧＯＰ映像情報毎に記述する事が可能となる。また、字幕情報に関しても、図２３に示すように字幕の有無１０６、字幕フォント・色１０７、字幕表示方法１０８、字幕表示奥行制限１０９、字幕データアドレス１１０を記述する事で（４４）〜（４９）に示す情報と同様な情報をＧＯＰ映像情報単位に字幕の付帯情報を記載可能となる。
【００９６】
また、上記映像制御情報２３には図２３に示すようにＧＯＰ映像情報単位のシーケンス情報を記載する事も可能である。これにより再生開始時に、データ・ファイルの再生順序を示す情報が記録された所定のセクタ領域のセクタ・アドレスを生成し、データ読み出し手段によって読み出されたデータから再生順序情報を読む事によって再生順序情報が検出され、その後再生順序情報にもとづいてセクタ・アドレスを生成する。これにより、記録媒体上に分散したセクタに記録された画像信号も再生することが可能となっている。このようなシーケンステーブル情報にも上記（３２）〜（４９）に示す付帯情報を記載することが可能となる。
【００９７】
（実施の形態３）
次に、本実施の形態３について以下に説明する。図２４は、本実施の形態３に係る立体映像記録装置のブロック図である。図２４に示す立体映像記録装置は、視差情報を利用した立体映像の右目映像と左目映像のそれぞれの映像信号をディジタル化するためのＡＤコンバータ１４６と、時間方向に画像圧縮するために必要な動きベクトル検出（動き検出）１４７と、面内圧縮に必要なＤＣＴ変換回路１４８と、面内圧縮に必要な適応量子化回路１４９、ローカルデコーダにおける逆量子化回路１５０とを備えている。さらに、図２４に示す立体映像記録装置は、面内圧縮に必要な可変長符号化回路１５１と、ローカルデコーダにおけるＤＣＴ逆変換回路１５２と、ローカルデコーダにおけるフレームメモリ１５３と、圧縮後のデータを格納するバッファメモリ１５４と、ＯＳＤ情報のエンコーダ１５５と、音声エンコーダ１５６と、フォーマットエンコーダ１５７と、光ディスク１６５に書き込む信号を生成するための変調手段１５８と、ＬＤ変調回路１５９とを備えている。さらに、図２４に示す立体映像記録装置は、光ディスク１６５に記録するアドレスを抽出するためのアドレスヘッダ認識回路１６０と、光ヘッド１６４からの信号を再生するための再生アンプ１６１と、光ヘッド１６４や送りモータ１６３や回転モータ１６６を制御するためのサーボ回路１６２と、装置全体のシーケンスを制御管理するためのシステムコントローラ１６７とを備えている。
【００９８】
また、図２５は、図２４の立体映像記録装置に基づいて生成した立体映像信号のストリーム構造を示した図である。図２５に示す立体映像信号のストリーム構造は、付帯情報５１以降に、右目映像のＧＯＰ１６８、左目映像のＧＯＰ１６９、情報に関する情報６８、ＯＳＤ情報６９の構成が順に繰り返す構造である。また、図２５に示す右目映像のＧＯＰ１６８は、ＧＯＰヘッダ１７０、ピクチャヘッダ１７１，１７３、Ｉピクチャデータ１７２、Ｂピクチャデータ１７４で構成されている。さらに、図２５に示すＧＯＰヘッダ１７０は、ＧＯＰヘッダ１７０内にあるユーザデータスタートコード１７５、ＧＯＰヘッダ１７０内にある３Ｄ映像情報１７６で構成されている。さらに、図２５に示す３Ｄ映像情報１７６は、左目映像か右目映像かを記載した情報１７７、３Ｄ映像方式及び有無に関する情報８５、３Ｄ映像フレームレートに関する情報８６、３Ｄ映像情報数８７、奥行き制限に関する情報１００、視差量制限に関する情報１０１で構成されている。
【００９９】
また、図２６は、図２４の立体映像記録装置に基づいて生成した立体映像信号のストリーム構造において下位の構造部分を図示したものである。図２６では、右目映像のＧＯＰ１６８のトランスポートストリームパケット１７８〜１８２で示しており、左目映像のＧＯＰ１６９のトランスポートストリームパケット１８５〜１８８で示している。ＧＯＰ映像情報の最後のデータが記述されたトランスポートパケット１８２，１８８の最後のデータがそれぞれデータ１８３，１８９であり、データ１８３，１８９のそれぞれにパディング処理された部分１８４，１９０が付加されている。
【０１００】
ここで、図２４に示す立体映像記録装置は、左目と右目のそれぞれで同じ映像圧縮を行うようにしたものであり、ＡＤコンバータ１４６でディジタル化された右目映像は動き検出１４７の処理によって各映像マクロブロック単位での動きベクトルが抽出される。また、映像データの最初は面内符号化処理されているため、ＤＣＴ変換回路１４８にてＤＣＴ変換した後、適応量子化回路１４９で量子化され、可変長符号化回路１５１にて可変長符号化してバッファメモリへと送付される。この時、適応量子化後の映像データは逆量子化回路１５０、ＤＣＴ逆変換回路１５２によるローカルデコーダによって元の映像信号が復元され、さらにフレームメモリ１５３にて動き補償した映像と比較する事で、以降の時間軸方向の圧縮を行う画面において差分情報のみを使用して圧縮していく事が可能となっている。このような圧縮方式はＭＰＥＧやＨ．２６４等の圧縮方法において基本的な方式となっており広く用いられているものである。
【０１０１】
ここで、図２４では右目映像と左目映像とをそれぞれ独立した映像ストリームとして入力し、それぞれ別々のエンコードブロックにてエンコードされる。そのため図２４では右目及び左目が同じブロックをそれぞれ並列に配した構造となっている。ただし、入力部分にメモリを配置し、一旦左目映像と右目映像とを蓄積した上で、同じエンコード回路を倍の速度で処理し、１つのエンコードブロックで同様に処理を行う事も可能である。これらエンコードされた立体映像情報は、バッファメモリ１５４でＯＳＤエンコーダ１５５からのＯＳＤ情報、音声エンコーダ１５６からの音声情報、フォーマットエンコーダ１５７からのフォーマットに必要な付帯情報を追記し、記録媒体である光ディスク１６５に記録するデータ形式に整えられる。ここで、フォーマットエンコーダ１５７は、従来の光ディスクフォーマットに必要とされるＮａｖｉ情報やメニュー情報に加えて、本発明に係る３Ｄ映像情報の記録に必要な付帯情報も追記する。
【０１０２】
なお、光ディスクに記録される形式の映像データは、変調手段１５８で光ディスク１６５に物理的に書き込むための情報として誤り訂正符号を付加するとともに変調処理され、ＬＤ変調回路１５９にて光ヘッド１６４に搭載されたレーザを変調させるための信号を生成する。この際、光ディスク１６５に安定的に記録させるためのサーボ回路１６２によって、光ヘッド１６４を移動させる送りモータ１６３やディスク１６５を回転させる回転モータ１６６や光ヘッド１６４内の対物レンズアクチュエータを制御しトラックあわせや焦点あわせを行っている。また記録時には光ディスク１６５上のアドレスを読み込む必要があり、光ヘッドにて受光した信号を光電変換した微小信号を再生アンプ１６１で再生し、アドレスヘッダ認識回路１６０でアドレス情報を生成する。これらアドレス情報はシステムコントローラ１６７で各ブロックの起動設定とあわせシーケンス処理され、特に高速なタイミングが必要とられる書き込みタイミング処理等は専用のハードウェアで行われ、プログラミングが必要なシーケンス設定部分はＣＰＵ等で行われる。
【０１０３】
ここで、立体映像記録装置によって生成される映像ストリームは、図２５に示す構造となる。まずＭＰＥＧ等の時間軸方向の圧縮映像を含む圧縮映像データは一般的にＧＯＰと呼ばれる面内圧縮符号映像を含む。例えば１５ピクチャ単位程度の映像ブロックとして構成される。ここでは視差情報を利用した右目映像ブロックと左目映像ブロックとの２つあるため、付帯情報５１を先頭とし右目映像のＧＯＰ１６８と左目映像のＧＯＰ１６９とがシーケンシャルに配置させる。なお、右目映像及び左目映像がそれぞれ１ＧＯＰの例を示しているが、映像条件が変わらない範囲で同一ＧＯＰ数であれば複数個のＧＯＰから構成してもよい。また、付帯情報５１については実施の形態２で説明した通りであるが、ここではさらにＧＯＰヘッダ部分に新たなユーザデータスタートコードを定義し、その後ろに３Ｄ映像情報１７６を記載する事も可能である。
【０１０４】
まず、３Ｄ映像情報１７６には左目映像か右目映像かを識別するための情報（フラグでもよい）１７７を配置するとともに、実施の形態２にて説明した３Ｄ映像方式の有無８５や、３Ｄ映像フレームレート８６、３Ｄ映像情報８７、奥行き情報１００、視差量制限情報１０１を記録する。また、図２６に示すように付帯情報５１は、トランスポートパケットのレイヤにおいてプライベートパケット（ＴＳＰ１）１７８を設け、これをトランスポートデコーダの部分で分離抽出する事になる。図２５のように構成する事でＭＰＥＧデータの階層レベルでも同じ３Ｄ情報を抽出する事が可能となる。これらは再生装置とＴＶがリンク接続され自動的に３Ｄ映像設定する場合や、映像再生中にＴＶを切り替えたりする場合に、ＴＶ側にトランスポートデコーダでの付帯情報抽出設定が有効であれば付帯情報５１が有効になるし、ＭＰＥＧレイヤでの立体映像付帯情報が有効であれば３Ｄ映像情報１７６が有効になってくる。
【０１０５】
また、図２５の映像ストリームはＭＰＥＧ情報レイヤの単位で記載したものであるが、もう１段下のトランスポートパケットの単位で記述したものが図２６である。図２６において、右目及び左目映像のＧＯＰ１６８，１６９のブロック単位での映像データは、トランスポートパケット１７８の先頭からスタートしＧＯＰ映像情報の終端では必ずしもトランスポートパケットの整数倍のデータには収まらないため、最終のトランスポートパケット１８２内の残りをパディングし、最終データ１８３に対しパディングデータ１８４で情報を埋める処理を行う。これによりトランスポートパケット１７９からトランスポートパケット１８２までを取り出すことにより右目映像のＧＯＰ１６８のみを抽出する事が可能となる。左目映像のＧＯＰ１６９においても右目と同様な処理が行われ、トランスポートパケット１８５を先頭に、パディングデータ１９０を含むトランスポートパケット１８８までを抽出する事により左目映像のみを取り出す事が可能となる。
【０１０６】
なお、図２４の立体映像記録装置においては、左目映像と右目映像とをそのままエンコードしていたが、左目映像と右目映像とは基本的には視差分だけずれた映像情報であり相関性が非常に高いものであるから、例えば左目映像については右目映像からの差分情報のみを記録するように構成すれば、全体の情報量も圧縮が可能である。そのための立体映像記録装置のブロック図を図２７に示す。図２７に示す立体映像記録装置は、右目映像のブロック部分を主映像として図２４で示した映像圧縮のブロック構成と同じ構成を採用している。しかし、左目映像においては、左目映像の動き検出１４７の出力を右目映像のフレームメモリ１５３の出力と差分を取り、左目映像と右目映像との差分情報のみを抽出する。この差分情報は、左目映像のラインにおけるＤＣＴ変換１４８及び適応量子化１４９の処理を経て、可変長符号化処理１５１を行う事で左目映像の差分情報のみをバッファメモリ１５４に記録させる。以降の光ディスクに書き込むまでの処理は図２４と同じである。なお、図２７に示す例では、右目映像を主映像とし、左目映像を差分をとる副映像としたが、左右が逆（左目映像が主映像で右目映像が差分をとる副映像）であっても良いことはいうまでもない。
【０１０７】
また、図２７に示す立体映像記録装置では、左目映像と右目映像との差分をとることで、片方の映像情報量をさらに圧縮する方法について述べたが、本映像情報が視差情報によるものである事からさらに情報圧縮をかける事が可能である。図２８（ａ），図２８（ｂ）に視差映像の原理を模式的に示した図である。図２８（ａ）では、奥行き位置１２６Ｍにある手前の映像物１２６Ｇと、奥行き位置１２６Ｌにある奥の映像物１２６Ｈ、両目１２６Ｆまでの奥行き位置（一番手前）１２６Ｎとし、映像物１２６Ｈの視野角１２６Ｄ、映像物１２６Ｇの視野角１２６Ｅとしている。また、図２８（ｂ）では、映像物１２６Ｇの左目映像１２６ＧＡ、映像物１２６Ｇの右目映像１２６ＧＢ、左目映像１２６ＧＡと右目映像１２６ＧＢとの視差量１２６Ｉ、左目映像と右目映像との同一画素点１２６Ｋとしている。さらに、図２７（ｂ）では、映像物１２６Ｈの左目映像１２６ＨＡ、映像物１２６Ｈの右目映像１２６ＨＢ、左目映像１２６ＨＡと右目映像１２６ＨＢとの視差量１２６Ｊ、左目映像と右目映像との同一画素点１２６Ｌとしている。
【０１０８】
図２９は、片方の映像をさらに圧縮する立体映像記録装置のブロック図である。図２９に示す立体映像記録装置は、左目映像と右目映像とからの視差量を演算するための視差情報演算回路１９１Ａと、奥行き方向の動き検出回路１９１Ｃと、推定視差情報生成回路１９１Ｄとを備えている。さらに、図２９に示す立体映像記録装置は、推定視差情報から元の左目映像を右目映像に変換するための逆視差演算処理回路１９１Ｂと、右目映像と逆視差演算処理回路１９１Ｂによって生成した右目映像とを比較した結果よりＤＣＴ変換するＤＣＴ変換回１９１Ｅと、適応量子化回路１９１Ｆと、可変長符号化１９１Ｇとを備えている。なお、視差情報演算回路１９１Ａから可変長符号化１９１Ｇまでが立体映像圧縮処理を行う部分である。
【０１０９】
また、図３０は、図２９の立体映像記録装置による圧縮方法での映像ストリームのエンコードとデコードを説明するための図である。図３０では、右目映像１９２Ａ〜１９２Ｇ、左目映像右目映像の視差情報演算値１９３、左目映像１９４Ａ〜１９４Ｇ、奥行き方向動きベクトル演算値１９６、推定視差情報１９７、右目主映像の圧縮映像１９５Ａ〜１９５Ｇが図示されている。さらに、図３０では、右目主映像の圧縮映像１９５Ａ〜１９５Ｇに基づく再生主映像１９８Ａ〜１９８Ｇ、再生主映像１９８Ａ〜１９８Ｇにそれぞれ対応する推定視差情報２０４〜２１０、再生副映像２１１〜２１７とが図示されている。また、図３１は、図２７もしくは図２９に示す立体映像記録装置による圧縮方法で生成された映像ストリーム構造を示した図である。図３１に示す映像ストリーム構造は、基本的に図２５と同じであるが、左目映像のＧＯＰ１６９に代えて差分映像情報２１８である点と、３Ｄ映像方式の有無８５にＧＯＰ映像情報か差分情報かの情報２１９が追加されている点とが異なる。また、図３２は、図２９に示す立体映像記録装置による圧縮方法で生成された映像ストリーム構造におけるトランスポートレベルの階層でのストリーム構造を示したものである。図３２は、基本的に図２６と同じであるが、左目映像のＧＯＰ１６９に代えて差分映像情報２１８である点が異なる。
【０１１０】
ここで、視差を利用した右目映像と左目映像とから立体方向を図示すると図２８（ａ）のようになる。図２８（ａ）では、両目１２６Ｆから見た視差角度が奥行きに応じて異なって見える。そのため、左右の視差映像となった場合は図２８（ｂ）のように手前の映像物１２６Ｇは大きく、左目映像１２６ＧＡと右目映像１２６ＧＢとが離れて見え、視差量１２６Ｉも大きくなる。一方、遠方にある映像物１２６Ｈは小さく、左目映像１２６ＨＡと右目映像１２６ＨＢとが離れて見え、視差量１２６Ｊも小さくなる。
【０１１１】
そのため、視差量（１２６Ｉもしくは１２６Ｊ）又は視差角情報（１２６Ｄもしくは１２６Ｅ）の情報があれば、図２８（ｂ）のように左目映像から右目映像を推定（視差情報変換による映像生成）する（１２６Ｋ及び１２６Ｌ）事が可能である。この条件としては、見る角度によって輝度や色が変わらない事が前提となるため、角度による映像の回り込みや影等の変化については本推定では推定できない情報となる。
【０１１２】
ここで、図２９に示す立体映像記録装置では、左目映像及び右目映像の動き検出ブロック１４７から得られる映像物の面内位置情報から視差角を抽出し、視差情報演算回路１９１Ａによってマクロブロック単位もしくは画素単位での視差情報を演算する。さらに、時間軸方向での圧縮を行うため奥行き方向動き検出回路１９１Ｃにおいて、画面単位での奥行き方向の動きベクトルを抽出する。推定視差情報生成回路１９１Ｄでは、この奥行き方向の動き情報と視差情報をもって推定視差情報として生成する。また、上述したように片方の映像（ここでは右目映像として説明）情報から視差情報だけで逆側（ここでは左目映像として説明）の映像を完全に再現できるわけではなく、画像の回り込みによる変化（隠れた部分が見えてくる等）等については推定できない情報として残ってしまう。
【０１１３】
そのため、図２９に示す立体映像記録装置では、立体映像圧縮において推定視差情報から逆視差演算処理回路１９１Ｂによってまず不完全ながら逆側（ここでは左目映像として説明）の映像を視差情報を利用しローカルデコード再現し、これと実際に撮影した逆側の映像を圧縮処理したもの（ローカルデコーダにおけるフレームメモリ１５３上の映像）との差分をとる。この差分をとった情報が上述した画像の回り込みによる変化した再現できない部分の情報であり、視差情報を利用した圧縮ストリームにおいても視差情報で完全に再現できない部分をカバーする事ができる。また、図示していないが、奥行き方向の動きベクトルを抽出した場合、さらに視差の変化量も情報として利用するため、通常の情報圧縮のローカルデコーダと同じく、逆量子化回路とＤＣＴ逆変換回路、フレームメモリを用い、奥行き方向の動きベクトルから元の映像をローカルデコーダにより再現し再比較する事で、奥行き方向の動きベクトルを利用し圧縮効率をアップさせる事ができるようになる。
【０１１４】
ここで、画面単位での映像データは図３０のように示される。図３０にある右目カメラから右目主映像１９２Ａ〜１９２Ｇ、左目カメラから左目副映像１９４Ａ〜１９４Ｇが取り出される。ここで、図２９の視差情報演算回路１９１Ａにより、右目主映像１９２Ａ〜１９２Ｇと左目副映像１９４Ａ〜１９４Ｇとから視差情報１９３が演算される。また、奥行き方向の動きベクトル演算１９１Ｃは、視差情報１９３の画面単位での変化から奥行き方向動きベクトル演算値１９６が抽出され推定視差情報１９７として生成される。この推定視差情報１９７自体は、画像のマクロブロック単位であったり画素単位であってもよい。
【０１１５】
一方、映像の再生時には、右目主映像１９２Ａ〜１９２Ｇは映像圧縮により符号化され右目主映像の圧縮映像１９５Ａ〜１９５Ｇとなっている。具体的に右目主映像の圧縮映像は、面内圧縮映像のＩピクチャ１９５Ａと、面内動きベクトルを用いた時間方向の圧縮を行ったＰピクチャ１９５Ｄ及び１９５Ｇと、Ｂピクチャ１９５Ｂ，１９５Ｃ，１９５Ｅ，１９５Ｆから構成されている。この右目主映像の圧縮映像は、通常の圧縮映像伸張回路により再生主映像１９８Ａ〜１９８Ｇとして右目映像に再現される。そして、それぞれの再生主映像（右目映像）１９８Ａ〜１９８Ｇと、画面毎の推定視差情報２０４〜２１０と、画面毎の差分情報を逆量子化し逆ＤＣＴ変換した情報とで再生副映像（左目映像）２１１〜２１７が復元される。ここで、差分情報からの復元映像部分は、画像の回りこみ等推定視差情報では再現できない部分を補完する役割を担っている。
【０１１６】
図２９又は図２７に示す立体映像記録装置での圧縮映像を用いた映像ストリームは、図３１のように示され、あくまでもＧＯＰ映像情報単位のデータとして単位化される。これは右目映像が元々ＧＯＰ映像情報単位で単位化されており、左目の差分圧縮データもこの右目映像を利用する関係で画像の単位化レベルを合わせこむ必要があるからである。ここでは右目映像のＧＯＰ１６８内のＧＯＰヘッダ１７０において、図２５で説明したような立体映像に関する付帯情報が付加される。ただし、左目映像に関し図２９に示した推定視差情報１９７を用いた圧縮情報なのか、図２７に示した差分圧縮情報なのか、図２４に示した立体映像としての圧縮は行わない方式であるか等の識別情報を図３１に示すように３Ｄ映像方式の有無８５にＧＯＰ映像情報か差分情報かの情報２１９を記述しておく必要がある。また、トランスポートパケットのレベルでストリーム構造を見た場合、図３２のように示され、図２６と同様にＧＯＰ映像データの終端部分はトランスポートパケット内でパディングさせるほか、立体方向の圧縮映像データであっても終端部分はトランスポートパケット内でパディングさせる。なお、上述は右目映像が主映像、左目映像が立体方向に圧縮をかけた副映像としているが、逆であってもまったく問題なく、右目映像が主映像で左目映像が副映像、左目映像が主映像で右映像が副映像と混在した映像ストリームであってもよい。ただし、規格上混在を許可させる場合は、どちらの映像が主映像でどちらが副映像であるかの識別情報の記述が必要となる。
【０１１７】
また、左目及び右目の立体映像をもっと簡便に映像ストリーム化することも可能である。例えば、図３３に示す立体映像記録装置は、簡便に映像ストリーム化する画像構成処理部である合成回路２２０を備えている。また、図３４は、図３３に示す立体映像記録装置における映像ストリームの構造を示したもので、左目又は右目映像のＧＯＰ２２１が１つのＧＯＰ映像情報単位となっている。また、図３５は、図３３に示す立体映像記録装置における映像ストリームのトランスポートパケットレベル階層での構造を示したものである。
【０１１８】
ここで、入力される左目及び右目の視差映像は一旦合成回路２２０に入力され、図３３に示すように１つの画面内に縦長の２つの画面として挿入される。この際、各映像の画素は単に映像ラインで間引かれるのではなく、フィルタ処理を施され水平方向に圧縮された後、左目右目映像に合成される。このように各画面は縦長の２枚の左目映像と右目映像とで構成されることになるが、以降は通常の画像圧縮処理の方法を用いてストリーム生成される。この場合でも図３４に示す映像ストリームにおいては付帯情報５１もしくはＧＯＰヘッダ１７０内の３Ｄ情報領域１７６において、水平方向に圧縮された映像情報である事が記述され、通常のＴＶでそのまま再生されないようにする事が必要である。また、図３４に示す映像ストリーム構造を採用する場合でも、トランスポートパケットのレベルにおいては図２６や図３２と同様に、ＧＯＰ映像情報の終端におけるトランスポートパケットの最終データ１８３に対しパディングデータ１８４で情報を埋める処理を行う。なお、本発明では光ディスクに記録された立体映像記録装置や立体映像記録方法について記載したが、記録媒体としてハードディスクであってもまったく同様の効果が得られることはいうまでもない。
【０１１９】
（実施の形態４）
次に、本実施の形態４について、図に従い以下に説明する。実施の形態３においては、立体映像記録装置について説明したが、本実施の形態では立体映像再生装置について説明する。図３６は、本実施の形態に係る立体映像再生装置のブロック図である。図３６に示す立体映像再生装置では、復調訂正回路２２２と、アドレスヘッダ認識回路２２３、光ディスクドライブ部分と映像音声処理部分であるバックエンドとを接続するためのＩＦ（インターフェイス）２２４と、光ディスクドライブ部分からのデータを一旦蓄えるためのデータバッファ２２５とを備えている。また、図３６に示す立体映像再生装置では、映像音声データ等のストリームを分離するためのシステムデコーダ２２６と、圧縮映像を伸張するためのＭＰＥＧ，Ｈ２６４デコーダ２２７と、オーディオデコーダ２２８と、字幕表等のためのＯＳＤデコーダ２２９と、ＯＳＤ情報の奥行き生成回路２２９Ａとを備えている。さらに、図３６に示す立体映像再生装置では、３Ｄ映像処理回路２３０と、映像にＯＳＤ情報をかぶせるためのブレンディング処理回路２２９Ｂと、外部との汎用ＩＦ２３１と、右目専用ＩＦ２３２と、左目専用ＩＦ２３３と、バッファ回路２３４と、バックエンド全体のシステムコントローラ２３５とを備える。
【０１２０】
また、図３７は、実施の形態３で示した立体方向の圧縮映像から左目映像をデコードする部分を示したブロック図である。図３７では、映像ストリームの視差情報や奥行き動きベクトル情報を抽出するためのシステムデコーダ２３６と、ＭＰＥＧやＨ２６４等の圧縮映像ストリームをデコードするＭＰＥＧ、Ｈ２６４デコーダ２３７と、視差情報２３８と、動きベクトル情報２３９と、視差情報演算回路２４０と、左目映像再現回路２４１とを備えている。なお、視差情報２３８、動きベクトル情報２３９、視差情報演算回路２４０及び左目映像再現回路２４１が３Ｄ映像処理回路２３０を構成している。
【０１２１】
ここで、図３６に示す立体映像再生装置では、まず光ディスクドライブ内の復調訂正回路２２２よって光ディスク１６５に記載された映像音声データや付帯データが再生される。この際、サーボ回路１６２は光ヘッド１６４からの再生信号を高品位に抽出し続けるように作用し、アドレスヘッダ認識回路２２３は所定のアドレスの瞬時にアクセスするために作用する。ここで、光ディスクドライブから再生されたデータはＩＦ回路２２４を介して一旦データバッファ回路２２５に入力された後、システムデコーダ２２６に入力される。システムデコーダ２２６では、映像音声データ等のストリームを分離し、音声情報はオーディオデコーダ２２８、ＯＳＤ情報はＯＳＤデコーダ２２９、映像情報はＭＰＥＧ，Ｈ２６４デコーダ２２７に入力される。
【０１２２】
なお、ＯＳＤ情報はＯＳＤ奥行き設定回路２２９Ａでシステムデコーダ２２６から得られる付帯情報により奥行きをもったＯＳＤ情報として生成される。また、ＭＰＥＧ，Ｈ２６４デコーダ２２７でデコードされた映像ストリームは３Ｄ映像処理回路２３０にて３Ｄ映像情報として処理され、ブレンディング回路２２９Ｂで奥行きをもったＯＳＤ映像とブレンディングされ、転送レートが低い場合はＨＤＭＩ等の汎用ＩＦで出力したり、左目映像を左目専用ＩＦ２３３で、右目映像を右目専用ＩＦ２３２で、それぞれ出力させる事が可能となる。
【０１２３】
また、実施の形態３で示したような片側映像が視差情報を用いた圧縮をさらに行っている場合、立体映再生装置における３Ｄ映像処理２３０は図３７のように構成される。ここで、システムデコーダ２３６で抽出した左目の圧縮映像情報である視差情報２３８と奥行き動きベクトル２３９を用いて各画素もしくはマクロブロック単位での視差情報演算を視差情報演算回路２４０で行い、右目映像から左目映像を生成するための変換係数を生成する。この変換係数を用いてＭＰＥＧ，Ｈ２６４デコーダで生成した右目映像から、左目映像再現回路２４１にて左目映像を再現する。ここで、圧縮された左目映像が視差情報による圧縮のみであれば視差情報演算回路２４０の出力に基づく再変換のみであるが、図３３に示す立体映像記録装置のようにＤＣＴ変換と適応量子化を行った圧縮情報であれば、逆量子化と逆変換回路とを左目映像再現回路２４１内に内蔵する必要がある。
【０１２４】
次に、左目及び右目の立体映像から立体でない２Ｄ映像を再現する立体再生装置について説明する。図３８（ａ）は、２Ｄ映像を再現する立体再生装置のブロック図である。図３８（ａ）では、視差情報に基づく合成処理回路２４２を備えている。また、図３８（ｂ）は、合成処理回路２４２で構成される映像を模式的に説明する図であり、左目映像２３２Ａと、右目映像２３３Ａとが合成された映像が２Ｄ映像２３１Ａである。ここで、一般的なＴＶ等の表示装置においては、必ずしも３Ｄ映像対応であるとは限らず、むしろ２Ｄ映像対応である事の方が多い。従って３Ｄ映像のみが記載されたメディアを再生する場合、２Ｄ映像でも再生できるようにしておく事が望ましい。最も簡単な方法としては、右目映像もしくは左目映像のみを表示させる事で２Ｄ映像を再現できる。例えば、ＴＶが２Ｄ映像しか対応していない場合は、プレーヤとＴＶの間でのリンク接続処理において自動検知し、片方の映像のみを常に再生しておく事となる。
【０１２５】
しかしながらこの方法では、奥行きが目に近い（飛び出して見える）映像の場合、視差量が大きく、図３８（ｂ）に示す左目映像２３２Ａや右目映像２３３Ａのように、左右位置が大きくずれた映像となってしまう問題があった。そのため、左目及び右目映像における視差情報を用いてこれを合成し、２Ｄ映像２３１Ａのような中間位置の映像を再現する事で違和感のない２Ｄ映像を再現する事ができる。ただし、この場合の画面の両サイドは、視差量が大きいと演算できないため、元の映像が左目映像の場合は左側に広く、右目映像の場合は右側に広く撮影されていないと、映像２４１Ａの部分（画面の両サイド）がカットされたような映像となる。
【０１２６】
さらに、実施の形態２で示したように画面の飛び出し量が大きいと目の疲れやびっくりした感じを増大する懸念がある。そのため、飛び出し量を可変できるようにした立体映像再生装置のブロック図を図３９（ａ）に示す。図３９（ａ）では、係数変更視差による左目映像再現回路２４３と、係数変視差による右目映像変換処理回路２４４と、飛び出し量可変のためのユーザインターフェイス２４５と、視差情報係数変更部２４６とを備えている。また、図３９（ｂ）は、立体映像再生装置の飛び出し量の可変を説明するための図である。さらに、図３９（ｃ）は、図３９（ａ）の回路により飛び出し量を変化させた場合の結果を説明する図である。また、図３９（ｄ）は、立体映像再生装置を接続した表示装置に表示されている飛び出し量を可変するためのＯＳＤバー２４６Ａを図示している。
【０１２７】
図２９に示す立体映像記録装置のように片側映像を視差情報により圧縮した方式においては、画素もしくはマクロブロック単位でそのまま飛び出し量と関連している視差情報がリンクされている。そのため、ユーザからの飛び出し量可変指示があった場合、図３９（ｄ）のユーザインターフェイス２４５に、例えばＴＶ画面のＯＳＤバー２４６Ａに示されるようなＯＳＤ画面を使って指示を入力させ、視差情報係数変更部２４６にてどの程度飛び出し度合いを減衰させるのか変換係数を決定する。この変換係数によって視差情報演算回路２４０での視差演算量を決定し、左目映像であれば係数変更視差による左目映像再現回路２４３により、右目映像であれば係数変視差情報に基づく画像変換処理回路２４４により左目映像と右目映像との視差量を、図３９（ｂ）に示すよう左目映像１２６ＧＡと右目映像１２６ＧＢとが波線から実線となるように小さく変換して表示させる。結果的には、専用ＩＦ２３２，２３３の出力から得られる立体映像は図３９（ｃ）の立体視された三角図形のように飛び出し量が小さく再現される。
【０１２８】
また、図３９（ａ）に示す立体映像再生装置では、あくまで映像ストリーム上に視差情報が記録されている場合にこれを用いて飛び出し量の変換を行うものであったが、視差情報がない場合で考えられる。そこで、図４０に示す立体映像再生装置では、映像ストリーム上に視差情報が記録されていない場合でも飛び出し量を制御できる構成を示す。図４０に示す立体映像再生装置では、左目映像と右目映像とにそれぞれＭＰＥＧ，Ｈ２６４デコーダ２３７Ａ，２３７Ｂと、視差情報抽出部２４７と、右目映像の視差変換部２４８と、左目映像の視差変換部２４９とを備えている。図４０に示す立体映像再生装置では、視差映像抽出部２４７にて左目映像及び右目映像のデコード映像から、新たに視差情報を検出すればよい。また、この視差情報は図３９（ａ）の場合と同様にユーザインターフェイス２４５を介し、視差情報係数変更部２４６を介して新たな視差情報を視差情報演算部２４０で生成し、右目映像の視差変換部２４８及び左目映像の視差変換部２４９に供給される。
【０１２９】
なお、本実施の形態では光ディスクに記録された立体映像情報を再生する装置や再生方法について記載したが、記憶媒体としてハードディスクであってもまったく同様の効果が得られることはいうまでもない。
【０１３０】
（実施の形態５）
本実施の形態５は、前述の実施の形態１〜４の場合の平面映像、立体映像が混在している場合に、当該映像を所定のフォーマットで配信する等により、より臨場感のある映像、音声の視聴が可能になるものである。よって、以下の説明においては、平面映像と立体映像とに関する詳細な記載は省略されているが、実施の形態１〜４における平面映像、立体映像の実施形態と組み合わせて実施することが可能である。
【０１３１】
実施の形態２から４では、立体映像情報が光ディスクメディアに記録されており、これを視聴する場合について記載しているが、近年のＢＤプレーヤではネットワーク接続の規格が追加されており、ディスク媒体上の情報からではなく、ネットワーク視聴による立体映像視聴も可能になるものと思われる。
【０１３２】
そこで図４１はネットワークによる立体視聴を行うシステムについて記載したもので、図４１において、ユーザが選択可能な複数の映像配信元サーバ群２５０、２５１、２５２、２５３と、家庭にあるＡＶ機器までの中間に位置し各映像配信元サーバからの映像情報をトランスコーディングし中継を行うトランスコーディングサーバ２５４と、立体映像の再生が可能なプレーヤまたはレコーダ２５５と、立体視聴が可能なＴＶ２５６と、立体視聴を行うためのメガネ２５７と、映像配信元サーバから伝送される立体映像信号２５８、２５９、２６０、２６１と、右目映像Ｒと、左目映像Ｌと、トランスコーディングサーバから配信される立体映像情報２６２と、左右の映像の差分圧縮を行った左目映像２６３とが示されている。立体映像情報は、左目映像もしくは右目映像の片方のみで構成される平面映像と、さらに前記平面映像と逆側の目の映像の情報とを用いることにより立体映像視聴可能となる立体映像配信コンテンツである。
【０１３３】
図４２はネットワーク視聴時の視聴選択画面を示したもので、図４２において、タイトル名２６４と、コンテンツの内容２６５と、３Ｄか２Ｄかを示す識別情報２６６とが示されている。
【０１３４】
図４３はネットワークから立体のウィジェット情報をダウンロードしてＴＶ画面に表示させる方法を示したもので、図４３において、トランスコーディングサーバ２５４からダウンロードするＯＳＤデータの信号フォーマット２６７と、奥行きないし飛び出し方向の位置情報を面内ＯＳＤ情報に加えたフォーマット２６８と、ＯＳＤ自体が右目左目の立体映像情報となっているフォーマット２６９と、ＴＶ画面上に立体表示されるウィジェット２７０とが示されている。ウィジェット情報をダウンロードする場合、ウィジェット情報配信要求をトランスコーディングサーバ２５４に出力し、トランスコーディングサーバ２５４内の立体視聴可能なウィジェット情報２７０を、立体視聴可能なプレーヤ等に対し、立体表示可能なＯＳＤ信号フォーマット２６７として配信する。
【０１３５】
このように構成されているので、サーバからのウィジェット配信も、ＴＶの視聴環境に応じて立体ウィジェット配信を行えるようになるため、立体映像コンテンツの状況に合わせ効果的な視聴ができるようになる。
【０１３６】
次に本発明の実施の形態を図において説明する。すでにＰＣの領域では一般的になっているＹｏｕ−Ｔｕｂｅ等のコンテンツ視聴はパソコン等のＣＰＵの演算速度が高いものを前提に構築されている。そのため、各コンテンツ提供元は映像の配信フォーマットが異なる方式であっても、各ユーザが必要なデコードプログラムをネットワークからダウンロードして搭載することで対応が可能となっている。しかしながら一般的なＡＶ機器においては搭載しているＣＰＵのパフォーマンスが低く、またユーザがデコードに必要なＳＷをわざわざダウンロードする手間を好まないため、専用のデコーダもしくはデコード処理プログラムを搭載し、本デコード処理に対応できるサービスのみを接続する形態となっている。そのため各異なるデコード処理やユーザＩＦの対応が必要となる。
【０１３７】
そのため図４１の立体映像視聴システムにおいては、ユーザが（外部から）視聴するＴＶが、まず立体映像対応機なのかどうかをＨＤＭＩケーブルを介して立体再生プレーヤもしくは立体映像レコーダ２５５が確認し、次にＴＶが立体映像対応機（立体視聴可能）であった場合、立体再生プレーヤもしくは立体映像レコーダ２５５はトランスコーディングサーバ２５４に対し立体映像を含むコンテンツメニューを送付するように指示する。ここでは、各映像配信元サーバ２５０〜２５３から映像の配信フォーマットの異なる方式（フォーマットが図４１に示す立体映像情報２５８〜２６１のように異なる場合）で配信されたとしても、トランスコーディングサーバ２５４で一旦フォーマット変換手段によってフォーマット変換（立体映像情報２６２が示されるようにフォーマット変換）することで、立体視聴可能なプレーヤもしくはＴＶにおいてデコードできる映像信号フォーマットである、例えば実施の形態２ないし実施の形態３にて記載された、光メディアに記録されているフォーマットと同じ形式での立体映像情報として再配信することにより、安価なプレーヤもしくはレコーダが元々もつメディア再生用のデコーダ回路もしくはデコードプログラムを用い視聴することができる。
【０１３８】
さらに本実施の形態では、例えば実施の形態３の図３１ないし図３２に記載された、右目映像もしくは左目映像のどちらか一方を基準とする２Ｄ映像とし、上記２Ｄ映像の反対側の目の映像を上記２Ｄ映像側の映像との差分をとることによりさらに圧縮をかける信号方式を用いている。この方式は実施の形態３に記載されたストレージメディアに記録するための立体映像信号フォーマット（圧縮方式）であるが、図４１のトランスコーディングサーバ２５４にてどの映像配信元サーバからの映像コンテンツもこの光ディスク等のメディア記録用立体映像信号フォーマットに合わせて変換（トランスコード）し配信することで、プレーヤもしくはレコーダ２５５にて立体再生視聴が可能となり、光ディスク等による立体映像を再生するプレーヤでもサーバからの立体映像をデコードできるようになった。
【０１３９】
ここで図４１の映像配信元サーバからは、あるサーバからはステレオカメラの２ＣＨカメラ映像を各々ＭＰＥＧ２やＨ．２６４の圧縮フォーマットで伝送する方式も想定され、この場合はトランスコーディングサーバ２５４で本発明の実施の形態３で記載された左右映像の差分をとることで片側のＣＨの映像情報をさらに圧縮した方式に変換してプレーヤやレコーダ２５５に伝送することとなる。この場合、本伝送される左右映像の差分をとることで片側のＣＨの映像情報をさらに圧縮した方式の映像情報は、例えば光ディスクに記録される映像フォーマットと同じ方式であるため、同じデコーダ回路もしくはデコードＳＷで再生処理が可能となる。
【０１４０】
通常このような映像フォーマットの差異に配慮がされていない理由としては、ストレージ媒体の場合には限られた媒体容量の範囲に収める必要があるため、圧縮効率の高い方法を選択する必要があるものの、サーバとの情報やりとりにおいては必ずしも容量制限を配慮しなくてもよいために例えば左右映像をそのまま通常の画像圧縮方式で配信することができるからである。しかしながら、映像配信フォーマットの多様化とともに、デコーダ側の負担も大きくなり、本実施の形態にあるようなトランスコーディング技術を用い、フォーマットを一本化もしくは少なくすることで、安価なＣＰＵを有するデコーダを搭載したＴＶやプレーヤでの視聴が可能になる。
【０１４１】
また、映像や音声フォーマットだけでなく、ＯＳＤ情報や字幕情報などについてもメディアの記録されるフォーマットと同じフォーマットとして再配信することで、ディスクメディア再生時と同じユーザＩＦで操作することが可能となる。
【０１４２】
また、図４１の立体プレーヤまたは立体レコーダ２５５が再生専用機ではなくレコーダの場合は、レコーダ２５５における立体映像をメディア記録用のフォーマットに変換することなくダイレクトにダウンロード録画することが可能である（図４３）。ただし当然のことであるが、本レコーダにダウンロードする場合やプレーヤやＴＶで直接視聴する場合でも、ネットワーク配信の映像信号においては、２Ｄ映像・立体映像にかかわらずネットワークコンテンツプロテクションのための暗号化がほどこされており、この暗号化のためのキーのやりとりや認証作業がサーバ間で必要となることはいうまでもない。なお、ダウンロード録画の場合は、ネット回線の環境に左右されにくい利点があるので、回線環境により途中の映像信号が途切れるような場合であっても、再生時には映像音声の途切れの無いスムーズな再生が可能となっている。またこのような有利な条件であるため、ダウンロード録画の場合は視聴するだけの場合に比べ、配信のビットレートを高く設定することが可能となる。
【０１４３】
また、実施の形態２で説明したように、立体映像が複数のアングル映像で構成されている場合、視聴時の映像データは膨大なものとなる。このようなマルチアングル立体映像をストレージ媒体に入れる場合、ストレージ媒体の容量制限からあまり多くのアングル数を入れ込むことができない。しかしながら、サーバ上にストアするのであればほとんど制限なしに多くのアングル情報を入れることが可能となるため、例えばＴＶのリモコン等のマルチアングル切り替え手段によってアングル切り替えの操作を行った場合、プレーヤやレコーダにてアングル切り替え指令情報をトランスコーディングサーバに転送し、サーバ上の映像データアングルを切り替えてフォーマット変換し、プレーヤやレコーダに再配信することも可能である。もちろんトランスコーディングサーバでフォーマット変換が必要な場合は、映像配信元サーバからまずアングルの異なる映像を再配信させ、再配信した立体映像を、トランスコーディングサーバでフォーマット変換した後、プレーヤやレコーダに配信することとなる。
【０１４４】
このように構成されているので、複数のアングル情報を有する情報量の大きな立体映像であっても、光ディスクメディア等の容量制限を受けることなく、サーバ上に保管し視聴することができるようになったほか、ユーザ（外部）からのアングル切り替え要求に応じて、サーバ内に保管されている立体映像コンテンツのアングルを切り替えて配信できるようになった。
【０１４５】
なお、立体視聴可能プレーヤもしくは立体視聴可能ＴＶにおいては、トランスコーディングサーバおよび映像配信サーバ間の通信時間、映像配信サーバにおけるアングルの異なる映像への切り替え時間、トランスコーディングサーバにおけるフォーマット変換処理時間、およびトランスコーディングサーバと立体視聴可能プレーヤもしくは立体視聴可能ＴＶ間との通信時間の合計時間を上回るだけの容量を有する、映像配信バッファを持つことが望ましい。
【０１４６】
また、上記マルチアングルをアングル順次切り替え手段により順次動かしていく（右回り、左回り）ことで、実施の形態２にあるように、物体を回転させたり、回り込みながら視聴することが可能となる。この際、一般的にプレーヤやレコーダとサーバ間の時間遅れや、映像配信下サーバとトランスコーディングサーバ間の時間遅れがあるため、アングルの連続切り替えがぎくしゃくした動きになる場合がある。このような場合は、あらかじめ視聴対象を、“回転させる”“特定角度単位で特定角度方向に連続的にずらしていく”などの複数の回転角度をもったアングル映像を連続的に１つのコマンドで動かす連続動作を、一回で操作可能なコマンドとして定義し、これをトランスコーディングサーバや映像配信元サーバに送ることで、アングルの連続的変更をサーバの映像配信システム上で実現できるようになり、なめらかな動きを再現させることが可能になる。
【０１４７】
また、図４１のレコーダもしくはプレーヤ２５５が存在せず、直接ＴＶにネットワーク接続する場合も想定される。この場合は図４１のＴＶ２５６にプレーヤ２５５が有するデコーダ回路もしくはデコーダＳＷを実装しておけばよい。ただしこの場合は、デコード処理をＴＶ内のＬＳＩ上で行う必要があり、ＬＳＩの処理速度次第では処理が間に合わなくなる場合も想定され、この場合は前記プレーヤやレコーダを外付けし、前記プレーヤやレコーダにてデコード処理を行った後、視聴を行うこととなる。
【０１４８】
なお、図４２のネット視聴画面においては、トランスコーディングサーバとプレーヤやレコーダ間の機器認証が完了し、前記プレーヤやレコーダに立体視聴が可能なＴＶが接続されていることをＨＤＭＩケーブルのフラグ情報等で前記プレーヤやレコーダが確認手段により認識した後（当該視聴環境の確認情報は保有手段にて保有される）、前記プレーヤやレコーダがトランスコーディングサーバに３Ｄ視聴環境である旨の視聴環境確認情報を伝送手段にて発信（伝送）し、トランスコーディングサーバにおいて予め用意された平面映像からなる映像配信メニューにおいて、平面視聴のみなら平面映像の視聴の選択メニューを、３Ｄ視聴可能環境にあり立体視聴もする場合は、３Ｄコンテンツと２Ｄコンテンツが混在する選択メニューを平面映像か立体映像か識別できるリストとしてプレーヤやレコーダに転送し、ＴＶのリモコンにて例えば選択部分がハイライト表示されたメニューを押下することにより視聴したいコンテンツを選択する。これにより、視聴環境に合ったコンテンツメニュー画面が配信され、ユーザはそのうちから視聴したいコンテンツを選択することが可能となった。
【０１４９】
また、この際、３Ｄコンテンツが選択された場合は、ＴＶ画面に“メガネをかけてください”等の視聴上ユーザが対応しなければならない内容を表示させることも必要となる。
【０１５０】
（実施の形態６）
では次に、あらかじめ立体映像が配信されていない場合に、トランスコーディングサーバ内で２Ｄ映像を３Ｄ化する場合について、図４４において説明する。
【０１５１】
図４４において、映像配信元の２Ｄ映像配信サーバ２７１、２７２と、映像配信元サーバ２７１，２７２からの信号を映像や音声・付帯情報に分離するためのシステムデコーダ２７３、２７４と、システムデコーダ２７３およびシステムデコーダ２７４から出力される映像信号から背景情報のみを抽出するための背景抽出部２７５と、システムデコーダ２７３およびシステムデコーダ２７４から出力される映像信号からの手前付近にある人物を抽出するための前方人物抽出部２７６と、システムデコーダ２７３およびシステムデコーダ２７４から出力される映像信号から物や家その他手前にある物体を抽出するための手前物体抽出部２７７と、各抽出された物体の重なり具合から前後関係を抽出し立体方向の重みづけを行うための前後抽出および立体方向重み付け部２７８と、前後抽出および立体方向重み付け部２７８からの出力から映像を合成する映像合成部２７９と、システムデコーダ２７３およびシステムデコーダ２７４および前方人物抽出部２７６からの出力から音像を制御する音像制御部２８０と、システムデコーダ２７３およびシステムデコーダ２７４からの出力からウィジェット情報を抽出するウィジェット情報抽出部２８１と、ウィジェット情報抽出部２８１の３Ｄのウィジェット情報と音像制御部２８０の出力と前後抽出および立体方向重み付け部２７８の出力と映像合成部２７９とから、３Ｄフォーマットを生成する３Ｄフォーマット生成部２８２と、３Ｄフォーマット生成部２８２からの出力を受け取るトランスコーディングサーバ２８３と、トランスコーディングサーバ２８３と通信する立体再生用ＢＤプレーヤ２８４と、立体再生用ＢＤプレーヤ２８４に接続された３Ｄ対応テレビ２８５とが示されている。本システムは、システムデコーダ２７３，２７４において取得される平面映像情報から、３Ｄフォーマット生成部２８２において立体映像情報を生成し、トランスコーディングサーバ２８３を介して、テレビ２８５の視聴環境に応じて要求される映像の内容に該当する映像情報を提供するものである。
【０１５２】
また、図４５は外部の立体ムービや、立体ムービで撮影した映像を保管している立体映像レコーダの情報をトランスコーディングサーバに配信し、あとで視聴するためのシステムを表したもので、図４５において、立体ムービ２８６と、立体レコーダ２８７と、立体ムービあるいは立体レコーダからの信号を映像や音声・付帯情報に分離するためのシステムデコーダＣ２８８とがさらに示されている。システムデコーダ２７３，２７４に加えて、システムデコーダ２８８からの映像情報も含め、上記の３Ｄフォーマットが生成される。
【０１５３】
また、図４６、図４７は、図４４の動作フローを示したものである。また図４８は、ムービやムービなどの個人映像を録画したレコーダからサーバへアップし、２Ｄから３Ｄへの変換サービスを行って視聴するシステムを記載したフローである。
【０１５４】
図４４と図４６、図４７において動作を説明する。
【０１５５】
まずユーザはＴＶ２８５をリモコン等で操作しながら、立体ＢＤプレーヤ２８４の再生画面に切り替えるとともに、見たい映画などのＶＯＤ視聴サービスメニューを選択する（ＳＴＥＰ１０１）。次に立体プレーヤ２８４はトランスコーディングサーバ２８３間との機器認証を行う（ＳＴＥＰ１０２）。
【０１５６】
機器認証後、立体プレーヤ２８４は視聴環境に関する情報をＨＤＭＩケーブルを通した通信により確認する（ＳＴＥＰ１０３）。ＴＶ２８５が３Ｄ対応であるかどうかを確認し（ＳＴＥＰ１０４）、視聴環境が２Ｄ環境の場合は立体プレーヤ２８４はトランスコーディングサーバ２８３に対して２Ｄ用メニューを要求し（ＳＴＥＰ１０５）、視聴環境が３Ｄ環境の場合は立体プレーヤ２８４はトランスコーディングサーバ２８３に対して２Ｄと３Ｄが混在した３Ｄ用メニューを要求する（ＳＴＥＰ１０６）。
【０１５７】
トランスコーディングサーバ２８３は立体プレーヤ２８４から２Ｄ用メニューの要求があれば立体プレーヤ２８４に対して２Ｄ用メニューを配信し（ＳＴＥＰ１０７）、３Ｄ用メニューの要求があれば立体プレーヤ２８４に対して２Ｄと３Ｄが混在した３Ｄ用メニューを配信する（ＳＴＥＰ１０８）。
【０１５８】
次にユーザが配信されてきたメニューから視聴コンテンツを選択する（ＳＴＥＰ１０９、ＳＴＥＰ１１０）。選択されたコンテンツが２Ｄコンテンツか、３Ｄコンテンツかを確認し（ＳＴＥＰ１１１）、２Ｄコンテンツを選択した場合は、まず立体プレーヤ２８４はトランスコーディングサーバ２８３との間で課金処理を行い（ＳＴＥＰ１１２）、次にトランスコーディングサーバ２８３が選択されたコンテンツを所有するコンテンツ所有サーバを選択する（ＳＴＥＰ１１３）。
【０１５９】
そして、このコンテンツ所有サーバとトランスコーディングサーバ２８３間でサーバ認証を行う（ＳＴＥＰ１１４）。認証後、コンテンツ送信依頼を行う（ＳＴＥＰ１１５）とともに、サーバ間の課金認証（第二の課金処理）を行う（ＳＴＥＰ１１６）。本サーバ間の課金認証によって、ユーザが支払った金額の一部がトランスコーディングサーバ側の費用となり、残りがコンテンツ提供元に還元（配分）される。
【０１６０】
次にコンテンツ提供サーバから所望のコンテンツがトランスコーディングサーバ２８３に送信される（ＳＴＥＰ１１７）とともに、トランスコーディングサーバ２８３では立体プレーヤ２８４で再生できる形態にフォーマットの変換処理が行われ（ＳＴＥＰ１１８）、変換後のストリームが立体プレーヤ２８４に送信され（ＳＴＥＰ１１９）、立体プレーヤ２８４にて２Ｄの再生処理が行われる（ＳＴＥＰ１２０）。
【０１６１】
一方、ユーザが３Ｄコンテンツを選択した場合、まず立体プレーヤ２８４はトランスコーディングサーバ２８３との間で課金処理を行い（ＳＴＥＰ１２１）、次に２Ｄコンテンツの場合同様にトランスコーディンサーバ２８３が所望のコンテンツを有するコンテンツ所有サーバを選択する（ＳＴＥＰ１２２）。そしてサーバ間認証処理を行い（ＳＴＥＰ１２３）、コンテンツ送信要求を出す（ＳＴＥＰ１２４）とともに、サーバ間の課金処理を行う（ＳＴＥＰ１２５）。
【０１６２】
次にコンテンツ所有サーバからトランスコーディングサーバ２８３へコンテンツが送信され（ＳＴＥＰ１２６）、送信されたコンテンツが２Ｄ映像か３Ｄ映像かの確認を行い（ＳＴＥＰ１２７）、立体映像として配信される場合は、トランスコーディングサーバ２８３が立体プレーヤ２８４で再生できる形態にフォーマット変換を行い（ＳＴＥＰ１２８）、変換後のストリームが立体プレーヤ２８４に送信され（ＳＴＥＰ１２９）、立体プレーヤ２８４にて３Ｄの再生処理が行われる（ＳＴＥＰ１３０）。
【０１６３】
本フォーマット変換では実施の形態５にて記載したように、例えば左右画像のどちらかを左右画像の差分によって圧縮する方式がとられ、メディア上に録画されている３Ｄコンテンツと同じ信号フォーマット形式として配信される。
【０１６４】
また、３Ｄコンテンツを選択した場合でも、コンテンツ所有サーバが有するコンテンツが２Ｄしか存在しない場合は、トランスコーディングサーバ２８３にて２Ｄから３Ｄへの変換が変換手段にて行われる（ＳＴＥＰ１３１）。そしてトランスコーディングサーバ２８３が立体プレーヤ２８４で再生できる形態にフォーマット変換を行い（ＳＴＥＰ１３２）、変換後のストリームが立体プレーヤ２８４に送信され（ＳＴＥＰ１３３）、立体プレーヤ２８４にて３Ｄの再生処理が行われる（ＳＴＥＰ１３０）。
【０１６５】
ここでは、配信されたストリームはシステムデコーダ２７３あるいはシステムデコーダ２７４によって映像信号と音声やウィジェット情報その他に分けられる。次に映像信号から背景部分や手前側の人物部分、物や家その他手前にある物体部分などが背景部分抽出手段および手前映像分離手段により抽出され、それらを立体方向位置重み付け手段によって立体方向の前後関係や飛び出し奥行き量を規定し立体映像情報として配置される。
【０１６６】
特に立体方向の前後関係や飛び出し奥行き量は、大きいものが手前にあることによる物体や人物の大きさや、重なった部分の映像の動き解析によっての前後関係の把握、細かいほど遠くにあると推定される背景の細かさなどの解析によって、立体方向の位置づけが行われる。次にこれら立体化された映像パーツは一旦映像信号として合成されたのち、音声やウィジェット情報とあわせフォーマット化される。フォーマット後の映像信号は元々コンテンツサーバに３Ｄ信号が格納されている場合と同じフォーマット形式として立体プレーヤに配信され、立体映像の再生が行われる。
【０１６７】
また上記は映像信号のみを立体変換して配信することについて述べているが、音像定位を可変することでの立体音響信号への変換処理や、ウィジェット表示情報を立体化変換させ、表示させることも可能である。
【０１６８】
一般的なウィジェット情報は、天気予報のマークや、野球中継の速報、ニュースや株価などを小さな画像としてＴＶ画面上にオーバレイ表示させるか、画面を分割してコンテンツ情報画面以外の領域に表示させる等が行われている。この場合には、ウィジェット情報配信要求をトランスコーディングサーバに出力し、複数の映像配信サーバから所望のウィジェット情報を有するものを選択し、オーバレイもしくは分割した表示になるよう、立体視聴コンテンツとウィジェット情報を組み合わせた第二の立体視聴コンテンツを生成し、再配信する。
【０１６９】
立体映像視聴の場合にウィジェット情報を表示させる場合においては、立体方向位置に表示させるかがＰｏｉｎｔとなるため、立体方向の位置を可変できるようにすることが望ましい。そのため、２次元のウィジェット情報についても、本発明の実施の形態にあるように立体方向の位置を加えて、立体のＯＳＤ情報として本トランスコーディングサーバから伝送する方法がある。サーバからのウィジェット配信も、ＴＶの視聴環境に応じて立体ウィジェット配信を行えるようになる他、立体映像のウィジェト情報における立体方向の位置を変更できるようになるため、立体映像コンテンツの状況に合わせ効果的なウィジェット位置を選択したり、目が疲れにくい表示パネルから奥行き方向の側にウィジェット配置を変更することが可能となる。
【０１７０】
この場合、２次元画像情報に、奥行きまたは飛び出し方向のオフセットを持たせるか、３次元映像と同じように左右映像（どちらかを基準とし、残りは差分圧縮する）の立体情報として伝送することで、プレーヤやＴＶでデコード可能な信号フォーマットとして伝送することができる。また、本トランスコーディングサーバ上で立体映像コンテンツにあらかじめオーバレイしてしまって、オーバレイ後の立体映像情報を伝送する方法もある。この場合であれば、プレーヤやＴＶではウィジェット表示のための特別なデコーダは必要ないのでウィジェット表示のためのＣＰＵ負荷を減らす事もできるが、画面上の配置変更等はすべてトランスコーディングサーバへ表示位置変更の指示を送信する必要があり、アクセスのための時間遅れが発生する。
【０１７１】
またこのように、トランスコーディングサーバでウィジェット情報を一旦受けることによって、ウィジェット情報配信要求をトランスコーディングサーバに出力し、複数の映像配信サーバであるウィジェットサービス配信元のウィジェットを選択又は同時に利用可能になるほか、２次元映像のウィジェットを立体表示可能なＯＳＤ信号フォーマットに変換させたりすることも可能となった。
【０１７２】
また、必ずしもコンテンツ所有サーバからの映像配信だけではなく、一般的にムービなどで撮影した２Ｄ映像や、ムービで撮影した映像を録画してある家庭内のレコーダ装置から、本トランスコーディングサーバにデータをアップし、ここで２Ｄから３Ｄへ変換処理を行って、立体プレーヤで視聴させることも可能である。この場合、トランスコーディングサーバにある平面―立体変換機能を利用し、立体映像を楽しむことができるようになるほか、立体の度合いを可変する立体方向位置可変入力手段によりユーザから立体の度合いを設定し、立体方向位置可変制御コマンドを送信できるようにすることで、立体感を強めることにより臨場感をアップさせたり、立体感を弱めることにより飛び出し量を目にやさしい範囲に抑えたりすることができるようになった。
【０１７３】
ここで平面映像からの立体変換は、画像の背景成分と人物や手前の物体を抽出する画像処理部で、個々の画像部分を抽出し、これを立体方向重みづけ手段によってそれぞれ立体方向に重みづけし、画像合成することで得られるものである。本立体変換における立体方向の重み付けを可変できるようにしたため、奥行きや飛び出し量を可変することにより、視聴者の健康状態や、画面の大きさや、好みの臨場感等に合わせることができるようになった。なお、この立体位置可変、立体方向重み付け、およびその合成は、ウィジェット情報だけでなく、平面映像から変換し合成される立体情報の場合も同様である。
【０１７４】
また、画像の動きに伴い、各抽出した画像部分の重なり具合等を見ることで、どちらの画像片が手前にあるかを判断し、立体方向の位置を特定させることが可能である。このようにして合成された立体映像は、３Ｄフォーマット化部でプレーヤやＴＶで再生できる映像フォーマットに変換され配信される。またこのような画像片抽出による立体方向位置をつける方法を用いれば、元の映像が立体映像であった場合でも、再度画像片に分解し重み付けを変えることで、立体度合いを可変させることも可能である。特に元が立体映像の場合、各画素毎に視差がついており、それぞれの画素の立体方向位置が特定されているため、これらの立体方向位置を変更することは実施の形態４で記載した方法等により容易に実現可能である。
【０１７５】
また、この際ムービやレコーダと、本トランスコーディングサーバ間での機器認証を行い、またあらかじめ会員登録することにより得られるユーザＩＤ番号を機器認証時に送信することで、本立体変換のサービスを受けることも可能となる。課金の処理については、会員登録時に一定データ量もしくは一定期限までの立体化サービスをまとめて支払うことも可能であるが、サーバへデータをアップさせる際に毎回支払い処理を行わせることも可能である。
【０１７６】
これらアップされた個人の２Ｄ映像はアップしたユーザの登録したＩＤ番号によって管理されるとともに、視聴時は立体プレーヤから同じＩＤ番号を有することを機器認証で確認（ＩＤを再入力）することによって立体再生させることが可能となる。この際立体視聴時においても立体プレーヤにおいてユーザＩＤを入力することにより、ユーザＩＤと機器ＩＤの認証を行うことで個人情報の保護を行い、ユーザ自身がアップした映像のみを視聴することとなる。またさらに各アップしたユーザの個人映像に開示用の暗証コードをさらにつけておくことで、知り合いや家族友人など他の人にこの開示用暗証コードをメール等で送信し、視聴させることも可能となる。なお、アップロード時に登録したＩＤを立体視聴可能なプレーヤもしくはＴＶに予め設定することで、機器認証と合わせ登録したＩＤを自動的に確認することも可能である。
【０１７７】
次にムービ２８６などで撮影した２Ｄ映像や、ムービ２８６で撮影した映像を録画してある家庭内のレコーダ装置２８７から、本トランスコーディングサーバ２８３にデータをアップし、ここで２Ｄから３Ｄへ変換処理を変換手段において行って、立体プレーヤで視聴させるまでの流れを図４８のフロー図を用いて説明する。
【０１７８】
まず、ユーザはムービ等で撮影した映像を、直接あるいはレコーダ装置等のネットワークに接続できる端末を経由してトランスコーディングサーバへのアップロードを指示する（ＳＴＥＰ２０１）。ムービあるいはレコーダ装置等はユーザからのアップロード指示でトランスコーディングサーバとの間で機器認証を行う（ＳＴＥＰ２０２）。機器認証後、ムービあるいはレコーダ装置等は暗号化されたユーザＩＤをトランスコーディングサーバへ送信し（ＳＴＥＰ２０３）、トランスコーディングサーバとの間で課金処理を行う（ＳＴＥＰ２０４）。課金処理が完了すると、映像のアップロードが開始される（ＳＴＥＰ２０５）。アップロードされた映像はトランスコーディングサーバの平面―立体変換機能を用いて立体映像に変換される。
【０１７９】
次にユーザがトランスコーディングサーバから映像をダウンロードし、視聴するまでのフローを図４８および図４９を用いて説明する。
【０１８０】
まず、ユーザは立体プレーヤのメニュー画面２８９からパーソナル映像配信を選択する（ＳＴＥＰ２０６）。ユーザがパーソナル映像配信を選択により、立体プレーヤはトランスコーディングサーバとの間で機器認証を行う（ＳＴＥＰ２０７）。機器認証後、立体プレーヤはユーザＩＤ入力画面２９０を表示し、ユーザはユーザＩＤの入力を行う（ＳＴＥＰ２０８）。ユーザＩＤが入力されると立体プレーヤはトランスコーディングサーバに対して暗号化されたユーザＩＤを送信する。トランスコーディングサーバでは立体プレーヤの機器ＩＤおよびユーザＩＤを確認し、機器ＩＤおよびユーザＩＤがサーバ上の該当コンテンツが保持する機器ＩＤおよびユーザＩＤと一致したときに、該当コンテンツの情報を立体プレーヤに送信する（ＳＴＥＰ２０９）。立体プレーヤは受信した該当コンテンツの情報をパーソナルコンテンツ選択画面２９１に表示する（ＳＴＥＰ２１０）。またここで、必要であれば立体プレーヤとトランスコーディングサーバとの間で課金処理を行う（ＳＴＥＰ２１１）。
【０１８１】
ユーザはパーソナルコンテンツ選択画面２９１から所望のコンテンツを選択し（ＳＴＥＰ２１２）、立体プレーヤはトランスコーディングサーバへ選択されたコンテンツの送信を依頼する（ＳＴＥＰ２１３）。ここでユーザが選択したコンテンツに対して課金処理を行うようにしてもよい。トランスコーディングサーバでは選択されたコンテンツに対して平面―立体変換を行い、選択されたコンテンツを立体映像に変換する（ＳＴＥＰ２１４）。立体映像への変換はあらかじめ行っておいてもよい。トランスコーディングサーバは選択されたコンテンツを立体映像に変換し、立体プレーヤに配信する（ＳＴＥＰ２１５）。立体プレーヤがトランスコーディングサーバから配信された立体映像を再生することで、ユーザがムービで撮影した映像を立体映像として楽しむことが可能となる（ＳＴＥＰ２１６）。
【０１８２】
また、上述のように、３Ｄ映像に変換し配信させる方法について述べたが、再生するプレーヤは通常の２Ｄ再生用のものでもよく、この場合は３Ｄ変換のサービスは行わずに、サーバのファイルストレージ機能をサービスとして受けるとともに、トランスコード処理によってプレーヤに再生できるフォーマットへの変換処理をサーバ側に持たせただけのサービスとなる。特に３Ｄ変換を行わない場合でも、いわゆるストレージサービスとして十分利用可能である。この場合、３Ｄ映像のみの配信コンテンツであっても、本トランスコーディングサーバにて２Ｄ映像フォーマットに変換し再配信することで、同様に通常の２Ｄ再生プレーヤで視聴できる。
【０１８３】
また、上述のように、あくまで個人映像にＩＤをつけて、サーバにアップした個人が自分自身の著作権を有する画像もしくは録画した画像を見るだけであるが、放送されたものを録画してサーバにアップし他人に視聴許可させる場合などは著作権の問題が生じる。この場合、ムービなどパーソナルコンテンツに対してはムービにて画像すかし技術を応用するなどして、個人映像側の映像に暗号キーを埋め込み、この映像に重畳された暗号キーを有するもののみが、本トランスコーディングサーバを介して他人への配信を許可するしくみを入れておくことも可能である。
【０１８４】
なお、実施の形態５，６に示した立体映像配信システムにより配信された立体映像配信コンテンツを用いて、立体映像が視聴可能である立体映像視聴システムの実施も可能である。
【０１８５】
また、実施の形態５，６に示した立体映像配信方法により配信された立体映像配信コンテンツを用いて、立体映像が視聴可能である立体映像視聴方法の実施も可能である。
【０１８６】
また、実施の形態５，６に示した立体映像配信装置により配信された立体映像配信コンテンツを用いて、立体映像が視聴可能である立体映像視聴装置の実施も可能である。
【符号の説明】
【０１８７】
１ 右目映像、２ 左目映像、３，８ 表示装置、４ シャッタ、５ 映像、６ 記録装置、７ メガネ、９，１０ 偏向板、１１ 表示光学系、１２ 表示パネル、１３ 同期回転部材、１４ 光源、１５〜２０ 表示デバイス、２１ 回転ミラー、２２ 像信号、２３ 映像制御情報、２４，２５ 映像タイトル、２６ 記録媒体、１４６ ＡＤコンバータ、１４７ 動き検出回路、１４８ ＤＣＴ変換回路、１４９ 適応量子化回路、１５０ 逆量子化回路、１５１ 可変長符号化回路、１５２ ＤＣＴ逆変換回路、１５３ フレームメモリ、１５４ バッファメモリ、１５５ ＯＳＤエンコーダ、１５６ 音声エンコーダ、１５７ フォーマットエンコーダ、１５８ 変調回路、１５９ ＬＤ変調回路、１６０ アドレスヘッダ認識回路、１６１ 再生アンプ、１６２ サーボ回路、１６３ 送りモータ、１６４ 光ヘッド、１６５ 光ディスク、１６６ 回転モータ、１６７ システムコントローラ、１９１Ａ 視差情報演算回路、１９１Ｂ 逆視差演算処理回路、１９１Ｃ 奥行き方向動き検出回路、１９１Ｄ 推定視差情報生成回路、１９１Ｅ ＤＣＴ変換回路、１９１Ｆ 適応量子化回路、１９１Ｇ 可変長符号化回路、２２２ 復調訂正回路、２２３ アドレスヘッダ認識回路、２２４ インターフェイス回路、２２５ データバッファ、２２６，２３６ システムデコーダ、２２７，２３７ ＭＰＥＧ・Ｈ２６４デコーダ、２２８ オーディオデコーダ、２２９ ＯＳＤデコーダ、２２９Ａ ＯＳＤ奥行き生成回路、２２９Ｂ ブレンディング回路、２３０ ３Ｄ映像処理回路、２３１ 汎用ＩＦ、２３２，２３３ 専用ＩＦ、２３４ バッファ、２３５ システムデコーダ、２３８ 視差情報生成回路、２３９ 動きベクトル生成回路、２４０ 視差情報演算回路、２４１ 左目映像再現回路、２４２，２４４ 視差情報に基づく合成処理回路、２４３ 左目映像再現回路、２４５Ａ ＯＳＤバー、２４６ 視差情報係数変更部、２４５ ユーザインターフェイス、２４７ 視差情報抽出部、２４８ 右目映像視差変換回路、２４９ 左目映像視差変換回路、２５０〜２５３ 映像配信元サーバ、２５４，２８３ トランスコーディングサーバ、２５５ 立体プレーヤまたは立体レコーダ、２５６ 立体視聴テレビ、２５７ 立体視聴メガネ、２５８〜２６１ 立体映像信号、２６２ 立体映像情報、２６３ 差分圧縮映像情報、２６４ タイトル名、２６５ コンテンツ内容、２６６ ２Ｄ／３Ｄ識別情報、２６７ ＯＳＤ信号フォーマット、２６８，２６９ ＯＳＤ信号フォーマット、２７０ 立体ウィジェット、２７１ ２Ｄ映像配信サーバ、２７２ ２Ｄ映像配信サーバ、２７３，２７４，２８８ システムデコーダ、２７５ 背景抽出部、２７６ 前方人物抽出部、２７７ 手前物体抽出部、２７８ 立体方向重み付け部、２７９ 映像合成部、２８０ 音像制御部、２８１ ウィジェット情報抽出部、２８２ ３Ｄフォーマット生成部、２８４ 立体再生用ＢＤプレーヤ、２８５ 立体視聴テレビ、２８６ 立体ムービ、２８７ 立体レコーダ、２８９ メニュー画面、２９０ ユーザＩＤ入力画面、２９１ パーソナルコンテンツ選択画面。
【技術分野】
【０００１】
本発明は、立体映像配信システム、立体映像配信方法、立体映像配信装置、立体映像視聴システム、立体映像視聴方法、立体映像視聴装置に係る発明に関するものである。
【背景技術】
【０００２】
ディジタル映像信号を圧縮する符号化技術が進むにつれ、圧縮された映像信号を光ディスクに記録することによって、検索性や操作性に優れた光ディスク装置を実現することが可能となった。このような光ディスク装置は、映像をディジタル信号として記録するため、アナログ映像信号を記録する場合に比べてダビングによる劣化が無い他、光記録再生であるため、非接触で信頼性に優れている。
【０００３】
一方、上記のようなディジタル映像信号をデータ圧縮する符号化方法としては、例えば、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）方式によるものがあるが、この圧縮方法はモーションＪＰＥＧ等の面内圧縮方法に比べ圧縮効率は良いものの、時間方向の動き補償予測を用いているため、複数枚の映像グループからなる（ＧＯＰ）映像単位でしか検索できなかったり、ディスク上のアクセスも面内圧縮からなるＩピクチャにまずアクセスしなければならない等の制約条件が存在していた。そのため、特許文献１では、光ディスク上のデータフォーマットを工夫することが提案されている。
【０００４】
また、特許文献１のデータフォーマットは、あくまで２次元の平面映像をファイルするためのものである。立体映像をファイルする場合、ＴＶ信号の第一フィールドと第二フィールドとで、それぞれ右目左目の映像を別々に表示し、偏向メガネ等で２つの映像をそれぞれのフィールド映像をそれぞれの目にのみ見せる特許文献２の方法を採用することが必要である。
【０００５】
またサーバ上に立体画像を入れておき表示させる方法としては特許文献３に記載があるが、これは画像を回転表示させることによって広告を立体的に見せるものであり、特許文献５に記載された複数カメラを用いた方法についてもあくまで回転画像により、立体的に見せる工夫を行ったものにすぎない。一方、サーバ内で動画キャラクターとして生成するための方法として、左右の画像を用い３次元画像をサーバにアップロードする方式が特許文献４に記載があるほか、遠隔操作時の医療用の３次元画像レンダリング処理方法として特許文献７に記載があるが、立体映像をサーバ配信する際の信号フォーマット等の記載はない。また特許文献６には映像情報送出手段において、２Ｄ映像から３Ｄ映像への変換の記述があるが具体的変換方法等の記載はない。また、立体仮想実現空間を実現するための方法としては特許文献８と特許文献９にも記載あるが、本件にある映像コンテンツを立体視聴するためのシステムや信号フォーマットに関するものではない。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−２６０９８８号公報
【特許文献２】特開２００７−１６６６５１号公報
【特許文献３】特開２００１−１６７１８０号公報
【特許文献４】特表２００２−５１７８４０号公表
【特許文献５】特表２００３−５３２３４６号公表
【特許文献６】特開２００５−１７５５６６号公報
【特許文献７】特開２００６−１０１３２９号公報
【特許文献８】特開２００６−３１６６５号公報
【特許文献９】特表２００７−５００８８３号公表
【発明の概要】
【発明が解決しようとする課題】
【０００７】
立体映像視聴する際の信号フォーマットとしては、左右映像をそれぞれＭＰＥＧ圧縮し伝送する方法や、画面を両サイドに分割する方法、また画面を上下に分割する方法など、さまざまな方法が提案されている。そのため配信される映像コンテンツの元映像として、多くの方法が並存し、各社が所有しサービスを行う映像配信サーバにおいても、特定の方式に統一することが難しい状態にあった。
【０００８】
また、これら方式が異なる複数のサーバを課金処理も含め統合的に取り扱うことができる方法が望まれていた。
【０００９】
また、ユーザの視聴環境においても、映像配信元サーバが立体映像コンテンツを所有している場合でも、必ずしもユーザの視聴環境として立体視聴できる状態にあるとは限らず、視差映像に基づく立体映像が配信された場合、通常の２次元映像視聴ＴＶでは２重写しに見えたり、立体視聴可能なＴＶであっても、ＴＶの設定が平面映像視聴設定となっていた場合は同様な問題が生じた。
【００１０】
また、コンテンツの視聴メニューにおいても、立体視聴環境が可能な場合と、平面映像しか視聴できない場合とで、３Ｄコンテンツを含む含まない等別々のメニューを配信する必要があったが、視聴環境の状態を認識しないとできない等の問題があった。
【００１１】
また、マルチアングル映像の配信に関し、装置からのアングル切り替え指示に対する応答が遅く、視聴すべきコンテンツをアングル回転して視聴する等の対応ができないなどの課題があった。
【００１２】
また、ウィジェット情報をＴＶ画面にオーバレイもしくは画面分割して視聴する場合、２次元映像用に作られたウィジェット情報を立体映像中にそのまま表示させると、常に奥行き飛び出し方向の位置がデフォルトの位置に固定され視聴しづらかったり、例えば映像全体が飛び出している場合に奥のほうに位置するように見える違和感のあるウィジェット情報が視聴される問題があった。
【００１３】
また、通常の映像配信コンテンツは一般的には平面映像によるものがほとんどであるが、立体視聴環境を有するユーザにおいては、２次元映像を３次元化して視聴できる方法が望まれていたほか、目の疲れ等の視聴安全性に配慮し、映像の飛び出し量を可変する方法も望まれていた。
【００１４】
また、ユーザがムービ等で個人的に録画した２次元コンテンツについても同様に３次元化して視聴する方法が望まれていたほか、個人のコンテンツをアップした場合においても他の人が簡単に視聴できてしまう問題があった。
【００１５】
本発明の目的は、映像配信元サーバからの立体映像信号フォーマットが複数ある形態であっても、プレーヤもしくはＴＶで再生可能な統一されたフォーマットで変換して、あらゆる映像配信元サーバが所有する立体映像コンテンツも、家庭内の映像視聴装置で再生・視聴することができる立体映像配信システム、立体映像配信方法、立体映像配信装置を提供することである。
【課題を解決するための手段】
【００１６】
この発明の第１の態様にかかる立体映像配信システムは、視差映像を利用した左目映像と右目映像とからなる立体映像をサーバから配信する立体映像配信システムであって、立体映像を含む映像コンテンツは、フレーム内でデータ圧縮されたＩピクチャと、時間的に前方向の前記Ｉピクチャによる動き補償を加えてデータ圧縮されたＰピクチャと、時間的に前後方向の前記Ｉピクチャ又は前記Ｐピクチャによる動き補償を加えてデータ圧縮されたＢピクチャとを有するディジタル映像情報により構成されるとともに、前記映像情報は、左目映像もしくは右目映像の片方のみで構成される平面映像と、さらに前記平面映像と逆側の目の映像の情報とを用いることにより立体映像視聴可能となる立体映像配信コンテンツであって、前記立体映像配信コンテンツは、複数の映像配信サーバにて保管されているとともに、映像配信時においては、前記複数の映像配信サーバの中から外部指示により選択した所望のコンテンツを有する特定の前記映像配信サーバより前記立体映像配信コンテンツが配信され、前記配信される立体映像配信コンテンツはさらに一旦トランスコーディングサーバに入力し、前記トランスコーディングサーバにてフォーマット変換することにより、立体視聴可能なプレーヤもしくはＴＶにおいてデコードできる映像信号フォーマットの形態にして、前記立体視聴可能なプレーヤもしくはＴＶに再配信することを特徴とする。
【００１７】
また、この発明の第２の態様にかかる立体映像配信システムは、視差映像を利用した左目映像と右目映像とからなる立体映像をサーバから配信する立体映像配信システムであって、立体映像を含む映像コンテンツは、フレーム内でデータ圧縮されたＩピクチャと、時間的に前方向の前記Ｉピクチャによる動き補償を加えてデータ圧縮されたＰピクチャと、時間的に前後方向の前記Ｉピクチャ又は前記Ｐピクチャによる動き補償を加えてデータ圧縮されたＢピクチャとを有するディジタル映像情報により構成されるとともに、前記映像情報は、左目映像もしくは右目映像の片方のみで構成される平面映像と、さらに前記平面映像と逆側の目の映像の情報とを用いることにより立体映像視聴可能となる立体映像配信コンテンツであって、前記立体映像配信コンテンツは、複数の映像配信サーバにて保管されている左目映像もしくは右目映像の片方のみで構成される平面映像から構成されるとともに、映像配信時において、前記複数の映像配信サーバの中から外部指示により選択した所望の平面映像配信コンテンツを有する特定の前記映像配信サーバより所望の平面映像配信コンテンツが配信されるとともに、前記配信される平面映像配信コンテンツはさらに一旦トランスコーディングサーバに入力され、前記トランスコーディングサーバにて前記平面映像配信コンテンツを平面映像から立体映像に変換させるとともに、立体視聴可能なプレーヤもしくはＴＶにおいてデコードできる映像信号フォーマットの形態に変換して、前記立体視聴可能なプレーヤもしくはＴＶに再配信することを特徴とする。
【００１８】
また、この発明の第３の態様にかかる立体映像配信システムは、視差映像を利用した左目映像と右目映像とからなる立体映像をサーバから配信する立体映像配信システムであって、立体映像を含む映像コンテンツは、フレーム内でデータ圧縮されたＩピクチャと、時間的に前方向の前記Ｉピクチャによる動き補償を加えてデータ圧縮されたＰピクチャと、時間的に前後方向の前記Ｉピクチャ又は前記Ｐピクチャによる動き補償を加えてデータ圧縮されたＢピクチャとを有するディジタル映像情報により構成されるとともに、前記映像情報は、左目映像もしくは右目映像の片方のみで構成される平面映像が、まず外部保有の映像機器であるムービで撮影した映像をムービから、もしくは外部が録画した映像をレコーダから、直接トランスコーディングサーバにアップロードするとともに、前記アップロードした前記平面映像を前記トランスコーディングサーバにて平面映像から立体映像に変換させるとともに、前記変換した映像を、立体視聴可能なプレーヤもしくはＴＶにおいてデコードできる映像信号フォーマットの形態に変換して、前記立体視聴可能なプレーヤもしくはＴＶに再配信することを特徴とする。
【００１９】
また、この発明の第１の態様にかかる立体映像配信方法は、視差映像を利用した左目映像と右目映像とからなる立体映像をサーバから配信する立体映像配信方法であって、立体映像を含む映像コンテンツは、フレーム内でデータ圧縮されたＩピクチャと、時間的に前方向の前記Ｉピクチャによる動き補償を加えてデータ圧縮されたＰピクチャと、時間的に前後方向の前記Ｉピクチャ又は前記Ｐピクチャによる動き補償を加えてデータ圧縮されたＢピクチャとを有するディジタル映像情報により構成されるとともに、前記映像情報は、左目映像もしくは右目映像の片方のみで構成される平面映像と、さらに前記平面映像と逆側の目の映像の情報とを用いることにより立体映像視聴可能となる立体映像配信コンテンツであって、前記立体映像配信コンテンツは、複数の映像配信サーバにて保管されているとともに、映像配信時においては、前記複数の映像配信サーバの中から外部指示により選択した所望のコンテンツを有する特定の前記映像配信サーバより前記立体映像配信コンテンツが配信され、前記配信される立体映像配信コンテンツはさらに一旦トランスコーディングサーバに入力し、前記トランスコーディングサーバにてフォーマット変換することにより、立体視聴可能なプレーヤもしくはＴＶにおいてデコードできる映像信号フォーマットの形態にして、前記立体視聴可能なプレーヤもしくはＴＶに再配信することを特徴とする。
【００２０】
また、この発明の第２の態様にかかる立体映像配信方法は、視差映像を利用した左目映像と右目映像とからなる立体映像をサーバから配信する立体映像配信方法であって、立体映像を含む映像コンテンツは、フレーム内でデータ圧縮されたＩピクチャと、時間的に前方向の前記Ｉピクチャによる動き補償を加えてデータ圧縮されたＰピクチャと、時間的に前後方向の前記Ｉピクチャ又は前記Ｐピクチャによる動き補償を加えてデータ圧縮されたＢピクチャとを有するディジタル映像情報により構成されるとともに、前記映像情報は、左目映像もしくは右目映像の片方のみで構成される平面映像と、さらに前記平面映像と逆側の目の映像の情報とを用いることにより立体映像視聴可能となる立体映像配信コンテンツであって、前記立体映像配信コンテンツは、複数の映像配信サーバにて保管されている左目映像もしくは右目映像の片方のみで構成される平面映像から構成されるとともに、映像配信時において、前記複数の映像配信サーバの中から外部指示により選択した所望の平面映像配信コンテンツを有する特定の前記映像配信サーバより所望の平面映像配信コンテンツが配信されるとともに、前記配信される平面映像配信コンテンツはさらに一旦トランスコーディングサーバに入力され、前記トランスコーディングサーバにて前記平面映像配信コンテンツを平面映像から立体映像に変換させるとともに、立体視聴可能なプレーヤもしくはＴＶにおいてデコードできる映像信号フォーマットの形態に変換して、前記立体視聴可能なプレーヤもしくはＴＶに再配信することを特徴とする。
【００２１】
また、この発明の第３の態様にかかる立体映像配信方法は、視差映像を利用した左目映像と右目映像とからなる立体映像をサーバから配信する立体映像配信方法であって、立体映像を含む映像コンテンツは、フレーム内でデータ圧縮されたＩピクチャと、時間的に前方向の前記Ｉピクチャによる動き補償を加えてデータ圧縮されたＰピクチャと、時間的に前後方向の前記Ｉピクチャ又は前記Ｐピクチャによる動き補償を加えてデータ圧縮されたＢピクチャとを有するディジタル映像情報により構成されるとともに、前記映像情報は、左目映像もしくは右目映像の片方のみで構成される平面映像が、まず外部保有の映像機器であるムービで撮影した映像をムービから、もしくは外部が録画した映像をレコーダから、直接トランスコーディングサーバにアップロードするとともに、前記アップロードした前記平面映像を前記トランスコーディングサーバにて平面映像から立体映像に変換させるとともに、前記変換した映像を、立体視聴可能なプレーヤもしくはＴＶにおいてデコードできる映像信号フォーマットの形態に変換して、前記立体視聴可能なプレーヤもしくはＴＶに再配信することを特徴とする。
【００２２】
また、この発明の第１の態様にかかる立体映像配信装置は、視差映像を利用した左目映像と右目映像とからなる立体映像をサーバから配信する立体映像配信装置であって、立体映像を含む映像コンテンツは、フレーム内でデータ圧縮されたＩピクチャと、時間的に前方向の前記Ｉピクチャによる動き補償を加えてデータ圧縮されたＰピクチャと、時間的に前後方向の前記Ｉピクチャ又は前記Ｐピクチャによる動き補償を加えてデータ圧縮されたＢピクチャとを有するディジタル映像情報により構成され、前記映像情報は、左目映像もしくは右目映像の片方のみで構成される平面映像と、さらに前記平面映像と逆側の目の映像の情報とを用いることにより立体映像視聴可能となる立体映像配信コンテンツであって、前記立体映像配信コンテンツは、複数の映像配信サーバにて保管され、映像配信時において、前記複数の映像配信サーバの中から外部指示により選択した、所望のコンテンツを有する特定の前記映像配信サーバより、前記立体映像配信コンテンツが配信され、配信される前記立体映像配信コンテンツは、さらに一旦トランスコーディングサーバに入力され、前記トランスコーディングサーバはフォーマット変換手段を有し、前記フォーマット変換手段にて前記立体映像配信コンテンツを立体視聴可能なプレーヤもしくは立体視聴可能ＴＶにおいてデコードできる映像信号フォーマットの形態にして、立体視聴可能なプレーヤもしくは立体視聴可能ＴＶに再配信することを特徴とする。
【００２３】
また、この発明の第２の態様にかかる立体映像配信装置は、視差映像を利用した左目映像と右目映像とからなる立体映像をサーバから配信する立体映像配信装置であって、立体映像を含む映像コンテンツは、フレーム内でデータ圧縮されたＩピクチャと、時間的に前方向の前記Ｉピクチャによる動き補償を加えてデータ圧縮されたＰピクチャと、時間的に前後方向の前記Ｉピクチャ又は前記Ｐピクチャによる動き補償を加えてデータ圧縮されたＢピクチャとを有するディジタル映像情報により構成され、前記映像情報は、左目映像もしくは右目映像の片方のみで構成される平面映像と、さらに前記平面映像と逆側の目の映像の情報とを用いることにより立体映像視聴可能となる立体映像配信コンテンツであって、前記立体映像配信コンテンツは、複数の映像配信サーバにて保管されている左目映像もしくは右目映像の片方のみで構成される平面映像から構成され、映像配信時において、前記複数の映像配信サーバの中から外部指示により選択した所望の平面映像配信コンテンツを有する特定の前記映像配信サーバより所望の平面映像配信コンテンツが配信され、前記配信される平面映像配信コンテンツは、さらに一旦トランスコーディングサーバに入力され、前記トランスコーディングサーバにて前記平面映像配信コンテンツを平面映像から立体映像に変換させる手段と、立体視聴可能なプレーヤもしくは立体視聴可能ＴＶにおいてデコードできる映像信号フォーマットの形態に当該コンテンツのフォーマットを変換する手段とを備え、前記立体視聴可能なプレーヤもしくは立体視聴可能ＴＶに再配信することを特徴とする。
【００２４】
また、この発明の第３の態様にかかる立体映像配信装置は、視差映像を利用した左目映像と右目映像とからなる立体映像をサーバから配信する立体映像配信装置であって、立体映像を含む映像コンテンツは、フレーム内でデータ圧縮されたＩピクチャと、時間的に前方向の前記Ｉピクチャによる動き補償を加えてデータ圧縮されたＰピクチャと、時間的に前後方向の前記Ｉピクチャ又は前記Ｐピクチャによる動き補償を加えてデータ圧縮されたＢピクチャとを有するディジタル映像情報により構成され、前記映像情報は、左目映像もしくは右目映像の片方のみで構成される平面映像が、まず外部が保有する映像機器であるムービで撮影した映像をムービから、もしくは外部が録画した映像をレコーダから、直接トランスコーディングサーバにアップロードする手段と、アップロードした前記平面映像を前記トランスコーディングサーバにて平面映像から立体映像に変換させる手段と、前記変換した映像を、立体視聴可能なプレーヤもしくは立体視聴可能ＴＶにおいてデコードできる映像信号フォーマットの形態に変換する手段とを備え、前記立体視聴可能なプレーヤもしくはＴＶに再配信することを特徴とする。
【発明の効果】
【００２５】
この発明の第１の態様にかかる立体映像配信システムによれば、視差映像を利用した左目映像と右目映像とからなる立体映像をサーバから配信する立体映像配信システムであって、立体映像を含む映像コンテンツは、フレーム内でデータ圧縮されたＩピクチャと、時間的に前方向の前記Ｉピクチャによる動き補償を加えてデータ圧縮されたＰピクチャと、時間的に前後方向の前記Ｉピクチャ又は前記Ｐピクチャによる動き補償を加えてデータ圧縮されたＢピクチャとを有するディジタル映像情報により構成されるとともに、前記映像情報は、左目映像もしくは右目映像の片方のみで構成される平面映像と、さらに前記平面映像と逆側の目の映像の情報とを用いることにより立体映像視聴可能となる立体映像配信コンテンツであって、前記立体映像配信コンテンツは、複数の映像配信サーバにて保管されているとともに、映像配信時においては、前記複数の映像配信サーバの中から外部指示により選択した所望のコンテンツを有する特定の前記映像配信サーバより前記立体映像配信コンテンツが配信され、前記配信される立体映像配信コンテンツはさらに一旦トランスコーディングサーバに入力し、前記トランスコーディングサーバにてフォーマット変換することにより、立体視聴可能なプレーヤもしくはＴＶにおいてデコードできる映像信号フォーマットの形態にして、前記立体視聴可能なプレーヤもしくはＴＶに再配信することを特徴とすることにより、映像配信元サーバからの立体映像信号フォーマットが複数ある形態であっても、一旦トランスコーディングサーバにてプレーヤもしくはＴＶで再生可能な統一されたフォーマットで変換して伝送されるため、あらゆる映像配信元サーバが所有する立体映像コンテンツも、家庭内の映像視聴装置で再生・視聴することができる。
【００２６】
また、この発明の第２の態様にかかる立体映像配信システムによれば、視差映像を利用した左目映像と右目映像とからなる立体映像をサーバから配信する立体映像配信システムであって、立体映像を含む映像コンテンツは、フレーム内でデータ圧縮されたＩピクチャと、時間的に前方向の前記Ｉピクチャによる動き補償を加えてデータ圧縮されたＰピクチャと、時間的に前後方向の前記Ｉピクチャ又は前記Ｐピクチャによる動き補償を加えてデータ圧縮されたＢピクチャとを有するディジタル映像情報により構成されるとともに、前記映像情報は、左目映像もしくは右目映像の片方のみで構成される平面映像と、さらに前記平面映像と逆側の目の映像の情報とを用いることにより立体映像視聴可能となる立体映像配信コンテンツであって、前記立体映像配信コンテンツは、複数の映像配信サーバにて保管されている左目映像もしくは右目映像の片方のみで構成される平面映像から構成されるとともに、映像配信時において、前記複数の映像配信サーバの中から外部指示により選択した所望の平面映像配信コンテンツを有する特定の前記映像配信サーバより所望の平面映像配信コンテンツが配信されるとともに、前記配信される平面映像配信コンテンツはさらに一旦トランスコーディングサーバに入力され、前記トランスコーディングサーバにて前記平面映像配信コンテンツを平面映像から立体映像に変換させるとともに、立体視聴可能なプレーヤもしくはＴＶにおいてデコードできる映像信号フォーマットの形態に変換して、前記立体視聴可能なプレーヤもしくはＴＶに再配信することを特徴とすることにより、映像配信元サーバのコンテンツが平面映像のものしかない場合でも、トランスコーディングサーバにて立体映像に変換し、またプレーヤやＴＶで再生できる信号フォーマットに変換して配信するため、通常の平面映像であっても立体映像視聴を楽しむことが可能となる。
【００２７】
また、この発明の第３の態様にかかる立体映像配信システムによれば、視差映像を利用した左目映像と右目映像とからなる立体映像をサーバから配信する立体映像配信システムであって、立体映像を含む映像コンテンツは、フレーム内でデータ圧縮されたＩピクチャと、時間的に前方向の前記Ｉピクチャによる動き補償を加えてデータ圧縮されたＰピクチャと、時間的に前後方向の前記Ｉピクチャ又は前記Ｐピクチャによる動き補償を加えてデータ圧縮されたＢピクチャとを有するディジタル映像情報により構成されるとともに、前記映像情報は、左目映像もしくは右目映像の片方のみで構成される平面映像が、まず外部保有の映像機器であるムービで撮影した映像をムービから、もしくは外部が録画した映像をレコーダから、直接トランスコーディングサーバにアップロードするとともに、前記アップロードした前記平面映像を前記トランスコーディングサーバにて平面映像から立体映像に変換させるとともに、前記変換した映像を、立体視聴可能なプレーヤもしくはＴＶにおいてデコードできる映像信号フォーマットの形態に変換して、前記立体視聴可能なプレーヤもしくはＴＶに再配信することを特徴とすることにより、ユーザがムービなどで録画した映像をサーバにアップし、この平面映像を立体映像に変換し、プレーヤやＴＶで再生できる信号フォーマットに変換して、特定のＩＤで認証のうえ配信するため、個人的な映像を立体変換し、プライバシーを保った上で視聴することが可能となる。
【００２８】
また、この発明の第１の態様にかかる立体映像配信方法によれば、視差映像を利用した左目映像と右目映像とからなる立体映像をサーバから配信する立体映像配信方法であって、立体映像を含む映像コンテンツは、フレーム内でデータ圧縮されたＩピクチャと、時間的に前方向の前記Ｉピクチャによる動き補償を加えてデータ圧縮されたＰピクチャと、時間的に前後方向の前記Ｉピクチャ又は前記Ｐピクチャによる動き補償を加えてデータ圧縮されたＢピクチャとを有するディジタル映像情報により構成されるとともに、前記映像情報は、左目映像もしくは右目映像の片方のみで構成される平面映像と、さらに前記平面映像と逆側の目の映像の情報とを用いることにより立体映像視聴可能となる立体映像配信コンテンツであって、前記立体映像配信コンテンツは、複数の映像配信サーバにて保管されているとともに、映像配信時においては、前記複数の映像配信サーバの中から外部指示により選択した所望のコンテンツを有する特定の前記映像配信サーバより前記立体映像配信コンテンツが配信され、前記配信される立体映像配信コンテンツはさらに一旦トランスコーディングサーバに入力し、前記トランスコーディングサーバにてフォーマット変換することにより、立体視聴可能なプレーヤもしくはＴＶにおいてデコードできる映像信号フォーマットの形態にして、前記立体視聴可能なプレーヤもしくはＴＶに再配信することを特徴とすることにより、映像配信元サーバからの立体映像信号フォーマットが複数ある形態であっても、一旦トランスコーディングサーバにてプレーヤもしくはＴＶで再生可能な統一されたフォーマットで変換して伝送されるため、あらゆる映像配信元サーバが所有する立体映像コンテンツも、家庭内の映像視聴装置で再生・視聴することができる。
【００２９】
また、この発明の第２の態様にかかる立体映像配信方法によれば、視差映像を利用した左目映像と右目映像とからなる立体映像をサーバから配信する立体映像配信方法であって、立体映像を含む映像コンテンツは、フレーム内でデータ圧縮されたＩピクチャと、時間的に前方向の前記Ｉピクチャによる動き補償を加えてデータ圧縮されたＰピクチャと、時間的に前後方向の前記Ｉピクチャ又は前記Ｐピクチャによる動き補償を加えてデータ圧縮されたＢピクチャとを有するディジタル映像情報により構成されるとともに、前記映像情報は、左目映像もしくは右目映像の片方のみで構成される平面映像と、さらに前記平面映像と逆側の目の映像の情報とを用いることにより立体映像視聴可能となる立体映像配信コンテンツであって、前記立体映像配信コンテンツは、複数の映像配信サーバにて保管されている左目映像もしくは右目映像の片方のみで構成される平面映像から構成されるとともに、映像配信時において、前記複数の映像配信サーバの中から外部指示により選択した所望の平面映像配信コンテンツを有する特定の前記映像配信サーバより所望の平面映像配信コンテンツが配信されるとともに、前記配信される平面映像配信コンテンツはさらに一旦トランスコーディングサーバに入力され、前記トランスコーディングサーバにて前記平面映像配信コンテンツを平面映像から立体映像に変換させるとともに、立体視聴可能なプレーヤもしくはＴＶにおいてデコードできる映像信号フォーマットの形態に変換して、前記立体視聴可能なプレーヤもしくはＴＶに再配信することを特徴とすることにより、映像配信元サーバのコンテンツが平面映像のものしかない場合でも、トランスコーディングサーバにて立体映像に変換し、またプレーヤやＴＶで再生できる信号フォーマットに変換して配信するため、通常の平面映像であっても立体映像視聴を楽しむことが可能となる。
【００３０】
また、この発明の第３の態様にかかる立体映像配信方法によれば、視差映像を利用した左目映像と右目映像とからなる立体映像をサーバから配信する立体映像配信方法であって、立体映像を含む映像コンテンツは、フレーム内でデータ圧縮されたＩピクチャと、時間的に前方向の前記Ｉピクチャによる動き補償を加えてデータ圧縮されたＰピクチャと、時間的に前後方向の前記Ｉピクチャ又は前記Ｐピクチャによる動き補償を加えてデータ圧縮されたＢピクチャとを有するディジタル映像情報により構成されるとともに、前記映像情報は、左目映像もしくは右目映像の片方のみで構成される平面映像が、まず外部保有の映像機器であるムービで撮影した映像をムービから、もしくは外部が録画した映像をレコーダから、直接トランスコーディングサーバにアップロードするとともに、前記アップロードした前記平面映像を前記トランスコーディングサーバにて平面映像から立体映像に変換させるとともに、前記変換した映像を、立体視聴可能なプレーヤもしくはＴＶにおいてデコードできる映像信号フォーマットの形態に変換して、前記立体視聴可能なプレーヤもしくはＴＶに再配信することを特徴とすることにより、ユーザがムービなどで録画した映像をサーバにアップし、この平面映像を立体映像に変換し、プレーヤやＴＶで再生できる信号フォーマットに変換して、特定のＩＤで認証のうえ配信するため、個人的な映像を立体変換し、プライバシーを保った上で視聴することが可能となる。
【００３１】
また、この発明の第１の態様にかかる立体映像配信装置によれば、視差映像を利用した左目映像と右目映像とからなる立体映像をサーバから配信する立体映像配信装置であって、立体映像を含む映像コンテンツは、フレーム内でデータ圧縮されたＩピクチャと、時間的に前方向の前記Ｉピクチャによる動き補償を加えてデータ圧縮されたＰピクチャと、時間的に前後方向の前記Ｉピクチャ又は前記Ｐピクチャによる動き補償を加えてデータ圧縮されたＢピクチャとを有するディジタル映像情報により構成され、前記映像情報は、左目映像もしくは右目映像の片方のみで構成される平面映像と、さらに前記平面映像と逆側の目の映像の情報とを用いることにより立体映像視聴可能となる立体映像配信コンテンツであって、前記立体映像配信コンテンツは、複数の映像配信サーバにて保管され、映像配信時において、前記複数の映像配信サーバの中から外部指示により選択した、所望のコンテンツを有する特定の前記映像配信サーバより、前記立体映像配信コンテンツが配信され、配信される前記立体映像配信コンテンツは、さらに一旦トランスコーディングサーバに入力され、前記トランスコーディングサーバはフォーマット変換手段を有し、前記フォーマット変換手段にて前記立体映像配信コンテンツを立体視聴可能なプレーヤもしくは立体視聴可能ＴＶにおいてデコードできる映像信号フォーマットの形態にして、立体視聴可能なプレーヤもしくは立体視聴可能ＴＶに再配信することを特徴とすることにより、映像配信元サーバからの立体映像信号フォーマットが複数ある形態であっても、一旦トランスコーディングサーバにてプレーヤもしくはＴＶで再生可能な統一されたフォーマットで変換して伝送されるため、あらゆる映像配信元サーバが所有する立体映像コンテンツも、家庭内の映像視聴装置で再生・視聴することができる。
【００３２】
また、この発明の第２の態様にかかる立体映像配信装置によれば、視差映像を利用した左目映像と右目映像とからなる立体映像をサーバから配信する立体映像配信装置であって、立体映像を含む映像コンテンツは、フレーム内でデータ圧縮されたＩピクチャと、時間的に前方向の前記Ｉピクチャによる動き補償を加えてデータ圧縮されたＰピクチャと、時間的に前後方向の前記Ｉピクチャ又は前記Ｐピクチャによる動き補償を加えてデータ圧縮されたＢピクチャとを有するディジタル映像情報により構成され、前記映像情報は、左目映像もしくは右目映像の片方のみで構成される平面映像と、さらに前記平面映像と逆側の目の映像の情報とを用いることにより立体映像視聴可能となる立体映像配信コンテンツであって、前記立体映像配信コンテンツは、複数の映像配信サーバにて保管されている左目映像もしくは右目映像の片方のみで構成される平面映像から構成され、映像配信時において、前記複数の映像配信サーバの中から外部指示により選択した所望の平面映像配信コンテンツを有する特定の前記映像配信サーバより所望の平面映像配信コンテンツが配信され、前記配信される平面映像配信コンテンツは、さらに一旦トランスコーディングサーバに入力され、前記トランスコーディングサーバにて前記平面映像配信コンテンツを平面映像から立体映像に変換させる手段と、立体視聴可能なプレーヤもしくは立体視聴可能ＴＶにおいてデコードできる映像信号フォーマットの形態に当該コンテンツのフォーマットを変換する手段とを備え、前記立体視聴可能なプレーヤもしくは立体視聴可能ＴＶに再配信することを特徴とすることにより、映像配信元サーバのコンテンツが平面映像のものしかない場合でも、トランスコーディングサーバにて立体映像に変換し、またプレーヤやＴＶで再生できる信号フォーマットに変換して配信するため、通常の平面映像であっても立体映像視聴を楽しむことが可能となる。
【００３３】
また、この発明の第３の態様にかかる立体映像配信装置によれば、視差映像を利用した左目映像と右目映像とからなる立体映像をサーバから配信する立体映像配信装置であって、立体映像を含む映像コンテンツは、フレーム内でデータ圧縮されたＩピクチャと、時間的に前方向の前記Ｉピクチャによる動き補償を加えてデータ圧縮されたＰピクチャと、時間的に前後方向の前記Ｉピクチャ又は前記Ｐピクチャによる動き補償を加えてデータ圧縮されたＢピクチャとを有するディジタル映像情報により構成され、前記映像情報は、左目映像もしくは右目映像の片方のみで構成される平面映像が、まず外部が保有する映像機器であるムービで撮影した映像をムービから、もしくは外部が録画した映像をレコーダから、直接トランスコーディングサーバにアップロードする手段と、アップロードした前記平面映像を前記トランスコーディングサーバにて平面映像から立体映像に変換させる手段と、前記変換した映像を、立体視聴可能なプレーヤもしくは立体視聴可能ＴＶにおいてデコードできる映像信号フォーマットの形態に変換する手段とを備え、前記立体視聴可能なプレーヤもしくはＴＶに再配信することを特徴とすることにより、ユーザがムービなどで録画した映像をサーバにアップし、この平面映像を立体映像に変換し、プレーヤやＴＶで再生できる信号フォーマットに変換して、特定のＩＤで認証のうえ配信するため、個人的な映像を立体変換し、プライバシーを保った上で視聴することが可能となる。
【図面の簡単な説明】
【００３４】
【図１】本発明の実施の形態１に係るシャッタを用いた立体映像表示システムの概念図である。
【図２】本発明の実施の形態１に係る偏光フィルタを用いた立体映像表示システムの概念図である。
【図３】本発明の実施の形態１に係る回転偏光フィルタを用いた立体映像表示システムの概念図である。
【図４】本発明の実施の形態１に係る多重情報を用いた立体映像表示システムの概念図である。
【図５】本発明の実施の形態１に係る立体映像の模試図である。
【図６】本発明の実施の形態１に係る字幕表示を含む立体映像の模試図である。
【図７】本発明の実施の形態１に係る目の疲労度を説明するための図である。
【図８】本発明の実施の形態１に係る奥行き方向の加速度と目の疲労度を説明するための図である。
【図９】本発明の実施の形態１に係る字幕の表示範囲を説明するための図である。
【図１０】本発明の実施の形態２に係る記録媒体上の情報記録領域を示す図である。
【図１１】本発明の実施の形態２に係る映像タイトルの映像ストリーム構造を説明するための図である。
【図１２】本発明の実施の形態２に係る映像タイトルの映像ストリーム構造を説明するための図である。
【図１３】本発明の実施の形態２に係る映像タイトルの映像ストリーム構造を説明するための図である。
【図１４】本発明の実施の形態２に係る付帯情報のコンテンツ情報を説明するための図である。
【図１５】本発明の実施の形態２に係る付帯情報のタイムコード情報を説明するための図である。
【図１６】本発明の実施の形態２に係る付帯情報の配置情報を説明するための図である。
【図１７】本発明の実施の形態２に係る付帯情報の映像情報を説明するための図である。
【図１８】本発明の実施の形態２に係る付帯情報を用いたＴＶ表示の概念図である。
【図１９】本発明の実施の形態２に係るマルチアングル情報の模試図である。
【図２０】本発明の実施の形態２に係るＯＳＤ情報を説明するための図である。
【図２１】本発明の実施の形態２に係る映像制御情報のＧＯＰテーブル情報を説明するための図である。
【図２２】本発明の実施の形態２に係る映像制御情報のＧＯＰテーブル情報とＯＳＤ情報を説明するための図である。
【図２３】本発明の実施の形態２に係る映像制御情報のシーケンス情報とＯＳＤ情報と映像属性情報を説明するための図である。
【図２４】本発明の実施の形態３に係る立体映像記録装置のブロック図である。
【図２５】本発明の実施の形態３に係る映像ストリーム構造を説明するための図である。
【図２６】本発明の実施の形態３に係る映像ストリーム構造を説明するための図である。
【図２７】本発明の実施の形態３に係る立体映像記録装置のブロック図である。
【図２８】本発明の実施の形態３に係る差分情報の圧縮の原理を説明するための視差画像概念図である。
【図２９】本発明の実施の形態３に係る立体映像記録装置のブロック図である。
【図３０】本発明の実施の形態３に係る視差情報画像変換の圧縮を説明するための模試図である。
【図３１】本発明の実施の形態３に係る映像ストリーム構造を説明するための図である。
【図３２】本発明の実施の形態３に係る映像ストリーム構造を説明するための図である。
【図３３】本発明の実施の形態３に係る立体映像記録装置のブロック図である。
【図３４】本発明の実施の形態３に係る映像ストリーム構造を説明するための図である。
【図３５】本発明の実施の形態３に係る映像ストリーム構造を説明するための図である。
【図３６】本発明の実施の形態４に係る立体映像再生装置のブロック図である。
【図３７】本発明の実施の形態４に係る立体映像再生装置のブロック図である。
【図３８】本発明の実施の形態４に係る立体映像再生装置を説明する図である。
【図３９】本発明の実施の形態４に係る立体映像再生装置を説明する図である。
【図４０】本発明の実施の形態４に係る立体映像再生装置を説明する図である。
【図４１】本発明の実施の形態５に係るネットワークによる立体視聴システムを説明するための図である。
【図４２】本発明の実施の形態５に係るネットワーク視聴時の視聴選択画面を説明するための図である。
【図４３】本発明の実施の形態５に係る立体ウィジェット表示システムを説明するための図である。
【図４４】本発明の実施の形態６に係る立体映像視聴システムのブロック図である。
【図４５】本発明の実施の形態６に係る立体映像視聴システムのブロック図である。
【図４６】本発明の実施の形態６に係る立体映像視聴のフローを説明するための図である。
【図４７】本発明の実施の形態６に係る立体映像視聴のフローを説明するための図である。
【図４８】本発明の実施の形態６に係る立体映像視聴のフローを説明するための図である。
【図４９】本発明の実施の形態６に係る立体映像視聴を説明するための図である。
【発明を実施するための形態】
【００３５】
（実施の形態１）
本発明の実施の形態１について、図に従い以下に説明する。図１は、本実施の形態に係る立体映像システムの全体構成を示すブロック図である。図１に示す立体映像システムでは、立体映像が記録されたメディアを再生して右目映像１及び左目映像２を出力する立体映像記録装置６（以下、単に記録装置６ともいう）、ＴＶやプロジェクター等の表示装置３、液晶等で構成され２つの透過偏光を切り替える事ができるシャッタ４、シャッタ４を介したフレーム順からなる映像５Ａ，５Ｂを見るために左右それぞれに液晶シャッタもしくは左右それぞれに異なる偏光板が構成されたメガネ７Ａとで構成されている。図２は、本実施の形態１に係る立体映像システムの別の構成例を示している。図２に示す立体映像システムでは、図１と異なり２つの表示装置Ａ，Ｂを備え、且つそれぞれ方向の異なる特定の偏光成分の光のみを通すための偏光板９，１０、表示パネル１２に投影させるための光学系１１、偏光板９，１０を介して得られるフレーム順からなる映像５Ｃ，５Ｄを見るために左右異なる偏光板を有するメガネ７Ｂとで構成されている。
【００３６】
図３は、本実施の形態１に係る立体映像システムのさらなる別の構成例を示している。図３に示す立体映像システムでは、図１と異なりそれぞれ方向の異なる特定の偏光成分の光のみを通す半円の偏光板を張り合わせた円形の回転円盤を有する同期回転部材１３と、同期回転部材１３に光を投射する光源１４とを備えている。図４は、本実施の形態１に係る立体映像システムのさらなる別の構成例を示している。図４に示す立体映像システムでは、図１と異なり、映像信号２２に基づく複数の映像を投影するための表示デバイス１５〜１９と、投影された立体映像を再現するための回転ミラー２１とを備えている。
【００３７】
図５は、人間が知覚する立体映像を模試したものである。図５では、無限遠方１１１から順に奥行き位置１１２〜１１７として、奥行き位置１１７が一番飛び出した（目に近い）位置としている。さらに、図５では、奥行き位置１１５上に表示された人間１１８、奥行き１１４上に表示された人間１１９、遠方から流れてくる川１２０、遠方に見える山１２１が図示されている。図６は、図５の表示にさらに字幕表示を追加表示したもので、それぞれの奥行き位置に表示された字幕１２２Ａ〜１２２Ｃと、当該字幕の奥行き範囲１２３Ａ〜１２３Ｃとを図示している。
【００３８】
図７（ａ），図７（ｂ）は、視差の角度変化加速度・変化にかかる時間・回数と目の疲労度を示した図である。図７（ａ）では、目の疲労度１２４を縦軸、角度変化加速度・変化の積１２５を横軸とし、注目点や字幕に対する目の疲労度１２６、注目点や字幕に対する最高疲労点１２７、背景画像の目の疲労度１２８、背景映像における酔いが発生する限界点１２９、人の目に対する安全領域１３０、人の目に対する危険領域１３１、人の目に対する３Ｄ酔いが発生する領域１３２をそれぞれ図示している。また、図７（ｂ）は、目の視差運動を示すための模試図であり、注目点の遠くの映像１２６Ａ、注目点の近くの映像１２６Ｂ、近くにある場合の視野角１２６Ｄ、遠くにある場合の視野角１２６Ｅ、人間の目１２６Ｆ、映像１２６Ｂが表示されている奥行き１２６Ｇ、映像１２６Ａが表示されている奥行き１２６Ｈをそれぞれ図示している。
【００３９】
また、図８は、注目点の奥行き方向の加速度と移動時間×回数との関係を示したグラフである。図８に示すグラフでは、注目点の奥行き方向の加速度１３３を縦軸、移動時間と回数の積（移動時間×回数）１３４を横軸として、安全領域１３０と危険領域１３１の境界１３５、危険領域１３１と３Ｄ酔い発生領域１３２との境界１３６とを図示している。また、図９は、字幕表示における奥行き位置と奥行き位置変化量の関係を示したものである。図９では、奥行き位置１３７を縦軸、奥行き変化量１４０を横軸として、無限遠の位置１３８、目の位置（一番手前）１３９、奥行き変化量制限値１４１、手前の奥行き制限（飛び出し制限）１４２、遠方の奥行き制限１４３をそれぞれ示している。
【００４０】
ここで、一般的にＴＶやプロジェクターを用いた立体映像システムでは、図１から図３に示されるように、人間の目の視差情報を利用したものが多く、メガネによって左右にそれぞれの映像情報を投影し、立体に見せるものである。一般的には映像の撮影の際も２台のカメラを用いて、左右の目に入力させるための映像を撮影するため、２つのストリームが構成させることになる。ここではまず記録装置６に蓄積された左右の映像情報を、ＴＶやプロジェクターの表示装置に入力させる。この際、記録装置６と表示装置間の情報インターフェイスとしてアナログ方式の場合は、左右それぞれ別々の情報伝送が必要となるが、ＨＤＭＩ等のディジタルインターフェイスの場合は左右の情報を交互にシリアル伝送させることも可能である他、記録装置６側で圧縮して伝送し、ＴＶ側で解凍させる方法もある。また。左右の映像情報はＴＶ表示の場合フィールド毎に、左と右を切り替えて表示する事となるが、近年の倍スキャン表示を用いたＴＶを用いれば再生映像を、フィールド毎に左右に分けるにあたり、フリッカ等の問題を解消する事ができ、スムーズな立体映像再生が可能になっている。
【００４１】
さらに、図１に示すように液晶等で構成され２つの透過偏光を切り替える事ができるシャッタ４を構成した場合は、透過するフィールド映像５Ａを例えば縦偏光、映像５Ｂを横偏光とするように、シャッタ４を制御する事でフィールド毎の光の偏光角を変える事ができる。この場合はメガネ７Ａ側は左右異なる偏光板（縦偏光と横偏光）を貼り付けたものでよく、ケーブル３Ａを介して表示装置３がシャッタ４を制御するタイミングに対応する信号を表示装置３からメガネ７Ａに供給するケーブル３Ｂが不要となる。一方、シャッタ４を用いない場合は、メガネ７Ａ側に液晶シャッタを設ける必要があり、ケーブル３Ｂのフィールド同期信号ケーブルが必要となる。メガネ７Ａ側の液晶シャッタで対応する場合は偏光を用いていないため、首を傾けたりする等のメガネの角度が変わっても立体表示に対する影響は小さく抑えられる効果がある。
【００４２】
また、図２の方式では、ＰＬＤ素子や透過型液晶タイプを有する表示デバイスを２つ有することにより、それぞれに左右別々の映像を表示させる方法である。この場合は表示装置（Ａ，Ｂ）７，８の前面に異なる偏光方向を持つ偏光板９，１０を取りつけておく。このことで、それぞれの表示発光部分から出射される光が異なる偏光となっており、これを光学系１１を介して表示パネル１２に投影する事で、例えば右目は縦偏光の映像５Ｃ、左目は横偏光の映像５Ｄを映し出す事が可能となる。ここではさらに、偏光メガネ７Ｂを用いてそれぞれの目に視差のある映像情報を入力させる。
【００４３】
また、図３の方式ではＰＬＤ等の光学素子に入射させる光源の部分において、ＴＶのフィールド表示のタイミングに同期して回転する同期回転部材１３を有する偏光切換え機構を構成し、フィールド表示のタイミングにあわせた偏光を有する光をＰＬＤ素子等に入射させる方式である。この場合、映像表示パネル上にはフィールド毎に異なる偏光を有する映像が投射される。これを図２と同様な方式の偏光メガネ７で見ることにより視差映像を目に入れることが可能となる。また、図４のように複数の表示デバイス１５〜１９によって複数角度から撮影した映像を投影し、立体映像を再現する方法もある。この場合は立体用の映像ストリームは２本ではなく複数本のストリームを蓄積し再生しなければならない。
【００４４】
さらに、ＴＶのフィールド表示のタイミングに同期して回転する上記同期回転部材１３をＲＧＢの特定の波長のみを通す光学フィルタにて構成し、円盤の半分を左目用残りの半分を右目用として、それぞれのＲＧＢの波長をずらす事によって、右目用の光と左目用に光の波長を変え、またメガネ７をそれぞれ右目用と左目用の波長しか通さない光学フィルタから構成する事によっても左右の映像をそれぞれの目に入射させる事ができる。この場合、左右のＲＧＢのずれはＴＶの表示側の色調整によって補正し、色再現上遜色ないようにする事が可能で、またこのＲＧＢ波長を左右でずらす方式ではメガネを傾けてもメガネ７からの光が減衰したりする事がない。
【００４５】
また、図４の回転ミラー２１を用いた方式では、複数の視点による映像を表示デバイス１５〜１９によって、回転ミラー２１に立体映像が投影されるため、実際の立体映像においてみる側の視点を変えても実物のように見える（極端な場合は裏側等隠れて見えなかった部分も見えるようになる。）ものである。
【００４６】
次に、実際の立体映像について説明する。視差を利用した映像再現の場合であっても、人間の目においては図５のように知覚される。この場合、奥行き位置の無限遠１１１から目の位置１１７までの奥行きを分解表現すると、奥行き位置１１２〜１１５までの奥行き平面上にそれぞれの画像が表示されている事となる。例えば、注目点となる登場人物は手前にあれば大きく人間１１８のように見え、離れると人間１１９のように見える。背景情報である川１２１などは手前に近づけば大きく遠くなれば小さく見え、大きな山１２１などは背景であっても大きく見える。例えば、図５に示すような立体映像に字幕を表示させた場合、図６のように表現される。近くにある字幕１２２Ａは、字幕１２２Ｂ，１２２Ｃと表示が少しずつ遠ざかっていく。この注目点である登場人物である人間１１９Ａ〜１１９Ｃはシーンにより奥行き位置が変化しているとすると、字幕もそれにあわせて変化させれば目の焦点の動きを少なくさせるため疲れにくくなる。そのため、登場人物である人間１１９Ａのシーンでは字幕１２２Ａを、登場人物である人間１１９Ｂのシーンでは字幕１２２Ｂを、登場人物である人間１１９Ｃのシーンでは字幕１２２Ｃを表示させる事が望ましい。従来の２Ｄ映像においてはもともと奥行き位置の変化がないため、ユーザとＴＶとの距離が人間の目の焦点であり、目の焦点方向の筋肉を動かすことはないが、立体映像では視差を利用したものであっても視差分の目の移動が必要となるためである。
【００４７】
また、図７（ａ）に示すように登場人物等の注目点の焦点方向の移動においては、その視差角度の変化速度や変化にかかる時間やその回数に比例して目の疲れが発生する。特に注目点においては目が追随しなければならないため、目の疲労は激しく、視差角度の変化速度や変化にかかる時間やその回数が少ない段階で疲労のピークに達するものと考えられる。特に、図７（ｂ）に示す視野角１２６Ｄのように手前の映像は視差角度が大きく、遠くのものは視野角１２６Ｅのように視差角度が小さい。遠近が変化すると視差角度が変化し両目１２６Ｆはこの角度をつけて目標に焦点を合わせる必要が生じ、遠近の変化に伴う視差角の変化に追従しなければならない。従来の平面映像を表示するＴＶは遠近の映像がないため目の奥行き方向認知に必要な視差角は常に一定であるが立体映像の場合は、平面内の目の動きの他に奥行き方向（視差角をもたせる）の目の動きをつけなければならないため、目の負担は増大する。ただし、目の応答よりも早い動きをした場合は追従できないので逆に疲労も減少するため目の疲労度１２６のカーブのようになるものと予想される。また、背景情報については元々目が追随していないものの、遠近の変化に伴う視差角度の変化速度や変化にかかる時間やその回数が増えると、疲労度が増加傾向にあるものと推定される。これを奥行き方向加速度と、移動時間と回数の積の関係で表したものが図８であり、奥行き方向の加速度が小さくても回数や距離が増えると危険領域や酔いの発生が見られるが、あるレベルを下回った場合、移動時間と回数の積が増えても疲れない状態になると推定する。
【００４８】
ここで、評価値としての目の疲労度は、画面サイズが大きくなると面内方向の目の移動も大きくなり疲労も増大する事から、これを配慮した場合とそうでない場合とで２つの評価関数が考えられる。まず、評価関数１は、目の追従が無視できる値ａ＜注目点の視差角変化速度＜目の追従範囲ｂとして、評価値（目の疲労度）が視差角変化速度×変化にかかる時間×変化した回数に比例する。評価関数２は、目の追従が無視できる値ａ＜注目点の視差角変化速度＜目の追従範囲ｂとして、評価値（目の疲労度）が視差角変化速度×変化にかかる時間×変化した回数×画面サイズに比例する。ＴＶ画面のサイズが検知できる場合は評価関数２を、できない場合は評価関数１を用いる。なお、実施の形態２以降では上記評価値（目の疲労度）は奥行き変化度として記載している。
【００４９】
１本の立体映像を製作する際、１本の映像コンテンツにおける立体映像の視差角変化量と変化に関わる時間と変化した回数を評価係数としてもっておき、これが図７の危険領域１３１に入らないように再エンコードする事で立体映像コンテンツを製作する事ができる。また、この立体映像コンテンツにおいても評価関数としての奥行き変化度を記述しておくことで、映画視聴前に目の疲労度を提示しユーザに２Ｄ再生とするか３Ｄ再生とするかの選択をさせる事ができる。この際、再エンコードの方法としては視差映像を撮影するカメラの視差間隔を小さくする（２台のカメラの距離を小さくする）といった撮影上の工夫や、後述する視差情報を用いた画素変換処理によって視差を小さくするような画像処理を行う方法、アニメーション等ではＣＧ等でのコンテンツ制作時に飛び出し量を制限させる方法等が行われる。
【００５０】
このような映画等のストーリを把握するため、ユーザが必ず読まなければならない字幕表示については、図９に示すように奥行き方向の変化量を制限する必要がある。あまり目の焦点方向の追従速度が速くなると図７や図８のように目の疲れが増大し３Ｄ酔いが発生しやすくなるからである。また、あまり遠方すぎる位置の字幕は、字幕の大きさと背景との関係で、図６にあるように違和感があるため遠方位置についても制限を加えたほうがよいと思われる。また、目に近い手前側についても制限が必要である。これは特に目に近すぎる位置は視野角の関係で目の角度変化量が大きくなるため元々目の疲労が大きくなるほか、飛び出し量が大きいと「びっくりする」，「おどろく」といった影響を及ぼす場合もあるからである。また、表示するＴＶ画面が大きくなる場合、面内方向の目の動き量も増大するとともに、上述する「びっくりする」，「おどろく」といった心理的効果も増大するため、より制限を大きくする事が望ましい。再生装置とＴＶがリンク接続されている場合、ＴＶ画面の大きさに関する情報を再生装置との間でやりとりし、字幕等の飛び出し範囲制限をきびしくする。また、飛び出し量の異なる複数のストリームが配置されている場合、ＴＶ画面の大きい場合は飛び出し量の小さいストリームを選択し、ＴＶ画面が小さい場合は飛び出し量の大きなストリームを選択する等の構成が考えられる。また、後述する装置側の設定によって飛び出し量が可変できる場合には、ＴＶのサイズ情報やユーザの状態（年齢等）を配慮し自動設定する事も考えられる。
【００５１】
この際、上記評価値や視野角である最大飛び出し量からなる立体映像パレンタルレベルを規定し、立体映像パレンタルレベルに応じて、視聴する年齢の制限やお年寄りや病人に対する危険告知を行う事が可能となる。例えば、立体映像パレンタルレベルとして、レベル１は疲労・危険が大として、評価値（目の疲労度）＞ｃ，最大飛び出し量＞ｄ，通常のパレンタルレベルが高い場合とする。レベル２は疲労・危険がやや大として、評価値（目の疲労度）＞ｃ，最大飛び出し量＞ｄ，通常のパレンタルレベルが普通以下の場合、又は評価値（目の疲労度）＞ｅ，最大飛び出し量＞ｆ，通常のパレンタルレベルが高いの場合とする。レベル３は疲労・危険が中として、評価値（目の疲労度）＞ｅ，最大飛び出し量＞ｆ，通常のパレンタルレベルが普通以下の場合とする。レベル４は疲労・危険なしとして、評価値（目の疲労度）＞ｇ，最大飛び出し量＞ｈ，通常のパレンタルレベルが普通以下とする。
【００５２】
なお、上記の立体映像パレンタルレベルの例では、ｃ＞ｅ＞ｇ，ｄ＞ｆ＞ｈの関係を有し、通常のパレンタルレベル（平面画像パレンタルレベル）が、ホラー映画等に対し現行の２Ｄ映像のＤＶＤ等で規定されている安全のための視聴制限を指すものとする。また、このような立体映像パレンタルレベルの設定は製品購入時や、初期設定時に設定・変更する事ができ、例えば暗証番号等を記憶させる事によって、後での解除変更をできるようにしておけばより有用である。
【００５３】
（実施の形態２）
次に、本実施の形態２について、図に従い以下に説明する。図１から図３のような特に視差情報を用いた立体映像においては、そのままＴＶ放送すると２重写しのような画面になり、上述したような専用の立体表示装置を構成しなければ見ることができない。従って、放送において立体映像を行う事は視聴者側の機器のインフラにも左右されるため、一般には視聴できない専用のチャンネルを設けるか、３Ｄ映像である事のフラグを放送の情報に重畳する等が必要となる。そのため、通常では記録メディア等で配信され、専用のプレーヤもしくは本機能が搭載されたプレーヤで見るのが都合が良い。このような状況から、上記のような立体映像を記録メディアに保存するための方法やフォーマットを、以下に説明する。
【００５４】
図１０は、本実施の形態２に係る記録媒体２６である。本発明に係る記録媒体（映像メディア）は、ＤＶＤやＢＤ、ＨＤ−ＤＶＤ、ＭＯ等の光ディスク媒体の他、ＨＤＤ媒体であっても良いことはいうまでもない。ＨＤＤの場合はそれ自体可搬できない場合が多いものの、放送された立体映像情報を記録する際には容量の点からも有利である。一方、ＲＯＭメディア等の光ディスク媒体においては、放送される前の立体のキラーコンテンツや、立体有料コンテンツを配信するのに有効である。図１０に示す円盤状の記録媒体２６では、映像情報に関する制御情報を確認している領域（映像制御情報２３）、立体映像が格納されている領域（映像タイトル２４）、通常の２Ｄ映像が格納されている領域（映像タイトル２５）に分けられている。
【００５５】
図１１は、図１０の映像タイトル（映像コンテンツ）２４部分の映像ストリームの構造例を示したものである。図１１では、映像タイトル２７が２Ｄ映像情報２８、ユーザの選択が可能な２Ｄ映像情報３０，３１、表示装置が立体映像表示可能な場合に自動的に選択もしくはユーザの選択により選ばれる３Ｄ映像情報２９、上記映像情報２９〜３１に引き続いて再生される２Ｄ映像情報３２、映像タイトル２７の最後の２Ｄ映像情報３３で構成されている。また、図１１では、ＧＯＰレイヤのストリーム情報として、後に続くＧＯＰ映像情報３５，３６の先頭に配置されＧＯＰ映像情報に関連した付帯情報が記述された付帯情報領域３４、ＧＯＰ映像情報３８の先頭に配置されＧＯＰ映像情報に関連した付帯情報が記述された付帯情報領域３７、ＧＯＰ映像情報４０，４１の先頭に配置されＧＯＰ映像情報に関連した付帯情報が記述された付帯情報領域３９が図示されている。
【００５６】
また、図１１では、ピクチャレイヤのストリーム情報として、付帯情報を記載したパケットデータ部４２、面内符号化データから構成されたＩピクチャデータ４３、Ｉピクチャデータ４３とＰピクチャ４５とから時間方向に予測された符号化データであるＢピクチャ４４、Ｉピクチャデータ４３から片方向のみの時間方向に予測された符号化データであるＰピクチャ４５が図示されている。また、図１１では、トランスポートパケットデータのレイヤとして、付帯情報を記載したトランスポートパケットデータ部でパケットデータ部４２と同じパケット４６、Ｉピクチャデータ４３をトランスポートパケットで分割した先頭のパケット４７、Ｉピクチャデータ４３の最後のデータが格納されたトランスポートパケット４８、トランスポートパケット４８の中のＩピクチャデータの最後の部分４９、トランスポートパケット４８の中のパディング処理された部分５０が図示されている。
【００５７】
また、図１２は、映像タイトル（映像コンテンツ）２７における３Ｄ映像情報２９、２Ｄ映像情報３０，３１とが選択的に選べる領域の階層のデータ構造を示したものである。図１２では、３Ｄ映像情報２９、２Ｄ映像情報３０，３１とが選択的に選べる領域における先頭に配置された本映像列に関連した情報が格納された付帯情報５１、当該領域におけるＧＯＰ映像情報列５２、ＧＯＰ映像情報列５４に関連した情報が格納されている付帯情報５３、当該領域の最後のＧＯＰ映像情報列５６に関連した情報が格納されている付帯情報５５が図示されている。また、図１２では、ピクチャレイヤのストリーム情報として、面内符号化データから構成されたＩピクチャデータ５７、Ｉピクチャデータ５７とＰピクチャ５９とから時間方向に予測された符号化データであるＰピクチャ５８、Ｉピクチャデータ５７から片方向のみの時間方向に予測された符号化データであるＢピクチャ５９が図示されている。
【００５８】
また、図１２では、トランスポートパケットデータのレイヤとして、Ｉピクチャデータ５７をトランスポートパケットで分割した先頭のパケット６０、Ｉピクチャデータ５７の最後のデータが格納されたトランスポートパケット６１、トランスポートパケット６１の中のＩピクチャデータの最後の部分６２、トランスポートパケット６１の中のパディング処理された部分６３が図示されている。また、図１２に示す矢印Ａは再生部分、矢印Ｂは３Ｄ再生を行った場合にジャンプする部分、矢印Ｃは３Ｄ再生を行うために再生する部分であり、右目映像のＧＯＰ映像情報と左目映像のＧＯＰ映像情報とが配置されているものである。図１３では、映像タイトル２７における３Ｄ映像情報２９、２Ｄ映像情報３１とが選択的に選べる領域の階層のデータ構造を示したものであり、基本的に図１２と同じであるため同じ構成要素については同符号を付して説明を省略する。
【００５９】
光ディスクやＨＤＤ媒体に記録されるデータの構造としては、図１０に示されるように映像関連の付帯情報やシーケンス等を記録した映像制御情報２３の領域と実際の映像タイトル（映像コンテンツ）２４，２５の領域とから構成される。この時、３Ｄ映像は必ずしも全編が３Ｄ映像となっているわけではなく、２Ｄ映像との混在である場合や、これら映像がユーザの選択により切り替えられる場合が想定される。特に、ＤＶＤ規格においてはマルチアングルといったユーザの選択可能な映像情報列を切り替えて表示できるようになっており、３Ｄ映像情報の場合も、ユーザの機器がすべて３Ｄ映像対応になっていない事を考慮すると、２Ｄ映像ストリームの上に、追加的に３Ｄ映像ストリームが構築される。そして、ユーザの表示機器が３Ｄ対応の場合、ＨＤＭＩ端子のリンク機能等により自動的に識別し３Ｄ映像ストリームを選択的に表示させるか、ユーザのボタン操作により選択的に３Ｄ映像側に決定し動作させる方法が考えられる。もちろん、全てのコンテンツが２Ｄ映像のみもしくは３Ｄ映像のみの形態もある事はいうまでもないが、フォーマットとしてはこのような複合形態への配慮が必要である。
【００６０】
また、映像タイトル２４の映像情報ストリームにおいても、映像情報ストリーム上にこれに関連する付帯情報領域を設け、情報のアクセスと管理や、機器の設定切換えの対応等を行う事が望ましい。特に、２Ｄ映像と３Ｄ映像とが混在するコンテンツにおいては、ＴＶ側で映像ストリームの２Ｄ映像か３Ｄ映像かの判定を行う必要があり、ストリーム上に付帯情報領域があればこの情報に基づき、ＴＶ側の設定を簡便にかつ自動的に切り替える事が可能となる。記録媒体を再生もしくは記録するプレーヤ・レコーダですべての設定を閉じて行う場合、制御情報をディスクの一部に集約して配置する映像制御情報２３に記載するのみでも良い。しかし、ＴＶとの接続連携を行う場合では、特に再生中にＴＶを切り替える等の処置を行う場合は、映像情報自体に、必要最低限の制御情報を重畳させておくことで、ＴＶ側の自動切換え設定等が行えるようになる。上記映像情報中の制御情報がない場合は、ＴＶの接続切換えを検出し、別途制御情報をプレーヤ・レコーダから送出しＴＶ側の設定を変更した後、映像情報を送出する事となる。これらＴＶ側の設定変更については、立体映像再生の処理自体が偏光を切り替える等表示装置側で行われるため、表示装置の設定変更処理を迅速に行うようなしくみが必要となる事はいうまでもない。
【００６１】
付帯情報５１は、情報のアクセス管理にも使用する事が可能であり、ＤＶＤ規格ではＮａｖｉ情報として定着しているものである。ここで、２Ｄ映像と３Ｄ映像とが混在している場合、図１１に示す３Ｄ映像情報２９，２Ｄ映像情報３０，３１のようにコンテンツの時系列上は並列する形となる。そこで、先頭にある付帯情報３４はＧＯＰデータ情報群の頭に配置される必要があり、まず付帯情報の内容を読み取る事により、次のＧＯＰ列の情報が２Ｄ映像なのか、３Ｄ映像なのか、３Ｄ映像であれば左目映像なのか右目映像なのか、またＧＯＰ映像情報群におけるそれらの配置情報（どこにアクセスすれば良いか）を判断する事ができる。ここで、付帯情報５１を先頭に含むＧＯＰ映像情報群はビデオユニットとしてＧＯＰ映像情報よりもさらに大きな映像単位として定義される。
【００６２】
また、ＭＰＥＧ等の時間方向にも圧縮をかけた映像情報データの場合は、Ｉピクチャを先頭とするＧＯＰ映像情報単位で情報が存在するため、映像データのアクセスはこのＧＯＰ映像情報単位となる事はいうまでもない。また、付帯情報は最初に読み取る必要があるためＧＯＰ映像情報群の先頭に配置しなければならず、例えば図１２のように３Ｄ映像情報部分を再生する場合は、まず付帯情報５１を再生（図中矢印Ａ）した後、２Ｄ映像情報３０，３１をジャンプして、３Ｄ映像情報２９を再生する。この際、２Ｄ映像情報３０，３１は図中矢印Ｂのようにジャンプし再生機器のメモリに不要な情報（この場合は２Ｄ映像情報３０，３１）を取り込まないようにして不要なメモリの増大を回避するとともに、映像の途切れが生じないように図中矢印Ｃの３Ｄ映像情報２９を再生する。
【００６３】
また、上記ＧＯＰ映像情報の先頭の付帯情報５１は、その下のピクチャレイヤの状態で示すと、Ｉピクチャ５７の先頭位置に配置されている。さらに、地上波や衛星・ケーブル等のディジタル放送等との親和性を持たせるため、これら圧縮映像データはトランスポートパケットで分割しておく事が便利であるため、最下層のデータとしては図１２のようにトランスポートパケット６０，６１に分割する。この場合でも付帯情報５１はＧＯＰ映像情報群５２の先頭のトランスポートパケットにて記載される事となる。なお、トランスポートパケットにおける新たに定義されたプライベートパケットを使用する事はいうまでもない。さらに、上記ＧＯＰ映像情報群の最後のトランスポートパケット６１は、必ずしも一定のトランスポートパケット単位でデータが切れるわけではないので、最後の部分６３を「００」や「ＦＦ」でパディングしてＧＯＰ映像情報単位でパケットのデータが完結するようにしておく事が良い。また、図１３のように１つの２Ｄ映像３１と１つの３Ｄ映像２９との２本に分岐している場合は、図１２と比べ図中矢印ＢのジャンプするＧＯＰ映像情報量が少ないだけであり、基本的な動作は図１１と変わらない。
【００６４】
なお、上記付帯情報の内容についてさらに説明する。図１４に示す付帯情報５１は、コンテンツ情報６４、タイムコード６５、配置情報６６、映像情報に関する情報６７、音声情報に関する情報６８、ＯＳＤ情報に関する情報６９で構成されている。そして、図１４に示すコンテンツ情報６４は、コンテンツ名７０、著作権７１、暗号情報７２、３Ｄ映像の有無７３、有効地域情報７４で構成されている。
【００６５】
また、図１５に示すタイムコード情報領域６５は、プレゼンテーションタイム６５Ａ、同期情報６５Ｂで構成されている。図１６に示す配置情報６６は、シームレス情報７５、ジャンプ先情報７６、アングル情報７７、ＧＯＰ内配置情報７８で構成されている。図１７に示す映像情報６７は、解像度情報７９、フレームレート情報８０、３Ｄ映像情報８１、パレンタル情報８２、アングル情報８３、暗号情報８４、３Ｄ映像方式及び有無に関する情報８５、３Ｄ映像フレームレートに関する情報８６、３Ｄ映像情報数８７、奥行き解像度に関する情報８８、奥行き変化度に関する情報８９、字幕許可の奥行きに関する情報９０、奥行き制限に関する情報１００、視差量制限に関する情報１０１で構成されている。
【００６６】
また、図１８は、上記付帯情報を表示装置であるＴＶに表示させた場合の模試図である。図１９（ａ），図１９（ｂ）は、複数のカメラからマルチアングル撮影した場合の模試図である。また、図２０に示すＯＳＤ情報６９は、ＯＳＤ配置情報６９Ａ、ＯＳＤ格納先の情報６９Ｂ、フォントや字体の大きさ指定６９Ｃ、面内のＯＳＤ配置情報６９Ｄ、奥行き方向のＯＳＤ配置情報６９Ｅ、奥行き位置６９Ｆ、奥行き許可制限６９Ｇ、奥行きズーミング速度６９Ｈで構成されている。
【００６７】
ここで、図１４における付帯情報５１は、まずストリーム上のＧＯＰ映像情報群毎に記述されたものであり、ＴＶ等にＨＤＭＩ伝送された場合でも、映像情報ともに伝送されるものである。従って、特に３Ｄ映像表示に関するＴＶ側の設定にも必要な情報も含まれることはいうまでもない。
【００６８】
次に、図１４に示すコンテンツ情報６４について説明する。コンテンツ名７０は、（１）コンテンツ名，（２）出演者名，（３）製作時期，（４）配給会社，（５）関連する作品名，（６）あらましをＴＶ側のＯＳＤ情報として表示させる場合がある。当該コンテンツ名７０は、映像ストリーム上に重畳された付帯情報５１が含まれるのであれば、途中でＴＶ側の入力を３Ｄ映像情報に切り替えた場合でも、コンテンツ名７０の内容を表示する事が可能となる。
【００６９】
図１４に示す著作権情報７１として、（７）著作権者，（８）配給会社，（９）輸入業者，（１０）資本参加社を記載しておくことで、映像ストリームの著作権所有者の情報も同時に配信する事ができ、本再生データを用いて不正な使用を行った場合でも著作権者の権利を主張する事ができる。また、本情報は映像ストリームに重畳されるため、ＴＶをつなぎかえた場合においても常にＴＶ側に情報配信されるため、著作権に関する表示を行う事も可能となる。
【００７０】
また、図１４に示す暗号情報７２は、（１１）暗号の有無，（１２）暗号方式を記載しておく事で、暗号化された機密性の高い情報なのか、コマーシャル等の機密性の無い情報なのか伝送先の機器へ送付する事ができる。
【００７１】
また、図１４に示す３Ｄ映像情報７３は、（１３）３Ｄ映像対応の有無，（１４）全２Ｄ映像対応かどうか（２Ｄ映像表示のみで最後まで再生できるかどうか？），（１５）３Ｄ映像対応の場合、３Ｄ映像再生が優先かどうかを記載する事で、３Ｄ映像対応でないＴＶと接続した場合には非対応である事をユーザに表示させる事ができるようになる。また、ＴＶとＨＤＭＩでリンク接続している場合は、ＴＶ側を自動的に３Ｄ映像設定に切り替えたり（例えば、図１から図３に示すように自動的に２映像ストリームをフィールド毎に表示させる）、ＴＶ側に３Ｄ映像機能が無い場合は、ＴＶや再生装置側でＴＶが未対応と表示させたり、ディスクを吐き出す等の処置を行う事ができる。
【００７２】
また、図１４に示す有効地域７４は、（１６）２Ｄ映像の再生許可地域，（１７）３Ｄ映像の再生許可地域を記述する事で、本ディスクの再生許可地域を限定するだけではなく、２Ｄ映像のみ許可し３Ｄ映像対応の表示を許可する地域を限定して指定する事もできる。これは、３Ｄ映像再生に関するライセンス条件が整っていない場合に、特定の地域で２Ｄ映像再生のみを許可するケースが生じるからである。３Ｄ映像の再生許可地域が許可されていない地域であれば、３Ｄ映像表示装置と接続してあっても２Ｄ映像のみの再生となったり、ディスクを吐き出す等の処置が行われる事となる。
【００７３】
次に、図１５に示すタイムコード情報６５について説明する。２Ｄ映像と３Ｄ映像とが混在する映像コンテンツにおいては、ユーザによって途中の切換え（例えば３Ｄ映像から２Ｄ映像）が発生した場合でも、映像情報の流れを途切れたり省略したりする事なく連続的に再生させなければならない。また、ユーザの指示から例えば１０分前に戻る・進む等のタイムサーチが発生する場合がある。そのためＧＯＰ映像情報群の先頭には以下に示す、その映像のタイトル開始時点からの再生時間情報であるプレゼンテーションタイム６５Ａを記録しておく必要がある。なお、タイトル再生終了までの残り時間情報もしくはタイトル再生全時間を記載しておく事でＴＶ側で残時間表示等を行う事が可能となる。
【００７４】
また、３Ｄ映像は実施の形態１で説明した目の疲れ等を誘発しやすいため、３Ｄ映像再生開始からのタイムコード（連続してどれだけの３Ｄ映像を視聴したか）や、本映像コンテンツのトータルでどれだけの３Ｄ映像を視聴したかについて表示し、目の疲れを防ぐための休憩の指示や危険表示を行う事ができる。また、３Ｄ映像における右目・左目それぞれのＧＯＰ映像情報があった場合、その再生順序に対応するフィールド指定を行う事が可能となる。つまり、プレゼンテーションタイム６５Ａには、（１８）タイトル開始時点からのタイムコード（プレゼンテーションタイム），（１９）タイトル再生終了までの残り時間情報もしくはタイトル再生全時間，（２０）３Ｄ映像再生開始からのタイムコード（３Ｄプレゼンテーションタイム），（２３）トータル３Ｄ再生時間，（２４）左右映像の再生順もしくはフィールド指定を記載しておく。また、同期情報６５Ｂは、映像コンテンツの同期を規定し左右映像の再生順もしくはフィールドを指定して行う。
【００７５】
次に、図１６に示す配置情報６６について説明する。特に２Ｄ映像コンテンツと３Ｄ映像コンテンツとが混在する場合、再生に不要な情報を飛ばしたり、必要なデータの先頭位置にＧＯＰ映像情報群における配置情報の記述が必要となる。また、特殊再生動作を行う場合はＭＰＥＧ等の時間軸方向の圧縮映像の特性からまず面内圧縮画像からアクセスが必要となる点も配慮しなければならない。そのため、シームレス情報７５には、（２５）シームレス再生の有無（次のＧＯＰ映像情報群までの）が記録される。また、ジャンプ先情報７６には、（２６）ジャンプ先（正方向と逆方向）アドレス１、アドレス２等，（２７）ジャンプ先のタイムコード情報１、タイムコード情報２等（複数のジャンプ先情報をテーブル情報として有する），（２８）ジャンプ先の３Ｄ映像情報有無が記録される。なお、（２８）ジャンプ先の３Ｄ映像情報有無の情報に基づきジャンプ先に３Ｄ映像情報が無い場合、ストリーム再生中にＴＶの設定を２Ｄ映像に戻すことができる。
【００７６】
アングル情報７７には、（２９）複数のアングルに対応したＧＯＰ映像情報のアドレス１、アドレス２等，（３０）複数のアングルに対応したＧＯＰ映像情報のタイムコード情報１、タイムコード情報２等が記録される。ＧＯＰ内配置情報７８には、（３１）各ＧＯＰ内のＰピクチャの配置情報としてのアドレス情報１、アドレス情報２等が記録されることになる。以上のように、シームレス情報７５を有することにより、必要なアングルをつなぎながら順次再生する事も可能になるほか、ＧＯＰ内の配置情報によりＩピクチャのみを再生したり、ＩとＰピクチャのみを再生する事による早送りや早戻し際再生が可能となる。
【００７７】
次に、図１７に示す映像情報６７について説明する。映像情報６７において立体映像情報として特に必要となるものを以下に示す。まず、解像度情報７９には、（３２）２Ｄ映像再生の場合の解像度（面内方向）、ＰｉｎＰ画像の解像度（面内方向），（３３）３Ｄ再生時の解像度（面内方向）を記憶する。３Ｄ映像有無方式８５には、（３４）３Ｄの有無，（３５）３Ｄ映像方式指定（倍スキャンレート指定，偏光メガネありなし，液晶シャッタありなし）が記録される。３Ｄフレームレート８６には、（３６）２Ｄ映像再生時のフレームレート、３Ｄ映像再生時のフレームレートが記録される。
【００７８】
３Ｄ映像情報数８７には、（３７）平行して再生される独立した３Ｄ映像情報ストリーム数が記録される。なお、別々のアングルがｎ本ある場合は、ｎ＝アングル番号と記載される。本情報に基づき、再生中にアングル数を表示し、ユーザからの選択によるアングルの切換えとともに、アングル番号の表示による認識を行わせる事が可能となる。３Ｄ映像情報数８７には、（３８）左右映像を順次切換える場合の３Ｄ映像ストリーム数とカメラ情報も記録される。例えば、図１９（ａ）に示すように、５本の視差分だけずれたカメラＤ〜Ｈを用いて映像を撮影、もしくは、アニメ画像等をＣＧによって５本の視差映像情報にして記録した場合、これらの本数と、各カメラの間隔もしくは角度を記載する。付帯情報の記載一例としては、総合情報−映像本数５−カメラ間隔＊＊ｍｍ，カメラＤによる映像１−角度１，カメラＥによる映像２−角度２，カメラＦによる映像３−角度３，カメラＧによる映像４−角度４，カメラＨによる映像５−角度５となる。
【００７９】
視差分だけずれた映像が５本あった場合、実際のアングル映像としては、アングルＤは映像１が左、映像２が右，アングルＥは映像２が左、映像３が右，アングルＦは映像３が左、映像４が右，アングルＧは映像４が左、映像５が右と５本の視差映像情報で、図１９（ｂ）に示すように少しずつアングルの異なる４つの立体アングル映像を再生する事ができる。このとき順次アングル情報をずらす事で映像を回転させたりする事も可能である。従って、各映像ストリームが１つのアングル情報を指すのではなく、隣接する視差角を持った映像との組み合わせで新たなアングル情報が構築できる。近年、ＣＧ技術の進化により、アニメーション映像では容易に立体映像を作る事が可能となっており、このような複数アングルの視差情報を準備し、ユーザからのリモコンの指定によりおのおのにアクセスする事で、アングルずらしによる視点変更も可能になる。
【００８０】
奥行き解像度８８には、（３９）３Ｄ映像における奥行き解像度１、解像度２等が記録される。なお、３Ｄ映像ストリームが複数本あった場合、複数本奥行き方向解像度を記載する。例えば、ＣＧ映像等により極端に奥行き解像度が低く、時間的にもカクカク動くような場合は、本情報に基づき、時間方向に奥行きを補完して、なめらかに表示させる事も可能になる。奥行き変化度８９には、（４０）３Ｄ映像における奥行き変化度１、変化度２等が記録される。なお、３Ｄ映像ストリームが複数本あった場合、複数本奥行き方向変化度を記載する。特に、変化度については実施の形態１に示すような人間の目の疲れに関連するため、安全性を確保するために、記載しておき、ユーザへの警告や休憩指示等に用いる事ができる。
【００８１】
字幕許可奥行き９０には、（４１）字幕許可奥行き範囲（最大視野角１、最小視野角１、最大視野角２、最小視野角２等）が記録される。なお、３Ｄ映像ストリームが複数本あった場合、複数本奥行き方向変化度を記載する。字幕情報については、後述する立体映像視聴の際に、字幕焦点位置と注目点とで焦点を頻繁に合わせる必要がある事から、目の疲れに影響しやすく、表示範囲を十分限定しておくことが必要となる。また、奥行き情報の記載は、実距離にした場合、遠い方が無限遠になるため数値化しづらく、視野角情報で記載する事が望ましい。また、無限遠に近い場合は詳細数値を記載する事に意味をなさないため、例えば視野角１ｄｅｇ以下は省略する等の下限を設けても良い。プレーヤではこれら情報に基づいて、ＯＳＤの表示における字幕の奥行き位置を設定する。
【００８２】
奥行き制限１００には、（４２）奥行き制限（最大視野角１、最大視野角２等）が記録される。あまり近くに飛び出してくる立体映像においては、心理的な効果からびっくりする等の感覚を与える。そのため、字幕ではなく立体映像そのものの飛び出し量を制限し、目にやさしい効果や、あまりびっくりさせないような配慮を行う。この場合プレーヤでは、図１７に示すように映像コンテンツで予め飛び出しの最大量となる視野角を記録しておく事により、図１８のように小さなお子さま等の視聴者に警告したり視聴制限させる事が可能となる。
【００８３】
視差量制限１０１には、（４３）視差量制限（撮影時の最大視野角１、最小視野角１、最大視野角２、最小視野角２等）を記載する。なお、３Ｄ映像ストリームが複数本あった場合、複数本奥行き方向変化度を記載する。本情報は撮影時の２つのカメラの距離である視差基準量は人の目の間隔によって異なるため、この基準角度のずれ量の範囲を規定したものである。これにより両目の間隔の小さな子供等が視聴した場合の違和感を予め把握する事ができる。
【００８４】
このように、違和感の解消のために、同一映像コンテンツにおいて視差基準量の異なる複数立体映像を用意し、視聴者の目の間隔に合わせて選択する方法等も考えられる。複数の視差基準量については、近年ＣＧ技術が革新し、アニメーション映像等においてはコンピュータにより容易に変更できるようになっている。この場合、このような視差量制限情報を付帯情報に記載することによって、プレーヤでは図１８に示すように＊＊才〜＊＊才、大人等の選択キーを用意し、これを選択する事で元の映像コンテンツにおける視差基準量を視聴者にあわせて、正確な立体視聴が可能となる。また、視差のずれた映像を長時間見る事による目の疲れ等も回避できる。さらに、パレンタル８２においては、通常の平面映像２Ｄパレンタルレベル以外に３Ｄ映像対応した立体映像パレンタルレベルが規定される。パレンタル８２には、（４４Ａ）平面映像パレンタルレベル（現行ＤＶＤ等と同等のパレンタル表記），（４４Ｂ）立体映像パレンタルレベル（実施の形態１にて説明した立体映像パレンタルレベル）とを記録する。
【００８５】
また、図２０に示すようにＯＳＤ情報６９には、まずＯＳＤ自体の付帯情報となる配置情報６９Ａと、ＯＳＤそのものの情報が格納されているアドレスを記載したＯＳＤ情報格納先６９Ｂとを記録する。ＯＳＤ表示６９には、まずこの付帯情報を取り込みマイコン等で理解した上で、この格納先情報により実際のＯＳＤを取得し表示させる事となる。
【００８６】
ここで、字体の大きさ等の情報６９Ｃには、（４５）字体フォント、字体大きさを記録する。面内配置情報６９Ｄには、（４６）字体の配置情報（Ｘ位置、Ｙ位置）を記録する。
【００８７】
奥行き方向ＯＳＤ配置情報６９Ｅには、（４７）奥行き位置６９Ｆ，（４８）奥行き許可制限６９Ｇ（遠方制限位置、手前制限位置、奥行き変化量制限等の実施の形態１における目の疲れを軽減するための制限），（４９）奥行きズーミング速度６９Ｈ（ズーミングありなし、ズーミング速度）が記録される。なお、奥行きズーミング速度６９Ｈでズーミングを規定する事により、ある字幕から次の字幕に切りかわる際に、瞬時に奥行き位置を変化させるのではなく、すこしずつズームするように変化させ、目の疲れを軽減させるためのものである。
【００８８】
なお、上記（１）から（４３）までの３Ｄ映像情報における付帯情報は、映像情報ストリームに重畳されたものとして、映像情報とともに配信されるが、以下に述べる映像情報そのものとは別の領域に記載された映像制御情報２３にも同様な記載を行う事ができる。また、プレーヤ起動時の最初にすべての情報を読み込めるため、各種初期設定を行う事が可能である他、ビットレートやメモリの制限にかかる事なく映像情報に重畳するよりも多くの情報を記述できるため、より詳細な制御情報を記述する事が可能である。
【００８９】
次に、記録媒体のある領域に映像情報とは別に配置されている制御情報の構造について説明する。図２１は、まとめて配置されている映像制御情報２３のＧＯＰテーブル部分とその中の映像関連情報について詳細に説明するための図である。図２１に示す映像制御情報２３は、コンテンツ情報６４、著作権７１、暗号情報７２、３Ｄ映像の有無７３、有効地域情報７４、ＧＯＰテーブル情報１０２、シーケンス情報１０３、メニュー情報１０４、メニューのＯＳＤデータ１０５を備えている。そして、ＧＯＰテーブル情報１０２は、図２１に示すように表形式となっており、ＧＯＰ番号、論理アドレス、タイムコード、シーケンス、配置、映像、音声、ＯＳＤの各欄が設けられている。
【００９０】
図２１では、特に映像欄の構成が図示されており、解像度情報７９、フレームレート情報８０、３Ｄ映像情報８１、パレンタル情報８２、アングル情報８３、暗号情報８４で構成されている。さらに、図２１では、３Ｄ映像情報８１が３Ｄ映像方式及び有無に関する情報８５、３Ｄ映像フレームレートに関する情報８６、３Ｄ映像情報数８７、奥行き解像度に関する情報８８、奥行き変化度に関する情報８９、字幕許可の奥行きに関する情報９０、奥行き制限に関する情報１００、視差量制限に関する情報１０１で構成されていることが図示されている。
【００９１】
また、図２２も、まとめて配置されている映像制御情報２３のＧＯＰテーブル部分とその中の映像関連情報について詳細に説明するための図である。図２２では、特にＯＳＤ欄の構成が図示されており、字幕の有無１０６とＯＳＤ情報６９とで構成されている。ＯＳＤ情報６９は、ＯＳＤ配置情報６９Ａ、ＯＳＤ格納先の情報６９Ｂで構成され、ＯＳＤ配置情報６９Ａは、フォントや字体の大きさ指定６９Ｃ、面内のＯＳＤ配置情報６９Ｄ、奥行き方向のＯＳＤ配置情報６９Ｅで構成され、奥行き方向のＯＳＤ配置情報６９Ｅは、奥行き位置６９Ｆ、奥行き許可制限６９Ｇ、奥行きズーミング速度６９Ｈで構成されている。
【００９２】
また、図２３は、記録媒体のある領域に映像情報とは別にまとめて配置されている映像制御情報のシーケンス情報の構造について説明したもので、シーケンス情報１０３が表形式で記録されていることを示している。図２３の映像欄には、解像度情報７９、フレームレート情報８０、アングル情報８３、３Ｄ映像情報８１、パレンタル情報８２が記録されている。なお、３Ｄ映像情報８１は、３Ｄ映像方式及び有無に関する情報８５、３Ｄ映像フレームレートに関する情報８６、３Ｄ映像情報数８７、奥行き制限に関する情報１００、視差量制限に関する情報１０１で構成されている。一方、図２３のＯＳＤ欄には、字幕の有無１０６、字幕フォント・色１０７、字幕表示方法１０８、字幕表示奥行制限１０９、字幕データアドレス１１０とが記録されている。
【００９３】
記録媒体のある領域に映像情報とは別に配置されている制御情報については、映像情報ストリーム上に重畳された付帯情報３４、５１の情報を含めてすべての情報が記載されている。これはプレーヤ・レコーダの立ち上げ時にまず制御情報を読みこみ、各種初期設定を行うためである。
【００９４】
まず、映像制御情報２３は図２１のように記載されており、図１４の映像情報中に重畳された付帯情報５１と同じくコンテンツ情報６４、タイムコード６５、配置情報６６、映像情報に関する情報６７、音声情報に関する情報６８、ＯＳＤ情報に関する情報６９を含んでいる。しかしながら、より多くの情報を格納できる映像制御情報２３においては、ＧＯＰテーブル１０２といった全ＧＯＰに関するテーブル情報を記載する事ができ、映像再生しなくてもＧＯＰ映像情報単位での情報内容を把握する事が可能となる。ここでＧＯＰテーブル１０２は図２１中の表のように記載され、論理アドレスがある事から、所定のセクタ領域から読み出された信号から上記データ・ファイル識別情報を検出し、検出された上記データ・ファイル識別情報にもとづいて、上記位置識別信号によって示された位置にある上記符号化単位に対応した上記データ・ファイルがディスク媒体上に記録されている位置を識別する。識別された上記ディスク媒体上の位置にもとづいて上記データ・ファイルを読み出し、読み出された上記データ・ファイルに含まれる上記符号化単位で符号化された信号を復号化して画像信号を再生する事ができる。これにより、所望の時点にある符号化単位が記録されている位置を容易にしかも即座に特定して再生することを可能にする。
【００９５】
また、上記ＧＯＰテーブル１０２においては映像に関する付帯情報において３Ｄ映像情報を含み上記（３２）〜（４３）の映像ストリーム中に記述された項目と同じ項目の付帯情報をＧＯＰ映像情報毎に記述する事が可能となる。また、字幕情報に関しても、図２３に示すように字幕の有無１０６、字幕フォント・色１０７、字幕表示方法１０８、字幕表示奥行制限１０９、字幕データアドレス１１０を記述する事で（４４）〜（４９）に示す情報と同様な情報をＧＯＰ映像情報単位に字幕の付帯情報を記載可能となる。
【００９６】
また、上記映像制御情報２３には図２３に示すようにＧＯＰ映像情報単位のシーケンス情報を記載する事も可能である。これにより再生開始時に、データ・ファイルの再生順序を示す情報が記録された所定のセクタ領域のセクタ・アドレスを生成し、データ読み出し手段によって読み出されたデータから再生順序情報を読む事によって再生順序情報が検出され、その後再生順序情報にもとづいてセクタ・アドレスを生成する。これにより、記録媒体上に分散したセクタに記録された画像信号も再生することが可能となっている。このようなシーケンステーブル情報にも上記（３２）〜（４９）に示す付帯情報を記載することが可能となる。
【００９７】
（実施の形態３）
次に、本実施の形態３について以下に説明する。図２４は、本実施の形態３に係る立体映像記録装置のブロック図である。図２４に示す立体映像記録装置は、視差情報を利用した立体映像の右目映像と左目映像のそれぞれの映像信号をディジタル化するためのＡＤコンバータ１４６と、時間方向に画像圧縮するために必要な動きベクトル検出（動き検出）１４７と、面内圧縮に必要なＤＣＴ変換回路１４８と、面内圧縮に必要な適応量子化回路１４９、ローカルデコーダにおける逆量子化回路１５０とを備えている。さらに、図２４に示す立体映像記録装置は、面内圧縮に必要な可変長符号化回路１５１と、ローカルデコーダにおけるＤＣＴ逆変換回路１５２と、ローカルデコーダにおけるフレームメモリ１５３と、圧縮後のデータを格納するバッファメモリ１５４と、ＯＳＤ情報のエンコーダ１５５と、音声エンコーダ１５６と、フォーマットエンコーダ１５７と、光ディスク１６５に書き込む信号を生成するための変調手段１５８と、ＬＤ変調回路１５９とを備えている。さらに、図２４に示す立体映像記録装置は、光ディスク１６５に記録するアドレスを抽出するためのアドレスヘッダ認識回路１６０と、光ヘッド１６４からの信号を再生するための再生アンプ１６１と、光ヘッド１６４や送りモータ１６３や回転モータ１６６を制御するためのサーボ回路１６２と、装置全体のシーケンスを制御管理するためのシステムコントローラ１６７とを備えている。
【００９８】
また、図２５は、図２４の立体映像記録装置に基づいて生成した立体映像信号のストリーム構造を示した図である。図２５に示す立体映像信号のストリーム構造は、付帯情報５１以降に、右目映像のＧＯＰ１６８、左目映像のＧＯＰ１６９、情報に関する情報６８、ＯＳＤ情報６９の構成が順に繰り返す構造である。また、図２５に示す右目映像のＧＯＰ１６８は、ＧＯＰヘッダ１７０、ピクチャヘッダ１７１，１７３、Ｉピクチャデータ１７２、Ｂピクチャデータ１７４で構成されている。さらに、図２５に示すＧＯＰヘッダ１７０は、ＧＯＰヘッダ１７０内にあるユーザデータスタートコード１７５、ＧＯＰヘッダ１７０内にある３Ｄ映像情報１７６で構成されている。さらに、図２５に示す３Ｄ映像情報１７６は、左目映像か右目映像かを記載した情報１７７、３Ｄ映像方式及び有無に関する情報８５、３Ｄ映像フレームレートに関する情報８６、３Ｄ映像情報数８７、奥行き制限に関する情報１００、視差量制限に関する情報１０１で構成されている。
【００９９】
また、図２６は、図２４の立体映像記録装置に基づいて生成した立体映像信号のストリーム構造において下位の構造部分を図示したものである。図２６では、右目映像のＧＯＰ１６８のトランスポートストリームパケット１７８〜１８２で示しており、左目映像のＧＯＰ１６９のトランスポートストリームパケット１８５〜１８８で示している。ＧＯＰ映像情報の最後のデータが記述されたトランスポートパケット１８２，１８８の最後のデータがそれぞれデータ１８３，１８９であり、データ１８３，１８９のそれぞれにパディング処理された部分１８４，１９０が付加されている。
【０１００】
ここで、図２４に示す立体映像記録装置は、左目と右目のそれぞれで同じ映像圧縮を行うようにしたものであり、ＡＤコンバータ１４６でディジタル化された右目映像は動き検出１４７の処理によって各映像マクロブロック単位での動きベクトルが抽出される。また、映像データの最初は面内符号化処理されているため、ＤＣＴ変換回路１４８にてＤＣＴ変換した後、適応量子化回路１４９で量子化され、可変長符号化回路１５１にて可変長符号化してバッファメモリへと送付される。この時、適応量子化後の映像データは逆量子化回路１５０、ＤＣＴ逆変換回路１５２によるローカルデコーダによって元の映像信号が復元され、さらにフレームメモリ１５３にて動き補償した映像と比較する事で、以降の時間軸方向の圧縮を行う画面において差分情報のみを使用して圧縮していく事が可能となっている。このような圧縮方式はＭＰＥＧやＨ．２６４等の圧縮方法において基本的な方式となっており広く用いられているものである。
【０１０１】
ここで、図２４では右目映像と左目映像とをそれぞれ独立した映像ストリームとして入力し、それぞれ別々のエンコードブロックにてエンコードされる。そのため図２４では右目及び左目が同じブロックをそれぞれ並列に配した構造となっている。ただし、入力部分にメモリを配置し、一旦左目映像と右目映像とを蓄積した上で、同じエンコード回路を倍の速度で処理し、１つのエンコードブロックで同様に処理を行う事も可能である。これらエンコードされた立体映像情報は、バッファメモリ１５４でＯＳＤエンコーダ１５５からのＯＳＤ情報、音声エンコーダ１５６からの音声情報、フォーマットエンコーダ１５７からのフォーマットに必要な付帯情報を追記し、記録媒体である光ディスク１６５に記録するデータ形式に整えられる。ここで、フォーマットエンコーダ１５７は、従来の光ディスクフォーマットに必要とされるＮａｖｉ情報やメニュー情報に加えて、本発明に係る３Ｄ映像情報の記録に必要な付帯情報も追記する。
【０１０２】
なお、光ディスクに記録される形式の映像データは、変調手段１５８で光ディスク１６５に物理的に書き込むための情報として誤り訂正符号を付加するとともに変調処理され、ＬＤ変調回路１５９にて光ヘッド１６４に搭載されたレーザを変調させるための信号を生成する。この際、光ディスク１６５に安定的に記録させるためのサーボ回路１６２によって、光ヘッド１６４を移動させる送りモータ１６３やディスク１６５を回転させる回転モータ１６６や光ヘッド１６４内の対物レンズアクチュエータを制御しトラックあわせや焦点あわせを行っている。また記録時には光ディスク１６５上のアドレスを読み込む必要があり、光ヘッドにて受光した信号を光電変換した微小信号を再生アンプ１６１で再生し、アドレスヘッダ認識回路１６０でアドレス情報を生成する。これらアドレス情報はシステムコントローラ１６７で各ブロックの起動設定とあわせシーケンス処理され、特に高速なタイミングが必要とられる書き込みタイミング処理等は専用のハードウェアで行われ、プログラミングが必要なシーケンス設定部分はＣＰＵ等で行われる。
【０１０３】
ここで、立体映像記録装置によって生成される映像ストリームは、図２５に示す構造となる。まずＭＰＥＧ等の時間軸方向の圧縮映像を含む圧縮映像データは一般的にＧＯＰと呼ばれる面内圧縮符号映像を含む。例えば１５ピクチャ単位程度の映像ブロックとして構成される。ここでは視差情報を利用した右目映像ブロックと左目映像ブロックとの２つあるため、付帯情報５１を先頭とし右目映像のＧＯＰ１６８と左目映像のＧＯＰ１６９とがシーケンシャルに配置させる。なお、右目映像及び左目映像がそれぞれ１ＧＯＰの例を示しているが、映像条件が変わらない範囲で同一ＧＯＰ数であれば複数個のＧＯＰから構成してもよい。また、付帯情報５１については実施の形態２で説明した通りであるが、ここではさらにＧＯＰヘッダ部分に新たなユーザデータスタートコードを定義し、その後ろに３Ｄ映像情報１７６を記載する事も可能である。
【０１０４】
まず、３Ｄ映像情報１７６には左目映像か右目映像かを識別するための情報（フラグでもよい）１７７を配置するとともに、実施の形態２にて説明した３Ｄ映像方式の有無８５や、３Ｄ映像フレームレート８６、３Ｄ映像情報８７、奥行き情報１００、視差量制限情報１０１を記録する。また、図２６に示すように付帯情報５１は、トランスポートパケットのレイヤにおいてプライベートパケット（ＴＳＰ１）１７８を設け、これをトランスポートデコーダの部分で分離抽出する事になる。図２５のように構成する事でＭＰＥＧデータの階層レベルでも同じ３Ｄ情報を抽出する事が可能となる。これらは再生装置とＴＶがリンク接続され自動的に３Ｄ映像設定する場合や、映像再生中にＴＶを切り替えたりする場合に、ＴＶ側にトランスポートデコーダでの付帯情報抽出設定が有効であれば付帯情報５１が有効になるし、ＭＰＥＧレイヤでの立体映像付帯情報が有効であれば３Ｄ映像情報１７６が有効になってくる。
【０１０５】
また、図２５の映像ストリームはＭＰＥＧ情報レイヤの単位で記載したものであるが、もう１段下のトランスポートパケットの単位で記述したものが図２６である。図２６において、右目及び左目映像のＧＯＰ１６８，１６９のブロック単位での映像データは、トランスポートパケット１７８の先頭からスタートしＧＯＰ映像情報の終端では必ずしもトランスポートパケットの整数倍のデータには収まらないため、最終のトランスポートパケット１８２内の残りをパディングし、最終データ１８３に対しパディングデータ１８４で情報を埋める処理を行う。これによりトランスポートパケット１７９からトランスポートパケット１８２までを取り出すことにより右目映像のＧＯＰ１６８のみを抽出する事が可能となる。左目映像のＧＯＰ１６９においても右目と同様な処理が行われ、トランスポートパケット１８５を先頭に、パディングデータ１９０を含むトランスポートパケット１８８までを抽出する事により左目映像のみを取り出す事が可能となる。
【０１０６】
なお、図２４の立体映像記録装置においては、左目映像と右目映像とをそのままエンコードしていたが、左目映像と右目映像とは基本的には視差分だけずれた映像情報であり相関性が非常に高いものであるから、例えば左目映像については右目映像からの差分情報のみを記録するように構成すれば、全体の情報量も圧縮が可能である。そのための立体映像記録装置のブロック図を図２７に示す。図２７に示す立体映像記録装置は、右目映像のブロック部分を主映像として図２４で示した映像圧縮のブロック構成と同じ構成を採用している。しかし、左目映像においては、左目映像の動き検出１４７の出力を右目映像のフレームメモリ１５３の出力と差分を取り、左目映像と右目映像との差分情報のみを抽出する。この差分情報は、左目映像のラインにおけるＤＣＴ変換１４８及び適応量子化１４９の処理を経て、可変長符号化処理１５１を行う事で左目映像の差分情報のみをバッファメモリ１５４に記録させる。以降の光ディスクに書き込むまでの処理は図２４と同じである。なお、図２７に示す例では、右目映像を主映像とし、左目映像を差分をとる副映像としたが、左右が逆（左目映像が主映像で右目映像が差分をとる副映像）であっても良いことはいうまでもない。
【０１０７】
また、図２７に示す立体映像記録装置では、左目映像と右目映像との差分をとることで、片方の映像情報量をさらに圧縮する方法について述べたが、本映像情報が視差情報によるものである事からさらに情報圧縮をかける事が可能である。図２８（ａ），図２８（ｂ）に視差映像の原理を模式的に示した図である。図２８（ａ）では、奥行き位置１２６Ｍにある手前の映像物１２６Ｇと、奥行き位置１２６Ｌにある奥の映像物１２６Ｈ、両目１２６Ｆまでの奥行き位置（一番手前）１２６Ｎとし、映像物１２６Ｈの視野角１２６Ｄ、映像物１２６Ｇの視野角１２６Ｅとしている。また、図２８（ｂ）では、映像物１２６Ｇの左目映像１２６ＧＡ、映像物１２６Ｇの右目映像１２６ＧＢ、左目映像１２６ＧＡと右目映像１２６ＧＢとの視差量１２６Ｉ、左目映像と右目映像との同一画素点１２６Ｋとしている。さらに、図２７（ｂ）では、映像物１２６Ｈの左目映像１２６ＨＡ、映像物１２６Ｈの右目映像１２６ＨＢ、左目映像１２６ＨＡと右目映像１２６ＨＢとの視差量１２６Ｊ、左目映像と右目映像との同一画素点１２６Ｌとしている。
【０１０８】
図２９は、片方の映像をさらに圧縮する立体映像記録装置のブロック図である。図２９に示す立体映像記録装置は、左目映像と右目映像とからの視差量を演算するための視差情報演算回路１９１Ａと、奥行き方向の動き検出回路１９１Ｃと、推定視差情報生成回路１９１Ｄとを備えている。さらに、図２９に示す立体映像記録装置は、推定視差情報から元の左目映像を右目映像に変換するための逆視差演算処理回路１９１Ｂと、右目映像と逆視差演算処理回路１９１Ｂによって生成した右目映像とを比較した結果よりＤＣＴ変換するＤＣＴ変換回１９１Ｅと、適応量子化回路１９１Ｆと、可変長符号化１９１Ｇとを備えている。なお、視差情報演算回路１９１Ａから可変長符号化１９１Ｇまでが立体映像圧縮処理を行う部分である。
【０１０９】
また、図３０は、図２９の立体映像記録装置による圧縮方法での映像ストリームのエンコードとデコードを説明するための図である。図３０では、右目映像１９２Ａ〜１９２Ｇ、左目映像右目映像の視差情報演算値１９３、左目映像１９４Ａ〜１９４Ｇ、奥行き方向動きベクトル演算値１９６、推定視差情報１９７、右目主映像の圧縮映像１９５Ａ〜１９５Ｇが図示されている。さらに、図３０では、右目主映像の圧縮映像１９５Ａ〜１９５Ｇに基づく再生主映像１９８Ａ〜１９８Ｇ、再生主映像１９８Ａ〜１９８Ｇにそれぞれ対応する推定視差情報２０４〜２１０、再生副映像２１１〜２１７とが図示されている。また、図３１は、図２７もしくは図２９に示す立体映像記録装置による圧縮方法で生成された映像ストリーム構造を示した図である。図３１に示す映像ストリーム構造は、基本的に図２５と同じであるが、左目映像のＧＯＰ１６９に代えて差分映像情報２１８である点と、３Ｄ映像方式の有無８５にＧＯＰ映像情報か差分情報かの情報２１９が追加されている点とが異なる。また、図３２は、図２９に示す立体映像記録装置による圧縮方法で生成された映像ストリーム構造におけるトランスポートレベルの階層でのストリーム構造を示したものである。図３２は、基本的に図２６と同じであるが、左目映像のＧＯＰ１６９に代えて差分映像情報２１８である点が異なる。
【０１１０】
ここで、視差を利用した右目映像と左目映像とから立体方向を図示すると図２８（ａ）のようになる。図２８（ａ）では、両目１２６Ｆから見た視差角度が奥行きに応じて異なって見える。そのため、左右の視差映像となった場合は図２８（ｂ）のように手前の映像物１２６Ｇは大きく、左目映像１２６ＧＡと右目映像１２６ＧＢとが離れて見え、視差量１２６Ｉも大きくなる。一方、遠方にある映像物１２６Ｈは小さく、左目映像１２６ＨＡと右目映像１２６ＨＢとが離れて見え、視差量１２６Ｊも小さくなる。
【０１１１】
そのため、視差量（１２６Ｉもしくは１２６Ｊ）又は視差角情報（１２６Ｄもしくは１２６Ｅ）の情報があれば、図２８（ｂ）のように左目映像から右目映像を推定（視差情報変換による映像生成）する（１２６Ｋ及び１２６Ｌ）事が可能である。この条件としては、見る角度によって輝度や色が変わらない事が前提となるため、角度による映像の回り込みや影等の変化については本推定では推定できない情報となる。
【０１１２】
ここで、図２９に示す立体映像記録装置では、左目映像及び右目映像の動き検出ブロック１４７から得られる映像物の面内位置情報から視差角を抽出し、視差情報演算回路１９１Ａによってマクロブロック単位もしくは画素単位での視差情報を演算する。さらに、時間軸方向での圧縮を行うため奥行き方向動き検出回路１９１Ｃにおいて、画面単位での奥行き方向の動きベクトルを抽出する。推定視差情報生成回路１９１Ｄでは、この奥行き方向の動き情報と視差情報をもって推定視差情報として生成する。また、上述したように片方の映像（ここでは右目映像として説明）情報から視差情報だけで逆側（ここでは左目映像として説明）の映像を完全に再現できるわけではなく、画像の回り込みによる変化（隠れた部分が見えてくる等）等については推定できない情報として残ってしまう。
【０１１３】
そのため、図２９に示す立体映像記録装置では、立体映像圧縮において推定視差情報から逆視差演算処理回路１９１Ｂによってまず不完全ながら逆側（ここでは左目映像として説明）の映像を視差情報を利用しローカルデコード再現し、これと実際に撮影した逆側の映像を圧縮処理したもの（ローカルデコーダにおけるフレームメモリ１５３上の映像）との差分をとる。この差分をとった情報が上述した画像の回り込みによる変化した再現できない部分の情報であり、視差情報を利用した圧縮ストリームにおいても視差情報で完全に再現できない部分をカバーする事ができる。また、図示していないが、奥行き方向の動きベクトルを抽出した場合、さらに視差の変化量も情報として利用するため、通常の情報圧縮のローカルデコーダと同じく、逆量子化回路とＤＣＴ逆変換回路、フレームメモリを用い、奥行き方向の動きベクトルから元の映像をローカルデコーダにより再現し再比較する事で、奥行き方向の動きベクトルを利用し圧縮効率をアップさせる事ができるようになる。
【０１１４】
ここで、画面単位での映像データは図３０のように示される。図３０にある右目カメラから右目主映像１９２Ａ〜１９２Ｇ、左目カメラから左目副映像１９４Ａ〜１９４Ｇが取り出される。ここで、図２９の視差情報演算回路１９１Ａにより、右目主映像１９２Ａ〜１９２Ｇと左目副映像１９４Ａ〜１９４Ｇとから視差情報１９３が演算される。また、奥行き方向の動きベクトル演算１９１Ｃは、視差情報１９３の画面単位での変化から奥行き方向動きベクトル演算値１９６が抽出され推定視差情報１９７として生成される。この推定視差情報１９７自体は、画像のマクロブロック単位であったり画素単位であってもよい。
【０１１５】
一方、映像の再生時には、右目主映像１９２Ａ〜１９２Ｇは映像圧縮により符号化され右目主映像の圧縮映像１９５Ａ〜１９５Ｇとなっている。具体的に右目主映像の圧縮映像は、面内圧縮映像のＩピクチャ１９５Ａと、面内動きベクトルを用いた時間方向の圧縮を行ったＰピクチャ１９５Ｄ及び１９５Ｇと、Ｂピクチャ１９５Ｂ，１９５Ｃ，１９５Ｅ，１９５Ｆから構成されている。この右目主映像の圧縮映像は、通常の圧縮映像伸張回路により再生主映像１９８Ａ〜１９８Ｇとして右目映像に再現される。そして、それぞれの再生主映像（右目映像）１９８Ａ〜１９８Ｇと、画面毎の推定視差情報２０４〜２１０と、画面毎の差分情報を逆量子化し逆ＤＣＴ変換した情報とで再生副映像（左目映像）２１１〜２１７が復元される。ここで、差分情報からの復元映像部分は、画像の回りこみ等推定視差情報では再現できない部分を補完する役割を担っている。
【０１１６】
図２９又は図２７に示す立体映像記録装置での圧縮映像を用いた映像ストリームは、図３１のように示され、あくまでもＧＯＰ映像情報単位のデータとして単位化される。これは右目映像が元々ＧＯＰ映像情報単位で単位化されており、左目の差分圧縮データもこの右目映像を利用する関係で画像の単位化レベルを合わせこむ必要があるからである。ここでは右目映像のＧＯＰ１６８内のＧＯＰヘッダ１７０において、図２５で説明したような立体映像に関する付帯情報が付加される。ただし、左目映像に関し図２９に示した推定視差情報１９７を用いた圧縮情報なのか、図２７に示した差分圧縮情報なのか、図２４に示した立体映像としての圧縮は行わない方式であるか等の識別情報を図３１に示すように３Ｄ映像方式の有無８５にＧＯＰ映像情報か差分情報かの情報２１９を記述しておく必要がある。また、トランスポートパケットのレベルでストリーム構造を見た場合、図３２のように示され、図２６と同様にＧＯＰ映像データの終端部分はトランスポートパケット内でパディングさせるほか、立体方向の圧縮映像データであっても終端部分はトランスポートパケット内でパディングさせる。なお、上述は右目映像が主映像、左目映像が立体方向に圧縮をかけた副映像としているが、逆であってもまったく問題なく、右目映像が主映像で左目映像が副映像、左目映像が主映像で右映像が副映像と混在した映像ストリームであってもよい。ただし、規格上混在を許可させる場合は、どちらの映像が主映像でどちらが副映像であるかの識別情報の記述が必要となる。
【０１１７】
また、左目及び右目の立体映像をもっと簡便に映像ストリーム化することも可能である。例えば、図３３に示す立体映像記録装置は、簡便に映像ストリーム化する画像構成処理部である合成回路２２０を備えている。また、図３４は、図３３に示す立体映像記録装置における映像ストリームの構造を示したもので、左目又は右目映像のＧＯＰ２２１が１つのＧＯＰ映像情報単位となっている。また、図３５は、図３３に示す立体映像記録装置における映像ストリームのトランスポートパケットレベル階層での構造を示したものである。
【０１１８】
ここで、入力される左目及び右目の視差映像は一旦合成回路２２０に入力され、図３３に示すように１つの画面内に縦長の２つの画面として挿入される。この際、各映像の画素は単に映像ラインで間引かれるのではなく、フィルタ処理を施され水平方向に圧縮された後、左目右目映像に合成される。このように各画面は縦長の２枚の左目映像と右目映像とで構成されることになるが、以降は通常の画像圧縮処理の方法を用いてストリーム生成される。この場合でも図３４に示す映像ストリームにおいては付帯情報５１もしくはＧＯＰヘッダ１７０内の３Ｄ情報領域１７６において、水平方向に圧縮された映像情報である事が記述され、通常のＴＶでそのまま再生されないようにする事が必要である。また、図３４に示す映像ストリーム構造を採用する場合でも、トランスポートパケットのレベルにおいては図２６や図３２と同様に、ＧＯＰ映像情報の終端におけるトランスポートパケットの最終データ１８３に対しパディングデータ１８４で情報を埋める処理を行う。なお、本発明では光ディスクに記録された立体映像記録装置や立体映像記録方法について記載したが、記録媒体としてハードディスクであってもまったく同様の効果が得られることはいうまでもない。
【０１１９】
（実施の形態４）
次に、本実施の形態４について、図に従い以下に説明する。実施の形態３においては、立体映像記録装置について説明したが、本実施の形態では立体映像再生装置について説明する。図３６は、本実施の形態に係る立体映像再生装置のブロック図である。図３６に示す立体映像再生装置では、復調訂正回路２２２と、アドレスヘッダ認識回路２２３、光ディスクドライブ部分と映像音声処理部分であるバックエンドとを接続するためのＩＦ（インターフェイス）２２４と、光ディスクドライブ部分からのデータを一旦蓄えるためのデータバッファ２２５とを備えている。また、図３６に示す立体映像再生装置では、映像音声データ等のストリームを分離するためのシステムデコーダ２２６と、圧縮映像を伸張するためのＭＰＥＧ，Ｈ２６４デコーダ２２７と、オーディオデコーダ２２８と、字幕表等のためのＯＳＤデコーダ２２９と、ＯＳＤ情報の奥行き生成回路２２９Ａとを備えている。さらに、図３６に示す立体映像再生装置では、３Ｄ映像処理回路２３０と、映像にＯＳＤ情報をかぶせるためのブレンディング処理回路２２９Ｂと、外部との汎用ＩＦ２３１と、右目専用ＩＦ２３２と、左目専用ＩＦ２３３と、バッファ回路２３４と、バックエンド全体のシステムコントローラ２３５とを備える。
【０１２０】
また、図３７は、実施の形態３で示した立体方向の圧縮映像から左目映像をデコードする部分を示したブロック図である。図３７では、映像ストリームの視差情報や奥行き動きベクトル情報を抽出するためのシステムデコーダ２３６と、ＭＰＥＧやＨ２６４等の圧縮映像ストリームをデコードするＭＰＥＧ、Ｈ２６４デコーダ２３７と、視差情報２３８と、動きベクトル情報２３９と、視差情報演算回路２４０と、左目映像再現回路２４１とを備えている。なお、視差情報２３８、動きベクトル情報２３９、視差情報演算回路２４０及び左目映像再現回路２４１が３Ｄ映像処理回路２３０を構成している。
【０１２１】
ここで、図３６に示す立体映像再生装置では、まず光ディスクドライブ内の復調訂正回路２２２よって光ディスク１６５に記載された映像音声データや付帯データが再生される。この際、サーボ回路１６２は光ヘッド１６４からの再生信号を高品位に抽出し続けるように作用し、アドレスヘッダ認識回路２２３は所定のアドレスの瞬時にアクセスするために作用する。ここで、光ディスクドライブから再生されたデータはＩＦ回路２２４を介して一旦データバッファ回路２２５に入力された後、システムデコーダ２２６に入力される。システムデコーダ２２６では、映像音声データ等のストリームを分離し、音声情報はオーディオデコーダ２２８、ＯＳＤ情報はＯＳＤデコーダ２２９、映像情報はＭＰＥＧ，Ｈ２６４デコーダ２２７に入力される。
【０１２２】
なお、ＯＳＤ情報はＯＳＤ奥行き設定回路２２９Ａでシステムデコーダ２２６から得られる付帯情報により奥行きをもったＯＳＤ情報として生成される。また、ＭＰＥＧ，Ｈ２６４デコーダ２２７でデコードされた映像ストリームは３Ｄ映像処理回路２３０にて３Ｄ映像情報として処理され、ブレンディング回路２２９Ｂで奥行きをもったＯＳＤ映像とブレンディングされ、転送レートが低い場合はＨＤＭＩ等の汎用ＩＦで出力したり、左目映像を左目専用ＩＦ２３３で、右目映像を右目専用ＩＦ２３２で、それぞれ出力させる事が可能となる。
【０１２３】
また、実施の形態３で示したような片側映像が視差情報を用いた圧縮をさらに行っている場合、立体映再生装置における３Ｄ映像処理２３０は図３７のように構成される。ここで、システムデコーダ２３６で抽出した左目の圧縮映像情報である視差情報２３８と奥行き動きベクトル２３９を用いて各画素もしくはマクロブロック単位での視差情報演算を視差情報演算回路２４０で行い、右目映像から左目映像を生成するための変換係数を生成する。この変換係数を用いてＭＰＥＧ，Ｈ２６４デコーダで生成した右目映像から、左目映像再現回路２４１にて左目映像を再現する。ここで、圧縮された左目映像が視差情報による圧縮のみであれば視差情報演算回路２４０の出力に基づく再変換のみであるが、図３３に示す立体映像記録装置のようにＤＣＴ変換と適応量子化を行った圧縮情報であれば、逆量子化と逆変換回路とを左目映像再現回路２４１内に内蔵する必要がある。
【０１２４】
次に、左目及び右目の立体映像から立体でない２Ｄ映像を再現する立体再生装置について説明する。図３８（ａ）は、２Ｄ映像を再現する立体再生装置のブロック図である。図３８（ａ）では、視差情報に基づく合成処理回路２４２を備えている。また、図３８（ｂ）は、合成処理回路２４２で構成される映像を模式的に説明する図であり、左目映像２３２Ａと、右目映像２３３Ａとが合成された映像が２Ｄ映像２３１Ａである。ここで、一般的なＴＶ等の表示装置においては、必ずしも３Ｄ映像対応であるとは限らず、むしろ２Ｄ映像対応である事の方が多い。従って３Ｄ映像のみが記載されたメディアを再生する場合、２Ｄ映像でも再生できるようにしておく事が望ましい。最も簡単な方法としては、右目映像もしくは左目映像のみを表示させる事で２Ｄ映像を再現できる。例えば、ＴＶが２Ｄ映像しか対応していない場合は、プレーヤとＴＶの間でのリンク接続処理において自動検知し、片方の映像のみを常に再生しておく事となる。
【０１２５】
しかしながらこの方法では、奥行きが目に近い（飛び出して見える）映像の場合、視差量が大きく、図３８（ｂ）に示す左目映像２３２Ａや右目映像２３３Ａのように、左右位置が大きくずれた映像となってしまう問題があった。そのため、左目及び右目映像における視差情報を用いてこれを合成し、２Ｄ映像２３１Ａのような中間位置の映像を再現する事で違和感のない２Ｄ映像を再現する事ができる。ただし、この場合の画面の両サイドは、視差量が大きいと演算できないため、元の映像が左目映像の場合は左側に広く、右目映像の場合は右側に広く撮影されていないと、映像２４１Ａの部分（画面の両サイド）がカットされたような映像となる。
【０１２６】
さらに、実施の形態２で示したように画面の飛び出し量が大きいと目の疲れやびっくりした感じを増大する懸念がある。そのため、飛び出し量を可変できるようにした立体映像再生装置のブロック図を図３９（ａ）に示す。図３９（ａ）では、係数変更視差による左目映像再現回路２４３と、係数変視差による右目映像変換処理回路２４４と、飛び出し量可変のためのユーザインターフェイス２４５と、視差情報係数変更部２４６とを備えている。また、図３９（ｂ）は、立体映像再生装置の飛び出し量の可変を説明するための図である。さらに、図３９（ｃ）は、図３９（ａ）の回路により飛び出し量を変化させた場合の結果を説明する図である。また、図３９（ｄ）は、立体映像再生装置を接続した表示装置に表示されている飛び出し量を可変するためのＯＳＤバー２４６Ａを図示している。
【０１２７】
図２９に示す立体映像記録装置のように片側映像を視差情報により圧縮した方式においては、画素もしくはマクロブロック単位でそのまま飛び出し量と関連している視差情報がリンクされている。そのため、ユーザからの飛び出し量可変指示があった場合、図３９（ｄ）のユーザインターフェイス２４５に、例えばＴＶ画面のＯＳＤバー２４６Ａに示されるようなＯＳＤ画面を使って指示を入力させ、視差情報係数変更部２４６にてどの程度飛び出し度合いを減衰させるのか変換係数を決定する。この変換係数によって視差情報演算回路２４０での視差演算量を決定し、左目映像であれば係数変更視差による左目映像再現回路２４３により、右目映像であれば係数変視差情報に基づく画像変換処理回路２４４により左目映像と右目映像との視差量を、図３９（ｂ）に示すよう左目映像１２６ＧＡと右目映像１２６ＧＢとが波線から実線となるように小さく変換して表示させる。結果的には、専用ＩＦ２３２，２３３の出力から得られる立体映像は図３９（ｃ）の立体視された三角図形のように飛び出し量が小さく再現される。
【０１２８】
また、図３９（ａ）に示す立体映像再生装置では、あくまで映像ストリーム上に視差情報が記録されている場合にこれを用いて飛び出し量の変換を行うものであったが、視差情報がない場合で考えられる。そこで、図４０に示す立体映像再生装置では、映像ストリーム上に視差情報が記録されていない場合でも飛び出し量を制御できる構成を示す。図４０に示す立体映像再生装置では、左目映像と右目映像とにそれぞれＭＰＥＧ，Ｈ２６４デコーダ２３７Ａ，２３７Ｂと、視差情報抽出部２４７と、右目映像の視差変換部２４８と、左目映像の視差変換部２４９とを備えている。図４０に示す立体映像再生装置では、視差映像抽出部２４７にて左目映像及び右目映像のデコード映像から、新たに視差情報を検出すればよい。また、この視差情報は図３９（ａ）の場合と同様にユーザインターフェイス２４５を介し、視差情報係数変更部２４６を介して新たな視差情報を視差情報演算部２４０で生成し、右目映像の視差変換部２４８及び左目映像の視差変換部２４９に供給される。
【０１２９】
なお、本実施の形態では光ディスクに記録された立体映像情報を再生する装置や再生方法について記載したが、記憶媒体としてハードディスクであってもまったく同様の効果が得られることはいうまでもない。
【０１３０】
（実施の形態５）
本実施の形態５は、前述の実施の形態１〜４の場合の平面映像、立体映像が混在している場合に、当該映像を所定のフォーマットで配信する等により、より臨場感のある映像、音声の視聴が可能になるものである。よって、以下の説明においては、平面映像と立体映像とに関する詳細な記載は省略されているが、実施の形態１〜４における平面映像、立体映像の実施形態と組み合わせて実施することが可能である。
【０１３１】
実施の形態２から４では、立体映像情報が光ディスクメディアに記録されており、これを視聴する場合について記載しているが、近年のＢＤプレーヤではネットワーク接続の規格が追加されており、ディスク媒体上の情報からではなく、ネットワーク視聴による立体映像視聴も可能になるものと思われる。
【０１３２】
そこで図４１はネットワークによる立体視聴を行うシステムについて記載したもので、図４１において、ユーザが選択可能な複数の映像配信元サーバ群２５０、２５１、２５２、２５３と、家庭にあるＡＶ機器までの中間に位置し各映像配信元サーバからの映像情報をトランスコーディングし中継を行うトランスコーディングサーバ２５４と、立体映像の再生が可能なプレーヤまたはレコーダ２５５と、立体視聴が可能なＴＶ２５６と、立体視聴を行うためのメガネ２５７と、映像配信元サーバから伝送される立体映像信号２５８、２５９、２６０、２６１と、右目映像Ｒと、左目映像Ｌと、トランスコーディングサーバから配信される立体映像情報２６２と、左右の映像の差分圧縮を行った左目映像２６３とが示されている。立体映像情報は、左目映像もしくは右目映像の片方のみで構成される平面映像と、さらに前記平面映像と逆側の目の映像の情報とを用いることにより立体映像視聴可能となる立体映像配信コンテンツである。
【０１３３】
図４２はネットワーク視聴時の視聴選択画面を示したもので、図４２において、タイトル名２６４と、コンテンツの内容２６５と、３Ｄか２Ｄかを示す識別情報２６６とが示されている。
【０１３４】
図４３はネットワークから立体のウィジェット情報をダウンロードしてＴＶ画面に表示させる方法を示したもので、図４３において、トランスコーディングサーバ２５４からダウンロードするＯＳＤデータの信号フォーマット２６７と、奥行きないし飛び出し方向の位置情報を面内ＯＳＤ情報に加えたフォーマット２６８と、ＯＳＤ自体が右目左目の立体映像情報となっているフォーマット２６９と、ＴＶ画面上に立体表示されるウィジェット２７０とが示されている。ウィジェット情報をダウンロードする場合、ウィジェット情報配信要求をトランスコーディングサーバ２５４に出力し、トランスコーディングサーバ２５４内の立体視聴可能なウィジェット情報２７０を、立体視聴可能なプレーヤ等に対し、立体表示可能なＯＳＤ信号フォーマット２６７として配信する。
【０１３５】
このように構成されているので、サーバからのウィジェット配信も、ＴＶの視聴環境に応じて立体ウィジェット配信を行えるようになるため、立体映像コンテンツの状況に合わせ効果的な視聴ができるようになる。
【０１３６】
次に本発明の実施の形態を図において説明する。すでにＰＣの領域では一般的になっているＹｏｕ−Ｔｕｂｅ等のコンテンツ視聴はパソコン等のＣＰＵの演算速度が高いものを前提に構築されている。そのため、各コンテンツ提供元は映像の配信フォーマットが異なる方式であっても、各ユーザが必要なデコードプログラムをネットワークからダウンロードして搭載することで対応が可能となっている。しかしながら一般的なＡＶ機器においては搭載しているＣＰＵのパフォーマンスが低く、またユーザがデコードに必要なＳＷをわざわざダウンロードする手間を好まないため、専用のデコーダもしくはデコード処理プログラムを搭載し、本デコード処理に対応できるサービスのみを接続する形態となっている。そのため各異なるデコード処理やユーザＩＦの対応が必要となる。
【０１３７】
そのため図４１の立体映像視聴システムにおいては、ユーザが（外部から）視聴するＴＶが、まず立体映像対応機なのかどうかをＨＤＭＩケーブルを介して立体再生プレーヤもしくは立体映像レコーダ２５５が確認し、次にＴＶが立体映像対応機（立体視聴可能）であった場合、立体再生プレーヤもしくは立体映像レコーダ２５５はトランスコーディングサーバ２５４に対し立体映像を含むコンテンツメニューを送付するように指示する。ここでは、各映像配信元サーバ２５０〜２５３から映像の配信フォーマットの異なる方式（フォーマットが図４１に示す立体映像情報２５８〜２６１のように異なる場合）で配信されたとしても、トランスコーディングサーバ２５４で一旦フォーマット変換手段によってフォーマット変換（立体映像情報２６２が示されるようにフォーマット変換）することで、立体視聴可能なプレーヤもしくはＴＶにおいてデコードできる映像信号フォーマットである、例えば実施の形態２ないし実施の形態３にて記載された、光メディアに記録されているフォーマットと同じ形式での立体映像情報として再配信することにより、安価なプレーヤもしくはレコーダが元々もつメディア再生用のデコーダ回路もしくはデコードプログラムを用い視聴することができる。
【０１３８】
さらに本実施の形態では、例えば実施の形態３の図３１ないし図３２に記載された、右目映像もしくは左目映像のどちらか一方を基準とする２Ｄ映像とし、上記２Ｄ映像の反対側の目の映像を上記２Ｄ映像側の映像との差分をとることによりさらに圧縮をかける信号方式を用いている。この方式は実施の形態３に記載されたストレージメディアに記録するための立体映像信号フォーマット（圧縮方式）であるが、図４１のトランスコーディングサーバ２５４にてどの映像配信元サーバからの映像コンテンツもこの光ディスク等のメディア記録用立体映像信号フォーマットに合わせて変換（トランスコード）し配信することで、プレーヤもしくはレコーダ２５５にて立体再生視聴が可能となり、光ディスク等による立体映像を再生するプレーヤでもサーバからの立体映像をデコードできるようになった。
【０１３９】
ここで図４１の映像配信元サーバからは、あるサーバからはステレオカメラの２ＣＨカメラ映像を各々ＭＰＥＧ２やＨ．２６４の圧縮フォーマットで伝送する方式も想定され、この場合はトランスコーディングサーバ２５４で本発明の実施の形態３で記載された左右映像の差分をとることで片側のＣＨの映像情報をさらに圧縮した方式に変換してプレーヤやレコーダ２５５に伝送することとなる。この場合、本伝送される左右映像の差分をとることで片側のＣＨの映像情報をさらに圧縮した方式の映像情報は、例えば光ディスクに記録される映像フォーマットと同じ方式であるため、同じデコーダ回路もしくはデコードＳＷで再生処理が可能となる。
【０１４０】
通常このような映像フォーマットの差異に配慮がされていない理由としては、ストレージ媒体の場合には限られた媒体容量の範囲に収める必要があるため、圧縮効率の高い方法を選択する必要があるものの、サーバとの情報やりとりにおいては必ずしも容量制限を配慮しなくてもよいために例えば左右映像をそのまま通常の画像圧縮方式で配信することができるからである。しかしながら、映像配信フォーマットの多様化とともに、デコーダ側の負担も大きくなり、本実施の形態にあるようなトランスコーディング技術を用い、フォーマットを一本化もしくは少なくすることで、安価なＣＰＵを有するデコーダを搭載したＴＶやプレーヤでの視聴が可能になる。
【０１４１】
また、映像や音声フォーマットだけでなく、ＯＳＤ情報や字幕情報などについてもメディアの記録されるフォーマットと同じフォーマットとして再配信することで、ディスクメディア再生時と同じユーザＩＦで操作することが可能となる。
【０１４２】
また、図４１の立体プレーヤまたは立体レコーダ２５５が再生専用機ではなくレコーダの場合は、レコーダ２５５における立体映像をメディア記録用のフォーマットに変換することなくダイレクトにダウンロード録画することが可能である（図４３）。ただし当然のことであるが、本レコーダにダウンロードする場合やプレーヤやＴＶで直接視聴する場合でも、ネットワーク配信の映像信号においては、２Ｄ映像・立体映像にかかわらずネットワークコンテンツプロテクションのための暗号化がほどこされており、この暗号化のためのキーのやりとりや認証作業がサーバ間で必要となることはいうまでもない。なお、ダウンロード録画の場合は、ネット回線の環境に左右されにくい利点があるので、回線環境により途中の映像信号が途切れるような場合であっても、再生時には映像音声の途切れの無いスムーズな再生が可能となっている。またこのような有利な条件であるため、ダウンロード録画の場合は視聴するだけの場合に比べ、配信のビットレートを高く設定することが可能となる。
【０１４３】
また、実施の形態２で説明したように、立体映像が複数のアングル映像で構成されている場合、視聴時の映像データは膨大なものとなる。このようなマルチアングル立体映像をストレージ媒体に入れる場合、ストレージ媒体の容量制限からあまり多くのアングル数を入れ込むことができない。しかしながら、サーバ上にストアするのであればほとんど制限なしに多くのアングル情報を入れることが可能となるため、例えばＴＶのリモコン等のマルチアングル切り替え手段によってアングル切り替えの操作を行った場合、プレーヤやレコーダにてアングル切り替え指令情報をトランスコーディングサーバに転送し、サーバ上の映像データアングルを切り替えてフォーマット変換し、プレーヤやレコーダに再配信することも可能である。もちろんトランスコーディングサーバでフォーマット変換が必要な場合は、映像配信元サーバからまずアングルの異なる映像を再配信させ、再配信した立体映像を、トランスコーディングサーバでフォーマット変換した後、プレーヤやレコーダに配信することとなる。
【０１４４】
このように構成されているので、複数のアングル情報を有する情報量の大きな立体映像であっても、光ディスクメディア等の容量制限を受けることなく、サーバ上に保管し視聴することができるようになったほか、ユーザ（外部）からのアングル切り替え要求に応じて、サーバ内に保管されている立体映像コンテンツのアングルを切り替えて配信できるようになった。
【０１４５】
なお、立体視聴可能プレーヤもしくは立体視聴可能ＴＶにおいては、トランスコーディングサーバおよび映像配信サーバ間の通信時間、映像配信サーバにおけるアングルの異なる映像への切り替え時間、トランスコーディングサーバにおけるフォーマット変換処理時間、およびトランスコーディングサーバと立体視聴可能プレーヤもしくは立体視聴可能ＴＶ間との通信時間の合計時間を上回るだけの容量を有する、映像配信バッファを持つことが望ましい。
【０１４６】
また、上記マルチアングルをアングル順次切り替え手段により順次動かしていく（右回り、左回り）ことで、実施の形態２にあるように、物体を回転させたり、回り込みながら視聴することが可能となる。この際、一般的にプレーヤやレコーダとサーバ間の時間遅れや、映像配信下サーバとトランスコーディングサーバ間の時間遅れがあるため、アングルの連続切り替えがぎくしゃくした動きになる場合がある。このような場合は、あらかじめ視聴対象を、“回転させる”“特定角度単位で特定角度方向に連続的にずらしていく”などの複数の回転角度をもったアングル映像を連続的に１つのコマンドで動かす連続動作を、一回で操作可能なコマンドとして定義し、これをトランスコーディングサーバや映像配信元サーバに送ることで、アングルの連続的変更をサーバの映像配信システム上で実現できるようになり、なめらかな動きを再現させることが可能になる。
【０１４７】
また、図４１のレコーダもしくはプレーヤ２５５が存在せず、直接ＴＶにネットワーク接続する場合も想定される。この場合は図４１のＴＶ２５６にプレーヤ２５５が有するデコーダ回路もしくはデコーダＳＷを実装しておけばよい。ただしこの場合は、デコード処理をＴＶ内のＬＳＩ上で行う必要があり、ＬＳＩの処理速度次第では処理が間に合わなくなる場合も想定され、この場合は前記プレーヤやレコーダを外付けし、前記プレーヤやレコーダにてデコード処理を行った後、視聴を行うこととなる。
【０１４８】
なお、図４２のネット視聴画面においては、トランスコーディングサーバとプレーヤやレコーダ間の機器認証が完了し、前記プレーヤやレコーダに立体視聴が可能なＴＶが接続されていることをＨＤＭＩケーブルのフラグ情報等で前記プレーヤやレコーダが確認手段により認識した後（当該視聴環境の確認情報は保有手段にて保有される）、前記プレーヤやレコーダがトランスコーディングサーバに３Ｄ視聴環境である旨の視聴環境確認情報を伝送手段にて発信（伝送）し、トランスコーディングサーバにおいて予め用意された平面映像からなる映像配信メニューにおいて、平面視聴のみなら平面映像の視聴の選択メニューを、３Ｄ視聴可能環境にあり立体視聴もする場合は、３Ｄコンテンツと２Ｄコンテンツが混在する選択メニューを平面映像か立体映像か識別できるリストとしてプレーヤやレコーダに転送し、ＴＶのリモコンにて例えば選択部分がハイライト表示されたメニューを押下することにより視聴したいコンテンツを選択する。これにより、視聴環境に合ったコンテンツメニュー画面が配信され、ユーザはそのうちから視聴したいコンテンツを選択することが可能となった。
【０１４９】
また、この際、３Ｄコンテンツが選択された場合は、ＴＶ画面に“メガネをかけてください”等の視聴上ユーザが対応しなければならない内容を表示させることも必要となる。
【０１５０】
（実施の形態６）
では次に、あらかじめ立体映像が配信されていない場合に、トランスコーディングサーバ内で２Ｄ映像を３Ｄ化する場合について、図４４において説明する。
【０１５１】
図４４において、映像配信元の２Ｄ映像配信サーバ２７１、２７２と、映像配信元サーバ２７１，２７２からの信号を映像や音声・付帯情報に分離するためのシステムデコーダ２７３、２７４と、システムデコーダ２７３およびシステムデコーダ２７４から出力される映像信号から背景情報のみを抽出するための背景抽出部２７５と、システムデコーダ２７３およびシステムデコーダ２７４から出力される映像信号からの手前付近にある人物を抽出するための前方人物抽出部２７６と、システムデコーダ２７３およびシステムデコーダ２７４から出力される映像信号から物や家その他手前にある物体を抽出するための手前物体抽出部２７７と、各抽出された物体の重なり具合から前後関係を抽出し立体方向の重みづけを行うための前後抽出および立体方向重み付け部２７８と、前後抽出および立体方向重み付け部２７８からの出力から映像を合成する映像合成部２７９と、システムデコーダ２７３およびシステムデコーダ２７４および前方人物抽出部２７６からの出力から音像を制御する音像制御部２８０と、システムデコーダ２７３およびシステムデコーダ２７４からの出力からウィジェット情報を抽出するウィジェット情報抽出部２８１と、ウィジェット情報抽出部２８１の３Ｄのウィジェット情報と音像制御部２８０の出力と前後抽出および立体方向重み付け部２７８の出力と映像合成部２７９とから、３Ｄフォーマットを生成する３Ｄフォーマット生成部２８２と、３Ｄフォーマット生成部２８２からの出力を受け取るトランスコーディングサーバ２８３と、トランスコーディングサーバ２８３と通信する立体再生用ＢＤプレーヤ２８４と、立体再生用ＢＤプレーヤ２８４に接続された３Ｄ対応テレビ２８５とが示されている。本システムは、システムデコーダ２７３，２７４において取得される平面映像情報から、３Ｄフォーマット生成部２８２において立体映像情報を生成し、トランスコーディングサーバ２８３を介して、テレビ２８５の視聴環境に応じて要求される映像の内容に該当する映像情報を提供するものである。
【０１５２】
また、図４５は外部の立体ムービや、立体ムービで撮影した映像を保管している立体映像レコーダの情報をトランスコーディングサーバに配信し、あとで視聴するためのシステムを表したもので、図４５において、立体ムービ２８６と、立体レコーダ２８７と、立体ムービあるいは立体レコーダからの信号を映像や音声・付帯情報に分離するためのシステムデコーダＣ２８８とがさらに示されている。システムデコーダ２７３，２７４に加えて、システムデコーダ２８８からの映像情報も含め、上記の３Ｄフォーマットが生成される。
【０１５３】
また、図４６、図４７は、図４４の動作フローを示したものである。また図４８は、ムービやムービなどの個人映像を録画したレコーダからサーバへアップし、２Ｄから３Ｄへの変換サービスを行って視聴するシステムを記載したフローである。
【０１５４】
図４４と図４６、図４７において動作を説明する。
【０１５５】
まずユーザはＴＶ２８５をリモコン等で操作しながら、立体ＢＤプレーヤ２８４の再生画面に切り替えるとともに、見たい映画などのＶＯＤ視聴サービスメニューを選択する（ＳＴＥＰ１０１）。次に立体プレーヤ２８４はトランスコーディングサーバ２８３間との機器認証を行う（ＳＴＥＰ１０２）。
【０１５６】
機器認証後、立体プレーヤ２８４は視聴環境に関する情報をＨＤＭＩケーブルを通した通信により確認する（ＳＴＥＰ１０３）。ＴＶ２８５が３Ｄ対応であるかどうかを確認し（ＳＴＥＰ１０４）、視聴環境が２Ｄ環境の場合は立体プレーヤ２８４はトランスコーディングサーバ２８３に対して２Ｄ用メニューを要求し（ＳＴＥＰ１０５）、視聴環境が３Ｄ環境の場合は立体プレーヤ２８４はトランスコーディングサーバ２８３に対して２Ｄと３Ｄが混在した３Ｄ用メニューを要求する（ＳＴＥＰ１０６）。
【０１５７】
トランスコーディングサーバ２８３は立体プレーヤ２８４から２Ｄ用メニューの要求があれば立体プレーヤ２８４に対して２Ｄ用メニューを配信し（ＳＴＥＰ１０７）、３Ｄ用メニューの要求があれば立体プレーヤ２８４に対して２Ｄと３Ｄが混在した３Ｄ用メニューを配信する（ＳＴＥＰ１０８）。
【０１５８】
次にユーザが配信されてきたメニューから視聴コンテンツを選択する（ＳＴＥＰ１０９、ＳＴＥＰ１１０）。選択されたコンテンツが２Ｄコンテンツか、３Ｄコンテンツかを確認し（ＳＴＥＰ１１１）、２Ｄコンテンツを選択した場合は、まず立体プレーヤ２８４はトランスコーディングサーバ２８３との間で課金処理を行い（ＳＴＥＰ１１２）、次にトランスコーディングサーバ２８３が選択されたコンテンツを所有するコンテンツ所有サーバを選択する（ＳＴＥＰ１１３）。
【０１５９】
そして、このコンテンツ所有サーバとトランスコーディングサーバ２８３間でサーバ認証を行う（ＳＴＥＰ１１４）。認証後、コンテンツ送信依頼を行う（ＳＴＥＰ１１５）とともに、サーバ間の課金認証（第二の課金処理）を行う（ＳＴＥＰ１１６）。本サーバ間の課金認証によって、ユーザが支払った金額の一部がトランスコーディングサーバ側の費用となり、残りがコンテンツ提供元に還元（配分）される。
【０１６０】
次にコンテンツ提供サーバから所望のコンテンツがトランスコーディングサーバ２８３に送信される（ＳＴＥＰ１１７）とともに、トランスコーディングサーバ２８３では立体プレーヤ２８４で再生できる形態にフォーマットの変換処理が行われ（ＳＴＥＰ１１８）、変換後のストリームが立体プレーヤ２８４に送信され（ＳＴＥＰ１１９）、立体プレーヤ２８４にて２Ｄの再生処理が行われる（ＳＴＥＰ１２０）。
【０１６１】
一方、ユーザが３Ｄコンテンツを選択した場合、まず立体プレーヤ２８４はトランスコーディングサーバ２８３との間で課金処理を行い（ＳＴＥＰ１２１）、次に２Ｄコンテンツの場合同様にトランスコーディンサーバ２８３が所望のコンテンツを有するコンテンツ所有サーバを選択する（ＳＴＥＰ１２２）。そしてサーバ間認証処理を行い（ＳＴＥＰ１２３）、コンテンツ送信要求を出す（ＳＴＥＰ１２４）とともに、サーバ間の課金処理を行う（ＳＴＥＰ１２５）。
【０１６２】
次にコンテンツ所有サーバからトランスコーディングサーバ２８３へコンテンツが送信され（ＳＴＥＰ１２６）、送信されたコンテンツが２Ｄ映像か３Ｄ映像かの確認を行い（ＳＴＥＰ１２７）、立体映像として配信される場合は、トランスコーディングサーバ２８３が立体プレーヤ２８４で再生できる形態にフォーマット変換を行い（ＳＴＥＰ１２８）、変換後のストリームが立体プレーヤ２８４に送信され（ＳＴＥＰ１２９）、立体プレーヤ２８４にて３Ｄの再生処理が行われる（ＳＴＥＰ１３０）。
【０１６３】
本フォーマット変換では実施の形態５にて記載したように、例えば左右画像のどちらかを左右画像の差分によって圧縮する方式がとられ、メディア上に録画されている３Ｄコンテンツと同じ信号フォーマット形式として配信される。
【０１６４】
また、３Ｄコンテンツを選択した場合でも、コンテンツ所有サーバが有するコンテンツが２Ｄしか存在しない場合は、トランスコーディングサーバ２８３にて２Ｄから３Ｄへの変換が変換手段にて行われる（ＳＴＥＰ１３１）。そしてトランスコーディングサーバ２８３が立体プレーヤ２８４で再生できる形態にフォーマット変換を行い（ＳＴＥＰ１３２）、変換後のストリームが立体プレーヤ２８４に送信され（ＳＴＥＰ１３３）、立体プレーヤ２８４にて３Ｄの再生処理が行われる（ＳＴＥＰ１３０）。
【０１６５】
ここでは、配信されたストリームはシステムデコーダ２７３あるいはシステムデコーダ２７４によって映像信号と音声やウィジェット情報その他に分けられる。次に映像信号から背景部分や手前側の人物部分、物や家その他手前にある物体部分などが背景部分抽出手段および手前映像分離手段により抽出され、それらを立体方向位置重み付け手段によって立体方向の前後関係や飛び出し奥行き量を規定し立体映像情報として配置される。
【０１６６】
特に立体方向の前後関係や飛び出し奥行き量は、大きいものが手前にあることによる物体や人物の大きさや、重なった部分の映像の動き解析によっての前後関係の把握、細かいほど遠くにあると推定される背景の細かさなどの解析によって、立体方向の位置づけが行われる。次にこれら立体化された映像パーツは一旦映像信号として合成されたのち、音声やウィジェット情報とあわせフォーマット化される。フォーマット後の映像信号は元々コンテンツサーバに３Ｄ信号が格納されている場合と同じフォーマット形式として立体プレーヤに配信され、立体映像の再生が行われる。
【０１６７】
また上記は映像信号のみを立体変換して配信することについて述べているが、音像定位を可変することでの立体音響信号への変換処理や、ウィジェット表示情報を立体化変換させ、表示させることも可能である。
【０１６８】
一般的なウィジェット情報は、天気予報のマークや、野球中継の速報、ニュースや株価などを小さな画像としてＴＶ画面上にオーバレイ表示させるか、画面を分割してコンテンツ情報画面以外の領域に表示させる等が行われている。この場合には、ウィジェット情報配信要求をトランスコーディングサーバに出力し、複数の映像配信サーバから所望のウィジェット情報を有するものを選択し、オーバレイもしくは分割した表示になるよう、立体視聴コンテンツとウィジェット情報を組み合わせた第二の立体視聴コンテンツを生成し、再配信する。
【０１６９】
立体映像視聴の場合にウィジェット情報を表示させる場合においては、立体方向位置に表示させるかがＰｏｉｎｔとなるため、立体方向の位置を可変できるようにすることが望ましい。そのため、２次元のウィジェット情報についても、本発明の実施の形態にあるように立体方向の位置を加えて、立体のＯＳＤ情報として本トランスコーディングサーバから伝送する方法がある。サーバからのウィジェット配信も、ＴＶの視聴環境に応じて立体ウィジェット配信を行えるようになる他、立体映像のウィジェト情報における立体方向の位置を変更できるようになるため、立体映像コンテンツの状況に合わせ効果的なウィジェット位置を選択したり、目が疲れにくい表示パネルから奥行き方向の側にウィジェット配置を変更することが可能となる。
【０１７０】
この場合、２次元画像情報に、奥行きまたは飛び出し方向のオフセットを持たせるか、３次元映像と同じように左右映像（どちらかを基準とし、残りは差分圧縮する）の立体情報として伝送することで、プレーヤやＴＶでデコード可能な信号フォーマットとして伝送することができる。また、本トランスコーディングサーバ上で立体映像コンテンツにあらかじめオーバレイしてしまって、オーバレイ後の立体映像情報を伝送する方法もある。この場合であれば、プレーヤやＴＶではウィジェット表示のための特別なデコーダは必要ないのでウィジェット表示のためのＣＰＵ負荷を減らす事もできるが、画面上の配置変更等はすべてトランスコーディングサーバへ表示位置変更の指示を送信する必要があり、アクセスのための時間遅れが発生する。
【０１７１】
またこのように、トランスコーディングサーバでウィジェット情報を一旦受けることによって、ウィジェット情報配信要求をトランスコーディングサーバに出力し、複数の映像配信サーバであるウィジェットサービス配信元のウィジェットを選択又は同時に利用可能になるほか、２次元映像のウィジェットを立体表示可能なＯＳＤ信号フォーマットに変換させたりすることも可能となった。
【０１７２】
また、必ずしもコンテンツ所有サーバからの映像配信だけではなく、一般的にムービなどで撮影した２Ｄ映像や、ムービで撮影した映像を録画してある家庭内のレコーダ装置から、本トランスコーディングサーバにデータをアップし、ここで２Ｄから３Ｄへ変換処理を行って、立体プレーヤで視聴させることも可能である。この場合、トランスコーディングサーバにある平面―立体変換機能を利用し、立体映像を楽しむことができるようになるほか、立体の度合いを可変する立体方向位置可変入力手段によりユーザから立体の度合いを設定し、立体方向位置可変制御コマンドを送信できるようにすることで、立体感を強めることにより臨場感をアップさせたり、立体感を弱めることにより飛び出し量を目にやさしい範囲に抑えたりすることができるようになった。
【０１７３】
ここで平面映像からの立体変換は、画像の背景成分と人物や手前の物体を抽出する画像処理部で、個々の画像部分を抽出し、これを立体方向重みづけ手段によってそれぞれ立体方向に重みづけし、画像合成することで得られるものである。本立体変換における立体方向の重み付けを可変できるようにしたため、奥行きや飛び出し量を可変することにより、視聴者の健康状態や、画面の大きさや、好みの臨場感等に合わせることができるようになった。なお、この立体位置可変、立体方向重み付け、およびその合成は、ウィジェット情報だけでなく、平面映像から変換し合成される立体情報の場合も同様である。
【０１７４】
また、画像の動きに伴い、各抽出した画像部分の重なり具合等を見ることで、どちらの画像片が手前にあるかを判断し、立体方向の位置を特定させることが可能である。このようにして合成された立体映像は、３Ｄフォーマット化部でプレーヤやＴＶで再生できる映像フォーマットに変換され配信される。またこのような画像片抽出による立体方向位置をつける方法を用いれば、元の映像が立体映像であった場合でも、再度画像片に分解し重み付けを変えることで、立体度合いを可変させることも可能である。特に元が立体映像の場合、各画素毎に視差がついており、それぞれの画素の立体方向位置が特定されているため、これらの立体方向位置を変更することは実施の形態４で記載した方法等により容易に実現可能である。
【０１７５】
また、この際ムービやレコーダと、本トランスコーディングサーバ間での機器認証を行い、またあらかじめ会員登録することにより得られるユーザＩＤ番号を機器認証時に送信することで、本立体変換のサービスを受けることも可能となる。課金の処理については、会員登録時に一定データ量もしくは一定期限までの立体化サービスをまとめて支払うことも可能であるが、サーバへデータをアップさせる際に毎回支払い処理を行わせることも可能である。
【０１７６】
これらアップされた個人の２Ｄ映像はアップしたユーザの登録したＩＤ番号によって管理されるとともに、視聴時は立体プレーヤから同じＩＤ番号を有することを機器認証で確認（ＩＤを再入力）することによって立体再生させることが可能となる。この際立体視聴時においても立体プレーヤにおいてユーザＩＤを入力することにより、ユーザＩＤと機器ＩＤの認証を行うことで個人情報の保護を行い、ユーザ自身がアップした映像のみを視聴することとなる。またさらに各アップしたユーザの個人映像に開示用の暗証コードをさらにつけておくことで、知り合いや家族友人など他の人にこの開示用暗証コードをメール等で送信し、視聴させることも可能となる。なお、アップロード時に登録したＩＤを立体視聴可能なプレーヤもしくはＴＶに予め設定することで、機器認証と合わせ登録したＩＤを自動的に確認することも可能である。
【０１７７】
次にムービ２８６などで撮影した２Ｄ映像や、ムービ２８６で撮影した映像を録画してある家庭内のレコーダ装置２８７から、本トランスコーディングサーバ２８３にデータをアップし、ここで２Ｄから３Ｄへ変換処理を変換手段において行って、立体プレーヤで視聴させるまでの流れを図４８のフロー図を用いて説明する。
【０１７８】
まず、ユーザはムービ等で撮影した映像を、直接あるいはレコーダ装置等のネットワークに接続できる端末を経由してトランスコーディングサーバへのアップロードを指示する（ＳＴＥＰ２０１）。ムービあるいはレコーダ装置等はユーザからのアップロード指示でトランスコーディングサーバとの間で機器認証を行う（ＳＴＥＰ２０２）。機器認証後、ムービあるいはレコーダ装置等は暗号化されたユーザＩＤをトランスコーディングサーバへ送信し（ＳＴＥＰ２０３）、トランスコーディングサーバとの間で課金処理を行う（ＳＴＥＰ２０４）。課金処理が完了すると、映像のアップロードが開始される（ＳＴＥＰ２０５）。アップロードされた映像はトランスコーディングサーバの平面―立体変換機能を用いて立体映像に変換される。
【０１７９】
次にユーザがトランスコーディングサーバから映像をダウンロードし、視聴するまでのフローを図４８および図４９を用いて説明する。
【０１８０】
まず、ユーザは立体プレーヤのメニュー画面２８９からパーソナル映像配信を選択する（ＳＴＥＰ２０６）。ユーザがパーソナル映像配信を選択により、立体プレーヤはトランスコーディングサーバとの間で機器認証を行う（ＳＴＥＰ２０７）。機器認証後、立体プレーヤはユーザＩＤ入力画面２９０を表示し、ユーザはユーザＩＤの入力を行う（ＳＴＥＰ２０８）。ユーザＩＤが入力されると立体プレーヤはトランスコーディングサーバに対して暗号化されたユーザＩＤを送信する。トランスコーディングサーバでは立体プレーヤの機器ＩＤおよびユーザＩＤを確認し、機器ＩＤおよびユーザＩＤがサーバ上の該当コンテンツが保持する機器ＩＤおよびユーザＩＤと一致したときに、該当コンテンツの情報を立体プレーヤに送信する（ＳＴＥＰ２０９）。立体プレーヤは受信した該当コンテンツの情報をパーソナルコンテンツ選択画面２９１に表示する（ＳＴＥＰ２１０）。またここで、必要であれば立体プレーヤとトランスコーディングサーバとの間で課金処理を行う（ＳＴＥＰ２１１）。
【０１８１】
ユーザはパーソナルコンテンツ選択画面２９１から所望のコンテンツを選択し（ＳＴＥＰ２１２）、立体プレーヤはトランスコーディングサーバへ選択されたコンテンツの送信を依頼する（ＳＴＥＰ２１３）。ここでユーザが選択したコンテンツに対して課金処理を行うようにしてもよい。トランスコーディングサーバでは選択されたコンテンツに対して平面―立体変換を行い、選択されたコンテンツを立体映像に変換する（ＳＴＥＰ２１４）。立体映像への変換はあらかじめ行っておいてもよい。トランスコーディングサーバは選択されたコンテンツを立体映像に変換し、立体プレーヤに配信する（ＳＴＥＰ２１５）。立体プレーヤがトランスコーディングサーバから配信された立体映像を再生することで、ユーザがムービで撮影した映像を立体映像として楽しむことが可能となる（ＳＴＥＰ２１６）。
【０１８２】
また、上述のように、３Ｄ映像に変換し配信させる方法について述べたが、再生するプレーヤは通常の２Ｄ再生用のものでもよく、この場合は３Ｄ変換のサービスは行わずに、サーバのファイルストレージ機能をサービスとして受けるとともに、トランスコード処理によってプレーヤに再生できるフォーマットへの変換処理をサーバ側に持たせただけのサービスとなる。特に３Ｄ変換を行わない場合でも、いわゆるストレージサービスとして十分利用可能である。この場合、３Ｄ映像のみの配信コンテンツであっても、本トランスコーディングサーバにて２Ｄ映像フォーマットに変換し再配信することで、同様に通常の２Ｄ再生プレーヤで視聴できる。
【０１８３】
また、上述のように、あくまで個人映像にＩＤをつけて、サーバにアップした個人が自分自身の著作権を有する画像もしくは録画した画像を見るだけであるが、放送されたものを録画してサーバにアップし他人に視聴許可させる場合などは著作権の問題が生じる。この場合、ムービなどパーソナルコンテンツに対してはムービにて画像すかし技術を応用するなどして、個人映像側の映像に暗号キーを埋め込み、この映像に重畳された暗号キーを有するもののみが、本トランスコーディングサーバを介して他人への配信を許可するしくみを入れておくことも可能である。
【０１８４】
なお、実施の形態５，６に示した立体映像配信システムにより配信された立体映像配信コンテンツを用いて、立体映像が視聴可能である立体映像視聴システムの実施も可能である。
【０１８５】
また、実施の形態５，６に示した立体映像配信方法により配信された立体映像配信コンテンツを用いて、立体映像が視聴可能である立体映像視聴方法の実施も可能である。
【０１８６】
また、実施の形態５，６に示した立体映像配信装置により配信された立体映像配信コンテンツを用いて、立体映像が視聴可能である立体映像視聴装置の実施も可能である。
【符号の説明】
【０１８７】
１ 右目映像、２ 左目映像、３，８ 表示装置、４ シャッタ、５ 映像、６ 記録装置、７ メガネ、９，１０ 偏向板、１１ 表示光学系、１２ 表示パネル、１３ 同期回転部材、１４ 光源、１５〜２０ 表示デバイス、２１ 回転ミラー、２２ 像信号、２３ 映像制御情報、２４，２５ 映像タイトル、２６ 記録媒体、１４６ ＡＤコンバータ、１４７ 動き検出回路、１４８ ＤＣＴ変換回路、１４９ 適応量子化回路、１５０ 逆量子化回路、１５１ 可変長符号化回路、１５２ ＤＣＴ逆変換回路、１５３ フレームメモリ、１５４ バッファメモリ、１５５ ＯＳＤエンコーダ、１５６ 音声エンコーダ、１５７ フォーマットエンコーダ、１５８ 変調回路、１５９ ＬＤ変調回路、１６０ アドレスヘッダ認識回路、１６１ 再生アンプ、１６２ サーボ回路、１６３ 送りモータ、１６４ 光ヘッド、１６５ 光ディスク、１６６ 回転モータ、１６７ システムコントローラ、１９１Ａ 視差情報演算回路、１９１Ｂ 逆視差演算処理回路、１９１Ｃ 奥行き方向動き検出回路、１９１Ｄ 推定視差情報生成回路、１９１Ｅ ＤＣＴ変換回路、１９１Ｆ 適応量子化回路、１９１Ｇ 可変長符号化回路、２２２ 復調訂正回路、２２３ アドレスヘッダ認識回路、２２４ インターフェイス回路、２２５ データバッファ、２２６，２３６ システムデコーダ、２２７，２３７ ＭＰＥＧ・Ｈ２６４デコーダ、２２８ オーディオデコーダ、２２９ ＯＳＤデコーダ、２２９Ａ ＯＳＤ奥行き生成回路、２２９Ｂ ブレンディング回路、２３０ ３Ｄ映像処理回路、２３１ 汎用ＩＦ、２３２，２３３ 専用ＩＦ、２３４ バッファ、２３５ システムデコーダ、２３８ 視差情報生成回路、２３９ 動きベクトル生成回路、２４０ 視差情報演算回路、２４１ 左目映像再現回路、２４２，２４４ 視差情報に基づく合成処理回路、２４３ 左目映像再現回路、２４５Ａ ＯＳＤバー、２４６ 視差情報係数変更部、２４５ ユーザインターフェイス、２４７ 視差情報抽出部、２４８ 右目映像視差変換回路、２４９ 左目映像視差変換回路、２５０〜２５３ 映像配信元サーバ、２５４，２８３ トランスコーディングサーバ、２５５ 立体プレーヤまたは立体レコーダ、２５６ 立体視聴テレビ、２５７ 立体視聴メガネ、２５８〜２６１ 立体映像信号、２６２ 立体映像情報、２６３ 差分圧縮映像情報、２６４ タイトル名、２６５ コンテンツ内容、２６６ ２Ｄ／３Ｄ識別情報、２６７ ＯＳＤ信号フォーマット、２６８，２６９ ＯＳＤ信号フォーマット、２７０ 立体ウィジェット、２７１ ２Ｄ映像配信サーバ、２７２ ２Ｄ映像配信サーバ、２７３，２７４，２８８ システムデコーダ、２７５ 背景抽出部、２７６ 前方人物抽出部、２７７ 手前物体抽出部、２７８ 立体方向重み付け部、２７９ 映像合成部、２８０ 音像制御部、２８１ ウィジェット情報抽出部、２８２ ３Ｄフォーマット生成部、２８４ 立体再生用ＢＤプレーヤ、２８５ 立体視聴テレビ、２８６ 立体ムービ、２８７ 立体レコーダ、２８９ メニュー画面、２９０ ユーザＩＤ入力画面、２９１ パーソナルコンテンツ選択画面。
【特許請求の範囲】
【請求項１】
視差映像を利用した左目映像と右目映像とからなる立体映像をサーバから配信する立体映像配信システムであって、
立体映像を含む映像コンテンツは、フレーム内でデータ圧縮されたＩピクチャと、時間的に前方向の前記Ｉピクチャによる動き補償を加えてデータ圧縮されたＰピクチャと、時間的に前後方向の前記Ｉピクチャ又は前記Ｐピクチャによる動き補償を加えてデータ圧縮されたＢピクチャとを有するディジタル映像情報により構成されるとともに、
前記映像情報は、左目映像もしくは右目映像の片方のみで構成される平面映像と、さらに前記平面映像と逆側の目の映像の情報とを用いることにより立体映像視聴可能となる立体映像配信コンテンツであって、
前記立体映像配信コンテンツは、複数の映像配信サーバにて保管されているとともに、
映像配信時においては、前記複数の映像配信サーバの中から外部指示により選択した所望のコンテンツを有する特定の前記映像配信サーバより前記立体映像配信コンテンツが配信され、
前記配信される立体映像配信コンテンツはさらに一旦トランスコーディングサーバに入力し、前記トランスコーディングサーバにてフォーマット変換することにより、
立体視聴可能なプレーヤもしくはＴＶにおいてデコードできる映像信号フォーマットの形態にして、前記立体視聴可能なプレーヤもしくはＴＶに再配信することを特徴とする
立体映像配信システム。
【請求項２】
前記再配信後の立体映像信号フォーマット形態が、前記立体視聴可能なプレーヤにおけるストレージメディアに記録されている立体映像信号フォーマット形態と同じ圧縮構造を有するよう、前記トランスコーディングサーバにてトランスコーディングされてから配信される事を特徴とする、
請求項１に記載の立体映像配信システム。
【請求項３】
前記トランスコーディング後の立体映像信号フォーマットが、左目映像もしくは右目映像の片方のみで構成される平面映像と、前記平面映像との差分を取ることで前記平面映像と逆側の目の圧縮効率をアップさせた映像との立体映像信号フォーマットから構成されることを特徴とする
請求項１に記載の立体映像配信システム。
【請求項４】
ＴＶの設定が、平面映像視聴可能であるか立体視聴可能であるかを、ＨＤＭＩケーブルの情報として立体再生プレーヤが確認処理を実行し、視聴環境確認情報として保有するとともに、
前記立体再生プレーヤが前記トランスコーディングサーバと認証処理を行う際に前記ＨＤＭＩケーブルによる視聴環境確認情報を伝送し、
前記トランスコーディングサーバにてあらかじめ用意された平面映像からなる映像配信メニューにおいて、前記平面映像視聴可能時は平面映像の視聴メニューを、立体映像視聴可能時は、立体映像視聴用と平面映像視聴用のコンテンツが、平面映像用か立体映像用か識別できるリストとして混在する、視聴メニューを配信することを特徴とする
請求項１に記載の立体映像配信システム。
【請求項５】
立体視聴可能なプレーヤに接続されたＴＶが、平面映像視聴用であるか立体映像視聴用であるかどうかを、ＨＤＭＩケーブルの情報として立体再生プレーヤが確認処理を実行し、視聴環境確認情報として保有するとともに、
前記立体視聴可能なプレーヤが前記トランスコーディングサーバと認証処理を行う際、前記ＨＤＭＩケーブルによる前記視聴環境確認情報を伝送し、
前記トランスコーディングサーバにてあらかじめ用意された平面映像からなる映像配信メニューにおいて、前記平面映像視聴用ＴＶ接続時は平面映像の視聴メニューを、立体視聴可能ＴＶ接続時は、立体映像視聴用と平面映像視聴用のコンテンツが、平面映像用か立体映像用か識別できるリストとして混在する、視聴メニューを配信することを特徴とする
請求項１に記載の立体映像配信システム。
【請求項６】
前記立体視聴可能プレーヤもしくは立体視聴可能ＴＶが所望のウィジェット情報配信要求を前記トランスコーディングサーバへ出力する際、
前記トランスコーディングサーバ内にある立体視聴可能な所望のウィジェット情報を前記立体視聴可能なプレーヤや立体視聴可能なＴＶにて立体表示可能なＯＳＤ信号フォーマットとして配信することを特徴とする
請求項１に記載の立体映像配信システム。
【請求項７】
前記立体視聴可能プレーヤもしくは立体視聴可能ＴＶが所望のウィジェット情報配信要求を前記トランスコーディングサーバへ出力する際、
前記トランスコーディングサーバが立体視聴可能な所望のウィジェット情報を有する映像配信サーバを前記複数の映像配信サーバの中から選択するとともに、前記映像配信サーバが前記立体視聴用のウィジェット情報を前記トランスコーディングサーバへ配信し、
前記トランスコーディングサーバにて前記立体視聴可能なプレーヤや立体視聴可能なＴＶにて立体表示可能なＯＳＤ信号フォーマットに変換するとともに、前記立体映像配信コンテンツとあわせて前記立体視聴用の前記ウィジェット情報を前記立体視聴可能プレーヤもしくは立体視聴可能ＴＶへ伝送することを特徴とする
請求項１に記載の立体映像配信システム。
【請求項８】
前記立体視聴可能なプレーヤもしくは立体視聴可能ＴＶが所望のウィジェット情報配信要求を前記トランスコーディングサーバへ出力する際、
前記トランスコーディングサーバが立体視聴可能な所望のウィジェット情報を有する前記映像配信サーバを前記複数の映像配信サーバの中から選択するとともに、
前記映像配信サーバが前記立体視聴用のウィジェット情報を前記トランスコーディングサーバへ配信し、
前記トランスコーディングサーバにて立体映像配信コンテンツ画面上にオーバレイもしくは画面分割したコンテンツ情報画面以外の領域に表示させるよう、前記立体視聴コンテンツと前記ウィジェット情報を組み合わせた第二の立体映像配信コンテンツを生成するとともに、
前記第二の前記立体映像配信コンテンツを前記立体視聴可能プレーヤもしくは立体視聴可能ＴＶに再配信することを特徴とする
請求項１に記載の立体映像配信システム。
【請求項９】
前記立体視聴可能プレーヤもしくは立体視聴可能ＴＶが所望のウィジェット情報配信要求をトランスコーディングサーバへ出力する際、
前記映像配信サーバが保有または前記トランスコーディングサーバが保有する平面映像からなる所望のウィジェット情報を、前記トランスコーディングサーバにおいて、前記ウィジェット情報を立体方向に位置づけて配置させるとともに、
前記トランスコーディングサーバ内の映像合成部において、前記立体映像配信コンテンツと前記ウィジェット情報とを画像合成した第二の立体映像配信コンテンツとして生成し、
前記第二の立体映像配信コンテンツを前記立体視聴可能なプレーヤや立体視聴可能なＴＶにて立体表示可能な映像信号フォーマットとして配信することを特徴とする
請求項１に記載の立体映像配信システム。
【請求項１０】
合成される前記ウィジェット情報の立体方向位置を、前記立体視聴可能なプレーヤもしくは立体視聴可能なＴＶからの立体方向位置可変入力手段により外部から設定されるとともに、
前記立体視聴可能なプレーヤもしくは立体視聴可能なＴＶから前記トランスコーディングサーバへ送信される立体方向位置可変制御コマンドに基づき、前記トランスコーディングサーバ内の立体方向重み付け手段の重み付けパラメータを可変することで、
合成された立体映像の奥行きもしくは飛び出し方向の立体感を強めたり弱めたりする事が可能な
請求項９に記載の立体映像配信システム。
【請求項１１】
前記映像配信サーバに保管されている前記立体映像配信コンテンツが、複数のアングル情報を含む立体映像配信コンテンツであって、
前記立体視聴可能なプレーヤもしくは前記立体再生可能なＴＶの視聴時において、
前記外部のマルチアングル表示番号を含むマルチアングル切り替え操作情報を、前記立体視聴可能なプレーヤもしくは前記立体再生可能なＴＶより前記トランスコーディングサーバへ伝送し、
さらに前記トランスコーディングサーバから前記映像配信サーバへ前記映像配信サーバが受け付け可能な情報として前記マルチアングル切り替え情報を伝送することで、
前記映像配信サーバよりアングルを切り替えた立体映像配信コンテンツ配信をし、
前記アングルが切り替わった立体映像配信コンテンツをフォーマット変換し、
前記立体視聴可能なプレーヤもしくは前記立体視聴可能ＴＶに再配信することで、前記立体映像配信コンテンツのマルチアングル切り替え操作を行うことを特徴とする
請求項１に記載の立体映像配信システム。
【請求項１２】
前記映像配信サーバに保管されている前記立体映像配信コンテンツが、複数のアングル情報を含む立体映像配信コンテンツであって、
前記立体視聴可能なプレーヤもしくは前記立体視聴可能ＴＶの視聴時において、
前記外部から視聴中のアングル角度から所定時間毎に右回りもしくは左回りに順次切り替えていくアングル順次切り替えコマンドを定義し、
アングル順次切り替えコマンドを、前記立体再生可能なプレーヤもしくは前記立体再生可能なＴＶより前記トランスコーディングサーバへ伝送し、
さらに前記トランスコーディングサーバから前記映像配信サーバへ前記映像配信サーバが受け付け可能な情報として前記マルチアングル切り替え情報を伝送することで、
前記映像配信サーバより右回りもしくは左回りに順次アングルが切り替わる立体映像配信コンテンツを配信し、
前記アングルが切り替わった立体映像配信コンテンツを前記トランスコーディングサーバにてフォーマット変換し、前記立体視聴可能なプレーヤもしくは前記立体視聴可能ＴＶに再配信することで、立体映像配信コンテンツの右回りもしくは左回り方向のマルチアングル順次切り替え操作を行うことを特徴とする
請求項１に記載の立体映像配信システム。
【請求項１３】
前記立体視聴可能なプレーヤもしくは立体視聴可能なＴＶが前記トランスコーディングサーバと認証処理を行う際に、前記外部と前記トランスコーディングサーバとの間で課金処理を行うとともに、
前記外部と前記トランスコーディングサーバとの前記課金処理完了後、前記トランスコーディングサーバと前記外部が所望する立体映像配信コンテンツを有する前記映像配信サーバとの間にて第二の課金処理を実行するとともに、
前記外部から支払われた金額の所定割合が前記映像配信サーバの権利者へ、残りの金額を前記トランスコーディングサーバの権利者へ配分される事を特徴とする
請求項１に記載の立体映像配信システム。
【請求項１４】
前記立体視聴可能なプレーヤもしくは前記立体視聴可能ＴＶにおいては、前記トランスコーディングサーバおよび前記映像配信サーバ間の通信時間、前記映像配信サーバにおけるアングルの異なる映像への切り替え時間、前記トランスコーディングサーバにおけるフォーマット変換処理時間、および前記トランスコーディングサーバと前記立体視聴可能プレーヤもしくは立体視聴可能ＴＶ間との通信時間の合計時間を上回るだけの容量を有する、映像配信バッファを持つことを特徴とする
請求項１に記載の立体映像配信システム。
【請求項１５】
視差映像を利用した左目映像と右目映像とからなる立体映像をサーバから配信する立体映像配信システムであって、
立体映像を含む映像コンテンツは、フレーム内でデータ圧縮されたＩピクチャと、時間的に前方向の前記Ｉピクチャによる動き補償を加えてデータ圧縮されたＰピクチャと、時間的に前後方向の前記Ｉピクチャ又は前記Ｐピクチャによる動き補償を加えてデータ圧縮されたＢピクチャとを有するディジタル映像情報により構成されるとともに、
前記映像情報は、左目映像もしくは右目映像の片方のみで構成される平面映像と、さらに前記平面映像と逆側の目の映像の情報とを用いることにより立体映像視聴可能となる立体映像配信コンテンツであって、
前記立体映像配信コンテンツは、複数の映像配信サーバにて保管されている左目映像もしくは右目映像の片方のみで構成される平面映像から構成されるとともに、
映像配信時において、前記複数の映像配信サーバの中から外部指示により選択した所望の平面映像配信コンテンツを有する特定の前記映像配信サーバより所望の平面映像配信コンテンツが配信されるとともに、
前記配信される平面映像配信コンテンツはさらに一旦トランスコーディングサーバに入力され、
前記トランスコーディングサーバにて前記平面映像配信コンテンツを平面映像から立体映像に変換させるとともに、立体視聴可能なプレーヤもしくはＴＶにおいてデコードできる映像信号フォーマットの形態に変換して、
前記立体視聴可能なプレーヤもしくはＴＶに再配信することを特徴とする
立体映像配信システム。
【請求項１６】
視差映像を利用した左目映像と右目映像とからなる立体映像をサーバから配信する立体映像配信システムであって、
立体映像を含む映像コンテンツは、フレーム内でデータ圧縮されたＩピクチャと、時間的に前方向の前記Ｉピクチャによる動き補償を加えてデータ圧縮されたＰピクチャと、時間的に前後方向の前記Ｉピクチャ又は前記Ｐピクチャによる動き補償を加えてデータ圧縮されたＢピクチャとを有するディジタル映像情報により構成されるとともに、
前記映像情報は、左目映像もしくは右目映像の片方のみで構成される平面映像が、まず外部保有の映像機器であるムービで撮影した映像をムービから、もしくは外部が録画した映像をレコーダから、直接トランスコーディングサーバにアップロードするとともに、
前記アップロードした前記平面映像を前記トランスコーディングサーバにて平面映像から立体映像に変換させるとともに、
前記変換した映像を、立体視聴可能なプレーヤもしくはＴＶにおいてデコードできる映像信号フォーマットの形態に変換して、前記立体視聴可能なプレーヤもしくはＴＶに再配信することを特徴とする
立体映像配信システム。
【請求項１７】
前記平面映像から立体映像への変換が、
映像の背景部分抽出する手段と、
手前にある人物や物などの手前映像を分離する手段と、
これら分離された映像の立体方向位置の重み付けをする手段と、
立体方向に重み付けされた映像を合成する手段とにより実現される事を特徴とする
請求項１５または１６に記載の立体映像配信システム。
【請求項１８】
前記外部から直接前記トランスコーディングサーバにアップロードする際に、当該トランスコーディングサーバと外部保有機器との間でまず機器認証を行うとともに、
前記外部のＩＤ登録を行い、前記外部から前記立体視聴可能なプレーヤもしくは前記立体視聴可能ＴＶにおいて前記外部が前記トランスコーディングサーバに前記アップロードした映像を視聴する際に、前記外部から立体視聴可能なプレーヤもしくはＴＶとトランスコーディングサーバ間で機器認証を行うとともに、
前記アップロード時に登録したＩＤを再入力することを特徴とする
請求項１６に記載の立体映像配信システム。
【請求項１９】
前記外部から立体視聴可能なプレーヤもしくはＴＶにおいて前記外部が前記トランスコーディングサーバにアップロードした映像を視聴する際、前記アップロード時に登録したＩＤを前記立体視聴可能なプレーヤもしくはＴＶにあらかじめ設定しておき、
前記立体視聴可能なプレーヤもしくはＴＶとの機器認証とあわせ登録したＩＤを確認することで、新たな入力手続きを不要とする事を特徴とする
請求項１６に記載の立体映像配信システム。
【請求項２０】
前記平面映像から変換し合成される立体情報の立体方向位置が、前記立体視聴可能なプレーヤもしくは前記立体視聴可能ＴＶからの立体方向位置可変入力手段により外部から設定されるとともに、
前記立体視聴可能なプレーヤもしくは立体視聴可能なＴＶから前記トランスコーディングサーバへ送信される立体方向位置可変制御コマンドに基づき、前記トランスコーディングサーバ内の立体方向重み付け手段の重み付けパラメータを可変することで、
合成された立体映像の奥行きもしくは飛び出し方向の立体感を強めたり弱めたりする事が可能な
請求項１５または１６に記載の立体映像配信システム。
【請求項２１】
視差映像を利用した左目映像と右目映像とからなる立体映像をサーバから配信する立体映像配信方法であって、
立体映像を含む映像コンテンツは、フレーム内でデータ圧縮されたＩピクチャと、時間的に前方向の前記Ｉピクチャによる動き補償を加えてデータ圧縮されたＰピクチャと、時間的に前後方向の前記Ｉピクチャ又は前記Ｐピクチャによる動き補償を加えてデータ圧縮されたＢピクチャとを有するディジタル映像情報により構成されるとともに、
前記映像情報は、左目映像もしくは右目映像の片方のみで構成される平面映像と、さらに前記平面映像と逆側の目の映像の情報とを用いることにより立体映像視聴可能となる立体映像配信コンテンツであって、
前記立体映像配信コンテンツは、複数の映像配信サーバにて保管されているとともに、
映像配信時においては、前記複数の映像配信サーバの中から外部指示により選択した所望のコンテンツを有する特定の前記映像配信サーバより前記立体映像配信コンテンツが配信され、
前記配信される立体映像配信コンテンツはさらに一旦トランスコーディングサーバに入力し、前記トランスコーディングサーバにてフォーマット変換することにより、
立体視聴可能なプレーヤもしくはＴＶにおいてデコードできる映像信号フォーマットの形態にして、前記立体視聴可能なプレーヤもしくはＴＶに再配信することを特徴とする
立体映像配信方法。
【請求項２２】
前記再配信後の立体映像信号フォーマット形態が、前記立体視聴可能なプレーヤにおけるストレージメディアに記録されている立体映像信号フォーマット形態と同じ圧縮方式を有するよう、前記トランスコーディングサーバにてトランスコーディングされてから配信される事を特徴とする、
請求項２１に記載の立体映像配信方法。
【請求項２３】
前記トランスコーディング後の立体映像信号フォーマットを、左目映像もしくは右目映像の片方のみで構成される平面映像と、前記平面映像との差分を取ることで前記平面映像と逆側の目の圧縮効率をアップさせた映像との立体映像信号フォーマットにすることを特徴とする
請求項２１に記載の立体映像配信方法。
【請求項２４】
ＴＶの設定が、平面映像視聴可能であるか立体視聴可能であるかを、ＨＤＭＩケーブルの情報として立体再生プレーヤが確認処理を実行し、視聴環境確認情報として保有するとともに、
前記立体再生プレーヤが前記トランスコーディングサーバと認証処理を行う際に前記ＨＤＭＩケーブルによる視聴環境確認情報を伝送し、
前記トランスコーディングサーバにてあらかじめ用意された平面映像からなる映像配信メニューにおいて、前記平面映像視聴可能時は平面映像の視聴メニューを、立体映像視聴可能時は、立体映像視聴用と平面映像視聴用のコンテンツが、平面映像用か立体映像用か識別できるリストとして混在する、視聴メニューを配信することを特徴とする
請求項２１に記載の立体映像配信方法。
【請求項２５】
立体視聴可能なプレーヤに接続されたＴＶが、平面映像視聴用であるか立体映像視聴用であるかどうかを、ＨＤＭＩケーブルの情報として立体再生プレーヤが確認処理を実行し、視聴環境確認情報として保有するとともに、
前記立体視聴可能なプレーヤが前記トランスコーディングサーバと認証処理を行う際、前記ＨＤＭＩケーブルによる前記視聴環境確認情報を伝送し、
前記トランスコーディングサーバにてあらかじめ用意された平面映像からなる映像配信メニューにおいて、前記平面映像視聴用ＴＶ接続時は平面映像の視聴メニューを、立体視聴可能ＴＶ接続時は、立体映像視聴用と平面映像視聴用のコンテンツが、平面映像用か立体映像用か識別できるリストとして混在する、視聴メニューを配信することを特徴とする
請求項２１に記載の立体映像配信方法。
【請求項２６】
前記立体視聴可能プレーヤもしくは立体視聴可能ＴＶが所望のウィジェット情報配信要求を前記トランスコーディングサーバへ出力する際、
前記トランスコーディングサーバ内にある立体視聴可能な所望のウィジェット情報を前記立体視聴可能なプレーヤや立体視聴可能なＴＶにて立体表示可能なＯＳＤ信号フォーマットとして配信することを特徴とする
請求項２１に記載の立体映像配信方法。
【請求項２７】
前記立体視聴可能プレーヤもしくは立体視聴可能ＴＶが所望のウィジェット情報配信要求を前記トランスコーディングサーバへ出力する際、
前記トランスコーディングサーバが立体視聴可能な所望のウィジェット情報を有する映像配信サーバを前記複数の映像配信サーバの中から選択するとともに、前記映像配信サーバが前記立体視聴用のウィジェット情報を前記トランスコーディングサーバへ配信し、
前記トランスコーディングサーバにて前記立体視聴可能なプレーヤや立体視聴可能なＴＶにて立体表示可能なＯＳＤ信号フォーマットに変換するとともに、前記立体映像配信コンテンツとあわせて前記立体視聴用の前記ウィジェット情報を前記立体視聴可能プレーヤもしくは立体視聴可能ＴＶへ伝送することを特徴とする
請求項２１に記載の立体映像配信方法。
【請求項２８】
前記立体視聴可能なプレーヤもしくは立体視聴可能ＴＶが所望のウィジェット情報配信要求を前記トランスコーディングサーバへ出力する際、
前記トランスコーディングサーバが立体視聴可能な所望のウィジェット情報を有する前記映像配信サーバを前記複数の映像配信サーバの中から選択するとともに、
前記映像配信サーバが前記立体視聴用のウィジェット情報を前記トランスコーディングサーバへ配信し、
前記トランスコーディングサーバにて立体映像配信コンテンツ画面上にオーバレイもしくは画面分割したコンテンツ情報画面以外の領域に表示させるよう、前記立体視聴コンテンツと前記ウィジェット情報を組み合わせた第二の立体映像配信コンテンツを生成するとともに、
前記第二の前記立体映像配信コンテンツを前記立体視聴可能プレーヤもしくは立体視聴可能ＴＶに再配信することを特徴とする
請求項２１に記載の立体映像配信方法。
【請求項２９】
前記立体視聴可能プレーヤもしくは立体視聴可能ＴＶが所望のウィジェット情報配信要求をトランスコーディングサーバへ出力する際、
前記映像配信サーバが保有または前記トランスコーディングサーバが保有する平面映像からなる所望のウィジェット情報を、前記トランスコーディングサーバにおいて、前記ウィジェット情報を立体方向に位置づけて配置させるとともに、
前記トランスコーディングサーバ内の映像合成部において、前記立体映像配信コンテンツと前記ウィジェット情報とを画像合成した第二の立体映像配信コンテンツとして生成し、
前記第二の立体映像配信コンテンツを前記立体視聴可能なプレーヤや立体視聴可能なＴＶにて立体表示可能な映像信号フォーマットとして配信することを特徴とする
請求項２１に記載の立体映像配信方法。
【請求項３０】
合成される前記ウィジェット情報の立体方向位置を、前記立体視聴可能なプレーヤもしくは立体視聴可能なＴＶからの立体方向位置可変入力手段により外部から設定されるとともに、
前記立体視聴可能なプレーヤもしくは立体視聴可能なＴＶから前記トランスコーディングサーバへ送信される立体方向位置可変制御コマンドに基づき、前記トランスコーディングサーバ内の立体方向重み付け手段の重み付けパラメータを可変することで、
合成された立体映像の奥行きもしくは飛び出し方向の立体感を強めたり弱めたりする事が可能な
請求項２９に記載の立体映像配信方法。
【請求項３１】
前記映像配信サーバに保管されている前記立体映像配信コンテンツが、複数のアングル情報を含む立体映像配信コンテンツであって、
前記立体視聴可能なプレーヤもしくは前記立体再生可能なＴＶの視聴時において、
前記外部のマルチアングル表示番号を含むマルチアングル切り替え操作情報を、前記立体視聴可能なプレーヤもしくは前記立体再生可能なＴＶより前記トランスコーディングサーバへ伝送し、
さらに前記トランスコーディングサーバから前記映像配信サーバへ前記映像配信サーバが受け付け可能な情報として前記マルチアングル切り替え情報を伝送することで、
前記映像配信サーバよりアングルを切り替えた立体映像配信コンテンツ配信をし、
前記アングルが切り替わった立体映像配信コンテンツをフォーマット変換し、
前記立体視聴可能なプレーヤもしくは前記立体視聴可能ＴＶに再配信することで、前記立体映像配信コンテンツのマルチアングル切り替え操作を行うことを特徴とする
請求項２１に記載の立体映像配信方法。
【請求項３２】
前記映像配信サーバに保管されている前記立体映像配信コンテンツが、複数のアングル情報を含む立体映像配信コンテンツであって、
前記立体視聴可能なプレーヤもしくは前記立体視聴可能ＴＶの視聴時において、
前記外部から視聴中のアングル角度から所定時間毎に右回りもしくは左回りに順次切り替えていくアングル順次切り替えコマンドを定義し、
アングル順次切り替えコマンドを、前記立体再生可能なプレーヤもしくは前記立体再生可能なＴＶより前記トランスコーディングサーバへ伝送し、
さらに前記トランスコーディングサーバから前記映像配信サーバへ前記映像配信サーバが受け付け可能な情報として前記マルチアングル切り替え情報を伝送することで、
前記映像配信サーバより右回りもしくは左回りに順次アングルが切り替わる立体映像配信コンテンツを配信し、
前記アングルが切り替わった立体映像配信コンテンツを前記トランスコーディングサーバにてフォーマット変換し、前記立体視聴可能なプレーヤもしくは前記立体視聴可能ＴＶに再配信することで、立体映像配信コンテンツの右回りもしくは左回り方向のマルチアングル順次切り替え操作を行うことを特徴とする
請求項２１に記載の立体映像配信方法。
【請求項３３】
前記立体視聴可能なプレーヤもしくは立体視聴可能なＴＶが前記トランスコーディングサーバと認証処理を行う際に、前記外部と前記トランスコーディングサーバとの間で課金処理を行うとともに、
前記外部と前記トランスコーディングサーバとの前記課金処理完了後、前記トランスコーディングサーバと前記外部が所望する立体映像配信コンテンツを有する前記映像配信サーバとの間にて第二の課金処理を実行するとともに、
前記外部から支払われた金額の所定割合が前記映像配信サーバの権利者へ、残りの金額を前記トランスコーディングサーバの権利者へ配分される事を特徴とする
請求項２１に記載の立体映像配信方法。
【請求項３４】
前記立体視聴可能なプレーヤもしくは前記立体視聴可能ＴＶにおいては、前記トランスコーディングサーバおよび前記映像配信サーバ間の通信時間、前記映像配信サーバにおけるアングルの異なる映像への切り替え時間、前記トランスコーディングサーバにおけるフォーマット変換処理時間、および前記トランスコーディングサーバと前記立体視聴可能プレーヤもしくは立体視聴可能ＴＶ間との通信時間の合計時間を上回るだけの容量を有する、映像配信バッファを設定することを特徴とする
請求項２１に記載の立体映像配信方法。
【請求項３５】
視差映像を利用した左目映像と右目映像とからなる立体映像をサーバから配信する立体映像配信方法であって、
立体映像を含む映像コンテンツは、フレーム内でデータ圧縮されたＩピクチャと、時間的に前方向の前記Ｉピクチャによる動き補償を加えてデータ圧縮されたＰピクチャと、時間的に前後方向の前記Ｉピクチャ又は前記Ｐピクチャによる動き補償を加えてデータ圧縮されたＢピクチャとを有するディジタル映像情報により構成されるとともに、
前記映像情報は、左目映像もしくは右目映像の片方のみで構成される平面映像と、さらに前記平面映像と逆側の目の映像の情報とを用いることにより立体映像視聴可能となる立体映像配信コンテンツであって、
前記立体映像配信コンテンツは、複数の映像配信サーバにて保管されている左目映像もしくは右目映像の片方のみで構成される平面映像から構成されるとともに、
映像配信時において、前記複数の映像配信サーバの中から外部指示により選択した所望の平面映像配信コンテンツを有する特定の前記映像配信サーバより所望の平面映像配信コンテンツが配信されるとともに、
前記配信される平面映像配信コンテンツはさらに一旦トランスコーディングサーバに入力され、
前記トランスコーディングサーバにて前記平面映像配信コンテンツを平面映像から立体映像に変換させるとともに、立体視聴可能なプレーヤもしくはＴＶにおいてデコードできる映像信号フォーマットの形態に変換して、
前記立体視聴可能なプレーヤもしくはＴＶに再配信することを特徴とする
立体映像配信方法。
【請求項３６】
視差映像を利用した左目映像と右目映像とからなる立体映像をサーバから配信する立体映像配信方法であって、
立体映像を含む映像コンテンツは、フレーム内でデータ圧縮されたＩピクチャと、時間的に前方向の前記Ｉピクチャによる動き補償を加えてデータ圧縮されたＰピクチャと、時間的に前後方向の前記Ｉピクチャ又は前記Ｐピクチャによる動き補償を加えてデータ圧縮されたＢピクチャとを有するディジタル映像情報により構成されるとともに、
前記映像情報は、左目映像もしくは右目映像の片方のみで構成される平面映像が、まず外部保有の映像機器であるムービで撮影した映像をムービから、もしくは外部が録画した映像をレコーダから、直接トランスコーディングサーバにアップロードするとともに、
前記アップロードした前記平面映像を前記トランスコーディングサーバにて平面映像から立体映像に変換させるとともに、
前記変換した映像を、立体視聴可能なプレーヤもしくはＴＶにおいてデコードできる映像信号フォーマットの形態に変換して、前記立体視聴可能なプレーヤもしくはＴＶに再配信することを特徴とする
立体映像配信方法。
【請求項３７】
前記平面映像から立体映像への変換は、
映像の背景部分を抽出し、
手前にある人物や物などの手前映像を分離し、
これら分離された映像の立体方向位置の重み付けをし、
立体方向に重み付けされた映像を合成することにより実現される事を特徴とする
請求項３５または３６に記載の立体映像配信方法。
【請求項３８】
前記外部から直接前記トランスコーディングサーバにアップロードする際に、当該トランスコーディングサーバと外部保有機器との間でまず機器認証を行うとともに、
前記外部のＩＤ登録を行い、前記外部が前記立体視聴可能なプレーヤもしくは前記立体視聴可能ＴＶにおいて前記外部が前記トランスコーディングサーバに前記アップロードした映像を視聴する際に、前記外部から立体視聴可能なプレーヤもしくはＴＶとトランスコーディングサーバ間で機器認証を行うとともに、
前記アップロード時に登録したＩＤを再入力することを特徴とする
請求項３６に記載の立体映像配信方法。
【請求項３９】
前記外部から立体視聴可能なプレーヤもしくはＴＶにおいて前記外部が前記トランスコーディングサーバにアップロードした映像を視聴する際、前記アップロード時に登録したＩＤを前記立体視聴可能なプレーヤもしくはＴＶにあらかじめ設定しておき、
前記立体視聴可能なプレーヤもしくはＴＶとの機器認証とあわせ登録したＩＤを確認することで、新たな入力手続きを不要とする事を特徴とする
請求項３６に記載の立体映像配信方法。
【請求項４０】
前記平面映像から変換し合成される立体情報の立体方向位置が、前記立体視聴可能なプレーヤもしくは前記立体視聴可能ＴＶからの立体方向位置可変入力手段により外部から設定されるとともに、
前記立体視聴可能なプレーヤもしくは立体視聴可能なＴＶから前記トランスコーディングサーバへ送信される立体方向位置可変制御コマンドに基づき、前記トランスコーディングサーバ内の立体方向重み付け手段の重み付けパラメータを可変することで、
合成された立体映像の奥行きもしくは飛び出し方向の立体感を強めたり弱めたりする事が可能な
請求項３５または３６に記載の立体映像配信方法。
【請求項４１】
視差映像を利用した左目映像と右目映像とからなる立体映像をサーバから配信する立体映像配信装置であって、
立体映像を含む映像コンテンツは、フレーム内でデータ圧縮されたＩピクチャと、時間的に前方向の前記Ｉピクチャによる動き補償を加えてデータ圧縮されたＰピクチャと、時間的に前後方向の前記Ｉピクチャ又は前記Ｐピクチャによる動き補償を加えてデータ圧縮されたＢピクチャとを有するディジタル映像情報により構成され、
前記映像情報は、左目映像もしくは右目映像の片方のみで構成される平面映像と、さらに前記平面映像と逆側の目の映像の情報とを用いることにより立体映像視聴可能となる立体映像配信コンテンツであって、
前記立体映像配信コンテンツは、複数の映像配信サーバにて保管され、
映像配信時において、前記複数の映像配信サーバの中から外部指示により選択した、所望のコンテンツを有する特定の前記映像配信サーバより、前記立体映像配信コンテンツが配信され、
配信される前記立体映像配信コンテンツは、さらに一旦トランスコーディングサーバに入力され、
前記トランスコーディングサーバはフォーマット変換手段を有し、
前記フォーマット変換手段にて前記立体映像配信コンテンツを立体視聴可能なプレーヤもしくは立体視聴可能ＴＶにおいてデコードできる映像信号フォーマットの形態にして、立体視聴可能なプレーヤもしくは立体視聴可能ＴＶに再配信することを特徴とする
立体映像配信装置。
【請求項４２】
前記再配信後の映像信号フォーマット形態が、前記立体視聴可能なプレーヤにおけるストレージメディアに記録されている映像信号フォーマット形態と同じ圧縮方式となるよう、前記トランスコーディングサーバのフォーマット変換手段によりトランスコードされてから配信される事を特徴とする
請求項４１に記載の立体映像配信装置。
【請求項４３】
前記トランスコーディング後の映像信号フォーマットが、左目映像もしくは右目映像の片方のみで構成される平面映像と、前記平面映像との差分を取ることで前記平面映像と逆側の目の圧縮効率をアップさせた映像との映像信号フォーマットであることを特徴とする
請求項４１に記載の立体映像配信装置。
【請求項４４】
ＴＶの設定が、平面映像視聴可能であるか立体映像視聴可能であるかを、ＨＤＭＩケーブルの情報として立体再生プレーヤが確認処理を実行し、視聴環境確認情報として保有し、
前記立体再生プレーヤが前記トランスコーディングサーバと認証処理を行う際に、前記ＨＤＭＩケーブルによる視聴環境確認情報を伝送する手段と、
前記トランスコーディングサーバにてあらかじめ用意された平面映像からなる映像配信メニューにおいて、前記平面映像視聴可能時は平面映像の視聴メニューを、立体映像視聴可能時は、立体映像視聴用と平面映像視聴用のコンテンツが、平面映像用か立体映像用か識別できるリストとして混在する、視聴メニューを配信する手段とをさらに備える、
請求項４１に記載の立体映像配信装置。
【請求項４５】
立体視聴可能なプレーヤに接続されたＴＶが、平面映像視聴用であるか立体映像視聴用であるかを、ＨＤＭＩケーブルの情報としての立体再生プレーヤでの確認手段と、
前記確認手段における視聴環境確認情報を保有する保有手段と、
前記立体視聴可能なプレーヤが前記トランスコーディングサーバと認証処理を行う際、前記ＨＤＭＩケーブルによる前記視聴環境確認情報を伝送する手段と、
前記トランスコーディングサーバにてあらかじめ用意された平面映像からなる映像配信メニューにおいて、前記平面映像視聴用ＴＶ接続時は平面映像の視聴メニューを、立体視聴可能ＴＶ接続時は、立体映像視聴用と平面映像視聴用のコンテンツが、平面映像用か立体映像用か識別できるリストとして混在する、視聴メニューを配信する手段とをさらに備える、
請求項４１に記載の立体映像配信装置。
【請求項４６】
前記立体視聴可能なプレーヤもしくは立体視聴可能ＴＶが所望のウィジェット情報配信要求を前記トランスコーディングサーバへ出力する手段と、
前記トランスコーディングサーバ内にある立体視聴可能な所望のウィジェット情報を前記立体視聴可能なプレーヤや立体視聴可能ＴＶにて立体表示可能なＯＳＤ信号フォーマットとして配信する手段とをさらに備える、
請求項４１に記載の立体映像配信装置。
【請求項４７】
前記立体視聴可能なプレーヤもしくは立体視聴可能ＴＶが所望のウィジェット情報配信要求を前記トランスコーディングサーバへ出力する際、
前記トランスコーディングサーバが、立体視聴可能な所望のウィジェット情報を有する前記映像配信サーバを前記複数の映像配信サーバの中から選択する手段と、
前記映像配信サーバが前記ウィジェット情報を前記トランスコーディングサーバへ配信する手段と、
前記トランスコーディングサーバにて、前記立体視聴可能なプレーヤや立体視聴可能ＴＶで立体表示可能なＯＳＤ信号フォーマットに前記ウィジェット情報を変換する手段と、
前記立体映像配信コンテンツとあわせて前記ウィジェット情報を前記立体視聴可能なプレーヤもしくは立体視聴可能ＴＶへ伝送する手段とをさらに備える、
請求項４１に記載の立体映像配信装置。
【請求項４８】
前記立体視聴可能なプレーヤもしくは立体視聴可能ＴＶが所望のウィジェット情報配信要求を前記トランスコーディングサーバへ出力する際、
前記トランスコーディングサーバが立体視聴可能な所望のウィジェット情報を有する前記映像配信サーバを前記複数の映像配信サーバの中から選択する手段と、
前記映像配信サーバが前記ウィジェット情報を前記トランスコーディングサーバへ配信する手段と、
前記トランスコーディングサーバにて立体映像配信コンテンツ画面上にオーバレイもしくは画面分割した前記映像配信コンテンツ画面以外の領域に表示させるよう、前記立体映像配信コンテンツと前記ウィジェット情報を組み合わせた第二の立体映像配信コンテンツを生成する手段とをさらに備え、前記第二の立体映像配信コンテンツを前記立体視聴可能なプレーヤもしくは立体視聴可能ＴＶに再配信することを特徴とする
請求項４１に記載の立体映像配信装置。
【請求項４９】
前記立体視聴可能なプレーヤもしくは立体視聴可能ＴＶが所望のウィジェット情報配信要求を前記トランスコーディングサーバへ出力する際、
前記トランスコーディングサーバにおいて、前記映像配信サーバが保有または前記トランスコーディングサーバが保有する平面映像からなる所望のウィジェット情報を、前記ウィジェット情報を立体方向に位置づけて配置させる手段と、
前記トランスコーディングサーバ内の映像合成部において、前記立体映像配信コンテンツと前記ウィジェット情報とを画像合成した第二の立体映像配信コンテンツとして生成する手段と、
前記第二の立体映像配信コンテンツを前記立体視聴可能なプレーヤや立体視聴可能ＴＶにて立体表示可能な映像信号フォーマットとして配信する手段とをさらに備える、
請求項４１に記載の立体映像配信装置。
【請求項５０】
合成される前記ウィジェット情報の立体方向位置を、前記立体視聴可能なプレーヤもしくは立体視聴可能ＴＶからの立体方向位置可変入力手段により外部から設定する手段と、
前記立体視聴可能なプレーヤもしくは立体視聴可能ＴＶから前記トランスコーディングサーバへ、前記立体方向位置を設定する立体方向位置可変制御コマンドを送信する手段と、
前記トランスコーディングサーバ内の立体方向重み付け手段の重み付けパラメータを可変する手段とをさらに備え、合成された立体映像の奥行きもしくは飛び出し方向の立体感を強めたり弱めたりする事を可能せしめる
請求項４９に記載の立体映像配信装置。
【請求項５１】
前記映像配信サーバに保管されている前記立体映像配信コンテンツが、複数のアングル情報を含む立体映像配信コンテンツであって、
前記立体視聴可能なプレーヤもしくは前記立体視聴可能ＴＶの視聴時において、
前記外部からのマルチアングル表示番号を含むマルチアングル切り替え情報により前記アングルを切り替えるマルチアングル切り替え操作手段と、
前記立体視聴可能なプレーヤもしくは前記立体視聴可能ＴＶより前記トランスコーディングサーバへ前記マルチアングル切り替え情報を伝送する手段と、
さらに前記トランスコーディングサーバから前記映像配信サーバへ、前記映像配信サーバが受け付け可能な情報として前記マルチアングル切り替え情報を伝送する手段と、
前記映像配信サーバより前記アングルを切り替えた前記立体映像配信コンテンツを配信する手段と、
前記アングルが切り替わった前記立体映像配信コンテンツをフォーマット変換する手段と、
前記立体視聴可能なプレーヤもしくは前記立体視聴可能ＴＶに再配信する手段とをさらに備え、前記立体映像配信コンテンツのマルチアングル切り替え操作を行うことを特徴とする
請求項４１に記載の立体映像配信装置。
【請求項５２】
前記映像配信サーバに保管されている前記立体映像配信コンテンツが、複数のアングル情報を含む立体映像コンテンツであって、
前記立体視聴可能なプレーヤもしくは前記立体視聴可能なＴＶの視聴時において、
前記外部から視聴中のアングル角度から所定時間毎に右回りもしくは左回りに順次切り替えていくアングル順次切り替えコマンドを発行する発行手段と、
前記アングル順次切り替えコマンドを、前記立体視聴可能なプレーヤもしくは前記立体視聴可能ＴＶより前記トランスコーディングサーバへ伝送する手段と、
さらに前記トランスコーディングサーバから前記映像配信サーバへ、前記映像配信サーバが受け付け可能な情報として前記アングル順次切り替えコマンドを伝送する手段と、
前記映像配信サーバより右回りもしくは左回りに順次アングルが切り替わる前記立体映像配信コンテンツを配信する手段と、
前記アングルが切り替わった立体映像配信コンテンツを前記トランスコーディングサーバにてフォーマット変換する手段と、
前記立体視聴可能なプレーヤもしくは立体視聴可能ＴＶに再配信する手段とをさらに備え、前記立体映像配信コンテンツの右回りもしくは左回り方向のマルチアングル順次切り替え操作を行うことを特徴とする
請求項４１に記載の立体映像配信装置。
【請求項５３】
前記立体視聴可能なプレーヤもしくは立体視聴可能ＴＶが前記トランスコーディングサーバと認証処理を行う際に、
前記外部と前記トランスコーディングサーバとの間で課金処理を行う手段と、
前記外部と前記トランスコーディングサーバとの前記課金処理完了後、前記トランスコーディングサーバと、前記外部が所望する立体映像配信コンテンツを有する前記映像配信サーバとの間にて、第二の課金処理を実行する手段と、
前記外部から支払われた金額の所定割合が前記映像配信サーバの権利者へ、残りの金額が前記トランスコーディングサーバの権利者へ配分される手段とをさらに備える、
請求項４１に記載の立体映像配信装置。
【請求項５４】
前記立体視聴可能なプレーヤもしくは立体視聴可能ＴＶにおいては、前記トランスコーディングサーバおよび前記映像配信サーバ間の通信時間、前記映像配信サーバにおけるアングルの異なる映像への切り替え時間、前記トランスコーディングサーバにおけるフォーマット変換処理時間、および前記トランスコーディングサーバと前記立体視聴可能プレーヤもしくは立体視聴可能ＴＶ間との通信時間の合計時間を上回るだけの容量を有する、映像配信バッファを持つことを特徴とする
請求項４１に記載の立体映像配信装置。
【請求項５５】
視差映像を利用した左目映像と右目映像とからなる立体映像をサーバから配信する立体映像配信装置であって、
立体映像を含む映像コンテンツは、フレーム内でデータ圧縮されたＩピクチャと、時間的に前方向の前記Ｉピクチャによる動き補償を加えてデータ圧縮されたＰピクチャと、時間的に前後方向の前記Ｉピクチャ又は前記Ｐピクチャによる動き補償を加えてデータ圧縮されたＢピクチャとを有するディジタル映像情報により構成され、
前記映像情報は、左目映像もしくは右目映像の片方のみで構成される平面映像と、さらに前記平面映像と逆側の目の映像の情報とを用いることにより立体映像視聴可能となる立体映像配信コンテンツであって、
前記立体映像配信コンテンツは、複数の映像配信サーバにて保管されている左目映像もしくは右目映像の片方のみで構成される平面映像から構成され、
映像配信時において、前記複数の映像配信サーバの中から外部指示により選択した所望の平面映像配信コンテンツを有する特定の前記映像配信サーバより所望の平面映像配信コンテンツが配信され、
前記配信される平面映像配信コンテンツは、さらに一旦トランスコーディングサーバに入力され、
前記トランスコーディングサーバにて前記平面映像配信コンテンツを平面映像から立体映像に変換させる手段と、
立体視聴可能なプレーヤもしくは立体視聴可能ＴＶにおいてデコードできる映像信号フォーマットの形態に当該コンテンツのフォーマットを変換する手段とを備え、前記立体視聴可能なプレーヤもしくは立体視聴可能ＴＶに再配信することを特徴とする
立体映像配信装置。
【請求項５６】
視差映像を利用した左目映像と右目映像とからなる立体映像をサーバから配信する立体映像配信装置であって、
立体映像を含む映像コンテンツは、フレーム内でデータ圧縮されたＩピクチャと、時間的に前方向の前記Ｉピクチャによる動き補償を加えてデータ圧縮されたＰピクチャと、時間的に前後方向の前記Ｉピクチャ又は前記Ｐピクチャによる動き補償を加えてデータ圧縮されたＢピクチャとを有するディジタル映像情報により構成され、
前記映像情報は、左目映像もしくは右目映像の片方のみで構成される平面映像が、まず外部が保有する映像機器であるムービで撮影した映像をムービから、もしくは外部が録画した映像をレコーダから、直接トランスコーディングサーバにアップロードする手段と、
アップロードした前記平面映像を前記トランスコーディングサーバにて平面映像から立体映像に変換させる手段と、
前記変換した映像を、立体視聴可能なプレーヤもしくは立体視聴可能ＴＶにおいてデコードできる映像信号フォーマットの形態に変換する手段とを備え、前記立体視聴可能なプレーヤもしくはＴＶに再配信することを特徴とする
立体映像配信装置。
【請求項５７】
平面映像から立体映像への前記変換が、
映像の背景部分抽出する手段と、
手前にある人物や物などの手前映像を分離する手段と、
前記分離された映像の立体方向位置の重み付けをする手段と、
前記立体方向に重み付けされた映像を合成する手段とをさらに備える、
請求項５５または５６に記載の立体映像配信装置。
【請求項５８】
前記外部から直接前記トランスコーディングサーバにアップロードする際に、当該トランスコーディングサーバと外部保有機器との間でまず機器認証を行う手段と、
前記アップロード時に外部のＩＤ登録を行う手段と、
前記外部から立体視聴可能なプレーヤもしくは立体視聴可能ＴＶにおいて前記外部が前記トランスコーディングサーバに前記アップロードした映像を視聴する際に、前記外部が立体視聴可能なプレーヤもしくは立体視聴可能ＴＶと前記トランスコーディングサーバとの間で機器認証を行う手段と、
前記アップロード時に登録したＩＤを再入力する手段とをさらに備える、
請求項５５または５６に記載の立体映像配信装置。
【請求項５９】
前記外部から立体視聴可能なプレーヤもしくは立体視聴可能ＴＶにおいて前記外部が前記トランスコーディングサーバにアップロードした映像を視聴する際、前記アップロード時に登録したＩＤを前記立体視聴可能なプレーヤもしくは立体視聴可能ＴＶにあらかじめ設定する手段と、
前記立体視聴可能なプレーヤもしくは立体視聴可能ＴＶとの機器認証とあわせ登録したＩＤを自動的に確認する手段とをさらに備え、新たな入力手続きを不要とする事を特徴とする
請求項５５または５６に記載の立体映像配信装置。
【請求項６０】
平面映像から変換し合成される立体情報の立体方向位置が、前記立体視聴可能なプレーヤもしくは前記立体視聴可能なＴＶからの立体方向位置可変入力手段により外部から設定する手段と、
前記立体視聴可能なプレーヤもしくは立体視聴可能なＴＶから前記トランスコーディングサーバへ、前記立体方向位置を設定する立体方向位置可変制御コマンドを送信する手段と、
前記トランスコーディングサーバ内の立体方向重み付け手段の重み付けパラメータを可変する手段とをさらに備え、合成された立体映像の奥行きもしくは飛び出し方向の立体感を強めたり弱めたりする事が可能な
請求項５５または５６に記載の立体映像配信装置。
【請求項６１】
請求項１〜２０のいずれかに記載の立体映像配信システムにより配信された前記立体映像配信コンテンツを用いて、前記立体映像が視聴可能である、
立体映像視聴システム。
【請求項６２】
請求項２１〜４０のいずれかに記載の立体映像配信方法により配信された前記立体映像配信コンテンツを用いて、前記立体映像が視聴可能である、
立体映像視聴方法。
【請求項６３】
請求項４１〜６０のいずれかに記載の立体映像配信装置により配信された前記立体映像配信コンテンツを用いて、前記立体映像が視聴可能である、
立体映像視聴装置。
【請求項１】
視差映像を利用した左目映像と右目映像とからなる立体映像をサーバから配信する立体映像配信システムであって、
立体映像を含む映像コンテンツは、フレーム内でデータ圧縮されたＩピクチャと、時間的に前方向の前記Ｉピクチャによる動き補償を加えてデータ圧縮されたＰピクチャと、時間的に前後方向の前記Ｉピクチャ又は前記Ｐピクチャによる動き補償を加えてデータ圧縮されたＢピクチャとを有するディジタル映像情報により構成されるとともに、
前記映像情報は、左目映像もしくは右目映像の片方のみで構成される平面映像と、さらに前記平面映像と逆側の目の映像の情報とを用いることにより立体映像視聴可能となる立体映像配信コンテンツであって、
前記立体映像配信コンテンツは、複数の映像配信サーバにて保管されているとともに、
映像配信時においては、前記複数の映像配信サーバの中から外部指示により選択した所望のコンテンツを有する特定の前記映像配信サーバより前記立体映像配信コンテンツが配信され、
前記配信される立体映像配信コンテンツはさらに一旦トランスコーディングサーバに入力し、前記トランスコーディングサーバにてフォーマット変換することにより、
立体視聴可能なプレーヤもしくはＴＶにおいてデコードできる映像信号フォーマットの形態にして、前記立体視聴可能なプレーヤもしくはＴＶに再配信することを特徴とする
立体映像配信システム。
【請求項２】
前記再配信後の立体映像信号フォーマット形態が、前記立体視聴可能なプレーヤにおけるストレージメディアに記録されている立体映像信号フォーマット形態と同じ圧縮構造を有するよう、前記トランスコーディングサーバにてトランスコーディングされてから配信される事を特徴とする、
請求項１に記載の立体映像配信システム。
【請求項３】
前記トランスコーディング後の立体映像信号フォーマットが、左目映像もしくは右目映像の片方のみで構成される平面映像と、前記平面映像との差分を取ることで前記平面映像と逆側の目の圧縮効率をアップさせた映像との立体映像信号フォーマットから構成されることを特徴とする
請求項１に記載の立体映像配信システム。
【請求項４】
ＴＶの設定が、平面映像視聴可能であるか立体視聴可能であるかを、ＨＤＭＩケーブルの情報として立体再生プレーヤが確認処理を実行し、視聴環境確認情報として保有するとともに、
前記立体再生プレーヤが前記トランスコーディングサーバと認証処理を行う際に前記ＨＤＭＩケーブルによる視聴環境確認情報を伝送し、
前記トランスコーディングサーバにてあらかじめ用意された平面映像からなる映像配信メニューにおいて、前記平面映像視聴可能時は平面映像の視聴メニューを、立体映像視聴可能時は、立体映像視聴用と平面映像視聴用のコンテンツが、平面映像用か立体映像用か識別できるリストとして混在する、視聴メニューを配信することを特徴とする
請求項１に記載の立体映像配信システム。
【請求項５】
立体視聴可能なプレーヤに接続されたＴＶが、平面映像視聴用であるか立体映像視聴用であるかどうかを、ＨＤＭＩケーブルの情報として立体再生プレーヤが確認処理を実行し、視聴環境確認情報として保有するとともに、
前記立体視聴可能なプレーヤが前記トランスコーディングサーバと認証処理を行う際、前記ＨＤＭＩケーブルによる前記視聴環境確認情報を伝送し、
前記トランスコーディングサーバにてあらかじめ用意された平面映像からなる映像配信メニューにおいて、前記平面映像視聴用ＴＶ接続時は平面映像の視聴メニューを、立体視聴可能ＴＶ接続時は、立体映像視聴用と平面映像視聴用のコンテンツが、平面映像用か立体映像用か識別できるリストとして混在する、視聴メニューを配信することを特徴とする
請求項１に記載の立体映像配信システム。
【請求項６】
前記立体視聴可能プレーヤもしくは立体視聴可能ＴＶが所望のウィジェット情報配信要求を前記トランスコーディングサーバへ出力する際、
前記トランスコーディングサーバ内にある立体視聴可能な所望のウィジェット情報を前記立体視聴可能なプレーヤや立体視聴可能なＴＶにて立体表示可能なＯＳＤ信号フォーマットとして配信することを特徴とする
請求項１に記載の立体映像配信システム。
【請求項７】
前記立体視聴可能プレーヤもしくは立体視聴可能ＴＶが所望のウィジェット情報配信要求を前記トランスコーディングサーバへ出力する際、
前記トランスコーディングサーバが立体視聴可能な所望のウィジェット情報を有する映像配信サーバを前記複数の映像配信サーバの中から選択するとともに、前記映像配信サーバが前記立体視聴用のウィジェット情報を前記トランスコーディングサーバへ配信し、
前記トランスコーディングサーバにて前記立体視聴可能なプレーヤや立体視聴可能なＴＶにて立体表示可能なＯＳＤ信号フォーマットに変換するとともに、前記立体映像配信コンテンツとあわせて前記立体視聴用の前記ウィジェット情報を前記立体視聴可能プレーヤもしくは立体視聴可能ＴＶへ伝送することを特徴とする
請求項１に記載の立体映像配信システム。
【請求項８】
前記立体視聴可能なプレーヤもしくは立体視聴可能ＴＶが所望のウィジェット情報配信要求を前記トランスコーディングサーバへ出力する際、
前記トランスコーディングサーバが立体視聴可能な所望のウィジェット情報を有する前記映像配信サーバを前記複数の映像配信サーバの中から選択するとともに、
前記映像配信サーバが前記立体視聴用のウィジェット情報を前記トランスコーディングサーバへ配信し、
前記トランスコーディングサーバにて立体映像配信コンテンツ画面上にオーバレイもしくは画面分割したコンテンツ情報画面以外の領域に表示させるよう、前記立体視聴コンテンツと前記ウィジェット情報を組み合わせた第二の立体映像配信コンテンツを生成するとともに、
前記第二の前記立体映像配信コンテンツを前記立体視聴可能プレーヤもしくは立体視聴可能ＴＶに再配信することを特徴とする
請求項１に記載の立体映像配信システム。
【請求項９】
前記立体視聴可能プレーヤもしくは立体視聴可能ＴＶが所望のウィジェット情報配信要求をトランスコーディングサーバへ出力する際、
前記映像配信サーバが保有または前記トランスコーディングサーバが保有する平面映像からなる所望のウィジェット情報を、前記トランスコーディングサーバにおいて、前記ウィジェット情報を立体方向に位置づけて配置させるとともに、
前記トランスコーディングサーバ内の映像合成部において、前記立体映像配信コンテンツと前記ウィジェット情報とを画像合成した第二の立体映像配信コンテンツとして生成し、
前記第二の立体映像配信コンテンツを前記立体視聴可能なプレーヤや立体視聴可能なＴＶにて立体表示可能な映像信号フォーマットとして配信することを特徴とする
請求項１に記載の立体映像配信システム。
【請求項１０】
合成される前記ウィジェット情報の立体方向位置を、前記立体視聴可能なプレーヤもしくは立体視聴可能なＴＶからの立体方向位置可変入力手段により外部から設定されるとともに、
前記立体視聴可能なプレーヤもしくは立体視聴可能なＴＶから前記トランスコーディングサーバへ送信される立体方向位置可変制御コマンドに基づき、前記トランスコーディングサーバ内の立体方向重み付け手段の重み付けパラメータを可変することで、
合成された立体映像の奥行きもしくは飛び出し方向の立体感を強めたり弱めたりする事が可能な
請求項９に記載の立体映像配信システム。
【請求項１１】
前記映像配信サーバに保管されている前記立体映像配信コンテンツが、複数のアングル情報を含む立体映像配信コンテンツであって、
前記立体視聴可能なプレーヤもしくは前記立体再生可能なＴＶの視聴時において、
前記外部のマルチアングル表示番号を含むマルチアングル切り替え操作情報を、前記立体視聴可能なプレーヤもしくは前記立体再生可能なＴＶより前記トランスコーディングサーバへ伝送し、
さらに前記トランスコーディングサーバから前記映像配信サーバへ前記映像配信サーバが受け付け可能な情報として前記マルチアングル切り替え情報を伝送することで、
前記映像配信サーバよりアングルを切り替えた立体映像配信コンテンツ配信をし、
前記アングルが切り替わった立体映像配信コンテンツをフォーマット変換し、
前記立体視聴可能なプレーヤもしくは前記立体視聴可能ＴＶに再配信することで、前記立体映像配信コンテンツのマルチアングル切り替え操作を行うことを特徴とする
請求項１に記載の立体映像配信システム。
【請求項１２】
前記映像配信サーバに保管されている前記立体映像配信コンテンツが、複数のアングル情報を含む立体映像配信コンテンツであって、
前記立体視聴可能なプレーヤもしくは前記立体視聴可能ＴＶの視聴時において、
前記外部から視聴中のアングル角度から所定時間毎に右回りもしくは左回りに順次切り替えていくアングル順次切り替えコマンドを定義し、
アングル順次切り替えコマンドを、前記立体再生可能なプレーヤもしくは前記立体再生可能なＴＶより前記トランスコーディングサーバへ伝送し、
さらに前記トランスコーディングサーバから前記映像配信サーバへ前記映像配信サーバが受け付け可能な情報として前記マルチアングル切り替え情報を伝送することで、
前記映像配信サーバより右回りもしくは左回りに順次アングルが切り替わる立体映像配信コンテンツを配信し、
前記アングルが切り替わった立体映像配信コンテンツを前記トランスコーディングサーバにてフォーマット変換し、前記立体視聴可能なプレーヤもしくは前記立体視聴可能ＴＶに再配信することで、立体映像配信コンテンツの右回りもしくは左回り方向のマルチアングル順次切り替え操作を行うことを特徴とする
請求項１に記載の立体映像配信システム。
【請求項１３】
前記立体視聴可能なプレーヤもしくは立体視聴可能なＴＶが前記トランスコーディングサーバと認証処理を行う際に、前記外部と前記トランスコーディングサーバとの間で課金処理を行うとともに、
前記外部と前記トランスコーディングサーバとの前記課金処理完了後、前記トランスコーディングサーバと前記外部が所望する立体映像配信コンテンツを有する前記映像配信サーバとの間にて第二の課金処理を実行するとともに、
前記外部から支払われた金額の所定割合が前記映像配信サーバの権利者へ、残りの金額を前記トランスコーディングサーバの権利者へ配分される事を特徴とする
請求項１に記載の立体映像配信システム。
【請求項１４】
前記立体視聴可能なプレーヤもしくは前記立体視聴可能ＴＶにおいては、前記トランスコーディングサーバおよび前記映像配信サーバ間の通信時間、前記映像配信サーバにおけるアングルの異なる映像への切り替え時間、前記トランスコーディングサーバにおけるフォーマット変換処理時間、および前記トランスコーディングサーバと前記立体視聴可能プレーヤもしくは立体視聴可能ＴＶ間との通信時間の合計時間を上回るだけの容量を有する、映像配信バッファを持つことを特徴とする
請求項１に記載の立体映像配信システム。
【請求項１５】
視差映像を利用した左目映像と右目映像とからなる立体映像をサーバから配信する立体映像配信システムであって、
立体映像を含む映像コンテンツは、フレーム内でデータ圧縮されたＩピクチャと、時間的に前方向の前記Ｉピクチャによる動き補償を加えてデータ圧縮されたＰピクチャと、時間的に前後方向の前記Ｉピクチャ又は前記Ｐピクチャによる動き補償を加えてデータ圧縮されたＢピクチャとを有するディジタル映像情報により構成されるとともに、
前記映像情報は、左目映像もしくは右目映像の片方のみで構成される平面映像と、さらに前記平面映像と逆側の目の映像の情報とを用いることにより立体映像視聴可能となる立体映像配信コンテンツであって、
前記立体映像配信コンテンツは、複数の映像配信サーバにて保管されている左目映像もしくは右目映像の片方のみで構成される平面映像から構成されるとともに、
映像配信時において、前記複数の映像配信サーバの中から外部指示により選択した所望の平面映像配信コンテンツを有する特定の前記映像配信サーバより所望の平面映像配信コンテンツが配信されるとともに、
前記配信される平面映像配信コンテンツはさらに一旦トランスコーディングサーバに入力され、
前記トランスコーディングサーバにて前記平面映像配信コンテンツを平面映像から立体映像に変換させるとともに、立体視聴可能なプレーヤもしくはＴＶにおいてデコードできる映像信号フォーマットの形態に変換して、
前記立体視聴可能なプレーヤもしくはＴＶに再配信することを特徴とする
立体映像配信システム。
【請求項１６】
視差映像を利用した左目映像と右目映像とからなる立体映像をサーバから配信する立体映像配信システムであって、
立体映像を含む映像コンテンツは、フレーム内でデータ圧縮されたＩピクチャと、時間的に前方向の前記Ｉピクチャによる動き補償を加えてデータ圧縮されたＰピクチャと、時間的に前後方向の前記Ｉピクチャ又は前記Ｐピクチャによる動き補償を加えてデータ圧縮されたＢピクチャとを有するディジタル映像情報により構成されるとともに、
前記映像情報は、左目映像もしくは右目映像の片方のみで構成される平面映像が、まず外部保有の映像機器であるムービで撮影した映像をムービから、もしくは外部が録画した映像をレコーダから、直接トランスコーディングサーバにアップロードするとともに、
前記アップロードした前記平面映像を前記トランスコーディングサーバにて平面映像から立体映像に変換させるとともに、
前記変換した映像を、立体視聴可能なプレーヤもしくはＴＶにおいてデコードできる映像信号フォーマットの形態に変換して、前記立体視聴可能なプレーヤもしくはＴＶに再配信することを特徴とする
立体映像配信システム。
【請求項１７】
前記平面映像から立体映像への変換が、
映像の背景部分抽出する手段と、
手前にある人物や物などの手前映像を分離する手段と、
これら分離された映像の立体方向位置の重み付けをする手段と、
立体方向に重み付けされた映像を合成する手段とにより実現される事を特徴とする
請求項１５または１６に記載の立体映像配信システム。
【請求項１８】
前記外部から直接前記トランスコーディングサーバにアップロードする際に、当該トランスコーディングサーバと外部保有機器との間でまず機器認証を行うとともに、
前記外部のＩＤ登録を行い、前記外部から前記立体視聴可能なプレーヤもしくは前記立体視聴可能ＴＶにおいて前記外部が前記トランスコーディングサーバに前記アップロードした映像を視聴する際に、前記外部から立体視聴可能なプレーヤもしくはＴＶとトランスコーディングサーバ間で機器認証を行うとともに、
前記アップロード時に登録したＩＤを再入力することを特徴とする
請求項１６に記載の立体映像配信システム。
【請求項１９】
前記外部から立体視聴可能なプレーヤもしくはＴＶにおいて前記外部が前記トランスコーディングサーバにアップロードした映像を視聴する際、前記アップロード時に登録したＩＤを前記立体視聴可能なプレーヤもしくはＴＶにあらかじめ設定しておき、
前記立体視聴可能なプレーヤもしくはＴＶとの機器認証とあわせ登録したＩＤを確認することで、新たな入力手続きを不要とする事を特徴とする
請求項１６に記載の立体映像配信システム。
【請求項２０】
前記平面映像から変換し合成される立体情報の立体方向位置が、前記立体視聴可能なプレーヤもしくは前記立体視聴可能ＴＶからの立体方向位置可変入力手段により外部から設定されるとともに、
前記立体視聴可能なプレーヤもしくは立体視聴可能なＴＶから前記トランスコーディングサーバへ送信される立体方向位置可変制御コマンドに基づき、前記トランスコーディングサーバ内の立体方向重み付け手段の重み付けパラメータを可変することで、
合成された立体映像の奥行きもしくは飛び出し方向の立体感を強めたり弱めたりする事が可能な
請求項１５または１６に記載の立体映像配信システム。
【請求項２１】
視差映像を利用した左目映像と右目映像とからなる立体映像をサーバから配信する立体映像配信方法であって、
立体映像を含む映像コンテンツは、フレーム内でデータ圧縮されたＩピクチャと、時間的に前方向の前記Ｉピクチャによる動き補償を加えてデータ圧縮されたＰピクチャと、時間的に前後方向の前記Ｉピクチャ又は前記Ｐピクチャによる動き補償を加えてデータ圧縮されたＢピクチャとを有するディジタル映像情報により構成されるとともに、
前記映像情報は、左目映像もしくは右目映像の片方のみで構成される平面映像と、さらに前記平面映像と逆側の目の映像の情報とを用いることにより立体映像視聴可能となる立体映像配信コンテンツであって、
前記立体映像配信コンテンツは、複数の映像配信サーバにて保管されているとともに、
映像配信時においては、前記複数の映像配信サーバの中から外部指示により選択した所望のコンテンツを有する特定の前記映像配信サーバより前記立体映像配信コンテンツが配信され、
前記配信される立体映像配信コンテンツはさらに一旦トランスコーディングサーバに入力し、前記トランスコーディングサーバにてフォーマット変換することにより、
立体視聴可能なプレーヤもしくはＴＶにおいてデコードできる映像信号フォーマットの形態にして、前記立体視聴可能なプレーヤもしくはＴＶに再配信することを特徴とする
立体映像配信方法。
【請求項２２】
前記再配信後の立体映像信号フォーマット形態が、前記立体視聴可能なプレーヤにおけるストレージメディアに記録されている立体映像信号フォーマット形態と同じ圧縮方式を有するよう、前記トランスコーディングサーバにてトランスコーディングされてから配信される事を特徴とする、
請求項２１に記載の立体映像配信方法。
【請求項２３】
前記トランスコーディング後の立体映像信号フォーマットを、左目映像もしくは右目映像の片方のみで構成される平面映像と、前記平面映像との差分を取ることで前記平面映像と逆側の目の圧縮効率をアップさせた映像との立体映像信号フォーマットにすることを特徴とする
請求項２１に記載の立体映像配信方法。
【請求項２４】
ＴＶの設定が、平面映像視聴可能であるか立体視聴可能であるかを、ＨＤＭＩケーブルの情報として立体再生プレーヤが確認処理を実行し、視聴環境確認情報として保有するとともに、
前記立体再生プレーヤが前記トランスコーディングサーバと認証処理を行う際に前記ＨＤＭＩケーブルによる視聴環境確認情報を伝送し、
前記トランスコーディングサーバにてあらかじめ用意された平面映像からなる映像配信メニューにおいて、前記平面映像視聴可能時は平面映像の視聴メニューを、立体映像視聴可能時は、立体映像視聴用と平面映像視聴用のコンテンツが、平面映像用か立体映像用か識別できるリストとして混在する、視聴メニューを配信することを特徴とする
請求項２１に記載の立体映像配信方法。
【請求項２５】
立体視聴可能なプレーヤに接続されたＴＶが、平面映像視聴用であるか立体映像視聴用であるかどうかを、ＨＤＭＩケーブルの情報として立体再生プレーヤが確認処理を実行し、視聴環境確認情報として保有するとともに、
前記立体視聴可能なプレーヤが前記トランスコーディングサーバと認証処理を行う際、前記ＨＤＭＩケーブルによる前記視聴環境確認情報を伝送し、
前記トランスコーディングサーバにてあらかじめ用意された平面映像からなる映像配信メニューにおいて、前記平面映像視聴用ＴＶ接続時は平面映像の視聴メニューを、立体視聴可能ＴＶ接続時は、立体映像視聴用と平面映像視聴用のコンテンツが、平面映像用か立体映像用か識別できるリストとして混在する、視聴メニューを配信することを特徴とする
請求項２１に記載の立体映像配信方法。
【請求項２６】
前記立体視聴可能プレーヤもしくは立体視聴可能ＴＶが所望のウィジェット情報配信要求を前記トランスコーディングサーバへ出力する際、
前記トランスコーディングサーバ内にある立体視聴可能な所望のウィジェット情報を前記立体視聴可能なプレーヤや立体視聴可能なＴＶにて立体表示可能なＯＳＤ信号フォーマットとして配信することを特徴とする
請求項２１に記載の立体映像配信方法。
【請求項２７】
前記立体視聴可能プレーヤもしくは立体視聴可能ＴＶが所望のウィジェット情報配信要求を前記トランスコーディングサーバへ出力する際、
前記トランスコーディングサーバが立体視聴可能な所望のウィジェット情報を有する映像配信サーバを前記複数の映像配信サーバの中から選択するとともに、前記映像配信サーバが前記立体視聴用のウィジェット情報を前記トランスコーディングサーバへ配信し、
前記トランスコーディングサーバにて前記立体視聴可能なプレーヤや立体視聴可能なＴＶにて立体表示可能なＯＳＤ信号フォーマットに変換するとともに、前記立体映像配信コンテンツとあわせて前記立体視聴用の前記ウィジェット情報を前記立体視聴可能プレーヤもしくは立体視聴可能ＴＶへ伝送することを特徴とする
請求項２１に記載の立体映像配信方法。
【請求項２８】
前記立体視聴可能なプレーヤもしくは立体視聴可能ＴＶが所望のウィジェット情報配信要求を前記トランスコーディングサーバへ出力する際、
前記トランスコーディングサーバが立体視聴可能な所望のウィジェット情報を有する前記映像配信サーバを前記複数の映像配信サーバの中から選択するとともに、
前記映像配信サーバが前記立体視聴用のウィジェット情報を前記トランスコーディングサーバへ配信し、
前記トランスコーディングサーバにて立体映像配信コンテンツ画面上にオーバレイもしくは画面分割したコンテンツ情報画面以外の領域に表示させるよう、前記立体視聴コンテンツと前記ウィジェット情報を組み合わせた第二の立体映像配信コンテンツを生成するとともに、
前記第二の前記立体映像配信コンテンツを前記立体視聴可能プレーヤもしくは立体視聴可能ＴＶに再配信することを特徴とする
請求項２１に記載の立体映像配信方法。
【請求項２９】
前記立体視聴可能プレーヤもしくは立体視聴可能ＴＶが所望のウィジェット情報配信要求をトランスコーディングサーバへ出力する際、
前記映像配信サーバが保有または前記トランスコーディングサーバが保有する平面映像からなる所望のウィジェット情報を、前記トランスコーディングサーバにおいて、前記ウィジェット情報を立体方向に位置づけて配置させるとともに、
前記トランスコーディングサーバ内の映像合成部において、前記立体映像配信コンテンツと前記ウィジェット情報とを画像合成した第二の立体映像配信コンテンツとして生成し、
前記第二の立体映像配信コンテンツを前記立体視聴可能なプレーヤや立体視聴可能なＴＶにて立体表示可能な映像信号フォーマットとして配信することを特徴とする
請求項２１に記載の立体映像配信方法。
【請求項３０】
合成される前記ウィジェット情報の立体方向位置を、前記立体視聴可能なプレーヤもしくは立体視聴可能なＴＶからの立体方向位置可変入力手段により外部から設定されるとともに、
前記立体視聴可能なプレーヤもしくは立体視聴可能なＴＶから前記トランスコーディングサーバへ送信される立体方向位置可変制御コマンドに基づき、前記トランスコーディングサーバ内の立体方向重み付け手段の重み付けパラメータを可変することで、
合成された立体映像の奥行きもしくは飛び出し方向の立体感を強めたり弱めたりする事が可能な
請求項２９に記載の立体映像配信方法。
【請求項３１】
前記映像配信サーバに保管されている前記立体映像配信コンテンツが、複数のアングル情報を含む立体映像配信コンテンツであって、
前記立体視聴可能なプレーヤもしくは前記立体再生可能なＴＶの視聴時において、
前記外部のマルチアングル表示番号を含むマルチアングル切り替え操作情報を、前記立体視聴可能なプレーヤもしくは前記立体再生可能なＴＶより前記トランスコーディングサーバへ伝送し、
さらに前記トランスコーディングサーバから前記映像配信サーバへ前記映像配信サーバが受け付け可能な情報として前記マルチアングル切り替え情報を伝送することで、
前記映像配信サーバよりアングルを切り替えた立体映像配信コンテンツ配信をし、
前記アングルが切り替わった立体映像配信コンテンツをフォーマット変換し、
前記立体視聴可能なプレーヤもしくは前記立体視聴可能ＴＶに再配信することで、前記立体映像配信コンテンツのマルチアングル切り替え操作を行うことを特徴とする
請求項２１に記載の立体映像配信方法。
【請求項３２】
前記映像配信サーバに保管されている前記立体映像配信コンテンツが、複数のアングル情報を含む立体映像配信コンテンツであって、
前記立体視聴可能なプレーヤもしくは前記立体視聴可能ＴＶの視聴時において、
前記外部から視聴中のアングル角度から所定時間毎に右回りもしくは左回りに順次切り替えていくアングル順次切り替えコマンドを定義し、
アングル順次切り替えコマンドを、前記立体再生可能なプレーヤもしくは前記立体再生可能なＴＶより前記トランスコーディングサーバへ伝送し、
さらに前記トランスコーディングサーバから前記映像配信サーバへ前記映像配信サーバが受け付け可能な情報として前記マルチアングル切り替え情報を伝送することで、
前記映像配信サーバより右回りもしくは左回りに順次アングルが切り替わる立体映像配信コンテンツを配信し、
前記アングルが切り替わった立体映像配信コンテンツを前記トランスコーディングサーバにてフォーマット変換し、前記立体視聴可能なプレーヤもしくは前記立体視聴可能ＴＶに再配信することで、立体映像配信コンテンツの右回りもしくは左回り方向のマルチアングル順次切り替え操作を行うことを特徴とする
請求項２１に記載の立体映像配信方法。
【請求項３３】
前記立体視聴可能なプレーヤもしくは立体視聴可能なＴＶが前記トランスコーディングサーバと認証処理を行う際に、前記外部と前記トランスコーディングサーバとの間で課金処理を行うとともに、
前記外部と前記トランスコーディングサーバとの前記課金処理完了後、前記トランスコーディングサーバと前記外部が所望する立体映像配信コンテンツを有する前記映像配信サーバとの間にて第二の課金処理を実行するとともに、
前記外部から支払われた金額の所定割合が前記映像配信サーバの権利者へ、残りの金額を前記トランスコーディングサーバの権利者へ配分される事を特徴とする
請求項２１に記載の立体映像配信方法。
【請求項３４】
前記立体視聴可能なプレーヤもしくは前記立体視聴可能ＴＶにおいては、前記トランスコーディングサーバおよび前記映像配信サーバ間の通信時間、前記映像配信サーバにおけるアングルの異なる映像への切り替え時間、前記トランスコーディングサーバにおけるフォーマット変換処理時間、および前記トランスコーディングサーバと前記立体視聴可能プレーヤもしくは立体視聴可能ＴＶ間との通信時間の合計時間を上回るだけの容量を有する、映像配信バッファを設定することを特徴とする
請求項２１に記載の立体映像配信方法。
【請求項３５】
視差映像を利用した左目映像と右目映像とからなる立体映像をサーバから配信する立体映像配信方法であって、
立体映像を含む映像コンテンツは、フレーム内でデータ圧縮されたＩピクチャと、時間的に前方向の前記Ｉピクチャによる動き補償を加えてデータ圧縮されたＰピクチャと、時間的に前後方向の前記Ｉピクチャ又は前記Ｐピクチャによる動き補償を加えてデータ圧縮されたＢピクチャとを有するディジタル映像情報により構成されるとともに、
前記映像情報は、左目映像もしくは右目映像の片方のみで構成される平面映像と、さらに前記平面映像と逆側の目の映像の情報とを用いることにより立体映像視聴可能となる立体映像配信コンテンツであって、
前記立体映像配信コンテンツは、複数の映像配信サーバにて保管されている左目映像もしくは右目映像の片方のみで構成される平面映像から構成されるとともに、
映像配信時において、前記複数の映像配信サーバの中から外部指示により選択した所望の平面映像配信コンテンツを有する特定の前記映像配信サーバより所望の平面映像配信コンテンツが配信されるとともに、
前記配信される平面映像配信コンテンツはさらに一旦トランスコーディングサーバに入力され、
前記トランスコーディングサーバにて前記平面映像配信コンテンツを平面映像から立体映像に変換させるとともに、立体視聴可能なプレーヤもしくはＴＶにおいてデコードできる映像信号フォーマットの形態に変換して、
前記立体視聴可能なプレーヤもしくはＴＶに再配信することを特徴とする
立体映像配信方法。
【請求項３６】
視差映像を利用した左目映像と右目映像とからなる立体映像をサーバから配信する立体映像配信方法であって、
立体映像を含む映像コンテンツは、フレーム内でデータ圧縮されたＩピクチャと、時間的に前方向の前記Ｉピクチャによる動き補償を加えてデータ圧縮されたＰピクチャと、時間的に前後方向の前記Ｉピクチャ又は前記Ｐピクチャによる動き補償を加えてデータ圧縮されたＢピクチャとを有するディジタル映像情報により構成されるとともに、
前記映像情報は、左目映像もしくは右目映像の片方のみで構成される平面映像が、まず外部保有の映像機器であるムービで撮影した映像をムービから、もしくは外部が録画した映像をレコーダから、直接トランスコーディングサーバにアップロードするとともに、
前記アップロードした前記平面映像を前記トランスコーディングサーバにて平面映像から立体映像に変換させるとともに、
前記変換した映像を、立体視聴可能なプレーヤもしくはＴＶにおいてデコードできる映像信号フォーマットの形態に変換して、前記立体視聴可能なプレーヤもしくはＴＶに再配信することを特徴とする
立体映像配信方法。
【請求項３７】
前記平面映像から立体映像への変換は、
映像の背景部分を抽出し、
手前にある人物や物などの手前映像を分離し、
これら分離された映像の立体方向位置の重み付けをし、
立体方向に重み付けされた映像を合成することにより実現される事を特徴とする
請求項３５または３６に記載の立体映像配信方法。
【請求項３８】
前記外部から直接前記トランスコーディングサーバにアップロードする際に、当該トランスコーディングサーバと外部保有機器との間でまず機器認証を行うとともに、
前記外部のＩＤ登録を行い、前記外部が前記立体視聴可能なプレーヤもしくは前記立体視聴可能ＴＶにおいて前記外部が前記トランスコーディングサーバに前記アップロードした映像を視聴する際に、前記外部から立体視聴可能なプレーヤもしくはＴＶとトランスコーディングサーバ間で機器認証を行うとともに、
前記アップロード時に登録したＩＤを再入力することを特徴とする
請求項３６に記載の立体映像配信方法。
【請求項３９】
前記外部から立体視聴可能なプレーヤもしくはＴＶにおいて前記外部が前記トランスコーディングサーバにアップロードした映像を視聴する際、前記アップロード時に登録したＩＤを前記立体視聴可能なプレーヤもしくはＴＶにあらかじめ設定しておき、
前記立体視聴可能なプレーヤもしくはＴＶとの機器認証とあわせ登録したＩＤを確認することで、新たな入力手続きを不要とする事を特徴とする
請求項３６に記載の立体映像配信方法。
【請求項４０】
前記平面映像から変換し合成される立体情報の立体方向位置が、前記立体視聴可能なプレーヤもしくは前記立体視聴可能ＴＶからの立体方向位置可変入力手段により外部から設定されるとともに、
前記立体視聴可能なプレーヤもしくは立体視聴可能なＴＶから前記トランスコーディングサーバへ送信される立体方向位置可変制御コマンドに基づき、前記トランスコーディングサーバ内の立体方向重み付け手段の重み付けパラメータを可変することで、
合成された立体映像の奥行きもしくは飛び出し方向の立体感を強めたり弱めたりする事が可能な
請求項３５または３６に記載の立体映像配信方法。
【請求項４１】
視差映像を利用した左目映像と右目映像とからなる立体映像をサーバから配信する立体映像配信装置であって、
立体映像を含む映像コンテンツは、フレーム内でデータ圧縮されたＩピクチャと、時間的に前方向の前記Ｉピクチャによる動き補償を加えてデータ圧縮されたＰピクチャと、時間的に前後方向の前記Ｉピクチャ又は前記Ｐピクチャによる動き補償を加えてデータ圧縮されたＢピクチャとを有するディジタル映像情報により構成され、
前記映像情報は、左目映像もしくは右目映像の片方のみで構成される平面映像と、さらに前記平面映像と逆側の目の映像の情報とを用いることにより立体映像視聴可能となる立体映像配信コンテンツであって、
前記立体映像配信コンテンツは、複数の映像配信サーバにて保管され、
映像配信時において、前記複数の映像配信サーバの中から外部指示により選択した、所望のコンテンツを有する特定の前記映像配信サーバより、前記立体映像配信コンテンツが配信され、
配信される前記立体映像配信コンテンツは、さらに一旦トランスコーディングサーバに入力され、
前記トランスコーディングサーバはフォーマット変換手段を有し、
前記フォーマット変換手段にて前記立体映像配信コンテンツを立体視聴可能なプレーヤもしくは立体視聴可能ＴＶにおいてデコードできる映像信号フォーマットの形態にして、立体視聴可能なプレーヤもしくは立体視聴可能ＴＶに再配信することを特徴とする
立体映像配信装置。
【請求項４２】
前記再配信後の映像信号フォーマット形態が、前記立体視聴可能なプレーヤにおけるストレージメディアに記録されている映像信号フォーマット形態と同じ圧縮方式となるよう、前記トランスコーディングサーバのフォーマット変換手段によりトランスコードされてから配信される事を特徴とする
請求項４１に記載の立体映像配信装置。
【請求項４３】
前記トランスコーディング後の映像信号フォーマットが、左目映像もしくは右目映像の片方のみで構成される平面映像と、前記平面映像との差分を取ることで前記平面映像と逆側の目の圧縮効率をアップさせた映像との映像信号フォーマットであることを特徴とする
請求項４１に記載の立体映像配信装置。
【請求項４４】
ＴＶの設定が、平面映像視聴可能であるか立体映像視聴可能であるかを、ＨＤＭＩケーブルの情報として立体再生プレーヤが確認処理を実行し、視聴環境確認情報として保有し、
前記立体再生プレーヤが前記トランスコーディングサーバと認証処理を行う際に、前記ＨＤＭＩケーブルによる視聴環境確認情報を伝送する手段と、
前記トランスコーディングサーバにてあらかじめ用意された平面映像からなる映像配信メニューにおいて、前記平面映像視聴可能時は平面映像の視聴メニューを、立体映像視聴可能時は、立体映像視聴用と平面映像視聴用のコンテンツが、平面映像用か立体映像用か識別できるリストとして混在する、視聴メニューを配信する手段とをさらに備える、
請求項４１に記載の立体映像配信装置。
【請求項４５】
立体視聴可能なプレーヤに接続されたＴＶが、平面映像視聴用であるか立体映像視聴用であるかを、ＨＤＭＩケーブルの情報としての立体再生プレーヤでの確認手段と、
前記確認手段における視聴環境確認情報を保有する保有手段と、
前記立体視聴可能なプレーヤが前記トランスコーディングサーバと認証処理を行う際、前記ＨＤＭＩケーブルによる前記視聴環境確認情報を伝送する手段と、
前記トランスコーディングサーバにてあらかじめ用意された平面映像からなる映像配信メニューにおいて、前記平面映像視聴用ＴＶ接続時は平面映像の視聴メニューを、立体視聴可能ＴＶ接続時は、立体映像視聴用と平面映像視聴用のコンテンツが、平面映像用か立体映像用か識別できるリストとして混在する、視聴メニューを配信する手段とをさらに備える、
請求項４１に記載の立体映像配信装置。
【請求項４６】
前記立体視聴可能なプレーヤもしくは立体視聴可能ＴＶが所望のウィジェット情報配信要求を前記トランスコーディングサーバへ出力する手段と、
前記トランスコーディングサーバ内にある立体視聴可能な所望のウィジェット情報を前記立体視聴可能なプレーヤや立体視聴可能ＴＶにて立体表示可能なＯＳＤ信号フォーマットとして配信する手段とをさらに備える、
請求項４１に記載の立体映像配信装置。
【請求項４７】
前記立体視聴可能なプレーヤもしくは立体視聴可能ＴＶが所望のウィジェット情報配信要求を前記トランスコーディングサーバへ出力する際、
前記トランスコーディングサーバが、立体視聴可能な所望のウィジェット情報を有する前記映像配信サーバを前記複数の映像配信サーバの中から選択する手段と、
前記映像配信サーバが前記ウィジェット情報を前記トランスコーディングサーバへ配信する手段と、
前記トランスコーディングサーバにて、前記立体視聴可能なプレーヤや立体視聴可能ＴＶで立体表示可能なＯＳＤ信号フォーマットに前記ウィジェット情報を変換する手段と、
前記立体映像配信コンテンツとあわせて前記ウィジェット情報を前記立体視聴可能なプレーヤもしくは立体視聴可能ＴＶへ伝送する手段とをさらに備える、
請求項４１に記載の立体映像配信装置。
【請求項４８】
前記立体視聴可能なプレーヤもしくは立体視聴可能ＴＶが所望のウィジェット情報配信要求を前記トランスコーディングサーバへ出力する際、
前記トランスコーディングサーバが立体視聴可能な所望のウィジェット情報を有する前記映像配信サーバを前記複数の映像配信サーバの中から選択する手段と、
前記映像配信サーバが前記ウィジェット情報を前記トランスコーディングサーバへ配信する手段と、
前記トランスコーディングサーバにて立体映像配信コンテンツ画面上にオーバレイもしくは画面分割した前記映像配信コンテンツ画面以外の領域に表示させるよう、前記立体映像配信コンテンツと前記ウィジェット情報を組み合わせた第二の立体映像配信コンテンツを生成する手段とをさらに備え、前記第二の立体映像配信コンテンツを前記立体視聴可能なプレーヤもしくは立体視聴可能ＴＶに再配信することを特徴とする
請求項４１に記載の立体映像配信装置。
【請求項４９】
前記立体視聴可能なプレーヤもしくは立体視聴可能ＴＶが所望のウィジェット情報配信要求を前記トランスコーディングサーバへ出力する際、
前記トランスコーディングサーバにおいて、前記映像配信サーバが保有または前記トランスコーディングサーバが保有する平面映像からなる所望のウィジェット情報を、前記ウィジェット情報を立体方向に位置づけて配置させる手段と、
前記トランスコーディングサーバ内の映像合成部において、前記立体映像配信コンテンツと前記ウィジェット情報とを画像合成した第二の立体映像配信コンテンツとして生成する手段と、
前記第二の立体映像配信コンテンツを前記立体視聴可能なプレーヤや立体視聴可能ＴＶにて立体表示可能な映像信号フォーマットとして配信する手段とをさらに備える、
請求項４１に記載の立体映像配信装置。
【請求項５０】
合成される前記ウィジェット情報の立体方向位置を、前記立体視聴可能なプレーヤもしくは立体視聴可能ＴＶからの立体方向位置可変入力手段により外部から設定する手段と、
前記立体視聴可能なプレーヤもしくは立体視聴可能ＴＶから前記トランスコーディングサーバへ、前記立体方向位置を設定する立体方向位置可変制御コマンドを送信する手段と、
前記トランスコーディングサーバ内の立体方向重み付け手段の重み付けパラメータを可変する手段とをさらに備え、合成された立体映像の奥行きもしくは飛び出し方向の立体感を強めたり弱めたりする事を可能せしめる
請求項４９に記載の立体映像配信装置。
【請求項５１】
前記映像配信サーバに保管されている前記立体映像配信コンテンツが、複数のアングル情報を含む立体映像配信コンテンツであって、
前記立体視聴可能なプレーヤもしくは前記立体視聴可能ＴＶの視聴時において、
前記外部からのマルチアングル表示番号を含むマルチアングル切り替え情報により前記アングルを切り替えるマルチアングル切り替え操作手段と、
前記立体視聴可能なプレーヤもしくは前記立体視聴可能ＴＶより前記トランスコーディングサーバへ前記マルチアングル切り替え情報を伝送する手段と、
さらに前記トランスコーディングサーバから前記映像配信サーバへ、前記映像配信サーバが受け付け可能な情報として前記マルチアングル切り替え情報を伝送する手段と、
前記映像配信サーバより前記アングルを切り替えた前記立体映像配信コンテンツを配信する手段と、
前記アングルが切り替わった前記立体映像配信コンテンツをフォーマット変換する手段と、
前記立体視聴可能なプレーヤもしくは前記立体視聴可能ＴＶに再配信する手段とをさらに備え、前記立体映像配信コンテンツのマルチアングル切り替え操作を行うことを特徴とする
請求項４１に記載の立体映像配信装置。
【請求項５２】
前記映像配信サーバに保管されている前記立体映像配信コンテンツが、複数のアングル情報を含む立体映像コンテンツであって、
前記立体視聴可能なプレーヤもしくは前記立体視聴可能なＴＶの視聴時において、
前記外部から視聴中のアングル角度から所定時間毎に右回りもしくは左回りに順次切り替えていくアングル順次切り替えコマンドを発行する発行手段と、
前記アングル順次切り替えコマンドを、前記立体視聴可能なプレーヤもしくは前記立体視聴可能ＴＶより前記トランスコーディングサーバへ伝送する手段と、
さらに前記トランスコーディングサーバから前記映像配信サーバへ、前記映像配信サーバが受け付け可能な情報として前記アングル順次切り替えコマンドを伝送する手段と、
前記映像配信サーバより右回りもしくは左回りに順次アングルが切り替わる前記立体映像配信コンテンツを配信する手段と、
前記アングルが切り替わった立体映像配信コンテンツを前記トランスコーディングサーバにてフォーマット変換する手段と、
前記立体視聴可能なプレーヤもしくは立体視聴可能ＴＶに再配信する手段とをさらに備え、前記立体映像配信コンテンツの右回りもしくは左回り方向のマルチアングル順次切り替え操作を行うことを特徴とする
請求項４１に記載の立体映像配信装置。
【請求項５３】
前記立体視聴可能なプレーヤもしくは立体視聴可能ＴＶが前記トランスコーディングサーバと認証処理を行う際に、
前記外部と前記トランスコーディングサーバとの間で課金処理を行う手段と、
前記外部と前記トランスコーディングサーバとの前記課金処理完了後、前記トランスコーディングサーバと、前記外部が所望する立体映像配信コンテンツを有する前記映像配信サーバとの間にて、第二の課金処理を実行する手段と、
前記外部から支払われた金額の所定割合が前記映像配信サーバの権利者へ、残りの金額が前記トランスコーディングサーバの権利者へ配分される手段とをさらに備える、
請求項４１に記載の立体映像配信装置。
【請求項５４】
前記立体視聴可能なプレーヤもしくは立体視聴可能ＴＶにおいては、前記トランスコーディングサーバおよび前記映像配信サーバ間の通信時間、前記映像配信サーバにおけるアングルの異なる映像への切り替え時間、前記トランスコーディングサーバにおけるフォーマット変換処理時間、および前記トランスコーディングサーバと前記立体視聴可能プレーヤもしくは立体視聴可能ＴＶ間との通信時間の合計時間を上回るだけの容量を有する、映像配信バッファを持つことを特徴とする
請求項４１に記載の立体映像配信装置。
【請求項５５】
視差映像を利用した左目映像と右目映像とからなる立体映像をサーバから配信する立体映像配信装置であって、
立体映像を含む映像コンテンツは、フレーム内でデータ圧縮されたＩピクチャと、時間的に前方向の前記Ｉピクチャによる動き補償を加えてデータ圧縮されたＰピクチャと、時間的に前後方向の前記Ｉピクチャ又は前記Ｐピクチャによる動き補償を加えてデータ圧縮されたＢピクチャとを有するディジタル映像情報により構成され、
前記映像情報は、左目映像もしくは右目映像の片方のみで構成される平面映像と、さらに前記平面映像と逆側の目の映像の情報とを用いることにより立体映像視聴可能となる立体映像配信コンテンツであって、
前記立体映像配信コンテンツは、複数の映像配信サーバにて保管されている左目映像もしくは右目映像の片方のみで構成される平面映像から構成され、
映像配信時において、前記複数の映像配信サーバの中から外部指示により選択した所望の平面映像配信コンテンツを有する特定の前記映像配信サーバより所望の平面映像配信コンテンツが配信され、
前記配信される平面映像配信コンテンツは、さらに一旦トランスコーディングサーバに入力され、
前記トランスコーディングサーバにて前記平面映像配信コンテンツを平面映像から立体映像に変換させる手段と、
立体視聴可能なプレーヤもしくは立体視聴可能ＴＶにおいてデコードできる映像信号フォーマットの形態に当該コンテンツのフォーマットを変換する手段とを備え、前記立体視聴可能なプレーヤもしくは立体視聴可能ＴＶに再配信することを特徴とする
立体映像配信装置。
【請求項５６】
視差映像を利用した左目映像と右目映像とからなる立体映像をサーバから配信する立体映像配信装置であって、
立体映像を含む映像コンテンツは、フレーム内でデータ圧縮されたＩピクチャと、時間的に前方向の前記Ｉピクチャによる動き補償を加えてデータ圧縮されたＰピクチャと、時間的に前後方向の前記Ｉピクチャ又は前記Ｐピクチャによる動き補償を加えてデータ圧縮されたＢピクチャとを有するディジタル映像情報により構成され、
前記映像情報は、左目映像もしくは右目映像の片方のみで構成される平面映像が、まず外部が保有する映像機器であるムービで撮影した映像をムービから、もしくは外部が録画した映像をレコーダから、直接トランスコーディングサーバにアップロードする手段と、
アップロードした前記平面映像を前記トランスコーディングサーバにて平面映像から立体映像に変換させる手段と、
前記変換した映像を、立体視聴可能なプレーヤもしくは立体視聴可能ＴＶにおいてデコードできる映像信号フォーマットの形態に変換する手段とを備え、前記立体視聴可能なプレーヤもしくはＴＶに再配信することを特徴とする
立体映像配信装置。
【請求項５７】
平面映像から立体映像への前記変換が、
映像の背景部分抽出する手段と、
手前にある人物や物などの手前映像を分離する手段と、
前記分離された映像の立体方向位置の重み付けをする手段と、
前記立体方向に重み付けされた映像を合成する手段とをさらに備える、
請求項５５または５６に記載の立体映像配信装置。
【請求項５８】
前記外部から直接前記トランスコーディングサーバにアップロードする際に、当該トランスコーディングサーバと外部保有機器との間でまず機器認証を行う手段と、
前記アップロード時に外部のＩＤ登録を行う手段と、
前記外部から立体視聴可能なプレーヤもしくは立体視聴可能ＴＶにおいて前記外部が前記トランスコーディングサーバに前記アップロードした映像を視聴する際に、前記外部が立体視聴可能なプレーヤもしくは立体視聴可能ＴＶと前記トランスコーディングサーバとの間で機器認証を行う手段と、
前記アップロード時に登録したＩＤを再入力する手段とをさらに備える、
請求項５５または５６に記載の立体映像配信装置。
【請求項５９】
前記外部から立体視聴可能なプレーヤもしくは立体視聴可能ＴＶにおいて前記外部が前記トランスコーディングサーバにアップロードした映像を視聴する際、前記アップロード時に登録したＩＤを前記立体視聴可能なプレーヤもしくは立体視聴可能ＴＶにあらかじめ設定する手段と、
前記立体視聴可能なプレーヤもしくは立体視聴可能ＴＶとの機器認証とあわせ登録したＩＤを自動的に確認する手段とをさらに備え、新たな入力手続きを不要とする事を特徴とする
請求項５５または５６に記載の立体映像配信装置。
【請求項６０】
平面映像から変換し合成される立体情報の立体方向位置が、前記立体視聴可能なプレーヤもしくは前記立体視聴可能なＴＶからの立体方向位置可変入力手段により外部から設定する手段と、
前記立体視聴可能なプレーヤもしくは立体視聴可能なＴＶから前記トランスコーディングサーバへ、前記立体方向位置を設定する立体方向位置可変制御コマンドを送信する手段と、
前記トランスコーディングサーバ内の立体方向重み付け手段の重み付けパラメータを可変する手段とをさらに備え、合成された立体映像の奥行きもしくは飛び出し方向の立体感を強めたり弱めたりする事が可能な
請求項５５または５６に記載の立体映像配信装置。
【請求項６１】
請求項１〜２０のいずれかに記載の立体映像配信システムにより配信された前記立体映像配信コンテンツを用いて、前記立体映像が視聴可能である、
立体映像視聴システム。
【請求項６２】
請求項２１〜４０のいずれかに記載の立体映像配信方法により配信された前記立体映像配信コンテンツを用いて、前記立体映像が視聴可能である、
立体映像視聴方法。
【請求項６３】
請求項４１〜６０のいずれかに記載の立体映像配信装置により配信された前記立体映像配信コンテンツを用いて、前記立体映像が視聴可能である、
立体映像視聴装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図４２】
【図４３】
【図４４】
【図４５】
【図４６】
【図４７】
【図４８】
【図４９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図４２】
【図４３】
【図４４】
【図４５】
【図４６】
【図４７】
【図４８】
【図４９】
【公開番号】特開２０１０−２５８８４８（Ｐ２０１０−２５８８４８Ａ）
【公開日】平成２２年１１月１１日（２０１０．１１．１１）
【国際特許分類】
【出願番号】特願２００９−１０７３９３（Ｐ２００９−１０７３９３）
【出願日】平成２１年４月２７日（２００９．４．２７）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
【公開日】平成２２年１１月１１日（２０１０．１１．１１）
【国際特許分類】
【出願日】平成２１年４月２７日（２００９．４．２７）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
[ Back to top ]