映像記録装置、映像再生装置、映像記録再生システム、方法、およびプログラム
【課題】高々１つの映像ストリームと、保持すべきデータが規定されていないヌルストリームとを含むことが許容される多重化ストリームを用いて、複数の映像ストリームで表される映像コンテンツの記録および伝送を行う技術を提供する。
【解決手段】映像記録装置１００は、対象を撮影することによって複数の映像信号を得る撮像処理部１４と、前記複数の映像信号のうち、１つを主ＴＳに符号化し、他のそれぞれを副ＴＳに符号化する符号化部１５と、符号化された副ＴＳを、ヌルＴＳを識別する特定のデータを持つヌル化ＴＳに変換することでヌルＴＳに擬装するＴＳヌル化部１１と、主ＴＳとヌル化ＴＳとを多重化ストリームに多重して、記録メディア３００に記録するＴＳ多重部１２とを備える。
【解決手段】映像記録装置１００は、対象を撮影することによって複数の映像信号を得る撮像処理部１４と、前記複数の映像信号のうち、１つを主ＴＳに符号化し、他のそれぞれを副ＴＳに符号化する符号化部１５と、符号化された副ＴＳを、ヌルＴＳを識別する特定のデータを持つヌル化ＴＳに変換することでヌルＴＳに擬装するＴＳヌル化部１１と、主ＴＳとヌル化ＴＳとを多重化ストリームに多重して、記録メディア３００に記録するＴＳ多重部１２とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は映像記録装置、映像再生装置、映像記録再生システム、方法、およびプログラムに関し、特に、高々１つの映像ストリームと、保持すべき映像データが規定されていないヌルストリームとを含むことが許容される多重化ストリームを用いて、複数の映像ストリームの記録と再生を行う技術に関する。
【背景技術】
【０００２】
テレビから始まった高精細（ＨＤ）映像の普及はデジタルビデオカメラへも波及しつつあり、ＨＤ撮影可能なデジタルビデオカメラも普及の兆しを示している。また、デジタルスチルカメラもＨＤ動画撮影機能の搭載が予見される。
【０００３】
従来のデジタルビデオカメラでは、ＨＤ撮影された映像の記録を主な目的として、映像符号化方式としてＨ．２６４やＭＰＥＧ２−ＶＩＤＥＯを用い、多重化方式としてＭＰＥＧ２−ＴＳ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ − Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）を多くが採用しており、装置を廉価に実現可能とするためにそれぞれの方式を簡素化した運用規定を採用している。
【０００４】
ビデオカメラによる撮影および再生のフレームレートは、一般に３０Ｈｚであるが、業務用カメラでは、例えば１２０Ｈｚといった高速なフレームレートで撮影（高速撮影）して、３０Ｈｚのフレームレートで再生（通常再生）することにより、高画質スロー再生を実現するものがある。民生用ビデオカメラにおいても、高速撮影および通常再生による高画質スロー再生が可能なカメラが望まれるものと考えられる。
【非特許文献１】ＩＳＯ／ＩＥＣ１３８１８−１（ＭＰＥＧ２−ＴＳ規格書）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、前記の簡素化した運用規定では、高速撮影および通常再生による高画質スロー再生を行うことは想定されていない。
【０００６】
簡素化した運用規定は、ＭＰＥＧ２−ＴＳを簡素化しており、多重化ストリームに高々１つの映像ストリームを含むことしか許容しない。そのため、高速撮影で得られた３０Ｈｚを超えるフレームレートのフレーム画像を記録および伝送するために、例えば３０Ｈｚのフレームレートに対応するフレーム画像を第１の映像ストリームで表し、その他のフレーム画像を第２の映像ストリームで表して多重化ストリームに多重しようとしても、それができない。
【０００７】
このように、高々１つの映像ストリームを含むことしか許容されていない運用規定における多重化ストリームは、高画質スロー再生のための映像ストリームの記録および伝送に適さないだけでなく、同じシーンを異なる複数の視点から見た複数の映像を表すマルチアングル映像や、両眼視による立体映像といった複数の映像ストリームで表されるコンテンツを記録および伝送することができないという制約がある。
【０００８】
本発明は、かかる問題点に鑑みてなされたものであり、高々１つの映像ストリームと、保持すべきデータが規定されていないヌルストリームとを含むことが許容される多重化ストリームを用いて、複数の映像ストリームで表される映像コンテンツの記録および伝送を行う技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記の課題を解決するために、本発明の映像記録装置は、対象を撮影することによって複数の映像信号を得る撮像部と、前記複数の映像信号のうち、１つを主映像ストリームに符号化し、他のそれぞれを副映像ストリームに符号化する符号化部と、前記１つ以上の副映像ストリームをヌルストリームに擬装するストリームヌル化部と、前記ヌルストリームに擬装された前記１つ以上の副映像ストリームを多重化ストリームに多重して、記録のために出力するストリーム多重部とを備える。
【００１０】
ここで、前記副映像ストリームを前記ヌルストリームに擬装するとは、前記副映像ストリームを、ヌルストリームを識別する特定のデータを持ったストリームに変換することを意味する。
【００１１】
この構成によれば、前記１つ以上の副映像ストリームをヌルストリームに擬装するので、前記多重化ストリームが高々１つの主映像ストリームを含むことしか許容されていない場合でも、前記多重化ストリームにヌルストリームとして前記１つ以上の副映像ストリームを多重化できるようになる。その結果、高々１つの映像ストリームを含むことしか許容されていない多重化ストリームを用いて、複数の映像ストリームで表される映像コンテンツの記録および伝送を行うことが可能となる。
【００１２】
また、前記ヌルストリームおよび前記各副映像ストリームは、ヘッダとペイロードとからなる複数のパケットで構成されるとしてもよい。
【００１３】
その場合に、前記ストリームヌル化部は、前記１つ以上の副映像ストリームを、ヘッダにヌルストリームを識別する特定のデータを持ち、かつ、ペイロードに前記１つ以上の副映像ストリームのパケットのペイロードのデータを持つ複数のパケットで構成されたヌル化ストリームに変換することにより、ヌルストリームに擬装してもよい。
【００１４】
この構成によれば、前記副映像ストリームの各パケットのヘッダに元々含まれているデータが破棄され、ペイロードのデータがそのままヌルストリームのペイロードに保持されるので、前記副映像ストリームを、前記副映像ストリームの元々のデータ量と同じ量の前記ヌルストリームに擬装できる。
【００１５】
また、前記ストリームヌル化部は、前記１つ以上の副映像ストリームを、ヘッダにヌルストリームを識別する特定のデータを持ち、かつ、ペイロードに前記１つ以上の副映像ストリームの各パケットをペイロードの大きさに分割して得られる個々のデータを持つ複数のパケットから構成されたヌル化ストリームに変換することにより、ヌルストリームに擬装してもよい。
【００１６】
この構成によれば、前記副映像ストリームを、ヘッダのデータを含めて、ヌルストリームに擬装できる。前記副映像ストリームの各パケットのヘッダの先頭に同期のための特定のデータが本来含まれている場合には、その特定のデータがヌルストリームのパケットのペイロードの先頭に保持されるので、多重化ストリームにおいて、前記副映像ストリームが擬装されたヌルストリームのパケットと、有効な映像データを保持していない本来のヌルストリームのパケットとを見分けるのに役立つ。
【００１７】
また、前記ストリームヌル化部は、前記１つ以上の副映像ストリームを、ヘッダにヌルストリームを識別する特定のデータを持ち、かつ、ペイロードに前記各副映像ストリームの全体をペイロードの大きさに分割して得られる個々のデータを持つ複数のパケットから構成されたヌル化ストリームに変換することにより、ヌルストリームに擬装してもよい。
【００１８】
この構成によれば、前記副映像ストリームをパケットごとに分割する場合と異なり、ヌルストリームのペイロードに分割の端数による空き領域が生じない。そのため、前記副映像ストリームをより小さなヌルストリームに擬装できることはもちろん、ヌルストリームのペイロードから前記副映像ストリームを復元する際に、空き領域にある無効なデータを除外する必要がなくなるので、処理を簡略化できる可能性がある。
【００１９】
また、前記ストリームヌル化部は、さらに、前記ヌル化ストリームの各パケットのヘッダに、それぞれの副映像ストリームを区別する値を設定してもよい。
【００２０】
この構成によれば、ヌルストリームに擬装された複数の前記副映像ストリームが多重された多重化ストリームからでも、副映像ストリームを区別する値を用いて、個々の副映像ストリームを復元できる。
【００２１】
なお、本発明は、このような映像記録装置として実現することができるだけでなく、映像再生装置および映像記録再生システムとしても実現できる。さらに、映像記録方法ならびに映像再生方法、およびプログラムとして実現することもできる。
【発明の効果】
【００２２】
上記説明したように、本発明の映像ストリームの多重装置によれば、副映像ストリームをヌルストリームに擬装することにより、高々１つの主映像ストリームを含むことしか許容されない多重化ストリームに、前記副映像ストリームをヌルストリームとして多重化できるようになる。その結果、高々１つの映像ストリームを含むことしか許容されていない多重化ストリームを用いて、複数の映像ストリームで表される映像コンテンツの記録および伝送を行うことが可能となる。
【発明を実施するための最良の形態】
【００２３】
以下、本発明を実施するための最良の形態について、図面を参照しながら説明する。
【００２４】
（実施の形態１）
図１は、本発明の実施の形態１における映像ストリームの処理システム１の構成の一例を示す機能ブロック図である。
【００２５】
映像ストリームの処理システム１は、高々１つの主映像ストリームと、保持すべき映像データが規定されていないヌルストリームとを含むことが許容されている多重化ストリームに、１つ以上の副映像ストリームを多重し、また多重化ストリームから、主映像ストリームと各副映像ストリームとを分離するシステムである。
【００２６】
実施の形態１では、背景技術の項で述べた簡素化した運用規定に従い、主映像ストリームおよび副映像ストリームがＨ．２６４符号化によるＴＳであり、また、多重化ストリームがＭＰＥＧ２−ＴＳに準じた多重化ストリームであるとして説明する。前述したように、簡素化した運用規定による多重化ストリームでは、高々１つの映像ＴＳと保持すべき映像データが規定されていないヌルＴＳとを含むことが許容されている。
【００２７】
通常、ヌルＴＳは、ビットレートの調整のために多重化ストリームに挿入され、映像再生機器において処理されることなく破棄される。
【００２８】
図１において、映像ストリームの処理システム１は、ＴＳ多重装置１０およびＴＳ分離装置２０から構成される。図１にはさらに、ストレージまたは伝送路３０が示されている。
【００２９】
なお、本明細書では、主および副という言葉は、複数の映像ストリームおよび複数のＴＳを区別するためにだけ用いられ、複数の映像ストリーム間および複数のＴＳ間でのフレームレートおよび解像度などの優劣を意味しない。
【００３０】
ＴＳ多重装置１０は、主ＴＳおよび１つ以上の副ＴＳを、多重化ストリームに多重する装置であり、ＴＳヌル化部１１およびＴＳ多重部１２から構成される。
【００３１】
ＴＳヌル化部１１は、１つ以上の副ＴＳをヌルＴＳに擬装する。
以下では、副ＴＳが擬装されたヌルＴＳを、ヌル化ＴＳと呼んで、有効な映像データを保持しない本来のヌルＴＳと区別する。１つ以上の副ＴＳをヌルＴＳに擬装することと、１つ以上の副ＴＳをヌル化ＴＳに変換することとは、同義である。
【００３２】
ＴＳ多重部１２は、ＴＳヌル化部１１で変換されたヌル化ＴＳと主ＴＳとを多重化ストリームに多重する。
【００３３】
ＴＳ多重装置１０で得られた多重化ストリームは、ストレージまたは伝送路３０において蓄積または伝送され、ＴＳ分離装置２０によって取得される。
【００３４】
ＴＳ分離装置２０は、多重化ストリームから、主ＴＳおよび１つ以上の副ＴＳを分離する装置であり、ＴＳ分離部２１およびＴＳ復元部２２から構成される。
【００３５】
ＴＳ分離部２１は、多重化ストリームから、主ＴＳおよびヌル化ＴＳを分離する。
ＴＳ復元部２２は、ＴＳ分離部２１で分離されたヌル化ＴＳから副ＴＳを復元する。
【００３６】
なお、ＴＳ多重装置１０およびＴＳ分離装置２０は、個別に、または両者を一体として、図示しないＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）がＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｕｎｉｔ）に記録されたプログラムを実行することでソフトウェア機能として実現されてもよく、また集積回路装置などのハードウェアとして実現されてもよい。
【００３７】
次に、このように構成されたＴＳ多重装置１０およびＴＳ分離装置２０の動作について、フローチャートを参照して説明する。
【００３８】
図２（Ａ）および図２（Ｂ）は、それぞれＴＳ多重装置１０およびＴＳ分離装置２０の動作の一例を示すフローチャートである。
【００３９】
まず、ＴＳ多重装置１０におけるＴＳ多重処理について説明する。
ＴＳ多重装置１０は、主ＴＳおよび副ＴＳを取得する（Ｓ１１、Ｓ１２）。
【００４０】
ＴＳヌル化部１１は、取得された各副ＴＳをヌル化ＴＳに変換する（Ｓ１３）。この変換は、例えば副ＴＳのパケットのヘッダを、ヌルＴＳを識別する特定のデータで書き換えることによって行われる。副ＴＳからヌル化ＴＳへの変換の一例を具体的に説明する。
【００４１】
図３は、ＭＰＥＧ２−ＴＳのパケットのフォーマットを表す図である。図３に示されるように、ＭＰＥＧ２−ＴＳのパケットは、ヘッダとペイロードとからなる。ヘッダは、複数のフィールドにそれぞれ制御用のデータを保持し、ペイロードは、映像データであるＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）を保持する。
【００４２】
ヌルＴＳでは、ヘッダのＰＩＤフィールドには値０ｘ１ＦＦＦが設定される。この値０ｘ１ＦＦＦが、本発明のヌルストリームを識別する特定のデータの一例である。
【００４３】
ＴＳヌル化部１１は、副ＴＳの各パケットのヘッダのＰＩＤフィールドを、値０ｘ１ＦＦＦで書き換える。これにより、副ＴＳは、ヘッダのＰＩＤフィールドに値０ｘ１ＦＦＦを持ち、かつ、ペイロードには元々の副ＴＳのペイロードのＰＥＳデータを持つ複数のパケットで構成されたヌル化ＴＳに変換される。副ＴＳは、ヌルＴＳに擬装される結果、多重化ストリームに多重可能となる。
【００４４】
副ＴＳが複数ある場合、ＴＳヌル化部１１は、ヌル化ＴＳのヘッダの例えばｃｏｎｔｉｎｕｉｔｙ ｃｏｕｎｔｅｒフィールドに、それぞれの副ＴＳを区別する値（以下、ＴＳ識別子）を設定する。
【００４５】
ＴＳ識別子は、ＰＩＤ値を表現するためのビット数よりも少ないビット数で表現できる値であることが望ましい。ＴＳ識別子として、例えば、副ＴＳのヘッダのＰＩＤフィールドに元々設定されていたＰＩＤ値に対応するハッシュ値を用いてもよい。
【００４６】
ＴＳ識別子は、例えば、図２に示されるような変換テーブルによって、ＰＩＤ値に対応付けて固定的にまたは変更可能に保持してもよい。変換テーブルを設ける場所は限定されない。変換テーブルは、例えば、ＴＳ多重装置１０の内部や、ストレージまたは伝送路３０を介してアクセス可能な外部に設けられる。
【００４７】
ＴＳ識別子は、変換テーブルで保持する代わりに、周知のハッシュ関数を用いて必要の都度、算出することもできる。
【００４８】
ＴＳ識別子は、必ずしもｃｏｎｔｉｎｕｉｔｙ ｃｏｕｎｔｅｒフィールドに設定しなくてもよい。同期用の固定値０ｘ４７が設定されるｓｙｎｃ ｂｙｔｅフィールドと前述したＰＩＤフィールドとを除く、ｔｒａｎｓｐｏｒｔ ｅｒｒｏｒ ｉｎｄｉｃａｔｏｒフィールド、ｐａｙｌｏａｄ ｕｎｉｔ ｓｔａｒｔ ｉｎｄｉｃａｔｏｒフィールド、ｔｒａｎｓｐｏｒｔ ｐｒｉｏｒｉｔｙフィールド、ｔｒａｎｓｐｏｒｔ ｓｃｒａｍｂｌｉｎｇ ｃｏｎｔｒｏｌフィールド、ａｄａｐｔａｔｉｏｎ ｆｉｅｌｄ ｃｏｎｔｒｏｌフィールド、およびｃｏｎｔｉｎｕｉｔｙ ｃｏｕｎｔｅｒフィールドのうちの１つ、または２つ以上にまたがって、設定すればよい。
【００４９】
ＴＳ多重部１２は、ＴＳヌル化部１１で変換されたヌル化ＴＳと主ＴＳとを多重化ストリームに多重する（Ｓ１４）。
【００５０】
次に、ＴＳ分離装置２０におけるＴＳ分離処理について説明する。
ＴＳ分離装置２０は、ＴＳ多重装置１０で得られた多重化ストリームを、ストレージまたは伝送路３０を介して取得する（Ｓ２１）。
【００５１】
ＴＳ分離部２１は、取得された多重化ストリームから、主ＴＳを分離する（Ｓ２２）とともに、ヌル化ＴＳを分離する（Ｓ２３）。ヌル化ＴＳの分離は、取得された多重化ストリームから、ヘッダのＰＩＤフィールドに値０ｘ１ＦＦＦを持つパケットのうち、ペイロードの全てのデータが均一値（例えば全てのビットが０か１かに揃っている）ではないパケットを抽出することによって行われる。
【００５２】
本来のヌルＴＳのペイロードは、保持すべき映像データが規定されていないために、全てのビットが０か１かに揃っているから、そうでないパケットは、ペイロードに元々の副ＴＳのＰＥＳデータを持ったヌル化ＴＳのパケットであると判断できる。なお、本来のヌルＴＳと判断されたパケットは、従来と同様に破棄される。
【００５３】
ＴＳ復元部２２は、ＴＳ分離部２１で分離されたヌル化ＴＳから副ＴＳを復元する（Ｓ２４）。この復元は、分離されたヌル化ＴＳのヘッダのＰＩＤフィールドに、主ＴＳのヘッダのＰＩＤフィールドの値とは異なる値を設定することによって行われる。
【００５４】
副ＴＳが複数あり、ｃｏｎｔｉｎｕｉｔｙ ｃｏｕｎｔｅｒフィールドなどにＴＳ識別子が設定されている場合は、設定されているＴＳ識別子に応じて異なるＰＩＤ値を、分離されたヌル化ＴＳのヘッダのＰＩＤフィールドに設定する。
【００５５】
ＰＩＤ値とＴＳ識別子との対応を定義した変換テーブルがある場合は、ＴＳ識別子に対応するＰＩＤ値を変換テーブルから参照して、分離されたヌル化ＴＳのヘッダのＰＩＤフィールドに設定する。
【００５６】
以上説明したように、映像ストリームの処理システム１によれば、ＴＳ多重装置１０は、高々１つの主ＴＳを含むことが許容されている多重化ストリームに、１つ以上の副ＴＳをヌルＴＳに擬装して多重し、ＴＳ分離装置２０は、ヌルＴＳに擬装された１つ以上の副ＴＳを含む多重化ストリームから、副ＴＳを復元するので、高々１つの映像ストリームを含むことしか許容されていない多重化ストリームで、複数の映像ストリームを記録および伝送することが可能となる。
【００５７】
この構成によれば、高々１つの映像ストリームを含むことしか許容されていない多重化ストリームを、非常に広範な応用に活用することが可能になる。
【００５８】
例えば、課題の項で説明したように、高速撮影で得られた３０Ｈｚを超えるフレームレートのフレーム画像のうち、例えば３０Ｈｚのフレームレートに対応するフレーム画像を表す主ＴＳと、その他のフレーム画像を表す副ＴＳとを、多重化ストリームに多重して記録および伝送することが可能となる。
【００５９】
図示しない映像再生装置で、そのような多重化ストリームから分離した主ＴＳおよび副ＴＳによって表される全てのフレーム画像を３０Ｈｚのフレームレートで再生すれば、高画質スロー再生が実現される。また、主ＴＳによって表されるフレーム画像のみを通常速度で再生することもできる。
【００６０】
また、そのような多重化ストリームを、従来の一般的な映像再生装置で再生した場合、ヌルＴＳに擬装された副ＴＳは破棄され、主ＴＳによって表されるフレーム画像のみが通常速度で再生される。すなわち、この多重化ストリームは、既存のシステムとの互換性も高い。
【００６１】
さらには、高々１つの映像ストリームを含むことしか許容されていない多重化ストリームを用いて、同じシーンを異なる複数の視点から見た複数の映像を表すマルチアングル映像や両眼視による立体映像といった複数の映像ストリームで表されるコンテンツの記録および伝送が可能となる。
【００６２】
さらには、高々１つの映像ストリームを含むことしか許容されていない多重化ストリームを用いて、映像を複数の映像ストリームへと解像度的に階層符号化することによって超高解像度の映像コンテンツの記録および伝送が可能となる。
【００６３】
（実施の形態１の変形例）
実施の形態１では、副ＴＳのヘッダを書き換えることによって、副ＴＳをヌル化ＴＳに変換するとして説明した。しかしながら、副ＴＳからヌル化ＴＳへの変換は、上記の例に限定されない。
【００６４】
以下では、副ＴＳからヌル化ＴＳへの変換の他の例について説明する。
図４は、副ＴＳからヌル化ＴＳへの変換の一変形例を説明する図である。
【００６５】
ＴＳ多重装置１０において、ＴＳヌル化部１１は、図４に示されるように、ヌルＴＳのペイロードに、副ＴＳの各パケットをペイロードの大きさに分割して得られる個々のデータを格納することにより、副ＴＳをヌル化ＴＳに変換してもよい。
【００６６】
図４では、見易さのために、ヘッダおよびペイロードの大きさを不同に描いているが、副ＴＳおよびヌル化ＴＳがＭＰＥＧ２−ＴＳである場合、ヘッダおよびペイロードの大きさは、それぞれ４バイトおよび１８４バイトである。
【００６７】
したがって、副ＴＳのパケットＰ１１のヘッダの４バイトのデータ、およびペイロードのＰＥＳデータの先頭の１８０バイトが、ヌル化ＴＳのパケットＰ２１のペイロードに格納される。
【００６８】
また、副ＴＳのパケットＰ１１のペイロードのＰＥＳデータの残りの４バイトが、ヌル化ＴＳの次のパケットＰ２２のペイロードに格納される。ヌル化ＴＳのパケットＰ２２のペイロードに示される斜線部分は、副ＴＳのパケットの分割の端数によって生じる空き領域（無効データ）を表す。
【００６９】
副ＴＳのパケットＰ１２のデータは、ヌル化ＴＳのパケットＰ２３以降に格納される。
副ＴＳが複数ある場合は、ＴＳヌル化部１１は、上述の変換を行った上に、実施の形態１で説明したようにして、ヌル化ＴＳのヘッダの例えばｃｏｎｔｉｎｕｉｔｙ ｃｏｕｎｔｅｒフィールドに、それぞれの副ＴＳを区別するＴＳ識別子を設定してもよい。
【００７０】
ＴＳ分離装置２０において、このような変換によって得られる多重化ストリームが取得されると、ＴＳ分離部２１は、取得された多重化ストリームから、ヘッダのＰＩＤフィールドに値０ｘ１ＦＦＦを持つパケットのうち、ペイロードの先頭のデータがヘッダのｓｙｎｃ ｂｙｔｅフィールドに固定的に設定される値０ｘ４７であるパケットとその次のパケットとを抽出することによって、多重化ストリームからヌル化ＴＳを分離する。
【００７１】
ＴＳ復元部２２は、ＴＳ分離装置２０で抽出されたパケットのペイロードに設定されているデータのうち、空き領域の無効データを除いたデータをつなぎ合わせることで、副ＴＳを復元する。
【００７２】
図５は、副ＴＳからヌル化ＴＳへの変換の他の変形例を説明する図である。
ＴＳ多重装置１０において、ＴＳヌル化部１１は、図５に示されるように、ヌルＴＳのペイロードを、副ＴＳの全体をペイロードの大きさに分割して得られる個々のデータで書き換えることにより、副ＴＳをヌル化ＴＳに変換してもよい。
【００７３】
副ＴＳが複数ある場合、ＴＳヌル化部１１は、上述の変換を行った上に、実施の形態１で説明したようにして、ヌル化ＴＳのヘッダの例えばｃｏｎｔｉｎｕｉｔｙ ｃｏｕｎｔｅｒフィールドに、それぞれの副ＴＳを区別するＴＳ識別子を設定してもよい。
【００７４】
ＴＳ分離装置２０において、ＴＳ分離部２１は、取得された多重化ストリームから、ヘッダのＰＩＤフィールドに値０ｘ１ＦＦＦを持つパケットのうち、ペイロードの全てのデータが均一値（例えば全てのビットが０か１かに揃っている）ではないパケットを抽出することによって、多重化ストリームからヌル化ＴＳを分離する。
【００７５】
ＴＳ復元部２２は、ＴＳ分離装置２０で抽出されたパケットのペイロードに設定されているデータを、パケットの大きさごとにつなぎ合わせることで、副ＴＳを復元する。
【００７６】
この構成によれば、副ＴＳをパケットごとに分割する場合と異なり、ヌル化ＴＳに分割の端数による空き領域が生じない。そのため、副ＴＳをより小さなヌル化ＴＳに変換できることはもちろん、ヌル化ＴＳから副ＴＳを復元する際に、空き領域にある無効なデータを除外する必要がなくなるので、処理を簡略化できる（集積回路装置などのハードウェアによる実現では、無効なデータを除外するための選択回路を省略できる）可能性がある。
【００７７】
次に、上記説明した映像ストリームの処理システムを用いて構成される、高画質スロー再生機能を有する映像記録再生システムについて、詳細に説明する。
【００７８】
（実施の形態２）
図６（Ａ）は、本発明の実施の形態２における映像記録再生システム４００の構成の一例を示す機能ブロック図である。
【００７９】
映像記録再生システム４００は、高速撮影により得られた映像ストリームを記録し、記録された映像ストリームを通常再生することで高画質スロー再生を行う映像記録再生システムであり、撮像光学系４０１、映像記録装置１００、映像再生装置２００、および表示装置４０２から構成される。映像ストリームは、記録メディア３００に記録される。
【００８０】
図６（Ｂ）は、ビデオカメラとして実現された場合の映像記録再生システム４００の外観の一例を示す斜視図である。映像記録装置１００、映像再生装置２００、および記録メディア３００は、ビデオカメラの筐体内に配置される。
【００８１】
図７は、映像記録装置１００の構成の一例を示す機能ブロック図である。
映像記録装置１００は、撮像光学系４０１にて３０Ｈｚを超える高速なフレームレートで対象を撮影して得られるフレーム画像のうち、３０Ｈｚのフレームレートに対応するフレーム画像を主映像ストリームで表し、その他のフレーム画像を第１および第２の副映像ストリームで表して多重化ストリームに多重して、記録メディア３００に記録する。
【００８２】
実施の形態２においても、背景技術の項で述べた簡素化した運用規定に従い、主映像ストリームおよび副映像ストリームがＨ．２６４符号化によるＴＳであり、また、多重化ストリームがＭＰＥＧ２−ＴＳに準じた多重化ストリームであるとして説明する。
【００８３】
映像記録装置１００は、撮像処理部１４、符号化部１５、ＴＳヌル化部１１、およびＴＳ多重部１２から構成される。
【００８４】
ここで、撮像処理部１４、符号化部１５、ＴＳヌル化部１１、およびＴＳ多重部１２が、それぞれ本発明の撮像部、符号化部、ストリームヌル化部、およびストリーム多重部の一例である。また、主ＴＳが主映像ストリームの一例であり、第１副ＴＳおよび第２副ＴＳが副映像ストリームの一例である。
【００８５】
撮像処理部１４は、例えば１２０Ｈｚのフレームレートで撮像光学系４０１からフレーム画像を取得し、３０Ｈｚのフレームレートに対応するフレーム画像を表す主映像信号、および他のフレーム画像を表す第１副映像信号ならびに第２副映像信号を出力する。
【００８６】
図８は、撮像光学系４０１から得られる１２０Ｈｚのフレームレートで得られるフレーム画像のうち、撮像処理部１４から出力される主映像信号、第１副映像信号、および第２副映像信号によって表されるフレーム画像を説明する図である。
【００８７】
主映像信号は、撮像光学系４０１から得られるフレームのうち、４フレームごとに１つの主映像フレームの画像を表す。第１副映像信号は、主映像フレームの時間的に中間にある第１副映像フレームの画像を表す。第２副映像信号は、残りの第２副映像フレームの画像を表す。この例では、主映像信号および第１副映像信号は３０Ｈｚのフレームレートの映像を表し、第２副映像信号は６０Ｈｚのフレームレートの映像を表す。
【００８８】
符号化部１５は、主映像信号、第１副映像信号、および第２副映像信号を、それぞれ、主ＴＳ、第１副ＴＳ、および第２副ＴＳに符号化する。
【００８９】
ＴＳヌル化部１１は、第１副ＴＳおよび第２副ＴＳをヌル化ＴＳに変換する。
ＴＳ多重部１２は、主ＴＳ、およびヌル化ＴＳを多重化ストリームに多重し、多重化ストリームを記録メディア３００に記録する。
【００９０】
図９は、映像再生装置２００の構成の一例を示す機能ブロック図である。
映像再生装置２００は、記録メディア３００に記録されている多重化ストリームに多重された主映像ストリーム、第１副映像ストリーム、および第２副映像ストリームによって表される映像を再生する。
【００９１】
映像再生装置２００は、ＴＳ分離部２１、ＴＳ復元部２２、復号化部２３、および映像多重部２４から構成される。
【００９２】
ここで、ＴＳ分離部２１、ＴＳ復元部２２、および復号化部２３が、それぞれ本発明のストリーム分離部、ストリーム復元部、および復号化部の一例である。
【００９３】
ＴＳ分離部２１は、記録メディア３００から多重化ストリームを取得し、取得した多重化ストリームから主ＴＳおよびヌル化ＴＳを分離する。
【００９４】
ＴＳ復元部２２は、ＴＳ分離部２１で分離されたヌル化ＴＳから第１副ＴＳおよび第２副ＴＳを復元する。
【００９５】
復号化部２３は、主ＴＳ、第１副ＴＳ、および第２副ＴＳを、それぞれ主映像信号、第１副映像信号、および第２副映像信号に復号化する。復号化部２３は、与えられるＴＳ選択信号に応じて、主ＴＳ、第１副ＴＳ、および第２副ＴＳの中から選択されるＴＳについてのみ、復号化を行ってもよい。
【００９６】
映像多重部２４は、復号化で得られた主映像信号、第１副映像信号、および第２副映像信号によって表される主映像フレームの画像、第１副映像フレームの画像、および第２副映像フレームの画像を、図８に示される順序で時分割多重し、時分割多重されたフレーム画像を表す映像信号を生成して、表示装置４０２に出力する。
【００９７】
なお、映像記録装置１００および映像再生装置２００は、個別に、または両者を一体として、図示しないＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）がＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｕｎｉｔ）に記録されたプログラムを実行することでソフトウェア機能として実現されてもよく、また集積回路装置などのハードウェアとして実現されてもよい。
【００９８】
特に、符号化部１５、ＴＳヌル化部１１、およびＴＳ多重部１２を統合符号化部１０１とし、ＴＳ分離部２１、ＴＳ復元部２２、および復号化部２３を統合復号化部２０１として、それぞれを個別に、または両者を一体として、集積回路装置で実現することが望ましい。
【００９９】
そのような集積回路装置は、撮像処理部１４からの映像信号のみならず、外部入力から取得される複数の映像信号をも符号化および多重処理し、また分離および復号化できる汎用性を持つと期待される。
【０１００】
次に、このように構成された映像記録装置１００および映像再生装置２００の動作について、フローチャートを参照して説明する。
【０１０１】
図１０（Ａ）および図１０（Ｂ）は、それぞれ映像記録装置１００および映像再生装置２００の動作の一例を示すフローチャートである。
【０１０２】
まず、映像記録装置１００における映像記録処理について説明する。
撮像処理部１４は、撮像光学系４０１から１２０Ｈｚのフレームレートで得られるフレーム画像のうち、３０Ｈｚのフレームレートに対応するフレーム画像を表す主映像信号、および他のフレーム画像を表す第１副映像信号ならびに第２副映像信号を出力する（Ｓ１０１および図８）。
【０１０３】
符号化部１５は、主映像信号、第１副映像信号、および第２副映像信号を、それぞれ、主ＴＳ、第１副ＴＳ、および第２副ＴＳに符号化する（Ｓ１０２）。この符号化は、簡素化した運用規定に則して、Ｈ．２６４符号化として行われる。
【０１０４】
ＴＳヌル化部１１は、第１副ＴＳおよび第２副ＴＳをヌル化ＴＳに変換し（Ｓ１０３）、ＴＳ多重部１２は、主ＴＳとヌル化ＴＳとを多重化ストリームに多重する（Ｓ１０４）。これらの処理は、実施の形態１で詳細に説明した、ＴＳ多重装置１０による処理（図２（Ａ）のＳ１３およびＳ１４）そのものであるため、ここでは説明を繰り返さない。
【０１０５】
ＴＳ多重部１２は、多重化ストリームを出力し、記録メディア３００にて記録する（Ｓ１０５）。
【０１０６】
次に、映像再生装置２００における映像再生処理について説明する。
映像再生装置２００は、記録メディア３００から記録されている多重化ストリームを取得する（Ｓ２０１）。
【０１０７】
ＴＳ分離部２１は、取得された多重化ストリームから、主ＴＳを分離する（Ｓ２０２）とともに、ヌル化ＴＳを分離する（Ｓ２０３）。そして、ＴＳ復元部２２は、ＴＳ分離部２１で分離されたヌル化ＴＳから副ＴＳを復元する（Ｓ２０４）。これらの処理は、実施の形態１で詳細に説明した、ＴＳ分離装置２０による処理（図２（Ｂ）のＳ２２およびＳ２３）そのものであるため、ここでは説明を繰り返さない。
【０１０８】
復号化部２３は、与えられるＴＳ選択信号に応じて、主ＴＳ、第１副ＴＳ、および第２副ＴＳの中から選択されるＴＳを、それぞれ主映像信号、第１副映像信号、および第２副映像信号に復号化する（Ｓ２０５）。この復号化は、簡素化した運用規定に則して、Ｈ．２６４復号化として行われる。
【０１０９】
映像多重部２４は、復号化で得られた映像信号によって表されるフレーム画像を、図８に示される順序で時分割多重して、３０Ｈｚのフレームレートで表示装置４０２に出力する（Ｓ２０６）。
【０１１０】
ここで、復号化部２３が、ＴＳ選択信号に応じて、主ＴＳ、第１副ＴＳ、および第２副ＴＳの全てを復号化する場合は、図８に示される全てのフレーム画像が３０Ｈｚのフレームレートで表示装置４０２に出力されることとなり、撮像時の１２０Ｈｚのフレームレートに対して１／４倍速の高画質スロー再生が行われる。
【０１１１】
また、復号化部２３が、ＴＳ選択信号に応じて、主ＴＳおよび第１副ＴＳを復号化し、第２副ＴＳを復号化しない場合は、図８に示される主映像フレームおよび第１副映像フレームのフレーム画像が３０Ｈｚのフレームレートで表示装置４０２に出力されることとなり、撮像時の１２０Ｈｚのフレームレートに対して１／２倍速の高画質スロー再生が行われる。
【０１１２】
また、復号化部２３が、ＴＳ選択信号に応じて、主ＴＳのみを復号化する場合は、通常再生が行われる。
【０１１３】
このように、ＴＳ選択信号は再生速度を指示する機能を有している。ＴＳ選択信号に応じて、復号化部２３で復号化をするか否かを切り替える以外にも、ＴＳ復元部２２でヌル化ＴＳから副ＴＳを復元するか否かを切り替えるか、またはＴＳ分離部２１で多重化ストリームからヌル化ＴＳを分離するか否かを切り替えても、再生速度を切り替えることができる。
【０１１４】
なお、従来の一般的な映像再生装置では、多重化ストリームに含まれるヌル化ＴＳは、本来のヌルＴＳと区別されないために破棄される。その結果、主ＴＳによって表されるフレーム画像のみが通常速度で再生される。すなわち、この多重化ストリームは、既存のシステムとの互換性も高い。
【０１１５】
また、映像記録装置１００および映像再生装置２００を、同じシーンを異なる複数の視点から見た複数の映像を表すマルチアングル映像や両眼視による立体映像といった複数の映像ストリームで表されるコンテンツの記録および再生に応用することも可能である。
【０１１６】
以上、本発明の映像記録装置、映像再生装置、映像記録再生装置について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものも本発明の範囲内に含まれる。
【産業上の利用可能性】
【０１１７】
本発明の映像記録装置、映像再生装置、映像記録再生装置、方法、およびプログラムは、ビデオカメラ、携帯情報端末など、映像を記録および再生する機器に広く利用できる。
【図面の簡単な説明】
【０１１８】
【図１】実施の形態１における処理システムの構成の一例を示す機能ブロック図
【図２】（Ａ）ＴＳ多重装置の動作の一例を示すフローチャート、（Ｂ）ＴＳ分離装置の動作の一例を示すフローチャート
【図３】副ＴＳからヌル化ＴＳへの変換の一例を示す図
【図４】副ＴＳからヌル化ＴＳへの変換の一例を示す図
【図５】副ＴＳからヌル化ＴＳへの変換の一例を示す図
【図６】（Ａ）実施の形態２における映像記録再生装置の構成の一例を示す機能ブロック図、（Ｂ）映像記録再生装置の外観の一例を示す外観図
【図７】映像記録装置の構成の一例を示す機能ブロック図
【図８】主映像信号、第１副映像信号、および第２副映像信号によって表されるフレーム画像を説明する図
【図９】映像再生装置の構成の一例を示す機能ブロック図
【図１０】（Ａ）映像記録装置の動作の一例を示すフローチャート、（Ｂ）映像再生装置の動作の一例を示すフローチャート
【符号の説明】
【０１１９】
１ 映像ストリームの処理システム
１０ ＴＳ多重装置
１１ ＴＳヌル化部
１２ ＴＳ多重部
１４ 撮像処理部
１５ 符号化部
２０ ＴＳ分離装置
２１ ＴＳ分離部
２２ ＴＳ復元部
２３ 復号化部
２４ 映像多重部
３０ ストレージまたは伝送路
１００ 映像記録装置
１０１ 統合符号化部
２００ 映像再生装置
２０１ 統合復号化部
３００ 記録メディア
４００ 映像記録再生システム
４０１ 撮像光学系
４０２ 表示装置
【技術分野】
【０００１】
本発明は映像記録装置、映像再生装置、映像記録再生システム、方法、およびプログラムに関し、特に、高々１つの映像ストリームと、保持すべき映像データが規定されていないヌルストリームとを含むことが許容される多重化ストリームを用いて、複数の映像ストリームの記録と再生を行う技術に関する。
【背景技術】
【０００２】
テレビから始まった高精細（ＨＤ）映像の普及はデジタルビデオカメラへも波及しつつあり、ＨＤ撮影可能なデジタルビデオカメラも普及の兆しを示している。また、デジタルスチルカメラもＨＤ動画撮影機能の搭載が予見される。
【０００３】
従来のデジタルビデオカメラでは、ＨＤ撮影された映像の記録を主な目的として、映像符号化方式としてＨ．２６４やＭＰＥＧ２−ＶＩＤＥＯを用い、多重化方式としてＭＰＥＧ２−ＴＳ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ − Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）を多くが採用しており、装置を廉価に実現可能とするためにそれぞれの方式を簡素化した運用規定を採用している。
【０００４】
ビデオカメラによる撮影および再生のフレームレートは、一般に３０Ｈｚであるが、業務用カメラでは、例えば１２０Ｈｚといった高速なフレームレートで撮影（高速撮影）して、３０Ｈｚのフレームレートで再生（通常再生）することにより、高画質スロー再生を実現するものがある。民生用ビデオカメラにおいても、高速撮影および通常再生による高画質スロー再生が可能なカメラが望まれるものと考えられる。
【非特許文献１】ＩＳＯ／ＩＥＣ１３８１８−１（ＭＰＥＧ２−ＴＳ規格書）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、前記の簡素化した運用規定では、高速撮影および通常再生による高画質スロー再生を行うことは想定されていない。
【０００６】
簡素化した運用規定は、ＭＰＥＧ２−ＴＳを簡素化しており、多重化ストリームに高々１つの映像ストリームを含むことしか許容しない。そのため、高速撮影で得られた３０Ｈｚを超えるフレームレートのフレーム画像を記録および伝送するために、例えば３０Ｈｚのフレームレートに対応するフレーム画像を第１の映像ストリームで表し、その他のフレーム画像を第２の映像ストリームで表して多重化ストリームに多重しようとしても、それができない。
【０００７】
このように、高々１つの映像ストリームを含むことしか許容されていない運用規定における多重化ストリームは、高画質スロー再生のための映像ストリームの記録および伝送に適さないだけでなく、同じシーンを異なる複数の視点から見た複数の映像を表すマルチアングル映像や、両眼視による立体映像といった複数の映像ストリームで表されるコンテンツを記録および伝送することができないという制約がある。
【０００８】
本発明は、かかる問題点に鑑みてなされたものであり、高々１つの映像ストリームと、保持すべきデータが規定されていないヌルストリームとを含むことが許容される多重化ストリームを用いて、複数の映像ストリームで表される映像コンテンツの記録および伝送を行う技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記の課題を解決するために、本発明の映像記録装置は、対象を撮影することによって複数の映像信号を得る撮像部と、前記複数の映像信号のうち、１つを主映像ストリームに符号化し、他のそれぞれを副映像ストリームに符号化する符号化部と、前記１つ以上の副映像ストリームをヌルストリームに擬装するストリームヌル化部と、前記ヌルストリームに擬装された前記１つ以上の副映像ストリームを多重化ストリームに多重して、記録のために出力するストリーム多重部とを備える。
【００１０】
ここで、前記副映像ストリームを前記ヌルストリームに擬装するとは、前記副映像ストリームを、ヌルストリームを識別する特定のデータを持ったストリームに変換することを意味する。
【００１１】
この構成によれば、前記１つ以上の副映像ストリームをヌルストリームに擬装するので、前記多重化ストリームが高々１つの主映像ストリームを含むことしか許容されていない場合でも、前記多重化ストリームにヌルストリームとして前記１つ以上の副映像ストリームを多重化できるようになる。その結果、高々１つの映像ストリームを含むことしか許容されていない多重化ストリームを用いて、複数の映像ストリームで表される映像コンテンツの記録および伝送を行うことが可能となる。
【００１２】
また、前記ヌルストリームおよび前記各副映像ストリームは、ヘッダとペイロードとからなる複数のパケットで構成されるとしてもよい。
【００１３】
その場合に、前記ストリームヌル化部は、前記１つ以上の副映像ストリームを、ヘッダにヌルストリームを識別する特定のデータを持ち、かつ、ペイロードに前記１つ以上の副映像ストリームのパケットのペイロードのデータを持つ複数のパケットで構成されたヌル化ストリームに変換することにより、ヌルストリームに擬装してもよい。
【００１４】
この構成によれば、前記副映像ストリームの各パケットのヘッダに元々含まれているデータが破棄され、ペイロードのデータがそのままヌルストリームのペイロードに保持されるので、前記副映像ストリームを、前記副映像ストリームの元々のデータ量と同じ量の前記ヌルストリームに擬装できる。
【００１５】
また、前記ストリームヌル化部は、前記１つ以上の副映像ストリームを、ヘッダにヌルストリームを識別する特定のデータを持ち、かつ、ペイロードに前記１つ以上の副映像ストリームの各パケットをペイロードの大きさに分割して得られる個々のデータを持つ複数のパケットから構成されたヌル化ストリームに変換することにより、ヌルストリームに擬装してもよい。
【００１６】
この構成によれば、前記副映像ストリームを、ヘッダのデータを含めて、ヌルストリームに擬装できる。前記副映像ストリームの各パケットのヘッダの先頭に同期のための特定のデータが本来含まれている場合には、その特定のデータがヌルストリームのパケットのペイロードの先頭に保持されるので、多重化ストリームにおいて、前記副映像ストリームが擬装されたヌルストリームのパケットと、有効な映像データを保持していない本来のヌルストリームのパケットとを見分けるのに役立つ。
【００１７】
また、前記ストリームヌル化部は、前記１つ以上の副映像ストリームを、ヘッダにヌルストリームを識別する特定のデータを持ち、かつ、ペイロードに前記各副映像ストリームの全体をペイロードの大きさに分割して得られる個々のデータを持つ複数のパケットから構成されたヌル化ストリームに変換することにより、ヌルストリームに擬装してもよい。
【００１８】
この構成によれば、前記副映像ストリームをパケットごとに分割する場合と異なり、ヌルストリームのペイロードに分割の端数による空き領域が生じない。そのため、前記副映像ストリームをより小さなヌルストリームに擬装できることはもちろん、ヌルストリームのペイロードから前記副映像ストリームを復元する際に、空き領域にある無効なデータを除外する必要がなくなるので、処理を簡略化できる可能性がある。
【００１９】
また、前記ストリームヌル化部は、さらに、前記ヌル化ストリームの各パケットのヘッダに、それぞれの副映像ストリームを区別する値を設定してもよい。
【００２０】
この構成によれば、ヌルストリームに擬装された複数の前記副映像ストリームが多重された多重化ストリームからでも、副映像ストリームを区別する値を用いて、個々の副映像ストリームを復元できる。
【００２１】
なお、本発明は、このような映像記録装置として実現することができるだけでなく、映像再生装置および映像記録再生システムとしても実現できる。さらに、映像記録方法ならびに映像再生方法、およびプログラムとして実現することもできる。
【発明の効果】
【００２２】
上記説明したように、本発明の映像ストリームの多重装置によれば、副映像ストリームをヌルストリームに擬装することにより、高々１つの主映像ストリームを含むことしか許容されない多重化ストリームに、前記副映像ストリームをヌルストリームとして多重化できるようになる。その結果、高々１つの映像ストリームを含むことしか許容されていない多重化ストリームを用いて、複数の映像ストリームで表される映像コンテンツの記録および伝送を行うことが可能となる。
【発明を実施するための最良の形態】
【００２３】
以下、本発明を実施するための最良の形態について、図面を参照しながら説明する。
【００２４】
（実施の形態１）
図１は、本発明の実施の形態１における映像ストリームの処理システム１の構成の一例を示す機能ブロック図である。
【００２５】
映像ストリームの処理システム１は、高々１つの主映像ストリームと、保持すべき映像データが規定されていないヌルストリームとを含むことが許容されている多重化ストリームに、１つ以上の副映像ストリームを多重し、また多重化ストリームから、主映像ストリームと各副映像ストリームとを分離するシステムである。
【００２６】
実施の形態１では、背景技術の項で述べた簡素化した運用規定に従い、主映像ストリームおよび副映像ストリームがＨ．２６４符号化によるＴＳであり、また、多重化ストリームがＭＰＥＧ２−ＴＳに準じた多重化ストリームであるとして説明する。前述したように、簡素化した運用規定による多重化ストリームでは、高々１つの映像ＴＳと保持すべき映像データが規定されていないヌルＴＳとを含むことが許容されている。
【００２７】
通常、ヌルＴＳは、ビットレートの調整のために多重化ストリームに挿入され、映像再生機器において処理されることなく破棄される。
【００２８】
図１において、映像ストリームの処理システム１は、ＴＳ多重装置１０およびＴＳ分離装置２０から構成される。図１にはさらに、ストレージまたは伝送路３０が示されている。
【００２９】
なお、本明細書では、主および副という言葉は、複数の映像ストリームおよび複数のＴＳを区別するためにだけ用いられ、複数の映像ストリーム間および複数のＴＳ間でのフレームレートおよび解像度などの優劣を意味しない。
【００３０】
ＴＳ多重装置１０は、主ＴＳおよび１つ以上の副ＴＳを、多重化ストリームに多重する装置であり、ＴＳヌル化部１１およびＴＳ多重部１２から構成される。
【００３１】
ＴＳヌル化部１１は、１つ以上の副ＴＳをヌルＴＳに擬装する。
以下では、副ＴＳが擬装されたヌルＴＳを、ヌル化ＴＳと呼んで、有効な映像データを保持しない本来のヌルＴＳと区別する。１つ以上の副ＴＳをヌルＴＳに擬装することと、１つ以上の副ＴＳをヌル化ＴＳに変換することとは、同義である。
【００３２】
ＴＳ多重部１２は、ＴＳヌル化部１１で変換されたヌル化ＴＳと主ＴＳとを多重化ストリームに多重する。
【００３３】
ＴＳ多重装置１０で得られた多重化ストリームは、ストレージまたは伝送路３０において蓄積または伝送され、ＴＳ分離装置２０によって取得される。
【００３４】
ＴＳ分離装置２０は、多重化ストリームから、主ＴＳおよび１つ以上の副ＴＳを分離する装置であり、ＴＳ分離部２１およびＴＳ復元部２２から構成される。
【００３５】
ＴＳ分離部２１は、多重化ストリームから、主ＴＳおよびヌル化ＴＳを分離する。
ＴＳ復元部２２は、ＴＳ分離部２１で分離されたヌル化ＴＳから副ＴＳを復元する。
【００３６】
なお、ＴＳ多重装置１０およびＴＳ分離装置２０は、個別に、または両者を一体として、図示しないＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）がＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｕｎｉｔ）に記録されたプログラムを実行することでソフトウェア機能として実現されてもよく、また集積回路装置などのハードウェアとして実現されてもよい。
【００３７】
次に、このように構成されたＴＳ多重装置１０およびＴＳ分離装置２０の動作について、フローチャートを参照して説明する。
【００３８】
図２（Ａ）および図２（Ｂ）は、それぞれＴＳ多重装置１０およびＴＳ分離装置２０の動作の一例を示すフローチャートである。
【００３９】
まず、ＴＳ多重装置１０におけるＴＳ多重処理について説明する。
ＴＳ多重装置１０は、主ＴＳおよび副ＴＳを取得する（Ｓ１１、Ｓ１２）。
【００４０】
ＴＳヌル化部１１は、取得された各副ＴＳをヌル化ＴＳに変換する（Ｓ１３）。この変換は、例えば副ＴＳのパケットのヘッダを、ヌルＴＳを識別する特定のデータで書き換えることによって行われる。副ＴＳからヌル化ＴＳへの変換の一例を具体的に説明する。
【００４１】
図３は、ＭＰＥＧ２−ＴＳのパケットのフォーマットを表す図である。図３に示されるように、ＭＰＥＧ２−ＴＳのパケットは、ヘッダとペイロードとからなる。ヘッダは、複数のフィールドにそれぞれ制御用のデータを保持し、ペイロードは、映像データであるＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）を保持する。
【００４２】
ヌルＴＳでは、ヘッダのＰＩＤフィールドには値０ｘ１ＦＦＦが設定される。この値０ｘ１ＦＦＦが、本発明のヌルストリームを識別する特定のデータの一例である。
【００４３】
ＴＳヌル化部１１は、副ＴＳの各パケットのヘッダのＰＩＤフィールドを、値０ｘ１ＦＦＦで書き換える。これにより、副ＴＳは、ヘッダのＰＩＤフィールドに値０ｘ１ＦＦＦを持ち、かつ、ペイロードには元々の副ＴＳのペイロードのＰＥＳデータを持つ複数のパケットで構成されたヌル化ＴＳに変換される。副ＴＳは、ヌルＴＳに擬装される結果、多重化ストリームに多重可能となる。
【００４４】
副ＴＳが複数ある場合、ＴＳヌル化部１１は、ヌル化ＴＳのヘッダの例えばｃｏｎｔｉｎｕｉｔｙ ｃｏｕｎｔｅｒフィールドに、それぞれの副ＴＳを区別する値（以下、ＴＳ識別子）を設定する。
【００４５】
ＴＳ識別子は、ＰＩＤ値を表現するためのビット数よりも少ないビット数で表現できる値であることが望ましい。ＴＳ識別子として、例えば、副ＴＳのヘッダのＰＩＤフィールドに元々設定されていたＰＩＤ値に対応するハッシュ値を用いてもよい。
【００４６】
ＴＳ識別子は、例えば、図２に示されるような変換テーブルによって、ＰＩＤ値に対応付けて固定的にまたは変更可能に保持してもよい。変換テーブルを設ける場所は限定されない。変換テーブルは、例えば、ＴＳ多重装置１０の内部や、ストレージまたは伝送路３０を介してアクセス可能な外部に設けられる。
【００４７】
ＴＳ識別子は、変換テーブルで保持する代わりに、周知のハッシュ関数を用いて必要の都度、算出することもできる。
【００４８】
ＴＳ識別子は、必ずしもｃｏｎｔｉｎｕｉｔｙ ｃｏｕｎｔｅｒフィールドに設定しなくてもよい。同期用の固定値０ｘ４７が設定されるｓｙｎｃ ｂｙｔｅフィールドと前述したＰＩＤフィールドとを除く、ｔｒａｎｓｐｏｒｔ ｅｒｒｏｒ ｉｎｄｉｃａｔｏｒフィールド、ｐａｙｌｏａｄ ｕｎｉｔ ｓｔａｒｔ ｉｎｄｉｃａｔｏｒフィールド、ｔｒａｎｓｐｏｒｔ ｐｒｉｏｒｉｔｙフィールド、ｔｒａｎｓｐｏｒｔ ｓｃｒａｍｂｌｉｎｇ ｃｏｎｔｒｏｌフィールド、ａｄａｐｔａｔｉｏｎ ｆｉｅｌｄ ｃｏｎｔｒｏｌフィールド、およびｃｏｎｔｉｎｕｉｔｙ ｃｏｕｎｔｅｒフィールドのうちの１つ、または２つ以上にまたがって、設定すればよい。
【００４９】
ＴＳ多重部１２は、ＴＳヌル化部１１で変換されたヌル化ＴＳと主ＴＳとを多重化ストリームに多重する（Ｓ１４）。
【００５０】
次に、ＴＳ分離装置２０におけるＴＳ分離処理について説明する。
ＴＳ分離装置２０は、ＴＳ多重装置１０で得られた多重化ストリームを、ストレージまたは伝送路３０を介して取得する（Ｓ２１）。
【００５１】
ＴＳ分離部２１は、取得された多重化ストリームから、主ＴＳを分離する（Ｓ２２）とともに、ヌル化ＴＳを分離する（Ｓ２３）。ヌル化ＴＳの分離は、取得された多重化ストリームから、ヘッダのＰＩＤフィールドに値０ｘ１ＦＦＦを持つパケットのうち、ペイロードの全てのデータが均一値（例えば全てのビットが０か１かに揃っている）ではないパケットを抽出することによって行われる。
【００５２】
本来のヌルＴＳのペイロードは、保持すべき映像データが規定されていないために、全てのビットが０か１かに揃っているから、そうでないパケットは、ペイロードに元々の副ＴＳのＰＥＳデータを持ったヌル化ＴＳのパケットであると判断できる。なお、本来のヌルＴＳと判断されたパケットは、従来と同様に破棄される。
【００５３】
ＴＳ復元部２２は、ＴＳ分離部２１で分離されたヌル化ＴＳから副ＴＳを復元する（Ｓ２４）。この復元は、分離されたヌル化ＴＳのヘッダのＰＩＤフィールドに、主ＴＳのヘッダのＰＩＤフィールドの値とは異なる値を設定することによって行われる。
【００５４】
副ＴＳが複数あり、ｃｏｎｔｉｎｕｉｔｙ ｃｏｕｎｔｅｒフィールドなどにＴＳ識別子が設定されている場合は、設定されているＴＳ識別子に応じて異なるＰＩＤ値を、分離されたヌル化ＴＳのヘッダのＰＩＤフィールドに設定する。
【００５５】
ＰＩＤ値とＴＳ識別子との対応を定義した変換テーブルがある場合は、ＴＳ識別子に対応するＰＩＤ値を変換テーブルから参照して、分離されたヌル化ＴＳのヘッダのＰＩＤフィールドに設定する。
【００５６】
以上説明したように、映像ストリームの処理システム１によれば、ＴＳ多重装置１０は、高々１つの主ＴＳを含むことが許容されている多重化ストリームに、１つ以上の副ＴＳをヌルＴＳに擬装して多重し、ＴＳ分離装置２０は、ヌルＴＳに擬装された１つ以上の副ＴＳを含む多重化ストリームから、副ＴＳを復元するので、高々１つの映像ストリームを含むことしか許容されていない多重化ストリームで、複数の映像ストリームを記録および伝送することが可能となる。
【００５７】
この構成によれば、高々１つの映像ストリームを含むことしか許容されていない多重化ストリームを、非常に広範な応用に活用することが可能になる。
【００５８】
例えば、課題の項で説明したように、高速撮影で得られた３０Ｈｚを超えるフレームレートのフレーム画像のうち、例えば３０Ｈｚのフレームレートに対応するフレーム画像を表す主ＴＳと、その他のフレーム画像を表す副ＴＳとを、多重化ストリームに多重して記録および伝送することが可能となる。
【００５９】
図示しない映像再生装置で、そのような多重化ストリームから分離した主ＴＳおよび副ＴＳによって表される全てのフレーム画像を３０Ｈｚのフレームレートで再生すれば、高画質スロー再生が実現される。また、主ＴＳによって表されるフレーム画像のみを通常速度で再生することもできる。
【００６０】
また、そのような多重化ストリームを、従来の一般的な映像再生装置で再生した場合、ヌルＴＳに擬装された副ＴＳは破棄され、主ＴＳによって表されるフレーム画像のみが通常速度で再生される。すなわち、この多重化ストリームは、既存のシステムとの互換性も高い。
【００６１】
さらには、高々１つの映像ストリームを含むことしか許容されていない多重化ストリームを用いて、同じシーンを異なる複数の視点から見た複数の映像を表すマルチアングル映像や両眼視による立体映像といった複数の映像ストリームで表されるコンテンツの記録および伝送が可能となる。
【００６２】
さらには、高々１つの映像ストリームを含むことしか許容されていない多重化ストリームを用いて、映像を複数の映像ストリームへと解像度的に階層符号化することによって超高解像度の映像コンテンツの記録および伝送が可能となる。
【００６３】
（実施の形態１の変形例）
実施の形態１では、副ＴＳのヘッダを書き換えることによって、副ＴＳをヌル化ＴＳに変換するとして説明した。しかしながら、副ＴＳからヌル化ＴＳへの変換は、上記の例に限定されない。
【００６４】
以下では、副ＴＳからヌル化ＴＳへの変換の他の例について説明する。
図４は、副ＴＳからヌル化ＴＳへの変換の一変形例を説明する図である。
【００６５】
ＴＳ多重装置１０において、ＴＳヌル化部１１は、図４に示されるように、ヌルＴＳのペイロードに、副ＴＳの各パケットをペイロードの大きさに分割して得られる個々のデータを格納することにより、副ＴＳをヌル化ＴＳに変換してもよい。
【００６６】
図４では、見易さのために、ヘッダおよびペイロードの大きさを不同に描いているが、副ＴＳおよびヌル化ＴＳがＭＰＥＧ２−ＴＳである場合、ヘッダおよびペイロードの大きさは、それぞれ４バイトおよび１８４バイトである。
【００６７】
したがって、副ＴＳのパケットＰ１１のヘッダの４バイトのデータ、およびペイロードのＰＥＳデータの先頭の１８０バイトが、ヌル化ＴＳのパケットＰ２１のペイロードに格納される。
【００６８】
また、副ＴＳのパケットＰ１１のペイロードのＰＥＳデータの残りの４バイトが、ヌル化ＴＳの次のパケットＰ２２のペイロードに格納される。ヌル化ＴＳのパケットＰ２２のペイロードに示される斜線部分は、副ＴＳのパケットの分割の端数によって生じる空き領域（無効データ）を表す。
【００６９】
副ＴＳのパケットＰ１２のデータは、ヌル化ＴＳのパケットＰ２３以降に格納される。
副ＴＳが複数ある場合は、ＴＳヌル化部１１は、上述の変換を行った上に、実施の形態１で説明したようにして、ヌル化ＴＳのヘッダの例えばｃｏｎｔｉｎｕｉｔｙ ｃｏｕｎｔｅｒフィールドに、それぞれの副ＴＳを区別するＴＳ識別子を設定してもよい。
【００７０】
ＴＳ分離装置２０において、このような変換によって得られる多重化ストリームが取得されると、ＴＳ分離部２１は、取得された多重化ストリームから、ヘッダのＰＩＤフィールドに値０ｘ１ＦＦＦを持つパケットのうち、ペイロードの先頭のデータがヘッダのｓｙｎｃ ｂｙｔｅフィールドに固定的に設定される値０ｘ４７であるパケットとその次のパケットとを抽出することによって、多重化ストリームからヌル化ＴＳを分離する。
【００７１】
ＴＳ復元部２２は、ＴＳ分離装置２０で抽出されたパケットのペイロードに設定されているデータのうち、空き領域の無効データを除いたデータをつなぎ合わせることで、副ＴＳを復元する。
【００７２】
図５は、副ＴＳからヌル化ＴＳへの変換の他の変形例を説明する図である。
ＴＳ多重装置１０において、ＴＳヌル化部１１は、図５に示されるように、ヌルＴＳのペイロードを、副ＴＳの全体をペイロードの大きさに分割して得られる個々のデータで書き換えることにより、副ＴＳをヌル化ＴＳに変換してもよい。
【００７３】
副ＴＳが複数ある場合、ＴＳヌル化部１１は、上述の変換を行った上に、実施の形態１で説明したようにして、ヌル化ＴＳのヘッダの例えばｃｏｎｔｉｎｕｉｔｙ ｃｏｕｎｔｅｒフィールドに、それぞれの副ＴＳを区別するＴＳ識別子を設定してもよい。
【００７４】
ＴＳ分離装置２０において、ＴＳ分離部２１は、取得された多重化ストリームから、ヘッダのＰＩＤフィールドに値０ｘ１ＦＦＦを持つパケットのうち、ペイロードの全てのデータが均一値（例えば全てのビットが０か１かに揃っている）ではないパケットを抽出することによって、多重化ストリームからヌル化ＴＳを分離する。
【００７５】
ＴＳ復元部２２は、ＴＳ分離装置２０で抽出されたパケットのペイロードに設定されているデータを、パケットの大きさごとにつなぎ合わせることで、副ＴＳを復元する。
【００７６】
この構成によれば、副ＴＳをパケットごとに分割する場合と異なり、ヌル化ＴＳに分割の端数による空き領域が生じない。そのため、副ＴＳをより小さなヌル化ＴＳに変換できることはもちろん、ヌル化ＴＳから副ＴＳを復元する際に、空き領域にある無効なデータを除外する必要がなくなるので、処理を簡略化できる（集積回路装置などのハードウェアによる実現では、無効なデータを除外するための選択回路を省略できる）可能性がある。
【００７７】
次に、上記説明した映像ストリームの処理システムを用いて構成される、高画質スロー再生機能を有する映像記録再生システムについて、詳細に説明する。
【００７８】
（実施の形態２）
図６（Ａ）は、本発明の実施の形態２における映像記録再生システム４００の構成の一例を示す機能ブロック図である。
【００７９】
映像記録再生システム４００は、高速撮影により得られた映像ストリームを記録し、記録された映像ストリームを通常再生することで高画質スロー再生を行う映像記録再生システムであり、撮像光学系４０１、映像記録装置１００、映像再生装置２００、および表示装置４０２から構成される。映像ストリームは、記録メディア３００に記録される。
【００８０】
図６（Ｂ）は、ビデオカメラとして実現された場合の映像記録再生システム４００の外観の一例を示す斜視図である。映像記録装置１００、映像再生装置２００、および記録メディア３００は、ビデオカメラの筐体内に配置される。
【００８１】
図７は、映像記録装置１００の構成の一例を示す機能ブロック図である。
映像記録装置１００は、撮像光学系４０１にて３０Ｈｚを超える高速なフレームレートで対象を撮影して得られるフレーム画像のうち、３０Ｈｚのフレームレートに対応するフレーム画像を主映像ストリームで表し、その他のフレーム画像を第１および第２の副映像ストリームで表して多重化ストリームに多重して、記録メディア３００に記録する。
【００８２】
実施の形態２においても、背景技術の項で述べた簡素化した運用規定に従い、主映像ストリームおよび副映像ストリームがＨ．２６４符号化によるＴＳであり、また、多重化ストリームがＭＰＥＧ２−ＴＳに準じた多重化ストリームであるとして説明する。
【００８３】
映像記録装置１００は、撮像処理部１４、符号化部１５、ＴＳヌル化部１１、およびＴＳ多重部１２から構成される。
【００８４】
ここで、撮像処理部１４、符号化部１５、ＴＳヌル化部１１、およびＴＳ多重部１２が、それぞれ本発明の撮像部、符号化部、ストリームヌル化部、およびストリーム多重部の一例である。また、主ＴＳが主映像ストリームの一例であり、第１副ＴＳおよび第２副ＴＳが副映像ストリームの一例である。
【００８５】
撮像処理部１４は、例えば１２０Ｈｚのフレームレートで撮像光学系４０１からフレーム画像を取得し、３０Ｈｚのフレームレートに対応するフレーム画像を表す主映像信号、および他のフレーム画像を表す第１副映像信号ならびに第２副映像信号を出力する。
【００８６】
図８は、撮像光学系４０１から得られる１２０Ｈｚのフレームレートで得られるフレーム画像のうち、撮像処理部１４から出力される主映像信号、第１副映像信号、および第２副映像信号によって表されるフレーム画像を説明する図である。
【００８７】
主映像信号は、撮像光学系４０１から得られるフレームのうち、４フレームごとに１つの主映像フレームの画像を表す。第１副映像信号は、主映像フレームの時間的に中間にある第１副映像フレームの画像を表す。第２副映像信号は、残りの第２副映像フレームの画像を表す。この例では、主映像信号および第１副映像信号は３０Ｈｚのフレームレートの映像を表し、第２副映像信号は６０Ｈｚのフレームレートの映像を表す。
【００８８】
符号化部１５は、主映像信号、第１副映像信号、および第２副映像信号を、それぞれ、主ＴＳ、第１副ＴＳ、および第２副ＴＳに符号化する。
【００８９】
ＴＳヌル化部１１は、第１副ＴＳおよび第２副ＴＳをヌル化ＴＳに変換する。
ＴＳ多重部１２は、主ＴＳ、およびヌル化ＴＳを多重化ストリームに多重し、多重化ストリームを記録メディア３００に記録する。
【００９０】
図９は、映像再生装置２００の構成の一例を示す機能ブロック図である。
映像再生装置２００は、記録メディア３００に記録されている多重化ストリームに多重された主映像ストリーム、第１副映像ストリーム、および第２副映像ストリームによって表される映像を再生する。
【００９１】
映像再生装置２００は、ＴＳ分離部２１、ＴＳ復元部２２、復号化部２３、および映像多重部２４から構成される。
【００９２】
ここで、ＴＳ分離部２１、ＴＳ復元部２２、および復号化部２３が、それぞれ本発明のストリーム分離部、ストリーム復元部、および復号化部の一例である。
【００９３】
ＴＳ分離部２１は、記録メディア３００から多重化ストリームを取得し、取得した多重化ストリームから主ＴＳおよびヌル化ＴＳを分離する。
【００９４】
ＴＳ復元部２２は、ＴＳ分離部２１で分離されたヌル化ＴＳから第１副ＴＳおよび第２副ＴＳを復元する。
【００９５】
復号化部２３は、主ＴＳ、第１副ＴＳ、および第２副ＴＳを、それぞれ主映像信号、第１副映像信号、および第２副映像信号に復号化する。復号化部２３は、与えられるＴＳ選択信号に応じて、主ＴＳ、第１副ＴＳ、および第２副ＴＳの中から選択されるＴＳについてのみ、復号化を行ってもよい。
【００９６】
映像多重部２４は、復号化で得られた主映像信号、第１副映像信号、および第２副映像信号によって表される主映像フレームの画像、第１副映像フレームの画像、および第２副映像フレームの画像を、図８に示される順序で時分割多重し、時分割多重されたフレーム画像を表す映像信号を生成して、表示装置４０２に出力する。
【００９７】
なお、映像記録装置１００および映像再生装置２００は、個別に、または両者を一体として、図示しないＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）がＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｕｎｉｔ）に記録されたプログラムを実行することでソフトウェア機能として実現されてもよく、また集積回路装置などのハードウェアとして実現されてもよい。
【００９８】
特に、符号化部１５、ＴＳヌル化部１１、およびＴＳ多重部１２を統合符号化部１０１とし、ＴＳ分離部２１、ＴＳ復元部２２、および復号化部２３を統合復号化部２０１として、それぞれを個別に、または両者を一体として、集積回路装置で実現することが望ましい。
【００９９】
そのような集積回路装置は、撮像処理部１４からの映像信号のみならず、外部入力から取得される複数の映像信号をも符号化および多重処理し、また分離および復号化できる汎用性を持つと期待される。
【０１００】
次に、このように構成された映像記録装置１００および映像再生装置２００の動作について、フローチャートを参照して説明する。
【０１０１】
図１０（Ａ）および図１０（Ｂ）は、それぞれ映像記録装置１００および映像再生装置２００の動作の一例を示すフローチャートである。
【０１０２】
まず、映像記録装置１００における映像記録処理について説明する。
撮像処理部１４は、撮像光学系４０１から１２０Ｈｚのフレームレートで得られるフレーム画像のうち、３０Ｈｚのフレームレートに対応するフレーム画像を表す主映像信号、および他のフレーム画像を表す第１副映像信号ならびに第２副映像信号を出力する（Ｓ１０１および図８）。
【０１０３】
符号化部１５は、主映像信号、第１副映像信号、および第２副映像信号を、それぞれ、主ＴＳ、第１副ＴＳ、および第２副ＴＳに符号化する（Ｓ１０２）。この符号化は、簡素化した運用規定に則して、Ｈ．２６４符号化として行われる。
【０１０４】
ＴＳヌル化部１１は、第１副ＴＳおよび第２副ＴＳをヌル化ＴＳに変換し（Ｓ１０３）、ＴＳ多重部１２は、主ＴＳとヌル化ＴＳとを多重化ストリームに多重する（Ｓ１０４）。これらの処理は、実施の形態１で詳細に説明した、ＴＳ多重装置１０による処理（図２（Ａ）のＳ１３およびＳ１４）そのものであるため、ここでは説明を繰り返さない。
【０１０５】
ＴＳ多重部１２は、多重化ストリームを出力し、記録メディア３００にて記録する（Ｓ１０５）。
【０１０６】
次に、映像再生装置２００における映像再生処理について説明する。
映像再生装置２００は、記録メディア３００から記録されている多重化ストリームを取得する（Ｓ２０１）。
【０１０７】
ＴＳ分離部２１は、取得された多重化ストリームから、主ＴＳを分離する（Ｓ２０２）とともに、ヌル化ＴＳを分離する（Ｓ２０３）。そして、ＴＳ復元部２２は、ＴＳ分離部２１で分離されたヌル化ＴＳから副ＴＳを復元する（Ｓ２０４）。これらの処理は、実施の形態１で詳細に説明した、ＴＳ分離装置２０による処理（図２（Ｂ）のＳ２２およびＳ２３）そのものであるため、ここでは説明を繰り返さない。
【０１０８】
復号化部２３は、与えられるＴＳ選択信号に応じて、主ＴＳ、第１副ＴＳ、および第２副ＴＳの中から選択されるＴＳを、それぞれ主映像信号、第１副映像信号、および第２副映像信号に復号化する（Ｓ２０５）。この復号化は、簡素化した運用規定に則して、Ｈ．２６４復号化として行われる。
【０１０９】
映像多重部２４は、復号化で得られた映像信号によって表されるフレーム画像を、図８に示される順序で時分割多重して、３０Ｈｚのフレームレートで表示装置４０２に出力する（Ｓ２０６）。
【０１１０】
ここで、復号化部２３が、ＴＳ選択信号に応じて、主ＴＳ、第１副ＴＳ、および第２副ＴＳの全てを復号化する場合は、図８に示される全てのフレーム画像が３０Ｈｚのフレームレートで表示装置４０２に出力されることとなり、撮像時の１２０Ｈｚのフレームレートに対して１／４倍速の高画質スロー再生が行われる。
【０１１１】
また、復号化部２３が、ＴＳ選択信号に応じて、主ＴＳおよび第１副ＴＳを復号化し、第２副ＴＳを復号化しない場合は、図８に示される主映像フレームおよび第１副映像フレームのフレーム画像が３０Ｈｚのフレームレートで表示装置４０２に出力されることとなり、撮像時の１２０Ｈｚのフレームレートに対して１／２倍速の高画質スロー再生が行われる。
【０１１２】
また、復号化部２３が、ＴＳ選択信号に応じて、主ＴＳのみを復号化する場合は、通常再生が行われる。
【０１１３】
このように、ＴＳ選択信号は再生速度を指示する機能を有している。ＴＳ選択信号に応じて、復号化部２３で復号化をするか否かを切り替える以外にも、ＴＳ復元部２２でヌル化ＴＳから副ＴＳを復元するか否かを切り替えるか、またはＴＳ分離部２１で多重化ストリームからヌル化ＴＳを分離するか否かを切り替えても、再生速度を切り替えることができる。
【０１１４】
なお、従来の一般的な映像再生装置では、多重化ストリームに含まれるヌル化ＴＳは、本来のヌルＴＳと区別されないために破棄される。その結果、主ＴＳによって表されるフレーム画像のみが通常速度で再生される。すなわち、この多重化ストリームは、既存のシステムとの互換性も高い。
【０１１５】
また、映像記録装置１００および映像再生装置２００を、同じシーンを異なる複数の視点から見た複数の映像を表すマルチアングル映像や両眼視による立体映像といった複数の映像ストリームで表されるコンテンツの記録および再生に応用することも可能である。
【０１１６】
以上、本発明の映像記録装置、映像再生装置、映像記録再生装置について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものも本発明の範囲内に含まれる。
【産業上の利用可能性】
【０１１７】
本発明の映像記録装置、映像再生装置、映像記録再生装置、方法、およびプログラムは、ビデオカメラ、携帯情報端末など、映像を記録および再生する機器に広く利用できる。
【図面の簡単な説明】
【０１１８】
【図１】実施の形態１における処理システムの構成の一例を示す機能ブロック図
【図２】（Ａ）ＴＳ多重装置の動作の一例を示すフローチャート、（Ｂ）ＴＳ分離装置の動作の一例を示すフローチャート
【図３】副ＴＳからヌル化ＴＳへの変換の一例を示す図
【図４】副ＴＳからヌル化ＴＳへの変換の一例を示す図
【図５】副ＴＳからヌル化ＴＳへの変換の一例を示す図
【図６】（Ａ）実施の形態２における映像記録再生装置の構成の一例を示す機能ブロック図、（Ｂ）映像記録再生装置の外観の一例を示す外観図
【図７】映像記録装置の構成の一例を示す機能ブロック図
【図８】主映像信号、第１副映像信号、および第２副映像信号によって表されるフレーム画像を説明する図
【図９】映像再生装置の構成の一例を示す機能ブロック図
【図１０】（Ａ）映像記録装置の動作の一例を示すフローチャート、（Ｂ）映像再生装置の動作の一例を示すフローチャート
【符号の説明】
【０１１９】
１ 映像ストリームの処理システム
１０ ＴＳ多重装置
１１ ＴＳヌル化部
１２ ＴＳ多重部
１４ 撮像処理部
１５ 符号化部
２０ ＴＳ分離装置
２１ ＴＳ分離部
２２ ＴＳ復元部
２３ 復号化部
２４ 映像多重部
３０ ストレージまたは伝送路
１００ 映像記録装置
１０１ 統合符号化部
２００ 映像再生装置
２０１ 統合復号化部
３００ 記録メディア
４００ 映像記録再生システム
４０１ 撮像光学系
４０２ 表示装置
【特許請求の範囲】
【請求項１】
対象を撮影することによって複数の映像信号を得る撮像部と、
前記複数の映像信号のうち、１つを主映像ストリームに符号化し、他のそれぞれを副映像ストリームに符号化する符号化部と、
前記１つ以上の副映像ストリームをヌルストリームに擬装するストリームヌル化部と、
前記ヌルストリームに擬装された前記１つ以上の副映像ストリームを多重化ストリームに多重して、記録のために出力するストリーム多重部と
を備えることを特徴とする映像記録装置。
【請求項２】
前記ヌルストリームおよび前記各副映像ストリームは、ヘッダとペイロードとからなる複数のパケットで構成され、
前記ストリームヌル化部は、前記１つ以上の副映像ストリームを、ヘッダにヌルストリームを識別する特定のデータを持ち、かつ、ペイロードに前記１つ以上の副映像ストリームのパケットのペイロードのデータを持つ複数のパケットで構成されたヌル化ストリームに変換することにより、ヌルストリームに擬装する
ことを特徴とする請求項１に記載の映像記録装置。
【請求項３】
前記ヌルストリームおよび前記各副映像ストリームは、ヘッダとペイロードとからなる複数のパケットから構成され、
前記ストリームヌル化部は、前記１つ以上の副映像ストリームを、ヘッダにヌルストリームを識別する特定のデータを持ち、かつ、ペイロードに前記１つ以上の副映像ストリームの各パケットをペイロードの大きさに分割して得られる個々のデータを持つ複数のパケットから構成されたヌル化ストリームに変換することにより、ヌルストリームに擬装する
ことを特徴とする請求項１に記載の映像記録装置。
【請求項４】
前記ヌルストリームおよび前記各副映像ストリームは、ヘッダとペイロードとからなる複数のパケットから構成され、
前記ストリームヌル化部は、前記１つ以上の副映像ストリームを、ヘッダにヌルストリームを識別する特定のデータを持ち、かつ、ペイロードに前記各副映像ストリームの全体をペイロードの大きさに分割して得られる個々のデータを持つ複数のパケットから構成されたヌル化ストリームに変換することにより、ヌルストリームに擬装する
ことを特徴とする請求項１に記載の映像記録装置。
【請求項５】
前記ストリームヌル化部は、さらに、前記ヌル化ストリームの各パケットのヘッダに、それぞれの副映像ストリームを区別する値を設定する
ことを特徴とする請求項２ないし請求項４のいずれか１項に記載の映像記録装置。
【請求項６】
主映像ストリームと、保持すべき映像データが規定されていないヌルストリームに擬装された１つ以上の副映像ストリームとが多重されている多重化ストリームから、映像を再生する映像再生装置であって、
前記多重化ストリームから、前記主映像ストリームと、前記１つ以上の副映像ストリームが擬装されたヌルストリームとを分離するストリーム分離部と、
前記分離されたヌルストリームから前記１つ以上の副映像ストリームを復元するストリーム復元部と、
前記分離された主映像ストリームおよび前記復元された１つ以上の副映像ストリームを、それぞれ主映像信号および１つ以上の副映像信号に復号化するストリーム復号化部と
を備えることを特徴とする映像再生装置。
【請求項７】
前記映像再生装置は、さらに、
復号化により得られた主映像信号および１つ以上の副映像信号で表されるフレーム画像を時分割多重して表す映像信号を出力する映像多重部を備える
ことを特徴とする請求項６に記載の映像再生装置。
【請求項８】
前記ヌルストリームおよび前記各副映像ストリームは、ヘッダとペイロードとからなる複数のパケットから構成され、
前記ストリーム分離部は、前記多重化ストリームから、ヘッダにヌルストリームを識別する特定のデータを持つパケットのうち、ペイロードの全てのデータが均一値ではないか、またはペイロードの先頭のデータがヘッダの先頭に設定されるべき同期用の特定のデータであるパケットを、ヌルストリームに擬装された前記１つ以上の副映像ストリームのパケットとして抽出することにより、前記１つ以上の副映像ストリームが擬装されたヌルストリームを分離する
ことを特徴とする請求項６または請求項７に記載の映像再生装置。
【請求項９】
前記ヌルストリームおよび前記各副映像ストリームは、ヘッダとペイロードとからなる複数のパケットから構成され、
前記ストリーム復元部は、前記分離されたヌルストリームの各パケットのヘッダに、主映像ストリーム以外の有効な映像ストリームを識別する特定のデータを設定するとこにより、前記ヌルストリームから前記１つ以上の副映像ストリームを復元する
ことを特徴とする請求項６または請求項７に記載の映像再生装置。
【請求項１０】
請求項１ないし請求項５のいずれか１項に記載の映像記録装置と、
請求項６ないし請求項９のいずれか１項に記載の映像再生装置と
からなる映像記録再生システム。
【請求項１１】
対象を撮影することによって複数の映像信号を得る撮像ステップと、
前記複数の映像信号のうち、１つを主映像ストリームに符号化し、他のそれぞれを副映像ストリームに符号化する符号化ステップと、
前記１つ以上の副映像ストリームをヌルストリームに擬装するストリームヌル化ステップと、
前記ヌルストリームに擬装された前記１つ以上の副映像ストリームを多重化ストリームに多重して、記録のために出力するストリーム多重ステップと
を含むことを特徴とする映像記録方法。
【請求項１２】
主映像ストリームと、保持すべき映像データが規定されていないヌルストリームに擬装された１つ以上の副映像ストリームとが多重されている多重化ストリームから、映像を再生する映像再生方法であって、
前記多重化ストリームから、前記主映像ストリームと、前記１つ以上の副映像ストリームが擬装されたヌルストリームとを分離するストリーム分離ステップと、
前記分離されたヌルストリームから前記１つ以上の副映像ストリームを復元するストリーム復元ステップと、
前記分離された主映像ストリームおよび前記復元された１つ以上の副映像ストリームを、それぞれ主映像信号および１つ以上の副映像信号に復号化するストリーム復号化ステップと
を含むことを特徴とする映像再生方法。
【請求項１３】
請求項１１に記載の映像記録方法に含まれるステップ、および請求項１２に記載の映像再生方法に含まれるステップの、少なくともいずれか一方をコンピュータに実行させることを特徴とするプログラム。
【請求項１】
対象を撮影することによって複数の映像信号を得る撮像部と、
前記複数の映像信号のうち、１つを主映像ストリームに符号化し、他のそれぞれを副映像ストリームに符号化する符号化部と、
前記１つ以上の副映像ストリームをヌルストリームに擬装するストリームヌル化部と、
前記ヌルストリームに擬装された前記１つ以上の副映像ストリームを多重化ストリームに多重して、記録のために出力するストリーム多重部と
を備えることを特徴とする映像記録装置。
【請求項２】
前記ヌルストリームおよび前記各副映像ストリームは、ヘッダとペイロードとからなる複数のパケットで構成され、
前記ストリームヌル化部は、前記１つ以上の副映像ストリームを、ヘッダにヌルストリームを識別する特定のデータを持ち、かつ、ペイロードに前記１つ以上の副映像ストリームのパケットのペイロードのデータを持つ複数のパケットで構成されたヌル化ストリームに変換することにより、ヌルストリームに擬装する
ことを特徴とする請求項１に記載の映像記録装置。
【請求項３】
前記ヌルストリームおよび前記各副映像ストリームは、ヘッダとペイロードとからなる複数のパケットから構成され、
前記ストリームヌル化部は、前記１つ以上の副映像ストリームを、ヘッダにヌルストリームを識別する特定のデータを持ち、かつ、ペイロードに前記１つ以上の副映像ストリームの各パケットをペイロードの大きさに分割して得られる個々のデータを持つ複数のパケットから構成されたヌル化ストリームに変換することにより、ヌルストリームに擬装する
ことを特徴とする請求項１に記載の映像記録装置。
【請求項４】
前記ヌルストリームおよび前記各副映像ストリームは、ヘッダとペイロードとからなる複数のパケットから構成され、
前記ストリームヌル化部は、前記１つ以上の副映像ストリームを、ヘッダにヌルストリームを識別する特定のデータを持ち、かつ、ペイロードに前記各副映像ストリームの全体をペイロードの大きさに分割して得られる個々のデータを持つ複数のパケットから構成されたヌル化ストリームに変換することにより、ヌルストリームに擬装する
ことを特徴とする請求項１に記載の映像記録装置。
【請求項５】
前記ストリームヌル化部は、さらに、前記ヌル化ストリームの各パケットのヘッダに、それぞれの副映像ストリームを区別する値を設定する
ことを特徴とする請求項２ないし請求項４のいずれか１項に記載の映像記録装置。
【請求項６】
主映像ストリームと、保持すべき映像データが規定されていないヌルストリームに擬装された１つ以上の副映像ストリームとが多重されている多重化ストリームから、映像を再生する映像再生装置であって、
前記多重化ストリームから、前記主映像ストリームと、前記１つ以上の副映像ストリームが擬装されたヌルストリームとを分離するストリーム分離部と、
前記分離されたヌルストリームから前記１つ以上の副映像ストリームを復元するストリーム復元部と、
前記分離された主映像ストリームおよび前記復元された１つ以上の副映像ストリームを、それぞれ主映像信号および１つ以上の副映像信号に復号化するストリーム復号化部と
を備えることを特徴とする映像再生装置。
【請求項７】
前記映像再生装置は、さらに、
復号化により得られた主映像信号および１つ以上の副映像信号で表されるフレーム画像を時分割多重して表す映像信号を出力する映像多重部を備える
ことを特徴とする請求項６に記載の映像再生装置。
【請求項８】
前記ヌルストリームおよび前記各副映像ストリームは、ヘッダとペイロードとからなる複数のパケットから構成され、
前記ストリーム分離部は、前記多重化ストリームから、ヘッダにヌルストリームを識別する特定のデータを持つパケットのうち、ペイロードの全てのデータが均一値ではないか、またはペイロードの先頭のデータがヘッダの先頭に設定されるべき同期用の特定のデータであるパケットを、ヌルストリームに擬装された前記１つ以上の副映像ストリームのパケットとして抽出することにより、前記１つ以上の副映像ストリームが擬装されたヌルストリームを分離する
ことを特徴とする請求項６または請求項７に記載の映像再生装置。
【請求項９】
前記ヌルストリームおよび前記各副映像ストリームは、ヘッダとペイロードとからなる複数のパケットから構成され、
前記ストリーム復元部は、前記分離されたヌルストリームの各パケットのヘッダに、主映像ストリーム以外の有効な映像ストリームを識別する特定のデータを設定するとこにより、前記ヌルストリームから前記１つ以上の副映像ストリームを復元する
ことを特徴とする請求項６または請求項７に記載の映像再生装置。
【請求項１０】
請求項１ないし請求項５のいずれか１項に記載の映像記録装置と、
請求項６ないし請求項９のいずれか１項に記載の映像再生装置と
からなる映像記録再生システム。
【請求項１１】
対象を撮影することによって複数の映像信号を得る撮像ステップと、
前記複数の映像信号のうち、１つを主映像ストリームに符号化し、他のそれぞれを副映像ストリームに符号化する符号化ステップと、
前記１つ以上の副映像ストリームをヌルストリームに擬装するストリームヌル化ステップと、
前記ヌルストリームに擬装された前記１つ以上の副映像ストリームを多重化ストリームに多重して、記録のために出力するストリーム多重ステップと
を含むことを特徴とする映像記録方法。
【請求項１２】
主映像ストリームと、保持すべき映像データが規定されていないヌルストリームに擬装された１つ以上の副映像ストリームとが多重されている多重化ストリームから、映像を再生する映像再生方法であって、
前記多重化ストリームから、前記主映像ストリームと、前記１つ以上の副映像ストリームが擬装されたヌルストリームとを分離するストリーム分離ステップと、
前記分離されたヌルストリームから前記１つ以上の副映像ストリームを復元するストリーム復元ステップと、
前記分離された主映像ストリームおよび前記復元された１つ以上の副映像ストリームを、それぞれ主映像信号および１つ以上の副映像信号に復号化するストリーム復号化ステップと
を含むことを特徴とする映像再生方法。
【請求項１３】
請求項１１に記載の映像記録方法に含まれるステップ、および請求項１２に記載の映像再生方法に含まれるステップの、少なくともいずれか一方をコンピュータに実行させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２００９−１９４７５８（Ｐ２００９−１９４７５８Ａ）
【公開日】平成２１年８月２７日（２００９．８．２７）
【国際特許分類】
【出願番号】特願２００８−３５１４９（Ｐ２００８−３５１４９）
【出願日】平成２０年２月１５日（２００８．２．１５）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２１年８月２７日（２００９．８．２７）
【国際特許分類】
【出願日】平成２０年２月１５日（２００８．２．１５）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]