説明

記録装置、方法、プログラム、及び媒体

【課題】映像の記録装置で記録した記録媒体を再生装置で再生する際のユーザの利便性を向上させる。
【解決手段】映像の記録装置は、映像を撮影して記録する際に、映像データであるAVストリーム201と、AVストリーム201の属性情報を示す第1の管理情報と、撮影開始、停止により生成された複数のAVストリームの再生順序を示す第2の管理情報と、AVストリーム201の特定区間に対する映像の有効性を示す第3の管理情報から構成される管理情報202と、管理情報202の情報を基にAVストリーム201中の重要区間、無効区間の判定をインタラクティブに行うことが可能なプログラムで、無効シーンを省略した再生、任意の再生時間に重要区間を組み合わせたダイジェスト再生をすることが可能なダイジェスト再生モジュールを含むアプリケーション203を記録する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、映像を撮影して記録媒体に記録する記録装置において、ユーザの利便性を向上させた視聴を可能とする記録装置、記録方法および記録プログラムに関する。
【背景技術】
【0002】
従来のビデオカメラの場合、撮影済みの動画の再生方法としては、基本的に記録媒体(テープ、ディスクなど)に記録されている動画を、その撮影順に再生する方法しかない。
また、ユーザが撮影済みの動画について所定の時間で視聴するためには、撮影済みの動画の全貌を把握し、重要な部分を判断し、目的の時間に合わせるために数秒単位に映像を抽出、合成する編集作業が必要であり、非常に多くの手間と時間を要する作業である。
そこで、編集作業を効率的に行う発明として、特許文献1に記載されたものが知られている。動画の撮影時に収録したコンテンツ(映像、音声、データ)の映像に含まれる人物、物体を画像認識し、音声に含まれるキーワードなど音声の認識を行ない、それぞれの認識結果を文字データに変換してメタデータを生成する。そして、このメタデータを利用して、所望のシーンの映像を検索することにより編集作業を効率化するシステムである。
【特許文献1】特開2007−82088号公報
【発明の開示】
【発明が解決しようとする課題】
【0003】
このように、従来の技術では、映像の記録装置で記録された映像は、編集という膨大な過程を得なければ、ユーザが所望する時間の作品として視聴することができない。
本発明では、このような記録装置において、映像の記録後に編集作業をすることなくユーザの所望する条件(任意の時間、不要部分以外のシーン)で映像を再生することを可能とし、ユーザの利便性を向上させることが可能な記録装置、記録方法、記録プログラム、及び媒体を提供することにある。
【課題を解決するための手段】
【0004】
上述した課題を解決するために、第1の発明は、映像を撮影して記録媒体に記録する記録装置において、撮影開始および撮影停止の指示を入力する指示入力部と、記録装置の状態を信号に変換する信号変換部と、指示入力部および信号変換部の情報から映像の重要度を解析する解析部と、ビデオデータおよびオーディオデータを多重化してAVストリームを生成する多重化部と、AVストリームの属性情報を示す第1の管理情報と、指示入力部で入力された指示に係わる撮影開始、停止により生成された複数のAVストリームの再生順序を示す第2の管理情報と、解析部の情報を基にAVストリームの特定区間に対する映像の有効性を示す第3の管理情報とを生成する管理情報生成部と、AVストリームと管理情報に加えて、管理情報の内容を基に、AVストリームについて所定の再生条件によりダイジェスト再生することが可能なアプリケーションを記録媒体に記録する記録部を備えることを特徴とする記録装置である。
また、第2の発明は、映像を撮影して記録媒体に記録する記録方法において、撮影開始および撮影停止の指示を入力する指示入力のステップと、記録装置の状態を信号に変換する信号変換のステップと、指示入力のステップおよび信号変換のステップの情報から映像の重要度を解析する解析のステップと、ビデオデータおよびオーディオデータを多重化してAVストリームを生成する多重化のステップと、AVストリームの属性情報を示す第1の管理情報と、指示入力ステップで入力された指示に係わる撮影開始、停止により生成された複数のAVストリームの再生順序を示す第2の管理情報と、解析のステップの情報を基にAVストリームの特定区間に対する映像の重要度を示す第3の管理情報とを生成する管理情報生成のステップと、AVストリームと管理情報に加えて、管理情報の内容を基に、AVストリームについて所定の再生条件によりダイジェスト再生することが可能なアプリケーションを記録媒体に記録する記録のステップを備えることを特徴とする記録方法である。
また、第3の発明は、AVストリームと、管理情報と、アプリケーションとが記録された記録媒体であって、AVストリームは、映像、音声またはデータのいずれかを含むコンテンツであって、管理情報は、AVストリームを再生制御するための情報であり、また、映像、音声または記録装置の状態をパラメータ格納した情報であり、記録装置は、撮影時に事前に決めてある規則により特徴ある区間を検出し、アプリケーションが解釈することが可能なデータ形式で管理情報に記録し、アプリケーションは、仮想マシン向けプログラミング言語で記述されたプログラムであり、管理情報を基に特徴のある区間をダイジェスト化した再生経路を動的に決定してAVストリームを再生することを特徴としている。アプリケーションは、任意の時間を指定することで、管理情報に記載されたパラメータから重要区間を抽出して、指定した時間で再生する再生手段をさらに備えることが望ましい。アプリケーションは、管理情報に記載されたパラメータから撮影に失敗したと思われる不要区間を省いて再生する再生手段をさらに備えることが望ましい。
【発明の効果】
【0005】
上述したように、ビデオデータおよびオーディオデータを多重化したAVストリームと、AVストリームの属性情報を示す第1の管理情報と、再生方法を示す情報を含む第2の管理情報と、解析部の情報を基に上記AVストリームの特定区間に対する映像の重要度を示す第3の管理情報とからなる管理情報に加えて、管理情報の内容を基にAVストリームについて所定の再生条件によりダイジェスト再生することが可能なアプリケーションを記録媒体に記録することで、ユーザは撮影後に編集をすることなくダイジェスト再生をすることが可能な記録媒体を生成することができる。
【発明を実施するための最良の形態】
【0006】
(実施の形態)
以下、添付された図面を参照して、本発明の望ましい実施形態について詳細に説明する。
先ず始めに、本発明の使用行為についての形態を説明する。図1は、本発明に係る記録媒体の、使用行為についての形態を示す図である。図1において、ビデオカメラ101は、撮影対象102(風景や人やペットなどの動物、車、建造物などの物)を入力映像として、記録媒体103にAVストリームを記録する。AVストリームを記録した記録媒体103は、再生装置104、リモコン105、テレビ103の構成で視聴することができる。このうちリモコン105は、再生(Play)、停止(Stop)を受け付けるキーや、メニュー操作時にあたってのフォーカス移動操作を受け付けるMoveUpキー、MoveDownキー、MoveRightキー、MoveLeftキー、メニュー表示操作を受け付けるPop−upキー、数値入力を受け付けるNumericキーが存在する。本発明において記録媒体103は、データ記録可能なあらゆる媒体を意味し、例えば、光ディスク、フラッシュメモリ、磁気テープなど記録方式に関らず、あらゆる媒体を包括する意味をもつ。以下では、本発明の説明の便宜上、記録媒体を光ディスク(Opticaldisc)、特に、Blu−ray Disc(ブルーレイディスク:登録商標)として説明するが、本発明の技術思想は、他の記録媒体にも同一に適用可能であることは明らかである。以上が本発明に係る使用形態についての説明である。
【0007】
図2は、本発明の記録媒体に記録されたデータの種類を示す図である。図1に示すように、本発明の記録媒体103は、AVストリーム201、管理情報202、アプリケーション203を含む。AVストリーム201は、ビデオデータおよびオーディオデータを多重化したビットストリームで、クリップAVストリームと称される。ここで、クリップAVストリームとは、連続同期再生、すなわち実時間再生が保証された映像のまとまりの単位で、撮影開始、停止により生成される連続したビットストリームの単位のことをいう。一般的な撮影では、撮影開始、停止を繰り返すため、複数のクリップAVストリームが生成される。クリップAVストリームは、所定のファイルシステムによりファイルとして記録媒体に記録される。このファイルを、クリップAVストリームファイル(またはAVストリームファイル)と称する。管理情報202は、クリップAVストリームの属性情報を示す第1の管理情報と、撮影開始、停止により生成された複数のクリップAVストリームの再生順序を示す第2の管理情報と、クリップAVストリームの特定区間に対する映像の有効性を示す第3の管理情報から構成される。
アプリケーション203は、管理情報202の情報を基にAVストリーム201中の重要区間、無効区間の判定をインタラクティブに行うことが可能なプログラムで、無効シーンを省略した再生や、任意の再生時間に重要区間を組み合わせたダイジェスト再生をすることが可能なダイジェスト再生モジュールを含む。かかるアプリケーション203は、CまたはJava(登録商標)のようなプログラム言語で作成され、本発明では、特にxletのようなJava(登録商標)アプリケーションを中心に説明する。Java(登録商標)アプリケーションは、仮想マシンのヒープ領域(ワークメモリとも呼ばれる)にロードされた1つ以上のxletプログラムからなる。このワークメモリにロードされたxletプログラム、及び、データからアプリケーションは構成されることになる。
【0008】
図3は、図2に示した記録媒体103に記録されたデータの構造を説明するための図である。図2に示すように、本発明による記録媒体103に記録されたマルチメディアデータは、4層のレイヤよりなる。最も最下層のレイヤは、クリップAVストリーム301が配置されるレイヤである(便宜上、クリップレイヤと呼ぶ)。その上のレイヤはクリップAVストリーム301に対する再生箇所を指定するための、ムービープレイリスト303(Movie PlayList)と、プレイアイテム304(Play Item)とが配置されるレイヤである(便宜上、プレイリストレイヤと呼ぶ)。さらにその上のレイヤは、ムービープレイリスト303(に対して再生順などを指定するコマンドからなるムービーオブジェクト305(Movie Object)及びインタラクティブな再生をするためのJava(登録商標)プログラムであるBD−J(Blu−ray Disc Java(登録商標))オブジェクト306(BD−J Object)が配置されるレイヤである(便宜上、オブジェクトレイヤと呼ぶ)。最上層のレイヤは、記録媒体103に格納されるタイトルなどを管理するインデックステーブル307が配置される(便宜上、インデックスレイヤと呼ぶ)。
【0009】
クリップレイヤについて説明する。クリップAVストリーム301は、ビデオデータやオーディオデータがMPEG2 TS(トランスポートストリーム)の形式などに多重化されたビットストリームである。クリップAVストリーム301に関する属性情報は、本発明の第1の管理情報であり、クリップ情報302(ClipInformation)としてファイルに記録される。
【0010】
クリップAVストリーム301と、対応するクリップ情報302をひとまとまりのオブジェクトと見なし、クリップ(Clip)と称する。
【0011】
プレイリストレイヤについて説明する。ムービープレイリスト303は、本発明の第2の管理情報であり、再生するAVストリーム301の指定と、指定されたAVストリーム301の再生箇所を指定する再生開始点(IN点)と再生終了点(OUT点)の集まりとから構成される。この再生開始点と再生終了点の情報を一組としたものは、プレイアイテム304(PlayItem)と称される。
ムービープレイリスト303は、プレイアイテム304の集合で構成される。プレイアイテム304は撮影開始から撮影停止までの区間に相当する。プレイリストエクステンション310はムービープレイリスト303の拡張情報を記述する領域で、本発明の第3の管理情報であるAVストリームの特定区間に対する映像の有効性を示す情報が格納されている。
【0012】
オブジェクトレイヤについて説明する。ムービーオブジェクト305は、ナビゲーション命令語プログラムからなり、かかるナビゲーション命令語は、プレイリストの再生を始めるか、またはムービーオブジェクト間の転換あるいはユーザの選好によってプレイリストの再生を管理する。BD−Jオブジェクト306は、Java(登録商標)プログラムによるオブジェクトで、無効シーンを省略した再生や、任意の再生時間に重要区間を組み合わせたダイジェスト再生を実現するためのプログラムであるアプリケーション203が格納されている。
【0013】
インデックスレイヤについて説明する。インデックスレイヤは、インデックステーブル307からなる。インデックステーブル307は、複数のタイトルとメニューとを定義するためのトップレベルのテーブルであって、あらゆるタイトルとメニューの開始位置情報を含んでいるので、タイトル検索やメニューコールのようなユーザ入力を通じて選択されたタイトルやメニューを再生できる。また、記録媒体が再生装置に挿入されたとき、自動的に実行される最初に再生されるタイトルやメニューの開始位置情報も含む。
図4は、本発明による記録媒体103に記録されたファイルのディレクトリ構造を説明するための図である。インデックステーブル307は、index.bdmvという名称のインデックステーブルファイルとして保存され、ナビゲーションデータを含むムービーオブジェクト305は、MovieObject.bdmvという名称のムービーオブジェクトファイルとして記録される。また、動画の再生単位であるプレイリスト303は、PLAYLISTというディレクトリ直下に拡張子mplsが付与されたプレイリストファイル(00000.mpls, 00001.mpls,00002.mpls,,,)として記録され、クリップインフォメーション302は、CLIPINFディレクトリ直下に拡張子clpiが付与されたクリップインフォメーションファイル(01000.clpi,02000.clpi, 03000.clpi,,, )として記録され、クリップAVストリーム301は、STREAMというディレクトリ直下に拡張子m2tsが付与されたクリップAVストリームファイル(01000.m2ts,02000.m2ts,03000. m2ts,,, )として記録される。特に、クリップAVストリームファイルと対応するクリップインフォメーションファイルは、同じ5桁の数字からなった名称を有し、拡張子のみが異なる。そして、BD−Jオブジェクト306は、BDJOディレクトリ直下に拡張子bdjoが付与されたBD−Jオブジェクトファイルとして記録され、実際のプログラムはJARディレクト以下に記録される。
次に、図4で示した各ファイルのうち、本発明に関わりの深いものについて、C言語の記述法に基づき詳細に説明する。図5は、プレイリストファイルの構造を表すシンタクスを示す図である。フィールドTypeIndicatorは、32ビット(4バイト)のデータ長を有し、このファイルがプレイリストファイルであることを示す。フィールドTypeIndicator2は、32ビット(4バイト)のデータ長を有し、このプレイリストファイルのバージョンを示す。フィールドPlayListStartAddressは、32ビットのデータ長を有し、このシンタクス中のブロックblkPlayList()の開始アドレスを示す。フィールドPlayListMarkStartAddressは、32ビットのデータ長を有し、このシンタクス中のブロックblkPlayListMark()の開始アドレスを示す。フィールドExtensionDataStartAddressは、32ビットのデータ長を有し、このシンタクス中のブロックblkExtensionData()の開始アドレスを示す。フィールドExtensionDataStartAddressは、ブロックblkExtensionData()の開始アドレスを、プレイリストファイルの最初のバイトからの相対バイト数を表した値である。相対バイト数は、”0”から開始される。このフィールドExtensionDataStartAddressの値が”0”であれば、このプレイリストファイル内に、ブロックblkExtensionData()が存在しないことを示す。 160ビットのデータ長を有する領域reservedを介してブロックblkAppInfoPlayList()が配される。ブロックblkAppInfoPlayList()は、次のブロックblkPlayList()に記述されるプレイリストのタイプ、再生制限などの情報が記述される。ブロックblkPlayList()は、プレイリストが記述される。ブロックblkPlayListMark()は、チャプタジャンプなどでジャンプされるポイントが記述される。ブロックblkExtensionData()は、所定の拡張データを格納可能とするためのブロックである。
図6は、ブロックblkPlayList()の構造を表すシンタクスを示す図である。フィールドLengthは、32ビットのデータ長を有し、このフィールドLengthの直後からブロックblkPlayList()の最後までのデータ長を示す。フィールドLengthに続けて16ビットのデータ長を有する領域reservedが配され、次にフィールドNumberOfPlayItemsが配される。フィールドNumberOfPlayItemsは、16ビットのデータ長を有し、このブロックblkPlayList()に含まれるプレイアイテムの数を示す。フィールドNumberOfSubPathは、このブロックblkPlayList()に含まれるサブパスの数を示す。 次のforループ文に従い、フィールドNumberOfPlayItemsで示される数だけ、プレイアイテムが記述されるブロックblkPlayItem()が記述される。forループ文に基づくカウント数がブロックblkPlayItem()の識別子PlayItem_idとなる。ブロックblkSubPath()、は、本発明と関連性が薄いので、説明を省略する。
図7は、ブロックblkPlayItem()の構造を表すシンタクスを示す図である。フィールドLengthは、16ビットのデータ長を有し、このフィールドLengthの直後からブロックblkPlayItem()の最後までのデータ長を示す。フィールドClipInformationFileNameは、40ビット(5バイト)のデータ長を有し、このブロックblkPlayItem()が参照するクリップインフォメーションファイルのファイル名が示される。このプレイアイテムにおいて、フィールドClipInformationFileNameで示されるファイル名のクリップインフォメーションファイルが読み出される。フィールドClipCodecIdentifierは、32ビット(4バイト)のデータ長を有し、このブロックblkPlayItem()によるプレイアイテムにおいて用いられるクリップAVストリーム301のコーデック方式を示す。フィールドConnectionCondition、フィールドRefToSTCID、ブロックblkUOMaskTable()、フィールドPlayItemRandomAccessFlag、フィールドStillMode、フィールドStillTimeは、本発明と関連性が薄いので、説明を省略する。ブロックblkSTNTable()は、このブロックblkPlayItem()によるプレイアイテムが管理しているクリップAVストリームの記録媒体上での記録位置の属性などを管理している。
図8は、ブロックblkPlayItem()の構造を表すシンタクスを示す図である。フィールドLengthは、32ビットのデータ長を有し、このフィールドLengthの直後からブロックblkPlayListMark()の最後までのデータ長を示す。フィールドNumberOfPlayListMarksは、16ビットのデータ長を有し、このブロックblkPlayListMark()に含まれるプレイリストマークの数を示す。次のforループ文に従い、フィールドNumberOfPlayListMarksで示される数だけプレイリストマークの情報が記述される。forループ文内において、8ビットのデータ長を有する領域reserveに続けてフィールドMarkTypeが配される。フィールドMarkTypeは、8ビットのデータ長を有し、マークのタイプを示す。プレイリストマークには、エントリマーク(EntryMark)およびリンクポイント(LinkPoint)の2タイプが定義されており、このフィールドMarkTypeにより、何れのタイプであるかが示される。チャプタを定義するためには、エントリマークを用いる。リンクポイントは、本発明の特定区間に対する映像の有効性を示す第3の管理情報が存在することを定義するために使用する。フィールドRefToPlayItemIDは、16ビットのデータ長を有し、マークが打たれるプレイアイテムを参照する識別情報PlayItem_idが記述される。フィールドMarkTimeStampは、32ビットのデータ長を有し、マークが打たれるポイントを示すタイムスタンプが記述される。フィールドEntryESPIDは、16ビットのデータ長を有し、マークによって指し示されるエレメンタリストリームを含んでいるTSパケットのPID(Packet Identification)の値を示す。フィールドDurationは、45kHzのクロックを単位とした計測による、32ビットのデータ長を有する符号無し整数である。このフィールドDurationに格納される値が”0”であれば、このフィールドDurationは、意味を成さない。
図9は、ブロックblkExtensionData()の構造を表すシンタクスを示す図である。フィールドLengthは、32ビットのデータ長を有し、このフィールドLengthの直後からブロックblkExtensionData()の終わりまでのデータ長をバイト数で示す。フィールドDataBlockStartAddressは、32ビットのデータ長を有し、このシンタクス中の、拡張データの本体が格納されるブロックDataBlock()の開始アドレスを、このブロックblkExtensionData()の先頭バイトからの相対バイト数で示す。 24ビットのデータ長を有する領域reservedを介してフィールドNumberOfExtDataEntriesが配される。フィールドNumberOfExtDataEntriesは、8ビットのデータ長を有し、このブロックblkExtensionData()のブロックDataBlock()に格納される拡張データのエントリ数を示す。拡張データのエントリは、拡張データの本体を取得するための情報が格納される。フィールドExtDataTypeは、16ビットのデータ長を有し、このブロックblkExtensionData()に記述される拡張データが記録装置用の拡張データであることを表す。このフィールドExtDataTypeの値は、拡張データを識別する第1の値であり、このブロックblkExtensionData()を含むライセンサ(使用認可者)が割り当てると定義することができる。フィールドExtDataVersionは、拡張データを識別する第2の値であり、この拡張データのバージョン番号を表すものと定義することができる。フィールドExtDataStartAddressは、32ビットのデータ長を有し、このフィールドExtDataStartAddressが含まれる拡張データのエントリ(ブロックext_data_entry())に対応する拡張データの開始アドレスを示す。フィールドExtDataStartAddressは、ブロックblkExtensionData()の先頭バイトからの相対バイト数で、拡張データext_dataの開始アドレスを示す。フィールドExtDataLengthは、32ビットのデータ長を有し、このフィールドExtDataStartAddressが含まれる拡張データのエントリ(ブロックext_data_entries())に対応する拡張データのデータ長を示す。フィールドNumberOfExtDataEntriesで示された個数だけ、拡張データのエントリ(ブロックext_data_entry())が記述されると、それぞれ16ビットのデータ長を有し任意のデータ列からなるフィールドpadding_wordが、2フィールドを組として任意の回数L1だけ繰り返される。その後、拡張データの本体が格納されるブロックDataBlock()が記述される。ブロックDataBlock()は、1以上の拡張データが格納される。それぞれの拡張データext_dataは、上述したフィールドExtDataStartAddressフィールドExtDataLengthに基づき、ブロックDataBlock()から取り出される。
次に、プレイリストファイルに対して定義される拡張データブロックについて説明する。本発明の特定区間に対する映像の有効性を示す第3の管理情報はプレイリストファイルの拡張データブロック内に記述することとする。図10は、プレイリストファイル内のブロックblkExtensionData()におけるブロックDataBlock()(図9)の構造を表すシンタクスを示す図である。この図10の例では、ブロックDataBlock()がブロックblkPlayListExtensionData()として記述されている。先ず、上述の図9を参照し、プレイリストファイル内のブロックblkExtensionData()において、フィールドExtDataTypeおよびフィールドExtDataVersionがそれぞれ所定の値、例えば上述と同様にそれぞれ値”0x1000”、値”0x0100”とする。ブロックblkPlayListExtensionData()において、フィールドTypeIndicatorは、次に続くデータの種類を示す、ISO646に規定された符号化方式で符号化した4文字からなる所定の文字列が記述される。このフィールドTypeIndicatorに記述される文字列によって、次に続くデータ種類がプレイリストファイルにおける拡張データであることが示される。フィールドTypeIndicatorの次に、32ビット(4バイト)のデータ長を有する領域reservedを介して32ビットのデータ長を有するフィールドPlayListMarkExtStartAddressが配され、その次に、32ビットのデータ長を有するフィールドMakersPrivateDataStartAddressが配される。フィールドPlayListMarkExtStartAddressおよびフィールドMakersPrivateDataStartAddressは、それぞれ、ブロックblkPlayListMarkExt()およびブロックblkMakersPrivateData()の、このブロックblkPlayListExtensionData()先頭を基準とした開始アドレスが示される。フィールドMakersPrivateDataStartAddressの次に、192ビットのデータ長を有する領域reservedを介してブロックblkPlayListMeta()が配される。16ビットのデータ長を有するパディングワードpadding_wordが値N1で示される回数だけ繰り返され、次に、ブロックblkPlayListMarkExt()が配される。さらに、16ビットのデータ長を有するパディングワードpadding_wordが値N2で示される回数だけ繰り返され、次に、ブロックblkMakersPrivateData()が配される。ブロックblkMakersPrivateData()の後ろには、16ビットのデータ長を有するパディングワードpadding_wordが値N3で示される回数だけ繰り返される。
図11は、ブロックblkPlayListMeta()の構造を表すシンタクスを示す図である。フィールドLengthは、32ビットのデータ長を有し、このフィールドLength直後からこのブロックblkPlayListMeta()の終わりまでのデータ長を示す。フィールドLengthの次に、それぞれ16ビットのデータ長を有するフィールドMakerIDおよびフィールドMakerModelCodeが配される。フィールドMakerIDおよびフィールドMakerModelCodeは、このプレイリストファイルを更新したメーカおよび当該メーカの機種を識別する情報がそれぞれ記述される。フィールドMakerModelCodeの次に、32ビットのデータ長を有する領域reservedを介して16ビットのデータ長を有するフィールドRefToMenuThumbnailIndexが配される。このフィールドRefToMenuThumbnailIndexは、このプレイリストファイルにより再生される一連のクリップを代表するサムネイル画像が存在する場合、そのサムネイル画像を特定するサムネイル番号が記述される。次に8ビットのデータ長を有するブロックblkTimeZone()が配され、このプレイリストファイルを更新した際に、装置に設定されているタイムゾーンを示す情報が記述される。さらに56ビットのデータ長を有するフィールドRecordTimeAndDateが配され、このプレイリストファイルを更新した時刻および日付が記述される。フィールドRecordTimeAndDateの次に、8ビットのデータ長を有する領域reservedを介して、それぞれ8ビットのデータ長を有するフィールドPlayListCharacterSetおよびフィールドPlayListNameLengthが配され、さらに続けて、255バイトのデータ長を有するフィールドPlayListNameが配される。これらフィールドPlayListCharacterSet、フィールドPlayListNameLengthおよびフィールドPlayListNameにより、このプレイリストファイルにより示されるプレイリストに付された名前に関する情報が記述される。フィールドPlayListNameの次に、ブロックAdditional_data()が配される。このブロックAdditional_data()は、追加的な情報を格納するために予約された領域であって、32ビットのデータ長を有するフィールドLength2に示される値のバイト数分のデータ長を有する領域が予約される。
【0014】
図12は、プレイリストファイルにおける拡張データブロックblkPlayListExtensionData()内のブロックblkPlayListMarkExt()の構造を表すシンタクスを示す図である。フィールドLengthは、32ビットのデータ長を有し、このフィールドLengthの直後からブロックblkPlayListMarkExt()の最後までのデータ長を示す。フィールドNumberOfPlayListMarksは、16ビットのデータ長を有し、このブロックblkPlayListMarkExt()に含まれるblkMarkExtension()の数を示す。次のforループ文に従い、フィールドNumberOfPlayListMarksで示される数だけblkMarkExtension()の情報が記述される。フィールドMakerIDおよびフィールドMakerModelCodeは、それぞれ16ビットのデータ長を有し、メーカの識別情報および当該メーカによる機種の識別情報が記述される。フィールドMakerModelCodeの次に、29ビットのデータ長を有する領域reservedを介して16ビットのデータ長を有するフィールドPulldownが配される。フィールドPulldown、フィールドMarkWriteProtectFlagは、本発明と関連性が薄いので、説明を省略する。フィールドRefToMenuThumbnailIndexは、このMarkExtensionを代表するサムネイル画像が存在する場合、そのサムネイル画像を特定するサムネイル番号が記述される。次に8ビットのデータ長を有するブロックblkTimeZone()が配され、このプレイリストファイルを更新した際に、装置に設定されているタイムゾーンを示す情報が記述される。さらに56ビットのデータ長を有するフィールドRecordTimeAndDateが配され、このプレイリストファイルを更新した時刻および日付が記述される。フィールドRecordTimeAndDateの次に、8ビットのデータ長を有する領域reservedを介して、それぞれ8ビットのデータ長を有するフィールドMarkCharacterSetおよびフィールドMarkNameLengthが配され、さらに続けて、24バイトのデータ長を有するフィールドMarkNameが配される。これらフィールドMarkCharacterSet、フィールドMarkNameLengthおよびフィールドMarkNameにより、MarkExtensionに付された名前に関する情報が記述される。フィールドMarkNameの次に、128バイトのデータ長を有するフィールドMakersInfomationが配される。フィールドMakersInfomationはメーカが自由に記述することが可能なフィールドで、本発明の特定区間に対する映像の有効性を示す第3の管理情報は、フィールドMakersInfomationに記述することとする。フィールドMakersInfomationの次に32バイトのデータ長を有するフィールドblkTimeCodeが配される。フィールドblkTimeCodeはこのMarkExtensionに関連したPlayListMarkが参照している映像のタイムコードが記述される。
【0015】
図13は、プレイリストファイルにおけるブロックblkMakersPrivateData()の構造を表すシンタクスを示す図である。ブロックblkMakersPrivateData()は、このプレイリストファイルに関して、メーカ独自の情報が記述されるブロックである。フィールドLengthは、32ビットのデータ長を有し、このフィールドLength直後からこのブロックblkMakersPrivateData()の終わりまでのデータ長を示す。フィールドDataBlockStartAddressは、32ビットのデータ長を有し、このシンタクス中の、メーカ独自情報本体が格納されるブロックDataBlock()の開始アドレスを、このブロックblkMakersPrivateData()の先頭バイトからの相対バイト数で示す。24ビットのデータ長を有する領域reservedを介して、8ビットのデータ長を有するフィールドNumberOfMakerEntriesが配される。次のfor文に従い、フィールドNumberOfMakerEntriesで示される個数だけ拡張データのエントリ、すなわち、フィールドMakerID、フィールドMakerModelCode、フィールドMpdStartAddressおよびフィールドMpdLengthが記述される。フィールドMakerIDおよびフィールドMakerModelCodeは、それぞれ16ビットのデータ長を有し、メーカの識別情報および当該メーカによる機種の識別情報が記述される。また、フィールドMpdStartAddressおよびフィールドMpdLengthは、それぞれ32ビットのデータ長を有し、拡張データの本体が格納されるブロックDataBlock()の、このブロックblkExtensionData()の先頭バイトからの相対バイト数による開始アドレスと、データ長とを示す。フィールドNumberOfMakerEntriesで示される個数だけ拡張データのエントリが記述されると、それぞれ16ビットのデータ長を有し任意のデータ列からなるフィールドpadding_wordが、2フィールドを組として任意の回数L1だけ繰り返される。その後、拡張データの本体が格納されるブロックDataBlock()が記述される。ブロックDataBlock()は、1以上の拡張データext_dataが格納される。すなわち、フィールドMakerIDおよびフィールドMakerModelCodeで示されるメーカおよび機種毎に、メーカ独自の拡張データがブロックDataBlock()に格納される。それぞれの拡張データは、上述したフィールドMpdStartAddressおよびフィールドMpdLengthに基づき、ブロックDataBlock()から取り出される。
【0016】
図14は、本発明の記録装置の構成を概略的に示す図である。指示入力部1401はユーザから撮影開始および撮影停止の指示を受けると、その情報を解析部1402に送信する。信号変換部1403は、パン、ズーム、手ぶれ、ピンボケなどの機器情報およびセンサーから受信した情報(たとえば地面の撮影)を解析部1402に送信する。解析部1402は、所定のアルゴリズムにより、映像の有効性、無効性を判定し、重要度を表す値を算出する。重要度を算出するアルゴリズムとしては、たとえばWO2008/032739にて開示されている方法がある。ビデオエンコーダ1404は、ビデオカメラに入力される映像を所定の圧縮符号化方式、例えばH.264|AVCにより圧縮符号化する。ビデオエンコーダ1404 で圧縮符号化されたビデオデータは、H.264|AVCのエレメンタリストリーム(ES)として多重化部1406に供給される。ここで、映像の圧縮符号化方式は、H.264|AVCに限られるものではない。オーディオエンコーダ1405は、ビデオカメラに入力される音声を所定の圧縮符号化方式、例えばAC3により圧縮符号化する。オーディオデータの圧縮符号化方式は、AC3に限られるものではない。オーディオデータを圧縮符号化せず、ベースバンドのデータのまま用いることも考えられる。圧縮符号化されたオーディオデータは、多重化部1406に供給される。多重化部1406は、それぞれ圧縮符号化されて供給されたビデオデータおよびオーディオデータを所定の方式で多重化し、1本のAVストリームとして記録部1407に供給する。管理情報生成部1408は、解析部1402および多重化部1406から供給された情報を基に、上述したインデックスファイル、ムービーオブジェクトファイル、BD−Jオブジェクトファイル、プレイリストファイルおよびクリップインフォメーションファイルに格納するための情報を生成する。アプリケーションモジュール1409は、所定の再生条件によりダイジェスト再生を実行するJAVA(登録商標)の実行モジュールで記録部1407に供給される。記録部1407は、多重化部1406、管理情報生成部1408、アプリケーションモジュール1409からのデータをインデックスファイル、ムービーオブジェクトファイル、BD−Jオブジェクトファイル、プレイリストファイルおよびクリップインフォメーションファイルとして記録媒体103に対する記録を制御する。
図15は、本発明の管理情報とAVストリームのデータ構造を示す図である。プレイリストファイルは本発明の第2の管理情報が記述されており、図15のプレイリストには3個のプレイアイテムの再生順序が定義されている。プレイアイテムのそれぞれは、クリップインフォメーションファイルを参照する。クリップインフォメーションファイルは本発明の第1の管理情報であり、クリップの実体であるクリップAVストリームファイルと1対1の関係にある。プレイリストファイルに対して記録開始位置には、エントリマークが設けられる。図15では、3回記録を実施したことがわかる。また、図15には5個のリンクポイントが設けられている。リンクポイント及び拡張情報は本発明の第3の管理情報である。すなわち、このプレイリストには、5個の重要度情報が含まれており、リンクポイントに対応するプレイリストファイルの拡張データブロックの情報には、それぞれの区間と区間の重要度の情報が記録されている。
図16は、プレイリストファイルにおけるブロックblkPlayListMarkExt()のMakersInformationに定義した本発明の第3の管理情報の構造を表すシンタクスを示す図である。フィールドTypeは8ビットのデータ長を有し、情報の種類を示す値である。フィールドScoreは8ビットのデータ長を有し、本情報示す区間の重要度を示す値である。フィールドINTime、フィールドOUTTimeは区間の開始点と終了点で、それぞれ45kHzのクロックを単位とした計測による、32ビットのデータ長を有する符号無し整数である。
これら第3の管理情報は、アプリケーションモジュール内のプログラムから参照することが可能であり。プログラムが解釈可能なフォーマットとして上記領域に記録する。
以下では、本発明によって、前述したように生成した記録媒体を利用して動画を再生する再生装置について詳細に説明する。図17は、本発明の再生装置のブロック図である。
読み取り部1701は記録媒体103より図4で説明したファイルの読み込みを行う。
UOコントローラ1702は、リモコンや再生装置のフロントパネルに対してなされたユーザ操作を検出して、ユーザ操作を示す情報(以降UO(User Operation)という)をモジュールマネージャ1703に出力する。モジュールマネージャ1703は、初期実行及びUOあるいはナビゲーションの変更により生じたタイトル変更を処理するようにナビゲーションエンジン1704を制御する。ナビゲーションエンジン1704は、管理情報202の内容によってプレゼンテーションエンジン1705により動画の再生を制御する。プレゼンテーションエンジン1705はAVストリーム210をデコードして画面に出力する。
プログラムエンジン1706は読み取り部1701よりロードしたアプリケーション203を実行する。アプリケーション203は、規定のAPIによりプレゼンテーションエンジン1705及びナビゲーション1704を制御することができる。また、プログラムエンジン1706はモジュールマネージャ1703により制御され、ユーザの操作内容により、ダイジェスト区間のみの再生、任意の時間を指定した再生、撮影に失敗した区間以外の再生など、再生経路をインタラクティブに指定した再生を行うことができる。ユーザの操作画面は、プログラムエンジン1706により出力され、ブレンダ1710によりオーバーレイされて一つの画面として出力される。
【産業上の利用可能性】
【0017】
本発明に係る記録媒体は、撮影した映像を手軽に扱うことを可能にし、より付加価値が高い映像の記録装置を市場に供給することができる。故に本発明に係る記録媒体、記録装置は民生機器産業において高い利用可能性をもつ。
【図面の簡単な説明】
【0018】
【図1】本発明に係る記録媒体の、使用行為についての形態を示す図
【図2】本発明の記録媒体に記録されたデータの種類を示す図
【図3】図2に示した記録媒体103に記録されたデータの構造を説明するための図
【図4】本発明の記録媒体103に記録されたファイルのディレクトリ構造を説明するための図
【図5】プレイリストファイルの構造を表すシンタクスを示す図
【図6】ブロックblkPlayList()の構造を表すシンタクスを示す図
【図7】ブロックblkPlayItem()の構造を表すシンタクスを示す図
【図8】ブロックblkPlayItem()の構造を表すシンタクスを示す図
【図9】ブロックblkExtensionData()の構造を表すシンタクスを示す図
【図10】プレイリストファイル内のブロックblkExtensionData()におけるブロックDataBlock()(図9)の構造を表すシンタクスを示す図
【図11】ブロックblkPlayListMeta()の構造を表すシンタクスを示す図
【図12】プレイリストファイルにおける拡張データブロックblkPlayListExtensionData()内のブロックblkPlayListMarkExt()の構造を表すシンタクスを示す図
【図13】プレイリストファイルにおけるブロックblkMakersPrivateData()の構造を表すシンタクスを示す図
【図14】本発明の記録装置の構成を概略的に示す図
【図15】本発明の管理情報とAVストリームのデータ構造を示す図
【図16】第3の管理情報の構造を表すシンタクスを示す図
【図17】本発明の再生装置のブロック図
【符号の説明】
【0019】
101 ビデオカメラ
102 撮影対象
103 記録媒体
104 再生装置
105 リモコン
106 テレビ
201 AVストリーム
202 管理情報
203 アプリケーション
301 クリップAVストリーム
302 クリップ情報
303 ムービープレイリスト
304 プレイアイテム
305 ムービーオブジェクト
306 BD−Jオブジェクト
307 インデックステーブル
310 プレイリストエクステンション
1401 指示入力部
1402 解析部
1403 信号変換部
1404 ビデオエンコーダ
1405 オーディオエンコーダ
1406 多重化部
1407 記録部
1408 管理情報生成部
1409 アプリケーションモジュール
1701 読み取り部
1702 UOコントローラ
1703 モジュールマネージャ
1704 ナビゲーションエンジン
1705 プレゼンテーションエンジン
1706 プログラムエンジン
1710 ブレンダ

【特許請求の範囲】
【請求項1】
映像を撮影して記録媒体に記録する記録装置において、
撮影開始および撮影停止の指示を入力する指示入力部と、
記録装置の撮影状態を信号に変換する信号変換部と、
前記指示入力部および前記信号変換部の情報から映像の重要度を解析する解析部と、
ビデオデータおよびオーディオデータを多重化してAVストリームを生成する多重化部と、
前記多重化部で生成されたAVストリームの属性情報を示す第1の管理情報と、前記指示入力部で入力された指示に係わる撮影開始、停止により生成された複数のAVストリームの再生順序を示す第2の管理情報と、前記解析部で解析された情報とを基に該AVストリームの特定区間に対する映像の重要度を示す第3の管理情報とを生成する管理情報生成部と、
前記多重化部で生成されたAVストリームと前記管理情報生成部で生成された管理情報の内容を基に、該AVストリームについて所定の再生条件によりダイジェスト再生することが可能なアプリケーションと、該AVストリームと、該管理情報とを記録媒体に記録する記録部とを
備えることを特徴とする記録装置。
【請求項2】
前記管理情報生成部は、前記指示入力部による撮影開始および撮影停止操作、撮影中のカメラ制御情報と、前記信号変換部による手ぶれ・地面撮り判定または、人物と人物の有無の識別、または、歓声の大きさまたはトーンの変化、のいずれかに関する情報を第3の管理情報として生成することを特徴とする、請求項1に記載の記録装置。
【請求項3】
該所定の再生条件とは、再生時間の指定、もしくは、ハイライト区間のみの指定、もしくは、手ぶれ、地面撮りシーンなどの無効区間を省いた再生区間の指定、もしくは、指定した人物または人物の存在する再生区間の指定、あるいは、これらを組み合わせた再生条件とすることを特徴とする、請求項1に記載の記録装置。
【請求項4】
該アプリケーションとは、複数の再生環境に対応するために、複数の実行モジュール、あるいは仮想マシン向けプログラミング言語で記述されたプログラムからなることを特徴とする、請求項1に記載の記録装置。
【請求項5】
映像を撮影して記録媒体に記録する記録方法において、
撮影開始および撮影停止の指示を入力する指示入力ステップと、
記録装置の撮影状態を信号に変換する信号変換ステップと、
前記指示入力ステップおよび前記信号変換ステップの情報から映像の重要度を解析する解析ステップと、
ビデオデータおよびオーディオデータを多重化してAVストリームを生成する多重化ステップと、
前記多重ステップで生成されたAVストリームの属性情報を示す第1の管理情報と、前記指示入力ステップで入力された指示に係わる撮影開始、停止により生成された複数のAVストリームの再生順序を示す第2の管理情報と、前記解析ステップで解析された情報とを基に該AVストリームの特定区間に対する映像の重要度を示す第3の管理情報とを生成する管理情報生成ステップと、
前記多重化ステップで生成されたAVストリームと前記管理情報生成ステップで生成された管理情報の内容を基に、該AVストリームについて所定の再生条件によりダイジェスト再生することが可能なアプリケーションと、該AVストリームと、該管理情報とを記録媒体に記録する記録ステップと
を有することを特徴とする記録方法。
【請求項6】
請求項5に記載の記録方法を含むプログラム。
【請求項7】
請求項6に記載のプログラムを記録した媒体。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate


【公開番号】特開2010−226278(P2010−226278A)
【公開日】平成22年10月7日(2010.10.7)
【国際特許分類】
【出願番号】特願2009−69470(P2009−69470)
【出願日】平成21年3月23日(2009.3.23)
【出願人】(000005821)パナソニック株式会社 (73,050)
【Fターム(参考)】