マルチメディアコンテンツ編集方法及び編集装置、並びにプログラム
【課題】マルチメディアコンテンツを編集するときに、マルチメディアコンテンツの同期を保ちつつデータサイズを削減する。
【解決手段】同期データＡを編集する編集ステップＳＴ１と、編集済みの同期データＡ´を基に個別コンテンツＢ´中の不要部分を求める個別コンテンツＢ編集定義を計算する個別コンテンツＢ編集定義計算ステップＳＴ２と、個別コンテンツＢ編集定義を基に個別コンテンツＢ´中の不要部分を削除する削除ステップＳＴ３と、個別コンテンツ編集定義Ｂを基に同期データＡ´を修正して同期データＡ´´とする同期データ修正ステップＳＴ４を有する。
【解決手段】同期データＡを編集する編集ステップＳＴ１と、編集済みの同期データＡ´を基に個別コンテンツＢ´中の不要部分を求める個別コンテンツＢ編集定義を計算する個別コンテンツＢ編集定義計算ステップＳＴ２と、個別コンテンツＢ編集定義を基に個別コンテンツＢ´中の不要部分を削除する削除ステップＳＴ３と、個別コンテンツ編集定義Ｂを基に同期データＡ´を修正して同期データＡ´´とする同期データ修正ステップＳＴ４を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マルチメディアコンテンツの編集装置及び編集方法、並びにプログラムに関し、さらに詳しくは、マルチメディアコンテンツの同期を保ちつつデータサイズの削減を可能にしたマルチメディアコンテンツの編集装置及び編集方法、並びにプログラムに関する。
【背景技術】
【０００２】
マルチメディアコンテンツは、動画像、静止画像、音声、及びテキストなどの複数の個別コンテンツが画面内で同期して表示されるように連携して構成されるため、単純に個々の個別コンテンツを再生していくだけではマルチメディアコンテンツとはならない。この連携を可能にするのがＷ３Ｃ（World Wide Web Consortium）が規格化したＳＭＩＬ（Synchronous Multimedia Integration Language）である。ＳＭＩＬは、ＸＭＬ（Extensible Markup Language）を用いて、各個別コンテンツの画面内の表示位置、再生開始時刻、再生時間長等を記述する言語である。
【０００３】
マルチメディアコンテンツの編集では、一般的には、個別コンテンツの編集ではなく、連携を記述したデータを修正する。このように修正したデータを用いて、マルチメディアコンテンツは再生されるが、個別コンテンツそのものは修正されていないため、マルチメディアコンテンツ全体としてのデータサイズは殆ど変化しない。
【０００４】
近年、ビデオ映像は高精細になり、これに伴ってデータサイズも増大している。ビデオ映像を含むマルチメディアコンテンツが大量に蓄積されるシーンを想定すると、このようにデータサイズの圧縮ができない状況は問題となり得る。具体的には、あるマルチメディアコンテンツに含まれるビデオ映像が５時間であり、これを編集した結果、実際に利用されるビデオ映像が30分であった場合、残りの４時間30分のビデオ映像に対応するデータサイズは無駄である。
【０００５】
特許文献１には、マルチメディアコンテンツを編集するときに、不要部分を削除することで、データ容量を削減可能にした装置が開示されているが、この装置にはマルチメディアコンテンツの同期を保証する仕組みがないため、このように不要部分を削除するだけでは、編集対象である２つの動画像データが同期している場合に動画像の同期がずれてしまうことが起こり得る。即ち、例えば動画Ｐの不要部分を削除し、動画Ｑの不要部分を削除する工程の中で、動画Ｑの不要部分の削除を忘れたり、時間を誤って削除したりすると、同期がずれてしまう。
【０００６】
【特許文献１】特許第３６７９４２７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明は、このような問題を解決するためになされたもので、その目的は、マルチメディアコンテンツを編集するときに、マルチメディアコンテンツの同期を保ちつつデータサイズを削減することである。
【課題を解決するための手段】
【０００８】
本発明は、複数種類の個別コンテンツ、及びそれらの再生タイミングを記述した同期データを有するマルチメディアコンテンツを編集する方法であって、同期データを編集する編集ステップと、編集済みの同期データを基に個別コンテンツ中の不要部分を求める個別コンテンツ編集定義計算ステップと、求められた不要部分を削除するステップとを有することを特徴とするマルチメディアコンテンツ編集方法である。
また、本発明は、複数種類の個別コンテンツ、及びそれらの再生タイミングを記述した同期データを有するマルチメディアコンテンツを編集する装置であって、同期データを編集する手段と、編集済みの同期データを基に個別コンテンツ中の不要部分を求める手段と、求められた不要部分を削除する手段とを有することを特徴とするマルチメディアコンテンツ編集装置である。
【０００９】
［作用］
本発明によれば、マルチメディアコンテンツの同期データの編集結果に対応して個別コンテンツ中の不要部分を削除することで、マルチメディアコンテンツの編集及びデータサイズの削減を行う。
【発明の効果】
【００１０】
本発明によれば、マルチメディアコンテンツを編集するときに、マルチメディアコンテンツの同期を保ちつつデータサイズを削減することができる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の実施形態について図面を参照しながら説明する。
［第１の実施形態］
図１は、本発明の第１の実施形態のマルチメディアコンテンツ編集方法の処理の流れを示す図である。
【００１２】
本実施形態のマルチメディアコンテンツ編集方法は、編集ステップＳＴ１と、個別コンテンツ編集定義計算ステップＳＴ２と、削除ステップＳＴ３と、同期データ修正ステップＳＴ４とからなる。
【００１３】
同期データＡ、個別コンテンツＢ、個別コンテンツＣ,Ｄは編集対象である一つのマルチメディアコンテンツ１を示している。図２に同期データＡの記述を示す。個別コンテンツＢはcamera1.rmとして示される動画データ、個別コンテンツＣ,Ｄはppt-p1.jpg, ppt-p2.jpgとして示される静止画データである。図２に示すデータでは、２枚のスライドを用いたプレゼンテーションが、スライドと、それに対応するプレゼンテーションシーンの動画によって記述されている。
【００１４】
図１において、編集ステップＳＴ１では、既に存在するマルチメディアコンテンツの編集を行う。このため、編集ステップＳＴ１の入力は、マルチメディアコンテンツ１全体(同期データＡ、個別コンテンツＢ、個別コンテンツＣ,Ｄである。
【００１５】
編集ステップＳＴ１では、同期データＡのみが編集され、その結果として同期データＡ´が出力され、同期データＡ´、個別コンテンツＢ、個別コンテンツＣ，Ｄからなるマルチメディアコンテンツ３となる。図３に編集された同期データＡ´を示す。この図の同期データＡ´では、編集の結果、２枚目のスライドに対応する動画の先頭10秒（1:10-1:20）が削除されている。
【００１６】
次の個別コンテンツ編集定義計算ステップＳＴ２では、個別コンテンツに着目して個別コンテンツ中の不要な部分を計算する。このために、入力としてマルチメディアコンテンツ３のうちの同期データＡ´を用いる。
【００１７】
図４に個別コンテンツ編集定義計算ステップＳＴ２における不要な時間の計算に関するフローチャートを示す。また、図５に図４のフローチャート中の利用リストＬ作成に関するフローチャート（サブルーチン）を示す。以下、これらのフローチャートに従って説明する。
【００１８】
まず図４のステップＳ１で全てのsrc属性値について計算を行う。図３の同期データを順に処理していくと、最初にsrc属性値として"camera1.rm"が発見されるため、"camera1.rm"なるsrc属性値について処理を行う。
【００１９】
次にステップＳ２で利用リストＬを作成する。
利用リストの作成においては、図５のステップＳ2-1から全てのエレメントの記述についてチェックを始める。改めて図３記載のデータを処理すると、ステップＳ2-2で、最初のエレメントの記述について、そのsrc属性値は"camera1.rm"である。従って、利用リスト格納の処理に入る。
【００２０】
まずステップＳ2-3で、そのエレメントにclip-bigin属性値があるか否かをチェックすると、"0:05"であり、存在する。従って、ステップＳ2-4で、参照開始時間として、0分05秒が格納される。なお、clip-end属性値が存在しない場合は、フローチャート上では0秒とした（ステップＳ2-9）。
【００２１】
次にステップＳ2-5で、そのエレメントにclip-end属性値があるか否かをチェックすると、"1:10"であり、存在する。従って、ステップＳ2-6で、参照終了時間として、1分10秒が格納される。なお、clip-end属性値が存在しない場合は、フローチャート上では9999999秒とした（ステップＳ2-10）。これは、"camera1.rm"などの最も後の参照終了時間よりも後の参照終了時間を示すためであり、実質的には、最後まで再生されるべきことを示す。
【００２２】
参照開始時間と、参照終了時間のペアが得られた時点で、このペアを利用リストに格納する（ステップＳ2-7）。さらに、次にエレメントがあれば、次のエレメントの処理を行う（ステップＳ2-8）。
【００２３】
上述したステップＳ2-1〜Ｓ2-8までの流れによって、src属性値毎の利用リストが作成される。利用リストは、"camera1.rm"については{{0分05秒，1分10秒}，{1分20秒，2分15秒}}であり、処理的には次のsrc属性値の処理に移ってからになるが、"ppt-p1.jpg"及び"ppt-p2.jpg"については{{0秒,9999999秒}}となる。
【００２４】
図４のステップＳ３では、ステップＳ２で作成された利用リストを用いるために、まず利用リストの各ペアを、参照開始時間の順にソートする。"camera1.rm"については、既に参照開始時間の早い順にペアが並んでいるため{{0分05秒，1分10秒}，{1分20秒，2分15秒}}である。
【００２５】
ステップＳ４では、ソートされた利用リストを用いて、最も参照開始時間の早いペアから不要時間計算の処理を行う。最初に{0分05秒，1分10秒}のペアが対象になる。
【００２６】
ステップＳ５では、対象ペアの参照終了時間と、次のペアの参照開始時間を比較する。それぞれ、1分10秒及び1分20秒であるので、比較結果はYes(参照終了時間の方が早い)となり、ステップＳ６に進む。
【００２７】
ステップＳ６では、対象となるsrc属性値について、参照終了時間と次のペアの参照開始時間を不要時間として出力する。この場合、"camera1.rm"について1分10秒〜1分20秒が不要時間として出力される。
【００２８】
ステップＳ７では、次のペアに処理を移す。この場合、次のペアは{1分20秒，2分15秒}である。このペアの場合は、さらに次のペアが存在しないため、仮のペアとして{9999999秒,9999999秒}のペアを設定して処理を行う。また、ここでは説明しないが、最初のペアについても、仮のペアとして{0秒，0秒}なるペアを設定し、処理を実施しても良い。この場合、0分0秒〜0分5秒までの不要時間を検出することができる。
【００２９】
ステップＳ８で、次のsrc属性値に処理を移す。この場合、"ppt-p1.jpg"となる。
【００３０】
以上、フローチャートに従って処理の例を述べた。上述した処理により、個別コンテンツ編集定義計算ステップＳＴ２では、個別コンテンツのうち、不要な時間を計算し、これを個別コンテンツ毎に編集定義として出力する。
【００３１】
削除ステップＳＴ３では、個別コンテンツ編集定義Ｂを用いて、個別コンテンツＢの中の不要な部分を削除し、新たな個別コンテンツＢ´を生成する。コンテンツ中のＴs秒〜Ｔe秒を削除するこの処理は公知であるため、ここでは説明を省略する。
【００３２】
同期データ修正ステップＳＴ４では、個別コンテンツ編集定義Ｂを用いて、同期データＡ´を修正する。図６に、同期データＡ´を修正するための修正値の表を示す。図３から出力される個別コンテンツ編集定義では不要時間が１つなので、修正値は本来１つしかないが、説明のため、この図６ではさらに２つの不要時間があるものとした。
【００３３】
不要時間は[1:10-1:20]，[2:05-2:20]，[3:25-3:30]である。表では、これら不要時間のリストから、不要時間の終わりと、これに対応した累積不要時間(修正値)を計算して示している。同期データ修正ステップＳＴ４では、同期データに記述された対象となる個別コンテンツ(src属性値)に関するclip-begin属性値、clip-end属性値である時間Ｔについて、Ｔを超えない最後の不要時間Ｔiの修正値Ｘiを引いて、これを新しいＴ´とする。
【００３４】
修正された同期データＡ´´を図７に示す。図６において、不要時間"1:20"以降の時間については、修正値10秒が適用されるため、図７では"1:20"が"1:10"に、"2:15"が"2:05"に修正されている。同期データＡ´´、個別コンテンツＢ´、個別コンテンツＣ，Ｄが編集後のマルチメディアコンテンツ５である。
【００３５】
本実施形態のマルチメディアコンテンツ編集方法によれば、マルチメディアコンテンツの同期を保ちつつデータサイズを削減することができる。
【００３６】
［第２の実施形態］
図８は本発明の第２の実施形態のマルチメディアコンテンツ編集方法の個別コンテンツ編集定義計算ステップのフローチャートであり、図９は修正された同期データを示す図である。本実施形態において、個別コンテンツ編集定義計算ステップのフロー以外は第１の実施形態と同じである。
【００３７】
図８において、ステップＳ９以外は図４（第１の実施形態）と同じである。そのステップＳ９では、ステップＳ５で「次のペアの参照開始時間TSi+1よりもそのペアの参照終了時間TEiが早い」場合に得られる[TEi〜TSi+1]は、非再生部分である。第１の実施形態では、これをそのまま不要部分としたが、本実施形態では[TEi+1(sec)〜TSi+1-1(sec)]を不要時間として計算している。この結果、図３に示されている同期データから、"camera1.rm"に関する不要時間[1:11-1:19]が抽出され、削除される。この結果、"camera1.rm"に関する参照開始時間、参照終了開始時間は図９に示すように、[1:12-2:07]となる。
【００３８】
単純に個別コンテンツの非再生部分を削除しただけでは、キーフレームの問題によって、動画映像の結合部分で映像が止まったりすることがあるが、本実施形態はこれに対応することが可能である。具体的には、問題が生じる時間を、マルチメディアコンテンツとしては利用しない部分に設定することによって、問題をなくすことができる。
【００３９】
例えば0.5秒など、１秒未満の時間間隔で挿入されているキーフレームがTSi+1の0.2秒前に存在する場合、第１の実施形態の場合は、TSi+1から0.3秒間は、再生のためのキーフレームがない状態となるため、結合された動画映像が停止したり、画像がおかしくなったりする。一方、本実施形態では、非再生部分は前後１秒ずつ短めに削除されるため、TSi+1の0.2秒前のキーフレームは削除されずに残ることになり、動画映像が停止したり、画像がおかしくなったりすることはない。
【００４０】
［第３の実施形態］
図１０は、本発明の第３の実施形態のマルチメディアコンテンツ編集方法の処理の流れを示す図である。
【００４１】
本実施形態のマルチメディアコンテンツ編集方法は、編集可能化ステップＳＴ１１と、編集ステップＳＴ１２と、個別コンテンツ編集定義計算ステップＳＴ１３と、同期データ修正ステップＳＴ１４と、復元ステップＳＴ１５とを有する。
【００４２】
個別コンテンツＢは、編集ステップＳＴ１２が対応していない映像データ形式を持っている。即ち例えば図１１に示すように、映像データ形式がm4v形式である。このように編集ステップＳＴ１２が個別コンテンツＢの映像形式に対応していない場合、編集ステップＳＴ１２では、映像を確認しながら編集することができない。
【００４３】
そこで、まず、編集可能化ステップＳＴ１１では、個別コンテンツＢから、変換ツール１０１を経由して個別コンテンツＢ´が作成されることを前提に同期データの修正を行う。ここで、編集ステップＳＴ１２はrm形式には対応しているので、個別コンテンツＢ´は"camera1.rm"、同期データは図３に示すものとした。
【００４４】
個別コンテンツ編集定義計算ステップＳＴ１３、同期データ修正ステップＳＴ１４では、それぞれ第１の実施形態の個別コンテンツ編集定義計算ステップＳＴ２、同期データ修正ステップＳＴ３と同様な処理を行う。
【００４５】
復元ステップＳＴ１５では、再び個別コンテンツＢ´の映像データ形式に関する記述を修正する。具体的には"camera1.rm"と書かれた部分を"camera1.m4v"と修正する。これによりcamera1.m4vが修正されていれば、全体として整合したマルチメディアコンテンツを得ることができる。
【００４６】
camera1.m4vについては、オリジナルのcamera1.m4vと個別コンテンツＢ´の編集定義８からcamera1.m4vの再レンダリング１０２を実行し、個別コンテンツＢ´´とする。これは編集ステップとは独立であるため、映像が見えている必要はないので、一般的なツールを用いることができる。同期データＡ´´´、個別コンテンツＢ´´、個別コンテンツＣ，Ｄが編集後のマルチメディアコンテンツ６である。
【００４７】
本実施形態によれば、編集機能が対応していない映像データを持つマルチメディアコンテンツについて、映像データを一旦、編集機能が対応する形式に変換して編集を行い、その結果を本来の映像データに反映させることによって、編集機能が対応していない映像データを持つマルチメディアコンテンツについても、データサイズ削減が可能となる。特に、新しい形式の映像データは高精細であり、大容量であり、編集機能にも負荷がかかる、あるいは対応していないことが多いため、この効果は大きい。
【００４８】
以上説明した各施形態のマルチメディアコンテンツ編集方法は、図１２に示すような一般的なＰＣ（パーソナルコンピュータ）システム２０によって実行することができる。ＰＣシステム２０においては、各種演算を行うとともに各部を集中的に制御するＣＰＵ２１と、各種のＲＯＭ、ＲＡＭからなるメモリ２３とがバス３０により接続されている。また、バス３０には、所定のＩ／Ｆ（インタフェース）を介して、ハードディスクなどの記憶装置２７と、入力装置であるマウス２４及びキーボード２２と、ＬＣＤ等の表示装置２８とが接続される。さらにバス３０には、光ディスクなどの記憶媒体３１を読み取る記憶媒体読取装置２５と、インターネットなどのネットワーク３２を介して通信を行う所定の通信Ｉ／Ｆ２６が接続され、さらにカメラや他の外部機器等との間でデータを入出力するための各種Ｉ／Ｆ２９も接続される。
【００４９】
記憶装置２７には、本実施形態のマルチメディアコンテンツ編集を実行するためのプログラムが記憶される。このプログラムは、記憶媒体３１から記憶媒体読取装置２５により読み取るか、或いはネットワーク３２からダウンロードして、記憶装置２７にインストールしたものである。このインストールによりＰＣシステム２０はマルチメディアコンテンツの編集を実現できる状態となる。記憶装置２７は各種データ（同期データ、個別コンテンツ、個別コンテンツ編集定義）を蓄積するためにも用いられる。
【００５０】
上記のプログラムが、マルチメディアコンテンツの編集を実行するときに取り扱う情報は、一時的にメモリ２３のＲＡＭに蓄積され、その後、記憶装置２７に格納され、必要に応じてＣＰＵ２１によって読み出され、修正・書き込みが行われる。即ちＣＰＵ２１がプログラムに基づいて動作することにより、本実施形態のコンテンツ生成装置が有する各手段の機能を実現する。
【００５１】
なお、プログラムを格納する記憶媒体としては、半導体媒体（例えば、ＲＯＭ，不揮発性メモリカード等）、光記録媒体（例えば、ＤＶＤ，ＭＯ，ＭＤ，ＣＤ等）、磁気記録媒体（磁気テープ，フレキシブルディスク等）等のいずれでもよい。
【図面の簡単な説明】
【００５２】
【図１】本発明の第１の実施形態のマルチメディアコンテンツ編集方法の処理の流れを示す図である。
【図２】図１の同期データの記述を示す図である。
【図３】編集された同期データを示す図である。
【図４】図１の個別コンテンツ編集定義計算ステップにおける不要な時間の計算に関するフローチャートである。
【図５】図４のフローチャート中の利用リストＬ作成に関するフローチャートである。
【図６】同期データを修正するための修正値を示す図である。
【図７】修正された同期データを示す図である。
【図８】本発明の第２の実施形態のマルチメディアコンテンツ編集方法の個別コンテンツ編集定義計算ステップのフローチャートである。
【図９】本発明の第２の実施形態における修正された同期データを示す図である。
【図１０】本発明の第３の実施形態のマルチメディアコンテンツ編集方法の処理の流れを示す図である。
【図１１】本発明の第３の実施形態における同期データを示す図である。
【図１２】本発明の実施形態のマルチメディアコンテンツ編集方法を実行可能なＰＣシステムを示す図である。
【符号の説明】
【００５３】
１，２，３，５，６・・・マルチメディアコンテンツ、７・・・個別コンテンツ編集定義、２０・・・ＰＣシステム、２１・・・ＣＰＵ、２３・・・メモリ、２７・・・記憶装置、ＳＴ１，ＳＴ１２・・・編集ステップ、ＳＴ２，ＳＴ１３・・・個別コンテンツ編集定義計算ステップ、ＳＴ３・・・削除ステップ、ＳＴ４，ＳＴ１４・・・同期データ修正ステップ、ＳＴ１１・・・編集可能化ステップ、ＳＴ１５・・・復元ステップ。
【技術分野】
【０００１】
本発明は、マルチメディアコンテンツの編集装置及び編集方法、並びにプログラムに関し、さらに詳しくは、マルチメディアコンテンツの同期を保ちつつデータサイズの削減を可能にしたマルチメディアコンテンツの編集装置及び編集方法、並びにプログラムに関する。
【背景技術】
【０００２】
マルチメディアコンテンツは、動画像、静止画像、音声、及びテキストなどの複数の個別コンテンツが画面内で同期して表示されるように連携して構成されるため、単純に個々の個別コンテンツを再生していくだけではマルチメディアコンテンツとはならない。この連携を可能にするのがＷ３Ｃ（World Wide Web Consortium）が規格化したＳＭＩＬ（Synchronous Multimedia Integration Language）である。ＳＭＩＬは、ＸＭＬ（Extensible Markup Language）を用いて、各個別コンテンツの画面内の表示位置、再生開始時刻、再生時間長等を記述する言語である。
【０００３】
マルチメディアコンテンツの編集では、一般的には、個別コンテンツの編集ではなく、連携を記述したデータを修正する。このように修正したデータを用いて、マルチメディアコンテンツは再生されるが、個別コンテンツそのものは修正されていないため、マルチメディアコンテンツ全体としてのデータサイズは殆ど変化しない。
【０００４】
近年、ビデオ映像は高精細になり、これに伴ってデータサイズも増大している。ビデオ映像を含むマルチメディアコンテンツが大量に蓄積されるシーンを想定すると、このようにデータサイズの圧縮ができない状況は問題となり得る。具体的には、あるマルチメディアコンテンツに含まれるビデオ映像が５時間であり、これを編集した結果、実際に利用されるビデオ映像が30分であった場合、残りの４時間30分のビデオ映像に対応するデータサイズは無駄である。
【０００５】
特許文献１には、マルチメディアコンテンツを編集するときに、不要部分を削除することで、データ容量を削減可能にした装置が開示されているが、この装置にはマルチメディアコンテンツの同期を保証する仕組みがないため、このように不要部分を削除するだけでは、編集対象である２つの動画像データが同期している場合に動画像の同期がずれてしまうことが起こり得る。即ち、例えば動画Ｐの不要部分を削除し、動画Ｑの不要部分を削除する工程の中で、動画Ｑの不要部分の削除を忘れたり、時間を誤って削除したりすると、同期がずれてしまう。
【０００６】
【特許文献１】特許第３６７９４２７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明は、このような問題を解決するためになされたもので、その目的は、マルチメディアコンテンツを編集するときに、マルチメディアコンテンツの同期を保ちつつデータサイズを削減することである。
【課題を解決するための手段】
【０００８】
本発明は、複数種類の個別コンテンツ、及びそれらの再生タイミングを記述した同期データを有するマルチメディアコンテンツを編集する方法であって、同期データを編集する編集ステップと、編集済みの同期データを基に個別コンテンツ中の不要部分を求める個別コンテンツ編集定義計算ステップと、求められた不要部分を削除するステップとを有することを特徴とするマルチメディアコンテンツ編集方法である。
また、本発明は、複数種類の個別コンテンツ、及びそれらの再生タイミングを記述した同期データを有するマルチメディアコンテンツを編集する装置であって、同期データを編集する手段と、編集済みの同期データを基に個別コンテンツ中の不要部分を求める手段と、求められた不要部分を削除する手段とを有することを特徴とするマルチメディアコンテンツ編集装置である。
【０００９】
［作用］
本発明によれば、マルチメディアコンテンツの同期データの編集結果に対応して個別コンテンツ中の不要部分を削除することで、マルチメディアコンテンツの編集及びデータサイズの削減を行う。
【発明の効果】
【００１０】
本発明によれば、マルチメディアコンテンツを編集するときに、マルチメディアコンテンツの同期を保ちつつデータサイズを削減することができる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の実施形態について図面を参照しながら説明する。
［第１の実施形態］
図１は、本発明の第１の実施形態のマルチメディアコンテンツ編集方法の処理の流れを示す図である。
【００１２】
本実施形態のマルチメディアコンテンツ編集方法は、編集ステップＳＴ１と、個別コンテンツ編集定義計算ステップＳＴ２と、削除ステップＳＴ３と、同期データ修正ステップＳＴ４とからなる。
【００１３】
同期データＡ、個別コンテンツＢ、個別コンテンツＣ,Ｄは編集対象である一つのマルチメディアコンテンツ１を示している。図２に同期データＡの記述を示す。個別コンテンツＢはcamera1.rmとして示される動画データ、個別コンテンツＣ,Ｄはppt-p1.jpg, ppt-p2.jpgとして示される静止画データである。図２に示すデータでは、２枚のスライドを用いたプレゼンテーションが、スライドと、それに対応するプレゼンテーションシーンの動画によって記述されている。
【００１４】
図１において、編集ステップＳＴ１では、既に存在するマルチメディアコンテンツの編集を行う。このため、編集ステップＳＴ１の入力は、マルチメディアコンテンツ１全体(同期データＡ、個別コンテンツＢ、個別コンテンツＣ,Ｄである。
【００１５】
編集ステップＳＴ１では、同期データＡのみが編集され、その結果として同期データＡ´が出力され、同期データＡ´、個別コンテンツＢ、個別コンテンツＣ，Ｄからなるマルチメディアコンテンツ３となる。図３に編集された同期データＡ´を示す。この図の同期データＡ´では、編集の結果、２枚目のスライドに対応する動画の先頭10秒（1:10-1:20）が削除されている。
【００１６】
次の個別コンテンツ編集定義計算ステップＳＴ２では、個別コンテンツに着目して個別コンテンツ中の不要な部分を計算する。このために、入力としてマルチメディアコンテンツ３のうちの同期データＡ´を用いる。
【００１７】
図４に個別コンテンツ編集定義計算ステップＳＴ２における不要な時間の計算に関するフローチャートを示す。また、図５に図４のフローチャート中の利用リストＬ作成に関するフローチャート（サブルーチン）を示す。以下、これらのフローチャートに従って説明する。
【００１８】
まず図４のステップＳ１で全てのsrc属性値について計算を行う。図３の同期データを順に処理していくと、最初にsrc属性値として"camera1.rm"が発見されるため、"camera1.rm"なるsrc属性値について処理を行う。
【００１９】
次にステップＳ２で利用リストＬを作成する。
利用リストの作成においては、図５のステップＳ2-1から全てのエレメントの記述についてチェックを始める。改めて図３記載のデータを処理すると、ステップＳ2-2で、最初のエレメントの記述について、そのsrc属性値は"camera1.rm"である。従って、利用リスト格納の処理に入る。
【００２０】
まずステップＳ2-3で、そのエレメントにclip-bigin属性値があるか否かをチェックすると、"0:05"であり、存在する。従って、ステップＳ2-4で、参照開始時間として、0分05秒が格納される。なお、clip-end属性値が存在しない場合は、フローチャート上では0秒とした（ステップＳ2-9）。
【００２１】
次にステップＳ2-5で、そのエレメントにclip-end属性値があるか否かをチェックすると、"1:10"であり、存在する。従って、ステップＳ2-6で、参照終了時間として、1分10秒が格納される。なお、clip-end属性値が存在しない場合は、フローチャート上では9999999秒とした（ステップＳ2-10）。これは、"camera1.rm"などの最も後の参照終了時間よりも後の参照終了時間を示すためであり、実質的には、最後まで再生されるべきことを示す。
【００２２】
参照開始時間と、参照終了時間のペアが得られた時点で、このペアを利用リストに格納する（ステップＳ2-7）。さらに、次にエレメントがあれば、次のエレメントの処理を行う（ステップＳ2-8）。
【００２３】
上述したステップＳ2-1〜Ｓ2-8までの流れによって、src属性値毎の利用リストが作成される。利用リストは、"camera1.rm"については{{0分05秒，1分10秒}，{1分20秒，2分15秒}}であり、処理的には次のsrc属性値の処理に移ってからになるが、"ppt-p1.jpg"及び"ppt-p2.jpg"については{{0秒,9999999秒}}となる。
【００２４】
図４のステップＳ３では、ステップＳ２で作成された利用リストを用いるために、まず利用リストの各ペアを、参照開始時間の順にソートする。"camera1.rm"については、既に参照開始時間の早い順にペアが並んでいるため{{0分05秒，1分10秒}，{1分20秒，2分15秒}}である。
【００２５】
ステップＳ４では、ソートされた利用リストを用いて、最も参照開始時間の早いペアから不要時間計算の処理を行う。最初に{0分05秒，1分10秒}のペアが対象になる。
【００２６】
ステップＳ５では、対象ペアの参照終了時間と、次のペアの参照開始時間を比較する。それぞれ、1分10秒及び1分20秒であるので、比較結果はYes(参照終了時間の方が早い)となり、ステップＳ６に進む。
【００２７】
ステップＳ６では、対象となるsrc属性値について、参照終了時間と次のペアの参照開始時間を不要時間として出力する。この場合、"camera1.rm"について1分10秒〜1分20秒が不要時間として出力される。
【００２８】
ステップＳ７では、次のペアに処理を移す。この場合、次のペアは{1分20秒，2分15秒}である。このペアの場合は、さらに次のペアが存在しないため、仮のペアとして{9999999秒,9999999秒}のペアを設定して処理を行う。また、ここでは説明しないが、最初のペアについても、仮のペアとして{0秒，0秒}なるペアを設定し、処理を実施しても良い。この場合、0分0秒〜0分5秒までの不要時間を検出することができる。
【００２９】
ステップＳ８で、次のsrc属性値に処理を移す。この場合、"ppt-p1.jpg"となる。
【００３０】
以上、フローチャートに従って処理の例を述べた。上述した処理により、個別コンテンツ編集定義計算ステップＳＴ２では、個別コンテンツのうち、不要な時間を計算し、これを個別コンテンツ毎に編集定義として出力する。
【００３１】
削除ステップＳＴ３では、個別コンテンツ編集定義Ｂを用いて、個別コンテンツＢの中の不要な部分を削除し、新たな個別コンテンツＢ´を生成する。コンテンツ中のＴs秒〜Ｔe秒を削除するこの処理は公知であるため、ここでは説明を省略する。
【００３２】
同期データ修正ステップＳＴ４では、個別コンテンツ編集定義Ｂを用いて、同期データＡ´を修正する。図６に、同期データＡ´を修正するための修正値の表を示す。図３から出力される個別コンテンツ編集定義では不要時間が１つなので、修正値は本来１つしかないが、説明のため、この図６ではさらに２つの不要時間があるものとした。
【００３３】
不要時間は[1:10-1:20]，[2:05-2:20]，[3:25-3:30]である。表では、これら不要時間のリストから、不要時間の終わりと、これに対応した累積不要時間(修正値)を計算して示している。同期データ修正ステップＳＴ４では、同期データに記述された対象となる個別コンテンツ(src属性値)に関するclip-begin属性値、clip-end属性値である時間Ｔについて、Ｔを超えない最後の不要時間Ｔiの修正値Ｘiを引いて、これを新しいＴ´とする。
【００３４】
修正された同期データＡ´´を図７に示す。図６において、不要時間"1:20"以降の時間については、修正値10秒が適用されるため、図７では"1:20"が"1:10"に、"2:15"が"2:05"に修正されている。同期データＡ´´、個別コンテンツＢ´、個別コンテンツＣ，Ｄが編集後のマルチメディアコンテンツ５である。
【００３５】
本実施形態のマルチメディアコンテンツ編集方法によれば、マルチメディアコンテンツの同期を保ちつつデータサイズを削減することができる。
【００３６】
［第２の実施形態］
図８は本発明の第２の実施形態のマルチメディアコンテンツ編集方法の個別コンテンツ編集定義計算ステップのフローチャートであり、図９は修正された同期データを示す図である。本実施形態において、個別コンテンツ編集定義計算ステップのフロー以外は第１の実施形態と同じである。
【００３７】
図８において、ステップＳ９以外は図４（第１の実施形態）と同じである。そのステップＳ９では、ステップＳ５で「次のペアの参照開始時間TSi+1よりもそのペアの参照終了時間TEiが早い」場合に得られる[TEi〜TSi+1]は、非再生部分である。第１の実施形態では、これをそのまま不要部分としたが、本実施形態では[TEi+1(sec)〜TSi+1-1(sec)]を不要時間として計算している。この結果、図３に示されている同期データから、"camera1.rm"に関する不要時間[1:11-1:19]が抽出され、削除される。この結果、"camera1.rm"に関する参照開始時間、参照終了開始時間は図９に示すように、[1:12-2:07]となる。
【００３８】
単純に個別コンテンツの非再生部分を削除しただけでは、キーフレームの問題によって、動画映像の結合部分で映像が止まったりすることがあるが、本実施形態はこれに対応することが可能である。具体的には、問題が生じる時間を、マルチメディアコンテンツとしては利用しない部分に設定することによって、問題をなくすことができる。
【００３９】
例えば0.5秒など、１秒未満の時間間隔で挿入されているキーフレームがTSi+1の0.2秒前に存在する場合、第１の実施形態の場合は、TSi+1から0.3秒間は、再生のためのキーフレームがない状態となるため、結合された動画映像が停止したり、画像がおかしくなったりする。一方、本実施形態では、非再生部分は前後１秒ずつ短めに削除されるため、TSi+1の0.2秒前のキーフレームは削除されずに残ることになり、動画映像が停止したり、画像がおかしくなったりすることはない。
【００４０】
［第３の実施形態］
図１０は、本発明の第３の実施形態のマルチメディアコンテンツ編集方法の処理の流れを示す図である。
【００４１】
本実施形態のマルチメディアコンテンツ編集方法は、編集可能化ステップＳＴ１１と、編集ステップＳＴ１２と、個別コンテンツ編集定義計算ステップＳＴ１３と、同期データ修正ステップＳＴ１４と、復元ステップＳＴ１５とを有する。
【００４２】
個別コンテンツＢは、編集ステップＳＴ１２が対応していない映像データ形式を持っている。即ち例えば図１１に示すように、映像データ形式がm4v形式である。このように編集ステップＳＴ１２が個別コンテンツＢの映像形式に対応していない場合、編集ステップＳＴ１２では、映像を確認しながら編集することができない。
【００４３】
そこで、まず、編集可能化ステップＳＴ１１では、個別コンテンツＢから、変換ツール１０１を経由して個別コンテンツＢ´が作成されることを前提に同期データの修正を行う。ここで、編集ステップＳＴ１２はrm形式には対応しているので、個別コンテンツＢ´は"camera1.rm"、同期データは図３に示すものとした。
【００４４】
個別コンテンツ編集定義計算ステップＳＴ１３、同期データ修正ステップＳＴ１４では、それぞれ第１の実施形態の個別コンテンツ編集定義計算ステップＳＴ２、同期データ修正ステップＳＴ３と同様な処理を行う。
【００４５】
復元ステップＳＴ１５では、再び個別コンテンツＢ´の映像データ形式に関する記述を修正する。具体的には"camera1.rm"と書かれた部分を"camera1.m4v"と修正する。これによりcamera1.m4vが修正されていれば、全体として整合したマルチメディアコンテンツを得ることができる。
【００４６】
camera1.m4vについては、オリジナルのcamera1.m4vと個別コンテンツＢ´の編集定義８からcamera1.m4vの再レンダリング１０２を実行し、個別コンテンツＢ´´とする。これは編集ステップとは独立であるため、映像が見えている必要はないので、一般的なツールを用いることができる。同期データＡ´´´、個別コンテンツＢ´´、個別コンテンツＣ，Ｄが編集後のマルチメディアコンテンツ６である。
【００４７】
本実施形態によれば、編集機能が対応していない映像データを持つマルチメディアコンテンツについて、映像データを一旦、編集機能が対応する形式に変換して編集を行い、その結果を本来の映像データに反映させることによって、編集機能が対応していない映像データを持つマルチメディアコンテンツについても、データサイズ削減が可能となる。特に、新しい形式の映像データは高精細であり、大容量であり、編集機能にも負荷がかかる、あるいは対応していないことが多いため、この効果は大きい。
【００４８】
以上説明した各施形態のマルチメディアコンテンツ編集方法は、図１２に示すような一般的なＰＣ（パーソナルコンピュータ）システム２０によって実行することができる。ＰＣシステム２０においては、各種演算を行うとともに各部を集中的に制御するＣＰＵ２１と、各種のＲＯＭ、ＲＡＭからなるメモリ２３とがバス３０により接続されている。また、バス３０には、所定のＩ／Ｆ（インタフェース）を介して、ハードディスクなどの記憶装置２７と、入力装置であるマウス２４及びキーボード２２と、ＬＣＤ等の表示装置２８とが接続される。さらにバス３０には、光ディスクなどの記憶媒体３１を読み取る記憶媒体読取装置２５と、インターネットなどのネットワーク３２を介して通信を行う所定の通信Ｉ／Ｆ２６が接続され、さらにカメラや他の外部機器等との間でデータを入出力するための各種Ｉ／Ｆ２９も接続される。
【００４９】
記憶装置２７には、本実施形態のマルチメディアコンテンツ編集を実行するためのプログラムが記憶される。このプログラムは、記憶媒体３１から記憶媒体読取装置２５により読み取るか、或いはネットワーク３２からダウンロードして、記憶装置２７にインストールしたものである。このインストールによりＰＣシステム２０はマルチメディアコンテンツの編集を実現できる状態となる。記憶装置２７は各種データ（同期データ、個別コンテンツ、個別コンテンツ編集定義）を蓄積するためにも用いられる。
【００５０】
上記のプログラムが、マルチメディアコンテンツの編集を実行するときに取り扱う情報は、一時的にメモリ２３のＲＡＭに蓄積され、その後、記憶装置２７に格納され、必要に応じてＣＰＵ２１によって読み出され、修正・書き込みが行われる。即ちＣＰＵ２１がプログラムに基づいて動作することにより、本実施形態のコンテンツ生成装置が有する各手段の機能を実現する。
【００５１】
なお、プログラムを格納する記憶媒体としては、半導体媒体（例えば、ＲＯＭ，不揮発性メモリカード等）、光記録媒体（例えば、ＤＶＤ，ＭＯ，ＭＤ，ＣＤ等）、磁気記録媒体（磁気テープ，フレキシブルディスク等）等のいずれでもよい。
【図面の簡単な説明】
【００５２】
【図１】本発明の第１の実施形態のマルチメディアコンテンツ編集方法の処理の流れを示す図である。
【図２】図１の同期データの記述を示す図である。
【図３】編集された同期データを示す図である。
【図４】図１の個別コンテンツ編集定義計算ステップにおける不要な時間の計算に関するフローチャートである。
【図５】図４のフローチャート中の利用リストＬ作成に関するフローチャートである。
【図６】同期データを修正するための修正値を示す図である。
【図７】修正された同期データを示す図である。
【図８】本発明の第２の実施形態のマルチメディアコンテンツ編集方法の個別コンテンツ編集定義計算ステップのフローチャートである。
【図９】本発明の第２の実施形態における修正された同期データを示す図である。
【図１０】本発明の第３の実施形態のマルチメディアコンテンツ編集方法の処理の流れを示す図である。
【図１１】本発明の第３の実施形態における同期データを示す図である。
【図１２】本発明の実施形態のマルチメディアコンテンツ編集方法を実行可能なＰＣシステムを示す図である。
【符号の説明】
【００５３】
１，２，３，５，６・・・マルチメディアコンテンツ、７・・・個別コンテンツ編集定義、２０・・・ＰＣシステム、２１・・・ＣＰＵ、２３・・・メモリ、２７・・・記憶装置、ＳＴ１，ＳＴ１２・・・編集ステップ、ＳＴ２，ＳＴ１３・・・個別コンテンツ編集定義計算ステップ、ＳＴ３・・・削除ステップ、ＳＴ４，ＳＴ１４・・・同期データ修正ステップ、ＳＴ１１・・・編集可能化ステップ、ＳＴ１５・・・復元ステップ。
【特許請求の範囲】
【請求項１】
複数種類の個別コンテンツ、及びそれらの再生タイミングを記述した同期データを有するマルチメディアコンテンツを編集する方法であって、
同期データを編集する編集ステップと、編集済みの同期データを基に個別コンテンツ中の不要部分を求める個別コンテンツ編集定義計算ステップと、求められた不要部分を削除するステップとを有することを特徴とするマルチメディアコンテンツ編集方法。
【請求項２】
請求項１に記載されたマルチメディアコンテンツ編集方法において、
個別コンテンツ編集定義を基に、編集済みの同期データを修正する同期データ修正ステップを有することを特徴とするマルチメディアコンテンツ編集方法。
【請求項３】
請求項１に記載されたマルチメディアコンテンツ編集方法において、
編集ステップを実行する前に、同期データ中の個別コンテンツに関する記述を編集ステップに対応するように修正するステップを実行し、同期データ修正ステップを実行した後に、その同期データ中の個別コンテンツに関する記述を元に戻す復元ステップを実行することを特徴とするマルチメディアコンテンツ編集方法。
【請求項４】
請求項１〜３のいずれかに記載されたマルチメディアコンテンツ編集方法において、
個別コンテンツ編集定義計算ステップは、コンテンツ中で再生されない非再生部分を求める非再生部分計算ステップと、非再生部分に包含されるように不要部分を求める不要部分計算ステップとを有することを特徴とするマルチメディアコンテンツ編集方法。
【請求項５】
複数種類の個別コンテンツ、及びそれらの再生タイミングを記述した同期データを有するマルチメディアコンテンツを編集する装置であって、
同期データを編集する手段と、編集済みの同期データを基に個別コンテンツ中の不要部分を求める手段と、求められた不要部分を削除する手段とを有することを特徴とするマルチメディアコンテンツ編集装置。
【請求項６】
コンピュータに、請求項１〜４のいずれかに記載されたマルチメディアコンテンツ編集方法の各ステップを実行させるためのプログラム。
【請求項１】
複数種類の個別コンテンツ、及びそれらの再生タイミングを記述した同期データを有するマルチメディアコンテンツを編集する方法であって、
同期データを編集する編集ステップと、編集済みの同期データを基に個別コンテンツ中の不要部分を求める個別コンテンツ編集定義計算ステップと、求められた不要部分を削除するステップとを有することを特徴とするマルチメディアコンテンツ編集方法。
【請求項２】
請求項１に記載されたマルチメディアコンテンツ編集方法において、
個別コンテンツ編集定義を基に、編集済みの同期データを修正する同期データ修正ステップを有することを特徴とするマルチメディアコンテンツ編集方法。
【請求項３】
請求項１に記載されたマルチメディアコンテンツ編集方法において、
編集ステップを実行する前に、同期データ中の個別コンテンツに関する記述を編集ステップに対応するように修正するステップを実行し、同期データ修正ステップを実行した後に、その同期データ中の個別コンテンツに関する記述を元に戻す復元ステップを実行することを特徴とするマルチメディアコンテンツ編集方法。
【請求項４】
請求項１〜３のいずれかに記載されたマルチメディアコンテンツ編集方法において、
個別コンテンツ編集定義計算ステップは、コンテンツ中で再生されない非再生部分を求める非再生部分計算ステップと、非再生部分に包含されるように不要部分を求める不要部分計算ステップとを有することを特徴とするマルチメディアコンテンツ編集方法。
【請求項５】
複数種類の個別コンテンツ、及びそれらの再生タイミングを記述した同期データを有するマルチメディアコンテンツを編集する装置であって、
同期データを編集する手段と、編集済みの同期データを基に個別コンテンツ中の不要部分を求める手段と、求められた不要部分を削除する手段とを有することを特徴とするマルチメディアコンテンツ編集装置。
【請求項６】
コンピュータに、請求項１〜４のいずれかに記載されたマルチメディアコンテンツ編集方法の各ステップを実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１０−３４９５３（Ｐ２０１０−３４９５３Ａ）
【公開日】平成２２年２月１２日（２０１０．２．１２）
【国際特許分類】
【出願番号】特願２００８−１９６２１１（Ｐ２００８−１９６２１１）
【出願日】平成２０年７月３０日（２００８．７．３０）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２２年２月１２日（２０１０．２．１２）
【国際特許分類】
【出願日】平成２０年７月３０日（２００８．７．３０）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]