説明

動画編集装置、方法及びプログラム

【課題】
映像の再生順序変更に関わらず、アフレコのBGM音声が正しく再生されるようにする。
【解決手段】
外部メモリ(207)に、動画データと音声データとを含む動画ファイルが格納されている。動画ファイルは、音声をアフレコ可能である。動画処理部(206)は、動画ファイルの動画データと音声データの再生順序を同期して又は独立に編集できる。マイクロコンピュータ(203)は、動画ファイルにアフレコの音声が収容されている否かを判定する。マイクロコンピュータ(203)は、アフレコ音声がある場合、動画データの再生順序の編集に対し、アフレコ音声の再生順序を変更しないように動画処理部(206)を制御する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、動画編集装置、方法及びプログラムに関し、特に動画データを編集する動画編集装置、方法及びプログラムに関する。
【背景技術】
【0002】
従来、動画編集装置では、ユーザが映像情報にBGM(Background Music)を付加したり、画像と音楽を組み合わせて再生する技術がある。
【0003】
例えば、特許文献1には、撮影シーンに最適なBGMを自動的に挿入できる撮像記録装置が記載されている。
【0004】
さらに、近年、記録媒体に記録されている既存の動画ファイルに格納された動画データに別の撮影で得られた動画データを追加できる撮像装置が知られている(特許文献2)。
【0005】
また、複数シーンをつなぎあわせて作成された動画データに対して部分的に前後を入れ替えたり、部分的に削除する機能を有する動画編集装置も知られている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2004−221666号公報
【特許文献2】特開2002−218384号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
一般的には、動画を編集すると、映像情報と音声情報が同期したまま一体に編集されてしまう。例えば、BGMが付加されている動画において部分的に前後を入れ替えたり部分的に削除したりすると、映像情報と音声情報で時間同期を保持しつつ映像情報と音声情報が一緒に編集されてしまい、BGMが適切でなくなってしまう。なぜなら、映像情報と同じように音声情報も変更されると、BGMも部分的に削除されたり入れ替わってしまったりするからである。
【0008】
本発明は、このような不都合を生じない動画編集装置、方法及びプログラムを提示することを目的とする。
【課題を解決するための手段】
【0009】
上記目的を達成するために、本発明に係る動画編集装置は、動画データと音声データとを含む動画ファイルの前記動画データ及び前記音声データの再生順序を変更する編集を行う編集手段と、前記動画ファイルが前記動画データを撮影したときに集音された音声データを他の音声データで上書きされたものか否かを判定する判定手段と、前記編集手段を制御する制御手段とを有し、前記制御手段は、前記判定手段により、前記音声データが前記他の音声データで上書きされていると判定されない場合は、前記動画データの再生順序と前記音声データの再生順序を同期して変更する編集を行うように前記編集手段を制御し、前記制御手段は、前記判定手段により、前記音声データが前記他の音声データで上書きされていると判定した場合は、前記動画データの再生順序を変更する編集を行う際に、前記他の音声データの再生順序を変更しないように前記編集手段を制御することを特徴とする。
【発明の効果】
【0010】
本発明によれば、動画を適切に編集することができる。
【図面の簡単な説明】
【0011】
【図1】本発明の一実施例の動画編集のフローチャートである。
【図2】本実施例の概略構成ブロック図である。
【図3】MOVファイルの構成図である。
【図4】音声情報がBGMに置き換えられたMOVファイルの構成図である。
【図5】音声情報及び映像情報の編集方法の説明図である。
【図6】既存音声情報を削除せずにBGMを追加したMOVファイルの構成図である。
【図7】BGMが追加されている場合の動画編集処理のフローチャートである。
【発明を実施するための形態】
【0012】
以下、図面を参照して、本発明の実施例を詳細に説明する。
【実施例1】
【0013】
図2は、本発明の第1実施例の概略構成ブロック図を示す。本実施例の動画編集装置210は、外部メモリ207に記録されている動画ファイルを再生し、再生された動画ファイルの動画データの示す動画を表示でき、音声データの示す音声を不図示のスピーカより出力できる。また、外部メモリ207に記録されている動画ファイルの音声データとして、BGM(音楽)等の別の音声データを差し込むBGM追加編集を行うことができる。
【0014】
また、動画編集装置210は、動画ファイルの動画データの再生順序を変更する動画編集を行うことができる。動画編集モードとして、動画データの再生順序の変更(削除を含む)に応じて、対応する音声データの再生順序も同様に同期して変更する同期編集モードと、動画の編集に音声データの編集を同期させない独立編集モードとを具備する。
【0015】
203はマイクロコンピュータである。マイクロコンピュータ203は各構成要素の制御やデータ処理など、動画編集装置210の全体を制御する。204は揮発性メモリであって例えばDRAM等からなる。揮発性メモリ204は、表示すべき画像を一時的に保持する。205は不揮発性メモリであって、たとえばフラッシュメモリなどからなる。不揮発性メモリ205には、マイクロコンピュータ203で処理する動画編集装置210の実行プログラムが格納されている。206は動画処理部である。動画処理部206は、映像情報の解析、映像情報の解凍、及びデータ形式の変換処理等を行う。動画処理部206の詳細な動作は、後述する。
【0016】
マイクロコンピュータ203は、不揮発性メモリ205から読み出したプログラムを揮発性メモリ204に展開し、揮発性メモリ204の一部をワークメモリとして使用することにより、動画編集装置210全体を制御する。また、動画処理部206による動画処理の際に、揮発性メモリ204の一部はワークメモリとして使用される。
【0017】
207は外部メモリである。外部メモリ207は、フラッシュメモリ等の個体メモリ又はハードディスクドライブなどからなる。マイクロコンピュータ203は、動画処理部206が処理した画像データを外部メモリ207の記録に適したファイル形式に変換し、外部メモリ207に記録する。
【0018】
208は表示部材である。表示部材208は例えば液晶モニタであり、不図示の液晶ドライバなどにより表示が制御されている。表示部材208は、外部メモリ207に記録されている静止画ファイルの静止画、動画ファイルの動画、及び動画処理部206の処理結果等を表示できる。209は操作部材である。操作部材209は、スイッチ及びボタンなどからなり、表示部材208で表示されたものに対する操作をユーザが入力するのに使用される。
【0019】
動画編集装置210で扱う動画ファイルのファイルフォーマットを説明する。他のデジタル機器で再生できるなどの互換性を考慮して、デジタルビデオカメラ及びデジタルスチルカメラ等で撮影された動画データを記録する汎用フォーマットとしてのMOVファイルフォーマットを用いる。
【0020】
MOVファイルは、基本的には、図3(a)に示すように、符号化されたストリームデータが格納されているmdatアトムと、ストリームデータの管理情報等の関連情報が格納されているmoovアトムとから構成されている。mdatアトムは図3(b)に示すように複数のチャンク(chunk cN)から構成され、各チャンクは図3(d)に示すように複数のサンプル(sample sN)から構成される。
【0021】
MOVファイルでは、音声情報と映像情報が交互に記録されている。映像情報のチャンクchunk c1は、図3(d)に示すように、N個のサンプル(又はフレーム)sample s1〜sample sNからなる。各サンプルsample s1、sample s2、sample s3、sample s4、・・・は、図3(e)に示すように、符号化画像データI0、B2、B1、P5、・・・からなる。In(nはフレーム番号)はイントラ符号化(フレーム内符号化)されたフレーム画像である。Bn(nはフレーム番号)は双方向から参照して符号化(フレーム間符号化)されるフレーム画像である。Pn(nはフレーム番号)は一方向(順方向)から参照して符号化(フレーム間符号化)されるフレーム画像である。これら符号化フレーム画像はいずれも、可変長符号化されている。
【0022】
moovアトムは、図3(c)に示すように、udtaアトムと、mvhdアトムと、画像データ用のtrakアトムと、音声データ用のtrakアトムとから成る。udtaアトムには、ユーザが独自に情報を格納できる。mvhdアトムには、作成日時等が記録されるヘッダ情報が格納される。trakアトムには、mdatアトムに格納されたストリームデータの管理情報等の関連情報が格納される。
【0023】
映像データ用のtrakアトムは、stszアトムと、stscアトムと、stcoアトムからなる。stszアトムは、図3(f)に示すように、各サンプルのサイズの情報が格納される。stscアトムには、図3(g)に示すように、各チャンク内のサンプル数の情報が格納される。stcoボックスには、図3(h)に示すように、mdatアトムの各チャンクへのオフセット値の情報が格納される。trakアトムに格納されている3つのアトムは、動画ファイルを再生して映像データを表示し、音声データを音響出力する際に参照される。動画再生装置は、trakアトムの情報に従ってmdatアトムの画像データ及び音声データにアクセスする。すなわち、moovアトムのtrakアトムを編集することで、mdatアトムの内容を変更しなくても、再生順序を編集できる。
【0024】
図4は、本実施例の編集操作の説明例を示す。図4を参照して、MOVファイルをBGM付き動画ファイルに編集する処理を説明する。ここでは、BGMとなる音声データは、圧縮されていないとするが、圧縮されている音声データであっても、基本的に同様の操作となる。因みに、圧縮されていない音声データは、一般に言うPCM音声データであり、圧縮されている音声データは、例えばAAC形式、AC3形式又はMP3形式で圧縮された音声データである。編集前の動画ファイルには、例えば撮像装置により撮像された動画データと、動画データを撮像したときに同時に集音された音声を示す音声データがともに格納されている。この音声データを本実施例では既存音声データとして、BGM音声データと区別する。
【0025】
BGM音声データの音声ファイルは、本実施例では、外部メモリ207に保存されている。マイクロコンピュータ203は、BGM音声データを外部メモリ207から読み出し、動画ファイルの既存音声データが格納されている領域にBGM音声データを上書きする。具体的には、図3で説明したように、既存音声データはある単位でchunkに分割されて保存されているので、その単位にBGM音声データを分割する。そして、図4(b)に示すように既存音声データの格納領域をBGMの音声データで上書きする。BGMを付加する編集を行うと、マイクロコンピュータ203は、BGMが付加されていることが判別できる情報で、図3(c)に示されているudtaアトムのデータを更新する。本実施例では、udtaアトムに、BGMの付加を示すBGMフラグを記録するものとする。すなわち、udtaアトムにBGMフラグの値を0又は1で記録することで、フラグの値によってアフレコの音声(ここではBGM)の有無を判別できる。
【0026】
図1は、BGMフラグに従って編集モードを切り替える処理のフローチャートを示す。図1に示す処理は、マイクロコンピュータ203が、不揮発性メモリ205に格納されている動画編集プログラムを読み出して実行することで実現される。
【0027】
マイクロコンピュータ203は、動画ファイルの動画データの再生順序を変更する編集が指示されると、図1に示すフローをスタートする。S101で、マイクロコンピュータ203は、編集対象の動画ファイルのudtaアトムにBGMフラグが記録されているか否かを判定する。マイクロコンピュータ203は、この判定を行う判定手段として機能する。また、動画編集プログラムは、このような判定機能をマイクロコンピュータ203に実現させる。
【0028】
BGMフラグが記録されていない場合、S102で、マイクロコンピュータ203は、ユーザの指示に従う再生順序になるように、動画ファイルのmoovアトムの音声情報trakアトムを書き換える。例えば、動画データの4秒から8秒のシーンを0秒から4秒のシーンに変更する指示があると、音声情報の4秒から8秒のデータを0秒から4秒のデータに変更する。音声情報の再生順序を変更する具体的な編集方法は後述する。そして、S103で、マイクロコンピュータ203は、ユーザの指示に従う再生順序になるように、動画ファイルのmoovアトムの映像情報trakアトムを書き換える。例えば、動画データの4秒から8秒のシーンを0秒から4秒のシーンに変更する指示があると、映像情報の4秒から8秒のデータを0秒から4秒のデータに変更する。映像情報trakアトムと音声情報trakアトムを一体に、ユーザの指示に従う再生順序になるように書き換えても良いことはいうまでもない。
【0029】
BGMフラグが記録されている場合、S103で、マイクロコンピュータ203は、ユーザの指示に従う再生順序になるように、動画ファイルのmoovアトムの映像情報trakアトムを書き換える。例えば、動画データの4秒から8秒のシーンを0秒から4秒のシーンに変更する指示があると、動画データの再生順序のみを変更する。音声データの再生順序は変更しない。すなわち、独立編集モードで、映像情報のみを編集する。
【0030】
再生順序を変更する場合の動作例を説明したが、動画の一部を削除する場合も同様である。但し、独立編集モードでも、削除による再生時間の短縮に応じて、BGMの終端部分を削除するか再生対象に含めないようにして、再生期間を映像情報のそれと一致させる。
【0031】
図5は、trakアトムの編集方法のフローチャートを示す。ここでは、図3(a)に示すmdatアトムを変更せずに、図3(c)に示すtrakアトムを変更する。図5に示す処理は、マイクロコンピュータ203が、不揮発性メモリ205に格納されている動画編集プログラムを読み出して実行することで実現される。
【0032】
ステップS501で、マイクロコンピュータ203は、編集対象の動画ファイルの、入れ替え対象のフレームに対するtrakアトムを探索する。ステップS502で、マイクロコンピュータ203は、探索したtrakアトム内にあるstsz(図3(f))とstco(図3の(h))を、ユーザの指示内容に従って編集する。例えば、動画の3フレーム目と6フレーム目を入れ替えたい場合、3フレーム目に対応するtrakアトムのstsz(図3(f))とstco(図3(h))を6フレーム目のそれと入れ替える。
【0033】
このようにmoovアトムを編集することにより、動画データ再生順序を変更できる。この方法は、映像情報の編集にもBGM音声データの編集にも適用できる。同期編集の場合、映像情報trakアトムと音声情報trakアトムをユーザの指示に応じて同様に編集する。独立編集モードで映像が編集対象となっている場合、映像情報trakアトムのみをユーザの指示に応じて編集する。
【0034】
以上の説明から容易に理解できるように、本実施例では、独立編集モードにより、BGM音声データを編集することなしに、映像情報のみを編集するので、編集後の動画においてBGMが不適切になることが無い。
【実施例2】
【0035】
実施例1ではBGM音声データを付加する場合、既存音声データを上書きしたが、既存音声データを残しつつ、他の音声データ(例えば、BGM音声データ)を付加できる動画形式もある。そのような動画形式でも、映像情報の再生順序を編集しつつ、他の音声データの再生順序を維持することができる。
【0036】
図6は、撮影時の映像情報及び音声情報に、アフレコでBGM音声データを付加した場合の、MOVファイル構造例を示す。図6(b)に示すように、動画ファイルのmdatの最後尾にBGM音声データを追加する。次に、図6(c)に示すように、moovアトムにBGM音声データのためのtrakアトム(追加音声trakアトム)を1つ増やし、trakアトムを3つにする。この際に、BGM音声データが追加され、既存音声データは残っていることを示す識別情報をudtaアトムなどに記録する。もちろん、図6に示すフォーマットでも、既存音声データを利用せず、削除と同視する扱いをする場合には、実施例1のBGMフラグと同様の識別情報をudtaアトムなどに記録すればよい。ここで記録される識別情報をBGM判定フラグと呼ぶ。
【0037】
図7は、BGM判定フラグを考慮した編集動作のフローチャートを示す。図7に示す処理は、マイクロコンピュータ203が、不揮発性メモリ205に格納されている動画編集プログラムを読み出して実行することで実現される。
【0038】
動画ファイルの編集が開始されると、マイクロコンピュータ203は、ステップS701で、動画ファイルのudtaアトムにBGM判定フラグが存在するかを判定する。マイクロコンピュータ203は、この判定を行う判定手段として機能する。また、動画編集プログラムは、このような判定機能をマイクロコンピュータ203に実現させる。
【0039】
S701でBGM判定フラグが存在しない場合、マイクロコンピュータ203は、S704,S705で、ユーザの指示に従う再生順序に音声情報(既存音声データ及びBGM音声データ)と映像情報とを互いに同期して編集する。
【0040】
S701でBGM判定フラグが存在する場合、マイクロコンピュータ203は、S702で、既存音声データがBGM音声データで上書きされているかどうかを判断する。これは、BGM判定フラグ又は別の識別情報により判断できる。
【0041】
既存音声データがBGM音声データで上書きされている場合(S702)、マイクロコンピュータ203は、音声情報の再生順序を変更せずに(S706)、映像情報のみをユーザの従う再生順序に変更する。
【0042】
既存音声データがBGM音声データで上書きされていない場合(S702)、マイクロコンピュータ203は、S703で、既存音声データを維持しつつBGM音声データが追加されたのかどうかを判断する。既存音声データが残り、BGM音声データが追加された場合、マイクロコンピュータ203は、S705で、既存音声データをユーザの指示に従う再生順序に編集する。すなわち、BGM音声データの再生順序は維持する。他方、S703でBGM音声データを追加していないと判断された場合、マイクロコンピュータ203は、BGM判定フラグがない場合と同様に、S704,S705で音声情報と映像情報を同期編集する。
【0043】
このように、映像情報と時間的に同期する音声データとは別の音声データが付加された場合に、付加音声データの再生順序を編集することなしに、映像情報と関連する音声情報を一体に編集することができる。これにより、映像の編集があっても、付加音声データ、例えば、BGM音声データを本来の再生順序に維持できる。すなわち、BGMを適切に再生できる。
【0044】
本発明は、複数の機器(例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど)から構成されるシステムに適用しても、一つの機器からなる装置(例えば、複写機、ファクシミリ装置など)に適用してもよい。
【0045】
本発明の目的は、上記実施例の機能を実現するソフトウエアを記録した記憶媒体(記録媒体)をシステムまたは装置に供給し、そのシステムまたは装置のコンピュータ(CPUやMPU)が前記ソフトウエアを実行することでも達成される。この場合、記憶媒体から読み出されたソフトウエア自体が上記実施例の機能を実現することになり、そのソフトウエアを記憶した記憶媒体は本発明を構成する。
【0046】
前記ソフトウエアの実行により上記機能が実現されるだけでなく、そのソフトウエアの指示により、コンピュータ上で稼働するオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、それによって上記機能が実現される場合も含む。
【0047】
また、前記ソフトウエアがコンピュータに接続された機能拡張カードやユニットのメモリに書き込まれ、そのソフトウエアの指示により、前記カードやユニットのCPUなどが実際の処理の一部または全部を行い、それによって上記機能が実現される場合も含む。
【0048】
本発明を前記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するソフトウエアが格納される。
【0049】
以上、本発明の好ましい実施例を説明したが、本発明は上記実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

【特許請求の範囲】
【請求項1】
動画データと音声データとを含む動画ファイルの前記動画データ及び前記音声データの再生順序を変更する編集を行う編集手段と、
前記動画ファイルが前記動画データを撮影したときに集音された音声データを他の音声データで上書きされたものか否かを判定する判定手段と、
前記編集手段を制御する制御手段
とを有し、
前記制御手段は、前記判定手段により、前記音声データが前記他の音声データで上書きされていると判定されない場合は、前記動画データの再生順序と前記音声データの再生順序を同期して変更する編集を行うように前記編集手段を制御し、
前記制御手段は、前記判定手段により、前記音声データが前記他の音声データで上書きされていると判定した場合は、前記動画データの再生順序を変更する編集を行う際に、前記他の音声データの再生順序を変更しないように前記編集手段を制御する
ことを特徴とする動画編集装置。
【請求項2】
前記他の音声データで前記音声データを上書きする手段は、前記他の音声データによる前記音声データの上書きを示す情報を前記動画ファイルに付加することを特徴とする請求項1に記載の動画編集装置。
【請求項3】
動画データと音声データとを含むことが可能な動画ファイルが、前記動画データを撮影したときに集音された音声データを他の音声データで上書きされたものか否かを判定する判定ステップと、
前記判定ステップにより、前記音声データが前記他の音声データで上書きされていると判定されない場合に、前記動画データの再生順序と前記音声データの再生順序を同期して変更する編集を行うステップと、
前記判定ステップにより、前記音声データが前記他の音声データで上書きされていると判定した場合に、前記他の音声データの再生順序を変更せずに、前記動画データの再生順序を変更する編集を行うステップ
とを具備することを特徴とする
ことを特徴とする動画編集方法。
【請求項4】
更に、前記他の音声データで前記音声データを上書きする際に、前記他の音声データによる前記音声データの上書きを示す情報を前記動画ファイルに付加するステップを具備することを特徴とする請求項3に記載の動画編集方法。
【請求項5】
動画データと音声データとを含むことが可能な動画ファイルの前記動画データ及び前記音声データの再生順序を変更する編集を行う動画編集装置の制御装置に、
前記動画ファイルが前記動画データを撮影したときに集音された音声データを他の音声データで上書きされたものか否かを判定する判定機能と、
前記判定機能により、前記音声データが前記他の音声データで上書きされていると判定されない場合に、前記動画データの再生順序と前記音声データの再生順序を同期して変更する編集を行う機能と、
前記判定機能により、前記音声データが前記他の音声データで上書きされていると判定した場合に、前記他の音声データの再生順序を変更せずに、前記動画データの再生順序を変更する編集を行う機能
とを実現させることを特徴とする動画編集プログラム。
【請求項6】
更に、前記他の音声データで前記音声データを上書きする際に、前記他の音声データによる前記音声データの上書きを示す情報を前記動画ファイルに付加する機能を前記制御装置に実現させることを特徴とする請求項5に記載の動画編集プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate


【公開番号】特開2013−81056(P2013−81056A)
【公開日】平成25年5月2日(2013.5.2)
【国際特許分類】
【出願番号】特願2011−219742(P2011−219742)
【出願日】平成23年10月4日(2011.10.4)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】