ファイル編集装置
【課題】編集ファイルの品質を向上させる編集装置を提供する。
【解決手段】第1ファイルに収められた画像データの取り込み時間帯を第1時間帯として検出し、第2ファイルに収められた音声データの取り込み時間帯を第2時間帯として検出する。また、第2時間帯のうち第1時間帯と重複しない非重複時間帯に対応して基準画像データを第1ファイルに追加し、第2ファイルに収められた音声データを第1時間帯と第2時間帯との重複時間帯に対応して第1ファイルに追加する。
【解決手段】第1ファイルに収められた画像データの取り込み時間帯を第1時間帯として検出し、第2ファイルに収められた音声データの取り込み時間帯を第2時間帯として検出する。また、第2時間帯のうち第1時間帯と重複しない非重複時間帯に対応して基準画像データを第1ファイルに追加し、第2ファイルに収められた音声データを第1時間帯と第2時間帯との重複時間帯に対応して第1ファイルに追加する。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、ファイル編集装置に関し、特に電子カメラに用いられ、画像データと音声データとを編集する、ファイル編集装置に関する。
【背景技術】
【0002】
この種の装置の一例が、特許文献1に開示されている。この背景技術によれば、複数種類のデータが関連付けて記録される際に、記録手段はマーキング発生手段によって所定タイミングで発生される所定のマーキングデータを他のデータとともに記録する。特定データ取得手段は複数種類のデータのうち所定種類のデータを取得する。それを、特定データ記録手段はマーキングデータ発生手段によって発生されるマーキングデータとともに記録する。データ記録装置は、特定データ記録手段が記録しているマーキングデータと記録手段が記録しているマーキングデータとを同期させ、記録手段が記録している複数種類のデータのうち特定データ記録手段が記録しているデータと同じ種類のデータを、特定データ記録手段が記録しているデータで書き換える。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2007−213710号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、背景技術では、一方のデータの取り込み時間帯に他方のデータの取り込み時間帯と重複しない時間帯がある場合に、その重複しない時間帯に相当する箇所に対して特段の処理はなされない。よって、画像データを収めたファイルと音声データを収めたファイルとを同期させて編集する場合には、編集後のファイルに収められるデータの先頭または末尾に無画像部分または無音声部分が生じることがあり、編集ファイルの品質が低下するおそれがある。
【0005】
それゆえに、この発明の主たる目的は、編集ファイルの品質を向上させることができる、ファイル編集装置を提供することである。
【課題を解決するための手段】
【0006】
この発明に従うファイル編集装置(10:実施例で相当する参照符号。以下同じ)は、第1ファイルに収められた画像データの取り込み時間帯を第1時間帯として検出する第1検出手段(S57, S59)、第2ファイルに収められた音声データの取り込み時間帯を第2時間帯として検出する第2検出手段(S67, S69)、第2時間帯のうち第1時間帯と重複しない非重複時間帯に対応して基準画像データを第1ファイルに追加する第1追加手段(S95~S97, S101~S103)、および第2ファイルに収められた音声データを第1時間帯と第2時間帯との重複時間帯に対応して第1ファイルに追加する第2追加手段(S105~S109)を備える。
【0007】
好ましくは、第1ファイルは音声データをさらに収め、第2追加手段は重複時間帯に対応して第1ファイルに収められた音声データを第2ファイルに収められた音声データによって置換する。
【0008】
好ましくは、第1追加手段は第1ファイルに収められた画像データの一部を複製して基準画像データを作成する複製手段(S95, S101)を含む。
【0009】
さらに好ましくは、複製手段は非重複時間帯が第1時間帯に先立つ時間帯であるとき画像データの先頭フレームを複製する。
【0010】
さらに好ましくは、複製手段は非重複時間帯が第1時間帯に遅れる時間帯であるとき画像データの最終フレームを複製する。
【0011】
好ましくは、第1時間帯の先頭時刻と第2時間帯の先頭時刻との相違が基準を下回るか否かを判別する判別手段(S73)、判別手段の判別結果が否定的であるとき別の第2ファイルを第2検出手段の検出処理のために指定する指定手段(S75)、および判別手段の判別結果が肯定的であるとき第1追加手段および/または第2追加手段を起動する起動手段(S91)をさらに備える。
【発明の効果】
【0012】
第2ファイルに収められた音声データを重複時間帯に対応して第1ファイルに追加することで、画像データと音声データとを互いに同期する態様で再生することができる。また、基準画像データを非重複時間帯に対応して第1ファイルに追加することで、音声データと画像データとの対応関係を第1時間帯にわたって確保することができる。こうして、所望の品質を有する編集ファイルが作成される。
【0013】
この発明の上述の目的,その他の目的,特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【0014】
【図1】この発明の基本的構成を示すブロック図である。
【図2】この発明の一実施例の構成の一部を示すブロック図である。
【図3】図2実施例に適用されるSDRAMのマッピング状態の一例を示す図解図である。
【図4】MP4ファイルのデータ構造の一例を示す図解図である。
【図5】図2実施例に適用されるCPUの動作の一部を示すフロー図である。
【図6】図2実施例に適用されるCPUの動作の他の一部を示すフロー図である。
【図7】この発明の一実施例の構成の他の一部を示すブロック図である。
【図8】PCMファイルのデータ構造の一例を示す図解図である。
【図9】図2実施例に適用されるMCUの動作の一部を示すフロー図である。
【図10】(A)MP4ファイルおよびPCMファイルの各々の取り込み時間帯の重複の一例を示す図解図であり、(B)はMP4ファイルおよびPCMファイルの各々の取り込み時間帯の重複の他の一例を示す図解図である。
【図11】(A)はMP4ファイルおよびPCMファイルの各々の取り込み時間帯の重複のその他の一例を示す図解図であり、(B)はMP4ファイルおよびPCMファイルの各々の取り込み時間帯の重複のさらにその他の一例を示す図解図である。
【図12】図2実施例に適用されるCPUの動作のその他の一部を示すフロー図である。
【図13】図2実施例に適用されるCPUの動作のさらにその他の一部を示すフロー図である。
【図14】図2実施例に適用されるCPUの動作の他の一部を示すフロー図である。
【図15】図2実施例に適用されるCPUの動作のその他の一部を示すフロー図である。
【発明を実施するための形態】
【0015】
以下、この発明の実施の形態を図面を参照しながら説明する。
[基本的構成]
【0016】
図1を参照して、この発明のファイル編集装置は、基本的に次のように構成される。第1検出手段1は、第1ファイルに収められた画像データの取り込み時間帯を第1時間帯として検出する。第2検出手段2は、第2ファイルに収められた音声データの取り込み時間帯を第2時間帯として検出する。第1追加手段3は、第2時間帯のうち第1時間帯と重複しない非重複時間帯に対応して基準画像データを第1ファイルに追加する。第2追加手段4は、第2ファイルに収められた音声データを第1時間帯と第2時間帯との重複時間帯に対応して第1ファイルに追加する。
【0017】
第2ファイルに収められた音声データを重複時間帯に対応して第1ファイルに追加することで、画像データと音声データとを互いに同期する態様で再生することができる。また、基準画像データを非重複時間帯に対応して第1ファイルに追加することで、音声データと画像データとの対応関係を第1時間帯にわたって確保することができる。こうして、所望の品質を有する編集ファイルが作成される。
[実施例]
【0018】
図2を参照して、この実施例のディジタルビデオカメラ10は、ドライバ18aおよび18bによってそれぞれ駆動されるフォーカスレンズ12および絞りユニット14を含む。被写界の光学像は、これらの部材を通してイメージセンサ16の撮像面に照射される。
【0019】
キー入力装置48によって撮像モードが選択されると、CPU46は、記録制御タスクの下で動画取り込み処理を実行するべく、ドライバ18cを起動する。ドライバ18cは、1/60秒毎に発生する垂直同期信号Vsyncに応答して、撮像面を露光し、撮像面で生成された電荷を順次走査態様で読み出す。イメージセンサ16からは、被写界を表す生画像データが60fpsのフレームレートで出力される。
【0020】
前処理回路20は、イメージセンサ16から出力された生画像データにディジタルクランプ,画素欠陥補正,ゲイン制御などの処理を施す。このような前処理を施された生画像データは、メモリ制御回路22を通してSDRAM24の生画像エリア24a(図3参照)に書き込まれる。
【0021】
後処理回路26は、メモリ制御回路22を通して生画像エリア24aにアクセスし、生画像データを順次走査態様で1/60秒毎に読み出す。読み出された生画像データは色分離,白バランス調整,YUV変換,エッジ強調,ズームなどの処理を施され、この結果、YUV画像データが作成される。作成されたYUV画像データは、メモリ制御回路22を通してSDRAM24のYUV画像エリア24b(図3参照)に書き込まれる。
【0022】
LCDドライバ30は、YUV画像エリア24bに格納されたYUV画像データを繰り返し読み出し、読み出された画像データをLCDモニタ32の解像度に適合するように縮小し、そして縮小された画像データに基づいてLCDモニタ32を駆動する。この結果、被写界を表すリアルタイム動画像(スルー画像)がモニタ画面に表示される。
【0023】
前処理回路20はまた、生画像データを簡易的にYデータに変換し、変換されたYデータをCPU46に与える。CPU46は、YデータにAE処理を施し、適正EV値を算出する。算出された適正EV値を定義する絞り量および露光時間はドライバ18bおよび18cにそれぞれ設定され、これによってスルー画像の明るさが適度に調整される。CPU46はまた、AF起動条件が満足されるときに、Yデータの高周波成分にAF処理を施す。フォーカスレンズ12はドライバ18aによって合焦点に配置され、これによってスルー画像の鮮鋭度が継続的に向上する。
【0024】
時計回路54は繰り返し発生されるパルスをカウントする。別途設定される基準時刻とこのカウントとによって、ディジタルビデオカメラ10の内部時計としての現在の時刻が決定される。基準時刻は、ディジタルビデオカメラ10の操作者によって初期設定されるようにしてもよいし、ディジタルビデオカメラ10が無線通信機能等を有する場合は外部機器から取り込むようにしてもよい。
【0025】
キー入力装置48に向けて記録開始操作が行われると、CPU46は、記録制御タスクの下でI/F42を通してメモリカード44にアクセスし、MP4ファイルをメモリカード44に新規に作成する(作成されたMP4ファイルはオープンされる)。作成されたMP4ファイルのヘッダには、時計回路54の出力に基づいて、現在の時刻が録画開始時刻TSmp4として記述される。
【0026】
ファイル作成&オープン処理が完了すると、CPU46は、MP4符号化処理を開始するべくMPEG4エンコーダ38を起動し、そして音声取り込み処理を開始するべくAACエンコーダ36を起動する。
【0027】
MP4エンコーダ38は、YUV画像エリア24bに格納されたYUV画像データをメモリ制御回路22を通して繰り返し読み出し、読み出された画像データをMPEG4方式に従って符号化し、そして符号化画像データつまりMP4データをメモリ制御回路22を通してSDRAM24の符号化画像エリア24c(図3参照)に書き込む。
【0028】
AACエンコーダ36は、マイクロフォン34から出力された音声データをAAC方式に従って符号化し、符号化音声データつまりAACデータをメモリ制御回路22を通してSDRAM24の符号化音声エリア24d(図3参照)に書き込む。
【0029】
CPU46はその後、60フレームのMP4データが得られる毎に、最新60フレームのMP4データおよび最新1秒分のAACデータをオープン状態のMP4ファイルに転送する。最新60フレームのMP4データおよび最新1秒分のAACデータは、メモリ制御回路22によって符号化画像エリア24cおよび符号化音声エリア24dから読み出され、I/F42を介してMP4ファイルに書き込まれる。したがって、MP4データおよびAACデータは、図4に示す要領でMP4ファイルに収められる。
【0030】
キー入力装置48に向けて記録終了操作が行われると、CPU46は、MP4符号化処理を終了するべくMPEG4エンコーダ38を停止し、そして音声取り込み処理を終了するべくAACエンコーダ36を停止する。
【0031】
CPU46はその後、終端処理を実行する。これによって、SDRAM24に残存する60フレーム未満のMP4データおよび1秒未満のAACデータがMP4ファイルに書き込まれる。さらに、MP4ファイルのヘッダには、時計回路54の出力に基づいて、現在の時刻が録画終了時刻TEmp4として記述される。オープン状態のMP4ファイルは、終端処理が完了した後にクローズされる。
【0032】
撮像モードが選択されたとき、CPU46は図5〜図6に示す記録制御タスクを実行する。なお、このタスクに対応する制御プログラムは、フラッシュメモリ52に記憶される。
【0033】
図5を参照して、ステップS1では動画取り込み処理を実行する。これによって、スルー画像がLCDモニタ32に表示される。ステップS3では記録開始操作が行われたか否かを繰り返し判別し、判別結果がNOからYESに更新されるとステップS5に進む。ステップS5では、I/F42を通してメモリカード44にアクセスし、オープン状態のMP4ファイルをメモリカード44に新規に作成する。作成されたMP4ファイルのヘッダには、時計回路54の出力に基づいて、現在の時刻が録画開始時刻TSmp4として記述される。
【0034】
ステップS7ではMP4符号化処理を開始するべくMPEG4エンコーダ38を起動し、ステップS9では音声取り込み処理を開始するべくAACエンコーダ36を起動する。
【0035】
ステップS11では変数Kを“1”に設定し、ステップS13では60*Kフレーム目のMP4データが完成したか否かを判別する。判別結果がNOからYESに更新されると、ステップS15以降の処理を実行する。
【0036】
ステップS15では、符号化画像エリア24cに格納された最新60フレームのMP4データをメモリ制御回路22を通して読み出し、読み出されたMP4データをI/F42を介してオープン状態のMP4ファイルに書き込む。ステップS17では、符号化音声エリア24dに格納された最新1秒分のAACデータをメモリ制御回路22を通して読み出し、読み出されたAACデータをI/F42を介してオープン状態のMP4ファイルに書き込む。
【0037】
ステップS19では、記録終了操作が行われたか否かを判別する。判別結果がNOであれば、ステップS21で変数KをインクリメントしてからステップS13に戻る。したがって、ステップS15〜S17の処理は、60フレームのMP4データが得られる毎に実行される。ステップS19の判別結果がNOからYESに更新されると、ステップS23に進む。
【0038】
ステップS23では、MP4符号化処理を終了するべくMPEG4エンコーダ38を停止し、ステップS25では音声取り込み処理を終了するべくAACエンコーダ36を停止する。
【0039】
ステップS27では、終端処理を実行する。これによって、SDRAM24に残存する60フレーム未満のMP4データおよび1秒未満のAACデータがMP4ファイルに書き込まれる。さらに、MP4ファイルのヘッダには、時計回路54の出力に基づいて、現在の時刻が録画終了時刻TEmp4として記述される。ステップS29では、I/F42を通してメモリカード44にアクセスし、オープン状態のMP4ファイルをクローズする。クローズ処理が完了すると、ステップS3に戻る。
【0040】
図7を参照して、この実施例のICレコーダ100は、キー入力装置120を含む。キー入力装置120によって電源投入操作が行われると、バッテリ(図示しない)に基づく電力がシステム全体に供給される。これによって、ICレコーダ100が起動する。
【0041】
時計回路154は繰り返し発生されるパルスをカウントする。別途設定される基準時刻とこのカウントとによって、ICレコーダ100の内部時計としての現在の時刻が決定される。基準時刻は、ICレコーダ100の操作者によって初期設定されるようにしてもよいし、ICレコーダ100が無線通信機能等を有する場合は外部機器から取り込むようにしてもよい。
【0042】
キー入力装置120によって記録モードが選択されかつ記録開始操作が行われると、MCU114は、記録制御タスクの下でI/F110を通してメモリカード112にアクセスし、PCMファイルをメモリカード112に新規に作成する(作成されたPCMファイルはオープンされる)。作成されたPCMファイルのヘッダには、時計回路154の出力に基づいて、現在の時刻が録音開始時刻TSpcmとして記述される。
【0043】
ファイル作成&オープン処理が完了すると、MCU114は、音声取り込み処理を開始するべくコーデック130を起動し、符号化命令をコーデック130に向けてそれぞれ発行する。コーデック130は、マイクロフォン122によって捉えられかつアンプ128によって増幅されたオーディオ信号をディジタルオーディオデータに符号化し、符号化されたオーディオデータをメモリ116に蓄積する。MCU114は、メモリ116に蓄積された符号化オーディオデータを、図8に示す要領でファイル形式によってメモリカード112に記録する。
【0044】
キー入力装置120に向けて記録終了操作が行われると、MPU114は、音声取り込み処理を終了するべくコーデック130を停止する。
【0045】
MPU114はその後、終端処理を実行する。これによって、メモリ116に残存するPCMデータがPCMファイルに書き込まれる。さらに、PCMファイルのヘッダには、時計回路154の出力に基づいて、現在の時刻が録音終了時刻TEpcmとして記述される。オープン状態のPCMファイルは、終端処理が完了した後にクローズされる。
【0046】
記録モードが選択されたとき、MCU114は図9に示す記録制御タスクを実行する。なお、このタスクに対応する制御プログラムは、フラッシュメモリ142に記憶される。
【0047】
図9を参照して、ステップS31では記録開始操作が行われたか否かを繰り返し判別し、判別結果がNOからYESに更新されるとステップS33に進む。ステップS33では、I/F110を通してメモリカード112にアクセスし、オープン状態のPCMファイルをメモリカード112に新規に作成する。作成されたPCMファイルのヘッダには、時計回路154の出力に基づいて、現在の時刻が録音開始時刻TSpcmとして記述される。ステップS35では音声取り込み処理を開始するべくコーデック130を起動する。
【0048】
ステップS37では、記録終了操作が行われたか否かを繰り返し判別し、判別結果がNOからYESに更新されるとステップS39に進む。ステップS39では、音声取り込み処理を終了するべくコーデック130を停止する。
【0049】
ステップS41では、終端処理を実行する。これによって、メモリ116に残存するPCMデータがPCMファイルに書き込まれる。さらに、PCMファイルのヘッダには、時計回路154の出力に基づいて、現在の時刻が録音終了時刻TEpcmとして記述される。ステップS43ではI/F110を通してメモリカード112にアクセスし、オープン状態のPCMファイルをクローズする。クローズ処理が完了すると、ステップS31に戻る。
【0050】
次に、ディジタルビデオカメラ10のキー入力装置48によってファイル編集モードが選択された場合の処理について説明する。
【0051】
例えば、講演会等において、講演者から離れた位置にディジタルビデオカメラ10を設置して講演会の映像をMP4データに記録し、講演者の近くにICレコーダ100を設置して講演者の鮮明な音声をPCMデータに記録することが考えられる。このようなときに各々の記録後にMP4データとPCMデータとを結合して編集ファイルを作成する場合を例に挙げて、説明する。
【0052】
ディジタルビデオカメラ10のキー入力装置48によってファイル編集モードが選択されると、ファイル編集タスクの下で、ディジタルビデオカメラ10のUSBコントローラ50にICレコーダ100が接続されているか否かが判別される。正常に接続されていない場合はその旨が操作者に警告される。
【0053】
操作者がキー入力装置48を通じてメモリカード44に記録されているいずれかのMP4ファイルを指定すると、CPU46は指定されたMP4ファイルのヘッダに記述されている録画開始時刻TSmp4および録画終了時刻TEmp4をI/F42を通じて検出する。
【0054】
CPU46は、まず変数Lを“1”に設定する。次に、CPU46は、ディジタルビデオカメラ10のUSBコントローラ50、ICレコーダ100のUSBコントローラ140およびI/F110を通じて、ICレコーダ100のメモリカード112にアクセスし、メモリカード112に記録されているPCMファイルのファイル数を検出する。検出されたファイル数は、変数Lの可変範囲を定義するべく、最大値Lmaxに設定される。
【0055】
メモリカード112に記憶されているPCMファイルのうち、L番目すなわちここでは最初のPCMファイルを指定して、そのヘッダから録音開始時刻TSpcmおよび録音終了時刻TEpcmを検出する。CPU46は、検出された録画開始時刻TSmp4と録音開始時刻TSpcmとの差分時間を“ΔTS”として算出し、算出された差分時間ΔTSが30秒以内か否かを判別する。30秒以内でない場合は、変数Lをインクリメントし、2番目以降のL番目のPCMファイルについても、同様にそのヘッダから録音開始時刻TSpcmおよび録音終了時刻TEpcmを検出する。そして、差分時間ΔTSを算出し、算出された差分時間ΔTSが30秒以内か否かを判別する。
【0056】
このようにして、CPU46は、メモリカード112に記憶されているPCMファイルに順にアクセスし、差分時間ΔTSが30秒以内となるPCMファイルを検索する。
【0057】
CPU46は、全てのPCMファイルにアクセスした結果、差分時間ΔTSが30秒以内となるPCMファイルが見つからなかった場合は、ファイル編集処理が不能である旨を操作者に報知する。見つかった場合は、操作者に指定されたMP4ファイルの録画とそのPCMファイルの録音とが同時に行われたものと判断して、これらの2つのファイルの結合処理を実行する。
【0058】
ファイル結合処理においては、主として、指定MP4ファイルに収められたAACデータを、指定PCMファイルに収められたPCMデータに置き換えることによって、これらの2つのファイルが結合される。また、指定MP4ファイルの録画開始時刻TSmp4と指定PCMファイルの録音開始時刻TSpcmとは完全には一致しないことが多いので、編集ファイルの先頭部分に対して以下の処理が実行される。
【0059】
図10(A)を参照して、録画開始時刻TSmp4が録音開始時刻TSpcmよりも先行している場合は、録画開始時刻TSmp4から録音開始時刻TSpcmまでの時間帯については、指定MP4ファイルに収められたAACデータが音声データとして利用される。録音開始時刻TSpcm以降で指定MP4ファイルの録画時間帯と指定PCMファイルの録音時間帯とが重複する時間帯については、指定PCMファイルに収められたPCMデータが音声データとして利用される。
【0060】
図10(B)を参照して、録音開始時刻TSpcmが録画開始時刻TSmp4よりも先行している場合は、録音開始時刻TSpcmから録画開始時刻TSmp4までの時間帯については、先に算出された差分時間ΔTSに相当する画像データが新たに作成され、作成された画像データが利用される。
【0061】
ここでの画像データの作成は、指定MP4ファイルの先頭フレームの画像を差分時間ΔTSに相当するフレーム数だけ複製することによって行われる。
【0062】
開始時刻と同様に、指定MP4ファイルの録画終了時刻TEmp4と指定PCMファイルの録音終了時刻TEpcmとは完全には一致しないことが多いので、編集ファイルの末尾部分に対して以下の処理が実行される。
【0063】
CPU46は、ファイル結合処理の下、録画終了時刻TEmp4と録音終了時刻TEpcmとの差分時間を“ΔTE”として算出する。
【0064】
図11(A)を参照して、録音終了時刻TEpcmが録画終了時刻TEmp4よりも先行している場合は、録音終了時刻TEpcmから録画終了時刻TEmp4までの時間帯については、指定MP4ファイルに収められたAACデータが音声データとして利用される。
【0065】
図11(B)を参照して、録画終了時刻TEmp4が録音終了時刻TEpcmよりも先行している場合は、録画終了時刻TEmp4から録音終了時刻TEpcmからまでの時間帯については、先に算出された差分時間ΔTEに相当する画像データが新たに作成され、作成された画像データが利用される。
【0066】
ここでの画像データの作成は、指定MP4ファイルの最終フレームの画像を差分時間ΔTEに相当するフレーム数だけ複製することによって行われる。
【0067】
以上のように、画像データについては、必要に応じて新たな画像データが作成されて、編集ファイルの先頭または末尾に追加される。
【0068】
音声データについては、まず、MP4ファイルの録画時間帯とPCMファイルの録音時間帯とが重複する時間帯については、指定MP4ファイルからAACデータが削除される。次に、指定PCMファイルに収められたPCMデータがAAC形式のデータに変換されて、AACデータが新たに作成される。そして、新たに作成されたAACデータが指定MP4ファイルに収められる。この際、元のAACデータのうち削除されなかったものがある場合は、残りのAACデータと新たに作成されたAACデータとが結合された上で指定MP4ファイルに収められる。
【0069】
このようにしてファイル結合処理が完了すると、CPU46は、編集ファイルが完成した旨を操作者に報知する。
【0070】
ファイル編集モードが選択されたとき、CPU46は、図12〜図15に示すファイル編集タスクを実行する。このタスクもまた、フラッシュメモリ52に記憶される。
【0071】
図12を参照して、ステップS51ではディジタルビデオカメラ10のUSBコントローラ50にICレコーダ100が正常に接続されているか否かを判別する。判別結果がNOであればステップS53で警告を発生してからステップS51に戻る一方、YESであればステップS55に進む。
【0072】
ステップS55ではファイル指定操作が行われたか否かを繰り返し判別し、判別結果がNOからYESに更新されるとステップS57に進む。ステップS57では、指定されたMP4ファイルのヘッダに記述されている録画開始時刻TSmp4をI/F42を通じて検出し、ステップS59では指定されたMP4ファイルのヘッダに記述されている録画終了時刻TEmp4をI/F42を通じて検出する。
【0073】
ステップS61では、変数Lに“1”を設定する。ステップS63では、ディジタルビデオカメラ10のUSBコントローラ50、ICレコーダ100のUSBコントローラ140およびI/F110を通じてICレコーダ100のメモリカード112にアクセスし、メモリカード112に記録されているPCMファイルのファイル数を検出する。検出されたファイル数は、変数Lの可変範囲を定義するべく、最大値Lmaxに設定される。
【0074】
ステップS65では、L番目のPCMファイルを指定する。ステップS67では指定されたPCMファイルのヘッダから録音開始時刻TSpcmを検出し、ステップS69では指定されたPCMファイルのヘッダから録音終了時刻TEpcmを検出する。
【0075】
ステップS71では検出された録画開始時刻TSmp4と録音開始時刻TSpcmとの差分時間を“ΔTS”として算出し、ステップS73では算出された差分時間ΔTSが30秒以内か否かを判別する。判別結果がNOであればステップS75に進む一方、YESであればステップS81に進む。
【0076】
ステップS75では変数Lをインクリメントし、ステップS77では変数Lが最大値Lmaxを超えたか否かを判別する。判別結果がNOであればステップS65に戻る一方、YESであればステップS79に進む。ステップS79ではファイル編集処理が不能である旨を操作者に報知し、その後に処理を終了する。ステップS81では、指定MP4ファイルと指定PCMファイルとを結合するべく、ファイル結合処理を実行する。ファイル結合処理が完了すると、編集後のファイルが完成した旨をステップS83で操作者に報知し、その後に処理を終了する。
【0077】
図13に示すステップS81のファイル結合処理は、図14〜図15に示すサブルーチンに従って実行される。ステップS91では、録画終了時刻TEmp4と録音終了時刻TEpcmとの差分時間を“ΔTE”として算出する。
【0078】
ステップS93では、録音開始時刻TSpcmが録画開始時刻TSmp4よりも先行しているか否かを判別し、判別結果がNOであればステップS99に進む一方、YESであればステップS95に進む。
【0079】
ステップS95では、指定MP4ファイルの先頭フレームの画像を差分時間ΔTSに相当するフレーム数だけ複製する。ステップS97ではステップS95で作成された画像データを指定MP4ファイルの先頭に追加する。
【0080】
ステップS99では、録画終了時刻TEmp4が録音終了時刻TEpcmよりも先行しているか否かを判別し、判別結果がNOであればステップS105に進む一方、YESであればステップS101に進む。
【0081】
ステップS101では、指定MP4ファイルの最終フレームの画像を差分時間ΔTEに相当するフレーム数だけ複製する。ステップS103ではステップS101で作成された画像データを指定MP4ファイルの末尾に追加する。
【0082】
ステップS105では、指定MP4ファイルの録画時間帯と指定PCMファイルの録音時間帯とが重複する時間帯について、指定MP4ファイルからAACデータを削除する。ステップS107では、指定PCMファイルに収められたPCMデータをAAC形式のデータに変換し、ステップS109では、変換されたAACデータを指定MP4ファイルに追加する。
【0083】
以上の説明から分かるように、CPU46は、第1ファイルに収められた画像データの取り込み時間帯を第1時間帯として検出し(S57, S59)、第2ファイルに収められた音声データの取り込み時間帯を第2時間帯として検出する
(S67, S69)。CPU46はまた、第2時間帯のうち第1時間帯と重複しない非重複時間帯に対応して基準画像データを第1ファイルに追加し(S95~S97, S101~S103)、第2ファイルに収められた音声データを第1時間帯と第2時間帯との重複時間帯に対応して第1ファイルに追加する(S105~S109)。
【0084】
第2ファイルに収められた音声データを重複時間帯に対応して第1ファイルに追加することで、画像データと音声データとを互いに同期する態様で再生することができる。また、基準画像データを非重複時間帯に対応して第1ファイルに追加することで、音声データと画像データとの対応関係を第1時間帯にわたって確保することができる。こうして、所望の品質を有する編集ファイルが作成される。
【0085】
なお、この実施例では、録音開始時刻TSpcmが録画開始時刻TSmp4よりも先行している場合に、編集ファイルの先頭部分の非重複時間帯には、編集前のMP4ファイルの先頭フレームを用いて作成された画像データを利用している。しかし、先頭フレーム以外の画像を用いて画像データを作成し、これを先頭部分の非重複時間帯に利用するようにしてもよい。例えば、先頭フレームを含むGOP(Group Of Picture)内の他のフレームの画像を用いるようにしてもよい。同様に、録画終了時刻TEmp4が録音終了時刻TEpcmよりも先行している場合に、最終フレーム以外の画像を用いて画像データを作成し、これを編集ファイルの末尾部分の非重複時間帯に利用するようにしてもよい。
【0086】
また、この実施例では、ディジタルビデオカメラ10とICレコーダ100とを接続し、ディジタルビデオカメラ10のCPU46にファイル編集タスクを実行させて、操作者がディジタルビデオカメラ10のキー入力装置48を操作してファイル編集を行うようにした。しかし、ICレコーダ100のMCU114にファイル編集タスクを実行させて、操作者がICレコーダ100のキー入力装置120を操作してファイル編集を行うようにしてもよい。
【0087】
さらに、メモリカード44および112等を通じて、MP4ファイルおよびPCMファイルを外部の装置に移動させ、ファイル移動後の装置においてファイル編集を行うようにしてもよい。例えば、MP4ファイルおよびPCMファイルをパーソナルコンピュータのハードディスクに取り込み、パーソナルコンピュータにおいてファイル編集を行うようにすることもできる。ただし、この場合は、図12に示すステップS51およびS53の処理は実行されず、ステップS63においては、ICレコーダ100のメモリカード112に代えてパーソナルコンピュータのハードディスクにアクセスする必要がある。
【0088】
また、この実施例では、ディジタルビデオカメラ10で得られた画像データおよび音声データ、ならびにICレコーダ100で得られた音声データを用いて、編集ファイルを作成している。しかし、これら以外の画像データと音声データとを組み合わせたものであっても、共通する時間軸の下で作成され、その時間帯を検出できるものであれば、本発明を適用することができる。例えば、複数台のディジタルビデオカメラを用いて同一の対象を撮影した場合等において、互いに異なるディジタルビデオカメラに記録された画像データと音声データとを組み合わせて、編集ファイルを作成するようにしてもよい。または、パーソナルコンピュータで作成された画像データまたは音声データをダウンロードしたものを、組み合わせに用いてもよい。
【0089】
また、この実施例では、画像データにはMP4形式のデータを用い、音声データにはAAC形式のデータおよびPCM形式のデータを用いている。しかし、これら以外の形式の画像データまたは音声データを用いるようにしてもよい。例えば、Motion JPEG形式の画像データおよびMP3形式の音声データ等を用いるようにしてもよい。
【符号の説明】
【0090】
10 … ディジタルビデオカメラ
36 … AACエンコーダ
38 … MPEG4エンコーダ
42 … I/F
44 … メモリカード
46 … CPU
48 … キー入力装置
50 … USBコントローラ
100 … ICレコーダ
110 … I/F
112 … メモリカード
140 … USBコントローラ
【技術分野】
【0001】
この発明は、ファイル編集装置に関し、特に電子カメラに用いられ、画像データと音声データとを編集する、ファイル編集装置に関する。
【背景技術】
【0002】
この種の装置の一例が、特許文献1に開示されている。この背景技術によれば、複数種類のデータが関連付けて記録される際に、記録手段はマーキング発生手段によって所定タイミングで発生される所定のマーキングデータを他のデータとともに記録する。特定データ取得手段は複数種類のデータのうち所定種類のデータを取得する。それを、特定データ記録手段はマーキングデータ発生手段によって発生されるマーキングデータとともに記録する。データ記録装置は、特定データ記録手段が記録しているマーキングデータと記録手段が記録しているマーキングデータとを同期させ、記録手段が記録している複数種類のデータのうち特定データ記録手段が記録しているデータと同じ種類のデータを、特定データ記録手段が記録しているデータで書き換える。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2007−213710号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、背景技術では、一方のデータの取り込み時間帯に他方のデータの取り込み時間帯と重複しない時間帯がある場合に、その重複しない時間帯に相当する箇所に対して特段の処理はなされない。よって、画像データを収めたファイルと音声データを収めたファイルとを同期させて編集する場合には、編集後のファイルに収められるデータの先頭または末尾に無画像部分または無音声部分が生じることがあり、編集ファイルの品質が低下するおそれがある。
【0005】
それゆえに、この発明の主たる目的は、編集ファイルの品質を向上させることができる、ファイル編集装置を提供することである。
【課題を解決するための手段】
【0006】
この発明に従うファイル編集装置(10:実施例で相当する参照符号。以下同じ)は、第1ファイルに収められた画像データの取り込み時間帯を第1時間帯として検出する第1検出手段(S57, S59)、第2ファイルに収められた音声データの取り込み時間帯を第2時間帯として検出する第2検出手段(S67, S69)、第2時間帯のうち第1時間帯と重複しない非重複時間帯に対応して基準画像データを第1ファイルに追加する第1追加手段(S95~S97, S101~S103)、および第2ファイルに収められた音声データを第1時間帯と第2時間帯との重複時間帯に対応して第1ファイルに追加する第2追加手段(S105~S109)を備える。
【0007】
好ましくは、第1ファイルは音声データをさらに収め、第2追加手段は重複時間帯に対応して第1ファイルに収められた音声データを第2ファイルに収められた音声データによって置換する。
【0008】
好ましくは、第1追加手段は第1ファイルに収められた画像データの一部を複製して基準画像データを作成する複製手段(S95, S101)を含む。
【0009】
さらに好ましくは、複製手段は非重複時間帯が第1時間帯に先立つ時間帯であるとき画像データの先頭フレームを複製する。
【0010】
さらに好ましくは、複製手段は非重複時間帯が第1時間帯に遅れる時間帯であるとき画像データの最終フレームを複製する。
【0011】
好ましくは、第1時間帯の先頭時刻と第2時間帯の先頭時刻との相違が基準を下回るか否かを判別する判別手段(S73)、判別手段の判別結果が否定的であるとき別の第2ファイルを第2検出手段の検出処理のために指定する指定手段(S75)、および判別手段の判別結果が肯定的であるとき第1追加手段および/または第2追加手段を起動する起動手段(S91)をさらに備える。
【発明の効果】
【0012】
第2ファイルに収められた音声データを重複時間帯に対応して第1ファイルに追加することで、画像データと音声データとを互いに同期する態様で再生することができる。また、基準画像データを非重複時間帯に対応して第1ファイルに追加することで、音声データと画像データとの対応関係を第1時間帯にわたって確保することができる。こうして、所望の品質を有する編集ファイルが作成される。
【0013】
この発明の上述の目的,その他の目的,特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【0014】
【図1】この発明の基本的構成を示すブロック図である。
【図2】この発明の一実施例の構成の一部を示すブロック図である。
【図3】図2実施例に適用されるSDRAMのマッピング状態の一例を示す図解図である。
【図4】MP4ファイルのデータ構造の一例を示す図解図である。
【図5】図2実施例に適用されるCPUの動作の一部を示すフロー図である。
【図6】図2実施例に適用されるCPUの動作の他の一部を示すフロー図である。
【図7】この発明の一実施例の構成の他の一部を示すブロック図である。
【図8】PCMファイルのデータ構造の一例を示す図解図である。
【図9】図2実施例に適用されるMCUの動作の一部を示すフロー図である。
【図10】(A)MP4ファイルおよびPCMファイルの各々の取り込み時間帯の重複の一例を示す図解図であり、(B)はMP4ファイルおよびPCMファイルの各々の取り込み時間帯の重複の他の一例を示す図解図である。
【図11】(A)はMP4ファイルおよびPCMファイルの各々の取り込み時間帯の重複のその他の一例を示す図解図であり、(B)はMP4ファイルおよびPCMファイルの各々の取り込み時間帯の重複のさらにその他の一例を示す図解図である。
【図12】図2実施例に適用されるCPUの動作のその他の一部を示すフロー図である。
【図13】図2実施例に適用されるCPUの動作のさらにその他の一部を示すフロー図である。
【図14】図2実施例に適用されるCPUの動作の他の一部を示すフロー図である。
【図15】図2実施例に適用されるCPUの動作のその他の一部を示すフロー図である。
【発明を実施するための形態】
【0015】
以下、この発明の実施の形態を図面を参照しながら説明する。
[基本的構成]
【0016】
図1を参照して、この発明のファイル編集装置は、基本的に次のように構成される。第1検出手段1は、第1ファイルに収められた画像データの取り込み時間帯を第1時間帯として検出する。第2検出手段2は、第2ファイルに収められた音声データの取り込み時間帯を第2時間帯として検出する。第1追加手段3は、第2時間帯のうち第1時間帯と重複しない非重複時間帯に対応して基準画像データを第1ファイルに追加する。第2追加手段4は、第2ファイルに収められた音声データを第1時間帯と第2時間帯との重複時間帯に対応して第1ファイルに追加する。
【0017】
第2ファイルに収められた音声データを重複時間帯に対応して第1ファイルに追加することで、画像データと音声データとを互いに同期する態様で再生することができる。また、基準画像データを非重複時間帯に対応して第1ファイルに追加することで、音声データと画像データとの対応関係を第1時間帯にわたって確保することができる。こうして、所望の品質を有する編集ファイルが作成される。
[実施例]
【0018】
図2を参照して、この実施例のディジタルビデオカメラ10は、ドライバ18aおよび18bによってそれぞれ駆動されるフォーカスレンズ12および絞りユニット14を含む。被写界の光学像は、これらの部材を通してイメージセンサ16の撮像面に照射される。
【0019】
キー入力装置48によって撮像モードが選択されると、CPU46は、記録制御タスクの下で動画取り込み処理を実行するべく、ドライバ18cを起動する。ドライバ18cは、1/60秒毎に発生する垂直同期信号Vsyncに応答して、撮像面を露光し、撮像面で生成された電荷を順次走査態様で読み出す。イメージセンサ16からは、被写界を表す生画像データが60fpsのフレームレートで出力される。
【0020】
前処理回路20は、イメージセンサ16から出力された生画像データにディジタルクランプ,画素欠陥補正,ゲイン制御などの処理を施す。このような前処理を施された生画像データは、メモリ制御回路22を通してSDRAM24の生画像エリア24a(図3参照)に書き込まれる。
【0021】
後処理回路26は、メモリ制御回路22を通して生画像エリア24aにアクセスし、生画像データを順次走査態様で1/60秒毎に読み出す。読み出された生画像データは色分離,白バランス調整,YUV変換,エッジ強調,ズームなどの処理を施され、この結果、YUV画像データが作成される。作成されたYUV画像データは、メモリ制御回路22を通してSDRAM24のYUV画像エリア24b(図3参照)に書き込まれる。
【0022】
LCDドライバ30は、YUV画像エリア24bに格納されたYUV画像データを繰り返し読み出し、読み出された画像データをLCDモニタ32の解像度に適合するように縮小し、そして縮小された画像データに基づいてLCDモニタ32を駆動する。この結果、被写界を表すリアルタイム動画像(スルー画像)がモニタ画面に表示される。
【0023】
前処理回路20はまた、生画像データを簡易的にYデータに変換し、変換されたYデータをCPU46に与える。CPU46は、YデータにAE処理を施し、適正EV値を算出する。算出された適正EV値を定義する絞り量および露光時間はドライバ18bおよび18cにそれぞれ設定され、これによってスルー画像の明るさが適度に調整される。CPU46はまた、AF起動条件が満足されるときに、Yデータの高周波成分にAF処理を施す。フォーカスレンズ12はドライバ18aによって合焦点に配置され、これによってスルー画像の鮮鋭度が継続的に向上する。
【0024】
時計回路54は繰り返し発生されるパルスをカウントする。別途設定される基準時刻とこのカウントとによって、ディジタルビデオカメラ10の内部時計としての現在の時刻が決定される。基準時刻は、ディジタルビデオカメラ10の操作者によって初期設定されるようにしてもよいし、ディジタルビデオカメラ10が無線通信機能等を有する場合は外部機器から取り込むようにしてもよい。
【0025】
キー入力装置48に向けて記録開始操作が行われると、CPU46は、記録制御タスクの下でI/F42を通してメモリカード44にアクセスし、MP4ファイルをメモリカード44に新規に作成する(作成されたMP4ファイルはオープンされる)。作成されたMP4ファイルのヘッダには、時計回路54の出力に基づいて、現在の時刻が録画開始時刻TSmp4として記述される。
【0026】
ファイル作成&オープン処理が完了すると、CPU46は、MP4符号化処理を開始するべくMPEG4エンコーダ38を起動し、そして音声取り込み処理を開始するべくAACエンコーダ36を起動する。
【0027】
MP4エンコーダ38は、YUV画像エリア24bに格納されたYUV画像データをメモリ制御回路22を通して繰り返し読み出し、読み出された画像データをMPEG4方式に従って符号化し、そして符号化画像データつまりMP4データをメモリ制御回路22を通してSDRAM24の符号化画像エリア24c(図3参照)に書き込む。
【0028】
AACエンコーダ36は、マイクロフォン34から出力された音声データをAAC方式に従って符号化し、符号化音声データつまりAACデータをメモリ制御回路22を通してSDRAM24の符号化音声エリア24d(図3参照)に書き込む。
【0029】
CPU46はその後、60フレームのMP4データが得られる毎に、最新60フレームのMP4データおよび最新1秒分のAACデータをオープン状態のMP4ファイルに転送する。最新60フレームのMP4データおよび最新1秒分のAACデータは、メモリ制御回路22によって符号化画像エリア24cおよび符号化音声エリア24dから読み出され、I/F42を介してMP4ファイルに書き込まれる。したがって、MP4データおよびAACデータは、図4に示す要領でMP4ファイルに収められる。
【0030】
キー入力装置48に向けて記録終了操作が行われると、CPU46は、MP4符号化処理を終了するべくMPEG4エンコーダ38を停止し、そして音声取り込み処理を終了するべくAACエンコーダ36を停止する。
【0031】
CPU46はその後、終端処理を実行する。これによって、SDRAM24に残存する60フレーム未満のMP4データおよび1秒未満のAACデータがMP4ファイルに書き込まれる。さらに、MP4ファイルのヘッダには、時計回路54の出力に基づいて、現在の時刻が録画終了時刻TEmp4として記述される。オープン状態のMP4ファイルは、終端処理が完了した後にクローズされる。
【0032】
撮像モードが選択されたとき、CPU46は図5〜図6に示す記録制御タスクを実行する。なお、このタスクに対応する制御プログラムは、フラッシュメモリ52に記憶される。
【0033】
図5を参照して、ステップS1では動画取り込み処理を実行する。これによって、スルー画像がLCDモニタ32に表示される。ステップS3では記録開始操作が行われたか否かを繰り返し判別し、判別結果がNOからYESに更新されるとステップS5に進む。ステップS5では、I/F42を通してメモリカード44にアクセスし、オープン状態のMP4ファイルをメモリカード44に新規に作成する。作成されたMP4ファイルのヘッダには、時計回路54の出力に基づいて、現在の時刻が録画開始時刻TSmp4として記述される。
【0034】
ステップS7ではMP4符号化処理を開始するべくMPEG4エンコーダ38を起動し、ステップS9では音声取り込み処理を開始するべくAACエンコーダ36を起動する。
【0035】
ステップS11では変数Kを“1”に設定し、ステップS13では60*Kフレーム目のMP4データが完成したか否かを判別する。判別結果がNOからYESに更新されると、ステップS15以降の処理を実行する。
【0036】
ステップS15では、符号化画像エリア24cに格納された最新60フレームのMP4データをメモリ制御回路22を通して読み出し、読み出されたMP4データをI/F42を介してオープン状態のMP4ファイルに書き込む。ステップS17では、符号化音声エリア24dに格納された最新1秒分のAACデータをメモリ制御回路22を通して読み出し、読み出されたAACデータをI/F42を介してオープン状態のMP4ファイルに書き込む。
【0037】
ステップS19では、記録終了操作が行われたか否かを判別する。判別結果がNOであれば、ステップS21で変数KをインクリメントしてからステップS13に戻る。したがって、ステップS15〜S17の処理は、60フレームのMP4データが得られる毎に実行される。ステップS19の判別結果がNOからYESに更新されると、ステップS23に進む。
【0038】
ステップS23では、MP4符号化処理を終了するべくMPEG4エンコーダ38を停止し、ステップS25では音声取り込み処理を終了するべくAACエンコーダ36を停止する。
【0039】
ステップS27では、終端処理を実行する。これによって、SDRAM24に残存する60フレーム未満のMP4データおよび1秒未満のAACデータがMP4ファイルに書き込まれる。さらに、MP4ファイルのヘッダには、時計回路54の出力に基づいて、現在の時刻が録画終了時刻TEmp4として記述される。ステップS29では、I/F42を通してメモリカード44にアクセスし、オープン状態のMP4ファイルをクローズする。クローズ処理が完了すると、ステップS3に戻る。
【0040】
図7を参照して、この実施例のICレコーダ100は、キー入力装置120を含む。キー入力装置120によって電源投入操作が行われると、バッテリ(図示しない)に基づく電力がシステム全体に供給される。これによって、ICレコーダ100が起動する。
【0041】
時計回路154は繰り返し発生されるパルスをカウントする。別途設定される基準時刻とこのカウントとによって、ICレコーダ100の内部時計としての現在の時刻が決定される。基準時刻は、ICレコーダ100の操作者によって初期設定されるようにしてもよいし、ICレコーダ100が無線通信機能等を有する場合は外部機器から取り込むようにしてもよい。
【0042】
キー入力装置120によって記録モードが選択されかつ記録開始操作が行われると、MCU114は、記録制御タスクの下でI/F110を通してメモリカード112にアクセスし、PCMファイルをメモリカード112に新規に作成する(作成されたPCMファイルはオープンされる)。作成されたPCMファイルのヘッダには、時計回路154の出力に基づいて、現在の時刻が録音開始時刻TSpcmとして記述される。
【0043】
ファイル作成&オープン処理が完了すると、MCU114は、音声取り込み処理を開始するべくコーデック130を起動し、符号化命令をコーデック130に向けてそれぞれ発行する。コーデック130は、マイクロフォン122によって捉えられかつアンプ128によって増幅されたオーディオ信号をディジタルオーディオデータに符号化し、符号化されたオーディオデータをメモリ116に蓄積する。MCU114は、メモリ116に蓄積された符号化オーディオデータを、図8に示す要領でファイル形式によってメモリカード112に記録する。
【0044】
キー入力装置120に向けて記録終了操作が行われると、MPU114は、音声取り込み処理を終了するべくコーデック130を停止する。
【0045】
MPU114はその後、終端処理を実行する。これによって、メモリ116に残存するPCMデータがPCMファイルに書き込まれる。さらに、PCMファイルのヘッダには、時計回路154の出力に基づいて、現在の時刻が録音終了時刻TEpcmとして記述される。オープン状態のPCMファイルは、終端処理が完了した後にクローズされる。
【0046】
記録モードが選択されたとき、MCU114は図9に示す記録制御タスクを実行する。なお、このタスクに対応する制御プログラムは、フラッシュメモリ142に記憶される。
【0047】
図9を参照して、ステップS31では記録開始操作が行われたか否かを繰り返し判別し、判別結果がNOからYESに更新されるとステップS33に進む。ステップS33では、I/F110を通してメモリカード112にアクセスし、オープン状態のPCMファイルをメモリカード112に新規に作成する。作成されたPCMファイルのヘッダには、時計回路154の出力に基づいて、現在の時刻が録音開始時刻TSpcmとして記述される。ステップS35では音声取り込み処理を開始するべくコーデック130を起動する。
【0048】
ステップS37では、記録終了操作が行われたか否かを繰り返し判別し、判別結果がNOからYESに更新されるとステップS39に進む。ステップS39では、音声取り込み処理を終了するべくコーデック130を停止する。
【0049】
ステップS41では、終端処理を実行する。これによって、メモリ116に残存するPCMデータがPCMファイルに書き込まれる。さらに、PCMファイルのヘッダには、時計回路154の出力に基づいて、現在の時刻が録音終了時刻TEpcmとして記述される。ステップS43ではI/F110を通してメモリカード112にアクセスし、オープン状態のPCMファイルをクローズする。クローズ処理が完了すると、ステップS31に戻る。
【0050】
次に、ディジタルビデオカメラ10のキー入力装置48によってファイル編集モードが選択された場合の処理について説明する。
【0051】
例えば、講演会等において、講演者から離れた位置にディジタルビデオカメラ10を設置して講演会の映像をMP4データに記録し、講演者の近くにICレコーダ100を設置して講演者の鮮明な音声をPCMデータに記録することが考えられる。このようなときに各々の記録後にMP4データとPCMデータとを結合して編集ファイルを作成する場合を例に挙げて、説明する。
【0052】
ディジタルビデオカメラ10のキー入力装置48によってファイル編集モードが選択されると、ファイル編集タスクの下で、ディジタルビデオカメラ10のUSBコントローラ50にICレコーダ100が接続されているか否かが判別される。正常に接続されていない場合はその旨が操作者に警告される。
【0053】
操作者がキー入力装置48を通じてメモリカード44に記録されているいずれかのMP4ファイルを指定すると、CPU46は指定されたMP4ファイルのヘッダに記述されている録画開始時刻TSmp4および録画終了時刻TEmp4をI/F42を通じて検出する。
【0054】
CPU46は、まず変数Lを“1”に設定する。次に、CPU46は、ディジタルビデオカメラ10のUSBコントローラ50、ICレコーダ100のUSBコントローラ140およびI/F110を通じて、ICレコーダ100のメモリカード112にアクセスし、メモリカード112に記録されているPCMファイルのファイル数を検出する。検出されたファイル数は、変数Lの可変範囲を定義するべく、最大値Lmaxに設定される。
【0055】
メモリカード112に記憶されているPCMファイルのうち、L番目すなわちここでは最初のPCMファイルを指定して、そのヘッダから録音開始時刻TSpcmおよび録音終了時刻TEpcmを検出する。CPU46は、検出された録画開始時刻TSmp4と録音開始時刻TSpcmとの差分時間を“ΔTS”として算出し、算出された差分時間ΔTSが30秒以内か否かを判別する。30秒以内でない場合は、変数Lをインクリメントし、2番目以降のL番目のPCMファイルについても、同様にそのヘッダから録音開始時刻TSpcmおよび録音終了時刻TEpcmを検出する。そして、差分時間ΔTSを算出し、算出された差分時間ΔTSが30秒以内か否かを判別する。
【0056】
このようにして、CPU46は、メモリカード112に記憶されているPCMファイルに順にアクセスし、差分時間ΔTSが30秒以内となるPCMファイルを検索する。
【0057】
CPU46は、全てのPCMファイルにアクセスした結果、差分時間ΔTSが30秒以内となるPCMファイルが見つからなかった場合は、ファイル編集処理が不能である旨を操作者に報知する。見つかった場合は、操作者に指定されたMP4ファイルの録画とそのPCMファイルの録音とが同時に行われたものと判断して、これらの2つのファイルの結合処理を実行する。
【0058】
ファイル結合処理においては、主として、指定MP4ファイルに収められたAACデータを、指定PCMファイルに収められたPCMデータに置き換えることによって、これらの2つのファイルが結合される。また、指定MP4ファイルの録画開始時刻TSmp4と指定PCMファイルの録音開始時刻TSpcmとは完全には一致しないことが多いので、編集ファイルの先頭部分に対して以下の処理が実行される。
【0059】
図10(A)を参照して、録画開始時刻TSmp4が録音開始時刻TSpcmよりも先行している場合は、録画開始時刻TSmp4から録音開始時刻TSpcmまでの時間帯については、指定MP4ファイルに収められたAACデータが音声データとして利用される。録音開始時刻TSpcm以降で指定MP4ファイルの録画時間帯と指定PCMファイルの録音時間帯とが重複する時間帯については、指定PCMファイルに収められたPCMデータが音声データとして利用される。
【0060】
図10(B)を参照して、録音開始時刻TSpcmが録画開始時刻TSmp4よりも先行している場合は、録音開始時刻TSpcmから録画開始時刻TSmp4までの時間帯については、先に算出された差分時間ΔTSに相当する画像データが新たに作成され、作成された画像データが利用される。
【0061】
ここでの画像データの作成は、指定MP4ファイルの先頭フレームの画像を差分時間ΔTSに相当するフレーム数だけ複製することによって行われる。
【0062】
開始時刻と同様に、指定MP4ファイルの録画終了時刻TEmp4と指定PCMファイルの録音終了時刻TEpcmとは完全には一致しないことが多いので、編集ファイルの末尾部分に対して以下の処理が実行される。
【0063】
CPU46は、ファイル結合処理の下、録画終了時刻TEmp4と録音終了時刻TEpcmとの差分時間を“ΔTE”として算出する。
【0064】
図11(A)を参照して、録音終了時刻TEpcmが録画終了時刻TEmp4よりも先行している場合は、録音終了時刻TEpcmから録画終了時刻TEmp4までの時間帯については、指定MP4ファイルに収められたAACデータが音声データとして利用される。
【0065】
図11(B)を参照して、録画終了時刻TEmp4が録音終了時刻TEpcmよりも先行している場合は、録画終了時刻TEmp4から録音終了時刻TEpcmからまでの時間帯については、先に算出された差分時間ΔTEに相当する画像データが新たに作成され、作成された画像データが利用される。
【0066】
ここでの画像データの作成は、指定MP4ファイルの最終フレームの画像を差分時間ΔTEに相当するフレーム数だけ複製することによって行われる。
【0067】
以上のように、画像データについては、必要に応じて新たな画像データが作成されて、編集ファイルの先頭または末尾に追加される。
【0068】
音声データについては、まず、MP4ファイルの録画時間帯とPCMファイルの録音時間帯とが重複する時間帯については、指定MP4ファイルからAACデータが削除される。次に、指定PCMファイルに収められたPCMデータがAAC形式のデータに変換されて、AACデータが新たに作成される。そして、新たに作成されたAACデータが指定MP4ファイルに収められる。この際、元のAACデータのうち削除されなかったものがある場合は、残りのAACデータと新たに作成されたAACデータとが結合された上で指定MP4ファイルに収められる。
【0069】
このようにしてファイル結合処理が完了すると、CPU46は、編集ファイルが完成した旨を操作者に報知する。
【0070】
ファイル編集モードが選択されたとき、CPU46は、図12〜図15に示すファイル編集タスクを実行する。このタスクもまた、フラッシュメモリ52に記憶される。
【0071】
図12を参照して、ステップS51ではディジタルビデオカメラ10のUSBコントローラ50にICレコーダ100が正常に接続されているか否かを判別する。判別結果がNOであればステップS53で警告を発生してからステップS51に戻る一方、YESであればステップS55に進む。
【0072】
ステップS55ではファイル指定操作が行われたか否かを繰り返し判別し、判別結果がNOからYESに更新されるとステップS57に進む。ステップS57では、指定されたMP4ファイルのヘッダに記述されている録画開始時刻TSmp4をI/F42を通じて検出し、ステップS59では指定されたMP4ファイルのヘッダに記述されている録画終了時刻TEmp4をI/F42を通じて検出する。
【0073】
ステップS61では、変数Lに“1”を設定する。ステップS63では、ディジタルビデオカメラ10のUSBコントローラ50、ICレコーダ100のUSBコントローラ140およびI/F110を通じてICレコーダ100のメモリカード112にアクセスし、メモリカード112に記録されているPCMファイルのファイル数を検出する。検出されたファイル数は、変数Lの可変範囲を定義するべく、最大値Lmaxに設定される。
【0074】
ステップS65では、L番目のPCMファイルを指定する。ステップS67では指定されたPCMファイルのヘッダから録音開始時刻TSpcmを検出し、ステップS69では指定されたPCMファイルのヘッダから録音終了時刻TEpcmを検出する。
【0075】
ステップS71では検出された録画開始時刻TSmp4と録音開始時刻TSpcmとの差分時間を“ΔTS”として算出し、ステップS73では算出された差分時間ΔTSが30秒以内か否かを判別する。判別結果がNOであればステップS75に進む一方、YESであればステップS81に進む。
【0076】
ステップS75では変数Lをインクリメントし、ステップS77では変数Lが最大値Lmaxを超えたか否かを判別する。判別結果がNOであればステップS65に戻る一方、YESであればステップS79に進む。ステップS79ではファイル編集処理が不能である旨を操作者に報知し、その後に処理を終了する。ステップS81では、指定MP4ファイルと指定PCMファイルとを結合するべく、ファイル結合処理を実行する。ファイル結合処理が完了すると、編集後のファイルが完成した旨をステップS83で操作者に報知し、その後に処理を終了する。
【0077】
図13に示すステップS81のファイル結合処理は、図14〜図15に示すサブルーチンに従って実行される。ステップS91では、録画終了時刻TEmp4と録音終了時刻TEpcmとの差分時間を“ΔTE”として算出する。
【0078】
ステップS93では、録音開始時刻TSpcmが録画開始時刻TSmp4よりも先行しているか否かを判別し、判別結果がNOであればステップS99に進む一方、YESであればステップS95に進む。
【0079】
ステップS95では、指定MP4ファイルの先頭フレームの画像を差分時間ΔTSに相当するフレーム数だけ複製する。ステップS97ではステップS95で作成された画像データを指定MP4ファイルの先頭に追加する。
【0080】
ステップS99では、録画終了時刻TEmp4が録音終了時刻TEpcmよりも先行しているか否かを判別し、判別結果がNOであればステップS105に進む一方、YESであればステップS101に進む。
【0081】
ステップS101では、指定MP4ファイルの最終フレームの画像を差分時間ΔTEに相当するフレーム数だけ複製する。ステップS103ではステップS101で作成された画像データを指定MP4ファイルの末尾に追加する。
【0082】
ステップS105では、指定MP4ファイルの録画時間帯と指定PCMファイルの録音時間帯とが重複する時間帯について、指定MP4ファイルからAACデータを削除する。ステップS107では、指定PCMファイルに収められたPCMデータをAAC形式のデータに変換し、ステップS109では、変換されたAACデータを指定MP4ファイルに追加する。
【0083】
以上の説明から分かるように、CPU46は、第1ファイルに収められた画像データの取り込み時間帯を第1時間帯として検出し(S57, S59)、第2ファイルに収められた音声データの取り込み時間帯を第2時間帯として検出する
(S67, S69)。CPU46はまた、第2時間帯のうち第1時間帯と重複しない非重複時間帯に対応して基準画像データを第1ファイルに追加し(S95~S97, S101~S103)、第2ファイルに収められた音声データを第1時間帯と第2時間帯との重複時間帯に対応して第1ファイルに追加する(S105~S109)。
【0084】
第2ファイルに収められた音声データを重複時間帯に対応して第1ファイルに追加することで、画像データと音声データとを互いに同期する態様で再生することができる。また、基準画像データを非重複時間帯に対応して第1ファイルに追加することで、音声データと画像データとの対応関係を第1時間帯にわたって確保することができる。こうして、所望の品質を有する編集ファイルが作成される。
【0085】
なお、この実施例では、録音開始時刻TSpcmが録画開始時刻TSmp4よりも先行している場合に、編集ファイルの先頭部分の非重複時間帯には、編集前のMP4ファイルの先頭フレームを用いて作成された画像データを利用している。しかし、先頭フレーム以外の画像を用いて画像データを作成し、これを先頭部分の非重複時間帯に利用するようにしてもよい。例えば、先頭フレームを含むGOP(Group Of Picture)内の他のフレームの画像を用いるようにしてもよい。同様に、録画終了時刻TEmp4が録音終了時刻TEpcmよりも先行している場合に、最終フレーム以外の画像を用いて画像データを作成し、これを編集ファイルの末尾部分の非重複時間帯に利用するようにしてもよい。
【0086】
また、この実施例では、ディジタルビデオカメラ10とICレコーダ100とを接続し、ディジタルビデオカメラ10のCPU46にファイル編集タスクを実行させて、操作者がディジタルビデオカメラ10のキー入力装置48を操作してファイル編集を行うようにした。しかし、ICレコーダ100のMCU114にファイル編集タスクを実行させて、操作者がICレコーダ100のキー入力装置120を操作してファイル編集を行うようにしてもよい。
【0087】
さらに、メモリカード44および112等を通じて、MP4ファイルおよびPCMファイルを外部の装置に移動させ、ファイル移動後の装置においてファイル編集を行うようにしてもよい。例えば、MP4ファイルおよびPCMファイルをパーソナルコンピュータのハードディスクに取り込み、パーソナルコンピュータにおいてファイル編集を行うようにすることもできる。ただし、この場合は、図12に示すステップS51およびS53の処理は実行されず、ステップS63においては、ICレコーダ100のメモリカード112に代えてパーソナルコンピュータのハードディスクにアクセスする必要がある。
【0088】
また、この実施例では、ディジタルビデオカメラ10で得られた画像データおよび音声データ、ならびにICレコーダ100で得られた音声データを用いて、編集ファイルを作成している。しかし、これら以外の画像データと音声データとを組み合わせたものであっても、共通する時間軸の下で作成され、その時間帯を検出できるものであれば、本発明を適用することができる。例えば、複数台のディジタルビデオカメラを用いて同一の対象を撮影した場合等において、互いに異なるディジタルビデオカメラに記録された画像データと音声データとを組み合わせて、編集ファイルを作成するようにしてもよい。または、パーソナルコンピュータで作成された画像データまたは音声データをダウンロードしたものを、組み合わせに用いてもよい。
【0089】
また、この実施例では、画像データにはMP4形式のデータを用い、音声データにはAAC形式のデータおよびPCM形式のデータを用いている。しかし、これら以外の形式の画像データまたは音声データを用いるようにしてもよい。例えば、Motion JPEG形式の画像データおよびMP3形式の音声データ等を用いるようにしてもよい。
【符号の説明】
【0090】
10 … ディジタルビデオカメラ
36 … AACエンコーダ
38 … MPEG4エンコーダ
42 … I/F
44 … メモリカード
46 … CPU
48 … キー入力装置
50 … USBコントローラ
100 … ICレコーダ
110 … I/F
112 … メモリカード
140 … USBコントローラ
【特許請求の範囲】
【請求項1】
第1ファイルに収められた画像データの取り込み時間帯を第1時間帯として検出する第1検出手段、
第2ファイルに収められた音声データの取り込み時間帯を第2時間帯として検出する第2検出手段、
前記第2時間帯のうち前記第1時間帯と重複しない非重複時間帯に対応して基準画像データを前記第1ファイルに追加する第1追加手段、および
前記第2ファイルに収められた音声データを前記第1時間帯と前記第2時間帯との重複時間帯に対応して前記第1ファイルに追加する第2追加手段を備える、ファイル編集装置。
【請求項2】
前記第1ファイルは音声データをさらに収め、
前記第2追加手段は前記重複時間帯に対応して前記第1ファイルに収められた音声データを前記第2ファイルに収められた音声データによって置換する、請求項1記載のファイル編集装置。
【請求項3】
前記第1追加手段は前記第1ファイルに収められた画像データの一部を複製して前記基準画像データを作成する複製手段を含む、請求項1または2記載のファイル編集装置。
【請求項4】
前記複製手段は前記非重複時間帯が前記第1時間帯に先立つ時間帯であるとき前記画像データの先頭フレームを複製する、請求項3記載のファイル編集装置。
【請求項5】
前記複製手段は前記非重複時間帯が前記第1時間帯に遅れる時間帯であるとき前記画像データの最終フレームを複製する、請求項3または4記載のファイル編集装置。
【請求項6】
前記第1時間帯の先頭時刻と前記第2時間帯の先頭時刻との相違が基準を下回るか否かを判別する判別手段、
前記判別手段の判別結果が否定的であるとき別の第2ファイルを前記第2検出手段の検出処理のために指定する指定手段、および
前記判別手段の判別結果が肯定的であるとき前記第1追加手段および/または前記第2追加手段を起動する起動手段をさらに備える、請求項1ないし5のいずれかに記載のファイル編集装置。
【請求項7】
ファイル編集装置のプロセッサに、
第1ファイルに収められた画像データの取り込み時間帯を第1時間帯として検出する第1検出ステップ、
第2ファイルに収められた音声データの取り込み時間帯を第2時間帯として検出する第2検出ステップ、
前記第2時間帯のうち前記第1時間帯と重複しない非重複時間帯に対応して基準画像データを前記第1ファイルに追加する第1追加ステップ、および
前記第2ファイルに収められた音声データを前記第1時間帯と前記第2時間帯との重複時間帯に対応して前記第1ファイルに追加する第2追加ステップを実行させるための、ファイル編集プログラム。
【請求項8】
ファイル編集装置によって実行されるファイル編集方法であって、
第1ファイルに収められた画像データの取り込み時間帯を第1時間帯として検出する第1検出ステップ、
第2ファイルに収められた音声データの取り込み時間帯を第2時間帯として検出する第2検出ステップ、
前記第2時間帯のうち前記第1時間帯と重複しない非重複時間帯に対応して基準画像データを前記第1ファイルに追加する第1追加ステップ、および
前記第2ファイルに収められた音声データを前記第1時間帯と前記第2時間帯との重複時間帯に対応して前記第1ファイルに追加する第2追加ステップを備える、ファイル編集方法。
【請求項1】
第1ファイルに収められた画像データの取り込み時間帯を第1時間帯として検出する第1検出手段、
第2ファイルに収められた音声データの取り込み時間帯を第2時間帯として検出する第2検出手段、
前記第2時間帯のうち前記第1時間帯と重複しない非重複時間帯に対応して基準画像データを前記第1ファイルに追加する第1追加手段、および
前記第2ファイルに収められた音声データを前記第1時間帯と前記第2時間帯との重複時間帯に対応して前記第1ファイルに追加する第2追加手段を備える、ファイル編集装置。
【請求項2】
前記第1ファイルは音声データをさらに収め、
前記第2追加手段は前記重複時間帯に対応して前記第1ファイルに収められた音声データを前記第2ファイルに収められた音声データによって置換する、請求項1記載のファイル編集装置。
【請求項3】
前記第1追加手段は前記第1ファイルに収められた画像データの一部を複製して前記基準画像データを作成する複製手段を含む、請求項1または2記載のファイル編集装置。
【請求項4】
前記複製手段は前記非重複時間帯が前記第1時間帯に先立つ時間帯であるとき前記画像データの先頭フレームを複製する、請求項3記載のファイル編集装置。
【請求項5】
前記複製手段は前記非重複時間帯が前記第1時間帯に遅れる時間帯であるとき前記画像データの最終フレームを複製する、請求項3または4記載のファイル編集装置。
【請求項6】
前記第1時間帯の先頭時刻と前記第2時間帯の先頭時刻との相違が基準を下回るか否かを判別する判別手段、
前記判別手段の判別結果が否定的であるとき別の第2ファイルを前記第2検出手段の検出処理のために指定する指定手段、および
前記判別手段の判別結果が肯定的であるとき前記第1追加手段および/または前記第2追加手段を起動する起動手段をさらに備える、請求項1ないし5のいずれかに記載のファイル編集装置。
【請求項7】
ファイル編集装置のプロセッサに、
第1ファイルに収められた画像データの取り込み時間帯を第1時間帯として検出する第1検出ステップ、
第2ファイルに収められた音声データの取り込み時間帯を第2時間帯として検出する第2検出ステップ、
前記第2時間帯のうち前記第1時間帯と重複しない非重複時間帯に対応して基準画像データを前記第1ファイルに追加する第1追加ステップ、および
前記第2ファイルに収められた音声データを前記第1時間帯と前記第2時間帯との重複時間帯に対応して前記第1ファイルに追加する第2追加ステップを実行させるための、ファイル編集プログラム。
【請求項8】
ファイル編集装置によって実行されるファイル編集方法であって、
第1ファイルに収められた画像データの取り込み時間帯を第1時間帯として検出する第1検出ステップ、
第2ファイルに収められた音声データの取り込み時間帯を第2時間帯として検出する第2検出ステップ、
前記第2時間帯のうち前記第1時間帯と重複しない非重複時間帯に対応して基準画像データを前記第1ファイルに追加する第1追加ステップ、および
前記第2ファイルに収められた音声データを前記第1時間帯と前記第2時間帯との重複時間帯に対応して前記第1ファイルに追加する第2追加ステップを備える、ファイル編集方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【公開番号】特開2011−223220(P2011−223220A)
【公開日】平成23年11月4日(2011.11.4)
【国際特許分類】
【出願番号】特願2010−89097(P2010−89097)
【出願日】平成22年4月8日(2010.4.8)
【出願人】(000001889)三洋電機株式会社 (18,308)
【Fターム(参考)】
【公開日】平成23年11月4日(2011.11.4)
【国際特許分類】
【出願日】平成22年4月8日(2010.4.8)
【出願人】(000001889)三洋電機株式会社 (18,308)
【Fターム(参考)】
[ Back to top ]