映像音声編集装置、制御方法、及びプログラム
【課題】カメラとマイクが別体である場合にも映像と音声のリップシンクずれを補正することができる映像音声編集装置、制御方法、及びプログラムを提供する。
【解決手段】番組編集器２１０は、コントローラ２１２、映像音声合成器２１５、及び記録媒体２１６を備える。コントローラ５１２は、被写体１５０からマイク１２１までの距離Ｄ及び音速Ｃに基づいて、被写体１５０からマイク１２１までの音声到達時間Ｔを算出し、音声到達時間Ｔに基づいて音声タイムコードを補正する。コントローラ２１２は、音声タイムコードの補正量分だけ映像を遅延させて再生する。この遅延させて再生された映像信号と無補正の音声信号とを映像音声合成器２１５で合成し、記録媒体２１６へ完成番組として記録する。
【解決手段】番組編集器２１０は、コントローラ２１２、映像音声合成器２１５、及び記録媒体２１６を備える。コントローラ５１２は、被写体１５０からマイク１２１までの距離Ｄ及び音速Ｃに基づいて、被写体１５０からマイク１２１までの音声到達時間Ｔを算出し、音声到達時間Ｔに基づいて音声タイムコードを補正する。コントローラ２１２は、音声タイムコードの補正量分だけ映像を遅延させて再生する。この遅延させて再生された映像信号と無補正の音声信号とを映像音声合成器２１５で合成し、記録媒体２１６へ完成番組として記録する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像音声編集装置、制御方法、及びプログラムに関し、特に、映像と音声の再生時間を制御する映像音声編集装置、制御方法、及びプログラムに関する。
【背景技術】
【０００２】
従来より、カメラにより撮影した映像とマイクにより収録した音声とを編集時に合成することにより、番組製作が行われている。この際、光と音は伝播速度に差があるため、撮影された映像と同じタイミングで収録された音声にはリップシンクずれが生じる。特に、近年発達している超望遠レンズによる撮影において、リップシンクずれは顕著な問題となる。カメラが撮影する被写体そのものにマイクを取り付ければリップシンクずれは生じないが、大部分の取材現場においてはマイクを被写体自体へ取り付けることができず、マイクは被写体から離れた場所に設置される。
【０００３】
このようなリップシンクずれを補正するために、編集者は、映像と音声との合成編集作業において、目と耳と勘に頼って手動で映像と音声との相対遅延時間を調整している。しかし、特に小規模な取材班においては、番組編集作業の省力化が要望されており、映像と音声との相対遅延時間の調整作業の自動化が求められている。
【０００４】
そこで、編集装置又は収録装置のハード構成により、リップシンクずれを補正する技術が提案されている。例えば、ズーム位置が望遠側のときは映像データと音声データを同期再生し、ズーム位置が広角側のときは映像データに対し音声データを遅延させて再生するテレビ会議システムが提案されている（例えば、特許文献１参照）。
【０００５】
また、レンズのフォーカシングに同期して、マイクの指向性を被写体方向へ集中させるビデオカメラが提案されている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平６−２７６４２７
【特許文献２】特開平５−３０８５５３
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記特許文献１に記載されているテレビ会議システムは、ズーム位置に応じて音声及び映像の相対的再生時間を変更するが、被写体から発せられた音声がマイクに到達するまでの距離によって生じるリップシンクずれを補正することはできない。
【０００８】
また、上記特許文献２に記載されているビデオカメラは、レンズのフォーカシングに同期して、マイクの指向性を被写体方向へ集中させるが、指向性を変更しても音声がマイクに到達するまでの距離によって生じるリップシンクずれを補正することはできない。
【０００９】
従って、上記従来の技術はいずれも、カメラとマイクが別体である場合、厳密にリップシンクずれを補正することはできない。
【００１０】
本発明の目的は、カメラとマイクが別体である場合にも映像と音声のリップシンクずれを補正することができる映像音声編集装置、制御方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【００１１】
上述の目的を達成するために、請求項１記載の映像音声編集装置は、映像収録手段により撮影された被写体の映像信号及び音声収録手段により収録された前記被写体からの音声信号を前記映像信号及び前記音声信号にそれぞれ関連付けられた時間管理データに基づいて合成する映像音声編集装置において、前記映像収録手段の位置座標、前記音声収録手段の位置座標、並びに前記映像収録手段の撮影方向及びフォーカス情報に基づいて前記被写体から前記音声収録手段までの音声到達時間を算出する算出手段と、前記算出された音声到達時間に基づいて前記音声信号に関連付けられた時間管理データを補正する補正手段と、前記補正された時間管理データに基づいて前記映像信号及び前記音声信号を合成する合成手段とを備えることを特徴とする。
【００１２】
上述の目的を達成するために、請求項５記載の制御方法は、映像収録手段により撮影された被写体の映像信号及び音声収録手段により収録された前記被写体からの音声信号を前記映像信号及び前記音声信号にそれぞれ関連付けられた時間管理データに基づいて合成する映像音声編集装置の制御方法において、前記映像収録手段の位置座標、前記音声収録手段の位置座標、並びに前記映像収録手段の撮影方向及びフォーカス情報に基づいて前記被写体から前記音声収録手段までの音声到達時間を算出する算出ステップと、前記算出された音声到達時間に基づいて前記音声信号に関連付けられた時間管理データを補正する補正ステップと、前記補正された時間管理データに基づいて前記映像信号及び前記音声信号を合成する合成ステップとを備えることを特徴とする。
【００１３】
上述の目的を達成するために、請求項６記載のプログラムは、映像収録手段により撮影された被写体の映像信号及び音声収録手段により収録された前記被写体からの音声信号を前記映像信号及び前記音声信号にそれぞれ関連付けられた時間管理データに基づいて合成する映像音声編集装置を制御する制御方法をコンピュータに実行させるプログラムにおいて、前記制御方法は、前記映像収録手段の位置座標、前記音声収録手段の位置座標、並びに前記映像収録手段の撮影方向及びフォーカス情報に基づいて前記被写体から前記音声収録手段までの音声到達時間を算出する算出ステップと、前記算出された音声到達時間に基づいて前記音声信号に関連付けられた時間管理データを補正する補正ステップと、前記補正された時間管理データに基づいて前記映像信号及び前記音声信号を合成する合成ステップとを備えることを特徴とする。
【発明の効果】
【００１４】
本発明によれば、カメラとマイクが別体である場合にも映像と音声のリップシンクずれを適切に補正することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の第１の実施の形態に係る映像音声編集システムの記録部の構成を示すブロック図である。
【図２】本発明の第１の実施の形態に係る映像音声編集システムの再生編集部の構成を示すブロック図である。
【図３】図２の番組編集器２１０で実行される番組編集処理を説明する図である。
【図４】図２の番組編集器２１０で実行される番組編集処理を説明する図である。
【図５】図２の番組編集器２１０で実行される番組編集処理のフローチャートである。
【図６】図５のステップＳ３０７の処理を説明するタイムチャートである。
【図７】本発明の第２の実施の形態に係る映像音声編集システムの記録部の構成を示すブロック図である。
【図８】本発明の第２の実施の形態に係る映像音声編集システムの再生編集部の構成を示すブロック図である。
【図９】図８の番組編集器５１０で実行される番組編集処理のフローチャートである。
【発明を実施するための形態】
【００１６】
以下、本発明の実施の形態を図面を参照しながら詳述する。
【００１７】
[第１の実施の形態]
図１は、本発明の第１の実施の形態に係る映像音声編集システムの記録部の構成を示すブロック図である。
【００１８】
図１において、映像音声編集システムの記録部は、番組編集用データ記録器１００、映像収録器１１０、及び音声収録器１２０を備える。
【００１９】
番組編集用データ記録器１００は、音声収録器配置位置入力部１０１、映像収録器配置位置入力部１０２、メモリ１０３、及び番組編集用データ記録媒体１０４を備える。
【００２０】
映像収録器１１０は、撮影方向出力部１１１、フォーカス情報出力部１１２、タイムコード出力部１１３、カメラ１１４、ＡＤ変換器１１５、映像圧縮回路１１６、メモリ１１７、及び映像記録媒体１１８を備える。
【００２１】
音声収録器１２０は、マイク１２１、ＡＤ変換器１２２、音声圧縮回路１２３、メモリ１２４、及び音声記録媒体１２５を備える。
【００２２】
音声収録器配置位置入力部１０１、及び映像収録器配置位置入力部１０２は、番組編集用データ記録器１００に接続されたキーボード等で構成される。
【００２３】
撮影方向出力部１１１は、磁気コンパス等で構成され、映像収録器１１０のカメラ１１４の撮影方向を出力する。フォーカス情報出力部１１２は、映像収録器１１０のカメラ１１４が備えるレンズ１１９（図３）のフォーカス合焦距離を示すフォーカス情報を出力する。タイムコード出力部１１３は、映像収録器１１０と音声収録器１２０間で同期させる時間管理データを出力する。ここでは、タイムコード出力部１１３は、時間管理データとしてタイムコードを出力する。
【００２４】
以下に、図１の映像音声編集システムの記録部の動作を説明する。
【００２５】
映像収録器１１０では、カメラ１１４から入力される映像信号をＡＤ変換器１１５でデジタル化し、映像圧縮回路１１６で圧縮し、タイムコード出力部１１３から出力されるタイムコードと関連付けてメモリ１１７へ一旦保存する。そして、メモリ１１７に保存された映像信号を映像記録媒体１１８へ映像ソースとして記録する。
【００２６】
同時に、音声収録器１２０では、マイク１２１から入力される音声信号をＡＤ変換器１２２でデジタル化し、音声圧縮回路１２３で圧縮し、タイムコード出力部１１３から出力されるタイムコードと関連付けてメモリ１２４へ一旦保存する。そして、メモリ１２４に保存された音声信号を音声記録媒体１２５へ音声ソースとして記録する。
【００２７】
並行して、番組編集用データ記録器１００は、音声収録器配置位置入力部１０１から音声収録器１２０の配置位置の座標を示すマイク位置座標を取込む。また、番組編集用データ記録器１００は、映像収録器配置位置入力部１０２から映像収録器１１０の配置位置の座標を示すカメラ位置座標を取込む。これらの座標は、例えばユーザが番組編集用データ記録器１００の操作部を操作することに応じて入力されてもよい。また、映像収録器１１０や音声収録器１２０にＧＰＳなどの位置検出器を備え、座標の情報を映像収録器１１０や音声収録器１２０から受信するようにしてもよい。
【００２８】
さらに、番組編集用データ記録器１００は、撮影方向出力部１１１からカメラ１１４の撮影方向を取込む。また、番組編集用データ記録器１００は、映像収録器１１０のフォーカス情報出力部１１２からカメラ１１４が備えるレンズ１１９（図３）のフォーカス情報を取込む。
【００２９】
番組編集用データ記録器１００は、マイク位置座標、カメラ位置座標、撮影方向、及びフォーカス情報を、タイムコード出力部１１３から出力されるタイムコードと関連付けてメモリ１０３へ一旦保存する。そして、メモリ１０３に保存されたマイク位置座標、カメラ位置座標、撮影方向、及びフォーカス情報を番組編集用データ記録媒体１０４へ番組編集用データとして記録する。
【００３０】
図２は、本発明の第１の実施の形態に係る映像音声編集システムの再生編集部の構成を示すブロック図である。
【００３１】
図２において、再生編集部としての番組編集器２１０は、映像再生器２２０、音声再生器２３０、番組編集用データ再生器２１１、コントローラ２１２、映像音声合成器２１５、及び記録媒体２１６を備える。
【００３２】
映像再生器２２０は、映像記録媒体再生器２２１、映像復号器２２２、メモリ２２３、及びＤＡ変換回路２２４を備える。
【００３３】
音声再生器２３０は、音声記録媒体再生器２３１、音声復号器２３２、メモリ２３３、及びＤＡ変換回路２３４を備える。
【００３４】
以下に、図２の映像音声編集システムの再生編集部の動作を説明する。
【００３５】
映像記録媒体再生器２２１は、映像記録媒体１１８に記録された圧縮映像信号を再生する。映像記録媒体再生器２２１から再生される圧縮映像信号は、映像復号器２２２により復号され、一旦、メモリ２２３へ保存される。コントローラ２１２は、映像と音声の相対遅延量を制御しながらメモリ２２３から映像信号を読み出す。メモリ２２３から順次読み出された映像信号は、ＤＡ変換回路２２４でアナログへ変換され、映像音声合成器２１５へ入力される。
【００３６】
音声記録媒体再生器２３１は、音声記録媒体１２５に記録された圧縮音声信号を再生する。音声記録媒体再生器２３１から再生される圧縮音声信号は、音声復号器２３２により復号され、一旦、メモリ２３３へ保存される。メモリ２３３から順次読み出された音声信号は、ＤＡ変換回路２３４でアナログへ変換され、映像音声合成器２１５へ入力される。
【００３７】
映像音声合成器２１５は、映像信号と音声信号とを合成し、記録媒体２１６へ完成番組として記録する。
【００３８】
番組編集用データ再生器２１１は、番組編集用データ記録媒体１０４に記録された番組編集用データを読み出す。ここでコントローラ２１２は、番組編集用データ再生器２１１から読み出される番組編集用データに基づいて、メモリ２２３からの映像信号の読み出しを制御することにより映像と音声の相対遅延量を制御する。この処理を図３〜５を用いて詳細に説明する。
【００３９】
図３及び図４は、図２の番組編集器２１０で実行される番組編集処理を説明する図である。
【００４０】
図３及び図４において、カメラ１１４は、レンズ１１９を備える。カメラ１１４及びマイク１２１は、それぞれ別の位置から被写体１５０の映像及び音声を収録している。ここで、被写体１５０の位置座標を（Ｘ，Ｙ）、カメラ１１４の位置座標を（ｘｃ，ｙｃ）、カメラ１１４が備えるレンズ１１９のフォーカス合焦距離をｒ、カメラ１１４の撮影方向をθ、マイク１２１の位置座標を（ｘｍ，ｙｍ）とする。図４の例では、ｙｃとｙｍは等しい値である。
【００４１】
図５は、図２の番組編集器２１０で実行される番組編集処理のフローチャートである。
【００４２】
図５において、まず、コントローラ２１２は、番組編集用データ再生器２１１から読み出される番組編集用データに含まれるマイク位置座標、カメラ位置座標、撮影方向、及びフォーカス情報の各パラメータを取り込む（ステップＳ３０１）。そして、コントローラ２１２は、各パラメータの変化を周期的に検査し、各パラメータのいずれかに変化があったか否かを判別する（ステップＳ３０２）。
【００４３】
ステップＳ３０２の判別の結果、各パラメータのいずれにも変化がないときは、ステップＳ３０７に進む。
【００４４】
一方、ステップＳ３０２の判別の結果、各パラメータのいずれかに変化があったときは、ステップＳ３０３に進む。ステップＳ３０３では、コントローラ２１２は、カメラ１１４の位置座標（ｘｃ，ｙｃ）、カメラ１１４が備えるレンズ１１９のフォーカス合焦距離ｒ及びカメラ１１４の撮影方向θに基づいて、図３の被写体１５０の位置座標（Ｘ，Ｙ）を算出する。具体的には、以下の数１に従って被写体１５０の位置座標（Ｘ，Ｙ）を算出する。
【００４５】
［数１］
（Ｘ，Ｙ）＝（ｘｃ＋ｒｃｏｓθ，ｙｃ＋ｒｓｉｎθ）
次に、コントローラ２１２は、以下の数２に従い、被写体位置座標（Ｘ，Ｙ）及びマイク座標位置（ｘｍ，ｙｍ）に基づいて、図４の被写体１５０からマイク１２１までの距離Ｄを算出する（ステップＳ３０４）。
【００４６】
［数２］
Ｄ＝√（（ｘｍ）２−（Ｘ）２）＋（（ｙｍ）２−（Ｙ）２）
次に、コントローラ２１２は、以下の数３に従い、被写体１５０からマイク１２１までの距離Ｄ及び音速Ｃに基づいて、被写体１５０からマイク１２１までの音声到達時間Ｔを算出する（ステップＳ３０５）。
【００４７】
［数３］
Ｔ＝Ｄ／Ｃ
次に、コントローラ２１２は、以下の数４に従い、音声到達時間Ｔに基づいて音声ソースに関連付けられたタイムコード（音声タイムコード）を補正する（ステップＳ３０６）。
【００４８】
［数４］
補正後音声タイムコード＝補正前音声タイムコード−Ｔ
ここでコントローラ２１２は、ステップＳ３０６で補正された音声タイムコードに基づいてメモリ２２３からの映像信号の読み出しを制御することにより、映像と音声の相対遅延量を制御する。つまり、本実施の形態では、コントローラ２１２は、音声タイムコードの補正量分だけ映像を遅延させて再生する（ステップＳ３０７）。この遅延させて再生された映像信号と無補正の音声信号とを映像音声合成器２１５で合成し、記録媒体２１６へ完成番組として記録する（ステップＳ３０８）。
【００４９】
次に、コントローラ２１２は、すべての音声信号及び映像信号を合成したか否かを判別する（ステップＳ３０９）。この判別の結果、すべての音声信号及び映像信号を合成したときは、本処理を終了する。一方、この判別の結果、すべての音声信号及び映像信号を合成していないときは、ステップＳ３０１に戻る。
【００５０】
図６は、図５のステップＳ３０７の処理を説明するタイムチャートである。
【００５１】
図６において、コントローラ２１２は、映像を遅延させて再生することにより、映像と音声の相対遅延量を制御する。ここでは、被写体１５０からマイク１２１までの距離Ｄが６８ｍの例を示す。この場合、被写体１５０からマイク１２１までの音声到達時間Ｔは０．２秒であるので、映像ソースを０．２秒遅延させて再生する。なお、映像と音声との合成後の完成番組のタイムコード（完成番組タイムコード）として映像ソースに関連付けられたタイムコード（映像タイムコード）を流用しているので、完成番組の実時間管理を破壊することなく保存することができる。
【００５２】
本実施の形態によれば、被写体からマイクまでの音声到達時間を算出し、音声到達時間に基づいて音声ソースに関連付けられたタイムコードを補正するので、カメラとマイクが別体である場合にも映像と音声のリップシンクずれを補正することができる。
【００５３】
また、映像を遅延させて再生するので、収録時にリアルタイムでリップシンクずれが補正された番組を制作することができる。
【００５４】
[第２の実施の形態]
第１の実施の形態では、映像を遅延させて再生することにより映像と音声の相対遅延量を制御したが、第２の実施の形態では、音声を前倒しして再生することにより映像と音声の相対遅延量を制御する。また、第２の実施の形態では、カメラが備えるレンズのズーム情報に応じて音量を調整する。
【００５５】
図７は、本発明の第２の実施の形態に係る映像音声編集システムの記録部の構成を示すブロック図である。
【００５６】
図７において、映像音声編集システムの記録部は、番組編集用データ記録器４００、映像収録器４１０、及び音声収録器４２０を備える。
【００５７】
番組編集用データ記録器４００は、音声収録器配置位置入力部４０１、映像収録器配置位置入力部４０２、メモリ４０３、及び番組編集用データ記録媒体４０４を備える。
【００５８】
映像収録器４１０は、撮影方向出力部４１１、フォーカス情報出力部４１２、タイムコード出力部４１３、カメラ４１４、ＡＤ変換器４１５、映像圧縮回路４１６、メモリ４１７、及び映像記録媒体４１８を備える。
【００５９】
音声収録器４２０は、マイク４２１、ＡＤ変換器４２２、音声圧縮回路４２３、メモリ４２４、及び音声記録媒体４２５を備える。
【００６０】
音声収録器配置位置入力部４０１、及び映像収録器配置位置入力部４０２は、番組編集用データ記録器４００に接続されたキーボード等で構成される。
【００６１】
撮影方向出力部４１１は、磁気コンパス等で構成され、映像収録器４１０のカメラ４１４の撮影方向を出力する。フォーカス情報出力部４１２は、映像収録器４１０のカメラ４１４が備えるレンズのフォーカス合焦距離を示すフォーカス情報及びズーム量を示すズーム情報を出力する。タイムコード出力部４１３は、映像収録器４１０と音声収録器４２０間で同期させる時間管理データを出力する。ここでは、タイムコード出力部４１３は、時間管理データとしてタイムコードを出力する。
【００６２】
以下に、図７の映像音声編集システムの記録部の動作を説明する。
【００６３】
映像収録器４１０では、カメラ４１４から入力される映像信号をＡＤ変換器４１５でデジタル化し、映像圧縮回路４１６で圧縮し、タイムコード出力部４１３から出力されるタイムコードと関連付けてメモリ４１７へ一旦保存する。そして、メモリ４１７に保存された映像信号を映像記録媒体４１８へ映像ソースとして記録する。
【００６４】
同時に、音声収録器４２０では、マイク４２１から入力される音声信号をＡＤ変換器４２２でデジタル化し、音声圧縮回路４２３で圧縮し、タイムコード出力部４１３から出力されるタイムコードと関連付けてメモリ４２４へ一旦保存する。そして、メモリ４２４に保存された音声信号を音声記録媒体４２５へ音声ソースとして記録する。
【００６５】
平行して、番組編集用データ記録器４００は、音声収録器配置位置入力部４０１から音声収録器４２０の配置位置の座標を示すマイク位置座標を取込む。また、番組編集用データ記録器４００は、映像収録器配置位置入力部４０２から映像収録器４１０の配置位置の座標を示すカメラ位置座標を取込む。
【００６６】
さらに、番組編集用データ記録器４００は、撮影方向出力部４１１からカメラ４１４の撮影方向を取込む。また、番組編集用データ記録器４００は、映像収録器４１０のフォーカス情報出力部４１２からカメラ４１４が備えるレンズのフォーカス情報及びズーム情報を取込む。
【００６７】
番組編集用データ記録器４００は、マイク位置座標、カメラ位置座標、撮影方向、及びフォーカス情報を、タイムコード出力部４１３から出力されるタイムコードと関連付けてメモリ４０３へ一旦保存する。そして、メモリ４０３に保存されたマイク位置座標、カメラ位置座標、撮影方向、及びフォーカス情報を番組編集用データ記録媒体４０４へ番組編集用データとして記録する。
【００６８】
図８は、本発明の第２の実施の形態に係る映像音声編集システムの再生編集部の構成を示すブロック図である。
【００６９】
図８において、再生編集部としての番組編集器５１０は、映像再生器５２０、音声再生器５３０、番組編集用データ再生器５１１、コントローラ５１２、映像音声合成器５１５、及び記録媒体５１６を備える。
【００７０】
映像再生器５２０は、映像記録媒体再生器５２１、映像復号器５２２、メモリ５２３、及びＤＡ変換回路５２４を備える。
【００７１】
音声再生器５３０は、音声記録媒体再生器５３１、音声復号器５３２、メモリ５３３、ＤＡ変換回路５３４、及び音量調整回路５３５を備える。
【００７２】
以下に、図８の映像音声編集システムの再生編集部の動作を説明する。
【００７３】
映像記録媒体再生器５２１は、映像記録媒体４１８に記録された圧縮映像信号を再生する。映像記録媒体再生器５２１から再生される圧縮映像信号は、映像復号器５２２により復号され、一旦、メモリ５２３へ保存される。メモリ５２３から順次読み出された映像信号は、ＤＡ変換回路５２４でアナログへ変換され、映像音声合成器５１５へ入力される。
【００７４】
音声記録媒体再生器５３１は、音声記録媒体４２５に記録された圧縮音声信号を再生する。音声記録媒体再生器５３１から再生される圧縮音声信号は、音声復号器５３２により復号され、一旦、メモリ５３３へ保存される。コントローラ５１２は、映像と音声の相対遅延量を制御しながらメモリ５３３から音声信号を読み出す。メモリ５３３から順次読み出された音声信号は、ＤＡ変換回路５３４でアナログへ変換される。アナログへ変換された音声信号は、音量調整回路５３５で音量を制御され、映像音声合成器５１５へ入力される。
【００７５】
映像音声合成器５１５は、映像信号と音声信号とを合成し、記録媒体２１６へ完成番組として記録する。
【００７６】
番組編集用データ再生器５１１は、番組編集用データ記録媒体４０４に記録された番組編集用データを読み出す。ここでコントローラ５１２は、番組編集用データ再生器５１１から読み出される番組編集用データに基づいて、メモリ５３３からの音声信号の読み出しを制御することにより映像と音声の相対遅延量を制御する。また、コントローラ５１２は、音量調整回路５３５を制御することにより音量を制御する。この処理を図９を用いて詳細に説明する。
【００７７】
図９は、図８の番組編集器５１０で実行される番組編集処理のフローチャートである。
【００７８】
図９において、被写体の位置座標を（Ｘ，Ｙ）、カメラ４１４の位置座標を（ｘｃ，ｙｃ）、カメラ４１４が備えるレンズのフォーカス合焦距離をｒ、カメラ４１４の撮影方向をθ、マイク４２１の位置座標を（ｘｍ，ｙｍ）とする。
【００７９】
まず、コントローラ５１２は、番組編集用データ再生器５１１から読み出される番組編集用データに含まれるマイク位置座標、カメラ位置座標、撮影方向、フォーカス情報、及びズーム情報の各パラメータを取り込む（ステップＳ６０１）。そして、コントローラ５１２は、各パラメータの変化を周期的に検査し、各パラメータのいずれかに変化があったか否かを判別する（ステップＳ６０２）。
【００８０】
ステップＳ６０２の判別の結果、各パラメータのいずれにも変化がないときは、ステップＳ３０７に進む。
【００８１】
一方、ステップＳ６０２の判別の結果、各パラメータのいずれかに変化があったときは、ステップＳ６０３に進む。ステップＳ６０３では、コントローラ５１２は、以下の数５に従い、カメラ１１４の位置座標（ｘｃ，ｙｃ）、カメラ１１４が備えるレンズのフォーカス合焦距離ｒ及びカメラ１１４の撮影方向θに基づいて、被写体の位置座標（Ｘ，Ｙ）を算出する。
【００８２】
［数５］
（Ｘ，Ｙ）＝（ｘｃ＋ｒｃｏｓθ，ｙｃ＋ｒｓｉｎθ）
次に、コントローラ５１２は、以下の数６に従い、被写体位置座標（Ｘ，Ｙ）及びマイク座標位置（ｘｍ，ｙｍ）に基づいて、被写体からマイク４２１までの距離Ｄを算出する（ステップＳ６０４）。
【００８３】
［数６］
Ｄ＝√（（ｘｍ）２−（Ｘ）２）＋（（ｙｍ）２−（Ｙ）２）
次に、コントローラ５１２は、以下の数７に従い、被写体からマイク４２１までの距離Ｄ及び音速Ｃに基づいて、被写体からマイク４２１までの音声到達時間Ｔを算出する（ステップＳ６０５）。
【００８４】
［数７］
Ｔ＝Ｄ／Ｃ
次に、コントローラ５１２は、以下の数８に従い、音声到達時間Ｔに基づいて音声ソースに関連付けられたタイムコード（音声タイムコード）を補正する（ステップＳ６０６）。
【００８５】
［数８］
補正後音声タイムコード＝補正前音声タイムコード−Ｔ
ここでコントローラ５１２は、ステップＳ６０６で補正された音声タイムコードに基づいてメモリ５３３からの音声信号の読み出しを制御することにより、映像と音声の相対遅延量を制御する。つまり、本実施の形態では、コントローラ５１２は、音声タイムコードの補正量分だけ音声を前倒しして再生する（ステップＳ６０７）。さらに、コントローラ２１２は、カメラ４１４が備えるレンズのズーム情報に応じて音量を制御する（ステップＳ６０８）。具体的には、望遠側のときは音量を大きくし、広角側のときは音量を小さくするように制御する事で、完成番組の音声臨場感を増す。
【００８６】
この前倒しして再生された音声信号と無補正の映像信号とを映像音声合成器５１５で合成し、記録媒体５１６へ完成番組として記録する（ステップＳ６０９）。
【００８７】
次に、コントローラ５１２は、すべての音声信号及び映像信号を合成したか否かを判別する（ステップＳ６１０）。この判別の結果、すべての音声信号及び映像信号を合成したときは、本処理を終了する。一方、この判別の結果、すべての音声信号及び映像信号を合成していないときは、ステップＳ６０１に戻る。
【００８８】
本実施の形態によれば、被写体からマイクまでの音声到達時間を算出し、音声到達時間に基づいて音声ソースに関連付けられたタイムコードを補正するので、カメラとマイクが別体である場合にも映像と音声のリップシンクずれを補正することができる。
【００８９】
また、音声を前倒しして再生するので、映像ソースの再生タイミングを加工することなく、リップシンクずれを補正することができる。
【００９０】
また、カメラ４１４が備えるレンズのズーム情報に基づいて音量を調整するので、より臨場感のある番組を制作することができる。
【００９１】
また、本発明の目的は、以下の処理を実行することによって達成される。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出す処理である。
【００９２】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００９３】
また、プログラムコードを供給するための記憶媒体としては、次のものを用いることができる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等である。または、プログラムコードをネットワークを介してダウンロードしてもよい。
【００９４】
また、コンピュータが読み出したプログラムコードを実行することにより、上記実施の形態の機能が実現される場合も本発明に含まれる。加えて、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【００９５】
更に、前述した実施形態の機能が以下の処理によって実現される場合も本発明に含まれる。即ち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う場合である。
【符号の説明】
【００９６】
２１０ 番組編集器
２１１ 番組編集用データ再生器
２１２ コントローラ
２１５ 映像音声合成器
２１６ 記録媒体
２２０ 映像再生器
２３０ 音声再生器
【技術分野】
【０００１】
本発明は、映像音声編集装置、制御方法、及びプログラムに関し、特に、映像と音声の再生時間を制御する映像音声編集装置、制御方法、及びプログラムに関する。
【背景技術】
【０００２】
従来より、カメラにより撮影した映像とマイクにより収録した音声とを編集時に合成することにより、番組製作が行われている。この際、光と音は伝播速度に差があるため、撮影された映像と同じタイミングで収録された音声にはリップシンクずれが生じる。特に、近年発達している超望遠レンズによる撮影において、リップシンクずれは顕著な問題となる。カメラが撮影する被写体そのものにマイクを取り付ければリップシンクずれは生じないが、大部分の取材現場においてはマイクを被写体自体へ取り付けることができず、マイクは被写体から離れた場所に設置される。
【０００３】
このようなリップシンクずれを補正するために、編集者は、映像と音声との合成編集作業において、目と耳と勘に頼って手動で映像と音声との相対遅延時間を調整している。しかし、特に小規模な取材班においては、番組編集作業の省力化が要望されており、映像と音声との相対遅延時間の調整作業の自動化が求められている。
【０００４】
そこで、編集装置又は収録装置のハード構成により、リップシンクずれを補正する技術が提案されている。例えば、ズーム位置が望遠側のときは映像データと音声データを同期再生し、ズーム位置が広角側のときは映像データに対し音声データを遅延させて再生するテレビ会議システムが提案されている（例えば、特許文献１参照）。
【０００５】
また、レンズのフォーカシングに同期して、マイクの指向性を被写体方向へ集中させるビデオカメラが提案されている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平６−２７６４２７
【特許文献２】特開平５−３０８５５３
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記特許文献１に記載されているテレビ会議システムは、ズーム位置に応じて音声及び映像の相対的再生時間を変更するが、被写体から発せられた音声がマイクに到達するまでの距離によって生じるリップシンクずれを補正することはできない。
【０００８】
また、上記特許文献２に記載されているビデオカメラは、レンズのフォーカシングに同期して、マイクの指向性を被写体方向へ集中させるが、指向性を変更しても音声がマイクに到達するまでの距離によって生じるリップシンクずれを補正することはできない。
【０００９】
従って、上記従来の技術はいずれも、カメラとマイクが別体である場合、厳密にリップシンクずれを補正することはできない。
【００１０】
本発明の目的は、カメラとマイクが別体である場合にも映像と音声のリップシンクずれを補正することができる映像音声編集装置、制御方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【００１１】
上述の目的を達成するために、請求項１記載の映像音声編集装置は、映像収録手段により撮影された被写体の映像信号及び音声収録手段により収録された前記被写体からの音声信号を前記映像信号及び前記音声信号にそれぞれ関連付けられた時間管理データに基づいて合成する映像音声編集装置において、前記映像収録手段の位置座標、前記音声収録手段の位置座標、並びに前記映像収録手段の撮影方向及びフォーカス情報に基づいて前記被写体から前記音声収録手段までの音声到達時間を算出する算出手段と、前記算出された音声到達時間に基づいて前記音声信号に関連付けられた時間管理データを補正する補正手段と、前記補正された時間管理データに基づいて前記映像信号及び前記音声信号を合成する合成手段とを備えることを特徴とする。
【００１２】
上述の目的を達成するために、請求項５記載の制御方法は、映像収録手段により撮影された被写体の映像信号及び音声収録手段により収録された前記被写体からの音声信号を前記映像信号及び前記音声信号にそれぞれ関連付けられた時間管理データに基づいて合成する映像音声編集装置の制御方法において、前記映像収録手段の位置座標、前記音声収録手段の位置座標、並びに前記映像収録手段の撮影方向及びフォーカス情報に基づいて前記被写体から前記音声収録手段までの音声到達時間を算出する算出ステップと、前記算出された音声到達時間に基づいて前記音声信号に関連付けられた時間管理データを補正する補正ステップと、前記補正された時間管理データに基づいて前記映像信号及び前記音声信号を合成する合成ステップとを備えることを特徴とする。
【００１３】
上述の目的を達成するために、請求項６記載のプログラムは、映像収録手段により撮影された被写体の映像信号及び音声収録手段により収録された前記被写体からの音声信号を前記映像信号及び前記音声信号にそれぞれ関連付けられた時間管理データに基づいて合成する映像音声編集装置を制御する制御方法をコンピュータに実行させるプログラムにおいて、前記制御方法は、前記映像収録手段の位置座標、前記音声収録手段の位置座標、並びに前記映像収録手段の撮影方向及びフォーカス情報に基づいて前記被写体から前記音声収録手段までの音声到達時間を算出する算出ステップと、前記算出された音声到達時間に基づいて前記音声信号に関連付けられた時間管理データを補正する補正ステップと、前記補正された時間管理データに基づいて前記映像信号及び前記音声信号を合成する合成ステップとを備えることを特徴とする。
【発明の効果】
【００１４】
本発明によれば、カメラとマイクが別体である場合にも映像と音声のリップシンクずれを適切に補正することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の第１の実施の形態に係る映像音声編集システムの記録部の構成を示すブロック図である。
【図２】本発明の第１の実施の形態に係る映像音声編集システムの再生編集部の構成を示すブロック図である。
【図３】図２の番組編集器２１０で実行される番組編集処理を説明する図である。
【図４】図２の番組編集器２１０で実行される番組編集処理を説明する図である。
【図５】図２の番組編集器２１０で実行される番組編集処理のフローチャートである。
【図６】図５のステップＳ３０７の処理を説明するタイムチャートである。
【図７】本発明の第２の実施の形態に係る映像音声編集システムの記録部の構成を示すブロック図である。
【図８】本発明の第２の実施の形態に係る映像音声編集システムの再生編集部の構成を示すブロック図である。
【図９】図８の番組編集器５１０で実行される番組編集処理のフローチャートである。
【発明を実施するための形態】
【００１６】
以下、本発明の実施の形態を図面を参照しながら詳述する。
【００１７】
[第１の実施の形態]
図１は、本発明の第１の実施の形態に係る映像音声編集システムの記録部の構成を示すブロック図である。
【００１８】
図１において、映像音声編集システムの記録部は、番組編集用データ記録器１００、映像収録器１１０、及び音声収録器１２０を備える。
【００１９】
番組編集用データ記録器１００は、音声収録器配置位置入力部１０１、映像収録器配置位置入力部１０２、メモリ１０３、及び番組編集用データ記録媒体１０４を備える。
【００２０】
映像収録器１１０は、撮影方向出力部１１１、フォーカス情報出力部１１２、タイムコード出力部１１３、カメラ１１４、ＡＤ変換器１１５、映像圧縮回路１１６、メモリ１１７、及び映像記録媒体１１８を備える。
【００２１】
音声収録器１２０は、マイク１２１、ＡＤ変換器１２２、音声圧縮回路１２３、メモリ１２４、及び音声記録媒体１２５を備える。
【００２２】
音声収録器配置位置入力部１０１、及び映像収録器配置位置入力部１０２は、番組編集用データ記録器１００に接続されたキーボード等で構成される。
【００２３】
撮影方向出力部１１１は、磁気コンパス等で構成され、映像収録器１１０のカメラ１１４の撮影方向を出力する。フォーカス情報出力部１１２は、映像収録器１１０のカメラ１１４が備えるレンズ１１９（図３）のフォーカス合焦距離を示すフォーカス情報を出力する。タイムコード出力部１１３は、映像収録器１１０と音声収録器１２０間で同期させる時間管理データを出力する。ここでは、タイムコード出力部１１３は、時間管理データとしてタイムコードを出力する。
【００２４】
以下に、図１の映像音声編集システムの記録部の動作を説明する。
【００２５】
映像収録器１１０では、カメラ１１４から入力される映像信号をＡＤ変換器１１５でデジタル化し、映像圧縮回路１１６で圧縮し、タイムコード出力部１１３から出力されるタイムコードと関連付けてメモリ１１７へ一旦保存する。そして、メモリ１１７に保存された映像信号を映像記録媒体１１８へ映像ソースとして記録する。
【００２６】
同時に、音声収録器１２０では、マイク１２１から入力される音声信号をＡＤ変換器１２２でデジタル化し、音声圧縮回路１２３で圧縮し、タイムコード出力部１１３から出力されるタイムコードと関連付けてメモリ１２４へ一旦保存する。そして、メモリ１２４に保存された音声信号を音声記録媒体１２５へ音声ソースとして記録する。
【００２７】
並行して、番組編集用データ記録器１００は、音声収録器配置位置入力部１０１から音声収録器１２０の配置位置の座標を示すマイク位置座標を取込む。また、番組編集用データ記録器１００は、映像収録器配置位置入力部１０２から映像収録器１１０の配置位置の座標を示すカメラ位置座標を取込む。これらの座標は、例えばユーザが番組編集用データ記録器１００の操作部を操作することに応じて入力されてもよい。また、映像収録器１１０や音声収録器１２０にＧＰＳなどの位置検出器を備え、座標の情報を映像収録器１１０や音声収録器１２０から受信するようにしてもよい。
【００２８】
さらに、番組編集用データ記録器１００は、撮影方向出力部１１１からカメラ１１４の撮影方向を取込む。また、番組編集用データ記録器１００は、映像収録器１１０のフォーカス情報出力部１１２からカメラ１１４が備えるレンズ１１９（図３）のフォーカス情報を取込む。
【００２９】
番組編集用データ記録器１００は、マイク位置座標、カメラ位置座標、撮影方向、及びフォーカス情報を、タイムコード出力部１１３から出力されるタイムコードと関連付けてメモリ１０３へ一旦保存する。そして、メモリ１０３に保存されたマイク位置座標、カメラ位置座標、撮影方向、及びフォーカス情報を番組編集用データ記録媒体１０４へ番組編集用データとして記録する。
【００３０】
図２は、本発明の第１の実施の形態に係る映像音声編集システムの再生編集部の構成を示すブロック図である。
【００３１】
図２において、再生編集部としての番組編集器２１０は、映像再生器２２０、音声再生器２３０、番組編集用データ再生器２１１、コントローラ２１２、映像音声合成器２１５、及び記録媒体２１６を備える。
【００３２】
映像再生器２２０は、映像記録媒体再生器２２１、映像復号器２２２、メモリ２２３、及びＤＡ変換回路２２４を備える。
【００３３】
音声再生器２３０は、音声記録媒体再生器２３１、音声復号器２３２、メモリ２３３、及びＤＡ変換回路２３４を備える。
【００３４】
以下に、図２の映像音声編集システムの再生編集部の動作を説明する。
【００３５】
映像記録媒体再生器２２１は、映像記録媒体１１８に記録された圧縮映像信号を再生する。映像記録媒体再生器２２１から再生される圧縮映像信号は、映像復号器２２２により復号され、一旦、メモリ２２３へ保存される。コントローラ２１２は、映像と音声の相対遅延量を制御しながらメモリ２２３から映像信号を読み出す。メモリ２２３から順次読み出された映像信号は、ＤＡ変換回路２２４でアナログへ変換され、映像音声合成器２１５へ入力される。
【００３６】
音声記録媒体再生器２３１は、音声記録媒体１２５に記録された圧縮音声信号を再生する。音声記録媒体再生器２３１から再生される圧縮音声信号は、音声復号器２３２により復号され、一旦、メモリ２３３へ保存される。メモリ２３３から順次読み出された音声信号は、ＤＡ変換回路２３４でアナログへ変換され、映像音声合成器２１５へ入力される。
【００３７】
映像音声合成器２１５は、映像信号と音声信号とを合成し、記録媒体２１６へ完成番組として記録する。
【００３８】
番組編集用データ再生器２１１は、番組編集用データ記録媒体１０４に記録された番組編集用データを読み出す。ここでコントローラ２１２は、番組編集用データ再生器２１１から読み出される番組編集用データに基づいて、メモリ２２３からの映像信号の読み出しを制御することにより映像と音声の相対遅延量を制御する。この処理を図３〜５を用いて詳細に説明する。
【００３９】
図３及び図４は、図２の番組編集器２１０で実行される番組編集処理を説明する図である。
【００４０】
図３及び図４において、カメラ１１４は、レンズ１１９を備える。カメラ１１４及びマイク１２１は、それぞれ別の位置から被写体１５０の映像及び音声を収録している。ここで、被写体１５０の位置座標を（Ｘ，Ｙ）、カメラ１１４の位置座標を（ｘｃ，ｙｃ）、カメラ１１４が備えるレンズ１１９のフォーカス合焦距離をｒ、カメラ１１４の撮影方向をθ、マイク１２１の位置座標を（ｘｍ，ｙｍ）とする。図４の例では、ｙｃとｙｍは等しい値である。
【００４１】
図５は、図２の番組編集器２１０で実行される番組編集処理のフローチャートである。
【００４２】
図５において、まず、コントローラ２１２は、番組編集用データ再生器２１１から読み出される番組編集用データに含まれるマイク位置座標、カメラ位置座標、撮影方向、及びフォーカス情報の各パラメータを取り込む（ステップＳ３０１）。そして、コントローラ２１２は、各パラメータの変化を周期的に検査し、各パラメータのいずれかに変化があったか否かを判別する（ステップＳ３０２）。
【００４３】
ステップＳ３０２の判別の結果、各パラメータのいずれにも変化がないときは、ステップＳ３０７に進む。
【００４４】
一方、ステップＳ３０２の判別の結果、各パラメータのいずれかに変化があったときは、ステップＳ３０３に進む。ステップＳ３０３では、コントローラ２１２は、カメラ１１４の位置座標（ｘｃ，ｙｃ）、カメラ１１４が備えるレンズ１１９のフォーカス合焦距離ｒ及びカメラ１１４の撮影方向θに基づいて、図３の被写体１５０の位置座標（Ｘ，Ｙ）を算出する。具体的には、以下の数１に従って被写体１５０の位置座標（Ｘ，Ｙ）を算出する。
【００４５】
［数１］
（Ｘ，Ｙ）＝（ｘｃ＋ｒｃｏｓθ，ｙｃ＋ｒｓｉｎθ）
次に、コントローラ２１２は、以下の数２に従い、被写体位置座標（Ｘ，Ｙ）及びマイク座標位置（ｘｍ，ｙｍ）に基づいて、図４の被写体１５０からマイク１２１までの距離Ｄを算出する（ステップＳ３０４）。
【００４６】
［数２］
Ｄ＝√（（ｘｍ）２−（Ｘ）２）＋（（ｙｍ）２−（Ｙ）２）
次に、コントローラ２１２は、以下の数３に従い、被写体１５０からマイク１２１までの距離Ｄ及び音速Ｃに基づいて、被写体１５０からマイク１２１までの音声到達時間Ｔを算出する（ステップＳ３０５）。
【００４７】
［数３］
Ｔ＝Ｄ／Ｃ
次に、コントローラ２１２は、以下の数４に従い、音声到達時間Ｔに基づいて音声ソースに関連付けられたタイムコード（音声タイムコード）を補正する（ステップＳ３０６）。
【００４８】
［数４］
補正後音声タイムコード＝補正前音声タイムコード−Ｔ
ここでコントローラ２１２は、ステップＳ３０６で補正された音声タイムコードに基づいてメモリ２２３からの映像信号の読み出しを制御することにより、映像と音声の相対遅延量を制御する。つまり、本実施の形態では、コントローラ２１２は、音声タイムコードの補正量分だけ映像を遅延させて再生する（ステップＳ３０７）。この遅延させて再生された映像信号と無補正の音声信号とを映像音声合成器２１５で合成し、記録媒体２１６へ完成番組として記録する（ステップＳ３０８）。
【００４９】
次に、コントローラ２１２は、すべての音声信号及び映像信号を合成したか否かを判別する（ステップＳ３０９）。この判別の結果、すべての音声信号及び映像信号を合成したときは、本処理を終了する。一方、この判別の結果、すべての音声信号及び映像信号を合成していないときは、ステップＳ３０１に戻る。
【００５０】
図６は、図５のステップＳ３０７の処理を説明するタイムチャートである。
【００５１】
図６において、コントローラ２１２は、映像を遅延させて再生することにより、映像と音声の相対遅延量を制御する。ここでは、被写体１５０からマイク１２１までの距離Ｄが６８ｍの例を示す。この場合、被写体１５０からマイク１２１までの音声到達時間Ｔは０．２秒であるので、映像ソースを０．２秒遅延させて再生する。なお、映像と音声との合成後の完成番組のタイムコード（完成番組タイムコード）として映像ソースに関連付けられたタイムコード（映像タイムコード）を流用しているので、完成番組の実時間管理を破壊することなく保存することができる。
【００５２】
本実施の形態によれば、被写体からマイクまでの音声到達時間を算出し、音声到達時間に基づいて音声ソースに関連付けられたタイムコードを補正するので、カメラとマイクが別体である場合にも映像と音声のリップシンクずれを補正することができる。
【００５３】
また、映像を遅延させて再生するので、収録時にリアルタイムでリップシンクずれが補正された番組を制作することができる。
【００５４】
[第２の実施の形態]
第１の実施の形態では、映像を遅延させて再生することにより映像と音声の相対遅延量を制御したが、第２の実施の形態では、音声を前倒しして再生することにより映像と音声の相対遅延量を制御する。また、第２の実施の形態では、カメラが備えるレンズのズーム情報に応じて音量を調整する。
【００５５】
図７は、本発明の第２の実施の形態に係る映像音声編集システムの記録部の構成を示すブロック図である。
【００５６】
図７において、映像音声編集システムの記録部は、番組編集用データ記録器４００、映像収録器４１０、及び音声収録器４２０を備える。
【００５７】
番組編集用データ記録器４００は、音声収録器配置位置入力部４０１、映像収録器配置位置入力部４０２、メモリ４０３、及び番組編集用データ記録媒体４０４を備える。
【００５８】
映像収録器４１０は、撮影方向出力部４１１、フォーカス情報出力部４１２、タイムコード出力部４１３、カメラ４１４、ＡＤ変換器４１５、映像圧縮回路４１６、メモリ４１７、及び映像記録媒体４１８を備える。
【００５９】
音声収録器４２０は、マイク４２１、ＡＤ変換器４２２、音声圧縮回路４２３、メモリ４２４、及び音声記録媒体４２５を備える。
【００６０】
音声収録器配置位置入力部４０１、及び映像収録器配置位置入力部４０２は、番組編集用データ記録器４００に接続されたキーボード等で構成される。
【００６１】
撮影方向出力部４１１は、磁気コンパス等で構成され、映像収録器４１０のカメラ４１４の撮影方向を出力する。フォーカス情報出力部４１２は、映像収録器４１０のカメラ４１４が備えるレンズのフォーカス合焦距離を示すフォーカス情報及びズーム量を示すズーム情報を出力する。タイムコード出力部４１３は、映像収録器４１０と音声収録器４２０間で同期させる時間管理データを出力する。ここでは、タイムコード出力部４１３は、時間管理データとしてタイムコードを出力する。
【００６２】
以下に、図７の映像音声編集システムの記録部の動作を説明する。
【００６３】
映像収録器４１０では、カメラ４１４から入力される映像信号をＡＤ変換器４１５でデジタル化し、映像圧縮回路４１６で圧縮し、タイムコード出力部４１３から出力されるタイムコードと関連付けてメモリ４１７へ一旦保存する。そして、メモリ４１７に保存された映像信号を映像記録媒体４１８へ映像ソースとして記録する。
【００６４】
同時に、音声収録器４２０では、マイク４２１から入力される音声信号をＡＤ変換器４２２でデジタル化し、音声圧縮回路４２３で圧縮し、タイムコード出力部４１３から出力されるタイムコードと関連付けてメモリ４２４へ一旦保存する。そして、メモリ４２４に保存された音声信号を音声記録媒体４２５へ音声ソースとして記録する。
【００６５】
平行して、番組編集用データ記録器４００は、音声収録器配置位置入力部４０１から音声収録器４２０の配置位置の座標を示すマイク位置座標を取込む。また、番組編集用データ記録器４００は、映像収録器配置位置入力部４０２から映像収録器４１０の配置位置の座標を示すカメラ位置座標を取込む。
【００６６】
さらに、番組編集用データ記録器４００は、撮影方向出力部４１１からカメラ４１４の撮影方向を取込む。また、番組編集用データ記録器４００は、映像収録器４１０のフォーカス情報出力部４１２からカメラ４１４が備えるレンズのフォーカス情報及びズーム情報を取込む。
【００６７】
番組編集用データ記録器４００は、マイク位置座標、カメラ位置座標、撮影方向、及びフォーカス情報を、タイムコード出力部４１３から出力されるタイムコードと関連付けてメモリ４０３へ一旦保存する。そして、メモリ４０３に保存されたマイク位置座標、カメラ位置座標、撮影方向、及びフォーカス情報を番組編集用データ記録媒体４０４へ番組編集用データとして記録する。
【００６８】
図８は、本発明の第２の実施の形態に係る映像音声編集システムの再生編集部の構成を示すブロック図である。
【００６９】
図８において、再生編集部としての番組編集器５１０は、映像再生器５２０、音声再生器５３０、番組編集用データ再生器５１１、コントローラ５１２、映像音声合成器５１５、及び記録媒体５１６を備える。
【００７０】
映像再生器５２０は、映像記録媒体再生器５２１、映像復号器５２２、メモリ５２３、及びＤＡ変換回路５２４を備える。
【００７１】
音声再生器５３０は、音声記録媒体再生器５３１、音声復号器５３２、メモリ５３３、ＤＡ変換回路５３４、及び音量調整回路５３５を備える。
【００７２】
以下に、図８の映像音声編集システムの再生編集部の動作を説明する。
【００７３】
映像記録媒体再生器５２１は、映像記録媒体４１８に記録された圧縮映像信号を再生する。映像記録媒体再生器５２１から再生される圧縮映像信号は、映像復号器５２２により復号され、一旦、メモリ５２３へ保存される。メモリ５２３から順次読み出された映像信号は、ＤＡ変換回路５２４でアナログへ変換され、映像音声合成器５１５へ入力される。
【００７４】
音声記録媒体再生器５３１は、音声記録媒体４２５に記録された圧縮音声信号を再生する。音声記録媒体再生器５３１から再生される圧縮音声信号は、音声復号器５３２により復号され、一旦、メモリ５３３へ保存される。コントローラ５１２は、映像と音声の相対遅延量を制御しながらメモリ５３３から音声信号を読み出す。メモリ５３３から順次読み出された音声信号は、ＤＡ変換回路５３４でアナログへ変換される。アナログへ変換された音声信号は、音量調整回路５３５で音量を制御され、映像音声合成器５１５へ入力される。
【００７５】
映像音声合成器５１５は、映像信号と音声信号とを合成し、記録媒体２１６へ完成番組として記録する。
【００７６】
番組編集用データ再生器５１１は、番組編集用データ記録媒体４０４に記録された番組編集用データを読み出す。ここでコントローラ５１２は、番組編集用データ再生器５１１から読み出される番組編集用データに基づいて、メモリ５３３からの音声信号の読み出しを制御することにより映像と音声の相対遅延量を制御する。また、コントローラ５１２は、音量調整回路５３５を制御することにより音量を制御する。この処理を図９を用いて詳細に説明する。
【００７７】
図９は、図８の番組編集器５１０で実行される番組編集処理のフローチャートである。
【００７８】
図９において、被写体の位置座標を（Ｘ，Ｙ）、カメラ４１４の位置座標を（ｘｃ，ｙｃ）、カメラ４１４が備えるレンズのフォーカス合焦距離をｒ、カメラ４１４の撮影方向をθ、マイク４２１の位置座標を（ｘｍ，ｙｍ）とする。
【００７９】
まず、コントローラ５１２は、番組編集用データ再生器５１１から読み出される番組編集用データに含まれるマイク位置座標、カメラ位置座標、撮影方向、フォーカス情報、及びズーム情報の各パラメータを取り込む（ステップＳ６０１）。そして、コントローラ５１２は、各パラメータの変化を周期的に検査し、各パラメータのいずれかに変化があったか否かを判別する（ステップＳ６０２）。
【００８０】
ステップＳ６０２の判別の結果、各パラメータのいずれにも変化がないときは、ステップＳ３０７に進む。
【００８１】
一方、ステップＳ６０２の判別の結果、各パラメータのいずれかに変化があったときは、ステップＳ６０３に進む。ステップＳ６０３では、コントローラ５１２は、以下の数５に従い、カメラ１１４の位置座標（ｘｃ，ｙｃ）、カメラ１１４が備えるレンズのフォーカス合焦距離ｒ及びカメラ１１４の撮影方向θに基づいて、被写体の位置座標（Ｘ，Ｙ）を算出する。
【００８２】
［数５］
（Ｘ，Ｙ）＝（ｘｃ＋ｒｃｏｓθ，ｙｃ＋ｒｓｉｎθ）
次に、コントローラ５１２は、以下の数６に従い、被写体位置座標（Ｘ，Ｙ）及びマイク座標位置（ｘｍ，ｙｍ）に基づいて、被写体からマイク４２１までの距離Ｄを算出する（ステップＳ６０４）。
【００８３】
［数６］
Ｄ＝√（（ｘｍ）２−（Ｘ）２）＋（（ｙｍ）２−（Ｙ）２）
次に、コントローラ５１２は、以下の数７に従い、被写体からマイク４２１までの距離Ｄ及び音速Ｃに基づいて、被写体からマイク４２１までの音声到達時間Ｔを算出する（ステップＳ６０５）。
【００８４】
［数７］
Ｔ＝Ｄ／Ｃ
次に、コントローラ５１２は、以下の数８に従い、音声到達時間Ｔに基づいて音声ソースに関連付けられたタイムコード（音声タイムコード）を補正する（ステップＳ６０６）。
【００８５】
［数８］
補正後音声タイムコード＝補正前音声タイムコード−Ｔ
ここでコントローラ５１２は、ステップＳ６０６で補正された音声タイムコードに基づいてメモリ５３３からの音声信号の読み出しを制御することにより、映像と音声の相対遅延量を制御する。つまり、本実施の形態では、コントローラ５１２は、音声タイムコードの補正量分だけ音声を前倒しして再生する（ステップＳ６０７）。さらに、コントローラ２１２は、カメラ４１４が備えるレンズのズーム情報に応じて音量を制御する（ステップＳ６０８）。具体的には、望遠側のときは音量を大きくし、広角側のときは音量を小さくするように制御する事で、完成番組の音声臨場感を増す。
【００８６】
この前倒しして再生された音声信号と無補正の映像信号とを映像音声合成器５１５で合成し、記録媒体５１６へ完成番組として記録する（ステップＳ６０９）。
【００８７】
次に、コントローラ５１２は、すべての音声信号及び映像信号を合成したか否かを判別する（ステップＳ６１０）。この判別の結果、すべての音声信号及び映像信号を合成したときは、本処理を終了する。一方、この判別の結果、すべての音声信号及び映像信号を合成していないときは、ステップＳ６０１に戻る。
【００８８】
本実施の形態によれば、被写体からマイクまでの音声到達時間を算出し、音声到達時間に基づいて音声ソースに関連付けられたタイムコードを補正するので、カメラとマイクが別体である場合にも映像と音声のリップシンクずれを補正することができる。
【００８９】
また、音声を前倒しして再生するので、映像ソースの再生タイミングを加工することなく、リップシンクずれを補正することができる。
【００９０】
また、カメラ４１４が備えるレンズのズーム情報に基づいて音量を調整するので、より臨場感のある番組を制作することができる。
【００９１】
また、本発明の目的は、以下の処理を実行することによって達成される。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出す処理である。
【００９２】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００９３】
また、プログラムコードを供給するための記憶媒体としては、次のものを用いることができる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等である。または、プログラムコードをネットワークを介してダウンロードしてもよい。
【００９４】
また、コンピュータが読み出したプログラムコードを実行することにより、上記実施の形態の機能が実現される場合も本発明に含まれる。加えて、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【００９５】
更に、前述した実施形態の機能が以下の処理によって実現される場合も本発明に含まれる。即ち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う場合である。
【符号の説明】
【００９６】
２１０ 番組編集器
２１１ 番組編集用データ再生器
２１２ コントローラ
２１５ 映像音声合成器
２１６ 記録媒体
２２０ 映像再生器
２３０ 音声再生器
【特許請求の範囲】
【請求項１】
映像収録手段により撮影された被写体の映像信号及び音声収録手段により収録された前記被写体からの音声信号を前記映像信号及び前記音声信号にそれぞれ関連付けられた時間管理データに基づいて合成する映像音声編集装置において、
前記映像収録手段の位置座標、前記音声収録手段の位置座標、並びに前記映像収録手段の撮影方向及びフォーカス情報に基づいて前記被写体から前記音声収録手段までの音声到達時間を算出する算出手段と、
前記算出された音声到達時間に基づいて前記音声信号に関連付けられた時間管理データを補正する補正手段と、
前記補正された時間管理データに基づいて前記映像信号及び前記音声信号を合成する合成手段とを備えることを特徴とする映像音声編集装置。
【請求項２】
前記合成手段は、前記補正された時間管理データに基づいて前記映像信号を遅延させて再生した上で前記音声信号と合成することを特徴とする請求項１記載の映像音声編集装置。
【請求項３】
前記合成手段は、前記補正された時間管理データに基づいて前記音声信号を前倒しして再生した上で前記映像信号と合成することを特徴とする請求項１記載の映像音声編集装置。
【請求項４】
前記映像収録手段のズーム情報に基づいて前記音声信号の音量を調整する調整手段を備えることを特徴とする請求項１乃至３のいずれか１項に記載の映像音声編集装置。
【請求項５】
映像収録手段により撮影された被写体の映像信号及び音声収録手段により収録された前記被写体からの音声信号を前記映像信号及び前記音声信号にそれぞれ関連付けられた時間管理データに基づいて合成する映像音声編集装置の制御方法において、
前記映像収録手段の位置座標、前記音声収録手段の位置座標、並びに前記映像収録手段の撮影方向及びフォーカス情報に基づいて前記被写体から前記音声収録手段までの音声到達時間を算出する算出ステップと、
前記算出された音声到達時間に基づいて前記音声信号に関連付けられた時間管理データを補正する補正ステップと、
前記補正された時間管理データに基づいて前記映像信号及び前記音声信号を合成する合成ステップとを備えることを特徴とする制御方法。
【請求項６】
映像収録手段により撮影された被写体の映像信号及び音声収録手段により収録された前記被写体からの音声信号を前記映像信号及び前記音声信号にそれぞれ関連付けられた時間管理データに基づいて合成する映像音声編集装置を制御する制御方法をコンピュータに実行させるプログラムにおいて、前記制御方法は、
前記映像収録手段の位置座標、前記音声収録手段の位置座標、並びに前記映像収録手段の撮影方向及びフォーカス情報に基づいて前記被写体から前記音声収録手段までの音声到達時間を算出する算出ステップと、
前記算出された音声到達時間に基づいて前記音声信号に関連付けられた時間管理データを補正する補正ステップと、
前記補正された時間管理データに基づいて前記映像信号及び前記音声信号を合成する合成ステップとを備えることを特徴とするプログラム。
【請求項１】
映像収録手段により撮影された被写体の映像信号及び音声収録手段により収録された前記被写体からの音声信号を前記映像信号及び前記音声信号にそれぞれ関連付けられた時間管理データに基づいて合成する映像音声編集装置において、
前記映像収録手段の位置座標、前記音声収録手段の位置座標、並びに前記映像収録手段の撮影方向及びフォーカス情報に基づいて前記被写体から前記音声収録手段までの音声到達時間を算出する算出手段と、
前記算出された音声到達時間に基づいて前記音声信号に関連付けられた時間管理データを補正する補正手段と、
前記補正された時間管理データに基づいて前記映像信号及び前記音声信号を合成する合成手段とを備えることを特徴とする映像音声編集装置。
【請求項２】
前記合成手段は、前記補正された時間管理データに基づいて前記映像信号を遅延させて再生した上で前記音声信号と合成することを特徴とする請求項１記載の映像音声編集装置。
【請求項３】
前記合成手段は、前記補正された時間管理データに基づいて前記音声信号を前倒しして再生した上で前記映像信号と合成することを特徴とする請求項１記載の映像音声編集装置。
【請求項４】
前記映像収録手段のズーム情報に基づいて前記音声信号の音量を調整する調整手段を備えることを特徴とする請求項１乃至３のいずれか１項に記載の映像音声編集装置。
【請求項５】
映像収録手段により撮影された被写体の映像信号及び音声収録手段により収録された前記被写体からの音声信号を前記映像信号及び前記音声信号にそれぞれ関連付けられた時間管理データに基づいて合成する映像音声編集装置の制御方法において、
前記映像収録手段の位置座標、前記音声収録手段の位置座標、並びに前記映像収録手段の撮影方向及びフォーカス情報に基づいて前記被写体から前記音声収録手段までの音声到達時間を算出する算出ステップと、
前記算出された音声到達時間に基づいて前記音声信号に関連付けられた時間管理データを補正する補正ステップと、
前記補正された時間管理データに基づいて前記映像信号及び前記音声信号を合成する合成ステップとを備えることを特徴とする制御方法。
【請求項６】
映像収録手段により撮影された被写体の映像信号及び音声収録手段により収録された前記被写体からの音声信号を前記映像信号及び前記音声信号にそれぞれ関連付けられた時間管理データに基づいて合成する映像音声編集装置を制御する制御方法をコンピュータに実行させるプログラムにおいて、前記制御方法は、
前記映像収録手段の位置座標、前記音声収録手段の位置座標、並びに前記映像収録手段の撮影方向及びフォーカス情報に基づいて前記被写体から前記音声収録手段までの音声到達時間を算出する算出ステップと、
前記算出された音声到達時間に基づいて前記音声信号に関連付けられた時間管理データを補正する補正ステップと、
前記補正された時間管理データに基づいて前記映像信号及び前記音声信号を合成する合成ステップとを備えることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１０−２５８５６８（Ｐ２０１０−２５８５６８Ａ）
【公開日】平成２２年１１月１１日（２０１０．１１．１１）
【国際特許分類】
【出願番号】特願２００９−１０３８８４（Ｐ２００９−１０３８８４）
【出願日】平成２１年４月２２日（２００９．４．２２）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２２年１１月１１日（２０１０．１１．１１）
【国際特許分類】
【出願日】平成２１年４月２２日（２００９．４．２２）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]