説明

撮像装置、録音装置、および動画撮影システム

【課題】映像と音声がずれることなく記録することができる撮影システムおよび通信端末を提供する。
【解決手段】被写体を撮影する撮像手段と、撮像手段による撮影に合わせて、第1の録音環境で被写体の音声を録音する録音手段と、第1の録音環境と異なる録音環境で録音された音声データを、無線ネットワークを介して外部装置から受信するネットワーク接続手段と、第1の録音環境で録音された音声データと、ネットワーク接続手段によって受信した音声データとの相関を検出する相関検出手段と、相関検出手段が検出した相関検出の結果に基づいて、ネットワーク接続手段によって受信した音声データを、撮像手段が撮影した映像に同期して関連付けた動画データを生成する動画生成手段と、を備えることを特徴とする。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、通信機能を備えた撮像装置と録音装置、およびこの撮像装置と録音装置とを利用して動画を生成する動画撮影システムに関する。
【背景技術】
【0002】
近年、ネットワーク技術の進歩により、様々な電子機器にネットワーク機能が搭載されている。例えば、テレビや携帯電話以外にも、所謂白物家電と呼ばれる冷蔵庫などにもネットワーク対応のものが登場している。このような状況の中で、カメラやマイクにもネットワーク機能に対応したものが登場している。このカメラやマイクは、その利用者が携帯して使用するため、ほとんどが無線ネットワークに対応しているものである。
【0003】
このような、無線ネットワークに対応したカメラやマイクでは、その利用シーンが大きく広がっており、例えば、マイクを被写体付近に設置して、離れた所から撮影を行うことが可能である。このようにすることで、離れた所の被写体の音声データを、被写体付近に設置したマイクが無線ネットワークを介して送信し、その無線ネットワークを介して送信されてきた音声データをカメラが受信して、カメラが撮影した動画像データと共に記録することで、離れた所の被写体の音声を確実に録音した動画データを生成することができる。
【0004】
また、その他の利用方法としては、例えば、記者会見のような利用シーンにおいて、1台のマイクと複数台のカメラが連携して、会見者の音声を確実に記録しながら様々な角度からの映像を撮影することができる。
【0005】
また、複数台のマイクと1台のカメラが連携することによって様々な音声効果を得ることができる。例えば、マイクが2台である場合は、ステレオ音声の映像の撮影をすることができ、また、例えば、マイクが6台である場合は、この6台のマイクが被写体の周囲の音声を捉えることによって、5.1チャンネルの音声データを実現した映像の撮影をすることができる。
【0006】
このようなマイクとカメラの利用シーンを実現する方法として、特許文献1では、被写体付近に設置した複数の無線マイクが捉えた音声信号を、近距離無線データ通信を用いて送信し、カメラが撮影した被写体の画像と複数の無線マイクから送信されてきた音声信号とを記録することによって、所望の被写体の映像と音声を記録するビデオカメラ装置が開示されている。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開2006−54567号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかしながら、特許文献1のビデオカメラ装置では、無線マイクが捉えた音声を所望の被写体の映像と共に記録することができるが、近距離無線データ通信による通信は、撮影している環境の電波の通信状況や、音声信号を送信する無線マイクの数、近距離無線データ通信のネットワーク利用状況などによって通信状態が大きく変化する。すなわち、無線マイクから送信される音声信号を、ビデオカメラ装置が受信するときの遅延時間が大きく変化してしまう。
特許文献1においては、通信状態の変化による音声信号の遅延時間に関する対応の開示がされておらず、ビデオカメラ装置が無線マイクから送信されてきた音声信号とビデオカメラ装置自体が撮影した被写体の画像とを単純に合成して記録した場合には、映像と音声とがずれた状態で記録されてしまい、違和感のある動画データが生成されてしまうという問題がある。
【0009】
本発明は、上記の課題認識に基づいてなされたものであり、音声信号を送信する装置と、動画像を撮影する装置とがネットワークを介して接続され、送信されてきた音声信号と、撮影した映像を合成して記録する撮影システムにおいて、映像と音声がずれることなく記録することができる撮影システムおよび通信端末を提供することを目的としている。
【課題を解決するための手段】
【0010】
上記の課題を解決するため、本発明の撮像装置は、被写体を撮影する撮像手段と、前記撮像手段による撮影に合わせて、第1の録音環境で前記被写体の音声を録音する録音手段と、前記第1の録音環境と異なる録音環境で録音された音声データを、無線ネットワークを介して外部装置から受信するネットワーク接続手段と、前記第1の録音環境で録音された音声データと、前記ネットワーク接続手段によって受信した音声データとの相関を検出する相関検出手段と、前記相関検出手段が検出した相関検出の結果に基づいて、前記ネットワーク接続手段によって受信した音声データを、前記撮像手段が撮影した映像に同期して関連付けた動画データを生成する動画生成手段と、を備えることを特徴とする。
このことにより、被写体の撮影と同時に録音した音声と、無線ネットワークを介して受信した音声データの相関を検出し、検出した相関検出の結果に基づいて撮影した映像と受信した音声データを関連付けた動画データを生成する。これにより、映像と音声データのずれがなく、また、外部装置で録音した高音質の音声データを関連付けた動画データを生成することができるという効果が得られる。
【0011】
また、本発明の前記相関検出手段は、前記録音手段によって録音された音声データのうち、録音開始位置を基準とする予め定められた期間の音声データと、前記ネットワーク接続手段によって受信した音声データとの相関を検出する、ことを特徴とする。
このことにより、撮影と動画データの生成を並行して行う場合に、早い段階で音声データの相関を検出することができるという効果が得られる。
【0012】
また、本発明の前記相関検出手段は、前記撮像手段が撮影した映像を前記動画データとして生成する際に、前記ネットワーク接続手段によって受信した音声データのうち、前記動画データの開始位置に対応する位置を基準とする予め定められた期間の音声データの相関を検出する、ことを特徴とする。
このことにより、動画データの開始位置に対応する音声データの位置を特定できる場合(例えば、撮像装置における撮影開始と外部装置における録音開始とが、ほぼ同時刻の場合)に、より早い段階で音声データの相関を検出することができるという効果が得られる。
【0013】
また、本発明の撮像装置は、前記ネットワーク接続手段を介して、前記外部装置に、前記被写体の音声の録音開始、または録音終了の指示を行う録音指示手段、を更に備えることを特徴とする。
このことにより、撮像装置による撮影開始と撮影終了とを同期させることができ、撮像装置が録音した音声と受信した音声データとの相関検出の処理を容易にすることができるという効果が得られる。
【0014】
また、本発明の前記動画生成手段は、複数の前記外部装置から受信した前記音声データを合成して前記動画データを生成する、ことを特徴とする。
このことにより、複数の外部装置が録音した音声データを用いた動画データを生成することができ、例えば、ステレオ音声や5.1ch音声に対応した動画データを生成することができるという効果が得られる。
【0015】
また、本発明の録音装置は、第2の録音環境で被写体の音声を録音する第2の録音手段と、前記第2の録音手段によって録音された音声データを、前記撮像装置に対して、無線ネットワークを介して送信する第2のネットワーク接続手段と、を備えることを特徴とする。
このことにより、録音装置が被写体の音声を一旦記録し、その記録した音声データを送信することができるので、撮像装置が撮影と同時に記録した音声と、送信した音声データとのがずれることなく記録することができるという効果が得られる。また、無線ネットワークの環境によって音声データの再送処理が発生した場合にも記録してある音声データを再送信することができるので、音飛びなどの音声データの損失がない動画データを生成することができるという効果が得られる。
【0016】
また、本発明の前記第2の録音手段は、前記第2のネットワーク接続手段が受信した前記被写体の音声の録音開始、または録音終了の指示に基づいて、前記被写体の音声の録音開始、または録音終了を行い、前記第2のネットワーク接続手段は、前記第2の録音手段が録音した前記音声データを、前記録音開始、または前記録音終了の指示を送信した撮像装置に送信する、ことを特徴とする。
このことにより、録音装置が、撮像装置が被写体を撮影している期間の音声データを記録することができ、動画データの生成に必要な音声のみを記録することができるという効果が得られる。
【0017】
また、本発明の録音装置は、前記第2の録音手段によって録音された前記音声データを、外部装置からの音声データを受信するネットワーク接続手段を備えた複数の撮像装置に対して、マルチキャスト通信で送信する、ことを特徴とする。
このことにより、1台の録音装置が録音した音声データを複数台の撮像装置に送信することができるので、1台の録音装置を複数台の撮像装置で共有することができるという効果が得られる。
【0018】
また、本発明の動画撮影システムは、撮像装置と録音装置とを備える動画撮影システムであって、前記撮像装置は、被写体を撮影する撮像手段と、前記撮像手段による撮影に合わせて、第1の録音環境で前記被写体の音声を録音する録音手段と、前記第1の録音環境と異なる録音環境で録音された音声データを、無線ネットワークを介して前記録音装置から受信する第1のネットワーク接続手段と、前記第1の録音環境で録音された音声データと、前記第1のネットワーク接続手段によって受信した音声データとの相関を検出する相関検出手段と、前記相関検出手段が検出した相関検出の結果に基づいて、前記第1のネットワーク接続手段によって受信した音声データを、前記撮像手段が撮影した映像に関連付けた動画データを生成する動画生成手段と、を具備し、前記録音装置は、第2の録音環境で被写体の音声を録音する第2の録音手段と、前記第2の録音手段によって録音された音声データを、前記撮像装置に対して、無線ネットワークを介して送信する第2のネットワーク接続手段と、を具備する、ことを特徴とする。
このことにより、撮像装置によって撮影した被写体の映像と、録音装置によって録音した音声とがずれることなく関連付けることができ、異なる機器で記録した映像と音声データとが同期した動画データを生成することができるという効果が得られる。
【発明の効果】
【0019】
本発明によれば、音声信号を送信する装置と、動画像を撮影する装置とがネットワークを介して接続され、送信されてきた音声信号と、撮影した映像を合成して記録する撮影システムにおいて、撮影と同時に記録している音声と、送信されてきた音声信号の相関を検出して、相関が検出された音声信号を撮影している映像と共に記録することによって、映像と音声がずれることなく記録することができるという効果が得られる。
【図面の簡単な説明】
【0020】
【図1】本発明の実施形態による動画撮影システムの概略構成を示した図である。
【図2】本実施形態の動画撮影システムにおける録音端末の概略構成を示したブロック図である。
【図3】本実施形態の動画撮影システムにおける撮影端末の概略構成を示したブロック図である。
【図4】本実施形態の動画撮影システムにおいて音声データの相関を検出する動作の概要を示した図である。
【図5】本実施形態の動画撮影システムにおける撮影端末の処理手順を示したフローチャートである。
【図6】本実施形態の動画撮影システムにおける録音端末の処理手順を示したフローチャートである。
【図7】本実施形態の動画撮影システムの第1の使用例を示した図である。
【図8】本実施形態の動画撮影システムの第2の使用例を示した図である。
【発明を実施するための形態】
【0021】
以下、本発明の実施形態について、図面を参照して説明する。図1は、本実施形態による動画撮影システムの概略構成を示した図である。図1において、動画撮影システムは、録音端末100、撮影端末200から構成される。また、録音端末100は、マイク101、アンテナ102を備えている。また、撮影端末200は、マイク201、アンテナ202、レリーズ釦203を備えている。
【0022】
録音端末100は、この録音端末100が設置された環境において、マイク101によって集音された音声を内部に記録し、記録した音声データをアンテナ102を介して送信するボイスレコーダである。なお、録音端末100は、この録音端末100単体で動作することができ、マイク101、アンテナ102以外の構成として単体で動作するために必要な設定スイッチや表示パネルなどを備えているが、この録音端末100単体での動作のみに必要な構成は、本発明に関係しないため説明を省略する。
【0023】
撮影端末200は、本実施形態の動画撮影システムによって動画を撮影する撮影者によって操作され、撮影者がレリーズ釦203を押下することによって、被写体の撮影を開始、または停止するデジタル一眼レフレックスカメラである。撮影端末200は、被写体の撮影を開始すると同時にマイク201で集音した音声の記録も開始する。
なお、撮影端末200は、マイク201、アンテナ202、レリーズ釦203以外の構成として被写体の撮影に必要な交換レンズや表示パネルなどを備え、また、単体で動作するために必要な設定スイッチなどを備えているが、本発明に関係しないため説明を省略する。
【0024】
また、撮影端末200は、被写体の撮影中にアンテナ202を介して録音端末100から送信された音声データを受信する。そして、撮影端末200は、自撮影端末200が撮影した被写体の映像データと、受信した録音端末100が記録した音声データとを関連付けた動画データを生成して記録する。
なお、撮影端末200は、受信した録音端末100が記録した音声データを関連付けた動画データを生成して記録する場合は、自撮影端末200が被写体の撮影を開始すると同時にマイク201で集音した音声の音声データは動画データの生成には用いずに、破棄する。
【0025】
また、撮影端末200は、アンテナ202を介して撮影者によるレリーズ釦203の押下の状態に応じた、録音端末100への音声の録音開始および終了の指示や、録音端末100に記録している音声データの送信要求などを送信する。
【0026】
次に、本実施形態の録音端末100について説明する。図2は、本実施形態による録音端末100の概略構成を示したブロック図である。図2において、録音端末100は、マイク101、AD変換部110、記録部120、WLANインタフェース部130、アンテナ102、制御部140から構成される。なお、録音端末100全体の動作は、制御部140によって制御される。
【0027】
AD変換部110は、マイク101が集音した音声の電気信号(音声信号)をアナログ・デジタル変換し、デジタルデータに変換された音声データを記録部120に出力する。
記録部120は、AD変換部110から入力された音声データを記録し、記録している音声データを、制御部140からの制御に従って、WLANインタフェース部130に出力する。
WLANインタフェース部130は、記録部120から入力された音声データを、無線LANの規格に従って処理し、処理後の音声データを含む電波信号を、アンテナ102を介して無線ネットワークに接続している他の機器、すなわち、撮影端末200に送信する。
【0028】
次に、本実施形態の撮影端末200について説明する。図3は、本実施形態による撮影端末200の概略構成を示したブロック図である。図3において、撮影端末200は、撮影部210、マイク201、AD変換部220、メモリ230、相関検出部240、動画生成部250、メモリカードインタフェース部260、アンテナ202、WLANインタフェース部270、制御部280から構成される。なお、撮影端末200全体の動作は、制御部280によって制御される。
【0029】
撮影部210は、撮影者によってレリーズ釦130が押下されることによって撮影が開始されると、撮影部210内の図示しないレンズを介して入射された被写体の光束を同じく撮影部210内の図示しない光電変換素子などによって光電変換し、撮影した被写体の映像データとしてメモリ230に出力する。
AD変換部220は、撮影の開始と同時にマイク201が集音した音声の電気信号(音声信号)をアナログ・デジタル変換し、デジタルデータに変換された音声データをメモリ230に出力する。
このことによって、メモリ230には、撮影端末200が撮影した被写体の映像データと音声データとが記憶される。
【0030】
WLANインタフェース部270は、アンテナ202を介して受信した無線ネットワークに接続している他の機器、すなわち、録音端末100から送信された音声データを含む電波信号を、無線LANの規格に従って処理し、処理後の音声データをメモリ230に出力する。
また、WLANインタフェース部270は、制御部280からの制御に従い、無線ネットワークに接続している他の機器に対する音声の録音開始および終了の指示や、音声データの送信要求などを、アンテナ202を介して送信する。
【0031】
メモリ230は、撮影端末200が撮影した被写体の映像と音声データとを記憶する。また、メモリ230は、録音端末100から送信され、アンテナ202を介してWLANインタフェース部270が受信した音声データを記憶する。
【0032】
相関検出部240は、メモリ230に記憶されている撮影端末200が記憶した音声データと、アンテナ202を介してWLANインタフェース部270が受信した音声データ、すなわち、録音端末100が記録した音声データとの相関検出によって、それぞれの音声データが一致する部分を検出する。
また、相関検出部240は、相関検出によって得られた結果を、動画生成部250に出力する。この動画生成部250に出力される相関検出の結果は、例えば、撮影端末200が記憶した音声データと、受信した録音端末100が記録した音声データとに相関があるか否かを示す信号や、受信した録音端末100が記録した音声データ内で相関が検出された場所または時刻を示すデータなどが考え得られるが、本発明においては、相関検出の結果に含まれる詳細な内容に関しての規定はしない。
【0033】
動画生成部250は、メモリ230に記憶されている撮影端末200が記憶した映像データと、アンテナ202を介してWLANインタフェース部270が受信した音声データ、すなわち、録音端末100が記録した音声データとを関連付けた動画データを生成し、生成した動画データをメモリカードインタフェース部260に出力する。
なお、動画生成部250によって生成される動画データ内の映像データの開始位置における音声データのスタート位置は、相関検出部240から入力された相関検出の結果に基づいて決定される。
なお、本発明においては、動画生成部250による動画データの生成方法に関しては規定しない。
【0034】
メモリカードインタフェース部260は、動画生成部250から入力された動画データを、メモリカードに記録するために必要な処理を行って、図示しないメモリカードに記録する。
なお、本発明においては、メモリカードへの動画データの記録方法に関しては規定しない。
【0035】
次に、本実施形態における相関検出について説明する。図4は、本実施形態の動画撮影システムにおいて音声データの相関を検出する動作の概要を示した図である。図4において、上段のグラフaは、撮影端末200が被写体の撮影開始と同時にマイク201が集音し、メモリ230に記憶されている音声データ内で、予め定められた1つの周波数の音声データを示し、下段のグラフbは、アンテナ202を介してWLANインタフェース部270が受信した音声データ、すなわち、録音端末100が記録した音声データ内で、予め定められた上段の音声データと同じ周波数の音声データを示す。
【0036】
また、図4の横軸は、動画データの記録時間を示し、横軸に記載した目盛りは、記憶している動画データのフレームの区切り位置を示している。例えば、動画データのフレームレートが30フレーム/秒の動画データである場合は、1秒間に30回のフレームの区切りがあるため、図4における横軸の目盛りの間隔は、約33msとなる。また、例えば、音声データのサンプリングが32k/秒である場合、動画データの1フレーム区間、すなわち、1目盛りの間隔には、約1000個のサンプリングされた音声データが存在する。
【0037】
次に、相関検出部240による音声データの相関検出の例について説明する。なお、図4においては、映像データの開始位置から予め定められた2500個のサンプリングデータを比較して、音声データのスタート位置を検出する場合について説明する。
【0038】
まず、相関検出部240は、撮影端末200が記憶した映像データの開始時(タイミングt1)のグラフaの音声データと、グラフbの音声データとの差を算出し、引き続きタイミングt1からサンプリングタイミングを1つ後ろにずらしたタイミングt1+1のグラフaの音声データと、グラフbの音声データとの差を算出する。以降、同様に、サンプリングタイミングを1つ後ろにずらしてタイミングt1〜タイミングt1+2500までのグラフaの音声データと、タイミングt1〜タイミングt1+2500までのグラフbの音声データとの差を算出する。その後、算出したそれぞれのサンプリングタイミングにおける音声データの差、すなわち、2500個の音声データの差を合計し、その合計値(合計値t1)を記憶する。
【0039】
続いて、タイミングt1のグラフaの音声データと、タイミングt1+1のグラフbの音声データとの差を算出し、引き続きタイミングt1+1のグラフaの音声データと、タイミングt1+2のグラフbの音声データとの差を算出する。以降、同様に、サンプリングタイミングを1つ後ろにずらしてタイミングt1〜タイミングt1+2500までのグラフaの音声データと、タイミングt1+1〜タイミングt1+2500+1までのグラフbの音声データとの差を算出する。その後、算出したそれぞれのサンプリングタイミングにおける音声データの差を合計し、その合計値(合計値t1+1)を記憶する。
【0040】
続いて、タイミングt1のグラフaの音声データと、タイミングt1+2のグラフbの音声データとの差を算出し、引き続きタイミングt1+1のグラフaの音声データと、タイミングt1+3のグラフbの音声データとの差を算出する。以降、同様に、サンプリングタイミングを1つ後ろにずらしてタイミングt1〜タイミングt1+2500までのグラフaの音声データと、タイミングt1+2〜タイミングt1+2500+2までのグラフbの音声データとの差を算出する。その後、算出したそれぞれのサンプリングタイミングにおける音声データの差を合計し、その合計値(合計値t1+2)を記憶する。
【0041】
以降、同様にグラフaの音声データと、グラフbの音声データとの差の算出、算出したそれぞれのサンプリングタイミングにおける音声データの差の合計値の記憶を行う。
【0042】
続いて、予め定められた2500個の音声データの差の合計値(合計値t1〜合計値t1+2500)の記憶が完了した後に、記憶した音声データの差の合計値t1〜合計値t1+2500の中から、その値が最小となる値を検出する。
【0043】
続いて、音声データの差の合計値が最小であるサンプリングタイミング、すなわち、タイミングt1のグラフaの音声データに対して、グラフbの音声データのサンプリングタイミングを幾つずらしたときの音声データの差の合計値が最小であったかを示すサンプリングタイミングのずらし量(図4における遅延時間c)を、相関検出部240による相関検出の結果として動画生成部250に出力する。
【0044】
動画生成部250は、相関検出部240からの相関検出の結果に基づいて、撮影端末200が記憶した映像データの開始位置に対して、アンテナ202を介してWLANインタフェース部270が受信した録音端末100が記録した音声データのスタート位置をずらした動画データを生成する。すなわち、映像データは、図4におけるタイミングt1から記録され、音声データは、図4における遅延時間cをずらしたタイミングt2以降の音声データが記録される。
このことによって、動画生成部250が生成した動画データを再生する際には、タイミングt1からの映像データと、タイミングt2からの音声データが同時に再生されることとなる。
【0045】
なお、本説明の音声データの相関検出例においては、予め定められた特定の周波数の音声データを用いて相関検出を行っているが、複数の周波数帯を用いて相関検出を行うとより効果的である。すなわち、複数の周波数帯を用いて相関検出を行うことによって、例えば、記憶した音声データに電子音などの単調な繰り返しパターンがある場合の誤検出を回避することができる。
また、撮影端末200における雑音、例えば、レンズの駆動音などの予め判明している周波数帯の音声データを使用しないことで、より正確に相関検出を行うこともできる。
【0046】
また、本説明の音声データの相関検出例においては、映像データの開始位置から予め定められたサンプリングデータ(2500個)を比較して、全ての音声データの差の合計値を算出した後に音声データのスタート位置を検出する場合について説明したが、本発明においては、この方法に限定しない。例えば、音声データの差の合計値を算出する毎に前回の音声データの差の合計値と今回の音声データの差の合計値とを比較して、音声データの差の合計値の最小値が検出されたときに音声データの差の合計値の算出を終了(音声データの差の合計値の最小値が検出された後に、予め定められた回数の音声データの差の合計値の算出を行ってから判断する場合も含む)することもできる。このことによって、映像データの開始位置から音声データの相関が検出されるまでの処理時間を短縮することができる。
【0047】
なお、本発明においては、音声データの相関が検出される方法であれば良く、音声データの相関検出方法に関しての規定はしない。
【0048】
また、グラフaの音声データと、グラフbの音声データとのそれぞれの音声データの最大値と最小値との差が大きい場合は、それぞれの音声データにゲインをかけて、最大値と最小値の範囲を同様にした後にグラフaの音声データと、グラフbの音声データとの相関を検出することによって、より容易に相関検出を行うこともできる。
【0049】
また、グラフaの音声データと、グラフbの音声データとは、音声データが圧縮されていない状態であることが望ましいが、受信した音声データが圧縮されている場合は、相関検出の条件を変更することで圧縮されている音声データに対しても相関を検出することができる。例えば、変更される相関検出の条件は、相関判定条件の緩和や、サンプリングタイミングの変更などが考えられる。
【0050】
次に、本実施形態の撮影端末200の処理手順について説明する。図5は、本実施形態の撮影端末200の処理手順を示したフローチャートである。なお、本実施形態の撮影端末200の処理手順の説明において、レリーズ釦203は、2段スイッチの構成となっており、撮影者がレリーズ釦203を押下(半押し)することによって、1段目のスイッチが検出(以下、1段目のスイッチの検出を「1stレリーズ」という)され、さらに撮影者がレリーズ釦203を押下(全押し)することによって、2段目のスイッチが検出(以下、2段目のスイッチの検出を「2ndレリーズ」という)されるものとして説明を行う。
【0051】
なお、1stレリーズにおける撮影端末200の動作は、例えば、被写体を撮影するためのカメラが行う合焦処理などが考えられるが、本発明に関係しないため被写体を撮影するための準備動作に関しての説明は省略する。また、2ndレリーズにおける撮影端末200の動作は、例えば、撮影部210内の図示しないレンズを介して入射された被写体の光束を光電変換して映像データを生成する処理などが考えられるが、本発明に関係しないため映像データを生成する処理に関しての説明は省略する。
【0052】
まず、動画撮影を開始、すなわち、撮影端末200が動画を撮影するモードに設定され、動画撮影の待機状態となると、制御部280は、ステップS101において、1stレリーズが検出されたか否かを判断し、1stレリーズが検出された場合は、ステップS102に進む。また、1stレリーズが検出されない場合は、ステップS101を繰り返す。
【0053】
続いて、制御部280は、ステップS102において、WLANインタフェース部270に無線ネットワークに接続している他の機器、すなわち、録音端末100に対して音声データの送信要求を行う。このことにより、WLANインタフェース部270は、アンテナ202を介して録音端末100に音声データの送信要求が送信される。なお、この音声データの送信要求に応じた録音端末100の動作に関しては、後述する。
【0054】
続いて、制御部280は、ステップS103において、アンテナ202を介してWLANインタフェース部270による音声データの受信を開始する。このことにより、録音端末100から送信されてきた音声データがメモリ230に記憶される。
【0055】
続いて、制御部280は、ステップS104において、2ndレリーズが検出されたか否かを判断し、2ndレリーズが検出された場合は、ステップS105に進む。また、2ndレリーズが検出されない場合は、ステップS104を繰り返す。
【0056】
続いて、制御部280は、ステップS105において、撮影部210から入力された被写体の映像データと、マイク201が集音し、AD変換部220によってデジタルデータに変換された音声データとをメモリ230に記憶する。このことによって、撮影端末200による動画の撮影が行われる。なお、アンテナ202を介してWLANインタフェース部270が受信した録音端末100の音声データのメモリ230への記憶も同時に行われている。
【0057】
続いて、制御部280は、ステップS106において、相関検出部240に相関検出を開始させる。このことにより、相関検出部240は、メモリ230に記憶されている撮影端末200が記憶した音声データと、受信した録音端末100の音声データとの相関検出、すなわち、音声データのスタート位置の検出を行い、相関検出の結果である受信した録音端末100の音声データのスタート位置を動画生成部250に出力する。
【0058】
続いて、制御部280は、ステップS107において、相関検出部240による相関検出によって、メモリ230内に記憶された録音端末100の音声データのスタート位置が検出されているか否かを判断し、音声データのスタート位置が検出されている場合は、ステップS108に進む。また、音声データのスタート位置が検出されていない場合は、ステップS106に戻って、音声データのスタート位置が検出されるまで相関検出部240による相関検出を繰り返す。
【0059】
続いて、制御部280は、ステップS108において、動画生成部250による動画データの生成とメモリカードインタフェース部260による処理とを開始する。このことにより、動画生成部250は、相関検出部240から入力された音声データのスタート位置に基づいて、メモリ230に記憶されている撮影端末200が記憶した映像データと、受信した録音端末100の音声データとを関連付けた動画データを生成する。また、メモリカードインタフェース部260は、動画生成部250が生成した動画データを、メモリカードに記録するために必要な処理を行って、図示しないメモリカードに記録する。
【0060】
続いて、制御部280は、ステップS109において、2ndレリーズが検出されたか否かを判断し、2ndレリーズが検出された場合は、ステップS110に進む。また、2ndレリーズが検出されない場合は、ステップS108に戻り、動画データの生成と、メモリカードへの記録を繰り返す。
【0061】
ステップS109において、2ndレリーズが検出された場合、制御部280は、ステップS110において、WLANインタフェース部270に無線ネットワークに接続している他の機器、すなわち、録音端末100に対して音声データの停止要求を行う。このことにより、WLANインタフェース部270は、アンテナ202を介して録音端末100に音声データの停止要求が送信される。なお、この音声データの停止要求に応じた録音端末100の動作に関しては、後述する。
【0062】
続いて、制御部280は、ステップS111において、アンテナ202を介してWLANインタフェース部270による音声データの受信を停止する。また、撮影部210による被写体の映像データと、AD変換部220による音声データとのメモリ230への記憶を停止し、処理を完了する。
【0063】
次に、本実施形態の録音端末100の処理手順について説明する。図6は、本実施形態の録音端末100の処理手順を示したフローチャートである。
【0064】
まず、音声データの送信を開始、すなわち、録音端末100が音声の録音を開始するモードに設定され、音声データ送信の待機状態となると、制御部140は、ステップS201において、撮影端末200からの音声データの送信要求を受信したか否かを判断し、音声データの送信要求を受信した場合は、ステップS202に進む。また、音声データの送信要求を受信しない場合は、ステップS201を繰り返す。
【0065】
ステップS201において、音声データの送信要求を受信した場合、制御部140は、ステップS202において、音声の録音を開始させる。このことにより、マイク101が集音した被写体の音声を、AD変換部110によってデジタルデータに変換し、デジタルデータに変換された被写体の音声データを記録部120に記録する。
【0066】
続いて、制御部140は、ステップS203において、WLANインタフェース部130に無線ネットワークに接続している撮影端末200に対する音声データの送信を開始する。このことにより、記録部120に記録された被写体の音声データが、WLANインタフェース部130によって電波信号に変換され、アンテナ102を介して撮影端末200に送信される。
【0067】
続いて、制御部140は、ステップS204において、撮影端末200からの音声データの停止要求を受信したか否かを判断し、音声データの停止要求を受信した場合は、ステップS205に進む。また、音声データの停止要求を受信しない場合は、ステップS203に戻り、記録部120に記録された被写体の音声データの送信を繰り返す。
【0068】
ステップS204において、音声データの停止要求を受信した場合、制御部140は、ステップS205において、音声の録音を停止する。また、記録部120に記録された被写体の音声データの送信を停止し、処理を完了する。
【0069】
上記に述べたとおり、本発明の実施形態によれば、撮影端末200が撮影した被写体の映像データと、録音端末100が記録した音声データとを関連付けた動画データを記録することができる。
【0070】
次に、本実施形態の動画撮影システムの使用例について説明する。図7および図8は、本実施形態の動画撮影システムの使用例を示した図である。
【0071】
図7は、録音端末100を2台(録音端末100−Aおよび録音端末100−B)使用して、ステレオ音声の動画データを生成する場合の例を示している。図7において、1台の撮影端末200と、2台の録音端末100とは、無線ネットワーク(無線LANネットワーク)環境において、アクセスポイントを経由しないアドホックモードで接続されている。撮影端末200は、無線ネットワークを介して録音端末100−Aと録音端末100−Bとから送信されてくる音声データをそれぞれ受信する。そして、録音端末100−Aから送信されてくる音声データをステレオ音声の右側音声とし、録音端末100−Bから送信されてくる音声データをステレオ音声の左側音声とした動画データを生成する。
なお、本発明においては、撮影端末200によるステレオ音声の動画データの生成方法に関しては規定しない。
【0072】
また、図7に示した使用例を応用して、録音端末100を6台とすることにより、5.1チャンネルの音声データを実現した動画データを生成することができる。
【0073】
図8は、3台の撮影端末200(撮影端末200−A、撮影端末200−B、および撮影端末200−C)が、1台の録音端末100から送信されてくる被写体の音声データを、同時に記録した動画データを生成する場合の例を示している。図8において、1台の録音端末100と、3台の撮影端末200とは、無線ネットワーク(無線LANネットワーク)環境において、アクセスポイントを経由しないアドホックモードで接続されている。録音端末100は、3台の撮影端末200にマルチキャストで記録している音声データを送信する。
【0074】
なお、図8においては、録音端末100に対して撮影端末200−A、撮影端末200−B、および撮影端末200−Cからそれぞれ音声の録音開始および終了の指示や、記録している音声データの送信要求が送信される。録音端末100は、無線ネットワークに接続されている撮影端末200から、最初に音声の録音開始の指示を受信した時に録音を開始し、最後の撮影端末200からの録音終了の指示を受信した時に録音を終了する。また、録音端末100は、無線ネットワークに接続されている撮影端末200から、最初に音声データの送信要求を受信した時に音声データの送信を開始し、最後の撮影端末200からの音声データの停止要求を受信した時に音声データの送信を停止する。
【0075】
なお、本発明においては、録音端末100による音声データの送信方法に関しては規定しない。
【0076】
上記に述べたとおり、本発明を実施するための形態によれば、録音端末100と撮影端末200とが別の機器であり、無線ネットワークを介して接続されている場合において、撮影端末200が記憶した音声と、録音端末100が記録した音声データとの相関を検出することによって、生成する動画データ内の映像データと音声データのタイミングを一致させることができるので、映像と音声のずれがなく、違和感のない動画を撮影することができる。
【0077】
なお、本実施形態において動画データを生成する際に関連付ける音声データは、映像データの開始位置における音声データのスタート位置のみの相関を検出する例で説明したが、動画データの途中において予め定められたフレーム間隔毎に、撮影端末200が記憶した音声データと、受信した録音端末100が記録した音声データとの相関を検出して、映像データと音声データのタイミングのずれや誤差を補正する構成とすることもできる。
【0078】
また、図7および図8に示した本実施形態の動画撮影システムの使用例においては、無線ネットワーク環境において、アドホックモードで接続されている例を説明したが、本発明においては、無線ネットワーク環境における接続モードの限定はしない。例えば、インフラストラクチャで接続されている場合でも本発明を適用することができる。
【0079】
また、本実施形態においては、動画データを生成する場合を説明したが、動画データの生成に限定されるものではなく、例えば、静止画像の連続撮影において音声データを付加する場合にも本発明を適用することができる。
【0080】
なお、本実施形態において撮影端末200は、一眼レフレックスカメラの例で説明したが、本発明においては、被写体を撮影することができる構成であれば良く、カメラの種類などに関しての規定はしない。
【0081】
また、本実施形態において録音端末100は、ボイスレコーダの例で説明したが、本発明においては、音声を記録することができる構成であれば良く、音声記録装置の種類などに関しての規定はしない。
【0082】
また、本実施形態における録音端末100および撮影端末200は、動画を撮影する撮影者が持ち運んで移動できるようにするため、電池やバッテリーによって動作する構成が望ましいが、録音端末100および撮影端末200の電源に関しての規定はしない。例えば、予め録音端末100が設置されている環境に撮影端末200を持ち込んで撮影することもできる。
【0083】
以上、本発明の実施形態について、図面を参照して説明してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲においての種々の変更も含まれる。
【符号の説明】
【0084】
100,100−A,100−B・・・録音端末(録音装置)、101・・・マイク(第2の録音手段)、102・・・アンテナ(第2のネットワーク接続手段)、110・・・AD変換部、120・・・記録部(第2の録音手段)、130・・・WLANインタフェース部(第2のネットワーク接続手段)、200,200−A,200−B,200−C・・・撮影端末(撮像装置)、201・・・マイク(録音手段)、202・・・アンテナ(ネットワーク接続手段)、203・・・レリーズ釦、210・・・撮影部(撮像手段)、220・・・AD変換部、230・・・メモリ(撮像手段,録音手段)、240・・・相関検出部(相関検出手段)、250・・・動画生成部(動画生成手段)、260・・・メモリカードインタフェース部、270・・・WLANインタフェース部(ネットワーク接続手段)

【特許請求の範囲】
【請求項1】
被写体を撮影する撮像手段と、
前記撮像手段による撮影に合わせて、第1の録音環境で前記被写体の音声を録音する録音手段と、
前記第1の録音環境と異なる録音環境で録音された音声データを、無線ネットワークを介して外部装置から受信するネットワーク接続手段と、
前記第1の録音環境で録音された音声データと、前記ネットワーク接続手段によって受信した音声データとの相関を検出する相関検出手段と、
前記相関検出手段が検出した相関検出の結果に基づいて、前記ネットワーク接続手段によって受信した音声データを、前記撮像手段が撮影した映像に同期して関連付けた動画データを生成する動画生成手段と、
を備えることを特徴とする撮像装置。
【請求項2】
前記相関検出手段は、
前記録音手段によって録音された音声データのうち、録音開始位置を基準とする予め定められた期間の音声データと、前記ネットワーク接続手段によって受信した音声データとの相関を検出する、
ことを特徴とする請求項1に記載の撮像装置。
【請求項3】
前記相関検出手段は、
前記撮像手段が撮影した映像を前記動画データとして生成する際に、前記ネットワーク接続手段によって受信した音声データのうち、前記動画データの開始位置に対応する位置を基準とする予め定められた期間の音声データの相関を検出する、
ことを特徴とする請求項2に記載の撮像装置。
【請求項4】
前記ネットワーク接続手段を介して、前記外部装置に、前記被写体の音声の録音開始、または録音終了の指示を行う録音指示手段、
を更に備えることを特徴とする請求項1に記載の撮像装置。
【請求項5】
前記動画生成手段は、
複数の前記外部装置から受信した前記音声データを合成して前記動画データを生成する、
ことを特徴とする請求項1に記載の撮像装置。
【請求項6】
第2の録音環境で被写体の音声を録音する第2の録音手段と、
前記第2の録音手段によって録音された音声データを、請求項1に記載の撮像装置に対して、無線ネットワークを介して送信する第2のネットワーク接続手段と、
を備えることを特徴とする録音装置。
【請求項7】
前記第2の録音手段は、
前記第2のネットワーク接続手段が受信した前記被写体の音声の録音開始、または録音終了の指示に基づいて、前記被写体の音声の録音開始、または録音終了を行い、
前記第2のネットワーク接続手段は、
前記第2の録音手段が録音した前記音声データを、前記録音開始、または前記録音終了の指示を送信した撮像装置に送信する、
ことを特徴とする請求項5に記載の録音装置。
【請求項8】
前記第2の録音手段によって録音された前記音声データを、外部装置からの音声データを受信するネットワーク接続手段を備えた複数の撮像装置に対して、マルチキャスト通信で送信する、
ことを特徴とする請求項5に記載の録音装置。
【請求項9】
撮像装置と録音装置とを備える動画撮影システムであって、
前記撮像装置は、
被写体を撮影する撮像手段と、
前記撮像手段による撮影に合わせて、第1の録音環境で前記被写体の音声を録音する録音手段と、
前記第1の録音環境と異なる録音環境で録音された音声データを、無線ネットワークを介して前記録音装置から受信する第1のネットワーク接続手段と、
前記第1の録音環境で録音された音声データと、前記第1のネットワーク接続手段によって受信した音声データとの相関を検出する相関検出手段と、
前記相関検出手段が検出した相関検出の結果に基づいて、前記第1のネットワーク接続手段によって受信した音声データを、前記撮像手段が撮影した映像に関連付けた動画データを生成する動画生成手段と、
を具備し、
前記録音装置は、
第2の録音環境で被写体の音声を録音する第2の録音手段と、
前記第2の録音手段によって録音された音声データを、前記撮像装置に対して、無線ネットワークを介して送信する第2のネットワーク接続手段と、
を具備する、
ことを特徴とする動画撮影システム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate


【公開番号】特開2010−171625(P2010−171625A)
【公開日】平成22年8月5日(2010.8.5)
【国際特許分類】
【出願番号】特願2009−11151(P2009−11151)
【出願日】平成21年1月21日(2009.1.21)
【出願人】(000000376)オリンパス株式会社 (11,466)
【Fターム(参考)】