コンテンツ配信システム、音声取得装置及びその制御方法
【課題】動画データの配信時に好適な音声データの提供を低コストで実現するコンテンツ配信システムを提供する。
【解決手段】コンテンツ配信システムにおいて、複数の動画取得装置の各々は、環境の被写体を撮像して得られた動画データをサーバに送信するとともに複数の音声取得装置の各々は、環境の音声を録音して得られた音声データをサーバに送信するとともに、環境内の他の音声取得装置と各々で得られた音声データ評価値を共有し、評価値が所定の条件を満たす１つの音声データを決定する。そして音声取得装置は、当該決定された１つの音声データを特定する特定情報をサーバに送信し、サーバは動画データの視聴要求をクライアント装置から受信したことに応じて、当該視聴要求に対応する動画データと、特定情報により特定された１つの音声データとを、視聴要求を受信したクライアント装置に対して配信する。
【解決手段】コンテンツ配信システムにおいて、複数の動画取得装置の各々は、環境の被写体を撮像して得られた動画データをサーバに送信するとともに複数の音声取得装置の各々は、環境の音声を録音して得られた音声データをサーバに送信するとともに、環境内の他の音声取得装置と各々で得られた音声データ評価値を共有し、評価値が所定の条件を満たす１つの音声データを決定する。そして音声取得装置は、当該決定された１つの音声データを特定する特定情報をサーバに送信し、サーバは動画データの視聴要求をクライアント装置から受信したことに応じて、当該視聴要求に対応する動画データと、特定情報により特定された１つの音声データとを、視聴要求を受信したクライアント装置に対して配信する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンテンツ配信システム、音声取得装置及びその制御方法に関し、特に動画データの配信時に配信される音声データを決定する技術に関する。
【背景技術】
【０００２】
近年、インターネット上のサービスとして、動画データや音声データのストリーミング配信を行うものがある。ＰＣ等のクライアント装置のユーザは、例えばブラウジングアプリケーション（ブラウザ）を起動して当該サービスを提供するサーバにアクセスすることにより、ストリーミング再生された動画データや音声データを視聴することができる。
【０００３】
ストリーミング再生は、１つの動画ファイルの全てを受信してから再生する方式とは異なる。クライアント装置では、サーバより動画の先頭フレームから順に受信し、ある程度バッファにフレームが溜まった状態で再生を開始することができるため、ユーザは動画ファイルを受信してから視聴を開始するよりも短時間で視聴を完了することができる。また視聴時間内に全てのフレームのデータを受信できればユーザの視聴を妨げることはないため、受信する回線におけるデータの下り速度が多少遅い環境であっても、ユーザは問題なく視聴を行うことができる。
【０００４】
このように、ストリーミング配信では長時間の映像コンテンツであってもクライアント装置のリソースを圧迫することなく再生を行うことができる。近年では、ストリーミング配信を利用し、Ｗｅｂカメラ等で撮影された動画データをリアルタイムに配信する、インターネットを利用した所謂生中継をコンテンツとして提供するサービスもある。
【０００５】
一方、近年のデジタルカメラ等の撮像装置の中には、画像の保存あるいは印刷を行うために、無線通信機能を備えるものがある。このような撮像装置は、家庭内ＬＡＮ（Local Area Network）に属している機器に対して画像の送信を行うものだけでなく、ＬＡＮを経由してインターネット上のサーバ等に画像のアップロードを行うものもある。ユーザは、このような無線通信機能を有するデジタルカメラを使用することで、インターネット上のサーバに接続可能な無線ＬＡＮルータが設置されている環境において、ストリーミング配信を行うことができる。
【０００６】
例えばイベント会場等に無線ＬＡＮルータを設置し、例えば、あるイベントの様子を、無線通信機能を有する複数の撮像装置を用いて撮影し、それぞれの撮像装置で撮像された動画データをストリーミング配信することもできる。ストリーミング配信が行われると、ユーザはクライアント装置において、複数の異なる撮像装置が撮影した動画データを同時に視聴することができる。
【０００７】
しかしながら、複数の動画データを同時に再生する場合、同一のイベントを撮影したものであっても、動画データと共に再生される音声データは同期して再生されないことがある。これは再生している動画データを撮影した複数の撮像装置のそれぞれが、必ずしも同一の処理能力を有するものではないことや、撮影場所の違いにより無線ＬＡＮルータとの通信速度が異なること等に起因する。つまり、ユーザがクライアント装置においてストリーミング配信の複数のアングルの動画データを再生する場合、音声データの再生において音ずれが生じ、ユーザの視聴を阻害する可能性がある。
【０００８】
特許文献１には、複数の撮像装置で同時に撮影された動画データ及び音声データを編集して１つの映像コンテンツを作成する際に、音声データを解析し、所定の基準に基づいて１つの音声データを選択する編集装置が開示されている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００５−１２４１４３号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、特許文献１のような音声データの解析及び選択技術をストリーミング配信を行うサーバに適用した場合、以下のような問題が考えられる。例えば上述したようなイベント会場において、不特定多数のユーザが撮影した動画データ及び音声データを当該ユーザの撮像装置からサーバに送信する場合、サーバにおいて解析を行う音声データの対象は膨大な数になる可能性がある。即ち、サーバにおいて解析を行う音声データが増加するほど多くの処理リソースが解析のために使用されることになる。このため、音声データの解析用に十分な処理能力を持たせるためにはサーバに高機能な処理回路を設ける必要があり、サーバのコスト上昇を回避することはできなかった。
【００１１】
本発明は、上述の問題点に鑑みてなされたものであり、動画データの配信時に好適な音声データの提供を低コストで実現するコンテンツ配信システムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
前述の目的を達成するために、本発明のコンテンツ配信システムは、以下の構成を備える。
同一の環境に存在する複数の動画取得装置及び複数の音声取得装置と、当該複数の動画取得装置及び複数の音声取得装置が取得した複数の動画データ及び複数の音声データを受信し、クライアント装置からの動画データの視聴要求に応じて、複数の音声データのうちの１つの音声データを当該クライアント装置に送信するサーバとを含むコンテンツ配信システムであって、複数の動画取得装置の各々は、環境の被写体を撮像して得られた動画データをサーバに送信する動画送信手段を有し、複数の音声取得装置の各々は、環境の音声を録音して得られた音声データをサーバに送信する音声送信手段と、得られた音声データの評価値を取得する音声評価手段と、環境内の他の音声取得装置の各々から、当該音声取得装置で取得された評価値を取得する評価取得手段と、環境内の複数の音声取得装置で取得された複数の音声データのうち、評価値が所定の条件を満たす１つの音声データを決定し、当該音声データを特定する特定情報をサーバに送信する特定情報送信手段と、を有し、サーバは、動画データ、音声データ、及び特定情報を受信して記憶手段に記憶する受信手段と、記憶手段に記憶された動画データの視聴要求をクライアント装置から受信したことに応じて、当該視聴要求に対応する動画データと、特定情報により特定された１つの音声データとを、視聴要求を受信したクライアント装置に対して配信する配信手段と、を有することを特徴とする。
【発明の効果】
【００１３】
このような構成により本発明によれば、動画データの配信時に好適な音声データの提供を低コストで実現するコンテンツ配信システムを提供することが可能となる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施形態に係る映像コンテンツ配信システムのシステム構成を示した図
【図２】本発明の実施形態に係るデジタルカメラ１００の機能構成を示したブロック図
【図３】本発明の実施形態に係るサーバ２００の機能構成を示したブロック図
【図４】本発明の実施形態に係るデジタルカメラ１００で実行されるカメラネットワーク参加処理のフローチャート
【図５】本発明の実施形態に係るデジタルカメラ１００で実行される特定情報更新処理のフローチャート
【図６】本発明の実施形態に係るデジタルカメラ１００で実行される音声選択処理のフローチャート
【図７】本発明の実施形態に係るサーバ２００で実行される配信処理のフローチャート
【図８】本発明の実施形態に係るデジタルカメラ１００で実行されるカメラネットワーク離脱処理のフローチャート
【図９】本発明の実施形態に係るカメラネットワーク参加処理で送信されるコマンドを例示した図
【図１０】本発明の実施形態に係る特定情報更新処理で送信されるコマンドを例示した図
【発明を実施するための形態】
【００１５】
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、音声取得装置の一例としての、動画撮影機能と音声録音機能を有し、撮影して得られた動画データ及び録音して得られた音声データをサーバにアップロード可能なデジタルカメラに、本発明を適用した例を説明する。しかし、本発明は、録音して得られた音声データをサーバにアップロードすることが可能な任意の機器に適用可能である。また、本明細書において、「動画データ」とは音声データを含まない１以上のフレームで構成される情報であり、「映像コンテンツ」とは動画データと対応する音声データとで構成される情報であるものとして区別して説明する。
【００１６】
＜映像コンテンツ配信システムのシステム構成＞
図１は、本発明の実施形態に係る映像コンテンツ配信システムのシステム構成を示す図である。
【００１７】
当該システムではストリーミング配信を行うサーバ２００、及びクライアント装置であるＰＣ３００は広域通信網４００に接続されている。またサーバ２００が配信するコンテンツは、無線ＬＡＮルータ１５０を介して広域通信網４００に接続されるデジタルカメラ１００ａ〜ｄにより撮影あるいは録音される。
【００１８】
デジタルカメラ１００ａ〜ｄは、それぞれが被写体を撮影して得られた動画データ、及び環境の音声を録音して得られた音声データを、無線ＬＡＮルータ１５０を介してサーバ２００に送信（アップロード）する（動画送信、音声送信）。本実施形態ではデジタルカメラ１００ａ〜ｄは、例えばイベント会場等、同一の環境に存在するものとする。
【００１９】
無線ＬＡＮルータ１５０は、通信可能範囲に存在するデジタルカメラ１００ａ〜ｄの各々に対してプライベートアドレスを割り当て、広域通信網４００への接続を実現する。プライベートアドレスを割り当てられたデジタルカメラ１００ａ〜ｄは、無線ＬＡＮルータ１５０の通信可能範囲においてＬＡＮ１８０に属し、互いに通信可能である。
【００２０】
サーバ２００は、無線ＬＡＮルータ１５０を介してデジタルカメラ１００ａ〜ｄからアップロードされた動画データ及び音声データを配信する。サーバ２００は、ＰＣ３００からの動画データの視聴要求を受信すると、当該視聴要求により特定される動画データと、当該動画データに対応する音声データとをＰＣ３００に対して送信する。なお、本実施形態ではＰＣ３００は、デジタルカメラ１００ａ〜ｄが取得した動画データ及び音声データを、生中継として略リアルタイムでサーバ２００から受信するものとして説明する。しかしながら、本発明の実施はリアルタイムの動画配信に限らず、デジタルカメラ１００ａ〜ｄにより取得され、サーバに蓄積された動画コンテンツをサーバ２００が配信する構成であってもよい。
【００２１】
（デジタルカメラ１００の機能構成）
ここで、デジタルカメラ１００の機能構成について、図２を用いて詳細に説明する。図２は、本発明の実施形態に係るデジタルカメラ１００の機能構成を示すブロック図である。なお、本明細書においてデジタルカメラ１００ａ〜ｄは、同一の構成を有するものとする。またａ〜ｄの接尾文字を付さずに、単にデジタルカメラ１００として説明する場合は、デジタルカメラ１００ａ〜ｄの各々が同様の処理を行うものとする。
【００２２】
制御部１０１は、例えばＣＰＵ等の制御装置であり、デジタルカメラ１００が備える各ブロックの動作を制御する。制御部１０１は、例えば後述するカメラネットワーク参加処理等の動作プログラムをＲＯＭ１０２より読み出し、ＳＤＲＡＭ１０３に展開して実行することにより各ブロックの動作を制御する。
【００２３】
ＲＯＭ１０２は、書き換え可能な不揮発性メモリであり、後述する各処理の動作プログラムを記憶する。またＲＯＭ１０２は、例えばデジタルカメラ１００が備える各ブロックの動作において使用されるパラメータやユーザにより設定されたカメラ設定等を記憶する。
【００２４】
ＳＤＲＡＭ１０３は、揮発性メモリであり、後述する各処理の動作プログラムの展開領域としてだけでなく、デジタルカメラ１００が備える各ブロックの動作において出力された中間データ等を一時的に記憶する格納領域としても用いられる。
【００２５】
撮像部１０４は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子を備え、被写体を撮像して得られた、静止画像あるいは動画像の１フレームの画像を出力する。具体的には撮像部１０４は、不図示の光学系を介して撮像素子に結像された被写体の光学像を光電変換し、アナログ画像信号を取得する。そして撮像部１０４は、得られたアナログ画像信号に対してＡ／Ｄ変換処理を適用することにより、デジタル画像信号として画像データを出力する。
【００２６】
画像処理部１０５は、撮像部１０４が出力した画像データに対して、色変換処理や符号化処理等、各種の画像処理を適用する。画像処理部１０５は、不図示の内部メモリを有してもよく、画像処理の対象となる画像データは、処理中は当該内部メモリに格納されていてもよい。なお、本実施形態ではデジタルカメラ１００からサーバ２００にアップロードされた動画データは、ストリーミング配信が可能な形式に画像処理部１０５で符号化されるものとする。
【００２７】
マイクロフォン（ＭＩＣ）１０６は、録音した音声をアナログ音声信号に変換し、得られたアナログ音声信号を音声処理部１０７に出力する。音声処理部１０７は、入力されたアナログ音声信号に対してＡ／Ｄ変換処理及び音声符号化処理を適用し、デジタル音声信号である音声データを出力する。また音声処理部１０７は、得られたデジタル音声信号に対して、例えば音量計測や音割れの有無等の解析を行う。
【００２８】
通信部１０８は、デジタルカメラ１００が備える通信インタフェースである。例えばサーバ２００に対して動画あるいは音声データをアップロードする場合、制御部１０１はアップロード対象のデータを通信部１０８に伝送する。そして通信部１０８は、当該データを所定の通信プロトコルに従って、無線ＬＡＮルータ１５０及び広域通信網４００を介して送信する。また通信部１０８はアップロードに限らず、無線ＬＡＮルータ１５０の通信可能範囲であるＬＡＮ１８０に存在する他のデジタルカメラ１００に対してデータをブロードキャストすることも可能である。
【００２９】
記録媒体１０９は、例えばデジタルカメラ１００の内蔵メモリや、メモリカードやＨＤＤ等のデジタルカメラ１００に着脱可能に接続される記録装置である。不図示の操作部をユーザが操作することにより動画撮影指示がなされた場合、撮影により得られた動画データ及び音声データは、通信部１０８を介してサーバ２００にアップロードされると共に、記録媒体１０９に記憶される。
【００３０】
表示部１１１は、例えば小型ＬＣＤ等の液晶装置であり、表示制御部１１０の表示制御により動作する。表示制御部１１０は、動画データのフレーム等、入力された表示用のデータを表示部１１１に表示する処理を実行する。また表示制御部１１０は、例えばＳＤＲＡＭ１０３や不図示の内蔵グラフィックメモリに、ＧＵＩのデータ群を有している。表示制御部１１０は、動画データや静止画データに対してＧＵＩの重畳表示指示があった場合、対応するデータを読み出し、合成処理を行なって表示部１１１に表示する。
【００３１】
位置取得部１１２は、例えばＧＰＳ等のデジタルカメラ１００の存在する位置情報を取得するセンサである。位置取得部１１２は、定期的に、あるいは撮影開始時にデジタルカメラ１００の存在する位置情報を取得する。位置情報は、例えば所謂ジオタグとして、動画データや静止画データのヘッダ情報に含められる。
【００３２】
（サーバ２００の機能構成）
次に、サーバ２００の機能構成について、図３を用いて詳細に説明する。図３は、本発明の実施形態に係るサーバ２００の機能構成を示すブロック図である。なお、本明細書において、サーバ２００が備える各ブロックについては、デジタルカメラ１００が備える各ブロックと区別するために、「サーバ」の接頭文字を付すものとする。
【００３３】
サーバＣＰＵ２０１は、サーバ２００が備える各ブロックの動作を制御する。具体的にはサーバＣＰＵ２０１は、後述する配信処理の動作プログラムを後述するサーバ記録媒体２０９より読み出し、サーバＳＤＲＡＭ２０３に展開して実行することにより、各ブロックの動作を制御する。
【００３４】
サーバＲＯＭ２０２は、書き換え可能な不揮発性メモリであり、サーバ２００が備える各ブロックの動作において必要なパラメータ等を記憶する。サーバＳＤＲＡＭ２０３は、揮発性メモリであり、後述する配信処理の動作プログラムの展開領域としてだけでなく、サーバ２００が備える各ブロックの動作において出力された中間データ等を一時的に記憶する格納領域としても用いられる。
【００３５】
サーバ通信部２０８は、サーバ２００が備える通信インタフェースである。サーバ通信部２０８は、デジタルカメラ１００ａ〜ｄより広域通信網４００を介してアップロードされた動画あるいは音声データを受信する。アップロードされた動画あるいは音声データは、例えば後述するサーバ記録媒体２０９に一時的に記録される。またサーバＣＰＵ２０１は、広域通信網４００を介してＰＣ３００からの視聴要求をサーバ通信部２０８で受信した場合は、次のように処理する。サーバＣＰＵ２０１は、当該視聴要求で特定される動画データ及び当該動画データに対応する音声データをサーバ記録媒体２０９より読み出す。そしてサーバＣＰＵ２０１は、当該読み出した動画及び音声データをサーバ通信部２０８を介して、視聴要求を行なったＰＣ３００に対して送信する。
【００３６】
サーバ記録媒体２０９は、例えばＨＤＤやＳＳＤ等のサーバ２００に着脱可能に接続される記録装置であり、配信する動画データ及び音声データに加え、サーバのオペレーティングシステム及び後述する配信処理の動作プログラム等が記録されている。
【００３７】
＜カメラネットワーク参加処理＞
このような構成をもつ本実施形態のデジタルカメラ１００のカメラネットワーク参加処理について、図４のフローチャートを用いて具体的な処理を説明する。当該フローチャートに対応する処理は、制御部１０１が、例えばＲＯＭ１０２に記憶されている対応する処理プログラムを読み出し、ＳＤＲＡＭ１０３に展開して実行することにより実現することができる。
【００３８】
なお、カメラネットワーク参加処理は、配信コンテンツの撮影を行うカメラネットワークへの参加指示がなされたと制御部１０１が判断した場合に開始されるものとして説明する。カメラネットワークへの参加指示がなされたか否かは、例えば不図示の操作ボタンがユーザにより操作がなされたことによって出力される制御信号を、制御部１０１が受信したか否かにより判断すればよい。
【００３９】
Ｓ４０１で、制御部１０１は、カメラネットワークに参加している他の機器を検出するためのDiscoveryRequestコマンドをブロードキャストする。具体的には制御部１０１は、他の機器を検出するためのDiscoveryRequestコマンドを例えばＲＯＭ１０２より読み出して通信部１０８に伝送し、ブロードキャストさせる。DiscoveryRequestコマンドは、例えば図９（ａ）のように、コマンドを発信する機器のＭＡＣアドレス等の識別情報（DeviceID）、及び当該機器がＬＡＮ１８０内で割り当てられているＩＰアドレス（IPAddress）を含む。DiscoveryRequestコマンドは、当該コマンドを受信した場合に、発信元の機器に対して受信した機器の識別情報やＩＰアドレスを通知させるためのコマンドである。制御部１０１は、当該コマンドをブロードキャストすることにより、同一の環境内に存在する不特定多数の通信機器の情報を収集することができる。なお、このとき制御部１０１は、不図示の内蔵タイマーを開始させ、コマンド送信からの時間の計測を開始する。
【００４０】
Ｓ４０２で、制御部１０１は、通信部１０８においてカメラネットワークに参加している他の機器からDiscoveryRequestコマンドに対する応答であるDiscoveryReplyコマンドを受信したか否かを判断する。制御部１０１はコマンドを受信した場合に、例えば受信したコマンドに記述子＜DiscoveryReply＞が含まれているか否かを判断する。DiscoveryReplyコマンドは、例えば図９（ｂ）に示すように、DiscoveryRequestコマンドに応答した機器の識別情報及びＩＰアドレスが含まれる。制御部１０１は、DiscoveryReplyコマンドを受信したと判断した場合は処理をＳ４０３に移し、受信していないと判断した場合は処理をＳ４０４に移す。
【００４１】
なお、本実施形態ではデジタルカメラ１００ａ〜ｄの制御部１０１は、カメラネットワークに参加している状態でDiscoveryRequestコマンドを受信した場合に、コマンドの送信元の機器に対してDiscoveryRequestコマンドを送信するように構成されているものとする。また制御部１０１は、自機がカメラネットワークに参加しているか否かの情報を、例えばＳＤＲＡＭ１０３に論理型の情報で格納しているものとする。制御部１０１は、DiscoveryRequestコマンドを受信した場合に当該情報を参照し、カメラネットワークに参加している場合にはDiscoveryReplyコマンドを送信するように処理する。
【００４２】
Ｓ４０３で、制御部１０１は、受信したDiscoveryReplyコマンドに含まれる応答した機器の識別情報及びＩＰアドレスを、ＳＤＲＡＭ１０３のカメラネットワーク管理テーブルに追加する。カメラネットワーク管理テーブルは、サーバ２００に対してストリーミング配信のソースとなる動画データ及び音声データを供給する機器を知らせるためのテーブルである。カメラネットワーク管理テーブルは、例えば図９（ｃ）のように、DiscoveryRequestコマンドを送信した機器、及びDiscoveryRequestコマンドに応答した機器の識別情報及びＩＰアドレスを含む。本実施形態ではサーバ２００は、当該カメラネットワーク管理テーブルを参照することにより、同一の環境に存在するデジタルカメラ１００ａ〜ｄの情報を取得することができる。そしてサーバ２００は、カメラネットワーク管理テーブルに含まれる機器から受信した動画データあるいは音声データを、１つの映像コンテンツ用のデータとして管理することができる。
【００４３】
Ｓ４０４で、制御部１０１は、Ｓ４０１で開始させた内臓タイマーの経過時間が、カメラネットワークに参加している他の機器を検出するために予め定められた時間を超えた（タイムアップ）か否かを判断する。他の機器を検出するために予め定められた時間は、例えばＲＯＭ１０２に記憶されていればよい。制御部１０１は、内蔵タイマーの経過時間が他の機器を検出するために予め定められた時間を超えたと判断した場合は処理をＳ４０５に移し、超えていないと判断した場合は処理をＳ４０２に戻す。
【００４４】
Ｓ４０５で、制御部１０１は、ＳＤＲＡＭ１０３に記憶されているカメラネットワーク管理テーブルを通信部１０８に伝送し、サーバ２００及びカメラネットワークに参加している他の機器に対して伝送させ、本カメラネットワーク参加処理を完了する。
【００４５】
このようにすることで、制御部１０１は、自機（デジタルカメラ１００）を配信コンテンツの撮影を行うカメラネットワークに参加させることができる。また既にカメラネットワークに参加しているデジタルカメラ１００の制御部１０１は、新たにカメラネットワークに参加した機器から最新のカメラネットワーク管理テーブルを受信できる。即ち、これにより既にカメラネットワークに参加しているデジタルカメラ１００の制御部１０１は、新たに参加した機器を含む、現在カメラネットワークに参加している機器を認識することができる。またサーバ２００のサーバＣＰＵ２０１は、配信コンテンツを構成する動画データ及び音声データを送信する機器（デジタルカメラ１００ａ〜ｄ）を認識することができる。なお、既にカメラネットワークに参加している機器がない、即ちカメラネットワークが存在しない場合、カメラネットワークはカメラネットワークの参加要求を行なったデジタルカメラ１００のみが参加する状態で、本処理により新たに構築されるものとする。
【００４６】
＜特定情報更新処理＞
次に、サーバ２００においてカメラネットワークに参加しているデジタルカメラ１００ａ〜ｄが撮影した映像コンテンツを配信する際に、音声データとしてＰＣ３００に配信される音声データを録音した機器を特定するための特定情報を作成する特定情報更新処理について説明する。本実施形態のサーバ２００は、当該特定情報を参照し、特定情報により特定される機器から受信した１つの音声データのみをＰＣ３００に送信することによって、同一の環境で撮影された複数の動画データをＰＣ３００において再生した際の音声データの音ずれの発生を回避する。
【００４７】
図５は、本実施形態のデジタルカメラ１００の特定情報更新処理のフローチャートを示している。当該フローチャートに対応する処理は、制御部１０１が、例えばＲＯＭ１０２に記憶されている対応する処理プログラムを読み出し、ＳＤＲＡＭ１０３に展開して実行することにより実現することができる。なお、特定情報更新処理は、例えばカメラネットワークに参加している他の機器から特定情報の更新要求のコマンドを受信した際、あるいは他の機器に対して更新要求のコマンドを送信した際に開始されるものとして説明する。
【００４８】
なお、更新要求のコマンドの送信は、例えば動画撮影あるいは録音の開始時、あるいは開始から所定の間隔で定期的に、当該動画撮影あるいは録音を開始したデジタルカメラ１００の制御部１０１により行われてもよい。また、更新要求のコマンドの送信は、例えばカメラネットワークに新たなデジタルカメラ１００が参加した際に当該新たなデジタルカメラ１００の制御部１０１により行われてもよい（第３の更新）。なお、更新要求のコマンドには、例えば図１０（ａ）に示すように、当該コマンドを送信した機器の識別情報が含まれていてもよい。
【００４９】
Ｓ５０１で、制御部１０１は、ＭＩＣ１０６及び音声処理部１０７に音声録音処理を行わせているか否かを判断する。制御部１０１は、ＭＩＣ１０６及び音声処理部１０７に音声録音処理を行わせていると判断した場合は処理をＳ５０２に移し、行わせていないと判断した場合は本特定情報更新処理を完了する。
【００５０】
Ｓ５０２で、制御部１０１は、録音している音声データの評価値を示す評価情報（SoundInfo）を取得する（音声評価）。具体的には制御部１０１は、音声録音処理により得られた所定の長さの音声データに対して音声処理部１０７に評価値を取得させる。本実施形態では音声処理部１０７は、得られた音声データについて次の情報を評価するものとする。
・音量（SoundVolume）
・音割れの有無（SoundBreaking）
・符号化ビットレート（BitRate）
【００５１】
なお、音割れの有無の判断は、例えば特開２００８−２５６７５８号公報等に記載されるような、音声の振幅スペクトルを解析することにより音割れの発生を検出する技術を用いればよい。
【００５２】
また制御部１０１は、通信部１０８を介して、得られた音声データをサーバ２００に転送する際の転送速度（TrafficSpeed）についても通信部１０８より取得して評価値とする。さらに、本実施形態のようにデジタルカメラ１００が動画データの取得と共に音声データの取得を行う場合は、以下のような評価値を含めることも可能である。制御部１０１は、得られた音声データと同時に撮影されたフレームの画像において、被写体の人物の顔の向きが正面を向いている割り合い（SubjectInfo）を評価値として含める。なお、被写体の顔の向きが正面を向いている割り合いは、例えば特開２０１０−２０５２６９号公報に記載されるような、被写体頭部のコントラストパターンを解析することで顔の向きを判定する技術を用いればよい。本実施形態では、被写体人物の顔が正面を向いている場合（０度）を基準として、顔の方向の角度（右向きで正の値）を評価値として含めるものとする。
【００５３】
このように、本実施形態では制御部１０１は、音声データの評価値として、音量、音割れの有無、符号化ビットレート、サーバ２００への音声データの転送速度、及び被写体の顔が正面を向いている割り合いを示す数値を、評価情報に含める。評価情報は、例えば図１０（ｂ）に示すように、音声データを取得した機器の識別情報に関連付けて、上述の評価値が記述された内容であってよい。作成した評価情報は、例えばＳＤＲＡＭ１０３に記憶される。なお、本実施形態では、音声データの評価値として上述の５つの評価値を全て含めるものとして説明するが、音声データの評価値はこれに限られず、他の項目についての評価を含むものであってもよいし、上述の項目の少なくともいずれかを含むものであってもよい。
【００５４】
Ｓ５０３で、制御部１０１は、カメラネットワークに参加してる他の機器に対して、Ｓ５０２で取得した評価情報を送信する。具体的には制御部１０１は、評価情報を通信部１０８に伝送し、カメラネットワークに参加している他の機器に対して送信させる。
【００５５】
Ｓ５０４で、制御部１０１は、カメラネットワークに参加している他の機器から、各機器で取得された音声データの評価情報を通信部１０８が受信したか否かを判断する（評価取得）。具体的には制御部１０１は、受信した情報の中に記述子＜SoundInfo＞が含まれているか否かを判断することにより、受信した情報が音声データの評価情報であるか否かを判断する。制御部１０１は、カメラネットワークに参加している他の機器から音声データの評価情報を受信したと判断した場合は処理をＳ５０５に移し、受信した音声データの評価情報をＳＤＲＡＭ１０３に格納する。また制御部１０１は、カメラネットワークに参加している他の機器から音声データの評価情報を受信していないと判断した場合は処理をＳ５０６に移す。
【００５６】
Ｓ５０６で、制御部１０１は、カメラネットワークに参加している全ての機器から音声データの評価情報を取得したか否かを判断する。具体的には制御部１０１は、ＳＤＲＡＭ１０３に記憶されているカメラネットワーク管理テーブルを参照してカメラネットワークに参加している全ての機器の識別情報を取得し、各識別情報が関連付けられた評価情報を全て受信したか否かを判断する。制御部１０１は、カメラネットワークに参加している全ての機器から音声データの評価情報を取得したと判断した場合は処理をＳ５０７に移し、取得していないと判断した場合は処理をＳ５０４に戻す。
【００５７】
Ｓ５０７で、制御部１０１は、カメラネットワークに参加している機器で撮影された動画データの視聴要求をサーバ２００が受信した際に、視聴要求を行なった機器に対して送信する当該動画データとともに送信する音声データを決定する音声選択処理を実行する。
【００５８】
（音声選択処理）
ここで、音声選択処理について図６のフローチャートを用いて詳細に説明する。
【００５９】
Ｓ６０１で、制御部１０１は、カメラネットワークに参加している全ての機器の評価情報を参照し、音割れが発生していない音声データを取得している機器の数が１以上であるか否かを判断する。具体的には制御部１０１は、ＳＤＲＡＭ１０３に記憶されている、全ての機器の評価情報に含まれる音割れの有無の情報を参照する。そして制御部１０１は、当該情報が音割れが発生していないことを示している場合は、評価情報に含まれる機器の識別情報を、例えばＳＤＲＡＭ１０３に記憶されている音割れが発生していない音声データを取得している機器を示すテーブルに追加する。ＳＤＲＡＭ１０３に記憶されている全ての評価情報に対して音割れの有無を判定した後、制御部１０１は、音割れが発生していない音声データを取得している機器を示すテーブルに追加されている機器の数を取得する。制御部１０１は、音割れが発生していない音声データを取得している機器の数が１以上であると判断した場合は処理をＳ６０３に移し、０であると判断した場合は処理をＳ６０２に移す。
【００６０】
Ｓ６０２で、制御部１０１は、全ての機器の評価情報を参照し、最も低い音量の評価値を有する評価情報に関連付けられている機器の識別情報を取得する。そして制御部１０１は、当該識別情報を、映像コンテンツで配信する音声データを録音している機器の識別情報としてＳＤＲＡＭ１０３に格納し、本音声選択処理を完了する。
【００６１】
Ｓ６０３で、制御部１０１は、音割れが発生していない音声データを取得している機器のうち、音量が予め定められた音量の閾値以上である音声データを取得している機器の数が１以上であるか否かを判断する。具体的には制御部１０１は、音割れが発生していない音声データを取得している機器を示すテーブルに含まれる機器の識別情報に関連付けられた評価情報を参照し、当該評価情報に含まれる音量の情報を参照する。そして制御部１０１は、音量の評価値が、例えばＲＯＭ１０２に記憶されている予め定められた音量の閾値以上であるか否かを判断する。制御部１０１は、音量の評価値が閾値以上であると判断した場合は、評価情報に含まれる機器の識別情報を、ＳＤＲＡＭ１０３に記憶されている音量が閾値以上の音声データを取得している機器を示すテーブルに追加する。音割れが発生していない音声データを取得している全ての機器の評価情報に対して音量の判定をした後、制御部１０１は、音量が閾値以上の音声データを取得している機器を示すテーブルに追加されている機器の数を取得する。制御部１０１は、音量が予め定められた閾値以上である音声データを取得している機器の数が１以上であると判断した場合は処理をＳ６０５に移し、０であると判断した場合は処理をＳ６０４に移す。
【００６２】
Ｓ６０４で、制御部１０１は、音割れが発生していない音声データを取得している全ての機器の評価情報を参照し、最も高い音量の評価値を有する評価情報に関連付けられている機器の識別情報を取得する。そして制御部１０１は、当該識別情報を、映像コンテンツで配信する音声データを録音している機器の識別情報としてＳＤＲＡＭ１０３に格納し、本音声選択処理を完了する。
【００６３】
Ｓ６０５で、制御部１０１は、音量が閾値以上である音声データを取得している機器のうち、符号化ビットレートが予め定められたビットレート閾値以上である音声データを取得している機器の数が１以上であるか否かを判断する。具体的には制御部１０１は、音量が閾値以上である音声データを取得している機器を示すテーブルに含まれる機器の識別情報に関連付けられた評価情報を参照し、当該評価情報に含まれる符号化ビットレートの情報を参照する。そして制御部１０１は、符号化ビットレートの評価値が、例えばＲＯＭ１０２に記憶されている予め定められたビットレート閾値以上であるか否かを判断する。制御部１０１は、符号化ビットレートの評価値が閾値以上であると判断した場合は、評価情報に含まれる機器の識別情報を、ＳＤＲＡＭ１０３に記憶されている符号化ビットレートが閾値以上の音声データを取得している機器を示すテーブルに追加する。音量が閾値以上である音声データを取得している全ての機器の評価情報に対して符号化ビットレートの判定をした後、制御部１０１は、符号化ビットレートが閾値以上の音声データを取得している機器を示すテーブルに追加されている機器の数を取得する。制御部１０１は、符号化ビットレートが予め定められたビットレート閾値以上である音声データを取得している機器の数が１以上であると判断した場合は処理をＳ６０７に移し、０であると判断した場合は処理をＳ６０６に移す。
【００６４】
Ｓ６０６で、制御部１０１は、音量が閾値以上の音声データを取得している全ての機器の評価情報を参照し、最も高い符号化ビットレートの評価値を有する評価情報に関連付けられている機器の識別情報を取得する。そして制御部１０１は、当該識別情報を、映像コンテンツで配信する音声データを録音している機器の識別情報としてＳＤＲＡＭ１０３に格納し、本音声選択処理を完了する。
【００６５】
Ｓ６０７で、制御部１０１は、符号化ビットレートが閾値以上である音声データを取得している機器のうち、被写体の顔の向きが正面を向いている割り合いを示す評価値が所定の範囲内である機器の数が１以上であるか否かを判断する。具体的には制御部１０１は、符号化ビットレートが閾値以上である音声データを取得している機器を示すテーブルに含まれる機器の識別情報に関連付けられた評価情報を参照し、評価情報に含まれる被写体の顔の向きが正面を向いている割り合いの情報を参照する。そして制御部１０１は、被写体の顔の向きが正面を向いている割り合いが、例えばＲＯＭ１０２に記憶されている所定の範囲内であるか否かを判断する。制御部１０１は、被写体の顔の向きが正面を向いている割り合いの評価値が所定の範囲内であると判断した場合は、評価情報に含まれる機器の識別情報を、ＳＤＲＡＭ１０３に記憶されている被写体の顔の向きが正面を向いている割り合いが所定の範囲内である機器を示すテーブルに追加する。符号化ビットレートが閾値以上である音声データを取得している全ての機器の評価情報に対して被写体の顔の向きが正面を向いている割り合いの判定をした後、制御部１０１は、被写体の顔の向きが正面を向いている割り合いが所定の範囲内である機器を示すテーブルに追加されている機器の数を取得する。制御部１０１は、被写体の顔の向きが正面を向いている割り合いが所定の範囲内である機器の数が１以上であると判断した場合は処理をＳ６０９に移し、０であると判断した場合は処理をＳ６０８に移す。
【００６６】
Ｓ６０８で、制御部１０１は、符号化ビットレートが閾値以上の音声データを取得している全ての機器の評価情報を参照し、被写体の顔の向きが正面を向いている割り合いの評価値が最も０に近い評価情報に関連付けられている機器の識別情報を取得する。そして制御部１０１は、当該識別情報を、映像コンテンツで配信する音声データを録音している機器の識別情報としてＳＤＲＡＭ１０３に格納し、本音声選択処理を完了する。
【００６７】
Ｓ６０９で、制御部１０１は、被写体の顔の向きが正面を向いている割り合いが所定の範囲内である全ての機器の評価情報を参照し、最も高い転送速度の評価値を有する評価情報に関連付けられている機器の識別情報を取得する。そして制御部１０１は、当該識別情報を、映像コンテンツで配信する音声データを録音している機器の識別情報としてＳＤＲＡＭ１０３に格納し、本音声選択処理を完了する。
【００６８】
このように本音声選択処理を実行することにより、制御部１０１は映像コンテンツで配信する音声データを録音している機器を決定することができる。なお、本実施形態では上述した５種類の評価値について閾値を用いることにより、映像コンテンツで配信する音声データを録音している機器を決定するものとして説明したが、当該決定方法はこれに限られない。映像コンテンツで配信する音声データを録音している機器を決定する条件については任意の条件が設定可能である。制御部１０１は評価値が予め定められた条件を満たす１つの音声データを決定し、当該音声データを録音している機器を映像コンテンツで配信する音声データを録音している機器として決定してもよい。
【００６９】
映像コンテンツで配信する音声データを録音している機器が決定された後、制御部１０１はＳ５０８で、当該決定された機器の識別情報が自機の識別情報と同一であるか否かを判断する。即ち、制御部１０１は、音声処理部１０７から出力された音声データが、映像コンテンツで配信する音声データとして決定されたか否かを判断する。制御部１０１は、映像コンテンツで配信する音声データを録音している機器が自機であると判断した場合は処理をＳ５０９に移し、自機ではないと判断した場合は本特定情報更新処理を完了する。
【００７０】
Ｓ５０９で、制御部１０１は、自機の識別情報を有する特定情報を生成して通信部１０８に伝送し、広域通信網４００を介してサーバ２００に送信させる（特定情報送信）。特定情報は、例えば図１０（ｃ）に示すような情報であってよく、映像コンテンツで配信する音声データを録音している機器の情報をサーバ２００に通知する情報であればよい。なお、本実施形態では音声データを録音している機器の情報を特定情報としてサーバ２００に送信するものとして説明するが、特定情報は映像コンテンツで配信する音声データを直接示す情報であってもよい。
【００７１】
このように生成された特定情報を参照することで、サーバ２００のサーバＣＰＵ２０１は、ＰＣ３００から映像コンテンツの視聴要求を受けた場合に、当該ＰＣ３００に対して配信する音声データを特定情報より認識することができる。
【００７２】
なお、本実施形態では、カメラネットワークに参加している全ての機器において特定情報更新処理を実行し、映像コンテンツで配信する音声データを録音している機器として決定された機器が、特定情報をサーバ２００に送信するものとして説明した。しかしながら、本発明の実施はこれに限らず、カメラネットワークに参加している機器のうち、いずれか１つの機器が特定情報更新処理のＳ５０７までの処理を実行した後に特定情報を作成してサーバ２００に送信する構成であってもよい。いずれか１つの機器は、例えば環境に予め設置されている固定カメラを特定情報更新処理を行うものとして設定してもよいし、転送速度が最も早い機器、あるいは処理リソースに余裕のある機器が都度選択されてもよい。
【００７３】
また、映像コンテンツで配信する音声データを録音している機器として決定された場合、決定された機器で録音している音声データ品質を保持するために、当該機器の表示装置に、ユーザに対する機器の移動を推奨しない旨の通知を表示させてもよい。
【００７４】
＜配信処理＞
次に、このように生成された特定情報を用いて音声データを決定する処理を含む、本実施形態のサーバ２００の配信処理について、図７のフローチャートを用いて具体的な処理を説明する。当該フローチャートに対応する処理は、サーバＣＰＵ２０１が、例えばサーバ記録媒体２０９に記憶されている対応する処理プログラムを読み出し、サーバＳＤＲＡＭ２０３に展開して実行することにより実現することができる。なお、本配信処理は、例えばサーバ２００が起動された際に開始されるものとして説明する。
【００７５】
Ｓ７０１で、サーバＣＰＵ２０１は、クライアント装置（ＰＣ３００）からの映像コンテンツの視聴要求をサーバ通信部２０８が受信したか否かを判断する。本実施形態では、映像コンテンツの視聴要求には、サーバ２００が配信している動画データのうちの１つの動画データを撮影している機器の識別情報が含まれているものとする。サーバＣＰＵ２０１は、視聴要求を受信したと判断した場合は処理をＳ７０２に移し、受信していないと判断した場合は本ステップの処理を繰り返す。
【００７６】
Ｓ７０２で、サーバＣＰＵ２０１は、受信した視聴要求で特定される動画データを撮影している機器が、カメラネットワークに参加している機器であるか否かを判断する。具体的にはサーバＣＰＵ２０１は、カメラネットワークに参加している機器から受信してサーバＳＤＲＡＭ２０３に記憶したカメラネットワーク管理テーブルを参照する。そしてサーバＣＰＵ２０１は、視聴要求で特定される動画データを撮影している機器の識別情報が、当該テーブルに含まれるか否かを判断する。サーバＣＰＵ２０１は、視聴要求で特定される動画データを撮影している機器がカメラネットワークに参加している機器であると判断した場合は処理をＳ７０３に移し、カメラネットワークに参加している機器ではないと判断した場合は処理をＳ７０６に移す。
【００７７】
Ｓ７０３で、サーバＣＰＵ２０１は、視聴要求を送信したクライアント装置に対して、カメラネットワークに参加している機器から受信した動画データを既に配信しているか否かを判断する。本実施形態ではサーバＣＰＵ２０１は、クライアント装置に配信している映像コンテンツの情報を、当該クライアント装置のグローバルＩＰアドレス等の識別情報に関連付けてサーバＳＤＲＡＭ２０３に記憶しているものとする。サーバＣＰＵ２０１は、視聴要求を送信したクライアント装置に対して既にカメラネットワークに参加している機器から受信した動画データを配信していると判断した場合は処理をＳ７０５に移し、配信していないと判断した場合は処理をＳ７０４に移す。
【００７８】
Ｓ７０４で、サーバＣＰＵ２０１は、視聴要求で特定される動画データを撮影している機器から受信している動画データと、カメラネットワークの機器から受信した特定情報で特定される機器から受信した音声データとで構成される配信用の動画ファイルを生成する。即ち、本実施形態でサーバ２００よりＰＣ３００に配信される動画ファイル（映像コンテンツ）は、動画データを撮影した機器と音声データを録音した機器とが異なることがある。なお、本実施形態ではサーバ２００は、カメラネットワークに参加している各機器から動画データと音声データとを別々に受信するものとして説明するが、動画データと音声データとの受信方法は、これに限られない。例えば動画データと音声データとで構成される動画ファイルが、カメラネットワークに参加している１つの機器からサーバ２００に送信されてもよい。この場合、本ステップではサーバＣＰＵ２０１は、視聴要求で特定される動画データを撮影している機器から受信している動画ファイルから音声データを、特定情報で特定される機器から受信した音声データに置き換えた動画ファイルを生成すればよい。
【００７９】
またＳ７０３においてクライアント装置に対して既にカメラネットワークに参加している機器から受信した動画データを配信していると判断した場合、Ｓ７０５でサーバＣＰＵ２０１は、音声データを含まない配信用の動画ファイルを生成する。具体的にはサーバＣＰＵ２０１は、視聴要求で特定される動画データを撮影している機器から受信している動画データを取得し、当該動画データで構成される動画ファイルを生成する。あるいは、サーバＣＰＵ２０１は、当該動画データと無音の音声データとで構成される動画ファイルを生成してもよい。即ち、サーバ２００がクライアント装置に対してカメラネットワークに参加している機器から受信した音声データを配信している場合は、カメラネットワークに参加している他の機器から受信した音声データをさらに配信しない。これにより、クライアント装置において、同一の環境で録音された複数の音声データが再生されないようにし、音ずれによって視聴が阻害されることを回避する。
【００８０】
なお、Ｓ７０２で視聴要求で特定される動画データを撮影している機器がカメラネットワークに参加している機器ではないと判断した場合は、Ｓ７０６でサーバＣＰＵ２０１は、視聴要求で特定される動画データを撮影している機器から受信している動画データと音声データとで構成される配信用の動画ファイルを生成する。
【００８１】
Ｓ７０７で、サーバＣＰＵ２０１は、生成した配信用の動画ファイルをサーバ通信部２０８を介して視聴要求を行なったクライアント装置に対して配信する。
【００８２】
このように、本実施形態のサーバ２００は、クライアント装置からの視聴要求を受けた場合に、当該視聴要求で特定される動画データを撮影している機器がカメラネットワークに参加しているか否かによって、配信する音声データを制御する。即ち、カメラネットワークの参加の有無によって、同一の環境で録音された音声データを重複して配信することにより生じる音ずれの発生を回避する。
【００８３】
なお、本配信処理は特定情報で特定される機器から音声データを受信していることが前提となる。即ち、当該機器がカメラネットワークから離脱した場合、サーバ２００は特定情報で特定される機器から受信した音声データをクライアント装置に配信することができない。このため、カメラネットワークに参加している機器がカメラネットワークから離脱する場合に、特定情報の更新を行う必要がある。
【００８４】
＜カメラネットワーク離脱処理＞
以下では、カメラネットワークに参加している機器が、カメラネットワークから離脱する際に実行される、デジタルカメラ１００のカメラネットワーク離脱処理について、図８のフローチャートを用いて具体的な処理を説明する。当該フローチャートに対応する処理は、制御部１０１が、例えばＲＯＭ１０２に記憶されている対応する処理プログラムを読み出し、ＳＤＲＡＭ１０３に展開して実行することにより実現することができる。
【００８５】
なお、本カメラネットワーク離脱処理は、例えばカメラネットワークに参加しているデジタルカメラ１００が、カメラネットワークに参加している他の機器との距離が所定距離以上離れたと判断された際に開始されるものとして説明する。当該判断は、例えばカメラネットワークに参加している各機器から音声データの評価情報を受信する際に、当該評価情報とともに位置取得部１１２が取得した当該機器の位置情報を送信し、制御部１０１が当該位置情報と自機の位置情報とを比較することにより行う。なお、本実施形態ではカメラネットワーク離脱処理は、デジタルカメラ１００の位置情報を制御部１０１が判断して実行するものとして説明するが、ユーザの離脱指示を受けて処理を開始するものであってもよいことは言うまでもない。
【００８６】
Ｓ８０１で、制御部１０１は、最後に実行した特定情報更新処理において、映像コンテンツで配信する音声データを録音している機器の識別情報が自機の識別情報と同一であると判断されたか否かを判断する。制御部１０１は、映像コンテンツで配信する音声データを録音している機器の識別情報が自機の識別情報と同一であると判断した場合は処理をＳ８０２に移し、同一ではないと判断した場合は処理をＳ８０３に移す。
【００８７】
Ｓ８０２で、制御部１０１は、カメラネットワークに参加している他の機器に対して、特定情報の更新要求のコマンドを送信する（第３の判断、第４の更新）。このとき、デジタルカメラ１００はカメラネットワークから離脱するため、制御部１０１は、カメラネットワーク内の当該デジタルカメラ１００を除く機器で取得された音声データのみを対象として特定情報更新処理の実行を指示する情報を共に送信する。
【００８８】
Ｓ８０３で、制御部１０１は、デジタルカメラ１００がカメラネットワークから離脱したことを示すPull-Outメッセージを、カメラネットワークに参加している他の機器に対して送信する。また制御部１０１は、ＳＤＲＡＭ１０３に記憶されているカメラネットワーク管理テーブルから自機の識別情報を削除し、当該テーブルをサーバ２００及びカメラネットワークに参加している他の機器に対して伝送させ、本カメラネットワーク離脱処理を完了する。
【００８９】
このようにすることで、カメラネットワークからデジタルカメラ１００が離脱したことを、カメラネットワーク内の他の機器、及びサーバ２００に対して知らせることができる。また、デジタルカメラ１００が録音した音声データが、映像コンテンツで配信する音声データであった場合には、当該音声データを除外して、映像コンテンツで配信する１つの音声データを決定するよう、更新要求を送信できる。
【００９０】
なお、本実施形態では、動画撮影機能と音声取得機能とを有するデジタルカメラ１００が取得した動画データ及び音声データを、サーバ２００がクライアント装置に対して配信するものとして説明したが、配信される音声データの取得はこれに限られない。例えば、ＩＣレコーダ等、通信機能を有して音声データの取得のみを行う音声取得装置からアップロードされた音声データを、サーバ２００がクライアント装置に対して配信する構成であってもよい。即ち、上述した特定情報更新処理において取得した音声データの評価情報の比較を行う対象は、同一の環境内でローカルネットワークに参加する全ての音声取得機能を有する機器が含まれてよい。つまり、ローカルネットワーク内において、動画取得機能を有する機器と音声取得機能を有する機器との数は、同数でなくてもよい。
【００９１】
本実施形態では、Ｓ８０２でカメラネットワーク内の当該デジタルカメラ１００を除く機器で取得された音声データのみを対象として特定情報更新処理の実行を指示する情報とともに更新要求が送信されるものとして説明した。しかしながら、例えば離脱するデジタルカメラ１００の識別情報を削除したカメラネットワーク管理テーブルを、カメラネットワーク内の他の機器に送信した後に更新要求を行うことにより、デジタルカメラ１００を対象外として特定情報更新処理を行なってもよい。
【００９２】
なお、本実施形態では、カメラネットワークに参加している機器間の距離を判断し、カメラネットワークから離脱する機器を判断するものとして説明したが、カメラネットワークへの参加についても機器間の距離を判断して行なってもよい。即ち、カメラネットワークに参加している機器と参加していない機器との距離が所定の距離以下になった場合に、当該参加していない機器の制御部１０１がカメラネットワーク参加処理を実行する構成であってもよい。
【００９３】
以上説明したように、本実施形態のコンテンツ配信システムは、動画データの配信時に好適な音声データの提供を低コストで実現することができる。具体的にはコンテンツ配信システムは、同一の環境に存在する複数の動画取得装置及び複数の音声取得装置と、当該複数の動画取得装置及び複数の音声取得装置が取得した複数の動画データ及び複数の音声データを受信し、クライアント装置からの動画データの視聴要求に応じて、複数の音声データのうちの１つの音声データを当該クライアント装置に送信するサーバとを含む。複数の動画取得装置の各々は、環境の被写体を撮像して得られた動画データをサーバに送信する。また複数の音声取得装置の各々は、環境の音声を録音して得られた音声データをサーバに送信するとともに、環境内の他の音声取得装置と各々で得られた音声データ評価値を共有し、評価値が所定の条件を満たす１つの音声データを決定する。そして音声取得装置は、当該決定された１つの音声データを特定する特定情報をサーバに送信し、サーバは動画データの視聴要求をクライアント装置から受信したことに応じて、当該視聴要求に対応する動画データと、特定情報により特定された１つの音声データとを、視聴要求を受信したクライアント装置に対して配信する。
【００９４】
［変形例］
上述した実施形態では、更新要求のコマンドの送信は、例えば動画撮影あるいは録音の開始時、あるいは開始から所定の間隔で定期的に実行される、あるいは新たな機器がカメラネットワークに参加した際に実行されるものとして説明した。しかしながら、更新要求のコマンドの送信は、これに限られるものではない。
【００９５】
例えば、映像コンテンツで配信する１つの音声データが決定された際、当該音声データを録音した機器以外の、カメラネットワークに参加している機器の制御部１０１は、当該音声データについての評価情報を記憶する。そして当該音声データを録音した機器以外の機器の制御部１０１は、定期的に録音した音声データの評価値を取得し、当該評価値が記憶した評価情報が示す評価値を上回ると判断した場合に、更新要求のコマンドを送信するように構成されてもよい（第１の判断、第１の更新）。
【００９６】
またこれに対し、映像コンテンツで配信する１つの音声データを録音した機器の制御部１０１は、当該音声データについての評価情報を記憶する。そして当該音声データを録音した機器の制御部１０１は、定期的に録音した音声データの評価値を取得し、当該評価値が記憶した評価情報が示す評価値を下回ると判断した場合に、更新要求のコマンドを送信するように構成されてもよい（第２の判断、第２の更新）。
【００９７】
このようにすることで、カメラネットワークに参加している機器の制御部１０１は、音声データの取得状態が変化したタイミングを適切に判断して、特定情報の更新を行うことができる。
【００９８】
［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【技術分野】
【０００１】
本発明は、コンテンツ配信システム、音声取得装置及びその制御方法に関し、特に動画データの配信時に配信される音声データを決定する技術に関する。
【背景技術】
【０００２】
近年、インターネット上のサービスとして、動画データや音声データのストリーミング配信を行うものがある。ＰＣ等のクライアント装置のユーザは、例えばブラウジングアプリケーション（ブラウザ）を起動して当該サービスを提供するサーバにアクセスすることにより、ストリーミング再生された動画データや音声データを視聴することができる。
【０００３】
ストリーミング再生は、１つの動画ファイルの全てを受信してから再生する方式とは異なる。クライアント装置では、サーバより動画の先頭フレームから順に受信し、ある程度バッファにフレームが溜まった状態で再生を開始することができるため、ユーザは動画ファイルを受信してから視聴を開始するよりも短時間で視聴を完了することができる。また視聴時間内に全てのフレームのデータを受信できればユーザの視聴を妨げることはないため、受信する回線におけるデータの下り速度が多少遅い環境であっても、ユーザは問題なく視聴を行うことができる。
【０００４】
このように、ストリーミング配信では長時間の映像コンテンツであってもクライアント装置のリソースを圧迫することなく再生を行うことができる。近年では、ストリーミング配信を利用し、Ｗｅｂカメラ等で撮影された動画データをリアルタイムに配信する、インターネットを利用した所謂生中継をコンテンツとして提供するサービスもある。
【０００５】
一方、近年のデジタルカメラ等の撮像装置の中には、画像の保存あるいは印刷を行うために、無線通信機能を備えるものがある。このような撮像装置は、家庭内ＬＡＮ（Local Area Network）に属している機器に対して画像の送信を行うものだけでなく、ＬＡＮを経由してインターネット上のサーバ等に画像のアップロードを行うものもある。ユーザは、このような無線通信機能を有するデジタルカメラを使用することで、インターネット上のサーバに接続可能な無線ＬＡＮルータが設置されている環境において、ストリーミング配信を行うことができる。
【０００６】
例えばイベント会場等に無線ＬＡＮルータを設置し、例えば、あるイベントの様子を、無線通信機能を有する複数の撮像装置を用いて撮影し、それぞれの撮像装置で撮像された動画データをストリーミング配信することもできる。ストリーミング配信が行われると、ユーザはクライアント装置において、複数の異なる撮像装置が撮影した動画データを同時に視聴することができる。
【０００７】
しかしながら、複数の動画データを同時に再生する場合、同一のイベントを撮影したものであっても、動画データと共に再生される音声データは同期して再生されないことがある。これは再生している動画データを撮影した複数の撮像装置のそれぞれが、必ずしも同一の処理能力を有するものではないことや、撮影場所の違いにより無線ＬＡＮルータとの通信速度が異なること等に起因する。つまり、ユーザがクライアント装置においてストリーミング配信の複数のアングルの動画データを再生する場合、音声データの再生において音ずれが生じ、ユーザの視聴を阻害する可能性がある。
【０００８】
特許文献１には、複数の撮像装置で同時に撮影された動画データ及び音声データを編集して１つの映像コンテンツを作成する際に、音声データを解析し、所定の基準に基づいて１つの音声データを選択する編集装置が開示されている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００５−１２４１４３号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、特許文献１のような音声データの解析及び選択技術をストリーミング配信を行うサーバに適用した場合、以下のような問題が考えられる。例えば上述したようなイベント会場において、不特定多数のユーザが撮影した動画データ及び音声データを当該ユーザの撮像装置からサーバに送信する場合、サーバにおいて解析を行う音声データの対象は膨大な数になる可能性がある。即ち、サーバにおいて解析を行う音声データが増加するほど多くの処理リソースが解析のために使用されることになる。このため、音声データの解析用に十分な処理能力を持たせるためにはサーバに高機能な処理回路を設ける必要があり、サーバのコスト上昇を回避することはできなかった。
【００１１】
本発明は、上述の問題点に鑑みてなされたものであり、動画データの配信時に好適な音声データの提供を低コストで実現するコンテンツ配信システムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
前述の目的を達成するために、本発明のコンテンツ配信システムは、以下の構成を備える。
同一の環境に存在する複数の動画取得装置及び複数の音声取得装置と、当該複数の動画取得装置及び複数の音声取得装置が取得した複数の動画データ及び複数の音声データを受信し、クライアント装置からの動画データの視聴要求に応じて、複数の音声データのうちの１つの音声データを当該クライアント装置に送信するサーバとを含むコンテンツ配信システムであって、複数の動画取得装置の各々は、環境の被写体を撮像して得られた動画データをサーバに送信する動画送信手段を有し、複数の音声取得装置の各々は、環境の音声を録音して得られた音声データをサーバに送信する音声送信手段と、得られた音声データの評価値を取得する音声評価手段と、環境内の他の音声取得装置の各々から、当該音声取得装置で取得された評価値を取得する評価取得手段と、環境内の複数の音声取得装置で取得された複数の音声データのうち、評価値が所定の条件を満たす１つの音声データを決定し、当該音声データを特定する特定情報をサーバに送信する特定情報送信手段と、を有し、サーバは、動画データ、音声データ、及び特定情報を受信して記憶手段に記憶する受信手段と、記憶手段に記憶された動画データの視聴要求をクライアント装置から受信したことに応じて、当該視聴要求に対応する動画データと、特定情報により特定された１つの音声データとを、視聴要求を受信したクライアント装置に対して配信する配信手段と、を有することを特徴とする。
【発明の効果】
【００１３】
このような構成により本発明によれば、動画データの配信時に好適な音声データの提供を低コストで実現するコンテンツ配信システムを提供することが可能となる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施形態に係る映像コンテンツ配信システムのシステム構成を示した図
【図２】本発明の実施形態に係るデジタルカメラ１００の機能構成を示したブロック図
【図３】本発明の実施形態に係るサーバ２００の機能構成を示したブロック図
【図４】本発明の実施形態に係るデジタルカメラ１００で実行されるカメラネットワーク参加処理のフローチャート
【図５】本発明の実施形態に係るデジタルカメラ１００で実行される特定情報更新処理のフローチャート
【図６】本発明の実施形態に係るデジタルカメラ１００で実行される音声選択処理のフローチャート
【図７】本発明の実施形態に係るサーバ２００で実行される配信処理のフローチャート
【図８】本発明の実施形態に係るデジタルカメラ１００で実行されるカメラネットワーク離脱処理のフローチャート
【図９】本発明の実施形態に係るカメラネットワーク参加処理で送信されるコマンドを例示した図
【図１０】本発明の実施形態に係る特定情報更新処理で送信されるコマンドを例示した図
【発明を実施するための形態】
【００１５】
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、音声取得装置の一例としての、動画撮影機能と音声録音機能を有し、撮影して得られた動画データ及び録音して得られた音声データをサーバにアップロード可能なデジタルカメラに、本発明を適用した例を説明する。しかし、本発明は、録音して得られた音声データをサーバにアップロードすることが可能な任意の機器に適用可能である。また、本明細書において、「動画データ」とは音声データを含まない１以上のフレームで構成される情報であり、「映像コンテンツ」とは動画データと対応する音声データとで構成される情報であるものとして区別して説明する。
【００１６】
＜映像コンテンツ配信システムのシステム構成＞
図１は、本発明の実施形態に係る映像コンテンツ配信システムのシステム構成を示す図である。
【００１７】
当該システムではストリーミング配信を行うサーバ２００、及びクライアント装置であるＰＣ３００は広域通信網４００に接続されている。またサーバ２００が配信するコンテンツは、無線ＬＡＮルータ１５０を介して広域通信網４００に接続されるデジタルカメラ１００ａ〜ｄにより撮影あるいは録音される。
【００１８】
デジタルカメラ１００ａ〜ｄは、それぞれが被写体を撮影して得られた動画データ、及び環境の音声を録音して得られた音声データを、無線ＬＡＮルータ１５０を介してサーバ２００に送信（アップロード）する（動画送信、音声送信）。本実施形態ではデジタルカメラ１００ａ〜ｄは、例えばイベント会場等、同一の環境に存在するものとする。
【００１９】
無線ＬＡＮルータ１５０は、通信可能範囲に存在するデジタルカメラ１００ａ〜ｄの各々に対してプライベートアドレスを割り当て、広域通信網４００への接続を実現する。プライベートアドレスを割り当てられたデジタルカメラ１００ａ〜ｄは、無線ＬＡＮルータ１５０の通信可能範囲においてＬＡＮ１８０に属し、互いに通信可能である。
【００２０】
サーバ２００は、無線ＬＡＮルータ１５０を介してデジタルカメラ１００ａ〜ｄからアップロードされた動画データ及び音声データを配信する。サーバ２００は、ＰＣ３００からの動画データの視聴要求を受信すると、当該視聴要求により特定される動画データと、当該動画データに対応する音声データとをＰＣ３００に対して送信する。なお、本実施形態ではＰＣ３００は、デジタルカメラ１００ａ〜ｄが取得した動画データ及び音声データを、生中継として略リアルタイムでサーバ２００から受信するものとして説明する。しかしながら、本発明の実施はリアルタイムの動画配信に限らず、デジタルカメラ１００ａ〜ｄにより取得され、サーバに蓄積された動画コンテンツをサーバ２００が配信する構成であってもよい。
【００２１】
（デジタルカメラ１００の機能構成）
ここで、デジタルカメラ１００の機能構成について、図２を用いて詳細に説明する。図２は、本発明の実施形態に係るデジタルカメラ１００の機能構成を示すブロック図である。なお、本明細書においてデジタルカメラ１００ａ〜ｄは、同一の構成を有するものとする。またａ〜ｄの接尾文字を付さずに、単にデジタルカメラ１００として説明する場合は、デジタルカメラ１００ａ〜ｄの各々が同様の処理を行うものとする。
【００２２】
制御部１０１は、例えばＣＰＵ等の制御装置であり、デジタルカメラ１００が備える各ブロックの動作を制御する。制御部１０１は、例えば後述するカメラネットワーク参加処理等の動作プログラムをＲＯＭ１０２より読み出し、ＳＤＲＡＭ１０３に展開して実行することにより各ブロックの動作を制御する。
【００２３】
ＲＯＭ１０２は、書き換え可能な不揮発性メモリであり、後述する各処理の動作プログラムを記憶する。またＲＯＭ１０２は、例えばデジタルカメラ１００が備える各ブロックの動作において使用されるパラメータやユーザにより設定されたカメラ設定等を記憶する。
【００２４】
ＳＤＲＡＭ１０３は、揮発性メモリであり、後述する各処理の動作プログラムの展開領域としてだけでなく、デジタルカメラ１００が備える各ブロックの動作において出力された中間データ等を一時的に記憶する格納領域としても用いられる。
【００２５】
撮像部１０４は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子を備え、被写体を撮像して得られた、静止画像あるいは動画像の１フレームの画像を出力する。具体的には撮像部１０４は、不図示の光学系を介して撮像素子に結像された被写体の光学像を光電変換し、アナログ画像信号を取得する。そして撮像部１０４は、得られたアナログ画像信号に対してＡ／Ｄ変換処理を適用することにより、デジタル画像信号として画像データを出力する。
【００２６】
画像処理部１０５は、撮像部１０４が出力した画像データに対して、色変換処理や符号化処理等、各種の画像処理を適用する。画像処理部１０５は、不図示の内部メモリを有してもよく、画像処理の対象となる画像データは、処理中は当該内部メモリに格納されていてもよい。なお、本実施形態ではデジタルカメラ１００からサーバ２００にアップロードされた動画データは、ストリーミング配信が可能な形式に画像処理部１０５で符号化されるものとする。
【００２７】
マイクロフォン（ＭＩＣ）１０６は、録音した音声をアナログ音声信号に変換し、得られたアナログ音声信号を音声処理部１０７に出力する。音声処理部１０７は、入力されたアナログ音声信号に対してＡ／Ｄ変換処理及び音声符号化処理を適用し、デジタル音声信号である音声データを出力する。また音声処理部１０７は、得られたデジタル音声信号に対して、例えば音量計測や音割れの有無等の解析を行う。
【００２８】
通信部１０８は、デジタルカメラ１００が備える通信インタフェースである。例えばサーバ２００に対して動画あるいは音声データをアップロードする場合、制御部１０１はアップロード対象のデータを通信部１０８に伝送する。そして通信部１０８は、当該データを所定の通信プロトコルに従って、無線ＬＡＮルータ１５０及び広域通信網４００を介して送信する。また通信部１０８はアップロードに限らず、無線ＬＡＮルータ１５０の通信可能範囲であるＬＡＮ１８０に存在する他のデジタルカメラ１００に対してデータをブロードキャストすることも可能である。
【００２９】
記録媒体１０９は、例えばデジタルカメラ１００の内蔵メモリや、メモリカードやＨＤＤ等のデジタルカメラ１００に着脱可能に接続される記録装置である。不図示の操作部をユーザが操作することにより動画撮影指示がなされた場合、撮影により得られた動画データ及び音声データは、通信部１０８を介してサーバ２００にアップロードされると共に、記録媒体１０９に記憶される。
【００３０】
表示部１１１は、例えば小型ＬＣＤ等の液晶装置であり、表示制御部１１０の表示制御により動作する。表示制御部１１０は、動画データのフレーム等、入力された表示用のデータを表示部１１１に表示する処理を実行する。また表示制御部１１０は、例えばＳＤＲＡＭ１０３や不図示の内蔵グラフィックメモリに、ＧＵＩのデータ群を有している。表示制御部１１０は、動画データや静止画データに対してＧＵＩの重畳表示指示があった場合、対応するデータを読み出し、合成処理を行なって表示部１１１に表示する。
【００３１】
位置取得部１１２は、例えばＧＰＳ等のデジタルカメラ１００の存在する位置情報を取得するセンサである。位置取得部１１２は、定期的に、あるいは撮影開始時にデジタルカメラ１００の存在する位置情報を取得する。位置情報は、例えば所謂ジオタグとして、動画データや静止画データのヘッダ情報に含められる。
【００３２】
（サーバ２００の機能構成）
次に、サーバ２００の機能構成について、図３を用いて詳細に説明する。図３は、本発明の実施形態に係るサーバ２００の機能構成を示すブロック図である。なお、本明細書において、サーバ２００が備える各ブロックについては、デジタルカメラ１００が備える各ブロックと区別するために、「サーバ」の接頭文字を付すものとする。
【００３３】
サーバＣＰＵ２０１は、サーバ２００が備える各ブロックの動作を制御する。具体的にはサーバＣＰＵ２０１は、後述する配信処理の動作プログラムを後述するサーバ記録媒体２０９より読み出し、サーバＳＤＲＡＭ２０３に展開して実行することにより、各ブロックの動作を制御する。
【００３４】
サーバＲＯＭ２０２は、書き換え可能な不揮発性メモリであり、サーバ２００が備える各ブロックの動作において必要なパラメータ等を記憶する。サーバＳＤＲＡＭ２０３は、揮発性メモリであり、後述する配信処理の動作プログラムの展開領域としてだけでなく、サーバ２００が備える各ブロックの動作において出力された中間データ等を一時的に記憶する格納領域としても用いられる。
【００３５】
サーバ通信部２０８は、サーバ２００が備える通信インタフェースである。サーバ通信部２０８は、デジタルカメラ１００ａ〜ｄより広域通信網４００を介してアップロードされた動画あるいは音声データを受信する。アップロードされた動画あるいは音声データは、例えば後述するサーバ記録媒体２０９に一時的に記録される。またサーバＣＰＵ２０１は、広域通信網４００を介してＰＣ３００からの視聴要求をサーバ通信部２０８で受信した場合は、次のように処理する。サーバＣＰＵ２０１は、当該視聴要求で特定される動画データ及び当該動画データに対応する音声データをサーバ記録媒体２０９より読み出す。そしてサーバＣＰＵ２０１は、当該読み出した動画及び音声データをサーバ通信部２０８を介して、視聴要求を行なったＰＣ３００に対して送信する。
【００３６】
サーバ記録媒体２０９は、例えばＨＤＤやＳＳＤ等のサーバ２００に着脱可能に接続される記録装置であり、配信する動画データ及び音声データに加え、サーバのオペレーティングシステム及び後述する配信処理の動作プログラム等が記録されている。
【００３７】
＜カメラネットワーク参加処理＞
このような構成をもつ本実施形態のデジタルカメラ１００のカメラネットワーク参加処理について、図４のフローチャートを用いて具体的な処理を説明する。当該フローチャートに対応する処理は、制御部１０１が、例えばＲＯＭ１０２に記憶されている対応する処理プログラムを読み出し、ＳＤＲＡＭ１０３に展開して実行することにより実現することができる。
【００３８】
なお、カメラネットワーク参加処理は、配信コンテンツの撮影を行うカメラネットワークへの参加指示がなされたと制御部１０１が判断した場合に開始されるものとして説明する。カメラネットワークへの参加指示がなされたか否かは、例えば不図示の操作ボタンがユーザにより操作がなされたことによって出力される制御信号を、制御部１０１が受信したか否かにより判断すればよい。
【００３９】
Ｓ４０１で、制御部１０１は、カメラネットワークに参加している他の機器を検出するためのDiscoveryRequestコマンドをブロードキャストする。具体的には制御部１０１は、他の機器を検出するためのDiscoveryRequestコマンドを例えばＲＯＭ１０２より読み出して通信部１０８に伝送し、ブロードキャストさせる。DiscoveryRequestコマンドは、例えば図９（ａ）のように、コマンドを発信する機器のＭＡＣアドレス等の識別情報（DeviceID）、及び当該機器がＬＡＮ１８０内で割り当てられているＩＰアドレス（IPAddress）を含む。DiscoveryRequestコマンドは、当該コマンドを受信した場合に、発信元の機器に対して受信した機器の識別情報やＩＰアドレスを通知させるためのコマンドである。制御部１０１は、当該コマンドをブロードキャストすることにより、同一の環境内に存在する不特定多数の通信機器の情報を収集することができる。なお、このとき制御部１０１は、不図示の内蔵タイマーを開始させ、コマンド送信からの時間の計測を開始する。
【００４０】
Ｓ４０２で、制御部１０１は、通信部１０８においてカメラネットワークに参加している他の機器からDiscoveryRequestコマンドに対する応答であるDiscoveryReplyコマンドを受信したか否かを判断する。制御部１０１はコマンドを受信した場合に、例えば受信したコマンドに記述子＜DiscoveryReply＞が含まれているか否かを判断する。DiscoveryReplyコマンドは、例えば図９（ｂ）に示すように、DiscoveryRequestコマンドに応答した機器の識別情報及びＩＰアドレスが含まれる。制御部１０１は、DiscoveryReplyコマンドを受信したと判断した場合は処理をＳ４０３に移し、受信していないと判断した場合は処理をＳ４０４に移す。
【００４１】
なお、本実施形態ではデジタルカメラ１００ａ〜ｄの制御部１０１は、カメラネットワークに参加している状態でDiscoveryRequestコマンドを受信した場合に、コマンドの送信元の機器に対してDiscoveryRequestコマンドを送信するように構成されているものとする。また制御部１０１は、自機がカメラネットワークに参加しているか否かの情報を、例えばＳＤＲＡＭ１０３に論理型の情報で格納しているものとする。制御部１０１は、DiscoveryRequestコマンドを受信した場合に当該情報を参照し、カメラネットワークに参加している場合にはDiscoveryReplyコマンドを送信するように処理する。
【００４２】
Ｓ４０３で、制御部１０１は、受信したDiscoveryReplyコマンドに含まれる応答した機器の識別情報及びＩＰアドレスを、ＳＤＲＡＭ１０３のカメラネットワーク管理テーブルに追加する。カメラネットワーク管理テーブルは、サーバ２００に対してストリーミング配信のソースとなる動画データ及び音声データを供給する機器を知らせるためのテーブルである。カメラネットワーク管理テーブルは、例えば図９（ｃ）のように、DiscoveryRequestコマンドを送信した機器、及びDiscoveryRequestコマンドに応答した機器の識別情報及びＩＰアドレスを含む。本実施形態ではサーバ２００は、当該カメラネットワーク管理テーブルを参照することにより、同一の環境に存在するデジタルカメラ１００ａ〜ｄの情報を取得することができる。そしてサーバ２００は、カメラネットワーク管理テーブルに含まれる機器から受信した動画データあるいは音声データを、１つの映像コンテンツ用のデータとして管理することができる。
【００４３】
Ｓ４０４で、制御部１０１は、Ｓ４０１で開始させた内臓タイマーの経過時間が、カメラネットワークに参加している他の機器を検出するために予め定められた時間を超えた（タイムアップ）か否かを判断する。他の機器を検出するために予め定められた時間は、例えばＲＯＭ１０２に記憶されていればよい。制御部１０１は、内蔵タイマーの経過時間が他の機器を検出するために予め定められた時間を超えたと判断した場合は処理をＳ４０５に移し、超えていないと判断した場合は処理をＳ４０２に戻す。
【００４４】
Ｓ４０５で、制御部１０１は、ＳＤＲＡＭ１０３に記憶されているカメラネットワーク管理テーブルを通信部１０８に伝送し、サーバ２００及びカメラネットワークに参加している他の機器に対して伝送させ、本カメラネットワーク参加処理を完了する。
【００４５】
このようにすることで、制御部１０１は、自機（デジタルカメラ１００）を配信コンテンツの撮影を行うカメラネットワークに参加させることができる。また既にカメラネットワークに参加しているデジタルカメラ１００の制御部１０１は、新たにカメラネットワークに参加した機器から最新のカメラネットワーク管理テーブルを受信できる。即ち、これにより既にカメラネットワークに参加しているデジタルカメラ１００の制御部１０１は、新たに参加した機器を含む、現在カメラネットワークに参加している機器を認識することができる。またサーバ２００のサーバＣＰＵ２０１は、配信コンテンツを構成する動画データ及び音声データを送信する機器（デジタルカメラ１００ａ〜ｄ）を認識することができる。なお、既にカメラネットワークに参加している機器がない、即ちカメラネットワークが存在しない場合、カメラネットワークはカメラネットワークの参加要求を行なったデジタルカメラ１００のみが参加する状態で、本処理により新たに構築されるものとする。
【００４６】
＜特定情報更新処理＞
次に、サーバ２００においてカメラネットワークに参加しているデジタルカメラ１００ａ〜ｄが撮影した映像コンテンツを配信する際に、音声データとしてＰＣ３００に配信される音声データを録音した機器を特定するための特定情報を作成する特定情報更新処理について説明する。本実施形態のサーバ２００は、当該特定情報を参照し、特定情報により特定される機器から受信した１つの音声データのみをＰＣ３００に送信することによって、同一の環境で撮影された複数の動画データをＰＣ３００において再生した際の音声データの音ずれの発生を回避する。
【００４７】
図５は、本実施形態のデジタルカメラ１００の特定情報更新処理のフローチャートを示している。当該フローチャートに対応する処理は、制御部１０１が、例えばＲＯＭ１０２に記憶されている対応する処理プログラムを読み出し、ＳＤＲＡＭ１０３に展開して実行することにより実現することができる。なお、特定情報更新処理は、例えばカメラネットワークに参加している他の機器から特定情報の更新要求のコマンドを受信した際、あるいは他の機器に対して更新要求のコマンドを送信した際に開始されるものとして説明する。
【００４８】
なお、更新要求のコマンドの送信は、例えば動画撮影あるいは録音の開始時、あるいは開始から所定の間隔で定期的に、当該動画撮影あるいは録音を開始したデジタルカメラ１００の制御部１０１により行われてもよい。また、更新要求のコマンドの送信は、例えばカメラネットワークに新たなデジタルカメラ１００が参加した際に当該新たなデジタルカメラ１００の制御部１０１により行われてもよい（第３の更新）。なお、更新要求のコマンドには、例えば図１０（ａ）に示すように、当該コマンドを送信した機器の識別情報が含まれていてもよい。
【００４９】
Ｓ５０１で、制御部１０１は、ＭＩＣ１０６及び音声処理部１０７に音声録音処理を行わせているか否かを判断する。制御部１０１は、ＭＩＣ１０６及び音声処理部１０７に音声録音処理を行わせていると判断した場合は処理をＳ５０２に移し、行わせていないと判断した場合は本特定情報更新処理を完了する。
【００５０】
Ｓ５０２で、制御部１０１は、録音している音声データの評価値を示す評価情報（SoundInfo）を取得する（音声評価）。具体的には制御部１０１は、音声録音処理により得られた所定の長さの音声データに対して音声処理部１０７に評価値を取得させる。本実施形態では音声処理部１０７は、得られた音声データについて次の情報を評価するものとする。
・音量（SoundVolume）
・音割れの有無（SoundBreaking）
・符号化ビットレート（BitRate）
【００５１】
なお、音割れの有無の判断は、例えば特開２００８−２５６７５８号公報等に記載されるような、音声の振幅スペクトルを解析することにより音割れの発生を検出する技術を用いればよい。
【００５２】
また制御部１０１は、通信部１０８を介して、得られた音声データをサーバ２００に転送する際の転送速度（TrafficSpeed）についても通信部１０８より取得して評価値とする。さらに、本実施形態のようにデジタルカメラ１００が動画データの取得と共に音声データの取得を行う場合は、以下のような評価値を含めることも可能である。制御部１０１は、得られた音声データと同時に撮影されたフレームの画像において、被写体の人物の顔の向きが正面を向いている割り合い（SubjectInfo）を評価値として含める。なお、被写体の顔の向きが正面を向いている割り合いは、例えば特開２０１０−２０５２６９号公報に記載されるような、被写体頭部のコントラストパターンを解析することで顔の向きを判定する技術を用いればよい。本実施形態では、被写体人物の顔が正面を向いている場合（０度）を基準として、顔の方向の角度（右向きで正の値）を評価値として含めるものとする。
【００５３】
このように、本実施形態では制御部１０１は、音声データの評価値として、音量、音割れの有無、符号化ビットレート、サーバ２００への音声データの転送速度、及び被写体の顔が正面を向いている割り合いを示す数値を、評価情報に含める。評価情報は、例えば図１０（ｂ）に示すように、音声データを取得した機器の識別情報に関連付けて、上述の評価値が記述された内容であってよい。作成した評価情報は、例えばＳＤＲＡＭ１０３に記憶される。なお、本実施形態では、音声データの評価値として上述の５つの評価値を全て含めるものとして説明するが、音声データの評価値はこれに限られず、他の項目についての評価を含むものであってもよいし、上述の項目の少なくともいずれかを含むものであってもよい。
【００５４】
Ｓ５０３で、制御部１０１は、カメラネットワークに参加してる他の機器に対して、Ｓ５０２で取得した評価情報を送信する。具体的には制御部１０１は、評価情報を通信部１０８に伝送し、カメラネットワークに参加している他の機器に対して送信させる。
【００５５】
Ｓ５０４で、制御部１０１は、カメラネットワークに参加している他の機器から、各機器で取得された音声データの評価情報を通信部１０８が受信したか否かを判断する（評価取得）。具体的には制御部１０１は、受信した情報の中に記述子＜SoundInfo＞が含まれているか否かを判断することにより、受信した情報が音声データの評価情報であるか否かを判断する。制御部１０１は、カメラネットワークに参加している他の機器から音声データの評価情報を受信したと判断した場合は処理をＳ５０５に移し、受信した音声データの評価情報をＳＤＲＡＭ１０３に格納する。また制御部１０１は、カメラネットワークに参加している他の機器から音声データの評価情報を受信していないと判断した場合は処理をＳ５０６に移す。
【００５６】
Ｓ５０６で、制御部１０１は、カメラネットワークに参加している全ての機器から音声データの評価情報を取得したか否かを判断する。具体的には制御部１０１は、ＳＤＲＡＭ１０３に記憶されているカメラネットワーク管理テーブルを参照してカメラネットワークに参加している全ての機器の識別情報を取得し、各識別情報が関連付けられた評価情報を全て受信したか否かを判断する。制御部１０１は、カメラネットワークに参加している全ての機器から音声データの評価情報を取得したと判断した場合は処理をＳ５０７に移し、取得していないと判断した場合は処理をＳ５０４に戻す。
【００５７】
Ｓ５０７で、制御部１０１は、カメラネットワークに参加している機器で撮影された動画データの視聴要求をサーバ２００が受信した際に、視聴要求を行なった機器に対して送信する当該動画データとともに送信する音声データを決定する音声選択処理を実行する。
【００５８】
（音声選択処理）
ここで、音声選択処理について図６のフローチャートを用いて詳細に説明する。
【００５９】
Ｓ６０１で、制御部１０１は、カメラネットワークに参加している全ての機器の評価情報を参照し、音割れが発生していない音声データを取得している機器の数が１以上であるか否かを判断する。具体的には制御部１０１は、ＳＤＲＡＭ１０３に記憶されている、全ての機器の評価情報に含まれる音割れの有無の情報を参照する。そして制御部１０１は、当該情報が音割れが発生していないことを示している場合は、評価情報に含まれる機器の識別情報を、例えばＳＤＲＡＭ１０３に記憶されている音割れが発生していない音声データを取得している機器を示すテーブルに追加する。ＳＤＲＡＭ１０３に記憶されている全ての評価情報に対して音割れの有無を判定した後、制御部１０１は、音割れが発生していない音声データを取得している機器を示すテーブルに追加されている機器の数を取得する。制御部１０１は、音割れが発生していない音声データを取得している機器の数が１以上であると判断した場合は処理をＳ６０３に移し、０であると判断した場合は処理をＳ６０２に移す。
【００６０】
Ｓ６０２で、制御部１０１は、全ての機器の評価情報を参照し、最も低い音量の評価値を有する評価情報に関連付けられている機器の識別情報を取得する。そして制御部１０１は、当該識別情報を、映像コンテンツで配信する音声データを録音している機器の識別情報としてＳＤＲＡＭ１０３に格納し、本音声選択処理を完了する。
【００６１】
Ｓ６０３で、制御部１０１は、音割れが発生していない音声データを取得している機器のうち、音量が予め定められた音量の閾値以上である音声データを取得している機器の数が１以上であるか否かを判断する。具体的には制御部１０１は、音割れが発生していない音声データを取得している機器を示すテーブルに含まれる機器の識別情報に関連付けられた評価情報を参照し、当該評価情報に含まれる音量の情報を参照する。そして制御部１０１は、音量の評価値が、例えばＲＯＭ１０２に記憶されている予め定められた音量の閾値以上であるか否かを判断する。制御部１０１は、音量の評価値が閾値以上であると判断した場合は、評価情報に含まれる機器の識別情報を、ＳＤＲＡＭ１０３に記憶されている音量が閾値以上の音声データを取得している機器を示すテーブルに追加する。音割れが発生していない音声データを取得している全ての機器の評価情報に対して音量の判定をした後、制御部１０１は、音量が閾値以上の音声データを取得している機器を示すテーブルに追加されている機器の数を取得する。制御部１０１は、音量が予め定められた閾値以上である音声データを取得している機器の数が１以上であると判断した場合は処理をＳ６０５に移し、０であると判断した場合は処理をＳ６０４に移す。
【００６２】
Ｓ６０４で、制御部１０１は、音割れが発生していない音声データを取得している全ての機器の評価情報を参照し、最も高い音量の評価値を有する評価情報に関連付けられている機器の識別情報を取得する。そして制御部１０１は、当該識別情報を、映像コンテンツで配信する音声データを録音している機器の識別情報としてＳＤＲＡＭ１０３に格納し、本音声選択処理を完了する。
【００６３】
Ｓ６０５で、制御部１０１は、音量が閾値以上である音声データを取得している機器のうち、符号化ビットレートが予め定められたビットレート閾値以上である音声データを取得している機器の数が１以上であるか否かを判断する。具体的には制御部１０１は、音量が閾値以上である音声データを取得している機器を示すテーブルに含まれる機器の識別情報に関連付けられた評価情報を参照し、当該評価情報に含まれる符号化ビットレートの情報を参照する。そして制御部１０１は、符号化ビットレートの評価値が、例えばＲＯＭ１０２に記憶されている予め定められたビットレート閾値以上であるか否かを判断する。制御部１０１は、符号化ビットレートの評価値が閾値以上であると判断した場合は、評価情報に含まれる機器の識別情報を、ＳＤＲＡＭ１０３に記憶されている符号化ビットレートが閾値以上の音声データを取得している機器を示すテーブルに追加する。音量が閾値以上である音声データを取得している全ての機器の評価情報に対して符号化ビットレートの判定をした後、制御部１０１は、符号化ビットレートが閾値以上の音声データを取得している機器を示すテーブルに追加されている機器の数を取得する。制御部１０１は、符号化ビットレートが予め定められたビットレート閾値以上である音声データを取得している機器の数が１以上であると判断した場合は処理をＳ６０７に移し、０であると判断した場合は処理をＳ６０６に移す。
【００６４】
Ｓ６０６で、制御部１０１は、音量が閾値以上の音声データを取得している全ての機器の評価情報を参照し、最も高い符号化ビットレートの評価値を有する評価情報に関連付けられている機器の識別情報を取得する。そして制御部１０１は、当該識別情報を、映像コンテンツで配信する音声データを録音している機器の識別情報としてＳＤＲＡＭ１０３に格納し、本音声選択処理を完了する。
【００６５】
Ｓ６０７で、制御部１０１は、符号化ビットレートが閾値以上である音声データを取得している機器のうち、被写体の顔の向きが正面を向いている割り合いを示す評価値が所定の範囲内である機器の数が１以上であるか否かを判断する。具体的には制御部１０１は、符号化ビットレートが閾値以上である音声データを取得している機器を示すテーブルに含まれる機器の識別情報に関連付けられた評価情報を参照し、評価情報に含まれる被写体の顔の向きが正面を向いている割り合いの情報を参照する。そして制御部１０１は、被写体の顔の向きが正面を向いている割り合いが、例えばＲＯＭ１０２に記憶されている所定の範囲内であるか否かを判断する。制御部１０１は、被写体の顔の向きが正面を向いている割り合いの評価値が所定の範囲内であると判断した場合は、評価情報に含まれる機器の識別情報を、ＳＤＲＡＭ１０３に記憶されている被写体の顔の向きが正面を向いている割り合いが所定の範囲内である機器を示すテーブルに追加する。符号化ビットレートが閾値以上である音声データを取得している全ての機器の評価情報に対して被写体の顔の向きが正面を向いている割り合いの判定をした後、制御部１０１は、被写体の顔の向きが正面を向いている割り合いが所定の範囲内である機器を示すテーブルに追加されている機器の数を取得する。制御部１０１は、被写体の顔の向きが正面を向いている割り合いが所定の範囲内である機器の数が１以上であると判断した場合は処理をＳ６０９に移し、０であると判断した場合は処理をＳ６０８に移す。
【００６６】
Ｓ６０８で、制御部１０１は、符号化ビットレートが閾値以上の音声データを取得している全ての機器の評価情報を参照し、被写体の顔の向きが正面を向いている割り合いの評価値が最も０に近い評価情報に関連付けられている機器の識別情報を取得する。そして制御部１０１は、当該識別情報を、映像コンテンツで配信する音声データを録音している機器の識別情報としてＳＤＲＡＭ１０３に格納し、本音声選択処理を完了する。
【００６７】
Ｓ６０９で、制御部１０１は、被写体の顔の向きが正面を向いている割り合いが所定の範囲内である全ての機器の評価情報を参照し、最も高い転送速度の評価値を有する評価情報に関連付けられている機器の識別情報を取得する。そして制御部１０１は、当該識別情報を、映像コンテンツで配信する音声データを録音している機器の識別情報としてＳＤＲＡＭ１０３に格納し、本音声選択処理を完了する。
【００６８】
このように本音声選択処理を実行することにより、制御部１０１は映像コンテンツで配信する音声データを録音している機器を決定することができる。なお、本実施形態では上述した５種類の評価値について閾値を用いることにより、映像コンテンツで配信する音声データを録音している機器を決定するものとして説明したが、当該決定方法はこれに限られない。映像コンテンツで配信する音声データを録音している機器を決定する条件については任意の条件が設定可能である。制御部１０１は評価値が予め定められた条件を満たす１つの音声データを決定し、当該音声データを録音している機器を映像コンテンツで配信する音声データを録音している機器として決定してもよい。
【００６９】
映像コンテンツで配信する音声データを録音している機器が決定された後、制御部１０１はＳ５０８で、当該決定された機器の識別情報が自機の識別情報と同一であるか否かを判断する。即ち、制御部１０１は、音声処理部１０７から出力された音声データが、映像コンテンツで配信する音声データとして決定されたか否かを判断する。制御部１０１は、映像コンテンツで配信する音声データを録音している機器が自機であると判断した場合は処理をＳ５０９に移し、自機ではないと判断した場合は本特定情報更新処理を完了する。
【００７０】
Ｓ５０９で、制御部１０１は、自機の識別情報を有する特定情報を生成して通信部１０８に伝送し、広域通信網４００を介してサーバ２００に送信させる（特定情報送信）。特定情報は、例えば図１０（ｃ）に示すような情報であってよく、映像コンテンツで配信する音声データを録音している機器の情報をサーバ２００に通知する情報であればよい。なお、本実施形態では音声データを録音している機器の情報を特定情報としてサーバ２００に送信するものとして説明するが、特定情報は映像コンテンツで配信する音声データを直接示す情報であってもよい。
【００７１】
このように生成された特定情報を参照することで、サーバ２００のサーバＣＰＵ２０１は、ＰＣ３００から映像コンテンツの視聴要求を受けた場合に、当該ＰＣ３００に対して配信する音声データを特定情報より認識することができる。
【００７２】
なお、本実施形態では、カメラネットワークに参加している全ての機器において特定情報更新処理を実行し、映像コンテンツで配信する音声データを録音している機器として決定された機器が、特定情報をサーバ２００に送信するものとして説明した。しかしながら、本発明の実施はこれに限らず、カメラネットワークに参加している機器のうち、いずれか１つの機器が特定情報更新処理のＳ５０７までの処理を実行した後に特定情報を作成してサーバ２００に送信する構成であってもよい。いずれか１つの機器は、例えば環境に予め設置されている固定カメラを特定情報更新処理を行うものとして設定してもよいし、転送速度が最も早い機器、あるいは処理リソースに余裕のある機器が都度選択されてもよい。
【００７３】
また、映像コンテンツで配信する音声データを録音している機器として決定された場合、決定された機器で録音している音声データ品質を保持するために、当該機器の表示装置に、ユーザに対する機器の移動を推奨しない旨の通知を表示させてもよい。
【００７４】
＜配信処理＞
次に、このように生成された特定情報を用いて音声データを決定する処理を含む、本実施形態のサーバ２００の配信処理について、図７のフローチャートを用いて具体的な処理を説明する。当該フローチャートに対応する処理は、サーバＣＰＵ２０１が、例えばサーバ記録媒体２０９に記憶されている対応する処理プログラムを読み出し、サーバＳＤＲＡＭ２０３に展開して実行することにより実現することができる。なお、本配信処理は、例えばサーバ２００が起動された際に開始されるものとして説明する。
【００７５】
Ｓ７０１で、サーバＣＰＵ２０１は、クライアント装置（ＰＣ３００）からの映像コンテンツの視聴要求をサーバ通信部２０８が受信したか否かを判断する。本実施形態では、映像コンテンツの視聴要求には、サーバ２００が配信している動画データのうちの１つの動画データを撮影している機器の識別情報が含まれているものとする。サーバＣＰＵ２０１は、視聴要求を受信したと判断した場合は処理をＳ７０２に移し、受信していないと判断した場合は本ステップの処理を繰り返す。
【００７６】
Ｓ７０２で、サーバＣＰＵ２０１は、受信した視聴要求で特定される動画データを撮影している機器が、カメラネットワークに参加している機器であるか否かを判断する。具体的にはサーバＣＰＵ２０１は、カメラネットワークに参加している機器から受信してサーバＳＤＲＡＭ２０３に記憶したカメラネットワーク管理テーブルを参照する。そしてサーバＣＰＵ２０１は、視聴要求で特定される動画データを撮影している機器の識別情報が、当該テーブルに含まれるか否かを判断する。サーバＣＰＵ２０１は、視聴要求で特定される動画データを撮影している機器がカメラネットワークに参加している機器であると判断した場合は処理をＳ７０３に移し、カメラネットワークに参加している機器ではないと判断した場合は処理をＳ７０６に移す。
【００７７】
Ｓ７０３で、サーバＣＰＵ２０１は、視聴要求を送信したクライアント装置に対して、カメラネットワークに参加している機器から受信した動画データを既に配信しているか否かを判断する。本実施形態ではサーバＣＰＵ２０１は、クライアント装置に配信している映像コンテンツの情報を、当該クライアント装置のグローバルＩＰアドレス等の識別情報に関連付けてサーバＳＤＲＡＭ２０３に記憶しているものとする。サーバＣＰＵ２０１は、視聴要求を送信したクライアント装置に対して既にカメラネットワークに参加している機器から受信した動画データを配信していると判断した場合は処理をＳ７０５に移し、配信していないと判断した場合は処理をＳ７０４に移す。
【００７８】
Ｓ７０４で、サーバＣＰＵ２０１は、視聴要求で特定される動画データを撮影している機器から受信している動画データと、カメラネットワークの機器から受信した特定情報で特定される機器から受信した音声データとで構成される配信用の動画ファイルを生成する。即ち、本実施形態でサーバ２００よりＰＣ３００に配信される動画ファイル（映像コンテンツ）は、動画データを撮影した機器と音声データを録音した機器とが異なることがある。なお、本実施形態ではサーバ２００は、カメラネットワークに参加している各機器から動画データと音声データとを別々に受信するものとして説明するが、動画データと音声データとの受信方法は、これに限られない。例えば動画データと音声データとで構成される動画ファイルが、カメラネットワークに参加している１つの機器からサーバ２００に送信されてもよい。この場合、本ステップではサーバＣＰＵ２０１は、視聴要求で特定される動画データを撮影している機器から受信している動画ファイルから音声データを、特定情報で特定される機器から受信した音声データに置き換えた動画ファイルを生成すればよい。
【００７９】
またＳ７０３においてクライアント装置に対して既にカメラネットワークに参加している機器から受信した動画データを配信していると判断した場合、Ｓ７０５でサーバＣＰＵ２０１は、音声データを含まない配信用の動画ファイルを生成する。具体的にはサーバＣＰＵ２０１は、視聴要求で特定される動画データを撮影している機器から受信している動画データを取得し、当該動画データで構成される動画ファイルを生成する。あるいは、サーバＣＰＵ２０１は、当該動画データと無音の音声データとで構成される動画ファイルを生成してもよい。即ち、サーバ２００がクライアント装置に対してカメラネットワークに参加している機器から受信した音声データを配信している場合は、カメラネットワークに参加している他の機器から受信した音声データをさらに配信しない。これにより、クライアント装置において、同一の環境で録音された複数の音声データが再生されないようにし、音ずれによって視聴が阻害されることを回避する。
【００８０】
なお、Ｓ７０２で視聴要求で特定される動画データを撮影している機器がカメラネットワークに参加している機器ではないと判断した場合は、Ｓ７０６でサーバＣＰＵ２０１は、視聴要求で特定される動画データを撮影している機器から受信している動画データと音声データとで構成される配信用の動画ファイルを生成する。
【００８１】
Ｓ７０７で、サーバＣＰＵ２０１は、生成した配信用の動画ファイルをサーバ通信部２０８を介して視聴要求を行なったクライアント装置に対して配信する。
【００８２】
このように、本実施形態のサーバ２００は、クライアント装置からの視聴要求を受けた場合に、当該視聴要求で特定される動画データを撮影している機器がカメラネットワークに参加しているか否かによって、配信する音声データを制御する。即ち、カメラネットワークの参加の有無によって、同一の環境で録音された音声データを重複して配信することにより生じる音ずれの発生を回避する。
【００８３】
なお、本配信処理は特定情報で特定される機器から音声データを受信していることが前提となる。即ち、当該機器がカメラネットワークから離脱した場合、サーバ２００は特定情報で特定される機器から受信した音声データをクライアント装置に配信することができない。このため、カメラネットワークに参加している機器がカメラネットワークから離脱する場合に、特定情報の更新を行う必要がある。
【００８４】
＜カメラネットワーク離脱処理＞
以下では、カメラネットワークに参加している機器が、カメラネットワークから離脱する際に実行される、デジタルカメラ１００のカメラネットワーク離脱処理について、図８のフローチャートを用いて具体的な処理を説明する。当該フローチャートに対応する処理は、制御部１０１が、例えばＲＯＭ１０２に記憶されている対応する処理プログラムを読み出し、ＳＤＲＡＭ１０３に展開して実行することにより実現することができる。
【００８５】
なお、本カメラネットワーク離脱処理は、例えばカメラネットワークに参加しているデジタルカメラ１００が、カメラネットワークに参加している他の機器との距離が所定距離以上離れたと判断された際に開始されるものとして説明する。当該判断は、例えばカメラネットワークに参加している各機器から音声データの評価情報を受信する際に、当該評価情報とともに位置取得部１１２が取得した当該機器の位置情報を送信し、制御部１０１が当該位置情報と自機の位置情報とを比較することにより行う。なお、本実施形態ではカメラネットワーク離脱処理は、デジタルカメラ１００の位置情報を制御部１０１が判断して実行するものとして説明するが、ユーザの離脱指示を受けて処理を開始するものであってもよいことは言うまでもない。
【００８６】
Ｓ８０１で、制御部１０１は、最後に実行した特定情報更新処理において、映像コンテンツで配信する音声データを録音している機器の識別情報が自機の識別情報と同一であると判断されたか否かを判断する。制御部１０１は、映像コンテンツで配信する音声データを録音している機器の識別情報が自機の識別情報と同一であると判断した場合は処理をＳ８０２に移し、同一ではないと判断した場合は処理をＳ８０３に移す。
【００８７】
Ｓ８０２で、制御部１０１は、カメラネットワークに参加している他の機器に対して、特定情報の更新要求のコマンドを送信する（第３の判断、第４の更新）。このとき、デジタルカメラ１００はカメラネットワークから離脱するため、制御部１０１は、カメラネットワーク内の当該デジタルカメラ１００を除く機器で取得された音声データのみを対象として特定情報更新処理の実行を指示する情報を共に送信する。
【００８８】
Ｓ８０３で、制御部１０１は、デジタルカメラ１００がカメラネットワークから離脱したことを示すPull-Outメッセージを、カメラネットワークに参加している他の機器に対して送信する。また制御部１０１は、ＳＤＲＡＭ１０３に記憶されているカメラネットワーク管理テーブルから自機の識別情報を削除し、当該テーブルをサーバ２００及びカメラネットワークに参加している他の機器に対して伝送させ、本カメラネットワーク離脱処理を完了する。
【００８９】
このようにすることで、カメラネットワークからデジタルカメラ１００が離脱したことを、カメラネットワーク内の他の機器、及びサーバ２００に対して知らせることができる。また、デジタルカメラ１００が録音した音声データが、映像コンテンツで配信する音声データであった場合には、当該音声データを除外して、映像コンテンツで配信する１つの音声データを決定するよう、更新要求を送信できる。
【００９０】
なお、本実施形態では、動画撮影機能と音声取得機能とを有するデジタルカメラ１００が取得した動画データ及び音声データを、サーバ２００がクライアント装置に対して配信するものとして説明したが、配信される音声データの取得はこれに限られない。例えば、ＩＣレコーダ等、通信機能を有して音声データの取得のみを行う音声取得装置からアップロードされた音声データを、サーバ２００がクライアント装置に対して配信する構成であってもよい。即ち、上述した特定情報更新処理において取得した音声データの評価情報の比較を行う対象は、同一の環境内でローカルネットワークに参加する全ての音声取得機能を有する機器が含まれてよい。つまり、ローカルネットワーク内において、動画取得機能を有する機器と音声取得機能を有する機器との数は、同数でなくてもよい。
【００９１】
本実施形態では、Ｓ８０２でカメラネットワーク内の当該デジタルカメラ１００を除く機器で取得された音声データのみを対象として特定情報更新処理の実行を指示する情報とともに更新要求が送信されるものとして説明した。しかしながら、例えば離脱するデジタルカメラ１００の識別情報を削除したカメラネットワーク管理テーブルを、カメラネットワーク内の他の機器に送信した後に更新要求を行うことにより、デジタルカメラ１００を対象外として特定情報更新処理を行なってもよい。
【００９２】
なお、本実施形態では、カメラネットワークに参加している機器間の距離を判断し、カメラネットワークから離脱する機器を判断するものとして説明したが、カメラネットワークへの参加についても機器間の距離を判断して行なってもよい。即ち、カメラネットワークに参加している機器と参加していない機器との距離が所定の距離以下になった場合に、当該参加していない機器の制御部１０１がカメラネットワーク参加処理を実行する構成であってもよい。
【００９３】
以上説明したように、本実施形態のコンテンツ配信システムは、動画データの配信時に好適な音声データの提供を低コストで実現することができる。具体的にはコンテンツ配信システムは、同一の環境に存在する複数の動画取得装置及び複数の音声取得装置と、当該複数の動画取得装置及び複数の音声取得装置が取得した複数の動画データ及び複数の音声データを受信し、クライアント装置からの動画データの視聴要求に応じて、複数の音声データのうちの１つの音声データを当該クライアント装置に送信するサーバとを含む。複数の動画取得装置の各々は、環境の被写体を撮像して得られた動画データをサーバに送信する。また複数の音声取得装置の各々は、環境の音声を録音して得られた音声データをサーバに送信するとともに、環境内の他の音声取得装置と各々で得られた音声データ評価値を共有し、評価値が所定の条件を満たす１つの音声データを決定する。そして音声取得装置は、当該決定された１つの音声データを特定する特定情報をサーバに送信し、サーバは動画データの視聴要求をクライアント装置から受信したことに応じて、当該視聴要求に対応する動画データと、特定情報により特定された１つの音声データとを、視聴要求を受信したクライアント装置に対して配信する。
【００９４】
［変形例］
上述した実施形態では、更新要求のコマンドの送信は、例えば動画撮影あるいは録音の開始時、あるいは開始から所定の間隔で定期的に実行される、あるいは新たな機器がカメラネットワークに参加した際に実行されるものとして説明した。しかしながら、更新要求のコマンドの送信は、これに限られるものではない。
【００９５】
例えば、映像コンテンツで配信する１つの音声データが決定された際、当該音声データを録音した機器以外の、カメラネットワークに参加している機器の制御部１０１は、当該音声データについての評価情報を記憶する。そして当該音声データを録音した機器以外の機器の制御部１０１は、定期的に録音した音声データの評価値を取得し、当該評価値が記憶した評価情報が示す評価値を上回ると判断した場合に、更新要求のコマンドを送信するように構成されてもよい（第１の判断、第１の更新）。
【００９６】
またこれに対し、映像コンテンツで配信する１つの音声データを録音した機器の制御部１０１は、当該音声データについての評価情報を記憶する。そして当該音声データを録音した機器の制御部１０１は、定期的に録音した音声データの評価値を取得し、当該評価値が記憶した評価情報が示す評価値を下回ると判断した場合に、更新要求のコマンドを送信するように構成されてもよい（第２の判断、第２の更新）。
【００９７】
このようにすることで、カメラネットワークに参加している機器の制御部１０１は、音声データの取得状態が変化したタイミングを適切に判断して、特定情報の更新を行うことができる。
【００９８】
［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項１】
同一の環境に存在する複数の動画取得装置及び複数の音声取得装置と、当該複数の動画取得装置及び複数の音声取得装置が取得した複数の動画データ及び複数の音声データを受信し、クライアント装置からの前記動画データの視聴要求に応じて、前記複数の音声データのうちの１つの音声データを当該クライアント装置に送信するサーバとを含むコンテンツ配信システムであって、
前記複数の動画取得装置の各々は、
前記環境の被写体を撮像して得られた動画データを前記サーバに送信する動画送信手段を有し、
前記複数の音声取得装置の各々は、
前記環境の音声を録音して得られた音声データを前記サーバに送信する音声送信手段と、
前記得られた音声データの評価値を取得する音声評価手段と、
前記環境内の他の音声取得装置の各々から、当該音声取得装置で取得された評価値を取得する評価取得手段と、
前記環境内の複数の音声取得装置で取得された前記複数の音声データのうち、評価値が所定の条件を満たす１つの音声データを決定し、当該音声データを特定する特定情報を前記サーバに送信する特定情報送信手段と、を有し、
前記サーバは、
前記動画データ、前記音声データ、及び前記特定情報を受信して記憶手段に記憶する受信手段と、
前記記憶手段に記憶された前記動画データの視聴要求をクライアント装置から受信したことに応じて、当該視聴要求に対応する動画データと、前記特定情報により特定された１つの音声データとを、前記視聴要求を受信したクライアント装置に対して配信する配信手段と、を有する
ことを特徴とするコンテンツ配信システム。
【請求項２】
環境の音声を録音して得られた音声データをサーバに送信する音声送信手段と、
前記得られた音声データの評価値を取得する音声評価手段と、
前記環境内の他の音声取得装置の各々から、当該音声取得装置で取得された評価値を取得する評価取得手段と、
前記環境内の複数の音声取得装置の各々で取得された複数の音声データのうち、評価値が所定の条件を満たす１つの音声データを決定し、当該音声データを特定する特定情報を前記サーバに送信する特定情報送信手段と、
を有することを特徴とする音声取得装置。
【請求項３】
前記音声送信手段により得られた音声データが前記評価値が所定の条件を満たす１つの音声データとして決定されなかった場合に、当該１つの音声データの評価値を記憶し、前記音声評価手段により定期的に取得された評価値が前記記憶した評価値を上回るか否かを判断する第１の判断手段と、
前記第１の判断手段により前記音声評価手段により取得された評価値が前記記憶した評価値を上回ると判断された場合に、前記特定情報の更新要求を前記環境内の他の音声取得装置に送信する第１の更新手段と、
をさらに有することを特徴とする請求項２に記載の音声取得装置。
【請求項４】
前記音声送信手段により得られた音声データが前記評価値が所定の条件を満たす１つの音声データとして決定された場合に、当該１つの音声データの評価値を記憶し、前記音声評価手段により定期的に取得された評価値が前記記憶した評価値を下回るか否かを判断する第２の判断手段と、
前記第２の判断手段により前記音声評価手段により取得された評価値が前記記憶した評価値を下回ると判断された場合に、前記特定情報の更新要求を前記環境内の他の音声取得装置に送信する第２の更新手段と、
をさらに有することを特徴とする請求項２または３に記載の音声取得装置。
【請求項５】
前記環境内に存在する他の音声取得装置との間で、ローカルネットワークを構築する構築手段と、
前記ローカルネットワークに参加した際に、前記特定情報の更新要求を当該ローカルネットワーク内の音声取得装置に送信する第３の更新手段と、
をさらに有することを特徴とする請求項２乃至４のいずれか１項に記載の音声取得装置。
【請求項６】
前記ローカルネットワークから離脱するか否かを判断する第３の判断手段と、
前記音声送信手段により得られた音声データが前記評価値が所定の条件を満たす１つの音声データとして決定され、かつ前記第３の判断手段により前記ローカルネットワークから離脱すると判断された場合に、前記ローカルネットワーク内の他の音声取得装置で取得された音声データのみで前記所定の条件を満たす１つの音声データを決定する情報とともに、前記特定情報の更新要求を当該他の音声取得装置に送信する第４の更新手段と、
を有することを特徴とする請求項５に記載の音声取得装置。
【請求項７】
前記音声送信手段により得られた音声データが前記評価値が所定の条件を満たす１つの音声データとして決定された場合に、当該音声取得装置の移動を推奨しない旨の通知を表示させる表示手段をさらに有することを特徴とする請求項２乃至６のいずれか１項に記載の音声取得装置。
【請求項８】
前記音声データの評価値は、音声データの音量、音声データにおける音割れの有無、音声データの符号化ビットレート、及び前記サーバへの音声データの転送速度の少なくともいずれかであることを特徴とする請求項２乃至７のいずれか１項に記載の音声取得装置。
【請求項９】
音声取得装置が動画取得装置を有する撮像装置である場合、前記音声データの評価値は、前記動画取得装置により得られた動画データのフレームにおいて検出された顔が、正面を向いている割り合いを含むこと特徴とする請求項２乃至８のいずれか１項に記載の音声取得装置。
【請求項１０】
前記特定情報送信手段は、評価値が所定の条件を満たす音声データが複数ある場合に、最も評価値が高い音声データを特定する前記特定情報を前記サーバに送信することを特徴とする請求項２乃至９のいずれか１項に記載の音声取得装置。
【請求項１１】
音声取得装置の音声送信手段が、環境の音声を録音して得られた音声データをサーバに送信する音声送信工程と、
前記音声取得装置の音声評価手段が、前記得られた音声データの評価値を取得する音声評価工程と、
前記音声取得装置の評価取得手段が、前記環境内の他の音声取得装置の各々から、当該音声取得装置で取得された評価値を取得する評価取得工程と、
前記音声取得装置の特定情報送信手段が、前記環境内の複数の音声取得装置の各々で取得された複数の音声データのうち、評価値が所定の条件を満たす１つの音声データを決定し、当該音声データを特定する特定情報を前記サーバに送信する特定情報送信工程と、
を有することを特徴とする音声取得装置の制御方法。
【請求項１】
同一の環境に存在する複数の動画取得装置及び複数の音声取得装置と、当該複数の動画取得装置及び複数の音声取得装置が取得した複数の動画データ及び複数の音声データを受信し、クライアント装置からの前記動画データの視聴要求に応じて、前記複数の音声データのうちの１つの音声データを当該クライアント装置に送信するサーバとを含むコンテンツ配信システムであって、
前記複数の動画取得装置の各々は、
前記環境の被写体を撮像して得られた動画データを前記サーバに送信する動画送信手段を有し、
前記複数の音声取得装置の各々は、
前記環境の音声を録音して得られた音声データを前記サーバに送信する音声送信手段と、
前記得られた音声データの評価値を取得する音声評価手段と、
前記環境内の他の音声取得装置の各々から、当該音声取得装置で取得された評価値を取得する評価取得手段と、
前記環境内の複数の音声取得装置で取得された前記複数の音声データのうち、評価値が所定の条件を満たす１つの音声データを決定し、当該音声データを特定する特定情報を前記サーバに送信する特定情報送信手段と、を有し、
前記サーバは、
前記動画データ、前記音声データ、及び前記特定情報を受信して記憶手段に記憶する受信手段と、
前記記憶手段に記憶された前記動画データの視聴要求をクライアント装置から受信したことに応じて、当該視聴要求に対応する動画データと、前記特定情報により特定された１つの音声データとを、前記視聴要求を受信したクライアント装置に対して配信する配信手段と、を有する
ことを特徴とするコンテンツ配信システム。
【請求項２】
環境の音声を録音して得られた音声データをサーバに送信する音声送信手段と、
前記得られた音声データの評価値を取得する音声評価手段と、
前記環境内の他の音声取得装置の各々から、当該音声取得装置で取得された評価値を取得する評価取得手段と、
前記環境内の複数の音声取得装置の各々で取得された複数の音声データのうち、評価値が所定の条件を満たす１つの音声データを決定し、当該音声データを特定する特定情報を前記サーバに送信する特定情報送信手段と、
を有することを特徴とする音声取得装置。
【請求項３】
前記音声送信手段により得られた音声データが前記評価値が所定の条件を満たす１つの音声データとして決定されなかった場合に、当該１つの音声データの評価値を記憶し、前記音声評価手段により定期的に取得された評価値が前記記憶した評価値を上回るか否かを判断する第１の判断手段と、
前記第１の判断手段により前記音声評価手段により取得された評価値が前記記憶した評価値を上回ると判断された場合に、前記特定情報の更新要求を前記環境内の他の音声取得装置に送信する第１の更新手段と、
をさらに有することを特徴とする請求項２に記載の音声取得装置。
【請求項４】
前記音声送信手段により得られた音声データが前記評価値が所定の条件を満たす１つの音声データとして決定された場合に、当該１つの音声データの評価値を記憶し、前記音声評価手段により定期的に取得された評価値が前記記憶した評価値を下回るか否かを判断する第２の判断手段と、
前記第２の判断手段により前記音声評価手段により取得された評価値が前記記憶した評価値を下回ると判断された場合に、前記特定情報の更新要求を前記環境内の他の音声取得装置に送信する第２の更新手段と、
をさらに有することを特徴とする請求項２または３に記載の音声取得装置。
【請求項５】
前記環境内に存在する他の音声取得装置との間で、ローカルネットワークを構築する構築手段と、
前記ローカルネットワークに参加した際に、前記特定情報の更新要求を当該ローカルネットワーク内の音声取得装置に送信する第３の更新手段と、
をさらに有することを特徴とする請求項２乃至４のいずれか１項に記載の音声取得装置。
【請求項６】
前記ローカルネットワークから離脱するか否かを判断する第３の判断手段と、
前記音声送信手段により得られた音声データが前記評価値が所定の条件を満たす１つの音声データとして決定され、かつ前記第３の判断手段により前記ローカルネットワークから離脱すると判断された場合に、前記ローカルネットワーク内の他の音声取得装置で取得された音声データのみで前記所定の条件を満たす１つの音声データを決定する情報とともに、前記特定情報の更新要求を当該他の音声取得装置に送信する第４の更新手段と、
を有することを特徴とする請求項５に記載の音声取得装置。
【請求項７】
前記音声送信手段により得られた音声データが前記評価値が所定の条件を満たす１つの音声データとして決定された場合に、当該音声取得装置の移動を推奨しない旨の通知を表示させる表示手段をさらに有することを特徴とする請求項２乃至６のいずれか１項に記載の音声取得装置。
【請求項８】
前記音声データの評価値は、音声データの音量、音声データにおける音割れの有無、音声データの符号化ビットレート、及び前記サーバへの音声データの転送速度の少なくともいずれかであることを特徴とする請求項２乃至７のいずれか１項に記載の音声取得装置。
【請求項９】
音声取得装置が動画取得装置を有する撮像装置である場合、前記音声データの評価値は、前記動画取得装置により得られた動画データのフレームにおいて検出された顔が、正面を向いている割り合いを含むこと特徴とする請求項２乃至８のいずれか１項に記載の音声取得装置。
【請求項１０】
前記特定情報送信手段は、評価値が所定の条件を満たす音声データが複数ある場合に、最も評価値が高い音声データを特定する前記特定情報を前記サーバに送信することを特徴とする請求項２乃至９のいずれか１項に記載の音声取得装置。
【請求項１１】
音声取得装置の音声送信手段が、環境の音声を録音して得られた音声データをサーバに送信する音声送信工程と、
前記音声取得装置の音声評価手段が、前記得られた音声データの評価値を取得する音声評価工程と、
前記音声取得装置の評価取得手段が、前記環境内の他の音声取得装置の各々から、当該音声取得装置で取得された評価値を取得する評価取得工程と、
前記音声取得装置の特定情報送信手段が、前記環境内の複数の音声取得装置の各々で取得された複数の音声データのうち、評価値が所定の条件を満たす１つの音声データを決定し、当該音声データを特定する特定情報を前記サーバに送信する特定情報送信工程と、
を有することを特徴とする音声取得装置の制御方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１３−８５１１５（Ｐ２０１３−８５１１５Ａ）
【公開日】平成２５年５月９日（２０１３．５．９）
【国際特許分類】
【出願番号】特願２０１１−２２３４５３（Ｐ２０１１−２２３４５３）
【出願日】平成２３年１０月７日（２０１１．１０．７）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年５月９日（２０１３．５．９）
【国際特許分類】
【出願日】平成２３年１０月７日（２０１１．１０．７）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]