視差映像生成システム、視差映像生成方法、映像配信システムおよび映像配信方法
【課題】視差映像を簡易に生成でき、立体映像を手軽に提供できるようにした視差映像生成システムを提供すること。
【解決手段】実施形態によれば、視差映像生成システムは、モバイル端末によりアクセス可能なネットワークを利用する。視差映像生成システムは、収集部と、視差映像データ生成部とを具備する。収集部は、動画撮影機能を備える撮像機付きモバイル端末により取得された映像データをネットワークを介して収集する。視差映像データ生成部は、異なる撮像機付きモバイル端末で取得された映像データに基づいて、収集部により収集された映像データから視差映像を生成する。
【解決手段】実施形態によれば、視差映像生成システムは、モバイル端末によりアクセス可能なネットワークを利用する。視差映像生成システムは、収集部と、視差映像データ生成部とを具備する。収集部は、動画撮影機能を備える撮像機付きモバイル端末により取得された映像データをネットワークを介して収集する。視差映像データ生成部は、異なる撮像機付きモバイル端末で取得された映像データに基づいて、収集部により収集された映像データから視差映像を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、例えばＩＰネットワークを介してライブ映像のストリーム配信あるいは動画像コンテンツのVideo on demand （ＶＯＤ）配信などを実現する映像配信システムと、この種のシステムに適用可能な視差映像生成システムおよび方法に関する。
【背景技術】
【０００２】
近年ではインターネットに繋がれた端末でテレビ放送を視聴することができる。この種の映像配信システムでは、予め用意されたコンテンツの放送だけでなく、スタジアムや競技場などで行われるスポーツや、コンサートのライブ中継なども実施されるようになってきている。
【０００３】
Internet Protocol（ＩＰ）ネットワークなどの媒体を介して視聴者にビデオストリームを配信する、いわゆるIP Television（ＩＰＴＶ）サービスが知られている。例えばIP-Video on Demand（ＩＰ−ＶＯＤ）、あるいは地上Ｄ−ＩＰ再送信などの技術が知られている。近年ではIntegrated Services Digital Broadcasting − Terrestrial（ＩＳＤＢ−Ｔ）に準拠するワンセグサービスを利用するユーザも多い。
【０００４】
さらに、動画共有サイトを介してユーザ間で映像コンテンツを共有するシステムも構築されている。この種のシステムでは、投稿者からサーバにアップロードされた映像コンテンツをインターネット上に公開できるようになっている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特表２０１１−５１９１９２号公報
【特許文献２】特開２０１０−９８７２０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、立体映像の生成に関する技術開発が盛んである。シーンを高精細かつ多角的・多面的に捉えた映像を加工・画像処理することで、視聴者に３次元（３Ｄ）の立体的な映像を提供することができる。この技術は映像配信システムでも用いられ、例えばスポーツのダイナミックな動作やゴールシーンといった瞬間的・決定的な映像が３Ｄ化され、魅力的な映像コンテンツとして放映・配信されるようになってきている。
【０００７】
３次元（３Ｄ）映像を視聴者に提供するための方式には、例えば特殊ディスプレイによる方式や、特殊偏光メガネを用いる方式など、いくつかの標準が策定されつつある。しかしながらいずれの方式においても基本となる技術そのものは、複眼視による撮影、または擬似映像の生成により得られる視差映像を利用することである。
【０００８】
同じ対象を複数の異なる視点から撮影した画像（フレーム）を視差画像と称する。視差映像は複数の視差画像を時系列で配列して得られる動画像であり、３Ｄ映像はその一つの形態である。
映像コンテンツのストリーム配信は、放映権を獲得したテレビ局がその全てを賄ってきた。インターネットの爆発的普及とアクセス端末の高機能化に伴って映像のストリーミング配信は当然のように行われるようになったが、３Ｄ映像の生成や配信に関しては、放映権を獲得したテレビ局が独占的に実施している状況にある。
【０００９】
一方、近年のわが国ではほぼ全ての人が携帯電話端末を所有しており、その数が飽和状態となるほどに携帯電話端末は普及している。機能の面でも高機能化が著しく、音声通話、メール送受信、インターネットアクセスといった基本的機能に加えて、ディジタルカメラ機能・ディジタルビデオ機能を実装する端末も今や普通である。さらには、ＧＰＳ（Global Positioning System）により自らの位置情報を取得したり、ジャイロセンサなどを備えるものもある。そこで、このような端末の諸機能を利用すれば、テレビ局に頼らずに視差映像を生成して３Ｄ映像を視聴者に配信し得る可能性があるが、そのような技術は未だ知られていない。
目的は、視差映像を簡易に生成でき、これにより立体映像を手軽に提供できるようにした視差映像生成システム、視差映像生成方法、映像配信システムおよび映像配信方法を提供することにある。
【課題を解決するための手段】
【００１０】
実施形態によれば、視差映像生成システムは、モバイル端末によりアクセス可能なネットワークを利用する。視差映像生成システムは、収集部と、視差映像データ生成部とを具備する。収集部は、動画撮影機能を備える撮像機付きモバイル端末により取得された映像データをネットワークを介して収集する。視差映像データ生成部は、異なる撮像機付きモバイル端末で取得された映像データに基づいて、収集部により収集された映像データから視差映像を生成する。
【図面の簡単な説明】
【００１１】
【図１】第１の実施形態に係わる映像配信システムの一例を示すシステム図。
【図２】視差画像について説明するための図。
【図３】第１の実施形態に係わる視差映像生成システムの一例を示す機能ブロック図。
【図４】複数のモバイル端末による視点を示す模式図。
【図５】フレームのグループ化に必要な情報を説明するための模式図。
【図６】映像データの収集から配信用コンテンツの生成までの手順を概略的に示す模式図。
【図７】モバイル端末を映像配信システムに登録するための手順を示すシーケンス図。
【図８】第１の実施形態に関わる映像配信システムがモバイル端末からストリームデータを受信する際の手順を示すシーケンス図。
【図９】視差映像の生成に関わる手順を示すシーケンス図。
【図１０】それぞれの画像フレーム情報から映像コンテンツを生成するための手順を示すシーケンス図。
【図１１】第１の実施形態における映像コンテンツの配信に関わる部分を示すシステム図。
【図１２】第１の実施形態に係わる視差映像生成システムの要部を示す機能ブロック図。
【図１３】第１の実施形態における映像配信に関わる手順を示すシーケンス図。
【図１４】視差映像の生成に係わる第２の実施形態を説明するための図。
【図１５】視差映像の生成に係わる第３の実施形態を説明するための図。
【発明を実施するための形態】
【００１２】
［第１の実施形態］
図１は、第１の実施形態に係わる映像配信システムの一例を示すシステム図である。図１に示されるシステムは、インターネットに代表されるＩＰネットワーク（IP Network）１を利用するシステムである。ＩＰネットワーク１としては他にも、Virtual Private Network （ＶＰＮ）技術を応用した専用ネットワークなどがある。
【００１３】
ＩＰネットワーク１はモバイル端末によりアクセス可能なネットワークである。第１の実施形態ではモバイル端末の一例として、インターネットアクセス機能を備えるモバイル端末ａ，ｂ，ｃ，ｄ，ｅを想定する。モバイル端末ａ，ｂ，ｃ，ｄ，ｅとしてはセルラフォン端末、Personal Handy-phone System（ＰＨＳ）端末、（Personal Digital Assistants）ＰＤＡ端末、ＰＤＣ（Personal Digital Cellular）端末、スマートフォン、モバイルパソコンなどが挙げられる。
【００１４】
モバイル端末ａ，ｂ，ｃ，ｄ，ｅは動画撮影機能を備え、保持するユーザの操作に応じて、あるいは事前の設定などにより、撮影した映像データをＩＰネットワーク１に送信する。なお映像データには音声を含んでも良い。
またモバイル端末ａ，ｂ，ｃ，ｄ，ｅは、ＧＰＳを利用して自らの位置を測位する機能を備える。この種の機能は近年では多くのモバイル端末に搭載されており、例えばこの測位機能と、ＩＰネットワーク１に備わる地図データベースとを連携させることにより、ナビゲーションアプリを利用ことができる。モバイル端末ａ，ｂ，ｃ，ｄ，ｅは位置情報に加えて時刻情報も取得する。すなわちモバイル端末ａ，ｂ，ｃ，ｄ，ｅは測位衛星としてのＧＰＳ衛星から到達する電波を用いて、位置情報および時刻情報を算出する測位処理部を備える。
【００１５】
モバイル端末ａ，ｂ，ｃ，ｄ，ｅは撮影した映像データと併せて、映像データの撮影時刻と撮影位置とをＩＰネットワーク１に送信する。撮影時刻、撮影位置ともに、ＧＰＳで取得された時刻情報、位置情報を反映するデータである。具体的にはモバイル端末ａ，ｂ，ｃ，ｄ，ｅは、映像データに含まれるフレームごとの撮影時刻と撮影位置とをＩＰネットワーク１に送信する。フレームの撮影時刻と撮影位置とは各フレームごとに対応付けられるデータであり、この種のデータを位置・時刻情報と称することにする。
【００１６】
ＩＰネットワーク１には、セッション・チケット管理部１００、データストレージ部２００、メディア変換部３００、およびストリーミング配信部４００が接続される。セッション・チケット管理部１００、データストレージ部２００、メディア変換部３００、およびストリーミング配信部４００はそれぞれ個別に複数のコンピュータに実装されても良いし、同じコンピュータデバイスに複数の処理機能として実装されても良い。
【００１７】
モバイル端末ａ，ｂ，ｃ，ｄ，ｅから送信された映像データおよび位置・時刻情報はデータストレージ部２００に蓄積される。すなわちデータストレージ部２００は、映像情報と位置・時刻情報とを蓄積する。
メディア変換部３００は、データストレージ部２００に蓄積されたメディアデータ（映像、音声、画像の各データ）を、映像情報／位置・時刻情報に基づいて、ＩＰネットワーク１を介して配信可能なフォーマット、および、受信側で視聴可能なフォーマットに変換する。この変換処理を経て生成された配信用のデータは、ストリーミング配信部４００によりＩＰネットワーク１を介して視聴者に向け配信される。すなわち配信用データは、ＩＰネットワーク１に接続されるパーソナルコンピュータ（ＰＣ）４、ＩＰテレビジョン端末（ＩＰＴＶ）５、セットトップボックス（ＳＴＢ）６などに配信される。
【００１８】
システム全体に係わる管理、制御はセッション・チケット管理部１００により実施される。セッション・チケット管理部１００は、システムへの参加を要求するクライアントの認証処理を実施し、要求元のクライアントへのサービスの提供の可否を判定する。またセッション・チケット管理部１００は、モバイル端末ａ，ｂ，ｃ，ｄ，ｅから送信された映像データをＩＰネットワーク１経由で収集し、データストレージ部２００に蓄積するための制御なども行う。
【００１９】
上記構成を基礎としてこの第１の実施形態では、各モバイル端末が備えるインターネットアクセス機能、動画撮影機能、および測位機能と、システム側に設けられるセッション・チケット管理部１００、データストレージ部２００、およびメディア変換部３００とを有機的に機能させ、視差映像を簡易的に生成、配信可能とする手法につき説明する。
【００２０】
図２は、視差画像について説明するための図である。立体的な映像のもとになる視差映像を生成するためには、複数の視差画像（フレーム）が必要である。視差画像は図２に示されるように、同じ対象物を複数の異なる視点から見た画像に差分が在ることにより得られる。この第１の実施形態では、この複数の視点をモバイル端末の動画撮影機能で代替することで、いわば観客の参加によるかたちでの視差映像の生成を実現する。
【００２１】
図３は、第１の実施形態に係わる視差映像生成システムの一例を示す機能ブロック図である。図３のシステムは図１のセッション・チケット管理部１００、データストレージ部２００、メディア変換部３００の機能を共通のサーバに実装したものとして捉えることが可能であり、このサーバをシステムサーバと称して参照符号５００を付して示す。
【００２２】
データストレージ部２００は、図１に示される動画撮影機能付きのモバイル端末ａ，ｂ，ｃ，ｄ，ｅにより取得された映像データをＩＰネットワーク１を介して収集する収集部としての機能の一部を担う。メディア変換部３００は、収集部により収集された映像データから視差映像を生成する視差映像データ生成部としての機能の一部を担う。視差映像は、異なるモバイル端末で既定の時間内に近接する時刻に取得された画像フレームを含む映像データに基づいて生成される。例えば別々のモバイル端末で同時刻に撮影された二つの画像フレームの相関性が高ければ、これらのフレームから立体画像を生成することができる。
【００２３】
［同時刻］は本実施形態では［既定の時間内に近接する時刻］を含む。実施形態では物理的に同じ瞬間を意味する同時刻だけでなく、誤差を含めた或る程度の時間的な広がりも、視差映像を生成するうえで支障の無い範囲での同時刻として取り扱う。
例えば一般的なTV放送では１秒間に約３０枚の画像フレームが表示される。本技術分野ではこれを３０ｆｐｓ（Frame Per Second）と表す。これは映像の時間分解能と捉えられる量である。
例えば３０ｆｐｓの処理能力を持つモバイル端末では、ある静止画像 Picture(n)と次のPicture(n+1)との間の時間間隔は１／３０［秒］すなわち０．０３３３３３...秒であり、およそ３０ｍｓｅｃ［ミリ秒］となる。この１／２の１５ミリ秒以内の時間差であれば許容範囲内と判断し、視差映像の生成に支障は無いものとして、システムは同時刻として取り扱うようにしても良い。
【００２４】
もちろん実施形態における技術思想は上記数値に限定されるものではない。３０ｍｓｅｃの１／４あるいは１／８であっても精度は向上するので、却って好都合である。モバイル端末のスペックによっては６０ｆｐｓで処理するもの、あるいは逆に１５ｆｐｓで処理するものもあり、実施形態ではこのような違いを吸収する手法についても開示する。
【００２５】
システムサーバ５００は、受信データ処理部５０１、端末情報登録部５０２、映像データ分析部５０３、位置時刻管理部５０４、映像データ処理部５０５、相関処理部５０６、視差映像生成部５０７、エンコード部５０８、ファイルフォーマット部５０９、セグメンテーション部５１０、および、送信データ処理部５１１を備える。このうち受信データ処理部５０１、送信データ処理部５１１はＩＰネットワーク１に接続され、データの送受信に関わるインタフェース機能を担う。例えば受信データ処理部５０１はモバイル端末から送られてくるストリームデータ（映像データを含む）の受信処理に関わる処理を行う。送信データ処理部５１１はモバイル端末に向けライセンス、チケット情報データなどを送信するための処理を行う。
【００２６】
端末情報登録部５０２は、モバイル端末を含むクライアントから端末情報（例えばユーザＩＤ、パスワード、ＭＡＣアドレス、サポート可能な画像処理方式、画像処理能力、ｆｐｓベースでの処理スペックなどの情報）を収集し、これらの情報をシステムに登録するとともにデータベースＤＢに蓄積する。収集される情報には、画像データのデコードあるいはエンコードの際に必要になるパラメータ情報も含まれる。
【００２７】
また端末情報登録部５０２は、登録された内容に基づいて、各クライアントへのライセンス・チケットなどを発行するための処理も行う。なお登録の際にモバイル端末との間で授受された情報のいくつかは、内部データベース（ＤＢ）、またはシステム外部のデータベースに蓄積される。
【００２８】
映像データ分析部５０３は、モバイル端末から受信した映像データをモバイル端末から事前に得られた情報に基づき分析する。モバイル端末から事前に得られた情報をここではモバイル端末情報と称し、上記ユーザＩＤ、パスワード、ＭＡＣアドレス、サポート可能な画像処理方式のほか、ここでは、例えば対応可能な画像エンコード・デコード方式、画面サイズ、単位時間当たりのフレーム数などである。これらの情報は端末情報登録部５０２により取得されてデータベースＤＢに蓄積されている。映像データ処理部５０５は映像データをデコードし、１枚１枚のフレームとして扱えるように処理する。すなわち映像データ処理部５０５は、モバイル端末の動画撮影機能で録画（取得）される映像の特性を示すパラメータ情報に基づいて映像データをデコードし、映像データから個々の画像フレームを復元する。
【００２９】
なお、ここで必要となるパラメータ情報は、モバイル端末のキャリアにより予め公開されているケースがある。このようなケースでは例えば機種名称、電話番号、ＭＡＣアドレスなどをキーとする問い合わせにより、必要な端末情報を公開されたデータベースから取得することが可能である。
【００３０】
位置時刻管理部５０４は、映像データを撮影した際のモバイル端末の位置情報および絶対時刻情報、すなわち位置・時刻情報を管理する。すなわち位置時刻管理部５０４は、モバイル端末からＩＰネットワーク１を介して送信されてくるストリームデータから抽出された位置・時刻情報を、データストレージ部２００（図１）に記録するための処理などを行う。
【００３１】
位置情報、絶対時刻情報のいずれもＧＰＳを介して取得される位置・時刻情報であり、画像フレームに付随するデータとして位置づけられる。このデータも映像データとともにデータベースＤＢに蓄積される。つまり各モバイル端末は映像データの撮影時に、その撮影時刻、詳しくは各フレームの撮影時刻と撮影位置とをＧＰＳ測位機能を用いて取得し、フレームごとに撮影位置情報、撮影時刻情報を対応付けて記録する。
【００３２】
相関処理部５０６は、画像データ、およびその取得位置情報／絶対時刻情報に基づいて個々のフレーム間の相関性を検出する。この処理によりフレーム間の相関値が算出され、その値と既定の閾値との比較に基づいて、相関処理部５０６は、閾値以上の相関値を示すフレーム群をグルーピングする。すなわち相関処理部５０６は、既定の距離内および既定の時間内で撮影されたフレーム、例えば近い位置で同時刻に異なるモバイル端末で撮影されたフレームのうち互いの相関値が既定の閾値以上のフレーム群を一纏まりのグループとし、複数のグループを生成する。
【００３３】
視差映像生成部５０７は視差映像を生成する。すなわち視差映像生成部５０７は、上記グループにそれぞれ含まれる画像フレームを時刻情報に基づいて時系列で配列して視差映像を生成する。その際、視差映像生成部５０７は、端末情報に示される対応画像処理方式なども参照し、フレーム群の各フレームを処理、集約する。
【００３４】
エンコード部５０８は、生成された視差映像を、モバイル端末から取得した符号化方式・メディアなどの映像パラメータ情報に基づいて符号化する。ファイルフォーマット部５０９は、符号化された映像データをファイルとして生成する。生成されたファイルはビデオコンテンツ（Video Content）としてデータストレージ部２００などに蓄積される。セグメンテーション部５１０は、符号化された映像データを、ライブ配信（ストリーム配信）のためのピースブロックとして生成する。ピースブロックＰ０１，Ｐ０２，…はデータストレージ部２００などに蓄積される。
【００３５】
ここで、視差映像の生成について説明する。視差映像を生成するための最初の手順として、まず、複数の視点がそれぞれどのような対象物を撮影しているかをマシンにより認知し、判断する必要がある。
図４は、複数のモバイル端末による視点を示す模式図である。図４には、視差映像生成のための選定（グルーピング）スキームが模式的に示される。図４には３台のモバイル端末ａ，ｂ，ｃが示され、このうちモバイル端末ａ，ｂはシュートするプレーヤを撮影対象としており、モバイル端末ｃはゴールを守るキーパーを撮影対象としている。このようなケースでは、互いに同じ対象を撮影しているモバイル端末ａ，ｂからの映像データには高い相関性のあることが見込まれる。一方、異なる対象を撮影しているモバイル端末ａ，ｃ、あるいはモバイル端末ｂ，ｃからの映像データの相関性は低くなる。第１の実施形態ではこの知識を用いて、それぞれ相関が高い映像同士をグループ化して取り扱う。
【００３６】
図５は、フレームのグループ化に必要な情報を説明するための模式図である。図５には視差映像生成のための伝送データ例が示される。複数のフレームをグループ化するためには、図５に示される各モバイル端末で取得された映像データ（フレーム）は当然のことながら、それぞれのモバイル端末の絶対位置情報と絶対時刻情報とが必要となる。
絶対時刻情報はフレーム間の同期を取るために必要になる。絶対位置情報と絶対時刻情報とのいずれも各モバイル端末においてＧＰＳにより取得され、位置・時刻情報として映像データとともにシステムに送信される。
【００３７】
第１の実施形態では位置情報を（Ｘ，Ｙ，Ｚ）の３次元座標で示し、時刻情報をｔで示す。位置情報には端末ごとのインデックスを付し、合わせて４次元の情報を取り扱う。例えばモバイル端末で時刻ｔにおいて撮影された映像データには、（Ｘａ，Ｙａ，Ｚａ，ｔ）なる位置・時刻情報が付随することになる。
【００３８】
図６は、映像データの収集から配信用コンテンツの生成までの手順を概略的に示す模式図である。例えばそれぞれ位置・時刻情報（Ｘａ，Ｙａ，Ｚａ，ｔ）、（Ｘｂ，Ｙｂ，Ｚｂ，ｔ）を持つ複数の映像データ（フレーム）を比較し、互いの相関性が高い場合には概ねＸａ≒Ｘｂ，Ｙａ≒Ｙｂ，Ｚａ≒Ｚｂが成立する。
【００３９】
つまりこれらのフレームは、既定の距離内に存在するモバイル端末で同時刻ｔに撮影されたものである。そのようなフレームが見つかればシステムはそれらをグループ化し、視差映像として順次蓄積する。そして蓄積されたデータを視聴者が視聴可能なエンコード方式・ファイルフォーマット形式に変換し、コンテンツとしてデータストレージ部２００に保存する。または、ライブストリーミング用のデータとしてセグメンテーション化し、同様に保存する。次に、第１の実施形態における作用を説明する。
【００４０】
図７は、モバイル端末をシステムに登録するための手順を示すシーケンス図である。ユーザはシステムへの登録により、自らの所有するモバイル端末を用いた映像データの撮影・送信／３Ｄ映像の受信に係わる意思表示を行う。
モバイル端末は、まず、システムに向けモバイル端末情報を送信する。送信されたモバイル端末情報は受信データ処理部５０１により受信される。モバイル端末情報とは、大別して２つの情報を含む。一方は＜録画映像＞であり、これは、当該モバイル端末に備わる動画撮影機能（ディジタルビデオカメラ）で取得される映像の特性（パラメータ）情報を示す。このパラメータ情報には取得映像の符号化方式、画面サイズ、メディアのビットレートなどがある。
【００４１】
他方は＜視聴映像＞であり、これは、当該モバイル端末（あるいは視聴を要求するクライアント）で視聴可能な（サポートされている）映像の特性（パラメータ）情報を示す。である。このパラメータ情報には対応符号化方式（Ｈ．２３４、ＭＰＥＧ２、ＭＰＥＧ４など）、対応画面サイズ、対応ビットレート、対応３Ｄ方式などがある。
【００４２】
図７において、モバイル端末から送信された［モバイル端末情報］は図３の受信データ処理部５０１により受信される。受信データ処理部５０１は受信した情報を［モバイル端末情報］として認識すると、この［モバイル端末情報］を端末情報登録部５０２に渡す。端末情報登録部５０２は［モバイル端末情報］をデータベースＤＢに登録し、ライセンス、チケットなどの情報を生成する。生成された情報は端末情報登録部５０２から送信データ処理部５１１を介して、宛先のモバイル端末に通知される。
ライセンス、チケットとは電子的なデータであり、映像ストリームデータなどの送付先に関する情報、映像を視聴する際の配信要求先、またはその配信要求先を問い合わせるための問い合わせ先に関する情報などを含む。
【００４３】
なお、図７に示されるシーケンスは映像データの撮影と視差映像の視聴とを同じモバイル端末で視聴することを前提として記載されているが、視聴可能な端末を、映像を撮影した端末だけに限る必要はない。つまり映像データの提供に関わらない端末において３Ｄ映像の配信を受けられるようにすることも可能である。要するにモバイル端末での＜映像情報＞と、登録に伴い発行されるライセンス・チケットなどの払い出しの関係が成立すれば、視聴そのものはモバイル端末に限らず、撮影機能を持たない一般のクライアント端末で行うことが可能である。
【００４４】
図８は、第１の実施形態におけるシステムがモバイル端末からストリームデータを受信する際の手順を示すシーケンス図である。図８には、図７のシーケンスが完了し端末情報の登録を済ませたモバイル端末から送付されるストリームデータを、システムが受信する際の手順が示される。ストリームデータとは個々のモバイル端末で取得された映像データ情報と、その撮影位置情報および撮影時刻情報（位置・時刻情報）を含むデータである。映像データの一例としては例えば図５に示される、視差映像生成のための元になる伝送データである。
【００４５】
図８において、モバイル端末から送信されたストリームデータは受信データ処理部５０１において受信される。受信データ処理部５０１は受信したデータをストリームデータとして認識すると、ストリームデータから＜録画映像データ＞を抽出して映像データ分析部５０３に渡し、＜位置・時刻情報＞を抽出して位置時刻管理部５０４に渡す。すなわち受信データ処理部５０１は、録画データと、各フレームに付随する撮影位置および撮影時刻をストリームデータから抽出する。
【００４６】
＜録画映像データ＞を受信した映像データ分析部５０３は、当該モバイル端末で撮影された映像のパラメータ情報を用いて＜録画映像データ＞に対する一時処理を施す。パラメータ情報は符号化方式やメディアのメタ情報などであり、ＤＢに予め登録され管理されている。一時処理には例えば画面サイズの調整などがあり、処理後の一次処理録画映像データは映像データ処理部５０５に渡される。
【００４７】
映像データ処理部５０５は一次処理録画映像データをデコード処理し、フレームレートの調整およびタイミング調整を施して、１枚の画像フレームを構成するフレームデータを生成する。このフレームデータは相関処理部５０６に渡される。この相関処理部５０６には、フレームデータに対応する位置・時刻情報が位置時刻管理部５０４から与えられる。フレームデータと位置・時刻情報とが与えられることで、相関処理部５０６は、同時刻において取得された各モバイル端末からの画像データを取得することになる。これらの情報を用いて相関処理部５０６はフレーム間の相関を取る。
【００４８】
図９は視差映像の生成に関わる手順を示すシーケンス図である。図９には、同時刻において撮影された各モバイル端末からの画像データが相関処理部５０６に入力されたのち、視差映像が生成されるまでのシーケンスが示される。
【００４９】
図９において、映像データ処理部５０５により生成されたフレームデータおよび位置・時刻情報は、相関処理部５０６に入力される。相関処理部５０６は相関算出処理を実行し、同時刻のフレームの組み合わせごとに相関値を算出する。相関算出アルゴリズムとしては画素相関アルゴリズム、輝度相関アルゴリズム、あるいは周波数領域に変換してからの相互相関アルゴリズムなどを適用できる。
【００５０】
例えば相関処理部５０６は、複数のフレームのうち画素相関アルゴリズム、輝度相関アルゴリズム、および、輝度値を周波数領域に変換したのちの相互相関アルゴリズム、のいずれかのアルゴリズムに基づき算出された相関値が既定の閾値以上のフレーム群をグループ化する。このほか、およそ符号化方式、画像認識方式、画像処理方式で適用・応用・研究検討されてきたさまざまな手法を用いることが可能である。
【００５１】
次に相関処理部５０６は、算出された相関値を既定の閾値と比較し、閾値以上の相関性を示すフレーム同士をグループ化する。視差映像生成のための選定（グルーピング）スキームは図４において既に示される。すなわち相関処理部５０６は、位置時刻管理部５０４やデータベースＤＢにデータとしての位置・時刻情報をフレームごとに参照し、既定の距離内、および同時刻として許容される時間範囲内で撮影されたフレームのうち、互いの相関値が既定の閾値以上のフレーム群をグループ化する。
【００５２】
グループ化処理を経たのち、［グループ化したフレームデータ］と［位置・時刻情報］とが視差映像生成部５０７に渡される。視差映像生成部５０７はこの［グループ化したフレームデータ］と［位置・時刻情報］とを用いて視差フレームを生成する。その際、視差映像生成部５０７は、位置情報データと、ＤＢから取得した＜視聴映像＞の３Ｄ対応方式の情報とを視差フレームの生成基準とする。
【００５３】
３Ｄ対応方式には、右目用・左目用の２枚の画像フレームを用いる「平行法」や「交差法」を技術ベースとするものや、特殊な偏光グラスを着用することで実現する方式などがある。今後あらたな標準が策定されたとしても、ＤＢに登録された情報を参照して視差映像生成部５０７の機能を拡張すれば柔軟に対応可能である。視差フレームデータの生成後、この［視差フレームデータ］と［時刻情報データ］とがエンコード部５０８に渡される。
【００５４】
図１０は、第１の実施形態において、それぞれの画像フレーム情報から映像コンテンツを生成するための手順を示すシーケンス図である。図９のシーケンスに引き続き、［視差フレームデータ］と［時刻情報データ］とを渡されたエンコード部５０８は、ＤＢから取得した＜視聴映像＞の符号化方式やメディアのメタ情報に基づいて符号化した映像を生成する。符号化済みのデータ、すなわち視差映像データはファイルフォーマット部５０９またはセグメンテーション部５１０、あるいはその双方に渡される。これは、最終的に符号化済みのデータをコンテンツファイルとするか、Video on Demand（ＶＯＤ）によるライブ配信用途のピースデータとするか、またはその両方を行うかに応じて制御される。以上の作用により、複数のモバイル端末で撮影された画像データから立体映像コンテンツが生成される。次に、生成された立体映像コンテンツの配信につき説明する。
【００５５】
図１１は、第１の実施形態における映像コンテンツの配信に関わる部分を示すシステム図である。図１に対応させた場合、図１のストリーミング配信部４００は図１１に示すように、例えば複数の配信サーバ４ａ，４ｂ，４ｃを備える。各配信サーバ４ａ，４ｂ，４ｃはそれぞれ異なる画像エンコード方式に対応する（それぞれＡ方式，Ｂ方式，Ｃ方式とする）。どのコンテンツ（あるいはストリーム）をどの配信サーバで送出するかは、配信サーバ管理部６００により制御される。
【００５６】
図１２は、第１の実施形態に係わる視差映像生成システムの要部を示す機能ブロック図である。図１２のシステムは図１のセッション・チケット管理部１００、ストリーミング配信部４００の機能を共通のサーバに実装したものとして捉えることが可能である。ここでは図３のシステムサーバ５００にその機能を実装するとする。
【００５７】
図１２においてシステムサーバ５００は、受信データ処理部５０１、ライセンス・チケット情報取得部５１２、配信サーバ情報取得部５１３、配信サーバ問い合わせ部５１４、配信サーバ確定部５１５、送信データ処理部５１１、および、ストリーミング配信部４００を備える。このうちストリーミング配信部４００は配信サーバ４ａ，４ｂ，４ｃ，４ｄを備える。配信サーバ４ａ，４ｂ，４ｃ，４ｄは予めデータベースＤＢに、その対応方式の情報とともに登録される。
【００５８】
ライセンス・チケット情報取得部５１２は、アクセス元の端末（モバイル端末、固定端末（ＰＣなど）を含む）に対する認証（Authentication）処理を行う。すなわちライセンス・チケット情報取得部５１２は、アクセス元の端末から送信されたライセンス、チケットなどの情報をデータベースＤＢにおける登録内容と照らし合わせ、その正当性を検証する。
【００５９】
配信サーバ情報取得部５１３は、データベースＤＢを検索して、配信すべきコンテンツ（あるいはストリーム）に対応する方式をサポートする配信サーバを配信サーバ４ａ，４ｂ，４ｃ，４ｄのうちから見い出す。配信サーバ問い合わせ部５１４は、配信サーバ４ａ，４ｂ，４ｃ，４ｄに対して現在の状況（standby/busy、Session可能数など）を問い合わせる。この問い合わせに対しては配信サーバ４ａ，４ｂ，４ｃ，４ｄに限らず、その代理サーバ（Proxy）が応答するようにしても良い。配信サーバ確定部５１５は、映像データの要求元クライアント（モバイル端末、他端末など）への映像配信に最適な配信サーバを決定する。
図１２、および次の図１３においては、ライセンスやチケットなどの情報が、映像を直接視聴する配信要求元ではなく、その配信要求元を問い合わせるための問い合わせ先に関する情報である場合が想定される。これによれば他端末からの配信要求にも応えることが可能になる。
【００６０】
図１３は、第１の実施形態における映像配信に関わる手順を示すシーケンス図である。図１３には、立体映像の配信を要求するクライアントが、適した配信サーバにアクセスするための情報を得るための手順が示される。
図１３において、配信要求元のモバイル端末や他端末から送信された［ライセンス、チケットなどの情報］は、受信データ処理部５１１により受信される。受信データ処理部５１１は［ライセンス、チケットなどの情報］を認識すると、この［ライセンス、チケットなどの情報］をライセンス・チケット情報取得部５１２に渡す。
【００６１】
ライセンス・チケット情報取得部５１２は、受信データ処理部５１１から送付された［ライセンス、チケットなどの情報］が信頼・承認できるものであるか否かを検証する。この処理に際してはデータベースＤＢにおける登録内容が参照される。［ライセンス、チケットなどの情報］が改竄されたもの、不正入手されたもの、また、ライセンスやチケットそのものは正当なものであるが、例えば視聴有効期限が過ぎていたものなどの理由により信頼・承認できないものであると判断されれば、処理はここで停止される。あるいは、配信要求を拒否する旨、［ライセンス、チケットなどの情報］が信頼・承認できないものである旨を配信要求元に通知したうえで処理を停止するようにしても良い。
【００６２】
［ライセンス、チケットなどの情報］が信頼・承認できるものであれば、その旨がライセンス・チケット情報取得部５１２により認識される。そしてライセンス・チケット情報取得部５１２は、承認した要求元の端末に適する３Ｄ対応方式の情報をデータベースＤＢから取り出し、配信サーバ情報取得部５１３に渡す。
【００６３】
配信サーバ情報取得部５１３は、この対応方式の状況をキーインデックスとしてデータベースＤＢを検索し、登録された配信サーバのうち当該対応方式をサポートする配信サーバを特定する。そうして配信サーバ情報取得部５１３は、特定した配信サーバを一意に識別できる情報、例えばUniform Resource Locator （ＵＲＬ）やＩＰアドレスなどの情報を［問い合わせ先の情報］として取得する。
【００６４】
配信サーバ情報取得部５１３は、取得した［問い合わせ先の情報］を配信サーバ問い合わせ部５１４に渡す。配信サーバ問い合わせ部５１４はこの［問い合わせ先の情報］を元に［問い合わせ要求］を各配信サーバに送付する。これに対する問い合わせ応答は、各配信サーバから配信サーバ問い合わせ部５１４に返送される。配信サーバ問い合わせ部５１４は、各配信サーバからの問い合わせ応答をまとめ、［問い合わせ先の情報］と［問い合わせ応答結果］とを配信サーバ確定部５１５に渡す。
【００６５】
配信サーバ確定部５１５は各配信サーバの現在の状況情報（standby / busyあるいはセッション可能数など）を参照し、配信要求時点において最適な配信サーバを決定する。配信サーバが確定されると配信サーバ確定部５１５は、この配信サーバに対応する［配信サーバの宛て先、ＵＲＩ情報］を、配信要求元のモバイル端末・他端末に送信データ処理部５０１経由で送信する。これを受けたモバイル端末・他端末は［配信サーバの宛て先、ＵＲＩ情報］にアクセスすることで３Ｄ映像の配信を受けることができる。
【００６６】
以上説明したようにこの第１の実施形態では、インターネットアクセス機能と、ＧＰＳ機能と、動画撮影機能とを具備するモバイル端末により取得された映像データを、ＩＰネットワーク１を介して収集する。収集された映像データを、モバイル端末の撮影機能に係わるパラメータ情報に基づき複数のフレームにデコードする。複数のフレーム間の相関値を算出し、閾値判定により相関値の高いフレーム群をグループ化する。そうしてグループ化したフレームから、視聴を要求するクライアントでサポートされている映像のパラメータ情報に基づいて視差映像を生成する。処理に必要となる映像データの撮影位置および時刻は、モバイル端末の備えるＧＰＳ機能を利用して取得するようにしている。
【００６７】
上記構成および作用によれば、モバイル端末で個々に取得された映像データを視差映像生成のための元データとして利用することができるようになり、顧客あるいはユーザの自由な意思のもと、３Ｄ映像などの魅力的なコンテンツを生成することが可能になる。このシステムの構築および運用に際しては、テレビ局が主導権を握る必要は必ずしもない。つまり従来では放映権を獲得したテレビ局がその全てをまかなってきた３Ｄ映像コンテンツの配信を、テレビ局の介在なしに実現することが可能になり、新たなビジネスモデルを提案することができる。すなわち第１の実施形態において説明した技術を用いれば、立体的な魅力ある映像の放映や配信を、顧客の参加により、インターネットを介在して容易かつ簡易に実現することが可能になる。
これらのことから、視差映像を簡易に生成でき、これにより立体映像を手軽に提供できるようにした視差映像生成システム、視差映像生成方法、映像配信システムおよび映像配信方法を提供することが可能となる。
【００６８】
［第２の実施形態］
図１４は、視差映像の生成に係わる第２の実施形態を説明するための図である。この実施形態では相関の高いフレームを抽出することが難しいケースへの対応について説明する。このようなケースは例えばスタジアムにおいて観客動員数が少なく、映像を撮影可能なモバイル端末の分布がまばら、つまりモバイル端末間の距離が長いときに生じ得る。
【００６９】
相関値の低い画像フレームしか撮影できない上記のようなケースでは、フレーム群を含むグループを少ししか生成できないか、あるいは生成できない。そこで第２の実施形態では、補間用の画像フレームを生成することを考える。
【００７０】
図１４はそのような状況を想定するものである。例えば視点ＡおよびＢにおいて画像フレームが撮影されたとする。視点Ａ，Ｂ間の距離（Distance）が長いと各視点Ａ，Ｂで得られるフレームの相関性は低くなり、間隔の程度によってはグルーピング可能なフレームが一つも存在しないことが考えられる。つまり位置ＡにおけるフレームＡと位置ＢにおけるフレームＢとの相関値は、視点Ａ，Ｂの距離によっては閾値を下回ると考えられる。
【００７１】
そこで第２の実施形態では、フレームＡとフレームＢとを用いて補間フレームＡ′を生成する。補間フレームの生成は主に相関処理部５０６の演算処理により実現される。補間フレームＡ′は、視点Ａ′の位置情報（例えば視点Ａからの距離Δd）を用いて、例えばフレームＡとフレームＢのそれぞれの画素値を内挿演算するなどの画像処理により生成することができる。
【００７２】
すなわち相関処理部５０６は、複数のフレームを画像処理し、これらの複数のフレームを補間する新たなフレームを生成する。このようにすればフレームＡとＡ′とのグループ、フレームＡ′とＢとのグループを作成できるようになり、相関処理部５０６はそのようなグルーピング処理を行う。このようにして生成したグループから視差映像を生成することができる。
従って第２の実施形態によれば、第１の実施形態で得られる効果に加えて、フレームのグルーピングが困難なケースにも対処することが可能になる。
【００７３】
なお、実画像フレームＡ，Ｂの相関があまりにも低すぎるケースでは、生成された補間画像フレームＡ′を用いてもグルーピングができないことも考えられ、生成される視差映像の完成度も低くなる。相関値に下限閾値を設けておくことで、このようなケースにも対応することが可能である。
【００７４】
例えば図１４における左端のフレームの相関値は７０であり、これは相関性がないとしてグルーピングの対象から除外される。右に移るほどに相関性は徐々に高まり、値８０では十分な相関性はないものの、擬似視差映像としてデータベースに順次蓄積される。値９０を超えれば十分な相関性有りとして、生成された補間画像フレームから生成された視差映像は擬似視差映像としてデータベースに蓄積される。
【００７５】
［第３の実施形態］
図１５は、視差映像の生成に係わる第３の実施形態を説明するための図である。図１５においては、視点Ａと対象物との距離、および視点Ｂと対象物の距離の差が大きいケースを想定する。このようなケースでは遠近差が大きく、視点Ａでは大きくはっきり見える対象物も、視点Ｂでは不鮮明になることが考えられる。
【００７６】
そこで第３の実施形態では、撮影位置による遠近差を考慮してフレーム間の相関性を判定することを考える。すなわちフレーム間の相関性が高いと判定されたケースでも、撮影位置の状況から遠近差が大きく、視差映像の生成に適さない場合がある。そこで第３の実施形態では、相関値に加えてＳｃａｌａｂｌｅ（倍率値）を加味し、フレーム間の相関性を判定するようにする。
【００７７】
この判定は主に相関処理部５０６の演算処理により実現される。すなわち相関処理部５０６は、フレーム間の相関値に加えて倍率値を参照して複数のフレームをグループ化する。例えば、倍率は２．０以下というような閾値を設けることにより、相関値は高いがグルーピング対象としては除外すべき対象であると判定することが可能になる。
【００７８】
図１５において例えばフレーム間の相関性が完全に同一である場合を値１００と定義したとすると、値７０では、単一的にはフレーム間に十分な相関性はないが、相似性（Ｓｃａｌｅ）で評価すれば十分な相関性があると看做せるフレームについてはグルーピングの対象とし、擬似視差映像の生成に供するようにする。値９０以上のフレームについては十分な相関性があるとして、擬似視差映像を生成する。以上のようにすれば、第１の実施形態で得られる効果に加え、鮮明さを保った３Ｄ映像を形成することが可能になる。
【００７９】
なお本発明は上記実施形態に限定されるものではない。
例えば図１２においてはストリーミング配信部４００をシステムサーバ５００に一体化して示したが、ストリーミング配信部４００をシステムサーバ５００とは別体で実装しても良い。このようなケースでは、図１３の問い合わせ要求／問い合わせ応答は送信データ処理部５０１／受信データ処理部５１１を介して、ストリーミング配信部４００とシステムサーバ５００との間で授受される。
【００８０】
また、視差映像、あるいは視差映像から生成された立体映像の供給を受けるクライアントは、映像データを提供したモバイル端末に限られるものではない。映像データをシステムに提供しない端末、あるいは撮影機能を備えていない端末においても立体映像の提供を受けられるようにすることができる。これは、サービスの提供に係わるビジネスモデルに応じて自由に可変できる事柄であり、例えばセッション・チケット管理部１００における認証処理、ライセンス提供などの機能をシステム要求に応じて設計すれば良い。あるいは逆に、例えば立体映像の配信に際して、映像データをシステムに提供した端末を優先するなどのビジネスモデルも考え得る。
【００８１】
また実施形態では位置情報をＧＰＳにより取得するようにした。これに代えて角速度センサ（ジャイロセンサ）を備えるモバイル端末を用いれば、同様の機能を実現できる。角速度センサを用いれば撮像機の視点が何処を向いているかを検知することができるし、その情報を例えば補助的に用いて画像フレーム間の相関値を算出することも可能である。
【００８２】
また第３の実施形態では倍率値を用いて不鮮明なフレームを除外するようにしたが、例えば、対象物に遠いモバイル端末が精細なフォーカスで撮影し、対象物に近いモバイル端末のフォーカスが甘ければ、両者で撮影されたフレームの鮮明さは同程度になると思われる。つまりフレームのグループ化に際してフレームごとのフォーカスを指標として相関値を再評価することも可能である。
【００８３】
フレームのフォーカスに係わる情報も、モバイル端末の動画撮影機能で録画（取得）される映像の特性を示すパラメータ情報として取得可能である。このように撮影時のフォーカスも考慮すれば３Ｄ映像の形成にさらに寄与できるであろう。
【００８４】
本発明のいくつかの実施形態を説明したが、これらの実施形態は例として提示するものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００８５】
１…ＩＰネットワーク、ａ，ｂ，ｃ，ｄ，ｅ…モバイル端末、１００…セッション・チケット管理部、２００…データストレージ部、３００…メディア変換部、４００…ストリーミング配信部、４…パーソナルコンピュータ（ＰＣ）、５…ＩＰＴＶ、６…ＳＴＢ、７…ＰＤＣ端末、５０１…受信データ処理部、５０２…端末情報登録部、５０３…映像データ分析部、５０４…位置時刻管理部、５０５…映像データ処理部、５０６…相関処理部、５０７…視差映像生成部、５０８…エンコード部、５０９…ファイルフォーマット部、５１０…セグメンテーション部、５１１…送信データ処理部、４ａ，４ｂ，４ｃ…配信サーバ、５００…システムサーバ、６００…配信サーバ管理部、５１２…ライセンス・チケット情報取得部、５１３…配信サーバ情報取得部、５１４…配信サーバ問い合わせ部、５１５…配信サーバ確定部、４ａ，４ｂ，４ｃ，４ｄ…配信サーバ
【技術分野】
【０００１】
本発明の実施形態は、例えばＩＰネットワークを介してライブ映像のストリーム配信あるいは動画像コンテンツのVideo on demand （ＶＯＤ）配信などを実現する映像配信システムと、この種のシステムに適用可能な視差映像生成システムおよび方法に関する。
【背景技術】
【０００２】
近年ではインターネットに繋がれた端末でテレビ放送を視聴することができる。この種の映像配信システムでは、予め用意されたコンテンツの放送だけでなく、スタジアムや競技場などで行われるスポーツや、コンサートのライブ中継なども実施されるようになってきている。
【０００３】
Internet Protocol（ＩＰ）ネットワークなどの媒体を介して視聴者にビデオストリームを配信する、いわゆるIP Television（ＩＰＴＶ）サービスが知られている。例えばIP-Video on Demand（ＩＰ−ＶＯＤ）、あるいは地上Ｄ−ＩＰ再送信などの技術が知られている。近年ではIntegrated Services Digital Broadcasting − Terrestrial（ＩＳＤＢ−Ｔ）に準拠するワンセグサービスを利用するユーザも多い。
【０００４】
さらに、動画共有サイトを介してユーザ間で映像コンテンツを共有するシステムも構築されている。この種のシステムでは、投稿者からサーバにアップロードされた映像コンテンツをインターネット上に公開できるようになっている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特表２０１１−５１９１９２号公報
【特許文献２】特開２０１０−９８７２０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、立体映像の生成に関する技術開発が盛んである。シーンを高精細かつ多角的・多面的に捉えた映像を加工・画像処理することで、視聴者に３次元（３Ｄ）の立体的な映像を提供することができる。この技術は映像配信システムでも用いられ、例えばスポーツのダイナミックな動作やゴールシーンといった瞬間的・決定的な映像が３Ｄ化され、魅力的な映像コンテンツとして放映・配信されるようになってきている。
【０００７】
３次元（３Ｄ）映像を視聴者に提供するための方式には、例えば特殊ディスプレイによる方式や、特殊偏光メガネを用いる方式など、いくつかの標準が策定されつつある。しかしながらいずれの方式においても基本となる技術そのものは、複眼視による撮影、または擬似映像の生成により得られる視差映像を利用することである。
【０００８】
同じ対象を複数の異なる視点から撮影した画像（フレーム）を視差画像と称する。視差映像は複数の視差画像を時系列で配列して得られる動画像であり、３Ｄ映像はその一つの形態である。
映像コンテンツのストリーム配信は、放映権を獲得したテレビ局がその全てを賄ってきた。インターネットの爆発的普及とアクセス端末の高機能化に伴って映像のストリーミング配信は当然のように行われるようになったが、３Ｄ映像の生成や配信に関しては、放映権を獲得したテレビ局が独占的に実施している状況にある。
【０００９】
一方、近年のわが国ではほぼ全ての人が携帯電話端末を所有しており、その数が飽和状態となるほどに携帯電話端末は普及している。機能の面でも高機能化が著しく、音声通話、メール送受信、インターネットアクセスといった基本的機能に加えて、ディジタルカメラ機能・ディジタルビデオ機能を実装する端末も今や普通である。さらには、ＧＰＳ（Global Positioning System）により自らの位置情報を取得したり、ジャイロセンサなどを備えるものもある。そこで、このような端末の諸機能を利用すれば、テレビ局に頼らずに視差映像を生成して３Ｄ映像を視聴者に配信し得る可能性があるが、そのような技術は未だ知られていない。
目的は、視差映像を簡易に生成でき、これにより立体映像を手軽に提供できるようにした視差映像生成システム、視差映像生成方法、映像配信システムおよび映像配信方法を提供することにある。
【課題を解決するための手段】
【００１０】
実施形態によれば、視差映像生成システムは、モバイル端末によりアクセス可能なネットワークを利用する。視差映像生成システムは、収集部と、視差映像データ生成部とを具備する。収集部は、動画撮影機能を備える撮像機付きモバイル端末により取得された映像データをネットワークを介して収集する。視差映像データ生成部は、異なる撮像機付きモバイル端末で取得された映像データに基づいて、収集部により収集された映像データから視差映像を生成する。
【図面の簡単な説明】
【００１１】
【図１】第１の実施形態に係わる映像配信システムの一例を示すシステム図。
【図２】視差画像について説明するための図。
【図３】第１の実施形態に係わる視差映像生成システムの一例を示す機能ブロック図。
【図４】複数のモバイル端末による視点を示す模式図。
【図５】フレームのグループ化に必要な情報を説明するための模式図。
【図６】映像データの収集から配信用コンテンツの生成までの手順を概略的に示す模式図。
【図７】モバイル端末を映像配信システムに登録するための手順を示すシーケンス図。
【図８】第１の実施形態に関わる映像配信システムがモバイル端末からストリームデータを受信する際の手順を示すシーケンス図。
【図９】視差映像の生成に関わる手順を示すシーケンス図。
【図１０】それぞれの画像フレーム情報から映像コンテンツを生成するための手順を示すシーケンス図。
【図１１】第１の実施形態における映像コンテンツの配信に関わる部分を示すシステム図。
【図１２】第１の実施形態に係わる視差映像生成システムの要部を示す機能ブロック図。
【図１３】第１の実施形態における映像配信に関わる手順を示すシーケンス図。
【図１４】視差映像の生成に係わる第２の実施形態を説明するための図。
【図１５】視差映像の生成に係わる第３の実施形態を説明するための図。
【発明を実施するための形態】
【００１２】
［第１の実施形態］
図１は、第１の実施形態に係わる映像配信システムの一例を示すシステム図である。図１に示されるシステムは、インターネットに代表されるＩＰネットワーク（IP Network）１を利用するシステムである。ＩＰネットワーク１としては他にも、Virtual Private Network （ＶＰＮ）技術を応用した専用ネットワークなどがある。
【００１３】
ＩＰネットワーク１はモバイル端末によりアクセス可能なネットワークである。第１の実施形態ではモバイル端末の一例として、インターネットアクセス機能を備えるモバイル端末ａ，ｂ，ｃ，ｄ，ｅを想定する。モバイル端末ａ，ｂ，ｃ，ｄ，ｅとしてはセルラフォン端末、Personal Handy-phone System（ＰＨＳ）端末、（Personal Digital Assistants）ＰＤＡ端末、ＰＤＣ（Personal Digital Cellular）端末、スマートフォン、モバイルパソコンなどが挙げられる。
【００１４】
モバイル端末ａ，ｂ，ｃ，ｄ，ｅは動画撮影機能を備え、保持するユーザの操作に応じて、あるいは事前の設定などにより、撮影した映像データをＩＰネットワーク１に送信する。なお映像データには音声を含んでも良い。
またモバイル端末ａ，ｂ，ｃ，ｄ，ｅは、ＧＰＳを利用して自らの位置を測位する機能を備える。この種の機能は近年では多くのモバイル端末に搭載されており、例えばこの測位機能と、ＩＰネットワーク１に備わる地図データベースとを連携させることにより、ナビゲーションアプリを利用ことができる。モバイル端末ａ，ｂ，ｃ，ｄ，ｅは位置情報に加えて時刻情報も取得する。すなわちモバイル端末ａ，ｂ，ｃ，ｄ，ｅは測位衛星としてのＧＰＳ衛星から到達する電波を用いて、位置情報および時刻情報を算出する測位処理部を備える。
【００１５】
モバイル端末ａ，ｂ，ｃ，ｄ，ｅは撮影した映像データと併せて、映像データの撮影時刻と撮影位置とをＩＰネットワーク１に送信する。撮影時刻、撮影位置ともに、ＧＰＳで取得された時刻情報、位置情報を反映するデータである。具体的にはモバイル端末ａ，ｂ，ｃ，ｄ，ｅは、映像データに含まれるフレームごとの撮影時刻と撮影位置とをＩＰネットワーク１に送信する。フレームの撮影時刻と撮影位置とは各フレームごとに対応付けられるデータであり、この種のデータを位置・時刻情報と称することにする。
【００１６】
ＩＰネットワーク１には、セッション・チケット管理部１００、データストレージ部２００、メディア変換部３００、およびストリーミング配信部４００が接続される。セッション・チケット管理部１００、データストレージ部２００、メディア変換部３００、およびストリーミング配信部４００はそれぞれ個別に複数のコンピュータに実装されても良いし、同じコンピュータデバイスに複数の処理機能として実装されても良い。
【００１７】
モバイル端末ａ，ｂ，ｃ，ｄ，ｅから送信された映像データおよび位置・時刻情報はデータストレージ部２００に蓄積される。すなわちデータストレージ部２００は、映像情報と位置・時刻情報とを蓄積する。
メディア変換部３００は、データストレージ部２００に蓄積されたメディアデータ（映像、音声、画像の各データ）を、映像情報／位置・時刻情報に基づいて、ＩＰネットワーク１を介して配信可能なフォーマット、および、受信側で視聴可能なフォーマットに変換する。この変換処理を経て生成された配信用のデータは、ストリーミング配信部４００によりＩＰネットワーク１を介して視聴者に向け配信される。すなわち配信用データは、ＩＰネットワーク１に接続されるパーソナルコンピュータ（ＰＣ）４、ＩＰテレビジョン端末（ＩＰＴＶ）５、セットトップボックス（ＳＴＢ）６などに配信される。
【００１８】
システム全体に係わる管理、制御はセッション・チケット管理部１００により実施される。セッション・チケット管理部１００は、システムへの参加を要求するクライアントの認証処理を実施し、要求元のクライアントへのサービスの提供の可否を判定する。またセッション・チケット管理部１００は、モバイル端末ａ，ｂ，ｃ，ｄ，ｅから送信された映像データをＩＰネットワーク１経由で収集し、データストレージ部２００に蓄積するための制御なども行う。
【００１９】
上記構成を基礎としてこの第１の実施形態では、各モバイル端末が備えるインターネットアクセス機能、動画撮影機能、および測位機能と、システム側に設けられるセッション・チケット管理部１００、データストレージ部２００、およびメディア変換部３００とを有機的に機能させ、視差映像を簡易的に生成、配信可能とする手法につき説明する。
【００２０】
図２は、視差画像について説明するための図である。立体的な映像のもとになる視差映像を生成するためには、複数の視差画像（フレーム）が必要である。視差画像は図２に示されるように、同じ対象物を複数の異なる視点から見た画像に差分が在ることにより得られる。この第１の実施形態では、この複数の視点をモバイル端末の動画撮影機能で代替することで、いわば観客の参加によるかたちでの視差映像の生成を実現する。
【００２１】
図３は、第１の実施形態に係わる視差映像生成システムの一例を示す機能ブロック図である。図３のシステムは図１のセッション・チケット管理部１００、データストレージ部２００、メディア変換部３００の機能を共通のサーバに実装したものとして捉えることが可能であり、このサーバをシステムサーバと称して参照符号５００を付して示す。
【００２２】
データストレージ部２００は、図１に示される動画撮影機能付きのモバイル端末ａ，ｂ，ｃ，ｄ，ｅにより取得された映像データをＩＰネットワーク１を介して収集する収集部としての機能の一部を担う。メディア変換部３００は、収集部により収集された映像データから視差映像を生成する視差映像データ生成部としての機能の一部を担う。視差映像は、異なるモバイル端末で既定の時間内に近接する時刻に取得された画像フレームを含む映像データに基づいて生成される。例えば別々のモバイル端末で同時刻に撮影された二つの画像フレームの相関性が高ければ、これらのフレームから立体画像を生成することができる。
【００２３】
［同時刻］は本実施形態では［既定の時間内に近接する時刻］を含む。実施形態では物理的に同じ瞬間を意味する同時刻だけでなく、誤差を含めた或る程度の時間的な広がりも、視差映像を生成するうえで支障の無い範囲での同時刻として取り扱う。
例えば一般的なTV放送では１秒間に約３０枚の画像フレームが表示される。本技術分野ではこれを３０ｆｐｓ（Frame Per Second）と表す。これは映像の時間分解能と捉えられる量である。
例えば３０ｆｐｓの処理能力を持つモバイル端末では、ある静止画像 Picture(n)と次のPicture(n+1)との間の時間間隔は１／３０［秒］すなわち０．０３３３３３...秒であり、およそ３０ｍｓｅｃ［ミリ秒］となる。この１／２の１５ミリ秒以内の時間差であれば許容範囲内と判断し、視差映像の生成に支障は無いものとして、システムは同時刻として取り扱うようにしても良い。
【００２４】
もちろん実施形態における技術思想は上記数値に限定されるものではない。３０ｍｓｅｃの１／４あるいは１／８であっても精度は向上するので、却って好都合である。モバイル端末のスペックによっては６０ｆｐｓで処理するもの、あるいは逆に１５ｆｐｓで処理するものもあり、実施形態ではこのような違いを吸収する手法についても開示する。
【００２５】
システムサーバ５００は、受信データ処理部５０１、端末情報登録部５０２、映像データ分析部５０３、位置時刻管理部５０４、映像データ処理部５０５、相関処理部５０６、視差映像生成部５０７、エンコード部５０８、ファイルフォーマット部５０９、セグメンテーション部５１０、および、送信データ処理部５１１を備える。このうち受信データ処理部５０１、送信データ処理部５１１はＩＰネットワーク１に接続され、データの送受信に関わるインタフェース機能を担う。例えば受信データ処理部５０１はモバイル端末から送られてくるストリームデータ（映像データを含む）の受信処理に関わる処理を行う。送信データ処理部５１１はモバイル端末に向けライセンス、チケット情報データなどを送信するための処理を行う。
【００２６】
端末情報登録部５０２は、モバイル端末を含むクライアントから端末情報（例えばユーザＩＤ、パスワード、ＭＡＣアドレス、サポート可能な画像処理方式、画像処理能力、ｆｐｓベースでの処理スペックなどの情報）を収集し、これらの情報をシステムに登録するとともにデータベースＤＢに蓄積する。収集される情報には、画像データのデコードあるいはエンコードの際に必要になるパラメータ情報も含まれる。
【００２７】
また端末情報登録部５０２は、登録された内容に基づいて、各クライアントへのライセンス・チケットなどを発行するための処理も行う。なお登録の際にモバイル端末との間で授受された情報のいくつかは、内部データベース（ＤＢ）、またはシステム外部のデータベースに蓄積される。
【００２８】
映像データ分析部５０３は、モバイル端末から受信した映像データをモバイル端末から事前に得られた情報に基づき分析する。モバイル端末から事前に得られた情報をここではモバイル端末情報と称し、上記ユーザＩＤ、パスワード、ＭＡＣアドレス、サポート可能な画像処理方式のほか、ここでは、例えば対応可能な画像エンコード・デコード方式、画面サイズ、単位時間当たりのフレーム数などである。これらの情報は端末情報登録部５０２により取得されてデータベースＤＢに蓄積されている。映像データ処理部５０５は映像データをデコードし、１枚１枚のフレームとして扱えるように処理する。すなわち映像データ処理部５０５は、モバイル端末の動画撮影機能で録画（取得）される映像の特性を示すパラメータ情報に基づいて映像データをデコードし、映像データから個々の画像フレームを復元する。
【００２９】
なお、ここで必要となるパラメータ情報は、モバイル端末のキャリアにより予め公開されているケースがある。このようなケースでは例えば機種名称、電話番号、ＭＡＣアドレスなどをキーとする問い合わせにより、必要な端末情報を公開されたデータベースから取得することが可能である。
【００３０】
位置時刻管理部５０４は、映像データを撮影した際のモバイル端末の位置情報および絶対時刻情報、すなわち位置・時刻情報を管理する。すなわち位置時刻管理部５０４は、モバイル端末からＩＰネットワーク１を介して送信されてくるストリームデータから抽出された位置・時刻情報を、データストレージ部２００（図１）に記録するための処理などを行う。
【００３１】
位置情報、絶対時刻情報のいずれもＧＰＳを介して取得される位置・時刻情報であり、画像フレームに付随するデータとして位置づけられる。このデータも映像データとともにデータベースＤＢに蓄積される。つまり各モバイル端末は映像データの撮影時に、その撮影時刻、詳しくは各フレームの撮影時刻と撮影位置とをＧＰＳ測位機能を用いて取得し、フレームごとに撮影位置情報、撮影時刻情報を対応付けて記録する。
【００３２】
相関処理部５０６は、画像データ、およびその取得位置情報／絶対時刻情報に基づいて個々のフレーム間の相関性を検出する。この処理によりフレーム間の相関値が算出され、その値と既定の閾値との比較に基づいて、相関処理部５０６は、閾値以上の相関値を示すフレーム群をグルーピングする。すなわち相関処理部５０６は、既定の距離内および既定の時間内で撮影されたフレーム、例えば近い位置で同時刻に異なるモバイル端末で撮影されたフレームのうち互いの相関値が既定の閾値以上のフレーム群を一纏まりのグループとし、複数のグループを生成する。
【００３３】
視差映像生成部５０７は視差映像を生成する。すなわち視差映像生成部５０７は、上記グループにそれぞれ含まれる画像フレームを時刻情報に基づいて時系列で配列して視差映像を生成する。その際、視差映像生成部５０７は、端末情報に示される対応画像処理方式なども参照し、フレーム群の各フレームを処理、集約する。
【００３４】
エンコード部５０８は、生成された視差映像を、モバイル端末から取得した符号化方式・メディアなどの映像パラメータ情報に基づいて符号化する。ファイルフォーマット部５０９は、符号化された映像データをファイルとして生成する。生成されたファイルはビデオコンテンツ（Video Content）としてデータストレージ部２００などに蓄積される。セグメンテーション部５１０は、符号化された映像データを、ライブ配信（ストリーム配信）のためのピースブロックとして生成する。ピースブロックＰ０１，Ｐ０２，…はデータストレージ部２００などに蓄積される。
【００３５】
ここで、視差映像の生成について説明する。視差映像を生成するための最初の手順として、まず、複数の視点がそれぞれどのような対象物を撮影しているかをマシンにより認知し、判断する必要がある。
図４は、複数のモバイル端末による視点を示す模式図である。図４には、視差映像生成のための選定（グルーピング）スキームが模式的に示される。図４には３台のモバイル端末ａ，ｂ，ｃが示され、このうちモバイル端末ａ，ｂはシュートするプレーヤを撮影対象としており、モバイル端末ｃはゴールを守るキーパーを撮影対象としている。このようなケースでは、互いに同じ対象を撮影しているモバイル端末ａ，ｂからの映像データには高い相関性のあることが見込まれる。一方、異なる対象を撮影しているモバイル端末ａ，ｃ、あるいはモバイル端末ｂ，ｃからの映像データの相関性は低くなる。第１の実施形態ではこの知識を用いて、それぞれ相関が高い映像同士をグループ化して取り扱う。
【００３６】
図５は、フレームのグループ化に必要な情報を説明するための模式図である。図５には視差映像生成のための伝送データ例が示される。複数のフレームをグループ化するためには、図５に示される各モバイル端末で取得された映像データ（フレーム）は当然のことながら、それぞれのモバイル端末の絶対位置情報と絶対時刻情報とが必要となる。
絶対時刻情報はフレーム間の同期を取るために必要になる。絶対位置情報と絶対時刻情報とのいずれも各モバイル端末においてＧＰＳにより取得され、位置・時刻情報として映像データとともにシステムに送信される。
【００３７】
第１の実施形態では位置情報を（Ｘ，Ｙ，Ｚ）の３次元座標で示し、時刻情報をｔで示す。位置情報には端末ごとのインデックスを付し、合わせて４次元の情報を取り扱う。例えばモバイル端末で時刻ｔにおいて撮影された映像データには、（Ｘａ，Ｙａ，Ｚａ，ｔ）なる位置・時刻情報が付随することになる。
【００３８】
図６は、映像データの収集から配信用コンテンツの生成までの手順を概略的に示す模式図である。例えばそれぞれ位置・時刻情報（Ｘａ，Ｙａ，Ｚａ，ｔ）、（Ｘｂ，Ｙｂ，Ｚｂ，ｔ）を持つ複数の映像データ（フレーム）を比較し、互いの相関性が高い場合には概ねＸａ≒Ｘｂ，Ｙａ≒Ｙｂ，Ｚａ≒Ｚｂが成立する。
【００３９】
つまりこれらのフレームは、既定の距離内に存在するモバイル端末で同時刻ｔに撮影されたものである。そのようなフレームが見つかればシステムはそれらをグループ化し、視差映像として順次蓄積する。そして蓄積されたデータを視聴者が視聴可能なエンコード方式・ファイルフォーマット形式に変換し、コンテンツとしてデータストレージ部２００に保存する。または、ライブストリーミング用のデータとしてセグメンテーション化し、同様に保存する。次に、第１の実施形態における作用を説明する。
【００４０】
図７は、モバイル端末をシステムに登録するための手順を示すシーケンス図である。ユーザはシステムへの登録により、自らの所有するモバイル端末を用いた映像データの撮影・送信／３Ｄ映像の受信に係わる意思表示を行う。
モバイル端末は、まず、システムに向けモバイル端末情報を送信する。送信されたモバイル端末情報は受信データ処理部５０１により受信される。モバイル端末情報とは、大別して２つの情報を含む。一方は＜録画映像＞であり、これは、当該モバイル端末に備わる動画撮影機能（ディジタルビデオカメラ）で取得される映像の特性（パラメータ）情報を示す。このパラメータ情報には取得映像の符号化方式、画面サイズ、メディアのビットレートなどがある。
【００４１】
他方は＜視聴映像＞であり、これは、当該モバイル端末（あるいは視聴を要求するクライアント）で視聴可能な（サポートされている）映像の特性（パラメータ）情報を示す。である。このパラメータ情報には対応符号化方式（Ｈ．２３４、ＭＰＥＧ２、ＭＰＥＧ４など）、対応画面サイズ、対応ビットレート、対応３Ｄ方式などがある。
【００４２】
図７において、モバイル端末から送信された［モバイル端末情報］は図３の受信データ処理部５０１により受信される。受信データ処理部５０１は受信した情報を［モバイル端末情報］として認識すると、この［モバイル端末情報］を端末情報登録部５０２に渡す。端末情報登録部５０２は［モバイル端末情報］をデータベースＤＢに登録し、ライセンス、チケットなどの情報を生成する。生成された情報は端末情報登録部５０２から送信データ処理部５１１を介して、宛先のモバイル端末に通知される。
ライセンス、チケットとは電子的なデータであり、映像ストリームデータなどの送付先に関する情報、映像を視聴する際の配信要求先、またはその配信要求先を問い合わせるための問い合わせ先に関する情報などを含む。
【００４３】
なお、図７に示されるシーケンスは映像データの撮影と視差映像の視聴とを同じモバイル端末で視聴することを前提として記載されているが、視聴可能な端末を、映像を撮影した端末だけに限る必要はない。つまり映像データの提供に関わらない端末において３Ｄ映像の配信を受けられるようにすることも可能である。要するにモバイル端末での＜映像情報＞と、登録に伴い発行されるライセンス・チケットなどの払い出しの関係が成立すれば、視聴そのものはモバイル端末に限らず、撮影機能を持たない一般のクライアント端末で行うことが可能である。
【００４４】
図８は、第１の実施形態におけるシステムがモバイル端末からストリームデータを受信する際の手順を示すシーケンス図である。図８には、図７のシーケンスが完了し端末情報の登録を済ませたモバイル端末から送付されるストリームデータを、システムが受信する際の手順が示される。ストリームデータとは個々のモバイル端末で取得された映像データ情報と、その撮影位置情報および撮影時刻情報（位置・時刻情報）を含むデータである。映像データの一例としては例えば図５に示される、視差映像生成のための元になる伝送データである。
【００４５】
図８において、モバイル端末から送信されたストリームデータは受信データ処理部５０１において受信される。受信データ処理部５０１は受信したデータをストリームデータとして認識すると、ストリームデータから＜録画映像データ＞を抽出して映像データ分析部５０３に渡し、＜位置・時刻情報＞を抽出して位置時刻管理部５０４に渡す。すなわち受信データ処理部５０１は、録画データと、各フレームに付随する撮影位置および撮影時刻をストリームデータから抽出する。
【００４６】
＜録画映像データ＞を受信した映像データ分析部５０３は、当該モバイル端末で撮影された映像のパラメータ情報を用いて＜録画映像データ＞に対する一時処理を施す。パラメータ情報は符号化方式やメディアのメタ情報などであり、ＤＢに予め登録され管理されている。一時処理には例えば画面サイズの調整などがあり、処理後の一次処理録画映像データは映像データ処理部５０５に渡される。
【００４７】
映像データ処理部５０５は一次処理録画映像データをデコード処理し、フレームレートの調整およびタイミング調整を施して、１枚の画像フレームを構成するフレームデータを生成する。このフレームデータは相関処理部５０６に渡される。この相関処理部５０６には、フレームデータに対応する位置・時刻情報が位置時刻管理部５０４から与えられる。フレームデータと位置・時刻情報とが与えられることで、相関処理部５０６は、同時刻において取得された各モバイル端末からの画像データを取得することになる。これらの情報を用いて相関処理部５０６はフレーム間の相関を取る。
【００４８】
図９は視差映像の生成に関わる手順を示すシーケンス図である。図９には、同時刻において撮影された各モバイル端末からの画像データが相関処理部５０６に入力されたのち、視差映像が生成されるまでのシーケンスが示される。
【００４９】
図９において、映像データ処理部５０５により生成されたフレームデータおよび位置・時刻情報は、相関処理部５０６に入力される。相関処理部５０６は相関算出処理を実行し、同時刻のフレームの組み合わせごとに相関値を算出する。相関算出アルゴリズムとしては画素相関アルゴリズム、輝度相関アルゴリズム、あるいは周波数領域に変換してからの相互相関アルゴリズムなどを適用できる。
【００５０】
例えば相関処理部５０６は、複数のフレームのうち画素相関アルゴリズム、輝度相関アルゴリズム、および、輝度値を周波数領域に変換したのちの相互相関アルゴリズム、のいずれかのアルゴリズムに基づき算出された相関値が既定の閾値以上のフレーム群をグループ化する。このほか、およそ符号化方式、画像認識方式、画像処理方式で適用・応用・研究検討されてきたさまざまな手法を用いることが可能である。
【００５１】
次に相関処理部５０６は、算出された相関値を既定の閾値と比較し、閾値以上の相関性を示すフレーム同士をグループ化する。視差映像生成のための選定（グルーピング）スキームは図４において既に示される。すなわち相関処理部５０６は、位置時刻管理部５０４やデータベースＤＢにデータとしての位置・時刻情報をフレームごとに参照し、既定の距離内、および同時刻として許容される時間範囲内で撮影されたフレームのうち、互いの相関値が既定の閾値以上のフレーム群をグループ化する。
【００５２】
グループ化処理を経たのち、［グループ化したフレームデータ］と［位置・時刻情報］とが視差映像生成部５０７に渡される。視差映像生成部５０７はこの［グループ化したフレームデータ］と［位置・時刻情報］とを用いて視差フレームを生成する。その際、視差映像生成部５０７は、位置情報データと、ＤＢから取得した＜視聴映像＞の３Ｄ対応方式の情報とを視差フレームの生成基準とする。
【００５３】
３Ｄ対応方式には、右目用・左目用の２枚の画像フレームを用いる「平行法」や「交差法」を技術ベースとするものや、特殊な偏光グラスを着用することで実現する方式などがある。今後あらたな標準が策定されたとしても、ＤＢに登録された情報を参照して視差映像生成部５０７の機能を拡張すれば柔軟に対応可能である。視差フレームデータの生成後、この［視差フレームデータ］と［時刻情報データ］とがエンコード部５０８に渡される。
【００５４】
図１０は、第１の実施形態において、それぞれの画像フレーム情報から映像コンテンツを生成するための手順を示すシーケンス図である。図９のシーケンスに引き続き、［視差フレームデータ］と［時刻情報データ］とを渡されたエンコード部５０８は、ＤＢから取得した＜視聴映像＞の符号化方式やメディアのメタ情報に基づいて符号化した映像を生成する。符号化済みのデータ、すなわち視差映像データはファイルフォーマット部５０９またはセグメンテーション部５１０、あるいはその双方に渡される。これは、最終的に符号化済みのデータをコンテンツファイルとするか、Video on Demand（ＶＯＤ）によるライブ配信用途のピースデータとするか、またはその両方を行うかに応じて制御される。以上の作用により、複数のモバイル端末で撮影された画像データから立体映像コンテンツが生成される。次に、生成された立体映像コンテンツの配信につき説明する。
【００５５】
図１１は、第１の実施形態における映像コンテンツの配信に関わる部分を示すシステム図である。図１に対応させた場合、図１のストリーミング配信部４００は図１１に示すように、例えば複数の配信サーバ４ａ，４ｂ，４ｃを備える。各配信サーバ４ａ，４ｂ，４ｃはそれぞれ異なる画像エンコード方式に対応する（それぞれＡ方式，Ｂ方式，Ｃ方式とする）。どのコンテンツ（あるいはストリーム）をどの配信サーバで送出するかは、配信サーバ管理部６００により制御される。
【００５６】
図１２は、第１の実施形態に係わる視差映像生成システムの要部を示す機能ブロック図である。図１２のシステムは図１のセッション・チケット管理部１００、ストリーミング配信部４００の機能を共通のサーバに実装したものとして捉えることが可能である。ここでは図３のシステムサーバ５００にその機能を実装するとする。
【００５７】
図１２においてシステムサーバ５００は、受信データ処理部５０１、ライセンス・チケット情報取得部５１２、配信サーバ情報取得部５１３、配信サーバ問い合わせ部５１４、配信サーバ確定部５１５、送信データ処理部５１１、および、ストリーミング配信部４００を備える。このうちストリーミング配信部４００は配信サーバ４ａ，４ｂ，４ｃ，４ｄを備える。配信サーバ４ａ，４ｂ，４ｃ，４ｄは予めデータベースＤＢに、その対応方式の情報とともに登録される。
【００５８】
ライセンス・チケット情報取得部５１２は、アクセス元の端末（モバイル端末、固定端末（ＰＣなど）を含む）に対する認証（Authentication）処理を行う。すなわちライセンス・チケット情報取得部５１２は、アクセス元の端末から送信されたライセンス、チケットなどの情報をデータベースＤＢにおける登録内容と照らし合わせ、その正当性を検証する。
【００５９】
配信サーバ情報取得部５１３は、データベースＤＢを検索して、配信すべきコンテンツ（あるいはストリーム）に対応する方式をサポートする配信サーバを配信サーバ４ａ，４ｂ，４ｃ，４ｄのうちから見い出す。配信サーバ問い合わせ部５１４は、配信サーバ４ａ，４ｂ，４ｃ，４ｄに対して現在の状況（standby/busy、Session可能数など）を問い合わせる。この問い合わせに対しては配信サーバ４ａ，４ｂ，４ｃ，４ｄに限らず、その代理サーバ（Proxy）が応答するようにしても良い。配信サーバ確定部５１５は、映像データの要求元クライアント（モバイル端末、他端末など）への映像配信に最適な配信サーバを決定する。
図１２、および次の図１３においては、ライセンスやチケットなどの情報が、映像を直接視聴する配信要求元ではなく、その配信要求元を問い合わせるための問い合わせ先に関する情報である場合が想定される。これによれば他端末からの配信要求にも応えることが可能になる。
【００６０】
図１３は、第１の実施形態における映像配信に関わる手順を示すシーケンス図である。図１３には、立体映像の配信を要求するクライアントが、適した配信サーバにアクセスするための情報を得るための手順が示される。
図１３において、配信要求元のモバイル端末や他端末から送信された［ライセンス、チケットなどの情報］は、受信データ処理部５１１により受信される。受信データ処理部５１１は［ライセンス、チケットなどの情報］を認識すると、この［ライセンス、チケットなどの情報］をライセンス・チケット情報取得部５１２に渡す。
【００６１】
ライセンス・チケット情報取得部５１２は、受信データ処理部５１１から送付された［ライセンス、チケットなどの情報］が信頼・承認できるものであるか否かを検証する。この処理に際してはデータベースＤＢにおける登録内容が参照される。［ライセンス、チケットなどの情報］が改竄されたもの、不正入手されたもの、また、ライセンスやチケットそのものは正当なものであるが、例えば視聴有効期限が過ぎていたものなどの理由により信頼・承認できないものであると判断されれば、処理はここで停止される。あるいは、配信要求を拒否する旨、［ライセンス、チケットなどの情報］が信頼・承認できないものである旨を配信要求元に通知したうえで処理を停止するようにしても良い。
【００６２】
［ライセンス、チケットなどの情報］が信頼・承認できるものであれば、その旨がライセンス・チケット情報取得部５１２により認識される。そしてライセンス・チケット情報取得部５１２は、承認した要求元の端末に適する３Ｄ対応方式の情報をデータベースＤＢから取り出し、配信サーバ情報取得部５１３に渡す。
【００６３】
配信サーバ情報取得部５１３は、この対応方式の状況をキーインデックスとしてデータベースＤＢを検索し、登録された配信サーバのうち当該対応方式をサポートする配信サーバを特定する。そうして配信サーバ情報取得部５１３は、特定した配信サーバを一意に識別できる情報、例えばUniform Resource Locator （ＵＲＬ）やＩＰアドレスなどの情報を［問い合わせ先の情報］として取得する。
【００６４】
配信サーバ情報取得部５１３は、取得した［問い合わせ先の情報］を配信サーバ問い合わせ部５１４に渡す。配信サーバ問い合わせ部５１４はこの［問い合わせ先の情報］を元に［問い合わせ要求］を各配信サーバに送付する。これに対する問い合わせ応答は、各配信サーバから配信サーバ問い合わせ部５１４に返送される。配信サーバ問い合わせ部５１４は、各配信サーバからの問い合わせ応答をまとめ、［問い合わせ先の情報］と［問い合わせ応答結果］とを配信サーバ確定部５１５に渡す。
【００６５】
配信サーバ確定部５１５は各配信サーバの現在の状況情報（standby / busyあるいはセッション可能数など）を参照し、配信要求時点において最適な配信サーバを決定する。配信サーバが確定されると配信サーバ確定部５１５は、この配信サーバに対応する［配信サーバの宛て先、ＵＲＩ情報］を、配信要求元のモバイル端末・他端末に送信データ処理部５０１経由で送信する。これを受けたモバイル端末・他端末は［配信サーバの宛て先、ＵＲＩ情報］にアクセスすることで３Ｄ映像の配信を受けることができる。
【００６６】
以上説明したようにこの第１の実施形態では、インターネットアクセス機能と、ＧＰＳ機能と、動画撮影機能とを具備するモバイル端末により取得された映像データを、ＩＰネットワーク１を介して収集する。収集された映像データを、モバイル端末の撮影機能に係わるパラメータ情報に基づき複数のフレームにデコードする。複数のフレーム間の相関値を算出し、閾値判定により相関値の高いフレーム群をグループ化する。そうしてグループ化したフレームから、視聴を要求するクライアントでサポートされている映像のパラメータ情報に基づいて視差映像を生成する。処理に必要となる映像データの撮影位置および時刻は、モバイル端末の備えるＧＰＳ機能を利用して取得するようにしている。
【００６７】
上記構成および作用によれば、モバイル端末で個々に取得された映像データを視差映像生成のための元データとして利用することができるようになり、顧客あるいはユーザの自由な意思のもと、３Ｄ映像などの魅力的なコンテンツを生成することが可能になる。このシステムの構築および運用に際しては、テレビ局が主導権を握る必要は必ずしもない。つまり従来では放映権を獲得したテレビ局がその全てをまかなってきた３Ｄ映像コンテンツの配信を、テレビ局の介在なしに実現することが可能になり、新たなビジネスモデルを提案することができる。すなわち第１の実施形態において説明した技術を用いれば、立体的な魅力ある映像の放映や配信を、顧客の参加により、インターネットを介在して容易かつ簡易に実現することが可能になる。
これらのことから、視差映像を簡易に生成でき、これにより立体映像を手軽に提供できるようにした視差映像生成システム、視差映像生成方法、映像配信システムおよび映像配信方法を提供することが可能となる。
【００６８】
［第２の実施形態］
図１４は、視差映像の生成に係わる第２の実施形態を説明するための図である。この実施形態では相関の高いフレームを抽出することが難しいケースへの対応について説明する。このようなケースは例えばスタジアムにおいて観客動員数が少なく、映像を撮影可能なモバイル端末の分布がまばら、つまりモバイル端末間の距離が長いときに生じ得る。
【００６９】
相関値の低い画像フレームしか撮影できない上記のようなケースでは、フレーム群を含むグループを少ししか生成できないか、あるいは生成できない。そこで第２の実施形態では、補間用の画像フレームを生成することを考える。
【００７０】
図１４はそのような状況を想定するものである。例えば視点ＡおよびＢにおいて画像フレームが撮影されたとする。視点Ａ，Ｂ間の距離（Distance）が長いと各視点Ａ，Ｂで得られるフレームの相関性は低くなり、間隔の程度によってはグルーピング可能なフレームが一つも存在しないことが考えられる。つまり位置ＡにおけるフレームＡと位置ＢにおけるフレームＢとの相関値は、視点Ａ，Ｂの距離によっては閾値を下回ると考えられる。
【００７１】
そこで第２の実施形態では、フレームＡとフレームＢとを用いて補間フレームＡ′を生成する。補間フレームの生成は主に相関処理部５０６の演算処理により実現される。補間フレームＡ′は、視点Ａ′の位置情報（例えば視点Ａからの距離Δd）を用いて、例えばフレームＡとフレームＢのそれぞれの画素値を内挿演算するなどの画像処理により生成することができる。
【００７２】
すなわち相関処理部５０６は、複数のフレームを画像処理し、これらの複数のフレームを補間する新たなフレームを生成する。このようにすればフレームＡとＡ′とのグループ、フレームＡ′とＢとのグループを作成できるようになり、相関処理部５０６はそのようなグルーピング処理を行う。このようにして生成したグループから視差映像を生成することができる。
従って第２の実施形態によれば、第１の実施形態で得られる効果に加えて、フレームのグルーピングが困難なケースにも対処することが可能になる。
【００７３】
なお、実画像フレームＡ，Ｂの相関があまりにも低すぎるケースでは、生成された補間画像フレームＡ′を用いてもグルーピングができないことも考えられ、生成される視差映像の完成度も低くなる。相関値に下限閾値を設けておくことで、このようなケースにも対応することが可能である。
【００７４】
例えば図１４における左端のフレームの相関値は７０であり、これは相関性がないとしてグルーピングの対象から除外される。右に移るほどに相関性は徐々に高まり、値８０では十分な相関性はないものの、擬似視差映像としてデータベースに順次蓄積される。値９０を超えれば十分な相関性有りとして、生成された補間画像フレームから生成された視差映像は擬似視差映像としてデータベースに蓄積される。
【００７５】
［第３の実施形態］
図１５は、視差映像の生成に係わる第３の実施形態を説明するための図である。図１５においては、視点Ａと対象物との距離、および視点Ｂと対象物の距離の差が大きいケースを想定する。このようなケースでは遠近差が大きく、視点Ａでは大きくはっきり見える対象物も、視点Ｂでは不鮮明になることが考えられる。
【００７６】
そこで第３の実施形態では、撮影位置による遠近差を考慮してフレーム間の相関性を判定することを考える。すなわちフレーム間の相関性が高いと判定されたケースでも、撮影位置の状況から遠近差が大きく、視差映像の生成に適さない場合がある。そこで第３の実施形態では、相関値に加えてＳｃａｌａｂｌｅ（倍率値）を加味し、フレーム間の相関性を判定するようにする。
【００７７】
この判定は主に相関処理部５０６の演算処理により実現される。すなわち相関処理部５０６は、フレーム間の相関値に加えて倍率値を参照して複数のフレームをグループ化する。例えば、倍率は２．０以下というような閾値を設けることにより、相関値は高いがグルーピング対象としては除外すべき対象であると判定することが可能になる。
【００７８】
図１５において例えばフレーム間の相関性が完全に同一である場合を値１００と定義したとすると、値７０では、単一的にはフレーム間に十分な相関性はないが、相似性（Ｓｃａｌｅ）で評価すれば十分な相関性があると看做せるフレームについてはグルーピングの対象とし、擬似視差映像の生成に供するようにする。値９０以上のフレームについては十分な相関性があるとして、擬似視差映像を生成する。以上のようにすれば、第１の実施形態で得られる効果に加え、鮮明さを保った３Ｄ映像を形成することが可能になる。
【００７９】
なお本発明は上記実施形態に限定されるものではない。
例えば図１２においてはストリーミング配信部４００をシステムサーバ５００に一体化して示したが、ストリーミング配信部４００をシステムサーバ５００とは別体で実装しても良い。このようなケースでは、図１３の問い合わせ要求／問い合わせ応答は送信データ処理部５０１／受信データ処理部５１１を介して、ストリーミング配信部４００とシステムサーバ５００との間で授受される。
【００８０】
また、視差映像、あるいは視差映像から生成された立体映像の供給を受けるクライアントは、映像データを提供したモバイル端末に限られるものではない。映像データをシステムに提供しない端末、あるいは撮影機能を備えていない端末においても立体映像の提供を受けられるようにすることができる。これは、サービスの提供に係わるビジネスモデルに応じて自由に可変できる事柄であり、例えばセッション・チケット管理部１００における認証処理、ライセンス提供などの機能をシステム要求に応じて設計すれば良い。あるいは逆に、例えば立体映像の配信に際して、映像データをシステムに提供した端末を優先するなどのビジネスモデルも考え得る。
【００８１】
また実施形態では位置情報をＧＰＳにより取得するようにした。これに代えて角速度センサ（ジャイロセンサ）を備えるモバイル端末を用いれば、同様の機能を実現できる。角速度センサを用いれば撮像機の視点が何処を向いているかを検知することができるし、その情報を例えば補助的に用いて画像フレーム間の相関値を算出することも可能である。
【００８２】
また第３の実施形態では倍率値を用いて不鮮明なフレームを除外するようにしたが、例えば、対象物に遠いモバイル端末が精細なフォーカスで撮影し、対象物に近いモバイル端末のフォーカスが甘ければ、両者で撮影されたフレームの鮮明さは同程度になると思われる。つまりフレームのグループ化に際してフレームごとのフォーカスを指標として相関値を再評価することも可能である。
【００８３】
フレームのフォーカスに係わる情報も、モバイル端末の動画撮影機能で録画（取得）される映像の特性を示すパラメータ情報として取得可能である。このように撮影時のフォーカスも考慮すれば３Ｄ映像の形成にさらに寄与できるであろう。
【００８４】
本発明のいくつかの実施形態を説明したが、これらの実施形態は例として提示するものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００８５】
１…ＩＰネットワーク、ａ，ｂ，ｃ，ｄ，ｅ…モバイル端末、１００…セッション・チケット管理部、２００…データストレージ部、３００…メディア変換部、４００…ストリーミング配信部、４…パーソナルコンピュータ（ＰＣ）、５…ＩＰＴＶ、６…ＳＴＢ、７…ＰＤＣ端末、５０１…受信データ処理部、５０２…端末情報登録部、５０３…映像データ分析部、５０４…位置時刻管理部、５０５…映像データ処理部、５０６…相関処理部、５０７…視差映像生成部、５０８…エンコード部、５０９…ファイルフォーマット部、５１０…セグメンテーション部、５１１…送信データ処理部、４ａ，４ｂ，４ｃ…配信サーバ、５００…システムサーバ、６００…配信サーバ管理部、５１２…ライセンス・チケット情報取得部、５１３…配信サーバ情報取得部、５１４…配信サーバ問い合わせ部、５１５…配信サーバ確定部、４ａ，４ｂ，４ｃ，４ｄ…配信サーバ
【特許請求の範囲】
【請求項１】
モバイル端末によりアクセス可能なネットワークを利用する視差映像生成システムであって、
動画撮影機能を備える撮像機付きモバイル端末により取得された映像データを含むストリームデータを前記ネットワークを介して収集する収集部と、
異なる撮像機付きモバイル端末で取得された映像データに基づいて、前記収集部により収集されたストリームデータから視差映像を生成する視差映像データ生成部とを具備する視差映像生成システム。
【請求項２】
前記視差映像データ生成部は、
前記モバイル端末に備わる動画撮影機能で取得される取得映像の特性を示すパラメータ情報に基づいて前記映像データをデコードし、当該映像データから複数のフレームを復元するデコード部と、
前記複数のフレームに付随する撮影位置と撮影時刻とを前記ストリームデータから抽出する抽出部と、
前記撮影位置と前記撮影時刻とを前記フレームごとに参照して、既定の距離内および前記時間内で撮影されたフレームのうち互いの相関値が既定の閾値以上のフレーム群をグループ化する相関処理部とを備え、
前記グループのそれぞれに含まれるフレームから前記視差映像を生成する、請求項１に記載の視差映像生成システム。
【請求項３】
前記収集部は、前記取得映像の特性を示すパラメータ情報を前記モバイル端末から取得してデータベースに蓄積し、
前記デコード部は、前記データベースに蓄積された前記パラメータ情報を用いて前記映像データをデコードする、請求項２に記載の視差映像生成システム。
【請求項４】
前記撮像機付きモバイル端末は、測位衛星から到達する電波を用いて位置情報および時刻情報を算出する測位処理部を備え、
前記撮影時刻および前記撮影位置は、前記測位処理部により算出された時刻情報および位置情報を反映する、請求項２に記載の視差映像生成システム。
【請求項５】
前記相関処理部は、前記複数のフレームを画像処理して当該複数のフレームを補間する新たなフレームを生成し、この新たなフレームと当該複数のフレームとをグループ化する、請求項２に記載の視差映像生成システム。
【請求項６】
前記相関処理部は、前記フレーム間の前記相関値と倍率値とに基づいて前記フレーム群をグループ化する、請求項２に記載の視差映像生成システム。
【請求項７】
モバイル端末によりアクセス可能なネットワークを利用する視差映像生成方法であって、
前記ネットワークに接続される収集部が、動画撮影機能を備える撮像機付きモバイル端末により取得された映像データを含むストリームデータを前記ネットワークを介して収集し、
前記収集部に接続される視差映像データ生成部が、異なる撮像機付きモバイル端末で取得された映像データに基づいて、前記収集部により収集されたストリームデータから視差映像を生成する、視差映像生成方法。
【請求項８】
前記生成することは、
前記モバイル端末に備わる動画撮影機能で取得される取得映像の特性を示すパラメータ情報に基づいて前記映像データをデコードし、
前記デコードされた映像データから複数のフレームを復元し、
前記複数のフレームに付随する撮影位置と撮影時刻とを前記ストリームデータから抽出し、
前記撮影位置と前記撮影時刻とを前記フレームごとに参照し、
既定の距離内および前記時間内で撮影されたフレームのうち互いの相関値が既定の閾値以上のフレーム群をグループ化し、
前記グループのそれぞれに含まれるフレームから前記視差映像を生成する、請求項７に記載の視差映像生成方法。
【請求項９】
前記グループ化することは、
前記距離内および前記時間内で撮影されたフレーム同士の互いの相関値を算出することと、
前記算出された相関値と前記既定の閾値とを比較することとを含む、請求項８に記載の視差映像生成方法。
【請求項１０】
前記収集することは、前記取得映像の特性を示すパラメータ情報を前記モバイル端末から取得してデータベースに蓄積し、
前記デコードすることは、前記データベースに蓄積された前記パラメータ情報を用いて前記映像データをデコードする、請求項８に記載の視差映像生成方法。
【請求項１１】
前記撮像機付きモバイル端末が、測位衛星から到達する電波を用いて位置情報および時刻情報を算出し、
前記撮影時刻および前記撮影位置は、前記測位処理部により算出された時刻情報および位置情報を反映する、請求項８に記載の視差映像生成方法。
【請求項１２】
さらに、前記視差映像データ生成部が、前記複数のフレームを画像処理して当該複数のフレームを補間する新たなフレームを生成し、
前記グループ化することは、前記生成された新たなフレームと当該複数のフレームとをグループ化する、請求項８に記載の視差映像生成方法。
【請求項１３】
前記グループ化することは、前記フレーム間の前記相関値と倍率値とに基づいて前記フレーム群をグループ化する、請求項８に記載の視差映像生成方法。
【請求項１４】
モバイル端末によりアクセス可能なネットワークを利用する映像配信システムであって、
視差映像を生成する視差映像生成部と、
前記生成された視差映像をクライアントに配信する配信部とを具備し、
前記視差映像生成部は、
動画撮影機能を備える撮像機付きモバイル端末により取得された映像データを含むストリームデータを前記ネットワークを介して収集する収集部と、
異なる撮像機付きモバイル端末で取得された映像データに基づいて、前記収集部により収集されたストリームデータから前記視差映像を生成する視差映像データ生成部とを備え、
前記配信部は、
前記生成された視差映像を前記クライアントが視聴可能な形式に変換して視聴用のデータを生成する視聴データ生成部を備える、映像配信システム。
【請求項１５】
前記視差映像データ生成部は、
前記モバイル端末に備わる動画撮影機能で取得される取得映像の特性を示すパラメータ情報に基づいて前記映像データをデコードし、当該映像データから複数のフレームを復元するデコード部と、
前記複数のフレームに付随する撮影位置と撮影時刻とを前記ストリームデータから抽出する抽出部と、
前記撮影位置と前記撮影時刻とを前記フレームごとに参照して、既定の距離内および前記時間内で撮影されたフレームのうち互いの相関値が既定の閾値以上のフレーム群をグループ化する相関処理部とを備え、
前記グループのそれぞれに含まれるフレームから前記視差映像を生成する、請求項１４に記載の映像配信システム。
【請求項１６】
前記収集部は、前記取得映像の特性を示すパラメータ情報を前記モバイル端末から取得してデータベースに蓄積し、
前記デコード部は、前記データベースに蓄積された前記パラメータ情報を用いて前記映像データをデコードする、請求項１５に記載の映像配信システム。
【請求項１７】
前記相関処理部は、前記複数のフレームを画像処理して当該複数のフレームを補間する新たなフレームを生成し、この新たなフレームと当該複数のフレームとをグループ化する、請求項１５に記載の映像配信システム。
【請求項１８】
前記相関処理部は、前記フレーム間の前記相関値と倍率値とに基づいて前記フレーム群をグループ化する、請求項１５に記載の映像配信システム。
【請求項１９】
前記視聴データ生成部は、
前記生成された視差映像を、前記クライアントにおいて視聴可能な視聴映像の特性を示すパラメータ情報に基づいて符号化するエンコード部と、
前記符号化された視差映像をコンテンツファイル化するファイル生成部とを備える、請求項１４に記載の映像配信システム。
【請求項２０】
前記視聴データ生成部は、
前記生成された視差映像を、前記クライアントにおいて視聴可能な視聴映像の特性を示すパラメータ情報に基づいて符号化するエンコード部と、
前記符号化された視差映像をストリーム配信用のピースブロックデータとするセグメンテーション部とを備える、請求項１４に記載の映像配信システム。
【請求項２１】
前記収集部は、前記視聴映像の特性を示すパラメータ情報を前記クライアントから取得してデータベースに蓄積し、
前記エンコード部は、前記データベースに蓄積された前記パラメータ情報を用いて前記視差映像を符号化する、請求項１９および２０のいずれかに記載の映像配信システム。
【請求項２２】
前記撮像機付きモバイル端末は、測位衛星から到達する電波を用いて位置情報および時刻情報を算出する測位処理部を備え、
前記撮影時刻および前記撮影位置は、前記測位処理部により算出された時刻情報および位置情報を反映する、請求項１５に記載の映像配信システム。
【請求項２３】
モバイル端末によりアクセス可能なネットワークを利用する映像配信方法であって、
前記ネットワークに接続される収集部が、動画撮影機能を備える撮像機付きモバイル端末により取得された映像データを含むストリームデータを前記ネットワークを介して収集し、
前記収集部に接続される視差映像データ生成部が、異なる撮像機付きモバイル端末で取得された映像データに基づいて、前記収集部により収集されたストリームデータから視差映像を生成し、
前記視差映像データ生成部に接続される視聴データ生成部が、前記生成された視差映像を前記クライアントが視聴可能な形式に変換して視聴用のデータを生成し、
前記視聴データ生成部により生成された前記視聴用のデータを配信する、映像配信方法。
【請求項１】
モバイル端末によりアクセス可能なネットワークを利用する視差映像生成システムであって、
動画撮影機能を備える撮像機付きモバイル端末により取得された映像データを含むストリームデータを前記ネットワークを介して収集する収集部と、
異なる撮像機付きモバイル端末で取得された映像データに基づいて、前記収集部により収集されたストリームデータから視差映像を生成する視差映像データ生成部とを具備する視差映像生成システム。
【請求項２】
前記視差映像データ生成部は、
前記モバイル端末に備わる動画撮影機能で取得される取得映像の特性を示すパラメータ情報に基づいて前記映像データをデコードし、当該映像データから複数のフレームを復元するデコード部と、
前記複数のフレームに付随する撮影位置と撮影時刻とを前記ストリームデータから抽出する抽出部と、
前記撮影位置と前記撮影時刻とを前記フレームごとに参照して、既定の距離内および前記時間内で撮影されたフレームのうち互いの相関値が既定の閾値以上のフレーム群をグループ化する相関処理部とを備え、
前記グループのそれぞれに含まれるフレームから前記視差映像を生成する、請求項１に記載の視差映像生成システム。
【請求項３】
前記収集部は、前記取得映像の特性を示すパラメータ情報を前記モバイル端末から取得してデータベースに蓄積し、
前記デコード部は、前記データベースに蓄積された前記パラメータ情報を用いて前記映像データをデコードする、請求項２に記載の視差映像生成システム。
【請求項４】
前記撮像機付きモバイル端末は、測位衛星から到達する電波を用いて位置情報および時刻情報を算出する測位処理部を備え、
前記撮影時刻および前記撮影位置は、前記測位処理部により算出された時刻情報および位置情報を反映する、請求項２に記載の視差映像生成システム。
【請求項５】
前記相関処理部は、前記複数のフレームを画像処理して当該複数のフレームを補間する新たなフレームを生成し、この新たなフレームと当該複数のフレームとをグループ化する、請求項２に記載の視差映像生成システム。
【請求項６】
前記相関処理部は、前記フレーム間の前記相関値と倍率値とに基づいて前記フレーム群をグループ化する、請求項２に記載の視差映像生成システム。
【請求項７】
モバイル端末によりアクセス可能なネットワークを利用する視差映像生成方法であって、
前記ネットワークに接続される収集部が、動画撮影機能を備える撮像機付きモバイル端末により取得された映像データを含むストリームデータを前記ネットワークを介して収集し、
前記収集部に接続される視差映像データ生成部が、異なる撮像機付きモバイル端末で取得された映像データに基づいて、前記収集部により収集されたストリームデータから視差映像を生成する、視差映像生成方法。
【請求項８】
前記生成することは、
前記モバイル端末に備わる動画撮影機能で取得される取得映像の特性を示すパラメータ情報に基づいて前記映像データをデコードし、
前記デコードされた映像データから複数のフレームを復元し、
前記複数のフレームに付随する撮影位置と撮影時刻とを前記ストリームデータから抽出し、
前記撮影位置と前記撮影時刻とを前記フレームごとに参照し、
既定の距離内および前記時間内で撮影されたフレームのうち互いの相関値が既定の閾値以上のフレーム群をグループ化し、
前記グループのそれぞれに含まれるフレームから前記視差映像を生成する、請求項７に記載の視差映像生成方法。
【請求項９】
前記グループ化することは、
前記距離内および前記時間内で撮影されたフレーム同士の互いの相関値を算出することと、
前記算出された相関値と前記既定の閾値とを比較することとを含む、請求項８に記載の視差映像生成方法。
【請求項１０】
前記収集することは、前記取得映像の特性を示すパラメータ情報を前記モバイル端末から取得してデータベースに蓄積し、
前記デコードすることは、前記データベースに蓄積された前記パラメータ情報を用いて前記映像データをデコードする、請求項８に記載の視差映像生成方法。
【請求項１１】
前記撮像機付きモバイル端末が、測位衛星から到達する電波を用いて位置情報および時刻情報を算出し、
前記撮影時刻および前記撮影位置は、前記測位処理部により算出された時刻情報および位置情報を反映する、請求項８に記載の視差映像生成方法。
【請求項１２】
さらに、前記視差映像データ生成部が、前記複数のフレームを画像処理して当該複数のフレームを補間する新たなフレームを生成し、
前記グループ化することは、前記生成された新たなフレームと当該複数のフレームとをグループ化する、請求項８に記載の視差映像生成方法。
【請求項１３】
前記グループ化することは、前記フレーム間の前記相関値と倍率値とに基づいて前記フレーム群をグループ化する、請求項８に記載の視差映像生成方法。
【請求項１４】
モバイル端末によりアクセス可能なネットワークを利用する映像配信システムであって、
視差映像を生成する視差映像生成部と、
前記生成された視差映像をクライアントに配信する配信部とを具備し、
前記視差映像生成部は、
動画撮影機能を備える撮像機付きモバイル端末により取得された映像データを含むストリームデータを前記ネットワークを介して収集する収集部と、
異なる撮像機付きモバイル端末で取得された映像データに基づいて、前記収集部により収集されたストリームデータから前記視差映像を生成する視差映像データ生成部とを備え、
前記配信部は、
前記生成された視差映像を前記クライアントが視聴可能な形式に変換して視聴用のデータを生成する視聴データ生成部を備える、映像配信システム。
【請求項１５】
前記視差映像データ生成部は、
前記モバイル端末に備わる動画撮影機能で取得される取得映像の特性を示すパラメータ情報に基づいて前記映像データをデコードし、当該映像データから複数のフレームを復元するデコード部と、
前記複数のフレームに付随する撮影位置と撮影時刻とを前記ストリームデータから抽出する抽出部と、
前記撮影位置と前記撮影時刻とを前記フレームごとに参照して、既定の距離内および前記時間内で撮影されたフレームのうち互いの相関値が既定の閾値以上のフレーム群をグループ化する相関処理部とを備え、
前記グループのそれぞれに含まれるフレームから前記視差映像を生成する、請求項１４に記載の映像配信システム。
【請求項１６】
前記収集部は、前記取得映像の特性を示すパラメータ情報を前記モバイル端末から取得してデータベースに蓄積し、
前記デコード部は、前記データベースに蓄積された前記パラメータ情報を用いて前記映像データをデコードする、請求項１５に記載の映像配信システム。
【請求項１７】
前記相関処理部は、前記複数のフレームを画像処理して当該複数のフレームを補間する新たなフレームを生成し、この新たなフレームと当該複数のフレームとをグループ化する、請求項１５に記載の映像配信システム。
【請求項１８】
前記相関処理部は、前記フレーム間の前記相関値と倍率値とに基づいて前記フレーム群をグループ化する、請求項１５に記載の映像配信システム。
【請求項１９】
前記視聴データ生成部は、
前記生成された視差映像を、前記クライアントにおいて視聴可能な視聴映像の特性を示すパラメータ情報に基づいて符号化するエンコード部と、
前記符号化された視差映像をコンテンツファイル化するファイル生成部とを備える、請求項１４に記載の映像配信システム。
【請求項２０】
前記視聴データ生成部は、
前記生成された視差映像を、前記クライアントにおいて視聴可能な視聴映像の特性を示すパラメータ情報に基づいて符号化するエンコード部と、
前記符号化された視差映像をストリーム配信用のピースブロックデータとするセグメンテーション部とを備える、請求項１４に記載の映像配信システム。
【請求項２１】
前記収集部は、前記視聴映像の特性を示すパラメータ情報を前記クライアントから取得してデータベースに蓄積し、
前記エンコード部は、前記データベースに蓄積された前記パラメータ情報を用いて前記視差映像を符号化する、請求項１９および２０のいずれかに記載の映像配信システム。
【請求項２２】
前記撮像機付きモバイル端末は、測位衛星から到達する電波を用いて位置情報および時刻情報を算出する測位処理部を備え、
前記撮影時刻および前記撮影位置は、前記測位処理部により算出された時刻情報および位置情報を反映する、請求項１５に記載の映像配信システム。
【請求項２３】
モバイル端末によりアクセス可能なネットワークを利用する映像配信方法であって、
前記ネットワークに接続される収集部が、動画撮影機能を備える撮像機付きモバイル端末により取得された映像データを含むストリームデータを前記ネットワークを介して収集し、
前記収集部に接続される視差映像データ生成部が、異なる撮像機付きモバイル端末で取得された映像データに基づいて、前記収集部により収集されたストリームデータから視差映像を生成し、
前記視差映像データ生成部に接続される視聴データ生成部が、前記生成された視差映像を前記クライアントが視聴可能な形式に変換して視聴用のデータを生成し、
前記視聴データ生成部により生成された前記視聴用のデータを配信する、映像配信方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１３−６５９３６（Ｐ２０１３−６５９３６Ａ）
【公開日】平成２５年４月１１日（２０１３．４．１１）
【国際特許分類】
【出願番号】特願２０１１−２０１９２７（Ｐ２０１１−２０１９２７）
【出願日】平成２３年９月１５日（２０１１．９．１５）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２５年４月１１日（２０１３．４．１１）
【国際特許分類】
【出願日】平成２３年９月１５日（２０１１．９．１５）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]