配信システム
【課題】動画データの配信を容易にする技術を提供する。
【解決手段】動画データを構成する各画像を識別し、各画像の順に従って順序情報を生成し、前記動画データを構成する各画像を他の画像と比較し、少なくとも一部が一致した画像の一方を被参照画像、他方を参照画像とし、前記比較の結果によって一致しなかった画像、及び被参照画像を複数の配信サーバの記憶部に格納させた際の格納先を示す格納先情報の入力を受け、前記参照画像と当該参照画像に少なくとも一部が一致した被参照画像との対応関係を示す表示指示情報、前記順序情報、並びに、前記格納先情報を含むメタファイルを生成し、メタファイルに基づいた画像ファイル取得要求に応じて、配信する。
【解決手段】動画データを構成する各画像を識別し、各画像の順に従って順序情報を生成し、前記動画データを構成する各画像を他の画像と比較し、少なくとも一部が一致した画像の一方を被参照画像、他方を参照画像とし、前記比較の結果によって一致しなかった画像、及び被参照画像を複数の配信サーバの記憶部に格納させた際の格納先を示す格納先情報の入力を受け、前記参照画像と当該参照画像に少なくとも一部が一致した被参照画像との対応関係を示す表示指示情報、前記順序情報、並びに、前記格納先情報を含むメタファイルを生成し、メタファイルに基づいた画像ファイル取得要求に応じて、配信する。
【発明の詳細な説明】
【技術分野】
【0001】
本件は、動画データを配信する技術に関する。
【背景技術】
【0002】
デジタル技術の発達に伴い、デジタルデータで動画を作成してサーバに格納し、ネットワークを介して配信する技術が広汎に普及している。
【0003】
動画のデジタルデータ(以下単に動画データとも称す)は、一般にデータ量が多く、ネットワークを介して配信する場合、ネットワークの帯域を浪費してしまわないように、適切な圧縮技術によってデータを圧縮することが求められる。
【0004】
また、再生したい動画データを選択してサーバから端末へ受信し、この受信した動画データを端末で再生する構成とした場合、動画データを受信するまでに時間がかるため、ユーザは動画データを要求してから再生できるようになるまで、長い時間待たなければならない。
【0005】
そこで、サーバから動画データを受信しながら、同時に再生することにより、ユーザの待ち時間を短縮する技術、所謂ストリーミングも広く利用されている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2009−290552号公報
【特許文献2】特開2003−102006号公報
【特許文献3】特開2000−090249号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
従来、ストリーミングサーバがユーザ端末と接続してストリーミングを開始すると、当該ユーザ端末との接続をストリーミングが終了するまで維持しなければならないため、ストリーミングの要求が輻輳した場合であってもストリーミング中の接続を動的に切り換えることができず、負荷を調整することができないという問題点があった。
【0008】
また、従来のストリーミング再生は、動画データを先頭から順に配信するため、ユーザ端末側で、動画の途中から再生を行う操作や、早送り/巻き戻しを行う操作を行いたい場合に、非常時間がかかる、或いはバッファリング済みのデータに対する操作しか行えないといった問題があった。
【0009】
更に、ストリーミングを行う場合、RTSP(Real Time Streaming Protocol)やRTMP (Real Time Messaging Protocol)といったストリーミング用のプロトコルに対応した
ストリーミングサーバが必要となりシステムを導入する際のハードルが高い。また、ネットワーク環境が不十分な地域でストリーミングを行うと、動画データの受信が再生に間に合わず、円滑に再生できないことがある。
【0010】
そこで、開示のシステムは、動画データの配信を容易にする技術の提供を目的とする。
【課題を解決するための手段】
【0011】
上記課題を解決するため、本発明の配信システムは、
複数の配信サーバとメタサーバを備え、
前記メタサーバが、ユーザ端末から受信した動画データの配信要求に対して、当該動画データを構成する各画像の格納先を示す格納先情報を含むメタファイルを当該ユーザ端末に送信するメタファイル提供部を備え、
前記複数のサーバが、
前記画像を格納する記憶部と、
前記ユーザ端末から前記メタファイルに基づく前記画像の取得要求を受信した場合に、当該取得要求に応じた画像を前記記憶部から読み出して一画像毎に当該ユーザ端末へ配信する配信部と、を有する。
【0012】
また、前記配信システムは、
前記メタサーバへ動画データの配信要求を送信する要求送信部と、
前記メタサーバからメタファイルを受信するメタファイル受信部と、
受信したメタファイルの格納先情報に基づいて、前記動画データを構成する各画像の取得要求をそれぞれの格納先である前記配信サーバに対して送信する取得要求部と、
前記取得要求によって受信した前記画像を再生する再生部と、を有するユーザ端末を更に備えても良い。
【0013】
前記配信システムは、
前記動画データを構成する各画像を他の画像と比較し、少なくとも一部が一致した画像の一方を被参照画像、他方を参照画像とする場合に、
前記メタファイルの格納先情報を、前記一致しなかった画像及び被参照画像の格納先を示す情報とし、
前記メタファイルが、前記参照画像と当該参照画像に少なくとも一部が一致した被参照画像との対応関係を示す表示指示情報、並びに、前記一致しなかった画像と前記被参照画像と前記参照画像との再生順を示す順序情報を更に備え、
前記ユーザ端末の取得要求部が前記格納先情報に基づいて前記一致しなかった画像及び被参照画像を前記配信サーバから受信し、
前記ユーザ端末の再生部が、前記順序情報に基づいて前記一致しなかった画像及び被参照画像を表示させると共に、前記順序情報に基づいて前記参照画像を表示させる際、前記表示指示情報に基づき当該参照画像に代えて、当該参照画像と対応する前記被参照画像を表示させても良い。
【0014】
前記配信システムは、
前記被参照画像と参照画像とが、一部の領域で重複している場合に、参照画像の重複していない領域のデータを被参照画像に加えて、元の被参照画像と参照画像とを含む被参照画像を合成し、合成後の被参照画像のうち元の被参照画像に相当する領域を示す元画像情報と、合成後の被参照画像のうち前記参照画像に相当する領域を示す参照画像情報とを前記表示指示情報が含み、
前記ユーザ端末の再生部が、前記被参照画像を表示する際、前記元画像情報に基づいて当該被参照画像から元の被参照画像を抽出して表示させると共に、前記参照画像を表示する際、前記参照画像情報に基づいて当該被参照画像から当該参照画像を抽出して表示させても良い。
【0015】
また、前記配信システムは、
前記表示指示情報が前記参照画像に係る表示効果情報を含み、
前記ユーザ端末の再生部が、前記参照画像に代えて前記被参照画像を表示する際、前記被参照画像に前記表示効果情報によって特定される画像処理を施して表示しても良い。
【0016】
また、本発明の配信方法は、
複数の配信サーバとメタサーバを備えた配信システムによる配信方法であって、
前記メタサーバが、ユーザ端末から受信した動画データの配信要求に対して、当該動画データを構成する各画像の格納先を示す格納先情報を含むメタファイルを当該ユーザ端末に送信するステップを実行し、
前記画像を格納する記憶部を備えた前記複数の配信サーバが、
前記ユーザ端末から前記メタファイルに基づく前記画像の取得要求を受信した場合に、当該取得要求に応じた画像を前記記憶部から読み出して一画像毎に当該ユーザ端末へ配信するステップを実行する。
【0017】
また、本発明のメタファイルの生成装置は、
動画データを構成する各画像を識別し、各画像の順に従って順序情報を生成する順序生成部と、
前記動画データを構成する各画像を他の画像と比較し、少なくとも一部が一致した画像の一方を被参照画像、他方を参照画像とする比較部と、
前記比較の結果によって一致しなかった画像、及び被参照画像を複数の配信サーバの記憶部に格納させた際の格納先を示す格納先情報の入力を受ける入力受付部と、
前記参照画像と当該参照画像に少なくとも一部が一致した被参照画像との対応関係を示す表示指示情報、前記順序情報、並びに、前記格納先情報を含むメタファイルを生成するメタファイル生成部と、を備える。
【0018】
本発明のメタファイルの生成方法は、
動画データを構成する各画像を識別し、各画像の順に従って順序情報を生成するステップと、
前記動画データを構成する各画像を他の画像と比較し、少なくとも一部が一致した画像の一方を被参照画像、他方を参照画像とするステップと、
前記比較の結果によって一致しなかった画像、及び被参照画像を複数の配信サーバの記憶部に格納させた際の格納先を示す格納先情報の入力を受けるステップと、
前記参照画像と当該参照画像に少なくとも一部が一致した被参照画像との対応関係を示す表示指示情報、前記順序情報、並びに、前記格納先情報を含むメタファイルを生成するステップと、
をコンピュータが実行する。
【発明の効果】
【0019】
開示のシステムは、動画データの配信を容易に可能とする技術を提供できる。
【図面の簡単な説明】
【0020】
【図1】本発明に係る配信システムの概略図
【図2】実施形態1におけるメタファイル生成装置の概略構成図
【図3】実施形態1にかかるメタファイル生成装置の機能ブロック図
【図4】実施形態1におけるグリッドサーバの概略構成図
【図5】実施形態1にかかるグリッドサーバの機能ブロック図
【図6】Webページ提供部によって提供されるWebページの例を示す図
【図7】実施形態1におけるユーザ端末の概略構成図
【図8】実施形態1にかかるユーザ端末の機能ブロック図
【図9】画像ファイル及びメタファイル生成方法の全体の流れを示す図
【図10】各画像のメタデータを求める処理の流れを示す図
【図11】シーンの切り替わりを判定する処理の説明図
【図12】シーンの切り替わりを判定する処理の説明図
【図13】画像を分類する処理の説明図
【図14】同一画像を判定する処理の説明図
【図15】部分一致した画像を合成する処理の流れを示す図
【図16】部分一致した画像を合成する処理の説明図
【図17】画像合成処理の流れを示す図
【図18】動画の配信方法の説明図
【図19】メタファイルの一例を示す図
【図20】再生時のユーザインタフェースの一例を示す図
【図21】メタファイルの構成を示す図
【図22】専用ソフトを用いた動画再生処理の流れを示す図
【発明を実施するための形態】
【0021】
以下、図面を参照して本発明を実施するための形態について説明する。以下の実施の形態の構成は例示であり、本発明は実施の形態の構成に限定されない。
【0022】
(1)システム構成
図1は、本発明に係る配信システムの構成図である。本例の配信システム10は、ウェブページを提供するウェブサーバ5と、動画データ(コンテンツ)のメタ情報を作成するメタファイル生成装置1と、メタ情報をユーザ端末3に提供するグリッドサーバ(メタサーバ)4と、動画データを配信する複数の配信サーバ2と、配信サーバ2から動画データを取得してリアルタイムに再生するユーザ端末3とを有している。
【0023】
ユーザ端末3が、動画データの配信をグリッドサーバ4に要求すると、グリッドサーバ4は、当該ユーザ端末3へメタファイルを送信する。ユーザ端末3は、メタファイルに基づき、動画データを構成する各画像を配信サーバ2から受信し、順次再生する。
【0024】
本実施形態では、動画データを構成する各画像をそれぞれ一つの画像ファイルのように、一画像毎に取得可能とし、且つ複数の配信サーバに動画データを格納している。このため、動画データの再生中であっても、配信要求の輻輳等によって配信サーバ2との通信速度が充分に確保できなくなった場合、他の配信サーバに切り替えて以降の画像を取得することができる。
【0025】
(2)メタファイル生成装置1のハードウェア構成
図2は、メタファイル生成装置1のハードウェア構成を示した図である。メタファイル生成装置1は、CPU(Central Processing Unit)101と、ROM(Read Only Memory)102と、RAM(Random Access Memory)103と、ホストバス104と、ブリッ
ジ105と、外部バス106と、インタフェース107と、入力装置108と、出力装置110と、ストレージ装置(HDD)111と、通信装置115とを備えるコンピュータである。
【0026】
CPU101は、演算処理装置および制御装置として機能し、各種プログラムに従ってメタファイル生成装置1内の動作全般を制御する。また、CPU101は、マイクロプロセッサであってもよい。ROM102は、CPU101が使用するプログラムや演算パラメータ等を記憶する。RAM103は、CPU101の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一次記憶する所謂メインメモリである。これらはCPUバスなどから構成されるホストバス104により相互に接続されている。
【0027】
ホストバス104は、ブリッジ105を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス106に接続されている。なお、必ずしもホス
トバス104、ブリッジ105および外部バス106を分離構成する必要はなく、一のバスにこれらの機能を実装してもよい。
【0028】
入力装置108は、例えば、マウス、キーボード、タッチパネル、ボタン、マイク、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、CPU101に出力する入力制御回路などから構成されている。メタファイル生成装置1のオペレータは、該入力装置108を操作することにより、メタファイル生成装置1に対して各種のデータを入力したり処理動作を指示したりすることができる。また、入力装置108は、CD−ROMドライブやメモリカードリーダといった記憶媒体の読み取り装置であっても良い。記憶媒体の読み取り装置は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、CPU101に入力する。
【0029】
出力装置110は、例えば、CRT(Cathode Ray Tube)ディスプレイ装置、液晶ディスプレイ(LCD)装置およびランプなどの表示装置と、スピーカおよびヘッドホンなどの音声出力装置を備える。出力装置110は、例えば、CPU101の処理結果を出力する。具体的には、入力されたデータやシステムの稼働状況等の各種情報をテキストまたはイメージで表示する。一方、音声出力装置は、メッセージや警告音、コンテンツの音声データ等を音として出力する。
【0030】
また、出力装置110は、CD−Rドライブやメモリカードライタといった記憶媒体の書き込み装置であっても良い。記憶媒体の書き込み装置は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体へ、CPU101の処理結果等の情報を出力(書き込み)する。
【0031】
なお、入力装置108と出力装置110は、記憶媒体の読み書き装置(メモリカードリーダ・ライタ等)やタッチパネルを備えたディスプレイのように、一体的に設けられても良い。
【0032】
ストレージ装置111は、本実施形態にかかるメタファイル生成装置1の記憶部の一例として構成されたデータ格納用の装置であり、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含むことができる。ストレージ装置111は、例えば、HDD(Hard Disk Drive)で構成される。このストレージ装置111は、ハードディスクを駆動
し、CPU101が実行するプログラムや各種データを格納する。例えば、このストレージ装置111には、入力された格納先情報や作成したメタファイルなどを記憶する。
【0033】
通信装置115は、例えば、通信網12に接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置115は、無線LAN(Local Area Network)やワイヤレスUSBといったワイヤレス通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。
【0034】
(3)メタファイル生成装置1の機能
図3は、本実施形態にかかるメタファイル生成装置1の機能ブロック図である。当該メタファイル生成装置1は、順序生成部131や、比較部132、入力受付部133、メタファイル生成部134を備える。これら順序生成部131や、比較部132、入力受付部133、メタファイル生成部134の機能は、主にCPU101がプログラムに従って処理を実行して通信装置115やストレージ装置111等の各部を制御して実現している。
【0035】
順序生成部131は、動画データを構成する各画像を識別し、各画像の順に従って順序情報を生成する。
【0036】
比較部132は、動画データを構成する各画像を他の画像と比較し、少なくとも一部が一致した画像の一方を被参照画像、他方を参照画像とする。
【0037】
入力受付部133は、前記比較の結果によって一致しなかった画像、及び被参照画像を複数の配信サーバの記憶部に格納させた際の格納先を示す格納先情報の入力を受ける。
【0038】
メタファイル生成部134は、前記参照画像と当該参照画像に少なくとも一部が一致した被参照画像との対応関係を示す表示指示情報、前記順序情報、並びに、前記格納先情報を含むメタファイルを生成する。
【0039】
(4)グリッドサーバのハードウェア構成
図4は、グリッドサーバ4のハードウェア構成を示した図である。グリッドサーバ4は、CPU(Central Processing Unit)401と、ROM(Read Only Memory)402と
、RAM(Random Access Memory)403と、ホストバス404と、ブリッジ405と、外部バス406と、インタフェース407と、入力装置408と、出力装置410と、ストレージ装置(HDD)411と、通信装置415とを備えるコンピュータである。
【0040】
CPU401は、演算処理装置および制御装置として機能し、各種プログラムに従ってグリッドサーバ4内の動作全般を制御する。また、CPU401は、マイクロプロセッサであってもよい。ROM402は、CPU401が使用するプログラムや演算パラメータ等を記憶する。RAM403は、CPU401の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一次記憶する所謂メインメモリである。これらはCPUバスなどから構成されるホストバス404により相互に接続されている。
【0041】
ホストバス404は、ブリッジ405を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス406に接続されている。なお、必ずしもホス
トバス404、ブリッジ405および外部バス406を分離構成する必要はなく、一のバスにこれらの機能を実装してもよい。
【0042】
入力装置408は、例えば、マウス、キーボード、タッチパネル、ボタン、マイク、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、CPU401に出力する入力制御回路などから構成されている。グリッドサーバ4のオペレータは、該入力装置408を操作することにより、グリッドサーバ4に対して各種のデータを入力したり処理動作を指示したりすることができる。また、入力装置408は、CD−ROMドライブやメモリカードリーダといった記憶媒体の読み取り装置であっても良い。記憶媒体の読み取り装置は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、CPU401に入力する。
【0043】
出力装置410は、例えば、CRT(Cathode Ray Tube)ディスプレイ装置、液晶ディスプレイ(LCD)装置およびランプなどの表示装置と、スピーカおよびヘッドホンなどの音声出力装置を備える。出力装置410は、例えば、CPU401の処理結果を出力する。具体的には、入力されたデータやシステムの稼働状況等の各種情報をテキストまたはイメージで表示する。一方、音声出力装置は、メッセージや警告音、コンテンツの音声データ等を音として出力する。
【0044】
また、出力装置410は、CD−Rドライブやメモリカードライタといった記憶媒体の書き込み装置であっても良い。記憶媒体の書き込み装置は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体へ、CPU401の処理結果等の情報を出力(書き込み)する。
【0045】
ストレージ装置411は、本実施形態にかかるグリッドサーバ4の記憶部の一例として構成されたデータ格納用の装置であり、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含むことができる。ストレージ装置411は、例えば、HDD(Hard Disk Drive)で構成される。このストレージ装置411は、ハードディスクを駆動し、C
PU401が実行するプログラムや各種データを格納する。例えば、このストレージ装置411には、メタファイル生成装置1から受信したメタファイルや、動画データを構成する各画像などを記憶する。
【0046】
通信装置415は、例えば、通信網12に接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置415は、無線LAN(Local Area Network)やワイヤレスUSBといったワイヤレス通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。
【0047】
(5)グリッドサーバ4の機能
図5は、本実施形態にかかるグリッドサーバ4の機能ブロック図である。当該グリッドサーバ4は、メタファイル提供部432や、負荷制御部434を備える。これら要求受信部431や、メタファイル提供部432、負荷制御部434の機能は、主にCPU401がプログラムに従って処理を実行して通信装置415やストレージ装置411等の各部を制御して実現している。
【0048】
メタファイル提供部432は、ユーザ端末から受信した動画データの配信要求に対して、当該動画データを構成する各画像の格納先を示す格納先情報を含むメタファイルを当該ユーザ端末3に送信する。
【0049】
負荷制御部434は、配信中の動画データの数や、動画データの転送速度、再送要求の数等に基づいて配信状況を求め、この配信状況をユーザ端末3へ通知して配信状況の悪いユーザ端末3にグリッドサーバ4の切り換えを促す、或いは配信状況の悪いユーザ端末3に対して格納先情報から抽出した他の格納先を通知し、当該格納先に基づいて他のグリッドサーバ4へ切り換えるよう促す。
【0050】
なお、本実施形態では、メタファイル提供部432、及び負荷制御部434をグリッドサーバ4に備える構成としたが、これに限らず、各機能部が本配信システム10に存在すれば、別の装置に備える構成であっても良い。例えば、メタファイル提供部432を配信サーバ2や、メタファイル生成装置1が備え、ユーザ端末3にメタファイルを提供する構成をとることも可能である。
【0051】
(6)配信サーバ2
また、配信サーバ2は、グリッドサーバ4と同様にCPU(Central Processing Unit
)と、ROM(Read Only Memory)と、RAM(Random Access Memory)と、ホストバスと、ブリッジと、外部バスと、インタフェースと、入力装置と、出力装置と、ストレージ装置(HDD)と、通信装置とを備えるコンピュータである。これらのハードウェア構成は、前述のグリッドサーバ4と略同じであるため図示を省略する。配信サーバ2のプログラムに従って、例えば配信部として機能し、ユーザ端末3からメタファイルに基づく画像の取得要求を受信した場合に、当該取得要求に応じた画像を前記記憶部から読み出して一画像毎に当該ユーザ端末へ配信する配信部としても機能する。
【0052】
(7)Webサーバ5
Webサーバ5は、グリッドサーバ4と同様にCPU(Central Processing Unit)と
、ROM(Read Only Memory)と、RAM(Random Access Memory)と、ホストバスと、ブリッジと、外部バスと、インタフェースと、入力装置と、出力装置と、ストレージ装置(HDD)と、通信装置とを備えるコンピュータである。これらのハードウェア構成は、前述のグリッドサーバ4と略同じであるため図示を省略する。Webサーバ5は、プログラムに従ってWebページを提供する機能を有する。例えば、URLによって特定されるWebページの閲覧要求をユーザ端末3から受信した場合、Webサーバ5は、当該Webページをストレージ装置111から読み出してユーザ端末3へ送信する。
図6は、Webページ提供部431によって提供されるWebページの例を示す図である。図6のWebページは、HTML等のマークアップランゲージによって記述され、動画データへのハイパーリンク91−94を含んでいる。
【0053】
(8)ユーザ端末のハードウェア構成
図7は、本実施形態におけるユーザ端末3の概略構成図である。ユーザ端末3は、CPU(Central Processing Unit)301と、ROM(Read Only Memory)302と、RA
M(Random Access Memory)303と、ホストバス304と、ブリッジ305と、外部バス306と、インタフェース307と、入力装置308と、出力装置310と、ストレージ装置(HDD)311と、通信装置315とを備えるコンピュータである。ユーザ端末3は、例えばパーソナルコンピュータ、タブレット型コンピュータ、スマートフォン、携帯電話、半導体オーディオ、テレビ、テレビチューナー、STB(Set Top Box)、デジ
タルサイネージ等である。
【0054】
CPU301は、演算処理装置および制御装置として機能し、各種プログラムに従ってユーザ端末3内の動作全般を制御する。また、CPU301は、マイクロプロセッサであってもよい。ROM302は、CPU301が使用するプログラムや演算パラメータ等を記憶する。RAM303は、CPU301の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一次記憶する所謂メインメモリである。これらはCPUバスなどから構成されるホストバス304により相互に接続されている。
【0055】
ホストバス304は、ブリッジ305を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス306に接続されている。なお、必ずしもホス
トバス304、ブリッジ305および外部バス306を分離構成する必要はなく、一のバスにこれらの機能を実装してもよい。
【0056】
入力装置308は、例えば、マウス、キーボード、タッチパネル、ボタン、マイク、スイッチ、リモコン(remote controller)およびレバーなどユーザが情報を入力するため
の入力手段と、ユーザによる入力に基づいて入力信号を生成し、CPU301に出力する入力制御回路などから構成されている。ユーザ端末3のオペレータは、該入力装置308を操作することにより、ユーザ端末3に対して各種のデータを入力したり処理動作を指示したりすることができる。また、入力装置308は、CD−ROMドライブやメモリカードリーダといった記憶媒体の読み取り装置であっても良い。記憶媒体の読み取り装置は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、CPU301に入力する。
【0057】
出力装置310は、例えば、CRT(Cathode Ray Tube)ディスプレイ装置、液晶ディスプレイ(LCD)装置およびランプなどの表示装置と、スピーカおよびヘッドホンなどの音声出力装置を備える。出力装置310は、例えば、CPU301の処理結果を出力する。具体的には、入力されたデータやシステムの稼働状況等の各種情報をテキストまたはイメージで表示する。一方、音声出力装置は、メッセージや警告音、コンテンツの音声データ等を音として出力する。
【0058】
また、出力装置310は、CD−Rドライブやメモリカードライタといった記憶媒体の書き込み装置であっても良い。記憶媒体の書き込み装置は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体へ、CPU301の処理結果等の情報を出力(書き込み)する。
【0059】
ストレージ装置311は、本実施形態にかかるユーザ端末3の記憶部の一例として構成されたデータ格納用の装置であり、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含むことができる。ストレージ装置311は、例えば、HDD(Hard Disk Drive)で構成される。このストレージ装置311は、ハードディスクを駆動し、CPU
301が実行するプログラムや各種データを格納する。
【0060】
通信装置315は、例えば、通信網12に接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置315は、無線LAN(Local Area Network)やワイヤレスUSBといったワイヤレス通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。
【0061】
なお、これらのハードウェア構成は、メタファイルに基づいて動画を再生するといったユーザ端末3の機能を実現できれば、これに限らず適宜変更可能である。例えば、デジタルサイネージにおいて、音声出力が必要ない装置であった場合、スピーカを省略しても良い。また、テレビ(モニタ)とSTBのように他の装置と組み合わせてユーザ端末の機能を実現するものでも良い。即ち、全ての要素を一つの装置内に有していなくても良い。
【0062】
(9)ユーザ端末3の機能
図8は、本実施形態にかかるユーザ端末3の機能ブロック図である。当該ユーザ端末3は、要求送信部331や、メタファイル受信部333、取得要求部334、動画再生部335を備える。これら要求送信部331、メタファイル受信部333、取得要求部334、動画再生部335の機能は、主にCPU301がプログラムに従って処理を実行して通信装置315やストレージ装置311等の各部を制御して実現している。
【0063】
要求送信部331は、配信サーバ2へWebページの閲覧要求や動画データの配信要求を送信する。例えば図6のハイパーリンク91−94が選択された場合に、リンク先である動画データのURLを配信サーバに送信することで、動画データの配信要求を行う。
【0064】
メタファイル受信部333は、配信サーバ2からメタファイルを受信し、RAM303或いはストレージ装置311に記憶させる。
【0065】
取得要求部334は、受信したメタファイルの格納先情報に基づいて、動画データを構成する各画像の取得要求をそれぞれの格納先である配信サーバ2に対して送信する。また、取得要求部334は、グリッドサーバ4の負荷制御部434から配信状況を受信し、配信要求を行っている配信サーバ2の配信状況が悪ければ、配信の要求先を他の配信サーバ2へ切り換える。また、取得要求部334は、画像ファイルの転送速度や、再送要求の数、エラー率等に基づいて配信状況を求め、この配信状況に基づいて配信を要求する配信サーバ2を切り替えても良い。なお、配信を要求する配信サーバ2は、後述のメタファイルに複数記録され、この複数の配信サーバ2から選択する。
【0066】
動画再生部335は、受信した画像をメタファイル(表示指示情報)に従って順次再生する。
【0067】
なお、これらの要求送信部331、メタファイル受信部333、取得要求部334、動
画再生部335の機能を実行するためのプログラムは、所謂ウェブブラウザであっても良い。
【0068】
(10)画像ファイル及びメタファイルの生成方法
図9−図17を用いて、メタファイル生成装置1による画像ファイル及びメタファイルの生成方法について説明する。図9は画像ファイル及びメタファイル生成方法の全体の流れを示す図、図10は各画像のメタデータを求める処理の流れを示す図、図11,図12はシーンの切り替わりを判定する処理の説明図、図13は画像を分類する処理の説明図、図14は同一画像を判定する処理の説明図、図15は部分一致した画像を合成する処理の流れを示す図、図16は部分一致した画像を合成する処理の説明図、図17はメタファイルの構成を示す図である。
【0069】
メタファイル生成装置1は、処理対象の動画データを指定する情報、生成した画像ファイルの格納先情報及びメタファイルの生成指示が入力されると、図9に示すように、メタファイルの生成処理を開始する。先ず、メタファイル生成装置1は、指定された処理対象の動画データをストレージ装置111や記憶媒体の読み取り装置(入力装置108)から読み取り、各画像をRAM103上に読み出す(ステップS10)。なお、動画データが圧縮されている場合には復号し、各画像をそれぞれビットマップデータとする。
【0070】
次にメタファイル生成装置1は、各ファイルを一画像毎に一ファイル(画像ファイル)とし、ファイル名を付けてストレージ装置111やRAM103に一時的に記憶させる(ステップS20)。
【0071】
そして、メタファイル生成装置1は、各画像を他の画像と比較して各画像のメタデータを求める処理(ステップS40)を全ての画像について繰り返す(ステップS30−S50)。
【0072】
各画像を比較してメタデータを求める処理(ステップS40)では、図10に示すように、先ず比較部132が、各画像を一つ前の画像と比較し(ステップS410)、一致度が高いか否かを判定する(S420)。この比較及び判定は、例えば当該画像と直前(一つ前)の画像の特徴点を夫々抽出し、当該画像の特徴点と直前の画像特徴点との相関をと
り、対応する特徴点を求め、当該画像において抽出した特徴点の数と対応する特徴点の数の割合を一致度として算出する。
【0073】
図11では、画像82を直前の画像81と比較した場合を示す。画像82の特徴点として抽出した箇所に、便宜上点を表示したものが82Aである。同様に画像81の特徴点として抽出した箇所に、便宜上点を表示したものが81Aである。画像82Aにおける特徴点の周囲の情報をテンプレートとし、画像81A上でテンプレートマッチングによって一致する部分を探し、一致した部分の特徴点を対応する特徴点とする。このように対応する特徴点と対応しない特徴点の割合を算出し、対応する特徴点の割合、即ち一致度が閾値以上、例えば60%以上の場合に同一シーンと判定する。なお、同一シーン内であっても登場人物の動きや背景の移動があり、それなりの画像の変化が想定されるため、同一シーンと判定するための閾値は低めに設定する。また、フレームレートが高い程、画像間の差が少なくなるため、この閾他を高く設定しても良い。また、画像の解像度が低い程、画像間の差が少なくなるので、この閾値を高く設定しても良い。
【0074】
図11に示したように、類似した画像を比較した場合、略同じように特徴点が得られ、対応する特徴点が多いので、一致度が高いと判定される。
【0075】
図12では、画像84を直前の画像83と比較した場合を示す。画像84の特徴点とし
て抽出した箇所に、便宜上点を表示したものが84Aである。同様に画像83の特徴点として抽出した箇所に、便宜上点を表示したものが83Aである。画像84Aにおける特徴点周囲の画素の情報をテンプレートとし、画像83A上でテンプレートマッチングによって一致する部分を探し、一致した部分の特徴点を対応する特徴点とする。このように対応する特徴点と対応しない特徴点の割合を算出し、対応する特徴点の割合、即ち一致度が閾値以上、例えば60%以上の場合に同一シーンと判定する。
【0076】
図12に示したように、類似しない画像を比較した場合、当然抽出した特徴点に類似は見られず、対応する特徴点が少ないので、一致度が閾値未満と判定される。
【0077】
ステップS420で一致度が高いと判定された場合(S420,Yes)、当該画像が直前の画像と同じシーンであると認識し、比較部132は、直前の画像のシーンIDと同じシーンIDを持つ画像をメタファイルからリストアップし(ステップS430)、順次RAM103上に読み出して、当該画像を同一シーン内の他の画像と比較する(ステップS440)。そして、この比較により、当該画像が、カメラをパン又はチルトして撮影したように、徐々にシフトする画像(本実施形態ではスクロール画像と称する)であるか否かの判定を行う(ステップS450)。なお、スクロール画像は、カメラで撮影した画像に限定されるものではなく、パンやチルトと同様に一方向へシフトするように作成されたアニメーションやコンピュータグラフィクスであっても良い。
【0078】
図13では、当該画像86を他の画像85と比較する例を示している。これらの画像85,86の特徴点を抽出し、画像85A,86Aのように複数の領域に分割して比較し、特徴点の移動が検出され、複数の領域の全てで同方向の移動が検出された場合、当該画像86は、スクロール画像と判定する(ステップS450,Yes)。そして、前画像との差分を前画像に合成して被参照画像とし(ステップS470)、合成後の被参照画像を所定の記憶領域に登録させる。
ここで所定の記憶領域とは、ストレージ装置111のデータ領域であっても良いし、格納先として指定された配信サーバ2上の記憶領域であっても良い。また、格納する際のファイル名は、例えば動画データを特定する情報(作品ID)と画像を特定する情報(画像ID)を組み合わせたものとしても良い。そして、メタファイル生成部134は、このスクロール画像(参照画像)を識別するための情報と、合成後の被参照画像を識別するための情報と、合成後の被参照画像のうち当該スクロール画像に相当する領域を示す領域情報とを対応つけてメタデータとしてメタファイルに記録する(ステップS490)。これによりスクロール画像86の配信を省略しても、ユーザ端末3の動画再生部335がメタファイルに基づいて合成後の被参照画像から該当領域を読み出し、スクロール画像86に代えて表示させることで動画を再生でき、配信するデータ量を削減できる。
一方、ステップS450でスクロール画像で無かった場合(ステップS450,No)、当該画像を同一シーン内の他の画像と比較して同一画像があるか否かを判定する(ステップS460)。
【0079】
図14は、同一の画像と判定する場合の具体例を示す。図14において、画像71−75が、ステップS20にて動画データから作成した各画像であり、画像73について他の画像と比較する処理を説明する。
【0080】
比較部132は、先のステップS420で画像73を直前の画像72と比較した際、画像全体としては類似しており、一致度が閾値より高いと判定し、当該画像73が直前の画像73と同一シーンであると判定し、同様に同一シーンと判定された他の画像(本例では画像71,72)を抽出して同一か否かの比較を行う(ステップS450)。図14において、当該画像73及び他の画像71,72の特徴点を抽出した画像が73A及び71A,72Aである。ここで画像71−75は登場人物が話をしているシーンであるので、画
像73Aと画像72Aを複数の領域で比較すると、口元を含む領域73Bと領域72Bとが異なり、同一の画像ではないと判別する。一方、画像73Aと画像71Aを比較した場合、同じく口を閉じた瞬間の画像であるため、複数の領域で比較しても、口元を含む領域73Bと領域71Bや、その他全ての領域の一致度が高く、同一の画像と判別する。なお、図14では便宜上、領域71B〜73Bの違いのみを示したが、実際にはどこの領域に違いが表れるのかは分からないため、画像全域について比較を行う。
【0081】
このように当該画像86が他の画像85と同一であれば、当該画像86の表示に代えて他の画像85を再表示することでも動画の再生が可能である。そこで本実施形態では、ステップS450で比較部132が比較した結果、画像86を画像85と同一の参照画像と分類した場合、メタファイル生成部134は、この参照画像86を示すメタデータと、被参照画像85を示すメタデータをメタファイルに記録する(ステップS490)。これにより同一の参照画像86の配信を省略しても、ユーザ端末3の動画再生部335がメタファイルに基づいて被参照画像85を参照し、参照画像86に代えて表示させることで動画を再生でき、配信するデータ量を削減できる。
【0082】
また、ステップS460で比較部132が比較した結果、同一の画像が同一シーン内に無かった場合、この画像(一般画像)を配信対象の画像ファイルとして所定の記憶領域に登録させ(ステップS480)、メタファイル生成部134が、この画像を識別するためのメタデータ(画像IDや格納先等)をメタファイルに記録する(ステップS490)。
【0083】
同様に、ステップS420で比較部132が、比較の結果、直前の画像との一致度が低い画像を新シーンの最初の画像と認識した場合(ステップS425)、当該画像を所定の記憶領域に登録させ(ステップS480)、メタファイル生成部134が、この画像のメタデータをメタファイルに記録する(ステップS490)。この画像のメタデータとしては、例えば、ステップS425で認識した新しいシーンのシーンIDを当該画像の情報と対応付けてメタファイルに登録しても良い。シーンIDは、シーンを特定する識別情報であり、例えば認識した順にシリアル番号を付与する。
【0084】
なお、一般画像は、後続の画像について図9のステップS30〜S50を繰り返した際、後続の画像と一致した場合には、被参照画像とされメタファイルが更新される。
【0085】
メタファイル生成装置1は、上記のように作成したメタファイルをグリッドサーバ4に送信する。
【0086】
(11)スクロール画像の被参照画像を合成する処理の詳細
ステップS470の合成処理について図15,図16を用いて詳細に説明する。図15において、画像61−64が、ステップS20にて動画データから作成された画像であり、先ず画像62について分類する処理を説明する。
【0087】
比較部132は、ステップS420で画像62を直前の画像61と比較した場合、画像全体としては類似しており、一致度が閾値より高いと判定し、同一シーンの他の画像として画像61を抽出して比較する(ステップS430,S440)。当該画像62及び他の画像61の定量化を行い、特徴点を抽出した画像が62A及び61Aである。ここで画像61−64は山の麓から山頂方向へチルトして撮影したシーンであるので、画像62Aの複数の領域A1−A9について夫々画像61Aと比較すると、山頂方向の領域A1−A3では一致度が低く、その他の領域A4−A9では一致度が高い。また、領域A4−A9における特徴点が一方向に移動している。例えば、画像61Aの領域A1における特徴点P11と対応する画像62Aの特徴点P11は矢印60方向に移動している。また、領域A5−A9の特徴点P12−P16についても矢印60と同じ方向に移動(スクロール)し
ている。
【0088】
即ち、画像62は、画像61と比べて矢印60方向にスクロールした画像であり、スクロールによって新たに画像62内に入った領域62Cが画像61と異なる差分で、その他の領域62Dは画像61と一致する。そこで、画像61に差分領域62Cを加えて被参照画像61Bを合成すると共に、合成後の被参照画像61Bのうち参照画像62と一致する領域62Eを特定する領域情報を生成する。
【0089】
同様に以降のスクロール画像についても画像の定量化、比較、合成の処理を繰り返して、図16に示すように画像63の画像62との差分領域63Cを被参照画像61Bに加えて被参照画像61Cを合成すると共に、合成後の被参照画像61Cのうち参照画像63と一致する領域63Eを特定する領域情報を生成する。
【0090】
更に画像64の画像63との差分領域64Cを被参照画像61Cに加えて被参照画像61Dを合成すると共に、合成後の被参照画像61Dのうち参照画像64と一致する領域64Eを特定する領域情報を生成する。
【0091】
これらの被参照画像を合成する処理、即ち図10に示すステップS470の処理の詳細なフローについて図17を用いて説明する。ステップS450にて画像92がスクロール画像と判別した場合、比較部132は、一致度の高い画像、通常は直前の画像61を所定の記憶領域から抽出する(ステップS510)。そしてスクロール画像62と直前の画像61の中心付近の領域を比較し(ステップS520)、移動量と方向を求める(ステップS530)。
【0092】
この移動量と方向に基づいて、画像合成部135は、スクロール画像中の差分領域を切り出し(ステップS540)、差分領域を直前の画像61に加え(ステップS550)、被参照画像61Bを合成する(ステップS560)。また、ステップS560では、メタファイル生成部134が、合成後の被参照画像61のうち、スクロール画像62に相当する領域を示す領域情報を生成する。
【0093】
また、メタファイル生成部134は、合成前の被参照画像61を配信用データの格納場所から削除する(ステップS570)。
【0094】
ステップS570の終了後、図10に示すステップS480の処理に戻り、合成後の被参照画像を所定の記憶領域に登録させる。
【0095】
(12)動画の配信方法及び再生方法
図18は動画の配信方法の説明図である。ユーザが図6に示すようなWebページ中のリンクを選択すると、ユーザ端末3は、リンク先の情報(URL等)に従ってグリッドサーバ4にアクセスし、このURLや、URLに含まれるパラメータを配信サーバ2に通知することで配信要求を行う(ステップS100)。
【0096】
ユーザ端末3からの配信要求を受信したグリッドサーバ4は、各配信サーバ2の負荷状況を確認し(ステップS103)、例えば負荷が均等に分散されるように当該ユーザ端末3への配信を行う配信サーバ2を決定する(ステップS106)。そして、グリッドサーバ4は、ユーザ端末3から配信要求として通知されたURLやパラメータ等の識別情報と対応する動画のメタファイルに、当該配信サーバを示す情報を付加し、要求元のユーザ端末3へ送信する(ステップS110)。
【0097】
メタファイルを受信したユーザ端末は、メタファイルに画像のリスト(配信リスト)に
基づいて格納先の配信サーバ2へ各画像の取得を要求する(ステップS120)。ここで、画像の取得を要求する配信サーバ2は、メタファイルを要求したサーバに限らず、メタファイルに格納先として示された複数の配信サーバ2のうち何れのものでも良い。また複数の配信サーバ2に並行して取得を要求し、それぞれから画像ファイルを受信しても良い
取得要求を受信した配信サーバ2は、該当の画像ファイルを要求元のユーザ端末3へ送信する(ステップS130)。
【0098】
画像ファイルを受信したユーザ端末3は、当該画像ファイルをバッファとしての記憶部に記憶する(ステップS140)。ここで画像ファイルをバッファリングする記憶部は、ストレージ装置311であっても良いが、配信終了後にファイルが残らないRAM303とするのが好ましい。
ユーザ端末3は、受信した画像をメタファイルに従って順次表示する表示することで動画の再生を行う(ステップS150)。
【0099】
そして、ユーザ端末3は、配信リストの画像を全て受信するまでステップS120以降の処理を繰り返す(ステップS160)。
【0100】
図19は、メタファイルの一例を示す図である。本実施形態では、メタ情報をマークアップ言語で記述し、ユーザ端末3のソフトウェア(所謂ブラウザ)がこの記述に従って画像を表示することで動画を再生するようにしている。
図19において、記述51のfps=60が、画像を表示する際のフレームレートを示す属性であり、1秒間に60枚の画像を表示させることを示している。
また、記述52のhref=が画像を配信サーバ2から取得することを示す情報であり、こ
れに続く記述54の"http://xxx.23.122.33/server1/1932108392089.png"が格納先とファイル名(識別情報)である。そして、この記述の順が、再生順を示す順序情報となる。
また、記述53の"reload" scope="scene" href="/12903840298340929.html"が、被参
照画像を再表示させる記述である。
このように、再生に必要な情報をマークアップ言語で記述することにより、ユーザ端末3側では、一般的なブラウザで本実施形態の動画再生を実現できる。
【0101】
また、これに限らず、メタ情報に基づいて、再表示やスクロール表示等をユーザ端末側で判断して実行する専用のソフトウェア(プレーヤー)を用いても良い。
図22は専用のプレーヤーを用いた場合の動画の再生方法の説明図である。図18のステップS140でバッファリングした画像が所定以上になった場合、ユーザ端末3の動画再生部335はメタファイルの再生順に従って各画像の再生処理を開始する(ステップS610)。
【0102】
動画再生部335は、先ず再生する画像の種類が同一画像か否かを判定し(ステップS620)、同一画像であればメタファイルに基づき当該同一画像の被参照画像として記録されている被参照画像をバッファから読み出して表示装置に表示させる(ステップS630)。
【0103】
また、ステップS620で画像の種類が同一画像で無い場合、シフト画像か否かを判定する(ステップS640)。ここで、シフト画像であればメタファイルに基づき当該シフト画像の被参照画像として記録されている被参照画像をバッファから読み出して、領域情報に基づいて当該シフト画像に相当する領域を切り出し(ステップS650)、切り出した領域をシフト画像に代えて表示させる(ステップS660)。
【0104】
また、ステップS640で画像の種類がシフト画像で無い場合(ステップS640,No)、当該画像の種類が一般画像か被参照画像であるので、バッファから当該画像を読み
出して表示する(ステップS670)。
【0105】
そして、動画再生部335は、メタファイルの順序情報に基づいて次に再生する画像が有るか否かを判定し、次の画像があればステップS610に戻って再生処理を繰り返し、次の画像がなければ図19の処理を終了する。
【0106】
このように図18の処理により配信サーバ2からユーザ端末3へ画像単位で配信し、これと並行してユーザ端末3が受信してバッファに格納した画像を図19に示すようにメタファイルに従って再生することで、動画データの再生を行うことができる。
【0107】
図20は、再生時のユーザインタフェースの一例である。図20において、動画を構成する各画像は、動画表示欄51に表示される。動画表示欄51の下方に配置された操作部50は、動画の再生や早送り、巻き戻し等の操作を行うためのボタン群である。
【0108】
動画再生部335は、動画の再生中に再生/停止ボタン52が選択されると、動画の再生を停止し、このとき表示されている画像の表示を続け静止状態とする。また、動画の停止中に再生/停止ボタン52が選択されると、動画の再生が開始される。早送りボタン53が選択されると、動画再生部335は、ステップS610で順序情報に基づいて再生対象の画像を選択する際、順番を飛ばして画像を選択し、再生を行う。例えば2倍速で再生する場合には画像を一つ置きに再生し、4倍速で再生する場合には画像を3つ置きに再生する。また、これと並行して取得要求部334は、順番を飛ばして取得する画像を要求し、バッファに格納して行く。
【0109】
シーン送りボタン54が選択されると、動画再生部335は、ステップS610で順序情報に基づいて再生対象の画像を選択する際、次のシーンの先頭画像を選択し、再生を行う。これと並行して取得要求部334は、シーンを飛ばして取得する画像を要求し、バッファに格納して行く。
【0110】
巻き戻しボタン55が選択されると、動画再生部335は、ステップS610で順序情報に基づいて再生対象の画像を選択する際、順番を戻して画像を選択し、再生を行う。例えば2倍速で巻き戻しする場合には画像を一つ置きに戻し、4倍速で再生する場合には画像を3つ置きに戻す。また、順番を戻した画像が、バッファ中に存在する場合には、バッファから読み出し、バッファ中に存在しない場合には、再生と並行し、取得要求部334が、これらの画像の取得を要求し、バッファに格納する。
【0111】
シーン戻りボタン56が選択されると、動画再生部335は、ステップS610で順序情報に基づいて再生対象の画像を選択する際、前のシーンの先頭画像を選択し、再生を行う。これと並行して取得要求部334は、前のシーンの先頭画像を受信し、バッファに格納する。
【0112】
本実施形態では、一画像毎に配信しているので、再生中であっても早送りや巻き戻しに対応できる。
【0113】
(13)メタファイルの構成
図21は、メタファイルの構成を示す図である。図21に示すように、本実施形態では、メタファイルに、作品ID、シーンID、画像ID(フレームID)、ファイル名、画像種類(フレーム種類)、サーバID(格納先情報)、利用フレーム数、表示上の効果を示す情報(表示効果情報)を記録している。
【0114】
作品IDは、動画データ毎に付与した識別情報であり、シーンIDはシーン毎に付与し
た識別情報である。
【0115】
画像種類は、同一画像、シフト画像、被参照画像、一般画像の種別を示す情報である。従ってメタファイルに記録されている画像のうち、被参照画像及び一般画像の画像種類となっているものが配信対象であり、この情報が配信リストに相当する。
【0116】
画像IDは動画データ中での各画像の順、即ち再生順に付与したシリアルNoであり、画像を動画データ中で一意に識別する情報であると共に、順序情報でもある。
【0117】
サーバID(格納先情報)は、各画像を格納している配信サーバ2を示す情報であり、複数のサーバが記録される。また、サーバIDは、ネットワークを介してアクセスする際のアドレス(IPアドレス等)や、このアドレスと対応付けられた識別情報等である。
【0118】
(14)画像の表示制御
ユーザ端末3の動画再生部335は、メタファイルの表示効果情報に基づいて被参照画像を画像処理して表示しても良い。
【0119】
動画では、フェードインやフェードアウトといった所定の映像効果を用いることがある。例えば、シーンの切り変わりなどで、画像が徐々に白や黒一色に変化するフェードアウトが用いられることがある。この場合、被参照画像の色調を白又は黒に近づけるように変化させながら表示することで再現することが可能である。また、フェードインの場合には、白や黒一色の画像から被参照画像に近づけるように変化させながら表示する。
【0120】
そこで、メタファイル生成装置1の比較部132は、ステップS450或いはステップS460において、画像を比較する際に、画像間に色調の変化やフォーカスの変化等、所定の変化の有無を検出する。例えば、ステップS460で画像が徐々に白や黒一色に変化する色調の変化を検出した場合、ステップS490にてメタファイル生成装置1は、同一画像のフェードアウトと認識し、この同一画像の表示効果情報としてフェードアウト(例
えば白へのフェードアウト)をメタファイルに記録する。また、ステップS450で画像
が徐々にボケていくフォーカスの変化を検出した場合、ステップS490にてメタファイル生成装置1は、スクロール画像のぼかし(フォーカス変化)と認識し、この同一画像の表示効果情報として、フォーカス変化をメタファイルに記録する。
【0121】
そして、ユーザ端末3の動画再生部335は、メタファイルに基づきステップS630にて、被参照画像を画像処理して表示する。
例えば、以下のようなメタファイルの記述に従って表示制御を行う。
<source type="image" href="http://xxx.23.122.33/server1/123456.png"
style="focus: to-defocus 3.5px 30"/>
上記Focus:がフォーカス変化の属性であることを示し、to-defocusの場合、被参照画像(上記例では123456.png)をピントが合った状態からボケた状態へと変化させる。一方、to-focusの場合、ボケた状態からピントが合った状態へと変化させる。
また、上記Focus属性の3.5pxは、ぼかし量を示し、ピクセル単位で指定する。上記例では3.5ピクセルの範囲でぼかすことを示す。
更に、上記Focus属性の30は、ぼかし時間であり、ぼかし処理を開始してから上記ぼか
し量に達するまでの秒数或いはフレーム(画像)数を示す。
【0122】
<source type="image" href="http://xxx.23.122.33/server1/123456.png"
style="fade: out white 100% 15/>
上記fade:がフェード属性であることを示し、outであれば被参照画像(上記例では123456.png)を指定色(上記例ではwhite)へ徐々に変化させてフェードアウトさせる。なお
、色の指定は、#ffffffといったRGBで記述しても良い。一方、inの場合、指定色から
徐々に被参照画像へ変化させてフェードインさせる。
また、上記フェード属性の100%は、フェード量を示し、被参照画像からどの程度指定色に近づけるかを示す。
更に、上記フェード属性の15は、フェード時間であり、フェード処理を開始してから上記フェード量に達するまでの秒数或いはフレーム(画像)数を示す。
【0123】
なお、この映像効果は、フェードイン・フェードアウトに限らず、ソラリゼーションや、モノクローム化など、被参照画像を画像処理して表示できるものであれば良い。
【0124】
以上のように、本実施形態によれば、参照画像に代えて被参照画像を表示して動画の再生を行うことができ、動画を再生する際に配信するデータ量を削減できる。
【0125】
また、動画再生中に配信サーバを切り替えることができ、負荷の集中等に応じて柔軟に対応できる。
【0126】
〈その他〉
本発明は、上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
【符号の説明】
【0127】
1 メタファイル生成装置
2 配信サーバ
3 ユーザ端末
10 配信システム
【技術分野】
【0001】
本件は、動画データを配信する技術に関する。
【背景技術】
【0002】
デジタル技術の発達に伴い、デジタルデータで動画を作成してサーバに格納し、ネットワークを介して配信する技術が広汎に普及している。
【0003】
動画のデジタルデータ(以下単に動画データとも称す)は、一般にデータ量が多く、ネットワークを介して配信する場合、ネットワークの帯域を浪費してしまわないように、適切な圧縮技術によってデータを圧縮することが求められる。
【0004】
また、再生したい動画データを選択してサーバから端末へ受信し、この受信した動画データを端末で再生する構成とした場合、動画データを受信するまでに時間がかるため、ユーザは動画データを要求してから再生できるようになるまで、長い時間待たなければならない。
【0005】
そこで、サーバから動画データを受信しながら、同時に再生することにより、ユーザの待ち時間を短縮する技術、所謂ストリーミングも広く利用されている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2009−290552号公報
【特許文献2】特開2003−102006号公報
【特許文献3】特開2000−090249号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
従来、ストリーミングサーバがユーザ端末と接続してストリーミングを開始すると、当該ユーザ端末との接続をストリーミングが終了するまで維持しなければならないため、ストリーミングの要求が輻輳した場合であってもストリーミング中の接続を動的に切り換えることができず、負荷を調整することができないという問題点があった。
【0008】
また、従来のストリーミング再生は、動画データを先頭から順に配信するため、ユーザ端末側で、動画の途中から再生を行う操作や、早送り/巻き戻しを行う操作を行いたい場合に、非常時間がかかる、或いはバッファリング済みのデータに対する操作しか行えないといった問題があった。
【0009】
更に、ストリーミングを行う場合、RTSP(Real Time Streaming Protocol)やRTMP (Real Time Messaging Protocol)といったストリーミング用のプロトコルに対応した
ストリーミングサーバが必要となりシステムを導入する際のハードルが高い。また、ネットワーク環境が不十分な地域でストリーミングを行うと、動画データの受信が再生に間に合わず、円滑に再生できないことがある。
【0010】
そこで、開示のシステムは、動画データの配信を容易にする技術の提供を目的とする。
【課題を解決するための手段】
【0011】
上記課題を解決するため、本発明の配信システムは、
複数の配信サーバとメタサーバを備え、
前記メタサーバが、ユーザ端末から受信した動画データの配信要求に対して、当該動画データを構成する各画像の格納先を示す格納先情報を含むメタファイルを当該ユーザ端末に送信するメタファイル提供部を備え、
前記複数のサーバが、
前記画像を格納する記憶部と、
前記ユーザ端末から前記メタファイルに基づく前記画像の取得要求を受信した場合に、当該取得要求に応じた画像を前記記憶部から読み出して一画像毎に当該ユーザ端末へ配信する配信部と、を有する。
【0012】
また、前記配信システムは、
前記メタサーバへ動画データの配信要求を送信する要求送信部と、
前記メタサーバからメタファイルを受信するメタファイル受信部と、
受信したメタファイルの格納先情報に基づいて、前記動画データを構成する各画像の取得要求をそれぞれの格納先である前記配信サーバに対して送信する取得要求部と、
前記取得要求によって受信した前記画像を再生する再生部と、を有するユーザ端末を更に備えても良い。
【0013】
前記配信システムは、
前記動画データを構成する各画像を他の画像と比較し、少なくとも一部が一致した画像の一方を被参照画像、他方を参照画像とする場合に、
前記メタファイルの格納先情報を、前記一致しなかった画像及び被参照画像の格納先を示す情報とし、
前記メタファイルが、前記参照画像と当該参照画像に少なくとも一部が一致した被参照画像との対応関係を示す表示指示情報、並びに、前記一致しなかった画像と前記被参照画像と前記参照画像との再生順を示す順序情報を更に備え、
前記ユーザ端末の取得要求部が前記格納先情報に基づいて前記一致しなかった画像及び被参照画像を前記配信サーバから受信し、
前記ユーザ端末の再生部が、前記順序情報に基づいて前記一致しなかった画像及び被参照画像を表示させると共に、前記順序情報に基づいて前記参照画像を表示させる際、前記表示指示情報に基づき当該参照画像に代えて、当該参照画像と対応する前記被参照画像を表示させても良い。
【0014】
前記配信システムは、
前記被参照画像と参照画像とが、一部の領域で重複している場合に、参照画像の重複していない領域のデータを被参照画像に加えて、元の被参照画像と参照画像とを含む被参照画像を合成し、合成後の被参照画像のうち元の被参照画像に相当する領域を示す元画像情報と、合成後の被参照画像のうち前記参照画像に相当する領域を示す参照画像情報とを前記表示指示情報が含み、
前記ユーザ端末の再生部が、前記被参照画像を表示する際、前記元画像情報に基づいて当該被参照画像から元の被参照画像を抽出して表示させると共に、前記参照画像を表示する際、前記参照画像情報に基づいて当該被参照画像から当該参照画像を抽出して表示させても良い。
【0015】
また、前記配信システムは、
前記表示指示情報が前記参照画像に係る表示効果情報を含み、
前記ユーザ端末の再生部が、前記参照画像に代えて前記被参照画像を表示する際、前記被参照画像に前記表示効果情報によって特定される画像処理を施して表示しても良い。
【0016】
また、本発明の配信方法は、
複数の配信サーバとメタサーバを備えた配信システムによる配信方法であって、
前記メタサーバが、ユーザ端末から受信した動画データの配信要求に対して、当該動画データを構成する各画像の格納先を示す格納先情報を含むメタファイルを当該ユーザ端末に送信するステップを実行し、
前記画像を格納する記憶部を備えた前記複数の配信サーバが、
前記ユーザ端末から前記メタファイルに基づく前記画像の取得要求を受信した場合に、当該取得要求に応じた画像を前記記憶部から読み出して一画像毎に当該ユーザ端末へ配信するステップを実行する。
【0017】
また、本発明のメタファイルの生成装置は、
動画データを構成する各画像を識別し、各画像の順に従って順序情報を生成する順序生成部と、
前記動画データを構成する各画像を他の画像と比較し、少なくとも一部が一致した画像の一方を被参照画像、他方を参照画像とする比較部と、
前記比較の結果によって一致しなかった画像、及び被参照画像を複数の配信サーバの記憶部に格納させた際の格納先を示す格納先情報の入力を受ける入力受付部と、
前記参照画像と当該参照画像に少なくとも一部が一致した被参照画像との対応関係を示す表示指示情報、前記順序情報、並びに、前記格納先情報を含むメタファイルを生成するメタファイル生成部と、を備える。
【0018】
本発明のメタファイルの生成方法は、
動画データを構成する各画像を識別し、各画像の順に従って順序情報を生成するステップと、
前記動画データを構成する各画像を他の画像と比較し、少なくとも一部が一致した画像の一方を被参照画像、他方を参照画像とするステップと、
前記比較の結果によって一致しなかった画像、及び被参照画像を複数の配信サーバの記憶部に格納させた際の格納先を示す格納先情報の入力を受けるステップと、
前記参照画像と当該参照画像に少なくとも一部が一致した被参照画像との対応関係を示す表示指示情報、前記順序情報、並びに、前記格納先情報を含むメタファイルを生成するステップと、
をコンピュータが実行する。
【発明の効果】
【0019】
開示のシステムは、動画データの配信を容易に可能とする技術を提供できる。
【図面の簡単な説明】
【0020】
【図1】本発明に係る配信システムの概略図
【図2】実施形態1におけるメタファイル生成装置の概略構成図
【図3】実施形態1にかかるメタファイル生成装置の機能ブロック図
【図4】実施形態1におけるグリッドサーバの概略構成図
【図5】実施形態1にかかるグリッドサーバの機能ブロック図
【図6】Webページ提供部によって提供されるWebページの例を示す図
【図7】実施形態1におけるユーザ端末の概略構成図
【図8】実施形態1にかかるユーザ端末の機能ブロック図
【図9】画像ファイル及びメタファイル生成方法の全体の流れを示す図
【図10】各画像のメタデータを求める処理の流れを示す図
【図11】シーンの切り替わりを判定する処理の説明図
【図12】シーンの切り替わりを判定する処理の説明図
【図13】画像を分類する処理の説明図
【図14】同一画像を判定する処理の説明図
【図15】部分一致した画像を合成する処理の流れを示す図
【図16】部分一致した画像を合成する処理の説明図
【図17】画像合成処理の流れを示す図
【図18】動画の配信方法の説明図
【図19】メタファイルの一例を示す図
【図20】再生時のユーザインタフェースの一例を示す図
【図21】メタファイルの構成を示す図
【図22】専用ソフトを用いた動画再生処理の流れを示す図
【発明を実施するための形態】
【0021】
以下、図面を参照して本発明を実施するための形態について説明する。以下の実施の形態の構成は例示であり、本発明は実施の形態の構成に限定されない。
【0022】
(1)システム構成
図1は、本発明に係る配信システムの構成図である。本例の配信システム10は、ウェブページを提供するウェブサーバ5と、動画データ(コンテンツ)のメタ情報を作成するメタファイル生成装置1と、メタ情報をユーザ端末3に提供するグリッドサーバ(メタサーバ)4と、動画データを配信する複数の配信サーバ2と、配信サーバ2から動画データを取得してリアルタイムに再生するユーザ端末3とを有している。
【0023】
ユーザ端末3が、動画データの配信をグリッドサーバ4に要求すると、グリッドサーバ4は、当該ユーザ端末3へメタファイルを送信する。ユーザ端末3は、メタファイルに基づき、動画データを構成する各画像を配信サーバ2から受信し、順次再生する。
【0024】
本実施形態では、動画データを構成する各画像をそれぞれ一つの画像ファイルのように、一画像毎に取得可能とし、且つ複数の配信サーバに動画データを格納している。このため、動画データの再生中であっても、配信要求の輻輳等によって配信サーバ2との通信速度が充分に確保できなくなった場合、他の配信サーバに切り替えて以降の画像を取得することができる。
【0025】
(2)メタファイル生成装置1のハードウェア構成
図2は、メタファイル生成装置1のハードウェア構成を示した図である。メタファイル生成装置1は、CPU(Central Processing Unit)101と、ROM(Read Only Memory)102と、RAM(Random Access Memory)103と、ホストバス104と、ブリッ
ジ105と、外部バス106と、インタフェース107と、入力装置108と、出力装置110と、ストレージ装置(HDD)111と、通信装置115とを備えるコンピュータである。
【0026】
CPU101は、演算処理装置および制御装置として機能し、各種プログラムに従ってメタファイル生成装置1内の動作全般を制御する。また、CPU101は、マイクロプロセッサであってもよい。ROM102は、CPU101が使用するプログラムや演算パラメータ等を記憶する。RAM103は、CPU101の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一次記憶する所謂メインメモリである。これらはCPUバスなどから構成されるホストバス104により相互に接続されている。
【0027】
ホストバス104は、ブリッジ105を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス106に接続されている。なお、必ずしもホス
トバス104、ブリッジ105および外部バス106を分離構成する必要はなく、一のバスにこれらの機能を実装してもよい。
【0028】
入力装置108は、例えば、マウス、キーボード、タッチパネル、ボタン、マイク、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、CPU101に出力する入力制御回路などから構成されている。メタファイル生成装置1のオペレータは、該入力装置108を操作することにより、メタファイル生成装置1に対して各種のデータを入力したり処理動作を指示したりすることができる。また、入力装置108は、CD−ROMドライブやメモリカードリーダといった記憶媒体の読み取り装置であっても良い。記憶媒体の読み取り装置は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、CPU101に入力する。
【0029】
出力装置110は、例えば、CRT(Cathode Ray Tube)ディスプレイ装置、液晶ディスプレイ(LCD)装置およびランプなどの表示装置と、スピーカおよびヘッドホンなどの音声出力装置を備える。出力装置110は、例えば、CPU101の処理結果を出力する。具体的には、入力されたデータやシステムの稼働状況等の各種情報をテキストまたはイメージで表示する。一方、音声出力装置は、メッセージや警告音、コンテンツの音声データ等を音として出力する。
【0030】
また、出力装置110は、CD−Rドライブやメモリカードライタといった記憶媒体の書き込み装置であっても良い。記憶媒体の書き込み装置は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体へ、CPU101の処理結果等の情報を出力(書き込み)する。
【0031】
なお、入力装置108と出力装置110は、記憶媒体の読み書き装置(メモリカードリーダ・ライタ等)やタッチパネルを備えたディスプレイのように、一体的に設けられても良い。
【0032】
ストレージ装置111は、本実施形態にかかるメタファイル生成装置1の記憶部の一例として構成されたデータ格納用の装置であり、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含むことができる。ストレージ装置111は、例えば、HDD(Hard Disk Drive)で構成される。このストレージ装置111は、ハードディスクを駆動
し、CPU101が実行するプログラムや各種データを格納する。例えば、このストレージ装置111には、入力された格納先情報や作成したメタファイルなどを記憶する。
【0033】
通信装置115は、例えば、通信網12に接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置115は、無線LAN(Local Area Network)やワイヤレスUSBといったワイヤレス通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。
【0034】
(3)メタファイル生成装置1の機能
図3は、本実施形態にかかるメタファイル生成装置1の機能ブロック図である。当該メタファイル生成装置1は、順序生成部131や、比較部132、入力受付部133、メタファイル生成部134を備える。これら順序生成部131や、比較部132、入力受付部133、メタファイル生成部134の機能は、主にCPU101がプログラムに従って処理を実行して通信装置115やストレージ装置111等の各部を制御して実現している。
【0035】
順序生成部131は、動画データを構成する各画像を識別し、各画像の順に従って順序情報を生成する。
【0036】
比較部132は、動画データを構成する各画像を他の画像と比較し、少なくとも一部が一致した画像の一方を被参照画像、他方を参照画像とする。
【0037】
入力受付部133は、前記比較の結果によって一致しなかった画像、及び被参照画像を複数の配信サーバの記憶部に格納させた際の格納先を示す格納先情報の入力を受ける。
【0038】
メタファイル生成部134は、前記参照画像と当該参照画像に少なくとも一部が一致した被参照画像との対応関係を示す表示指示情報、前記順序情報、並びに、前記格納先情報を含むメタファイルを生成する。
【0039】
(4)グリッドサーバのハードウェア構成
図4は、グリッドサーバ4のハードウェア構成を示した図である。グリッドサーバ4は、CPU(Central Processing Unit)401と、ROM(Read Only Memory)402と
、RAM(Random Access Memory)403と、ホストバス404と、ブリッジ405と、外部バス406と、インタフェース407と、入力装置408と、出力装置410と、ストレージ装置(HDD)411と、通信装置415とを備えるコンピュータである。
【0040】
CPU401は、演算処理装置および制御装置として機能し、各種プログラムに従ってグリッドサーバ4内の動作全般を制御する。また、CPU401は、マイクロプロセッサであってもよい。ROM402は、CPU401が使用するプログラムや演算パラメータ等を記憶する。RAM403は、CPU401の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一次記憶する所謂メインメモリである。これらはCPUバスなどから構成されるホストバス404により相互に接続されている。
【0041】
ホストバス404は、ブリッジ405を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス406に接続されている。なお、必ずしもホス
トバス404、ブリッジ405および外部バス406を分離構成する必要はなく、一のバスにこれらの機能を実装してもよい。
【0042】
入力装置408は、例えば、マウス、キーボード、タッチパネル、ボタン、マイク、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、CPU401に出力する入力制御回路などから構成されている。グリッドサーバ4のオペレータは、該入力装置408を操作することにより、グリッドサーバ4に対して各種のデータを入力したり処理動作を指示したりすることができる。また、入力装置408は、CD−ROMドライブやメモリカードリーダといった記憶媒体の読み取り装置であっても良い。記憶媒体の読み取り装置は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、CPU401に入力する。
【0043】
出力装置410は、例えば、CRT(Cathode Ray Tube)ディスプレイ装置、液晶ディスプレイ(LCD)装置およびランプなどの表示装置と、スピーカおよびヘッドホンなどの音声出力装置を備える。出力装置410は、例えば、CPU401の処理結果を出力する。具体的には、入力されたデータやシステムの稼働状況等の各種情報をテキストまたはイメージで表示する。一方、音声出力装置は、メッセージや警告音、コンテンツの音声データ等を音として出力する。
【0044】
また、出力装置410は、CD−Rドライブやメモリカードライタといった記憶媒体の書き込み装置であっても良い。記憶媒体の書き込み装置は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体へ、CPU401の処理結果等の情報を出力(書き込み)する。
【0045】
ストレージ装置411は、本実施形態にかかるグリッドサーバ4の記憶部の一例として構成されたデータ格納用の装置であり、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含むことができる。ストレージ装置411は、例えば、HDD(Hard Disk Drive)で構成される。このストレージ装置411は、ハードディスクを駆動し、C
PU401が実行するプログラムや各種データを格納する。例えば、このストレージ装置411には、メタファイル生成装置1から受信したメタファイルや、動画データを構成する各画像などを記憶する。
【0046】
通信装置415は、例えば、通信網12に接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置415は、無線LAN(Local Area Network)やワイヤレスUSBといったワイヤレス通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。
【0047】
(5)グリッドサーバ4の機能
図5は、本実施形態にかかるグリッドサーバ4の機能ブロック図である。当該グリッドサーバ4は、メタファイル提供部432や、負荷制御部434を備える。これら要求受信部431や、メタファイル提供部432、負荷制御部434の機能は、主にCPU401がプログラムに従って処理を実行して通信装置415やストレージ装置411等の各部を制御して実現している。
【0048】
メタファイル提供部432は、ユーザ端末から受信した動画データの配信要求に対して、当該動画データを構成する各画像の格納先を示す格納先情報を含むメタファイルを当該ユーザ端末3に送信する。
【0049】
負荷制御部434は、配信中の動画データの数や、動画データの転送速度、再送要求の数等に基づいて配信状況を求め、この配信状況をユーザ端末3へ通知して配信状況の悪いユーザ端末3にグリッドサーバ4の切り換えを促す、或いは配信状況の悪いユーザ端末3に対して格納先情報から抽出した他の格納先を通知し、当該格納先に基づいて他のグリッドサーバ4へ切り換えるよう促す。
【0050】
なお、本実施形態では、メタファイル提供部432、及び負荷制御部434をグリッドサーバ4に備える構成としたが、これに限らず、各機能部が本配信システム10に存在すれば、別の装置に備える構成であっても良い。例えば、メタファイル提供部432を配信サーバ2や、メタファイル生成装置1が備え、ユーザ端末3にメタファイルを提供する構成をとることも可能である。
【0051】
(6)配信サーバ2
また、配信サーバ2は、グリッドサーバ4と同様にCPU(Central Processing Unit
)と、ROM(Read Only Memory)と、RAM(Random Access Memory)と、ホストバスと、ブリッジと、外部バスと、インタフェースと、入力装置と、出力装置と、ストレージ装置(HDD)と、通信装置とを備えるコンピュータである。これらのハードウェア構成は、前述のグリッドサーバ4と略同じであるため図示を省略する。配信サーバ2のプログラムに従って、例えば配信部として機能し、ユーザ端末3からメタファイルに基づく画像の取得要求を受信した場合に、当該取得要求に応じた画像を前記記憶部から読み出して一画像毎に当該ユーザ端末へ配信する配信部としても機能する。
【0052】
(7)Webサーバ5
Webサーバ5は、グリッドサーバ4と同様にCPU(Central Processing Unit)と
、ROM(Read Only Memory)と、RAM(Random Access Memory)と、ホストバスと、ブリッジと、外部バスと、インタフェースと、入力装置と、出力装置と、ストレージ装置(HDD)と、通信装置とを備えるコンピュータである。これらのハードウェア構成は、前述のグリッドサーバ4と略同じであるため図示を省略する。Webサーバ5は、プログラムに従ってWebページを提供する機能を有する。例えば、URLによって特定されるWebページの閲覧要求をユーザ端末3から受信した場合、Webサーバ5は、当該Webページをストレージ装置111から読み出してユーザ端末3へ送信する。
図6は、Webページ提供部431によって提供されるWebページの例を示す図である。図6のWebページは、HTML等のマークアップランゲージによって記述され、動画データへのハイパーリンク91−94を含んでいる。
【0053】
(8)ユーザ端末のハードウェア構成
図7は、本実施形態におけるユーザ端末3の概略構成図である。ユーザ端末3は、CPU(Central Processing Unit)301と、ROM(Read Only Memory)302と、RA
M(Random Access Memory)303と、ホストバス304と、ブリッジ305と、外部バス306と、インタフェース307と、入力装置308と、出力装置310と、ストレージ装置(HDD)311と、通信装置315とを備えるコンピュータである。ユーザ端末3は、例えばパーソナルコンピュータ、タブレット型コンピュータ、スマートフォン、携帯電話、半導体オーディオ、テレビ、テレビチューナー、STB(Set Top Box)、デジ
タルサイネージ等である。
【0054】
CPU301は、演算処理装置および制御装置として機能し、各種プログラムに従ってユーザ端末3内の動作全般を制御する。また、CPU301は、マイクロプロセッサであってもよい。ROM302は、CPU301が使用するプログラムや演算パラメータ等を記憶する。RAM303は、CPU301の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一次記憶する所謂メインメモリである。これらはCPUバスなどから構成されるホストバス304により相互に接続されている。
【0055】
ホストバス304は、ブリッジ305を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス306に接続されている。なお、必ずしもホス
トバス304、ブリッジ305および外部バス306を分離構成する必要はなく、一のバスにこれらの機能を実装してもよい。
【0056】
入力装置308は、例えば、マウス、キーボード、タッチパネル、ボタン、マイク、スイッチ、リモコン(remote controller)およびレバーなどユーザが情報を入力するため
の入力手段と、ユーザによる入力に基づいて入力信号を生成し、CPU301に出力する入力制御回路などから構成されている。ユーザ端末3のオペレータは、該入力装置308を操作することにより、ユーザ端末3に対して各種のデータを入力したり処理動作を指示したりすることができる。また、入力装置308は、CD−ROMドライブやメモリカードリーダといった記憶媒体の読み取り装置であっても良い。記憶媒体の読み取り装置は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、CPU301に入力する。
【0057】
出力装置310は、例えば、CRT(Cathode Ray Tube)ディスプレイ装置、液晶ディスプレイ(LCD)装置およびランプなどの表示装置と、スピーカおよびヘッドホンなどの音声出力装置を備える。出力装置310は、例えば、CPU301の処理結果を出力する。具体的には、入力されたデータやシステムの稼働状況等の各種情報をテキストまたはイメージで表示する。一方、音声出力装置は、メッセージや警告音、コンテンツの音声データ等を音として出力する。
【0058】
また、出力装置310は、CD−Rドライブやメモリカードライタといった記憶媒体の書き込み装置であっても良い。記憶媒体の書き込み装置は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体へ、CPU301の処理結果等の情報を出力(書き込み)する。
【0059】
ストレージ装置311は、本実施形態にかかるユーザ端末3の記憶部の一例として構成されたデータ格納用の装置であり、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含むことができる。ストレージ装置311は、例えば、HDD(Hard Disk Drive)で構成される。このストレージ装置311は、ハードディスクを駆動し、CPU
301が実行するプログラムや各種データを格納する。
【0060】
通信装置315は、例えば、通信網12に接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置315は、無線LAN(Local Area Network)やワイヤレスUSBといったワイヤレス通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。
【0061】
なお、これらのハードウェア構成は、メタファイルに基づいて動画を再生するといったユーザ端末3の機能を実現できれば、これに限らず適宜変更可能である。例えば、デジタルサイネージにおいて、音声出力が必要ない装置であった場合、スピーカを省略しても良い。また、テレビ(モニタ)とSTBのように他の装置と組み合わせてユーザ端末の機能を実現するものでも良い。即ち、全ての要素を一つの装置内に有していなくても良い。
【0062】
(9)ユーザ端末3の機能
図8は、本実施形態にかかるユーザ端末3の機能ブロック図である。当該ユーザ端末3は、要求送信部331や、メタファイル受信部333、取得要求部334、動画再生部335を備える。これら要求送信部331、メタファイル受信部333、取得要求部334、動画再生部335の機能は、主にCPU301がプログラムに従って処理を実行して通信装置315やストレージ装置311等の各部を制御して実現している。
【0063】
要求送信部331は、配信サーバ2へWebページの閲覧要求や動画データの配信要求を送信する。例えば図6のハイパーリンク91−94が選択された場合に、リンク先である動画データのURLを配信サーバに送信することで、動画データの配信要求を行う。
【0064】
メタファイル受信部333は、配信サーバ2からメタファイルを受信し、RAM303或いはストレージ装置311に記憶させる。
【0065】
取得要求部334は、受信したメタファイルの格納先情報に基づいて、動画データを構成する各画像の取得要求をそれぞれの格納先である配信サーバ2に対して送信する。また、取得要求部334は、グリッドサーバ4の負荷制御部434から配信状況を受信し、配信要求を行っている配信サーバ2の配信状況が悪ければ、配信の要求先を他の配信サーバ2へ切り換える。また、取得要求部334は、画像ファイルの転送速度や、再送要求の数、エラー率等に基づいて配信状況を求め、この配信状況に基づいて配信を要求する配信サーバ2を切り替えても良い。なお、配信を要求する配信サーバ2は、後述のメタファイルに複数記録され、この複数の配信サーバ2から選択する。
【0066】
動画再生部335は、受信した画像をメタファイル(表示指示情報)に従って順次再生する。
【0067】
なお、これらの要求送信部331、メタファイル受信部333、取得要求部334、動
画再生部335の機能を実行するためのプログラムは、所謂ウェブブラウザであっても良い。
【0068】
(10)画像ファイル及びメタファイルの生成方法
図9−図17を用いて、メタファイル生成装置1による画像ファイル及びメタファイルの生成方法について説明する。図9は画像ファイル及びメタファイル生成方法の全体の流れを示す図、図10は各画像のメタデータを求める処理の流れを示す図、図11,図12はシーンの切り替わりを判定する処理の説明図、図13は画像を分類する処理の説明図、図14は同一画像を判定する処理の説明図、図15は部分一致した画像を合成する処理の流れを示す図、図16は部分一致した画像を合成する処理の説明図、図17はメタファイルの構成を示す図である。
【0069】
メタファイル生成装置1は、処理対象の動画データを指定する情報、生成した画像ファイルの格納先情報及びメタファイルの生成指示が入力されると、図9に示すように、メタファイルの生成処理を開始する。先ず、メタファイル生成装置1は、指定された処理対象の動画データをストレージ装置111や記憶媒体の読み取り装置(入力装置108)から読み取り、各画像をRAM103上に読み出す(ステップS10)。なお、動画データが圧縮されている場合には復号し、各画像をそれぞれビットマップデータとする。
【0070】
次にメタファイル生成装置1は、各ファイルを一画像毎に一ファイル(画像ファイル)とし、ファイル名を付けてストレージ装置111やRAM103に一時的に記憶させる(ステップS20)。
【0071】
そして、メタファイル生成装置1は、各画像を他の画像と比較して各画像のメタデータを求める処理(ステップS40)を全ての画像について繰り返す(ステップS30−S50)。
【0072】
各画像を比較してメタデータを求める処理(ステップS40)では、図10に示すように、先ず比較部132が、各画像を一つ前の画像と比較し(ステップS410)、一致度が高いか否かを判定する(S420)。この比較及び判定は、例えば当該画像と直前(一つ前)の画像の特徴点を夫々抽出し、当該画像の特徴点と直前の画像特徴点との相関をと
り、対応する特徴点を求め、当該画像において抽出した特徴点の数と対応する特徴点の数の割合を一致度として算出する。
【0073】
図11では、画像82を直前の画像81と比較した場合を示す。画像82の特徴点として抽出した箇所に、便宜上点を表示したものが82Aである。同様に画像81の特徴点として抽出した箇所に、便宜上点を表示したものが81Aである。画像82Aにおける特徴点の周囲の情報をテンプレートとし、画像81A上でテンプレートマッチングによって一致する部分を探し、一致した部分の特徴点を対応する特徴点とする。このように対応する特徴点と対応しない特徴点の割合を算出し、対応する特徴点の割合、即ち一致度が閾値以上、例えば60%以上の場合に同一シーンと判定する。なお、同一シーン内であっても登場人物の動きや背景の移動があり、それなりの画像の変化が想定されるため、同一シーンと判定するための閾値は低めに設定する。また、フレームレートが高い程、画像間の差が少なくなるため、この閾他を高く設定しても良い。また、画像の解像度が低い程、画像間の差が少なくなるので、この閾値を高く設定しても良い。
【0074】
図11に示したように、類似した画像を比較した場合、略同じように特徴点が得られ、対応する特徴点が多いので、一致度が高いと判定される。
【0075】
図12では、画像84を直前の画像83と比較した場合を示す。画像84の特徴点とし
て抽出した箇所に、便宜上点を表示したものが84Aである。同様に画像83の特徴点として抽出した箇所に、便宜上点を表示したものが83Aである。画像84Aにおける特徴点周囲の画素の情報をテンプレートとし、画像83A上でテンプレートマッチングによって一致する部分を探し、一致した部分の特徴点を対応する特徴点とする。このように対応する特徴点と対応しない特徴点の割合を算出し、対応する特徴点の割合、即ち一致度が閾値以上、例えば60%以上の場合に同一シーンと判定する。
【0076】
図12に示したように、類似しない画像を比較した場合、当然抽出した特徴点に類似は見られず、対応する特徴点が少ないので、一致度が閾値未満と判定される。
【0077】
ステップS420で一致度が高いと判定された場合(S420,Yes)、当該画像が直前の画像と同じシーンであると認識し、比較部132は、直前の画像のシーンIDと同じシーンIDを持つ画像をメタファイルからリストアップし(ステップS430)、順次RAM103上に読み出して、当該画像を同一シーン内の他の画像と比較する(ステップS440)。そして、この比較により、当該画像が、カメラをパン又はチルトして撮影したように、徐々にシフトする画像(本実施形態ではスクロール画像と称する)であるか否かの判定を行う(ステップS450)。なお、スクロール画像は、カメラで撮影した画像に限定されるものではなく、パンやチルトと同様に一方向へシフトするように作成されたアニメーションやコンピュータグラフィクスであっても良い。
【0078】
図13では、当該画像86を他の画像85と比較する例を示している。これらの画像85,86の特徴点を抽出し、画像85A,86Aのように複数の領域に分割して比較し、特徴点の移動が検出され、複数の領域の全てで同方向の移動が検出された場合、当該画像86は、スクロール画像と判定する(ステップS450,Yes)。そして、前画像との差分を前画像に合成して被参照画像とし(ステップS470)、合成後の被参照画像を所定の記憶領域に登録させる。
ここで所定の記憶領域とは、ストレージ装置111のデータ領域であっても良いし、格納先として指定された配信サーバ2上の記憶領域であっても良い。また、格納する際のファイル名は、例えば動画データを特定する情報(作品ID)と画像を特定する情報(画像ID)を組み合わせたものとしても良い。そして、メタファイル生成部134は、このスクロール画像(参照画像)を識別するための情報と、合成後の被参照画像を識別するための情報と、合成後の被参照画像のうち当該スクロール画像に相当する領域を示す領域情報とを対応つけてメタデータとしてメタファイルに記録する(ステップS490)。これによりスクロール画像86の配信を省略しても、ユーザ端末3の動画再生部335がメタファイルに基づいて合成後の被参照画像から該当領域を読み出し、スクロール画像86に代えて表示させることで動画を再生でき、配信するデータ量を削減できる。
一方、ステップS450でスクロール画像で無かった場合(ステップS450,No)、当該画像を同一シーン内の他の画像と比較して同一画像があるか否かを判定する(ステップS460)。
【0079】
図14は、同一の画像と判定する場合の具体例を示す。図14において、画像71−75が、ステップS20にて動画データから作成した各画像であり、画像73について他の画像と比較する処理を説明する。
【0080】
比較部132は、先のステップS420で画像73を直前の画像72と比較した際、画像全体としては類似しており、一致度が閾値より高いと判定し、当該画像73が直前の画像73と同一シーンであると判定し、同様に同一シーンと判定された他の画像(本例では画像71,72)を抽出して同一か否かの比較を行う(ステップS450)。図14において、当該画像73及び他の画像71,72の特徴点を抽出した画像が73A及び71A,72Aである。ここで画像71−75は登場人物が話をしているシーンであるので、画
像73Aと画像72Aを複数の領域で比較すると、口元を含む領域73Bと領域72Bとが異なり、同一の画像ではないと判別する。一方、画像73Aと画像71Aを比較した場合、同じく口を閉じた瞬間の画像であるため、複数の領域で比較しても、口元を含む領域73Bと領域71Bや、その他全ての領域の一致度が高く、同一の画像と判別する。なお、図14では便宜上、領域71B〜73Bの違いのみを示したが、実際にはどこの領域に違いが表れるのかは分からないため、画像全域について比較を行う。
【0081】
このように当該画像86が他の画像85と同一であれば、当該画像86の表示に代えて他の画像85を再表示することでも動画の再生が可能である。そこで本実施形態では、ステップS450で比較部132が比較した結果、画像86を画像85と同一の参照画像と分類した場合、メタファイル生成部134は、この参照画像86を示すメタデータと、被参照画像85を示すメタデータをメタファイルに記録する(ステップS490)。これにより同一の参照画像86の配信を省略しても、ユーザ端末3の動画再生部335がメタファイルに基づいて被参照画像85を参照し、参照画像86に代えて表示させることで動画を再生でき、配信するデータ量を削減できる。
【0082】
また、ステップS460で比較部132が比較した結果、同一の画像が同一シーン内に無かった場合、この画像(一般画像)を配信対象の画像ファイルとして所定の記憶領域に登録させ(ステップS480)、メタファイル生成部134が、この画像を識別するためのメタデータ(画像IDや格納先等)をメタファイルに記録する(ステップS490)。
【0083】
同様に、ステップS420で比較部132が、比較の結果、直前の画像との一致度が低い画像を新シーンの最初の画像と認識した場合(ステップS425)、当該画像を所定の記憶領域に登録させ(ステップS480)、メタファイル生成部134が、この画像のメタデータをメタファイルに記録する(ステップS490)。この画像のメタデータとしては、例えば、ステップS425で認識した新しいシーンのシーンIDを当該画像の情報と対応付けてメタファイルに登録しても良い。シーンIDは、シーンを特定する識別情報であり、例えば認識した順にシリアル番号を付与する。
【0084】
なお、一般画像は、後続の画像について図9のステップS30〜S50を繰り返した際、後続の画像と一致した場合には、被参照画像とされメタファイルが更新される。
【0085】
メタファイル生成装置1は、上記のように作成したメタファイルをグリッドサーバ4に送信する。
【0086】
(11)スクロール画像の被参照画像を合成する処理の詳細
ステップS470の合成処理について図15,図16を用いて詳細に説明する。図15において、画像61−64が、ステップS20にて動画データから作成された画像であり、先ず画像62について分類する処理を説明する。
【0087】
比較部132は、ステップS420で画像62を直前の画像61と比較した場合、画像全体としては類似しており、一致度が閾値より高いと判定し、同一シーンの他の画像として画像61を抽出して比較する(ステップS430,S440)。当該画像62及び他の画像61の定量化を行い、特徴点を抽出した画像が62A及び61Aである。ここで画像61−64は山の麓から山頂方向へチルトして撮影したシーンであるので、画像62Aの複数の領域A1−A9について夫々画像61Aと比較すると、山頂方向の領域A1−A3では一致度が低く、その他の領域A4−A9では一致度が高い。また、領域A4−A9における特徴点が一方向に移動している。例えば、画像61Aの領域A1における特徴点P11と対応する画像62Aの特徴点P11は矢印60方向に移動している。また、領域A5−A9の特徴点P12−P16についても矢印60と同じ方向に移動(スクロール)し
ている。
【0088】
即ち、画像62は、画像61と比べて矢印60方向にスクロールした画像であり、スクロールによって新たに画像62内に入った領域62Cが画像61と異なる差分で、その他の領域62Dは画像61と一致する。そこで、画像61に差分領域62Cを加えて被参照画像61Bを合成すると共に、合成後の被参照画像61Bのうち参照画像62と一致する領域62Eを特定する領域情報を生成する。
【0089】
同様に以降のスクロール画像についても画像の定量化、比較、合成の処理を繰り返して、図16に示すように画像63の画像62との差分領域63Cを被参照画像61Bに加えて被参照画像61Cを合成すると共に、合成後の被参照画像61Cのうち参照画像63と一致する領域63Eを特定する領域情報を生成する。
【0090】
更に画像64の画像63との差分領域64Cを被参照画像61Cに加えて被参照画像61Dを合成すると共に、合成後の被参照画像61Dのうち参照画像64と一致する領域64Eを特定する領域情報を生成する。
【0091】
これらの被参照画像を合成する処理、即ち図10に示すステップS470の処理の詳細なフローについて図17を用いて説明する。ステップS450にて画像92がスクロール画像と判別した場合、比較部132は、一致度の高い画像、通常は直前の画像61を所定の記憶領域から抽出する(ステップS510)。そしてスクロール画像62と直前の画像61の中心付近の領域を比較し(ステップS520)、移動量と方向を求める(ステップS530)。
【0092】
この移動量と方向に基づいて、画像合成部135は、スクロール画像中の差分領域を切り出し(ステップS540)、差分領域を直前の画像61に加え(ステップS550)、被参照画像61Bを合成する(ステップS560)。また、ステップS560では、メタファイル生成部134が、合成後の被参照画像61のうち、スクロール画像62に相当する領域を示す領域情報を生成する。
【0093】
また、メタファイル生成部134は、合成前の被参照画像61を配信用データの格納場所から削除する(ステップS570)。
【0094】
ステップS570の終了後、図10に示すステップS480の処理に戻り、合成後の被参照画像を所定の記憶領域に登録させる。
【0095】
(12)動画の配信方法及び再生方法
図18は動画の配信方法の説明図である。ユーザが図6に示すようなWebページ中のリンクを選択すると、ユーザ端末3は、リンク先の情報(URL等)に従ってグリッドサーバ4にアクセスし、このURLや、URLに含まれるパラメータを配信サーバ2に通知することで配信要求を行う(ステップS100)。
【0096】
ユーザ端末3からの配信要求を受信したグリッドサーバ4は、各配信サーバ2の負荷状況を確認し(ステップS103)、例えば負荷が均等に分散されるように当該ユーザ端末3への配信を行う配信サーバ2を決定する(ステップS106)。そして、グリッドサーバ4は、ユーザ端末3から配信要求として通知されたURLやパラメータ等の識別情報と対応する動画のメタファイルに、当該配信サーバを示す情報を付加し、要求元のユーザ端末3へ送信する(ステップS110)。
【0097】
メタファイルを受信したユーザ端末は、メタファイルに画像のリスト(配信リスト)に
基づいて格納先の配信サーバ2へ各画像の取得を要求する(ステップS120)。ここで、画像の取得を要求する配信サーバ2は、メタファイルを要求したサーバに限らず、メタファイルに格納先として示された複数の配信サーバ2のうち何れのものでも良い。また複数の配信サーバ2に並行して取得を要求し、それぞれから画像ファイルを受信しても良い
取得要求を受信した配信サーバ2は、該当の画像ファイルを要求元のユーザ端末3へ送信する(ステップS130)。
【0098】
画像ファイルを受信したユーザ端末3は、当該画像ファイルをバッファとしての記憶部に記憶する(ステップS140)。ここで画像ファイルをバッファリングする記憶部は、ストレージ装置311であっても良いが、配信終了後にファイルが残らないRAM303とするのが好ましい。
ユーザ端末3は、受信した画像をメタファイルに従って順次表示する表示することで動画の再生を行う(ステップS150)。
【0099】
そして、ユーザ端末3は、配信リストの画像を全て受信するまでステップS120以降の処理を繰り返す(ステップS160)。
【0100】
図19は、メタファイルの一例を示す図である。本実施形態では、メタ情報をマークアップ言語で記述し、ユーザ端末3のソフトウェア(所謂ブラウザ)がこの記述に従って画像を表示することで動画を再生するようにしている。
図19において、記述51のfps=60が、画像を表示する際のフレームレートを示す属性であり、1秒間に60枚の画像を表示させることを示している。
また、記述52のhref=が画像を配信サーバ2から取得することを示す情報であり、こ
れに続く記述54の"http://xxx.23.122.33/server1/1932108392089.png"が格納先とファイル名(識別情報)である。そして、この記述の順が、再生順を示す順序情報となる。
また、記述53の"reload" scope="scene" href="/12903840298340929.html"が、被参
照画像を再表示させる記述である。
このように、再生に必要な情報をマークアップ言語で記述することにより、ユーザ端末3側では、一般的なブラウザで本実施形態の動画再生を実現できる。
【0101】
また、これに限らず、メタ情報に基づいて、再表示やスクロール表示等をユーザ端末側で判断して実行する専用のソフトウェア(プレーヤー)を用いても良い。
図22は専用のプレーヤーを用いた場合の動画の再生方法の説明図である。図18のステップS140でバッファリングした画像が所定以上になった場合、ユーザ端末3の動画再生部335はメタファイルの再生順に従って各画像の再生処理を開始する(ステップS610)。
【0102】
動画再生部335は、先ず再生する画像の種類が同一画像か否かを判定し(ステップS620)、同一画像であればメタファイルに基づき当該同一画像の被参照画像として記録されている被参照画像をバッファから読み出して表示装置に表示させる(ステップS630)。
【0103】
また、ステップS620で画像の種類が同一画像で無い場合、シフト画像か否かを判定する(ステップS640)。ここで、シフト画像であればメタファイルに基づき当該シフト画像の被参照画像として記録されている被参照画像をバッファから読み出して、領域情報に基づいて当該シフト画像に相当する領域を切り出し(ステップS650)、切り出した領域をシフト画像に代えて表示させる(ステップS660)。
【0104】
また、ステップS640で画像の種類がシフト画像で無い場合(ステップS640,No)、当該画像の種類が一般画像か被参照画像であるので、バッファから当該画像を読み
出して表示する(ステップS670)。
【0105】
そして、動画再生部335は、メタファイルの順序情報に基づいて次に再生する画像が有るか否かを判定し、次の画像があればステップS610に戻って再生処理を繰り返し、次の画像がなければ図19の処理を終了する。
【0106】
このように図18の処理により配信サーバ2からユーザ端末3へ画像単位で配信し、これと並行してユーザ端末3が受信してバッファに格納した画像を図19に示すようにメタファイルに従って再生することで、動画データの再生を行うことができる。
【0107】
図20は、再生時のユーザインタフェースの一例である。図20において、動画を構成する各画像は、動画表示欄51に表示される。動画表示欄51の下方に配置された操作部50は、動画の再生や早送り、巻き戻し等の操作を行うためのボタン群である。
【0108】
動画再生部335は、動画の再生中に再生/停止ボタン52が選択されると、動画の再生を停止し、このとき表示されている画像の表示を続け静止状態とする。また、動画の停止中に再生/停止ボタン52が選択されると、動画の再生が開始される。早送りボタン53が選択されると、動画再生部335は、ステップS610で順序情報に基づいて再生対象の画像を選択する際、順番を飛ばして画像を選択し、再生を行う。例えば2倍速で再生する場合には画像を一つ置きに再生し、4倍速で再生する場合には画像を3つ置きに再生する。また、これと並行して取得要求部334は、順番を飛ばして取得する画像を要求し、バッファに格納して行く。
【0109】
シーン送りボタン54が選択されると、動画再生部335は、ステップS610で順序情報に基づいて再生対象の画像を選択する際、次のシーンの先頭画像を選択し、再生を行う。これと並行して取得要求部334は、シーンを飛ばして取得する画像を要求し、バッファに格納して行く。
【0110】
巻き戻しボタン55が選択されると、動画再生部335は、ステップS610で順序情報に基づいて再生対象の画像を選択する際、順番を戻して画像を選択し、再生を行う。例えば2倍速で巻き戻しする場合には画像を一つ置きに戻し、4倍速で再生する場合には画像を3つ置きに戻す。また、順番を戻した画像が、バッファ中に存在する場合には、バッファから読み出し、バッファ中に存在しない場合には、再生と並行し、取得要求部334が、これらの画像の取得を要求し、バッファに格納する。
【0111】
シーン戻りボタン56が選択されると、動画再生部335は、ステップS610で順序情報に基づいて再生対象の画像を選択する際、前のシーンの先頭画像を選択し、再生を行う。これと並行して取得要求部334は、前のシーンの先頭画像を受信し、バッファに格納する。
【0112】
本実施形態では、一画像毎に配信しているので、再生中であっても早送りや巻き戻しに対応できる。
【0113】
(13)メタファイルの構成
図21は、メタファイルの構成を示す図である。図21に示すように、本実施形態では、メタファイルに、作品ID、シーンID、画像ID(フレームID)、ファイル名、画像種類(フレーム種類)、サーバID(格納先情報)、利用フレーム数、表示上の効果を示す情報(表示効果情報)を記録している。
【0114】
作品IDは、動画データ毎に付与した識別情報であり、シーンIDはシーン毎に付与し
た識別情報である。
【0115】
画像種類は、同一画像、シフト画像、被参照画像、一般画像の種別を示す情報である。従ってメタファイルに記録されている画像のうち、被参照画像及び一般画像の画像種類となっているものが配信対象であり、この情報が配信リストに相当する。
【0116】
画像IDは動画データ中での各画像の順、即ち再生順に付与したシリアルNoであり、画像を動画データ中で一意に識別する情報であると共に、順序情報でもある。
【0117】
サーバID(格納先情報)は、各画像を格納している配信サーバ2を示す情報であり、複数のサーバが記録される。また、サーバIDは、ネットワークを介してアクセスする際のアドレス(IPアドレス等)や、このアドレスと対応付けられた識別情報等である。
【0118】
(14)画像の表示制御
ユーザ端末3の動画再生部335は、メタファイルの表示効果情報に基づいて被参照画像を画像処理して表示しても良い。
【0119】
動画では、フェードインやフェードアウトといった所定の映像効果を用いることがある。例えば、シーンの切り変わりなどで、画像が徐々に白や黒一色に変化するフェードアウトが用いられることがある。この場合、被参照画像の色調を白又は黒に近づけるように変化させながら表示することで再現することが可能である。また、フェードインの場合には、白や黒一色の画像から被参照画像に近づけるように変化させながら表示する。
【0120】
そこで、メタファイル生成装置1の比較部132は、ステップS450或いはステップS460において、画像を比較する際に、画像間に色調の変化やフォーカスの変化等、所定の変化の有無を検出する。例えば、ステップS460で画像が徐々に白や黒一色に変化する色調の変化を検出した場合、ステップS490にてメタファイル生成装置1は、同一画像のフェードアウトと認識し、この同一画像の表示効果情報としてフェードアウト(例
えば白へのフェードアウト)をメタファイルに記録する。また、ステップS450で画像
が徐々にボケていくフォーカスの変化を検出した場合、ステップS490にてメタファイル生成装置1は、スクロール画像のぼかし(フォーカス変化)と認識し、この同一画像の表示効果情報として、フォーカス変化をメタファイルに記録する。
【0121】
そして、ユーザ端末3の動画再生部335は、メタファイルに基づきステップS630にて、被参照画像を画像処理して表示する。
例えば、以下のようなメタファイルの記述に従って表示制御を行う。
<source type="image" href="http://xxx.23.122.33/server1/123456.png"
style="focus: to-defocus 3.5px 30"/>
上記Focus:がフォーカス変化の属性であることを示し、to-defocusの場合、被参照画像(上記例では123456.png)をピントが合った状態からボケた状態へと変化させる。一方、to-focusの場合、ボケた状態からピントが合った状態へと変化させる。
また、上記Focus属性の3.5pxは、ぼかし量を示し、ピクセル単位で指定する。上記例では3.5ピクセルの範囲でぼかすことを示す。
更に、上記Focus属性の30は、ぼかし時間であり、ぼかし処理を開始してから上記ぼか
し量に達するまでの秒数或いはフレーム(画像)数を示す。
【0122】
<source type="image" href="http://xxx.23.122.33/server1/123456.png"
style="fade: out white 100% 15/>
上記fade:がフェード属性であることを示し、outであれば被参照画像(上記例では123456.png)を指定色(上記例ではwhite)へ徐々に変化させてフェードアウトさせる。なお
、色の指定は、#ffffffといったRGBで記述しても良い。一方、inの場合、指定色から
徐々に被参照画像へ変化させてフェードインさせる。
また、上記フェード属性の100%は、フェード量を示し、被参照画像からどの程度指定色に近づけるかを示す。
更に、上記フェード属性の15は、フェード時間であり、フェード処理を開始してから上記フェード量に達するまでの秒数或いはフレーム(画像)数を示す。
【0123】
なお、この映像効果は、フェードイン・フェードアウトに限らず、ソラリゼーションや、モノクローム化など、被参照画像を画像処理して表示できるものであれば良い。
【0124】
以上のように、本実施形態によれば、参照画像に代えて被参照画像を表示して動画の再生を行うことができ、動画を再生する際に配信するデータ量を削減できる。
【0125】
また、動画再生中に配信サーバを切り替えることができ、負荷の集中等に応じて柔軟に対応できる。
【0126】
〈その他〉
本発明は、上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
【符号の説明】
【0127】
1 メタファイル生成装置
2 配信サーバ
3 ユーザ端末
10 配信システム
【特許請求の範囲】
【請求項1】
複数の配信サーバとメタサーバを備える配信システムであって、
前記メタサーバが、ユーザ端末から受信した動画データの配信要求に対して、当該動画データを構成する各画像の格納先を示す格納先情報を含むメタファイルを当該ユーザ端末に送信するメタファイル提供部を備え、
前記複数の配信サーバが、
前記画像を格納する記憶部と、
前記ユーザ端末から前記メタファイルに基づく前記画像の取得要求を受信した場合に、当該取得要求に応じた画像を前記記憶部から読み出して一画像毎に当該ユーザ端末へ配信する配信部と、
を有する配信システム。
【請求項2】
前記メタサーバへ動画データの配信要求を送信する要求送信部と、
前記メタサーバからメタファイルを受信するメタファイル受信部と、
受信したメタファイルの格納先情報に基づいて、前記動画データを構成する各画像の取得要求をそれぞれの格納先である前記配信サーバに対して送信する取得要求部と、
前記取得要求によって受信した前記画像を再生する再生部と、を有するユーザ端末を更に備える配信システム。
【請求項3】
前記動画データを構成する各画像を他の画像と比較し、少なくとも一部が一致した画像の一方を被参照画像、他方を参照画像とする場合に、
前記メタファイルの格納先情報を、前記一致しなかった画像及び被参照画像の格納先を示す情報とし、
前記メタファイルが、前記参照画像と当該参照画像に少なくとも一部が一致した被参照画像との対応関係を示す表示指示情報、並びに、前記一致しなかった画像と前記被参照画像と前記参照画像との再生順を示す順序情報を更に備え、
前記ユーザ端末の取得要求部が前記格納先情報に基づいて前記一致しなかった画像及び被参照画像を前記配信サーバから受信し、
前記ユーザ端末の再生部が、前記順序情報に基づいて前記一致しなかった画像及び被参照画像を表示させると共に、前記順序情報に基づいて前記参照画像を表示させる際、前記表示指示情報に基づき当該参照画像に代えて、当該参照画像と対応する前記被参照画像を表示させる請求項1又は2に記載の配信システム。
【請求項4】
前記被参照画像と参照画像とが、一部の領域で重複している場合に、参照画像の重複していない領域のデータを被参照画像に加えて、元の被参照画像と参照画像とを含む被参照画像を合成し、合成後の被参照画像のうち元の被参照画像に相当する領域を示す元画像情報と、合成後の被参照画像のうち前記参照画像に相当する領域を示す参照画像情報とを前記表示指示情報が含み、
前記ユーザ端末の再生部が、前記被参照画像を表示する際、前記元画像情報に基づいて当該被参照画像から元の被参照画像を抽出して表示させると共に、前記参照画像を表示する際、前記参照画像情報に基づいて当該被参照画像から当該参照画像を抽出して表示させる請求項3に記載の配信システム。
【請求項5】
前記表示指示情報が前記参照画像に係る表示効果情報を含み、
前記ユーザ端末の再生部が、前記参照画像に代えて前記被参照画像を表示する際、前記被参照画像に前記表示効果情報によって特定される画像処理を施して表示する請求項3又は4に記載の配信システム。
【請求項6】
複数の配信サーバとメタサーバを備えた配信システムによる配信方法であって、
前記メタサーバが、ユーザ端末から受信した動画データの配信要求に対して、当該動画データを構成する各画像の格納先を示す格納先情報を含むメタファイルを当該ユーザ端末に送信するステップを実行し、
前記画像を格納する記憶部を備えた前記複数の配信サーバが、
前記ユーザ端末から前記メタファイルに基づく前記画像の取得要求を受信した場合に、当該取得要求に応じた画像を前記記憶部から読み出して一画像毎に当該ユーザ端末へ配信するステップを実行する配信方法。
【請求項7】
動画データを構成する各画像を識別し、各画像の順に従って順序情報を生成する順序生成部と、
前記動画データを構成する各画像を他の画像と比較し、少なくとも一部が一致した画像の一方を被参照画像、他方を参照画像とする比較部と、
前記比較の結果によって一致しなかった画像、及び被参照画像を複数の配信サーバの記憶部に格納させた際の格納先を示す格納先情報の入力を受ける入力受付部と、
前記参照画像と当該参照画像に少なくとも一部が一致した被参照画像との対応関係を示す表示指示情報、前記順序情報、並びに、前記格納先情報を含むメタファイルを生成するメタファイル生成部と、
を備えるメタファイルの生成装置。
【請求項8】
動画データを構成する各画像を識別し、各画像の順に従って順序情報を生成するステップと、
前記動画データを構成する各画像を他の画像と比較し、少なくとも一部が一致した画像の一方を被参照画像、他方を参照画像とするステップと、
前記比較の結果によって一致しなかった画像、及び被参照画像を複数の配信サーバの記憶部に格納させた際の格納先を示す格納先情報の入力を受けるステップと、
前記参照画像と当該参照画像に少なくとも一部が一致した被参照画像との対応関係を示す表示指示情報、前記順序情報、並びに、前記格納先情報を含むメタファイルを生成するステップと、
をコンピュータが実行するメタファイルの生成方法。
【請求項1】
複数の配信サーバとメタサーバを備える配信システムであって、
前記メタサーバが、ユーザ端末から受信した動画データの配信要求に対して、当該動画データを構成する各画像の格納先を示す格納先情報を含むメタファイルを当該ユーザ端末に送信するメタファイル提供部を備え、
前記複数の配信サーバが、
前記画像を格納する記憶部と、
前記ユーザ端末から前記メタファイルに基づく前記画像の取得要求を受信した場合に、当該取得要求に応じた画像を前記記憶部から読み出して一画像毎に当該ユーザ端末へ配信する配信部と、
を有する配信システム。
【請求項2】
前記メタサーバへ動画データの配信要求を送信する要求送信部と、
前記メタサーバからメタファイルを受信するメタファイル受信部と、
受信したメタファイルの格納先情報に基づいて、前記動画データを構成する各画像の取得要求をそれぞれの格納先である前記配信サーバに対して送信する取得要求部と、
前記取得要求によって受信した前記画像を再生する再生部と、を有するユーザ端末を更に備える配信システム。
【請求項3】
前記動画データを構成する各画像を他の画像と比較し、少なくとも一部が一致した画像の一方を被参照画像、他方を参照画像とする場合に、
前記メタファイルの格納先情報を、前記一致しなかった画像及び被参照画像の格納先を示す情報とし、
前記メタファイルが、前記参照画像と当該参照画像に少なくとも一部が一致した被参照画像との対応関係を示す表示指示情報、並びに、前記一致しなかった画像と前記被参照画像と前記参照画像との再生順を示す順序情報を更に備え、
前記ユーザ端末の取得要求部が前記格納先情報に基づいて前記一致しなかった画像及び被参照画像を前記配信サーバから受信し、
前記ユーザ端末の再生部が、前記順序情報に基づいて前記一致しなかった画像及び被参照画像を表示させると共に、前記順序情報に基づいて前記参照画像を表示させる際、前記表示指示情報に基づき当該参照画像に代えて、当該参照画像と対応する前記被参照画像を表示させる請求項1又は2に記載の配信システム。
【請求項4】
前記被参照画像と参照画像とが、一部の領域で重複している場合に、参照画像の重複していない領域のデータを被参照画像に加えて、元の被参照画像と参照画像とを含む被参照画像を合成し、合成後の被参照画像のうち元の被参照画像に相当する領域を示す元画像情報と、合成後の被参照画像のうち前記参照画像に相当する領域を示す参照画像情報とを前記表示指示情報が含み、
前記ユーザ端末の再生部が、前記被参照画像を表示する際、前記元画像情報に基づいて当該被参照画像から元の被参照画像を抽出して表示させると共に、前記参照画像を表示する際、前記参照画像情報に基づいて当該被参照画像から当該参照画像を抽出して表示させる請求項3に記載の配信システム。
【請求項5】
前記表示指示情報が前記参照画像に係る表示効果情報を含み、
前記ユーザ端末の再生部が、前記参照画像に代えて前記被参照画像を表示する際、前記被参照画像に前記表示効果情報によって特定される画像処理を施して表示する請求項3又は4に記載の配信システム。
【請求項6】
複数の配信サーバとメタサーバを備えた配信システムによる配信方法であって、
前記メタサーバが、ユーザ端末から受信した動画データの配信要求に対して、当該動画データを構成する各画像の格納先を示す格納先情報を含むメタファイルを当該ユーザ端末に送信するステップを実行し、
前記画像を格納する記憶部を備えた前記複数の配信サーバが、
前記ユーザ端末から前記メタファイルに基づく前記画像の取得要求を受信した場合に、当該取得要求に応じた画像を前記記憶部から読み出して一画像毎に当該ユーザ端末へ配信するステップを実行する配信方法。
【請求項7】
動画データを構成する各画像を識別し、各画像の順に従って順序情報を生成する順序生成部と、
前記動画データを構成する各画像を他の画像と比較し、少なくとも一部が一致した画像の一方を被参照画像、他方を参照画像とする比較部と、
前記比較の結果によって一致しなかった画像、及び被参照画像を複数の配信サーバの記憶部に格納させた際の格納先を示す格納先情報の入力を受ける入力受付部と、
前記参照画像と当該参照画像に少なくとも一部が一致した被参照画像との対応関係を示す表示指示情報、前記順序情報、並びに、前記格納先情報を含むメタファイルを生成するメタファイル生成部と、
を備えるメタファイルの生成装置。
【請求項8】
動画データを構成する各画像を識別し、各画像の順に従って順序情報を生成するステップと、
前記動画データを構成する各画像を他の画像と比較し、少なくとも一部が一致した画像の一方を被参照画像、他方を参照画像とするステップと、
前記比較の結果によって一致しなかった画像、及び被参照画像を複数の配信サーバの記憶部に格納させた際の格納先を示す格納先情報の入力を受けるステップと、
前記参照画像と当該参照画像に少なくとも一部が一致した被参照画像との対応関係を示す表示指示情報、前記順序情報、並びに、前記格納先情報を含むメタファイルを生成するステップと、
をコンピュータが実行するメタファイルの生成方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【公開番号】特開2013−90102(P2013−90102A)
【公開日】平成25年5月13日(2013.5.13)
【国際特許分類】
【出願番号】特願2011−228071(P2011−228071)
【出願日】平成23年10月17日(2011.10.17)
【出願人】(397073201)株式会社電通国際情報サービス (5)
【Fターム(参考)】
【公開日】平成25年5月13日(2013.5.13)
【国際特許分類】
【出願日】平成23年10月17日(2011.10.17)
【出願人】(397073201)株式会社電通国際情報サービス (5)
【Fターム(参考)】
[ Back to top ]