動画像・音声再生携帯端末、及び、動画像・音声配信端末、及び、システム
【課題】通信回線の帯域に制限があり、配信側のコンピュータで動画像のトランスコーディングが必要な場合に、携帯端末の形態や向きの変化に適応させてトランスコーディングの処理を行う。
【解決手段】携帯端末1は、サーバ3に対して、コンテンツを指示するデータと変換パラメータセットを指示するデータとを送る。携帯端末1の形態が画面横向き形態であると、符号化パラメータセット指示データは、画質優先パラメータセット指示データとなる。逆に、画面縦向き形態であったときは、動き優先パラメータセット指示データとなる。サーバ3は、要求されたコンテンツを、コンテンツ保存部から取り出し、指示された変換パラメータセットを用いて、トランスコーディング処理を行い、コンテンツを携帯端末1へ送信する。コンテンツを受信中に携帯端末1の形態の変化が検出されると、携帯端末1は、サーバ3に対して、符号化パラメータセットを指示するデータを送る。
【解決手段】携帯端末1は、サーバ3に対して、コンテンツを指示するデータと変換パラメータセットを指示するデータとを送る。携帯端末1の形態が画面横向き形態であると、符号化パラメータセット指示データは、画質優先パラメータセット指示データとなる。逆に、画面縦向き形態であったときは、動き優先パラメータセット指示データとなる。サーバ3は、要求されたコンテンツを、コンテンツ保存部から取り出し、指示された変換パラメータセットを用いて、トランスコーディング処理を行い、コンテンツを携帯端末1へ送信する。コンテンツを受信中に携帯端末1の形態の変化が検出されると、携帯端末1は、サーバ3に対して、符号化パラメータセットを指示するデータを送る。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、コンテンツ送受信技術に関し、特に、動画像や音声データを受信し再生する携帯端末、及び、動画像や音声データを携帯端末に向けて配信する配信端末、及びそれらを含むシステムに関する。
【背景技術】
【0002】
近年、ドラマやニュースなどの動画像や音声データを配信する配信サービスが普及しつつある。このような配信サービスに用いられるシステムは、データ配信用のサーバと、必要であればデータを中継する中継サーバと、データを受信して再生する再生端末と、各端末間を接続する通信回線と、を含んで構成される。
【0003】
通信回線には一般的に帯域制限があり、一つの通信回線を複数の人や端末で共用する場合や、通信回線が無線通信である場合などは、特に帯域の制限が厳しくなる傾向にある。
【0004】
したがって、通信回線の帯域を超えるビットレートの動画像を配信する場合に、一般的に、フレームを間引いたり、解像度を落としたりして再符号化するトランスコーディングという処理が必要となる。このトランスコーディングの処理では、フレームレートと解像度(又は、画質)は、通常、トレードオフの関係にある。また、トランスコーディング処理は、リアルタイムで処理する方法と、事前に処理したデータを用意しておく方法との2つに大別される。
【0005】
携帯型コンテンツ再生機やそのような機能を包含する携帯電話機などの再生端末は、トランスコーディングされた動画像データを受信し、復号して再生する。
【0006】
コンテンツの解像度を変化させるトランスコーディングに関しては、再生端末が再生できる解像度に応じで、コンテンツの解像度を変化させることを可能とする技術が提案されている(特許文献1参照)。この技術では、同一の解像度への変換のみを行っている。
【0007】
また、同様にコンテンツを適応的にトランスコーディングして、通信回線の品質や端末の電池レベルなどに応じて、プロキシサーバを用いて、トランスコーディングを行う提案がなされている(特許文献2参照)。
【0008】
【特許文献1】特開2005−341093号公報、「コンテンツ適応化装置、コンテンツ適応化システム、コンテンツ適応化方法」
【特許文献2】特開2006−74728号公報、「無線端末動的プログラマブルプロキシ」
【発明の開示】
【発明が解決しようとする課題】
【0009】
配信側のコンピュータがリアルタイムにトランスコーディングする場合に、動き優先、画質優先などと言われることがあるトランスコーディングのフレームレートと画質との関係を与える変数は、配信を開始したときの初期変数から、通信回線の帯域の状況に応じて変化することは、従来から可能であった。
【0010】
しかしながら、動画データなどの配信中に、端末の形態を変更する場合があり、また、表示画面の向きなども変化する場合がある。
ところが、このような変化に関しては、対応できていなかった。
【0011】
本発明は、コンテンツの配信を受ける携帯端末を含む無線回線を用いたコンテンツ配信システムのように、通信回線の帯域に制限があり、配信側のコンピュータで動画像のトランスコーディングが必要な場合に、携帯端末などの再生端末の形態や向きの変化に適応させてトランスコーディングの処理を行うことを目的とする。
【課題を解決するための手段】
【0012】
本発明の一観点によれば、可動部を備えることにより形態が変化し、ネットワークを介してコンテンツ配信サーバからコンテンツの配信を受けることができるコンテンツ受信端末であって、前記形態を検出する形態検出部を有し、前記コンテンツ配信サーバに対するコンテンツの配信要求の際に前記形態検出部によって検出された形態に適したコンテンツの変換方法を指定する変換方法指定データを送信することを特徴とするコンテンツ受信端末が提供される。上記のサーバは、前記変換方法の指定にもとづいて、必要に応じてトランスコーディング処理を行ったコンテンツをコンテンツ受信端末に配信する。
【0013】
前記コンテンツを受信中に前記形態検出部によって形態の変化を検出すると、前記サーバに対してコンテンツの変換方法を指定するデータを送信することが好ましい。また、前記携帯端末による前記サーバへのコンテンツの要求において、分割された符号化データを複数回にわたり配信するように要求することが好ましい。前記携帯端末による前記サーバへのコンテンツの要求において、分割されたコンテンツのうちのいずれの要素を要求するかを指定することが好ましい。
【0014】
前記携帯端末による前記サーバへのコンテンツの要求において、動き優先パラメータセット又は画質優先パラメータセットのいずれかを指定することも可能である。前記形態検出部により直近に検出された形態を記憶する形態記憶部を有しており、該形態記憶部に記憶された形態と形態の変化の検出とに基づいて、検出後の形態を推定して記憶することを特徴とする。例えば、2通りの形態がある場合には、変化を検出すると、前の形態からそれ以外の1通りの形態に変化したことがわかる。
【0015】
また、コンテンツ受信端末の形態が画面横向き形態に変化していると推定されると、画質を優先するパラメータセットを前記コンテンツ配信装置への配信指示データとすることを特徴とする。さらに、コンテンツ受信端末の形態が画面縦向き形態に変化していると推定されると、動きを優先するパラメータセットを前記コンテンツ配信装置への配信指示データとするようにしても良い。
【0016】
また、ネットワークを介してコンテンツ配信サーバからコンテンツの配信を受けることができるコンテンツ受信端末であって、端末の向く方向を検出する方向検出部を有し、前記コンテンツ配信サーバに対するコンテンツの配信要求の際に前記方向検出部によって検出された向きに適したコンテンツの変換方法を指定する変換方法指定データを送信することを特徴とするコンテンツ受信端末が提供される。
【0017】
上記に記載のコンテンツ受信端末に対してコンテンツを配信するコンテンツ配信装置であって、コンテンツを保存するコンテンツ保存部と、コンテンツを復号する復号部と、復号されたコンテンツデータを変換処理する変換制御部と、変換処理された前記コンテンツデータを符号化する符号化部と、符号化された符号化データを前記コンテンツ受信端末に送信する通信部と、を有することが好ましい。前記変換制御部は、前記変換方法指定データに基づいて変換を行うことが好ましい。前記変換制御部による復号されたデータの処理は、データ量を減らす方向の処理又はフレーム数を減らす方向である。
【0018】
また、上記のコンテンツ配信装置は、事前に自ら復号、変換処理、符号化された符号化データをコンテンツ保存部、又は上記コンテンツ配信装置の他の記憶部に保持し、前記変換方法指定データに基づいて、前記保持した符号化データを読み出し、前記コンテンツ受信端末に対して配信しても良い。このとき、上記コンテンツ配信装置は、自ら復号、変換処理、符号化しない場合、復号部と変換制御部と符号化部を有しない構成をとっても良い。
【0019】
前記コンテンツ保存部が、通信回線により前記コンテンツ配信装置と接続可能な別の端末装置に設けられていても良い。
【0020】
本発明の他の観点によれば、コンテンツ受信端末の形態を検出するステップと、該形態に基づいて、コンテンツを配信するコンテンツ配信装置に対してコンテンツの変換方法を指定するデータを送信するステップと、を有することを特徴とする配信コンテンツ要求方法が提供される。前記コンテンツ配信装置からの符号化データの受信中に前記コンテンツ受信端末の形態の変化を検出すると、前記コンテンツ配信装置に対して変換方法を指定するデータを送信するステップを有することが好ましい。前記コンテンツ受信端末から送られた変換方法を指定するデータを受信し、該データの要求に基づいて復号されたデータに対して変換処理及び符号化を行うステップと、前記符号化データを前記コンテンツ受信端末へ送信するステップと、を有することが好ましい。また、前記コンテンツ受信端末から送られた変換方法を指定するデータを受信し、該データの要求に基づいて符号化データを読み出すステップと、前記符号化データを前記コンテンツ受信端末へ送信するステップと、を有することが好ましい。また、前記コンテンツ受信端末への符号化データの送信中に、前記コンテンツ受信端末から変換方法を指定するデータを受信するステップと、前記変換方法の指定に基づいて復号されたデータに対して変換処理及び符号化を行うステップと、前記符号化データを前記コンテンツ受信端末へ送信するステップと、を有していても良い。また、前記コンテンツ受信端末への符号化データの送信中に、前記コンテンツ受信端末から変換方法を指定するデータを受信するステップと、前記変換方法の指定に基づいて符号化データを読み出すステップと、前記符号化データを前記コンテンツ受信端末へ送信するステップと、を有していても良い。上記ステップをコンピュータに実行させるためのプログラムも本発明に含まれるものである。
【発明の効果】
【0021】
本発明によれば、サーバから配信された動画や音声などのデータを受信する携帯端末において、携帯端末の形態や向きの変化に応じて受信するデータを適切に変化させることができる。従って、通信回線の帯域を効率的に利用することができる。また、コンテンツを見やすく表示させることができるという利点がある。
【発明を実施するための最良の形態】
【0022】
以下、本発明の実施の形態によるコンテンツ送受信技術について図面を参照しながら説明を行う。図1は本発明の一実施の形態による第1の携帯端末1の外観例を示す正面図である。図2は、携帯端末1を側面から見た側面図である。図3は携帯端末1を背面から見た背面図である。図4、図5は、携帯端末1の動作例を示す正面図である。
【0023】
本実施の形態による携帯端末1は、複数の入力ボタン16を備える操作部を含む本体部(第1の筐体)13と、表示画面15が設けられた画面部(第2の筐体)11と、を有している。画面受け部12は、本体部13と画面部11とを2つの可動部を介して連結している。第1の可動部は、画面受け部12と本体部13とをクラムシェルのように開閉する方向への動作を可能とする。第2の可動部は、画面受け部12と画面部11とが平行な状態を保持したままで面内において回転移動を可能とする。
【0024】
すなわち、画面受け部12に対して、図4に示すように、画面部11が回動部18を基準として回転し(矢印AR1参照)、図5に示すように、表示画面15が図1に示す状態から例えば90度回転し、縦向きから横向きになるように動作させることができる。ここで、図1のような携帯端末1の形態を画面縦向き形態と称し、図5のような形態を画面横向き形態と称する。以上に説明した機構を有する携帯端末1は、既に商品として販売されておりさらに詳細な機構についての説明は省略する。
【0025】
さらに、上記とは異なる動作をする第2の携帯端末の例について図11〜13までに示す。図11は、第2の携帯端末101の構成例を示す斜視図である。図11に示す携帯端末101は、本体部113と画面部111とが2軸(AR2およびAR3)の可動部125をもつヒンジ127によって連結され、クラムシェルのように開閉する方向AR3への可動と、さらに、画面部111が回転する機構(AR2)をもつ。このような携帯端末101についても、表示画面115が縦向きになるような開いた形態のときを画面縦向き形態と称し、表示画面115が回転して折りたたんだ形態(デジカメのような形態)を画面横向き形態と称する。すなわち、図11に示す形態が、画面縦向き形態であり、図13に示す形態が、画面横向き形態である。つまり、携帯端末101の表示画面115の向きが縦方向に見やすい向きであれば画面縦向き形態と称し、画面の向きが横方向に見やすい向きであれば画面横向き形態と称することにする。このような機構をもつ携帯端末に関しても販売されているものであるため、その機構の詳細な説明は省略する。
【0026】
図6は、上記のような携帯端末1・101の内部構成例を示す機能ブロック図である。携帯端末1・101は、画面縦向き形態と画面横向き形態のいずれの形態であるかを検出する形態検出部61と、サーバなどの他の端末と通信してデータを送受信する通信部62と、符号化された動画データや音声データを復号する復号部63と、携帯端末1・101の各部を制御及び監視するCPU64と、復号された動画データなどを表示画面15へ表示する表示部65と、入力ボタン16からの入力を受ける入力部66と、制御プログラムや固定データを格納するROM17と、実行中のプログラムやデータを一時的に保存するRAM18と、を含んで構成される。ここで、形態検出部61が、加速度センサ機能を備えているときは、重力の方向を検出して形態又は画面の向きを検出することも可能である。一般的に、形態検出部61は電気的、又は光学的なセンサやスイッチによって携帯端末1・101の形態を検出する。
【0027】
図7は携帯端末1を含むコンテンツ配信ネットワークの構成例を示す図である。図7に示すように、携帯端末1(以下、101を省略する)は、無線回線(通信可能であれば良いので有線でも可能である)によってネットワークNTにつながっている。ここで、ネットワークNTは、単一のネットワークでも複数のネットワークの連結であっても良い。コンテンツ配信装置(サーバ3)も、有線又は無線回線によってネットワークNTにつながっており、携帯端末1と相互にデータの送受信が可能である。
【0028】
図8は、サーバ3の内部構成例を示す図である。サーバ3は、復号されたデータの処理及び符号化のパラメータを制御する変換制御部81と、携帯端末などの他の端末と通信してデータを送受信する通信部82と、符号化された動画や音声データを復号する復号部83と、サーバ3の各部を制御及び監視を行うCPU84と、動画データや音声データを送信用に符号化する符号化部85と、動画データや音声データを保存するコンテンツ保存部86と、制御プログラムや固定データを格納する記録部87と、実行中のプログラムやデータを一時的に保存するRAM88と、を含んで構成される。ここで、コンテンツ保存部86は、記録部87の一部とした構成をとっても良い。また、コンテンツ保存部86は、ネットワークを介して他の端末に存在し、通信部82を介して読み出すか、或いは、受け取るように構成することも可能である。
【0029】
尚、携帯端末1は、直接にサーバ3と通信しても良いが、携帯端末1と、サーバ3と、の間に中継サーバを設け、この中継サーバを介して、制御データ、動画や音声データの送受信を行う構成であっても良い。また、制御データ、動画データや音声データそれぞれのネットワーク内の通信経路は、異なっていても良い。
【0030】
図9は、本実施の形態によるコンテンツ配信に関する1つの携帯端末1がサーバ3からコンテンツを取得する際のシーケンス図である。まず、ステップS91において、携帯端末1は、サーバ3に対して、動画データや音声データであるコンテンツのリストを要求する。例えば、コンテンツのリストを要求するためのURLを予め携帯端末1が知っていて、このURLに対して、HTTPプロトコルのGETメソッドを実行する。ステップS92において、サーバ3は、コンテンツ保存部86に保存されたコンテンツのうち、要求に合ったコンテンツのリストを携帯端末1へ送信する。例えば、動画データが欲しいという要求があった場合に、サーバ3は、コンテンツ保存部86に保存されたコンテンツのうち動画データであるコンテンツのリストを携帯端末1へ送信する。例えば、拡張子“.3gp”である動画データを探し、リスト化し送信することが可能である。
【0031】
ステップS93において、上記コンテンツのリストを受信した携帯端末1は、このコンテンツのリストの中から、受信し再生したいコンテンツを、ユーザによる入力部66からの指令などによって選択し、サーバ3に対して、選択されたコンテンツを指示するデータを送信する。携帯端末1は、コンテンツ指示データとともに、変換パラメータセットを指示するデータをサーバ3に対して送信する。この変換パラメータセットについては、後述する。尚、変換パラメータセット指示データとコンテンツ指示データは、同じリクエストとして送っても良いし、別々のリクエストとして送っても良い。
【0032】
ステップS94において、サーバ3は、コンテンツ指示データによって指示されたコンテンツを、コンテンツ保存部86から取り出す。そして、このコンテンツを復号部83によって復号し、変換制御部81は、携帯端末1とサーバ3との間の通信回線の帯域に見合ったビットレートへ、符号化部85を使ってトランスコーディングを行った後、又は、行いながらリアルタイムに、携帯端末1に対して上記トランスコーディング後のコンテンツを送信する。
【0033】
トランスコーディングに関する一例について説明する。例えば、指示されたコンテンツが動画データであり、解像度(サイズ)が720×480、フレームレートが30fps、ビットレートが2Mbpsの動画データであるコンテンツAがコンテンツ保存部86に保存されていたとする。このとき、通信回線の帯域の制限によって、上記コンテンツAをビットレートが384kbps程度のコンテンツとしてであれば送ることができる場合には、トランスコーディング処理が必要となる。
【0034】
サーバ3は、復号部83によってコンテンツAを復号し、変換制御部81によって解像度を減らしたり、フレームを間引いてフレームレートを落としたりした動画データを抽出する。そして、符号化部85にパラメータを与えて符号化を行い、コンテンツA’を作成する。解像度を減らしたりフレームレートを落としたりするとデータ量が減るため、符号化された上記コンテンツA’のビットレートを下げることができる。符号化の例として、MPEG−4、H.264など公知の圧縮方式を用いることができる。符号化時の圧縮率を上げることにより、ビットレートを下げることが可能であるが、圧縮率を上げていくと、当然、画質は劣化していく。
【0035】
ここで、フレームレートを犠牲にして各フレームの画質を優先するようにトランスコーディング処理する変換パラメータの組み合わせを画質優先パラメータセットと称し、反対に、各フレームの画質を犠牲にしてフレームレートを優先するようにトランスコーディング処理する変換パラメータの組み合わせを動き優先パラメータセットと称することにする。すなわち、画質優先パラメータセットは、フレーム数を減らす処理、例えば、30fpsのフレームレートを10fpsへ落とすような処理を優先して行うパラメータの組み合わせである。動き優先パラメータセットは、フレームレートをできるだけ維持し、1フレームの解像度(サイズ)を縮小することを優先して行うパラメータの組み合わせである。
【0036】
また、上記パラメータセットに、符号化時のパラメータも含めることもできる。例えば、MPEG−4などの圧縮方式で使われる量子化係数(QP値)の最大値、最小値や、イントラフレームの挿入する間隔などである。一般的に、量子化係数(QP値)の最大値を制限することによって、1フレームの画質を維持することが可能であるが、その分、符号量が増えるため、フレーム数を減らすなどの処理が必要となる。また、フレームレートの違いによってイントラフレームを挿入する間隔(フレーム数)も違ってくる。尚、変換制御部81が行うトランスコーディング処理のパラメータの組み合わせは、上述のパラメータセットに限定されるものではなく、任意にパラメータを選択することができる。
【0037】
図9のシーケンス図では、サーバ3は、コンテンツA’を分割して携帯端末1に送っている。携帯端末1は、コンテンツの要求を繰り返すことによって、次々にコンテンツA’の一部分を受信し、最終的には、コンテンツA’全体を受信するに至る。例えば、携帯端末1は、HTTPプロトコルのGETメソッドをサーバ3に対して繰り返し送ることにより、上記シーケンスを実現することができる。
【0038】
ステップS93について、詳細に説明する。ステップS93において、携帯端末1の形態検出部61よって検出された最新の形態が画面縦向き形態であった場合に、携帯端末1がサーバ3に対して送る変換パラメータセット指示データは、動き優先パラメータセット指示データとなる。表示画面15が縦向きであると、一般的に動画データの解像度は横に長いアスペクト比をもつため、表示画面15に表示される動画データの解像度(サイズ)は画面横向き形状のときに比べて小さくなる。例えば、表示画面の解像度が240×320であった場合、横方向のサイズを小さい方の240に収めなければならず、これは、表示画面が横向きであった場合の320より小さい。したがって、画質優先パラメータセットより、動画データの解像度の横のサイズを240に合わせて小さくして、その分、フレーム数を維持した動き優先パラメータセットを指示する方が、表示画面15の向きの表示に合っている。動き優先パラメータセットを指示することで、より通信回線の帯域を効率よく使うことが可能である。動き優先パラメータセットが使われてトランスコーディングされた結果のコンテンツをコンテンツA(M)と呼ぶことにする。
【0039】
変換パラメータセットを指示するデータの送信は、例えば、HTTPプロトコルのGET、又はPOSTメソッドを使うことで実現できる。例えば、HTTPプロトコルのURLの後ろに次のようにパラメータを指定する。
“http://www.xxxxxxx.com/contents.3gp?i=10&c=1”
【0040】
ここで、“i=10”は分割されたコンテンツのどの要素が欲しいかを指定している。また、“c=1”は、動き優先パラメータセットであるか、或いは、画質優先パラメータセットであるかを指定する。
【0041】
携帯端末1が、サーバ3からコンテンツA(M)の要素を受信中に、携帯端末1の形態検出部61によって、携帯端末1の形態の変化を検出したとする。例えば、直近に検出された形態を記憶する記憶部を設けておく。この記憶部に記憶されたデータによれば、以前に検出された形態が画面縦向き形態であったとすると、ここでの変化は、画面縦向き形態ではない形態への変化、つまり、画面縦向き形態から画面横向き形態への変化と推定される。もちろん、以前の形態が異なると逆の変化も起こりうる。
【0042】
ステップS95において、携帯端末1は、サーバ3に対して、コンテンツの要求とともに、変換パラメータセット指示データを送る。このときの変換パラメータセット指示データは、携帯端末1の形態が画面横向き形態に変化しているから、画質優先パラメータセット指示データとなる。画面が横向きであると、画面が縦向きであるときと比べて、横に長いアスペクト比をもつ動画データを表示するときに、表示画面15に表示できる動画データの解像度(サイズ)は大きくなる。例えば、表示画面の解像度が240×320であった場合、画面が横向きになっているから横方向のサイズは320まで使うことができ、これは、表示画面が縦向きであった場合の240より大きい。したがって、画質優先パラメータセットを指示する方が、動画データの1フレームの画像はより細かく見える。従って、表示画面15の向きの表示により合っている。画質優先パラメータセットを指示することで、より通信回線の帯域を効率よく使うことが可能である。画質優先パラメータセットが使われてトランスコーディング処理された結果のコンテンツをコンテンツA(R)と称する。
【0043】
ステップS96において、サーバ3は、携帯端末1から画質優先パラメータセット指示データを受け取り、トランスコーディングのパラメータを変化させて、コンテンツAのトランスコーディングを行う。サーバ3は、作られたコンテンツA(R)を携帯端末1へ送信する。
【0044】
図10は、図9と異なり、サーバ3が携帯端末1へ、コンテンツを分割しないで送る場合のシーケンス図である。
【0045】
ステップS101、ステップS102は、図9のステップS91、ステップS92と同じであるため説明を省略する。
【0046】
ステップS103において、携帯端末1は、サーバ3に対して、コンテンツを指示するデータと変換パラメータセットを指示するデータとを送る。この際、携帯端末1の形態検出部61によって検出された最新の形態が画面横向き形態であったとすると、上記符号化パラメータセット指示データは、前述の説明のように画質優先パラメータセット指示データとなる。逆に、携帯端末1の形態が、画面縦向き形態であったときは、動き優先パラメータセット指示データとなる。
【0047】
変換パラメータセット指示データの送信は、例えば、RTSPプロトコルのSET_PARAMETERメソッドや前述したHTTPのGETメソッドによって行うことができる。HTTPプロトコルを使う場合、ダウンロードしながら再生を開始するので、これを疑似ストリーミングと呼ぶことがある。なお、コンテンツ指示データと変換パラメータセット指示データは、別々のリクエストとして送っても良いものとする。
【0048】
RTSPプロトコルによってセッションをはり、RTP/RTCPプロトコルを使う場合、一般的に、コンテンツデータはRTPパケットによって送られる。RTCPパケットはRTPパケットの送受信中に、送信者と受信者間で通信品質などの情報をやりとりするプロトコルである。RTCPプロトコルのRR(Receiver Report)パケットはRTPパケットの受信者から送信者に送られるパケットであり、拡張領域profile−specific extensionsをもつことができる。この拡張領域に、変換パラメータセット指示データを入れることも可能である。
【0049】
ステップS104において、サーバ3は、要求された上記コンテンツ、すなわちコンテンツB(M)を、コンテンツ保存部86から取り出す。そして、変換制御部81は、指示された変換パラメータセットを用いて、復号部83、符号化部85を用い、トランスコーディング処理を行う。今回の変換パラメータセットは画質優先パラメータセットであるから、動画データの1フレームの解像度を優先したパラメータの組み合わせを用いてトランスコーディング処理を行う。例えば、フレームレートを下げ、MPEG−4などの圧縮方式で使われるQP値があまり大きくならないように制御を行う。サーバ3は、トランスコーディングされたコンテンツ、コンテンツB(R)を携帯端末1へ送信する。
【0050】
携帯端末1がサーバ3からコンテンツB(R)を受信中に、携帯端末1の形態検出部61によって、携帯端末1の形態の変化が検出されたとする。以前に検出された形態が画面横向き形状であったので、ここでの変化は、画面横向き形状ではない形状への変形態、つまり、画面横向き形態から画面縦向き形態への変化となる。もちろん、以前の形態が異なると逆の変化も起こりうる。
【0051】
ステップS105において、携帯端末1は、サーバ3に対して、符号化パラメータセットを指示するデータを送る。このときの符号化パラメータセット指示データは、携帯端末1の形態が画面縦向き形態に変化しているから、動き優先パラメータセット指示データとなる。例えば、前述したRTCPプロトコルのRRパケットタイプの拡張領域によって実現することが可能である。
【0052】
上記コンテンツA(M)とコンテンツA(R)、又はコンテンツB(M)とコンテンツB(R)は、リアルタイムにトランスコーディングを行ったが、事前にサーバ3、又はトランスコーディング用の装置が、上記コンテンツA、又はコンテンツBを動き優先パラメータセット、及び、画質優先パラメータセットを用いてトランスコーディングし、コンテンツ保存部86、又は他の記憶部に保存しておき、携帯端末1から変換パラメーターセット指示データを受け取ると、事前にトランスコーディングされたコンテンツを読み出して送る構成とすることも可能である。この際、コンテンツ配信中のサーバ3の負荷はトランスコーディング処理が削減されるため軽くなるという利点がある。
【0053】
もし、サーバ3が事前に他の装置でトランスコーディングされたコンテンツを保持しており、リアルタイムにトランスコーディングを行わない場合には、図8の構成図から、変換制御部81、復号部83、符号化部85を省略することも可能である。
【0054】
上記の技術において、端末の形態・向きに応じて、適切な処理を行うことについて説明したが、端末の形態と向きとの両方を検出して、それに応じた処理を行うようにしてもよい。
【0055】
尚、以上の実施例において、再生初期時の形態によって変換パラメータセットを指示した後、コンテンツの受信中に携帯端末1の形態に変化があっても変換パラメータセット指示データを送信せず、再生を続けることも可能である。
【0056】
また、以上の実施例のステップは基本的なステップのみを挙げたものであって、他のデータの送受信など、任意にステップを追加しても良く、携帯端末1とサーバ3とのシーケンスが破綻しない範囲で順番の変更が行われても良い。プロトコルは他のプロトコルによっても実現可能であり、例としてとりあげたものに限定しない。
【0057】
以上、本発明の例を説明したが、本発明は上述の例に限定されるものではなく、特許請求の範囲に記載された発明の範囲にて様々な変更が可能であることは当業者に理解されよう。
【産業上の利用可能性】
【0058】
本発明は、コンテンツ送受信技術に利用可能である。
【図面の簡単な説明】
【0059】
【図1】本発明の一実施の形態に係る携帯端末であって、その形態が表示画面縦向きとなっている場合の外観図である。
【図2】本発明の一実施の形態に係る携帯端末であって、形態が表示画面縦向きとなっている場合の側面から見た外観図である。
【図3】本発明の一実施の形態に係る携帯端末で形態が表示画面縦向きとなっている場合の背面から見た外観図である。
【図4】本発明の一実施の形態に係る携帯端末で表示画面を回転させている途中段階を示した外観図である。
【図5】本発明の一実施の形態に係る携帯端末であって、その形態が表示画面横向きとなっている場合の外観図である。
【図6】本発明の一実施の形態に係る携帯端末の内部構成例を示す機能ブロック図である。
【図7】本発明の一実施の形態に係る携帯端末とサーバを含んだネットワークシステムの構成例を示す図である。
【図8】本発明の一実施の形態に係るサーバの内部構成例を示す図である。
【図9】本発明の一実施の形態に係る携帯端末とサーバとのデータ送受信のシーケンスを示した図である。
【図10】本発明の一実施の形態に係る携帯端末とサーバのデータ送受信のシーケンスを示した図である。
【図11】本発明の一実施の形態に係る携帯端末で形態が表示画面縦向きとなっている場合の外観図である。
【図12】本発明の実施の形態に係る携帯端末で表示画面が背面を向いた形態で表示画面縦向きとなっている場合の外観図である。
【図13】本発明の実施の形態に係る携帯端末で筐体を重ねて折りたたんだ形態を示す外観図である。
【符号の説明】
【0060】
1…携帯端末、11…画面部、12…画面受け部、13…本体部、15…表示画面、16…入力ボタン、3…コンテンツ配信装置(サーバ)
【技術分野】
【0001】
本発明は、コンテンツ送受信技術に関し、特に、動画像や音声データを受信し再生する携帯端末、及び、動画像や音声データを携帯端末に向けて配信する配信端末、及びそれらを含むシステムに関する。
【背景技術】
【0002】
近年、ドラマやニュースなどの動画像や音声データを配信する配信サービスが普及しつつある。このような配信サービスに用いられるシステムは、データ配信用のサーバと、必要であればデータを中継する中継サーバと、データを受信して再生する再生端末と、各端末間を接続する通信回線と、を含んで構成される。
【0003】
通信回線には一般的に帯域制限があり、一つの通信回線を複数の人や端末で共用する場合や、通信回線が無線通信である場合などは、特に帯域の制限が厳しくなる傾向にある。
【0004】
したがって、通信回線の帯域を超えるビットレートの動画像を配信する場合に、一般的に、フレームを間引いたり、解像度を落としたりして再符号化するトランスコーディングという処理が必要となる。このトランスコーディングの処理では、フレームレートと解像度(又は、画質)は、通常、トレードオフの関係にある。また、トランスコーディング処理は、リアルタイムで処理する方法と、事前に処理したデータを用意しておく方法との2つに大別される。
【0005】
携帯型コンテンツ再生機やそのような機能を包含する携帯電話機などの再生端末は、トランスコーディングされた動画像データを受信し、復号して再生する。
【0006】
コンテンツの解像度を変化させるトランスコーディングに関しては、再生端末が再生できる解像度に応じで、コンテンツの解像度を変化させることを可能とする技術が提案されている(特許文献1参照)。この技術では、同一の解像度への変換のみを行っている。
【0007】
また、同様にコンテンツを適応的にトランスコーディングして、通信回線の品質や端末の電池レベルなどに応じて、プロキシサーバを用いて、トランスコーディングを行う提案がなされている(特許文献2参照)。
【0008】
【特許文献1】特開2005−341093号公報、「コンテンツ適応化装置、コンテンツ適応化システム、コンテンツ適応化方法」
【特許文献2】特開2006−74728号公報、「無線端末動的プログラマブルプロキシ」
【発明の開示】
【発明が解決しようとする課題】
【0009】
配信側のコンピュータがリアルタイムにトランスコーディングする場合に、動き優先、画質優先などと言われることがあるトランスコーディングのフレームレートと画質との関係を与える変数は、配信を開始したときの初期変数から、通信回線の帯域の状況に応じて変化することは、従来から可能であった。
【0010】
しかしながら、動画データなどの配信中に、端末の形態を変更する場合があり、また、表示画面の向きなども変化する場合がある。
ところが、このような変化に関しては、対応できていなかった。
【0011】
本発明は、コンテンツの配信を受ける携帯端末を含む無線回線を用いたコンテンツ配信システムのように、通信回線の帯域に制限があり、配信側のコンピュータで動画像のトランスコーディングが必要な場合に、携帯端末などの再生端末の形態や向きの変化に適応させてトランスコーディングの処理を行うことを目的とする。
【課題を解決するための手段】
【0012】
本発明の一観点によれば、可動部を備えることにより形態が変化し、ネットワークを介してコンテンツ配信サーバからコンテンツの配信を受けることができるコンテンツ受信端末であって、前記形態を検出する形態検出部を有し、前記コンテンツ配信サーバに対するコンテンツの配信要求の際に前記形態検出部によって検出された形態に適したコンテンツの変換方法を指定する変換方法指定データを送信することを特徴とするコンテンツ受信端末が提供される。上記のサーバは、前記変換方法の指定にもとづいて、必要に応じてトランスコーディング処理を行ったコンテンツをコンテンツ受信端末に配信する。
【0013】
前記コンテンツを受信中に前記形態検出部によって形態の変化を検出すると、前記サーバに対してコンテンツの変換方法を指定するデータを送信することが好ましい。また、前記携帯端末による前記サーバへのコンテンツの要求において、分割された符号化データを複数回にわたり配信するように要求することが好ましい。前記携帯端末による前記サーバへのコンテンツの要求において、分割されたコンテンツのうちのいずれの要素を要求するかを指定することが好ましい。
【0014】
前記携帯端末による前記サーバへのコンテンツの要求において、動き優先パラメータセット又は画質優先パラメータセットのいずれかを指定することも可能である。前記形態検出部により直近に検出された形態を記憶する形態記憶部を有しており、該形態記憶部に記憶された形態と形態の変化の検出とに基づいて、検出後の形態を推定して記憶することを特徴とする。例えば、2通りの形態がある場合には、変化を検出すると、前の形態からそれ以外の1通りの形態に変化したことがわかる。
【0015】
また、コンテンツ受信端末の形態が画面横向き形態に変化していると推定されると、画質を優先するパラメータセットを前記コンテンツ配信装置への配信指示データとすることを特徴とする。さらに、コンテンツ受信端末の形態が画面縦向き形態に変化していると推定されると、動きを優先するパラメータセットを前記コンテンツ配信装置への配信指示データとするようにしても良い。
【0016】
また、ネットワークを介してコンテンツ配信サーバからコンテンツの配信を受けることができるコンテンツ受信端末であって、端末の向く方向を検出する方向検出部を有し、前記コンテンツ配信サーバに対するコンテンツの配信要求の際に前記方向検出部によって検出された向きに適したコンテンツの変換方法を指定する変換方法指定データを送信することを特徴とするコンテンツ受信端末が提供される。
【0017】
上記に記載のコンテンツ受信端末に対してコンテンツを配信するコンテンツ配信装置であって、コンテンツを保存するコンテンツ保存部と、コンテンツを復号する復号部と、復号されたコンテンツデータを変換処理する変換制御部と、変換処理された前記コンテンツデータを符号化する符号化部と、符号化された符号化データを前記コンテンツ受信端末に送信する通信部と、を有することが好ましい。前記変換制御部は、前記変換方法指定データに基づいて変換を行うことが好ましい。前記変換制御部による復号されたデータの処理は、データ量を減らす方向の処理又はフレーム数を減らす方向である。
【0018】
また、上記のコンテンツ配信装置は、事前に自ら復号、変換処理、符号化された符号化データをコンテンツ保存部、又は上記コンテンツ配信装置の他の記憶部に保持し、前記変換方法指定データに基づいて、前記保持した符号化データを読み出し、前記コンテンツ受信端末に対して配信しても良い。このとき、上記コンテンツ配信装置は、自ら復号、変換処理、符号化しない場合、復号部と変換制御部と符号化部を有しない構成をとっても良い。
【0019】
前記コンテンツ保存部が、通信回線により前記コンテンツ配信装置と接続可能な別の端末装置に設けられていても良い。
【0020】
本発明の他の観点によれば、コンテンツ受信端末の形態を検出するステップと、該形態に基づいて、コンテンツを配信するコンテンツ配信装置に対してコンテンツの変換方法を指定するデータを送信するステップと、を有することを特徴とする配信コンテンツ要求方法が提供される。前記コンテンツ配信装置からの符号化データの受信中に前記コンテンツ受信端末の形態の変化を検出すると、前記コンテンツ配信装置に対して変換方法を指定するデータを送信するステップを有することが好ましい。前記コンテンツ受信端末から送られた変換方法を指定するデータを受信し、該データの要求に基づいて復号されたデータに対して変換処理及び符号化を行うステップと、前記符号化データを前記コンテンツ受信端末へ送信するステップと、を有することが好ましい。また、前記コンテンツ受信端末から送られた変換方法を指定するデータを受信し、該データの要求に基づいて符号化データを読み出すステップと、前記符号化データを前記コンテンツ受信端末へ送信するステップと、を有することが好ましい。また、前記コンテンツ受信端末への符号化データの送信中に、前記コンテンツ受信端末から変換方法を指定するデータを受信するステップと、前記変換方法の指定に基づいて復号されたデータに対して変換処理及び符号化を行うステップと、前記符号化データを前記コンテンツ受信端末へ送信するステップと、を有していても良い。また、前記コンテンツ受信端末への符号化データの送信中に、前記コンテンツ受信端末から変換方法を指定するデータを受信するステップと、前記変換方法の指定に基づいて符号化データを読み出すステップと、前記符号化データを前記コンテンツ受信端末へ送信するステップと、を有していても良い。上記ステップをコンピュータに実行させるためのプログラムも本発明に含まれるものである。
【発明の効果】
【0021】
本発明によれば、サーバから配信された動画や音声などのデータを受信する携帯端末において、携帯端末の形態や向きの変化に応じて受信するデータを適切に変化させることができる。従って、通信回線の帯域を効率的に利用することができる。また、コンテンツを見やすく表示させることができるという利点がある。
【発明を実施するための最良の形態】
【0022】
以下、本発明の実施の形態によるコンテンツ送受信技術について図面を参照しながら説明を行う。図1は本発明の一実施の形態による第1の携帯端末1の外観例を示す正面図である。図2は、携帯端末1を側面から見た側面図である。図3は携帯端末1を背面から見た背面図である。図4、図5は、携帯端末1の動作例を示す正面図である。
【0023】
本実施の形態による携帯端末1は、複数の入力ボタン16を備える操作部を含む本体部(第1の筐体)13と、表示画面15が設けられた画面部(第2の筐体)11と、を有している。画面受け部12は、本体部13と画面部11とを2つの可動部を介して連結している。第1の可動部は、画面受け部12と本体部13とをクラムシェルのように開閉する方向への動作を可能とする。第2の可動部は、画面受け部12と画面部11とが平行な状態を保持したままで面内において回転移動を可能とする。
【0024】
すなわち、画面受け部12に対して、図4に示すように、画面部11が回動部18を基準として回転し(矢印AR1参照)、図5に示すように、表示画面15が図1に示す状態から例えば90度回転し、縦向きから横向きになるように動作させることができる。ここで、図1のような携帯端末1の形態を画面縦向き形態と称し、図5のような形態を画面横向き形態と称する。以上に説明した機構を有する携帯端末1は、既に商品として販売されておりさらに詳細な機構についての説明は省略する。
【0025】
さらに、上記とは異なる動作をする第2の携帯端末の例について図11〜13までに示す。図11は、第2の携帯端末101の構成例を示す斜視図である。図11に示す携帯端末101は、本体部113と画面部111とが2軸(AR2およびAR3)の可動部125をもつヒンジ127によって連結され、クラムシェルのように開閉する方向AR3への可動と、さらに、画面部111が回転する機構(AR2)をもつ。このような携帯端末101についても、表示画面115が縦向きになるような開いた形態のときを画面縦向き形態と称し、表示画面115が回転して折りたたんだ形態(デジカメのような形態)を画面横向き形態と称する。すなわち、図11に示す形態が、画面縦向き形態であり、図13に示す形態が、画面横向き形態である。つまり、携帯端末101の表示画面115の向きが縦方向に見やすい向きであれば画面縦向き形態と称し、画面の向きが横方向に見やすい向きであれば画面横向き形態と称することにする。このような機構をもつ携帯端末に関しても販売されているものであるため、その機構の詳細な説明は省略する。
【0026】
図6は、上記のような携帯端末1・101の内部構成例を示す機能ブロック図である。携帯端末1・101は、画面縦向き形態と画面横向き形態のいずれの形態であるかを検出する形態検出部61と、サーバなどの他の端末と通信してデータを送受信する通信部62と、符号化された動画データや音声データを復号する復号部63と、携帯端末1・101の各部を制御及び監視するCPU64と、復号された動画データなどを表示画面15へ表示する表示部65と、入力ボタン16からの入力を受ける入力部66と、制御プログラムや固定データを格納するROM17と、実行中のプログラムやデータを一時的に保存するRAM18と、を含んで構成される。ここで、形態検出部61が、加速度センサ機能を備えているときは、重力の方向を検出して形態又は画面の向きを検出することも可能である。一般的に、形態検出部61は電気的、又は光学的なセンサやスイッチによって携帯端末1・101の形態を検出する。
【0027】
図7は携帯端末1を含むコンテンツ配信ネットワークの構成例を示す図である。図7に示すように、携帯端末1(以下、101を省略する)は、無線回線(通信可能であれば良いので有線でも可能である)によってネットワークNTにつながっている。ここで、ネットワークNTは、単一のネットワークでも複数のネットワークの連結であっても良い。コンテンツ配信装置(サーバ3)も、有線又は無線回線によってネットワークNTにつながっており、携帯端末1と相互にデータの送受信が可能である。
【0028】
図8は、サーバ3の内部構成例を示す図である。サーバ3は、復号されたデータの処理及び符号化のパラメータを制御する変換制御部81と、携帯端末などの他の端末と通信してデータを送受信する通信部82と、符号化された動画や音声データを復号する復号部83と、サーバ3の各部を制御及び監視を行うCPU84と、動画データや音声データを送信用に符号化する符号化部85と、動画データや音声データを保存するコンテンツ保存部86と、制御プログラムや固定データを格納する記録部87と、実行中のプログラムやデータを一時的に保存するRAM88と、を含んで構成される。ここで、コンテンツ保存部86は、記録部87の一部とした構成をとっても良い。また、コンテンツ保存部86は、ネットワークを介して他の端末に存在し、通信部82を介して読み出すか、或いは、受け取るように構成することも可能である。
【0029】
尚、携帯端末1は、直接にサーバ3と通信しても良いが、携帯端末1と、サーバ3と、の間に中継サーバを設け、この中継サーバを介して、制御データ、動画や音声データの送受信を行う構成であっても良い。また、制御データ、動画データや音声データそれぞれのネットワーク内の通信経路は、異なっていても良い。
【0030】
図9は、本実施の形態によるコンテンツ配信に関する1つの携帯端末1がサーバ3からコンテンツを取得する際のシーケンス図である。まず、ステップS91において、携帯端末1は、サーバ3に対して、動画データや音声データであるコンテンツのリストを要求する。例えば、コンテンツのリストを要求するためのURLを予め携帯端末1が知っていて、このURLに対して、HTTPプロトコルのGETメソッドを実行する。ステップS92において、サーバ3は、コンテンツ保存部86に保存されたコンテンツのうち、要求に合ったコンテンツのリストを携帯端末1へ送信する。例えば、動画データが欲しいという要求があった場合に、サーバ3は、コンテンツ保存部86に保存されたコンテンツのうち動画データであるコンテンツのリストを携帯端末1へ送信する。例えば、拡張子“.3gp”である動画データを探し、リスト化し送信することが可能である。
【0031】
ステップS93において、上記コンテンツのリストを受信した携帯端末1は、このコンテンツのリストの中から、受信し再生したいコンテンツを、ユーザによる入力部66からの指令などによって選択し、サーバ3に対して、選択されたコンテンツを指示するデータを送信する。携帯端末1は、コンテンツ指示データとともに、変換パラメータセットを指示するデータをサーバ3に対して送信する。この変換パラメータセットについては、後述する。尚、変換パラメータセット指示データとコンテンツ指示データは、同じリクエストとして送っても良いし、別々のリクエストとして送っても良い。
【0032】
ステップS94において、サーバ3は、コンテンツ指示データによって指示されたコンテンツを、コンテンツ保存部86から取り出す。そして、このコンテンツを復号部83によって復号し、変換制御部81は、携帯端末1とサーバ3との間の通信回線の帯域に見合ったビットレートへ、符号化部85を使ってトランスコーディングを行った後、又は、行いながらリアルタイムに、携帯端末1に対して上記トランスコーディング後のコンテンツを送信する。
【0033】
トランスコーディングに関する一例について説明する。例えば、指示されたコンテンツが動画データであり、解像度(サイズ)が720×480、フレームレートが30fps、ビットレートが2Mbpsの動画データであるコンテンツAがコンテンツ保存部86に保存されていたとする。このとき、通信回線の帯域の制限によって、上記コンテンツAをビットレートが384kbps程度のコンテンツとしてであれば送ることができる場合には、トランスコーディング処理が必要となる。
【0034】
サーバ3は、復号部83によってコンテンツAを復号し、変換制御部81によって解像度を減らしたり、フレームを間引いてフレームレートを落としたりした動画データを抽出する。そして、符号化部85にパラメータを与えて符号化を行い、コンテンツA’を作成する。解像度を減らしたりフレームレートを落としたりするとデータ量が減るため、符号化された上記コンテンツA’のビットレートを下げることができる。符号化の例として、MPEG−4、H.264など公知の圧縮方式を用いることができる。符号化時の圧縮率を上げることにより、ビットレートを下げることが可能であるが、圧縮率を上げていくと、当然、画質は劣化していく。
【0035】
ここで、フレームレートを犠牲にして各フレームの画質を優先するようにトランスコーディング処理する変換パラメータの組み合わせを画質優先パラメータセットと称し、反対に、各フレームの画質を犠牲にしてフレームレートを優先するようにトランスコーディング処理する変換パラメータの組み合わせを動き優先パラメータセットと称することにする。すなわち、画質優先パラメータセットは、フレーム数を減らす処理、例えば、30fpsのフレームレートを10fpsへ落とすような処理を優先して行うパラメータの組み合わせである。動き優先パラメータセットは、フレームレートをできるだけ維持し、1フレームの解像度(サイズ)を縮小することを優先して行うパラメータの組み合わせである。
【0036】
また、上記パラメータセットに、符号化時のパラメータも含めることもできる。例えば、MPEG−4などの圧縮方式で使われる量子化係数(QP値)の最大値、最小値や、イントラフレームの挿入する間隔などである。一般的に、量子化係数(QP値)の最大値を制限することによって、1フレームの画質を維持することが可能であるが、その分、符号量が増えるため、フレーム数を減らすなどの処理が必要となる。また、フレームレートの違いによってイントラフレームを挿入する間隔(フレーム数)も違ってくる。尚、変換制御部81が行うトランスコーディング処理のパラメータの組み合わせは、上述のパラメータセットに限定されるものではなく、任意にパラメータを選択することができる。
【0037】
図9のシーケンス図では、サーバ3は、コンテンツA’を分割して携帯端末1に送っている。携帯端末1は、コンテンツの要求を繰り返すことによって、次々にコンテンツA’の一部分を受信し、最終的には、コンテンツA’全体を受信するに至る。例えば、携帯端末1は、HTTPプロトコルのGETメソッドをサーバ3に対して繰り返し送ることにより、上記シーケンスを実現することができる。
【0038】
ステップS93について、詳細に説明する。ステップS93において、携帯端末1の形態検出部61よって検出された最新の形態が画面縦向き形態であった場合に、携帯端末1がサーバ3に対して送る変換パラメータセット指示データは、動き優先パラメータセット指示データとなる。表示画面15が縦向きであると、一般的に動画データの解像度は横に長いアスペクト比をもつため、表示画面15に表示される動画データの解像度(サイズ)は画面横向き形状のときに比べて小さくなる。例えば、表示画面の解像度が240×320であった場合、横方向のサイズを小さい方の240に収めなければならず、これは、表示画面が横向きであった場合の320より小さい。したがって、画質優先パラメータセットより、動画データの解像度の横のサイズを240に合わせて小さくして、その分、フレーム数を維持した動き優先パラメータセットを指示する方が、表示画面15の向きの表示に合っている。動き優先パラメータセットを指示することで、より通信回線の帯域を効率よく使うことが可能である。動き優先パラメータセットが使われてトランスコーディングされた結果のコンテンツをコンテンツA(M)と呼ぶことにする。
【0039】
変換パラメータセットを指示するデータの送信は、例えば、HTTPプロトコルのGET、又はPOSTメソッドを使うことで実現できる。例えば、HTTPプロトコルのURLの後ろに次のようにパラメータを指定する。
“http://www.xxxxxxx.com/contents.3gp?i=10&c=1”
【0040】
ここで、“i=10”は分割されたコンテンツのどの要素が欲しいかを指定している。また、“c=1”は、動き優先パラメータセットであるか、或いは、画質優先パラメータセットであるかを指定する。
【0041】
携帯端末1が、サーバ3からコンテンツA(M)の要素を受信中に、携帯端末1の形態検出部61によって、携帯端末1の形態の変化を検出したとする。例えば、直近に検出された形態を記憶する記憶部を設けておく。この記憶部に記憶されたデータによれば、以前に検出された形態が画面縦向き形態であったとすると、ここでの変化は、画面縦向き形態ではない形態への変化、つまり、画面縦向き形態から画面横向き形態への変化と推定される。もちろん、以前の形態が異なると逆の変化も起こりうる。
【0042】
ステップS95において、携帯端末1は、サーバ3に対して、コンテンツの要求とともに、変換パラメータセット指示データを送る。このときの変換パラメータセット指示データは、携帯端末1の形態が画面横向き形態に変化しているから、画質優先パラメータセット指示データとなる。画面が横向きであると、画面が縦向きであるときと比べて、横に長いアスペクト比をもつ動画データを表示するときに、表示画面15に表示できる動画データの解像度(サイズ)は大きくなる。例えば、表示画面の解像度が240×320であった場合、画面が横向きになっているから横方向のサイズは320まで使うことができ、これは、表示画面が縦向きであった場合の240より大きい。したがって、画質優先パラメータセットを指示する方が、動画データの1フレームの画像はより細かく見える。従って、表示画面15の向きの表示により合っている。画質優先パラメータセットを指示することで、より通信回線の帯域を効率よく使うことが可能である。画質優先パラメータセットが使われてトランスコーディング処理された結果のコンテンツをコンテンツA(R)と称する。
【0043】
ステップS96において、サーバ3は、携帯端末1から画質優先パラメータセット指示データを受け取り、トランスコーディングのパラメータを変化させて、コンテンツAのトランスコーディングを行う。サーバ3は、作られたコンテンツA(R)を携帯端末1へ送信する。
【0044】
図10は、図9と異なり、サーバ3が携帯端末1へ、コンテンツを分割しないで送る場合のシーケンス図である。
【0045】
ステップS101、ステップS102は、図9のステップS91、ステップS92と同じであるため説明を省略する。
【0046】
ステップS103において、携帯端末1は、サーバ3に対して、コンテンツを指示するデータと変換パラメータセットを指示するデータとを送る。この際、携帯端末1の形態検出部61によって検出された最新の形態が画面横向き形態であったとすると、上記符号化パラメータセット指示データは、前述の説明のように画質優先パラメータセット指示データとなる。逆に、携帯端末1の形態が、画面縦向き形態であったときは、動き優先パラメータセット指示データとなる。
【0047】
変換パラメータセット指示データの送信は、例えば、RTSPプロトコルのSET_PARAMETERメソッドや前述したHTTPのGETメソッドによって行うことができる。HTTPプロトコルを使う場合、ダウンロードしながら再生を開始するので、これを疑似ストリーミングと呼ぶことがある。なお、コンテンツ指示データと変換パラメータセット指示データは、別々のリクエストとして送っても良いものとする。
【0048】
RTSPプロトコルによってセッションをはり、RTP/RTCPプロトコルを使う場合、一般的に、コンテンツデータはRTPパケットによって送られる。RTCPパケットはRTPパケットの送受信中に、送信者と受信者間で通信品質などの情報をやりとりするプロトコルである。RTCPプロトコルのRR(Receiver Report)パケットはRTPパケットの受信者から送信者に送られるパケットであり、拡張領域profile−specific extensionsをもつことができる。この拡張領域に、変換パラメータセット指示データを入れることも可能である。
【0049】
ステップS104において、サーバ3は、要求された上記コンテンツ、すなわちコンテンツB(M)を、コンテンツ保存部86から取り出す。そして、変換制御部81は、指示された変換パラメータセットを用いて、復号部83、符号化部85を用い、トランスコーディング処理を行う。今回の変換パラメータセットは画質優先パラメータセットであるから、動画データの1フレームの解像度を優先したパラメータの組み合わせを用いてトランスコーディング処理を行う。例えば、フレームレートを下げ、MPEG−4などの圧縮方式で使われるQP値があまり大きくならないように制御を行う。サーバ3は、トランスコーディングされたコンテンツ、コンテンツB(R)を携帯端末1へ送信する。
【0050】
携帯端末1がサーバ3からコンテンツB(R)を受信中に、携帯端末1の形態検出部61によって、携帯端末1の形態の変化が検出されたとする。以前に検出された形態が画面横向き形状であったので、ここでの変化は、画面横向き形状ではない形状への変形態、つまり、画面横向き形態から画面縦向き形態への変化となる。もちろん、以前の形態が異なると逆の変化も起こりうる。
【0051】
ステップS105において、携帯端末1は、サーバ3に対して、符号化パラメータセットを指示するデータを送る。このときの符号化パラメータセット指示データは、携帯端末1の形態が画面縦向き形態に変化しているから、動き優先パラメータセット指示データとなる。例えば、前述したRTCPプロトコルのRRパケットタイプの拡張領域によって実現することが可能である。
【0052】
上記コンテンツA(M)とコンテンツA(R)、又はコンテンツB(M)とコンテンツB(R)は、リアルタイムにトランスコーディングを行ったが、事前にサーバ3、又はトランスコーディング用の装置が、上記コンテンツA、又はコンテンツBを動き優先パラメータセット、及び、画質優先パラメータセットを用いてトランスコーディングし、コンテンツ保存部86、又は他の記憶部に保存しておき、携帯端末1から変換パラメーターセット指示データを受け取ると、事前にトランスコーディングされたコンテンツを読み出して送る構成とすることも可能である。この際、コンテンツ配信中のサーバ3の負荷はトランスコーディング処理が削減されるため軽くなるという利点がある。
【0053】
もし、サーバ3が事前に他の装置でトランスコーディングされたコンテンツを保持しており、リアルタイムにトランスコーディングを行わない場合には、図8の構成図から、変換制御部81、復号部83、符号化部85を省略することも可能である。
【0054】
上記の技術において、端末の形態・向きに応じて、適切な処理を行うことについて説明したが、端末の形態と向きとの両方を検出して、それに応じた処理を行うようにしてもよい。
【0055】
尚、以上の実施例において、再生初期時の形態によって変換パラメータセットを指示した後、コンテンツの受信中に携帯端末1の形態に変化があっても変換パラメータセット指示データを送信せず、再生を続けることも可能である。
【0056】
また、以上の実施例のステップは基本的なステップのみを挙げたものであって、他のデータの送受信など、任意にステップを追加しても良く、携帯端末1とサーバ3とのシーケンスが破綻しない範囲で順番の変更が行われても良い。プロトコルは他のプロトコルによっても実現可能であり、例としてとりあげたものに限定しない。
【0057】
以上、本発明の例を説明したが、本発明は上述の例に限定されるものではなく、特許請求の範囲に記載された発明の範囲にて様々な変更が可能であることは当業者に理解されよう。
【産業上の利用可能性】
【0058】
本発明は、コンテンツ送受信技術に利用可能である。
【図面の簡単な説明】
【0059】
【図1】本発明の一実施の形態に係る携帯端末であって、その形態が表示画面縦向きとなっている場合の外観図である。
【図2】本発明の一実施の形態に係る携帯端末であって、形態が表示画面縦向きとなっている場合の側面から見た外観図である。
【図3】本発明の一実施の形態に係る携帯端末で形態が表示画面縦向きとなっている場合の背面から見た外観図である。
【図4】本発明の一実施の形態に係る携帯端末で表示画面を回転させている途中段階を示した外観図である。
【図5】本発明の一実施の形態に係る携帯端末であって、その形態が表示画面横向きとなっている場合の外観図である。
【図6】本発明の一実施の形態に係る携帯端末の内部構成例を示す機能ブロック図である。
【図7】本発明の一実施の形態に係る携帯端末とサーバを含んだネットワークシステムの構成例を示す図である。
【図8】本発明の一実施の形態に係るサーバの内部構成例を示す図である。
【図9】本発明の一実施の形態に係る携帯端末とサーバとのデータ送受信のシーケンスを示した図である。
【図10】本発明の一実施の形態に係る携帯端末とサーバのデータ送受信のシーケンスを示した図である。
【図11】本発明の一実施の形態に係る携帯端末で形態が表示画面縦向きとなっている場合の外観図である。
【図12】本発明の実施の形態に係る携帯端末で表示画面が背面を向いた形態で表示画面縦向きとなっている場合の外観図である。
【図13】本発明の実施の形態に係る携帯端末で筐体を重ねて折りたたんだ形態を示す外観図である。
【符号の説明】
【0060】
1…携帯端末、11…画面部、12…画面受け部、13…本体部、15…表示画面、16…入力ボタン、3…コンテンツ配信装置(サーバ)
【特許請求の範囲】
【請求項1】
可動部を備えることにより形態が変化し、ネットワークを介してコンテンツ配信装置からコンテンツの配信を受けることができるコンテンツ受信端末であって、
前記形態を検出する形態検出部を有し、
前記コンテンツ配信サーバに対するコンテンツの配信要求の際に前記形態検出部によって検出された形態に適したコンテンツの変換方法を指定する変換方法指定データを送信することを特徴とするコンテンツ受信端末。
【請求項2】
前記コンテンツを受信中に前記形態検出部によって形態の変化を検出すると、前記サーバに対してコンテンツの変換方法を指定するデータを送信することを特徴とする請求項1に記載のコンテンツ受信端末。
【請求項3】
前記携帯端末による前記サーバへのコンテンツの要求において、分割された符号化データを複数回にわたり配信するように要求することを特徴とする請求項1又は2に記載のコンテンツ受信端末。
【請求項4】
前記携帯端末による前記サーバへのコンテンツの要求において、分割されたコンテンツのうちのいずれの要素を要求するかを指定することを特徴とする請求項3に記載のコンテンツ受信端末。
【請求項5】
前記携帯端末による前記サーバへのコンテンツの要求において、動き優先パラメータセット又は画質優先パラメータセットのいずれかを指定することを特徴とする請求項1から4までのいずれか1項に記載のコンテンツ受信端末。
【請求項6】
前記形態検出部により直近に検出された形態を記憶する形態記憶部を有しており、
該形態記憶部に記憶された形態と形態の変化の検出とに基づいて、検出後の形態を推定して記憶することを特徴とする請求項1から5までのいずれか1項に記載のコンテンツ受信端末。
【請求項7】
コンテンツ受信端末の形態が画面横向き形態に変化していると推定されると、画質を優先するパラメータセットを前記コンテンツ配信装置への配信指示データとすることを特徴とする請求項1から6までのいずれか1項に記載のコンテンツ受信端末。
【請求項8】
コンテンツ受信端末の形態が画面縦向き形態に変化していると推定されると、動きを優先するパラメータセットを前記コンテンツ配信装置への配信指示データとすることを特徴とする請求項1から7までのいずれか1項に記載のコンテンツ受信端末。
【請求項9】
ネットワークを介してコンテンツ配信サーバからコンテンツの配信を受けることができるコンテンツ受信端末であって、
端末の向く方向を検出する方向検出部を有し、
前記コンテンツ配信サーバに対するコンテンツの配信要求の際に前記方向検出部によって検出された向きに適したコンテンツの変換方法を指定する変換方法指定データを送信することを特徴とするコンテンツ受信端末。
【請求項10】
請求項1から9までのいずれか1項に記載のコンテンツ受信端末に対してコンテンツを配信するコンテンツ配信装置であって、
符号化された符号化データを前記コンテンツ受信端末に送信する通信部を有することを特徴とするコンテンツ配信装置。
【請求項11】
前記符号化データが、他の装置で事前に符号化された符号化済みデータであることを特徴とする請求項10に記載のコンテンツ配信装置。
【請求項12】
前記符号化済みデータが、他の装置で事前に復号、変換処理されたデータであることを特徴とする請求項11に記載のコンテンツ配信装置。
【請求項13】
前記変換方法指定データに基づいて前記保持した符号化データを読み出し、前記コンテンツ受信端末に送信することを特徴とする請求項10から12までのいずれか1項に記載のコンテンツ配信装置。
【請求項14】
前記符号化済みデータを保存する符号化済みデータ保存部が、コンテンツ配信端末内又はコンテンツ配信端末外に設けられていることを特徴とする請求項11から13までのいずれか1項に記載のコンテンツ配信端末。
【請求項15】
コンテンツを保存するコンテンツ保存部と、
コンテンツを復号する復号部と、
復号されたコンテンツデータを変換処理する変換制御部と
を有することを特徴とする請求項10に記載のコンテンツ配信装置。
【請求項16】
前記変換制御部は、前記変換方法指定データに基づいて変換を行うことを特徴とする請求項15に記載のコンテンツ配信装置。
【請求項17】
前記変換処理は、データ量を減らす方向又はフレーム数を減らす方向の処理であることを特徴とする請求項12、又は請求項16に記載のコンテンツ配信装置。
【請求項18】
前記コンテンツ保存部が、通信回線により前記コンテンツ配信装置と接続可能な別の端末装置に設けられていることを特徴とする請求項12から17までのいずれか1項に記載のコンテンツ配信装置。
【請求項19】
コンテンツ受信端末の形態を検出するステップと、
該形態に基づいて、コンテンツを配信するコンテンツ配信装置に対してコンテンツの変換方法を指定するデータを送信するステップと
を有することを特徴とする配信コンテンツ要求方法。
【請求項20】
前記コンテンツ配信装置からの符号化データの受信中に前記コンテンツ受信端末の形態の変化が検出すると、前記コンテンツ配信装置に対して変換方法を指定するデータを送信するステップを有することを特徴とする請求項19に記載の配信コンテンツ要求方法。
【請求項21】
前記コンテンツ受信端末から送られた変換方法を指定するデータを受信し、該データの要求に基づいて復号されたデータに対して変換処理及び符号化を行うステップと、
前記符号化データを前記コンテンツ受信端末へ送信するステップと
を有することを特徴とする請求項19、又は請求項20に記載の配信コンテンツ要求方法。
【請求項22】
前記コンテンツ受信端末から送られた変換方法を指定するデータを受信し、該データの要求に基づいて事前に保持する符号化データを読み出すステップと、前記符号化データを前記コンテンツ受信端末へ送信するステップとを有することを特徴とする請求項19、又は請求項20に記載の配信コンテンツ要求方法。
【請求項23】
前記コンテンツ受信端末への符号化データの送信中に、前記コンテンツ受信端末から変換方法を指定するデータを受信するステップと、
前記変換方法の指定に基づいて復号されたデータに対して変換処理及び符号化を行うステップと、
前記符号化データを前記コンテンツ受信端末へ送信するステップと
を有することを特徴とする請求項21に記載の配信コンテンツ要求方法。
【請求項24】
前記コンテンツ受信端末への符号化データの送信中に、前記コンテンツ受信端末から変換方法を指定するデータを受信するステップと、
前記変換方法の指定に基づいて事前に保持する符号化データを読み出すステップと、前記符号化データを前記コンテンツ受信端末へ送信するステップと
を有することを特徴とする請求項22に記載の配信コンテンツ要求方法。
【請求項25】
請求項19から24までのいずれか1項に記載のステップをコンピュータに実行させるためのプログラム。
【請求項1】
可動部を備えることにより形態が変化し、ネットワークを介してコンテンツ配信装置からコンテンツの配信を受けることができるコンテンツ受信端末であって、
前記形態を検出する形態検出部を有し、
前記コンテンツ配信サーバに対するコンテンツの配信要求の際に前記形態検出部によって検出された形態に適したコンテンツの変換方法を指定する変換方法指定データを送信することを特徴とするコンテンツ受信端末。
【請求項2】
前記コンテンツを受信中に前記形態検出部によって形態の変化を検出すると、前記サーバに対してコンテンツの変換方法を指定するデータを送信することを特徴とする請求項1に記載のコンテンツ受信端末。
【請求項3】
前記携帯端末による前記サーバへのコンテンツの要求において、分割された符号化データを複数回にわたり配信するように要求することを特徴とする請求項1又は2に記載のコンテンツ受信端末。
【請求項4】
前記携帯端末による前記サーバへのコンテンツの要求において、分割されたコンテンツのうちのいずれの要素を要求するかを指定することを特徴とする請求項3に記載のコンテンツ受信端末。
【請求項5】
前記携帯端末による前記サーバへのコンテンツの要求において、動き優先パラメータセット又は画質優先パラメータセットのいずれかを指定することを特徴とする請求項1から4までのいずれか1項に記載のコンテンツ受信端末。
【請求項6】
前記形態検出部により直近に検出された形態を記憶する形態記憶部を有しており、
該形態記憶部に記憶された形態と形態の変化の検出とに基づいて、検出後の形態を推定して記憶することを特徴とする請求項1から5までのいずれか1項に記載のコンテンツ受信端末。
【請求項7】
コンテンツ受信端末の形態が画面横向き形態に変化していると推定されると、画質を優先するパラメータセットを前記コンテンツ配信装置への配信指示データとすることを特徴とする請求項1から6までのいずれか1項に記載のコンテンツ受信端末。
【請求項8】
コンテンツ受信端末の形態が画面縦向き形態に変化していると推定されると、動きを優先するパラメータセットを前記コンテンツ配信装置への配信指示データとすることを特徴とする請求項1から7までのいずれか1項に記載のコンテンツ受信端末。
【請求項9】
ネットワークを介してコンテンツ配信サーバからコンテンツの配信を受けることができるコンテンツ受信端末であって、
端末の向く方向を検出する方向検出部を有し、
前記コンテンツ配信サーバに対するコンテンツの配信要求の際に前記方向検出部によって検出された向きに適したコンテンツの変換方法を指定する変換方法指定データを送信することを特徴とするコンテンツ受信端末。
【請求項10】
請求項1から9までのいずれか1項に記載のコンテンツ受信端末に対してコンテンツを配信するコンテンツ配信装置であって、
符号化された符号化データを前記コンテンツ受信端末に送信する通信部を有することを特徴とするコンテンツ配信装置。
【請求項11】
前記符号化データが、他の装置で事前に符号化された符号化済みデータであることを特徴とする請求項10に記載のコンテンツ配信装置。
【請求項12】
前記符号化済みデータが、他の装置で事前に復号、変換処理されたデータであることを特徴とする請求項11に記載のコンテンツ配信装置。
【請求項13】
前記変換方法指定データに基づいて前記保持した符号化データを読み出し、前記コンテンツ受信端末に送信することを特徴とする請求項10から12までのいずれか1項に記載のコンテンツ配信装置。
【請求項14】
前記符号化済みデータを保存する符号化済みデータ保存部が、コンテンツ配信端末内又はコンテンツ配信端末外に設けられていることを特徴とする請求項11から13までのいずれか1項に記載のコンテンツ配信端末。
【請求項15】
コンテンツを保存するコンテンツ保存部と、
コンテンツを復号する復号部と、
復号されたコンテンツデータを変換処理する変換制御部と
を有することを特徴とする請求項10に記載のコンテンツ配信装置。
【請求項16】
前記変換制御部は、前記変換方法指定データに基づいて変換を行うことを特徴とする請求項15に記載のコンテンツ配信装置。
【請求項17】
前記変換処理は、データ量を減らす方向又はフレーム数を減らす方向の処理であることを特徴とする請求項12、又は請求項16に記載のコンテンツ配信装置。
【請求項18】
前記コンテンツ保存部が、通信回線により前記コンテンツ配信装置と接続可能な別の端末装置に設けられていることを特徴とする請求項12から17までのいずれか1項に記載のコンテンツ配信装置。
【請求項19】
コンテンツ受信端末の形態を検出するステップと、
該形態に基づいて、コンテンツを配信するコンテンツ配信装置に対してコンテンツの変換方法を指定するデータを送信するステップと
を有することを特徴とする配信コンテンツ要求方法。
【請求項20】
前記コンテンツ配信装置からの符号化データの受信中に前記コンテンツ受信端末の形態の変化が検出すると、前記コンテンツ配信装置に対して変換方法を指定するデータを送信するステップを有することを特徴とする請求項19に記載の配信コンテンツ要求方法。
【請求項21】
前記コンテンツ受信端末から送られた変換方法を指定するデータを受信し、該データの要求に基づいて復号されたデータに対して変換処理及び符号化を行うステップと、
前記符号化データを前記コンテンツ受信端末へ送信するステップと
を有することを特徴とする請求項19、又は請求項20に記載の配信コンテンツ要求方法。
【請求項22】
前記コンテンツ受信端末から送られた変換方法を指定するデータを受信し、該データの要求に基づいて事前に保持する符号化データを読み出すステップと、前記符号化データを前記コンテンツ受信端末へ送信するステップとを有することを特徴とする請求項19、又は請求項20に記載の配信コンテンツ要求方法。
【請求項23】
前記コンテンツ受信端末への符号化データの送信中に、前記コンテンツ受信端末から変換方法を指定するデータを受信するステップと、
前記変換方法の指定に基づいて復号されたデータに対して変換処理及び符号化を行うステップと、
前記符号化データを前記コンテンツ受信端末へ送信するステップと
を有することを特徴とする請求項21に記載の配信コンテンツ要求方法。
【請求項24】
前記コンテンツ受信端末への符号化データの送信中に、前記コンテンツ受信端末から変換方法を指定するデータを受信するステップと、
前記変換方法の指定に基づいて事前に保持する符号化データを読み出すステップと、前記符号化データを前記コンテンツ受信端末へ送信するステップと
を有することを特徴とする請求項22に記載の配信コンテンツ要求方法。
【請求項25】
請求項19から24までのいずれか1項に記載のステップをコンピュータに実行させるためのプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【公開番号】特開2008−79228(P2008−79228A)
【公開日】平成20年4月3日(2008.4.3)
【国際特許分類】
【出願番号】特願2006−258976(P2006−258976)
【出願日】平成18年9月25日(2006.9.25)
【出願人】(000005049)シャープ株式会社 (33,933)
【Fターム(参考)】
【公開日】平成20年4月3日(2008.4.3)
【国際特許分類】
【出願日】平成18年9月25日(2006.9.25)
【出願人】(000005049)シャープ株式会社 (33,933)
【Fターム(参考)】
[ Back to top ]