映像コンテンツ再生装置及びその制御方法、プログラム、記録媒体
【課題】ユーザの操作後迅速に動画像と音声の同期処理を行い、音声出力を開始することで、操作に対する応答性を高め、利便性を向上させる。
【解決手段】映像コンテンツのストリームの入力を受けるデータ取得部101と、ストリームから動画像データと音声データとを取得するストリーム処理部102と、動画像データを復号し、復号動画像フレームを得る動画像復号部103と、時刻情報に基づき復号動画像フレームの出力を調整する第1の動作と、時刻情報と無関係に復号動画像フレームを出力する第2の動作とを実行する画像出力部105と、音声データを復号し、復号音声データを得る音声復号部106と、復号音声データを出力する音声出力部107と、を備え、ストリーム処理部は、ユーザ操作に応じて映像コンテンツのデータから音声データを取得し、画像出力部は、復号音声データが音声出力部に入力された時点で動作を第1の動作から第2の動作に切り替える。
【解決手段】映像コンテンツのストリームの入力を受けるデータ取得部101と、ストリームから動画像データと音声データとを取得するストリーム処理部102と、動画像データを復号し、復号動画像フレームを得る動画像復号部103と、時刻情報に基づき復号動画像フレームの出力を調整する第1の動作と、時刻情報と無関係に復号動画像フレームを出力する第2の動作とを実行する画像出力部105と、音声データを復号し、復号音声データを得る音声復号部106と、復号音声データを出力する音声出力部107と、を備え、ストリーム処理部は、ユーザ操作に応じて映像コンテンツのデータから音声データを取得し、画像出力部は、復号音声データが音声出力部に入力された時点で動作を第1の動作から第2の動作に切り替える。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、複数の映像コンテンツの中からサムネール表示により所望の映像コンテンツの選択を可能にする映像コンテンツ再生装置及びその制御方法、プログラム、記録媒体に関する。
【背景技術】
【0002】
従来、映像コンテンツを記録媒体に記録するレコーダ装置等では、多数の映像コンテンツを一覧表示するために、該映像コンテンツを代表する静止画像として映像コンテンツの動画像1フレームを縮小表示することが行われている。このような映像コンテンツを代表する画像は、一般にサムネールと呼ばれている。複数の映像コンテンツが記録されている場合には、複数のサムネールを一画面に一覧表示して、この一覧表示によりユーザに所望の映像コンテンツを選択させることを可能にしている。
【0003】
一方で、近年の記録媒体の大容量化や通信回線の高速化を背景に、記録媒体に記録される、またはネットワークを介してアクセス可能とされる映像コンテンツの量は、確実に増加している。このように映像コンテンツの数が多くなった場合、所望のコンテンツにアクセスするためには、静止画によるサムネール表示では不十分である。なぜなら、多数の映像コンテンツを記録した状態では、視聴前からすべての映像コンテンツの内容を個別に把握しているとは限らず、視聴前において映像コンテンツに関する漠然としたイメージ以上の知識を持っていないことも多いからである。このような場合の例としては、ユーザ自身が個別に録画設定をしなくても好みに応じて自動的に録画された映像コンテンツを視聴する場合や、個人により作成された映像コンテンツを視聴する場合などが該当する。このようなときに目的の映像コンテンツを効率的に検索するためには、一覧表示において映像コンテンツの内容を端的に表してる動画像、すなわち動画サムネールを見ながら探すようにすることが有効である。
【0004】
動画サムネールによる一覧表示の例を図10に示す。このように複数の映像コンテンツを表示する場合には、検索用途であることから、各映像コンテンツの音声は必ずしも出力する必要はないといえるが、選択した映像コンテンツについては音声を出力することにより、ユーザの利便性が向上するともいえる。その場合には、選択された映像コンテンツに関して、ユーザの操作後、即座に動画像との同期を取って音声を出力することが望ましい。このような動画像と音声の同期(AV同期)を実現するためには、一般的には動画像データと音声データそれぞれに付加された時刻情報に基づき、両者の処理タイミングを調整することが行われている。結果的に、出力時点で両者の同期が取れていればよいため、処理過程のいずこかで同期を取ればよい。例えば、特許文献1では、記録媒体から映像コンテンツのストリームを読み出す時点で、ストリームの入力タイミングと同様なタイミングで出力する方法(タイムスタンプに基づく読み出し方法)と、バッファ内のデータ量に合わせて入力を調整する読み出し方法とを切り換えることで、各デコーダにデータを入力する前の段階でAV同期を実現している。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2006−115245号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
タイムスタンプに基づく読み出し方法は、データ記録先のアドレスに基づき記録媒体に対してランダムアクセスが必要となるため、データを記録媒体から読み出す場合には適用が容易になるが、ネットワーク上の映像ストリームを受信しながら再生する場合には適用が難しいという面がある。なぜなら、受信側となる端末だけでなく、送信側となるサーバに対しても、タイムスタンプに基づく読み出しを実現する機構を組み込まなければならないからである。一般に普及しているサーバでは、例えばHTTPが使用されており、この場合には、再生端末はデータ取得の要求後、サーバが送信するデータを受信することになる。サーバ側にプロトコルが実装されていない限り、バッファ内のデータ量を監視しながら読み出す方法しか採ることができず、デコード前に動画像と音声の時刻情報を合わせることは困難である。結局、映像コンテンツのデータを読み出す時点ではなく、出力までの間にAV同期を行うことが現実的となる。
【0007】
ところで、動画サムネールの一覧表示では、複数映像コンテンツに対する処理量が、割り当てられたリソース量に対して大きい場合には、動画コンテンツにて定められた表示レート(動画像のフレームレート)での再生が困難であり、その代替としてスロー再生、スキップ再生を実行せざるを得ないことがある。特にスキップ再生では、動画像のフレーム間隔が広がる傾向がある。例えば図11に示すように、ユーザの操作があった時点(時刻tc秒)で表示している動画像のフレームf1と、復号中のフレームf2と、映像コンテンツのストリームから分離処理中のフレームf3があり、例えばそれぞれの時刻情報の間隔がそれぞれ2秒であったとすると、f3の表示時刻はtc+4となる。映像コンテンツのストリーム読み出しに利用するバッファにおいては、フレームf3周辺のデータが格納されており、tcの時点で読み出し可能な音声データはtc+4秒付近のものとなる。音声データの復号が早期に終了しても、ユーザの操作後、音声が出力されるまでの時間が長くなってしまう。
【0008】
本発明は、このような実情を鑑みてなされたものであり、映像コンテンツへのアクセス方法(記録装置へのアクセス、ネットアクセス)や動画サムネールの再生方法(通常再生と低負荷のスキップ、スロー再生)に係わらず、ユーザの操作後迅速に動画像と音声の同期処理を行い、音声出力を開始することで、操作に対する応答性を高め、ユーザの利便性を向上させた映像コンテンツ再生装置及びその制御方法、プログラム、記録媒体を提供する。
【課題を解決するための手段】
【0009】
本発明の映像コンテンツ再生装置は、映像コンテンツのストリームの入力を受けるデータ取得部と、前記映像コンテンツのストリームから動画像ストリームと音声ストリームとを取得するストリーム処理部と、前記動画像ストリームを復号し、復号動画像フレームを得る動画像復号部と、時刻情報に基づき前記復号動画像フレームの出力を調整する第1の動作と、前記時刻情報と無関係に前記復号動画像フレームを出力する第2の動作とを実行する画像出力部と、前記音声ストリームを復号し、復号音声データを得る音声復号部と、前記復号音声データを出力する音声出力部と、を備え、前記ストリーム処理部は、ユーザ操作に応じて前記映像コンテンツのストリームから前記音声ストリームを取得し、前記画像出力部は、前記復号音声データが前記音声出力部に入力された時点で動作を前記第1の動作から前記第2の動作に切り替えることを特徴とする。
【0010】
前記画像出力部は、前記音声出力部が前記復号音声データの出力を開始した時点で動作を前記第1の動作から前記第2の動作に切り替えるようにしてもよい。
【0011】
前記映像出力部は、前記第2の動作において前記復号動画像フレームの時刻情報を記憶し、前記音声出力部は、前記復号動画像フレームの時刻情報を参照して前記復号音声データの出力開始を決定するようにしてもよい。
【0012】
前記音声出力部は、前記復号音声データの出力開始時刻と前記復号動画像フレームの時刻情報の差分を算出し、前記画像出力部は、前記第1の動作において前記復号動画像フレームの時刻情報を前記差分により補正するようにしてもよい。
【0013】
前記画像出力部に入力される前記復号動画像フレームの時刻情報の間隔が所定の値を超える場合にのみ、前記第1の動作から前記第2の動作への切り替えを行うようにしてもよい。
【0014】
複数の映像コンテンツを一覧表示する際に、前記画像出力部は、音声を出力する対象の映像コンテンツについてのみ前記第1の動作から前記第2の動作への切り替えを行うようにしてもよい。
【0015】
本発明の映像コンテンツ再生装置の制御方法は、映像コンテンツのサムネールを表示する映像コンテンツ再生装置の制御方法であって、映像コンテンツのストリームの入力を受けるデータ取得ステップと、前記映像コンテンツのストリームから動画像ストリームと音声ストリームとを取得するストリーム処理ステップと、前記動画像ストリームを復号し、復号動画像フレームを得る動画像復号ステップと、時刻情報に基づき前記復号動画像フレームの出力を調整する第1の動作と、前記時刻情報と無関係に前記復号動画像フレームを出力する第2の動作とを実行する画像出力ステップと、前記音声ストリームを復号し、復号音声データを得る音声復号ステップと、前記復号音声データを出力する音声出力ステップと、を有し、前記ストリーム処理ステップにおいて、ユーザ操作に応じて前記映像コンテンツのストリームから前記音声ストリームを取得し、前記画像出力ステップにおいて、前記音声出力ステップにおいて前記復号音声データが入力された時点で動作を前記第1の動作から前記第2の動作に切り替えることを特徴とする。
【0016】
前記画像出力ステップにおいて、前記音声出力ステップにおいて前記復号音声データの出力を開始した時点で動作を前記第1の動作から前記第2の動作に切り替えるようにしてもよい。
【0017】
前記映像出力ステップにおいて、前記第2の動作において前記復号動画像フレームの時刻情報を記憶し、前記音声出力ステップにおいて、前記復号動画像フレームの時刻情報を参照して前記復号音声データの出力開始を決定するようにしてもよい。
【0018】
前記音声出力ステップにおいて、前記復号音声データの出力開始時刻と前記復号動画像フレームの時刻情報の差分を算出し、前記画像出力ステップにおいて、前記第1の動作において前記復号動画像フレームの時刻情報を前記差分により補正するようにしてもよい。
【0019】
本発明のプログラムは、上記映像コンテンツ再生装置の制御方法をコンピュータに実行させるためのプログラムである。
【0020】
本発明の記録媒体は、上記プログラムを記録したコンピュータ読み取り可能な記録媒体である。
【発明の効果】
【0021】
本発明によれば、映像コンテンツへのアクセス方法(記録装置へのアクセス、ネットアクセス)や動画サムネールの再生方法(通常再生と低負荷のスキップ、スロー再生)に係わらず、ユーザの操作後迅速に動画像と音声の同期処理を行い、音声出力を開始することで、操作に対する応答性を高め、ユーザの利便性を向上させることができる。
【図面の簡単な説明】
【0022】
【図1】本発明の実施の形態に係る映像コンテンツ再生装置の構成例を示すブロック図である。
【図2】本発明の実施の形態に係る映像コンテンツ再生装置を適用したシステム構成例を示す図である。
【図3】本発明の実施の形態に係る映像コンテンツ再生装置の動作における状態遷移を示す図である。
【図4】本発明の実施の形態に係る映像コンテンツ再生装置の動作例を示すフローチャートである。
【図5】本発明の実施の形態に係る映像コンテンツ再生装置の動作例を示す模式図である。
【図6】本発明の実施の形態に係る映像コンテンツ再生装置における表示時刻の変化を示す図である。
【図7】本発明の実施の形態に係る映像コンテンツ再生装置の動作例を示すフローチャートである。
【図8】本発明の実施の形態に係る映像コンテンツ再生装置の音声出力部の動作例を示すフローチャートである。
【図9】本発明の実施の形態に係る映像コンテンツ再生措置の動作を説明するための図である。
【図10】本発明の実施の形態に係る一覧表示の画面例を示す図である。
【図11】各処理における処理タイミングの時間差の一例を示す図である。
【発明を実施するための形態】
【0023】
以下、本発明の実施形態について、図面を参照しながら説明する。図1は、本発明の実施形態に係る映像コンテンツ再生装置100の構成例を示すブロック図である。ここでは一例として、同時に処理する映像コンテンツのストリーム数を4としている。
【0024】
映像コンテンツ再生装置100は、映像コンテンツのストリームを取得するデータ取得部101と、映像コンテンツのストリームデータの解析および多重分離を行うストリーム処理部102と、動画像データを復号する動画像復号部103と、動画像復号部103の動作を制御する復号制御部104と、音声データを復号する音声復号部106と、複数の動画像の出力タイミングを調整する画像出力部105と、音声を出力する音声出力部107と、前記の各部を制御する制御部108とを備える。
【0025】
本発明の構成要素である各部は、例えば、マイクロプロセッサ、メモリ、バス、インターフェイス、周辺機器などから構成されるハードウェアと、これらのハードウェア上にて実行可能なソフトウェアにより実現される。上記ハードウェアの一部または全部を、集積回路/IC(Integrated Circuit)として搭載することができ、その場合、上記ソフトウェアは上記メモリに記憶しておけばよい。また、本発明の構成要素の各部のすべてをハードウェアで構成してもよく、その場合についても同様に、そのハードウェアの一部または全部を、集積回路/ICチップセットとして搭載することも可能である。
【0026】
図示はしないが、データ取得部101、ストリーム処理部102、動画像復号部103、画像出力部105、音声復号部106および音声出力部107の各部は、入力される処理対象データを記憶するバッファ領域がメモリ上に割り当てられる。これらのバッファ領域は、構成上まとめて一箇所に配置されてもよいが、便宜上、各部の中に設けられているものとして扱い、内部バッファと呼ぶことにする。
【0027】
データ取得部101は、映像コンテンツのストリームデータを外部のデバイスから入手するための手段である。データ取得部101は、例えば、記録メディア内に置かれた動画ファイルへのアクセスや、ネットワークを介したサーバへのリクエストによりストリームデータを取得する。
【0028】
ストリーム処理部102は、データ取得部101からストリームデータを読み出して、そのヘッダを解析し、解析した結果に基づき、ストリームデータに多重化された動画像ストリームデータ、および音声ストリームデータを取得する。ストリーム処理部102は、取得した動画像ストリームデータを動画像復号部103に出力し、音声ストリームデータを音声復号部106に出力する。ここで、動画像ストリームは処理対象となっているストリームデータ数だけ処理され、音声ストリームデータはそのうちのいずれか1つのみが処理されるものとする。動画像/音声の各フレームには、提示されるべき時刻を示す時刻情報が付随しており、ストリーム処理部102は、動画像ストリームデータまたは音声ストリームデータを出力する際に、前記時刻情報を付加する(所定数のサンプルから構成される音声データの集合をフレームと呼ぶ)。
【0029】
動画像復号部103は、入力された動画像ストリームデータから、動画像の1フレームを復号する。動画像ストリームデータに付加された時刻情報は、当該復号動画像フレームを表示するタイミング(表示時刻)を指定するものであり、復号フレームと合わせて画像出力部105に出力される。動画像復号部103は、また、復号処理の終了が前記表示時刻に対してどの程度遅延しているかを示す遅延量を算出し、遅延量を復号制御部104に出力する。動画像復号部103は、復号制御部104の制御により復号時の動作が変更可能であり、復号動作によってはフレームの時刻情報を書き換えて出力する。
【0030】
復号制御部104は、復号処理に遅延が発生しているか否かを動画像復号部103から入力される遅延量に基づいて判定し、遅延発生時には、単位時間当たりの処理量を減らす方向に動画像復号部103の動作を制御する(ここで動画像復号部103の動作を再生モードと呼ぶ)。また、複数の映像コンテンツの中から他に優先して再生すべき映像コンテンツの指定を制御部108から受けた場合には、その時点における再生モードによらず、当該映像コンテンツが通常レートでの再生となるように制御する。通常レートとは、映像コンテンツのストリームデータの再生レート(フレームレート)を指す。
【0031】
画像出力部105は、入力された動画像フレームを表示デバイス上に表示するための出力処理を行う。動画像フレームに付加された時刻情報に基づき表示タイミングを調整する動作(第1の動作)と、時刻情報と無関係に動画像フレームを処理する動作(第2の動作)のいずれかを行う。外部出力の際は、フレームのデータ形式、カラーフォーマットなどを必要に応じて変換する。例えば、フレームがY、U、Vの色空間データで、表示がR、G、B色空間であるとき、YUVからRGBに変換する。
【0032】
音声復号部106は、入力された音声ストリームデータから、音声の1フレームを復号する。この繰り返しにより、音声復号部106は、音声ストリームデータから動画サムネールと合わせて出力するための一連の音声フレームを得る。音声出力部107は、音声復号部106から入力された音声データを出力する。画像出力部105と音声出力部107は、各自の内部の状態を共有し、音声出力時に対となる動画像のフレーム出力と同期させる機能を有する。
【0033】
制御部108は、複数の映像コンテンツから1つの映像コンテンツを優先指定する。優先指定は、例えば、制御部108が外部から取得する制御情報や、ユーザ操作により操作デバイスが生成する操作情報に基づき行われる。
【0034】
以上のように、映像コンテンツ処理装置100は、複数の映像コンテンツを処理し、同時に表示することが可能である。例えば、図2に示すように、記録装置(記録媒体とその読み取り装置)、通信装置、操作デバイス、ディスプレイ、スピーカを接続することで、ディスプレイ上に図10に示すように複数の映像コンテンツを表示し、そのうちの選択された1つの映像コンテンツについて付随する音声をスピーカから出力することができる。
【0035】
図3に映像コンテンツ再生装置100の動作における内部状態の遷移例を示す。図3(a)において、起動後は初期状態である。この例では、処理すべき映像コンテンツが指定されて動画サムネールの表示を開始すると、内部状態は優先指定なしの再生状態に遷移する。この状態では、映像コンテンツをすべて非優先として音声を表示しない。画面の表示例は図3(b)のようになる。映像コンテンツ再生装置100は、負荷が処理能力より小さければ通常再生を維持し、負荷が処理能力を超えたら、発生した遅延量に応じてスロー再生、またはスキップ再生を実行する。この状態で優先指定がなされると、優先指定ありの再生状態に遷移する。この状態では、1つの映像コンテンツが優先して処理され、音声が出力される。画面の表示例は図3(c)のようになる。この状態で優先指定を解除すると、優先指定なしの再生状態に遷移し、優先指定の映像コンテンツを変更すると、優先指定ありの状態は変化しないで優先して処理される映像コンテンツが変わる。画面の表示例は図3(d)のようになる。
【0036】
図4は、映像コンテンツの再生に係る動作を示すフローチャートである。このフローチャートは、図3における優先指定なしの再生状態におけるデータ取得部101、ストリーム処理部102、動画像復号部103の動作を示すものである。
【0037】
ステップST401において、制御部108は、再生すべき映像コンテンツを特定し、ストリーム処理部102に対して映像コンテンツを指定する。例えば、記録メディア内にファイルとして記録されている映像コンテンツを読み出す、または、ネットワーク上のサーバにアクセスして利用可能な映像コンテンツ名を取得する。さらに、内部クロックを利用してカウントされるシステムタイマーの値(システム時刻)を初期化する。
【0038】
ステップST402において、ストリーム処理部102は、映像コンテンツのストリームを解析し、動画像と音声ストリームについての情報を取得する。ここで取得できる情報は、動画像の場合、解像度、フレームレート、符号化方式、ストリームデータ中のどの位置から動画像の1フレーム分のデータ取得ができるかを示すオフセット値、表示のための時刻情報などである(以下、動画像フレームの表示タイミングを示す時刻情報を表示時刻と呼ぶ)。
【0039】
ステップST403において、制御部108は、再生すべき映像コンテンツのデータの処理がすべて終了したかどうかを判定し、終了している場合は動作を終了し、終了していない場合はステップST404に進む。
【0040】
ステップST404において、ストリーム処理部102は、ストリーム解析終了後の映像コンテンツのストリームデータから動画像ストリームデータを取り出し、この動画像ストリームデータに付加された時刻情報を必要に応じて加工し、元の時刻情報とともに動画像ストリームデータに付加して動画像復号部103に出力する。
【0041】
ステップST405において、動画像復号部103は、表示時刻の書き換えが必要かどうかを判定し、必要な場合はステップST406に進み、必要ない場合はステップST407に進む。
【0042】
ステップST406において、動画像復号部103は、復号制御部104により指定された再生モードに基づき、入力された時刻情報を書き換える。ここで、再生モードは、通常再生、スロー再生、スキップ再生のいずれかの動作を示す。例えば、スロー再生における再生速度が通常再生の2倍であるとき、前に入力された表示時刻と現在の表示時刻の差を2倍して、前に出力した表示時刻に加算して出力する。
【0043】
ステップST407において、動画像復号部103は、動画像データの復号処理を行うか否かを判定し、行わない場合はステップST403に戻り、行う場合はステップST408に進む。
【0044】
ステップST408において、動画像復号部103は、動画像ストリームデータを復号する。動作モードが通常再生、およびスロー再生の場合、ストリーム処理部102から入力された順に復号する。スキップ再生の場合には、復号処理の前に動画像ストリームデータを調べ、その符号化タイプを取得する。ここで、符号化タイプとは、動画像1フレームのストリームデータが当該フレームのストリームデータのみで復号できるか(イントラフレーム)、それとも他のフレームの情報を利用するか(インターフレーム)を指す。スキップ再生では、例えば、符号化タイプがイントラフレームのストリームデータのみを復号する。または、他のフレームの復号時に参照されないフレームのストリームデータのみを復号する。
【0045】
ステップST409において、動画像復号部103は、復号処理終了後、システム時刻を取得して表示時刻に対する遅延量を算出し、ステップST403に戻る。
【0046】
復号制御部104は、図4のフローチャートで示される動作とは独立して動作し、動画像復号部103からの遅延量を監視する。遅延量から遅延が発生していると判定した場合、各動画像復号部103の動作モードを通常→スロー→スキップの順に負荷の軽い方向へ変更し、遅延が発生せず十分に処理に余裕があると判定した場合には、逆に負荷の大きい方向へ変更する。遅延の発生は、例えば、遅延量がしきい値を超えた場合や、所定時間において遅延量が増加し続ける場合に起きているとする。
【0047】
画像出力部105は、各動画像復号部103からの動画像フレームと時刻情報の出力に合わせて、表示のための出力タイミングを調整する。例えば、取得したシステム時刻と復号後の動画像フレームの表示時刻とを比較した結果、システム時刻と表示時刻の差が所定のしきい値以下の場合、または、表示時刻がシステム時刻に対して遅れている場合には、復号フレームを出力する。
【0048】
表示時刻とシステム時刻について、図5および図6を用いて説明する。ここで、再生処理の開始時に制御部108がシステム時刻をT0に初期化したとする。ストリーム処理部102は、ストリームデータに付けられた表示時刻tv(i)からTv(i)を導出する。ここで、iは動画像のフレーム番号、dは表示時刻を一定時間だけ遅らせるためのオフセット値である。表示時刻Tv(i)は、システム時刻T0を基準とした実際の表示時刻である。
【0049】
ストリーム処理部102は、2つの表示時刻tv(i)、Tv(i)を動画像ストリームに付加して動画像復号部103に出力する。動画像復号部103は、再生制御の実行により、Tv(i)をTv’(i)に書き換える。復号済みの動画像フレームにtv(i)と書き換えたTv’(i)を付加して画像出力部105へ出力する。復号処理終了時のシステム時刻をT1とすると、動画像復号部103は、Tv’(i)−T1を遅延量として出力する。動画像復号部103は、画像出力部105に表示時刻としてTv’(i)を出力する。
【0050】
図6(a)の場合、T1<Tv’(i)であり、画像出力部105は、システム時刻がTv’ (i)になった時点で復号フレームを出力する。
【0051】
図6(b)は、復号処理終了時のシステム時刻T2>Tv’(i)で遅延が起きている場合の例を示す。この場合には、画像出力部105は、動画像復号部103から復号フレームが入力された直後に復号フレームを出力する。なお、ストリームデータに付けられた2つの表示時刻は、画像出力部105に記憶され、優先指定時に音声ストリームとの同期に利用される。
【0052】
図3における優先指定ありの再生状態では、1つの映像コンテンツを優先として音声を出力する。この場合、ステップST404で動画像ストリームデータだけでなく音声ストリームデータを取得し、音声復号部106で復号処理を実行する。さらに、復号制御部104は、他の映像コンテンツの状態にかかわらず、優先指定された映像コンテンツを処理する動画像復号部103の動作モードを通常再生とする。
【0053】
図7は、優先指定なしから優先指定ありへの状態遷移時の処理の流れを示すフローチャートである。処理が開始すると、ステップST701において、制御部108は、優先指定された映像コンテンツのストリームを処理するストリーム処理部102(以下、優先指定されたストリーム処理部と呼ぶ)に対して音声ストリームデータの取得を指示すると共に、復号制御部104には、当該映像コンテンツの動画像ストリームの全フレームを処理するように指示する。
【0054】
ステップST702において、優先指定されたストリーム処理部102は、すでに処理した動画像ストリームのうち最も近い過去に処理した動画像ストリームの表示時刻を取得する。
【0055】
ステップST703において、優先指定されたストリーム処理部102は、ステップST702で取得した表示時刻に基づき、取得すべき音声ストリームの表示時刻を決定する。ここで扱う表示時刻は、画像出力部105にて扱われる最終的な表示時刻Tv’(i)とは異なり、動画像ストリームデータに付随して映像コンテンツのストリームデータに多重化されている値tv(i)である。動画像ストリームの表示時刻tv(i)に基づき、例えば、最も近い音声ストリームの表示時刻を算出し、これをta(j)とする。
【0056】
ステップST704において、ストリーム処理部102は、表示時刻ta(j)を持つ音声ストリームデータを内部バッファから探索し、該当する音声ストリームデータが内部バッファ内に見つかれば音声取り出し可能と判断してステップST705に進み、該当する音声ストリームデータが内部バッファ内に見つからなければ音声取り出し不可能と判断して、再度ステップST704において、内部バッファのデータが更新された時点で、音声ストリームデータを内部バッファから探索する。条件に適合した音声ストリームが探索できた時点では、必ずしも動画像と音声の間に同期がとれているとは限らない。ストリーム処理部102は、後にステップST705において音声ストリームデータを音声復号部106に対して出力するに際し、表示時刻ta(j)を添付する。
【0057】
ステップST705において、優先指定されたストリーム処理部102は、動画像ストリームおよび音声ストリームデータの双方を内部バッファから取得する。一方、優先指定のないストリーム処理部102は、以前(優先指定なしの再生情報)と同じ動作を続ける。取得後の動画像ストリームは、対応する動画像復号部103の内部バッファに送られ、音声ストリームデータは、音声復号部106の内部バッファに送られ、適宜復号される。
【0058】
ステップST706において、音声出力部107は、復号後の動画像ストリームと音声ストリームの同期をとるために、優先指定後の最初の復号音声データを受け取った時点で、当該音声データが出力可能かどうかを判定し、出力可能な場合はステップST708に進み、出力可能でない場合はステップST707に進む。
【0059】
ステップST708において、動画像と音声を同期して出力し、処理を終了する。
【0060】
ステップST707において、動画像のみの出力を継続し、ステップST705に戻る。
【0061】
音声出力部107の具体的な動作を、図8のフローチャートを用いて説明する。
【0062】
ステップST801において、音声出力部107は、内部バッファを監視し、復号済みのデータが存在するか否かを調べ、存在する場合はステップST802に進む。
【0063】
ステップST802において、音声出力部107は、優先指定後最初の復号音声データを受け取ったことを画像出力部105へ通知する。
【0064】
ステップST803において、音声出力部107は、当該音声データに対応する出力済み動画像フレームの表示時刻tv(i)およびTv’(i)を画像出力部105から取得する。
【0065】
ステップST804において、音声出力部107は、取得した動画像フレームの表示時刻を参照し、音声出力の可否を判断する。すなわち、音声出力部107は、音声の表示時刻ta(j)と動画像の表示時刻tv(i)を比較し、例えば、表示時刻ta(j)と表示時刻tv(i)の差が所定のしきい値の範囲内であれば音声出力可能と判定する。音声出力可能な場合はステップST805に進み、音声出力が可能でない場合はステップST803に戻る。
【0066】
ステップST805において、音声出力部107は、音声データの出力を開始する。
【0067】
ステップST806において、音声出力部107は、音声データの出力を開始した時のシステム時刻と、画像出力部105から取得した表示済み動画像フレームの表示時刻Tv’(i)の差分を、表示時刻のオフセットとして算出する。
【0068】
ステップST807において、音声出力部107は、算出したオフセットを画像出力部105へ出力し、音声出力を通知し、動作を終了する。
【0069】
画像出力部105は、音声出力部107から音声データ取得と音声データ出力の2つの通知を受け取る。優先指定後は、前述のように、時刻情報に合わせて表示のための動画像フレーム出力タイミングを調整する動作を行い、最初に音声データ取得の通知を受けた時点で、優先ストリームの動画像については、その表示時刻Tv’(i)にかかわらず、受け取った時点で即時出力を行うように動作を変更する。これ以降、音声出力部107から音声出力通知を受け取るまでこの動作を続ける。このときの動画像フレームの表示時刻tv(i)およびTv’(i)を記憶しておき、図8のステップST803について説明したように、音声出力部107からの問い合わせに対して出力する。
【0070】
優先指定以外の動画像については、これまで通り時刻情報に合わせた出力を行う。図9に処理例を示す。
【0071】
図9(a)では、動画像フレームV1を出力中にユーザにより優先指定の操作がなされ、このときストリーム処理部102では、動画像ストリームデータV7を処理中である。この状態でストリーム処理部102は、音声ストリームA5から取得を開始する。
【0072】
図9(b)は、図9(a)からΔtだけ経過後の状態を示しており、復号された音声データA5が音声出力部107に入力されたときで、画像出力部105は動画像フレームV6の出力待ちの状態である。ここで画像出力部105は、時刻情報に合わせて表示のための動画像フレーム出力タイミングを調整する動作から、時刻情報を考慮しない動作へと切り替わる。図9(b)では、V6を即時に出力し、tv(6)およびTv’(6)を記憶する。音声出力部107は、tv(6)を参照し、ta(7)と比較する。もし、音声データA7が出力できるならば、V6の表示時刻Tv’(6)とシステム時刻tの差分Tdを算出する。画像出力部105は、V7以降の動画像フレームについては、その時刻Tv’(i)からTdを引いた時刻で出力タイミングを調整する。
【0073】
動画像と音声の同期を図っている間は、動画像については時刻情報に関係なく出力がされるようになり、一般には出力タイミングが早まることになる。ただし、早まる時間の変動量は、動画像フレームの間隔に依存し、例えばスキップ再生のようにフレーム間隔が広がったときには大きく変動するが、通常の再生レートであればほとんど変動しない。スキップ再生では元々フレーム間隔が広いため、表示時刻を早めてもユーザが知覚する違和感は少なくて済む。ユーザにより音声出力が選択された時点で音声処理を開始しつつ、音声出力までの時間を常に短くすることができる。
【0074】
なお、前述の実施例では、動画像と音声の同期を図っている間に実行する第2の動作は、時刻情報に関係なく即時に動画像フレームを出力するようにしているが、動画像の表示をせずに、単に動画像フレームのデータを内部バッファから読み捨てるようにしてもよいし、フレーム間の時刻の間隔が所定の値を超える場合にのみ、時刻情報に関係なく即時に出力する(または出力せずに読み捨てる)ようにしてもよい。
【0075】
本発明の実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を装置に供給し、マイクロプロセッサまたはDPSによりプログラムコードが実行されることによっても、本発明の目的が達成される。この場合、ソフトウェアのプログラムコード自体が本実施形態の機能を実現することになり、プログラムコードを記録した記録媒体は本発明を構成することになる。
【0076】
以上、本発明の実施形態について説明したが、本発明の映像コンテンツ再生装置およびその制御方法、プログラム、記録媒体は、上記の実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において、種々の変更を加えうることは勿論である。
【産業上の利用可能性】
【0077】
本発明は、映像コンテンツ再生装置およびその制御方法、プログラム、記録媒体に利用可能である。
【符号の説明】
【0078】
100 映像コンテンツ再生装置
101 データ取得部
102 ストリーム処理部
103 動画像復号部
104 復号制御部
105 画像出力部
106 音声復号部
107 音声出力部
108 制御部
【技術分野】
【0001】
本発明は、複数の映像コンテンツの中からサムネール表示により所望の映像コンテンツの選択を可能にする映像コンテンツ再生装置及びその制御方法、プログラム、記録媒体に関する。
【背景技術】
【0002】
従来、映像コンテンツを記録媒体に記録するレコーダ装置等では、多数の映像コンテンツを一覧表示するために、該映像コンテンツを代表する静止画像として映像コンテンツの動画像1フレームを縮小表示することが行われている。このような映像コンテンツを代表する画像は、一般にサムネールと呼ばれている。複数の映像コンテンツが記録されている場合には、複数のサムネールを一画面に一覧表示して、この一覧表示によりユーザに所望の映像コンテンツを選択させることを可能にしている。
【0003】
一方で、近年の記録媒体の大容量化や通信回線の高速化を背景に、記録媒体に記録される、またはネットワークを介してアクセス可能とされる映像コンテンツの量は、確実に増加している。このように映像コンテンツの数が多くなった場合、所望のコンテンツにアクセスするためには、静止画によるサムネール表示では不十分である。なぜなら、多数の映像コンテンツを記録した状態では、視聴前からすべての映像コンテンツの内容を個別に把握しているとは限らず、視聴前において映像コンテンツに関する漠然としたイメージ以上の知識を持っていないことも多いからである。このような場合の例としては、ユーザ自身が個別に録画設定をしなくても好みに応じて自動的に録画された映像コンテンツを視聴する場合や、個人により作成された映像コンテンツを視聴する場合などが該当する。このようなときに目的の映像コンテンツを効率的に検索するためには、一覧表示において映像コンテンツの内容を端的に表してる動画像、すなわち動画サムネールを見ながら探すようにすることが有効である。
【0004】
動画サムネールによる一覧表示の例を図10に示す。このように複数の映像コンテンツを表示する場合には、検索用途であることから、各映像コンテンツの音声は必ずしも出力する必要はないといえるが、選択した映像コンテンツについては音声を出力することにより、ユーザの利便性が向上するともいえる。その場合には、選択された映像コンテンツに関して、ユーザの操作後、即座に動画像との同期を取って音声を出力することが望ましい。このような動画像と音声の同期(AV同期)を実現するためには、一般的には動画像データと音声データそれぞれに付加された時刻情報に基づき、両者の処理タイミングを調整することが行われている。結果的に、出力時点で両者の同期が取れていればよいため、処理過程のいずこかで同期を取ればよい。例えば、特許文献1では、記録媒体から映像コンテンツのストリームを読み出す時点で、ストリームの入力タイミングと同様なタイミングで出力する方法(タイムスタンプに基づく読み出し方法)と、バッファ内のデータ量に合わせて入力を調整する読み出し方法とを切り換えることで、各デコーダにデータを入力する前の段階でAV同期を実現している。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2006−115245号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
タイムスタンプに基づく読み出し方法は、データ記録先のアドレスに基づき記録媒体に対してランダムアクセスが必要となるため、データを記録媒体から読み出す場合には適用が容易になるが、ネットワーク上の映像ストリームを受信しながら再生する場合には適用が難しいという面がある。なぜなら、受信側となる端末だけでなく、送信側となるサーバに対しても、タイムスタンプに基づく読み出しを実現する機構を組み込まなければならないからである。一般に普及しているサーバでは、例えばHTTPが使用されており、この場合には、再生端末はデータ取得の要求後、サーバが送信するデータを受信することになる。サーバ側にプロトコルが実装されていない限り、バッファ内のデータ量を監視しながら読み出す方法しか採ることができず、デコード前に動画像と音声の時刻情報を合わせることは困難である。結局、映像コンテンツのデータを読み出す時点ではなく、出力までの間にAV同期を行うことが現実的となる。
【0007】
ところで、動画サムネールの一覧表示では、複数映像コンテンツに対する処理量が、割り当てられたリソース量に対して大きい場合には、動画コンテンツにて定められた表示レート(動画像のフレームレート)での再生が困難であり、その代替としてスロー再生、スキップ再生を実行せざるを得ないことがある。特にスキップ再生では、動画像のフレーム間隔が広がる傾向がある。例えば図11に示すように、ユーザの操作があった時点(時刻tc秒)で表示している動画像のフレームf1と、復号中のフレームf2と、映像コンテンツのストリームから分離処理中のフレームf3があり、例えばそれぞれの時刻情報の間隔がそれぞれ2秒であったとすると、f3の表示時刻はtc+4となる。映像コンテンツのストリーム読み出しに利用するバッファにおいては、フレームf3周辺のデータが格納されており、tcの時点で読み出し可能な音声データはtc+4秒付近のものとなる。音声データの復号が早期に終了しても、ユーザの操作後、音声が出力されるまでの時間が長くなってしまう。
【0008】
本発明は、このような実情を鑑みてなされたものであり、映像コンテンツへのアクセス方法(記録装置へのアクセス、ネットアクセス)や動画サムネールの再生方法(通常再生と低負荷のスキップ、スロー再生)に係わらず、ユーザの操作後迅速に動画像と音声の同期処理を行い、音声出力を開始することで、操作に対する応答性を高め、ユーザの利便性を向上させた映像コンテンツ再生装置及びその制御方法、プログラム、記録媒体を提供する。
【課題を解決するための手段】
【0009】
本発明の映像コンテンツ再生装置は、映像コンテンツのストリームの入力を受けるデータ取得部と、前記映像コンテンツのストリームから動画像ストリームと音声ストリームとを取得するストリーム処理部と、前記動画像ストリームを復号し、復号動画像フレームを得る動画像復号部と、時刻情報に基づき前記復号動画像フレームの出力を調整する第1の動作と、前記時刻情報と無関係に前記復号動画像フレームを出力する第2の動作とを実行する画像出力部と、前記音声ストリームを復号し、復号音声データを得る音声復号部と、前記復号音声データを出力する音声出力部と、を備え、前記ストリーム処理部は、ユーザ操作に応じて前記映像コンテンツのストリームから前記音声ストリームを取得し、前記画像出力部は、前記復号音声データが前記音声出力部に入力された時点で動作を前記第1の動作から前記第2の動作に切り替えることを特徴とする。
【0010】
前記画像出力部は、前記音声出力部が前記復号音声データの出力を開始した時点で動作を前記第1の動作から前記第2の動作に切り替えるようにしてもよい。
【0011】
前記映像出力部は、前記第2の動作において前記復号動画像フレームの時刻情報を記憶し、前記音声出力部は、前記復号動画像フレームの時刻情報を参照して前記復号音声データの出力開始を決定するようにしてもよい。
【0012】
前記音声出力部は、前記復号音声データの出力開始時刻と前記復号動画像フレームの時刻情報の差分を算出し、前記画像出力部は、前記第1の動作において前記復号動画像フレームの時刻情報を前記差分により補正するようにしてもよい。
【0013】
前記画像出力部に入力される前記復号動画像フレームの時刻情報の間隔が所定の値を超える場合にのみ、前記第1の動作から前記第2の動作への切り替えを行うようにしてもよい。
【0014】
複数の映像コンテンツを一覧表示する際に、前記画像出力部は、音声を出力する対象の映像コンテンツについてのみ前記第1の動作から前記第2の動作への切り替えを行うようにしてもよい。
【0015】
本発明の映像コンテンツ再生装置の制御方法は、映像コンテンツのサムネールを表示する映像コンテンツ再生装置の制御方法であって、映像コンテンツのストリームの入力を受けるデータ取得ステップと、前記映像コンテンツのストリームから動画像ストリームと音声ストリームとを取得するストリーム処理ステップと、前記動画像ストリームを復号し、復号動画像フレームを得る動画像復号ステップと、時刻情報に基づき前記復号動画像フレームの出力を調整する第1の動作と、前記時刻情報と無関係に前記復号動画像フレームを出力する第2の動作とを実行する画像出力ステップと、前記音声ストリームを復号し、復号音声データを得る音声復号ステップと、前記復号音声データを出力する音声出力ステップと、を有し、前記ストリーム処理ステップにおいて、ユーザ操作に応じて前記映像コンテンツのストリームから前記音声ストリームを取得し、前記画像出力ステップにおいて、前記音声出力ステップにおいて前記復号音声データが入力された時点で動作を前記第1の動作から前記第2の動作に切り替えることを特徴とする。
【0016】
前記画像出力ステップにおいて、前記音声出力ステップにおいて前記復号音声データの出力を開始した時点で動作を前記第1の動作から前記第2の動作に切り替えるようにしてもよい。
【0017】
前記映像出力ステップにおいて、前記第2の動作において前記復号動画像フレームの時刻情報を記憶し、前記音声出力ステップにおいて、前記復号動画像フレームの時刻情報を参照して前記復号音声データの出力開始を決定するようにしてもよい。
【0018】
前記音声出力ステップにおいて、前記復号音声データの出力開始時刻と前記復号動画像フレームの時刻情報の差分を算出し、前記画像出力ステップにおいて、前記第1の動作において前記復号動画像フレームの時刻情報を前記差分により補正するようにしてもよい。
【0019】
本発明のプログラムは、上記映像コンテンツ再生装置の制御方法をコンピュータに実行させるためのプログラムである。
【0020】
本発明の記録媒体は、上記プログラムを記録したコンピュータ読み取り可能な記録媒体である。
【発明の効果】
【0021】
本発明によれば、映像コンテンツへのアクセス方法(記録装置へのアクセス、ネットアクセス)や動画サムネールの再生方法(通常再生と低負荷のスキップ、スロー再生)に係わらず、ユーザの操作後迅速に動画像と音声の同期処理を行い、音声出力を開始することで、操作に対する応答性を高め、ユーザの利便性を向上させることができる。
【図面の簡単な説明】
【0022】
【図1】本発明の実施の形態に係る映像コンテンツ再生装置の構成例を示すブロック図である。
【図2】本発明の実施の形態に係る映像コンテンツ再生装置を適用したシステム構成例を示す図である。
【図3】本発明の実施の形態に係る映像コンテンツ再生装置の動作における状態遷移を示す図である。
【図4】本発明の実施の形態に係る映像コンテンツ再生装置の動作例を示すフローチャートである。
【図5】本発明の実施の形態に係る映像コンテンツ再生装置の動作例を示す模式図である。
【図6】本発明の実施の形態に係る映像コンテンツ再生装置における表示時刻の変化を示す図である。
【図7】本発明の実施の形態に係る映像コンテンツ再生装置の動作例を示すフローチャートである。
【図8】本発明の実施の形態に係る映像コンテンツ再生装置の音声出力部の動作例を示すフローチャートである。
【図9】本発明の実施の形態に係る映像コンテンツ再生措置の動作を説明するための図である。
【図10】本発明の実施の形態に係る一覧表示の画面例を示す図である。
【図11】各処理における処理タイミングの時間差の一例を示す図である。
【発明を実施するための形態】
【0023】
以下、本発明の実施形態について、図面を参照しながら説明する。図1は、本発明の実施形態に係る映像コンテンツ再生装置100の構成例を示すブロック図である。ここでは一例として、同時に処理する映像コンテンツのストリーム数を4としている。
【0024】
映像コンテンツ再生装置100は、映像コンテンツのストリームを取得するデータ取得部101と、映像コンテンツのストリームデータの解析および多重分離を行うストリーム処理部102と、動画像データを復号する動画像復号部103と、動画像復号部103の動作を制御する復号制御部104と、音声データを復号する音声復号部106と、複数の動画像の出力タイミングを調整する画像出力部105と、音声を出力する音声出力部107と、前記の各部を制御する制御部108とを備える。
【0025】
本発明の構成要素である各部は、例えば、マイクロプロセッサ、メモリ、バス、インターフェイス、周辺機器などから構成されるハードウェアと、これらのハードウェア上にて実行可能なソフトウェアにより実現される。上記ハードウェアの一部または全部を、集積回路/IC(Integrated Circuit)として搭載することができ、その場合、上記ソフトウェアは上記メモリに記憶しておけばよい。また、本発明の構成要素の各部のすべてをハードウェアで構成してもよく、その場合についても同様に、そのハードウェアの一部または全部を、集積回路/ICチップセットとして搭載することも可能である。
【0026】
図示はしないが、データ取得部101、ストリーム処理部102、動画像復号部103、画像出力部105、音声復号部106および音声出力部107の各部は、入力される処理対象データを記憶するバッファ領域がメモリ上に割り当てられる。これらのバッファ領域は、構成上まとめて一箇所に配置されてもよいが、便宜上、各部の中に設けられているものとして扱い、内部バッファと呼ぶことにする。
【0027】
データ取得部101は、映像コンテンツのストリームデータを外部のデバイスから入手するための手段である。データ取得部101は、例えば、記録メディア内に置かれた動画ファイルへのアクセスや、ネットワークを介したサーバへのリクエストによりストリームデータを取得する。
【0028】
ストリーム処理部102は、データ取得部101からストリームデータを読み出して、そのヘッダを解析し、解析した結果に基づき、ストリームデータに多重化された動画像ストリームデータ、および音声ストリームデータを取得する。ストリーム処理部102は、取得した動画像ストリームデータを動画像復号部103に出力し、音声ストリームデータを音声復号部106に出力する。ここで、動画像ストリームは処理対象となっているストリームデータ数だけ処理され、音声ストリームデータはそのうちのいずれか1つのみが処理されるものとする。動画像/音声の各フレームには、提示されるべき時刻を示す時刻情報が付随しており、ストリーム処理部102は、動画像ストリームデータまたは音声ストリームデータを出力する際に、前記時刻情報を付加する(所定数のサンプルから構成される音声データの集合をフレームと呼ぶ)。
【0029】
動画像復号部103は、入力された動画像ストリームデータから、動画像の1フレームを復号する。動画像ストリームデータに付加された時刻情報は、当該復号動画像フレームを表示するタイミング(表示時刻)を指定するものであり、復号フレームと合わせて画像出力部105に出力される。動画像復号部103は、また、復号処理の終了が前記表示時刻に対してどの程度遅延しているかを示す遅延量を算出し、遅延量を復号制御部104に出力する。動画像復号部103は、復号制御部104の制御により復号時の動作が変更可能であり、復号動作によってはフレームの時刻情報を書き換えて出力する。
【0030】
復号制御部104は、復号処理に遅延が発生しているか否かを動画像復号部103から入力される遅延量に基づいて判定し、遅延発生時には、単位時間当たりの処理量を減らす方向に動画像復号部103の動作を制御する(ここで動画像復号部103の動作を再生モードと呼ぶ)。また、複数の映像コンテンツの中から他に優先して再生すべき映像コンテンツの指定を制御部108から受けた場合には、その時点における再生モードによらず、当該映像コンテンツが通常レートでの再生となるように制御する。通常レートとは、映像コンテンツのストリームデータの再生レート(フレームレート)を指す。
【0031】
画像出力部105は、入力された動画像フレームを表示デバイス上に表示するための出力処理を行う。動画像フレームに付加された時刻情報に基づき表示タイミングを調整する動作(第1の動作)と、時刻情報と無関係に動画像フレームを処理する動作(第2の動作)のいずれかを行う。外部出力の際は、フレームのデータ形式、カラーフォーマットなどを必要に応じて変換する。例えば、フレームがY、U、Vの色空間データで、表示がR、G、B色空間であるとき、YUVからRGBに変換する。
【0032】
音声復号部106は、入力された音声ストリームデータから、音声の1フレームを復号する。この繰り返しにより、音声復号部106は、音声ストリームデータから動画サムネールと合わせて出力するための一連の音声フレームを得る。音声出力部107は、音声復号部106から入力された音声データを出力する。画像出力部105と音声出力部107は、各自の内部の状態を共有し、音声出力時に対となる動画像のフレーム出力と同期させる機能を有する。
【0033】
制御部108は、複数の映像コンテンツから1つの映像コンテンツを優先指定する。優先指定は、例えば、制御部108が外部から取得する制御情報や、ユーザ操作により操作デバイスが生成する操作情報に基づき行われる。
【0034】
以上のように、映像コンテンツ処理装置100は、複数の映像コンテンツを処理し、同時に表示することが可能である。例えば、図2に示すように、記録装置(記録媒体とその読み取り装置)、通信装置、操作デバイス、ディスプレイ、スピーカを接続することで、ディスプレイ上に図10に示すように複数の映像コンテンツを表示し、そのうちの選択された1つの映像コンテンツについて付随する音声をスピーカから出力することができる。
【0035】
図3に映像コンテンツ再生装置100の動作における内部状態の遷移例を示す。図3(a)において、起動後は初期状態である。この例では、処理すべき映像コンテンツが指定されて動画サムネールの表示を開始すると、内部状態は優先指定なしの再生状態に遷移する。この状態では、映像コンテンツをすべて非優先として音声を表示しない。画面の表示例は図3(b)のようになる。映像コンテンツ再生装置100は、負荷が処理能力より小さければ通常再生を維持し、負荷が処理能力を超えたら、発生した遅延量に応じてスロー再生、またはスキップ再生を実行する。この状態で優先指定がなされると、優先指定ありの再生状態に遷移する。この状態では、1つの映像コンテンツが優先して処理され、音声が出力される。画面の表示例は図3(c)のようになる。この状態で優先指定を解除すると、優先指定なしの再生状態に遷移し、優先指定の映像コンテンツを変更すると、優先指定ありの状態は変化しないで優先して処理される映像コンテンツが変わる。画面の表示例は図3(d)のようになる。
【0036】
図4は、映像コンテンツの再生に係る動作を示すフローチャートである。このフローチャートは、図3における優先指定なしの再生状態におけるデータ取得部101、ストリーム処理部102、動画像復号部103の動作を示すものである。
【0037】
ステップST401において、制御部108は、再生すべき映像コンテンツを特定し、ストリーム処理部102に対して映像コンテンツを指定する。例えば、記録メディア内にファイルとして記録されている映像コンテンツを読み出す、または、ネットワーク上のサーバにアクセスして利用可能な映像コンテンツ名を取得する。さらに、内部クロックを利用してカウントされるシステムタイマーの値(システム時刻)を初期化する。
【0038】
ステップST402において、ストリーム処理部102は、映像コンテンツのストリームを解析し、動画像と音声ストリームについての情報を取得する。ここで取得できる情報は、動画像の場合、解像度、フレームレート、符号化方式、ストリームデータ中のどの位置から動画像の1フレーム分のデータ取得ができるかを示すオフセット値、表示のための時刻情報などである(以下、動画像フレームの表示タイミングを示す時刻情報を表示時刻と呼ぶ)。
【0039】
ステップST403において、制御部108は、再生すべき映像コンテンツのデータの処理がすべて終了したかどうかを判定し、終了している場合は動作を終了し、終了していない場合はステップST404に進む。
【0040】
ステップST404において、ストリーム処理部102は、ストリーム解析終了後の映像コンテンツのストリームデータから動画像ストリームデータを取り出し、この動画像ストリームデータに付加された時刻情報を必要に応じて加工し、元の時刻情報とともに動画像ストリームデータに付加して動画像復号部103に出力する。
【0041】
ステップST405において、動画像復号部103は、表示時刻の書き換えが必要かどうかを判定し、必要な場合はステップST406に進み、必要ない場合はステップST407に進む。
【0042】
ステップST406において、動画像復号部103は、復号制御部104により指定された再生モードに基づき、入力された時刻情報を書き換える。ここで、再生モードは、通常再生、スロー再生、スキップ再生のいずれかの動作を示す。例えば、スロー再生における再生速度が通常再生の2倍であるとき、前に入力された表示時刻と現在の表示時刻の差を2倍して、前に出力した表示時刻に加算して出力する。
【0043】
ステップST407において、動画像復号部103は、動画像データの復号処理を行うか否かを判定し、行わない場合はステップST403に戻り、行う場合はステップST408に進む。
【0044】
ステップST408において、動画像復号部103は、動画像ストリームデータを復号する。動作モードが通常再生、およびスロー再生の場合、ストリーム処理部102から入力された順に復号する。スキップ再生の場合には、復号処理の前に動画像ストリームデータを調べ、その符号化タイプを取得する。ここで、符号化タイプとは、動画像1フレームのストリームデータが当該フレームのストリームデータのみで復号できるか(イントラフレーム)、それとも他のフレームの情報を利用するか(インターフレーム)を指す。スキップ再生では、例えば、符号化タイプがイントラフレームのストリームデータのみを復号する。または、他のフレームの復号時に参照されないフレームのストリームデータのみを復号する。
【0045】
ステップST409において、動画像復号部103は、復号処理終了後、システム時刻を取得して表示時刻に対する遅延量を算出し、ステップST403に戻る。
【0046】
復号制御部104は、図4のフローチャートで示される動作とは独立して動作し、動画像復号部103からの遅延量を監視する。遅延量から遅延が発生していると判定した場合、各動画像復号部103の動作モードを通常→スロー→スキップの順に負荷の軽い方向へ変更し、遅延が発生せず十分に処理に余裕があると判定した場合には、逆に負荷の大きい方向へ変更する。遅延の発生は、例えば、遅延量がしきい値を超えた場合や、所定時間において遅延量が増加し続ける場合に起きているとする。
【0047】
画像出力部105は、各動画像復号部103からの動画像フレームと時刻情報の出力に合わせて、表示のための出力タイミングを調整する。例えば、取得したシステム時刻と復号後の動画像フレームの表示時刻とを比較した結果、システム時刻と表示時刻の差が所定のしきい値以下の場合、または、表示時刻がシステム時刻に対して遅れている場合には、復号フレームを出力する。
【0048】
表示時刻とシステム時刻について、図5および図6を用いて説明する。ここで、再生処理の開始時に制御部108がシステム時刻をT0に初期化したとする。ストリーム処理部102は、ストリームデータに付けられた表示時刻tv(i)からTv(i)を導出する。ここで、iは動画像のフレーム番号、dは表示時刻を一定時間だけ遅らせるためのオフセット値である。表示時刻Tv(i)は、システム時刻T0を基準とした実際の表示時刻である。
【0049】
ストリーム処理部102は、2つの表示時刻tv(i)、Tv(i)を動画像ストリームに付加して動画像復号部103に出力する。動画像復号部103は、再生制御の実行により、Tv(i)をTv’(i)に書き換える。復号済みの動画像フレームにtv(i)と書き換えたTv’(i)を付加して画像出力部105へ出力する。復号処理終了時のシステム時刻をT1とすると、動画像復号部103は、Tv’(i)−T1を遅延量として出力する。動画像復号部103は、画像出力部105に表示時刻としてTv’(i)を出力する。
【0050】
図6(a)の場合、T1<Tv’(i)であり、画像出力部105は、システム時刻がTv’ (i)になった時点で復号フレームを出力する。
【0051】
図6(b)は、復号処理終了時のシステム時刻T2>Tv’(i)で遅延が起きている場合の例を示す。この場合には、画像出力部105は、動画像復号部103から復号フレームが入力された直後に復号フレームを出力する。なお、ストリームデータに付けられた2つの表示時刻は、画像出力部105に記憶され、優先指定時に音声ストリームとの同期に利用される。
【0052】
図3における優先指定ありの再生状態では、1つの映像コンテンツを優先として音声を出力する。この場合、ステップST404で動画像ストリームデータだけでなく音声ストリームデータを取得し、音声復号部106で復号処理を実行する。さらに、復号制御部104は、他の映像コンテンツの状態にかかわらず、優先指定された映像コンテンツを処理する動画像復号部103の動作モードを通常再生とする。
【0053】
図7は、優先指定なしから優先指定ありへの状態遷移時の処理の流れを示すフローチャートである。処理が開始すると、ステップST701において、制御部108は、優先指定された映像コンテンツのストリームを処理するストリーム処理部102(以下、優先指定されたストリーム処理部と呼ぶ)に対して音声ストリームデータの取得を指示すると共に、復号制御部104には、当該映像コンテンツの動画像ストリームの全フレームを処理するように指示する。
【0054】
ステップST702において、優先指定されたストリーム処理部102は、すでに処理した動画像ストリームのうち最も近い過去に処理した動画像ストリームの表示時刻を取得する。
【0055】
ステップST703において、優先指定されたストリーム処理部102は、ステップST702で取得した表示時刻に基づき、取得すべき音声ストリームの表示時刻を決定する。ここで扱う表示時刻は、画像出力部105にて扱われる最終的な表示時刻Tv’(i)とは異なり、動画像ストリームデータに付随して映像コンテンツのストリームデータに多重化されている値tv(i)である。動画像ストリームの表示時刻tv(i)に基づき、例えば、最も近い音声ストリームの表示時刻を算出し、これをta(j)とする。
【0056】
ステップST704において、ストリーム処理部102は、表示時刻ta(j)を持つ音声ストリームデータを内部バッファから探索し、該当する音声ストリームデータが内部バッファ内に見つかれば音声取り出し可能と判断してステップST705に進み、該当する音声ストリームデータが内部バッファ内に見つからなければ音声取り出し不可能と判断して、再度ステップST704において、内部バッファのデータが更新された時点で、音声ストリームデータを内部バッファから探索する。条件に適合した音声ストリームが探索できた時点では、必ずしも動画像と音声の間に同期がとれているとは限らない。ストリーム処理部102は、後にステップST705において音声ストリームデータを音声復号部106に対して出力するに際し、表示時刻ta(j)を添付する。
【0057】
ステップST705において、優先指定されたストリーム処理部102は、動画像ストリームおよび音声ストリームデータの双方を内部バッファから取得する。一方、優先指定のないストリーム処理部102は、以前(優先指定なしの再生情報)と同じ動作を続ける。取得後の動画像ストリームは、対応する動画像復号部103の内部バッファに送られ、音声ストリームデータは、音声復号部106の内部バッファに送られ、適宜復号される。
【0058】
ステップST706において、音声出力部107は、復号後の動画像ストリームと音声ストリームの同期をとるために、優先指定後の最初の復号音声データを受け取った時点で、当該音声データが出力可能かどうかを判定し、出力可能な場合はステップST708に進み、出力可能でない場合はステップST707に進む。
【0059】
ステップST708において、動画像と音声を同期して出力し、処理を終了する。
【0060】
ステップST707において、動画像のみの出力を継続し、ステップST705に戻る。
【0061】
音声出力部107の具体的な動作を、図8のフローチャートを用いて説明する。
【0062】
ステップST801において、音声出力部107は、内部バッファを監視し、復号済みのデータが存在するか否かを調べ、存在する場合はステップST802に進む。
【0063】
ステップST802において、音声出力部107は、優先指定後最初の復号音声データを受け取ったことを画像出力部105へ通知する。
【0064】
ステップST803において、音声出力部107は、当該音声データに対応する出力済み動画像フレームの表示時刻tv(i)およびTv’(i)を画像出力部105から取得する。
【0065】
ステップST804において、音声出力部107は、取得した動画像フレームの表示時刻を参照し、音声出力の可否を判断する。すなわち、音声出力部107は、音声の表示時刻ta(j)と動画像の表示時刻tv(i)を比較し、例えば、表示時刻ta(j)と表示時刻tv(i)の差が所定のしきい値の範囲内であれば音声出力可能と判定する。音声出力可能な場合はステップST805に進み、音声出力が可能でない場合はステップST803に戻る。
【0066】
ステップST805において、音声出力部107は、音声データの出力を開始する。
【0067】
ステップST806において、音声出力部107は、音声データの出力を開始した時のシステム時刻と、画像出力部105から取得した表示済み動画像フレームの表示時刻Tv’(i)の差分を、表示時刻のオフセットとして算出する。
【0068】
ステップST807において、音声出力部107は、算出したオフセットを画像出力部105へ出力し、音声出力を通知し、動作を終了する。
【0069】
画像出力部105は、音声出力部107から音声データ取得と音声データ出力の2つの通知を受け取る。優先指定後は、前述のように、時刻情報に合わせて表示のための動画像フレーム出力タイミングを調整する動作を行い、最初に音声データ取得の通知を受けた時点で、優先ストリームの動画像については、その表示時刻Tv’(i)にかかわらず、受け取った時点で即時出力を行うように動作を変更する。これ以降、音声出力部107から音声出力通知を受け取るまでこの動作を続ける。このときの動画像フレームの表示時刻tv(i)およびTv’(i)を記憶しておき、図8のステップST803について説明したように、音声出力部107からの問い合わせに対して出力する。
【0070】
優先指定以外の動画像については、これまで通り時刻情報に合わせた出力を行う。図9に処理例を示す。
【0071】
図9(a)では、動画像フレームV1を出力中にユーザにより優先指定の操作がなされ、このときストリーム処理部102では、動画像ストリームデータV7を処理中である。この状態でストリーム処理部102は、音声ストリームA5から取得を開始する。
【0072】
図9(b)は、図9(a)からΔtだけ経過後の状態を示しており、復号された音声データA5が音声出力部107に入力されたときで、画像出力部105は動画像フレームV6の出力待ちの状態である。ここで画像出力部105は、時刻情報に合わせて表示のための動画像フレーム出力タイミングを調整する動作から、時刻情報を考慮しない動作へと切り替わる。図9(b)では、V6を即時に出力し、tv(6)およびTv’(6)を記憶する。音声出力部107は、tv(6)を参照し、ta(7)と比較する。もし、音声データA7が出力できるならば、V6の表示時刻Tv’(6)とシステム時刻tの差分Tdを算出する。画像出力部105は、V7以降の動画像フレームについては、その時刻Tv’(i)からTdを引いた時刻で出力タイミングを調整する。
【0073】
動画像と音声の同期を図っている間は、動画像については時刻情報に関係なく出力がされるようになり、一般には出力タイミングが早まることになる。ただし、早まる時間の変動量は、動画像フレームの間隔に依存し、例えばスキップ再生のようにフレーム間隔が広がったときには大きく変動するが、通常の再生レートであればほとんど変動しない。スキップ再生では元々フレーム間隔が広いため、表示時刻を早めてもユーザが知覚する違和感は少なくて済む。ユーザにより音声出力が選択された時点で音声処理を開始しつつ、音声出力までの時間を常に短くすることができる。
【0074】
なお、前述の実施例では、動画像と音声の同期を図っている間に実行する第2の動作は、時刻情報に関係なく即時に動画像フレームを出力するようにしているが、動画像の表示をせずに、単に動画像フレームのデータを内部バッファから読み捨てるようにしてもよいし、フレーム間の時刻の間隔が所定の値を超える場合にのみ、時刻情報に関係なく即時に出力する(または出力せずに読み捨てる)ようにしてもよい。
【0075】
本発明の実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を装置に供給し、マイクロプロセッサまたはDPSによりプログラムコードが実行されることによっても、本発明の目的が達成される。この場合、ソフトウェアのプログラムコード自体が本実施形態の機能を実現することになり、プログラムコードを記録した記録媒体は本発明を構成することになる。
【0076】
以上、本発明の実施形態について説明したが、本発明の映像コンテンツ再生装置およびその制御方法、プログラム、記録媒体は、上記の実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において、種々の変更を加えうることは勿論である。
【産業上の利用可能性】
【0077】
本発明は、映像コンテンツ再生装置およびその制御方法、プログラム、記録媒体に利用可能である。
【符号の説明】
【0078】
100 映像コンテンツ再生装置
101 データ取得部
102 ストリーム処理部
103 動画像復号部
104 復号制御部
105 画像出力部
106 音声復号部
107 音声出力部
108 制御部
【特許請求の範囲】
【請求項1】
映像コンテンツのストリームの入力を受けるデータ取得部と、
前記映像コンテンツのストリームから動画像ストリームと音声ストリームとを取得するストリーム処理部と、
前記動画像ストリームを復号し、復号動画像フレームを得る動画像復号部と、
時刻情報に基づき前記復号動画像フレームの出力を調整する第1の動作と、前記時刻情報と無関係に前記復号動画像フレームを出力する第2の動作とを実行する画像出力部と、
前記音声ストリームを復号し、復号音声データを得る音声復号部と、
前記復号音声データを出力する音声出力部と、
を備え、
前記ストリーム処理部は、ユーザ操作に応じて前記映像コンテンツのストリームから前記音声ストリームを取得し、
前記画像出力部は、前記復号音声データが前記音声出力部に入力された時点で動作を前記第1の動作から前記第2の動作に切り替えることを特徴とする映像コンテンツ再生装置。
【請求項2】
前記画像出力部は、前記音声出力部が前記復号音声データの出力を開始した時点で動作を前記第2の動作から前記第1の動作に切り替えることを特徴とする請求項1に記載の映像コンテンツ再生装置。
【請求項3】
前記映像出力部は、前記第2の動作において前記復号動画像フレームの時刻情報を記憶し、
前記音声出力部は、前記復号動画像フレームの時刻情報を参照して前記復号音声データの出力開始を決定することを特徴とする請求項1または2に記載の映像コンテンツ再生装置。
【請求項4】
前記音声出力部は、前記復号音声データの出力開始時刻と前記復号動画像フレームの時刻情報の差分を算出し、
前記画像出力部は、前記第1の動作において前記復号動画像フレームの時刻情報を前記差分により補正することを特徴とする請求項3に記載の映像コンテンツ再生装置。
【請求項5】
前記画像出力部に入力される前記復号動画像フレームの時刻情報の間隔が所定の値を超える場合にのみ、前記第1の動作から前記第2の動作への切り替えを行うことを特徴とする請求項1乃至4のいずれか1項に記載の映像コンテンツ再生装置。
【請求項6】
複数の映像コンテンツを一覧表示する際に、前記画像出力部は、音声を出力する対象の映像コンテンツについてのみ前記第1の動作から前記第2の動作への切り替えを行うことを特徴とする請求項1乃至4のいずれか1項に記載の映像コンテンツ再生装置。
【請求項7】
映像コンテンツのサムネールを表示する映像コンテンツ再生装置の制御方法であって、
映像コンテンツのストリームの入力を受けるデータ取得ステップと、
前記映像コンテンツのストリームから動画像ストリームと音声ストリームとを取得するストリーム処理ステップと、
前記動画像ストリームを復号し、復号動画像フレームを得る動画像復号ステップと、
時刻情報に基づき前記復号動画像フレームの出力を調整する第1の動作と、前記時刻情報と無関係に前記復号動画像フレームを出力する第2の動作とを実行する画像出力ステップと、
前記音声ストリームを復号し、復号音声データを得る音声復号ステップと、
前記復号音声データを出力する音声出力ステップと、
を有し、
前記ストリーム処理ステップにおいて、ユーザ操作に応じて前記映像コンテンツのストリームから前記音声ストリームを取得し、
前記画像出力ステップにおいて、前記音声出力ステップにおいて前記復号音声データが入力された時点で動作を前記第1の動作から前記第2の動作に切り替えることを特徴とする映像コンテンツ再生装置の制御方法。
【請求項8】
前記画像出力ステップにおいて、前記音声出力ステップにおいて前記復号音声データの出力を開始した時点で動作を前記第2の動作から前記第1の動作に切り替えることを特徴とする請求項7に記載の映像コンテンツ再生装置の制御方法。
【請求項9】
前記映像出力ステップにおいて、前記第2の動作において前記復号動画像フレームの時刻情報を記憶し、
前記音声出力ステップにおいて、前記復号動画像フレームの時刻情報を参照して前記復号音声データの出力開始を決定することを特徴とする請求項7または8に記載の映像コンテンツ再生装置の制御方法。
【請求項10】
前記音声出力ステップにおいて、前記復号音声データの出力開始時刻と前記復号動画像フレームの時刻情報の差分を算出し、
前記画像出力ステップにおいて、前記第1の動作において前記復号動画像フレームの時刻情報を前記差分により補正することを特徴とする請求項9に記載の映像コンテンツ再生装置の制御方法。
【請求項11】
請求項7乃至10のいずれか1項に記載の映像コンテンツ再生装置の制御方法をコンピュータに実行させるためのプログラム。
【請求項12】
請求項11に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項1】
映像コンテンツのストリームの入力を受けるデータ取得部と、
前記映像コンテンツのストリームから動画像ストリームと音声ストリームとを取得するストリーム処理部と、
前記動画像ストリームを復号し、復号動画像フレームを得る動画像復号部と、
時刻情報に基づき前記復号動画像フレームの出力を調整する第1の動作と、前記時刻情報と無関係に前記復号動画像フレームを出力する第2の動作とを実行する画像出力部と、
前記音声ストリームを復号し、復号音声データを得る音声復号部と、
前記復号音声データを出力する音声出力部と、
を備え、
前記ストリーム処理部は、ユーザ操作に応じて前記映像コンテンツのストリームから前記音声ストリームを取得し、
前記画像出力部は、前記復号音声データが前記音声出力部に入力された時点で動作を前記第1の動作から前記第2の動作に切り替えることを特徴とする映像コンテンツ再生装置。
【請求項2】
前記画像出力部は、前記音声出力部が前記復号音声データの出力を開始した時点で動作を前記第2の動作から前記第1の動作に切り替えることを特徴とする請求項1に記載の映像コンテンツ再生装置。
【請求項3】
前記映像出力部は、前記第2の動作において前記復号動画像フレームの時刻情報を記憶し、
前記音声出力部は、前記復号動画像フレームの時刻情報を参照して前記復号音声データの出力開始を決定することを特徴とする請求項1または2に記載の映像コンテンツ再生装置。
【請求項4】
前記音声出力部は、前記復号音声データの出力開始時刻と前記復号動画像フレームの時刻情報の差分を算出し、
前記画像出力部は、前記第1の動作において前記復号動画像フレームの時刻情報を前記差分により補正することを特徴とする請求項3に記載の映像コンテンツ再生装置。
【請求項5】
前記画像出力部に入力される前記復号動画像フレームの時刻情報の間隔が所定の値を超える場合にのみ、前記第1の動作から前記第2の動作への切り替えを行うことを特徴とする請求項1乃至4のいずれか1項に記載の映像コンテンツ再生装置。
【請求項6】
複数の映像コンテンツを一覧表示する際に、前記画像出力部は、音声を出力する対象の映像コンテンツについてのみ前記第1の動作から前記第2の動作への切り替えを行うことを特徴とする請求項1乃至4のいずれか1項に記載の映像コンテンツ再生装置。
【請求項7】
映像コンテンツのサムネールを表示する映像コンテンツ再生装置の制御方法であって、
映像コンテンツのストリームの入力を受けるデータ取得ステップと、
前記映像コンテンツのストリームから動画像ストリームと音声ストリームとを取得するストリーム処理ステップと、
前記動画像ストリームを復号し、復号動画像フレームを得る動画像復号ステップと、
時刻情報に基づき前記復号動画像フレームの出力を調整する第1の動作と、前記時刻情報と無関係に前記復号動画像フレームを出力する第2の動作とを実行する画像出力ステップと、
前記音声ストリームを復号し、復号音声データを得る音声復号ステップと、
前記復号音声データを出力する音声出力ステップと、
を有し、
前記ストリーム処理ステップにおいて、ユーザ操作に応じて前記映像コンテンツのストリームから前記音声ストリームを取得し、
前記画像出力ステップにおいて、前記音声出力ステップにおいて前記復号音声データが入力された時点で動作を前記第1の動作から前記第2の動作に切り替えることを特徴とする映像コンテンツ再生装置の制御方法。
【請求項8】
前記画像出力ステップにおいて、前記音声出力ステップにおいて前記復号音声データの出力を開始した時点で動作を前記第2の動作から前記第1の動作に切り替えることを特徴とする請求項7に記載の映像コンテンツ再生装置の制御方法。
【請求項9】
前記映像出力ステップにおいて、前記第2の動作において前記復号動画像フレームの時刻情報を記憶し、
前記音声出力ステップにおいて、前記復号動画像フレームの時刻情報を参照して前記復号音声データの出力開始を決定することを特徴とする請求項7または8に記載の映像コンテンツ再生装置の制御方法。
【請求項10】
前記音声出力ステップにおいて、前記復号音声データの出力開始時刻と前記復号動画像フレームの時刻情報の差分を算出し、
前記画像出力ステップにおいて、前記第1の動作において前記復号動画像フレームの時刻情報を前記差分により補正することを特徴とする請求項9に記載の映像コンテンツ再生装置の制御方法。
【請求項11】
請求項7乃至10のいずれか1項に記載の映像コンテンツ再生装置の制御方法をコンピュータに実行させるためのプログラム。
【請求項12】
請求項11に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【公開番号】特開2012−60256(P2012−60256A)
【公開日】平成24年3月22日(2012.3.22)
【国際特許分類】
【出願番号】特願2010−199227(P2010−199227)
【出願日】平成22年9月6日(2010.9.6)
【出願人】(000005049)シャープ株式会社 (33,933)
【Fターム(参考)】
【公開日】平成24年3月22日(2012.3.22)
【国際特許分類】
【出願日】平成22年9月6日(2010.9.6)
【出願人】(000005049)シャープ株式会社 (33,933)
【Fターム(参考)】
[ Back to top ]