再生評価装置、ストリームデータ処理方法
【課題】トリックプレイ（早送り、巻き戻し、逆スロー等）を組み合わせた複雑な再生を適切に評価すること
【解決手段】復号部１２は、ストリームデータに含まれる第１データに対し、通常再生にかかる復号を行った第１復号データを生成するとともに、トリックプレイを含む評価用再生をした場合の再生時刻と再生位置を関連付けた第１シナリオデータに従った復号を行った第２復号データを生成する。特徴抽出部１３は、第１復号データから再生位置と特徴値とを関連付けた第１通常再生情報と、第２復号データから再生時刻と特徴値とを関連付けた第１評価再生情報と、を生成する。フレーム検索部１６は、特徴値同士の比較判定から、第１通常再生情報の再生位置と、第１評価再生情報の再生時刻と、を含む第１評価データを生成する。評価部１７は、第１シナリオデータ、第１評価データに基づいて前記評価用再生の評価を行う。
【解決手段】復号部１２は、ストリームデータに含まれる第１データに対し、通常再生にかかる復号を行った第１復号データを生成するとともに、トリックプレイを含む評価用再生をした場合の再生時刻と再生位置を関連付けた第１シナリオデータに従った復号を行った第２復号データを生成する。特徴抽出部１３は、第１復号データから再生位置と特徴値とを関連付けた第１通常再生情報と、第２復号データから再生時刻と特徴値とを関連付けた第１評価再生情報と、を生成する。フレーム検索部１６は、特徴値同士の比較判定から、第１通常再生情報の再生位置と、第１評価再生情報の再生時刻と、を含む第１評価データを生成する。評価部１７は、第１シナリオデータ、第１評価データに基づいて前記評価用再生の評価を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は再生評価装置、及びストリームデータ処理方法に関する。
【背景技術】
【０００２】
動画を復号化する装置（例えばデジタルテレビ、ポータブルＡＶプレーヤー等）において、再生時に所望の動画が閲覧できているかを評価する必要がある。ここで、評価の際に、トリックプレイ（早送り、巻き戻し、逆スロー）をも考慮した評価を行えることが望ましい。
【０００３】
特許文献１には、通常再生時に映像及び音声を同期させる技術が開示されている。すなわち、映像と音声が所望のタイミングで再生されているかを評価（照合）することができる。特許文献１にかかるストリームデータ処理装置は、同期制御を無効にした状態でストリームデータをデコードした非同期データを１フレーム単位でデータ圧縮して期待値データとする。続いて、当該ストリームデータ処理装置は、同期制御を有効にし、ストリームデータをデコードした同期データを期待値データと照合する。
【０００４】
当該照合処理を概略すると、ストリームデータ処理装置は、取得した評価データを期待値と１フレームごとに先頭から順に照合して、一致しなかった場合は期待値を１フレーム分前後にずらして再照合する処理を繰り返す。これにより、映像と音声が所望のタイミングで再生されているかを評価（照合）する。
【０００５】
図１６は、当該ストリームデータ処理装置による照合処理を示すフローチャートである。ストリームデータ処理装置は、期待値データをメモリ上に展開し、１フレーム毎に圧縮データを取得する。取得した圧縮データと期待値データを比較し、一致しない場合にはＳＴＣ値とＰＴＳ値を読み出して比較する。この比較結果に応じて再度の照合処理を行う。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−２７９０１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１及び関連する技術ではトリックプレイ（早送り、巻き戻し、逆スロー等）を組み合わせた複雑な再生を適切に評価できないという問題があった。以下に、当該問題の詳細を説明する。
【０００８】
特許文献１にかかるストリームデータ処理装置は、前述のように照合処理が不一致の際に期待値を１フレーム分前後にずらして再照合を行う。そのため、当該ストリームデータ処理装置は、早送りや巻き戻しを行った際に生じるフレームスキップ（１フレームを超えるフレームの変化）に対応できないという問題がある。
【０００９】
早送りの評価に当該ストリームデータ処理装置を応用した例を説明する。ここで、期待値として図１７に示すデータを用いる。また、早送りの再生により取得したデータを図１８に示す。図１８に示すように、早送り処理により２フレームのスキップが生じている。
【００１０】
初めに、圧縮データ（ａ）と、期待値データ（ａ）を読み込み、これらの一致判定を行う。この場合、一致するため正常に同期していると判定する。続いて、圧縮データ（ｄ）と、期待値データ（ｂ）と、を読み込む。この場合、圧縮データと期待値データは異なるため、評価データ（図１８）からＳＴＣ値（３）、期待値データ（図１７）からＰＴＳ値（１）を読み出す。ここで、ＳＴＣ値が２フレームだけ早いため、図１６のＳＴ４１０のいずれの分岐条件にも当てはまらず、評価を行うことができない。
【００１１】
同様に巻き戻しの評価に当該ストリームデータ処理装置を応用した例を説明する。巻き戻しの再生により取得したデータを図１９に示す。なお、図１９に示すように巻き戻しであるため、ＳＴＣ値と圧縮データは逆方向に進んでいる。期待値データは、早送りの評価と同様に図１７のデータを用いる。
【００１２】
初めに、圧縮データ（ｍ）と、期待値データ（ａ）を読み込み、これらの一致判定を行う場合、圧縮データと期待値データは異なるため、評価データ（図１９）からＳＴＣ値（１２）、期待値データ（図１７）からＰＴＳ値（０）を読み出す。ＳＴＣ値が１２フレーム早いため、図１６のＳＴ４１０のいずれの分岐条件にも当てはまらず、評価を行うことができない。
【００１３】
特許文献１に記載のストリーム処理装置は、逆スロー再生も同様に評価を行うことができない。以上のように、特許文献１に記載のストリーム処理装置では、トリックプレイを含む再生の評価を行うことができない。
【００１４】
トリックプレイを組み合わせた複雑な再生を行う場合、ユーザが目視確認により評価する必要性がある。しかしながら、ユーザによる目視確認は、ユーザの手間がかかる上に、精度の高い評価ができない。
【課題を解決するための手段】
【００１５】
本発明にかかる再生評価装置の一態様は、
ストリームデータの再生評価を行う再生評価装置であって、
前記ストリームデータに含まれる第１データに対し、通常再生にかかる復号を行った第１復号データを生成するとともに、トリックプレイを含む評価用再生をした場合の再生時刻と再生位置を関連付けた第１シナリオデータに従った復号を行った第２復号データを生成する復号部と、
前記第１復号データから再生位置と特徴値とを関連付けた第１通常再生情報を生成するとともに、前記第２復号データから再生時刻と特徴値とを関連付けた第１評価再生情報を生成する特徴抽出部と、
特徴値同士の比較判定から、前記第１通常再生情報の再生位置と、前記第１評価再生情報の再生時刻と、を含む第１評価データを生成するフレーム検索部と、
前記第１シナリオデータ、及び前記第１評価データに基づいて前記評価用再生の評価を行う評価部と、を備える、ものである。
【００１６】
本発明にかかるストリームデータ処理方法の一態様は、
ストリームデータに含まれる第１データに対し、通常再生にかかる復号を行った第１復号データを生成するとともに、トリックプレイを含む評価用再生をした場合の再生時刻と再生位置を関連付けた第１シナリオデータに従った復号を行った第２復号データを生成し、
前記第１復号データから再生位置と特徴値とを関連付けた第１通常再生情報を生成し、
前記第２復号データから再生時刻と特徴値とを関連付けた第１評価再生情報を生成し、
前記第１シナリオデータ、前記第１通常再生情報、及び前記第１評価再生情報に基づいて前記評価用再生の評価を行う、ものである。
【００１７】
本発明では、再生評価装置は、トリックプレイを含む評価用再生を行った場合の理想値であるシナリオデータと、実際の動作データを照合することにより、再生評価を行っている。このように、再生評価装置は、トリックプレイを考慮したシナリオデータを基に評価を行うため、さまざまな種類の再生に対応した評価を適切に行うことができる。
【発明の効果】
【００１８】
本発明によれば、トリックプレイ（早送り、巻き戻し、逆スロー等）を組み合わせた複雑な再生を適切に評価できる再生評価装置、及び再生評価方法を提供することができる。
【図面の簡単な説明】
【００１９】
【図１】実施の形態１にかかる再生評価装置の構成を示すブロック図である。
【図２】実施の形態１にかかるシナリオデータを示す図である。
【図３】実施の形態１にかかる通常再生情報を示す図である。
【図４】実施の形態１にかかる評価再生情報を示す図である。
【図５】実施の形態１にかかるフレーム検索部の処理を示すフローチャートである。
【図６】実施の形態１にかかるフレーム検索部の動作概念を示す図である。
【図７】実施の形態１にかかる評価データを示す図である。
【図８】実施の形態１にかかる評価部による評価を示す図である。
【図９】実施の形態１にかかる再生評価装置の動作を示すフローチャートである。
【図１０】実施の形態１にかかる再生評価装置の評価対象を示す図である。
【図１１】実施の形態２にかかる再生評価装置の構成を示すブロック図である。
【図１２】実施の形態２にかかる評価部の構成を示すブロック図である。
【図１３】実施の形態２にかかる正規化部の処理を示すフローチャートである。
【図１４】実施の形態２にかかる評価部による評価を示す図である。
【図１５】実施の形態２にかかる評価部による評価を示す図である。
【図１６】特許文献１にかかるストリームデータ処理装置の動作を示すフローチャートである。
【図１７】特許文献１にかかるストリームデータ処理装置が用いる理想値を示す図である。
【図１８】特許文献１にかかるストリームデータ処理装置における評価データである。
【図１９】特許文献１にかかるストリームデータ処理装置における評価データである。
【発明を実施するための形態】
【００２０】
＜実施の形態１＞
以下、図面を参照して本発明の実施の形態について説明する。図１は、本実施の形態にかかる再生評価装置の構成を示すブロック図である。再生評価装置１は、再生制御部１１と、復号部１２と、特徴抽出部１３と、記憶媒体１４と、記憶媒体１５と、フレーム検索部１６と、評価部１７と、を備える。再生評価装置１の一例として、デジタルテレビ受像機、ブルーレイディスク（登録商標）プレーヤー、ポータブルオーディオビジュアルプレーヤーが挙げられる。
【００２１】
再生制御部１１は、復号部１２の復号処理を制御する処理部である。通常再生を行う場合、再生制御部１１は、通常再生時の復号データを生成するように復号部１２を制御する。トリックプレイを含む評価用の再生を行う場合、再生制御部１１は、外部から入力されたシナリオデータが示す再生タイミングと合致するように復号部１２を制御する。
【００２２】
シナリオデータとは、トリックプレイを含む再生を行った場合の経過時刻と、再生位置（先頭からの再生位置を示す時間情報）と、をテーブルの形式にした情報である。図２にシナリオデータの一例を示す。
【００２３】
例えば、評価用の再生を行ってから３０ｓ後には、通常再生時の２５ｓ経過時のデータが再生されるべきことを示している。図２の例では、評価用の再生を行ってから４５ｓ〜６５ｓ時には、早送り再生を行うことが規定されている。このように、シナリオデータは、一定時間間隔毎（図２では５ｓ）の経過時刻と、当該経過時刻の際に表示されるべき再生位置と、を対にした情報である。
【００２４】
復号部１２は、再生制御部１１の制御に応じて入力されたストリームデータを復号化し、復号化した復号データを特徴抽出部１３に供給する。復号データとして、映像データまたは音声データが挙げられる。以下の説明では、音声データを例に説明を行う。
【００２５】
特徴値抽出部１３は、通常再生時の各経過時間のフレームの特徴値を抽出し、抽出した特徴値を記憶媒体１４に格納する。特徴値は、フレームの特性を認識できるものであれば特にその形式や抽出方法は問わない。特徴値には、ミュートを示す値も含まれる。記憶媒体１４に格納されるデータの例を図３に示す。なお、この通常再生時の特徴値と再生時間を対にした情報を、通常再生情報と呼称する。
【００２６】
さらに、特徴値抽出部１３は、シナリオデータに沿って再生した場合の各経過時間のフレームの特徴値を抽出し、抽出した特徴値を記憶媒体１５に格納する。記憶媒体１５に格納されるデータの例を図４に示す。なお、この評価再生時の再生時刻と特徴値とを対にした情報を、評価再生情報と呼称する。
【００２７】
フレーム検索部１６は、上述の通常再生情報（図３）と、評価再生情報（図４）から、後述の評価部１７が用いる評価用の評価データを生成する処理部である。フレーム検索部１６の処理を図５のフローチャート、及び図６の動作概念図を参照して説明する。
【００２８】
フレーム検索部１６は、予め記憶媒体１４及び１５から通常再生情報、評価再生情報を読み出しておく。フレーム検索部１６は、評価再生情報（図４）のデータ列を読み出し、当該データ列の特徴値を読み出す（Ｓ１１）。フレーム検索部１６は、データ末尾である場合には処理を終了する（Ｓ１２：Ｙｅｓ）。
【００２９】
フレーム検索部１６は、通常再生情報（図3）から特徴値を全て読み出す（Ｓ１３）。フレーム検索部１６は、Ｓ１１にて読み出した特徴値が、通常再生情報（図3）に存在するか否かを判定する（Ｓ１４）。
【００３０】
特徴値が存在する場合（Ｓ１４：Ｙｅｓ）、フレーム検索部１６は、評価再生情報の再生時刻と、検索された通常再生情報のデータ列の再生位置と、を抽出して評価データのデータ列とする（Ｓ１５）。例えば、図６の例では、フレーム検索部１６は、評価再生情報の１行目の再生時刻と、通常再生情報の１行目と、から評価データの１行目を生成している。同様に、フレーム検索部１６は、評価再生情報の８行目の再生時刻と、通常再生情報の６行目と、から評価データの８行目を生成している。
【００３１】
特徴値が存在しない場合（Ｓ１４：Ｎｏ）、フレーム検索部１６は、Ｓ１１にて読み出した特徴値がミュートを示すものであるか否かを判定する（Ｓ１６）。特徴値がミュートである場合（Ｓ１６：Ｙｅｓ）、フレーム検索部１６は、評価データの再生位置にミュートを示す特徴値を代入する（Ｓ１７）。特徴値がミュートではない場合（Ｓ１６：Ｎｏ）、フレーム検索部１６は、評価データの再生位置に復号結果がＮＧであった旨を代入する（Ｓ１８）。
【００３２】
なお、図５の処理フローでは、ミュートに関する判定を行ったが、映像データを扱う場合には当該判定は不要である。すなわち、Ｓ１６及びＳ１７の処理が不要となる。
【００３３】
フレーム検索部１６が、図３に示す通常再生情報と、図４に示す評価再生情報と、から生成した評価データを図７に示す。フレーム検索部１６は、生成した評価データを評価部１７に供給する。
【００３４】
図１の説明に戻る。評価部１７は、フレーム検索部１６が生成した評価データと、シナリオデータと、から評価再生時の動作が所望の動作であるか否かを評価する処理部である。評価部１７は、評価結果を任意の表示装置等に出力する。
【００３５】
評価部１７による評価方法を図８の概念図を参照して説明する。評価部１７は、シナリオデータと、評価データと、の同一再生時刻における再生位置の差分を算出する。例えば、評価部１７は、再生時刻５ｓの再生位置が互いに５ｓであるため、差分を０と算出する。同様に、評価部１７は、再生時刻５５ｓの再生位置は４５ｓと５０ｓであるため、差分を５と算出する。
【００３６】
評価部１７は、算出した各再生時刻での差分と、所定の閾値Ｅ（例えば２ｓ）と、を比較する。評価部１７は、所定の閾値Ｅよりも大きい差分がある場合には、評価再生時の動作が所望の動作ではないと判定する。
【００３７】
次に、図９のフローチャートを参照して、本実施の形態にかかる再生評価装置の動作について改めて説明する。ユーザは、トリックプレイを含む再生の評価を行うためのシナリオデータを作成し、作成したシナリオデータをストリーム処理装置１に入力する（Ｓ２１）。
【００３８】
特徴抽出部１３は、通常再生情報を生成する（Ｓ２２）。同様に、特徴抽出部１３は、評価再生情報を生成する（Ｓ２３）。フレーム検索部１６は、通常再生情報と、評価再生情報と、から評価データを生成する（Ｓ２４）。評価部１７は、フレーム検索部１６が生成した評価データと、シナリオデータと、から評価再生時の動作が所望の動作であるか否かを評価する（Ｓ２５）。
【００３９】
続いて、本実施の形態にかかる再生評価装置の効果について説明する。再生評価装置は、トリックプレイを含む評価用再生を行った場合の理想値であるシナリオデータと、実際の動作データを照合することにより、再生評価を行っている。このように、再生評価装置は、トリックプレイを考慮したシナリオデータを基に評価を行うため、適切にさまざまな種類の再生に対応した評価を行うことができる。
【００４０】
ここで、図１０を参照して本実施の形態にかかる再生評価装置１が評価対象とするトリックプレイについて説明する。図示するように、本実施の形態にかかる再生評価装置１は、通常再生、早送り、巻き戻し、スロー再生、逆スロー再生、ポーズ、及びこれらを組み合わせた再生を評価することができる。一方、特許文献１のストリームデータ処理装置等では、早送り、巻き戻し、逆スロー再生を扱う評価を行うことはできない。
【００４１】
特徴抽出部１３は、復号されたデータから自動的に特徴値を抽出することができ、フレーム検索部１６は、上述の図５の処理フローに従って自動的に評価データを生成する。評価部１７は、評価データとシナリオデータを比較することにより再生評価を行うことができる。換言すると、ユーザはシナリオデータの作成のみを行えばよく、目視による再生評価、評価用のデータ取得を行う必要性がない。
【００４２】
＜実施の形態２＞
本実施の形態にかかる再生評価装置は、映像と音声の同期を評価することを特徴とする。本実施の形態にかかる再生評価装置について、実施の形態１と異なる点を図１１を参照して説明する。なお、同一名称、同一符号を付した処理部であって、以下に説明を行わない処理部は、概ね実施の形態１と同様の処理を行う。
【００４３】
図１１は、本実施の形態にかかる再生評価装置の構成を示すブロック図である。再生評価装置１は、図１の構成に加えて多重分離部２１と、同期制御部２２と、同期評価部２３を備える。なお、復号部１２、特徴抽出部１３、記憶媒体１４及び１５、及びフレーム検索部１６は、音声を扱う処理部（１２−１、１３−１、１４−１、１５−１、１６−１）と映像を扱う処理部（１２−２、１３−２、１４−２、１５−２、１６−２）が備えられている。また、ユーザは、映像及び音声のシナリオデータを作成して、再生評価装置１に入力する。
【００４４】
再生制御部１１は、多重分離部２１、復号部（１２−１、１２−２）、同期制御部２２の制御を行う。再生制御部１１は、通常再生時の制御、またはトリックプレイを含む評価用再生を行う場合に各種制御を行う。再生制御部１１は、評価用再生を行う際に、音声用及び映像用のシナリオデータを復号部（１２−１、１２−２）に供給する。
【００４５】
多重分離部２１は、入力されたストリームデータを音声ストリームと、映像ストリームに分離する処理部である。多重分離部２１は、音声ストリームを音声復号部１２−１、映像ストリームを映像復号部１２−２に供給する。同期制御部２２は、再生制御部１１の制御に応じて、復号部（１２−１、１２−２）の制御を行う。
【００４６】
復号部１２、特徴抽出部１３、フレーム検索部１６は、実施の形態１と略同一の処理を行う。
【００４７】
同期評価部２３は、フレーム検索部１６−１及び１６−２から上述の評価データが供給され、これらから映像と音声の同期を評価する。同期評価部２３の構成、及び同期評価の手法は、後述する。本実施の形態にかかる同期評価部２３の構成を図１２に示す。同期評価部２３は、正規化部２３１と、判定部２３２と、を備える。
【００４８】
正規化部２３１は、入力された評価データの正規化、すなわち、映像にかかる評価データと音声にかかる評価データの時間間隔をそろえる処理部である。一般に、映像を符号化したフレームと、音声を符号化したフレームと、の時間間隔は異なる。そのため、両評価データの再生時刻の間隔が異なる場合が多い。正規化部２３１は、当該時間間隔を同一にする。正規化部２３１の処理を図１３を参照して説明する。
【００４９】
図１３は、正規化処理の流れを示すフローチャートである。正規化部２３１は、所望の時間間隔をｄとし、変数ｎを０とする。正規化部２３１は、映像にかかる評価データと音声にかかる評価データのいずれか一方を入力データとする。正規化部２３１は、正規化後の時刻ｔ（ｔ＝ｄ＊ｎ）をｔｅ（入力データの末尾の再生時刻）と比較する（Ｓ３１）。入力データの末尾に到達した場合（Ｓ３１：Ｙｅｓ）、正規化部２３１は処理を終了する。
【００５０】
入力データの末尾に到達していない場合（Ｓ３１：Ｎｏ）、正規化部２３１は、入力データ（例えば映像にかかる評価データ）内の再生時刻の情報にｔと等しい値があるかを検索する（Ｓ３２）。
【００５１】
ｔと等しい値が存在する場合（Ｓ３３：Ｙｅｓ）、正規化部２３１は、この等しい値に対応する再生位置を正規化後の再生時刻ｔの再生位置に決定する（Ｓ３４）。ｔと等しい値が存在しない場合（Ｓ３３：Ｎｏ）、正規化部２３１は、入力データから再生時刻ｔに近い２つの時刻情報ｔ０及びｔ１を抽出する。正規化部２３１は、当該時刻情報ｔ０及びｔ１に対応する特徴値を記憶媒体１４または１５から読み出す。正規化部２３１は、ｔ０、ｔ１に対応する特徴値がミュートまたは復号化が失敗であったことを示す値か否かを判定する（Ｓ３５）。
【００５２】
特徴値がミュートや復号化の失敗ではなかった場合（Ｓ３５：Ｎｏ）、正規化部２３１は、以下の式から再生時刻ｔにおける再生位置を決定する。なお、Ｐ０をｔ０における再生位置、Ｐ１をｔ１における再生位置とする（Ｓ３６）。
Ｐ＝Ｐ０＋（Ｐ１−Ｐ０）／（ｔ１−ｔ０）＊（ｔ−ｔ０）
【００５３】
特徴値がミュートや復号化の失敗であった場合（Ｓ３５：Ｙｅｓ）、正規化部２３１は、再生時刻ｔにおける再生位置をミュートまたは復号化失敗が示す値とする（Ｓ３７）。
【００５４】
Ｓ３４、Ｓ３６、Ｓ３７のいずれかの処理の終了後に、正規化部２３１はｎの値を１増加させ（Ｓ３８）、Ｓ３１から処理を繰り返す。なお、映像にかかる評価データの正規化を行う場合には、ミュートに関する処理は実行されない。
【００５５】
図１２の説明に戻る。判定部２３２には、正規化処理の終わった映像及び音声の評価データが入力される。判定部２３２は、映像の評価データと、音声の評価データと、の同一再生時刻における再生位置の差分を算出する。判定部２３２は、算出した各再生時刻での差分と、所定の閾値Ｅ（例えば２ｓ）と、を比較する。判定部２３２は、所定の閾値Ｅよりも大きい差分がある場合には、音声と映像が正しく同期していないと判定する。図１４は、判定部２３２による判定処理の具体例を示す概念図である。図示するように、判定部２３２は、算出した各再生時刻での差分と、所定の閾値Ｅ（例えば２ｓ）と、を比較し、例えば再生時刻４８ｓに差分が閾値以上になっているため同期ずれが生じていると判定する。
【００５６】
なお、再生位置にミュート等の情報が代入されている場合、判定部２３２は正しく差分をとれない。この場合、例えば図１５に示すように判定を行う。すなわち、判定部２３２は、再生位置にミュートが設定されている場合、自動的に判定が成功とする。判定部２３２は、再生位置に復号化の失敗が設定されている場合、自動的に判定が失敗とする。
【００５７】
続いて本実施の形態にかかる再生評価装置の効果について説明する。上述のように、特徴抽出部１３は、トリックプレイを含むシナリオデータに基づいて、映像及び音声の特徴値の抽出を行っている。再生評価装置は、この特徴値を基に音声と映像の同期判定を行っているため、トリックプレイを含む複雑な再生の同期判定を適切に行うことができる。
【００５８】
なお、上述の例では、映像と音声の同期判定を行ったが、映像と字幕、音声と字幕、主音声と副音声、ピクチャーインピクチャー再生における第１の映像と第２の映像、等の同期判定を行っても良い。
【００５９】
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
【符号の説明】
【００６０】
１ 再生評価装置
１１ 再生制御部
１２ 復号部
１３ 特徴抽出部
１４ 記憶媒体
１５ 記憶媒体
１６ フレーム検索部
１７ 評価部
２１ 多重分離部
２２ 同期制御部
２３ 同期評価部
２３１ 正規化部
２３２ 判定部
【技術分野】
【０００１】
本発明は再生評価装置、及びストリームデータ処理方法に関する。
【背景技術】
【０００２】
動画を復号化する装置（例えばデジタルテレビ、ポータブルＡＶプレーヤー等）において、再生時に所望の動画が閲覧できているかを評価する必要がある。ここで、評価の際に、トリックプレイ（早送り、巻き戻し、逆スロー）をも考慮した評価を行えることが望ましい。
【０００３】
特許文献１には、通常再生時に映像及び音声を同期させる技術が開示されている。すなわち、映像と音声が所望のタイミングで再生されているかを評価（照合）することができる。特許文献１にかかるストリームデータ処理装置は、同期制御を無効にした状態でストリームデータをデコードした非同期データを１フレーム単位でデータ圧縮して期待値データとする。続いて、当該ストリームデータ処理装置は、同期制御を有効にし、ストリームデータをデコードした同期データを期待値データと照合する。
【０００４】
当該照合処理を概略すると、ストリームデータ処理装置は、取得した評価データを期待値と１フレームごとに先頭から順に照合して、一致しなかった場合は期待値を１フレーム分前後にずらして再照合する処理を繰り返す。これにより、映像と音声が所望のタイミングで再生されているかを評価（照合）する。
【０００５】
図１６は、当該ストリームデータ処理装置による照合処理を示すフローチャートである。ストリームデータ処理装置は、期待値データをメモリ上に展開し、１フレーム毎に圧縮データを取得する。取得した圧縮データと期待値データを比較し、一致しない場合にはＳＴＣ値とＰＴＳ値を読み出して比較する。この比較結果に応じて再度の照合処理を行う。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−２７９０１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１及び関連する技術ではトリックプレイ（早送り、巻き戻し、逆スロー等）を組み合わせた複雑な再生を適切に評価できないという問題があった。以下に、当該問題の詳細を説明する。
【０００８】
特許文献１にかかるストリームデータ処理装置は、前述のように照合処理が不一致の際に期待値を１フレーム分前後にずらして再照合を行う。そのため、当該ストリームデータ処理装置は、早送りや巻き戻しを行った際に生じるフレームスキップ（１フレームを超えるフレームの変化）に対応できないという問題がある。
【０００９】
早送りの評価に当該ストリームデータ処理装置を応用した例を説明する。ここで、期待値として図１７に示すデータを用いる。また、早送りの再生により取得したデータを図１８に示す。図１８に示すように、早送り処理により２フレームのスキップが生じている。
【００１０】
初めに、圧縮データ（ａ）と、期待値データ（ａ）を読み込み、これらの一致判定を行う。この場合、一致するため正常に同期していると判定する。続いて、圧縮データ（ｄ）と、期待値データ（ｂ）と、を読み込む。この場合、圧縮データと期待値データは異なるため、評価データ（図１８）からＳＴＣ値（３）、期待値データ（図１７）からＰＴＳ値（１）を読み出す。ここで、ＳＴＣ値が２フレームだけ早いため、図１６のＳＴ４１０のいずれの分岐条件にも当てはまらず、評価を行うことができない。
【００１１】
同様に巻き戻しの評価に当該ストリームデータ処理装置を応用した例を説明する。巻き戻しの再生により取得したデータを図１９に示す。なお、図１９に示すように巻き戻しであるため、ＳＴＣ値と圧縮データは逆方向に進んでいる。期待値データは、早送りの評価と同様に図１７のデータを用いる。
【００１２】
初めに、圧縮データ（ｍ）と、期待値データ（ａ）を読み込み、これらの一致判定を行う場合、圧縮データと期待値データは異なるため、評価データ（図１９）からＳＴＣ値（１２）、期待値データ（図１７）からＰＴＳ値（０）を読み出す。ＳＴＣ値が１２フレーム早いため、図１６のＳＴ４１０のいずれの分岐条件にも当てはまらず、評価を行うことができない。
【００１３】
特許文献１に記載のストリーム処理装置は、逆スロー再生も同様に評価を行うことができない。以上のように、特許文献１に記載のストリーム処理装置では、トリックプレイを含む再生の評価を行うことができない。
【００１４】
トリックプレイを組み合わせた複雑な再生を行う場合、ユーザが目視確認により評価する必要性がある。しかしながら、ユーザによる目視確認は、ユーザの手間がかかる上に、精度の高い評価ができない。
【課題を解決するための手段】
【００１５】
本発明にかかる再生評価装置の一態様は、
ストリームデータの再生評価を行う再生評価装置であって、
前記ストリームデータに含まれる第１データに対し、通常再生にかかる復号を行った第１復号データを生成するとともに、トリックプレイを含む評価用再生をした場合の再生時刻と再生位置を関連付けた第１シナリオデータに従った復号を行った第２復号データを生成する復号部と、
前記第１復号データから再生位置と特徴値とを関連付けた第１通常再生情報を生成するとともに、前記第２復号データから再生時刻と特徴値とを関連付けた第１評価再生情報を生成する特徴抽出部と、
特徴値同士の比較判定から、前記第１通常再生情報の再生位置と、前記第１評価再生情報の再生時刻と、を含む第１評価データを生成するフレーム検索部と、
前記第１シナリオデータ、及び前記第１評価データに基づいて前記評価用再生の評価を行う評価部と、を備える、ものである。
【００１６】
本発明にかかるストリームデータ処理方法の一態様は、
ストリームデータに含まれる第１データに対し、通常再生にかかる復号を行った第１復号データを生成するとともに、トリックプレイを含む評価用再生をした場合の再生時刻と再生位置を関連付けた第１シナリオデータに従った復号を行った第２復号データを生成し、
前記第１復号データから再生位置と特徴値とを関連付けた第１通常再生情報を生成し、
前記第２復号データから再生時刻と特徴値とを関連付けた第１評価再生情報を生成し、
前記第１シナリオデータ、前記第１通常再生情報、及び前記第１評価再生情報に基づいて前記評価用再生の評価を行う、ものである。
【００１７】
本発明では、再生評価装置は、トリックプレイを含む評価用再生を行った場合の理想値であるシナリオデータと、実際の動作データを照合することにより、再生評価を行っている。このように、再生評価装置は、トリックプレイを考慮したシナリオデータを基に評価を行うため、さまざまな種類の再生に対応した評価を適切に行うことができる。
【発明の効果】
【００１８】
本発明によれば、トリックプレイ（早送り、巻き戻し、逆スロー等）を組み合わせた複雑な再生を適切に評価できる再生評価装置、及び再生評価方法を提供することができる。
【図面の簡単な説明】
【００１９】
【図１】実施の形態１にかかる再生評価装置の構成を示すブロック図である。
【図２】実施の形態１にかかるシナリオデータを示す図である。
【図３】実施の形態１にかかる通常再生情報を示す図である。
【図４】実施の形態１にかかる評価再生情報を示す図である。
【図５】実施の形態１にかかるフレーム検索部の処理を示すフローチャートである。
【図６】実施の形態１にかかるフレーム検索部の動作概念を示す図である。
【図７】実施の形態１にかかる評価データを示す図である。
【図８】実施の形態１にかかる評価部による評価を示す図である。
【図９】実施の形態１にかかる再生評価装置の動作を示すフローチャートである。
【図１０】実施の形態１にかかる再生評価装置の評価対象を示す図である。
【図１１】実施の形態２にかかる再生評価装置の構成を示すブロック図である。
【図１２】実施の形態２にかかる評価部の構成を示すブロック図である。
【図１３】実施の形態２にかかる正規化部の処理を示すフローチャートである。
【図１４】実施の形態２にかかる評価部による評価を示す図である。
【図１５】実施の形態２にかかる評価部による評価を示す図である。
【図１６】特許文献１にかかるストリームデータ処理装置の動作を示すフローチャートである。
【図１７】特許文献１にかかるストリームデータ処理装置が用いる理想値を示す図である。
【図１８】特許文献１にかかるストリームデータ処理装置における評価データである。
【図１９】特許文献１にかかるストリームデータ処理装置における評価データである。
【発明を実施するための形態】
【００２０】
＜実施の形態１＞
以下、図面を参照して本発明の実施の形態について説明する。図１は、本実施の形態にかかる再生評価装置の構成を示すブロック図である。再生評価装置１は、再生制御部１１と、復号部１２と、特徴抽出部１３と、記憶媒体１４と、記憶媒体１５と、フレーム検索部１６と、評価部１７と、を備える。再生評価装置１の一例として、デジタルテレビ受像機、ブルーレイディスク（登録商標）プレーヤー、ポータブルオーディオビジュアルプレーヤーが挙げられる。
【００２１】
再生制御部１１は、復号部１２の復号処理を制御する処理部である。通常再生を行う場合、再生制御部１１は、通常再生時の復号データを生成するように復号部１２を制御する。トリックプレイを含む評価用の再生を行う場合、再生制御部１１は、外部から入力されたシナリオデータが示す再生タイミングと合致するように復号部１２を制御する。
【００２２】
シナリオデータとは、トリックプレイを含む再生を行った場合の経過時刻と、再生位置（先頭からの再生位置を示す時間情報）と、をテーブルの形式にした情報である。図２にシナリオデータの一例を示す。
【００２３】
例えば、評価用の再生を行ってから３０ｓ後には、通常再生時の２５ｓ経過時のデータが再生されるべきことを示している。図２の例では、評価用の再生を行ってから４５ｓ〜６５ｓ時には、早送り再生を行うことが規定されている。このように、シナリオデータは、一定時間間隔毎（図２では５ｓ）の経過時刻と、当該経過時刻の際に表示されるべき再生位置と、を対にした情報である。
【００２４】
復号部１２は、再生制御部１１の制御に応じて入力されたストリームデータを復号化し、復号化した復号データを特徴抽出部１３に供給する。復号データとして、映像データまたは音声データが挙げられる。以下の説明では、音声データを例に説明を行う。
【００２５】
特徴値抽出部１３は、通常再生時の各経過時間のフレームの特徴値を抽出し、抽出した特徴値を記憶媒体１４に格納する。特徴値は、フレームの特性を認識できるものであれば特にその形式や抽出方法は問わない。特徴値には、ミュートを示す値も含まれる。記憶媒体１４に格納されるデータの例を図３に示す。なお、この通常再生時の特徴値と再生時間を対にした情報を、通常再生情報と呼称する。
【００２６】
さらに、特徴値抽出部１３は、シナリオデータに沿って再生した場合の各経過時間のフレームの特徴値を抽出し、抽出した特徴値を記憶媒体１５に格納する。記憶媒体１５に格納されるデータの例を図４に示す。なお、この評価再生時の再生時刻と特徴値とを対にした情報を、評価再生情報と呼称する。
【００２７】
フレーム検索部１６は、上述の通常再生情報（図３）と、評価再生情報（図４）から、後述の評価部１７が用いる評価用の評価データを生成する処理部である。フレーム検索部１６の処理を図５のフローチャート、及び図６の動作概念図を参照して説明する。
【００２８】
フレーム検索部１６は、予め記憶媒体１４及び１５から通常再生情報、評価再生情報を読み出しておく。フレーム検索部１６は、評価再生情報（図４）のデータ列を読み出し、当該データ列の特徴値を読み出す（Ｓ１１）。フレーム検索部１６は、データ末尾である場合には処理を終了する（Ｓ１２：Ｙｅｓ）。
【００２９】
フレーム検索部１６は、通常再生情報（図3）から特徴値を全て読み出す（Ｓ１３）。フレーム検索部１６は、Ｓ１１にて読み出した特徴値が、通常再生情報（図3）に存在するか否かを判定する（Ｓ１４）。
【００３０】
特徴値が存在する場合（Ｓ１４：Ｙｅｓ）、フレーム検索部１６は、評価再生情報の再生時刻と、検索された通常再生情報のデータ列の再生位置と、を抽出して評価データのデータ列とする（Ｓ１５）。例えば、図６の例では、フレーム検索部１６は、評価再生情報の１行目の再生時刻と、通常再生情報の１行目と、から評価データの１行目を生成している。同様に、フレーム検索部１６は、評価再生情報の８行目の再生時刻と、通常再生情報の６行目と、から評価データの８行目を生成している。
【００３１】
特徴値が存在しない場合（Ｓ１４：Ｎｏ）、フレーム検索部１６は、Ｓ１１にて読み出した特徴値がミュートを示すものであるか否かを判定する（Ｓ１６）。特徴値がミュートである場合（Ｓ１６：Ｙｅｓ）、フレーム検索部１６は、評価データの再生位置にミュートを示す特徴値を代入する（Ｓ１７）。特徴値がミュートではない場合（Ｓ１６：Ｎｏ）、フレーム検索部１６は、評価データの再生位置に復号結果がＮＧであった旨を代入する（Ｓ１８）。
【００３２】
なお、図５の処理フローでは、ミュートに関する判定を行ったが、映像データを扱う場合には当該判定は不要である。すなわち、Ｓ１６及びＳ１７の処理が不要となる。
【００３３】
フレーム検索部１６が、図３に示す通常再生情報と、図４に示す評価再生情報と、から生成した評価データを図７に示す。フレーム検索部１６は、生成した評価データを評価部１７に供給する。
【００３４】
図１の説明に戻る。評価部１７は、フレーム検索部１６が生成した評価データと、シナリオデータと、から評価再生時の動作が所望の動作であるか否かを評価する処理部である。評価部１７は、評価結果を任意の表示装置等に出力する。
【００３５】
評価部１７による評価方法を図８の概念図を参照して説明する。評価部１７は、シナリオデータと、評価データと、の同一再生時刻における再生位置の差分を算出する。例えば、評価部１７は、再生時刻５ｓの再生位置が互いに５ｓであるため、差分を０と算出する。同様に、評価部１７は、再生時刻５５ｓの再生位置は４５ｓと５０ｓであるため、差分を５と算出する。
【００３６】
評価部１７は、算出した各再生時刻での差分と、所定の閾値Ｅ（例えば２ｓ）と、を比較する。評価部１７は、所定の閾値Ｅよりも大きい差分がある場合には、評価再生時の動作が所望の動作ではないと判定する。
【００３７】
次に、図９のフローチャートを参照して、本実施の形態にかかる再生評価装置の動作について改めて説明する。ユーザは、トリックプレイを含む再生の評価を行うためのシナリオデータを作成し、作成したシナリオデータをストリーム処理装置１に入力する（Ｓ２１）。
【００３８】
特徴抽出部１３は、通常再生情報を生成する（Ｓ２２）。同様に、特徴抽出部１３は、評価再生情報を生成する（Ｓ２３）。フレーム検索部１６は、通常再生情報と、評価再生情報と、から評価データを生成する（Ｓ２４）。評価部１７は、フレーム検索部１６が生成した評価データと、シナリオデータと、から評価再生時の動作が所望の動作であるか否かを評価する（Ｓ２５）。
【００３９】
続いて、本実施の形態にかかる再生評価装置の効果について説明する。再生評価装置は、トリックプレイを含む評価用再生を行った場合の理想値であるシナリオデータと、実際の動作データを照合することにより、再生評価を行っている。このように、再生評価装置は、トリックプレイを考慮したシナリオデータを基に評価を行うため、適切にさまざまな種類の再生に対応した評価を行うことができる。
【００４０】
ここで、図１０を参照して本実施の形態にかかる再生評価装置１が評価対象とするトリックプレイについて説明する。図示するように、本実施の形態にかかる再生評価装置１は、通常再生、早送り、巻き戻し、スロー再生、逆スロー再生、ポーズ、及びこれらを組み合わせた再生を評価することができる。一方、特許文献１のストリームデータ処理装置等では、早送り、巻き戻し、逆スロー再生を扱う評価を行うことはできない。
【００４１】
特徴抽出部１３は、復号されたデータから自動的に特徴値を抽出することができ、フレーム検索部１６は、上述の図５の処理フローに従って自動的に評価データを生成する。評価部１７は、評価データとシナリオデータを比較することにより再生評価を行うことができる。換言すると、ユーザはシナリオデータの作成のみを行えばよく、目視による再生評価、評価用のデータ取得を行う必要性がない。
【００４２】
＜実施の形態２＞
本実施の形態にかかる再生評価装置は、映像と音声の同期を評価することを特徴とする。本実施の形態にかかる再生評価装置について、実施の形態１と異なる点を図１１を参照して説明する。なお、同一名称、同一符号を付した処理部であって、以下に説明を行わない処理部は、概ね実施の形態１と同様の処理を行う。
【００４３】
図１１は、本実施の形態にかかる再生評価装置の構成を示すブロック図である。再生評価装置１は、図１の構成に加えて多重分離部２１と、同期制御部２２と、同期評価部２３を備える。なお、復号部１２、特徴抽出部１３、記憶媒体１４及び１５、及びフレーム検索部１６は、音声を扱う処理部（１２−１、１３−１、１４−１、１５−１、１６−１）と映像を扱う処理部（１２−２、１３−２、１４−２、１５−２、１６−２）が備えられている。また、ユーザは、映像及び音声のシナリオデータを作成して、再生評価装置１に入力する。
【００４４】
再生制御部１１は、多重分離部２１、復号部（１２−１、１２−２）、同期制御部２２の制御を行う。再生制御部１１は、通常再生時の制御、またはトリックプレイを含む評価用再生を行う場合に各種制御を行う。再生制御部１１は、評価用再生を行う際に、音声用及び映像用のシナリオデータを復号部（１２−１、１２−２）に供給する。
【００４５】
多重分離部２１は、入力されたストリームデータを音声ストリームと、映像ストリームに分離する処理部である。多重分離部２１は、音声ストリームを音声復号部１２−１、映像ストリームを映像復号部１２−２に供給する。同期制御部２２は、再生制御部１１の制御に応じて、復号部（１２−１、１２−２）の制御を行う。
【００４６】
復号部１２、特徴抽出部１３、フレーム検索部１６は、実施の形態１と略同一の処理を行う。
【００４７】
同期評価部２３は、フレーム検索部１６−１及び１６−２から上述の評価データが供給され、これらから映像と音声の同期を評価する。同期評価部２３の構成、及び同期評価の手法は、後述する。本実施の形態にかかる同期評価部２３の構成を図１２に示す。同期評価部２３は、正規化部２３１と、判定部２３２と、を備える。
【００４８】
正規化部２３１は、入力された評価データの正規化、すなわち、映像にかかる評価データと音声にかかる評価データの時間間隔をそろえる処理部である。一般に、映像を符号化したフレームと、音声を符号化したフレームと、の時間間隔は異なる。そのため、両評価データの再生時刻の間隔が異なる場合が多い。正規化部２３１は、当該時間間隔を同一にする。正規化部２３１の処理を図１３を参照して説明する。
【００４９】
図１３は、正規化処理の流れを示すフローチャートである。正規化部２３１は、所望の時間間隔をｄとし、変数ｎを０とする。正規化部２３１は、映像にかかる評価データと音声にかかる評価データのいずれか一方を入力データとする。正規化部２３１は、正規化後の時刻ｔ（ｔ＝ｄ＊ｎ）をｔｅ（入力データの末尾の再生時刻）と比較する（Ｓ３１）。入力データの末尾に到達した場合（Ｓ３１：Ｙｅｓ）、正規化部２３１は処理を終了する。
【００５０】
入力データの末尾に到達していない場合（Ｓ３１：Ｎｏ）、正規化部２３１は、入力データ（例えば映像にかかる評価データ）内の再生時刻の情報にｔと等しい値があるかを検索する（Ｓ３２）。
【００５１】
ｔと等しい値が存在する場合（Ｓ３３：Ｙｅｓ）、正規化部２３１は、この等しい値に対応する再生位置を正規化後の再生時刻ｔの再生位置に決定する（Ｓ３４）。ｔと等しい値が存在しない場合（Ｓ３３：Ｎｏ）、正規化部２３１は、入力データから再生時刻ｔに近い２つの時刻情報ｔ０及びｔ１を抽出する。正規化部２３１は、当該時刻情報ｔ０及びｔ１に対応する特徴値を記憶媒体１４または１５から読み出す。正規化部２３１は、ｔ０、ｔ１に対応する特徴値がミュートまたは復号化が失敗であったことを示す値か否かを判定する（Ｓ３５）。
【００５２】
特徴値がミュートや復号化の失敗ではなかった場合（Ｓ３５：Ｎｏ）、正規化部２３１は、以下の式から再生時刻ｔにおける再生位置を決定する。なお、Ｐ０をｔ０における再生位置、Ｐ１をｔ１における再生位置とする（Ｓ３６）。
Ｐ＝Ｐ０＋（Ｐ１−Ｐ０）／（ｔ１−ｔ０）＊（ｔ−ｔ０）
【００５３】
特徴値がミュートや復号化の失敗であった場合（Ｓ３５：Ｙｅｓ）、正規化部２３１は、再生時刻ｔにおける再生位置をミュートまたは復号化失敗が示す値とする（Ｓ３７）。
【００５４】
Ｓ３４、Ｓ３６、Ｓ３７のいずれかの処理の終了後に、正規化部２３１はｎの値を１増加させ（Ｓ３８）、Ｓ３１から処理を繰り返す。なお、映像にかかる評価データの正規化を行う場合には、ミュートに関する処理は実行されない。
【００５５】
図１２の説明に戻る。判定部２３２には、正規化処理の終わった映像及び音声の評価データが入力される。判定部２３２は、映像の評価データと、音声の評価データと、の同一再生時刻における再生位置の差分を算出する。判定部２３２は、算出した各再生時刻での差分と、所定の閾値Ｅ（例えば２ｓ）と、を比較する。判定部２３２は、所定の閾値Ｅよりも大きい差分がある場合には、音声と映像が正しく同期していないと判定する。図１４は、判定部２３２による判定処理の具体例を示す概念図である。図示するように、判定部２３２は、算出した各再生時刻での差分と、所定の閾値Ｅ（例えば２ｓ）と、を比較し、例えば再生時刻４８ｓに差分が閾値以上になっているため同期ずれが生じていると判定する。
【００５６】
なお、再生位置にミュート等の情報が代入されている場合、判定部２３２は正しく差分をとれない。この場合、例えば図１５に示すように判定を行う。すなわち、判定部２３２は、再生位置にミュートが設定されている場合、自動的に判定が成功とする。判定部２３２は、再生位置に復号化の失敗が設定されている場合、自動的に判定が失敗とする。
【００５７】
続いて本実施の形態にかかる再生評価装置の効果について説明する。上述のように、特徴抽出部１３は、トリックプレイを含むシナリオデータに基づいて、映像及び音声の特徴値の抽出を行っている。再生評価装置は、この特徴値を基に音声と映像の同期判定を行っているため、トリックプレイを含む複雑な再生の同期判定を適切に行うことができる。
【００５８】
なお、上述の例では、映像と音声の同期判定を行ったが、映像と字幕、音声と字幕、主音声と副音声、ピクチャーインピクチャー再生における第１の映像と第２の映像、等の同期判定を行っても良い。
【００５９】
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
【符号の説明】
【００６０】
１ 再生評価装置
１１ 再生制御部
１２ 復号部
１３ 特徴抽出部
１４ 記憶媒体
１５ 記憶媒体
１６ フレーム検索部
１７ 評価部
２１ 多重分離部
２２ 同期制御部
２３ 同期評価部
２３１ 正規化部
２３２ 判定部
【特許請求の範囲】
【請求項１】
ストリームデータの再生評価を行う再生評価装置であって、
前記ストリームデータに含まれる第１データに対し、通常再生にかかる復号を行った第１復号データを生成するとともに、トリックプレイを含む評価用再生をした場合の再生時刻と再生位置を関連付けた第１シナリオデータに従った復号を行った第２復号データを生成する復号部と、
前記第１復号データから再生位置と特徴値とを関連付けた第１通常再生情報を生成するとともに、前記第２復号データから再生時刻と特徴値とを関連付けた第１評価再生情報を生成する特徴抽出部と、
特徴値同士の比較判定から、前記第１通常再生情報の再生位置と、前記第１評価再生情報の再生時刻と、を含む第１評価データを生成するフレーム検索部と、
前記第１シナリオデータ、及び前記第１評価データに基づいて前記評価用再生の評価を行う評価部と、を備える再生評価装置。
【請求項２】
前記評価部は、同一再生時刻における、前記第１評価データの再生位置と、前記シナリオデータの再生位置と、にずれが生じているか否かに基づいて前記評価を行うことを特徴とする請求項１に記載の再生評価装置。
【請求項３】
前記評価部は、同一再生時刻における、前記第１評価データの再生位置と、前記第１シナリオデータの再生位置と、の差分を抽出し、当該差分が所定閾値を超えている場合に所望のデータ再生がなされていないと評価することを特徴とする請求項１または請求項２に記載の再生評価装置。
【請求項４】
同期評価部を更に備え、
前記復号部は、前記ストリームデータに含まれる第２データに対し、通常再生にかかる復号を行った第３復号データを生成するとともに、トリックプレイを含む評価用再生をした場合の再生時刻と再生位置を関連付けた第２シナリオデータに従った復号を行った第４復号データを生成し、
前記特徴抽出部は、前記第３復号データから再生位置と特徴値とを関連付けた第２通常再生情報を生成するとともに、前記第４復号データから再生時刻と特徴値とを関連付けた第２評価再生情報を生成し、
前記フレーム検索部は、特徴値同士の比較判定から、前記第２通常再生情報の再生位置と、前記第２評価再生情報の再生時刻と、を含む第２評価データを生成し、
前記同期評価部は、前記第１及び前記第２評価データに基づいて、前記第１データと前記第２データが同期しているか否かを評価する、ことを特徴とする請求項１乃至３のいずれかに記載の再生評価装置。
【請求項５】
前記同期評価部は、前記第１及び第２評価データの正規化処理を行った後に、前記第１評価データの再生位置と、前記第２評価データの再生位置と、の差分を抽出し、当該差分が所定閾値を超えている場合に前記第１データと前記第２データが同期していないと評価することを特徴とする請求項４に記載の再生評価装置。
【請求項６】
前記第１データ及び前記第２データは、音声データ、映像データ、字幕データのいずれかであることを特徴とする請求項４または請求項５に記載の再生評価装置。
【請求項７】
前記トリックプレイは、早送り、巻き戻し、及び逆スロー再生の少なくとも１つを含むことを特徴とする請求項１乃至６のいずれかに記載の再生評価装置。
【請求項８】
ストリームデータに含まれる第１データに対し、通常再生にかかる復号を行った第１復号データを生成するとともに、トリックプレイを含む評価用再生をした場合の再生時刻と再生位置を関連付けた第１シナリオデータに従った復号を行った第２復号データを生成し、
前記第１復号データから再生位置と特徴値とを関連付けた第１通常再生情報を生成し、
前記第２復号データから再生時刻と特徴値とを関連付けた第１評価再生情報を生成し、
前記第１シナリオデータ、前記第１通常再生情報、及び前記第１評価再生情報に基づいて前記評価用再生の評価を行う、再生評価方法。
【請求項１】
ストリームデータの再生評価を行う再生評価装置であって、
前記ストリームデータに含まれる第１データに対し、通常再生にかかる復号を行った第１復号データを生成するとともに、トリックプレイを含む評価用再生をした場合の再生時刻と再生位置を関連付けた第１シナリオデータに従った復号を行った第２復号データを生成する復号部と、
前記第１復号データから再生位置と特徴値とを関連付けた第１通常再生情報を生成するとともに、前記第２復号データから再生時刻と特徴値とを関連付けた第１評価再生情報を生成する特徴抽出部と、
特徴値同士の比較判定から、前記第１通常再生情報の再生位置と、前記第１評価再生情報の再生時刻と、を含む第１評価データを生成するフレーム検索部と、
前記第１シナリオデータ、及び前記第１評価データに基づいて前記評価用再生の評価を行う評価部と、を備える再生評価装置。
【請求項２】
前記評価部は、同一再生時刻における、前記第１評価データの再生位置と、前記シナリオデータの再生位置と、にずれが生じているか否かに基づいて前記評価を行うことを特徴とする請求項１に記載の再生評価装置。
【請求項３】
前記評価部は、同一再生時刻における、前記第１評価データの再生位置と、前記第１シナリオデータの再生位置と、の差分を抽出し、当該差分が所定閾値を超えている場合に所望のデータ再生がなされていないと評価することを特徴とする請求項１または請求項２に記載の再生評価装置。
【請求項４】
同期評価部を更に備え、
前記復号部は、前記ストリームデータに含まれる第２データに対し、通常再生にかかる復号を行った第３復号データを生成するとともに、トリックプレイを含む評価用再生をした場合の再生時刻と再生位置を関連付けた第２シナリオデータに従った復号を行った第４復号データを生成し、
前記特徴抽出部は、前記第３復号データから再生位置と特徴値とを関連付けた第２通常再生情報を生成するとともに、前記第４復号データから再生時刻と特徴値とを関連付けた第２評価再生情報を生成し、
前記フレーム検索部は、特徴値同士の比較判定から、前記第２通常再生情報の再生位置と、前記第２評価再生情報の再生時刻と、を含む第２評価データを生成し、
前記同期評価部は、前記第１及び前記第２評価データに基づいて、前記第１データと前記第２データが同期しているか否かを評価する、ことを特徴とする請求項１乃至３のいずれかに記載の再生評価装置。
【請求項５】
前記同期評価部は、前記第１及び第２評価データの正規化処理を行った後に、前記第１評価データの再生位置と、前記第２評価データの再生位置と、の差分を抽出し、当該差分が所定閾値を超えている場合に前記第１データと前記第２データが同期していないと評価することを特徴とする請求項４に記載の再生評価装置。
【請求項６】
前記第１データ及び前記第２データは、音声データ、映像データ、字幕データのいずれかであることを特徴とする請求項４または請求項５に記載の再生評価装置。
【請求項７】
前記トリックプレイは、早送り、巻き戻し、及び逆スロー再生の少なくとも１つを含むことを特徴とする請求項１乃至６のいずれかに記載の再生評価装置。
【請求項８】
ストリームデータに含まれる第１データに対し、通常再生にかかる復号を行った第１復号データを生成するとともに、トリックプレイを含む評価用再生をした場合の再生時刻と再生位置を関連付けた第１シナリオデータに従った復号を行った第２復号データを生成し、
前記第１復号データから再生位置と特徴値とを関連付けた第１通常再生情報を生成し、
前記第２復号データから再生時刻と特徴値とを関連付けた第１評価再生情報を生成し、
前記第１シナリオデータ、前記第１通常再生情報、及び前記第１評価再生情報に基づいて前記評価用再生の評価を行う、再生評価方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２０１２−１９５８３９（Ｐ２０１２−１９５８３９Ａ）
【公開日】平成２４年１０月１１日（２０１２．１０．１１）
【国際特許分類】
【出願番号】特願２０１１−５９４４４（Ｐ２０１１−５９４４４）
【出願日】平成２３年３月１７日（２０１１．３．１７）
【出願人】（３０２０６２９３１）ルネサスエレクトロニクス株式会社 (8,021)
【Ｆターム（参考）】
【公開日】平成２４年１０月１１日（２０１２．１０．１１）
【国際特許分類】
【出願日】平成２３年３月１７日（２０１１．３．１７）
【出願人】（３０２０６２９３１）ルネサスエレクトロニクス株式会社 (8,021)
【Ｆターム（参考）】
[ Back to top ]