映像再生装置
【課題】映像上の任意の位置へシークすることができる映像再生装置において、ユーザの指示から画像の更新までに時間がかかるという課題がある。
【解決手段】映像再生装置５００は、ユーザが表示させたい映像上のある地点の画像を指定する表示位置指定部５０１と、映像ファイル５１１のインデックス情報を解釈するインデックス解釈部５０２と、そのインデックス情報に基づいて、指定位置の画像を表示するためにデコードが必要な画像を決定するデコード画像決定部５０３と、映像ファイル５１１から順次映像データを取得してデコードするデコード部５０４と、インデックス情報に基づいて、指定位置の画像の前に表示する画像を決定する表示画像決定部５０７と、表示画像決定部５０７で決定した画像を表示する表示部５０８を備える。
【解決手段】映像再生装置５００は、ユーザが表示させたい映像上のある地点の画像を指定する表示位置指定部５０１と、映像ファイル５１１のインデックス情報を解釈するインデックス解釈部５０２と、そのインデックス情報に基づいて、指定位置の画像を表示するためにデコードが必要な画像を決定するデコード画像決定部５０３と、映像ファイル５１１から順次映像データを取得してデコードするデコード部５０４と、インデックス情報に基づいて、指定位置の画像の前に表示する画像を決定する表示画像決定部５０７と、表示画像決定部５０７で決定した画像を表示する表示部５０８を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像を再生する映像再生装置に関する。
【背景技術】
【０００２】
従来、放送局の番組制作は、カメラレコーダを用いてテープに映像を記録し、テープを用いて編集やアーカイブを行っていた。近年、ＨＤＤやフラッシュメモリなどランダムアクセス可能な記録媒体に映像を記録するカメラレコーダが登場してきている。それにより、カメラレコーダで映像データをファイル形式で記録し、そのファイルをノンリニア編集機で編集するというスタイルが確立されてきている。
【０００３】
映像ファイルを記録媒体に記録する場合、容量の観点から映像信号を圧縮して記録することが一般的である。映像データの圧縮符号化方式の代表的な規格の１つとして、ＭＰＥＧ２（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ ２）規格が知られている。ＭＰＥＧ映像データは、何フレームかのデータをまとめたＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅ）と呼ばれる単位で構成される。
【０００４】
１つのＧＯＰには、予め定められた所定数の原画像をそれぞれ圧縮符号化して生成される画像データが含まれる。各画像データは、原画像の圧縮符号化方式によって、３つのピクチャタイプ、Ｉピクチャ（Ｉｎｔｒａ−ｃｏｄｅｄ ｐｉｃｔｕｒｅ）、Ｐピクチャ（Ｐｒｅｄｉｃｔｉｖｅ−ｃｏｄｅｄ ｐｉｃｔｕｒｅ）およびＢピクチャ（Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ ｐｒｅｄｉｃｔｉｖｅ−ｃｏｄｅｄ ｐｉｃｔｕｒｅ）に分類される。
【０００５】
Ｉピクチャは、イントラ符号化画像とも呼ばれ、原画像１枚の情報のみを用いて符号化される。したがって、Ｉピクチャは、前後の他の画像データピクチャとは独立性を保っており、Ｉピクチャ自身のみで復号することが可能である。
【０００６】
Ｐピクチャは、フレーム間順方向予測符号化画像とも呼ばれ、予測画像（差分を取る基準となる画像）として、時間的に前の既に復号されたＩピクチャまたはＰピクチャを使用するものであり、動き補償された予測画像との差分を符号化するものである。
【０００７】
Ｂピクチャは、双方向予測符号化画像とも呼ばれ、ＩピクチャおよびＰピクチャを先に処理した後に、その間に挿入される画像として符号化される。すなわち、Ｂピクチャは、予測画像として、時間的に前の既に復号されたＩピクチャまたはＰピクチャ、時間的に後の既に復号されたＩピクチャまたはＰピクチャ、ならびにこの両方から作られた補間画像の３種類を使用する。
【０００８】
ランダムアクセスメディアに記録されている映像を再生する映像再生装置には、映像上のある地点にマークをつけるという機能を有するものがある。この機能は、ユーザの指示によりマーク地点の画像を表示する（シークする）場合などに使用される。図１は、画像Ａを表示している時点で、ユーザがマーク位置Ｍにシークするという指示を行ったときに表示される画像データを示している。この場合、ＡからＭの間の画像は表示されず、Ａの次にＭが表される。
【０００９】
マーク地点ＭがＰピクチャまたはＢピクチャの場合、予測画像としてＩピクチャまたはＰピクチャのデコードが必要になる。図１のような再生をシームレスに行うためには、１つの画像を表示している時間に複数の画像をデコードする能力がデコーダに要求される。デコーダが１ピクチャをデコードするのに表示時間と同じ時間かかる（１倍速デコードの）場合、ユーザが指示してからマーク位置の画像のデコードが終わるまでの間の数百ミリ秒間、画像Ａが表示されたままで画像が更新されないことになる。この再生方法は、ユーザに違和感およびストレスを感じさせる。
【００１０】
特許文献１では、映像データの出力を指示してから実際に画像が表示されるまでの間に、デコードした時点ですぐに表示しない再生画像を先行画像として抽出して、先行画像がデコードされてから映像として最初に表示すべき再生画像のデコードが完了するまでの間、抽出した先行画像にぼかしなどのエフェクトを施して表示することにより、違和感の少ない画像を表示する画像処理装置が提案されている。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２００７−２０１８３１号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
しかしながら、特許文献１では、先行画像は時間軸上後ろに表示されるＩピクチャであり、時間軸上正しい順番で表示しているわけではない。特に、先行画像と表示画像の間にシーンの切れ目があったときには、ぼかすなどの処理を施しているとはいえ、違和感が出てしまうことは避けられない。
【００１３】
上記課題に鑑み本発明は、ユーザから指定位置へのシーク指示があったときに、画像の更新までの時間を短縮して応答性をあげることで、違和感のない再生を行う機構を提供することを目的とする。
【課題を解決するための手段】
【００１４】
本発明の映像再生装置は、映像ファイル中のある時点の画像を指定する表示位置指定部と、前記映像ファイルに関するインデックス情報を読み出すインデックス解釈部と、前記インデックス解釈部からの前記インデックス情報に基づいて、前記表示位置指定部で指定された画像を表示するためにデコードが必要な画像を決定するデコード画像決定部と、前記映像ファイルから映像データを読み込む映像読み込み部と、前記デコード画像決定部で決定した画像を、前記映像読み込み部から取得して順次デコードするデコード部と、前記デコード部でデコードした画像のうち、再生時の時間軸方向に応じて、表示する画像を決定する表示画像決定部と、前記表示画像決定部で決定した画像を表示する表示部と、を備える。
【発明の効果】
【００１５】
上記の構成により、映像再生装置は、再生中に指定位置の画像にシークする場合に、その画像をデコードするために必要な画像を表示することで、ユーザの指示から画面が更新されるまでの時間を短縮し、応答性をあげることができ、ユーザの違和感、不快感を軽減することができる。
【図面の簡単な説明】
【００１６】
【図１】マーク点に移動してから再生するときに表示される画像を示す図
【図２】ＭＸＦファイルフォーマットを示す図
【図３】ＭＰＥＧ映像の表示順と記録順を説明する図
【図４】ＭＸＦのインデックス情報を説明する図
【図５】実施の形態１における映像再生装置の構成を示すブロック図
【図６】ＭＸＦのインデックス情報に記録順を付加した図
【図７】実施の形態１における映像を再生する際のフローチャート
【図８】実施の形態１における正方向の再生時に表示される画像を示す図
【図９】実施の形態１における逆方向の再生時に表示される画像を示す図
【発明を実施するための形態】
【００１７】
（実施の形態１）
フレームごとのランダムアクセスを実現するために、フレームごとのインデックス情報を映像データと同一のファイル内に配置できるようなファイルフォーマットが提案されている。そのひとつにＭＸＦ（Ｍａｔｅｒｉａｌ Ｅｘｃｈａｎｇｅ Ｆｏｒｍａｔ、ＳＭＰＴＥ ３７７Ｍ）がある。ＭＸＦとは主にプロユースのデジタル映像や音声を扱うためのファイルフォーマットである。本実施の形態では、映像ファイルのファイルフォーマットとしてＭＸＦを例にとり、映像再生装置を説明する。
【００１８】
ＭＸＦはＫＬＶ（Ｋｅｙ−Ｌｅｎｇｔｈ−Ｖａｌｕｅ）と呼ぶデータ要素の集まりで構成されており、メタデータ、映像データなど、すべてのデータがＫＬＶ構造をとっている。ＫＬＶ構造とは、その先頭から、キー（Ｋｅｙ）、レングス（Ｌｅｎｇｔｈ）、バリュー（Ｖａｌｕｅ）が順次配置された構造であり、キーには、バリューに配置されるデータがどのようなデータであるかを表す、ＳＭＰＴＥ ２９８Ｍの規格に準拠した１６バイトのラベルが配置される。レングスには、バリューに配置されるデータのデータ長（８バイト）がＢＥＲ（Ｂａｓｉｃ Ｅｎｃｏｄｉｎｇ Ｒｕｌｅｓ：ＩＳＯ／ＩＥＣ８８２−１ ＡＳＮ）によって配置される。バリューには、実データが配置される。
【００１９】
図２にＭＸＦのファイルフォーマットを示す。先頭から、ファイルヘッダ（Ｆｉｌｅ Ｈｅａｄｅｒ）、ファイルボディ（Ｆｉｌｅ Ｂｏｄｙ）、ファイルフッタ（Ｆｉｌｅ Ｆｏｏｔｅｒ）が順次配置されて構成される。
【００２０】
ファイルヘッダは、その先頭から、ヘッダパーティションパック（Ｈｅａｄｅｒ Ｐａｒｔｉｔｉｏｎ Ｐａｃｋ）、およびヘッダメタデータ（Ｈｅａｄｅｒ Ｍｅｔａｄａｔａ）が順次配置されて構成される。ヘッダパーティションパックには、ヘッダを特定するためのパターンや、ファイルボディに配置されるデータの形式、ＭＸＦファイルフォーマットであることを表す情報およびヘッダサイズ情報などが配置される。
【００２１】
ファイルボディは、ボディパーティションパック（Ｂｏｄｙ Ｐａｒｔｉｔｉｏｎ Ｐａｃｋ）およびエッセンスコンテナ（Ｅｓｓｅｎｃｅ Ｃｏｎｔａｉｎｅｒ）が順次配置されて構成される。エッセンスコンテナには、画像データが配置されている。エッセンスコンテナもＫＬＶ構造であるため、キー、レングスの後にバリューとして画像データが配置される。
【００２２】
ファイルフッタには、フッタパーティションパック（Ｆｏｏｔｅｒ Ｐａｒｔｉｔｉｏｎ Ｐａｃｋ）およびインデックステーブル（Ｉｎｄｅｘ Ｔａｂｌｅ）が順次配置されて構成される。インデックステーブルには、画像データの位置を指し示すデータが格納されており、詳しくは図４にて後述する。
【００２３】
図３（ａ）は各画像の表示順番を表している。数字の部分が表示の順番、アルファベット（Ｉ、Ｂ、Ｐ）がピクチャタイプを示しており、Ｂ１、Ｂ２、Ｉ３、Ｂ４、Ｂ５、Ｐ６、・・・の順番に表示されることを示している。図３（ｂ）は図３（ａ）の映像がファイル上どのように格納されるかを示している。Ｂピクチャをデコードするためには、その予測画像であるＩピクチャまたはＰピクチャを事前にデコードしておく必要がある。そのため、ファイルの先頭から順次データを読み込んでデコードすることができるようにするために、表示の順番とは別の順番で画像を記録している。たとえば、Ｂ１はＩ３を用いてデコードされるため、Ｉ３、Ｂ１の順番でファイル上には記録される。よって、記録順としては、Ｉ３、Ｂ１、Ｂ２、Ｐ６、Ｂ４、Ｂ５、・・・となる。
【００２４】
図４はＭＸＦのインデックステーブルの詳細である。Ｔｅｍｐｏｒａｌ Ｏｆｆｓｅｔとは表示順から記録順への変換を表すものである。１フレーム目のフレームＢ１は、表示のフレーム番号１にＴｅｍｐｏｒａｌ Ｏｆｆｓｅｔの１を加算した２フレーム目のデータとしてファイルに格納されていることがわかる。同様にＩ３は、表示のフレーム番号３にＴｅｍｐｏｒａｌ Ｏｆｆｓｅｔの−２を加算した１フレーム目のデータとしてファイルに格納されていることがわかる。Ｋｅｙ−Ｆｒａｍｅ Ｏｆｆｓｅｔとは当該フレームをデコードするためにどのフレームからデコードする必要があるかを示す情報であり、通常Ｉピクチャを参照している。たとえば、Ｂ４をデコードするためには、表示のフレーム番号４からＫｅｙ−Ｆｒａｍｅ Ｏｆｆｓｅｔの−１を加算した３番目のフレーム（Ｉ３）からデコードする必要があることを示している。Ｆｌａｇｓとは先述のピクチャタイプである。Ｓｔｒｅａｍ Ｏｆｆｓｅｔはファイル上のどの位置にフレームが格納されているかを表す情報である。この情報は記録順フレーム番号に基づいて記録されている。たとえば、Ｂ４が格納されているバイトオフセットを求める場合、表示順のフレーム番号４にＴｅｍｐｏｒａｌ Ｏｆｆｓｅｔの１を加算した記録のフレーム番号として５を求め、５フレーム目のＳｔｒｅａｍ Ｏｆｆｓｅｔからバイトオフセット６８，０００バイトを求める。
【００２５】
本実施の形態の映像再生装置５００の構成を図５に示す。表示位置指定部５０１には、表示させたい映像上のある時点（図１のマーク点Ｍなど）がユーザにより入力される。インデックス解釈部５０２は、記録媒体５１０に記録されている映像ファイル５１１からインデックス情報を読み込み、図４に示すようなインデックステーブルを作成する。デコード画像決定部５０３は、表示位置指定部５０１で指定された画像を表示するために、インデックス解釈部５０２で解釈したインデックス情報に基づいて、デコードする画像を決定する。映像読み込み部５０６は、映像ファイル５１１から圧縮データを読み込む。デコード部５０４は、デコード画像決定部５０３でデコードすることが決定した画像を順次映像読み込み部５０６から取得後デコードし、非圧縮データをフレームメモリ５０５に格納する。表示画像決定部５０７は、インデックス解釈部５０２で解釈したインデックス情報に基づいて、デコード部５０４でデコードした画像のうちどの画像を表示位置指定部５０１で指定された画像の前に表示するかを決定する。表示部５０８は、表示画像決定部５０７で表示することが決定した画像を、デコード部５０４でデコードした非圧縮データが格納されているフレームメモリ５０５から読み込み、一定間隔で（ＮＴＳＣの場合１秒間に３０回）モニタに表示する。
【００２６】
表示位置指定部５０１に図３のＢ１６が指定された場合を例に取り、処理の流れを図７のフローチャートで説明する。表示位置指定部５０１で１６フレーム目が指定されると、インデックス解釈部５０２は、インデックス読み込み処理Ｓ７１にて、図４に示すインデックス情報を図２で示すＭＸＦ形式の映像ファイル５１１のインデックステーブルから取得する。
【００２７】
デコード画像決定部５０３は、キーフレーム算出処理Ｓ７２にて、フレーム番号１６にＫｅｙ−Ｆｒａｍｅ Ｏｆｆｓｅｔの−１３を加算して、キーフレームが３フレーム目であることを求める。デコード画像決定部５０３は、記録順算出処理Ｓ７３にて、フレーム番号にＴｅｍｐｏｒａｌ Ｏｆｆｓｅｔを加算し、図６の記録順のフレーム番号を求める。図６より、キーフレームは記録順で１番目、１６フレーム目は記録順で１７番目であることがわかる。デコード画像決定部５０３は、デコード画像算出処理Ｓ７４にて、キーフレームの記録順である１番目から、１６フレーム目の記録順である１７番目までのピクチャに存在するＩまたはＰピクチャを抜き出す。図６より、記録順で１、４、７、１０、１３、１６番目がＩまたはＰピクチャであることがわかるので、それに相当するＩ３、Ｐ６、Ｐ９、Ｐ１２、Ｐ１５、Ｉ１８がデコードに必要なピクチャと判断される。デコード画像決定部５０３は、表示画像候補算出処理Ｓ７５にて、デコード画像算出処理Ｓ７４でデコードが必要と判断した画像のうち、Ｂ１６より時間軸上前に表示される画像であるＩ３、Ｐ６、Ｐ９、Ｐ１２、Ｐ１５を表示候補とする。
【００２８】
デコード部５０４は、デコード処理Ｓ７６にて、デコード画像算出処理Ｓ７４でデコードが必要と判断した画像Ｉ３、Ｐ６、Ｐ９、Ｐ１２、Ｐ１５、Ｉ１８、Ｂ１６を順次デコードし、結果をフレームメモリ５０５に格納する。Ｉ３は記録順では１番目であるので、１番目のＳｔｒｅａｍ Ｏｆｆｓｅｔの０バイトから、２番目のＳｔｒｅａｍ Ｏｆｆｓｅｔの５０，０００バイトまでの５０，０００バイトのデータをファイルから読み込み、デコードを行った後、非圧縮のＩ３画像をフレームメモリ５０５に格納する。Ｐ６は記録順では４番目であるので、４番目のＳｔｒｅａｍ Ｏｆｆｓｅｔの５６，０００バイトから、５番目のＳｔｒｅａｍ Ｏｆｆｓｅｔの６８，０００バイトまでの１２，０００バイトのデータをファイルから読み込み、フレームメモリ５０５に格納されているＩ３のデータを用いてデコードし、非圧縮のＰ６画像をフレームメモリ５０５に格納する。Ｐ９、Ｐ１２、Ｐ１５、Ｉ１８にも同様の処理を行う。Ｂ１６は記録順では１７番目であるので、１７番目のＳｔｒｅａｍ Ｏｆｆｓｅｔの１８０，０００バイトから、１８番目のＳｔｒｅａｍ Ｏｆｆｓｅｔの１８３，０００バイトまでの３，０００バイトのデータをファイルから読み込み、フレームメモリ５０５に格納されているＰ１５およびＩ１８を用いてデコードし、非圧縮のＢ１６画像をフレームメモリ５０５に格納する。
【００２９】
表示部５０８は、表示処理Ｓ７７にて、一定間隔（ＮＴＳＣの場合１／３０秒に１回）でフレームメモリ５０５から表示画像候補算出処理Ｓ７５で表示候補とした非圧縮データを取り出し、モニタに出力する。
【００３０】
デコード処理Ｓ７６が１倍速デコードの場合を図８（ａ）に示す。デコード部５０４は、デコード処理Ｓ７６にて、Ｉ３、Ｐ６、Ｐ９、Ｐ１２、Ｐ１５、Ｉ１８、Ｂ１６を１フレーム時間（ＮＴＳＣの場合１／３０秒）に１回フレームメモリ５０５に格納する。表示部５０８は、表示処理Ｓ７７にて、１フレーム時間に１回フレームメモリを参照してＩ３、Ｐ６、Ｐ９、Ｐ１２、Ｐ１５、Ｂ１６の順に画像を表示する。デコード画像決定部５０３は、表示画像候補算出処理Ｓ７５にてＢ１６より時間軸上後ろの画像であるＩ１８を表示候補からはずしているので、Ｐ１５が２フレーム分表示される。これにより、Ｂ１６を表示する前の６フレーム時間の間に、Ｉ３、Ｐ６、Ｐ９、Ｐ１２、Ｐ１５を表示するため、画像の更新が頻繁になりユーザに対する違和感を取り除くことができるようになる。
【００３１】
デコード処理Ｓ７６が２倍速デコードの場合を図８（ｂ）に示す。デコード部５０４は、デコード処理Ｓ７６にて、Ｉ３、Ｐ６、Ｐ９、Ｐ１２、Ｐ１５、Ｉ１８、Ｂ１６を１フレーム時間に２回フレームメモリ５０５に格納する。表示部５０８は、表示処理Ｓ７７にて、１フレーム時間に１回フレームメモリを参照してＩ３、Ｐ９、Ｐ１５、Ｂ１６の順に画像表示する。デコードが速い場合、表示部５０８は、表示処理Ｓ７７で指定画像のＢ１６のデコード完了後すぐに表示するようにするために、表示画像候補算出処理Ｓ７５で表示候補とした画像すべてを表示しない。これにより映像再生装置５００は指定画像の表示までの時間を短縮している。
【００３２】
以上のように、映像再生装置５００は、表示位置指定部５０１で指定された画像を表示するためにデコーダが必要な画像をあらかじめデコードしてフレームメモリ５０５に格納し、順方向に再生する場合にフレームメモリ５０５から指定された画像より時間軸上で前にある画像を選択して表示することにより、ユーザの指示から画面が更新されるまでの時間を短縮し、応答性をあげることができ、ユーザの違和感、不快感を軽減することができる。
【００３３】
さらに、映像再生装置５００は、デコード部５０４のデコード速度に応じて、表示する映像を抽出することにより、指定画像の表示までの時間を短縮することができる。
【００３４】
−１倍で逆再生のときの例を図９に示す。逆再生では、前方の画像を表示すると違和感のある再生になってしまうので、デコード画像決定部５０３は、表示画像候補算出処理Ｓ７５にて、後方の画像Ｉ８を出力すると判断する。よって、Ｂ１６の前には、Ｉ１８のみが表示されることになる。これにより逆再生においても違和感のない再生を行うことができる。
【産業上の利用可能性】
【００３５】
本実施の形態にかかる映像再生装置は、ユーザの指示から画面が更新されるまでの時間を短縮し、応答性をあげることができ、ユーザの違和感、不快感を軽減することができ、映像を取り扱う業務用または民生用の種々な装置に適用することができ、有用である。
【符号の説明】
【００３６】
５００ 映像再生装置
５０１ 表示位置指定部
５０２ インデックス解釈部
５０３ デコード画像決定部
５０４ デコード部
５０５ フレームメモリ
５０６ 映像読み込み部
５０７ 表示画像決定部
５０８ 表示部
５１０ 記録媒体
５１１ 映像ファイル
【技術分野】
【０００１】
本発明は、映像を再生する映像再生装置に関する。
【背景技術】
【０００２】
従来、放送局の番組制作は、カメラレコーダを用いてテープに映像を記録し、テープを用いて編集やアーカイブを行っていた。近年、ＨＤＤやフラッシュメモリなどランダムアクセス可能な記録媒体に映像を記録するカメラレコーダが登場してきている。それにより、カメラレコーダで映像データをファイル形式で記録し、そのファイルをノンリニア編集機で編集するというスタイルが確立されてきている。
【０００３】
映像ファイルを記録媒体に記録する場合、容量の観点から映像信号を圧縮して記録することが一般的である。映像データの圧縮符号化方式の代表的な規格の１つとして、ＭＰＥＧ２（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ ２）規格が知られている。ＭＰＥＧ映像データは、何フレームかのデータをまとめたＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅ）と呼ばれる単位で構成される。
【０００４】
１つのＧＯＰには、予め定められた所定数の原画像をそれぞれ圧縮符号化して生成される画像データが含まれる。各画像データは、原画像の圧縮符号化方式によって、３つのピクチャタイプ、Ｉピクチャ（Ｉｎｔｒａ−ｃｏｄｅｄ ｐｉｃｔｕｒｅ）、Ｐピクチャ（Ｐｒｅｄｉｃｔｉｖｅ−ｃｏｄｅｄ ｐｉｃｔｕｒｅ）およびＢピクチャ（Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ ｐｒｅｄｉｃｔｉｖｅ−ｃｏｄｅｄ ｐｉｃｔｕｒｅ）に分類される。
【０００５】
Ｉピクチャは、イントラ符号化画像とも呼ばれ、原画像１枚の情報のみを用いて符号化される。したがって、Ｉピクチャは、前後の他の画像データピクチャとは独立性を保っており、Ｉピクチャ自身のみで復号することが可能である。
【０００６】
Ｐピクチャは、フレーム間順方向予測符号化画像とも呼ばれ、予測画像（差分を取る基準となる画像）として、時間的に前の既に復号されたＩピクチャまたはＰピクチャを使用するものであり、動き補償された予測画像との差分を符号化するものである。
【０００７】
Ｂピクチャは、双方向予測符号化画像とも呼ばれ、ＩピクチャおよびＰピクチャを先に処理した後に、その間に挿入される画像として符号化される。すなわち、Ｂピクチャは、予測画像として、時間的に前の既に復号されたＩピクチャまたはＰピクチャ、時間的に後の既に復号されたＩピクチャまたはＰピクチャ、ならびにこの両方から作られた補間画像の３種類を使用する。
【０００８】
ランダムアクセスメディアに記録されている映像を再生する映像再生装置には、映像上のある地点にマークをつけるという機能を有するものがある。この機能は、ユーザの指示によりマーク地点の画像を表示する（シークする）場合などに使用される。図１は、画像Ａを表示している時点で、ユーザがマーク位置Ｍにシークするという指示を行ったときに表示される画像データを示している。この場合、ＡからＭの間の画像は表示されず、Ａの次にＭが表される。
【０００９】
マーク地点ＭがＰピクチャまたはＢピクチャの場合、予測画像としてＩピクチャまたはＰピクチャのデコードが必要になる。図１のような再生をシームレスに行うためには、１つの画像を表示している時間に複数の画像をデコードする能力がデコーダに要求される。デコーダが１ピクチャをデコードするのに表示時間と同じ時間かかる（１倍速デコードの）場合、ユーザが指示してからマーク位置の画像のデコードが終わるまでの間の数百ミリ秒間、画像Ａが表示されたままで画像が更新されないことになる。この再生方法は、ユーザに違和感およびストレスを感じさせる。
【００１０】
特許文献１では、映像データの出力を指示してから実際に画像が表示されるまでの間に、デコードした時点ですぐに表示しない再生画像を先行画像として抽出して、先行画像がデコードされてから映像として最初に表示すべき再生画像のデコードが完了するまでの間、抽出した先行画像にぼかしなどのエフェクトを施して表示することにより、違和感の少ない画像を表示する画像処理装置が提案されている。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２００７−２０１８３１号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
しかしながら、特許文献１では、先行画像は時間軸上後ろに表示されるＩピクチャであり、時間軸上正しい順番で表示しているわけではない。特に、先行画像と表示画像の間にシーンの切れ目があったときには、ぼかすなどの処理を施しているとはいえ、違和感が出てしまうことは避けられない。
【００１３】
上記課題に鑑み本発明は、ユーザから指定位置へのシーク指示があったときに、画像の更新までの時間を短縮して応答性をあげることで、違和感のない再生を行う機構を提供することを目的とする。
【課題を解決するための手段】
【００１４】
本発明の映像再生装置は、映像ファイル中のある時点の画像を指定する表示位置指定部と、前記映像ファイルに関するインデックス情報を読み出すインデックス解釈部と、前記インデックス解釈部からの前記インデックス情報に基づいて、前記表示位置指定部で指定された画像を表示するためにデコードが必要な画像を決定するデコード画像決定部と、前記映像ファイルから映像データを読み込む映像読み込み部と、前記デコード画像決定部で決定した画像を、前記映像読み込み部から取得して順次デコードするデコード部と、前記デコード部でデコードした画像のうち、再生時の時間軸方向に応じて、表示する画像を決定する表示画像決定部と、前記表示画像決定部で決定した画像を表示する表示部と、を備える。
【発明の効果】
【００１５】
上記の構成により、映像再生装置は、再生中に指定位置の画像にシークする場合に、その画像をデコードするために必要な画像を表示することで、ユーザの指示から画面が更新されるまでの時間を短縮し、応答性をあげることができ、ユーザの違和感、不快感を軽減することができる。
【図面の簡単な説明】
【００１６】
【図１】マーク点に移動してから再生するときに表示される画像を示す図
【図２】ＭＸＦファイルフォーマットを示す図
【図３】ＭＰＥＧ映像の表示順と記録順を説明する図
【図４】ＭＸＦのインデックス情報を説明する図
【図５】実施の形態１における映像再生装置の構成を示すブロック図
【図６】ＭＸＦのインデックス情報に記録順を付加した図
【図７】実施の形態１における映像を再生する際のフローチャート
【図８】実施の形態１における正方向の再生時に表示される画像を示す図
【図９】実施の形態１における逆方向の再生時に表示される画像を示す図
【発明を実施するための形態】
【００１７】
（実施の形態１）
フレームごとのランダムアクセスを実現するために、フレームごとのインデックス情報を映像データと同一のファイル内に配置できるようなファイルフォーマットが提案されている。そのひとつにＭＸＦ（Ｍａｔｅｒｉａｌ Ｅｘｃｈａｎｇｅ Ｆｏｒｍａｔ、ＳＭＰＴＥ ３７７Ｍ）がある。ＭＸＦとは主にプロユースのデジタル映像や音声を扱うためのファイルフォーマットである。本実施の形態では、映像ファイルのファイルフォーマットとしてＭＸＦを例にとり、映像再生装置を説明する。
【００１８】
ＭＸＦはＫＬＶ（Ｋｅｙ−Ｌｅｎｇｔｈ−Ｖａｌｕｅ）と呼ぶデータ要素の集まりで構成されており、メタデータ、映像データなど、すべてのデータがＫＬＶ構造をとっている。ＫＬＶ構造とは、その先頭から、キー（Ｋｅｙ）、レングス（Ｌｅｎｇｔｈ）、バリュー（Ｖａｌｕｅ）が順次配置された構造であり、キーには、バリューに配置されるデータがどのようなデータであるかを表す、ＳＭＰＴＥ ２９８Ｍの規格に準拠した１６バイトのラベルが配置される。レングスには、バリューに配置されるデータのデータ長（８バイト）がＢＥＲ（Ｂａｓｉｃ Ｅｎｃｏｄｉｎｇ Ｒｕｌｅｓ：ＩＳＯ／ＩＥＣ８８２−１ ＡＳＮ）によって配置される。バリューには、実データが配置される。
【００１９】
図２にＭＸＦのファイルフォーマットを示す。先頭から、ファイルヘッダ（Ｆｉｌｅ Ｈｅａｄｅｒ）、ファイルボディ（Ｆｉｌｅ Ｂｏｄｙ）、ファイルフッタ（Ｆｉｌｅ Ｆｏｏｔｅｒ）が順次配置されて構成される。
【００２０】
ファイルヘッダは、その先頭から、ヘッダパーティションパック（Ｈｅａｄｅｒ Ｐａｒｔｉｔｉｏｎ Ｐａｃｋ）、およびヘッダメタデータ（Ｈｅａｄｅｒ Ｍｅｔａｄａｔａ）が順次配置されて構成される。ヘッダパーティションパックには、ヘッダを特定するためのパターンや、ファイルボディに配置されるデータの形式、ＭＸＦファイルフォーマットであることを表す情報およびヘッダサイズ情報などが配置される。
【００２１】
ファイルボディは、ボディパーティションパック（Ｂｏｄｙ Ｐａｒｔｉｔｉｏｎ Ｐａｃｋ）およびエッセンスコンテナ（Ｅｓｓｅｎｃｅ Ｃｏｎｔａｉｎｅｒ）が順次配置されて構成される。エッセンスコンテナには、画像データが配置されている。エッセンスコンテナもＫＬＶ構造であるため、キー、レングスの後にバリューとして画像データが配置される。
【００２２】
ファイルフッタには、フッタパーティションパック（Ｆｏｏｔｅｒ Ｐａｒｔｉｔｉｏｎ Ｐａｃｋ）およびインデックステーブル（Ｉｎｄｅｘ Ｔａｂｌｅ）が順次配置されて構成される。インデックステーブルには、画像データの位置を指し示すデータが格納されており、詳しくは図４にて後述する。
【００２３】
図３（ａ）は各画像の表示順番を表している。数字の部分が表示の順番、アルファベット（Ｉ、Ｂ、Ｐ）がピクチャタイプを示しており、Ｂ１、Ｂ２、Ｉ３、Ｂ４、Ｂ５、Ｐ６、・・・の順番に表示されることを示している。図３（ｂ）は図３（ａ）の映像がファイル上どのように格納されるかを示している。Ｂピクチャをデコードするためには、その予測画像であるＩピクチャまたはＰピクチャを事前にデコードしておく必要がある。そのため、ファイルの先頭から順次データを読み込んでデコードすることができるようにするために、表示の順番とは別の順番で画像を記録している。たとえば、Ｂ１はＩ３を用いてデコードされるため、Ｉ３、Ｂ１の順番でファイル上には記録される。よって、記録順としては、Ｉ３、Ｂ１、Ｂ２、Ｐ６、Ｂ４、Ｂ５、・・・となる。
【００２４】
図４はＭＸＦのインデックステーブルの詳細である。Ｔｅｍｐｏｒａｌ Ｏｆｆｓｅｔとは表示順から記録順への変換を表すものである。１フレーム目のフレームＢ１は、表示のフレーム番号１にＴｅｍｐｏｒａｌ Ｏｆｆｓｅｔの１を加算した２フレーム目のデータとしてファイルに格納されていることがわかる。同様にＩ３は、表示のフレーム番号３にＴｅｍｐｏｒａｌ Ｏｆｆｓｅｔの−２を加算した１フレーム目のデータとしてファイルに格納されていることがわかる。Ｋｅｙ−Ｆｒａｍｅ Ｏｆｆｓｅｔとは当該フレームをデコードするためにどのフレームからデコードする必要があるかを示す情報であり、通常Ｉピクチャを参照している。たとえば、Ｂ４をデコードするためには、表示のフレーム番号４からＫｅｙ−Ｆｒａｍｅ Ｏｆｆｓｅｔの−１を加算した３番目のフレーム（Ｉ３）からデコードする必要があることを示している。Ｆｌａｇｓとは先述のピクチャタイプである。Ｓｔｒｅａｍ Ｏｆｆｓｅｔはファイル上のどの位置にフレームが格納されているかを表す情報である。この情報は記録順フレーム番号に基づいて記録されている。たとえば、Ｂ４が格納されているバイトオフセットを求める場合、表示順のフレーム番号４にＴｅｍｐｏｒａｌ Ｏｆｆｓｅｔの１を加算した記録のフレーム番号として５を求め、５フレーム目のＳｔｒｅａｍ Ｏｆｆｓｅｔからバイトオフセット６８，０００バイトを求める。
【００２５】
本実施の形態の映像再生装置５００の構成を図５に示す。表示位置指定部５０１には、表示させたい映像上のある時点（図１のマーク点Ｍなど）がユーザにより入力される。インデックス解釈部５０２は、記録媒体５１０に記録されている映像ファイル５１１からインデックス情報を読み込み、図４に示すようなインデックステーブルを作成する。デコード画像決定部５０３は、表示位置指定部５０１で指定された画像を表示するために、インデックス解釈部５０２で解釈したインデックス情報に基づいて、デコードする画像を決定する。映像読み込み部５０６は、映像ファイル５１１から圧縮データを読み込む。デコード部５０４は、デコード画像決定部５０３でデコードすることが決定した画像を順次映像読み込み部５０６から取得後デコードし、非圧縮データをフレームメモリ５０５に格納する。表示画像決定部５０７は、インデックス解釈部５０２で解釈したインデックス情報に基づいて、デコード部５０４でデコードした画像のうちどの画像を表示位置指定部５０１で指定された画像の前に表示するかを決定する。表示部５０８は、表示画像決定部５０７で表示することが決定した画像を、デコード部５０４でデコードした非圧縮データが格納されているフレームメモリ５０５から読み込み、一定間隔で（ＮＴＳＣの場合１秒間に３０回）モニタに表示する。
【００２６】
表示位置指定部５０１に図３のＢ１６が指定された場合を例に取り、処理の流れを図７のフローチャートで説明する。表示位置指定部５０１で１６フレーム目が指定されると、インデックス解釈部５０２は、インデックス読み込み処理Ｓ７１にて、図４に示すインデックス情報を図２で示すＭＸＦ形式の映像ファイル５１１のインデックステーブルから取得する。
【００２７】
デコード画像決定部５０３は、キーフレーム算出処理Ｓ７２にて、フレーム番号１６にＫｅｙ−Ｆｒａｍｅ Ｏｆｆｓｅｔの−１３を加算して、キーフレームが３フレーム目であることを求める。デコード画像決定部５０３は、記録順算出処理Ｓ７３にて、フレーム番号にＴｅｍｐｏｒａｌ Ｏｆｆｓｅｔを加算し、図６の記録順のフレーム番号を求める。図６より、キーフレームは記録順で１番目、１６フレーム目は記録順で１７番目であることがわかる。デコード画像決定部５０３は、デコード画像算出処理Ｓ７４にて、キーフレームの記録順である１番目から、１６フレーム目の記録順である１７番目までのピクチャに存在するＩまたはＰピクチャを抜き出す。図６より、記録順で１、４、７、１０、１３、１６番目がＩまたはＰピクチャであることがわかるので、それに相当するＩ３、Ｐ６、Ｐ９、Ｐ１２、Ｐ１５、Ｉ１８がデコードに必要なピクチャと判断される。デコード画像決定部５０３は、表示画像候補算出処理Ｓ７５にて、デコード画像算出処理Ｓ７４でデコードが必要と判断した画像のうち、Ｂ１６より時間軸上前に表示される画像であるＩ３、Ｐ６、Ｐ９、Ｐ１２、Ｐ１５を表示候補とする。
【００２８】
デコード部５０４は、デコード処理Ｓ７６にて、デコード画像算出処理Ｓ７４でデコードが必要と判断した画像Ｉ３、Ｐ６、Ｐ９、Ｐ１２、Ｐ１５、Ｉ１８、Ｂ１６を順次デコードし、結果をフレームメモリ５０５に格納する。Ｉ３は記録順では１番目であるので、１番目のＳｔｒｅａｍ Ｏｆｆｓｅｔの０バイトから、２番目のＳｔｒｅａｍ Ｏｆｆｓｅｔの５０，０００バイトまでの５０，０００バイトのデータをファイルから読み込み、デコードを行った後、非圧縮のＩ３画像をフレームメモリ５０５に格納する。Ｐ６は記録順では４番目であるので、４番目のＳｔｒｅａｍ Ｏｆｆｓｅｔの５６，０００バイトから、５番目のＳｔｒｅａｍ Ｏｆｆｓｅｔの６８，０００バイトまでの１２，０００バイトのデータをファイルから読み込み、フレームメモリ５０５に格納されているＩ３のデータを用いてデコードし、非圧縮のＰ６画像をフレームメモリ５０５に格納する。Ｐ９、Ｐ１２、Ｐ１５、Ｉ１８にも同様の処理を行う。Ｂ１６は記録順では１７番目であるので、１７番目のＳｔｒｅａｍ Ｏｆｆｓｅｔの１８０，０００バイトから、１８番目のＳｔｒｅａｍ Ｏｆｆｓｅｔの１８３，０００バイトまでの３，０００バイトのデータをファイルから読み込み、フレームメモリ５０５に格納されているＰ１５およびＩ１８を用いてデコードし、非圧縮のＢ１６画像をフレームメモリ５０５に格納する。
【００２９】
表示部５０８は、表示処理Ｓ７７にて、一定間隔（ＮＴＳＣの場合１／３０秒に１回）でフレームメモリ５０５から表示画像候補算出処理Ｓ７５で表示候補とした非圧縮データを取り出し、モニタに出力する。
【００３０】
デコード処理Ｓ７６が１倍速デコードの場合を図８（ａ）に示す。デコード部５０４は、デコード処理Ｓ７６にて、Ｉ３、Ｐ６、Ｐ９、Ｐ１２、Ｐ１５、Ｉ１８、Ｂ１６を１フレーム時間（ＮＴＳＣの場合１／３０秒）に１回フレームメモリ５０５に格納する。表示部５０８は、表示処理Ｓ７７にて、１フレーム時間に１回フレームメモリを参照してＩ３、Ｐ６、Ｐ９、Ｐ１２、Ｐ１５、Ｂ１６の順に画像を表示する。デコード画像決定部５０３は、表示画像候補算出処理Ｓ７５にてＢ１６より時間軸上後ろの画像であるＩ１８を表示候補からはずしているので、Ｐ１５が２フレーム分表示される。これにより、Ｂ１６を表示する前の６フレーム時間の間に、Ｉ３、Ｐ６、Ｐ９、Ｐ１２、Ｐ１５を表示するため、画像の更新が頻繁になりユーザに対する違和感を取り除くことができるようになる。
【００３１】
デコード処理Ｓ７６が２倍速デコードの場合を図８（ｂ）に示す。デコード部５０４は、デコード処理Ｓ７６にて、Ｉ３、Ｐ６、Ｐ９、Ｐ１２、Ｐ１５、Ｉ１８、Ｂ１６を１フレーム時間に２回フレームメモリ５０５に格納する。表示部５０８は、表示処理Ｓ７７にて、１フレーム時間に１回フレームメモリを参照してＩ３、Ｐ９、Ｐ１５、Ｂ１６の順に画像表示する。デコードが速い場合、表示部５０８は、表示処理Ｓ７７で指定画像のＢ１６のデコード完了後すぐに表示するようにするために、表示画像候補算出処理Ｓ７５で表示候補とした画像すべてを表示しない。これにより映像再生装置５００は指定画像の表示までの時間を短縮している。
【００３２】
以上のように、映像再生装置５００は、表示位置指定部５０１で指定された画像を表示するためにデコーダが必要な画像をあらかじめデコードしてフレームメモリ５０５に格納し、順方向に再生する場合にフレームメモリ５０５から指定された画像より時間軸上で前にある画像を選択して表示することにより、ユーザの指示から画面が更新されるまでの時間を短縮し、応答性をあげることができ、ユーザの違和感、不快感を軽減することができる。
【００３３】
さらに、映像再生装置５００は、デコード部５０４のデコード速度に応じて、表示する映像を抽出することにより、指定画像の表示までの時間を短縮することができる。
【００３４】
−１倍で逆再生のときの例を図９に示す。逆再生では、前方の画像を表示すると違和感のある再生になってしまうので、デコード画像決定部５０３は、表示画像候補算出処理Ｓ７５にて、後方の画像Ｉ８を出力すると判断する。よって、Ｂ１６の前には、Ｉ１８のみが表示されることになる。これにより逆再生においても違和感のない再生を行うことができる。
【産業上の利用可能性】
【００３５】
本実施の形態にかかる映像再生装置は、ユーザの指示から画面が更新されるまでの時間を短縮し、応答性をあげることができ、ユーザの違和感、不快感を軽減することができ、映像を取り扱う業務用または民生用の種々な装置に適用することができ、有用である。
【符号の説明】
【００３６】
５００ 映像再生装置
５０１ 表示位置指定部
５０２ インデックス解釈部
５０３ デコード画像決定部
５０４ デコード部
５０５ フレームメモリ
５０６ 映像読み込み部
５０７ 表示画像決定部
５０８ 表示部
５１０ 記録媒体
５１１ 映像ファイル
【特許請求の範囲】
【請求項１】
映像ファイル中のある時点の画像を指定する表示位置指定部と、
前記映像ファイルに関するインデックス情報を読み出すインデックス解釈部と、
前記インデックス解釈部からの前記インデックス情報に基づいて、前記表示位置指定部で指定された画像を表示するためにデコードが必要な画像を決定するデコード画像決定部と、
前記映像ファイルから映像データを読み込む映像読み込み部と、
前記デコード画像決定部で決定した画像を、前記映像読み込み部から取得して順次デコードするデコード部と、
前記デコード部でデコードした画像のうち、再生時の時間軸方向に応じて、表示する画像を決定する表示画像決定部と、
前記表示画像決定部で決定した画像を表示する表示部と、
を具備する映像再生装置。
【請求項２】
前記表示画像決定部は、
順方向に映像を再生する場合に、前記表示位置指定部で指定された画像より時間軸上で前にある画像を表示する画像に決定する
請求項１記載の映像再生装置。
【請求項３】
前記表示画像決定部は、
逆方向に映像を再生する場合に、前記表示位置指定部で指定された画像より時間軸上で後ろにある画像を表示する画像に決定する
請求項１記載の映像再生装置。
【請求項４】
前記表示画像決定部は、
前記デコード部のデコード時の速度に応じて、表示する画像を抽出する
請求項２または３に記載の映像再生装置。
【請求項１】
映像ファイル中のある時点の画像を指定する表示位置指定部と、
前記映像ファイルに関するインデックス情報を読み出すインデックス解釈部と、
前記インデックス解釈部からの前記インデックス情報に基づいて、前記表示位置指定部で指定された画像を表示するためにデコードが必要な画像を決定するデコード画像決定部と、
前記映像ファイルから映像データを読み込む映像読み込み部と、
前記デコード画像決定部で決定した画像を、前記映像読み込み部から取得して順次デコードするデコード部と、
前記デコード部でデコードした画像のうち、再生時の時間軸方向に応じて、表示する画像を決定する表示画像決定部と、
前記表示画像決定部で決定した画像を表示する表示部と、
を具備する映像再生装置。
【請求項２】
前記表示画像決定部は、
順方向に映像を再生する場合に、前記表示位置指定部で指定された画像より時間軸上で前にある画像を表示する画像に決定する
請求項１記載の映像再生装置。
【請求項３】
前記表示画像決定部は、
逆方向に映像を再生する場合に、前記表示位置指定部で指定された画像より時間軸上で後ろにある画像を表示する画像に決定する
請求項１記載の映像再生装置。
【請求項４】
前記表示画像決定部は、
前記デコード部のデコード時の速度に応じて、表示する画像を抽出する
請求項２または３に記載の映像再生装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１１−２３４０６９（Ｐ２０１１−２３４０６９Ａ）
【公開日】平成２３年１１月１７日（２０１１．１１．１７）
【国際特許分類】
【出願番号】特願２０１０−１０１７３５（Ｐ２０１０−１０１７３５）
【出願日】平成２２年４月２７日（２０１０．４．２７）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２３年１１月１７日（２０１１．１１．１７）
【国際特許分類】
【出願日】平成２２年４月２７日（２０１０．４．２７）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]