音付映像の再生装置
【課題】 限られたハードウェア環境において、複数の映像を再生する場合であっても、滑らかな再生が可能となる映像信号の再生装置を提供する。
【解決手段】 再生対象とする複数の音付映像ファイルについて、あらかじめ連続するフレーム間の差分特徴量を記録しておき、複数の音付映像ファイルの再生時には、各フレームごとに、フレーム間差分特徴量に基づいて優先度を決定し、この優先度にしたがって表示／非表示を決定する。
【解決手段】 再生対象とする複数の音付映像ファイルについて、あらかじめ連続するフレーム間の差分特徴量を記録しておき、複数の音付映像ファイルの再生時には、各フレームごとに、フレーム間差分特徴量に基づいて優先度を決定し、この優先度にしたがって表示／非表示を決定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＣＤ・ＤＶＤ等を用いた民生・業務用途における鑑賞用のパッケージ映像・音楽再生分野、放送事業者・公共施設の事業者等が商業目的で配信する環境映像・環境音楽分野において好適な音声信号および映像信号の再生技術に関する。
【背景技術】
【０００２】
従来より、複数の映像を同一画面上に表示させる技術が利用されている。複数の映像を同時に表示させようとする場合、現実には、コンピュータが、先頭の映像ファイルから順に処理することになるが、コンピュータの処理能力が追いつかないときには、後の映像ファイルのフレームが処理されなくなることがある。特に、後の映像ファイルに記録されている映像の動きが速い場合、処理されないフレームがあると、ぎこちない動きの映像になるという問題があった。
【０００３】
複数の映像を表示する場合については、優先的に表示したい映像に優先度を与えて大きな画面で表示するという技術も存在する（例えば、特許文献１参照）。
【特許文献１】特開２００１−３４２５０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来の技術では、限られたハードウェア資源の制約下でマルチ表示画面をスムーズに行うことはできないという問題がある。
【０００５】
そこで、本発明は、限られたハードウェア環境において、複数の映像を再生する場合であっても、滑らかな再生が可能となる映像信号の再生装置を提供することを課題とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本発明では、複数の映像フレームを有し、各映像フレームに音響データブロックが対応付けて添付された音付映像ファイルを複数再生する音付映像の再生装置を、音付映像ファイルの映像フレーム間の差分に基づくフレーム間差分特徴量を記録したフレーム間差分テーブルと、複数の前記音付映像ファイルから各々対応する映像フレームに添付された音響データブロックを抽出し、１つの合成音響データブロックに合成する音響データブロック合成手段と、前記合成音響データブロックを音響出力デバイスに書き込み、音響再生させる音響出力手段と、前記音響出力手段において再生中の合成音響データブロックに対応する再生時刻を取得する処理制御手段と、前記各音付映像ファイル内の、前記取得した再生時刻に対応する映像フレームについて、前記フレーム間差分テーブルを参照し、当該映像フレームについての優先度を算出する優先度算出手段と、前記取得した再生時刻に対応する各音付映像ファイルの映像フレームの優先度に基づいて、当該映像フレームを表示するか否かを決定するとともに、表示すると決定された映像フレームを映像表示デバイスのメモリに書き込み、画面表示させる表示制御手段を有する構成としたことを特徴とする。
【発明の効果】
【０００７】
本発明によれば、音付映像ファイルを複数同時に再生する際、再生する各ファイルにおける映像フレーム間の差分であるフレーム間差分を参照して各映像フレームの優先度を算出し、この優先度に従って、各映像フレームを表示するかどうかを決定するようにしたので、差分が大きく、動きの速い映像については、優先して表示されることとなり、限られたハードウェア環境においても、滑らかな再生が可能となる。
【発明を実施するための最良の形態】
【０００８】
（１．音付映像ファイルの構造）
以下、本発明の実施形態について図面を参照して詳細に説明する。まず、本発明に係る音付映像の再生装置で再生の対象とする音付映像ファイルの構造について説明する。図１に、汎用的な音付映像ファイルの構造を模式的に表現した図を示す。図１において、Ｖは映像フレーム、Ａは音響データブロックを示しており、０〜Ｎは映像フレームに対応したフレーム番号を示している。フレーム番号は、先頭から第何番目のフレームであるかを示す番号であり、全体でフレーム数がＮ＋１の場合、０〜Ｎの番号が付されている。汎用的な映像フォーマットでは、１秒間３０フレームで構成されており、例えば、３分の動画データであれば、５４００フレームで構成されることになる。また、映像フレームＶは、圧縮されているのが通常であり、圧縮方式により、１つの映像フレームＶから静止画像を復元できる場合もあり、他の映像フレームＶを利用しなければ静止画像を復元できない場合もある。音響データは、フレーム単位、すなわち１／３０秒単位で区分され、音響データブロックＡとして記録される。例えば、サンプリング周波数４８ｋＨｚでステレオ音響信号をサンプリングした場合は、１つの音響データブロックには、１／３０秒に相当する３２００サンプルが記録されることになる。
【０００９】
図１に示したような音付映像ファイルは、公知の手法により作成することができる。すなわち、ビデオカメラ等で撮影することにより得られる映像データと音響データが対応付けられた音付映像ファイルをそのまま使用しても良いし、撮影された映像データのみを使用するようにし、別に音響データを準備して先の映像データに対応付けて追記録するようにしても良い（音質面から後者の方法が一般的）。本実施形態では、別々に得られた映像データと音響データを対応付けて記録することにより作成している。
【００１０】
（２．音付映像ファイルの作成）
続いて、本実施形態における音付映像ファイルの作成について説明する。本実施形態では、本システムを、音付映像ファイルに素材として記録された音響データを合成して再生する装置に利用する場合を想定して説明する。本システムにおいては、合成する音付映像ファイルの数を適宜変更することができるが、本実施形態では、最大５つまで選択可能とした場合について説明する。この場合、音響データは、５つのトラックに設定されて再生されることになるが、各トラックについて例えば５つの楽曲を選択可能となるようにすると、全部で２５の音響データが必要となる。そのため、まず、録音等により得られたアナログの音響データをデジタル化して２５個のデジタルの音響データを得る。アナログの音響信号のデジタル化は、従来の一般的なＰＣＭの手法を用いて行う。具体的には、所定のサンプリング周波数でアナログ音響信号をサンプリングし、振幅を所定の量子化ビット数を用いてデジタルデータに変換する処理を行う。このようにしてデジタル化した音響データは、量子化ビット数に応じた値をもつサンプルの時系列の集合となる。例えば、サンプリング周波数を４８ｋＨｚ、量子化ビット数を１６ビットとした場合、１秒間のアナログ音響信号は、−３２７６８〜３２７６７の値をとるサンプル４８０００個からなるデジタル音響データに変換されることになる。
【００１１】
複数の音響データを合成して１つの再生音響データとして再生するためには、合成対象とする音響データの各再生時間が同一となるように加工する必要がある。これは、１つの音響データを基準として、他の音響データの各サンプル（各時刻において所定のビット数で量子化したもの）が、基準とした素材音響信号に時間的かつ音楽的に同期するように調整する処理を行う。また、本実施形態では、再生する利用者が、自由に音楽の構成を変化させることが可能なように、各音響データをメロディ、コード、リズム等のパートに分けて作成している。各音響データは、上述のようにアナログの音響信号をＰＣＭ等の手法でデジタルデータ化したものである。
【００１２】
ここで、５つのトラックとして設定する各音響データについて説明する。図２は、各トラックの音響データの信号波形を模式的に示したものである。図２の例では、各音響データが左右（Ｌ・Ｒ）２チャンネルで構成されるステレオ音響データの場合を示している。図２においては、説明の簡略化のため、信号の振幅値がある程度以上のレベルを有する部分、すなわち非無音部については同一の振幅で波形を示し、無音部は波形が無い状態で示している。複数のトラックの楽曲を合成して再生し、なおかつ各トラックについての楽曲を複数から選択可能とする場合、どのような組合せになっても、合成後の楽曲がまともなものとなるようにするために、各音響データは所定の規則に従って作成される必要がある。したがって、各トラックにおいては、どの楽曲を選択しても非無音部と無音部の時間的位置が原則同じになるように構成されている。すなわち、例えばトラック１用として準備される５つの各音響データは、原則同一位置に非無音部（有音部）、無音部を有するものとなるが、音楽的な変化が乏しくなることを避けるため、音楽規則上支障がない範囲で、非無音部と無音部の長さを多少変化させることも行われる。
【００１３】
図２に示したような波形の各音響データを合成して再生すると、まず、最初にトラック１とトラック５からの音が聞こえ、次に、トラック５からの音が消えてトラック３からの音が聞こえ、次に、トラック１とトラック３からの音が消えてトラック２とトラック４からの音が聞こえ、次に、トラック２とトラック４からの音が消えてトラック１とトラック３からの音が聞こえ、次に、トラック３からの音が消えてトラック５からの音が聞こえ、最後にトラック１とトラック５からの音が消えるということになる。
【００１４】
一方、映像データは、上記音響データに記録された音の内容に合わせたものを撮影し、撮影したデータを所定の方式で圧縮符号化する。例えば、各トラックに各国を代表するような楽器の音響データを設定する場合、その国の風景を撮影した映像を映像データとして撮影する。続いて、別々に得られた映像データと音響データを統合して１つの音付映像ファイルとすることになるが、これは、映像データの各フレームに対して、対応する時間相当の音響データブロックを記録することにより行われる。例えば、映像データが３０ｆｐｓ（フレーム／秒）、音響データが４８ｋＨｚステレオでサンプリングされている場合、３２００サンプルを１つの音響データブロックとして１つの映像フレームと対応付けて記録される。すなわち、図１に示したような形態で記録されることになる。
【００１５】
本実施形態においては、さらに、メニュー画面用にデータを加工し、記録している。具体的には、上記２５個の音付映像ファイルから先頭の１０秒を取り出し、メニュー用映像ファイルとデモ再生用音響ファイルを作成している。メニュー用映像ファイルは、上記音付映像ファイルから取り出した１０秒分の映像データを、各映像フレーム単位で２５個合成してメニュー用合成フレームを生成する。これにより、３００枚のメニュー用合成フレームから構成されるメニュー用映像ファイルが得られる。一方、デモ再生用音響ファイルは、上記音付映像ファイルから取り出した１０秒分の音響データブロックを連続して記録することにより得られる。また、映像を合成して再生する際に、その背景とする場合には、別途背景映像用の映像データである背景映像ファイルを用意しておく。背景映像ファイルは、構造的には、１秒３０フレームの通常の映像ファイルである。
【００１６】
（３．フレーム間差分テーブルの作成）
まず、事前の準備として、各音付映像ファイル内の各映像フレーム間の差分の特徴量を記録したフレーム間差分テーブルを作成する。フレーム間差分特徴量は、連続する２つの映像フレーム間において、記録されている映像にどの程度動きがあるかを示すものである。フレーム間差分特徴量の算出にあたっては、まず、連続するフレーム間の同一の座標（ｘ，ｙ）の差分ｄ（ｘ，ｙ）を算出し、フレーム内における全画素（ｘ，ｙ）についての差分ｄ（ｘ，ｙ）を求める。なお、差分ｄ（ｘ，ｙ）は以下の〔数式１〕で算出される。
【００１７】
〔数式１〕
ｄ（ｘ，ｙ）＝［｛Ｒ（ｎ，ｘ，ｙ）−Ｒ（ｎ−１，ｘ，ｙ）｝2＋｛Ｇ（ｎ，ｘ，ｙ）−Ｇ（ｎ−１，ｘ，ｙ）｝2＋｛Ｂ（ｎ，ｘ，ｙ）−Ｂ（ｎ−１，ｘ，ｙ）｝2＋］1/2
【００１８】
なお、上記〔数式１〕において、ｎ−１およびｎはフレーム番号を示している。 全画素に対して算出された画素差分ｄ（ｘ，ｙ）の平均値がフレーム間差分特徴量として、フレーム間差分テーブルに記録される。フレーム間差分テーブルに記録された情報の一例を図３に示す。図３に示すように、全音付映像ファイルの連続する全フレーム間についての差分特徴量が記録されている。
【００１９】
（４．システム構成）
図４は、本発明に係る映像信号再生装置の一実施形態を示すシステム構成図である。図４において、１０は音付映像ファイル記憶手段、１１はフレーム間差分テーブル、１２はデモ再生用音響ファイル記憶手段、１３はメニュー用映像ファイル記憶手段、１４は背景映像ファイル記憶手段、２０はファイル選択手段、３０は音響データブロック合成手段、４０は処理制御手段、５０は優先度算出手段、６０は表示制御手段、７０は音響出力手段、８０は映像表示デバイスである。
【００２０】
図４において、音付映像ファイル記憶手段１０は、音付映像ファイルを記憶するための記憶装置である。デモ再生用音響ファイル記憶手段１２は、デモ再生用音響ファイルを記録した記憶装置である。メニュー用映像ファイル記憶手段１３は、メニュー用の映像ファイルを記録した記憶装置である。背景映像ファイル記憶手段１４は、背景映像ファイルを記録した記憶装置である。音響データブロック合成手段３０は、音付映像ファイルから音響データブロックを抽出して合成する機能を有している。処理制御手段４０は、音響再生と映像再生の処理タイミングを制御する機能を有している。優先度算出手段５０は、複数の音付映像ファイルの映像フレームの表示優先度を算出する機能を有している。表示制御手段６０は、算出された表示優先度にしたがって、映像フレームを映像表示デバイス８０のメモリに書き込み画面表示させる機能を有している。音響出力手段７０は、処理制御手段４０の指示タイミングにしたがって、合成された音響データブロックを音として出力する機能を有している。具体的には、コンピュータに装着された合成音響データブロックをサウンドデバイスに書き込み音響再生させる処理を行う。図３に示したシステムは、現実には、コンピュータおよびその周辺機器等のハードウェア、コンピュータに搭載する専用のソフトウェアにより実現される。特に、音響データブロック合成手段３０、処理制御手段４０、優先度算出手段５０、表示制御手段６０はＣＰＵが専用のソフトウェアによる指示を実行することにより実現される。
【００２１】
（５．処理動作）
続いて、図４に示したシステムの処理動作について説明する。まず、システムを起動すると、図５に示すようなメニュー画面が表示される。図５において、Ｅは映像を表示するための映像表示領域であり、映像区画Ｅ１１〜映像区画Ｅ５５の２５の区画に分けられて映像が表示されている。ｃ１〜ｃ５は映像区画を選択していることを示すカーソルであり、１行に１つ用意されている。すなわち、映像は１行につき１つ選択可能となっており、初期状態では、図５に示すように左端の映像区画が選択されている。このメニュー画面では、図５に示すように２５個の映像が表示されているように見えるが、システムとしては、メニュー用映像ファイルを再生する処理を行っているだけであり、実際には、ディスプレイには１つの映像が１秒３０フレームのペースで表示されている。ただし、もともと異なる２５個の映像フレームを合成したものであるため、見る側から見ると、映像区画ごとに映像の内容が異なっている。この表示処理は、具体的には、表示制御手段６０が、メニュー用映像ファイル記憶手段１３からメニュー用映像ファイルを抽出し、再生することにより行われる。
【００２２】
このようなメニュー画面上で、利用者は合成再生の対象とする音付映像ファイルを選択することになる。具体的には、利用者が、表示されている映像区画をクリックすることにより行われる。利用者は、各行につき１つの映像区画を選択し、全部で５つの映像区画が選択されることになる。利用者が他の映像区画をクリックすると、クリックされた映像上にカーソルが移動すると共に、その映像区画に対応するデモ再生用音響ファイルが、デモ再生用音響ファイル記憶手段１２から抽出され、音響出力手段７０により再生出力される。すなわち、利用者にしてみると、クリックした映像区画に対応した音を、その場で聴くことができる。上述のように、デモ再生用音響ファイルは１０秒程度の長さであり、利用者が合成再生する対象となる演奏等の内容を確認するために用いられる。このようにして、利用者は、各行につき、１つの映像区画を選択していく。利用者が選択した後の画面の状態を図６に示す。図６の例では、１行目では映像区画Ｅ１２、２行目では映像区画Ｅ２３、３行目では映像区画Ｅ３５、４行目では映像区画Ｅ４１、５行目では映像区画Ｅ５３がそれぞれ選択されたことを示している。
【００２３】
ここで、このようなメニュー画面の構造について説明しておく。メニュー画面は、図７に示すような素材選択ボタン群、メニュー用映像フレーム、カーソル用オーバレイウィンドウの３つのレイヤーで構成されている。そして、素材選択ボタン群の上にメニュー用映像フレームを重ね、さらにその上にカーソル用オーバレイウィンドウを重ねることにより図５、図６に示した映像表示領域における表示が行われることになる。そして、利用者が映像区画上をクリックすると、その下の素材選択ボタンが反応し、カーソルレイヤー上の対応する行に配置されたカーソルが移動することになる。例えば、利用者がメニュー画面上で、図７（ｄ）に示すような３行３列目の映像区画をクリックすると、図７（ｅ）に示すように３行目のカーソルが１列目から３列目に移動することになる。この際、選択された映像区画に対応したデモ再生用音響ファイルが再生されることになる。５つの映像区画が選択された状態で、再生ボタンをクリックすると、選択された映像区画に対応する音付映像ファイルが音付映像選択ファイル記憶手段１０から抽出され、再生されることになる。
【００２４】
以下、選択された複数の音付映像ファイルの再生について説明する。再生指示が行われると、音響データブロック合成手段３０は、選択された５つの各音付映像ファイルから、先頭の映像フレームに対応する音響データブロックを抽出し、合成する。具体的には、音付映像ファイルの映像フレームに添付されている音響データブロックに対して、同一時刻に対応する値の総和を算出することにより、１つの合成音響データブロックを作成する。この時、１フレーム分の１／３０秒に対応する音響データ単位に処理をすると、短過ぎて効率が悪く後述する映像再生を行う処理に回す時間的余裕が不十分になるため、実施例では１５フレーム分（０．５秒）ずつ音響データブロックを抽出して、合成するようにしている。そして、処理制御手段４０による指示にしたがって、合成音響データブロックを音響出力手段７０が音として再生する。
【００２５】
音響出力手段７０が合成音響データブロックの再生を開始して、続いて再生する合成音響データブロックを待機させておくための音響出力手段７０内のバッファも満杯になると、ＣＰＵは、次のフレームの音響データブロックの処理をして音響出力手段７０に書き込むことができないため、そのままでは待ち状態に陥るが、処理制御手段４０は、その待ち時間を利用して、音響データの処理から映像フレームの処理に移行し、優先度算出手段５０、表示制御手段６０として、映像フレームの処理を行うことになる。各音付映像ファイルの先頭（第０フレーム）の映像フレームについては、表示制御手段６０は、無条件で映像表示デバイス８０に表示させる処理を行う。この際、背景映像ファイル記憶手段１４に記憶された背景映像ファイルから背景映像フレームを抽出し、背景映像フレームの上に重ねて表示させることもできる。背景映像としては動画を使用することもできるが、映像表示負荷が増大し、本願の趣旨から外れるため、実施例では静止画として第１フレームを表示するときだけ行うようにしている。このときの映像表示画面の様子を図８に示す。この際、表示制御手段６０は、前記選択された各音付映像ファイルの映像フレームに対して所定の画素アドレスだけオフセットをかけて出力する処理を行い、選択された５つの音付映像ファイルの映像フレームが互いに重ならないようにして出力している。
【００２６】
次の第１フレームからは、優先度を算出し、それに従った表示を行うことになる。具体的には、まず、再生中の合成音響データブロックに対応する再生時刻Ｔを取得する。そして、再生するべき映像フレームを抽出するため、再生時刻Ｔに対応したフレーム番号ｎを算出する。音付映像フレーム内の映像フレームは１秒３０フレームで構成され、音響データは１秒４８０００サンプルで構成されているため、音響データの再生時刻Ｔとフレーム番号ｎとは一般に１対１に対応しない。例えば、サウンドデバイスで再生中の合成音響データブロックのサンプルが第ｋサンプル目であって、サンプリング周波数が４８０００の場合、ｎ＝３０・ｋ／４８０００で算出される。映像フレームの表示速度が速い場合で、直前の映像フレームを再生した時刻から１０００サンプルしか経過していないと、フレーム番号の変化量はｎ＝０となり、同一のフレーム番号の映像フレームが重複して再生されることになり、逆に映像フレームの表示速度が遅い場合で、直前の映像フレームを再生した時刻から１００００サンプル経過すると、フレーム番号の変化量はｎ＝６となり、５フレーム飛ばされて６フレーム目の映像が再生されることになる。そして、取得したフレーム番号ｎを利用して、フレーム間差分テーブルから選択された５つの音付映像ファイルについてのフレーム間差分特徴量Ｄ１〜Ｄ５を得る。フレーム間差分特徴量Ｄ１〜Ｄ５が得られたら、これらを利用して、以下の〔数式２〕を利用して表示優先度Ｐ１〜Ｐ５を算出する。
【００２７】
〔数式２〕
Ｄｍ／Ｄｉ＞２．０の場合、Ｐｉ＝６
１．８＜Ｄｍ／Ｄｉ≦２．０の場合、Ｐｉ＝５
１．６＜Ｄｍ／Ｄｉ≦１．８の場合、Ｐｉ＝４
１．４＜Ｄｍ／Ｄｉ≦１．６の場合、Ｐｉ＝３
１．２＜Ｄｍ／Ｄｉ≦１．４の場合、Ｐｉ＝２
Ｄｍ／Ｄｉ≦１．２の場合、Ｐｉ＝１
【００２８】
なお、〔数式２〕において、Ｄｍは、Ｄ１〜Ｄ５の最大値であり、ｉは１〜５の値をとる。すなわち、〔数式２〕によれば、ＤｍをＤｉで除算した値が小さいほど、Ｐｉの値が小さくなり、表示優先度が高くなる。また、表示優先度Ｐ１〜Ｐ５の値は重複を許すため、例えば、Ｐ１〜Ｐ５の値が全て同一になる場合もある。
【００２９】
あるフレーム番号について、各音付映像ファイルについての表示優先度が得られたら、フレーム表示カウンタ値Ｃを利用して、各映像フレームを表示するか否かの判断を行う。具体的には、以下の〔数式３〕により算出する。
【００３０】
〔数式３〕
Ｃ％Ｐｉ＝Ｐｉ−１の場合、ＯＮ
Ｃ％Ｐｉ＝Ｐｉ−１でない場合、ＯＦＦ
【００３１】
すなわちフレーム表示カウンタ値ＣをＰｉで割った余りを算出し、これがＰｉ−１に一致する場合、表示をＯＮにし、そうでなければ表示をＯＦＦに設定することになる。続いて、映像フレームの表示を行う。具体的には、ＯＮに設定された映像フレームのみを映像表示デバイス８０に出力する。この際、映像フレームが圧縮されている場合には、映像フレームを抽出した後に復号を行い、出力する。ＯＦＦに設定された映像フレームは既に表示されている前の映像フレームのデータが静止画として維持される。この処理が終わると、フレーム表示カウンタ値Ｃが１加算される。以上の処理を、音響出力手段７０が合成音響データブロックの処理待ちが終了し、処理制御手段４０からの再生停止指示を受信するまで、繰り返し行う。
【００３２】
ここで、本装置により映像フレームがどのように処理されるかについて、具体例を用いて説明する。図９は、選択された５つの音付映像ファイルが第１トラックから第５トラックとして処理される場合の第１フレームから第６フレームまでを示す。図９において、矩形内はフレーム間差分特徴量の値を示している。例えば、図中「フレーム０１差分２００」とあるのは、第０フレームと第１フレームのフレーム間差分特徴量が２００であることを示している。表示処理としては、まず、全てのトラックの先頭フレームである第０フレームは無条件に表示される。第０フレームと第１フレームのフレーム間差分特徴量Ｄｉ（ｉ＝１〜５）を利用して上記〔数式２〕により優先度Ｐｉ（ｉ＝１〜５）を算出する。図９の例では、Ｄ１＝２００、Ｄ２＝１５０、Ｄ３＝１３０、Ｄ４＝１１５、Ｄ５＝１０５であるので、Ｄｍ＝Ｄ１＝２００となる。したがって、Ｄｍ／Ｄ１＝１．０であるため、上記〔数式２〕よりＰ１＝１となり、Ｄｍ／Ｄ２≒１．３３であるため、上記〔数式２〕よりＰ２＝２となり、Ｄｍ／Ｄ３≒１．５４であるため、上記〔数式２〕よりＰ３＝３となり、Ｄｍ／Ｄ４≒１．７４であるため、上記〔数式２〕よりＰ４＝４となり、Ｄｍ／Ｄ５≒１．９０であるため、上記〔数式２〕よりＰ５＝５となる。
【００３３】
フレーム表示カウンタ値Ｃは初期状態において「０」に設定され、以降フレーム番号が１増えるごとに１追加されるので、第１フレームの処理においては初期状態のため、Ｃ＝０である。すると、上記〔数式３〕より第１トラックだけＯＮとなり、第２トラック〜第５トラックはＯＦＦとなる。第１フレームの処理の後、フレーム表示カウンタ値Ｃが１追加されるため、第２フレームの処理においては、Ｃ＝１となる。すると、上記〔数式３〕より第１トラックと第２トラックがＯＮとなり、第３トラック〜第５トラックはＯＦＦとなる。同様にして表示するフレームと表示しないフレームが決定されるため、図９に示したフレーム間差分特徴量を持つ場合、図１０に示すような表示／非表示の決定が行われることになる。図１０において、矩形の枠が示されているフレームは表示されるフレームである。上記〔数式３〕によれば、Ｐｉ＝１の場合、常に表示され、Ｐｉ＝２の場合、カウンタ値Ｃが奇数の場合表示され、Ｐｉ＝３〜６の場合、それぞれＰｉで除算した余りが２〜５の場合に表示されることになる。これは、Ｐｉ＝１〜６に応じて、表示レートがそれぞれ、３０ｆｐｓ、１５ｆｐｓ、１０ｆｐｓ、７．５ｆｐｓ、６ｆｐｓ、５ｆｐｓとなることを示している。
【００３４】
図９の例では、フレーム間差分特徴量が各トラックにおいて、変動しない場合を示したが、通常は、フレーム間差分特徴量は同一トラックにおいても変動する。フレーム間差分特徴量が変動する場合の例を図１１示す。図１１に示すようなフレーム間差分特徴量を有する場合、各フレームの表示／非表示は、図１２に示すような状態となる。
【００３５】
以上のような音響データブロック合成手段３０、優先度算出手段５０、表示制御手段６０、音響出力手段７０による処理が、処理制御手段４０の指示にしたがって、音付映像ファイルの全音響データブロックの再生が終了するまで繰り返し行われる。これにより、図８に示した映像表示画面には、音響データが音として連続して表示される間に、対応する映像データが動画として再生されることになる。上記のように、選択された音付映像ファイルのうち、優先度の低い映像フレームでは当初から所定の個数のフレームに対して表示処理を行わないようにするため、ＣＰＵの処理能力に余裕が生まれ、逆に優先度の高い、動きの速い映像については、映像フレームを欠落させずに表示することができ、ＣＰＵの処理能力が低くて、全ての映像フレームをスペック上円滑に表示できない場合でも、全体的に円滑な動きを表現することができる。
【００３６】
また、本システムでは、映像フレームに音響データブロックを対応づけて記録した音付映像ファイルを対象として処理を行っているため、利用者は、コンピュータで汎用的に扱われているフォーマットの音付映像ファイルさえ用意して、本システムの音付映像ファイル記憶手段１０に記憶させておけば、本システムで利用することが可能となる。すなわち、利用者としては、素材として音付映像ファイルを準備するだけで、再生する複数の音付映像ファイルを随時入れ替えることにより、再生する映像および音楽コンテンツにバリエーションを与えることが可能になり、長時間にわたって変化する環境映像およびＢＧＭを提供することも可能になる。
【００３７】
（６．音声が映像より長く記録されている場合）
上記実施形態においては、音付映像ファイルに映像フレームと音響データブロックが同一の時間記録されている場合について説明したが、音付映像ファイルには、映像フレームと音響データブロックが同一の時間記録されていない場合がある。次に、映像フレームより音響データブロックの記録時間が長い場合について説明する。図１３（ａ）は、映像フレームより音響データブロックの記録時間が長い音付映像ファイル内の、映像フレームと音響データブロックの状態を模式的に示した図である。
【００３８】
図１３（ａ）に示すように、音響データブロックが、音付映像ファイル内の全体に渡って記録されているのに対し、映像フレームは、再生時刻Ｔｅまでしか記録されておらず、再生時刻Ｔｅ以降は、ブランク・フレームとなっている。このような場合、本システムは、時刻Ｔｅまでは、上記実施形態と同様に処理を行うが、時刻Ｔｅ以降は、第０フレームから処理を行うことになる。具体的には、処理制御手段４０は、音付映像ファイル記憶手段１０から音付映像ファイルを最初に読み込んだ際に、再生時刻Ｔｅまでしか映像が記録されていないことを認識し、その音付映像ファイルについて取得した再生時刻ＴがＴｅを超えたときに、再生時刻ＴをＴｅで除算した余りの値を、再生時刻として優先度算出手段５０に渡すことになる。この際、図１３（ｂ）に示すように、時刻Ｔｅまでに再生された映像フレームは、バッファメモリなどの高速記憶手段に記憶され、表示制御手段６０がここから読み出して繰り返し再生をすることになる。なお、実際の演算上は、時刻Ｔ、Ｔｅの計算はフレーム番号で行われることになる。
【００３９】
以上、本発明の好適な実施形態について説明したが、本発明は、上記実施形態に限定されず、種々の変形が可能である。例えば、上記実施形態では、選択された映像を表示する際、背景映像とともに表示するようにしたが、背景映像を用いないようにしても良い。また、上記実施形態では、音付映像ファイル選択用のメニュー画面を表示する際、複数の映像を合成したメニュー用映像フレームファイルを作成しておき、これを表示するようにしたが、各映像フレームをそのまま表示させるようにしても良い。
【００４０】
また、上記実施形態では、音響データについては、圧縮を行わない方式としたが、圧縮を行ったものを音付映像ファイルに各映像フレームと対応付けて記録するようにしても良い。この場合、音響出力手段７０は、圧縮符号化方式に対応して、復号して、再生する機能が必要となる。ただし、音響データは、映像データに比べてデータ量が小さいため、大量の映像フレームを扱う本システムにおいては、あまり問題にならない。
【００４１】
また、上記実施形態では、映像フレームを表示する際、図７に示すようにそのまま並べて表示したが、各映像についてマスクする等の加工を行うようにしても良い。この場合、音付映像ファイルの映像フレームには、画素ごとに上書きをするか否かを識別するためのマスクデータを添付しておく。そして、表示制御手段３０は、表示する際、選択された各音付映像ファイルの映像フレームの一部の画素に対しては、そのマスクデータに基づいて、表示しないという制御を行うようにする。
【図面の簡単な説明】
【００４２】
【図１】本発明で再生の対象とする音付動画ファイルの構造を示す図である。
【図２】合成対象とする各音響信号の信号波形を示す図である。
【図３】フレーム間差分テーブルの一例を示す図である。
【図４】本発明に係る音付映像の再生装置の一実施形態を示す機能ブロック図である。
【図５】本システムにおいて、再生する対象を選択するためのメニュー画面の初期状態を示す図である。
【図６】利用者により再生の対象が選択された状態のメニュー画面の状態を示す図である。
【図７】メニュー画面の映像表示領域を構成する各レイヤーの構造を示す図である。
【図８】選択された映像を複数表示した状態を示す図である。
【図９】再生対象となる５つの音付映像ファイルのフレーム間差分特徴量を示す図である。
【図１０】図９に示したフレームの表示／非表示を示す図である。
【図１１】音付映像ファイルのフレーム間差分特徴量が変化する場合を示す図である。
【図１２】図１１に示したフレームの表示／非表示を示す図である。
【図１３】映像フレームより音響データブロックの記録時間が長い音付映像ファイル内についての処理を示す図である。
【符号の説明】
【００４３】
１０・・・音付映像ファイル記憶手段
１１・・・フレーム間差分テーブル
１２・・・デモ再生用音響ファイル記憶手段
１３・・・メニュー用映像ファイル記憶手段
１４・・・背景映像ファイル記憶手段
２０・・・ファイル選択手段
３０・・・音響データブロック合成手段
４０・・・処理制御手段
５０・・・優先度算出手段
６０・・・表示制御手段
７０・・・音響出力手段
８０・・・映像表示デバイス
Ｃ・・・フレーム表示カウンタ値
ｃ１〜ｃ５・・・映像区画選択用カーソル
ｄ（ｘ，ｙ）・・・画素差分
Ｄｉ・・・フレーム間差分特徴量
Ｅ１〜Ｅ５・・・映像区画
Ｆ・・・サンプリング周波数
ｎ・・・フレーム番号
Ｐｉ・・・表示優先度
【技術分野】
【０００１】
本発明は、ＣＤ・ＤＶＤ等を用いた民生・業務用途における鑑賞用のパッケージ映像・音楽再生分野、放送事業者・公共施設の事業者等が商業目的で配信する環境映像・環境音楽分野において好適な音声信号および映像信号の再生技術に関する。
【背景技術】
【０００２】
従来より、複数の映像を同一画面上に表示させる技術が利用されている。複数の映像を同時に表示させようとする場合、現実には、コンピュータが、先頭の映像ファイルから順に処理することになるが、コンピュータの処理能力が追いつかないときには、後の映像ファイルのフレームが処理されなくなることがある。特に、後の映像ファイルに記録されている映像の動きが速い場合、処理されないフレームがあると、ぎこちない動きの映像になるという問題があった。
【０００３】
複数の映像を表示する場合については、優先的に表示したい映像に優先度を与えて大きな画面で表示するという技術も存在する（例えば、特許文献１参照）。
【特許文献１】特開２００１−３４２５０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来の技術では、限られたハードウェア資源の制約下でマルチ表示画面をスムーズに行うことはできないという問題がある。
【０００５】
そこで、本発明は、限られたハードウェア環境において、複数の映像を再生する場合であっても、滑らかな再生が可能となる映像信号の再生装置を提供することを課題とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本発明では、複数の映像フレームを有し、各映像フレームに音響データブロックが対応付けて添付された音付映像ファイルを複数再生する音付映像の再生装置を、音付映像ファイルの映像フレーム間の差分に基づくフレーム間差分特徴量を記録したフレーム間差分テーブルと、複数の前記音付映像ファイルから各々対応する映像フレームに添付された音響データブロックを抽出し、１つの合成音響データブロックに合成する音響データブロック合成手段と、前記合成音響データブロックを音響出力デバイスに書き込み、音響再生させる音響出力手段と、前記音響出力手段において再生中の合成音響データブロックに対応する再生時刻を取得する処理制御手段と、前記各音付映像ファイル内の、前記取得した再生時刻に対応する映像フレームについて、前記フレーム間差分テーブルを参照し、当該映像フレームについての優先度を算出する優先度算出手段と、前記取得した再生時刻に対応する各音付映像ファイルの映像フレームの優先度に基づいて、当該映像フレームを表示するか否かを決定するとともに、表示すると決定された映像フレームを映像表示デバイスのメモリに書き込み、画面表示させる表示制御手段を有する構成としたことを特徴とする。
【発明の効果】
【０００７】
本発明によれば、音付映像ファイルを複数同時に再生する際、再生する各ファイルにおける映像フレーム間の差分であるフレーム間差分を参照して各映像フレームの優先度を算出し、この優先度に従って、各映像フレームを表示するかどうかを決定するようにしたので、差分が大きく、動きの速い映像については、優先して表示されることとなり、限られたハードウェア環境においても、滑らかな再生が可能となる。
【発明を実施するための最良の形態】
【０００８】
（１．音付映像ファイルの構造）
以下、本発明の実施形態について図面を参照して詳細に説明する。まず、本発明に係る音付映像の再生装置で再生の対象とする音付映像ファイルの構造について説明する。図１に、汎用的な音付映像ファイルの構造を模式的に表現した図を示す。図１において、Ｖは映像フレーム、Ａは音響データブロックを示しており、０〜Ｎは映像フレームに対応したフレーム番号を示している。フレーム番号は、先頭から第何番目のフレームであるかを示す番号であり、全体でフレーム数がＮ＋１の場合、０〜Ｎの番号が付されている。汎用的な映像フォーマットでは、１秒間３０フレームで構成されており、例えば、３分の動画データであれば、５４００フレームで構成されることになる。また、映像フレームＶは、圧縮されているのが通常であり、圧縮方式により、１つの映像フレームＶから静止画像を復元できる場合もあり、他の映像フレームＶを利用しなければ静止画像を復元できない場合もある。音響データは、フレーム単位、すなわち１／３０秒単位で区分され、音響データブロックＡとして記録される。例えば、サンプリング周波数４８ｋＨｚでステレオ音響信号をサンプリングした場合は、１つの音響データブロックには、１／３０秒に相当する３２００サンプルが記録されることになる。
【０００９】
図１に示したような音付映像ファイルは、公知の手法により作成することができる。すなわち、ビデオカメラ等で撮影することにより得られる映像データと音響データが対応付けられた音付映像ファイルをそのまま使用しても良いし、撮影された映像データのみを使用するようにし、別に音響データを準備して先の映像データに対応付けて追記録するようにしても良い（音質面から後者の方法が一般的）。本実施形態では、別々に得られた映像データと音響データを対応付けて記録することにより作成している。
【００１０】
（２．音付映像ファイルの作成）
続いて、本実施形態における音付映像ファイルの作成について説明する。本実施形態では、本システムを、音付映像ファイルに素材として記録された音響データを合成して再生する装置に利用する場合を想定して説明する。本システムにおいては、合成する音付映像ファイルの数を適宜変更することができるが、本実施形態では、最大５つまで選択可能とした場合について説明する。この場合、音響データは、５つのトラックに設定されて再生されることになるが、各トラックについて例えば５つの楽曲を選択可能となるようにすると、全部で２５の音響データが必要となる。そのため、まず、録音等により得られたアナログの音響データをデジタル化して２５個のデジタルの音響データを得る。アナログの音響信号のデジタル化は、従来の一般的なＰＣＭの手法を用いて行う。具体的には、所定のサンプリング周波数でアナログ音響信号をサンプリングし、振幅を所定の量子化ビット数を用いてデジタルデータに変換する処理を行う。このようにしてデジタル化した音響データは、量子化ビット数に応じた値をもつサンプルの時系列の集合となる。例えば、サンプリング周波数を４８ｋＨｚ、量子化ビット数を１６ビットとした場合、１秒間のアナログ音響信号は、−３２７６８〜３２７６７の値をとるサンプル４８０００個からなるデジタル音響データに変換されることになる。
【００１１】
複数の音響データを合成して１つの再生音響データとして再生するためには、合成対象とする音響データの各再生時間が同一となるように加工する必要がある。これは、１つの音響データを基準として、他の音響データの各サンプル（各時刻において所定のビット数で量子化したもの）が、基準とした素材音響信号に時間的かつ音楽的に同期するように調整する処理を行う。また、本実施形態では、再生する利用者が、自由に音楽の構成を変化させることが可能なように、各音響データをメロディ、コード、リズム等のパートに分けて作成している。各音響データは、上述のようにアナログの音響信号をＰＣＭ等の手法でデジタルデータ化したものである。
【００１２】
ここで、５つのトラックとして設定する各音響データについて説明する。図２は、各トラックの音響データの信号波形を模式的に示したものである。図２の例では、各音響データが左右（Ｌ・Ｒ）２チャンネルで構成されるステレオ音響データの場合を示している。図２においては、説明の簡略化のため、信号の振幅値がある程度以上のレベルを有する部分、すなわち非無音部については同一の振幅で波形を示し、無音部は波形が無い状態で示している。複数のトラックの楽曲を合成して再生し、なおかつ各トラックについての楽曲を複数から選択可能とする場合、どのような組合せになっても、合成後の楽曲がまともなものとなるようにするために、各音響データは所定の規則に従って作成される必要がある。したがって、各トラックにおいては、どの楽曲を選択しても非無音部と無音部の時間的位置が原則同じになるように構成されている。すなわち、例えばトラック１用として準備される５つの各音響データは、原則同一位置に非無音部（有音部）、無音部を有するものとなるが、音楽的な変化が乏しくなることを避けるため、音楽規則上支障がない範囲で、非無音部と無音部の長さを多少変化させることも行われる。
【００１３】
図２に示したような波形の各音響データを合成して再生すると、まず、最初にトラック１とトラック５からの音が聞こえ、次に、トラック５からの音が消えてトラック３からの音が聞こえ、次に、トラック１とトラック３からの音が消えてトラック２とトラック４からの音が聞こえ、次に、トラック２とトラック４からの音が消えてトラック１とトラック３からの音が聞こえ、次に、トラック３からの音が消えてトラック５からの音が聞こえ、最後にトラック１とトラック５からの音が消えるということになる。
【００１４】
一方、映像データは、上記音響データに記録された音の内容に合わせたものを撮影し、撮影したデータを所定の方式で圧縮符号化する。例えば、各トラックに各国を代表するような楽器の音響データを設定する場合、その国の風景を撮影した映像を映像データとして撮影する。続いて、別々に得られた映像データと音響データを統合して１つの音付映像ファイルとすることになるが、これは、映像データの各フレームに対して、対応する時間相当の音響データブロックを記録することにより行われる。例えば、映像データが３０ｆｐｓ（フレーム／秒）、音響データが４８ｋＨｚステレオでサンプリングされている場合、３２００サンプルを１つの音響データブロックとして１つの映像フレームと対応付けて記録される。すなわち、図１に示したような形態で記録されることになる。
【００１５】
本実施形態においては、さらに、メニュー画面用にデータを加工し、記録している。具体的には、上記２５個の音付映像ファイルから先頭の１０秒を取り出し、メニュー用映像ファイルとデモ再生用音響ファイルを作成している。メニュー用映像ファイルは、上記音付映像ファイルから取り出した１０秒分の映像データを、各映像フレーム単位で２５個合成してメニュー用合成フレームを生成する。これにより、３００枚のメニュー用合成フレームから構成されるメニュー用映像ファイルが得られる。一方、デモ再生用音響ファイルは、上記音付映像ファイルから取り出した１０秒分の音響データブロックを連続して記録することにより得られる。また、映像を合成して再生する際に、その背景とする場合には、別途背景映像用の映像データである背景映像ファイルを用意しておく。背景映像ファイルは、構造的には、１秒３０フレームの通常の映像ファイルである。
【００１６】
（３．フレーム間差分テーブルの作成）
まず、事前の準備として、各音付映像ファイル内の各映像フレーム間の差分の特徴量を記録したフレーム間差分テーブルを作成する。フレーム間差分特徴量は、連続する２つの映像フレーム間において、記録されている映像にどの程度動きがあるかを示すものである。フレーム間差分特徴量の算出にあたっては、まず、連続するフレーム間の同一の座標（ｘ，ｙ）の差分ｄ（ｘ，ｙ）を算出し、フレーム内における全画素（ｘ，ｙ）についての差分ｄ（ｘ，ｙ）を求める。なお、差分ｄ（ｘ，ｙ）は以下の〔数式１〕で算出される。
【００１７】
〔数式１〕
ｄ（ｘ，ｙ）＝［｛Ｒ（ｎ，ｘ，ｙ）−Ｒ（ｎ−１，ｘ，ｙ）｝2＋｛Ｇ（ｎ，ｘ，ｙ）−Ｇ（ｎ−１，ｘ，ｙ）｝2＋｛Ｂ（ｎ，ｘ，ｙ）−Ｂ（ｎ−１，ｘ，ｙ）｝2＋］1/2
【００１８】
なお、上記〔数式１〕において、ｎ−１およびｎはフレーム番号を示している。 全画素に対して算出された画素差分ｄ（ｘ，ｙ）の平均値がフレーム間差分特徴量として、フレーム間差分テーブルに記録される。フレーム間差分テーブルに記録された情報の一例を図３に示す。図３に示すように、全音付映像ファイルの連続する全フレーム間についての差分特徴量が記録されている。
【００１９】
（４．システム構成）
図４は、本発明に係る映像信号再生装置の一実施形態を示すシステム構成図である。図４において、１０は音付映像ファイル記憶手段、１１はフレーム間差分テーブル、１２はデモ再生用音響ファイル記憶手段、１３はメニュー用映像ファイル記憶手段、１４は背景映像ファイル記憶手段、２０はファイル選択手段、３０は音響データブロック合成手段、４０は処理制御手段、５０は優先度算出手段、６０は表示制御手段、７０は音響出力手段、８０は映像表示デバイスである。
【００２０】
図４において、音付映像ファイル記憶手段１０は、音付映像ファイルを記憶するための記憶装置である。デモ再生用音響ファイル記憶手段１２は、デモ再生用音響ファイルを記録した記憶装置である。メニュー用映像ファイル記憶手段１３は、メニュー用の映像ファイルを記録した記憶装置である。背景映像ファイル記憶手段１４は、背景映像ファイルを記録した記憶装置である。音響データブロック合成手段３０は、音付映像ファイルから音響データブロックを抽出して合成する機能を有している。処理制御手段４０は、音響再生と映像再生の処理タイミングを制御する機能を有している。優先度算出手段５０は、複数の音付映像ファイルの映像フレームの表示優先度を算出する機能を有している。表示制御手段６０は、算出された表示優先度にしたがって、映像フレームを映像表示デバイス８０のメモリに書き込み画面表示させる機能を有している。音響出力手段７０は、処理制御手段４０の指示タイミングにしたがって、合成された音響データブロックを音として出力する機能を有している。具体的には、コンピュータに装着された合成音響データブロックをサウンドデバイスに書き込み音響再生させる処理を行う。図３に示したシステムは、現実には、コンピュータおよびその周辺機器等のハードウェア、コンピュータに搭載する専用のソフトウェアにより実現される。特に、音響データブロック合成手段３０、処理制御手段４０、優先度算出手段５０、表示制御手段６０はＣＰＵが専用のソフトウェアによる指示を実行することにより実現される。
【００２１】
（５．処理動作）
続いて、図４に示したシステムの処理動作について説明する。まず、システムを起動すると、図５に示すようなメニュー画面が表示される。図５において、Ｅは映像を表示するための映像表示領域であり、映像区画Ｅ１１〜映像区画Ｅ５５の２５の区画に分けられて映像が表示されている。ｃ１〜ｃ５は映像区画を選択していることを示すカーソルであり、１行に１つ用意されている。すなわち、映像は１行につき１つ選択可能となっており、初期状態では、図５に示すように左端の映像区画が選択されている。このメニュー画面では、図５に示すように２５個の映像が表示されているように見えるが、システムとしては、メニュー用映像ファイルを再生する処理を行っているだけであり、実際には、ディスプレイには１つの映像が１秒３０フレームのペースで表示されている。ただし、もともと異なる２５個の映像フレームを合成したものであるため、見る側から見ると、映像区画ごとに映像の内容が異なっている。この表示処理は、具体的には、表示制御手段６０が、メニュー用映像ファイル記憶手段１３からメニュー用映像ファイルを抽出し、再生することにより行われる。
【００２２】
このようなメニュー画面上で、利用者は合成再生の対象とする音付映像ファイルを選択することになる。具体的には、利用者が、表示されている映像区画をクリックすることにより行われる。利用者は、各行につき１つの映像区画を選択し、全部で５つの映像区画が選択されることになる。利用者が他の映像区画をクリックすると、クリックされた映像上にカーソルが移動すると共に、その映像区画に対応するデモ再生用音響ファイルが、デモ再生用音響ファイル記憶手段１２から抽出され、音響出力手段７０により再生出力される。すなわち、利用者にしてみると、クリックした映像区画に対応した音を、その場で聴くことができる。上述のように、デモ再生用音響ファイルは１０秒程度の長さであり、利用者が合成再生する対象となる演奏等の内容を確認するために用いられる。このようにして、利用者は、各行につき、１つの映像区画を選択していく。利用者が選択した後の画面の状態を図６に示す。図６の例では、１行目では映像区画Ｅ１２、２行目では映像区画Ｅ２３、３行目では映像区画Ｅ３５、４行目では映像区画Ｅ４１、５行目では映像区画Ｅ５３がそれぞれ選択されたことを示している。
【００２３】
ここで、このようなメニュー画面の構造について説明しておく。メニュー画面は、図７に示すような素材選択ボタン群、メニュー用映像フレーム、カーソル用オーバレイウィンドウの３つのレイヤーで構成されている。そして、素材選択ボタン群の上にメニュー用映像フレームを重ね、さらにその上にカーソル用オーバレイウィンドウを重ねることにより図５、図６に示した映像表示領域における表示が行われることになる。そして、利用者が映像区画上をクリックすると、その下の素材選択ボタンが反応し、カーソルレイヤー上の対応する行に配置されたカーソルが移動することになる。例えば、利用者がメニュー画面上で、図７（ｄ）に示すような３行３列目の映像区画をクリックすると、図７（ｅ）に示すように３行目のカーソルが１列目から３列目に移動することになる。この際、選択された映像区画に対応したデモ再生用音響ファイルが再生されることになる。５つの映像区画が選択された状態で、再生ボタンをクリックすると、選択された映像区画に対応する音付映像ファイルが音付映像選択ファイル記憶手段１０から抽出され、再生されることになる。
【００２４】
以下、選択された複数の音付映像ファイルの再生について説明する。再生指示が行われると、音響データブロック合成手段３０は、選択された５つの各音付映像ファイルから、先頭の映像フレームに対応する音響データブロックを抽出し、合成する。具体的には、音付映像ファイルの映像フレームに添付されている音響データブロックに対して、同一時刻に対応する値の総和を算出することにより、１つの合成音響データブロックを作成する。この時、１フレーム分の１／３０秒に対応する音響データ単位に処理をすると、短過ぎて効率が悪く後述する映像再生を行う処理に回す時間的余裕が不十分になるため、実施例では１５フレーム分（０．５秒）ずつ音響データブロックを抽出して、合成するようにしている。そして、処理制御手段４０による指示にしたがって、合成音響データブロックを音響出力手段７０が音として再生する。
【００２５】
音響出力手段７０が合成音響データブロックの再生を開始して、続いて再生する合成音響データブロックを待機させておくための音響出力手段７０内のバッファも満杯になると、ＣＰＵは、次のフレームの音響データブロックの処理をして音響出力手段７０に書き込むことができないため、そのままでは待ち状態に陥るが、処理制御手段４０は、その待ち時間を利用して、音響データの処理から映像フレームの処理に移行し、優先度算出手段５０、表示制御手段６０として、映像フレームの処理を行うことになる。各音付映像ファイルの先頭（第０フレーム）の映像フレームについては、表示制御手段６０は、無条件で映像表示デバイス８０に表示させる処理を行う。この際、背景映像ファイル記憶手段１４に記憶された背景映像ファイルから背景映像フレームを抽出し、背景映像フレームの上に重ねて表示させることもできる。背景映像としては動画を使用することもできるが、映像表示負荷が増大し、本願の趣旨から外れるため、実施例では静止画として第１フレームを表示するときだけ行うようにしている。このときの映像表示画面の様子を図８に示す。この際、表示制御手段６０は、前記選択された各音付映像ファイルの映像フレームに対して所定の画素アドレスだけオフセットをかけて出力する処理を行い、選択された５つの音付映像ファイルの映像フレームが互いに重ならないようにして出力している。
【００２６】
次の第１フレームからは、優先度を算出し、それに従った表示を行うことになる。具体的には、まず、再生中の合成音響データブロックに対応する再生時刻Ｔを取得する。そして、再生するべき映像フレームを抽出するため、再生時刻Ｔに対応したフレーム番号ｎを算出する。音付映像フレーム内の映像フレームは１秒３０フレームで構成され、音響データは１秒４８０００サンプルで構成されているため、音響データの再生時刻Ｔとフレーム番号ｎとは一般に１対１に対応しない。例えば、サウンドデバイスで再生中の合成音響データブロックのサンプルが第ｋサンプル目であって、サンプリング周波数が４８０００の場合、ｎ＝３０・ｋ／４８０００で算出される。映像フレームの表示速度が速い場合で、直前の映像フレームを再生した時刻から１０００サンプルしか経過していないと、フレーム番号の変化量はｎ＝０となり、同一のフレーム番号の映像フレームが重複して再生されることになり、逆に映像フレームの表示速度が遅い場合で、直前の映像フレームを再生した時刻から１００００サンプル経過すると、フレーム番号の変化量はｎ＝６となり、５フレーム飛ばされて６フレーム目の映像が再生されることになる。そして、取得したフレーム番号ｎを利用して、フレーム間差分テーブルから選択された５つの音付映像ファイルについてのフレーム間差分特徴量Ｄ１〜Ｄ５を得る。フレーム間差分特徴量Ｄ１〜Ｄ５が得られたら、これらを利用して、以下の〔数式２〕を利用して表示優先度Ｐ１〜Ｐ５を算出する。
【００２７】
〔数式２〕
Ｄｍ／Ｄｉ＞２．０の場合、Ｐｉ＝６
１．８＜Ｄｍ／Ｄｉ≦２．０の場合、Ｐｉ＝５
１．６＜Ｄｍ／Ｄｉ≦１．８の場合、Ｐｉ＝４
１．４＜Ｄｍ／Ｄｉ≦１．６の場合、Ｐｉ＝３
１．２＜Ｄｍ／Ｄｉ≦１．４の場合、Ｐｉ＝２
Ｄｍ／Ｄｉ≦１．２の場合、Ｐｉ＝１
【００２８】
なお、〔数式２〕において、Ｄｍは、Ｄ１〜Ｄ５の最大値であり、ｉは１〜５の値をとる。すなわち、〔数式２〕によれば、ＤｍをＤｉで除算した値が小さいほど、Ｐｉの値が小さくなり、表示優先度が高くなる。また、表示優先度Ｐ１〜Ｐ５の値は重複を許すため、例えば、Ｐ１〜Ｐ５の値が全て同一になる場合もある。
【００２９】
あるフレーム番号について、各音付映像ファイルについての表示優先度が得られたら、フレーム表示カウンタ値Ｃを利用して、各映像フレームを表示するか否かの判断を行う。具体的には、以下の〔数式３〕により算出する。
【００３０】
〔数式３〕
Ｃ％Ｐｉ＝Ｐｉ−１の場合、ＯＮ
Ｃ％Ｐｉ＝Ｐｉ−１でない場合、ＯＦＦ
【００３１】
すなわちフレーム表示カウンタ値ＣをＰｉで割った余りを算出し、これがＰｉ−１に一致する場合、表示をＯＮにし、そうでなければ表示をＯＦＦに設定することになる。続いて、映像フレームの表示を行う。具体的には、ＯＮに設定された映像フレームのみを映像表示デバイス８０に出力する。この際、映像フレームが圧縮されている場合には、映像フレームを抽出した後に復号を行い、出力する。ＯＦＦに設定された映像フレームは既に表示されている前の映像フレームのデータが静止画として維持される。この処理が終わると、フレーム表示カウンタ値Ｃが１加算される。以上の処理を、音響出力手段７０が合成音響データブロックの処理待ちが終了し、処理制御手段４０からの再生停止指示を受信するまで、繰り返し行う。
【００３２】
ここで、本装置により映像フレームがどのように処理されるかについて、具体例を用いて説明する。図９は、選択された５つの音付映像ファイルが第１トラックから第５トラックとして処理される場合の第１フレームから第６フレームまでを示す。図９において、矩形内はフレーム間差分特徴量の値を示している。例えば、図中「フレーム０１差分２００」とあるのは、第０フレームと第１フレームのフレーム間差分特徴量が２００であることを示している。表示処理としては、まず、全てのトラックの先頭フレームである第０フレームは無条件に表示される。第０フレームと第１フレームのフレーム間差分特徴量Ｄｉ（ｉ＝１〜５）を利用して上記〔数式２〕により優先度Ｐｉ（ｉ＝１〜５）を算出する。図９の例では、Ｄ１＝２００、Ｄ２＝１５０、Ｄ３＝１３０、Ｄ４＝１１５、Ｄ５＝１０５であるので、Ｄｍ＝Ｄ１＝２００となる。したがって、Ｄｍ／Ｄ１＝１．０であるため、上記〔数式２〕よりＰ１＝１となり、Ｄｍ／Ｄ２≒１．３３であるため、上記〔数式２〕よりＰ２＝２となり、Ｄｍ／Ｄ３≒１．５４であるため、上記〔数式２〕よりＰ３＝３となり、Ｄｍ／Ｄ４≒１．７４であるため、上記〔数式２〕よりＰ４＝４となり、Ｄｍ／Ｄ５≒１．９０であるため、上記〔数式２〕よりＰ５＝５となる。
【００３３】
フレーム表示カウンタ値Ｃは初期状態において「０」に設定され、以降フレーム番号が１増えるごとに１追加されるので、第１フレームの処理においては初期状態のため、Ｃ＝０である。すると、上記〔数式３〕より第１トラックだけＯＮとなり、第２トラック〜第５トラックはＯＦＦとなる。第１フレームの処理の後、フレーム表示カウンタ値Ｃが１追加されるため、第２フレームの処理においては、Ｃ＝１となる。すると、上記〔数式３〕より第１トラックと第２トラックがＯＮとなり、第３トラック〜第５トラックはＯＦＦとなる。同様にして表示するフレームと表示しないフレームが決定されるため、図９に示したフレーム間差分特徴量を持つ場合、図１０に示すような表示／非表示の決定が行われることになる。図１０において、矩形の枠が示されているフレームは表示されるフレームである。上記〔数式３〕によれば、Ｐｉ＝１の場合、常に表示され、Ｐｉ＝２の場合、カウンタ値Ｃが奇数の場合表示され、Ｐｉ＝３〜６の場合、それぞれＰｉで除算した余りが２〜５の場合に表示されることになる。これは、Ｐｉ＝１〜６に応じて、表示レートがそれぞれ、３０ｆｐｓ、１５ｆｐｓ、１０ｆｐｓ、７．５ｆｐｓ、６ｆｐｓ、５ｆｐｓとなることを示している。
【００３４】
図９の例では、フレーム間差分特徴量が各トラックにおいて、変動しない場合を示したが、通常は、フレーム間差分特徴量は同一トラックにおいても変動する。フレーム間差分特徴量が変動する場合の例を図１１示す。図１１に示すようなフレーム間差分特徴量を有する場合、各フレームの表示／非表示は、図１２に示すような状態となる。
【００３５】
以上のような音響データブロック合成手段３０、優先度算出手段５０、表示制御手段６０、音響出力手段７０による処理が、処理制御手段４０の指示にしたがって、音付映像ファイルの全音響データブロックの再生が終了するまで繰り返し行われる。これにより、図８に示した映像表示画面には、音響データが音として連続して表示される間に、対応する映像データが動画として再生されることになる。上記のように、選択された音付映像ファイルのうち、優先度の低い映像フレームでは当初から所定の個数のフレームに対して表示処理を行わないようにするため、ＣＰＵの処理能力に余裕が生まれ、逆に優先度の高い、動きの速い映像については、映像フレームを欠落させずに表示することができ、ＣＰＵの処理能力が低くて、全ての映像フレームをスペック上円滑に表示できない場合でも、全体的に円滑な動きを表現することができる。
【００３６】
また、本システムでは、映像フレームに音響データブロックを対応づけて記録した音付映像ファイルを対象として処理を行っているため、利用者は、コンピュータで汎用的に扱われているフォーマットの音付映像ファイルさえ用意して、本システムの音付映像ファイル記憶手段１０に記憶させておけば、本システムで利用することが可能となる。すなわち、利用者としては、素材として音付映像ファイルを準備するだけで、再生する複数の音付映像ファイルを随時入れ替えることにより、再生する映像および音楽コンテンツにバリエーションを与えることが可能になり、長時間にわたって変化する環境映像およびＢＧＭを提供することも可能になる。
【００３７】
（６．音声が映像より長く記録されている場合）
上記実施形態においては、音付映像ファイルに映像フレームと音響データブロックが同一の時間記録されている場合について説明したが、音付映像ファイルには、映像フレームと音響データブロックが同一の時間記録されていない場合がある。次に、映像フレームより音響データブロックの記録時間が長い場合について説明する。図１３（ａ）は、映像フレームより音響データブロックの記録時間が長い音付映像ファイル内の、映像フレームと音響データブロックの状態を模式的に示した図である。
【００３８】
図１３（ａ）に示すように、音響データブロックが、音付映像ファイル内の全体に渡って記録されているのに対し、映像フレームは、再生時刻Ｔｅまでしか記録されておらず、再生時刻Ｔｅ以降は、ブランク・フレームとなっている。このような場合、本システムは、時刻Ｔｅまでは、上記実施形態と同様に処理を行うが、時刻Ｔｅ以降は、第０フレームから処理を行うことになる。具体的には、処理制御手段４０は、音付映像ファイル記憶手段１０から音付映像ファイルを最初に読み込んだ際に、再生時刻Ｔｅまでしか映像が記録されていないことを認識し、その音付映像ファイルについて取得した再生時刻ＴがＴｅを超えたときに、再生時刻ＴをＴｅで除算した余りの値を、再生時刻として優先度算出手段５０に渡すことになる。この際、図１３（ｂ）に示すように、時刻Ｔｅまでに再生された映像フレームは、バッファメモリなどの高速記憶手段に記憶され、表示制御手段６０がここから読み出して繰り返し再生をすることになる。なお、実際の演算上は、時刻Ｔ、Ｔｅの計算はフレーム番号で行われることになる。
【００３９】
以上、本発明の好適な実施形態について説明したが、本発明は、上記実施形態に限定されず、種々の変形が可能である。例えば、上記実施形態では、選択された映像を表示する際、背景映像とともに表示するようにしたが、背景映像を用いないようにしても良い。また、上記実施形態では、音付映像ファイル選択用のメニュー画面を表示する際、複数の映像を合成したメニュー用映像フレームファイルを作成しておき、これを表示するようにしたが、各映像フレームをそのまま表示させるようにしても良い。
【００４０】
また、上記実施形態では、音響データについては、圧縮を行わない方式としたが、圧縮を行ったものを音付映像ファイルに各映像フレームと対応付けて記録するようにしても良い。この場合、音響出力手段７０は、圧縮符号化方式に対応して、復号して、再生する機能が必要となる。ただし、音響データは、映像データに比べてデータ量が小さいため、大量の映像フレームを扱う本システムにおいては、あまり問題にならない。
【００４１】
また、上記実施形態では、映像フレームを表示する際、図７に示すようにそのまま並べて表示したが、各映像についてマスクする等の加工を行うようにしても良い。この場合、音付映像ファイルの映像フレームには、画素ごとに上書きをするか否かを識別するためのマスクデータを添付しておく。そして、表示制御手段３０は、表示する際、選択された各音付映像ファイルの映像フレームの一部の画素に対しては、そのマスクデータに基づいて、表示しないという制御を行うようにする。
【図面の簡単な説明】
【００４２】
【図１】本発明で再生の対象とする音付動画ファイルの構造を示す図である。
【図２】合成対象とする各音響信号の信号波形を示す図である。
【図３】フレーム間差分テーブルの一例を示す図である。
【図４】本発明に係る音付映像の再生装置の一実施形態を示す機能ブロック図である。
【図５】本システムにおいて、再生する対象を選択するためのメニュー画面の初期状態を示す図である。
【図６】利用者により再生の対象が選択された状態のメニュー画面の状態を示す図である。
【図７】メニュー画面の映像表示領域を構成する各レイヤーの構造を示す図である。
【図８】選択された映像を複数表示した状態を示す図である。
【図９】再生対象となる５つの音付映像ファイルのフレーム間差分特徴量を示す図である。
【図１０】図９に示したフレームの表示／非表示を示す図である。
【図１１】音付映像ファイルのフレーム間差分特徴量が変化する場合を示す図である。
【図１２】図１１に示したフレームの表示／非表示を示す図である。
【図１３】映像フレームより音響データブロックの記録時間が長い音付映像ファイル内についての処理を示す図である。
【符号の説明】
【００４３】
１０・・・音付映像ファイル記憶手段
１１・・・フレーム間差分テーブル
１２・・・デモ再生用音響ファイル記憶手段
１３・・・メニュー用映像ファイル記憶手段
１４・・・背景映像ファイル記憶手段
２０・・・ファイル選択手段
３０・・・音響データブロック合成手段
４０・・・処理制御手段
５０・・・優先度算出手段
６０・・・表示制御手段
７０・・・音響出力手段
８０・・・映像表示デバイス
Ｃ・・・フレーム表示カウンタ値
ｃ１〜ｃ５・・・映像区画選択用カーソル
ｄ（ｘ，ｙ）・・・画素差分
Ｄｉ・・・フレーム間差分特徴量
Ｅ１〜Ｅ５・・・映像区画
Ｆ・・・サンプリング周波数
ｎ・・・フレーム番号
Ｐｉ・・・表示優先度
【特許請求の範囲】
【請求項１】
複数の映像フレームを有し、各映像フレームに音響データブロックが対応付けて添付された音付映像ファイルを複数再生する装置であって、
音付映像ファイルの映像フレーム間の差分に基づくフレーム間差分特徴量を記録したフレーム間差分テーブルと、
複数の前記音付映像ファイルから各々対応する映像フレームに添付された音響データブロックを抽出し、１つの合成音響データブロックに合成する音響データブロック合成手段と、
前記合成音響データブロックを音響出力デバイスに書き込み、音響再生させる音響出力手段と、
前記音響出力手段において再生中の合成音響データブロックに対応する再生時刻を取得する処理制御手段と、
前記各音付映像ファイル内の、前記取得した再生時刻に対応する映像フレームについて、前記フレーム間差分テーブルを参照し、当該映像フレームについての優先度を算出する優先度算出手段と、
前記取得した再生時刻に対応する各音付映像ファイルの映像フレームの優先度に基づいて、当該映像フレームを表示するか否かを決定するとともに、表示すると決定された映像フレームを映像表示デバイスのメモリに書き込み、画面表示させる表示制御手段と、
を備えていることを特徴とする音付映像の再生装置。
【請求項２】
請求項１において、
前記音響データブロック合成手段および前記音響出力手段は、前記音響出力デバイスへの書き込み待ちになるまで処理を継続し、前記処理制御手段は、書き込み待ちになった段階で、前記優先度算出手段、前記表示制御手段における各処理を実行させ、再度前記音響データブロック合成手段および前記音響出力手段による処理を行わせることを特徴とする音付映像の再生装置。
【請求項３】
請求項１において、
前記表示制御手段は、フレーム表示を実行した表示実行回数をカウントを行い、当該表示実行回数および前記各映像フレームの優先度に基づいて、当該映像フレームを表示するか否かを決定するものであることを特徴とする音付映像の再生装置。
【請求項４】
請求項１において、
前記音付映像ファイルに映像フレームが所定の再生時刻Ｔｅ以降存在せず、音響データブロックのみが記録されている場合、前記表示制御手段は、取得した再生時刻Ｔが前記再生時刻Ｔｅより大きい場合に、再生時刻ＴをＴ％Ｔｅに置換するものであることを特徴とする音付映像の再生装置。
【請求項５】
請求項４において、
前記音付映像ファイル内の再生時刻Ｔｅまでの映像フレームを高速アクセス可能な高速記憶手段に格納し、前記表示制御手段は、前記映像フレームを前記高速記憶手段より読み出すものであることを特徴とする音付映像の再生装置。
【請求項６】
請求項１において、
前記音付映像ファイルを複数記憶した音付映像ファイル記憶手段と、
前記音付映像ファイル記憶手段から再生の対象とする複数の音付映像ファイルを選択するファイル選択手段を備え、
前記音響データブロック合成手段は、前記選択された複数の音付映像ファイルから各々対応する映像フレームに添付された音響データブロックを抽出し、１つの合成音響データブロックに合成するものであることを特徴とする音付映像の再生装置。
【請求項７】
請求項６において、
前記ファイル選択手段は、前記音付映像ファイル記憶手段に蓄積されている音付映像ファイルのうち、所定の音付映像ファイルから抽出した映像フレームを合成して作成されたメニュー用合成フレームを映像表示デバイスのメモリに書き込み、画面に表示させ、当該画面上で映像区画を選択させることにより、再生の対象とする音付映像ファイルを選択するものであることを特徴とする音付映像の再生装置。
【請求項８】
請求項７において、
あらかじめ音付映像ファイルから音響データだけを抽出したデモ再生用音響ファイルを準備しておき、前記画面上で選択された映像区画に対応するデモ再生用音響ファイルを再生させる機能を有することを特徴とする音付映像の再生装置。
【請求項９】
請求項１において、
前記音響データブロック合成手段は、前記複数の音付映像ファイルの映像フレームに添付されている音響データブロックに対して、音響データブロック同士の対応する値の総和を算出することにより、１つの合成音響データブロックを作成するものであることを特徴とする音付映像の再生装置。
【請求項１０】
請求項１において、
前記音付映像ファイル記憶手段に蓄積されている音付映像ファイルの映像フレームは、所定の方法により圧縮符号化された状態で記録されたものであり、前記表示制御手段は、選択された音付映像ファイルから映像フレームを抽出した後に復号を行い、復号された映像フレームを前記映像表示デバイスのメモリに書き込むものであることを特徴とする音付映像の再生装置。
【請求項１１】
請求項１において、
前記音付映像ファイル記憶手段に蓄積されている音付映像ファイルに記録された音響データブロックは、所定の方法により圧縮符号化された状態で記録されたものであり、前記音響データブロック合成手段は、前記選択された複数の音付映像ファイルの映像フレームに添付されている音響データブロックを抽出した後に復号を行い、１つの合成音響データブロックを作成するものであることを特徴とする音付映像の再生装置。
【請求項１２】
請求項１から請求項１１に記載の再生装置としてコンピュータを機能させるためのプログラム。
【請求項１】
複数の映像フレームを有し、各映像フレームに音響データブロックが対応付けて添付された音付映像ファイルを複数再生する装置であって、
音付映像ファイルの映像フレーム間の差分に基づくフレーム間差分特徴量を記録したフレーム間差分テーブルと、
複数の前記音付映像ファイルから各々対応する映像フレームに添付された音響データブロックを抽出し、１つの合成音響データブロックに合成する音響データブロック合成手段と、
前記合成音響データブロックを音響出力デバイスに書き込み、音響再生させる音響出力手段と、
前記音響出力手段において再生中の合成音響データブロックに対応する再生時刻を取得する処理制御手段と、
前記各音付映像ファイル内の、前記取得した再生時刻に対応する映像フレームについて、前記フレーム間差分テーブルを参照し、当該映像フレームについての優先度を算出する優先度算出手段と、
前記取得した再生時刻に対応する各音付映像ファイルの映像フレームの優先度に基づいて、当該映像フレームを表示するか否かを決定するとともに、表示すると決定された映像フレームを映像表示デバイスのメモリに書き込み、画面表示させる表示制御手段と、
を備えていることを特徴とする音付映像の再生装置。
【請求項２】
請求項１において、
前記音響データブロック合成手段および前記音響出力手段は、前記音響出力デバイスへの書き込み待ちになるまで処理を継続し、前記処理制御手段は、書き込み待ちになった段階で、前記優先度算出手段、前記表示制御手段における各処理を実行させ、再度前記音響データブロック合成手段および前記音響出力手段による処理を行わせることを特徴とする音付映像の再生装置。
【請求項３】
請求項１において、
前記表示制御手段は、フレーム表示を実行した表示実行回数をカウントを行い、当該表示実行回数および前記各映像フレームの優先度に基づいて、当該映像フレームを表示するか否かを決定するものであることを特徴とする音付映像の再生装置。
【請求項４】
請求項１において、
前記音付映像ファイルに映像フレームが所定の再生時刻Ｔｅ以降存在せず、音響データブロックのみが記録されている場合、前記表示制御手段は、取得した再生時刻Ｔが前記再生時刻Ｔｅより大きい場合に、再生時刻ＴをＴ％Ｔｅに置換するものであることを特徴とする音付映像の再生装置。
【請求項５】
請求項４において、
前記音付映像ファイル内の再生時刻Ｔｅまでの映像フレームを高速アクセス可能な高速記憶手段に格納し、前記表示制御手段は、前記映像フレームを前記高速記憶手段より読み出すものであることを特徴とする音付映像の再生装置。
【請求項６】
請求項１において、
前記音付映像ファイルを複数記憶した音付映像ファイル記憶手段と、
前記音付映像ファイル記憶手段から再生の対象とする複数の音付映像ファイルを選択するファイル選択手段を備え、
前記音響データブロック合成手段は、前記選択された複数の音付映像ファイルから各々対応する映像フレームに添付された音響データブロックを抽出し、１つの合成音響データブロックに合成するものであることを特徴とする音付映像の再生装置。
【請求項７】
請求項６において、
前記ファイル選択手段は、前記音付映像ファイル記憶手段に蓄積されている音付映像ファイルのうち、所定の音付映像ファイルから抽出した映像フレームを合成して作成されたメニュー用合成フレームを映像表示デバイスのメモリに書き込み、画面に表示させ、当該画面上で映像区画を選択させることにより、再生の対象とする音付映像ファイルを選択するものであることを特徴とする音付映像の再生装置。
【請求項８】
請求項７において、
あらかじめ音付映像ファイルから音響データだけを抽出したデモ再生用音響ファイルを準備しておき、前記画面上で選択された映像区画に対応するデモ再生用音響ファイルを再生させる機能を有することを特徴とする音付映像の再生装置。
【請求項９】
請求項１において、
前記音響データブロック合成手段は、前記複数の音付映像ファイルの映像フレームに添付されている音響データブロックに対して、音響データブロック同士の対応する値の総和を算出することにより、１つの合成音響データブロックを作成するものであることを特徴とする音付映像の再生装置。
【請求項１０】
請求項１において、
前記音付映像ファイル記憶手段に蓄積されている音付映像ファイルの映像フレームは、所定の方法により圧縮符号化された状態で記録されたものであり、前記表示制御手段は、選択された音付映像ファイルから映像フレームを抽出した後に復号を行い、復号された映像フレームを前記映像表示デバイスのメモリに書き込むものであることを特徴とする音付映像の再生装置。
【請求項１１】
請求項１において、
前記音付映像ファイル記憶手段に蓄積されている音付映像ファイルに記録された音響データブロックは、所定の方法により圧縮符号化された状態で記録されたものであり、前記音響データブロック合成手段は、前記選択された複数の音付映像ファイルの映像フレームに添付されている音響データブロックを抽出した後に復号を行い、１つの合成音響データブロックを作成するものであることを特徴とする音付映像の再生装置。
【請求項１２】
請求項１から請求項１１に記載の再生装置としてコンピュータを機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２００６−４２０９１（Ｐ２００６−４２０９１Ａ）
【公開日】平成１８年２月９日（２００６．２．９）
【国際特許分類】
【出願番号】特願２００４−２２１１０７（Ｐ２００４−２２１１０７）
【出願日】平成１６年７月２９日（２００４．７．２９）
【出願人】（０００００２８９７）大日本印刷株式会社 (14,506)
【Ｆターム（参考）】
【公開日】平成１８年２月９日（２００６．２．９）
【国際特許分類】
【出願日】平成１６年７月２９日（２００４．７．２９）
【出願人】（０００００２８９７）大日本印刷株式会社 (14,506)
【Ｆターム（参考）】
[ Back to top ]