動画再生装置、動画再生方法及びプログラム
【課題】曲の進行度合を考慮して適正な補間フレーム画像を再生する。
【解決手段】動画再生装置１００であって、隣合う二つのフレーム画像間を補間する補間フレーム画像を生成する画像生成部４ｄと、テンポ情報を伴う演奏情報に基づいて演奏される所定の曲の所定のタイミングに同期させて再生される隣合う二つのフレーム画像間における所定の曲の演奏の進行度合を逐次算出する進行度合算出部４ａと、補間フレーム画像の再生タイミングに対応する曲の進行度合についてテンポ変更に伴う変化があったか否かを判定する判定部４ｂと、進行度合に変化があった場合に、当該進行度合の変化が少なくなるように補正された進行度合を生成する進行度合補正部４ｃと、生成された補正後の進行度合に応じた補間フレーム画像を画像生成部に生成させる生成制御部４ｅと、を備えている。
【解決手段】動画再生装置１００であって、隣合う二つのフレーム画像間を補間する補間フレーム画像を生成する画像生成部４ｄと、テンポ情報を伴う演奏情報に基づいて演奏される所定の曲の所定のタイミングに同期させて再生される隣合う二つのフレーム画像間における所定の曲の演奏の進行度合を逐次算出する進行度合算出部４ａと、補間フレーム画像の再生タイミングに対応する曲の進行度合についてテンポ変更に伴う変化があったか否かを判定する判定部４ｂと、進行度合に変化があった場合に、当該進行度合の変化が少なくなるように補正された進行度合を生成する進行度合補正部４ｃと、生成された補正後の進行度合に応じた補間フレーム画像を画像生成部に生成させる生成制御部４ｅと、を備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像を曲に合わせて再生する動画再生装置、動画再生方法及びプログラムに関する。
【背景技術】
【０００２】
従来、自動的に演奏される曲の拍や小節に関連付けて複数のフレーム画像を切り替えて再生する技術が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平５−１８１４６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１の場合、一拍分や一小節分の時間の変化に応じて各フレーム画像の表示時間が変更されるため、フレーム画像内の動体の動きを違和感なく滑らかに表現することができないといった問題がある。また、動画像を構成する複数のフレーム画像のうち、隣合うフレーム画像どうしの間の画像を補間して再生する技術も知られているが、一の小節の途中で曲のテンポ等が変更されると当該小節における曲の進行度合が変化して、補間フレーム画像の表示内容にずれを生じさせる虞もある。
【０００５】
本発明は、このような問題に鑑みてなされたものであり、曲の進行度合を考慮して適正な補間フレーム画像を再生することができる動画再生装置、動画再生方法及びプログラムを提供することである。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本発明の動画再生装置は、
動画像を構成する複数のフレーム画像を記憶する記憶手段と、前記複数のフレーム画像のうち、隣合う二つのフレーム画像間を補間する補間フレーム画像を生成する生成手段と、テンポ情報を伴う演奏情報に基づいて演奏される所定の曲の所定のタイミングに同期させて再生される前記複数のフレーム画像のうち、隣合う二つのフレーム画像間における前記所定の曲の演奏の進行度合を逐次算出する算出手段と、前記補間フレーム画像の再生タイミングに対応する前記進行度合についてテンポ変更に伴う変化があったか否かを判定する判定手段と、この判定手段により前記進行度合に変化があったと判定された場合に、当該進行度合の変化が少なくなるように補正された進行度合を生成する補正手段と、この補正手段により生成された補正後の進行度合に応じた前記補間フレーム画像を前記生成手段に生成させる制御手段と、を備えたことを特徴としている。
【０００７】
また、本発明の動画再生方法は、
動画像を構成する複数のフレーム画像を記憶する記憶手段を備える動画再生装置を用いた動画再生方法であって、前記複数のフレーム画像のうち、隣合う二つのフレーム画像間を補間する補間フレーム画像を生成する生成ステップと、テンポ情報を伴う演奏情報に基づいて演奏される所定の曲の所定のタイミングに同期させて再生される前記複数のフレーム画像のうち、隣合う二つのフレーム画像間における前記所定の曲の演奏の進行度合を逐次算出する算出ステップと、前記補間フレーム画像の再生タイミングに対応する前記進行度合についてテンポ変更に伴う変化があったか否かを判定する判定ステップと、前記進行度合に変化があったと判定された場合に、当該進行度合の変化が少なくなるように補正された進行度合を生成する補正ステップと、生成された補正後の進行度合に応じた前記補間フレーム画像を前記生成ステップにて生成させる制御ステップと、を含むことを特徴としている。
【０００８】
また、本発明のプログラムは、
動画像を構成する複数のフレーム画像を記憶する記憶手段を備える動画再生装置のコンピュータを、前記複数のフレーム画像のうち、隣合う二つのフレーム画像間を補間する補間フレーム画像を生成する生成手段、テンポ情報を伴う演奏情報に基づいて演奏される所定の曲の所定のタイミングに同期させて再生される前記複数のフレーム画像のうち、隣合う二つのフレーム画像間における前記所定の曲の演奏の進行度合を逐次算出する算出手段、前記補間フレーム画像の再生タイミングに対応する前記進行度合についてテンポ変更に伴う変化があったか否かを判定する判定手段、この判定手段により前記進行度合に変化があったと判定された場合に、当該進行度合の変化が少なくなるように補正された進行度合を生成する補正手段、この補正手段により生成された補正後の進行度合に応じた前記補間フレーム画像を前記生成手段に生成させる制御手段、として機能させることを特徴としている。
【発明の効果】
【０００９】
本発明によれば、曲の進行度合を考慮して適正な補間フレーム画像を再生することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明を適用した一実施形態の動画再生装置の概略構成を示すブロック図である。
【図２】図１の動画再生装置による事前解析処理に係る動作の一例を示すフローチャートである。
【図３】図１の動画再生装置による動画再生処理に係る動作の一例を示すフローチャートである。
【図４】図３の動画再生処理の続きを示すフローチャートである。
【図５】図４の動画再生処理を説明するための図である。
【図６】変形例１の動画再生装置の概略構成を示すブロック図である。
【図７】図６の動画再生装置による編集処理を説明するための図である。
【発明を実施するための形態】
【００１１】
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図１は、本発明を適用した一実施形態の動画再生装置１００の概略構成を示すブロック図である。
【００１２】
本実施形態の動画再生装置１００は、所定の曲の所定のタイミングに同期させて再生される隣合う二つのフレーム画像間における所定の曲の演奏の進行度合を逐次算出し、所定の曲のテンポの変更に伴って補間フレーム画像の再生タイミングに対応する曲の進行度合の変化があったと判定された場合に、当該曲の進行度合の変化が少なくなるように補正して補正後の曲の進行度合を生成し、当該補正後の曲の進行度合に応じた補間フレーム画像を生成する。
具体的には、動画再生装置１００は、例えば、パーソナルコンピュータ等により構成され、図１に示すように、中央制御部１と、操作入力部２と、記憶部３と、動画処理部４と、表示部５と、音出力部６等を備えている。
【００１３】
中央制御部１は、動画再生装置１００の各部を制御するものである。具体的には、中央制御部１は、ＣＰＵ、ＲＡＭ、ＲＯＭ（何れも図示略）を備え、ＲＯＭに記憶された動画再生装置１００用の各種処理プログラム（図示略）に従って各種の制御動作を行う。その際に、ＣＰＵは、ＲＡＭ内の格納領域内に各種処理結果を格納させ、必要に応じてその処理結果を表示部５に表示させる。
ＲＡＭは、例えば、ＣＰＵにより実行される処理プログラム等を展開するためのプログラム格納領域や、入力データや上記処理プログラムが実行される際に生じる処理結果等を格納するデータ格納領域などを備える。
ＲＯＭは、コンピュータ読み取り可能なプログラムコードの形態で格納されたプログラム、具体的には、動画再生装置１００で実行可能なシステムプログラム、当該システムプログラムで実行可能な各種処理プログラムや、これら各種処理プログラムを実行する際に使用されるデータ等を記憶する。
【００１４】
操作入力部２は、例えば、数値、文字等を入力するためのデータ入力キーや、データの選択、送り操作等を行うための上下左右移動キーや各種機能キー等によって構成されるキーボードやマウス等を備え、ユーザにより押下されたキーの押下信号やマウスの操作信号を中央制御部１のＣＰＵに出力する。
なお、操作入力部２としてタッチパネル（図示略）を表示部５の表示画面に配設して、タッチパネルの接触位置に応じて各種の指示を入力するような構成としても良い。
【００１５】
記憶部３は、例えば、半導体の不揮発メモリやＨＤＤ（Hard Disc Drive）等により構成され、動画像情報Ｍ、演奏情報Ｔ等を記憶する。
【００１６】
動画像情報Ｍは、動画再生部４ｆにより演奏情報Ｔとともに自動的に再生される情報である。即ち、動画像情報Ｍは、所定の時間間隔を空けて再生される複数のフレーム画像を時間軸に沿って連続して並べた情報である。
また、連続して並べられた各フレーム画像は、例えば、公知の被写体切抜手法を用いて、被写体存在画像から被写体が含まれる領域が切り抜かれた被写体切り抜き画像を用いて作成された画像である。具体的には、画像生成装置（図示略）は、静止画像である被写体切り抜き画像を基準として、当該被写体切り抜き画像の被写体が含まれる領域の被写体画像内に動きの制御点を複数設定する。そして、画像生成装置は、所定空間内にて複数の制御点の全て若しくは少なくとも一つを移動させ、移動後の制御点を基準として被写体画像内に設定される所定の画像領域（例えば、三角形や矩形状の領域）を移動もしくは変形させることで、フレーム画像を逐次生成する。そして、画像生成装置は、生成された複数のフレーム画像を時間軸に沿って並べることで、動画像情報Ｍを生成する。
なお、制御点を基準とした所定の画像領域を移動もしくは変形させる処理は、公知の技術であるので、ここでは詳細な説明を省略する。
【００１７】
例えば、図５（ａ）に示すように、動画像情報Ｍは、ヒトの片方の手首を曲げる動作を模式的に表した複数（例えば、ｎ個；ｎは自然数）の基準フレーム画像（例えば、基準フレーム画像Ｆ１、…、Ｆｋ、Ｆｋ＋１、…、Ｆｎ；ｋは、ｎより小さい自然数）から構成されている。
なお、図５（ａ）に示した動画像情報Ｍは、一例であってこれに限られるものではなく、動作の内容等は適宜任意に変更可能である。
このように、記憶部３は、動画像を構成する複数の基準フレーム画像Ｆ１、…、Ｆｋ、Ｆｋ＋１、…、Ｆｎを記憶する記憶手段を構成している。
【００１８】
演奏情報Ｔは、動画再生部４ｆにより動画像情報Ｍとともに自動的に曲を演奏するための情報である。この演奏情報Ｔは、例えば、テンポ、拍子等を規定する情報、その曲を構成する複数の情報を有し、これらの情報とそれぞれ曲名とが対応付けて記憶されている。
また、各演奏情報Ｔは、例えば、ＭＩＤＩ（Musical Instruments Digital Interface）規格等に従って規定されたデジタルデータであり、具体的には、当該ＭＩＤＩファイルのフォーマット、トラック数や四分音符の分解能（Tickカウント数）等が規定されたヘッダ情報と、各パートに割り当てられた音源（例えば、楽器等）に供給させるイベントおよびタイミングかならなるトラック情報等を有している。このトラック情報のイベントとして、テンポあるいは拍子の変更や、NoteOn・Offを指示する情報などがある。
【００１９】
動画処理部４は、進行度合算出部４ａと、判定部４ｂと、進行度合補正部４ｃと、画像生成部４ｄと、生成制御部４ｅと、動画再生部４ｆとを具備している。
【００２０】
進行度合算出部４ａは、算出手段として、隣合う二つの基準フレーム画像Ｆｋ、Ｆｋ＋１間における所定の曲の演奏の進行度合を逐次算出する。
即ち、進行度合算出部４ａは、動画再生部４ｆにより演奏情報Ｔに基づいて演奏される所定の曲の所定のタイミング、例えば、各小節の先頭拍に同期させて再生される隣合う二つの基準フレーム画像Ｆｋ、Ｆｋ＋１間における所定の曲の演奏の進行度合を算出する。具体的には、進行度合算出部４ａは、事前解析処理（後述）にて、ＭＩＤＩ規格の演奏情報Ｔのヘッダ情報及びトラック情報を解析して、テンポの設定情報及び四分音符の分解能（Tickカウント数）を取得する。そして、進行度合算出部４ａは、テンポ設定の変遷と四分音符の分解能（Tickカウント数）に基づいて、動画再生部４ｆにより演奏される所定の曲の演奏の経過時間をTickカウント数に変換する。続けて、進行度合算出部４ａは、所定の曲の演奏の経過時間に対応するTickカウント数に基づいて、所定のタイミング（例えば、各小節の一拍目等）に同期させて再生される隣合う二つの基準フレーム画像Ｆｋ、Ｆｋ＋１間における所定の曲の演奏の相対的な進行度合を、例えば百分率で算出する。
【００２１】
判定部４ｂは、判定手段として、隣合う二つの基準フレーム画像Ｆｋ、Ｆｋ＋１間を補完する補間フレーム画像Ｉの再生タイミングに対応する曲の進行度合についてテンポ変更に伴う変化があったか否かを判定する。
具体的には、判定部４ｂは、トラック情報からテンポ変更のイベントが読み出されたこと、あるいは外部より新たなテンポ情報の変更設定があったことが検知されたか否かを判定する。このようなテンポの変更が検知されると、進行度合算出部４ａにより所定のタイミングで新たに算出された曲の進行度合と、当該所定のタイミングよりも一つ前のタイミングで算出された前回の曲の進行度合とを比較すると、新たに算出された曲の進行度合が前回の曲の進行度合に対して大きく変化する。
【００２２】
ここで、曲の途中でテンポが遅くなった場合を例に挙げ、図５（ｂ）及び図５（ｃ）を参照して説明する。
即ち、所定のタイミング（例えば、各小節の一拍目等）に同期させた隣合う二つの基準フレーム画像Ｆｋ、Ｆｋ＋１間、つまり、何れかの補間フレーム画像Ｉの再生タイミングにて、所定の曲のテンポ（演奏速度）の変更が行われると、新たに算出された進行度合が前回の進行度合に対して減少する虞がある（図５（ｂ）及び図５（ｃ）参照）。
例えば、仮にテンポをＢＰＭ＝１２０とし、１小節の演奏時間を２秒として基準フレーム画像Ｆｋ、Ｆｋ＋１どうしを２秒間隔を空けて同期させる場合に、１秒経過した時点では、基準フレーム画像Ｆｋを同期させた時点からの演奏曲の進行度合は５０％となり、基準フレーム画像Ｆｋ及び基準フレーム画像Ｆｋ＋１を５０％ずつ重み付けした略中間の画像が補間フレーム画像Ｉとして表示される（図５（ｂ）参照）。
そして、１秒経過後直ちにテンポがＢＰＭ＝６０に変更されると、この変更時点から基準フレーム画像Ｆｋ＋１を同期させる時点までの残り時間が２倍（略２秒）となり、基準フレーム画像Ｆｋを同期させた時点からの演奏曲の実質的な進行度合は３３．３％となる（図５（ｃ）参照）。このため、変更時点以降で演奏曲の実質的な進行度合が５０％となるまでの期間では、進行度合算出部４ａにより新たに算出される演奏曲の進行度合が減少してしまい、判定部４ｂは、新たに算出される演奏曲の進行度合が実質的に減少したと判定する。
この場合、図５（ｃ）に示すように、基準フレーム画像Ｆｋ及び基準フレーム画像Ｆｋ＋１を５０％ずつ重み付けした補間フレーム画像Ｉ（図５ｂ参照）よりも、基準フレーム画像Ｆｋの重みが大きい補間フレーム画像Ｉが画像生成部４ｄにより生成されて表示部５に表示されることとなる。
【００２３】
進行度合補正部４ｃは、補正手段として、曲の演奏の進行度合の変化が少なくなるように補正して補正後の進行度合を生成する。
即ち、進行度合補正部４ｃは、判定部４ｂにより補間フレーム画像Ｉの再生タイミングにおける曲の演奏の進行度合が曲のテンポの変更に伴って減少したと判定された場合に、当該進行度合の減少が少なくなるように補正する。具体的には、進行度合補正部４ｃは、判定部４ｂによる比較判定に係る前回（テンポ変更前に）算出された曲の進行度合（例えば、図５（ｂ）における５０％）に基づいて、進行度合の減少が少なくなるように補正して補正後の曲の進行度合を生成する。例えば、進行度合補正部４ｃは、テンポ変更後に新たに算出された曲の進行度合と前回（テンポ変更前）の曲の進行度合とを加算して、その平均値を補正後の曲の進行度合とする。
なお、曲の進行度合の補正方法は、新たに算出された曲の進行度合と前回の曲の進行度合とを加算平均する方法に限られるものではなく、例えば、前回の進行度合の重み付けが大きくなるように重み付け平均しても良い。
ここにおいては、曲のテンポが途中で遅くなった場合について説明したが、当然曲のテンポが途中で早くなった場合は、進行度合補正部４ｃは、判定部４ｂによる比較判定に係る前回算出された曲の進行度合に基づいて、進行度合の増加が少なくなるように補正して補正後の曲の進行度合を生成する。この場合も、進行度合補正部４ｃは、新たに算出された曲の進行度合と前回の曲の進行度合とを加算して、その平均値を補正後の曲の進行度合としても良い。
【００２４】
画像生成部４ｄは、生成手段として、複数のフレーム画像Ｆ１〜Ｆｎのうち、例えば、隣合う二つの基準フレーム画像Ｆｋ、Ｆｋ＋１間を補間する補間フレーム画像Ｉを生成する。
即ち、画像生成部４ｄは、隣合う二つの基準フレーム画像Ｆｋ、Ｆｋ＋１間における、所定の曲の演奏の進行度合に応じて、隣合う二つの基準フレーム画像Ｆｋ、Ｆｋ＋１に対する重み付けを変えて補間フレーム画像Ｉを生成する。具体的には、画像生成部４ｄは、生成制御部４ｅの制御下にて駆動し、進行度合算出部４ａにより算出された曲の演奏の進行度合（例えば、百分率等）若しくは進行度合補正部４ｃによる補正後の進行度合に応じて、隣合う二つの基準フレーム画像Ｆｋ、Ｆｋ＋１に対する重み付けを変えた補間フレーム画像Ｉを生成する。
なお、補間フレーム画像Ｉを生成する処理は、公知の技術であるので、ここでは詳細な説明を省略する。
【００２５】
生成制御部４ｅは、制御手段として、画像生成部４ｄによる補間フレーム画像Ｉの生成を制御する。
即ち、生成制御部４ｅは、進行度合補正部４ｃにより曲の進行度合が補正された場合には、当該補正後の曲の進行度合に応じた補間フレーム画像Ｉを画像生成部４ｄに生成させる。具体的には、生成制御部４ｅは、進行度合補正部４ｃによる補正後の曲の進行度合に応じて、隣合う二つの基準フレーム画像Ｆｋ、Ｆｋ＋１に対する重み付けを変えた補間フレーム画像Ｉを画像生成部４ｄに生成させる。
【００２６】
動画再生部４ｆは、演奏情報Ｔに基づいて所定の曲を自動的に演奏するとともに、当該所定の曲の所定のタイミングで複数のフレーム画像の各々を再生する。
具体的には、動画再生部４ｆは、所定の曲の演奏情報Ｔのデジタルデータを読み込んでＤ／Ａコンバータによりアナログデータに変換して当該所定の曲を自動的に演奏させ、このとき、所定のタイミング（例えば、各小節の１拍目や各拍等）に同期させるように隣合う二つの基準フレーム画像Ｆｋ、Ｆｋ＋１を再生するとともに、隣合う二つの基準フレーム画像Ｆｋ、Ｆｋ＋１間における所定の曲の演奏の進行度合に応じて画像生成部４ｄにより生成される各補間フレーム画像Ｉを再生する。
【００２７】
表示部５は、例えば、ＬＣＤ、ＣＲＴ（Cathode Ray Tube）等のディスプレイから構成され、中央制御部１のＣＰＵの制御下にて各種情報を表示画面に表示する。
即ち、表示部５は、動画再生部４ｆによる動画像情報Ｍの再生の際に、複数のフレーム画像を表示画面に表示する。具体的には、表示部５は、自動的に演奏される曲の所定のタイミングで基準フレーム画像Ｆ１〜Ｆｎ及び補間フレーム画像Ｉを所定の時間間隔で切り替えて表示する。
【００２８】
音出力部６は、例えば、ＬＰＦ（Low Pass Filter）、増幅器、スピーカ等により構成され、中央制御部１のＣＰＵの制御下にて放音する。
即ち、音出力部６は、動画再生部４ｆによる演奏情報Ｔの再生の際に、Ｄ／Ａコンバータにより変換されたアナログデータに基づいて、増幅器を介してスピーカから、所定の音色、音高、音長で曲を放音する。また、音出力部６は、一の音源（例えば、楽器）の音を放音しても良いし、複数の音源の音を同時に放音しても良い。
【００２９】
次に、事前解析処理について図２を参照して説明する。
ここで、図２は、事前解析処理に係る動作の一例を示すフローチャートである。
【００３０】
図２に示すように、動画処理部４は、記憶部３に記憶されている演奏情報Ｔの中で、ユーザによる操作入力部２の所定操作に基づいて指定された演奏情報Ｔを読み出して取得するとともに、ユーザによる操作入力部２の所定操作に基づいて指定された基準フレーム画像Ｆｋの同期タイミング（例えば、全音符、つまり各小節のタイミング）を取得する（ステップＳ１）。
【００３１】
次に、進行度合算出部４ａは、取得されたＭＩＤＩ規格の演奏情報Ｔのヘッダ情報を解析して、ＭＩＤＩファイルのフォーマット、トラック数、四分音符の分解能（Tickカウント数；例えば、Tick＝４８０等）を特定する（ステップＳ２）。
続けて、進行度合算出部４ａは、演奏情報Ｔのトラック情報を解析して、テンポの変更タイミングに係る情報を取得するとともに、全てのトラックの中での最初のNoteOn及び最後のNoteOffのタイミングを規定するTickカウント数を取得する（ステップＳ３）。その後、進行度合算出部４ａは、最初のNoteOn及び最後のNoteOffのTickカウント数に基づいて、最初のNoteOnのTickカウント数から最後のNoteOffまでのTickカウント数までの期間を動画再生期間に設定する（ステップＳ４）。
【００３２】
次に、動画処理部４は、四分音符の分解能、拍子の設定タイミング及び動画再生期間に基づいて、当該演奏情報Ｔに基づいて自動的に演奏される曲が、第一拍目以外から開始する弱起の曲であるか否かを判定する（ステップＳ５）。
ここで、弱起の曲であると判定されると（ステップＳ５；ＹＥＳ）、動画処理部４は、最初のNoteOnのタイミングを規定するTickカウント数に基づいて、演奏される曲が第一小節の第一拍目の裏から放音が開始されるか否かを判定する（ステップＳ６）。
【００３３】
ステップＳ６にて、第一小節の第一拍目の裏から放音が開始されると判定されると（ステップＳ６；ＹＥＳ）、進行度合算出部４ａは、動画再生の開始タイミングが次の小節の頭（当該小節の終わり）に相当するTickカウント数となるように動画再生期間を再設定する（ステップＳ７）。
一方、第一小節の第一拍目の裏から放音が開始されないと判定されると（ステップＳ６；ＮＯ）、進行度合算出部４ａは、動画再生の開始タイミングが当該小節の頭に相当するTickカウント数となるように動画再生期間を再設定する（ステップＳ８）。
これにより、事前解析処理を終了する。
【００３４】
次に、動画再生処理について図３及び図４を参照して説明する。
ここで、図３及び図４は、動画再生処理に係る動作の一例を示すフローチャートである。
【００３５】
動画再生処理は、ユーザによる操作入力部２の所定操作に基づいて動画再生部４ｆによる動画の再生開始が指示され、当該動画の再生中において、所定時間間隔（例えば、３０ｍｓ等）毎に逐次実行される処理である。
【００３６】
図３に示すように、動画処理部４の進行度合算出部４ａは、演奏情報Ｔに基づいて演奏される曲の再生開始からの経過時間（ｍｓ）をタイマ（図示略）から取得した後（ステップＳ１１）、当該経過時間をテンポ設定の変遷と四分音符の分解能（Tickカウント数）に基づいてTickカウント数に変換する（ステップＳ１２）。
次に、進行度合算出部４ａは、経過時間のTickカウント数に基づいて、経過時間が動画再生期間よりも前であるか否かを判定する（ステップＳ１３）。
【００３７】
ステップＳ１３にて、経過時間が動画再生期間よりも前であると判定されると（ステップＳ１３；ＹＥＳ）、動画再生部４ｆは、記憶部３に記憶されている動画像情報Ｍを構成する複数の基準フレーム画像Ｆ１〜Ｆｎの中から最初の基準フレーム画像Ｆ１を取得する（ステップＳ１４）。
これにより、動画再生部４ｆにより演奏情報Ｔに基づいて自動的に演奏されて、音出力部６から所定の曲が最初に放音される際に、表示部５は最初の基準フレーム画像Ｆ１を表示画面に表示した状態となる。
【００３８】
一方、ステップＳ１３にて、経過時間が動画再生期間よりも前でないと判定されると（ステップＳ１３；ＮＯ）、進行度合算出部４ａは、経過時間のTickカウント数に基づいて、経過時間が動画再生期間よりも後であるか否かを判定する（ステップＳ１５）。
ここで、経過時間が動画再生期間よりも後であると判定されると（ステップＳ１５；ＹＥＳ）、動画再生部４ｆは、記憶部３に記憶されている動画像情報Ｍを構成する複数の基準フレーム画像Ｆ１〜Ｆｎの中から最後の基準フレーム画像Ｆｎを取得する（ステップＳ１６）。
これにより、動画再生部４ｆにより演奏情報Ｔに基づいて自動的に演奏されて、音出力部６から所定の曲が最後に放音される際に、表示部５は最後の基準フレーム画像Ｆｎを表示画面に表示した状態となる。
【００３９】
一方、ステップＳ１５にて、経過時間が動画再生期間よりも後でないと判定されると（ステップＳ１５；ＮＯ）、図４に示すように、進行度合算出部４ａは、基準フレーム画像Ｆｋが全音符に同期して表示されるか否かを判定する（ステップＳ１７）。
ここで、基準フレーム画像Ｆｋが全音符に同期して表示されないと判定されると（ステップＳ１７；ＮＯ）、進行度合算出部４ａは、経過時間のTickカウント数に基づいて、経過時間が同期している音符（例えば、四分音符等）で何個分に相当するかを特定する（ステップＳ１８）。具体的には、進行度合算出部４ａは、経過時間のTickカウント数を同期している音符のTickカウント数で除算することで、当該音符で何個分に相当するかを特定する。なお、除算の結果、割り切れなかった場合には、例えば、分数や小数で表されるようにしても良い。
次に、進行度合算出部４ａは、同期している音符で何個分に相当するかの特定結果に基づいて、特定された音符数（即ち、整数の部分）に応じて、記憶部３に記憶されている動画像情報Ｍを構成する複数の基準フレーム画像Ｆ１〜Ｆｎの中から基準フレーム画像Ｆｋを特定する（ステップＳ１９）。続けて、進行度合算出部４ａは、同期している音符で何個分に相当するかの特定結果に基づいて、割り切れなかった端数分（例えば、１／３等）を百分率で表し、当該値を基準フレーム画像Ｆｋと隣合う基準フレーム画像Ｆｋ＋１との間における所定の曲の演奏の進行度合として設定する（ステップＳ２０）。
【００４０】
一方、ステップＳ１７にて、基準フレーム画像Ｆｋが全音符に同期して表示されると判定されると（ステップＳ１７；ＹＥＳ）、進行度合算出部４ａは、経過時間のTickカウント数と拍子設定の変遷とに基づいて、経過時間が何小節目の何拍目かを特定する（ステップＳ２１）。続けて、進行度合算出部４ａは、何れかの小節の途中で拍子の設定が行われていた場合には、当該一小節は終了したものとみなして、ステップＳ２１にて特定済みの経過時間に対応する何小節目の何拍目に係る情報を補正する（ステップＳ２２）。なお、当該経過時間に対応する何小節目の何拍目に係る情報を補正する処理は、必ずしも行う必要はない。
次に、進行度合算出部４ａは、演奏開始後に実際に曲が音出力部６から放音されるまでの期間を除外するため、動画再生の開始タイミングまでの小節分を減算して、特定済みの経過時間に対応する何小節目の何拍目に係る情報を補正する（ステップＳ２３）。
【００４１】
次に、進行度合算出部４ａは、特定された経過時間に対応する何小節目の何拍目に係る情報に基づいて、特定された小節の位置を基準として、記憶部３に記憶されている動画像情報Ｍを構成する複数の基準フレーム画像Ｆ１〜Ｆｎの中から基準フレーム画像Ｆｋを特定する（ステップＳ２４）。続けて、進行度合算出部４ａは、特定された小節における拍の位置を百分率で表し、当該値を基準フレーム画像Ｆｋと隣合う基準フレーム画像Ｆｋ＋１との間における所定の曲の演奏の進行度合として設定する（ステップＳ２５）。
【００４２】
次に、判定部４ｂは、新たに算出された曲の進行度合が前回の曲の進行度合に対してテンポ変更に伴う変化があったか否かを判定する（ステップＳ２６）。
当該判定処理は、進行度合算出部４ａにより進行度合が算出される毎に、即ち、ステップＳ２０若しくはステップＳ２５にて進行度合が設定される毎に逐次実行される。
【００４３】
ステップＳ２６にて、新たに算出された曲の進行度合が前回の曲の進行度合に対して変化がないと判定されると（ステップＳ２６；ＮＯ）、画像生成部４ｄは、進行度合算出部４ａにより新たに算出された曲の進行度合に応じて、隣合う二つの基準フレーム画像Ｆｋ、Ｆｋ＋１に対する重み付けを変えた補間フレーム画像Ｉを生成して取得する（ステップＳ２７）。
これにより、動画再生部４ｆにより演奏情報Ｔに基づいて自動的に演奏されて、表示部５は、音出力部６から放音される所定の曲の進行度合に応じた補間フレーム画像Ｉを表示画面に表示した状態となる。
【００４４】
一方、ステップＳ２６にて、新たに算出された曲の進行度合についてテンポ変更に伴う変化があったと判定されると（ステップＳ２６；ＹＥＳ）、進行度合補正部４ｃは、判定部４ｂによる比較判定に係る前回算出された進行度合に基づいて、進行度合の変化が少なくなるように補正して補正後の進行度合を生成する（ステップＳ２８）。具体的には、進行度合補正部４ｃは、例えば、新たに算出された進行度合と前回の進行度合とを加算して、その平均値を補正後の進行度合とする。
その後、動画処理部４は、処理をステップＳ２７に移行して、画像生成部４ｄは、進行度合補正部４ｃによる補正後の曲の進行度合に応じて、隣合う二つの基準フレーム画像Ｆｋ、Ｆｋ＋１に対する重み付けを変えた補間フレーム画像Ｉを生成して取得する（ステップＳ２７）。
これにより、動画再生部４ｆにより演奏情報Ｔに基づいて自動的に演奏されて、表示部５は、音出力部６から放音される所定の曲の進行度合を考慮して生成された補間フレーム画像Ｉを表示画面に表示した状態となる。
【００４５】
以上のように、本実施形態の動画再生装置１００によれば、所定の曲の所定のタイミングに同期させて再生される隣合う二つの基準フレーム画像Ｆｋ、Ｆｋ＋１間における所定の曲の演奏の進行度合を逐次算出し、所定の曲の補間フレーム画像Ｉの再生タイミングに対応する曲の進行度合がテンポ変更に伴う変化があったと判定された場合に、当該曲の進行度合の変化が少なくなるように補正して補正後の曲の進行度合を生成し、当該補正後の曲の進行度合に応じた補間フレーム画像Ｉを生成するので、自動的に演奏される曲の進行度合を考慮してより適正な補間フレーム画像Ｉを再生することができる。
即ち、自動的に演奏される一の小節の途中で曲の演奏速度（テンポ）が変更されて当該小節における曲の進行度合が変化した場合であっても、曲の進行度合の変化が少なくなるように当該曲の進行度合を補正する。そして、補正後の曲の進行度合に応じた補間フレーム画像Ｉを生成することで、当該補間フレーム画像Ｉの内容と曲の実質的な進行度合との間に生じるずれをより小さくすることができる。この結果、動体の動きに起因して生じる違和感を軽減させることが可能なより適正な補間フレーム画像Ｉを再生することができる。
【００４６】
なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
以下に、動画再生装置１００の変形例について説明する。
【００４７】
＜変形例１＞
図６は、変形例１の動画再生装置２００の概略構成を示すブロック図である。また、図７は、変形例１の動画再生装置２００による編集処理を説明するための図である。
図６に示すように、変形例１の動画再生装置２００は、中央制御部１、操作入力部２、記憶部３、動画処理部４、表示部５、音出力部６に加えて、動画編集部７を備えている。
なお、変形例１は、下記に詳細に説明する以外の点で、上記実施形態と略同様の構成をなし、その説明は省略する。
【００４８】
動画編集部７は、所定の長さを基本単位とする動画パーツ情報７ａを任意に組み合わせて所望の編集済み動画情報７ｂを生成する。
即ち、動画編集部７には、例えば、小節、四分音符等の各音符等を基本単位とする動画パーツ情報７ａが記憶されている。この動画パーツ情報７ａは、上記実施形態における基準フレーム画像Ｆｋ、Ｆｋ＋１や補間フレーム画像Ｉのうち、少なくとも一方から構成された情報であり、複数のフレーム画像が時間軸に沿って並べられている。
そして、動画編集部７は、表示部５に表示されている動画編集画面Ｐｇ内にて（図７参照）、ユーザによる操作入力部２の所定操作に基づいて指定された所定数の動画パーツ情報７（図７中、ａ１〜ａ４の符号で示す）を任意に組み合わせていくことで、当該所定数の動画パーツ情報７ａが時間軸に沿って並べられた編集済み動画情報７ｂを生成して記憶する。
【００４９】
従って、変形例１の動画再生装置２００によれば、予め複数の動画パーツ情報７ａを記憶しておくことにより、これらを任意に組み合わせたユーザ所望の編集済み動画情報７ｂを簡便に生成することができる。
なお、生成された編集済み動画情報７ｂは、上記実施形態の動画再生処理に用いられても良い。即ち、動画再生部４ｆは、演奏情報Ｔに基づいて所定の曲を自動的に演奏するとともに、当該所定の曲の所定のタイミングで編集済み動画情報７ｂを構成する複数のフレーム画像の各々を再生するようにしても良い。
【００５０】
また、上記実施形態にあっては、動画再生装置１００として、パーソナルコンピュータを例示したが、一例であってこれに限られるものではなく適宜任意に変更可能であり、例えば、携帯電話機等を適用しても良い。
さらに、動画再生装置１００をＷｅｂサーバとして機能させ、ユーザによるユーザ端末（図示略）の所定操作に基づいて、当該Ｗｅｂサーバ（動画再生装置１００）によって複数のフレーム画像の画像データ並びに演奏情報Ｔを一つのファイルとして生成させ、全てのデータの生成完了後に、当該ファイルをＷｅｂサーバからユーザ端末に送信して当該ユーザ端末にて再生させるようにしても良い。
【００５１】
加えて、上記実施形態にあっては、生成手段、算出手段、判定手段、補正手段、制御手段としての機能を、中央制御部１の制御下にて、画像生成部４ｄ、進行度合算出部４ａ、判定部４ｂ、進行度合補正部４ｃ、生成制御部４ｅが駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部１のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ（図示略）に、生成処理ルーチン、算出処理ルーチン、判定処理ルーチン、補正処理ルーチン、制御処理ルーチンを含むプログラムを記憶しておく。そして、生成処理ルーチンにより中央制御部１のＣＰＵを、複数のフレーム画像Ｆ１〜Ｆｎのうち、隣合う二つのフレーム画像Ｆｋ、Ｆｋ＋１間を補間する補間フレーム画像Ｉを生成する生成手段として機能させるようにしても良い。また、算出処理ルーチンにより中央制御部１のＣＰＵを、演奏情報Ｔに基づいて演奏される所定の曲の所定のタイミングに同期させて再生される複数のフレーム画像Ｆ１〜Ｆｎのうち、隣合う二つのフレーム画像Ｆｋ、Ｆｋ＋１間における所定の曲の演奏の進行度合を逐次算出する算出手段として機能させるようにしても良い。また、判定処理ルーチンにより中央制御部１のＣＰＵを、補間フレーム画像Ｉの再生タイミングに対応する進行度合についてテンポ変更に伴う変化があったか否かを判定する判定手段として機能させるようにしても良い。また、補正処理ルーチンにより中央制御部１のＣＰＵを、判定手段により進行度合に変化があったと判定された場合に、当該進行度合の変化が少なくなるように補正された進行度合を生成する補正手段として機能させるようにしても良い。また、制御処理ルーチンにより中央制御部１のＣＰＵを、補正手段により生成された補正後の進行度合に応じた補間フレーム画像Ｉを生成手段に生成させる制御手段として機能させるようにしても良い。
【００５２】
さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。
【００５３】
〔付記〕
本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
＜請求項１＞
動画像を構成する複数のフレーム画像を記憶する記憶手段と、
前記複数のフレーム画像のうち、隣合う二つのフレーム画像間を補間する補間フレーム画像を生成する生成手段と、
テンポ情報を伴う演奏情報に基づいて演奏される所定の曲の所定のタイミングに同期させて再生される前記複数のフレーム画像のうち、隣合う二つのフレーム画像間における前記所定の曲の演奏の進行度合を逐次算出する算出手段と、
前記補間フレーム画像の再生タイミングに対応する前記進行度合についてテンポ変更に伴う変化があったか否かを判定する判定手段と、
この判定手段により前記進行度合に変化があったと判定された場合に、当該進行度合の変化が少なくなるように補正された進行度合を生成する補正手段と、
この補正手段により生成された補正後の進行度合に応じた前記補間フレーム画像を前記生成手段に生成させる制御手段と、
を備えたことを特徴とする動画再生装置。
＜請求項２＞
前記補正手段は、前記テンポ変更前に算出された進行度合と、前記テンポ変更後に算出された進行度合との平均値を、前記補正後の進行度合として生成することを特徴とする請求項１に記載の動画再生装置。
＜請求項３＞
動画像を構成する複数のフレーム画像を記憶する記憶手段を備える動画再生装置を用いた動画再生方法であって、
前記複数のフレーム画像のうち、隣合う二つのフレーム画像間を補間する補間フレーム画像を生成する生成ステップと、
テンポ情報を伴う演奏情報に基づいて演奏される所定の曲の所定のタイミングに同期させて再生される前記複数のフレーム画像のうち、隣合う二つのフレーム画像間における前記所定の曲の演奏の進行度合を逐次算出する算出ステップと、
前記補間フレーム画像の再生タイミングに対応する前記進行度合についてテンポ変更に伴う変化があったか否かを判定する判定ステップと、
前記進行度合に変化があったと判定された場合に、当該進行度合の変化が少なくなるように補正された進行度合を生成する補正ステップと、
生成された補正後の進行度合に応じた前記補間フレーム画像を前記生成ステップにて生成させる制御ステップと、
を含むことを特徴とする動画再生方法。
＜請求項４＞
動画像を構成する複数のフレーム画像を記憶する記憶手段を備える動画再生装置のコンピュータを、
前記複数のフレーム画像のうち、隣合う二つのフレーム画像間を補間する補間フレーム画像を生成する生成手段、
テンポ情報を伴う演奏情報に基づいて演奏される所定の曲の所定のタイミングに同期させて再生される前記複数のフレーム画像のうち、隣合う二つのフレーム画像間における前記所定の曲の演奏の進行度合を逐次算出する算出手段、
前記補間フレーム画像の再生タイミングに対応する前記進行度合についてテンポ変更に伴う変化があったか否かを判定する判定手段、
この判定手段により前記進行度合に変化があったと判定された場合に、当該進行度合の変化が少なくなるように補正された進行度合を生成する補正手段、
この補正手段により生成された補正後の進行度合に応じた前記補間フレーム画像を前記生成手段に生成させる制御手段、
として機能させることを特徴とするプログラム。
【符号の説明】
【００５４】
１００ 動画再生装置
１ 中央制御部
３ 記憶部
４ 動画処理部
４ａ 画像生成部
４ｂ 進行度合算出部
４ｃ 判定部
４ｄ 進行度合補正部
４ｅ 生成制御部
５ 表示部
６ 音出力部
Ｍ 動き情報
Ｔ 演奏情報
【技術分野】
【０００１】
本発明は、動画像を曲に合わせて再生する動画再生装置、動画再生方法及びプログラムに関する。
【背景技術】
【０００２】
従来、自動的に演奏される曲の拍や小節に関連付けて複数のフレーム画像を切り替えて再生する技術が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平５−１８１４６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１の場合、一拍分や一小節分の時間の変化に応じて各フレーム画像の表示時間が変更されるため、フレーム画像内の動体の動きを違和感なく滑らかに表現することができないといった問題がある。また、動画像を構成する複数のフレーム画像のうち、隣合うフレーム画像どうしの間の画像を補間して再生する技術も知られているが、一の小節の途中で曲のテンポ等が変更されると当該小節における曲の進行度合が変化して、補間フレーム画像の表示内容にずれを生じさせる虞もある。
【０００５】
本発明は、このような問題に鑑みてなされたものであり、曲の進行度合を考慮して適正な補間フレーム画像を再生することができる動画再生装置、動画再生方法及びプログラムを提供することである。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本発明の動画再生装置は、
動画像を構成する複数のフレーム画像を記憶する記憶手段と、前記複数のフレーム画像のうち、隣合う二つのフレーム画像間を補間する補間フレーム画像を生成する生成手段と、テンポ情報を伴う演奏情報に基づいて演奏される所定の曲の所定のタイミングに同期させて再生される前記複数のフレーム画像のうち、隣合う二つのフレーム画像間における前記所定の曲の演奏の進行度合を逐次算出する算出手段と、前記補間フレーム画像の再生タイミングに対応する前記進行度合についてテンポ変更に伴う変化があったか否かを判定する判定手段と、この判定手段により前記進行度合に変化があったと判定された場合に、当該進行度合の変化が少なくなるように補正された進行度合を生成する補正手段と、この補正手段により生成された補正後の進行度合に応じた前記補間フレーム画像を前記生成手段に生成させる制御手段と、を備えたことを特徴としている。
【０００７】
また、本発明の動画再生方法は、
動画像を構成する複数のフレーム画像を記憶する記憶手段を備える動画再生装置を用いた動画再生方法であって、前記複数のフレーム画像のうち、隣合う二つのフレーム画像間を補間する補間フレーム画像を生成する生成ステップと、テンポ情報を伴う演奏情報に基づいて演奏される所定の曲の所定のタイミングに同期させて再生される前記複数のフレーム画像のうち、隣合う二つのフレーム画像間における前記所定の曲の演奏の進行度合を逐次算出する算出ステップと、前記補間フレーム画像の再生タイミングに対応する前記進行度合についてテンポ変更に伴う変化があったか否かを判定する判定ステップと、前記進行度合に変化があったと判定された場合に、当該進行度合の変化が少なくなるように補正された進行度合を生成する補正ステップと、生成された補正後の進行度合に応じた前記補間フレーム画像を前記生成ステップにて生成させる制御ステップと、を含むことを特徴としている。
【０００８】
また、本発明のプログラムは、
動画像を構成する複数のフレーム画像を記憶する記憶手段を備える動画再生装置のコンピュータを、前記複数のフレーム画像のうち、隣合う二つのフレーム画像間を補間する補間フレーム画像を生成する生成手段、テンポ情報を伴う演奏情報に基づいて演奏される所定の曲の所定のタイミングに同期させて再生される前記複数のフレーム画像のうち、隣合う二つのフレーム画像間における前記所定の曲の演奏の進行度合を逐次算出する算出手段、前記補間フレーム画像の再生タイミングに対応する前記進行度合についてテンポ変更に伴う変化があったか否かを判定する判定手段、この判定手段により前記進行度合に変化があったと判定された場合に、当該進行度合の変化が少なくなるように補正された進行度合を生成する補正手段、この補正手段により生成された補正後の進行度合に応じた前記補間フレーム画像を前記生成手段に生成させる制御手段、として機能させることを特徴としている。
【発明の効果】
【０００９】
本発明によれば、曲の進行度合を考慮して適正な補間フレーム画像を再生することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明を適用した一実施形態の動画再生装置の概略構成を示すブロック図である。
【図２】図１の動画再生装置による事前解析処理に係る動作の一例を示すフローチャートである。
【図３】図１の動画再生装置による動画再生処理に係る動作の一例を示すフローチャートである。
【図４】図３の動画再生処理の続きを示すフローチャートである。
【図５】図４の動画再生処理を説明するための図である。
【図６】変形例１の動画再生装置の概略構成を示すブロック図である。
【図７】図６の動画再生装置による編集処理を説明するための図である。
【発明を実施するための形態】
【００１１】
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図１は、本発明を適用した一実施形態の動画再生装置１００の概略構成を示すブロック図である。
【００１２】
本実施形態の動画再生装置１００は、所定の曲の所定のタイミングに同期させて再生される隣合う二つのフレーム画像間における所定の曲の演奏の進行度合を逐次算出し、所定の曲のテンポの変更に伴って補間フレーム画像の再生タイミングに対応する曲の進行度合の変化があったと判定された場合に、当該曲の進行度合の変化が少なくなるように補正して補正後の曲の進行度合を生成し、当該補正後の曲の進行度合に応じた補間フレーム画像を生成する。
具体的には、動画再生装置１００は、例えば、パーソナルコンピュータ等により構成され、図１に示すように、中央制御部１と、操作入力部２と、記憶部３と、動画処理部４と、表示部５と、音出力部６等を備えている。
【００１３】
中央制御部１は、動画再生装置１００の各部を制御するものである。具体的には、中央制御部１は、ＣＰＵ、ＲＡＭ、ＲＯＭ（何れも図示略）を備え、ＲＯＭに記憶された動画再生装置１００用の各種処理プログラム（図示略）に従って各種の制御動作を行う。その際に、ＣＰＵは、ＲＡＭ内の格納領域内に各種処理結果を格納させ、必要に応じてその処理結果を表示部５に表示させる。
ＲＡＭは、例えば、ＣＰＵにより実行される処理プログラム等を展開するためのプログラム格納領域や、入力データや上記処理プログラムが実行される際に生じる処理結果等を格納するデータ格納領域などを備える。
ＲＯＭは、コンピュータ読み取り可能なプログラムコードの形態で格納されたプログラム、具体的には、動画再生装置１００で実行可能なシステムプログラム、当該システムプログラムで実行可能な各種処理プログラムや、これら各種処理プログラムを実行する際に使用されるデータ等を記憶する。
【００１４】
操作入力部２は、例えば、数値、文字等を入力するためのデータ入力キーや、データの選択、送り操作等を行うための上下左右移動キーや各種機能キー等によって構成されるキーボードやマウス等を備え、ユーザにより押下されたキーの押下信号やマウスの操作信号を中央制御部１のＣＰＵに出力する。
なお、操作入力部２としてタッチパネル（図示略）を表示部５の表示画面に配設して、タッチパネルの接触位置に応じて各種の指示を入力するような構成としても良い。
【００１５】
記憶部３は、例えば、半導体の不揮発メモリやＨＤＤ（Hard Disc Drive）等により構成され、動画像情報Ｍ、演奏情報Ｔ等を記憶する。
【００１６】
動画像情報Ｍは、動画再生部４ｆにより演奏情報Ｔとともに自動的に再生される情報である。即ち、動画像情報Ｍは、所定の時間間隔を空けて再生される複数のフレーム画像を時間軸に沿って連続して並べた情報である。
また、連続して並べられた各フレーム画像は、例えば、公知の被写体切抜手法を用いて、被写体存在画像から被写体が含まれる領域が切り抜かれた被写体切り抜き画像を用いて作成された画像である。具体的には、画像生成装置（図示略）は、静止画像である被写体切り抜き画像を基準として、当該被写体切り抜き画像の被写体が含まれる領域の被写体画像内に動きの制御点を複数設定する。そして、画像生成装置は、所定空間内にて複数の制御点の全て若しくは少なくとも一つを移動させ、移動後の制御点を基準として被写体画像内に設定される所定の画像領域（例えば、三角形や矩形状の領域）を移動もしくは変形させることで、フレーム画像を逐次生成する。そして、画像生成装置は、生成された複数のフレーム画像を時間軸に沿って並べることで、動画像情報Ｍを生成する。
なお、制御点を基準とした所定の画像領域を移動もしくは変形させる処理は、公知の技術であるので、ここでは詳細な説明を省略する。
【００１７】
例えば、図５（ａ）に示すように、動画像情報Ｍは、ヒトの片方の手首を曲げる動作を模式的に表した複数（例えば、ｎ個；ｎは自然数）の基準フレーム画像（例えば、基準フレーム画像Ｆ１、…、Ｆｋ、Ｆｋ＋１、…、Ｆｎ；ｋは、ｎより小さい自然数）から構成されている。
なお、図５（ａ）に示した動画像情報Ｍは、一例であってこれに限られるものではなく、動作の内容等は適宜任意に変更可能である。
このように、記憶部３は、動画像を構成する複数の基準フレーム画像Ｆ１、…、Ｆｋ、Ｆｋ＋１、…、Ｆｎを記憶する記憶手段を構成している。
【００１８】
演奏情報Ｔは、動画再生部４ｆにより動画像情報Ｍとともに自動的に曲を演奏するための情報である。この演奏情報Ｔは、例えば、テンポ、拍子等を規定する情報、その曲を構成する複数の情報を有し、これらの情報とそれぞれ曲名とが対応付けて記憶されている。
また、各演奏情報Ｔは、例えば、ＭＩＤＩ（Musical Instruments Digital Interface）規格等に従って規定されたデジタルデータであり、具体的には、当該ＭＩＤＩファイルのフォーマット、トラック数や四分音符の分解能（Tickカウント数）等が規定されたヘッダ情報と、各パートに割り当てられた音源（例えば、楽器等）に供給させるイベントおよびタイミングかならなるトラック情報等を有している。このトラック情報のイベントとして、テンポあるいは拍子の変更や、NoteOn・Offを指示する情報などがある。
【００１９】
動画処理部４は、進行度合算出部４ａと、判定部４ｂと、進行度合補正部４ｃと、画像生成部４ｄと、生成制御部４ｅと、動画再生部４ｆとを具備している。
【００２０】
進行度合算出部４ａは、算出手段として、隣合う二つの基準フレーム画像Ｆｋ、Ｆｋ＋１間における所定の曲の演奏の進行度合を逐次算出する。
即ち、進行度合算出部４ａは、動画再生部４ｆにより演奏情報Ｔに基づいて演奏される所定の曲の所定のタイミング、例えば、各小節の先頭拍に同期させて再生される隣合う二つの基準フレーム画像Ｆｋ、Ｆｋ＋１間における所定の曲の演奏の進行度合を算出する。具体的には、進行度合算出部４ａは、事前解析処理（後述）にて、ＭＩＤＩ規格の演奏情報Ｔのヘッダ情報及びトラック情報を解析して、テンポの設定情報及び四分音符の分解能（Tickカウント数）を取得する。そして、進行度合算出部４ａは、テンポ設定の変遷と四分音符の分解能（Tickカウント数）に基づいて、動画再生部４ｆにより演奏される所定の曲の演奏の経過時間をTickカウント数に変換する。続けて、進行度合算出部４ａは、所定の曲の演奏の経過時間に対応するTickカウント数に基づいて、所定のタイミング（例えば、各小節の一拍目等）に同期させて再生される隣合う二つの基準フレーム画像Ｆｋ、Ｆｋ＋１間における所定の曲の演奏の相対的な進行度合を、例えば百分率で算出する。
【００２１】
判定部４ｂは、判定手段として、隣合う二つの基準フレーム画像Ｆｋ、Ｆｋ＋１間を補完する補間フレーム画像Ｉの再生タイミングに対応する曲の進行度合についてテンポ変更に伴う変化があったか否かを判定する。
具体的には、判定部４ｂは、トラック情報からテンポ変更のイベントが読み出されたこと、あるいは外部より新たなテンポ情報の変更設定があったことが検知されたか否かを判定する。このようなテンポの変更が検知されると、進行度合算出部４ａにより所定のタイミングで新たに算出された曲の進行度合と、当該所定のタイミングよりも一つ前のタイミングで算出された前回の曲の進行度合とを比較すると、新たに算出された曲の進行度合が前回の曲の進行度合に対して大きく変化する。
【００２２】
ここで、曲の途中でテンポが遅くなった場合を例に挙げ、図５（ｂ）及び図５（ｃ）を参照して説明する。
即ち、所定のタイミング（例えば、各小節の一拍目等）に同期させた隣合う二つの基準フレーム画像Ｆｋ、Ｆｋ＋１間、つまり、何れかの補間フレーム画像Ｉの再生タイミングにて、所定の曲のテンポ（演奏速度）の変更が行われると、新たに算出された進行度合が前回の進行度合に対して減少する虞がある（図５（ｂ）及び図５（ｃ）参照）。
例えば、仮にテンポをＢＰＭ＝１２０とし、１小節の演奏時間を２秒として基準フレーム画像Ｆｋ、Ｆｋ＋１どうしを２秒間隔を空けて同期させる場合に、１秒経過した時点では、基準フレーム画像Ｆｋを同期させた時点からの演奏曲の進行度合は５０％となり、基準フレーム画像Ｆｋ及び基準フレーム画像Ｆｋ＋１を５０％ずつ重み付けした略中間の画像が補間フレーム画像Ｉとして表示される（図５（ｂ）参照）。
そして、１秒経過後直ちにテンポがＢＰＭ＝６０に変更されると、この変更時点から基準フレーム画像Ｆｋ＋１を同期させる時点までの残り時間が２倍（略２秒）となり、基準フレーム画像Ｆｋを同期させた時点からの演奏曲の実質的な進行度合は３３．３％となる（図５（ｃ）参照）。このため、変更時点以降で演奏曲の実質的な進行度合が５０％となるまでの期間では、進行度合算出部４ａにより新たに算出される演奏曲の進行度合が減少してしまい、判定部４ｂは、新たに算出される演奏曲の進行度合が実質的に減少したと判定する。
この場合、図５（ｃ）に示すように、基準フレーム画像Ｆｋ及び基準フレーム画像Ｆｋ＋１を５０％ずつ重み付けした補間フレーム画像Ｉ（図５ｂ参照）よりも、基準フレーム画像Ｆｋの重みが大きい補間フレーム画像Ｉが画像生成部４ｄにより生成されて表示部５に表示されることとなる。
【００２３】
進行度合補正部４ｃは、補正手段として、曲の演奏の進行度合の変化が少なくなるように補正して補正後の進行度合を生成する。
即ち、進行度合補正部４ｃは、判定部４ｂにより補間フレーム画像Ｉの再生タイミングにおける曲の演奏の進行度合が曲のテンポの変更に伴って減少したと判定された場合に、当該進行度合の減少が少なくなるように補正する。具体的には、進行度合補正部４ｃは、判定部４ｂによる比較判定に係る前回（テンポ変更前に）算出された曲の進行度合（例えば、図５（ｂ）における５０％）に基づいて、進行度合の減少が少なくなるように補正して補正後の曲の進行度合を生成する。例えば、進行度合補正部４ｃは、テンポ変更後に新たに算出された曲の進行度合と前回（テンポ変更前）の曲の進行度合とを加算して、その平均値を補正後の曲の進行度合とする。
なお、曲の進行度合の補正方法は、新たに算出された曲の進行度合と前回の曲の進行度合とを加算平均する方法に限られるものではなく、例えば、前回の進行度合の重み付けが大きくなるように重み付け平均しても良い。
ここにおいては、曲のテンポが途中で遅くなった場合について説明したが、当然曲のテンポが途中で早くなった場合は、進行度合補正部４ｃは、判定部４ｂによる比較判定に係る前回算出された曲の進行度合に基づいて、進行度合の増加が少なくなるように補正して補正後の曲の進行度合を生成する。この場合も、進行度合補正部４ｃは、新たに算出された曲の進行度合と前回の曲の進行度合とを加算して、その平均値を補正後の曲の進行度合としても良い。
【００２４】
画像生成部４ｄは、生成手段として、複数のフレーム画像Ｆ１〜Ｆｎのうち、例えば、隣合う二つの基準フレーム画像Ｆｋ、Ｆｋ＋１間を補間する補間フレーム画像Ｉを生成する。
即ち、画像生成部４ｄは、隣合う二つの基準フレーム画像Ｆｋ、Ｆｋ＋１間における、所定の曲の演奏の進行度合に応じて、隣合う二つの基準フレーム画像Ｆｋ、Ｆｋ＋１に対する重み付けを変えて補間フレーム画像Ｉを生成する。具体的には、画像生成部４ｄは、生成制御部４ｅの制御下にて駆動し、進行度合算出部４ａにより算出された曲の演奏の進行度合（例えば、百分率等）若しくは進行度合補正部４ｃによる補正後の進行度合に応じて、隣合う二つの基準フレーム画像Ｆｋ、Ｆｋ＋１に対する重み付けを変えた補間フレーム画像Ｉを生成する。
なお、補間フレーム画像Ｉを生成する処理は、公知の技術であるので、ここでは詳細な説明を省略する。
【００２５】
生成制御部４ｅは、制御手段として、画像生成部４ｄによる補間フレーム画像Ｉの生成を制御する。
即ち、生成制御部４ｅは、進行度合補正部４ｃにより曲の進行度合が補正された場合には、当該補正後の曲の進行度合に応じた補間フレーム画像Ｉを画像生成部４ｄに生成させる。具体的には、生成制御部４ｅは、進行度合補正部４ｃによる補正後の曲の進行度合に応じて、隣合う二つの基準フレーム画像Ｆｋ、Ｆｋ＋１に対する重み付けを変えた補間フレーム画像Ｉを画像生成部４ｄに生成させる。
【００２６】
動画再生部４ｆは、演奏情報Ｔに基づいて所定の曲を自動的に演奏するとともに、当該所定の曲の所定のタイミングで複数のフレーム画像の各々を再生する。
具体的には、動画再生部４ｆは、所定の曲の演奏情報Ｔのデジタルデータを読み込んでＤ／Ａコンバータによりアナログデータに変換して当該所定の曲を自動的に演奏させ、このとき、所定のタイミング（例えば、各小節の１拍目や各拍等）に同期させるように隣合う二つの基準フレーム画像Ｆｋ、Ｆｋ＋１を再生するとともに、隣合う二つの基準フレーム画像Ｆｋ、Ｆｋ＋１間における所定の曲の演奏の進行度合に応じて画像生成部４ｄにより生成される各補間フレーム画像Ｉを再生する。
【００２７】
表示部５は、例えば、ＬＣＤ、ＣＲＴ（Cathode Ray Tube）等のディスプレイから構成され、中央制御部１のＣＰＵの制御下にて各種情報を表示画面に表示する。
即ち、表示部５は、動画再生部４ｆによる動画像情報Ｍの再生の際に、複数のフレーム画像を表示画面に表示する。具体的には、表示部５は、自動的に演奏される曲の所定のタイミングで基準フレーム画像Ｆ１〜Ｆｎ及び補間フレーム画像Ｉを所定の時間間隔で切り替えて表示する。
【００２８】
音出力部６は、例えば、ＬＰＦ（Low Pass Filter）、増幅器、スピーカ等により構成され、中央制御部１のＣＰＵの制御下にて放音する。
即ち、音出力部６は、動画再生部４ｆによる演奏情報Ｔの再生の際に、Ｄ／Ａコンバータにより変換されたアナログデータに基づいて、増幅器を介してスピーカから、所定の音色、音高、音長で曲を放音する。また、音出力部６は、一の音源（例えば、楽器）の音を放音しても良いし、複数の音源の音を同時に放音しても良い。
【００２９】
次に、事前解析処理について図２を参照して説明する。
ここで、図２は、事前解析処理に係る動作の一例を示すフローチャートである。
【００３０】
図２に示すように、動画処理部４は、記憶部３に記憶されている演奏情報Ｔの中で、ユーザによる操作入力部２の所定操作に基づいて指定された演奏情報Ｔを読み出して取得するとともに、ユーザによる操作入力部２の所定操作に基づいて指定された基準フレーム画像Ｆｋの同期タイミング（例えば、全音符、つまり各小節のタイミング）を取得する（ステップＳ１）。
【００３１】
次に、進行度合算出部４ａは、取得されたＭＩＤＩ規格の演奏情報Ｔのヘッダ情報を解析して、ＭＩＤＩファイルのフォーマット、トラック数、四分音符の分解能（Tickカウント数；例えば、Tick＝４８０等）を特定する（ステップＳ２）。
続けて、進行度合算出部４ａは、演奏情報Ｔのトラック情報を解析して、テンポの変更タイミングに係る情報を取得するとともに、全てのトラックの中での最初のNoteOn及び最後のNoteOffのタイミングを規定するTickカウント数を取得する（ステップＳ３）。その後、進行度合算出部４ａは、最初のNoteOn及び最後のNoteOffのTickカウント数に基づいて、最初のNoteOnのTickカウント数から最後のNoteOffまでのTickカウント数までの期間を動画再生期間に設定する（ステップＳ４）。
【００３２】
次に、動画処理部４は、四分音符の分解能、拍子の設定タイミング及び動画再生期間に基づいて、当該演奏情報Ｔに基づいて自動的に演奏される曲が、第一拍目以外から開始する弱起の曲であるか否かを判定する（ステップＳ５）。
ここで、弱起の曲であると判定されると（ステップＳ５；ＹＥＳ）、動画処理部４は、最初のNoteOnのタイミングを規定するTickカウント数に基づいて、演奏される曲が第一小節の第一拍目の裏から放音が開始されるか否かを判定する（ステップＳ６）。
【００３３】
ステップＳ６にて、第一小節の第一拍目の裏から放音が開始されると判定されると（ステップＳ６；ＹＥＳ）、進行度合算出部４ａは、動画再生の開始タイミングが次の小節の頭（当該小節の終わり）に相当するTickカウント数となるように動画再生期間を再設定する（ステップＳ７）。
一方、第一小節の第一拍目の裏から放音が開始されないと判定されると（ステップＳ６；ＮＯ）、進行度合算出部４ａは、動画再生の開始タイミングが当該小節の頭に相当するTickカウント数となるように動画再生期間を再設定する（ステップＳ８）。
これにより、事前解析処理を終了する。
【００３４】
次に、動画再生処理について図３及び図４を参照して説明する。
ここで、図３及び図４は、動画再生処理に係る動作の一例を示すフローチャートである。
【００３５】
動画再生処理は、ユーザによる操作入力部２の所定操作に基づいて動画再生部４ｆによる動画の再生開始が指示され、当該動画の再生中において、所定時間間隔（例えば、３０ｍｓ等）毎に逐次実行される処理である。
【００３６】
図３に示すように、動画処理部４の進行度合算出部４ａは、演奏情報Ｔに基づいて演奏される曲の再生開始からの経過時間（ｍｓ）をタイマ（図示略）から取得した後（ステップＳ１１）、当該経過時間をテンポ設定の変遷と四分音符の分解能（Tickカウント数）に基づいてTickカウント数に変換する（ステップＳ１２）。
次に、進行度合算出部４ａは、経過時間のTickカウント数に基づいて、経過時間が動画再生期間よりも前であるか否かを判定する（ステップＳ１３）。
【００３７】
ステップＳ１３にて、経過時間が動画再生期間よりも前であると判定されると（ステップＳ１３；ＹＥＳ）、動画再生部４ｆは、記憶部３に記憶されている動画像情報Ｍを構成する複数の基準フレーム画像Ｆ１〜Ｆｎの中から最初の基準フレーム画像Ｆ１を取得する（ステップＳ１４）。
これにより、動画再生部４ｆにより演奏情報Ｔに基づいて自動的に演奏されて、音出力部６から所定の曲が最初に放音される際に、表示部５は最初の基準フレーム画像Ｆ１を表示画面に表示した状態となる。
【００３８】
一方、ステップＳ１３にて、経過時間が動画再生期間よりも前でないと判定されると（ステップＳ１３；ＮＯ）、進行度合算出部４ａは、経過時間のTickカウント数に基づいて、経過時間が動画再生期間よりも後であるか否かを判定する（ステップＳ１５）。
ここで、経過時間が動画再生期間よりも後であると判定されると（ステップＳ１５；ＹＥＳ）、動画再生部４ｆは、記憶部３に記憶されている動画像情報Ｍを構成する複数の基準フレーム画像Ｆ１〜Ｆｎの中から最後の基準フレーム画像Ｆｎを取得する（ステップＳ１６）。
これにより、動画再生部４ｆにより演奏情報Ｔに基づいて自動的に演奏されて、音出力部６から所定の曲が最後に放音される際に、表示部５は最後の基準フレーム画像Ｆｎを表示画面に表示した状態となる。
【００３９】
一方、ステップＳ１５にて、経過時間が動画再生期間よりも後でないと判定されると（ステップＳ１５；ＮＯ）、図４に示すように、進行度合算出部４ａは、基準フレーム画像Ｆｋが全音符に同期して表示されるか否かを判定する（ステップＳ１７）。
ここで、基準フレーム画像Ｆｋが全音符に同期して表示されないと判定されると（ステップＳ１７；ＮＯ）、進行度合算出部４ａは、経過時間のTickカウント数に基づいて、経過時間が同期している音符（例えば、四分音符等）で何個分に相当するかを特定する（ステップＳ１８）。具体的には、進行度合算出部４ａは、経過時間のTickカウント数を同期している音符のTickカウント数で除算することで、当該音符で何個分に相当するかを特定する。なお、除算の結果、割り切れなかった場合には、例えば、分数や小数で表されるようにしても良い。
次に、進行度合算出部４ａは、同期している音符で何個分に相当するかの特定結果に基づいて、特定された音符数（即ち、整数の部分）に応じて、記憶部３に記憶されている動画像情報Ｍを構成する複数の基準フレーム画像Ｆ１〜Ｆｎの中から基準フレーム画像Ｆｋを特定する（ステップＳ１９）。続けて、進行度合算出部４ａは、同期している音符で何個分に相当するかの特定結果に基づいて、割り切れなかった端数分（例えば、１／３等）を百分率で表し、当該値を基準フレーム画像Ｆｋと隣合う基準フレーム画像Ｆｋ＋１との間における所定の曲の演奏の進行度合として設定する（ステップＳ２０）。
【００４０】
一方、ステップＳ１７にて、基準フレーム画像Ｆｋが全音符に同期して表示されると判定されると（ステップＳ１７；ＹＥＳ）、進行度合算出部４ａは、経過時間のTickカウント数と拍子設定の変遷とに基づいて、経過時間が何小節目の何拍目かを特定する（ステップＳ２１）。続けて、進行度合算出部４ａは、何れかの小節の途中で拍子の設定が行われていた場合には、当該一小節は終了したものとみなして、ステップＳ２１にて特定済みの経過時間に対応する何小節目の何拍目に係る情報を補正する（ステップＳ２２）。なお、当該経過時間に対応する何小節目の何拍目に係る情報を補正する処理は、必ずしも行う必要はない。
次に、進行度合算出部４ａは、演奏開始後に実際に曲が音出力部６から放音されるまでの期間を除外するため、動画再生の開始タイミングまでの小節分を減算して、特定済みの経過時間に対応する何小節目の何拍目に係る情報を補正する（ステップＳ２３）。
【００４１】
次に、進行度合算出部４ａは、特定された経過時間に対応する何小節目の何拍目に係る情報に基づいて、特定された小節の位置を基準として、記憶部３に記憶されている動画像情報Ｍを構成する複数の基準フレーム画像Ｆ１〜Ｆｎの中から基準フレーム画像Ｆｋを特定する（ステップＳ２４）。続けて、進行度合算出部４ａは、特定された小節における拍の位置を百分率で表し、当該値を基準フレーム画像Ｆｋと隣合う基準フレーム画像Ｆｋ＋１との間における所定の曲の演奏の進行度合として設定する（ステップＳ２５）。
【００４２】
次に、判定部４ｂは、新たに算出された曲の進行度合が前回の曲の進行度合に対してテンポ変更に伴う変化があったか否かを判定する（ステップＳ２６）。
当該判定処理は、進行度合算出部４ａにより進行度合が算出される毎に、即ち、ステップＳ２０若しくはステップＳ２５にて進行度合が設定される毎に逐次実行される。
【００４３】
ステップＳ２６にて、新たに算出された曲の進行度合が前回の曲の進行度合に対して変化がないと判定されると（ステップＳ２６；ＮＯ）、画像生成部４ｄは、進行度合算出部４ａにより新たに算出された曲の進行度合に応じて、隣合う二つの基準フレーム画像Ｆｋ、Ｆｋ＋１に対する重み付けを変えた補間フレーム画像Ｉを生成して取得する（ステップＳ２７）。
これにより、動画再生部４ｆにより演奏情報Ｔに基づいて自動的に演奏されて、表示部５は、音出力部６から放音される所定の曲の進行度合に応じた補間フレーム画像Ｉを表示画面に表示した状態となる。
【００４４】
一方、ステップＳ２６にて、新たに算出された曲の進行度合についてテンポ変更に伴う変化があったと判定されると（ステップＳ２６；ＹＥＳ）、進行度合補正部４ｃは、判定部４ｂによる比較判定に係る前回算出された進行度合に基づいて、進行度合の変化が少なくなるように補正して補正後の進行度合を生成する（ステップＳ２８）。具体的には、進行度合補正部４ｃは、例えば、新たに算出された進行度合と前回の進行度合とを加算して、その平均値を補正後の進行度合とする。
その後、動画処理部４は、処理をステップＳ２７に移行して、画像生成部４ｄは、進行度合補正部４ｃによる補正後の曲の進行度合に応じて、隣合う二つの基準フレーム画像Ｆｋ、Ｆｋ＋１に対する重み付けを変えた補間フレーム画像Ｉを生成して取得する（ステップＳ２７）。
これにより、動画再生部４ｆにより演奏情報Ｔに基づいて自動的に演奏されて、表示部５は、音出力部６から放音される所定の曲の進行度合を考慮して生成された補間フレーム画像Ｉを表示画面に表示した状態となる。
【００４５】
以上のように、本実施形態の動画再生装置１００によれば、所定の曲の所定のタイミングに同期させて再生される隣合う二つの基準フレーム画像Ｆｋ、Ｆｋ＋１間における所定の曲の演奏の進行度合を逐次算出し、所定の曲の補間フレーム画像Ｉの再生タイミングに対応する曲の進行度合がテンポ変更に伴う変化があったと判定された場合に、当該曲の進行度合の変化が少なくなるように補正して補正後の曲の進行度合を生成し、当該補正後の曲の進行度合に応じた補間フレーム画像Ｉを生成するので、自動的に演奏される曲の進行度合を考慮してより適正な補間フレーム画像Ｉを再生することができる。
即ち、自動的に演奏される一の小節の途中で曲の演奏速度（テンポ）が変更されて当該小節における曲の進行度合が変化した場合であっても、曲の進行度合の変化が少なくなるように当該曲の進行度合を補正する。そして、補正後の曲の進行度合に応じた補間フレーム画像Ｉを生成することで、当該補間フレーム画像Ｉの内容と曲の実質的な進行度合との間に生じるずれをより小さくすることができる。この結果、動体の動きに起因して生じる違和感を軽減させることが可能なより適正な補間フレーム画像Ｉを再生することができる。
【００４６】
なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
以下に、動画再生装置１００の変形例について説明する。
【００４７】
＜変形例１＞
図６は、変形例１の動画再生装置２００の概略構成を示すブロック図である。また、図７は、変形例１の動画再生装置２００による編集処理を説明するための図である。
図６に示すように、変形例１の動画再生装置２００は、中央制御部１、操作入力部２、記憶部３、動画処理部４、表示部５、音出力部６に加えて、動画編集部７を備えている。
なお、変形例１は、下記に詳細に説明する以外の点で、上記実施形態と略同様の構成をなし、その説明は省略する。
【００４８】
動画編集部７は、所定の長さを基本単位とする動画パーツ情報７ａを任意に組み合わせて所望の編集済み動画情報７ｂを生成する。
即ち、動画編集部７には、例えば、小節、四分音符等の各音符等を基本単位とする動画パーツ情報７ａが記憶されている。この動画パーツ情報７ａは、上記実施形態における基準フレーム画像Ｆｋ、Ｆｋ＋１や補間フレーム画像Ｉのうち、少なくとも一方から構成された情報であり、複数のフレーム画像が時間軸に沿って並べられている。
そして、動画編集部７は、表示部５に表示されている動画編集画面Ｐｇ内にて（図７参照）、ユーザによる操作入力部２の所定操作に基づいて指定された所定数の動画パーツ情報７（図７中、ａ１〜ａ４の符号で示す）を任意に組み合わせていくことで、当該所定数の動画パーツ情報７ａが時間軸に沿って並べられた編集済み動画情報７ｂを生成して記憶する。
【００４９】
従って、変形例１の動画再生装置２００によれば、予め複数の動画パーツ情報７ａを記憶しておくことにより、これらを任意に組み合わせたユーザ所望の編集済み動画情報７ｂを簡便に生成することができる。
なお、生成された編集済み動画情報７ｂは、上記実施形態の動画再生処理に用いられても良い。即ち、動画再生部４ｆは、演奏情報Ｔに基づいて所定の曲を自動的に演奏するとともに、当該所定の曲の所定のタイミングで編集済み動画情報７ｂを構成する複数のフレーム画像の各々を再生するようにしても良い。
【００５０】
また、上記実施形態にあっては、動画再生装置１００として、パーソナルコンピュータを例示したが、一例であってこれに限られるものではなく適宜任意に変更可能であり、例えば、携帯電話機等を適用しても良い。
さらに、動画再生装置１００をＷｅｂサーバとして機能させ、ユーザによるユーザ端末（図示略）の所定操作に基づいて、当該Ｗｅｂサーバ（動画再生装置１００）によって複数のフレーム画像の画像データ並びに演奏情報Ｔを一つのファイルとして生成させ、全てのデータの生成完了後に、当該ファイルをＷｅｂサーバからユーザ端末に送信して当該ユーザ端末にて再生させるようにしても良い。
【００５１】
加えて、上記実施形態にあっては、生成手段、算出手段、判定手段、補正手段、制御手段としての機能を、中央制御部１の制御下にて、画像生成部４ｄ、進行度合算出部４ａ、判定部４ｂ、進行度合補正部４ｃ、生成制御部４ｅが駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部１のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ（図示略）に、生成処理ルーチン、算出処理ルーチン、判定処理ルーチン、補正処理ルーチン、制御処理ルーチンを含むプログラムを記憶しておく。そして、生成処理ルーチンにより中央制御部１のＣＰＵを、複数のフレーム画像Ｆ１〜Ｆｎのうち、隣合う二つのフレーム画像Ｆｋ、Ｆｋ＋１間を補間する補間フレーム画像Ｉを生成する生成手段として機能させるようにしても良い。また、算出処理ルーチンにより中央制御部１のＣＰＵを、演奏情報Ｔに基づいて演奏される所定の曲の所定のタイミングに同期させて再生される複数のフレーム画像Ｆ１〜Ｆｎのうち、隣合う二つのフレーム画像Ｆｋ、Ｆｋ＋１間における所定の曲の演奏の進行度合を逐次算出する算出手段として機能させるようにしても良い。また、判定処理ルーチンにより中央制御部１のＣＰＵを、補間フレーム画像Ｉの再生タイミングに対応する進行度合についてテンポ変更に伴う変化があったか否かを判定する判定手段として機能させるようにしても良い。また、補正処理ルーチンにより中央制御部１のＣＰＵを、判定手段により進行度合に変化があったと判定された場合に、当該進行度合の変化が少なくなるように補正された進行度合を生成する補正手段として機能させるようにしても良い。また、制御処理ルーチンにより中央制御部１のＣＰＵを、補正手段により生成された補正後の進行度合に応じた補間フレーム画像Ｉを生成手段に生成させる制御手段として機能させるようにしても良い。
【００５２】
さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。
【００５３】
〔付記〕
本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
＜請求項１＞
動画像を構成する複数のフレーム画像を記憶する記憶手段と、
前記複数のフレーム画像のうち、隣合う二つのフレーム画像間を補間する補間フレーム画像を生成する生成手段と、
テンポ情報を伴う演奏情報に基づいて演奏される所定の曲の所定のタイミングに同期させて再生される前記複数のフレーム画像のうち、隣合う二つのフレーム画像間における前記所定の曲の演奏の進行度合を逐次算出する算出手段と、
前記補間フレーム画像の再生タイミングに対応する前記進行度合についてテンポ変更に伴う変化があったか否かを判定する判定手段と、
この判定手段により前記進行度合に変化があったと判定された場合に、当該進行度合の変化が少なくなるように補正された進行度合を生成する補正手段と、
この補正手段により生成された補正後の進行度合に応じた前記補間フレーム画像を前記生成手段に生成させる制御手段と、
を備えたことを特徴とする動画再生装置。
＜請求項２＞
前記補正手段は、前記テンポ変更前に算出された進行度合と、前記テンポ変更後に算出された進行度合との平均値を、前記補正後の進行度合として生成することを特徴とする請求項１に記載の動画再生装置。
＜請求項３＞
動画像を構成する複数のフレーム画像を記憶する記憶手段を備える動画再生装置を用いた動画再生方法であって、
前記複数のフレーム画像のうち、隣合う二つのフレーム画像間を補間する補間フレーム画像を生成する生成ステップと、
テンポ情報を伴う演奏情報に基づいて演奏される所定の曲の所定のタイミングに同期させて再生される前記複数のフレーム画像のうち、隣合う二つのフレーム画像間における前記所定の曲の演奏の進行度合を逐次算出する算出ステップと、
前記補間フレーム画像の再生タイミングに対応する前記進行度合についてテンポ変更に伴う変化があったか否かを判定する判定ステップと、
前記進行度合に変化があったと判定された場合に、当該進行度合の変化が少なくなるように補正された進行度合を生成する補正ステップと、
生成された補正後の進行度合に応じた前記補間フレーム画像を前記生成ステップにて生成させる制御ステップと、
を含むことを特徴とする動画再生方法。
＜請求項４＞
動画像を構成する複数のフレーム画像を記憶する記憶手段を備える動画再生装置のコンピュータを、
前記複数のフレーム画像のうち、隣合う二つのフレーム画像間を補間する補間フレーム画像を生成する生成手段、
テンポ情報を伴う演奏情報に基づいて演奏される所定の曲の所定のタイミングに同期させて再生される前記複数のフレーム画像のうち、隣合う二つのフレーム画像間における前記所定の曲の演奏の進行度合を逐次算出する算出手段、
前記補間フレーム画像の再生タイミングに対応する前記進行度合についてテンポ変更に伴う変化があったか否かを判定する判定手段、
この判定手段により前記進行度合に変化があったと判定された場合に、当該進行度合の変化が少なくなるように補正された進行度合を生成する補正手段、
この補正手段により生成された補正後の進行度合に応じた前記補間フレーム画像を前記生成手段に生成させる制御手段、
として機能させることを特徴とするプログラム。
【符号の説明】
【００５４】
１００ 動画再生装置
１ 中央制御部
３ 記憶部
４ 動画処理部
４ａ 画像生成部
４ｂ 進行度合算出部
４ｃ 判定部
４ｄ 進行度合補正部
４ｅ 生成制御部
５ 表示部
６ 音出力部
Ｍ 動き情報
Ｔ 演奏情報
【特許請求の範囲】
【請求項１】
動画像を構成する複数のフレーム画像を記憶する記憶手段と、
前記複数のフレーム画像のうち、隣合う二つのフレーム画像間を補間する補間フレーム画像を生成する生成手段と、
テンポ情報を伴う演奏情報に基づいて演奏される所定の曲の所定のタイミングに同期させて再生される前記複数のフレーム画像のうち、隣合う二つのフレーム画像間における前記所定の曲の演奏の進行度合を逐次算出する算出手段と、
前記補間フレーム画像の再生タイミングに対応する前記進行度合についてテンポ変更に伴う変化があったか否かを判定する判定手段と、
この判定手段により前記進行度合に変化があったと判定された場合に、当該進行度合の変化が少なくなるように補正された進行度合を生成する補正手段と、
この補正手段により生成された補正後の進行度合に応じた前記補間フレーム画像を前記生成手段に生成させる制御手段と、
を備えたことを特徴とする動画再生装置。
【請求項２】
前記補正手段は、前記テンポ変更前に算出された進行度合と、前記テンポ変更後に算出された進行度合との平均値を、前記補正後の進行度合として生成することを特徴とする請求項１に記載の動画再生装置。
【請求項３】
動画像を構成する複数のフレーム画像を記憶する記憶手段を備える動画再生装置を用いた動画再生方法であって、
前記複数のフレーム画像のうち、隣合う二つのフレーム画像間を補間する補間フレーム画像を生成する生成ステップと、
テンポ情報を伴う演奏情報に基づいて演奏される所定の曲の所定のタイミングに同期させて再生される前記複数のフレーム画像のうち、隣合う二つのフレーム画像間における前記所定の曲の演奏の進行度合を逐次算出する算出ステップと、
前記補間フレーム画像の再生タイミングに対応する前記進行度合についてテンポ変更に伴う変化があったか否かを判定する判定ステップと、
前記進行度合に変化があったと判定された場合に、当該進行度合の変化が少なくなるように補正された進行度合を生成する補正ステップと、
生成された補正後の進行度合に応じた前記補間フレーム画像を前記生成ステップにて生成させる制御ステップと、
を含むことを特徴とする動画再生方法。
【請求項４】
動画像を構成する複数のフレーム画像を記憶する記憶手段を備える動画再生装置のコンピュータを、
前記複数のフレーム画像のうち、隣合う二つのフレーム画像間を補間する補間フレーム画像を生成する生成手段、
テンポ情報を伴う演奏情報に基づいて演奏される所定の曲の所定のタイミングに同期させて再生される前記複数のフレーム画像のうち、隣合う二つのフレーム画像間における前記所定の曲の演奏の進行度合を逐次算出する算出手段、
前記補間フレーム画像の再生タイミングに対応する前記進行度合についてテンポ変更に伴う変化があったか否かを判定する判定手段、
この判定手段により前記進行度合に変化があったと判定された場合に、当該進行度合の変化が少なくなるように補正された進行度合を生成する補正手段、
この補正手段により生成された補正後の進行度合に応じた前記補間フレーム画像を前記生成手段に生成させる制御手段、
として機能させることを特徴とするプログラム。
【請求項１】
動画像を構成する複数のフレーム画像を記憶する記憶手段と、
前記複数のフレーム画像のうち、隣合う二つのフレーム画像間を補間する補間フレーム画像を生成する生成手段と、
テンポ情報を伴う演奏情報に基づいて演奏される所定の曲の所定のタイミングに同期させて再生される前記複数のフレーム画像のうち、隣合う二つのフレーム画像間における前記所定の曲の演奏の進行度合を逐次算出する算出手段と、
前記補間フレーム画像の再生タイミングに対応する前記進行度合についてテンポ変更に伴う変化があったか否かを判定する判定手段と、
この判定手段により前記進行度合に変化があったと判定された場合に、当該進行度合の変化が少なくなるように補正された進行度合を生成する補正手段と、
この補正手段により生成された補正後の進行度合に応じた前記補間フレーム画像を前記生成手段に生成させる制御手段と、
を備えたことを特徴とする動画再生装置。
【請求項２】
前記補正手段は、前記テンポ変更前に算出された進行度合と、前記テンポ変更後に算出された進行度合との平均値を、前記補正後の進行度合として生成することを特徴とする請求項１に記載の動画再生装置。
【請求項３】
動画像を構成する複数のフレーム画像を記憶する記憶手段を備える動画再生装置を用いた動画再生方法であって、
前記複数のフレーム画像のうち、隣合う二つのフレーム画像間を補間する補間フレーム画像を生成する生成ステップと、
テンポ情報を伴う演奏情報に基づいて演奏される所定の曲の所定のタイミングに同期させて再生される前記複数のフレーム画像のうち、隣合う二つのフレーム画像間における前記所定の曲の演奏の進行度合を逐次算出する算出ステップと、
前記補間フレーム画像の再生タイミングに対応する前記進行度合についてテンポ変更に伴う変化があったか否かを判定する判定ステップと、
前記進行度合に変化があったと判定された場合に、当該進行度合の変化が少なくなるように補正された進行度合を生成する補正ステップと、
生成された補正後の進行度合に応じた前記補間フレーム画像を前記生成ステップにて生成させる制御ステップと、
を含むことを特徴とする動画再生方法。
【請求項４】
動画像を構成する複数のフレーム画像を記憶する記憶手段を備える動画再生装置のコンピュータを、
前記複数のフレーム画像のうち、隣合う二つのフレーム画像間を補間する補間フレーム画像を生成する生成手段、
テンポ情報を伴う演奏情報に基づいて演奏される所定の曲の所定のタイミングに同期させて再生される前記複数のフレーム画像のうち、隣合う二つのフレーム画像間における前記所定の曲の演奏の進行度合を逐次算出する算出手段、
前記補間フレーム画像の再生タイミングに対応する前記進行度合についてテンポ変更に伴う変化があったか否かを判定する判定手段、
この判定手段により前記進行度合に変化があったと判定された場合に、当該進行度合の変化が少なくなるように補正された進行度合を生成する補正手段、
この補正手段により生成された補正後の進行度合に応じた前記補間フレーム画像を前記生成手段に生成させる制御手段、
として機能させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１２−２５３６１９（Ｐ２０１２−２５３６１９Ａ）
【公開日】平成２４年１２月２０日（２０１２．１２．２０）
【国際特許分類】
【出願番号】特願２０１１−１２５６３３（Ｐ２０１１−１２５６３３）
【出願日】平成２３年６月３日（２０１１．６．３）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
【公開日】平成２４年１２月２０日（２０１２．１２．２０）
【国際特許分類】
【出願日】平成２３年６月３日（２０１１．６．３）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
[ Back to top ]