再生装置、再生装置の制御方法及びコンピュータプログラム
【課題】フレームレートの切り替わりを滑らかにする装置を提供する。
【解決手段】動画像データを第１のフレームレートで再生する再生手段と、再生手段における動画像データの再生を制御する制御手段とを備え、制御手段は、動画像データにおける第１のフレーム群から、第１のフレームレートよりも高い第２のフレームレートで撮影された第２のフレーム群への切替位置を検出し、第２のフレーム群に含まれるフレームのうち、切替位置の後、所定期間に含まれるフレームについては、複数のグループにグループ化してグループ毎に１枚のフレームを再生すると共に、複数のグループを構成するフレーム枚数を、所定期間における時間の経過に応じて段階的に減少させることで再生手段に第１のフレームレートで再生させ、第２のフレーム群に含まれるフレームのうち、所定期間に含まれないフレームについては、全フレームを第１のフレームレートで再生させる。
【解決手段】動画像データを第１のフレームレートで再生する再生手段と、再生手段における動画像データの再生を制御する制御手段とを備え、制御手段は、動画像データにおける第１のフレーム群から、第１のフレームレートよりも高い第２のフレームレートで撮影された第２のフレーム群への切替位置を検出し、第２のフレーム群に含まれるフレームのうち、切替位置の後、所定期間に含まれるフレームについては、複数のグループにグループ化してグループ毎に１枚のフレームを再生すると共に、複数のグループを構成するフレーム枚数を、所定期間における時間の経過に応じて段階的に減少させることで再生手段に第１のフレームレートで再生させ、第２のフレーム群に含まれるフレームのうち、所定期間に含まれないフレームについては、全フレームを第１のフレームレートで再生させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は再生装置、その制御方法、並びに、コンピュータプログラムに関する。
【背景技術】
【０００２】
動画を撮影して記録媒体に記録するビデオカメラが知られている。また、近年では、動画のフレームレート（単位時間当たりのフレーム数）を変更して記録する装置も提案されている（特許文献１を参照）。このようにフレームレートを変更して撮影した動画を決められたフレームレートで再生することで、スローモーション効果やファストモーション効果を得ることができる。
【０００３】
例えば、４８０フレーム／秒（ｆｐｓ）のフレームレートで撮影した動画を、６０ｆｐｓで再生することにより、スローモーション機能が得られる。また、１５ｆｐｓで撮影した動画を６０ｆｐｓで再生することにより、ファストモーション機能が得られる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０００−１２５２１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、撮影中にフレームレートを変更して記録した動画を決められたフレームレートで再生する場合、フレームレートが切り替わる瞬間で再生速度が急激に変わるため、ユーザに視覚的な違和感を与えてしまう。
【０００６】
そこで本発明は、フレームレートの切り替わりを滑らかにするための技術を提供する。
【課題を解決するための手段】
【０００７】
上記課題を解決するための本発明は、再生装置であって、
第１のフレームレートで撮影された第１のフレーム群と、前記第１のフレームレートよりも高い第２のフレームレートで撮影された第２のフレーム群とで構成される動画像データを再生する再生手段と、
前記再生手段により再生された動画像データを前記第１のフレームレートの動画として出力する出力手段と、
前記出力手段による前記動画像データの出力を制御する制御手段と
を備え、
前記制御手段は、
前記動画像データにおいて前記第１のフレーム群から前記第２のフレーム群へ切り替わる位置を検出し、
前記第２のフレーム群に含まれるフレームのうち、検出された前記位置の後、所定期間に含まれるフレームを複数のグループにグループ化してグループ毎に１枚のフレームを再生すると共に、前記複数のグループを構成するフレーム枚数を、前記所定期間における時間の経過に応じて段階的に減少させることで、前記第２のフレーム群を前記第１のフレームレートの動画として出力させ、前記第２のフレーム群に含まれるフレームのうち、前記所定期間に含まれないフレームをそれぞれ前記第１のフレームレートの動画として出力させるように前記出力手段を制御する。
【発明の効果】
【０００８】
本発明によれば、フレームレートの切り替わりを滑らかにして、視覚的な違和感を解消することが可能となる。
【図面の簡単な説明】
【０００９】
【図１】実施形態１に対応する再生方法を説明するシーケンス図。
【図２】実施形態１における再生処理の一例を示すフローチャート。
【図３】実施形態１における再生速度を説明する図。
【図４】実施形態２における再生処理の一例を示すフローチャート。
【図５】実施形態に対応する動画像記録・再生装置の構成の一例を示す図。
【図６】実施形態に対応する記録処理の一例を示すフローチャート。
【発明を実施するための形態】
【００１０】
［実施形態１］
図５は、本発明の実施形態に対応する再生装置として動作するビデオカメラ５００の構成を示すブロック図である。なお、ビデオカメラ５００は、所定の記録フォーマットに従い動画と音声を記録する。また、記録媒体に記録された動画やその他の情報は、ＦＡＴ(File Allocation Table)ファイルシステムに従い、ファイルとして管理される。また、ビデオカメラ５００は、撮影する動画のフレームレート（単位時間あたりのフレーム数）を６０ｆｐｓと４８０ｆｐｓのいずれかに変更することができる。更に、ビデオカメラ５００では、動画の撮影中、即ち、撮影開始の指示から撮影停止の指示までの間に、フレームレートを６０ｆｐｓから４８０ｆｐｓに変更することができる。
【００１１】
図５において、撮像部５０１は被写体を撮影し、被写体を示す動画データを生成して出力する。撮像部５０１は、ズームレンズやフォーカスレンズ等の光学系、ＣＣＤ等のイメージセンサ、アイリス、撮影した動画データをデジタルデータに変換するＡＤ変換器、撮影された動画データに必要な処理を施す処理回路等を含む。音声入力部５０２は、マイクロフォンやアンプ、ＡＤ変換器等を有し、被写体の音声を取得し、音声データを出力する。メモリ５０３は、撮像部５０１から出力された動画データや音声入力部５０２からの音声データ、表示用の画像信号、圧縮された動画データやその他の情報を記憶する。
【００１２】
信号処理部５０４は、記録時においては、撮影された動画データや音声データに対してＭＰＥＧ等の公知の符号化方式に従う符号化処理を施し、その情報量を圧縮してメモリ５０３に記憶する。また、信号処理部５０４は、再生時においては、再生された動画データや音声データを復号し、情報量を伸張する。
【００１３】
表示制御部５０５は、制御部５０７からの指示に従い、動画像や各種の情報を表示部５０６に表示する。表示部５０６は液晶パネル等、公知の表示装置を含む。
【００１４】
制御部５０７はマイコンやその他必要なメモリを有し、不図示の不揮発メモリに記憶されたプログラムに従い、操作部５０８からの指示に応じてビデオカメラ５００の各部の動作を制御する。操作部５０８は、ユーザにより操作可能な電源スイッチ、動画像の撮影開始、停止を指示するトリガスイッチ、再生スイッチ、メニュースイッチ等の各種のスイッチを備える。制御部５０７は、操作部５０８からのユーザの指示を受け付ける。また、ユーザはメニュースイッチを操作して表示部５０６にメニュー画面を表示し、このメニュー画面を利用してビデオカメラ５００の動作モードを変更し、また、設定を変更する。また、操作部５０８は、ユーザが撮影中に動画のフレームレートの変更を指示するための専用のスイッチを備えている。制御部５０７は、設定された動作モードを内部メモリ或いはメモリ５０３に記憶する。この動作モードには、フレームレートの設定が含まれる。
【００１５】
記録再生部５０９は、制御部５０７からの指示に従い、動画データや音声データ、各種の情報を記録媒体５１０に記録し、記録媒体５１０から再生する。記録媒体５１０はメモリカードやハードディスク（ＨＤＤ）等のランダムアクセス可能な記録媒体である。本実施形態では、記録媒体５１０はフラッシュメモリを内蔵した交換可能なメモリカードである。また、記録媒体５１０は、不図示の装着、排出機構により、ビデオカメラ５００に対してユーザが容易に装着、排出可能な構成である。出力部５１１は、撮影された動画データ、或いは、再生された動画データをビデオカメラ５００の外部機器に出力するための出力用インタフェースである。例えば、USBやIEEE1394等のインタフェースがこれに該当する。内部バス５１２は、ビデオカメラ５００の各部の間で、各種のデータやコマンドを転送するために用いられる。
【００１６】
次に、ビデオカメラ５００における記録処理について説明する。図６はビデオカメラ５００における記録処理の一例を示すフローチャートである。なお、図６の処理は制御部５０７が各部を制御することにより実行される。
【００１７】
操作部５０８によりビデオカメラ５００の電源が投入されると、制御部５０７は各部を制御して、撮像部５０１により得られた動画データをメモリ５０３に記憶する。制御部５０７はフレームレートを６０ｆｐｓに設定し、撮影した動画データを出力するように撮像部５０１を制御する。そして、メモリ５０３に記憶された動画データに応じた被写体の動画像を表示部５０６に表示し、記録待機状態となる。ユーザは記録待機状態において操作部１０８を操作することで、撮影する動画のフレームレートを６０ｆｐｓと４８０ｆｐｓの何れかに設定することができる。
【００１８】
このような記録待機状態において、操作部１０８より記録開始の指示があると、制御部５０７は、現在設定されているフレームレートを判定する（Ｓ６０１）。フレームレートが６０ｆｐｓの場合（Ｓ６０１で「６０ｆｐｓ」）、Ｓ６０２で撮像部５０１が撮影した６０ｆｐｓの動画データと音声データを、信号処理部５０４が符号化する。続くＳ６０３では、記録再生部５０９が、符号化された動画と音声を記録媒体５１０に記録する。
【００１９】
動画と音声の記録を開始した後、制御部５０７は、Ｓ６０４において操作部５０８を介して、ユーザよりフレームレートの変更指示を受け付けたか否かを判定する。フレームレートの変更指示が無い場合（Ｓ６０４で「ＮＯ」）、Ｓ６０５に移行する。フレームレートの変更指示が有った場合（Ｓ６０４で「ＹＥＳ」）、Ｓ６０７に移行する。Ｓ６０５では、制御部が操作部５０８を介して記録停止の指示を受け付けたか否かを判定する。記録停止の指示があると（Ｓ６０５で「ＹＥＳ」）、Ｓ６０６にて制御部５０７は記録再生部５０９に動画の記録停止を指示する。なお、本実施形態では、記録開始の指示から記録停止の指示までの間に記録された一連の動画と音声を一つのファイルとして管理する。記録停止の指示がない場合（Ｓ６０５で「ＮＯ」）、Ｓ６０２に戻り動画と音声の記録を続ける。
【００２０】
また、Ｓ６０１でフレームレートが４８０ｆｐｓであった場合、制御部５０７は、Ｓ６０７において、撮像部５０１を４８０ｆｐｓの動画データを出力するように制御する。続くＳ６０８では、制御部５０７が、信号処理部５０４に対し動画データを符号化すると共に、音声入力部５０２からの音声データに代えて、無音のデータを符号化するように指示する。前述の様に、４８０ｆｐｓで撮影した動画を６０ｆｐｓで再生した場合、８倍のスローモーション再生となる。そのため、音声を記録したとしても、正常に音声を再生することができない。そのため、本実施形態では、４８０ｆｐｓの動画を撮影する場合には、音声データは無音データとする。
【００２１】
続くＳ６０９において、制御部５０７は符号化された動画と音声を記録媒体５１０に記録するように、記録再生部５０９を制御する。続くＳ６１０では、記録停止の指示を受け付けたか否かを判定し、指示があった場合（Ｓ６１０で「ＹＥＳ」）、Ｓ６１１に移行する。Ｓ６１１において制御部５０７は、記録再生部５０９に対し、動画の記録停止を指示する。
【００２２】
また、Ｓ６０４で６０ｆｐｓの動画の記録中にフレームレートの変更指示を受け付けＳ６０７に移行した場合、制御部５０７は、Ｓ６０７にて撮像部５０１に対し、４８０ｆｐｓの動画データを出力するように制御する。このとき制御部５０７は、フレームレートの変更指示を受けたときに撮影していたフレームの先頭からの位置（フレーム番号）を検出し、メモリ５０３に記憶する。続くＳ６０８からＳ６１１までの処理は前述の処理と同様である。Ｓ６１１での記録停止の際、制御部５０７はフレームレート変更指示を受付時の撮影フレームの先頭からの位置（フレーム番号）をフレームレート変更位置情報としてメモリ５０３から読み出す。制御部５０７は、当該フレームレート変更位置情報を動画ファイルの付加情報として共に記録媒体５１０に記録する。当該付加情報には、変更前後のフレームレートの情報も併せて記録される。なお、本実施形態では、動画の撮影中に、４８０ｆｐｓから６０ｆｐｓへの切り替えは行わないものとする。
【００２３】
図１は、このように記録された動画データの様子を示す図である。図１において、期間１００は第１のフレームレート６０ｆｐｓ（frate0）で記録した期間、期間１０１は第２のフレームレート４８０ｆｐｓ（frate1）で記録した期間をそれぞれ示す。時点１０２は、フレームレートがfrate0からfrate1に変更された変更位置を示す。
【００２４】
図１では、記録フレーム、再生フレーム及びフレーム再生速度と、表示間隔との関係を示している。再生速度とは、表示レートに対する再生画像のフレームレートを示したものであり、1.00であれば表示レートと記録レートが同じなので通常再生となる。一方、1.00より小さければ表示レートに対して記録レートが高いのでスロー再生、1.00より大きければ高速再生となる。図１の場合、期間１００内で60fpsで記録した第１のフレーム群の画像は1.00で通常再生される。一方、期間１０１内で480fpsで記録した第２のフレーム群の画像は0.125となりスロー再生される。表示間隔（div）は、再生時の表示間隔を表し、２であれば２フレーム毎に画像を再生／表示し、１であれば１フレームごとの表示（つまり間引きなし）となる。期間１０３から１０７は、表示間隔が変更される期間を表している。
【００２５】
次に、図２のフローチャートを参照して、デジタルカメラ５００を再生装置として使用して本実施形態の再生処理を行なう場合を説明する。図２は発明の実施形態に対応する再生処理の一例を示すフローチャートである。なお、図２の処理は制御部５０７が各部を制御することにより実行される。ユーザから操作部１０８を介して撮影モードから再生モードへの切り替え指示を受け付けると、Ｓ２０１において制御部５０７は、記録再生部５０９に各動画データの先頭部分の再生を指示する。信号処理部５０４は、再生された各動画データの先頭フレームをデコードし、更にそのサイズを縮小することにより、各動画ファイルの代表画像（サムネイル）を生成する。表示制御部５０５は、生成された代表画像の一覧画面（インデックス画面）を生成し、表示部５０６に表示する。
【００２６】
Ｓ２０２では、制御部５０７は、再生する動画の指定をユーザから受け付ける。具体的には、ユーザは操作部５０８を操作し、インデックス画面に表示された代表画像のうち、所望の動画ファイルの代表画像を選択し、再生開始を指示するので、当該指示を制御部５０７が受け付ける。
【００２７】
再生開始の指示があると、Ｓ２０３において制御部５０７は、選択された動画ファイルの付加情報に基づいて、選択された動画ファイルの途中でフレームレートが切り替わるかどうかを判定する。もし、切り替わる場合（Ｓ２０３で「ＹＥＳ」）、Ｓ２０４に移行する。一方、切り替わらない場合（Ｓ２０３で「ＮＯ」）、Ｓ２０６へ移行する。
【００２８】
フレームレートが途中で変更されている場合、Ｓ２０４において制御部５０７は、動画ファイルの付加情報に基づきフレームレートの変更位置を検出する。続くＳ２０５で制御部は、付加情報に基づきフレームレートの変更位置におけるフレームレート"frate0"と"frate1"とをそれぞれ判定する。
【００２９】
続くＳ２０６では、制御部５０７が表示間隔と対応する期間を各々決定する。図１において、frate0で記録された期間１００は60fpsで記録されたものを60fpsで再生するので表示間隔を１と設定する。この場合、再生速度は1.00である。frate1で記録された期間１０１は480fpsで記録されたフレームで構成される。期間１０１については、フレームレート変更位置１０２直後の所定期間（Ｔｐ）が複数の期間に分割される。各期間には、４８０ｆｐｓで記録されたフレームをグループ化して得られたフレームグループが含まれる。各期間に属するグループを構成するフレームの枚数は、該期間内において一定である。そして、各期間について表示間隔を制御して、フレーム再生速度が滑らかに切り替わるようにする。その際、各期間のグループ毎に１枚のフレームを再生すると共に、グループを構成するフレーム枚数を、所定期間における時間の経過に応じて段階的に減少させる。
【００３０】
具体的に、制御部５０７は、フレームレート変更位置１０２直後の期間１０４の表示間隔を８として、１グループを８フレームで構成し、８フレーム毎の先頭の１フレームを表示し、残りの７フレームを表示しない（間引く）ように設定する。この場合、480fpsのストリームにおける８フレーム毎に１フレームを表示し、さらに、表示されるフレーム間隔（画面の更新間隔）を１／６０秒としているので再生される画像は60fps相当で、再生速度は1.00である。同様に、期間１０５における表示間隔を７とし、１グループを７フレームで構成して７フレーム毎に表示を行なうようにすると、再生速度は0.872となる。同様にして表示間隔を小さくしていき、最終的に期間１０７の表示間隔を１とし、１フレームごとに表示するように設定する。このときの再生速度は0.125となる。
【００３１】
所定期間の分割方法は、例えば、以下の通りに行なうことができる。まず、所定期間の分割数：Ｄｖを以下の式（１）に基づき算出する。
【００３２】
Ｄｖ＝（frate1／frate）−１ ・・・（１）
従って、６０fpsから４８０fpsに切り替わる場合、（４８０／６０）−１＝７となり、所定期間は７分割される。なお、ここでは所定期間に表示間隔が１となる期間を含めない場合を想定している。ここで、所定期間が予め定められた期間である場合には、単純に当該期間を算出した分割数で等分しても良く、その場合は、Ｔｐ／Ｄｖ として計算することができる。仮にＴｐが５秒とすると、各表示間隔に割り当てられる再生期間は、５／７秒＝０．７１秒となる。Ｔｐの値は、設計事項であって、５秒よりも長くても短くても良い。例えば、各再生期間を１秒として、所定期間Ｔｐを７秒としてもよい。また、ユーザが任意に設定可能な値としてもよい。
【００３３】
さらに、各表示間隔に対して割り当てる再生期間を時間的に均等ではなく、表示間隔が小さく（再生速度が遅く）なるほど長くしても良い。表示間隔に割り当てる再生期間が均等な場合、表示間隔が小さくなるほど、同一記録時間で記録されたフレームのうち単位時間あたりに再生されるフレーム数が多くなる。その結果、表示間隔が小さくなるほど、再生フレームに相当する記録時間は短くなる。より具体的に説明すると、４８０ｆｐｓで撮影した記録フレームでは、１秒間に４８０枚のフレームが含まれる。これを再生速度１（表示間隔８）で１秒間再生した場合、記録期間１秒間に相当する６０枚が選択され、再生ができる。一方、再生速度５（表示間隔４）で再生した場合、４枚に１枚のフレームが選択されることになるため、記録期間１秒間の中から１２０枚が選択される。しかし、再生の際には表示速度が６０ｆｐｓに落ちるので、１秒間の再生時間では０．５秒分の記録時間に相当する６０枚しか再生できない。
【００３４】
このように再生時間を均等に割り当てた場合、記録時間に換算すると均等でなくなってしまう。そこで、記録時間を同一にして、対応する再生期間を割り当ててもよい。上記の例では、再生速度５（表示間隔４）の場合には、記録時間１秒について１２０枚が選択されるので、再生時間は２秒間が与えられる。他の再生速度についても同様にして、例えば１秒間の記録時間に対応する再生時間を割り当てることができる。
【００３５】
この場合の再生時間（Ｔｄ）は、以下の式（２）で算出することが可能である。
【００３６】
Ｔｄ＝（frate1／div）×(１／６０) ・・・（２）
例えば、frate1が４８０フレームで、表示間隔が２の場合、４秒となる。 以上の分割方法及び再生時間の制御方法は、あくまで一例であって、ここに記載した方法に限定されるものではない。
【００３７】
図３は、このような再生速度の切り替え制御を図式化したものである。図３における横軸は時間、縦軸はフレームの再生速度を示し、図１と共通する部分については同一の参照番号を付している。即ち、期間１００はfrate0で記録した期間、期間１０１はfrate1で記録した期間、時点１０２はfrate0からfrate1にフレームレートが切り替わったフレームレート変更位置を示している。また、点線３０１は、本実施形態に対応する再生速度の切り替え処理を行わないで再生した場合の再生速度を示している。実線３０２は、本処理を行って再生したときの再生速度を示している。なお図３では、各再生速度について割り当てる再生時間を均等とした場合を示している。点線３０１の場合、フレームレート変更位置１０２の前後で再生速度が急激に変化するので、表示画像に滑らかさがなく、視覚的な違和感を視聴者に与える。一方の実線３０２で示す場合は、フレームレート変更位置１０２の前後で再生速度が徐々に変化するので、滑らかな画像が表示され、視聴者に視覚的な違和感を与えることがない。
【００３８】
なお、frate1の記録時間が所定時間より短かった場合、再生速度を変化させている最中にストリーム自体が終了してしまい却って不自然な再生画像となってしまうことが考えられる。そこで、そのような場合は、画像の間引き自体を行わないようにしてもよい。この場合、記録時間の判定は、例えば、frate1で撮影されたフレーム群に含まれるフレーム枚数に基づくことができる。当該フレーム枚数が所定枚数に満たない場合には、画像の間引きは行わずにfrate0（６０ｆｐｓ）で再生を行なう。
【００３９】
図２の説明に戻り、Ｓ２０７において、制御部５０７は再生された動画データのフレーム毎に付与したフレームカウンタｍ、表示フレームを制御するカウンタｎの値をそれぞれゼロにセットする。続くＳ２０８において、ストリーム中のｍフレーム目が表示間隔の切り替わりであるかどうかの判定を行う。ｍフレーム目が表示間隔の切り替わりであった場合、Ｓ２０９において表示フレームを制御するカウンタｎをゼロにリセットする。次にＳ２１０に移行して、表示フレームを制御するカウンタｎと表示間隔divを用いてｍフレーム目を再生して表示するかの判定を次の（３）式で行う
ｎ％ｄｉｖ ・・・（３）
ただし、「％」は剰余を表す。（３）式が０の場合Ｓ２１１に移行して、ストリームから画像を再生し表示を行う。一方（３）式が０でない場合はＳ２１２に移行して画像の復号、再生、表示を行わない。なお、ストリームがフレーム間符号化を用いている場合、後続フレームの再生に影響があるので、再生は行わないが復号、再生は行うものとする。図１の期間１０３の場合、ｎは１となるが、常に（３）式を見満たすのですべてのフレームの再生／表示を行う。期間１０４であれば、表示間隔が８なので、ｎが８の倍数になるまでフレームの再生／表示は行わない。同様に、期間１０５であれば、表示間隔が７なので、ｎが７の倍数になるまでフレームの再生／表示は行わない。期間１０７になれば、表示間隔が１となり常に（３）式を満たすのですべてのフレームの再生／表示を行う。
【００４０】
続くＳ２１３において、再生終了の判断を行い、終了でなければＳ２１４でカウンタｍ、ｎを１つインクリメントしてＳ２０８に戻る。再生終了であればストリームの再生を終了する。なお、再生終了の判断は、ストリームの最後まで再生が終わったか、再生停止の指示が与えられるかによるものである。
【００４１】
なお、本実施形態では、動画の撮影中には、４８０ｆｐｓから６０ｆｐｓへの切り替えを禁止していたが、これを許可する様にしてもよい。また、一回の撮影、即ち、記録開始の指示から記録停止の指示までの間に、複数回フレームレートを変更できる様にしてもよい。その場合、４８０ｆｐｓ（高いフレームレート）から６０ｆｐｓ（低いフレームレート）に切り替える際に、高いフレームレートで記録されたストリーム（切り替わり位置の手前）に対して、表示間隔を除々に大きくする。これにより、スロー画像の再生から通常画像への移行が滑らかに再生されることになる。
【００４２】
また、本実施形態では、動画データのフレームレートとして、６０ｆｐｓと４８０ｆｐｓの二種類のフレームレートに設定可能としたが、これ以外のフレームレートの動画を撮影できるようにしてもよい。また、三種類以上のフレームレートの動画を撮影できるようにしてもよい。例えば、１５ｆｐｓ、１２０ｆｐｓ、２４０ｆｐｓ、３６０ｆｐｓ、６００ｆｐｓ等のフレームレートが含まれても良い。その場合、動画データのフレームレートの変更位置の前後のフレームレートによって、フレームを間引く間隔を変える。
【００４３】
［実施形態２］
実施形態１では、フレームレート変更後の再生速度は、表示間隔に応じてフレームを間引くことによって実現した。これに対して実施形態２では、実施形態１の変形例として、フレーム間引きではなく画像合成によって再生速度の変更を行う場合を説明する。実施形態２も実施形態１と同様に６０ｆｐｓから４８０ｆｐｓに切り替えて記録したストリームを６０ｆｐｓで再生／表示する場合を例にとって説明する。
【００４４】
図４は、実施形態２に対応する動画像データの記録・再生の一例を示すシーケンス図である。図４において、期間４００はfrate0で記録した期間、期間４０１はfrate1で記録した期間をそれぞれ示す。時点４０２はfrate0からfrate1にフレームレートが変更された位置を示す。なお、この場合、frate0は60fps、frate1は480fpsとなる。
【００４５】
図４では、記録フレーム、再生フレーム及びフレーム再生速度と、合成枚数との関係を示している。再生速度の考え方は実施形態１と同様である。本実施形態では、実施形態１の表示間隔（div）の代わりに合成枚数（comp）という概念を導入している。合成枚数とは、再生時に画像を合成する枚数を表すパラメータであって、２であれば２フレームの画像を合成して１枚の合成フレーム画像を生成することを示し、１であれば合成を行わずに１フレームごとの表示することを示す。また、期間４０３から４０７は各々の再生期間における合成枚数を示している。
【００４６】
実施形態２における基本的な処理の流れは、実施形態１における図２の処理と同様であるので、以下では主に相違点について説明する。
【００４７】
Ｓ２０６では、合成枚数と対応する期間を設定する。図４において、frate0で記録された期間４００は60fpsで記録されたものを60fpsで再生するので合成枚数を１に設定する。また、期間は、フレームレートの変更位置の直前のフレームとする。この場合、再生速度は1.00である。続くfrate1で記録された期間４０１では、480fpsで記録されたものに対して、４０３の期間の画像合成枚数を８とし、１グループを８フレームで構成する。そして、グループ内の８フレームの画像を合成して１枚の画像を生成して表示するように設定する。480fpsのストリームから８枚合成して１枚の画像を表示するので再生される画像は60fps相当で、再生速度は1.00である。同様に、４０４の期間の画像合成枚数を７とし、グループ内の７フレームの画像を合成して１枚の画像を生成して表示すると、再生速度は0.872となる。画像合成枚数を小さくしていき、４０７の期間の画像合成枚数を１とし１フレームごとに表示するように設定すると、再生速度は0.125となる。
【００４８】
続くＳ２０７からＳ２０９における処理は実施形態１と同様である。Ｓ２１０における処理では、表示フレームを制御するカウンタｎと合成枚数compを用いてｍフレーム目を再生して表示するかの判定を次の（４）式で行う。
【００４９】
ｎ％ｃｏｍｐ ・・・（４）
ただし、「％」は剰余を表す。（４）式が０の場合Ｓ２１１に移行して、ストリームから画像を再生し表示を行う。このとき、前回の合成時以降にメモリ５０３に保持されたフレームと、現在のｍフレーム目のフレームとを用いて合成処理を行って、表示用の合成フレーム画像を生成する。ただし、合成枚数が１の場合は合成は行わず、復号結果をそのまま出力する。一方（４）式が０でない場合、Ｓ２１２に移行し、該当するフレームを復号して後の合成用にメモリ５０３に保持しておく。
【００５０】
ここでの画像合成方法には、以下の手法が含まれる。例えば、合成対象画像全部を単純に合成する方法や、合成対象画像のうち基準となる画像を選択して、その画像に位置合わせ（レジストレーション）を行った後、画像を合成する方法がある。また、画像の中から被写体動きのある領域を抽出して被写体動きごとに位置合わせを行い、画像合成を行う方法もある。ここで列挙した手法はあくまで一例であって、また本願発明では画像合成方法自体に技術的特徴があるわけではなく、公知のどのような方法を採用しても構わないので、他の方法を採用することは当然に可能である。
【００５１】
図１の期間４０３の場合、ｎは１となるが、常に（１）式を見満たすので、合成は行わずすべてのフレームの再生／表示を行う。期間４０４であれば、合成枚数が８なので、ｎが８の倍数になるまでフレームの合成処理及び再生／表示は行わない。同様に、期間１０５であれば、表示間隔が７なので、ｎが７の倍数になるまでフレームの合成処理及び再生／表示は行わない。期間１０７になれば、表示間隔が１となり常に（４）式を満たすのですべてのフレームの再生／表示を行う。
【００５２】
続くＳ２１３において、再生終了の判断を行い、終了でなければＳ２１４でカウンタｍ、ｎを１つインクリメントしてＳ２０８に戻る。再生終了であればストリームの再生を終了する。
【００５３】
なお、frate1の記録時間が所定時間より短かった場合は、再生速度を変化させている最中にストリーム自体が終了してしまい却って不自然な再生画像となってしまうので、その場合は画像の合成自体を行わないようにしてもよい。
【００５４】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【技術分野】
【０００１】
本発明は再生装置、その制御方法、並びに、コンピュータプログラムに関する。
【背景技術】
【０００２】
動画を撮影して記録媒体に記録するビデオカメラが知られている。また、近年では、動画のフレームレート（単位時間当たりのフレーム数）を変更して記録する装置も提案されている（特許文献１を参照）。このようにフレームレートを変更して撮影した動画を決められたフレームレートで再生することで、スローモーション効果やファストモーション効果を得ることができる。
【０００３】
例えば、４８０フレーム／秒（ｆｐｓ）のフレームレートで撮影した動画を、６０ｆｐｓで再生することにより、スローモーション機能が得られる。また、１５ｆｐｓで撮影した動画を６０ｆｐｓで再生することにより、ファストモーション機能が得られる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０００−１２５２１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、撮影中にフレームレートを変更して記録した動画を決められたフレームレートで再生する場合、フレームレートが切り替わる瞬間で再生速度が急激に変わるため、ユーザに視覚的な違和感を与えてしまう。
【０００６】
そこで本発明は、フレームレートの切り替わりを滑らかにするための技術を提供する。
【課題を解決するための手段】
【０００７】
上記課題を解決するための本発明は、再生装置であって、
第１のフレームレートで撮影された第１のフレーム群と、前記第１のフレームレートよりも高い第２のフレームレートで撮影された第２のフレーム群とで構成される動画像データを再生する再生手段と、
前記再生手段により再生された動画像データを前記第１のフレームレートの動画として出力する出力手段と、
前記出力手段による前記動画像データの出力を制御する制御手段と
を備え、
前記制御手段は、
前記動画像データにおいて前記第１のフレーム群から前記第２のフレーム群へ切り替わる位置を検出し、
前記第２のフレーム群に含まれるフレームのうち、検出された前記位置の後、所定期間に含まれるフレームを複数のグループにグループ化してグループ毎に１枚のフレームを再生すると共に、前記複数のグループを構成するフレーム枚数を、前記所定期間における時間の経過に応じて段階的に減少させることで、前記第２のフレーム群を前記第１のフレームレートの動画として出力させ、前記第２のフレーム群に含まれるフレームのうち、前記所定期間に含まれないフレームをそれぞれ前記第１のフレームレートの動画として出力させるように前記出力手段を制御する。
【発明の効果】
【０００８】
本発明によれば、フレームレートの切り替わりを滑らかにして、視覚的な違和感を解消することが可能となる。
【図面の簡単な説明】
【０００９】
【図１】実施形態１に対応する再生方法を説明するシーケンス図。
【図２】実施形態１における再生処理の一例を示すフローチャート。
【図３】実施形態１における再生速度を説明する図。
【図４】実施形態２における再生処理の一例を示すフローチャート。
【図５】実施形態に対応する動画像記録・再生装置の構成の一例を示す図。
【図６】実施形態に対応する記録処理の一例を示すフローチャート。
【発明を実施するための形態】
【００１０】
［実施形態１］
図５は、本発明の実施形態に対応する再生装置として動作するビデオカメラ５００の構成を示すブロック図である。なお、ビデオカメラ５００は、所定の記録フォーマットに従い動画と音声を記録する。また、記録媒体に記録された動画やその他の情報は、ＦＡＴ(File Allocation Table)ファイルシステムに従い、ファイルとして管理される。また、ビデオカメラ５００は、撮影する動画のフレームレート（単位時間あたりのフレーム数）を６０ｆｐｓと４８０ｆｐｓのいずれかに変更することができる。更に、ビデオカメラ５００では、動画の撮影中、即ち、撮影開始の指示から撮影停止の指示までの間に、フレームレートを６０ｆｐｓから４８０ｆｐｓに変更することができる。
【００１１】
図５において、撮像部５０１は被写体を撮影し、被写体を示す動画データを生成して出力する。撮像部５０１は、ズームレンズやフォーカスレンズ等の光学系、ＣＣＤ等のイメージセンサ、アイリス、撮影した動画データをデジタルデータに変換するＡＤ変換器、撮影された動画データに必要な処理を施す処理回路等を含む。音声入力部５０２は、マイクロフォンやアンプ、ＡＤ変換器等を有し、被写体の音声を取得し、音声データを出力する。メモリ５０３は、撮像部５０１から出力された動画データや音声入力部５０２からの音声データ、表示用の画像信号、圧縮された動画データやその他の情報を記憶する。
【００１２】
信号処理部５０４は、記録時においては、撮影された動画データや音声データに対してＭＰＥＧ等の公知の符号化方式に従う符号化処理を施し、その情報量を圧縮してメモリ５０３に記憶する。また、信号処理部５０４は、再生時においては、再生された動画データや音声データを復号し、情報量を伸張する。
【００１３】
表示制御部５０５は、制御部５０７からの指示に従い、動画像や各種の情報を表示部５０６に表示する。表示部５０６は液晶パネル等、公知の表示装置を含む。
【００１４】
制御部５０７はマイコンやその他必要なメモリを有し、不図示の不揮発メモリに記憶されたプログラムに従い、操作部５０８からの指示に応じてビデオカメラ５００の各部の動作を制御する。操作部５０８は、ユーザにより操作可能な電源スイッチ、動画像の撮影開始、停止を指示するトリガスイッチ、再生スイッチ、メニュースイッチ等の各種のスイッチを備える。制御部５０７は、操作部５０８からのユーザの指示を受け付ける。また、ユーザはメニュースイッチを操作して表示部５０６にメニュー画面を表示し、このメニュー画面を利用してビデオカメラ５００の動作モードを変更し、また、設定を変更する。また、操作部５０８は、ユーザが撮影中に動画のフレームレートの変更を指示するための専用のスイッチを備えている。制御部５０７は、設定された動作モードを内部メモリ或いはメモリ５０３に記憶する。この動作モードには、フレームレートの設定が含まれる。
【００１５】
記録再生部５０９は、制御部５０７からの指示に従い、動画データや音声データ、各種の情報を記録媒体５１０に記録し、記録媒体５１０から再生する。記録媒体５１０はメモリカードやハードディスク（ＨＤＤ）等のランダムアクセス可能な記録媒体である。本実施形態では、記録媒体５１０はフラッシュメモリを内蔵した交換可能なメモリカードである。また、記録媒体５１０は、不図示の装着、排出機構により、ビデオカメラ５００に対してユーザが容易に装着、排出可能な構成である。出力部５１１は、撮影された動画データ、或いは、再生された動画データをビデオカメラ５００の外部機器に出力するための出力用インタフェースである。例えば、USBやIEEE1394等のインタフェースがこれに該当する。内部バス５１２は、ビデオカメラ５００の各部の間で、各種のデータやコマンドを転送するために用いられる。
【００１６】
次に、ビデオカメラ５００における記録処理について説明する。図６はビデオカメラ５００における記録処理の一例を示すフローチャートである。なお、図６の処理は制御部５０７が各部を制御することにより実行される。
【００１７】
操作部５０８によりビデオカメラ５００の電源が投入されると、制御部５０７は各部を制御して、撮像部５０１により得られた動画データをメモリ５０３に記憶する。制御部５０７はフレームレートを６０ｆｐｓに設定し、撮影した動画データを出力するように撮像部５０１を制御する。そして、メモリ５０３に記憶された動画データに応じた被写体の動画像を表示部５０６に表示し、記録待機状態となる。ユーザは記録待機状態において操作部１０８を操作することで、撮影する動画のフレームレートを６０ｆｐｓと４８０ｆｐｓの何れかに設定することができる。
【００１８】
このような記録待機状態において、操作部１０８より記録開始の指示があると、制御部５０７は、現在設定されているフレームレートを判定する（Ｓ６０１）。フレームレートが６０ｆｐｓの場合（Ｓ６０１で「６０ｆｐｓ」）、Ｓ６０２で撮像部５０１が撮影した６０ｆｐｓの動画データと音声データを、信号処理部５０４が符号化する。続くＳ６０３では、記録再生部５０９が、符号化された動画と音声を記録媒体５１０に記録する。
【００１９】
動画と音声の記録を開始した後、制御部５０７は、Ｓ６０４において操作部５０８を介して、ユーザよりフレームレートの変更指示を受け付けたか否かを判定する。フレームレートの変更指示が無い場合（Ｓ６０４で「ＮＯ」）、Ｓ６０５に移行する。フレームレートの変更指示が有った場合（Ｓ６０４で「ＹＥＳ」）、Ｓ６０７に移行する。Ｓ６０５では、制御部が操作部５０８を介して記録停止の指示を受け付けたか否かを判定する。記録停止の指示があると（Ｓ６０５で「ＹＥＳ」）、Ｓ６０６にて制御部５０７は記録再生部５０９に動画の記録停止を指示する。なお、本実施形態では、記録開始の指示から記録停止の指示までの間に記録された一連の動画と音声を一つのファイルとして管理する。記録停止の指示がない場合（Ｓ６０５で「ＮＯ」）、Ｓ６０２に戻り動画と音声の記録を続ける。
【００２０】
また、Ｓ６０１でフレームレートが４８０ｆｐｓであった場合、制御部５０７は、Ｓ６０７において、撮像部５０１を４８０ｆｐｓの動画データを出力するように制御する。続くＳ６０８では、制御部５０７が、信号処理部５０４に対し動画データを符号化すると共に、音声入力部５０２からの音声データに代えて、無音のデータを符号化するように指示する。前述の様に、４８０ｆｐｓで撮影した動画を６０ｆｐｓで再生した場合、８倍のスローモーション再生となる。そのため、音声を記録したとしても、正常に音声を再生することができない。そのため、本実施形態では、４８０ｆｐｓの動画を撮影する場合には、音声データは無音データとする。
【００２１】
続くＳ６０９において、制御部５０７は符号化された動画と音声を記録媒体５１０に記録するように、記録再生部５０９を制御する。続くＳ６１０では、記録停止の指示を受け付けたか否かを判定し、指示があった場合（Ｓ６１０で「ＹＥＳ」）、Ｓ６１１に移行する。Ｓ６１１において制御部５０７は、記録再生部５０９に対し、動画の記録停止を指示する。
【００２２】
また、Ｓ６０４で６０ｆｐｓの動画の記録中にフレームレートの変更指示を受け付けＳ６０７に移行した場合、制御部５０７は、Ｓ６０７にて撮像部５０１に対し、４８０ｆｐｓの動画データを出力するように制御する。このとき制御部５０７は、フレームレートの変更指示を受けたときに撮影していたフレームの先頭からの位置（フレーム番号）を検出し、メモリ５０３に記憶する。続くＳ６０８からＳ６１１までの処理は前述の処理と同様である。Ｓ６１１での記録停止の際、制御部５０７はフレームレート変更指示を受付時の撮影フレームの先頭からの位置（フレーム番号）をフレームレート変更位置情報としてメモリ５０３から読み出す。制御部５０７は、当該フレームレート変更位置情報を動画ファイルの付加情報として共に記録媒体５１０に記録する。当該付加情報には、変更前後のフレームレートの情報も併せて記録される。なお、本実施形態では、動画の撮影中に、４８０ｆｐｓから６０ｆｐｓへの切り替えは行わないものとする。
【００２３】
図１は、このように記録された動画データの様子を示す図である。図１において、期間１００は第１のフレームレート６０ｆｐｓ（frate0）で記録した期間、期間１０１は第２のフレームレート４８０ｆｐｓ（frate1）で記録した期間をそれぞれ示す。時点１０２は、フレームレートがfrate0からfrate1に変更された変更位置を示す。
【００２４】
図１では、記録フレーム、再生フレーム及びフレーム再生速度と、表示間隔との関係を示している。再生速度とは、表示レートに対する再生画像のフレームレートを示したものであり、1.00であれば表示レートと記録レートが同じなので通常再生となる。一方、1.00より小さければ表示レートに対して記録レートが高いのでスロー再生、1.00より大きければ高速再生となる。図１の場合、期間１００内で60fpsで記録した第１のフレーム群の画像は1.00で通常再生される。一方、期間１０１内で480fpsで記録した第２のフレーム群の画像は0.125となりスロー再生される。表示間隔（div）は、再生時の表示間隔を表し、２であれば２フレーム毎に画像を再生／表示し、１であれば１フレームごとの表示（つまり間引きなし）となる。期間１０３から１０７は、表示間隔が変更される期間を表している。
【００２５】
次に、図２のフローチャートを参照して、デジタルカメラ５００を再生装置として使用して本実施形態の再生処理を行なう場合を説明する。図２は発明の実施形態に対応する再生処理の一例を示すフローチャートである。なお、図２の処理は制御部５０７が各部を制御することにより実行される。ユーザから操作部１０８を介して撮影モードから再生モードへの切り替え指示を受け付けると、Ｓ２０１において制御部５０７は、記録再生部５０９に各動画データの先頭部分の再生を指示する。信号処理部５０４は、再生された各動画データの先頭フレームをデコードし、更にそのサイズを縮小することにより、各動画ファイルの代表画像（サムネイル）を生成する。表示制御部５０５は、生成された代表画像の一覧画面（インデックス画面）を生成し、表示部５０６に表示する。
【００２６】
Ｓ２０２では、制御部５０７は、再生する動画の指定をユーザから受け付ける。具体的には、ユーザは操作部５０８を操作し、インデックス画面に表示された代表画像のうち、所望の動画ファイルの代表画像を選択し、再生開始を指示するので、当該指示を制御部５０７が受け付ける。
【００２７】
再生開始の指示があると、Ｓ２０３において制御部５０７は、選択された動画ファイルの付加情報に基づいて、選択された動画ファイルの途中でフレームレートが切り替わるかどうかを判定する。もし、切り替わる場合（Ｓ２０３で「ＹＥＳ」）、Ｓ２０４に移行する。一方、切り替わらない場合（Ｓ２０３で「ＮＯ」）、Ｓ２０６へ移行する。
【００２８】
フレームレートが途中で変更されている場合、Ｓ２０４において制御部５０７は、動画ファイルの付加情報に基づきフレームレートの変更位置を検出する。続くＳ２０５で制御部は、付加情報に基づきフレームレートの変更位置におけるフレームレート"frate0"と"frate1"とをそれぞれ判定する。
【００２９】
続くＳ２０６では、制御部５０７が表示間隔と対応する期間を各々決定する。図１において、frate0で記録された期間１００は60fpsで記録されたものを60fpsで再生するので表示間隔を１と設定する。この場合、再生速度は1.00である。frate1で記録された期間１０１は480fpsで記録されたフレームで構成される。期間１０１については、フレームレート変更位置１０２直後の所定期間（Ｔｐ）が複数の期間に分割される。各期間には、４８０ｆｐｓで記録されたフレームをグループ化して得られたフレームグループが含まれる。各期間に属するグループを構成するフレームの枚数は、該期間内において一定である。そして、各期間について表示間隔を制御して、フレーム再生速度が滑らかに切り替わるようにする。その際、各期間のグループ毎に１枚のフレームを再生すると共に、グループを構成するフレーム枚数を、所定期間における時間の経過に応じて段階的に減少させる。
【００３０】
具体的に、制御部５０７は、フレームレート変更位置１０２直後の期間１０４の表示間隔を８として、１グループを８フレームで構成し、８フレーム毎の先頭の１フレームを表示し、残りの７フレームを表示しない（間引く）ように設定する。この場合、480fpsのストリームにおける８フレーム毎に１フレームを表示し、さらに、表示されるフレーム間隔（画面の更新間隔）を１／６０秒としているので再生される画像は60fps相当で、再生速度は1.00である。同様に、期間１０５における表示間隔を７とし、１グループを７フレームで構成して７フレーム毎に表示を行なうようにすると、再生速度は0.872となる。同様にして表示間隔を小さくしていき、最終的に期間１０７の表示間隔を１とし、１フレームごとに表示するように設定する。このときの再生速度は0.125となる。
【００３１】
所定期間の分割方法は、例えば、以下の通りに行なうことができる。まず、所定期間の分割数：Ｄｖを以下の式（１）に基づき算出する。
【００３２】
Ｄｖ＝（frate1／frate）−１ ・・・（１）
従って、６０fpsから４８０fpsに切り替わる場合、（４８０／６０）−１＝７となり、所定期間は７分割される。なお、ここでは所定期間に表示間隔が１となる期間を含めない場合を想定している。ここで、所定期間が予め定められた期間である場合には、単純に当該期間を算出した分割数で等分しても良く、その場合は、Ｔｐ／Ｄｖ として計算することができる。仮にＴｐが５秒とすると、各表示間隔に割り当てられる再生期間は、５／７秒＝０．７１秒となる。Ｔｐの値は、設計事項であって、５秒よりも長くても短くても良い。例えば、各再生期間を１秒として、所定期間Ｔｐを７秒としてもよい。また、ユーザが任意に設定可能な値としてもよい。
【００３３】
さらに、各表示間隔に対して割り当てる再生期間を時間的に均等ではなく、表示間隔が小さく（再生速度が遅く）なるほど長くしても良い。表示間隔に割り当てる再生期間が均等な場合、表示間隔が小さくなるほど、同一記録時間で記録されたフレームのうち単位時間あたりに再生されるフレーム数が多くなる。その結果、表示間隔が小さくなるほど、再生フレームに相当する記録時間は短くなる。より具体的に説明すると、４８０ｆｐｓで撮影した記録フレームでは、１秒間に４８０枚のフレームが含まれる。これを再生速度１（表示間隔８）で１秒間再生した場合、記録期間１秒間に相当する６０枚が選択され、再生ができる。一方、再生速度５（表示間隔４）で再生した場合、４枚に１枚のフレームが選択されることになるため、記録期間１秒間の中から１２０枚が選択される。しかし、再生の際には表示速度が６０ｆｐｓに落ちるので、１秒間の再生時間では０．５秒分の記録時間に相当する６０枚しか再生できない。
【００３４】
このように再生時間を均等に割り当てた場合、記録時間に換算すると均等でなくなってしまう。そこで、記録時間を同一にして、対応する再生期間を割り当ててもよい。上記の例では、再生速度５（表示間隔４）の場合には、記録時間１秒について１２０枚が選択されるので、再生時間は２秒間が与えられる。他の再生速度についても同様にして、例えば１秒間の記録時間に対応する再生時間を割り当てることができる。
【００３５】
この場合の再生時間（Ｔｄ）は、以下の式（２）で算出することが可能である。
【００３６】
Ｔｄ＝（frate1／div）×(１／６０) ・・・（２）
例えば、frate1が４８０フレームで、表示間隔が２の場合、４秒となる。 以上の分割方法及び再生時間の制御方法は、あくまで一例であって、ここに記載した方法に限定されるものではない。
【００３７】
図３は、このような再生速度の切り替え制御を図式化したものである。図３における横軸は時間、縦軸はフレームの再生速度を示し、図１と共通する部分については同一の参照番号を付している。即ち、期間１００はfrate0で記録した期間、期間１０１はfrate1で記録した期間、時点１０２はfrate0からfrate1にフレームレートが切り替わったフレームレート変更位置を示している。また、点線３０１は、本実施形態に対応する再生速度の切り替え処理を行わないで再生した場合の再生速度を示している。実線３０２は、本処理を行って再生したときの再生速度を示している。なお図３では、各再生速度について割り当てる再生時間を均等とした場合を示している。点線３０１の場合、フレームレート変更位置１０２の前後で再生速度が急激に変化するので、表示画像に滑らかさがなく、視覚的な違和感を視聴者に与える。一方の実線３０２で示す場合は、フレームレート変更位置１０２の前後で再生速度が徐々に変化するので、滑らかな画像が表示され、視聴者に視覚的な違和感を与えることがない。
【００３８】
なお、frate1の記録時間が所定時間より短かった場合、再生速度を変化させている最中にストリーム自体が終了してしまい却って不自然な再生画像となってしまうことが考えられる。そこで、そのような場合は、画像の間引き自体を行わないようにしてもよい。この場合、記録時間の判定は、例えば、frate1で撮影されたフレーム群に含まれるフレーム枚数に基づくことができる。当該フレーム枚数が所定枚数に満たない場合には、画像の間引きは行わずにfrate0（６０ｆｐｓ）で再生を行なう。
【００３９】
図２の説明に戻り、Ｓ２０７において、制御部５０７は再生された動画データのフレーム毎に付与したフレームカウンタｍ、表示フレームを制御するカウンタｎの値をそれぞれゼロにセットする。続くＳ２０８において、ストリーム中のｍフレーム目が表示間隔の切り替わりであるかどうかの判定を行う。ｍフレーム目が表示間隔の切り替わりであった場合、Ｓ２０９において表示フレームを制御するカウンタｎをゼロにリセットする。次にＳ２１０に移行して、表示フレームを制御するカウンタｎと表示間隔divを用いてｍフレーム目を再生して表示するかの判定を次の（３）式で行う
ｎ％ｄｉｖ ・・・（３）
ただし、「％」は剰余を表す。（３）式が０の場合Ｓ２１１に移行して、ストリームから画像を再生し表示を行う。一方（３）式が０でない場合はＳ２１２に移行して画像の復号、再生、表示を行わない。なお、ストリームがフレーム間符号化を用いている場合、後続フレームの再生に影響があるので、再生は行わないが復号、再生は行うものとする。図１の期間１０３の場合、ｎは１となるが、常に（３）式を見満たすのですべてのフレームの再生／表示を行う。期間１０４であれば、表示間隔が８なので、ｎが８の倍数になるまでフレームの再生／表示は行わない。同様に、期間１０５であれば、表示間隔が７なので、ｎが７の倍数になるまでフレームの再生／表示は行わない。期間１０７になれば、表示間隔が１となり常に（３）式を満たすのですべてのフレームの再生／表示を行う。
【００４０】
続くＳ２１３において、再生終了の判断を行い、終了でなければＳ２１４でカウンタｍ、ｎを１つインクリメントしてＳ２０８に戻る。再生終了であればストリームの再生を終了する。なお、再生終了の判断は、ストリームの最後まで再生が終わったか、再生停止の指示が与えられるかによるものである。
【００４１】
なお、本実施形態では、動画の撮影中には、４８０ｆｐｓから６０ｆｐｓへの切り替えを禁止していたが、これを許可する様にしてもよい。また、一回の撮影、即ち、記録開始の指示から記録停止の指示までの間に、複数回フレームレートを変更できる様にしてもよい。その場合、４８０ｆｐｓ（高いフレームレート）から６０ｆｐｓ（低いフレームレート）に切り替える際に、高いフレームレートで記録されたストリーム（切り替わり位置の手前）に対して、表示間隔を除々に大きくする。これにより、スロー画像の再生から通常画像への移行が滑らかに再生されることになる。
【００４２】
また、本実施形態では、動画データのフレームレートとして、６０ｆｐｓと４８０ｆｐｓの二種類のフレームレートに設定可能としたが、これ以外のフレームレートの動画を撮影できるようにしてもよい。また、三種類以上のフレームレートの動画を撮影できるようにしてもよい。例えば、１５ｆｐｓ、１２０ｆｐｓ、２４０ｆｐｓ、３６０ｆｐｓ、６００ｆｐｓ等のフレームレートが含まれても良い。その場合、動画データのフレームレートの変更位置の前後のフレームレートによって、フレームを間引く間隔を変える。
【００４３】
［実施形態２］
実施形態１では、フレームレート変更後の再生速度は、表示間隔に応じてフレームを間引くことによって実現した。これに対して実施形態２では、実施形態１の変形例として、フレーム間引きではなく画像合成によって再生速度の変更を行う場合を説明する。実施形態２も実施形態１と同様に６０ｆｐｓから４８０ｆｐｓに切り替えて記録したストリームを６０ｆｐｓで再生／表示する場合を例にとって説明する。
【００４４】
図４は、実施形態２に対応する動画像データの記録・再生の一例を示すシーケンス図である。図４において、期間４００はfrate0で記録した期間、期間４０１はfrate1で記録した期間をそれぞれ示す。時点４０２はfrate0からfrate1にフレームレートが変更された位置を示す。なお、この場合、frate0は60fps、frate1は480fpsとなる。
【００４５】
図４では、記録フレーム、再生フレーム及びフレーム再生速度と、合成枚数との関係を示している。再生速度の考え方は実施形態１と同様である。本実施形態では、実施形態１の表示間隔（div）の代わりに合成枚数（comp）という概念を導入している。合成枚数とは、再生時に画像を合成する枚数を表すパラメータであって、２であれば２フレームの画像を合成して１枚の合成フレーム画像を生成することを示し、１であれば合成を行わずに１フレームごとの表示することを示す。また、期間４０３から４０７は各々の再生期間における合成枚数を示している。
【００４６】
実施形態２における基本的な処理の流れは、実施形態１における図２の処理と同様であるので、以下では主に相違点について説明する。
【００４７】
Ｓ２０６では、合成枚数と対応する期間を設定する。図４において、frate0で記録された期間４００は60fpsで記録されたものを60fpsで再生するので合成枚数を１に設定する。また、期間は、フレームレートの変更位置の直前のフレームとする。この場合、再生速度は1.00である。続くfrate1で記録された期間４０１では、480fpsで記録されたものに対して、４０３の期間の画像合成枚数を８とし、１グループを８フレームで構成する。そして、グループ内の８フレームの画像を合成して１枚の画像を生成して表示するように設定する。480fpsのストリームから８枚合成して１枚の画像を表示するので再生される画像は60fps相当で、再生速度は1.00である。同様に、４０４の期間の画像合成枚数を７とし、グループ内の７フレームの画像を合成して１枚の画像を生成して表示すると、再生速度は0.872となる。画像合成枚数を小さくしていき、４０７の期間の画像合成枚数を１とし１フレームごとに表示するように設定すると、再生速度は0.125となる。
【００４８】
続くＳ２０７からＳ２０９における処理は実施形態１と同様である。Ｓ２１０における処理では、表示フレームを制御するカウンタｎと合成枚数compを用いてｍフレーム目を再生して表示するかの判定を次の（４）式で行う。
【００４９】
ｎ％ｃｏｍｐ ・・・（４）
ただし、「％」は剰余を表す。（４）式が０の場合Ｓ２１１に移行して、ストリームから画像を再生し表示を行う。このとき、前回の合成時以降にメモリ５０３に保持されたフレームと、現在のｍフレーム目のフレームとを用いて合成処理を行って、表示用の合成フレーム画像を生成する。ただし、合成枚数が１の場合は合成は行わず、復号結果をそのまま出力する。一方（４）式が０でない場合、Ｓ２１２に移行し、該当するフレームを復号して後の合成用にメモリ５０３に保持しておく。
【００５０】
ここでの画像合成方法には、以下の手法が含まれる。例えば、合成対象画像全部を単純に合成する方法や、合成対象画像のうち基準となる画像を選択して、その画像に位置合わせ（レジストレーション）を行った後、画像を合成する方法がある。また、画像の中から被写体動きのある領域を抽出して被写体動きごとに位置合わせを行い、画像合成を行う方法もある。ここで列挙した手法はあくまで一例であって、また本願発明では画像合成方法自体に技術的特徴があるわけではなく、公知のどのような方法を採用しても構わないので、他の方法を採用することは当然に可能である。
【００５１】
図１の期間４０３の場合、ｎは１となるが、常に（１）式を見満たすので、合成は行わずすべてのフレームの再生／表示を行う。期間４０４であれば、合成枚数が８なので、ｎが８の倍数になるまでフレームの合成処理及び再生／表示は行わない。同様に、期間１０５であれば、表示間隔が７なので、ｎが７の倍数になるまでフレームの合成処理及び再生／表示は行わない。期間１０７になれば、表示間隔が１となり常に（４）式を満たすのですべてのフレームの再生／表示を行う。
【００５２】
続くＳ２１３において、再生終了の判断を行い、終了でなければＳ２１４でカウンタｍ、ｎを１つインクリメントしてＳ２０８に戻る。再生終了であればストリームの再生を終了する。
【００５３】
なお、frate1の記録時間が所定時間より短かった場合は、再生速度を変化させている最中にストリーム自体が終了してしまい却って不自然な再生画像となってしまうので、その場合は画像の合成自体を行わないようにしてもよい。
【００５４】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項１】
第１のフレームレートで撮影された第１のフレーム群と、前記第１のフレームレートよりも高い第２のフレームレートで撮影された第２のフレーム群とで構成される動画像データを再生する再生手段と、
前記再生手段により再生された動画像データを前記第１のフレームレートの動画として出力する出力手段と、
前記出力手段による前記動画像データの出力を制御する制御手段と
を備え、
前記制御手段は、
前記動画像データにおいて前記第１のフレーム群から前記第２のフレーム群へ切り替わる位置を検出し、
前記第２のフレーム群に含まれるフレームのうち、検出された前記位置の後、所定期間に含まれるフレームを複数のグループにグループ化してグループ毎に１枚のフレームを再生すると共に、前記複数のグループを構成するフレーム枚数を、前記所定期間における時間の経過に応じて段階的に減少させることで、前記第２のフレーム群を前記第１のフレームレートの動画として出力させ、前記第２のフレーム群に含まれるフレームのうち、前記所定期間に含まれないフレームをそれぞれ前記第１のフレームレートの動画として出力させるように前記出力手段を制御する
ことを特徴とする再生装置。
【請求項２】
前記グループ毎に再生される１枚のフレームは、該グループに含まれるフレームのうちの１枚であるか、又は、該グループに含まれるフレームを合成して得られたフレームであることを特徴とする請求項１に記載の再生装置。
【請求項３】
前記所定期間は複数の期間に分割され、各期間に属する前記グループを構成するフレームの枚数は、該期間内において一定であることを特徴とする請求項１又は２に記載の再生装置。
【請求項４】
前記複数の期間のそれぞれは、同一の時間的な長さを有することを特徴とする請求項３に記載の再生装置。
【請求項５】
前記複数の期間のそれぞれは、該期間に属する前記グループを構成するフレームの枚数に応じた時間的な長さを有し、前記枚数が少ないほど長いことを特徴とする請求項３に記載の再生装置。
【請求項６】
前記第２のフレーム群のフレーム枚数が所定枚数よりも少ない場合、前記制御手段は、前記第２のフレーム群に含まれる全てのフレームを、前記出力手段に前記第１のフレームレートで出力させることを特徴とする請求項１乃至５のいずれか１項に記載の再生装置。
【請求項７】
第１のフレームレートで撮影された第１のフレーム群と、前記第１のフレームレートよりも高い第２のフレームレートで撮影された第２のフレーム群とで構成される動画像データを、再生手段が再生する再生工程と、
出力手段が、前記再生工程において再生された動画像データを、前記第１のフレームレートの動画として出力する出力工程と、
制御手段が、前記出力手段による前記動画像データの出力を制御する制御工程と
を備え、
前記制御工程では、
前記動画像データにおいて前記第１のフレーム群から前記第２のフレーム群へ切り替わる位置が検出され、
前記第２のフレーム群に含まれるフレームのうち、検出された前記位置の後、所定期間に含まれるフレームを複数のグループにグループ化してグループ毎に１枚のフレームを再生すると共に、前記複数のグループを構成するフレーム枚数を、前記所定期間における時間の経過に応じて段階的に減少させることで、前記第２のフレーム群を前記第１のフレームレートの動画として出力させ、前記第２のフレーム群に含まれるフレームのうち、前記所定期間に含まれないフレームをそれぞれ前記第１のフレームレートの動画として出力させるように制御する
ことを特徴とする再生装置の制御方法。
【請求項８】
コンピュータを、請求項１乃至６のいずれか１項に記載の再生装置の各手段として動作させるためのプログラム。
【請求項１】
第１のフレームレートで撮影された第１のフレーム群と、前記第１のフレームレートよりも高い第２のフレームレートで撮影された第２のフレーム群とで構成される動画像データを再生する再生手段と、
前記再生手段により再生された動画像データを前記第１のフレームレートの動画として出力する出力手段と、
前記出力手段による前記動画像データの出力を制御する制御手段と
を備え、
前記制御手段は、
前記動画像データにおいて前記第１のフレーム群から前記第２のフレーム群へ切り替わる位置を検出し、
前記第２のフレーム群に含まれるフレームのうち、検出された前記位置の後、所定期間に含まれるフレームを複数のグループにグループ化してグループ毎に１枚のフレームを再生すると共に、前記複数のグループを構成するフレーム枚数を、前記所定期間における時間の経過に応じて段階的に減少させることで、前記第２のフレーム群を前記第１のフレームレートの動画として出力させ、前記第２のフレーム群に含まれるフレームのうち、前記所定期間に含まれないフレームをそれぞれ前記第１のフレームレートの動画として出力させるように前記出力手段を制御する
ことを特徴とする再生装置。
【請求項２】
前記グループ毎に再生される１枚のフレームは、該グループに含まれるフレームのうちの１枚であるか、又は、該グループに含まれるフレームを合成して得られたフレームであることを特徴とする請求項１に記載の再生装置。
【請求項３】
前記所定期間は複数の期間に分割され、各期間に属する前記グループを構成するフレームの枚数は、該期間内において一定であることを特徴とする請求項１又は２に記載の再生装置。
【請求項４】
前記複数の期間のそれぞれは、同一の時間的な長さを有することを特徴とする請求項３に記載の再生装置。
【請求項５】
前記複数の期間のそれぞれは、該期間に属する前記グループを構成するフレームの枚数に応じた時間的な長さを有し、前記枚数が少ないほど長いことを特徴とする請求項３に記載の再生装置。
【請求項６】
前記第２のフレーム群のフレーム枚数が所定枚数よりも少ない場合、前記制御手段は、前記第２のフレーム群に含まれる全てのフレームを、前記出力手段に前記第１のフレームレートで出力させることを特徴とする請求項１乃至５のいずれか１項に記載の再生装置。
【請求項７】
第１のフレームレートで撮影された第１のフレーム群と、前記第１のフレームレートよりも高い第２のフレームレートで撮影された第２のフレーム群とで構成される動画像データを、再生手段が再生する再生工程と、
出力手段が、前記再生工程において再生された動画像データを、前記第１のフレームレートの動画として出力する出力工程と、
制御手段が、前記出力手段による前記動画像データの出力を制御する制御工程と
を備え、
前記制御工程では、
前記動画像データにおいて前記第１のフレーム群から前記第２のフレーム群へ切り替わる位置が検出され、
前記第２のフレーム群に含まれるフレームのうち、検出された前記位置の後、所定期間に含まれるフレームを複数のグループにグループ化してグループ毎に１枚のフレームを再生すると共に、前記複数のグループを構成するフレーム枚数を、前記所定期間における時間の経過に応じて段階的に減少させることで、前記第２のフレーム群を前記第１のフレームレートの動画として出力させ、前記第２のフレーム群に含まれるフレームのうち、前記所定期間に含まれないフレームをそれぞれ前記第１のフレームレートの動画として出力させるように制御する
ことを特徴とする再生装置の制御方法。
【請求項８】
コンピュータを、請求項１乃至６のいずれか１項に記載の再生装置の各手段として動作させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１２−１６５２１０（Ｐ２０１２−１６５２１０Ａ）
【公開日】平成２４年８月３０日（２０１２．８．３０）
【国際特許分類】
【出願番号】特願２０１１−２４４３２（Ｐ２０１１−２４４３２）
【出願日】平成２３年２月７日（２０１１．２．７）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年８月３０日（２０１２．８．３０）
【国際特許分類】
【出願日】平成２３年２月７日（２０１１．２．７）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]