画像再生制御装置、画像再生制御方法および撮像装置
【課題】異なるフレームレートで撮像された複数の動画像データを、再生の目的に応じて適切な動画を再生できる技術を提供する。
【解決手段】ファイル分割部58は通常のフレームレートのストリーム、通常のフレームレートのストリームに含まれる少なくとも一部のシーンに関しての通常よりも高いフレームレートのストリーム、およびそのシーンを特定する関連情報を含むファイルを受け取り、通常のフレームレートのストリーム、通常よりも高いフレームレートのストリーム、および関連情報に分割する。画像復号部60は通常のフレームレートのストリームと通常よりも高いフレームレートのストリームとの少なくとも一方を復号して動画のフレームを生成する。要約生成部76は関連情報に基づいて、通常のフレームレートのストリームと通常よりも高いフレームレートのストリームとが共通して含むシーンに関する動画のフレームを動画の要約として生成する。
【解決手段】ファイル分割部58は通常のフレームレートのストリーム、通常のフレームレートのストリームに含まれる少なくとも一部のシーンに関しての通常よりも高いフレームレートのストリーム、およびそのシーンを特定する関連情報を含むファイルを受け取り、通常のフレームレートのストリーム、通常よりも高いフレームレートのストリーム、および関連情報に分割する。画像復号部60は通常のフレームレートのストリームと通常よりも高いフレームレートのストリームとの少なくとも一方を復号して動画のフレームを生成する。要約生成部76は関連情報に基づいて、通常のフレームレートのストリームと通常よりも高いフレームレートのストリームとが共通して含むシーンに関する動画のフレームを動画の要約として生成する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、符号化された複数の動画像を復号して再生する画像生成制御装置、およびそれを搭載した撮像装置に関する。
【背景技術】
【0002】
近年、一般ユーザが静止画のみならず、手軽に動画像を撮影することができるデジタルムービーカメラが普及してきており、それらの中には撮影に際してフレームレートを変更したり、異なるフレームレートの動画を同時に撮像したりすることができるものもある(特許文献1参照)。これらの動画は記録メディア等に記録された後、例えば、ムービーカメラに搭載されている表示モニタやPC(Personal Computer)、テレビ等で鑑賞される。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2007−195050号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
同一シーンについて異なるフレームレートで撮影ができると、例えば重要なシーンについては時間分解能の高い高フレームレートで撮影することができて便利である。一方で、同一シーンについての動画が同時に複数存在することになり、動画を撮像したユーザが、どの動画を見るべきか迷うことも生じうる。
【0005】
本発明はこうした状況に鑑みなされたものであり、その目的は、異なるフレームレートで撮像された複数の動画像データのうち、適切な動画を再生できる技術を提供することにある。
【課題を解決するための手段】
【0006】
本発明のある態様は画像記録制御装置である。この装置は、通常のフレームレートのストリーム、前記通常のフレームレートのストリームに含まれる少なくとも一部のシーンに関しての通常よりも高いフレームレートのストリーム、および前記シーンを特定するための関連情報を含むファイルを受け取り、前記通常のフレームレートのストリーム、前記通常よりも高いフレームレートのストリーム、および前記関連情報に分割するファイル分割部と、前記通常のフレームレートのストリームと前記通常よりも高いフレームレートのストリームとの少なくとも一方のストリームを復号して動画のフレームを生成する画像復号部と、前記関連情報に基づいて、前記通常のフレームレートのストリームと前記通常よりも高いフレームレートのストリームとが共通して含む前記シーンに関する動画のフレームを動画の要約として生成する要約生成部とを含む。
【0007】
本発明の別の態様は撮像装置である。この装置は、動画像を取得する撮像部と、前記撮像部により撮像される動画像を符号化して、通常のフレームレートのストリームと通常よりも高いフレームレートのストリームとの、2種類のストリームを生成可能な画像符号化部と、前記通常のフレームレートのストリームと当該ストリームの生成と並行して生成された前記通常よりも高いフレームレートのストリームとを関連づける関連情報を生成する制御部と、上述の画像再生制御装置と、前記画像再生制御装置により表示制御される表示装置とを含む。
【0008】
本発明のさらに別の態様は画像記録制御方法である。この方法は、同一のシーンに関する通常のフレームレートのストリームと、通常よりも高いフレームレートのストリームとが同時に存在するときに、前記同一のシーンを特定する関連情報に基づいて、前記同一のシーンに関するストリームのみを再生をする。
【0009】
なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【0010】
本発明によれば、異なるフレームレートで撮像された複数の動画像データのうち、適切な動画を再生できる。
【図面の簡単な説明】
【0011】
【図1】実施の形態1にかかる撮像装置の内部構成を模式的に示した図である。
【図2】実施の形態1にかかる撮像装置の処理の流れを説明するフローチャートである。
【図3】実施の形態1にかかる通常フレームレートフレーム符号化部が符号化の対象とする通常フレームレートフレーム群と、高フレームレートフレーム符号化部が符号化の対象とする第1高フレームレートフレーム群および第2高フレームレートフレーム群との関係の一例を模式的に表した図である。
【図4】実施の形態1にかかるチャプタが埋め込まれたストリームを伸張したときの、チャプタとフレームとの位置関係の一例を示す図である。
【図5】実施の形態1にかかるファイル連結部が生成するファイルの構造の一例を模式的に表した図である。
【図6】実施の形態1にかかるファイル連結部が生成するファイルの構造の別例を模式的に表した図である。
【図7】実施の形態1にかかるファイルに格納される関連情報の記録形式の一例を模式的に表した図である。
【図8】実施の形態1にかかるファイルに格納される関連情報の記録形式の別例を模式的に表した図である。
【図9】実施の形態2にかかる画像再生制御装置の内部構成を模式的に示した図である。
【図10】実施の形態2にかかる通常フレームレートストリームに含まれる60fpsのフレーム群と、高フレームレートストリームに含まれる240fpsのフレーム群との時間的な関係を例示した図である。
【図11】実施の形態3にかかる画像再生制御装置の内部構成を模式的に示した図である。
【図12】図10の例において、実施の形態2にかかるフレーム合成部が生成する240fpsの合成されたフレーム群と、実施の形態3に係るフレーム合成部が生成する60fpsの合成されたフレーム群との関係を示した図である。
【図13】実施の形態4にかかる60fpsのフレーム群と240fpsのフレーム群とが存在する場合にそれらのフレームを再生するに際し、60fpsのフレーム群と240fpsのフレーム群との切り替えタイミングの別例を示す図である。
【図14】実施の形態4にかかる高フレームレートストリームに含まれる240fpsのフレーム群と、高フレームレートストリームに含まれる240fpsのフレーム群に対応する60fpsのフレーム群を分割した様子を例示した図である。
【発明を実施するための形態】
【0012】
(実施の形態1)
本発明の実施の形態1の概要を述べる。実施の形態1は、240fps(frames per second)のフレームレートで動画フレームを生成してフレームバッファに格納しておき、通常の撮影モードでは、60fpsのフレームレートになるまでフレームを間引いてからストリームを生成する。ユーザから高速撮影を行う旨の指示がある間は、60fpsのフレームレートのストリームの生成に加えて、フレームを間引きする前の240fpsのフレームレートのストリームも生成する。撮影終了後、生成されたフレームレートの異なる複数のストリームを連結して単一のファイルとして保存する。
【0013】
図1は、実施の形態1に係る撮像装置200の内部構成を模式的に示した図である。撮像装置200は、センサ10、操作部12、フレーム生成部14、および画像記録制御装置100を含む。画像記録制御装置100はさらに、フレームバッファ16、フレーム間引き部18、画像符号化部20、制御部22、ファイル連結部32、および記録部34を含む。
【0014】
フレーム生成部14は、センサ10が取得した映像のフレームを生成する。センサ10は、CCD(Charge Coupled Devices)センサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどの図示しない固体撮像素子であり、フレーム生成部14はセンサ10から出力されるアナログの三原色信号R、G、Bを処理して、デジタルの輝度信号Yおよび色差信号Cr、Cbのフレームに変換する。フレームバッファ16は、フレーム生成部14が生成したフレームを一時的に保存する。
【0015】
フレーム間引き部18は、フレームバッファ16に格納されているフレームを間引きする。フレームバッファ16にはフレーム生成部14が生成した、フレームレートが240fpsのフレームが格納されており、フレーム間引き部18は、当該フレームを四分の一に間引くことにより、フレームレートが60fpsのフレームを生成する。ここでフレーム生成部14が生成するフレームのフレームレートと、フレーム間引き部18が生成するフレームのフレームレートとは様々な組み合わせがあってもよい。例えば、フレーム生成部14が600fpsのフレームを生成してもよく、フレーム間引き部18は間引きの枚数を自由に変更できるようにしてもよい。
【0016】
画像符号化部20はさらに、通常フレームレートフレーム符号化部36と高フレームレートフレーム符号化部38とのふたつの画像符号化部を含む。
【0017】
通常フレームレートフレーム符号化部36は、フレーム間引き部18が生成したフレームを符号化して通常フレームレートストリーム24を生成する。通常フレームレートフレーム符号化部36は、当該フレームを所定の規格にしたがい符号化する。動画像の符号化には、国際標準化機関であるISO(International Organization for Standardization)/IEC(International Electrotechnical Commission)によって標準化されたMPEG(Moving Picture Experts Group)シリーズの規格(MPEG−1、MPEG−2およびMPEG−4)、電気通信に関する国際標準機関であるITU−T(International Telecommunication Union-Telecommunication Standardization Sector)によって標準化されたH.26xシリーズの規格(H.261、H.262およびH.263)、もしくは両方の標準化機関によって合同で標準化された最新の動画像圧縮符号化標準規格であるH.264/AVC(両機関における正式勧告名はそれぞれMPEG-4 Part 10: Advanced Video CodingとH.264)に準拠する技術、その拡張標準であるH.264/AVC Annex G、すなわちH.264/SVC(Scalable Video Coding)が用いられる。
【0018】
高フレームレートフレーム符号化部38は、操作部12に入力されたユーザの指示がある間、フレームバッファ16に格納されているフレームを符号化し、ストリームを生成する。したがって、高フレームレートフレーム符号化部38が生成するストリームは、通常フレームレートフレーム符号化部36が生成するストリームよりも高いフレームレート(240fps)のストリームとなる。以後、ユーザの指示により高フレームレートフレーム符号化部38がフレームバッファ16に格納されているフレームを直接符号化してストリームを生成する動作を「高速撮影モード」と呼ぶ。高フレームレートフレーム符号化部38も通常フレームレートフレーム符号化部36と同様に、MPEG−2、またはMPEG−4、H.264/AVC、H.264/SVCなどの規格にしたがい圧縮符号化する。
【0019】
通常フレームレートフレーム符号化部36がフレーム間引き部18の生成した一連のフレームをすべて符号化して一つのストリーム(通常フレームレートストリーム24)を生成するのに対し、高フレームレートフレーム符号化部38は、ユーザから高速撮影モードの指示がある度に、その指示がある期間に符号化する。例えばユーザが1度目の高速撮影モードの指示を行うと、高フレームレートフレーム符号化部38は第1高フレームレートストリーム26を生成する。以後、高フレームレートフレーム符号化部38はユーザから高速撮影モードの指示がある度にストリームを生成し、n回目の指示で第n高フレームレートストリーム28を生成する。
【0020】
高フレームレートフレーム符号化部38が生成するストリームはフレームレートが高く、映像を高い時間分解能で撮影することができる一方で、多くの記録容量を要する。反対に、通常フレームレートフレーム符号化部36が生成する通常フレームレートストリーム24はフレームが間引きされているため時間分解能は落ちるが、その分記憶容量は少なくなる。これらの性質を利用して、映像全体を通常フレームレートストリーム24で記録し、例えば重要なシーンについては高速撮影モードで撮影することにより、記憶容量を抑えつつ、重要なシーンを高い時間分解能で記録することが可能となる。
【0021】
制御部22は、操作部12に入力されたユーザの指示に基づいて関連情報30を生成する。ここで「関連情報」とは、センサ10に入力された映像を通常フレームレートフレーム符号化部36と高フレームレートフレーム符号化部38とが共に符号化したときに、両者が生成したストリームを関連づける情報である。例えば、通常フレームレートフレーム符号化部36と高フレームレートフレーム符号化部38とが重複して符号化した部分を特定する情報、すなわち、高フレームレートで撮像すべき期間を特定する情報である。関連情報の具体例については後述する。
【0022】
ファイル連結部32は、通常フレームレートフレーム符号化部36が生成した通常フレームレートストリーム24、高フレームレートフレーム符号化部38が生成したひとつ以上の高フレームレートストリーム、および制御部22が生成した関連情報30を多重化して連結し、単一のファイルを生成する。ここで「単一のファイル」とはファイル操作の単位となるファイルを意味し、ひとつのファイル名の下で一括してファイルの複製や削除、ファイル転送等の操作の対象となる。ファイルとしては、例えばMP4ファイルフォーマットにしたがったコンテナファイルを利用することができる。当該コンテナファイルには、各符号化データのヘッダ情報、メタデータ、時刻情報などを記述したコンテナを含めることができる。
【0023】
記録部34は、ファイル連結部32が生成したファイルを格納する。記録部34としては例えば、内蔵メモリとして、半導体メモリまたはハードディスクを採用することができる。また、リムーバブルメモリとして、メモリーカード、リムーバブルハードディスク、または光ディスクを採用することができる。
【0024】
画像記録制御装置100の構成は、ハードウェア的には、任意のプロセッサ、メモリ、その他のLSIで実現でき、ソフトウェア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。
【0025】
図2は、実施の形態1にかかる撮像装置200の処理の流れを説明するフローチャートである。本フローチャートにおける処理は、例えばユーザが撮像装置200の電源ボタン(図示しない)を押すと開始する。
【0026】
ユーザが動画撮影を選択した場合(S10Y)、フレーム生成部14はセンサ10が取得した映像のフレームを生成してフレームバッファ16に格納する(S12)。ユーザが操作部12を介して高速撮影モードを選択する場合(S14Y)、高フレームレートフレーム符号化部38は、フレームバッファ16に格納されている高フレームレートのフレームを符号化する(S16)。ユーザが高速撮影モードを選択しない場合には(S14N)、高フレームレートフレーム符号化部38は符号化を実行しない。
【0027】
フレーム間引き部18は、フレームバッファ16に格納されているフレームを所定の枚数間引きする(S18)。通常フレームレートフレーム符号化部36は、フレーム間引き部18が出力した通常のフレームレートのフレームを符号化する(S20)。ここで動画像の撮影を終了しない場合には(S22N)、ステップS12に戻り、フレームの符号化を続行する。動画像の撮影を終了する場合には(S22Y)、制御部22は関連情報30を生成する(S24)。その後ファイル連結部32は、通常フレームレートフレーム符号化部36が生成した通常フレームレートストリーム24、高フレームレートフレーム符号化部38が生成した一つ以上の高フレームレートのストリーム、および制御部22が生成した関連情報30を連結してひとつのファイルを生成する(S26)。ファイル連結部32がファイルを生成するか、あるいは動画撮影でない場合に(S10N)、本処理は終了する。
【0028】
なお、図2において通常フレームレートフレーム符号化部36と高フレームレートフレーム符号化部38とが符号化処理を直列に実行する場合について説明したが、両者は並列に符号化処理を実行してもよい。
【0029】
以下、制御部22が生成する関連情報30の具体例について図を参照しながら説明する。
【0030】
図3は、通常フレームレートフレーム符号化部36が符号化の対象とする通常フレームレートフレーム群40と、高フレームレートフレーム符号化部38が符号化の対象とする第1高フレームレートフレーム群42および第2高フレームレートフレーム群44との関係の一例を模式的に表した図である。本例では通常フレームレートフレーム群40のフレームレートは60fpsであり、第1高フレームレートフレーム群42および第2高フレームレートフレーム群44のフレームレートは240fpsであるとする。
【0031】
通常フレームレートフレーム群40の撮影開始時刻を原点とする時間軸46と、通常フレームレートフレーム群40の第1番目のフレームのフレーム番号を1とし、以後順番に通し番号をふったときのフレーム番号を表すフレーム軸48とを考える。通常フレームレートフレーム群40は時刻0から始まって時刻T5で終了する。このとき通常フレームレートフレーム群40は、1番目のフレームからF5番目のフレームまで存在し、その間のフレームの総数はN0枚である。
【0032】
時刻T1においてユーザが操作部12を介して高速撮影モードを選択すると、高フレームレートフレーム符号化部38は第1高フレームレートフレーム群42の符号化を開始する。時刻T2においてユーザが高速撮影モードを終了すると、高フレームレートフレーム符号化部38は符号化を終了する。第1高フレームレートフレーム群は時刻T1からT2までのD1の期間に撮影されたフレーム群ということになる。
【0033】
時刻T3においてユーザが再度高速撮影モードを選択すると、高フレームレートフレーム符号化部38は第2高フレームレートフレーム群44の符号化を開始する。D2の時間が経過し、時刻T4においてユーザが高速撮影モードを終了すると、高フレームレートフレーム符号化部38は符号化を終了する。
【0034】
この例では、通常フレームレートフレーム群40と第1高フレームレートフレーム群42とは時刻T1からT2までのD1の期間において重複する。そこで両者の重複部分を特定する関連情報30として、時刻T1とT2とのセットが考えられる。また、両者の重複が始まる時刻T1と重複する期間であるD1とのセットも重複部分を特定する関連情報30とすることができる。同様に、通常フレームレートフレーム群40と第2高フレームレートフレーム群44とは時刻T3からT4までのD2の期間において重複するので、T3とT4のセットあるいはT3とD2のセットを通常フレームレートフレーム群40と第2高フレームレートフレーム群44との重複部分を特定する関連情報30とすることができる。
【0035】
ユーザが高速撮影モードを選択した時刻T1において、通常フレームレートフレーム群40はF1番目のフレームであったとする。その後時刻T2においてユーザが高速撮影モードを終了したとき、フレーム群40はF2番目のフレームであったとする。このとき、通常フレームレートフレーム群40と第1高フレームレートフレーム群42との重複部分は、通常フレームレートフレーム群40のフレーム番号F1とF2とのセットで特定することができる。また、F1番目のフレームとF2番目とのフレームの間にN1枚の通常フレームレートフレーム群40のフレームがあるとすれば、通常フレームレートフレーム群40と第1高フレームレートフレーム群42との重複部分は、通常フレームレートフレーム群40のフレーム番号F1と重複部分の枚数N1とのセットでも特定することができる。したがって、F1とF2とのセットあるいはF1とN1とのセットを通常フレームレートフレーム群40と第1高フレームレートフレーム群42との重複部分を特定する関連情報30とすることができる。
【0036】
通常フレームレートフレーム群40と第2高フレームレートフレーム群44との場合も同様で、時刻T3の時の通常フレームレートフレーム群40のフレーム番号をF3、時刻T4の時の通常フレームレートフレーム群40のフレーム番号をF4とし、その間のフレーム数をN2とすれば、F3とF4とのセットあるいはF3とN2とのセットを通常フレームレートフレーム群40と第2高フレームレートフレーム群44との重複部分を特定する関連情報30とすることができる。
【0037】
ここで、通常フレームレートフレーム群40のフレーム数N1またはN2のかわりに、対応する第1高フレームレートフレーム群42または第2高フレームレートフレーム群44のフレーム数を用いることも可能である。この場合、第1高フレームレートフレーム群42および第2高フレームレートフレーム群44のフレームレートは通常フレームレートフレーム群40の4倍(240fps/60fps=4)であるので、対応するフレームの枚数もそれぞれ4倍となる。
【0038】
図4は、関連情報30の別の例を模式的に表した図である。本例は、ストリームの中に映像の区切りデータとしてチャプタ(chapter)が埋め込まれる場合の例である。
【0039】
本例においては、図4はチャプタが埋め込まれたストリームを伸張したときの、チャプタとフレームとの位置関係の一例を示す図である。第1のチャプタ52aは、チャプタ付きストリーム50内に存在し、第1高フレームレートフレーム群42が開始する直前に埋め込まれている。また、第2のチャプタ52bは、第1高フレームレートフレーム群42が終了した直後に埋め込まれている。したがって第1のチャプタ52aと第2のチャプタ52bとのセットを、チャプタ付きストリーム50と第1高フレームレートフレーム群42との重複部分を特定する関連情報30とすることができる。なお、チャプタ52は、関連情報30としてファイル連結部32が埋め込む。
【0040】
図5は、ファイル連結部32が生成するファイル54の構造の一例を模式的に表した図である。ファイル54は、ファイルの先頭からヘッダ56、関連情報30、通常フレームレートストリーム24、第1高フレームレートストリーム26の順に格納され、終端に第nストリーム28を含む。ここでヘッダ56は各ストリームの先頭位置の情報等を格納する。このように、各ストリームを順番に格納する場合は、ファイル連結部32がファイル54を生成するときの制御が簡単になる点で有利である。
【0041】
なお、ヘッダ56や関連情報30はファイルの先頭でなくてもよく、例えばファイルの終端にあってもよい。この場合、通常フレームレートストリーム24が先頭となるため、ファイルを探索することなく即座に映像全体を再生できる点で有利である。また、関連情報30はヘッダ56の一部として格納されていてもよい。
【0042】
図6は、ファイル連結部32が生成するファイル54の構造の別例を模式的に表した図である。本例では、先頭にヘッダ56および関連情報30が格納される点では図5に示す例と同じであるが、各ストリームファイルは所定の基準で分割され、分散して格納される点で異なる。また、ヘッダ56は各ストリームの先頭位置の情報のみならず、分割された各ストリームの先頭位置の情報も格納される。
【0043】
図6において、通常フレームレートストリーム24はm個の単位に分割され、第1のストリームその1(符号24a)、第1のストリームその2(符号24b)と続いて第1のストリームそのn(符号24c)に至り、最後に第1のストリームそのm(符号24d)として格納される。分割された通常フレームレートストリーム24の間に、分割された第2のストリームその1(符号26a)や第2のストリームその2(符号26b)が格納される。同様に、第nのストリームも分割されて格納される(符号28a)。このように、各ストリームを分割して記録する方式は、記録時の制御が複雑になるものの、記録部34の記録領域に対して効率的に記録できる点で有利である。記録領域内に物理的に連続して大きな空き領域がなく、小さな空き領域しか存在しないような場合でも、ファイルを小さな単位に分割して記録できれば、そのような小さな空き領域に記録することができるからである。
【0044】
したがって、上述したファイルを分割するための「所定の基準」とは、記録部34の記録領域を効率よく利用するために用意するデータ記録の最小単位であり、例えばストリームに記録されている映像の時間や、データのサイズあるいはチャプタ52によって区切られる単位が用いられる。これらの基準およびその最小単位は、記録部34の容量やファイルシステムの制限などを考慮して実験的に定めればよい。
【0045】
図7は、ファイル54に格納される関連情報30の記録形式の一例を模式的に表した図である。本例では、関連情報30として、上述した時刻T0から時刻T5までの各時刻を用いる場合について説明する。
【0046】
まず、関連情報30を記録する領域の先頭に、記録すべき関連情報30の個数を格納する。本例では、記録すべき関連情報は時刻T0から時刻T5までの6個であるから、関連情報30の個数として6を格納する。次に、通常フレームレートフレーム群40の開始時刻であるT0と終了時刻であるT5を格納し、次に第1高フレームレートフレーム群42の開始時刻であるT1と終了時刻であるT2を格納する。最後に第2高フレームレートフレーム群44の開始時刻であるT3と終了時刻であるT4を格納する。フレーム群の数が増えた場合も同様の形式で格納すればよい。また、開始時刻と終了時刻は必ずセットで保存されるので、記録すべき関連情報30の個数としてはセットの個数を記録してもよい。本例の場合では、開始時刻と終了時刻のセットは3セットあるため、関連情報30の個数として3を格納する。
【0047】
なお、関連情報30としては、通常フレームレートフレーム群40の開始時刻であるT0と終了時刻であるT5は省略することが可能である。
【0048】
図8は、ファイル54に格納される関連情報30の記録形式の別例を模式的に表した図である。本例では、関連情報30として、上述した各フレーム群の先頭のフレーム番号とフレームの枚数とを用いる場合について説明する。
【0049】
本例の場合は、図7に示す例と異なり、記録すべき関連情報30の個数は格納されず、先頭から順に関連情報30が格納される。具体的には、まず通常フレームレートフレーム群40のフレームの総数であるN0が格納される。次に第1高フレームレートフレーム群42の先頭フレームに対応する通常フレームレートフレーム群40のフレーム番号であるF1と、第1高フレームレートフレーム群42と重複する区間の通常フレームレートフレーム群40のフレーム枚数であるN1が格納される。続いて、第2高フレームレートフレーム群44の先頭フレームに対応する通常フレームレートフレーム群40のフレーム番号であるF3と、第1高フレームレートフレーム群42と重複する区間の通常フレームレートフレーム群40のフレーム枚数であるN2が格納される。最後に関連情報30の終端を示す識別子であるターミネータが格納される。関連情報30の先頭からターミネータまでの間の情報を読み込むことにより、関連情報30の個数が格納されていなくても、関連情報を正しく読み取ることが可能となる。
【0050】
なお、関連情報30として、通常フレームレートフレーム群40のフレームの総数であるN0は省略することもできる。
【0051】
以上の構成による動作は以下のとおりである。ユーザは、実施の形態1にかかる撮像装置を用いて記録に残したい映像を撮像するに際し、その中でも特に重要なシーンについては高速撮影をする。撮影を終了すると、映像全体が60fpsのフレームレートで記録されており、高速撮影をしたシーンについては240fpsのフレームレートで撮影された映像もあわせて記録されている。この結果、異なるフレームレートで撮影された映像が複数存在することになるが、これらは単一のファイルにまとめられて記録される。
【0052】
以上説明したように実施の形態1によれば、映像全体を通常のフレームレートで撮影し、重要なシーンについては合わせて高フレームレートで撮影することにより、重要でないシーンの符号量を抑えることが可能となり、結果として記憶容量を節約することができる。また、重要なシーンは別のストリームとして生成されるため、重要なシーンの取出しが容易となる。さらに、すべてのストリームと関連情報30とをまとめてひとつのファイルとして生成されるため、ストリームごとに別ファイルを生成する場合と比較して、ファイルのコピーや転送、削除等の管理が容易となる。また、ストリームファイルの一部を消失した結果、一連のストリームファイルがすべて再生できなくなるということも防止できる。
【0053】
すべての機器が、例えば240fpsのような高フレームレートで撮影されたストリームを再生できるとは限らないが、実施の形態1によれば、映像全体を通常のフレームレートで撮影してあるため、高フレームレートで撮影されたストリームを再生できない機器においても映像を再生することが可能となる。
【0054】
(実施の形態2)
実施の形態2の概要を述べる。実施の形態2は、通常の撮影モードで撮影されたストリームと高速撮影モードで撮影されたストリームとの複数のストリームを含む動画ファイルを再生するに際し、その動画の要約(ダイジェスト)として、高速撮影モードで撮影されたストリームを切り出して高フレームレートの映像で再生する。高速撮影モードで撮影された映像は重要なシーンであることが多いため、映像全体の要約となりうるからである。
【0055】
図9は、実施の形態2にかかる画像再生制御装置300の内部構成を模式的に示した図である。画像再生制御装置300は、ファイル分割部58、高フレームレートストリーム復号部70、および要約生成部76を含む。
【0056】
ファイル分割部58は、記録部34から構成要素として関連情報30および異なるフレームレートで撮像された複数のストリームを含む単一ファイルを受け取り、それを構成要素に分割する。高フレームレートストリーム復号部70は、ファイル分割部58が分割した構成要素のうち、高フレームレートストリームを復号する。
【0057】
要約生成部76は、高フレームレートストリーム復号部70が復号して生成した複数の高フレームレートフレーム群を合成して連結し、ひとつの高フレームレートフレーム群を生成する。表示部66は、要約生成部76が生成したフレーム群を表示する。
【0058】
画像再生制御装置300の構成は、ハードウェア的には、任意のプロセッサ、メモリ、その他のLSIで実現でき、ソフトウェア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。
【0059】
ここで、高フレームレートストリーム復号部70が復号した240fpsのフレームを再生するに際しては、通常のフレームレートのフレームと同じフレームレートである60fpsで再生する。したがって、通常のフレームレートのフレームの再生と比べて4倍(240fps/60fps=4倍)ゆっくりと再生されるように見える。高速撮影モードで撮影された動画である高フレームレートストリームは、ユーザである撮影者にとって重要なシーンである場合が多いため、要約生成部76が生成したフレーム群は重要なシーンを集めたいわば映像の要約となっている。
【0060】
図10は、通常フレームレートストリーム24に含まれる60fpsのフレーム群と、高フレームレートストリームに含まれる240fpsのフレーム群との関係を例示した図である。本例では、時刻T6から時刻T7に第1の240fpsのフレーム群、時刻T8から時刻T9に第2の240fpsのフレーム群、時刻T10から時刻T11に第3の240fpsのフレーム群が存在する。
【0061】
高フレームレートストリーム復号部70は、ファイル分割部58が分割した高フレームレートストリームを復号して、第1の240fpsのフレーム群、第2の240fpsのフレーム群および第3の240fpsのフレーム群を生成する。フレーム合成部72はこれらの240fpsのフレーム群を合成して連結し、ひとつの高フレームレートフレーム群を生成する。こうして生成されたフレーム群を再生すると、時刻T6から時刻T7間での映像が高フレームレートで再生された直後、時刻T8から時刻T9までの映像が高フレームレートで再生されることになる。同様に、時刻T8から時刻T9間での映像が高フレームレートで再生された直後、時刻T10からT11までの映像が高フレームレートで再生される。
【0062】
以上実施の形態2によれば、高速撮影モードで撮影された重要なシーンのみを、高フレームレートの映像でユーザに提供することが可能となる。
【0063】
(実施の形態3)
実施の形態3の概要を述べる。実施の形態3は、通常の撮影モードで撮影されたストリームと高速撮影モードで撮影されたストリームとの複数のストリームを含む動画ファイルを再生するに際し、高速撮影モードで撮影された期間における通常のフレームレートのストリームを切り出して再生する。高速撮影モードで撮影された映像は重要なシーンであることが多いため、映像全体の要約となりうるからである。以下、実施の形態2と重複する説明は適宜省略する。
【0064】
図11は、実施の形態3にかかる画像再生制御装置300の内部構成を模式的に示した図である。画像再生制御装置300は、ファイル分割部58、通常フレームレートストリーム復号部68、および要約生成部76を含む。要約生成部76はさらに、フレーム分割部62とフレーム合成部72とを含む。
【0065】
通常フレームレートストリーム復号部68は、ファイル分割部58が分割した構成要素のうち、通常フレームレートストリームを復号する。要約生成部76は、関連情報30を参照して、通常フレームレートストリーム復号部68が生成した通常のフレームレートのフレーム群から要約を生成する。具体的には、要約生成部76内のフレーム分割部62は、関連情報30を参照して、通常のフレームレートのフレーム群のうち高速撮影された期間のフレームのみを分割して取り出す。要約生成部76内のフレーム合成部72は、フレーム分割部62が分割したフレームを合成して連結し、ひとつの通常フレームレートフレーム群を生成する。表示部66は、フレーム合成部72が生成したフレーム群を表示する。
【0066】
以下、実施の形態3の動作を図10の例を用いて説明する。通常フレームレートストリーム復号部68は、ファイル分割部58が分割した通常フレームレートストリーム24を復号して60fpsのフレーム群を生成する。フレーム分割部62は、ファイル分割部58が分割した構成要素のうちの関連情報30を参照し、60fpsのフレーム群を、時刻T6から時刻T7までの60fpsのフレーム群第1パート、時刻T8から時刻T9までのに60fpsのフレーム群第2パート、時刻T10から時刻T11までの60fpsのフレーム群第3パートの3つの部分に分割する。フレーム合成部72は、フレーム分割部62が分割したフレームを合成して連結し、ひとつの通常フレームレートフレーム群を生成する。
【0067】
図12は、図10の例において、実施の形態2にかかるフレーム合成部72が生成する240fpsの合成されたフレーム群と、実施の形態3に係るフレーム合成部72が生成する60fpsの合成されたフレーム群との関係を示した図である。240fpsのフレーム群が撮像された期間に撮像された、60fpsのフレーム群のみが切り出され、ひとつの通常フレームレートフレーム群となっている。したがって、実施の形態2の場合と同様に、実施の形態3に係るフレーム合成部72が生成したフレーム群を再生すると、時刻T6から時刻T7間での映像が通常のフレームレートで再生された直後、時刻T8から時刻T9までの映像が通常のフレームレートで再生されることになる。また、時刻T8から時刻T9間での映像が通常のフレームレートで再生された直後、時刻T10からT11までの映像が通常のフレームレートで再生される。
【0068】
以上、実施の形態3によれば、高速撮影モードで撮影された重要なシーンのみを要約として、通常フレームレートの映像でユーザに提供することが可能となる。実施の形態2の場合と異なり、要約となる映像は通常のフレームレートで再生されるため、高フレームレートで再生する場合と比較して再生に時間がかからず、要約全体を素早く鑑賞することができる。
【0069】
(実施の形態4)
実施の形態4の概要を述べる。実施の形態4は、通常の撮影モードで撮影されたストリームと高速撮影モードで撮影されたストリームとの複数のストリームを含む動画ファイルを再生するに際し、高速撮影モードで撮影された期間のストリームのみを要約として再生するが、再生するストリームは通常の撮影モードで撮影されたストリームと高速撮影モードで撮影されたストリームとを自由に切り替えることができる。高速撮影モードで撮影された映像は重要なシーンであることが多く、映像全体の要約とすることができる。以下、実施の形態2または実施の形態3と重複する説明は適宜省略する。
【0070】
図13は、実施の形態4にかかる画像再生制御装置300の内部構成を模式的に示した図である。画像再生制御装置300は、ファイル分割部58、画像復号部60、および要約生成部76を含む。画像復号部60はさらに、通常フレームレートストリーム復号部68と高フレームレートストリーム復号部70を含む。また、要約生成部76はさらに、フレーム分割部62、フレーム選択部64、およびフレーム制御部74を含む。
【0071】
フレーム制御部74は、図示しないユーザインタフェースを介してユーザから表示部66に再生すべき映像の種類を受け取る。映像の種類とは、通常の撮影モードで撮影されたストリームまたは高速撮影モードで撮影されたストリームのいずれかである。フレーム選択部64は、フレーム制御部74から再生すべき映像の種類を受け取り、その情報に基づいて通常フレームレートストリーム復号部68が生成した通常のフレームレートのフレームか、あるいは高フレームレートストリーム復号部70が生成した通常よりも高いフレームレートのフレームを選択する。表示部66は、フレーム選択部64が選択したフレームを表示する。
【0072】
図14は、高フレームレートストリームに含まれる240fpsのフレーム群と、高フレームレートストリームに含まれる240fpsのフレーム群に対応する60fpsのフレーム群を分割した様子を例示した図である。以下、実施の形態4の動作を図14を用いて説明する。
【0073】
本例では、フレーム制御部74は、ユーザから要約となる映像を240fpsのフレームレートで再生すべき旨の指示を受け取る。フレーム選択部64は、ユーザからの指示にしたがい、時刻T6から始まる高フレームレートストリーム復号部70が生成した240fpsのフレームレートのフレームを選択する。フレーム選択部64は、時刻T7における240fpsのフレームレートのフレームを選択した後は、時刻T8における240fpsのフレームレートのフレームを選択する。
【0074】
フレーム選択部64が時刻T12における240fpsのフレームレートのフレームを選択した時点で、フレーム制御部74は、ユーザから要約となる映像を通常のフレームレートで再生すべき旨の指示を受け取る。その後、フレーム選択部64はユーザからの指示にしたがい、時刻T12における60fpsのフレームレートのフレームを選択するようになる。時刻T9における60fpsのフレームレートのフレームを選択した後は、フレーム選択部64は、時刻T9から時刻T10におけるフレームを飛ばし、時刻T10における60fpsのフレームレートのフレームを選択する。時刻T11における60fpsのフレームレートのフレームを選択した時点で対応する240fpsのフレームレートのフレームは終了するので、フレーム選択部64はフレーム選択を終了する。
【0075】
以上、実施の形態4によれば、ユーザが高速撮影モードで撮影した期間のシーンのみを要約として再生することが可能となる。実施の形態4では、要約となる映像のフレームレートを自由に変更でき、通常のフレームレートで再生しつつ特に重要なシーンは通常よりも高いフレームレートで鑑賞することができる。
【0076】
以上、実施の形態1ないし実施の形態4を説明した。これらの実施の形態の任意の組み合わせもまた本発明の実施の形態として有用である。例えば実施の形態1と、実施の形態2ないし実施の形態4とを組み合わせ、ファイル連結部32の出力した単一ファイルをファイル分割部58が受け取るようにすれば、これらの実施の形態の効果の和に加え、さらに、撮像から再生までを一貫してユーザに提供できるようになる点で有利である。
【0077】
以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【0078】
例えば、上記実施の形態1では、画像符号化部20が通常フレームレートフレーム符号化部36と高フレームレートフレーム符号化部38とのふたつ画像符号化部を含む場合について説明したが、いずれかの演算速度が十分速い場合には、ひとつの画像符号化部としてもよい。この場合、高速撮影モード時には通常のフレームレートの映像と高フレームレートの映像とを時分割で符号化することになる。回路の規模を小さくできることから、製造コストや消費電力を抑えられる点で有利である。
【0079】
また、上記実施の形態1では、通常フレームレートフレーム符号化部36と高フレームレートフレーム符号化部38とはそれぞれ独立して演算する場合を想定したが、演算結果を共有できるようにしてもよい。例えば、高フレームレートフレーム符号化部38が計算した4枚分のフレームの動きベクトルを合成すれば、通常フレームレートフレーム符号化部36で計算すべき1枚分の動きベクトルとなる。この結果を共有することにより、全体として演算時間と消費電力とを抑えられる点で有利である。
【0080】
また、上記実施の形態1では、チャプタ52を関連情報30として記録する場合について説明したが、ストリームに埋め込むチャプタ52自体に、対応する高フレームレートの映像の情報を持たせてもよい。この場合、上述の例ではチャプタ52aに第1高フレームレートフレーム群42の開始を、チャプタ52bに第1高フレームレートフレーム群42の終了を情報として記録することになる。また上述の例では、チャプタ52aとチャプタ52bとをもって第1高フレームレートフレーム群42の関連情報30として説明したが、チャプタ52aと第1高フレームレートフレーム群42のフレーム数や時間等を関連情報30とすることもできる。
【0081】
また、上記実施の形態1では、フレーム生成部14が常時240fpsのフレームを生成する場合について説明したが、通常は60fpsの動画を生成し、高速撮影モードの場合のみ240fpsのフレームを生成するようにしてもよい。この場合、高速撮影モードではない場合のフレーム生成部14の演算量が減り、フレーム間引き部18の演算も不要となるため、消費電力を抑えられる点で有利である。また、フレームレートが低い場合にはセンサ10における受光量を多くすることができるため、ノイズを抑制する効果も得られる。
【0082】
また、上記実施の形態2では、ファイル分割部58が単一ファイルを構成要素に分割する場合について説明したが、構成要素は単一ファイルとしてまとまっておらず、複数のファイルとして点在していてもよい。この場合、ファイル分割部58に替えて図示しないファイル管理部が、点在する複数のファイルを関連づけることになる。これは例えば関連情報および異なるフレームレートで撮像された複数のストリームを同一フォルダに格納しておいたり、複数のファイルの命名規則を共通化したりすることで実現できる。
【0083】
上記実施の形態3では、高速撮影モードで撮影された期間における通常のフレームレートのストリームを切り出した後結合しひとつの合成フレーム群を生成する場合について説明したが、ひとつの合成フレーム群を生成することなくフレームを選択しつつ表示するようにしてもよい。この場合、実施の形態4フレーム選択部64に相当するフレーム選択部を導入することになる。フレームを合成する処理が省けるので、処理が高速となる点で有利である。
【0084】
また、実施の形態4では、画像復号部60が通常フレームレートストリーム復号部68と高フレームレートストリーム復号部70とのふたつ画像復号部を含む場合について説明したが、いずれかの演算速度が十分速い場合には、ひとつの画像復号部としてもよい。この場合、60fpsのフレーム群と240fpsのフレーム群とを時分割で復号することになる。回路の規模を小さくできることから、製造コストや消費電力を抑えられる点で有利である。
【符号の説明】
【0085】
30 関連情報、 58 ファイル分割部、 60 画像復号部、 62 フレーム分割部、 64 フレーム選択部、 66 表示部、 68 通常フレームレートストリーム復号部、 70 高フレームレートストリーム復号部、 72 フレーム合成部、 74 フレーム制御部、 76 要約生成部、 100 画像記録制御装置、 200 撮像装置、 300 画像再生制御装置。
【技術分野】
【0001】
本発明は、符号化された複数の動画像を復号して再生する画像生成制御装置、およびそれを搭載した撮像装置に関する。
【背景技術】
【0002】
近年、一般ユーザが静止画のみならず、手軽に動画像を撮影することができるデジタルムービーカメラが普及してきており、それらの中には撮影に際してフレームレートを変更したり、異なるフレームレートの動画を同時に撮像したりすることができるものもある(特許文献1参照)。これらの動画は記録メディア等に記録された後、例えば、ムービーカメラに搭載されている表示モニタやPC(Personal Computer)、テレビ等で鑑賞される。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2007−195050号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
同一シーンについて異なるフレームレートで撮影ができると、例えば重要なシーンについては時間分解能の高い高フレームレートで撮影することができて便利である。一方で、同一シーンについての動画が同時に複数存在することになり、動画を撮像したユーザが、どの動画を見るべきか迷うことも生じうる。
【0005】
本発明はこうした状況に鑑みなされたものであり、その目的は、異なるフレームレートで撮像された複数の動画像データのうち、適切な動画を再生できる技術を提供することにある。
【課題を解決するための手段】
【0006】
本発明のある態様は画像記録制御装置である。この装置は、通常のフレームレートのストリーム、前記通常のフレームレートのストリームに含まれる少なくとも一部のシーンに関しての通常よりも高いフレームレートのストリーム、および前記シーンを特定するための関連情報を含むファイルを受け取り、前記通常のフレームレートのストリーム、前記通常よりも高いフレームレートのストリーム、および前記関連情報に分割するファイル分割部と、前記通常のフレームレートのストリームと前記通常よりも高いフレームレートのストリームとの少なくとも一方のストリームを復号して動画のフレームを生成する画像復号部と、前記関連情報に基づいて、前記通常のフレームレートのストリームと前記通常よりも高いフレームレートのストリームとが共通して含む前記シーンに関する動画のフレームを動画の要約として生成する要約生成部とを含む。
【0007】
本発明の別の態様は撮像装置である。この装置は、動画像を取得する撮像部と、前記撮像部により撮像される動画像を符号化して、通常のフレームレートのストリームと通常よりも高いフレームレートのストリームとの、2種類のストリームを生成可能な画像符号化部と、前記通常のフレームレートのストリームと当該ストリームの生成と並行して生成された前記通常よりも高いフレームレートのストリームとを関連づける関連情報を生成する制御部と、上述の画像再生制御装置と、前記画像再生制御装置により表示制御される表示装置とを含む。
【0008】
本発明のさらに別の態様は画像記録制御方法である。この方法は、同一のシーンに関する通常のフレームレートのストリームと、通常よりも高いフレームレートのストリームとが同時に存在するときに、前記同一のシーンを特定する関連情報に基づいて、前記同一のシーンに関するストリームのみを再生をする。
【0009】
なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【0010】
本発明によれば、異なるフレームレートで撮像された複数の動画像データのうち、適切な動画を再生できる。
【図面の簡単な説明】
【0011】
【図1】実施の形態1にかかる撮像装置の内部構成を模式的に示した図である。
【図2】実施の形態1にかかる撮像装置の処理の流れを説明するフローチャートである。
【図3】実施の形態1にかかる通常フレームレートフレーム符号化部が符号化の対象とする通常フレームレートフレーム群と、高フレームレートフレーム符号化部が符号化の対象とする第1高フレームレートフレーム群および第2高フレームレートフレーム群との関係の一例を模式的に表した図である。
【図4】実施の形態1にかかるチャプタが埋め込まれたストリームを伸張したときの、チャプタとフレームとの位置関係の一例を示す図である。
【図5】実施の形態1にかかるファイル連結部が生成するファイルの構造の一例を模式的に表した図である。
【図6】実施の形態1にかかるファイル連結部が生成するファイルの構造の別例を模式的に表した図である。
【図7】実施の形態1にかかるファイルに格納される関連情報の記録形式の一例を模式的に表した図である。
【図8】実施の形態1にかかるファイルに格納される関連情報の記録形式の別例を模式的に表した図である。
【図9】実施の形態2にかかる画像再生制御装置の内部構成を模式的に示した図である。
【図10】実施の形態2にかかる通常フレームレートストリームに含まれる60fpsのフレーム群と、高フレームレートストリームに含まれる240fpsのフレーム群との時間的な関係を例示した図である。
【図11】実施の形態3にかかる画像再生制御装置の内部構成を模式的に示した図である。
【図12】図10の例において、実施の形態2にかかるフレーム合成部が生成する240fpsの合成されたフレーム群と、実施の形態3に係るフレーム合成部が生成する60fpsの合成されたフレーム群との関係を示した図である。
【図13】実施の形態4にかかる60fpsのフレーム群と240fpsのフレーム群とが存在する場合にそれらのフレームを再生するに際し、60fpsのフレーム群と240fpsのフレーム群との切り替えタイミングの別例を示す図である。
【図14】実施の形態4にかかる高フレームレートストリームに含まれる240fpsのフレーム群と、高フレームレートストリームに含まれる240fpsのフレーム群に対応する60fpsのフレーム群を分割した様子を例示した図である。
【発明を実施するための形態】
【0012】
(実施の形態1)
本発明の実施の形態1の概要を述べる。実施の形態1は、240fps(frames per second)のフレームレートで動画フレームを生成してフレームバッファに格納しておき、通常の撮影モードでは、60fpsのフレームレートになるまでフレームを間引いてからストリームを生成する。ユーザから高速撮影を行う旨の指示がある間は、60fpsのフレームレートのストリームの生成に加えて、フレームを間引きする前の240fpsのフレームレートのストリームも生成する。撮影終了後、生成されたフレームレートの異なる複数のストリームを連結して単一のファイルとして保存する。
【0013】
図1は、実施の形態1に係る撮像装置200の内部構成を模式的に示した図である。撮像装置200は、センサ10、操作部12、フレーム生成部14、および画像記録制御装置100を含む。画像記録制御装置100はさらに、フレームバッファ16、フレーム間引き部18、画像符号化部20、制御部22、ファイル連結部32、および記録部34を含む。
【0014】
フレーム生成部14は、センサ10が取得した映像のフレームを生成する。センサ10は、CCD(Charge Coupled Devices)センサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどの図示しない固体撮像素子であり、フレーム生成部14はセンサ10から出力されるアナログの三原色信号R、G、Bを処理して、デジタルの輝度信号Yおよび色差信号Cr、Cbのフレームに変換する。フレームバッファ16は、フレーム生成部14が生成したフレームを一時的に保存する。
【0015】
フレーム間引き部18は、フレームバッファ16に格納されているフレームを間引きする。フレームバッファ16にはフレーム生成部14が生成した、フレームレートが240fpsのフレームが格納されており、フレーム間引き部18は、当該フレームを四分の一に間引くことにより、フレームレートが60fpsのフレームを生成する。ここでフレーム生成部14が生成するフレームのフレームレートと、フレーム間引き部18が生成するフレームのフレームレートとは様々な組み合わせがあってもよい。例えば、フレーム生成部14が600fpsのフレームを生成してもよく、フレーム間引き部18は間引きの枚数を自由に変更できるようにしてもよい。
【0016】
画像符号化部20はさらに、通常フレームレートフレーム符号化部36と高フレームレートフレーム符号化部38とのふたつの画像符号化部を含む。
【0017】
通常フレームレートフレーム符号化部36は、フレーム間引き部18が生成したフレームを符号化して通常フレームレートストリーム24を生成する。通常フレームレートフレーム符号化部36は、当該フレームを所定の規格にしたがい符号化する。動画像の符号化には、国際標準化機関であるISO(International Organization for Standardization)/IEC(International Electrotechnical Commission)によって標準化されたMPEG(Moving Picture Experts Group)シリーズの規格(MPEG−1、MPEG−2およびMPEG−4)、電気通信に関する国際標準機関であるITU−T(International Telecommunication Union-Telecommunication Standardization Sector)によって標準化されたH.26xシリーズの規格(H.261、H.262およびH.263)、もしくは両方の標準化機関によって合同で標準化された最新の動画像圧縮符号化標準規格であるH.264/AVC(両機関における正式勧告名はそれぞれMPEG-4 Part 10: Advanced Video CodingとH.264)に準拠する技術、その拡張標準であるH.264/AVC Annex G、すなわちH.264/SVC(Scalable Video Coding)が用いられる。
【0018】
高フレームレートフレーム符号化部38は、操作部12に入力されたユーザの指示がある間、フレームバッファ16に格納されているフレームを符号化し、ストリームを生成する。したがって、高フレームレートフレーム符号化部38が生成するストリームは、通常フレームレートフレーム符号化部36が生成するストリームよりも高いフレームレート(240fps)のストリームとなる。以後、ユーザの指示により高フレームレートフレーム符号化部38がフレームバッファ16に格納されているフレームを直接符号化してストリームを生成する動作を「高速撮影モード」と呼ぶ。高フレームレートフレーム符号化部38も通常フレームレートフレーム符号化部36と同様に、MPEG−2、またはMPEG−4、H.264/AVC、H.264/SVCなどの規格にしたがい圧縮符号化する。
【0019】
通常フレームレートフレーム符号化部36がフレーム間引き部18の生成した一連のフレームをすべて符号化して一つのストリーム(通常フレームレートストリーム24)を生成するのに対し、高フレームレートフレーム符号化部38は、ユーザから高速撮影モードの指示がある度に、その指示がある期間に符号化する。例えばユーザが1度目の高速撮影モードの指示を行うと、高フレームレートフレーム符号化部38は第1高フレームレートストリーム26を生成する。以後、高フレームレートフレーム符号化部38はユーザから高速撮影モードの指示がある度にストリームを生成し、n回目の指示で第n高フレームレートストリーム28を生成する。
【0020】
高フレームレートフレーム符号化部38が生成するストリームはフレームレートが高く、映像を高い時間分解能で撮影することができる一方で、多くの記録容量を要する。反対に、通常フレームレートフレーム符号化部36が生成する通常フレームレートストリーム24はフレームが間引きされているため時間分解能は落ちるが、その分記憶容量は少なくなる。これらの性質を利用して、映像全体を通常フレームレートストリーム24で記録し、例えば重要なシーンについては高速撮影モードで撮影することにより、記憶容量を抑えつつ、重要なシーンを高い時間分解能で記録することが可能となる。
【0021】
制御部22は、操作部12に入力されたユーザの指示に基づいて関連情報30を生成する。ここで「関連情報」とは、センサ10に入力された映像を通常フレームレートフレーム符号化部36と高フレームレートフレーム符号化部38とが共に符号化したときに、両者が生成したストリームを関連づける情報である。例えば、通常フレームレートフレーム符号化部36と高フレームレートフレーム符号化部38とが重複して符号化した部分を特定する情報、すなわち、高フレームレートで撮像すべき期間を特定する情報である。関連情報の具体例については後述する。
【0022】
ファイル連結部32は、通常フレームレートフレーム符号化部36が生成した通常フレームレートストリーム24、高フレームレートフレーム符号化部38が生成したひとつ以上の高フレームレートストリーム、および制御部22が生成した関連情報30を多重化して連結し、単一のファイルを生成する。ここで「単一のファイル」とはファイル操作の単位となるファイルを意味し、ひとつのファイル名の下で一括してファイルの複製や削除、ファイル転送等の操作の対象となる。ファイルとしては、例えばMP4ファイルフォーマットにしたがったコンテナファイルを利用することができる。当該コンテナファイルには、各符号化データのヘッダ情報、メタデータ、時刻情報などを記述したコンテナを含めることができる。
【0023】
記録部34は、ファイル連結部32が生成したファイルを格納する。記録部34としては例えば、内蔵メモリとして、半導体メモリまたはハードディスクを採用することができる。また、リムーバブルメモリとして、メモリーカード、リムーバブルハードディスク、または光ディスクを採用することができる。
【0024】
画像記録制御装置100の構成は、ハードウェア的には、任意のプロセッサ、メモリ、その他のLSIで実現でき、ソフトウェア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。
【0025】
図2は、実施の形態1にかかる撮像装置200の処理の流れを説明するフローチャートである。本フローチャートにおける処理は、例えばユーザが撮像装置200の電源ボタン(図示しない)を押すと開始する。
【0026】
ユーザが動画撮影を選択した場合(S10Y)、フレーム生成部14はセンサ10が取得した映像のフレームを生成してフレームバッファ16に格納する(S12)。ユーザが操作部12を介して高速撮影モードを選択する場合(S14Y)、高フレームレートフレーム符号化部38は、フレームバッファ16に格納されている高フレームレートのフレームを符号化する(S16)。ユーザが高速撮影モードを選択しない場合には(S14N)、高フレームレートフレーム符号化部38は符号化を実行しない。
【0027】
フレーム間引き部18は、フレームバッファ16に格納されているフレームを所定の枚数間引きする(S18)。通常フレームレートフレーム符号化部36は、フレーム間引き部18が出力した通常のフレームレートのフレームを符号化する(S20)。ここで動画像の撮影を終了しない場合には(S22N)、ステップS12に戻り、フレームの符号化を続行する。動画像の撮影を終了する場合には(S22Y)、制御部22は関連情報30を生成する(S24)。その後ファイル連結部32は、通常フレームレートフレーム符号化部36が生成した通常フレームレートストリーム24、高フレームレートフレーム符号化部38が生成した一つ以上の高フレームレートのストリーム、および制御部22が生成した関連情報30を連結してひとつのファイルを生成する(S26)。ファイル連結部32がファイルを生成するか、あるいは動画撮影でない場合に(S10N)、本処理は終了する。
【0028】
なお、図2において通常フレームレートフレーム符号化部36と高フレームレートフレーム符号化部38とが符号化処理を直列に実行する場合について説明したが、両者は並列に符号化処理を実行してもよい。
【0029】
以下、制御部22が生成する関連情報30の具体例について図を参照しながら説明する。
【0030】
図3は、通常フレームレートフレーム符号化部36が符号化の対象とする通常フレームレートフレーム群40と、高フレームレートフレーム符号化部38が符号化の対象とする第1高フレームレートフレーム群42および第2高フレームレートフレーム群44との関係の一例を模式的に表した図である。本例では通常フレームレートフレーム群40のフレームレートは60fpsであり、第1高フレームレートフレーム群42および第2高フレームレートフレーム群44のフレームレートは240fpsであるとする。
【0031】
通常フレームレートフレーム群40の撮影開始時刻を原点とする時間軸46と、通常フレームレートフレーム群40の第1番目のフレームのフレーム番号を1とし、以後順番に通し番号をふったときのフレーム番号を表すフレーム軸48とを考える。通常フレームレートフレーム群40は時刻0から始まって時刻T5で終了する。このとき通常フレームレートフレーム群40は、1番目のフレームからF5番目のフレームまで存在し、その間のフレームの総数はN0枚である。
【0032】
時刻T1においてユーザが操作部12を介して高速撮影モードを選択すると、高フレームレートフレーム符号化部38は第1高フレームレートフレーム群42の符号化を開始する。時刻T2においてユーザが高速撮影モードを終了すると、高フレームレートフレーム符号化部38は符号化を終了する。第1高フレームレートフレーム群は時刻T1からT2までのD1の期間に撮影されたフレーム群ということになる。
【0033】
時刻T3においてユーザが再度高速撮影モードを選択すると、高フレームレートフレーム符号化部38は第2高フレームレートフレーム群44の符号化を開始する。D2の時間が経過し、時刻T4においてユーザが高速撮影モードを終了すると、高フレームレートフレーム符号化部38は符号化を終了する。
【0034】
この例では、通常フレームレートフレーム群40と第1高フレームレートフレーム群42とは時刻T1からT2までのD1の期間において重複する。そこで両者の重複部分を特定する関連情報30として、時刻T1とT2とのセットが考えられる。また、両者の重複が始まる時刻T1と重複する期間であるD1とのセットも重複部分を特定する関連情報30とすることができる。同様に、通常フレームレートフレーム群40と第2高フレームレートフレーム群44とは時刻T3からT4までのD2の期間において重複するので、T3とT4のセットあるいはT3とD2のセットを通常フレームレートフレーム群40と第2高フレームレートフレーム群44との重複部分を特定する関連情報30とすることができる。
【0035】
ユーザが高速撮影モードを選択した時刻T1において、通常フレームレートフレーム群40はF1番目のフレームであったとする。その後時刻T2においてユーザが高速撮影モードを終了したとき、フレーム群40はF2番目のフレームであったとする。このとき、通常フレームレートフレーム群40と第1高フレームレートフレーム群42との重複部分は、通常フレームレートフレーム群40のフレーム番号F1とF2とのセットで特定することができる。また、F1番目のフレームとF2番目とのフレームの間にN1枚の通常フレームレートフレーム群40のフレームがあるとすれば、通常フレームレートフレーム群40と第1高フレームレートフレーム群42との重複部分は、通常フレームレートフレーム群40のフレーム番号F1と重複部分の枚数N1とのセットでも特定することができる。したがって、F1とF2とのセットあるいはF1とN1とのセットを通常フレームレートフレーム群40と第1高フレームレートフレーム群42との重複部分を特定する関連情報30とすることができる。
【0036】
通常フレームレートフレーム群40と第2高フレームレートフレーム群44との場合も同様で、時刻T3の時の通常フレームレートフレーム群40のフレーム番号をF3、時刻T4の時の通常フレームレートフレーム群40のフレーム番号をF4とし、その間のフレーム数をN2とすれば、F3とF4とのセットあるいはF3とN2とのセットを通常フレームレートフレーム群40と第2高フレームレートフレーム群44との重複部分を特定する関連情報30とすることができる。
【0037】
ここで、通常フレームレートフレーム群40のフレーム数N1またはN2のかわりに、対応する第1高フレームレートフレーム群42または第2高フレームレートフレーム群44のフレーム数を用いることも可能である。この場合、第1高フレームレートフレーム群42および第2高フレームレートフレーム群44のフレームレートは通常フレームレートフレーム群40の4倍(240fps/60fps=4)であるので、対応するフレームの枚数もそれぞれ4倍となる。
【0038】
図4は、関連情報30の別の例を模式的に表した図である。本例は、ストリームの中に映像の区切りデータとしてチャプタ(chapter)が埋め込まれる場合の例である。
【0039】
本例においては、図4はチャプタが埋め込まれたストリームを伸張したときの、チャプタとフレームとの位置関係の一例を示す図である。第1のチャプタ52aは、チャプタ付きストリーム50内に存在し、第1高フレームレートフレーム群42が開始する直前に埋め込まれている。また、第2のチャプタ52bは、第1高フレームレートフレーム群42が終了した直後に埋め込まれている。したがって第1のチャプタ52aと第2のチャプタ52bとのセットを、チャプタ付きストリーム50と第1高フレームレートフレーム群42との重複部分を特定する関連情報30とすることができる。なお、チャプタ52は、関連情報30としてファイル連結部32が埋め込む。
【0040】
図5は、ファイル連結部32が生成するファイル54の構造の一例を模式的に表した図である。ファイル54は、ファイルの先頭からヘッダ56、関連情報30、通常フレームレートストリーム24、第1高フレームレートストリーム26の順に格納され、終端に第nストリーム28を含む。ここでヘッダ56は各ストリームの先頭位置の情報等を格納する。このように、各ストリームを順番に格納する場合は、ファイル連結部32がファイル54を生成するときの制御が簡単になる点で有利である。
【0041】
なお、ヘッダ56や関連情報30はファイルの先頭でなくてもよく、例えばファイルの終端にあってもよい。この場合、通常フレームレートストリーム24が先頭となるため、ファイルを探索することなく即座に映像全体を再生できる点で有利である。また、関連情報30はヘッダ56の一部として格納されていてもよい。
【0042】
図6は、ファイル連結部32が生成するファイル54の構造の別例を模式的に表した図である。本例では、先頭にヘッダ56および関連情報30が格納される点では図5に示す例と同じであるが、各ストリームファイルは所定の基準で分割され、分散して格納される点で異なる。また、ヘッダ56は各ストリームの先頭位置の情報のみならず、分割された各ストリームの先頭位置の情報も格納される。
【0043】
図6において、通常フレームレートストリーム24はm個の単位に分割され、第1のストリームその1(符号24a)、第1のストリームその2(符号24b)と続いて第1のストリームそのn(符号24c)に至り、最後に第1のストリームそのm(符号24d)として格納される。分割された通常フレームレートストリーム24の間に、分割された第2のストリームその1(符号26a)や第2のストリームその2(符号26b)が格納される。同様に、第nのストリームも分割されて格納される(符号28a)。このように、各ストリームを分割して記録する方式は、記録時の制御が複雑になるものの、記録部34の記録領域に対して効率的に記録できる点で有利である。記録領域内に物理的に連続して大きな空き領域がなく、小さな空き領域しか存在しないような場合でも、ファイルを小さな単位に分割して記録できれば、そのような小さな空き領域に記録することができるからである。
【0044】
したがって、上述したファイルを分割するための「所定の基準」とは、記録部34の記録領域を効率よく利用するために用意するデータ記録の最小単位であり、例えばストリームに記録されている映像の時間や、データのサイズあるいはチャプタ52によって区切られる単位が用いられる。これらの基準およびその最小単位は、記録部34の容量やファイルシステムの制限などを考慮して実験的に定めればよい。
【0045】
図7は、ファイル54に格納される関連情報30の記録形式の一例を模式的に表した図である。本例では、関連情報30として、上述した時刻T0から時刻T5までの各時刻を用いる場合について説明する。
【0046】
まず、関連情報30を記録する領域の先頭に、記録すべき関連情報30の個数を格納する。本例では、記録すべき関連情報は時刻T0から時刻T5までの6個であるから、関連情報30の個数として6を格納する。次に、通常フレームレートフレーム群40の開始時刻であるT0と終了時刻であるT5を格納し、次に第1高フレームレートフレーム群42の開始時刻であるT1と終了時刻であるT2を格納する。最後に第2高フレームレートフレーム群44の開始時刻であるT3と終了時刻であるT4を格納する。フレーム群の数が増えた場合も同様の形式で格納すればよい。また、開始時刻と終了時刻は必ずセットで保存されるので、記録すべき関連情報30の個数としてはセットの個数を記録してもよい。本例の場合では、開始時刻と終了時刻のセットは3セットあるため、関連情報30の個数として3を格納する。
【0047】
なお、関連情報30としては、通常フレームレートフレーム群40の開始時刻であるT0と終了時刻であるT5は省略することが可能である。
【0048】
図8は、ファイル54に格納される関連情報30の記録形式の別例を模式的に表した図である。本例では、関連情報30として、上述した各フレーム群の先頭のフレーム番号とフレームの枚数とを用いる場合について説明する。
【0049】
本例の場合は、図7に示す例と異なり、記録すべき関連情報30の個数は格納されず、先頭から順に関連情報30が格納される。具体的には、まず通常フレームレートフレーム群40のフレームの総数であるN0が格納される。次に第1高フレームレートフレーム群42の先頭フレームに対応する通常フレームレートフレーム群40のフレーム番号であるF1と、第1高フレームレートフレーム群42と重複する区間の通常フレームレートフレーム群40のフレーム枚数であるN1が格納される。続いて、第2高フレームレートフレーム群44の先頭フレームに対応する通常フレームレートフレーム群40のフレーム番号であるF3と、第1高フレームレートフレーム群42と重複する区間の通常フレームレートフレーム群40のフレーム枚数であるN2が格納される。最後に関連情報30の終端を示す識別子であるターミネータが格納される。関連情報30の先頭からターミネータまでの間の情報を読み込むことにより、関連情報30の個数が格納されていなくても、関連情報を正しく読み取ることが可能となる。
【0050】
なお、関連情報30として、通常フレームレートフレーム群40のフレームの総数であるN0は省略することもできる。
【0051】
以上の構成による動作は以下のとおりである。ユーザは、実施の形態1にかかる撮像装置を用いて記録に残したい映像を撮像するに際し、その中でも特に重要なシーンについては高速撮影をする。撮影を終了すると、映像全体が60fpsのフレームレートで記録されており、高速撮影をしたシーンについては240fpsのフレームレートで撮影された映像もあわせて記録されている。この結果、異なるフレームレートで撮影された映像が複数存在することになるが、これらは単一のファイルにまとめられて記録される。
【0052】
以上説明したように実施の形態1によれば、映像全体を通常のフレームレートで撮影し、重要なシーンについては合わせて高フレームレートで撮影することにより、重要でないシーンの符号量を抑えることが可能となり、結果として記憶容量を節約することができる。また、重要なシーンは別のストリームとして生成されるため、重要なシーンの取出しが容易となる。さらに、すべてのストリームと関連情報30とをまとめてひとつのファイルとして生成されるため、ストリームごとに別ファイルを生成する場合と比較して、ファイルのコピーや転送、削除等の管理が容易となる。また、ストリームファイルの一部を消失した結果、一連のストリームファイルがすべて再生できなくなるということも防止できる。
【0053】
すべての機器が、例えば240fpsのような高フレームレートで撮影されたストリームを再生できるとは限らないが、実施の形態1によれば、映像全体を通常のフレームレートで撮影してあるため、高フレームレートで撮影されたストリームを再生できない機器においても映像を再生することが可能となる。
【0054】
(実施の形態2)
実施の形態2の概要を述べる。実施の形態2は、通常の撮影モードで撮影されたストリームと高速撮影モードで撮影されたストリームとの複数のストリームを含む動画ファイルを再生するに際し、その動画の要約(ダイジェスト)として、高速撮影モードで撮影されたストリームを切り出して高フレームレートの映像で再生する。高速撮影モードで撮影された映像は重要なシーンであることが多いため、映像全体の要約となりうるからである。
【0055】
図9は、実施の形態2にかかる画像再生制御装置300の内部構成を模式的に示した図である。画像再生制御装置300は、ファイル分割部58、高フレームレートストリーム復号部70、および要約生成部76を含む。
【0056】
ファイル分割部58は、記録部34から構成要素として関連情報30および異なるフレームレートで撮像された複数のストリームを含む単一ファイルを受け取り、それを構成要素に分割する。高フレームレートストリーム復号部70は、ファイル分割部58が分割した構成要素のうち、高フレームレートストリームを復号する。
【0057】
要約生成部76は、高フレームレートストリーム復号部70が復号して生成した複数の高フレームレートフレーム群を合成して連結し、ひとつの高フレームレートフレーム群を生成する。表示部66は、要約生成部76が生成したフレーム群を表示する。
【0058】
画像再生制御装置300の構成は、ハードウェア的には、任意のプロセッサ、メモリ、その他のLSIで実現でき、ソフトウェア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。
【0059】
ここで、高フレームレートストリーム復号部70が復号した240fpsのフレームを再生するに際しては、通常のフレームレートのフレームと同じフレームレートである60fpsで再生する。したがって、通常のフレームレートのフレームの再生と比べて4倍(240fps/60fps=4倍)ゆっくりと再生されるように見える。高速撮影モードで撮影された動画である高フレームレートストリームは、ユーザである撮影者にとって重要なシーンである場合が多いため、要約生成部76が生成したフレーム群は重要なシーンを集めたいわば映像の要約となっている。
【0060】
図10は、通常フレームレートストリーム24に含まれる60fpsのフレーム群と、高フレームレートストリームに含まれる240fpsのフレーム群との関係を例示した図である。本例では、時刻T6から時刻T7に第1の240fpsのフレーム群、時刻T8から時刻T9に第2の240fpsのフレーム群、時刻T10から時刻T11に第3の240fpsのフレーム群が存在する。
【0061】
高フレームレートストリーム復号部70は、ファイル分割部58が分割した高フレームレートストリームを復号して、第1の240fpsのフレーム群、第2の240fpsのフレーム群および第3の240fpsのフレーム群を生成する。フレーム合成部72はこれらの240fpsのフレーム群を合成して連結し、ひとつの高フレームレートフレーム群を生成する。こうして生成されたフレーム群を再生すると、時刻T6から時刻T7間での映像が高フレームレートで再生された直後、時刻T8から時刻T9までの映像が高フレームレートで再生されることになる。同様に、時刻T8から時刻T9間での映像が高フレームレートで再生された直後、時刻T10からT11までの映像が高フレームレートで再生される。
【0062】
以上実施の形態2によれば、高速撮影モードで撮影された重要なシーンのみを、高フレームレートの映像でユーザに提供することが可能となる。
【0063】
(実施の形態3)
実施の形態3の概要を述べる。実施の形態3は、通常の撮影モードで撮影されたストリームと高速撮影モードで撮影されたストリームとの複数のストリームを含む動画ファイルを再生するに際し、高速撮影モードで撮影された期間における通常のフレームレートのストリームを切り出して再生する。高速撮影モードで撮影された映像は重要なシーンであることが多いため、映像全体の要約となりうるからである。以下、実施の形態2と重複する説明は適宜省略する。
【0064】
図11は、実施の形態3にかかる画像再生制御装置300の内部構成を模式的に示した図である。画像再生制御装置300は、ファイル分割部58、通常フレームレートストリーム復号部68、および要約生成部76を含む。要約生成部76はさらに、フレーム分割部62とフレーム合成部72とを含む。
【0065】
通常フレームレートストリーム復号部68は、ファイル分割部58が分割した構成要素のうち、通常フレームレートストリームを復号する。要約生成部76は、関連情報30を参照して、通常フレームレートストリーム復号部68が生成した通常のフレームレートのフレーム群から要約を生成する。具体的には、要約生成部76内のフレーム分割部62は、関連情報30を参照して、通常のフレームレートのフレーム群のうち高速撮影された期間のフレームのみを分割して取り出す。要約生成部76内のフレーム合成部72は、フレーム分割部62が分割したフレームを合成して連結し、ひとつの通常フレームレートフレーム群を生成する。表示部66は、フレーム合成部72が生成したフレーム群を表示する。
【0066】
以下、実施の形態3の動作を図10の例を用いて説明する。通常フレームレートストリーム復号部68は、ファイル分割部58が分割した通常フレームレートストリーム24を復号して60fpsのフレーム群を生成する。フレーム分割部62は、ファイル分割部58が分割した構成要素のうちの関連情報30を参照し、60fpsのフレーム群を、時刻T6から時刻T7までの60fpsのフレーム群第1パート、時刻T8から時刻T9までのに60fpsのフレーム群第2パート、時刻T10から時刻T11までの60fpsのフレーム群第3パートの3つの部分に分割する。フレーム合成部72は、フレーム分割部62が分割したフレームを合成して連結し、ひとつの通常フレームレートフレーム群を生成する。
【0067】
図12は、図10の例において、実施の形態2にかかるフレーム合成部72が生成する240fpsの合成されたフレーム群と、実施の形態3に係るフレーム合成部72が生成する60fpsの合成されたフレーム群との関係を示した図である。240fpsのフレーム群が撮像された期間に撮像された、60fpsのフレーム群のみが切り出され、ひとつの通常フレームレートフレーム群となっている。したがって、実施の形態2の場合と同様に、実施の形態3に係るフレーム合成部72が生成したフレーム群を再生すると、時刻T6から時刻T7間での映像が通常のフレームレートで再生された直後、時刻T8から時刻T9までの映像が通常のフレームレートで再生されることになる。また、時刻T8から時刻T9間での映像が通常のフレームレートで再生された直後、時刻T10からT11までの映像が通常のフレームレートで再生される。
【0068】
以上、実施の形態3によれば、高速撮影モードで撮影された重要なシーンのみを要約として、通常フレームレートの映像でユーザに提供することが可能となる。実施の形態2の場合と異なり、要約となる映像は通常のフレームレートで再生されるため、高フレームレートで再生する場合と比較して再生に時間がかからず、要約全体を素早く鑑賞することができる。
【0069】
(実施の形態4)
実施の形態4の概要を述べる。実施の形態4は、通常の撮影モードで撮影されたストリームと高速撮影モードで撮影されたストリームとの複数のストリームを含む動画ファイルを再生するに際し、高速撮影モードで撮影された期間のストリームのみを要約として再生するが、再生するストリームは通常の撮影モードで撮影されたストリームと高速撮影モードで撮影されたストリームとを自由に切り替えることができる。高速撮影モードで撮影された映像は重要なシーンであることが多く、映像全体の要約とすることができる。以下、実施の形態2または実施の形態3と重複する説明は適宜省略する。
【0070】
図13は、実施の形態4にかかる画像再生制御装置300の内部構成を模式的に示した図である。画像再生制御装置300は、ファイル分割部58、画像復号部60、および要約生成部76を含む。画像復号部60はさらに、通常フレームレートストリーム復号部68と高フレームレートストリーム復号部70を含む。また、要約生成部76はさらに、フレーム分割部62、フレーム選択部64、およびフレーム制御部74を含む。
【0071】
フレーム制御部74は、図示しないユーザインタフェースを介してユーザから表示部66に再生すべき映像の種類を受け取る。映像の種類とは、通常の撮影モードで撮影されたストリームまたは高速撮影モードで撮影されたストリームのいずれかである。フレーム選択部64は、フレーム制御部74から再生すべき映像の種類を受け取り、その情報に基づいて通常フレームレートストリーム復号部68が生成した通常のフレームレートのフレームか、あるいは高フレームレートストリーム復号部70が生成した通常よりも高いフレームレートのフレームを選択する。表示部66は、フレーム選択部64が選択したフレームを表示する。
【0072】
図14は、高フレームレートストリームに含まれる240fpsのフレーム群と、高フレームレートストリームに含まれる240fpsのフレーム群に対応する60fpsのフレーム群を分割した様子を例示した図である。以下、実施の形態4の動作を図14を用いて説明する。
【0073】
本例では、フレーム制御部74は、ユーザから要約となる映像を240fpsのフレームレートで再生すべき旨の指示を受け取る。フレーム選択部64は、ユーザからの指示にしたがい、時刻T6から始まる高フレームレートストリーム復号部70が生成した240fpsのフレームレートのフレームを選択する。フレーム選択部64は、時刻T7における240fpsのフレームレートのフレームを選択した後は、時刻T8における240fpsのフレームレートのフレームを選択する。
【0074】
フレーム選択部64が時刻T12における240fpsのフレームレートのフレームを選択した時点で、フレーム制御部74は、ユーザから要約となる映像を通常のフレームレートで再生すべき旨の指示を受け取る。その後、フレーム選択部64はユーザからの指示にしたがい、時刻T12における60fpsのフレームレートのフレームを選択するようになる。時刻T9における60fpsのフレームレートのフレームを選択した後は、フレーム選択部64は、時刻T9から時刻T10におけるフレームを飛ばし、時刻T10における60fpsのフレームレートのフレームを選択する。時刻T11における60fpsのフレームレートのフレームを選択した時点で対応する240fpsのフレームレートのフレームは終了するので、フレーム選択部64はフレーム選択を終了する。
【0075】
以上、実施の形態4によれば、ユーザが高速撮影モードで撮影した期間のシーンのみを要約として再生することが可能となる。実施の形態4では、要約となる映像のフレームレートを自由に変更でき、通常のフレームレートで再生しつつ特に重要なシーンは通常よりも高いフレームレートで鑑賞することができる。
【0076】
以上、実施の形態1ないし実施の形態4を説明した。これらの実施の形態の任意の組み合わせもまた本発明の実施の形態として有用である。例えば実施の形態1と、実施の形態2ないし実施の形態4とを組み合わせ、ファイル連結部32の出力した単一ファイルをファイル分割部58が受け取るようにすれば、これらの実施の形態の効果の和に加え、さらに、撮像から再生までを一貫してユーザに提供できるようになる点で有利である。
【0077】
以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【0078】
例えば、上記実施の形態1では、画像符号化部20が通常フレームレートフレーム符号化部36と高フレームレートフレーム符号化部38とのふたつ画像符号化部を含む場合について説明したが、いずれかの演算速度が十分速い場合には、ひとつの画像符号化部としてもよい。この場合、高速撮影モード時には通常のフレームレートの映像と高フレームレートの映像とを時分割で符号化することになる。回路の規模を小さくできることから、製造コストや消費電力を抑えられる点で有利である。
【0079】
また、上記実施の形態1では、通常フレームレートフレーム符号化部36と高フレームレートフレーム符号化部38とはそれぞれ独立して演算する場合を想定したが、演算結果を共有できるようにしてもよい。例えば、高フレームレートフレーム符号化部38が計算した4枚分のフレームの動きベクトルを合成すれば、通常フレームレートフレーム符号化部36で計算すべき1枚分の動きベクトルとなる。この結果を共有することにより、全体として演算時間と消費電力とを抑えられる点で有利である。
【0080】
また、上記実施の形態1では、チャプタ52を関連情報30として記録する場合について説明したが、ストリームに埋め込むチャプタ52自体に、対応する高フレームレートの映像の情報を持たせてもよい。この場合、上述の例ではチャプタ52aに第1高フレームレートフレーム群42の開始を、チャプタ52bに第1高フレームレートフレーム群42の終了を情報として記録することになる。また上述の例では、チャプタ52aとチャプタ52bとをもって第1高フレームレートフレーム群42の関連情報30として説明したが、チャプタ52aと第1高フレームレートフレーム群42のフレーム数や時間等を関連情報30とすることもできる。
【0081】
また、上記実施の形態1では、フレーム生成部14が常時240fpsのフレームを生成する場合について説明したが、通常は60fpsの動画を生成し、高速撮影モードの場合のみ240fpsのフレームを生成するようにしてもよい。この場合、高速撮影モードではない場合のフレーム生成部14の演算量が減り、フレーム間引き部18の演算も不要となるため、消費電力を抑えられる点で有利である。また、フレームレートが低い場合にはセンサ10における受光量を多くすることができるため、ノイズを抑制する効果も得られる。
【0082】
また、上記実施の形態2では、ファイル分割部58が単一ファイルを構成要素に分割する場合について説明したが、構成要素は単一ファイルとしてまとまっておらず、複数のファイルとして点在していてもよい。この場合、ファイル分割部58に替えて図示しないファイル管理部が、点在する複数のファイルを関連づけることになる。これは例えば関連情報および異なるフレームレートで撮像された複数のストリームを同一フォルダに格納しておいたり、複数のファイルの命名規則を共通化したりすることで実現できる。
【0083】
上記実施の形態3では、高速撮影モードで撮影された期間における通常のフレームレートのストリームを切り出した後結合しひとつの合成フレーム群を生成する場合について説明したが、ひとつの合成フレーム群を生成することなくフレームを選択しつつ表示するようにしてもよい。この場合、実施の形態4フレーム選択部64に相当するフレーム選択部を導入することになる。フレームを合成する処理が省けるので、処理が高速となる点で有利である。
【0084】
また、実施の形態4では、画像復号部60が通常フレームレートストリーム復号部68と高フレームレートストリーム復号部70とのふたつ画像復号部を含む場合について説明したが、いずれかの演算速度が十分速い場合には、ひとつの画像復号部としてもよい。この場合、60fpsのフレーム群と240fpsのフレーム群とを時分割で復号することになる。回路の規模を小さくできることから、製造コストや消費電力を抑えられる点で有利である。
【符号の説明】
【0085】
30 関連情報、 58 ファイル分割部、 60 画像復号部、 62 フレーム分割部、 64 フレーム選択部、 66 表示部、 68 通常フレームレートストリーム復号部、 70 高フレームレートストリーム復号部、 72 フレーム合成部、 74 フレーム制御部、 76 要約生成部、 100 画像記録制御装置、 200 撮像装置、 300 画像再生制御装置。
【特許請求の範囲】
【請求項1】
通常のフレームレートのストリーム、前記通常のフレームレートのストリームに含まれる少なくとも一部のシーンに関しての通常よりも高いフレームレートのストリーム、および前記シーンを特定するための関連情報を含むファイルを受け取り、前記通常のフレームレートのストリーム、前記通常よりも高いフレームレートのストリーム、および前記関連情報に分割するファイル分割部と、
前記通常のフレームレートのストリームと前記通常よりも高いフレームレートのストリームとの少なくとも一方のストリームを復号して動画のフレームを生成する画像復号部と、
前記関連情報に基づいて、前記通常のフレームレートのストリームと前記通常よりも高いフレームレートのストリームとが共通して含む前記シーンに関する動画のフレームを動画の要約として生成する要約生成部とを含むことを特徴とする画像再生制御装置。
【請求項2】
前記画像復号部は、前記通常よりも高いフレームレートのストリームを復号して、通常よりも高いフレームレートの動画のフレームを出力する高フレームレートストリーム復号部を含み、
前記要約生成部は、前記通常のフレームレートのストリームと前記通常よりも高いフレームレートのストリームとが共通して含むシーンに関する、前記通常よりも高いフレームレートの動画のフレームを前記動画の要約として生成することを特徴とする請求項1に記載の装置。
【請求項3】
前記画像復号部は、前記通常のフレームレートのストリームを復号して、前記通常のフレームレートの動画のフレームを出力する通常フレームレートストリーム復号部を含み、
前記要約生成部は、前記シーンを特定するための関連情報に基づいて、前記通常のフレームレートの動画のフレームを前記共通して含むシーンに関するフレームに分割するフレーム分割部を含み、
前記要約生成部は、前記通常のフレームレートのストリームと前記通常よりも高いフレームレートのストリームとが共通して含む前記シーンに関する、前記フレーム分割部が分割した前記通常のフレームレートの動画のフレームを前記動画の要約として生成することを特徴とする請求項1に記載の装置。
【請求項4】
前記画像復号部は、前記通常よりも高いフレームレートのストリームを復号して、通常よりも高いフレームレートの動画のフレームを出力する高フレームレートストリーム復号部をさらに含み、
前記要約生成部は、再生すべき映像のフレームの情報に基づいて、前記フレーム分割部が分割した通常のフレームレートの動画のフレームと前記通常よりも高いフレームレートの動画のフレームとのいずれかのフレームを選択することを特徴とする請求項3に記載の装置。
【請求項5】
動画像を取得する撮像部と、
前記撮像部により撮像される動画像を符号化して、通常のフレームレートのストリームと通常よりも高いフレームレートのストリームとの、2種類のストリームを生成可能な画像符号化部と、
前記通常のフレームレートのストリームと当該ストリームの生成と並行して生成された前記通常よりも高いフレームレートのストリームとを関連づける関連情報を生成する制御部と、
請求項1から4のいずれかに記載の画像再生制御装置と、
前記画像再生制御装置により表示制御される表示装置とを含むことを特徴とする撮像装置。
【請求項6】
同一のシーンに関する通常のフレームレートのストリームと、通常よりも高いフレームレートのストリームとが同時に存在するときに、前記同一のシーンを特定する関連情報に基づいて、前記同一のシーンに関するストリームのみを再生をすることを特徴とする画像再生制御方法。
【請求項1】
通常のフレームレートのストリーム、前記通常のフレームレートのストリームに含まれる少なくとも一部のシーンに関しての通常よりも高いフレームレートのストリーム、および前記シーンを特定するための関連情報を含むファイルを受け取り、前記通常のフレームレートのストリーム、前記通常よりも高いフレームレートのストリーム、および前記関連情報に分割するファイル分割部と、
前記通常のフレームレートのストリームと前記通常よりも高いフレームレートのストリームとの少なくとも一方のストリームを復号して動画のフレームを生成する画像復号部と、
前記関連情報に基づいて、前記通常のフレームレートのストリームと前記通常よりも高いフレームレートのストリームとが共通して含む前記シーンに関する動画のフレームを動画の要約として生成する要約生成部とを含むことを特徴とする画像再生制御装置。
【請求項2】
前記画像復号部は、前記通常よりも高いフレームレートのストリームを復号して、通常よりも高いフレームレートの動画のフレームを出力する高フレームレートストリーム復号部を含み、
前記要約生成部は、前記通常のフレームレートのストリームと前記通常よりも高いフレームレートのストリームとが共通して含むシーンに関する、前記通常よりも高いフレームレートの動画のフレームを前記動画の要約として生成することを特徴とする請求項1に記載の装置。
【請求項3】
前記画像復号部は、前記通常のフレームレートのストリームを復号して、前記通常のフレームレートの動画のフレームを出力する通常フレームレートストリーム復号部を含み、
前記要約生成部は、前記シーンを特定するための関連情報に基づいて、前記通常のフレームレートの動画のフレームを前記共通して含むシーンに関するフレームに分割するフレーム分割部を含み、
前記要約生成部は、前記通常のフレームレートのストリームと前記通常よりも高いフレームレートのストリームとが共通して含む前記シーンに関する、前記フレーム分割部が分割した前記通常のフレームレートの動画のフレームを前記動画の要約として生成することを特徴とする請求項1に記載の装置。
【請求項4】
前記画像復号部は、前記通常よりも高いフレームレートのストリームを復号して、通常よりも高いフレームレートの動画のフレームを出力する高フレームレートストリーム復号部をさらに含み、
前記要約生成部は、再生すべき映像のフレームの情報に基づいて、前記フレーム分割部が分割した通常のフレームレートの動画のフレームと前記通常よりも高いフレームレートの動画のフレームとのいずれかのフレームを選択することを特徴とする請求項3に記載の装置。
【請求項5】
動画像を取得する撮像部と、
前記撮像部により撮像される動画像を符号化して、通常のフレームレートのストリームと通常よりも高いフレームレートのストリームとの、2種類のストリームを生成可能な画像符号化部と、
前記通常のフレームレートのストリームと当該ストリームの生成と並行して生成された前記通常よりも高いフレームレートのストリームとを関連づける関連情報を生成する制御部と、
請求項1から4のいずれかに記載の画像再生制御装置と、
前記画像再生制御装置により表示制御される表示装置とを含むことを特徴とする撮像装置。
【請求項6】
同一のシーンに関する通常のフレームレートのストリームと、通常よりも高いフレームレートのストリームとが同時に存在するときに、前記同一のシーンを特定する関連情報に基づいて、前記同一のシーンに関するストリームのみを再生をすることを特徴とする画像再生制御方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【公開番号】特開2011−146846(P2011−146846A)
【公開日】平成23年7月28日(2011.7.28)
【国際特許分類】
【出願番号】特願2010−4849(P2010−4849)
【出願日】平成22年1月13日(2010.1.13)
【出願人】(000001889)三洋電機株式会社 (18,308)
【Fターム(参考)】
【公開日】平成23年7月28日(2011.7.28)
【国際特許分類】
【出願日】平成22年1月13日(2010.1.13)
【出願人】(000001889)三洋電機株式会社 (18,308)
【Fターム(参考)】
[ Back to top ]