記録再生装置
【課題】出力先が高速フレームレートに対応しているか否かに応じて、出力フレームレートおよび表示フレームレートの調整が可能な記録再生装置を提供する。
【解決手段】録画時のフレームレートは通常のテレビジョン装置で用いられているフレームレートよりも早い高速フレームレートで記録し、再生出力時に出力先のディスプレイの高速フレームレートの対応状況に応じて出力する画像のフレームレートを調整可能にする。このため高速フレームレート非対応のディスプレイとの接続時は、再生時に画像処理ＡＳＩＣ４上で２４０ｆｐｓから６０ｆｐｓへのフレームの間引きを行うことにより通常の６０ｆｐｓの動画として再生、出力する間引き再生モードを有している。さらに、２４０ｆｐｓの高速フレームレートで撮像され録画された画像を撮影時間の１／４の６０ｆｐｓで４秒間かけて出力する高精細モードを有している。
【解決手段】録画時のフレームレートは通常のテレビジョン装置で用いられているフレームレートよりも早い高速フレームレートで記録し、再生出力時に出力先のディスプレイの高速フレームレートの対応状況に応じて出力する画像のフレームレートを調整可能にする。このため高速フレームレート非対応のディスプレイとの接続時は、再生時に画像処理ＡＳＩＣ４上で２４０ｆｐｓから６０ｆｐｓへのフレームの間引きを行うことにより通常の６０ｆｐｓの動画として再生、出力する間引き再生モードを有している。さらに、２４０ｆｐｓの高速フレームレートで撮像され録画された画像を撮影時間の１／４の６０ｆｐｓで４秒間かけて出力する高精細モードを有している。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、高速フレームレート機能を活かした映像効果が得られる記録再生装置に関する。
【背景技術】
【０００２】
従来の記録再生装置においては、再生を行う際の出力先のディスプレイが高速フレームレート非対応の場合、スロー画像となり音声が追従せず、さらに操作方法が煩雑となるなどの問題点があり、主に産業、放送業界など使用される分野が限定される。
しかしながら、近年のＣＣＤからＣＭＯＳへの撮像素子のトレンドの変化や、放送のハイビジョン対応による撮像素子、撮像システムの高速化といった技術により民生用の撮像装置においても解像度を限定することで高速なフレームレートでの撮像環境が実現されている。
このような撮像環境において得られた映像を再生する記録再生装置として、高画質なスローモーション記録と通常記録とを切り替え可能にしたものがある（特許文献１参照）。
【特許文献１】特開２００１−２９２４０９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
このような従来の記録再生装置においては、出力先のディスプレイが高速フレームレートに対応しているか、あるいは通常速度フレームレートに対応しているかなどの、出力先のディスプレイの高速フレームレート対応環境に応じた出力画像の出力フレームレートの調整、および出力画像を出力先のディスプレイで表示する際の表示フレームレートの調整ができないという課題があった。
【０００４】
本発明は、このような事情に鑑みてなされたものであり、その目的は、出力先が高速フレームレートに対応しているか通常速度フレームレートに対応しているかに応じて、画像を出力する際の出力フレームレートの調整および画像を表示する際の表示フレームレートの調整が可能な記録再生装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上述の目的を達成するため、本発明にかかる記録再生装置は、高速フレームレートで録画された画像の再生出力時におけるフレームレートを調整可能にした記録再生装置であって、前記画像の再生出力先の高速フレームレート対応状況を判定する高速フレームレート対応状況判定手段と、前記高速フレームレート対応状況判定手段により判定した前記再生出力先の高速フレームレート対応状況と、前記高速フレームレートで録画された画像に対応して記録された当該画像の管理情報とをもとに、スローモーション再生を行う高精細モードと間引き通常再生を行う間引き再生モードとを切り替える再生モード切り替え手段とを備えたことを特徴とする。
【発明の効果】
【０００６】
本発明によれば、高速撮像の映像ソースを録画し、高速フレームレートに対応していない出力先において再生する際に、自動的にハイライトシーンをスローモーション化して表示できるなど、高速撮像の映像ソースを有効活用した映像が得られる記録再生装置を実現できる効果がある。
【発明を実施するための最良の形態】
【０００７】
（第１の実施の形態）
次の本発明の実施の形態について図面を参照して説明する。
図１は、本発明の第１の実施の形態の撮像装置の構成を示すブロック図である。
第１の実施の形態では、使用されるディスプレイが高速フレームレートに対応しているディスプレイへ移行するまでの過渡期に混在することになる高速フレームレート表示に対応したディスプレイと非対応なディスプレイ、ならびに撮影時の電力および記録媒体の容量への影響を考慮したものである。
【０００８】
第１の実施の形態の撮像装置は、録画レートの通常ＴＶレート（６０ｆｐｓ）と高速なフレームレート(ここでは例として４倍の２４０ｆｐｓ)の切り替えを記録時に行う。
第１の実施の形態の撮像装置は、イメージャー駆動ドライバ１、電子撮像素子２、ＡＦＥ（Ａ／Ｄコンバータ）３、画像・音声処理ＡＳＩＣ４、マイク５、アナログアンプ６、スピーカ７、メモリ８、パネル駆動ドライバ９、ＬＣＤパネル１０、操作部１１、バッテリ１２、電源管理ＩＣ１３、外部記録メディア１４、ＴＶ出力端子１５、記録媒体２１、プログラマブルＲＡＭ２２、角速度センサ２３、レンズ駆動ドライバ２４、レンズ２５およびシステムＭＰＵ２６を備えている。
イメージャー駆動ドライバ１は、例えばＣＭＯＳにより構成された電子撮像素子２を駆動するための回路である。
電子撮像素子２は、ＣＭＯＳにより構成された高速撮影の可能な撮像素子である。
ＡＦＥ３は、電子撮像素子２のアナログフロントエンド回路でありＡ／Ｄコンバータなどを備えている。
画像・音声処理ＡＳＩＣ４は、画像信号および音声信号を処理する特定用途向け集積回路である。
マイク５は音声を検出し電気信号へ変換し出力する。
アナログアンプ６は、マイク５から出力された電気信号を増幅する回路である。
スピーカ７はアナログアンプ６において増幅した電気信号を機械的信号へ変換し音声として出力する。
メモリ８は各種データを記憶する回路である。
パネル駆動ドライバ９は、画像・音声処理ＡＳＩＣ４により処理した画像信号をもとにＬＣＤパネル１０の各画素を駆動する回路である。
操作部１１は各種操作スイッチを備えている。
バッテリ１２は、この撮像装置の各部へ供給される電力を発生させる。
電源管理ＩＣ１３は、バッテリ１２の状態と負荷状態を検出し、この撮像装置の電源を管理する回路である。
外部記録メディア１４は、この撮像装置で撮像された映像を外部保存する記録装置である。
ＴＶ出力端子１５は、この撮像装置で撮像された映像や外部記録メディア１４に記録された映像を外部のディスプレイによりモニタするための出力端子である。
記録媒体２１は、この撮像装置に内蔵された記憶装置であり、撮像された映像や音声を保存する。
プログラマブルＲＡＭ２２は、この撮像装置で必要な各種ロジックを構成している。
角速度センサ２３は、この撮像装置における手ブレ防止機能を実現するためのセンサであり、撮像装置が動いたときの角速度を検出する。
レンズ駆動ドライバ２４は、レンズ駆動信号をもとにレンズ２５を駆動する回路である。
システムＭＰＵ２６は、この撮像装置の各部を制御するマイクロプロセッシングユニットである。
【０００９】
次に動作について説明する。
システムＭＰＵ２６は、動画撮影時、パネル駆動ドライバ９に対して高速なフレームレートに対応した駆動パルスを送り、電子撮像素子２を高速モードで駆動する。
ＡＦＥ３、画像・音声処理ＡＳＩＣ４も高速対応の駆動で信号をディジタル変換し、電子撮像素子２からの信号に対し色処理、各ノイズ、レンズ補正処理といった処理を行い、高速レートのまま圧縮処理をかけ、システムＭＰＵ２６を介して外部メディア１４に記録する。その際マイク５から入力される音声はディジタルサンプリングが施された後、圧縮され、高速フレームレートの動画に同期して記録される。
通常レートの撮影時は電子撮像素子２の消費電力等も考慮し、駆動パルスの周波数そのものを下げ通常モードで駆動する。
画像は時間方向の詳細さは失われるが、撮影される動画もすべてフレームレートが下がるため消費電力、記録媒体の容量への負担が少ないなどのメリットが生じる。
なお、２つの駆動モードの切り替え時に露光時間が異なるが画像・音声処理ＡＳＩＣ４にてゲインを調整することで同じ露光で録画される。
【００１０】
従来のＴＶや機器に備わったＬＣＤパネル等では６０ｆｐｓまでの再生しか対応していない。このようなディスプレイでは図１に示す撮像装置から２４０ｆｐｓの動画を出力しても表示することはできない。
これに対しディスプレイ側が高速フレームレートに対応可能な場合は、撮像装置から２４０ｆｐｓの映像を出力し、リアルタイムですべての画像を表示することが可能である。
したがって、従来の高速フレームレート非対応のＴＶに対しては、撮像装置側で備えている高速フレームレートの撮像機能の用途として、例えば１秒の画像（２４０枚）を撮影時間の１／４の６０ｆｐｓで４秒間かけて出力する詳細再生モードを持つことによりなめらかで高精細なスロー再生をすることが可能となるが、前述の通り撮像装置における電力、媒体容量の都合上、通常撮影すべてを高速フレームレートで撮影することは現実的ではない。
【００１１】
そこで第１の実施の形態の撮像装置は、撮影時に撮像装置側で得られる情報をもとにハイライトシーンを判別するためのイベントの発生を検出するイベント検出手段と、前記検出したイベントをもとに自動でハイライトシーンを判別し、撮影フレームレートを動的に切り替えることで撮影フレームレートの切り替え操作に要する手間を省き、消費電力と媒体容量を節約しつつ、ハイライトシーンのスローモーション映像効果を自動的に作成できるようにする撮影フレームレート切り替え手段を備える。
なお、これらイベント検出手段および撮影フレームレート切り替え手段はシステムＭＰＵ２６により実現されている。
図２は、この撮像装置において撮影した映像を録画する録画モードでの高速フレームレートによる撮影と通常速度フレームレートによる撮影の切り替え動作を示すフローチャートである。
図２のフローチャートに示すように、高速フレームレートで駆動するモードであるか否かを判定し（ステップＳ１）、高速フレームレートモードが選択されていれば２４０ｆｐｓでの高速フレームレートによる撮影を行う（ステップＳ３）。また、非高速フレームレートモード、つまり通常速度フレームレートが選択されていれば６０ｆｐｓでの通常速度フレームレートによる撮影を行う（ステップＳ２）。
この録画モードでは録画時の撮像機器の情況に応じ撮像する際のフレームレートの切り替えが自動的に行われる。この場合、録画時に入力された画像、手ブレ補正用のセンサ（ここでは角速度センサ２３）出力、機器の操作情況、マイク等からの入力される信号を含む、撮影時の撮像装置側で得られる情報をもとにハイライトシーンを判別するためのイベントの発生を検出し、撮影する際のフレームレートの切り替えを自動的に行う。
録画時に入力された画像とは、例えば画像処理ＡＳＩＣにて前後のフレームのＲＧＢ情報から差分演算を行うことにより、前後の変化が大きいか否かの判定をあらかじめ定められた閾値との比較をすることにより行う。その結果、機器側にて閾値よりも差分画像が大きい場合ハイライトシーンとして高速フレームレートにて撮影する。
その際入力画像以外に手ブレ補正用のセンサ（ここでは角速度センサ２３）やズームレンズ等の駆動情況を用いてパン・チルト、ズーム操作等の撮影者の操作による画像変化をシーンチェンジのトリガとして、上記ハイライトシーンから切り分けることによりハイライトシーンの認識率向上を図る。これによりユーザは意識することなく再生時に動きの激しい部分をハイライトとしてスローモーション観賞することが可能である。
【００１２】
図３は、このような動きの激しい部分をハイライトシーンとしてスローモーション観賞できる撮像装置の録画動作を示すフローチャートである。
図３に示すフローチャートは、図２のフローチャートに示すステップＳ１の高速フレームレートモードであるか否かの判定処理の詳細を示している。
図３に示すフローチャートによれば、先ずズームレンズ等の駆動情況を判定しズーム（ＺＯＯＭ）作動中であるか否かを判定する（ステップＳ１２）。そして、ズーム作動中であれば、通常速度フレームレートによる撮影を選択する（ステップＳ１６）。
ステップＳ１２においてズーム作動中でなければ、次に角速度センサ２３の出力をもとにこの撮像装置に加えられている角速度の大きさが大きいか否かを、例えば予め設定されている閾値をもとに判定する（ステップＳ１３）。この結果、角速度センサ２３により検出された角速度の大きさが大きい場合には、通常速度フレームレートによる撮影を選択する（ステップＳ１６）。
ステップＳ１３において角速度の大きさが小さいと判定した場合には、次に画像処理ＡＳＩＣにて前後のフレームのＲＧＢ情報から差分演算を行うことにより、前後の変化が小さいか否かの判定をあらかじめ定められた閾値との比較をすることにより行う（ステップＳ１４）。その結果、撮像装置側において閾値よりも差分画像が小さい場合には通常速度フレームレートによる撮影を選択する（ステップＳ１６）。
ステップＳ１４において閾値よりも差分画像が大きい場合にはハイライトシーンとして高速フレームレートにて撮影する（ステップＳ１５）。
【００１３】
また、上記条件と合わせて例えば音声用のマイクレベルの入力をトリガとして（例えば音声認識をトリガとする）一定時間高速フレームにて撮像することにより、例えば運動会等のレースシーンにおいてスタートシーンをハイライト化することが可能である。
また通常の操作釦に合わせて高速フレームレートフラグの設定を行うことにより、例えば録画開始のレリーズ釦の長押しをトリガとしてフラグをオンすることにより通常撮影動作の延長で高速フレームレート撮影することが可能である。
【００１４】
図４は、第１の実施の形態の撮像装置における録画フレームと再生フレームとの関係を示す説明図である。
図４（ａ）は、モニタするディスプレイが高速フレームレートに対応していないとき通常シーンについて記録する際のフレームと再生するフレームとの関係を示している。つまり、モニタするディスプレイが高速フレームレートに対応しておらず、また録画するシーンが通常シーンであることから、録画するフレームは、１／６０秒間隔で撮像装置が通常速度フレームレートで撮影したフレーム番号〔０，４，８，１２……〕の映像である。そして、再生する映像については、前記録画したフレーム番号〔０，４，８，１２……〕のフレームを１／６０秒間隔で再生した映像である。
図４（ｂ）は、モニタするディスプレイが高速フレームレートに対応していないときのハイライトシーンについて記録する際のフレームと再生するフレームとの関係を示している。
つまり、録画するシーンがハイライトシーンであることから、録画するフレームは、１／２４０秒間隔で撮像装置が高速フレームレートで撮影したフレーム番号〔０，１，２，３，４，５，６，７，８……〕の映像である。そして、再生する映像については、モニタするディスプレイが高速フレームレートに対応していないため、前記録画したフレーム番号〔０，１，２，３，４，５，６，７，８……〕のフレームを１／６０秒間隔で再生した映像である。
【００１５】
また第１の実施の形態で撮影したフレームレートの混在する映像の高速フレームレートに対応したディスプレイ向けの用途として別に２４０ｆｐｓの高精細モードを設ける。
この高精細モードにおいては撮像装置は通常撮影のデータ（ここでは６０ｆｐｓ）出力時には４枚連続して同じフレームを出力し、高速フレームレートの動画についてはそのまま出力することでハイライトシーンは時間軸方向で詳細に出力可能となり動きボケなどを防止できる高精細な画像が得られる。
図５は、この高精細な画像が得られる高精細モードとハイライトシーン強調スローモードの切り替え動作を示すフローチャートである。
ハイライトシーン強調スローモードは、出力先のディスプレイが高速フレームレートに対応していないとき、ハイライトシーンが１／６０秒間隔のフレームによりスローモーションで強調された映像が再生出力される。
図５に示すフローチャートによれば、先ず映像の出力先のディスプレイが高速フレームレートに対応しているか否かを判定する（ステップＳ２２）。この判定は、例えばユーザが出力先のディスプレイが高速フレームレートに対応しているか否かを判断し、操作部１１を介して入力する。この結果、ステップＳ２２において出力先のディスプレイが高速フレームレートに対応していると判定したときには前記高精細モードへ移行する（ステップＳ２４）。一方、ステップＳ２２において高速フレームレートに対応していないと判定したときには前記ハイライトシーン強調スローモードへ移行し、ハイライトシーンが１／６０秒間隔のフレームによるスローモーションで強調された映像が再生出力される（ステップＳ２４）。
【００１６】
図６は、高精細モードにおける録画フレームと再生フレームとの関係を示す説明図である。
図６（ａ）に示すように、６０ｆｐｓで通常撮影した通常シーンの再生時には４枚連続して同じフレームを１／２４０秒間隔で出力する。このとき２枚目から４枚目のフレームは最初の１枚目のフレームと同一のダミーフレームである。
また、図６（ｂ）に示すように２４０ｆｐｓで高速撮影したハイライトシーンの再生時には、２４０ｆｐｓで録画されているハイライトシーンのフレームをそのまま出力する。
この結果、消費電力および記憶媒体へ記憶されるデータ量の抑制を実現しつつ、通常シーンおよびハイライトシーン共に、動きボケなどを防止できる高精細な画像が得られ、時間軸方向で詳細な映像を出力することが可能となる。
なおディスプレイが高速対応可能かどうかは前述したようにユーザ設定もしくはケーブル接続時に電気的もしくは制御信号で判断可能である。
【００１７】
図７は、６０ｆｐｓで通常撮影した映像と、２４０ｆｐｓで高速撮影した映像が混在して録画されるパーシャルフレームレート動画ファイル構造を示す説明図である。
図７に示すように、このパーシャルフレームレート動画ファイル構造では６０ｆｐｓで通常撮影した映像と、２４０ｆｐｓで高速撮影した映像が混在して録画される。
図８は、再生される映像をモニタするディスプレイが高速フレームレートに対応していないときの、パーシャルフレームレート動画ファイル構造により通常撮影または高速撮影された映像の録画フレームと再生フレームとの関係を示す説明図である。
図９は、再生される映像をモニタするディスプレイが高速フレームレートに対応しているときの、パーシャルフレームレート動画ファイル構造により通常撮影または高速撮影された映像の録画フレームと再生フレームとの関係を示す説明図である。
図８に示すように、６０ｆｐｓで通常撮影した映像と、２４０ｆｐｓで高速撮影した映像が混在して録画される。このとき、図３に示すような各種条件をトリガとして高速撮影されるタイミングが自動的に決定される。また、再生時には通常撮影した映像と高速撮影した映像とが混在している画像が１／６０秒間隔のフレームにより再生される。したがって、再生される映像をモニタするディスプレイが高速フレームレートに対応していないとき、再生される高速撮影した映像は時間的に４倍に引き延ばされたスローモーション映像となる。図３に示すような各種条件をトリガとして自動的に高速撮影されたハイライトシーンが再生時においては時間的に４倍に引き延ばされたスローモーション映像としてディスプレイに出力される。
また、再生される映像をモニタするディスプレイが高速フレームレートに対応しているときには、図９に示すように、６０ｆｐｓで通常撮影した映像は、再生時にはダミーフレームにより４枚連続して同じフレームを１／２４０秒間隔で出力する。また、２４０ｆｐｓで高速撮影した映像については、録画されているフレームを１／２４０秒間隔でそのまま出力する。
【００１８】
以上説明したように、第１の実施の形態によれば、例えばズーム作動中でなければ、次に角速度センサ２３の出力をもとにこの撮像装置に加えられている角速度の大きさが大きいか否かを、予め設定されている閾値をもとに判定する。この結果、角速度センサ２３により検出された角速度が前記閾値より大きい場合には、通常速度フレームレートによる撮影を選択する。また、角速度の大きさが前記閾値より小さいと判定した場合には、次に画像処理ＡＳＩＣにて前後のフレームのＲＧＢ情報から差分演算を行うことにより、前記フレームの前後の変化が小さいか否かの判定をあらかじめ定められた閾値との比較をすることにより行う。その結果、撮像装置側において差分画像が前記閾値よりも小さい場合には通常速度フレームレートによる撮影を選択する。また、前記差分画像が前記閾値よりも大きい場合にはハイライトシーンとして高速フレームレートにて撮影する。
この結果、ハイライトシーンについてのみ高速フレームレートによる撮影が行われるため、消費電力と記憶媒体の容量が節約され、さらに撮影フレームレートの切り替え操作に要する手間が不要となる。
言い換えると、第１の実施の形態によれば、高速撮像と通常撮像の両方の記録が可能な撮像機器において詳細な画像が必要なハイライトシーンで自動的に撮影フレームレートを切り替えることが可能になる。この結果、消費電力と媒体の容量に負担をかけることなく少ない負荷で適所に高精細な動画撮影を実現できる撮像装置が得られる効果がある。
また、再生時に出力側のディスプレイに合わせて出力フレームレートの変換を行うことで、従来の高速フレームレートに対応していない低速なディスプレイに対しては再生時に高速フレームレートシーンをスロー化することが可能となり、映像効果として高速撮像データを有効活用できる。また、高速フレームレートに対応している高速表示可能なディスプレイに対しては通常速度フレームレートと高速フレームレートの混在する画像を時間方向に精細さを保ちつつリアルタイムに出力することが可能になる撮像装置が得られる効果がある。
【００１９】
（第２の実施の形態）
次に、本発明の第２の実施の形態の記録再生装置について説明する。
第２の実施の形態の記録再生装置は実施例１の撮像装置が備えている。したがって、図１のブロック図は第２の実施の形態の記録再生装置においても適用される。
第２の実施の形態では、今後過渡的に混在する高速フレームレート表示可能なディスプレイと高速フレームレートに対応していないディスプレイを考慮し、録画時のフレームレートは通常のテレビジョン装置で用いられているフレームレートよりも早い高速フレームレート（ここでは一例として４倍の２４０ｆｐｓ)で記録し、再生出力時に出力先のディスプレイの高速フレームレートの対応状況に応じて出力する画像のフレームレートを調整可能にする。
このため、画像の出力先の高速フレームレート対応状況を判定する高速フレームレート対応状況判定手段を備えている。また、前記高速フレームレート対応状況判定手段により判定した前記出力先の高速フレームレート対応状況と、前記高速フレームレートで録画された画像に対応して記録された当該画像の管理情報とをもとに、スローモーション再生を行う高精細モードと間引き通常再生を行う間引き再生モードとを切り替える再生モード切り替え手段を備えている。さらに、撮影中のハイライトシーンを判別する撮像装置側におけるイベントの発生を検出するイベント検出手段を備えている。これら高速フレームレート対応状況判定手段、再生モード切り替え手段、イベント検出手段はシステムＭＰＵ２６により実現されている。
【００２０】
第２の実施の形態の記録再生装置を備えた撮像装置は、図１に示すようにイメージャー駆動ドライバ１、電子撮像素子２、ＡＦＥ（Ａ／Ｄコンバータ）３、画像・音声処理ＡＳＩＣ４、マイク５、アナログアンプ６、スピーカ７、メモリ８、パネル駆動ドライバ９、ＬＣＤパネル１０、操作部１１、バッテリ１２、電源管理ＩＣ１３、外部記録メディア１４、ＴＶ出力端子１５、記録媒体２１、プログラマブルＲＡＭ２２、角速度センサ２３、レンズ駆動ドライバ２４、レンズ２５およびシステムＭＰＵ２６を備えている。
イメージャー駆動ドライバ１は、例えばＣＭＯＳにより構成された電子撮像素子２を駆動するためのドライバである。
電子撮像素子２は、ＣＭＯＳにより構成された高速撮影の可能な撮像素子である。
ＡＦＥ３は、電子撮像素子２のアナログフロントエンド回路でありＡ／Ｄコンバータなどを備えている。
画像・音声処理ＡＳＩＣ４は、画像信号および音声信号を処理する特定用途向け集積回路である。マイク５は音声を検出し電気信号へ変換し出力する。
アナログアンプ６は、マイク５から出力された電気信号を増幅する回路である。
スピーカ７はアナログアンプ６において増幅した電気信号を機械的振動へ変換し音として出力する。
メモリ８は各種データを記憶する回路である。
パネル駆動ドライバ９は、画像・音声処理ＡＳＩＣ４により処理した画像信号をもとにＬＣＤパネル１０の各画素を駆動する回路である。
操作部１１は各種操作スイッチを備えている。バッテリ１２は、この撮像装置の各部へ供給される電力を発生させる。
電源管理ＩＣ１３は、バッテリ１２の状態と負荷状態を検出し、この撮像装置の電源を管理する回路である。
外部記録メディア１４は、この撮像装置で撮像された映像を外部保存する記録装置である。
ＴＶ出力端子１５は、この撮像装置で撮像された映像や外部記録メディア１４に記録された映像をモニタするためのディスプレイへ出力する端子である。
記録媒体２１は、この撮像装置に内蔵された記憶装置であり、撮像された映像や音声を保存する。
プログラマブルＲＡＭ２２は、この撮像装置で必要な各種ロジックを構成している。
角速度センサ２３は、この撮像装置における手ブレ防止機能を実現するためのセンサであり、撮像装置が動いたときの角速度を検出する。
レンズ駆動ドライバ２４は、レンズ駆動信号をもとにレンズ２５を駆動する回路である。
システムＭＰＵ２６は、この撮像装置の各部を制御するマイクロプロセッシングユニットである。
【００２１】
次に動作について説明する。
動画撮影時、システムＭＰＵ２６はパネル駆動ドライバ９に対して高速なフレームレートに対応した駆動パルスを送り、電子撮像素子２を高速モードで駆動する。
ＡＦＥ３、画像・音声処理ＡＳＩＣ４も高速対応の駆動で信号をディジタル変換し、電子撮像素子２からの信号を色処理、各ノイズ、レンズ補正処理といった処理を行い、高速レートのまま圧縮処理をかけ、システムＭＰＵ２６を介して外部メディア１４に記録する。
その際マイク５から入力される音声はディジタルサンプリングが施された後、圧縮され、高速フレームレートの動画に同期して記録される。
【００２２】
図１０は、第２の実施の形態の記録再生装置において媒体記録されるファイルフォーマットの一例を示す説明図である。
図１０に示すように、ここでは映像情報３１や音声情報３２とは別に管理情報３３をメディアに記録する。なお図１０に示す例ではファイル単位で管理情報を持つように構成したが、これに限定されるものではない。
記録される管理情報には、日付やそれ以外の撮像装置側の情報などが記録される。第２の実施の形態の特徴として、再生時のフレームレート切り替え情報が管理情報３３として映像の時間軸に関連して付記される。なお、ユーザは撮影時もしくは再生時に任意に前記管理情報３３のフレームレート切り替え情報（フラグ）を変更することが可能である。
従来のテレビジョン装置や機器に備わったＬＣＤパネル等のディスプレイでは６０ｆｐｓまでの再生しか対応していないため、図１に示す撮像装置の記録再生装置から２４０ｆｐｓのフレームレートで動画を出力しても表示することはできない。ディスプレイ側が高速フレームレートに対応可能な場合は図１に示す撮像装置の記録再生装置から２４０ｆｐｓの映像を出力しリアルタイムですべての画像を表示することが可能である。
そこで第２の実施の形態では高速フレームレートに対応したディスプレイ向けの機能として２４０ｆｐｓの高速出力を可能とする機能を有している。
しかし、従来の６０ｆｐｓまでのディスプレイとの接続時は、相手のディスプレイにおいて２４０ｆｐｓの対応ができないためすべてのフレーム表示用として再生時に画像処理ＡＳＩＣ４上で２４０ｆｐｓから６０ｆｐｓへのフレームの間引きを行うことにより通常の６０ｆｐｓの動画として再生、出力する間引き再生モードを有している。これに加え、例えば２４０ｆｐｓの高速フレームレートで撮像され録画された画像（２４０枚）を撮影時間の１／４の６０ｆｐｓで４秒間かけて出力することによりなめらかで高精細なスローモーション再生を可能にする高精細モードを有している。
【００２３】
図１１は、このような高速表示に対応していないディスプレイへの出力モードの詳細を示す説明図である。
図１２は、出力先が高速フレームレートに対応したディスプレイであるか否かに応じた、再生時のマニュアル操作によるフレームレートの選択動作を示すフローチャートである。
第２の実施の形態では、図１２のフローチャートに示すように、再生モードが選択されると（ステップＳ５１）、出力先が２４０ｆｐｓ対応ディスプレイであるか、あるいは２４０ｆｐｓ非対応ディスプレイであるかに応じたマニュアル操作により出力モードが選択可能である（ステップＳ５２）。すなわち、このマニュアル操作の結果、出力先が２４０ｆｐｓ対応ディスプレイであるときには、高速フレームレートに対応した２４０ｆｐｓの高速フレームレートでの出力を行うことが可能である（ステップＳ５４）。
また、２４０ｆｐｓ非対応ディスプレイである場合には、さらにマニュアル操作により設定された高速フレームレート出力フラグのオン、オフに応じて（ステップＳ５３）、高速フレームレート出力フラグがオフのとき、画像処理ＡＳＩＣ４上で２４０ｆｐｓから６０ｆｐｓへの間引きを行うことにより通常の６０ｆｐｓの動画として再生、出力する間引き再生モードが選択される（ステップＳ５６）。また、前記高速フレームレート出力フラグがオンのとき、例えば１秒間の画像（２４０枚）を撮影時間の１／４の６０ｆｐｓにて４秒間かけてスローモーション映像として出力する高精細モードが選択され、なめらかで高精細なスロー再生を行う（ステップＳ５５）。
【００２４】
さらに、第２の実施の形態ではマニュアルによるフレームレートの切り替え機能の他に、従来ディスプレイ向けの臨場感を高めるモードとしてユーザの付記した動画上の高速フレームレート切り替えフラグ情報などの管理情報３３をもとに自動でスローモーション再生を行う高精細モードと間引き通常再生を行う間引き再生モードとを切り替える。これにより、簡単に時間軸方向に精細感のあるスローモーション映像効果として楽しむことができる。
図１３は、出力先の高速フレームレート対応状況に応じたフラグにより６０ｆｐｓ出力の再生モードが自動判別されたときの、管理情報３３の高速フレームレート切り替え情報をもとに自動的に行われる前記高精細モードと前記間引き再生モードとの切り替え動作を示すフローチャートである。
この高精細モードと間引き再生モードとの自動切り替えにおいては、６０ｆｐｓ出力の再生モードがフラグにより自動判別されて選択されると（ステップＳ６１）、再生フレーム毎に前述の管理情報３３から高速フレームレート切り替え情報のフラグを参照し（ステップＳ６２）、このフラグに応じて出力画像の間引きのオン／オフの切り替え、または前記スローモーション再生処理を再生時にリアルタイムで行う（ステップＳ６３、ステップＳ６４）。
【００２５】
また、第２の実施の形態では録画時の撮像装置の状況に応じて自動で高速フレームレートのフラグの切り替えを行う高速フレームレート切り替えフラグ自動生成モードも選択可能である。
図１４は、この高速フレームレート切り替えフラグ自動生成モードの動作を示すフローチャートである。
図１４のフローチャートに示すように、録画時にこの高速フレームレート切り替えフラグ自動生成モードが選択された場合（ステップＳ７１）、入力された画像および手ブレ補正用のセンサ（ここでは角速度センサ２３）（ステップＳ７３）や、機器の操作情況（ステップＳ７２、ステップＳ７４）、マイク５等からの入力される信号をもとに高速フレームレート切り替えフラグの自動生成を行う（ステップＳ７５、Ｓ７６）。
この高速フレームレート切り替えフラグは管理情報３３として図１０に示す映像記録データ３１、音声記録データ３２と対応して記録される。
例えば、図１４のステップ７５に示すように、画像・音声処理ＡＳＩＣ４にて前後のフレームの差分演算を行うことにより、前後の変化の大きさをあらかじめ定められた閾値と比較をすることによって撮像装置側にてスロー出力がより効果的となるハイライトシーンとして高速フレームレート切り替えフラグをオンにする。
その際入力画像以外に手ブレ補正用のセンサ（ここでは角速度センサ２３）やズームレンズの駆動情況を用いてパン・チルト、ズーム操作等の撮影者の操作による画像変化をシーンチェンジとして、上記ハイライトシーンから切り分けることにより認識率向上を図ることが可能である。これによりユーザは意識することなく再生時に動きの激しい部分をハイライトシーンとしてスローモーションで観賞することが可能である。
【００２６】
また、上記した認識率向上を図るための各種条件と合わせて例えば音声用のマイクレベルの入力をトリガとして（例えば音声認識をトリガとすることも可能である）一定時間高速フレームレートをオンにする設定を行うことにより、例えば運動会等のレースシーンにおいてスタートシーンをハイライト化することが可能である。
また、通常の操作釦に合わせて高速フレームレートフラグの設定を行うことも可能であり、例えば録画開始のレリーズ釦の長押しをトリガとして高速フレームレート切り替えフラグをオンすることにより通常撮影動作の延長でハイライトシーンを設定することが可能である。
【００２７】
以上説明したように、第２の実施の形態によれば、例えば６０ｆｐｓまでの高速フレームレート非対応のディスプレイとの接続時は、相手のディスプレイにおいて２４０ｆｐｓの高速フレームレートに対応できないためすべてのフレーム表示用として再生時に画像処理ＡＳＩＣ４上で２４０ｆｐｓから６０ｆｐｓへのフレームの間引きを行うことにより通常の６０ｆｐｓの動画として再生、出力する間引き再生モードを有している。また、例えば２４０ｆｐｓの高速フレームレートで撮像され録画された画像（２４０枚）を撮影時間の１／４の６０ｆｐｓで４秒間かけて出力することによりなめらかで高精細なスローモーション再生を可能にする高精細モードを有している。この結果、高速フレームレートに対応していない出力先において再生する際に、自動的にハイライトシーンをスローモーション化して表示できるなど、高速撮像の映像ソースを有効活用できる。
言い換えると、第２の実施の形態によれば、高速撮像の映像ソースを録画し、高速表示が不可能なディスプレイにおいて再生する際にハイライトシーンをスローモーション化して表示することのできる記録再生装置が得られる効果がある。
また、マニュアルで高速なフレームレート出力を設定するとスローモーション再生を選ぶ手間が発生するが、録画時にユーザが従来の操作性の延長でハイライト部を指定することが可能である。
また、カメラの入力、操作情報から自動でハイライトシーンの検出を行い、管理情報に出力時のフレームレートの情報を記録することによって、再生時に特に設定しなくともハイライトシーンをなめらかにスローモーション再生することが可能になり、高速撮像の映像ソースを有効活用した映像が得られる記録再生装置を実現できる効果がある。
【図面の簡単な説明】
【００２８】
【図１】本発明の実施例１の撮像装置の構成を示すブロック図である。
【図２】本発明の実施例１の撮像装置における録画モードでの高速フレームレートによる撮影と通常速度フレームレートによる撮影の切り替え動作を示すフローチャートである。
【図３】本発明の実施例１のハイライトシーンとしてスロー観賞できる撮像装置の録画動作を示すフローチャートである。
【図４】ディスプレイが高速フレームレート非対応であるときの本発明の実施例１の撮像装置における録画フレームと再生フレームとの関係を示す説明図である。
【図５】本発明の実施例１の撮像装置における高精細モードとハイライトシーン強調スローモードの切り替え動作を示すフローチャートである。
【図６】ディスプレイが高速フレームレート対応であるときの本発明の実施例１の撮像装置における録画フレームと再生フレームとの関係を示す説明図である。
【図７】本発明の実施例１の撮像装置におけるパーシャルフレームレート動画ファイル構造を示す説明図である。
【図８】ディスプレイが高速フレームレートに対応していないときの、パーシャルフレームレート動画ファイル構造により通常撮影または高速撮影された映像の録画フレームと再生フレームとの関係を示す説明図である。
【図９】ディスプレイが高速フレームレートに対応しているときの、パーシャルフレームレート動画ファイル構造により通常撮影または高速撮影された映像の録画フレームと再生フレームとの関係を示す説明図である。
【図１０】本発明の第２の実施の形態の記録再生装置において媒体記録されるファイルフォーマットを示す説明図である。
【図１１】高速表示に対応していないディスプレイへの出力モードの詳細を示す説明図である。
【図１２】本発明の第２の実施の形態の記録再生装置における出力先が高速フレームレートに対応したディスプレイであるか否かに応じた出力モードの選択動作を示すフローチャートである。
【図１３】本発明の第２の実施の形態の記録再生装置において管理情報をもとに自動的に行われる高精細モードと間引き再生モードとの切り替え動作を示すフローチャートである。
【図１４】本発明の第２の実施の形態の記録再生装置における高速フレームレートフラグ自動生成モードの動作を示すフローチャートである。
【符号の説明】
【００２９】
２６……システムＭＰＵ（高速フレームレート対応状況判定手段、再生モード切り替え手段、イベント検出手段）。
【技術分野】
【０００１】
本発明は、高速フレームレート機能を活かした映像効果が得られる記録再生装置に関する。
【背景技術】
【０００２】
従来の記録再生装置においては、再生を行う際の出力先のディスプレイが高速フレームレート非対応の場合、スロー画像となり音声が追従せず、さらに操作方法が煩雑となるなどの問題点があり、主に産業、放送業界など使用される分野が限定される。
しかしながら、近年のＣＣＤからＣＭＯＳへの撮像素子のトレンドの変化や、放送のハイビジョン対応による撮像素子、撮像システムの高速化といった技術により民生用の撮像装置においても解像度を限定することで高速なフレームレートでの撮像環境が実現されている。
このような撮像環境において得られた映像を再生する記録再生装置として、高画質なスローモーション記録と通常記録とを切り替え可能にしたものがある（特許文献１参照）。
【特許文献１】特開２００１−２９２４０９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
このような従来の記録再生装置においては、出力先のディスプレイが高速フレームレートに対応しているか、あるいは通常速度フレームレートに対応しているかなどの、出力先のディスプレイの高速フレームレート対応環境に応じた出力画像の出力フレームレートの調整、および出力画像を出力先のディスプレイで表示する際の表示フレームレートの調整ができないという課題があった。
【０００４】
本発明は、このような事情に鑑みてなされたものであり、その目的は、出力先が高速フレームレートに対応しているか通常速度フレームレートに対応しているかに応じて、画像を出力する際の出力フレームレートの調整および画像を表示する際の表示フレームレートの調整が可能な記録再生装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上述の目的を達成するため、本発明にかかる記録再生装置は、高速フレームレートで録画された画像の再生出力時におけるフレームレートを調整可能にした記録再生装置であって、前記画像の再生出力先の高速フレームレート対応状況を判定する高速フレームレート対応状況判定手段と、前記高速フレームレート対応状況判定手段により判定した前記再生出力先の高速フレームレート対応状況と、前記高速フレームレートで録画された画像に対応して記録された当該画像の管理情報とをもとに、スローモーション再生を行う高精細モードと間引き通常再生を行う間引き再生モードとを切り替える再生モード切り替え手段とを備えたことを特徴とする。
【発明の効果】
【０００６】
本発明によれば、高速撮像の映像ソースを録画し、高速フレームレートに対応していない出力先において再生する際に、自動的にハイライトシーンをスローモーション化して表示できるなど、高速撮像の映像ソースを有効活用した映像が得られる記録再生装置を実現できる効果がある。
【発明を実施するための最良の形態】
【０００７】
（第１の実施の形態）
次の本発明の実施の形態について図面を参照して説明する。
図１は、本発明の第１の実施の形態の撮像装置の構成を示すブロック図である。
第１の実施の形態では、使用されるディスプレイが高速フレームレートに対応しているディスプレイへ移行するまでの過渡期に混在することになる高速フレームレート表示に対応したディスプレイと非対応なディスプレイ、ならびに撮影時の電力および記録媒体の容量への影響を考慮したものである。
【０００８】
第１の実施の形態の撮像装置は、録画レートの通常ＴＶレート（６０ｆｐｓ）と高速なフレームレート(ここでは例として４倍の２４０ｆｐｓ)の切り替えを記録時に行う。
第１の実施の形態の撮像装置は、イメージャー駆動ドライバ１、電子撮像素子２、ＡＦＥ（Ａ／Ｄコンバータ）３、画像・音声処理ＡＳＩＣ４、マイク５、アナログアンプ６、スピーカ７、メモリ８、パネル駆動ドライバ９、ＬＣＤパネル１０、操作部１１、バッテリ１２、電源管理ＩＣ１３、外部記録メディア１４、ＴＶ出力端子１５、記録媒体２１、プログラマブルＲＡＭ２２、角速度センサ２３、レンズ駆動ドライバ２４、レンズ２５およびシステムＭＰＵ２６を備えている。
イメージャー駆動ドライバ１は、例えばＣＭＯＳにより構成された電子撮像素子２を駆動するための回路である。
電子撮像素子２は、ＣＭＯＳにより構成された高速撮影の可能な撮像素子である。
ＡＦＥ３は、電子撮像素子２のアナログフロントエンド回路でありＡ／Ｄコンバータなどを備えている。
画像・音声処理ＡＳＩＣ４は、画像信号および音声信号を処理する特定用途向け集積回路である。
マイク５は音声を検出し電気信号へ変換し出力する。
アナログアンプ６は、マイク５から出力された電気信号を増幅する回路である。
スピーカ７はアナログアンプ６において増幅した電気信号を機械的信号へ変換し音声として出力する。
メモリ８は各種データを記憶する回路である。
パネル駆動ドライバ９は、画像・音声処理ＡＳＩＣ４により処理した画像信号をもとにＬＣＤパネル１０の各画素を駆動する回路である。
操作部１１は各種操作スイッチを備えている。
バッテリ１２は、この撮像装置の各部へ供給される電力を発生させる。
電源管理ＩＣ１３は、バッテリ１２の状態と負荷状態を検出し、この撮像装置の電源を管理する回路である。
外部記録メディア１４は、この撮像装置で撮像された映像を外部保存する記録装置である。
ＴＶ出力端子１５は、この撮像装置で撮像された映像や外部記録メディア１４に記録された映像を外部のディスプレイによりモニタするための出力端子である。
記録媒体２１は、この撮像装置に内蔵された記憶装置であり、撮像された映像や音声を保存する。
プログラマブルＲＡＭ２２は、この撮像装置で必要な各種ロジックを構成している。
角速度センサ２３は、この撮像装置における手ブレ防止機能を実現するためのセンサであり、撮像装置が動いたときの角速度を検出する。
レンズ駆動ドライバ２４は、レンズ駆動信号をもとにレンズ２５を駆動する回路である。
システムＭＰＵ２６は、この撮像装置の各部を制御するマイクロプロセッシングユニットである。
【０００９】
次に動作について説明する。
システムＭＰＵ２６は、動画撮影時、パネル駆動ドライバ９に対して高速なフレームレートに対応した駆動パルスを送り、電子撮像素子２を高速モードで駆動する。
ＡＦＥ３、画像・音声処理ＡＳＩＣ４も高速対応の駆動で信号をディジタル変換し、電子撮像素子２からの信号に対し色処理、各ノイズ、レンズ補正処理といった処理を行い、高速レートのまま圧縮処理をかけ、システムＭＰＵ２６を介して外部メディア１４に記録する。その際マイク５から入力される音声はディジタルサンプリングが施された後、圧縮され、高速フレームレートの動画に同期して記録される。
通常レートの撮影時は電子撮像素子２の消費電力等も考慮し、駆動パルスの周波数そのものを下げ通常モードで駆動する。
画像は時間方向の詳細さは失われるが、撮影される動画もすべてフレームレートが下がるため消費電力、記録媒体の容量への負担が少ないなどのメリットが生じる。
なお、２つの駆動モードの切り替え時に露光時間が異なるが画像・音声処理ＡＳＩＣ４にてゲインを調整することで同じ露光で録画される。
【００１０】
従来のＴＶや機器に備わったＬＣＤパネル等では６０ｆｐｓまでの再生しか対応していない。このようなディスプレイでは図１に示す撮像装置から２４０ｆｐｓの動画を出力しても表示することはできない。
これに対しディスプレイ側が高速フレームレートに対応可能な場合は、撮像装置から２４０ｆｐｓの映像を出力し、リアルタイムですべての画像を表示することが可能である。
したがって、従来の高速フレームレート非対応のＴＶに対しては、撮像装置側で備えている高速フレームレートの撮像機能の用途として、例えば１秒の画像（２４０枚）を撮影時間の１／４の６０ｆｐｓで４秒間かけて出力する詳細再生モードを持つことによりなめらかで高精細なスロー再生をすることが可能となるが、前述の通り撮像装置における電力、媒体容量の都合上、通常撮影すべてを高速フレームレートで撮影することは現実的ではない。
【００１１】
そこで第１の実施の形態の撮像装置は、撮影時に撮像装置側で得られる情報をもとにハイライトシーンを判別するためのイベントの発生を検出するイベント検出手段と、前記検出したイベントをもとに自動でハイライトシーンを判別し、撮影フレームレートを動的に切り替えることで撮影フレームレートの切り替え操作に要する手間を省き、消費電力と媒体容量を節約しつつ、ハイライトシーンのスローモーション映像効果を自動的に作成できるようにする撮影フレームレート切り替え手段を備える。
なお、これらイベント検出手段および撮影フレームレート切り替え手段はシステムＭＰＵ２６により実現されている。
図２は、この撮像装置において撮影した映像を録画する録画モードでの高速フレームレートによる撮影と通常速度フレームレートによる撮影の切り替え動作を示すフローチャートである。
図２のフローチャートに示すように、高速フレームレートで駆動するモードであるか否かを判定し（ステップＳ１）、高速フレームレートモードが選択されていれば２４０ｆｐｓでの高速フレームレートによる撮影を行う（ステップＳ３）。また、非高速フレームレートモード、つまり通常速度フレームレートが選択されていれば６０ｆｐｓでの通常速度フレームレートによる撮影を行う（ステップＳ２）。
この録画モードでは録画時の撮像機器の情況に応じ撮像する際のフレームレートの切り替えが自動的に行われる。この場合、録画時に入力された画像、手ブレ補正用のセンサ（ここでは角速度センサ２３）出力、機器の操作情況、マイク等からの入力される信号を含む、撮影時の撮像装置側で得られる情報をもとにハイライトシーンを判別するためのイベントの発生を検出し、撮影する際のフレームレートの切り替えを自動的に行う。
録画時に入力された画像とは、例えば画像処理ＡＳＩＣにて前後のフレームのＲＧＢ情報から差分演算を行うことにより、前後の変化が大きいか否かの判定をあらかじめ定められた閾値との比較をすることにより行う。その結果、機器側にて閾値よりも差分画像が大きい場合ハイライトシーンとして高速フレームレートにて撮影する。
その際入力画像以外に手ブレ補正用のセンサ（ここでは角速度センサ２３）やズームレンズ等の駆動情況を用いてパン・チルト、ズーム操作等の撮影者の操作による画像変化をシーンチェンジのトリガとして、上記ハイライトシーンから切り分けることによりハイライトシーンの認識率向上を図る。これによりユーザは意識することなく再生時に動きの激しい部分をハイライトとしてスローモーション観賞することが可能である。
【００１２】
図３は、このような動きの激しい部分をハイライトシーンとしてスローモーション観賞できる撮像装置の録画動作を示すフローチャートである。
図３に示すフローチャートは、図２のフローチャートに示すステップＳ１の高速フレームレートモードであるか否かの判定処理の詳細を示している。
図３に示すフローチャートによれば、先ずズームレンズ等の駆動情況を判定しズーム（ＺＯＯＭ）作動中であるか否かを判定する（ステップＳ１２）。そして、ズーム作動中であれば、通常速度フレームレートによる撮影を選択する（ステップＳ１６）。
ステップＳ１２においてズーム作動中でなければ、次に角速度センサ２３の出力をもとにこの撮像装置に加えられている角速度の大きさが大きいか否かを、例えば予め設定されている閾値をもとに判定する（ステップＳ１３）。この結果、角速度センサ２３により検出された角速度の大きさが大きい場合には、通常速度フレームレートによる撮影を選択する（ステップＳ１６）。
ステップＳ１３において角速度の大きさが小さいと判定した場合には、次に画像処理ＡＳＩＣにて前後のフレームのＲＧＢ情報から差分演算を行うことにより、前後の変化が小さいか否かの判定をあらかじめ定められた閾値との比較をすることにより行う（ステップＳ１４）。その結果、撮像装置側において閾値よりも差分画像が小さい場合には通常速度フレームレートによる撮影を選択する（ステップＳ１６）。
ステップＳ１４において閾値よりも差分画像が大きい場合にはハイライトシーンとして高速フレームレートにて撮影する（ステップＳ１５）。
【００１３】
また、上記条件と合わせて例えば音声用のマイクレベルの入力をトリガとして（例えば音声認識をトリガとする）一定時間高速フレームにて撮像することにより、例えば運動会等のレースシーンにおいてスタートシーンをハイライト化することが可能である。
また通常の操作釦に合わせて高速フレームレートフラグの設定を行うことにより、例えば録画開始のレリーズ釦の長押しをトリガとしてフラグをオンすることにより通常撮影動作の延長で高速フレームレート撮影することが可能である。
【００１４】
図４は、第１の実施の形態の撮像装置における録画フレームと再生フレームとの関係を示す説明図である。
図４（ａ）は、モニタするディスプレイが高速フレームレートに対応していないとき通常シーンについて記録する際のフレームと再生するフレームとの関係を示している。つまり、モニタするディスプレイが高速フレームレートに対応しておらず、また録画するシーンが通常シーンであることから、録画するフレームは、１／６０秒間隔で撮像装置が通常速度フレームレートで撮影したフレーム番号〔０，４，８，１２……〕の映像である。そして、再生する映像については、前記録画したフレーム番号〔０，４，８，１２……〕のフレームを１／６０秒間隔で再生した映像である。
図４（ｂ）は、モニタするディスプレイが高速フレームレートに対応していないときのハイライトシーンについて記録する際のフレームと再生するフレームとの関係を示している。
つまり、録画するシーンがハイライトシーンであることから、録画するフレームは、１／２４０秒間隔で撮像装置が高速フレームレートで撮影したフレーム番号〔０，１，２，３，４，５，６，７，８……〕の映像である。そして、再生する映像については、モニタするディスプレイが高速フレームレートに対応していないため、前記録画したフレーム番号〔０，１，２，３，４，５，６，７，８……〕のフレームを１／６０秒間隔で再生した映像である。
【００１５】
また第１の実施の形態で撮影したフレームレートの混在する映像の高速フレームレートに対応したディスプレイ向けの用途として別に２４０ｆｐｓの高精細モードを設ける。
この高精細モードにおいては撮像装置は通常撮影のデータ（ここでは６０ｆｐｓ）出力時には４枚連続して同じフレームを出力し、高速フレームレートの動画についてはそのまま出力することでハイライトシーンは時間軸方向で詳細に出力可能となり動きボケなどを防止できる高精細な画像が得られる。
図５は、この高精細な画像が得られる高精細モードとハイライトシーン強調スローモードの切り替え動作を示すフローチャートである。
ハイライトシーン強調スローモードは、出力先のディスプレイが高速フレームレートに対応していないとき、ハイライトシーンが１／６０秒間隔のフレームによりスローモーションで強調された映像が再生出力される。
図５に示すフローチャートによれば、先ず映像の出力先のディスプレイが高速フレームレートに対応しているか否かを判定する（ステップＳ２２）。この判定は、例えばユーザが出力先のディスプレイが高速フレームレートに対応しているか否かを判断し、操作部１１を介して入力する。この結果、ステップＳ２２において出力先のディスプレイが高速フレームレートに対応していると判定したときには前記高精細モードへ移行する（ステップＳ２４）。一方、ステップＳ２２において高速フレームレートに対応していないと判定したときには前記ハイライトシーン強調スローモードへ移行し、ハイライトシーンが１／６０秒間隔のフレームによるスローモーションで強調された映像が再生出力される（ステップＳ２４）。
【００１６】
図６は、高精細モードにおける録画フレームと再生フレームとの関係を示す説明図である。
図６（ａ）に示すように、６０ｆｐｓで通常撮影した通常シーンの再生時には４枚連続して同じフレームを１／２４０秒間隔で出力する。このとき２枚目から４枚目のフレームは最初の１枚目のフレームと同一のダミーフレームである。
また、図６（ｂ）に示すように２４０ｆｐｓで高速撮影したハイライトシーンの再生時には、２４０ｆｐｓで録画されているハイライトシーンのフレームをそのまま出力する。
この結果、消費電力および記憶媒体へ記憶されるデータ量の抑制を実現しつつ、通常シーンおよびハイライトシーン共に、動きボケなどを防止できる高精細な画像が得られ、時間軸方向で詳細な映像を出力することが可能となる。
なおディスプレイが高速対応可能かどうかは前述したようにユーザ設定もしくはケーブル接続時に電気的もしくは制御信号で判断可能である。
【００１７】
図７は、６０ｆｐｓで通常撮影した映像と、２４０ｆｐｓで高速撮影した映像が混在して録画されるパーシャルフレームレート動画ファイル構造を示す説明図である。
図７に示すように、このパーシャルフレームレート動画ファイル構造では６０ｆｐｓで通常撮影した映像と、２４０ｆｐｓで高速撮影した映像が混在して録画される。
図８は、再生される映像をモニタするディスプレイが高速フレームレートに対応していないときの、パーシャルフレームレート動画ファイル構造により通常撮影または高速撮影された映像の録画フレームと再生フレームとの関係を示す説明図である。
図９は、再生される映像をモニタするディスプレイが高速フレームレートに対応しているときの、パーシャルフレームレート動画ファイル構造により通常撮影または高速撮影された映像の録画フレームと再生フレームとの関係を示す説明図である。
図８に示すように、６０ｆｐｓで通常撮影した映像と、２４０ｆｐｓで高速撮影した映像が混在して録画される。このとき、図３に示すような各種条件をトリガとして高速撮影されるタイミングが自動的に決定される。また、再生時には通常撮影した映像と高速撮影した映像とが混在している画像が１／６０秒間隔のフレームにより再生される。したがって、再生される映像をモニタするディスプレイが高速フレームレートに対応していないとき、再生される高速撮影した映像は時間的に４倍に引き延ばされたスローモーション映像となる。図３に示すような各種条件をトリガとして自動的に高速撮影されたハイライトシーンが再生時においては時間的に４倍に引き延ばされたスローモーション映像としてディスプレイに出力される。
また、再生される映像をモニタするディスプレイが高速フレームレートに対応しているときには、図９に示すように、６０ｆｐｓで通常撮影した映像は、再生時にはダミーフレームにより４枚連続して同じフレームを１／２４０秒間隔で出力する。また、２４０ｆｐｓで高速撮影した映像については、録画されているフレームを１／２４０秒間隔でそのまま出力する。
【００１８】
以上説明したように、第１の実施の形態によれば、例えばズーム作動中でなければ、次に角速度センサ２３の出力をもとにこの撮像装置に加えられている角速度の大きさが大きいか否かを、予め設定されている閾値をもとに判定する。この結果、角速度センサ２３により検出された角速度が前記閾値より大きい場合には、通常速度フレームレートによる撮影を選択する。また、角速度の大きさが前記閾値より小さいと判定した場合には、次に画像処理ＡＳＩＣにて前後のフレームのＲＧＢ情報から差分演算を行うことにより、前記フレームの前後の変化が小さいか否かの判定をあらかじめ定められた閾値との比較をすることにより行う。その結果、撮像装置側において差分画像が前記閾値よりも小さい場合には通常速度フレームレートによる撮影を選択する。また、前記差分画像が前記閾値よりも大きい場合にはハイライトシーンとして高速フレームレートにて撮影する。
この結果、ハイライトシーンについてのみ高速フレームレートによる撮影が行われるため、消費電力と記憶媒体の容量が節約され、さらに撮影フレームレートの切り替え操作に要する手間が不要となる。
言い換えると、第１の実施の形態によれば、高速撮像と通常撮像の両方の記録が可能な撮像機器において詳細な画像が必要なハイライトシーンで自動的に撮影フレームレートを切り替えることが可能になる。この結果、消費電力と媒体の容量に負担をかけることなく少ない負荷で適所に高精細な動画撮影を実現できる撮像装置が得られる効果がある。
また、再生時に出力側のディスプレイに合わせて出力フレームレートの変換を行うことで、従来の高速フレームレートに対応していない低速なディスプレイに対しては再生時に高速フレームレートシーンをスロー化することが可能となり、映像効果として高速撮像データを有効活用できる。また、高速フレームレートに対応している高速表示可能なディスプレイに対しては通常速度フレームレートと高速フレームレートの混在する画像を時間方向に精細さを保ちつつリアルタイムに出力することが可能になる撮像装置が得られる効果がある。
【００１９】
（第２の実施の形態）
次に、本発明の第２の実施の形態の記録再生装置について説明する。
第２の実施の形態の記録再生装置は実施例１の撮像装置が備えている。したがって、図１のブロック図は第２の実施の形態の記録再生装置においても適用される。
第２の実施の形態では、今後過渡的に混在する高速フレームレート表示可能なディスプレイと高速フレームレートに対応していないディスプレイを考慮し、録画時のフレームレートは通常のテレビジョン装置で用いられているフレームレートよりも早い高速フレームレート（ここでは一例として４倍の２４０ｆｐｓ)で記録し、再生出力時に出力先のディスプレイの高速フレームレートの対応状況に応じて出力する画像のフレームレートを調整可能にする。
このため、画像の出力先の高速フレームレート対応状況を判定する高速フレームレート対応状況判定手段を備えている。また、前記高速フレームレート対応状況判定手段により判定した前記出力先の高速フレームレート対応状況と、前記高速フレームレートで録画された画像に対応して記録された当該画像の管理情報とをもとに、スローモーション再生を行う高精細モードと間引き通常再生を行う間引き再生モードとを切り替える再生モード切り替え手段を備えている。さらに、撮影中のハイライトシーンを判別する撮像装置側におけるイベントの発生を検出するイベント検出手段を備えている。これら高速フレームレート対応状況判定手段、再生モード切り替え手段、イベント検出手段はシステムＭＰＵ２６により実現されている。
【００２０】
第２の実施の形態の記録再生装置を備えた撮像装置は、図１に示すようにイメージャー駆動ドライバ１、電子撮像素子２、ＡＦＥ（Ａ／Ｄコンバータ）３、画像・音声処理ＡＳＩＣ４、マイク５、アナログアンプ６、スピーカ７、メモリ８、パネル駆動ドライバ９、ＬＣＤパネル１０、操作部１１、バッテリ１２、電源管理ＩＣ１３、外部記録メディア１４、ＴＶ出力端子１５、記録媒体２１、プログラマブルＲＡＭ２２、角速度センサ２３、レンズ駆動ドライバ２４、レンズ２５およびシステムＭＰＵ２６を備えている。
イメージャー駆動ドライバ１は、例えばＣＭＯＳにより構成された電子撮像素子２を駆動するためのドライバである。
電子撮像素子２は、ＣＭＯＳにより構成された高速撮影の可能な撮像素子である。
ＡＦＥ３は、電子撮像素子２のアナログフロントエンド回路でありＡ／Ｄコンバータなどを備えている。
画像・音声処理ＡＳＩＣ４は、画像信号および音声信号を処理する特定用途向け集積回路である。マイク５は音声を検出し電気信号へ変換し出力する。
アナログアンプ６は、マイク５から出力された電気信号を増幅する回路である。
スピーカ７はアナログアンプ６において増幅した電気信号を機械的振動へ変換し音として出力する。
メモリ８は各種データを記憶する回路である。
パネル駆動ドライバ９は、画像・音声処理ＡＳＩＣ４により処理した画像信号をもとにＬＣＤパネル１０の各画素を駆動する回路である。
操作部１１は各種操作スイッチを備えている。バッテリ１２は、この撮像装置の各部へ供給される電力を発生させる。
電源管理ＩＣ１３は、バッテリ１２の状態と負荷状態を検出し、この撮像装置の電源を管理する回路である。
外部記録メディア１４は、この撮像装置で撮像された映像を外部保存する記録装置である。
ＴＶ出力端子１５は、この撮像装置で撮像された映像や外部記録メディア１４に記録された映像をモニタするためのディスプレイへ出力する端子である。
記録媒体２１は、この撮像装置に内蔵された記憶装置であり、撮像された映像や音声を保存する。
プログラマブルＲＡＭ２２は、この撮像装置で必要な各種ロジックを構成している。
角速度センサ２３は、この撮像装置における手ブレ防止機能を実現するためのセンサであり、撮像装置が動いたときの角速度を検出する。
レンズ駆動ドライバ２４は、レンズ駆動信号をもとにレンズ２５を駆動する回路である。
システムＭＰＵ２６は、この撮像装置の各部を制御するマイクロプロセッシングユニットである。
【００２１】
次に動作について説明する。
動画撮影時、システムＭＰＵ２６はパネル駆動ドライバ９に対して高速なフレームレートに対応した駆動パルスを送り、電子撮像素子２を高速モードで駆動する。
ＡＦＥ３、画像・音声処理ＡＳＩＣ４も高速対応の駆動で信号をディジタル変換し、電子撮像素子２からの信号を色処理、各ノイズ、レンズ補正処理といった処理を行い、高速レートのまま圧縮処理をかけ、システムＭＰＵ２６を介して外部メディア１４に記録する。
その際マイク５から入力される音声はディジタルサンプリングが施された後、圧縮され、高速フレームレートの動画に同期して記録される。
【００２２】
図１０は、第２の実施の形態の記録再生装置において媒体記録されるファイルフォーマットの一例を示す説明図である。
図１０に示すように、ここでは映像情報３１や音声情報３２とは別に管理情報３３をメディアに記録する。なお図１０に示す例ではファイル単位で管理情報を持つように構成したが、これに限定されるものではない。
記録される管理情報には、日付やそれ以外の撮像装置側の情報などが記録される。第２の実施の形態の特徴として、再生時のフレームレート切り替え情報が管理情報３３として映像の時間軸に関連して付記される。なお、ユーザは撮影時もしくは再生時に任意に前記管理情報３３のフレームレート切り替え情報（フラグ）を変更することが可能である。
従来のテレビジョン装置や機器に備わったＬＣＤパネル等のディスプレイでは６０ｆｐｓまでの再生しか対応していないため、図１に示す撮像装置の記録再生装置から２４０ｆｐｓのフレームレートで動画を出力しても表示することはできない。ディスプレイ側が高速フレームレートに対応可能な場合は図１に示す撮像装置の記録再生装置から２４０ｆｐｓの映像を出力しリアルタイムですべての画像を表示することが可能である。
そこで第２の実施の形態では高速フレームレートに対応したディスプレイ向けの機能として２４０ｆｐｓの高速出力を可能とする機能を有している。
しかし、従来の６０ｆｐｓまでのディスプレイとの接続時は、相手のディスプレイにおいて２４０ｆｐｓの対応ができないためすべてのフレーム表示用として再生時に画像処理ＡＳＩＣ４上で２４０ｆｐｓから６０ｆｐｓへのフレームの間引きを行うことにより通常の６０ｆｐｓの動画として再生、出力する間引き再生モードを有している。これに加え、例えば２４０ｆｐｓの高速フレームレートで撮像され録画された画像（２４０枚）を撮影時間の１／４の６０ｆｐｓで４秒間かけて出力することによりなめらかで高精細なスローモーション再生を可能にする高精細モードを有している。
【００２３】
図１１は、このような高速表示に対応していないディスプレイへの出力モードの詳細を示す説明図である。
図１２は、出力先が高速フレームレートに対応したディスプレイであるか否かに応じた、再生時のマニュアル操作によるフレームレートの選択動作を示すフローチャートである。
第２の実施の形態では、図１２のフローチャートに示すように、再生モードが選択されると（ステップＳ５１）、出力先が２４０ｆｐｓ対応ディスプレイであるか、あるいは２４０ｆｐｓ非対応ディスプレイであるかに応じたマニュアル操作により出力モードが選択可能である（ステップＳ５２）。すなわち、このマニュアル操作の結果、出力先が２４０ｆｐｓ対応ディスプレイであるときには、高速フレームレートに対応した２４０ｆｐｓの高速フレームレートでの出力を行うことが可能である（ステップＳ５４）。
また、２４０ｆｐｓ非対応ディスプレイである場合には、さらにマニュアル操作により設定された高速フレームレート出力フラグのオン、オフに応じて（ステップＳ５３）、高速フレームレート出力フラグがオフのとき、画像処理ＡＳＩＣ４上で２４０ｆｐｓから６０ｆｐｓへの間引きを行うことにより通常の６０ｆｐｓの動画として再生、出力する間引き再生モードが選択される（ステップＳ５６）。また、前記高速フレームレート出力フラグがオンのとき、例えば１秒間の画像（２４０枚）を撮影時間の１／４の６０ｆｐｓにて４秒間かけてスローモーション映像として出力する高精細モードが選択され、なめらかで高精細なスロー再生を行う（ステップＳ５５）。
【００２４】
さらに、第２の実施の形態ではマニュアルによるフレームレートの切り替え機能の他に、従来ディスプレイ向けの臨場感を高めるモードとしてユーザの付記した動画上の高速フレームレート切り替えフラグ情報などの管理情報３３をもとに自動でスローモーション再生を行う高精細モードと間引き通常再生を行う間引き再生モードとを切り替える。これにより、簡単に時間軸方向に精細感のあるスローモーション映像効果として楽しむことができる。
図１３は、出力先の高速フレームレート対応状況に応じたフラグにより６０ｆｐｓ出力の再生モードが自動判別されたときの、管理情報３３の高速フレームレート切り替え情報をもとに自動的に行われる前記高精細モードと前記間引き再生モードとの切り替え動作を示すフローチャートである。
この高精細モードと間引き再生モードとの自動切り替えにおいては、６０ｆｐｓ出力の再生モードがフラグにより自動判別されて選択されると（ステップＳ６１）、再生フレーム毎に前述の管理情報３３から高速フレームレート切り替え情報のフラグを参照し（ステップＳ６２）、このフラグに応じて出力画像の間引きのオン／オフの切り替え、または前記スローモーション再生処理を再生時にリアルタイムで行う（ステップＳ６３、ステップＳ６４）。
【００２５】
また、第２の実施の形態では録画時の撮像装置の状況に応じて自動で高速フレームレートのフラグの切り替えを行う高速フレームレート切り替えフラグ自動生成モードも選択可能である。
図１４は、この高速フレームレート切り替えフラグ自動生成モードの動作を示すフローチャートである。
図１４のフローチャートに示すように、録画時にこの高速フレームレート切り替えフラグ自動生成モードが選択された場合（ステップＳ７１）、入力された画像および手ブレ補正用のセンサ（ここでは角速度センサ２３）（ステップＳ７３）や、機器の操作情況（ステップＳ７２、ステップＳ７４）、マイク５等からの入力される信号をもとに高速フレームレート切り替えフラグの自動生成を行う（ステップＳ７５、Ｓ７６）。
この高速フレームレート切り替えフラグは管理情報３３として図１０に示す映像記録データ３１、音声記録データ３２と対応して記録される。
例えば、図１４のステップ７５に示すように、画像・音声処理ＡＳＩＣ４にて前後のフレームの差分演算を行うことにより、前後の変化の大きさをあらかじめ定められた閾値と比較をすることによって撮像装置側にてスロー出力がより効果的となるハイライトシーンとして高速フレームレート切り替えフラグをオンにする。
その際入力画像以外に手ブレ補正用のセンサ（ここでは角速度センサ２３）やズームレンズの駆動情況を用いてパン・チルト、ズーム操作等の撮影者の操作による画像変化をシーンチェンジとして、上記ハイライトシーンから切り分けることにより認識率向上を図ることが可能である。これによりユーザは意識することなく再生時に動きの激しい部分をハイライトシーンとしてスローモーションで観賞することが可能である。
【００２６】
また、上記した認識率向上を図るための各種条件と合わせて例えば音声用のマイクレベルの入力をトリガとして（例えば音声認識をトリガとすることも可能である）一定時間高速フレームレートをオンにする設定を行うことにより、例えば運動会等のレースシーンにおいてスタートシーンをハイライト化することが可能である。
また、通常の操作釦に合わせて高速フレームレートフラグの設定を行うことも可能であり、例えば録画開始のレリーズ釦の長押しをトリガとして高速フレームレート切り替えフラグをオンすることにより通常撮影動作の延長でハイライトシーンを設定することが可能である。
【００２７】
以上説明したように、第２の実施の形態によれば、例えば６０ｆｐｓまでの高速フレームレート非対応のディスプレイとの接続時は、相手のディスプレイにおいて２４０ｆｐｓの高速フレームレートに対応できないためすべてのフレーム表示用として再生時に画像処理ＡＳＩＣ４上で２４０ｆｐｓから６０ｆｐｓへのフレームの間引きを行うことにより通常の６０ｆｐｓの動画として再生、出力する間引き再生モードを有している。また、例えば２４０ｆｐｓの高速フレームレートで撮像され録画された画像（２４０枚）を撮影時間の１／４の６０ｆｐｓで４秒間かけて出力することによりなめらかで高精細なスローモーション再生を可能にする高精細モードを有している。この結果、高速フレームレートに対応していない出力先において再生する際に、自動的にハイライトシーンをスローモーション化して表示できるなど、高速撮像の映像ソースを有効活用できる。
言い換えると、第２の実施の形態によれば、高速撮像の映像ソースを録画し、高速表示が不可能なディスプレイにおいて再生する際にハイライトシーンをスローモーション化して表示することのできる記録再生装置が得られる効果がある。
また、マニュアルで高速なフレームレート出力を設定するとスローモーション再生を選ぶ手間が発生するが、録画時にユーザが従来の操作性の延長でハイライト部を指定することが可能である。
また、カメラの入力、操作情報から自動でハイライトシーンの検出を行い、管理情報に出力時のフレームレートの情報を記録することによって、再生時に特に設定しなくともハイライトシーンをなめらかにスローモーション再生することが可能になり、高速撮像の映像ソースを有効活用した映像が得られる記録再生装置を実現できる効果がある。
【図面の簡単な説明】
【００２８】
【図１】本発明の実施例１の撮像装置の構成を示すブロック図である。
【図２】本発明の実施例１の撮像装置における録画モードでの高速フレームレートによる撮影と通常速度フレームレートによる撮影の切り替え動作を示すフローチャートである。
【図３】本発明の実施例１のハイライトシーンとしてスロー観賞できる撮像装置の録画動作を示すフローチャートである。
【図４】ディスプレイが高速フレームレート非対応であるときの本発明の実施例１の撮像装置における録画フレームと再生フレームとの関係を示す説明図である。
【図５】本発明の実施例１の撮像装置における高精細モードとハイライトシーン強調スローモードの切り替え動作を示すフローチャートである。
【図６】ディスプレイが高速フレームレート対応であるときの本発明の実施例１の撮像装置における録画フレームと再生フレームとの関係を示す説明図である。
【図７】本発明の実施例１の撮像装置におけるパーシャルフレームレート動画ファイル構造を示す説明図である。
【図８】ディスプレイが高速フレームレートに対応していないときの、パーシャルフレームレート動画ファイル構造により通常撮影または高速撮影された映像の録画フレームと再生フレームとの関係を示す説明図である。
【図９】ディスプレイが高速フレームレートに対応しているときの、パーシャルフレームレート動画ファイル構造により通常撮影または高速撮影された映像の録画フレームと再生フレームとの関係を示す説明図である。
【図１０】本発明の第２の実施の形態の記録再生装置において媒体記録されるファイルフォーマットを示す説明図である。
【図１１】高速表示に対応していないディスプレイへの出力モードの詳細を示す説明図である。
【図１２】本発明の第２の実施の形態の記録再生装置における出力先が高速フレームレートに対応したディスプレイであるか否かに応じた出力モードの選択動作を示すフローチャートである。
【図１３】本発明の第２の実施の形態の記録再生装置において管理情報をもとに自動的に行われる高精細モードと間引き再生モードとの切り替え動作を示すフローチャートである。
【図１４】本発明の第２の実施の形態の記録再生装置における高速フレームレートフラグ自動生成モードの動作を示すフローチャートである。
【符号の説明】
【００２９】
２６……システムＭＰＵ（高速フレームレート対応状況判定手段、再生モード切り替え手段、イベント検出手段）。
【特許請求の範囲】
【請求項１】
高速フレームレートで録画された画像の再生出力時におけるフレームレートを調整可能にした記録再生装置であって、
前記画像の再生出力先の高速フレームレート対応状況を判定する高速フレームレート対応状況判定手段と、
前記高速フレームレート対応状況判定手段により判定した前記再生出力先の高速フレームレート対応状況と、前記高速フレームレートで録画された画像に対応して記録された当該画像の管理情報とをもとに、スローモーション再生を行う高精細モードと間引き通常再生を行う間引き再生モードとを切り替える再生モード切り替え手段と、
を備えたことを特徴とする記録再生装置。
【請求項２】
撮影中のハイライトシーンを判別する撮像装置側におけるイベントの発生を検出するイベント検出手段を有し、前記再生モード切り替え手段は、前記高速フレームレート対応状況判定手段により判定した前記再生出力先の高速フレームレート対応状況と、前記イベント検出手段が検出した前記イベントをもとに判別されたハイライトシーンに応じて前記高速フレームレートで録画された画像に対応して記録された当該画像の管理情報とをもとに、スローモーション再生を行う高精細モードと間引き通常再生を行う間引き再生モードとを切り替えることを特徴とする請求項１記載の記録再生装置。
【請求項３】
前記イベント検出手段は、撮影中のフレーム間画像差分情報が所定の大きさを超えることで前記イベントの発生を検出することを特徴とする請求項２記載の記録再生装置。
【請求項４】
前記イベント検出手段は、撮像装置本体に加えられている動きが所定の大きさを超えていないことを条件に撮影中のフレーム間画像差分情報が所定の大きさを超えることで前記イベントの発生を検出することを特徴とする請求項３記載の記録再生装置。
【請求項５】
前記イベント検出手段は、ズーム動作中ではなく、かつ撮像装置本体に加えられている動きが所定の大きさを超えていないことを条件に撮影中のフレーム間画像差分情報が所定の大きさを超えることで前記イベントの発生を検出することを特徴とする請求項４記載の記録再生装置。
【請求項１】
高速フレームレートで録画された画像の再生出力時におけるフレームレートを調整可能にした記録再生装置であって、
前記画像の再生出力先の高速フレームレート対応状況を判定する高速フレームレート対応状況判定手段と、
前記高速フレームレート対応状況判定手段により判定した前記再生出力先の高速フレームレート対応状況と、前記高速フレームレートで録画された画像に対応して記録された当該画像の管理情報とをもとに、スローモーション再生を行う高精細モードと間引き通常再生を行う間引き再生モードとを切り替える再生モード切り替え手段と、
を備えたことを特徴とする記録再生装置。
【請求項２】
撮影中のハイライトシーンを判別する撮像装置側におけるイベントの発生を検出するイベント検出手段を有し、前記再生モード切り替え手段は、前記高速フレームレート対応状況判定手段により判定した前記再生出力先の高速フレームレート対応状況と、前記イベント検出手段が検出した前記イベントをもとに判別されたハイライトシーンに応じて前記高速フレームレートで録画された画像に対応して記録された当該画像の管理情報とをもとに、スローモーション再生を行う高精細モードと間引き通常再生を行う間引き再生モードとを切り替えることを特徴とする請求項１記載の記録再生装置。
【請求項３】
前記イベント検出手段は、撮影中のフレーム間画像差分情報が所定の大きさを超えることで前記イベントの発生を検出することを特徴とする請求項２記載の記録再生装置。
【請求項４】
前記イベント検出手段は、撮像装置本体に加えられている動きが所定の大きさを超えていないことを条件に撮影中のフレーム間画像差分情報が所定の大きさを超えることで前記イベントの発生を検出することを特徴とする請求項３記載の記録再生装置。
【請求項５】
前記イベント検出手段は、ズーム動作中ではなく、かつ撮像装置本体に加えられている動きが所定の大きさを超えていないことを条件に撮影中のフレーム間画像差分情報が所定の大きさを超えることで前記イベントの発生を検出することを特徴とする請求項４記載の記録再生装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２００８−１０９２４５（Ｐ２００８−１０９２４５Ａ）
【公開日】平成２０年５月８日（２００８．５．８）
【国際特許分類】
【出願番号】特願２００６−２８８３８９（Ｐ２００６−２８８３８９）
【出願日】平成１８年１０月２４日（２００６．１０．２４）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２０年５月８日（２００８．５．８）
【国際特許分類】
【出願日】平成１８年１０月２４日（２００６．１０．２４）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]