画像再生装置、画像再生方法および撮像装置
【課題】動きのある被写体のスローモーション画像を容易に得るようにする。
【解決手段】画像再生装置は、予め設定された画像レートよりも高い画像レートで撮像を行い生成された撮像画像の画像信号を再生する信号再生部と、信号再生部から出力される画像信号を用いて動き検出を行って得られた動き検出結果を用いて再生制御情報を生成する再生制御情報生成部と、信号再生部から出力される画像信号の画像レートを予め設定された画像レートに変換する信号処理部と、再生制御情報に基づき信号再生部から信号処理部に供給される画像信号の画像レートを制御して、動き検出結果が示す動きが大きくなるに従い撮像画像の再生速度を低下させる制御部と、を備え、制御部は、信号処理部にて画像信号を画像合成して画像レート変換を行うとき、画像信号を用いて動き検出を行うことで得られた動き検出結果に基づいて、画像合成される画像信号の各フレームの重み係数を設定する。
【解決手段】画像再生装置は、予め設定された画像レートよりも高い画像レートで撮像を行い生成された撮像画像の画像信号を再生する信号再生部と、信号再生部から出力される画像信号を用いて動き検出を行って得られた動き検出結果を用いて再生制御情報を生成する再生制御情報生成部と、信号再生部から出力される画像信号の画像レートを予め設定された画像レートに変換する信号処理部と、再生制御情報に基づき信号再生部から信号処理部に供給される画像信号の画像レートを制御して、動き検出結果が示す動きが大きくなるに従い撮像画像の再生速度を低下させる制御部と、を備え、制御部は、信号処理部にて画像信号を画像合成して画像レート変換を行うとき、画像信号を用いて動き検出を行うことで得られた動き検出結果に基づいて、画像合成される画像信号の各フレームの重み係数を設定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像再生装置と画像再生方法および撮像装置とその制御方法に関する。詳しくは、予め設定されている基準画像レートよりも高い画像レートで撮像を行うことにより撮像画像の生成された撮像画像の画像信号を基準画像レートで再生する際に、撮像画像の動きに応じて再生速度を制御するものである。
【背景技術】
【０００２】
従来、特許文献１には、撮像画像をメモリに一時的に保持して記録媒体に記録し直し、スローモーションの映像を滑らかな動きで再生可能とする方法が提案されている。
【０００３】
すなわち、特許文献１に開示の手法は、通常のビデオ信号のフィールド周波数である５０フィールド／秒または６０フィールド／秒よりも高いフィールド周波数である例えば２４０フィールド／秒の画像信号を生成して、この画像信号を順次メモリに格納する。また撮像が終了すると、このメモリに格納した画像信号を通常のビデオ信号のフィールド周波数で読み出してハードディスク装置等の記録媒体に記録する。またユーザが再生を指示したとき、この記録媒体に記録した画像信号を通常のビデオ信号のフィールド周波数で再生することで、滑らかな動きのスローモーション再生画像を得ることができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−２９５４２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、上記特許文献１の手法を用いるとき、撮像画像の画像信号を高速度でメモリに格納した後、メモリから読み出して記録媒体に記録することから、１回の撮像で撮像可能な時間がメモリの容量で制限されることになる。このため、メモリ容量が小さいとスローモーション再生したい撮像画像の画像信号をメモリに保持させることが困難となってしまう。例えば、スローモーション再生したい撮像シーンよりも早いタイミングでメモリに対して画像信号の書き込みを開始すると、スローモーション再生したい撮像シーンとなったときにメモリに空き領域がなく、画像信号を保持させることができなくなってしまう。このため、貴重な撮像機会を逃してしまう問題がある。また、スローモーション再生したい撮像画像の画像信号を容易にメモリに保持させることができるようにメモリ容量を大きくすると、コストアップとなってしまう。更に、撮像画像の画像信号をメモリに格納した後に読み出して記録媒体に記録する方法では、メモリに格納した撮像結果を全て読み出した後でなければ次のシーンを撮像できない。このため、所望するシーンが短い時間間隔で繰り返される場合、この繰り返しのシーンの一部を撮り逃してしまうことになる。
【０００６】
また、高速度である撮像画像の画像信号を、メモリを介することなく記録媒体に記録するものとすれば、メモリ容量に応じて撮像画像の記録タイミングを制御しなくとも、スローモーション再生したい撮像画像の画像信号を記録媒体に記録することができる。しかし、このように記録した画像信号を通常のビデオ信号のフィールド周波数で再生すると、記録された撮像画像が全てスローモーション再生されることとため、所望のスローモーション画像が表示されるまでの待ち時間が長くなってしまう場合が生じる。
【０００７】
本発明の特徴は、以上の点を考慮してなされたもので、動きのある被写体のスローモーション画像を容易に得られるようにするものである。
【課題を解決するための手段】
【０００８】
本開示によれば、予め設定された画像レートよりも高い画像レートで撮像を行うことにより生成された撮像画像の画像信号を再生する信号再生部と、信号再生部から出力される画像信号を用いて動き検出を行うことで得られた動き検出結果を用いて再生制御情報を生成する再生制御情報生成部と、信号再生部から出力される画像信号の画像レートを予め設定された画像レートに変換する信号処理部と、再生制御情報に基づき信号再生部から信号処理部に供給される画像信号の画像レートを制御して、動き検出結果が示す動きが大きくなるに従い撮像画像の再生速度を低下させる制御部と、を備え、制御部は、信号処理部にて画像信号を画像合成して画像レート変換を行うとき、画像信号を用いて動き検出を行うことで得られた動き検出結果に基づいて、画像合成される画像信号の各フレームの重み係数を設定する、画像再生装置が提供される。
【０００９】
また、本開示によれば、予め設定された画像レートよりも高い画像レートで撮像を行うことにより生成された撮像画像の画像信号を再生するステップと、画像信号を用いて動き検出を行うことで得られた動き検出結果を用いて再生制御情報を生成するステップと、動き検出結果に基づいて画像合成される画像信号の各フレームの重み係数を設定するステップと、画像信号の各フレームの重み係数で重み付けされた画像信号の画像レートを予め設定された画像レートに変換するステップと、再生制御情報に基づき画像信号の画像レートを制御して、動き検出結果が示す動きが大きくなるに従い撮像画像の再生速度を低下させるステップと、を含む、画像再生方法が提供される。
【００１０】
さらに、本開示によれば、予め設定された画像レートよりも高い画像レートで撮像を行うことにより生成された撮像画像の画像信号を生成する撮像部と、撮像部で生成された画像信号を用いて動き検出を行うことで得られた動き検出結果に基づいて、画像合成される画像信号の各フレームの重み係数を設定する制御部と、画像信号の各フレームの重み係数で重み付けされた画像信号の画像レートを予め設定された画像レートに変換する信号処理部と、信号処理部で予め設定された画像レートに変換された画像信号を用いて動き検出を行うことで得られた動き検出結果を用いて、画像信号の再生時に動き検出で検出された動きが大きくなるに従い撮像画像の再生速度を低下させる再生制御情報を生成する再生制御情報生成部と、再生制御情報を画像信号に対応させて出力する出力部と、を備える、撮像装置が提供される。
【発明の効果】
【００１１】
以上説明したように本開示によれば、動きのある被写体のスローモーション画像を容易に得ることができる。
【図面の簡単な説明】
【００１２】
【図１】撮像装置の構成を示すブロック図である。
【図２】補正処理部の構成を示すブロック図である。
【図３】カメラ信号処理部の構成を示すブロック図である。
【図４】画像合成部とフレームメモリ部の構成を示すブロック図である。
【図５】画像合成の説明に供する図である。
【図６】圧縮伸長部の構成を示すブロック図である 。
【図７】画像再生装置の構成を示すブロック図である。
【図８】画像記録装置の構成を示すブロック図である。
【図９】標準撮像モードで撮像画像を記録するときの処理を説明するための図である。
【図１０】標準撮像モードで記録された撮像画像を再生するときの処理を説明するための図である。
【図１１】高速撮像モードで撮像画像を記録するときの処理を説明するための図である。
【図１２】高速撮像モードで記録された撮像画像を再生するときの処理を説明するための図である。
【図１３】動きベクトルと重み係数設定信号の関係を説明するための図である。
【図１４】画像信号と重み係数の関係を説明するための図である。
【図１５】重み係数を例示した図である。
【図１６】被写体の動き検出の説明に供する図である。
【図１７】判定値と推奨再生速度の関係を示す図である。
【図１８】高速撮像モードで撮像画像を記録するときのタイミングチャートである。
【図１９】高速撮像モードで記録された撮像画像を再生するときのタイミングチャートである。
【図２０】高速撮像モードで記録された撮像画像を再生するときに動き検出を行って再生制御を行うときのタイミングチャートである。
【図２１】他の実施の形態の構成を示す図である。
【発明を実施するための形態】
【００１３】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１４】
以下、図を参照しながら本発明の実施の形態について説明する。図１は、撮像装置の構成を示すブロック図である。撮像装置１０は、動作モードとして標準撮像モードと高速撮像モードの切り換えが可能とされている。標準撮像モードは、通常の撮像時の動作モードであり、予め設定されている基準画像レートの画像信号を生成する。高速撮像モードは、時間解像度の高いスローモーション再生画像を得ることができるように、標準撮像モードよりも高速に撮像を行い、基準画像レートよりも高く基準画像レートの整数倍である画像レート（以下「高速画像レート」という）の画像信号を生成する動作モードである。ここで、基準画像レートとは、テレビジョン方式で用いられているフィールドレートやフレームレートを示すものであり、撮像装置１０は、標準撮像モードであるとき、基準画像レート例えば６０フィールド／秒としたインタレース走査方式の画像信号や６０フレーム／秒としたノンインタレース方式の画像信号を生成する。また、撮像装置１０は、高速撮像モードであるとき、高速画像レート例えば２４０フィールド／秒としたインタレース走査方式の画像信号や２４０フレーム／秒としたノンインタレース方式の画像信号を生成する。なお、以下の説明では、基準画像レートの画像信号として６０フレーム／秒（６０［ｆｐｓ］）のノンインタレース方式の画像信号、高速撮像モードの画像信号として基準画像レートの４倍である２４０フレーム／秒（２４０［ｆｐｓ］）のノンインタレース方式の画像信号を生成する場合を例示している。
【００１５】
また、図１に示す撮像装置の構成は、標準撮像モードおよび高速撮像モードで撮像画像の画像信号を生成するだけでなく、画像信号を記録メディア６２に記録したり、記録メディア６２に記録された画像信号を読み出して、再生画像の表示や再生画像の画像信号を出力できる場合を示している。
【００１６】
撮像装置１０において、レンズユニット１１は、後述する制御部８１の制御によりフォーカス、絞り、ズームを可変し、撮像部１２のイメージセンサ１２１の撮像面に入射光を集光する。
【００１７】
撮像装置１０の撮像部１２は、イメージセンサ１２１やＡＦＥ（Analog Front End）１２２、ＡＤＣ（Analog-Digital
Converter）１２３、補正処理部１２４を用いて構成されており、後述する制御部８１によって撮像部１２の動作が制御される。
【００１８】
イメージセンサ１２１は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor ）型等の固体撮像素子が用いられている。イメージセンサ１２１は、撮像面に形成された光学像を光電変換処理し、撮像結果である撮像信号を出力する。なお、イメージセンサ１２１には、ＣＤＳ（Correlated Double Sampling）回路が設けられており、このＣＤＳ回路で撮像信号の相関二重サンプリング処理を行うことで撮像信号のノイズが低減される。
【００１９】
また、イメージセンサ１２１は、制御部８１の制御により動作の切り換えが行われて、動作モードが標準撮像モードとされたとき、基準画像レート（基準フレームレート）の撮像信号例えば６０〔ｆｐｓ〕の撮像信号を生成する。また、イメージセンサ１２１は、動作モードが高速撮像モードとされたとき、基準フレームレートよりも高く基準フレームレートの整数倍である高速画像レート（高速フレームレート）の撮像信号例えば２４０〔ｆｐｓ〕の撮像信号を生成する。なお、イメージセンサ１２１は、フレームレートが２４０〔ｆｐｓ〕である撮像信号を出力する場合でも、基準フレームレートで撮像信号を出力する場合と同一に、撮像面の有効画像領域から全画素の撮像結果を読み出して撮像信号を出力する。また、ライン間引きと画素間引きの少なくとも一方を行うことで、基準フレームレートで撮像信号を出力する場合に比して、１画面の画素数を低減させてもよい。
【００２０】
ＡＦＥ（Analog
Front End）１２２は、イメージセンサ１２１から出力される撮像信号をＡＧＣ（Automatic Gain
Control）処理し、撮像信号の利得を制御する。ＡＤＣ（Analog-Digital Converter）１２３は、ＡＦＥ１２２で処理されたアナログの撮像信号をディジタルの画像信号に変換して補正処理部１２４に供給する。
【００２１】
補正処理部１２４はＡＤＣ１２３から供給された画像信号に対して種々の補正処理を行う。図２は、補正処理部１２４の構成を示すブロック図である。補正処理部１２４のレベル補正部１２４ａは、ＡＤＣ１２３から供給された画像信号のレベル調整処理を行う。画素補正部１２４ｂは、レベル調整処理後の画像信号に対して画素欠陥補正処理を行う。ホワイトバランス調整部１２４ｃは、画素欠陥補正処理後の画像信号に対してホワイトバランス調整処理を実行して、処理後の画像信号ＤＶ1を、図１に示すようにカメラ信号処理部２０と記録再生処理部６１および検波部７１に供給する。
【００２２】
カメラ信号処理部２０は、標準撮像モードおよび高速撮像モードにおいて、撮像部１２から供給される画像信号ＤＶ1に対してカメラ信号処理を行い、処理後の画像信号ＤＶ2を画像圧縮伸長部４１や画像出力部５１，表示処理部５２に出力する。また、後述するように、高速撮像モードにおいて、カメラ信号処理がなされていない撮像画像を記録メディア６２に記録した場合、記録した撮像画像の再生時には、記録再生処理部６１から供給される画像信号ＤＶ3のカメラ信号処理を行い、処理後の画像信号ＤＶ4を画像出力部５１や表示処理部５２に出力する。
【００２３】
また、カメラ信号処理部２０は、例えばＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等により構成されたフレームメモリ部３１と接続されており、このフレームメモリ部３１を用いることで、画像信号ＤＶ1や画像信号ＤＶ3が基準フレームレートとは異なるフレームレートであるときに、画像信号ＤＶ1や画像信号ＤＶ3を基準フレームレートの画像信号に変換する。すなわち、カメラ信号処理部２０は、画像信号ＤＶ1や画像信号ＤＶ3のフレームレートに係らず基準フレームレートの画像信号ＤＶ2，ＤＶ4を出力する。
【００２４】
図３は、カメラ信号処理部２０の構成を示すブロック図である。画像合成部２１は、画像信号ＤＶ1や画像信号ＤＶ3を基準フレームレートの画像信号とする画像レート変換を行うためのものである。画像合成部２１は、動作モードが標準撮像モードとされている場合、画像信号ＤＶ1が基準フレームレートであるので、撮像部１２の補正処理部１２４から供給された画像信号ＤＶ1のフレームレートを変換することなく画素補間部２２に供給する。また、画像合成部２１は、動作モードが高速撮像モードとされている場合に撮像部１２の補正処理部１２４から供給された画像信号ＤＶ1、および高速撮像モードで記録メディア６２に記録した撮像画像の再生時に記録再生処理部６１から供給される画像信号ＤＶ3に対して画像レート変換を行い、供給された画像信号を基準フレームレートの画像信号に変換して画素補間部２２に供給する。例えば、画像合成部２１は、フレームメモリ部３１を用いて画像合成を行い、画像信号ＤＶ1，ＤＶ3の基準フレーム期間分のフレーム画像を合成して１フレームの画像とすることで、画像信号ＤＶ1，ＤＶ3を基準フレームレートの画像信号に変換する。
【００２５】
図４は、画像合成部２１とフレームメモリ部３１の詳細構成を示すブロック図であり、フレームメモリ部３１を用いた画像信号の巡回加算によって画像合成を行うことで高速フレームレートの画像信号を基準フレームレートの画像信号に変換する場合を示している。
【００２６】
画像合成部２１は、補正処理部１２４から供給される画像信号ＤＶ1または記録再生処理部６１から供給される画像信号ＤＶ3を乗算回路２１１に供給する。乗算回路２１１は、重み係数生成部２１２で生成された重み係数を画像信号ＤＶ1または画像信号ＤＶ3に乗算して、重み係数を乗算した画像信号を加算回路２１３に供給する。加算回路２１３は、乗算回路２１１から供給された画像信号とフレームメモリ部３１のバンクから読み出した画像信号を加算して、加算処理後の画像信号をフレームメモリ部３１に供給する。
【００２７】
フレームメモリ部３１は、バンク３１２ａとバンク３１２ｂおよび信号切換部３１１，３１３、３１４を用いて構成されている。なお、バンク３１２ａとバンク３１２ｂは１フレームの画像信号を記憶できるメモリ容量とされている。
【００２８】
信号切換部３１１は、加算回路２１３から供給された画像信号を、バンク３１２ａまたはバンク３１２ｂに供給する。なお、バンク３１２ａに供給される画像信号を画像信号Ｄfwa、バンク３１２ｂに供給される画像信号を画像信号Ｄfwbとする。
【００２９】
信号切換部３１３は、バンク３１２ａから読み出された画像信号Ｄfraまたはバンク３１２ｂから読み出された画像信号Ｄfrbを加算回路２１３に供給する。信号切換部３１４は、バンク３１２ａから読み出された画像信号Ｄfraまたはバンク３１２ｂから読み出された画像信号Ｄfrbを割り算回路２１４に供給する。
【００３０】
ここで、画像合成部２１とフレームメモリ部３１は、一方のバンク例えばバンク３１２ａから読み出した画像信号Ｄfraを信号切換部３１３で選択して、この選択した画像信号Ｄfraと乗算回路２１１から供給された画像信号の加算結果である画像信号を信号切換部３１１でバンク３１２ａに画像信号Ｄfwaとして供給する。このようにすれば、バンク３１２ａは、巡回加算された画像信号を記憶することになる。また、画像合成部２１とフレームメモリ部３１は、所定フレーム数の巡回加算が完了したとき、バンク３１２ｂを用いて巡回加算を行い、所定フレーム数の巡回加算が完了した画像信号をバンク３１２ａから読み出して信号切換部３１４を介して割り算回路２１４に供給する。このように巡回加算を行うものとすれば、画像合成部２１とフレームメモリ部３１は、一方のバンクを用いて基準フレーム期間で巡回加算を行いながら、他方のバンクから所定フレーム数の巡回加算が完了した画像信号を基準フレーム期間で読み出して、基準フレームレートの画像信号として割り算回路２１４に供給できる。
【００３１】
割り算回路２１４は、フレームメモリ部３１の信号切換部３１４から供給された画像信号に対して、重み係数と加算したフレーム数に応じた割り算処理を行い、巡回加算が完了した画像信号を所定の信号レベル範囲の画像信号として画素補間部２２に供給する。例えば、画像信号ＤＶ1の信号レベルが一定である場合を考えたとき、各フレームの重み係数を「２」として４フレーム分の巡回加算を行うものとすると、巡回加算が完了した画像信号の信号レベルは、画像信号ＤＶ1の信号レベルの８倍となる。このため、割り算回路２１４は、重み係数と加算したフレーム数に応じた割り算処理を行い、巡回加算が完了した画像信号を(１/８)倍とすることで、所定の信号レベル範囲の画像信号とする。
【００３２】
重み係数生成部２１２にはフレームカウンタ２１５が接続されている。フレームカウンタ２１５は、乗算回路２１１に供給される画像信号が巡回加算するフレームの何番目のフレームであるか示すカウント値を生成して重み係数生成部２１２に供給する。重み係数生成部２１２は、補正処理部１２４から供給された画像信号ＤＶ1の巡回加算を行う場合、制御部８１から供給された重み係数選択値ＷＳに基づき、巡回加算する各フレームに対して等しい重み係数を生成して乗算回路２１１に供給する。また、重み係数生成部２１２は、記録再生処理部６１から供給される画像信号ＤＶ3の巡回加算を行う場合、制御部８１から供給された重み係数選択値ＷＳに基づき、巡回加算する各フレームに対して等しい重み係数またはフレーム間で違いを生じた重み係数を生成して乗算回路２１１に供給する。
【００３３】
図５は、画像信号ＤＶ1，ＤＶ3のフレームレートが基準フレームレートの４倍である場合の画像合成を説明するための図である。画像合成部２１とフレームメモリ部３１で上述のように画像合成を行うと、図５の（Ａ）に示すように、補正処理部１２４から供給された画像信号ＤＶ1、および記録再生処理部６１から供給される画像信号ＤＶ3に基づく画像は、例えばフレームａ〜フレームｄの４フレームが合成されて、図５の（Ｂ）に示すように基準フレームレートの画像の１フレーム(ａ＋ｂ＋ｃ＋ｄ)となり、画像信号ＤＶ1，ＤＶ3を基準フレームレートの画像信号に変換できる。
【００３４】
図３の画素補間部２２は、デモザイク処理により画像合成部２１から出力される画像信号をＲ，Ｇ，Ｂからなる３つのプレーンの画像信号に変換して出力する。輪郭補正部２３は、供給された画像信号から高域成分を分離し、この高域成分から輪郭補正データを生成する。色補正部２４は、供給された画像信号から低域成分を分離し、この低域成分をリニアマトリクス処理等して色補正する。
【００３５】
ガンマ／ニー処理部２５は、輪郭補正部２３で生成された輪郭補正信号と、色補正部２４で処理された画像信号とを合成して、合成後の画像信号に対してガンマ補正、ニー処理等を実行する。色空間変換部２６は、ガンマ／ニー処理部２５で処理された画像信号を、輝度信号、色差信号の画像信号に変換する。解像度変換部２７は、供給された画像信号を予め設定された表示解像度の画像信号に変換して、画像信号ＤＶ2または画像信号ＤＶ4として出力する。
【００３６】
図１の画像圧縮伸長部４１は、供給された画像信号を用いて動き検出を行う処理と、動き検出結果に基づいて画像信号を圧縮して符号化信号を生成する処理、符号化信号を伸長して画像信号を生成する処理を行うものである。
【００３７】
画像圧縮伸長部４１は、標準撮像モードにおいて、制御部８１から撮像画像の記録が指示されると、カメラ信号処理部２０から出力される画像信号ＤＶ2をＭＰＥＧ（Moving Picture Experts Group）等の動画像の符号化方式で圧縮処理を行い、符号化信号ＤＷを記録再生処理部６１に出力する。画像圧縮伸長部４１は、高速撮像モードにおいて、制御部８１から撮像画像の記録が指示されると、画像信号ＤＶ2からマクロブロック単位で動きベクトルＭＶを検出し、この動き検出結果である動きベクトルＭＶを記録再生処理部６１または制御部８１に出力する。
【００３８】
また、画像圧縮伸長部４１は、標準撮像モードで記録メディア６２に記録した撮像画像の再生時、記録再生処理部６１から供給される符号化信号ＤＲの伸長処理を行い、得られた画像信号ＤＶ5を画像出力部５１や表示処理部５２に供給する。
【００３９】
更に、画像圧縮伸長部４１は、記録再生処理部６１から画像信号ＤＶ3が供給されたとき、画像信号ＤＶ3を用いて動き検出を行い、画像信号ＤＶ3からマクロブロック単位で動きベクトルＭＶを検出し、この動き検出結果である動きベクトルＭＶを制御部８１に出力する。
【００４０】
図６は、画像圧縮伸長部４１の構成を示すブロック図である。画像圧縮伸長部４１において、ＭＶ検出器４１１は、画像信号ＤＶ2から順次マクロブロック毎に動きベクトルＭＶを検出する。ＭＶ検出器４１１は、標準撮像モードにおける記録時、この動きベクトルＭＶを動き補償器４１２に出力し、また高速撮像モードにおける記録時、この動きベクトルＭＶを記録再生処理部６１または制御部８１に出力する。
【００４１】
動き補償器４１２は、動画像の符号化時、このＭＶ検出器４１１で検出される動きベクトルＭＶを用いて、画像メモリ４１３に格納した画像信号を動き補償し、符号化用の予測値を生成して出力する。また動き補償器４１２は、動画像の復号時、ＭＶ復号器４１４で復号した動きベクトルＭＶを用いて、同様に復号用の予測値を生成する。
【００４２】
予測減算器４１５は、動画像の符号化時、カメラ信号処理部２０から入力される画像信号ＤＶ2から、動き補償器４１２で生成された符号化用の予測値を減算し、予測誤差値を出力する。
【００４３】
ＤＣＴ４１６は、予測減算器４１５の出力信号を２次元離散コサイン変換し、その処理結果である係数データを出力する。量子化器４１７は、ＤＣＴ４１６で生成された係数データを量子化処理し、可変長符号器４１８は、量子化器４１７の出力データを可変長符号化処理する。ＭＶ符号化器４１９は、ＭＶ検出器４１１で検出される符号化用の動きベクトルＭＶを符号化処理し、多重化器４２０は、可変長符号器４１８の出力データと、ＭＶ符号化器４１９の出力データとを多重化処理して符号化信号ＤＷとして出力する。
【００４４】
逆量子化器４２１は、符号化時、量子化器４１７の出力データを逆量子化処理して出力し、また復号時、可変長復号器４２２の出力データを逆量子化処理して出力する。
【００４５】
逆ＤＣＴ４２３は、ＤＣＴ４１６とは逆に、逆量子化器４２１の出力データを処理して出力し、加算器４２４は、逆ＤＣＴ４２３の出力信号に符号化用または復号用の予測値を加算して画像信号ＤＶ5を生成する。画像メモリ４１３は、この復号した画像信号ＤＶ5を動き補償用に格納して保持する。
【００４６】
多重分離器４２６は、復号時、記録再生処理部６１から出力される符号化信号ＤＲを係数データの部分と、動きベクトルＭＶの部分とに分離して出力し、ＭＶ復号器４１４は、この多重分離器４２６の出力データから動きベクトルＭＶを復号して動き補償器４１２に出力する。可変長復号器４２２は、この多重分離器４２６の出力データから係数データを復号して逆量子化器４２１に出力する。
【００４７】
図１の画像出力部５１は、外部機器を接続するためのインタフェースであり、標準撮像モードおよび高速撮像モードにおいて、カメラ信号処理部２０から供給された画像信号ＤＶ2を出力画像信号ＤＶoutとして外部機器に出力する。なお、外部機器は例えばモニタ装置等である。また画像出力部５１は、標準撮像モードで記録メディア６２に記録した撮像画像の再生時、画像圧縮伸長部４１から供給された画像信号ＤＶ5を出力画像信号ＤＶoutとして外部機器に出力する。更に画像出力部５１は、高速撮像モードで記録メディア６２に記録した撮像画像の再生時、カメラ信号処理部２０から出力される画像信号ＤＶ4を出力画像信号ＤＶoutとして外部機器に出力する。
【００４８】
表示処理部５２には、例えばＬＣＤ（Liquid Crystal Display）で構成される表示部５３が接続されている。表示処理部５２は、標準撮像モードおよび高速撮像モードにおいて、カメラ信号処理部２０から出力される画像信号ＤＶ2を表示部５３の表示解像度に応じた表示画像信号ＤＨに変換して、この表示画像信号ＤＨで表示部５３を駆動することで表示部５３に撮像画像を表示させる。また表示処理部５２は、標準撮像モードで記録メディア６２に記録した撮像画像の再生時、画像圧縮伸長部４１から出力される画像信号ＤＶ5を表示部５３の表示解像度に応じた表示画像信号ＤＨに変換して、この表示画像信号ＤＨで表示部５３を駆動することで表示部５３に再生画像を表示させる。更に表示処理部５２は、高速撮像モードで記録メディア６２に記録した撮像画像の再生時、カメラ信号処理部２０から出力される画像信号ＤＶ4を表示部５３の表示解像度に応じた表示画像信号ＤＨに変換して、この表示画像信号ＤＨで表示部５３を駆動することで表示部５３に再生画像やスローモーション再生画像を表示させる。
【００４９】
記録再生処理部６１は、制御部８１の制御により記録メディア６２に対する撮像画像の書き込みや読み出しを行う。記録メディア６２は、ランダムアクセスが可能な各種記録媒体、または磁気テープのようにランダムアクセスが困難な各種記録媒体である。またランダムアクセスが可能な記録媒体は、例えばハードディスク装置、フラッシュメモリ等の半導体メモリ、ＤＶＤ（Digital Versatile Disk）等の光ディスク等である。
【００５０】
記録再生処理部６１は、標準撮像モードにおいて、画像圧縮伸長部４１から出力される符号化信号ＤＷを記録メディア６２に記録する。また記録再生処理部６１は、高速撮像モードにおいて、撮像部１２から出力される画像信号ＤＶ1を記録メディア６２に記録する。このとき記録再生処理部６１は、画像圧縮伸長部４１から通知される動きベクトルＭＶを再生制御情報ＲＪとして、または制御部８１で生成された再生制御情報ＲＪを取得して、この再生制御情報ＲＪを画像信号ＤＶ1と対応付けて記録する。再生制御情報ＲＪは、撮像画像において被写体の動きが大きくなるに従い撮像画像の再生速度を低下させる再生制御や、再生画像における動きぼけを軽減させる再生制御を行うための情報である。
【００５１】
記録再生処理部６１は、標準撮像モードで記録した撮像画像の再生時、記録メディア６２から読み出した符号化信号ＤＲを画像圧縮伸長部４１に供給する。また記録再生処理部６１は、高速撮像モードで記録した撮像画像の再生時、記録メディア６２から画像信号および画像信号と対応する再生制御情報ＲＪを読み出して、カメラ信号処理部２０に対して画像信号ＤＶ3、制御部８１に対して再生制御情報ＲＪを出力する。
【００５２】
更に、高速撮像モードで記録した撮像画像の再生時に再生制御情報ＲＪを読み出すことができない場合、記録再生処理部６１は、画像信号ＤＶ3をカメラ信号処理部２０と画像圧縮伸長部４１に供給する。
【００５３】
検波部７１は、撮像部１２から出力される画像信号ＤＶ1から、絞り調整、フォーカス調整、ホワイトバランス調整に必要な情報ＫＤを、フレーム周期で検出して制御部８１に通知する。なお、必要な情報は、例えば特定領域における画素値の累積加算値、ピーク値等である。
【００５４】
制御部８１には、ユーザインタフェース部８２が接続されている。ユーザインタフェース部８２は、ユーザ操作に応じた操作信号ＰＳを生成して制御部８１に供給する。
【００５５】
制御部８１は、例えばＣＰＵ（Central Processing Unit ）、ＲＯＭ（Read Only
Memory）、ＲＡＭ（Random Access Memory）等から構成されるマイクロコントローラであり、ＲＯＭ等に記録されたプログラムを実行して、撮像装置１０の動作が操作信号ＰＳに基づくユーザ操作に応じた動作となるように制御信号ＣＴを生成して各部に供給し、各部の動作を制御する。なおこの実施の形態において、プログラムは、撮像装置１０に事前にインストールされて提供されるものの、この事前のインストールに代えて、光ディスク、磁気ディスク、メモリカード等の記録媒体に記録して提供するようにしてもよく、インターネット等のネットワークを介したダウンロードにより提供してもよい。
【００５６】
制御部８１は、動作モードが標準撮像モードに設定されているとき、基準フレームレートの画像信号ＤＶ1を生成して、撮像画像を基準フレームレートで表示するように制御を行う。制御部８１は、動作モードが高速撮像モードに設定されているとき、高速フレームレートの画像信号ＤＶ1を生成して画像レートの変換を行い、撮像画像を基準フレームレートで表示するように制御を行う。
【００５７】
また、制御部８１は、動作モードが標準撮像モードであるときに記録開始操作が行われたことを判別した場合、カメラ信号処理された基準フレームレートの画像信号を圧縮処理して記録メディア６２に記録する制御を更に行う。制御部８１は、動作モードが高速撮像モードであるときに記録開始操作が行われたことを判別した場合、被写体の動きが大きくなるに従い撮像画像の再生速度を低下させる再生制御や再生画像における動きぼけを軽減させる再生制御を行うための再生制御情報ＲＪを生成して、画像信号ＤＶ1と対応させて記録メディア６２に記録する制御を更に行う。なお、制御部８１は、記録動作中に記録終了操作が行われたことを判別した場合、記録メディア６２への記録を停止する制御を行う。
【００５８】
制御部８１は、標準撮像モードで記録メディア６２に記録された撮像画像の再生操作が行われたことを判別した場合、記録メディア６２から所望の符号化信号を読み出して復号化処理を行い、再生画像を基準フレームレートで表示する制御や基準フレームレートの再生画像信号を出力する制御を行う。
【００５９】
制御部８１は、高速撮像モードで記録メディア６２に記録された撮像画像の再生操作が行われたことを判別した場合、記録メディア６２から所望の画像信号と画像信号に対応付けてされている再生制御情報ＲＪを読み出して、再生画像を基準フレームレートで表示する制御や基準フレームレートで再生画像の画像信号を出力する制御を行う。また、制御部８１は、再生制御情報ＲＪに基づいて、被写体の動きが大きくなるに従い撮像画像の再生速度を低下させる再生制御や再生画像における動きぼけを軽減させる再生制御を行う。
【００６０】
また、制御部８１は、高速撮像モードで記録メディア６２に記録された撮像画像の再生時に、再生制御情報ＲＪを得ることができない場合、記録メディア６２から読み出した画像信号から再生制御情報ＲＪを生成して、この再生制御情報ＲＪに基づいて、被写体の動きが大きくなるに従い撮像画像の再生速度を低下させる再生制御や再生画像における動きぼけを軽減させる再生制御を行う。
【００６１】
なお、制御部８１は、検波部７１からの情報ＫＤに従い、レンズユニット１１をフレーム周期で絞り調整、フォーカス調整し、補正処理部１２４におけるホワイトバランス調整をフレーム周期で行わせる制御も行う。
【００６２】
ところで、上述の実施の形態では、レンズユニット１１や撮像部１２、カメラ信号処理部２０、画像圧縮伸長部４１、記録再生処理部６１等を一体に設けた撮像装置について説明したが、レンズユニット１１や撮像部１２、表示処理部５２、表示部５３、検波部７１を別個として、画像再生装置や画像記録装置を構成するものとしてもよい。
【００６３】
図７は、画像再生装置９０の構成を示すブロック図である。なお、図７において、図１と対応する部分については同一符号を付している。
【００６４】
画像再生装置９０は、記録メディア６２から符号化信号や画像信号等を読み出すための記録再生処理部６１、読み出された符号化信号ＤＲを伸長処理するための画像圧縮伸長部４１、記録メディア６２から読み出された画像信号ＤＶ3を用いて信号処理を行うカメラ信号処理部２０、フレームメモリ部３１、カメラ信号処理部２０から出力された画像信号ＤＶ4または画像圧縮伸長部４１から出力された画像信号ＤＶ5を外部機器に出力するための画像出力部５１、各部の動作を制御する制御部８１、ユーザインタフェース部８２を有している。
【００６５】
画像再生装置９０において、記録再生処理部６１は記録メディア６２に記録された符号化信号の読み出しを行うとき、読み出した符号化信号ＤＲを画像圧縮伸長部４１に供給する。なお、符号化信号は、基準フレームレートの画像信号を圧縮処理して得られた信号である。画像圧縮伸長部４１は、記録再生処理部６１から供給された符号化信号ＤＲの伸長処理を行い、得られた画像信号ＤＶ5を画像出力部５１に供給する。
【００６６】
また、画像再生装置９０において、記録再生処理部６１は、記録メディア６２に記録された高速フレームレートの画像信号の読み出しを行うとき、画像信号と画像信号に対応する再生制御情報ＲＪを読み出す。カメラ信号処理部２０は、記録再生処理部６１から供給された画像信号ＤＶ3を基準フレームレートの画像信号に変換する処理やカメラ信号処理を行う。画像出力部５１は、基準フレームレートの画像信号ＤＶ4を出力画像信号ＤＶoutとして出力する。また、画像再生装置９０において、再生制御情報ＲＪに基づいて再生速度の制御や動きぼけを軽減させる制御を行う場合、制御部８１は、再生制御情報ＲＪに基づきカメラ信号処理部２０や記録再生処理部６１の動作を制御して、カメラ信号処理部２０に供給する画像信号ＤＶ3のフレームレートやカメラ信号処理部２０の画像合成部２１で用いる重み係数を制御する。
【００６７】
また、画像再生装置９０において、記録メディア６２に記録された高速フレームレートの画像信号の読み出しを行うとき再生制御情報ＲＪを得ることができない場合、記録再生処理部６１は、読み出した画像信号ＤＶ3をカメラ信号処理部２０に供給する。カメラ信号処理部２０は、記録再生処理部６１から供給された画像信号ＤＶ3を基準フレームレートの画像信号に変換する処理やカメラ信号処理を行う。画像出力部５１は、基準フレームレートの画像信号ＤＶ4を出力画像信号ＤＶoutとして出力する。また、画像再生装置９０において、被写体の動きが大きくなるに従い撮像画像の再生速度を低下させる再生制御や再生画像における動きぼけを軽減させる再生制御を行う場合、記録再生処理部６１は、読み出した画像信号ＤＶ3を画像圧縮伸長部４１に供給する。画像圧縮伸長部４１は、画像信号ＤＶ3を用いて動き検出を行い、得られた動きベクトルＭＶを制御部８１に供給する。制御部８１は、動きベクトルＭＶに基づいて記録再生処理部６１の動作を制御して、カメラ信号処理部２０に供給する画像信号ＤＶ3のフレームレートを可変させることで、被写体の動きが大きくなるに従い撮像画像の再生速度を低下させる。また、制御部８１は、動きベクトルＭＶに基づいてカメラ信号処理部２０の画像合成部２１で用いる重み係数を制御して、再生画像における動きぼけを軽減させる。
【００６８】
図８は、画像記録装置９１の構成を示すブロック図である。なお、図８において、図１と対応する部分については同一符号を付している。
【００６９】
画像記録装置９１は、画像信号に対して種々のカメラ信号処理を行うカメラ信号処理部２０、フレームメモリ部３１、画像信号の圧縮処理を行って符号化信号を生成する画像圧縮伸長部４１、記録メディア６２に対して符号化信号ＤＷを書き込むための記録再生処理部６１、各部の動作を制御する制御部８１、ユーザインタフェース部８２を有している。
【００７０】
画像記録装置９１において、基準フレームレートの画像信号ＤＶ1を記録するとき、画像圧縮伸長部４１は、カメラ信号処理部２０でカメラ信号処理がなされた基準フレームレートの画像信号ＤＶ2の圧縮処理を行って符号化信号ＤＷを生成する。記録再生処理部６１は、画像圧縮伸長部４１で生成された符号化信号ＤＷを記録メディア６２に書き込む処理を行う。
【００７１】
また、高速フレームレートの画像信号ＤＶ1を記録するとき、カメラ信号処理部２０はカメラ信号処理だけでなくフレームメモリ部３１を用いて画像合成を行い、高速フレームレートの画像信号ＤＶ1を基準フレームレートの画像信号に変換する。画像圧縮伸長部４１は、カメラ信号処理部２０から出力された基準フレームレートの画像信号ＤＶ2を用いて動きベクトルＭＶを生成する。記録再生処理部６１は、画像圧縮伸長部４１で生成された動きベクトルＭＶを再生制御情報ＲＪとして、または制御部８１で動きベクトルＭＶに基づいて生成された再生制御情報ＲＪを取得して、この再生制御情報ＲＪを高速フレームレートの画像信号ＤＶ1と対応付けて記録メディア６２に書き込む処理を行う。
【００７２】
次に、撮像動作と撮像画像の記録動作および記録されている撮像画像の再生動作について説明する。図９は、動作モードが標準撮像モードに設定されているときの処理を示している。なお図９および後述する図１０〜図１２は、各処理が図１，図７のいずれかのブロックに対応するものであるかを明確とするため、対応するブロックの符号を付加している。
【００７３】
撮像装置は、撮像信号の生成を行って、基準フレームレート例えば６０［ｆｐｓ］である撮像信号を生成する。撮像装置は、ＡＦＥ／ＡＤＣの処理を行って撮像信号の信号レベルを調整したのちディジタル信号に変換する。撮像装置は、補正処理を行って信号レベルやホワイトバランスの調整および画素欠陥の補正がなされた画像信号ＤＶ1を生成する。撮像装置は、カメラ信号処理を行って輪郭補正や色補正，ガンマ補正，ニー補正等が行われた画像信号ＤＶ2を生成する。また、撮像装置は、表示処理を行って画像信号ＤＶ2を表示部５３に対応する表示解像度の表示画像信号ＤＨに変換する。なお、撮像装置は、検波処理を行って絞り調整，フォーカス調整，ホワイトバランス調整に必要な情報を検出する。
【００７４】
撮像装置は、このような処理を行って表示部５３の画面上に撮像画像を表示する。したがって、ユーザはどのような被写体が撮像されているかを表示部５３の画面上に表示された画像で確認することができる。また、撮像装置で出力画像信号ＤＶoutを出力すれば、外部機器で撮像画像を表示することが可能となる。
【００７５】
次に、撮像装置（画像記録装置）は、撮像画像を記録するとき、画像圧縮処理を行うことで符号化信号ＤＷを生成する。更に撮像装置（画像記録装置）は、符号化信号ＤＷを記録メディア６２に記録する記録処理を行う。すなわち、記録メディア６２には、基準フレームレートで撮像された画像信号ＤＶ1が符号化されて記録される。
【００７６】
図１０は、図９に示す処理を行うことで記録メディア６２に記録された画像を再生するときの処理を示している。撮像装置（画像再生装置）は、再生処理を行って記録メディア６２から所望の符号化信号を読み出す。撮像装置（画像再生装置）は、画像伸長処理を行って、符号化信号から画像信号ＤＶ5を生成する。更に撮像装置は、表示処理を行って画像信号ＤＶ5を表示部５３に対応する表示解像度の表示画像信号ＤＨに変換する。撮像装置は（画像再生装置）、このような処理を行って表示部５３の画面上に再生画像を表示する。また、撮像装置（画像再生装置）で出力画像信号ＤＶoutを出力すれば、外部機器で再生画像を表示することが可能となる。
【００７７】
図１１は、動作モードが高速撮像モードに設定されているときの処理を示している。
【００７８】
撮像装置は、撮像信号の生成を行って高速フレームレート例えば２４０［ｆｐｓ］である撮像信号を生成する。撮像装置は、ＡＦＥ／ＡＤＣの処理を行って撮像信号の信号レベルを調整したのちディジタル信号に変換する。撮像装置は、補正処理を行って信号レベルやホワイトバランスの調整および画素欠陥の補正がなされた画像信号ＤＶ1を生成する。撮像装置は、高速フレームレートの画像信号ＤＶ1に対してカメラ信号処理を行う。カメラ信号処理では、輪郭補正や色補正，ガンマ補正，ニー補正等だけでなく、高速フレームレートの画像信号を基準フレームレートの画像信号に変換する画像合成行い、基準フレームレートの画像信号ＤＶ2を生成する。
【００７９】
また、撮像装置は、表示処理を行って画像信号ＤＶ2を表示部５３に対応する表示解像度の表示画像信号ＤＨに変換する。撮像装置は、このような処理を行って、高速撮像モードに設定されても、表示部５３の画面上に撮像画像を表示する。また、撮像装置で出力画像信号ＤＶoutを出力すれば、外部機器で撮像画像を表示することが可能となる。なお、撮像装置は、フレームレートが基準フレームレートよりも高くされており、フレーム周期で絞り調整、フォーカス調整、ホワイトバランス調整の処理が行われることから、標準撮像モードに比べてこれらの制御の精度、速度を向上することができる。
【００８０】
次に、撮像装置（画像記録装置）は、撮像画像を記録するとき、画像圧縮処理を行って動き検出結果例えば動きベクトルＭＶを生成する。更に、動きベクトルＭＶを再生制御情報ＲＪ、または動きベクトルＭＶに基づいて再生制御情報ＲＪを生成する。更に撮像装置（画像記録装置）は、記録処理を行って高速フレームレートの画像信号と再生制御情報ＲＪを対応付けて記録メディア６２に記録する。
【００８１】
図１２は、図１１に示す処理を行うことで記録メディア６２に記録された画像を再生するときの処理を示している。撮像装置（画像再生装置）は、再生処理を行って記録メディア６２から所望の画像信号ＤＶ3と画像信号に対応付けられている再生制御情報ＲＪを読み出す。撮像装置（画像再生装置）は、再生制御処理を行い、再生制御情報ＲＪに基づき画像信号ＤＶ3のフレームレートを制御して撮像画像における被写体の動きが大きくなるに従い再生速度を遅くしてスローモーション画像を生成させる処理と、カメラ信号処理で動きの大きい被写体のぼけが軽減されたスローモーション画像を生成させる処理を行わせる。撮像装置（画像再生装置）は、カメラ信号処理を行って、画像信号ＤＶ3から輪郭補正や色補正，ガンマ補正，ニー補正等の処理が行われた基準フレームレートの画像信号ＤＶ4を生成する。また、撮像装置（画像再生装置）は、カメラ信号処理を行って画像信号ＤＶ3を基準フレームレートの画像信号に変換する際に、動きぼけが軽減されるように画像合成を行う。更に、撮像装置は、表示処理を行って画像信号ＤＶ4を表示部５３に対応する表示解像度の画像信号に変換する。撮像装置は、このような処理を行って表示部５３の画面上に再生画像を表示する。また、撮像装置（画像再生装置）で出力画像信号ＤＶoutを出力すれば、外部機器で再生画像を表示することが可能となる。
【００８２】
また、撮像装置（画像再生装置）は、所望の画像信号ＤＶ3に対応付けられている再生制御情報ＲＪを得ることができないときに、被写体の動きが大きくなるに従い撮像画像の再生速度を低下させる再生制御や再生画像における動きぼけを軽減させる再生制御を行う場合、再生制御処理において、画像信号ＤＶ3を用いて動き検出を行い、得られた動きベクトルに基づき画像信号ＤＶ3のフレームレートを制御して撮像画像における被写体の動きが大きくなるに従い再生速度を遅くしてスローモーション画像を生成させる処理や、カメラ信号処理で動きの大きい被写体のぼけが軽減されたスローモーション画像を生成させる処理を行わせる。
【００８３】
なお、撮像装置（画像再生装置）の制御部８１は、ユーザの指示した再生速度に応じて、記録メディア６２に記録されている画像信号を順次再生するように、記録再生処理部６１の動作を制御するものとしてもよい。例えば、制御部８１は、ユーザが１倍速の再生速度を指示した場合、画像信号ＤＶ3のフレームレートが２４０［ｆｐｓ］となるように記録メディア６２から画像信号の読み出しを行い、画像信号ＤＶ3の連続する４フレームをカメラ信号処理部２０で順次画像合成して、基準フレームレートである６０［ｆｐｓ］の画像信号とする変換を行う。また制御部８１は、ユーザが(１/２)倍速の再生速度を指示した場合、画像信号ＤＶ3のフレームレートが１２０［ｆｐｓ］となるように記録メディア６２から画像信号の読み出しを行い、画像信号ＤＶ3の連続する４フレームをカメラ信号処理部２０で順次画像合成して、基準フレームレートである６０［ｆｐｓ］の画像信号とする変換を行う。また制御部８１は、ユーザが(１/４)倍速の再生速度を指示した場合、画像信号ＤＶ3のフレームレートが基準フレームレートである６０［ｆｐｓ］となるように記録メディア６２から画像信号の読み出しを行う。
【００８４】
また、制御部８１は、ユーザが早送り再生すなわち１倍速を超える再生速度を指示した場合、記録メディア６２から再生速度に応じて間引きして画像信号を読み出すことで、指示された再生速度の画像を示す基準フレームレートの画像信号を生成する。この場合にも、連続する複数フレームの画像を合成して、早送り再生における１フレームの画像を生成するようにしてもよい。
【００８５】
次に、再生画像の動きぼけを軽減させる動作について説明する。画像信号ＤＶ3の画像合成を行い基準フレームレートの画像信号に変換する場合、例えば上述の図５に示すように４つのフレームa〜dの画像を合成して１フレーム(ａ＋ｂ＋ｃ＋ｄ）の画像を生成する場合、被写体の動きが大きいと、フレームa〜dにおける被写体の位置が大きく異なるものとなる。このため、重み係数を等しくして巡回加算を行うものとすると、動きの大きい被写体の画像がぼけを生じてしまう。したがって、画質の良好な再生画像を得ることができない。
【００８６】
そこで、制御部８１は、動きの大きい部分では、巡回加算する複数フレーム内に重み付けの大きいフレームおよびこのフレームと時間的に離れている重み付けが小さいものとされたフレームが設けられるように、フレーム間で違いを生じた重み係数を生成させるための重み係数選択値ＷＳを決定して、カメラ信号処理部２０における画像合成部２１の重み係数生成部２１２に供給する。
【００８７】
図１３は、制御部８１から画像合成部２１の重み係数生成部２１２に供給する重み係数選択値の生成動作を説明するための図である。
【００８８】
制御部８１は、画像信号を用いて動き検出を行うことにより得られた動きの大きさに応じて、重み係数選択値ＷＳを決定する。例えば、画像圧縮伸長部４１で画像信号ＤＶ1の圧縮処理を行うときに得られる動きベクトルＭＶを用いて重み係数選択値ＷＳを設定する。具体的には、動きベクトルＭＶの動き量の絶対値（以下「動きベクトル絶対値」という）ＭＶmをしきい値と比較して、比較結果に応じて重み係数選択値ＷＳを決定する。しきい値は、画像合成するフレーム数に拘わらず固定の値を用いるものとしてもよく、画像合成するフレーム数に応じてしきい値の数を変更するものとしてもよい。例えば、画像合成するフレーム数が多いときには、動きベクトル絶対値ＭＶmに応じて多様な重み係数の設定できるように、しきい値の数を多くする。
【００８９】
図１３の（Ａ）は、例えば２４０［ｆｐｓ］で撮像された撮像画像を４フレーム単位で画像合成して６０［ｆｐｓ］で再生する場合、すなわち再生速度を１倍速としたときの重み係数選択値ＷＳを示している。なお、図１３の（Ａ）では、２つのしきい値Ｍta1，Ｍta2が設けられている。
【００９０】
制御部８１は、動きベクトル絶対値ＭＶmがしきい値Ｍta1未満であるとき、重み係数選択値ＷＳを「Ｗa0」とする。また、制御部８１は、動きベクトル絶対値ＭＶmがしきい値Ｍta1以上でしきい値Ｍta2未満であるとき、重み係数選択値ＷＳを「Ｗa1」とする。更に、制御部８１は、動きベクトル絶対値ＭＶmがしきい値Ｍtb2以上であるとき、重み係数選択値ＷＳを「Ｗa2」とする。
【００９１】
図１３の（Ｂ）は、例えば２４０［ｆｐｓ］で撮像された撮像画像を２フレーム単位で画像合成して６０［ｆｐｓ］で再生する場合、すなわち再生速度を(１/２)速としたときの重み係数選択値ＷＳを示している。なお、図１３の（Ｂ）では、１つのしきい値Ｍtb1が設けられている。
【００９２】
制御部８１は、動きベクトル絶対値ＭＶmがしきい値Ｍtb1未満であるとき、重み係数選択値ＷＳを「Ｗb0」とする。また、制御部８１は、動きベクトル絶対値ＭＶmがしきい値Ｍtb1以上であるとき、重み係数選択値ＷＳを「Ｗb1」とする。
【００９３】
ここで動きベクトルＭＶは、マクロブロック毎に検出されることから、制御部８１は、図１４に示すように、画像信号ＤＶ3のマクロブロック毎に、動きベクトル絶対値ＭＶmに応じて重み係数選択値ＷＳが設定されることになる。なお、図１４では、画面の周辺部分では動きが小さく、中心側に近づくにしたがって徐々に動きが大きくなる場合を例示しており、画面の周辺部分のマクロブロックでは重み係数選択値ＷＳが「Ｗa0」に設定され、中心側に近づいたマクロブロックでは重み係数選択値ＷＳが「Ｗa1」に設定され、中心側のマクロブロックでは重み係数選択値ＷＳが「Ｗa2」に設定される。
【００９４】
画像合成部２１の重み係数生成部２１２は、重み係数選択値ＷＳに応じた重み係数を画像合成する期間内のフレーム毎に順次出力する。図１５は、重み係数を例示している。図１５において「×１」は、例えば２４０［ｆｐｓ］で撮像された撮像画像を４フレーム単位で画像合成して６０［ｆｐｓ］で再生する場合、すなわち再生速度を１倍速としたときの重み係数を示している。この場合、４つのフレームが画像合成されることから、画像合成される４つのフレームａ〜ｄに対して重み係数を設定する。
【００９５】
また、図１５において「×１/２」は、例えば２４０［ｆｐｓ］で撮像された撮像画像を２フレーム単位で画像合成して６０［ｆｐｓ］で再生する場合、すなわち再生速度を(１/２)倍としたときの重み係数を示している。この場合、２つのフレームが画像合成されることから、画像合成される２つのフレームａ，ｂに対して重み係数を設定する。
【００９６】
重み係数生成部２１２は、重み係数選択値ＷＳが「Ｗa0」であるとき画像合成するフレームａ，ｂ，ｃ，ｄの重み係数を「２」として、重み係数選択値ＷＳが「Ｗb0」であるとき画像合成するフレームａ，ｂの重み係数を「２」とする。すなわち、動きがないまたは動きが小さい部分の画像は重み付けが等しくされる。したがって、画像合成部２１から出力される画像信号は、画像合成されるいずれかのフレームの画像にノイズが重畳されても、巡回加算後の画像信号が割り算回路２１４によって所定信号レベル範囲の画像信号とされるので、動きがない部分や動きが小さい部分のノイズが低減された画像信号となる。
【００９７】
重み係数生成部２１２は、重み係数選択値ＷＳが「Ｗa1」であるとき、画像合成するフレームａ，ｂ，ｃ，ｄの重み係数をフレーム順に「１，１，３，３」とし、重み係数選択値ＷＳが「Ｗa2」であるとき、画像合成するフレームａ，ｂ，ｃ，ｄの重み係数をフレーム順に「１，１，２，４」とする。また、重み係数生成部２１２は、重み係数選択値ＷＳが「Ｗb1」であるとき、画像合成するフレームａ，ｂの重み係数をフレーム順に「１，３」とする。すなわち、動きが大きい部分については、画像合成するフレームにおいて、重み付けの大きいフレームとこのフレームと時間的に離れている重み付けが小さいものとされたフレームが設けられるように重み係数が設定される。また、動きが大きい部分ほど、重み付けの大きいフレームと時間的に離れている重み付けが小さいフレームとの重み付けの差が大きくなるように重み係数が設定される。このため、重み付けが大きいものされたフレームに対して、時間的に離れたフレームすなわち被写体の位置が大きく異なるフレームの重み付けは小さいものとされることから、重み付けを等しくして画像合成する場合に比べて動きぼけの低減された画像信号となる。
【００９８】
なお、制御部８１は、動きぼけが低減するように画像合成する各フレームに対してフレーム間で違いを生じた重み係数を設定する処理をユーザが指示した場合にのみ実行するようにして、通常は、画像合成するフレームで重み係数を等しくするようにし、標準撮像モードで撮像した撮像結果を再生する場合と同様の画質で、高速撮像した撮像結果を再生するようにしてもよい。
【００９９】
また、制御部８１は、動きの大きな部分において、画像合成する各フレームに対してフレーム間で違いを生じた重み係数を設定する処理を、高速撮像モードにおける記録時に実行して、再生制御情報ＲＪに重み係数選択値あるいは重み係数を含めるものとしてもよい。この場合、再生時における重み係数の設定が容易となる。例えば、動きベクトルＭＶから重み係数を設定する機能を有していない画像再生装置でも、動きぼけの低減された基準フレームレートの画像信号を出力することが可能となる。
【０１００】
また、制御部８１は、記録メディア６２に記録された撮像画像の再生時に再生制御情報ＲＪを得ることができない場合、画像圧縮伸長部４１で画像信号ＤＶ3を用いた動き検出を行い、この動き検出によって得られた動きベクトルＭＶから重み係数選択値ＷＳを決定するものとしてもよい。
【０１０１】
次に、被写体の動きに応じて再生速度を制御する場合について説明する。制御部８１は、ユーザの指示により、撮像画像における被写体の動きが大きくなればなる程、再生速度が低下するように推奨再生速度ＳＲを決定して、この推奨再生速度ＳＲを表示部５３にオンスクリーン表示する。またユーザが推奨再生速度ＳＲによる再生を指示した場合、制御部８１は推奨再生速度ＳＲの画像信号ＤＶ4を生成するように各部の動作を制御する。更に、制御部８１は、パンやチルト等のカメラワークによる動きの影響を受けないように背景の動きを検出して、この背景の動きを用いて背景に対する被写体の相対的な動きの大きさを算出して、算出した被写体の相対的な動きの大きさに応じて、推奨再生速度ＳＲを決定する。
【０１０２】
図１６は推奨再生速度を決定する処理を説明するための図である。制御部８１は、背景と所望の被写体の動きを区別できるようにするため、撮像画像に対して枠ＢＦを設定して、所望の被写体が位置する中央部分と背景部分に相当する周辺部分ｂに撮像画像を区分する。また、制御部８１は、撮像画像の画像信号を用いて検出した動きベクトルＭＶを絶対値化して、動きの大きさを示す動きベクトル絶対値ＭＶmを算出する。次に、制御部８１は、動きベクトル絶対値ＭＶmを枠ＢＦの内側と外側に分けて加算して、枠ＢＦの内側の動きベクトル絶対値ＭＶmを加算した絶対値和から枠ＢＦの外側の動きベクトル絶対値ＭＶmを加算した絶対値和を式（１）のように減算して背景に対する所望の被写体の相対的な動きの大きさを示す判定値ＭＵを算出する。
ＭＵ＝Σ（枠内の各マクロブロックについての動きベクトル絶対値）
−Σ（枠外の各マクロブロックについての動きベクトル絶対値）・・・（１）
【０１０３】
次に、制御部８１は、判定値ＭＵとしきい値ＡＶt1、ＡＶt2を比較して、比較結果に基づき推奨再生速度ＳＲを決定する。図１７は、判定値と推奨再生速度の関係を示す図である。
【０１０４】
制御部８１は、判定値ＭＵがしきい値ＡＶt1未満であるとき推奨再生速度ＳＲを１倍速（×１）である「Ｆr0」に決定する。また、制御部８１は、判定値ＭＵがしきい値ＡＶt1以上でしきい値ＡＶt2未満であるとき推奨再生速度ＳＲを「Ｆr1」に決定する。更に、制御部８１は、制御部８１は、判定値ＭＵがしきい値ＡＶt2以上であるとき推奨再生速度ＳＲを「Ｆr2」に決定する。ここで、高速フレームレートの画像信号ＤＶ1が２４０［ｆｐｓ］、基準フレームレートが６０［ｆｐｓ］である場合、制御部８１は、推奨再生速度ＳＲが「Ｆr2」のとき、画像信号ＤＶ3のフレームレートが６０［ｆｐｓ］となるように記録メディア６２から画像信号の読み出しを行い、画像信号ＤＶ3を画像合成することなく処理して再生画像の画像信号とする再生速度、すなわち(１/４)倍速を推奨再生速度ＳＲとする。また制御部８１は、推奨再生速度ＳＲが「Ｆr1」のとき、例えば１倍速と(１/４)倍速の中間である(１/２)倍速を推奨再生速度ＳＲとする。
【０１０５】
このように推奨再生速度ＳＲを設定すると、背景に対する被写体の相対的な動きの大きさが小さいときには１倍速の再生速度となり、動きが大きくなるに伴い再生速度が遅いものとされる。このため、推奨再生速度ＳＲで再生を行うものとすれば、背景に対して被写体の動きが大きいときには被写体の動きがゆっくりとされたスローモーション再生画像となり、被写体の動きが小さいときには被写体の動きが実際の動きとなるように自動的に再生速度が可変される。したがって、ユーザは、被写体の動きが大きいときに被写体の動きをゆっくりとした動きで確認できるようにスローモーション再生動作に切り換えて、被写体の動きが小さくなったときに１倍速再生に切り換える操作を行う必要がなく、ユーザの利便性を格段的に向上することができる。
【０１０６】
また、制御部８１は、推奨再生速度ＳＲの設定を、高速撮像モードにおける記録時に実行して、再生制御情報ＲＪに推奨再生速度ＳＲを含めるものとしてもよい。この場合、再生時における推奨再生速度ＳＲの設定が容易となる。例えば、動きベクトルＭＶから推奨再生速度ＳＲを設定する機能を有していない画像再生装置でも、被写体の動きに応じて再生速度を自動的に可変することができる。
【０１０７】
また、制御部８１は、推奨再生速度ＳＲの設定を、高速撮像モードで記録された画像の再生時に実行するものとしてもよい。この場合、制御部８１は、高速撮像モードにおける記録時に、再生制御情報ＲＪに推奨再生速度ＳＲを含めて、再生制御情報ＲＪを画像信号ＤＶ1と対応させて記録メディア６２に記録させる。また、制御部８１は、高速撮像モードで記録された画像の再生時に、画像信号と画像信号に対応する再生制御情報ＲＪを読み出して、この再生制御情報ＲＪで示された推奨再生速度ＳＲとなるようにカメラ信号処理部２０に供給するフレームレートを制御する。
【０１０８】
また、制御部８１は、記録メディア６２に記録された撮像画像の再生時に再生制御情報ＲＪを得ることができない場合、画像圧縮伸長部４１で画像信号ＤＶ3を用いた動き検出を行い、この動き検出によって得られた動きベクトルＭＶから推奨再生速度ＳＲを決定して、撮像画像の再生速度を制御するものとしてもよい。
【０１０９】
図１８は、撮像装置１０および画像記録装置９１で画像信号を記録するときの動作を示すタイムチャートである。なお、図１８では、動きベクトルＭＶに基づき推奨再生速度ＳＲを決定して、この推奨再生速度ＳＲが含まれた再生制御情報ＲＪを画像信号に対応させて記録する場合を示している。
【０１１０】
図１８の（Ａ）は基準フレームレートである６０〔ｆｐｓ〕の垂直同期信号ＶＤである。図１８の（Ｂ）は、撮像部１２で画像信号ＤＶ1を生成するために用いる垂直同期信号ＶＤcである。撮像装置１０は、垂直同期信号ＶＤcに同期してイメージセンサ１２１、ＡＦＥ１２２、ＡＤＣ１２３、補正処理部１２４、検波部７１を動作させて、図１８の（Ｃ）に示す画像信号ＤＶ1を生成させる。なお、図１８の（Ｃ）では、連続した数字で各フレームを示している。
【０１１１】
図１８の（Ｈ）は、カメラ信号処理部２０や画像圧縮伸長部４１、画像出力部５１、表示処理部５２、表示部５３における動作の基準となる基準フレームレートの垂直同期信号ＶＤsである。また、垂直同期信号ＶＤh，ＶＤsは、垂直同期信号ＶＤに同期した信号とされている。
【０１１２】
標準撮像モードのとき、撮像部１２は、基準フレームレートとされている垂直同期信号ＶＤcに同期した画像信号ＤＶ1のフレーム「０」の信号を生成する。カメラ信号処理部２０は、画像信号ＤＶ1が基準フレームレートとされていることから、画像合成を除く他のカメラ信号処理を行う。このカメラ信号処理部２０から出力される画像信号ＤＶ2のフレーム「０」の信号を、表示処理部５２を介して表示部５３に供給することで、図１８の（Ｊ）に示すように、表示部５３に供給される表示画像信号ＤＨや画像出力部５１から出力画像信号ＤＶoutは、フレーム「０」の画像を表示するものとなる。
【０１１３】
高速撮像モードのとき、撮像部１２は、６０［ｆｐｓ］の４倍である２４０［ｆｐｓ］の垂直同期信号ＶＤcに同期した画像信号ＤＶ1のフレーム「１」「２」・・・の信号を生成する。カメラ信号処理部２０は、画像信号ＤＶ1が高速フレームレートとされていることから、画像合成を行い基準フレームレートの画像信号に変換する。
【０１１４】
図１８の（Ｄ）〜（Ｇ）は、カメラ信号処理部２０の画像合成部２１で行われる画像合成を説明するための信号である。図１８の（Ｄ）は、フレームメモリ部３１のバンク３１２ａに書き込まれる画像信号Ｄfwa、図１８の（Ｅ）は、フレームメモリ部３１のバンク３１２ａから読み出される画像信号Ｄfra、図１８の（Ｆ）は、フレームメモリ部３１のバンク３１２ｂに書き込まれる画像信号Ｄfwb、図１８の（Ｇ）は、フレームメモリ部３１のバンク３１２ｂから読み出される画像信号Ｄfrbをそれぞれ示している。
【０１１５】
画像合成部２１は、フレーム「１」の信号をバンク３１２ａに記憶させる。次のフレームで画像合成部２１は、バンク３１２ａに記憶されているフレーム「１」の信号を読み出してフレーム「２」の信号と加算して、巡回加算フレーム「２’」の信号をバンク３１２ａに記憶させる。なお図１８の（Ｄ）〜（Ｇ）では、画像合成が行われた巡回加算フレームに対して数字に「’」を付加している。
【０１１６】
画像合成部２１は、このように巡回加算によって画像合成を行い、基準フレーム期間分の画像合成が完了したとき、すなわちフレーム「１」〜「４」を巡回加算した巡回加算フレーム「４’」の信号がバンク３１２ａに記憶されたとき、画像信号の書き込みをバンク３１２ａからバンク３１２ｂに切り換える。また、画像合成部２１は、バンク３１２ａに記憶されている４フレーム分の画像合成後の信号を、割り算回路で所定レベル範囲の信号に戻しながら垂直同期信号ＶＤsに同期して読み出して輪郭補正等のカメラ信号処理を行ったのち、画像出力部５１や表示処理部５２を介して表示部５３に供給する。
【０１１７】
画像合成部２１は、フレーム「５」の信号をバンク３１２ｂに記憶させる。次のフレームで画像合成部２１は、バンク３１２ｂに記憶されているフレーム「５」の信号を読み出してフレーム「６」の信号と加算して、巡回加算フレーム「６’」の信号をバンク３１２ｂに記憶させる。画像合成部２１は、フレーム「５」〜「８」を巡回加算した巡回加算フレーム「８’」の信号がバンク３１２ｂに記憶されたとき、画像信号の書き込みを行うバンクをバンク３１２ａに切り換えて、バンク３１２ｂに記憶されている４フレーム分の画像合成後の信号を、割り算回路で所定レベル範囲の信号に戻しながら基準フレーム期間で読み出して輪郭補正等の処理を行ったのち、画像出力部５１や表示処理部５２を介して表示部５３に供給する。以下同様に処理すると、図１８の（Ｊ）に示すように、高速撮像モードとされているときでも、基準フレームレートでの画像表示や画像出力を行うことができる。
【０１１８】
また、記録操作が行われているとき、制御部８１は、標準撮像モードで生成された画像信号例えばフレーム「０」の信号を、圧縮処理して記録メディア６２に記録し、高速撮像モードで生成された画像信号例えばフレーム「１」「２」・・・の信号を、カメラ信号処理や圧縮処理を行うことなく記録メディア６２に記録する。
【０１１９】
更に、制御部８１は、高速撮像モードであるとき、カメラ信号処理部２０から出力される画像信号を画像圧縮伸長部４１で処理させて、画像圧縮伸長部４１で生成された動き情報に基づき、図１８の（Ｉ）に示す推奨再生速度ＳＲを決定して、この推奨再生速度ＳＲを含む再生制御情報ＲＪを高速撮像モードで生成された画像信号と対応付けて記録メディア６２に記録する。なお、図示せずも、再生時に重み係数を設定する場合には、重み係数選択値ＷＳを再生制御情報ＲＪに含めて、画像信号と対応付けて記録メディア６２に記録する。
【０１２０】
図１９は、撮像装置１０および画像再生装置９０で記録メディア６２に記録されている画像を生成するときの動作を示すタイムチャートである。なお、図１９では、推奨再生速度による再生をユーザが指示した場合を示している。
【０１２１】
図１９の（Ａ）は、基準フレームレートである６０〔ｆｐｓ〕の垂直同期信号ＶＤである。図１９の（Ｂ）は、記録メディア６２から画像信号とともに読み出された推奨再生速度ＳＲを示している。図１９の（Ｃ）は、記録メディア６２から読み出す画像信号の垂直同期信号ＶＤrを示している。また、図１９の（Ｉ）は、カメラ信号処理部２０や画像圧縮伸長部４１、画像出力部５１、表示処理部５２、表示部５３における動作の基準となる基準フレームレートの垂直同期信号ＶＤsである。
【０１２２】
読み出した推奨再生速度ＳＲが１倍速（×１）である「Ｆr0」であるとき、制御部８１は、画像信号ＤＶ3を記録時のフレームレート、すなわち画像信号ＤＶ3を２４０［ｆｐｓ］としてカメラ信号処理部２０に供給する。図１９の（Ｄ）は、画像信号ＤＶ3を示している。
【０１２３】
制御部８１は、画像信号ＤＶ3が高速撮像モードで記録されていることから、カメラ信号処理部２０で画像合成を行わせて基準フレームレートの画像信号を生成させる。
【０１２４】
図１９の（Ｅ）〜（Ｈ）は、カメラ信号処理部２０の画像合成部２１で行われる画像合成を説明するための信号である。図１９の（Ｅ）は、フレームメモリ部３１のバンク３１２ａに書き込まれる画像信号Ｄfwa、図１９の（Ｆ）は、フレームメモリ部３１のバンク３１２ａから読み出される画像信号Ｄfra、図１９の（Ｇ）は、フレームメモリ部３１のバンク３１２ｂに書き込まれる画像信号Ｄfwb、図１９の（Ｈ）は、フレームメモリ部３１のバンク３１２ｂから読み出される画像信号Ｄfrbをそれぞれ示している。
【０１２５】
画像合成部２１は、上述のように画像合成を行い、基準フレーム期間分の画像合成が完了したとき、すなわちフレーム「１」〜「４」を画像合成した巡回加算フレーム「４’」の信号がバンク３１２ａに記憶されたとき、画像信号の書き込みを行うバンクをバンク３１２ａからバンク３１２ｂに切り換える。また、画像合成では、動き情報に応じて重み係数が設定されて、設定された重き係数で巡回加算されるフレームの重み付けが行われる。また、画像合成部２１は、バンク３１２ａに記憶されている４フレーム分の画像合成後の信号を、割り算回路で所定レベル範囲の信号に戻しながら垂直同期信号ＶＤsに同期して読み出して輪郭補正等のカメラ信号処理を行ったのち、画像出力部５１や表示処理部５２を介して表示部５３に供給する。図１９の（Ｊ）は、表示部５３に供給される表示画像信号ＤＨや画像出力部５１から出力画像信号ＤＶoutを示している。
【０１２６】
次に、読み出した推奨再生速度ＳＲが(１/２)倍速である「Ｆr1(×1/2)」であるとき、制御部８１は、画像信号ＤＶ3を記録時の(１/２)倍のフレームレート、すなわち画像信号ＤＶ3を１２０［ｆｐｓ］としてカメラ信号処理部２０に供給する。このときも画像信号ＤＶ3のフレームレートは基準フレームレートよりも高いことから、制御部８１は、カメラ信号処理部２０で画像合成を行わせて、基準フレームレートの画像信号を生成させる。
【０１２７】
すなわち、画像合成部２１は、フレーム「９」の信号をバンク３１２ａに記憶させる。次のフレームで画像合成部２１は、バンク３１２ａに記憶されているフレーム「９」の信号を読み出してフレーム「１０」の信号と加算して、巡回加算フレーム「１０’」の信号をバンク３１２ａに記憶させる。
【０１２８】
画像合成部２１は、基準フレーム期間分の画像合成が完了したとき、すなわちフレーム「９」，「１０」の画像合成が行われた巡回加算フレーム「１０’」の信号がバンク３１２ａに記憶されたとき、画像信号の書き込みを行うバンクをバンク３１２ａからバンク３１２ｂに切り換える。また、画像合成部２１は、バンク３１２ａに記憶されている２フレーム分の画像合成後の信号を、割り算回路で所定レベル範囲の信号に戻しながら垂直同期信号ＶＤsに同期して読み出して輪郭補正等の処理を行ったのち、画像出力部５１や表示処理部５２を介して表示部５３に供給する。
【０１２９】
次に、読み出した推奨再生速度ＳＲが(１/４)倍速である「Ｆr2(×1/4)」であるとき、制御部８１は、画像信号ＤＶ3を記録時の(１/４)倍のフレームレート、すなわち画像信号ＤＶ3を６０［ｆｐｓ］としてカメラ信号処理部２０に供給する。このとき、画像信号ＤＶ3のフレームレートは基準フレームレートであることから、制御部８１は、カメラ信号処理部２０で画像合成を行うことなく、輪郭補正等のカメラ信号処理を行ったのち、画像出力部５１や表示処理部５２を介して表示部５３に供給する。なお、カメラ信号処理部２０は、画像合成を行うとき基準フレーム期間分の画像合成が行われた画像信号を次の基準フレーム期間で読み出すものであることから画像合成後の信号は、画像信号ＤＶ3に対して１フレーム遅延したものとなっている。したがって、画像信号ＤＶ3が基準フレームレートであるとき、制御部８１は、画像信号ＤＶ3をバンク３１２ａまたはバンク３１２ｂに書き込み、書き込まれた画像信号を次の基準フレーム期間で読み出すように制御して、推奨再生速度ＳＲの切り換えが行われても、各フレームの画像信号ＤＶ3を用いて画像の再生を順次行わせる。
【０１３０】
このように、推奨再生速度ＳＲで再生動作を行うものとすれば、動きの小さいときには画像信号ＤＶ3が４フレーム単位で画像合成されて、基準フレームレートの画像とされるので、表示または出力される画像は自動的に１倍速の再生画像となる。また、動きが大きくなるに伴い、画像信号ＤＶ3のフレームレートが遅くされると共に画像合成されるフレーム数も少なくされるので、表示または出力される画像は自動的にスローモーションの再生画像となる。
【０１３１】
また、制御部８１は、動きの小さいとき重み係数を等しく設定して、動きの大きいときには画像合成による動きぼけが少なくなるように画像合成するフレーム間で違いを生じた重み係数に設定する。したがって、動きの小さい部位はノイズの低減された画像となり、動きの大きい部位は、画像合成を行ってもぼけの少ない画像となる。
【０１３２】
図２０は、記録メディア６２から読み出した画像信号を用いて動き検出を行い、推奨再生速度を設定して、この推奨再生速度による再生をユーザが指示した場合のタイミングチャートを示している。
【０１３３】
図２０の（Ａ）は、基準フレームレートである６０〔ｆｐｓ〕の垂直同期信号ＶＤである。図２０の（Ｂ）は、記録メディア６２から読み出す画像信号の垂直同期信号ＶＤrを示しており、垂直同期信号ＶＤrは、記録されている画像信号のフレームレートである２４０［ｆｐｓ］のフレーム周期とされている。また、図２０の（Ｉ）は、カメラ信号処理部２０や画像圧縮伸長部４１、画像出力部５１、表示処理部５２、表示部５３における動作の基準となる基準フレームレートの垂直同期信号ＶＤsである。
【０１３４】
図２０の（Ｄ）カメラ信号処理部と画像圧縮伸長部４１に供給される画像信号ＤＶ3、図２０の（Ｃ）は、画像信号ＤＶ3を用いて動き検出を行うことにより決定された推奨再生速度ＳＲを示している。
【０１３５】
記録再生処理部６１は、記録メディア６２から画像信号の読み出しを行い、垂直同期信号ＶＤと垂直同期信号ＶＤrに同期して１フレーム分の画像信号ＤＶ3を注目フレームの画像信号としてカメラ信号処理部２０と画像圧縮伸長部４１に供給する。画像圧縮伸長部４１は、垂直同期信号ＶＤ，ＶＤrに同期して供給された注目フレームの画像信号と、このフレームよりも例えば１フレーム前である参照フレームの画像信号を用いて動き検出を行い動きベクトルＭＶを検出する。制御部８１は、検出された動きベクトルＭＶに基づき、この注目フレームが含まれる基準フレーム期間の推奨再生速度ＳＲと重み係数選択値ＷＳを決定する。
【０１３６】
例えば画像圧縮伸長部４１は、注目フレームであるフレーム「１」の画像信号と参照フレームであるフレーム「０」の画像信号を用いて動き検出を行い、動きベクトルＭＶを検出する。制御部８１は、この動きベクトルＭＶに基づき、フレーム「１」が含まれる基準フレーム期間の推奨再生速度ＳＲを決定する。ここで、検出した動きベクトルＭＶに基づいて算出した判定値ＭＵがしきい値ＡＶt1未満であるとき、制御部８１は、フレーム「１」が含まれる基準フレーム期間の推奨再生速度ＳＲを１倍速(×１）である「Ｆro」とする。１倍速のときには、画像信号ＤＶ3の４フレーム分を画像合成することから、制御部８１は記録再生処理部６１を制御して、フレーム「１」に続く３フレームの画像信号をカメラ信号処理部２０と画像圧縮伸長部４１に供給する。
【０１３７】
図２０の（Ｅ）〜（Ｈ）は、カメラ信号処理部２０の画像合成部２１で行われる画像合成を説明するための信号である。図２０の（Ｅ）は、フレームメモリ部３１のバンク３１２ａに書き込まれる画像信号Ｄfwa、図２０の（Ｆ）は、フレームメモリ部３１のバンク３１２ａから読み出される画像信号Ｄfra、図２０の（Ｇ）は、フレームメモリ部３１のバンク３１２ｂに書き込まれる画像信号Ｄfwb、図２０の（Ｈ）は、フレームメモリ部３１のバンク３１２ｂから読み出される画像信号Ｄfrbをそれぞれ示している。
【０１３８】
画像合成部２１は、上述のように画像合成を行い、基準フレーム期間分の画像合成が完了したとき、すなわちフレーム「１」〜「４」を画像合成した巡回加算フレーム「４’」の信号がバンク３１２ａに記憶されたとき、画像信号の書き込みを行うバンクをバンク３１２ａからバンク３１２ｂに切り換える。また、画像合成では、検出された動きベクトルに基づいて決定された重み係数選択値ＷＳに応じて重み係数が設定されて、設定された重き係数で巡回加算されるフレームの重み付けが行われる。また、画像合成部２１は、バンク３１２ａに記憶されている４フレーム分の画像合成後の信号を、割り算回路で所定レベル範囲の信号に戻しながら垂直同期信号ＶＤsに同期して、次の基準フレーム期間で読み出して輪郭補正等の処理を行ったのち、画像出力部５１や表示処理部５２を介して表示部５３に供給する。図２０の（Ｊ）は表示部５３に供給される表示画像信号ＤＨや画像出力部５１から出力される出力画像信号ＤＶoutを示している。なお、重み係数選択値ＷＳを決定するとき、既に巡回加算する１フレーム目の画像信号がバンクに記憶される。このため、重み係数選択値ＷＳに応じて選択される動き係数において最初のフレームの係数を等しくしておけば、２番目のフレーム以降の動き係数を調整して、動きぼけを軽減させることができる。例えば図１５において、重み係数選択値ＷＳが「Ｗa0」であるときの係数を「１，１，１，１」として、図４に示す割り算回路２１４では、重み係数選択値ＷＳが「Ｗa0」であるとき、フレームメモリ部３１から供給された画像信号の信号レベルを(１/４)倍する。このようにすれば、フレームａの係数は重み係数選択値ＷＳが「Ｗa0」「Ｗa1」「Ｗa2」のいずれであっても「１」とされるので、既に巡回加算する１フレーム目の画像信号がバンクに記憶されても、動きがない部分や動きが小さい部分のノイズや動きの大きい部分の動きぼけを低減させることができる。
【０１３９】
次に、注目フレームであるフレーム「５」の画像信号と参照フレームであるフレーム「４」の画像信号を用いて動き検出を行い、検出された動きベクトルＭＶに基づきフレーム「５」が含まれる基準フレーム期間の推奨再生速度ＳＲが１倍速(×１）である「Ｆro」に決定されると、バンク３１２ｂを用いて４フレームの巡回加算が行われて、表示画像信号ＤＨの生成や出力画像信号ＤＶoutの出力が行われる。
【０１４０】
次に、注目フレームであるフレーム「９」の画像信号と参照フレームであるフレーム「８」の画像信号を用いて動き検出を行い、検出された動きベクトルＭＶに基づきフレーム「８」が含まれる基準フレーム期間の推奨再生速度ＳＲを決定する。ここで、判定値ＭＵがしきい値ＡＶt1以上でしきい値ＡＶt2未満であるときは、フレーム「８」が含まれる基準フレーム期間の推奨再生速度ＳＲを(１/２)倍速「×１/2」である「Ｆr1」とする。(１/２)倍速のときには、画像信号ＤＶ3の２フレーム分を画像合成することから、制御部８１は記録再生処理部６１を制御して、フレーム「８」に続く１フレーム分の画像信号をカメラ信号処理部２０と画像圧縮伸長部４１に供給する。
【０１４１】
画像合成部２１は、画像合成を行って基準フレーム期間分の画像合成が完了したとき、すなわちフレーム「９」「１０」を画像合成した回加算フレーム「１０’」の信号がバンク３１２ａに記憶されたとき、画像信号の書き込みを行うバンクをバンク３１２ａからバンク３１２ｂに切り換える。画像合成では、検出された動きベクトルに基づいて決定された重み係数選択値ＷＳに応じて設定された重み係数で巡回加算されるフレームの重み付けが行われる。また、画像合成部２１は、バンク３１２ａに記憶されている２フレーム分の画像合成後の信号を、割り算回路で所定レベル範囲の信号に戻しながら垂直同期信号ＶＤsに同期して次の基準フレーム期間で読み出して輪郭補正等の処理を行ったのち、画像出力部５１や表示処理部５２を介して表示部５３に供給する。
【０１４２】
また、注目フレームであるフレーム「１３」の画像信号と参照フレームであるフレーム「１２」の画像信号を用いて動き検出を行い、検出された動きベクトルＭＶに基づく判定値ＭＵがしきい値ＡＶt2以上であるときは、フレーム「１３」が含まれる基準フレーム期間の推奨再生速度ＳＲを(１/４)倍速「×１/4」である「Ｆr2」とする。(１/４)倍速のときには、画像信号ＤＶ3の画像合成を行わないことから、バンク３１２ａに記憶されたフレーム「１３」の画像信号を垂直同期信号ＶＤsに同期して次の基準フレーム期間で読み出して輪郭補正等のカメラ信号処理を行ったのち、画像出力部５１や表示処理部５２を介して表示部５３に供給する。
【０１４３】
このように、記録メディア６２から読み出した画像信号を用いて動き検出を行い、動き検出結果に基づいて推奨再生速度ＳＲや重み係数選択値ＷＳを決定すれば、再生制御情報ＲＪが記録メディア６２に記録されていなくとも、動きの小さいときには画像信号ＤＶ3が４フレーム単位で画像合成されて、基準フレームレートの画像とされるので、表示または出力される画像は自動的に１倍速の再生画像となる。また、動きが大きくなるに伴い、画像信号ＤＶ3のフレームレートが遅くされると共に画像合成されるフレーム数も少なくされるので、表示または出力される画像は自動的にスローモーションの再生画像となる。
【０１４４】
また、動きの小さいときには重み係数を等しくして画像合成が行われ、動きの大きいときには合成後の画像で動きぼけが低減するように画像合成するフレーム間で違いを生じた重み係数が設定される。したがって、再生画像において動きの小さい部位はノイズの低減された画像となり、動きの大きい部位は、画像合成を行ってもぼけの少ない画像となる。
【０１４５】
このように、上述の実施の形態によれば、撮像画像における被写体の動きに応じて推奨再生速度が決定されるので、推奨再生速度で再生を行うものとすれば、被写体の動きが大きい撮像画像が記録されている位置をユーザが検索してスローモーション再生を行わなくとも、被写体の動きが大きいときには自動的に再生速度が低下されてスローモーション再生画像が表示されることになり、ユーザの使い勝手を向上することができる。
【０１４６】
また、撮像機会を逃すことなく時間解像度の高いスローモーション再生画像を得ることができるように、高速撮像モードでの記録動作を事前に開始すると、高速撮像モードで記録された撮像画像の再生速度を遅くしてスローモーション再生画像を得るものとした場合、所望の動きがスローモーション画像として表示されるまでの待ち時間が非常に長くなってしまう。しかし、本願発明によれば、動きが小さいときには例えば１倍速で再生が行われて、動きが大きいときには自動的に再生速度が低下されてスローモーション再生画像となるので、所望の動きがスローモーション画像として表示されるまでの待ち時間が長くなってしまうことを防止できる。
【０１４７】
また、基準フレーム期間分の画像信号を画像の動きに応じて重み付けして加算処理により、高速フレームレートの画像信号が基準フレームレートの画像信号に変換されるので、静止部分や動きの小さい部分のＳＮ比が改善されて、動きの大きい部分ではぼけが防止された、高画質のスローモーション画像を得ることができる。
【０１４８】
また、動き検出によって動きベクトルを求めて、この動きベクトルの動き量に応じて重み付けや推奨再生速度が決定されるので、簡易かつ確実に重み付けや推奨再生速度を決定することができる。
【０１４９】
また、上述の撮像装置では、標準撮像モードであるとき、画像信号ＤＶ1を圧縮処理して記録メディアに記録するので、記録する撮像画像の信号量を削減できる。また、画像信号ＤＶ1を圧縮処理する画像圧縮伸長部４１で得られた動きベクトルから再生制御情報ＲＪが生成されるので、再生制御情報ＲＪを生成するために動き検出部を別個に設ける必要がなく、撮像装置の構成が簡単でコストアップを抑えることができる。
【０１５０】
なお、上述の撮像装置は、撮像画像の記録再生を行うものに限らない。例えば、高速フレームレートの画像信号と再生制御情報ＲＪを対応付けて画像出力部５１から出力するようにしてもよい。
【０１５１】
また、上述の撮像装置では、基準フレームレートの画像信号を用いてカメラ信号処理や圧縮処理を行う場合を示したが、カメラ信号処理部や画像圧縮伸長部の処理能力が高く、高速フレームレートの画像信号を用いてカメラ信号処理や圧縮処理を行うことが可能である場合には、カメラ信号処理された高速フレームレートの画像信号やこの画像信号を圧縮処理して、記録メディア６２に記録または画像出力部５１から出力するようにしてもよい。
【０１５２】
また、上述の実施の形態では、画像圧縮伸長部４１で圧縮処理を行う際に生成した動きベクトルを被写体の動き検出の結果として用いるものとしたが、動き検出は、例えば、画面内の動き量の平均に対する分散の大きさを求める方法等、種々の方法を広く適用することができる。
【０１５３】
図２１は、本発明の他の実施の形態を示すブロック図である。撮像装置９５は、モニタ用と外部出力用とに２系統のカメラ信号処理部２０a、２０bが設けられる。撮像装置９５は、この２系統のカメラ信号処理部２０a、２０bに関する構成が異なる点を除いて、撮像装置１０と同一に構成される。
【０１５４】
撮像装置９５は、例えばホームネットワーク９６を介してディスプレイ装置９７と接続される。撮像装置９５において、制御部８１は、画像出力部５１を介した接続時のデータ通信により、ディスプレイ装置９７の入力可能な最大のフレームレート(フレーム周波数)を検出する。なお最大フレームレートの検出は、接続時に実行される撮像装置９５とディスプレイ装置９７との間のデータ通信処理において、ディスプレイ装置９７からディスプレイ装置９７の再生制御情報を取得することにより実行される。
【０１５５】
制御部８１は、この取得した最大フレームレートの画像信号を画像出力部５１から出力するように、外部出力用のカメラ信号処理部２０bから出力する画像信号ＤＶ2b，ＤＶ4bのフレームレートを切り換える。
【０１５６】
すなわちディスプレイ装置９７における最大フレームレートが６０〔ｆｐｓ〕（最大フレーム周波数が６０〔Ｈｚ〕）の場合、カメラ信号処理部２０と同一に、カメラ信号処理部２０bの動作を制御し、６０〔ｆｐｓ〕の画像信号ＤＶ2b，ＤＶ4bを出力する。
【０１５７】
ディスプレイ装置９７における最大フレームレートが１２０〔ｆｐｓ〕の場合、２４０〔ｆｐｓ〕で記録メディア６２から再生した画像信号ＤＶ3、および高速撮像モードで得られる画像信号ＤＶ1については、連続する２フレームの巡回加算を行って生成された１２０〔ｆｐｓ〕の画像信号ＤＶ2b，ＤＶ4bをディスプレイ装置９７に出力する。
【０１５８】
また１２０〔ｆｐｓ〕で記録メディア６２から再生した画像信号ＤＶ3については、フレームレートを低減することなく、カメラ信号処理部２０bで処理してディスプレイ装置９７に出力する。また６０〔ｆｐｓ〕で記録メディア６２から再生した画像信号ＤＶ3、標準撮像モードで撮像部１２から出力される画像信号ＤＶ1については、バンク３１２ａ、３１２ｂを交互に使用して同一フレームの画像信号を繰り返し出力することにより、１２０〔ｆｐｓ〕にアップコンバートしてディスプレイ装置９７に出力する。
【０１５９】
なお、アップコンバートの処理は、単に同一フレームを繰り返す処理に代えて、動きベクトルを用いた動き補償によりフレーム補間する場合等、種々の手法を広く適用することができる。またアップコンバートに代えて、撮像部１２の動作を切り換えて、１２０〔ｆｐｓ〕の画像信号ＤＶ1を生成するようにしてもよい。
【０１６０】
モニタ側のカメラ信号処理部２０aは、記録メディア６２から再生した画像信号ＤＶ3を入力し、表示処理部５２、表示部５３に対応したフレームレートである６０〔ｆｐｓ〕で出力する。
【０１６１】
なお、カメラ信号処理部自体を２系統設ける代わりに、画像合成部２１だけ２系統設けるようにしてもよい。ただし、この場合、ガンマ処理等を始めに実行し、最後に画像合成処理を実行することになる。
【０１６２】
このように、少なくとも外部機器の対応可能なフレームレートより高いフレームレートで、記録媒体から高速撮像モードで記録された撮像画像を再生する場合に、この外部機器に応じて、外部機器が対応可能なフレームレートに低減して出力することにより、一段と高画質で撮像結果を出力することができる。
【０１６３】
ところでホームネットワーク等のネットワークを介して画像信号を伝送する場合、このネットワークを介して他の機器が信号の伝送を行っている場合も予測され、ネットワークの伝送速度が低い場合に、リアルタイムで画像信号を伝送できなくなる場合もある。そこで、記録メディア６２から読み出した画像信号をディスプレイ装置９７に出力する場合、推奨再生速度に対応するように、ディスプレイ装置９７に出力する画像信号のフレームレートを動的に切り換え、不必要に高いフレームレートで画像信号ＤＶ4bがディスプレイ装置９７に出力されないようにする。なおこの実施の形態では、ディスプレイ装置９７に出力する画像信号のフレームレートが異なる点を除いて、上述の撮像装置１０と同一に構成される。
【０１６４】
制御部８１は、高速撮像モードにおいて、画像圧縮伸長部４１で検出される動きベクトルを用いて、推奨再生速度を決定する。またこの決定した推奨再生速度が１倍速の場合、フレームレートが２４０［ｆｐｓ］である画像信号ＤＶ1の連続する４フレームをカメラ信号処理部２０bで順次画像合成して、フレームレートが６０〔ｆｐｓ〕の画像信号ＤＶ2bを生成し、この画像信号ＤＶ2bをディスプレイ装置９７に出力する。
【０１６５】
推奨再生速度が(１/２)倍速の場合、フレームレートが２４０［ｆｐｓ］である画像信号ＤＶ1の連続する２フレームをカメラ信号処理部２０bで順次画像合成して、フレームレートが１２０〔ｆｐｓ〕の画像信号ＤＶ2bを生成し、この画像信号ＤＶ4bをディスプレイ装置９７に出力する。また推奨再生速度が(１/４)倍速の場合、フレームレートが２４０［ｆｐｓ］である画像信号ＤＶ1を、カメラ信号処理部２０bで何らフレームレートを低減することなく、２４０〔ｆｐｓ〕の画像信号ＤＶ2bをディスプレイ装置９７に出力する。
【０１６６】
高速撮像モードで記録メディア６２に記録した撮像画像の再生時、ユーザが１倍速の再生を指示している場合には、画像信号ＤＶ3のフレームレートが２４０［ｆｐｓ］となるように記録メディア６２から読み出しを行う。また、推奨再生速度に応じて、この再生した画像信号ＤＶ3のフレームレートをカメラ信号処理部２０bで変換する。したがって、この場合も、推奨再生速度が１倍速、(１/２)倍速、(１/４)倍速の場合に、カメラ信号処理部２０bで、それぞれフレームレートが６０〔ｆｐｓ〕、１２０〔ｆｐｓ〕、２４０〔ｆｐｓ〕の画像信号ＤＶ4bを生成してディスプレイ装置９７に出力する。
【０１６７】
高速撮像モードで記録メディア６２に記録した画像信号の再生時、ユーザが(１/２)倍速の再生を指示している場合には、画像信号ＤＶ3のフレームレートが１２０［ｆｐｓ］となるように記録メディア６２から読み出しを行う。また推奨再生速度が１倍速の場合、画像信号ＤＶ3のフレームレートをカメラ信号処理部２０bで６０〔ｆｐｓ〕に変換してディスプレイ装置９７に出力する。これに対して推奨再生速度が(１/２)倍速、(１/４)倍速の場合、何らフレームレートを低減することなく、フレームレートが１２０〔ｆｐｓ〕の画像信号ＤＶ4bをディスプレイ装置９７に出力する。
【０１６８】
高速撮像モードで記録メディア６２に記録した画像信号の再生時、ユーザが(１/４)倍速の再生を指示している場合には、画像信号ＤＶ3のフレームレートが６０［ｆｐｓ］となるように記録メディア６２から読み出しを行う。また何らフレームレートを低減することなく、６０〔ｆｐｓ〕の画像信号ＤＶ4bをディスプレイ装置９７に出力する。
【０１６９】
高時間解像度スローモーション撮像モードで記録メディア６２に記録した画像信号の再生時、ユーザが推奨再生速度による再生を指示している場合、カメラ信号処理部２０bにおける画像合成処理を中止し、記録メディア６２から再生するフレームレートの画像信号ＤＶ4bをディスプレイ装置９７に出力する。
【０１７０】
なお、標準撮像モード時、標準撮像モードで記録メディア２に記録した撮像画像の再生時においても、同様に、推奨再生速度を検出し、この推奨再生速度に応じてフレームレートを動的に変化させるようにしてもよい。またこの標準撮像モードにおける動的なフレームレートの切り換えは、６０〔ｆｐｓ〕の画像信号をアップコンバートして実行してもよく、イメージセンサ１２１自体の動作周波数を切り換えて実行するようにしてもよい。
【０１７１】
このように、被写体の動きに応じて、外部機器に出力する画像信号のフレームレートを動的に切り換えることにより、実用上十分な画質を確保してネットワークに送出する画像信号の信号量を十分に低減することができる。したがって、他の機器とネットワークを共用する場合でも、リアルタイムで画像信号を伝送することができる。
【０１７２】
また、推奨再生速度に応じて外部装置に出力する画像信号のフレームレートを動的に変更する場合に限らず、画像信号の伝送路であるネットワークに応じて、および／または外部機器に応じて、動的に切り換えるようにして、リアルタイムの画像信号の伝送を確保するようにしてもよい。
【０１７３】
なおネットワークに応じたフレームレートの切り換えは、例えばパケット単位で画像信号をネットワークに送出する際に、ネットワークにパケットの送出をリクエストして許可が得られるまでの待ち時間により、ネットワークにおけるいわゆる混雑の程度を判断し、混雑している場合程、フレームレートを低減させることにより実行することができる。
【０１７４】
また外部機器に応じたフレームレートの切り換えは、例えばパケット単位で画像信号を外部機器に伝送する際に、外部機器に画像信号の伝送をリクエストした後、伝送の許可が得られるまでの待ち時間をカウントし、待ち時間が長い場合程、フレームレートを低減させることにより実行することができる。
【０１７５】
なお、上述の実施の形態においては、巡回加算により画像信号のフレームレートを低減する場合について述べたが、本発明はこれに限らず、単に複数フレームの対応する画像信号の加算処理によりフレームレートを低減するようにしてもよく、更に実用上十分な画質を確保することができる場合には、フレームの間引きによりフレームレートを低減するようにしてもよい。
【０１７６】
また上述の実施の形態においては、基準フレームレートを６０〔ｆｐｓ〕として、高速撮像モードでは、基準フレームレートの４倍のフレームレートである２４０〔ｆｐｓ〕の画像信号ＤＶ1を生成する場合について述べたが、本発明はこれに限らず、例えば基準フレームレートの３倍のフレームレートである画像信号ＤＶ1を生成する場合等、種々のフレームレートで撮像を行う場合に広く適用することができる。
【０１７７】
また上述の実施の形態においては、高速撮像モードで撮像された画像を１倍速、(１/２)倍速、(１/４)倍速で再生する場合について述べたが、本発明はこれに限らず、例えば(１/３)倍速で再生する場合等にも広く適用することができる。
【０１７８】
更に、上述の実施の形態においては、ノンインタレース方式の画像信号を生成する場合について述べたが、本発明はこれに限らず、インタレース方式の画像信号を生成する場合にも広く適用することができる。
【０１７９】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１８０】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
予め設定された画像レートよりも高い画像レートで撮像を行うことにより生成された撮像画像の画像信号を再生する信号再生部と、
前記信号再生部から出力される画像信号を用いて動き検出を行うことで得られた動き検出結果を用いて再生制御情報を生成する再生制御情報生成部と、
前記信号再生部から出力される画像信号の画像レートを前記予め設定された画像レートに変換する信号処理部と、
前記再生制御情報に基づき前記信号再生部から前記信号処理部に供給される画像信号の画像レートを制御して、前記動き検出結果が示す動きが大きくなるに従い前記撮像画像の再生速度を低下させる制御部と、
を備え、
前記制御部は、前記信号処理部にて前記画像信号を画像合成して画像レート変換を行うとき、前記画像信号を用いて動き検出を行うことで得られた動き検出結果に基づいて、画像合成される前記画像信号の各フレームの重み係数を設定する、画像再生装置。
（２）
前記制御部は、前記動き検出結果が示す動きの大きい部分では、画像合成される前記画像信号の各フレーム内に重み係数の大きいフレームおよび当該フレームと時間的に離れている重み係数の小さいフレームが設けられるように、前記各フレームの重み係数を設定する、前記（１）に記載の画像再生装置。
（３）
画像合成される前記画像信号の各フレームの重み係数の組み合わせが設定された複数の重み係数選択値が設定されており、
前記制御部は、前記動き検出結果が示す動きの大きさとしきい値との比較結果に基づいて１つの前記重み係数選択値を決定する、前記（２）に記載の画像再生装置。
（４）
前記動き検出結果は、前記画像信号から検出されるマクロブロック単位の動きベクトルであり、
前記制御部は、前記動きベクトルの動き量の絶対値と前記しきい値との比較結果に基づいて前記マクロブロック毎に１つの前記重み係数選択値を決定する、前記（３）に記載の画像再生装置。
（５）
画像合成される前記画像信号のフレーム数に応じて、前記しきい値の数が決定される、前記（３）または（４）に記載の画像再生装置。
【産業上の利用可能性】
【０１８１】
本発明は、例えば通常のビデオ信号の画像レートよりも高い画像レートで撮像を行って画像信号を生成して、この画像信号を用いてスローモーション再生画像を得るときに好適である。
【符号の説明】
【０１８２】
１０ 撮像装置
１２ 撮像部
２０ カメラ信号処理部
２１ 画像合成部
２２ 画素補間部
２４ 色補正部
２５ ガンマ／ニー処理部
２６ 色空間変換部
２７ 解像度変換部
３１ フレームメモリ部
４１ 画像圧縮伸長部
５１ 画像出力部
５２ 表示処理部
５３ 表示部
６１ 記録再生処理部
６２ 記録メディア
７１ 検波部
８１ 制御部
８２ ユーザインタフェース部
９０ 画像再生装置
【技術分野】
【０００１】
本発明は、画像再生装置と画像再生方法および撮像装置とその制御方法に関する。詳しくは、予め設定されている基準画像レートよりも高い画像レートで撮像を行うことにより撮像画像の生成された撮像画像の画像信号を基準画像レートで再生する際に、撮像画像の動きに応じて再生速度を制御するものである。
【背景技術】
【０００２】
従来、特許文献１には、撮像画像をメモリに一時的に保持して記録媒体に記録し直し、スローモーションの映像を滑らかな動きで再生可能とする方法が提案されている。
【０００３】
すなわち、特許文献１に開示の手法は、通常のビデオ信号のフィールド周波数である５０フィールド／秒または６０フィールド／秒よりも高いフィールド周波数である例えば２４０フィールド／秒の画像信号を生成して、この画像信号を順次メモリに格納する。また撮像が終了すると、このメモリに格納した画像信号を通常のビデオ信号のフィールド周波数で読み出してハードディスク装置等の記録媒体に記録する。またユーザが再生を指示したとき、この記録媒体に記録した画像信号を通常のビデオ信号のフィールド周波数で再生することで、滑らかな動きのスローモーション再生画像を得ることができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−２９５４２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、上記特許文献１の手法を用いるとき、撮像画像の画像信号を高速度でメモリに格納した後、メモリから読み出して記録媒体に記録することから、１回の撮像で撮像可能な時間がメモリの容量で制限されることになる。このため、メモリ容量が小さいとスローモーション再生したい撮像画像の画像信号をメモリに保持させることが困難となってしまう。例えば、スローモーション再生したい撮像シーンよりも早いタイミングでメモリに対して画像信号の書き込みを開始すると、スローモーション再生したい撮像シーンとなったときにメモリに空き領域がなく、画像信号を保持させることができなくなってしまう。このため、貴重な撮像機会を逃してしまう問題がある。また、スローモーション再生したい撮像画像の画像信号を容易にメモリに保持させることができるようにメモリ容量を大きくすると、コストアップとなってしまう。更に、撮像画像の画像信号をメモリに格納した後に読み出して記録媒体に記録する方法では、メモリに格納した撮像結果を全て読み出した後でなければ次のシーンを撮像できない。このため、所望するシーンが短い時間間隔で繰り返される場合、この繰り返しのシーンの一部を撮り逃してしまうことになる。
【０００６】
また、高速度である撮像画像の画像信号を、メモリを介することなく記録媒体に記録するものとすれば、メモリ容量に応じて撮像画像の記録タイミングを制御しなくとも、スローモーション再生したい撮像画像の画像信号を記録媒体に記録することができる。しかし、このように記録した画像信号を通常のビデオ信号のフィールド周波数で再生すると、記録された撮像画像が全てスローモーション再生されることとため、所望のスローモーション画像が表示されるまでの待ち時間が長くなってしまう場合が生じる。
【０００７】
本発明の特徴は、以上の点を考慮してなされたもので、動きのある被写体のスローモーション画像を容易に得られるようにするものである。
【課題を解決するための手段】
【０００８】
本開示によれば、予め設定された画像レートよりも高い画像レートで撮像を行うことにより生成された撮像画像の画像信号を再生する信号再生部と、信号再生部から出力される画像信号を用いて動き検出を行うことで得られた動き検出結果を用いて再生制御情報を生成する再生制御情報生成部と、信号再生部から出力される画像信号の画像レートを予め設定された画像レートに変換する信号処理部と、再生制御情報に基づき信号再生部から信号処理部に供給される画像信号の画像レートを制御して、動き検出結果が示す動きが大きくなるに従い撮像画像の再生速度を低下させる制御部と、を備え、制御部は、信号処理部にて画像信号を画像合成して画像レート変換を行うとき、画像信号を用いて動き検出を行うことで得られた動き検出結果に基づいて、画像合成される画像信号の各フレームの重み係数を設定する、画像再生装置が提供される。
【０００９】
また、本開示によれば、予め設定された画像レートよりも高い画像レートで撮像を行うことにより生成された撮像画像の画像信号を再生するステップと、画像信号を用いて動き検出を行うことで得られた動き検出結果を用いて再生制御情報を生成するステップと、動き検出結果に基づいて画像合成される画像信号の各フレームの重み係数を設定するステップと、画像信号の各フレームの重み係数で重み付けされた画像信号の画像レートを予め設定された画像レートに変換するステップと、再生制御情報に基づき画像信号の画像レートを制御して、動き検出結果が示す動きが大きくなるに従い撮像画像の再生速度を低下させるステップと、を含む、画像再生方法が提供される。
【００１０】
さらに、本開示によれば、予め設定された画像レートよりも高い画像レートで撮像を行うことにより生成された撮像画像の画像信号を生成する撮像部と、撮像部で生成された画像信号を用いて動き検出を行うことで得られた動き検出結果に基づいて、画像合成される画像信号の各フレームの重み係数を設定する制御部と、画像信号の各フレームの重み係数で重み付けされた画像信号の画像レートを予め設定された画像レートに変換する信号処理部と、信号処理部で予め設定された画像レートに変換された画像信号を用いて動き検出を行うことで得られた動き検出結果を用いて、画像信号の再生時に動き検出で検出された動きが大きくなるに従い撮像画像の再生速度を低下させる再生制御情報を生成する再生制御情報生成部と、再生制御情報を画像信号に対応させて出力する出力部と、を備える、撮像装置が提供される。
【発明の効果】
【００１１】
以上説明したように本開示によれば、動きのある被写体のスローモーション画像を容易に得ることができる。
【図面の簡単な説明】
【００１２】
【図１】撮像装置の構成を示すブロック図である。
【図２】補正処理部の構成を示すブロック図である。
【図３】カメラ信号処理部の構成を示すブロック図である。
【図４】画像合成部とフレームメモリ部の構成を示すブロック図である。
【図５】画像合成の説明に供する図である。
【図６】圧縮伸長部の構成を示すブロック図である 。
【図７】画像再生装置の構成を示すブロック図である。
【図８】画像記録装置の構成を示すブロック図である。
【図９】標準撮像モードで撮像画像を記録するときの処理を説明するための図である。
【図１０】標準撮像モードで記録された撮像画像を再生するときの処理を説明するための図である。
【図１１】高速撮像モードで撮像画像を記録するときの処理を説明するための図である。
【図１２】高速撮像モードで記録された撮像画像を再生するときの処理を説明するための図である。
【図１３】動きベクトルと重み係数設定信号の関係を説明するための図である。
【図１４】画像信号と重み係数の関係を説明するための図である。
【図１５】重み係数を例示した図である。
【図１６】被写体の動き検出の説明に供する図である。
【図１７】判定値と推奨再生速度の関係を示す図である。
【図１８】高速撮像モードで撮像画像を記録するときのタイミングチャートである。
【図１９】高速撮像モードで記録された撮像画像を再生するときのタイミングチャートである。
【図２０】高速撮像モードで記録された撮像画像を再生するときに動き検出を行って再生制御を行うときのタイミングチャートである。
【図２１】他の実施の形態の構成を示す図である。
【発明を実施するための形態】
【００１３】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１４】
以下、図を参照しながら本発明の実施の形態について説明する。図１は、撮像装置の構成を示すブロック図である。撮像装置１０は、動作モードとして標準撮像モードと高速撮像モードの切り換えが可能とされている。標準撮像モードは、通常の撮像時の動作モードであり、予め設定されている基準画像レートの画像信号を生成する。高速撮像モードは、時間解像度の高いスローモーション再生画像を得ることができるように、標準撮像モードよりも高速に撮像を行い、基準画像レートよりも高く基準画像レートの整数倍である画像レート（以下「高速画像レート」という）の画像信号を生成する動作モードである。ここで、基準画像レートとは、テレビジョン方式で用いられているフィールドレートやフレームレートを示すものであり、撮像装置１０は、標準撮像モードであるとき、基準画像レート例えば６０フィールド／秒としたインタレース走査方式の画像信号や６０フレーム／秒としたノンインタレース方式の画像信号を生成する。また、撮像装置１０は、高速撮像モードであるとき、高速画像レート例えば２４０フィールド／秒としたインタレース走査方式の画像信号や２４０フレーム／秒としたノンインタレース方式の画像信号を生成する。なお、以下の説明では、基準画像レートの画像信号として６０フレーム／秒（６０［ｆｐｓ］）のノンインタレース方式の画像信号、高速撮像モードの画像信号として基準画像レートの４倍である２４０フレーム／秒（２４０［ｆｐｓ］）のノンインタレース方式の画像信号を生成する場合を例示している。
【００１５】
また、図１に示す撮像装置の構成は、標準撮像モードおよび高速撮像モードで撮像画像の画像信号を生成するだけでなく、画像信号を記録メディア６２に記録したり、記録メディア６２に記録された画像信号を読み出して、再生画像の表示や再生画像の画像信号を出力できる場合を示している。
【００１６】
撮像装置１０において、レンズユニット１１は、後述する制御部８１の制御によりフォーカス、絞り、ズームを可変し、撮像部１２のイメージセンサ１２１の撮像面に入射光を集光する。
【００１７】
撮像装置１０の撮像部１２は、イメージセンサ１２１やＡＦＥ（Analog Front End）１２２、ＡＤＣ（Analog-Digital
Converter）１２３、補正処理部１２４を用いて構成されており、後述する制御部８１によって撮像部１２の動作が制御される。
【００１８】
イメージセンサ１２１は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor ）型等の固体撮像素子が用いられている。イメージセンサ１２１は、撮像面に形成された光学像を光電変換処理し、撮像結果である撮像信号を出力する。なお、イメージセンサ１２１には、ＣＤＳ（Correlated Double Sampling）回路が設けられており、このＣＤＳ回路で撮像信号の相関二重サンプリング処理を行うことで撮像信号のノイズが低減される。
【００１９】
また、イメージセンサ１２１は、制御部８１の制御により動作の切り換えが行われて、動作モードが標準撮像モードとされたとき、基準画像レート（基準フレームレート）の撮像信号例えば６０〔ｆｐｓ〕の撮像信号を生成する。また、イメージセンサ１２１は、動作モードが高速撮像モードとされたとき、基準フレームレートよりも高く基準フレームレートの整数倍である高速画像レート（高速フレームレート）の撮像信号例えば２４０〔ｆｐｓ〕の撮像信号を生成する。なお、イメージセンサ１２１は、フレームレートが２４０〔ｆｐｓ〕である撮像信号を出力する場合でも、基準フレームレートで撮像信号を出力する場合と同一に、撮像面の有効画像領域から全画素の撮像結果を読み出して撮像信号を出力する。また、ライン間引きと画素間引きの少なくとも一方を行うことで、基準フレームレートで撮像信号を出力する場合に比して、１画面の画素数を低減させてもよい。
【００２０】
ＡＦＥ（Analog
Front End）１２２は、イメージセンサ１２１から出力される撮像信号をＡＧＣ（Automatic Gain
Control）処理し、撮像信号の利得を制御する。ＡＤＣ（Analog-Digital Converter）１２３は、ＡＦＥ１２２で処理されたアナログの撮像信号をディジタルの画像信号に変換して補正処理部１２４に供給する。
【００２１】
補正処理部１２４はＡＤＣ１２３から供給された画像信号に対して種々の補正処理を行う。図２は、補正処理部１２４の構成を示すブロック図である。補正処理部１２４のレベル補正部１２４ａは、ＡＤＣ１２３から供給された画像信号のレベル調整処理を行う。画素補正部１２４ｂは、レベル調整処理後の画像信号に対して画素欠陥補正処理を行う。ホワイトバランス調整部１２４ｃは、画素欠陥補正処理後の画像信号に対してホワイトバランス調整処理を実行して、処理後の画像信号ＤＶ1を、図１に示すようにカメラ信号処理部２０と記録再生処理部６１および検波部７１に供給する。
【００２２】
カメラ信号処理部２０は、標準撮像モードおよび高速撮像モードにおいて、撮像部１２から供給される画像信号ＤＶ1に対してカメラ信号処理を行い、処理後の画像信号ＤＶ2を画像圧縮伸長部４１や画像出力部５１，表示処理部５２に出力する。また、後述するように、高速撮像モードにおいて、カメラ信号処理がなされていない撮像画像を記録メディア６２に記録した場合、記録した撮像画像の再生時には、記録再生処理部６１から供給される画像信号ＤＶ3のカメラ信号処理を行い、処理後の画像信号ＤＶ4を画像出力部５１や表示処理部５２に出力する。
【００２３】
また、カメラ信号処理部２０は、例えばＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等により構成されたフレームメモリ部３１と接続されており、このフレームメモリ部３１を用いることで、画像信号ＤＶ1や画像信号ＤＶ3が基準フレームレートとは異なるフレームレートであるときに、画像信号ＤＶ1や画像信号ＤＶ3を基準フレームレートの画像信号に変換する。すなわち、カメラ信号処理部２０は、画像信号ＤＶ1や画像信号ＤＶ3のフレームレートに係らず基準フレームレートの画像信号ＤＶ2，ＤＶ4を出力する。
【００２４】
図３は、カメラ信号処理部２０の構成を示すブロック図である。画像合成部２１は、画像信号ＤＶ1や画像信号ＤＶ3を基準フレームレートの画像信号とする画像レート変換を行うためのものである。画像合成部２１は、動作モードが標準撮像モードとされている場合、画像信号ＤＶ1が基準フレームレートであるので、撮像部１２の補正処理部１２４から供給された画像信号ＤＶ1のフレームレートを変換することなく画素補間部２２に供給する。また、画像合成部２１は、動作モードが高速撮像モードとされている場合に撮像部１２の補正処理部１２４から供給された画像信号ＤＶ1、および高速撮像モードで記録メディア６２に記録した撮像画像の再生時に記録再生処理部６１から供給される画像信号ＤＶ3に対して画像レート変換を行い、供給された画像信号を基準フレームレートの画像信号に変換して画素補間部２２に供給する。例えば、画像合成部２１は、フレームメモリ部３１を用いて画像合成を行い、画像信号ＤＶ1，ＤＶ3の基準フレーム期間分のフレーム画像を合成して１フレームの画像とすることで、画像信号ＤＶ1，ＤＶ3を基準フレームレートの画像信号に変換する。
【００２５】
図４は、画像合成部２１とフレームメモリ部３１の詳細構成を示すブロック図であり、フレームメモリ部３１を用いた画像信号の巡回加算によって画像合成を行うことで高速フレームレートの画像信号を基準フレームレートの画像信号に変換する場合を示している。
【００２６】
画像合成部２１は、補正処理部１２４から供給される画像信号ＤＶ1または記録再生処理部６１から供給される画像信号ＤＶ3を乗算回路２１１に供給する。乗算回路２１１は、重み係数生成部２１２で生成された重み係数を画像信号ＤＶ1または画像信号ＤＶ3に乗算して、重み係数を乗算した画像信号を加算回路２１３に供給する。加算回路２１３は、乗算回路２１１から供給された画像信号とフレームメモリ部３１のバンクから読み出した画像信号を加算して、加算処理後の画像信号をフレームメモリ部３１に供給する。
【００２７】
フレームメモリ部３１は、バンク３１２ａとバンク３１２ｂおよび信号切換部３１１，３１３、３１４を用いて構成されている。なお、バンク３１２ａとバンク３１２ｂは１フレームの画像信号を記憶できるメモリ容量とされている。
【００２８】
信号切換部３１１は、加算回路２１３から供給された画像信号を、バンク３１２ａまたはバンク３１２ｂに供給する。なお、バンク３１２ａに供給される画像信号を画像信号Ｄfwa、バンク３１２ｂに供給される画像信号を画像信号Ｄfwbとする。
【００２９】
信号切換部３１３は、バンク３１２ａから読み出された画像信号Ｄfraまたはバンク３１２ｂから読み出された画像信号Ｄfrbを加算回路２１３に供給する。信号切換部３１４は、バンク３１２ａから読み出された画像信号Ｄfraまたはバンク３１２ｂから読み出された画像信号Ｄfrbを割り算回路２１４に供給する。
【００３０】
ここで、画像合成部２１とフレームメモリ部３１は、一方のバンク例えばバンク３１２ａから読み出した画像信号Ｄfraを信号切換部３１３で選択して、この選択した画像信号Ｄfraと乗算回路２１１から供給された画像信号の加算結果である画像信号を信号切換部３１１でバンク３１２ａに画像信号Ｄfwaとして供給する。このようにすれば、バンク３１２ａは、巡回加算された画像信号を記憶することになる。また、画像合成部２１とフレームメモリ部３１は、所定フレーム数の巡回加算が完了したとき、バンク３１２ｂを用いて巡回加算を行い、所定フレーム数の巡回加算が完了した画像信号をバンク３１２ａから読み出して信号切換部３１４を介して割り算回路２１４に供給する。このように巡回加算を行うものとすれば、画像合成部２１とフレームメモリ部３１は、一方のバンクを用いて基準フレーム期間で巡回加算を行いながら、他方のバンクから所定フレーム数の巡回加算が完了した画像信号を基準フレーム期間で読み出して、基準フレームレートの画像信号として割り算回路２１４に供給できる。
【００３１】
割り算回路２１４は、フレームメモリ部３１の信号切換部３１４から供給された画像信号に対して、重み係数と加算したフレーム数に応じた割り算処理を行い、巡回加算が完了した画像信号を所定の信号レベル範囲の画像信号として画素補間部２２に供給する。例えば、画像信号ＤＶ1の信号レベルが一定である場合を考えたとき、各フレームの重み係数を「２」として４フレーム分の巡回加算を行うものとすると、巡回加算が完了した画像信号の信号レベルは、画像信号ＤＶ1の信号レベルの８倍となる。このため、割り算回路２１４は、重み係数と加算したフレーム数に応じた割り算処理を行い、巡回加算が完了した画像信号を(１/８)倍とすることで、所定の信号レベル範囲の画像信号とする。
【００３２】
重み係数生成部２１２にはフレームカウンタ２１５が接続されている。フレームカウンタ２１５は、乗算回路２１１に供給される画像信号が巡回加算するフレームの何番目のフレームであるか示すカウント値を生成して重み係数生成部２１２に供給する。重み係数生成部２１２は、補正処理部１２４から供給された画像信号ＤＶ1の巡回加算を行う場合、制御部８１から供給された重み係数選択値ＷＳに基づき、巡回加算する各フレームに対して等しい重み係数を生成して乗算回路２１１に供給する。また、重み係数生成部２１２は、記録再生処理部６１から供給される画像信号ＤＶ3の巡回加算を行う場合、制御部８１から供給された重み係数選択値ＷＳに基づき、巡回加算する各フレームに対して等しい重み係数またはフレーム間で違いを生じた重み係数を生成して乗算回路２１１に供給する。
【００３３】
図５は、画像信号ＤＶ1，ＤＶ3のフレームレートが基準フレームレートの４倍である場合の画像合成を説明するための図である。画像合成部２１とフレームメモリ部３１で上述のように画像合成を行うと、図５の（Ａ）に示すように、補正処理部１２４から供給された画像信号ＤＶ1、および記録再生処理部６１から供給される画像信号ＤＶ3に基づく画像は、例えばフレームａ〜フレームｄの４フレームが合成されて、図５の（Ｂ）に示すように基準フレームレートの画像の１フレーム(ａ＋ｂ＋ｃ＋ｄ)となり、画像信号ＤＶ1，ＤＶ3を基準フレームレートの画像信号に変換できる。
【００３４】
図３の画素補間部２２は、デモザイク処理により画像合成部２１から出力される画像信号をＲ，Ｇ，Ｂからなる３つのプレーンの画像信号に変換して出力する。輪郭補正部２３は、供給された画像信号から高域成分を分離し、この高域成分から輪郭補正データを生成する。色補正部２４は、供給された画像信号から低域成分を分離し、この低域成分をリニアマトリクス処理等して色補正する。
【００３５】
ガンマ／ニー処理部２５は、輪郭補正部２３で生成された輪郭補正信号と、色補正部２４で処理された画像信号とを合成して、合成後の画像信号に対してガンマ補正、ニー処理等を実行する。色空間変換部２６は、ガンマ／ニー処理部２５で処理された画像信号を、輝度信号、色差信号の画像信号に変換する。解像度変換部２７は、供給された画像信号を予め設定された表示解像度の画像信号に変換して、画像信号ＤＶ2または画像信号ＤＶ4として出力する。
【００３６】
図１の画像圧縮伸長部４１は、供給された画像信号を用いて動き検出を行う処理と、動き検出結果に基づいて画像信号を圧縮して符号化信号を生成する処理、符号化信号を伸長して画像信号を生成する処理を行うものである。
【００３７】
画像圧縮伸長部４１は、標準撮像モードにおいて、制御部８１から撮像画像の記録が指示されると、カメラ信号処理部２０から出力される画像信号ＤＶ2をＭＰＥＧ（Moving Picture Experts Group）等の動画像の符号化方式で圧縮処理を行い、符号化信号ＤＷを記録再生処理部６１に出力する。画像圧縮伸長部４１は、高速撮像モードにおいて、制御部８１から撮像画像の記録が指示されると、画像信号ＤＶ2からマクロブロック単位で動きベクトルＭＶを検出し、この動き検出結果である動きベクトルＭＶを記録再生処理部６１または制御部８１に出力する。
【００３８】
また、画像圧縮伸長部４１は、標準撮像モードで記録メディア６２に記録した撮像画像の再生時、記録再生処理部６１から供給される符号化信号ＤＲの伸長処理を行い、得られた画像信号ＤＶ5を画像出力部５１や表示処理部５２に供給する。
【００３９】
更に、画像圧縮伸長部４１は、記録再生処理部６１から画像信号ＤＶ3が供給されたとき、画像信号ＤＶ3を用いて動き検出を行い、画像信号ＤＶ3からマクロブロック単位で動きベクトルＭＶを検出し、この動き検出結果である動きベクトルＭＶを制御部８１に出力する。
【００４０】
図６は、画像圧縮伸長部４１の構成を示すブロック図である。画像圧縮伸長部４１において、ＭＶ検出器４１１は、画像信号ＤＶ2から順次マクロブロック毎に動きベクトルＭＶを検出する。ＭＶ検出器４１１は、標準撮像モードにおける記録時、この動きベクトルＭＶを動き補償器４１２に出力し、また高速撮像モードにおける記録時、この動きベクトルＭＶを記録再生処理部６１または制御部８１に出力する。
【００４１】
動き補償器４１２は、動画像の符号化時、このＭＶ検出器４１１で検出される動きベクトルＭＶを用いて、画像メモリ４１３に格納した画像信号を動き補償し、符号化用の予測値を生成して出力する。また動き補償器４１２は、動画像の復号時、ＭＶ復号器４１４で復号した動きベクトルＭＶを用いて、同様に復号用の予測値を生成する。
【００４２】
予測減算器４１５は、動画像の符号化時、カメラ信号処理部２０から入力される画像信号ＤＶ2から、動き補償器４１２で生成された符号化用の予測値を減算し、予測誤差値を出力する。
【００４３】
ＤＣＴ４１６は、予測減算器４１５の出力信号を２次元離散コサイン変換し、その処理結果である係数データを出力する。量子化器４１７は、ＤＣＴ４１６で生成された係数データを量子化処理し、可変長符号器４１８は、量子化器４１７の出力データを可変長符号化処理する。ＭＶ符号化器４１９は、ＭＶ検出器４１１で検出される符号化用の動きベクトルＭＶを符号化処理し、多重化器４２０は、可変長符号器４１８の出力データと、ＭＶ符号化器４１９の出力データとを多重化処理して符号化信号ＤＷとして出力する。
【００４４】
逆量子化器４２１は、符号化時、量子化器４１７の出力データを逆量子化処理して出力し、また復号時、可変長復号器４２２の出力データを逆量子化処理して出力する。
【００４５】
逆ＤＣＴ４２３は、ＤＣＴ４１６とは逆に、逆量子化器４２１の出力データを処理して出力し、加算器４２４は、逆ＤＣＴ４２３の出力信号に符号化用または復号用の予測値を加算して画像信号ＤＶ5を生成する。画像メモリ４１３は、この復号した画像信号ＤＶ5を動き補償用に格納して保持する。
【００４６】
多重分離器４２６は、復号時、記録再生処理部６１から出力される符号化信号ＤＲを係数データの部分と、動きベクトルＭＶの部分とに分離して出力し、ＭＶ復号器４１４は、この多重分離器４２６の出力データから動きベクトルＭＶを復号して動き補償器４１２に出力する。可変長復号器４２２は、この多重分離器４２６の出力データから係数データを復号して逆量子化器４２１に出力する。
【００４７】
図１の画像出力部５１は、外部機器を接続するためのインタフェースであり、標準撮像モードおよび高速撮像モードにおいて、カメラ信号処理部２０から供給された画像信号ＤＶ2を出力画像信号ＤＶoutとして外部機器に出力する。なお、外部機器は例えばモニタ装置等である。また画像出力部５１は、標準撮像モードで記録メディア６２に記録した撮像画像の再生時、画像圧縮伸長部４１から供給された画像信号ＤＶ5を出力画像信号ＤＶoutとして外部機器に出力する。更に画像出力部５１は、高速撮像モードで記録メディア６２に記録した撮像画像の再生時、カメラ信号処理部２０から出力される画像信号ＤＶ4を出力画像信号ＤＶoutとして外部機器に出力する。
【００４８】
表示処理部５２には、例えばＬＣＤ（Liquid Crystal Display）で構成される表示部５３が接続されている。表示処理部５２は、標準撮像モードおよび高速撮像モードにおいて、カメラ信号処理部２０から出力される画像信号ＤＶ2を表示部５３の表示解像度に応じた表示画像信号ＤＨに変換して、この表示画像信号ＤＨで表示部５３を駆動することで表示部５３に撮像画像を表示させる。また表示処理部５２は、標準撮像モードで記録メディア６２に記録した撮像画像の再生時、画像圧縮伸長部４１から出力される画像信号ＤＶ5を表示部５３の表示解像度に応じた表示画像信号ＤＨに変換して、この表示画像信号ＤＨで表示部５３を駆動することで表示部５３に再生画像を表示させる。更に表示処理部５２は、高速撮像モードで記録メディア６２に記録した撮像画像の再生時、カメラ信号処理部２０から出力される画像信号ＤＶ4を表示部５３の表示解像度に応じた表示画像信号ＤＨに変換して、この表示画像信号ＤＨで表示部５３を駆動することで表示部５３に再生画像やスローモーション再生画像を表示させる。
【００４９】
記録再生処理部６１は、制御部８１の制御により記録メディア６２に対する撮像画像の書き込みや読み出しを行う。記録メディア６２は、ランダムアクセスが可能な各種記録媒体、または磁気テープのようにランダムアクセスが困難な各種記録媒体である。またランダムアクセスが可能な記録媒体は、例えばハードディスク装置、フラッシュメモリ等の半導体メモリ、ＤＶＤ（Digital Versatile Disk）等の光ディスク等である。
【００５０】
記録再生処理部６１は、標準撮像モードにおいて、画像圧縮伸長部４１から出力される符号化信号ＤＷを記録メディア６２に記録する。また記録再生処理部６１は、高速撮像モードにおいて、撮像部１２から出力される画像信号ＤＶ1を記録メディア６２に記録する。このとき記録再生処理部６１は、画像圧縮伸長部４１から通知される動きベクトルＭＶを再生制御情報ＲＪとして、または制御部８１で生成された再生制御情報ＲＪを取得して、この再生制御情報ＲＪを画像信号ＤＶ1と対応付けて記録する。再生制御情報ＲＪは、撮像画像において被写体の動きが大きくなるに従い撮像画像の再生速度を低下させる再生制御や、再生画像における動きぼけを軽減させる再生制御を行うための情報である。
【００５１】
記録再生処理部６１は、標準撮像モードで記録した撮像画像の再生時、記録メディア６２から読み出した符号化信号ＤＲを画像圧縮伸長部４１に供給する。また記録再生処理部６１は、高速撮像モードで記録した撮像画像の再生時、記録メディア６２から画像信号および画像信号と対応する再生制御情報ＲＪを読み出して、カメラ信号処理部２０に対して画像信号ＤＶ3、制御部８１に対して再生制御情報ＲＪを出力する。
【００５２】
更に、高速撮像モードで記録した撮像画像の再生時に再生制御情報ＲＪを読み出すことができない場合、記録再生処理部６１は、画像信号ＤＶ3をカメラ信号処理部２０と画像圧縮伸長部４１に供給する。
【００５３】
検波部７１は、撮像部１２から出力される画像信号ＤＶ1から、絞り調整、フォーカス調整、ホワイトバランス調整に必要な情報ＫＤを、フレーム周期で検出して制御部８１に通知する。なお、必要な情報は、例えば特定領域における画素値の累積加算値、ピーク値等である。
【００５４】
制御部８１には、ユーザインタフェース部８２が接続されている。ユーザインタフェース部８２は、ユーザ操作に応じた操作信号ＰＳを生成して制御部８１に供給する。
【００５５】
制御部８１は、例えばＣＰＵ（Central Processing Unit ）、ＲＯＭ（Read Only
Memory）、ＲＡＭ（Random Access Memory）等から構成されるマイクロコントローラであり、ＲＯＭ等に記録されたプログラムを実行して、撮像装置１０の動作が操作信号ＰＳに基づくユーザ操作に応じた動作となるように制御信号ＣＴを生成して各部に供給し、各部の動作を制御する。なおこの実施の形態において、プログラムは、撮像装置１０に事前にインストールされて提供されるものの、この事前のインストールに代えて、光ディスク、磁気ディスク、メモリカード等の記録媒体に記録して提供するようにしてもよく、インターネット等のネットワークを介したダウンロードにより提供してもよい。
【００５６】
制御部８１は、動作モードが標準撮像モードに設定されているとき、基準フレームレートの画像信号ＤＶ1を生成して、撮像画像を基準フレームレートで表示するように制御を行う。制御部８１は、動作モードが高速撮像モードに設定されているとき、高速フレームレートの画像信号ＤＶ1を生成して画像レートの変換を行い、撮像画像を基準フレームレートで表示するように制御を行う。
【００５７】
また、制御部８１は、動作モードが標準撮像モードであるときに記録開始操作が行われたことを判別した場合、カメラ信号処理された基準フレームレートの画像信号を圧縮処理して記録メディア６２に記録する制御を更に行う。制御部８１は、動作モードが高速撮像モードであるときに記録開始操作が行われたことを判別した場合、被写体の動きが大きくなるに従い撮像画像の再生速度を低下させる再生制御や再生画像における動きぼけを軽減させる再生制御を行うための再生制御情報ＲＪを生成して、画像信号ＤＶ1と対応させて記録メディア６２に記録する制御を更に行う。なお、制御部８１は、記録動作中に記録終了操作が行われたことを判別した場合、記録メディア６２への記録を停止する制御を行う。
【００５８】
制御部８１は、標準撮像モードで記録メディア６２に記録された撮像画像の再生操作が行われたことを判別した場合、記録メディア６２から所望の符号化信号を読み出して復号化処理を行い、再生画像を基準フレームレートで表示する制御や基準フレームレートの再生画像信号を出力する制御を行う。
【００５９】
制御部８１は、高速撮像モードで記録メディア６２に記録された撮像画像の再生操作が行われたことを判別した場合、記録メディア６２から所望の画像信号と画像信号に対応付けてされている再生制御情報ＲＪを読み出して、再生画像を基準フレームレートで表示する制御や基準フレームレートで再生画像の画像信号を出力する制御を行う。また、制御部８１は、再生制御情報ＲＪに基づいて、被写体の動きが大きくなるに従い撮像画像の再生速度を低下させる再生制御や再生画像における動きぼけを軽減させる再生制御を行う。
【００６０】
また、制御部８１は、高速撮像モードで記録メディア６２に記録された撮像画像の再生時に、再生制御情報ＲＪを得ることができない場合、記録メディア６２から読み出した画像信号から再生制御情報ＲＪを生成して、この再生制御情報ＲＪに基づいて、被写体の動きが大きくなるに従い撮像画像の再生速度を低下させる再生制御や再生画像における動きぼけを軽減させる再生制御を行う。
【００６１】
なお、制御部８１は、検波部７１からの情報ＫＤに従い、レンズユニット１１をフレーム周期で絞り調整、フォーカス調整し、補正処理部１２４におけるホワイトバランス調整をフレーム周期で行わせる制御も行う。
【００６２】
ところで、上述の実施の形態では、レンズユニット１１や撮像部１２、カメラ信号処理部２０、画像圧縮伸長部４１、記録再生処理部６１等を一体に設けた撮像装置について説明したが、レンズユニット１１や撮像部１２、表示処理部５２、表示部５３、検波部７１を別個として、画像再生装置や画像記録装置を構成するものとしてもよい。
【００６３】
図７は、画像再生装置９０の構成を示すブロック図である。なお、図７において、図１と対応する部分については同一符号を付している。
【００６４】
画像再生装置９０は、記録メディア６２から符号化信号や画像信号等を読み出すための記録再生処理部６１、読み出された符号化信号ＤＲを伸長処理するための画像圧縮伸長部４１、記録メディア６２から読み出された画像信号ＤＶ3を用いて信号処理を行うカメラ信号処理部２０、フレームメモリ部３１、カメラ信号処理部２０から出力された画像信号ＤＶ4または画像圧縮伸長部４１から出力された画像信号ＤＶ5を外部機器に出力するための画像出力部５１、各部の動作を制御する制御部８１、ユーザインタフェース部８２を有している。
【００６５】
画像再生装置９０において、記録再生処理部６１は記録メディア６２に記録された符号化信号の読み出しを行うとき、読み出した符号化信号ＤＲを画像圧縮伸長部４１に供給する。なお、符号化信号は、基準フレームレートの画像信号を圧縮処理して得られた信号である。画像圧縮伸長部４１は、記録再生処理部６１から供給された符号化信号ＤＲの伸長処理を行い、得られた画像信号ＤＶ5を画像出力部５１に供給する。
【００６６】
また、画像再生装置９０において、記録再生処理部６１は、記録メディア６２に記録された高速フレームレートの画像信号の読み出しを行うとき、画像信号と画像信号に対応する再生制御情報ＲＪを読み出す。カメラ信号処理部２０は、記録再生処理部６１から供給された画像信号ＤＶ3を基準フレームレートの画像信号に変換する処理やカメラ信号処理を行う。画像出力部５１は、基準フレームレートの画像信号ＤＶ4を出力画像信号ＤＶoutとして出力する。また、画像再生装置９０において、再生制御情報ＲＪに基づいて再生速度の制御や動きぼけを軽減させる制御を行う場合、制御部８１は、再生制御情報ＲＪに基づきカメラ信号処理部２０や記録再生処理部６１の動作を制御して、カメラ信号処理部２０に供給する画像信号ＤＶ3のフレームレートやカメラ信号処理部２０の画像合成部２１で用いる重み係数を制御する。
【００６７】
また、画像再生装置９０において、記録メディア６２に記録された高速フレームレートの画像信号の読み出しを行うとき再生制御情報ＲＪを得ることができない場合、記録再生処理部６１は、読み出した画像信号ＤＶ3をカメラ信号処理部２０に供給する。カメラ信号処理部２０は、記録再生処理部６１から供給された画像信号ＤＶ3を基準フレームレートの画像信号に変換する処理やカメラ信号処理を行う。画像出力部５１は、基準フレームレートの画像信号ＤＶ4を出力画像信号ＤＶoutとして出力する。また、画像再生装置９０において、被写体の動きが大きくなるに従い撮像画像の再生速度を低下させる再生制御や再生画像における動きぼけを軽減させる再生制御を行う場合、記録再生処理部６１は、読み出した画像信号ＤＶ3を画像圧縮伸長部４１に供給する。画像圧縮伸長部４１は、画像信号ＤＶ3を用いて動き検出を行い、得られた動きベクトルＭＶを制御部８１に供給する。制御部８１は、動きベクトルＭＶに基づいて記録再生処理部６１の動作を制御して、カメラ信号処理部２０に供給する画像信号ＤＶ3のフレームレートを可変させることで、被写体の動きが大きくなるに従い撮像画像の再生速度を低下させる。また、制御部８１は、動きベクトルＭＶに基づいてカメラ信号処理部２０の画像合成部２１で用いる重み係数を制御して、再生画像における動きぼけを軽減させる。
【００６８】
図８は、画像記録装置９１の構成を示すブロック図である。なお、図８において、図１と対応する部分については同一符号を付している。
【００６９】
画像記録装置９１は、画像信号に対して種々のカメラ信号処理を行うカメラ信号処理部２０、フレームメモリ部３１、画像信号の圧縮処理を行って符号化信号を生成する画像圧縮伸長部４１、記録メディア６２に対して符号化信号ＤＷを書き込むための記録再生処理部６１、各部の動作を制御する制御部８１、ユーザインタフェース部８２を有している。
【００７０】
画像記録装置９１において、基準フレームレートの画像信号ＤＶ1を記録するとき、画像圧縮伸長部４１は、カメラ信号処理部２０でカメラ信号処理がなされた基準フレームレートの画像信号ＤＶ2の圧縮処理を行って符号化信号ＤＷを生成する。記録再生処理部６１は、画像圧縮伸長部４１で生成された符号化信号ＤＷを記録メディア６２に書き込む処理を行う。
【００７１】
また、高速フレームレートの画像信号ＤＶ1を記録するとき、カメラ信号処理部２０はカメラ信号処理だけでなくフレームメモリ部３１を用いて画像合成を行い、高速フレームレートの画像信号ＤＶ1を基準フレームレートの画像信号に変換する。画像圧縮伸長部４１は、カメラ信号処理部２０から出力された基準フレームレートの画像信号ＤＶ2を用いて動きベクトルＭＶを生成する。記録再生処理部６１は、画像圧縮伸長部４１で生成された動きベクトルＭＶを再生制御情報ＲＪとして、または制御部８１で動きベクトルＭＶに基づいて生成された再生制御情報ＲＪを取得して、この再生制御情報ＲＪを高速フレームレートの画像信号ＤＶ1と対応付けて記録メディア６２に書き込む処理を行う。
【００７２】
次に、撮像動作と撮像画像の記録動作および記録されている撮像画像の再生動作について説明する。図９は、動作モードが標準撮像モードに設定されているときの処理を示している。なお図９および後述する図１０〜図１２は、各処理が図１，図７のいずれかのブロックに対応するものであるかを明確とするため、対応するブロックの符号を付加している。
【００７３】
撮像装置は、撮像信号の生成を行って、基準フレームレート例えば６０［ｆｐｓ］である撮像信号を生成する。撮像装置は、ＡＦＥ／ＡＤＣの処理を行って撮像信号の信号レベルを調整したのちディジタル信号に変換する。撮像装置は、補正処理を行って信号レベルやホワイトバランスの調整および画素欠陥の補正がなされた画像信号ＤＶ1を生成する。撮像装置は、カメラ信号処理を行って輪郭補正や色補正，ガンマ補正，ニー補正等が行われた画像信号ＤＶ2を生成する。また、撮像装置は、表示処理を行って画像信号ＤＶ2を表示部５３に対応する表示解像度の表示画像信号ＤＨに変換する。なお、撮像装置は、検波処理を行って絞り調整，フォーカス調整，ホワイトバランス調整に必要な情報を検出する。
【００７４】
撮像装置は、このような処理を行って表示部５３の画面上に撮像画像を表示する。したがって、ユーザはどのような被写体が撮像されているかを表示部５３の画面上に表示された画像で確認することができる。また、撮像装置で出力画像信号ＤＶoutを出力すれば、外部機器で撮像画像を表示することが可能となる。
【００７５】
次に、撮像装置（画像記録装置）は、撮像画像を記録するとき、画像圧縮処理を行うことで符号化信号ＤＷを生成する。更に撮像装置（画像記録装置）は、符号化信号ＤＷを記録メディア６２に記録する記録処理を行う。すなわち、記録メディア６２には、基準フレームレートで撮像された画像信号ＤＶ1が符号化されて記録される。
【００７６】
図１０は、図９に示す処理を行うことで記録メディア６２に記録された画像を再生するときの処理を示している。撮像装置（画像再生装置）は、再生処理を行って記録メディア６２から所望の符号化信号を読み出す。撮像装置（画像再生装置）は、画像伸長処理を行って、符号化信号から画像信号ＤＶ5を生成する。更に撮像装置は、表示処理を行って画像信号ＤＶ5を表示部５３に対応する表示解像度の表示画像信号ＤＨに変換する。撮像装置は（画像再生装置）、このような処理を行って表示部５３の画面上に再生画像を表示する。また、撮像装置（画像再生装置）で出力画像信号ＤＶoutを出力すれば、外部機器で再生画像を表示することが可能となる。
【００７７】
図１１は、動作モードが高速撮像モードに設定されているときの処理を示している。
【００７８】
撮像装置は、撮像信号の生成を行って高速フレームレート例えば２４０［ｆｐｓ］である撮像信号を生成する。撮像装置は、ＡＦＥ／ＡＤＣの処理を行って撮像信号の信号レベルを調整したのちディジタル信号に変換する。撮像装置は、補正処理を行って信号レベルやホワイトバランスの調整および画素欠陥の補正がなされた画像信号ＤＶ1を生成する。撮像装置は、高速フレームレートの画像信号ＤＶ1に対してカメラ信号処理を行う。カメラ信号処理では、輪郭補正や色補正，ガンマ補正，ニー補正等だけでなく、高速フレームレートの画像信号を基準フレームレートの画像信号に変換する画像合成行い、基準フレームレートの画像信号ＤＶ2を生成する。
【００７９】
また、撮像装置は、表示処理を行って画像信号ＤＶ2を表示部５３に対応する表示解像度の表示画像信号ＤＨに変換する。撮像装置は、このような処理を行って、高速撮像モードに設定されても、表示部５３の画面上に撮像画像を表示する。また、撮像装置で出力画像信号ＤＶoutを出力すれば、外部機器で撮像画像を表示することが可能となる。なお、撮像装置は、フレームレートが基準フレームレートよりも高くされており、フレーム周期で絞り調整、フォーカス調整、ホワイトバランス調整の処理が行われることから、標準撮像モードに比べてこれらの制御の精度、速度を向上することができる。
【００８０】
次に、撮像装置（画像記録装置）は、撮像画像を記録するとき、画像圧縮処理を行って動き検出結果例えば動きベクトルＭＶを生成する。更に、動きベクトルＭＶを再生制御情報ＲＪ、または動きベクトルＭＶに基づいて再生制御情報ＲＪを生成する。更に撮像装置（画像記録装置）は、記録処理を行って高速フレームレートの画像信号と再生制御情報ＲＪを対応付けて記録メディア６２に記録する。
【００８１】
図１２は、図１１に示す処理を行うことで記録メディア６２に記録された画像を再生するときの処理を示している。撮像装置（画像再生装置）は、再生処理を行って記録メディア６２から所望の画像信号ＤＶ3と画像信号に対応付けられている再生制御情報ＲＪを読み出す。撮像装置（画像再生装置）は、再生制御処理を行い、再生制御情報ＲＪに基づき画像信号ＤＶ3のフレームレートを制御して撮像画像における被写体の動きが大きくなるに従い再生速度を遅くしてスローモーション画像を生成させる処理と、カメラ信号処理で動きの大きい被写体のぼけが軽減されたスローモーション画像を生成させる処理を行わせる。撮像装置（画像再生装置）は、カメラ信号処理を行って、画像信号ＤＶ3から輪郭補正や色補正，ガンマ補正，ニー補正等の処理が行われた基準フレームレートの画像信号ＤＶ4を生成する。また、撮像装置（画像再生装置）は、カメラ信号処理を行って画像信号ＤＶ3を基準フレームレートの画像信号に変換する際に、動きぼけが軽減されるように画像合成を行う。更に、撮像装置は、表示処理を行って画像信号ＤＶ4を表示部５３に対応する表示解像度の画像信号に変換する。撮像装置は、このような処理を行って表示部５３の画面上に再生画像を表示する。また、撮像装置（画像再生装置）で出力画像信号ＤＶoutを出力すれば、外部機器で再生画像を表示することが可能となる。
【００８２】
また、撮像装置（画像再生装置）は、所望の画像信号ＤＶ3に対応付けられている再生制御情報ＲＪを得ることができないときに、被写体の動きが大きくなるに従い撮像画像の再生速度を低下させる再生制御や再生画像における動きぼけを軽減させる再生制御を行う場合、再生制御処理において、画像信号ＤＶ3を用いて動き検出を行い、得られた動きベクトルに基づき画像信号ＤＶ3のフレームレートを制御して撮像画像における被写体の動きが大きくなるに従い再生速度を遅くしてスローモーション画像を生成させる処理や、カメラ信号処理で動きの大きい被写体のぼけが軽減されたスローモーション画像を生成させる処理を行わせる。
【００８３】
なお、撮像装置（画像再生装置）の制御部８１は、ユーザの指示した再生速度に応じて、記録メディア６２に記録されている画像信号を順次再生するように、記録再生処理部６１の動作を制御するものとしてもよい。例えば、制御部８１は、ユーザが１倍速の再生速度を指示した場合、画像信号ＤＶ3のフレームレートが２４０［ｆｐｓ］となるように記録メディア６２から画像信号の読み出しを行い、画像信号ＤＶ3の連続する４フレームをカメラ信号処理部２０で順次画像合成して、基準フレームレートである６０［ｆｐｓ］の画像信号とする変換を行う。また制御部８１は、ユーザが(１/２)倍速の再生速度を指示した場合、画像信号ＤＶ3のフレームレートが１２０［ｆｐｓ］となるように記録メディア６２から画像信号の読み出しを行い、画像信号ＤＶ3の連続する４フレームをカメラ信号処理部２０で順次画像合成して、基準フレームレートである６０［ｆｐｓ］の画像信号とする変換を行う。また制御部８１は、ユーザが(１/４)倍速の再生速度を指示した場合、画像信号ＤＶ3のフレームレートが基準フレームレートである６０［ｆｐｓ］となるように記録メディア６２から画像信号の読み出しを行う。
【００８４】
また、制御部８１は、ユーザが早送り再生すなわち１倍速を超える再生速度を指示した場合、記録メディア６２から再生速度に応じて間引きして画像信号を読み出すことで、指示された再生速度の画像を示す基準フレームレートの画像信号を生成する。この場合にも、連続する複数フレームの画像を合成して、早送り再生における１フレームの画像を生成するようにしてもよい。
【００８５】
次に、再生画像の動きぼけを軽減させる動作について説明する。画像信号ＤＶ3の画像合成を行い基準フレームレートの画像信号に変換する場合、例えば上述の図５に示すように４つのフレームa〜dの画像を合成して１フレーム(ａ＋ｂ＋ｃ＋ｄ）の画像を生成する場合、被写体の動きが大きいと、フレームa〜dにおける被写体の位置が大きく異なるものとなる。このため、重み係数を等しくして巡回加算を行うものとすると、動きの大きい被写体の画像がぼけを生じてしまう。したがって、画質の良好な再生画像を得ることができない。
【００８６】
そこで、制御部８１は、動きの大きい部分では、巡回加算する複数フレーム内に重み付けの大きいフレームおよびこのフレームと時間的に離れている重み付けが小さいものとされたフレームが設けられるように、フレーム間で違いを生じた重み係数を生成させるための重み係数選択値ＷＳを決定して、カメラ信号処理部２０における画像合成部２１の重み係数生成部２１２に供給する。
【００８７】
図１３は、制御部８１から画像合成部２１の重み係数生成部２１２に供給する重み係数選択値の生成動作を説明するための図である。
【００８８】
制御部８１は、画像信号を用いて動き検出を行うことにより得られた動きの大きさに応じて、重み係数選択値ＷＳを決定する。例えば、画像圧縮伸長部４１で画像信号ＤＶ1の圧縮処理を行うときに得られる動きベクトルＭＶを用いて重み係数選択値ＷＳを設定する。具体的には、動きベクトルＭＶの動き量の絶対値（以下「動きベクトル絶対値」という）ＭＶmをしきい値と比較して、比較結果に応じて重み係数選択値ＷＳを決定する。しきい値は、画像合成するフレーム数に拘わらず固定の値を用いるものとしてもよく、画像合成するフレーム数に応じてしきい値の数を変更するものとしてもよい。例えば、画像合成するフレーム数が多いときには、動きベクトル絶対値ＭＶmに応じて多様な重み係数の設定できるように、しきい値の数を多くする。
【００８９】
図１３の（Ａ）は、例えば２４０［ｆｐｓ］で撮像された撮像画像を４フレーム単位で画像合成して６０［ｆｐｓ］で再生する場合、すなわち再生速度を１倍速としたときの重み係数選択値ＷＳを示している。なお、図１３の（Ａ）では、２つのしきい値Ｍta1，Ｍta2が設けられている。
【００９０】
制御部８１は、動きベクトル絶対値ＭＶmがしきい値Ｍta1未満であるとき、重み係数選択値ＷＳを「Ｗa0」とする。また、制御部８１は、動きベクトル絶対値ＭＶmがしきい値Ｍta1以上でしきい値Ｍta2未満であるとき、重み係数選択値ＷＳを「Ｗa1」とする。更に、制御部８１は、動きベクトル絶対値ＭＶmがしきい値Ｍtb2以上であるとき、重み係数選択値ＷＳを「Ｗa2」とする。
【００９１】
図１３の（Ｂ）は、例えば２４０［ｆｐｓ］で撮像された撮像画像を２フレーム単位で画像合成して６０［ｆｐｓ］で再生する場合、すなわち再生速度を(１/２)速としたときの重み係数選択値ＷＳを示している。なお、図１３の（Ｂ）では、１つのしきい値Ｍtb1が設けられている。
【００９２】
制御部８１は、動きベクトル絶対値ＭＶmがしきい値Ｍtb1未満であるとき、重み係数選択値ＷＳを「Ｗb0」とする。また、制御部８１は、動きベクトル絶対値ＭＶmがしきい値Ｍtb1以上であるとき、重み係数選択値ＷＳを「Ｗb1」とする。
【００９３】
ここで動きベクトルＭＶは、マクロブロック毎に検出されることから、制御部８１は、図１４に示すように、画像信号ＤＶ3のマクロブロック毎に、動きベクトル絶対値ＭＶmに応じて重み係数選択値ＷＳが設定されることになる。なお、図１４では、画面の周辺部分では動きが小さく、中心側に近づくにしたがって徐々に動きが大きくなる場合を例示しており、画面の周辺部分のマクロブロックでは重み係数選択値ＷＳが「Ｗa0」に設定され、中心側に近づいたマクロブロックでは重み係数選択値ＷＳが「Ｗa1」に設定され、中心側のマクロブロックでは重み係数選択値ＷＳが「Ｗa2」に設定される。
【００９４】
画像合成部２１の重み係数生成部２１２は、重み係数選択値ＷＳに応じた重み係数を画像合成する期間内のフレーム毎に順次出力する。図１５は、重み係数を例示している。図１５において「×１」は、例えば２４０［ｆｐｓ］で撮像された撮像画像を４フレーム単位で画像合成して６０［ｆｐｓ］で再生する場合、すなわち再生速度を１倍速としたときの重み係数を示している。この場合、４つのフレームが画像合成されることから、画像合成される４つのフレームａ〜ｄに対して重み係数を設定する。
【００９５】
また、図１５において「×１/２」は、例えば２４０［ｆｐｓ］で撮像された撮像画像を２フレーム単位で画像合成して６０［ｆｐｓ］で再生する場合、すなわち再生速度を(１/２)倍としたときの重み係数を示している。この場合、２つのフレームが画像合成されることから、画像合成される２つのフレームａ，ｂに対して重み係数を設定する。
【００９６】
重み係数生成部２１２は、重み係数選択値ＷＳが「Ｗa0」であるとき画像合成するフレームａ，ｂ，ｃ，ｄの重み係数を「２」として、重み係数選択値ＷＳが「Ｗb0」であるとき画像合成するフレームａ，ｂの重み係数を「２」とする。すなわち、動きがないまたは動きが小さい部分の画像は重み付けが等しくされる。したがって、画像合成部２１から出力される画像信号は、画像合成されるいずれかのフレームの画像にノイズが重畳されても、巡回加算後の画像信号が割り算回路２１４によって所定信号レベル範囲の画像信号とされるので、動きがない部分や動きが小さい部分のノイズが低減された画像信号となる。
【００９７】
重み係数生成部２１２は、重み係数選択値ＷＳが「Ｗa1」であるとき、画像合成するフレームａ，ｂ，ｃ，ｄの重み係数をフレーム順に「１，１，３，３」とし、重み係数選択値ＷＳが「Ｗa2」であるとき、画像合成するフレームａ，ｂ，ｃ，ｄの重み係数をフレーム順に「１，１，２，４」とする。また、重み係数生成部２１２は、重み係数選択値ＷＳが「Ｗb1」であるとき、画像合成するフレームａ，ｂの重み係数をフレーム順に「１，３」とする。すなわち、動きが大きい部分については、画像合成するフレームにおいて、重み付けの大きいフレームとこのフレームと時間的に離れている重み付けが小さいものとされたフレームが設けられるように重み係数が設定される。また、動きが大きい部分ほど、重み付けの大きいフレームと時間的に離れている重み付けが小さいフレームとの重み付けの差が大きくなるように重み係数が設定される。このため、重み付けが大きいものされたフレームに対して、時間的に離れたフレームすなわち被写体の位置が大きく異なるフレームの重み付けは小さいものとされることから、重み付けを等しくして画像合成する場合に比べて動きぼけの低減された画像信号となる。
【００９８】
なお、制御部８１は、動きぼけが低減するように画像合成する各フレームに対してフレーム間で違いを生じた重み係数を設定する処理をユーザが指示した場合にのみ実行するようにして、通常は、画像合成するフレームで重み係数を等しくするようにし、標準撮像モードで撮像した撮像結果を再生する場合と同様の画質で、高速撮像した撮像結果を再生するようにしてもよい。
【００９９】
また、制御部８１は、動きの大きな部分において、画像合成する各フレームに対してフレーム間で違いを生じた重み係数を設定する処理を、高速撮像モードにおける記録時に実行して、再生制御情報ＲＪに重み係数選択値あるいは重み係数を含めるものとしてもよい。この場合、再生時における重み係数の設定が容易となる。例えば、動きベクトルＭＶから重み係数を設定する機能を有していない画像再生装置でも、動きぼけの低減された基準フレームレートの画像信号を出力することが可能となる。
【０１００】
また、制御部８１は、記録メディア６２に記録された撮像画像の再生時に再生制御情報ＲＪを得ることができない場合、画像圧縮伸長部４１で画像信号ＤＶ3を用いた動き検出を行い、この動き検出によって得られた動きベクトルＭＶから重み係数選択値ＷＳを決定するものとしてもよい。
【０１０１】
次に、被写体の動きに応じて再生速度を制御する場合について説明する。制御部８１は、ユーザの指示により、撮像画像における被写体の動きが大きくなればなる程、再生速度が低下するように推奨再生速度ＳＲを決定して、この推奨再生速度ＳＲを表示部５３にオンスクリーン表示する。またユーザが推奨再生速度ＳＲによる再生を指示した場合、制御部８１は推奨再生速度ＳＲの画像信号ＤＶ4を生成するように各部の動作を制御する。更に、制御部８１は、パンやチルト等のカメラワークによる動きの影響を受けないように背景の動きを検出して、この背景の動きを用いて背景に対する被写体の相対的な動きの大きさを算出して、算出した被写体の相対的な動きの大きさに応じて、推奨再生速度ＳＲを決定する。
【０１０２】
図１６は推奨再生速度を決定する処理を説明するための図である。制御部８１は、背景と所望の被写体の動きを区別できるようにするため、撮像画像に対して枠ＢＦを設定して、所望の被写体が位置する中央部分と背景部分に相当する周辺部分ｂに撮像画像を区分する。また、制御部８１は、撮像画像の画像信号を用いて検出した動きベクトルＭＶを絶対値化して、動きの大きさを示す動きベクトル絶対値ＭＶmを算出する。次に、制御部８１は、動きベクトル絶対値ＭＶmを枠ＢＦの内側と外側に分けて加算して、枠ＢＦの内側の動きベクトル絶対値ＭＶmを加算した絶対値和から枠ＢＦの外側の動きベクトル絶対値ＭＶmを加算した絶対値和を式（１）のように減算して背景に対する所望の被写体の相対的な動きの大きさを示す判定値ＭＵを算出する。
ＭＵ＝Σ（枠内の各マクロブロックについての動きベクトル絶対値）
−Σ（枠外の各マクロブロックについての動きベクトル絶対値）・・・（１）
【０１０３】
次に、制御部８１は、判定値ＭＵとしきい値ＡＶt1、ＡＶt2を比較して、比較結果に基づき推奨再生速度ＳＲを決定する。図１７は、判定値と推奨再生速度の関係を示す図である。
【０１０４】
制御部８１は、判定値ＭＵがしきい値ＡＶt1未満であるとき推奨再生速度ＳＲを１倍速（×１）である「Ｆr0」に決定する。また、制御部８１は、判定値ＭＵがしきい値ＡＶt1以上でしきい値ＡＶt2未満であるとき推奨再生速度ＳＲを「Ｆr1」に決定する。更に、制御部８１は、制御部８１は、判定値ＭＵがしきい値ＡＶt2以上であるとき推奨再生速度ＳＲを「Ｆr2」に決定する。ここで、高速フレームレートの画像信号ＤＶ1が２４０［ｆｐｓ］、基準フレームレートが６０［ｆｐｓ］である場合、制御部８１は、推奨再生速度ＳＲが「Ｆr2」のとき、画像信号ＤＶ3のフレームレートが６０［ｆｐｓ］となるように記録メディア６２から画像信号の読み出しを行い、画像信号ＤＶ3を画像合成することなく処理して再生画像の画像信号とする再生速度、すなわち(１/４)倍速を推奨再生速度ＳＲとする。また制御部８１は、推奨再生速度ＳＲが「Ｆr1」のとき、例えば１倍速と(１/４)倍速の中間である(１/２)倍速を推奨再生速度ＳＲとする。
【０１０５】
このように推奨再生速度ＳＲを設定すると、背景に対する被写体の相対的な動きの大きさが小さいときには１倍速の再生速度となり、動きが大きくなるに伴い再生速度が遅いものとされる。このため、推奨再生速度ＳＲで再生を行うものとすれば、背景に対して被写体の動きが大きいときには被写体の動きがゆっくりとされたスローモーション再生画像となり、被写体の動きが小さいときには被写体の動きが実際の動きとなるように自動的に再生速度が可変される。したがって、ユーザは、被写体の動きが大きいときに被写体の動きをゆっくりとした動きで確認できるようにスローモーション再生動作に切り換えて、被写体の動きが小さくなったときに１倍速再生に切り換える操作を行う必要がなく、ユーザの利便性を格段的に向上することができる。
【０１０６】
また、制御部８１は、推奨再生速度ＳＲの設定を、高速撮像モードにおける記録時に実行して、再生制御情報ＲＪに推奨再生速度ＳＲを含めるものとしてもよい。この場合、再生時における推奨再生速度ＳＲの設定が容易となる。例えば、動きベクトルＭＶから推奨再生速度ＳＲを設定する機能を有していない画像再生装置でも、被写体の動きに応じて再生速度を自動的に可変することができる。
【０１０７】
また、制御部８１は、推奨再生速度ＳＲの設定を、高速撮像モードで記録された画像の再生時に実行するものとしてもよい。この場合、制御部８１は、高速撮像モードにおける記録時に、再生制御情報ＲＪに推奨再生速度ＳＲを含めて、再生制御情報ＲＪを画像信号ＤＶ1と対応させて記録メディア６２に記録させる。また、制御部８１は、高速撮像モードで記録された画像の再生時に、画像信号と画像信号に対応する再生制御情報ＲＪを読み出して、この再生制御情報ＲＪで示された推奨再生速度ＳＲとなるようにカメラ信号処理部２０に供給するフレームレートを制御する。
【０１０８】
また、制御部８１は、記録メディア６２に記録された撮像画像の再生時に再生制御情報ＲＪを得ることができない場合、画像圧縮伸長部４１で画像信号ＤＶ3を用いた動き検出を行い、この動き検出によって得られた動きベクトルＭＶから推奨再生速度ＳＲを決定して、撮像画像の再生速度を制御するものとしてもよい。
【０１０９】
図１８は、撮像装置１０および画像記録装置９１で画像信号を記録するときの動作を示すタイムチャートである。なお、図１８では、動きベクトルＭＶに基づき推奨再生速度ＳＲを決定して、この推奨再生速度ＳＲが含まれた再生制御情報ＲＪを画像信号に対応させて記録する場合を示している。
【０１１０】
図１８の（Ａ）は基準フレームレートである６０〔ｆｐｓ〕の垂直同期信号ＶＤである。図１８の（Ｂ）は、撮像部１２で画像信号ＤＶ1を生成するために用いる垂直同期信号ＶＤcである。撮像装置１０は、垂直同期信号ＶＤcに同期してイメージセンサ１２１、ＡＦＥ１２２、ＡＤＣ１２３、補正処理部１２４、検波部７１を動作させて、図１８の（Ｃ）に示す画像信号ＤＶ1を生成させる。なお、図１８の（Ｃ）では、連続した数字で各フレームを示している。
【０１１１】
図１８の（Ｈ）は、カメラ信号処理部２０や画像圧縮伸長部４１、画像出力部５１、表示処理部５２、表示部５３における動作の基準となる基準フレームレートの垂直同期信号ＶＤsである。また、垂直同期信号ＶＤh，ＶＤsは、垂直同期信号ＶＤに同期した信号とされている。
【０１１２】
標準撮像モードのとき、撮像部１２は、基準フレームレートとされている垂直同期信号ＶＤcに同期した画像信号ＤＶ1のフレーム「０」の信号を生成する。カメラ信号処理部２０は、画像信号ＤＶ1が基準フレームレートとされていることから、画像合成を除く他のカメラ信号処理を行う。このカメラ信号処理部２０から出力される画像信号ＤＶ2のフレーム「０」の信号を、表示処理部５２を介して表示部５３に供給することで、図１８の（Ｊ）に示すように、表示部５３に供給される表示画像信号ＤＨや画像出力部５１から出力画像信号ＤＶoutは、フレーム「０」の画像を表示するものとなる。
【０１１３】
高速撮像モードのとき、撮像部１２は、６０［ｆｐｓ］の４倍である２４０［ｆｐｓ］の垂直同期信号ＶＤcに同期した画像信号ＤＶ1のフレーム「１」「２」・・・の信号を生成する。カメラ信号処理部２０は、画像信号ＤＶ1が高速フレームレートとされていることから、画像合成を行い基準フレームレートの画像信号に変換する。
【０１１４】
図１８の（Ｄ）〜（Ｇ）は、カメラ信号処理部２０の画像合成部２１で行われる画像合成を説明するための信号である。図１８の（Ｄ）は、フレームメモリ部３１のバンク３１２ａに書き込まれる画像信号Ｄfwa、図１８の（Ｅ）は、フレームメモリ部３１のバンク３１２ａから読み出される画像信号Ｄfra、図１８の（Ｆ）は、フレームメモリ部３１のバンク３１２ｂに書き込まれる画像信号Ｄfwb、図１８の（Ｇ）は、フレームメモリ部３１のバンク３１２ｂから読み出される画像信号Ｄfrbをそれぞれ示している。
【０１１５】
画像合成部２１は、フレーム「１」の信号をバンク３１２ａに記憶させる。次のフレームで画像合成部２１は、バンク３１２ａに記憶されているフレーム「１」の信号を読み出してフレーム「２」の信号と加算して、巡回加算フレーム「２’」の信号をバンク３１２ａに記憶させる。なお図１８の（Ｄ）〜（Ｇ）では、画像合成が行われた巡回加算フレームに対して数字に「’」を付加している。
【０１１６】
画像合成部２１は、このように巡回加算によって画像合成を行い、基準フレーム期間分の画像合成が完了したとき、すなわちフレーム「１」〜「４」を巡回加算した巡回加算フレーム「４’」の信号がバンク３１２ａに記憶されたとき、画像信号の書き込みをバンク３１２ａからバンク３１２ｂに切り換える。また、画像合成部２１は、バンク３１２ａに記憶されている４フレーム分の画像合成後の信号を、割り算回路で所定レベル範囲の信号に戻しながら垂直同期信号ＶＤsに同期して読み出して輪郭補正等のカメラ信号処理を行ったのち、画像出力部５１や表示処理部５２を介して表示部５３に供給する。
【０１１７】
画像合成部２１は、フレーム「５」の信号をバンク３１２ｂに記憶させる。次のフレームで画像合成部２１は、バンク３１２ｂに記憶されているフレーム「５」の信号を読み出してフレーム「６」の信号と加算して、巡回加算フレーム「６’」の信号をバンク３１２ｂに記憶させる。画像合成部２１は、フレーム「５」〜「８」を巡回加算した巡回加算フレーム「８’」の信号がバンク３１２ｂに記憶されたとき、画像信号の書き込みを行うバンクをバンク３１２ａに切り換えて、バンク３１２ｂに記憶されている４フレーム分の画像合成後の信号を、割り算回路で所定レベル範囲の信号に戻しながら基準フレーム期間で読み出して輪郭補正等の処理を行ったのち、画像出力部５１や表示処理部５２を介して表示部５３に供給する。以下同様に処理すると、図１８の（Ｊ）に示すように、高速撮像モードとされているときでも、基準フレームレートでの画像表示や画像出力を行うことができる。
【０１１８】
また、記録操作が行われているとき、制御部８１は、標準撮像モードで生成された画像信号例えばフレーム「０」の信号を、圧縮処理して記録メディア６２に記録し、高速撮像モードで生成された画像信号例えばフレーム「１」「２」・・・の信号を、カメラ信号処理や圧縮処理を行うことなく記録メディア６２に記録する。
【０１１９】
更に、制御部８１は、高速撮像モードであるとき、カメラ信号処理部２０から出力される画像信号を画像圧縮伸長部４１で処理させて、画像圧縮伸長部４１で生成された動き情報に基づき、図１８の（Ｉ）に示す推奨再生速度ＳＲを決定して、この推奨再生速度ＳＲを含む再生制御情報ＲＪを高速撮像モードで生成された画像信号と対応付けて記録メディア６２に記録する。なお、図示せずも、再生時に重み係数を設定する場合には、重み係数選択値ＷＳを再生制御情報ＲＪに含めて、画像信号と対応付けて記録メディア６２に記録する。
【０１２０】
図１９は、撮像装置１０および画像再生装置９０で記録メディア６２に記録されている画像を生成するときの動作を示すタイムチャートである。なお、図１９では、推奨再生速度による再生をユーザが指示した場合を示している。
【０１２１】
図１９の（Ａ）は、基準フレームレートである６０〔ｆｐｓ〕の垂直同期信号ＶＤである。図１９の（Ｂ）は、記録メディア６２から画像信号とともに読み出された推奨再生速度ＳＲを示している。図１９の（Ｃ）は、記録メディア６２から読み出す画像信号の垂直同期信号ＶＤrを示している。また、図１９の（Ｉ）は、カメラ信号処理部２０や画像圧縮伸長部４１、画像出力部５１、表示処理部５２、表示部５３における動作の基準となる基準フレームレートの垂直同期信号ＶＤsである。
【０１２２】
読み出した推奨再生速度ＳＲが１倍速（×１）である「Ｆr0」であるとき、制御部８１は、画像信号ＤＶ3を記録時のフレームレート、すなわち画像信号ＤＶ3を２４０［ｆｐｓ］としてカメラ信号処理部２０に供給する。図１９の（Ｄ）は、画像信号ＤＶ3を示している。
【０１２３】
制御部８１は、画像信号ＤＶ3が高速撮像モードで記録されていることから、カメラ信号処理部２０で画像合成を行わせて基準フレームレートの画像信号を生成させる。
【０１２４】
図１９の（Ｅ）〜（Ｈ）は、カメラ信号処理部２０の画像合成部２１で行われる画像合成を説明するための信号である。図１９の（Ｅ）は、フレームメモリ部３１のバンク３１２ａに書き込まれる画像信号Ｄfwa、図１９の（Ｆ）は、フレームメモリ部３１のバンク３１２ａから読み出される画像信号Ｄfra、図１９の（Ｇ）は、フレームメモリ部３１のバンク３１２ｂに書き込まれる画像信号Ｄfwb、図１９の（Ｈ）は、フレームメモリ部３１のバンク３１２ｂから読み出される画像信号Ｄfrbをそれぞれ示している。
【０１２５】
画像合成部２１は、上述のように画像合成を行い、基準フレーム期間分の画像合成が完了したとき、すなわちフレーム「１」〜「４」を画像合成した巡回加算フレーム「４’」の信号がバンク３１２ａに記憶されたとき、画像信号の書き込みを行うバンクをバンク３１２ａからバンク３１２ｂに切り換える。また、画像合成では、動き情報に応じて重み係数が設定されて、設定された重き係数で巡回加算されるフレームの重み付けが行われる。また、画像合成部２１は、バンク３１２ａに記憶されている４フレーム分の画像合成後の信号を、割り算回路で所定レベル範囲の信号に戻しながら垂直同期信号ＶＤsに同期して読み出して輪郭補正等のカメラ信号処理を行ったのち、画像出力部５１や表示処理部５２を介して表示部５３に供給する。図１９の（Ｊ）は、表示部５３に供給される表示画像信号ＤＨや画像出力部５１から出力画像信号ＤＶoutを示している。
【０１２６】
次に、読み出した推奨再生速度ＳＲが(１/２)倍速である「Ｆr1(×1/2)」であるとき、制御部８１は、画像信号ＤＶ3を記録時の(１/２)倍のフレームレート、すなわち画像信号ＤＶ3を１２０［ｆｐｓ］としてカメラ信号処理部２０に供給する。このときも画像信号ＤＶ3のフレームレートは基準フレームレートよりも高いことから、制御部８１は、カメラ信号処理部２０で画像合成を行わせて、基準フレームレートの画像信号を生成させる。
【０１２７】
すなわち、画像合成部２１は、フレーム「９」の信号をバンク３１２ａに記憶させる。次のフレームで画像合成部２１は、バンク３１２ａに記憶されているフレーム「９」の信号を読み出してフレーム「１０」の信号と加算して、巡回加算フレーム「１０’」の信号をバンク３１２ａに記憶させる。
【０１２８】
画像合成部２１は、基準フレーム期間分の画像合成が完了したとき、すなわちフレーム「９」，「１０」の画像合成が行われた巡回加算フレーム「１０’」の信号がバンク３１２ａに記憶されたとき、画像信号の書き込みを行うバンクをバンク３１２ａからバンク３１２ｂに切り換える。また、画像合成部２１は、バンク３１２ａに記憶されている２フレーム分の画像合成後の信号を、割り算回路で所定レベル範囲の信号に戻しながら垂直同期信号ＶＤsに同期して読み出して輪郭補正等の処理を行ったのち、画像出力部５１や表示処理部５２を介して表示部５３に供給する。
【０１２９】
次に、読み出した推奨再生速度ＳＲが(１/４)倍速である「Ｆr2(×1/4)」であるとき、制御部８１は、画像信号ＤＶ3を記録時の(１/４)倍のフレームレート、すなわち画像信号ＤＶ3を６０［ｆｐｓ］としてカメラ信号処理部２０に供給する。このとき、画像信号ＤＶ3のフレームレートは基準フレームレートであることから、制御部８１は、カメラ信号処理部２０で画像合成を行うことなく、輪郭補正等のカメラ信号処理を行ったのち、画像出力部５１や表示処理部５２を介して表示部５３に供給する。なお、カメラ信号処理部２０は、画像合成を行うとき基準フレーム期間分の画像合成が行われた画像信号を次の基準フレーム期間で読み出すものであることから画像合成後の信号は、画像信号ＤＶ3に対して１フレーム遅延したものとなっている。したがって、画像信号ＤＶ3が基準フレームレートであるとき、制御部８１は、画像信号ＤＶ3をバンク３１２ａまたはバンク３１２ｂに書き込み、書き込まれた画像信号を次の基準フレーム期間で読み出すように制御して、推奨再生速度ＳＲの切り換えが行われても、各フレームの画像信号ＤＶ3を用いて画像の再生を順次行わせる。
【０１３０】
このように、推奨再生速度ＳＲで再生動作を行うものとすれば、動きの小さいときには画像信号ＤＶ3が４フレーム単位で画像合成されて、基準フレームレートの画像とされるので、表示または出力される画像は自動的に１倍速の再生画像となる。また、動きが大きくなるに伴い、画像信号ＤＶ3のフレームレートが遅くされると共に画像合成されるフレーム数も少なくされるので、表示または出力される画像は自動的にスローモーションの再生画像となる。
【０１３１】
また、制御部８１は、動きの小さいとき重み係数を等しく設定して、動きの大きいときには画像合成による動きぼけが少なくなるように画像合成するフレーム間で違いを生じた重み係数に設定する。したがって、動きの小さい部位はノイズの低減された画像となり、動きの大きい部位は、画像合成を行ってもぼけの少ない画像となる。
【０１３２】
図２０は、記録メディア６２から読み出した画像信号を用いて動き検出を行い、推奨再生速度を設定して、この推奨再生速度による再生をユーザが指示した場合のタイミングチャートを示している。
【０１３３】
図２０の（Ａ）は、基準フレームレートである６０〔ｆｐｓ〕の垂直同期信号ＶＤである。図２０の（Ｂ）は、記録メディア６２から読み出す画像信号の垂直同期信号ＶＤrを示しており、垂直同期信号ＶＤrは、記録されている画像信号のフレームレートである２４０［ｆｐｓ］のフレーム周期とされている。また、図２０の（Ｉ）は、カメラ信号処理部２０や画像圧縮伸長部４１、画像出力部５１、表示処理部５２、表示部５３における動作の基準となる基準フレームレートの垂直同期信号ＶＤsである。
【０１３４】
図２０の（Ｄ）カメラ信号処理部と画像圧縮伸長部４１に供給される画像信号ＤＶ3、図２０の（Ｃ）は、画像信号ＤＶ3を用いて動き検出を行うことにより決定された推奨再生速度ＳＲを示している。
【０１３５】
記録再生処理部６１は、記録メディア６２から画像信号の読み出しを行い、垂直同期信号ＶＤと垂直同期信号ＶＤrに同期して１フレーム分の画像信号ＤＶ3を注目フレームの画像信号としてカメラ信号処理部２０と画像圧縮伸長部４１に供給する。画像圧縮伸長部４１は、垂直同期信号ＶＤ，ＶＤrに同期して供給された注目フレームの画像信号と、このフレームよりも例えば１フレーム前である参照フレームの画像信号を用いて動き検出を行い動きベクトルＭＶを検出する。制御部８１は、検出された動きベクトルＭＶに基づき、この注目フレームが含まれる基準フレーム期間の推奨再生速度ＳＲと重み係数選択値ＷＳを決定する。
【０１３６】
例えば画像圧縮伸長部４１は、注目フレームであるフレーム「１」の画像信号と参照フレームであるフレーム「０」の画像信号を用いて動き検出を行い、動きベクトルＭＶを検出する。制御部８１は、この動きベクトルＭＶに基づき、フレーム「１」が含まれる基準フレーム期間の推奨再生速度ＳＲを決定する。ここで、検出した動きベクトルＭＶに基づいて算出した判定値ＭＵがしきい値ＡＶt1未満であるとき、制御部８１は、フレーム「１」が含まれる基準フレーム期間の推奨再生速度ＳＲを１倍速(×１）である「Ｆro」とする。１倍速のときには、画像信号ＤＶ3の４フレーム分を画像合成することから、制御部８１は記録再生処理部６１を制御して、フレーム「１」に続く３フレームの画像信号をカメラ信号処理部２０と画像圧縮伸長部４１に供給する。
【０１３７】
図２０の（Ｅ）〜（Ｈ）は、カメラ信号処理部２０の画像合成部２１で行われる画像合成を説明するための信号である。図２０の（Ｅ）は、フレームメモリ部３１のバンク３１２ａに書き込まれる画像信号Ｄfwa、図２０の（Ｆ）は、フレームメモリ部３１のバンク３１２ａから読み出される画像信号Ｄfra、図２０の（Ｇ）は、フレームメモリ部３１のバンク３１２ｂに書き込まれる画像信号Ｄfwb、図２０の（Ｈ）は、フレームメモリ部３１のバンク３１２ｂから読み出される画像信号Ｄfrbをそれぞれ示している。
【０１３８】
画像合成部２１は、上述のように画像合成を行い、基準フレーム期間分の画像合成が完了したとき、すなわちフレーム「１」〜「４」を画像合成した巡回加算フレーム「４’」の信号がバンク３１２ａに記憶されたとき、画像信号の書き込みを行うバンクをバンク３１２ａからバンク３１２ｂに切り換える。また、画像合成では、検出された動きベクトルに基づいて決定された重み係数選択値ＷＳに応じて重み係数が設定されて、設定された重き係数で巡回加算されるフレームの重み付けが行われる。また、画像合成部２１は、バンク３１２ａに記憶されている４フレーム分の画像合成後の信号を、割り算回路で所定レベル範囲の信号に戻しながら垂直同期信号ＶＤsに同期して、次の基準フレーム期間で読み出して輪郭補正等の処理を行ったのち、画像出力部５１や表示処理部５２を介して表示部５３に供給する。図２０の（Ｊ）は表示部５３に供給される表示画像信号ＤＨや画像出力部５１から出力される出力画像信号ＤＶoutを示している。なお、重み係数選択値ＷＳを決定するとき、既に巡回加算する１フレーム目の画像信号がバンクに記憶される。このため、重み係数選択値ＷＳに応じて選択される動き係数において最初のフレームの係数を等しくしておけば、２番目のフレーム以降の動き係数を調整して、動きぼけを軽減させることができる。例えば図１５において、重み係数選択値ＷＳが「Ｗa0」であるときの係数を「１，１，１，１」として、図４に示す割り算回路２１４では、重み係数選択値ＷＳが「Ｗa0」であるとき、フレームメモリ部３１から供給された画像信号の信号レベルを(１/４)倍する。このようにすれば、フレームａの係数は重み係数選択値ＷＳが「Ｗa0」「Ｗa1」「Ｗa2」のいずれであっても「１」とされるので、既に巡回加算する１フレーム目の画像信号がバンクに記憶されても、動きがない部分や動きが小さい部分のノイズや動きの大きい部分の動きぼけを低減させることができる。
【０１３９】
次に、注目フレームであるフレーム「５」の画像信号と参照フレームであるフレーム「４」の画像信号を用いて動き検出を行い、検出された動きベクトルＭＶに基づきフレーム「５」が含まれる基準フレーム期間の推奨再生速度ＳＲが１倍速(×１）である「Ｆro」に決定されると、バンク３１２ｂを用いて４フレームの巡回加算が行われて、表示画像信号ＤＨの生成や出力画像信号ＤＶoutの出力が行われる。
【０１４０】
次に、注目フレームであるフレーム「９」の画像信号と参照フレームであるフレーム「８」の画像信号を用いて動き検出を行い、検出された動きベクトルＭＶに基づきフレーム「８」が含まれる基準フレーム期間の推奨再生速度ＳＲを決定する。ここで、判定値ＭＵがしきい値ＡＶt1以上でしきい値ＡＶt2未満であるときは、フレーム「８」が含まれる基準フレーム期間の推奨再生速度ＳＲを(１/２)倍速「×１/2」である「Ｆr1」とする。(１/２)倍速のときには、画像信号ＤＶ3の２フレーム分を画像合成することから、制御部８１は記録再生処理部６１を制御して、フレーム「８」に続く１フレーム分の画像信号をカメラ信号処理部２０と画像圧縮伸長部４１に供給する。
【０１４１】
画像合成部２１は、画像合成を行って基準フレーム期間分の画像合成が完了したとき、すなわちフレーム「９」「１０」を画像合成した回加算フレーム「１０’」の信号がバンク３１２ａに記憶されたとき、画像信号の書き込みを行うバンクをバンク３１２ａからバンク３１２ｂに切り換える。画像合成では、検出された動きベクトルに基づいて決定された重み係数選択値ＷＳに応じて設定された重み係数で巡回加算されるフレームの重み付けが行われる。また、画像合成部２１は、バンク３１２ａに記憶されている２フレーム分の画像合成後の信号を、割り算回路で所定レベル範囲の信号に戻しながら垂直同期信号ＶＤsに同期して次の基準フレーム期間で読み出して輪郭補正等の処理を行ったのち、画像出力部５１や表示処理部５２を介して表示部５３に供給する。
【０１４２】
また、注目フレームであるフレーム「１３」の画像信号と参照フレームであるフレーム「１２」の画像信号を用いて動き検出を行い、検出された動きベクトルＭＶに基づく判定値ＭＵがしきい値ＡＶt2以上であるときは、フレーム「１３」が含まれる基準フレーム期間の推奨再生速度ＳＲを(１/４)倍速「×１/4」である「Ｆr2」とする。(１/４)倍速のときには、画像信号ＤＶ3の画像合成を行わないことから、バンク３１２ａに記憶されたフレーム「１３」の画像信号を垂直同期信号ＶＤsに同期して次の基準フレーム期間で読み出して輪郭補正等のカメラ信号処理を行ったのち、画像出力部５１や表示処理部５２を介して表示部５３に供給する。
【０１４３】
このように、記録メディア６２から読み出した画像信号を用いて動き検出を行い、動き検出結果に基づいて推奨再生速度ＳＲや重み係数選択値ＷＳを決定すれば、再生制御情報ＲＪが記録メディア６２に記録されていなくとも、動きの小さいときには画像信号ＤＶ3が４フレーム単位で画像合成されて、基準フレームレートの画像とされるので、表示または出力される画像は自動的に１倍速の再生画像となる。また、動きが大きくなるに伴い、画像信号ＤＶ3のフレームレートが遅くされると共に画像合成されるフレーム数も少なくされるので、表示または出力される画像は自動的にスローモーションの再生画像となる。
【０１４４】
また、動きの小さいときには重み係数を等しくして画像合成が行われ、動きの大きいときには合成後の画像で動きぼけが低減するように画像合成するフレーム間で違いを生じた重み係数が設定される。したがって、再生画像において動きの小さい部位はノイズの低減された画像となり、動きの大きい部位は、画像合成を行ってもぼけの少ない画像となる。
【０１４５】
このように、上述の実施の形態によれば、撮像画像における被写体の動きに応じて推奨再生速度が決定されるので、推奨再生速度で再生を行うものとすれば、被写体の動きが大きい撮像画像が記録されている位置をユーザが検索してスローモーション再生を行わなくとも、被写体の動きが大きいときには自動的に再生速度が低下されてスローモーション再生画像が表示されることになり、ユーザの使い勝手を向上することができる。
【０１４６】
また、撮像機会を逃すことなく時間解像度の高いスローモーション再生画像を得ることができるように、高速撮像モードでの記録動作を事前に開始すると、高速撮像モードで記録された撮像画像の再生速度を遅くしてスローモーション再生画像を得るものとした場合、所望の動きがスローモーション画像として表示されるまでの待ち時間が非常に長くなってしまう。しかし、本願発明によれば、動きが小さいときには例えば１倍速で再生が行われて、動きが大きいときには自動的に再生速度が低下されてスローモーション再生画像となるので、所望の動きがスローモーション画像として表示されるまでの待ち時間が長くなってしまうことを防止できる。
【０１４７】
また、基準フレーム期間分の画像信号を画像の動きに応じて重み付けして加算処理により、高速フレームレートの画像信号が基準フレームレートの画像信号に変換されるので、静止部分や動きの小さい部分のＳＮ比が改善されて、動きの大きい部分ではぼけが防止された、高画質のスローモーション画像を得ることができる。
【０１４８】
また、動き検出によって動きベクトルを求めて、この動きベクトルの動き量に応じて重み付けや推奨再生速度が決定されるので、簡易かつ確実に重み付けや推奨再生速度を決定することができる。
【０１４９】
また、上述の撮像装置では、標準撮像モードであるとき、画像信号ＤＶ1を圧縮処理して記録メディアに記録するので、記録する撮像画像の信号量を削減できる。また、画像信号ＤＶ1を圧縮処理する画像圧縮伸長部４１で得られた動きベクトルから再生制御情報ＲＪが生成されるので、再生制御情報ＲＪを生成するために動き検出部を別個に設ける必要がなく、撮像装置の構成が簡単でコストアップを抑えることができる。
【０１５０】
なお、上述の撮像装置は、撮像画像の記録再生を行うものに限らない。例えば、高速フレームレートの画像信号と再生制御情報ＲＪを対応付けて画像出力部５１から出力するようにしてもよい。
【０１５１】
また、上述の撮像装置では、基準フレームレートの画像信号を用いてカメラ信号処理や圧縮処理を行う場合を示したが、カメラ信号処理部や画像圧縮伸長部の処理能力が高く、高速フレームレートの画像信号を用いてカメラ信号処理や圧縮処理を行うことが可能である場合には、カメラ信号処理された高速フレームレートの画像信号やこの画像信号を圧縮処理して、記録メディア６２に記録または画像出力部５１から出力するようにしてもよい。
【０１５２】
また、上述の実施の形態では、画像圧縮伸長部４１で圧縮処理を行う際に生成した動きベクトルを被写体の動き検出の結果として用いるものとしたが、動き検出は、例えば、画面内の動き量の平均に対する分散の大きさを求める方法等、種々の方法を広く適用することができる。
【０１５３】
図２１は、本発明の他の実施の形態を示すブロック図である。撮像装置９５は、モニタ用と外部出力用とに２系統のカメラ信号処理部２０a、２０bが設けられる。撮像装置９５は、この２系統のカメラ信号処理部２０a、２０bに関する構成が異なる点を除いて、撮像装置１０と同一に構成される。
【０１５４】
撮像装置９５は、例えばホームネットワーク９６を介してディスプレイ装置９７と接続される。撮像装置９５において、制御部８１は、画像出力部５１を介した接続時のデータ通信により、ディスプレイ装置９７の入力可能な最大のフレームレート(フレーム周波数)を検出する。なお最大フレームレートの検出は、接続時に実行される撮像装置９５とディスプレイ装置９７との間のデータ通信処理において、ディスプレイ装置９７からディスプレイ装置９７の再生制御情報を取得することにより実行される。
【０１５５】
制御部８１は、この取得した最大フレームレートの画像信号を画像出力部５１から出力するように、外部出力用のカメラ信号処理部２０bから出力する画像信号ＤＶ2b，ＤＶ4bのフレームレートを切り換える。
【０１５６】
すなわちディスプレイ装置９７における最大フレームレートが６０〔ｆｐｓ〕（最大フレーム周波数が６０〔Ｈｚ〕）の場合、カメラ信号処理部２０と同一に、カメラ信号処理部２０bの動作を制御し、６０〔ｆｐｓ〕の画像信号ＤＶ2b，ＤＶ4bを出力する。
【０１５７】
ディスプレイ装置９７における最大フレームレートが１２０〔ｆｐｓ〕の場合、２４０〔ｆｐｓ〕で記録メディア６２から再生した画像信号ＤＶ3、および高速撮像モードで得られる画像信号ＤＶ1については、連続する２フレームの巡回加算を行って生成された１２０〔ｆｐｓ〕の画像信号ＤＶ2b，ＤＶ4bをディスプレイ装置９７に出力する。
【０１５８】
また１２０〔ｆｐｓ〕で記録メディア６２から再生した画像信号ＤＶ3については、フレームレートを低減することなく、カメラ信号処理部２０bで処理してディスプレイ装置９７に出力する。また６０〔ｆｐｓ〕で記録メディア６２から再生した画像信号ＤＶ3、標準撮像モードで撮像部１２から出力される画像信号ＤＶ1については、バンク３１２ａ、３１２ｂを交互に使用して同一フレームの画像信号を繰り返し出力することにより、１２０〔ｆｐｓ〕にアップコンバートしてディスプレイ装置９７に出力する。
【０１５９】
なお、アップコンバートの処理は、単に同一フレームを繰り返す処理に代えて、動きベクトルを用いた動き補償によりフレーム補間する場合等、種々の手法を広く適用することができる。またアップコンバートに代えて、撮像部１２の動作を切り換えて、１２０〔ｆｐｓ〕の画像信号ＤＶ1を生成するようにしてもよい。
【０１６０】
モニタ側のカメラ信号処理部２０aは、記録メディア６２から再生した画像信号ＤＶ3を入力し、表示処理部５２、表示部５３に対応したフレームレートである６０〔ｆｐｓ〕で出力する。
【０１６１】
なお、カメラ信号処理部自体を２系統設ける代わりに、画像合成部２１だけ２系統設けるようにしてもよい。ただし、この場合、ガンマ処理等を始めに実行し、最後に画像合成処理を実行することになる。
【０１６２】
このように、少なくとも外部機器の対応可能なフレームレートより高いフレームレートで、記録媒体から高速撮像モードで記録された撮像画像を再生する場合に、この外部機器に応じて、外部機器が対応可能なフレームレートに低減して出力することにより、一段と高画質で撮像結果を出力することができる。
【０１６３】
ところでホームネットワーク等のネットワークを介して画像信号を伝送する場合、このネットワークを介して他の機器が信号の伝送を行っている場合も予測され、ネットワークの伝送速度が低い場合に、リアルタイムで画像信号を伝送できなくなる場合もある。そこで、記録メディア６２から読み出した画像信号をディスプレイ装置９７に出力する場合、推奨再生速度に対応するように、ディスプレイ装置９７に出力する画像信号のフレームレートを動的に切り換え、不必要に高いフレームレートで画像信号ＤＶ4bがディスプレイ装置９７に出力されないようにする。なおこの実施の形態では、ディスプレイ装置９７に出力する画像信号のフレームレートが異なる点を除いて、上述の撮像装置１０と同一に構成される。
【０１６４】
制御部８１は、高速撮像モードにおいて、画像圧縮伸長部４１で検出される動きベクトルを用いて、推奨再生速度を決定する。またこの決定した推奨再生速度が１倍速の場合、フレームレートが２４０［ｆｐｓ］である画像信号ＤＶ1の連続する４フレームをカメラ信号処理部２０bで順次画像合成して、フレームレートが６０〔ｆｐｓ〕の画像信号ＤＶ2bを生成し、この画像信号ＤＶ2bをディスプレイ装置９７に出力する。
【０１６５】
推奨再生速度が(１/２)倍速の場合、フレームレートが２４０［ｆｐｓ］である画像信号ＤＶ1の連続する２フレームをカメラ信号処理部２０bで順次画像合成して、フレームレートが１２０〔ｆｐｓ〕の画像信号ＤＶ2bを生成し、この画像信号ＤＶ4bをディスプレイ装置９７に出力する。また推奨再生速度が(１/４)倍速の場合、フレームレートが２４０［ｆｐｓ］である画像信号ＤＶ1を、カメラ信号処理部２０bで何らフレームレートを低減することなく、２４０〔ｆｐｓ〕の画像信号ＤＶ2bをディスプレイ装置９７に出力する。
【０１６６】
高速撮像モードで記録メディア６２に記録した撮像画像の再生時、ユーザが１倍速の再生を指示している場合には、画像信号ＤＶ3のフレームレートが２４０［ｆｐｓ］となるように記録メディア６２から読み出しを行う。また、推奨再生速度に応じて、この再生した画像信号ＤＶ3のフレームレートをカメラ信号処理部２０bで変換する。したがって、この場合も、推奨再生速度が１倍速、(１/２)倍速、(１/４)倍速の場合に、カメラ信号処理部２０bで、それぞれフレームレートが６０〔ｆｐｓ〕、１２０〔ｆｐｓ〕、２４０〔ｆｐｓ〕の画像信号ＤＶ4bを生成してディスプレイ装置９７に出力する。
【０１６７】
高速撮像モードで記録メディア６２に記録した画像信号の再生時、ユーザが(１/２)倍速の再生を指示している場合には、画像信号ＤＶ3のフレームレートが１２０［ｆｐｓ］となるように記録メディア６２から読み出しを行う。また推奨再生速度が１倍速の場合、画像信号ＤＶ3のフレームレートをカメラ信号処理部２０bで６０〔ｆｐｓ〕に変換してディスプレイ装置９７に出力する。これに対して推奨再生速度が(１/２)倍速、(１/４)倍速の場合、何らフレームレートを低減することなく、フレームレートが１２０〔ｆｐｓ〕の画像信号ＤＶ4bをディスプレイ装置９７に出力する。
【０１６８】
高速撮像モードで記録メディア６２に記録した画像信号の再生時、ユーザが(１/４)倍速の再生を指示している場合には、画像信号ＤＶ3のフレームレートが６０［ｆｐｓ］となるように記録メディア６２から読み出しを行う。また何らフレームレートを低減することなく、６０〔ｆｐｓ〕の画像信号ＤＶ4bをディスプレイ装置９７に出力する。
【０１６９】
高時間解像度スローモーション撮像モードで記録メディア６２に記録した画像信号の再生時、ユーザが推奨再生速度による再生を指示している場合、カメラ信号処理部２０bにおける画像合成処理を中止し、記録メディア６２から再生するフレームレートの画像信号ＤＶ4bをディスプレイ装置９７に出力する。
【０１７０】
なお、標準撮像モード時、標準撮像モードで記録メディア２に記録した撮像画像の再生時においても、同様に、推奨再生速度を検出し、この推奨再生速度に応じてフレームレートを動的に変化させるようにしてもよい。またこの標準撮像モードにおける動的なフレームレートの切り換えは、６０〔ｆｐｓ〕の画像信号をアップコンバートして実行してもよく、イメージセンサ１２１自体の動作周波数を切り換えて実行するようにしてもよい。
【０１７１】
このように、被写体の動きに応じて、外部機器に出力する画像信号のフレームレートを動的に切り換えることにより、実用上十分な画質を確保してネットワークに送出する画像信号の信号量を十分に低減することができる。したがって、他の機器とネットワークを共用する場合でも、リアルタイムで画像信号を伝送することができる。
【０１７２】
また、推奨再生速度に応じて外部装置に出力する画像信号のフレームレートを動的に変更する場合に限らず、画像信号の伝送路であるネットワークに応じて、および／または外部機器に応じて、動的に切り換えるようにして、リアルタイムの画像信号の伝送を確保するようにしてもよい。
【０１７３】
なおネットワークに応じたフレームレートの切り換えは、例えばパケット単位で画像信号をネットワークに送出する際に、ネットワークにパケットの送出をリクエストして許可が得られるまでの待ち時間により、ネットワークにおけるいわゆる混雑の程度を判断し、混雑している場合程、フレームレートを低減させることにより実行することができる。
【０１７４】
また外部機器に応じたフレームレートの切り換えは、例えばパケット単位で画像信号を外部機器に伝送する際に、外部機器に画像信号の伝送をリクエストした後、伝送の許可が得られるまでの待ち時間をカウントし、待ち時間が長い場合程、フレームレートを低減させることにより実行することができる。
【０１７５】
なお、上述の実施の形態においては、巡回加算により画像信号のフレームレートを低減する場合について述べたが、本発明はこれに限らず、単に複数フレームの対応する画像信号の加算処理によりフレームレートを低減するようにしてもよく、更に実用上十分な画質を確保することができる場合には、フレームの間引きによりフレームレートを低減するようにしてもよい。
【０１７６】
また上述の実施の形態においては、基準フレームレートを６０〔ｆｐｓ〕として、高速撮像モードでは、基準フレームレートの４倍のフレームレートである２４０〔ｆｐｓ〕の画像信号ＤＶ1を生成する場合について述べたが、本発明はこれに限らず、例えば基準フレームレートの３倍のフレームレートである画像信号ＤＶ1を生成する場合等、種々のフレームレートで撮像を行う場合に広く適用することができる。
【０１７７】
また上述の実施の形態においては、高速撮像モードで撮像された画像を１倍速、(１/２)倍速、(１/４)倍速で再生する場合について述べたが、本発明はこれに限らず、例えば(１/３)倍速で再生する場合等にも広く適用することができる。
【０１７８】
更に、上述の実施の形態においては、ノンインタレース方式の画像信号を生成する場合について述べたが、本発明はこれに限らず、インタレース方式の画像信号を生成する場合にも広く適用することができる。
【０１７９】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１８０】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
予め設定された画像レートよりも高い画像レートで撮像を行うことにより生成された撮像画像の画像信号を再生する信号再生部と、
前記信号再生部から出力される画像信号を用いて動き検出を行うことで得られた動き検出結果を用いて再生制御情報を生成する再生制御情報生成部と、
前記信号再生部から出力される画像信号の画像レートを前記予め設定された画像レートに変換する信号処理部と、
前記再生制御情報に基づき前記信号再生部から前記信号処理部に供給される画像信号の画像レートを制御して、前記動き検出結果が示す動きが大きくなるに従い前記撮像画像の再生速度を低下させる制御部と、
を備え、
前記制御部は、前記信号処理部にて前記画像信号を画像合成して画像レート変換を行うとき、前記画像信号を用いて動き検出を行うことで得られた動き検出結果に基づいて、画像合成される前記画像信号の各フレームの重み係数を設定する、画像再生装置。
（２）
前記制御部は、前記動き検出結果が示す動きの大きい部分では、画像合成される前記画像信号の各フレーム内に重み係数の大きいフレームおよび当該フレームと時間的に離れている重み係数の小さいフレームが設けられるように、前記各フレームの重み係数を設定する、前記（１）に記載の画像再生装置。
（３）
画像合成される前記画像信号の各フレームの重み係数の組み合わせが設定された複数の重み係数選択値が設定されており、
前記制御部は、前記動き検出結果が示す動きの大きさとしきい値との比較結果に基づいて１つの前記重み係数選択値を決定する、前記（２）に記載の画像再生装置。
（４）
前記動き検出結果は、前記画像信号から検出されるマクロブロック単位の動きベクトルであり、
前記制御部は、前記動きベクトルの動き量の絶対値と前記しきい値との比較結果に基づいて前記マクロブロック毎に１つの前記重み係数選択値を決定する、前記（３）に記載の画像再生装置。
（５）
画像合成される前記画像信号のフレーム数に応じて、前記しきい値の数が決定される、前記（３）または（４）に記載の画像再生装置。
【産業上の利用可能性】
【０１８１】
本発明は、例えば通常のビデオ信号の画像レートよりも高い画像レートで撮像を行って画像信号を生成して、この画像信号を用いてスローモーション再生画像を得るときに好適である。
【符号の説明】
【０１８２】
１０ 撮像装置
１２ 撮像部
２０ カメラ信号処理部
２１ 画像合成部
２２ 画素補間部
２４ 色補正部
２５ ガンマ／ニー処理部
２６ 色空間変換部
２７ 解像度変換部
３１ フレームメモリ部
４１ 画像圧縮伸長部
５１ 画像出力部
５２ 表示処理部
５３ 表示部
６１ 記録再生処理部
６２ 記録メディア
７１ 検波部
８１ 制御部
８２ ユーザインタフェース部
９０ 画像再生装置
【特許請求の範囲】
【請求項１】
予め設定された画像レートよりも高い画像レートで撮像を行うことにより生成された撮像画像の画像信号を再生する信号再生部と、
前記信号再生部から出力される画像信号を用いて動き検出を行うことで得られた動き検出結果を用いて再生制御情報を生成する再生制御情報生成部と、
前記信号再生部から出力される画像信号の画像レートを前記予め設定された画像レートに変換する信号処理部と、
前記再生制御情報に基づき前記信号再生部から前記信号処理部に供給される画像信号の画像レートを制御して、前記動き検出結果が示す動きが大きくなるに従い前記撮像画像の再生速度を低下させる制御部と、
を備え、
前記制御部は、前記信号処理部にて前記画像信号を画像合成して画像レート変換を行うとき、前記画像信号を用いて動き検出を行うことで得られた動き検出結果に基づいて、画像合成される前記画像信号の各フレームの重み係数を設定する、画像再生装置。
【請求項２】
前記制御部は、前記動き検出結果が示す動きの大きい部分では、画像合成される前記画像信号の各フレーム内に重み係数の大きいフレームおよび当該フレームと時間的に離れている重み係数の小さいフレームが設けられるように、前記各フレームの重み係数を設定する、請求項１に記載の画像再生装置。
【請求項３】
画像合成される前記画像信号の各フレームの重み係数の組み合わせが設定された複数の重み係数選択値が設定されており、
前記制御部は、前記動き検出結果が示す動きの大きさとしきい値との比較結果に基づいて１つの前記重み係数選択値を決定する、請求項２に記載の画像再生装置。
【請求項４】
前記動き検出結果は、前記画像信号から検出されるマクロブロック単位の動きベクトルであり、
前記制御部は、前記動きベクトルの動き量の絶対値と前記しきい値との比較結果に基づいて前記マクロブロック毎に１つの前記重み係数選択値を決定する、請求項３に記載の画像再生装置。
【請求項５】
画像合成される前記画像信号のフレーム数に応じて、前記しきい値の数が決定される、請求項３に記載の画像再生装置。
【請求項６】
予め設定された画像レートよりも高い画像レートで撮像を行うことにより生成された撮像画像の画像信号を再生するステップと、
前記画像信号を用いて動き検出を行うことで得られた動き検出結果を用いて再生制御情報を生成するステップと、
前記動き検出結果に基づいて画像合成される前記画像信号の各フレームの重み係数を設定するステップと、
前記画像信号の各フレームの重み係数で重み付けされた前記画像信号の画像レートを前記予め設定された画像レートに変換するステップと、
前記再生制御情報に基づき前記画像信号の画像レートを制御して、前記動き検出結果が示す動きが大きくなるに従い前記撮像画像の再生速度を低下させるステップと、
を含む、画像再生方法。
【請求項７】
予め設定された画像レートよりも高い画像レートで撮像を行うことにより生成された撮像画像の画像信号を生成する撮像部と、
前記撮像部で生成された画像信号を用いて動き検出を行うことで得られた動き検出結果に基づいて、画像合成される前記画像信号の各フレームの重み係数を設定する制御部と、
前記画像信号の各フレームの重み係数で重み付けされた前記画像信号の画像レートを前記予め設定された画像レートに変換する信号処理部と、
前記信号処理部で前記予め設定された画像レートに変換された画像信号を用いて動き検出を行うことで得られた動き検出結果を用いて、前記画像信号の再生時に前記動き検出で検出された動きが大きくなるに従い前記撮像画像の再生速度を低下させる再生制御情報を生成する再生制御情報生成部と、
前記再生制御情報を前記画像信号に対応させて出力する出力部と、
を備える、撮像装置。
【請求項１】
予め設定された画像レートよりも高い画像レートで撮像を行うことにより生成された撮像画像の画像信号を再生する信号再生部と、
前記信号再生部から出力される画像信号を用いて動き検出を行うことで得られた動き検出結果を用いて再生制御情報を生成する再生制御情報生成部と、
前記信号再生部から出力される画像信号の画像レートを前記予め設定された画像レートに変換する信号処理部と、
前記再生制御情報に基づき前記信号再生部から前記信号処理部に供給される画像信号の画像レートを制御して、前記動き検出結果が示す動きが大きくなるに従い前記撮像画像の再生速度を低下させる制御部と、
を備え、
前記制御部は、前記信号処理部にて前記画像信号を画像合成して画像レート変換を行うとき、前記画像信号を用いて動き検出を行うことで得られた動き検出結果に基づいて、画像合成される前記画像信号の各フレームの重み係数を設定する、画像再生装置。
【請求項２】
前記制御部は、前記動き検出結果が示す動きの大きい部分では、画像合成される前記画像信号の各フレーム内に重み係数の大きいフレームおよび当該フレームと時間的に離れている重み係数の小さいフレームが設けられるように、前記各フレームの重み係数を設定する、請求項１に記載の画像再生装置。
【請求項３】
画像合成される前記画像信号の各フレームの重み係数の組み合わせが設定された複数の重み係数選択値が設定されており、
前記制御部は、前記動き検出結果が示す動きの大きさとしきい値との比較結果に基づいて１つの前記重み係数選択値を決定する、請求項２に記載の画像再生装置。
【請求項４】
前記動き検出結果は、前記画像信号から検出されるマクロブロック単位の動きベクトルであり、
前記制御部は、前記動きベクトルの動き量の絶対値と前記しきい値との比較結果に基づいて前記マクロブロック毎に１つの前記重み係数選択値を決定する、請求項３に記載の画像再生装置。
【請求項５】
画像合成される前記画像信号のフレーム数に応じて、前記しきい値の数が決定される、請求項３に記載の画像再生装置。
【請求項６】
予め設定された画像レートよりも高い画像レートで撮像を行うことにより生成された撮像画像の画像信号を再生するステップと、
前記画像信号を用いて動き検出を行うことで得られた動き検出結果を用いて再生制御情報を生成するステップと、
前記動き検出結果に基づいて画像合成される前記画像信号の各フレームの重み係数を設定するステップと、
前記画像信号の各フレームの重み係数で重み付けされた前記画像信号の画像レートを前記予め設定された画像レートに変換するステップと、
前記再生制御情報に基づき前記画像信号の画像レートを制御して、前記動き検出結果が示す動きが大きくなるに従い前記撮像画像の再生速度を低下させるステップと、
を含む、画像再生方法。
【請求項７】
予め設定された画像レートよりも高い画像レートで撮像を行うことにより生成された撮像画像の画像信号を生成する撮像部と、
前記撮像部で生成された画像信号を用いて動き検出を行うことで得られた動き検出結果に基づいて、画像合成される前記画像信号の各フレームの重み係数を設定する制御部と、
前記画像信号の各フレームの重み係数で重み付けされた前記画像信号の画像レートを前記予め設定された画像レートに変換する信号処理部と、
前記信号処理部で前記予め設定された画像レートに変換された画像信号を用いて動き検出を行うことで得られた動き検出結果を用いて、前記画像信号の再生時に前記動き検出で検出された動きが大きくなるに従い前記撮像画像の再生速度を低下させる再生制御情報を生成する再生制御情報生成部と、
前記再生制御情報を前記画像信号に対応させて出力する出力部と、
を備える、撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２０１２−６０６７１（Ｐ２０１２−６０６７１Ａ）
【公開日】平成２４年３月２２日（２０１２．３．２２）
【国際特許分類】
【出願番号】特願２０１１−２５３６８３（Ｐ２０１１−２５３６８３）
【出願日】平成２３年１１月２１日（２０１１．１１．２１）
【分割の表示】特願２００８−５５８０３６（Ｐ２００８−５５８０３６）の分割
【原出願日】平成２０年１月３１日（２００８．１．３１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年３月２２日（２０１２．３．２２）
【国際特許分類】
【出願日】平成２３年１１月２１日（２０１１．１１．２１）
【分割の表示】特願２００８−５５８０３６（Ｐ２００８−５５８０３６）の分割
【原出願日】平成２０年１月３１日（２００８．１．３１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]