撮像装置、映像出力方法および映像再生プログラム
【課題】 可変速撮像による映像を滑らかに表示させる。
【解決手段】 メモリコントローラ３０は、Ａ／Ｄ変換部２２から供給された撮像フレームを、３つのバンクを撮像フレームに同期して所定に切り替えて書き込む。また、メモリコントローラ３０は、３つのバンクを映像フレームに同期してそれぞれ所定に切り替え、あるタイミングの撮像フレームと、その１つ前の撮像フレームとを同期基準信号に同期して、それぞれ映像フレーム（ｎ）および映像フレーム（ｎ−１）として読み出す。映像フレーム（ｎ）は、乗算器３１に供給され、映像フレーム（ｎ）の画素毎に係数ｋを乗じる。一方、別のバンクから読み出された映像フレーム（ｎ−１）は、乗算器３２に供給され、映像フレーム（ｎ−１）の画素毎に係数（１−ｋ）を乗じる。加算器３３で、２つの映像フレームを画素毎に加算し、混合された再生映像フレームを表示装置２８で表示する。
【解決手段】 メモリコントローラ３０は、Ａ／Ｄ変換部２２から供給された撮像フレームを、３つのバンクを撮像フレームに同期して所定に切り替えて書き込む。また、メモリコントローラ３０は、３つのバンクを映像フレームに同期してそれぞれ所定に切り替え、あるタイミングの撮像フレームと、その１つ前の撮像フレームとを同期基準信号に同期して、それぞれ映像フレーム（ｎ）および映像フレーム（ｎ−１）として読み出す。映像フレーム（ｎ）は、乗算器３１に供給され、映像フレーム（ｎ）の画素毎に係数ｋを乗じる。一方、別のバンクから読み出された映像フレーム（ｎ−１）は、乗算器３２に供給され、映像フレーム（ｎ−１）の画素毎に係数（１−ｋ）を乗じる。加算器３３で、２つの映像フレームを画素毎に加算し、混合された再生映像フレームを表示装置２８で表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、可変速撮像可能な撮像装置、映像出力方法および映像再生プログラムに関する。
【背景技術】
【０００２】
特殊撮影などでは、撮影した被写体が撮影時の速度よりも速く動いて見えることを想定して撮影する可変速撮影を行うことがある。例えば、フィルムを用いた撮影の場合、撮影時に、フィルムの回転速度を通常の撮影時よりも遅くした状態で撮影を行い、映写時に、通常の速度でフィルムを回転させることにより、高速映写を実現することができる。
【０００３】
また、例えば、撮像映像をディジタルビデオデータにより記録する場合、撮影時の映像フレームのフレーム周波数を、再生時の映像フレームのフレーム周波数よりも低く設定して被写体を撮影し、再生時に規定のフレーム周波数の映像信号として再生することにより、高速再生を実現するようにした可変速撮像が可能な撮像装置が提案されている。
【０００４】
従来の撮像装置による可変速撮像方法について、概略的に説明する。被写体を所定のフレーム周波数で撮像し、撮像して得られた撮像フレームは、メモリに書き込まれる。メモリは、撮像フレームを書き込むための領域として複数のバンクを有し、各バンクに対して、それぞれ撮像フレームを書き込むことができるようになっている。メモリに書き込まれた撮像フレームは、外部から供給される同期基準信号に基づき、所定のフレーム周波数の映像フレームとして読み出される。
【０００５】
この時、撮像フレームのフレーム周波数と、映像フレームのフレーム周波数が異なるため、撮像フレームが書き込まれている間に、当該撮像フレームを読み出すタイミングがくる場合がある。書き込まれている撮像フレームは、書き込みが完了するまで映像フレームとして読み出すことができないので、このような場合には、別のバンクに書き込まれた１つ前の撮像フレームを再度読み出すようにする。すなわち、タイミングによっては、同じ撮像フレームが重複して読み出される。
【０００６】
このように、撮像フレームをフレーム周波数の異なる映像フレームとして読み出すことにより、可変速撮像を可能とする撮像装置が特許文献１に記載されている。
【０００７】
【特許文献１】特開２０００−１２５２１０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
撮像映像をビューファインダで見る場合について考える。ビューファインダは、例えば３０Ｈｚの映像フレームに基づき、撮像映像が映出される。上述したように、映像フレームの読み出しは、タイミングによっては重複する部分が生じるため、このままビューファインダに表示した場合、映像フレームが時間軸に対応していないので、不自然な動きとなって見えてしまうという問題点があった。
【０００９】
したがって、この発明の目的は、可変速撮像が可能な撮像装置により撮像された映像を、ビューファインダなどの表示部に表示させる際に、映像が違和感なく、滑らかに表示できる撮像装置、映像出力方法および映像再生プログラムを提供することにある。
【課題を解決するための手段】
【００１０】
上述した課題を解決するために、請求項１に記載の発明は、被写体からの光を撮像する撮像部と、同期基準信号に基づくフレーム周波数よりも低いフレーム周波数の撮像フレームを撮像するように撮像部を駆動する撮像駆動部と、撮像部から出力された撮像フレームを順次格納する記憶部と、記憶部に格納された撮像フレームと撮像フレームの１つ前の撮像フレームとを所定の割合で混合させた再生映像フレームを生成して、同期基準信号に基づき出力する信号処理部とを有することを特徴とする撮像装置である。
【００１１】
また、請求項４に記載の発明は、同期基準信号に基づくフレーム周波数よりも低いフレーム周波数の撮像フレームを撮像し、撮像された撮像フレームを記憶部に順次格納し、記憶部に格納された撮像フレームと撮像フレームの１つ前の撮像フレームとを所定の割合で混合させた再生映像フレームを生成して、同期基準信号に基づき出力するようにしたことを特徴とする映像出力方法である。
【００１２】
また、請求項５に記載の発明は、同期基準信号に基づくフレーム周波数よりも低いフレーム周波数の撮像フレームを撮像し、撮像された撮像フレームを記憶部に順次格納し、記憶部に格納された撮像フレームと撮像フレームの１つ前の撮像フレームとを所定の割合で混合させた再生映像フレームを生成して、同期基準信号に基づき出力するようにした映像出力方法をコンピュータ装置に実行させることを特徴とする映像出力プログラムである。
【００１３】
上述したように、請求項１、４および５に記載の発明は、同期基準信号に基づくフレーム周波数よりも低いフレーム周波数の撮像フレームを撮像し、撮像された撮像フレームを記憶部に順次格納し、記憶部に格納された撮像フレームと撮像フレームの１つ前の撮像フレームとを所定の割合で混合させた再生映像フレームを生成して、同期基準信号に基づき出力するようにしているため、ビューファインダなどの表示装置において、映像を滑らかに映出させることができる。
【発明の効果】
【００１４】
この発明は、可変速撮像を行う際に、ある時点における映像フレームと、１つ前の映像フレームを所定の割合で混合させて再生映像フレームを生成するようにしているため、映像を滑らかに映出させることができるという効果がある。
【発明を実施するための最良の形態】
【００１５】
以下、この発明の実施の一形態について、図面を参照しながら説明する。図１は、この発明の実施の一形態に適用可能な撮像装置１１の一例の構成を示す。撮像装置１１は、例えば、撮像部２１、Ａ／Ｄ変換部２２、ディジタル信号処理部２３、メモリ２４、タイミング信号発生部２５、撮像タイミング信号発生部２６、システムコントローラ２７および表示装置２８を有する。
【００１６】
タイミング信号発生部２５は、外部から供給された同期基準信号に基づき、タイミング信号を生成し、ディジタル信号処理部２３に供給すると共に、撮像タイミング信号発生部２６に供給する。この同期基準信号は、この撮像装置１１が放送局内やスタジオ内で用いられる場合は、放送局内やスタジオ内の放送機器で共通に用いられる信号である。例えば、放送局内やスタジオ内では、この同期基準信号を用いて、映像フレームの同期をとることができる。
【００１７】
システムコントローラ２７は、例えばＣＰＵ（Central Processing Unit）からなり、図示されないＲＯＭ(Read Only Memory)に予め記憶されたプログラムに従い、図示されないＲＡＭ(Random Access Memory)をプログラム実行の際のワークメモリとして用いて、この撮像装置１１の各部を制御する。システムコントローラ２７は、外部から供給された制御コマンドに基づき、撮像信号の撮像フレームのフレーム周波数を決定するための信号を生成し、撮像タイミング信号発生部２６に供給する。
【００１８】
撮像タイミング信号発生部２６は、タイミング信号発生部２５から供給されたタイミング信号と、システムコントローラ２７から供給された撮像フレームのフレーム周波数を決定するための信号とに基づき、撮像部２１による撮像タイミングを決定する撮像タイミング信号を生成し、撮像部２１およびディジタル信号処理部２３に供給する。
【００１９】
撮像部２１は、例えば、ＣＣＤ（Charge Coupled Devices）を撮像素子として用い、撮像素子に受光された光を光電変換により撮像信号に変換する。撮像素子は、例えば、２２００画素×１１２５ラインを有効画素とする。撮像部２１は、撮像タイミング信号発生部２６から供給された撮像タイミング信号に基づき、１フレーム分の撮像信号を出力する。撮像部２１から出力された撮像信号は、Ａ／Ｄ変換部２２に供給され、ディジタル撮像信号に変換され、ディジタル信号処理部２３に供給される。
【００２０】
ディジタル信号処理部２３は、供給されたディジタル撮像信号に対して、γ（ガンマ）補正やホワイトバランス調整といった所定の信号処理を施し、メモリ２４に書き込む。メモリ２４は、データを書き込む領域として、それぞれ少なくとも１フレーム分の映像信号を書き込むことができるバンクａ、バンクｂおよびバンクｃの少なくとも３バンクを有する。ディジタル信号処理部２３から供給されたディジタル撮像信号に基づく撮像フレームのデータは、３バンクのうち、所定に選択されたバンクに書き込まれる。メモリ２４のバンクに書き込まれた撮像フレームのデータは、タイミング信号発生部２５から供給されたタイミング信号に同期してメモリ２４のバンクから読み出され、読み出されたデータが映像信号として外部に出力されると共に、表示装置２８に供給される。
【００２１】
表示装置２８は、例えば、ビューファインダとして用いられ、ディジタル信号処理部２３から出力された映像信号を、同期基準信号に同期したフレーム周波数で表示する。
【００２２】
次に、撮像装置１１により可変速撮像を行う方法について説明する。撮像部２１でＣＣＤに撮像され、所定の信号処理を施した後、Ａ／Ｄ変換部２２でディジタル撮像信号に変換された撮像フレームのデータがメモリ２４のバンクに書き込まれる。このメモリ２４に書き込まれた撮像フレームのデータは、１撮像フレーム分のデータが全て書き込まれ、当該撮像フレームのデータの書き込み完了後にくる、同期基準信号に同期した映像フレームの先頭の位置から読み出される。
【００２３】
なお、同期基準信号に同期した映像フレームは、フレーム周波数が３０Ｈｚ（ヘルツ）、１フレームあたりのライン数が１１２５ライン、１ラインあたりの画素数が２２００画素であるものとする。
【００２４】
ここで、例えば、再生時の速度が撮像時の速度の１．５倍となるようにする場合について考える。これは、例えば、２０Ｈｚのフレーム周波数で撮像した映像を、３０Ｈｚのフレーム周波数で再生することで実現できる。したがって、撮像フレームのフレーム周波数と、同期基準信号に同期した映像フレームのフレーム周波数との比をフレーム比とするとき、この値が２／３になる。ＣＣＤを駆動するクロック周波数と１フレームあたりのライン数とが固定的であるとき、撮像フレームの１ラインあたりの画素数は、撮像フレームのフレーム周波数が３０Ｈｚの場合の１ラインあたりの画素数である２２００画素に、フレーム比の逆数である３／２を乗じて、３３００画素となる。
【００２５】
すなわち、再生時の速度が撮像時の速度のＸ倍となるようにする場合には、フレーム比を１／Ｘとすればよいので、１ラインあたりの画素数は、同期基準信号に基づく撮像フレームのフレーム周波数における１ラインあたりの画素数である２２００画素に、フレーム比の逆数であるＸを乗じて、「２２００×Ｘ」画素となる。
【００２６】
一方、ＣＣＤを駆動するクロック周波数が固定的であると共に、ＣＣＤの１ラインあたりの有効画素数がフレーム周波数によらず固定的である。そのため、図２に示すように、撮像フレームのフレーム周波数に対応した１ラインあたりの画素数（この例では、３３００画素）と、ＣＣＤの１ラインあたりの画素数との差分である１１００画素分の時間については、例えば、何も撮像されないようにして、ブランキング部分とする。メモリ２４のバンクには、ブランキング部分を除いた、２２００画素×１１２５ラインの撮像フレームのデータが書き込まれる。
【００２７】
撮像装置１１により可変速撮像を行う方法について、図３を参照して、より具体的に説明する。図３Ａは、バンクａのデータの書き込みおよび読み出しのタイミングを示し、図３Ｂは、バンクｂのデータの書き込みおよび読み出しのタイミングを示し、図３Ｃは、バンクｃのデータの書き込みおよび読み出しのタイミングを示す。図３Ｄは、同期基準信号に基づくフレーム先頭位置に対応するタイミングを示す。
【００２８】
撮像フレームのデータは、例えば、メモリ２４の３つのバンクに順に書き込まれ、書き込みが完了した撮像フレームのデータは、映像フレームの先頭の位置で、データの読み出しが行われる。なお、映像フレームのデータの読み出しが終わっても、次の撮像フレームの書き込みが完了していない場合は、次の映像フレームの先頭で、当該映像フレームのデータが再度読み出される。
【００２９】
図３において、撮像フレーム＃１のデータがメモリ２４のバンクａに書き込まれる（図３Ａ）。バンクａに書き込まれた撮像フレーム＃１のデータは、撮像フレーム＃１のデータの書き込み完了後にくる、同期基準信号に基づくフレームの先頭の位置から映像フレーム＃１１として、同期基準信号に基づき読み出される。
【００３０】
撮像フレーム＃１のデータの書き込みが完了すると、撮像フレーム＃２のデータがメモリ２４のバンクｂに書き込まれる（図３Ｂ）。映像フレーム＃１１の読み出しが完了した時点では、撮像フレーム＃２のデータの書き込みが完了していないので、バンクａに書き込まれている撮像フレーム＃１のデータが、同期基準信号に基づくフレームの先頭の位置から、映像フレーム＃１２として再度読み出される。バンクｂに書き込まれた撮像フレーム＃２のデータは、撮像フレーム＃２のデータの書き込み完了後にくる、同期基準信号に基づくフレームの先頭の位置から映像フレーム＃１３として、同期基準信号に基づき読み出される。
【００３１】
撮像フレーム＃２のデータの書き込みが完了すると、撮像フレーム＃３のデータがメモリ２４のバンクｃに書き込まれる（図３Ｃ）。バンクｃに書き込まれた撮像フレーム＃３のデータは、撮像フレーム＃３のデータの書き込み完了後にくる、同期基準信号に基づくフレームの先頭の位置から映像フレーム＃１４として、同期基準信号に基づき読み出される。
【００３２】
撮像フレーム＃３のデータの書き込みが完了すると、撮像フレーム＃４のデータがメモリ２４のバンクａに書き込まれる。映像フレーム＃１４の読み出しが完了した時点では、撮像フレーム＃４のデータの書き込みが完了していないので、バンクｃに書き込まれている撮像フレーム＃３のデータが、同期基準信号に基づくフレームの先頭の位置から、映像フレーム＃１５として再度読み出される。
【００３３】
映像フレーム＃１５の読み出しが完了した後、バンクａに書き込まれた撮像フレーム＃４のデータは、撮像フレーム＃４のデータの書き込み完了後にくる、同期基準信号に基づくフレームの先頭の位置から映像フレーム＃１６として、同期基準信号に基づき読み出される。
【００３４】
以下、上述と同様にして、メモリ２４の各バンクへの撮像フレームの書き込みおよび映像フレームの読み出しが行われる。
【００３５】
このように、フレーム周波数が２０Ｈｚの撮像フレームを、フレーム周波数が３０Ｈｚの映像フレームとして読み出し、重複した映像フレームを取り去ることにより、この映像信号を再生した場合に、被写体の速度が撮影時の速度よりも１．５倍速く見えるようにすることができる。
【００３６】
次に、フレーム比を４／５とした場合の可変速撮像法について、図４を参照して説明する。この場合、２４Ｈｚのフレーム周波数で撮像した映像を、３０Ｈｚのフレーム周波数で再生することにより、撮像時の速度の１．２５倍で再生することができる。図４Ａは、バンクａのデータの書き込みおよび読み出しのタイミングを示し、図４Ｂは、バンクｂのデータの書き込みおよび読み出しのタイミングを示し、図４Ｃは、バンクｃのデータの書き込みおよび読み出しのタイミングを示す。図４Ｄは、同期基準信号に基づくフレーム先頭位置に対応するタイミングを示す。
【００３７】
図４において、撮像フレーム＃１のデータがメモリ２４のバンクａに書き込まれる（図４Ａ）。バンクａに書き込まれた撮像フレーム＃１のデータは、撮像フレーム＃１のデータの書き込み完了後にくる、同期基準信号に基づくフレームの先頭の位置から映像フレーム＃１１として、同期基準信号に基づき読み出される。
【００３８】
撮像フレーム＃１のデータの書き込みが完了すると、撮像フレーム＃２のデータがメモリ２４のバンクｂに書き込まれる（図４Ｂ）。映像フレーム＃１１の読み出しが完了した時点では、撮像フレーム＃２のデータの書き込みが完了していないので、バンクａに書き込まれている撮像フレーム＃１のデータが、同期基準信号に基づくフレームの先頭の位置から、映像フレーム＃１２として再度読み出される。バンクｂに書き込まれた撮像フレーム＃２のデータは、撮像フレーム＃２のデータの書き込み完了後にくる、同期基準信号に基づくフレームの先頭の位置から映像フレーム＃１３として、同期基準信号に基づき読み出される。
【００３９】
撮像フレーム＃２のデータの書き込みが完了すると、撮像フレーム＃３のデータがメモリ２４のバンクｃに書き込まれる（図４Ｃ）。バンクｃに書き込まれた撮像フレーム＃３のデータは、撮像フレーム＃３のデータの書き込み完了後にくる、同期基準信号に基づくフレームの先頭の位置から映像フレーム＃１４として、同期基準信号に基づき読み出される。
【００４０】
撮像フレーム＃３のデータの書き込みが完了すると、撮像フレーム＃４のデータがメモリ２４のバンクａに書き込まれる。バンクａに書き込まれた撮像フレーム＃４のデータは、撮像フレーム＃４のデータの書き込み完了後にくる、同期基準信号に基づくフレームの先頭の位置から映像フレーム＃１５として、同期基準信号に基づき読み出される。
【００４１】
撮像フレーム＃４のデータの書き込みが完了すると、撮像フレーム＃５のデータがメモリ２４のバンクｂに書き込まれる。バンクｂに書き込まれた撮像フレーム＃５のデータは、撮像フレーム＃５のデータの書き込み完了後にくる、同期基準信号に基づくフレームの先頭の位置から映像フレーム＃１６として、同期基準信号に基づき読み出される。
【００４２】
以下、上述と同様にして、メモリ２４の各バンクへの撮像フレームの書き込みおよび映像フレームの読み出しが行われる。
【００４３】
このように、フレーム周波数が２４Ｈｚの撮像フレームを、フレーム周波数が３０Ｈｚの映像フレームとして読み出し、重複した映像フレームを取り除くことにより、この映像信号を再生した場合に、被写体の速度が撮影時の速度よりも１．２５倍速く見えるようにすることができる。
【００４４】
例えば、出力される映像信号を記録媒体に記録し、後に映像フレームの重複分を取り除いて出力する。こうすることにより、撮像フレームのフレーム周波数と異なるフレーム周波数の映像フレームを再生することができる。
【００４５】
ここで、この映像信号を表示装置２８に映出させる場合について考える。表示装置２８に映像信号を表示するときは、ディジタル信号処理部２３から供給された映像がそのまま表示されるので、重複した映像フレームが取り除かれない。そのため、映像フレームが重複する部分については、映像が止まって見えることになり、滑らかに映出することができない。この映像フレームが重複する部分は、例えば、上述の図３の例では、映像フレーム＃１１および＃１２と、映像フレーム＃１４および＃１５と、映像フレーム＃１７および＃１８とにあたる部分であり、図４の例では、映像フレーム＃１１および＃１２と、映像フレーム＃１６および＃１７とにあたる部分である。
【００４６】
そこで、この発明の実施の一形態では、撮像装置１１で可変速撮像して映像をビューファインダなどの表示装置で映出させる際に、ある時点での映像フレームと１つ前の映像フレームとを所定の割合で混合させた再生映像フレームを生成し、このようにして得られた再生映像フレームを表示装置２８で映出することにより、表示装置２８に表示される映像が滑らかに見えるようにした。
【００４７】
図５は、この発明の実施の一形態によるディジタル信号処理部２３の一例の構成を示す。メモリコントローラ３０は、Ａ／Ｄ変換部２２から供給される撮像フレームのメモリ２４への書き込みおよび読み出しを制御する。Ａ／Ｄ変換部２２から供給された撮像フレームは、メモリコントローラ３０の制御により、バンクａ、バンクｂおよびバンクｃの３つのバンクを、撮像フレームに同期して所定に切り替えられて書き込まれる。メモリコントローラ３０は、メモリ２４の３つのバンクを、映像フレームに同期してそれぞれ所定に切り替え、あるタイミングの撮像フレームと、その撮像フレームの１つ前の撮像フレームとを、同期基準信号に同期して、それぞれ映像フレーム（ｎ）および映像フレーム（ｎ−１）として読み出す。
【００４８】
メモリ２４のバンクから読み出された映像フレーム（ｎ）は、乗算器３１に供給されると共に、出力の映像信号として外部に出力される。乗算器３１は、供給された映像フレーム（ｎ）の画素毎に係数ｋを乗じ、加算器３３に供給する。なお係数ｋは、０以上１以下の値である。
【００４９】
一方、メモリ２４の別のバンクから読み出された映像フレーム（ｎ−１）は、乗算器３２に供給される。乗算器３２は、供給された映像フレーム（ｎ−１）の画素毎に係数（１−ｋ）を乗じ、加算器３３に供給する。加算器３３は、供給された２つの映像フレームを画素毎に加算し、２つの映像フレームが混合された再生映像フレームを得る。得られた再生映像フレームは、表示装置２８に供給される。表示装置２８は、供給された再生映像フレームを表示する。
【００５０】
次に、上述した係数ｋについて説明する。係数ｋは、フレーム比およびフレームシーケンス番号に応じて決定される。図６にフレーム比とフレームシーケンス番号と係数ｋとの対応関係の一例を示す。
【００５１】
なお、フレームシーケンス番号は、撮像フレームの先頭の位置と、映像フレームの先頭の位置とが一致する映像フレームから、次に撮像フレームの先頭の位置と映像フレームの先頭の位置とが一致する映像フレームまでの時間を１周期として考え、１周期内の先頭の撮像フレームが最初に読み出される映像フレームを先頭として、１周期の時間内の映像フレームに対して割り当てられる番号を示す。
【００５２】
係数ｋは、再生映像フレームを生成する際に用いられる映像フレーム（ｎ）と映像フレーム（ｎ−１）とを混合する際の割合を決定する。この割合は、映像フレーム（ｎ）および映像フレーム（ｎ−１）として読み出したそれぞれの撮像フレームの時間比に基づき、決定される。この例では、係数ｋは、フレーム比を２／３とした場合において、フレームシーケンス番号が「０」、「１」および「２」の時は、それぞれ「１」、「０．５」および「１」となる。また、フレーム比を４／５とした場合において、フレームシーケンス番号が「０」、「１」、「２」、「３」および「４」の時は、それぞれ「１」、「０．７５」、「０．５」、「０．２５」および「１」となる。
【００５３】
フレーム更新は、映像フレーム（ｎ）および映像フレーム（ｎ−１）を読み出すバンクを次の映像フレームの周期で切り替えるか否かを示す。映像フレームのフレーム更新のタイミングは、フレーム比およびフレームシーケンス番号に応じて決定される。図６中の「○」は、フレーム更新を行うことを示し、フレーム更新を行う場合は、同期基準信号に同期した１つ前のフレームに基づき、映像フレーム（ｎ）の読み出しを行ったバンクの次のバンクに格納されている撮像フレームのデータを映像フレーム（ｎ）として読み出すようにする。すなわち、フレーム更新を行う場合は、読み出すバンクを次のバンクに切り替える。映像フレーム（ｎ−１）についても同様である。
【００５４】
一方、図６中の「×」は、フレーム更新を行わないことを示し、フレーム更新を行わない場合は、同期基準信号に同期した１つ前のフレームに基づき、映像フレーム（ｎ）の読み出しを行ったバンクと同じバンクに格納されている撮像フレームのデータを映像フレーム（ｎ）として再度読み出すようにする。すなわち、フレーム更新を行わない場合は、読み出すバンクを切り替えない。映像フレーム（ｎ−１）についても同様である。
【００５５】
なお、図６に示す、フレーム比とフレームシーケンス番号と係数ｋとの対応関係は、例えば、システムコントローラ２７に接続された図示されないＲＯＭに、予めテーブルとして記憶するようにしてもよい。システムコントローラ２７は、制御コマンドが供給されたときに、制御コマンドに重畳されたフレーム比とフレームシーケンス番号とに基づき、このテーブルを参照し、係数ｋを決定する。
【００５６】
また、係数ｋは、これに限らず、ユーザにより独自に決定してもよい。さらに、例えば、所定の計算により算出されるようにしてもよい。例えば、最初のフレームシーケンス番号と、後述するフレーム更新が行われないフレームシーケンス番号とに対応する映像フレームの係数ｋは、フレーム比の分子の値の逆数分づつ変化するような値とすることができる。
【００５７】
また、この例では、係数ｋは、フレームシーケンス番号に応じて、１次関数的に変化する値をとるようにしているが、これに限らず、例えば、２次関数的に変化する値としてもよい。
【００５８】
次に、メモリコントローラ３０により、映像フレーム（ｎ）および映像フレーム（ｎ−１）をメモリ２４の各バンクから読み出す際の動作について説明する。メモリコントローラ３０は、フレーム比およびフレームシーケンス番号に基づくフレーム更新を示す情報から、撮像フレームのデータを読み出すバンクを選択し、同期基準信号に同期した映像フレーム（ｎ）および映像フレーム（ｎ−１）として読み出すようにしている。
【００５９】
図７は、メモリコントローラ３０の一例の構成を示す。メモリコントローラ３０は、例えば、スイッチ４０、スイッチ４１およびスイッチ４２を有し、フレーム更新を示す情報に基づき、それぞれのスイッチの出力端子が選択される。
【００６０】
スイッチ４０、４１および４２は、それぞれ３つの出力端子を有する。出力端子４０ａ、４１ａおよび４２ａは、映像フレーム（ｎ）を出力する端子である。出力端子４０ｂ、４１ｂおよび４２ｂは、映像フレーム（ｎ−１）を出力する端子である。また、出力端子４０ｃ、４１ｃおよび４２ｃは、何も出力しない端子である。スイッチ４０、４１および４２は、それぞれ異なる出力端子が選択され、同期基準信号に基づき、出力端子が切り替えられる。
【００６１】
図８は、フレーム比を２／３とした場合の、図６の例に示すフレームシーケンス番号に応じた各バンクに対応するスイッチの選択状態の一例を示す。なお、図８中の「ｎ」は、そのバンクに対応するスイッチの映像フレーム（ｎ）を出力する端子が選択されたことを示し、「ｎ−１」は、映像フレーム（ｎ−１）を出力する端子が選択されたことを示す。また、「ｘ」は、何も出力されない端子が選択されていることを示す。この例では、便宜上、最初にバンクｂに対応するスイッチ４１の、映像フレーム（ｎ）を出力する端子が選択されている。
【００６２】
フレームシーケンス番号が０の時、スイッチ４１の出力端子４１ａが選択され、バンクｂに書き込まれている撮像フレームのデータが映像フレーム（ｎ）として出力されると共に、スイッチ４０の出力端子４０ｂが選択され、バンクａに書き込まれている撮像フレームのデータが映像フレーム（ｎ−１）として出力される。この時、バンクｃに対応するスイッチ４２では、出力端子４２ｃが選択され、バンクｃに書き込まれている撮像フレームのデータは、出力されない。
【００６３】
フレームシーケンス番号が１の時、フレーム更新されるので、スイッチ４０、４１および４２において、それぞれ出力端子が１つずつ切り替えられる。すなわち、スイッチ４２の出力端子４２ａが選択され、バンクｃに書き込まれている撮像フレームのデータが映像フレーム（ｎ）として読み出されると共に、スイッチ４１の出力端子４１ｂが選択され、バンクｂに書き込まれている撮像フレームのデータが映像フレーム（ｎ−１）として読み出される。この時、バンクａに対応するスイッチ４０では、出力端子４０ｃが選択され、バンクａに書き込まれている撮像フレームのデータは、出力されない。
【００６４】
フレームシーケンス番号が２の時、フレーム更新されないので、各スイッチ４０、４１および４２の出力端子の選択状態が保持され、スイッチ４２の出力端子４２ａが選択され、バンクｃに書き込まれている撮像フレームのデータが映像フレーム（ｎ）として再度読み出されると共に、スイッチ４１の出力端子４１ｂが選択され、バンクｂに書き込まれている撮像フレームのデータが映像フレーム（ｎ−１）として再度読み出される。この時、バンクａに対応するスイッチ４０では、出力端子４０ｃが選択され、バンクａに書き込まれている撮像フレームのデータは、出力されない。
【００６５】
以下、上述と同様に、フレームシーケンス番号に応じて、各スイッチ４０、４１および４２の出力端子が順次選択され、各バンクに書き込まれた撮像フレームのデータが映像フレーム（ｎ）または映像フレーム（ｎ−１）として読み出される。
【００６６】
図９は、フレーム比を４／５とした場合の、図６の例に示すフレームシーケンス番号に応じた各バンクに対応するスイッチの選択状態の一例を示す。なお、図９中の「ｎ」は、そのバンクに対応するスイッチの、映像フレーム（ｎ）を出力する端子が選択されることを示し、「ｎ−１」は、映像フレーム（ｎ−１）を出力する端子が選択されることを示す。また、「ｘ」は、何も出力されない端子が選択されていることを示す。この例では、便宜上、最初にバンクｂに対応するスイッチ４１の、映像フレーム（ｎ）を出力する端子が選択されている。
【００６７】
フレームシーケンス番号が０の時、スイッチ４１の出力端子４１ａが選択され、バンクｂに書き込まれている撮像フレームのデータが映像フレーム（ｎ）として読み出されると共に、スイッチ４０の出力端子４０ｂが選択され、バンクａに書き込まれている撮像フレームのデータが映像フレーム（ｎ−１）として読み出される。この時、バンクｃに対応するスイッチ４２では、出力端子４２ｃが選択され、バンクｃに書き込まれている撮像フレームのデータは、出力されない。
【００６８】
フレームシーケンス番号が１の時、フレーム更新されるので、スイッチ４２の出力端子４２ａが選択され、バンクｃに書き込まれている撮像フレームのデータが映像フレーム（ｎ）として読み出されると共に、スイッチ４１の出力端子４１ｂが選択され、バンクｂに書き込まれている撮像フレームのデータが映像フレーム（ｎ−１）として読み出される。この時、バンクａに対応するスイッチ４０では、出力端子４０ｃが選択され、バンクａに書き込まれている撮像フレームのデータは、出力されない。
【００６９】
フレームシーケンス番号が２の時、フレーム更新されるので、スイッチ４０の出力端子４０ａが選択され、バンクａに書き込まれている撮像フレームのデータが映像フレーム（ｎ）として読み出されると共に、スイッチ４２の出力端子４２ｂが選択され、バンクｃに書き込まれている撮像フレームのデータが映像フレーム（ｎ−１）として読み出される。この時、バンクｂに対応するスイッチ４１では、出力端子４１ｃが選択され、バンクｂに書き込まれている撮像フレームのデータは、出力されない。
【００７０】
フレームシーケンス番号が３の時、フレーム更新されるので、スイッチ４１の出力端子４１ａが選択され、バンクｂに書き込まれている撮像フレームのデータが映像フレーム（ｎ）として読み出されると共に、スイッチ４０の出力端子４０ｂが選択され、バンクａに書き込まれている撮像フレームのデータが映像フレーム（ｎ−１）として読み出される。この時、バンクｃに対応するスイッチ４２では、出力端子４２ｃが選択され、バンクｃに書き込まれている撮像フレームのデータは、出力されない。
【００７１】
フレームシーケンス番号が４の時、フレーム更新されないので、各スイッチ４０、４１および４２の出力端子の選択状態が保持され、スイッチ４１の出力端子４１ａが選択され、バンクｂに書き込まれている撮像フレームのデータが映像フレーム（ｎ）として再度読み出されると共に、スイッチ４０の出力端子４０ｂが選択され、バンクａに書き込まれている撮像フレームのデータが映像フレーム（ｎ−１）として再度読み出される。この時、バンクｃに対応するスイッチ４２では、出力端子４２ｃが選択され、バンクｃに書き込まれている撮像フレームのデータは、出力されない。
【００７２】
以下、上述と同様に、フレームシーケンス番号に応じて、各スイッチ４０、４１および４２の出力端子が順次選択され、各バンクに書き込まれた撮像フレームのデータが映像フレーム（ｎ）または映像フレーム（ｎ−１）として読み出される。
【００７３】
このように、図６に示すフレームシーケンス番号に応じてフレーム更新が行われ、各バンクに書き込まれた撮像フレームのデータは、フレーム更新が行われない場合を除いて、同期基準信号に基づくフレームに同期して、映像フレーム（ｎ）、映像フレーム（ｎ−１）、「なし」の順に、順次読み出される。
【００７４】
なお、上述したメモリコントローラ３０におけるスイッチ構成およびスイッチの切り替え制御は、この実施の一形態による動作を実施可能とするための一例であり、これに限定されるものではない。
【００７５】
次に、図６に示すフレーム比とフレームシーケンス番号と係数ｋとの対応関係を用いて、フレーム比が２／３である場合の再生映像フレームを生成する方法について、図１０を参照して説明する。図１０Ａは、バンクａのデータの書き込みおよび読み出しのタイミングを示し図１０Ｂは、バンクｂのデータの書き込みおよび読み出しのタイミングを示し、図１０Ｃは、バンクｃのデータの書き込みおよび読み出しのタイミングを示す。また、図１０Ｄは、撮像フレームのタイミングを示し、図１０Ｅは、再生映像フレームのタイミングを示す。
【００７６】
外部からシステムコントローラ２７に対してフレーム比およびフレームシーケンス番号が供給され、同期基準信号の１フレーム内の任意のタイミングで、１フレームシーケンス番号毎に１つ送られる。または、フレーム比およびフレームシーケンス番号は、撮像装置１１のシステムコントローラ２７により、同期基準信号に基づき生成される。システムコントローラ２７は、フレーム比およびフレームシーケンス番号に基づき、上述のテーブルを参照して係数ｋおよび撮像フレームの１ラインあたりの画素数を決定する。撮像フレームの１ラインあたりの画素数に基づき、撮像フレームのフレームサイズが設定されて撮像が開始される。なお、バンクａ、バンクｂおよびバンクｃの読み出しと出力との関係は、図８および図９で説明したようなスイッチ４０、４１および４２のシーケンスに従う。
【００７７】
撮像された撮像フレーム＃１のデータがメモリ２４のバンクａに書き込まれる（図１０Ａ）。撮像フレーム＃１のデータの書き込みが完了すると、撮像フレーム＃２のデータがバンクｂに書き込まれる（図１０Ｂ）。撮像フレーム＃２のデータの書き込みが完了すると、撮像フレーム＃３のデータがバンクｃに書き込まれる（図１０Ｃ）。
【００７８】
フレーム比およびフレームシーケンス番号（フレーム比＝２／３、フレームシーケンス番号＝０）がシステムコントローラ２７に供給される。バンクｂに書き込まれた撮像フレーム＃２のデータおよびバンクａに書き込まれた撮像フレーム＃１のデータは、このフレーム比およびフレームシーケンス番号が供給された直後の同期基準信号に基づくフレームの先頭の位置から読み出され、撮像フレーム＃２のデータに係数ｋ（＝１）が乗じられると共に、撮像フレーム＃１のデータに係数１−ｋ（＝０）が乗じられ、２つのデータが画素毎に混合され、再生映像フレーム＃１４として出力される。
【００７９】
撮像フレーム＃３のデータの書き込みが完了すると、撮像フレーム＃４のデータがバンクａに書き込まれる。フレーム比およびフレームシーケンス番号（フレーム比＝２／３、フレームシーケンス番号＝１）がシステムコントローラ２７に供給される。バンクｃに書き込まれた撮像フレーム＃３のデータおよびバンクｂに書き込まれた撮像フレーム＃２のデータは、このフレーム比およびフレームシーケンス番号が供給された直後の同期基準信号に基づくフレームの先頭の位置から読み出され、撮像フレーム＃３のデータに係数ｋ（＝０．５）が乗じられると共に、撮像フレーム＃２のデータに係数１−ｋ（＝０．５）が乗じられ、２つのデータが画素毎に混合され、再生映像フレーム＃１５として出力される。
【００８０】
フレーム比およびフレームシーケンス番号（フレーム比＝２／３、フレームシーケンス番号＝２）がシステムコントローラ２７に供給される。フレームシーケンスがＣの場合、フレーム更新されないので、バンクｃに書き込まれた撮像フレーム＃３のデータおよびバンクｂに書き込まれた撮像フレーム＃２のデータが、このフレーム比およびフレームシーケンス番号が供給された直後の同期基準信号に基づくフレームの先頭の位置から再度読み出され、撮像フレーム＃３のデータに係数ｋ（＝１）が乗じられると共に、撮像フレーム＃２のデータに係数１−ｋ（＝０）が乗じられ、２つのデータが画素毎に混合され、再生映像フレーム＃１６として出力される。撮像フレーム＃４のデータの書き込みが完了すると、撮像フレーム＃５のデータがバンクｂに書き込まれる。なお、撮像フレーム＃３のデータに乗じられる係数ｋの値が１となるのは、フレーム更新されず、係数ｋが乗じられる撮像フレームが、１フレームシーケンス番号前と同じ撮像フレームが読み出されるためである。
【００８１】
ここで、撮像フレーム＃２のデータがバンクｂから読み出されている最中に、バンクｂに対して撮像フレーム＃５のデータが書き込まれることになる。この場合、例えば、撮像フレームのデータの読み出しが完了している部分に書き込まれるようにする。
【００８２】
以下、上述と同様にして、メモリ２４の各バンクへの撮像フレームの書き込みおよび読み出しが行われ、再生映像フレームが生成される。
【００８３】
次に、フレーム比が４／５である場合の再生映像フレームの生成方法について、図１１を参照して説明する。図１１Ａは、バンクａのデータの書き込みおよび読み出しのタイミングを示し図１１Ｂは、バンクｂのデータの書き込みおよび読み出しのタイミングを示し、図１１Ｃは、バンクｃのデータの書き込みおよび読み出しのタイミングを示す。また、図１１Ｄは、撮像フレームのタイミングを示し、図１１Ｅは、再生映像フレームのタイミングを示す。
【００８４】
撮像された撮像フレーム＃１のデータがメモリ２４のバンクａに書き込まれる（図１１Ａ）。撮像フレーム＃１のデータの書き込みが完了すると、撮像フレーム＃２のデータがバンクｂに書き込まれる（図１１Ｂ）。撮像フレーム＃２のデータの書き込みが完了すると、撮像フレーム＃３のデータがバンクｃに書き込まれる（図１１Ｃ）。
【００８５】
フレーム比およびフレームシーケンス番号（フレーム比＝２／３、フレームシーケンス番号＝０）がシステムコントローラ２７に供給される。バンクｂに書き込まれた撮像フレーム＃２のデータおよびバンクａに書き込まれた撮像フレーム＃１のデータは、このフレーム比およびフレームシーケンス番号が供給された直後の同期基準信号に基づくフレームの先頭の位置から読み出され、撮像フレーム＃２のデータに係数ｋ（＝１）が乗じられると共に、撮像フレーム＃１のデータに係数１−ｋ（＝０）が乗じられ、２つのデータが画素毎に混合され、再生映像フレーム＃１４として出力される。
【００８６】
撮像フレーム＃３のデータの書き込みが完了すると、撮像フレーム＃４のデータがバンクａに書き込まれる。フレーム比およびフレームシーケンス番号（フレーム比＝２／３、フレームシーケンス番号＝１）がシステムコントローラ２７に供給される。バンクｃに書き込まれた撮像フレーム＃３のデータおよびバンクｂに書き込まれた撮像フレーム＃２のデータは、このフレーム比およびフレームシーケンス番号が供給された直後の同期基準信号に基づくフレームの先頭の位置から読み出され、撮像フレーム＃３のデータに係数ｋ（＝０．７５）が乗じられると共に、撮像フレーム＃２のデータに係数１−ｋ（＝０．２５）が乗じられ、２つのデータが画素毎に混合され、再生映像フレーム＃１５として出力される。
【００８７】
撮像フレーム＃４のデータの書き込みが完了すると、撮像フレーム＃５のデータがバンクｂに書き込まれる。フレーム比およびフレームシーケンス番号（フレーム比＝２／３、フレームシーケンス番号＝２）がシステムコントローラ２７に供給される。バンクａに書き込まれた撮像フレーム＃４のデータおよびバンクｃに書き込まれた撮像フレーム＃３のデータは、このフレーム比およびフレームシーケンス番号が供給された直後の同期基準信号に基づくフレームの先頭の位置から読み出され、撮像フレーム＃４のデータに係数ｋ（＝０．５）が乗じられると共に、撮像フレーム＃３のデータに係数１−ｋ（＝０．５）が乗じられ、２つのデータが画素毎に混合され、再生映像フレーム＃１６として出力される。
【００８８】
フレーム比およびフレームシーケンス番号（フレーム比＝２／３、フレームシーケンス番号＝３）がシステムコントローラ２７に供給される。バンクｂに書き込まれた撮像フレーム＃５のデータおよびバンクａに書き込まれた撮像フレーム＃４のデータは、このフレーム比およびフレームシーケンス番号が供給された直後の同期基準信号に基づくフレームの先頭の位置から読み出され、撮像フレーム＃５のデータに係数ｋ（＝０．２５）が乗じられると共に、撮像フレーム＃４のデータに係数１−ｋ（＝０．７５）が乗じられ、２つのデータが画素毎に混合され、再生映像フレーム＃１７として出力される。
【００８９】
撮像フレーム＃５のデータの書き込みが完了すると、撮像フレーム＃６のデータがバンクｃに書き込まれる。フレーム比およびフレームシーケンス番号（フレーム比＝２／３、フレームシーケンス番号＝４）がシステムコントローラ２７に供給される。フレームシーケンスがＥの場合、フレーム更新されないので、バンクｂに書き込まれた撮像フレーム＃５のデータおよびバンクａに書き込まれた撮像フレーム＃４のデータが、このフレーム比およびフレームシーケンス番号が供給された直後の同期基準信号に基づくフレームの先頭の位置から再度読み出され、撮像フレーム＃５のデータに係数ｋ（＝１）が乗じられると共に、撮像フレーム＃４のデータに係数１−ｋ（＝０）が乗じられ、２つのデータが画素毎に混合され、再生映像フレーム＃１８として出力される。なお、撮像フレーム＃３のデータに乗じられる係数ｋの値が１となるのは、フレーム更新されず、係数ｋが乗じられる撮像フレームが、１フレームシーケンス番号前と同じ撮像フレームが読み出されるためである。
【００９０】
ここで、バンクｂに書き込まれた撮像フレーム＃２のデータが読み出されている最中に、撮像フレーム＃５のデータが書き込まれることになる。この場合、例えば、読み出しが完了している部分に書き込まれるようにする。
【００９１】
以下、上述と同様にして、メモリ２４の各バンクへの撮像フレームの書き込みおよび読み出しが行われ、再生映像フレームが生成される。
【００９２】
このように、ある時点における映像フレームと１つ前の映像フレームとに所定の係数を乗じ、２つのフレームのデータを画素毎に混合して得られた再生映像フレームを連続的に表示することにより、映像信号を滑らかに見せることができる。
【００９３】
なお、この例では、フレーム比を２／３および４／５とした場合の可変速撮像の方法について説明したが、これはこの例に限られない。例えば、フレーム比は、１／３０〜３０／３０の間の任意の整数比で表されるフレーム比に対して適用可能である。すなわち、１〜３０倍速撮影に対応できる。また、映像フレームのフレームサイズが２２００画素×１１２５ラインである場合について説明したが、これは一例であって、他のフレームサイズである場合にも適用できる。
【００９４】
さらに、係数ｋおよびフレーム更新を示す情報は、コントローラ１０からシステムコントローラ２７に送られるフレーム比とフレームシーケンス番号とに基づき、決定されるように説明したが、これに限らず、例えば、外部からシステムコントローラ２７に、係数ｋおよびフレーム更新を示す情報を直接供給するようにしてもよい。
【図面の簡単な説明】
【００９５】
【図１】この発明の実施の一形態に適用可能な撮像装置１１の一例の構成を示すブロック図である。
【図２】撮像フレームの一例を示す略線図である。
【図３】フレーム比を２／３として可変速撮像を行う際の撮像フレームおよび映像フレームのタイミングを示す略線図である。
【図４】フレーム比を４／５として可変速撮像を行う際の撮像フレームおよび映像フレームのタイミングを示す略線図である。
【図５】ディジタル信号処理部の一例の構成を示すブロック図である。
【図６】フレーム比とフレームシーケンス番号と係数との一例の対応関係を示す略線図である。
【図７】メモリコントローラの一例の構成を示すブロック図である。
【図８】フレーム比を２／３とした場合のフレームシーケンス番号に応じたメモリコントローラの動作の一例を示す略線図である。
【図９】フレーム比を４／５とした場合のフレームシーケンス番号に応じたメモリコントローラの動作の一例を示す略線図である。
【図１０】フレーム比を２／３とした場合の再生映像フレームのタイミングを示す略線図である。
【図１１】フレーム比を４／５とした場合の再生映像フレームのタイミングを示す略線図である。
【符号の説明】
【００９６】
１１ 撮像装置
２３ ディジタル信号処理部
２４ メモリ
２５ タイミング信号発生部
２６ 撮像タイミング信号発生部
２７ システムコントローラ
２８ 表示装置
３０ メモリコントローラ
３１、３２ 乗算器
３３ 加算器
４０、４１、４２ スイッチ
【技術分野】
【０００１】
この発明は、可変速撮像可能な撮像装置、映像出力方法および映像再生プログラムに関する。
【背景技術】
【０００２】
特殊撮影などでは、撮影した被写体が撮影時の速度よりも速く動いて見えることを想定して撮影する可変速撮影を行うことがある。例えば、フィルムを用いた撮影の場合、撮影時に、フィルムの回転速度を通常の撮影時よりも遅くした状態で撮影を行い、映写時に、通常の速度でフィルムを回転させることにより、高速映写を実現することができる。
【０００３】
また、例えば、撮像映像をディジタルビデオデータにより記録する場合、撮影時の映像フレームのフレーム周波数を、再生時の映像フレームのフレーム周波数よりも低く設定して被写体を撮影し、再生時に規定のフレーム周波数の映像信号として再生することにより、高速再生を実現するようにした可変速撮像が可能な撮像装置が提案されている。
【０００４】
従来の撮像装置による可変速撮像方法について、概略的に説明する。被写体を所定のフレーム周波数で撮像し、撮像して得られた撮像フレームは、メモリに書き込まれる。メモリは、撮像フレームを書き込むための領域として複数のバンクを有し、各バンクに対して、それぞれ撮像フレームを書き込むことができるようになっている。メモリに書き込まれた撮像フレームは、外部から供給される同期基準信号に基づき、所定のフレーム周波数の映像フレームとして読み出される。
【０００５】
この時、撮像フレームのフレーム周波数と、映像フレームのフレーム周波数が異なるため、撮像フレームが書き込まれている間に、当該撮像フレームを読み出すタイミングがくる場合がある。書き込まれている撮像フレームは、書き込みが完了するまで映像フレームとして読み出すことができないので、このような場合には、別のバンクに書き込まれた１つ前の撮像フレームを再度読み出すようにする。すなわち、タイミングによっては、同じ撮像フレームが重複して読み出される。
【０００６】
このように、撮像フレームをフレーム周波数の異なる映像フレームとして読み出すことにより、可変速撮像を可能とする撮像装置が特許文献１に記載されている。
【０００７】
【特許文献１】特開２０００−１２５２１０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
撮像映像をビューファインダで見る場合について考える。ビューファインダは、例えば３０Ｈｚの映像フレームに基づき、撮像映像が映出される。上述したように、映像フレームの読み出しは、タイミングによっては重複する部分が生じるため、このままビューファインダに表示した場合、映像フレームが時間軸に対応していないので、不自然な動きとなって見えてしまうという問題点があった。
【０００９】
したがって、この発明の目的は、可変速撮像が可能な撮像装置により撮像された映像を、ビューファインダなどの表示部に表示させる際に、映像が違和感なく、滑らかに表示できる撮像装置、映像出力方法および映像再生プログラムを提供することにある。
【課題を解決するための手段】
【００１０】
上述した課題を解決するために、請求項１に記載の発明は、被写体からの光を撮像する撮像部と、同期基準信号に基づくフレーム周波数よりも低いフレーム周波数の撮像フレームを撮像するように撮像部を駆動する撮像駆動部と、撮像部から出力された撮像フレームを順次格納する記憶部と、記憶部に格納された撮像フレームと撮像フレームの１つ前の撮像フレームとを所定の割合で混合させた再生映像フレームを生成して、同期基準信号に基づき出力する信号処理部とを有することを特徴とする撮像装置である。
【００１１】
また、請求項４に記載の発明は、同期基準信号に基づくフレーム周波数よりも低いフレーム周波数の撮像フレームを撮像し、撮像された撮像フレームを記憶部に順次格納し、記憶部に格納された撮像フレームと撮像フレームの１つ前の撮像フレームとを所定の割合で混合させた再生映像フレームを生成して、同期基準信号に基づき出力するようにしたことを特徴とする映像出力方法である。
【００１２】
また、請求項５に記載の発明は、同期基準信号に基づくフレーム周波数よりも低いフレーム周波数の撮像フレームを撮像し、撮像された撮像フレームを記憶部に順次格納し、記憶部に格納された撮像フレームと撮像フレームの１つ前の撮像フレームとを所定の割合で混合させた再生映像フレームを生成して、同期基準信号に基づき出力するようにした映像出力方法をコンピュータ装置に実行させることを特徴とする映像出力プログラムである。
【００１３】
上述したように、請求項１、４および５に記載の発明は、同期基準信号に基づくフレーム周波数よりも低いフレーム周波数の撮像フレームを撮像し、撮像された撮像フレームを記憶部に順次格納し、記憶部に格納された撮像フレームと撮像フレームの１つ前の撮像フレームとを所定の割合で混合させた再生映像フレームを生成して、同期基準信号に基づき出力するようにしているため、ビューファインダなどの表示装置において、映像を滑らかに映出させることができる。
【発明の効果】
【００１４】
この発明は、可変速撮像を行う際に、ある時点における映像フレームと、１つ前の映像フレームを所定の割合で混合させて再生映像フレームを生成するようにしているため、映像を滑らかに映出させることができるという効果がある。
【発明を実施するための最良の形態】
【００１５】
以下、この発明の実施の一形態について、図面を参照しながら説明する。図１は、この発明の実施の一形態に適用可能な撮像装置１１の一例の構成を示す。撮像装置１１は、例えば、撮像部２１、Ａ／Ｄ変換部２２、ディジタル信号処理部２３、メモリ２４、タイミング信号発生部２５、撮像タイミング信号発生部２６、システムコントローラ２７および表示装置２８を有する。
【００１６】
タイミング信号発生部２５は、外部から供給された同期基準信号に基づき、タイミング信号を生成し、ディジタル信号処理部２３に供給すると共に、撮像タイミング信号発生部２６に供給する。この同期基準信号は、この撮像装置１１が放送局内やスタジオ内で用いられる場合は、放送局内やスタジオ内の放送機器で共通に用いられる信号である。例えば、放送局内やスタジオ内では、この同期基準信号を用いて、映像フレームの同期をとることができる。
【００１７】
システムコントローラ２７は、例えばＣＰＵ（Central Processing Unit）からなり、図示されないＲＯＭ(Read Only Memory)に予め記憶されたプログラムに従い、図示されないＲＡＭ(Random Access Memory)をプログラム実行の際のワークメモリとして用いて、この撮像装置１１の各部を制御する。システムコントローラ２７は、外部から供給された制御コマンドに基づき、撮像信号の撮像フレームのフレーム周波数を決定するための信号を生成し、撮像タイミング信号発生部２６に供給する。
【００１８】
撮像タイミング信号発生部２６は、タイミング信号発生部２５から供給されたタイミング信号と、システムコントローラ２７から供給された撮像フレームのフレーム周波数を決定するための信号とに基づき、撮像部２１による撮像タイミングを決定する撮像タイミング信号を生成し、撮像部２１およびディジタル信号処理部２３に供給する。
【００１９】
撮像部２１は、例えば、ＣＣＤ（Charge Coupled Devices）を撮像素子として用い、撮像素子に受光された光を光電変換により撮像信号に変換する。撮像素子は、例えば、２２００画素×１１２５ラインを有効画素とする。撮像部２１は、撮像タイミング信号発生部２６から供給された撮像タイミング信号に基づき、１フレーム分の撮像信号を出力する。撮像部２１から出力された撮像信号は、Ａ／Ｄ変換部２２に供給され、ディジタル撮像信号に変換され、ディジタル信号処理部２３に供給される。
【００２０】
ディジタル信号処理部２３は、供給されたディジタル撮像信号に対して、γ（ガンマ）補正やホワイトバランス調整といった所定の信号処理を施し、メモリ２４に書き込む。メモリ２４は、データを書き込む領域として、それぞれ少なくとも１フレーム分の映像信号を書き込むことができるバンクａ、バンクｂおよびバンクｃの少なくとも３バンクを有する。ディジタル信号処理部２３から供給されたディジタル撮像信号に基づく撮像フレームのデータは、３バンクのうち、所定に選択されたバンクに書き込まれる。メモリ２４のバンクに書き込まれた撮像フレームのデータは、タイミング信号発生部２５から供給されたタイミング信号に同期してメモリ２４のバンクから読み出され、読み出されたデータが映像信号として外部に出力されると共に、表示装置２８に供給される。
【００２１】
表示装置２８は、例えば、ビューファインダとして用いられ、ディジタル信号処理部２３から出力された映像信号を、同期基準信号に同期したフレーム周波数で表示する。
【００２２】
次に、撮像装置１１により可変速撮像を行う方法について説明する。撮像部２１でＣＣＤに撮像され、所定の信号処理を施した後、Ａ／Ｄ変換部２２でディジタル撮像信号に変換された撮像フレームのデータがメモリ２４のバンクに書き込まれる。このメモリ２４に書き込まれた撮像フレームのデータは、１撮像フレーム分のデータが全て書き込まれ、当該撮像フレームのデータの書き込み完了後にくる、同期基準信号に同期した映像フレームの先頭の位置から読み出される。
【００２３】
なお、同期基準信号に同期した映像フレームは、フレーム周波数が３０Ｈｚ（ヘルツ）、１フレームあたりのライン数が１１２５ライン、１ラインあたりの画素数が２２００画素であるものとする。
【００２４】
ここで、例えば、再生時の速度が撮像時の速度の１．５倍となるようにする場合について考える。これは、例えば、２０Ｈｚのフレーム周波数で撮像した映像を、３０Ｈｚのフレーム周波数で再生することで実現できる。したがって、撮像フレームのフレーム周波数と、同期基準信号に同期した映像フレームのフレーム周波数との比をフレーム比とするとき、この値が２／３になる。ＣＣＤを駆動するクロック周波数と１フレームあたりのライン数とが固定的であるとき、撮像フレームの１ラインあたりの画素数は、撮像フレームのフレーム周波数が３０Ｈｚの場合の１ラインあたりの画素数である２２００画素に、フレーム比の逆数である３／２を乗じて、３３００画素となる。
【００２５】
すなわち、再生時の速度が撮像時の速度のＸ倍となるようにする場合には、フレーム比を１／Ｘとすればよいので、１ラインあたりの画素数は、同期基準信号に基づく撮像フレームのフレーム周波数における１ラインあたりの画素数である２２００画素に、フレーム比の逆数であるＸを乗じて、「２２００×Ｘ」画素となる。
【００２６】
一方、ＣＣＤを駆動するクロック周波数が固定的であると共に、ＣＣＤの１ラインあたりの有効画素数がフレーム周波数によらず固定的である。そのため、図２に示すように、撮像フレームのフレーム周波数に対応した１ラインあたりの画素数（この例では、３３００画素）と、ＣＣＤの１ラインあたりの画素数との差分である１１００画素分の時間については、例えば、何も撮像されないようにして、ブランキング部分とする。メモリ２４のバンクには、ブランキング部分を除いた、２２００画素×１１２５ラインの撮像フレームのデータが書き込まれる。
【００２７】
撮像装置１１により可変速撮像を行う方法について、図３を参照して、より具体的に説明する。図３Ａは、バンクａのデータの書き込みおよび読み出しのタイミングを示し、図３Ｂは、バンクｂのデータの書き込みおよび読み出しのタイミングを示し、図３Ｃは、バンクｃのデータの書き込みおよび読み出しのタイミングを示す。図３Ｄは、同期基準信号に基づくフレーム先頭位置に対応するタイミングを示す。
【００２８】
撮像フレームのデータは、例えば、メモリ２４の３つのバンクに順に書き込まれ、書き込みが完了した撮像フレームのデータは、映像フレームの先頭の位置で、データの読み出しが行われる。なお、映像フレームのデータの読み出しが終わっても、次の撮像フレームの書き込みが完了していない場合は、次の映像フレームの先頭で、当該映像フレームのデータが再度読み出される。
【００２９】
図３において、撮像フレーム＃１のデータがメモリ２４のバンクａに書き込まれる（図３Ａ）。バンクａに書き込まれた撮像フレーム＃１のデータは、撮像フレーム＃１のデータの書き込み完了後にくる、同期基準信号に基づくフレームの先頭の位置から映像フレーム＃１１として、同期基準信号に基づき読み出される。
【００３０】
撮像フレーム＃１のデータの書き込みが完了すると、撮像フレーム＃２のデータがメモリ２４のバンクｂに書き込まれる（図３Ｂ）。映像フレーム＃１１の読み出しが完了した時点では、撮像フレーム＃２のデータの書き込みが完了していないので、バンクａに書き込まれている撮像フレーム＃１のデータが、同期基準信号に基づくフレームの先頭の位置から、映像フレーム＃１２として再度読み出される。バンクｂに書き込まれた撮像フレーム＃２のデータは、撮像フレーム＃２のデータの書き込み完了後にくる、同期基準信号に基づくフレームの先頭の位置から映像フレーム＃１３として、同期基準信号に基づき読み出される。
【００３１】
撮像フレーム＃２のデータの書き込みが完了すると、撮像フレーム＃３のデータがメモリ２４のバンクｃに書き込まれる（図３Ｃ）。バンクｃに書き込まれた撮像フレーム＃３のデータは、撮像フレーム＃３のデータの書き込み完了後にくる、同期基準信号に基づくフレームの先頭の位置から映像フレーム＃１４として、同期基準信号に基づき読み出される。
【００３２】
撮像フレーム＃３のデータの書き込みが完了すると、撮像フレーム＃４のデータがメモリ２４のバンクａに書き込まれる。映像フレーム＃１４の読み出しが完了した時点では、撮像フレーム＃４のデータの書き込みが完了していないので、バンクｃに書き込まれている撮像フレーム＃３のデータが、同期基準信号に基づくフレームの先頭の位置から、映像フレーム＃１５として再度読み出される。
【００３３】
映像フレーム＃１５の読み出しが完了した後、バンクａに書き込まれた撮像フレーム＃４のデータは、撮像フレーム＃４のデータの書き込み完了後にくる、同期基準信号に基づくフレームの先頭の位置から映像フレーム＃１６として、同期基準信号に基づき読み出される。
【００３４】
以下、上述と同様にして、メモリ２４の各バンクへの撮像フレームの書き込みおよび映像フレームの読み出しが行われる。
【００３５】
このように、フレーム周波数が２０Ｈｚの撮像フレームを、フレーム周波数が３０Ｈｚの映像フレームとして読み出し、重複した映像フレームを取り去ることにより、この映像信号を再生した場合に、被写体の速度が撮影時の速度よりも１．５倍速く見えるようにすることができる。
【００３６】
次に、フレーム比を４／５とした場合の可変速撮像法について、図４を参照して説明する。この場合、２４Ｈｚのフレーム周波数で撮像した映像を、３０Ｈｚのフレーム周波数で再生することにより、撮像時の速度の１．２５倍で再生することができる。図４Ａは、バンクａのデータの書き込みおよび読み出しのタイミングを示し、図４Ｂは、バンクｂのデータの書き込みおよび読み出しのタイミングを示し、図４Ｃは、バンクｃのデータの書き込みおよび読み出しのタイミングを示す。図４Ｄは、同期基準信号に基づくフレーム先頭位置に対応するタイミングを示す。
【００３７】
図４において、撮像フレーム＃１のデータがメモリ２４のバンクａに書き込まれる（図４Ａ）。バンクａに書き込まれた撮像フレーム＃１のデータは、撮像フレーム＃１のデータの書き込み完了後にくる、同期基準信号に基づくフレームの先頭の位置から映像フレーム＃１１として、同期基準信号に基づき読み出される。
【００３８】
撮像フレーム＃１のデータの書き込みが完了すると、撮像フレーム＃２のデータがメモリ２４のバンクｂに書き込まれる（図４Ｂ）。映像フレーム＃１１の読み出しが完了した時点では、撮像フレーム＃２のデータの書き込みが完了していないので、バンクａに書き込まれている撮像フレーム＃１のデータが、同期基準信号に基づくフレームの先頭の位置から、映像フレーム＃１２として再度読み出される。バンクｂに書き込まれた撮像フレーム＃２のデータは、撮像フレーム＃２のデータの書き込み完了後にくる、同期基準信号に基づくフレームの先頭の位置から映像フレーム＃１３として、同期基準信号に基づき読み出される。
【００３９】
撮像フレーム＃２のデータの書き込みが完了すると、撮像フレーム＃３のデータがメモリ２４のバンクｃに書き込まれる（図４Ｃ）。バンクｃに書き込まれた撮像フレーム＃３のデータは、撮像フレーム＃３のデータの書き込み完了後にくる、同期基準信号に基づくフレームの先頭の位置から映像フレーム＃１４として、同期基準信号に基づき読み出される。
【００４０】
撮像フレーム＃３のデータの書き込みが完了すると、撮像フレーム＃４のデータがメモリ２４のバンクａに書き込まれる。バンクａに書き込まれた撮像フレーム＃４のデータは、撮像フレーム＃４のデータの書き込み完了後にくる、同期基準信号に基づくフレームの先頭の位置から映像フレーム＃１５として、同期基準信号に基づき読み出される。
【００４１】
撮像フレーム＃４のデータの書き込みが完了すると、撮像フレーム＃５のデータがメモリ２４のバンクｂに書き込まれる。バンクｂに書き込まれた撮像フレーム＃５のデータは、撮像フレーム＃５のデータの書き込み完了後にくる、同期基準信号に基づくフレームの先頭の位置から映像フレーム＃１６として、同期基準信号に基づき読み出される。
【００４２】
以下、上述と同様にして、メモリ２４の各バンクへの撮像フレームの書き込みおよび映像フレームの読み出しが行われる。
【００４３】
このように、フレーム周波数が２４Ｈｚの撮像フレームを、フレーム周波数が３０Ｈｚの映像フレームとして読み出し、重複した映像フレームを取り除くことにより、この映像信号を再生した場合に、被写体の速度が撮影時の速度よりも１．２５倍速く見えるようにすることができる。
【００４４】
例えば、出力される映像信号を記録媒体に記録し、後に映像フレームの重複分を取り除いて出力する。こうすることにより、撮像フレームのフレーム周波数と異なるフレーム周波数の映像フレームを再生することができる。
【００４５】
ここで、この映像信号を表示装置２８に映出させる場合について考える。表示装置２８に映像信号を表示するときは、ディジタル信号処理部２３から供給された映像がそのまま表示されるので、重複した映像フレームが取り除かれない。そのため、映像フレームが重複する部分については、映像が止まって見えることになり、滑らかに映出することができない。この映像フレームが重複する部分は、例えば、上述の図３の例では、映像フレーム＃１１および＃１２と、映像フレーム＃１４および＃１５と、映像フレーム＃１７および＃１８とにあたる部分であり、図４の例では、映像フレーム＃１１および＃１２と、映像フレーム＃１６および＃１７とにあたる部分である。
【００４６】
そこで、この発明の実施の一形態では、撮像装置１１で可変速撮像して映像をビューファインダなどの表示装置で映出させる際に、ある時点での映像フレームと１つ前の映像フレームとを所定の割合で混合させた再生映像フレームを生成し、このようにして得られた再生映像フレームを表示装置２８で映出することにより、表示装置２８に表示される映像が滑らかに見えるようにした。
【００４７】
図５は、この発明の実施の一形態によるディジタル信号処理部２３の一例の構成を示す。メモリコントローラ３０は、Ａ／Ｄ変換部２２から供給される撮像フレームのメモリ２４への書き込みおよび読み出しを制御する。Ａ／Ｄ変換部２２から供給された撮像フレームは、メモリコントローラ３０の制御により、バンクａ、バンクｂおよびバンクｃの３つのバンクを、撮像フレームに同期して所定に切り替えられて書き込まれる。メモリコントローラ３０は、メモリ２４の３つのバンクを、映像フレームに同期してそれぞれ所定に切り替え、あるタイミングの撮像フレームと、その撮像フレームの１つ前の撮像フレームとを、同期基準信号に同期して、それぞれ映像フレーム（ｎ）および映像フレーム（ｎ−１）として読み出す。
【００４８】
メモリ２４のバンクから読み出された映像フレーム（ｎ）は、乗算器３１に供給されると共に、出力の映像信号として外部に出力される。乗算器３１は、供給された映像フレーム（ｎ）の画素毎に係数ｋを乗じ、加算器３３に供給する。なお係数ｋは、０以上１以下の値である。
【００４９】
一方、メモリ２４の別のバンクから読み出された映像フレーム（ｎ−１）は、乗算器３２に供給される。乗算器３２は、供給された映像フレーム（ｎ−１）の画素毎に係数（１−ｋ）を乗じ、加算器３３に供給する。加算器３３は、供給された２つの映像フレームを画素毎に加算し、２つの映像フレームが混合された再生映像フレームを得る。得られた再生映像フレームは、表示装置２８に供給される。表示装置２８は、供給された再生映像フレームを表示する。
【００５０】
次に、上述した係数ｋについて説明する。係数ｋは、フレーム比およびフレームシーケンス番号に応じて決定される。図６にフレーム比とフレームシーケンス番号と係数ｋとの対応関係の一例を示す。
【００５１】
なお、フレームシーケンス番号は、撮像フレームの先頭の位置と、映像フレームの先頭の位置とが一致する映像フレームから、次に撮像フレームの先頭の位置と映像フレームの先頭の位置とが一致する映像フレームまでの時間を１周期として考え、１周期内の先頭の撮像フレームが最初に読み出される映像フレームを先頭として、１周期の時間内の映像フレームに対して割り当てられる番号を示す。
【００５２】
係数ｋは、再生映像フレームを生成する際に用いられる映像フレーム（ｎ）と映像フレーム（ｎ−１）とを混合する際の割合を決定する。この割合は、映像フレーム（ｎ）および映像フレーム（ｎ−１）として読み出したそれぞれの撮像フレームの時間比に基づき、決定される。この例では、係数ｋは、フレーム比を２／３とした場合において、フレームシーケンス番号が「０」、「１」および「２」の時は、それぞれ「１」、「０．５」および「１」となる。また、フレーム比を４／５とした場合において、フレームシーケンス番号が「０」、「１」、「２」、「３」および「４」の時は、それぞれ「１」、「０．７５」、「０．５」、「０．２５」および「１」となる。
【００５３】
フレーム更新は、映像フレーム（ｎ）および映像フレーム（ｎ−１）を読み出すバンクを次の映像フレームの周期で切り替えるか否かを示す。映像フレームのフレーム更新のタイミングは、フレーム比およびフレームシーケンス番号に応じて決定される。図６中の「○」は、フレーム更新を行うことを示し、フレーム更新を行う場合は、同期基準信号に同期した１つ前のフレームに基づき、映像フレーム（ｎ）の読み出しを行ったバンクの次のバンクに格納されている撮像フレームのデータを映像フレーム（ｎ）として読み出すようにする。すなわち、フレーム更新を行う場合は、読み出すバンクを次のバンクに切り替える。映像フレーム（ｎ−１）についても同様である。
【００５４】
一方、図６中の「×」は、フレーム更新を行わないことを示し、フレーム更新を行わない場合は、同期基準信号に同期した１つ前のフレームに基づき、映像フレーム（ｎ）の読み出しを行ったバンクと同じバンクに格納されている撮像フレームのデータを映像フレーム（ｎ）として再度読み出すようにする。すなわち、フレーム更新を行わない場合は、読み出すバンクを切り替えない。映像フレーム（ｎ−１）についても同様である。
【００５５】
なお、図６に示す、フレーム比とフレームシーケンス番号と係数ｋとの対応関係は、例えば、システムコントローラ２７に接続された図示されないＲＯＭに、予めテーブルとして記憶するようにしてもよい。システムコントローラ２７は、制御コマンドが供給されたときに、制御コマンドに重畳されたフレーム比とフレームシーケンス番号とに基づき、このテーブルを参照し、係数ｋを決定する。
【００５６】
また、係数ｋは、これに限らず、ユーザにより独自に決定してもよい。さらに、例えば、所定の計算により算出されるようにしてもよい。例えば、最初のフレームシーケンス番号と、後述するフレーム更新が行われないフレームシーケンス番号とに対応する映像フレームの係数ｋは、フレーム比の分子の値の逆数分づつ変化するような値とすることができる。
【００５７】
また、この例では、係数ｋは、フレームシーケンス番号に応じて、１次関数的に変化する値をとるようにしているが、これに限らず、例えば、２次関数的に変化する値としてもよい。
【００５８】
次に、メモリコントローラ３０により、映像フレーム（ｎ）および映像フレーム（ｎ−１）をメモリ２４の各バンクから読み出す際の動作について説明する。メモリコントローラ３０は、フレーム比およびフレームシーケンス番号に基づくフレーム更新を示す情報から、撮像フレームのデータを読み出すバンクを選択し、同期基準信号に同期した映像フレーム（ｎ）および映像フレーム（ｎ−１）として読み出すようにしている。
【００５９】
図７は、メモリコントローラ３０の一例の構成を示す。メモリコントローラ３０は、例えば、スイッチ４０、スイッチ４１およびスイッチ４２を有し、フレーム更新を示す情報に基づき、それぞれのスイッチの出力端子が選択される。
【００６０】
スイッチ４０、４１および４２は、それぞれ３つの出力端子を有する。出力端子４０ａ、４１ａおよび４２ａは、映像フレーム（ｎ）を出力する端子である。出力端子４０ｂ、４１ｂおよび４２ｂは、映像フレーム（ｎ−１）を出力する端子である。また、出力端子４０ｃ、４１ｃおよび４２ｃは、何も出力しない端子である。スイッチ４０、４１および４２は、それぞれ異なる出力端子が選択され、同期基準信号に基づき、出力端子が切り替えられる。
【００６１】
図８は、フレーム比を２／３とした場合の、図６の例に示すフレームシーケンス番号に応じた各バンクに対応するスイッチの選択状態の一例を示す。なお、図８中の「ｎ」は、そのバンクに対応するスイッチの映像フレーム（ｎ）を出力する端子が選択されたことを示し、「ｎ−１」は、映像フレーム（ｎ−１）を出力する端子が選択されたことを示す。また、「ｘ」は、何も出力されない端子が選択されていることを示す。この例では、便宜上、最初にバンクｂに対応するスイッチ４１の、映像フレーム（ｎ）を出力する端子が選択されている。
【００６２】
フレームシーケンス番号が０の時、スイッチ４１の出力端子４１ａが選択され、バンクｂに書き込まれている撮像フレームのデータが映像フレーム（ｎ）として出力されると共に、スイッチ４０の出力端子４０ｂが選択され、バンクａに書き込まれている撮像フレームのデータが映像フレーム（ｎ−１）として出力される。この時、バンクｃに対応するスイッチ４２では、出力端子４２ｃが選択され、バンクｃに書き込まれている撮像フレームのデータは、出力されない。
【００６３】
フレームシーケンス番号が１の時、フレーム更新されるので、スイッチ４０、４１および４２において、それぞれ出力端子が１つずつ切り替えられる。すなわち、スイッチ４２の出力端子４２ａが選択され、バンクｃに書き込まれている撮像フレームのデータが映像フレーム（ｎ）として読み出されると共に、スイッチ４１の出力端子４１ｂが選択され、バンクｂに書き込まれている撮像フレームのデータが映像フレーム（ｎ−１）として読み出される。この時、バンクａに対応するスイッチ４０では、出力端子４０ｃが選択され、バンクａに書き込まれている撮像フレームのデータは、出力されない。
【００６４】
フレームシーケンス番号が２の時、フレーム更新されないので、各スイッチ４０、４１および４２の出力端子の選択状態が保持され、スイッチ４２の出力端子４２ａが選択され、バンクｃに書き込まれている撮像フレームのデータが映像フレーム（ｎ）として再度読み出されると共に、スイッチ４１の出力端子４１ｂが選択され、バンクｂに書き込まれている撮像フレームのデータが映像フレーム（ｎ−１）として再度読み出される。この時、バンクａに対応するスイッチ４０では、出力端子４０ｃが選択され、バンクａに書き込まれている撮像フレームのデータは、出力されない。
【００６５】
以下、上述と同様に、フレームシーケンス番号に応じて、各スイッチ４０、４１および４２の出力端子が順次選択され、各バンクに書き込まれた撮像フレームのデータが映像フレーム（ｎ）または映像フレーム（ｎ−１）として読み出される。
【００６６】
図９は、フレーム比を４／５とした場合の、図６の例に示すフレームシーケンス番号に応じた各バンクに対応するスイッチの選択状態の一例を示す。なお、図９中の「ｎ」は、そのバンクに対応するスイッチの、映像フレーム（ｎ）を出力する端子が選択されることを示し、「ｎ−１」は、映像フレーム（ｎ−１）を出力する端子が選択されることを示す。また、「ｘ」は、何も出力されない端子が選択されていることを示す。この例では、便宜上、最初にバンクｂに対応するスイッチ４１の、映像フレーム（ｎ）を出力する端子が選択されている。
【００６７】
フレームシーケンス番号が０の時、スイッチ４１の出力端子４１ａが選択され、バンクｂに書き込まれている撮像フレームのデータが映像フレーム（ｎ）として読み出されると共に、スイッチ４０の出力端子４０ｂが選択され、バンクａに書き込まれている撮像フレームのデータが映像フレーム（ｎ−１）として読み出される。この時、バンクｃに対応するスイッチ４２では、出力端子４２ｃが選択され、バンクｃに書き込まれている撮像フレームのデータは、出力されない。
【００６８】
フレームシーケンス番号が１の時、フレーム更新されるので、スイッチ４２の出力端子４２ａが選択され、バンクｃに書き込まれている撮像フレームのデータが映像フレーム（ｎ）として読み出されると共に、スイッチ４１の出力端子４１ｂが選択され、バンクｂに書き込まれている撮像フレームのデータが映像フレーム（ｎ−１）として読み出される。この時、バンクａに対応するスイッチ４０では、出力端子４０ｃが選択され、バンクａに書き込まれている撮像フレームのデータは、出力されない。
【００６９】
フレームシーケンス番号が２の時、フレーム更新されるので、スイッチ４０の出力端子４０ａが選択され、バンクａに書き込まれている撮像フレームのデータが映像フレーム（ｎ）として読み出されると共に、スイッチ４２の出力端子４２ｂが選択され、バンクｃに書き込まれている撮像フレームのデータが映像フレーム（ｎ−１）として読み出される。この時、バンクｂに対応するスイッチ４１では、出力端子４１ｃが選択され、バンクｂに書き込まれている撮像フレームのデータは、出力されない。
【００７０】
フレームシーケンス番号が３の時、フレーム更新されるので、スイッチ４１の出力端子４１ａが選択され、バンクｂに書き込まれている撮像フレームのデータが映像フレーム（ｎ）として読み出されると共に、スイッチ４０の出力端子４０ｂが選択され、バンクａに書き込まれている撮像フレームのデータが映像フレーム（ｎ−１）として読み出される。この時、バンクｃに対応するスイッチ４２では、出力端子４２ｃが選択され、バンクｃに書き込まれている撮像フレームのデータは、出力されない。
【００７１】
フレームシーケンス番号が４の時、フレーム更新されないので、各スイッチ４０、４１および４２の出力端子の選択状態が保持され、スイッチ４１の出力端子４１ａが選択され、バンクｂに書き込まれている撮像フレームのデータが映像フレーム（ｎ）として再度読み出されると共に、スイッチ４０の出力端子４０ｂが選択され、バンクａに書き込まれている撮像フレームのデータが映像フレーム（ｎ−１）として再度読み出される。この時、バンクｃに対応するスイッチ４２では、出力端子４２ｃが選択され、バンクｃに書き込まれている撮像フレームのデータは、出力されない。
【００７２】
以下、上述と同様に、フレームシーケンス番号に応じて、各スイッチ４０、４１および４２の出力端子が順次選択され、各バンクに書き込まれた撮像フレームのデータが映像フレーム（ｎ）または映像フレーム（ｎ−１）として読み出される。
【００７３】
このように、図６に示すフレームシーケンス番号に応じてフレーム更新が行われ、各バンクに書き込まれた撮像フレームのデータは、フレーム更新が行われない場合を除いて、同期基準信号に基づくフレームに同期して、映像フレーム（ｎ）、映像フレーム（ｎ−１）、「なし」の順に、順次読み出される。
【００７４】
なお、上述したメモリコントローラ３０におけるスイッチ構成およびスイッチの切り替え制御は、この実施の一形態による動作を実施可能とするための一例であり、これに限定されるものではない。
【００７５】
次に、図６に示すフレーム比とフレームシーケンス番号と係数ｋとの対応関係を用いて、フレーム比が２／３である場合の再生映像フレームを生成する方法について、図１０を参照して説明する。図１０Ａは、バンクａのデータの書き込みおよび読み出しのタイミングを示し図１０Ｂは、バンクｂのデータの書き込みおよび読み出しのタイミングを示し、図１０Ｃは、バンクｃのデータの書き込みおよび読み出しのタイミングを示す。また、図１０Ｄは、撮像フレームのタイミングを示し、図１０Ｅは、再生映像フレームのタイミングを示す。
【００７６】
外部からシステムコントローラ２７に対してフレーム比およびフレームシーケンス番号が供給され、同期基準信号の１フレーム内の任意のタイミングで、１フレームシーケンス番号毎に１つ送られる。または、フレーム比およびフレームシーケンス番号は、撮像装置１１のシステムコントローラ２７により、同期基準信号に基づき生成される。システムコントローラ２７は、フレーム比およびフレームシーケンス番号に基づき、上述のテーブルを参照して係数ｋおよび撮像フレームの１ラインあたりの画素数を決定する。撮像フレームの１ラインあたりの画素数に基づき、撮像フレームのフレームサイズが設定されて撮像が開始される。なお、バンクａ、バンクｂおよびバンクｃの読み出しと出力との関係は、図８および図９で説明したようなスイッチ４０、４１および４２のシーケンスに従う。
【００７７】
撮像された撮像フレーム＃１のデータがメモリ２４のバンクａに書き込まれる（図１０Ａ）。撮像フレーム＃１のデータの書き込みが完了すると、撮像フレーム＃２のデータがバンクｂに書き込まれる（図１０Ｂ）。撮像フレーム＃２のデータの書き込みが完了すると、撮像フレーム＃３のデータがバンクｃに書き込まれる（図１０Ｃ）。
【００７８】
フレーム比およびフレームシーケンス番号（フレーム比＝２／３、フレームシーケンス番号＝０）がシステムコントローラ２７に供給される。バンクｂに書き込まれた撮像フレーム＃２のデータおよびバンクａに書き込まれた撮像フレーム＃１のデータは、このフレーム比およびフレームシーケンス番号が供給された直後の同期基準信号に基づくフレームの先頭の位置から読み出され、撮像フレーム＃２のデータに係数ｋ（＝１）が乗じられると共に、撮像フレーム＃１のデータに係数１−ｋ（＝０）が乗じられ、２つのデータが画素毎に混合され、再生映像フレーム＃１４として出力される。
【００７９】
撮像フレーム＃３のデータの書き込みが完了すると、撮像フレーム＃４のデータがバンクａに書き込まれる。フレーム比およびフレームシーケンス番号（フレーム比＝２／３、フレームシーケンス番号＝１）がシステムコントローラ２７に供給される。バンクｃに書き込まれた撮像フレーム＃３のデータおよびバンクｂに書き込まれた撮像フレーム＃２のデータは、このフレーム比およびフレームシーケンス番号が供給された直後の同期基準信号に基づくフレームの先頭の位置から読み出され、撮像フレーム＃３のデータに係数ｋ（＝０．５）が乗じられると共に、撮像フレーム＃２のデータに係数１−ｋ（＝０．５）が乗じられ、２つのデータが画素毎に混合され、再生映像フレーム＃１５として出力される。
【００８０】
フレーム比およびフレームシーケンス番号（フレーム比＝２／３、フレームシーケンス番号＝２）がシステムコントローラ２７に供給される。フレームシーケンスがＣの場合、フレーム更新されないので、バンクｃに書き込まれた撮像フレーム＃３のデータおよびバンクｂに書き込まれた撮像フレーム＃２のデータが、このフレーム比およびフレームシーケンス番号が供給された直後の同期基準信号に基づくフレームの先頭の位置から再度読み出され、撮像フレーム＃３のデータに係数ｋ（＝１）が乗じられると共に、撮像フレーム＃２のデータに係数１−ｋ（＝０）が乗じられ、２つのデータが画素毎に混合され、再生映像フレーム＃１６として出力される。撮像フレーム＃４のデータの書き込みが完了すると、撮像フレーム＃５のデータがバンクｂに書き込まれる。なお、撮像フレーム＃３のデータに乗じられる係数ｋの値が１となるのは、フレーム更新されず、係数ｋが乗じられる撮像フレームが、１フレームシーケンス番号前と同じ撮像フレームが読み出されるためである。
【００８１】
ここで、撮像フレーム＃２のデータがバンクｂから読み出されている最中に、バンクｂに対して撮像フレーム＃５のデータが書き込まれることになる。この場合、例えば、撮像フレームのデータの読み出しが完了している部分に書き込まれるようにする。
【００８２】
以下、上述と同様にして、メモリ２４の各バンクへの撮像フレームの書き込みおよび読み出しが行われ、再生映像フレームが生成される。
【００８３】
次に、フレーム比が４／５である場合の再生映像フレームの生成方法について、図１１を参照して説明する。図１１Ａは、バンクａのデータの書き込みおよび読み出しのタイミングを示し図１１Ｂは、バンクｂのデータの書き込みおよび読み出しのタイミングを示し、図１１Ｃは、バンクｃのデータの書き込みおよび読み出しのタイミングを示す。また、図１１Ｄは、撮像フレームのタイミングを示し、図１１Ｅは、再生映像フレームのタイミングを示す。
【００８４】
撮像された撮像フレーム＃１のデータがメモリ２４のバンクａに書き込まれる（図１１Ａ）。撮像フレーム＃１のデータの書き込みが完了すると、撮像フレーム＃２のデータがバンクｂに書き込まれる（図１１Ｂ）。撮像フレーム＃２のデータの書き込みが完了すると、撮像フレーム＃３のデータがバンクｃに書き込まれる（図１１Ｃ）。
【００８５】
フレーム比およびフレームシーケンス番号（フレーム比＝２／３、フレームシーケンス番号＝０）がシステムコントローラ２７に供給される。バンクｂに書き込まれた撮像フレーム＃２のデータおよびバンクａに書き込まれた撮像フレーム＃１のデータは、このフレーム比およびフレームシーケンス番号が供給された直後の同期基準信号に基づくフレームの先頭の位置から読み出され、撮像フレーム＃２のデータに係数ｋ（＝１）が乗じられると共に、撮像フレーム＃１のデータに係数１−ｋ（＝０）が乗じられ、２つのデータが画素毎に混合され、再生映像フレーム＃１４として出力される。
【００８６】
撮像フレーム＃３のデータの書き込みが完了すると、撮像フレーム＃４のデータがバンクａに書き込まれる。フレーム比およびフレームシーケンス番号（フレーム比＝２／３、フレームシーケンス番号＝１）がシステムコントローラ２７に供給される。バンクｃに書き込まれた撮像フレーム＃３のデータおよびバンクｂに書き込まれた撮像フレーム＃２のデータは、このフレーム比およびフレームシーケンス番号が供給された直後の同期基準信号に基づくフレームの先頭の位置から読み出され、撮像フレーム＃３のデータに係数ｋ（＝０．７５）が乗じられると共に、撮像フレーム＃２のデータに係数１−ｋ（＝０．２５）が乗じられ、２つのデータが画素毎に混合され、再生映像フレーム＃１５として出力される。
【００８７】
撮像フレーム＃４のデータの書き込みが完了すると、撮像フレーム＃５のデータがバンクｂに書き込まれる。フレーム比およびフレームシーケンス番号（フレーム比＝２／３、フレームシーケンス番号＝２）がシステムコントローラ２７に供給される。バンクａに書き込まれた撮像フレーム＃４のデータおよびバンクｃに書き込まれた撮像フレーム＃３のデータは、このフレーム比およびフレームシーケンス番号が供給された直後の同期基準信号に基づくフレームの先頭の位置から読み出され、撮像フレーム＃４のデータに係数ｋ（＝０．５）が乗じられると共に、撮像フレーム＃３のデータに係数１−ｋ（＝０．５）が乗じられ、２つのデータが画素毎に混合され、再生映像フレーム＃１６として出力される。
【００８８】
フレーム比およびフレームシーケンス番号（フレーム比＝２／３、フレームシーケンス番号＝３）がシステムコントローラ２７に供給される。バンクｂに書き込まれた撮像フレーム＃５のデータおよびバンクａに書き込まれた撮像フレーム＃４のデータは、このフレーム比およびフレームシーケンス番号が供給された直後の同期基準信号に基づくフレームの先頭の位置から読み出され、撮像フレーム＃５のデータに係数ｋ（＝０．２５）が乗じられると共に、撮像フレーム＃４のデータに係数１−ｋ（＝０．７５）が乗じられ、２つのデータが画素毎に混合され、再生映像フレーム＃１７として出力される。
【００８９】
撮像フレーム＃５のデータの書き込みが完了すると、撮像フレーム＃６のデータがバンクｃに書き込まれる。フレーム比およびフレームシーケンス番号（フレーム比＝２／３、フレームシーケンス番号＝４）がシステムコントローラ２７に供給される。フレームシーケンスがＥの場合、フレーム更新されないので、バンクｂに書き込まれた撮像フレーム＃５のデータおよびバンクａに書き込まれた撮像フレーム＃４のデータが、このフレーム比およびフレームシーケンス番号が供給された直後の同期基準信号に基づくフレームの先頭の位置から再度読み出され、撮像フレーム＃５のデータに係数ｋ（＝１）が乗じられると共に、撮像フレーム＃４のデータに係数１−ｋ（＝０）が乗じられ、２つのデータが画素毎に混合され、再生映像フレーム＃１８として出力される。なお、撮像フレーム＃３のデータに乗じられる係数ｋの値が１となるのは、フレーム更新されず、係数ｋが乗じられる撮像フレームが、１フレームシーケンス番号前と同じ撮像フレームが読み出されるためである。
【００９０】
ここで、バンクｂに書き込まれた撮像フレーム＃２のデータが読み出されている最中に、撮像フレーム＃５のデータが書き込まれることになる。この場合、例えば、読み出しが完了している部分に書き込まれるようにする。
【００９１】
以下、上述と同様にして、メモリ２４の各バンクへの撮像フレームの書き込みおよび読み出しが行われ、再生映像フレームが生成される。
【００９２】
このように、ある時点における映像フレームと１つ前の映像フレームとに所定の係数を乗じ、２つのフレームのデータを画素毎に混合して得られた再生映像フレームを連続的に表示することにより、映像信号を滑らかに見せることができる。
【００９３】
なお、この例では、フレーム比を２／３および４／５とした場合の可変速撮像の方法について説明したが、これはこの例に限られない。例えば、フレーム比は、１／３０〜３０／３０の間の任意の整数比で表されるフレーム比に対して適用可能である。すなわち、１〜３０倍速撮影に対応できる。また、映像フレームのフレームサイズが２２００画素×１１２５ラインである場合について説明したが、これは一例であって、他のフレームサイズである場合にも適用できる。
【００９４】
さらに、係数ｋおよびフレーム更新を示す情報は、コントローラ１０からシステムコントローラ２７に送られるフレーム比とフレームシーケンス番号とに基づき、決定されるように説明したが、これに限らず、例えば、外部からシステムコントローラ２７に、係数ｋおよびフレーム更新を示す情報を直接供給するようにしてもよい。
【図面の簡単な説明】
【００９５】
【図１】この発明の実施の一形態に適用可能な撮像装置１１の一例の構成を示すブロック図である。
【図２】撮像フレームの一例を示す略線図である。
【図３】フレーム比を２／３として可変速撮像を行う際の撮像フレームおよび映像フレームのタイミングを示す略線図である。
【図４】フレーム比を４／５として可変速撮像を行う際の撮像フレームおよび映像フレームのタイミングを示す略線図である。
【図５】ディジタル信号処理部の一例の構成を示すブロック図である。
【図６】フレーム比とフレームシーケンス番号と係数との一例の対応関係を示す略線図である。
【図７】メモリコントローラの一例の構成を示すブロック図である。
【図８】フレーム比を２／３とした場合のフレームシーケンス番号に応じたメモリコントローラの動作の一例を示す略線図である。
【図９】フレーム比を４／５とした場合のフレームシーケンス番号に応じたメモリコントローラの動作の一例を示す略線図である。
【図１０】フレーム比を２／３とした場合の再生映像フレームのタイミングを示す略線図である。
【図１１】フレーム比を４／５とした場合の再生映像フレームのタイミングを示す略線図である。
【符号の説明】
【００９６】
１１ 撮像装置
２３ ディジタル信号処理部
２４ メモリ
２５ タイミング信号発生部
２６ 撮像タイミング信号発生部
２７ システムコントローラ
２８ 表示装置
３０ メモリコントローラ
３１、３２ 乗算器
３３ 加算器
４０、４１、４２ スイッチ
【特許請求の範囲】
【請求項１】
被写体からの光を撮像する撮像部と、
同期基準信号に基づくフレーム周波数よりも低いフレーム周波数の撮像フレームを撮像するように上記撮像部を駆動する撮像駆動部と、
上記撮像部から出力された撮像フレームを順次格納する記憶部と、
上記記憶部に格納された上記撮像フレームと該撮像フレームの１つ前の撮像フレームとを所定の割合で混合させた再生映像フレームを生成して、上記同期基準信号に基づき出力する信号処理部と
を有することを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
上記信号処理部は、出力される上記再生映像フレームと、該再生映像フレームに用いられる上記撮像フレームとの時間比に基づき混合して、上記再生映像フレームを生成するようにしたことを特徴とする撮像装置。
【請求項３】
請求項１に記載の撮像装置において、
上記記憶部は、上記撮像フレームを格納するバンクを少なくとも３つ有し、
上記撮像フレームは、該撮像フレームのタイミングに同期して順次切り替えられた上記３バンクのうちの選択されたバンクに書き込まれ、
上記同期基準信号に同期して上記バンクの切り替えを示すフレーム更新情報に基づき上記３バンクを所定に切り替え、上記再生映像フレームを生成する際に用いる上記撮像フレームおよび該撮像フレームの１つ前の撮像フレームとをそれぞれ選択するようにした
ことを特徴とする撮像装置。
【請求項４】
同期基準信号に基づくフレーム周波数よりも低いフレーム周波数の撮像フレームを撮像し、
撮像された撮像フレームを記憶部に順次格納し、
上記記憶部に格納された上記撮像フレームと該撮像フレームの１つ前の撮像フレームとを所定の割合で混合させた再生映像フレームを生成して、上記同期基準信号に基づき出力するようにした
ことを特徴とする映像出力方法。
【請求項５】
同期基準信号に基づくフレーム周波数よりも低いフレーム周波数の撮像フレームを撮像し、
撮像された撮像フレームを記憶部に順次格納し、
上記記憶部に格納された上記撮像フレームと該撮像フレームの１つ前の撮像フレームとを所定の割合で混合させた再生映像フレームを生成して、上記同期基準信号に基づき出力する
ようにした映像出力方法をコンピュータ装置に実行させることを特徴とする映像出力プログラム。
【請求項１】
被写体からの光を撮像する撮像部と、
同期基準信号に基づくフレーム周波数よりも低いフレーム周波数の撮像フレームを撮像するように上記撮像部を駆動する撮像駆動部と、
上記撮像部から出力された撮像フレームを順次格納する記憶部と、
上記記憶部に格納された上記撮像フレームと該撮像フレームの１つ前の撮像フレームとを所定の割合で混合させた再生映像フレームを生成して、上記同期基準信号に基づき出力する信号処理部と
を有することを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
上記信号処理部は、出力される上記再生映像フレームと、該再生映像フレームに用いられる上記撮像フレームとの時間比に基づき混合して、上記再生映像フレームを生成するようにしたことを特徴とする撮像装置。
【請求項３】
請求項１に記載の撮像装置において、
上記記憶部は、上記撮像フレームを格納するバンクを少なくとも３つ有し、
上記撮像フレームは、該撮像フレームのタイミングに同期して順次切り替えられた上記３バンクのうちの選択されたバンクに書き込まれ、
上記同期基準信号に同期して上記バンクの切り替えを示すフレーム更新情報に基づき上記３バンクを所定に切り替え、上記再生映像フレームを生成する際に用いる上記撮像フレームおよび該撮像フレームの１つ前の撮像フレームとをそれぞれ選択するようにした
ことを特徴とする撮像装置。
【請求項４】
同期基準信号に基づくフレーム周波数よりも低いフレーム周波数の撮像フレームを撮像し、
撮像された撮像フレームを記憶部に順次格納し、
上記記憶部に格納された上記撮像フレームと該撮像フレームの１つ前の撮像フレームとを所定の割合で混合させた再生映像フレームを生成して、上記同期基準信号に基づき出力するようにした
ことを特徴とする映像出力方法。
【請求項５】
同期基準信号に基づくフレーム周波数よりも低いフレーム周波数の撮像フレームを撮像し、
撮像された撮像フレームを記憶部に順次格納し、
上記記憶部に格納された上記撮像フレームと該撮像フレームの１つ前の撮像フレームとを所定の割合で混合させた再生映像フレームを生成して、上記同期基準信号に基づき出力する
ようにした映像出力方法をコンピュータ装置に実行させることを特徴とする映像出力プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２００６−３０３６２１（Ｐ２００６−３０３６２１Ａ）
【公開日】平成１８年１１月２日（２００６．１１．２）
【国際特許分類】
【出願番号】特願２００５−１１８６７７（Ｐ２００５−１１８６７７）
【出願日】平成１７年４月１５日（２００５．４．１５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成１８年１１月２日（２００６．１１．２）
【国際特許分類】
【出願日】平成１７年４月１５日（２００５．４．１５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]