撮影装置
【課題】撮影中に撮影フレームレートを切り替えて撮影でき、再生した場合には、通常スピード映像とスローモーション映像とが切り替わったとしても明るさを保ったまま、且つ、スロー再生映像の画質が低下することのない再生映像が得られるように撮影する。
【解決手段】通常のフレームレートで撮影中に、高速撮影に切り替えて撮影する場合に、切り替え前に、高速撮影時に確保できる露光時間であっても切り替え前と同等の露光量を確保できるような絞りと、高速撮影時に確保できる露光時間とに遷移させておくことで、速やかに切り替えができ、且つ、切り替え時の再生画面がシームレスとなるような映像を撮影する。
【解決手段】通常のフレームレートで撮影中に、高速撮影に切り替えて撮影する場合に、切り替え前に、高速撮影時に確保できる露光時間であっても切り替え前と同等の露光量を確保できるような絞りと、高速撮影時に確保できる露光時間とに遷移させておくことで、速やかに切り替えができ、且つ、切り替え時の再生画面がシームレスとなるような映像を撮影する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像を所定のフレームレートで撮影する撮影装置に関し、特に、撮影途中でフレームレートを変更して撮影する場合の撮影技術に関する。
【背景技術】
【０００２】
従来から、動画像を撮影する場合、撮影時のフレームレート（以下、「撮影フレームレート」という。）を変えて撮影することが行われている。
例えば、通常よりも高いレートでの撮影である高速度撮影を行い、再生時には通常のフレームレートで再生することで、スローモーション映像を作り出すことができる。
ここで、動画像を撮影している途中で撮影フレームレートを変えて撮影する撮影装置がある（特許文献１）。この装置は、通常のフレームレートでの撮影中に、装置外部から所定のトリガ信号が入力されると高フレームレートでの高速撮影を行うものであり、フレームレートに応じて撮像素子の信号電荷出力周期を変更して画像を記録する。
【０００３】
従って、この装置で撮影した映像を再生した場合には、通常のフレームレートでの撮影映像から高フレームレートでの撮影映像へと、すなわち、通常スピードの動画からスローモーションの動画へと繋ぎ目無く連続して再生される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−８７６３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、この撮影装置では、高フレームレートで撮影する場合は、通常のフレームレートで撮影する場合に比べて撮像素子の信号電荷出力周期が短いため露光時間が短くなり、露光量が小さく映像信号レベルが低下してしまう。
従って、再生した場合に、高フレームレートで撮影した映像は、通常のフレームレート
で撮影した映像に比べて暗くなってしまうという欠点が生ずる。
【０００６】
また、映像信号レベルの低下を、信号を増幅することで補おうとした場合には、同時にノイズも増幅され再生時の画質が低下してしまうという不都合が生じ得る。
そこで、本発明は、撮影中に撮影フレームレートを切り替えて撮影でき、再生した場合には、通常スピード映像とスローモーション映像とが切り替わったとしても明るさを保ったまま、且つ、スロー再生映像の画質が低下することのない再生映像が得られるように撮影することができる撮影装置の提供を目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明に係る撮影装置は、入射光の光電変換により電荷を蓄積する撮像素子から信号を読み出して、所定のフレームレートで、画像フレームを順次出力する撮像手段と、前記撮像手段で、画像フレームを順次出力しているときにフレームレートを変更するフレームレート変更手段と、前記入射光の量を定める絞りの度合いを変更する絞り調整手段と、前記入射光を光電変換した電荷を蓄積する時間である露光時間を変更する露光時間調整手段と、変更後のフレームレートで撮影した場合の画像フレーム毎の蓄積電荷の総量と、変更前のフレームレートで撮影した画像フレーム毎の蓄積電荷の総量とが同程度となるように、変更後の絞りの度合いを決定する決定手段と、前記フレームレート変更手段で、フレームレートを変更する前に、変更前の絞りの度合いから前記決定手段で決定した変更後の絞りの度合いになるまで、前記絞り調整手段に絞りの度合いを遷移させると共に、前記露光時間調整手段に、フレーム毎の蓄積電荷の総量が変更前の画像フレーム毎の蓄積電荷の総量と同程度となるように、絞りの度合いに応じて露光時間を遷移させる制御手段とを備えることを特徴とする。
【発明の効果】
【０００８】
上記構成の撮影装置は、実際にフレームレートを切り替える前に、露光量を保ったままで、変更後のフレームレートに対応した露光時間と絞りとに移行しておくので、フレームレートの切り替えの前後で１フレーム当たりの露光量を保つことが可能となる。
具体的には、本撮影装置は、フレームレートの切り替え前後の１フレーム当たりの露光量が同程度となるように、すなわち、撮影結果として得られる映像を再生した場合に、再生画像の明るさ（輝度）が、フレームレート切り替え前後で視覚的に変化していると認知されない範囲に収まるように、絞りと露光時間とを遷移させる。
【０００９】
従って、フレームレートを途中で変えて撮影した映像を再生したとしても、露光量の変動が少ないので、画面が暗くならずにスムーズな再生が可能となる。
また、前記撮影装置は、更に、画像フレームを順次出力しているときに、自装置外部からフレームレートの変更の指示を取得する指示取得手段備え、前記決定手段は、前記指示取得手段で指示を取得したときに、変更後の絞りの度合いを決定し、前記制御手段は、前記指示取得手段で指示を取得したときから、フレームレートを変更する前に、前記絞り調整手段と前記露光時間調整手段に絞りの度合いと露光時間とを遷移させることとしてもよい。
【００１０】
これにより、ユーザからの準備の指示を取得してから絞りと露光時間とを遷移させ、フレームレートを実際変更する前に絞りと露光時間とが遷移しているので、 フレームレートの切り替えを速やかに行うことが可能となる。
すなわち、ユーザからフレームレートの変更指示があってから絞りと露光時間とを調整してからフレームレートを切り替える場合と比べて、ユーザからの指示後速やかにフレームレートの切り替えが成されるので、シャッターチャンスを逃すことがなくなるという利点がある。
【００１１】
また、前記決定手段は、更に、変更後のフレームレートに基づいて露光時間を決定し、変更後の露光時間が変更前の露光時間の１／ａ倍となるように決定した場合には、絞りの開口面積が変更前の概ねａ倍となるように絞りの度合いを決定し、前記制御手段は、前記露光時間調整手段に、露光時間を前記決定手段で決定した露光時間になるまで遷移させることとしてもよい。
【００１２】
これにより、変更後のフレームレートに基づいた露光時間、すなわち、変更後のフレームレートでフレーム毎に取り得る時間内で露光時間が決定され、それに応じた絞りの度合いが決定されるので、切り替えの前後での１フレーム当たりの露光量を保つことが可能となる。
また、前記制御手段は、更に、前記フレームレート変更手段で、変更後のフレームレートから変更前のフレームレートと同じフレームレートに再度変更する場合は、当該変更後に、前記変更後の絞りの度合いから前記変更前の絞りの度合いになるまで、前記絞り調整手段に絞りの度合いを遷移させると共に、前記露光時間調整手段に、フレーム毎の蓄積電荷の総量が変更前の画像フレーム毎の蓄積電荷の総量と同程度となるように、絞りの度合いに応じて露光時間を遷移させることとしてもよい。
【００１３】
これにより、フレームレートを変更前のフレームレートに戻したときに、露光量を保ったままで、変更前のフレームレートに対応した露光時間と絞りとに遷移するので、フレームレートの切り替えの前後で１フレーム当たりの露光量を保つことが可能となり、画面が急に明るくならずにスムーズな再生が可能となる。
また、前記変更後のフレームレートは、変更前のフレームレートより高いレートであり、前記撮影装置は、更に、記録の指示を取得する記録指示取得手段と、
変更後のフレームレートで出力された画像フレームから、変更前のフレームレートで出力された画像フレームに変換する変換手段と、前記撮像手段で出力される画像フレームを記憶する記憶手段であって、前記フレームレート変更手段で、フレームレートを変更した後に、前記記録指示取得手段で指示を取得した場合は、当該指示の前後所定数分の画像フレームを記憶し、前記指示の前後の所定数分以外の画像フレームは、前記変換手段で変換して記憶する記憶手段とを備えることとしてもよい。
【００１４】
これにより、指定した時の前後の所定数のフレームのみが、変更後の高フレームレートで記録されるので、映像全体の記憶容量を抑えることができ、且つ、所望部分は高フレームレートで記録することが可能となる。
また、本発明に係る撮影装置は、入射光の光電変換により電荷を蓄積する撮像素子から信号を読み出して、所定のフレームレートで、画像フレームを順次出力する撮像手段と、前記撮像手段で、画像フレームを順次出力しているときにフレームレートを変更するフレームレート変更手段と、前記入射光の量を定める絞りの度合いを変更する絞り調整手段と、前記入射光を光電変換した電荷を蓄積する時間である露光時間を変更する露光時間調整手段と、露光時間を変更後のフレームレートで撮影した場合の１画像フレーム当たりの蓄積電荷の総量と、変更前のフレームレートで撮影した画像フレーム毎の蓄積電荷の総量とが同程度となるように、変更後の絞りの度合いを決定する決定手段と、前記フレームレート変更手段で、フレームレートを変更したときから、変更前の絞りの度合いから前記決定手段で決定した変更後の絞りの度合いになるまで、前記絞り調整手段に絞りの度合いを遷移させる制御手段とを備えることとしてもよい。
【００１５】
これにより、フレームレートを変更した後に、変更後のフレームレートに応じて決定した絞りの度合いと露光時間とに移行するので、速やかな変更が可能となる。すなわち、従来の自動露出による移行ではなく、フレームレート変更後の絞りを決定し、その決定した絞りに変更するからであり、決定した絞り絞りを変更する時間のみが、移行に必要な時間となるからである。
【図面の簡単な説明】
【００１６】
【図１】本発明の撮影装置１の外観を示す図である。
【図２】高速撮影に関係するボタン及びスイッチを示す図である。
【図３】撮影装置１の構成を示す機能ブロック図である。
【図４】ｎ画素混合方式と間引き方式を示す図である。
【図５】準備期間を設けた高速撮影方法を示す図である。
【図６】フレームレートを切り替える場合に、準備期間の無い場合と準備期間の有る場合の蓄積電荷を示す図である。
【図７】露光時間を変更する必要が無い場合と、変更の必要が有る場合とを示す図である。
【図８】絞りで調整ができない場合の高速撮影方法を示す図である。
【図９】ノイズを付加する場合の高速撮影方法を示す図である。
【図１０】準備期間無しの高速撮影方法を示す図である。
【図１１】絞りと増幅率の調整を示す図である。
【図１２】通常撮影から高速撮影には直に切り替わるが、高速撮影から通常撮影に戻るときは徐々に戻す方法を示す図である。
【図１３】通常撮影から高速撮影への切り替えに時間を要してもよい場合の方法を示す図である。
【図１４】通常撮影及び高速撮影の処理を表すフローチャートである。
【図１５】高速撮影準備有りモードでの高速撮影の処理を表すフローチャートである。
【図１６】高速撮影準備無しモードでの高速撮影の処理を表すフローチャートである。
【図１７】準備期間有りモードにおける、通常撮影から高速撮影への切り替え時の絞り・露光時間のタイムチャートを示す図である。
【図１８】絞り・露光時間の移行処理のフローチャートである。
【図１９】図１９（ａ）は、光量の変化を示すタイムチャートであり、図１９（ｂ）は、フレームレートと絞りの増分との対応表１０１である。
【図２０】絞り目標値を求める処理のフローチャートである。
【図２１】準備期間無しモードにおける、通常撮影から高速撮影への切り替え時の絞り・露光時間のタイムチャートを示す図である。
【図２２】高速撮影から通常撮影への切り替え時の絞り・露光時間のタイムチャートを示す図である。
【図２３】通常撮影から高速撮影に切り替えて、高速撮影の映像の一部を記録する方法を示す図である。
【図２４】映像の記録方法を示す図である。
【図２５】第３トリガ前のＴｍａｘ期間の高速フレームを記録する方法を示す図である。
【図２６】第３トリガ後のＴｍａｘ期間の高速フレームを記録する例を説明する図である。
【図２７】撮影装置１の録画処理のフローチャートである。
【図２８】高速撮影録画処理のフローチャートである。
【図２９】フレームレート切り替え時のフレームの生成方法を示す図である。
【図３０】絞り補正方式をゲイン補正方式に変えた場合を示す図である。
【図３１】間引き方式で撮影した映像データを再生する場合の方法を示す図である。
【図３２】間引き補完処理の流れを示す図である。
【図３３】間引き補完プロセスを示す図である。
【図３４】間引き補完プロセスを示す図である。
【図３５】ズーム時の間引き補完プロセスを示す図である。
【図３６】間引き画像の位置合わせを示す図である。
【発明を実施するための形態】
【００１７】
＜実施形態１＞
＜概要＞
本発明に係る撮影装置は、撮影フレームレートの変更前の1フレームあたりの露光量と
、変更後の１フレームあたりの露光量とを概ね同じとすることで、記録する映像信号の信号レベルの変動を防ごうとするものである。
【００１８】
撮影フレームレートを切り替えたときに露光量を変えないためには、露光時間を変えなければ良いが、撮影フレームレートによって１フレームに割り当てることができる最大の露光時間が決められてしまうので、必要な露光時間を確保できない場合がある。
この場合、撮影フレームレートの切り替え時に、増幅率を上げるゲイン調整や、絞りを開く絞りの調整で対処することが考えられるが、ゲイン調整の場合はノイズの急上昇が予想され、再生画面の画質を低下させる可能性があり、また、絞りを調整する場合は、絞りは機械的に行われることから時間を要し、シャッターチャンスを逃してしまう可能性がある。
【００１９】
そこで、本発明では、撮影フレームレートの切り替えを行う前に、準備期間を設けることで、通常フレームレートでの撮影（以下、「通常撮影」という。）から高フレームレートでの撮影（以下、「高速撮影」という。）への移行を速やかに行い、且つ、再生映像の明るさが大きく変化すること、及び、画質が低下することが無いようにするものである。尚、本撮影装置では、準備期間を設けることができない場合、例えば、すぐに高速撮影する場合にも、準備期間を設けた場合とほぼ同様な再生ができるような対処を行っている。
【００２０】
以下、本発明の実施形態における撮影装置について、図面を用いて説明する。
フレームレートの切り替えがあっても、再生時には、切り替え前後の映像が滑らかに移り変わるような映像のことを、以下、シームレスな映像ともいうものとする。また、断りが無ければ、通常撮影のフレームレートは６０ｆｐｓ（frame per second）、高速撮影のフレームレートは１８０ｆｐｓとする。
【００２１】
＜撮影装置の外観及び操作手順＞
まず、本発明に係る撮影装置の外観と、高速撮影する場合の操作手順を説明する。
図１は、本発明の撮影装置１の外観を示す図である。
図１の上段の図は、撮影装置１の斜視図であり、図１の下段の図は、撮影装置１の背面図である。
【００２２】
撮影装置１には、撮影ボタン２、電源スイッチ３、高速撮影モードスイッチ４、モードダイヤル５、レンズ６、ピント露出固定ボタン７、機能ボタン８、機能ボタン上９、機能ボタン右１１、機能ボタン下１３、機能ボタン左１２、決定ボタン１０、表示ボタン１４、キャンセルボタン１５と高速撮影スイッチ１６及び液晶モニタ１７が備わっている。
高速撮影に関係する撮影ボタン２、高速撮影モードスイッチ４、高速撮影スイッチ１６の機能を、図２を用いて以下に説明する。
【００２３】
図２は、高速撮影に関係するボタン及びスイッチを示す図である。
第１段目は、撮影ボタン２、高速撮影モードスイッチ４、高速撮影スイッチ１６を上から見た図であり、第２段目から第４段目は、それぞれ、撮影ボタン２及び高速撮影スイッチ１６が、押されていない状態、半押しの状態、全押しの状態を示す図である。尚、ここでは、撮影ボタン２と高速撮影スイッチ１６それぞれの状態を示しており、撮影ボタン２と高速撮影スイッチ１６は連動して半押し状態等になるのではない。
【００２４】
また、左列は、高速撮影モードスイッチ４が「ＯＦＦ」の状態を示し、右列は、「ＯＮ」の状態を示す図である。高速撮影モードスイッチ４の突起４ａが、高速撮影スイッチ１６側になっている状態が「ＯＮ」の状態である。
撮影ボタン２は、通常撮影を行う場合に使用するボタンであり、全押し状態で撮影装置１は撮影を開始し、押してない状態に戻したときに撮影を終了する。
【００２５】
高速撮影モードスイッチ４は、準備期間を設けた高速撮影を行うことを設定するスイッチである。
また、高速撮影スイッチ１６は、実際に高速撮影を開始するスイッチであり、通常撮影中に、全押し状態で高速撮影を開始し、押していない状態に戻したときに高速撮影を終了し通常撮影に戻る。
【００２６】
ここで、高速撮影モードスイッチ４が「ＯＮ」又は「ＯＦＦ」の状態での、撮影ボタン２及び高速撮影スイッチ１６が押下された場合に、撮影装置１ではどのような撮影を行うのかを、簡単に説明する。
高速撮影モードスイッチ４が「ＯＮ」の場合は、準備期間有りで高速撮影を行う場合であり、押下されていない状態の撮影ボタン２ａから、全押し状態の撮影ボタン２ｃになった時から通常撮影を開始する。この状態で、押下されていない状態の高速撮影スイッチ１６ｂから、半押し状態の高速撮影スイッチ１６ｃになった時に高速撮影の準備を開始し、全押し状態の高速撮影スイッチ１６ｄで高速撮影を開始する。
【００２７】
また、高速撮影モードスイッチ４が「ＯＦＦ」の場合は、準備期間無しの高速撮影を行う場合であり、押下されていない状態の撮影ボタン２ｄから、完全押し状態の撮影ボタン２ｆになった時に通常撮影を開始する。この状態で、押下されていない状態の高速撮影スイッチ１６ｅから、全押し状態の高速撮影スイッチ１６ｇになった時から高速撮影を開始する。
【００２８】
以下、本発明の実施形態における撮影装置について、図面を用いて説明する。
＜構成＞
図３は、撮影装置１の構成を示す機能ブロック図である。
まず、一般的な撮影を、機能ブロックを用いて簡単に説明する。
入射光３０は、撮影レンズ・メカ機能６において、フォーカス駆動部３２により駆動される主レンズ３１から入射し、ズーム駆動部３３により駆動されるズームレンズ３４により拡大、縮小され、絞り駆動部３５により駆動される絞り３６により明るさを調整される。
【００２９】
絞り３６により明るさを調整された入射光３０は、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）もしくはＣＣＤ（Charge-Coupled Devices）等の撮像素子４０に結
像する。
撮像素子４０で光電変換された映像出力が、フロンドエンド部５０に入力され増幅器５１により増幅された後、ＡＤ変換器５２によりデジタル信号に変換され、映像信号処理部５４においてバッファメモリ９０を使用して信号処理される。
【００３０】
映像信号処理部５４で処理された映像信号は、圧縮回路で圧縮処理され、記録再生部の記録部を介して、記録媒体９１に記録される。
フロントエンド部５０は、更に、明度検出部５６、ＡＧＣ（Automatic Gain Central）５７、ノイズフィルタ７４、ノイズを付加する機能を有するノイズ付加部７５を有する。
撮影装置１は、更に、高速撮影時の制御を行う高速撮影制御部４８、フレームレートの変更を制御するフレームレート制御部６０、シャッター時間すなわち露光時間を制御する
シャッター時間制御部４９、自動露出を行う露出制御部７６を備える。シャッター時間制御部４９は、露出休止時間制御部５３を有する。実際の露光時間は、露出時間の休止時間を制御して調整され、露出休止時間制御部５３がその調整を行う。
【００３１】
また、撮影装置１は、絞り目標値算出部５５を備える。この絞り目標値算出部５５は、フレームレート切り替え時に、絞りをどのように調整するかを算出する機能を有する。絞り目標値算出部５５は、通常撮影時のフレームレート、露光時間、絞り度をそれぞれ記憶する第１フレームレート、第１露光時間、第１絞りと、高速撮影時のフレームレートを記憶する第２フレームレート８１と、これら記憶されている情報からフレーム切り替え後の絞りである第２絞りを算出する演算部８２を備える。また、絞り目標値５５と露光時間目標値８７を記憶する。絞り目標値算出部５５の詳細は、＜絞り・露光時間の移行処理＞の項で説明する。
【００３２】
更に、撮影装置１は、撮像素子４０の感度を設定する感度制御部７３は、ＣＰＵを有して装置全体の制御を行う機能を有する全体制御部１００を備える。この全体制御部１００は、例えば、撮影ボタン２や高速撮影スイッチ１６の押下状態、具体的には、半押し状態１６ｃ又は全押し状態１６ｄ、モード設定部４２で設定されているモード、具体的には、高速撮影モード４３又は通常撮影モード４４の各状態を参照して高速撮影等を制御する。
【００３３】
本撮影装置１は、大きく分けて２つの特徴を有する。1つは撮影方法であり、もう1つは記録方法である。撮影方法については、本実施形態１で説明する。
記録方法については、実施形態２で説明するものとし、映像信号処理部５４については、実施形態２で説明する。
＜フレームレートを上げる方法＞
ここで、フレームレートを上げた場合の、撮像素子の走査方法について簡単に説明する。
【００３４】
フレームレートを上げる場合の走査方式として、高速走査方式以外に、ｎ画素混合方式と間引き方式がある。
このｎ画素混合方式と間引き方式とについて、図４を用いて説明する。
図４は、ｎ画素混合方式と間引き方式を示す図である。
左図は、ｎ画素混合方式の例、真ん中の図は、通常撮影時の全ライン走査の例、右図は、間引き方式の例を示す。ここでは、ｎ画素混合方式の例として４画素混合方式８３を、間引き方式の例として１／５の間引き方式８４を示している。
【００３５】
右図の１／５の間引き方式８４では、フレームレートは通常撮影の５倍の３００ｆｐｓになり、左図の４画素混合方式８３は４倍の２４０ｆｐｓとなる。従って、４画素混合方式８３と１／５の間引き方式８４とを採用すれば、１つの撮影装置で２４０ｆｐｓと３００ｆｐｓの２つのフレームレートでの高速撮影が可能となる。
左図に示すように、ｎ画素混合方式の場合はｎ画素を混合（加算）するため、露光時間が１／４になっても明るさは変わらない。従って、再生画面が暗くなるという問題は生じ得ない。即ち、露光時間の調整や絞りの開放等の処理は必要ない。
【００３６】
一方、右図に示すように、間引き方式の場合は、低いフレームレートから高いフレームレートに変更した場合は、画素の数が減り画面が暗くなることから、露光時間の調整や絞りの開放が必要となる。
本撮影装置１では、２４０ｆｐｓと３００ｆｐｓの２つのフレームレートでの高速撮影を可能とし、フレームレートに応じて、フレームレート変換時の露光時間や絞りを変える処理を行ったり、行わなわなかったりする。
【００３７】
以下、間引き方式の場合についてのみ説明する。
＜撮影装置１の撮影方法＞
図５〜図１３を用いて本発明の撮影方法を説明する。まず、準備期間を設ける場合と、設けない場合の２つに分けて説明する。
＜準備期間を設ける場合＞
まず、準備期間を設ける場合の高速撮影について、図５〜図９を用いて説明する。
【００３８】
図５は、準備期間を設けた高速撮影方法を示す図である。
本図は、通常撮影から高速撮影を行い、再び通常撮影に戻る場合の、トリガ、絞り、露光時間、増幅率等のタイムチャートを示す。
具体的には、第１段目は、動作の契機を示すトリガのタイムチャートであり、縦軸の「１」は高速撮影スイッチ１６の半押し状態を示し、「２」は全押し状態を示す。また、第２段目は、絞りのタイムチャートであり、縦軸は絞りの開き具合を示す。第３段目は、露光時間のタイムチャートであり、縦軸はフレーム毎の露光時間の長さを示す。更に、第４段目は、増幅率のタイムチャートであり、縦軸は増幅率の高さを示す。
【００３９】
次に、第５段目は、撮影モードのタイムチャートであり、フレーム遷移表２００は、通常速度撮影から高速度撮影に移行する前後に撮影するフレームのタイムチャートを示す。フレーム遷移表２００の上部の「ｔ３」等は、トリガ等のタイムチャートの「ｔ３」等を示すものとする。
まず、一連の動作を、トリガのタイムチャートと撮影モードのタイムチャートとを参照しながら、各撮影モードにおける絞り、露光時間、増幅率の変化を説明する。
【００４０】
撮影ボタン２を押すと通常速度で撮影を開始する。ｔ＝ｔ０時に示すように、通常の絞り、露光時間で通常速度４５で撮影する。このとき、高速撮影モードスイッチ４は「ＯＮ」の状態としておくものとする。
通常撮影を行っている途中で、高速撮影スイッチ１６が押下され、半押し状態（１６ｃ：第１トリガ）になると、通常モード４６から高速度撮影準備モード４７に移行する。
【００４１】
この高速度撮影準備モード４７の間に、1フレームあたりの露光量を変えないように、
絞りを開け、同時に、露光時間を短くしていく。本図では、ｔ１〜ｔ２の間に、絞りを開けると共に露光時間を短くし、ｔ２の時点での露光時間が、高速撮影に移行した場合の１フレームあたりの時間となったら、その状態を保ちつつ通常撮影を行う。絞りと露光時間をどのように制御するかは、後で＜絞り・露光時間の移行処理＞の項で説明する。
【００４２】
その後、高速撮影スイッチ１６が全押し状態（第２トリガ）になると、高速度撮影準備モード４７から高速撮影モード７０に移行し、ｔ４の時点から実際に高速度撮影が行われる。このフレームレートが切り替わる時（以下、「変換点」という。）ｔ４の前後のｔ３からｔ５間のフレームレートの切り替わりをフレーム遷移表２００に示している。変換点ｔ４の後は、１８０ｆｐｓで撮影され、時間が１フレームあたり１／１８０秒ずつ増加していることを表している。
【００４３】
高速撮影を終了するため、高速度撮影スイッチ１６を押されていない状態（１６ｂ：第３トリガ）に戻すと、高速撮影モード７０から通常速度撮影準備モード４７ａに移行し、その後、通常モード４６ａに移行する。通常速度撮影準備モード４７ａに移行した時点であるｔ７の時点から、通常速度撮影は再開されている。この変換点ｔ７の前後のｔ６からｔ８間のフレームレートの切り替わりをフレーム遷移表２００に示している。
【００４４】
この通常速度撮影準備モード４７ａでは、高速度撮影準備モード４７で行った動作と逆の動作、すなわち、絞りを閉めつつ、露光時間を長くしていき、通常モード４６の絞りと
露光時間とする。
本図では、増幅率のタイムチャートにおいて、高速撮影を行っている期間ｔ４〜ｔ７で増幅率を上げている。これは、通常撮影モードに比べて高速度撮影モードの方が実質的な露光時間が少なくなるからである（露光時間のタイムチャートのｔ４〜ｔ７参照。）。本実施形態では、垂直ブランキング期間を考慮に入れずに高速度撮影準備モード４７で露光時間を決定しているからであり、垂直ブランキング期間を考慮に入れた場合、あるいは、垂直ブランキング期間が垂直同期周期に対して無視できるレベルである場合は、増幅率を上げる必要はない。
【００４５】
本実施形態では、露光時間のｔ４〜ｔ７にかけての露光時間の減少への対処として、増幅器のゲインをｔ４のタイミングで上げ、変換点ｔ４及びｔ７における映像信号の明るさレベルの変化をより小さくしている。この減少分を絞りで対応させることは、追従速度の面から困難であるからである。
次に、図６を用いて、露光時間と蓄積電荷と絞りの調整を説明する。
【００４６】
図６は、フレームレートを切り替える場合に、準備期間の無い場合と準備期間の有る場合の蓄積電荷を示す図である。第２段目〜第４段目は準備期間の無い場合を、第６段目〜第８段目は準備期間の有る場合を示す。
第１段目は、トリガのタイムチャートであり、第２段目と最下段である第８段目は、絞りのタイムチャートである。これらは、図５のものと同様である。
【００４７】
第３段目は、露光時間のタイムチャートであるが、図５のものとは異なり、露光時間の長さを横軸で表している。
次に、第５段目は、蓄積電荷を読み出す走査ラインを示している。高速撮影の場合は、いわゆる間引き方式を行っている。
第４段目と第６段目とは、蓄積電荷のタイムチャートであり、縦軸が蓄積されている電荷量を示し、本図では、一定の入射光量の条件での電荷量の変化を示している。横軸の両端矢印Ｓ１〜Ｓ９は蓄積している時間、すなわち、露光時間を示している。
【００４８】
第６段目は、シャッターのタイムチャートであり、縦矢印８０ａ、８０ｂ、８０ｃ、８０ｄ等はシャッター時間を表しており、矢印が長いほどシャッター時間が長いことを示している。実際には、シャッター時間とは、電荷の蓄積時間、即ち露光時間を意味し、本図では、Ｓ１〜Ｓ９の両端矢印と対応している。
尚、本図での時間ｔ０等は、図５のｔ０等と合わせているが、説明の便宜上ｔ２〜ｔ４は省略している。
【００４９】
まず、準備期間が無く、フレームレートを変えた場合を説明する。
第２、３、４段目のタイムチャートを見ると、絞りを変えない場合は、露光時間はフレームレートの１フレームあたりの時間となり、蓄積電荷はフレームレートが上がれば、その分蓄積電荷は少なくなる。すなわち、再生画面が暗くなる。
第５段目に示すような、間引き走査方式の場合は、例えば２つの走査線を間引いて３倍に高速化した場合、実質的な光量が約１／３になる。
【００５０】
詳細には、通常撮影時の１フレーム当たりの露光時間が、高速撮影時の１フレーム当たりの露光時間より長い場合は（第３段目の露光時間のタイムチャート参照）、蓄積電荷は変換点において急激に、かつ大幅に減少する（第４段目の蓄積電荷のタイムチャート参照）。
このように、通常撮影時と高速撮影時の明るさが異なるため、再生した時に明るさが変換点の前後で極端に暗くなり、仮にゲインを加えて明るさを合わせてもノイズが増えるため変換点で視聴者に違和感を与えることになる。すなわち、フレームレートの切り替え点
において実質的な明るさが急激に暗くなるため、明るさの面で再生画像がシームレスに再生されないという課題が生ずる。
【００５１】
次に、準備期間を設けて、フレームレートを変えた場合を説明する。
第６段目の蓄積電荷のタイムチャートのように、第１トリガが入力されたｔ１から、露光時間をＳ１、Ｓ２、Ｓ３と徐々に短くして、第２トリガが入力されたｔ４でフレームレートを切り替える時には、変更後のフレームレートで確保できる最大の露光時間Ｓｍａｘとなるようにする。
【００５２】
それと同時に、第８段目の絞りのタイムチャートで示すように、蓄積電荷の値が一定に保たれるように、ｔ１〜ｔ２（ｔ４）の間に絞りを徐々に開けていく。
このように露光時間と絞りを制御して露光時間を事前に短くしておくことで、トリガ２が入力されたときに直にフレームレートを切り替えたとしても、１フレームあたりの蓄積電荷が少なくなることはなく、再生画面が暗くなることもない。
【００５３】
図６では、準備期間中に、露光時間を徐々に短くしていく場合を説明したが、準備期間に露光時間を変更しなくても良い場合がある。
このような場合を、図７を用いて説明する。
第１段目〜第８段目までのタイムチャートは、図６と同様である。
本図では、露光時間を変更する必要が無い場合と、変更の必要が有る場合とを説明する。第２段目〜第４段目は露光時間を変更する必要が無い場合を、第６段目〜第８段目は露光時間を変更する必要が有る場合を示す。
【００５４】
第６段目〜第８段目は露光時間を変更する必要が有る場合は、図６の準備期間の有る場合と同じであるので、ここでは、第２段目〜第４段目の露光時間を変更する必要が無い場合のみ説明する。
露光時間を変更する必要が無い場合とは、言い換えれば、露光時間が既に変更後のフレームレートの１フレームあたりの最大露光時間と等しいか短い場合である。この様な状況は、例えば入射光が非常に強く絞りだけでは露出オーバーとなってしまう場合に生じる。
【００５５】
第３段目の露光時間のタイムチャートで示されるように、フレームレート切り替え前の露光時間６１ａ、６１ｂ、６１ｃは、切り替え後の露光時間の最大値Ｓｍａｘ８９より小さいか、略等しい。この場合は、フレームレート変更後も露光時間を短縮しなくても実質的な明るさを確保できるため、露光時間を変える必要も、第２段目の絞りのタイムチャートで示されるように、絞りを変える必要も無い。
【００５６】
従って、この場合は、準備期間が無くても、高速撮影に入ることが可能となる。
本撮影装置は、このように、入射光量が多い時はフレームレート変更時に露光時間や絞りを調整せず、入射光量が少ない時はフレーム変更時に露光時間や絞りを大きく変化させることで、１フレームあたりの露光量をほぼ一定としている。
＜絞りで調整できない場合＞
ここでは、露光時間が短くなる場合に、絞りを開けることで露光量を確保しようとしたが、絞りが全開となって露光量を確保できない場合の対処方法について説明する。
【００５７】
図８は、絞りで調整ができない場合の高速撮影方法を示す図である。
本図は、図５と同様に、通常撮影から高速撮影を行い、再び通常撮影に戻る場合の、絞り、露光時間、増幅率、ノイズフィルタ、撮影モードのタイムチャートと、フレーム遷移表を示す。尚、トリガのタイムチャートは省略しているが、図５と同様のタイミングでトリガが発生するものとする。
【００５８】
絞りによっては露光量が確保できない場合、増幅器によるゲイン調整のみで露光量を確保しようとすると、変換点において、ノイズが急上昇するという欠点が想定される。
第１段目の絞りのタイムチャートに示すように、絞りを変更しない場合は、ｔ４〜ｔ７の期間に高速化により実質的な露光時間が短くなり、露光量が減少する（第２段目の露光時間のタイムチャート参照）。
【００５９】
露光量の不足分を補うため、増幅率を、ｔ４〜ｔ７の期間上げることにより映像信号の明るさを変化しない方向に制御する（第３段目の増幅率のタイムチャート参照）。
この場合、ｔ４〜ｔ７の期間中のノイズが増えるため、ノイズフィルタ７４をＡＤ変換器５２の前に入れて、動作させる（第４段目のノイズフィルタのタイムチャートの「ＯＮ」参照）。または、ノイズフィルタの減衰率を大きくすることにより、ノイズの発生を目立たなくさせる。これにより、よりシームレスな映像を撮影できることとなる。
【００６０】
さらに、変換点におけるノイズの増加を目立たなくさせるもう１つの方法として、意図的にノイズを加える方式がある。
ノイズを付加する方法を、図９を用いて説明する。
図９は、ノイズを付加する場合の高速撮影方法を示す図である。
本図は、図５と同様に、通常撮影から高速撮影を行い、再び通常撮影に戻る場合の、絞り、露光時間、増幅率、ノイズフィルタ、付加ノイズ、ノイズ、撮影モードのタイムチャートと、フレーム遷移表を示す。尚、トリガのタイムチャートは省略しているが、図５と同様のタイミングでトリガが発生するものとする。
【００６１】
付加ノイズのタイムチャートは、付加するノイズを表し、ノイズのタイムチャートは、実際に生ずるノイズ、すなわち、付加されたノイズと増幅によるノイズの双方合わせたものを表す。
高速度撮影の準備期間（ｔ１〜ｔ４）に、ノイズ７７を発生させ（第５段目の付加ノイズのタイムチャート参照）、徐々にノイズレベルを上げていき、高速撮影時に発生するノイズレベルＮＬ１まで上げていく。
【００６２】
この手法によりｔ４とｔ７におけるノイズの急激な増加を緩和することができるため、通常速度撮影モードと高速度撮影モードの変換点の映像がよりシームレスになるという効果がある。
＜準備期間を設けない場合＞
次に、準備期間を設けないで高速撮影に入る場合や、準備期間を設けるモードになっているが準備期間が殆ど設けられない場合について、図１０と図１１とを用いて説明する。
【００６３】
具体的には、高速撮影モードスイッチ４が「ＯＦＦ」の場合に、高速撮影スイッチ１６を完全押し状態にした場合と、高速撮影モードスイッチ４が「ＯＮ」の場合に、高速撮影スイッチ１６を半押し状態が殆ど無しで、完全押し状態にした場合である。
絞りを垂直ブランキング期間に変更できるならば、直に高速撮影に移ったとしても露光量は変わらないが、絞りは機械的に変えるため、追従時間は１０〜１５ｍｓｅｃ程度の長い時間を要するため、垂直ブランキング期間に絞りを変えることは難しい。そこで、本発明では以下のような方法を取るものである。
【００６４】
図１０は、準備期間無しの高速撮影方法を示す図である。
本図は、図５と同様に、通常撮影から高速撮影を行い、再び通常撮影に戻る場合の、トリガ、絞り、露光時間、増幅率、ノイズフィルタ、撮影モードのタイムチャートと、フレーム遷移表を示す。ただし、高速度撮影準備モードと通常速度撮影準備モードとは設けられていない。
【００６５】
高速撮影開始のトリガである第１トリガ８８を受けて、直接、通常速度撮影から高速度撮影に移る際の手順を説明する。
第１トリガ８８を受けたｔ４から、高速撮影終了のトリガである第２トリガ７９を受けるｔ７までの間、高速撮影を行う場合を説明する。
ｔ４で高速撮影スイッチ１６が押下されるまで、通常速度で撮影しており、ｔ４において、フレームレートが通常速度から高速度に変わる。
【００６６】
この瞬間に露光時間が１／３になるため（第３段目の露光時間のタイムチャート参照）、絞り目標値まで絞りを開ける作業を開始する（第２段目の絞りのタイムチャート参照）。絞り目標値については、後の＜絞り・露光時間の移行処理＞の項で説明する。
また、ｔ４〜ｔ６において、開かれていく絞りに合わせて増幅率を下げるとともに（第４段目の増幅率のタイムチャート参照）、ノイズフィルタの減衰率を下げる（第５段目のノイズフィルタのタイムチャート参照）。
【００６７】
ｔ６において絞りが絞り目標値に到達すると、増幅率とノイズフィルタも通常撮影時の値に戻ることになる。
ｔ７において、第２トリガ７９を受けると、ｔ４〜ｔ６の逆の動作を行う。
具体的には、ｔ７の時点で、フレームレートを高速度から通常速度に戻し、ｔ７〜ｔ９の期間に、絞りを閉めるとともに増幅率とノイズフィルタ特性とを上げていく。
【００６８】
絞りが元の絞り値に戻った瞬間であるｔ９において、露光時間を通常速度撮影時の値に戻す（第３段目の露光時間のタイムチャート参照）。
このように、絞り、増幅率、ノイズフィルタを調整することで、高速度撮影と通常速度撮影の間がシームレスに撮影される。
この方式では、高速撮影命令を受けると同時にフレームレートを高速化するとともに、増幅率を同時に上げるため、高速撮影スイッチ１６が押されると同時に高速度撮影モードに入ることが可能となる。このため高速撮影への切り替わりが迅速であり、重要なシーンのシャッターチャンスを逃すことがなくなるという利点がある。
【００６９】
次に、図１１を用いて、絞りと増幅率の調整を説明する。
第１段目〜第８段目までのタイムチャートは、図６と同様である。第９段目は、増幅率のタイムチャートである。
本図では、被写体が明るく露光時間を変更する必要が無い場合と、被写体が暗く露光時間を変更の必要が有る場合とを説明する。第２段目〜第４段目は露光時間を変更する必要が無い場合を、第６段目〜第９段目は露光時間を変更する必要が有る場合を示す。
【００７０】
被写体が明るい場合は、露光時間を変える必要がないため、絞りを変えずに、高速撮影に移行する。
一方、被写体が暗い場合は、高速度撮影開始のトリガである第１トリガ８８が入ると、露光時間を短くする（第７段目の露光時間のタイムチャート参照）。
露光時間を短くすると同時に、ゲインを急激に上げ（第９段目の増幅率のタイムチャート参照）、絞りを開け始める（第８段目の絞りのタイムチャート参照）。
【００７１】
その後、ｔ３からゲインを下げ始める（第９段目の増幅率のタイムチャート参照）。
このように、絞り、増幅率を調整することで、高速度撮影と通常速度撮影の間がシームレスに撮影され、再生映像の明るさの不連続性は緩和される。
＜変形例＞
上述した高速撮影方法の変形例を２つ説明する。
【００７２】
まず１つ目の変形例を、図１２を用いて説明する。
図１２は、通常撮影から高速撮影には直に切り替わるが、高速撮影から通常撮影に戻るときは徐々に戻す方法を示す図である。
すなわち、通常撮影から高速撮影に変わる時は、シャッターチャンスを逃さないように、早いレスポンスが要求されるためであり、一方、高速撮影を終了する時は、それほどレスポンスが要求されないためである。
【００７３】
本図は、図１０と同様に、通常撮影から高速撮影を行い、再び通常撮影に戻る場合の、トリガ、絞り、露光時間、増幅率、ノイズフィルタ、撮影モードのタイムチャートと、フレーム遷移表を示す。
ｔ４で、高速撮影開始トリガである第１トリガ８８を受けた後の、ｔ４〜ｔ６期間の動作は、図１０に示した方式と同じである。すなわち、ｔ４において第１トリガ８８が入ると同時に増幅率を上げ、絞りを開けていく。
【００７４】
一方、ｔ８において高速撮影終了トリガである第２トリガ７９を受けたあとの動作は図１０とは異なる。
本変形例では、ｔ８において第２トリガ７９を受けたら、増幅率を変えないで、徐々に絞りを閉める（第２段目の絞りのタイムチャート参照）と同時に、露光時間を増加させる（第３段目の露光時間のタイムチャート参照）。
【００７５】
そして、ｔ８の時点でフレームレートは通常速度に戻される。
この方式では、通常撮影から高速撮影に変わる時は、第１トリガが入った瞬間に高速撮影に切り替わりシャッターチャンスは逃さないものの、画質は若干劣化することとなる。すなわち、信号レベルの低下が防げれば、増幅する必要を最小限とすることが可能となり、画質の低下を抑えることができるようになる。
【００７６】
一方、高速度撮影を終了して通常撮影に戻るときは、ゲインを変えないで絞りを徐々に閉めていくことにより、ノイズの発生を抑制し、高速度撮影終了時の映像の画質の劣化が少ないという利点がある。
次に、図１３を用いて、２つ目の変形例を説明する。
図１３は、通常撮影から高速撮影に切り替える場合に時間を要する方法を示す図である。
【００７７】
１つ目の変形例では、高速撮影開始トリガである第１トリガ８８を受けると、直に高速撮影を開始するが、若干画質が劣化するものであった。本変形例では、若干送れて高速撮影を開始するが、画質が劣化しない例である。
通常撮影から高速撮影に変わる時は、シャッターチャンスを逃さないように、早いレスポンスが要求される場合が多いが、本変形例は、若干高速撮影の開始が遅れても画質の良さが要求される場合に適している。
【００７８】
本図は、図１２と同様に、通常撮影から高速撮影を行い、再び通常撮影に戻る場合の、トリガ、絞り、露光時間、増幅率、撮影モードのタイムチャートと、フレーム遷移表を示す。尚、ノイズフィルタのタイムチャートは記載されていない。また、本図の増幅率のタイムチャートは、図５のものと同様に、必須ではない。
ｔ１において、高速度撮影開始のトリガである第１トリガ８８を受けると、ｔ１〜ｔ３の間のＴ１の期間中に、絞りを開けるとともに露光時間を短くしていく（第２段目の絞りのタイムチャート及び第３段目の露光時間のタイムチャート参照）。
【００７９】
露光時間が高速撮影用の長さになったｔ３の時点で高速度撮影に入る。
ｔ６において、高速撮影終了のトリガである第２トリガ７９を受けると、高速撮影から通常撮影に戻る。そして、ｔ６〜ｔ８の間のＴ２の期間中に、絞りを閉めていくことに連
動して露光時間を増やしてゆく（第２段目の絞りのタイムチャート及び第３段目の露光時間のタイムチャート参照）。
【００８０】
ｔ８において、絞りと露光時間は通常撮影時と同じ値になる。
この方式では、Ｔ１よりＴ２の方が大きいように制御する。この理由は通常撮影から高速撮影に移行する時に、この移行時間が長いとシャッターチャンスを逃す可能性があり、移行時間は少ないことが最も重要であるからである。従って、Ｔ１は可能な範囲内で最小の値にする。
【００８１】
一方、高速度撮影を終了する時は、シャッターチャンス等関係なく緊急は要求されないため、移行時間は長くてもよい。むしろ長い方が画質面でよりシームレスになる。すなわち、移行時間より画質を優先して、Ｔ１より長く設定する。
従って、Ｔ２はＴ１よりも長くすることにより、高速撮影開始時におけるレスポンスを速くすると同時に、高速撮影終了時の明るさの時間的変化が少なくよりシームレスに撮影できるという効果を奏することになる。
【００８２】
＜動作＞
以下、本発明に係る撮影装置の動作について図１４〜１６を用いて説明する。
図１４は、通常撮影及び高速撮影の処理を表すフローチャートである。
まず、ユーザは、初期設定により通常速度のフレームレートをＲ１とし、高速度撮影モードのフレームレートをＲ２に設定する（ステップＳ１００）。この操作は、図１のモード設定ダイヤル５を用いて行う。
【００８３】
このユーザの操作を検知した全体制御部１００は、設定されたフレームレートＲ１とＲ２とを、絞り目標値算出部５５の第１フレームレートと第２フレームレートにそれぞれ記憶する。
また、ユーザが、高速撮影モードスイッチ４を、「ＯＮ」又は「ＯＦＦ」とする。ユーザの操作を検知した全体制御部１００は、高速撮影モードスイッチ４が「ＯＮ」の場合は、モード設定部４２を高速撮影モード４３の状態に、高速撮影モードスイッチ４が「ＯＦＦ」の場合は、通常撮影モード４４の状態にする。具体的には、例えば、撮影状態フラグ（図示していない。）が「１」のときは、高速撮影モード４３状態、「０」ときは、通常モード状態４４とする。
【００８４】
ユーザが通常撮影を始めるため撮影ボタン２を押下する（ステップＳ１１０：押下）。この押下を検知した全体制御部１００は、フォーカス駆動部３２等に指示を出し、フレームレートＲ１で通常撮影を開始する（ステップＳ１２０）。
通常撮影中に、ユーザは高速撮影スイッチ１６を押下して高速撮影の開始を指示する（ステップS１３０：押下）。この押下を検知した全体制御部１００は、高速撮影を始める
旨、高速撮影制御部４８に通知する。
【００８５】
高速撮影の開始指示を受けた高速撮影制御部４８は、高速撮影モードスイッチ４が「ＯＮ」か「ＯＦＦ」のどちらになっているかと、高速撮影スイッチ１６が半押し状態なのか全押し状態なのかの２点を全体制御部１００に問い合わせる。
問い合わせを受けた全体制御部１００は、モード設定部４２が高速撮影モード４３となっていれば「ＯＮ」を返し、通常撮影モード４４となっていれば「ＯＦＦ」を返す。また、高速撮影スイッチ１６が半押しＳＷ状態１６ｃであれば「半押し」を、全押しＳＷ状態１６ｄであれば「全押し」を返す。
【００８６】
全体制御部１００から、高速撮影モードスイッチ４と高速撮影スイッチ１６との状態を受け取った高速撮影制御部４８は、高速撮影モードスイッチ４が「ＯＮ」の場合（ステッ
プＳ２４０：ＯＮ）であって、高速撮影スイッチ１６が「半押し」の場合（ステップＳ１５０：ＹＥＳ）は、高速撮影準備有りモードで高速撮影を行う（ステップＳ１６０）。
一方、高速撮影モードスイッチ４が「ＯＦＦ」の場合（ステップＳ２４０：ＯＦＦ）や、高速撮影スイッチ１６が「全押し」の場合（ステップＳ１５０：ＮＯ）は、高速撮影準備無しモードで高速撮影を行う（ステップＳ１７０）。
【００８７】
その後、ユーザが、撮影ボタン２が押されていない状態に戻して、撮影の終了を指示（ステップＳ１８０）するまで、ステップＳ１２０〜ステップＳ１７０までの撮影を行う。
次に、図１５を用いて、高速撮影準備有りモードでの高速撮影の処理を説明する。
ここで説明する処理は、図５、図８、図９を用いて説明した撮影方法である。
図１５は、高速撮影準備有りモードでの高速撮影の処理を表すフローチャートである。
【００８８】
まず、高速撮影制御部４８は、絞り駆動部３５に指示を出して絞りを開け始めるとともに、シャッター時間制御部４９に指示を出し、露出休止時間制御部５３により、露光休止時間中に光電変換された電荷を排出することにより露光時間を短くしてゆく（ステップＳ２００）。
この処理の具体的な処理については、＜絞り・露光時間の移行処理＞の項で説明する。
【００８９】
ここで、絞り度が限界に達してしまった場合は（ステップＳ２１０：ＹＥＳ）、絞りを明るい限界値に設定し、増幅器５１のゲインを上げるか、感度制御部７３により撮像素子４０の感度の変更により信号出力を増加させ、ノイズフィルタを入れてノイズを低減する（ステップＳ２２０）。
その後、ユーザが、高速撮影スイッチ１６を「全押し」して、高速撮影を実際に開始する操作を行う（ステップＳ２３０：ＹＥＳ）と、その操作を検出した全体制御部１００は、高速撮影制御部４８にその旨を通知し、通知を受けた高速撮影制御部４８はフレームレート制御部６０にフレームレートをＲ２にするよう指示する（ステップＳ２３０：ＹＥＳ）。
【００９０】
指示を受けたフレームレート制御部６０は、撮像装置４０にフレームレートをＲ２にするよう指示し、高速撮影が開始される（ステップＳ２４０）。
その後、ユーザが、高速撮影スイッチ１６を「押していない状態」に戻して、高速撮影を終了する操作を行う（ステップＳ２５０：ＹＥＳ）と、その操作を検出した全体制御部１００は、フレームレート制御部６０にフレームレートをＲ１に戻すよう指示し、高速撮影制御部４８に高速撮影を終了する旨を通知する（ステップＳ２３０：ＹＥＳ）。
【００９１】
指示を受けたフレームレート制御部６０は、撮像装置４０にフレームレートをＲ１にするよう指示し、通常撮影が再開される（ステップＳ２６０）。
高速撮影を終了する旨の指示を受けた高速撮影制御部４８は、絞りを閉めていくと同時に露光時間を長くしてゆき、通常撮影時のものに戻し、必要に応じて増幅率を下げるなどの処理を行う（ステップＳ２７０）。
【００９２】
次に、図１６を用いて、高速撮影準備無しモードでの高速撮影の処理を説明する。
ここで説明する処理は、図８、図１０を用いて説明した撮影方法である。ステップＳ３２０〜ステップＳ３６０が図８の撮影方法において高速度撮影準備モードの期間が殆どない場合、ステップＳ４００〜ステップＳ４５０が図１０の撮影方法である。
図１６は、高速撮影準備無しモードでの高速撮影の処理を表すフローチャートである。
【００９３】
フレームレートＲ１で通常撮影を行っている現在の露光時間を第１露光時間Ｔ１とし、高速撮影時のフレームレートＲ２の最大露光時間を第２露光時間Ｔ２とする。
まず、高速撮影制御部４８は、露光時間を、第１露光時間Ｔ１と第２露光時間Ｔ２のう
ちの小さい方の露光時間とするようシャッター時間制御部４９に指示を出し、シャッター時間制御部４９は露光時間を調整する（ステップＳ３００）。言い換えれば、Ｔ１≦Ｔ２にするようにＴ１を短くする。
【００９４】
高速撮影制御部４８は、第１露光時間Ｔ１を調節したとしたら絞りが限界値に達していると判断した場合（ステップＳ３１０：ＹＥＳ）は、絞りを明るい限界値に設定し、増幅器のゲインを上げるか、撮像素子４０の感度の変更により信号出力を増加させ、ノイズフィルタを入れてノイズを低減する（ステップＳ３２０）。
その後、高速撮影制御部４８は、フレームレート制御部６０にフレームレートをＲ２にするよう指示し、指示を受けたフレームレート制御部６０は、撮像装置４０にフレームレートをＲ２にするよう指示し、高速撮影が開始される（ステップＳ３３０）。
【００９５】
その後、ユーザが、高速撮影スイッチ１６を「押していない状態」に戻して、高速撮影を終了する操作を行う（ステップＳ３４０：ＹＥＳ）と、その操作を検出した全体制御部１００は、高速撮影制御部４８にその旨を通知し、通知を受けた高速撮影制御部４８はフレームレート制御部６０にフレームレートをＲ１に戻すよう指示する。
指示を受けたフレームレート制御部６０は、撮像装置４０にフレームレートをＲ１にするよう指示し、通常撮影が再開される（ステップＳ３５０）。
【００９６】
また、フレームレート制御部６０への指示と同時に、高速撮影制御部４８は、増幅率を下げるとともに絞りを閉じる方向に制御しながら露光時間を長くし、通常撮影を再開する（ステップＳ３６０）。
一方、高速撮影制御部４８が、第１露光時間Ｔ１を調節したとしたら絞りが限界値に達していないと判断した場合（ステップＳ３１０：ＮＯ）は、絞りを所定の露光量を得るように制御する（ステップＳ４００）。
【００９７】
その後、高速撮影制御部４８は、フレームレート制御部６０にフレームレートをＲ２にするよう指示し、指示を受けたフレームレート制御部６０は、撮像装置４０にフレームレートをＲ２にするよう指示し、高速撮影が開始される（ステップＳ４１０）。
露光量の調節は、絞り、露光時間、ゲインを組み合わせて調節する（ステップＳ４２０）。
【００９８】
その後、ユーザが、高速撮影スイッチ１６を「押していない状態」に戻して、高速撮影を終了する操作を行う（ステップＳ４３０：ＹＥＳ）と、その操作を検出した全体制御部１００は、高速撮影制御部４８にその旨を通知し、通知を受けた高速撮影制御部４８はフレームレート制御部６０にフレームレートをＲ１に戻すよう指示する。
指示を受けたフレームレート制御部６０は、撮像装置４０にフレームレートをＲ１にするよう指示し、通常撮影が再開される（ステップＳ４４０）。
【００９９】
また、フレームレート制御部６０への指示と同時に、高速撮影制御部４８は、増幅率を下げるとともに絞りを閉じる方向に制御しながら露光時間を長くし、通常撮影を再開する（ステップＳ４５０）。
＜絞り・露光時間の移行処理＞
ここで、絞りと露光時間の移行処理について説明する。この処理は、準備期間を設けた高速撮影の処理において、準備期間に成されるものである。図１５のステップ２００での処理に該当する。
【０１００】
絞り・露光時間の移行処理について図１７と図１８とを用いて説明する。
図１７は、絞り・露光時間のタイムチャートを示す図である。
本図は、図５のｔ１からｔ２を説明するための図であり、説明の便宜上、図５のｔ２〜
ｔ４は省いている。また、本図と図５のｔ１等は、同じ時間を表すものではない。
第１段目は、動作の契機を示すトリガのタイムチャートであり、第２段目は、フレームレートのタイムチャートである。第３段目は、絞り度のタイムチャートであり、縦軸は絞り値を示し、Ｌ１、Ｌ２、Ｌ３の順で絞り値が大きくなり、絞り値が大きいほど絞りが開くものとする。
【０１０１】
第４段目は、絞り値近似値のタイムチャートであり、この値は露光時間を求めるために使用する。
第５段目は、蓄積電荷のタイムチャートであり、縦軸は蓄積されている電荷量を、Ｓ１等の両端矢印は露光時間を示す。
図１７を簡単に説明すると、まず、第１トリガを受けると、絞り目標値８５を算出し、その絞り目標値８５に絞りを近づけていくと同時に、露光時間を短くしていき、高速撮影のフレームレートＲ２の最大露光時間Ｓｍａｘ８９とする。このときの各フレームの露光時間は、フレーム毎の絞り値近似値とフレームにおいて蓄積すべき電荷とから求める。
【０１０２】
第２トリガを受けたときに、フレームレートをＲ１からＲ２に切り替えて、高速撮影を開始する。
この絞り目標値は、通常撮影時のフレームレートと高速撮影時のフレームレートが決まれば、フレームあたりの光量の増減が一義的に決まることから、求めることができる。つまり、フレームレートが決まれば明るさの増減が決まるため、絞りの開閉の目標値がわかることになる。この絞り目標値の求め方は、＜絞り目標値の求め方＞の項で説明する。
【０１０３】
図１８は、絞り・露光時間の移行処理のフローチャートである。
高速撮影制御部４８は、シャッター時間制御部４９から現在の露光時間Ｅ１を求め（ステップＳ６００）、高速撮影時のフレームレートＲ２から露光時間Ｅ２、すなわち、露光時間目標値８７を求める（ステップＳ６１０）。ここでは、露光時間目標値８７は、フレームレートＲ２での最大露光時間Ｓｍａｘ８９とする。露光時間目標値８７は、選択可能な値の中から通常最も大きな値を採用するためであり、ＳｍａｘはフレームレートＲ２のみによって一義的に決まる。
【０１０４】
現在の露光時間Ｅ１が露光時間目標値８７である露光時間Ｅ２以下の場合（ステップＳ６２０：ＹＥＳ）は、絞り調整の必要が無いため何も行わない。この場合は、図７の「露光時間を変更しない場合」に該当する。
露光時間Ｅ１の方が露光時間Ｅ２より大きい場合（ステップＳ６２０：ＮＯ）は、絞り目標値算出部５５に絞り目標値８５の算出を依頼する（ステップＳ６３０）。依頼を受けた絞り目標値算出部５５は、絞り目標値８５を算出し、高速撮影制御部４８に渡す。
【０１０５】
高速撮影制御部４８は、受け取った絞り目標値８５となるように、絞り駆動部３５に指示して、絞り３６を開けていく（ステップＳ６４０）。
絞りは機械的に制御されるため、１０〜３０ｍｓの時間が必要となる。図１７に示すようにｔ２からｔ６にかけて、ゆるやかに開いていく。
この絞りの変化を予測式で予測する（ステップＳ６５０）。撮影装置１の絞り３６の制御特性は予めわかっているため、この変化は簡単な予測式で予測できる。
【０１０６】
次に、各フレーム期間中の平均値である絞り値Ｌ１と絞り値Ｌ２とを求める（ステップＳ６６０、図１７の絞り値近似値のタイムチャート参照）。
求めたＬ１、Ｌ２の絞りにおいて、最適な露光を得る露光時間Ｓ１、Ｓ２を、各フレームで求める（ステップＳ６７０）。
そして、高速撮影制御部４８は、各フレームを撮影する際に、シャッター時間制御部４９に最適露光時間Ｓ１、Ｓをそれぞれ指示する（ステップＳ６７０）。
【０１０７】
絞りが絞り目標値８５に達した時点（ステップＳ６９０：ＹＥＳ）で、絞りと露光時間とを保持する。
高速撮影制御部４８は、全体制御部１００からトリガ２を受けた旨の通知を受けたら、フレームレート制御部６０にフレームレートをＲ２にするように指示し、高速度撮影を開始する。
【０１０８】
このように本発明では、高速度撮影時のフレームレートに応じて、高速撮影時の絞り目標値８５と露光時間目標値８７とを、絞り目標値算出部５５が求めることができるので、フィードフォワード方式で時々刻々に絞り３６と露出時間を制御していく。そのため、従来の自動露出方式を用いて、露出制御部７６で絞り補正を行う場合に比べて大幅な時間の削減ができる。従って、より短い時間で通常速度撮影から高速撮影に移ることが可能となる。よって、使用者にレスポンスの速い、使い勝手のよい撮影装置を提供できる。
【０１０９】
尚、自動露出は、撮像素子４０から明るさを検出して、露出制御部７６により、フィードバック制御を行い、絞りとシャッター速度を調整するものである。この方式は、映像の明るさ情報が１フレームもしくは１フィールド毎にしか得られない。この１秒に６０コマ位しかとれないサンプルデータに基づいてフィードバック制御を行うことになる。フィードバック制御するためには、少なくとも複数の明るさのサンプルつまり複数のフレームの映像情報が必要であり、絞りの変更に時間を要することとなる。このようにフィードバック方式の自動露出方式を用いると応答が遅く数十フレームを必要とし、通常速度から高速度撮影に移行する時に絞りの追従速度が遅いため、高速度撮影ボタンを押しても、フレームレートの変更に時間が必要なため、シャッターチャンスを逃し良いシーンを高速度撮影できないこととなる。
【０１１０】
＜絞り目標値の求め方＞
次に、絞り目標値を求める処理について、図１９と図２０とを用いて説明する。
図２０は、絞り目標値を求める処理のフローチャートであり、この処理は、絞り目標値算出部５５が行う処理である。
図１９（ａ）は、光量の変化を示すタイムチャートである。
【０１１１】
第１段目は、トリガのタイムチャートを示す。
第２段目は、光量のタイムチャートを示し、縦軸は光の量を表す。この光の量は、明度検出部５６により検出され、最新の所定期間分、絞り目標値算出部５５内部の作業領域に記憶されているものとする。
また、第３段目は、フレームレートのタイムチャートを示し、矩形が１フレームを表す。矩形内の「Ｒ１」、「Ｒ２」は、撮影されたフレームレートを表す。
【０１１２】
図１９（ｂ）は、フレームレートと絞りの増分との対応表１０１である。この対応表１０１は、Ｒ２つまり第２フレームレートに応じて絞りの増分△ｆ２が決まることから、その値をフレームレートと対応付けているものである。すなわち、Ｒ２が決まると最大露光時間Ｓｍａｘが決まることから、△ｆ２も一義的に決まるからである。
絞り目標値８５は、通常撮影のフレームレートＲ１である第１フレームレートと、露光時間である第１露光時間と、絞りである第１絞りと、高速撮影時のフレームレートＲ２である第２フレームレートから求めることができる。
【０１１３】
この演算において、最も重要なパラメータは第２フレームレート８１である。というのは、第１フレームレートと第１露光時間と第１絞りは既にわかっている。第２フレームレート８１により光量の増減は１〜１／ｎ倍と大幅に変わるため、一番重要な要素といえる。
更に、絞り目標値８５を求める場合に、第１絞りをどのような値とするかが重要となる。すなわち、被写体の明るさは常に一定ではないことから、フレームレートを切り替える直前の絞りを採用すると、妥当ではない場合、例えば、切り替えの直前に被写体が明るかった場合は、絞り目標値８５が低すぎてしまう場合があるからである。
【０１１４】
そこで、本撮影装置１では、フレームレートを切り替える時より前の所定時間において、被写体が最も暗かったときの絞りを第１絞りとするものとする。このようにすることで、高速撮影時の映像が露出不足にならないという効果がある。
以下、図２０を用いて、絞り目標値８５である高速度撮影時の第２絞りｆ２を求める方法を説明する。
【０１１５】
まず、図１９（ａ）に示すように、光量を測定し記憶しておく。ここでは、ｔ２で、高速撮影の準備を開始する指示であるトリガ１を受ける前のｔ１〜ｔ２間の光量の最小値Ｉｍｉｎを測定し記憶する。
ｔ２でトリガ１を受けたときに、記憶している光量の最小値を求める（ステップＳ５００）。図１９（ａ）の場合は、ｔ１のところの光量Ｉが最小値となる。
【０１１６】
このＩｍｉｎから、第１絞りｆ１を求める（ステップＳ５１０）。具体的には、このＩｍｉｎで表される光量と第１露光時間とから第１絞りを求める。
次に、対応表１０１から第２フレームレートであるＲ２の増分△ｆ２を求め、求めた増分△ｆ２と第１絞りｆ１とから第２絞りｆ２を求める（ステップＳ５２０）。
図１９のように、トリガ１の前の一定期間の光量の最小値を基に、第１絞りｆ１を求めることにより、最も暗い条件下の第２絞りが目標値に決定される。
【０１１７】
このように絞り目標値８５が決定されるため、ｔ３〜ｔ４の間に光量変化があっても、統計的にＩｍｉｎ以下になる可能性が低く、露光不足となる可能性は低くなる。
また、ｔ３〜ｔ４の期間は、通常は、第２露光時間が最大値に設定されるため、被写体が暗くなった場合には、露光時間をこれ以上大きくすることはできず、露光時間では、暗さを補う補正はできない。また、絞りの調整は機械的な動作のため、高速で追従できないので、絞りで暗さを補うこともできない。従って、最も暗い条件下での絞りを絞り目標値とすることは、露光不足となる可能性を低くすることになる。
【０１１８】
本発明では、トリガ１の前の一定期間の中でもっとも少ない光量Ｉｍｉｎから求められる絞りｆ１を算出し、そのｆ１を用いるため、最も明るいｆ値をｆ２とすることになる。従って、ｔ３〜ｔ４の間に露出不足にならないという効果がある。
尚、本実施形態では光量を測定して記憶することとしているが、絞りを記憶しておいてもよく、この場合は、記憶している最大の絞り、すなわち、もっとも明るい絞りを第１絞りとする。
【０１１９】
＜変形例＞
上述した絞り・露光時間の移行処理の変形例を説明する
この変形例は、図１３を用いて説明した高速撮影方法の移行処理である。
図２１は、通常撮影から高速撮影へ切り替える方式を示す図であり、図１７の通常撮影から高速撮影への遷移時間を短くした場合を示す。本変形例では、ゲインを掛けることで、遷移時間を短縮している。
【０１２０】
本図は、図１７と同様に、トリガ、フレームレート、絞り値、蓄積電荷のタイムチャートと、他に、露光時間、信号レベル、増幅率のタイムチャートを示す。
通常速度のフレームレートＲ１での１フレームあたりの時間は約１６．７ｍｓである。一方、本発明のフィードフォワード方式では、絞りの応答速度は１０〜１５ｍｓである。
従って、第３段目の絞り値のタイムチャートで示すように、ｔ４〜ｔ６の間、すなわち、１フレーム分の時間の間に絞りを変更することができる。
【０１２１】
この場合、ｔ４〜ｔ６の１フレームの露光時間を、フレームレートＲ１の露光時間Ｓ１と、フレームレートＲ２の露光時間Ｓ２との中間の値Ｓｈとする。
このように露光時間を設定することで、ｔ４〜ｔ６の遷移時間Ｔ１の期間でフレームレートを切り替えることができるので、レスポンスが早くなるという効果がある。
この場合、第６段目の信号レベルのタイムチャートで示すように、ｔ４〜ｔ６の間の映像信号のレベルが落ちるが、第７段目の増幅率のタイムチャートに示すように、明度検出部５６により明度を検出し、ＡＧＣ５７によりゲインを調節することにより、明るさの増減を緩和することができる。このように、切り替え時の再生映像をよりシームレスにすることができる。
【０１２２】
尚、準備期間を設けない高速処理においても、高速処理を開始した直後に、露光時間はフレームレートに合わせて短くなるが、図１０のｔ４〜ｔ６で絞りを上げていく場合も、同様にフレームレートを切り替えることが可能である。
次に、図２２は、高速撮影から通常撮影へ切り替える方式を示す図である。
本図は、図１７と同様に、トリガ、フレームレート、絞り値、蓄積電荷のタイムチャートと、他に、露光時間のタイムチャートを示す。
【０１２３】
ｔ４で、高速撮影の終了指示であるトリガ２を受けると、ｔ４でフレームレートをＲ２からＲ１にフレームレートを落とす。
そして、ｔ４〜ｔ６の遷移時間に、絞りを小さくし露光時間を長くする。ｔ４〜ｔ６の遷移時間Ｔ２は２フレーム分であるとする。
通常撮影のフレームレートＲ１から高速撮影のフレームレートＲ２へ切り替える場合は、シャッターチャンスを逃さないようにレスポンスをよくし、図２１の遷移時間Ｔ１のように、短い時間で切り替える。
【０１２４】
しかし、高速撮影のフレームレートＲ２から通常撮影のフレームレートＲ１への切り替え時は、フレームレートを変えてから絞りや露光時間を補正することとしても良いため、遷移時間は数十フレーム等に長くなっても全く問題がない。むしろ長い方がよりシームレスになるという効果がある。
本発明ではＴ１＜Ｔ２にすることにより、シームレスさとレスポンスが両立するという効果がある。
＜実施形態２＞
本実施形態１では、通常撮影から高速撮影への移行方法について説明したが、本実施形態では、高速撮影で撮影した映像データの蓄積方法について説明する。
【０１２５】
＜高速撮影映像の記録方法＞
高速撮影時の撮影映像を全て記録しようとした場合には、現実的には、メモリや処理速度、記録速度に限界がある。
従って、撮影した映像を、一旦バッファメモリ９０に蓄え、その中から必要な映像のみ取り出し、ＩＣメモリ等の記録媒体９１に記録する方法がより現実的である（図３参照）。
【０１２６】
このような、必要な映像のみを取り出して記録する方法を、図２３と図２４とを用いて説明する。
図２３は、通常撮影から高速撮影に切り替えて、高速撮影の映像の一部を記録する方法を示す図である。
本図は、図１３と同様に、通常撮影から高速撮影を行い、再び通常撮影に戻る場合の、
トリガ、絞り、露光時間、増幅率、撮影モードのタイムチャートと、フレーム遷移表を示す。ここでは、図１３に示す撮影方法の高速撮影時に一部を記録する方法を説明するが、もちろん、図５等の他の撮影方法においても同様である。
【０１２７】
ｔ１において、高速度撮影開始のトリガである第１トリガ８８を受けると、ｔ１〜ｔ３の間のＴ１の期間中に、絞りを開けるとともに露光時間を短くしていく（第２段目の絞りのタイムチャート及び第３段目の露光時間のタイムチャート参照）。
露光時間が高速撮影用の長さになったｔ３の時点で高速度撮影に入る。
高速撮影中に、記録を指示するトリガである第３トリガを受けると、その第３トリガの前後の所定数ｎフレームを記録する。第３トリガは、第２トリガを受けるまでに複数回受けてもよく、その場合も、前後ｎフレームを記録するものとする。本実施形態では、１回のみとして説明する。
【０１２８】
ｔ６において、高速撮影終了のトリガである第２トリガ７９を受けると、高速撮影から通常撮影に戻る。そして、ｔ６〜ｔ８の間のＴ２の期間中に、絞りを閉めていくことに連動して露光時間を増やしてゆく（第２段目の絞りのタイムチャート及び第３段目の露光時間のタイムチャート参照）。
ｔ８において、絞りと露光時間は通常撮影時と同じ値になる。
【０１２９】
このように記録することにより、例えばゴルフのショットの瞬間に映像記録スイッチを押すとショットの前後の映像が高速度映像で記録されるため、撮り損ね、つまり失敗を防ぐことができる。このため、高速撮影になれていないユーザも簡単に高速度映像を撮影できるという効果がある。
次に、図２４を用いて、映像の記録方法を説明する。
【０１３０】
本図は、通常撮影から、第１トリガで高速撮影に移り、第３トリガで高速撮影映像を記録し、第２トリガで通常撮影に戻る場合の、高速撮影映像の記録方法を示している。他の撮影方法においても同様である。
第１段目は、撮影ボタン２の状態のタイムチャートであり、ボタンが全押しされている状態（図２参照）をＯＮとして記載している。
【０１３１】
第２段目は、サブトリガの入力を示すタイムチャートであり、第３段目は、メイントリガの入力を示すタイムチャートである。ここでのサブトリガは、例えば、高速撮影スイッチ１６が半押し状態となった場合とし、メイントリガは、高速撮影スイッチ１６が全押し状態となった場合をいうものとする（図２参照）。
第４段目は、撮影データのタイムチャートであり、この矩形１つが１フレームを示す。以下、フレームレートＲ１で撮影されたフレームを「通常フレーム」、フレームレートＲ２で撮影されたフレームを「高速フレーム」というものとする。
【０１３２】
また、第５段目と第６段目は、それぞれ、ｔ５とｔ６時点でのバッファメモリ９０に記録されている高速撮影映像データを示す。
第７段目〜第１０段目までは、それぞれ、ｔ５、ｔ７、ｔ８、ｔ９時点での記記録媒体９１に記録されている撮影映像データを示す。
第１１段目は、記録されている撮影映像データのフレームレート識別子のタイムチャートを示す。ここでは、「Ｒ１」はフレームレートＲ１を、「Ｒ２」はフレームレートＲ２を示し、フレーム毎に付される。このフレームレート識別子は、再生する際に、高速撮影映像データを通常撮影映像データに変換する場合などに使用される。
【０１３３】
まず、撮影ボタン２を全押しして、通常撮影を行っている状態で、ｔ２において高速度撮影を開始を示す第１トリガ８８が入力されると、フレームレートがＲ１からＲ２になり
、高速撮影がｔ２から始まる（撮影データのタイムチャート参照）。
ｔ２の時点から、バッファメモリ９０に高速撮影映像データの記録が開始される。但し、バッファメモリ９０には、Ｔｍａｘの期間分の映像データのみが記憶される。すなわち、新しい高速フレームが記録されると、古い高速フレームは通常フレームとして記録媒体９１に移され、バッファメモリ９０からは削除されることになる。
【０１３４】
本実施形態では、フレームレートＲ１は６０ｆｐｓであり、フレームレートＲ２は１８０ｆｐｓであるので、３つの高速フレームが１つの通常フレームに該当し、３つの高速フレームから１つの通常フレームを生成して記録媒体９１に記録する。
具体的には、ｔ５の時には、ｔ３〜ｔ５の映像データであるＴｍａｘの期間分だけのデータがバッファメモリ９０に蓄えられており、ｔ２〜ｔ３の高速フレームはフレーム合成部５８により合成され（ステップ１１７ａ参照）、通常フレーム１１５として記録媒体９１に記録される。
【０１３５】
つまり、３つの高速フレーム１１６ａ、１１６ｂ、１１６ｃが加算処理等により合成されて１つのフレーム１１５ａになり、記録媒体９１やメモリに記録される。または、中心の高速フレーム１１６ｂのみがフレーム１１５ａとして記録することとしてもよい。
ｔ５において、映像の記録を示す第３トリガ７８が入力されると、ｔ５の前後のｔ４〜ｔ５とｔ５〜ｔ６のフレームのみが高速フレームで記録される。
【０１３６】
ｔ６の時点では、ｔ３〜ｔ４の６つの高速フレームが２つの通常フレームに合成されて記録媒体９１に記録されており、ｔ４〜ｔ６の高速フレームは、そのままバッファメモリ９０に記録されている。
ｔ６の時点からは、高速フレームは通常フレームに合成されて記録され、ｔ７において、高速撮影の終了を示す第２トリガ７９が入力されると、フレームレートＲ２がＲ１に戻され、通常撮影を再開する（撮影データのタイムチャート参照）。以後、通常撮影映像データは通常フレームのまま、記録媒体９１に記録される。
【０１３７】
ｔ９において、バッファメモリ９０に記録されている映像記録第３トリガ７８の前後ｎフレーム分の高速フレームを記録媒体９１に記録する。
記録される時には、各フレーム毎にフレームレートを示すフレームレート識別子を付加する（フレームレート識別子のタイムチャート参照）。
通常フレームにはＲ１を示すフレームレート識別子５９ｂが、高速フレームにはＲ２を示すフレームレート識別子５９ａが記録される。本図では、Ｒ１を示すフレームレート識別子５９ｂを「Ｒ１」、Ｒ２を示すフレームレート識別子５９ａを「Ｒ２」と記載している。
【０１３８】
このように、高速撮影中の第３トリガ７８の前後のｎフレーム分の高速度撮影映像だけがバッファメモリ９０に蓄えられ記録されるため、バッファメモリの容量を最小にできるという効果がある。また、使用者が映像記録スイッチを押した時点の±ｎフレームの映像が高速撮影映像として記録されるため、シャッターチャンスを逃さない映像を記録できるという効果がある。
【０１３９】
図２４では、映像の記録を示す第３トリガ前後のＴｍａｘ期間の高速フレームを記録する例を説明したが、図２５を用いて、第３トリガ前のＴｍａｘ期間の高速フレームを記録する例を、図２６を用いて、第３トリガ後のＴｍａｘ期間の高速フレームを記録する例を説明する。
図２５は、図２４で説明した記録方法とほぼ同じである。異なる点は、第３トリガ７８の前の期間のＴｍａｘの期間の高速フレームを記録する点のみが異なる。
【０１４０】
この場合はｔ５で、第３トリガ７８を受けるが、この段階でｔ３〜ｔ５の間の高速フレーム１１６は、バッファメモリ９０に記録されている。
ｔ２〜ｔ３の高速フレームと、ｔ５以後の高速フレームは３つを合成し、通常フレームを記録媒体９１に記録する。
図２５の場合は、アクションが終了した時点で映像記録スイッチを使用者が押すことにより、アクションの高速度撮影画像が記録される。
【０１４１】
図２６は図２５とは逆である。つまり、第３トリガ７８がｔ５で入力されると、ｔ５の後のｔ５〜ｔ７の間の高速フレーム１１６ａ〜１１６ｌが高速フレームとして記録され、ｔ２〜ｔ５とｔ７以後のフレームは通常フレームとして記録される。
図２６の場合は、アクションが開始される前の時点で映像記録スイッチを使用者が押すことにより、アクションの高速度撮影画像が記録される。
【０１４２】
以上、図２４、２５、２６を用いて説明した録画方法は、間引き方式のみならず、直接走査方式や画素混合方式等の高速撮影にも有効である。
次に、図２４、２５、２６の録画処理を、図２７と図２８とを用いて説明する。
図２７は、撮影装置１の録画処理のフローチャートである。
まず、通常撮影時のフレームレートＲ１と高速撮影時のフレームレートＲ２、及び、高速撮影指示の第３トリガの前と前後と後の３カ所のうち、どの箇所を記録するかを示す録画モードを設定する（ステップＳ７００）。この設定は、図１のモードダイヤル５を用いて設定する。
【０１４３】
設定を検出した全体制御部１００は、最大高速録画可能時間 Ｔｍａｘを、フレームレ
ートＲ２とバッファメモリ９０に記録できるフレームの枚数から求め液晶モニタ１７に表示する（ステップＳ７１０）。
ユーザが通常撮影を始めるため撮影ボタン２を押下し、押下を検知した全体制御部１００は、フォーカス駆動部３２等に指示を出し、フレームレートＲ１で通常撮影を開始する（ステップＳ７２０）。
【０１４４】
通常撮影中に、ユーザは高速撮影スイッチ１６を半押して、高速撮影の開始を指示する（ステップＳ７３０：ＹＥＳ）。この押下を検知した全体制御部１００は、高速撮影を始める旨、高速撮影制御部４８に通知する。
高速撮影の開始指示を受けた高速撮影制御部４８は、絞り目標値算出部５５に絞り目標値の算出を依頼し、依頼を受けた絞り目標値算出部５５は、絞り目標値を算出して高速撮影制御部４８に返す。高速撮影制御部４８は、絞りを目標値に向けて絞り駆動部３５に指示を出し、絞りに応じた露光時間にすべくシャッター時間制御部４９に指示を出す（ステップＳ７４０）。
【０１４５】
絞りが目標値に達したら、フレームレートをＲ１からＲ２に切り替え（ステップＳ７５０）、録画処理を行う（ステップＳ７６０）。この録画処理は、図２８を用いて後述する。
その後、ユーザは高速撮影スイッチ１６を押してない状態に戻し、高速撮影の終了を指示する（ステップＳ７７０：ＹＥＳ）。この押下を検知した全体制御部１００は、高速撮影を終了する旨、高速撮影制御部４８に通知する。
【０１４６】
高速撮影の終了指示を受けた高速撮影制御部４８は、絞り目標値算出部５５に絞り目標値の算出を依頼し、依頼を受けた絞り目標値算出部５５は、絞り目標値を算出して高速撮影制御部４８に返す。高速撮影制御部４８は、フレームレートをＲ２からＲ１に戻し（ステップＳ７８０）、絞りと露光時間を通常撮影時に戻していく（ステップＳ７９０）。
その後、全体制御部１００は、映像信号処理部５４に指示を出し、バッファメモリ９０
に記録している高速撮影映像データを画像処理して、記録媒体９１に記録する（ステップＳ８００）。
【０１４７】
ユーザが、撮影ボタン２を押してない状態に戻し、通常撮影の終了を指示する（ステップＳ８１０：ＹＥＳ）。この押下を検知した全体制御部１００は、通常撮影を終了する処理を行う。
次に、図２８を用いて、高速撮影録画処理について説明する。
図２８は、高速撮影録画処理のフローチャートである。
【０１４８】
映像信号処理部５４は、フロントエンド部５０を介して撮像素子４０から、フレームレートＲ２で送られてくる映像データを処理し、バッファメモリ９０に記録する（ステップＳ９００）。
映像信号処理部５４は、最大高速録画可能時間Ｔｍａｘの期間の高速撮影映像データをバッファメモリ９０に蓄え、Ｔｍａｘより古いデータはフレームレートＲ２からフレームレートＲ１の映像データに変換して記録媒体９１に記録する（ステップＳ９１０）。この変換は、フレーム合成部５８で行う。
【０１４９】
ユーザが、高速撮影スイッチ１６を全押しして、録画を指示する（ステップＳ９２０）と、この押下を検知した全体制御部１００は、録画をするよう映像信号処理部５４に依頼する。この際、ユーザが事前に設定した記録モード、すなわち、録画指示時の前の映像データを記録するか、前後の時間の映像を記録するのか、後の映像を記録するのかを通知する。
【０１５０】
依頼を受けた映像信号処理部５４は、通知された録画モードに従い、Ｔｍａｘ分の高速撮影映像データを取得し、バッファメモリ９０に記録する（ステップＳ９７０）。取得したＴｍａｘ以外の映像データは、フレームレートＲ１に変換して記録媒体９１に記録する。
録画モードが、録画指示時の前の映像データを記録する場合は（ステップＳ９３０：（１））、録画指示時より前のＴｍａｘの映像データを取得し（ステップＳ９４０）、録画指示時の前後の映像データを記録する場合は（ステップＳ９３０：（２））、録画指示時より前後でＴｍａｘの映像データを取得し（ステップＳ９５０）、録画指示時の後の映像データを記録する場合は（ステップＳ９３０：（３））、録画指示時より後のＴｍａｘの映像データを取得する（ステップＳ９６０）。
【０１５１】
＜切り替え時のフレームの記録方法＞
通常撮影から高速撮影に切り替える際には、１フレームの画像が保証できない場合が生じ得、その場合の対処法について説明する。
その場合とは、間引き方式（図４参照）により、フレームレートを変える場合である。言い換えれば、走査方式を変える時、すなわち、全走査から間引き走査に変わる時と間引き走査から全走査に変わる時とに、１フレームの間、画像信号が乱れる場合がある。
【０１５２】
この場合の、保証できない１フレームの画像を生成する方法について、図２９を用いて説明する。
図２９は、フレームレート切り替え時のフレームの生成方法を示す図である。
本図は、図５と同様に、通常撮影から高速撮影を行い、再び通常撮影に戻る場合の、絞り、露光時間、撮影モードのタイムチャートと、フレーム遷移表を示し、下部に、フレームの合成処理の流れを示す。
【０１５３】
ｔ４〜ｔ５とｔ８〜ｔ９のそれぞれ１フレームが保証できないフレームである。本図では、それぞれバッファフレーム１１０とバッファフレーム１１１と記載している。
すなわち、通常撮影の通常フレームレートの最終フレーム１１２ａと、高速撮影の高速フレームレートの最初のフレーム１１２ｂとの間にバッファフレーム１１０を入れることにより、このバッファ時間中に、撮像素子４０の走査切り替えを行ったことにより出力される乱れた映像信号の影響を受けないという効果がある。
【０１５４】
後ろのバッファフレーム１１１の場合は、フレーム１１２ｇとフレーム１１２ｈの間にバッファフレーム１１１を入れる。
しかし、このバッファを入れることにより、ｔ４〜ｔ５やｔ８〜ｔ９の間の１フレーム分の映像情報がなくなりシームレスに撮影できないこととなる。
そこで、このブランクを解消するため、本発明ではステップ１０５ａで高速フレームレートのフレーム１１２ｂ、１１２ｃ、１１２ｄを合成し、合成フレーム１１３を作成する。
【０１５５】
次に、ステップ１０５ｂで、合成した合成フレーム１１３と通常フレームレートのフレーム１１２ａを合成し、１枚の合成フレームを作成する。
ステップ１０５ｃで、最終フレーム１１２ａとフレーム１１２ｂの間に、フレーム順序が現実的にもしくは仮想的に連続するようにＦｎを定義し、ステップ１０５ｄでメモリに記録する。
【０１５６】
バッファフレーム１１１の場合も同様に、ステップ１０５ｆ、１０５ｇ、１０５ｈを経てステップ１０５ｉでメモリに記録する。
ただし、これらの処理を撮影期間中に行うと、ＣＰＵや映像信号処理部５４の負荷が大きくなり過ぎるため、ステップ１０５ｊ、１０５ｋに示すように撮影終了後に処理、記録を行うことにより、負荷が大きくなることを防止でき、構成が簡単になるという効果がある。
【０１５７】
このようにバッファフレーム１１０、１１１を設け、バッファフレームが抜けた画像の前後のフレームから作成することにより、つながりがよくなるため、連続的に、またシームレスに撮影できるという効果がある。
図３０は図２９の絞り補正方式を図８を用いて説明したゲイン補正方式に変えた場合の実施例であり、動作は同じであるため説明を省略する。
【０１５８】
＜間引き方式時の再生方法＞
次に、記録した映像データを、再生する場合の方法について説明する。
図３１は、間引き方式で撮影した映像データを再生する場合の方法を示す図である。本図において、矩形は１フレームを表し、１フレーム中の横線は、走査したラインを示す。高速度モードでのフレームレートは１８０ｆｐｓ、通常速度モードでのフレームレートは６０ｆｐｓとする。
【０１５９】
第１段目は、間引き方式で実際に撮影した映像データであり、第２段目は、記録されている映像データである。第３段目は、スロー再生画像データを示す。
第４段目は、第２段目と同じ記録データを示し、第５段目は、通常再生画像データを示す。
ここでは、映像データのうち、間引き方式で撮影された間引き形式のフレームは、フレーム合成部５８で、他のフレームを参照して抜けているラインを補ってフルライン形式のフレームとし、記憶する（第２段目参照）。この方法の一例は、図３２を用いて後で説明する。このように記録しておくことで、汎用的な再生装置でも再生することが可能となる。
【０１６０】
この記録データをそのまま、通常のフレームレートで再生すると、高速度モードで撮影
した部分はスロー映像として再生される（第３段目参照）。
また、この記録データから、通常の再生を行うため、高速度モードで撮影した部分は、３フレームをフレーム合成部５８で合成して１フレームとし（第４段目参照）、通常のフレームレートで再生すると、通常スピードの映像として再生される（第５段目参照）。
【０１６１】
このように、高速度撮影期間において、第１段目のような間引き方式で撮影した映像データを、第４段目と第５段目のように、３フレームに１回のフレームを出力すると実質的に通常速度で再生でき、通常撮影期間と動き的には全く同じ動画が出力される。尚、走査速度を高速化する直接方式で撮影した映像は、本図の第２段目の記録データと同じであるので、同様に通常速度で再生が可能である。
【０１６２】
次に、図３２〜３６を用いて、間引き形式のフレームからフルライン形式のフレームを生成する方法について説明する。
図３２は、間引き補完処理の流れを示す図である。
フレーム１２０ａ、１２０ｂ、１２０ｃは、間引き走査をされ（ステップ１２１ａ）、間引き画像１２２ａ、１２２ｂ、１２２ｃとして出力される。
【０１６３】
これらの間引き画像は、図２の動き検出部１２６において動き補正され、間引き補間部１２３（ステップ１２１ｂ）の位置合わせ部１２４によりブロック単位で位置合わせが成される（ステップ１２１ｃ）。
これらの画素を、統合部１２８により統合し（ステップ１２１ｄ）、統合画像１２５を得て（ステップ１２１ｅ）、この画像を、リサンプリング部１２９によりリサンプリングを行う（ステップ１２１ｆ）。ここで、リサンプリングとは、位置合わせを少数画素精度で行った場合に、位置合わせ結果を最も近い整数画素位置に丸めることをいう。
【０１６４】
その後、間引き画像の位置合わせが、オクルージョンや変形、動きベクトルが大きすぎるなどの理由により正常に成されなかった場合は、復元部１３０により復元を行い、例えば１０８０Ｐのフルライン画像１３１ａを得る（ステップ１２１ｇ）。
ここで復元とは、いわゆる画面内補間をいい、図３６に示すように、差分検出部１２７により１〜７の各方向のライン上の画素の差分をとり、最も差分の少ない方向にある画素群を採用し、間引かれたラインの画素を補間生成する。例えば、最も差分の少ない方向にある選択された走査ライン上に位置する２画素から、内挿により間引かれた走査ラインの画素を生成する。
【０１６５】
同様に、フルライン画像１３１ａの前のフレーム１３１ｂは、間引き画像１２２ｄ、１２２ａ、１２２ｂの３枚の画像から、前の前のフレーム１３１ｃは間引き画像１２２ｅ、１２２ｄ、１２２ａから、間引き補間部１２１ｂにより補間することにより得る。
この間引き補完プロセスを、図３３を用いて説明する。
第１段目は、撮像素子４０が撮影する画像を示し、第２段目は、記録されている映像データを示す。本図の、記録されている映像データは、図３１と異なり、間引きされたままのフレームのデータである。
【０１６６】
第３段目は、フルライン画像データを示す。
まず、撮像素子４０が撮影する画像（第１段目参照）から間引きを行い、間引き画像１２１ａ、１２１ｂ、１２１ｃ、１２１ｄを得る（第２段目参照）。
ここでは、間引き画像を記録することとしているが、第３段目に示すように、補間したフルライン画像１３１ａ、１３１ｄ、１３１ｅ、１３１ｆを得て、このフルライン画像を記録することとしてもよい。
【０１６７】
撮影装置のデータ処理能力によって、間引き画像を記録するか、フルライン画像を記録
するかを変える必要が有るが、図３２に示すような、フルライン画像１３１の補間処理を行うには、大きなデータ処理能力と電力を必要とする。
従って、カメラの中におけるフルラインでのリアルタイム補間処理および動画像符号化処理は半導体技術の大幅な進展を待つ必要がある。
【０１６８】
この点に鑑み、本発明では現実的な方式を提案する。
図３３の第２段目の間引き画像１２１ａ等は、エイリアシング・ノイズによるモアレなどが生じるため、そのままでは画面表示に適さない。
そこで図３４に示すように、間引き画像１２１ａ、１２１ｂ、１２１ｃを合成部１３８の中の動き補正部１３４により動き補正をした上で、混合部１３３により垂直方向にラインを混合して１本のラインを生成する。
【０１６９】
垂直ラインが１／３になった合成画像１３５ａが得られる。
同様にして混合画像１３５ｂ、１３５ｃも得られる。これらの画像はエイリアシング・ノイズによるモアレなどが消えているため、カメラの表示画像に使える。ライン数は１／３になるが、デジカメの画面サイズは小さいため、さほど支障は来たさない。
また、フルラインの補間処理に比べると１／３の処理でよいため、デジカメでも処理可能である。更に、消費電力も１／３になるという効果があり、バッテリー容量を小さくすることができる。
【０１７０】
尚、デジカメの小さな画面ではライン数が１／３になっても一般の使用者には区別できない。
しかし、デジカメでは画面を拡大してピント等の写り具合を見るためズーミングするということが一般的に行われている。合成画像は１／３のライン数であるため、拡大すると粗くなる。
【０１７１】
そこで、図３５のように、ズームした時はある一定までは粗くなっていくが、ある一定以上になると、図３５の第２段目に示す間引き画像１３２ａ、１３２ｂ、１３２ｃの部分領域である、第３段目に示す部分領域１３６ａ、１３６ｂ、１３６ｃの領域を、間引き補間部１２３により補間された部分領域である部分補間領域１３７ａ、１３７ｂ等が得られる。
【０１７２】
この部分補完領域１３７ａ、１３７ｂ等の解像度は、この領域だけ見るとフルライン画像１３１と同じである。従ってズーム表示ではフルラインと同じ解像度の画像がデジカメの画面に表示されるため、拡大表示画面でピント等の確認ができる。この方式では部分領域の補間処理を行うため処理量は１／ｎ、例えば１／３になるため１／３の処理量のデバイスと１／３の消費電力が得られるため、現実的なデジカメが実現するという効果がある。
＜補足＞
以上、本発明の実施形態について説明したが、本発明は上記形態に限らず、以下のようにしてもよい。
（１）撮影装置は、図３の各構成要素の全部又は一部を、１チップ又は複数チップの集積回路で実現してもよい。例えば、図３の点線で囲まれた部分を１チップとするなどである。
（２）撮影装置は、図３の各構成要素の全部又は一部を、コンピュータのプログラムで実現してもよいし、その他どのような形態で実施してもよい。
【０１７３】
コンピュータプログラムの場合、メモリカード、ＣＤ−ＲＯＭなどいかなる記録媒体に書き込まれたものをコンピュータに読み込ませて実行させる形にしてもよいし、ネットワークを経由してプログラムをダウンロードして実行させる形にしてもよい。
【産業上の利用可能性】
【０１７４】
本発明に係る撮像装置は、撮影フレームレート切り替えにおいて、露光量を一定に保つ機構を有し、高速な動体を撮影する高速度カメラとして有用である。また、通常の動画撮影中に、移動量の大きい被写体を撮影するための高速撮影機能を有するビデオカメラ、デジタルカメラ等の用途にも応用できる。
【符号の説明】
【０１７５】
１ 撮影装置
２ 撮影ボタン
４ 高速撮影準備スイッチ
５ モードダイヤル
１６ 高速度撮影スイッチ
３３ ズーム駆動部
３５ 絞り駆動部
３６ 絞り
４０ 撮像素子
４２ 撮影モード設定部
４８ 高速撮影制御部
４９ シャッター時間制御部
５０ フロントエンド部
５１ 増幅器
５２ ＡＤ変換器
５３ 露出休止時間制御部
５４ 映像信号処理部
５５ 絞り目標値算出部
５６ 明度検出部
５７ ＡＧＣ
５８ フレーム合成部
６０ フレームレート制御部
７２ 間引き制御部
７３ 感度制御部
７４ ノイズフィルタ
７５ ノイズ付加部
７６ 露出制御部
８２ 演算部
９０ バッファメモリ
９１ 記録媒体
【技術分野】
【０００１】
本発明は、動画像を所定のフレームレートで撮影する撮影装置に関し、特に、撮影途中でフレームレートを変更して撮影する場合の撮影技術に関する。
【背景技術】
【０００２】
従来から、動画像を撮影する場合、撮影時のフレームレート（以下、「撮影フレームレート」という。）を変えて撮影することが行われている。
例えば、通常よりも高いレートでの撮影である高速度撮影を行い、再生時には通常のフレームレートで再生することで、スローモーション映像を作り出すことができる。
ここで、動画像を撮影している途中で撮影フレームレートを変えて撮影する撮影装置がある（特許文献１）。この装置は、通常のフレームレートでの撮影中に、装置外部から所定のトリガ信号が入力されると高フレームレートでの高速撮影を行うものであり、フレームレートに応じて撮像素子の信号電荷出力周期を変更して画像を記録する。
【０００３】
従って、この装置で撮影した映像を再生した場合には、通常のフレームレートでの撮影映像から高フレームレートでの撮影映像へと、すなわち、通常スピードの動画からスローモーションの動画へと繋ぎ目無く連続して再生される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−８７６３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、この撮影装置では、高フレームレートで撮影する場合は、通常のフレームレートで撮影する場合に比べて撮像素子の信号電荷出力周期が短いため露光時間が短くなり、露光量が小さく映像信号レベルが低下してしまう。
従って、再生した場合に、高フレームレートで撮影した映像は、通常のフレームレート
で撮影した映像に比べて暗くなってしまうという欠点が生ずる。
【０００６】
また、映像信号レベルの低下を、信号を増幅することで補おうとした場合には、同時にノイズも増幅され再生時の画質が低下してしまうという不都合が生じ得る。
そこで、本発明は、撮影中に撮影フレームレートを切り替えて撮影でき、再生した場合には、通常スピード映像とスローモーション映像とが切り替わったとしても明るさを保ったまま、且つ、スロー再生映像の画質が低下することのない再生映像が得られるように撮影することができる撮影装置の提供を目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明に係る撮影装置は、入射光の光電変換により電荷を蓄積する撮像素子から信号を読み出して、所定のフレームレートで、画像フレームを順次出力する撮像手段と、前記撮像手段で、画像フレームを順次出力しているときにフレームレートを変更するフレームレート変更手段と、前記入射光の量を定める絞りの度合いを変更する絞り調整手段と、前記入射光を光電変換した電荷を蓄積する時間である露光時間を変更する露光時間調整手段と、変更後のフレームレートで撮影した場合の画像フレーム毎の蓄積電荷の総量と、変更前のフレームレートで撮影した画像フレーム毎の蓄積電荷の総量とが同程度となるように、変更後の絞りの度合いを決定する決定手段と、前記フレームレート変更手段で、フレームレートを変更する前に、変更前の絞りの度合いから前記決定手段で決定した変更後の絞りの度合いになるまで、前記絞り調整手段に絞りの度合いを遷移させると共に、前記露光時間調整手段に、フレーム毎の蓄積電荷の総量が変更前の画像フレーム毎の蓄積電荷の総量と同程度となるように、絞りの度合いに応じて露光時間を遷移させる制御手段とを備えることを特徴とする。
【発明の効果】
【０００８】
上記構成の撮影装置は、実際にフレームレートを切り替える前に、露光量を保ったままで、変更後のフレームレートに対応した露光時間と絞りとに移行しておくので、フレームレートの切り替えの前後で１フレーム当たりの露光量を保つことが可能となる。
具体的には、本撮影装置は、フレームレートの切り替え前後の１フレーム当たりの露光量が同程度となるように、すなわち、撮影結果として得られる映像を再生した場合に、再生画像の明るさ（輝度）が、フレームレート切り替え前後で視覚的に変化していると認知されない範囲に収まるように、絞りと露光時間とを遷移させる。
【０００９】
従って、フレームレートを途中で変えて撮影した映像を再生したとしても、露光量の変動が少ないので、画面が暗くならずにスムーズな再生が可能となる。
また、前記撮影装置は、更に、画像フレームを順次出力しているときに、自装置外部からフレームレートの変更の指示を取得する指示取得手段備え、前記決定手段は、前記指示取得手段で指示を取得したときに、変更後の絞りの度合いを決定し、前記制御手段は、前記指示取得手段で指示を取得したときから、フレームレートを変更する前に、前記絞り調整手段と前記露光時間調整手段に絞りの度合いと露光時間とを遷移させることとしてもよい。
【００１０】
これにより、ユーザからの準備の指示を取得してから絞りと露光時間とを遷移させ、フレームレートを実際変更する前に絞りと露光時間とが遷移しているので、 フレームレートの切り替えを速やかに行うことが可能となる。
すなわち、ユーザからフレームレートの変更指示があってから絞りと露光時間とを調整してからフレームレートを切り替える場合と比べて、ユーザからの指示後速やかにフレームレートの切り替えが成されるので、シャッターチャンスを逃すことがなくなるという利点がある。
【００１１】
また、前記決定手段は、更に、変更後のフレームレートに基づいて露光時間を決定し、変更後の露光時間が変更前の露光時間の１／ａ倍となるように決定した場合には、絞りの開口面積が変更前の概ねａ倍となるように絞りの度合いを決定し、前記制御手段は、前記露光時間調整手段に、露光時間を前記決定手段で決定した露光時間になるまで遷移させることとしてもよい。
【００１２】
これにより、変更後のフレームレートに基づいた露光時間、すなわち、変更後のフレームレートでフレーム毎に取り得る時間内で露光時間が決定され、それに応じた絞りの度合いが決定されるので、切り替えの前後での１フレーム当たりの露光量を保つことが可能となる。
また、前記制御手段は、更に、前記フレームレート変更手段で、変更後のフレームレートから変更前のフレームレートと同じフレームレートに再度変更する場合は、当該変更後に、前記変更後の絞りの度合いから前記変更前の絞りの度合いになるまで、前記絞り調整手段に絞りの度合いを遷移させると共に、前記露光時間調整手段に、フレーム毎の蓄積電荷の総量が変更前の画像フレーム毎の蓄積電荷の総量と同程度となるように、絞りの度合いに応じて露光時間を遷移させることとしてもよい。
【００１３】
これにより、フレームレートを変更前のフレームレートに戻したときに、露光量を保ったままで、変更前のフレームレートに対応した露光時間と絞りとに遷移するので、フレームレートの切り替えの前後で１フレーム当たりの露光量を保つことが可能となり、画面が急に明るくならずにスムーズな再生が可能となる。
また、前記変更後のフレームレートは、変更前のフレームレートより高いレートであり、前記撮影装置は、更に、記録の指示を取得する記録指示取得手段と、
変更後のフレームレートで出力された画像フレームから、変更前のフレームレートで出力された画像フレームに変換する変換手段と、前記撮像手段で出力される画像フレームを記憶する記憶手段であって、前記フレームレート変更手段で、フレームレートを変更した後に、前記記録指示取得手段で指示を取得した場合は、当該指示の前後所定数分の画像フレームを記憶し、前記指示の前後の所定数分以外の画像フレームは、前記変換手段で変換して記憶する記憶手段とを備えることとしてもよい。
【００１４】
これにより、指定した時の前後の所定数のフレームのみが、変更後の高フレームレートで記録されるので、映像全体の記憶容量を抑えることができ、且つ、所望部分は高フレームレートで記録することが可能となる。
また、本発明に係る撮影装置は、入射光の光電変換により電荷を蓄積する撮像素子から信号を読み出して、所定のフレームレートで、画像フレームを順次出力する撮像手段と、前記撮像手段で、画像フレームを順次出力しているときにフレームレートを変更するフレームレート変更手段と、前記入射光の量を定める絞りの度合いを変更する絞り調整手段と、前記入射光を光電変換した電荷を蓄積する時間である露光時間を変更する露光時間調整手段と、露光時間を変更後のフレームレートで撮影した場合の１画像フレーム当たりの蓄積電荷の総量と、変更前のフレームレートで撮影した画像フレーム毎の蓄積電荷の総量とが同程度となるように、変更後の絞りの度合いを決定する決定手段と、前記フレームレート変更手段で、フレームレートを変更したときから、変更前の絞りの度合いから前記決定手段で決定した変更後の絞りの度合いになるまで、前記絞り調整手段に絞りの度合いを遷移させる制御手段とを備えることとしてもよい。
【００１５】
これにより、フレームレートを変更した後に、変更後のフレームレートに応じて決定した絞りの度合いと露光時間とに移行するので、速やかな変更が可能となる。すなわち、従来の自動露出による移行ではなく、フレームレート変更後の絞りを決定し、その決定した絞りに変更するからであり、決定した絞り絞りを変更する時間のみが、移行に必要な時間となるからである。
【図面の簡単な説明】
【００１６】
【図１】本発明の撮影装置１の外観を示す図である。
【図２】高速撮影に関係するボタン及びスイッチを示す図である。
【図３】撮影装置１の構成を示す機能ブロック図である。
【図４】ｎ画素混合方式と間引き方式を示す図である。
【図５】準備期間を設けた高速撮影方法を示す図である。
【図６】フレームレートを切り替える場合に、準備期間の無い場合と準備期間の有る場合の蓄積電荷を示す図である。
【図７】露光時間を変更する必要が無い場合と、変更の必要が有る場合とを示す図である。
【図８】絞りで調整ができない場合の高速撮影方法を示す図である。
【図９】ノイズを付加する場合の高速撮影方法を示す図である。
【図１０】準備期間無しの高速撮影方法を示す図である。
【図１１】絞りと増幅率の調整を示す図である。
【図１２】通常撮影から高速撮影には直に切り替わるが、高速撮影から通常撮影に戻るときは徐々に戻す方法を示す図である。
【図１３】通常撮影から高速撮影への切り替えに時間を要してもよい場合の方法を示す図である。
【図１４】通常撮影及び高速撮影の処理を表すフローチャートである。
【図１５】高速撮影準備有りモードでの高速撮影の処理を表すフローチャートである。
【図１６】高速撮影準備無しモードでの高速撮影の処理を表すフローチャートである。
【図１７】準備期間有りモードにおける、通常撮影から高速撮影への切り替え時の絞り・露光時間のタイムチャートを示す図である。
【図１８】絞り・露光時間の移行処理のフローチャートである。
【図１９】図１９（ａ）は、光量の変化を示すタイムチャートであり、図１９（ｂ）は、フレームレートと絞りの増分との対応表１０１である。
【図２０】絞り目標値を求める処理のフローチャートである。
【図２１】準備期間無しモードにおける、通常撮影から高速撮影への切り替え時の絞り・露光時間のタイムチャートを示す図である。
【図２２】高速撮影から通常撮影への切り替え時の絞り・露光時間のタイムチャートを示す図である。
【図２３】通常撮影から高速撮影に切り替えて、高速撮影の映像の一部を記録する方法を示す図である。
【図２４】映像の記録方法を示す図である。
【図２５】第３トリガ前のＴｍａｘ期間の高速フレームを記録する方法を示す図である。
【図２６】第３トリガ後のＴｍａｘ期間の高速フレームを記録する例を説明する図である。
【図２７】撮影装置１の録画処理のフローチャートである。
【図２８】高速撮影録画処理のフローチャートである。
【図２９】フレームレート切り替え時のフレームの生成方法を示す図である。
【図３０】絞り補正方式をゲイン補正方式に変えた場合を示す図である。
【図３１】間引き方式で撮影した映像データを再生する場合の方法を示す図である。
【図３２】間引き補完処理の流れを示す図である。
【図３３】間引き補完プロセスを示す図である。
【図３４】間引き補完プロセスを示す図である。
【図３５】ズーム時の間引き補完プロセスを示す図である。
【図３６】間引き画像の位置合わせを示す図である。
【発明を実施するための形態】
【００１７】
＜実施形態１＞
＜概要＞
本発明に係る撮影装置は、撮影フレームレートの変更前の1フレームあたりの露光量と
、変更後の１フレームあたりの露光量とを概ね同じとすることで、記録する映像信号の信号レベルの変動を防ごうとするものである。
【００１８】
撮影フレームレートを切り替えたときに露光量を変えないためには、露光時間を変えなければ良いが、撮影フレームレートによって１フレームに割り当てることができる最大の露光時間が決められてしまうので、必要な露光時間を確保できない場合がある。
この場合、撮影フレームレートの切り替え時に、増幅率を上げるゲイン調整や、絞りを開く絞りの調整で対処することが考えられるが、ゲイン調整の場合はノイズの急上昇が予想され、再生画面の画質を低下させる可能性があり、また、絞りを調整する場合は、絞りは機械的に行われることから時間を要し、シャッターチャンスを逃してしまう可能性がある。
【００１９】
そこで、本発明では、撮影フレームレートの切り替えを行う前に、準備期間を設けることで、通常フレームレートでの撮影（以下、「通常撮影」という。）から高フレームレートでの撮影（以下、「高速撮影」という。）への移行を速やかに行い、且つ、再生映像の明るさが大きく変化すること、及び、画質が低下することが無いようにするものである。尚、本撮影装置では、準備期間を設けることができない場合、例えば、すぐに高速撮影する場合にも、準備期間を設けた場合とほぼ同様な再生ができるような対処を行っている。
【００２０】
以下、本発明の実施形態における撮影装置について、図面を用いて説明する。
フレームレートの切り替えがあっても、再生時には、切り替え前後の映像が滑らかに移り変わるような映像のことを、以下、シームレスな映像ともいうものとする。また、断りが無ければ、通常撮影のフレームレートは６０ｆｐｓ（frame per second）、高速撮影のフレームレートは１８０ｆｐｓとする。
【００２１】
＜撮影装置の外観及び操作手順＞
まず、本発明に係る撮影装置の外観と、高速撮影する場合の操作手順を説明する。
図１は、本発明の撮影装置１の外観を示す図である。
図１の上段の図は、撮影装置１の斜視図であり、図１の下段の図は、撮影装置１の背面図である。
【００２２】
撮影装置１には、撮影ボタン２、電源スイッチ３、高速撮影モードスイッチ４、モードダイヤル５、レンズ６、ピント露出固定ボタン７、機能ボタン８、機能ボタン上９、機能ボタン右１１、機能ボタン下１３、機能ボタン左１２、決定ボタン１０、表示ボタン１４、キャンセルボタン１５と高速撮影スイッチ１６及び液晶モニタ１７が備わっている。
高速撮影に関係する撮影ボタン２、高速撮影モードスイッチ４、高速撮影スイッチ１６の機能を、図２を用いて以下に説明する。
【００２３】
図２は、高速撮影に関係するボタン及びスイッチを示す図である。
第１段目は、撮影ボタン２、高速撮影モードスイッチ４、高速撮影スイッチ１６を上から見た図であり、第２段目から第４段目は、それぞれ、撮影ボタン２及び高速撮影スイッチ１６が、押されていない状態、半押しの状態、全押しの状態を示す図である。尚、ここでは、撮影ボタン２と高速撮影スイッチ１６それぞれの状態を示しており、撮影ボタン２と高速撮影スイッチ１６は連動して半押し状態等になるのではない。
【００２４】
また、左列は、高速撮影モードスイッチ４が「ＯＦＦ」の状態を示し、右列は、「ＯＮ」の状態を示す図である。高速撮影モードスイッチ４の突起４ａが、高速撮影スイッチ１６側になっている状態が「ＯＮ」の状態である。
撮影ボタン２は、通常撮影を行う場合に使用するボタンであり、全押し状態で撮影装置１は撮影を開始し、押してない状態に戻したときに撮影を終了する。
【００２５】
高速撮影モードスイッチ４は、準備期間を設けた高速撮影を行うことを設定するスイッチである。
また、高速撮影スイッチ１６は、実際に高速撮影を開始するスイッチであり、通常撮影中に、全押し状態で高速撮影を開始し、押していない状態に戻したときに高速撮影を終了し通常撮影に戻る。
【００２６】
ここで、高速撮影モードスイッチ４が「ＯＮ」又は「ＯＦＦ」の状態での、撮影ボタン２及び高速撮影スイッチ１６が押下された場合に、撮影装置１ではどのような撮影を行うのかを、簡単に説明する。
高速撮影モードスイッチ４が「ＯＮ」の場合は、準備期間有りで高速撮影を行う場合であり、押下されていない状態の撮影ボタン２ａから、全押し状態の撮影ボタン２ｃになった時から通常撮影を開始する。この状態で、押下されていない状態の高速撮影スイッチ１６ｂから、半押し状態の高速撮影スイッチ１６ｃになった時に高速撮影の準備を開始し、全押し状態の高速撮影スイッチ１６ｄで高速撮影を開始する。
【００２７】
また、高速撮影モードスイッチ４が「ＯＦＦ」の場合は、準備期間無しの高速撮影を行う場合であり、押下されていない状態の撮影ボタン２ｄから、完全押し状態の撮影ボタン２ｆになった時に通常撮影を開始する。この状態で、押下されていない状態の高速撮影スイッチ１６ｅから、全押し状態の高速撮影スイッチ１６ｇになった時から高速撮影を開始する。
【００２８】
以下、本発明の実施形態における撮影装置について、図面を用いて説明する。
＜構成＞
図３は、撮影装置１の構成を示す機能ブロック図である。
まず、一般的な撮影を、機能ブロックを用いて簡単に説明する。
入射光３０は、撮影レンズ・メカ機能６において、フォーカス駆動部３２により駆動される主レンズ３１から入射し、ズーム駆動部３３により駆動されるズームレンズ３４により拡大、縮小され、絞り駆動部３５により駆動される絞り３６により明るさを調整される。
【００２９】
絞り３６により明るさを調整された入射光３０は、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）もしくはＣＣＤ（Charge-Coupled Devices）等の撮像素子４０に結
像する。
撮像素子４０で光電変換された映像出力が、フロンドエンド部５０に入力され増幅器５１により増幅された後、ＡＤ変換器５２によりデジタル信号に変換され、映像信号処理部５４においてバッファメモリ９０を使用して信号処理される。
【００３０】
映像信号処理部５４で処理された映像信号は、圧縮回路で圧縮処理され、記録再生部の記録部を介して、記録媒体９１に記録される。
フロントエンド部５０は、更に、明度検出部５６、ＡＧＣ（Automatic Gain Central）５７、ノイズフィルタ７４、ノイズを付加する機能を有するノイズ付加部７５を有する。
撮影装置１は、更に、高速撮影時の制御を行う高速撮影制御部４８、フレームレートの変更を制御するフレームレート制御部６０、シャッター時間すなわち露光時間を制御する
シャッター時間制御部４９、自動露出を行う露出制御部７６を備える。シャッター時間制御部４９は、露出休止時間制御部５３を有する。実際の露光時間は、露出時間の休止時間を制御して調整され、露出休止時間制御部５３がその調整を行う。
【００３１】
また、撮影装置１は、絞り目標値算出部５５を備える。この絞り目標値算出部５５は、フレームレート切り替え時に、絞りをどのように調整するかを算出する機能を有する。絞り目標値算出部５５は、通常撮影時のフレームレート、露光時間、絞り度をそれぞれ記憶する第１フレームレート、第１露光時間、第１絞りと、高速撮影時のフレームレートを記憶する第２フレームレート８１と、これら記憶されている情報からフレーム切り替え後の絞りである第２絞りを算出する演算部８２を備える。また、絞り目標値５５と露光時間目標値８７を記憶する。絞り目標値算出部５５の詳細は、＜絞り・露光時間の移行処理＞の項で説明する。
【００３２】
更に、撮影装置１は、撮像素子４０の感度を設定する感度制御部７３は、ＣＰＵを有して装置全体の制御を行う機能を有する全体制御部１００を備える。この全体制御部１００は、例えば、撮影ボタン２や高速撮影スイッチ１６の押下状態、具体的には、半押し状態１６ｃ又は全押し状態１６ｄ、モード設定部４２で設定されているモード、具体的には、高速撮影モード４３又は通常撮影モード４４の各状態を参照して高速撮影等を制御する。
【００３３】
本撮影装置１は、大きく分けて２つの特徴を有する。1つは撮影方法であり、もう1つは記録方法である。撮影方法については、本実施形態１で説明する。
記録方法については、実施形態２で説明するものとし、映像信号処理部５４については、実施形態２で説明する。
＜フレームレートを上げる方法＞
ここで、フレームレートを上げた場合の、撮像素子の走査方法について簡単に説明する。
【００３４】
フレームレートを上げる場合の走査方式として、高速走査方式以外に、ｎ画素混合方式と間引き方式がある。
このｎ画素混合方式と間引き方式とについて、図４を用いて説明する。
図４は、ｎ画素混合方式と間引き方式を示す図である。
左図は、ｎ画素混合方式の例、真ん中の図は、通常撮影時の全ライン走査の例、右図は、間引き方式の例を示す。ここでは、ｎ画素混合方式の例として４画素混合方式８３を、間引き方式の例として１／５の間引き方式８４を示している。
【００３５】
右図の１／５の間引き方式８４では、フレームレートは通常撮影の５倍の３００ｆｐｓになり、左図の４画素混合方式８３は４倍の２４０ｆｐｓとなる。従って、４画素混合方式８３と１／５の間引き方式８４とを採用すれば、１つの撮影装置で２４０ｆｐｓと３００ｆｐｓの２つのフレームレートでの高速撮影が可能となる。
左図に示すように、ｎ画素混合方式の場合はｎ画素を混合（加算）するため、露光時間が１／４になっても明るさは変わらない。従って、再生画面が暗くなるという問題は生じ得ない。即ち、露光時間の調整や絞りの開放等の処理は必要ない。
【００３６】
一方、右図に示すように、間引き方式の場合は、低いフレームレートから高いフレームレートに変更した場合は、画素の数が減り画面が暗くなることから、露光時間の調整や絞りの開放が必要となる。
本撮影装置１では、２４０ｆｐｓと３００ｆｐｓの２つのフレームレートでの高速撮影を可能とし、フレームレートに応じて、フレームレート変換時の露光時間や絞りを変える処理を行ったり、行わなわなかったりする。
【００３７】
以下、間引き方式の場合についてのみ説明する。
＜撮影装置１の撮影方法＞
図５〜図１３を用いて本発明の撮影方法を説明する。まず、準備期間を設ける場合と、設けない場合の２つに分けて説明する。
＜準備期間を設ける場合＞
まず、準備期間を設ける場合の高速撮影について、図５〜図９を用いて説明する。
【００３８】
図５は、準備期間を設けた高速撮影方法を示す図である。
本図は、通常撮影から高速撮影を行い、再び通常撮影に戻る場合の、トリガ、絞り、露光時間、増幅率等のタイムチャートを示す。
具体的には、第１段目は、動作の契機を示すトリガのタイムチャートであり、縦軸の「１」は高速撮影スイッチ１６の半押し状態を示し、「２」は全押し状態を示す。また、第２段目は、絞りのタイムチャートであり、縦軸は絞りの開き具合を示す。第３段目は、露光時間のタイムチャートであり、縦軸はフレーム毎の露光時間の長さを示す。更に、第４段目は、増幅率のタイムチャートであり、縦軸は増幅率の高さを示す。
【００３９】
次に、第５段目は、撮影モードのタイムチャートであり、フレーム遷移表２００は、通常速度撮影から高速度撮影に移行する前後に撮影するフレームのタイムチャートを示す。フレーム遷移表２００の上部の「ｔ３」等は、トリガ等のタイムチャートの「ｔ３」等を示すものとする。
まず、一連の動作を、トリガのタイムチャートと撮影モードのタイムチャートとを参照しながら、各撮影モードにおける絞り、露光時間、増幅率の変化を説明する。
【００４０】
撮影ボタン２を押すと通常速度で撮影を開始する。ｔ＝ｔ０時に示すように、通常の絞り、露光時間で通常速度４５で撮影する。このとき、高速撮影モードスイッチ４は「ＯＮ」の状態としておくものとする。
通常撮影を行っている途中で、高速撮影スイッチ１６が押下され、半押し状態（１６ｃ：第１トリガ）になると、通常モード４６から高速度撮影準備モード４７に移行する。
【００４１】
この高速度撮影準備モード４７の間に、1フレームあたりの露光量を変えないように、
絞りを開け、同時に、露光時間を短くしていく。本図では、ｔ１〜ｔ２の間に、絞りを開けると共に露光時間を短くし、ｔ２の時点での露光時間が、高速撮影に移行した場合の１フレームあたりの時間となったら、その状態を保ちつつ通常撮影を行う。絞りと露光時間をどのように制御するかは、後で＜絞り・露光時間の移行処理＞の項で説明する。
【００４２】
その後、高速撮影スイッチ１６が全押し状態（第２トリガ）になると、高速度撮影準備モード４７から高速撮影モード７０に移行し、ｔ４の時点から実際に高速度撮影が行われる。このフレームレートが切り替わる時（以下、「変換点」という。）ｔ４の前後のｔ３からｔ５間のフレームレートの切り替わりをフレーム遷移表２００に示している。変換点ｔ４の後は、１８０ｆｐｓで撮影され、時間が１フレームあたり１／１８０秒ずつ増加していることを表している。
【００４３】
高速撮影を終了するため、高速度撮影スイッチ１６を押されていない状態（１６ｂ：第３トリガ）に戻すと、高速撮影モード７０から通常速度撮影準備モード４７ａに移行し、その後、通常モード４６ａに移行する。通常速度撮影準備モード４７ａに移行した時点であるｔ７の時点から、通常速度撮影は再開されている。この変換点ｔ７の前後のｔ６からｔ８間のフレームレートの切り替わりをフレーム遷移表２００に示している。
【００４４】
この通常速度撮影準備モード４７ａでは、高速度撮影準備モード４７で行った動作と逆の動作、すなわち、絞りを閉めつつ、露光時間を長くしていき、通常モード４６の絞りと
露光時間とする。
本図では、増幅率のタイムチャートにおいて、高速撮影を行っている期間ｔ４〜ｔ７で増幅率を上げている。これは、通常撮影モードに比べて高速度撮影モードの方が実質的な露光時間が少なくなるからである（露光時間のタイムチャートのｔ４〜ｔ７参照。）。本実施形態では、垂直ブランキング期間を考慮に入れずに高速度撮影準備モード４７で露光時間を決定しているからであり、垂直ブランキング期間を考慮に入れた場合、あるいは、垂直ブランキング期間が垂直同期周期に対して無視できるレベルである場合は、増幅率を上げる必要はない。
【００４５】
本実施形態では、露光時間のｔ４〜ｔ７にかけての露光時間の減少への対処として、増幅器のゲインをｔ４のタイミングで上げ、変換点ｔ４及びｔ７における映像信号の明るさレベルの変化をより小さくしている。この減少分を絞りで対応させることは、追従速度の面から困難であるからである。
次に、図６を用いて、露光時間と蓄積電荷と絞りの調整を説明する。
【００４６】
図６は、フレームレートを切り替える場合に、準備期間の無い場合と準備期間の有る場合の蓄積電荷を示す図である。第２段目〜第４段目は準備期間の無い場合を、第６段目〜第８段目は準備期間の有る場合を示す。
第１段目は、トリガのタイムチャートであり、第２段目と最下段である第８段目は、絞りのタイムチャートである。これらは、図５のものと同様である。
【００４７】
第３段目は、露光時間のタイムチャートであるが、図５のものとは異なり、露光時間の長さを横軸で表している。
次に、第５段目は、蓄積電荷を読み出す走査ラインを示している。高速撮影の場合は、いわゆる間引き方式を行っている。
第４段目と第６段目とは、蓄積電荷のタイムチャートであり、縦軸が蓄積されている電荷量を示し、本図では、一定の入射光量の条件での電荷量の変化を示している。横軸の両端矢印Ｓ１〜Ｓ９は蓄積している時間、すなわち、露光時間を示している。
【００４８】
第６段目は、シャッターのタイムチャートであり、縦矢印８０ａ、８０ｂ、８０ｃ、８０ｄ等はシャッター時間を表しており、矢印が長いほどシャッター時間が長いことを示している。実際には、シャッター時間とは、電荷の蓄積時間、即ち露光時間を意味し、本図では、Ｓ１〜Ｓ９の両端矢印と対応している。
尚、本図での時間ｔ０等は、図５のｔ０等と合わせているが、説明の便宜上ｔ２〜ｔ４は省略している。
【００４９】
まず、準備期間が無く、フレームレートを変えた場合を説明する。
第２、３、４段目のタイムチャートを見ると、絞りを変えない場合は、露光時間はフレームレートの１フレームあたりの時間となり、蓄積電荷はフレームレートが上がれば、その分蓄積電荷は少なくなる。すなわち、再生画面が暗くなる。
第５段目に示すような、間引き走査方式の場合は、例えば２つの走査線を間引いて３倍に高速化した場合、実質的な光量が約１／３になる。
【００５０】
詳細には、通常撮影時の１フレーム当たりの露光時間が、高速撮影時の１フレーム当たりの露光時間より長い場合は（第３段目の露光時間のタイムチャート参照）、蓄積電荷は変換点において急激に、かつ大幅に減少する（第４段目の蓄積電荷のタイムチャート参照）。
このように、通常撮影時と高速撮影時の明るさが異なるため、再生した時に明るさが変換点の前後で極端に暗くなり、仮にゲインを加えて明るさを合わせてもノイズが増えるため変換点で視聴者に違和感を与えることになる。すなわち、フレームレートの切り替え点
において実質的な明るさが急激に暗くなるため、明るさの面で再生画像がシームレスに再生されないという課題が生ずる。
【００５１】
次に、準備期間を設けて、フレームレートを変えた場合を説明する。
第６段目の蓄積電荷のタイムチャートのように、第１トリガが入力されたｔ１から、露光時間をＳ１、Ｓ２、Ｓ３と徐々に短くして、第２トリガが入力されたｔ４でフレームレートを切り替える時には、変更後のフレームレートで確保できる最大の露光時間Ｓｍａｘとなるようにする。
【００５２】
それと同時に、第８段目の絞りのタイムチャートで示すように、蓄積電荷の値が一定に保たれるように、ｔ１〜ｔ２（ｔ４）の間に絞りを徐々に開けていく。
このように露光時間と絞りを制御して露光時間を事前に短くしておくことで、トリガ２が入力されたときに直にフレームレートを切り替えたとしても、１フレームあたりの蓄積電荷が少なくなることはなく、再生画面が暗くなることもない。
【００５３】
図６では、準備期間中に、露光時間を徐々に短くしていく場合を説明したが、準備期間に露光時間を変更しなくても良い場合がある。
このような場合を、図７を用いて説明する。
第１段目〜第８段目までのタイムチャートは、図６と同様である。
本図では、露光時間を変更する必要が無い場合と、変更の必要が有る場合とを説明する。第２段目〜第４段目は露光時間を変更する必要が無い場合を、第６段目〜第８段目は露光時間を変更する必要が有る場合を示す。
【００５４】
第６段目〜第８段目は露光時間を変更する必要が有る場合は、図６の準備期間の有る場合と同じであるので、ここでは、第２段目〜第４段目の露光時間を変更する必要が無い場合のみ説明する。
露光時間を変更する必要が無い場合とは、言い換えれば、露光時間が既に変更後のフレームレートの１フレームあたりの最大露光時間と等しいか短い場合である。この様な状況は、例えば入射光が非常に強く絞りだけでは露出オーバーとなってしまう場合に生じる。
【００５５】
第３段目の露光時間のタイムチャートで示されるように、フレームレート切り替え前の露光時間６１ａ、６１ｂ、６１ｃは、切り替え後の露光時間の最大値Ｓｍａｘ８９より小さいか、略等しい。この場合は、フレームレート変更後も露光時間を短縮しなくても実質的な明るさを確保できるため、露光時間を変える必要も、第２段目の絞りのタイムチャートで示されるように、絞りを変える必要も無い。
【００５６】
従って、この場合は、準備期間が無くても、高速撮影に入ることが可能となる。
本撮影装置は、このように、入射光量が多い時はフレームレート変更時に露光時間や絞りを調整せず、入射光量が少ない時はフレーム変更時に露光時間や絞りを大きく変化させることで、１フレームあたりの露光量をほぼ一定としている。
＜絞りで調整できない場合＞
ここでは、露光時間が短くなる場合に、絞りを開けることで露光量を確保しようとしたが、絞りが全開となって露光量を確保できない場合の対処方法について説明する。
【００５７】
図８は、絞りで調整ができない場合の高速撮影方法を示す図である。
本図は、図５と同様に、通常撮影から高速撮影を行い、再び通常撮影に戻る場合の、絞り、露光時間、増幅率、ノイズフィルタ、撮影モードのタイムチャートと、フレーム遷移表を示す。尚、トリガのタイムチャートは省略しているが、図５と同様のタイミングでトリガが発生するものとする。
【００５８】
絞りによっては露光量が確保できない場合、増幅器によるゲイン調整のみで露光量を確保しようとすると、変換点において、ノイズが急上昇するという欠点が想定される。
第１段目の絞りのタイムチャートに示すように、絞りを変更しない場合は、ｔ４〜ｔ７の期間に高速化により実質的な露光時間が短くなり、露光量が減少する（第２段目の露光時間のタイムチャート参照）。
【００５９】
露光量の不足分を補うため、増幅率を、ｔ４〜ｔ７の期間上げることにより映像信号の明るさを変化しない方向に制御する（第３段目の増幅率のタイムチャート参照）。
この場合、ｔ４〜ｔ７の期間中のノイズが増えるため、ノイズフィルタ７４をＡＤ変換器５２の前に入れて、動作させる（第４段目のノイズフィルタのタイムチャートの「ＯＮ」参照）。または、ノイズフィルタの減衰率を大きくすることにより、ノイズの発生を目立たなくさせる。これにより、よりシームレスな映像を撮影できることとなる。
【００６０】
さらに、変換点におけるノイズの増加を目立たなくさせるもう１つの方法として、意図的にノイズを加える方式がある。
ノイズを付加する方法を、図９を用いて説明する。
図９は、ノイズを付加する場合の高速撮影方法を示す図である。
本図は、図５と同様に、通常撮影から高速撮影を行い、再び通常撮影に戻る場合の、絞り、露光時間、増幅率、ノイズフィルタ、付加ノイズ、ノイズ、撮影モードのタイムチャートと、フレーム遷移表を示す。尚、トリガのタイムチャートは省略しているが、図５と同様のタイミングでトリガが発生するものとする。
【００６１】
付加ノイズのタイムチャートは、付加するノイズを表し、ノイズのタイムチャートは、実際に生ずるノイズ、すなわち、付加されたノイズと増幅によるノイズの双方合わせたものを表す。
高速度撮影の準備期間（ｔ１〜ｔ４）に、ノイズ７７を発生させ（第５段目の付加ノイズのタイムチャート参照）、徐々にノイズレベルを上げていき、高速撮影時に発生するノイズレベルＮＬ１まで上げていく。
【００６２】
この手法によりｔ４とｔ７におけるノイズの急激な増加を緩和することができるため、通常速度撮影モードと高速度撮影モードの変換点の映像がよりシームレスになるという効果がある。
＜準備期間を設けない場合＞
次に、準備期間を設けないで高速撮影に入る場合や、準備期間を設けるモードになっているが準備期間が殆ど設けられない場合について、図１０と図１１とを用いて説明する。
【００６３】
具体的には、高速撮影モードスイッチ４が「ＯＦＦ」の場合に、高速撮影スイッチ１６を完全押し状態にした場合と、高速撮影モードスイッチ４が「ＯＮ」の場合に、高速撮影スイッチ１６を半押し状態が殆ど無しで、完全押し状態にした場合である。
絞りを垂直ブランキング期間に変更できるならば、直に高速撮影に移ったとしても露光量は変わらないが、絞りは機械的に変えるため、追従時間は１０〜１５ｍｓｅｃ程度の長い時間を要するため、垂直ブランキング期間に絞りを変えることは難しい。そこで、本発明では以下のような方法を取るものである。
【００６４】
図１０は、準備期間無しの高速撮影方法を示す図である。
本図は、図５と同様に、通常撮影から高速撮影を行い、再び通常撮影に戻る場合の、トリガ、絞り、露光時間、増幅率、ノイズフィルタ、撮影モードのタイムチャートと、フレーム遷移表を示す。ただし、高速度撮影準備モードと通常速度撮影準備モードとは設けられていない。
【００６５】
高速撮影開始のトリガである第１トリガ８８を受けて、直接、通常速度撮影から高速度撮影に移る際の手順を説明する。
第１トリガ８８を受けたｔ４から、高速撮影終了のトリガである第２トリガ７９を受けるｔ７までの間、高速撮影を行う場合を説明する。
ｔ４で高速撮影スイッチ１６が押下されるまで、通常速度で撮影しており、ｔ４において、フレームレートが通常速度から高速度に変わる。
【００６６】
この瞬間に露光時間が１／３になるため（第３段目の露光時間のタイムチャート参照）、絞り目標値まで絞りを開ける作業を開始する（第２段目の絞りのタイムチャート参照）。絞り目標値については、後の＜絞り・露光時間の移行処理＞の項で説明する。
また、ｔ４〜ｔ６において、開かれていく絞りに合わせて増幅率を下げるとともに（第４段目の増幅率のタイムチャート参照）、ノイズフィルタの減衰率を下げる（第５段目のノイズフィルタのタイムチャート参照）。
【００６７】
ｔ６において絞りが絞り目標値に到達すると、増幅率とノイズフィルタも通常撮影時の値に戻ることになる。
ｔ７において、第２トリガ７９を受けると、ｔ４〜ｔ６の逆の動作を行う。
具体的には、ｔ７の時点で、フレームレートを高速度から通常速度に戻し、ｔ７〜ｔ９の期間に、絞りを閉めるとともに増幅率とノイズフィルタ特性とを上げていく。
【００６８】
絞りが元の絞り値に戻った瞬間であるｔ９において、露光時間を通常速度撮影時の値に戻す（第３段目の露光時間のタイムチャート参照）。
このように、絞り、増幅率、ノイズフィルタを調整することで、高速度撮影と通常速度撮影の間がシームレスに撮影される。
この方式では、高速撮影命令を受けると同時にフレームレートを高速化するとともに、増幅率を同時に上げるため、高速撮影スイッチ１６が押されると同時に高速度撮影モードに入ることが可能となる。このため高速撮影への切り替わりが迅速であり、重要なシーンのシャッターチャンスを逃すことがなくなるという利点がある。
【００６９】
次に、図１１を用いて、絞りと増幅率の調整を説明する。
第１段目〜第８段目までのタイムチャートは、図６と同様である。第９段目は、増幅率のタイムチャートである。
本図では、被写体が明るく露光時間を変更する必要が無い場合と、被写体が暗く露光時間を変更の必要が有る場合とを説明する。第２段目〜第４段目は露光時間を変更する必要が無い場合を、第６段目〜第９段目は露光時間を変更する必要が有る場合を示す。
【００７０】
被写体が明るい場合は、露光時間を変える必要がないため、絞りを変えずに、高速撮影に移行する。
一方、被写体が暗い場合は、高速度撮影開始のトリガである第１トリガ８８が入ると、露光時間を短くする（第７段目の露光時間のタイムチャート参照）。
露光時間を短くすると同時に、ゲインを急激に上げ（第９段目の増幅率のタイムチャート参照）、絞りを開け始める（第８段目の絞りのタイムチャート参照）。
【００７１】
その後、ｔ３からゲインを下げ始める（第９段目の増幅率のタイムチャート参照）。
このように、絞り、増幅率を調整することで、高速度撮影と通常速度撮影の間がシームレスに撮影され、再生映像の明るさの不連続性は緩和される。
＜変形例＞
上述した高速撮影方法の変形例を２つ説明する。
【００７２】
まず１つ目の変形例を、図１２を用いて説明する。
図１２は、通常撮影から高速撮影には直に切り替わるが、高速撮影から通常撮影に戻るときは徐々に戻す方法を示す図である。
すなわち、通常撮影から高速撮影に変わる時は、シャッターチャンスを逃さないように、早いレスポンスが要求されるためであり、一方、高速撮影を終了する時は、それほどレスポンスが要求されないためである。
【００７３】
本図は、図１０と同様に、通常撮影から高速撮影を行い、再び通常撮影に戻る場合の、トリガ、絞り、露光時間、増幅率、ノイズフィルタ、撮影モードのタイムチャートと、フレーム遷移表を示す。
ｔ４で、高速撮影開始トリガである第１トリガ８８を受けた後の、ｔ４〜ｔ６期間の動作は、図１０に示した方式と同じである。すなわち、ｔ４において第１トリガ８８が入ると同時に増幅率を上げ、絞りを開けていく。
【００７４】
一方、ｔ８において高速撮影終了トリガである第２トリガ７９を受けたあとの動作は図１０とは異なる。
本変形例では、ｔ８において第２トリガ７９を受けたら、増幅率を変えないで、徐々に絞りを閉める（第２段目の絞りのタイムチャート参照）と同時に、露光時間を増加させる（第３段目の露光時間のタイムチャート参照）。
【００７５】
そして、ｔ８の時点でフレームレートは通常速度に戻される。
この方式では、通常撮影から高速撮影に変わる時は、第１トリガが入った瞬間に高速撮影に切り替わりシャッターチャンスは逃さないものの、画質は若干劣化することとなる。すなわち、信号レベルの低下が防げれば、増幅する必要を最小限とすることが可能となり、画質の低下を抑えることができるようになる。
【００７６】
一方、高速度撮影を終了して通常撮影に戻るときは、ゲインを変えないで絞りを徐々に閉めていくことにより、ノイズの発生を抑制し、高速度撮影終了時の映像の画質の劣化が少ないという利点がある。
次に、図１３を用いて、２つ目の変形例を説明する。
図１３は、通常撮影から高速撮影に切り替える場合に時間を要する方法を示す図である。
【００７７】
１つ目の変形例では、高速撮影開始トリガである第１トリガ８８を受けると、直に高速撮影を開始するが、若干画質が劣化するものであった。本変形例では、若干送れて高速撮影を開始するが、画質が劣化しない例である。
通常撮影から高速撮影に変わる時は、シャッターチャンスを逃さないように、早いレスポンスが要求される場合が多いが、本変形例は、若干高速撮影の開始が遅れても画質の良さが要求される場合に適している。
【００７８】
本図は、図１２と同様に、通常撮影から高速撮影を行い、再び通常撮影に戻る場合の、トリガ、絞り、露光時間、増幅率、撮影モードのタイムチャートと、フレーム遷移表を示す。尚、ノイズフィルタのタイムチャートは記載されていない。また、本図の増幅率のタイムチャートは、図５のものと同様に、必須ではない。
ｔ１において、高速度撮影開始のトリガである第１トリガ８８を受けると、ｔ１〜ｔ３の間のＴ１の期間中に、絞りを開けるとともに露光時間を短くしていく（第２段目の絞りのタイムチャート及び第３段目の露光時間のタイムチャート参照）。
【００７９】
露光時間が高速撮影用の長さになったｔ３の時点で高速度撮影に入る。
ｔ６において、高速撮影終了のトリガである第２トリガ７９を受けると、高速撮影から通常撮影に戻る。そして、ｔ６〜ｔ８の間のＴ２の期間中に、絞りを閉めていくことに連
動して露光時間を増やしてゆく（第２段目の絞りのタイムチャート及び第３段目の露光時間のタイムチャート参照）。
【００８０】
ｔ８において、絞りと露光時間は通常撮影時と同じ値になる。
この方式では、Ｔ１よりＴ２の方が大きいように制御する。この理由は通常撮影から高速撮影に移行する時に、この移行時間が長いとシャッターチャンスを逃す可能性があり、移行時間は少ないことが最も重要であるからである。従って、Ｔ１は可能な範囲内で最小の値にする。
【００８１】
一方、高速度撮影を終了する時は、シャッターチャンス等関係なく緊急は要求されないため、移行時間は長くてもよい。むしろ長い方が画質面でよりシームレスになる。すなわち、移行時間より画質を優先して、Ｔ１より長く設定する。
従って、Ｔ２はＴ１よりも長くすることにより、高速撮影開始時におけるレスポンスを速くすると同時に、高速撮影終了時の明るさの時間的変化が少なくよりシームレスに撮影できるという効果を奏することになる。
【００８２】
＜動作＞
以下、本発明に係る撮影装置の動作について図１４〜１６を用いて説明する。
図１４は、通常撮影及び高速撮影の処理を表すフローチャートである。
まず、ユーザは、初期設定により通常速度のフレームレートをＲ１とし、高速度撮影モードのフレームレートをＲ２に設定する（ステップＳ１００）。この操作は、図１のモード設定ダイヤル５を用いて行う。
【００８３】
このユーザの操作を検知した全体制御部１００は、設定されたフレームレートＲ１とＲ２とを、絞り目標値算出部５５の第１フレームレートと第２フレームレートにそれぞれ記憶する。
また、ユーザが、高速撮影モードスイッチ４を、「ＯＮ」又は「ＯＦＦ」とする。ユーザの操作を検知した全体制御部１００は、高速撮影モードスイッチ４が「ＯＮ」の場合は、モード設定部４２を高速撮影モード４３の状態に、高速撮影モードスイッチ４が「ＯＦＦ」の場合は、通常撮影モード４４の状態にする。具体的には、例えば、撮影状態フラグ（図示していない。）が「１」のときは、高速撮影モード４３状態、「０」ときは、通常モード状態４４とする。
【００８４】
ユーザが通常撮影を始めるため撮影ボタン２を押下する（ステップＳ１１０：押下）。この押下を検知した全体制御部１００は、フォーカス駆動部３２等に指示を出し、フレームレートＲ１で通常撮影を開始する（ステップＳ１２０）。
通常撮影中に、ユーザは高速撮影スイッチ１６を押下して高速撮影の開始を指示する（ステップS１３０：押下）。この押下を検知した全体制御部１００は、高速撮影を始める
旨、高速撮影制御部４８に通知する。
【００８５】
高速撮影の開始指示を受けた高速撮影制御部４８は、高速撮影モードスイッチ４が「ＯＮ」か「ＯＦＦ」のどちらになっているかと、高速撮影スイッチ１６が半押し状態なのか全押し状態なのかの２点を全体制御部１００に問い合わせる。
問い合わせを受けた全体制御部１００は、モード設定部４２が高速撮影モード４３となっていれば「ＯＮ」を返し、通常撮影モード４４となっていれば「ＯＦＦ」を返す。また、高速撮影スイッチ１６が半押しＳＷ状態１６ｃであれば「半押し」を、全押しＳＷ状態１６ｄであれば「全押し」を返す。
【００８６】
全体制御部１００から、高速撮影モードスイッチ４と高速撮影スイッチ１６との状態を受け取った高速撮影制御部４８は、高速撮影モードスイッチ４が「ＯＮ」の場合（ステッ
プＳ２４０：ＯＮ）であって、高速撮影スイッチ１６が「半押し」の場合（ステップＳ１５０：ＹＥＳ）は、高速撮影準備有りモードで高速撮影を行う（ステップＳ１６０）。
一方、高速撮影モードスイッチ４が「ＯＦＦ」の場合（ステップＳ２４０：ＯＦＦ）や、高速撮影スイッチ１６が「全押し」の場合（ステップＳ１５０：ＮＯ）は、高速撮影準備無しモードで高速撮影を行う（ステップＳ１７０）。
【００８７】
その後、ユーザが、撮影ボタン２が押されていない状態に戻して、撮影の終了を指示（ステップＳ１８０）するまで、ステップＳ１２０〜ステップＳ１７０までの撮影を行う。
次に、図１５を用いて、高速撮影準備有りモードでの高速撮影の処理を説明する。
ここで説明する処理は、図５、図８、図９を用いて説明した撮影方法である。
図１５は、高速撮影準備有りモードでの高速撮影の処理を表すフローチャートである。
【００８８】
まず、高速撮影制御部４８は、絞り駆動部３５に指示を出して絞りを開け始めるとともに、シャッター時間制御部４９に指示を出し、露出休止時間制御部５３により、露光休止時間中に光電変換された電荷を排出することにより露光時間を短くしてゆく（ステップＳ２００）。
この処理の具体的な処理については、＜絞り・露光時間の移行処理＞の項で説明する。
【００８９】
ここで、絞り度が限界に達してしまった場合は（ステップＳ２１０：ＹＥＳ）、絞りを明るい限界値に設定し、増幅器５１のゲインを上げるか、感度制御部７３により撮像素子４０の感度の変更により信号出力を増加させ、ノイズフィルタを入れてノイズを低減する（ステップＳ２２０）。
その後、ユーザが、高速撮影スイッチ１６を「全押し」して、高速撮影を実際に開始する操作を行う（ステップＳ２３０：ＹＥＳ）と、その操作を検出した全体制御部１００は、高速撮影制御部４８にその旨を通知し、通知を受けた高速撮影制御部４８はフレームレート制御部６０にフレームレートをＲ２にするよう指示する（ステップＳ２３０：ＹＥＳ）。
【００９０】
指示を受けたフレームレート制御部６０は、撮像装置４０にフレームレートをＲ２にするよう指示し、高速撮影が開始される（ステップＳ２４０）。
その後、ユーザが、高速撮影スイッチ１６を「押していない状態」に戻して、高速撮影を終了する操作を行う（ステップＳ２５０：ＹＥＳ）と、その操作を検出した全体制御部１００は、フレームレート制御部６０にフレームレートをＲ１に戻すよう指示し、高速撮影制御部４８に高速撮影を終了する旨を通知する（ステップＳ２３０：ＹＥＳ）。
【００９１】
指示を受けたフレームレート制御部６０は、撮像装置４０にフレームレートをＲ１にするよう指示し、通常撮影が再開される（ステップＳ２６０）。
高速撮影を終了する旨の指示を受けた高速撮影制御部４８は、絞りを閉めていくと同時に露光時間を長くしてゆき、通常撮影時のものに戻し、必要に応じて増幅率を下げるなどの処理を行う（ステップＳ２７０）。
【００９２】
次に、図１６を用いて、高速撮影準備無しモードでの高速撮影の処理を説明する。
ここで説明する処理は、図８、図１０を用いて説明した撮影方法である。ステップＳ３２０〜ステップＳ３６０が図８の撮影方法において高速度撮影準備モードの期間が殆どない場合、ステップＳ４００〜ステップＳ４５０が図１０の撮影方法である。
図１６は、高速撮影準備無しモードでの高速撮影の処理を表すフローチャートである。
【００９３】
フレームレートＲ１で通常撮影を行っている現在の露光時間を第１露光時間Ｔ１とし、高速撮影時のフレームレートＲ２の最大露光時間を第２露光時間Ｔ２とする。
まず、高速撮影制御部４８は、露光時間を、第１露光時間Ｔ１と第２露光時間Ｔ２のう
ちの小さい方の露光時間とするようシャッター時間制御部４９に指示を出し、シャッター時間制御部４９は露光時間を調整する（ステップＳ３００）。言い換えれば、Ｔ１≦Ｔ２にするようにＴ１を短くする。
【００９４】
高速撮影制御部４８は、第１露光時間Ｔ１を調節したとしたら絞りが限界値に達していると判断した場合（ステップＳ３１０：ＹＥＳ）は、絞りを明るい限界値に設定し、増幅器のゲインを上げるか、撮像素子４０の感度の変更により信号出力を増加させ、ノイズフィルタを入れてノイズを低減する（ステップＳ３２０）。
その後、高速撮影制御部４８は、フレームレート制御部６０にフレームレートをＲ２にするよう指示し、指示を受けたフレームレート制御部６０は、撮像装置４０にフレームレートをＲ２にするよう指示し、高速撮影が開始される（ステップＳ３３０）。
【００９５】
その後、ユーザが、高速撮影スイッチ１６を「押していない状態」に戻して、高速撮影を終了する操作を行う（ステップＳ３４０：ＹＥＳ）と、その操作を検出した全体制御部１００は、高速撮影制御部４８にその旨を通知し、通知を受けた高速撮影制御部４８はフレームレート制御部６０にフレームレートをＲ１に戻すよう指示する。
指示を受けたフレームレート制御部６０は、撮像装置４０にフレームレートをＲ１にするよう指示し、通常撮影が再開される（ステップＳ３５０）。
【００９６】
また、フレームレート制御部６０への指示と同時に、高速撮影制御部４８は、増幅率を下げるとともに絞りを閉じる方向に制御しながら露光時間を長くし、通常撮影を再開する（ステップＳ３６０）。
一方、高速撮影制御部４８が、第１露光時間Ｔ１を調節したとしたら絞りが限界値に達していないと判断した場合（ステップＳ３１０：ＮＯ）は、絞りを所定の露光量を得るように制御する（ステップＳ４００）。
【００９７】
その後、高速撮影制御部４８は、フレームレート制御部６０にフレームレートをＲ２にするよう指示し、指示を受けたフレームレート制御部６０は、撮像装置４０にフレームレートをＲ２にするよう指示し、高速撮影が開始される（ステップＳ４１０）。
露光量の調節は、絞り、露光時間、ゲインを組み合わせて調節する（ステップＳ４２０）。
【００９８】
その後、ユーザが、高速撮影スイッチ１６を「押していない状態」に戻して、高速撮影を終了する操作を行う（ステップＳ４３０：ＹＥＳ）と、その操作を検出した全体制御部１００は、高速撮影制御部４８にその旨を通知し、通知を受けた高速撮影制御部４８はフレームレート制御部６０にフレームレートをＲ１に戻すよう指示する。
指示を受けたフレームレート制御部６０は、撮像装置４０にフレームレートをＲ１にするよう指示し、通常撮影が再開される（ステップＳ４４０）。
【００９９】
また、フレームレート制御部６０への指示と同時に、高速撮影制御部４８は、増幅率を下げるとともに絞りを閉じる方向に制御しながら露光時間を長くし、通常撮影を再開する（ステップＳ４５０）。
＜絞り・露光時間の移行処理＞
ここで、絞りと露光時間の移行処理について説明する。この処理は、準備期間を設けた高速撮影の処理において、準備期間に成されるものである。図１５のステップ２００での処理に該当する。
【０１００】
絞り・露光時間の移行処理について図１７と図１８とを用いて説明する。
図１７は、絞り・露光時間のタイムチャートを示す図である。
本図は、図５のｔ１からｔ２を説明するための図であり、説明の便宜上、図５のｔ２〜
ｔ４は省いている。また、本図と図５のｔ１等は、同じ時間を表すものではない。
第１段目は、動作の契機を示すトリガのタイムチャートであり、第２段目は、フレームレートのタイムチャートである。第３段目は、絞り度のタイムチャートであり、縦軸は絞り値を示し、Ｌ１、Ｌ２、Ｌ３の順で絞り値が大きくなり、絞り値が大きいほど絞りが開くものとする。
【０１０１】
第４段目は、絞り値近似値のタイムチャートであり、この値は露光時間を求めるために使用する。
第５段目は、蓄積電荷のタイムチャートであり、縦軸は蓄積されている電荷量を、Ｓ１等の両端矢印は露光時間を示す。
図１７を簡単に説明すると、まず、第１トリガを受けると、絞り目標値８５を算出し、その絞り目標値８５に絞りを近づけていくと同時に、露光時間を短くしていき、高速撮影のフレームレートＲ２の最大露光時間Ｓｍａｘ８９とする。このときの各フレームの露光時間は、フレーム毎の絞り値近似値とフレームにおいて蓄積すべき電荷とから求める。
【０１０２】
第２トリガを受けたときに、フレームレートをＲ１からＲ２に切り替えて、高速撮影を開始する。
この絞り目標値は、通常撮影時のフレームレートと高速撮影時のフレームレートが決まれば、フレームあたりの光量の増減が一義的に決まることから、求めることができる。つまり、フレームレートが決まれば明るさの増減が決まるため、絞りの開閉の目標値がわかることになる。この絞り目標値の求め方は、＜絞り目標値の求め方＞の項で説明する。
【０１０３】
図１８は、絞り・露光時間の移行処理のフローチャートである。
高速撮影制御部４８は、シャッター時間制御部４９から現在の露光時間Ｅ１を求め（ステップＳ６００）、高速撮影時のフレームレートＲ２から露光時間Ｅ２、すなわち、露光時間目標値８７を求める（ステップＳ６１０）。ここでは、露光時間目標値８７は、フレームレートＲ２での最大露光時間Ｓｍａｘ８９とする。露光時間目標値８７は、選択可能な値の中から通常最も大きな値を採用するためであり、ＳｍａｘはフレームレートＲ２のみによって一義的に決まる。
【０１０４】
現在の露光時間Ｅ１が露光時間目標値８７である露光時間Ｅ２以下の場合（ステップＳ６２０：ＹＥＳ）は、絞り調整の必要が無いため何も行わない。この場合は、図７の「露光時間を変更しない場合」に該当する。
露光時間Ｅ１の方が露光時間Ｅ２より大きい場合（ステップＳ６２０：ＮＯ）は、絞り目標値算出部５５に絞り目標値８５の算出を依頼する（ステップＳ６３０）。依頼を受けた絞り目標値算出部５５は、絞り目標値８５を算出し、高速撮影制御部４８に渡す。
【０１０５】
高速撮影制御部４８は、受け取った絞り目標値８５となるように、絞り駆動部３５に指示して、絞り３６を開けていく（ステップＳ６４０）。
絞りは機械的に制御されるため、１０〜３０ｍｓの時間が必要となる。図１７に示すようにｔ２からｔ６にかけて、ゆるやかに開いていく。
この絞りの変化を予測式で予測する（ステップＳ６５０）。撮影装置１の絞り３６の制御特性は予めわかっているため、この変化は簡単な予測式で予測できる。
【０１０６】
次に、各フレーム期間中の平均値である絞り値Ｌ１と絞り値Ｌ２とを求める（ステップＳ６６０、図１７の絞り値近似値のタイムチャート参照）。
求めたＬ１、Ｌ２の絞りにおいて、最適な露光を得る露光時間Ｓ１、Ｓ２を、各フレームで求める（ステップＳ６７０）。
そして、高速撮影制御部４８は、各フレームを撮影する際に、シャッター時間制御部４９に最適露光時間Ｓ１、Ｓをそれぞれ指示する（ステップＳ６７０）。
【０１０７】
絞りが絞り目標値８５に達した時点（ステップＳ６９０：ＹＥＳ）で、絞りと露光時間とを保持する。
高速撮影制御部４８は、全体制御部１００からトリガ２を受けた旨の通知を受けたら、フレームレート制御部６０にフレームレートをＲ２にするように指示し、高速度撮影を開始する。
【０１０８】
このように本発明では、高速度撮影時のフレームレートに応じて、高速撮影時の絞り目標値８５と露光時間目標値８７とを、絞り目標値算出部５５が求めることができるので、フィードフォワード方式で時々刻々に絞り３６と露出時間を制御していく。そのため、従来の自動露出方式を用いて、露出制御部７６で絞り補正を行う場合に比べて大幅な時間の削減ができる。従って、より短い時間で通常速度撮影から高速撮影に移ることが可能となる。よって、使用者にレスポンスの速い、使い勝手のよい撮影装置を提供できる。
【０１０９】
尚、自動露出は、撮像素子４０から明るさを検出して、露出制御部７６により、フィードバック制御を行い、絞りとシャッター速度を調整するものである。この方式は、映像の明るさ情報が１フレームもしくは１フィールド毎にしか得られない。この１秒に６０コマ位しかとれないサンプルデータに基づいてフィードバック制御を行うことになる。フィードバック制御するためには、少なくとも複数の明るさのサンプルつまり複数のフレームの映像情報が必要であり、絞りの変更に時間を要することとなる。このようにフィードバック方式の自動露出方式を用いると応答が遅く数十フレームを必要とし、通常速度から高速度撮影に移行する時に絞りの追従速度が遅いため、高速度撮影ボタンを押しても、フレームレートの変更に時間が必要なため、シャッターチャンスを逃し良いシーンを高速度撮影できないこととなる。
【０１１０】
＜絞り目標値の求め方＞
次に、絞り目標値を求める処理について、図１９と図２０とを用いて説明する。
図２０は、絞り目標値を求める処理のフローチャートであり、この処理は、絞り目標値算出部５５が行う処理である。
図１９（ａ）は、光量の変化を示すタイムチャートである。
【０１１１】
第１段目は、トリガのタイムチャートを示す。
第２段目は、光量のタイムチャートを示し、縦軸は光の量を表す。この光の量は、明度検出部５６により検出され、最新の所定期間分、絞り目標値算出部５５内部の作業領域に記憶されているものとする。
また、第３段目は、フレームレートのタイムチャートを示し、矩形が１フレームを表す。矩形内の「Ｒ１」、「Ｒ２」は、撮影されたフレームレートを表す。
【０１１２】
図１９（ｂ）は、フレームレートと絞りの増分との対応表１０１である。この対応表１０１は、Ｒ２つまり第２フレームレートに応じて絞りの増分△ｆ２が決まることから、その値をフレームレートと対応付けているものである。すなわち、Ｒ２が決まると最大露光時間Ｓｍａｘが決まることから、△ｆ２も一義的に決まるからである。
絞り目標値８５は、通常撮影のフレームレートＲ１である第１フレームレートと、露光時間である第１露光時間と、絞りである第１絞りと、高速撮影時のフレームレートＲ２である第２フレームレートから求めることができる。
【０１１３】
この演算において、最も重要なパラメータは第２フレームレート８１である。というのは、第１フレームレートと第１露光時間と第１絞りは既にわかっている。第２フレームレート８１により光量の増減は１〜１／ｎ倍と大幅に変わるため、一番重要な要素といえる。
更に、絞り目標値８５を求める場合に、第１絞りをどのような値とするかが重要となる。すなわち、被写体の明るさは常に一定ではないことから、フレームレートを切り替える直前の絞りを採用すると、妥当ではない場合、例えば、切り替えの直前に被写体が明るかった場合は、絞り目標値８５が低すぎてしまう場合があるからである。
【０１１４】
そこで、本撮影装置１では、フレームレートを切り替える時より前の所定時間において、被写体が最も暗かったときの絞りを第１絞りとするものとする。このようにすることで、高速撮影時の映像が露出不足にならないという効果がある。
以下、図２０を用いて、絞り目標値８５である高速度撮影時の第２絞りｆ２を求める方法を説明する。
【０１１５】
まず、図１９（ａ）に示すように、光量を測定し記憶しておく。ここでは、ｔ２で、高速撮影の準備を開始する指示であるトリガ１を受ける前のｔ１〜ｔ２間の光量の最小値Ｉｍｉｎを測定し記憶する。
ｔ２でトリガ１を受けたときに、記憶している光量の最小値を求める（ステップＳ５００）。図１９（ａ）の場合は、ｔ１のところの光量Ｉが最小値となる。
【０１１６】
このＩｍｉｎから、第１絞りｆ１を求める（ステップＳ５１０）。具体的には、このＩｍｉｎで表される光量と第１露光時間とから第１絞りを求める。
次に、対応表１０１から第２フレームレートであるＲ２の増分△ｆ２を求め、求めた増分△ｆ２と第１絞りｆ１とから第２絞りｆ２を求める（ステップＳ５２０）。
図１９のように、トリガ１の前の一定期間の光量の最小値を基に、第１絞りｆ１を求めることにより、最も暗い条件下の第２絞りが目標値に決定される。
【０１１７】
このように絞り目標値８５が決定されるため、ｔ３〜ｔ４の間に光量変化があっても、統計的にＩｍｉｎ以下になる可能性が低く、露光不足となる可能性は低くなる。
また、ｔ３〜ｔ４の期間は、通常は、第２露光時間が最大値に設定されるため、被写体が暗くなった場合には、露光時間をこれ以上大きくすることはできず、露光時間では、暗さを補う補正はできない。また、絞りの調整は機械的な動作のため、高速で追従できないので、絞りで暗さを補うこともできない。従って、最も暗い条件下での絞りを絞り目標値とすることは、露光不足となる可能性を低くすることになる。
【０１１８】
本発明では、トリガ１の前の一定期間の中でもっとも少ない光量Ｉｍｉｎから求められる絞りｆ１を算出し、そのｆ１を用いるため、最も明るいｆ値をｆ２とすることになる。従って、ｔ３〜ｔ４の間に露出不足にならないという効果がある。
尚、本実施形態では光量を測定して記憶することとしているが、絞りを記憶しておいてもよく、この場合は、記憶している最大の絞り、すなわち、もっとも明るい絞りを第１絞りとする。
【０１１９】
＜変形例＞
上述した絞り・露光時間の移行処理の変形例を説明する
この変形例は、図１３を用いて説明した高速撮影方法の移行処理である。
図２１は、通常撮影から高速撮影へ切り替える方式を示す図であり、図１７の通常撮影から高速撮影への遷移時間を短くした場合を示す。本変形例では、ゲインを掛けることで、遷移時間を短縮している。
【０１２０】
本図は、図１７と同様に、トリガ、フレームレート、絞り値、蓄積電荷のタイムチャートと、他に、露光時間、信号レベル、増幅率のタイムチャートを示す。
通常速度のフレームレートＲ１での１フレームあたりの時間は約１６．７ｍｓである。一方、本発明のフィードフォワード方式では、絞りの応答速度は１０〜１５ｍｓである。
従って、第３段目の絞り値のタイムチャートで示すように、ｔ４〜ｔ６の間、すなわち、１フレーム分の時間の間に絞りを変更することができる。
【０１２１】
この場合、ｔ４〜ｔ６の１フレームの露光時間を、フレームレートＲ１の露光時間Ｓ１と、フレームレートＲ２の露光時間Ｓ２との中間の値Ｓｈとする。
このように露光時間を設定することで、ｔ４〜ｔ６の遷移時間Ｔ１の期間でフレームレートを切り替えることができるので、レスポンスが早くなるという効果がある。
この場合、第６段目の信号レベルのタイムチャートで示すように、ｔ４〜ｔ６の間の映像信号のレベルが落ちるが、第７段目の増幅率のタイムチャートに示すように、明度検出部５６により明度を検出し、ＡＧＣ５７によりゲインを調節することにより、明るさの増減を緩和することができる。このように、切り替え時の再生映像をよりシームレスにすることができる。
【０１２２】
尚、準備期間を設けない高速処理においても、高速処理を開始した直後に、露光時間はフレームレートに合わせて短くなるが、図１０のｔ４〜ｔ６で絞りを上げていく場合も、同様にフレームレートを切り替えることが可能である。
次に、図２２は、高速撮影から通常撮影へ切り替える方式を示す図である。
本図は、図１７と同様に、トリガ、フレームレート、絞り値、蓄積電荷のタイムチャートと、他に、露光時間のタイムチャートを示す。
【０１２３】
ｔ４で、高速撮影の終了指示であるトリガ２を受けると、ｔ４でフレームレートをＲ２からＲ１にフレームレートを落とす。
そして、ｔ４〜ｔ６の遷移時間に、絞りを小さくし露光時間を長くする。ｔ４〜ｔ６の遷移時間Ｔ２は２フレーム分であるとする。
通常撮影のフレームレートＲ１から高速撮影のフレームレートＲ２へ切り替える場合は、シャッターチャンスを逃さないようにレスポンスをよくし、図２１の遷移時間Ｔ１のように、短い時間で切り替える。
【０１２４】
しかし、高速撮影のフレームレートＲ２から通常撮影のフレームレートＲ１への切り替え時は、フレームレートを変えてから絞りや露光時間を補正することとしても良いため、遷移時間は数十フレーム等に長くなっても全く問題がない。むしろ長い方がよりシームレスになるという効果がある。
本発明ではＴ１＜Ｔ２にすることにより、シームレスさとレスポンスが両立するという効果がある。
＜実施形態２＞
本実施形態１では、通常撮影から高速撮影への移行方法について説明したが、本実施形態では、高速撮影で撮影した映像データの蓄積方法について説明する。
【０１２５】
＜高速撮影映像の記録方法＞
高速撮影時の撮影映像を全て記録しようとした場合には、現実的には、メモリや処理速度、記録速度に限界がある。
従って、撮影した映像を、一旦バッファメモリ９０に蓄え、その中から必要な映像のみ取り出し、ＩＣメモリ等の記録媒体９１に記録する方法がより現実的である（図３参照）。
【０１２６】
このような、必要な映像のみを取り出して記録する方法を、図２３と図２４とを用いて説明する。
図２３は、通常撮影から高速撮影に切り替えて、高速撮影の映像の一部を記録する方法を示す図である。
本図は、図１３と同様に、通常撮影から高速撮影を行い、再び通常撮影に戻る場合の、
トリガ、絞り、露光時間、増幅率、撮影モードのタイムチャートと、フレーム遷移表を示す。ここでは、図１３に示す撮影方法の高速撮影時に一部を記録する方法を説明するが、もちろん、図５等の他の撮影方法においても同様である。
【０１２７】
ｔ１において、高速度撮影開始のトリガである第１トリガ８８を受けると、ｔ１〜ｔ３の間のＴ１の期間中に、絞りを開けるとともに露光時間を短くしていく（第２段目の絞りのタイムチャート及び第３段目の露光時間のタイムチャート参照）。
露光時間が高速撮影用の長さになったｔ３の時点で高速度撮影に入る。
高速撮影中に、記録を指示するトリガである第３トリガを受けると、その第３トリガの前後の所定数ｎフレームを記録する。第３トリガは、第２トリガを受けるまでに複数回受けてもよく、その場合も、前後ｎフレームを記録するものとする。本実施形態では、１回のみとして説明する。
【０１２８】
ｔ６において、高速撮影終了のトリガである第２トリガ７９を受けると、高速撮影から通常撮影に戻る。そして、ｔ６〜ｔ８の間のＴ２の期間中に、絞りを閉めていくことに連動して露光時間を増やしてゆく（第２段目の絞りのタイムチャート及び第３段目の露光時間のタイムチャート参照）。
ｔ８において、絞りと露光時間は通常撮影時と同じ値になる。
【０１２９】
このように記録することにより、例えばゴルフのショットの瞬間に映像記録スイッチを押すとショットの前後の映像が高速度映像で記録されるため、撮り損ね、つまり失敗を防ぐことができる。このため、高速撮影になれていないユーザも簡単に高速度映像を撮影できるという効果がある。
次に、図２４を用いて、映像の記録方法を説明する。
【０１３０】
本図は、通常撮影から、第１トリガで高速撮影に移り、第３トリガで高速撮影映像を記録し、第２トリガで通常撮影に戻る場合の、高速撮影映像の記録方法を示している。他の撮影方法においても同様である。
第１段目は、撮影ボタン２の状態のタイムチャートであり、ボタンが全押しされている状態（図２参照）をＯＮとして記載している。
【０１３１】
第２段目は、サブトリガの入力を示すタイムチャートであり、第３段目は、メイントリガの入力を示すタイムチャートである。ここでのサブトリガは、例えば、高速撮影スイッチ１６が半押し状態となった場合とし、メイントリガは、高速撮影スイッチ１６が全押し状態となった場合をいうものとする（図２参照）。
第４段目は、撮影データのタイムチャートであり、この矩形１つが１フレームを示す。以下、フレームレートＲ１で撮影されたフレームを「通常フレーム」、フレームレートＲ２で撮影されたフレームを「高速フレーム」というものとする。
【０１３２】
また、第５段目と第６段目は、それぞれ、ｔ５とｔ６時点でのバッファメモリ９０に記録されている高速撮影映像データを示す。
第７段目〜第１０段目までは、それぞれ、ｔ５、ｔ７、ｔ８、ｔ９時点での記記録媒体９１に記録されている撮影映像データを示す。
第１１段目は、記録されている撮影映像データのフレームレート識別子のタイムチャートを示す。ここでは、「Ｒ１」はフレームレートＲ１を、「Ｒ２」はフレームレートＲ２を示し、フレーム毎に付される。このフレームレート識別子は、再生する際に、高速撮影映像データを通常撮影映像データに変換する場合などに使用される。
【０１３３】
まず、撮影ボタン２を全押しして、通常撮影を行っている状態で、ｔ２において高速度撮影を開始を示す第１トリガ８８が入力されると、フレームレートがＲ１からＲ２になり
、高速撮影がｔ２から始まる（撮影データのタイムチャート参照）。
ｔ２の時点から、バッファメモリ９０に高速撮影映像データの記録が開始される。但し、バッファメモリ９０には、Ｔｍａｘの期間分の映像データのみが記憶される。すなわち、新しい高速フレームが記録されると、古い高速フレームは通常フレームとして記録媒体９１に移され、バッファメモリ９０からは削除されることになる。
【０１３４】
本実施形態では、フレームレートＲ１は６０ｆｐｓであり、フレームレートＲ２は１８０ｆｐｓであるので、３つの高速フレームが１つの通常フレームに該当し、３つの高速フレームから１つの通常フレームを生成して記録媒体９１に記録する。
具体的には、ｔ５の時には、ｔ３〜ｔ５の映像データであるＴｍａｘの期間分だけのデータがバッファメモリ９０に蓄えられており、ｔ２〜ｔ３の高速フレームはフレーム合成部５８により合成され（ステップ１１７ａ参照）、通常フレーム１１５として記録媒体９１に記録される。
【０１３５】
つまり、３つの高速フレーム１１６ａ、１１６ｂ、１１６ｃが加算処理等により合成されて１つのフレーム１１５ａになり、記録媒体９１やメモリに記録される。または、中心の高速フレーム１１６ｂのみがフレーム１１５ａとして記録することとしてもよい。
ｔ５において、映像の記録を示す第３トリガ７８が入力されると、ｔ５の前後のｔ４〜ｔ５とｔ５〜ｔ６のフレームのみが高速フレームで記録される。
【０１３６】
ｔ６の時点では、ｔ３〜ｔ４の６つの高速フレームが２つの通常フレームに合成されて記録媒体９１に記録されており、ｔ４〜ｔ６の高速フレームは、そのままバッファメモリ９０に記録されている。
ｔ６の時点からは、高速フレームは通常フレームに合成されて記録され、ｔ７において、高速撮影の終了を示す第２トリガ７９が入力されると、フレームレートＲ２がＲ１に戻され、通常撮影を再開する（撮影データのタイムチャート参照）。以後、通常撮影映像データは通常フレームのまま、記録媒体９１に記録される。
【０１３７】
ｔ９において、バッファメモリ９０に記録されている映像記録第３トリガ７８の前後ｎフレーム分の高速フレームを記録媒体９１に記録する。
記録される時には、各フレーム毎にフレームレートを示すフレームレート識別子を付加する（フレームレート識別子のタイムチャート参照）。
通常フレームにはＲ１を示すフレームレート識別子５９ｂが、高速フレームにはＲ２を示すフレームレート識別子５９ａが記録される。本図では、Ｒ１を示すフレームレート識別子５９ｂを「Ｒ１」、Ｒ２を示すフレームレート識別子５９ａを「Ｒ２」と記載している。
【０１３８】
このように、高速撮影中の第３トリガ７８の前後のｎフレーム分の高速度撮影映像だけがバッファメモリ９０に蓄えられ記録されるため、バッファメモリの容量を最小にできるという効果がある。また、使用者が映像記録スイッチを押した時点の±ｎフレームの映像が高速撮影映像として記録されるため、シャッターチャンスを逃さない映像を記録できるという効果がある。
【０１３９】
図２４では、映像の記録を示す第３トリガ前後のＴｍａｘ期間の高速フレームを記録する例を説明したが、図２５を用いて、第３トリガ前のＴｍａｘ期間の高速フレームを記録する例を、図２６を用いて、第３トリガ後のＴｍａｘ期間の高速フレームを記録する例を説明する。
図２５は、図２４で説明した記録方法とほぼ同じである。異なる点は、第３トリガ７８の前の期間のＴｍａｘの期間の高速フレームを記録する点のみが異なる。
【０１４０】
この場合はｔ５で、第３トリガ７８を受けるが、この段階でｔ３〜ｔ５の間の高速フレーム１１６は、バッファメモリ９０に記録されている。
ｔ２〜ｔ３の高速フレームと、ｔ５以後の高速フレームは３つを合成し、通常フレームを記録媒体９１に記録する。
図２５の場合は、アクションが終了した時点で映像記録スイッチを使用者が押すことにより、アクションの高速度撮影画像が記録される。
【０１４１】
図２６は図２５とは逆である。つまり、第３トリガ７８がｔ５で入力されると、ｔ５の後のｔ５〜ｔ７の間の高速フレーム１１６ａ〜１１６ｌが高速フレームとして記録され、ｔ２〜ｔ５とｔ７以後のフレームは通常フレームとして記録される。
図２６の場合は、アクションが開始される前の時点で映像記録スイッチを使用者が押すことにより、アクションの高速度撮影画像が記録される。
【０１４２】
以上、図２４、２５、２６を用いて説明した録画方法は、間引き方式のみならず、直接走査方式や画素混合方式等の高速撮影にも有効である。
次に、図２４、２５、２６の録画処理を、図２７と図２８とを用いて説明する。
図２７は、撮影装置１の録画処理のフローチャートである。
まず、通常撮影時のフレームレートＲ１と高速撮影時のフレームレートＲ２、及び、高速撮影指示の第３トリガの前と前後と後の３カ所のうち、どの箇所を記録するかを示す録画モードを設定する（ステップＳ７００）。この設定は、図１のモードダイヤル５を用いて設定する。
【０１４３】
設定を検出した全体制御部１００は、最大高速録画可能時間 Ｔｍａｘを、フレームレ
ートＲ２とバッファメモリ９０に記録できるフレームの枚数から求め液晶モニタ１７に表示する（ステップＳ７１０）。
ユーザが通常撮影を始めるため撮影ボタン２を押下し、押下を検知した全体制御部１００は、フォーカス駆動部３２等に指示を出し、フレームレートＲ１で通常撮影を開始する（ステップＳ７２０）。
【０１４４】
通常撮影中に、ユーザは高速撮影スイッチ１６を半押して、高速撮影の開始を指示する（ステップＳ７３０：ＹＥＳ）。この押下を検知した全体制御部１００は、高速撮影を始める旨、高速撮影制御部４８に通知する。
高速撮影の開始指示を受けた高速撮影制御部４８は、絞り目標値算出部５５に絞り目標値の算出を依頼し、依頼を受けた絞り目標値算出部５５は、絞り目標値を算出して高速撮影制御部４８に返す。高速撮影制御部４８は、絞りを目標値に向けて絞り駆動部３５に指示を出し、絞りに応じた露光時間にすべくシャッター時間制御部４９に指示を出す（ステップＳ７４０）。
【０１４５】
絞りが目標値に達したら、フレームレートをＲ１からＲ２に切り替え（ステップＳ７５０）、録画処理を行う（ステップＳ７６０）。この録画処理は、図２８を用いて後述する。
その後、ユーザは高速撮影スイッチ１６を押してない状態に戻し、高速撮影の終了を指示する（ステップＳ７７０：ＹＥＳ）。この押下を検知した全体制御部１００は、高速撮影を終了する旨、高速撮影制御部４８に通知する。
【０１４６】
高速撮影の終了指示を受けた高速撮影制御部４８は、絞り目標値算出部５５に絞り目標値の算出を依頼し、依頼を受けた絞り目標値算出部５５は、絞り目標値を算出して高速撮影制御部４８に返す。高速撮影制御部４８は、フレームレートをＲ２からＲ１に戻し（ステップＳ７８０）、絞りと露光時間を通常撮影時に戻していく（ステップＳ７９０）。
その後、全体制御部１００は、映像信号処理部５４に指示を出し、バッファメモリ９０
に記録している高速撮影映像データを画像処理して、記録媒体９１に記録する（ステップＳ８００）。
【０１４７】
ユーザが、撮影ボタン２を押してない状態に戻し、通常撮影の終了を指示する（ステップＳ８１０：ＹＥＳ）。この押下を検知した全体制御部１００は、通常撮影を終了する処理を行う。
次に、図２８を用いて、高速撮影録画処理について説明する。
図２８は、高速撮影録画処理のフローチャートである。
【０１４８】
映像信号処理部５４は、フロントエンド部５０を介して撮像素子４０から、フレームレートＲ２で送られてくる映像データを処理し、バッファメモリ９０に記録する（ステップＳ９００）。
映像信号処理部５４は、最大高速録画可能時間Ｔｍａｘの期間の高速撮影映像データをバッファメモリ９０に蓄え、Ｔｍａｘより古いデータはフレームレートＲ２からフレームレートＲ１の映像データに変換して記録媒体９１に記録する（ステップＳ９１０）。この変換は、フレーム合成部５８で行う。
【０１４９】
ユーザが、高速撮影スイッチ１６を全押しして、録画を指示する（ステップＳ９２０）と、この押下を検知した全体制御部１００は、録画をするよう映像信号処理部５４に依頼する。この際、ユーザが事前に設定した記録モード、すなわち、録画指示時の前の映像データを記録するか、前後の時間の映像を記録するのか、後の映像を記録するのかを通知する。
【０１５０】
依頼を受けた映像信号処理部５４は、通知された録画モードに従い、Ｔｍａｘ分の高速撮影映像データを取得し、バッファメモリ９０に記録する（ステップＳ９７０）。取得したＴｍａｘ以外の映像データは、フレームレートＲ１に変換して記録媒体９１に記録する。
録画モードが、録画指示時の前の映像データを記録する場合は（ステップＳ９３０：（１））、録画指示時より前のＴｍａｘの映像データを取得し（ステップＳ９４０）、録画指示時の前後の映像データを記録する場合は（ステップＳ９３０：（２））、録画指示時より前後でＴｍａｘの映像データを取得し（ステップＳ９５０）、録画指示時の後の映像データを記録する場合は（ステップＳ９３０：（３））、録画指示時より後のＴｍａｘの映像データを取得する（ステップＳ９６０）。
【０１５１】
＜切り替え時のフレームの記録方法＞
通常撮影から高速撮影に切り替える際には、１フレームの画像が保証できない場合が生じ得、その場合の対処法について説明する。
その場合とは、間引き方式（図４参照）により、フレームレートを変える場合である。言い換えれば、走査方式を変える時、すなわち、全走査から間引き走査に変わる時と間引き走査から全走査に変わる時とに、１フレームの間、画像信号が乱れる場合がある。
【０１５２】
この場合の、保証できない１フレームの画像を生成する方法について、図２９を用いて説明する。
図２９は、フレームレート切り替え時のフレームの生成方法を示す図である。
本図は、図５と同様に、通常撮影から高速撮影を行い、再び通常撮影に戻る場合の、絞り、露光時間、撮影モードのタイムチャートと、フレーム遷移表を示し、下部に、フレームの合成処理の流れを示す。
【０１５３】
ｔ４〜ｔ５とｔ８〜ｔ９のそれぞれ１フレームが保証できないフレームである。本図では、それぞれバッファフレーム１１０とバッファフレーム１１１と記載している。
すなわち、通常撮影の通常フレームレートの最終フレーム１１２ａと、高速撮影の高速フレームレートの最初のフレーム１１２ｂとの間にバッファフレーム１１０を入れることにより、このバッファ時間中に、撮像素子４０の走査切り替えを行ったことにより出力される乱れた映像信号の影響を受けないという効果がある。
【０１５４】
後ろのバッファフレーム１１１の場合は、フレーム１１２ｇとフレーム１１２ｈの間にバッファフレーム１１１を入れる。
しかし、このバッファを入れることにより、ｔ４〜ｔ５やｔ８〜ｔ９の間の１フレーム分の映像情報がなくなりシームレスに撮影できないこととなる。
そこで、このブランクを解消するため、本発明ではステップ１０５ａで高速フレームレートのフレーム１１２ｂ、１１２ｃ、１１２ｄを合成し、合成フレーム１１３を作成する。
【０１５５】
次に、ステップ１０５ｂで、合成した合成フレーム１１３と通常フレームレートのフレーム１１２ａを合成し、１枚の合成フレームを作成する。
ステップ１０５ｃで、最終フレーム１１２ａとフレーム１１２ｂの間に、フレーム順序が現実的にもしくは仮想的に連続するようにＦｎを定義し、ステップ１０５ｄでメモリに記録する。
【０１５６】
バッファフレーム１１１の場合も同様に、ステップ１０５ｆ、１０５ｇ、１０５ｈを経てステップ１０５ｉでメモリに記録する。
ただし、これらの処理を撮影期間中に行うと、ＣＰＵや映像信号処理部５４の負荷が大きくなり過ぎるため、ステップ１０５ｊ、１０５ｋに示すように撮影終了後に処理、記録を行うことにより、負荷が大きくなることを防止でき、構成が簡単になるという効果がある。
【０１５７】
このようにバッファフレーム１１０、１１１を設け、バッファフレームが抜けた画像の前後のフレームから作成することにより、つながりがよくなるため、連続的に、またシームレスに撮影できるという効果がある。
図３０は図２９の絞り補正方式を図８を用いて説明したゲイン補正方式に変えた場合の実施例であり、動作は同じであるため説明を省略する。
【０１５８】
＜間引き方式時の再生方法＞
次に、記録した映像データを、再生する場合の方法について説明する。
図３１は、間引き方式で撮影した映像データを再生する場合の方法を示す図である。本図において、矩形は１フレームを表し、１フレーム中の横線は、走査したラインを示す。高速度モードでのフレームレートは１８０ｆｐｓ、通常速度モードでのフレームレートは６０ｆｐｓとする。
【０１５９】
第１段目は、間引き方式で実際に撮影した映像データであり、第２段目は、記録されている映像データである。第３段目は、スロー再生画像データを示す。
第４段目は、第２段目と同じ記録データを示し、第５段目は、通常再生画像データを示す。
ここでは、映像データのうち、間引き方式で撮影された間引き形式のフレームは、フレーム合成部５８で、他のフレームを参照して抜けているラインを補ってフルライン形式のフレームとし、記憶する（第２段目参照）。この方法の一例は、図３２を用いて後で説明する。このように記録しておくことで、汎用的な再生装置でも再生することが可能となる。
【０１６０】
この記録データをそのまま、通常のフレームレートで再生すると、高速度モードで撮影
した部分はスロー映像として再生される（第３段目参照）。
また、この記録データから、通常の再生を行うため、高速度モードで撮影した部分は、３フレームをフレーム合成部５８で合成して１フレームとし（第４段目参照）、通常のフレームレートで再生すると、通常スピードの映像として再生される（第５段目参照）。
【０１６１】
このように、高速度撮影期間において、第１段目のような間引き方式で撮影した映像データを、第４段目と第５段目のように、３フレームに１回のフレームを出力すると実質的に通常速度で再生でき、通常撮影期間と動き的には全く同じ動画が出力される。尚、走査速度を高速化する直接方式で撮影した映像は、本図の第２段目の記録データと同じであるので、同様に通常速度で再生が可能である。
【０１６２】
次に、図３２〜３６を用いて、間引き形式のフレームからフルライン形式のフレームを生成する方法について説明する。
図３２は、間引き補完処理の流れを示す図である。
フレーム１２０ａ、１２０ｂ、１２０ｃは、間引き走査をされ（ステップ１２１ａ）、間引き画像１２２ａ、１２２ｂ、１２２ｃとして出力される。
【０１６３】
これらの間引き画像は、図２の動き検出部１２６において動き補正され、間引き補間部１２３（ステップ１２１ｂ）の位置合わせ部１２４によりブロック単位で位置合わせが成される（ステップ１２１ｃ）。
これらの画素を、統合部１２８により統合し（ステップ１２１ｄ）、統合画像１２５を得て（ステップ１２１ｅ）、この画像を、リサンプリング部１２９によりリサンプリングを行う（ステップ１２１ｆ）。ここで、リサンプリングとは、位置合わせを少数画素精度で行った場合に、位置合わせ結果を最も近い整数画素位置に丸めることをいう。
【０１６４】
その後、間引き画像の位置合わせが、オクルージョンや変形、動きベクトルが大きすぎるなどの理由により正常に成されなかった場合は、復元部１３０により復元を行い、例えば１０８０Ｐのフルライン画像１３１ａを得る（ステップ１２１ｇ）。
ここで復元とは、いわゆる画面内補間をいい、図３６に示すように、差分検出部１２７により１〜７の各方向のライン上の画素の差分をとり、最も差分の少ない方向にある画素群を採用し、間引かれたラインの画素を補間生成する。例えば、最も差分の少ない方向にある選択された走査ライン上に位置する２画素から、内挿により間引かれた走査ラインの画素を生成する。
【０１６５】
同様に、フルライン画像１３１ａの前のフレーム１３１ｂは、間引き画像１２２ｄ、１２２ａ、１２２ｂの３枚の画像から、前の前のフレーム１３１ｃは間引き画像１２２ｅ、１２２ｄ、１２２ａから、間引き補間部１２１ｂにより補間することにより得る。
この間引き補完プロセスを、図３３を用いて説明する。
第１段目は、撮像素子４０が撮影する画像を示し、第２段目は、記録されている映像データを示す。本図の、記録されている映像データは、図３１と異なり、間引きされたままのフレームのデータである。
【０１６６】
第３段目は、フルライン画像データを示す。
まず、撮像素子４０が撮影する画像（第１段目参照）から間引きを行い、間引き画像１２１ａ、１２１ｂ、１２１ｃ、１２１ｄを得る（第２段目参照）。
ここでは、間引き画像を記録することとしているが、第３段目に示すように、補間したフルライン画像１３１ａ、１３１ｄ、１３１ｅ、１３１ｆを得て、このフルライン画像を記録することとしてもよい。
【０１６７】
撮影装置のデータ処理能力によって、間引き画像を記録するか、フルライン画像を記録
するかを変える必要が有るが、図３２に示すような、フルライン画像１３１の補間処理を行うには、大きなデータ処理能力と電力を必要とする。
従って、カメラの中におけるフルラインでのリアルタイム補間処理および動画像符号化処理は半導体技術の大幅な進展を待つ必要がある。
【０１６８】
この点に鑑み、本発明では現実的な方式を提案する。
図３３の第２段目の間引き画像１２１ａ等は、エイリアシング・ノイズによるモアレなどが生じるため、そのままでは画面表示に適さない。
そこで図３４に示すように、間引き画像１２１ａ、１２１ｂ、１２１ｃを合成部１３８の中の動き補正部１３４により動き補正をした上で、混合部１３３により垂直方向にラインを混合して１本のラインを生成する。
【０１６９】
垂直ラインが１／３になった合成画像１３５ａが得られる。
同様にして混合画像１３５ｂ、１３５ｃも得られる。これらの画像はエイリアシング・ノイズによるモアレなどが消えているため、カメラの表示画像に使える。ライン数は１／３になるが、デジカメの画面サイズは小さいため、さほど支障は来たさない。
また、フルラインの補間処理に比べると１／３の処理でよいため、デジカメでも処理可能である。更に、消費電力も１／３になるという効果があり、バッテリー容量を小さくすることができる。
【０１７０】
尚、デジカメの小さな画面ではライン数が１／３になっても一般の使用者には区別できない。
しかし、デジカメでは画面を拡大してピント等の写り具合を見るためズーミングするということが一般的に行われている。合成画像は１／３のライン数であるため、拡大すると粗くなる。
【０１７１】
そこで、図３５のように、ズームした時はある一定までは粗くなっていくが、ある一定以上になると、図３５の第２段目に示す間引き画像１３２ａ、１３２ｂ、１３２ｃの部分領域である、第３段目に示す部分領域１３６ａ、１３６ｂ、１３６ｃの領域を、間引き補間部１２３により補間された部分領域である部分補間領域１３７ａ、１３７ｂ等が得られる。
【０１７２】
この部分補完領域１３７ａ、１３７ｂ等の解像度は、この領域だけ見るとフルライン画像１３１と同じである。従ってズーム表示ではフルラインと同じ解像度の画像がデジカメの画面に表示されるため、拡大表示画面でピント等の確認ができる。この方式では部分領域の補間処理を行うため処理量は１／ｎ、例えば１／３になるため１／３の処理量のデバイスと１／３の消費電力が得られるため、現実的なデジカメが実現するという効果がある。
＜補足＞
以上、本発明の実施形態について説明したが、本発明は上記形態に限らず、以下のようにしてもよい。
（１）撮影装置は、図３の各構成要素の全部又は一部を、１チップ又は複数チップの集積回路で実現してもよい。例えば、図３の点線で囲まれた部分を１チップとするなどである。
（２）撮影装置は、図３の各構成要素の全部又は一部を、コンピュータのプログラムで実現してもよいし、その他どのような形態で実施してもよい。
【０１７３】
コンピュータプログラムの場合、メモリカード、ＣＤ−ＲＯＭなどいかなる記録媒体に書き込まれたものをコンピュータに読み込ませて実行させる形にしてもよいし、ネットワークを経由してプログラムをダウンロードして実行させる形にしてもよい。
【産業上の利用可能性】
【０１７４】
本発明に係る撮像装置は、撮影フレームレート切り替えにおいて、露光量を一定に保つ機構を有し、高速な動体を撮影する高速度カメラとして有用である。また、通常の動画撮影中に、移動量の大きい被写体を撮影するための高速撮影機能を有するビデオカメラ、デジタルカメラ等の用途にも応用できる。
【符号の説明】
【０１７５】
１ 撮影装置
２ 撮影ボタン
４ 高速撮影準備スイッチ
５ モードダイヤル
１６ 高速度撮影スイッチ
３３ ズーム駆動部
３５ 絞り駆動部
３６ 絞り
４０ 撮像素子
４２ 撮影モード設定部
４８ 高速撮影制御部
４９ シャッター時間制御部
５０ フロントエンド部
５１ 増幅器
５２ ＡＤ変換器
５３ 露出休止時間制御部
５４ 映像信号処理部
５５ 絞り目標値算出部
５６ 明度検出部
５７ ＡＧＣ
５８ フレーム合成部
６０ フレームレート制御部
７２ 間引き制御部
７３ 感度制御部
７４ ノイズフィルタ
７５ ノイズ付加部
７６ 露出制御部
８２ 演算部
９０ バッファメモリ
９１ 記録媒体
【特許請求の範囲】
【請求項１】
入射光を光電変換した電荷を蓄積する撮像素子から信号を読み出して、所定のフレームレートで、画像フレームを出力する撮像手段と、
前記入射光の量を定める絞りの度合いを変更する絞り調整手段と、
前記入射光を光電変換した電荷を蓄積する時間である露光時間を変更する露光時間調整手段と、
制御手段とを備え、
前記制御手段は、
第１のフレームレートでの撮影中に、前記第１のフレームレートと異なる第２のフレームレートでの撮影の開始が指示された場合、前記第１のフレームレートを維持したままで、前記絞り調整手段に前記絞りの度合いを第１目標値に向けて変更させ始めると共に前記露光時間調整手段に前記露光時間を第２目標値に向けて変更させ始め、
前記絞りの度合いが前記第１目標値に到達し前記露光時間が前記第２目標値に到達した後、前記撮像手段に前記所定のフレームレートを前記第１のフレームレートから前記第２のフレームレートに切り替えさせる
ことを特徴とする撮影装置。
【請求項２】
前記第１のフレームレートは通常撮影のフレームレートであり、
前記第２のフレームレートは前記通常撮影のフレームレートより高い高速撮影のフレームレートであり、
高速撮影を設定する高速撮影モードスイッチと、
前記高速撮影の開始のための高速撮影スイッチと、を更に備え、
前記制御手段は、前記高速撮影モードスイッチにより高速撮影が設定された状態で前記高速撮影スイッチの半押しが検知された場合に、前記第１のフレームレートを維持したままで、前記絞り調整手段に前記絞りを第１目標値に向けて変更させ始めると共に前記露光時間調整手段に前記露光時間を第２目標値に向けて変更させ始める
ことを特徴とする請求項１記載の撮影装置。
【請求項３】
前記制御手段は、前記絞りが前記第１目標値に到達し前記露光時間が前記第２目標値に到達した後、前記高速撮影スイッチの全押しが検知された場合、前記撮像手段に前記所定のフレームレートを前記通常撮影のフレームレートから前記高速撮影のフレームレートに切り替えさせる
ことを特徴とする請求項２記載の撮影装置。
【請求項４】
前記第１目標値は、前記第１のフレームレートで撮影した場合の画像フレーム毎の蓄積電荷と前記第２のフレームレートで撮影した場合の画像フレーム毎の蓄積電荷とが同程度となるように、前記絞り調整手段に前記絞りの度合いを変更させるための目標値であり、
前記第２目標値は、前記第１のフレームレートで撮影した場合の画像フレーム毎の蓄積電荷と前記前記２のフレームレートで撮影した場合の画像フレーム毎の蓄積電荷とが同程度となるように、前記露光時間調整手段に前記露光時間を変更させるための目標値である
ことを特徴とする請求項１記載の撮影装置。
【請求項５】
撮影装置で用いられる集積回路であって、
入射光を光電変換した電荷を蓄積する撮像素子から信号を読み出して、所定のフレームレートで、画像フレームを出力する撮像手段と、
前記入射光の量を定める絞りの度合いを変更する絞り調整手段と、
前記入射光を光電変換した電荷を蓄積する時間である露光時間を変更する露光時間調整手段と、
制御手段とを備え、
前記制御手段は、
第１のフレームレートでの撮影中に、前記第１のフレームレートと異なる第２のフレームレートでの撮影の開始が指示された場合、前記第１のフレームレートを維持したままで、前記絞り調整手段に前記絞りの度合いを第１目標値に向けて変更させ始めると共に前記露光時間調整手段に前記露光時間を第２目標値に向けて変更させ始め、
前記絞りの度合いが前記第１目標値に到達し前記露光時間が前記第２目標値に到達した後、前記撮像手段に前記所定のフレームレートを前記第１のフレームレートから前記第２のフレームレートに切り替えさせる
ことを特徴とする集積回路。
【請求項６】
入射光を光電変換した電荷を蓄積する撮像素子から信号を読み出して、所定のフレームレートで画像フレームを出力する撮像手段と、前記入射光の量を定める絞りの度合いを変更する絞り調整手段と、前記入射光を光電変換した電荷を蓄積する時間である露光時間を変更する露光時間調整手段とを備える撮影装置で用いられる撮像方法であって、
前記撮像手段が第１のフレームレートで前記画像フレームを出力しているとき、前記第１のフレームレートと異なる第２のフレームレートでの撮影の開始が指示された場合、前記第１のフレームレートを維持したまま、前記絞り調整手段に前記絞りの度合いを第１目標値に向けて変更させ始める絞り調整ステップと、
前記絞りの度合いの変更と共に、前記露光時間調整手段に前記露光時間を第２目標値に向けて変更させ始める露光時間調整ステップと、
前記絞りの度合いが前記第１目標値に到達し前記露光時間が前記第２目標値に到達した後、前記撮像手段に前記所定のフレームレートを前記第１のフレームレートから前記第２のフレームレートに切り替えさせるフレームレート変更ステップと
を含むことを特徴とする撮影方法。
【請求項１】
入射光を光電変換した電荷を蓄積する撮像素子から信号を読み出して、所定のフレームレートで、画像フレームを出力する撮像手段と、
前記入射光の量を定める絞りの度合いを変更する絞り調整手段と、
前記入射光を光電変換した電荷を蓄積する時間である露光時間を変更する露光時間調整手段と、
制御手段とを備え、
前記制御手段は、
第１のフレームレートでの撮影中に、前記第１のフレームレートと異なる第２のフレームレートでの撮影の開始が指示された場合、前記第１のフレームレートを維持したままで、前記絞り調整手段に前記絞りの度合いを第１目標値に向けて変更させ始めると共に前記露光時間調整手段に前記露光時間を第２目標値に向けて変更させ始め、
前記絞りの度合いが前記第１目標値に到達し前記露光時間が前記第２目標値に到達した後、前記撮像手段に前記所定のフレームレートを前記第１のフレームレートから前記第２のフレームレートに切り替えさせる
ことを特徴とする撮影装置。
【請求項２】
前記第１のフレームレートは通常撮影のフレームレートであり、
前記第２のフレームレートは前記通常撮影のフレームレートより高い高速撮影のフレームレートであり、
高速撮影を設定する高速撮影モードスイッチと、
前記高速撮影の開始のための高速撮影スイッチと、を更に備え、
前記制御手段は、前記高速撮影モードスイッチにより高速撮影が設定された状態で前記高速撮影スイッチの半押しが検知された場合に、前記第１のフレームレートを維持したままで、前記絞り調整手段に前記絞りを第１目標値に向けて変更させ始めると共に前記露光時間調整手段に前記露光時間を第２目標値に向けて変更させ始める
ことを特徴とする請求項１記載の撮影装置。
【請求項３】
前記制御手段は、前記絞りが前記第１目標値に到達し前記露光時間が前記第２目標値に到達した後、前記高速撮影スイッチの全押しが検知された場合、前記撮像手段に前記所定のフレームレートを前記通常撮影のフレームレートから前記高速撮影のフレームレートに切り替えさせる
ことを特徴とする請求項２記載の撮影装置。
【請求項４】
前記第１目標値は、前記第１のフレームレートで撮影した場合の画像フレーム毎の蓄積電荷と前記第２のフレームレートで撮影した場合の画像フレーム毎の蓄積電荷とが同程度となるように、前記絞り調整手段に前記絞りの度合いを変更させるための目標値であり、
前記第２目標値は、前記第１のフレームレートで撮影した場合の画像フレーム毎の蓄積電荷と前記前記２のフレームレートで撮影した場合の画像フレーム毎の蓄積電荷とが同程度となるように、前記露光時間調整手段に前記露光時間を変更させるための目標値である
ことを特徴とする請求項１記載の撮影装置。
【請求項５】
撮影装置で用いられる集積回路であって、
入射光を光電変換した電荷を蓄積する撮像素子から信号を読み出して、所定のフレームレートで、画像フレームを出力する撮像手段と、
前記入射光の量を定める絞りの度合いを変更する絞り調整手段と、
前記入射光を光電変換した電荷を蓄積する時間である露光時間を変更する露光時間調整手段と、
制御手段とを備え、
前記制御手段は、
第１のフレームレートでの撮影中に、前記第１のフレームレートと異なる第２のフレームレートでの撮影の開始が指示された場合、前記第１のフレームレートを維持したままで、前記絞り調整手段に前記絞りの度合いを第１目標値に向けて変更させ始めると共に前記露光時間調整手段に前記露光時間を第２目標値に向けて変更させ始め、
前記絞りの度合いが前記第１目標値に到達し前記露光時間が前記第２目標値に到達した後、前記撮像手段に前記所定のフレームレートを前記第１のフレームレートから前記第２のフレームレートに切り替えさせる
ことを特徴とする集積回路。
【請求項６】
入射光を光電変換した電荷を蓄積する撮像素子から信号を読み出して、所定のフレームレートで画像フレームを出力する撮像手段と、前記入射光の量を定める絞りの度合いを変更する絞り調整手段と、前記入射光を光電変換した電荷を蓄積する時間である露光時間を変更する露光時間調整手段とを備える撮影装置で用いられる撮像方法であって、
前記撮像手段が第１のフレームレートで前記画像フレームを出力しているとき、前記第１のフレームレートと異なる第２のフレームレートでの撮影の開始が指示された場合、前記第１のフレームレートを維持したまま、前記絞り調整手段に前記絞りの度合いを第１目標値に向けて変更させ始める絞り調整ステップと、
前記絞りの度合いの変更と共に、前記露光時間調整手段に前記露光時間を第２目標値に向けて変更させ始める露光時間調整ステップと、
前記絞りの度合いが前記第１目標値に到達し前記露光時間が前記第２目標値に到達した後、前記撮像手段に前記所定のフレームレートを前記第１のフレームレートから前記第２のフレームレートに切り替えさせるフレームレート変更ステップと
を含むことを特徴とする撮影方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【公開番号】特開２０１３−８５２７９（Ｐ２０１３−８５２７９Ａ）
【公開日】平成２５年５月９日（２０１３．５．９）
【国際特許分類】
【出願番号】特願２０１２−２７２６９０（Ｐ２０１２−２７２６９０）
【出願日】平成２４年１２月１３日（２０１２．１２．１３）
【分割の表示】特願２００９−５２４４００（Ｐ２００９−５２４４００）の分割
【原出願日】平成２０年７月２５日（２００８．７．２５）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２５年５月９日（２０１３．５．９）
【国際特許分類】
【出願日】平成２４年１２月１３日（２０１２．１２．１３）
【分割の表示】特願２００９−５２４４００（Ｐ２００９−５２４４００）の分割
【原出願日】平成２０年７月２５日（２００８．７．２５）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]