撮像装置及び電子ズーム方法
【課題】ズーム倍率に応じて読み出しモードを切り替える際に生じる画像の乱れを防止する。
【解決手段】撮像装置１００は、撮像信号を出力するイメージセンサ１１０と、撮像信号に対する信号処理を行って画像フレーム１７０を出力する撮像信号処理部１２０と、画像フレーム１７０をフレームバッファ１３１に一時記憶し、フレームバッファ１３１から出力された画像フレームに対して動画像符号化を行う画像符号化部１３０と、ズーム倍率を変更可能な操作部１６０とを備える。撮像信号処理部１２０は、ズーム倍率の変更に伴う撮像信号処理部１２０の動作モードの切り替えが開始された時点から正常な画像フレームが出力可能となるまでの移行期間中に移行状態信号１７１を有効とする。画像符号化部１３０は、移行状態信号１７１が有効となっている間では、移行期間直前にフレームバッファ１３１に記憶された画像フレームを用いて、動画像符号化を行う。
【解決手段】撮像装置１００は、撮像信号を出力するイメージセンサ１１０と、撮像信号に対する信号処理を行って画像フレーム１７０を出力する撮像信号処理部１２０と、画像フレーム１７０をフレームバッファ１３１に一時記憶し、フレームバッファ１３１から出力された画像フレームに対して動画像符号化を行う画像符号化部１３０と、ズーム倍率を変更可能な操作部１６０とを備える。撮像信号処理部１２０は、ズーム倍率の変更に伴う撮像信号処理部１２０の動作モードの切り替えが開始された時点から正常な画像フレームが出力可能となるまでの移行期間中に移行状態信号１７１を有効とする。画像符号化部１３０は、移行状態信号１７１が有効となっている間では、移行期間直前にフレームバッファ１３１に記憶された画像フレームを用いて、動画像符号化を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子ズーム機能を有する撮像装置及び電子ズーム方法に関する。
【背景技術】
【０００２】
ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）などの撮像素子により動画像の撮像を行うデジタルカメラが普及している。デジタルカメラでは、撮像素子から出力された撮像信号は、デジタル信号処理、画像符号化処理を経て、フラッシュメモリ等の記録装置に記録される。
【０００３】
このようなデジタルカメラでは、従来の光学ズーム機能に加え、いわゆる電子ズーム機能を有するものが登場している。電子ズームでは、撮像素子により撮像された画像の一部を切り出し、切り出した画像を拡大又は縮小することによってズーム倍率に応じた大きさの被写体画像を得るのが一般的である。
【０００４】
さらに、デジタルカメラでは、画像の切り出し処理や拡大又は縮小処理のような電子ズームに必要な処理負荷を軽減するために、例えば撮像素子から撮像信号を読み出すときに、同一のフィルタ色の複数画素の信号電荷を加算して読み出す「画素加算読出し」や、撮像素子から画素間引きをして信号電荷を読み出す「間引き読み出し」が行われている。
【０００５】
さらに、画素加算読出しや間引き読み出し等の画素の輝度値の読み出し方法（読み出しモード）をズーム倍率に応じて動的に変更することにより、信号処理負荷をさらに削減する撮像装置等が開示されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−１７０９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、ズーム倍率に応じて画素の輝度値の読み出しモードを切り替えると、正常な画像の出力が一時的に停止する。この期間では、画像フレームに乱れが生じ、正確な画像の表示や符号化が困難になる。これは、上記特許文献１に記載の撮像装置等においても同様である。
【０００８】
本発明は、上記実情に鑑みてなされたものであり、動画像撮影において、ズーム倍率に応じて読み出しモードを切り替える際に生じる画像の乱れを防止することにより、スムーズな電子ズームを実現することができる撮像装置及び電子ズーム方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明の第１の観点に係る撮像装置は、
撮像素子の光電変換により得られた撮像信号をズーム倍率に応じた読み出しモードで出力するイメージセンサと、
前記ズーム倍率が変更された場合の前記イメージセンサの読み出しモードの切り替えに伴って動作モードを切り換えながら、前記イメージセンサから出力された撮像信号に対する信号処理を行って画像フレームを出力する撮像信号処理部と、
前記撮像信号処理部から出力された画像フレームをフレームバッファに一時記憶し、前記フレームバッファから出力された画像フレームに対して動画像符号化を行う画像符号化部と、
操作入力により、前記ズーム倍率を変更可能な操作部と、
を備え、
前記撮像信号処理部は、
前記撮像信号処理部の動作モードの切り替えが開始された時点から正常な画像フレームが出力可能となるまでの移行期間中に移行状態信号を有効とし、
前記画像符号化部は、
前記移行状態信号が有効となっている間では、前記移行期間直前にフレームバッファに記憶された画像フレームを用いて、動画像符号化を行う、
ことを特徴とする。
【００１０】
本発明の第２の観点に係る電子ズーム方法は、
撮像素子の光電変換により得られた撮像信号をズーム倍率に応じた読み出しモードで出力するイメージセンサと、
前記ズーム倍率が変更された場合の前記イメージセンサの読み出しモードの切り替えに伴って動作モードを切り換えながら前記イメージセンサから出力された撮像信号に対する信号処理を行って画像フレームを出力する撮像信号処理部と、
前記撮像信号処理部から出力された画像フレームをフレームバッファに一時記憶し、前記フレームバッファから出力された画像フレームに対して動画像符号化を行う画像符号化部と、
操作入力により、前記ズーム倍率を変更可能な操作部と、
を備える撮像装置の電子ズーム方法であって、
前記撮像信号処理部において、
前記撮像信号処理部の動作モードの切り替えが開始された時点から正常な画像フレームが出力可能となるまでの移行期間中に移行状態信号を有効とする工程と、
前記画像符号化部において、
前記移行状態信号が有効となっている間では、前記移行期間直前にフレームバッファに記憶された画像フレームを用いて、動画像符号化を行う工程と、
を含む。
【発明の効果】
【００１１】
本発明によれば、ズーム倍率の変更に伴う撮像信号処理部の動作モードの切り替えにより、画像フレームが不安定となっている間は、切り替わる直前の画像フレームを用いて動画像符号化を行うので、画像の乱れを防止することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の第１の実施形態に係る撮像装置の構成を示すブロック図である。
【図２】撮影継続中にズーム倍率を変更していった場合の読み出しモードの切り替えの一例を示すグラフである。
【図３】図３（Ａ）乃至図３（Ｇ）は、撮像装置を構成する各構成要素の間でやりとりされる信号のタイミングチャートである。
【図４】本発明の第２の実施形態に係る撮像装置の構成を示すブロック図である。
【図５】図５（Ａ）乃至図５（Ｄ）は、第２の実施形態に係る移行期間を説明するためのタイミングチャートである。
【図６】本発明の第３の実施形態に係る撮像装置の構成を示すブロック図である。
【図７】図７（Ａ）乃至図７（Ｄ）は、第３の実施形態に係る移行期間を説明するためのタイミングチャートである。
【図８】本発明の第４の実施形態に係る撮像装置の構成を示すブロック図である。
【図９】図９（Ａ）乃至図９（Ｄ）は、第４の実施形態に係る移行期間を説明するためのタイミングチャートである。
【発明を実施するための形態】
【００１３】
本発明の実施形態について、図面を参照して詳細に説明する。
【００１４】
（第１の実施形態）
まず、本発明の第１の実施形態について説明する。
【００１５】
図１には、本実施形態に係る撮像装置１００の構成が示されている。図１に示すように、撮像装置１００は、イメージセンサ１１０、撮像信号処理部１２０、画像符号化部１３０、記録部１４０、表示部１５０及び操作部１６０を備える。
【００１６】
イメージセンサ１１０は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）又はＣＣＤ（Charge Coupled Device）などの撮像素子を有する。イメージセンサ１１０の撮像素子の各画素は、カラーフィルタを通して撮像対象（被写体）からの光を受光して光電変換する。撮像素子は、各画素の電荷の集合を撮像信号として出力する。イメージセンサ１１０は、撮像素子の光電変換により得られた撮像信号を、後述するようにズーム倍率に応じた読み出しモードで出力する。
【００１７】
カラーフィルタは、Ｒ、Ｇ、Ｂの３色で構成される原色ベイヤ配列や、Ｃ、Ｍ、Ｙ、Ｇの４色で構成される補色ベイヤ配列など、ｍ×ｎ画素（ｍ，ｎは整数）を単位配列とする周期配列のカラーパターンで並べられている。このカラーフィルタにより、撮像信号に基づく画像は、カラー画像となる。以下では、この撮像信号に基づく画像データを、以下ではＲＡＷ画像と呼ぶ。
【００１８】
イメージセンサ１１０は、複数の読み出しモードを設定可能である。より具体的には、イメージセンサ１１０では、撮像素子から電荷（輝度値）を読み出す際には、１画素ずつそのまま読み出すモード（画素加算なしモード）と、近隣の同色の複数の画素の輝度値を加算して読み出すモード（画素加算読み出しモード）とのいずれかが設定される。
【００１９】
画素加算なしモードが設定された場合には、イメージセンサ１１０は、撮像素子のうち、一部の領域から画素の輝度値を出力する。これにより、イメージセンサ１１０から出力されるＲＡＷ画像のデータ数を減らすことができる。一方、画素加算読み出しモードが設定された場合には、イメージセンサ１１０は、近隣領域の同色の複数の画素の輝度値を加算して１つの画素の輝度値として出力する。例えば２×２画素加算だと、４画素ずつ加算されるので、イメージセンサ１１０から出力されるデータ数を１／４に減らすことができる。
【００２０】
本実施形態では、イメージセンサ１１０において、画素加算読み出しモード（２×２画素加算）と、画素加算なしモードとを設定可能であるものとする。しかしながら、本発明はこれには限られない。例えば、イメージセンサ１１０では、読み出しモードとして、他に、画素加算読み出しモード（３×３画素加算）などの画素加算する画素数の異なるモードや、画素を間引いて読み出すモード（間引き読み出しモード）などのその他の読み出しモードがサポートされていてもよい。
【００２１】
撮像信号処理部１２０は、ズーム倍率が変更された場合のイメージセンサ１１０の読み出しモードの切り替えに伴って動作モードを切り換えながら、イメージセンサ１１０から出力された撮像信号（ＲＡＷ画像）に対して、信号処理（デジタル画像処理）を行って、輝度Ｙ成分、色差Ｕ成分及びＶ成分からなるカラーの撮像信号であるＹＵＶ信号に変換して出力する。この出力は、１フレーム期間に出力されるＹＵＶ画像の撮像信号が１枚の画像を構成している。この画像を画像フレーム１７０と呼ぶ。
【００２２】
画像符号化部１３０は、Ｈ．２６４／ＡＶＣ（Advanced Video Coding）などに準拠した動画像符号化処理を行って撮像信号処理部１２０から出力された画像フレーム１７０を符号化し、動画像ストリームとして出力する。
【００２３】
記録部１４０は、フラッシュメモリやＨＤＤ（Hard Disc Drive）などの記録デバイスである。記録部１４０には、画像符号化部１３０から出力された画像フレームが記録される。
【００２４】
表示部１５０は、画像を表示する。表示部１５０には、表示データ読み出し部１３４から出力された画像フレームに基づく画像が表示される。
【００２５】
操作部１６０は、録画の開始・終了タイミングや、ズーム倍率等をユーザが指定するためのユーザインターフェイスである。例えば、操作部１６０は、操作入力により、画像フレームに基づく画像のズーム倍率を変更可能である。操作部１６０は、ユーザの操作内容を示す操作信号を、撮像信号処理部１２０に出力する。
【００２６】
続いて、撮像信号処理部１２０の詳細な構成について説明する。
【００２７】
撮像信号処理部１２０は、ＲＡＷ−ＹＵＶ変換部１２１を備える。ＲＡＷ−ＹＵＶ変換部１２１は、制御信号が入力されるタイミングで、イメージセンサ１１０から出力されたＲＡＷ画像を、ＹＵＶ画像へ変換する。さらに、ＲＡＷ−ＹＵＶ変換部１２１は、ズーム倍率に応じて、ＹＵＶ画像の一部領域を拡大した画像データを、画像フレーム１７０として出力する。
【００２８】
撮像信号処理部１２０は、撮像信号処理クロック生成部１２２、撮像信号処理タイミングジェネレータ１２３、撮像信号処理制御部１２４及び移行状態信号生成部１２５をさらに備える。
【００２９】
撮像信号処理クロック生成部１２２は、発振子とＰＬＬ（Phase-Locked loop）とを備える。撮像信号処理クロック生成部１２２は、動作クロック信号を生成し、撮像信号処理タイミングジェネレータ１２３に出力する。
【００３０】
撮像信号処理タイミングジェネレータ１２３は、撮像信号処理クロック生成部１２２から出力された動作クロック信号に同期するサンプリングパルス信号を生成して、撮像信号処理制御部１２４に出力する。このサンプリングパルス信号は、イメージセンサ１１０から画素を読み出すタイミングを指定するための信号である。サンプリングパルス信号には、垂直同期信号と水平同期信号とが含まれる。
【００３１】
撮像信号処理制御部１２４は、操作部１６０から出力されるズーム倍率等の操作信号に従って、動作モードを決定する。撮像信号処理制御部１２４は、ＲＡＷ−ＹＵＶ変換部１２１と、イメージセンサ１１０と、移行状態信号生成部１２５とにそれぞれ、決定された動作モードの内容を含む制御信号を出力する。ＲＡＷ−ＹＵＶ変換部１２１及びイメージセンサ１１０では、この制御信号に基づいて読み出しモードや画像の拡大倍率が設定される。撮像信号処理制御部１２４は、動作モードを切り替えるため、必要に応じてリセット・シーケンスを行う。
【００３２】
移行状態信号生成部１２５は、撮像信号処理制御部１２２から出力される制御信号に基づいて、操作部１６０によるズーム倍率の変更に伴う撮像信号処理部１２０の動作モードの切り替えが開始されると、撮像信号処理部１２０が移行期間であることを示す移行状態信号１７１を信号レベルを有効なレベル（例えばハイレベル）として、画像符号化部１３０の移行状態制御部１３８に出力する。移行状態信号１７１は、１ビットの信号である。撮像信号処理部１２０から正常な画像フレームの出力が可能となり、移行期間が完了すると、移行状態信号生成部１２５は、移行状態信号１７１の信号レベルを無効なレベル（例えばローレベル）に変更する。
【００３３】
続いて、画像符号化部１３０の詳細な構成について説明する。
【００３４】
画像符号化部１３０は、フレームバッファ１３１、ストリーム生成部１３２、参照フレームバッファ１３３及び表示データ読み出し部１３４を備える。
【００３５】
フレームバッファ１３１は、ＲＡＷ−ＹＵＶ変換部１２１から出力された画像フレーム１７０を一時記憶する。フレームバッファ１３１は、ストリーム生成部１３２に画像フレーム１７２を出力し、表示データ読み出し部１３４に画像フレーム１７３を出力する。
【００３６】
なお、フレームバッファ１３１からストリーム生成部１３２に画像フレーム１７２を出力する際には、動画像符号化に適した順序に入れ替える処理（リオーダリング処理）が行われる。一方、フレームバッファ１３１から表示データ読み出し部１３４に画像フレーム１７３を出力する際には、リオーダリング処理は行われない。
【００３７】
ストリーム生成部１３２は、フレームバッファ１３１から連続して出力される画像フレーム１７２を前述の動画像符号化方式を用いて符号化し、符号化された動画像ストリームを記録部１４０に出力する。
【００３８】
参照フレームバッファ１３３は、動画像符号化の画面間予測符号化に必要な参照フレームを、ストリーム生成部１３２から受け取り、一時的に記録する。さらに、参照フレームバッファ１３３は、記録された参照フレームを、必要に応じてストリーム生成部１３２に出力する。
【００３９】
表示データ読み出し部１３４は、フレームバッファ１３１から出力された画像フレーム１７３に撮影情報の字幕等を重畳するなど、スルー画像表示に必要な画像処理を行って表示データを生成し、生成された表示データを表示部１５０に出力する。
【００４０】
画像符号化部１３０は、画像符号化クロック生成部１３５、画像符号化タイミングジェネレータ１３６、画像符号化制御部１３７及び移行状態制御部１３８をさらに備える。
【００４１】
画像符号化クロック生成部１３５は、動作クロック信号を生成して画像符号化タイミングジェネレータ１３６に出力する。
【００４２】
画像符号化タイミングジェネレータ１３６は、画像符号化クロック生成部１３５から出力された動作クロック信号を入力する。画像符号化タイミングジェネレータ１３６は、入力された動作クロック信号に同期して、ストリーム生成部１３２が画像フレームを読み込むタイミングを示すサンプリングパルス信号（垂直同期信号及び水平同期信号）を生成して画像符号化制御部１３７に出力する。このサンプリングパルス信号は、画像符号化クロック生成部１３５から出力された動作クロック信号に同期している。
【００４３】
画像符号化制御部１３７は、画像符号化タイミングジェネレータ１３６から出力された動作クロック信号に同期したタイミングで、ピクチャ符号化制御信号など、動画像符号化に必要な制御信号をストリーム生成部１３２に出力し、表示に必要な制御信号を表示データ読み出し部１３４に出力する。
【００４４】
また、画像符号化制御部１３７は、画像フレーム１７０をフレームバッファ１３１に書き込むタイミングと、フレームバッファ１３１から画像フレーム１７２、１７３を読み出すタイミングとを指定するサンプリングパルス信号を、移行状態制御部１３８に出力する。
【００４５】
移行状態制御部１３８は、後述する移行状態信号１７１に基づいて、画像フレーム１７０をフレームバッファ１３１に書き込むか否かを示す制御信号を生成してフレームバッファ１３１に出力する。移行状態制御部１３８は、移行状態信号１７１の信号レベルが無効なレベルとなっている間は、画像フレーム１７０を記憶し、画像フレーム１７２、１７３を出力するように、フレームバッファ１３１を制御する。一方、移行状態制御部１３８は、移行状態信号１７１の信号レベルが有効なレベルとなっている間は、移行期間直前にフレームバッファ１３１に記憶された画像フレームを用いて、ストリーム生成部１３２で動画像符号化が行なわれるように、フレームバッファ１３１を制御する。
【００４６】
次に、本実施形態に係る撮像装置１００における電子ズーム処理について説明する。
【００４７】
電子ズーム処理は、イメージセンサ１１０における読み出しモードの変更と、ＲＡＷ−ＹＵＶ変換部１２１の画像スケーリング機能とによって実現される。
【００４８】
イメージセンサ１１０の読み出しモードは、ズーム倍率によって切り替えられる。ズーム倍率が低い広角撮影時には、イメージセンサ１１０に画素加算読み出しモード（２×２画素加算）が設定されて、イメージセンサ１１０の撮像素子の全体から最大画角で画像が読み出される。一方、ズーム倍率が高い望遠撮影時には、イメージセンサ１１０に画素加算なしモードが設定され、画角が狭く、画素加算されていない精細な画像が読み出される。本実施形態では、ズーム倍率が１．０倍以上２．０倍未満では、画素加算読み出し（２×２画素加算）モードが設定され、ズーム倍率が２．０倍以上では、画素加算なしモードが設定される。
【００４９】
ただし、イメージセンサ１１０の読み出しモードの変更だけでは、１．０倍、２．０倍など、決まった倍率への変更しかできない。そこで、任意のズーム倍率を得るため、ＲＡＷ−ＹＵＶ変換部１２１には、画像スケーリング機能が設けられている。ＲＡＷ−ＹＵＶ変換部１２１は、ズーム倍率に応じて、画像の一部の領域を切り出して拡大する。このようにすることで、任意のズーム倍率での撮像が可能となる。
【００５０】
図２には、このようにして撮影継続中にズーム倍率を変更していった場合の読み出しモードの変化の一例が示されている。
【００５１】
ズーム倍率の変更は、ユーザの操作部１６０の操作によって行われる。操作部１６０の操作により、ズーム倍率が変更されると、変更されたズーム倍率に関する情報を含む操作信号が操作部１６０から撮像信号処理制御部１２４へ出力される。撮像信号処理制御部１２４は、操作信号に含まれるズーム倍率に基づく制御信号をイメージセンサ１１０と、ＲＡＷ−ＹＵＶ変換部１２１とに出力する。イメージセンサ１１０と、ＲＡＷ−ＹＵＶ変換部１２１とは、協働して、変更されたズーム倍率での画像フレーム１７０を生成する。
【００５２】
ズーム倍率は、画像フレームの切り替わりタイミングでのみ変更される。このため、１フレーム期間では、同じズーム倍率での画像フレーム１７０の出力が継続される。図２では、時刻Ｔ４、Ｔ５、Ｔ６、Ｔ８、Ｔ９、Ｔ１０でズーム倍率が変更されている。
【００５３】
図２の太線で示されるように、ユーザによる操作部１６０の操作によって、時刻Ｔ４からズーム倍率が徐々に大きくなっていく。この間、イメージセンサ１１０は、入力された制御信号に従って設定された読み出しモードで、ＲＡＷ画像を出力する。ＲＡＷ−ＹＵＶ変換部１２１は、入力された制御信号に従って、画像スケーリング機能を用いて画像を切り出す。
【００５４】
より具体的には、時刻Ｔ５まではズーム倍率が２．０倍未満なので、時刻Ｔ６までは、イメージセンサ１１０の読み出しモードとして画素加算読み出しモード（２×２画素加算）設定される。１．０倍から２．０倍までのズーム倍率の微調整は、ＲＡＷ−ＹＵＶ変換部１２１の画像スケーリング機能によって行われる。
【００５５】
時刻Ｔ６になると、ズーム倍率が２．０倍に達するので、イメージセンサ１１０の読み出しモードは、画素加算なしモードに変更される。撮像信号処理部１２０は、この読み出しモードの変更に対応するために、自らの動作モードを変更すべくリセット・シーケンスを実施する。これにより、画像フレーム１７０の出力が停止される。この期間を移行期間とする。移行期間の開始時刻は時刻Ｔ６であり、終了時刻は時刻Ｔ７である。移行期間終了後（すなわち時刻Ｔ７から）、イメージセンサ１１０は、画素加算なしモードで画像フレームを出力する。
【００５６】
このように、移行期間は、撮像信号処理部１２０の内部の動作モードの変更に始まる。移行期間は、撮像信号処理部１２０の設計仕様として与えられる所定の期間とする。
【００５７】
移行期間は、例えば、以下に示すような理由によって設ける必要がある。
【００５８】
撮像信号処理部１２０は、イメージセンサ１１０が画素毎の輝度値を出力する周期に同期して内部の信号処理を実施している。イメージセンサ１１０の読み出しモードの変更に伴ってフレームレートを変更しようとすると、撮像信号処理部１２０の動作周波数を変更し、その際に動作クロックを一時的に停止させる必要がある場合がある。
【００５９】
また、撮像信号処理部１２０は、イメージセンサ１１０が各画素の輝度値を出力するタイミング（垂直同期信号、水平同期信号）に同期して内部の信号処理を実施するので、イメージセンサ１１０の読み出しモードを変更すると、イメージセンサ１１０から画素の輝度値を読み出すタイミングを変更する必要がある場合がある。さらに、画素の輝度値を読み出す領域（画角）を変更する場合にも、イメージセンサ１１０から画素の輝度値を読み出すタイミングを変更する必要がある場合がある。このような画素の輝度値を読み出すタイミングの変更に対応するため、撮像信号処理部１２０では、リセット・シーケンスを実施する必要がある。リセットシーケンスは、ある程度時間を要する処理である。この処理を行うため、移行期間が必要となる。
【００６０】
移行期間終了後（時刻Ｔ７から）、イメージセンサ１１０の読み出しモードが、画素加算なしモードに設定された状態で、イメージセンサ１１０からの撮像信号の出力や、撮像信号処理部１２０における信号処理等が再開される。
【００６１】
次に、撮像装置１００内部における信号シーケンスについて、図３（Ａ）乃至図３（Ｇ）を参照して説明する。
【００６２】
図３（Ａ）には、移行状態信号１７１が示されている。また、図３（Ｂ）には、撮像信号処理タイミングジェネレータ１２３のサンプリングパルス信号３０３が示されている。また、図３（Ｃ）には、ＲＡＷ−ＹＵＶ変換部１２１から出力される画像フレーム１７０が示されている。
【００６３】
さらに、図３（Ｄ）には、画像符号化タイミングジェネレータ１３６から出力される垂直同期信号３０６が示されている。また、図３（Ｅ）には、表示データ読み出し部１３４に入力される画像フレーム１７３が示されている。また、図３（Ｆ）には、ストリーム生成部１３２に入力される画像フレーム１７２が示されている。また、図３（Ｇ）には、
画像フレーム１７２を符号化ストリーム３１１として表したものである。
【００６４】
図３（Ａ）乃至図３（Ｇ）における時刻Ｔ０乃至時刻Ｔ１２は、図２の時刻Ｔ０乃至時刻Ｔ１２に対応している。この実施形態では、時刻Ｔ０から時刻Ｔ１２まで、ズーム倍率が図２に示すように変化した場合における撮像装置１００の信号シーケンスが示されている。
【００６５】
まず、時刻Ｔ０から時刻Ｔ６に至るまでの処理シーケンスについて説明する。
【００６６】
図３（Ａ）に示すように、移行状態信号生成部１２５から出力される移行状態信号１７１は、ズーム倍率が１．０以上２．０未満の時刻Ｔ０から時刻Ｔ６までは、ローレベルとなっている。
【００６７】
図３（Ｂ）に示すサンプリングパルス信号３０３は、撮像信号処理制御部１２４を介して、ＲＡＷ−ＹＵＶ変換部１２１に出力されている。図３（Ｃ）に示すように、ＲＡＷ−ＹＵＶ変換部１２１は、サンプリングパルス信号３０３が立ち上がる度に、１枚の画像フレームを構成する各画素の撮像信号を、ラスタ・スキャン順に出力する。すなわち、撮像信号処理部１２０から画像フレーム１７０が出力されるタイミングは、撮像信号処理タイミングジェネレータ１２３から出力されるサンプリングパルス信号３０３に同期している。
【００６８】
なお、図３（Ｃ）において、各画像フレーム１７０に示される数値は、撮像信号処理部１２０から出力される画像フレーム１７０に、時系列順の番号として付与されたフレーム番号である。図３（Ｃ）では、時刻Ｔ０からＴ１の間に最初の画像フレーム（フレーム番号１）が出力され、時刻Ｔ１からＴ２の間に次の画像フレーム（フレーム番号２）が出力されている。
【００６９】
撮像信号処理部１２０から出力された画像フレーム１７０は、フレームバッファ１３１に記録される。
【００７０】
一方、図３（Ｄ）に示す垂直同期信号３０６は、画像符号化制御部１３７を介して、表示データ読み出し部１３４に出力されている。図３（Ｅ）に示すように、表示データ読み出し部１３４は、垂直同期信号３０６が立ち上がる度に、１枚の画像フレーム１７３をフレームバッファ１３１から読み出す。フレームバッファ１３１から表示データ読み出し部１３４へは、フレーム番号１からフレーム番号６までの画像フレームに関しては、フレームバッファ１３１に記録された順で出力される。
【００７１】
また、図３（Ｄ）に示す垂直同期信号３０６は、画像符号化制御部１３７を介して、ストリーム生成部１３２に出力されている。図３（Ｆ）に示すように、ストリーム生成部１３２は、垂直同期信号３０６が立ち上がる度に、１枚の画像フレーム１７２をフレームバッファ１３１から読み出して、動画像符号化を行う。
【００７２】
画像フレーム１７２は、動画像符号化に適した順序（符号化順）にリオーダリング処理されている。図３（Ｆ）及び図３（Ｇ）で総合的に示すように、リオーダリング処理によって、Ｉピクチャはディスプレイ順より１フレーム、Ｂピクチャはディスプレイ順より２フレーム遅延して、Ｐピクチャはディスプレイ順と同じタイミングで、ストリーム生成部１３２に出力される。
【００７３】
図３（Ｇ）に示すように、ストリーム生成部１３２によって生成された符号化ピクチャ３１１は、画面内符号化を行うＩピクチャ、画面間符号化を行うＰピクチャ、Ｂピクチャから選択可能である。本実施形態では、Ｉ、Ｐ、Ｂ、Ｐ、Ｂの順序を１単位として、その順序を繰り返して符号化が行われる。より具体的には、Ｐピクチャは、過去に符号化されたＩピクチャを参照して符号化され、Ｂピクチャは、過去に符号化されたＩピクチャ又はＰピクチャを参照して符号化される。
【００７４】
続いて、時刻Ｔ６においてズーム倍率が２．０倍となった後の処理について説明する。
【００７５】
この場合、撮像信号処理制御部１２４は、イメージセンサ１１０、ＲＡＷ−ＹＵＶ変換部１２１及び移行状態信号生成部１２５に対して、その旨の制御信号を出力する。
【００７６】
この制御信号を受けて、イメージセンサ１１０は、読み出しモードを画素加算なしモードに切り替える。また、この制御信号を受けて、ＲＡＷ−ＹＵＶ変換部１２１は、画像スケーリング機能の倍率を初期化する。さらに、移行状態信号生成部１２５は、移行状態信号１７１を、移行期間の開始時にローレベルからハイレベルに切り換える。これにて、撮像装置１００は、移行状態に遷移する。この後、撮像信号処理部１２０は、リセット・シーケンスを実施する。
【００７７】
移行状態では、撮像信号処理部１２０から出力される画像フレーム１７０が乱れているので、移行状態信号１７１がハイレベルになったことを検出した移行状態制御部１３８は、画像フレーム１７０を記録せず、移行状態の直前に記録された画像フレームをリピート出力するように、フレームバッファ１３１を制御する。
【００７８】
この制御により、フレームバッファ１３１から、画像フレーム１７２、１７３として、移行状態となる直前に記録された画像フレームがリピート出力される。図３（Ｅ）では、フレーム番号６の画像フレームが５回連続で、表示データ読み出し部１３４へリピート出力されている。
【００７９】
なお、移行状態信号１７１は、移行状態信号生成部１２５の内部のメモリやレジスタ等の記憶領域に保持されているが、撮像信号処理部１２０のリセットがあっても、ハイレベルに維持されるように構成されており、撮像信号処理部１２０がリセット・シーケンスを実施している間も、その値が保持されるようになっている。
【００８０】
続いて、移行期間が終了した時刻Ｔ７以降の処理について説明する。この時点では、撮像信号処理部１２０のリセット・シーケンスは終了している。
【００８１】
時刻Ｔ７において、図３（Ａ）に示すように、移行状態信号生成部１２５は、移行状態信号１７１を、ハイレベルからローレベルに切り換える。移行状態信号１７１がローレベルになったことを検出した移行状態制御部１３８は、フレームバッファ１３１を、画像フレーム１７０を記録して出力する状態に戻す。
【００８２】
この時点で、イメージセンサ１１０は、すでに画素加算なしモードに切り替わっており、画素加算なしモードで撮像信号を出力している。図３（Ｃ）に示すように、ＲＡＷ−ＹＵＶ変換部１２１は、入力した撮像信号に基づいて、画像フレーム１７０としてフレーム番号７以降の画像フレームを生成して出力する。
【００８３】
図３（Ｅ）に示すように、表示データ読み出し部１３４は、時刻Ｔ０乃至時刻Ｔ６と同様に、垂直同期信号３０６が立ち上がる度に、画像フレーム１７３を１枚ずつフレームバッファ１３１から読み出す。一方、図３（Ｆ）及び図３（Ｇ）に示すように、ストリーム生成部１３２は、時刻Ｔ０乃至時刻Ｔ６と同様に、垂直同期信号３０６が立ち上がる度に、１枚の画像フレーム１７２をフレームバッファ１３１から読み出して、動画像符号化を行う。
【００８４】
なお、移行期間の長さはフレーム周期の整数倍になるとは限らないため、移行状態から通常状態に復帰した後は、撮像信号処理部１２０の出力タイミングが、移行前のタイミングとずれてしまうことがある。どのようなタイミングで撮像信号処理部１２０からフレームが出力されたとしても、画像符号化を可能とするためには、画像フレーム１７０を、画像符号化部タイミングジェネレータ１２３から出力される垂直同期信号３０６に同期させるフレームシンクロナイザの機能が必要となる。本実施形態では、画像符号化部１３０内のフレームバッファ１３１を用いて、フレームシンクロナイザの機能が実現されている。
【００８５】
以上詳細に説明したように、本実施形態によれば、ズーム倍率の変更に伴う撮像信号処理部１２０の動作モードの切り替えにより、画像フレーム１７０が不安定となっている間は、切り替わる直前の画像フレーム１７０を用いて動画像符号化等を継続するので、その間の画像の乱れを防止することができる。
【００８６】
リセット・シーケンスに影響されずに画像フレームをリピートし、フレームシンクロナイザの機能を実現して、画像の乱れを防止するためには、ＲＡＷ−ＹＵＶ処理部１２１から出力された画像フレーム１７０を記録するためのバッファを、撮像信号処理部１２０より後段に用意する必要がある。しかしながら、フレームバッファを新たに追加すると、製造などにかかるコストが増えてしまう。動画像符号化におけるリオーダリング処理を行うために、画像符号化部１３０は、フレームバッファ１３１を備えている。そこで、本実施形態では、このフレームバッファ１３１を、画像フレームのリピート出力にも活用する。これにより、撮像装置１００内に、新たなバッファを追加しなくて済むようになるので、より少ないコストで画像の乱れを防止することができる。
【００８７】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。
【００８８】
上記第１の実施形態では、イメージセンサ１１０の読み出しモードの変更に伴い、撮像信号処理部１２０でリセット・シーケンスを行うなどの理由により、画像フレームを出力できない期間（移行期間）が発生するとして、その期間に生じる画像の乱れを防止した。
【００８９】
本実施形態では、撮像信号処理部１２０が、自動露出（Auto Exposure：ＡＥ）制御を行う点に着目する。より具体的には、本実施形態では、イメージセンサ１１０の読み出しモードが切り替わってからＡＥ制御が安定するまでに１フレームから数フレーム分の時間を要する点に着目する。
【００９０】
読み出しモードを、画素加算読み出しモードと画素加算なしモードとの間で変更すると、出力される画素のゲインが変化する。ゲインの変化を補正し、ＡＥ制御の評価値である測光値が収束するまでには、数フレーム分の時間を要する。このため、撮像信号処理部１２０のリセット・シーケンスが発生しないか、もしくは終了した後であっても、測光値が収束していない場合には、撮像信号処理部１２０から出力される画像フレームはその画質が安定せず、画像が乱れてしまう。
【００９１】
そこで、本実施形態では、測光値が収束する前に発生する画像の乱れを防止し、スムーズに電子ズームを行う。
【００９２】
図４には、本実施形態の撮像装置１００の構成が示されている。図４に示すように、本実施形態では、撮像信号処理制御部１２４がＡＥ制御部４００を備えている点が上記第１の実施形態と異なる。
【００９３】
ＡＥ制御部４００は、制御信号をイメージセンサ１１０に出力するとともに、制御信号を移行状態信号生成部１２５に出力する。
【００９４】
図５（Ａ）乃至図５（Ｄ）を参照して、本実施形態に係る移行期間について説明する。
図５（Ａ）には、絞り（Ｆ）値の制御信号（Ｆ値制御信号）が示されている。また、図５（Ｂ）には、シャッタースピード制御信号が示されている。また、図５（Ｃ）には、測光値が示されている。さらに、図５（Ｄ）には、ズーム倍率が示されている。
【００９５】
ＡＥ制御の動作モードには、絞り優先モードと、シャッタースピード優先モードとがある。それぞれの動作モードでは、絞り（Ｆ値）・シャッタースピードのどちらかの制御量が、ユーザの指定する数値に優先的に合わされており、もう１つの制御量が、露出が適正になるように、適応的に変更される。
【００９６】
図５（Ａ）乃至図５（Ｄ）では、絞り優先モードの場合が示されている。図５（Ａ）に示すように、絞りは‘５．６’に設定されている。本実施形態では、図５（Ｄ）に示すように、時刻Ｔ６においてズーム倍率が２．０倍となり、イメージセンサ１１０の読み出しモードが切り替え、撮像信号処理部１１０の動作モードを切り替えが開始されてから、図５（Ｃ）に示すように、時刻Ｔ７において測光値が最適になるまで、図５（Ｂ）に示すように、シャッタースピードを調整してＡＥ制御が行われる。
【００９７】
ＡＥ制御を行っている間（時刻Ｔ６から時刻Ｔ７まで）は、測光値が最適ではないので、画像が乱れている。本実施形態では、イメージセンサ１１０の読み出しモードが切り替わり、撮像信号処理部１２０の動作モードの変更が開始されるとともに、ＡＥ制御が開始された時点から測光値が収束するまでの期間を移行期間とする。
【００９８】
図５（Ａ）乃至図５（Ｄ）では、絞り優先モードの場合について示しているが、シャッタースピード優先モードにおいても、同様に、測光値が最適になるまで、シャッタースピードを調整してＡＥ制御が行われ、移行期間が継続される。
【００９９】
本実施形態では、移行状態制御部１２５が、ＡＥ制御部４００から出力される制御信号に基づいて、動作モード変更後（時刻Ｔ６後）の測光値を監視し、収束するまでの期間（時刻Ｔ７までの期間）が移行期間となるように、移行状態信号１７１を生成して出力する。出力された移行状態信号１７１は移行状態制御部１３８に入力される。移行状態制御部１３８は、上記第１の実施形態と同様に、移行期間に出力された画像フレームを、表示・符号化に用いないようにして、画像の乱れを防止する。
【０１００】
本実施形態によれば、ＡＥ制御により、測光値が収束せず画像フレーム１７０が不安定となっている間は、切り替わる直前の画像フレーム１７０を用いて動画像符号化等を継続するので、その間の画像の乱れを防止することができる。
【０１０１】
また、上記第１の実施形態と同様に、符号化用に用いられるフレームバッファ１３１を、画像フレームのリピート出力に用いることで、新たなバッファを追加しなくて済むようになるので、より少ないコストで画像の乱れを防止することができる。
【０１０２】
（第３の実施形態）
次に、本発明の第３の実施形態について説明する。
【０１０３】
本実施形態では、撮像信号処理部１２０がオートホワイトバランス（Auto White Balance; ＡＷＢ）制御が行う点に着目する。より具体的には、本実施形態では、イメージセンサ１１０の読み出しモードを切り替えた後に、ＡＷＢ制御が安定するまでに１フレームから数フレーム分の時間を要する点に着目する。
【０１０４】
読み出しモードを、画素加算読み出しモードと画素加算なしモードとの間で変更すると、イメージセンサ１１０の撮像素子の各画素のゲインが変化する。ゲインの変化を補正し、ＡＷＢ制御の評価値である色温度が所望の値に収束するまでには、数フレーム分の時間を要する。このため、撮像信号処理部１２０のリセット・シーケンスが発生しないか、もしくは終了した後であっても、色温度が収束していない場合には、撮像信号処理部１２０から出力される画像フレームはその画質が安定しておらず、画像が乱れてしまう。
【０１０５】
本実施形態では、色温度が収束する前に発生する画像の乱れを防止し、スムーズに電子ズームを行う。
【０１０６】
図６には、第３の実施形態に係る撮像装置１００の構成が示されている。図６に示すように、本実施形態では、撮像信号処理制御部１２４がＡＷＢ制御部６００を備えている点が、上記第１の実施形態と異なる。
【０１０７】
ＡＷＢ制御部６００は、制御信号をＲＡＷ−ＹＵＶ変換部１２１に出力するとともに、その制御信号を移行状態信号生成部１２５に通知する。
【０１０８】
図７（Ａ）乃至図７（Ｄ）を参照して、本実施形態に係る移行期間について説明する。図７（Ａ）には、ＡＷＢ制御部６００からＲＡＷ−ＹＵＶ変換部１２１に出力されるＲ／Ｇゲイン制御信号が示されている。また、図７（Ｂ）には、ＡＷＢ制御部６００からＲＡＷ−ＹＵＶ変換部１２１に出力されるＢ／Ｇゲイン制御信号が示されている。また、図７（Ｃ）には、色温度が示されている。さらに、図７（Ｄ）には、ズーム倍率が示されている。
【０１０９】
ＡＷＢ制御部６００は、撮像された画像の色温度を解析し、所望の色温度（例えば６５００Ｋ）に変換されるように、Ｒ／Ｇゲイン、Ｂ／Ｇゲインを調整する。ＡＷＢ制御を行っている間（時刻Ｔ６から自国Ｔ７まで）は、色温度が最適ではないので、画像が乱れている。本実施形態では、イメージセンサ１１０の読み出しモードが切り替わり、撮像信号処理部１２０の動作モードの切り替えが開始されるとともに、ＡＷＢ制御部６００のＡＷＢ制御が開始されてから、色温度が収束するまでの期間を移行期間とする。
【０１１０】
本実施形態では、移行状態制御部１３８は、ＡＷＢ制御部６００から出力される制御信号に基づいて、撮像信号処理部１２０の動作モード変更後の色温度を監視し、色温度が収束するまでの期間が移行期間となるように、移行状態信号１７１の信号レベルをハイレベルとする。移行状態信号１７１は移行状態制御部１３８に入力される。移行状態制御部１３８は、上記第１の実施形態と同様に、移行期間に撮像信号処理部１２０から出力された画像フレーム１７０を、表示・符号化に用いないようにして、画像の乱れを防止する。
【０１１１】
本実施形態によれば、ＡＷＢ制御により、色温度が収束せず画像フレーム１７０が不安定となっている間は、切り替わる直前の画像フレーム１７０を用いて動画像符号化等を継続するので、その間の画像の乱れを防止することができる。
【０１１２】
また、上記第１の実施形態と同様、符号化用に用いられるフレームバッファ１３１を、画像フレームのリピート出力に用いることで、新たなバッファを追加しなくて済むようになるので、より少ないコストで画像の乱れを防止することができる。
【０１１３】
（第４の実施形態）
次に、本発明の第４の実施形態について説明する。
【０１１４】
本実施形態では、撮像信号処理部１２０が、フレーム・ノイズ・リダクション（Frame Noise Reduction; FNR）処理を行う点に着目する。本実施形態では、イメージセンサ１１０の読み出しモードを切り替え、撮像信号処理部１２０の動作モードを切り換えた後に、ＦＮＲ処理から出力される画像フレーム１７０の画質の安定に数フレーム分の時間を要する点に着目する。
【０１１５】
ＦＮＲ処理は、連続して撮像された画像フレームを用いて、主として静止する被写体のノイズを低減する処理である。本実施形態では、連続する３枚の画像フレームを用いてＦＮＲ処理を行う場合について説明する。
【０１１６】
ＦＮＲ処理では、連続した画像フレームの画像を比較して、その差分をノイズと判定して、ノイズ除去を行う。しかしながら、撮像信号処理部１２０の動作モードを切り替えると、その切り替え前後で、ＲＡＷ−ＹＵＶ処理部１２１から出力される画像フレームの画質が大きく変化するため、ＦＮＲ処理を実施すると、出力される画像に乱れが生じる。本実施形態では、ＦＮＲ処理を実施する場合に生じる画像の乱れを防止し、スムーズに電子ズームを行う。
【０１１７】
図８には、本実施形態に係る撮像装置１００の構成が示されている。本実施形態では、撮像信号処理制御部１２４がＦＮＲ処理部８００と、ＦＮＲ用フレームバッファ８０１を備えている点が、上記第１の実施形態と異なる。
【０１１８】
ＦＮＲ処理部８００は、ＲＡＷ−ＹＵＶ変換部１２１から出力される画像フレームを、入力してＦＮＲ処理を行い、ＦＮＲ処理を行った画像フレーム１７０をフレームバッファ１３１に出力する。
【０１１９】
ＦＮＲ用フレームバッファ８０１は、ＦＮＲ処理部８００から、画像フレームを受け取り、一時的に記録する。また、ＦＮＲ用フレームバッファ８０１は、ＦＮＲ処理部８００に対して、過去２枚前までに記録された画像フレームを出力する。ここでは、２つ前の画像フレームを画像フレームＡとし、１つ前の画像フレームを画像フレームＢとする。
【０１２０】
図９（Ａ）乃至図９（Ｄ）を参照して、本実施形態に係る移行期間について説明する。図９（Ａ）には、ＦＮＲ用フレームバッファ８０１に記録される２フレーム前の画像フレームＡが示されている。図９（Ｂ）には、ＦＮＲ用フレームバッファ８０１に記録される１フレーム前の画像フレームＢが示されている。図９（Ｃ）には、ＲＡＷ−ＹＵＶ変換部１２１から出力される画像フレームが示されている。さらに、図９（Ｄ）にはズーム倍率が示されている。
【０１２１】
本実施形態のＦＮＲ処理では、ＲＡＷ−ＹＵＶ変換部１２１が出力する画像フレーム１枚と、ＦＮＲ用フレームバッファ８０１から読み取った過去２枚分の画像フレームＡ、Ｂの、計３枚を用いて、ノイズ除去が行われる。例えば、時刻Ｔ２から時刻Ｔ３の間では、フレーム番号１の画像フレームＡと、フレーム番号２の画像フレームＢと、ＲＡＷ−ＹＵＶ変換部１２１から出力されたフレーム番号３の画像フレームとを用いてノイズ除去が行われる。
【０１２２】
時刻Ｔ６と時刻Ｔ７の間、すなわち撮像信号処理部１２０の動作モードの変更前後に、ＲＡＷ−ＹＵＶ変換部１２１から出力された画像フレームを混在させてＦＮＲ処理を実施すると、画像が乱れてしまう。本実施形態では、これを防ぐために、動作モード変更後から、ＦＮＲ処理に必要な２フレーム分の期間（すなわち時刻Ｔ６から時刻Ｔ７までの期間）を移行期間とする。
【０１２３】
本実施形態においては、移行状態信号生成部１２５は、ＦＮＲ処理部８００から出力される情報に基づいて、ＦＮＲ処理に用いられる画像フレームを監視し、ＦＮＲ処理に用いられる全ての画像フレームが同じ動作モードであるときにＲＡＷ−ＹＵＶ部１２１から出力されていない期間が移行期間となるように、移行状態信号１７１を生成して出力する。出力された移行状態信号１７１は移行状態制御部１３８に入力される。移行状態制御部１３８は、上記第１の実施形態と同様に、移行期間に撮像信号処理部１２０から出力された画像フレームを、表示・符号化に用いないようにして、画像の乱れを防止する。
【０１２４】
本実施形態によれば、ＦＮＲ処理が行われた画像フレーム１７０が不安定となっている間は、撮像信号処理部１２０の動作モードが切り替わる直前の画像フレーム１７０を用いて動画像符号化等を継続するので、その間の画像の乱れを防止することができる。
【０１２５】
また、上記第１の実施形態と同様、符号化用に用いられるフレームバッファ１３１を、画像フレームのリピート出力に用いることで、新たなバッファを追加しなくて済むようになるので、より少ないコストで画像の乱れを防止することができる。
【０１２６】
なお、本実施形態では、移行期間を２フレーム分としたが、この移行期間は、ＦＮＲフレームに必要なフレーム数に応じて増減する。
【０１２７】
上記実施の形態の一部又は全ては、以下の付記のようにも記載されうるが以下には限定されない。
【０１２８】
（付記１）
撮像素子の光電変換により得られた撮像信号をズーム倍率に応じた読み出しモードで出力するイメージセンサと、
前記ズーム倍率が変更された場合の前記イメージセンサの読み出しモードの切り替えに伴って動作モードを切り換えながら、前記イメージセンサから出力された撮像信号に対する信号処理を行って画像フレームを出力する撮像信号処理部と、
前記撮像信号処理部から出力された画像フレームをフレームバッファに一時記憶し、前記フレームバッファから出力された画像フレームに対して動画像符号化を行う画像符号化部と、
操作入力により、前記ズーム倍率を変更可能な操作部と、
を備え、
前記撮像信号処理部は、
前記撮像信号処理部の動作モードの切り替えが開始された時点から正常な画像フレームが出力可能となるまでの移行期間中に移行状態信号を有効とし、
前記画像符号化部は、
前記移行状態信号が有効となっている間では、前記移行期間直前にフレームバッファに記憶された画像フレームを用いて、動画像符号化を行う、
ことを特徴とする撮像装置。
【０１２９】
（付記２）
前記撮像信号処理部は、
前記イメージセンサの読み出しモードの切り替えられると、リセット・シーケンスを実行し、
前記撮像信号処理部の動作モードの変更が開始された時点から前記撮像信号処理部のリセット・シーケンスが終了するまでの期間を前記移行期間として、前記移行状態信号を有効とする、
ことを特徴とする付記１に記載の撮像装置。
【０１３０】
（付記３）
前記撮像信号処理部は、
前記イメージセンサの読み出しモードの切り替えられると、前記イメージセンサから出力された撮像信号に対して自動露出制御を行い、
前記撮像信号処理部の動作モードの変更が開始された時点から前記自動露出制御により測光値が収束するまでの期間を前記移行期間として、前記移行状態信号を有効とする、
ことを特徴とする付記１に記載の撮像装置。
【０１３１】
（付記４）
前記撮像信号処理部は、
前記イメージセンサの読み出しモードの切り替えられると、前記イメージセンサから出力された撮像信号に対してオートホワイトバランス制御を行い、
前記撮像信号処理部の動作モードの変更が開始された時点から前記オートホワイトバランス制御により色温度が収束するまでの期間を前記移行期間として、前記移行状態信号を有効とする、
ことを特徴とする付記１に記載の撮像装置。
【０１３２】
（付記５）
前記撮像信号処理部は、
出力する前記画像フレームに対してフレーム・ノイズ・リダクション処理を行い、
前記撮像信号処理部の動作モードの変更が開始された時点から前記フレーム・ノイズ・リダクション処理に必要なフレーム分の時間が経過するまでの期間を前記移行期間として、前記移行状態信号を有効とする、
ことを特徴とする付記１に記載の撮像装置。
【０１３３】
（付記６）
撮像素子の光電変換により得られた撮像信号をズーム倍率に応じた読み出しモードで出力するイメージセンサと、
前記ズーム倍率が変更された場合の前記イメージセンサの読み出しモードの切り替えに伴って動作モードを切り換えながら前記イメージセンサから出力された撮像信号に対する信号処理を行って画像フレームを出力する撮像信号処理部と、
前記撮像信号処理部から出力された画像フレームをフレームバッファに一時記憶し、前記フレームバッファから出力された画像フレームに対して動画像符号化を行う画像符号化部と、
操作入力により、前記ズーム倍率を変更可能な操作部と、
を備える撮像装置の電子ズーム方法であって、
前記撮像信号処理部において、
前記撮像信号処理部の動作モードの切り替えが開始された時点から正常な画像フレームが出力可能となるまでの移行期間中に移行状態信号を有効とする工程と、
前記画像符号化部において、
前記移行状態信号が有効となっている間では、前記移行期間直前にフレームバッファに記憶された画像フレームを用いて、動画像符号化を行う工程と、
を含む電子ズーム方法。
【産業上の利用可能性】
【０１３４】
本発明は、電子ズーム機能を有する撮像装置に好適である。
【符号の説明】
【０１３５】
１００ 撮像装置
１１０ イメージセンサ
１２０ 撮像信号処理部
１２１ ＲＡＷ−ＹＵＶ変換部
１２２ 撮像信号処理クロック生成部
１２３ 撮像信号処理タイミングジェネレータ
１２４ 撮像信号処理制御部
１２５ 移行状態信号生成部
１３０ 画像符号化部
１３１ フレームバッファ
１３２ ストリーム生成部
１３３ 参照フレームバッファ
１３４ 表示データ読み出し部
１３５ 画像符号化クロック生成部
１３６ 画像符号化タイミングジェネレータ
１３７ 画像符号化制御部
１３８ 移行状態制御部
１４０ 記録部
１５０ 表示部
１６０ 操作部
１７０ 画像フレーム
１７１ 移行状態信号
１７２ 画像フレーム
１７３ 画像フレーム
３０３ サンプリングパルス信号
３０６ 垂直同期信号
３１１ 符号化ストリーム
４００ ＡＥ制御部
６００ ＡＷＢ制御部
８００ ＦＮＲ処理部
８０１ ＦＮＲ用フレームバッファ
【技術分野】
【０００１】
本発明は、電子ズーム機能を有する撮像装置及び電子ズーム方法に関する。
【背景技術】
【０００２】
ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）などの撮像素子により動画像の撮像を行うデジタルカメラが普及している。デジタルカメラでは、撮像素子から出力された撮像信号は、デジタル信号処理、画像符号化処理を経て、フラッシュメモリ等の記録装置に記録される。
【０００３】
このようなデジタルカメラでは、従来の光学ズーム機能に加え、いわゆる電子ズーム機能を有するものが登場している。電子ズームでは、撮像素子により撮像された画像の一部を切り出し、切り出した画像を拡大又は縮小することによってズーム倍率に応じた大きさの被写体画像を得るのが一般的である。
【０００４】
さらに、デジタルカメラでは、画像の切り出し処理や拡大又は縮小処理のような電子ズームに必要な処理負荷を軽減するために、例えば撮像素子から撮像信号を読み出すときに、同一のフィルタ色の複数画素の信号電荷を加算して読み出す「画素加算読出し」や、撮像素子から画素間引きをして信号電荷を読み出す「間引き読み出し」が行われている。
【０００５】
さらに、画素加算読出しや間引き読み出し等の画素の輝度値の読み出し方法（読み出しモード）をズーム倍率に応じて動的に変更することにより、信号処理負荷をさらに削減する撮像装置等が開示されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−１７０９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、ズーム倍率に応じて画素の輝度値の読み出しモードを切り替えると、正常な画像の出力が一時的に停止する。この期間では、画像フレームに乱れが生じ、正確な画像の表示や符号化が困難になる。これは、上記特許文献１に記載の撮像装置等においても同様である。
【０００８】
本発明は、上記実情に鑑みてなされたものであり、動画像撮影において、ズーム倍率に応じて読み出しモードを切り替える際に生じる画像の乱れを防止することにより、スムーズな電子ズームを実現することができる撮像装置及び電子ズーム方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明の第１の観点に係る撮像装置は、
撮像素子の光電変換により得られた撮像信号をズーム倍率に応じた読み出しモードで出力するイメージセンサと、
前記ズーム倍率が変更された場合の前記イメージセンサの読み出しモードの切り替えに伴って動作モードを切り換えながら、前記イメージセンサから出力された撮像信号に対する信号処理を行って画像フレームを出力する撮像信号処理部と、
前記撮像信号処理部から出力された画像フレームをフレームバッファに一時記憶し、前記フレームバッファから出力された画像フレームに対して動画像符号化を行う画像符号化部と、
操作入力により、前記ズーム倍率を変更可能な操作部と、
を備え、
前記撮像信号処理部は、
前記撮像信号処理部の動作モードの切り替えが開始された時点から正常な画像フレームが出力可能となるまでの移行期間中に移行状態信号を有効とし、
前記画像符号化部は、
前記移行状態信号が有効となっている間では、前記移行期間直前にフレームバッファに記憶された画像フレームを用いて、動画像符号化を行う、
ことを特徴とする。
【００１０】
本発明の第２の観点に係る電子ズーム方法は、
撮像素子の光電変換により得られた撮像信号をズーム倍率に応じた読み出しモードで出力するイメージセンサと、
前記ズーム倍率が変更された場合の前記イメージセンサの読み出しモードの切り替えに伴って動作モードを切り換えながら前記イメージセンサから出力された撮像信号に対する信号処理を行って画像フレームを出力する撮像信号処理部と、
前記撮像信号処理部から出力された画像フレームをフレームバッファに一時記憶し、前記フレームバッファから出力された画像フレームに対して動画像符号化を行う画像符号化部と、
操作入力により、前記ズーム倍率を変更可能な操作部と、
を備える撮像装置の電子ズーム方法であって、
前記撮像信号処理部において、
前記撮像信号処理部の動作モードの切り替えが開始された時点から正常な画像フレームが出力可能となるまでの移行期間中に移行状態信号を有効とする工程と、
前記画像符号化部において、
前記移行状態信号が有効となっている間では、前記移行期間直前にフレームバッファに記憶された画像フレームを用いて、動画像符号化を行う工程と、
を含む。
【発明の効果】
【００１１】
本発明によれば、ズーム倍率の変更に伴う撮像信号処理部の動作モードの切り替えにより、画像フレームが不安定となっている間は、切り替わる直前の画像フレームを用いて動画像符号化を行うので、画像の乱れを防止することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の第１の実施形態に係る撮像装置の構成を示すブロック図である。
【図２】撮影継続中にズーム倍率を変更していった場合の読み出しモードの切り替えの一例を示すグラフである。
【図３】図３（Ａ）乃至図３（Ｇ）は、撮像装置を構成する各構成要素の間でやりとりされる信号のタイミングチャートである。
【図４】本発明の第２の実施形態に係る撮像装置の構成を示すブロック図である。
【図５】図５（Ａ）乃至図５（Ｄ）は、第２の実施形態に係る移行期間を説明するためのタイミングチャートである。
【図６】本発明の第３の実施形態に係る撮像装置の構成を示すブロック図である。
【図７】図７（Ａ）乃至図７（Ｄ）は、第３の実施形態に係る移行期間を説明するためのタイミングチャートである。
【図８】本発明の第４の実施形態に係る撮像装置の構成を示すブロック図である。
【図９】図９（Ａ）乃至図９（Ｄ）は、第４の実施形態に係る移行期間を説明するためのタイミングチャートである。
【発明を実施するための形態】
【００１３】
本発明の実施形態について、図面を参照して詳細に説明する。
【００１４】
（第１の実施形態）
まず、本発明の第１の実施形態について説明する。
【００１５】
図１には、本実施形態に係る撮像装置１００の構成が示されている。図１に示すように、撮像装置１００は、イメージセンサ１１０、撮像信号処理部１２０、画像符号化部１３０、記録部１４０、表示部１５０及び操作部１６０を備える。
【００１６】
イメージセンサ１１０は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）又はＣＣＤ（Charge Coupled Device）などの撮像素子を有する。イメージセンサ１１０の撮像素子の各画素は、カラーフィルタを通して撮像対象（被写体）からの光を受光して光電変換する。撮像素子は、各画素の電荷の集合を撮像信号として出力する。イメージセンサ１１０は、撮像素子の光電変換により得られた撮像信号を、後述するようにズーム倍率に応じた読み出しモードで出力する。
【００１７】
カラーフィルタは、Ｒ、Ｇ、Ｂの３色で構成される原色ベイヤ配列や、Ｃ、Ｍ、Ｙ、Ｇの４色で構成される補色ベイヤ配列など、ｍ×ｎ画素（ｍ，ｎは整数）を単位配列とする周期配列のカラーパターンで並べられている。このカラーフィルタにより、撮像信号に基づく画像は、カラー画像となる。以下では、この撮像信号に基づく画像データを、以下ではＲＡＷ画像と呼ぶ。
【００１８】
イメージセンサ１１０は、複数の読み出しモードを設定可能である。より具体的には、イメージセンサ１１０では、撮像素子から電荷（輝度値）を読み出す際には、１画素ずつそのまま読み出すモード（画素加算なしモード）と、近隣の同色の複数の画素の輝度値を加算して読み出すモード（画素加算読み出しモード）とのいずれかが設定される。
【００１９】
画素加算なしモードが設定された場合には、イメージセンサ１１０は、撮像素子のうち、一部の領域から画素の輝度値を出力する。これにより、イメージセンサ１１０から出力されるＲＡＷ画像のデータ数を減らすことができる。一方、画素加算読み出しモードが設定された場合には、イメージセンサ１１０は、近隣領域の同色の複数の画素の輝度値を加算して１つの画素の輝度値として出力する。例えば２×２画素加算だと、４画素ずつ加算されるので、イメージセンサ１１０から出力されるデータ数を１／４に減らすことができる。
【００２０】
本実施形態では、イメージセンサ１１０において、画素加算読み出しモード（２×２画素加算）と、画素加算なしモードとを設定可能であるものとする。しかしながら、本発明はこれには限られない。例えば、イメージセンサ１１０では、読み出しモードとして、他に、画素加算読み出しモード（３×３画素加算）などの画素加算する画素数の異なるモードや、画素を間引いて読み出すモード（間引き読み出しモード）などのその他の読み出しモードがサポートされていてもよい。
【００２１】
撮像信号処理部１２０は、ズーム倍率が変更された場合のイメージセンサ１１０の読み出しモードの切り替えに伴って動作モードを切り換えながら、イメージセンサ１１０から出力された撮像信号（ＲＡＷ画像）に対して、信号処理（デジタル画像処理）を行って、輝度Ｙ成分、色差Ｕ成分及びＶ成分からなるカラーの撮像信号であるＹＵＶ信号に変換して出力する。この出力は、１フレーム期間に出力されるＹＵＶ画像の撮像信号が１枚の画像を構成している。この画像を画像フレーム１７０と呼ぶ。
【００２２】
画像符号化部１３０は、Ｈ．２６４／ＡＶＣ（Advanced Video Coding）などに準拠した動画像符号化処理を行って撮像信号処理部１２０から出力された画像フレーム１７０を符号化し、動画像ストリームとして出力する。
【００２３】
記録部１４０は、フラッシュメモリやＨＤＤ（Hard Disc Drive）などの記録デバイスである。記録部１４０には、画像符号化部１３０から出力された画像フレームが記録される。
【００２４】
表示部１５０は、画像を表示する。表示部１５０には、表示データ読み出し部１３４から出力された画像フレームに基づく画像が表示される。
【００２５】
操作部１６０は、録画の開始・終了タイミングや、ズーム倍率等をユーザが指定するためのユーザインターフェイスである。例えば、操作部１６０は、操作入力により、画像フレームに基づく画像のズーム倍率を変更可能である。操作部１６０は、ユーザの操作内容を示す操作信号を、撮像信号処理部１２０に出力する。
【００２６】
続いて、撮像信号処理部１２０の詳細な構成について説明する。
【００２７】
撮像信号処理部１２０は、ＲＡＷ−ＹＵＶ変換部１２１を備える。ＲＡＷ−ＹＵＶ変換部１２１は、制御信号が入力されるタイミングで、イメージセンサ１１０から出力されたＲＡＷ画像を、ＹＵＶ画像へ変換する。さらに、ＲＡＷ−ＹＵＶ変換部１２１は、ズーム倍率に応じて、ＹＵＶ画像の一部領域を拡大した画像データを、画像フレーム１７０として出力する。
【００２８】
撮像信号処理部１２０は、撮像信号処理クロック生成部１２２、撮像信号処理タイミングジェネレータ１２３、撮像信号処理制御部１２４及び移行状態信号生成部１２５をさらに備える。
【００２９】
撮像信号処理クロック生成部１２２は、発振子とＰＬＬ（Phase-Locked loop）とを備える。撮像信号処理クロック生成部１２２は、動作クロック信号を生成し、撮像信号処理タイミングジェネレータ１２３に出力する。
【００３０】
撮像信号処理タイミングジェネレータ１２３は、撮像信号処理クロック生成部１２２から出力された動作クロック信号に同期するサンプリングパルス信号を生成して、撮像信号処理制御部１２４に出力する。このサンプリングパルス信号は、イメージセンサ１１０から画素を読み出すタイミングを指定するための信号である。サンプリングパルス信号には、垂直同期信号と水平同期信号とが含まれる。
【００３１】
撮像信号処理制御部１２４は、操作部１６０から出力されるズーム倍率等の操作信号に従って、動作モードを決定する。撮像信号処理制御部１２４は、ＲＡＷ−ＹＵＶ変換部１２１と、イメージセンサ１１０と、移行状態信号生成部１２５とにそれぞれ、決定された動作モードの内容を含む制御信号を出力する。ＲＡＷ−ＹＵＶ変換部１２１及びイメージセンサ１１０では、この制御信号に基づいて読み出しモードや画像の拡大倍率が設定される。撮像信号処理制御部１２４は、動作モードを切り替えるため、必要に応じてリセット・シーケンスを行う。
【００３２】
移行状態信号生成部１２５は、撮像信号処理制御部１２２から出力される制御信号に基づいて、操作部１６０によるズーム倍率の変更に伴う撮像信号処理部１２０の動作モードの切り替えが開始されると、撮像信号処理部１２０が移行期間であることを示す移行状態信号１７１を信号レベルを有効なレベル（例えばハイレベル）として、画像符号化部１３０の移行状態制御部１３８に出力する。移行状態信号１７１は、１ビットの信号である。撮像信号処理部１２０から正常な画像フレームの出力が可能となり、移行期間が完了すると、移行状態信号生成部１２５は、移行状態信号１７１の信号レベルを無効なレベル（例えばローレベル）に変更する。
【００３３】
続いて、画像符号化部１３０の詳細な構成について説明する。
【００３４】
画像符号化部１３０は、フレームバッファ１３１、ストリーム生成部１３２、参照フレームバッファ１３３及び表示データ読み出し部１３４を備える。
【００３５】
フレームバッファ１３１は、ＲＡＷ−ＹＵＶ変換部１２１から出力された画像フレーム１７０を一時記憶する。フレームバッファ１３１は、ストリーム生成部１３２に画像フレーム１７２を出力し、表示データ読み出し部１３４に画像フレーム１７３を出力する。
【００３６】
なお、フレームバッファ１３１からストリーム生成部１３２に画像フレーム１７２を出力する際には、動画像符号化に適した順序に入れ替える処理（リオーダリング処理）が行われる。一方、フレームバッファ１３１から表示データ読み出し部１３４に画像フレーム１７３を出力する際には、リオーダリング処理は行われない。
【００３７】
ストリーム生成部１３２は、フレームバッファ１３１から連続して出力される画像フレーム１７２を前述の動画像符号化方式を用いて符号化し、符号化された動画像ストリームを記録部１４０に出力する。
【００３８】
参照フレームバッファ１３３は、動画像符号化の画面間予測符号化に必要な参照フレームを、ストリーム生成部１３２から受け取り、一時的に記録する。さらに、参照フレームバッファ１３３は、記録された参照フレームを、必要に応じてストリーム生成部１３２に出力する。
【００３９】
表示データ読み出し部１３４は、フレームバッファ１３１から出力された画像フレーム１７３に撮影情報の字幕等を重畳するなど、スルー画像表示に必要な画像処理を行って表示データを生成し、生成された表示データを表示部１５０に出力する。
【００４０】
画像符号化部１３０は、画像符号化クロック生成部１３５、画像符号化タイミングジェネレータ１３６、画像符号化制御部１３７及び移行状態制御部１３８をさらに備える。
【００４１】
画像符号化クロック生成部１３５は、動作クロック信号を生成して画像符号化タイミングジェネレータ１３６に出力する。
【００４２】
画像符号化タイミングジェネレータ１３６は、画像符号化クロック生成部１３５から出力された動作クロック信号を入力する。画像符号化タイミングジェネレータ１３６は、入力された動作クロック信号に同期して、ストリーム生成部１３２が画像フレームを読み込むタイミングを示すサンプリングパルス信号（垂直同期信号及び水平同期信号）を生成して画像符号化制御部１３７に出力する。このサンプリングパルス信号は、画像符号化クロック生成部１３５から出力された動作クロック信号に同期している。
【００４３】
画像符号化制御部１３７は、画像符号化タイミングジェネレータ１３６から出力された動作クロック信号に同期したタイミングで、ピクチャ符号化制御信号など、動画像符号化に必要な制御信号をストリーム生成部１３２に出力し、表示に必要な制御信号を表示データ読み出し部１３４に出力する。
【００４４】
また、画像符号化制御部１３７は、画像フレーム１７０をフレームバッファ１３１に書き込むタイミングと、フレームバッファ１３１から画像フレーム１７２、１７３を読み出すタイミングとを指定するサンプリングパルス信号を、移行状態制御部１３８に出力する。
【００４５】
移行状態制御部１３８は、後述する移行状態信号１７１に基づいて、画像フレーム１７０をフレームバッファ１３１に書き込むか否かを示す制御信号を生成してフレームバッファ１３１に出力する。移行状態制御部１３８は、移行状態信号１７１の信号レベルが無効なレベルとなっている間は、画像フレーム１７０を記憶し、画像フレーム１７２、１７３を出力するように、フレームバッファ１３１を制御する。一方、移行状態制御部１３８は、移行状態信号１７１の信号レベルが有効なレベルとなっている間は、移行期間直前にフレームバッファ１３１に記憶された画像フレームを用いて、ストリーム生成部１３２で動画像符号化が行なわれるように、フレームバッファ１３１を制御する。
【００４６】
次に、本実施形態に係る撮像装置１００における電子ズーム処理について説明する。
【００４７】
電子ズーム処理は、イメージセンサ１１０における読み出しモードの変更と、ＲＡＷ−ＹＵＶ変換部１２１の画像スケーリング機能とによって実現される。
【００４８】
イメージセンサ１１０の読み出しモードは、ズーム倍率によって切り替えられる。ズーム倍率が低い広角撮影時には、イメージセンサ１１０に画素加算読み出しモード（２×２画素加算）が設定されて、イメージセンサ１１０の撮像素子の全体から最大画角で画像が読み出される。一方、ズーム倍率が高い望遠撮影時には、イメージセンサ１１０に画素加算なしモードが設定され、画角が狭く、画素加算されていない精細な画像が読み出される。本実施形態では、ズーム倍率が１．０倍以上２．０倍未満では、画素加算読み出し（２×２画素加算）モードが設定され、ズーム倍率が２．０倍以上では、画素加算なしモードが設定される。
【００４９】
ただし、イメージセンサ１１０の読み出しモードの変更だけでは、１．０倍、２．０倍など、決まった倍率への変更しかできない。そこで、任意のズーム倍率を得るため、ＲＡＷ−ＹＵＶ変換部１２１には、画像スケーリング機能が設けられている。ＲＡＷ−ＹＵＶ変換部１２１は、ズーム倍率に応じて、画像の一部の領域を切り出して拡大する。このようにすることで、任意のズーム倍率での撮像が可能となる。
【００５０】
図２には、このようにして撮影継続中にズーム倍率を変更していった場合の読み出しモードの変化の一例が示されている。
【００５１】
ズーム倍率の変更は、ユーザの操作部１６０の操作によって行われる。操作部１６０の操作により、ズーム倍率が変更されると、変更されたズーム倍率に関する情報を含む操作信号が操作部１６０から撮像信号処理制御部１２４へ出力される。撮像信号処理制御部１２４は、操作信号に含まれるズーム倍率に基づく制御信号をイメージセンサ１１０と、ＲＡＷ−ＹＵＶ変換部１２１とに出力する。イメージセンサ１１０と、ＲＡＷ−ＹＵＶ変換部１２１とは、協働して、変更されたズーム倍率での画像フレーム１７０を生成する。
【００５２】
ズーム倍率は、画像フレームの切り替わりタイミングでのみ変更される。このため、１フレーム期間では、同じズーム倍率での画像フレーム１７０の出力が継続される。図２では、時刻Ｔ４、Ｔ５、Ｔ６、Ｔ８、Ｔ９、Ｔ１０でズーム倍率が変更されている。
【００５３】
図２の太線で示されるように、ユーザによる操作部１６０の操作によって、時刻Ｔ４からズーム倍率が徐々に大きくなっていく。この間、イメージセンサ１１０は、入力された制御信号に従って設定された読み出しモードで、ＲＡＷ画像を出力する。ＲＡＷ−ＹＵＶ変換部１２１は、入力された制御信号に従って、画像スケーリング機能を用いて画像を切り出す。
【００５４】
より具体的には、時刻Ｔ５まではズーム倍率が２．０倍未満なので、時刻Ｔ６までは、イメージセンサ１１０の読み出しモードとして画素加算読み出しモード（２×２画素加算）設定される。１．０倍から２．０倍までのズーム倍率の微調整は、ＲＡＷ−ＹＵＶ変換部１２１の画像スケーリング機能によって行われる。
【００５５】
時刻Ｔ６になると、ズーム倍率が２．０倍に達するので、イメージセンサ１１０の読み出しモードは、画素加算なしモードに変更される。撮像信号処理部１２０は、この読み出しモードの変更に対応するために、自らの動作モードを変更すべくリセット・シーケンスを実施する。これにより、画像フレーム１７０の出力が停止される。この期間を移行期間とする。移行期間の開始時刻は時刻Ｔ６であり、終了時刻は時刻Ｔ７である。移行期間終了後（すなわち時刻Ｔ７から）、イメージセンサ１１０は、画素加算なしモードで画像フレームを出力する。
【００５６】
このように、移行期間は、撮像信号処理部１２０の内部の動作モードの変更に始まる。移行期間は、撮像信号処理部１２０の設計仕様として与えられる所定の期間とする。
【００５７】
移行期間は、例えば、以下に示すような理由によって設ける必要がある。
【００５８】
撮像信号処理部１２０は、イメージセンサ１１０が画素毎の輝度値を出力する周期に同期して内部の信号処理を実施している。イメージセンサ１１０の読み出しモードの変更に伴ってフレームレートを変更しようとすると、撮像信号処理部１２０の動作周波数を変更し、その際に動作クロックを一時的に停止させる必要がある場合がある。
【００５９】
また、撮像信号処理部１２０は、イメージセンサ１１０が各画素の輝度値を出力するタイミング（垂直同期信号、水平同期信号）に同期して内部の信号処理を実施するので、イメージセンサ１１０の読み出しモードを変更すると、イメージセンサ１１０から画素の輝度値を読み出すタイミングを変更する必要がある場合がある。さらに、画素の輝度値を読み出す領域（画角）を変更する場合にも、イメージセンサ１１０から画素の輝度値を読み出すタイミングを変更する必要がある場合がある。このような画素の輝度値を読み出すタイミングの変更に対応するため、撮像信号処理部１２０では、リセット・シーケンスを実施する必要がある。リセットシーケンスは、ある程度時間を要する処理である。この処理を行うため、移行期間が必要となる。
【００６０】
移行期間終了後（時刻Ｔ７から）、イメージセンサ１１０の読み出しモードが、画素加算なしモードに設定された状態で、イメージセンサ１１０からの撮像信号の出力や、撮像信号処理部１２０における信号処理等が再開される。
【００６１】
次に、撮像装置１００内部における信号シーケンスについて、図３（Ａ）乃至図３（Ｇ）を参照して説明する。
【００６２】
図３（Ａ）には、移行状態信号１７１が示されている。また、図３（Ｂ）には、撮像信号処理タイミングジェネレータ１２３のサンプリングパルス信号３０３が示されている。また、図３（Ｃ）には、ＲＡＷ−ＹＵＶ変換部１２１から出力される画像フレーム１７０が示されている。
【００６３】
さらに、図３（Ｄ）には、画像符号化タイミングジェネレータ１３６から出力される垂直同期信号３０６が示されている。また、図３（Ｅ）には、表示データ読み出し部１３４に入力される画像フレーム１７３が示されている。また、図３（Ｆ）には、ストリーム生成部１３２に入力される画像フレーム１７２が示されている。また、図３（Ｇ）には、
画像フレーム１７２を符号化ストリーム３１１として表したものである。
【００６４】
図３（Ａ）乃至図３（Ｇ）における時刻Ｔ０乃至時刻Ｔ１２は、図２の時刻Ｔ０乃至時刻Ｔ１２に対応している。この実施形態では、時刻Ｔ０から時刻Ｔ１２まで、ズーム倍率が図２に示すように変化した場合における撮像装置１００の信号シーケンスが示されている。
【００６５】
まず、時刻Ｔ０から時刻Ｔ６に至るまでの処理シーケンスについて説明する。
【００６６】
図３（Ａ）に示すように、移行状態信号生成部１２５から出力される移行状態信号１７１は、ズーム倍率が１．０以上２．０未満の時刻Ｔ０から時刻Ｔ６までは、ローレベルとなっている。
【００６７】
図３（Ｂ）に示すサンプリングパルス信号３０３は、撮像信号処理制御部１２４を介して、ＲＡＷ−ＹＵＶ変換部１２１に出力されている。図３（Ｃ）に示すように、ＲＡＷ−ＹＵＶ変換部１２１は、サンプリングパルス信号３０３が立ち上がる度に、１枚の画像フレームを構成する各画素の撮像信号を、ラスタ・スキャン順に出力する。すなわち、撮像信号処理部１２０から画像フレーム１７０が出力されるタイミングは、撮像信号処理タイミングジェネレータ１２３から出力されるサンプリングパルス信号３０３に同期している。
【００６８】
なお、図３（Ｃ）において、各画像フレーム１７０に示される数値は、撮像信号処理部１２０から出力される画像フレーム１７０に、時系列順の番号として付与されたフレーム番号である。図３（Ｃ）では、時刻Ｔ０からＴ１の間に最初の画像フレーム（フレーム番号１）が出力され、時刻Ｔ１からＴ２の間に次の画像フレーム（フレーム番号２）が出力されている。
【００６９】
撮像信号処理部１２０から出力された画像フレーム１７０は、フレームバッファ１３１に記録される。
【００７０】
一方、図３（Ｄ）に示す垂直同期信号３０６は、画像符号化制御部１３７を介して、表示データ読み出し部１３４に出力されている。図３（Ｅ）に示すように、表示データ読み出し部１３４は、垂直同期信号３０６が立ち上がる度に、１枚の画像フレーム１７３をフレームバッファ１３１から読み出す。フレームバッファ１３１から表示データ読み出し部１３４へは、フレーム番号１からフレーム番号６までの画像フレームに関しては、フレームバッファ１３１に記録された順で出力される。
【００７１】
また、図３（Ｄ）に示す垂直同期信号３０６は、画像符号化制御部１３７を介して、ストリーム生成部１３２に出力されている。図３（Ｆ）に示すように、ストリーム生成部１３２は、垂直同期信号３０６が立ち上がる度に、１枚の画像フレーム１７２をフレームバッファ１３１から読み出して、動画像符号化を行う。
【００７２】
画像フレーム１７２は、動画像符号化に適した順序（符号化順）にリオーダリング処理されている。図３（Ｆ）及び図３（Ｇ）で総合的に示すように、リオーダリング処理によって、Ｉピクチャはディスプレイ順より１フレーム、Ｂピクチャはディスプレイ順より２フレーム遅延して、Ｐピクチャはディスプレイ順と同じタイミングで、ストリーム生成部１３２に出力される。
【００７３】
図３（Ｇ）に示すように、ストリーム生成部１３２によって生成された符号化ピクチャ３１１は、画面内符号化を行うＩピクチャ、画面間符号化を行うＰピクチャ、Ｂピクチャから選択可能である。本実施形態では、Ｉ、Ｐ、Ｂ、Ｐ、Ｂの順序を１単位として、その順序を繰り返して符号化が行われる。より具体的には、Ｐピクチャは、過去に符号化されたＩピクチャを参照して符号化され、Ｂピクチャは、過去に符号化されたＩピクチャ又はＰピクチャを参照して符号化される。
【００７４】
続いて、時刻Ｔ６においてズーム倍率が２．０倍となった後の処理について説明する。
【００７５】
この場合、撮像信号処理制御部１２４は、イメージセンサ１１０、ＲＡＷ−ＹＵＶ変換部１２１及び移行状態信号生成部１２５に対して、その旨の制御信号を出力する。
【００７６】
この制御信号を受けて、イメージセンサ１１０は、読み出しモードを画素加算なしモードに切り替える。また、この制御信号を受けて、ＲＡＷ−ＹＵＶ変換部１２１は、画像スケーリング機能の倍率を初期化する。さらに、移行状態信号生成部１２５は、移行状態信号１７１を、移行期間の開始時にローレベルからハイレベルに切り換える。これにて、撮像装置１００は、移行状態に遷移する。この後、撮像信号処理部１２０は、リセット・シーケンスを実施する。
【００７７】
移行状態では、撮像信号処理部１２０から出力される画像フレーム１７０が乱れているので、移行状態信号１７１がハイレベルになったことを検出した移行状態制御部１３８は、画像フレーム１７０を記録せず、移行状態の直前に記録された画像フレームをリピート出力するように、フレームバッファ１３１を制御する。
【００７８】
この制御により、フレームバッファ１３１から、画像フレーム１７２、１７３として、移行状態となる直前に記録された画像フレームがリピート出力される。図３（Ｅ）では、フレーム番号６の画像フレームが５回連続で、表示データ読み出し部１３４へリピート出力されている。
【００７９】
なお、移行状態信号１７１は、移行状態信号生成部１２５の内部のメモリやレジスタ等の記憶領域に保持されているが、撮像信号処理部１２０のリセットがあっても、ハイレベルに維持されるように構成されており、撮像信号処理部１２０がリセット・シーケンスを実施している間も、その値が保持されるようになっている。
【００８０】
続いて、移行期間が終了した時刻Ｔ７以降の処理について説明する。この時点では、撮像信号処理部１２０のリセット・シーケンスは終了している。
【００８１】
時刻Ｔ７において、図３（Ａ）に示すように、移行状態信号生成部１２５は、移行状態信号１７１を、ハイレベルからローレベルに切り換える。移行状態信号１７１がローレベルになったことを検出した移行状態制御部１３８は、フレームバッファ１３１を、画像フレーム１７０を記録して出力する状態に戻す。
【００８２】
この時点で、イメージセンサ１１０は、すでに画素加算なしモードに切り替わっており、画素加算なしモードで撮像信号を出力している。図３（Ｃ）に示すように、ＲＡＷ−ＹＵＶ変換部１２１は、入力した撮像信号に基づいて、画像フレーム１７０としてフレーム番号７以降の画像フレームを生成して出力する。
【００８３】
図３（Ｅ）に示すように、表示データ読み出し部１３４は、時刻Ｔ０乃至時刻Ｔ６と同様に、垂直同期信号３０６が立ち上がる度に、画像フレーム１７３を１枚ずつフレームバッファ１３１から読み出す。一方、図３（Ｆ）及び図３（Ｇ）に示すように、ストリーム生成部１３２は、時刻Ｔ０乃至時刻Ｔ６と同様に、垂直同期信号３０６が立ち上がる度に、１枚の画像フレーム１７２をフレームバッファ１３１から読み出して、動画像符号化を行う。
【００８４】
なお、移行期間の長さはフレーム周期の整数倍になるとは限らないため、移行状態から通常状態に復帰した後は、撮像信号処理部１２０の出力タイミングが、移行前のタイミングとずれてしまうことがある。どのようなタイミングで撮像信号処理部１２０からフレームが出力されたとしても、画像符号化を可能とするためには、画像フレーム１７０を、画像符号化部タイミングジェネレータ１２３から出力される垂直同期信号３０６に同期させるフレームシンクロナイザの機能が必要となる。本実施形態では、画像符号化部１３０内のフレームバッファ１３１を用いて、フレームシンクロナイザの機能が実現されている。
【００８５】
以上詳細に説明したように、本実施形態によれば、ズーム倍率の変更に伴う撮像信号処理部１２０の動作モードの切り替えにより、画像フレーム１７０が不安定となっている間は、切り替わる直前の画像フレーム１７０を用いて動画像符号化等を継続するので、その間の画像の乱れを防止することができる。
【００８６】
リセット・シーケンスに影響されずに画像フレームをリピートし、フレームシンクロナイザの機能を実現して、画像の乱れを防止するためには、ＲＡＷ−ＹＵＶ処理部１２１から出力された画像フレーム１７０を記録するためのバッファを、撮像信号処理部１２０より後段に用意する必要がある。しかしながら、フレームバッファを新たに追加すると、製造などにかかるコストが増えてしまう。動画像符号化におけるリオーダリング処理を行うために、画像符号化部１３０は、フレームバッファ１３１を備えている。そこで、本実施形態では、このフレームバッファ１３１を、画像フレームのリピート出力にも活用する。これにより、撮像装置１００内に、新たなバッファを追加しなくて済むようになるので、より少ないコストで画像の乱れを防止することができる。
【００８７】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。
【００８８】
上記第１の実施形態では、イメージセンサ１１０の読み出しモードの変更に伴い、撮像信号処理部１２０でリセット・シーケンスを行うなどの理由により、画像フレームを出力できない期間（移行期間）が発生するとして、その期間に生じる画像の乱れを防止した。
【００８９】
本実施形態では、撮像信号処理部１２０が、自動露出（Auto Exposure：ＡＥ）制御を行う点に着目する。より具体的には、本実施形態では、イメージセンサ１１０の読み出しモードが切り替わってからＡＥ制御が安定するまでに１フレームから数フレーム分の時間を要する点に着目する。
【００９０】
読み出しモードを、画素加算読み出しモードと画素加算なしモードとの間で変更すると、出力される画素のゲインが変化する。ゲインの変化を補正し、ＡＥ制御の評価値である測光値が収束するまでには、数フレーム分の時間を要する。このため、撮像信号処理部１２０のリセット・シーケンスが発生しないか、もしくは終了した後であっても、測光値が収束していない場合には、撮像信号処理部１２０から出力される画像フレームはその画質が安定せず、画像が乱れてしまう。
【００９１】
そこで、本実施形態では、測光値が収束する前に発生する画像の乱れを防止し、スムーズに電子ズームを行う。
【００９２】
図４には、本実施形態の撮像装置１００の構成が示されている。図４に示すように、本実施形態では、撮像信号処理制御部１２４がＡＥ制御部４００を備えている点が上記第１の実施形態と異なる。
【００９３】
ＡＥ制御部４００は、制御信号をイメージセンサ１１０に出力するとともに、制御信号を移行状態信号生成部１２５に出力する。
【００９４】
図５（Ａ）乃至図５（Ｄ）を参照して、本実施形態に係る移行期間について説明する。
図５（Ａ）には、絞り（Ｆ）値の制御信号（Ｆ値制御信号）が示されている。また、図５（Ｂ）には、シャッタースピード制御信号が示されている。また、図５（Ｃ）には、測光値が示されている。さらに、図５（Ｄ）には、ズーム倍率が示されている。
【００９５】
ＡＥ制御の動作モードには、絞り優先モードと、シャッタースピード優先モードとがある。それぞれの動作モードでは、絞り（Ｆ値）・シャッタースピードのどちらかの制御量が、ユーザの指定する数値に優先的に合わされており、もう１つの制御量が、露出が適正になるように、適応的に変更される。
【００９６】
図５（Ａ）乃至図５（Ｄ）では、絞り優先モードの場合が示されている。図５（Ａ）に示すように、絞りは‘５．６’に設定されている。本実施形態では、図５（Ｄ）に示すように、時刻Ｔ６においてズーム倍率が２．０倍となり、イメージセンサ１１０の読み出しモードが切り替え、撮像信号処理部１１０の動作モードを切り替えが開始されてから、図５（Ｃ）に示すように、時刻Ｔ７において測光値が最適になるまで、図５（Ｂ）に示すように、シャッタースピードを調整してＡＥ制御が行われる。
【００９７】
ＡＥ制御を行っている間（時刻Ｔ６から時刻Ｔ７まで）は、測光値が最適ではないので、画像が乱れている。本実施形態では、イメージセンサ１１０の読み出しモードが切り替わり、撮像信号処理部１２０の動作モードの変更が開始されるとともに、ＡＥ制御が開始された時点から測光値が収束するまでの期間を移行期間とする。
【００９８】
図５（Ａ）乃至図５（Ｄ）では、絞り優先モードの場合について示しているが、シャッタースピード優先モードにおいても、同様に、測光値が最適になるまで、シャッタースピードを調整してＡＥ制御が行われ、移行期間が継続される。
【００９９】
本実施形態では、移行状態制御部１２５が、ＡＥ制御部４００から出力される制御信号に基づいて、動作モード変更後（時刻Ｔ６後）の測光値を監視し、収束するまでの期間（時刻Ｔ７までの期間）が移行期間となるように、移行状態信号１７１を生成して出力する。出力された移行状態信号１７１は移行状態制御部１３８に入力される。移行状態制御部１３８は、上記第１の実施形態と同様に、移行期間に出力された画像フレームを、表示・符号化に用いないようにして、画像の乱れを防止する。
【０１００】
本実施形態によれば、ＡＥ制御により、測光値が収束せず画像フレーム１７０が不安定となっている間は、切り替わる直前の画像フレーム１７０を用いて動画像符号化等を継続するので、その間の画像の乱れを防止することができる。
【０１０１】
また、上記第１の実施形態と同様に、符号化用に用いられるフレームバッファ１３１を、画像フレームのリピート出力に用いることで、新たなバッファを追加しなくて済むようになるので、より少ないコストで画像の乱れを防止することができる。
【０１０２】
（第３の実施形態）
次に、本発明の第３の実施形態について説明する。
【０１０３】
本実施形態では、撮像信号処理部１２０がオートホワイトバランス（Auto White Balance; ＡＷＢ）制御が行う点に着目する。より具体的には、本実施形態では、イメージセンサ１１０の読み出しモードを切り替えた後に、ＡＷＢ制御が安定するまでに１フレームから数フレーム分の時間を要する点に着目する。
【０１０４】
読み出しモードを、画素加算読み出しモードと画素加算なしモードとの間で変更すると、イメージセンサ１１０の撮像素子の各画素のゲインが変化する。ゲインの変化を補正し、ＡＷＢ制御の評価値である色温度が所望の値に収束するまでには、数フレーム分の時間を要する。このため、撮像信号処理部１２０のリセット・シーケンスが発生しないか、もしくは終了した後であっても、色温度が収束していない場合には、撮像信号処理部１２０から出力される画像フレームはその画質が安定しておらず、画像が乱れてしまう。
【０１０５】
本実施形態では、色温度が収束する前に発生する画像の乱れを防止し、スムーズに電子ズームを行う。
【０１０６】
図６には、第３の実施形態に係る撮像装置１００の構成が示されている。図６に示すように、本実施形態では、撮像信号処理制御部１２４がＡＷＢ制御部６００を備えている点が、上記第１の実施形態と異なる。
【０１０７】
ＡＷＢ制御部６００は、制御信号をＲＡＷ−ＹＵＶ変換部１２１に出力するとともに、その制御信号を移行状態信号生成部１２５に通知する。
【０１０８】
図７（Ａ）乃至図７（Ｄ）を参照して、本実施形態に係る移行期間について説明する。図７（Ａ）には、ＡＷＢ制御部６００からＲＡＷ−ＹＵＶ変換部１２１に出力されるＲ／Ｇゲイン制御信号が示されている。また、図７（Ｂ）には、ＡＷＢ制御部６００からＲＡＷ−ＹＵＶ変換部１２１に出力されるＢ／Ｇゲイン制御信号が示されている。また、図７（Ｃ）には、色温度が示されている。さらに、図７（Ｄ）には、ズーム倍率が示されている。
【０１０９】
ＡＷＢ制御部６００は、撮像された画像の色温度を解析し、所望の色温度（例えば６５００Ｋ）に変換されるように、Ｒ／Ｇゲイン、Ｂ／Ｇゲインを調整する。ＡＷＢ制御を行っている間（時刻Ｔ６から自国Ｔ７まで）は、色温度が最適ではないので、画像が乱れている。本実施形態では、イメージセンサ１１０の読み出しモードが切り替わり、撮像信号処理部１２０の動作モードの切り替えが開始されるとともに、ＡＷＢ制御部６００のＡＷＢ制御が開始されてから、色温度が収束するまでの期間を移行期間とする。
【０１１０】
本実施形態では、移行状態制御部１３８は、ＡＷＢ制御部６００から出力される制御信号に基づいて、撮像信号処理部１２０の動作モード変更後の色温度を監視し、色温度が収束するまでの期間が移行期間となるように、移行状態信号１７１の信号レベルをハイレベルとする。移行状態信号１７１は移行状態制御部１３８に入力される。移行状態制御部１３８は、上記第１の実施形態と同様に、移行期間に撮像信号処理部１２０から出力された画像フレーム１７０を、表示・符号化に用いないようにして、画像の乱れを防止する。
【０１１１】
本実施形態によれば、ＡＷＢ制御により、色温度が収束せず画像フレーム１７０が不安定となっている間は、切り替わる直前の画像フレーム１７０を用いて動画像符号化等を継続するので、その間の画像の乱れを防止することができる。
【０１１２】
また、上記第１の実施形態と同様、符号化用に用いられるフレームバッファ１３１を、画像フレームのリピート出力に用いることで、新たなバッファを追加しなくて済むようになるので、より少ないコストで画像の乱れを防止することができる。
【０１１３】
（第４の実施形態）
次に、本発明の第４の実施形態について説明する。
【０１１４】
本実施形態では、撮像信号処理部１２０が、フレーム・ノイズ・リダクション（Frame Noise Reduction; FNR）処理を行う点に着目する。本実施形態では、イメージセンサ１１０の読み出しモードを切り替え、撮像信号処理部１２０の動作モードを切り換えた後に、ＦＮＲ処理から出力される画像フレーム１７０の画質の安定に数フレーム分の時間を要する点に着目する。
【０１１５】
ＦＮＲ処理は、連続して撮像された画像フレームを用いて、主として静止する被写体のノイズを低減する処理である。本実施形態では、連続する３枚の画像フレームを用いてＦＮＲ処理を行う場合について説明する。
【０１１６】
ＦＮＲ処理では、連続した画像フレームの画像を比較して、その差分をノイズと判定して、ノイズ除去を行う。しかしながら、撮像信号処理部１２０の動作モードを切り替えると、その切り替え前後で、ＲＡＷ−ＹＵＶ処理部１２１から出力される画像フレームの画質が大きく変化するため、ＦＮＲ処理を実施すると、出力される画像に乱れが生じる。本実施形態では、ＦＮＲ処理を実施する場合に生じる画像の乱れを防止し、スムーズに電子ズームを行う。
【０１１７】
図８には、本実施形態に係る撮像装置１００の構成が示されている。本実施形態では、撮像信号処理制御部１２４がＦＮＲ処理部８００と、ＦＮＲ用フレームバッファ８０１を備えている点が、上記第１の実施形態と異なる。
【０１１８】
ＦＮＲ処理部８００は、ＲＡＷ−ＹＵＶ変換部１２１から出力される画像フレームを、入力してＦＮＲ処理を行い、ＦＮＲ処理を行った画像フレーム１７０をフレームバッファ１３１に出力する。
【０１１９】
ＦＮＲ用フレームバッファ８０１は、ＦＮＲ処理部８００から、画像フレームを受け取り、一時的に記録する。また、ＦＮＲ用フレームバッファ８０１は、ＦＮＲ処理部８００に対して、過去２枚前までに記録された画像フレームを出力する。ここでは、２つ前の画像フレームを画像フレームＡとし、１つ前の画像フレームを画像フレームＢとする。
【０１２０】
図９（Ａ）乃至図９（Ｄ）を参照して、本実施形態に係る移行期間について説明する。図９（Ａ）には、ＦＮＲ用フレームバッファ８０１に記録される２フレーム前の画像フレームＡが示されている。図９（Ｂ）には、ＦＮＲ用フレームバッファ８０１に記録される１フレーム前の画像フレームＢが示されている。図９（Ｃ）には、ＲＡＷ−ＹＵＶ変換部１２１から出力される画像フレームが示されている。さらに、図９（Ｄ）にはズーム倍率が示されている。
【０１２１】
本実施形態のＦＮＲ処理では、ＲＡＷ−ＹＵＶ変換部１２１が出力する画像フレーム１枚と、ＦＮＲ用フレームバッファ８０１から読み取った過去２枚分の画像フレームＡ、Ｂの、計３枚を用いて、ノイズ除去が行われる。例えば、時刻Ｔ２から時刻Ｔ３の間では、フレーム番号１の画像フレームＡと、フレーム番号２の画像フレームＢと、ＲＡＷ−ＹＵＶ変換部１２１から出力されたフレーム番号３の画像フレームとを用いてノイズ除去が行われる。
【０１２２】
時刻Ｔ６と時刻Ｔ７の間、すなわち撮像信号処理部１２０の動作モードの変更前後に、ＲＡＷ−ＹＵＶ変換部１２１から出力された画像フレームを混在させてＦＮＲ処理を実施すると、画像が乱れてしまう。本実施形態では、これを防ぐために、動作モード変更後から、ＦＮＲ処理に必要な２フレーム分の期間（すなわち時刻Ｔ６から時刻Ｔ７までの期間）を移行期間とする。
【０１２３】
本実施形態においては、移行状態信号生成部１２５は、ＦＮＲ処理部８００から出力される情報に基づいて、ＦＮＲ処理に用いられる画像フレームを監視し、ＦＮＲ処理に用いられる全ての画像フレームが同じ動作モードであるときにＲＡＷ−ＹＵＶ部１２１から出力されていない期間が移行期間となるように、移行状態信号１７１を生成して出力する。出力された移行状態信号１７１は移行状態制御部１３８に入力される。移行状態制御部１３８は、上記第１の実施形態と同様に、移行期間に撮像信号処理部１２０から出力された画像フレームを、表示・符号化に用いないようにして、画像の乱れを防止する。
【０１２４】
本実施形態によれば、ＦＮＲ処理が行われた画像フレーム１７０が不安定となっている間は、撮像信号処理部１２０の動作モードが切り替わる直前の画像フレーム１７０を用いて動画像符号化等を継続するので、その間の画像の乱れを防止することができる。
【０１２５】
また、上記第１の実施形態と同様、符号化用に用いられるフレームバッファ１３１を、画像フレームのリピート出力に用いることで、新たなバッファを追加しなくて済むようになるので、より少ないコストで画像の乱れを防止することができる。
【０１２６】
なお、本実施形態では、移行期間を２フレーム分としたが、この移行期間は、ＦＮＲフレームに必要なフレーム数に応じて増減する。
【０１２７】
上記実施の形態の一部又は全ては、以下の付記のようにも記載されうるが以下には限定されない。
【０１２８】
（付記１）
撮像素子の光電変換により得られた撮像信号をズーム倍率に応じた読み出しモードで出力するイメージセンサと、
前記ズーム倍率が変更された場合の前記イメージセンサの読み出しモードの切り替えに伴って動作モードを切り換えながら、前記イメージセンサから出力された撮像信号に対する信号処理を行って画像フレームを出力する撮像信号処理部と、
前記撮像信号処理部から出力された画像フレームをフレームバッファに一時記憶し、前記フレームバッファから出力された画像フレームに対して動画像符号化を行う画像符号化部と、
操作入力により、前記ズーム倍率を変更可能な操作部と、
を備え、
前記撮像信号処理部は、
前記撮像信号処理部の動作モードの切り替えが開始された時点から正常な画像フレームが出力可能となるまでの移行期間中に移行状態信号を有効とし、
前記画像符号化部は、
前記移行状態信号が有効となっている間では、前記移行期間直前にフレームバッファに記憶された画像フレームを用いて、動画像符号化を行う、
ことを特徴とする撮像装置。
【０１２９】
（付記２）
前記撮像信号処理部は、
前記イメージセンサの読み出しモードの切り替えられると、リセット・シーケンスを実行し、
前記撮像信号処理部の動作モードの変更が開始された時点から前記撮像信号処理部のリセット・シーケンスが終了するまでの期間を前記移行期間として、前記移行状態信号を有効とする、
ことを特徴とする付記１に記載の撮像装置。
【０１３０】
（付記３）
前記撮像信号処理部は、
前記イメージセンサの読み出しモードの切り替えられると、前記イメージセンサから出力された撮像信号に対して自動露出制御を行い、
前記撮像信号処理部の動作モードの変更が開始された時点から前記自動露出制御により測光値が収束するまでの期間を前記移行期間として、前記移行状態信号を有効とする、
ことを特徴とする付記１に記載の撮像装置。
【０１３１】
（付記４）
前記撮像信号処理部は、
前記イメージセンサの読み出しモードの切り替えられると、前記イメージセンサから出力された撮像信号に対してオートホワイトバランス制御を行い、
前記撮像信号処理部の動作モードの変更が開始された時点から前記オートホワイトバランス制御により色温度が収束するまでの期間を前記移行期間として、前記移行状態信号を有効とする、
ことを特徴とする付記１に記載の撮像装置。
【０１３２】
（付記５）
前記撮像信号処理部は、
出力する前記画像フレームに対してフレーム・ノイズ・リダクション処理を行い、
前記撮像信号処理部の動作モードの変更が開始された時点から前記フレーム・ノイズ・リダクション処理に必要なフレーム分の時間が経過するまでの期間を前記移行期間として、前記移行状態信号を有効とする、
ことを特徴とする付記１に記載の撮像装置。
【０１３３】
（付記６）
撮像素子の光電変換により得られた撮像信号をズーム倍率に応じた読み出しモードで出力するイメージセンサと、
前記ズーム倍率が変更された場合の前記イメージセンサの読み出しモードの切り替えに伴って動作モードを切り換えながら前記イメージセンサから出力された撮像信号に対する信号処理を行って画像フレームを出力する撮像信号処理部と、
前記撮像信号処理部から出力された画像フレームをフレームバッファに一時記憶し、前記フレームバッファから出力された画像フレームに対して動画像符号化を行う画像符号化部と、
操作入力により、前記ズーム倍率を変更可能な操作部と、
を備える撮像装置の電子ズーム方法であって、
前記撮像信号処理部において、
前記撮像信号処理部の動作モードの切り替えが開始された時点から正常な画像フレームが出力可能となるまでの移行期間中に移行状態信号を有効とする工程と、
前記画像符号化部において、
前記移行状態信号が有効となっている間では、前記移行期間直前にフレームバッファに記憶された画像フレームを用いて、動画像符号化を行う工程と、
を含む電子ズーム方法。
【産業上の利用可能性】
【０１３４】
本発明は、電子ズーム機能を有する撮像装置に好適である。
【符号の説明】
【０１３５】
１００ 撮像装置
１１０ イメージセンサ
１２０ 撮像信号処理部
１２１ ＲＡＷ−ＹＵＶ変換部
１２２ 撮像信号処理クロック生成部
１２３ 撮像信号処理タイミングジェネレータ
１２４ 撮像信号処理制御部
１２５ 移行状態信号生成部
１３０ 画像符号化部
１３１ フレームバッファ
１３２ ストリーム生成部
１３３ 参照フレームバッファ
１３４ 表示データ読み出し部
１３５ 画像符号化クロック生成部
１３６ 画像符号化タイミングジェネレータ
１３７ 画像符号化制御部
１３８ 移行状態制御部
１４０ 記録部
１５０ 表示部
１６０ 操作部
１７０ 画像フレーム
１７１ 移行状態信号
１７２ 画像フレーム
１７３ 画像フレーム
３０３ サンプリングパルス信号
３０６ 垂直同期信号
３１１ 符号化ストリーム
４００ ＡＥ制御部
６００ ＡＷＢ制御部
８００ ＦＮＲ処理部
８０１ ＦＮＲ用フレームバッファ
【特許請求の範囲】
【請求項１】
撮像素子の光電変換により得られた撮像信号をズーム倍率に応じた読み出しモードで出力するイメージセンサと、
前記ズーム倍率が変更された場合の前記イメージセンサの読み出しモードの切り替えに伴って動作モードを切り換えながら、前記イメージセンサから出力された撮像信号に対する信号処理を行って画像フレームを出力する撮像信号処理部と、
前記撮像信号処理部から出力された画像フレームをフレームバッファに一時記憶し、前記フレームバッファから出力された画像フレームに対して動画像符号化を行う画像符号化部と、
操作入力により、前記ズーム倍率を変更可能な操作部と、
を備え、
前記撮像信号処理部は、
前記撮像信号処理部の動作モードの切り替えが開始された時点から正常な画像フレームが出力可能となるまでの移行期間中に移行状態信号を有効とし、
前記画像符号化部は、
前記移行状態信号が有効となっている間では、前記移行期間直前にフレームバッファに記憶された画像フレームを用いて、動画像符号化を行う、
ことを特徴とする撮像装置。
【請求項２】
前記撮像信号処理部は、
前記イメージセンサの読み出しモードの切り替えられると、リセット・シーケンスを実行し、
前記撮像信号処理部の動作モードの変更が開始された時点から前記撮像信号処理部のリセット・シーケンスが終了するまでの期間を前記移行期間として、前記移行状態信号を有効とする、
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記撮像信号処理部は、
前記イメージセンサの読み出しモードの切り替えられると、前記イメージセンサから出力された撮像信号に対して自動露出制御を行い、
前記撮像信号処理部の動作モードの変更が開始された時点から前記自動露出制御により測光値が収束するまでの期間を前記移行期間として、前記移行状態信号を有効とする、
ことを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記撮像信号処理部は、
前記イメージセンサの読み出しモードの切り替えられると、前記イメージセンサから出力された撮像信号に対してオートホワイトバランス制御を行い、
前記撮像信号処理部の動作モードの変更が開始された時点から前記オートホワイトバランス制御により色温度が収束するまでの期間を前記移行期間として、前記移行状態信号を有効とする、
ことを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記撮像信号処理部は、
出力する前記画像フレームに対してフレーム・ノイズ・リダクション処理を行い、
前記撮像信号処理部の動作モードの変更が開始された時点から前記フレーム・ノイズ・リダクション処理に必要なフレーム分の時間が経過するまでの期間を前記移行期間として、前記移行状態信号を有効とする、
ことを特徴とする請求項１に記載の撮像装置。
【請求項６】
撮像素子の光電変換により得られた撮像信号をズーム倍率に応じた読み出しモードで出力するイメージセンサと、
前記ズーム倍率が変更された場合の前記イメージセンサの読み出しモードの切り替えに伴って動作モードを切り換えながら前記イメージセンサから出力された撮像信号に対する信号処理を行って画像フレームを出力する撮像信号処理部と、
前記撮像信号処理部から出力された画像フレームをフレームバッファに一時記憶し、前記フレームバッファから出力された画像フレームに対して動画像符号化を行う画像符号化部と、
操作入力により、前記ズーム倍率を変更可能な操作部と、
を備える撮像装置の電子ズーム方法であって、
前記撮像信号処理部において、
前記撮像信号処理部の動作モードの切り替えが開始された時点から正常な画像フレームが出力可能となるまでの移行期間中に移行状態信号を有効とする工程と、
前記画像符号化部において、
前記移行状態信号が有効となっている間では、前記移行期間直前にフレームバッファに記憶された画像フレームを用いて、動画像符号化を行う工程と、
を含む電子ズーム方法。
【請求項１】
撮像素子の光電変換により得られた撮像信号をズーム倍率に応じた読み出しモードで出力するイメージセンサと、
前記ズーム倍率が変更された場合の前記イメージセンサの読み出しモードの切り替えに伴って動作モードを切り換えながら、前記イメージセンサから出力された撮像信号に対する信号処理を行って画像フレームを出力する撮像信号処理部と、
前記撮像信号処理部から出力された画像フレームをフレームバッファに一時記憶し、前記フレームバッファから出力された画像フレームに対して動画像符号化を行う画像符号化部と、
操作入力により、前記ズーム倍率を変更可能な操作部と、
を備え、
前記撮像信号処理部は、
前記撮像信号処理部の動作モードの切り替えが開始された時点から正常な画像フレームが出力可能となるまでの移行期間中に移行状態信号を有効とし、
前記画像符号化部は、
前記移行状態信号が有効となっている間では、前記移行期間直前にフレームバッファに記憶された画像フレームを用いて、動画像符号化を行う、
ことを特徴とする撮像装置。
【請求項２】
前記撮像信号処理部は、
前記イメージセンサの読み出しモードの切り替えられると、リセット・シーケンスを実行し、
前記撮像信号処理部の動作モードの変更が開始された時点から前記撮像信号処理部のリセット・シーケンスが終了するまでの期間を前記移行期間として、前記移行状態信号を有効とする、
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記撮像信号処理部は、
前記イメージセンサの読み出しモードの切り替えられると、前記イメージセンサから出力された撮像信号に対して自動露出制御を行い、
前記撮像信号処理部の動作モードの変更が開始された時点から前記自動露出制御により測光値が収束するまでの期間を前記移行期間として、前記移行状態信号を有効とする、
ことを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記撮像信号処理部は、
前記イメージセンサの読み出しモードの切り替えられると、前記イメージセンサから出力された撮像信号に対してオートホワイトバランス制御を行い、
前記撮像信号処理部の動作モードの変更が開始された時点から前記オートホワイトバランス制御により色温度が収束するまでの期間を前記移行期間として、前記移行状態信号を有効とする、
ことを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記撮像信号処理部は、
出力する前記画像フレームに対してフレーム・ノイズ・リダクション処理を行い、
前記撮像信号処理部の動作モードの変更が開始された時点から前記フレーム・ノイズ・リダクション処理に必要なフレーム分の時間が経過するまでの期間を前記移行期間として、前記移行状態信号を有効とする、
ことを特徴とする請求項１に記載の撮像装置。
【請求項６】
撮像素子の光電変換により得られた撮像信号をズーム倍率に応じた読み出しモードで出力するイメージセンサと、
前記ズーム倍率が変更された場合の前記イメージセンサの読み出しモードの切り替えに伴って動作モードを切り換えながら前記イメージセンサから出力された撮像信号に対する信号処理を行って画像フレームを出力する撮像信号処理部と、
前記撮像信号処理部から出力された画像フレームをフレームバッファに一時記憶し、前記フレームバッファから出力された画像フレームに対して動画像符号化を行う画像符号化部と、
操作入力により、前記ズーム倍率を変更可能な操作部と、
を備える撮像装置の電子ズーム方法であって、
前記撮像信号処理部において、
前記撮像信号処理部の動作モードの切り替えが開始された時点から正常な画像フレームが出力可能となるまでの移行期間中に移行状態信号を有効とする工程と、
前記画像符号化部において、
前記移行状態信号が有効となっている間では、前記移行期間直前にフレームバッファに記憶された画像フレームを用いて、動画像符号化を行う工程と、
を含む電子ズーム方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１２−１５１７８７（Ｐ２０１２−１５１７８７Ａ）
【公開日】平成２４年８月９日（２０１２．８．９）
【国際特許分類】
【出願番号】特願２０１１−１０７３１（Ｐ２０１１−１０７３１）
【出願日】平成２３年１月２１日（２０１１．１．２１）
【出願人】（３１０００６８５５）ＮＥＣカシオモバイルコミュニケーションズ株式会社 (1,081)
【Ｆターム（参考）】
【公開日】平成２４年８月９日（２０１２．８．９）
【国際特許分類】
【出願日】平成２３年１月２１日（２０１１．１．２１）
【出願人】（３１０００６８５５）ＮＥＣカシオモバイルコミュニケーションズ株式会社 (1,081)
【Ｆターム（参考）】
[ Back to top ]