撮像装置
【課題】
撮像素子からの読み出し周期が符号化周期より長い場合の、記録画像の画質劣化を防止する。
【解決手段】
画像メモリ２２には、撮像素子１４による画像データが順次、格納され、画像メモリ２４には、１画面前の画像データが格納される。画像合成装置２６は、画像合成制御装置４０により指示される合成比率で画像メモリ２２，２４の画像を合成し、合成画像をカメラ信号処理装置２８に出力する。符号化器３０は、装置２８からの画像データを、ＭＰＥＧ等の圧縮方式で圧縮符号化する。符号化器３０は、ＧＯＰ（Group Of Picture）の構成情報を画像合成制御装置４０に供給する。装置４０は、撮像素子１４による撮像の画像更新タイミングとＧＯＰ構成情報に従い、画像合成装置２６の合成比率を決定する。
撮像素子からの読み出し周期が符号化周期より長い場合の、記録画像の画質劣化を防止する。
【解決手段】
画像メモリ２２には、撮像素子１４による画像データが順次、格納され、画像メモリ２４には、１画面前の画像データが格納される。画像合成装置２６は、画像合成制御装置４０により指示される合成比率で画像メモリ２２，２４の画像を合成し、合成画像をカメラ信号処理装置２８に出力する。符号化器３０は、装置２８からの画像データを、ＭＰＥＧ等の圧縮方式で圧縮符号化する。符号化器３０は、ＧＯＰ（Group Of Picture）の構成情報を画像合成制御装置４０に供給する。装置４０は、撮像素子１４による撮像の画像更新タイミングとＧＯＰ構成情報に従い、画像合成装置２６の合成比率を決定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関し、より具体的には、複数の撮影画像を選択又は合成して圧縮符号化する撮像装置に関する。
【背景技術】
【０００２】
近年、動画像をテジタル符号化して、ディスク状記録媒体や半導体メモリ等の記録媒体に記録する撮像装置が提案されており、動画像の圧縮符号化方式としては、ＤＣＴ（Discrete Cosine Transform）変換、動き補償及び可変長符号化を基本とするＭＰＥＧ（Moving Pictures Experts Group）方式や、ＭＰＥＧ−４，Ｈ．２６４も知られている。これらは、１画面内を複数の画素からなる複数のブロックに分割し、そのブロック単位で変換符号化を施すブロック符号化を利用する。
【０００３】
例えば、ＭＰＥＧ方式では、1枚の画像をｎ画素×ｎ画素（ｎは例えば、８又は１６）の画素ブロックに分割し、動き予測された差分画像に対して、ブロック単位でＤＣＴ変換を行う。次に、変換後のＤＣＴ係数をある除数（量子化ステップ）で割り算し、余りを丸めることで量子化し、情報量を削減する。
【０００４】
また、動画像の場合、前後の画像は非常によく似ているという特徴を利用する。即ち、前画像と現画像の変化の有無や画素ブロック単位での移動量を利用する動き補償手法で、動画像情報を圧縮する。
【０００５】
さらに、ＤＣＴ係数と移動量は出現確率に明らかな違いがでる傾向があり、出現確率の高い符号に短い符号を割り当てる可変長符号化を用いることで、平均的な情報発生量を減らすことができる。
【０００６】
また、ＭＰＥＧ方式では、ある枚数の画像をまとめたＧＯＰ（Group of Pictures）と呼ばれる単位で、圧縮符号化が実行される。１ＧＯＰ内には、Ｉピクチャ、Ｐピクチャ及びＢピクチャがあり、それぞれ符号方法が異なる。Ｉピクチャはフレーム内符号化画像であり、全マクロブロックがイントラ符号化される。Ｐピクチャはフレーム間予測符号化画像であり、マクロブロックごとにフレーム内符号化とフレーム間符号化が選択され、フレーム間符号化では、直前のフレームとの差分値が符号化される。Ｂピクチャは双方向予測符号化画像であり、直近の前後のＩピクチャ又はＰピクチャからの予測値との差分値が符号化される。
【０００７】
復号化の処理では、ＩピクチャとＰピクチャは予測に使用される画像であるのに対して、ＢピクチャはＩピクチャとＰピクチャを利用して再生される画像である。このため、ＩピクチャとＰピクチャの画質を高く保ち、Ｂピクチャの画質を低く抑えることで、全体の信号対ノイズ比が向上する。
【０００８】
可変長符号化を用いて動画像信号を圧縮する場合、動画像信号によって圧縮後のデータ量が変動する。圧縮後のデータを一時的にバッファに格納し、一定レートで読み出すことで、記録レートを一定にしている。バッファの書き込みレートと読み出しレートの関係によっては、バッファのアンダーフローが発生するので、量子化ステップを制御することによる圧縮率の調整が行われる。この結果、シーンチェンジや急激に輝度が変化するシーンで、予測参照の基準となるＩピクチャ画像の圧縮率が変わると、画質の劣化が目立ってしまう。
【０００９】
特に、屋内等で撮影に必要な照明が得られない場合に、シャッタ速度を遅くすることで明るい画像を撮影するスローシャッタ撮影が採用されると、画像間の差が大きくなりやすい。また、スローシャッタ撮影では、通常撮影時の１/ｎ（ｎ：自然数）でしか画像が更新されないので、記録画像が滑らかなものになりにくい。
【００１０】
このような問題に対し、特許文献１には、スローシャッタ撮影時に、符号化処理部への画像入力速度を遅くするとともにＧＯＰのピクチャ構成を再構成することで、圧縮画像データのデータ量を削減する技術が記載されている。
【００１１】
また、特許文献２には、スローシャッタ撮影時に複数枚の画像信号を合成して一枚の画像を生成することで、なめらかな画像を記録する技術が記載されている。
【特許文献１】特開２００１−０２５０１１号公報
【特許文献２】特開２０００−３０７９６４号公報
【発明の開示】
【発明が解決しようとする課題】
【００１２】
特許文献１に記載の技術では、圧縮率が変動することによる画質の劣化を防止できるが、記録画像は通常撮影時の１/ｎのままであり、なめらかな画像を記録できない。また、ＧＯＰのピクチャ構成を再編成するので、符号化処理部で複雑な処理が必要になるという問題がある。
【００１３】
特許文献２に記載の技術では、滑らかな画像を記録できるが、符号化時の圧縮率が変動することによる画質の劣化を防止できない。また、予測参照の基準となるＩピクチャ画像が合成画像となるので、全体の画質が低下する。
【００１４】
本発明は、このような問題点を解決する撮像装置を提示することを目的とする。
【課題を解決するための手段】
【００１５】
本発明に係る撮像装置は、通常速度よりも低速の撮影速度で撮影画像信号を出力する撮像手段と、前記撮像手段による撮影画像信号を順次更新して記憶する複数の画像メモリと、前記通常速度に応じた速度で、前記画像メモリに記憶されている画像の一つを選択出力する画像選択手段と、前記通常速度に応じた速度で、前記合成手段の出力画像を圧縮符号化する符号化手段と、前記複数の画像メモリの画像更新タイミングと前記符号化手段における符号化構造情報に応じて、前記画像合成手段の選択を制御する選択制御手段とを具備することを特徴とする。
【００１６】
本発明に係る撮像装置は、通常速度よりも低速の撮影速度で撮影画像信号を出力する撮像手段と、前記撮像素子による撮影画像信号を順次更新して記憶する複数の画像メモリと、前記通常速度に応じた速度で、前記画像メモリに記憶されている画像を合成出力する画像合成手段と、前記通常速度に応じた速度で、前記合成手段の出力画像を圧縮符号化する符号化手段と、前記複数の画像メモリの画像更新タイミングと前記符号化手段における符号化構造情報に応じて、前記画像合成手段の合成を制御する画像合成制御手段とを具備することを特徴とする。
【発明の効果】
【００１７】
本発明によれば、画像更新タイミングと符号化構造情報に応じて、低速撮影の撮影画像の選択又は合成を制御することで、符号化構造を再構築することなく、符号化データ量を削減できる。
【発明を実施するための最良の形態】
【００１８】
以下、図面を参照して、本発明の実施例を詳細に説明する。
【実施例１】
【００１９】
図１は、本発明の一実施例である撮像装置の概略構成ブロック図を示す。被写体の光学像がレンズ１０及び絞り１２を経て、撮像素子１４に入射し、撮像素子１４は、その光学像を電気信号に変換して、画像信号を出力する。ＣＤＳ（Correlated Double Sampling）回路１６は、相関二重サンプリングにより、撮像素子１４から出力される画像信号のノイズを除去し、ＡＧＣ（Auto Gain Control）回路１８は、ＣＤＳ回路１６の出力画像信号のレベルを自動制御する。Ａ／Ｄ変換器２０は、ＡＧＣ回路１８から出力されるアナログ画像信号をデジタル画像信号に変換する。このデジタル画像信号は、画像メモリ２２に格納される。
【００２０】
ＣＰＵ３８は、シャッタ速度制御装置３６により撮像素子１４の電荷蓄積時間を制御する。これにより、撮像素子１４の露光時間が制御される。いわゆる電子シャッタ機能であり、シャッタ速度が変更される。ＣＰＵ３８は、撮像素子１４の電荷蓄積時間に合わせて、必要な信号のみを書き込むように、画像メモリ２２の書き込みタイミングを制御する。
【００２１】
画像メモリ２４は、画像メモリ２２から読み出される画像データを、画像メモリ２２の更新タイミングに合わせて記憶する。これにより、連続する２フレームの画像信号が、画像メモリ２２，２４に格納される。
【００２２】
画像合成装置２６は、画像メモリ２２の記憶画像と、画像メモリ２４の記憶画像を画像合成制御装置４０により指定される合成係数で合成し、合成画像をカメラ信号処理装置２８に出力する。画像メモリ２２の記憶画像をＡ，画像メモリ２４の記憶画像をＢ、画像Ａに対する合成係数をｘ、画像Ｂに対する合成係数をｙとすると、画像合成装置２６は、ｘＡ＋ｙＢで得られる合成画像を出力する。通常、ｙ＝１−ｘである。
【００２３】
ｘ＝１のとき、画像合成装置２６は、画像メモリ２２の記憶画像を選択し、ｙ＝１のとき、画像合成装置２６は、画像メモリ２４の記憶画像を選択する。即ち、ｘが０又は１のとき、画像合成装置２６は、画像メモリ２２と画像メモリ２４の記憶画像の一方を選択するセレクタとして機能する。本実施例では、これを特に、選択合成という。
【００２４】
カメラ信号処理装置２８は、画像合成装置２８からの合成画像信号に露出制御及び色バランス調整等の周知のカメラ信号処理を実施し、処理結果を符号化器３０に出力する。
【００２５】
符号化器３０は、予め設定されているＧＯＰ構造情報に合わせて、カメラ信号処理装置２８からの画像信号を圧縮符号化し、圧縮画像データをバッファ３２に出力する。符号化器３０は、ＭＰＥＧ２の場合、ブロック分割器、ＤＣＴ回路、量子化器、可変長符号化器及び動き補償回路等の周知の回路構成からなる。符号化器３０は、バッファ３２からのバッファ残量情報に従い、バッファ残量が少ない場合に量子化ステップを変更する。
【００２６】
バッファ３２は、符号化器３０から書き込まれた圧縮画像データを一定レートで記録媒体３４に読み出す。
【００２７】
図２は、画像合成装置２６の動作フローチャートを示す。ここでは、画像合成制御装置４０は、画像合成比率を２値で制御しており、画像合成装置２６は、画像メモリ２２の画像と画像メモリ２４の画像の一方を選択するセレクタとして機能する。図３は、ＧＯＰ構造情報と画像更新タイミングに従い合成比率を適応的に２値制御する動作を示す。参考のため、合成比率を制御しない場合の動作を図４に示す。
【００２８】
図２に示すフローでは、先ず、合成対象画像、即ち画像メモリ２２又は画像メモリ２４に格納されている画像が、Ｉピクチャとして符号化される画像であるかを判定する（Ｓ１）。Ｉピクチャが含まれる場合（Ｓ１）、合成係数ｘに１を設定し、合成係数ｙに０を設定する（Ｓ２）。画像メモリ２２，２４に格納される画像が何れもＩピクチャでない場合（Ｓ１）、画像メモリ２２又は画像メモリ２４に格納されている画像と、その直前の予測参照画像との間に画像更新タイミングが入っているどうかを調べる（Ｓ３）。画像更新タイミングが入っていない場合（Ｓ３）、合成係数ｘに１を設定し、合成係数ｙに０を設定する（Ｓ２）。即ち、画像合成装置２８は、画像メモリ２２の画像を選択する。画像更新タイミングが入っている場合（Ｓ３）、合成係数ｘに０を設定し、合成係数ｙに１を設定する（Ｓ４）。即ち、画像合成装置２８は、画像メモリ２４の画像を選択する。
【００２９】
図２に示す合成比率の制御による効果を、図３及び図４を参照して説明する。図３（ａ）は画像更新タイミングを示し、シャッタ速度制御装置３６による電子シャッタの撮像タイミングでもある。図３（ｂ）は画像メモリ２２の記憶画像、図３（ｃ）は画像メモリ２４の記憶画像を示す。図３（ｄ）は、符号化器３０における符号化タイミングであり、画像合成装置２６は、この符号化タイミングに合わせて合成画像を生成する。図３（ｅ）は画像合成装置２６で合成する画像がどのピクチャとして符号化されるかを示す。
【００３０】
図３（ｆ）は、画像メモリ２２の記憶画像の合成係数ｘを示し、図３（ｇ）はメモリ２４の記憶画像の合成係数ｙを示す。図３（ｈ）は、図３（ｂ）、（ｃ）、（ｆ）及び（ｇ）に従って画像合成装置２６で合成された合成画像である。図３（ｉ）は、合成画像が符号化時に予測参照する画像を示す予測参照情報であり、矢印で示した画像が参照される。
【００３１】
図３（ｊ）は符号化データ量を示す。Ｉピクチャはすべてのマクロブロックをフレーム内符号化するので、符号化データ量が多くなる。Ｐピクチャは予測参照する画像との差分値がない場合は、すべてのマクロブロックがフレーム間符号化となり符号化データ量が少ない。差分値がある場合、フレーム内符号化するマクロブロックが増えるので、符号化データ量が多くなる。Ｂピクチャは、前後の予測参照画像を利用できるので、基本的に符号化データ量が少ない。図３に示すように画像の更新周期がＩピクチャ又はＰピクチャが現れる周期より長い場合には、予測参照画像との差分値が小さくなるので、符号化データ量が少なくなる。
【００３２】
図４（ａ）〜（ｊ）は、図３（ａ）〜（ｊ）と同様の内容を示す。但し、図４では、合成係数ｘが常に１で、合成係数ｙが常に０である。即ち、図４は、メモリ２２の記憶画像をそのままカメラ信号処理装置２８に入力する場合に相当する。
【００３３】
図４の場合、ピクチャＰ４〜Ｐ１０の短い期間で符号化時の情報量が大きい画像が続いている。この結果、ピクチャＩ７又はＰ１０が符号化される際にバッファ３２の残量が少ない場合に、量子化ステップの制御が行われ、圧縮率が変動する。Ｉピクチャのように予測参照の基準となる画像の圧縮率が高くなると、復号時の劣化がＧＯＰ内の全画像に影響してしまう。
【００３４】
これに対し、本実施例では、図３に示すように、ピクチャＢ３〜Ｐ４やＢ９〜Ｐ１０のように、予測参照画像と現在のピクチャとの間に画像更新タイミング（図３（ａ））が入る場合、予測参照画像である第２のメモリ２４の記憶画像を選択して符号化器３０に供給することで、Ｉピクチャの符号化時にバッファ３２の残量が少なくなることを防止し、量子化ステップの再調整の可能性を低減している。
【００３５】
このように、本実施例では、画像の更新されるタイミングとＧＯＰ構造情報とから、時間的に連続する２つの画像の一方を選択して、符号化器に供給することで、符号化効率を高め、結果的に、ＧＯＰ構造を再構築することなく符号化データ量を削減できる。
【実施例２】
【００３６】
次に、本発明の第2実施例を説明する。図５は、２つの画像の合成係数をＧＯＰ構造情報に従い適応的に決定するフローチャートを示し、図６は、本実施例の動作例を示す。図７は、画像更新タイミング後の２フレームについて、ＧＯＰ構造情報を参照せずに、固定合成係数値で画像を合成する場合の動作例を示す。
【００３７】
図５に示すフローでは、先ず、合成対象画像、即ちメモリ２２又はメモリ２４に格納されている画像が、Ｉピクチャとして符号化される画像であるかを判定する（Ｓ１１）。
【００３８】
Ｉピクチャが含まれない場合（Ｓ１１）、画像更新タイミングの最初のフレームに対して、合成係数ｘ＝１／３，合成係数ｙ＝２／３でメモリ２２，２４の画像を線形合成し、２番目のフレームに対して、合成係数ｘ＝２／３、合成係数ｙ＝１／３で画像メモリ２２，２４の画像を線形合成する（Ｓ１２）。
【００３９】
Ｉピクチャが含まれる場合（Ｓ１１）、画像更新直後の最初のピクチャがＩピクチャかどうかを判定する（Ｓ１３）。最初のピクチャがＩピクチャである場合（Ｓ１３）、画像更新前の画像をＩピクチャ用に選択し、以後の最初のフレームに対して、合成係数ｘ＝１／３、合成係数ｙ＝２／３で画像メモリ２２，２４の画像を線形合成し、２番目のフレームに対して、合成係数ｘ＝２／３、合成係数ｙ＝１／３で、画像メモリ２２，２４の画像を線形合成する（Ｓ１４）。この例のように、時間的に連続する複数のピクチャに対して、合成係数ｘ，ｙをピクチャ毎に変更しながら、画像メモリ２２，２４の画像を線形合成することを、傾斜合成と呼ぶことにする。
【００４０】
画像更新直後の最初のピクチャがＩピクチャでない場合（Ｓ１３）、Ｉピクチャの前の画像に対して、合成係数ｘ，ｙをそれぞれ１／２に設定して、画像メモリ２２，２４の画像を線形合成する（Ｓ１５）。
【００４１】
図６（ａ）〜（ｉ）及び図７（ａ）〜（ｉ）は、図３（ａ）〜（ｉ）と同じ内容を示す。図６（ｆ）に示す合成係数ｘと、図６（ｇ）に示す合成係数ｙは、図５に示すフローに従って決定される。他方、図７（ｆ）に示す合成係数ｘと、図６（ｇ）に示す合成係数ｙは、一定である。
【００４２】
画像更新タイミング後の２フレームについて、単純に傾斜合成を適用する場合、図７に例示するように、画像更新タイミング後の２ピクチャがＩ３〜Ｂ４、Ｂ８〜Ｉ９となり、合成画像は図７（ｈ）になる。Ｉピクチャとして符号化されるＩ３とＩ９が複数画像からの合成画像となるため、ＧＯＰ全体の画質が低下してしまう。
【００４３】
これに対し、図６に示すように、本実施例では、ＧＯＰ構成情報をも参照して、合成係数ｘ，ｙと合成範囲（開始と終了）を制御するので、画質低下を解消又は軽減できる。具体的には、Ｉ３〜Ｂ４のように画像更新タイミング後の最初のピクチャがＩピクチャの場合、画像更新前のピクチャを採用し（ｘ＝０，ｙ＝１）、Ｉピクチャの次のピクチャからの２ピクチャについて、画像メモリ２２，２４の画像を線形合成する。また、Ｂ８〜Ｉ９のように、画像更新タイミング後の最初のピクチャがＩピクチャでない場合、図６（ｆ），（ｇ）に示すように、Ｉピクチャの前のピクチャに対して、画像メモリ２２，２４の画像を線形合成する。
【００４４】
このように合成係数ｘ，ｙと合成範囲を制御することで、ピクチャＩ３とＩ９は、画像メモリ２２，２４の一方の画像のみからなる。また、ピクチャＢ４〜Ｂ５及びＢ８は、画像更新タイミングの前後の画像を線形合成した画像からなる。
【００４５】
以上のように、本実施例では、画像更新タイミングとＧＯＰ構造情報より、時間的に連続する2画像の合成係数を制御することで、Ｉピクチャの画像の画質を高く保ちながら、滑らかな画像を記録できる。
【実施例３】
【００４６】
図８は、本発明の実施例３の概略構成ブロック図を示す。図１に示す実施例と同じ作用の構成要素には、同じ符号を付してある。実施例１とは異なる部分を説明する。画像合成制御装置６０は、符号化器３０からのＧＯＰ構造情報のみならず、バッファ３２からの残量情報をも参照して、画像合成装置２６の合成計数ｘ，ｙを決定する。
【００４７】
図９は、図８に示す実施例の動作例を示す。図９（ａ）〜（ｉ）は、図３（ａ）〜（ｉ）と同様の内容を示す。図９（ｊ）は、通常の量子化ステップで符号化する場合の符号化データ量を示す指数を示す。ここでは、すべてのマクロブロックをフレーム内符号化するＩピクチャの場合の符号化ータ量の指数を最大値の７とし、予測参照画像との差分値がない場合のフレーム間符号化の場合の符号化データ量の指数を最低値の１としている。図９（ｋ）は、バッファ３２の残量の指数を示す。この残量指数が０でアンダーフローとなる。記録媒体に出力するデータ量（指数）を３とすると、バッファ３２の残量（指数）は、符号化データ量と、記録媒体に出力するデータ量との差分値により増減する。
【００４８】
図９では、Ｂ３〜Ｐ４、Ｉ１３〜Ｂ１５のようにバッファ残量が多い場合は、複数のピクチャにわたり非０の合成係数ｘ，ｙを使用する傾斜合成を用いることで、滑らかな画像を記録する。Ｂ８〜Ｐ１０のようにバッファ残量が少ない場合は、一方の画像を選択する選択合成を用いることで、符号化時のデータ量を削減している。
【００４９】
このように、本実施例では、記録レートを均一化するためのバッファ３２がアンダーフローしそうな場合には、画像合成を2値制御することにより符号化データ量を削減し、バッファ３２がアンダーフローしそうでない場合は、傾斜合成又は等分合成を利用することで、よりなめらかな画像を記録する。
【実施例４】
【００５０】
図１０は、本発明の実施例４の概略構成ブロック図を示す。図１に示す実施例と同じ作用の構成要素には、同じ符号を付してある。実施例１とは異なる部分を説明する。
【００５１】
露出評価値算出装置７０は、Ａ／Ｄ変換器２０から出力される画像信号を、画面内で複数のエリアに分割し、エリアごとに輝度に基づく露出評価値を算出し、画像合成制御装置７２に出力する。画像合成制御装置７２は、符号化器３０からのＧＯＰ構造情報と、画像更新タイミング前後の露出評価値の変化量とに応じて、画像合成装置２６の合成係数ｘ，ｙを決定する。
【００５２】
図１１は、図１０に示す実施例の動作例を示す。図１１（ａ）〜（ｊ）は、図９（ａ）〜（ｊ）と同様の内容を示す。図１１（ｋ）は、画像更新タイミング前後の露出評価値の変化量を示す。露出評価値の変化量の大小と、画像間の差分値は、比例している場合が多い。
【００５３】
図１１で、Ｂ３〜Ｐ４、Ｉ１３〜Ｂ１５のように露出評価値の差分値が小さい場合、傾斜合成を適用することで、滑らかな画像を記録する。また、Ｂ８〜Ｐ１０のように差分値が大きい場合は、選択合成を用いることで符号化データ量を削減する。
【００５４】
このように、本実施例では、露出評価値の変化が大きい場合には、選択合成を適用し、露出評価値の変化が小さい場合は、傾斜合成を適用することで、全体として、符号化データ量を削減しつつ、滑らかな画像の記録を実現する。
【００５５】
動画像の圧縮符号化方式としてＭＰＥＧを例に説明したが、本発明は、画面により符号化データ量がダイナミックに変動する他の符号化方式を利用する場合にも適用可能であることは明らかである。
【図面の簡単な説明】
【００５６】
【図１】本発明の実施例１の概略構成ブロック図である。
【図２】図２は、画像合成装置２６の動作フローチャートである。
【図３】ＧＯＰ構造情報と画像更新タイミングに従い合成比率を適応的に２値制御する本実施例の動作例である。
【図４】合成比率を制御しない場合の画像合成動作例である。
【図５】実施例２における、２つの画像の合成係数をＧＯＰ構造情報に従い適応的に決定する動作のフローチャートである。
【図６】実施例２の動作例である。
【図７】画像更新タイミング後の２フレームについて、ＧＯＰ構造情報を参照せずに、固定合成係数値で画像を合成する場合の動作例である。
【図８】実施例３の概略構成ブロック図である。
【図９】実施例３の動作例である。
【図１０】実施例４の概略構成ブロック図である。
【図１１】実施例４の動作例である。
【符号の説明】
【００５７】
１０：レンズ
１２：絞り
１４：撮像素子
１６：ＣＤＳ回路
１８：ＡＧＣ回路
２０：Ａ／Ｄ変換器
２２，２４：画像メモリ
２６：画像合成装置
２８：カメラ信号処理装置
３０：符号化器
３２：バッファ
３４：記録媒体
３６：シャッタ速度制御装置
３８：ＣＰＵ
４０：画像合成制御装置
６０：画像合成制御装置
７０：露出評価値算出装置
７２：画像合成制御装置
【技術分野】
【０００１】
本発明は、撮像装置に関し、より具体的には、複数の撮影画像を選択又は合成して圧縮符号化する撮像装置に関する。
【背景技術】
【０００２】
近年、動画像をテジタル符号化して、ディスク状記録媒体や半導体メモリ等の記録媒体に記録する撮像装置が提案されており、動画像の圧縮符号化方式としては、ＤＣＴ（Discrete Cosine Transform）変換、動き補償及び可変長符号化を基本とするＭＰＥＧ（Moving Pictures Experts Group）方式や、ＭＰＥＧ−４，Ｈ．２６４も知られている。これらは、１画面内を複数の画素からなる複数のブロックに分割し、そのブロック単位で変換符号化を施すブロック符号化を利用する。
【０００３】
例えば、ＭＰＥＧ方式では、1枚の画像をｎ画素×ｎ画素（ｎは例えば、８又は１６）の画素ブロックに分割し、動き予測された差分画像に対して、ブロック単位でＤＣＴ変換を行う。次に、変換後のＤＣＴ係数をある除数（量子化ステップ）で割り算し、余りを丸めることで量子化し、情報量を削減する。
【０００４】
また、動画像の場合、前後の画像は非常によく似ているという特徴を利用する。即ち、前画像と現画像の変化の有無や画素ブロック単位での移動量を利用する動き補償手法で、動画像情報を圧縮する。
【０００５】
さらに、ＤＣＴ係数と移動量は出現確率に明らかな違いがでる傾向があり、出現確率の高い符号に短い符号を割り当てる可変長符号化を用いることで、平均的な情報発生量を減らすことができる。
【０００６】
また、ＭＰＥＧ方式では、ある枚数の画像をまとめたＧＯＰ（Group of Pictures）と呼ばれる単位で、圧縮符号化が実行される。１ＧＯＰ内には、Ｉピクチャ、Ｐピクチャ及びＢピクチャがあり、それぞれ符号方法が異なる。Ｉピクチャはフレーム内符号化画像であり、全マクロブロックがイントラ符号化される。Ｐピクチャはフレーム間予測符号化画像であり、マクロブロックごとにフレーム内符号化とフレーム間符号化が選択され、フレーム間符号化では、直前のフレームとの差分値が符号化される。Ｂピクチャは双方向予測符号化画像であり、直近の前後のＩピクチャ又はＰピクチャからの予測値との差分値が符号化される。
【０００７】
復号化の処理では、ＩピクチャとＰピクチャは予測に使用される画像であるのに対して、ＢピクチャはＩピクチャとＰピクチャを利用して再生される画像である。このため、ＩピクチャとＰピクチャの画質を高く保ち、Ｂピクチャの画質を低く抑えることで、全体の信号対ノイズ比が向上する。
【０００８】
可変長符号化を用いて動画像信号を圧縮する場合、動画像信号によって圧縮後のデータ量が変動する。圧縮後のデータを一時的にバッファに格納し、一定レートで読み出すことで、記録レートを一定にしている。バッファの書き込みレートと読み出しレートの関係によっては、バッファのアンダーフローが発生するので、量子化ステップを制御することによる圧縮率の調整が行われる。この結果、シーンチェンジや急激に輝度が変化するシーンで、予測参照の基準となるＩピクチャ画像の圧縮率が変わると、画質の劣化が目立ってしまう。
【０００９】
特に、屋内等で撮影に必要な照明が得られない場合に、シャッタ速度を遅くすることで明るい画像を撮影するスローシャッタ撮影が採用されると、画像間の差が大きくなりやすい。また、スローシャッタ撮影では、通常撮影時の１/ｎ（ｎ：自然数）でしか画像が更新されないので、記録画像が滑らかなものになりにくい。
【００１０】
このような問題に対し、特許文献１には、スローシャッタ撮影時に、符号化処理部への画像入力速度を遅くするとともにＧＯＰのピクチャ構成を再構成することで、圧縮画像データのデータ量を削減する技術が記載されている。
【００１１】
また、特許文献２には、スローシャッタ撮影時に複数枚の画像信号を合成して一枚の画像を生成することで、なめらかな画像を記録する技術が記載されている。
【特許文献１】特開２００１−０２５０１１号公報
【特許文献２】特開２０００−３０７９６４号公報
【発明の開示】
【発明が解決しようとする課題】
【００１２】
特許文献１に記載の技術では、圧縮率が変動することによる画質の劣化を防止できるが、記録画像は通常撮影時の１/ｎのままであり、なめらかな画像を記録できない。また、ＧＯＰのピクチャ構成を再編成するので、符号化処理部で複雑な処理が必要になるという問題がある。
【００１３】
特許文献２に記載の技術では、滑らかな画像を記録できるが、符号化時の圧縮率が変動することによる画質の劣化を防止できない。また、予測参照の基準となるＩピクチャ画像が合成画像となるので、全体の画質が低下する。
【００１４】
本発明は、このような問題点を解決する撮像装置を提示することを目的とする。
【課題を解決するための手段】
【００１５】
本発明に係る撮像装置は、通常速度よりも低速の撮影速度で撮影画像信号を出力する撮像手段と、前記撮像手段による撮影画像信号を順次更新して記憶する複数の画像メモリと、前記通常速度に応じた速度で、前記画像メモリに記憶されている画像の一つを選択出力する画像選択手段と、前記通常速度に応じた速度で、前記合成手段の出力画像を圧縮符号化する符号化手段と、前記複数の画像メモリの画像更新タイミングと前記符号化手段における符号化構造情報に応じて、前記画像合成手段の選択を制御する選択制御手段とを具備することを特徴とする。
【００１６】
本発明に係る撮像装置は、通常速度よりも低速の撮影速度で撮影画像信号を出力する撮像手段と、前記撮像素子による撮影画像信号を順次更新して記憶する複数の画像メモリと、前記通常速度に応じた速度で、前記画像メモリに記憶されている画像を合成出力する画像合成手段と、前記通常速度に応じた速度で、前記合成手段の出力画像を圧縮符号化する符号化手段と、前記複数の画像メモリの画像更新タイミングと前記符号化手段における符号化構造情報に応じて、前記画像合成手段の合成を制御する画像合成制御手段とを具備することを特徴とする。
【発明の効果】
【００１７】
本発明によれば、画像更新タイミングと符号化構造情報に応じて、低速撮影の撮影画像の選択又は合成を制御することで、符号化構造を再構築することなく、符号化データ量を削減できる。
【発明を実施するための最良の形態】
【００１８】
以下、図面を参照して、本発明の実施例を詳細に説明する。
【実施例１】
【００１９】
図１は、本発明の一実施例である撮像装置の概略構成ブロック図を示す。被写体の光学像がレンズ１０及び絞り１２を経て、撮像素子１４に入射し、撮像素子１４は、その光学像を電気信号に変換して、画像信号を出力する。ＣＤＳ（Correlated Double Sampling）回路１６は、相関二重サンプリングにより、撮像素子１４から出力される画像信号のノイズを除去し、ＡＧＣ（Auto Gain Control）回路１８は、ＣＤＳ回路１６の出力画像信号のレベルを自動制御する。Ａ／Ｄ変換器２０は、ＡＧＣ回路１８から出力されるアナログ画像信号をデジタル画像信号に変換する。このデジタル画像信号は、画像メモリ２２に格納される。
【００２０】
ＣＰＵ３８は、シャッタ速度制御装置３６により撮像素子１４の電荷蓄積時間を制御する。これにより、撮像素子１４の露光時間が制御される。いわゆる電子シャッタ機能であり、シャッタ速度が変更される。ＣＰＵ３８は、撮像素子１４の電荷蓄積時間に合わせて、必要な信号のみを書き込むように、画像メモリ２２の書き込みタイミングを制御する。
【００２１】
画像メモリ２４は、画像メモリ２２から読み出される画像データを、画像メモリ２２の更新タイミングに合わせて記憶する。これにより、連続する２フレームの画像信号が、画像メモリ２２，２４に格納される。
【００２２】
画像合成装置２６は、画像メモリ２２の記憶画像と、画像メモリ２４の記憶画像を画像合成制御装置４０により指定される合成係数で合成し、合成画像をカメラ信号処理装置２８に出力する。画像メモリ２２の記憶画像をＡ，画像メモリ２４の記憶画像をＢ、画像Ａに対する合成係数をｘ、画像Ｂに対する合成係数をｙとすると、画像合成装置２６は、ｘＡ＋ｙＢで得られる合成画像を出力する。通常、ｙ＝１−ｘである。
【００２３】
ｘ＝１のとき、画像合成装置２６は、画像メモリ２２の記憶画像を選択し、ｙ＝１のとき、画像合成装置２６は、画像メモリ２４の記憶画像を選択する。即ち、ｘが０又は１のとき、画像合成装置２６は、画像メモリ２２と画像メモリ２４の記憶画像の一方を選択するセレクタとして機能する。本実施例では、これを特に、選択合成という。
【００２４】
カメラ信号処理装置２８は、画像合成装置２８からの合成画像信号に露出制御及び色バランス調整等の周知のカメラ信号処理を実施し、処理結果を符号化器３０に出力する。
【００２５】
符号化器３０は、予め設定されているＧＯＰ構造情報に合わせて、カメラ信号処理装置２８からの画像信号を圧縮符号化し、圧縮画像データをバッファ３２に出力する。符号化器３０は、ＭＰＥＧ２の場合、ブロック分割器、ＤＣＴ回路、量子化器、可変長符号化器及び動き補償回路等の周知の回路構成からなる。符号化器３０は、バッファ３２からのバッファ残量情報に従い、バッファ残量が少ない場合に量子化ステップを変更する。
【００２６】
バッファ３２は、符号化器３０から書き込まれた圧縮画像データを一定レートで記録媒体３４に読み出す。
【００２７】
図２は、画像合成装置２６の動作フローチャートを示す。ここでは、画像合成制御装置４０は、画像合成比率を２値で制御しており、画像合成装置２６は、画像メモリ２２の画像と画像メモリ２４の画像の一方を選択するセレクタとして機能する。図３は、ＧＯＰ構造情報と画像更新タイミングに従い合成比率を適応的に２値制御する動作を示す。参考のため、合成比率を制御しない場合の動作を図４に示す。
【００２８】
図２に示すフローでは、先ず、合成対象画像、即ち画像メモリ２２又は画像メモリ２４に格納されている画像が、Ｉピクチャとして符号化される画像であるかを判定する（Ｓ１）。Ｉピクチャが含まれる場合（Ｓ１）、合成係数ｘに１を設定し、合成係数ｙに０を設定する（Ｓ２）。画像メモリ２２，２４に格納される画像が何れもＩピクチャでない場合（Ｓ１）、画像メモリ２２又は画像メモリ２４に格納されている画像と、その直前の予測参照画像との間に画像更新タイミングが入っているどうかを調べる（Ｓ３）。画像更新タイミングが入っていない場合（Ｓ３）、合成係数ｘに１を設定し、合成係数ｙに０を設定する（Ｓ２）。即ち、画像合成装置２８は、画像メモリ２２の画像を選択する。画像更新タイミングが入っている場合（Ｓ３）、合成係数ｘに０を設定し、合成係数ｙに１を設定する（Ｓ４）。即ち、画像合成装置２８は、画像メモリ２４の画像を選択する。
【００２９】
図２に示す合成比率の制御による効果を、図３及び図４を参照して説明する。図３（ａ）は画像更新タイミングを示し、シャッタ速度制御装置３６による電子シャッタの撮像タイミングでもある。図３（ｂ）は画像メモリ２２の記憶画像、図３（ｃ）は画像メモリ２４の記憶画像を示す。図３（ｄ）は、符号化器３０における符号化タイミングであり、画像合成装置２６は、この符号化タイミングに合わせて合成画像を生成する。図３（ｅ）は画像合成装置２６で合成する画像がどのピクチャとして符号化されるかを示す。
【００３０】
図３（ｆ）は、画像メモリ２２の記憶画像の合成係数ｘを示し、図３（ｇ）はメモリ２４の記憶画像の合成係数ｙを示す。図３（ｈ）は、図３（ｂ）、（ｃ）、（ｆ）及び（ｇ）に従って画像合成装置２６で合成された合成画像である。図３（ｉ）は、合成画像が符号化時に予測参照する画像を示す予測参照情報であり、矢印で示した画像が参照される。
【００３１】
図３（ｊ）は符号化データ量を示す。Ｉピクチャはすべてのマクロブロックをフレーム内符号化するので、符号化データ量が多くなる。Ｐピクチャは予測参照する画像との差分値がない場合は、すべてのマクロブロックがフレーム間符号化となり符号化データ量が少ない。差分値がある場合、フレーム内符号化するマクロブロックが増えるので、符号化データ量が多くなる。Ｂピクチャは、前後の予測参照画像を利用できるので、基本的に符号化データ量が少ない。図３に示すように画像の更新周期がＩピクチャ又はＰピクチャが現れる周期より長い場合には、予測参照画像との差分値が小さくなるので、符号化データ量が少なくなる。
【００３２】
図４（ａ）〜（ｊ）は、図３（ａ）〜（ｊ）と同様の内容を示す。但し、図４では、合成係数ｘが常に１で、合成係数ｙが常に０である。即ち、図４は、メモリ２２の記憶画像をそのままカメラ信号処理装置２８に入力する場合に相当する。
【００３３】
図４の場合、ピクチャＰ４〜Ｐ１０の短い期間で符号化時の情報量が大きい画像が続いている。この結果、ピクチャＩ７又はＰ１０が符号化される際にバッファ３２の残量が少ない場合に、量子化ステップの制御が行われ、圧縮率が変動する。Ｉピクチャのように予測参照の基準となる画像の圧縮率が高くなると、復号時の劣化がＧＯＰ内の全画像に影響してしまう。
【００３４】
これに対し、本実施例では、図３に示すように、ピクチャＢ３〜Ｐ４やＢ９〜Ｐ１０のように、予測参照画像と現在のピクチャとの間に画像更新タイミング（図３（ａ））が入る場合、予測参照画像である第２のメモリ２４の記憶画像を選択して符号化器３０に供給することで、Ｉピクチャの符号化時にバッファ３２の残量が少なくなることを防止し、量子化ステップの再調整の可能性を低減している。
【００３５】
このように、本実施例では、画像の更新されるタイミングとＧＯＰ構造情報とから、時間的に連続する２つの画像の一方を選択して、符号化器に供給することで、符号化効率を高め、結果的に、ＧＯＰ構造を再構築することなく符号化データ量を削減できる。
【実施例２】
【００３６】
次に、本発明の第2実施例を説明する。図５は、２つの画像の合成係数をＧＯＰ構造情報に従い適応的に決定するフローチャートを示し、図６は、本実施例の動作例を示す。図７は、画像更新タイミング後の２フレームについて、ＧＯＰ構造情報を参照せずに、固定合成係数値で画像を合成する場合の動作例を示す。
【００３７】
図５に示すフローでは、先ず、合成対象画像、即ちメモリ２２又はメモリ２４に格納されている画像が、Ｉピクチャとして符号化される画像であるかを判定する（Ｓ１１）。
【００３８】
Ｉピクチャが含まれない場合（Ｓ１１）、画像更新タイミングの最初のフレームに対して、合成係数ｘ＝１／３，合成係数ｙ＝２／３でメモリ２２，２４の画像を線形合成し、２番目のフレームに対して、合成係数ｘ＝２／３、合成係数ｙ＝１／３で画像メモリ２２，２４の画像を線形合成する（Ｓ１２）。
【００３９】
Ｉピクチャが含まれる場合（Ｓ１１）、画像更新直後の最初のピクチャがＩピクチャかどうかを判定する（Ｓ１３）。最初のピクチャがＩピクチャである場合（Ｓ１３）、画像更新前の画像をＩピクチャ用に選択し、以後の最初のフレームに対して、合成係数ｘ＝１／３、合成係数ｙ＝２／３で画像メモリ２２，２４の画像を線形合成し、２番目のフレームに対して、合成係数ｘ＝２／３、合成係数ｙ＝１／３で、画像メモリ２２，２４の画像を線形合成する（Ｓ１４）。この例のように、時間的に連続する複数のピクチャに対して、合成係数ｘ，ｙをピクチャ毎に変更しながら、画像メモリ２２，２４の画像を線形合成することを、傾斜合成と呼ぶことにする。
【００４０】
画像更新直後の最初のピクチャがＩピクチャでない場合（Ｓ１３）、Ｉピクチャの前の画像に対して、合成係数ｘ，ｙをそれぞれ１／２に設定して、画像メモリ２２，２４の画像を線形合成する（Ｓ１５）。
【００４１】
図６（ａ）〜（ｉ）及び図７（ａ）〜（ｉ）は、図３（ａ）〜（ｉ）と同じ内容を示す。図６（ｆ）に示す合成係数ｘと、図６（ｇ）に示す合成係数ｙは、図５に示すフローに従って決定される。他方、図７（ｆ）に示す合成係数ｘと、図６（ｇ）に示す合成係数ｙは、一定である。
【００４２】
画像更新タイミング後の２フレームについて、単純に傾斜合成を適用する場合、図７に例示するように、画像更新タイミング後の２ピクチャがＩ３〜Ｂ４、Ｂ８〜Ｉ９となり、合成画像は図７（ｈ）になる。Ｉピクチャとして符号化されるＩ３とＩ９が複数画像からの合成画像となるため、ＧＯＰ全体の画質が低下してしまう。
【００４３】
これに対し、図６に示すように、本実施例では、ＧＯＰ構成情報をも参照して、合成係数ｘ，ｙと合成範囲（開始と終了）を制御するので、画質低下を解消又は軽減できる。具体的には、Ｉ３〜Ｂ４のように画像更新タイミング後の最初のピクチャがＩピクチャの場合、画像更新前のピクチャを採用し（ｘ＝０，ｙ＝１）、Ｉピクチャの次のピクチャからの２ピクチャについて、画像メモリ２２，２４の画像を線形合成する。また、Ｂ８〜Ｉ９のように、画像更新タイミング後の最初のピクチャがＩピクチャでない場合、図６（ｆ），（ｇ）に示すように、Ｉピクチャの前のピクチャに対して、画像メモリ２２，２４の画像を線形合成する。
【００４４】
このように合成係数ｘ，ｙと合成範囲を制御することで、ピクチャＩ３とＩ９は、画像メモリ２２，２４の一方の画像のみからなる。また、ピクチャＢ４〜Ｂ５及びＢ８は、画像更新タイミングの前後の画像を線形合成した画像からなる。
【００４５】
以上のように、本実施例では、画像更新タイミングとＧＯＰ構造情報より、時間的に連続する2画像の合成係数を制御することで、Ｉピクチャの画像の画質を高く保ちながら、滑らかな画像を記録できる。
【実施例３】
【００４６】
図８は、本発明の実施例３の概略構成ブロック図を示す。図１に示す実施例と同じ作用の構成要素には、同じ符号を付してある。実施例１とは異なる部分を説明する。画像合成制御装置６０は、符号化器３０からのＧＯＰ構造情報のみならず、バッファ３２からの残量情報をも参照して、画像合成装置２６の合成計数ｘ，ｙを決定する。
【００４７】
図９は、図８に示す実施例の動作例を示す。図９（ａ）〜（ｉ）は、図３（ａ）〜（ｉ）と同様の内容を示す。図９（ｊ）は、通常の量子化ステップで符号化する場合の符号化データ量を示す指数を示す。ここでは、すべてのマクロブロックをフレーム内符号化するＩピクチャの場合の符号化ータ量の指数を最大値の７とし、予測参照画像との差分値がない場合のフレーム間符号化の場合の符号化データ量の指数を最低値の１としている。図９（ｋ）は、バッファ３２の残量の指数を示す。この残量指数が０でアンダーフローとなる。記録媒体に出力するデータ量（指数）を３とすると、バッファ３２の残量（指数）は、符号化データ量と、記録媒体に出力するデータ量との差分値により増減する。
【００４８】
図９では、Ｂ３〜Ｐ４、Ｉ１３〜Ｂ１５のようにバッファ残量が多い場合は、複数のピクチャにわたり非０の合成係数ｘ，ｙを使用する傾斜合成を用いることで、滑らかな画像を記録する。Ｂ８〜Ｐ１０のようにバッファ残量が少ない場合は、一方の画像を選択する選択合成を用いることで、符号化時のデータ量を削減している。
【００４９】
このように、本実施例では、記録レートを均一化するためのバッファ３２がアンダーフローしそうな場合には、画像合成を2値制御することにより符号化データ量を削減し、バッファ３２がアンダーフローしそうでない場合は、傾斜合成又は等分合成を利用することで、よりなめらかな画像を記録する。
【実施例４】
【００５０】
図１０は、本発明の実施例４の概略構成ブロック図を示す。図１に示す実施例と同じ作用の構成要素には、同じ符号を付してある。実施例１とは異なる部分を説明する。
【００５１】
露出評価値算出装置７０は、Ａ／Ｄ変換器２０から出力される画像信号を、画面内で複数のエリアに分割し、エリアごとに輝度に基づく露出評価値を算出し、画像合成制御装置７２に出力する。画像合成制御装置７２は、符号化器３０からのＧＯＰ構造情報と、画像更新タイミング前後の露出評価値の変化量とに応じて、画像合成装置２６の合成係数ｘ，ｙを決定する。
【００５２】
図１１は、図１０に示す実施例の動作例を示す。図１１（ａ）〜（ｊ）は、図９（ａ）〜（ｊ）と同様の内容を示す。図１１（ｋ）は、画像更新タイミング前後の露出評価値の変化量を示す。露出評価値の変化量の大小と、画像間の差分値は、比例している場合が多い。
【００５３】
図１１で、Ｂ３〜Ｐ４、Ｉ１３〜Ｂ１５のように露出評価値の差分値が小さい場合、傾斜合成を適用することで、滑らかな画像を記録する。また、Ｂ８〜Ｐ１０のように差分値が大きい場合は、選択合成を用いることで符号化データ量を削減する。
【００５４】
このように、本実施例では、露出評価値の変化が大きい場合には、選択合成を適用し、露出評価値の変化が小さい場合は、傾斜合成を適用することで、全体として、符号化データ量を削減しつつ、滑らかな画像の記録を実現する。
【００５５】
動画像の圧縮符号化方式としてＭＰＥＧを例に説明したが、本発明は、画面により符号化データ量がダイナミックに変動する他の符号化方式を利用する場合にも適用可能であることは明らかである。
【図面の簡単な説明】
【００５６】
【図１】本発明の実施例１の概略構成ブロック図である。
【図２】図２は、画像合成装置２６の動作フローチャートである。
【図３】ＧＯＰ構造情報と画像更新タイミングに従い合成比率を適応的に２値制御する本実施例の動作例である。
【図４】合成比率を制御しない場合の画像合成動作例である。
【図５】実施例２における、２つの画像の合成係数をＧＯＰ構造情報に従い適応的に決定する動作のフローチャートである。
【図６】実施例２の動作例である。
【図７】画像更新タイミング後の２フレームについて、ＧＯＰ構造情報を参照せずに、固定合成係数値で画像を合成する場合の動作例である。
【図８】実施例３の概略構成ブロック図である。
【図９】実施例３の動作例である。
【図１０】実施例４の概略構成ブロック図である。
【図１１】実施例４の動作例である。
【符号の説明】
【００５７】
１０：レンズ
１２：絞り
１４：撮像素子
１６：ＣＤＳ回路
１８：ＡＧＣ回路
２０：Ａ／Ｄ変換器
２２，２４：画像メモリ
２６：画像合成装置
２８：カメラ信号処理装置
３０：符号化器
３２：バッファ
３４：記録媒体
３６：シャッタ速度制御装置
３８：ＣＰＵ
４０：画像合成制御装置
６０：画像合成制御装置
７０：露出評価値算出装置
７２：画像合成制御装置
【特許請求の範囲】
【請求項１】
通常速度よりも低速の撮影速度で撮影画像信号を出力する撮像手段（１４）と、
前記撮像手段による撮影画像信号を順次更新して記憶する複数の画像メモリ（２２，２４）と、
前記通常速度に応じた速度で、前記画像メモリに記憶されている画像の一つを選択出力する画像選択手段（２６）と、
前記通常速度に応じた速度で、前記合成手段の出力画像を圧縮符号化する符号化手段（３０）と、
前記複数の画像メモリの画像更新タイミングと前記符号化手段における符号化構造情報に応じて、前記画像合成手段の選択を制御する選択制御手段（４０）
とを具備することを特徴とする撮像装置。
【請求項２】
通常速度よりも低速の撮影速度で撮影画像信号を出力する撮像手段（１４）と、
前記撮像素子による撮影画像信号を順次更新して記憶する複数の画像メモリ（２２，２４）と、
前記通常速度に応じた速度で、前記画像メモリに記憶されている画像を合成出力する画像合成手段（２６）と、
前記通常速度に応じた速度で、前記合成手段の出力画像を圧縮符号化する符号化手段（３０）と、
前記複数の画像メモリの画像更新タイミングと前記符号化手段における符号化構造情報に応じて、前記画像合成手段の合成を制御する画像合成制御手段（４０，６０，７２）
とを具備することを特徴とする撮像装置。
【請求項３】
前記画像合成手段は、前記画像合成制御手段により制御される合成係数で前記画像メモリに記憶されている画像を合成出力する手段であり、
前記画像合成制御手段は、前記画像更新タイミングに続く１以上の画面の画像に対して、前記符号化手段における符号化構造情報に応じて、前記画像合成手段の前記合成係数を制御する
ことを特徴とする請求項２に記載の撮像装置。
【請求項４】
更に、前記符号化手段の出力データを記録前に一時記憶するバッファ（３２）を具備し、
前記画像合成制御手段（６０）は、前記バッファの記憶データ量にも応じて、前記画像合成手段の前記合成係数を制御する
ことを特徴とする請求項３に記載の撮像装置。
【請求項５】
更に、前記撮像手段の露出変化状態を示す露出評価値を算出する露出評価値算出手段（７０）を具備し、
前記画像合成制御手段（７２）は、前記露出評価値算出手段の露出評価値にも応じて、前記画像合成手段の前記合成係数を制御する
ことを特徴とする請求項３に記載の撮像装置。
【請求項６】
前記撮像手段は、光学像を電気信号に変換する撮像素子（１４）と、当該撮像素子の露光時間を制御するシャッタ制御手段（３６）とを具備することを特徴とする請求項１乃至５の何れか１項に記載の撮像装置。
【請求項１】
通常速度よりも低速の撮影速度で撮影画像信号を出力する撮像手段（１４）と、
前記撮像手段による撮影画像信号を順次更新して記憶する複数の画像メモリ（２２，２４）と、
前記通常速度に応じた速度で、前記画像メモリに記憶されている画像の一つを選択出力する画像選択手段（２６）と、
前記通常速度に応じた速度で、前記合成手段の出力画像を圧縮符号化する符号化手段（３０）と、
前記複数の画像メモリの画像更新タイミングと前記符号化手段における符号化構造情報に応じて、前記画像合成手段の選択を制御する選択制御手段（４０）
とを具備することを特徴とする撮像装置。
【請求項２】
通常速度よりも低速の撮影速度で撮影画像信号を出力する撮像手段（１４）と、
前記撮像素子による撮影画像信号を順次更新して記憶する複数の画像メモリ（２２，２４）と、
前記通常速度に応じた速度で、前記画像メモリに記憶されている画像を合成出力する画像合成手段（２６）と、
前記通常速度に応じた速度で、前記合成手段の出力画像を圧縮符号化する符号化手段（３０）と、
前記複数の画像メモリの画像更新タイミングと前記符号化手段における符号化構造情報に応じて、前記画像合成手段の合成を制御する画像合成制御手段（４０，６０，７２）
とを具備することを特徴とする撮像装置。
【請求項３】
前記画像合成手段は、前記画像合成制御手段により制御される合成係数で前記画像メモリに記憶されている画像を合成出力する手段であり、
前記画像合成制御手段は、前記画像更新タイミングに続く１以上の画面の画像に対して、前記符号化手段における符号化構造情報に応じて、前記画像合成手段の前記合成係数を制御する
ことを特徴とする請求項２に記載の撮像装置。
【請求項４】
更に、前記符号化手段の出力データを記録前に一時記憶するバッファ（３２）を具備し、
前記画像合成制御手段（６０）は、前記バッファの記憶データ量にも応じて、前記画像合成手段の前記合成係数を制御する
ことを特徴とする請求項３に記載の撮像装置。
【請求項５】
更に、前記撮像手段の露出変化状態を示す露出評価値を算出する露出評価値算出手段（７０）を具備し、
前記画像合成制御手段（７２）は、前記露出評価値算出手段の露出評価値にも応じて、前記画像合成手段の前記合成係数を制御する
ことを特徴とする請求項３に記載の撮像装置。
【請求項６】
前記撮像手段は、光学像を電気信号に変換する撮像素子（１４）と、当該撮像素子の露光時間を制御するシャッタ制御手段（３６）とを具備することを特徴とする請求項１乃至５の何れか１項に記載の撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２００８−１１３１１２（Ｐ２００８−１１３１１２Ａ）
【公開日】平成２０年５月１５日（２００８．５．１５）
【国際特許分類】
【出願番号】特願２００６−２９３５８５（Ｐ２００６−２９３５８５）
【出願日】平成１８年１０月３０日（２００６．１０．３０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２０年５月１５日（２００８．５．１５）
【国際特許分類】
【出願日】平成１８年１０月３０日（２００６．１０．３０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]