電子的ぶれ補正装置
【課題】 撮影者の技能に依ることなく、ぶれが補正された、所定以上の大きさの画像の有効領域を確保することができる電子的ぶれ補正装置を提供する。
【解決手段】 画像のぶれを検出する角速度センサ１９，２０と、時間的に連続して複数の画像を撮影し、撮影した複数画像の相互のぶれを角速度センサ１９，２０により検出されたぶれ量に応じて補正し、補正した複数の画像を合成して一画像を生成する固体撮像素子１と、連続して撮影される複数の画像全体のぶれ量が予め決められた所定値内になるように上記固体撮像素子１による連続撮影の回数を制御するＣＰＵ７と、を備えたデジタルカメラに適用された電子的ぶれ補正装置。
【解決手段】 画像のぶれを検出する角速度センサ１９，２０と、時間的に連続して複数の画像を撮影し、撮影した複数画像の相互のぶれを角速度センサ１９，２０により検出されたぶれ量に応じて補正し、補正した複数の画像を合成して一画像を生成する固体撮像素子１と、連続して撮影される複数の画像全体のぶれ量が予め決められた所定値内になるように上記固体撮像素子１による連続撮影の回数を制御するＣＰＵ７と、を備えたデジタルカメラに適用された電子的ぶれ補正装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子的に撮影される画像のぶれを補正する電子的ぶれ補正装置に関する。
【背景技術】
【０００２】
固体撮像素子を用いて静止画像や動画像を撮像する撮像装置は、手で把持して撮影するように構成されたものが少なくない。このような撮像装置において、例えば被写体の輝度が低い場合には、シャッタ速度が遅くなるために、手ぶれが発生し易くなることが知られている。また、車載カメラ等においては、走行時の振動により、同様にぶれが発生する可能性があることが知られている。
【０００３】
こうしたぶれを補正するための技術は、従来より種々のものが提案されており、振動に応じて光学系を移動する光学式ぶれ補正、振動に応じて固体撮像素子を移動するセンサシフト式ぶれ補正、撮像した画像を処理することによりぶれを補正する電子式ぶれ補正などがある。
【０００４】
これらの内の電子式ぶれ補正では、画像切り出し位置をぶれに応じてフレーム毎に異ならせることにより、画像内の被写体位置を一定に保つようにした動画対応のものがあるが、この技術は１フレーム内の画像のぶれを防止するものではないために、静止画には適用することができない。
【０００５】
これに対して、静止画に適用可能な電子式ぶれ補正も、種々のものが提案されている。
【０００６】
例えば、特開２００１−４５３５９号公報には、撮像素子から複数の画像を連続して読み出して画像メモリに記憶し、その後にこれら複数の画像の相互のぶれを補正して合成することにより、ぶれの補正された画像を生成する撮像装置が記載されている。
【０００７】
また、特開２００５−１９８１４８号公報には、撮像素子内に画像を水平および垂直方向に転送するための電荷転送部を設け、撮像した第１画像と上記電荷転送部に転送した第２画像との相対的なぶれを補正して、これら第１画像と第２画像とを合成することによりぶれが補正された画像を生成する固体撮像素子が記載されている。
【特許文献１】特開２００１−４５３５９号公報
【特許文献２】特開２００５−１９８１４８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
上述した各公報に記載された技術は、複数の画像の相対的な位置を調整してから合成を行い、１つの画像を得るものである。ところで、ｎ（ｎは正の整数）枚の時分割撮影した画像の相互のぶれを補正してから１つの合成画像を生成するときには、生成した合成画像の端部に、合成された画像の枚数がｎ枚に満たない領域が発生することになる。こうしたｎ枚に満たない領域は、ｎ枚が合成された領域に比べて輝度が段階的に小さくなるために、切り捨てるか、あるいは補正処理をする必要がある。このｎ枚に満たない領域は、通常は、画像全体の大きさに比べて無視できる程度に狭く、また補正には複雑な処理を要することから、切り捨てる方法を採用するのが簡単で実用的である。しかし、カメラのように不特定多数のユーザーが使用する機器においては、撮影者の技能に応じてぶれが非常に大きくなり、有効な画像領域が許容できないほど狭くなってしまう場合が生じることも考えられる。
【０００９】
本発明は上記事情に鑑みてなされたものであり、撮影者の技能に依ることなく、ぶれが補正された、所定以上の大きさの画像の有効領域を確保することができる電子的ぶれ補正装置を提供することを目的としている。
【課題を解決するための手段】
【００１０】
上記の目的を達成するために、第１の発明による電子的ぶれ補正装置は、連続して複数の画像を撮影する撮影手段と、上記画像のぶれを検出するぶれ検出手段と、上記連続して撮影された複数の画像の内の連続する所定数の画像の全体のぶれ量が予め決められた所定値内になるように連続撮影の回数を制御する撮影回数制御手段と、上記撮影回数制御手段の制御に基づき所定回数撮影された複数画像の相互のぶれを補正するぶれ補正手段と、上記ぶれ補正手段により補正された画像を合成する画像合成手段と、を具備したものである。
【００１１】
また、第２の発明による電子的ぶれ補正装置は、上記第１の発明による電子的ぶれ補正装置において、上記撮影手段が、マトリクス状に配列された複数の画素と、該画素により生成された第１画像を保持するレジスタと、を有する撮像素子を含んで構成されたものであり、上記ぶれ補正手段は、上記画素により生成された第２画像と上記レジスタに保持された第１画像との相対的なぶれを打ち消すように上記第１画像と上記第２画像との相対的な位置を移動させるものであり、上記画像合成手段は、上記ぶれ補正手段により補正された、上記第１画像と上記第２画像とを合成するものである。
【００１２】
さらに、第３の発明による電子的ぶれ補正装置は、上記第１の発明による電子的ぶれ補正装置において、上記撮影回数制御手段が、上記連続して撮影される複数の画像の全体のぶれ量が予め決められた所定値内になるように、撮影回数を制御するものである。
【００１３】
第４の発明による電子的ぶれ補正装置は、上記第１の発明による電子的ぶれ補正装置において、上記撮影回数制御手段が、上記連続して撮影される複数の画像の全体の露光時間が、撮影レンズの焦点距離の逆数に予め決められた所定の係数を乗じて得られる露光時間以下になるように、撮影回数を制御するものである。
【００１４】
第５の発明による電子的ぶれ補正装置は、上記第２の発明による電子的ぶれ補正装置において、上記連続して撮影される画像の数が予め決められた所定数に達しないときに上記画像合成手段により合成された画像を増幅する増幅手段をさらに具備したものである。
【００１５】
第６の発明による電子的ぶれ補正装置は、上記第１の発明による電子的ぶれ補正装置において、上記撮像手段が、マトリクス状に配列された複数の画素を有する撮像素子と、この撮像素子の出力信号を受けてデジタル化された複数の画像を生成する信号処理手段と、上記信号処理手段により処理された画像を記憶する記憶手段と、を有して構成されたものであり、上記ぶれ補正手段は、上記記憶手段に記憶された画像のぶれを補正するものである。
【発明の効果】
【００１６】
本発明の電子的ぶれ補正装置によれば、撮影者の技能に依ることなく、ぶれが補正された、所定以上の大きさの画像の有効領域を確保することができる。
【発明を実施するための最良の形態】
【００１７】
実施形態を詳細に説明する前に、まず、ぶれを補正するための原理について簡単に説明する。
【００１８】
例えば、被写体を測光して得られた適正露光時間（全露光時間）が１／１５秒であるとする。そして、この１／１５秒の露光時間（シャッタ速度）ではぶれが発生するものとする。これに対して、露光時間（シャッタ速度）が１／１２５秒であるときには、ぶれが発生しないか、もしくは発生するぶれが実質的に無視し得るものとする。このようなケースにおいて、上述した全露光時間１／１５秒を、１／１２５秒の露光時間に時分割して、該時分割撮影により８回の撮影を行い、この時分割撮影して得られた８枚の画像を合成（加算）することにより１／１５秒の適正露光時間の１枚の画像を得るものである。ただし、上記１／１２５秒で撮影した時分割撮影による画像を単純に合成したのではぶれは補正されないために、各時分割画像のぶれを相互に補正してから合成する。そして、この合成した画像の内の、全ての時分割画像が重複する領域が有効な領域となる。しかし、ぶれが大きすぎると、この有効領域が狭くなってしまう。そこで、有効領域が余り狭くならないように、ぶれ量が所定の許容量以上であるときには、この許容レベルを超える画像について合成対象から除外する。そして、１枚以上の時分割画像を除外して得られる合成画像は、そのままでは信号レベルが所定レベルに達しないものとなってしまうために、除外した時分割画像の枚数に応じて、つまり合成した時分割画像の枚数に応じて、画像を増幅し適切な信号レベルを得る。
【００１９】
以下に説明する実施形態１は、このようなぶれ補正と時分割画像の合成とを、撮像素子内で高速に行うものとなっている。また、以下に説明する実施形態２は、上述したようなぶれ補正と時分割画像の合成とを、時分割画像を撮像素子から読み出してデジタル信号に変換した後に行うものとなっている。
【００２０】
以下、図面を参照して本発明の実施の形態を説明する。
【００２１】
［実施形態１］
図１から図１３は本発明の実施形態１を示したものであり、図１はデジタルカメラの主として電気的な構成を示すブロック図である。本実施形態は、デジタルカメラに電子的ぶれ補正装置を適用したものとなっている。
【００２２】
このデジタルカメラは、固体撮像素子（以下では適宜、撮像素子と略称する）１と、相関二重サンプリング回路（ＣＤＳ：Correlated Double Sampling）２と、ゲインコントロールアンプ（ＡＭＰ）３と、Ａ／Ｄ変換器４と、タイミングジェネレータ（ＴＧ）５と、シグナルジェネレータ（ＳＧ）６と、ＣＰＵ７と、情報処理部８と、ＤＲＡＭ９と、圧縮伸張部１０と、記録媒体１１と、液晶表示部１２と、インタフェース部１３と、レンズ駆動系１４と、撮影レンズ１５と、絞り駆動系１６と、絞り１７と、第１レリーズスイッチ１８ａおよび第２レリーズスイッチ１８ｂと、角速度センサ１９および角速度センサ２０と、Ａ／Ｄ変換器２１およびＡ／Ｄ変換器２２と、距離検出部２３と、ＣＰＵ７に内蔵されたＥＥＰＲＯＭ２４と、撮影モード設定部２５と、撮影条件設定部２６と、を含んでいる。
【００２３】
撮影レンズ１５は、被写体像を撮像素子１の撮像面へ結像するための撮像光学系であり、撮影手段を構成している。
【００２４】
絞り１７は、この撮影レンズ１５からの結像光束の通過範囲を規定することにより光量の調整を行うための光学絞りであり、撮像光学系の一部であって、撮影手段を構成している。
【００２５】
撮像素子１は、絞り１７を介して撮影レンズ１５により結像された被写体像を、光電変換して電気信号として出力するものであり、撮影手段を構成している。ここに、図６は撮像素子１の第１の構成例を、図７は撮像素子１の第２の構成例を、それぞれ示している。図６，図７に示す撮像素子１は、何れも、マトリクス状に配列された多数のフォトダイオードと、ぶれを許容し得るような高速の露光制御によって上記フォトダイオードにより生成された第１画像を保持する第１レジスタとしての水平転送ＣＣＤまたは垂直転送ＣＣＤと、上記第１画像に続いて撮像される第２画像を保持する上記第１レジスタとは異なる第２レジスタとしての水平転送ＣＣＤまたは垂直転送ＣＣＤと、第１レジスタと第２レジスタとに保持された２つの画像の相対的なぶれを打ち消すように、これら２つの画像を上記第１レジスタ内、および上記第２レジスタ内でシフトした後に、上記２つの画像を合成し、この合成した画像を上記第１レジスタまたは上記第２レジスタに保持するという動作を繰り返し実行して、撮像素子１内においてぶれの補正された画像を生成するものである。このような撮像素子１のより詳細な構成や作用については、後で説明する。
【００２６】
ＴＧ５は、この撮像素子１を駆動するための転送パルスを供給するものであり、撮影手段、信号処理手段を構成している。
【００２７】
ＣＤＳ２は、ＴＧ５から供給されるサンプルホールドパルスに従って駆動され、撮像素子１から出力される画像信号に相関二重サンプリング等の処理を行うことによりリセットノイズを除去するものであり、撮影手段、信号処理手段を構成している。
【００２８】
ＳＧ６は、ＣＰＵ７の制御に基づき、同期信号を生成してＴＧ５へ出力するものであり、撮影手段、信号処理手段を構成している。
【００２９】
ゲインコントロールアンプ（ＡＭＰ）３は、ＣＤＳ２から出力されるアナログの信号を増幅する増幅手段であり、撮影手段、信号処理手段を構成している。このゲインコントロールアンプ（ＡＭＰ）３の増幅率は、ＩＳＯ（International Organization for Standardization）感度Ｓｖに応じた増幅率に設定されるようになっていて、つまりゲインコントロールアンプ（ＡＭＰ）３は、ＩＳＯ感度変更部となっている。また、ゲインコントロールアンプ（ＡＭＰ）３の増幅率は、時分割撮影された画像の数が規定数に達しないときに、その不足分を補うために合成された画像を増幅する際にも用いられる。
【００３０】
Ａ／Ｄ変換器４は、ＴＧ５から供給される信号に従って、ゲインコントロールアンプ（ＡＭＰ）３から出力されるアナログ信号をデジタル信号に変換するアナログ・デジタル変換部であり、撮影手段、信号処理手段を構成している。
【００３１】
情報処理部８は、Ａ／Ｄ変換器４から出力される画素信号を処理して、画像データを生成するものであり、撮影手段、ぶれ補正手段、画像合成手段、信号処理手段を構成している。この情報処理部８は、撮像素子１から出力された画像データの中からぶれが適正に補正された画像データを抽出する機能を有する有効領域抽出部を含んでいる。さらに、この情報処理部８は、画像データを一時的に記憶するための記憶手段たるバッファメモリ８ａを備えて構成されている。
【００３２】
ＤＲＡＭ９は、情報処理部８から出力される画像データを一時的に記憶するものであるとともに、記録媒体１１から読み出された圧縮画像データを圧縮伸張部１０により伸張して得られた画像データを一時的に記憶するものとなっている。なお、上述したバッファメモリ８ａがＤＲＡＭ９の機能を兼用するように構成しても構わない。
【００３３】
圧縮伸張部１０は、ＤＲＡＭ９に記憶されている画像データを圧縮するとともに、記録媒体１１から読み出された圧縮画像データを伸張するものである。
【００３４】
記録媒体１１は、圧縮伸張部１０により圧縮された画像データを記録する記録部であり、例えば不揮発性の記録媒体となっている。
【００３５】
液晶表示部１２は、情報処理部８から出力される画像データ、またはＤＲＡＭ９から出力される伸張された画像データを表示するものである。この液晶表示部１２は、各種の警告表示等を行う表示部を兼ねたものとなっている。
【００３６】
インタフェース部１３は、モニタやパーソナルコンピュータ等の外部装置とのデータの授受を行うための端子を含むインタフェースである。このインタフェース部１３を介して、情報処理部８またはＤＲＡＭ９から供給される画像データ等を外部装置へ出力することが可能であり、あるいは場合によっては、外部装置から画像データ等をデジタルカメラ内に取り込むことが可能となっている。
【００３７】
レンズ駆動系１４は、距離検出部２３により検出された被写体距離に基づきＣＰＵ７から指令を受けることにより、撮影レンズ１５を合焦位置へ駆動するものである。このような処理は、いわゆるオートフォーカス制御として公知のものである。なお、ここでは距離検出部２３からの出力に基づきオートフォーカス制御を行っているが、ＣＰＵ７が、ＤＲＡＭ９に記憶された１フレーム（１画面）分の画像データの輝度成分にハイパスフィルタなどを用いて高周波成分を抽出し、抽出した高周波成分の累積合成値を算出する等により高周波域側の輪郭成分等に対応したＡＦ評価値を算出し、該ＡＦ評価値に基づいて焦点検出を行うようにしても構わない。
【００３８】
絞り駆動系１６は、ＤＲＡＭ９に記憶された画像データに基づき測光部たるＣＰＵ７が露出演算を行い、該ＣＰＵ７からその結果に基づいた指令を受けることにより、絞り１７を駆動して開口径を変更する絞り制御部である。このような処理は、いわゆるＡＥ（自動露出）制御として公知のものである。
【００３９】
角速度センサ１９は、デジタルカメラを被写体側から見たときの左右の方向における右方向をＸ軸方向としたときに、このＸ軸方向を回転中心としてデジタルカメラを回転したときの角速度を検出するためのぶれ検出手段である。
【００４０】
一方、角速度センサ２０は、デジタルカメラの上下方向における上方向をＹ軸方向としたときに、このＹ軸方向を回転中心としてデジタルカメラを回転したときの角速度を検出するためのぶれ検出手段である。
【００４１】
Ａ／Ｄ変換器２１は、角速度センサ１９により検出された角速度を表すアナログ信号を、所定の時間間隔（サンプリング間隔）でデジタル信号に変換するものであり、ぶれ検出手段の一部である。
【００４２】
同様に、Ａ／Ｄ変換器２２は、角速度センサ２０により検出された角速度を表すアナログ信号を、所定の時間間隔（サンプリング間隔）でデジタル信号に変換するものであり、ぶれ検出手段の一部である。
【００４３】
ＣＰＵ７は、Ａ／Ｄ変換器２１により変換されたデジタル信号を時間積分する処理を行う。この時間積分されたデジタル信号は、カメラ本体の上記Ｘ軸を回転中心とする回転量に相当する。また、Ｘ軸周りの回転方向が右回りであるか左回りであるかは、角速度センサ１９のアナログ出力信号が正であるかあるいは負であるかにより判別されるようになっている。
【００４４】
同様に、ＣＰＵ７は、Ａ／Ｄ変換器２２により変換されたデジタル信号を時間積分する処理を行う。この時間積分されたデジタル信号は、カメラ本体の上記Ｙ軸を回転中心とする回転量に相当する。また、Ｙ軸周りの回転方向が右回りであるか左回りであるかは、角速度センサ２０のアナログ出力信号が正であるかまたは負であるかにより判別されるようになっている。
【００４５】
第１レリーズスイッチ１８ａは、撮像動作を指示入力するための自動復帰型の２段スイッチでなるレリーズスイッチの１段目である。レリーズスイッチが押し込まれてこの第１レリーズスイッチ１８ａがオンされると、測距動作や測光動作が行われるようになっている。
【００４６】
第２レリーズスイッチ１８ｂは、撮像動作を指示入力するための自動復帰型の２段スイッチでなるレリーズスイッチの２段目である。レリーズスイッチがさらに押し込まれてこの第２レリーズスイッチ１８ｂがオンされると、撮像素子１により撮像動作が行われ、画像データが上述したように生成されて、圧縮された後に記録媒体１１に記録されるようになっている。
【００４７】
距離検出部２３は、被写体までの距離を検出するためのものであり、公知の構成のものを適宜採用することが可能である。
【００４８】
撮影モード設定部２５は、シャッタ優先撮影モード、絞り優先撮影モード、プログラム撮影モードの何れかを選択するためのものである。
【００４９】
撮影条件設定部２６は、シャッタスピード（露光時間）や絞り値、ＩＳＯ感度などの各種の撮影条件を設定するためのものである。
【００５０】
ＣＰＵ７は、露出値Ｅｖと、露出制御を最適に行うためのＴｖ（露光時間のアペックス値）およびＡｖ（絞り値のアペックス値）と、の関係をプログラム線図として記憶するＥＥＰＲＯＭ２４を不揮発性メモリとして内蔵している。このＥＥＰＲＯＭ２４には、デジタルカメラに必要なその他の情報も適宜格納可能となっている。
【００５１】
このＣＰＵ７には、第１レリーズスイッチ１８ａからの信号、第２レリーズスイッチ１８ｂからの信号、Ａ／Ｄ変換器２１を介した角速度センサ１９からの信号、Ａ／Ｄ変換器２２を介した角速度センサ２０からの信号、撮影モード設定部２５からの信号、および撮影条件設定部２６からの信号が入力されるようになっている。そしてＣＰＵ７は、ＴＧ５とＳＧ６とへ指令を出力するようになっている。
【００５２】
さらに、ＣＰＵ７は、情報処理部８、ＤＲＡＭ９、レンズ駆動系１４、絞り駆動系１６、および距離検出部２３と双方向に接続されていて、これらを含むこのデジタルカメラ全体を制御する制御部となっており、撮影手段、ぶれ検出手段、撮影回数制御手段、ぶれ補正手段、画像合成手段を兼ねたものである。
【００５３】
具体的には、ＣＰＵ７は、上述したようなオートフォーカス制御やＡＥ制御を行うとともに、第１レリーズスイッチ１８ａおよび第２レリーズスイッチ１８ｂからの静止画像の取り込みを指示する信号に基づき、撮像素子１の駆動モードの切り換えを行うようになっている。さらに、このＣＰＵ７は、絞り１７の開口を変更する制御や撮像素子１の露光時間制御などを行うようになっている。そして、ＣＰＵ７は、撮影モード設定部２５からの入力に基づきこのデジタルカメラの撮影モードを設定し、撮影条件設定部２６からの入力に基づきデジタルカメラに係る撮影条件を設定するようになっている。加えて、ＣＰＵ７は、角速度センサ１９，２０からの出力に基づき、ぶれ量の演算等も行うようになっている。
【００５４】
次に、図２〜図５を参照して、撮像素子１の動作原理について説明する。図２はフォトダイオードに蓄積された電荷を第１の画素電荷として垂直転送ＣＣＤに転送する様子を示す図、図３は第１の画素電荷読み出し後にフォトダイオードに蓄積された電荷を第２の画素電荷として水平転送ＣＣＤに転送しさらに水平方向に転送するとともに、第１の画素電荷を垂直方向に転送する様子を示す図、図４は第１の画素電荷と第２の画素電荷とを加算する様子を示す図、図５は加算された電荷を同一画素内における垂直転送ＣＣＤの電荷保持部に退避する様子を示す図である。
【００５５】
撮像素子１には、被写体からの光線を受けて電荷を発生するフォトダイオード２７が、複数、マトリクス状に配列されていて、マトリクス状に配列されたこれらのフォトダイオード２７が光電変換部を構成している。
【００５６】
さらに、撮像素子１は、光電変換部のフォトダイオード２７の各行に隣接して行方向に配置された水平転送レジスタでありぶれ補正部、合成部たる水平転送ＣＣＤ２８を備えている。この水平転送ＣＣＤ２８は、フォトダイオード２７で発生した電荷を読み出して得られた第１画像を記憶するとともに、この第１画像を水平方向に転送するものである。
【００５７】
また、撮像素子１は、光電変換部のフォトダイオード２７の各列に隣接して列方向に配置された垂直転送レジスタでありぶれ補正部、合成部たる垂直転送ＣＣＤ２９を備えている。この垂直転送ＣＣＤ２９は、第１画像よりも前の時刻に得られた電荷を合成した合成電荷に係る第２画像を記憶するとともに、この第２画像を垂直方向に転送するものである。
【００５８】
そして、水平転送ＣＣＤ２８と垂直転送ＣＣＤ２９とが交差する位置に配置された電極部分は、第１画像と第２画像とをアナログ合成する合成部として機能するようになっている。
【００５９】
なお、ここでは、複数のフォトダイオード２７が、縦方向と、この縦方向に垂直な横方向と、に配列されてマトリクス状をなしている例を示しているが、実質的なマトリクス状をなす配列であればこれに限るものではない。例えば、一方向と、この一方向に斜めに交差する他方向と、に配列されてマトリクス状をなしているものでも構わない。このときには、水平転送ＣＣＤ２８と垂直転送ＣＣＤ２９とを、互いに斜めに交差する方向に配置すれば良い。さらに、フォトダイオード２７の形状も正方形や矩形に限るものではなく、平行四辺形や三角形、六角形等の各種の形状であっても構わない。
【００６０】
そして、撮像素子１における１画素３８は、１つのフォトダイオード２７と、このフォトダイオード２７に隣接する水平転送ＣＣＤ２８の部分および垂直転送ＣＣＤ２９の部分と、を含んでいる。また、１画素３８のサイズを、水平方向（横方向）の長さがＬｘ、垂直方向（縦方向）の長さがＬｙであるとする。
【００６１】
このような構成の撮像素子１の動作を説明する。
【００６２】
以下では、撮像素子１の左上角に配置されたフォトダイオードをＰ1,1 と表記し、水平方向右側へ向かってｉ（ｉは１以上の整数）番目、垂直方向下側へ向かってｊ（ｊは１以上の整数）番目の位置に配置されたフォトダイオードをＰi,j と表記することにする。
【００６３】
図２は、最初に光電変換し蓄積されたフォトダイオードＰi,j の電荷（第１の画素電荷）（図中において丸印で示している）を、このフォトダイオードＰi,j に隣接する垂直転送ＣＣＤ２９にシフトした（読み出した）ところを示している。なお、この図２においては、フォトダイオードＰi,j に係る第１の画素電荷のみを図示しているが、他の全てのフォトダイオードにおいて同一の時間だけ光電変換し蓄積された電荷も、同様に垂直転送ＣＣＤ２９に一斉にシフトされることになる。
【００６４】
図３は、第１の画素電荷をシフトした直後から光電変換し蓄積されたフォトダイオードＰi-1,j-1 の電荷（第２の画素電荷）を、このフォトダイオードＰi-1,j-1 に隣接する水平転送ＣＣＤ２８にまずシフトした（読み出した）ことを示している。なお、この図３においても、フォトダイオードＰi-1,j-1 に係る第２の画素電荷のみを図示しているが、他の全てのフォトダイオードにおいて同一の時間だけ光電変換し蓄積された電荷が、同様に水平転送ＣＣＤ２８に一斉にシフトされることになる。ここに、第１の画素電荷蓄積時にフォトダイオードＰi,j に到達していた被写体からの光が、第２の画素電荷蓄積時には手ぶれ等によりフォトダイオードＰi-1,j-1 に到達する位置に移っているものとする。この光の到達位置の変化は、第２の画素電荷の蓄積が終わった時点で初めて判明するために、図２に示した状態においては、第１の画素電荷はまだ転送されず、垂直転送ＣＣＤ２９に保持（記憶）されるのみである。しかし、第２の画素電荷を読み出した後は、角速度センサ１９，２０の出力により光の到達位置の変化が判明するために、同一の被写体光に係る第１の画素電荷と第２の画素電荷との位置関係が分かり、後述する合成を行うために、互いに近接する位置（同一の１画素３８内の位置）への転送が行われる。すなわち、図３には、第２の画素電荷が水平転送ＣＣＤ２８上を紙面右方向に１画素分転送されるとともに、第１の画素電荷が垂直転送ＣＣＤ２９上を紙面上方向に１画素分転送される例が示されている。なお、第１の画素電荷の転送と第２の画素電荷の転送とが、全てのフォトダイオードに係る画素電荷について行われるのは上述と同様である。このような水平転送ＣＣＤ２８による転送と垂直転送ＣＣＤ２９による転送とを行うためには、各転送ＣＣＤが交差する位置において水平転送ＣＣＤ２８内の電荷と垂直転送ＣＣＤ２９内の電荷とが干渉することのないように、転送電極の配置を工夫する必要がある。
【００６５】
図４は、第１の画素電荷と第２の画素電荷とを、水平転送ＣＣＤ２８と垂直転送ＣＣＤ２９とが交差する位置にシフトして、該交差位置において合成した様子（合成であることを、図４中において「＋」により示している）を示している。この合成は、全てのフォトダイオードに係る第１の画素電荷と、全てのフォトダイオードに係る第２の合成電荷と、について行われることは勿論である。
【００６６】
これにより、第１の画像（全ての第１の画素電荷で構成される画像）と、この第１の画像の直後に連続して撮影された第２の画像（全ての第２の画素電荷で構成される画像）と、がぶれ量だけシフトされた後に、つまりぶれを補正された後に、合成されたことになる。
【００６７】
なお、３番目以降の時分割画像を新たに読み出した場合には、第１の画像に相当するのは、それまでの時分割画像を合成して得られた合成画像（最初の時分割画像から最新の１つ前の時分割画像までを順次ぶれ補正して合成して得られた画像）となるために、この図４に示すような動作を行うことにより、新たな時分割画像（全ての新たな画素電荷で構成される画像）と、合成画像と、の相対的なぶれ量が補正された後に、合成されることになる。
【００６８】
図５は、水平転送ＣＣＤ２８と垂直転送ＣＣＤ２９との交差位置において合成された画素電荷を、同一画素内における例えば垂直転送ＣＣＤ２９の電荷保持部に転送した（退避させた）様子を示している。交差位置は、水平転送と垂直転送との両方に用いられるために、該交差位置に合成電荷を保持したままであると、次に読み出した画素電荷との合成を行うことができない。
【００６９】
そこで、ここでは、合成後の電荷を、一旦、垂直転送ＣＣＤ２９の電荷保持部へ退避させるようにしたものである。これにより、次の画素電荷を水平転送ＣＣＤ２８へ読み出せば、上述と同様に、画素の合成を行うことが可能となる。
【００７０】
なお、ここでは、合成後の電荷を同一画素内における垂直転送ＣＣＤ２９の電荷保持部へ転送した（退避させた）が、これに代えて、同一画素内における水平転送ＣＣＤ２８の電荷保持部へ転送しても（退避させても）構わない。このときには、次の画素電荷は、垂直転送ＣＣＤ２９へ読み出されることになる。また、合成後の画素電荷を退避させるのは、必ずしも同一画素内に限るものではない。
【００７１】
従って、図２〜図５に示したような例に限らず、合成電荷は、水平転送ＣＣＤ２８と垂直転送ＣＣＤ２９との何れか一方の記憶部に記憶させれば良く、新たな画素電荷は、水平転送ＣＣＤ２８と垂直転送ＣＣＤ２９との何れか他方の記憶部へ読み出して記憶させれば良い。
【００７２】
以上説明したように、
画像の水平転送ＣＣＤへのシフト
→ 相対的なぶれ補正のための電荷転送
→ 電荷の合成
→ 合成した電荷を水平転送ＣＣＤと垂直転送ＣＣＤとが交差する位置から退避する
というシーケンスを繰り返し行うようになっている。ただし、複数の時分割撮影の内の最初の時分割撮影による時分割画像については、ぶれ量が０、垂直転送ＣＣＤの電荷の合成値が０であるとして、同様のシーケンスを実行すれば足りる。
【００７３】
なお、図２〜図５においては、合成画像に対して新たな時分割画像が左方向に１画素かつ上方向に１画素だけずれている例を示したが、一般的には、ずれ量に応じた適宜の画素数だけ水平方向および垂直方向に移動させることになる。
【００７４】
以上説明したようなぶれ補正の動作原理は、撮像部の個々のフォトダイオードを囲むように配置された水平転送ＣＣＤと垂直転送ＣＣＤとに蓄積された２つの画像のＸ方向およびＹ方向の相対的なぶれを補正するものであった（図６参照）。これに対して、後で図７を参照して説明するように、撮像素子１内に撮像部とは別個に画像を蓄積するための蓄積部を設けて、この蓄積部に、時分割撮影された画像を保持するための垂直転送ＣＣＤと、この時分割画像とそれまでの時分割画像とのぶれを補正し合成して得られる合成画像を記憶するための水平転送ＣＣＤと、を設けることによっても、同様に、撮像素子１内でぶれの補正された画像を生成することができる。
【００７５】
次に、図６は、撮像素子１の第１の構成例を示す図である。
【００７６】
第１の構成例の撮像素子１は、図６に示すように、画像を光電変換して蓄積するフォトダイオード２７と、このフォトダイオード２７から読み出された電荷を水平方向に転送するための水平転送ＣＣＤ２８と、該フォトダイオード２７から読み出された電荷を垂直方向に転送するための垂直転送ＣＣＤ２９と、上述した水平転送ＣＣＤ２８または垂直転送ＣＣＤ２９の端部に転送された電荷を転送路外へ排出するための電荷排出用ドレイン３０と、垂直転送ＣＣＤ２９から転送された電荷を撮像素子１から外部に読み出すための読出用水平転送ＣＣＤ３１と、を有して構成されている。
【００７７】
ここに、電荷排出用ドレイン３０は、全ての水平転送ＣＣＤ２８の両端部と、全ての垂直転送ＣＣＤ２９の図６における紙面上側の端部と、に転送された電荷を転送路外へ排出することができるように、読出用水平転送ＣＣＤ３１側を除く撮像部の辺縁に、コの字形状に配設されている。
【００７８】
このような構成において、フォトダイオード２７により光電変換して蓄積された画素電荷は、水平転送ＣＣＤ２８に読み出されて蓄積されるようになっている。この水平転送ＣＣＤ２８に蓄積された電荷は、全体として第１画像を形成するものである。また、垂直転送ＣＣＤ２９には、それまでの合成電荷が記憶されている。この合成電荷は、全体として第２画像を形成するものである。新たに読み出された画素電荷は、読み出された水平転送ＣＣＤ２８内において、角速度センサ２０の出力に基づき算出されたＹ軸周りのぶれに基づいて、垂直転送ＣＣＤ２９に記憶されている第２画像との相対的な水平方向のぶれ量を補正する移動量だけ転送される。一方、垂直転送ＣＣＤ２９に記憶されている合成画像である第２画像は、垂直転送ＣＣＤ２９内において、角速度センサ１９の出力に基づき算出されたＸ軸周りのぶれに基づいて、水平転送ＣＣＤ２８に記憶されている第１画像との相対的な垂直方向のぶれ量を補正する移動量だけ転送される。
【００７９】
こうしてぶれ量を補正するだけのシフトが行われたら、その後に、水平転送ＣＣＤ２８と垂直転送ＣＣＤ２９とが交差する位置において、新たに読み出された画素電荷とそれまでの合成電荷とを合成して垂直転送ＣＣＤ２９に記憶することにより、相対的なぶれを補正された新たな合成電荷が生成されるようになっている。以上説明したような動作が、時分割撮影の回数として設定された所定回数、例えば１０回、行われる。ここで、垂直転送ＣＣＤ２９および水平転送ＣＣＤ２８に蓄積された電荷は、ぶれに応じて上下左右にシフトされることになるために、各転送ＣＣＤ２８，２９の端部に達した電荷を、電荷排出用ドレイン３０を介して転送路外に排出するようになっている。
【００８０】
図６に示すような第１の構成例においては、電荷排出用ドレイン３０は、図８に示すように構成されている。ここに、図８は、電荷排出用ドレイン３０の構成例を示す図である。この図８に示す構成例においては、ｎ型基板（例えば、ｎ型シリコン基板）４２の表面部分に、まず、ｐ型拡散領域（ｐウェル：ｐ−ｗｅｌｌ）４３と、ｎ−拡散領域４４と、が表面側へ向かって順に形成されている。さらに、水平転送ＣＣＤ２８または垂直転送ＣＣＤ２９の端部である転送電極３９の下のポテンシャル井戸（ｎ−拡散領域４４）に隣接して、ｎ＋拡散領域のドレイン３０が形成されている。そして、端部の転送電極３９に達した電荷は、このｎ＋拡散領域のドレイン３０を介して排出される。一方、垂直転送ＣＣＤ２９の読出用水平転送ＣＣＤ３１側の端部に達した電荷は、この読出用水平転送ＣＣＤ３１を介して排出するようになっている。このような電荷の排出機構を備えることにより、水平転送ＣＣＤ２８および垂直転送ＣＣＤ２９において電荷があふれるのを防止することができるようになっている。
【００８１】
以上のようにして得られた最終的な合成電荷が、ぶれ補正された画像を構成する電荷となる。
【００８２】
なお、図６に示す第１の構成例においては、時分割画像を水平転送ＣＣＤ２８に読み出すとともに、合成した画像を垂直転送ＣＣＤ２９に保持するようにしたが、これに代えて、時分割画像を垂直転送ＣＣＤ２９に読み出すとともに、合成した画像を水平転送ＣＣＤ２８に保持するようにしても良い。
【００８３】
次に、図７は、撮像素子１の第２の構成例を示す図である。
【００８４】
この図７に示す撮像素子１は、撮像部１ａと蓄積部１ｂとが分離したいわゆるＦＩＴ型ＣＣＤ（フレームインターライン転送型ＣＣＤ）である。
【００８５】
撮像部１ａは、画像を光電変換して蓄積するフォトダイオード３２と、このフォトダイオード３２から読み出された電荷を垂直方向に転送するための垂直転送ＣＣＤ３３と、を有して構成されている。
【００８６】
蓄積部１ｂは、撮像部１ａの垂直転送ＣＣＤ３３から転送された電荷をこの蓄積部１ｂ内の所定位置まで転送する垂直転送ＣＣＤ３４と、この垂直転送ＣＣＤ３４と交差するように配置された水平転送ＣＣＤ３５と、水平転送ＣＣＤ３５の両端部に転送された電荷を転送路外に排出するための電荷排出用ドレイン３６と、垂直転送ＣＣＤ３４の撮像部１ａ側の端部に転送された電荷を転送路外に排出するための電荷排出用ドレイン４１と、垂直転送ＣＣＤ３４から転送された電荷を撮像素子１から外部に読み出すための読出用水平転送ＣＣＤ３７と、を有して構成されている。
【００８７】
このような構成の撮像素子１において、フォトダイオード３２により光電変換して蓄積された画素電荷は、垂直転送ＣＣＤ３３を介して蓄積部１ｂの垂直転送ＣＣＤ３４に転送される。この垂直転送ＣＣＤ３４に転送された電荷は、全体として第１画像を形成する。
【００８８】
まず第１回目の時分割撮影により垂直転送ＣＣＤ３４に転送された第１画像は、その後に水平転送ＣＣＤ３５に転送される。この水平転送ＣＣＤ３５に蓄積された画像を第２画像とする。
【００８９】
次の時分割撮影により撮影された画像は、再び垂直転送ＣＣＤ３４に転送される。そしてこの第１画像は、角速度センサ１９の出力に基づき算出されたＸ軸周りのぶれに基づいて、水平転送ＣＣＤ３５に蓄積されている第２画像との垂直方向の相対的なずれを打ち消す方向に所定量だけシフトされる。また、第２画像は、角速度センサ２０の出力に基づき算出されたＹ軸周りのぶれに基づいて、垂直転送ＣＣＤ３４に蓄積された第１画像との水平方向の相対的なずれを打ち消す方向に所定量だけシフトされる。そして、垂直方向および水平方向の相対的なぶれが打ち消されるようにシフトされた第１画像および第２画像は、垂直転送ＣＣＤ３４と水平転送ＣＣＤ３５とが交差する位置またはその近傍において合成され、水平転送ＣＣＤ３５に蓄積される。
【００９０】
その後に再び時分割撮影が行われ、この撮影された画像が第１画像として蓄積部１ｂの垂直転送ＣＣＤ３４に保持される。そして同様にしてぶれが補正された合成画像が生成され、水平転送ＣＣＤ３５に保持される。このような動作が、時分割撮影の回数として設定された所定回数、例えば１０回行われる。ここで垂直転送ＣＣＤ３４、および水平転送ＣＣＤ３５に蓄積された電荷は、ぶれに応じて上下左右にシフトされるために、水平転送ＣＣＤ３５の端部に達した電荷は電荷排出用ドレイン３６を介して、垂直転送ＣＣＤ３４の撮像部１ａ側の端部に達した電荷は電荷排出用ドレイン４１を介して、垂直転送ＣＣＤ３４の読出用水平転送ＣＣＤ３７側の端部に達した電荷は該読出用水平転送ＣＣＤ３７を介して、それぞれ転送路外に排出される。
【００９１】
この図７に示すような第２の構成例の撮像素子１における電荷排出用ドレイン３６は、図６に示したような第１の構成例の撮像素子１における電荷排出用ドレイン３０（図８参照）と同様に、水平転送ＣＣＤ３５の端部である転送電極の下のポテンシャル井戸（ｎ−拡散領域）に隣接して設けられたｎ＋拡散領域のドレインとなっている。
【００９２】
一方、第２の構成例の撮像素子１における電荷排出用ドレイン４１をもし図８と同様に構成すると、撮像部１ａからの電荷が蓄積部１ｂへ転送されなくなってしまう。そこで、この電荷排出用ドレイン４１は、図９に示すように構成している。ここに、図９は、電荷排出用ドレイン４１の構成例を示す図である。すなわち、垂直転送ＣＣＤ３４の撮像部１ａ側の端部の転送電極３９に隣接してゲート電極４０を設け、このゲート電極４０を挟んだ転送電極３９の反対側の位置にｎ＋拡散領域でなる電荷排出用ドレイン４１を設けている。そして、垂直転送ＣＣＤ３４の撮像部１ａ側の端部に転送された電荷は、ゲート電極４０を介して、選択的に電荷排出用ドレイン４１に排出されるようになっている。
【００９３】
すなわち、撮像部１ａからの電荷を蓄積部１ｂに転送するときには、ゲート電極４０に低電圧を印加する。これにより、垂直転送ＣＣＤ３４を転送される電荷は、電荷排出用ドレイン４１に排出されるのを防止される。一方、蓄積部１ｂに蓄積された電荷をぶれ補正のために垂直転送ＣＣＤ３４内で転送するときには、ゲート電極４０に高電圧を印加することにより、垂直転送ＣＣＤ３４の撮像部１ａ側の端部に転送された電荷が電荷排出用ドレイン４１に排出される。また、垂直転送ＣＣＤ３４の読出用水平転送ＣＣＤ３７側の端部に達した電荷は、この読出用水平転送ＣＣＤ３７を介して排出される。
【００９４】
このような構成および作用により、垂直転送ＣＣＤ３４および水平転送ＣＣＤ３５で電荷があふれるのを防止することができるようになっている。
【００９５】
なお、上述したような構成例においては、ぶれ補正のための電荷転送時に、垂直転送ＣＣＤ３４の撮像部１ａ側の端部の電荷を電荷排出用ドレイン４１に排出するようにした。しかし、これに代えて、ぶれ補正のための電荷転送時に、垂直転送ＣＣＤ３３も同時に駆動して垂直転送ＣＣＤ３４の上端部に達した電荷をこの垂直転送ＣＣＤ３３に転送する（排出する）ことにより、電荷があふれるのを防止するようにしても良い。そして、この場合には、垂直転送ＣＣＤ３３に排出された電荷を、垂直転送ＣＣＤ３４（第１画像および第２画像の合成が行われて水平転送ＣＣＤ３５に蓄積され、電荷を保持していない状態の垂直転送ＣＣＤ３４）および読出用水平転送ＣＣＤ３７を介して排出し、その後に次回の時分割撮影を行うようにすれば良い。
【００９６】
上述したようにして所定回数のぶれ補正および合成の動作が終了すると、水平転送ＣＣＤ３５に保持された画像は、垂直転送ＣＣＤ３４に転送された後に、垂直転送ＣＣＤ３４と読出用水平転送ＣＣＤ３７とを介して撮像素子１から外部に読み出される。
【００９７】
次に、図１０は、デジタルカメラにより画像を撮像して記録するときの、図７に示した第２の構成例の撮像素子１に対応する処理の一例を示すフローチャートである。
【００９８】
デジタルカメラの電源が投入される（例えば、電池が交換されるなど）か、または、図示しない動作開始スイッチ（例えば、電源スイッチ）が操作されると、このデジタルカメラの動作がスタートする。
【００９９】
処理を開始すると、所定の初期値設定等を行った後に、まず、撮影者のレリーズ操作によって第１レリーズスイッチ１８ａが閉じた状態になったか否かを判定する（ステップＳ１０１）。
【０１００】
ここで、第１レリーズスイッチ１８ａが閉じていない場合には、Ｊ１０１に分岐して、第１レリーズスイッチ１８ａの検出を同様に繰り返して行う。ただし、実際には、Ｊ１０１とステップＳ１０１との間に、表示を行ったり、その他の図示しないキー入力の状態を検出したりする動作等を行うが、こうした一般的な動作については以下においても適宜説明を省略することにする。
【０１０１】
ステップＳ１０１において第１レリーズスイッチ１８ａが閉じたことが検出された場合には、次に、ぶれ限界露光時間ＴLimit を演算する（ステップＳ１０２）。このぶれ限界露光時間ＴLimit は、露光開始からのぶれ量が許容限界のぶれ量に達すると想定される時間である。
【０１０２】
ここで、ぶれ限界露光時間ＴLimit について説明する。３５ミリフィルムカメラにおける縦２４ｍｍ×横３６ｍｍ（対角 ４３．２８ｍｍ）のいわゆるライカ版フレーム（別称：ダブルフレーム）カメラに関する長年の経験則として、ミリメートル単位の撮影レンズの焦点距離をｆとしたときに、ぶれ限界露光時間ＴLimit が、ＴLimit ≒１／ｆ（秒）になるということが知られている。本実施形態においては、この経験則を、デジタルカメラの撮像素子１の有効撮像エリア内に設定した撮影画枠の大きさを考慮の上、応用することにする。なお、ぶれ限界露光時間ＴLimit は、必ずしも、１／ｆに基づき与えられる値を用いる必要はなく、要するに、ぶれが実質的に発生することのないような露光時間を用いれば良い。従って、ぶれ限界露光時間ＴLimit は、概略、１／ｆに基づき与えられる露光時間よりも短い時間であれば構わない。
【０１０３】
次に、被写体の明るさを測光する（ステップＳ１０３）。この測光は、撮像素子１から繰り返し出力される画像信号のレベルをモニタして、被写体の明るさを演算するものである。すなわち、撮像素子１から読み出された画像信号は、ＣＤＳ２により処理されゲインコントロールアンプ３により増幅された後にＡ／Ｄ変換器４によりデジタル値に変換され、情報処理部８を経てＤＲＡＭ９に一時的に記憶される。このＤＲＡＭ９に記憶された画像信号の内、画像全体の中の例えば中央部付近の所定領域の画像信号がＣＰＵ７により読み出されて、そのレベルの加算平均値が求められる。そして、ＣＰＵ７は、求めた加算平均値に基づいて被写体の明るさ（Ｂｖ）を計算する。
【０１０４】
続いて、ＣＰＵ７は、適正露光を得るために必要なシャッタ速度値（露光時間）ＴExp や絞り１７の絞り値を計算するとともに、計算結果に基づき絞り駆動系１６を介して絞り１７の絞り設定を行う（ステップＳ１０４）。ここで、上記露光時間ＴExp は、時分割撮影の露光時間をΔＴExp 、時分割撮影の回数をｍとすると、ＴExp ＝ｍ×ΔＴExp の関係が成り立つものである。
【０１０５】
次に、第２レリーズスイッチ１８ｂが閉じているか否かを判定する（ステップＳ１０５）。ここで、第２レリーズスイッチ１８ｂが閉じていない場合には、第１レリーズスイッチ１８ａが閉じている限り、Ｊ１０２へ分岐して、上述したようなステップＳ１０２〜Ｓ１０５の処理を繰り返して行いながら、この第２レリーズスイッチ１８ｂが閉じるのを待機する。
【０１０６】
こうして、ステップＳ１０５において、第２レリーズスイッチ１８ｂが閉じていると判定された場合には、露光時間ＴExp がぶれ限界露光時間ＴLimit よりも短いか否かを判定する（ステップＳ１０６）。
【０１０７】
このステップＳ１０６において、ＴExp ＜ＴLimit でないと判定された場合には、次に、露光時間ＴExp を時分割撮影の回数ｍで割った値を時分割撮影の露光時間ΔＴExp を記憶するためのメモリに記憶する（ステップＳ１０７）。なお、〔〕は、括弧内のデータを記憶するメモリを意味している。従って、〔ΔＴExp 〕は、括弧内の変数ΔＴExp を記憶するメモリを意味する。
【０１０８】
次に、時分割撮影が実際に行われた回数ｎを記憶するメモリ〔ｎ〕に、初期値「０」を記憶する（ステップＳ１０８）。ここで、上記時分割撮影の露光時間ΔＴExp として、上述したぶれ限界露光時間ＴLimit を用いる方法と、上記ステップＳ１０３で演算した露光時間ＴExp を予め決められた時分割撮影の回数ｍで除算した露光時間を用いる方法と、がある。時分割撮影の露光時間ΔＴExp としてぶれ限界露光時間ＴLimit を用いる方法は、ぶれを確実に補正することができる点で優れているが、露光時間ＴExp が長くなると時分割撮影の回数が増加することになる。時分割撮影の回数が増加すると、１回あたりの時分割撮影で得られる信号量が小さくなるために、Ｓ／Ｎ（信号対ノイズ比）が低くなる可能性がある。また、時分割撮影の回数に応じて、フォトダイオードの飽和信号量を調整する必要があるために、撮像素子の構成が複雑化する。従って、時分割撮影の回数ｍの種類はなるべく少ないほうが良い。そこで本実施形態では、時分割撮影の回数ｍは１種類のみとする。そして時分割撮影の露光時間は、露光時間ＴExp をｍで割った値を用いるものとする。
【０１０９】
続いて、露光を開始する（ステップＳ１０９）。撮像素子１には、露光開始直前から、フォトダイオード３２に蓄積された電荷を半導体基板（サブストレート＝縦形オーバーフロードレインＶＯＦＤ）へ強制排出するための撮像素子１の基板印加高電圧パルスＶＳＵＢが繰り返し印加されており、この高電圧パルスＶＳＵＢの印加が終了し、ＶＳＵＢの値を上記時分割撮影の回数ｍに応じた値に設定した時点が、このステップＳ１０９の露光開始の時点となる。
【０１１０】
次に、１回の時分割撮影が終了したか否かを判定する（ステップＳ１１０）。ここで、１回の時分割撮影が終了したと判定されるまでは、Ｊ１０３へ分岐して、時分割撮影の終了を待機する。
【０１１１】
こうして、ステップＳ１１０において１回の時分割撮影が終了したと判定された場合には、撮像素子１のフォトダイオード３２と垂直転送ＣＣＤ３３との間に配置された転送ゲートに高電圧の転送パルスを印加することにより、フォトダイオード３２に蓄積された電荷を撮像部１ａの垂直転送ＣＣＤ３３にシフトする。この垂直転送ＣＣＤ３３にシフトされた電荷は、その後に、蓄積部１ｂの垂直転送ＣＣＤ３４へ転送される。
【０１１２】
ここで、図１２および図１３を参照して、撮像素子の有効領域について説明する。図１２は３つの時分割画像の重畳関係における有効領域を示す図、図１３は撮像素子の撮像領域における有効領域を示す図である。
【０１１３】
まず、図１２は、時分割画像５１と時分割画像５２と時分割画像５３とが、この順序で時分割撮影して得られ、各画像における同一被写体が同一位置になるように画像を並べたときの画像同士の位置関係が図示のようにずれているケースを示している。このようなケースにおいて、最終的にぶれが補正されて合成された有効領域５４は、図示のように、３つの時分割画像５１，５２，５３の全てが重畳される領域となる。そして、この有効領域５４は、画像のぶれ量が大きいほど狭くなる。
【０１１４】
通常は、画像の長辺と短辺とから予め決めた所定領域（例えば、画面の縦横それぞれ９８％の領域）を撮像領域５５における有効領域５６と定めて（図１３参照）、その他の領域を有効領域とはしないようにすれば十分である。しかし、撮影者の技量等によっては、想定外の大きなぶれが発生する場合も有り得る。そこで、１回分の時分割撮影が終了したところで、露光開始位置からのＸ方向のぶれ量の絶対値Ｂｘ、または露光開始位置からのＹ方向のぶれ量の絶対値Ｂｙが、予め設定した所定の値α（この所定値αは、絶対値ＢｘおよびＢｙの両方がα未満である場合には、合成画像として少なくとも有効領域５６を含む画像を確保することができるような値として設定されたものである。）以上であるか否かを判定する（ステップＳ１１１）。
【０１１５】
そして、このステップＳ１１１において、Ｘ方向のぶれ量の絶対値Ｂｘと、Ｙ方向のぶれ量の絶対値Ｂｙとの少なくとも一方が所定の値α以上であると判定された場合には、時分割露光のループから抜けて、フラグＦＬＧに１を設定した後に（ステップＳ１１２）、後述するステップＳ１１９の画像の読み出し処理に移行する（Ｊ１０４）ようにしている。これは、ぶれ量が所定値α以上であるときには、ぶれが正常に補正された画像の有効領域が予め決めた所定領域よりも狭くなってしまうために、これを防ぐべく時分割撮影を終了して、所定の大きさの有効領域を確保するようにしたためである。
【０１１６】
そして、ステップＳ１１２においてＦＬＧを１に設定したときには、時分割撮影の回数が所定回数ｍに達していないことを意味しているために、全体の露光時間がＴExp に達せず、合成画像のレベルが適正レベルよりも低いことになる。従って、このときには、後述するように、ゲインコントロールアンプ３により画像を増幅するようにしている。例えば時分割撮影の回数をｋ（ｋはｍ未満の正の整数）とすると、ゲインコントロールアンプ３の増幅率は通常の場合のｍ／ｋ倍となる。
【０１１７】
また、ステップＳ１１１において、Ｘ方向のぶれ量の絶対値Ｂｘと、Ｙ方向のぶれ量の絶対値Ｂｙとの両方が所定値α未満であると判定された場合には、次に、画素値合成の処理を行う（ステップＳ１１３）。この画素値合成においては、既に説明したように、時分割撮影により得られた垂直転送ＣＣＤ３４内の第１画像と、水平転送ＣＣＤ３５内に保持されている第２画像とを、角速度センサ１９，２０の出力信号に基づいて演算されたＸ方向およびＹ方向のぶれ量に基づいて、各転送ＣＣＤ３４，３５内でシフトすることによりぶれを打ち消すように補正した後に、合成する処理が行われる。この画素値合成処理は、通常、時分割撮影における露光時間ΔＴExp よりも高速に行われる。
【０１１８】
次に、既に行われた時分割撮影の回数ｎを記憶するメモリ〔ｎ〕に、ｎ＋１を記憶する（ステップＳ１１４）。
【０１１９】
そして、既に行われた時分割撮影の回数ｎが、設定された時分割撮影の回数ｍに等しいか否かを判定する（ステップＳ１１５）。
【０１２０】
ここで、まだｎ＝ｍに達していない場合には、Ｊ１０３に分岐して、時分割撮影の処理と画素値合成の処理とを上述したように繰り返して行う。
【０１２１】
また、ステップＳ１１５においてｎ＝ｍであると判定された場合には、Ｊ１０４に分岐して、水平転送ＣＣＤ３５に記憶されている合成画像を垂直転送ＣＣＤ３４に転送した後に、後述するステップＳ１１９の読み出し処理を行う。
【０１２２】
一方、上述したステップＳ１０６においてＴExp ＜ＴLimit であると判定された場合には、時分割撮影を行わなくても実質的にぶれは発生しないことになる。従って、このときには、露光時間ＴExp をメモリ〔ΔＴExp 〕に記憶する（ステップＳ１１６）。
【０１２３】
次に、露光を開始して（ステップＳ１１７）、露光時間がメモリ〔ΔＴExp 〕に記憶した露光時間ΔＴExp に達したか否かを判定する。そして、露光時間ΔＴExp に達したと判定された場合には、フォトダイオード３２により生成した電荷を垂直転送ＣＣＤ３３にシフトすることにより、露光を終了する（ステップＳ１１８）。この露光が終了したら、撮像部１ａにおける垂直転送ＣＣＤ３３の電荷は、蓄積部１ｂの垂直転送ＣＣＤ３４へ転送される。一方、露光時間ΔＴExp に達するまでは、上述した判定を繰り返して行う。
【０１２４】
このように、露光時間ＴExp がぶれ限界露光時間ＴLimit よりも短いときは、時分割撮影を行うことなく、従来の撮影と同様に１回の撮影でぶれのない画像を出力するようにしているために、処理が簡単になるとともに、ぶれ補正に伴う電力の無駄な消費を防止することができる。
【０１２５】
このステップＳ１１８において露光が終了したと判定されるか、ステップＳ１１２においてフラグＦＬＧに１を設定し終えるか、ステップＳ１１５においてｎ＝ｍであると判定された場合に、撮影された画像が、垂直転送ＣＣＤ３４および読出用水平転送ＣＣＤ３７を介して、この撮像素子１から外部へ読み出される（ステップＳ１１９）。
【０１２６】
このようにして撮像素子１から読み出された画像信号は、ＣＤＳ２により処理され、ゲインコントロールアンプ（ＡＭＰ）３により増幅された後に、Ａ／Ｄ変換器４によりデジタル信号に変換される（ステップＳ１２０）。ただし、上述したステップＳ１１２においてフラグＦＬＧが１に設定された場合には、ゲインコントロールアンプ（ＡＭＰ）３による増幅率は、上述したように、通常の増幅率のｍ／ｋ倍となる。
【０１２７】
その後、画像信号をデジタル化して得られた画像データは、バッファメモリ８ａに記憶された後に、情報処理部８により所定の信号処理を施される（ステップＳ１２１）。
【０１２８】
この情報処理部８により行われる信号処理には、撮像素子１から出力された画像データの中から、ぶれ補正が有効に行われたとみなされる予め決められた領域の画像を抽出する処理も含まれている。すなわち、情報処理部８は、有効領域抽出部としての機能も有するものとなっている。上述したように、撮像素子１においては、全ての時分割画像が重複する領域が予め決められた有効領域（図１３に示したような有効領域５６）を含むように、最初に撮影した時分割画像を基準にしたぶれ量が予め決めた所定値αよりも小さい時分割画像についてのみ合成処理を行うようになっている。従って、情報処理部８は、有効領域の抽出処理を簡単に行うことが可能である。
【０１２９】
次に、情報処理部８により信号処理された画像データは、ＤＲＡＭ９に一時的に記憶される（ステップＳ１２２）。
【０１３０】
その後、圧縮伸張部１０によりＤＲＡＭ９に記憶された画像データを画像圧縮して（ステップＳ１２３）、圧縮された画像データを記録媒体１１に記録し（ステップＳ１２４）、この処理を終了する。
【０１３１】
続いて、図１１は、デジタルカメラにより画像を撮像して記録するときの、図７に示した第２の構成例の撮像素子１に対応する処理の他の例を示すフローチャートである。なお、この図１１において、図１０と同様の処理を行う部分については、その旨を述べて説明を適宜省略する。
【０１３２】
ステップＳ２０１からステップＳ２０７の処理は、図１０のステップＳ１０１からステップＳ１０７までの処理と同様である。ただし、ステップＳ２０１で第１レリーズスイッチ１８ａが閉じていない場合のジャンプ先はＪ２０１、ステップＳ２０５で第２レリーズスイッチ１８ｂが閉じていない場合のジャンプ先はＪ２０２となる。
【０１３３】
そして、ステップＳ２０７の処理が終了したら、次に、（β×ＴLimit ）／ΔＴExp を算出し、算出した値を変数ｋのメモリである〔ｋ〕に記憶する（ステップＳ２０８）。この算出式におけるβは予め決められた所定の係数であり、該算出式の分子のβ×ＴLimit は、所定以上の大きさの有効領域を確保するために必要な全体のぶれ量（以下、「許容ぶれ量」という。）を表わしている。
【０１３４】
ここで有効領域とは、全ての時分割画像が重複する領域のことをいう。従って露光時間ΔＴExp で時分割撮影を［（β×ＴLimit ）／ΔＴExp ］回よりも多く行うと、全体のぶれ量が許容ぶれ量を超えてしまうことになる。
【０１３５】
そこで、ｋ＞ｍであるか否かを判定する（ステップＳ２０９）。
【０１３６】
ここで、ｋ＞ｍであると判定された場合、すなわち、ｋが初期値として予め決められた時分割撮影の回数ｍよりも大きいために、ｍ回の時分割撮影を行っても許容ぶれ量を超えないと判定するときには、時分割撮影の回数を記憶するメモリ〔ｐ〕にｍを記憶する（ステップＳ２１０）。
【０１３７】
一方、ｋ＞ｍでないと判定された場合には、時分割撮影の回数がｋ回を超えると時分割撮影全体のぶれ量が許容ぶれ量を超えてしまうために、〔ｐ〕にｋを記憶する（ステップＳ２１１）。
【０１３８】
ステップＳ２１０またはステップＳ２１１の処理が終了したら、次に、時分割撮影の回数を記憶するメモリ〔ｎ〕に初期値０を記憶する（ステップＳ２１２）。
【０１３９】
そして、露光を開始し（ステップＳ２１３）、露光時間がΔＴExp になるまで露光を行う（ステップＳ２１４）。
【０１４０】
次に、図１０のステップＳ１１３で説明したのと同様にして、画素値合成を行い（ステップＳ２１５）、メモリ〔ｎ〕にｎ＋１を記憶することにより、時分割撮影の回数をインクリメントする（ステップＳ２１６）。
【０１４１】
続いて、時分割撮影の回数〔ｎ〕がｐであるか否かを判定し（ステップＳ２１７）、ｎ＝ｐでなければＪ２０３にジャンプして、上述したように時分割撮影と画素値合成とを繰り返して行う。
【０１４２】
そして、このステップＳ２１７においてｎ＝ｐであると判定された場合には、Ｊ２０４へジャンプして、水平転送ＣＣＤ３５に記憶された合成画像を垂直転送ＣＣＤ３４に転送した後に、読出用水平転送ＣＣＤ３７を介して、この撮像素子１の外部へ読み出す（ステップＳ２２１）。
【０１４３】
その後のステップＳ２２３において、撮像素子１から読み出した画像を、ゲインコントロールアンプ３により通常の増幅率のｍ／ｐ倍に増幅する。このような増幅を行うのは、適正レベルの画像を得るためにはｍ回の時分割撮影を行う必要があるが、実際の時分割撮影の回数はｐであって、この回数ｐに応じて増幅する必要があるためである。
【０１４４】
また、ステップＳ２０６においてＴExp ＜ＴLimit であると判定された場合におけるステップＳ２１８〜Ｓ２２６の処理は、図１０のステップＳ１１６〜Ｓ１２４の処理と同様であるために、説明を省略する。
【０１４５】
以上説明したように、図１１で説明したような処理においては、経験的な知見により得られたぶれ限界露光時間ＴLimit のβ倍を、予め決めた有効領域以上の領域を確保するために許容可能な全体のぶれ量と定義して、このぶれ量を超えないように時分割撮影の回数を制御するようにしたために、図１０で説明したようなリアルタイムにぶれ量をモニタして全体のぶれ量が許容値を超えたか否かを判定する処理と比べて、制御が容易になる利点がある。そして、この図１１に示したような処理を行うことにより、角速度センサ１９，２０やＡ／Ｄ変換器２１，２２等が不要となるために、構成を簡単にすることも可能となる。
【０１４６】
なお、上述した図１０、図１１のフローチャートにおいては、図７に示したような第２の構成例の撮像素子１に対応するデジタルカメラの動作を説明したが、図６に示したような第１の構成例の撮像素子１に対応するデジタルカメラの動作についても、図１０のステップＳ１１３における画素値合成の処理が、既に説明した図６に対応する撮像素子１の画素値合成に置き換わるのみであって、その他の動作は同様である。
【０１４７】
このような実施形態１によれば、連続して撮影した複数の時分割画像の内の、最初に撮影した時分割画像からのぶれ量が予め決められた所定値内のぶれ量を有する時分割画像を合成するようにしたために、所定の有効領域の合成画像を生成することができる。こうして、撮影技能が異なる不特定多数の撮影者に対しても、画像の有効領域を所定以上の大きさにすることが可能になる。
【０１４８】
そして、この合成画像の信号レベルが所定レベルに達しないときには、所定レベルに達するように合成画像を増幅しているために、適正露出の画像を得ることができる。
【０１４９】
また、図１１に示したような処理を行えば、ぶれ量を検出するための角速度センサ等の特別の手段によることなく、連続撮影の回数を制御することができるために、構成を簡単にすることができると共に、制御が容易になる。
【０１５０】
［実施形態２］
図１４および図１５は本発明の実施形態２を示したものであり、図１４は撮像素子１の動作を示すタイミングチャートである。この実施形態２において、上述の実施形態１と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
【０１５１】
この実施形態２は、時分割撮影した画像を撮像素子１から読み出してデジタル化し、バッファメモリ８ａに記憶してから、情報処理部８によりぶれ補正と画像合成とを行うようにしたものである。
【０１５２】
このデジタルカメラの電気的な構成は、基本的には、図１に示したものとほぼ同様であるために、この図１等を参照しながら、主として実施形態１と異なる点についてのみ説明する。
【０１５３】
まず、固体撮像素子１は、この実施形態２においては、実施形態１で述べたようなぶれ補正を行い得る撮像素子ではなく、通常のデジタルカメラにおいて使用されるような固体撮像素子、例えばＣＣＤ固体撮像素子である。なお、ＣＣＤ固体撮像素子に限らず、ＣＭＯＳ固体撮像素子等であってももちろん構わない。
【０１５４】
情報処理部８は、上述したように、バッファメモリ８ａを有しているが、このバッファメモリ８ａは、時分割撮影により得られた複数の画像を記憶することができる容量のものとなっている。そして、情報処理部８は、ＣＰＵ７の制御に基づいて、時分割撮影により得られた複数の画像の相互のぶれ量を演算して求め、求めたぶれ量に基づき、画像処理を行って複数画像のぶれを補正し合成を行うものとなっている。ここに、情報処理部８は、後述するように、画像内における数点の特徴点に基づいて、画像のぶれ量を演算するようになっている。従って、実施形態２における情報処理部８は、ぶれ検出手段を兼ねたものとなっている。こうして、この実施形態２においては、図１に示されている角速度センサ１９，２０およびＡ／Ｄ変換器２１，２２は、設けなくても構わない。
【０１５５】
次に、本実施形態のデジタルカメラの動作について説明する。まず、図１４を参照して、撮像素子１の動作について説明する。
【０１５６】
図１４に示すように、第２レリーズスイッチ１８ｂが閉じて撮影トリガ信号が発生されると、タイミングジェネレータ５から撮像素子１にクロック信号ＣＬＫが供給される。
【０１５７】
クロック信号ＣＬＫを受けた撮像素子１には、撮像素子１の画素を構成するフォトダイオードに蓄積された電荷を半導体基板（サブストレート＝縦形オーバーフロードレインＶＯＦＤ）へ強制排出するための基板印加高電圧パルスＶＳＵＢが繰り返し印加されており、この高電圧パルスＶＳＵＢの印加が終了したところで、露光が開始される。
【０１５８】
そして、所定の時分割撮影の露光時間ΔＴExp が終了すると、撮像素子１のフォトダイオードの電荷を垂直転送ＣＣＤへシフトするためのシフトパルスＴＰが出力される。その後、垂直同期信号ＶＤに同期して、電圧Ｖφ１〜Ｖφ４を各転送電極に印加することにより、撮像素子１から画像が読み出される。
【０１５９】
また、撮像素子１からの画像の読み出し開始に同期して、撮像素子１に再びＶＳＵＢが所定の印加時間Ｔsub だけ印加される。
【０１６０】
このＶＳＵＢの印加が終了すると、同様に露光が開始され、次の垂直同期信号ＶＤに同期して、２回目の時分割撮影による画像の読み出しが行われる。
【０１６１】
以上説明したような動作を、所定回数（例えば１０回）行う。そして、この説明から分かるように、読み出し時間ＴReadからＶＳＵＢの印加時間Ｔsub を減算した時間が、時分割撮影の露光時間ΔＴExp となる。
【０１６２】
撮像素子１から読み出された時分割画像は、ＣＤＳ２によりリセットノイズが除去された後に、ゲインコントロールアンプ（ＡＭＰ）３によりアナログの信号増幅が行われる。ここに、ゲインコントロールアンプ（ＡＭＰ）３の増幅率は、ＩＳＯ（International Organization for Standardization）感度Ｓｖに応じた増幅率をＡ１、時分割撮影による画像の露出不足分を補うための増幅率をＡ２としたとき、Ａ１×Ａ２となるように設定される。
【０１６３】
なお、通常撮影の露光量をＥ１、時分割撮影により得られる露光量をＥ２とするとき、Ａ２＝Ｅ１／Ｅ２となる。さらに具体的に述べると、適正露光を得るための露光時間をＴExp とし、これをｍ回に等分割した露光時間ＴExp ／ｍによりｍ回の時分割撮影を行うものとするとき、各時分割撮影においてＡ２＝ＴExp ／（ＴExp ／ｍ）＝ｍとなる。
【０１６４】
ゲインコントロールアンプ（ＡＭＰ）３により増幅されたアナログの画像信号は、Ａ／Ｄ変換器４により、ＴＧ５から供給される信号に従って、デジタル信号に変換される。
【０１６５】
Ａ／Ｄ変換器４によりデジタル信号に変換された画像信号は、情報処理部８により処理されて、画像データが生成される。
【０１６６】
次に、図１５は、情報処理部８におけるぶれ画像の補正処理を示すフローチャートである。
【０１６７】
この処理を開始すると、まず初期設定として、時分割画像を識別するためのＩＤに相当する変数ｉを記憶するためのメモリ〔ｉ〕に、０を記憶する（ステップＳ３０１）。
【０１６８】
次に、画像Ｉ（ｉ）と画像Ｉ（ｉ＋１）とのぶれΔ（ｉ，ｉ＋１）を演算する（ステップＳ３０２）。このぶれΔは、画像Ｉ（ｉ）における特徴点を数点定めて、この特徴点と一致する画像Ｉ（ｉ＋１）の特徴点の位置を、公知の動きベクトル演算により求め、対応する位置の相対的なずれを求めることにより行われる。なお、上記ぶれΔは、ベクトルである。
【０１６９】
その後、ぶれΔを積算（順次のベクトル加算）したΣΔ（ｋ，ｋ＋１）（但しｋ＝０〜ｉ）のスカラー値｜ΣΔ（ｋ，ｋ＋１）｜を演算し、この値と予め決めた所定の値αとを比較する（ステップＳ３０３）。ここで、｜ΣΔ（ｋ，ｋ＋１）｜＞αでないと判定されたときには、メモリ〔ｉ〕の内容をインクリメントする（ステップＳ３０４）。
【０１７０】
続いて、ぶれΔに基づいて、画像Ｉ（ｉ）と画像Ｉ（ｉ＋１）とのぶれを補正した後に、対応する画素の値を加算（合成）する（ステップＳ３０５）。
【０１７１】
次に、ｉとｍ−１を比較する（ステップＳ３０６）。ここにｍは、時分割撮影の回数、すなわち時分割撮影により得た画像数である。このステップＳ３０６において、ｉ＝ｍ−１でないと判定された場合には、Ｊ３０１に分岐して、上述したような処理を繰り返して行う。
【０１７２】
また、ステップＳ３０６において、ｉ＝ｍ−１であると判定された場合には、次に、合成画像の平均値を演算する（ステップＳ３０７）。
【０１７３】
また、ステップＳ３０３において｜ΣΔ（ｋ，ｋ＋１）｜＞αであると判定された場合には、時分割撮影期間中の全体のぶれ量が許容可能な（有効領域の確保が難しい）値よりも大きいと判定して、Ｊ３０２に分岐し、上述したステップＳ３０７の処理を行う。
【０１７４】
こうして、ステップＳ３０７の処理を行ったところで、この処理を終了する。
【０１７５】
以上説明したように、情報処理部８は、全ての時分割画像が重複する領域が予め決められた有効領域内に入るように、最初に撮影した時分割画像を基準にしたぶれ量が予め決めた所定以上の大きさとなる時分割画像について、合成処理対象から除外するようにしている。
【０１７６】
そして、ぶれ量が所定値内の時分割画像について、合成した画像の内の、最初に撮影した時分割画像から予め決めた領域内の画像を抽出する。このようにすることにより、所定以上の有効領域の抽出処理を簡単に行うことができる。
【０１７７】
こうして情報処理部８によりぶれが補正された有効領域の画像データは、ＤＲＡＭ９に一時的に記憶された後に、圧縮伸張部１０によりＪＰＥＧなどの所定のフォーマットの形式の画像データに圧縮されて、記録媒体１１に記録される。
【０１７８】
なお、上述では、時分割画像内の特徴点に基づいてぶれの検出を行っているが、もちろん、角速度センサ等の出力に基づいてぶれの検出を行うようにしても構わない。
【０１７９】
このような実施形態２によれば、上述した実施形態１とほぼ同様の効果を奏するとともに、撮像素子１から読み出した時分割画像の内の、所定のぶれ量以内の時分割画像に基づいて、ぶれ補正した合成画像を作成することができる。
【０１８０】
そして、ぶれ補正機能を備えない通常の撮像素子１を用いたデジタルカメラ等においても、ぶれ補正を行うことが可能となる。
【０１８１】
さらに、ぶれの検出を、時分割画像内の特徴点に基づいて行っているために、角速度センサ等が不要となって、構成を簡単にすることができる。
【０１８２】
なお、本発明は上述した実施形態に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
【産業上の利用可能性】
【０１８３】
本発明は、電子的に撮影される画像のぶれを補正する電子的ぶれ補正装置に好適に利用することができる。
【図面の簡単な説明】
【０１８４】
【図１】本発明の実施形態１におけるデジタルカメラの主として電気的な構成を示すブロック図。
【図２】上記実施形態１において、フォトダイオードに蓄積された電荷を第１の画素電荷として垂直転送ＣＣＤに転送する様子を示す図。
【図３】上記実施形態１において、第１の画素電荷読み出し後にフォトダイオードに蓄積された電荷を第２の画素電荷として水平転送ＣＣＤに転送しさらに水平方向に転送するとともに、第１の画素電荷を垂直方向に転送する様子を示す図。
【図４】上記実施形態１において、第１の画素電荷と第２の画素電荷とを加算する様子を示す図。
【図５】上記実施形態１において、加算された電荷を同一画素内における垂直転送ＣＣＤの電荷保持部に退避する様子を示す図。
【図６】上記実施形態１における撮像素子の第１の構成例を示す図。
【図７】上記実施形態１における撮像素子の第２の構成例を示す図。
【図８】上記実施形態１における電荷排出用ドレインの一構成例を示す図。
【図９】上記実施形態１における電荷排出用ドレインの他の構成例を示す図。
【図１０】上記実施形態１において、デジタルカメラにより画像を撮像して記録するときの、図７に示した第２の構成例の撮像素子に対応する処理の一例を示すフローチャート。
【図１１】上記実施形態１において、デジタルカメラにより画像を撮像して記録するときの、図７に示した第２の構成例の撮像素子に対応する処理の他の例を示すフローチャート。
【図１２】上記実施形態１において、３つの時分割画像の重畳関係における有効領域を示す図。
【図１３】上記実施形態１において、撮像素子の撮像領域における有効領域を示す図。
【図１４】本発明の実施形態２における撮像素子の動作を示すタイミングチャート。
【図１５】上記実施形態２の情報処理部におけるぶれ画像の補正処理を示すフローチャート。
【符号の説明】
【０１８５】
１…固体撮像素子（撮影手段）
１ａ…撮像部
１ｂ…蓄積部
２…相関二重サンプリング回路（ＣＤＳ）（撮影手段，信号処理手段）
３…ゲインコントロールアンプ（ＡＭＰ）（撮影手段，信号処理手段，増幅手段）
４…Ａ／Ｄ変換器（撮影手段，信号処理手段）
５…タイミングジェネレータ（ＴＧ）（撮影手段，撮影回数制御手段）
６…シグナルジェネレータ（ＳＧ）（撮影手段，撮影回数制御手段）
７…ＣＰＵ（撮影手段，ぶれ検出手段，撮影回数制御手段，ぶれ補正手段，画像合成手段）
８…情報処理部（撮影手段，ぶれ補正手段，画像合成手段，信号処理手段，ぶれ検出手段）
８ａ…バッファメモリ（記憶手段）
９…ＤＲＡＭ
１０…圧縮伸張部
１１…記録媒体
１２…液晶表示部
１３…インタフェース部
１４…レンズ駆動系
１５…撮影レンズ（撮影手段）
１６…絞り駆動系
１７…絞り（撮影手段）
１８ａ…第１レリーズスイッチ
１８ｂ…第２レリーズスイッチ
１９，２０…角速度センサ（ぶれ検出手段）
２１，２２…Ａ／Ｄ変換器（ぶれ検出手段）
２３…距離検出部
２４…ＥＥＰＲＯＭ
２５…撮影モード設定部
２６…撮影条件設定部
２７…フォトダイオード
２８…水平転送ＣＣＤ
２９…垂直転送ＣＣＤ
３０…電荷排出用ドレイン
３１…読出用水平転送ＣＣＤ
３２…フォトダイオード
３３…垂直転送ＣＣＤ
３４…垂直転送ＣＣＤ
３５…水平転送ＣＣＤ
３６…電荷排出用ドレイン
３７…読出用水平転送ＣＣＤ
３８…１画素
３９…転送電極
４０…ゲート電極
４１…電荷排出用ドレイン
４２…ｎ型基板
４３…ｐ型拡散領域
４４…ｎ−拡散領域
５１，５２，５３…時分割画像
５４…有効領域
５５…撮像領域
５６…有効領域
【技術分野】
【０００１】
本発明は、電子的に撮影される画像のぶれを補正する電子的ぶれ補正装置に関する。
【背景技術】
【０００２】
固体撮像素子を用いて静止画像や動画像を撮像する撮像装置は、手で把持して撮影するように構成されたものが少なくない。このような撮像装置において、例えば被写体の輝度が低い場合には、シャッタ速度が遅くなるために、手ぶれが発生し易くなることが知られている。また、車載カメラ等においては、走行時の振動により、同様にぶれが発生する可能性があることが知られている。
【０００３】
こうしたぶれを補正するための技術は、従来より種々のものが提案されており、振動に応じて光学系を移動する光学式ぶれ補正、振動に応じて固体撮像素子を移動するセンサシフト式ぶれ補正、撮像した画像を処理することによりぶれを補正する電子式ぶれ補正などがある。
【０００４】
これらの内の電子式ぶれ補正では、画像切り出し位置をぶれに応じてフレーム毎に異ならせることにより、画像内の被写体位置を一定に保つようにした動画対応のものがあるが、この技術は１フレーム内の画像のぶれを防止するものではないために、静止画には適用することができない。
【０００５】
これに対して、静止画に適用可能な電子式ぶれ補正も、種々のものが提案されている。
【０００６】
例えば、特開２００１−４５３５９号公報には、撮像素子から複数の画像を連続して読み出して画像メモリに記憶し、その後にこれら複数の画像の相互のぶれを補正して合成することにより、ぶれの補正された画像を生成する撮像装置が記載されている。
【０００７】
また、特開２００５−１９８１４８号公報には、撮像素子内に画像を水平および垂直方向に転送するための電荷転送部を設け、撮像した第１画像と上記電荷転送部に転送した第２画像との相対的なぶれを補正して、これら第１画像と第２画像とを合成することによりぶれが補正された画像を生成する固体撮像素子が記載されている。
【特許文献１】特開２００１−４５３５９号公報
【特許文献２】特開２００５−１９８１４８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
上述した各公報に記載された技術は、複数の画像の相対的な位置を調整してから合成を行い、１つの画像を得るものである。ところで、ｎ（ｎは正の整数）枚の時分割撮影した画像の相互のぶれを補正してから１つの合成画像を生成するときには、生成した合成画像の端部に、合成された画像の枚数がｎ枚に満たない領域が発生することになる。こうしたｎ枚に満たない領域は、ｎ枚が合成された領域に比べて輝度が段階的に小さくなるために、切り捨てるか、あるいは補正処理をする必要がある。このｎ枚に満たない領域は、通常は、画像全体の大きさに比べて無視できる程度に狭く、また補正には複雑な処理を要することから、切り捨てる方法を採用するのが簡単で実用的である。しかし、カメラのように不特定多数のユーザーが使用する機器においては、撮影者の技能に応じてぶれが非常に大きくなり、有効な画像領域が許容できないほど狭くなってしまう場合が生じることも考えられる。
【０００９】
本発明は上記事情に鑑みてなされたものであり、撮影者の技能に依ることなく、ぶれが補正された、所定以上の大きさの画像の有効領域を確保することができる電子的ぶれ補正装置を提供することを目的としている。
【課題を解決するための手段】
【００１０】
上記の目的を達成するために、第１の発明による電子的ぶれ補正装置は、連続して複数の画像を撮影する撮影手段と、上記画像のぶれを検出するぶれ検出手段と、上記連続して撮影された複数の画像の内の連続する所定数の画像の全体のぶれ量が予め決められた所定値内になるように連続撮影の回数を制御する撮影回数制御手段と、上記撮影回数制御手段の制御に基づき所定回数撮影された複数画像の相互のぶれを補正するぶれ補正手段と、上記ぶれ補正手段により補正された画像を合成する画像合成手段と、を具備したものである。
【００１１】
また、第２の発明による電子的ぶれ補正装置は、上記第１の発明による電子的ぶれ補正装置において、上記撮影手段が、マトリクス状に配列された複数の画素と、該画素により生成された第１画像を保持するレジスタと、を有する撮像素子を含んで構成されたものであり、上記ぶれ補正手段は、上記画素により生成された第２画像と上記レジスタに保持された第１画像との相対的なぶれを打ち消すように上記第１画像と上記第２画像との相対的な位置を移動させるものであり、上記画像合成手段は、上記ぶれ補正手段により補正された、上記第１画像と上記第２画像とを合成するものである。
【００１２】
さらに、第３の発明による電子的ぶれ補正装置は、上記第１の発明による電子的ぶれ補正装置において、上記撮影回数制御手段が、上記連続して撮影される複数の画像の全体のぶれ量が予め決められた所定値内になるように、撮影回数を制御するものである。
【００１３】
第４の発明による電子的ぶれ補正装置は、上記第１の発明による電子的ぶれ補正装置において、上記撮影回数制御手段が、上記連続して撮影される複数の画像の全体の露光時間が、撮影レンズの焦点距離の逆数に予め決められた所定の係数を乗じて得られる露光時間以下になるように、撮影回数を制御するものである。
【００１４】
第５の発明による電子的ぶれ補正装置は、上記第２の発明による電子的ぶれ補正装置において、上記連続して撮影される画像の数が予め決められた所定数に達しないときに上記画像合成手段により合成された画像を増幅する増幅手段をさらに具備したものである。
【００１５】
第６の発明による電子的ぶれ補正装置は、上記第１の発明による電子的ぶれ補正装置において、上記撮像手段が、マトリクス状に配列された複数の画素を有する撮像素子と、この撮像素子の出力信号を受けてデジタル化された複数の画像を生成する信号処理手段と、上記信号処理手段により処理された画像を記憶する記憶手段と、を有して構成されたものであり、上記ぶれ補正手段は、上記記憶手段に記憶された画像のぶれを補正するものである。
【発明の効果】
【００１６】
本発明の電子的ぶれ補正装置によれば、撮影者の技能に依ることなく、ぶれが補正された、所定以上の大きさの画像の有効領域を確保することができる。
【発明を実施するための最良の形態】
【００１７】
実施形態を詳細に説明する前に、まず、ぶれを補正するための原理について簡単に説明する。
【００１８】
例えば、被写体を測光して得られた適正露光時間（全露光時間）が１／１５秒であるとする。そして、この１／１５秒の露光時間（シャッタ速度）ではぶれが発生するものとする。これに対して、露光時間（シャッタ速度）が１／１２５秒であるときには、ぶれが発生しないか、もしくは発生するぶれが実質的に無視し得るものとする。このようなケースにおいて、上述した全露光時間１／１５秒を、１／１２５秒の露光時間に時分割して、該時分割撮影により８回の撮影を行い、この時分割撮影して得られた８枚の画像を合成（加算）することにより１／１５秒の適正露光時間の１枚の画像を得るものである。ただし、上記１／１２５秒で撮影した時分割撮影による画像を単純に合成したのではぶれは補正されないために、各時分割画像のぶれを相互に補正してから合成する。そして、この合成した画像の内の、全ての時分割画像が重複する領域が有効な領域となる。しかし、ぶれが大きすぎると、この有効領域が狭くなってしまう。そこで、有効領域が余り狭くならないように、ぶれ量が所定の許容量以上であるときには、この許容レベルを超える画像について合成対象から除外する。そして、１枚以上の時分割画像を除外して得られる合成画像は、そのままでは信号レベルが所定レベルに達しないものとなってしまうために、除外した時分割画像の枚数に応じて、つまり合成した時分割画像の枚数に応じて、画像を増幅し適切な信号レベルを得る。
【００１９】
以下に説明する実施形態１は、このようなぶれ補正と時分割画像の合成とを、撮像素子内で高速に行うものとなっている。また、以下に説明する実施形態２は、上述したようなぶれ補正と時分割画像の合成とを、時分割画像を撮像素子から読み出してデジタル信号に変換した後に行うものとなっている。
【００２０】
以下、図面を参照して本発明の実施の形態を説明する。
【００２１】
［実施形態１］
図１から図１３は本発明の実施形態１を示したものであり、図１はデジタルカメラの主として電気的な構成を示すブロック図である。本実施形態は、デジタルカメラに電子的ぶれ補正装置を適用したものとなっている。
【００２２】
このデジタルカメラは、固体撮像素子（以下では適宜、撮像素子と略称する）１と、相関二重サンプリング回路（ＣＤＳ：Correlated Double Sampling）２と、ゲインコントロールアンプ（ＡＭＰ）３と、Ａ／Ｄ変換器４と、タイミングジェネレータ（ＴＧ）５と、シグナルジェネレータ（ＳＧ）６と、ＣＰＵ７と、情報処理部８と、ＤＲＡＭ９と、圧縮伸張部１０と、記録媒体１１と、液晶表示部１２と、インタフェース部１３と、レンズ駆動系１４と、撮影レンズ１５と、絞り駆動系１６と、絞り１７と、第１レリーズスイッチ１８ａおよび第２レリーズスイッチ１８ｂと、角速度センサ１９および角速度センサ２０と、Ａ／Ｄ変換器２１およびＡ／Ｄ変換器２２と、距離検出部２３と、ＣＰＵ７に内蔵されたＥＥＰＲＯＭ２４と、撮影モード設定部２５と、撮影条件設定部２６と、を含んでいる。
【００２３】
撮影レンズ１５は、被写体像を撮像素子１の撮像面へ結像するための撮像光学系であり、撮影手段を構成している。
【００２４】
絞り１７は、この撮影レンズ１５からの結像光束の通過範囲を規定することにより光量の調整を行うための光学絞りであり、撮像光学系の一部であって、撮影手段を構成している。
【００２５】
撮像素子１は、絞り１７を介して撮影レンズ１５により結像された被写体像を、光電変換して電気信号として出力するものであり、撮影手段を構成している。ここに、図６は撮像素子１の第１の構成例を、図７は撮像素子１の第２の構成例を、それぞれ示している。図６，図７に示す撮像素子１は、何れも、マトリクス状に配列された多数のフォトダイオードと、ぶれを許容し得るような高速の露光制御によって上記フォトダイオードにより生成された第１画像を保持する第１レジスタとしての水平転送ＣＣＤまたは垂直転送ＣＣＤと、上記第１画像に続いて撮像される第２画像を保持する上記第１レジスタとは異なる第２レジスタとしての水平転送ＣＣＤまたは垂直転送ＣＣＤと、第１レジスタと第２レジスタとに保持された２つの画像の相対的なぶれを打ち消すように、これら２つの画像を上記第１レジスタ内、および上記第２レジスタ内でシフトした後に、上記２つの画像を合成し、この合成した画像を上記第１レジスタまたは上記第２レジスタに保持するという動作を繰り返し実行して、撮像素子１内においてぶれの補正された画像を生成するものである。このような撮像素子１のより詳細な構成や作用については、後で説明する。
【００２６】
ＴＧ５は、この撮像素子１を駆動するための転送パルスを供給するものであり、撮影手段、信号処理手段を構成している。
【００２７】
ＣＤＳ２は、ＴＧ５から供給されるサンプルホールドパルスに従って駆動され、撮像素子１から出力される画像信号に相関二重サンプリング等の処理を行うことによりリセットノイズを除去するものであり、撮影手段、信号処理手段を構成している。
【００２８】
ＳＧ６は、ＣＰＵ７の制御に基づき、同期信号を生成してＴＧ５へ出力するものであり、撮影手段、信号処理手段を構成している。
【００２９】
ゲインコントロールアンプ（ＡＭＰ）３は、ＣＤＳ２から出力されるアナログの信号を増幅する増幅手段であり、撮影手段、信号処理手段を構成している。このゲインコントロールアンプ（ＡＭＰ）３の増幅率は、ＩＳＯ（International Organization for Standardization）感度Ｓｖに応じた増幅率に設定されるようになっていて、つまりゲインコントロールアンプ（ＡＭＰ）３は、ＩＳＯ感度変更部となっている。また、ゲインコントロールアンプ（ＡＭＰ）３の増幅率は、時分割撮影された画像の数が規定数に達しないときに、その不足分を補うために合成された画像を増幅する際にも用いられる。
【００３０】
Ａ／Ｄ変換器４は、ＴＧ５から供給される信号に従って、ゲインコントロールアンプ（ＡＭＰ）３から出力されるアナログ信号をデジタル信号に変換するアナログ・デジタル変換部であり、撮影手段、信号処理手段を構成している。
【００３１】
情報処理部８は、Ａ／Ｄ変換器４から出力される画素信号を処理して、画像データを生成するものであり、撮影手段、ぶれ補正手段、画像合成手段、信号処理手段を構成している。この情報処理部８は、撮像素子１から出力された画像データの中からぶれが適正に補正された画像データを抽出する機能を有する有効領域抽出部を含んでいる。さらに、この情報処理部８は、画像データを一時的に記憶するための記憶手段たるバッファメモリ８ａを備えて構成されている。
【００３２】
ＤＲＡＭ９は、情報処理部８から出力される画像データを一時的に記憶するものであるとともに、記録媒体１１から読み出された圧縮画像データを圧縮伸張部１０により伸張して得られた画像データを一時的に記憶するものとなっている。なお、上述したバッファメモリ８ａがＤＲＡＭ９の機能を兼用するように構成しても構わない。
【００３３】
圧縮伸張部１０は、ＤＲＡＭ９に記憶されている画像データを圧縮するとともに、記録媒体１１から読み出された圧縮画像データを伸張するものである。
【００３４】
記録媒体１１は、圧縮伸張部１０により圧縮された画像データを記録する記録部であり、例えば不揮発性の記録媒体となっている。
【００３５】
液晶表示部１２は、情報処理部８から出力される画像データ、またはＤＲＡＭ９から出力される伸張された画像データを表示するものである。この液晶表示部１２は、各種の警告表示等を行う表示部を兼ねたものとなっている。
【００３６】
インタフェース部１３は、モニタやパーソナルコンピュータ等の外部装置とのデータの授受を行うための端子を含むインタフェースである。このインタフェース部１３を介して、情報処理部８またはＤＲＡＭ９から供給される画像データ等を外部装置へ出力することが可能であり、あるいは場合によっては、外部装置から画像データ等をデジタルカメラ内に取り込むことが可能となっている。
【００３７】
レンズ駆動系１４は、距離検出部２３により検出された被写体距離に基づきＣＰＵ７から指令を受けることにより、撮影レンズ１５を合焦位置へ駆動するものである。このような処理は、いわゆるオートフォーカス制御として公知のものである。なお、ここでは距離検出部２３からの出力に基づきオートフォーカス制御を行っているが、ＣＰＵ７が、ＤＲＡＭ９に記憶された１フレーム（１画面）分の画像データの輝度成分にハイパスフィルタなどを用いて高周波成分を抽出し、抽出した高周波成分の累積合成値を算出する等により高周波域側の輪郭成分等に対応したＡＦ評価値を算出し、該ＡＦ評価値に基づいて焦点検出を行うようにしても構わない。
【００３８】
絞り駆動系１６は、ＤＲＡＭ９に記憶された画像データに基づき測光部たるＣＰＵ７が露出演算を行い、該ＣＰＵ７からその結果に基づいた指令を受けることにより、絞り１７を駆動して開口径を変更する絞り制御部である。このような処理は、いわゆるＡＥ（自動露出）制御として公知のものである。
【００３９】
角速度センサ１９は、デジタルカメラを被写体側から見たときの左右の方向における右方向をＸ軸方向としたときに、このＸ軸方向を回転中心としてデジタルカメラを回転したときの角速度を検出するためのぶれ検出手段である。
【００４０】
一方、角速度センサ２０は、デジタルカメラの上下方向における上方向をＹ軸方向としたときに、このＹ軸方向を回転中心としてデジタルカメラを回転したときの角速度を検出するためのぶれ検出手段である。
【００４１】
Ａ／Ｄ変換器２１は、角速度センサ１９により検出された角速度を表すアナログ信号を、所定の時間間隔（サンプリング間隔）でデジタル信号に変換するものであり、ぶれ検出手段の一部である。
【００４２】
同様に、Ａ／Ｄ変換器２２は、角速度センサ２０により検出された角速度を表すアナログ信号を、所定の時間間隔（サンプリング間隔）でデジタル信号に変換するものであり、ぶれ検出手段の一部である。
【００４３】
ＣＰＵ７は、Ａ／Ｄ変換器２１により変換されたデジタル信号を時間積分する処理を行う。この時間積分されたデジタル信号は、カメラ本体の上記Ｘ軸を回転中心とする回転量に相当する。また、Ｘ軸周りの回転方向が右回りであるか左回りであるかは、角速度センサ１９のアナログ出力信号が正であるかあるいは負であるかにより判別されるようになっている。
【００４４】
同様に、ＣＰＵ７は、Ａ／Ｄ変換器２２により変換されたデジタル信号を時間積分する処理を行う。この時間積分されたデジタル信号は、カメラ本体の上記Ｙ軸を回転中心とする回転量に相当する。また、Ｙ軸周りの回転方向が右回りであるか左回りであるかは、角速度センサ２０のアナログ出力信号が正であるかまたは負であるかにより判別されるようになっている。
【００４５】
第１レリーズスイッチ１８ａは、撮像動作を指示入力するための自動復帰型の２段スイッチでなるレリーズスイッチの１段目である。レリーズスイッチが押し込まれてこの第１レリーズスイッチ１８ａがオンされると、測距動作や測光動作が行われるようになっている。
【００４６】
第２レリーズスイッチ１８ｂは、撮像動作を指示入力するための自動復帰型の２段スイッチでなるレリーズスイッチの２段目である。レリーズスイッチがさらに押し込まれてこの第２レリーズスイッチ１８ｂがオンされると、撮像素子１により撮像動作が行われ、画像データが上述したように生成されて、圧縮された後に記録媒体１１に記録されるようになっている。
【００４７】
距離検出部２３は、被写体までの距離を検出するためのものであり、公知の構成のものを適宜採用することが可能である。
【００４８】
撮影モード設定部２５は、シャッタ優先撮影モード、絞り優先撮影モード、プログラム撮影モードの何れかを選択するためのものである。
【００４９】
撮影条件設定部２６は、シャッタスピード（露光時間）や絞り値、ＩＳＯ感度などの各種の撮影条件を設定するためのものである。
【００５０】
ＣＰＵ７は、露出値Ｅｖと、露出制御を最適に行うためのＴｖ（露光時間のアペックス値）およびＡｖ（絞り値のアペックス値）と、の関係をプログラム線図として記憶するＥＥＰＲＯＭ２４を不揮発性メモリとして内蔵している。このＥＥＰＲＯＭ２４には、デジタルカメラに必要なその他の情報も適宜格納可能となっている。
【００５１】
このＣＰＵ７には、第１レリーズスイッチ１８ａからの信号、第２レリーズスイッチ１８ｂからの信号、Ａ／Ｄ変換器２１を介した角速度センサ１９からの信号、Ａ／Ｄ変換器２２を介した角速度センサ２０からの信号、撮影モード設定部２５からの信号、および撮影条件設定部２６からの信号が入力されるようになっている。そしてＣＰＵ７は、ＴＧ５とＳＧ６とへ指令を出力するようになっている。
【００５２】
さらに、ＣＰＵ７は、情報処理部８、ＤＲＡＭ９、レンズ駆動系１４、絞り駆動系１６、および距離検出部２３と双方向に接続されていて、これらを含むこのデジタルカメラ全体を制御する制御部となっており、撮影手段、ぶれ検出手段、撮影回数制御手段、ぶれ補正手段、画像合成手段を兼ねたものである。
【００５３】
具体的には、ＣＰＵ７は、上述したようなオートフォーカス制御やＡＥ制御を行うとともに、第１レリーズスイッチ１８ａおよび第２レリーズスイッチ１８ｂからの静止画像の取り込みを指示する信号に基づき、撮像素子１の駆動モードの切り換えを行うようになっている。さらに、このＣＰＵ７は、絞り１７の開口を変更する制御や撮像素子１の露光時間制御などを行うようになっている。そして、ＣＰＵ７は、撮影モード設定部２５からの入力に基づきこのデジタルカメラの撮影モードを設定し、撮影条件設定部２６からの入力に基づきデジタルカメラに係る撮影条件を設定するようになっている。加えて、ＣＰＵ７は、角速度センサ１９，２０からの出力に基づき、ぶれ量の演算等も行うようになっている。
【００５４】
次に、図２〜図５を参照して、撮像素子１の動作原理について説明する。図２はフォトダイオードに蓄積された電荷を第１の画素電荷として垂直転送ＣＣＤに転送する様子を示す図、図３は第１の画素電荷読み出し後にフォトダイオードに蓄積された電荷を第２の画素電荷として水平転送ＣＣＤに転送しさらに水平方向に転送するとともに、第１の画素電荷を垂直方向に転送する様子を示す図、図４は第１の画素電荷と第２の画素電荷とを加算する様子を示す図、図５は加算された電荷を同一画素内における垂直転送ＣＣＤの電荷保持部に退避する様子を示す図である。
【００５５】
撮像素子１には、被写体からの光線を受けて電荷を発生するフォトダイオード２７が、複数、マトリクス状に配列されていて、マトリクス状に配列されたこれらのフォトダイオード２７が光電変換部を構成している。
【００５６】
さらに、撮像素子１は、光電変換部のフォトダイオード２７の各行に隣接して行方向に配置された水平転送レジスタでありぶれ補正部、合成部たる水平転送ＣＣＤ２８を備えている。この水平転送ＣＣＤ２８は、フォトダイオード２７で発生した電荷を読み出して得られた第１画像を記憶するとともに、この第１画像を水平方向に転送するものである。
【００５７】
また、撮像素子１は、光電変換部のフォトダイオード２７の各列に隣接して列方向に配置された垂直転送レジスタでありぶれ補正部、合成部たる垂直転送ＣＣＤ２９を備えている。この垂直転送ＣＣＤ２９は、第１画像よりも前の時刻に得られた電荷を合成した合成電荷に係る第２画像を記憶するとともに、この第２画像を垂直方向に転送するものである。
【００５８】
そして、水平転送ＣＣＤ２８と垂直転送ＣＣＤ２９とが交差する位置に配置された電極部分は、第１画像と第２画像とをアナログ合成する合成部として機能するようになっている。
【００５９】
なお、ここでは、複数のフォトダイオード２７が、縦方向と、この縦方向に垂直な横方向と、に配列されてマトリクス状をなしている例を示しているが、実質的なマトリクス状をなす配列であればこれに限るものではない。例えば、一方向と、この一方向に斜めに交差する他方向と、に配列されてマトリクス状をなしているものでも構わない。このときには、水平転送ＣＣＤ２８と垂直転送ＣＣＤ２９とを、互いに斜めに交差する方向に配置すれば良い。さらに、フォトダイオード２７の形状も正方形や矩形に限るものではなく、平行四辺形や三角形、六角形等の各種の形状であっても構わない。
【００６０】
そして、撮像素子１における１画素３８は、１つのフォトダイオード２７と、このフォトダイオード２７に隣接する水平転送ＣＣＤ２８の部分および垂直転送ＣＣＤ２９の部分と、を含んでいる。また、１画素３８のサイズを、水平方向（横方向）の長さがＬｘ、垂直方向（縦方向）の長さがＬｙであるとする。
【００６１】
このような構成の撮像素子１の動作を説明する。
【００６２】
以下では、撮像素子１の左上角に配置されたフォトダイオードをＰ1,1 と表記し、水平方向右側へ向かってｉ（ｉは１以上の整数）番目、垂直方向下側へ向かってｊ（ｊは１以上の整数）番目の位置に配置されたフォトダイオードをＰi,j と表記することにする。
【００６３】
図２は、最初に光電変換し蓄積されたフォトダイオードＰi,j の電荷（第１の画素電荷）（図中において丸印で示している）を、このフォトダイオードＰi,j に隣接する垂直転送ＣＣＤ２９にシフトした（読み出した）ところを示している。なお、この図２においては、フォトダイオードＰi,j に係る第１の画素電荷のみを図示しているが、他の全てのフォトダイオードにおいて同一の時間だけ光電変換し蓄積された電荷も、同様に垂直転送ＣＣＤ２９に一斉にシフトされることになる。
【００６４】
図３は、第１の画素電荷をシフトした直後から光電変換し蓄積されたフォトダイオードＰi-1,j-1 の電荷（第２の画素電荷）を、このフォトダイオードＰi-1,j-1 に隣接する水平転送ＣＣＤ２８にまずシフトした（読み出した）ことを示している。なお、この図３においても、フォトダイオードＰi-1,j-1 に係る第２の画素電荷のみを図示しているが、他の全てのフォトダイオードにおいて同一の時間だけ光電変換し蓄積された電荷が、同様に水平転送ＣＣＤ２８に一斉にシフトされることになる。ここに、第１の画素電荷蓄積時にフォトダイオードＰi,j に到達していた被写体からの光が、第２の画素電荷蓄積時には手ぶれ等によりフォトダイオードＰi-1,j-1 に到達する位置に移っているものとする。この光の到達位置の変化は、第２の画素電荷の蓄積が終わった時点で初めて判明するために、図２に示した状態においては、第１の画素電荷はまだ転送されず、垂直転送ＣＣＤ２９に保持（記憶）されるのみである。しかし、第２の画素電荷を読み出した後は、角速度センサ１９，２０の出力により光の到達位置の変化が判明するために、同一の被写体光に係る第１の画素電荷と第２の画素電荷との位置関係が分かり、後述する合成を行うために、互いに近接する位置（同一の１画素３８内の位置）への転送が行われる。すなわち、図３には、第２の画素電荷が水平転送ＣＣＤ２８上を紙面右方向に１画素分転送されるとともに、第１の画素電荷が垂直転送ＣＣＤ２９上を紙面上方向に１画素分転送される例が示されている。なお、第１の画素電荷の転送と第２の画素電荷の転送とが、全てのフォトダイオードに係る画素電荷について行われるのは上述と同様である。このような水平転送ＣＣＤ２８による転送と垂直転送ＣＣＤ２９による転送とを行うためには、各転送ＣＣＤが交差する位置において水平転送ＣＣＤ２８内の電荷と垂直転送ＣＣＤ２９内の電荷とが干渉することのないように、転送電極の配置を工夫する必要がある。
【００６５】
図４は、第１の画素電荷と第２の画素電荷とを、水平転送ＣＣＤ２８と垂直転送ＣＣＤ２９とが交差する位置にシフトして、該交差位置において合成した様子（合成であることを、図４中において「＋」により示している）を示している。この合成は、全てのフォトダイオードに係る第１の画素電荷と、全てのフォトダイオードに係る第２の合成電荷と、について行われることは勿論である。
【００６６】
これにより、第１の画像（全ての第１の画素電荷で構成される画像）と、この第１の画像の直後に連続して撮影された第２の画像（全ての第２の画素電荷で構成される画像）と、がぶれ量だけシフトされた後に、つまりぶれを補正された後に、合成されたことになる。
【００６７】
なお、３番目以降の時分割画像を新たに読み出した場合には、第１の画像に相当するのは、それまでの時分割画像を合成して得られた合成画像（最初の時分割画像から最新の１つ前の時分割画像までを順次ぶれ補正して合成して得られた画像）となるために、この図４に示すような動作を行うことにより、新たな時分割画像（全ての新たな画素電荷で構成される画像）と、合成画像と、の相対的なぶれ量が補正された後に、合成されることになる。
【００６８】
図５は、水平転送ＣＣＤ２８と垂直転送ＣＣＤ２９との交差位置において合成された画素電荷を、同一画素内における例えば垂直転送ＣＣＤ２９の電荷保持部に転送した（退避させた）様子を示している。交差位置は、水平転送と垂直転送との両方に用いられるために、該交差位置に合成電荷を保持したままであると、次に読み出した画素電荷との合成を行うことができない。
【００６９】
そこで、ここでは、合成後の電荷を、一旦、垂直転送ＣＣＤ２９の電荷保持部へ退避させるようにしたものである。これにより、次の画素電荷を水平転送ＣＣＤ２８へ読み出せば、上述と同様に、画素の合成を行うことが可能となる。
【００７０】
なお、ここでは、合成後の電荷を同一画素内における垂直転送ＣＣＤ２９の電荷保持部へ転送した（退避させた）が、これに代えて、同一画素内における水平転送ＣＣＤ２８の電荷保持部へ転送しても（退避させても）構わない。このときには、次の画素電荷は、垂直転送ＣＣＤ２９へ読み出されることになる。また、合成後の画素電荷を退避させるのは、必ずしも同一画素内に限るものではない。
【００７１】
従って、図２〜図５に示したような例に限らず、合成電荷は、水平転送ＣＣＤ２８と垂直転送ＣＣＤ２９との何れか一方の記憶部に記憶させれば良く、新たな画素電荷は、水平転送ＣＣＤ２８と垂直転送ＣＣＤ２９との何れか他方の記憶部へ読み出して記憶させれば良い。
【００７２】
以上説明したように、
画像の水平転送ＣＣＤへのシフト
→ 相対的なぶれ補正のための電荷転送
→ 電荷の合成
→ 合成した電荷を水平転送ＣＣＤと垂直転送ＣＣＤとが交差する位置から退避する
というシーケンスを繰り返し行うようになっている。ただし、複数の時分割撮影の内の最初の時分割撮影による時分割画像については、ぶれ量が０、垂直転送ＣＣＤの電荷の合成値が０であるとして、同様のシーケンスを実行すれば足りる。
【００７３】
なお、図２〜図５においては、合成画像に対して新たな時分割画像が左方向に１画素かつ上方向に１画素だけずれている例を示したが、一般的には、ずれ量に応じた適宜の画素数だけ水平方向および垂直方向に移動させることになる。
【００７４】
以上説明したようなぶれ補正の動作原理は、撮像部の個々のフォトダイオードを囲むように配置された水平転送ＣＣＤと垂直転送ＣＣＤとに蓄積された２つの画像のＸ方向およびＹ方向の相対的なぶれを補正するものであった（図６参照）。これに対して、後で図７を参照して説明するように、撮像素子１内に撮像部とは別個に画像を蓄積するための蓄積部を設けて、この蓄積部に、時分割撮影された画像を保持するための垂直転送ＣＣＤと、この時分割画像とそれまでの時分割画像とのぶれを補正し合成して得られる合成画像を記憶するための水平転送ＣＣＤと、を設けることによっても、同様に、撮像素子１内でぶれの補正された画像を生成することができる。
【００７５】
次に、図６は、撮像素子１の第１の構成例を示す図である。
【００７６】
第１の構成例の撮像素子１は、図６に示すように、画像を光電変換して蓄積するフォトダイオード２７と、このフォトダイオード２７から読み出された電荷を水平方向に転送するための水平転送ＣＣＤ２８と、該フォトダイオード２７から読み出された電荷を垂直方向に転送するための垂直転送ＣＣＤ２９と、上述した水平転送ＣＣＤ２８または垂直転送ＣＣＤ２９の端部に転送された電荷を転送路外へ排出するための電荷排出用ドレイン３０と、垂直転送ＣＣＤ２９から転送された電荷を撮像素子１から外部に読み出すための読出用水平転送ＣＣＤ３１と、を有して構成されている。
【００７７】
ここに、電荷排出用ドレイン３０は、全ての水平転送ＣＣＤ２８の両端部と、全ての垂直転送ＣＣＤ２９の図６における紙面上側の端部と、に転送された電荷を転送路外へ排出することができるように、読出用水平転送ＣＣＤ３１側を除く撮像部の辺縁に、コの字形状に配設されている。
【００７８】
このような構成において、フォトダイオード２７により光電変換して蓄積された画素電荷は、水平転送ＣＣＤ２８に読み出されて蓄積されるようになっている。この水平転送ＣＣＤ２８に蓄積された電荷は、全体として第１画像を形成するものである。また、垂直転送ＣＣＤ２９には、それまでの合成電荷が記憶されている。この合成電荷は、全体として第２画像を形成するものである。新たに読み出された画素電荷は、読み出された水平転送ＣＣＤ２８内において、角速度センサ２０の出力に基づき算出されたＹ軸周りのぶれに基づいて、垂直転送ＣＣＤ２９に記憶されている第２画像との相対的な水平方向のぶれ量を補正する移動量だけ転送される。一方、垂直転送ＣＣＤ２９に記憶されている合成画像である第２画像は、垂直転送ＣＣＤ２９内において、角速度センサ１９の出力に基づき算出されたＸ軸周りのぶれに基づいて、水平転送ＣＣＤ２８に記憶されている第１画像との相対的な垂直方向のぶれ量を補正する移動量だけ転送される。
【００７９】
こうしてぶれ量を補正するだけのシフトが行われたら、その後に、水平転送ＣＣＤ２８と垂直転送ＣＣＤ２９とが交差する位置において、新たに読み出された画素電荷とそれまでの合成電荷とを合成して垂直転送ＣＣＤ２９に記憶することにより、相対的なぶれを補正された新たな合成電荷が生成されるようになっている。以上説明したような動作が、時分割撮影の回数として設定された所定回数、例えば１０回、行われる。ここで、垂直転送ＣＣＤ２９および水平転送ＣＣＤ２８に蓄積された電荷は、ぶれに応じて上下左右にシフトされることになるために、各転送ＣＣＤ２８，２９の端部に達した電荷を、電荷排出用ドレイン３０を介して転送路外に排出するようになっている。
【００８０】
図６に示すような第１の構成例においては、電荷排出用ドレイン３０は、図８に示すように構成されている。ここに、図８は、電荷排出用ドレイン３０の構成例を示す図である。この図８に示す構成例においては、ｎ型基板（例えば、ｎ型シリコン基板）４２の表面部分に、まず、ｐ型拡散領域（ｐウェル：ｐ−ｗｅｌｌ）４３と、ｎ−拡散領域４４と、が表面側へ向かって順に形成されている。さらに、水平転送ＣＣＤ２８または垂直転送ＣＣＤ２９の端部である転送電極３９の下のポテンシャル井戸（ｎ−拡散領域４４）に隣接して、ｎ＋拡散領域のドレイン３０が形成されている。そして、端部の転送電極３９に達した電荷は、このｎ＋拡散領域のドレイン３０を介して排出される。一方、垂直転送ＣＣＤ２９の読出用水平転送ＣＣＤ３１側の端部に達した電荷は、この読出用水平転送ＣＣＤ３１を介して排出するようになっている。このような電荷の排出機構を備えることにより、水平転送ＣＣＤ２８および垂直転送ＣＣＤ２９において電荷があふれるのを防止することができるようになっている。
【００８１】
以上のようにして得られた最終的な合成電荷が、ぶれ補正された画像を構成する電荷となる。
【００８２】
なお、図６に示す第１の構成例においては、時分割画像を水平転送ＣＣＤ２８に読み出すとともに、合成した画像を垂直転送ＣＣＤ２９に保持するようにしたが、これに代えて、時分割画像を垂直転送ＣＣＤ２９に読み出すとともに、合成した画像を水平転送ＣＣＤ２８に保持するようにしても良い。
【００８３】
次に、図７は、撮像素子１の第２の構成例を示す図である。
【００８４】
この図７に示す撮像素子１は、撮像部１ａと蓄積部１ｂとが分離したいわゆるＦＩＴ型ＣＣＤ（フレームインターライン転送型ＣＣＤ）である。
【００８５】
撮像部１ａは、画像を光電変換して蓄積するフォトダイオード３２と、このフォトダイオード３２から読み出された電荷を垂直方向に転送するための垂直転送ＣＣＤ３３と、を有して構成されている。
【００８６】
蓄積部１ｂは、撮像部１ａの垂直転送ＣＣＤ３３から転送された電荷をこの蓄積部１ｂ内の所定位置まで転送する垂直転送ＣＣＤ３４と、この垂直転送ＣＣＤ３４と交差するように配置された水平転送ＣＣＤ３５と、水平転送ＣＣＤ３５の両端部に転送された電荷を転送路外に排出するための電荷排出用ドレイン３６と、垂直転送ＣＣＤ３４の撮像部１ａ側の端部に転送された電荷を転送路外に排出するための電荷排出用ドレイン４１と、垂直転送ＣＣＤ３４から転送された電荷を撮像素子１から外部に読み出すための読出用水平転送ＣＣＤ３７と、を有して構成されている。
【００８７】
このような構成の撮像素子１において、フォトダイオード３２により光電変換して蓄積された画素電荷は、垂直転送ＣＣＤ３３を介して蓄積部１ｂの垂直転送ＣＣＤ３４に転送される。この垂直転送ＣＣＤ３４に転送された電荷は、全体として第１画像を形成する。
【００８８】
まず第１回目の時分割撮影により垂直転送ＣＣＤ３４に転送された第１画像は、その後に水平転送ＣＣＤ３５に転送される。この水平転送ＣＣＤ３５に蓄積された画像を第２画像とする。
【００８９】
次の時分割撮影により撮影された画像は、再び垂直転送ＣＣＤ３４に転送される。そしてこの第１画像は、角速度センサ１９の出力に基づき算出されたＸ軸周りのぶれに基づいて、水平転送ＣＣＤ３５に蓄積されている第２画像との垂直方向の相対的なずれを打ち消す方向に所定量だけシフトされる。また、第２画像は、角速度センサ２０の出力に基づき算出されたＹ軸周りのぶれに基づいて、垂直転送ＣＣＤ３４に蓄積された第１画像との水平方向の相対的なずれを打ち消す方向に所定量だけシフトされる。そして、垂直方向および水平方向の相対的なぶれが打ち消されるようにシフトされた第１画像および第２画像は、垂直転送ＣＣＤ３４と水平転送ＣＣＤ３５とが交差する位置またはその近傍において合成され、水平転送ＣＣＤ３５に蓄積される。
【００９０】
その後に再び時分割撮影が行われ、この撮影された画像が第１画像として蓄積部１ｂの垂直転送ＣＣＤ３４に保持される。そして同様にしてぶれが補正された合成画像が生成され、水平転送ＣＣＤ３５に保持される。このような動作が、時分割撮影の回数として設定された所定回数、例えば１０回行われる。ここで垂直転送ＣＣＤ３４、および水平転送ＣＣＤ３５に蓄積された電荷は、ぶれに応じて上下左右にシフトされるために、水平転送ＣＣＤ３５の端部に達した電荷は電荷排出用ドレイン３６を介して、垂直転送ＣＣＤ３４の撮像部１ａ側の端部に達した電荷は電荷排出用ドレイン４１を介して、垂直転送ＣＣＤ３４の読出用水平転送ＣＣＤ３７側の端部に達した電荷は該読出用水平転送ＣＣＤ３７を介して、それぞれ転送路外に排出される。
【００９１】
この図７に示すような第２の構成例の撮像素子１における電荷排出用ドレイン３６は、図６に示したような第１の構成例の撮像素子１における電荷排出用ドレイン３０（図８参照）と同様に、水平転送ＣＣＤ３５の端部である転送電極の下のポテンシャル井戸（ｎ−拡散領域）に隣接して設けられたｎ＋拡散領域のドレインとなっている。
【００９２】
一方、第２の構成例の撮像素子１における電荷排出用ドレイン４１をもし図８と同様に構成すると、撮像部１ａからの電荷が蓄積部１ｂへ転送されなくなってしまう。そこで、この電荷排出用ドレイン４１は、図９に示すように構成している。ここに、図９は、電荷排出用ドレイン４１の構成例を示す図である。すなわち、垂直転送ＣＣＤ３４の撮像部１ａ側の端部の転送電極３９に隣接してゲート電極４０を設け、このゲート電極４０を挟んだ転送電極３９の反対側の位置にｎ＋拡散領域でなる電荷排出用ドレイン４１を設けている。そして、垂直転送ＣＣＤ３４の撮像部１ａ側の端部に転送された電荷は、ゲート電極４０を介して、選択的に電荷排出用ドレイン４１に排出されるようになっている。
【００９３】
すなわち、撮像部１ａからの電荷を蓄積部１ｂに転送するときには、ゲート電極４０に低電圧を印加する。これにより、垂直転送ＣＣＤ３４を転送される電荷は、電荷排出用ドレイン４１に排出されるのを防止される。一方、蓄積部１ｂに蓄積された電荷をぶれ補正のために垂直転送ＣＣＤ３４内で転送するときには、ゲート電極４０に高電圧を印加することにより、垂直転送ＣＣＤ３４の撮像部１ａ側の端部に転送された電荷が電荷排出用ドレイン４１に排出される。また、垂直転送ＣＣＤ３４の読出用水平転送ＣＣＤ３７側の端部に達した電荷は、この読出用水平転送ＣＣＤ３７を介して排出される。
【００９４】
このような構成および作用により、垂直転送ＣＣＤ３４および水平転送ＣＣＤ３５で電荷があふれるのを防止することができるようになっている。
【００９５】
なお、上述したような構成例においては、ぶれ補正のための電荷転送時に、垂直転送ＣＣＤ３４の撮像部１ａ側の端部の電荷を電荷排出用ドレイン４１に排出するようにした。しかし、これに代えて、ぶれ補正のための電荷転送時に、垂直転送ＣＣＤ３３も同時に駆動して垂直転送ＣＣＤ３４の上端部に達した電荷をこの垂直転送ＣＣＤ３３に転送する（排出する）ことにより、電荷があふれるのを防止するようにしても良い。そして、この場合には、垂直転送ＣＣＤ３３に排出された電荷を、垂直転送ＣＣＤ３４（第１画像および第２画像の合成が行われて水平転送ＣＣＤ３５に蓄積され、電荷を保持していない状態の垂直転送ＣＣＤ３４）および読出用水平転送ＣＣＤ３７を介して排出し、その後に次回の時分割撮影を行うようにすれば良い。
【００９６】
上述したようにして所定回数のぶれ補正および合成の動作が終了すると、水平転送ＣＣＤ３５に保持された画像は、垂直転送ＣＣＤ３４に転送された後に、垂直転送ＣＣＤ３４と読出用水平転送ＣＣＤ３７とを介して撮像素子１から外部に読み出される。
【００９７】
次に、図１０は、デジタルカメラにより画像を撮像して記録するときの、図７に示した第２の構成例の撮像素子１に対応する処理の一例を示すフローチャートである。
【００９８】
デジタルカメラの電源が投入される（例えば、電池が交換されるなど）か、または、図示しない動作開始スイッチ（例えば、電源スイッチ）が操作されると、このデジタルカメラの動作がスタートする。
【００９９】
処理を開始すると、所定の初期値設定等を行った後に、まず、撮影者のレリーズ操作によって第１レリーズスイッチ１８ａが閉じた状態になったか否かを判定する（ステップＳ１０１）。
【０１００】
ここで、第１レリーズスイッチ１８ａが閉じていない場合には、Ｊ１０１に分岐して、第１レリーズスイッチ１８ａの検出を同様に繰り返して行う。ただし、実際には、Ｊ１０１とステップＳ１０１との間に、表示を行ったり、その他の図示しないキー入力の状態を検出したりする動作等を行うが、こうした一般的な動作については以下においても適宜説明を省略することにする。
【０１０１】
ステップＳ１０１において第１レリーズスイッチ１８ａが閉じたことが検出された場合には、次に、ぶれ限界露光時間ＴLimit を演算する（ステップＳ１０２）。このぶれ限界露光時間ＴLimit は、露光開始からのぶれ量が許容限界のぶれ量に達すると想定される時間である。
【０１０２】
ここで、ぶれ限界露光時間ＴLimit について説明する。３５ミリフィルムカメラにおける縦２４ｍｍ×横３６ｍｍ（対角 ４３．２８ｍｍ）のいわゆるライカ版フレーム（別称：ダブルフレーム）カメラに関する長年の経験則として、ミリメートル単位の撮影レンズの焦点距離をｆとしたときに、ぶれ限界露光時間ＴLimit が、ＴLimit ≒１／ｆ（秒）になるということが知られている。本実施形態においては、この経験則を、デジタルカメラの撮像素子１の有効撮像エリア内に設定した撮影画枠の大きさを考慮の上、応用することにする。なお、ぶれ限界露光時間ＴLimit は、必ずしも、１／ｆに基づき与えられる値を用いる必要はなく、要するに、ぶれが実質的に発生することのないような露光時間を用いれば良い。従って、ぶれ限界露光時間ＴLimit は、概略、１／ｆに基づき与えられる露光時間よりも短い時間であれば構わない。
【０１０３】
次に、被写体の明るさを測光する（ステップＳ１０３）。この測光は、撮像素子１から繰り返し出力される画像信号のレベルをモニタして、被写体の明るさを演算するものである。すなわち、撮像素子１から読み出された画像信号は、ＣＤＳ２により処理されゲインコントロールアンプ３により増幅された後にＡ／Ｄ変換器４によりデジタル値に変換され、情報処理部８を経てＤＲＡＭ９に一時的に記憶される。このＤＲＡＭ９に記憶された画像信号の内、画像全体の中の例えば中央部付近の所定領域の画像信号がＣＰＵ７により読み出されて、そのレベルの加算平均値が求められる。そして、ＣＰＵ７は、求めた加算平均値に基づいて被写体の明るさ（Ｂｖ）を計算する。
【０１０４】
続いて、ＣＰＵ７は、適正露光を得るために必要なシャッタ速度値（露光時間）ＴExp や絞り１７の絞り値を計算するとともに、計算結果に基づき絞り駆動系１６を介して絞り１７の絞り設定を行う（ステップＳ１０４）。ここで、上記露光時間ＴExp は、時分割撮影の露光時間をΔＴExp 、時分割撮影の回数をｍとすると、ＴExp ＝ｍ×ΔＴExp の関係が成り立つものである。
【０１０５】
次に、第２レリーズスイッチ１８ｂが閉じているか否かを判定する（ステップＳ１０５）。ここで、第２レリーズスイッチ１８ｂが閉じていない場合には、第１レリーズスイッチ１８ａが閉じている限り、Ｊ１０２へ分岐して、上述したようなステップＳ１０２〜Ｓ１０５の処理を繰り返して行いながら、この第２レリーズスイッチ１８ｂが閉じるのを待機する。
【０１０６】
こうして、ステップＳ１０５において、第２レリーズスイッチ１８ｂが閉じていると判定された場合には、露光時間ＴExp がぶれ限界露光時間ＴLimit よりも短いか否かを判定する（ステップＳ１０６）。
【０１０７】
このステップＳ１０６において、ＴExp ＜ＴLimit でないと判定された場合には、次に、露光時間ＴExp を時分割撮影の回数ｍで割った値を時分割撮影の露光時間ΔＴExp を記憶するためのメモリに記憶する（ステップＳ１０７）。なお、〔〕は、括弧内のデータを記憶するメモリを意味している。従って、〔ΔＴExp 〕は、括弧内の変数ΔＴExp を記憶するメモリを意味する。
【０１０８】
次に、時分割撮影が実際に行われた回数ｎを記憶するメモリ〔ｎ〕に、初期値「０」を記憶する（ステップＳ１０８）。ここで、上記時分割撮影の露光時間ΔＴExp として、上述したぶれ限界露光時間ＴLimit を用いる方法と、上記ステップＳ１０３で演算した露光時間ＴExp を予め決められた時分割撮影の回数ｍで除算した露光時間を用いる方法と、がある。時分割撮影の露光時間ΔＴExp としてぶれ限界露光時間ＴLimit を用いる方法は、ぶれを確実に補正することができる点で優れているが、露光時間ＴExp が長くなると時分割撮影の回数が増加することになる。時分割撮影の回数が増加すると、１回あたりの時分割撮影で得られる信号量が小さくなるために、Ｓ／Ｎ（信号対ノイズ比）が低くなる可能性がある。また、時分割撮影の回数に応じて、フォトダイオードの飽和信号量を調整する必要があるために、撮像素子の構成が複雑化する。従って、時分割撮影の回数ｍの種類はなるべく少ないほうが良い。そこで本実施形態では、時分割撮影の回数ｍは１種類のみとする。そして時分割撮影の露光時間は、露光時間ＴExp をｍで割った値を用いるものとする。
【０１０９】
続いて、露光を開始する（ステップＳ１０９）。撮像素子１には、露光開始直前から、フォトダイオード３２に蓄積された電荷を半導体基板（サブストレート＝縦形オーバーフロードレインＶＯＦＤ）へ強制排出するための撮像素子１の基板印加高電圧パルスＶＳＵＢが繰り返し印加されており、この高電圧パルスＶＳＵＢの印加が終了し、ＶＳＵＢの値を上記時分割撮影の回数ｍに応じた値に設定した時点が、このステップＳ１０９の露光開始の時点となる。
【０１１０】
次に、１回の時分割撮影が終了したか否かを判定する（ステップＳ１１０）。ここで、１回の時分割撮影が終了したと判定されるまでは、Ｊ１０３へ分岐して、時分割撮影の終了を待機する。
【０１１１】
こうして、ステップＳ１１０において１回の時分割撮影が終了したと判定された場合には、撮像素子１のフォトダイオード３２と垂直転送ＣＣＤ３３との間に配置された転送ゲートに高電圧の転送パルスを印加することにより、フォトダイオード３２に蓄積された電荷を撮像部１ａの垂直転送ＣＣＤ３３にシフトする。この垂直転送ＣＣＤ３３にシフトされた電荷は、その後に、蓄積部１ｂの垂直転送ＣＣＤ３４へ転送される。
【０１１２】
ここで、図１２および図１３を参照して、撮像素子の有効領域について説明する。図１２は３つの時分割画像の重畳関係における有効領域を示す図、図１３は撮像素子の撮像領域における有効領域を示す図である。
【０１１３】
まず、図１２は、時分割画像５１と時分割画像５２と時分割画像５３とが、この順序で時分割撮影して得られ、各画像における同一被写体が同一位置になるように画像を並べたときの画像同士の位置関係が図示のようにずれているケースを示している。このようなケースにおいて、最終的にぶれが補正されて合成された有効領域５４は、図示のように、３つの時分割画像５１，５２，５３の全てが重畳される領域となる。そして、この有効領域５４は、画像のぶれ量が大きいほど狭くなる。
【０１１４】
通常は、画像の長辺と短辺とから予め決めた所定領域（例えば、画面の縦横それぞれ９８％の領域）を撮像領域５５における有効領域５６と定めて（図１３参照）、その他の領域を有効領域とはしないようにすれば十分である。しかし、撮影者の技量等によっては、想定外の大きなぶれが発生する場合も有り得る。そこで、１回分の時分割撮影が終了したところで、露光開始位置からのＸ方向のぶれ量の絶対値Ｂｘ、または露光開始位置からのＹ方向のぶれ量の絶対値Ｂｙが、予め設定した所定の値α（この所定値αは、絶対値ＢｘおよびＢｙの両方がα未満である場合には、合成画像として少なくとも有効領域５６を含む画像を確保することができるような値として設定されたものである。）以上であるか否かを判定する（ステップＳ１１１）。
【０１１５】
そして、このステップＳ１１１において、Ｘ方向のぶれ量の絶対値Ｂｘと、Ｙ方向のぶれ量の絶対値Ｂｙとの少なくとも一方が所定の値α以上であると判定された場合には、時分割露光のループから抜けて、フラグＦＬＧに１を設定した後に（ステップＳ１１２）、後述するステップＳ１１９の画像の読み出し処理に移行する（Ｊ１０４）ようにしている。これは、ぶれ量が所定値α以上であるときには、ぶれが正常に補正された画像の有効領域が予め決めた所定領域よりも狭くなってしまうために、これを防ぐべく時分割撮影を終了して、所定の大きさの有効領域を確保するようにしたためである。
【０１１６】
そして、ステップＳ１１２においてＦＬＧを１に設定したときには、時分割撮影の回数が所定回数ｍに達していないことを意味しているために、全体の露光時間がＴExp に達せず、合成画像のレベルが適正レベルよりも低いことになる。従って、このときには、後述するように、ゲインコントロールアンプ３により画像を増幅するようにしている。例えば時分割撮影の回数をｋ（ｋはｍ未満の正の整数）とすると、ゲインコントロールアンプ３の増幅率は通常の場合のｍ／ｋ倍となる。
【０１１７】
また、ステップＳ１１１において、Ｘ方向のぶれ量の絶対値Ｂｘと、Ｙ方向のぶれ量の絶対値Ｂｙとの両方が所定値α未満であると判定された場合には、次に、画素値合成の処理を行う（ステップＳ１１３）。この画素値合成においては、既に説明したように、時分割撮影により得られた垂直転送ＣＣＤ３４内の第１画像と、水平転送ＣＣＤ３５内に保持されている第２画像とを、角速度センサ１９，２０の出力信号に基づいて演算されたＸ方向およびＹ方向のぶれ量に基づいて、各転送ＣＣＤ３４，３５内でシフトすることによりぶれを打ち消すように補正した後に、合成する処理が行われる。この画素値合成処理は、通常、時分割撮影における露光時間ΔＴExp よりも高速に行われる。
【０１１８】
次に、既に行われた時分割撮影の回数ｎを記憶するメモリ〔ｎ〕に、ｎ＋１を記憶する（ステップＳ１１４）。
【０１１９】
そして、既に行われた時分割撮影の回数ｎが、設定された時分割撮影の回数ｍに等しいか否かを判定する（ステップＳ１１５）。
【０１２０】
ここで、まだｎ＝ｍに達していない場合には、Ｊ１０３に分岐して、時分割撮影の処理と画素値合成の処理とを上述したように繰り返して行う。
【０１２１】
また、ステップＳ１１５においてｎ＝ｍであると判定された場合には、Ｊ１０４に分岐して、水平転送ＣＣＤ３５に記憶されている合成画像を垂直転送ＣＣＤ３４に転送した後に、後述するステップＳ１１９の読み出し処理を行う。
【０１２２】
一方、上述したステップＳ１０６においてＴExp ＜ＴLimit であると判定された場合には、時分割撮影を行わなくても実質的にぶれは発生しないことになる。従って、このときには、露光時間ＴExp をメモリ〔ΔＴExp 〕に記憶する（ステップＳ１１６）。
【０１２３】
次に、露光を開始して（ステップＳ１１７）、露光時間がメモリ〔ΔＴExp 〕に記憶した露光時間ΔＴExp に達したか否かを判定する。そして、露光時間ΔＴExp に達したと判定された場合には、フォトダイオード３２により生成した電荷を垂直転送ＣＣＤ３３にシフトすることにより、露光を終了する（ステップＳ１１８）。この露光が終了したら、撮像部１ａにおける垂直転送ＣＣＤ３３の電荷は、蓄積部１ｂの垂直転送ＣＣＤ３４へ転送される。一方、露光時間ΔＴExp に達するまでは、上述した判定を繰り返して行う。
【０１２４】
このように、露光時間ＴExp がぶれ限界露光時間ＴLimit よりも短いときは、時分割撮影を行うことなく、従来の撮影と同様に１回の撮影でぶれのない画像を出力するようにしているために、処理が簡単になるとともに、ぶれ補正に伴う電力の無駄な消費を防止することができる。
【０１２５】
このステップＳ１１８において露光が終了したと判定されるか、ステップＳ１１２においてフラグＦＬＧに１を設定し終えるか、ステップＳ１１５においてｎ＝ｍであると判定された場合に、撮影された画像が、垂直転送ＣＣＤ３４および読出用水平転送ＣＣＤ３７を介して、この撮像素子１から外部へ読み出される（ステップＳ１１９）。
【０１２６】
このようにして撮像素子１から読み出された画像信号は、ＣＤＳ２により処理され、ゲインコントロールアンプ（ＡＭＰ）３により増幅された後に、Ａ／Ｄ変換器４によりデジタル信号に変換される（ステップＳ１２０）。ただし、上述したステップＳ１１２においてフラグＦＬＧが１に設定された場合には、ゲインコントロールアンプ（ＡＭＰ）３による増幅率は、上述したように、通常の増幅率のｍ／ｋ倍となる。
【０１２７】
その後、画像信号をデジタル化して得られた画像データは、バッファメモリ８ａに記憶された後に、情報処理部８により所定の信号処理を施される（ステップＳ１２１）。
【０１２８】
この情報処理部８により行われる信号処理には、撮像素子１から出力された画像データの中から、ぶれ補正が有効に行われたとみなされる予め決められた領域の画像を抽出する処理も含まれている。すなわち、情報処理部８は、有効領域抽出部としての機能も有するものとなっている。上述したように、撮像素子１においては、全ての時分割画像が重複する領域が予め決められた有効領域（図１３に示したような有効領域５６）を含むように、最初に撮影した時分割画像を基準にしたぶれ量が予め決めた所定値αよりも小さい時分割画像についてのみ合成処理を行うようになっている。従って、情報処理部８は、有効領域の抽出処理を簡単に行うことが可能である。
【０１２９】
次に、情報処理部８により信号処理された画像データは、ＤＲＡＭ９に一時的に記憶される（ステップＳ１２２）。
【０１３０】
その後、圧縮伸張部１０によりＤＲＡＭ９に記憶された画像データを画像圧縮して（ステップＳ１２３）、圧縮された画像データを記録媒体１１に記録し（ステップＳ１２４）、この処理を終了する。
【０１３１】
続いて、図１１は、デジタルカメラにより画像を撮像して記録するときの、図７に示した第２の構成例の撮像素子１に対応する処理の他の例を示すフローチャートである。なお、この図１１において、図１０と同様の処理を行う部分については、その旨を述べて説明を適宜省略する。
【０１３２】
ステップＳ２０１からステップＳ２０７の処理は、図１０のステップＳ１０１からステップＳ１０７までの処理と同様である。ただし、ステップＳ２０１で第１レリーズスイッチ１８ａが閉じていない場合のジャンプ先はＪ２０１、ステップＳ２０５で第２レリーズスイッチ１８ｂが閉じていない場合のジャンプ先はＪ２０２となる。
【０１３３】
そして、ステップＳ２０７の処理が終了したら、次に、（β×ＴLimit ）／ΔＴExp を算出し、算出した値を変数ｋのメモリである〔ｋ〕に記憶する（ステップＳ２０８）。この算出式におけるβは予め決められた所定の係数であり、該算出式の分子のβ×ＴLimit は、所定以上の大きさの有効領域を確保するために必要な全体のぶれ量（以下、「許容ぶれ量」という。）を表わしている。
【０１３４】
ここで有効領域とは、全ての時分割画像が重複する領域のことをいう。従って露光時間ΔＴExp で時分割撮影を［（β×ＴLimit ）／ΔＴExp ］回よりも多く行うと、全体のぶれ量が許容ぶれ量を超えてしまうことになる。
【０１３５】
そこで、ｋ＞ｍであるか否かを判定する（ステップＳ２０９）。
【０１３６】
ここで、ｋ＞ｍであると判定された場合、すなわち、ｋが初期値として予め決められた時分割撮影の回数ｍよりも大きいために、ｍ回の時分割撮影を行っても許容ぶれ量を超えないと判定するときには、時分割撮影の回数を記憶するメモリ〔ｐ〕にｍを記憶する（ステップＳ２１０）。
【０１３７】
一方、ｋ＞ｍでないと判定された場合には、時分割撮影の回数がｋ回を超えると時分割撮影全体のぶれ量が許容ぶれ量を超えてしまうために、〔ｐ〕にｋを記憶する（ステップＳ２１１）。
【０１３８】
ステップＳ２１０またはステップＳ２１１の処理が終了したら、次に、時分割撮影の回数を記憶するメモリ〔ｎ〕に初期値０を記憶する（ステップＳ２１２）。
【０１３９】
そして、露光を開始し（ステップＳ２１３）、露光時間がΔＴExp になるまで露光を行う（ステップＳ２１４）。
【０１４０】
次に、図１０のステップＳ１１３で説明したのと同様にして、画素値合成を行い（ステップＳ２１５）、メモリ〔ｎ〕にｎ＋１を記憶することにより、時分割撮影の回数をインクリメントする（ステップＳ２１６）。
【０１４１】
続いて、時分割撮影の回数〔ｎ〕がｐであるか否かを判定し（ステップＳ２１７）、ｎ＝ｐでなければＪ２０３にジャンプして、上述したように時分割撮影と画素値合成とを繰り返して行う。
【０１４２】
そして、このステップＳ２１７においてｎ＝ｐであると判定された場合には、Ｊ２０４へジャンプして、水平転送ＣＣＤ３５に記憶された合成画像を垂直転送ＣＣＤ３４に転送した後に、読出用水平転送ＣＣＤ３７を介して、この撮像素子１の外部へ読み出す（ステップＳ２２１）。
【０１４３】
その後のステップＳ２２３において、撮像素子１から読み出した画像を、ゲインコントロールアンプ３により通常の増幅率のｍ／ｐ倍に増幅する。このような増幅を行うのは、適正レベルの画像を得るためにはｍ回の時分割撮影を行う必要があるが、実際の時分割撮影の回数はｐであって、この回数ｐに応じて増幅する必要があるためである。
【０１４４】
また、ステップＳ２０６においてＴExp ＜ＴLimit であると判定された場合におけるステップＳ２１８〜Ｓ２２６の処理は、図１０のステップＳ１１６〜Ｓ１２４の処理と同様であるために、説明を省略する。
【０１４５】
以上説明したように、図１１で説明したような処理においては、経験的な知見により得られたぶれ限界露光時間ＴLimit のβ倍を、予め決めた有効領域以上の領域を確保するために許容可能な全体のぶれ量と定義して、このぶれ量を超えないように時分割撮影の回数を制御するようにしたために、図１０で説明したようなリアルタイムにぶれ量をモニタして全体のぶれ量が許容値を超えたか否かを判定する処理と比べて、制御が容易になる利点がある。そして、この図１１に示したような処理を行うことにより、角速度センサ１９，２０やＡ／Ｄ変換器２１，２２等が不要となるために、構成を簡単にすることも可能となる。
【０１４６】
なお、上述した図１０、図１１のフローチャートにおいては、図７に示したような第２の構成例の撮像素子１に対応するデジタルカメラの動作を説明したが、図６に示したような第１の構成例の撮像素子１に対応するデジタルカメラの動作についても、図１０のステップＳ１１３における画素値合成の処理が、既に説明した図６に対応する撮像素子１の画素値合成に置き換わるのみであって、その他の動作は同様である。
【０１４７】
このような実施形態１によれば、連続して撮影した複数の時分割画像の内の、最初に撮影した時分割画像からのぶれ量が予め決められた所定値内のぶれ量を有する時分割画像を合成するようにしたために、所定の有効領域の合成画像を生成することができる。こうして、撮影技能が異なる不特定多数の撮影者に対しても、画像の有効領域を所定以上の大きさにすることが可能になる。
【０１４８】
そして、この合成画像の信号レベルが所定レベルに達しないときには、所定レベルに達するように合成画像を増幅しているために、適正露出の画像を得ることができる。
【０１４９】
また、図１１に示したような処理を行えば、ぶれ量を検出するための角速度センサ等の特別の手段によることなく、連続撮影の回数を制御することができるために、構成を簡単にすることができると共に、制御が容易になる。
【０１５０】
［実施形態２］
図１４および図１５は本発明の実施形態２を示したものであり、図１４は撮像素子１の動作を示すタイミングチャートである。この実施形態２において、上述の実施形態１と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
【０１５１】
この実施形態２は、時分割撮影した画像を撮像素子１から読み出してデジタル化し、バッファメモリ８ａに記憶してから、情報処理部８によりぶれ補正と画像合成とを行うようにしたものである。
【０１５２】
このデジタルカメラの電気的な構成は、基本的には、図１に示したものとほぼ同様であるために、この図１等を参照しながら、主として実施形態１と異なる点についてのみ説明する。
【０１５３】
まず、固体撮像素子１は、この実施形態２においては、実施形態１で述べたようなぶれ補正を行い得る撮像素子ではなく、通常のデジタルカメラにおいて使用されるような固体撮像素子、例えばＣＣＤ固体撮像素子である。なお、ＣＣＤ固体撮像素子に限らず、ＣＭＯＳ固体撮像素子等であってももちろん構わない。
【０１５４】
情報処理部８は、上述したように、バッファメモリ８ａを有しているが、このバッファメモリ８ａは、時分割撮影により得られた複数の画像を記憶することができる容量のものとなっている。そして、情報処理部８は、ＣＰＵ７の制御に基づいて、時分割撮影により得られた複数の画像の相互のぶれ量を演算して求め、求めたぶれ量に基づき、画像処理を行って複数画像のぶれを補正し合成を行うものとなっている。ここに、情報処理部８は、後述するように、画像内における数点の特徴点に基づいて、画像のぶれ量を演算するようになっている。従って、実施形態２における情報処理部８は、ぶれ検出手段を兼ねたものとなっている。こうして、この実施形態２においては、図１に示されている角速度センサ１９，２０およびＡ／Ｄ変換器２１，２２は、設けなくても構わない。
【０１５５】
次に、本実施形態のデジタルカメラの動作について説明する。まず、図１４を参照して、撮像素子１の動作について説明する。
【０１５６】
図１４に示すように、第２レリーズスイッチ１８ｂが閉じて撮影トリガ信号が発生されると、タイミングジェネレータ５から撮像素子１にクロック信号ＣＬＫが供給される。
【０１５７】
クロック信号ＣＬＫを受けた撮像素子１には、撮像素子１の画素を構成するフォトダイオードに蓄積された電荷を半導体基板（サブストレート＝縦形オーバーフロードレインＶＯＦＤ）へ強制排出するための基板印加高電圧パルスＶＳＵＢが繰り返し印加されており、この高電圧パルスＶＳＵＢの印加が終了したところで、露光が開始される。
【０１５８】
そして、所定の時分割撮影の露光時間ΔＴExp が終了すると、撮像素子１のフォトダイオードの電荷を垂直転送ＣＣＤへシフトするためのシフトパルスＴＰが出力される。その後、垂直同期信号ＶＤに同期して、電圧Ｖφ１〜Ｖφ４を各転送電極に印加することにより、撮像素子１から画像が読み出される。
【０１５９】
また、撮像素子１からの画像の読み出し開始に同期して、撮像素子１に再びＶＳＵＢが所定の印加時間Ｔsub だけ印加される。
【０１６０】
このＶＳＵＢの印加が終了すると、同様に露光が開始され、次の垂直同期信号ＶＤに同期して、２回目の時分割撮影による画像の読み出しが行われる。
【０１６１】
以上説明したような動作を、所定回数（例えば１０回）行う。そして、この説明から分かるように、読み出し時間ＴReadからＶＳＵＢの印加時間Ｔsub を減算した時間が、時分割撮影の露光時間ΔＴExp となる。
【０１６２】
撮像素子１から読み出された時分割画像は、ＣＤＳ２によりリセットノイズが除去された後に、ゲインコントロールアンプ（ＡＭＰ）３によりアナログの信号増幅が行われる。ここに、ゲインコントロールアンプ（ＡＭＰ）３の増幅率は、ＩＳＯ（International Organization for Standardization）感度Ｓｖに応じた増幅率をＡ１、時分割撮影による画像の露出不足分を補うための増幅率をＡ２としたとき、Ａ１×Ａ２となるように設定される。
【０１６３】
なお、通常撮影の露光量をＥ１、時分割撮影により得られる露光量をＥ２とするとき、Ａ２＝Ｅ１／Ｅ２となる。さらに具体的に述べると、適正露光を得るための露光時間をＴExp とし、これをｍ回に等分割した露光時間ＴExp ／ｍによりｍ回の時分割撮影を行うものとするとき、各時分割撮影においてＡ２＝ＴExp ／（ＴExp ／ｍ）＝ｍとなる。
【０１６４】
ゲインコントロールアンプ（ＡＭＰ）３により増幅されたアナログの画像信号は、Ａ／Ｄ変換器４により、ＴＧ５から供給される信号に従って、デジタル信号に変換される。
【０１６５】
Ａ／Ｄ変換器４によりデジタル信号に変換された画像信号は、情報処理部８により処理されて、画像データが生成される。
【０１６６】
次に、図１５は、情報処理部８におけるぶれ画像の補正処理を示すフローチャートである。
【０１６７】
この処理を開始すると、まず初期設定として、時分割画像を識別するためのＩＤに相当する変数ｉを記憶するためのメモリ〔ｉ〕に、０を記憶する（ステップＳ３０１）。
【０１６８】
次に、画像Ｉ（ｉ）と画像Ｉ（ｉ＋１）とのぶれΔ（ｉ，ｉ＋１）を演算する（ステップＳ３０２）。このぶれΔは、画像Ｉ（ｉ）における特徴点を数点定めて、この特徴点と一致する画像Ｉ（ｉ＋１）の特徴点の位置を、公知の動きベクトル演算により求め、対応する位置の相対的なずれを求めることにより行われる。なお、上記ぶれΔは、ベクトルである。
【０１６９】
その後、ぶれΔを積算（順次のベクトル加算）したΣΔ（ｋ，ｋ＋１）（但しｋ＝０〜ｉ）のスカラー値｜ΣΔ（ｋ，ｋ＋１）｜を演算し、この値と予め決めた所定の値αとを比較する（ステップＳ３０３）。ここで、｜ΣΔ（ｋ，ｋ＋１）｜＞αでないと判定されたときには、メモリ〔ｉ〕の内容をインクリメントする（ステップＳ３０４）。
【０１７０】
続いて、ぶれΔに基づいて、画像Ｉ（ｉ）と画像Ｉ（ｉ＋１）とのぶれを補正した後に、対応する画素の値を加算（合成）する（ステップＳ３０５）。
【０１７１】
次に、ｉとｍ−１を比較する（ステップＳ３０６）。ここにｍは、時分割撮影の回数、すなわち時分割撮影により得た画像数である。このステップＳ３０６において、ｉ＝ｍ−１でないと判定された場合には、Ｊ３０１に分岐して、上述したような処理を繰り返して行う。
【０１７２】
また、ステップＳ３０６において、ｉ＝ｍ−１であると判定された場合には、次に、合成画像の平均値を演算する（ステップＳ３０７）。
【０１７３】
また、ステップＳ３０３において｜ΣΔ（ｋ，ｋ＋１）｜＞αであると判定された場合には、時分割撮影期間中の全体のぶれ量が許容可能な（有効領域の確保が難しい）値よりも大きいと判定して、Ｊ３０２に分岐し、上述したステップＳ３０７の処理を行う。
【０１７４】
こうして、ステップＳ３０７の処理を行ったところで、この処理を終了する。
【０１７５】
以上説明したように、情報処理部８は、全ての時分割画像が重複する領域が予め決められた有効領域内に入るように、最初に撮影した時分割画像を基準にしたぶれ量が予め決めた所定以上の大きさとなる時分割画像について、合成処理対象から除外するようにしている。
【０１７６】
そして、ぶれ量が所定値内の時分割画像について、合成した画像の内の、最初に撮影した時分割画像から予め決めた領域内の画像を抽出する。このようにすることにより、所定以上の有効領域の抽出処理を簡単に行うことができる。
【０１７７】
こうして情報処理部８によりぶれが補正された有効領域の画像データは、ＤＲＡＭ９に一時的に記憶された後に、圧縮伸張部１０によりＪＰＥＧなどの所定のフォーマットの形式の画像データに圧縮されて、記録媒体１１に記録される。
【０１７８】
なお、上述では、時分割画像内の特徴点に基づいてぶれの検出を行っているが、もちろん、角速度センサ等の出力に基づいてぶれの検出を行うようにしても構わない。
【０１７９】
このような実施形態２によれば、上述した実施形態１とほぼ同様の効果を奏するとともに、撮像素子１から読み出した時分割画像の内の、所定のぶれ量以内の時分割画像に基づいて、ぶれ補正した合成画像を作成することができる。
【０１８０】
そして、ぶれ補正機能を備えない通常の撮像素子１を用いたデジタルカメラ等においても、ぶれ補正を行うことが可能となる。
【０１８１】
さらに、ぶれの検出を、時分割画像内の特徴点に基づいて行っているために、角速度センサ等が不要となって、構成を簡単にすることができる。
【０１８２】
なお、本発明は上述した実施形態に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
【産業上の利用可能性】
【０１８３】
本発明は、電子的に撮影される画像のぶれを補正する電子的ぶれ補正装置に好適に利用することができる。
【図面の簡単な説明】
【０１８４】
【図１】本発明の実施形態１におけるデジタルカメラの主として電気的な構成を示すブロック図。
【図２】上記実施形態１において、フォトダイオードに蓄積された電荷を第１の画素電荷として垂直転送ＣＣＤに転送する様子を示す図。
【図３】上記実施形態１において、第１の画素電荷読み出し後にフォトダイオードに蓄積された電荷を第２の画素電荷として水平転送ＣＣＤに転送しさらに水平方向に転送するとともに、第１の画素電荷を垂直方向に転送する様子を示す図。
【図４】上記実施形態１において、第１の画素電荷と第２の画素電荷とを加算する様子を示す図。
【図５】上記実施形態１において、加算された電荷を同一画素内における垂直転送ＣＣＤの電荷保持部に退避する様子を示す図。
【図６】上記実施形態１における撮像素子の第１の構成例を示す図。
【図７】上記実施形態１における撮像素子の第２の構成例を示す図。
【図８】上記実施形態１における電荷排出用ドレインの一構成例を示す図。
【図９】上記実施形態１における電荷排出用ドレインの他の構成例を示す図。
【図１０】上記実施形態１において、デジタルカメラにより画像を撮像して記録するときの、図７に示した第２の構成例の撮像素子に対応する処理の一例を示すフローチャート。
【図１１】上記実施形態１において、デジタルカメラにより画像を撮像して記録するときの、図７に示した第２の構成例の撮像素子に対応する処理の他の例を示すフローチャート。
【図１２】上記実施形態１において、３つの時分割画像の重畳関係における有効領域を示す図。
【図１３】上記実施形態１において、撮像素子の撮像領域における有効領域を示す図。
【図１４】本発明の実施形態２における撮像素子の動作を示すタイミングチャート。
【図１５】上記実施形態２の情報処理部におけるぶれ画像の補正処理を示すフローチャート。
【符号の説明】
【０１８５】
１…固体撮像素子（撮影手段）
１ａ…撮像部
１ｂ…蓄積部
２…相関二重サンプリング回路（ＣＤＳ）（撮影手段，信号処理手段）
３…ゲインコントロールアンプ（ＡＭＰ）（撮影手段，信号処理手段，増幅手段）
４…Ａ／Ｄ変換器（撮影手段，信号処理手段）
５…タイミングジェネレータ（ＴＧ）（撮影手段，撮影回数制御手段）
６…シグナルジェネレータ（ＳＧ）（撮影手段，撮影回数制御手段）
７…ＣＰＵ（撮影手段，ぶれ検出手段，撮影回数制御手段，ぶれ補正手段，画像合成手段）
８…情報処理部（撮影手段，ぶれ補正手段，画像合成手段，信号処理手段，ぶれ検出手段）
８ａ…バッファメモリ（記憶手段）
９…ＤＲＡＭ
１０…圧縮伸張部
１１…記録媒体
１２…液晶表示部
１３…インタフェース部
１４…レンズ駆動系
１５…撮影レンズ（撮影手段）
１６…絞り駆動系
１７…絞り（撮影手段）
１８ａ…第１レリーズスイッチ
１８ｂ…第２レリーズスイッチ
１９，２０…角速度センサ（ぶれ検出手段）
２１，２２…Ａ／Ｄ変換器（ぶれ検出手段）
２３…距離検出部
２４…ＥＥＰＲＯＭ
２５…撮影モード設定部
２６…撮影条件設定部
２７…フォトダイオード
２８…水平転送ＣＣＤ
２９…垂直転送ＣＣＤ
３０…電荷排出用ドレイン
３１…読出用水平転送ＣＣＤ
３２…フォトダイオード
３３…垂直転送ＣＣＤ
３４…垂直転送ＣＣＤ
３５…水平転送ＣＣＤ
３６…電荷排出用ドレイン
３７…読出用水平転送ＣＣＤ
３８…１画素
３９…転送電極
４０…ゲート電極
４１…電荷排出用ドレイン
４２…ｎ型基板
４３…ｐ型拡散領域
４４…ｎ−拡散領域
５１，５２，５３…時分割画像
５４…有効領域
５５…撮像領域
５６…有効領域
【特許請求の範囲】
【請求項１】
連続して複数の画像を撮影する撮影手段と、
上記画像のぶれを検出するぶれ検出手段と、
上記連続して撮影された複数の画像の内の連続する所定数の画像の全体のぶれ量が予め決められた所定値内になるように、連続撮影の回数を制御する撮影回数制御手段と、
上記撮影回数制御手段の制御に基づき所定回数撮影された複数画像の相互のぶれを補正するぶれ補正手段と、
上記ぶれ補正手段により補正された画像を合成する画像合成手段と、
を具備したことを特徴とする電子的ぶれ補正装置。
【請求項２】
上記撮影手段は、マトリクス状に配列された複数の画素と、該画素により生成された第１画像を保持するレジスタと、を有する撮像素子を含んで構成されたものであり、
上記ぶれ補正手段は、上記画素により生成された第２画像と上記レジスタに保持された第１画像との相対的なぶれを打ち消すように上記第１画像と上記第２画像との相対的な位置を移動させるものであり、
上記画像合成手段は、上記ぶれ補正手段により補正された、上記第１画像と上記第２画像とを合成するものであることを特徴とする請求項１に記載の電子的ぶれ補正装置。
【請求項３】
上記撮影回数制御手段は、上記連続して撮影される複数の画像の全体のぶれ量が予め決められた所定値内になるように、撮影回数を制御するものであることを特徴とする請求項１に記載の電子的ぶれ補正装置。
【請求項４】
上記撮影回数制御手段は、上記連続して撮影される複数の画像の全体の露光時間が、撮影レンズの焦点距離の逆数に予め決められた所定の係数を乗じて得られる露光時間以下になるように、撮影回数を制御するものであることを特徴とする請求項１に記載の電子的ぶれ補正装置。
【請求項５】
上記連続して撮影される画像の数が予め決められた所定数に達しないときに上記画像合成手段により合成された画像を増幅する増幅手段をさらに具備したことを特徴とする請求項２に記載の電子的ぶれ補正装置。
【請求項６】
上記撮像手段は、マトリクス状に配列された複数の画素を有する撮像素子と、この撮像素子の出力信号を受けてデジタル化された複数の画像を生成する信号処理手段と、上記信号処理手段により処理された画像を記憶する記憶手段と、を有して構成されたものであり、
上記ぶれ補正手段は、上記記憶手段に記憶された画像のぶれを補正するものであることをことを特徴とする請求項１に記載の電子的ぶれ補正装置。
【請求項１】
連続して複数の画像を撮影する撮影手段と、
上記画像のぶれを検出するぶれ検出手段と、
上記連続して撮影された複数の画像の内の連続する所定数の画像の全体のぶれ量が予め決められた所定値内になるように、連続撮影の回数を制御する撮影回数制御手段と、
上記撮影回数制御手段の制御に基づき所定回数撮影された複数画像の相互のぶれを補正するぶれ補正手段と、
上記ぶれ補正手段により補正された画像を合成する画像合成手段と、
を具備したことを特徴とする電子的ぶれ補正装置。
【請求項２】
上記撮影手段は、マトリクス状に配列された複数の画素と、該画素により生成された第１画像を保持するレジスタと、を有する撮像素子を含んで構成されたものであり、
上記ぶれ補正手段は、上記画素により生成された第２画像と上記レジスタに保持された第１画像との相対的なぶれを打ち消すように上記第１画像と上記第２画像との相対的な位置を移動させるものであり、
上記画像合成手段は、上記ぶれ補正手段により補正された、上記第１画像と上記第２画像とを合成するものであることを特徴とする請求項１に記載の電子的ぶれ補正装置。
【請求項３】
上記撮影回数制御手段は、上記連続して撮影される複数の画像の全体のぶれ量が予め決められた所定値内になるように、撮影回数を制御するものであることを特徴とする請求項１に記載の電子的ぶれ補正装置。
【請求項４】
上記撮影回数制御手段は、上記連続して撮影される複数の画像の全体の露光時間が、撮影レンズの焦点距離の逆数に予め決められた所定の係数を乗じて得られる露光時間以下になるように、撮影回数を制御するものであることを特徴とする請求項１に記載の電子的ぶれ補正装置。
【請求項５】
上記連続して撮影される画像の数が予め決められた所定数に達しないときに上記画像合成手段により合成された画像を増幅する増幅手段をさらに具備したことを特徴とする請求項２に記載の電子的ぶれ補正装置。
【請求項６】
上記撮像手段は、マトリクス状に配列された複数の画素を有する撮像素子と、この撮像素子の出力信号を受けてデジタル化された複数の画像を生成する信号処理手段と、上記信号処理手段により処理された画像を記憶する記憶手段と、を有して構成されたものであり、
上記ぶれ補正手段は、上記記憶手段に記憶された画像のぶれを補正するものであることをことを特徴とする請求項１に記載の電子的ぶれ補正装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２００７−２２８２９７（Ｐ２００７−２２８２９７Ａ）
【公開日】平成１９年９月６日（２００７．９．６）
【国際特許分類】
【出願番号】特願２００６−４７３６５（Ｐ２００６−４７３６５）
【出願日】平成１８年２月２３日（２００６．２．２３）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成１９年９月６日（２００７．９．６）
【国際特許分類】
【出願日】平成１８年２月２３日（２００６．２．２３）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]