撮像装置、撮像装置の制御方法
【課題】撮影した画像に対するぶれの復元処理に影響されることなく、連続した撮影が可能な撮像技術を提供する。
【解決手段】画像の撮影直後にぶれ量に応じて、復元なしＡ、簡易復元処理Ｂ、本格復元処理Ｃ、復元不可Ｄ、を判別して（ステップＳ２０２〜Ｓ２０４）、各処理を実行するとともに、処理時間の長い本格復元処理Ｃの実行中（ステップＳ２０９〜Ｓ２１２）に次のレリーズ操作（撮影開始）が検出された場合には、ぶれの復元処理を中止して（ステップＳ２１３、Ｓ２１４）、次の撮影動作に移行する。中止された復元処理は、必要に応じて、後の再生時に実行される。
【解決手段】画像の撮影直後にぶれ量に応じて、復元なしＡ、簡易復元処理Ｂ、本格復元処理Ｃ、復元不可Ｄ、を判別して（ステップＳ２０２〜Ｓ２０４）、各処理を実行するとともに、処理時間の長い本格復元処理Ｃの実行中（ステップＳ２０９〜Ｓ２１２）に次のレリーズ操作（撮影開始）が検出された場合には、ぶれの復元処理を中止して（ステップＳ２１３、Ｓ２１４）、次の撮影動作に移行する。中止された復元処理は、必要に応じて、後の再生時に実行される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像技術に関し、たとえば、撮像中の手ぶれを検出してぶれ画像をぶれのない画像に復元する撮像装置および画像復元方法等に適用して有効な技術に関する。
【背景技術】
【０００２】
デジタルカメラ、ビデオカメラなどの撮像装置においては、撮像時の手ぶれによる劣化画像を補正して原画像に近い画像を復元する手ぶれ補正機能が求められている。
たとえば、デジタルカメラ（以下、「カメラ」と適宜略す）においては、静止画などの手ぶれ補正は、角速度センサなどを用いてカメラの手ぶれの軌跡を検出し、検出したぶれ軌跡に基づいて撮像後に所定の画像復元演算（点ひろがり関数（ＰＳＦ：Point Spread Function）を用いる方法など）を行なう技術が知られている（たとえば特許文献１）。
【０００３】
上記のようなぶれ画像をＰＳＦ等の方法に基づいて復元する処理は、撮影直後に連続して自動的に実行する方法が最も簡便で、安価な普及価格帯のカメラには好適である。
しかし、このような普及価格帯のカメラの場合、コスト的な観点からカメラに搭載しうる比較的安価で処理能力の低い処理回路で処理した場合、数秒の処理時間を要し、引き続き撮影を行いたい場合、復元処理と並列的に撮影を実行することは困難である。
【０００４】
この結果、復元処理の完了までの待ち時間のために次のシャッターチャンスをのがすケースが生じる懸念がある、という技術的課題があった。
【特許文献１】特開２００６−２２９３９２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明の目的は、撮影した画像に対するぶれの復元処理に影響されることなく、連続した撮影が可能な撮像技術を提供することにある。
本発明の他の目的は、簡便かつ自動的にぶれの画像復元が実行され、しかもシャッターチャンスを逃さない撮像技術を提供することにある。
【０００６】
本発明の他の目的は、撮影した画像に対するぶれの復元処理機能を備えた撮像装置の操作性を向上させる技術を提供することにある。
【課題を解決するための手段】
【０００７】
本発明の第１の観点は、被写体の画像データを取得する撮像素子と、
ぶれ検出手段と、
前記ぶれ検出手段の出力に基づき前記撮像素子の露光動作中の前記ぶれの軌跡に関するぶれ軌跡情報を求める演算手段と、
前記撮像素子が取得した画像データを前記ぶれ軌跡情報に基づき劣化がない画像データへ復元する復元手段と、
前記復元手段により復元された画像データを記憶する記憶媒体と、
前記撮像素子に露光動作を実行させて前記画像データを取得し、この画像データを前記復元手段により復元させた後、前記記憶媒体に記憶する制御手段と、
を含み、
前記制御手段は、前記復元手段による復元動作の実行中に前記撮像素子の露光開始操作を検出すると、当該復元動作を中止して前記撮像素子の露光動作を実行させる制御論理を備えた撮像装置を提供する。
【０００８】
本発明の第２の観点は、第１の観点に記載の撮像装置において、
前記制御手段の前記制御論理は、前記復元動作を中止して露光動作を行う際には、復元前の前記画像データと共に前記ぶれ軌跡情報を前記記憶媒体へ記憶する撮像装置を提供する。
【０００９】
本発明の第３の観点は、第１の観点に記載の撮像装置において、
前記制御手段の前記制御論理は、前記記憶媒体から復元動作を中止した前記画像データと、当該画像データに関する前記ぶれ軌跡情報を読み出し、前記復元手段により当該画像データを復元した後、前記記憶媒体に再度記録する動作を、前記撮像素子の露光動作の終了後の所定のタイミングで実施する撮像装置を提供する。
【００１０】
本発明の第４の観点は、被写体の画像データを取得する撮像素子と、
ぶれ検出手段と、
前記ぶれ検出手段の出力に基づき前記撮像素子の露光動作中の前記ぶれの軌跡に関するぶれ軌跡情報を求める演算手段と、
前記撮像素子が取得した画像データを前記ぶれ軌跡情報に基づき互いに所要時間の異なる第１処理および第２処理の少なくとも一方を実行して劣化がない画像データへ復元する復元手段と、
前記復元手段により復元された前記画像データを記憶する記憶媒体と、
前記撮像素子に露光動作を実行させて前記画像データを取得し、当該画像データを前記復元手段により復元させた後、前記記憶媒体に記憶する制御手段と、
を含み、
前記制御手段は、前記復元手段による第２処理を用いた復元動作の実行中に前記撮像素子への露光開始操作を検出すると、前記復元手段による前記第２処理を止めて前記第１処理を実行させる制御論理を備えた撮像装置を提供する。
【００１１】
本発明の第５の観点は、第４の観点に記載の撮像装置において、
前記復元手段が前記画像データの復元動作に要する時間は、前記第１処理の実行時間が前記第２処理の実行時間に比べて短い撮像装置を提供する。
【００１２】
本発明の第６の観点は、第４の観点に記載の撮像装置において、
前記第１処理を用いた復元動作においては、前記画像データのエッジ強調処理が行われ、前記第２処理を用いた復元動作においては、前記ぶれ軌跡情報に基づいて点ひろがり関数の逆関数を計算して前記画像データの復元処理が行われる撮像装置を提供する。
【００１３】
本発明の第７の観点は、被写体の画像データを取得する撮像素子と、
ぶれ検出手段と、
前記ぶれ検出手段の出力に基づき前記撮像素子の露光動作中の前記ぶれの軌跡に関するぶれ軌跡情報を求める演算手段と、
前記撮像素子が取得した画像データを前記ぶれ軌跡情報に基づき互いに所要時間の異なる第１処理および第２処理の少なくとも一方を実行して劣化がない画像データへ復元する復元手段と、
前記復元手段により復元された画像データを記憶する記憶媒体と、
前記撮像素子に露光動作を実行させて画像データを取得し、この画像データを前記復元手段により復元させた後、前記記憶媒体に記憶する制御手段と、
を含み、
前記制御手段は、前記復元手段による前記第２処理を用いた復元動作の実行中に前記撮像素子への露光開始操作を検出すると、実行中の前記復元動作の経過時間が所定時間を経過しているならば前記復元手段に実行中の前記復元動作を継続させ、前記経過時間が所定時間未満ならば実行中の前記復元動作を止めさせて前記第１処理を用いた復元動作を実行させる制御論理を備えた撮像装置を提供する。
【００１４】
本発明の第８の観点は、第７の観点に記載の撮像装置において、
前記復元手段が画像データの復元動作に要する時間は、前記第１処理の実行時間が前記第２処理の実行時間に比べて短い撮像装置を提供する。
【００１５】
本発明の第９の観点は、第７の観点に記載の撮像装置において、
前記第１処理を用いた復元動作においては、前記画像データのエッジ強調処理が行われ、前記第２処理を用いた復元動作においては、前記ぶれ軌跡情報に基づいて点ひろがり関数の逆関数を計算して前記画像データが復元される撮像装置を提供する。
【００１６】
本発明の第１０の観点は、被写体の画像データを取得する撮像素子と、
ぶれ検出手段と、
前記ぶれ検出手段の出力に基づき前記撮像素子の露光動作中の前記ぶれの軌跡に関するぶれ軌跡情報を求める演算手段と、
前記撮像素子が取得した画像データを前記ぶれ軌跡情報に基づき劣化がない画像データへ復元する復元手段と、
前記復元手段により復元された画像データを記憶する記憶媒体と、
前記撮像素子に露光動作を実行させて画像データを取得し、この画像データを前記復元手段により復元させた後、前記記憶媒体に記憶する制御手段と、
前記記憶媒体から画像データを読み出して再生する再生手段と、
を有し、
前記制御手段は、前記復元手段による復元動作の実行中に前記撮像素子の露光開始操作を検出すると、当該復元動作を中止し、復元されていない前記画像データと共に前記ぶれ軌跡情報を前記記憶媒体へ記録後、前記撮像素子の露光動作を行い、
前記再生手段は、前記記録媒体から復元されていない前記画像データを読み出すとき、当該画像データの前記ぶれ軌跡情報に基づき前記復元手段に当該画像データの復元動作を実行させ、復元された画像データを再び前記記録媒体へ記録する撮像装置を提供する。
【００１７】
本発明の第１１の観点は、被写体からの画像データの取得および前記画像データにおけるぶれの復元処理を連続して行う第１ステップと、
前記復元処理の実行中に次の画像データの露光開始操作が検出された場合に、当該復元処理を中止して、次の露光動作に移行する第２ステップと、
を含む撮像装置の制御方法を提供する。
【００１８】
本発明の第１２の観点は、第１０の観点に記載の撮像装置の制御方法において、
前記第２ステップでは、前記復元動作を中止して次の露光動作を行う際には、復元前の前記画像データと共に、当該復元動作において用いられたぶれ軌跡情報を前記記憶媒体へ記憶する撮像装置の制御方法を提供する。
【００１９】
本発明の第１３の観点は、第１２の観点に記載の撮像装置の制御方法において、
さらに、前記記憶媒体から復元動作を中止した前記画像データと、当該画像データに関する前記ぶれ軌跡情報を読み出し、前記復元手段により当該画像データを復元した後、前記記憶媒体に再度記録する動作を、前記露光動作の終了後の所定のタイミングで実施する第３ステップを含む撮像装置の制御方法を提供する。
【００２０】
本発明の第１４の観点は、被写体からの画像データの取得および前記画像データにおけるぶれの復元処理を連続して行う第１ステップと、
前記復元処理の実行中に次の画像データの露光開始操作が検出された場合に、前記復元処理を、互いに異なる第１処理と第２処理との間で切り替える第２ステップと、
を含む撮像装置の制御方法を提供する。
【００２１】
本発明の第１５の観点は、第１４の観点に記載の撮像装置の制御方法において、
前記第１処理による前記画像データの復元動作の実行時間が、前記第２処理による前記画像データの復元動作の実行時間に比べて短く、
前記第２ステップでは、実行時間の長い前記第２処理から、実時間の短い前記第１処理に切り替える撮像装置の制御方法を提供する。
【００２２】
本発明の第１６の観点は、第１４の観点に記載の撮像装置の制御方法において、
前記第１処理を用いた復元動作においては、前記画像データのエッジ強調処理が行われ、前記第２処理を用いた復元動作においては、前記ぶれ軌跡情報に基づいて点ひろがり関数の逆関数を計算して前記画像データが復元される撮像装置の制御方法を提供する。
【００２３】
上記した本発明の撮像装置およびその制御方法によれば、ぶれの画像復元中のレリーズにも対応でき、シャッターチャンスを逃すことがない。
また、シャッターチャンスを逃さずに、かつ後ほど前の画像の復元処理ができる。
【００２４】
また、撮影後の画像復元自体を短時間の方法で行うので、シャッターチャンスを逃さず、あとで再度処理を行うことが不要である。
また、ユーザが特に操作を行わなくても、レリーズタイムラグに影響のない再生時に復元処理を実行でき、レリーズタイムラグを少なくしかつ画像確認までに間に自動的に手ぶれが除去された画像を得られる。
【発明の効果】
【００２５】
本発明によれば、撮影した画像に対するぶれの復元処理に影響されることなく、連続した撮影が可能な撮像技術を提供することができる。
また、簡便かつ自動的にぶれの画像復元が実行され、しかもシャッターチャンスを逃さない撮像技術を提供することができる。
【００２６】
また、撮影した画像に対するぶれの復元処理機能を備えた撮像装置の操作性を向上させる技術を提供することができる。
【発明を実施するための最良の形態】
【００２７】
以下、図面を参照しながら、本発明の実施の形態について詳細に説明する。
＜第１実施の形態＞
図１Ａは、本発明の一実施の形態である撮像装置としてのデジタルカメラの正面側の斜視図であり、図１Ｂは、その背面側の斜視図である。
【００２８】
本実施の形態のデジタルカメラ１０は、カメラ本体１、レンズ鏡筒２、レリーズボタン３、ズームスイッチ４、パワースイッチ５、ビルトインフラッシュ６、背面ＬＣＤパネル７、十字キー８を備えている。
【００２９】
カメラ本体１の正面側にはズーミング可能なレンズ鏡筒２が設けられ、背面側には、背面ＬＣＤパネル７が設けられている。
カメラ本体１の上部に配置されたレリーズボタン３は、半押しと全押しを検知可能な２段スイッチであり、半押しで半押しスイッチ３ａ（ＲＳＷ１）がＯＮし、全押しで全押しスイッチ３ｂ（ＲＳＷ２）がＯＮする。
【００３０】
ズームスイッチ４は、ズームスイッチ・テレ４−１、ズームスイッチ・ワイド４−２からなる。ズームスイッチ・テレ４−１のＴＳＷを押すとレンズは電動駆動でテレ（望遠）状態に移行し、ズームスイッチ・ワイド４−２のＷＳＷを押すとレンズはワイド（広画角）状態に移行する。
【００３１】
パワースイッチ５は、デジタルカメラ１０の電源のＯＮ／ＯＦＦを切り替える。
ビルトインフラッシュ６は、カメラ本体１の正面側に配置され、図示しない被写体に対する補助照明として発光可能である。
【００３２】
背面ＬＣＤパネル７は、レンズ鏡筒２から見えるスルー画を表示したり、撮像画を表示させたり、十字キー８の操作で設定される各種のメニューを表示する。
十字キー８はカメラ本体１の背面側に背面ＬＣＤパネル７の近傍に配置されている。十字キー８は、上下左右の４方向の矢印キー、および中央の決定キーの５つのキーで構成され、たとえば、中央の決定キーでメニューを開いた後、矢印キーを操作して各種設定をすることが可能である。
【００３３】
カメラ本体１の内部には、角速度センサー１０１および角速度センサー１０２が実装されている。これらの角速度センサー１０１、角速度センサー１０２は、カメラ本体１（レンズ鏡筒２）のＸ軸周り、およびＹ軸周りの方向の角速度を検出する。すなわち、この角速度センサー１０１、角速度センサー１０２は、カメラに生じたぶれを検出するための手段である。
【００３４】
図２は、本実施の形態の撮像装置としてのデジタルカメラ１０の制御回路部の構成の一例を示すブロック図である。
本実施の形態のデジタルカメラ１０の制御回路部は、アナログ処理回路１０３、ＡＤ変換回路１０４、基本軌跡演算回路１０５、軌跡メモリ回路１０６、手ぶれ復元関数算出回路１０７、手ぶれ復元処理回路１０８、撮像素子１０９、撮像素子出力処理回路１１０、画像メモリ１１１、画像処理回路１１２、画像圧縮伸長回路１１３、画像記録媒体１１４、シーケンスコントローラ１１５、ＬＣＤドライバ１１６、バッテリ１１８、電源回路１１９、モータドライバ回路１２０、ズームモータ１２１、フォーカスモータ１２２、シャッタモータ１２３、絞りモータ１２４、を含んでいる。
【００３５】
角速度センサー１０１と角速度センサー１０２の出力はアナログ処理回路１０３で増幅され、ＡＤ変換回路１０４でデジタル信号に変換される。
基本軌跡演算回路１０５は、シャッタ開の時間内のＡＤ変換回路１０４の出力と、ズーム状態を示すデータに基づいて、撮像素子１０９上のぶれの軌跡を算出する。そしてこれを一時的に軌跡メモリ回路１０６内に記憶しておく。
【００３６】
撮像素子１０９はＭＯＳセンサーやＣＣＤセンサーなどの撮像素子である。この撮像素子１０９で取得された画像データは撮像素子出力処理回路１１０で画像信号として処理された後、画像メモリ１１１に記憶される。この画像メモリ１１１に格納された画像データは非圧縮の状態であり、手ぶれによる画像劣化の復元演算に適している。
【００３７】
手ぶれ復元関数算出回路１０７は、軌跡メモリ回路１０６内のデータに基づいて、点広がり関数（ＰＳＦ：Point Spread Function）を算出し、画像を復元するための、前記点広がり関数の逆関数を算出する。
【００３８】
手ぶれ復元処理回路１０８は手ぶれ復元関数算出回路１０７で算出された復元関数を画像メモリ１１１内の撮影画像データに作用させて手ぶれ復元処理を行う。
画像処理回路１１２は、画像に対して設定されたパラメータで最適化する処理を行う。
【００３９】
画像圧縮伸長回路１１３は、画像処理回路１１２で最適化された画像を圧縮して画像記録媒体１１４への保存に適した形にする処理、および画像記録媒体１１４からの読み出し画像を展開して再処理できるようにする処理を行う。
【００４０】
画像記録媒体１１４はフラッシュメモリカードなどの画像記録媒体である。
シーケンスコントローラ１１５は、たとえばマイクロプロセッサで構成され、本実施の形態のデジタルカメラ１０の各部の状態を把握して、各回路に対して動作指示を出す。また、ＡＤ変換回路１０４の出力を直接読み込み可能で、レリーズボタン３の押下時のぶれの量を検出可能である。
【００４１】
また、シーケンスコントローラ１１５には、レリーズボタン３（半押しスイッチ３ａ、全押しスイッチ３ｂ）、ズームスイッチ４（ズームスイッチ・テレ４−１、ズームスイッチ・ワイド４−２）、パワースイッチ５、十字キー８、等から、各スイッチやキーのＯＮ／ＯＦＦ等の操作信号が入力される。
【００４２】
この場合、シーケンスコントローラ１１５は、後述のような所定のプログラム線に基づき設定される撮像素子１０９の露光時間と当該撮像素子１０９の露光前に基本軌跡演算回路１０５の検出するぶれ情報とから当該露光時間で露光した際に発生するぶれ量を予測する予測機能と、この予測機能の予測したぶれ量が所定の値以上の時は、プログラム線に基づき設定された露光時間を変更する変更機能と、を実現する制御論理１１５ａを備えている。
【００４３】
また、この制御論理１１５ａは、手ぶれ復元関数算出回路１０７や手ぶれ復元処理回路１０８等の復元手段による復元動作の実行中に撮像素子１０９の露光開始操作を検出すると、当該復元動作を中止して撮像素子１０９の露光動作を実行させる機能を実現する。
【００４４】
また、制御論理１１５ａは、復元動作を中止して撮像素子１０９の露光動作を行わせる際には、復元前の画像データと共にぶれ軌跡情報を画像メモリ１１１や画像記録媒体１１４へ記憶する動作を行う。
【００４５】
また、制御論理１１５ａは、画像記録媒体１１４から復元動作を中止した画像データと、当該画像データに関する前記ぶれ軌跡情報を読み出し、手ぶれ復元関数算出回路１０７または手ぶれ復元処理回路１０８により当該画像データを復元した後、画像記録媒体１１４に再び記録する動作を、撮像素子１０９の露光動作の終了後の所定のタイミングで実施する機能を備えている。
【００４６】
この制御論理１１５ａは、シーケンスコントローラ１１５の備えるソフトウェアやハードウェアにて実現される。
ＬＣＤドライバ１１６は、画像データを背面ＬＣＤパネル７に出力し、表示させる。
【００４７】
バッテリ１１８は電池などの電源からなる。電源回路１１９は、バッテリ１１８からの電力を各部に適した電源に変換し供給する。
モータドライバ回路１２０は、シーケンスコントローラ１１５によって制御され、たとえば、ズームモータ１２１、フォーカスモータ１２２、シャッタモータ１２３、絞りモータ１２４に動作電力を供給する。
【００４８】
次に、本実施の形態のデジタルカメラ１０の、撮影時の動作について説明する。
図３は、本実施の形態のデジタルカメラ１０の画像復元処理の一例を示すフローチャートである。
【００４９】
この画像復元は、デジタルカメラ１０で撮影した後、記録媒体に記録される前に実行される。または一度ぶれの軌跡データとともに画像記録媒体１１４に記録された画像を読み出し、伸長したあとにも実行可能である。
【００５０】
画像復元処理が開始されると（ステップＳ２０１）、まず、ぶれの軌跡の絶対値が閾値Ｐ０のレベル以下か否かを見る（ステップＳ２０２）。ぶれが閾値Ｐ０のレベル以下であれば、ぶれは撮影画像に影響を与えていないと判断し、復元処理を実行しない（復元なしＡ）（ステップＳ２０７）。
【００５１】
ステップＳ２０２でぶれが閾値Ｐ０以上の場合、ステップＳ２０３で閾値Ｐ１以上か否かを見る。ここでぶれが閾値Ｐ１以下の場合は、簡易復元処理（簡易復元処理Ｂ）（第１処理）を実行する（ステップＳ２０８）。この簡易復元処理Ｂは、本格的な復元演算ではなく、エッジ強調処理を中心とした処理であり、高速化と、復元処理による副作用の防止を実現する。
【００５２】
ステップＳ２０３で閾値Ｐ１以上の場合、ぶれ量が閾値Ｐ３をこえているか否をみる（ステップＳ２０４）。ここで閾値Ｐ３は復元演算が対応できる限界値であり、この閾値Ｐ３をこえた場合には、復元処理を実行しても画像の改善は見込めないため、復元不可（ぶれ大）の警告表示を実行して復元処理を行わない（復元不可Ｄ）（ステップＳ２０５）。
【００５３】
一方、ステップＳ２０４で閾値Ｐ３以下の場合はＰＳＦ（Point Spread Function）に基づいた本格的な復元演算処理（本格復元処理Ｃ）（第２処理）を開始する（ステップＳ２０９）。
【００５４】
ここで、復元演算処理の効果と、処理時間について説明する。
図４を参照して、上述の復元なしＡ、簡易復元処理Ｂ、本格復元処理Ｃ、復元不可Ｄの四通りの復元処理の効果について説明する。
【００５５】
図４は、たとえば７００万画素の撮像素子１０９を用いたデジタルカメラ１０の例である。
上記の閾値Ｐ０，閾値Ｐ１，閾値Ｐ２，閾値Ｐ３の量は、例えばそれぞれ３，６，２０，３０ピクセルとなっている。この数値は、撮像素子１０９のサイズや画素数、処理回路の能力により適宜設定される。
【００５６】
図４は横軸にぶれの軌跡の絶対値を、縦軸に２Ｌサイズのプリントで見た場合の、人の感覚による画像の良否（ＯＫ／ＮＧ）の判断（官能評価）の比率を示す線図である。
ぶれ画像の、ＰＳＦによる復元演算は、図４のように所定量までは良好に働いているが、ある量（この場合、閾値Ｐ２付近）を超えると急激にその効果が低下する。これは、ぶれ量が大きくなるとぶれ検出や演算の誤差の影響が大きくなり、正確に復元できないばかりか、復元処理による演算の副作用が目立つため、官能評価的に見ると画像が悪化して見えるためである。このため、たとえば撮影画像そのものが閾値Ｐ２以下のぶれ量に抑えられれば、ぶれ画像復元は有効に働くことになる。
【００５７】
図５は、上記画像復元を含む、撮影後の処理時間を示す図である。
復元処理を行わない復元なしＡの場合は、圧縮や、画像記録媒体１１４への書き込み時間が所要時間になるので、もっとも短い。また、簡易復元処理Ｂも、それについで短い時間になる。
【００５８】
一方、本格復元処理Ｃになった場合は、処理時間が大きくなる。しかも、処理対象の画像のぶれ量が大きいと演算が複雑化するので、より長い時間が必要になる。同じ本格復元処理Ｃであっても、閾値Ｐ２をこえるとその処理時間はより増大する。
【００５９】
ふたたび図３のフローチャートに戻って、ステップＳ２０９で開始された本格復元処理Ｃについて説明する。
ステップＳ２１０で本格復元処理Ｃを継続しつつ、この処理中にステップＳ２１１にて、次の撮影のためのレリーズボタン３の操作（２ｎｄレリーズ）がなされたかを監視する。ここでレリーズボタン３の操作が検出されればステップＳ２１３に進み、画像復元処理を中止し、処理および処理中の中間データをクリアし（ステップＳ２１４）、終了する（ステップＳ２０６）。
【００６０】
ステップＳ２１１でレリーズがない場合は、ステップＳ２１２で画像復元処理が終了したか否かを確認し、終了していなければステップＳ２１０にもどって処理を継続し、終了していれば、画像復元処理を終了する（ステップＳ２０６）。
【００６１】
図６は、本実施の形態のデジタルカメラ１０のレリーズ時の処理の一例を示すフローチャートである。
レリーズボタン３を半押しして半押しスイッチ３ａ（ＲＳＷ１）がＯＮすると（ステップＳ３０１）、自動焦点制御（ＡＦ），自動露光制御（ＡＥ）は実行され（ステップＳ３０２）、ピントが固定されるとともに露出が仮決定される（ステップＳ３０３）。ここでは、露出決定のプログラム線図の中で、基本となるラインに沿って撮像素子１０９のＩＳＯ感度、絞り、シャッタ速度が決定されるが、これはぶれが小さいときを想定して画質優先で各定数を決定している。
【００６２】
図７は、このプログラム線図の一例を示したものである。たとえば、このプログラム線図を備えたカメラの場合、望遠状態（ズームスイッチ・テレ４−１がＯＮ）の場合はｔｅｌｅで示されたプログラム線Ｌ１にて、また広角端（ズームスイッチ・ワイド４−２がＯＮ）ではｗｉｄｅで示されたプログラム線Ｌ２にて、露出の設定が決まる。
【００６３】
図６に戻って、ステップＳ３０３で露出が仮決定した後、反復してぶれ量をシーケンスコントローラ１１５がモニタしつつ（ステップＳ３０４）、レリーズボタン３が全押しされるのを待つ（ステップＳ３０５）。ここでレリーズボタン３が全押しされ、全押しスイッチ３ｂ（ＲＳＷ２）がＯＮしたことを検知すると、その直前のぶれの角速度、ズームの状態、およびステップＳ３０３で仮決定された露出のシャッタ速度Ｔ０を用いて、Ｔ０時間内の予測ぶれ量を算出する（ステップＳ３０６）。
【００６４】
ステップＳ３０６にて、予測ぶれ量が閾値Ｐ２以下の場合（ステップＳ３０７）は、そのままのシャッタ速度で露出を実行する（ステップＳ３０９）。
一方、ステップＳ３０７でぶれが閾値Ｐ２を越えると予測された場合は、ステップＳ３０３で用いた被写体輝度と同一の被写体輝度で、シャッタを高速化して撮影できるように、撮影感度をアップさせることにより、閾値Ｐ２と同等以下になるようなシャッタ速度Ｔ１を算出する。
【００６５】
ステップＳ３０８でのプログラム線図は図７に記載されている。図７中のｔｅｌｅ Ｈ−ｌｉｍｉｔ（プログラム線Ｌ３）およびｗｉｄｅ Ｈ−ｌｉｍｉｔ（プログラム線Ｌ４）を上限として、撮像素子１０９のＩＳＯ感度アップによりぶれ量が閾値Ｐ２以下になるシャッタ速度Ｔ１を決定する。仮に、上限までアップさせても閾値Ｐ２以下にならない場合は、上限のＩＳＯ感度でシャッタ速度Ｔ１を決定する。
【００６６】
上記のようにしてシャッタ速度Ｔ１を決定することにより、電子手ぶれ補正の効果が発揮できるブレ量に抑えるようにしている。
再び図６のフローチャートに戻って、以上で露出値が最終的に決定したので、それにて撮像素子１０９の露光動作を行い（ステップＳ３０９）、撮像素子１０９から画像を読み出す（ステップＳ３１０）。
【００６７】
その後、画像復元演算に移行し（ステップＳ３１１）、上述の図３のフローチャートで説明した内容の画像復元処理を実行する。
このステップＳ３１１の画像復元処理から抜けた際、ステップＳ３１２にて、復元演算の途中でレリーズ操作によって復元処理を中止して画像復元処理から抜けたのか否かを確認する。
【００６８】
復元処理を途中中止した場合は復元前の画像データをもとに画像圧縮処理を実施し（ステップＳ３２１）、復元演算中止フラグをセットして、画像記録媒体１１４に画像データとセットで書き込み（ステップＳ３２２）、画像記録媒体１１４にぶれ軌跡データを書き込んで（ステップＳ３２３）、画像記録媒体１１４に画像データを書き込む（ステップＳ３２４）。その後、直ちに次の撮影動作に移行する（ステップＳ３２５）。具体的には、このステップＳ３２５では、上述のステップＳ３０１以下の処理に移行する。
【００６９】
ステップＳ３１２で、復元演算中に復元処理を中止していない場合は、復元処理後の画像を画像圧縮処理し（ステップＳ３１３）、画像記録媒体１１４に書き込む（ステップＳ３１４）。
【００７０】
次に、図８のフローチャートを参照して、本実施の形態のデジタルカメラ１０での画像データの再生動作、すなわち画像を背面ＬＣＤパネル７に表示する動作について説明する。
【００７１】
たとえば、十字キー８等に適宜割り当てられた図示しない再生ボタンを押して再生モードに入ると（ステップＳ４０１）、まず、画像記録媒体１１４から読み出された当該画像が復元を途中停止した画像か否かを確認する（ステップＳ４０２）。これは、上述の図３のステップＳ３２２でのべた、復元演算中止フラグが当該画像に付随して書き込まれているかを見ればよい。
【００７２】
復元中止画像でなければ、そのまま画像を背面ＬＣＤパネル７に表示する（ステップＳ４０７）。
一方、ステップＳ４０３で復元中止画像であった場合は、一緒に記録されているぶれ軌跡データに基づいて、ぶれの画像復元演算を実行し（ステップＳ４０３）、画像を背面ＬＣＤパネル７に再生表示した後（ステップＳ４０４）、復元画像を画像記録媒体１１４に上書き記録する（ステップＳ４０５）。そして、当該画像とセットに記録されていた復元演算中止フラグをクリアする（ステップＳ４０６）。
【００７３】
なお、本実施の形態１の変形例として、上述の復元演算中止フラグを、画像記録媒体１１４に記録されている全画像についてチェックし、任意の画像の背面ＬＣＤパネル７への再生表示時に、再生中の当該画像以外であっても復元演算を中止した画像があればその画像の復元処理を、シーケンスコントローラ１１５がバックグラウンドで実行する方法が考えられる。
【００７４】
この方法によれば、再生する画像以外であっても再生時に復元処理ができ、その画像を再生しない場合であっても、復元処理が実行されることになる。
本実施の形態１のデジタルカメラ１０によれば、画像復元演算中にレリーズ操作が発生しても、画像復元演算の待ち時間のために次のシャッターチャンスを逃すことがなく速やかに次の撮影に移行することが可能である。
【００７５】
すなわち、撮影した画像に対するぶれの復元処理に影響されることなく、連続した撮影が可能となる。
また、復元演算中のデータをクリアして次の撮影に移行するため、デジタルカメラ１０内の処理用の画像メモリ１１１等のメモリ資源が解放され、次の撮影画像の取り込みや処理が容易である。
【００７６】
また、復元演算前の画像、ぶれ軌跡データ、復元演算中止フラグにもとづいて、シャッターチャンスのような即時性を要求されない背面ＬＣＤパネル７等への再生時に復元演算を実行するため、手ぶれの復元処理が後追いではあるが実行でき、また、後追いの復元処理が自動で行われるため、ユーザの操作で行う場合に比べて簡便に行うことができる。
【００７７】
すなわち、簡便かつ自動的にぶれの画像復元が実行され、しかもシャッターチャンスを逃さない撮像技術を提供することができる。
また、本実施の形態１の上述の変形例においては、画像記録媒体１１４に記録された複数の画像の何れかが復元演算を中止したものであれば、それについて自動的に復元演算を行うため、背面ＬＣＤパネル７等に表示される再生画像のみに対しておこなうよりもさらに便利である。
【００７８】
すなわち、撮影した画像に対するぶれの復元処理機能を備えた撮像装置の操作性を向上させることができる。
＜第２実施の形態＞
次に、本発明の第２実施の形態であるデジタルカメラについて説明する。
【００７９】
この第２実施の形態は、デジタルカメラ１０の構成や主な動作は第１実施の形態と同様であるが、ぶれの画像復元演算中にレリーズ操作があった場合、そのまま続行する方が早いか、短時間ですむ簡易処理に切り替えたほうが早いかをシーケンスコントローラ１１５の制御論理１１５ａが判断し、いずれかを実行し、連続撮影におけるタイムラグを少なくする点が異なっている。
【００８０】
図９は、この実施の形態２のデジタルカメラ１０の画像復元処理の一例を示すフローチャートである。
上述の図３のフローチャートと同一の処理について同一の符号を付して重複した説明を割愛し、異なっている部分を説明する。
【００８１】
ステップＳ２０９で本格復元処理Ｃを開始し、この処理を継続しているときに（ステップＳ２１０）、再びレリーズ操作が検出されたら（ステップＳ２１１）、復元処理の進行状況をみて、処理を継続したほうがよいか、それともそれまでの処理を破棄して短時間で処理が可能な簡易復元処理Ｂに移行すべきかを判断する（ステップＳ２２１）。すなわち、現在の本格復元処理Ｃの処理の経過時間≦既定値の場合には、現在の本格復元処理Ｃを続行した方が早く終了すると判断する場合は処理を実行する。
【００８２】
より具体的には、一例として、現在実行中の本格復元処理Ｃの残り所要時間ｔｒＣ（すなわち、現時点から本格復元処理Ｃの完了までの時間）と、簡易復元処理Ｂの予測される所要時間ｔＢを比較し、ｔｒＣ≦ｔＢの場合には、すなわち、現在の本格復元処理Ｃを続行した方が早く終了すると判断する場合は処理を実行する。
【００８３】
一方、ステップＳ２２１で処理を切り替えた方が早いと判定された場合（ｔｒＣ＞ｔＢ）は、現在の本格復元処理Ｃを中止して処理中のデータをクリアし（ステップＳ２２２）、簡易復元処理Ｂに移行して、再度処理を開始する（ステップＳ２０８）。
【００８４】
図１０は、本実施の形態２のデジタルカメラ１０の、レリーズ操作時の処理の一例を示すフローチャートである。なお、上述の図６と同一の処理には同一の符号を付して重複した説明は割愛する。
【００８５】
この図１０は、上述の図６のフローチャートと類似であるが、画像復元処理中にレリーズ操作が発生した場合においても簡易復元処理Ｂまたは本格復元処理Ｃのいずれかの復元処理がすでに実行されているので、復元演算中止フラグや、ぶれ軌跡データを記録媒体に書きこまない点が異なっている。
【００８６】
すなわち、この図１０のフローチャートでは、上述の図６のフローチャートのステップＳ３１２、およびステップＳ３２１〜Ｓ３２５の処理が省略されている。
本実施の形態２のデジタルカメラ１０によれば、画像復元中にレリーズ操作が発生しても、いずれかの画像復元処理が実行されているため、後で画像を処理する手間や時間が不要である。
【００８７】
特に、上述の実施の形態１よりも背面ＬＣＤパネル７への再生時のレスポンスを重視する場合に、再生時の負担が少ないという利点がある。
なお、上述の各実施の形態において、露出・シャッタ速度をレリーズボタン３の半押しスイッチ３ａ（ＲＳＷ１）に応答して仮決定した後、全押しスイッチ３ｂ（ＲＳＷ２）がＯＮされた際に、そのときのぶれの状態によって再び変更する動作（図６および図１０のフローチャートにおけるステップＳ３０４〜Ｓ３０８の処理）は必須ではなく、処理能力の低いプロセッサなどをシーケンスコントローラ１１５として用いる場合は、当該動作を省略してもよい。
【００８８】
なお、本発明は、上述の実施の形態に例示した構成に限らず、その趣旨を逸脱しない範囲で種々変更可能であることは言うまでもない。
【図面の簡単な説明】
【００８９】
【図１Ａ】本発明の一実施の形態である撮像装置としてのデジタルカメラの正面側の斜視図である。
【図１Ｂ】その背面側の斜視図である。
【図２】本発明の一実施の形態である撮像装置としてのデジタルカメラの制御回路部の構成の一例を示すブロック図である。
【図３】本発明の一実施の形態であるデジタルカメラの画像復元処理の一例を示すフローチャートである。
【図４】画像のぶれ量と復元処理の効果の関係の一例を示す線図である。
【図５】画像のぶれ量と復元処理の所要時間の関係の一例を示す線図である。
【図６】本発明の一実施の形態であるデジタルカメラのレリーズ時の処理の一例を示すフローチャートである。
【図７】本発明の一実施の形態であるデジタルカメラに備えられたプログラム線図である。
【図８】本発明の一実施の形態であるデジタルカメラでの画像データの再生動作の一例を示すフローチャートである。
【図９】本発明の他の実施の形態であるデジタルカメラの画像復元処理の一例を示すフローチャートである。
【図１０】本発明の他の実施の形態であるデジタルカメラのレリーズ操作時の処理の一例を示すフローチャートである。
【符号の説明】
【００９０】
１ カメラ本体
２ レンズ鏡筒
３ レリーズボタン
３ａ 半押しスイッチ
３ｂ 全押しスイッチ
４ ズームスイッチ
４−１ ズームスイッチ・テレ
４−２ ズームスイッチ・ワイド
５ パワースイッチ
６ ビルトインフラッシュ
７ 背面ＬＣＤパネル
８ 十字キー
１０ デジタルカメラ
１０１ 角速度センサー
１０２ 角速度センサー
１０３ アナログ処理回路
１０４ ＡＤ変換回路
１０５ 基本軌跡演算回路
１０６ 軌跡メモリ回路
１０７ 手ぶれ復元関数算出回路
１０８ 手ぶれ復元処理回路
１０９ 撮像素子
１１０ 撮像素子出力処理回路
１１１ 画像メモリ
１１２ 画像処理回路
１１３ 画像圧縮伸長回路
１１４ 画像記録媒体
１１５ シーケンスコントローラ
１１５ａ 制御論理
１１６ ＬＣＤドライバ
１１８ バッテリ
１１９ 電源回路
１２０ モータドライバ回路
１２１ ズームモータ
１２２ フォーカスモータ
１２３ シャッタモータ
１２４ 絞りモータ
Ａ 復元なし
Ｂ 簡易復元処理
Ｃ 本格復元処理
Ｄ 復元不可
Ｌ１ プログラム線
Ｌ２ プログラム線
Ｌ３ プログラム線
Ｌ４ プログラム線
Ｐ０ 閾値
Ｐ１ 閾値
Ｐ２ 閾値
Ｐ３ 閾値
ｔＢ 簡易復元処理Ｂの所要時間
ｔｒＣ 本格復元処理Ｃの残り所要時間
【技術分野】
【０００１】
本発明は、撮像技術に関し、たとえば、撮像中の手ぶれを検出してぶれ画像をぶれのない画像に復元する撮像装置および画像復元方法等に適用して有効な技術に関する。
【背景技術】
【０００２】
デジタルカメラ、ビデオカメラなどの撮像装置においては、撮像時の手ぶれによる劣化画像を補正して原画像に近い画像を復元する手ぶれ補正機能が求められている。
たとえば、デジタルカメラ（以下、「カメラ」と適宜略す）においては、静止画などの手ぶれ補正は、角速度センサなどを用いてカメラの手ぶれの軌跡を検出し、検出したぶれ軌跡に基づいて撮像後に所定の画像復元演算（点ひろがり関数（ＰＳＦ：Point Spread Function）を用いる方法など）を行なう技術が知られている（たとえば特許文献１）。
【０００３】
上記のようなぶれ画像をＰＳＦ等の方法に基づいて復元する処理は、撮影直後に連続して自動的に実行する方法が最も簡便で、安価な普及価格帯のカメラには好適である。
しかし、このような普及価格帯のカメラの場合、コスト的な観点からカメラに搭載しうる比較的安価で処理能力の低い処理回路で処理した場合、数秒の処理時間を要し、引き続き撮影を行いたい場合、復元処理と並列的に撮影を実行することは困難である。
【０００４】
この結果、復元処理の完了までの待ち時間のために次のシャッターチャンスをのがすケースが生じる懸念がある、という技術的課題があった。
【特許文献１】特開２００６−２２９３９２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明の目的は、撮影した画像に対するぶれの復元処理に影響されることなく、連続した撮影が可能な撮像技術を提供することにある。
本発明の他の目的は、簡便かつ自動的にぶれの画像復元が実行され、しかもシャッターチャンスを逃さない撮像技術を提供することにある。
【０００６】
本発明の他の目的は、撮影した画像に対するぶれの復元処理機能を備えた撮像装置の操作性を向上させる技術を提供することにある。
【課題を解決するための手段】
【０００７】
本発明の第１の観点は、被写体の画像データを取得する撮像素子と、
ぶれ検出手段と、
前記ぶれ検出手段の出力に基づき前記撮像素子の露光動作中の前記ぶれの軌跡に関するぶれ軌跡情報を求める演算手段と、
前記撮像素子が取得した画像データを前記ぶれ軌跡情報に基づき劣化がない画像データへ復元する復元手段と、
前記復元手段により復元された画像データを記憶する記憶媒体と、
前記撮像素子に露光動作を実行させて前記画像データを取得し、この画像データを前記復元手段により復元させた後、前記記憶媒体に記憶する制御手段と、
を含み、
前記制御手段は、前記復元手段による復元動作の実行中に前記撮像素子の露光開始操作を検出すると、当該復元動作を中止して前記撮像素子の露光動作を実行させる制御論理を備えた撮像装置を提供する。
【０００８】
本発明の第２の観点は、第１の観点に記載の撮像装置において、
前記制御手段の前記制御論理は、前記復元動作を中止して露光動作を行う際には、復元前の前記画像データと共に前記ぶれ軌跡情報を前記記憶媒体へ記憶する撮像装置を提供する。
【０００９】
本発明の第３の観点は、第１の観点に記載の撮像装置において、
前記制御手段の前記制御論理は、前記記憶媒体から復元動作を中止した前記画像データと、当該画像データに関する前記ぶれ軌跡情報を読み出し、前記復元手段により当該画像データを復元した後、前記記憶媒体に再度記録する動作を、前記撮像素子の露光動作の終了後の所定のタイミングで実施する撮像装置を提供する。
【００１０】
本発明の第４の観点は、被写体の画像データを取得する撮像素子と、
ぶれ検出手段と、
前記ぶれ検出手段の出力に基づき前記撮像素子の露光動作中の前記ぶれの軌跡に関するぶれ軌跡情報を求める演算手段と、
前記撮像素子が取得した画像データを前記ぶれ軌跡情報に基づき互いに所要時間の異なる第１処理および第２処理の少なくとも一方を実行して劣化がない画像データへ復元する復元手段と、
前記復元手段により復元された前記画像データを記憶する記憶媒体と、
前記撮像素子に露光動作を実行させて前記画像データを取得し、当該画像データを前記復元手段により復元させた後、前記記憶媒体に記憶する制御手段と、
を含み、
前記制御手段は、前記復元手段による第２処理を用いた復元動作の実行中に前記撮像素子への露光開始操作を検出すると、前記復元手段による前記第２処理を止めて前記第１処理を実行させる制御論理を備えた撮像装置を提供する。
【００１１】
本発明の第５の観点は、第４の観点に記載の撮像装置において、
前記復元手段が前記画像データの復元動作に要する時間は、前記第１処理の実行時間が前記第２処理の実行時間に比べて短い撮像装置を提供する。
【００１２】
本発明の第６の観点は、第４の観点に記載の撮像装置において、
前記第１処理を用いた復元動作においては、前記画像データのエッジ強調処理が行われ、前記第２処理を用いた復元動作においては、前記ぶれ軌跡情報に基づいて点ひろがり関数の逆関数を計算して前記画像データの復元処理が行われる撮像装置を提供する。
【００１３】
本発明の第７の観点は、被写体の画像データを取得する撮像素子と、
ぶれ検出手段と、
前記ぶれ検出手段の出力に基づき前記撮像素子の露光動作中の前記ぶれの軌跡に関するぶれ軌跡情報を求める演算手段と、
前記撮像素子が取得した画像データを前記ぶれ軌跡情報に基づき互いに所要時間の異なる第１処理および第２処理の少なくとも一方を実行して劣化がない画像データへ復元する復元手段と、
前記復元手段により復元された画像データを記憶する記憶媒体と、
前記撮像素子に露光動作を実行させて画像データを取得し、この画像データを前記復元手段により復元させた後、前記記憶媒体に記憶する制御手段と、
を含み、
前記制御手段は、前記復元手段による前記第２処理を用いた復元動作の実行中に前記撮像素子への露光開始操作を検出すると、実行中の前記復元動作の経過時間が所定時間を経過しているならば前記復元手段に実行中の前記復元動作を継続させ、前記経過時間が所定時間未満ならば実行中の前記復元動作を止めさせて前記第１処理を用いた復元動作を実行させる制御論理を備えた撮像装置を提供する。
【００１４】
本発明の第８の観点は、第７の観点に記載の撮像装置において、
前記復元手段が画像データの復元動作に要する時間は、前記第１処理の実行時間が前記第２処理の実行時間に比べて短い撮像装置を提供する。
【００１５】
本発明の第９の観点は、第７の観点に記載の撮像装置において、
前記第１処理を用いた復元動作においては、前記画像データのエッジ強調処理が行われ、前記第２処理を用いた復元動作においては、前記ぶれ軌跡情報に基づいて点ひろがり関数の逆関数を計算して前記画像データが復元される撮像装置を提供する。
【００１６】
本発明の第１０の観点は、被写体の画像データを取得する撮像素子と、
ぶれ検出手段と、
前記ぶれ検出手段の出力に基づき前記撮像素子の露光動作中の前記ぶれの軌跡に関するぶれ軌跡情報を求める演算手段と、
前記撮像素子が取得した画像データを前記ぶれ軌跡情報に基づき劣化がない画像データへ復元する復元手段と、
前記復元手段により復元された画像データを記憶する記憶媒体と、
前記撮像素子に露光動作を実行させて画像データを取得し、この画像データを前記復元手段により復元させた後、前記記憶媒体に記憶する制御手段と、
前記記憶媒体から画像データを読み出して再生する再生手段と、
を有し、
前記制御手段は、前記復元手段による復元動作の実行中に前記撮像素子の露光開始操作を検出すると、当該復元動作を中止し、復元されていない前記画像データと共に前記ぶれ軌跡情報を前記記憶媒体へ記録後、前記撮像素子の露光動作を行い、
前記再生手段は、前記記録媒体から復元されていない前記画像データを読み出すとき、当該画像データの前記ぶれ軌跡情報に基づき前記復元手段に当該画像データの復元動作を実行させ、復元された画像データを再び前記記録媒体へ記録する撮像装置を提供する。
【００１７】
本発明の第１１の観点は、被写体からの画像データの取得および前記画像データにおけるぶれの復元処理を連続して行う第１ステップと、
前記復元処理の実行中に次の画像データの露光開始操作が検出された場合に、当該復元処理を中止して、次の露光動作に移行する第２ステップと、
を含む撮像装置の制御方法を提供する。
【００１８】
本発明の第１２の観点は、第１０の観点に記載の撮像装置の制御方法において、
前記第２ステップでは、前記復元動作を中止して次の露光動作を行う際には、復元前の前記画像データと共に、当該復元動作において用いられたぶれ軌跡情報を前記記憶媒体へ記憶する撮像装置の制御方法を提供する。
【００１９】
本発明の第１３の観点は、第１２の観点に記載の撮像装置の制御方法において、
さらに、前記記憶媒体から復元動作を中止した前記画像データと、当該画像データに関する前記ぶれ軌跡情報を読み出し、前記復元手段により当該画像データを復元した後、前記記憶媒体に再度記録する動作を、前記露光動作の終了後の所定のタイミングで実施する第３ステップを含む撮像装置の制御方法を提供する。
【００２０】
本発明の第１４の観点は、被写体からの画像データの取得および前記画像データにおけるぶれの復元処理を連続して行う第１ステップと、
前記復元処理の実行中に次の画像データの露光開始操作が検出された場合に、前記復元処理を、互いに異なる第１処理と第２処理との間で切り替える第２ステップと、
を含む撮像装置の制御方法を提供する。
【００２１】
本発明の第１５の観点は、第１４の観点に記載の撮像装置の制御方法において、
前記第１処理による前記画像データの復元動作の実行時間が、前記第２処理による前記画像データの復元動作の実行時間に比べて短く、
前記第２ステップでは、実行時間の長い前記第２処理から、実時間の短い前記第１処理に切り替える撮像装置の制御方法を提供する。
【００２２】
本発明の第１６の観点は、第１４の観点に記載の撮像装置の制御方法において、
前記第１処理を用いた復元動作においては、前記画像データのエッジ強調処理が行われ、前記第２処理を用いた復元動作においては、前記ぶれ軌跡情報に基づいて点ひろがり関数の逆関数を計算して前記画像データが復元される撮像装置の制御方法を提供する。
【００２３】
上記した本発明の撮像装置およびその制御方法によれば、ぶれの画像復元中のレリーズにも対応でき、シャッターチャンスを逃すことがない。
また、シャッターチャンスを逃さずに、かつ後ほど前の画像の復元処理ができる。
【００２４】
また、撮影後の画像復元自体を短時間の方法で行うので、シャッターチャンスを逃さず、あとで再度処理を行うことが不要である。
また、ユーザが特に操作を行わなくても、レリーズタイムラグに影響のない再生時に復元処理を実行でき、レリーズタイムラグを少なくしかつ画像確認までに間に自動的に手ぶれが除去された画像を得られる。
【発明の効果】
【００２５】
本発明によれば、撮影した画像に対するぶれの復元処理に影響されることなく、連続した撮影が可能な撮像技術を提供することができる。
また、簡便かつ自動的にぶれの画像復元が実行され、しかもシャッターチャンスを逃さない撮像技術を提供することができる。
【００２６】
また、撮影した画像に対するぶれの復元処理機能を備えた撮像装置の操作性を向上させる技術を提供することができる。
【発明を実施するための最良の形態】
【００２７】
以下、図面を参照しながら、本発明の実施の形態について詳細に説明する。
＜第１実施の形態＞
図１Ａは、本発明の一実施の形態である撮像装置としてのデジタルカメラの正面側の斜視図であり、図１Ｂは、その背面側の斜視図である。
【００２８】
本実施の形態のデジタルカメラ１０は、カメラ本体１、レンズ鏡筒２、レリーズボタン３、ズームスイッチ４、パワースイッチ５、ビルトインフラッシュ６、背面ＬＣＤパネル７、十字キー８を備えている。
【００２９】
カメラ本体１の正面側にはズーミング可能なレンズ鏡筒２が設けられ、背面側には、背面ＬＣＤパネル７が設けられている。
カメラ本体１の上部に配置されたレリーズボタン３は、半押しと全押しを検知可能な２段スイッチであり、半押しで半押しスイッチ３ａ（ＲＳＷ１）がＯＮし、全押しで全押しスイッチ３ｂ（ＲＳＷ２）がＯＮする。
【００３０】
ズームスイッチ４は、ズームスイッチ・テレ４−１、ズームスイッチ・ワイド４−２からなる。ズームスイッチ・テレ４−１のＴＳＷを押すとレンズは電動駆動でテレ（望遠）状態に移行し、ズームスイッチ・ワイド４−２のＷＳＷを押すとレンズはワイド（広画角）状態に移行する。
【００３１】
パワースイッチ５は、デジタルカメラ１０の電源のＯＮ／ＯＦＦを切り替える。
ビルトインフラッシュ６は、カメラ本体１の正面側に配置され、図示しない被写体に対する補助照明として発光可能である。
【００３２】
背面ＬＣＤパネル７は、レンズ鏡筒２から見えるスルー画を表示したり、撮像画を表示させたり、十字キー８の操作で設定される各種のメニューを表示する。
十字キー８はカメラ本体１の背面側に背面ＬＣＤパネル７の近傍に配置されている。十字キー８は、上下左右の４方向の矢印キー、および中央の決定キーの５つのキーで構成され、たとえば、中央の決定キーでメニューを開いた後、矢印キーを操作して各種設定をすることが可能である。
【００３３】
カメラ本体１の内部には、角速度センサー１０１および角速度センサー１０２が実装されている。これらの角速度センサー１０１、角速度センサー１０２は、カメラ本体１（レンズ鏡筒２）のＸ軸周り、およびＹ軸周りの方向の角速度を検出する。すなわち、この角速度センサー１０１、角速度センサー１０２は、カメラに生じたぶれを検出するための手段である。
【００３４】
図２は、本実施の形態の撮像装置としてのデジタルカメラ１０の制御回路部の構成の一例を示すブロック図である。
本実施の形態のデジタルカメラ１０の制御回路部は、アナログ処理回路１０３、ＡＤ変換回路１０４、基本軌跡演算回路１０５、軌跡メモリ回路１０６、手ぶれ復元関数算出回路１０７、手ぶれ復元処理回路１０８、撮像素子１０９、撮像素子出力処理回路１１０、画像メモリ１１１、画像処理回路１１２、画像圧縮伸長回路１１３、画像記録媒体１１４、シーケンスコントローラ１１５、ＬＣＤドライバ１１６、バッテリ１１８、電源回路１１９、モータドライバ回路１２０、ズームモータ１２１、フォーカスモータ１２２、シャッタモータ１２３、絞りモータ１２４、を含んでいる。
【００３５】
角速度センサー１０１と角速度センサー１０２の出力はアナログ処理回路１０３で増幅され、ＡＤ変換回路１０４でデジタル信号に変換される。
基本軌跡演算回路１０５は、シャッタ開の時間内のＡＤ変換回路１０４の出力と、ズーム状態を示すデータに基づいて、撮像素子１０９上のぶれの軌跡を算出する。そしてこれを一時的に軌跡メモリ回路１０６内に記憶しておく。
【００３６】
撮像素子１０９はＭＯＳセンサーやＣＣＤセンサーなどの撮像素子である。この撮像素子１０９で取得された画像データは撮像素子出力処理回路１１０で画像信号として処理された後、画像メモリ１１１に記憶される。この画像メモリ１１１に格納された画像データは非圧縮の状態であり、手ぶれによる画像劣化の復元演算に適している。
【００３７】
手ぶれ復元関数算出回路１０７は、軌跡メモリ回路１０６内のデータに基づいて、点広がり関数（ＰＳＦ：Point Spread Function）を算出し、画像を復元するための、前記点広がり関数の逆関数を算出する。
【００３８】
手ぶれ復元処理回路１０８は手ぶれ復元関数算出回路１０７で算出された復元関数を画像メモリ１１１内の撮影画像データに作用させて手ぶれ復元処理を行う。
画像処理回路１１２は、画像に対して設定されたパラメータで最適化する処理を行う。
【００３９】
画像圧縮伸長回路１１３は、画像処理回路１１２で最適化された画像を圧縮して画像記録媒体１１４への保存に適した形にする処理、および画像記録媒体１１４からの読み出し画像を展開して再処理できるようにする処理を行う。
【００４０】
画像記録媒体１１４はフラッシュメモリカードなどの画像記録媒体である。
シーケンスコントローラ１１５は、たとえばマイクロプロセッサで構成され、本実施の形態のデジタルカメラ１０の各部の状態を把握して、各回路に対して動作指示を出す。また、ＡＤ変換回路１０４の出力を直接読み込み可能で、レリーズボタン３の押下時のぶれの量を検出可能である。
【００４１】
また、シーケンスコントローラ１１５には、レリーズボタン３（半押しスイッチ３ａ、全押しスイッチ３ｂ）、ズームスイッチ４（ズームスイッチ・テレ４−１、ズームスイッチ・ワイド４−２）、パワースイッチ５、十字キー８、等から、各スイッチやキーのＯＮ／ＯＦＦ等の操作信号が入力される。
【００４２】
この場合、シーケンスコントローラ１１５は、後述のような所定のプログラム線に基づき設定される撮像素子１０９の露光時間と当該撮像素子１０９の露光前に基本軌跡演算回路１０５の検出するぶれ情報とから当該露光時間で露光した際に発生するぶれ量を予測する予測機能と、この予測機能の予測したぶれ量が所定の値以上の時は、プログラム線に基づき設定された露光時間を変更する変更機能と、を実現する制御論理１１５ａを備えている。
【００４３】
また、この制御論理１１５ａは、手ぶれ復元関数算出回路１０７や手ぶれ復元処理回路１０８等の復元手段による復元動作の実行中に撮像素子１０９の露光開始操作を検出すると、当該復元動作を中止して撮像素子１０９の露光動作を実行させる機能を実現する。
【００４４】
また、制御論理１１５ａは、復元動作を中止して撮像素子１０９の露光動作を行わせる際には、復元前の画像データと共にぶれ軌跡情報を画像メモリ１１１や画像記録媒体１１４へ記憶する動作を行う。
【００４５】
また、制御論理１１５ａは、画像記録媒体１１４から復元動作を中止した画像データと、当該画像データに関する前記ぶれ軌跡情報を読み出し、手ぶれ復元関数算出回路１０７または手ぶれ復元処理回路１０８により当該画像データを復元した後、画像記録媒体１１４に再び記録する動作を、撮像素子１０９の露光動作の終了後の所定のタイミングで実施する機能を備えている。
【００４６】
この制御論理１１５ａは、シーケンスコントローラ１１５の備えるソフトウェアやハードウェアにて実現される。
ＬＣＤドライバ１１６は、画像データを背面ＬＣＤパネル７に出力し、表示させる。
【００４７】
バッテリ１１８は電池などの電源からなる。電源回路１１９は、バッテリ１１８からの電力を各部に適した電源に変換し供給する。
モータドライバ回路１２０は、シーケンスコントローラ１１５によって制御され、たとえば、ズームモータ１２１、フォーカスモータ１２２、シャッタモータ１２３、絞りモータ１２４に動作電力を供給する。
【００４８】
次に、本実施の形態のデジタルカメラ１０の、撮影時の動作について説明する。
図３は、本実施の形態のデジタルカメラ１０の画像復元処理の一例を示すフローチャートである。
【００４９】
この画像復元は、デジタルカメラ１０で撮影した後、記録媒体に記録される前に実行される。または一度ぶれの軌跡データとともに画像記録媒体１１４に記録された画像を読み出し、伸長したあとにも実行可能である。
【００５０】
画像復元処理が開始されると（ステップＳ２０１）、まず、ぶれの軌跡の絶対値が閾値Ｐ０のレベル以下か否かを見る（ステップＳ２０２）。ぶれが閾値Ｐ０のレベル以下であれば、ぶれは撮影画像に影響を与えていないと判断し、復元処理を実行しない（復元なしＡ）（ステップＳ２０７）。
【００５１】
ステップＳ２０２でぶれが閾値Ｐ０以上の場合、ステップＳ２０３で閾値Ｐ１以上か否かを見る。ここでぶれが閾値Ｐ１以下の場合は、簡易復元処理（簡易復元処理Ｂ）（第１処理）を実行する（ステップＳ２０８）。この簡易復元処理Ｂは、本格的な復元演算ではなく、エッジ強調処理を中心とした処理であり、高速化と、復元処理による副作用の防止を実現する。
【００５２】
ステップＳ２０３で閾値Ｐ１以上の場合、ぶれ量が閾値Ｐ３をこえているか否をみる（ステップＳ２０４）。ここで閾値Ｐ３は復元演算が対応できる限界値であり、この閾値Ｐ３をこえた場合には、復元処理を実行しても画像の改善は見込めないため、復元不可（ぶれ大）の警告表示を実行して復元処理を行わない（復元不可Ｄ）（ステップＳ２０５）。
【００５３】
一方、ステップＳ２０４で閾値Ｐ３以下の場合はＰＳＦ（Point Spread Function）に基づいた本格的な復元演算処理（本格復元処理Ｃ）（第２処理）を開始する（ステップＳ２０９）。
【００５４】
ここで、復元演算処理の効果と、処理時間について説明する。
図４を参照して、上述の復元なしＡ、簡易復元処理Ｂ、本格復元処理Ｃ、復元不可Ｄの四通りの復元処理の効果について説明する。
【００５５】
図４は、たとえば７００万画素の撮像素子１０９を用いたデジタルカメラ１０の例である。
上記の閾値Ｐ０，閾値Ｐ１，閾値Ｐ２，閾値Ｐ３の量は、例えばそれぞれ３，６，２０，３０ピクセルとなっている。この数値は、撮像素子１０９のサイズや画素数、処理回路の能力により適宜設定される。
【００５６】
図４は横軸にぶれの軌跡の絶対値を、縦軸に２Ｌサイズのプリントで見た場合の、人の感覚による画像の良否（ＯＫ／ＮＧ）の判断（官能評価）の比率を示す線図である。
ぶれ画像の、ＰＳＦによる復元演算は、図４のように所定量までは良好に働いているが、ある量（この場合、閾値Ｐ２付近）を超えると急激にその効果が低下する。これは、ぶれ量が大きくなるとぶれ検出や演算の誤差の影響が大きくなり、正確に復元できないばかりか、復元処理による演算の副作用が目立つため、官能評価的に見ると画像が悪化して見えるためである。このため、たとえば撮影画像そのものが閾値Ｐ２以下のぶれ量に抑えられれば、ぶれ画像復元は有効に働くことになる。
【００５７】
図５は、上記画像復元を含む、撮影後の処理時間を示す図である。
復元処理を行わない復元なしＡの場合は、圧縮や、画像記録媒体１１４への書き込み時間が所要時間になるので、もっとも短い。また、簡易復元処理Ｂも、それについで短い時間になる。
【００５８】
一方、本格復元処理Ｃになった場合は、処理時間が大きくなる。しかも、処理対象の画像のぶれ量が大きいと演算が複雑化するので、より長い時間が必要になる。同じ本格復元処理Ｃであっても、閾値Ｐ２をこえるとその処理時間はより増大する。
【００５９】
ふたたび図３のフローチャートに戻って、ステップＳ２０９で開始された本格復元処理Ｃについて説明する。
ステップＳ２１０で本格復元処理Ｃを継続しつつ、この処理中にステップＳ２１１にて、次の撮影のためのレリーズボタン３の操作（２ｎｄレリーズ）がなされたかを監視する。ここでレリーズボタン３の操作が検出されればステップＳ２１３に進み、画像復元処理を中止し、処理および処理中の中間データをクリアし（ステップＳ２１４）、終了する（ステップＳ２０６）。
【００６０】
ステップＳ２１１でレリーズがない場合は、ステップＳ２１２で画像復元処理が終了したか否かを確認し、終了していなければステップＳ２１０にもどって処理を継続し、終了していれば、画像復元処理を終了する（ステップＳ２０６）。
【００６１】
図６は、本実施の形態のデジタルカメラ１０のレリーズ時の処理の一例を示すフローチャートである。
レリーズボタン３を半押しして半押しスイッチ３ａ（ＲＳＷ１）がＯＮすると（ステップＳ３０１）、自動焦点制御（ＡＦ），自動露光制御（ＡＥ）は実行され（ステップＳ３０２）、ピントが固定されるとともに露出が仮決定される（ステップＳ３０３）。ここでは、露出決定のプログラム線図の中で、基本となるラインに沿って撮像素子１０９のＩＳＯ感度、絞り、シャッタ速度が決定されるが、これはぶれが小さいときを想定して画質優先で各定数を決定している。
【００６２】
図７は、このプログラム線図の一例を示したものである。たとえば、このプログラム線図を備えたカメラの場合、望遠状態（ズームスイッチ・テレ４−１がＯＮ）の場合はｔｅｌｅで示されたプログラム線Ｌ１にて、また広角端（ズームスイッチ・ワイド４−２がＯＮ）ではｗｉｄｅで示されたプログラム線Ｌ２にて、露出の設定が決まる。
【００６３】
図６に戻って、ステップＳ３０３で露出が仮決定した後、反復してぶれ量をシーケンスコントローラ１１５がモニタしつつ（ステップＳ３０４）、レリーズボタン３が全押しされるのを待つ（ステップＳ３０５）。ここでレリーズボタン３が全押しされ、全押しスイッチ３ｂ（ＲＳＷ２）がＯＮしたことを検知すると、その直前のぶれの角速度、ズームの状態、およびステップＳ３０３で仮決定された露出のシャッタ速度Ｔ０を用いて、Ｔ０時間内の予測ぶれ量を算出する（ステップＳ３０６）。
【００６４】
ステップＳ３０６にて、予測ぶれ量が閾値Ｐ２以下の場合（ステップＳ３０７）は、そのままのシャッタ速度で露出を実行する（ステップＳ３０９）。
一方、ステップＳ３０７でぶれが閾値Ｐ２を越えると予測された場合は、ステップＳ３０３で用いた被写体輝度と同一の被写体輝度で、シャッタを高速化して撮影できるように、撮影感度をアップさせることにより、閾値Ｐ２と同等以下になるようなシャッタ速度Ｔ１を算出する。
【００６５】
ステップＳ３０８でのプログラム線図は図７に記載されている。図７中のｔｅｌｅ Ｈ−ｌｉｍｉｔ（プログラム線Ｌ３）およびｗｉｄｅ Ｈ−ｌｉｍｉｔ（プログラム線Ｌ４）を上限として、撮像素子１０９のＩＳＯ感度アップによりぶれ量が閾値Ｐ２以下になるシャッタ速度Ｔ１を決定する。仮に、上限までアップさせても閾値Ｐ２以下にならない場合は、上限のＩＳＯ感度でシャッタ速度Ｔ１を決定する。
【００６６】
上記のようにしてシャッタ速度Ｔ１を決定することにより、電子手ぶれ補正の効果が発揮できるブレ量に抑えるようにしている。
再び図６のフローチャートに戻って、以上で露出値が最終的に決定したので、それにて撮像素子１０９の露光動作を行い（ステップＳ３０９）、撮像素子１０９から画像を読み出す（ステップＳ３１０）。
【００６７】
その後、画像復元演算に移行し（ステップＳ３１１）、上述の図３のフローチャートで説明した内容の画像復元処理を実行する。
このステップＳ３１１の画像復元処理から抜けた際、ステップＳ３１２にて、復元演算の途中でレリーズ操作によって復元処理を中止して画像復元処理から抜けたのか否かを確認する。
【００６８】
復元処理を途中中止した場合は復元前の画像データをもとに画像圧縮処理を実施し（ステップＳ３２１）、復元演算中止フラグをセットして、画像記録媒体１１４に画像データとセットで書き込み（ステップＳ３２２）、画像記録媒体１１４にぶれ軌跡データを書き込んで（ステップＳ３２３）、画像記録媒体１１４に画像データを書き込む（ステップＳ３２４）。その後、直ちに次の撮影動作に移行する（ステップＳ３２５）。具体的には、このステップＳ３２５では、上述のステップＳ３０１以下の処理に移行する。
【００６９】
ステップＳ３１２で、復元演算中に復元処理を中止していない場合は、復元処理後の画像を画像圧縮処理し（ステップＳ３１３）、画像記録媒体１１４に書き込む（ステップＳ３１４）。
【００７０】
次に、図８のフローチャートを参照して、本実施の形態のデジタルカメラ１０での画像データの再生動作、すなわち画像を背面ＬＣＤパネル７に表示する動作について説明する。
【００７１】
たとえば、十字キー８等に適宜割り当てられた図示しない再生ボタンを押して再生モードに入ると（ステップＳ４０１）、まず、画像記録媒体１１４から読み出された当該画像が復元を途中停止した画像か否かを確認する（ステップＳ４０２）。これは、上述の図３のステップＳ３２２でのべた、復元演算中止フラグが当該画像に付随して書き込まれているかを見ればよい。
【００７２】
復元中止画像でなければ、そのまま画像を背面ＬＣＤパネル７に表示する（ステップＳ４０７）。
一方、ステップＳ４０３で復元中止画像であった場合は、一緒に記録されているぶれ軌跡データに基づいて、ぶれの画像復元演算を実行し（ステップＳ４０３）、画像を背面ＬＣＤパネル７に再生表示した後（ステップＳ４０４）、復元画像を画像記録媒体１１４に上書き記録する（ステップＳ４０５）。そして、当該画像とセットに記録されていた復元演算中止フラグをクリアする（ステップＳ４０６）。
【００７３】
なお、本実施の形態１の変形例として、上述の復元演算中止フラグを、画像記録媒体１１４に記録されている全画像についてチェックし、任意の画像の背面ＬＣＤパネル７への再生表示時に、再生中の当該画像以外であっても復元演算を中止した画像があればその画像の復元処理を、シーケンスコントローラ１１５がバックグラウンドで実行する方法が考えられる。
【００７４】
この方法によれば、再生する画像以外であっても再生時に復元処理ができ、その画像を再生しない場合であっても、復元処理が実行されることになる。
本実施の形態１のデジタルカメラ１０によれば、画像復元演算中にレリーズ操作が発生しても、画像復元演算の待ち時間のために次のシャッターチャンスを逃すことがなく速やかに次の撮影に移行することが可能である。
【００７５】
すなわち、撮影した画像に対するぶれの復元処理に影響されることなく、連続した撮影が可能となる。
また、復元演算中のデータをクリアして次の撮影に移行するため、デジタルカメラ１０内の処理用の画像メモリ１１１等のメモリ資源が解放され、次の撮影画像の取り込みや処理が容易である。
【００７６】
また、復元演算前の画像、ぶれ軌跡データ、復元演算中止フラグにもとづいて、シャッターチャンスのような即時性を要求されない背面ＬＣＤパネル７等への再生時に復元演算を実行するため、手ぶれの復元処理が後追いではあるが実行でき、また、後追いの復元処理が自動で行われるため、ユーザの操作で行う場合に比べて簡便に行うことができる。
【００７７】
すなわち、簡便かつ自動的にぶれの画像復元が実行され、しかもシャッターチャンスを逃さない撮像技術を提供することができる。
また、本実施の形態１の上述の変形例においては、画像記録媒体１１４に記録された複数の画像の何れかが復元演算を中止したものであれば、それについて自動的に復元演算を行うため、背面ＬＣＤパネル７等に表示される再生画像のみに対しておこなうよりもさらに便利である。
【００７８】
すなわち、撮影した画像に対するぶれの復元処理機能を備えた撮像装置の操作性を向上させることができる。
＜第２実施の形態＞
次に、本発明の第２実施の形態であるデジタルカメラについて説明する。
【００７９】
この第２実施の形態は、デジタルカメラ１０の構成や主な動作は第１実施の形態と同様であるが、ぶれの画像復元演算中にレリーズ操作があった場合、そのまま続行する方が早いか、短時間ですむ簡易処理に切り替えたほうが早いかをシーケンスコントローラ１１５の制御論理１１５ａが判断し、いずれかを実行し、連続撮影におけるタイムラグを少なくする点が異なっている。
【００８０】
図９は、この実施の形態２のデジタルカメラ１０の画像復元処理の一例を示すフローチャートである。
上述の図３のフローチャートと同一の処理について同一の符号を付して重複した説明を割愛し、異なっている部分を説明する。
【００８１】
ステップＳ２０９で本格復元処理Ｃを開始し、この処理を継続しているときに（ステップＳ２１０）、再びレリーズ操作が検出されたら（ステップＳ２１１）、復元処理の進行状況をみて、処理を継続したほうがよいか、それともそれまでの処理を破棄して短時間で処理が可能な簡易復元処理Ｂに移行すべきかを判断する（ステップＳ２２１）。すなわち、現在の本格復元処理Ｃの処理の経過時間≦既定値の場合には、現在の本格復元処理Ｃを続行した方が早く終了すると判断する場合は処理を実行する。
【００８２】
より具体的には、一例として、現在実行中の本格復元処理Ｃの残り所要時間ｔｒＣ（すなわち、現時点から本格復元処理Ｃの完了までの時間）と、簡易復元処理Ｂの予測される所要時間ｔＢを比較し、ｔｒＣ≦ｔＢの場合には、すなわち、現在の本格復元処理Ｃを続行した方が早く終了すると判断する場合は処理を実行する。
【００８３】
一方、ステップＳ２２１で処理を切り替えた方が早いと判定された場合（ｔｒＣ＞ｔＢ）は、現在の本格復元処理Ｃを中止して処理中のデータをクリアし（ステップＳ２２２）、簡易復元処理Ｂに移行して、再度処理を開始する（ステップＳ２０８）。
【００８４】
図１０は、本実施の形態２のデジタルカメラ１０の、レリーズ操作時の処理の一例を示すフローチャートである。なお、上述の図６と同一の処理には同一の符号を付して重複した説明は割愛する。
【００８５】
この図１０は、上述の図６のフローチャートと類似であるが、画像復元処理中にレリーズ操作が発生した場合においても簡易復元処理Ｂまたは本格復元処理Ｃのいずれかの復元処理がすでに実行されているので、復元演算中止フラグや、ぶれ軌跡データを記録媒体に書きこまない点が異なっている。
【００８６】
すなわち、この図１０のフローチャートでは、上述の図６のフローチャートのステップＳ３１２、およびステップＳ３２１〜Ｓ３２５の処理が省略されている。
本実施の形態２のデジタルカメラ１０によれば、画像復元中にレリーズ操作が発生しても、いずれかの画像復元処理が実行されているため、後で画像を処理する手間や時間が不要である。
【００８７】
特に、上述の実施の形態１よりも背面ＬＣＤパネル７への再生時のレスポンスを重視する場合に、再生時の負担が少ないという利点がある。
なお、上述の各実施の形態において、露出・シャッタ速度をレリーズボタン３の半押しスイッチ３ａ（ＲＳＷ１）に応答して仮決定した後、全押しスイッチ３ｂ（ＲＳＷ２）がＯＮされた際に、そのときのぶれの状態によって再び変更する動作（図６および図１０のフローチャートにおけるステップＳ３０４〜Ｓ３０８の処理）は必須ではなく、処理能力の低いプロセッサなどをシーケンスコントローラ１１５として用いる場合は、当該動作を省略してもよい。
【００８８】
なお、本発明は、上述の実施の形態に例示した構成に限らず、その趣旨を逸脱しない範囲で種々変更可能であることは言うまでもない。
【図面の簡単な説明】
【００８９】
【図１Ａ】本発明の一実施の形態である撮像装置としてのデジタルカメラの正面側の斜視図である。
【図１Ｂ】その背面側の斜視図である。
【図２】本発明の一実施の形態である撮像装置としてのデジタルカメラの制御回路部の構成の一例を示すブロック図である。
【図３】本発明の一実施の形態であるデジタルカメラの画像復元処理の一例を示すフローチャートである。
【図４】画像のぶれ量と復元処理の効果の関係の一例を示す線図である。
【図５】画像のぶれ量と復元処理の所要時間の関係の一例を示す線図である。
【図６】本発明の一実施の形態であるデジタルカメラのレリーズ時の処理の一例を示すフローチャートである。
【図７】本発明の一実施の形態であるデジタルカメラに備えられたプログラム線図である。
【図８】本発明の一実施の形態であるデジタルカメラでの画像データの再生動作の一例を示すフローチャートである。
【図９】本発明の他の実施の形態であるデジタルカメラの画像復元処理の一例を示すフローチャートである。
【図１０】本発明の他の実施の形態であるデジタルカメラのレリーズ操作時の処理の一例を示すフローチャートである。
【符号の説明】
【００９０】
１ カメラ本体
２ レンズ鏡筒
３ レリーズボタン
３ａ 半押しスイッチ
３ｂ 全押しスイッチ
４ ズームスイッチ
４−１ ズームスイッチ・テレ
４−２ ズームスイッチ・ワイド
５ パワースイッチ
６ ビルトインフラッシュ
７ 背面ＬＣＤパネル
８ 十字キー
１０ デジタルカメラ
１０１ 角速度センサー
１０２ 角速度センサー
１０３ アナログ処理回路
１０４ ＡＤ変換回路
１０５ 基本軌跡演算回路
１０６ 軌跡メモリ回路
１０７ 手ぶれ復元関数算出回路
１０８ 手ぶれ復元処理回路
１０９ 撮像素子
１１０ 撮像素子出力処理回路
１１１ 画像メモリ
１１２ 画像処理回路
１１３ 画像圧縮伸長回路
１１４ 画像記録媒体
１１５ シーケンスコントローラ
１１５ａ 制御論理
１１６ ＬＣＤドライバ
１１８ バッテリ
１１９ 電源回路
１２０ モータドライバ回路
１２１ ズームモータ
１２２ フォーカスモータ
１２３ シャッタモータ
１２４ 絞りモータ
Ａ 復元なし
Ｂ 簡易復元処理
Ｃ 本格復元処理
Ｄ 復元不可
Ｌ１ プログラム線
Ｌ２ プログラム線
Ｌ３ プログラム線
Ｌ４ プログラム線
Ｐ０ 閾値
Ｐ１ 閾値
Ｐ２ 閾値
Ｐ３ 閾値
ｔＢ 簡易復元処理Ｂの所要時間
ｔｒＣ 本格復元処理Ｃの残り所要時間
【特許請求の範囲】
【請求項１】
被写体の画像データを取得する撮像素子と、
ぶれ検出手段と、
前記ぶれ検出手段の出力に基づき前記撮像素子の露光動作中の前記ぶれの軌跡に関するぶれ軌跡情報を求める演算手段と、
前記撮像素子が取得した画像データを前記ぶれ軌跡情報に基づき劣化がない画像データへ復元する復元手段と、
前記復元手段により復元された画像データを記憶する記憶媒体と、
前記撮像素子に露光動作を実行させて前記画像データを取得し、この画像データを前記復元手段により復元させた後、前記記憶媒体に記憶する制御手段と、
を含み、
前記制御手段は、前記復元手段による復元動作の実行中に前記撮像素子の露光開始操作を検出すると、当該復元動作を中止して前記撮像素子の露光動作を実行させる制御論理を備えたことを特徴とする撮像装置。
【請求項２】
請求項１記載の撮像装置において、
前記制御手段の前記制御論理は、前記復元動作を中止して露光動作を行う際には、復元前の前記画像データと共に前記ぶれ軌跡情報を前記記憶媒体へ記憶することを特徴とする撮像装置。
【請求項３】
請求項１記載の撮像装置において、
前記制御手段の前記制御論理は、前記記憶媒体から復元動作を中止した前記画像データと、当該画像データに関する前記ぶれ軌跡情報を読み出し、前記復元手段により当該画像データを復元した後、前記記憶媒体に再度記録する動作を、前記撮像素子の露光動作の終了後の所定のタイミングで実施することを特徴とする撮像装置。
【請求項４】
被写体の画像データを取得する撮像素子と、
ぶれ検出手段と、
前記ぶれ検出手段の出力に基づき前記撮像素子の露光動作中の前記ぶれの軌跡に関するぶれ軌跡情報を求める演算手段と、
前記撮像素子が取得した画像データを前記ぶれ軌跡情報に基づき互いに所要時間の異なる第１処理および第２処理の少なくとも一方を実行して劣化がない画像データへ復元する復元手段と、
前記復元手段により復元された前記画像データを記憶する記憶媒体と、
前記撮像素子に露光動作を実行させて前記画像データを取得し、当該画像データを前記復元手段により復元させた後、前記記憶媒体に記憶する制御手段と、
を含み、
前記制御手段は、前記復元手段による第２処理を用いた復元動作の実行中に前記撮像素子への露光開始操作を検出すると、前記復元手段による前記第２処理を止めて前記第１処理を実行させる制御論理を備えたことを特徴とする撮像装置。
【請求項５】
請求項４記載の撮像装置において、
前記復元手段が前記画像データの復元動作に要する時間は、前記第１処理の実行時間が前記第２処理の実行時間に比べて短いことを特徴とする撮像装置。
【請求項６】
請求項４記載の撮像装置において、
前記第１処理を用いた復元動作においては、前記画像データのエッジ強調処理が行われ、前記第２処理を用いた復元動作においては、前記ぶれ軌跡情報に基づいて点ひろがり関数の逆関数を計算して前記画像データの復元処理が行われることを特徴とする撮像装置。
【請求項７】
被写体の画像データを取得する撮像素子と、
ぶれ検出手段と、
前記ぶれ検出手段の出力に基づき前記撮像素子の露光動作中の前記ぶれの軌跡に関するぶれ軌跡情報を求める演算手段と、
前記撮像素子が取得した画像データを前記ぶれ軌跡情報に基づき互いに所要時間の異なる第１処理および第２処理の少なくとも一方を実行して劣化がない画像データへ復元する復元手段と、
前記復元手段により復元された画像データを記憶する記憶媒体と、
前記撮像素子に露光動作を実行させて画像データを取得し、この画像データを前記復元手段により復元させた後、前記記憶媒体に記憶する制御手段と、
を含み、
前記制御手段は、前記復元手段による前記第２処理を用いた復元動作の実行中に前記撮像素子への露光開始操作を検出すると、実行中の前記復元動作の経過時間が所定時間を経過しているならば前記復元手段に実行中の前記復元動作を継続させ、前記経過時間が所定時間未満ならば実行中の前記復元動作を止めさせて前記第１処理を用いた復元動作を実行させる制御論理を備えたことを特徴とする撮像装置。
【請求項８】
請求項７記載の撮像装置において、
前記復元手段が画像データの復元動作に要する時間は、前記第１処理の実行時間が前記第２処理の実行時間に比べて短いことを特徴とする撮像装置。
【請求項９】
請求項７記載の撮像装置において、
前記第１処理を用いた復元動作においては、前記画像データのエッジ強調処理が行われ、前記第２処理を用いた復元動作においては、前記ぶれ軌跡情報に基づいて点ひろがり関数の逆関数を計算して前記画像データが復元されることを特徴とする撮像装置。
【請求項１０】
被写体の画像データを取得する撮像素子と、
ぶれ検出手段と、
前記ぶれ検出手段の出力に基づき前記撮像素子の露光動作中の前記ぶれの軌跡に関するぶれ軌跡情報を求める演算手段と、
前記撮像素子が取得した画像データを前記ぶれ軌跡情報に基づき劣化がない画像データへ復元する復元手段と、
前記復元手段により復元された画像データを記憶する記憶媒体と、
前記撮像素子に露光動作を実行させて画像データを取得し、この画像データを前記復元手段により復元させた後、前記記憶媒体に記憶する制御手段と、
前記記憶媒体から画像データを読み出して再生する再生手段と、
を有し、
前記制御手段は、前記復元手段による復元動作の実行中に前記撮像素子の露光開始操作を検出すると、当該復元動作を中止し、復元されていない前記画像データと共に前記ぶれ軌跡情報を前記記憶媒体へ記録後、前記撮像素子の露光動作を行い、
前記再生手段は、前記記録媒体から復元されていない前記画像データを読み出すとき、当該画像データの前記ぶれ軌跡情報に基づき前記復元手段に当該画像データの復元動作を実行させ、復元された画像データを再び前記記録媒体へ記録することを特徴とする撮像装置。
【請求項１１】
被写体からの画像データの取得および前記画像データにおけるぶれの復元処理を連続して行う第１ステップと、
前記復元処理の実行中に次の画像データの露光開始操作が検出された場合に、当該復元処理を中止して、次の露光動作に移行する第２ステップと、
を含むことを特徴とする撮像装置の制御方法。
【請求項１２】
請求項１０記載の撮像装置の制御方法において、
前記第２ステップでは、前記復元動作を中止して次の露光動作を行う際には、復元前の前記画像データと共に、当該復元動作において用いられたぶれ軌跡情報を前記記憶媒体へ記憶することを特徴とする撮像装置の制御方法。
【請求項１３】
請求項１２記載の撮像装置の制御方法において、
さらに、前記記憶媒体から復元動作を中止した前記画像データと、当該画像データに関する前記ぶれ軌跡情報を読み出し、前記復元手段により当該画像データを復元した後、前記記憶媒体に再度記録する動作を、前記露光動作の終了後の所定のタイミングで実施する第３ステップを含むことを特徴とする撮像装置の制御方法。
【請求項１４】
被写体からの画像データの取得および前記画像データにおけるぶれの復元処理を連続して行う第１ステップと、
前記復元処理の実行中に次の画像データの露光開始操作が検出された場合に、前記復元処理を、互いに異なる第１処理と第２処理との間で切り替える第２ステップと、
を含むことを特徴とする撮像装置の制御方法。
【請求項１５】
請求項１４記載の撮像装置の制御方法において、
前記第１処理による前記画像データの復元動作の実行時間が、前記第２処理による前記画像データの復元動作の実行時間に比べて短く、
前記第２ステップでは、実行時間の長い前記第２処理から、実時間の短い前記第１処理に切り替えることを特徴とする撮像装置の制御方法。
【請求項１６】
請求項１４記載の撮像装置の制御方法において、
前記第１処理を用いた復元動作においては、前記画像データのエッジ強調処理が行われ、前記第２処理を用いた復元動作においては、前記ぶれ軌跡情報に基づいて点ひろがり関数の逆関数を計算して前記画像データが復元されることを特徴とする撮像装置の制御方法。
【請求項１】
被写体の画像データを取得する撮像素子と、
ぶれ検出手段と、
前記ぶれ検出手段の出力に基づき前記撮像素子の露光動作中の前記ぶれの軌跡に関するぶれ軌跡情報を求める演算手段と、
前記撮像素子が取得した画像データを前記ぶれ軌跡情報に基づき劣化がない画像データへ復元する復元手段と、
前記復元手段により復元された画像データを記憶する記憶媒体と、
前記撮像素子に露光動作を実行させて前記画像データを取得し、この画像データを前記復元手段により復元させた後、前記記憶媒体に記憶する制御手段と、
を含み、
前記制御手段は、前記復元手段による復元動作の実行中に前記撮像素子の露光開始操作を検出すると、当該復元動作を中止して前記撮像素子の露光動作を実行させる制御論理を備えたことを特徴とする撮像装置。
【請求項２】
請求項１記載の撮像装置において、
前記制御手段の前記制御論理は、前記復元動作を中止して露光動作を行う際には、復元前の前記画像データと共に前記ぶれ軌跡情報を前記記憶媒体へ記憶することを特徴とする撮像装置。
【請求項３】
請求項１記載の撮像装置において、
前記制御手段の前記制御論理は、前記記憶媒体から復元動作を中止した前記画像データと、当該画像データに関する前記ぶれ軌跡情報を読み出し、前記復元手段により当該画像データを復元した後、前記記憶媒体に再度記録する動作を、前記撮像素子の露光動作の終了後の所定のタイミングで実施することを特徴とする撮像装置。
【請求項４】
被写体の画像データを取得する撮像素子と、
ぶれ検出手段と、
前記ぶれ検出手段の出力に基づき前記撮像素子の露光動作中の前記ぶれの軌跡に関するぶれ軌跡情報を求める演算手段と、
前記撮像素子が取得した画像データを前記ぶれ軌跡情報に基づき互いに所要時間の異なる第１処理および第２処理の少なくとも一方を実行して劣化がない画像データへ復元する復元手段と、
前記復元手段により復元された前記画像データを記憶する記憶媒体と、
前記撮像素子に露光動作を実行させて前記画像データを取得し、当該画像データを前記復元手段により復元させた後、前記記憶媒体に記憶する制御手段と、
を含み、
前記制御手段は、前記復元手段による第２処理を用いた復元動作の実行中に前記撮像素子への露光開始操作を検出すると、前記復元手段による前記第２処理を止めて前記第１処理を実行させる制御論理を備えたことを特徴とする撮像装置。
【請求項５】
請求項４記載の撮像装置において、
前記復元手段が前記画像データの復元動作に要する時間は、前記第１処理の実行時間が前記第２処理の実行時間に比べて短いことを特徴とする撮像装置。
【請求項６】
請求項４記載の撮像装置において、
前記第１処理を用いた復元動作においては、前記画像データのエッジ強調処理が行われ、前記第２処理を用いた復元動作においては、前記ぶれ軌跡情報に基づいて点ひろがり関数の逆関数を計算して前記画像データの復元処理が行われることを特徴とする撮像装置。
【請求項７】
被写体の画像データを取得する撮像素子と、
ぶれ検出手段と、
前記ぶれ検出手段の出力に基づき前記撮像素子の露光動作中の前記ぶれの軌跡に関するぶれ軌跡情報を求める演算手段と、
前記撮像素子が取得した画像データを前記ぶれ軌跡情報に基づき互いに所要時間の異なる第１処理および第２処理の少なくとも一方を実行して劣化がない画像データへ復元する復元手段と、
前記復元手段により復元された画像データを記憶する記憶媒体と、
前記撮像素子に露光動作を実行させて画像データを取得し、この画像データを前記復元手段により復元させた後、前記記憶媒体に記憶する制御手段と、
を含み、
前記制御手段は、前記復元手段による前記第２処理を用いた復元動作の実行中に前記撮像素子への露光開始操作を検出すると、実行中の前記復元動作の経過時間が所定時間を経過しているならば前記復元手段に実行中の前記復元動作を継続させ、前記経過時間が所定時間未満ならば実行中の前記復元動作を止めさせて前記第１処理を用いた復元動作を実行させる制御論理を備えたことを特徴とする撮像装置。
【請求項８】
請求項７記載の撮像装置において、
前記復元手段が画像データの復元動作に要する時間は、前記第１処理の実行時間が前記第２処理の実行時間に比べて短いことを特徴とする撮像装置。
【請求項９】
請求項７記載の撮像装置において、
前記第１処理を用いた復元動作においては、前記画像データのエッジ強調処理が行われ、前記第２処理を用いた復元動作においては、前記ぶれ軌跡情報に基づいて点ひろがり関数の逆関数を計算して前記画像データが復元されることを特徴とする撮像装置。
【請求項１０】
被写体の画像データを取得する撮像素子と、
ぶれ検出手段と、
前記ぶれ検出手段の出力に基づき前記撮像素子の露光動作中の前記ぶれの軌跡に関するぶれ軌跡情報を求める演算手段と、
前記撮像素子が取得した画像データを前記ぶれ軌跡情報に基づき劣化がない画像データへ復元する復元手段と、
前記復元手段により復元された画像データを記憶する記憶媒体と、
前記撮像素子に露光動作を実行させて画像データを取得し、この画像データを前記復元手段により復元させた後、前記記憶媒体に記憶する制御手段と、
前記記憶媒体から画像データを読み出して再生する再生手段と、
を有し、
前記制御手段は、前記復元手段による復元動作の実行中に前記撮像素子の露光開始操作を検出すると、当該復元動作を中止し、復元されていない前記画像データと共に前記ぶれ軌跡情報を前記記憶媒体へ記録後、前記撮像素子の露光動作を行い、
前記再生手段は、前記記録媒体から復元されていない前記画像データを読み出すとき、当該画像データの前記ぶれ軌跡情報に基づき前記復元手段に当該画像データの復元動作を実行させ、復元された画像データを再び前記記録媒体へ記録することを特徴とする撮像装置。
【請求項１１】
被写体からの画像データの取得および前記画像データにおけるぶれの復元処理を連続して行う第１ステップと、
前記復元処理の実行中に次の画像データの露光開始操作が検出された場合に、当該復元処理を中止して、次の露光動作に移行する第２ステップと、
を含むことを特徴とする撮像装置の制御方法。
【請求項１２】
請求項１０記載の撮像装置の制御方法において、
前記第２ステップでは、前記復元動作を中止して次の露光動作を行う際には、復元前の前記画像データと共に、当該復元動作において用いられたぶれ軌跡情報を前記記憶媒体へ記憶することを特徴とする撮像装置の制御方法。
【請求項１３】
請求項１２記載の撮像装置の制御方法において、
さらに、前記記憶媒体から復元動作を中止した前記画像データと、当該画像データに関する前記ぶれ軌跡情報を読み出し、前記復元手段により当該画像データを復元した後、前記記憶媒体に再度記録する動作を、前記露光動作の終了後の所定のタイミングで実施する第３ステップを含むことを特徴とする撮像装置の制御方法。
【請求項１４】
被写体からの画像データの取得および前記画像データにおけるぶれの復元処理を連続して行う第１ステップと、
前記復元処理の実行中に次の画像データの露光開始操作が検出された場合に、前記復元処理を、互いに異なる第１処理と第２処理との間で切り替える第２ステップと、
を含むことを特徴とする撮像装置の制御方法。
【請求項１５】
請求項１４記載の撮像装置の制御方法において、
前記第１処理による前記画像データの復元動作の実行時間が、前記第２処理による前記画像データの復元動作の実行時間に比べて短く、
前記第２ステップでは、実行時間の長い前記第２処理から、実時間の短い前記第１処理に切り替えることを特徴とする撮像装置の制御方法。
【請求項１６】
請求項１４記載の撮像装置の制御方法において、
前記第１処理を用いた復元動作においては、前記画像データのエッジ強調処理が行われ、前記第２処理を用いた復元動作においては、前記ぶれ軌跡情報に基づいて点ひろがり関数の逆関数を計算して前記画像データが復元されることを特徴とする撮像装置の制御方法。
【図１Ａ】
【図１Ｂ】
【図２】
【図３】
【図４】
【図５】
【図６】
【図８】
【図９】
【図１０】
【図７】
【図１Ｂ】
【図２】
【図３】
【図４】
【図５】
【図６】
【図８】
【図９】
【図１０】
【図７】
【公開番号】特開２００８−２４５１４６（Ｐ２００８−２４５１４６Ａ）
【公開日】平成２０年１０月９日（２００８．１０．９）
【国際特許分類】
【出願番号】特願２００７−８５８６９（Ｐ２００７−８５８６９）
【出願日】平成１９年３月２８日（２００７．３．２８）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
【公開日】平成２０年１０月９日（２００８．１０．９）
【国際特許分類】
【出願日】平成１９年３月２８日（２００７．３．２８）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
[ Back to top ]