撮影装置、製品パッケージおよび半導体集積回路
手振れ補正に必要な軌跡情報を得ること。撮影装置（１）は、撮影装置（１）の揺動を検出し、撮影装置（１）の揺動を示す揺動検出信号を出力する揺動検出部（１０１ａ、１０１ｂ）と、撮影装置（１）に入射する光を結像することにより光学像を形成する結像部（２、２ａ、２ｂ）と、結像部（２、２ａ、２ｂ）によって形成された光学像を電気的な映像情報に変換する撮像部（５）と、揺動検出部（１０１ａ、１０１ｂ）から出力される揺動検出信号に少なくとも基づいて、撮影装置（１）の揺動の軌跡を示す軌跡情報を取得する軌跡演算部（９１）とを備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、手振れ補正に必要な軌跡情報を得ることが可能な撮影装置、その撮影装置とプログラムを記録した記録媒体とを含む製品パッケージおよび半導体集積回路に関する。
【背景技術】
【０００２】
撮影された画像の手振れを補正する方式には、光学手振れ補正方式と電子手振れ補正方式とがある（例えば、特許文献１参照）。
【０００３】
光学手振れ補正方式を用いた技術は、撮影された静止画像の手振れ補正技術として知られている。
【０００４】
電子手振れ補正方式を用いた技術は、撮影された動画像の手振れ補正技術として知られている。この技術は、光学駆動部を必要としないため、装置の小型化が可能である。
【特許文献１】特開昭６０−１４３３３０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、光学手振れ補正方式を用いた技術は、画質が劣化することはなく静止画の撮影に有効であるが、光学駆動部を必要とするため、装置の小型化に限界がある。
【０００６】
電子手振れ補正方式を用いた技術は、光学駆動部を必要としないため、装置の小型化が可能であるが、静止画像の手振れ補正には、有効でないと考えられていた。この技術はフレーム間の補正を行うのみで、１フレームからなる静止画の手振れ補正は原理的に不可能だからである。
【０００７】
本発明は、手振れ補正に必要な軌跡情報を得ることが可能な撮影装置、その撮影装置とプログラムを記録した記録媒体とを含む製品パッケージおよび半導体集積回路を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の撮影装置は、撮影装置の揺動を検出し、前記撮影装置の揺動を示す揺動検出信号を出力する揺動検出部と、前記撮影装置に入射する光を結像することにより光学像を形成する結像部と、前記結像部によって形成された前記光学像を電気的な映像情報に変換する撮像部と、前記揺動検出部から出力される前記揺動検出信号に少なくとも基づいて、前記撮影装置の揺動の軌跡を示す軌跡情報を取得する軌跡演算部とを備えている。
【０００９】
前記軌跡演算部は、前記揺動検出信号の一定期間内の変化を示す情報を前記軌跡情報として取得してもよい。
【００１０】
前記揺動検出部は、角速度センサを含み、前記軌跡演算部は、前記角速度センサの出力を積分することにより角度情報を取得し、前記角度情報の一定期間内の変化を示す情報を前記軌跡情報として取得してもよい。
【００１１】
前記角速度センサは、互いに異なる複数の振動周波数を有する振動ジャイロであってもよい。
【００１２】
前記軌跡演算部は、前記撮影装置の揺動による重みづけ軌跡を示す情報を前記軌跡情報として取得してもよい。
【００１３】
前記軌跡演算部は、点光源分布関数ＰＳＦを前記軌跡情報として取得してもよい。
【００１４】
前記軌跡演算部は、前記撮影装置の揺動の時間的変化量が所定のしきい値より大きいか否かを判定し、その判定結果に応じてサンプル数を決定してもよい。
【００１５】
前記軌跡情報を前記映像情報に付加することによりＥｘｉｆ形式のデータを生成し、前記Ｅｘｉｆ形式のデータを出力する出力部をさらに備えていてもよい。
【００１６】
前記軌跡演算部は、焦点の情報とズームの情報と前記揺動検出信号とに少なくとも基づいて、前記軌跡情報を取得してもよい。
【００１７】
前記軌跡情報と前記映像情報とを演算処理することにより、前記映像情報の揺動を補正した補正映像情報を取得する電子的揺動補正部をさらに備えていてもよい。
【００１８】
前記電子的揺動補正部は、前記揺動検出信号が所定のしきい値より大きいか否かを判定し、前記揺動検出信号が前記所定のしきい値より大きいと判定された場合には前記映像情報の揺動を補正しなくてもよい。
【００１９】
前記演算処理は、フーリエ変換もしくはフーリエ逆変換もしくは二次元フィルタを用いた処理を含んでいてもよい。
【００２０】
前記軌跡情報は軌跡関数ｈを含み、前記演算処理は、前記ｈのフーリエ変換の演算もしくは前記ｈをフーリエ変換した結果を使う演算を含むか、前記ｈのフーリエ変換の逆数のフーリエ逆変換の演算もしくは前記ｈのフーリエ変換の逆数のフーリエ逆変換の演算結果を使う演算を含んでいてもよい。
【００２１】
前記映像情報の揺動を補正するのに必要な演算処理量を求める処理量演算部をさらに備えていてもよい。
【００２２】
前記演算処理量もしくは揺動量が一定の値を超過した場合は、表示部に超過状況を示す表示を行うおよび／またはスピーカから超過状況を示す音を発してもよい。
【００２３】
前記演算処理量が一定の値を超過した場合は、前記揺動を補正しない映像情報を出力し、前記演算処理量が一定の値の範囲内にある場合は、前記映像情報の揺動を補正した補正映像情報を出力してもよい。
【００２４】
前記映像情報を表示部に表示した後の特定時点において前記補正映像情報を前記表示部に表示してもよい。
【００２５】
前記特定時点として、前記電子的揺動補正部における揺動補正の演算処理が完了した時点を用いてもよい。
【００２６】
前記揺動補正部からの前記補正映像情報を受けて、前記揺動のそれぞれの方向の最大揺動量を求める最大揺動量演算部と、前記最大揺動量に応じて前記補正映像情報をトリミングすることにより、トリミング補正映像情報を生成するトリミング部とをさらに備えていてもよい。
【００２７】
第１トリミングモードもしくは第２トリミングモードを設定可能な設定部をさらに備え、前記トリミング部は、前記第１トリミングモードにおいて、前記最大揺動量に応じて前記補正映像情報をトリミングすることにより、第１トリミング補正映像情報を生成し、前記トリミング部は、前記第２トリミングモードにおいて、前記映像情報の各方向の中心となる画素を中心画素とすると、第１トリミング補正映像情報の前記中心画素に相当する画素を中心として再度トリミングすることにより、第２トリミング補正映像情報を生成してもよい。
【００２８】
前記揺動検出信号に応じて前記撮影装置の揺動を機械的に補正することにより、現実の揺動補正量だけ前記映像情報の揺動を補正した補正映像情報を取得する機械的揺動補正部をさらに備え、前記軌跡演算部は、前記揺動検出信号と前記現実の揺動補正量との差分の一定期間内の変化を示す情報を前記軌跡情報として取得してもよい。
【００２９】
前記軌跡情報がＥｘｉｆ形式であってもよい。
【００３０】
前記機械的揺動補正部は、前記揺動検出信号に応じて前記撮影装置の揺動を機械的に補正することにより、第１揺動補正量だけ前記映像情報の揺動を補正した第１補正映像情報を取得し、前記軌跡演算部は、前記現実の揺動補正量と前記第１揺動補正量との差分量を示す残留揺動量の一定期間内の変化を示す情報を前記軌跡情報として取得し、前記撮影装置は、前記軌跡情報と前記第１補正映像情報とに演算処理することにより、第２揺動補正量だけ前記第１補正映像情報の揺動を補正した第２補正映像情報を取得する電子的揺動補正部をさらに備えていてもよい。
【００３１】
前記演算処理は、フーリエ変換もしくはフーリエ逆変換もしくは２次元フィルタを用いた処理を含んでいてもよい。
【００３２】
前記軌跡情報は軌跡関数ｈを含み、前記演算処理は、前記ｈのフーリエ変換の演算もしくは前記ｈをフーリエ変換した結果を使う演算を含むか、前記ｈのフーリエ変換の逆数のフーリエ逆変換の演算もしくは前記ｈのフーリエ変換の逆数のフーリエ逆変換の演算結果を使う演算を含んでいてもよい。
【００３３】
前記機械的揺動補正部は、前記結像部の一部であるレンズの位置情報に基づいて、前記第１揺動補正量を求めてもよい。
【００３４】
前記機械的揺動補正部は、前記揺動検出信号と前記機械的揺動補正部の揺動制御特性とに基づいて、前記第１揺動補正量を求めてもよい。
【００３５】
前記揺動検出部は、前記撮影装置の揺動のうちピッチ方向およびヨー方向の揺動を検出する第１揺動検出部と、前記撮影装置の揺動のうちロール方向の揺動を検出する第２揺動検出部とを含み、前記軌跡演算部は、前記第２揺動検出部から出力される検出信号の一定期間内の変化を示す情報を前記軌跡情報として取得し、前記撮影装置は、前記第１揺動検出部から出力される検出信号に応じてピッチ方向およびヨー方向の揺動を補正した第１補正映像情報を取得する機械的揺動補正部をさらに備えていてもよい。
【００３６】
前記軌跡情報を前記補正映像情報に付加して出力し、もしくは、記録媒体に記録する手段をさらに備えていてもよい。
【００３７】
前記軌跡情報がＥｘｉｆ形式もしくはＥｘｉｆ形式に類する形式であってもよい。
【００３８】
ロール方向の軌跡情報と前記第１補正映像情報とに演算処理することにより、前記第１補正映像情報の揺動を補正した第２補正映像情報を取得する電子的揺動補正部をさらに備えていてもよい。
【００３９】
前記演算処理は、フーリエ変換もしくはフーリエ逆変換もしくは二次元フィルタを用いた処理を含んでいてもよい。
【００４０】
前記軌跡情報は軌跡関数ｈを含み、前記演算処理は、前記ｈのフーリエ変換の演算もしくは前記ｈをフーリエ変換した結果を使う演算を含むか、前記ｈのフーリエ変換の逆数のフーリエ逆変換の演算もしくは前記ｈのフーリエ変換の逆数のフーリエ逆変換の演算結果を使う演算を含んでいてもよい。
【００４１】
本発明の方法は、撮影装置の揺動の軌跡を示す軌跡情報と映像情報とを含む画像情報を受け取ることと、前記画像情報を前記軌跡情報と前記映像情報とに分離することと、前記軌跡情報と前記映像情報とに演算処理することにより、前記映像情報の揺動を補正した補正映像情報を得ることとを包含する。
【００４２】
前記軌跡情報がＥｘｉｆ形式であってもよい。
【００４３】
前記演算処理は、フーリエ変換もしくはフーリエ逆変換を含んでいてもよい。
【００４４】
前記軌跡情報が重みづけ軌跡もしくは点光源分布関数であってもよい。
【００４５】
本発明の製品パッケージは、撮影装置と記録媒体とを備えた製品パッケージであって、前記撮影装置は、前記撮影装置の揺動を検出し、前記撮影装置の揺動を示す揺動検出信号を出力する揺動検出部と、前記撮影装置に入射する光を結像することにより光学像を形成する結像部と、前記結像部によって形成された前記光学像を電気的な映像情報に変換する撮像部と、前記揺動検出部から出力される前記揺動検出信号に少なくとも基づいて、前記撮影装置の揺動の軌跡を示す軌跡情報を取得する軌跡演算部と、前記軌跡情報を前記映像情報に付加して画像情報として出力する出力部とを備え、前記記録媒体には処理をコンピュータに実行させるためのプログラムが記録されており、前記処理は、前記画像情報を受け取ることと、前記画像情報を前記軌跡情報と前記映像情報とに分離することと、前記軌跡情報と前記映像情報とに演算処理することにより、前記映像情報の揺動を補正した補正映像情報を得ることとを包含する。
【００４６】
前記軌跡情報がＥｘｉｆ形式であってもよい。
【００４７】
前記演算処理は、フーリエ変換もしくはフーリエ逆変換もしくは二次元フィルタを用いる処理を含んでいてもよい。
【００４８】
前記軌跡情報は軌跡関数ｈを含み、前記演算処理は、前記ｈのフーリエ変換の演算もしくは前記ｈをフーリエ変換した結果を使う演算を含むか、前記ｈのフーリエ変換の逆数のフーリエ逆変換の演算もしくは前記ｈのフーリエ変換の逆数のフーリエ逆変換の演算結果を使う演算を含んでいてもよい。
【００４９】
前記軌跡情報が重みづけ軌跡もしくは点光源分布関数であってもよい。
【００５０】
本発明の製品パッケージは、撮影装置と記録媒体とを備えた製品パッケージであって、前記撮影装置は、前記撮影装置の揺動を検出し、前記撮影装置の揺動を示す揺動検出信号を出力する揺動検出部と、前記撮影装置に入射する光を結像することにより光学像を形成する結像部と、前記結像部によって形成された前記光学像を電気的な映像情報に変換する撮像部と、前記揺動検出部から出力される前記揺動検出信号に少なくとも基づいて、前記撮影装置の揺動の軌跡を示す軌跡情報を取得する軌跡演算部と、前記揺動検出信号に応じて前記撮影装置の揺動を機械的に補正することにより、現実の揺動補正量だけ前記映像情報の揺動を補正した補正映像情報を取得する機械的揺動補正部と、前記軌跡情報を前記補正映像情報に付加して画像情報として出力する出力部とを備え、前記軌跡演算部は、前記揺動検出信号と前記現実の揺動補正量との差分の一定期間内の変化を示す情報を前記軌跡情報として取得し、前記記録媒体には処理をコンピュータに実行させるためのプログラムが記録されており、前記処理は、前記画像情報を受け取ることと、前記画像情報を前記軌跡情報と前記映像情報とに分離することと、前記軌跡情報と前記映像情報とに演算処理することにより、前記映像情報の揺動を補正した補正映像情報を得ることとを包含する。
【００５１】
前記軌跡情報がＥｘｉｆ形式であってもよい。
【００５２】
前記演算処理は、フーリエ変換もしくはフーリエ逆変換もしくは二次元フィルタを用いる処理を含んでいてもよい。
【００５３】
前記軌跡情報が重みづけ軌跡もしくは点光源分布関数であってもよい。
【００５４】
本発明の半導体集積回路は、撮影装置の揺動を検出する揺動検出部から出力される揺動検出信号に少なくとも基づいて、前記撮影装置の揺動の軌跡を示す軌跡情報を取得する軌跡演算部を備えている。
【００５５】
前記軌跡情報と映像情報とを演算処理することにより、前記映像情報の揺動を補正した補正映像情報を取得する電子的揺動補正部をさらに備えていてもよい。
【００５６】
前記揺動検出信号に応じて前記撮影装置の揺動を機械的に補正することにより、現実の揺動補正量だけ前記映像情報の揺動を補正した補正映像情報を取得する機械的揺動補正部をさらに備え、前記軌跡演算部は、前記揺動検出信号と前記現実の揺動補正量との差分の一定期間内の変化を示す情報を前記軌跡情報として取得してもよい。
【００５７】
前記揺動検出部は、前記撮影装置の揺動のうちピッチ方向およびヨー方向の揺動を検出する第１揺動検出部と、前記撮影装置の揺動のうちロール方向の揺動を検出する第２揺動検出部とを含み、前記軌跡演算部は、前記第２揺動検出部から出力される検出信号の一定期間内の変化を示す情報を前記軌跡情報として取得し、前記半導体集積回路は、前記第１揺動検出部から出力される検出信号に応じてピッチ方向およびヨー方向の揺動を補正した第１補正映像情報を取得する機械的揺動補正部をさらに備えていてもよい。
【発明の効果】
【００５８】
本発明の撮影装置によれば、手振れ補正に必要な軌跡情報を得ることができる。軌跡情報は、撮影装置の外部にある機器（例えば、コンピュータ）に出力され得る。これにより、処理量の大きい手振れ補正を撮影装置の外部にある機器（例えば、コンピュータ）で行うことが可能になる。
【００５９】
本発明の製品パッケージおよび半導体集積回路によっても同様の効果が得られる。
【図面の簡単な説明】
【００６０】
【図１】図１は、本発明の実施の形態の撮影装置１００を示す図
【図２】図２は、揺動検出手段１５の構成を示す図
【図３】図３は、本発明の実施の形態の手振れ補正の動作を示す図
【図４】図４は、本発明の実施の形態のマスキングの動作を示す図
【図５】図５は、画素数とフレーム周波数との関係を示す図
【図６】図６は、４分割された画素領域を含む撮像部５の構成を示す図
【図７】図７は、本発明の実施の形態におけるフレームレートを速くした場合の動作図
【図８】図８は、本発明の実施の形態の撮影処理の手順（ステップ５０ａ〜ステップ５０ｆ）を示すフローチャート
【図９】図９は、本発明の実施の形態の撮影処理の手順（ステップ５１ａ〜ステップ５１ｙ）を示すフローチャート
【図１０】図１０は、本発明の実施の形態の撮影処理の手順（ステップ５２ａ〜ステップ５２ｔ）を示すフローチャート
【図１１】図１１は、本発明の実施の形態の順次演算処理手順を示すフローチャート
【図１２】図１２は、本発明の実施の形態の一括演算処理手順を示すフローチャート
【図１３】図１３は、撮影場所の明るさや、シャッター速度（露光時間）に応じて、複数の画像（分割画像）を積分することによって、手振れ補正を行うための処理手順を示すフローチャート
【図１４】図１４は、面内画素加算と時間軸内画素加算とによって解像度を変更する手順を示すフローチャート
【図１５】図１５は、本発明の実施の形態による実際の画素数より多い画素数を設定して手振れを補正する原理を示す図
【図１６】図１６は、面内方向の加算方法を示す図
【図１７】図１７は、画像の切り出し位置のシフトを説明するための図
【図１８】図１８は、縮小補間の原理、拡大補間の原理、および高分解能の手振れ補正の原理を示す図
【図１９】図１９は、手振れ検出に失敗した画像を除去する手順を示すフローチャート
【図２０】図２０は、本発明の実施の形態の撮影装置２００の構成を示す図
【図２１】図２１は、撮影装置２００に含まれる表示部９５の一例を示す図
【図２２】図２２は、撮影装置２００に含まれる表示部９５の別の例を示す図
【図２３】図２３は、パンニングまたはパノラマ撮影時の境界インジケーター９７の表示を示す図
【図２４】図２４は、フレーム内の手振れ検出のための検出点を示す図
【図２５】図２５は、本発明の実施の形態の撮影装置１を示す図
【図２６】図２６は、本発明の実施の形態の手振れ検出信号のサンプリングを示す図
【図２７】図２７は、本発明の実施の形態の撮影画像のトリミングと拡大を示す図
【図２８】図２８は、本発明の実施の形態の撮影処理の手順（ステップ１２７〜１２７ｊ）を示すフローチャート
【図２９】図２９は、本発明の実施の形態の撮影処理の手順（ステップ１２８ａ〜１２８ｇ）を示すフローチャート
【図３０】図３０は、本発明の実施の形態の撮影装置１を示す図
【図３１】図３１は、本発明の実施の形態の撮影装置（Ｚ方向の軌跡データ出力）１を示す図
【図３２】図３２は、本発明の実施の形態の撮影装置（Ｚ方向の手振れ補正）１を示す図
【図３３】図３３は、本発明の実施の形態の撮影装置（光学補正とデータ処理補正）１を示す図
【図３４】図３４は、本発明の実施の形態の手振れ補正の演算を示す図
【図３５】図３５は、本発明の実施の形態の撮影装置と補正処理プログラムの組み合わせと補正処理用のコンピュータを示す図
【図３６】図３６は、本発明の実施の形態の撮影装置における補正量の検出手段の構成を示す図
【符号の説明】
【００６１】
２ レンズ部
４ 自動焦点部
５ 撮像部
６ ズーム部
８ 副画像メモリ
９ 揺動補正部
１０ 表示切替部
１１ 表示回路
１２ 表示部
１３ 記録部
１４ 記録媒体
１５ 揺動検出手段
１６ 第１メモリ
１７ 第２メモリ
１８ 演算部
２０ マスキング部
２１ 揺動補正制御部
２２ トリミング部
２３ 画素転送部
２４ 解像度変更部
２５ シャッターボタン
２５ａ 間引き制御部
２６ ＣＰＵ
２７ クロック制御手段
２８ 処理クロック供給部
２９ 演算部
２９ａ 副演算部
３０ 主画像メモリ
３２ 転送クロック供給部
３６ バイブレータ
３７ スピーカ
３９ 明部抽出部
４０ フレームレート変更部
１００ 撮影装置
１０１ 角速度検出部
１０２ サンプリング回路
１０３ 点
１０４ サンプル周波数発生部
１０５ データ圧縮部
１０６ 撮影情報付加部
１０７ Ｅｘｉｆデータ
１０８ 補正画像出力部
１０９ 切換部
１１０ 出力データ生成部
１１１ 手振れ量測定部
１１２ 撮影画像
１１３ 軌跡データ
１１４ 外部記憶媒体
１１５ 手振れ補正部
１１６ 処理量演算部
１１７ シャッタ
１１８ シャッタ開時間制御部
１１９ シャッターボタン
１２０ 撮影映像メモリ
１２１ フーリエ逆変換部
１２２ 拡大部（本文修正のこと）
１２３ トリミング部
１２５ 縮小部
１２６ センター（トリミング後）
１２６ａ センター（元の画像）
１２７ ステップ（図２８）
１２８ ステップ（図２９）
１２９ トリミング画像
１３０ 処理状況インジケータ
１３１ マーク（補正処理中）
１３２ 表示部２の表示画面
１３３ Ｗａｉｔの表示
１３４ 軌跡マーク
１３５ 二次元フィルタ
１３６ 積分器
１３７ 焦点調整部
１４０ レンズ駆動部
１４１ 手振れ補正制御部
１４２ 手振れ補正量算出部
１４３ 差分部
１４５ 警告部
１４６ データ出力部
１４７ 出力画像
１４８ 演算部
１５０ コンピュータ
１５１ 記録媒体
１５２ パッケージ
１５３ 補正処理プログラム
１５５ 揺動補正レンズ
１５６ 駆動モーター
１５７ レンズ位置検出手段
１５８ ホール素子
１５９ 揺動補正量
１６０ 揺動補正手段の制御周波数特性
１６１ 伝達関数
１６２ 揺動補正量
【発明を実施するための最良の形態】
【００６２】
以下、図を参照して本発明の実施の形態を説明する。
【００６３】
１．撮影装置
図１は、本発明の実施の形態の撮影装置１００を示す。
【００６４】
撮影装置１００は、所定の露光期間に静止像を撮影する。撮影装置１００は、撮影装置１００の外部から光を入射するためのレンズ部２と、光３を自動焦点調整する自動焦点部４と、レンズ部２のズーム比を設定するズーム部６と、撮像部５とを含む。撮像部５には、光学像が結像される。撮像部５は、結像された光学像を示す出力データを出力する。撮像部５は、例えば、ＣＣＤもしくはＭＯＳ型撮像装置である。レンズ部２から入射した光３は、自動焦点部４により焦点調整される。ズーム部６により、レンズ部２のズーム比が設定され、撮像部５上に光学像７が結像される。
【００６５】
撮影装置１００は、表示切替部１０と、表示回路１１と、表示部１２と、記録部１３と、記録媒体１４とをさらに含む。静止像を表す静止画の揺動を補正することなく静止像を撮影する場合は、撮像部５から出力された出力データは表示切替部１０に直接送られる。静止画像を表示する場合は、撮像部５から出力された出力データは、表示回路１１によって表示部１２に表示される。静止画像を記録する場合は、撮像部５から出力された出力データは、記録部１３によって記録媒体１４に記録される。
【００６６】
撮影装置１００は、シャッターボタン２５と、データを記憶する副画像メモリ８と、撮影された静止像を表す複数の画像（フレーム）間の揺動量を検出する揺動検出手段１５と、検出された揺動量に応じて、複数の画像（フレーム）を示す複数の画像情報を補正する揺動補正部９と、揺動補正制御部２１と、タテ方向の揺動を除去するように制御されるトリミング部２２と、画面データによって示される画像の解像度を変更する解像度変更部２４と、間引き制御部２５ａと、画素転送部２３と、揺動量に応じてフレームレートを変更するフレームレート変更部４０とをさらに含む。揺動検出手段１５は、揺動検出手段１５に入力されたデータを演算する演算部１８と、第１メモリ１６と、第２メモリ１７とを含む。揺動補正制御部２１は、検出された揺動量に応じて撮像部５から出力された出力データを補正するために、各構成要素を制御する。
【００６７】
静止像を表す静止画の揺動を補正して静止像を撮影する場合（揺動補正設定がＯＮである場合）には、シャッタボタン２５を押す前に、撮像部５から出力された出力データが一旦副画像メモリ８に蓄積される。撮像部５から出力された出力データは、揺動検出手段１５に入力される。演算部１８は、入力された複数の出力データ（例えば、ｎ−１番目の画面データ（即ち、前の画面のデータ）とｎ番目の画像データ（即ち、現在の画面のデータ））を演算し、揺動情報を求める。揺動情報は、動きベクトル１９である。なお、撮影装置１００がタテ用振動ジャイロとヨコ用振動ジャイロとを備える場合にも、タテの揺動量とヨコの揺動量とを検出することができる。この場合には、揺動情報は、タテの揺動量およびヨコの揺動量である。
【００６８】
揺動補正制御部２１が、トリミング部２２と画素転送部２３とを制御することによって、タテ方向の揺動が除去される。揺動補正制御部２１が揺動補正部９を制御することによって、ヨコ方向の揺動が除去される。したがって、画像データのタテの揺動および画像データのヨコの揺動を補正することができ、揺動補正された画像データを得ることができる。
【００６９】
揺動補正された画像データは、順次、表示切替部１０を介して表示部１２に出力される。ユーザは、表示部１２から、揺動補正された連続画像を所定のフレームレートで視認できる。
【００７０】
なお、表示部１２に、揺動補正された画像データによって示された全画像のうち、一部の領域の画像を表示することができる。したがって、被写体のフレーミングを正確にできる。この場合、解像度は解像度変更部２４および間引き制御部２５ａによって、静止画撮影時より低い解像度に設定される。したがって、フレームレートを高くすることが可能になり、１秒間の表示枚数を多くすることができる。その結果、ユーザは、よりスムーズに被写体の画像を視認できる。
【００７１】
記録部１３は、フレームレートの高い複数の画像を動画として記録媒体１４に記録してもよい。
【００７２】
解像度変更部２４は、例えば、明るさ、揺動量、ズーム比のうちの少なくとも１つに応じて、複数のフレームの解像度を変更する。
【００７３】
撮影装置１００は、クロック制御手段２７と、転送クロック供給部３２と、処理クロック供給部２８と、ＣＰＵ２６とをさらに含む。ユーザがシャッターボタン２５を半押しにすると、処理クロック供給部２８が演算部２９等のクロックの動作開始又はクロック速度の向上を実行するように、ＣＰＵ２６はクロック制御手段２７に指令を与える。
【００７４】
撮影装置１００は、揺動補正された複数の画像情報を記憶する主画像メモリ３０と、記憶手段に記憶された複数の画像情報に基づいて、静止像を示す静止画像情報を生成する演算部２９と、副演算部２９ａとをさらに含む。なお、演算部２９の機能、主画像メモリ３０の機能、および副演算部２９ａの機能の詳細は、後述される。
【００７５】
撮影装置１００は、マスキング部２０と、明部抽出部３９とをさらに含む。マスキング部２０の機能および明部抽出部３９の機能の詳細は、後述される。
【００７６】
撮影装置１００は、バイブレータ３６と、スピーカ３７とをさらに含む。バイブレータ３６の機能およびスピーカ３７の機能の詳細は、後述される。
【００７７】
図２は、揺動検出手段１５の構成を示す。揺動検出手段１５は、演算部１８と第１メモリ１６と第２メモリ１７とを含む。
【００７８】
第１メモリ１６には、時刻ｔ＝ｔｎ−１に撮影された画像Ｄｎ−１を示す画像データが格納されている。第２メモリ１７には、時刻ｔ＝ｔｎに撮影された画像Ｄｎを示す画像データが格納されている。２枚の画像を示すデータ（画像Ｄｎ−１を示す画像データおよび画像Ｄｎを示す画像データ）に基づいて、画像Ｄｎ−１と画像Ｄｎとの間の揺動量（例えば、動きベクトル（ｘ１、ｙ１））が検出され、揺動量を示すデータが出力される。
【００７９】
２．手振れ補正の動作
図３は、本発明の実施の形態の手振れ補正の動作を示す。
【００８０】
画像Ｄｎ＝１は、時刻ｎ＝１に撮影された画像を示し、画像Ｄｎ＝２は、時刻ｎ＝２に撮影された画像を示し、画像Ｄｎ＝３は、時刻ｎ＝３に撮影された画像を示し、画像Ｄｎ＝４は、時刻ｎ＝４に撮影された画像を示す。
【００８１】
画像Ｄｎ＝１を示す画像データが主画像メモリ部３０に蓄積される。
【００８２】
画像Ｄｎ＝２を示す画像データは、揺動量Ｍ２（Ｍ２＝（ｘ０＋ｘ１、ｙ０＋ｙ１））に応じて補正される。演算部２９によって、補正された画像データは、主画像メモリ部３０に蓄積されている画像Ｄｎ＝１を示す画像データに加算される。加算結果を示すデータは主画像メモリー部３０に蓄積される。補正された画像データを画像Ｄｎ＝１を示す画像データに加算するため、被写体の静止部は正確に重なり、画像のＳＮ比は向上する。
【００８３】
画像Ｄｎ＝３を示す画像データは、揺動量Ｍ３（Ｍ３＝（ｘ０＋ｘ１＋ｘ２、ｙ０＋ｙ１＋ｙ２））に応じて補正される。演算部２９によって、この補正された画像データは、主画像メモリ部３０に蓄積されている加算結果を示すデータに加算される。加算結果を示すデータは主画像メモリー部３０に蓄積される。
【００８４】
画像Ｄｎ＝４を示す画像データは、揺動量Ｍ４（Ｍ４＝（ｘ０＋ｘ１＋ｘ２＋ｘ３、ｙ０＋ｙ１＋ｙ２＋ｙ３））に応じて補正される。演算部２９によって、この補正された画像データは、主画像メモリ部３０に蓄積されている加算結果を示すデータに加算される。加算結果を示すデータは主画像メモリー部３０に蓄積される。
【００８５】
このように、データの加算を繰り返すことによって、主画像メモリ部３０には、加算された４枚のほぼ同じ画像を示す画像データが格納され、１枚の静止画を示すデータが生成される。したがって、露光期間中にシャッターを１００％開けていた場合には、時刻ｎ＝１から時刻ｎ＝４の期間中にシャッターを継続して開けていた場合とほぼ同じ明るさの画像が得られるとともに、各画面毎に手振れが補正される。
【００８６】
なお、手振れの程度（揺動量）やズーム比に応じて、例えばシャッタ開時間（露光時間）、フレームレートを適切に設定することによって、ＳＮを劣化させることなく電子的に手振れを補正することができる。なお、各画像を撮影する時のシャッタ開時間を短くすると手振れ補正に起因する画像劣化は減少するが光量が減る。この場合には、撮影するフレームの枚数を増やす。
【００８７】
本発明の実施の形態では、転送クロックを上げることによってフレームレートを上げたり、解像度を下げることによってフレームレートを上げたりして最適なフレームレートを得ることができる。したがって、適用範囲が広いという効果がある。
【００８８】
なお、演算部２９によって為される演算は、加算に限らない。複数の画像データ（フレーム情報）に基づいて１枚の静止画を示すデータを生成することができる限り、演算は、例えば積分でもよい。
【００８９】
３．マスキングの動作
図４は、本発明の実施の形態のマスキングの動作を示す。
【００９０】
画像Ｄｎ＝１は、時刻ｎ＝１に撮影された画像を示し、画像Ｄｎ＝２は、時刻ｎ＝２に撮影された画像を示し、画像Ｄｎ＝３は、時刻ｎ＝３に撮影された画像を示し、画像Ｄｎ＝４は、時刻ｎ＝４に撮影された画像を示す。
【００９１】
時刻ｎ＝１で、ストロボが発光する。したがって、例えば、画像３５ｅに表された人物は背景（例えば、夜景）に比べて明るくなる。ここで画像３５ｅに表された人物を明部３８ａと定義する。明部抽出部３９は、画像３５ｅを示すデータから明部３８ａを示すデータを抽出し、抽出された明部ａを示すデータに基づいて、マスキングデータ３１を生成する。
【００９２】
時刻ｎ＝２で、画像Ｄｎ＝２を示す画像データからマスキングデータ３１を切り出す。明部３８ｂの画像がとり去られ、かつ手振れが補正された補正画像３３ａを示すデータが生成される。補正画像３３ａを示すデータが画像３５ｅを示すデータに加算され、積分画像３５ａを示すデータが生成される。
【００９３】
時刻ｎ＝３で、画像Ｄｎ＝３を示す画像データからマスキングデータ３１を切り出す。明部３８ｃの画像がとり去られ、かつ手振れが補正された補正画像３３ｂを示すデータが生成される。補正画像３３ｂを示すデータが積分画像３５ａを示すデータに加算され、積分画像３５ｂを示すデータが生成される。
【００９４】
時刻ｎ＝４で、画像Ｄｎ＝４を示す画像データからマスキングデータ３１を切り出す。明部３８ｄの画像がとり去られ、かつ手振れが補正された補正画像３３ｃを示すデータが生成される。補正画像３３ｃを示すデータが積分画像３５ｂを示すデータに加算され、積分画像３５ｃを示すデータが生成される。
【００９５】
積分画像３５ｃを示すデータがリサイズされ、積分画像３５ｄを示すデータが生成される。
【００９６】
上述したように、時刻ｎ＝１で、ストロボの発光により明るくなった人物等の明部をとり込み、時刻ｎ＝２、３、４で、撮影された画像のうち、明部以外の領域の画像をとり込む。夜景撮影等で人物を対象にスローシャッタでストロボ撮影を行う場合には、例えば、ストロボ発光時の人物の顔の画像にスローシャッタ期間中に露光された人物の顔の画像が重なり（二重露光）、画像がぼける。しかし本発明の実施の形態のマスキングの動作によれば、手振れ補正によって、明部である人物の顔等が二重露光されない。その結果、明部を明瞭に撮影できる。
【００９７】
４．フレームレートの変更
図５は、画素数とフレーム周波数との関係を示す。
【００９８】
解像度変更部２４（図１参照）によって、撮像部５（図１参照）での解像度を下げると、フレームレート（ｆｐｓ）を上げることができる。また、クロック制御手段２７、処理クロック供給部２８および転送クロック供給部３２によって、転送クロック速度を上げた場合にも、フレームレート（ｆｐｓ）を上げることができる。
【００９９】
本発明の実施の形態では、手振れ補正を目的として画像をとり出す時に転送クロックを上げたり、解像度を下げることにより、実質的にフレームレートを上げて、電子的手振れ補正に特有の残像（画像劣化）をなくすことができる。この場合、通常の撮像部は２００万画素であり、フレームレートは７．５ｆｐｓ程度であるため、残像の影響が残ってしまう。フレームレートは２０ｆｐｓ以上でないと電子的手振れ補正に特有の残像をなくすことは困難である。
【０１００】
図６は、４分割された画素領域を含む撮像部５の構成を示す。
【０１０１】
撮像部５は、画素領域４０を含む。画素領域４０は、４つの画素領域（画素領域４０ａ、画素領域４０ｂ、画素領域４０ｃおよび画素領域４０ｄ）に分割されている。撮像部５は、４分割された水平方向転送部（水平方向転送部４１ａ、水平方向転送部４１ｂ、水平方向転送部４１ｃおよび水平方向転送部４１ｄ）と、４分割された垂直方向転送部（垂直方向転送部４２ａ、垂直方向転送部４２ｂ、垂直方向転送部４２ｃおよび垂直方向転送部４２ｄ）とをさらに含む。したがって、全画素の掃き出し時間は１／４に、フレームレートは４倍になり、２１０万画素のＣＣＤ型の撮像素子およびクロック速度＝１８ＭＨｚの条件で、フレームレートは３０ｆｐｓになる。その結果、手振れ補正に起因する画像劣化を目立たなくできる。撮像部５は左右に２分割してもよい。
【０１０２】
図７は、本発明の実施の形態におけるフレームレートを速くした場合の動作図である。
【０１０３】
露出時間＝１／４秒の場合、１／８秒毎にフレームを得る。このとき、ｘ方向の手振れ量＝∫０（ｘｉ＋ｘｉ＋１）ｄｔ≒（（ｘ１＋ｘ２）＋（ｘ３＋ｘ４））／２である。
【０１０４】
露出時間＝１／２秒の場合、フレームレートを高くすることにより、１／１６秒毎にフレームを得る。このとき、ｘ方向の手振れ量≒（ｘ１＋ｘ２＋ｘ３＋ｘ４＋ｘ５＋ｘ６＋ｘ７＋ｘ８）／８≒（（ｘ１＋ｘ２＋ｘ３＋ｘ４）／２＋（ｘ５＋ｘ６＋ｘ７＋ｘ８）／２）／４である。
【０１０５】
露出時間が長い場合は、フレームレートを速くし、多くのフレームを得るようにする。その結果、手振れ量を詳細に検出することが可能になり、手振れ補正に起因した画像劣化を減少することが出来る。
【０１０６】
このように、本発明の撮影装置によれば、複数のフレームを示す情報を揺動補正し、静止画を示す情報を生成することができるため、手ぶれ補正された１枚の静止画像を得ることができる。
【０１０７】
以上、（１．撮影装置）〜（４．フレームレートの変更）において、図１〜図７を参照して本発明の実施の形態の一例を説明した。
【０１０８】
例えば、図１〜図７に示される実施の形態では、揺動量検出手段１５が「撮影された静止像を表す複数のフレーム間の揺動量を検出する揺動量検出手段」に対応し、揺動補正部９が「検出された揺動量に応じて、複数のフレームを示す複数のフレーム情報を補正する揺動補正手段」に対応し、主画像メモリ３０が「揺動補正された複数のフレーム情報を記憶する記憶手段」に対応し、演算部２９が「記憶手段に記憶された複数のフレーム情報に基づいて、静止像を示す静止画像情報を生成する情報生成手段」に対応する。
【０１０９】
しかし、本発明の撮影装置が図１〜図７に示される実施の形態に限定されるわけではない。撮影装置が備える各構成要素が、上述した「撮影された静止像を表す複数のフレーム間の揺動量を検出する揺動量検出手段」、「検出された揺動量に応じて、複数のフレームを示す複数のフレーム情報を補正する揺動補正手段」、「揺動補正された複数のフレーム情報を記憶する記憶手段」および「記憶手段に記憶された複数のフレーム情報に基づいて、静止像を示す静止画像情報を生成する情報生成手段」の各々の機能を有する限りは、任意の構成を有し得る。
【０１１０】
５．撮影方法１
図８は、本発明の実施の形態の撮影処理の手順（ステップ５０ａ〜ステップ５０ｆ）を示す。
【０１１１】
図９は、本発明の実施の形態の撮影処理の手順（ステップ５１ａ〜ステップ５１ｙ）を示す。
【０１１２】
図１０は、本発明の実施の形態の撮影処理の手順（ステップ５２ａ〜ステップ５２ｔ）を示す。
【０１１３】
以下、図１および図８〜図１０を参照して、本発明の実施の形態の撮影処理の手順をステップごとに説明する。
【０１１４】
図８を参照して、ステップ５０ａ〜ステップ５０ｆを説明する。
【０１１５】
ステップ５０ａ：操作者が、静止画の撮影を準備する。
【０１１６】
ステップ５０ｂ：操作者が、シャッターボタン２５を半押しにすると、処理クロック供給部２８が演算部２９等のクロックの動作開始又はクロック速度を向上するように、ＣＰＵ２６がクロック制御手段２７に指令を与える。処理クロック供給部２８が演算部２９等のクロックの動作開始又はクロック速度を向上すると、処理はステップ５０ｃに進む。
【０１１７】
ステップ５０ｃ：撮像部５は、設定解像度より小さい画像、または間引きした画像を取り出す。ｎ−１番目の画像を示すデータとｎ番目の画像を示すデータとに基づいて、ｎ−１番目の画像とｎ番目の画像との特定点または特定領域の位置の差情報を生成し、揺動情報（揺動量）を得る。
【０１１８】
ステップ５０ｄ：撮影場所の明るさが暗く設定解像度が一定値以上の条件下で、揺動情報（揺動量）が所定の値より大きいか否かを判定する。所定の値より大きい場合（Ｙｅｓ）には、処理はステップ５０ｅに進む。所定の値と同じまたは所定の値より小さい場合（Ｎｏ）には、処理はステップ５０ｆに進む。
【０１１９】
ステップ５０ｅ：揺動情報の値に応じて表示部１２に“手振れ注意”の警告を表示する。
【０１２０】
ステップ５０ｆ：操作者はシャッターボタン２５を押すか否かを判断する。押す（Ｙｅｓ）場合には、処理はステップ５１ａ（図７参照）に進む。押さない（Ｎｏ）場合には、ステップ５０ｆの処理が繰り返される。
【０１２１】
以下、図９を参照して、ステップ５１ａ〜ステップ５１ｙを説明する。
【０１２２】
ステップ５１ａ：シャッター速度（露光時間）がｔ１より長いか否かが判定される。例えば、ＣＰＵ２６が、シャッター速度（露光時間）がｔ１より長いか否かを判定する。
【０１２３】
ズーム部６のズーム比が一定値以下で、シャッター速度（露光時間）がｔ１と同じまたはｔ１より短い場合（Ｎｏ）には、処理はステップ５１ｂに進む。シャッター速度（露光時間）がｔ１より長い場合（Ｙｅｓ）には、処理はステップ５１ｄに進む。
【０１２４】
ステップ５１ｂ：揺動補正なし（手振れ補正なし）で撮影する。
【０１２５】
ステップ５１ｃ：撮影が完了し、処理が終了する。
【０１２６】
ステップ５１ｄ：手段振れ補正優先スイッチをＯＮにする。
【０１２７】
ステップ５１ｅ：シャッター速度（露光時間）がｔ２より長いか否かが判定される。
【０１２８】
シャッター速度（露光時間）がｔ２と同じまたはｔ２より短い場合（Ｎｏ）には、処理はステップ５１ｆに進む。シャッター速度（露光時間）がｔ２より長い場合（Ｙｅｓ）には、処理はステップ５１ｈに進む。
【０１２９】
ステップ５１ｆ：手振れが激しいか否か、ズーム比が一定値より大きいか否かが判定される。
【０１３０】
手振れが激しくなく、ズーム比が一定値より大きい場合（Ｎｏ）には、処理はステップ５１ｇに進む。手振れが激しく、ズーム比が一定値以下である場合（Ｙｅｓ）には、処理はステップ５１ｉに進む。
【０１３１】
ステップ５１ｇ：解像度を予め設定されている解像度Ｎ０に設定したままで手振れ補正ルーチン（ステップ５１ｒ）に進む。
【０１３２】
ステップ５１ｈ：設定解像度Ｎ０が所定解像度Ｎ１より高いか否かが判定される。
【０１３３】
設定解像度Ｎ０が所定解像度Ｎ１であるか所定解像度Ｎ１より低い場合（Ｎｏ）には、処理はステップ５１ｒに進む。設定解像度Ｎ０が所定解像度Ｎ１より高い場合（Ｙｅｓ）には、処理はステップ５１ｉに進む。
【０１３４】
ステップ５１ｉ：クロック制御手段２７によって画素転送部２３の転送クロックを速くする。こうしてフレームレートを上げる。
【０１３５】
ステップ５１ｊ：手振れが激しいか否かを判定する。
【０１３６】
手振れが激しくなく、ズーム比が所定値以下、つまり手振れが非常に少ない場合（Ｎｏ）には、処理はステップ５１ｋに進む。手振れが激しい時や、ズーム比等の値が所定値より大きい場合、つまり手振れがある程度ある場合（Ｙｅｓ）には、処理はステップ５１ｍへ進む。
【０１３７】
ステップ５１ｋ：所定解像度Ｎ１のまま、処理はステップ５１ｒに進む。
【０１３８】
ステップ５１ｍ：設定解像度が所定解像度Ｎ２より高いか否か、またはフレームレートが所定値ｆｎより低いか否かが判定される。
【０１３９】
設定解像度が所定解像度Ｎ２と同じ、または所定解像度Ｎ２より低い場合、あるいは、フレームレートが所定値ｆｎと同じ、または所定値ｆｎより高い場合（Ｎｏ）には、処理はステップ５１ｒに進む。
【０１４０】
設定解像度が所定解像度Ｎ２より高い場合、またはフレームレートが所定値ｆｎより低い場合（Ｙｅｓ）には、処理はステップ５１ｎに進む。
【０１４１】
ステップ５１ｎ：解像度を所定解像度Ｎ１より低い解像度Ｎ２に設定するために、処理はステップ５１ｐに進む。
【０１４２】
ステップ５１ｐ：解像度変更部２４および間引き制御部２５ａによって、撮像部５からの画素出力を間引くか、面内方向の複数の画素を示す情報を加算して一つの画素を示す情報を生成し、画素数（即ち、解像度）を下げる（解像度Ｎ２に設定）。
【０１４３】
ステップ５１ｑ：解像度を所定解像度Ｎ１より低い解像度Ｎ２に設定した結果、フレームレートの最高速度の値が上がる。フレームレートを上げる。
【０１４４】
ステップ５１ｒ：複数のフレーム（画像）を撮影装置１００にとり込むために、手振れ補正ルーチンのための撮影画像の入力を開始するか否かを判定する。撮影画像の入力を開始する場合（Ｙｅｓ）には、処理はステップ５１ｙに進む。
【０１４５】
ステップ５１ｙ：露出時間（即ち、シャッター時間）、絞り値およびフレームレートに基づいて、分割露光するために必要な総枚数ｎｌａｓｔを演算する。手振れの激しい時は各静止画のシャッター時間を短くする。
【０１４６】
ステップ５１ｓ：ｎ＝０に設定する。
【０１４７】
ステップ５１ｔ：ｎを１つインクリメントする（ｎ＝ｎ＋１）。
【０１４８】
ステップ５１ｕ：ｎ枚目の画像を撮影し、撮像部５からｎ枚目の静止画像を副メモリ８にとり込む（ｎ枚目の静止画像データを得る）。
【０１４９】
ステップ５１ｖ：静止画像データが１枚目の静止画像データであるか否かを判定する。
【０１５０】
静止画像データが１枚目の静止画像データである場合（Ｙｅｓ）には、処理はステップ５１ｗに進む。静止画像データが１枚目の静止画像データでない場合（Ｎｏ）には、処理はステップ５２ａ（図１０参照）に進む。
【０１５１】
ステップ５１ｗ：撮像部５の画像の一部を切り出し、画像データＩ１を得る。
【０１５２】
ステップ５１ｘ：画像データＩ１を主画像メモリ３０に保存する。
【０１５３】
以下、図８を参照して、ステップ５２ａ〜ステップ５２ｔを説明する。
【０１５４】
ステップ５２ａ：揺動検出手段１５によって、１枚目の画像データと２枚目の画像データとの特定点の動きを演算し、揺動量Ｍｎを算出する（図２参照）。
【０１５５】
揺動検出手段１５に含まれる第１メモリ１６に、時刻ｔ＝ｔ１に撮影された１枚目の画像Ｄ１を示す画像データが格納されており、かつ揺動検出手段１５に含まれる第２メモリ１７に、時刻ｔ＝ｔ２に撮影された２枚目の画像Ｄ２を示す画像データが格納されている場合には、揺動検出手段１５は、２枚の画像を示すデータ（画像Ｄ１を示す画像データおよび画像Ｄ２を示す画像データ）に基づいて、画像Ｄ１と画像Ｄ２との間の揺動量Ｍ１（例えば、動きベクトル（ｘ１、ｙ１））を検出し、揺動量を示すデータを出力する。
【０１５６】
ステップ５２ｂ：揺動量Ｍｎの積分値が一定値以上か否かを判定する。
【０１５７】
揺動量Ｍｎの積分値が一定値以上である場合（Ｙｅｓ）には、撮影画像が特定領域をはみ出したと判定され、処理はステップ５２ｃに進む。揺動量Ｍｎの積分値が一定値より小さい場合（Ｎｏ）には、処理はステップ５２ｓに進む。
【０１５８】
ステップ５２ｃ：エラーレジスタに１が追加される。ｎ番目の画像を主画像メモリ３０に保存しないで、処理はステップ５２ｈに進む。
【０１５９】
ステップ５２ｓ：揺動量Ｍｎの積分値が別の一定値以上か否かが判定され、揺動量Ｍｎの積分値が別の一定値以上である場合には、第２エラーレジスタに１が追加される。
【０１６０】
ステップ５２ｄ：撮像部５から出力された画像データのうち、揺動量Ｍｎに応じてタテ方向に切り出された画像データＩｎを副画像メモリ８に保存する。
【０１６１】
ステップ５２ｅ：ストロボをＯＮにするか否かを判定する。ストロボをＯＮにする場合（Ｙｅｓ）には、処理はステップ５２ｆに進む。ストロボをＯＮにしない場合（Ｎｏ）には、処理はステップ５２ｇに進む。
【０１６２】
ステップ５２ｆ：マスキング部２０によって、画像データＩｎを予めマスキングする（図４および（３．マスキングの動作）参照）。
【０１６３】
ステップ５２ｇ：揺動補正部９からヨコ方向の揺動とタテ方向の揺動とが補正された画像データＩｎを得る。
【０１６４】
例えば、画像データＩｎを演算部２９に送り、主画像メモリ３０の画像データと画像データＩｎとを演算（例えば、加算、積分）し、再び、演算結果を主画像メモリ３０に保存する。
【０１６５】
ステップ５２ｈ：揺動補正制御部２１は、ｎ＝ｎｌａｓｔ（即ち、最後の値）であるか否かを判定する。
【０１６６】
ｎ＝ｎｌａｓｔである場合（Ｙｅｓ）には、処理はステップ５２ｉに進む。ｎ＝ｎｌａｓｔでない場合（Ｎｏ）には、もう１枚画像データを取り込むために、処理はステップ５１ｔ（図９参照）に進む。
【０１６７】
ステップ５２ｉ：クロック制御手段２７によって撮像部５の転送クロックを下げる。または、省電力のために、撮像部５の転送クロックを停止させる。
【０１６８】
ステップ５２ｊ：第２エラーレジスタの値が一定値以上であるか否かを判定する。
【０１６９】
第２エラーレジスタの値が一定値より小さい場合（Ｎｏ）には、処理はステップ５２ｎに進む。第２エラーレジスタの値が一定値以上である場合（Ｙｅｓ）には、処理はステップ５２ｋに進む。
【０１７０】
ステップ５２ｋ：積分画像をリサイズすることによって、欠除部を排除可能か否か（欠除部の範囲が排除可能な範囲内であるか否か）を判定する。
【０１７１】
例えば、補正画像３３ｃには欠除部３４ａが生じている（図４参照）。この場合には、積分画像３５ｃにも欠除部３４ｂが生じてしまう。したがって、欠除部３４ｂを排除するために、積分画像３５ｃをリサイズする必要がある。この場合に、積分画像３５ｃをリサイズすることによって欠除部３４ｂを排除可能か否か（欠除部３４ｂの範囲が排除可能な範囲内であるか否か）を判定する。
【０１７２】
排除可能な場合（Ｙｅｓ）には、処理はステップ５２ｍに進む。排除可能でない場合（Ｎｏ）には、処理はステップ５２ｐに進む。
【０１７３】
ステップ５２ｍ：積分画像３５ｃをリサイズすることによって欠除部３４ｂを排除し、欠除部のない積分画像３５ｄを得る（図４参照）。
【０１７４】
ステップ５２ｎ：積分画像３５ｄを示すデータを記録媒体１４に記録する。
【０１７５】
ステップ５２ｐ：手振れ補正しても欠除部を排除不可能であるため、操作者に手振れ補正の失敗を伝える。例えば、表示部１２に“手振れ補正エラー（範囲外である）”との意味の表示をする（図１参照）。また、スピーカー３７からエラー警告音を出力する。また、バイブレーター３６を振動させる。
【０１７６】
ステップ５２ｑ：主表示設定がＯＮか否か判定する。
【０１７７】
主表示設定がＯＮである場合（Ｙｅｓ）には、処理はステップ５２ｒに進む。主表示設定がＯＮでない場合（Ｎｏ）には、処理はステップ５２ｔに進む。
【０１７８】
ステップ５２ｒ：主画像メモリ３０に格納されている手振れ補正された積分画像、またはリサイズされた画像を表示部１２に表示する。
【０１７９】
ステップ５２ｔ：手振れ補正された画像を記録媒体１４に記録する。一定時間経過後、別の手振れ補正された画像を撮影する場合には、再び最初のステップ５０ａに戻る（図８参照）。
【０１８０】
このように、本発明の撮影方法によれば、複数のフレームを示す情報を揺動補正し、静止画を示す情報を生成することができるため、手振れ補正された１枚の静止画像を得ることができる。
【０１８１】
以上、（５．撮影方法１）において、図１および図８〜図１０を参照して、本発明の実施の形態の一例を説明した。
【０１８２】
例えば、図８〜図１０に示される実施の形態では、ステップ５２ａが「撮影された静止像を表す複数のフレーム間の揺動量を検出するステップ」に対応し、ステップ５２ｂ〜ステップ５２ｇが「検出された揺動量に応じて、複数のフレームを示す複数のフレーム情報を補正するステップ」に対応し、ステップ５２ｇが「揺動補正された複数のフレーム情報を記憶するステップ」に対応し、ステップ５２ｇまたはステップ５２ｍが「記憶手段に記憶された複数のフレーム情報に基づいて、静止像を示す静止画像情報を生成するステップ」に対応する。
【０１８３】
しかし、本発明の撮影方法が図８〜図１０に示される実施の形態に限定されるわけではない。撮影方法に包含される各ステップが、上述した「撮影された静止像を表す複数のフレーム間の揺動量を検出するステップ」、「検出された揺動量に応じて、複数のフレームを示す複数のフレーム情報を補正するステップ」、「揺動補正された複数のフレーム情報を記憶するステップ」および「記憶手段に記憶された複数のフレーム情報に基づいて、静止像を示す静止画像情報を生成するステップ」の各々が有する機能を有する限りは、任意の手順を有し得る。
【０１８４】
例えば、図８〜図１０を参照して説明したように、演算部２９は、主画像メモリ３０に記憶された複数の画像データ（フレーム情報）の各々を順次演算することによって、静止画像情報を生成する。また、演算部２９は、主画像メモリ３０に記憶された複数の画像データ（フレーム情報）を一括して演算することによって、静止画像情報を生成してもよい。
【０１８５】
６．撮影方法１（順次演算）
図１１は、本発明の実施の形態の順次演算処理手順を示す。順次演算処理手順は、複数の画像データ（フレーム情報）の各々を順次演算することによって、静止画像情報を生成する手順である。
【０１８６】
以下、図１と図１１とを参照して、撮影準備終了後（図９のステップ５１ｓ以降）の順次演算処理手順をステップごとに説明する。
【０１８７】
ステップ１０ａ：ｎ＝０に設定する。
【０１８８】
ステップ１０ｂ：ｎを１つインクリメントする（ｎ＝ｎ＋１）。
【０１８９】
ステップ１０ｃ：ｎ枚目の画像を撮影し、副メモリ８にとり込む。
【０１９０】
ステップ１０ｄ：ｎ枚目の画像を手振れ補正し、手振れ補正された画像Ｐｎを得る。
【０１９１】
ステップ１０ｅ：演算部２９は、手振れ補正された画像Ｐｎを示すデータをｍ倍する（Ｐｎ×ｍ）。
【０１９２】
ステップ１０ｆ：演算部２９は、ｍ倍された画像Ｐｎを示すデータを主画像メモリ３０の画像データに加算する（Σｎ−１ｉ＝１（Ｐｉ×ｍ）＋（Ｐｎ×ｍ））。
【０１９３】
ステップ１０ｇ：加算結果を主画像メモリ３０に蓄積する。
【０１９４】
ステップ１０ｈ：ｎ＝ｎｌａｓｔ（即ち、最後の値）であるか否かを判定する。
【０１９５】
ｎ＝ｎｌａｓｔである場合（Ｙｅｓ）には、処理はステップ１０ｉに進む。ｎ＝ｎｌａｓｔでない場合（Ｎｏ）には、もう１枚の画像データを取り込むために、処理はステップ１０ｂに進む。
【０１９６】
ステップ１０ｉ：副演算部２９ａは、ｍ倍され、順次加算された画像データを１／ｓ倍し、静止画を示す画像データＰｘを生成する（Ｐｘ＝（Σｎｉ＝１（Ｐｉ×ｍ））／ｓ）。
【０１９７】
ステップ１０ｊ：生成された画像データＰｘを記録部１３に出力する。
【０１９８】
記録部１３に出力した後、処理は終了する。
【０１９９】
このように、順次演算処理手順によれば、複数の画像データ（フレーム情報）の各々を順次演算することによって、静止画像情報を生成するため、静止画像情報の生成時間を短縮することができる。
【０２００】
また、演算部２９が、ｍ倍された画像Ｐｎを示すデータを主画像メモリ３０の画像データに加算し、副演算部２９ａが、ｍ倍され、順次加算された画像データを１／ｓ倍し、静止画を示す画像データＰｘを生成するため、ｍの値とｓの値とを任意に設定することによって、所望の明るさを有する１枚の静止画を得ることができる。
【０２０１】
７．撮影方法１（一括演算）
図１２は、本発明の実施の形態の一括演算処理手順を示す。一括演算処理手順は、複数の画像データ（フレーム情報）を一括して演算することによって、静止画像情報を生成する手順である。
【０２０２】
以下、図１と図１２とを参照して、撮影準備終了後（図９のステップ５１ｓ以降）の一括演算処理手順をステップごとに説明する。
【０２０３】
ステップ２０ａ：ｎ＝０に設定する。
【０２０４】
ステップ２０ｂ：ｎを１つインクリメントする（ｎ＝ｎ＋１）。
【０２０５】
ステップ２０ｃ：ｎ枚目の画像を撮影する。
【０２０６】
ステップ２０ｄ：ｎ枚目の画像を示すデータを主画像メモリ３０に蓄積する。
【０２０７】
ステップ２０ｅ：演算部２９は、ｎ＝ｎｌａｓｔ（即ち、最後の値）であるか否かを判定する。
【０２０８】
ｎ＝ｎｌａｓｔである場合（Ｙｅｓ）には、処理はステップ２０ｆに進む。ｎ＝ｎｌａｓｔでない場合（Ｎｏ）には、もう１枚の画像データを取り込むために、処理はステップ２０ｂに進む。
【０２０９】
ステップ２０ｆ：ｎ枚の画像を手振れ補正する。手振れ補正されたｎ枚の画像の各々を画素積分し、１枚の静止画を示す画像データＰｘを生成する。
【０２１０】
ステップ２０ｇ：生成された画像データＰｘを記録部１３に出力する。
【０２１１】
記録部１３に出力した後、処理は終了する。
【０２１２】
このように、一括演算処理手順によれば、複数の画像データ（フレーム情報）を一括演算することによって、静止画像情報を生成するため、演算部２９の負荷を低減することができる。
【０２１３】
なお、上述の（６．撮影方法１（順次演算））で説明したように、副演算部２９ａによって、画像データを適宜ｍ倍、１／ｓ倍することができるため、所望の明るさを有する１枚の静止画を得ることができる。
【０２１４】
８．撮影方法２
図１３は、撮影場所の明るさや、シャッター速度（露光時間）に応じて、複数の画像（分割画像）を積分することによって、手振れ補正を行うための処理手順を示す。
【０２１５】
以下、この処理手順をステップごとに説明する。
【０２１６】
ステップ９９ａ：解像度、画素数および分割画像数を設定する。
【０２１７】
ステップ９９ｂ：手段振れ補正優先スイッチがＯＮであるか否かを判定する。
【０２１８】
ＯＮでない場合（Ｎｏ：解像度優先モード）には、例えば、処理はステップ８０ｃ（後述される図１９参照）に進む。ＯＮである場合（Ｙｅｓ：手段振れ補正優先モード）には、処理はステップ９９ｃに進む。
【０２１９】
ステップ９９ｃ：撮影場所の明るさが、解像度に応じて定められた所定値より小さいか否かが判定される。
【０２２０】
所定値より小さい場合（Ｙｅｓ）には、処理はステップ９９ｆに進む。所定値と同じか所定値より大きい場合（Ｎｏ）には、処理はステップ９９ｄに進む。
【０２２１】
ステップ９９ｄ：シャッタ開口時間（露光時間）Ｓが、解像度に応じて定められた所定値より大きいか否かが判定される。
【０２２２】
所定値より大きい場合（Ｙｅｓ）には、処理はステップ９９ｆに進む。所定値と同じか所定値より小さい場合（Ｎｏ）には、処理はステップ９９ｅに進む。
【０２２３】
ステップ９９ｅ：手振れ量が所定値より大きいか否かが判定される。
【０２２４】
所定値より大きい場合（Ｙｅｓ）には、処理はステップ９９ｆに進む。所定値と同じか所定値より小さい場合（Ｎｏ）には、通常撮影（時間方向の画素加算をしない撮影）を行う（ステップ９９ｍ）。
【０２２５】
ステップ９９ｆ：撮影場所の明るさ、シャッタ開口時間（露光時間）およびフレームレートのうちの少なくとも１つに応じて、手振れが目立たない解像度（限界解像度）Ｎ１を設定する。
【０２２６】
設定後、処理はステップ９９ｇに進む。
【０２２７】
ステップ９９ｇ：解像度Ｎ１が初期解像度Ｎ０より大きいか否かを判定する。
【０２２８】
大きい場合（Ｙｅｓ）には、通常撮影（時間方向の画素加算をしない撮影）を行う（ステップ９９ｍ）。同じか小さい場合（Ｎｏ）には、処理はステップ９９ｈに進む。
【０２２９】
ステップ９９ｈ：解像度Ｎ１を初期解像度Ｎ０より小さい解像度Ｎ２に変更する。
【０２３０】
ステップ９９ｉ：水平方向の画素加算（水平加算処理）および垂直方向の画素加算（垂直加算処理）のうちの少なくとも一方を実施し、解像度をＮ２に設定する。水平加算処理および垂直加算処理の詳細は、後述される。
【０２３１】
ステップ９９ｊ：フレームレートを上げる。
【０２３２】
ステップ９９ｋ：多重撮影を行う（時間方向、画素加算モード）。次に、処理は、例えば、ステップ５１ｙ（図９参照）に進む。
【０２３３】
９．解像度の変更
図１４は、面内画素加算と時間軸内画素加算とによって解像度を変更する手順を示す。
【０２３４】
以下、図１４を参照して面内画素加算と時間軸内画素加算とによって解像度を変更する手順をステップごとに説明する。
【０２３５】
ステップ７０ａ：撮像素子内の９個の画素（画素６０ａ〜画素６０ｉ）を示すデータを面内方向に加算して、１つの画素６２を示すデータを生成する。
【０２３６】
ステップ７０ｂ：実際のアドレスより多い仮想アドレスを設定する（実際のアドレスの量を拡大することによって、仮想アドレスを設定する）。手振れ補正情報（揺動情報）に応じて仮想的な切り出し部６５を設定する。
【０２３７】
ステップ７０ｃ：手振れ補正情報に応じて、仮想アドレス上で、画像６１を示すデータをシフトする。この場合、元の画素６２を示すデータと周囲の画素を示すデータとに基づいて、新たな画素６６を示すデータを生成する。
【０２３８】
図１５は、本発明の実施の形態による実際の画素数より多い画素数を設定して手振れを補正する原理を示す。手振れ補正量は画素の１／１０の分解能をもつため、精密に補正するために、画素６２を１０分割した仮想画素６７を生成し、仮想画素６７をシフトする。
【０２３９】
仮想画素６７を仮想空間上でシフトした後、処理はステップ７０ｄに進む。
【０２４０】
ステップ７０ｄ：画像を切り出す。
【０２４１】
ステップ７０ｅ：切り出し画像６４を示すデータを得る。はみ出した部分６８を示すデータは捨てる。
【０２４２】
ステップ７０ｆ：主画像メモリ３０に切り出し画像６４を示すデータを記録する。この時の手振れ補正量は、主画像メモリ３０に記録される。
【０２４３】
ステップ７０ｇ：新たな画像６１ａを示すデータが入力されると、ステップ７０ａ〜ステップ７０ｄと同様の処理を行う。
【０２４４】
ステップ７０ｈ：手振れ補正量に基づいて、切り出し画像６４ａを示すデータを得る。
【０２４５】
ステップ７０ｉ：切り出し画像６４の画素を示すデータと切り出し画像６４ａの画素を示すデータとを時間軸方向に加算（または積分）することによって、合成画像７１を示すデータを得る。
【０２４６】
ステップ７０ｊ：合成画像７１を示すデータを主画像メモリ３０に記録する。
【０２４７】
ステップ７０ｋ：新たな画像６１ｂを示すデータが入力されると、ステップ７０ａ〜ステップ７０ｅと同様の処理を行う。切り出し画像６４ｂを示すデータを得る。
【０２４８】
ステップ７０ｍ：合成画像７１の画素を示すデータと切り出し画像６４ｂの画素を示すデータを時間軸方向に加算することにより、合成画像７１ａを示すデータを得る。
【０２４９】
ステップ７０ｎ：１回目の手振れ補正量６９、２回目の手振れ補正量６９ａおよび３回目の手振れ補正量６９ｂを演算することにより、手振れ補正量７２を生成する。手振れ補正量７２に基づいて、３枚の画像が重複して加算された重複領域７３を合成画像７１ａから特定する。
【０２５０】
ステップ７０ｐ：重複領域７３を示すデータに対してズーミング演算を行うことにより、拡大補間し、拡大画像７４を示すデータを得る。拡大補間および縮小補間の詳細は後述される。
【０２５１】
手振れ補正された静止画７４を示すデータを得て、処理は終了する。
【０２５２】
図１４を参照して説明された実施の形態では、３枚の画像を積分する例を説明したが、積分される画像の枚数は３枚に限らない。例えば、露光時間が長くなると、より多くの画像を積分する。より多くの画像を積分することによって、暗い場所の撮影が可能となる。
【０２５３】
図１６は、面内方向の加算方法を示す。面内方向の加算は、垂直方向の加算と水平方向の加算とを含む。
【０２５４】
図１６（ａ）は、垂直方向の加算方法を示す。垂直方向の読み出し時にＲ（赤）（ｍ、ｎ＋１）とＲ（ｍ、ｎ）とを垂直加算処理し、Ｒ（ｍ、ｎ＋１）＋Ｒ（ｍ、ｎ）を生成する。
【０２５５】
図１６（ｂ）は、水平方向の加算方法を示す。同じ色同志の画素を水平方向に加算する。例えば、Ｇ（ｍ、ｎ＋１）＋Ｇ（ｍ、ｎ）とＧ（ｍ＋１、ｎ＋１）＋Ｇ（ｍ＋１、ｎ）とを水平加算処理し、Ｇ（ｍ、ｎ＋１）＋Ｇ（ｍ、ｎ）＋Ｇ（ｍ＋１、ｎ＋１）＋Ｇ（ｍ＋１、ｎ）を生成する。
【０２５６】
図１６を参照して説明したように、面内方向の加算によって、４画素を示すデータから１画素を示すデータを生成することができる。
【０２５７】
なお、以下に説明するように、面内方向の加算処理において、画像の切り出し位置をシフトすることによって、さらに正確に画像を切り出すことができる。
【０２５８】
図１７は、画像の切り出し位置のシフトを説明するための図である。
【０２５９】
加算切り換え手段１０２ａと加算切り換え手段１０２ｂとは、揺動検出手段１５（図１参照）から出力された補正信号または検出信号（揺動情報）に応じて、加算モードをＡモード１０３とＢモード１０４との間で切り替える。このように、面内方向の加算処理（図１６参照）において、画像の切り出し位置を１画素分シフトすることによって、さらに正確に画像を切り出すことができる。
【０２６０】
図１８は、縮小補間の原理、拡大補間の原理、および高分解能の手振れ補正の原理を示す。図１８（ａ）は、縮小補間の原理を示す。元の画素（８個）から縮小補間された画素（６個）を得ることができる。図１８（ｂ）は、拡大補間の原理を示す。元の画素（６個）から拡大補間された画素（８個）を得ることができる。図１８（ｃ）は、高分解能の手振れ補正の原理を示す。
【０２６１】
１０．手振れ検出に失敗した画像の除去
図１９は、手振れ検出に失敗した画像を除去する手順を示す。
【０２６２】
以下、図１９を参照して手振れ検出に失敗した画像を除去する手順をステップごとに説明する。
【０２６３】
ステップ８０ａ：シャッター速度（露光時間）がｔ’より長いか否かが判定される。
【０２６４】
シャッター速度（露光時間）がｔ’より長い場合（Ｙｅｓ）には、処理はステップ８０ｂに進む。
【０２６５】
ステップ８０ｂ：手振れが激しいか否かが判定される。
【０２６６】
手振れが激しくない場合（Ｎｏ）には、処理はステップ８０ｃに進む。手振れが激しい場合（Ｙｅｓ）には、処理はステップ８０ｄに進む。
【０２６７】
ステップ８０ｃ：解像度を予め設定されている解像度に設定したままで、撮影を行う。
【０２６８】
ステップ８０ｄ：手振れ補正を優先的に行うか否かを判定する。手振れ補正を優先的に行うための設定がＯＮである場合（Ｙｅｓ）には、処理はステップ８０ｅに進む。手振れ補正を優先的に行うための設定がＯＮでない場合（Ｎｏ）には、処理はステップ８０ｃに進む。
【０２６９】
ステップ８０ｅ：手振れ補正モードが表示される。
【０２７０】
ステップ８０ｆ：露光時間ｔがｔ１＜ｔ＜ｔ２であるか否かを判定する。
【０２７１】
露光時間ｔがｔ１＜ｔ＜ｔ２である場合（Ｙｅｓ）には、処理はステップ８１ｄに進み、面内画素が加算され（ステップ８１ｄ）、露光時間ｔをｔ＜ｔ１に設定し（ステップ８１ｅ）、撮影が開始される（ステップ８１ｆ）。
【０２７２】
露光時間ｔがｔ１＜ｔ＜ｔ２でない場合（Ｎｏ）には、処理はステップ８０ｇに進み、ｔ２＜ｔ＜ｔ３であるか否かを判定し、ｔ２＜ｔ＜ｔ３でない場合（Ｎｏ）には、処理を停止する（ステップ８１ｇ）。ｔ２＜ｔ＜ｔ３である場合（Ｙｅｓ）には、処理はステップ８０ｈに進む。
【０２７３】
ステップ８０ｈ：面内の画素加算の設定を行う。
【０２７４】
ステップ８０ｉ：露光時間ｔをｔ＜ｔ２にし、手振れ補正用に撮影する画像数Ｐを求める。
【０２７５】
ステップ８０ｊ：撮影を開始する。Ｒ＝０に設定する。
【０２７６】
ステップ８０ｋ：ｎ＝０に設定する。
【０２７７】
ステップ８０ｍ：ｎ＝ｎ＋１に設定する。
【０２７８】
ステップ８０ｎ：第ｎ番目の画像の面内方向の画素加算を行う。
【０２７９】
ステップ８０ｐ：手振れの検出を行う。
【０２８０】
ステップ８０ｑ：手振れの検出に成功したか否かを判定する。
【０２８１】
手振れの検出に失敗した場合（Ｎｏ）には、Ｒ＝Ｒ＋１とし（ステップ８０ｒ）、Ｒ＜Ｒ０であるか否か（Ｒが設定値Ｒ０より小さいか否か）を判定し、Ｒ＜Ｒ０でない場合（Ｎｏ）には、処理が停止される（ステップ８０ｔ）。Ｒ＜Ｒ０である場合（Ｙｅｓ）には、動きベクトルの検出点および動きベクトルの検出数のうちの少なくとも一方を変更し（ステップ８０ｖ）、最初から補正作業をやり直すために、処理はステップ８０ｋに進む。
【０２８２】
手振れの検出に成功した場合（Ｙｅｓ）には、処理はステップ８０ｕに進む。
【０２８３】
ステップ８０ｕ：主画像メモリ３０に補正後の画像を蓄積する。
【０２８４】
ステップ８０ｗ：ｎ＝Ｐであるか否かを判定する。
【０２８５】
ｎ＝Ｐでない場合（Ｎｏ）には、処理はステップ８０ｍに進む。ｎ＝Ｐである場合（Ｙｅｓ）には、手振れ補正用に撮影する全ての画像（全分割画像）の処理が終ったと判断され、処理はステップ８０ｘに進む。
【０２８６】
ステップ８０ｘ：主画像メモリ３０の中の複数の補正画像を時間軸方向に加算もしくは積分する。
【０２８７】
ステップ８０ｙ：１枚の画像を示すデータを生成する。
【０２８８】
ステップ８０ｚ：生成された１枚の画像を示すデータに対して間引き処理等を行い、表示部１２に表示する。
【０２８９】
ステップ８１ａ：操作者が画像保存スイッチをＯＮにするか否かを判断する。
【０２９０】
ステップ８１ｂ：画像を示すデータに対して圧縮処理（ＪＰＥＧ等）を行い、画像データの容量を小さくする。
【０２９１】
ステップ８１ｃ：記録媒体１４（例えば、ＩＣカード）に記録する。
【０２９２】
図１９を参照して説明したように、本発明の実施の形態によれば、手振れの検出に失敗した補正画像データの加算（積分）を防止できる。例えば、時間軸方向に加算（積分）した検出に失敗するような検出困難な画像の場合でも、手振れ補正された画像を得ることができる。また手振れの検出に失敗した画像の次の画像から時間軸方向の積分を開始することができるため、時間利用効率が良い。
【０２９３】
１１．手振れ量の表示
図２０は、本発明の実施の形態の撮影装置２００の構成を示す。
【０２９４】
撮影装置２００は、撮影装置１００と同様に、手振れ量の表示を行うことができる。撮影装置２００は、手振れ量演算部９２と、軌跡演算部９１と、表示部９５と、スピーカ９７と、バイブレータ９８と、ＣＰＵ９９と、振動ジャイロ１０１ａと、振動ジャイロ１０１ｂとを含む。
【０２９５】
手振れ量演算部９２（揺動検出手段１５：図１参照）は、手振れ量（揺動量）を演算し、表示回路を介して表示部９５に出力する。軌跡演算部９１は、手振れ補正しても補正しきれなかった手振れの軌跡を演算し、表示回路を介して表示部９５に出力する。
【０２９６】
ＣＰＵ９９は、手振れ量が所定の値より大きいか否かを判定し、所定の値より大きい場合には、表示部９５、スピーカ９７およびバイブレータ９８のうちの少なくとも１つに、判定結果を出力するよう指示する。
【０２９７】
表示部９５は、ＣＰＵ９９の指示に従って、判定結果を表示する。スピーカ９７は、ＣＰＵ９９の指示に従って、警告音を発生する。バイブレータ９８は、ＣＰＵ９９の指示に従って、振動する。
【０２９８】
図２１は、撮影装置２００に含まれる表示部９５の一例を示す。
【０２９９】
表示部９５では、手振れ量が、インジケーター９３、９３ａ、９３ｂ、９３ｃによって、表示される。撮影者がこの表示を目視することによって、撮影者は手振れ量と手振れ方向とを確認することができる。手振れ量と手振れ方向とを確認することによって、撮影者はカメラの固定方法を変更する。その結果、人間の操作により通常より手振れの少ない静止画を得ることができる。
【０３００】
図２２は、撮影装置２００に含まれる表示部９５の別の例を示す。
【０３０１】
表示部９５では、手振れ補正しても補正しきれなかった手振れの軌跡が、軌跡９４ｂおよび軌跡９４ｄのように表示される。撮影者がこの表示を目視することによって、撮影後に、その静止画がどの程度手振れしているかを確認することができる。手振れの失敗をカメラの小さな表示部で確認できるので、撮影者は、手振れ補正の失敗をチェックできる。流し撮りモード（例えばパンニング、パノラマ撮影）の場合には、タテ方向の手振れのみをチェックしてもよい。
【０３０２】
なお、表示部９５では、手段振れ量（ｘ、ｙ）が所定の値（ｘ０、ｙ０）より大きい場合（（ｘ＞ｘ０、またはｙ＞ｙ０）あるいは（ｘ＞ｘ０、かつｙ＞ｙ０））には、警告表示を行ってもよい。また、スピーカは警告音を発生してもよい。所定の値（ｘ０、ｙ０）は、例えば、ズーム比に応じて設定される。
【０３０３】
さらに、表示部９５では、手段振れ量（ｘ、ｙ）が所定の値（ｘ０、ｙ０）より小さい場合（（ｘ＜ｘ０、またはｙ＜ｙ０）あるいは（ｘ＜ｘ０、かつｙ＜ｙ０））には、表示（例えば「ＯＫ」）を行ってもよい。また、スピーカは音を発生してもよい。所定の値（ｘ０、ｙ０）は、例えば、ズーム比に応じて設定される。
【０３０４】
図２３は、パンニングまたはパノラマ撮影時の境界インジケーター９７の表示を示す。
【０３０５】
図２３（ａ）は、３つのフレームに分けて撮影するための風景を示す。
【０３０６】
図２３（ｂ）は、フレーム９８ａを示す。図２３（ｃ）は、フレーム９８ｂを示す。図２３（ｄ）は、フレーム９８ｃを示す。図２３（ｅ）は、フレーム９８ｄを示す。
【０３０７】
図２３（ａ）に示された風景を右方向へパノラマ撮影する場合、手振れ補正用の動きベクトルの検出用の代表点である検出点９６ａ、９６ｂ、９６ｃ（図２３（ｂ）参照）のうちの検出点９６ａは、フレーム上を移動し、フレーム９８ｂの左端にくる（図２３（ｃ）参照）。この時、Ｌ１だけ画面が右にシフトしたことを動き検出のための揺動検出手段１５が検出し、図２３（ｂ）のフレームの右端の境界を示す境界インジケーター９７ａをフレーム右端からＬ１に位置に表示する（図２３（ｃ）参照）。
【０３０８】
同様にして、揺動検出手段１５が、Ｌ２だけ画面が右にシフトしたことを検出し、境界インジケーター９７ｂをフレーム右端からＬ２に位置に表示する（図２３（ｄ）参照）。
【０３０９】
同様にして、図２３（ｅ）では境界インジケーター９７ｃは画面左端にくる。この段階で撮影者は次の撮影位置にきたことを知ることができる。必要ならスピーカー３７（図１参照）により通知音を発生させ撮影者に知らせることができる。この時、撮影者がシャッターボタンを押すことにより、ほぼ完全なパノラマ撮影をすることができる。
【０３１０】
以上、検出点を画面上に複数個設定し、その検出点の動きベクトルから撮影者の移動をフレームの動きと見なして判別する方法を述べた。
【０３１１】
この方法では、手振れ補正のための手振れ検出手段によってパンニング検出を行う。しかし、図２０に示すように、振動ジャイロ１０１ａおよび振動ジャイロ１０１ｂを用いて手振れ検出を行う撮影装置では、振動ジャイロにより撮影者のパンニング回転角を検出し、１フレーム分の左右方向のパンニングに必要な回転角θ０をズーム検出部のズーム比に応じて求めることもできる。
【０３１２】
まず、図２３（ｂ）の状態では、右端に境界インジケータ９７を表示させる。この状態で撮影者は、パノラマ撮影の最初の１枚目を撮影する。次に、撮影者がカメラを右方向に回転角θ０パンニング（つまり回転）した場合、撮影者はカメラが２枚目のフレームの撮影位置にきたことがわかる。
【０３１３】
回転角θ０に達した時点で、左端に境界インジケータ９７ｃを表示する（図２３（ｅ）参照）。この時点で、回転角θ０に達したことをスピーカーもしくは表示によって撮影者に通知する。撮影者に次のシャッターを切らせることにより左右方向に正確なパノラマ撮影ができる。
【０３１４】
左右方向だけでなく、上下方向の境界インジケータ９９ａ、９９ｂを表示部１２に表示することにより、撮影者が容易に、上下と左右とが一致したパノラマ撮影をすることができる（図２３（ｂ）参照）。この場合、パンニング方向を表示画面上に矢印で示し、正しいパンニング方向を表示することによって、撮影者は矢印通りにカメラを向けるだけで容易にパノラマ撮影ができる。一般に、撮影者はカメラを手持ちして撮影するため、正確に撮影方向を定めることができない。しかし、カメラの手振れ補正機能を用いて画面の左右上下を自動的に調整することによって、極めて正確なパノラマ撮影が可能となる。
【０３１５】
なお、カメラの手振れ補正機能を用いて画面の左右上下を自動的に調整する場合でも、撮影したパノラマ画面と理想的なパノラマ画面との誤差が発生する。撮影状態の属性を示す属性データ（Ｅｘｉｆ等）に、この誤差を追加記録することによって、複数の画像を合成して１枚のパノラマ画像に変換する時に左右上下の位置合わせをより正確に行うことが可能になる。この誤差情報に基づて、誤差を修正できるからである。
【０３１６】
以上述べたことは、手振れ検出方式が電子検出方式である場合でも、同様に実現できる。
【０３１７】
図２４は、フレーム内の手振れ検出のための検出点を示す。手振れ検出の失敗が多い場合、またはフレームレートが遅い場合に、フレーム９８内での、検出点９６の位置の変更、または、検出点９６の数の増加によって、手振れ検出の成功率を上げることができる。
【０３１８】
このように、本発明の撮影装置によれば、撮影者は手振れの程度を確認することができる。手振れの程度を確認することによって、撮影者はカメラの固定方法を変更することができ、その結果、人間の操作により通常より手振れの少ない静止画を得ることができる。
【０３１９】
以上、（１１．手振れ量の表示）において、図１および図２０〜図２３を参照して本発明の実施の形態の一例を説明した。
【０３２０】
例えば、図１および図２０〜図２３に示される実施の形態では、揺動検出手段１５（手振れ量演算部９２）が「撮影された静止像を表す複数のフレーム間の揺動量を検出する揺動量検出手段」に対応し、ＣＰＵ９９が「揺動量が所定の値より大きいか否かを判定する判定手段」に対応し、表示部９５、スピーカ９７およびバイブレータ９８が「判定結果を出力する出力手段」に対応する。
【０３２１】
しかし、本発明の撮影装置が図１および図２０〜図２３に示される実施の形態に限定されるわけではない。撮影装置が備える各構成要素が、上述した「撮影された静止像を表す複数のフレーム間の揺動量を検出する揺動量検出手段」、「揺動量が所定の値より大きいか否かを判定する判定手段」および「判定結果を出力する出力手段」の各々の機能を有する限りは、任意の構成を有し得る。
【０３２２】
１２．軌跡演算部の動作
図２５を用いて本発明の軌跡演算部９１の動作を詳しく説明する。
【０３２３】
撮影装置（カメラ）１に生じた手振れに基づく揺動は、例えば、角速度検出部１０１ａ、１０１ｂによって検出される。角速度検出部１０１ａ、１０１ｂは、撮影装置１の揺動を示す揺動検出信号を出力する。
【０３２４】
角速度検出部１０１ａ、１０１ｂは、例えば、角速度センサであり得る。角速度センサは、例えば、互いに異なる複数の振動周波数を有する振動ジャイロであり得る。
【０３２５】
角速度検出部１０１ａ、１０１ｂから出力される揺動検出信号は、サンプリング周波数発生部１０４によって生成されるサンプリング周波数ｆＳでサンプリング回路１０２によってサンプリングされる。その結果、角速度を表すアナログデータがデジタルデータに変換される。
【０３２６】
このように、角速度検出部１０１ａ、１０１ｂは、撮影装置１の揺動を検出し撮影装置１の揺動を示す揺動検出信号を出力する揺動検出部として機能する。ただし、角速度検出部１０１ａ、１０１ｂは揺動検出部の単なる一例にすぎない。撮影装置１の揺動を検出し撮影装置１の揺動を示す揺動検出信号を出力するという機能を有する限り、揺動検出部は任意の構成を有し得る。
【０３２７】
軌跡演算部９１は、揺動検出部（例えば、角速度検出部１０１ａ、１０１ｂ）から出力される揺動検出信号に少なくとも基づいて、撮影装置１の揺動の軌跡を示す軌跡情報を取得する。例えば、軌跡演算部９１は、揺動検出信号の一定期間内の変化を示す情報を軌跡情報として取得し得る。例えば、揺動検出部が角速度センサを含む場合には、その角速度センサの出力を積分することにより角度情報を取得し、その角度情報の一定期間内の変化を示す情報を軌跡情報として取得してもよい。
【０３２８】
手振れ補正部１１５は、撮像部５から出力され、撮影映像メモリ１２０に格納される映像情報と軌跡情報とに演算処理することにより、その映像情報の揺動を補正した補正映像情報を取得する電子的揺動補正部として機能する。
【０３２９】
なお、電子的揺動補正部に代えて、揺動検出部（例えば、角速度検出部１０１ａ、１０１ｂ）から出力される揺動検出信号に応じて撮影装置１の揺動を機械的に補正することにより、現実の揺動補正量だけ映像情報の揺動を補正した補正映像情報を取得する機械的揺動補正部を設けるようにしてもよい。この場合には、軌跡演算部９１は、例えば、揺動検出信号と現実の揺動補正量との差分の一定期間内の変化を示す情報を軌跡情報として取得する。
【０３３０】
あるいは、第１揺動補正量だけ映像情報の揺動を補正した第１補正映像情報を取得する機械的揺動補正部に加えて、第２揺動補正量だけ第１補正映像情報の揺動を補正した第２補正映像情報を取得する電子的揺動補正部を設けるようにしてもよい。この場合には、軌跡演算部９１は、例えば、現実の揺動補正量と第１揺動補正量との差分量を示す残留揺動量の一定期間内の変化を示す情報を軌跡情報として取得する。
【０３３１】
なお、図２５、図３０〜図３３に示される撮影装置１の構成の一部もしくは全部を単一の半導体チップ上に集積することができる。例えば、軌跡演算部９１、手振れ補正部１１５（電子的揺動補正部）および手振れ補正制御部１４１（機械的揺動補正部）のうちの少なくとも１つを単一の半導体チップ（半導体集積回路）上に集積してもよい。
【０３３２】
１２．１ 最適サンプリングと圧縮
図２６（ａ）は、通常の均等な時間間隔（すなわち、一定のサンプリング周波数ｆＳ）で全てのサンプルを取得する場合を示す。ズーム手段６のズーム比が大きい時又はカメラの揺動が大きい期間、つまり角速度検出部１０１ａ、ｂの出力値の時間変位量の大きい期間においては、図２６（ｂ）の点１０３ａ、１０３ｂに示すように２倍のサンプル周波数２ｆＳで細かいサンプリングを行う。逆に時間変位量の小さい期間においては点１０３ｃ、１０３ｄに示すように、半分のサンプル周波数ｆＳ／２で粗いサンプリングを行う。通常の期間においては、点１０３ｅのようにｆＳで標準のサンプリングを行う。
【０３３３】
このように、図２６（ｂ）では、ズーム比や角速度量又は角速度の変化量の大小に応じてサンプリング周波数発生部１０４のサンプリング周波数を変化させる。最適のサンプリングができるため、軌跡の手振れ補正に必要な軌跡データを情報量を増やすことなく得ることができる。外部記憶媒体１０５に軌跡データ１１３を記録する場合、記憶データを最小にできるという効果がある。また、全期間のサンプリング周波数を増やす必要がないため、省電力効果もある。
【０３３４】
別の方法として、サンプリング周波数を最高速度にしておき、揺動検出量をサンプリングしデジタル変換を行うとともに、軌跡演算部９１の内部処理によって手振れ変化量に応じてサンプリング数を増減させるようにしてもよい。この方法によっても軌跡データを圧縮できる。
【０３３５】
１２．２ 撮影情報の付加
データ圧縮部１０５は、軌跡演算部９１から出力された軌跡データを圧縮する。圧縮方法は、上述した圧縮方法と同一である。撮影情報付加部１０６は、データ圧縮部１０５によって圧縮された軌跡データにＥｘｉｆデータ１０７のような撮影情報のファイル形式のデータを付加する。出力データ生成部１１０は、補正画像出力部１０８から出力された手振れ補正された画像Ｐもしくは切換部１０９から直接出力された手振れ補正されていない画像データＰ’に撮影情報付加部１０６から出力されるデータを付加することにより、出力データを生成する。
【０３３６】
手振れ量測定部１１１は、手振れ量を測定し、測定された手振れ量に応じて切換部１０９を切り換えるための制御信号を生成する。軌跡演算部９１は、手振れ補正部１１５における処理量を演算し、演算された処理量に応じて切換部１０９を切り換えるための制御信号を生成する処理量演算部１１６を含む。
【０３３７】
切換部１０９は、手振れ量測定部１１１からの制御信号および処理量演算部１１６からの制御信号のうちの少なくとも一方に応じて、撮像部５からの映像データを手振れ補正部１１５に出力するか出力データ部１１０に出力するかを切り換える。
【０３３８】
手振れ量測定部１１１によって測定された手振れ量が所定の量より大きい場合には、手振れ量測定部１１１は、撮像部５からの映像データが手振れ補正部１１５をバイパスして出力データ生成部１１０に直接的に出力されるように切換部１０９を切り換える。例えば、処理量演算部１１６によって演算された手振れ量補正部１１５における処理量が所定の処理量より大きい場合（すなわち、手振れ補正部１１５における処理量が手振れ補正部１１５の処理能力を超える場合）には、処理量演算部１１６は、撮像部５からの映像データが手振れ補正部１１５をバイパスして出力データ生成部１１０に直接的に出力されるように切換部１０９を切り換える。この場合、出力データ生成部１１０は、切換部１０９から出力された手振れ補正されていない画像Ｐ’に撮影情報付加部１０６から出力されるデータ（例えば、点光源分布関数（ＰＳＦ）Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ等の手振れの軌跡データ１１３を含むＥｘｉｆデータ１０７）を付加することにより、出力データを生成する。
【０３３９】
撮像部５からの映像データが手振れ補正部１１５に出力される場合には、出力データ生成部１１０は、補正画像出力部１０８から出力された手振れ補正された画像Ｐに撮影情報付加部１０６から出力されるデータ（点光源分布関数（ＰＳＦ）Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ等の手振れの軌跡データ１１３を含むＥｘｉｆデータ１０７）を付加することにより、出力データを生成する。
【０３４０】
出力データは、出力データ出力部によって外部記憶媒体１１４に記録される。この記録された映像データと手振れの軌跡データ１１３とをカメラ１の外部にある処理能力の高いパソコンにおいて処理することにより、手振れ量が大きく、補正処理量が大きな映像データでも手振れ補正の後処理ができるという効果がある。
【０３４１】
図２５を参照して、撮影装置（カメラ）１の動作を説明する。
【０３４２】
カメラ１に入射した光は、レンズ部２、ズーム部２ａ、フォーカス部２ｂを通り、撮像部５上に結像する。シャッターボタン１１９が押されるとシャッター開時間制御部１１８によりシャッター１１７が一旦閉じられ、撮影開始とともに再び開く。露光が完了するとシャッター１１７が再び閉じられ、撮像データの取得が完了すると再び開状態になる。この撮像データは一旦撮影映像メモリ１２０に蓄えられ、前述のように切換部１０９により切り換えられる。
【０３４３】
ｈ１をカメラの限界処理能力とし、ｈ２をデータ処理方式の限界処理能力とすると、手振れ量ｈがｈ１＜ｈ＜ｈ２の場合は、カメラの手振れ補正部１１５では処理できないため、出力データ生成部１１０に直接送られる。ｈ２＜ｈの場合は高速のＣＰＵを用いても手振れ補正ができないため、映像データを出力データ生成部１１０に送るとともに、警告部１４５から「もう一度撮影せよ」を示す警告音や警告表示をスピーカ３７や表示部１２に送る。そして、使用者がもう一度撮影することにより手振れによる失敗が減る。
【０３４４】
ｈ１は補正可能な手振れ量であるから、ｈ１＜ｈの場合にはカメラ内で補正できるため、映像データは手振れ補正部１１５に送られる。手振れ補正部１１５では重み付けした手振れの軌跡データ１１３と、手振れした映像Ｐ’とを用いてフーリエ逆変換部１２１でフーリエ逆変換を施すことにより手振れが補正された映像Ｐが得られる。
【０３４５】
最大手振れ量演算部１２２は、撮影画像１１２、１１２ａ、１１２ｂに基づいて、ｘ方向の最大の手振れ量ｘ１、ｘ２と、ｙ方向の最大の手振れ量ｙ１、ｙ２とを演算する（図２７（ｂ））。
【０３４６】
トリミング部１２３は、ｘ方向の最大の手振れ量ｘ１、ｘ２と、ｙ方向の最大の手振れ量ｙ１、ｙ２とに基づいて、撮像画像１１２の周辺部をｘ１、ｘ２、ｙ１、ｙ２分だけトリミングすることにより、トリミング画像１２９を生成する（図２７（ｃ））。トリミング画像１２９の画素数は撮像画像１１２の画素数より小さい。
【０３４７】
拡大部１２２は、拡大処理を行い、所定の画素数に画像を拡大する（図２７（ｄ））。
【０３４８】
図２７（ａ）に示される元の画像１１２のセンター１２６ａと図２７（ｃ）に示されるトリミング画像１２９のセンター１２６とは一致しない。図２７（ｃ）に示される例では、（ｘ３、ｙ３）分だけずれている。撮影者が元の画像１１２のセンター１２６ａを選択するスイッチを設定していた場合には、図２７（ａ）に示される元の画像１１２のセンター１２６ａと図２７（ｅ）に示されるトリミング画像１２９ａのセンター１２６ａとが一致するように、トリミング画像１２９がトリミング画像１２９ａに変換される（図２７（ｅ））。図２７（ｅ）に示されるトリミング画像１２９ａは、図２７（ｄ）に示される出力画像１４７に拡大される。その結果、元の画像１１２のセンター１２６ａに一致するセンター１２６ｂを有する補正画像が得られる。
【０３４９】
このようにして得られた手振れ補正画像は、補正画像出力部１０８を介して出力データ生成部１１０に送られると同時に、切換部１２４に送られる。
【０３５０】
切換部１２４は、手振れ補正されていない画像Ｐ’を縮小部１２５に出力するか、補正画像出力部１０８から出力される手振れ補正された画像Ｐを縮小部１２５に出力するかを切り換える。
【０３５１】
縮小部１２５は、切換部１２４から出力される画像Ｐ’もしくは画像Ｐの画素数を減らすことにより、画像Ｐ’もしくは画像Ｐを縮小し、縮小された画像Ｐ’もしくは画像Ｐを表示部１２に表示する。軌跡表示部１２６によって生成される手振れの軌跡を画像Ｐ’もしくは画像Ｐにオーバレイして表示部１２に表示するようにしてもよい。
【０３５２】
切換部１２４は、例えば、撮影直後には、縮小された画像Ｐ’を表示部１２にを表示し、撮影直後から一定時間が経過して手振れ補正が完了すると、縮小された画像Ｐを表示部１２に表示するように動作する。この方式により使用者が撮影直後に撮影画像を見ることができるという効果がある。この切り換えがないと手振れ補正処理が終わるまで、数秒間、撮影画像を確認できなくなる。
【０３５３】
１２．３ 画像表示の方法
図２８、図２９を参照して、画像表示の手順を説明する。
【０３５４】
まずステップ１２７でｎ番目の画像を表示し、ステップ１２７ａでｎ番目の画像を撮影する。ステップ１２７ｂで、処理量演算部１１６は、手振れ補正演算に要する時間ｔｐを求める。ｔｐが処理可能な基準値を超えている場合にはステップ１２７ｃに進み「再撮影せよ」との警告を発する。そしてステップ１２７ａで撮影者が再撮影をすると、ステップ１２７ｂへ進み、手振れ量が規定値以内であれば、ステップ１２７ｄに進み、撮影画面表示がＯＮになっていればステップ１２７ｋへ進み、手振れ補正する前の撮影画像と撮影期間中に発生した手振れの軌跡１２９を表示部１２に表示する。この時、処理状況インジケータ１３０も表示する。この処理状況インジケータ１３０は処理量演算部１１６で得た予測処理時間をｔｆとすると、処理状況インジケータ１３０のフルスケールをｔｆとして補正処理開始後の経過時間を表示させる。処理開始直後は処理状況インジケータ１３０のように表示され、終了間近には１３０ａのように表示されるので、あとどの位で処理が終わるかをユーザーが知ることができる。これにより、待ち時間を知りたいというユーザーの希望に応えることができる。
【０３５５】
そして、ステップ１２７ｍで手振れ補正が完了すると、ステップ１２７ｎで図２５の切換部１２４により手振れ補正してない画像Ｐ’から手振れ補正した画像Ｐに切り換えられ、表示部１２に表示される。
【０３５６】
ステップ１２７ｅに戻り、手振れ軌跡表示スイッチがＯＦＦの場合はステップ１２７ｆで手振れしている画像を表示する。この場合は手振れ軌跡を表示しない。ステップ１２７ｇ、１２７ｈは、説明したステップ１２７ｍ、１２７ｎと同じであるため説明は省略する。ステップ１２７ｉで撮像部からの映像を縮小部１２５で縮小した画像を作成し表示部１２に表示する。ステップ１２７ｊでは次の撮影に備える。
【０３５７】
ここでステップ１２７ｄに戻り、撮影画面表示ＳＷがＯＦＦの時は図２９のステップ１２８ａに進む。ステップ１２８ａでは、撮像部のｎ番目の映像を表示している。ステップ１２８ｂでシャッターボタンが押され、撮影されるとステップ１２８ｃでｎ番の画像の手振れ補正を開始し、ステップ１２８ｄで「ｎ番目の画像の手振れ補正処理中」のマーク１３１ａを表示画面１３２ｊに出す。ステップ１２８ｅにおいてｎ＋１番目の撮像部の映像を表示画面１３２ｊに表示するとともに、処理状況インジケータ１３０ｂを表示する。ｎ番目の映像の手振れ補正が終わっていない状況にあるステップ１２８ｆにおいてｎ＋１番目の撮影がなされると、ステップ１２８ｇでまずメモリ１２０に余裕があるかをチェックし余裕がなければ表示画面１３２ｋのようにステップ１２８ｈで「撮影待機」の表示１３３を出してユーザーの次の撮影を中止させる。ステップ１２８ｇでメモリー１２０に余裕があると、ステップ１２８ｊに進み、手振れ軌跡データを撮影映像メモリ１２０に記憶させ、ステップ１２８ｋで「ｎ＋１番目の画像手振れ補正中」を示すマーク１３１ｂとｎ＋２番目の画像を表示画面１３２ｍのように表示させる。ステップ１２８ｍでｎ番目の処理が完了するとステップ１２８ｎで「ｎ番目の手振れ処理中」のマーク１３１ａを表示画面１３２ｎのように消し、ステップ１８Ｐでｎ＋１番目の補正処理が完了するとステップ１２８ｑで表示画面１３２Ｐのように「ｎ＋１番目の手振れ補正処理中」を示すマーク１３１ｂを消す。そしてｎ＋２番目の撮影に備える。
【０３５８】
図２５に示される手振れ補正部１１５により補正処理が正しく行われるためには手振れの軌跡情報が正確であることが重要である。軌跡データの経路を追うと振動ジャイロ等の角速度検出部１０１ａ、１０１ｂのデータを積分器１３６で積分角度θを得る。ズーム部６からズーム比情報を入手するとともに、焦点調整部１３７から焦点データを入手し、焦点ｆを算出し、ｆ×ｔａｎθを求め、軌跡演算を行う。図２６（ｂ）で説明したように角度θの変位に応じてサンプリング数を変えることによりデータを正確に取得できる。軌跡情報は関数に変換することが最も好ましい。
【０３５９】
この軌跡データを用いて手振れの補正部１１５においては手振れした画像Ｐ’に軌跡関数を逆フーリエ変換した関数をかけることにより、補正された元の画像Ｐが得られる。この演算は二次元フィルタ１３７で行うこともできる。本発明の方式は振動ジャイロ等により、手振れ軌跡データを正確に入手できるため精密に手振れが補正できる。また手振れの補正をカメラ１の中で行わない場合は、Ｅｘｉｆデータのような撮影情報データに手振れの軌跡情報を付加した画像を出力する。図３５に示すようにカメラ１のパッケージ１５２には撮影装置１と手振れの補正処理プログラム１５３の入ったＣＤ−ＲＯＭ等の記録媒体１５１が入っている。使用者は記録媒体１５１をコンピュータ１５０に装着し、補正処理プログラムを移動させる。カメラ１か５撮影画像データと手振れ軌跡情報を含むＥｘｉｆデータを得て、これらを演算することにより手振れを補正する。なお、この場合、撮影情報はＥｘｉｆ形式には限定されず他の撮影情報データ形式でも同様の効果が得られる。
【０３６０】
手振れ補正時間を処理量演算部１１６で予測するため、カメラ本体内で処理可能かどうかの判断が事前にできる。また補正処理時間を表示部に表示するとともに、処理の進行度を表示するためユーザーとのインターフェースが向上するという効果がある。
【０３６１】
１２．４ 手振れ補正残渣の軌跡
図３０参照して、光学補正等のｘ、ｙ２軸の手振れ補正部をもつカメラにおいて、手振れ補正後に残る手振れをＥｘｉｆデータとして付加して出力する方法を説明する。
【０３６２】
図３０において検出された手振れデータに応じて、手振れ補正制御部１４１は手振れ補正信号を出力し、レンズ駆動部１４０により補正レンズ２ｃはｘ方向とｙ方向に駆動し、手振れを補正する。
【０３６３】
実際には、この制御系は応答周波数特性をもつため、完全には手振れが補正されず、補正残渣が残る。また通常の光学補正方式やＣＣＤ駆動方式であるとｘ、ｙ方向の補正のみでｚ方向（Ｒｏｌｌ方向）の補正はできない。量、補正残渣を求めるには、まずレンズ駆動部１４０から実際の補正量を手振れ補正亮算出部１４２が得て、差分部１４３の差分器１４３ａ、１４３ｂに入力する。角速度検知部１０１はＺ方向（Ｒｏｌｌ方向）の角速度検知部１０１Ｃを持つ。角速度検出部１０１より得たｘ方向とｙ方向の成分を差分部１４３に入力させる。
【０３６４】
ｘ、ｙ方向は、実際の手振れ量−実際の手振れ補正量＝補正残渣で計算できる。ｘ、ｙ方向の補正残渣とｚ方向の角度情報を軌跡演算部１４４に入力させることにより、ｘ、ｙ方向の手振れ残渣の軌跡情報が得られる。ｚ方向の角速度検出手段１０１ｃのデータは差分をとらずに積分され軌跡演算部の９１に送られ軌跡情報が得られる。この軌跡情報１１３を表示部１２に撮影画像の上にオーバレイして表示させる。同時に軌跡情報をデータ圧縮部１０５に送りデータを圧縮する。このデータを撮影情報付加部１０６において、Ｅｘｉｆデータ１０７として画像データに付加して出力データを生成し、データ出力部１４６においてＩＣカードのような外部記憶媒体１１４に記録する。
【０３６５】
この映像データにはＥｘｉｆデータ中にｘ、ｙ方向の補正残渣とｚ方向の手振れの軌跡情報が含まれているため、コンピュータにおいて軌跡情報１１３と画像データと軌跡情報を用いてフーリエ逆変換とを行うことにより、ｘ、ｙ、ｚ（ヨー、ピッチ、ロール）の３軸の手振れがデータ処理により補正できるという効果がある。光学補正では周波数応答特性がある。普通の写真サイズなら手振れが目立たないが、大判写真の場合目立つ。このような場合、本方式により後処理することにより、ほぼ完全に手振れが補正されるため効果は大きい。
【０３６６】
半導体の処理能力が高くなった場合には、ｘ、ｙ、ｚ方向のソフトウェアによる手振れ補正をカメラ１の内部に含めることも可能である。しかし、高い計算処理能力が要求されるため、カメラ内の３軸の補正は当分の間現実的でない。時代に応じていくつかのステップを踏むことが考えられる。第１の方法は、図３０のように手振れの軌跡データｘ、ｙ、ｚをカメラ内で算出し、Ｅｘｉｆファイルで出力し、外部のコンピュータでデータ処理を用いて補正処理することである。第２の方法は図３１のように光学式手振れ補正付カメラにおいて、ｘ、ｙ方向は手振れ補正制御部１４１を用いて光学補正で行い、ｚ方向（Ｒｏｌｌ方向）の軌跡データを軌跡演算部１４４により求めてＥｘｉｆデータ１０７として画像データに添付する方式である。ｚ方向の光学補正は困難なためｚ方向の手振れ補正を外部のコンピュータでソフトを用いて行うことによりカメラ側の部品を増やすことなくｚ方向の手振れ補正を行える。このため３軸全ての手振れを補正することができる。
【０３６７】
第３の方法は、図３２に示すようにｘ、ｙ方向は光学補正を行い、角速度検出部１０１ｃより得たｚ方向（Ｒｏｌｌ方向）の軌跡データを軌跡演算部１４４により求め、フーリエ逆変換部１２１もしくはフーリエ変換部を含む手振れ補正部１１５によりｚ方向の手振れ補正を行い、外部記憶媒体１１４に記録する方式である。明細書にはフーリエ逆変換部と記述しているが、フーリエ変換部を用いて同様の効果が得られることはいうまでもない。ｘ、ｙ方向の手振れはズームによって拡大されるため動きが激しい。これに対してｚ（Ｒｏｌｌ）方向の手振れは動きが緩やかで安定している。従って、処理能力の低いＣＰＵでもｚ方向の手振れ補正が処理可能である。第３の方法としては、ｚ方向のみ手振れをデータ処理で補正する方法が現実的である。
【０３６８】
第４の方法は、図３０で示したような、ｘ、ｙ方向は光学補正を行い、補正できなかった残渣の軌跡データを求め撮影映像にＥｘｉｆデータとして付加する方法である。この場合、光学補正により高域の手振れ成分はなくなっているので、補正残渣の軌跡データは低域成分のみであるため演算処理による手振れ補正がより容易になるという効果がある。
【０３６９】
第５の方法は、図２５に示す手振れ補正を全てデータ処理でカメラ内で行う方式であるが、激しい手振れの場合はデータ処理では対応できない。従って、図３３に示すようにｘ、ｙ方向は手振れ補正制御部１４１により光学補正方式等で補正し、その残渣を図３０と同様の方法で差分部１４３により求め、その軌跡データを軌跡演算部９１により求め、その軌跡データとｘ、ｙ方向を光学補正した映像を用いて、手振れ補正部１１５によりデータ処理によりｘ、ｙ、ｚ方向の手振れを補正する。これにより、３軸ともカメラ内で手振れ補正可能となる。この方式では手振れの高域成分を光学補正により除去してあるため、補正残渣のデータ処理による補正が容易になるという効果が得られる。また光学補正では補正が困難なｚ方向（Ｒｏｌｌ方向）の補正が実現するという効果がある。
【０３７０】
ここで、手振れ補正時の演算について説明する。図３４に示すように元の画像ｉは手振れ軌跡情報の軌跡関数をｈとすると手振れｈにより、手振れした画像ｉ’はｉコンボルーションｈとなる。そして各項をフーリエ変換するとＩ×Ｈ＝Ｉ’となり、Ｉ＝Ｉ’／ＨとなりこれをＣとする。各項をフーリエ逆変換するとｉはフーリエ逆変換（Ｃ）となり、ｉはフーリエ逆変換（Ｉ’／Ｈ）・・・（４）となる。ｉはｉ’コンボルーション（フーリエ逆変換（Ｉ／Ｈ））となるためフーリエ逆変換（Ｉ／Ｈ）をｈ’と置くとＩ＝Ｉ’コンボルーションｈとなる。毎回演算するとデジタルカメラ等の静止画の撮影装置に搭載している演算器の処理能力が低い為演算時間が長時間となり次の撮影が困難となる。次の撮影ができなくなることを避けるため画像メモリー１２０を設け、次に撮影した画像をこの画像メモリー１２０に次々と複数枚蓄える。しかし、撮影した画像を長時間経っても確認できないことも撮影者にとって好ましくない。この対策として実施例で説明したように撮影後、まず手振れの補正前の撮影画像を表示部１２に表示する。これにより撮影者がおおよその撮影画像を確認できる。表示して一定時間後、具体的には手振れ補正の演算が完了した時点で手振れつまり揺動が補正された補正画像を表示部１２に表示する。こうして撮影者はまずｎ番目の撮影画像を撮影直後に確認でき、次に手振れが補正されたｎ番目の補正映像を確認できるため、中断なくシームレスに撮影画像を目で確認できる。ｎ番目の画像の補正演算が完了する前にｎ＋１番目以降の画像が撮影された場合はｎ＋１番目以降の画像を図２５等の撮影画像メモリ（１２０）に退避させるとともに最新の撮影したｎ＋１番目もしくはｎ＋１番目以降の画像を表示部に次々と表示させていく。
【０３７１】
ここで演算時間を短縮させる方法について述べると図３４の（３）（４）のように元の画像を復元するには、フーリエ変換の演算が必要である。しかしデジタルカメラ内でフーリエ変換の演算を行うためには演算の超高速化が必要となり、このようなＣＰＵの実現にはかなりの年月が必要となる。このため図３４の（５）のように軌跡情報の重みづけ軌跡であるＰＳＦ（点光源分布関数）ｈのフーリエ変換Ｈの逆数のフーリエ逆変換ｈ’を予め求めておく。このｈ’を手振れに応じて選択する。演算部１４８ではｈ’と手振れした画像ｉ’を畳み込むつまりコンボルーションすることにより、元の画像ｉを得ることができる。このようにｈ’を予め準備しておくことにより演算処理時間を少なくすることができる。このため撮影装置に演算回路を内蔵することができる。
揺動補正量の検出方法を述べる。図３６（ａ）に示すように揺動補正レンズ１５５は駆動モーター１５６によって駆動される。近傍にレンズ位置検出手段１５７としてホール素子１５８が取り付けられ磁気により揺動補正レンズ１５５の位置が検出され、揺動補正量１５９が求まる。別の方法としては図３６（ｂ）に示すように揺動補正手段の制御周波数特性１６０もしくは伝達関数１６１を予め求めておく。揺動量をこの系に入力すると電気的に揺動補正量１６２を求めることができる。この場合機械系を介さず電子回路だけで求まるためコストが安くなり構成も簡単になる。
【０３７２】
また揺動の検出に複数の振動ジャイロを用いる場合、各振動ジャイロの周波数を揺動補正特性の周波数帯域分だけ互いに離すことにより、より安定に揺動を検出できる。
【０３７３】
また図３５のパッケージ１５２に示す、同一のパッケージに入れる際の効果について述べる。データ処理における揺動補正の場合、カメラのレンズ毎に、揺動の軌跡関数が異なる。従って図３４に示したＨとｈ’が異なる。第１の方法としてこのＨとｈ’をＥｘｉｆデータとして撮影画像とともにカメラから出力する方法がある。この方法は確実であるが、１枚毎に付加するＥｘｉｆデータの容量が大きくなり、無駄が多い。第２の方法としてはカメラと同梱する記録媒体１５１にカメラ固有の軌跡関数の情報やＨやｈ’を記録しておく方法がある。この場合はカメラ毎に異なる軌跡情報やＨやｈ’を外部コンピュータに記録できるので、コンピュータで手振れ補正処理をする時、最適な手振れ補正が確実に行えるという効果がある。
【０３７４】
以上のように、本発明の好ましい実施形態を用いて本発明を例示してきたが、本発明は、この実施形態に限定して解釈されるべきものではない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。当業者は、本発明の具体的な好ましい実施形態の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。本明細書において引用した特許、特許出願および文献は、その内容自体が具体的に本明細書に記載されているのと同様にその内容が本明細書に対する参考として援用されるべきであることが理解される。
【産業上の利用可能性】
【０３７５】
本発明は、手振れ補正に必要な軌跡情報を得ることが可能な撮影装置、その撮影装置とプログラムを記録した記録媒体とを含む製品パッケージおよび半導体集積回路等を提供するために有用である。軌跡情報は、撮影装置の外部にある機器（例えば、コンピュータ）に出力され得る。これにより、処理量の大きい手振れ補正を撮影装置の外部にある機器（例えば、コンピュータ）で行うことが可能になる。
【技術分野】
【０００１】
本発明は、手振れ補正に必要な軌跡情報を得ることが可能な撮影装置、その撮影装置とプログラムを記録した記録媒体とを含む製品パッケージおよび半導体集積回路に関する。
【背景技術】
【０００２】
撮影された画像の手振れを補正する方式には、光学手振れ補正方式と電子手振れ補正方式とがある（例えば、特許文献１参照）。
【０００３】
光学手振れ補正方式を用いた技術は、撮影された静止画像の手振れ補正技術として知られている。
【０００４】
電子手振れ補正方式を用いた技術は、撮影された動画像の手振れ補正技術として知られている。この技術は、光学駆動部を必要としないため、装置の小型化が可能である。
【特許文献１】特開昭６０−１４３３３０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、光学手振れ補正方式を用いた技術は、画質が劣化することはなく静止画の撮影に有効であるが、光学駆動部を必要とするため、装置の小型化に限界がある。
【０００６】
電子手振れ補正方式を用いた技術は、光学駆動部を必要としないため、装置の小型化が可能であるが、静止画像の手振れ補正には、有効でないと考えられていた。この技術はフレーム間の補正を行うのみで、１フレームからなる静止画の手振れ補正は原理的に不可能だからである。
【０００７】
本発明は、手振れ補正に必要な軌跡情報を得ることが可能な撮影装置、その撮影装置とプログラムを記録した記録媒体とを含む製品パッケージおよび半導体集積回路を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の撮影装置は、撮影装置の揺動を検出し、前記撮影装置の揺動を示す揺動検出信号を出力する揺動検出部と、前記撮影装置に入射する光を結像することにより光学像を形成する結像部と、前記結像部によって形成された前記光学像を電気的な映像情報に変換する撮像部と、前記揺動検出部から出力される前記揺動検出信号に少なくとも基づいて、前記撮影装置の揺動の軌跡を示す軌跡情報を取得する軌跡演算部とを備えている。
【０００９】
前記軌跡演算部は、前記揺動検出信号の一定期間内の変化を示す情報を前記軌跡情報として取得してもよい。
【００１０】
前記揺動検出部は、角速度センサを含み、前記軌跡演算部は、前記角速度センサの出力を積分することにより角度情報を取得し、前記角度情報の一定期間内の変化を示す情報を前記軌跡情報として取得してもよい。
【００１１】
前記角速度センサは、互いに異なる複数の振動周波数を有する振動ジャイロであってもよい。
【００１２】
前記軌跡演算部は、前記撮影装置の揺動による重みづけ軌跡を示す情報を前記軌跡情報として取得してもよい。
【００１３】
前記軌跡演算部は、点光源分布関数ＰＳＦを前記軌跡情報として取得してもよい。
【００１４】
前記軌跡演算部は、前記撮影装置の揺動の時間的変化量が所定のしきい値より大きいか否かを判定し、その判定結果に応じてサンプル数を決定してもよい。
【００１５】
前記軌跡情報を前記映像情報に付加することによりＥｘｉｆ形式のデータを生成し、前記Ｅｘｉｆ形式のデータを出力する出力部をさらに備えていてもよい。
【００１６】
前記軌跡演算部は、焦点の情報とズームの情報と前記揺動検出信号とに少なくとも基づいて、前記軌跡情報を取得してもよい。
【００１７】
前記軌跡情報と前記映像情報とを演算処理することにより、前記映像情報の揺動を補正した補正映像情報を取得する電子的揺動補正部をさらに備えていてもよい。
【００１８】
前記電子的揺動補正部は、前記揺動検出信号が所定のしきい値より大きいか否かを判定し、前記揺動検出信号が前記所定のしきい値より大きいと判定された場合には前記映像情報の揺動を補正しなくてもよい。
【００１９】
前記演算処理は、フーリエ変換もしくはフーリエ逆変換もしくは二次元フィルタを用いた処理を含んでいてもよい。
【００２０】
前記軌跡情報は軌跡関数ｈを含み、前記演算処理は、前記ｈのフーリエ変換の演算もしくは前記ｈをフーリエ変換した結果を使う演算を含むか、前記ｈのフーリエ変換の逆数のフーリエ逆変換の演算もしくは前記ｈのフーリエ変換の逆数のフーリエ逆変換の演算結果を使う演算を含んでいてもよい。
【００２１】
前記映像情報の揺動を補正するのに必要な演算処理量を求める処理量演算部をさらに備えていてもよい。
【００２２】
前記演算処理量もしくは揺動量が一定の値を超過した場合は、表示部に超過状況を示す表示を行うおよび／またはスピーカから超過状況を示す音を発してもよい。
【００２３】
前記演算処理量が一定の値を超過した場合は、前記揺動を補正しない映像情報を出力し、前記演算処理量が一定の値の範囲内にある場合は、前記映像情報の揺動を補正した補正映像情報を出力してもよい。
【００２４】
前記映像情報を表示部に表示した後の特定時点において前記補正映像情報を前記表示部に表示してもよい。
【００２５】
前記特定時点として、前記電子的揺動補正部における揺動補正の演算処理が完了した時点を用いてもよい。
【００２６】
前記揺動補正部からの前記補正映像情報を受けて、前記揺動のそれぞれの方向の最大揺動量を求める最大揺動量演算部と、前記最大揺動量に応じて前記補正映像情報をトリミングすることにより、トリミング補正映像情報を生成するトリミング部とをさらに備えていてもよい。
【００２７】
第１トリミングモードもしくは第２トリミングモードを設定可能な設定部をさらに備え、前記トリミング部は、前記第１トリミングモードにおいて、前記最大揺動量に応じて前記補正映像情報をトリミングすることにより、第１トリミング補正映像情報を生成し、前記トリミング部は、前記第２トリミングモードにおいて、前記映像情報の各方向の中心となる画素を中心画素とすると、第１トリミング補正映像情報の前記中心画素に相当する画素を中心として再度トリミングすることにより、第２トリミング補正映像情報を生成してもよい。
【００２８】
前記揺動検出信号に応じて前記撮影装置の揺動を機械的に補正することにより、現実の揺動補正量だけ前記映像情報の揺動を補正した補正映像情報を取得する機械的揺動補正部をさらに備え、前記軌跡演算部は、前記揺動検出信号と前記現実の揺動補正量との差分の一定期間内の変化を示す情報を前記軌跡情報として取得してもよい。
【００２９】
前記軌跡情報がＥｘｉｆ形式であってもよい。
【００３０】
前記機械的揺動補正部は、前記揺動検出信号に応じて前記撮影装置の揺動を機械的に補正することにより、第１揺動補正量だけ前記映像情報の揺動を補正した第１補正映像情報を取得し、前記軌跡演算部は、前記現実の揺動補正量と前記第１揺動補正量との差分量を示す残留揺動量の一定期間内の変化を示す情報を前記軌跡情報として取得し、前記撮影装置は、前記軌跡情報と前記第１補正映像情報とに演算処理することにより、第２揺動補正量だけ前記第１補正映像情報の揺動を補正した第２補正映像情報を取得する電子的揺動補正部をさらに備えていてもよい。
【００３１】
前記演算処理は、フーリエ変換もしくはフーリエ逆変換もしくは２次元フィルタを用いた処理を含んでいてもよい。
【００３２】
前記軌跡情報は軌跡関数ｈを含み、前記演算処理は、前記ｈのフーリエ変換の演算もしくは前記ｈをフーリエ変換した結果を使う演算を含むか、前記ｈのフーリエ変換の逆数のフーリエ逆変換の演算もしくは前記ｈのフーリエ変換の逆数のフーリエ逆変換の演算結果を使う演算を含んでいてもよい。
【００３３】
前記機械的揺動補正部は、前記結像部の一部であるレンズの位置情報に基づいて、前記第１揺動補正量を求めてもよい。
【００３４】
前記機械的揺動補正部は、前記揺動検出信号と前記機械的揺動補正部の揺動制御特性とに基づいて、前記第１揺動補正量を求めてもよい。
【００３５】
前記揺動検出部は、前記撮影装置の揺動のうちピッチ方向およびヨー方向の揺動を検出する第１揺動検出部と、前記撮影装置の揺動のうちロール方向の揺動を検出する第２揺動検出部とを含み、前記軌跡演算部は、前記第２揺動検出部から出力される検出信号の一定期間内の変化を示す情報を前記軌跡情報として取得し、前記撮影装置は、前記第１揺動検出部から出力される検出信号に応じてピッチ方向およびヨー方向の揺動を補正した第１補正映像情報を取得する機械的揺動補正部をさらに備えていてもよい。
【００３６】
前記軌跡情報を前記補正映像情報に付加して出力し、もしくは、記録媒体に記録する手段をさらに備えていてもよい。
【００３７】
前記軌跡情報がＥｘｉｆ形式もしくはＥｘｉｆ形式に類する形式であってもよい。
【００３８】
ロール方向の軌跡情報と前記第１補正映像情報とに演算処理することにより、前記第１補正映像情報の揺動を補正した第２補正映像情報を取得する電子的揺動補正部をさらに備えていてもよい。
【００３９】
前記演算処理は、フーリエ変換もしくはフーリエ逆変換もしくは二次元フィルタを用いた処理を含んでいてもよい。
【００４０】
前記軌跡情報は軌跡関数ｈを含み、前記演算処理は、前記ｈのフーリエ変換の演算もしくは前記ｈをフーリエ変換した結果を使う演算を含むか、前記ｈのフーリエ変換の逆数のフーリエ逆変換の演算もしくは前記ｈのフーリエ変換の逆数のフーリエ逆変換の演算結果を使う演算を含んでいてもよい。
【００４１】
本発明の方法は、撮影装置の揺動の軌跡を示す軌跡情報と映像情報とを含む画像情報を受け取ることと、前記画像情報を前記軌跡情報と前記映像情報とに分離することと、前記軌跡情報と前記映像情報とに演算処理することにより、前記映像情報の揺動を補正した補正映像情報を得ることとを包含する。
【００４２】
前記軌跡情報がＥｘｉｆ形式であってもよい。
【００４３】
前記演算処理は、フーリエ変換もしくはフーリエ逆変換を含んでいてもよい。
【００４４】
前記軌跡情報が重みづけ軌跡もしくは点光源分布関数であってもよい。
【００４５】
本発明の製品パッケージは、撮影装置と記録媒体とを備えた製品パッケージであって、前記撮影装置は、前記撮影装置の揺動を検出し、前記撮影装置の揺動を示す揺動検出信号を出力する揺動検出部と、前記撮影装置に入射する光を結像することにより光学像を形成する結像部と、前記結像部によって形成された前記光学像を電気的な映像情報に変換する撮像部と、前記揺動検出部から出力される前記揺動検出信号に少なくとも基づいて、前記撮影装置の揺動の軌跡を示す軌跡情報を取得する軌跡演算部と、前記軌跡情報を前記映像情報に付加して画像情報として出力する出力部とを備え、前記記録媒体には処理をコンピュータに実行させるためのプログラムが記録されており、前記処理は、前記画像情報を受け取ることと、前記画像情報を前記軌跡情報と前記映像情報とに分離することと、前記軌跡情報と前記映像情報とに演算処理することにより、前記映像情報の揺動を補正した補正映像情報を得ることとを包含する。
【００４６】
前記軌跡情報がＥｘｉｆ形式であってもよい。
【００４７】
前記演算処理は、フーリエ変換もしくはフーリエ逆変換もしくは二次元フィルタを用いる処理を含んでいてもよい。
【００４８】
前記軌跡情報は軌跡関数ｈを含み、前記演算処理は、前記ｈのフーリエ変換の演算もしくは前記ｈをフーリエ変換した結果を使う演算を含むか、前記ｈのフーリエ変換の逆数のフーリエ逆変換の演算もしくは前記ｈのフーリエ変換の逆数のフーリエ逆変換の演算結果を使う演算を含んでいてもよい。
【００４９】
前記軌跡情報が重みづけ軌跡もしくは点光源分布関数であってもよい。
【００５０】
本発明の製品パッケージは、撮影装置と記録媒体とを備えた製品パッケージであって、前記撮影装置は、前記撮影装置の揺動を検出し、前記撮影装置の揺動を示す揺動検出信号を出力する揺動検出部と、前記撮影装置に入射する光を結像することにより光学像を形成する結像部と、前記結像部によって形成された前記光学像を電気的な映像情報に変換する撮像部と、前記揺動検出部から出力される前記揺動検出信号に少なくとも基づいて、前記撮影装置の揺動の軌跡を示す軌跡情報を取得する軌跡演算部と、前記揺動検出信号に応じて前記撮影装置の揺動を機械的に補正することにより、現実の揺動補正量だけ前記映像情報の揺動を補正した補正映像情報を取得する機械的揺動補正部と、前記軌跡情報を前記補正映像情報に付加して画像情報として出力する出力部とを備え、前記軌跡演算部は、前記揺動検出信号と前記現実の揺動補正量との差分の一定期間内の変化を示す情報を前記軌跡情報として取得し、前記記録媒体には処理をコンピュータに実行させるためのプログラムが記録されており、前記処理は、前記画像情報を受け取ることと、前記画像情報を前記軌跡情報と前記映像情報とに分離することと、前記軌跡情報と前記映像情報とに演算処理することにより、前記映像情報の揺動を補正した補正映像情報を得ることとを包含する。
【００５１】
前記軌跡情報がＥｘｉｆ形式であってもよい。
【００５２】
前記演算処理は、フーリエ変換もしくはフーリエ逆変換もしくは二次元フィルタを用いる処理を含んでいてもよい。
【００５３】
前記軌跡情報が重みづけ軌跡もしくは点光源分布関数であってもよい。
【００５４】
本発明の半導体集積回路は、撮影装置の揺動を検出する揺動検出部から出力される揺動検出信号に少なくとも基づいて、前記撮影装置の揺動の軌跡を示す軌跡情報を取得する軌跡演算部を備えている。
【００５５】
前記軌跡情報と映像情報とを演算処理することにより、前記映像情報の揺動を補正した補正映像情報を取得する電子的揺動補正部をさらに備えていてもよい。
【００５６】
前記揺動検出信号に応じて前記撮影装置の揺動を機械的に補正することにより、現実の揺動補正量だけ前記映像情報の揺動を補正した補正映像情報を取得する機械的揺動補正部をさらに備え、前記軌跡演算部は、前記揺動検出信号と前記現実の揺動補正量との差分の一定期間内の変化を示す情報を前記軌跡情報として取得してもよい。
【００５７】
前記揺動検出部は、前記撮影装置の揺動のうちピッチ方向およびヨー方向の揺動を検出する第１揺動検出部と、前記撮影装置の揺動のうちロール方向の揺動を検出する第２揺動検出部とを含み、前記軌跡演算部は、前記第２揺動検出部から出力される検出信号の一定期間内の変化を示す情報を前記軌跡情報として取得し、前記半導体集積回路は、前記第１揺動検出部から出力される検出信号に応じてピッチ方向およびヨー方向の揺動を補正した第１補正映像情報を取得する機械的揺動補正部をさらに備えていてもよい。
【発明の効果】
【００５８】
本発明の撮影装置によれば、手振れ補正に必要な軌跡情報を得ることができる。軌跡情報は、撮影装置の外部にある機器（例えば、コンピュータ）に出力され得る。これにより、処理量の大きい手振れ補正を撮影装置の外部にある機器（例えば、コンピュータ）で行うことが可能になる。
【００５９】
本発明の製品パッケージおよび半導体集積回路によっても同様の効果が得られる。
【図面の簡単な説明】
【００６０】
【図１】図１は、本発明の実施の形態の撮影装置１００を示す図
【図２】図２は、揺動検出手段１５の構成を示す図
【図３】図３は、本発明の実施の形態の手振れ補正の動作を示す図
【図４】図４は、本発明の実施の形態のマスキングの動作を示す図
【図５】図５は、画素数とフレーム周波数との関係を示す図
【図６】図６は、４分割された画素領域を含む撮像部５の構成を示す図
【図７】図７は、本発明の実施の形態におけるフレームレートを速くした場合の動作図
【図８】図８は、本発明の実施の形態の撮影処理の手順（ステップ５０ａ〜ステップ５０ｆ）を示すフローチャート
【図９】図９は、本発明の実施の形態の撮影処理の手順（ステップ５１ａ〜ステップ５１ｙ）を示すフローチャート
【図１０】図１０は、本発明の実施の形態の撮影処理の手順（ステップ５２ａ〜ステップ５２ｔ）を示すフローチャート
【図１１】図１１は、本発明の実施の形態の順次演算処理手順を示すフローチャート
【図１２】図１２は、本発明の実施の形態の一括演算処理手順を示すフローチャート
【図１３】図１３は、撮影場所の明るさや、シャッター速度（露光時間）に応じて、複数の画像（分割画像）を積分することによって、手振れ補正を行うための処理手順を示すフローチャート
【図１４】図１４は、面内画素加算と時間軸内画素加算とによって解像度を変更する手順を示すフローチャート
【図１５】図１５は、本発明の実施の形態による実際の画素数より多い画素数を設定して手振れを補正する原理を示す図
【図１６】図１６は、面内方向の加算方法を示す図
【図１７】図１７は、画像の切り出し位置のシフトを説明するための図
【図１８】図１８は、縮小補間の原理、拡大補間の原理、および高分解能の手振れ補正の原理を示す図
【図１９】図１９は、手振れ検出に失敗した画像を除去する手順を示すフローチャート
【図２０】図２０は、本発明の実施の形態の撮影装置２００の構成を示す図
【図２１】図２１は、撮影装置２００に含まれる表示部９５の一例を示す図
【図２２】図２２は、撮影装置２００に含まれる表示部９５の別の例を示す図
【図２３】図２３は、パンニングまたはパノラマ撮影時の境界インジケーター９７の表示を示す図
【図２４】図２４は、フレーム内の手振れ検出のための検出点を示す図
【図２５】図２５は、本発明の実施の形態の撮影装置１を示す図
【図２６】図２６は、本発明の実施の形態の手振れ検出信号のサンプリングを示す図
【図２７】図２７は、本発明の実施の形態の撮影画像のトリミングと拡大を示す図
【図２８】図２８は、本発明の実施の形態の撮影処理の手順（ステップ１２７〜１２７ｊ）を示すフローチャート
【図２９】図２９は、本発明の実施の形態の撮影処理の手順（ステップ１２８ａ〜１２８ｇ）を示すフローチャート
【図３０】図３０は、本発明の実施の形態の撮影装置１を示す図
【図３１】図３１は、本発明の実施の形態の撮影装置（Ｚ方向の軌跡データ出力）１を示す図
【図３２】図３２は、本発明の実施の形態の撮影装置（Ｚ方向の手振れ補正）１を示す図
【図３３】図３３は、本発明の実施の形態の撮影装置（光学補正とデータ処理補正）１を示す図
【図３４】図３４は、本発明の実施の形態の手振れ補正の演算を示す図
【図３５】図３５は、本発明の実施の形態の撮影装置と補正処理プログラムの組み合わせと補正処理用のコンピュータを示す図
【図３６】図３６は、本発明の実施の形態の撮影装置における補正量の検出手段の構成を示す図
【符号の説明】
【００６１】
２ レンズ部
４ 自動焦点部
５ 撮像部
６ ズーム部
８ 副画像メモリ
９ 揺動補正部
１０ 表示切替部
１１ 表示回路
１２ 表示部
１３ 記録部
１４ 記録媒体
１５ 揺動検出手段
１６ 第１メモリ
１７ 第２メモリ
１８ 演算部
２０ マスキング部
２１ 揺動補正制御部
２２ トリミング部
２３ 画素転送部
２４ 解像度変更部
２５ シャッターボタン
２５ａ 間引き制御部
２６ ＣＰＵ
２７ クロック制御手段
２８ 処理クロック供給部
２９ 演算部
２９ａ 副演算部
３０ 主画像メモリ
３２ 転送クロック供給部
３６ バイブレータ
３７ スピーカ
３９ 明部抽出部
４０ フレームレート変更部
１００ 撮影装置
１０１ 角速度検出部
１０２ サンプリング回路
１０３ 点
１０４ サンプル周波数発生部
１０５ データ圧縮部
１０６ 撮影情報付加部
１０７ Ｅｘｉｆデータ
１０８ 補正画像出力部
１０９ 切換部
１１０ 出力データ生成部
１１１ 手振れ量測定部
１１２ 撮影画像
１１３ 軌跡データ
１１４ 外部記憶媒体
１１５ 手振れ補正部
１１６ 処理量演算部
１１７ シャッタ
１１８ シャッタ開時間制御部
１１９ シャッターボタン
１２０ 撮影映像メモリ
１２１ フーリエ逆変換部
１２２ 拡大部（本文修正のこと）
１２３ トリミング部
１２５ 縮小部
１２６ センター（トリミング後）
１２６ａ センター（元の画像）
１２７ ステップ（図２８）
１２８ ステップ（図２９）
１２９ トリミング画像
１３０ 処理状況インジケータ
１３１ マーク（補正処理中）
１３２ 表示部２の表示画面
１３３ Ｗａｉｔの表示
１３４ 軌跡マーク
１３５ 二次元フィルタ
１３６ 積分器
１３７ 焦点調整部
１４０ レンズ駆動部
１４１ 手振れ補正制御部
１４２ 手振れ補正量算出部
１４３ 差分部
１４５ 警告部
１４６ データ出力部
１４７ 出力画像
１４８ 演算部
１５０ コンピュータ
１５１ 記録媒体
１５２ パッケージ
１５３ 補正処理プログラム
１５５ 揺動補正レンズ
１５６ 駆動モーター
１５７ レンズ位置検出手段
１５８ ホール素子
１５９ 揺動補正量
１６０ 揺動補正手段の制御周波数特性
１６１ 伝達関数
１６２ 揺動補正量
【発明を実施するための最良の形態】
【００６２】
以下、図を参照して本発明の実施の形態を説明する。
【００６３】
１．撮影装置
図１は、本発明の実施の形態の撮影装置１００を示す。
【００６４】
撮影装置１００は、所定の露光期間に静止像を撮影する。撮影装置１００は、撮影装置１００の外部から光を入射するためのレンズ部２と、光３を自動焦点調整する自動焦点部４と、レンズ部２のズーム比を設定するズーム部６と、撮像部５とを含む。撮像部５には、光学像が結像される。撮像部５は、結像された光学像を示す出力データを出力する。撮像部５は、例えば、ＣＣＤもしくはＭＯＳ型撮像装置である。レンズ部２から入射した光３は、自動焦点部４により焦点調整される。ズーム部６により、レンズ部２のズーム比が設定され、撮像部５上に光学像７が結像される。
【００６５】
撮影装置１００は、表示切替部１０と、表示回路１１と、表示部１２と、記録部１３と、記録媒体１４とをさらに含む。静止像を表す静止画の揺動を補正することなく静止像を撮影する場合は、撮像部５から出力された出力データは表示切替部１０に直接送られる。静止画像を表示する場合は、撮像部５から出力された出力データは、表示回路１１によって表示部１２に表示される。静止画像を記録する場合は、撮像部５から出力された出力データは、記録部１３によって記録媒体１４に記録される。
【００６６】
撮影装置１００は、シャッターボタン２５と、データを記憶する副画像メモリ８と、撮影された静止像を表す複数の画像（フレーム）間の揺動量を検出する揺動検出手段１５と、検出された揺動量に応じて、複数の画像（フレーム）を示す複数の画像情報を補正する揺動補正部９と、揺動補正制御部２１と、タテ方向の揺動を除去するように制御されるトリミング部２２と、画面データによって示される画像の解像度を変更する解像度変更部２４と、間引き制御部２５ａと、画素転送部２３と、揺動量に応じてフレームレートを変更するフレームレート変更部４０とをさらに含む。揺動検出手段１５は、揺動検出手段１５に入力されたデータを演算する演算部１８と、第１メモリ１６と、第２メモリ１７とを含む。揺動補正制御部２１は、検出された揺動量に応じて撮像部５から出力された出力データを補正するために、各構成要素を制御する。
【００６７】
静止像を表す静止画の揺動を補正して静止像を撮影する場合（揺動補正設定がＯＮである場合）には、シャッタボタン２５を押す前に、撮像部５から出力された出力データが一旦副画像メモリ８に蓄積される。撮像部５から出力された出力データは、揺動検出手段１５に入力される。演算部１８は、入力された複数の出力データ（例えば、ｎ−１番目の画面データ（即ち、前の画面のデータ）とｎ番目の画像データ（即ち、現在の画面のデータ））を演算し、揺動情報を求める。揺動情報は、動きベクトル１９である。なお、撮影装置１００がタテ用振動ジャイロとヨコ用振動ジャイロとを備える場合にも、タテの揺動量とヨコの揺動量とを検出することができる。この場合には、揺動情報は、タテの揺動量およびヨコの揺動量である。
【００６８】
揺動補正制御部２１が、トリミング部２２と画素転送部２３とを制御することによって、タテ方向の揺動が除去される。揺動補正制御部２１が揺動補正部９を制御することによって、ヨコ方向の揺動が除去される。したがって、画像データのタテの揺動および画像データのヨコの揺動を補正することができ、揺動補正された画像データを得ることができる。
【００６９】
揺動補正された画像データは、順次、表示切替部１０を介して表示部１２に出力される。ユーザは、表示部１２から、揺動補正された連続画像を所定のフレームレートで視認できる。
【００７０】
なお、表示部１２に、揺動補正された画像データによって示された全画像のうち、一部の領域の画像を表示することができる。したがって、被写体のフレーミングを正確にできる。この場合、解像度は解像度変更部２４および間引き制御部２５ａによって、静止画撮影時より低い解像度に設定される。したがって、フレームレートを高くすることが可能になり、１秒間の表示枚数を多くすることができる。その結果、ユーザは、よりスムーズに被写体の画像を視認できる。
【００７１】
記録部１３は、フレームレートの高い複数の画像を動画として記録媒体１４に記録してもよい。
【００７２】
解像度変更部２４は、例えば、明るさ、揺動量、ズーム比のうちの少なくとも１つに応じて、複数のフレームの解像度を変更する。
【００７３】
撮影装置１００は、クロック制御手段２７と、転送クロック供給部３２と、処理クロック供給部２８と、ＣＰＵ２６とをさらに含む。ユーザがシャッターボタン２５を半押しにすると、処理クロック供給部２８が演算部２９等のクロックの動作開始又はクロック速度の向上を実行するように、ＣＰＵ２６はクロック制御手段２７に指令を与える。
【００７４】
撮影装置１００は、揺動補正された複数の画像情報を記憶する主画像メモリ３０と、記憶手段に記憶された複数の画像情報に基づいて、静止像を示す静止画像情報を生成する演算部２９と、副演算部２９ａとをさらに含む。なお、演算部２９の機能、主画像メモリ３０の機能、および副演算部２９ａの機能の詳細は、後述される。
【００７５】
撮影装置１００は、マスキング部２０と、明部抽出部３９とをさらに含む。マスキング部２０の機能および明部抽出部３９の機能の詳細は、後述される。
【００７６】
撮影装置１００は、バイブレータ３６と、スピーカ３７とをさらに含む。バイブレータ３６の機能およびスピーカ３７の機能の詳細は、後述される。
【００７７】
図２は、揺動検出手段１５の構成を示す。揺動検出手段１５は、演算部１８と第１メモリ１６と第２メモリ１７とを含む。
【００７８】
第１メモリ１６には、時刻ｔ＝ｔｎ−１に撮影された画像Ｄｎ−１を示す画像データが格納されている。第２メモリ１７には、時刻ｔ＝ｔｎに撮影された画像Ｄｎを示す画像データが格納されている。２枚の画像を示すデータ（画像Ｄｎ−１を示す画像データおよび画像Ｄｎを示す画像データ）に基づいて、画像Ｄｎ−１と画像Ｄｎとの間の揺動量（例えば、動きベクトル（ｘ１、ｙ１））が検出され、揺動量を示すデータが出力される。
【００７９】
２．手振れ補正の動作
図３は、本発明の実施の形態の手振れ補正の動作を示す。
【００８０】
画像Ｄｎ＝１は、時刻ｎ＝１に撮影された画像を示し、画像Ｄｎ＝２は、時刻ｎ＝２に撮影された画像を示し、画像Ｄｎ＝３は、時刻ｎ＝３に撮影された画像を示し、画像Ｄｎ＝４は、時刻ｎ＝４に撮影された画像を示す。
【００８１】
画像Ｄｎ＝１を示す画像データが主画像メモリ部３０に蓄積される。
【００８２】
画像Ｄｎ＝２を示す画像データは、揺動量Ｍ２（Ｍ２＝（ｘ０＋ｘ１、ｙ０＋ｙ１））に応じて補正される。演算部２９によって、補正された画像データは、主画像メモリ部３０に蓄積されている画像Ｄｎ＝１を示す画像データに加算される。加算結果を示すデータは主画像メモリー部３０に蓄積される。補正された画像データを画像Ｄｎ＝１を示す画像データに加算するため、被写体の静止部は正確に重なり、画像のＳＮ比は向上する。
【００８３】
画像Ｄｎ＝３を示す画像データは、揺動量Ｍ３（Ｍ３＝（ｘ０＋ｘ１＋ｘ２、ｙ０＋ｙ１＋ｙ２））に応じて補正される。演算部２９によって、この補正された画像データは、主画像メモリ部３０に蓄積されている加算結果を示すデータに加算される。加算結果を示すデータは主画像メモリー部３０に蓄積される。
【００８４】
画像Ｄｎ＝４を示す画像データは、揺動量Ｍ４（Ｍ４＝（ｘ０＋ｘ１＋ｘ２＋ｘ３、ｙ０＋ｙ１＋ｙ２＋ｙ３））に応じて補正される。演算部２９によって、この補正された画像データは、主画像メモリ部３０に蓄積されている加算結果を示すデータに加算される。加算結果を示すデータは主画像メモリー部３０に蓄積される。
【００８５】
このように、データの加算を繰り返すことによって、主画像メモリ部３０には、加算された４枚のほぼ同じ画像を示す画像データが格納され、１枚の静止画を示すデータが生成される。したがって、露光期間中にシャッターを１００％開けていた場合には、時刻ｎ＝１から時刻ｎ＝４の期間中にシャッターを継続して開けていた場合とほぼ同じ明るさの画像が得られるとともに、各画面毎に手振れが補正される。
【００８６】
なお、手振れの程度（揺動量）やズーム比に応じて、例えばシャッタ開時間（露光時間）、フレームレートを適切に設定することによって、ＳＮを劣化させることなく電子的に手振れを補正することができる。なお、各画像を撮影する時のシャッタ開時間を短くすると手振れ補正に起因する画像劣化は減少するが光量が減る。この場合には、撮影するフレームの枚数を増やす。
【００８７】
本発明の実施の形態では、転送クロックを上げることによってフレームレートを上げたり、解像度を下げることによってフレームレートを上げたりして最適なフレームレートを得ることができる。したがって、適用範囲が広いという効果がある。
【００８８】
なお、演算部２９によって為される演算は、加算に限らない。複数の画像データ（フレーム情報）に基づいて１枚の静止画を示すデータを生成することができる限り、演算は、例えば積分でもよい。
【００８９】
３．マスキングの動作
図４は、本発明の実施の形態のマスキングの動作を示す。
【００９０】
画像Ｄｎ＝１は、時刻ｎ＝１に撮影された画像を示し、画像Ｄｎ＝２は、時刻ｎ＝２に撮影された画像を示し、画像Ｄｎ＝３は、時刻ｎ＝３に撮影された画像を示し、画像Ｄｎ＝４は、時刻ｎ＝４に撮影された画像を示す。
【００９１】
時刻ｎ＝１で、ストロボが発光する。したがって、例えば、画像３５ｅに表された人物は背景（例えば、夜景）に比べて明るくなる。ここで画像３５ｅに表された人物を明部３８ａと定義する。明部抽出部３９は、画像３５ｅを示すデータから明部３８ａを示すデータを抽出し、抽出された明部ａを示すデータに基づいて、マスキングデータ３１を生成する。
【００９２】
時刻ｎ＝２で、画像Ｄｎ＝２を示す画像データからマスキングデータ３１を切り出す。明部３８ｂの画像がとり去られ、かつ手振れが補正された補正画像３３ａを示すデータが生成される。補正画像３３ａを示すデータが画像３５ｅを示すデータに加算され、積分画像３５ａを示すデータが生成される。
【００９３】
時刻ｎ＝３で、画像Ｄｎ＝３を示す画像データからマスキングデータ３１を切り出す。明部３８ｃの画像がとり去られ、かつ手振れが補正された補正画像３３ｂを示すデータが生成される。補正画像３３ｂを示すデータが積分画像３５ａを示すデータに加算され、積分画像３５ｂを示すデータが生成される。
【００９４】
時刻ｎ＝４で、画像Ｄｎ＝４を示す画像データからマスキングデータ３１を切り出す。明部３８ｄの画像がとり去られ、かつ手振れが補正された補正画像３３ｃを示すデータが生成される。補正画像３３ｃを示すデータが積分画像３５ｂを示すデータに加算され、積分画像３５ｃを示すデータが生成される。
【００９５】
積分画像３５ｃを示すデータがリサイズされ、積分画像３５ｄを示すデータが生成される。
【００９６】
上述したように、時刻ｎ＝１で、ストロボの発光により明るくなった人物等の明部をとり込み、時刻ｎ＝２、３、４で、撮影された画像のうち、明部以外の領域の画像をとり込む。夜景撮影等で人物を対象にスローシャッタでストロボ撮影を行う場合には、例えば、ストロボ発光時の人物の顔の画像にスローシャッタ期間中に露光された人物の顔の画像が重なり（二重露光）、画像がぼける。しかし本発明の実施の形態のマスキングの動作によれば、手振れ補正によって、明部である人物の顔等が二重露光されない。その結果、明部を明瞭に撮影できる。
【００９７】
４．フレームレートの変更
図５は、画素数とフレーム周波数との関係を示す。
【００９８】
解像度変更部２４（図１参照）によって、撮像部５（図１参照）での解像度を下げると、フレームレート（ｆｐｓ）を上げることができる。また、クロック制御手段２７、処理クロック供給部２８および転送クロック供給部３２によって、転送クロック速度を上げた場合にも、フレームレート（ｆｐｓ）を上げることができる。
【００９９】
本発明の実施の形態では、手振れ補正を目的として画像をとり出す時に転送クロックを上げたり、解像度を下げることにより、実質的にフレームレートを上げて、電子的手振れ補正に特有の残像（画像劣化）をなくすことができる。この場合、通常の撮像部は２００万画素であり、フレームレートは７．５ｆｐｓ程度であるため、残像の影響が残ってしまう。フレームレートは２０ｆｐｓ以上でないと電子的手振れ補正に特有の残像をなくすことは困難である。
【０１００】
図６は、４分割された画素領域を含む撮像部５の構成を示す。
【０１０１】
撮像部５は、画素領域４０を含む。画素領域４０は、４つの画素領域（画素領域４０ａ、画素領域４０ｂ、画素領域４０ｃおよび画素領域４０ｄ）に分割されている。撮像部５は、４分割された水平方向転送部（水平方向転送部４１ａ、水平方向転送部４１ｂ、水平方向転送部４１ｃおよび水平方向転送部４１ｄ）と、４分割された垂直方向転送部（垂直方向転送部４２ａ、垂直方向転送部４２ｂ、垂直方向転送部４２ｃおよび垂直方向転送部４２ｄ）とをさらに含む。したがって、全画素の掃き出し時間は１／４に、フレームレートは４倍になり、２１０万画素のＣＣＤ型の撮像素子およびクロック速度＝１８ＭＨｚの条件で、フレームレートは３０ｆｐｓになる。その結果、手振れ補正に起因する画像劣化を目立たなくできる。撮像部５は左右に２分割してもよい。
【０１０２】
図７は、本発明の実施の形態におけるフレームレートを速くした場合の動作図である。
【０１０３】
露出時間＝１／４秒の場合、１／８秒毎にフレームを得る。このとき、ｘ方向の手振れ量＝∫０（ｘｉ＋ｘｉ＋１）ｄｔ≒（（ｘ１＋ｘ２）＋（ｘ３＋ｘ４））／２である。
【０１０４】
露出時間＝１／２秒の場合、フレームレートを高くすることにより、１／１６秒毎にフレームを得る。このとき、ｘ方向の手振れ量≒（ｘ１＋ｘ２＋ｘ３＋ｘ４＋ｘ５＋ｘ６＋ｘ７＋ｘ８）／８≒（（ｘ１＋ｘ２＋ｘ３＋ｘ４）／２＋（ｘ５＋ｘ６＋ｘ７＋ｘ８）／２）／４である。
【０１０５】
露出時間が長い場合は、フレームレートを速くし、多くのフレームを得るようにする。その結果、手振れ量を詳細に検出することが可能になり、手振れ補正に起因した画像劣化を減少することが出来る。
【０１０６】
このように、本発明の撮影装置によれば、複数のフレームを示す情報を揺動補正し、静止画を示す情報を生成することができるため、手ぶれ補正された１枚の静止画像を得ることができる。
【０１０７】
以上、（１．撮影装置）〜（４．フレームレートの変更）において、図１〜図７を参照して本発明の実施の形態の一例を説明した。
【０１０８】
例えば、図１〜図７に示される実施の形態では、揺動量検出手段１５が「撮影された静止像を表す複数のフレーム間の揺動量を検出する揺動量検出手段」に対応し、揺動補正部９が「検出された揺動量に応じて、複数のフレームを示す複数のフレーム情報を補正する揺動補正手段」に対応し、主画像メモリ３０が「揺動補正された複数のフレーム情報を記憶する記憶手段」に対応し、演算部２９が「記憶手段に記憶された複数のフレーム情報に基づいて、静止像を示す静止画像情報を生成する情報生成手段」に対応する。
【０１０９】
しかし、本発明の撮影装置が図１〜図７に示される実施の形態に限定されるわけではない。撮影装置が備える各構成要素が、上述した「撮影された静止像を表す複数のフレーム間の揺動量を検出する揺動量検出手段」、「検出された揺動量に応じて、複数のフレームを示す複数のフレーム情報を補正する揺動補正手段」、「揺動補正された複数のフレーム情報を記憶する記憶手段」および「記憶手段に記憶された複数のフレーム情報に基づいて、静止像を示す静止画像情報を生成する情報生成手段」の各々の機能を有する限りは、任意の構成を有し得る。
【０１１０】
５．撮影方法１
図８は、本発明の実施の形態の撮影処理の手順（ステップ５０ａ〜ステップ５０ｆ）を示す。
【０１１１】
図９は、本発明の実施の形態の撮影処理の手順（ステップ５１ａ〜ステップ５１ｙ）を示す。
【０１１２】
図１０は、本発明の実施の形態の撮影処理の手順（ステップ５２ａ〜ステップ５２ｔ）を示す。
【０１１３】
以下、図１および図８〜図１０を参照して、本発明の実施の形態の撮影処理の手順をステップごとに説明する。
【０１１４】
図８を参照して、ステップ５０ａ〜ステップ５０ｆを説明する。
【０１１５】
ステップ５０ａ：操作者が、静止画の撮影を準備する。
【０１１６】
ステップ５０ｂ：操作者が、シャッターボタン２５を半押しにすると、処理クロック供給部２８が演算部２９等のクロックの動作開始又はクロック速度を向上するように、ＣＰＵ２６がクロック制御手段２７に指令を与える。処理クロック供給部２８が演算部２９等のクロックの動作開始又はクロック速度を向上すると、処理はステップ５０ｃに進む。
【０１１７】
ステップ５０ｃ：撮像部５は、設定解像度より小さい画像、または間引きした画像を取り出す。ｎ−１番目の画像を示すデータとｎ番目の画像を示すデータとに基づいて、ｎ−１番目の画像とｎ番目の画像との特定点または特定領域の位置の差情報を生成し、揺動情報（揺動量）を得る。
【０１１８】
ステップ５０ｄ：撮影場所の明るさが暗く設定解像度が一定値以上の条件下で、揺動情報（揺動量）が所定の値より大きいか否かを判定する。所定の値より大きい場合（Ｙｅｓ）には、処理はステップ５０ｅに進む。所定の値と同じまたは所定の値より小さい場合（Ｎｏ）には、処理はステップ５０ｆに進む。
【０１１９】
ステップ５０ｅ：揺動情報の値に応じて表示部１２に“手振れ注意”の警告を表示する。
【０１２０】
ステップ５０ｆ：操作者はシャッターボタン２５を押すか否かを判断する。押す（Ｙｅｓ）場合には、処理はステップ５１ａ（図７参照）に進む。押さない（Ｎｏ）場合には、ステップ５０ｆの処理が繰り返される。
【０１２１】
以下、図９を参照して、ステップ５１ａ〜ステップ５１ｙを説明する。
【０１２２】
ステップ５１ａ：シャッター速度（露光時間）がｔ１より長いか否かが判定される。例えば、ＣＰＵ２６が、シャッター速度（露光時間）がｔ１より長いか否かを判定する。
【０１２３】
ズーム部６のズーム比が一定値以下で、シャッター速度（露光時間）がｔ１と同じまたはｔ１より短い場合（Ｎｏ）には、処理はステップ５１ｂに進む。シャッター速度（露光時間）がｔ１より長い場合（Ｙｅｓ）には、処理はステップ５１ｄに進む。
【０１２４】
ステップ５１ｂ：揺動補正なし（手振れ補正なし）で撮影する。
【０１２５】
ステップ５１ｃ：撮影が完了し、処理が終了する。
【０１２６】
ステップ５１ｄ：手段振れ補正優先スイッチをＯＮにする。
【０１２７】
ステップ５１ｅ：シャッター速度（露光時間）がｔ２より長いか否かが判定される。
【０１２８】
シャッター速度（露光時間）がｔ２と同じまたはｔ２より短い場合（Ｎｏ）には、処理はステップ５１ｆに進む。シャッター速度（露光時間）がｔ２より長い場合（Ｙｅｓ）には、処理はステップ５１ｈに進む。
【０１２９】
ステップ５１ｆ：手振れが激しいか否か、ズーム比が一定値より大きいか否かが判定される。
【０１３０】
手振れが激しくなく、ズーム比が一定値より大きい場合（Ｎｏ）には、処理はステップ５１ｇに進む。手振れが激しく、ズーム比が一定値以下である場合（Ｙｅｓ）には、処理はステップ５１ｉに進む。
【０１３１】
ステップ５１ｇ：解像度を予め設定されている解像度Ｎ０に設定したままで手振れ補正ルーチン（ステップ５１ｒ）に進む。
【０１３２】
ステップ５１ｈ：設定解像度Ｎ０が所定解像度Ｎ１より高いか否かが判定される。
【０１３３】
設定解像度Ｎ０が所定解像度Ｎ１であるか所定解像度Ｎ１より低い場合（Ｎｏ）には、処理はステップ５１ｒに進む。設定解像度Ｎ０が所定解像度Ｎ１より高い場合（Ｙｅｓ）には、処理はステップ５１ｉに進む。
【０１３４】
ステップ５１ｉ：クロック制御手段２７によって画素転送部２３の転送クロックを速くする。こうしてフレームレートを上げる。
【０１３５】
ステップ５１ｊ：手振れが激しいか否かを判定する。
【０１３６】
手振れが激しくなく、ズーム比が所定値以下、つまり手振れが非常に少ない場合（Ｎｏ）には、処理はステップ５１ｋに進む。手振れが激しい時や、ズーム比等の値が所定値より大きい場合、つまり手振れがある程度ある場合（Ｙｅｓ）には、処理はステップ５１ｍへ進む。
【０１３７】
ステップ５１ｋ：所定解像度Ｎ１のまま、処理はステップ５１ｒに進む。
【０１３８】
ステップ５１ｍ：設定解像度が所定解像度Ｎ２より高いか否か、またはフレームレートが所定値ｆｎより低いか否かが判定される。
【０１３９】
設定解像度が所定解像度Ｎ２と同じ、または所定解像度Ｎ２より低い場合、あるいは、フレームレートが所定値ｆｎと同じ、または所定値ｆｎより高い場合（Ｎｏ）には、処理はステップ５１ｒに進む。
【０１４０】
設定解像度が所定解像度Ｎ２より高い場合、またはフレームレートが所定値ｆｎより低い場合（Ｙｅｓ）には、処理はステップ５１ｎに進む。
【０１４１】
ステップ５１ｎ：解像度を所定解像度Ｎ１より低い解像度Ｎ２に設定するために、処理はステップ５１ｐに進む。
【０１４２】
ステップ５１ｐ：解像度変更部２４および間引き制御部２５ａによって、撮像部５からの画素出力を間引くか、面内方向の複数の画素を示す情報を加算して一つの画素を示す情報を生成し、画素数（即ち、解像度）を下げる（解像度Ｎ２に設定）。
【０１４３】
ステップ５１ｑ：解像度を所定解像度Ｎ１より低い解像度Ｎ２に設定した結果、フレームレートの最高速度の値が上がる。フレームレートを上げる。
【０１４４】
ステップ５１ｒ：複数のフレーム（画像）を撮影装置１００にとり込むために、手振れ補正ルーチンのための撮影画像の入力を開始するか否かを判定する。撮影画像の入力を開始する場合（Ｙｅｓ）には、処理はステップ５１ｙに進む。
【０１４５】
ステップ５１ｙ：露出時間（即ち、シャッター時間）、絞り値およびフレームレートに基づいて、分割露光するために必要な総枚数ｎｌａｓｔを演算する。手振れの激しい時は各静止画のシャッター時間を短くする。
【０１４６】
ステップ５１ｓ：ｎ＝０に設定する。
【０１４７】
ステップ５１ｔ：ｎを１つインクリメントする（ｎ＝ｎ＋１）。
【０１４８】
ステップ５１ｕ：ｎ枚目の画像を撮影し、撮像部５からｎ枚目の静止画像を副メモリ８にとり込む（ｎ枚目の静止画像データを得る）。
【０１４９】
ステップ５１ｖ：静止画像データが１枚目の静止画像データであるか否かを判定する。
【０１５０】
静止画像データが１枚目の静止画像データである場合（Ｙｅｓ）には、処理はステップ５１ｗに進む。静止画像データが１枚目の静止画像データでない場合（Ｎｏ）には、処理はステップ５２ａ（図１０参照）に進む。
【０１５１】
ステップ５１ｗ：撮像部５の画像の一部を切り出し、画像データＩ１を得る。
【０１５２】
ステップ５１ｘ：画像データＩ１を主画像メモリ３０に保存する。
【０１５３】
以下、図８を参照して、ステップ５２ａ〜ステップ５２ｔを説明する。
【０１５４】
ステップ５２ａ：揺動検出手段１５によって、１枚目の画像データと２枚目の画像データとの特定点の動きを演算し、揺動量Ｍｎを算出する（図２参照）。
【０１５５】
揺動検出手段１５に含まれる第１メモリ１６に、時刻ｔ＝ｔ１に撮影された１枚目の画像Ｄ１を示す画像データが格納されており、かつ揺動検出手段１５に含まれる第２メモリ１７に、時刻ｔ＝ｔ２に撮影された２枚目の画像Ｄ２を示す画像データが格納されている場合には、揺動検出手段１５は、２枚の画像を示すデータ（画像Ｄ１を示す画像データおよび画像Ｄ２を示す画像データ）に基づいて、画像Ｄ１と画像Ｄ２との間の揺動量Ｍ１（例えば、動きベクトル（ｘ１、ｙ１））を検出し、揺動量を示すデータを出力する。
【０１５６】
ステップ５２ｂ：揺動量Ｍｎの積分値が一定値以上か否かを判定する。
【０１５７】
揺動量Ｍｎの積分値が一定値以上である場合（Ｙｅｓ）には、撮影画像が特定領域をはみ出したと判定され、処理はステップ５２ｃに進む。揺動量Ｍｎの積分値が一定値より小さい場合（Ｎｏ）には、処理はステップ５２ｓに進む。
【０１５８】
ステップ５２ｃ：エラーレジスタに１が追加される。ｎ番目の画像を主画像メモリ３０に保存しないで、処理はステップ５２ｈに進む。
【０１５９】
ステップ５２ｓ：揺動量Ｍｎの積分値が別の一定値以上か否かが判定され、揺動量Ｍｎの積分値が別の一定値以上である場合には、第２エラーレジスタに１が追加される。
【０１６０】
ステップ５２ｄ：撮像部５から出力された画像データのうち、揺動量Ｍｎに応じてタテ方向に切り出された画像データＩｎを副画像メモリ８に保存する。
【０１６１】
ステップ５２ｅ：ストロボをＯＮにするか否かを判定する。ストロボをＯＮにする場合（Ｙｅｓ）には、処理はステップ５２ｆに進む。ストロボをＯＮにしない場合（Ｎｏ）には、処理はステップ５２ｇに進む。
【０１６２】
ステップ５２ｆ：マスキング部２０によって、画像データＩｎを予めマスキングする（図４および（３．マスキングの動作）参照）。
【０１６３】
ステップ５２ｇ：揺動補正部９からヨコ方向の揺動とタテ方向の揺動とが補正された画像データＩｎを得る。
【０１６４】
例えば、画像データＩｎを演算部２９に送り、主画像メモリ３０の画像データと画像データＩｎとを演算（例えば、加算、積分）し、再び、演算結果を主画像メモリ３０に保存する。
【０１６５】
ステップ５２ｈ：揺動補正制御部２１は、ｎ＝ｎｌａｓｔ（即ち、最後の値）であるか否かを判定する。
【０１６６】
ｎ＝ｎｌａｓｔである場合（Ｙｅｓ）には、処理はステップ５２ｉに進む。ｎ＝ｎｌａｓｔでない場合（Ｎｏ）には、もう１枚画像データを取り込むために、処理はステップ５１ｔ（図９参照）に進む。
【０１６７】
ステップ５２ｉ：クロック制御手段２７によって撮像部５の転送クロックを下げる。または、省電力のために、撮像部５の転送クロックを停止させる。
【０１６８】
ステップ５２ｊ：第２エラーレジスタの値が一定値以上であるか否かを判定する。
【０１６９】
第２エラーレジスタの値が一定値より小さい場合（Ｎｏ）には、処理はステップ５２ｎに進む。第２エラーレジスタの値が一定値以上である場合（Ｙｅｓ）には、処理はステップ５２ｋに進む。
【０１７０】
ステップ５２ｋ：積分画像をリサイズすることによって、欠除部を排除可能か否か（欠除部の範囲が排除可能な範囲内であるか否か）を判定する。
【０１７１】
例えば、補正画像３３ｃには欠除部３４ａが生じている（図４参照）。この場合には、積分画像３５ｃにも欠除部３４ｂが生じてしまう。したがって、欠除部３４ｂを排除するために、積分画像３５ｃをリサイズする必要がある。この場合に、積分画像３５ｃをリサイズすることによって欠除部３４ｂを排除可能か否か（欠除部３４ｂの範囲が排除可能な範囲内であるか否か）を判定する。
【０１７２】
排除可能な場合（Ｙｅｓ）には、処理はステップ５２ｍに進む。排除可能でない場合（Ｎｏ）には、処理はステップ５２ｐに進む。
【０１７３】
ステップ５２ｍ：積分画像３５ｃをリサイズすることによって欠除部３４ｂを排除し、欠除部のない積分画像３５ｄを得る（図４参照）。
【０１７４】
ステップ５２ｎ：積分画像３５ｄを示すデータを記録媒体１４に記録する。
【０１７５】
ステップ５２ｐ：手振れ補正しても欠除部を排除不可能であるため、操作者に手振れ補正の失敗を伝える。例えば、表示部１２に“手振れ補正エラー（範囲外である）”との意味の表示をする（図１参照）。また、スピーカー３７からエラー警告音を出力する。また、バイブレーター３６を振動させる。
【０１７６】
ステップ５２ｑ：主表示設定がＯＮか否か判定する。
【０１７７】
主表示設定がＯＮである場合（Ｙｅｓ）には、処理はステップ５２ｒに進む。主表示設定がＯＮでない場合（Ｎｏ）には、処理はステップ５２ｔに進む。
【０１７８】
ステップ５２ｒ：主画像メモリ３０に格納されている手振れ補正された積分画像、またはリサイズされた画像を表示部１２に表示する。
【０１７９】
ステップ５２ｔ：手振れ補正された画像を記録媒体１４に記録する。一定時間経過後、別の手振れ補正された画像を撮影する場合には、再び最初のステップ５０ａに戻る（図８参照）。
【０１８０】
このように、本発明の撮影方法によれば、複数のフレームを示す情報を揺動補正し、静止画を示す情報を生成することができるため、手振れ補正された１枚の静止画像を得ることができる。
【０１８１】
以上、（５．撮影方法１）において、図１および図８〜図１０を参照して、本発明の実施の形態の一例を説明した。
【０１８２】
例えば、図８〜図１０に示される実施の形態では、ステップ５２ａが「撮影された静止像を表す複数のフレーム間の揺動量を検出するステップ」に対応し、ステップ５２ｂ〜ステップ５２ｇが「検出された揺動量に応じて、複数のフレームを示す複数のフレーム情報を補正するステップ」に対応し、ステップ５２ｇが「揺動補正された複数のフレーム情報を記憶するステップ」に対応し、ステップ５２ｇまたはステップ５２ｍが「記憶手段に記憶された複数のフレーム情報に基づいて、静止像を示す静止画像情報を生成するステップ」に対応する。
【０１８３】
しかし、本発明の撮影方法が図８〜図１０に示される実施の形態に限定されるわけではない。撮影方法に包含される各ステップが、上述した「撮影された静止像を表す複数のフレーム間の揺動量を検出するステップ」、「検出された揺動量に応じて、複数のフレームを示す複数のフレーム情報を補正するステップ」、「揺動補正された複数のフレーム情報を記憶するステップ」および「記憶手段に記憶された複数のフレーム情報に基づいて、静止像を示す静止画像情報を生成するステップ」の各々が有する機能を有する限りは、任意の手順を有し得る。
【０１８４】
例えば、図８〜図１０を参照して説明したように、演算部２９は、主画像メモリ３０に記憶された複数の画像データ（フレーム情報）の各々を順次演算することによって、静止画像情報を生成する。また、演算部２９は、主画像メモリ３０に記憶された複数の画像データ（フレーム情報）を一括して演算することによって、静止画像情報を生成してもよい。
【０１８５】
６．撮影方法１（順次演算）
図１１は、本発明の実施の形態の順次演算処理手順を示す。順次演算処理手順は、複数の画像データ（フレーム情報）の各々を順次演算することによって、静止画像情報を生成する手順である。
【０１８６】
以下、図１と図１１とを参照して、撮影準備終了後（図９のステップ５１ｓ以降）の順次演算処理手順をステップごとに説明する。
【０１８７】
ステップ１０ａ：ｎ＝０に設定する。
【０１８８】
ステップ１０ｂ：ｎを１つインクリメントする（ｎ＝ｎ＋１）。
【０１８９】
ステップ１０ｃ：ｎ枚目の画像を撮影し、副メモリ８にとり込む。
【０１９０】
ステップ１０ｄ：ｎ枚目の画像を手振れ補正し、手振れ補正された画像Ｐｎを得る。
【０１９１】
ステップ１０ｅ：演算部２９は、手振れ補正された画像Ｐｎを示すデータをｍ倍する（Ｐｎ×ｍ）。
【０１９２】
ステップ１０ｆ：演算部２９は、ｍ倍された画像Ｐｎを示すデータを主画像メモリ３０の画像データに加算する（Σｎ−１ｉ＝１（Ｐｉ×ｍ）＋（Ｐｎ×ｍ））。
【０１９３】
ステップ１０ｇ：加算結果を主画像メモリ３０に蓄積する。
【０１９４】
ステップ１０ｈ：ｎ＝ｎｌａｓｔ（即ち、最後の値）であるか否かを判定する。
【０１９５】
ｎ＝ｎｌａｓｔである場合（Ｙｅｓ）には、処理はステップ１０ｉに進む。ｎ＝ｎｌａｓｔでない場合（Ｎｏ）には、もう１枚の画像データを取り込むために、処理はステップ１０ｂに進む。
【０１９６】
ステップ１０ｉ：副演算部２９ａは、ｍ倍され、順次加算された画像データを１／ｓ倍し、静止画を示す画像データＰｘを生成する（Ｐｘ＝（Σｎｉ＝１（Ｐｉ×ｍ））／ｓ）。
【０１９７】
ステップ１０ｊ：生成された画像データＰｘを記録部１３に出力する。
【０１９８】
記録部１３に出力した後、処理は終了する。
【０１９９】
このように、順次演算処理手順によれば、複数の画像データ（フレーム情報）の各々を順次演算することによって、静止画像情報を生成するため、静止画像情報の生成時間を短縮することができる。
【０２００】
また、演算部２９が、ｍ倍された画像Ｐｎを示すデータを主画像メモリ３０の画像データに加算し、副演算部２９ａが、ｍ倍され、順次加算された画像データを１／ｓ倍し、静止画を示す画像データＰｘを生成するため、ｍの値とｓの値とを任意に設定することによって、所望の明るさを有する１枚の静止画を得ることができる。
【０２０１】
７．撮影方法１（一括演算）
図１２は、本発明の実施の形態の一括演算処理手順を示す。一括演算処理手順は、複数の画像データ（フレーム情報）を一括して演算することによって、静止画像情報を生成する手順である。
【０２０２】
以下、図１と図１２とを参照して、撮影準備終了後（図９のステップ５１ｓ以降）の一括演算処理手順をステップごとに説明する。
【０２０３】
ステップ２０ａ：ｎ＝０に設定する。
【０２０４】
ステップ２０ｂ：ｎを１つインクリメントする（ｎ＝ｎ＋１）。
【０２０５】
ステップ２０ｃ：ｎ枚目の画像を撮影する。
【０２０６】
ステップ２０ｄ：ｎ枚目の画像を示すデータを主画像メモリ３０に蓄積する。
【０２０７】
ステップ２０ｅ：演算部２９は、ｎ＝ｎｌａｓｔ（即ち、最後の値）であるか否かを判定する。
【０２０８】
ｎ＝ｎｌａｓｔである場合（Ｙｅｓ）には、処理はステップ２０ｆに進む。ｎ＝ｎｌａｓｔでない場合（Ｎｏ）には、もう１枚の画像データを取り込むために、処理はステップ２０ｂに進む。
【０２０９】
ステップ２０ｆ：ｎ枚の画像を手振れ補正する。手振れ補正されたｎ枚の画像の各々を画素積分し、１枚の静止画を示す画像データＰｘを生成する。
【０２１０】
ステップ２０ｇ：生成された画像データＰｘを記録部１３に出力する。
【０２１１】
記録部１３に出力した後、処理は終了する。
【０２１２】
このように、一括演算処理手順によれば、複数の画像データ（フレーム情報）を一括演算することによって、静止画像情報を生成するため、演算部２９の負荷を低減することができる。
【０２１３】
なお、上述の（６．撮影方法１（順次演算））で説明したように、副演算部２９ａによって、画像データを適宜ｍ倍、１／ｓ倍することができるため、所望の明るさを有する１枚の静止画を得ることができる。
【０２１４】
８．撮影方法２
図１３は、撮影場所の明るさや、シャッター速度（露光時間）に応じて、複数の画像（分割画像）を積分することによって、手振れ補正を行うための処理手順を示す。
【０２１５】
以下、この処理手順をステップごとに説明する。
【０２１６】
ステップ９９ａ：解像度、画素数および分割画像数を設定する。
【０２１７】
ステップ９９ｂ：手段振れ補正優先スイッチがＯＮであるか否かを判定する。
【０２１８】
ＯＮでない場合（Ｎｏ：解像度優先モード）には、例えば、処理はステップ８０ｃ（後述される図１９参照）に進む。ＯＮである場合（Ｙｅｓ：手段振れ補正優先モード）には、処理はステップ９９ｃに進む。
【０２１９】
ステップ９９ｃ：撮影場所の明るさが、解像度に応じて定められた所定値より小さいか否かが判定される。
【０２２０】
所定値より小さい場合（Ｙｅｓ）には、処理はステップ９９ｆに進む。所定値と同じか所定値より大きい場合（Ｎｏ）には、処理はステップ９９ｄに進む。
【０２２１】
ステップ９９ｄ：シャッタ開口時間（露光時間）Ｓが、解像度に応じて定められた所定値より大きいか否かが判定される。
【０２２２】
所定値より大きい場合（Ｙｅｓ）には、処理はステップ９９ｆに進む。所定値と同じか所定値より小さい場合（Ｎｏ）には、処理はステップ９９ｅに進む。
【０２２３】
ステップ９９ｅ：手振れ量が所定値より大きいか否かが判定される。
【０２２４】
所定値より大きい場合（Ｙｅｓ）には、処理はステップ９９ｆに進む。所定値と同じか所定値より小さい場合（Ｎｏ）には、通常撮影（時間方向の画素加算をしない撮影）を行う（ステップ９９ｍ）。
【０２２５】
ステップ９９ｆ：撮影場所の明るさ、シャッタ開口時間（露光時間）およびフレームレートのうちの少なくとも１つに応じて、手振れが目立たない解像度（限界解像度）Ｎ１を設定する。
【０２２６】
設定後、処理はステップ９９ｇに進む。
【０２２７】
ステップ９９ｇ：解像度Ｎ１が初期解像度Ｎ０より大きいか否かを判定する。
【０２２８】
大きい場合（Ｙｅｓ）には、通常撮影（時間方向の画素加算をしない撮影）を行う（ステップ９９ｍ）。同じか小さい場合（Ｎｏ）には、処理はステップ９９ｈに進む。
【０２２９】
ステップ９９ｈ：解像度Ｎ１を初期解像度Ｎ０より小さい解像度Ｎ２に変更する。
【０２３０】
ステップ９９ｉ：水平方向の画素加算（水平加算処理）および垂直方向の画素加算（垂直加算処理）のうちの少なくとも一方を実施し、解像度をＮ２に設定する。水平加算処理および垂直加算処理の詳細は、後述される。
【０２３１】
ステップ９９ｊ：フレームレートを上げる。
【０２３２】
ステップ９９ｋ：多重撮影を行う（時間方向、画素加算モード）。次に、処理は、例えば、ステップ５１ｙ（図９参照）に進む。
【０２３３】
９．解像度の変更
図１４は、面内画素加算と時間軸内画素加算とによって解像度を変更する手順を示す。
【０２３４】
以下、図１４を参照して面内画素加算と時間軸内画素加算とによって解像度を変更する手順をステップごとに説明する。
【０２３５】
ステップ７０ａ：撮像素子内の９個の画素（画素６０ａ〜画素６０ｉ）を示すデータを面内方向に加算して、１つの画素６２を示すデータを生成する。
【０２３６】
ステップ７０ｂ：実際のアドレスより多い仮想アドレスを設定する（実際のアドレスの量を拡大することによって、仮想アドレスを設定する）。手振れ補正情報（揺動情報）に応じて仮想的な切り出し部６５を設定する。
【０２３７】
ステップ７０ｃ：手振れ補正情報に応じて、仮想アドレス上で、画像６１を示すデータをシフトする。この場合、元の画素６２を示すデータと周囲の画素を示すデータとに基づいて、新たな画素６６を示すデータを生成する。
【０２３８】
図１５は、本発明の実施の形態による実際の画素数より多い画素数を設定して手振れを補正する原理を示す。手振れ補正量は画素の１／１０の分解能をもつため、精密に補正するために、画素６２を１０分割した仮想画素６７を生成し、仮想画素６７をシフトする。
【０２３９】
仮想画素６７を仮想空間上でシフトした後、処理はステップ７０ｄに進む。
【０２４０】
ステップ７０ｄ：画像を切り出す。
【０２４１】
ステップ７０ｅ：切り出し画像６４を示すデータを得る。はみ出した部分６８を示すデータは捨てる。
【０２４２】
ステップ７０ｆ：主画像メモリ３０に切り出し画像６４を示すデータを記録する。この時の手振れ補正量は、主画像メモリ３０に記録される。
【０２４３】
ステップ７０ｇ：新たな画像６１ａを示すデータが入力されると、ステップ７０ａ〜ステップ７０ｄと同様の処理を行う。
【０２４４】
ステップ７０ｈ：手振れ補正量に基づいて、切り出し画像６４ａを示すデータを得る。
【０２４５】
ステップ７０ｉ：切り出し画像６４の画素を示すデータと切り出し画像６４ａの画素を示すデータとを時間軸方向に加算（または積分）することによって、合成画像７１を示すデータを得る。
【０２４６】
ステップ７０ｊ：合成画像７１を示すデータを主画像メモリ３０に記録する。
【０２４７】
ステップ７０ｋ：新たな画像６１ｂを示すデータが入力されると、ステップ７０ａ〜ステップ７０ｅと同様の処理を行う。切り出し画像６４ｂを示すデータを得る。
【０２４８】
ステップ７０ｍ：合成画像７１の画素を示すデータと切り出し画像６４ｂの画素を示すデータを時間軸方向に加算することにより、合成画像７１ａを示すデータを得る。
【０２４９】
ステップ７０ｎ：１回目の手振れ補正量６９、２回目の手振れ補正量６９ａおよび３回目の手振れ補正量６９ｂを演算することにより、手振れ補正量７２を生成する。手振れ補正量７２に基づいて、３枚の画像が重複して加算された重複領域７３を合成画像７１ａから特定する。
【０２５０】
ステップ７０ｐ：重複領域７３を示すデータに対してズーミング演算を行うことにより、拡大補間し、拡大画像７４を示すデータを得る。拡大補間および縮小補間の詳細は後述される。
【０２５１】
手振れ補正された静止画７４を示すデータを得て、処理は終了する。
【０２５２】
図１４を参照して説明された実施の形態では、３枚の画像を積分する例を説明したが、積分される画像の枚数は３枚に限らない。例えば、露光時間が長くなると、より多くの画像を積分する。より多くの画像を積分することによって、暗い場所の撮影が可能となる。
【０２５３】
図１６は、面内方向の加算方法を示す。面内方向の加算は、垂直方向の加算と水平方向の加算とを含む。
【０２５４】
図１６（ａ）は、垂直方向の加算方法を示す。垂直方向の読み出し時にＲ（赤）（ｍ、ｎ＋１）とＲ（ｍ、ｎ）とを垂直加算処理し、Ｒ（ｍ、ｎ＋１）＋Ｒ（ｍ、ｎ）を生成する。
【０２５５】
図１６（ｂ）は、水平方向の加算方法を示す。同じ色同志の画素を水平方向に加算する。例えば、Ｇ（ｍ、ｎ＋１）＋Ｇ（ｍ、ｎ）とＧ（ｍ＋１、ｎ＋１）＋Ｇ（ｍ＋１、ｎ）とを水平加算処理し、Ｇ（ｍ、ｎ＋１）＋Ｇ（ｍ、ｎ）＋Ｇ（ｍ＋１、ｎ＋１）＋Ｇ（ｍ＋１、ｎ）を生成する。
【０２５６】
図１６を参照して説明したように、面内方向の加算によって、４画素を示すデータから１画素を示すデータを生成することができる。
【０２５７】
なお、以下に説明するように、面内方向の加算処理において、画像の切り出し位置をシフトすることによって、さらに正確に画像を切り出すことができる。
【０２５８】
図１７は、画像の切り出し位置のシフトを説明するための図である。
【０２５９】
加算切り換え手段１０２ａと加算切り換え手段１０２ｂとは、揺動検出手段１５（図１参照）から出力された補正信号または検出信号（揺動情報）に応じて、加算モードをＡモード１０３とＢモード１０４との間で切り替える。このように、面内方向の加算処理（図１６参照）において、画像の切り出し位置を１画素分シフトすることによって、さらに正確に画像を切り出すことができる。
【０２６０】
図１８は、縮小補間の原理、拡大補間の原理、および高分解能の手振れ補正の原理を示す。図１８（ａ）は、縮小補間の原理を示す。元の画素（８個）から縮小補間された画素（６個）を得ることができる。図１８（ｂ）は、拡大補間の原理を示す。元の画素（６個）から拡大補間された画素（８個）を得ることができる。図１８（ｃ）は、高分解能の手振れ補正の原理を示す。
【０２６１】
１０．手振れ検出に失敗した画像の除去
図１９は、手振れ検出に失敗した画像を除去する手順を示す。
【０２６２】
以下、図１９を参照して手振れ検出に失敗した画像を除去する手順をステップごとに説明する。
【０２６３】
ステップ８０ａ：シャッター速度（露光時間）がｔ’より長いか否かが判定される。
【０２６４】
シャッター速度（露光時間）がｔ’より長い場合（Ｙｅｓ）には、処理はステップ８０ｂに進む。
【０２６５】
ステップ８０ｂ：手振れが激しいか否かが判定される。
【０２６６】
手振れが激しくない場合（Ｎｏ）には、処理はステップ８０ｃに進む。手振れが激しい場合（Ｙｅｓ）には、処理はステップ８０ｄに進む。
【０２６７】
ステップ８０ｃ：解像度を予め設定されている解像度に設定したままで、撮影を行う。
【０２６８】
ステップ８０ｄ：手振れ補正を優先的に行うか否かを判定する。手振れ補正を優先的に行うための設定がＯＮである場合（Ｙｅｓ）には、処理はステップ８０ｅに進む。手振れ補正を優先的に行うための設定がＯＮでない場合（Ｎｏ）には、処理はステップ８０ｃに進む。
【０２６９】
ステップ８０ｅ：手振れ補正モードが表示される。
【０２７０】
ステップ８０ｆ：露光時間ｔがｔ１＜ｔ＜ｔ２であるか否かを判定する。
【０２７１】
露光時間ｔがｔ１＜ｔ＜ｔ２である場合（Ｙｅｓ）には、処理はステップ８１ｄに進み、面内画素が加算され（ステップ８１ｄ）、露光時間ｔをｔ＜ｔ１に設定し（ステップ８１ｅ）、撮影が開始される（ステップ８１ｆ）。
【０２７２】
露光時間ｔがｔ１＜ｔ＜ｔ２でない場合（Ｎｏ）には、処理はステップ８０ｇに進み、ｔ２＜ｔ＜ｔ３であるか否かを判定し、ｔ２＜ｔ＜ｔ３でない場合（Ｎｏ）には、処理を停止する（ステップ８１ｇ）。ｔ２＜ｔ＜ｔ３である場合（Ｙｅｓ）には、処理はステップ８０ｈに進む。
【０２７３】
ステップ８０ｈ：面内の画素加算の設定を行う。
【０２７４】
ステップ８０ｉ：露光時間ｔをｔ＜ｔ２にし、手振れ補正用に撮影する画像数Ｐを求める。
【０２７５】
ステップ８０ｊ：撮影を開始する。Ｒ＝０に設定する。
【０２７６】
ステップ８０ｋ：ｎ＝０に設定する。
【０２７７】
ステップ８０ｍ：ｎ＝ｎ＋１に設定する。
【０２７８】
ステップ８０ｎ：第ｎ番目の画像の面内方向の画素加算を行う。
【０２７９】
ステップ８０ｐ：手振れの検出を行う。
【０２８０】
ステップ８０ｑ：手振れの検出に成功したか否かを判定する。
【０２８１】
手振れの検出に失敗した場合（Ｎｏ）には、Ｒ＝Ｒ＋１とし（ステップ８０ｒ）、Ｒ＜Ｒ０であるか否か（Ｒが設定値Ｒ０より小さいか否か）を判定し、Ｒ＜Ｒ０でない場合（Ｎｏ）には、処理が停止される（ステップ８０ｔ）。Ｒ＜Ｒ０である場合（Ｙｅｓ）には、動きベクトルの検出点および動きベクトルの検出数のうちの少なくとも一方を変更し（ステップ８０ｖ）、最初から補正作業をやり直すために、処理はステップ８０ｋに進む。
【０２８２】
手振れの検出に成功した場合（Ｙｅｓ）には、処理はステップ８０ｕに進む。
【０２８３】
ステップ８０ｕ：主画像メモリ３０に補正後の画像を蓄積する。
【０２８４】
ステップ８０ｗ：ｎ＝Ｐであるか否かを判定する。
【０２８５】
ｎ＝Ｐでない場合（Ｎｏ）には、処理はステップ８０ｍに進む。ｎ＝Ｐである場合（Ｙｅｓ）には、手振れ補正用に撮影する全ての画像（全分割画像）の処理が終ったと判断され、処理はステップ８０ｘに進む。
【０２８６】
ステップ８０ｘ：主画像メモリ３０の中の複数の補正画像を時間軸方向に加算もしくは積分する。
【０２８７】
ステップ８０ｙ：１枚の画像を示すデータを生成する。
【０２８８】
ステップ８０ｚ：生成された１枚の画像を示すデータに対して間引き処理等を行い、表示部１２に表示する。
【０２８９】
ステップ８１ａ：操作者が画像保存スイッチをＯＮにするか否かを判断する。
【０２９０】
ステップ８１ｂ：画像を示すデータに対して圧縮処理（ＪＰＥＧ等）を行い、画像データの容量を小さくする。
【０２９１】
ステップ８１ｃ：記録媒体１４（例えば、ＩＣカード）に記録する。
【０２９２】
図１９を参照して説明したように、本発明の実施の形態によれば、手振れの検出に失敗した補正画像データの加算（積分）を防止できる。例えば、時間軸方向に加算（積分）した検出に失敗するような検出困難な画像の場合でも、手振れ補正された画像を得ることができる。また手振れの検出に失敗した画像の次の画像から時間軸方向の積分を開始することができるため、時間利用効率が良い。
【０２９３】
１１．手振れ量の表示
図２０は、本発明の実施の形態の撮影装置２００の構成を示す。
【０２９４】
撮影装置２００は、撮影装置１００と同様に、手振れ量の表示を行うことができる。撮影装置２００は、手振れ量演算部９２と、軌跡演算部９１と、表示部９５と、スピーカ９７と、バイブレータ９８と、ＣＰＵ９９と、振動ジャイロ１０１ａと、振動ジャイロ１０１ｂとを含む。
【０２９５】
手振れ量演算部９２（揺動検出手段１５：図１参照）は、手振れ量（揺動量）を演算し、表示回路を介して表示部９５に出力する。軌跡演算部９１は、手振れ補正しても補正しきれなかった手振れの軌跡を演算し、表示回路を介して表示部９５に出力する。
【０２９６】
ＣＰＵ９９は、手振れ量が所定の値より大きいか否かを判定し、所定の値より大きい場合には、表示部９５、スピーカ９７およびバイブレータ９８のうちの少なくとも１つに、判定結果を出力するよう指示する。
【０２９７】
表示部９５は、ＣＰＵ９９の指示に従って、判定結果を表示する。スピーカ９７は、ＣＰＵ９９の指示に従って、警告音を発生する。バイブレータ９８は、ＣＰＵ９９の指示に従って、振動する。
【０２９８】
図２１は、撮影装置２００に含まれる表示部９５の一例を示す。
【０２９９】
表示部９５では、手振れ量が、インジケーター９３、９３ａ、９３ｂ、９３ｃによって、表示される。撮影者がこの表示を目視することによって、撮影者は手振れ量と手振れ方向とを確認することができる。手振れ量と手振れ方向とを確認することによって、撮影者はカメラの固定方法を変更する。その結果、人間の操作により通常より手振れの少ない静止画を得ることができる。
【０３００】
図２２は、撮影装置２００に含まれる表示部９５の別の例を示す。
【０３０１】
表示部９５では、手振れ補正しても補正しきれなかった手振れの軌跡が、軌跡９４ｂおよび軌跡９４ｄのように表示される。撮影者がこの表示を目視することによって、撮影後に、その静止画がどの程度手振れしているかを確認することができる。手振れの失敗をカメラの小さな表示部で確認できるので、撮影者は、手振れ補正の失敗をチェックできる。流し撮りモード（例えばパンニング、パノラマ撮影）の場合には、タテ方向の手振れのみをチェックしてもよい。
【０３０２】
なお、表示部９５では、手段振れ量（ｘ、ｙ）が所定の値（ｘ０、ｙ０）より大きい場合（（ｘ＞ｘ０、またはｙ＞ｙ０）あるいは（ｘ＞ｘ０、かつｙ＞ｙ０））には、警告表示を行ってもよい。また、スピーカは警告音を発生してもよい。所定の値（ｘ０、ｙ０）は、例えば、ズーム比に応じて設定される。
【０３０３】
さらに、表示部９５では、手段振れ量（ｘ、ｙ）が所定の値（ｘ０、ｙ０）より小さい場合（（ｘ＜ｘ０、またはｙ＜ｙ０）あるいは（ｘ＜ｘ０、かつｙ＜ｙ０））には、表示（例えば「ＯＫ」）を行ってもよい。また、スピーカは音を発生してもよい。所定の値（ｘ０、ｙ０）は、例えば、ズーム比に応じて設定される。
【０３０４】
図２３は、パンニングまたはパノラマ撮影時の境界インジケーター９７の表示を示す。
【０３０５】
図２３（ａ）は、３つのフレームに分けて撮影するための風景を示す。
【０３０６】
図２３（ｂ）は、フレーム９８ａを示す。図２３（ｃ）は、フレーム９８ｂを示す。図２３（ｄ）は、フレーム９８ｃを示す。図２３（ｅ）は、フレーム９８ｄを示す。
【０３０７】
図２３（ａ）に示された風景を右方向へパノラマ撮影する場合、手振れ補正用の動きベクトルの検出用の代表点である検出点９６ａ、９６ｂ、９６ｃ（図２３（ｂ）参照）のうちの検出点９６ａは、フレーム上を移動し、フレーム９８ｂの左端にくる（図２３（ｃ）参照）。この時、Ｌ１だけ画面が右にシフトしたことを動き検出のための揺動検出手段１５が検出し、図２３（ｂ）のフレームの右端の境界を示す境界インジケーター９７ａをフレーム右端からＬ１に位置に表示する（図２３（ｃ）参照）。
【０３０８】
同様にして、揺動検出手段１５が、Ｌ２だけ画面が右にシフトしたことを検出し、境界インジケーター９７ｂをフレーム右端からＬ２に位置に表示する（図２３（ｄ）参照）。
【０３０９】
同様にして、図２３（ｅ）では境界インジケーター９７ｃは画面左端にくる。この段階で撮影者は次の撮影位置にきたことを知ることができる。必要ならスピーカー３７（図１参照）により通知音を発生させ撮影者に知らせることができる。この時、撮影者がシャッターボタンを押すことにより、ほぼ完全なパノラマ撮影をすることができる。
【０３１０】
以上、検出点を画面上に複数個設定し、その検出点の動きベクトルから撮影者の移動をフレームの動きと見なして判別する方法を述べた。
【０３１１】
この方法では、手振れ補正のための手振れ検出手段によってパンニング検出を行う。しかし、図２０に示すように、振動ジャイロ１０１ａおよび振動ジャイロ１０１ｂを用いて手振れ検出を行う撮影装置では、振動ジャイロにより撮影者のパンニング回転角を検出し、１フレーム分の左右方向のパンニングに必要な回転角θ０をズーム検出部のズーム比に応じて求めることもできる。
【０３１２】
まず、図２３（ｂ）の状態では、右端に境界インジケータ９７を表示させる。この状態で撮影者は、パノラマ撮影の最初の１枚目を撮影する。次に、撮影者がカメラを右方向に回転角θ０パンニング（つまり回転）した場合、撮影者はカメラが２枚目のフレームの撮影位置にきたことがわかる。
【０３１３】
回転角θ０に達した時点で、左端に境界インジケータ９７ｃを表示する（図２３（ｅ）参照）。この時点で、回転角θ０に達したことをスピーカーもしくは表示によって撮影者に通知する。撮影者に次のシャッターを切らせることにより左右方向に正確なパノラマ撮影ができる。
【０３１４】
左右方向だけでなく、上下方向の境界インジケータ９９ａ、９９ｂを表示部１２に表示することにより、撮影者が容易に、上下と左右とが一致したパノラマ撮影をすることができる（図２３（ｂ）参照）。この場合、パンニング方向を表示画面上に矢印で示し、正しいパンニング方向を表示することによって、撮影者は矢印通りにカメラを向けるだけで容易にパノラマ撮影ができる。一般に、撮影者はカメラを手持ちして撮影するため、正確に撮影方向を定めることができない。しかし、カメラの手振れ補正機能を用いて画面の左右上下を自動的に調整することによって、極めて正確なパノラマ撮影が可能となる。
【０３１５】
なお、カメラの手振れ補正機能を用いて画面の左右上下を自動的に調整する場合でも、撮影したパノラマ画面と理想的なパノラマ画面との誤差が発生する。撮影状態の属性を示す属性データ（Ｅｘｉｆ等）に、この誤差を追加記録することによって、複数の画像を合成して１枚のパノラマ画像に変換する時に左右上下の位置合わせをより正確に行うことが可能になる。この誤差情報に基づて、誤差を修正できるからである。
【０３１６】
以上述べたことは、手振れ検出方式が電子検出方式である場合でも、同様に実現できる。
【０３１７】
図２４は、フレーム内の手振れ検出のための検出点を示す。手振れ検出の失敗が多い場合、またはフレームレートが遅い場合に、フレーム９８内での、検出点９６の位置の変更、または、検出点９６の数の増加によって、手振れ検出の成功率を上げることができる。
【０３１８】
このように、本発明の撮影装置によれば、撮影者は手振れの程度を確認することができる。手振れの程度を確認することによって、撮影者はカメラの固定方法を変更することができ、その結果、人間の操作により通常より手振れの少ない静止画を得ることができる。
【０３１９】
以上、（１１．手振れ量の表示）において、図１および図２０〜図２３を参照して本発明の実施の形態の一例を説明した。
【０３２０】
例えば、図１および図２０〜図２３に示される実施の形態では、揺動検出手段１５（手振れ量演算部９２）が「撮影された静止像を表す複数のフレーム間の揺動量を検出する揺動量検出手段」に対応し、ＣＰＵ９９が「揺動量が所定の値より大きいか否かを判定する判定手段」に対応し、表示部９５、スピーカ９７およびバイブレータ９８が「判定結果を出力する出力手段」に対応する。
【０３２１】
しかし、本発明の撮影装置が図１および図２０〜図２３に示される実施の形態に限定されるわけではない。撮影装置が備える各構成要素が、上述した「撮影された静止像を表す複数のフレーム間の揺動量を検出する揺動量検出手段」、「揺動量が所定の値より大きいか否かを判定する判定手段」および「判定結果を出力する出力手段」の各々の機能を有する限りは、任意の構成を有し得る。
【０３２２】
１２．軌跡演算部の動作
図２５を用いて本発明の軌跡演算部９１の動作を詳しく説明する。
【０３２３】
撮影装置（カメラ）１に生じた手振れに基づく揺動は、例えば、角速度検出部１０１ａ、１０１ｂによって検出される。角速度検出部１０１ａ、１０１ｂは、撮影装置１の揺動を示す揺動検出信号を出力する。
【０３２４】
角速度検出部１０１ａ、１０１ｂは、例えば、角速度センサであり得る。角速度センサは、例えば、互いに異なる複数の振動周波数を有する振動ジャイロであり得る。
【０３２５】
角速度検出部１０１ａ、１０１ｂから出力される揺動検出信号は、サンプリング周波数発生部１０４によって生成されるサンプリング周波数ｆＳでサンプリング回路１０２によってサンプリングされる。その結果、角速度を表すアナログデータがデジタルデータに変換される。
【０３２６】
このように、角速度検出部１０１ａ、１０１ｂは、撮影装置１の揺動を検出し撮影装置１の揺動を示す揺動検出信号を出力する揺動検出部として機能する。ただし、角速度検出部１０１ａ、１０１ｂは揺動検出部の単なる一例にすぎない。撮影装置１の揺動を検出し撮影装置１の揺動を示す揺動検出信号を出力するという機能を有する限り、揺動検出部は任意の構成を有し得る。
【０３２７】
軌跡演算部９１は、揺動検出部（例えば、角速度検出部１０１ａ、１０１ｂ）から出力される揺動検出信号に少なくとも基づいて、撮影装置１の揺動の軌跡を示す軌跡情報を取得する。例えば、軌跡演算部９１は、揺動検出信号の一定期間内の変化を示す情報を軌跡情報として取得し得る。例えば、揺動検出部が角速度センサを含む場合には、その角速度センサの出力を積分することにより角度情報を取得し、その角度情報の一定期間内の変化を示す情報を軌跡情報として取得してもよい。
【０３２８】
手振れ補正部１１５は、撮像部５から出力され、撮影映像メモリ１２０に格納される映像情報と軌跡情報とに演算処理することにより、その映像情報の揺動を補正した補正映像情報を取得する電子的揺動補正部として機能する。
【０３２９】
なお、電子的揺動補正部に代えて、揺動検出部（例えば、角速度検出部１０１ａ、１０１ｂ）から出力される揺動検出信号に応じて撮影装置１の揺動を機械的に補正することにより、現実の揺動補正量だけ映像情報の揺動を補正した補正映像情報を取得する機械的揺動補正部を設けるようにしてもよい。この場合には、軌跡演算部９１は、例えば、揺動検出信号と現実の揺動補正量との差分の一定期間内の変化を示す情報を軌跡情報として取得する。
【０３３０】
あるいは、第１揺動補正量だけ映像情報の揺動を補正した第１補正映像情報を取得する機械的揺動補正部に加えて、第２揺動補正量だけ第１補正映像情報の揺動を補正した第２補正映像情報を取得する電子的揺動補正部を設けるようにしてもよい。この場合には、軌跡演算部９１は、例えば、現実の揺動補正量と第１揺動補正量との差分量を示す残留揺動量の一定期間内の変化を示す情報を軌跡情報として取得する。
【０３３１】
なお、図２５、図３０〜図３３に示される撮影装置１の構成の一部もしくは全部を単一の半導体チップ上に集積することができる。例えば、軌跡演算部９１、手振れ補正部１１５（電子的揺動補正部）および手振れ補正制御部１４１（機械的揺動補正部）のうちの少なくとも１つを単一の半導体チップ（半導体集積回路）上に集積してもよい。
【０３３２】
１２．１ 最適サンプリングと圧縮
図２６（ａ）は、通常の均等な時間間隔（すなわち、一定のサンプリング周波数ｆＳ）で全てのサンプルを取得する場合を示す。ズーム手段６のズーム比が大きい時又はカメラの揺動が大きい期間、つまり角速度検出部１０１ａ、ｂの出力値の時間変位量の大きい期間においては、図２６（ｂ）の点１０３ａ、１０３ｂに示すように２倍のサンプル周波数２ｆＳで細かいサンプリングを行う。逆に時間変位量の小さい期間においては点１０３ｃ、１０３ｄに示すように、半分のサンプル周波数ｆＳ／２で粗いサンプリングを行う。通常の期間においては、点１０３ｅのようにｆＳで標準のサンプリングを行う。
【０３３３】
このように、図２６（ｂ）では、ズーム比や角速度量又は角速度の変化量の大小に応じてサンプリング周波数発生部１０４のサンプリング周波数を変化させる。最適のサンプリングができるため、軌跡の手振れ補正に必要な軌跡データを情報量を増やすことなく得ることができる。外部記憶媒体１０５に軌跡データ１１３を記録する場合、記憶データを最小にできるという効果がある。また、全期間のサンプリング周波数を増やす必要がないため、省電力効果もある。
【０３３４】
別の方法として、サンプリング周波数を最高速度にしておき、揺動検出量をサンプリングしデジタル変換を行うとともに、軌跡演算部９１の内部処理によって手振れ変化量に応じてサンプリング数を増減させるようにしてもよい。この方法によっても軌跡データを圧縮できる。
【０３３５】
１２．２ 撮影情報の付加
データ圧縮部１０５は、軌跡演算部９１から出力された軌跡データを圧縮する。圧縮方法は、上述した圧縮方法と同一である。撮影情報付加部１０６は、データ圧縮部１０５によって圧縮された軌跡データにＥｘｉｆデータ１０７のような撮影情報のファイル形式のデータを付加する。出力データ生成部１１０は、補正画像出力部１０８から出力された手振れ補正された画像Ｐもしくは切換部１０９から直接出力された手振れ補正されていない画像データＰ’に撮影情報付加部１０６から出力されるデータを付加することにより、出力データを生成する。
【０３３６】
手振れ量測定部１１１は、手振れ量を測定し、測定された手振れ量に応じて切換部１０９を切り換えるための制御信号を生成する。軌跡演算部９１は、手振れ補正部１１５における処理量を演算し、演算された処理量に応じて切換部１０９を切り換えるための制御信号を生成する処理量演算部１１６を含む。
【０３３７】
切換部１０９は、手振れ量測定部１１１からの制御信号および処理量演算部１１６からの制御信号のうちの少なくとも一方に応じて、撮像部５からの映像データを手振れ補正部１１５に出力するか出力データ部１１０に出力するかを切り換える。
【０３３８】
手振れ量測定部１１１によって測定された手振れ量が所定の量より大きい場合には、手振れ量測定部１１１は、撮像部５からの映像データが手振れ補正部１１５をバイパスして出力データ生成部１１０に直接的に出力されるように切換部１０９を切り換える。例えば、処理量演算部１１６によって演算された手振れ量補正部１１５における処理量が所定の処理量より大きい場合（すなわち、手振れ補正部１１５における処理量が手振れ補正部１１５の処理能力を超える場合）には、処理量演算部１１６は、撮像部５からの映像データが手振れ補正部１１５をバイパスして出力データ生成部１１０に直接的に出力されるように切換部１０９を切り換える。この場合、出力データ生成部１１０は、切換部１０９から出力された手振れ補正されていない画像Ｐ’に撮影情報付加部１０６から出力されるデータ（例えば、点光源分布関数（ＰＳＦ）Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ等の手振れの軌跡データ１１３を含むＥｘｉｆデータ１０７）を付加することにより、出力データを生成する。
【０３３９】
撮像部５からの映像データが手振れ補正部１１５に出力される場合には、出力データ生成部１１０は、補正画像出力部１０８から出力された手振れ補正された画像Ｐに撮影情報付加部１０６から出力されるデータ（点光源分布関数（ＰＳＦ）Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ等の手振れの軌跡データ１１３を含むＥｘｉｆデータ１０７）を付加することにより、出力データを生成する。
【０３４０】
出力データは、出力データ出力部によって外部記憶媒体１１４に記録される。この記録された映像データと手振れの軌跡データ１１３とをカメラ１の外部にある処理能力の高いパソコンにおいて処理することにより、手振れ量が大きく、補正処理量が大きな映像データでも手振れ補正の後処理ができるという効果がある。
【０３４１】
図２５を参照して、撮影装置（カメラ）１の動作を説明する。
【０３４２】
カメラ１に入射した光は、レンズ部２、ズーム部２ａ、フォーカス部２ｂを通り、撮像部５上に結像する。シャッターボタン１１９が押されるとシャッター開時間制御部１１８によりシャッター１１７が一旦閉じられ、撮影開始とともに再び開く。露光が完了するとシャッター１１７が再び閉じられ、撮像データの取得が完了すると再び開状態になる。この撮像データは一旦撮影映像メモリ１２０に蓄えられ、前述のように切換部１０９により切り換えられる。
【０３４３】
ｈ１をカメラの限界処理能力とし、ｈ２をデータ処理方式の限界処理能力とすると、手振れ量ｈがｈ１＜ｈ＜ｈ２の場合は、カメラの手振れ補正部１１５では処理できないため、出力データ生成部１１０に直接送られる。ｈ２＜ｈの場合は高速のＣＰＵを用いても手振れ補正ができないため、映像データを出力データ生成部１１０に送るとともに、警告部１４５から「もう一度撮影せよ」を示す警告音や警告表示をスピーカ３７や表示部１２に送る。そして、使用者がもう一度撮影することにより手振れによる失敗が減る。
【０３４４】
ｈ１は補正可能な手振れ量であるから、ｈ１＜ｈの場合にはカメラ内で補正できるため、映像データは手振れ補正部１１５に送られる。手振れ補正部１１５では重み付けした手振れの軌跡データ１１３と、手振れした映像Ｐ’とを用いてフーリエ逆変換部１２１でフーリエ逆変換を施すことにより手振れが補正された映像Ｐが得られる。
【０３４５】
最大手振れ量演算部１２２は、撮影画像１１２、１１２ａ、１１２ｂに基づいて、ｘ方向の最大の手振れ量ｘ１、ｘ２と、ｙ方向の最大の手振れ量ｙ１、ｙ２とを演算する（図２７（ｂ））。
【０３４６】
トリミング部１２３は、ｘ方向の最大の手振れ量ｘ１、ｘ２と、ｙ方向の最大の手振れ量ｙ１、ｙ２とに基づいて、撮像画像１１２の周辺部をｘ１、ｘ２、ｙ１、ｙ２分だけトリミングすることにより、トリミング画像１２９を生成する（図２７（ｃ））。トリミング画像１２９の画素数は撮像画像１１２の画素数より小さい。
【０３４７】
拡大部１２２は、拡大処理を行い、所定の画素数に画像を拡大する（図２７（ｄ））。
【０３４８】
図２７（ａ）に示される元の画像１１２のセンター１２６ａと図２７（ｃ）に示されるトリミング画像１２９のセンター１２６とは一致しない。図２７（ｃ）に示される例では、（ｘ３、ｙ３）分だけずれている。撮影者が元の画像１１２のセンター１２６ａを選択するスイッチを設定していた場合には、図２７（ａ）に示される元の画像１１２のセンター１２６ａと図２７（ｅ）に示されるトリミング画像１２９ａのセンター１２６ａとが一致するように、トリミング画像１２９がトリミング画像１２９ａに変換される（図２７（ｅ））。図２７（ｅ）に示されるトリミング画像１２９ａは、図２７（ｄ）に示される出力画像１４７に拡大される。その結果、元の画像１１２のセンター１２６ａに一致するセンター１２６ｂを有する補正画像が得られる。
【０３４９】
このようにして得られた手振れ補正画像は、補正画像出力部１０８を介して出力データ生成部１１０に送られると同時に、切換部１２４に送られる。
【０３５０】
切換部１２４は、手振れ補正されていない画像Ｐ’を縮小部１２５に出力するか、補正画像出力部１０８から出力される手振れ補正された画像Ｐを縮小部１２５に出力するかを切り換える。
【０３５１】
縮小部１２５は、切換部１２４から出力される画像Ｐ’もしくは画像Ｐの画素数を減らすことにより、画像Ｐ’もしくは画像Ｐを縮小し、縮小された画像Ｐ’もしくは画像Ｐを表示部１２に表示する。軌跡表示部１２６によって生成される手振れの軌跡を画像Ｐ’もしくは画像Ｐにオーバレイして表示部１２に表示するようにしてもよい。
【０３５２】
切換部１２４は、例えば、撮影直後には、縮小された画像Ｐ’を表示部１２にを表示し、撮影直後から一定時間が経過して手振れ補正が完了すると、縮小された画像Ｐを表示部１２に表示するように動作する。この方式により使用者が撮影直後に撮影画像を見ることができるという効果がある。この切り換えがないと手振れ補正処理が終わるまで、数秒間、撮影画像を確認できなくなる。
【０３５３】
１２．３ 画像表示の方法
図２８、図２９を参照して、画像表示の手順を説明する。
【０３５４】
まずステップ１２７でｎ番目の画像を表示し、ステップ１２７ａでｎ番目の画像を撮影する。ステップ１２７ｂで、処理量演算部１１６は、手振れ補正演算に要する時間ｔｐを求める。ｔｐが処理可能な基準値を超えている場合にはステップ１２７ｃに進み「再撮影せよ」との警告を発する。そしてステップ１２７ａで撮影者が再撮影をすると、ステップ１２７ｂへ進み、手振れ量が規定値以内であれば、ステップ１２７ｄに進み、撮影画面表示がＯＮになっていればステップ１２７ｋへ進み、手振れ補正する前の撮影画像と撮影期間中に発生した手振れの軌跡１２９を表示部１２に表示する。この時、処理状況インジケータ１３０も表示する。この処理状況インジケータ１３０は処理量演算部１１６で得た予測処理時間をｔｆとすると、処理状況インジケータ１３０のフルスケールをｔｆとして補正処理開始後の経過時間を表示させる。処理開始直後は処理状況インジケータ１３０のように表示され、終了間近には１３０ａのように表示されるので、あとどの位で処理が終わるかをユーザーが知ることができる。これにより、待ち時間を知りたいというユーザーの希望に応えることができる。
【０３５５】
そして、ステップ１２７ｍで手振れ補正が完了すると、ステップ１２７ｎで図２５の切換部１２４により手振れ補正してない画像Ｐ’から手振れ補正した画像Ｐに切り換えられ、表示部１２に表示される。
【０３５６】
ステップ１２７ｅに戻り、手振れ軌跡表示スイッチがＯＦＦの場合はステップ１２７ｆで手振れしている画像を表示する。この場合は手振れ軌跡を表示しない。ステップ１２７ｇ、１２７ｈは、説明したステップ１２７ｍ、１２７ｎと同じであるため説明は省略する。ステップ１２７ｉで撮像部からの映像を縮小部１２５で縮小した画像を作成し表示部１２に表示する。ステップ１２７ｊでは次の撮影に備える。
【０３５７】
ここでステップ１２７ｄに戻り、撮影画面表示ＳＷがＯＦＦの時は図２９のステップ１２８ａに進む。ステップ１２８ａでは、撮像部のｎ番目の映像を表示している。ステップ１２８ｂでシャッターボタンが押され、撮影されるとステップ１２８ｃでｎ番の画像の手振れ補正を開始し、ステップ１２８ｄで「ｎ番目の画像の手振れ補正処理中」のマーク１３１ａを表示画面１３２ｊに出す。ステップ１２８ｅにおいてｎ＋１番目の撮像部の映像を表示画面１３２ｊに表示するとともに、処理状況インジケータ１３０ｂを表示する。ｎ番目の映像の手振れ補正が終わっていない状況にあるステップ１２８ｆにおいてｎ＋１番目の撮影がなされると、ステップ１２８ｇでまずメモリ１２０に余裕があるかをチェックし余裕がなければ表示画面１３２ｋのようにステップ１２８ｈで「撮影待機」の表示１３３を出してユーザーの次の撮影を中止させる。ステップ１２８ｇでメモリー１２０に余裕があると、ステップ１２８ｊに進み、手振れ軌跡データを撮影映像メモリ１２０に記憶させ、ステップ１２８ｋで「ｎ＋１番目の画像手振れ補正中」を示すマーク１３１ｂとｎ＋２番目の画像を表示画面１３２ｍのように表示させる。ステップ１２８ｍでｎ番目の処理が完了するとステップ１２８ｎで「ｎ番目の手振れ処理中」のマーク１３１ａを表示画面１３２ｎのように消し、ステップ１８Ｐでｎ＋１番目の補正処理が完了するとステップ１２８ｑで表示画面１３２Ｐのように「ｎ＋１番目の手振れ補正処理中」を示すマーク１３１ｂを消す。そしてｎ＋２番目の撮影に備える。
【０３５８】
図２５に示される手振れ補正部１１５により補正処理が正しく行われるためには手振れの軌跡情報が正確であることが重要である。軌跡データの経路を追うと振動ジャイロ等の角速度検出部１０１ａ、１０１ｂのデータを積分器１３６で積分角度θを得る。ズーム部６からズーム比情報を入手するとともに、焦点調整部１３７から焦点データを入手し、焦点ｆを算出し、ｆ×ｔａｎθを求め、軌跡演算を行う。図２６（ｂ）で説明したように角度θの変位に応じてサンプリング数を変えることによりデータを正確に取得できる。軌跡情報は関数に変換することが最も好ましい。
【０３５９】
この軌跡データを用いて手振れの補正部１１５においては手振れした画像Ｐ’に軌跡関数を逆フーリエ変換した関数をかけることにより、補正された元の画像Ｐが得られる。この演算は二次元フィルタ１３７で行うこともできる。本発明の方式は振動ジャイロ等により、手振れ軌跡データを正確に入手できるため精密に手振れが補正できる。また手振れの補正をカメラ１の中で行わない場合は、Ｅｘｉｆデータのような撮影情報データに手振れの軌跡情報を付加した画像を出力する。図３５に示すようにカメラ１のパッケージ１５２には撮影装置１と手振れの補正処理プログラム１５３の入ったＣＤ−ＲＯＭ等の記録媒体１５１が入っている。使用者は記録媒体１５１をコンピュータ１５０に装着し、補正処理プログラムを移動させる。カメラ１か５撮影画像データと手振れ軌跡情報を含むＥｘｉｆデータを得て、これらを演算することにより手振れを補正する。なお、この場合、撮影情報はＥｘｉｆ形式には限定されず他の撮影情報データ形式でも同様の効果が得られる。
【０３６０】
手振れ補正時間を処理量演算部１１６で予測するため、カメラ本体内で処理可能かどうかの判断が事前にできる。また補正処理時間を表示部に表示するとともに、処理の進行度を表示するためユーザーとのインターフェースが向上するという効果がある。
【０３６１】
１２．４ 手振れ補正残渣の軌跡
図３０参照して、光学補正等のｘ、ｙ２軸の手振れ補正部をもつカメラにおいて、手振れ補正後に残る手振れをＥｘｉｆデータとして付加して出力する方法を説明する。
【０３６２】
図３０において検出された手振れデータに応じて、手振れ補正制御部１４１は手振れ補正信号を出力し、レンズ駆動部１４０により補正レンズ２ｃはｘ方向とｙ方向に駆動し、手振れを補正する。
【０３６３】
実際には、この制御系は応答周波数特性をもつため、完全には手振れが補正されず、補正残渣が残る。また通常の光学補正方式やＣＣＤ駆動方式であるとｘ、ｙ方向の補正のみでｚ方向（Ｒｏｌｌ方向）の補正はできない。量、補正残渣を求めるには、まずレンズ駆動部１４０から実際の補正量を手振れ補正亮算出部１４２が得て、差分部１４３の差分器１４３ａ、１４３ｂに入力する。角速度検知部１０１はＺ方向（Ｒｏｌｌ方向）の角速度検知部１０１Ｃを持つ。角速度検出部１０１より得たｘ方向とｙ方向の成分を差分部１４３に入力させる。
【０３６４】
ｘ、ｙ方向は、実際の手振れ量−実際の手振れ補正量＝補正残渣で計算できる。ｘ、ｙ方向の補正残渣とｚ方向の角度情報を軌跡演算部１４４に入力させることにより、ｘ、ｙ方向の手振れ残渣の軌跡情報が得られる。ｚ方向の角速度検出手段１０１ｃのデータは差分をとらずに積分され軌跡演算部の９１に送られ軌跡情報が得られる。この軌跡情報１１３を表示部１２に撮影画像の上にオーバレイして表示させる。同時に軌跡情報をデータ圧縮部１０５に送りデータを圧縮する。このデータを撮影情報付加部１０６において、Ｅｘｉｆデータ１０７として画像データに付加して出力データを生成し、データ出力部１４６においてＩＣカードのような外部記憶媒体１１４に記録する。
【０３６５】
この映像データにはＥｘｉｆデータ中にｘ、ｙ方向の補正残渣とｚ方向の手振れの軌跡情報が含まれているため、コンピュータにおいて軌跡情報１１３と画像データと軌跡情報を用いてフーリエ逆変換とを行うことにより、ｘ、ｙ、ｚ（ヨー、ピッチ、ロール）の３軸の手振れがデータ処理により補正できるという効果がある。光学補正では周波数応答特性がある。普通の写真サイズなら手振れが目立たないが、大判写真の場合目立つ。このような場合、本方式により後処理することにより、ほぼ完全に手振れが補正されるため効果は大きい。
【０３６６】
半導体の処理能力が高くなった場合には、ｘ、ｙ、ｚ方向のソフトウェアによる手振れ補正をカメラ１の内部に含めることも可能である。しかし、高い計算処理能力が要求されるため、カメラ内の３軸の補正は当分の間現実的でない。時代に応じていくつかのステップを踏むことが考えられる。第１の方法は、図３０のように手振れの軌跡データｘ、ｙ、ｚをカメラ内で算出し、Ｅｘｉｆファイルで出力し、外部のコンピュータでデータ処理を用いて補正処理することである。第２の方法は図３１のように光学式手振れ補正付カメラにおいて、ｘ、ｙ方向は手振れ補正制御部１４１を用いて光学補正で行い、ｚ方向（Ｒｏｌｌ方向）の軌跡データを軌跡演算部１４４により求めてＥｘｉｆデータ１０７として画像データに添付する方式である。ｚ方向の光学補正は困難なためｚ方向の手振れ補正を外部のコンピュータでソフトを用いて行うことによりカメラ側の部品を増やすことなくｚ方向の手振れ補正を行える。このため３軸全ての手振れを補正することができる。
【０３６７】
第３の方法は、図３２に示すようにｘ、ｙ方向は光学補正を行い、角速度検出部１０１ｃより得たｚ方向（Ｒｏｌｌ方向）の軌跡データを軌跡演算部１４４により求め、フーリエ逆変換部１２１もしくはフーリエ変換部を含む手振れ補正部１１５によりｚ方向の手振れ補正を行い、外部記憶媒体１１４に記録する方式である。明細書にはフーリエ逆変換部と記述しているが、フーリエ変換部を用いて同様の効果が得られることはいうまでもない。ｘ、ｙ方向の手振れはズームによって拡大されるため動きが激しい。これに対してｚ（Ｒｏｌｌ）方向の手振れは動きが緩やかで安定している。従って、処理能力の低いＣＰＵでもｚ方向の手振れ補正が処理可能である。第３の方法としては、ｚ方向のみ手振れをデータ処理で補正する方法が現実的である。
【０３６８】
第４の方法は、図３０で示したような、ｘ、ｙ方向は光学補正を行い、補正できなかった残渣の軌跡データを求め撮影映像にＥｘｉｆデータとして付加する方法である。この場合、光学補正により高域の手振れ成分はなくなっているので、補正残渣の軌跡データは低域成分のみであるため演算処理による手振れ補正がより容易になるという効果がある。
【０３６９】
第５の方法は、図２５に示す手振れ補正を全てデータ処理でカメラ内で行う方式であるが、激しい手振れの場合はデータ処理では対応できない。従って、図３３に示すようにｘ、ｙ方向は手振れ補正制御部１４１により光学補正方式等で補正し、その残渣を図３０と同様の方法で差分部１４３により求め、その軌跡データを軌跡演算部９１により求め、その軌跡データとｘ、ｙ方向を光学補正した映像を用いて、手振れ補正部１１５によりデータ処理によりｘ、ｙ、ｚ方向の手振れを補正する。これにより、３軸ともカメラ内で手振れ補正可能となる。この方式では手振れの高域成分を光学補正により除去してあるため、補正残渣のデータ処理による補正が容易になるという効果が得られる。また光学補正では補正が困難なｚ方向（Ｒｏｌｌ方向）の補正が実現するという効果がある。
【０３７０】
ここで、手振れ補正時の演算について説明する。図３４に示すように元の画像ｉは手振れ軌跡情報の軌跡関数をｈとすると手振れｈにより、手振れした画像ｉ’はｉコンボルーションｈとなる。そして各項をフーリエ変換するとＩ×Ｈ＝Ｉ’となり、Ｉ＝Ｉ’／ＨとなりこれをＣとする。各項をフーリエ逆変換するとｉはフーリエ逆変換（Ｃ）となり、ｉはフーリエ逆変換（Ｉ’／Ｈ）・・・（４）となる。ｉはｉ’コンボルーション（フーリエ逆変換（Ｉ／Ｈ））となるためフーリエ逆変換（Ｉ／Ｈ）をｈ’と置くとＩ＝Ｉ’コンボルーションｈとなる。毎回演算するとデジタルカメラ等の静止画の撮影装置に搭載している演算器の処理能力が低い為演算時間が長時間となり次の撮影が困難となる。次の撮影ができなくなることを避けるため画像メモリー１２０を設け、次に撮影した画像をこの画像メモリー１２０に次々と複数枚蓄える。しかし、撮影した画像を長時間経っても確認できないことも撮影者にとって好ましくない。この対策として実施例で説明したように撮影後、まず手振れの補正前の撮影画像を表示部１２に表示する。これにより撮影者がおおよその撮影画像を確認できる。表示して一定時間後、具体的には手振れ補正の演算が完了した時点で手振れつまり揺動が補正された補正画像を表示部１２に表示する。こうして撮影者はまずｎ番目の撮影画像を撮影直後に確認でき、次に手振れが補正されたｎ番目の補正映像を確認できるため、中断なくシームレスに撮影画像を目で確認できる。ｎ番目の画像の補正演算が完了する前にｎ＋１番目以降の画像が撮影された場合はｎ＋１番目以降の画像を図２５等の撮影画像メモリ（１２０）に退避させるとともに最新の撮影したｎ＋１番目もしくはｎ＋１番目以降の画像を表示部に次々と表示させていく。
【０３７１】
ここで演算時間を短縮させる方法について述べると図３４の（３）（４）のように元の画像を復元するには、フーリエ変換の演算が必要である。しかしデジタルカメラ内でフーリエ変換の演算を行うためには演算の超高速化が必要となり、このようなＣＰＵの実現にはかなりの年月が必要となる。このため図３４の（５）のように軌跡情報の重みづけ軌跡であるＰＳＦ（点光源分布関数）ｈのフーリエ変換Ｈの逆数のフーリエ逆変換ｈ’を予め求めておく。このｈ’を手振れに応じて選択する。演算部１４８ではｈ’と手振れした画像ｉ’を畳み込むつまりコンボルーションすることにより、元の画像ｉを得ることができる。このようにｈ’を予め準備しておくことにより演算処理時間を少なくすることができる。このため撮影装置に演算回路を内蔵することができる。
揺動補正量の検出方法を述べる。図３６（ａ）に示すように揺動補正レンズ１５５は駆動モーター１５６によって駆動される。近傍にレンズ位置検出手段１５７としてホール素子１５８が取り付けられ磁気により揺動補正レンズ１５５の位置が検出され、揺動補正量１５９が求まる。別の方法としては図３６（ｂ）に示すように揺動補正手段の制御周波数特性１６０もしくは伝達関数１６１を予め求めておく。揺動量をこの系に入力すると電気的に揺動補正量１６２を求めることができる。この場合機械系を介さず電子回路だけで求まるためコストが安くなり構成も簡単になる。
【０３７２】
また揺動の検出に複数の振動ジャイロを用いる場合、各振動ジャイロの周波数を揺動補正特性の周波数帯域分だけ互いに離すことにより、より安定に揺動を検出できる。
【０３７３】
また図３５のパッケージ１５２に示す、同一のパッケージに入れる際の効果について述べる。データ処理における揺動補正の場合、カメラのレンズ毎に、揺動の軌跡関数が異なる。従って図３４に示したＨとｈ’が異なる。第１の方法としてこのＨとｈ’をＥｘｉｆデータとして撮影画像とともにカメラから出力する方法がある。この方法は確実であるが、１枚毎に付加するＥｘｉｆデータの容量が大きくなり、無駄が多い。第２の方法としてはカメラと同梱する記録媒体１５１にカメラ固有の軌跡関数の情報やＨやｈ’を記録しておく方法がある。この場合はカメラ毎に異なる軌跡情報やＨやｈ’を外部コンピュータに記録できるので、コンピュータで手振れ補正処理をする時、最適な手振れ補正が確実に行えるという効果がある。
【０３７４】
以上のように、本発明の好ましい実施形態を用いて本発明を例示してきたが、本発明は、この実施形態に限定して解釈されるべきものではない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。当業者は、本発明の具体的な好ましい実施形態の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。本明細書において引用した特許、特許出願および文献は、その内容自体が具体的に本明細書に記載されているのと同様にその内容が本明細書に対する参考として援用されるべきであることが理解される。
【産業上の利用可能性】
【０３７５】
本発明は、手振れ補正に必要な軌跡情報を得ることが可能な撮影装置、その撮影装置とプログラムを記録した記録媒体とを含む製品パッケージおよび半導体集積回路等を提供するために有用である。軌跡情報は、撮影装置の外部にある機器（例えば、コンピュータ）に出力され得る。これにより、処理量の大きい手振れ補正を撮影装置の外部にある機器（例えば、コンピュータ）で行うことが可能になる。
【特許請求の範囲】
【請求項１】
撮影装置の揺動を検出し、前記撮影装置の揺動を示す揺動検出信号を出力する揺動検出部と、
前記撮影装置に入射する光を結像することにより光学像を形成する結像部と、
前記結像部によって形成された前記光学像を電気的な映像情報に変換する撮像部と、
前記揺動検出部から出力される前記揺動検出信号に少なくとも基づいて、前記撮影装置の揺動の軌跡を示す軌跡情報を取得する軌跡演算部と
を備えた撮影装置。
【請求項２】
前記軌跡演算部は、前記揺動検出信号の一定期間内の変化を示す情報を前記軌跡情報として取得する、請求項１に記載の撮影装置。
【請求項３】
前記揺動検出部は、角速度センサを含み、
前記軌跡演算部は、前記角速度センサの出力を積分することにより角度情報を取得し、前記角度情報の一定期間内の変化を示す情報を前記軌跡情報として取得する、請求項１に記載の撮影装置。
【請求項４】
前記角速度センサは、互いに異なる複数の振動周波数を有する振動ジャイロである、請求項３に記載の撮影装置。
【請求項５】
前記軌跡演算部は、前記撮影装置の揺動による重みづけ軌跡を示す情報を前記軌跡情報として取得する、請求項１に記載の撮影装置。
【請求項６】
前記軌跡演算部は、点光源分布関数ＰＳＦを前記軌跡情報として取得する、請求項１に記載の撮影装置。
【請求項７】
前記軌跡演算部は、前記撮影装置の揺動の時間的変化量が所定のしきい値より大きいか否かを判定し、その判定結果に応じてサンプル数を決定する、請求項１または請求項５に記載の撮影装置。
【請求項８】
前記軌跡情報を前記映像情報に付加することによりＥｘｉｆ形式のデータを生成し、前記Ｅｘｉｆ形式のデータを出力する出力部をさらに備えた、請求項１に記載の撮影装置。
【請求項９】
前記軌跡演算部は、焦点の情報とズームの情報と前記揺動検出信号とに少なくとも基づいて、前記軌跡情報を取得する、請求項１に記載の撮影装置。
【請求項１０】
前記軌跡情報と前記映像情報とを演算処理することにより、前記映像情報の揺動を補正した補正映像情報を取得する電子的揺動補正部をさらに備えた、請求項１に記載の撮影装置。
【請求項１１】
前記電子的揺動補正部は、前記揺動検出信号が所定のしきい値より大きいか否かを判定し、前記揺動検出信号が前記所定のしきい値より大きいと判定された場合には前記映像情報の揺動を補正しない、請求項１０に記載の撮影装置。
【請求項１２】
前記演算処理は、フーリエ変換もしくはフーリエ逆変換もしくは二次元フィルタを用いた処理を含む、請求項１０に記載の撮影装置。
【請求項１３】
前記軌跡情報は軌跡関数ｈを含み、前記演算処理は、前記ｈのフーリエ変換の演算もしくは前記ｈをフーリエ変換した結果を使う演算を含むか、前記ｈのフーリエ変換の逆数の
フーリエ逆変換の演算もしくは前記ｈのフーリエ変換の逆数のフーリエ逆変換の演算結果を使う演算を含む、請求項１０に記載の撮影装置。
【請求項１４】
前記映像情報の揺動を補正するのに必要な演算処理量を求める処理量演算部をさらに備えた、請求項１０に記載の撮影装置。
【請求項１５】
前記演算処理量もしくは揺動量が一定の値を超過した場合は、表示部に超過状況を示す表示を行うおよび／またはスピーカから超過状況を示す音を発する、請求項１４に記載の撮影装置。
【請求項１６】
前記演算処理量が一定の値を超過した場合は、前記揺動を補正しない映像情報を出力し、前記演算処理量が一定の値の範囲内にある場合は、前記映像情報の揺動を補正した補正映像情報を出力する、請求項１４または請求項１５に記載の撮影装置。
【請求項１７】
前記映像情報を表示部に表示した後の特定時点において前記補正映像情報を前記表示部に表示する、請求項１０に記載の撮影装置。
【請求項１８】
前記特定時点として、前記電子的揺動補正部における揺動補正の演算処理が完了した時点を用いる、請求項１７に記載の撮影装置。
【請求項１９】
前記揺動補正部からの前記補正映像情報を受けて、前記揺動のそれぞれの方向の最大揺動量を求める最大揺動量演算部と、
前記最大揺動量に応じて前記補正映像情報をトリミングすることにより、トリミング補正映像情報を生成するトリミング部と
をさらに備えた、請求項１０に記載の撮影装置。
【請求項２０】
第１トリミングモードもしくは第２トリミングモードを設定可能な設定部をさらに備え、
前記トリミング部は、前記第１トリミングモードにおいて、前記最大揺動量に応じて前記補正映像情報をトリミングすることにより、第１トリミング補正映像情報を生成し、
前記トリミング部は、前記第２トリミングモードにおいて、前記映像情報の各方向の中心となる画素を中心画素とすると、第１トリミング補正映像情報の前記中心画素に相当する画素を中心として再度トリミングすることにより、第２トリミング補正映像情報を生成する、請求項１９に記載の撮影装置。
【請求項２１】
前記揺動検出信号に応じて前記撮影装置の揺動を機械的に補正することにより、現実の揺動補正量だけ前記映像情報の揺動を補正した補正映像情報を取得する機械的揺動補正部をさらに備え、
前記軌跡演算部は、前記揺動検出信号と前記現実の揺動補正量との差分の一定期間内の変化を示す情報を前記軌跡情報として取得する、請求項１に記載の撮影装置。
【請求項２２】
前記軌跡情報がＥｘｉｆ形式である、請求項２１に記載の撮影装置。
【請求項２３】
前記機械的揺動補正部は、前記揺動検出信号に応じて前記撮影装置の揺動を機械的に補正することにより、第１揺動補正量だけ前記映像情報の揺動を補正した第１補正映像情報を取得し、
前記軌跡演算部は、前記現実の揺動補正量と前記第１揺動補正量との差分量を示す残留揺動量の一定期間内の変化を示す情報を前記軌跡情報として取得し、
前記撮影装置は、
前記軌跡情報と前記第１補正映像情報とに演算処理することにより、第２揺動補正量だ
け前記第１補正映像情報の揺動を補正した第２補正映像情報を取得する電子的揺動補正部をさらに備えた、請求項２１に記載の撮影装置。
【請求項２４】
前記演算処理は、フーリエ変換もしくはフーリエ逆変換もしくは２次元フィルタを用いた処理を含む、請求項２３に記載の撮影装置。
【請求項２５】
前記軌跡情報は軌跡関数ｈを含み、前記演算処理は、前記ｈのフーリエ変換の演算もしくは前記ｈをフーリエ変換した結果を使う演算を含むか、前記ｈのフーリエ変換の逆数のフーリエ逆変換の演算もしくは前記ｈのフーリエ変換の逆数のフーリエ逆変換の演算結果を使う演算を含む、請求項２３に記載の撮影装置。
【請求項２６】
前記機械的揺動補正部は、前記結像部の一部であるレンズの位置情報に基づいて、前記第１揺動補正量を求める、請求項２１に記載の撮影装置。
【請求項２７】
前記機械的揺動補正部は、前記揺動検出信号と前記機械的揺動補正部の揺動制御特性とに基づいて、前記第１揺動補正量を求める、請求項２１に記載の撮影装置。
【請求項２８】
前記揺動検出部は、前記撮影装置の揺動のうちピッチ方向およびヨー方向の揺動を検出する第１揺動検出部と、前記撮影装置の揺動のうちロール方向の揺動を検出する第２揺動検出部とを含み、
前記軌跡演算部は、前記第２揺動検出部から出力される検出信号の一定期間内の変化を示す情報を前記軌跡情報として取得し、
前記撮影装置は、
前記第１揺動検出部から出力される検出信号に応じてピッチ方向およびヨー方向の揺動を補正した第１補正映像情報を取得する機械的揺動補正部をさらに備えた、請求項１に記載の撮影装置。
【請求項２９】
前記軌跡情報を前記補正映像情報に付加して出力し、もしくは、記録媒体に記録する手段をさらに備えた、請求項２８に記載の撮影装置。
【請求項３０】
前記軌跡情報がＥｘｉｆ形式もしくはＥｘｉｆ形式に類する形式である、請求項２９に記載の撮影装置。
【請求項３１】
ロール方向の軌跡情報と前記第１補正映像情報とに演算処理することにより、前記第１補正映像情報の揺動を補正した第２補正映像情報を取得する電子的揺動補正部をさらに備えた、請求項２８に記載の撮影装置。
【請求項３２】
前記演算処理は、フーリエ変換もしくはフーリエ逆変換もしくは二次元フィルタを用いた処理を含む、請求項３１に記載の撮影装置。
【請求項３３】
前記軌跡情報は軌跡関数ｈを含み、前記演算処理は、前記ｈのフーリエ変換の演算もしくは前記ｈをフーリエ変換した結果を使う演算を含むか、前記ｈのフーリエ変換の逆数のフーリエ逆変換の演算もしくは前記ｈのフーリエ変換の逆数のフーリエ逆変換の演算結果を使う演算を含む、請求項３１に記載の撮影装置。
【請求項３４】
撮影装置と記録媒体とを備えた製品パッケージであって、
前記撮影装置は、
前記撮影装置の揺動を検出し、前記撮影装置の揺動を示す揺動検出信号を出力する揺動検出部と、
前記撮影装置に入射する光を結像することにより光学像を形成する結像部と、
前記結像部によって形成された前記光学像を電気的な映像情報に変換する撮像部と、
前記揺動検出部から出力される前記揺動検出信号に少なくとも基づいて、前記撮影装置の揺動の軌跡を示す軌跡情報を取得する軌跡演算部と、
前記軌跡情報を前記映像情報に付加して画像情報として出力する出力部と
を備え、
前記記録媒体には処理をコンピュータに実行させるためのプログラムが記録されており、
前記処理は、
前記画像情報を受け取ることと、
前記画像情報を前記軌跡情報と前記映像情報とに分離することと、
前記軌跡情報と前記映像情報とに演算処理することにより、前記映像情報の揺動を補正した補正映像情報を得ることと
を包含する、製品パッケージ。
【請求項３５】
前記軌跡情報がＥｘｉｆ形式である、請求項３４に記載の製品パッケージ。
【請求項３６】
前記演算処理は、フーリエ変換もしくはフーリエ逆変換もしくは二次元フィルタを用いる処理を含む、請求項３４記載の製品パッケージ。
【請求項３７】
前記軌跡情報は軌跡関数ｈを含み、前記演算処理は、前記ｈのフーリエ変換の演算もしくは前記ｈをフーリエ変換した結果を使う演算を含むか、前記ｈのフーリエ変換の逆数のフーリエ逆変換の演算もしくは前記ｈのフーリエ変換の逆数のフーリエ逆変換の演算結果を使う演算を含む、請求項３４に記載の製品パッケージ。
【請求項３８】
前記軌跡情報が重みづけ軌跡もしくは点光源分布関数である、請求項３４に記載の製品パッケージ。
【請求項３９】
撮影装置と記録媒体とを備えた製品パッケージであって、
前記撮影装置は、
前記撮影装置の揺動を検出し、前記撮影装置の揺動を示す揺動検出信号を出力する揺動検出部と、
前記撮影装置に入射する光を結像することにより光学像を形成する結像部と、
前記結像部によって形成された前記光学像を電気的な映像情報に変換する撮像部と、
前記揺動検出部から出力される前記揺動検出信号に少なくとも基づいて、前記撮影装置の揺動の軌跡を示す軌跡情報を取得する軌跡演算部と、
前記揺動検出信号に応じて前記撮影装置の揺動を機械的に補正することにより、現実の
揺動補正量だけ前記映像情報の揺動を補正した補正映像情報を取得する機械的揺動補正部と、
前記軌跡情報を前記補正映像情報に付加して画像情報として出力する出力部と
を備え、
前記軌跡演算部は、前記揺動検出信号と前記現実の揺動補正量との差分の一定期間内の変化を示す情報を前記軌跡情報として取得し、
前記記録媒体には処理をコンピュータに実行させるためのプログラムが記録されており、
前記処理は、
前記画像情報を受け取ることと、
前記画像情報を前記軌跡情報と前記映像情報とに分離することと、
前記軌跡情報と前記映像情報とに演算処理することにより、前記映像情報の揺動を補正した補正映像情報を得ることと
を包含する、製品パッケージ。
【請求項４０】
前記軌跡情報がＥｘｉｆ形式である、請求項３９に記載の製品パッケージ。
【請求項４１】
前記演算処理は、フーリエ変換もしくはフーリエ逆変換もしくは二次元フィルタを用いる処理を含む、請求項３９に記載の製品パッケージ。
【請求項４２】
前記軌跡情報が重みづけ軌跡もしくは点光源分布関数である、請求項３９に記載の製品パッケージ。
【請求項４３】
撮影装置の揺動を検出する揺動検出部から出力される揺動検出信号に少なくとも基づいて、前記撮影装置の揺動の軌跡を示す軌跡情報を取得する軌跡演算部を備えた、半導体集積回路。
【請求項４４】
前記軌跡情報と映像情報とを演算処理することにより、前記映像情報の揺動を補正した補正映像情報を取得する電子的揺動補正部をさらに備えた、請求項４３に記載の半導体集積回路。
【請求項４５】
前記揺動検出信号に応じて前記撮影装置の揺動を機械的に補正することにより、現実の揺動補正量だけ前記映像情報の揺動を補正した補正映像情報を取得する機械的揺動補正部をさらに備え、
前記軌跡演算部は、前記揺動検出信号と前記現実の揺動補正量との差分の一定期間内の変化を示す情報を前記軌跡情報として取得する、請求項４３に記載の半導体集積回路。
【請求項４６】
前記揺動検出部は、前記撮影装置の揺動のうちピッチ方向およびヨー方向の揺動を検出する第１揺動検出部と、前記撮影装置の揺動のうちロール方向の揺動を検出する第２揺動検出部とを含み、
前記軌跡演算部は、前記第２揺動検出部から出力される検出信号の一定期間内の変化を示す情報を前記軌跡情報として取得し、
前記半導体集積回路は、
前記第１揺動検出部から出力される検出信号に応じてピッチ方向およびヨー方向の揺動を補正した第１補正映像情報を取得する機械的揺動補正部をさらに備えた、請求項４３に記載の半導体集積回路。
【請求項１】
撮影装置の揺動を検出し、前記撮影装置の揺動を示す揺動検出信号を出力する揺動検出部と、
前記撮影装置に入射する光を結像することにより光学像を形成する結像部と、
前記結像部によって形成された前記光学像を電気的な映像情報に変換する撮像部と、
前記揺動検出部から出力される前記揺動検出信号に少なくとも基づいて、前記撮影装置の揺動の軌跡を示す軌跡情報を取得する軌跡演算部と
を備えた撮影装置。
【請求項２】
前記軌跡演算部は、前記揺動検出信号の一定期間内の変化を示す情報を前記軌跡情報として取得する、請求項１に記載の撮影装置。
【請求項３】
前記揺動検出部は、角速度センサを含み、
前記軌跡演算部は、前記角速度センサの出力を積分することにより角度情報を取得し、前記角度情報の一定期間内の変化を示す情報を前記軌跡情報として取得する、請求項１に記載の撮影装置。
【請求項４】
前記角速度センサは、互いに異なる複数の振動周波数を有する振動ジャイロである、請求項３に記載の撮影装置。
【請求項５】
前記軌跡演算部は、前記撮影装置の揺動による重みづけ軌跡を示す情報を前記軌跡情報として取得する、請求項１に記載の撮影装置。
【請求項６】
前記軌跡演算部は、点光源分布関数ＰＳＦを前記軌跡情報として取得する、請求項１に記載の撮影装置。
【請求項７】
前記軌跡演算部は、前記撮影装置の揺動の時間的変化量が所定のしきい値より大きいか否かを判定し、その判定結果に応じてサンプル数を決定する、請求項１または請求項５に記載の撮影装置。
【請求項８】
前記軌跡情報を前記映像情報に付加することによりＥｘｉｆ形式のデータを生成し、前記Ｅｘｉｆ形式のデータを出力する出力部をさらに備えた、請求項１に記載の撮影装置。
【請求項９】
前記軌跡演算部は、焦点の情報とズームの情報と前記揺動検出信号とに少なくとも基づいて、前記軌跡情報を取得する、請求項１に記載の撮影装置。
【請求項１０】
前記軌跡情報と前記映像情報とを演算処理することにより、前記映像情報の揺動を補正した補正映像情報を取得する電子的揺動補正部をさらに備えた、請求項１に記載の撮影装置。
【請求項１１】
前記電子的揺動補正部は、前記揺動検出信号が所定のしきい値より大きいか否かを判定し、前記揺動検出信号が前記所定のしきい値より大きいと判定された場合には前記映像情報の揺動を補正しない、請求項１０に記載の撮影装置。
【請求項１２】
前記演算処理は、フーリエ変換もしくはフーリエ逆変換もしくは二次元フィルタを用いた処理を含む、請求項１０に記載の撮影装置。
【請求項１３】
前記軌跡情報は軌跡関数ｈを含み、前記演算処理は、前記ｈのフーリエ変換の演算もしくは前記ｈをフーリエ変換した結果を使う演算を含むか、前記ｈのフーリエ変換の逆数の
フーリエ逆変換の演算もしくは前記ｈのフーリエ変換の逆数のフーリエ逆変換の演算結果を使う演算を含む、請求項１０に記載の撮影装置。
【請求項１４】
前記映像情報の揺動を補正するのに必要な演算処理量を求める処理量演算部をさらに備えた、請求項１０に記載の撮影装置。
【請求項１５】
前記演算処理量もしくは揺動量が一定の値を超過した場合は、表示部に超過状況を示す表示を行うおよび／またはスピーカから超過状況を示す音を発する、請求項１４に記載の撮影装置。
【請求項１６】
前記演算処理量が一定の値を超過した場合は、前記揺動を補正しない映像情報を出力し、前記演算処理量が一定の値の範囲内にある場合は、前記映像情報の揺動を補正した補正映像情報を出力する、請求項１４または請求項１５に記載の撮影装置。
【請求項１７】
前記映像情報を表示部に表示した後の特定時点において前記補正映像情報を前記表示部に表示する、請求項１０に記載の撮影装置。
【請求項１８】
前記特定時点として、前記電子的揺動補正部における揺動補正の演算処理が完了した時点を用いる、請求項１７に記載の撮影装置。
【請求項１９】
前記揺動補正部からの前記補正映像情報を受けて、前記揺動のそれぞれの方向の最大揺動量を求める最大揺動量演算部と、
前記最大揺動量に応じて前記補正映像情報をトリミングすることにより、トリミング補正映像情報を生成するトリミング部と
をさらに備えた、請求項１０に記載の撮影装置。
【請求項２０】
第１トリミングモードもしくは第２トリミングモードを設定可能な設定部をさらに備え、
前記トリミング部は、前記第１トリミングモードにおいて、前記最大揺動量に応じて前記補正映像情報をトリミングすることにより、第１トリミング補正映像情報を生成し、
前記トリミング部は、前記第２トリミングモードにおいて、前記映像情報の各方向の中心となる画素を中心画素とすると、第１トリミング補正映像情報の前記中心画素に相当する画素を中心として再度トリミングすることにより、第２トリミング補正映像情報を生成する、請求項１９に記載の撮影装置。
【請求項２１】
前記揺動検出信号に応じて前記撮影装置の揺動を機械的に補正することにより、現実の揺動補正量だけ前記映像情報の揺動を補正した補正映像情報を取得する機械的揺動補正部をさらに備え、
前記軌跡演算部は、前記揺動検出信号と前記現実の揺動補正量との差分の一定期間内の変化を示す情報を前記軌跡情報として取得する、請求項１に記載の撮影装置。
【請求項２２】
前記軌跡情報がＥｘｉｆ形式である、請求項２１に記載の撮影装置。
【請求項２３】
前記機械的揺動補正部は、前記揺動検出信号に応じて前記撮影装置の揺動を機械的に補正することにより、第１揺動補正量だけ前記映像情報の揺動を補正した第１補正映像情報を取得し、
前記軌跡演算部は、前記現実の揺動補正量と前記第１揺動補正量との差分量を示す残留揺動量の一定期間内の変化を示す情報を前記軌跡情報として取得し、
前記撮影装置は、
前記軌跡情報と前記第１補正映像情報とに演算処理することにより、第２揺動補正量だ
け前記第１補正映像情報の揺動を補正した第２補正映像情報を取得する電子的揺動補正部をさらに備えた、請求項２１に記載の撮影装置。
【請求項２４】
前記演算処理は、フーリエ変換もしくはフーリエ逆変換もしくは２次元フィルタを用いた処理を含む、請求項２３に記載の撮影装置。
【請求項２５】
前記軌跡情報は軌跡関数ｈを含み、前記演算処理は、前記ｈのフーリエ変換の演算もしくは前記ｈをフーリエ変換した結果を使う演算を含むか、前記ｈのフーリエ変換の逆数のフーリエ逆変換の演算もしくは前記ｈのフーリエ変換の逆数のフーリエ逆変換の演算結果を使う演算を含む、請求項２３に記載の撮影装置。
【請求項２６】
前記機械的揺動補正部は、前記結像部の一部であるレンズの位置情報に基づいて、前記第１揺動補正量を求める、請求項２１に記載の撮影装置。
【請求項２７】
前記機械的揺動補正部は、前記揺動検出信号と前記機械的揺動補正部の揺動制御特性とに基づいて、前記第１揺動補正量を求める、請求項２１に記載の撮影装置。
【請求項２８】
前記揺動検出部は、前記撮影装置の揺動のうちピッチ方向およびヨー方向の揺動を検出する第１揺動検出部と、前記撮影装置の揺動のうちロール方向の揺動を検出する第２揺動検出部とを含み、
前記軌跡演算部は、前記第２揺動検出部から出力される検出信号の一定期間内の変化を示す情報を前記軌跡情報として取得し、
前記撮影装置は、
前記第１揺動検出部から出力される検出信号に応じてピッチ方向およびヨー方向の揺動を補正した第１補正映像情報を取得する機械的揺動補正部をさらに備えた、請求項１に記載の撮影装置。
【請求項２９】
前記軌跡情報を前記補正映像情報に付加して出力し、もしくは、記録媒体に記録する手段をさらに備えた、請求項２８に記載の撮影装置。
【請求項３０】
前記軌跡情報がＥｘｉｆ形式もしくはＥｘｉｆ形式に類する形式である、請求項２９に記載の撮影装置。
【請求項３１】
ロール方向の軌跡情報と前記第１補正映像情報とに演算処理することにより、前記第１補正映像情報の揺動を補正した第２補正映像情報を取得する電子的揺動補正部をさらに備えた、請求項２８に記載の撮影装置。
【請求項３２】
前記演算処理は、フーリエ変換もしくはフーリエ逆変換もしくは二次元フィルタを用いた処理を含む、請求項３１に記載の撮影装置。
【請求項３３】
前記軌跡情報は軌跡関数ｈを含み、前記演算処理は、前記ｈのフーリエ変換の演算もしくは前記ｈをフーリエ変換した結果を使う演算を含むか、前記ｈのフーリエ変換の逆数のフーリエ逆変換の演算もしくは前記ｈのフーリエ変換の逆数のフーリエ逆変換の演算結果を使う演算を含む、請求項３１に記載の撮影装置。
【請求項３４】
撮影装置と記録媒体とを備えた製品パッケージであって、
前記撮影装置は、
前記撮影装置の揺動を検出し、前記撮影装置の揺動を示す揺動検出信号を出力する揺動検出部と、
前記撮影装置に入射する光を結像することにより光学像を形成する結像部と、
前記結像部によって形成された前記光学像を電気的な映像情報に変換する撮像部と、
前記揺動検出部から出力される前記揺動検出信号に少なくとも基づいて、前記撮影装置の揺動の軌跡を示す軌跡情報を取得する軌跡演算部と、
前記軌跡情報を前記映像情報に付加して画像情報として出力する出力部と
を備え、
前記記録媒体には処理をコンピュータに実行させるためのプログラムが記録されており、
前記処理は、
前記画像情報を受け取ることと、
前記画像情報を前記軌跡情報と前記映像情報とに分離することと、
前記軌跡情報と前記映像情報とに演算処理することにより、前記映像情報の揺動を補正した補正映像情報を得ることと
を包含する、製品パッケージ。
【請求項３５】
前記軌跡情報がＥｘｉｆ形式である、請求項３４に記載の製品パッケージ。
【請求項３６】
前記演算処理は、フーリエ変換もしくはフーリエ逆変換もしくは二次元フィルタを用いる処理を含む、請求項３４記載の製品パッケージ。
【請求項３７】
前記軌跡情報は軌跡関数ｈを含み、前記演算処理は、前記ｈのフーリエ変換の演算もしくは前記ｈをフーリエ変換した結果を使う演算を含むか、前記ｈのフーリエ変換の逆数のフーリエ逆変換の演算もしくは前記ｈのフーリエ変換の逆数のフーリエ逆変換の演算結果を使う演算を含む、請求項３４に記載の製品パッケージ。
【請求項３８】
前記軌跡情報が重みづけ軌跡もしくは点光源分布関数である、請求項３４に記載の製品パッケージ。
【請求項３９】
撮影装置と記録媒体とを備えた製品パッケージであって、
前記撮影装置は、
前記撮影装置の揺動を検出し、前記撮影装置の揺動を示す揺動検出信号を出力する揺動検出部と、
前記撮影装置に入射する光を結像することにより光学像を形成する結像部と、
前記結像部によって形成された前記光学像を電気的な映像情報に変換する撮像部と、
前記揺動検出部から出力される前記揺動検出信号に少なくとも基づいて、前記撮影装置の揺動の軌跡を示す軌跡情報を取得する軌跡演算部と、
前記揺動検出信号に応じて前記撮影装置の揺動を機械的に補正することにより、現実の
揺動補正量だけ前記映像情報の揺動を補正した補正映像情報を取得する機械的揺動補正部と、
前記軌跡情報を前記補正映像情報に付加して画像情報として出力する出力部と
を備え、
前記軌跡演算部は、前記揺動検出信号と前記現実の揺動補正量との差分の一定期間内の変化を示す情報を前記軌跡情報として取得し、
前記記録媒体には処理をコンピュータに実行させるためのプログラムが記録されており、
前記処理は、
前記画像情報を受け取ることと、
前記画像情報を前記軌跡情報と前記映像情報とに分離することと、
前記軌跡情報と前記映像情報とに演算処理することにより、前記映像情報の揺動を補正した補正映像情報を得ることと
を包含する、製品パッケージ。
【請求項４０】
前記軌跡情報がＥｘｉｆ形式である、請求項３９に記載の製品パッケージ。
【請求項４１】
前記演算処理は、フーリエ変換もしくはフーリエ逆変換もしくは二次元フィルタを用いる処理を含む、請求項３９に記載の製品パッケージ。
【請求項４２】
前記軌跡情報が重みづけ軌跡もしくは点光源分布関数である、請求項３９に記載の製品パッケージ。
【請求項４３】
撮影装置の揺動を検出する揺動検出部から出力される揺動検出信号に少なくとも基づいて、前記撮影装置の揺動の軌跡を示す軌跡情報を取得する軌跡演算部を備えた、半導体集積回路。
【請求項４４】
前記軌跡情報と映像情報とを演算処理することにより、前記映像情報の揺動を補正した補正映像情報を取得する電子的揺動補正部をさらに備えた、請求項４３に記載の半導体集積回路。
【請求項４５】
前記揺動検出信号に応じて前記撮影装置の揺動を機械的に補正することにより、現実の揺動補正量だけ前記映像情報の揺動を補正した補正映像情報を取得する機械的揺動補正部をさらに備え、
前記軌跡演算部は、前記揺動検出信号と前記現実の揺動補正量との差分の一定期間内の変化を示す情報を前記軌跡情報として取得する、請求項４３に記載の半導体集積回路。
【請求項４６】
前記揺動検出部は、前記撮影装置の揺動のうちピッチ方向およびヨー方向の揺動を検出する第１揺動検出部と、前記撮影装置の揺動のうちロール方向の揺動を検出する第２揺動検出部とを含み、
前記軌跡演算部は、前記第２揺動検出部から出力される検出信号の一定期間内の変化を示す情報を前記軌跡情報として取得し、
前記半導体集積回路は、
前記第１揺動検出部から出力される検出信号に応じてピッチ方向およびヨー方向の揺動を補正した第１補正映像情報を取得する機械的揺動補正部をさらに備えた、請求項４３に記載の半導体集積回路。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【国際公開番号】ＷＯ２００５／０６４９２１
【国際公開日】平成１７年７月１４日（２００５．７．１４）
【発行日】平成１９年１２月２０日（２００７．１２．２０）
【国際特許分類】
【出願番号】特願２００５−５１６６５９（Ｐ２００５−５１６６５９）
【国際出願番号】ＰＣＴ／ＪＰ２００４／０１９４０３
【国際出願日】平成１６年１２月２４日（２００４．１２．２４）
【特許番号】特許第４００５０９８号（Ｐ４００５０９８）
【特許公報発行日】平成１９年１１月７日（２００７．１１．７）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
【国際公開日】平成１７年７月１４日（２００５．７．１４）
【発行日】平成１９年１２月２０日（２００７．１２．２０）
【国際特許分類】
【国際出願番号】ＰＣＴ／ＪＰ２００４／０１９４０３
【国際出願日】平成１６年１２月２４日（２００４．１２．２４）
【特許番号】特許第４００５０９８号（Ｐ４００５０９８）
【特許公報発行日】平成１９年１１月７日（２００７．１１．７）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]