手ぶれ補正装置及び手ぶれ補正プログラム
【課題】特別な手ぶれ補正機構を必要とせず、また画質の低下も起きないようにする。
【解決手段】手ぶれ補正装置は、イメージセンサ１と、映像生成部２と、映像バッファメモリ３と、ずれ量検出器４と、ＣＰＵ５とを備えている。映像生成部２は、ゲイン調整部１１と、Ａ／Ｄ変換器１２と、ＷＢ調整部１３と、３版化処理部１４とを有する。手ぶれ補正モードが設定されると、自動的にシャッタ速度をｎ倍速くして感度もｎ倍高くし、撮影者が一度シャッタボタンを押すと、自動的に連続してｎコマ分の撮影を行い、各コマの撮影画像に対応するデジタル画像データのずれ量を検出し、検出されたずれ量分だけ各デジタル画像データを補正した後に合成して１コマ分のデジタル画像データを生成するため、最終的に生成されたデジタル画像データはノイズ量が不変で、かつ手ぶれ量が１／ｎに軽減される。
【解決手段】手ぶれ補正装置は、イメージセンサ１と、映像生成部２と、映像バッファメモリ３と、ずれ量検出器４と、ＣＰＵ５とを備えている。映像生成部２は、ゲイン調整部１１と、Ａ／Ｄ変換器１２と、ＷＢ調整部１３と、３版化処理部１４とを有する。手ぶれ補正モードが設定されると、自動的にシャッタ速度をｎ倍速くして感度もｎ倍高くし、撮影者が一度シャッタボタンを押すと、自動的に連続してｎコマ分の撮影を行い、各コマの撮影画像に対応するデジタル画像データのずれ量を検出し、検出されたずれ量分だけ各デジタル画像データを補正した後に合成して１コマ分のデジタル画像データを生成するため、最終的に生成されたデジタル画像データはノイズ量が不変で、かつ手ぶれ量が１／ｎに軽減される。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、デジタルカメラ等の撮像装置で撮影を行う際に生じた手ぶれを補正する手ぶれ補正装置及び手ぶれ補正プログラムに関する。
【０００２】
【従来の技術】
最近、デジタルカメラが急速な勢いで普及しており、従来型の銀塩カメラよりも販売台数が上回るようになった。これに比例して、デジタルカメラの性能に対する要求も高くなり、強力なズーム機能と高画素数のＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）を備えたデジタルカメラも数多く販売されている。
【０００３】
ところが、ズームレンズを望遠側に設定して撮影を行うと、手ぶれが起きやすくなる。特に、デジタルカメラは、銀塩カメラよりもボディが軽量なものが多いため、銀塩カメラよりも手ぶれが起きやすい。
【０００４】
この種の手ぶれを防止する手法として、光学的に手ぶれを補正する手法と、デジタル的に手ぶれを補正する手法が従来から提案されている。前者の場合、ジャイロセンサーで手ぶれを検知し、レンズを移動させて手ぶれを補正する（特許文献１参照）。また、後者の場合、ＣＣＤの撮像領域を手ぶれに応じてずらして手ぶれを補正する。
【０００５】
【特許文献１】
特許公報３３４８４６１号
【０００６】
【発明が解決しようとする課題】
光学的に手ぶれを補正するには、ジャイロセンサや手ぶれ補正機構を予めレンズに組み込んでおかなければならず、レンズの小型化が困難になるとともに、コストアップの要因にもなる。
【０００７】
また、デジタルビデオカメラ等で採用されているデジタル的な手ぶれ補正機能は、動画の連続したコマ間のブレによる微小な動きを抑制するものであり、１コマの画像のブレ自体を除去するものではない。
【０００８】
本発明は、このような点に鑑みてなされたものであり、その目的は、特別な手ぶれ補正機構を必要とせず、また画質の低下も起きない手ぶれ補正装置及び手ぶれ補正プログラムを提供することにある。
【０００９】
【課題を解決するための手段】
上述した課題を解決するために、本発明は、撮像装置から出力されたアナログ画像データのゲイン調整を行うゲイン調整手段と、前記ゲイン調整手段でゲイン調整されたアナログ画像データをデジタル画像データに変換するＡ／Ｄ変換手段と、連続して撮影されたｎ（ｎは２以上の整数）コマ分の前記デジタル画像データを順に格納する撮影データ格納手段と、前記撮影データ格納手段に格納されたｎコマ分の前記デジタル画像データのうち、最初に撮影された先頭デジタル画像データと、その後に撮影された（ｎ−１）コマの後続デジタル画像データそれぞれとのずれ量を検出するずれ量検出手段と、前記ずれ量検出手段で検出されたずれ量に基づいて、前記後続デジタル画像データそれぞれを補正するデータ補正手段と、前記先頭デジタル画像データと、前記データ補正手段で補正された前記後続デジタル画像データとを合成して、最終的な１コマ分のデジタル画像データを生成するデータ合成手段と、を備える。
【００１０】
【発明の実施の形態】
以下、本発明に係る手ぶれ補正装置及び手ぶれ補正プログラムについて、図面を参照しながら具体的に説明する。
【００１１】
図１は本発明に係る手ぶれ補正装置の一実施形態の概略構成を示すブロック図であり、デジタルカメラやビデオカメラ等の静止画像を撮影する機器に内蔵されるものである。図１の手ぶれ補正装置は、ＣＣＤ等からなるイメージセンサ１と、イメージセンサ１で撮像されたアナログ画像データをデジタル画像データに変換する映像生成部２と、デジタル画像データを格納する映像バッファメモリ３と、ずれ量検出器４と、ＣＰＵ５とを備えている。図１の手ぶれ補正装置には、手ぶれ補正された最終的なデジタル画像データを格納する映像記録メディア６（例えば、ＣＦカード等の各種メモリカードなど）が着脱可能に接続される。
【００１２】
映像生成部２は、イメージセンサ１で撮像されたアナログ画像データのゲイン調整を行うゲイン調整部１１と、ゲイン調整されたアナログ画像データをデジタル画像データに変換するＡ／Ｄ変換器１２と、Ａ／Ｄ変換器１２で変換されたデジタル画像データのホワイトバランスを調整するＷＢ調整部１３と、デジタル画像データを構成する各色成分データを揃える処理を行う３版化処理部１４とを有する。
【００１３】
ＷＢ調整部１３は、デジタル画像データを構成するＲＧＢの各色成分ごとにデジタル的にゲイン調整を行ってホワイトバランスを調整する。この処理は、異なる色温度の光源のそれぞれについて、白を白として再現できるようにするために行われる。
【００１４】
３版化処理部１４は、ＲＧＢの各色成分データを揃えるために、周辺ピクセルのピクセル値に基づいて補完処理を行う。
【００１５】
映像バッファメモリ３は、連続して撮影されたｎ（ｎは２以上の整数）コマ分のデジタル画像データを順に異なる領域に格納する。ずれ量検出器４は、映像バッファメモリ３に格納されたｎコマ分のデジタル画像データのうち、最初に撮影された先頭デジタル画像データと、その後に撮影された（ｎ−１）コマの後続デジタル画像データそれぞれとのずれ量を検出する。
【００１６】
なお、図１では、映像バッファメモリ３の格納場所をスイッチ１５で選択するようにしているが、映像バッファメモリ３に設けられた不図示のイネーブル端子をＣＰＵ５で制御して影像バッファメモリ３の格納場所を選択してもよい。
【００１７】
ＣＰＵ５は、ずれ量検出器４で検出されたずれ量に基づいて、後続デジタル画像データそれぞれを補正し、補正された後続デジタル画像データと先頭デジタル画像データとを合成して最終的なデジタル画像データを生成する。
【００１８】
図２は手ぶれを説明する図である。手ぶれは、シャッタボタンを押している間にカメラの光軸が移動することにより生じる。例えば、シャッタ速度を１秒として、この１秒の間に、図２（ａ）の光軸ｊ１からｊ２まで光軸が移動したとする。この場合、図２（ｂ）の幅ｗ１だけ撮影画像が流れる。
【００１９】
手ぶれ量を同じにし、シャッタ速度を２倍の０．５秒にして、１秒の間に２コマの撮影を行うと、各撮影時点での光軸のずれは、図３（ａ）に示すように図２（ａ）の半分になり、各撮影画像のぶれ量ｗ２も、図３（ｂ）及び図３（ｃ）に示すように図２（ｂ）の半分になる。
【００２０】
ところが、シャッタ速度が図２よりも２倍速くなった分だけ、イメージセンサ１に入る光量が減り、ノイズ量が２倍に増えてしまう。
【００２１】
同様に、手ぶれ量を同じにして、シャッタ速度を０．２５秒にすると、１秒の間に４コマの撮影が行われ、各撮影時点での光軸のずれは、図４（ａ）に示すように図２（ａ）の１／４になり、各撮影画像のぶれ量ｗ３も、図４（ｂ）〜図４（ｅ）に示すように図２（ｂ）の１／４になる。
【００２２】
この場合、シャッタ速度が図２よりも４倍速くなった分だけ、イメージセンサ１に入る光量が１／４に減少し、ノイズ量が４倍に増えてしまう。
【００２３】
このように、シャッタ速度が速いほど、手ぶれの影響を受けにくくなるが、その分、イメージセンサ１から出力されるアナログ画像データのノイズ量が増えてしまう。
【００２４】
そこで、本実施形態では、手ぶれ補正モードが選択されると、撮影者が１回シャッタボタンを押したときに、撮影者の設定した感度のｎ倍の感度を自動設定した上で、撮影者の設定したシャッタ速度よりも高速のシャッタ速度でｎ（ｎは２以上の整数）コマの撮影を連続して行い、得られたｎコマの撮影画像を合成して１コマの撮影画像を生成する。
【００２５】
図５は本実施形態の処理を模式的に示した図である。図示のように、４コマの撮影画像ｇ１，ｇ２，ｇ３，ｇ４を合成したデジタル画像データｇ５を生成して手ぶれを除去する。
【００２６】
図５に示すように、感度を４倍にして４倍のシャッタ速度で４コマ連続して撮影を行い、各撮影画像を合成すると、各撮影画像の４ピクセルが平均化されて１ピクセルになり、ノイズ量は１／４になる。すなわち、本実施形態によれば、手ぶれ量が１／４で、ノイズ量は４×１／４＝１倍になり、手ぶれ量のみを軽減できる。
【００２７】
以下、本実施形態の処理手順についてより詳細に説明する。
図６は本実施形態の手ぶれ補正装置の処理手順を示すフローチャートである。このフローチャートは、本実施形態の手ぶれ補正装置を内蔵するデジタルカメラ等において、撮影者が手ぶれ補正モードを選択した場合に実行される。
【００２８】
図６の処理は、デジタル画像データを構成するＲＧＢの各色ごとに行う必要はなく、いずれか一色（例えば、緑Ｇのみ）のデータのみについて行えばよい。あるいは、ＲＧＢの各色成分のデータを足し合わせたモノクロデータについて図６の処理を行ってもよい。
【００２９】
まず、撮影者が設定したシャッタ速度（露出時間）と感度を変更する（ステップＳ１）。例えば、手ぶれ補正時にｎコマの撮影画像の合成を行う場合は、シャッタ速度をｎ倍速くし、かつ感度もｎ倍高くする。
【００３０】
この状態で、撮影者がシャッタボタンを押すと、最初の１コマ目の撮影画像に対応するデジタル画像データ（以下、先頭デジタル画像データ）を映像バッファメモリ３に格納する（ステップＳ２）。その後、ｎコマ分のデジタル画像データを映像バッファメモリ３に格納するまで、自動的に連続して撮影を行ってステップＳ２の処理を行う（ステップＳ３）。以下では、２コマ目からｎコマ目までのデジタル画像データを後続デジタル画像データと呼ぶ。
【００３１】
ｎコマ分の撮影が終了すると、次に、先頭デジタル画像データと後続デジタル画像データとのずれ量を検出する（ステップＳ４）。この処理については、後に詳述する。
【００３２】
次に、検出されたずれ量分だけ、後続デジタル画像データを補正する（ステップＳ５）。次に、先頭デジタル画像データと補正後の後続デジタル画像データとを合成して、１コマ分のデジタル画像データを生成する（ステップＳ６）。このステップＳ６で生成されたデジタル画像データは、手ぶれが軽減されたものであり、このデータを最終的なデータとして映像記録メディア６に記録する（ステップＳ７）。
【００３３】
図７は図６のステップＳ４の詳細処理を示すフローチャートである。まず、後続デジタル画像データのピクセル値の累積ずれ量最小値の初期値を無限大に設定する（ステップＳ２１）。
【００３４】
次に、座標変換パラメータｄｘ，ｄｙに所定のパラメータ候補を代入する（ステップＳ２２）。次に、積分カウンタ８の計測値をリセットする（ステップＳ２３）。次に、ずれ量を検出する対象である調査領域内のまだ調査していないピクセル座標を変数座標（Ｘ，Ｙ）に代入する（ステップＳ２４）。
【００３５】
ここで、調査領域は、図８の斜線部２０で示すように、撮像領域内に一つまたは複数設定される。本実施形態は、処理を簡略化するために、調査領域２０内で検出されたずれ量に基づいて、その調査領域２０を一部に含む画像データのずれ量を決定する。なお、画像データのサイズが小さい場合や、高速の演算機能を持つＣＰＵ５で処理を行う場合などは、調査領域２０を設定せずに、撮影領域全体についてずれ量を検出してもよい。
【００３６】
また、後続デジタル画像データのそれぞれごとに個別に調査領域２０を設定してずれ量を決定する。
【００３７】
次に、座標変換パラメータｄｘ，ｄｙを利用して後続デジタル画像データの座標変換を行う（ステップＳ２５）。ここで、変換前の座標を（Ｘ，Ｙ）、変換後の座標を（Ｘ’，Ｙ’）＝ｆ（Ｘ，Ｙ）とする。ｆ（）は、座標変換パラメータを含む変換関数であり、より具体的には、例えば以下の（１）式および（２）式で表される。なお、座標変換パラメータｄｘ，ｄｙは、例えば「１」ずつ可変可能な値とする。
Ｘ’＝Ｘ＋ｄｘ …（１）
Ｙ’＝Ｙ＋ｄｙ …（２）
【００３８】
ステップＳ２５では、上述の（１）式および（２）式に基づいて後続デジタル画像データの座標変換を行う。次に、座標変換後の座標（Ｘ’，Ｙ’）のピクセル値を求める（ステップＳ２６）。
【００３９】
なお、座標変換パラメータｄｘ，ｄｙの値として、整数以外の実数を採用した場合には、ピクセル値を求める際に補間処理を行えばよい。
【００４０】
座標変換後の座標位置でのピクセル値が求まると、次に、先頭デジタル画像データと後続デジタル画像データの両ピクセル値を比較してずれ量を検出する（ステップＳ２７）。次に、ステップＳ２７で検出したずれ量を積分カウンタ８で累積加算する（ステップＳ２８）。
【００４１】
次に、調査領域２０内の全ピクセルについてずれ量検出を行ったか否かを判定し（ステップＳ２９）、まだずれ量検出を行っていないピクセルがあれば、ステップＳ２４以降の処理を繰り返す。
【００４２】
全ピクセルについてのずれ量検出処理が終了すると、次に、積分カウンタ８の計測値が累積ずれ量最小値より小さいか否かを判定する（ステップＳ３０）。小さい場合には、現時点における積分カウンタ８の計測値を累積ずれ量最小値に設定するとともに、現時点における座標変換パラメータｄｘを後続デジタル画像データ用の座標変換パラメータに設定する（ステップＳ３１）。
【００４３】
ステップＳ３０で小さくないと判定された場合、あるいはステップＳ３１の処理が終了した場合には、座標変換パラメータｄｘのすべてのパラメータ候補についてステップＳ２２以降の処理を行ったか否かを判定し（ステップＳ３２）、まだ処理を行っていないｄｘの候補があれば、ｄｘを「１」だけ大きくして（ステップＳ３３）、ステップＳ２３以降の処理を繰り返す。
【００４４】
座標変換パラメータｄｘのすべてのパラメータ候補についての処理が終了すれば、次に、座標変換パラメータｄｙのすべてのパラメータ候補についてステップＳ２３以降の処理を行ったか否かを判定し（ステップＳ３４）、まだ処理を行っていないｄｙの候補があれば、ｄｙを「１」だけ大きくして（ステップＳ３５）、ステップＳ２３以降の処理を繰り返す。
【００４５】
ステップＳ３４の判定がＹＥＳになると、その時点でステップＳ３１に設定されている座標変換パラメータｄｘ，ｄｙを最終的な後続デジタル画像データの座標変換パラメータとし、図６のステップＳ５の処理を行う。
【００４６】
図９は図６のステップＳ５の詳細な処理手順を示すフローチャートである。まず、まだ補正していない後続デジタル画像データのピクセル座標を変数座標（Ｘ，Ｙ）に代入する（ステップＳ４１）。次に、図７のステップＳ３１で求めた座標変換パラメータｄｘ，ｄｙを利用して、変数座標（Ｘ，Ｙ）に対応する変換座標（Ｘ’，Ｙ’）＝ｆ（Ｘ，Ｙ）を計算する（ステップＳ４２）。ここで、ｆ（）は、座標変換パラメータを含む変換関数であり、例えば、上述した（１）式および（２）式で表される。
【００４７】
次に、変換座標（Ｘ’，Ｙ’）のピクセル値を求める（ステップＳ４３）。ここで、もし補間処理を行う場合は、ステップＳ４２で計算された変換座標（Ｘ’，Ｙ’）に対応するピクセル値は映像バッファメモリ３に格納されていない可能性が高い。この場合は、上述した線形補間法などの補間処理を行うことにより、変換座標（Ｘ’，Ｙ’）の周辺のピクセル値に基づいて、変換座標（Ｘ’，Ｙ’）のピクセル値を決定する。
【００４８】
次に、映像バッファメモリ３に格納された後続デジタル画像データのすべての補正を行ったか否かを判定し（ステップＳ４４）、まだ補正していないデータがあれば、ステップＳ４１以降の処理を繰り返す。
【００４９】
次に、図６のステップＳ６の処理について詳述する。ステップＳ６では、先頭デジタル画像データと補正後の後続デジタル画像データとを併せたｎコマの画像データについて、対応画素ごとに、各色別に、例えば平均化処理を行う。
【００５０】
例えば、１コマ目のある画素の値をＲ１，Ｇ１，Ｂ１とし、２コマ目の同じ画素の画素値をＲ２，Ｇ２，Ｂ２とし、ｎコマ目の同じ画素の画素値をＲｎ，Ｇｎ，Ｂｎとすると、合成後の同じ画素のピクセル値Ｒ，Ｇ，Ｂは、以下の（３）〜（５）式で表される。
Ｒ ＝ （Ｒ１ ＋ Ｒ２ ＋ … ＋ Ｒｎ）／ｎ …（３）
Ｇ ＝ （Ｇ１ ＋ Ｇ２ ＋ … ＋ Ｇｎ）／ｎ …（４）
Ｂ ＝ （Ｂ１ ＋ Ｂ２ ＋ … ＋ Ｂｎ）／ｎ …（５）
（Ｒ１，Ｒ２，…，Ｒｎ）、（Ｇ１，Ｇ２，…，Ｇｎ）、（Ｂ１，Ｂ２，…，Ｂｎ）はそれぞれ、上述したある画素のデータであるため、（３）〜（５）式により平均化されてノイズ量が１／ｎになる。
【００５１】
ただし、図６のステップＳ６の合成処理は必ずしも平均化処理である必要はない。例えば、４コマ撮影の場合、最大ピクセル値と最小ピクセル値の２つを除外して、残りの２個の画像データを平均化することも考えられる。
【００５２】
一方、ｎが大きい場合には、ピクセル値を大きい順に並べて、（ｎ／２−１）番目から（ｎ／２＋１）番目までの３画素の平均を取ったり、あるいは、（ｎ／２−２）番目から（ｎ／２＋２）番目までの５画素の平均を取ることで、より高いノイズ除去効果が得られる。
【００５３】
例えば、ｎ＝４の場合、４つのピクセル値Ｒ１，Ｒ２，Ｒ３，Ｒ４の大小関係が、Ｒ２＞Ｒ３＞Ｒ１＞Ｒ４であれば、合成後のピクセル値Ｒは、Ｒ＝（Ｒ３＋Ｒ１）／２となる。
【００５４】
上述したように、合成を行う手法は、必ずしも平均化処理に限らず、ノイズ量を低減できるすべての処理が適用可能である。
【００５５】
このように、本実施形態では、手ぶれ補正モードが設定されると、自動的にシャッタ速度をｎ倍速くして感度もｎ倍高くし、撮影者が一度シャッタボタンを押すと、自動的に連続してｎコマ分の撮影を行い、各コマの撮影画像に対応するデジタル画像データのずれ量を検出し、検出されたずれ量分だけ各デジタル画像データを補正した後に合成して１コマ分のデジタル画像データを生成するため、最終的に生成されたデジタル画像データはノイズ量が１／ｎになり、かつ手ぶれ量も１／ｎに軽減される。
【００５６】
これにより、撮影画像の画質を低下させずに、また、特別な手ぶれ補正機構を設けることなく、手ぶれ量を軽減できる。
【００５７】
上述した実施形態で説明した手ぶれ補正装置は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。ソフトウェアで構成する場合には、手ぶれ補正装置の少なくとも一部の機能を実現するプログラムをフロッピーディスクやＣＤ−ＲＯＭ等の記録媒体に収納し、コンピュータに読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の携帯可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でもよい。
【００５８】
また、手ぶれ補正装置の少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線（無線通信も含む）を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。
【００５９】
【発明の効果】
以上詳細に説明したように、本発明によれば、撮影者がシャッタボタンを押したときに、連続してｎコマの撮影を行い、そのうちの先頭デジタル画像データと後続デジタル画像データとのずれ量に基づいて後続デジタル画像データを補正し、補正された後続デジタル画像データと先頭デジタル画像データとを合成して最終的なデジタル画像データを生成するため、撮影画像の画質を低下させずに、また、特別な手ぶれ補正機構を設けることなく、手ぶれ量を軽減できる。
【図面の簡単な説明】
【図１】本発明に係る手ぶれ補正装置の一実施形態の概略構成を示すブロック図。
【図２】手ぶれを説明する図。
【図３】シャッタ速度を図２の２倍にした場合の手ぶれを説明する図。
【図４】シャッタ速度を図２の４倍にした場合の手ぶれを説明する図。
【図５】本実施形態の処理を模式的に示した図。
【図６】本実施形態の手ぶれ補正装置の処理手順を示すフローチャート。
【図７】図６のステップＳ４の詳細処理を示すフローチャート。
【図８】調査領域を説明する図。
【図９】図６のステップＳ５の詳細な処理手順を示すフローチャート。
【符号の説明】
１ イメージセンサ
２ 映像生成部
３ 映像バッファメモリ
４ ずれ量検出器
５ ＣＰＵ
６ 映像記録メディア
１１ ゲイン調整部
１２ Ａ／Ｄ変換器
１３ ＷＢ調整部
１４ ３版化処理部
【０００１】
【発明の属する技術分野】
本発明は、デジタルカメラ等の撮像装置で撮影を行う際に生じた手ぶれを補正する手ぶれ補正装置及び手ぶれ補正プログラムに関する。
【０００２】
【従来の技術】
最近、デジタルカメラが急速な勢いで普及しており、従来型の銀塩カメラよりも販売台数が上回るようになった。これに比例して、デジタルカメラの性能に対する要求も高くなり、強力なズーム機能と高画素数のＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）を備えたデジタルカメラも数多く販売されている。
【０００３】
ところが、ズームレンズを望遠側に設定して撮影を行うと、手ぶれが起きやすくなる。特に、デジタルカメラは、銀塩カメラよりもボディが軽量なものが多いため、銀塩カメラよりも手ぶれが起きやすい。
【０００４】
この種の手ぶれを防止する手法として、光学的に手ぶれを補正する手法と、デジタル的に手ぶれを補正する手法が従来から提案されている。前者の場合、ジャイロセンサーで手ぶれを検知し、レンズを移動させて手ぶれを補正する（特許文献１参照）。また、後者の場合、ＣＣＤの撮像領域を手ぶれに応じてずらして手ぶれを補正する。
【０００５】
【特許文献１】
特許公報３３４８４６１号
【０００６】
【発明が解決しようとする課題】
光学的に手ぶれを補正するには、ジャイロセンサや手ぶれ補正機構を予めレンズに組み込んでおかなければならず、レンズの小型化が困難になるとともに、コストアップの要因にもなる。
【０００７】
また、デジタルビデオカメラ等で採用されているデジタル的な手ぶれ補正機能は、動画の連続したコマ間のブレによる微小な動きを抑制するものであり、１コマの画像のブレ自体を除去するものではない。
【０００８】
本発明は、このような点に鑑みてなされたものであり、その目的は、特別な手ぶれ補正機構を必要とせず、また画質の低下も起きない手ぶれ補正装置及び手ぶれ補正プログラムを提供することにある。
【０００９】
【課題を解決するための手段】
上述した課題を解決するために、本発明は、撮像装置から出力されたアナログ画像データのゲイン調整を行うゲイン調整手段と、前記ゲイン調整手段でゲイン調整されたアナログ画像データをデジタル画像データに変換するＡ／Ｄ変換手段と、連続して撮影されたｎ（ｎは２以上の整数）コマ分の前記デジタル画像データを順に格納する撮影データ格納手段と、前記撮影データ格納手段に格納されたｎコマ分の前記デジタル画像データのうち、最初に撮影された先頭デジタル画像データと、その後に撮影された（ｎ−１）コマの後続デジタル画像データそれぞれとのずれ量を検出するずれ量検出手段と、前記ずれ量検出手段で検出されたずれ量に基づいて、前記後続デジタル画像データそれぞれを補正するデータ補正手段と、前記先頭デジタル画像データと、前記データ補正手段で補正された前記後続デジタル画像データとを合成して、最終的な１コマ分のデジタル画像データを生成するデータ合成手段と、を備える。
【００１０】
【発明の実施の形態】
以下、本発明に係る手ぶれ補正装置及び手ぶれ補正プログラムについて、図面を参照しながら具体的に説明する。
【００１１】
図１は本発明に係る手ぶれ補正装置の一実施形態の概略構成を示すブロック図であり、デジタルカメラやビデオカメラ等の静止画像を撮影する機器に内蔵されるものである。図１の手ぶれ補正装置は、ＣＣＤ等からなるイメージセンサ１と、イメージセンサ１で撮像されたアナログ画像データをデジタル画像データに変換する映像生成部２と、デジタル画像データを格納する映像バッファメモリ３と、ずれ量検出器４と、ＣＰＵ５とを備えている。図１の手ぶれ補正装置には、手ぶれ補正された最終的なデジタル画像データを格納する映像記録メディア６（例えば、ＣＦカード等の各種メモリカードなど）が着脱可能に接続される。
【００１２】
映像生成部２は、イメージセンサ１で撮像されたアナログ画像データのゲイン調整を行うゲイン調整部１１と、ゲイン調整されたアナログ画像データをデジタル画像データに変換するＡ／Ｄ変換器１２と、Ａ／Ｄ変換器１２で変換されたデジタル画像データのホワイトバランスを調整するＷＢ調整部１３と、デジタル画像データを構成する各色成分データを揃える処理を行う３版化処理部１４とを有する。
【００１３】
ＷＢ調整部１３は、デジタル画像データを構成するＲＧＢの各色成分ごとにデジタル的にゲイン調整を行ってホワイトバランスを調整する。この処理は、異なる色温度の光源のそれぞれについて、白を白として再現できるようにするために行われる。
【００１４】
３版化処理部１４は、ＲＧＢの各色成分データを揃えるために、周辺ピクセルのピクセル値に基づいて補完処理を行う。
【００１５】
映像バッファメモリ３は、連続して撮影されたｎ（ｎは２以上の整数）コマ分のデジタル画像データを順に異なる領域に格納する。ずれ量検出器４は、映像バッファメモリ３に格納されたｎコマ分のデジタル画像データのうち、最初に撮影された先頭デジタル画像データと、その後に撮影された（ｎ−１）コマの後続デジタル画像データそれぞれとのずれ量を検出する。
【００１６】
なお、図１では、映像バッファメモリ３の格納場所をスイッチ１５で選択するようにしているが、映像バッファメモリ３に設けられた不図示のイネーブル端子をＣＰＵ５で制御して影像バッファメモリ３の格納場所を選択してもよい。
【００１７】
ＣＰＵ５は、ずれ量検出器４で検出されたずれ量に基づいて、後続デジタル画像データそれぞれを補正し、補正された後続デジタル画像データと先頭デジタル画像データとを合成して最終的なデジタル画像データを生成する。
【００１８】
図２は手ぶれを説明する図である。手ぶれは、シャッタボタンを押している間にカメラの光軸が移動することにより生じる。例えば、シャッタ速度を１秒として、この１秒の間に、図２（ａ）の光軸ｊ１からｊ２まで光軸が移動したとする。この場合、図２（ｂ）の幅ｗ１だけ撮影画像が流れる。
【００１９】
手ぶれ量を同じにし、シャッタ速度を２倍の０．５秒にして、１秒の間に２コマの撮影を行うと、各撮影時点での光軸のずれは、図３（ａ）に示すように図２（ａ）の半分になり、各撮影画像のぶれ量ｗ２も、図３（ｂ）及び図３（ｃ）に示すように図２（ｂ）の半分になる。
【００２０】
ところが、シャッタ速度が図２よりも２倍速くなった分だけ、イメージセンサ１に入る光量が減り、ノイズ量が２倍に増えてしまう。
【００２１】
同様に、手ぶれ量を同じにして、シャッタ速度を０．２５秒にすると、１秒の間に４コマの撮影が行われ、各撮影時点での光軸のずれは、図４（ａ）に示すように図２（ａ）の１／４になり、各撮影画像のぶれ量ｗ３も、図４（ｂ）〜図４（ｅ）に示すように図２（ｂ）の１／４になる。
【００２２】
この場合、シャッタ速度が図２よりも４倍速くなった分だけ、イメージセンサ１に入る光量が１／４に減少し、ノイズ量が４倍に増えてしまう。
【００２３】
このように、シャッタ速度が速いほど、手ぶれの影響を受けにくくなるが、その分、イメージセンサ１から出力されるアナログ画像データのノイズ量が増えてしまう。
【００２４】
そこで、本実施形態では、手ぶれ補正モードが選択されると、撮影者が１回シャッタボタンを押したときに、撮影者の設定した感度のｎ倍の感度を自動設定した上で、撮影者の設定したシャッタ速度よりも高速のシャッタ速度でｎ（ｎは２以上の整数）コマの撮影を連続して行い、得られたｎコマの撮影画像を合成して１コマの撮影画像を生成する。
【００２５】
図５は本実施形態の処理を模式的に示した図である。図示のように、４コマの撮影画像ｇ１，ｇ２，ｇ３，ｇ４を合成したデジタル画像データｇ５を生成して手ぶれを除去する。
【００２６】
図５に示すように、感度を４倍にして４倍のシャッタ速度で４コマ連続して撮影を行い、各撮影画像を合成すると、各撮影画像の４ピクセルが平均化されて１ピクセルになり、ノイズ量は１／４になる。すなわち、本実施形態によれば、手ぶれ量が１／４で、ノイズ量は４×１／４＝１倍になり、手ぶれ量のみを軽減できる。
【００２７】
以下、本実施形態の処理手順についてより詳細に説明する。
図６は本実施形態の手ぶれ補正装置の処理手順を示すフローチャートである。このフローチャートは、本実施形態の手ぶれ補正装置を内蔵するデジタルカメラ等において、撮影者が手ぶれ補正モードを選択した場合に実行される。
【００２８】
図６の処理は、デジタル画像データを構成するＲＧＢの各色ごとに行う必要はなく、いずれか一色（例えば、緑Ｇのみ）のデータのみについて行えばよい。あるいは、ＲＧＢの各色成分のデータを足し合わせたモノクロデータについて図６の処理を行ってもよい。
【００２９】
まず、撮影者が設定したシャッタ速度（露出時間）と感度を変更する（ステップＳ１）。例えば、手ぶれ補正時にｎコマの撮影画像の合成を行う場合は、シャッタ速度をｎ倍速くし、かつ感度もｎ倍高くする。
【００３０】
この状態で、撮影者がシャッタボタンを押すと、最初の１コマ目の撮影画像に対応するデジタル画像データ（以下、先頭デジタル画像データ）を映像バッファメモリ３に格納する（ステップＳ２）。その後、ｎコマ分のデジタル画像データを映像バッファメモリ３に格納するまで、自動的に連続して撮影を行ってステップＳ２の処理を行う（ステップＳ３）。以下では、２コマ目からｎコマ目までのデジタル画像データを後続デジタル画像データと呼ぶ。
【００３１】
ｎコマ分の撮影が終了すると、次に、先頭デジタル画像データと後続デジタル画像データとのずれ量を検出する（ステップＳ４）。この処理については、後に詳述する。
【００３２】
次に、検出されたずれ量分だけ、後続デジタル画像データを補正する（ステップＳ５）。次に、先頭デジタル画像データと補正後の後続デジタル画像データとを合成して、１コマ分のデジタル画像データを生成する（ステップＳ６）。このステップＳ６で生成されたデジタル画像データは、手ぶれが軽減されたものであり、このデータを最終的なデータとして映像記録メディア６に記録する（ステップＳ７）。
【００３３】
図７は図６のステップＳ４の詳細処理を示すフローチャートである。まず、後続デジタル画像データのピクセル値の累積ずれ量最小値の初期値を無限大に設定する（ステップＳ２１）。
【００３４】
次に、座標変換パラメータｄｘ，ｄｙに所定のパラメータ候補を代入する（ステップＳ２２）。次に、積分カウンタ８の計測値をリセットする（ステップＳ２３）。次に、ずれ量を検出する対象である調査領域内のまだ調査していないピクセル座標を変数座標（Ｘ，Ｙ）に代入する（ステップＳ２４）。
【００３５】
ここで、調査領域は、図８の斜線部２０で示すように、撮像領域内に一つまたは複数設定される。本実施形態は、処理を簡略化するために、調査領域２０内で検出されたずれ量に基づいて、その調査領域２０を一部に含む画像データのずれ量を決定する。なお、画像データのサイズが小さい場合や、高速の演算機能を持つＣＰＵ５で処理を行う場合などは、調査領域２０を設定せずに、撮影領域全体についてずれ量を検出してもよい。
【００３６】
また、後続デジタル画像データのそれぞれごとに個別に調査領域２０を設定してずれ量を決定する。
【００３７】
次に、座標変換パラメータｄｘ，ｄｙを利用して後続デジタル画像データの座標変換を行う（ステップＳ２５）。ここで、変換前の座標を（Ｘ，Ｙ）、変換後の座標を（Ｘ’，Ｙ’）＝ｆ（Ｘ，Ｙ）とする。ｆ（）は、座標変換パラメータを含む変換関数であり、より具体的には、例えば以下の（１）式および（２）式で表される。なお、座標変換パラメータｄｘ，ｄｙは、例えば「１」ずつ可変可能な値とする。
Ｘ’＝Ｘ＋ｄｘ …（１）
Ｙ’＝Ｙ＋ｄｙ …（２）
【００３８】
ステップＳ２５では、上述の（１）式および（２）式に基づいて後続デジタル画像データの座標変換を行う。次に、座標変換後の座標（Ｘ’，Ｙ’）のピクセル値を求める（ステップＳ２６）。
【００３９】
なお、座標変換パラメータｄｘ，ｄｙの値として、整数以外の実数を採用した場合には、ピクセル値を求める際に補間処理を行えばよい。
【００４０】
座標変換後の座標位置でのピクセル値が求まると、次に、先頭デジタル画像データと後続デジタル画像データの両ピクセル値を比較してずれ量を検出する（ステップＳ２７）。次に、ステップＳ２７で検出したずれ量を積分カウンタ８で累積加算する（ステップＳ２８）。
【００４１】
次に、調査領域２０内の全ピクセルについてずれ量検出を行ったか否かを判定し（ステップＳ２９）、まだずれ量検出を行っていないピクセルがあれば、ステップＳ２４以降の処理を繰り返す。
【００４２】
全ピクセルについてのずれ量検出処理が終了すると、次に、積分カウンタ８の計測値が累積ずれ量最小値より小さいか否かを判定する（ステップＳ３０）。小さい場合には、現時点における積分カウンタ８の計測値を累積ずれ量最小値に設定するとともに、現時点における座標変換パラメータｄｘを後続デジタル画像データ用の座標変換パラメータに設定する（ステップＳ３１）。
【００４３】
ステップＳ３０で小さくないと判定された場合、あるいはステップＳ３１の処理が終了した場合には、座標変換パラメータｄｘのすべてのパラメータ候補についてステップＳ２２以降の処理を行ったか否かを判定し（ステップＳ３２）、まだ処理を行っていないｄｘの候補があれば、ｄｘを「１」だけ大きくして（ステップＳ３３）、ステップＳ２３以降の処理を繰り返す。
【００４４】
座標変換パラメータｄｘのすべてのパラメータ候補についての処理が終了すれば、次に、座標変換パラメータｄｙのすべてのパラメータ候補についてステップＳ２３以降の処理を行ったか否かを判定し（ステップＳ３４）、まだ処理を行っていないｄｙの候補があれば、ｄｙを「１」だけ大きくして（ステップＳ３５）、ステップＳ２３以降の処理を繰り返す。
【００４５】
ステップＳ３４の判定がＹＥＳになると、その時点でステップＳ３１に設定されている座標変換パラメータｄｘ，ｄｙを最終的な後続デジタル画像データの座標変換パラメータとし、図６のステップＳ５の処理を行う。
【００４６】
図９は図６のステップＳ５の詳細な処理手順を示すフローチャートである。まず、まだ補正していない後続デジタル画像データのピクセル座標を変数座標（Ｘ，Ｙ）に代入する（ステップＳ４１）。次に、図７のステップＳ３１で求めた座標変換パラメータｄｘ，ｄｙを利用して、変数座標（Ｘ，Ｙ）に対応する変換座標（Ｘ’，Ｙ’）＝ｆ（Ｘ，Ｙ）を計算する（ステップＳ４２）。ここで、ｆ（）は、座標変換パラメータを含む変換関数であり、例えば、上述した（１）式および（２）式で表される。
【００４７】
次に、変換座標（Ｘ’，Ｙ’）のピクセル値を求める（ステップＳ４３）。ここで、もし補間処理を行う場合は、ステップＳ４２で計算された変換座標（Ｘ’，Ｙ’）に対応するピクセル値は映像バッファメモリ３に格納されていない可能性が高い。この場合は、上述した線形補間法などの補間処理を行うことにより、変換座標（Ｘ’，Ｙ’）の周辺のピクセル値に基づいて、変換座標（Ｘ’，Ｙ’）のピクセル値を決定する。
【００４８】
次に、映像バッファメモリ３に格納された後続デジタル画像データのすべての補正を行ったか否かを判定し（ステップＳ４４）、まだ補正していないデータがあれば、ステップＳ４１以降の処理を繰り返す。
【００４９】
次に、図６のステップＳ６の処理について詳述する。ステップＳ６では、先頭デジタル画像データと補正後の後続デジタル画像データとを併せたｎコマの画像データについて、対応画素ごとに、各色別に、例えば平均化処理を行う。
【００５０】
例えば、１コマ目のある画素の値をＲ１，Ｇ１，Ｂ１とし、２コマ目の同じ画素の画素値をＲ２，Ｇ２，Ｂ２とし、ｎコマ目の同じ画素の画素値をＲｎ，Ｇｎ，Ｂｎとすると、合成後の同じ画素のピクセル値Ｒ，Ｇ，Ｂは、以下の（３）〜（５）式で表される。
Ｒ ＝ （Ｒ１ ＋ Ｒ２ ＋ … ＋ Ｒｎ）／ｎ …（３）
Ｇ ＝ （Ｇ１ ＋ Ｇ２ ＋ … ＋ Ｇｎ）／ｎ …（４）
Ｂ ＝ （Ｂ１ ＋ Ｂ２ ＋ … ＋ Ｂｎ）／ｎ …（５）
（Ｒ１，Ｒ２，…，Ｒｎ）、（Ｇ１，Ｇ２，…，Ｇｎ）、（Ｂ１，Ｂ２，…，Ｂｎ）はそれぞれ、上述したある画素のデータであるため、（３）〜（５）式により平均化されてノイズ量が１／ｎになる。
【００５１】
ただし、図６のステップＳ６の合成処理は必ずしも平均化処理である必要はない。例えば、４コマ撮影の場合、最大ピクセル値と最小ピクセル値の２つを除外して、残りの２個の画像データを平均化することも考えられる。
【００５２】
一方、ｎが大きい場合には、ピクセル値を大きい順に並べて、（ｎ／２−１）番目から（ｎ／２＋１）番目までの３画素の平均を取ったり、あるいは、（ｎ／２−２）番目から（ｎ／２＋２）番目までの５画素の平均を取ることで、より高いノイズ除去効果が得られる。
【００５３】
例えば、ｎ＝４の場合、４つのピクセル値Ｒ１，Ｒ２，Ｒ３，Ｒ４の大小関係が、Ｒ２＞Ｒ３＞Ｒ１＞Ｒ４であれば、合成後のピクセル値Ｒは、Ｒ＝（Ｒ３＋Ｒ１）／２となる。
【００５４】
上述したように、合成を行う手法は、必ずしも平均化処理に限らず、ノイズ量を低減できるすべての処理が適用可能である。
【００５５】
このように、本実施形態では、手ぶれ補正モードが設定されると、自動的にシャッタ速度をｎ倍速くして感度もｎ倍高くし、撮影者が一度シャッタボタンを押すと、自動的に連続してｎコマ分の撮影を行い、各コマの撮影画像に対応するデジタル画像データのずれ量を検出し、検出されたずれ量分だけ各デジタル画像データを補正した後に合成して１コマ分のデジタル画像データを生成するため、最終的に生成されたデジタル画像データはノイズ量が１／ｎになり、かつ手ぶれ量も１／ｎに軽減される。
【００５６】
これにより、撮影画像の画質を低下させずに、また、特別な手ぶれ補正機構を設けることなく、手ぶれ量を軽減できる。
【００５７】
上述した実施形態で説明した手ぶれ補正装置は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。ソフトウェアで構成する場合には、手ぶれ補正装置の少なくとも一部の機能を実現するプログラムをフロッピーディスクやＣＤ−ＲＯＭ等の記録媒体に収納し、コンピュータに読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の携帯可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でもよい。
【００５８】
また、手ぶれ補正装置の少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線（無線通信も含む）を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。
【００５９】
【発明の効果】
以上詳細に説明したように、本発明によれば、撮影者がシャッタボタンを押したときに、連続してｎコマの撮影を行い、そのうちの先頭デジタル画像データと後続デジタル画像データとのずれ量に基づいて後続デジタル画像データを補正し、補正された後続デジタル画像データと先頭デジタル画像データとを合成して最終的なデジタル画像データを生成するため、撮影画像の画質を低下させずに、また、特別な手ぶれ補正機構を設けることなく、手ぶれ量を軽減できる。
【図面の簡単な説明】
【図１】本発明に係る手ぶれ補正装置の一実施形態の概略構成を示すブロック図。
【図２】手ぶれを説明する図。
【図３】シャッタ速度を図２の２倍にした場合の手ぶれを説明する図。
【図４】シャッタ速度を図２の４倍にした場合の手ぶれを説明する図。
【図５】本実施形態の処理を模式的に示した図。
【図６】本実施形態の手ぶれ補正装置の処理手順を示すフローチャート。
【図７】図６のステップＳ４の詳細処理を示すフローチャート。
【図８】調査領域を説明する図。
【図９】図６のステップＳ５の詳細な処理手順を示すフローチャート。
【符号の説明】
１ イメージセンサ
２ 映像生成部
３ 映像バッファメモリ
４ ずれ量検出器
５ ＣＰＵ
６ 映像記録メディア
１１ ゲイン調整部
１２ Ａ／Ｄ変換器
１３ ＷＢ調整部
１４ ３版化処理部
【特許請求の範囲】
【請求項１】
撮像装置から出力されたアナログ画像データのゲイン調整を行うゲイン調整手段と、
前記ゲイン調整手段でゲイン調整されたアナログ画像データをデジタル画像データに変換するＡ／Ｄ変換手段と、
連続して撮影されたｎ（ｎは２以上の整数）コマ分の前記デジタル画像データを順に格納する撮影データ格納手段と、
前記撮影データ格納手段に格納されたｎコマ分の前記デジタル画像データのうち、最初に撮影された先頭デジタル画像データと、その後に撮影された（ｎ−１）コマの後続デジタル画像データそれぞれとのずれ量を検出するずれ量検出手段と、
前記ずれ量検出手段で検出されたずれ量に基づいて、前記後続デジタル画像データそれぞれを補正するデータ補正手段と、
前記先頭デジタル画像データと、前記データ補正手段で補正された前記後続デジタル画像データとを合成して、最終的な１コマ分のデジタル画像データを生成するデータ合成手段と、を備える手ぶれ補正装置。
【請求項２】
前記ずれ量検出手段、前記データ補正手段及び前記データ合成手段は、撮影者がシャッタボタンを押すたびに前記ｎコマの撮影を連続して行う手ぶれ補正モードに設定された場合のみ、各処理を行うことを特徴とする請求項１に記載の手ぶれ補正装置。
【請求項３】
前記ずれ量検出手段、前記データ補正手段及び前記データ合成手段は、前記デジタル画像データを構成する特定の色成分データ、あるいは前記デジタル画像データを足し合わせたモノクロデータに対して、各処理を行うことを特徴とする請求項または２に記載の手ぶれ補正装置。
【請求項４】
前記ゲイン調整手段は、撮影者が設定した撮影感度の前記ｎ倍の感度が得られるようにゲイン調整を行うことを特徴とする請求項１〜３のいずれかに記載の手ぶれ補正装置。
【請求項５】
前記データ補正手段は、前記先頭デジタル画像データのピクセル値と前記後続デジタル画像データそれぞれのピクセル値とのずれ量が最小になるように、前記後続デジタル画像データそれぞれのピクセル座標の座標変換を行うことを特徴とする請求項１〜４のいずれかに記載の手ぶれ補正装置。
【請求項６】
前記データ補正手段は、前記撮像装置の撮影領域に含まれる一部の領域を対象として、前記ずれ量が最小になるように座標変換を行うことを特徴とする請求項５に記載の手ぶれ補正装置。
【請求項７】
前記データ補正手段は、
値を可変可能な座標変換パラメータに基づいて、前記後続デジタル画像データそれぞれのピクセル座標の座標変換を行う新規座標計算手段と、
前記後続デジタル画像データそれぞれごとに、前記新規座標計算手段で計算されたピクセル座標のピクセル値を計算するピクセル値計算手段と、
基準座標のそれぞれについて、前記先頭デジタル画像データのピクセル値と前記後続デジタル画像データそれぞれの前記ピクセル値計算手段で計算されたピクセル値とのずれ量を計算するずれ量計算手段と、
基準座標のそれぞれについて前記ずれ量計算手段で計算されたずれ量を、前記後続デジタル画像データそれぞれごとに累積加算する累積加算手段と、
前記累積加算手段で累積加算された累積加算値が最小になるように、前記後続デジタル画像データそれぞれごとに前記座標変換パラメータを変更するパラメータ変更手段と、を有することを特徴とする請求項５または６に記載の手ぶれ補正装置。
【請求項８】
前記データ合成手段は、前記先頭デジタル画像データと、前記データ補正手段で補正された前記後続デジタル画像データとの少なくとも一部のデータの平均化処理を行って前記最終的なデジタル画像データを生成することを特徴とする請求項１〜４のいずれかに記載の手ぶれ補正装置。
【請求項９】
撮像装置から出力されたアナログ画像データのゲイン調整を行うステップと、
ゲイン調整されたアナログ画像データをデジタル画像データに変換するステップと、
連続して撮影されたｎ（ｎは２以上の整数）コマ分の前記デジタル画像データを順に格納するステップと、
格納されたｎコマ分の前記デジタル画像データのうち、最初に撮影された先頭デジタル画像データと、その後に撮影された（ｎ−１）コマの後続デジタル画像データそれぞれとのずれ量を検出するステップと、
前記検出されたずれ量に基づいて、前記後続デジタル画像データそれぞれを補正するステップと、
前記先頭デジタル画像データと、前記データ補正手段で補正された前記後続デジタル画像データとを合成して、最終的な１コマ分のデジタル画像データを生成するステップと、を実行させるための手ぶれ補正プログラム。
【請求項１】
撮像装置から出力されたアナログ画像データのゲイン調整を行うゲイン調整手段と、
前記ゲイン調整手段でゲイン調整されたアナログ画像データをデジタル画像データに変換するＡ／Ｄ変換手段と、
連続して撮影されたｎ（ｎは２以上の整数）コマ分の前記デジタル画像データを順に格納する撮影データ格納手段と、
前記撮影データ格納手段に格納されたｎコマ分の前記デジタル画像データのうち、最初に撮影された先頭デジタル画像データと、その後に撮影された（ｎ−１）コマの後続デジタル画像データそれぞれとのずれ量を検出するずれ量検出手段と、
前記ずれ量検出手段で検出されたずれ量に基づいて、前記後続デジタル画像データそれぞれを補正するデータ補正手段と、
前記先頭デジタル画像データと、前記データ補正手段で補正された前記後続デジタル画像データとを合成して、最終的な１コマ分のデジタル画像データを生成するデータ合成手段と、を備える手ぶれ補正装置。
【請求項２】
前記ずれ量検出手段、前記データ補正手段及び前記データ合成手段は、撮影者がシャッタボタンを押すたびに前記ｎコマの撮影を連続して行う手ぶれ補正モードに設定された場合のみ、各処理を行うことを特徴とする請求項１に記載の手ぶれ補正装置。
【請求項３】
前記ずれ量検出手段、前記データ補正手段及び前記データ合成手段は、前記デジタル画像データを構成する特定の色成分データ、あるいは前記デジタル画像データを足し合わせたモノクロデータに対して、各処理を行うことを特徴とする請求項または２に記載の手ぶれ補正装置。
【請求項４】
前記ゲイン調整手段は、撮影者が設定した撮影感度の前記ｎ倍の感度が得られるようにゲイン調整を行うことを特徴とする請求項１〜３のいずれかに記載の手ぶれ補正装置。
【請求項５】
前記データ補正手段は、前記先頭デジタル画像データのピクセル値と前記後続デジタル画像データそれぞれのピクセル値とのずれ量が最小になるように、前記後続デジタル画像データそれぞれのピクセル座標の座標変換を行うことを特徴とする請求項１〜４のいずれかに記載の手ぶれ補正装置。
【請求項６】
前記データ補正手段は、前記撮像装置の撮影領域に含まれる一部の領域を対象として、前記ずれ量が最小になるように座標変換を行うことを特徴とする請求項５に記載の手ぶれ補正装置。
【請求項７】
前記データ補正手段は、
値を可変可能な座標変換パラメータに基づいて、前記後続デジタル画像データそれぞれのピクセル座標の座標変換を行う新規座標計算手段と、
前記後続デジタル画像データそれぞれごとに、前記新規座標計算手段で計算されたピクセル座標のピクセル値を計算するピクセル値計算手段と、
基準座標のそれぞれについて、前記先頭デジタル画像データのピクセル値と前記後続デジタル画像データそれぞれの前記ピクセル値計算手段で計算されたピクセル値とのずれ量を計算するずれ量計算手段と、
基準座標のそれぞれについて前記ずれ量計算手段で計算されたずれ量を、前記後続デジタル画像データそれぞれごとに累積加算する累積加算手段と、
前記累積加算手段で累積加算された累積加算値が最小になるように、前記後続デジタル画像データそれぞれごとに前記座標変換パラメータを変更するパラメータ変更手段と、を有することを特徴とする請求項５または６に記載の手ぶれ補正装置。
【請求項８】
前記データ合成手段は、前記先頭デジタル画像データと、前記データ補正手段で補正された前記後続デジタル画像データとの少なくとも一部のデータの平均化処理を行って前記最終的なデジタル画像データを生成することを特徴とする請求項１〜４のいずれかに記載の手ぶれ補正装置。
【請求項９】
撮像装置から出力されたアナログ画像データのゲイン調整を行うステップと、
ゲイン調整されたアナログ画像データをデジタル画像データに変換するステップと、
連続して撮影されたｎ（ｎは２以上の整数）コマ分の前記デジタル画像データを順に格納するステップと、
格納されたｎコマ分の前記デジタル画像データのうち、最初に撮影された先頭デジタル画像データと、その後に撮影された（ｎ−１）コマの後続デジタル画像データそれぞれとのずれ量を検出するステップと、
前記検出されたずれ量に基づいて、前記後続デジタル画像データそれぞれを補正するステップと、
前記先頭デジタル画像データと、前記データ補正手段で補正された前記後続デジタル画像データとを合成して、最終的な１コマ分のデジタル画像データを生成するステップと、を実行させるための手ぶれ補正プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２００４−２６６６４８（Ｐ２００４−２６６６４８Ａ）
【公開日】平成１６年９月２４日（２００４．９．２４）
【国際特許分類】
【出願番号】特願２００３−５６０７８（Ｐ２００３−５６０７８）
【出願日】平成１５年３月３日（２００３．３．３）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
フロッピー
【出願人】（５９６０４６１１８）株式会社市川ソフトラボラトリー (19)
【Ｆターム（参考）】
【公開日】平成１６年９月２４日（２００４．９．２４）
【国際特許分類】
【出願日】平成１５年３月３日（２００３．３．３）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
フロッピー
【出願人】（５９６０４６１１８）株式会社市川ソフトラボラトリー (19)
【Ｆターム（参考）】
[ Back to top ]