説明

ブレ補正装置、カメラおよび交換レンズ

【課題】ブレ補正部材を備える場合において、画像劣化の影響を抑制したタイミングで露光を開始する。
【解決手段】結像光学系を介して撮像素子に結像する被写体像の像ブレを補正するブレ補正装置は、カメラのブレを検出するブレ検出部14と、検出されたブレに基づいて、光軸に直交する方向の結像光学系2と撮像素子6との相対位置を変更して撮像素子6上での像ブレを補正するブレ補正部材151と、ブレ補正部材151の位置を予測する位置予測手段712と、予測された位置に基づいてブレ補正部材151の駆動目標位置を予測する目標位置予測手段713と、位置予測手段712が予測したブレ補正部材151の位置と目標位置予測手段713が予測した駆動目標位置との誤差を算出する誤差算出手段716と、誤差算出手段716により算出された誤差に基づいて、露光開始のタイミングを決定するタイミング決定手段717とを備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮影時のカメラのブレによる像ブレを補正するブレ補正装置と、ブレ補正装置を備える交換レンズおよびカメラに関する。
【背景技術】
【0002】
従来から、カメラに生じるブレの波形を予測し、予測したブレ波形の変化率が極小となるタイミングで露光を開始して像ブレを低減するカメラが知られている(たとえば、特許文献1)。
【特許文献1】特開2004−186901号公報
【発明の開示】
【発明が解決しようとする課題】
【0003】
しかしながら、ブレ補正装置を備える場合においては、光学的な像ブレ補正機構を用いることなく、撮像された画像の像ブレをデジタル的に予測して補正するだけでは、像ブレを低減しきれないという問題がある。
【課題を解決するための手段】
【0004】
請求項1に記載の発明は、結像光学系を介して撮像素子に結像する被写体像の像ブレを補正するブレ補正装置であって、カメラのブレを検出するブレ検出部と、検出されたブレに基づいて、光軸に直交する方向の結像光学系と撮像素子との相対位置を変更して撮像素子上での像ブレを補正するブレ補正部材と、ブレ補正部材の位置を予測する位置予測手段と、位置予測手段により予測された位置に基づいてブレ補正部材の駆動目標位置を予測する目標位置予測手段と、位置予測手段が予測したブレ補正部材の位置と目標位置予測手段が予測した駆動目標位置との誤差を算出する誤差算出手段と、誤差算出手段により算出された誤差に基づいて、露光開始のタイミングを決定するタイミング決定手段とを備えることを特徴とする。
請求項2に記載の発明は、請求項1に記載のブレ補正装置において、誤差算出手段により算出された誤差に基づいて画像劣化度の変化を予測する画像劣化度予測手段をさらに備え、タイミング決定手段は、画像劣化度予測手段により予測された画像劣化度が最小となる時刻を露光開始のタイミングとして決定することを特徴とする。
請求項3に記載の発明は、請求項1または2に記載のブレ補正装置において、複数の撮影モードの中からいずれかを選択するモード選択手段と、選択された撮影モードに応じて、タイミング決定手段の動作の要否を切替える制御手段とを更に備えることを特徴とする。
請求項4に記載の発明による交換レンズは、請求項1乃至3のいずれか一項に記載のブレ補正装置を備えることを特徴とする。
請求項5に記載の発明によるカメラは、請求項1乃至3のいずれか一項に記載のブレ補正装置を備えることを特徴とする。
【発明の効果】
【0005】
本発明によれば、予測されたブレ補正部材の位置と予測された駆動目標位置との誤差に基づいて、露光開始のタイミングを決定することができる。
【発明を実施するための最良の形態】
【0006】
図面を用いて、本発明の実施の形態によるカメラについて説明する。
図1(a)に示すように、カメラ1には撮影レンズ2、レリーズボタン3、電源ボタン4、撮影モードとして静止画撮影モードもしくは動画撮影モードの設定操作を行なうモードダイヤル5が設けられている。撮影レンズ2には、焦点調節レンズ2a、その他の結像レンズ2b、および後述するブレ補正装置15(図2)が内蔵されている。また、図1(b)に示すように、カメラ1の背面には液晶モニタ17、および操作ボタン18が設けられている。
【0007】
図2は実施の形態のカメラの回路構成を示すブロック図である。カメラ1は、半押しスイッチ3a、全押しスイッチ3b、電源スイッチ4a、撮像素子6、制御回路7、SDRAM8、フラッシュメモリ9、シャッタ10、メモリカードインタフェース11、ブレ検出センサ14、ブレ補正装置15、液晶モニタ17および操作スイッチ18aを備える。
【0008】
撮像素子6は、複数の光電変換素子を備えたCCDやCMOSイメージセンサによって構成される。撮像素子6は、撮像面上に結像されている被写体像を撮像し、被写体像に応じた光電変換信号(画像信号)を制御回路7へ出力する。
【0009】
制御回路7は、制御プログラムに基づいて、カメラ1を構成する各部から入力される信号を用いて所定の演算を行ない、カメラ1の各部に対する制御信号を送出して、撮影動作を制御する。制御プログラムは、制御回路7内の不図示の不揮発性メモリに格納されている。制御回路7は、撮像素子6から入力した画像信号をデジタル画像信号に変換し、そのデジタル画像信号に対して種々の画像処理を施して画像データを生成する。そして、制御回路7は生成された画像データに対してJPEGなどの所定の方式により圧縮処理を行い、EXIFなどの形式でメモリカード12へ記録する。また、制御回路7は、撮像素子6から得られた測光値に基づいて被写体輝度を測定し、絞り値や露光時間等を決定する。さらに、制御回路7はブレ補正制御部71を備える。ブレ補正制御部71は、全押しスイッチ3bからオン信号を入力すると、後述する画像劣化度の算出、評価およびレリーズタイミングの決定を行い、シャッタ10へ駆動信号を出力する。
【0010】
SDRAM8は、画像処理、画像圧縮処理および表示用画像データ作成処理の途中や処理後のデータを一時的に格納するために使用される。表示用画像データは、撮像素子6からの出力に基づいて、制御回路7が生成した画像データ、もしくはメモリカード12に記録されている画像データに基づいて、制御回路7により生成される。生成された表示用画像データは、制御回路7によりSDRAM8に格納される。フラッシュメモリ9は、たとえば制御回路7が演算を行なうための各種の処理プログラムが記憶された不揮発性メモリである。
【0011】
制御回路7は、LCD駆動回路171を介して液晶モニタ17を駆動し、液晶モニタ17に画像を表示する。また、液晶モニタ17には、カメラ1の各種設定メニュー画面などが表示される。モードダイヤル5は、各種の撮影モードの中からユーザが所望する撮影モードを選択する際に操作される操作部である。撮影モードとしては、たとえば、マクロモード、夜景モード、スポーツモード、ポートレートモード等が選択可能に設けられている。
【0012】
メモリカードインタフェース11は、メモリカード12が着脱可能なインタフェースである。メモリカードインタフェース11は、制御回路7の制御に基づいて、画像データをメモリカード12に書き込んだり、メモリカード12に記録されている画像データを読み出すインタフェース回路である。メモリカード12はコンパクトフラッシュ(登録商標)やSDカードなどの半導体メモリカードである。
【0013】
ブレ検出センサ14は、たとえばジャイロセンサなどで構成され、撮影時にカメラ1の本体のX方向およびY方向に発生するブレをピッチングとヨーイングに分解して検出する。ブレ検出センサ14で検出されたピッチングとヨーイングを表すブレ量信号は制御回路7のブレ補正制御部71に出力される。
【0014】
ブレ補正装置15は、シフトレンズ151、アクチュエータ153および位置検出センサ154を備える。シフトレンズ151は、アクチュエータ153により撮像素子6の撮像面と平行な面内、すなわち光軸に直交する平面内で、図示しない駆動制限部材の内壁面で規定される範囲内で移動可能となるように設けられる。
【0015】
アクチュエータ153は、たとえば、コイル、磁石、およびヨークを有するボイスコイルモータである。アクチュエータ153は、制御回路7により供給される電力に応じて駆動力を発生し、撮像素子6の撮像面と平行な方向にシフトレンズ151を移動させる。その結果、シフトレンズ151および撮像素子6における被写体光の光軸と直交する方向の相対位置が変化して、撮影レンズ2を通過した被写体光がブレを打ち消す方向に屈折される。
【0016】
位置検出センサ154は、たとえば、磁石および磁気検出素子を有する磁気センサであり、シフトレンズ151の位置に応じた電圧をブレ補正制御部71へ出力する。ブレ補正制御部71は、後述するように、位置検出センサ154から入力した電圧の値に基づいて、シフトレンズ151の位置を検出する。
【0017】
次に、ブレ補正制御部71によるカメラ1に生じるブレの予測、ブレの影響による画像劣化度、すなわち像ブレの度合いの評価、および画像劣化度が小さいタイミングでの露光開始の指示について説明する。なお、以下で説明するブレ補正制御部71の動作は、上述した撮影モードとして、たとえばマクロモードや夜景モードなどが選択された場合に行われる。このような撮影モードにおいては、一般的に、レリーズタイムラグが長くても許容されるが、像ブレの影響が顕著となりやすい傾向がある。なお、たとえばスポーツモードやポートレートモードなどのレリーズタイムラグが許容されにくい撮影モードが選択されている場合は、ブレ補正制御部71の動作は禁止される。
【0018】
図3のブロック図に示すように、ブレ補正制御部71は、レンズ位置検出部711、レンズ位置予測部712、レンズ目標位置算出部713、ブレ予測部714、ブレ評価部715、制御演算部716およびタイミング決定部717を備える。レンズ位置検出部711は、位置検出センサ154から入力した電圧値に基づいて、時刻kにおけるシフトレンズ151の位置y(k)を算出する。レンズ目標位置算出部713は、ブレ検出センサ14から入力したブレ量w(k)と、レンズ位置検出部711で算出された位置y(k)とを用いて、式(1)によりシフトレンズ151の目標位置r(k)を算出する。また、シフトレンズ151が算出された目標位置r(k)の値に追従制御されるように、制御演算部716、アクチュエータ153およびレンズ位置検出部711は、フィードバック制御ループを形成している。
r(k)=F(w(k)、y(k)) ・・・(1)
なお、Fはシフトレンズ151の目標位置を決定するための関数である。
【0019】
制御演算部716は、レンズ位置検出部711で算出されたシフトレンズ151の位置y(k)と、レンズ目標位置算出部713で算出されたシフトレンズ151の目標位置r(k)とを用いて、以下の式(2)により制御誤差e(k)を算出する。
e(k)=r(k)−y(k) ・・・(2)
【0020】
そして、制御演算部716は、制御誤差e(k)が最小となるように制御入力m(k)を算出し、アクチュエータ153へ出力する。ブレ補正制御部71が、たとえばPID制御を用いる場合、制御演算部716は、制御入力m(k)を、以下の式(3)を用いて算出する。
m(k)=m(k-1)+kp(e(k)−e(k-1))+kie(k)+kd(e(k)−2e(k-1)−e(k-1)) ・・・(3)
なお、kp、kiおよびkdは定数である。
【0021】
ブレ予測部714は、時刻kにおいて既知となった過去のブレ量を用いて、時刻(k+1)におけるカメラ1のブレ量を予測する。すなわち、ブレ予測部714は、時刻(k−1)および時刻kにおけるブレ量w(k-1)およびw(k)と、N個の線形予測係数(c,・・・cNc−1)とを用いて、以下の式(4)によりブレ予測量wpre(k+1)を算出する。
【数1】



【0022】
レンズ位置予測部712は、時刻kにおいて既知となった過去の制御入力とシフトレンズ151のレンズ位置とを用いて、時刻(k+1)におけるシフトレンズ151のレンズ位置を予測する。すなわち、レンズ位置測部712は、時刻(k−1)および時刻kにおけるレンズ位置y(k-1)およびy(k)と、時刻(k−1)および時刻kにおける制御入力m(k-1)およびm(k)とを用いて、以下の式(5)によりレンズ予測位置ypre(k+1)を算出する。
【数2】




【0023】
上述のようにして算出されたブレ予測量wpre(k+1)およびレンズ予測位置ypre(k+1)は、レンズ目標位置算出部713に入力され、式(6)により時刻(k+1)におけるシフトレンズ151の目標予測位置rpre(k+1)が算出される。
pre(k+1)=F(wpre(k+1)、ypre(k+1)) ・・・(6)
なお、Fはシフトレンズ151の目標位置を決定するための関数である。
【0024】
制御演算部716は、この目標予測位置rpre(k+1)とレンズ予測位置ypre(k+1)とを用いて、以下の式(7)により制御予測誤差epre(k+1)を算出する。
pre(k+1)=rpre(k+1)−ypre(k+1) ・・・(7)
【0025】
そして、制御演算部716は、制御予測誤差epre(k+1)が最小となるように、以下の式(8)を用いて予測制御入力mpre(k+1)を算出し、アクチュエータ153へ出力する。
mpre(k+1)=m(k)+kp(epre(k+1)−e(k))+kiepre(k+1)+kd(epre(k+1)−2e(k)−e(k-1)) ・・・(8)
【0026】
上記の式(1)〜(3)、および式(6)〜(8)をそれぞれ比較すると、目標予測位置rpre(k+1)、制御予測誤差epre(k+1)および予測制御入力mpre(k+1)は、式(1)〜(3)に予測値を入力することより算出される。したがって、ブレ補正制御部71は、式(4)〜(8)に予測値を入力することで、以下に示すように、演繹的に時刻(k+2)以降における時刻nにおけるブレ予測量wpre(n)、レンズ予測位置ypre(n)、目標予測位置rpre(n)、制御予測誤差epre(n)および予測制御入力mpre(n)を算出できる。
【数3】




【0027】
ブレ評価部715は、露光中にカメラ1に発生するブレの影響により、撮影画像に生じる画像劣化度L(k)、すなわち上記の制御誤差に起因する像ブレの度合いを予測して、評価値を演算する。露光時間をTとすると、画像劣化度L(k)は、以下の式(9)により算出される。
【数4】



なお、α(k)は単調増加関数である。そのため、式(9)で表される画像劣化度L(k)は、露光開始、すなわちレリーズ後から時間が経過すればするほど、その値が大きくなる。したがって、画像劣化度が大きく見積もられることになる。
【0028】
タイミング決定部717は、ブレ評価部715で算出された画像劣化度L(k)が閾値Lth以下であり、かつ極小となるタイミングを検出して、そのタイミングをレリーズタイミングtとして決定する。
【0029】
図4に、レリーズ後の各予測値の変化と、それに伴って変化する画像劣化度L(k)とを示す。レリーズ後における目標予測位置rpre(k)が図4(a)のように変化し、レンズ予測位置ypre(k)が図4(b)のように変化する場合、制御予測誤差epre(k)の自乗であるepre2(k)は、図4(c)のように変化する。図4(d)は、上記の式(9)により算出された画像劣化度L(k)の変化を示す。なお、式(9)で表されるように、時刻(k+1)における画像劣化度L(k+1)は、図4(c)における時刻(k+1)から露光時間Tの間のepre2(k+1)の変化に基づいて決まる値である。
【0030】
タイミング決定部717は、画像劣化度L(k)の値が閾値Lth以下で極小値(L(k+t))となる時刻(k+t)をレリーズタイミングとして決定する。なお、時刻(k+m)においても画像劣化度L(k+m)が極小値をとるが、タイミング決定部717は、レリーズされた時刻(k=0)により近い時刻をレリーズタイミングとして決定するものとする。
【0031】
次に、図5のタイミングチャートを参照して、カメラ1のブレ補正動作について説明する。図5(a)は、制御回路7が各部の動作の同期をとるための周期(タイミング)を示す。図5(b)に示すように、時刻k1において全押しスイッチ3bがオン信号を出力すると、制御回路7は、図5(c)に示すように時刻k2で露光時間Tを算出する。さらに、時刻k2で、ブレ補正制御部71は、ブレ検出センサ14から入力したブレ量信号に基づいて、上述した各予測値を算出する。このとき算出される予測値は、所定時間分として、たとえば1秒間分の値である。各予測値が算出されると、ブレ補正制御部71のブレ評価部715は、上述した式(9)により画像劣化度L(k)を算出する。この画像劣化度L(k)を用いてタイミング決定部717は、レリーズタイミングt、すなわち撮像素子6が電荷蓄積を開始するまでのウエイト時間を算出する。
【0032】
新たな周期である時刻k3になると、制御回路7は、撮像素子6に対して電荷掃出を指示する。この掃出指示は、制御回路7が撮像素子6に電荷蓄積の開始を指示するまで、所定の時間間隔で出力される。時刻k3から上記のレリーズタイミングt(ウエイト時間)が経過した時刻k4(=k3+t)において、制御回路7は、撮像素子6に対して電荷蓄積の開始を指示する(図5(d))。その結果、撮像素子6は、シフトレンズ151の制御誤差に起因する画像劣化の影響が最も小さいことが予測されるタイミングで電荷蓄積を開始することになる。
【0033】
撮像素子6が電荷蓄積を開始した時刻k4から、算出された露光時間Tだけ経過した時刻k5(=k4+T)において、制御回路7は、撮像素子6に対する電荷蓄積の指示を終了する。さらに、制御回路7は、図5(e)に示すように、シャッタ10を閉駆動させて、被写体光が撮像素子6へ到達しないようにする。新たな制御周期である時刻k6になると、制御回路7は、撮像素子6に対して、時刻k4〜k5の間で蓄積した電荷の掃き出しを開始させる(図5(f))。
【0034】
以上で説明した実施の形態のカメラ1によれば、以下の作用効果が得られる。
(1)ブレ補正制御部71は、時刻kにおけるシフトレンズ151の目標位置r(k)とレンズ位置y (k)とを用いて、時刻(k+1)における目標予測位置rpre(k+1)とレンズ予測位置ypre (k+1)を算出し、式(7)を用いて制御予測誤差epre(k+1)を算出する。ブレ補正制御部71は、この制御予測誤差epre(k+1)を用いて、式(9)により画像劣化度L(k)を算出し、画像劣化度L(k)が閾値Lth以下であり、かつ極小となるタイミングを検出して、そのタイミングをレリーズタイミングtとして決定するようにした。その結果、予測した制御誤差の影響による画像劣化が小さい時に露光を開始できるので、像ブレの影響を抑制した高画質の画像を取得することができる。
【0035】
(2)式(9)におけるα(k)を単調増加関数とした。その結果、レリーズされてから時間が経過すればするほど画像劣化度L(k)の値を大きくなり閾値Lthを超えやすくなるので、ブレ補正制御部71は、レリーズタイミングtをレリーズ後から短時間で設定し、レリーズタイムラグを短縮できる。さらに、レリーズの時間が経過すればそれだけ各予測値の制度が低下する。したがって、ブレ補正制御部71は、各予測値の値が確からしい時間範囲内においてレリーズタイミングtを決定できるので、画質の劣化を防止できる。
【0036】
(3)選択された撮影モードに応じて、ブレ補正制御部71によるレリーズタイミングの設定の要否を切替えるようにした。たとえばマクロモードや夜景モードなどの、レリーズタイムラグが長くても許容されるが、像ブレの影響が顕著となりやすい撮影モードが選択された場合、ブレ補正制御部71により決定されたレリーズタイミングで露光を開始することにより、像ブレの影響を抑えた画像を取得できる。また、たとえばスポーツモードやポートレートモードなどのようにレリーズタイムラグが許容されにくい撮影モードの場合には、ブレ補正制御部71によるレリーズタイミングの設定をしないので、シャッターチャンスを逃すことがなくなる。
【0037】
以上で説明した実施の形態を、以下のように変形できる。
(1)算出された制御予測誤差epre(k+1)が撮像素子6を構成する各画素の配列ピッチの範囲内の場合は、制御予測誤差epre(k+1)を無視して画像劣化度L(k)の算出を行わないようにしてもよい。この場合、ブレ補正制御部71の演算処理の負担を軽減することができる。なお、予め、誤差の値と画素の配列ピッチの値とが対応付けされているものとする。
【0038】
(2)各予測値の算出において、線形予測モデルを用いるものに代えて、たとえばニューラルネット等の方式を用いてもよい。
(3)ブレ補正装置15を撮影レンズの交換が可能なカメラ本体内部に設けるようにしてもよい。
【0039】
(4)ブレ検出センサ14、ブレ補正装置15およびブレ補正制御部71を有する制御回路を交換レンズの内部に設けてもよい。この場合、ブレ補正制御部71は、レンズマウント等に設けられた接点を介して、カメラ側から全押しスイッチ3bからのオン信号等を入力するとともに、算出されたレリーズタイミングtをカメラ1へ出力すればよい。
(5)シフトレンズ151を駆動させてブレ補正を行うものに代えて、撮像素子6を駆動させることによりブレ補正を行ってもよい。
【0040】
(6)レンズ位置予測部712、ブレ予測部714、ブレ評価部715およびレンズ目標位置算出部713により各予測値を算出するものに代えて、ブレ検出センサ14、位置検出センサ154で検出した値に基づいて、制御演算部716が、各予測値を算出してもよい。この場合、制御演算部716は、たとえば、予めレンズ位置y(k)およびブレ量w(k)と各予測値とが対応付けされたテーブル等を参照するようにすればよい。
【0041】
また、本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。
【図面の簡単な説明】
【0042】
【図1】本発明の実施の形態によるカメラの外観図
【図2】実施の形態のカメラの内部構成を説明するブロック図
【図3】実施の形態のブレ補正制御部の構成を説明するブロック図
【図4】レリーズ後の画像劣化度の推移の一例を説明する図
【図5】実施の形態のカメラの動作を説明するタイミングチャート
【符号の説明】
【0043】
2・・・撮影レンズ 6・・・撮像素子 7・・・制御回路 14・・・ブレ検出部
15・・・ブレ補正装置 71・・・ブレ補正制御部 151・・・シフトレンズ
712・・・レンズ位置予測部 713・・・レンズ目標位置算出部
716・・・制御演算部 717・・・タイミング決定部

【特許請求の範囲】
【請求項1】
結像光学系を介して撮像素子に結像する被写体像の像ブレを補正するブレ補正装置であって、
カメラのブレを検出するブレ検出部と、
前記検出されたブレに基づいて、光軸に直交する方向の結像光学系と撮像素子との相対位置を変更して前記撮像素子上での像ブレを補正するブレ補正部材と、
前記ブレ補正部材の位置を予測する位置予測手段と、
前記位置予測手段により予測された位置に基づいて前記ブレ補正部材の駆動目標位置を予測する目標位置予測手段と、
前記位置予測手段が予測した前記ブレ補正部材の位置と前記目標位置予測手段が予測した駆動目標位置との誤差を算出する誤差算出手段と、
前記誤差算出手段により算出された誤差に基づいて、露光開始のタイミングを決定するタイミング決定手段とを備えることを特徴とするブレ補正装置。
【請求項2】
請求項1に記載のブレ補正装置において、
前記誤差算出手段により算出された誤差に基づいて画像劣化度の変化を予測する画像劣化度予測手段をさらに備え、
前記タイミング決定手段は、前記画像劣化度予測手段により予測された画像劣化度が最小となる時刻を前記露光開始のタイミングとして決定することを特徴とするブレ補正装置。
【請求項3】
請求項1または2に記載のブレ補正装置において、
複数の撮影モードの中からいずれかを選択するモード選択手段と、
前記選択された撮影モードに応じて、前記タイミング決定手段の動作の要否を切替える制御手段とを更に備えることを特徴とするブレ補正装置。
【請求項4】
請求項1乃至3のいずれか一項に記載のブレ補正装置を備えることを特徴とする交換レンズ。
【請求項5】
請求項1乃至3のいずれか一項に記載のブレ補正装置を備えることを特徴とするカメラ。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate


【公開番号】特開2010−26384(P2010−26384A)
【公開日】平成22年2月4日(2010.2.4)
【国際特許分類】
【出願番号】特願2008−189855(P2008−189855)
【出願日】平成20年7月23日(2008.7.23)
【出願人】(000004112)株式会社ニコン (12,601)
【Fターム(参考)】