説明

撮像装置

【課題】移動被写体を適切に検出することができる撮像装置を提供すること。
【解決手段】被写体を撮像して画像信号を生成する撮像部110と、振動を検出して、振動に応じた検出信号を出力する振動検出部211と、光軸と交差する方向に移動可能な振れ補正光学系を有する振れ補正部240と、前記検出信号に基づいて、像振れを補正するように前記振れ補正部を駆動させるための目標駆動量を演算する駆動量演算部217と、前記検出信号に基づいて、像振れ量を演算する像振れ量演算部215と、前記画像信号に基づいて、前記被写体の動きベクトルを演算する動きベクトル演算部122と、前記像振れ量と、前記目標駆動量に対応する像の変位量との差を、残留像振れ量として算出する残留像振れ量算出部140と、前記動きベクトルと、前記残留像振れ量とに基づいて、前記被写体が移動被写体であるか否かを判別する判別部150とを備えることを特徴とする撮像装置。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置に関する。
【背景技術】
【0002】
従来より、角速度センサなどのセンサを用いて手振れを検出し、手振れ補正を行う技術が知られている(たとえば、特許文献1)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2009−171341号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来技術では、振れ補正誤差などの影響により、撮影画面中の移動被写体を適切に検出できない場合があり、そのため、移動被写体に焦点の合った撮影画像を得ることができないという課題があった。
【0005】
本発明が解決しようとする課題は、移動被写体を適切に検出することができる撮像装置を提供することにある。
【課題を解決するための手段】
【0006】
本発明は、以下の解決手段によって上記課題を解決する。なお、以下においては、本発明の実施形態を示す図面に対応する符号を付して説明するが、この符号は本発明の理解を容易にするためだけのものであって発明を限定する趣旨ではない。
【0007】
[1]本発明の第一の観点に係る撮像装置は、被写体を撮像して画像信号を生成する撮像部(110)と、振動を検出して、振動に応じた検出信号を出力する振動検出部(211)と、光軸と交差する方向に移動可能な振れ補正光学系を有する振れ補正部(240)と、前記検出信号に基づいて、像振れを補正するように前記振れ補正部を駆動させるための目標駆動量を演算する駆動量演算部(217)と、前記検出信号に基づいて、像振れ量を演算する像振れ量演算部(215)と、前記画像信号に基づいて、前記被写体の動きベクトルを演算する動きベクトル演算部(122)と、前記像振れ量と、前記目標駆動量に対応する像の変位量との差を、残留像振れ量として算出する残留像振れ量算出部(140)と、前記動きベクトルと、前記残留像振れ量とに基づいて、前記被写体が移動被写体であるか否かを判別する判別部(150)とを備えることを特徴とする。
【0008】
[2]本発明の第二の観点に係る撮像装置は、振動を検出して、振動に応じた検出信号を出力する振動検出部(211)と、光軸と交差する方向に移動可能な撮像素子を有する振れ補正部と、前記撮像素子により、被写体を撮像して画像信号を生成する撮像部(110)と、前記検出信号に基づいて、像振れを補正するように前記振れ補正部を駆動させるための目標駆動量を演算する駆動量演算部と、前記検出信号に基づいて、像振れ量を演算する像振れ量演算部と、前記画像信号に基づいて、前記被写体の動きベクトルを演算する動きベクトル演算部(122)と、前記残留像振れ量と、前記目標駆動量に対応する像の変位量との差を、残留振れ量として算出する残留像振れ量算出部(140)と、前記動きベクトルと、前記残留像振れ量とに基づいて、前記被写体が移動被写体であるか否かを判別する判別部(150)とを備えることを特徴とする。
【0009】
[3]本発明の撮像装置において、前記振れ補正部の実際の駆動量を検出する駆動量検出部(245)をさらに備え、前記残留像振れ量算出部(140)が、前記像振れ量と、前記駆動量検出部で検出された実際の駆動量に対応する像の変位量との差を、前記残留像振れ量として算出するように構成することができる。
【0010】
[4]本発明の撮像装置において、前記判別部(150)が、前記動きベクトルと、前記残留像振れ量との差が所定値以上である場合に、前記被写体が移動被写体であると判別するように構成することができる。
【0011】
[5]本発明の撮像装置において、前記動きベクトル演算部(122)が、撮影画面を複数の領域に分割した分割領域ごとに、前記動きベクトルを演算し、前記判別部(150)が、前記分割領域ごとの動きベクトルと、前記残留像振れ量とに基づいて、前記被写体が移動被写体であるか否かを、前記分割領域ごとに判別するように構成することができる。
【0012】
[6]本発明の撮像装置において、前記判別部(150)が、前記分割領域ごとの動きベクトルと、前記残留像振れ量との差を、前記分割領域ごとに算出し、前記判別部が、前記分割領域ごとに算出した前記差の分布に基づき、前記被写体が移動被写体であるか否かを判別するための閾値を設定し、前記差が前記閾値以上である分割領域を、移動被写体が存在する移動被写体領域であると判別するように構成することができる。
【0013】
[7]本発明の撮像装置において、前記移動被写体領域であると判別された分割領域における、光学系の焦点状態を検出する焦点検出部(123)と、焦点調節光学系を光軸方向に移動させることで、前記光学系の焦点調節を行なう焦点調節部(230)と、前記焦点検出部による焦点検出結果に基づき、前記焦点調節部に前記光学系の焦点調節を行なわせる制御部(232)と、をさらに備えるように構成することができる。
【発明の効果】
【0014】
本発明の撮像装置によれば、移動被写体を適切に検出することができる。
【図面の簡単な説明】
【0015】
【図1】図1は、本実施形態に係るカメラを示すブロック図である。
【図2】図2は、センタリングバイアス処理を行なった際における補正レンズの位置の変化を示す図である。
【図3】図3は、本実施形態における撮影画像の分割領域の一例を示す図である。
【図4】図4は、動きベクトル演算部により演算される分割領域ごとの動きベクトルの一例を示す図である。
【図5】図5は、残留像振れベクトル演算部により演算される残留像振れベクトルの一例を示す図である。
【図6】図6は、残留ベクトル除去後の動きベクトルの一例を示す図である。
【図7】図7は、本実施形態における動体判別処理方法を説明するための図である。
【図8】図8は、本実施形態における動体判別処理が適用される場面例を示す図である。
【図9】図9は、他の実施形態における動体判別処理方法を説明するための図である。
【発明を実施するための形態】
【0016】
以下、本発明の実施形態を図面に基づいて説明する。
【0017】
図1は、本発明の実施形態に係るデジタルカメラ1を示す要部構成図である。本実施形態のデジタルカメラ1(以下、単にカメラ1という。)は、カメラ本体100とレンズ鏡筒200から構成され、これらカメラ本体100とレンズ鏡筒200はマウント部により着脱可能に結合されている。また、カメラ本体100とレンズ鏡筒200とは、マウント部において、接点部401,402を介して互いに電気的に接続されている。なお、図1中においては、画像信号(画像信号に対して各種処理を行なうことにより得られた信号を含む)の流れを白抜きの太矢印で示し、それ以外の信号の流れを細矢印で示した。
【0018】
レンズ鏡筒200には、レンズ220,230,240,250、および絞り260を含む撮影光学系が内蔵されている。
【0019】
レンズ230は、フォーカスレンズであり、光軸L1方向に移動することで、撮影光学系の焦点距離を調節可能となっている。フォーカスレンズ230は、フォーカスレンズ案内機構231が駆動することにより、レンズ鏡筒200の光軸L1に沿って移動可能に設けられており、フォーカスレンズ位置検出センサ235によりその位置が検出されつつ、フォーカスレンズ案内機構231がアクチュエータ234によって駆動することにより、その位置が調節される。なお、アクチュエータ234としては、たとえば、ボイスコイルモータなどを用いることができる。また、フォーカスレンズ位置検出センサ235により検出されたフォーカスレンズ230の位置は、A/D変換器236により、アナログ信号からデジタル信号に変換されて、減算器293に出力される。
【0020】
また、レンズ240は、像振れ補正レンズであり、補正レンズ駆動機構241が駆動することにより、レンズ鏡筒200の光軸L1と交差する方向に移動可能に設けられており、補正レンズ位置検出センサ245によりその位置が検出されつつ、補正レンズ駆動機構241がアクチュエータ244によって駆動することにより、光軸L1と交差する方向に移動し、カメラ1の振れを補正する。なお、アクチュエータ244としては、たとえば、ボイスコイルモータなどを用いることができる。また、補正レンズ位置検出センサ245により検出された像振れ補正レンズ240の位置は、A/D変換器246により、アナログ信号からデジタル信号に変換されて、減算器292に出力される。
【0021】
レンズ鏡筒200は、カメラ1の振れを検出するために角速度センサ211を備えている。角速度センサ211は、カメラの振れを検出して、カメラの振れに関するブレ出力を増幅器212に出力する。増幅器212は、増幅回路とローパスフィルタで構成されており、角速度センサ211から出力されたブレ出力について、ブレと関係のない高周波数の成分を減衰させる処理を行なうとともに、A/D変換器213に入力するために適した大きさまで増幅させて、A/D変換器213に出力する。そして、増幅器212から出力された検出信号は、A/D変換器213によりアナログ信号からデジタル信号に変換された後、2つに分岐され、一方はローパスフィルタ214を介して減算器291に入力され、他方はそのまま減算器291に入力される。これにより、極低周波数の直流成分(ドリフト成分)が検出信号から取り除かれ、積分可能な角速度信号を得ることができ、得られた角速度信号は、像振れ量算出部215に入力される。そして、像振れ量算出部215は、得られた角速度信号を積分することで、像振れ量を算出し、算出した像振れ量を、目標位置算出部216および減算器294に出力する。
【0022】
目標位置算出部216は、像振れ量算出部215により算出された像振れ量を入力し、撮影光学系の光軸L1の傾きを算出し、この光軸L1の傾きと、撮影光学系の焦点距離および被写体距離とに基づいて、像振れを補正するための像振れ補正レンズ240の目標位置を算出する。算出された像振れ補正レンズ240の目標位置は、センタリングバイアス重畳部217に出力される。
【0023】
センタリングバイアス重畳部217は、目標位置算出部216によって算出された像振れ補正レンズ240の目標位置について、センタリングバイアス処理を行なうことで、像振れ補正レンズ240を実際に移動させるための像振れ補正レンズ240の制御位置を算出する。具体的には、目標位置算出部216によって算出された像振れ補正レンズ240の目標位置に基づいて、像振れ補正レンズ240を、像振れ補正レンズ240の可動範囲の中心に向かってを移動させるための向心力をバイアス量として演算し、算出したバイアス量を算出する。そして、センタリングバイアス重畳部217は、像振れ補正レンズ240の目標位置から、算出したバイアス量を減算することにより像振れ補正レンズ240の制御位置を算出し、算出された像振れ補正レンズ240の制御位置の情報が減算器292に入力される。
【0024】
ここで、像振れ補正レンズ240の可動領域は、ハードリミットとソフトリミットとにより規定される。ハードリミットとは、像振れ補正レンズ240の機械構造面における移動限界であり、ソフトリミットとは、ハードリミットの内側に存在し、像振れ補正レンズ240がハードリミットに到達しないように制御するための制御面における移動限界である。
【0025】
これに対し、本実施形態では、像振れ補正レンズ240が可動範囲の中心から外側に向かうにしたがって、ブレの大きさに対する像振れ補正レンズ240の移動量が小さくなるようにセンタリングバイアス処理を行なう。このようにセンタリングバイアス処理を行うことで、像振れ補正レンズ240がハードリミットに衝突することを有効に防止することができ、さらには、撮影画像の見栄えを向上させることができる。
【0026】
図2は、上述したセンタリングバイアス処理を行なった際における像振れ補正レンズ240の位置の変化を示す図である。本実施形態では、像振れ量算出部215で検出された像振れ量に対応させて像振れ補正レンズ240を移動させるべきところ、センタリングバイアス処理によって像振れ補正レンズ240の移動量を制限することにより、撮像素子110で取得される画像に残留像振れ量としてブレ成分が残存することとなる。たとえば、時間t1において、センタリングバイアスが無い場合の像振れ補正レンズ240の位置と、センタリングバイアスが有る場合の像振れ補正レンズ240の位置には、差が存在しており、この差がセンタリングバイアス処理による残留像振れ量として残存することとなる。本実施形態において、センタリングバイアス処理による残留像振れ量は、可動範囲の中心から外側に向かうにつれて、ブレの大きさに対する像振れ補正レンズ240の移動量が小さくなるようにセンタリングバイアス処理を行っているため、像振れ補正レンズ240の移動量が大きくなるにしたがって、センタリングバイアス処理による残留像振れ量が大きくなることとなる。
【0027】
減算器292は、センタリングバイアス重畳部217により入力された像振れ補正レンズ240の制御位置から、補正レンズ位置検出センサ245で検出され、A/D変換器246を介して入力された像振れ補正レンズ240の検出位置を減算して、像振れ補正レンズ240の位置を変化させるための補正レンズ変位量を算出しこれを制御器242に出力する。
【0028】
制御器242は、減算器292により算出された補正レンズ変位量に基づいて、モータドライバ243を制御し、アクチュエータ244を駆動させることで、補正レンズ駆動機構241を駆動させ、これにより像振れ補正レンズ240を光軸L1と交差する方向に移動させ、像振れ補正レンズ240の移動によりカメラ1の振れを補正する。
【0029】
また、補正レンズ位置検出センサ245で検出された像振れ補正レンズ240の位置は、A/D変換器246によりデジタル信号に変換された後、像変位変換器270に入力される。そして、像変位変換器270は、像振れ補正レンズ240の位置から、像振れ補正レンズ240の移動量を算出し、算出した移動量を像変位量(光軸L1方向と直交する方向における像の移動量)に変換することで、像振れ補正レンズ240の移動による像変位量を算出する。すなわち、像変位変換器270は、像振れ補正レンズ240を移動させることによる実際の像の移動量を、像振れ補正レンズ240の移動による像変位量として算出し、これを減算器294に入力する。
【0030】
減算器294は、像振れ量算出部215より入力された像振れ量から、像変位変換器270より入力された像振れ補正レンズ240の移動による像変位量を減算することで、残留像振れ量を算出する。算出された残留像振れ量は、接点部401を介して、カメラ本体100の残留像振れベクトル演算部140に出力される。
【0031】
一方、カメラ本体100には、上記撮影光学系からの光束L1を受光する撮像素子110が、撮影光学系の予定焦点面に設けられている。撮像素子110はCCDやCMOSなどのデバイスから構成され、入力される被写体の像を光電変換してアナログ画像信号を生成し、生成したアナログ画像信号をAFE回路111に出力する。AFE回路111は、撮像素子110から出力されたアナログ画像信号に対してゲインコントロールやノイズ除去などのアナログ信号処理を施して、処理後のアナログ画像信号をA/D変換器112に出力する。A/D変換器112は、AFE回路111から出力されたアナログ画像信号をデジタル変換して、得られたデジタル画像信号を画像処理・演算部120に出力する。
【0032】
画像処理・演算部120は、A/D変換器112から入力されたデジタル画像信号について、所定の画像処理を行ない、画像処理を行なったデジタル画像信号を、第1のバッファメモリ161、第2のバッファメモリ162に出力することで、第1のバッファメモリ161、第2のバッファメモリ162に一時的に記憶させる。そして、画像生成部170は、第1のバッファメモリ161、第2のバッファメモリ162に一時的に記憶されたデジタル画像信号から画像データを生成し、生成した画像データを画像表示部180に表示させるとともに、画像記憶部190に記憶させる。
【0033】
また、画像処理・演算部120は、画像分割部121、動きベクトル演算部122、およびデフォーカス量演算部123を備える。画像分割部121は、撮像素子110により撮影された撮影画像を、図3に示すように16個の分割領域に分割する処理を行なう。なお、図3には、分割領域を16個とする例を示したが、分割領域の数は特に限定されず任意に設定することができる。また、図3に示す例では、分割領域の大きさを均等な大きさとする例を示したが、画像の高周波領域では分割領域を比較的狭く設定し、低周波領域では分割領域を比較的広く設定するような構成としてもよい。
【0034】
動きベクトル演算部122は、画像分割部121により分割された分割領域ごとに、分割領域内の像の動き(動き方向、動き量)を示す動きベクトル量を演算する。具体的には、動きベクトル量演算部122は、撮像素子110により撮像された連続する2つのフレーム画像データに含まれる輝度情報を分割領域ごとに比較することで、分割領域内の像の動き方向および動き量を検出し、分割領域ごとの動きベクトルを演算する。なお、動きベクトル演算部122により演算される分割領域ごとの動きベクトルの一例を、図4に示す。そして、動きベクトル演算部122は、分割領域ごとの動きベクトルを動体判別部150に送出する。
【0035】
残留像振れベクトル演算部140は、減算器294から接点部401を介して入力された残留像振れ量に基づき、残留像振れベクトルを演算する。すなわち、残留像振れベクトル演算部140は、連続する2つのフレーム画像データの残留像振れ量に基づいて、連続する2つのフレーム画像データ間における残留像振れ量の変化を検出することで、残留像振れベクトルを演算する。なお、残留像振れベクトル演算部140により演算される残留像振れベクトルの一例を、図5に示す。図5においては、残留像振れベクトルを、図3に示す分割領域ごとに示したが、残留像振れベクトルは、残留像振れ量に基づくものであるため、本実施形態では、図5に示すように、撮影画像全体において同一のものとなる。ただし、残留像振れベクトルは、図3に示す分割領域ごとに異なるものであってももちろんよい。そして、残留像振れベクトル演算部140は、算出した残留像振れ量を、動体判別部150に出力する。
【0036】
動体判別部150は、動きベクトル演算部122により演算された動きベクトルと、残留像振れベクトル演算部140により演算された残留像振れベクトルとに基づいて、撮影画像内に存在する移動被写体を検出する。具体的には、分割領域ごとの動きベクトル(図4参照)から、残留像振れベクトル(図5参照)を減算することで、分割領域ごとの動きベクトルに重畳した残留像振れベクトルの影響を除去し、これにより、残留像振れが存在しない場合における動きベクトル(残留像振れベクトル除去後の動きベクトル)を、分割領域ごとに算出する。ここで、図6に、図4に示す動きベクトルから、図5に示す残留像振れベクトルを減算することにより得られる、残留像振れベクトル除去後の動きベクトルを示す。
【0037】
そして、動体判別部150は、分割領域ごとに算出された残留像振れベクトル除去後の動きベクトルのそれぞれについて、動き量の大きさが予め定められた所定値以上であるか否かの判定を行なう。その結果、動き量の大きさが所定値以上である分割領域を移動被写体の存在する領域として判定し、一方、動き量の大きさが所定値未満である分割領域を移動被写体の存在する領域として判定する。すなわち、図6に示す例では、太枠で囲んだ5つの領域を移動被写体の存在する領域として判定する。なお、上記所定値としては、たとえば、各分割領域における動き量が、算出誤差の範囲を超え、移動被写体によるものであると判断できるような値に設定することができる。そして、動体判別部150による分割領域ごとの移動被写体であるか否かの判定結果は、デフォーカス量演算部123に出力される。
【0038】
デフォーカス量演算部123は、動体判別部150による分割領域ごとの移動被写体であるか否かの判定結果に基づき、位相差検出方式による焦点状態の検出を行い、移動被写体の存在する分割領域におけるデフォーカス量を算出する。そして、算出されたデフォーカス量は、接点部402を介して、レンズ鏡筒200のフォーカスレンズ駆動量演算部280に出力される。
【0039】
フレームレート制御器130は、撮像素子110により画像を取得するタイミングを制御しており、所定のフレームレートで画像を取得するタイミングを制御している。また、フレームレート制御器130は、動体判別部150による移動体判別処理のタイミングについても、撮像素子110により画像を取得するタイミングと同じとなるように、動体判別部150をも制御している。
【0040】
レンズ鏡筒200のフォーカスレンズ駆動量演算部280は、デフォーカス量演算部123により演算されたデフォーカス量に基づいて、デフォーカス量に応じたフォーカスレンズ230の目標駆動量を演算する。そして、演算されたフォーカスレンズ230の目標駆動量は減算器293に入力される。
【0041】
減算器293は、フォーカスレンズ駆動量演算部280により入力されたフォーカスレンズ230の目標駆動量から、フォーカスレンズ位置検出センサ235で検出され、A/D変換器236を介して入力されたフォーカスレンズ230の検出位置を減算して、フォーカスレンズ230を駆動するためのレンズ駆動量を演算しこれを制御器232に出力する。
【0042】
制御器232は、減算器293により算出されたレンズ駆動量に基づいて、モータドライバ233を制御し、アクチュエータ234を駆動させることで、フォーカスレンズ案内機構231を駆動させ、これによりフォーカスレンズ230を光軸L1方向に移動させ、フォーカスレンズ230の移動により撮影光学系のピントを調整する。なお、本実施形態においては、移動被写体が存在すると判定された分割領域におけるデフォーカス量に基づいて、フォーカスレンズ230の駆動を行なうことにより、移動被写体にピントの合った撮影画像を得ることが可能となる。
【0043】
次いで、本実施形態における動体判別処理について詳細に説明する。図7は、本実施形態における動体判別処理を説明するための図である。
【0044】
本実施形態においては、図7に示すように、撮像素子110による撮影画像の取得は、所定のフレームレートt_imgで、露光時間t_expにて繰り返し行なわれ、たとえば、図7においては、時間T〜Tの間における露光時間t_exp_1による露光により画像fr_1が、これに続く時間T〜Tの間における露光時間t_exp_2による露光により画像fr_2が、これに続く時間T〜Tの間における露光時間t_exp_3による露光により画像fr_3が、それぞれ得られたことを示している。なお、フレームレートt_imgとしては、特に限定されないが、通常、30〜60fps、すなわち、1/30〜1/160秒程度である。
【0045】
一方で、図7に示すように、像振れ量算出部215による像振れ量の算出、像振れ補正レンズ240の駆動、および減算器294による残留像振れ量の演算などの各処理の演算・制御周期t_optは、通常、0.25〜1ミリ秒(1〜4kHz)程度であり、撮像素子110のフレームレートt_imgよりも短いものと設定される。たとえば、図7に示す例においては、時間T〜Tの間における露光時間t_exp_1中において、減算器294による残留像振れ量により合計8回の残留像振れ量演算が行われ、合計8個の残留像振れ量が演算されたことを示している。すなわち、本実施形態では、フレームレートt_imgと、演算・制御周期t_optとの相違により、1度の露光中に残留像振れ量の演算が複数回行なわれることとなり、図7に示すように、1度の露光中に残留像振れ量の大きさも変動することとなる。
【0046】
これに対し、本実施形態では、たとえば、露光時間t_exp_α(α=1,2,3,・・・・)中に演算された複数の残留像振れ量を、予め定められた値の区間で分類し、その頻度が最も多い値を、代表値e_max_αとして算出し、得られた代表値e_max_αを、露光時間t_exp_αにおける、残留像振れ量として算出する方法を採用することができる。ここで、残留像振れ量は、X成分およびY成分の2つの大きさを有するものであるため、本実施形態では、この代表値e_max_αも、X成分およびY成分に分離してそれぞれ算出する。
【0047】
このようにして、たとえば、時間T〜Tの間における露光時間t_exp_1による露光により得られた画像fr_1における残留像振れ量がe_max_1として算出され、さらにこれに続く時間T〜Tの間における露光時間t_exp_2による露光により得られた画像fr_2における残留像振れ量がe_max_2として算出される。
【0048】
そして、図7に示すように、カメラ本体100の残留像振れベクトル演算部140により、画像fr_2における残留像振れ量がe_max_2から、画像fr_1における残留像振れ量がe_max_1を減算する処理が行なわれ、画像fr_2中における、残留像振れベクトルB_1が算出される(たとえば、図5参照)。なお、残留像振れベクトルB_1を算出する際には、e_max_2およびe_max_1のX成分およびY成分をそれぞれ分離して、X成分およびY成分をそれぞれ減算し、これにより、残留像振れベクトルB_1が算出される。
【0049】
また、これと並行して、図7に示すように、動きベクトル演算部122により、画像fr_2の画像データおよび画像fr_1の画像データに含まれる輝度情報を図3に示す分割領域ごとに比較し、これらを減算することで、分割領域ごとの動きベクトルvij_1が算出される(たとえば、図4参照)。
【0050】
そして、図7に示すように、動体判別部150により、動きベクトル演算部122により算出された分割領域ごとの動きベクトルvij_1から、残留像振れベクトル演算部140により算出された残留像振れベクトルB_1を減算する処理が行なわれ、これにより、残留像振れベクトル除去後の動きベクトルuij_1が、図3に示す分割領域ごとに算出される(たとえば、図6参照)。そして、動体判別部150は、分割領域ごとに算出された残留像振れベクトル除去後の動きベクトルuij_1に基づいて、画像fr_2中における移動被写体が存在する分割領域を判定する。
【0051】
さらに、図7に示すように、画像fr_2に続いて、時間T〜Tの間における露光時間t_exp_3による露光により画像fr_3が得られると、同様に、e_max_3が残留像振れ量として算出される。そして、画像fr_3における残留像振れ量がe_max_3から、画像fr_2における残留像振れ量がe_max_2を減算する処理が行なわれ、画像fr_3中における、残留像振れベクトルB_2が算出される。また、同様に、画像fr_3の画像データおよび画像fr_2の画像データに含まれる輝度情報を分割領域ごとに減算することで、分割領域ごとの動きベクトルvij_2が算出される。そして、分割領域ごとの動きベクトルvij_2から残留像振れベクトルB_2を減算する処理が行なわれ、残留像振れベクトル除去後の動きベクトルuij_2が、図3に示す分割領域ごとに算出され、これに基づき動体判別が行なわれる。
【0052】
本実施形態においては、角速度センサ211により検出されたカメラの振れに基づく像振れ量と、像振れ補正レンズ240の移動による像変位量とに基づいて残留像振れ量を算出し、算出した残留像振れ量に基づいて残留像振れベクトルを演算する。そして、本実施形態においては、撮影画像中における分割領域ごとの動きベクトルから、演算された残留像振れベクトルを減算することにより、撮影画像中における分割領域ごとの動きベクトルに重畳した残留像振れベクトルの影響を除去することで、残留像振れが存在しない場合における動きベクトル、すなわち、残留像振れベクトル除去後の動きベクトルを分割領域ごとに算出し、これを用いて、撮影画像の分割領域ごとに移動被写体が存在する領域であるか否かの判断を行なう。そのため、本実施形態によれば、分割領域ごとに移動被写体が存在する領域であるか否かの判断を行なう際に、残留像振れの影響を有効に取り除くことができ、これにより、適切に移動被写体の存在を検出することできる。加えて、本実施形態によれば、検出した移動被写体の存在する領域におけるデフォーカス量に基づいて、フォーカスレンズ230を駆動することで、移動被写体にピントの合った撮影画像を適切に得ることができる。
【0053】
特に、従来においては、制御誤差による残留像振れや、センタリングバイアス処理などの各種バイアス処理による残留像振れ、さらには、撮影者によるパンニング動作による残留像振れなど、様々な原因に起因する残留像振れにより、移動被写体の存在を適切に検出できない場合があった。これに対し、本実施形態では、残留像振れベクトルを演算し、撮影画像中における分割領域ごとの動きベクトルから、演算された残留像振れベクトルを減算することにより、上述した各原因に起因する残留像振れの影響を適切に除去することができるものである。
【0054】
たとえば、図8(A)に示すように、移動被写体としての自動車を撮影する場面において、撮影画像中における分割領域ごとの動きベクトルを演算する手法では、図8(B)に示すように、制御誤差による残留像振れや、センタリングバイアス処理などの各種バイアス処理による残留像振れ、さらには、撮影者によるパンニング動作による残留像振れなどにより、移動被写体としての自動車を適切に検出できない場合がある。これに対し、本実施形態によれば、撮影画像中における分割領域ごとの動きベクトルから、演算された残留像振れベクトルを減算することにより(たとえば、図8(B)に示す動きベクトルから、図5に示す残留像振れベクトルを減算することにより)、図8(C)に示すように、残留像振れベクトル除去後の動きベクトルを算出することができ、これにより、移動被写体としての自動車を適切に検出することができる。
【0055】
加えて、本実施形態によれば、手振れ補正のための各種センサ・検出部等(たとえば、角速度センサ211、像振れ量算出部215、補正レンズ位置検出センサ245等)の出力を用いて、残留像振れベクトルを演算し、演算した残留像振れベクトルを用いて動体判別を行なうものであるため、既存の手振れ補正機能を有するカメラに比較的容易かつ安価に適用することができるものである。
【0056】
なお、以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
【0057】
たとえば、上述した実施形態においては、図7に示すように、残留像振れ量の頻度から、頻度が最も多い値を、代表値e_max_αとして算出し、これを露光時間t_exp_αにおける、残留像振れ量として採用する例を示したが、たとえば、図9に示すように、露光時間t_exp_αにおける、残留像振れ量の平均値e_mean_αを算出し、これを露光時間t_exp_αにおける、残留像振れ量として採用してもよい。この場合においても、図7に示す例と同様に、時間T〜Tの間における露光時間t_exp_1による露光により得られた画像fr_1における残留像振れ量がe_mean_1として算出され、さらにこれに続く時間T〜Tの間における露光時間t_exp_2による露光により得られた画像fr_2における残留像振れ量がe_mean_2として算出される。そして、これら、e_mean_1、e_mean_2を用いて、残留像振れベクトルB_1の算出が行なわれ同様にして、残留像振れベクトル除去後の動きベクトルuij_1が算出される。
【0058】
また、上述した実施形態では、レンズ鏡筒200に内蔵された像振れ補正レンズ240を移動させて像振れを補正する構成を例示したが、この構成に限定されるものではなく、たとえば、カメラ本体100に内蔵された撮像素子110を移動させて像振れを補正する構成としてもよい。すなわち、角速度センサ211により検出されたカメラの振れに基づいて、撮像素子110を移動させるとともに、位置検出センサにより撮像素子110の位置を検出するような構成としてもよい。この場合においては、角速度センサ211により検出されたカメラの振れに基づく像振れ量と、撮像素子110の移動による像変位量とに基づいて残留像振れ量を算出し、算出した残留像振れ量に基づいて残留像振れベクトルを演算し、このようにして演算した残留像振れベクトルを用いて、撮影画像中における分割領域ごとの動きベクトルから、演算された残留像振れベクトルを減算することにより、残留像振れの影響を適切に除去することができる。
【符号の説明】
【0059】
1…デジタルカメラ
100…カメラ本体
110…撮像素子
120…画像処理・演算部
121…画像分割部
122…動きベクトル演算部
123…デフォーカス演算部
140…残留像振れベクトル演算部
150…動体判別部
200…レンズ鏡筒
211…角速度センサ
215…像振れ量算出部
230…フォーカスレンズ
235…フォーカスレンズ位置検出センサ
240…補正レンズ
245…補正レンズ位置検出センサ

【特許請求の範囲】
【請求項1】
被写体を撮像して画像信号を生成する撮像部と、
振動を検出して、振動に応じた検出信号を出力する振動検出部と、
光軸と交差する方向に移動可能な振れ補正光学系を有する振れ補正部と、
前記検出信号に基づいて、像振れを補正するように前記振れ補正部を駆動させるための目標駆動量を演算する駆動量演算部と、
前記検出信号に基づいて、像振れ量を演算する像振れ量演算部と、
前記画像信号に基づいて、前記被写体の動きベクトルを演算する動きベクトル演算部と、
前記像振れ量と、前記目標駆動量に対応する像の変位量との差を、残留像振れ量として算出する残留像振れ量算出部と、
前記動きベクトルと、前記残留像振れ量とに基づいて、前記被写体が移動被写体であるか否かを判別する判別部とを備える撮像装置。
【請求項2】
振動を検出して、振動に応じた検出信号を出力する振動検出部と、
光軸と交差する方向に移動可能な撮像素子を有する振れ補正部と、
前記撮像素子により、被写体を撮像して画像信号を生成する撮像部と、
前記検出信号に基づいて、像振れを補正するように前記振れ補正部を駆動させるための目標駆動量を演算する駆動量演算部と、
前記検出信号に基づいて、像振れ量を演算する像振れ量演算部と、
前記画像信号に基づいて、前記被写体の動きベクトルを演算する動きベクトル演算部と、
前記像振れ量と、前記目標駆動量に対応する像の変位量との差を、残留像振れ量として算出する残留像振れ量算出部と、
前記動きベクトルと、前記残留像振れ量とに基づいて、前記被写体が移動被写体であるか否かを判別する判別部とを備えることを特徴とする撮像装置。
【請求項3】
請求項1または2に記載の撮像装置において、
前記振れ補正部の実際の駆動量を検出する駆動量検出部をさらに備え、
前記残留像振れ量算出部は、前記像振れ量と、前記駆動量検出部で検出された実際の駆動量に対応する像の変位量との差を、前記残留像振れ量として算出することを特徴とする撮像装置。
【請求項4】
請求項1〜3のいずれかに記載の撮像装置において、
前記判別部は、前記動きベクトルと、前記残留像振れ量との差が所定値以上である場合に、前記被写体が移動被写体であると判別することを特徴とする撮像装置。
【請求項5】
請求項1〜4のいずれかに記載の撮像装置において、
前記動きベクトル演算部は、撮影画面を複数の領域に分割した分割領域ごとに、前記動きベクトルを演算し、
前記判別部は、前記分割領域ごとの動きベクトルと、前記残留像振れ量とに基づいて、前記被写体が移動被写体であるか否かを、前記分割領域ごとに判別することを特徴とする撮像装置。
【請求項6】
請求項5に記載の撮像装置において、
前記判別部は、前記分割領域ごとの動きベクトルと、前記残留像振れ量との差を、前記分割領域ごとに算出し、
前記判別部は、前記分割領域ごとに算出した前記差の分布に基づき、前記被写体が移動被写体であるか否かを判別するための閾値を設定し、前記差が前記閾値以上である分割領域を、移動被写体が存在する移動被写体領域であると判別することを特徴とする撮像装置。
【請求項7】
請求項6に記載の撮像装置において、
前記移動被写体領域であると判別された分割領域における、光学系の焦点状態を検出する焦点検出部と、
焦点調節光学系を光軸方向に移動させることで、前記光学系の焦点調節を行なう焦点調節部と、
前記焦点検出部による焦点検出結果に基づき、前記焦点調節部に前記光学系の焦点調節を行なわせる制御部と、をさらに備えることを特徴とする撮像装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate