撮像装置とその制御方法
【課題】 AF領域内で蓄積タイミングがずれる撮像素子を用いて、フォーカスレンズを連続的に移動させながらオートフォーカス制御を行う場合に、合焦精度を高めること。
【解決手段】 ローリングシャッタ機能を有し、被写体像を画像信号に変換する撮像手段を備え、AF評価値を算出するAF領域内部でのローリングシャッタ機能に伴うAF領域上部ラインと下部ラインにおける光学系の重心位置の差が所定量を越える場合には、本来設定したいAF領域の大きさを重心位置の差が所定量となるAF領域に制限する設定手段とを備える。
【解決手段】 ローリングシャッタ機能を有し、被写体像を画像信号に変換する撮像手段を備え、AF評価値を算出するAF領域内部でのローリングシャッタ機能に伴うAF領域上部ラインと下部ラインにおける光学系の重心位置の差が所定量を越える場合には、本来設定したいAF領域の大きさを重心位置の差が所定量となるAF領域に制限する設定手段とを備える。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、蓄積タイミングがずれる撮影を行う撮像素子を用いて得られた画像信号に基づいて焦点調節する場合に、最適なフォーカス位置を得ることができるようにする焦点調整技術に関するものである。
【背景技術】
【0002】
従来より、例えばCMOS型撮像素子の撮影制御方式として、いわゆるローリングシャッターと呼ばれる電子シャッター制御方式がある。このローリングシャッターによる撮影動作では、まず、2次元に配列された複数画素を行などの部分単位毎に順次走査して各画素から電荷を読み出して各画素をリセットする。そして、リセット直後から所定時間(電荷蓄積時間または露光時間)経過後に複数画素をリセット時と同様に再度走査して、各画素の電荷を読み出し、読み出した電荷(画像信号)を出力する。動画撮影時には、上記動作を1フレーム周期で行う。
【0003】
上述のようなローリングシャッターにより撮影を行う場合、先頭の画素行を撮像するタイミングと最後の画素行を撮像するタイミングとでは時間差を有する。このため、1フレーム内の画像でも、その上下で時間差のあるシーンが共存することになる。
【0004】
一方、オートフォーカスの動作として、フォーカスレンズを複数位置に移動してそれぞれの位置において撮像を行い、撮像した信号から演算により求まる一連のAF評価値に基づいて合焦位置を決定する方法が知られている。この方法では、フォーカスレンズの移動後レンズを停止させてから撮像する方法と、連続的にレンズ移動させながら撮像する方法とがある。前者の方法は、レンズが停止するのを待ってから撮像を行うために時間がかかるという問題があるため、AFの高速化には後者の方法が有利である。
【0005】
その際、後者の場合は算出されるAF評価値に対応付けるレンズ位置を決定する必要がある。この具体的な方法として、光学系の駆動時間、撮像素子上のAF領域サイズ、露光時間を元に補正計算を行いAF領域の中央ラインの重心位置を求める方法が知られている。(例えば、特許文献1)
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2007−267278号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、AF領域で蓄積タイミングがずれる撮像素子を駆動している場合に後者の方法を採用すると次のような弊害がある。
【0008】
AF領域内の画像の上下でコントラスト差が大きい場合に下記のような問題が発生する。図12(a)は、単一のAF領域でAF評価値とAF領域の重心位置を算出する場合である。また、図12(b)は、本来コントラストがある領域近傍でのAF評価値と重心位置を算出すべく、AF領域内部を細分化し、細分化した領域ごとにAF評価値と重心位置を算出した場合である。連続的にレンズ移動させながらAF評価値を算出した場合、単一のAF領域から得られたAF評価値と重心位置および、コントラストがある領域近より算出したAF評価値と重心位置の対応関係は図12(c)のように差が生じる。これは、重心位置の算出に用いるラインの位置の相違とローリングシャッタの影響によって生じるものであり、原理的に避けることが困難である。
【0009】
つまり、AF領域のサイズとAF領域内部の画像のコントラスト、ローリングシャッタによる蓄積時間のずれ方、連続的にレンズを移動させる際のレンズの移動速度によっては、本来のピント位置と実際のAF評価値が示すピント位置との間にズレが大きくなる。これにより、オートフォーカスにおける合焦精度が低下するという問題があった。
【0010】
(発明の目的)
本発明はこのような事情に鑑みてなされたもので、AF領域内で蓄積タイミングがずれる撮像素子を用いて、フォーカスレンズを連続的に移動させながらオートフォーカス制御を行う場合に、合焦精度を高めることを目的とする。
【課題を解決するための手段】
【0011】
上記目的を達成するために、本発明の技術的特徴としては、行方向と列方向の2次元状に複数の画素が配列されており、フォーカスレンズの位置を移動させながら複数の画素ごとに順次、電荷信号の蓄積制御を行うことにより被写体の画像を取得する撮像手段を備え、フォーカスレンズの位置を移動させながら被写体の画像を複数、撮像して当該複数の画像において設定されたAF領域における合焦状態を求めてフォーカスレンズを合焦制御する撮像装置の制御方法であって、前記画像における被写体の領域を検出する検出ステップと、前記被写体の領域に対応させてAF領域を設定する設定ステップとを有し、前記設定ステップでは、前記被写体の領域に対応するAF領域の設定の際、前記被写体の領域が予め決められた大きさよりも大きい場合には、前記行方向又は列方向のうち電荷信号の蓄積のタイミングに差が生じる方向の前記AF領域の大きさを小さくすることを特徴とする。
【発明の効果】
【0012】
本発明によれば、蓄積タイミングのズレの影響を抑え、合焦精度を高めることが可能となる。
【図面の簡単な説明】
【0013】
【図1】実施の形態に係るデジタルカメラの概略機能構成を示すブロック図である。
【図2】連続的にフォーカスレンズを移動させる場合のローリングシャッタの影響によるAF領域内での重心位置のズレを示す図である。
【図3】実施の形態にかかるデジタルカメラの基本動作フローを示すフローチャートである。
【図4】実施の形態にかかるデジタルカメラのSW1前のAF動作を説明するフローチャートである。
【図5】実施の形態にかかるデジタルカメラのSW1後のAF動作を説明するフローチャートである。
【図6】実施の形態にかかるデジタルカメラのスキャン動作を説明するフローチャートである。
【図7】実施の形態にかかるデジタルカメラのAF領域制御処理を説明するためのフローチャートである。
【図8】実施の形態に係る撮影姿勢と大きな顔の検出結果およびAF領域設定の関係を示した図である。
【図9】実施の形態にかかるデジタルカメラのAF領域制限処理を説明するためのフローチャートである。
【図10】実施の形態に係る撮影姿勢と大きな顔の検出結果およびAF領域設定の関係を示した図である。
【図11】実施の形態にかかるAF領域制限時の許容量算出方法を説明するための図である。
【図12】AF領域内部のコントラスト状態と重心位置の関係に基づいた、見かけ上のピント位置と本来のピント位置との関係を示した図である。
【発明を実施するための形態】
【0014】
以下、本発明の実施の形態について図面を用いて説明する。
【0015】
(実施の形態1)
<デジタルカメラの構成>
図1は、オートフォーカス(AF)機能を有する撮像装置の一例であるデジタルカメラのブロック図である。
【0016】
本実施の形態におけるデジタルカメラは、フォーカスレンズ2を含む光学系1を有し、光学系1を介して結像した光を撮像素子3により光電変換して画像信号(画素信号)を出力する。ここで用いる撮像素子3はCMOSセンサなどであって、複数の光電変換素子を含む画素がマトリックス状(ここでは、行方向と列方向の2次元状)に配列されて、ローリングシャッターにより駆動される。
【0017】
ローリングシャッターによる撮像動作では、まず、2次元に配列された複数画素を行などの部分単位毎に順次、走査して各画素から電荷を読み出して各画素をリセットする。そして、リセット直後から、被写体光を受光して光電変換をし、所定時間(電荷蓄積時間または露光時間)経過後に複数画素をリセット時と同様に再度、行単位で走査して、各画素の電荷を読み出し、読み出した電荷(画像信号)を出力する。動画撮像時には、上記動作を1フレーム周期で行う。図2に示すように、連続的にレンズ移動させながら撮像する方法で、AF領域の中央ラインで重心位置を求める場合、ローリングシャッタの影響により撮像画面内における領域の位置に応じてズレが生じる。これは、AF領域の中央ライン、上部ライン、下部ラインでのそれぞれの重心位置はPosC、PosA、PosBとなるためである。
【0018】
本実施においてはデジタルカメラの正位置を基準に縦方向にローリングシャッタ機能の影響を受けるものとする。出力された画像信号は、出力ノイズを除去する相関二重サンプリング(CDS)回路やA/D変換前の画像信号に対して処理を行う非線形増幅回路を備えた前置処理回路4とで処理される。そして、A/D変換器5を通してデジタル化され、メモリコントローラ6を介してメモリ7に格納され、不図示の信号処理回路によって任意のフォーマットの画像データに変換されて、記憶媒体8に記録される。
【0019】
フォーカス動作は制御部11により制御される。制御部11は、フォーカスレンズ駆動回路12を介してフォーカスレンズ2を駆動し、フォーカスレンズ2を移動しながら複数箇所のフォーカスレンズ位置において撮像を行う。そして、撮像素子3により撮像して取得したAF領域における画像信号を用いて、画像のコントラストからの合焦状態を示す信号(AF評価値)をAF評価値演算回路13において演算する。次に、合焦位置決定部14において、演算したAF評価値に基づいて、AF評価値が極大値を示すフォーカスレンズ位置である合焦位置を決定した後、その位置にフォーカスレンズ2を駆動するよう制御する。これにより合焦制御が行われる。なお、操作部材により構成されるSW1(9)が操作された場合に上述したフォーカス動作が行われ、操作部材により構成されるSW2(10)が操作された場合に本撮影が行われる。
【0020】
顔検出部15は撮像素子3により撮像した画像信号を用いて、人間の顔の特徴点(眼など)の抽出や画面に対する顔の方向を特定し、それらを元に人間の顔を検出する。検出された顔の情報はAF動作の際、AF領域の決定に用いられる。
【0021】
<AF評価値の算出方法>
AF評価値の演算は、本実施の形態においては次のように行う。
【0022】
まず、撮像素子3から得られる画像信号のうち、予め設定されたAF領域内の画像信号の輝度信号に対して、水平ライン毎に水平方向のバンドパスフィルタを適用し、所定の周波数成分の輝度信号を抽出する。次に、水平ライン毎に抽出された輝度信号中から絶対値の最も大きいものを選択し、選択した輝度信号を垂直方向に積分する。この輝度信号を積分した値をAF評価値とする。なお、このように水平方向のコントラストが大きい輝度信号を検出し、垂直方向に積分することで、信号のS/N比の向上につながる。
【0023】
このようにして得たAF評価値は、合焦状態で最も値が大きくなり、デフォーカス状態にすると値が小さくなる。したがって、AF評価値が極大になる位置にフォーカスレンズ2を駆動して撮像を行うことで、合焦した画像を得ることができる。
【0024】
<基本動作フロー>
図3は本発明の実施の形態1に係わるデジタルカメラの撮影準備動作及び撮影動作を示したフローチャートである。
【0025】
まずステップS100では、SW1前AF処理を実施する。本実施の形態のデジタルカメラではSW1を押す前の状態であってもピント状態に応じてAF動作が実施されるものとする。このステップS100のSW1前AF処理の詳細については後述する。
【0026】
次にステップS101において、SW1(9)の状態を調べ、ONであればステップS102へ進み、そうでなければステップS100に戻る。ステップS102では、制御部11で撮像素子3により撮像した画像信号を用いてAF用のAE処理を行う。この処理により絞りや電子シャッタなどの露出条件をAF動作に適した状態に設定する。そして、ステップS103にてSW1後のAF動作を実施する。
【0027】
ステップS103にてフォーカスレンズの撮影位置が確定した後、ステップS104にて本撮影用のAE処理が実施される。ステップS102ではステップS103のAF動作に適した露出条件を実現するように設定されたが、ここでは実際の撮影に適した露出条件に絞りやシャッタ速度が設定される。
【0028】
次にステップS105では再びSW1(9)の状態を調べ、ONであればステップS106へ進み、そうでなければステップS100に戻る。つまり、ここまでの処理でSW1が離された場合には撮影準備動作がキャンセルされることになる。
【0029】
SW1がONである場合には次のステップS106にてSW2(10)の状態を調べる。ここで状態がONであれば次のステップS107に進み、OFFであればステップS105に戻る。つまり、SW2を押す前にSW1が離された場合にもこれまでの撮影準備動作がキャンセルされることになる。ステップS107では実際に確定したフォーカスレンズの位置にて撮影処理が実施される。そして、撮影処理が一通り完了した場合には再度ステップS100に戻る。
【0030】
以上が、本実施の形態におけるデジタルカメラの基本動作となる。
【0031】
<Sw1前AF処理>
次に図3のステップS100のSW1前AF処理について図4のフローチャートを用いながら説明する。
【0032】
まず、ステップS200では監視動作を実施する。ステップS200において、下記のいずれかの条件が成立する場合に次のステップS201にてシーンの変化があったものとしてステップS202以降のオートフォーカス処理(AF動作)に入る。
(1)デジタルカメラが起動直後である場合。
(2)直前のAF動作におけるAF領域を引き継いで得られたAF評価値を記憶。直前のAF評価値と比較して現在のAF評価値が所定以上の変化を示した場合
(直前のAF領域とはSW1後AF処理もしくはSW1前AF処理)
つまり、起動直後は必ず1度ピントあわせを実施し、それ以外は一つ前の周期のAF評価値と現在の評価値を比較しながらAF領域内の被写体の変化を監視することになる。
【0033】
ステップS201にて、変化がないと判断される場合には、処理を終了する。一方で、変化があると判断した場合には、次のステップS202にて、ピント合わせのための駆動条件の決定を行う。ここではスキャン動作によりAF評価値とフォーカスレンズ位置を対応付けならがサンプリングする際のサーチ範囲及びフォーカスレンズの駆動速度等を決定する。
【0034】
次に、ステップS203ではAF評価値を算出するためのAF領域の設定処理(AF領域制御処理)を行う。詳細については後述する。
【0035】
次に、ステップS204ではステップS202で決定した範囲に従い、その開始位置ににフォーカスレンズを移動する。本実施の形態では開始位置は無限遠に相当するレンズ位置とする。
【0036】
次に、ステップS205にてステップS202で決定した範囲及び駆動条件に従いスキャン終了位置に向かってスキャン動作を実施する。
【0037】
ステップS205にて所定範囲でスキャン動作が完了し複数個のAF評価値及びそれに対応するフォーカスレンズ位置が取得できると、次のステップS206にて得られたAF評価値及びフォーカスレンズ位置より合焦位置を算出する。
【0038】
先に述べたとおり、AF評価値は合焦状態で最も値が大きくなり、デフォーカス状態にすると値が小さくなる傾向があるため、得られたAF評価値の極大値付近のデータを用いて合焦位置を演算し、その合焦位置を撮影位置とする。
【0039】
一方、AF領域の画像のコントラストが低い場合や低照度な状況により適切に極大値が検出できない場合も存在する。そのような場合にはあらかじめ決められた被写体距離を撮影位置とする。
【0040】
このようにステップS206にて撮影位置が確定した後、ステップS207にてフォーカスレンズをステップS206で確定した撮影位置に移動させる。
【0041】
以上が、SW1前のAF処理である。
【0042】
<SW1後AF処理>
次に、図3のステップS103のSW1後AF処理について図5のフローチャートを用いながら説明する。
【0043】
まず、ステップS300では、後述するスキャン動作によりAF評価値とフォーカスレンズ位置を対応付けならがサンプリングする(これをスキャン動作と呼ぶ。)際のサーチ範囲及びフォーカスレンズの駆動速度等を決定する。次にステップS301ではAF評価値を算出するためのAF領域の設定処理(AF領域制御処理)をおこなう。詳細については後述する。
【0044】
次に、ステップS302ではステップS300で決定した範囲に従い、その開始位置ににフォーカスレンズを移動する。本実施の形態では開始位置は無限遠に相当するレンズ位置とする。
【0045】
次に、ステップS303にてステップS200で決定した範囲及び駆動条件に従いスキャン終了位置に向かってスキャン動作を実施する。
【0046】
ステップS303にて所定範囲でスキャン動作が完了し複数個のAF評価値及びそれに対応するフォーカスレンズ位置が取得できると、次のステップS304にて得られたAF評価値及びフォーカスレンズ位置より合焦位置を算出する。
【0047】
先に述べたとおり、AF評価値は合焦状態で最も値が大きくなり、デフォーカス状態にすると値が小さくなる傾向があるため、得られたAF評価値の極大値付近のデータを用いて合焦位置を演算し、その合焦位置を撮影位置とする。
【0048】
一方、AF領域の画像のコントラストが低い場合や低照度なシーンでは適切に極大値が検出できない場合も存在する。そのような場合にはあらかじめ決められた被写体距離を撮影位置とする。
【0049】
このようにステップS304にて撮影位置が確定した後、ステップS305にてフォーカスレンズをステップS304で確定した撮影位置に移動させる。以上、SW1後のAF処理である。
【0050】
<スキャン動作>
スキャン動作に関して、図6のフローチャートを元に説明する。
【0051】
まずステップS400にてフォーカスレンズの駆動タイミングであるか否かを判断する。
【0052】
AF評価値は所定周期でAF評価値演算回路13より算出されるため、そのタイミングに同期させる。次にフォーカスレンズの移動タイミングが来た場合にはステップS401にてフォーカスレンズの移動を開始する。その際、必要とされる精度が維持できるようにあらかじめ決定されたフォーカスレンズの速度にてフォーカスレンズを移動しながら周期的に算出されるAF評価値をサンプリングすることになる。このフォーカスレンズの速度や目標位置は図4のS202、図5のS300で決定されたものであり、この処理で動作を開始するフォーカスレンズはスキャン終了位置に向かって移動することになる。
【0053】
次に、ステップS402ではフォーカスレンズ位置の取得タイミングであるか否かを判断する。取得タイミングでないならば次の取得タイミングを待ち、取得タイミングであるならば次のステップS403にてその時点でのフォーカスレンズ位置を取得し、メモリ7に記憶していく。
【0054】
このフォーカスレンズの取得タイミングに関して、本実施の形態中ではAF評価値が算出されるAF領域の垂直方向の中央ラインにおける露光期間の中央のタイミングとする。しかしながら、必ずしもそのタイミングでレンズ位置を取得する必要はない。例えば、周期的な露光期間とレンズ位置の取得タイミングの時間的な関係、AF領域のサイズおよびフォーカスレンズの制御速度がであらかじめ把握できているのであれば、その関係から露光期間の中央の位置を逆算することも可能である。
【0055】
次に、ステップS404にてAF評価値の取得タイミングであるかを判断し、取得タイミングであれば次のステップS405に進む。
【0056】
ステップS405では先ほど取得したフォーカスレンズ位置と今回取得したAF評価値を対応付けてメモリ7に記憶する。
【0057】
次にステップS406にてフォーカスレンズがスキャン終了位置に到達したか否かを判断する。到達していないのであればステップS402に戻りAF評価値とフォーカスレンズ位置の取得と対応付けを継続する。一方で終了位置に到達しているのであればスキャン動作を終了する。
【0058】
このスキャン動作により図4のS202、図5のS300で決定した範囲内におけるAF評価値と対応するレンズ位置が所定間隔で複数個取得できる。
【0059】
<AF領域制御処理>
次に、図7を元に図4のステップS203及び図5のステップ301で述べたAF領域制御処理について説明する。この処理ではAF領域の設定をデジタルカメラのモードや状態に応じて適切に制御する。
【0060】
まず、ステップS500では現在、多枠AFモードであるか否かを判断する。
【0061】
多枠AFモードの場合は画面内のあらかじめ決められた位置に決められた数のAF領域を設定してオートフォーカス処理を実施する。そのため、ステップS500にて多枠AFモードの場合にはステップS517にて規定位置に規定サイズのAF領域を選択し、ステップS516にて選択されたAF領域の設定をAF評価値演算回路13に設定する。
【0062】
一方で、ステップS500にて多枠AFモードでない場合には次のステップS501にて顔AFモードであるか否かを判断する。
【0063】
ここで、顔AFモードでない場合は画面中央に1つだけAF領域を設定するモードとなり、その場合はステップS517にて固定的に決定されるAF領域サイズと位置の情報が選択され、ステップS516にてAF評価値演算回路13にそれらの設定がなされる。
【0064】
一方で、ステップS501にて顔AFモードである場合には次のステップS502にて顔が検出されているか否かを判断する。
【0065】
ここで顔AFモードが選択されている場合には図1に示した顔検出部15にて撮像素子3より得られた画像信号を元に顔検出処理を行う。ステップS502にて顔が検出されていない場合に先に述べた画面中央に1つだけAF領域を設定するモードとなる。
【0066】
一方、顔が検出されている場合にはステップS503にてAF領域垂直ライン数閾値の算出を行う。この処理はローリングシャッタ機能の影響を抑えるべく、最適なAF領域の垂直ライン数を求める処理となる。この処理の詳細については後述する。
【0067】
次に、ステップS504にて顔検出部15より検出された顔の情報を取得する。得られる情報は、顔のサイズ、顔の位置、眼の位置、画面に対する顔の方向(画面に対して顔が縦であるか横であるか)である。
【0068】
次に、ステップS505にて検出された顔の位置が画面正位置に対して横であるか否かを判断する。ここで、本実施の形態では画面正位置に対して垂直方向にローリングシャッタの影響を受けるものとする。この判断は、そのローリングシャッタの影響を受ける方向と顔の方向にあわせて、検出された顔の縦方向もしくは横方向のいずれを制限するかを切り替えるために実施している。
【0069】
この処理において検出された顔が画面正位置に対して縦の場合(図8(a)および(d))、ステップS506にてAF領域の水平ライン数及び垂直ライン数を設定する。この場合は水平ライン数は検出された顔の横幅、垂直ライン数は検出された顔の縦幅となる。
【0070】
次に、ステップS507にてAF領域制限処理を実施する。この処理は図9に示すとおり、ステップS600にて設定したAF領域の垂直ライン数が閾値Vlimitよりも大きいか否かを判断する。この閾値Vlimitは図7のステップS503のAF領域垂直ライン数閾値算出により求められるものであり詳細は後述する。
【0071】
この閾値よりも小さい場合は直前の設定がそのまま使用される。
【0072】
一方で、設定されたAF領域の垂直ライン数が閾値を越える場合にはステップS601にてAF領域の垂直ライン数が閾値にクリップされる。
【0073】
このようにして、図9に示すAF領域制限処理ではローリングシャッタ機能の影響を受ける垂直方向のAF領域が規定サイズ以上にならないように制限される。
【0074】
図7に戻り、ステップS508にて直前のステップS507にてAF領域の制限を受けたか否かを判断する。ステップS508にて制限を受けた場合にはステップS510にてAF領域の垂直方向の基準位置を検出された顔の左右の眼の中間位置(垂直方向)とする(図8(a)および(d))。
【0075】
一方で、ステップS508にて制限を受けていない場合にはステップS509にてAF領域の垂直方向の基準位置を検出された顔の位置そのままとする(図10)。
【0076】
次に、ステップS515にてAF領域の画面内における位置をAF領域の垂直方向の基準位置に従って調整し、ステップS516にてAF評価値演算回路13にAF領域の設定を行う。ここでは、図8(a)(d)に示すように、顔の撮像素子上の方向と、読み出しのタイミングに差が生じる撮像素子上の方向とが同じである場合には、人物の眼のうち、両方の眼を含むように制限されたAF領域を設定する。また、図8(b)(c)に示すように、顔の撮像素子上の方向と、読み出しのタイミングに差が生じる撮像素子上の方向とが異なる場合には、人物の眼のうち、少なくとも左右いずれかの眼を含むように制限したAF領域を設定する(図8(b)(c)では、右の眼)。
【0077】
また、ステップS505にて検出された顔の位置が画面正位置に対して横である場合にはステップS511に進む。
【0078】
ステップS511ではAF領域の水平ライン数及び垂直ライン数を設定する。この場合は水平ライン数は検出された顔の縦幅、垂直ライン数は検出された顔の横幅となる。
【0079】
次に、ステップS512にてAF領域制限処理を実施する。この処理は図9に示すとおりであるため割愛する。
【0080】
次に、ステップS513にて制限を受けた場合にはステップS514にてAF領域の垂直方向の基準位置を検出された右の眼の位置(垂直方向)とする(図8(b)および(c))。
【0081】
一方で、ステップS513にて制限を受けていない場合にはステップS509にてAF領域の垂直方向の基準位置を検出された顔の位置そのままとする(図10)。以降の処理は先に述べた場合と同様である。
【0082】
このように、多枠AFモード及び中央1点のAFモードでは、ローリングシャッタ機能の影響をあらかじめ考慮したAF領域サイズを決定しておく。また、顔AFモードでは検出された顔のサイズと方向に応じて適切にAF領域のサイズを制御する。
【0083】
<AF領域垂直ライン数閾値の算出>
次に図7のステップS503で述べたAF領域制御処理について図11を用いて説明する。
【0084】
まず、ローリングシャッタ機能に伴うAF領域上部ラインと下部ラインの差に伴うレンズ位置のズレ量をαplsとする。本実施の形態中では片側深度相当パルスとして設定する。このズレ量αが確定することによってローリングシャッタ機能の影響を受ける垂直方向のAF領域サイズが下記のように決まる。
フォーカスレンズ駆動速度:Speed pps
許容ズレ量α pls
AF領域垂直ライン読出しのズレ:T1 Sec
垂直総ライン数の読出しにかかる時間:T0 Sec
AF領域垂直ライン数:Vaf
読出し総ライン数:Vall
T1 = 2 × α / Speed
T0 : Vall = T1 : Vaf
AF領域垂直ライン数閾値 Vlimit =Vaf
【0085】
上記フォーカスレンズの駆動速度は図4のステップ202、図5のステップS300により決定される。また、垂直総ライン数の読出しにかかる時間T0や読出し総ライン数Vallは使用する撮像素子の駆動方法により決定される。上記の式よりVafを算出し、AF領域垂直ライン数閾値 Vlimitを算出する。このAF領域垂直ライン数閾値 Vlimitを元に図9で示したAF領域制限処理にて大きすぎるAF領域のサイズがVlimitまで制限ざれ、所定の精度が維持されるようにAF領域が制御される。
【0086】
以上述べてきたとおり、顔検出結果を用いたAF動作などのように、本来設定すべきAF領域が大きくなる場合においても蓄積タイミングのズレの影響を抑え合焦精度を高めることが可能となる。
【0087】
(実施の形態2)
実施の形態1では基本動作(静止画の撮影)の例を示したが、デジタルカメラのモードやAF動作の状態に応じてAF領域制限の有効/無効を切り替えることが望ましい場合もありえる。
【0088】
例えば、SW1前のAF処理において動く被写体に対して追従し続ける場合を考えた場合、AF領域を制限して合焦精度を維持するよりは、AF領域を制限せずに被写体に追従し続けるほうが良い場合がある。この場合の実現方法を実施の形態1で用いたフローチャートを元に説明する。
【0089】
具体的には、図7のステップS517において、SW1前のAF処理において図9のAF領域制御処理が実行されている場合にはローリングシャッタ機能の影響を加味しないAF領域を設定する。同様にステップS512、S507にてSW1前のAF処理の場合には制限を設けないようにすることで実現可能である。
【0090】
上記のようにAF領域制限を制御することにより、例えばSW1前のAF処理では被写体への追従性を優先する制御を実現する。また、一方で、SW1後のAF処理では、AF領域の制限を設けて合焦精度を高めることが可能となる。
【0091】
これにより、AF領域内で蓄積タイミングがずれる撮像素子を用いる場合であっても撮影者の利便性を向上させることが可能となる。
【0092】
なお、上述した実施形態では、被写体の特徴部位を検出する手段の一例として、顔検出部15を用い、検出の対象物を人の顔としているが、例えば、動物、車など、人の顔以外の特定の対象物を検出するようにしても構わない。更に、外部入力手段から撮像画面内の位置を入力したり、ファインダーを見ている撮影者の視線を検出して撮像画面内の位置を決定して、対象物を検出するようにしてもよい。
【符号の説明】
【0093】
1 光学系
2 フォーカスレンズ
3 撮像素子
4 前置処理回路
5 A/D変換器
6 メモリコントローラ
7 メモリ
8 記録媒体
9 SW1
10 SW2
11 制御部
12 フォーカスレンズ駆動回路
13 AF評価値演算回路
14 合焦位置決定部
15 顔検出部
【技術分野】
【0001】
本発明は、蓄積タイミングがずれる撮影を行う撮像素子を用いて得られた画像信号に基づいて焦点調節する場合に、最適なフォーカス位置を得ることができるようにする焦点調整技術に関するものである。
【背景技術】
【0002】
従来より、例えばCMOS型撮像素子の撮影制御方式として、いわゆるローリングシャッターと呼ばれる電子シャッター制御方式がある。このローリングシャッターによる撮影動作では、まず、2次元に配列された複数画素を行などの部分単位毎に順次走査して各画素から電荷を読み出して各画素をリセットする。そして、リセット直後から所定時間(電荷蓄積時間または露光時間)経過後に複数画素をリセット時と同様に再度走査して、各画素の電荷を読み出し、読み出した電荷(画像信号)を出力する。動画撮影時には、上記動作を1フレーム周期で行う。
【0003】
上述のようなローリングシャッターにより撮影を行う場合、先頭の画素行を撮像するタイミングと最後の画素行を撮像するタイミングとでは時間差を有する。このため、1フレーム内の画像でも、その上下で時間差のあるシーンが共存することになる。
【0004】
一方、オートフォーカスの動作として、フォーカスレンズを複数位置に移動してそれぞれの位置において撮像を行い、撮像した信号から演算により求まる一連のAF評価値に基づいて合焦位置を決定する方法が知られている。この方法では、フォーカスレンズの移動後レンズを停止させてから撮像する方法と、連続的にレンズ移動させながら撮像する方法とがある。前者の方法は、レンズが停止するのを待ってから撮像を行うために時間がかかるという問題があるため、AFの高速化には後者の方法が有利である。
【0005】
その際、後者の場合は算出されるAF評価値に対応付けるレンズ位置を決定する必要がある。この具体的な方法として、光学系の駆動時間、撮像素子上のAF領域サイズ、露光時間を元に補正計算を行いAF領域の中央ラインの重心位置を求める方法が知られている。(例えば、特許文献1)
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2007−267278号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、AF領域で蓄積タイミングがずれる撮像素子を駆動している場合に後者の方法を採用すると次のような弊害がある。
【0008】
AF領域内の画像の上下でコントラスト差が大きい場合に下記のような問題が発生する。図12(a)は、単一のAF領域でAF評価値とAF領域の重心位置を算出する場合である。また、図12(b)は、本来コントラストがある領域近傍でのAF評価値と重心位置を算出すべく、AF領域内部を細分化し、細分化した領域ごとにAF評価値と重心位置を算出した場合である。連続的にレンズ移動させながらAF評価値を算出した場合、単一のAF領域から得られたAF評価値と重心位置および、コントラストがある領域近より算出したAF評価値と重心位置の対応関係は図12(c)のように差が生じる。これは、重心位置の算出に用いるラインの位置の相違とローリングシャッタの影響によって生じるものであり、原理的に避けることが困難である。
【0009】
つまり、AF領域のサイズとAF領域内部の画像のコントラスト、ローリングシャッタによる蓄積時間のずれ方、連続的にレンズを移動させる際のレンズの移動速度によっては、本来のピント位置と実際のAF評価値が示すピント位置との間にズレが大きくなる。これにより、オートフォーカスにおける合焦精度が低下するという問題があった。
【0010】
(発明の目的)
本発明はこのような事情に鑑みてなされたもので、AF領域内で蓄積タイミングがずれる撮像素子を用いて、フォーカスレンズを連続的に移動させながらオートフォーカス制御を行う場合に、合焦精度を高めることを目的とする。
【課題を解決するための手段】
【0011】
上記目的を達成するために、本発明の技術的特徴としては、行方向と列方向の2次元状に複数の画素が配列されており、フォーカスレンズの位置を移動させながら複数の画素ごとに順次、電荷信号の蓄積制御を行うことにより被写体の画像を取得する撮像手段を備え、フォーカスレンズの位置を移動させながら被写体の画像を複数、撮像して当該複数の画像において設定されたAF領域における合焦状態を求めてフォーカスレンズを合焦制御する撮像装置の制御方法であって、前記画像における被写体の領域を検出する検出ステップと、前記被写体の領域に対応させてAF領域を設定する設定ステップとを有し、前記設定ステップでは、前記被写体の領域に対応するAF領域の設定の際、前記被写体の領域が予め決められた大きさよりも大きい場合には、前記行方向又は列方向のうち電荷信号の蓄積のタイミングに差が生じる方向の前記AF領域の大きさを小さくすることを特徴とする。
【発明の効果】
【0012】
本発明によれば、蓄積タイミングのズレの影響を抑え、合焦精度を高めることが可能となる。
【図面の簡単な説明】
【0013】
【図1】実施の形態に係るデジタルカメラの概略機能構成を示すブロック図である。
【図2】連続的にフォーカスレンズを移動させる場合のローリングシャッタの影響によるAF領域内での重心位置のズレを示す図である。
【図3】実施の形態にかかるデジタルカメラの基本動作フローを示すフローチャートである。
【図4】実施の形態にかかるデジタルカメラのSW1前のAF動作を説明するフローチャートである。
【図5】実施の形態にかかるデジタルカメラのSW1後のAF動作を説明するフローチャートである。
【図6】実施の形態にかかるデジタルカメラのスキャン動作を説明するフローチャートである。
【図7】実施の形態にかかるデジタルカメラのAF領域制御処理を説明するためのフローチャートである。
【図8】実施の形態に係る撮影姿勢と大きな顔の検出結果およびAF領域設定の関係を示した図である。
【図9】実施の形態にかかるデジタルカメラのAF領域制限処理を説明するためのフローチャートである。
【図10】実施の形態に係る撮影姿勢と大きな顔の検出結果およびAF領域設定の関係を示した図である。
【図11】実施の形態にかかるAF領域制限時の許容量算出方法を説明するための図である。
【図12】AF領域内部のコントラスト状態と重心位置の関係に基づいた、見かけ上のピント位置と本来のピント位置との関係を示した図である。
【発明を実施するための形態】
【0014】
以下、本発明の実施の形態について図面を用いて説明する。
【0015】
(実施の形態1)
<デジタルカメラの構成>
図1は、オートフォーカス(AF)機能を有する撮像装置の一例であるデジタルカメラのブロック図である。
【0016】
本実施の形態におけるデジタルカメラは、フォーカスレンズ2を含む光学系1を有し、光学系1を介して結像した光を撮像素子3により光電変換して画像信号(画素信号)を出力する。ここで用いる撮像素子3はCMOSセンサなどであって、複数の光電変換素子を含む画素がマトリックス状(ここでは、行方向と列方向の2次元状)に配列されて、ローリングシャッターにより駆動される。
【0017】
ローリングシャッターによる撮像動作では、まず、2次元に配列された複数画素を行などの部分単位毎に順次、走査して各画素から電荷を読み出して各画素をリセットする。そして、リセット直後から、被写体光を受光して光電変換をし、所定時間(電荷蓄積時間または露光時間)経過後に複数画素をリセット時と同様に再度、行単位で走査して、各画素の電荷を読み出し、読み出した電荷(画像信号)を出力する。動画撮像時には、上記動作を1フレーム周期で行う。図2に示すように、連続的にレンズ移動させながら撮像する方法で、AF領域の中央ラインで重心位置を求める場合、ローリングシャッタの影響により撮像画面内における領域の位置に応じてズレが生じる。これは、AF領域の中央ライン、上部ライン、下部ラインでのそれぞれの重心位置はPosC、PosA、PosBとなるためである。
【0018】
本実施においてはデジタルカメラの正位置を基準に縦方向にローリングシャッタ機能の影響を受けるものとする。出力された画像信号は、出力ノイズを除去する相関二重サンプリング(CDS)回路やA/D変換前の画像信号に対して処理を行う非線形増幅回路を備えた前置処理回路4とで処理される。そして、A/D変換器5を通してデジタル化され、メモリコントローラ6を介してメモリ7に格納され、不図示の信号処理回路によって任意のフォーマットの画像データに変換されて、記憶媒体8に記録される。
【0019】
フォーカス動作は制御部11により制御される。制御部11は、フォーカスレンズ駆動回路12を介してフォーカスレンズ2を駆動し、フォーカスレンズ2を移動しながら複数箇所のフォーカスレンズ位置において撮像を行う。そして、撮像素子3により撮像して取得したAF領域における画像信号を用いて、画像のコントラストからの合焦状態を示す信号(AF評価値)をAF評価値演算回路13において演算する。次に、合焦位置決定部14において、演算したAF評価値に基づいて、AF評価値が極大値を示すフォーカスレンズ位置である合焦位置を決定した後、その位置にフォーカスレンズ2を駆動するよう制御する。これにより合焦制御が行われる。なお、操作部材により構成されるSW1(9)が操作された場合に上述したフォーカス動作が行われ、操作部材により構成されるSW2(10)が操作された場合に本撮影が行われる。
【0020】
顔検出部15は撮像素子3により撮像した画像信号を用いて、人間の顔の特徴点(眼など)の抽出や画面に対する顔の方向を特定し、それらを元に人間の顔を検出する。検出された顔の情報はAF動作の際、AF領域の決定に用いられる。
【0021】
<AF評価値の算出方法>
AF評価値の演算は、本実施の形態においては次のように行う。
【0022】
まず、撮像素子3から得られる画像信号のうち、予め設定されたAF領域内の画像信号の輝度信号に対して、水平ライン毎に水平方向のバンドパスフィルタを適用し、所定の周波数成分の輝度信号を抽出する。次に、水平ライン毎に抽出された輝度信号中から絶対値の最も大きいものを選択し、選択した輝度信号を垂直方向に積分する。この輝度信号を積分した値をAF評価値とする。なお、このように水平方向のコントラストが大きい輝度信号を検出し、垂直方向に積分することで、信号のS/N比の向上につながる。
【0023】
このようにして得たAF評価値は、合焦状態で最も値が大きくなり、デフォーカス状態にすると値が小さくなる。したがって、AF評価値が極大になる位置にフォーカスレンズ2を駆動して撮像を行うことで、合焦した画像を得ることができる。
【0024】
<基本動作フロー>
図3は本発明の実施の形態1に係わるデジタルカメラの撮影準備動作及び撮影動作を示したフローチャートである。
【0025】
まずステップS100では、SW1前AF処理を実施する。本実施の形態のデジタルカメラではSW1を押す前の状態であってもピント状態に応じてAF動作が実施されるものとする。このステップS100のSW1前AF処理の詳細については後述する。
【0026】
次にステップS101において、SW1(9)の状態を調べ、ONであればステップS102へ進み、そうでなければステップS100に戻る。ステップS102では、制御部11で撮像素子3により撮像した画像信号を用いてAF用のAE処理を行う。この処理により絞りや電子シャッタなどの露出条件をAF動作に適した状態に設定する。そして、ステップS103にてSW1後のAF動作を実施する。
【0027】
ステップS103にてフォーカスレンズの撮影位置が確定した後、ステップS104にて本撮影用のAE処理が実施される。ステップS102ではステップS103のAF動作に適した露出条件を実現するように設定されたが、ここでは実際の撮影に適した露出条件に絞りやシャッタ速度が設定される。
【0028】
次にステップS105では再びSW1(9)の状態を調べ、ONであればステップS106へ進み、そうでなければステップS100に戻る。つまり、ここまでの処理でSW1が離された場合には撮影準備動作がキャンセルされることになる。
【0029】
SW1がONである場合には次のステップS106にてSW2(10)の状態を調べる。ここで状態がONであれば次のステップS107に進み、OFFであればステップS105に戻る。つまり、SW2を押す前にSW1が離された場合にもこれまでの撮影準備動作がキャンセルされることになる。ステップS107では実際に確定したフォーカスレンズの位置にて撮影処理が実施される。そして、撮影処理が一通り完了した場合には再度ステップS100に戻る。
【0030】
以上が、本実施の形態におけるデジタルカメラの基本動作となる。
【0031】
<Sw1前AF処理>
次に図3のステップS100のSW1前AF処理について図4のフローチャートを用いながら説明する。
【0032】
まず、ステップS200では監視動作を実施する。ステップS200において、下記のいずれかの条件が成立する場合に次のステップS201にてシーンの変化があったものとしてステップS202以降のオートフォーカス処理(AF動作)に入る。
(1)デジタルカメラが起動直後である場合。
(2)直前のAF動作におけるAF領域を引き継いで得られたAF評価値を記憶。直前のAF評価値と比較して現在のAF評価値が所定以上の変化を示した場合
(直前のAF領域とはSW1後AF処理もしくはSW1前AF処理)
つまり、起動直後は必ず1度ピントあわせを実施し、それ以外は一つ前の周期のAF評価値と現在の評価値を比較しながらAF領域内の被写体の変化を監視することになる。
【0033】
ステップS201にて、変化がないと判断される場合には、処理を終了する。一方で、変化があると判断した場合には、次のステップS202にて、ピント合わせのための駆動条件の決定を行う。ここではスキャン動作によりAF評価値とフォーカスレンズ位置を対応付けならがサンプリングする際のサーチ範囲及びフォーカスレンズの駆動速度等を決定する。
【0034】
次に、ステップS203ではAF評価値を算出するためのAF領域の設定処理(AF領域制御処理)を行う。詳細については後述する。
【0035】
次に、ステップS204ではステップS202で決定した範囲に従い、その開始位置ににフォーカスレンズを移動する。本実施の形態では開始位置は無限遠に相当するレンズ位置とする。
【0036】
次に、ステップS205にてステップS202で決定した範囲及び駆動条件に従いスキャン終了位置に向かってスキャン動作を実施する。
【0037】
ステップS205にて所定範囲でスキャン動作が完了し複数個のAF評価値及びそれに対応するフォーカスレンズ位置が取得できると、次のステップS206にて得られたAF評価値及びフォーカスレンズ位置より合焦位置を算出する。
【0038】
先に述べたとおり、AF評価値は合焦状態で最も値が大きくなり、デフォーカス状態にすると値が小さくなる傾向があるため、得られたAF評価値の極大値付近のデータを用いて合焦位置を演算し、その合焦位置を撮影位置とする。
【0039】
一方、AF領域の画像のコントラストが低い場合や低照度な状況により適切に極大値が検出できない場合も存在する。そのような場合にはあらかじめ決められた被写体距離を撮影位置とする。
【0040】
このようにステップS206にて撮影位置が確定した後、ステップS207にてフォーカスレンズをステップS206で確定した撮影位置に移動させる。
【0041】
以上が、SW1前のAF処理である。
【0042】
<SW1後AF処理>
次に、図3のステップS103のSW1後AF処理について図5のフローチャートを用いながら説明する。
【0043】
まず、ステップS300では、後述するスキャン動作によりAF評価値とフォーカスレンズ位置を対応付けならがサンプリングする(これをスキャン動作と呼ぶ。)際のサーチ範囲及びフォーカスレンズの駆動速度等を決定する。次にステップS301ではAF評価値を算出するためのAF領域の設定処理(AF領域制御処理)をおこなう。詳細については後述する。
【0044】
次に、ステップS302ではステップS300で決定した範囲に従い、その開始位置ににフォーカスレンズを移動する。本実施の形態では開始位置は無限遠に相当するレンズ位置とする。
【0045】
次に、ステップS303にてステップS200で決定した範囲及び駆動条件に従いスキャン終了位置に向かってスキャン動作を実施する。
【0046】
ステップS303にて所定範囲でスキャン動作が完了し複数個のAF評価値及びそれに対応するフォーカスレンズ位置が取得できると、次のステップS304にて得られたAF評価値及びフォーカスレンズ位置より合焦位置を算出する。
【0047】
先に述べたとおり、AF評価値は合焦状態で最も値が大きくなり、デフォーカス状態にすると値が小さくなる傾向があるため、得られたAF評価値の極大値付近のデータを用いて合焦位置を演算し、その合焦位置を撮影位置とする。
【0048】
一方、AF領域の画像のコントラストが低い場合や低照度なシーンでは適切に極大値が検出できない場合も存在する。そのような場合にはあらかじめ決められた被写体距離を撮影位置とする。
【0049】
このようにステップS304にて撮影位置が確定した後、ステップS305にてフォーカスレンズをステップS304で確定した撮影位置に移動させる。以上、SW1後のAF処理である。
【0050】
<スキャン動作>
スキャン動作に関して、図6のフローチャートを元に説明する。
【0051】
まずステップS400にてフォーカスレンズの駆動タイミングであるか否かを判断する。
【0052】
AF評価値は所定周期でAF評価値演算回路13より算出されるため、そのタイミングに同期させる。次にフォーカスレンズの移動タイミングが来た場合にはステップS401にてフォーカスレンズの移動を開始する。その際、必要とされる精度が維持できるようにあらかじめ決定されたフォーカスレンズの速度にてフォーカスレンズを移動しながら周期的に算出されるAF評価値をサンプリングすることになる。このフォーカスレンズの速度や目標位置は図4のS202、図5のS300で決定されたものであり、この処理で動作を開始するフォーカスレンズはスキャン終了位置に向かって移動することになる。
【0053】
次に、ステップS402ではフォーカスレンズ位置の取得タイミングであるか否かを判断する。取得タイミングでないならば次の取得タイミングを待ち、取得タイミングであるならば次のステップS403にてその時点でのフォーカスレンズ位置を取得し、メモリ7に記憶していく。
【0054】
このフォーカスレンズの取得タイミングに関して、本実施の形態中ではAF評価値が算出されるAF領域の垂直方向の中央ラインにおける露光期間の中央のタイミングとする。しかしながら、必ずしもそのタイミングでレンズ位置を取得する必要はない。例えば、周期的な露光期間とレンズ位置の取得タイミングの時間的な関係、AF領域のサイズおよびフォーカスレンズの制御速度がであらかじめ把握できているのであれば、その関係から露光期間の中央の位置を逆算することも可能である。
【0055】
次に、ステップS404にてAF評価値の取得タイミングであるかを判断し、取得タイミングであれば次のステップS405に進む。
【0056】
ステップS405では先ほど取得したフォーカスレンズ位置と今回取得したAF評価値を対応付けてメモリ7に記憶する。
【0057】
次にステップS406にてフォーカスレンズがスキャン終了位置に到達したか否かを判断する。到達していないのであればステップS402に戻りAF評価値とフォーカスレンズ位置の取得と対応付けを継続する。一方で終了位置に到達しているのであればスキャン動作を終了する。
【0058】
このスキャン動作により図4のS202、図5のS300で決定した範囲内におけるAF評価値と対応するレンズ位置が所定間隔で複数個取得できる。
【0059】
<AF領域制御処理>
次に、図7を元に図4のステップS203及び図5のステップ301で述べたAF領域制御処理について説明する。この処理ではAF領域の設定をデジタルカメラのモードや状態に応じて適切に制御する。
【0060】
まず、ステップS500では現在、多枠AFモードであるか否かを判断する。
【0061】
多枠AFモードの場合は画面内のあらかじめ決められた位置に決められた数のAF領域を設定してオートフォーカス処理を実施する。そのため、ステップS500にて多枠AFモードの場合にはステップS517にて規定位置に規定サイズのAF領域を選択し、ステップS516にて選択されたAF領域の設定をAF評価値演算回路13に設定する。
【0062】
一方で、ステップS500にて多枠AFモードでない場合には次のステップS501にて顔AFモードであるか否かを判断する。
【0063】
ここで、顔AFモードでない場合は画面中央に1つだけAF領域を設定するモードとなり、その場合はステップS517にて固定的に決定されるAF領域サイズと位置の情報が選択され、ステップS516にてAF評価値演算回路13にそれらの設定がなされる。
【0064】
一方で、ステップS501にて顔AFモードである場合には次のステップS502にて顔が検出されているか否かを判断する。
【0065】
ここで顔AFモードが選択されている場合には図1に示した顔検出部15にて撮像素子3より得られた画像信号を元に顔検出処理を行う。ステップS502にて顔が検出されていない場合に先に述べた画面中央に1つだけAF領域を設定するモードとなる。
【0066】
一方、顔が検出されている場合にはステップS503にてAF領域垂直ライン数閾値の算出を行う。この処理はローリングシャッタ機能の影響を抑えるべく、最適なAF領域の垂直ライン数を求める処理となる。この処理の詳細については後述する。
【0067】
次に、ステップS504にて顔検出部15より検出された顔の情報を取得する。得られる情報は、顔のサイズ、顔の位置、眼の位置、画面に対する顔の方向(画面に対して顔が縦であるか横であるか)である。
【0068】
次に、ステップS505にて検出された顔の位置が画面正位置に対して横であるか否かを判断する。ここで、本実施の形態では画面正位置に対して垂直方向にローリングシャッタの影響を受けるものとする。この判断は、そのローリングシャッタの影響を受ける方向と顔の方向にあわせて、検出された顔の縦方向もしくは横方向のいずれを制限するかを切り替えるために実施している。
【0069】
この処理において検出された顔が画面正位置に対して縦の場合(図8(a)および(d))、ステップS506にてAF領域の水平ライン数及び垂直ライン数を設定する。この場合は水平ライン数は検出された顔の横幅、垂直ライン数は検出された顔の縦幅となる。
【0070】
次に、ステップS507にてAF領域制限処理を実施する。この処理は図9に示すとおり、ステップS600にて設定したAF領域の垂直ライン数が閾値Vlimitよりも大きいか否かを判断する。この閾値Vlimitは図7のステップS503のAF領域垂直ライン数閾値算出により求められるものであり詳細は後述する。
【0071】
この閾値よりも小さい場合は直前の設定がそのまま使用される。
【0072】
一方で、設定されたAF領域の垂直ライン数が閾値を越える場合にはステップS601にてAF領域の垂直ライン数が閾値にクリップされる。
【0073】
このようにして、図9に示すAF領域制限処理ではローリングシャッタ機能の影響を受ける垂直方向のAF領域が規定サイズ以上にならないように制限される。
【0074】
図7に戻り、ステップS508にて直前のステップS507にてAF領域の制限を受けたか否かを判断する。ステップS508にて制限を受けた場合にはステップS510にてAF領域の垂直方向の基準位置を検出された顔の左右の眼の中間位置(垂直方向)とする(図8(a)および(d))。
【0075】
一方で、ステップS508にて制限を受けていない場合にはステップS509にてAF領域の垂直方向の基準位置を検出された顔の位置そのままとする(図10)。
【0076】
次に、ステップS515にてAF領域の画面内における位置をAF領域の垂直方向の基準位置に従って調整し、ステップS516にてAF評価値演算回路13にAF領域の設定を行う。ここでは、図8(a)(d)に示すように、顔の撮像素子上の方向と、読み出しのタイミングに差が生じる撮像素子上の方向とが同じである場合には、人物の眼のうち、両方の眼を含むように制限されたAF領域を設定する。また、図8(b)(c)に示すように、顔の撮像素子上の方向と、読み出しのタイミングに差が生じる撮像素子上の方向とが異なる場合には、人物の眼のうち、少なくとも左右いずれかの眼を含むように制限したAF領域を設定する(図8(b)(c)では、右の眼)。
【0077】
また、ステップS505にて検出された顔の位置が画面正位置に対して横である場合にはステップS511に進む。
【0078】
ステップS511ではAF領域の水平ライン数及び垂直ライン数を設定する。この場合は水平ライン数は検出された顔の縦幅、垂直ライン数は検出された顔の横幅となる。
【0079】
次に、ステップS512にてAF領域制限処理を実施する。この処理は図9に示すとおりであるため割愛する。
【0080】
次に、ステップS513にて制限を受けた場合にはステップS514にてAF領域の垂直方向の基準位置を検出された右の眼の位置(垂直方向)とする(図8(b)および(c))。
【0081】
一方で、ステップS513にて制限を受けていない場合にはステップS509にてAF領域の垂直方向の基準位置を検出された顔の位置そのままとする(図10)。以降の処理は先に述べた場合と同様である。
【0082】
このように、多枠AFモード及び中央1点のAFモードでは、ローリングシャッタ機能の影響をあらかじめ考慮したAF領域サイズを決定しておく。また、顔AFモードでは検出された顔のサイズと方向に応じて適切にAF領域のサイズを制御する。
【0083】
<AF領域垂直ライン数閾値の算出>
次に図7のステップS503で述べたAF領域制御処理について図11を用いて説明する。
【0084】
まず、ローリングシャッタ機能に伴うAF領域上部ラインと下部ラインの差に伴うレンズ位置のズレ量をαplsとする。本実施の形態中では片側深度相当パルスとして設定する。このズレ量αが確定することによってローリングシャッタ機能の影響を受ける垂直方向のAF領域サイズが下記のように決まる。
フォーカスレンズ駆動速度:Speed pps
許容ズレ量α pls
AF領域垂直ライン読出しのズレ:T1 Sec
垂直総ライン数の読出しにかかる時間:T0 Sec
AF領域垂直ライン数:Vaf
読出し総ライン数:Vall
T1 = 2 × α / Speed
T0 : Vall = T1 : Vaf
AF領域垂直ライン数閾値 Vlimit =Vaf
【0085】
上記フォーカスレンズの駆動速度は図4のステップ202、図5のステップS300により決定される。また、垂直総ライン数の読出しにかかる時間T0や読出し総ライン数Vallは使用する撮像素子の駆動方法により決定される。上記の式よりVafを算出し、AF領域垂直ライン数閾値 Vlimitを算出する。このAF領域垂直ライン数閾値 Vlimitを元に図9で示したAF領域制限処理にて大きすぎるAF領域のサイズがVlimitまで制限ざれ、所定の精度が維持されるようにAF領域が制御される。
【0086】
以上述べてきたとおり、顔検出結果を用いたAF動作などのように、本来設定すべきAF領域が大きくなる場合においても蓄積タイミングのズレの影響を抑え合焦精度を高めることが可能となる。
【0087】
(実施の形態2)
実施の形態1では基本動作(静止画の撮影)の例を示したが、デジタルカメラのモードやAF動作の状態に応じてAF領域制限の有効/無効を切り替えることが望ましい場合もありえる。
【0088】
例えば、SW1前のAF処理において動く被写体に対して追従し続ける場合を考えた場合、AF領域を制限して合焦精度を維持するよりは、AF領域を制限せずに被写体に追従し続けるほうが良い場合がある。この場合の実現方法を実施の形態1で用いたフローチャートを元に説明する。
【0089】
具体的には、図7のステップS517において、SW1前のAF処理において図9のAF領域制御処理が実行されている場合にはローリングシャッタ機能の影響を加味しないAF領域を設定する。同様にステップS512、S507にてSW1前のAF処理の場合には制限を設けないようにすることで実現可能である。
【0090】
上記のようにAF領域制限を制御することにより、例えばSW1前のAF処理では被写体への追従性を優先する制御を実現する。また、一方で、SW1後のAF処理では、AF領域の制限を設けて合焦精度を高めることが可能となる。
【0091】
これにより、AF領域内で蓄積タイミングがずれる撮像素子を用いる場合であっても撮影者の利便性を向上させることが可能となる。
【0092】
なお、上述した実施形態では、被写体の特徴部位を検出する手段の一例として、顔検出部15を用い、検出の対象物を人の顔としているが、例えば、動物、車など、人の顔以外の特定の対象物を検出するようにしても構わない。更に、外部入力手段から撮像画面内の位置を入力したり、ファインダーを見ている撮影者の視線を検出して撮像画面内の位置を決定して、対象物を検出するようにしてもよい。
【符号の説明】
【0093】
1 光学系
2 フォーカスレンズ
3 撮像素子
4 前置処理回路
5 A/D変換器
6 メモリコントローラ
7 メモリ
8 記録媒体
9 SW1
10 SW2
11 制御部
12 フォーカスレンズ駆動回路
13 AF評価値演算回路
14 合焦位置決定部
15 顔検出部
【特許請求の範囲】
【請求項1】
行方向と列方向の2次元状に複数の画素が配列されており、フォーカスレンズの位置を移動させながら複数の画素ごとに順次、電荷信号の蓄積制御を行うことにより被写体の画像を取得する撮像手段と、
前記撮像手段により取得された画像における被写体の領域を検出する検出手段と、
前記検出手段により検出された被写体の領域に対応させてAF領域を設定する設定手段と、
前記撮像手段により取得された複数の画像について前記設定手段により設定されたAF領域における合焦状態をそれぞれ求め、当該合焦状態の情報に基づいて前記フォーカスレンズを合焦制御する合焦制御手段とを有し、
前記設定手段は、前記被写体の領域に対応するAF領域の設定の際、前記被写体の領域が予め決められた大きさよりも大きい場合には、前記行方向又は列方向のうち電荷信号の蓄積のタイミングに差が生じる方向の前記AF領域の大きさを小さくすることを特徴とする撮像装置。
【請求項2】
前記設定手段は、前記被写体の領域における電荷信号の蓄積のタイミングに差が生じる方向の大きさが予め決められた大きさよりも大きい場合に、当該方向の大きさを小さくしてAF領域を設定することを特徴とする請求項1に記載の撮像装置。
【請求項3】
前記検出手段は、前記画像から顔の情報を抽出することにより被写体を検出し、
前記設定手段は、前記顔の情報に応じてAF領域を設定することを特徴とする請求項1又は請求項2に記載の撮像装置。
【請求項4】
前記被写体の領域が予め決められた大きさよりも大きい場合において、
前記設定手段は、前記検出手段によって検出された顔の方向と、電荷信号の蓄積のタイミングに差が生じる方向とが同じである場合には、前記検出手段より得られた眼のうち両方の眼を含むようにAF領域を設定し、前記方向が異なる場合には、前記検出手段より得られた眼のうち少なくとも左右いずれかの眼を含むようにAF領域を設定することを特徴とする請求項3に記載の撮像装置。
【請求項5】
前記設定手段は、AF動作の状態、及びモードの少なくともいずれかに応じて、前記被写体の領域に対応するAF領域の設定の際、前記被写体の領域が予め決められた大きさよりも大きい場合に前記行方向又は列方向のうち電荷信号の蓄積のタイミングに差が生じる方向の前記AF領域の大きさを小さくするか否かを切り替えることを特徴とする請求項1乃至請求項4のいずれか1項に記載の撮像装置。
【請求項6】
前記設定手段は、静止画の撮影の際のAF動作の場合に、前記被写体の領域に対応するAF領域の設定の際、前記被写体の領域が予め決められた大きさよりも大きい場合には、前記行方向又は列方向のうち電荷信号の蓄積のタイミングに差が生じる方向の前記AF領域の大きさを小さくすることを特徴とする請求項5に記載の撮像装置。
【請求項7】
前記設定手段は、静止画を撮影の際よりも被写体への追従を優先するモードの場合には、前記被写体の領域に対応するAF領域の設定の際、前記被写体の領域が予め決められた大きさよりも大きい場合でも、前記行方向又は列方向のうち電荷信号の蓄積のタイミングに差が生じる方向の前記AF領域の大きさを小さくするAF領域の設定を制限することを特徴とする請求項5に記載の撮像装置。
【請求項8】
前記AF領域に対応付ける前記フォーカスレンズの重心位置を算出する算出手段とを有し、
前記合焦制御手段は、AF領域における合焦状態が極大となる重心位置にフォーカスレンズを移動させることにより合焦制御を行うことを特徴とする請求項1乃至請求項7のいずれか1項に記載の撮像装置。
【請求項9】
行方向と列方向の2次元状に複数の画素が配列されており、フォーカスレンズの位置を移動させながら複数の画素ごとに順次、電荷信号の蓄積制御を行うことにより被写体の画像を取得する撮像手段を備え、フォーカスレンズの位置を移動させながら被写体の画像を複数、撮像して当該複数の画像において設定されたAF領域における合焦状態を求めてフォーカスレンズを合焦制御する撮像装置の制御方法であって、
前記画像における被写体の領域を検出する検出ステップと、
前記被写体の領域に対応させてAF領域を設定する設定ステップとを有し、
前記設定ステップでは、前記被写体の領域に対応するAF領域の設定の際、前記被写体の領域が予め決められた大きさよりも大きい場合には、前記行方向又は列方向のうち電荷信号の蓄積のタイミングに差が生じる方向の前記AF領域の大きさを小さくすることを特徴とする制御方法。
【請求項1】
行方向と列方向の2次元状に複数の画素が配列されており、フォーカスレンズの位置を移動させながら複数の画素ごとに順次、電荷信号の蓄積制御を行うことにより被写体の画像を取得する撮像手段と、
前記撮像手段により取得された画像における被写体の領域を検出する検出手段と、
前記検出手段により検出された被写体の領域に対応させてAF領域を設定する設定手段と、
前記撮像手段により取得された複数の画像について前記設定手段により設定されたAF領域における合焦状態をそれぞれ求め、当該合焦状態の情報に基づいて前記フォーカスレンズを合焦制御する合焦制御手段とを有し、
前記設定手段は、前記被写体の領域に対応するAF領域の設定の際、前記被写体の領域が予め決められた大きさよりも大きい場合には、前記行方向又は列方向のうち電荷信号の蓄積のタイミングに差が生じる方向の前記AF領域の大きさを小さくすることを特徴とする撮像装置。
【請求項2】
前記設定手段は、前記被写体の領域における電荷信号の蓄積のタイミングに差が生じる方向の大きさが予め決められた大きさよりも大きい場合に、当該方向の大きさを小さくしてAF領域を設定することを特徴とする請求項1に記載の撮像装置。
【請求項3】
前記検出手段は、前記画像から顔の情報を抽出することにより被写体を検出し、
前記設定手段は、前記顔の情報に応じてAF領域を設定することを特徴とする請求項1又は請求項2に記載の撮像装置。
【請求項4】
前記被写体の領域が予め決められた大きさよりも大きい場合において、
前記設定手段は、前記検出手段によって検出された顔の方向と、電荷信号の蓄積のタイミングに差が生じる方向とが同じである場合には、前記検出手段より得られた眼のうち両方の眼を含むようにAF領域を設定し、前記方向が異なる場合には、前記検出手段より得られた眼のうち少なくとも左右いずれかの眼を含むようにAF領域を設定することを特徴とする請求項3に記載の撮像装置。
【請求項5】
前記設定手段は、AF動作の状態、及びモードの少なくともいずれかに応じて、前記被写体の領域に対応するAF領域の設定の際、前記被写体の領域が予め決められた大きさよりも大きい場合に前記行方向又は列方向のうち電荷信号の蓄積のタイミングに差が生じる方向の前記AF領域の大きさを小さくするか否かを切り替えることを特徴とする請求項1乃至請求項4のいずれか1項に記載の撮像装置。
【請求項6】
前記設定手段は、静止画の撮影の際のAF動作の場合に、前記被写体の領域に対応するAF領域の設定の際、前記被写体の領域が予め決められた大きさよりも大きい場合には、前記行方向又は列方向のうち電荷信号の蓄積のタイミングに差が生じる方向の前記AF領域の大きさを小さくすることを特徴とする請求項5に記載の撮像装置。
【請求項7】
前記設定手段は、静止画を撮影の際よりも被写体への追従を優先するモードの場合には、前記被写体の領域に対応するAF領域の設定の際、前記被写体の領域が予め決められた大きさよりも大きい場合でも、前記行方向又は列方向のうち電荷信号の蓄積のタイミングに差が生じる方向の前記AF領域の大きさを小さくするAF領域の設定を制限することを特徴とする請求項5に記載の撮像装置。
【請求項8】
前記AF領域に対応付ける前記フォーカスレンズの重心位置を算出する算出手段とを有し、
前記合焦制御手段は、AF領域における合焦状態が極大となる重心位置にフォーカスレンズを移動させることにより合焦制御を行うことを特徴とする請求項1乃至請求項7のいずれか1項に記載の撮像装置。
【請求項9】
行方向と列方向の2次元状に複数の画素が配列されており、フォーカスレンズの位置を移動させながら複数の画素ごとに順次、電荷信号の蓄積制御を行うことにより被写体の画像を取得する撮像手段を備え、フォーカスレンズの位置を移動させながら被写体の画像を複数、撮像して当該複数の画像において設定されたAF領域における合焦状態を求めてフォーカスレンズを合焦制御する撮像装置の制御方法であって、
前記画像における被写体の領域を検出する検出ステップと、
前記被写体の領域に対応させてAF領域を設定する設定ステップとを有し、
前記設定ステップでは、前記被写体の領域に対応するAF領域の設定の際、前記被写体の領域が予め決められた大きさよりも大きい場合には、前記行方向又は列方向のうち電荷信号の蓄積のタイミングに差が生じる方向の前記AF領域の大きさを小さくすることを特徴とする制御方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【公開番号】特開2013−80248(P2013−80248A)
【公開日】平成25年5月2日(2013.5.2)
【国際特許分類】
【出願番号】特願2012−272674(P2012−272674)
【出願日】平成24年12月13日(2012.12.13)
【分割の表示】特願2008−236309(P2008−236309)の分割
【原出願日】平成20年9月16日(2008.9.16)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
【公開日】平成25年5月2日(2013.5.2)
【国際特許分類】
【出願日】平成24年12月13日(2012.12.13)
【分割の表示】特願2008−236309(P2008−236309)の分割
【原出願日】平成20年9月16日(2008.9.16)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
[ Back to top ]