焦点検出装置
【課題】 位相差ＡＦ方式での焦点検出結果が複数距離の競合時に、遠近競合を分解して複数距離のそれぞれを焦点検出する。
【解決手段】 被写体の２像の位相差から焦点状態を検出する第一の焦点検出手段（４０４）と、第一の焦点検出手段による焦点状態の信頼度を判定する信頼度判定手段（４０６）と、第一の焦点検出手段のセンサを構成する画素のうち焦点検出する画素範囲を選択する画素選択手段（４０８）と、画素選択手段によって選択された画素範囲の信号を用いて位相差から焦点状態を検出する第二の焦点検出手段（４０８）と、被写体枠でのコントラストを検出する第三の焦点検出手段（４０８）とを備え、画素選択手段は、信頼度が低いと判定された時には、第三の焦点検出手段の検出結果を用いて画素範囲の選択を行い、第二の焦点検出手段に焦点検出を行わせる。
【解決手段】 被写体の２像の位相差から焦点状態を検出する第一の焦点検出手段（４０４）と、第一の焦点検出手段による焦点状態の信頼度を判定する信頼度判定手段（４０６）と、第一の焦点検出手段のセンサを構成する画素のうち焦点検出する画素範囲を選択する画素選択手段（４０８）と、画素選択手段によって選択された画素範囲の信号を用いて位相差から焦点状態を検出する第二の焦点検出手段（４０８）と、被写体枠でのコントラストを検出する第三の焦点検出手段（４０８）とを備え、画素選択手段は、信頼度が低いと判定された時には、第三の焦点検出手段の検出結果を用いて画素範囲の選択を行い、第二の焦点検出手段に焦点検出を行わせる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自動焦点調節制御を行うための焦点検出装置に関し、ビデオカメラ等の撮像装置に好適なものである。
【背景技術】
【０００２】
ビデオカメラ等の撮像装置に搭載されるＡＦ（オートフォーカス）方式としては、コントラストＡＦ方式が一般的である。コントラストＡＦ方式では、撮像素子を用いて得られた映像信号のうち高周波成分を抽出して、焦点状態を示す信号としてのいわゆるＡＦ評価値信号を生成し、該ＡＦ評価値信号が最大になるようにフォーカスレンズの位置を制御する。
【０００３】
また、このようなコントラストＡＦ方式と、いわゆる外測位相差検出（外測ＡＦ）方式とを組み合わせた、いわゆるハイブリッドＡＦ方式を採用した撮像装置も提案されている（特許文献１参照）。外測ＡＦ方式は、撮像光学系を通らない光を利用して被写体までの距離をＡＦセンサにより直接検出し、その検出距離に基づいてフォーカスレンズの位置を制御するものである。外測ＡＦ方式と前述のコントラストＡＦ方式を組み合わせたハイブリッドＡＦ方式により、コントラストＡＦ方式による高精度で高い分解能をもつ合焦性能と、外測ＡＦ方式による高速な合焦性能とを併せ持つことができる。
【０００４】
外測ＡＦ方式では、一対のラインセンサから得られる被写体像の信号に基づいてその２像の相関演算を行い、位相ずれ量を算出して、三角測距の原理を用いて被写体までの距離を測定し、その検出距離に基づいてフォーカスレンズの位置を制御するものである。被写体距離が一意であれば、ラインセンサ上で検出される像の位相ずれ量も一意に決まってくる。しかし、例えば１ｍの被写体と１０ｍの被写体が同時にセンサ画角にはいるような複数距離の競合（または遠近競合などともいう）の場合には、像の位相ずれ量を一意に定めることも難しくなっている。そこで特許文献２などでは、複数距離の競合と判断されるような場合には、像を分割して複数の小ブロックごとに再度相関演算する構成を用いて複数距離をそれぞれ算出するような提案がなされている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００２−２５８１４７号公報
【特許文献２】特開平８−１５６０３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、小ブロックの分け方がある程度一定のわけ方となっており、小ブロックで再度相関演算した結果も複数距離の競合状態が発生してしまい、精度良く焦点検出できないことが発生する。また、再び隣接個所の小ブロックを用いて再々度相関演算処理を行うなどの必要性が生じてしまい、組み込み機器で必要とされるリアルタイム性にかけたり、精度において不十分な面がみられたりしている。
【０００７】
（発明の目的）
本発明の目的は、位相差ＡＦ方式での焦点検出結果が複数距離の競合時に、遠近競合を分解して複数距離のそれぞれを焦点検出することが可能な焦点検出装置を提供することである。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明の焦点検出装置は、撮像光学系を通った光により形成された、撮像範囲内の物体の像を光電変換する撮像素子と、被写体の２像の位相差から焦点状態を検出する位相差検出手段と、前記位相差検出手段において位相差を検出する範囲を設定する画素選択手段と、前記撮像素子からの信号に基づいて、設定された被写体枠でのコントラストを検出するコントラスト検出手段とを備え、前記画素選択手段は、前記位相差検出手段によって検出された焦点状態の信頼度が低いと判定されたときには、前記コントラスト検出手段の検出結果に基づいて範囲を設定する。
【発明の効果】
【０００９】
本発明によれば、位相差ＡＦ方式での焦点検出結果が複数距離の競合時に、遠近競合を分解して複数距離のそれぞれを焦点検出することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施例１である焦点検出装置が備えられたビデオカメラの構成を示すブロック図である。
【図２】実施例１における外測ＡＦセンサユニットの詳細を示す図である。
【図３】位相差ＡＦにおける像信号を示す図である。
【図４】実施例１における焦点検出動作を示すフローチャートである。
【図５】実施例１における再焦点検出動作を示すフローチャートである。
【図６】実施例１における外測ＡＦセンサ視野およびコントラストＡＦ枠を示す図である。
【図７】実施例１を説明する図である。
【図８】実施例１におけるサブエリア選択を説明する図である。
【図９】実施例２におけるサブエリア選択を説明する図である。
【図１０】実施例３におけるビデオカメラの構成を示す図である。
【図１１】実施例３における各エリアを説明する図である。
【図１２】実施例３における評価値変化を示す図である。
【図１３】実施例３におけるフォーカス動作を示すフローチャートである。
【図１４】実施例３を説明する図である。
【図１５】実施例３を説明する図である。
【図１６】実施例３を説明する図である。
【図１７】実施例３を説明する図である。
【図１８】実施例３を説明する図である。
【発明を実施するための形態】
【００１１】
本発明を実施するための形態は、以下の実施例１および２に記載される通りである。
【実施例１】
【００１２】
図１には、本発明の実施例１である焦点検出装置が備えられたビデオカメラの構成を示す。同図において、点線内で示される１００はレンズユニットであり、被写体側（光側）から順に配置された、固定レンズ１０１、変倍レンズ１０２、絞り１０３、固定レンズ１０４及びフォーカスレンズ１０５により構成される撮像光学系を収容している。
【００１３】
１０８は変倍レンズ１０２、絞り１０３（絞り羽根）及びフォーカスレンズ１０５の位置を検出する位置エンコーダである。
【００１４】
変倍レンズ１０２はズームモータ１０６により光軸方向に駆動され、フォーカスレンズ１０５はフォーカスモータ１０７により光軸方向に駆動される。これらズームモータ１０６及びフォーカスモータ１０７はそれぞれ、ズーム駆動回路１２０及びフォーカス駆動回路１２１からの駆動信号を受けて動作する。
【００１５】
１０９はＣＭＯＳセンサ等により構成された撮像素子である。該撮像素子１０９は、撮像光学系に入射した光によって形成された、撮像範囲内の物体の像を光電変換する。撮像信号処理回路１１９は、撮像素子１０９からの出力信号に対して、増幅処理、ガンマ補正処理、ホワイトバランス処理等の各種信号処理を施し、所定の映像フォーマットの映像信号に変換する。該映像信号は、モニタディスプレイ１１４に出力されたり、半導体メモリ、光ディスク、ハードディスク等の画像記録用メディア１１５に記録されたりする。
【００１６】
１１０は各種制御手段としてのＣＰＵである。ＣＰＵ１１０は、本ビデオカメラの各種動作や機能をソフトウェアを通して制御する。操作スイッチ群１１１には、電源スイッチや、録画動作や再生動作を開始及び停止させるスイッチ、該ビデオカメラの動作モードを選択するためのスイッチ、撮像光学系のズーム状態を変化させるズームスイッチ等が設けられている。これらのスイッチのうち、電源スイッチが操作されると、フラッシュメモリ１１３に格納されていたコンピュータプログラムの一部がＲＡＭ１１２にロードされ、ＣＰＵ１１０はＲＡＭ１１２にロードされたプログラムに従って処理を行い、各部の動作を制御する。本ビデオカメラは先行技術例でも紹介したような一般的なコントラストＡＦを有している。撮像素子１０９から出力された映像信号を元に、撮像信号処理回路１１９において画面内の一部のみの撮像信号を抽出し、バンドパスフィルタによって、コントラストＡＦ評価値を生成してその他所定の演算と併せて合焦度を生成する。この合焦度に基づいて、通常山登り制御といわれる合焦位置の探索が行われるフォーカス制御が行われる。
【００１７】
１３０は外測ＡＦセンサユニットであり、外測用結像レンズ１３１と、ラインセンサ１３２から構成されている。該ラインセンサ１３２は、複数の受光素子が一列に並べられて構成されており、その詳細については図２において説明する。このラインセンサ１３２には、被写体からの光が撮像光学系とは別に設けられた焦点距離ｆである外測用結像レンズ１３１を通って、すなわち撮像光学系を通らずにラインセンサ１３２に到達する。到達した被写体像は、ラインセンサ１３２において光電変換されて、図示しないＡ／Ｄ変換器によってデジタル化される。この像信号を用いて、ＣＰＵ１１０において各種のデジタル処理を行い、被写体距離、相関量、信頼度などを算出する。これらの計算結果に基づいて、フォーカスモータ１０７を介してフォーカスレンズ１０５を駆動することで、外測ＡＦを実現する。外測ＡＦセンサユニット１３０およびＣＰＵ１１０が、本発明の、被写体の２像の位相差検出から焦点状態を検出する第一の焦点検出手段に相当する。
【００１８】
次に、図２を用いて外測ＡＦセンサユニット１３０の詳細について述べる。図２（ａ）において、２０１は焦点検出対象（撮影対象）の被写体であるとしており、２０２Ａおよび２０２Ｂは焦点距離ｆの外測用結像レンズである。２０３Ａおよび２０３Ｂは外測用結像レンズ２０２Ａ、２０２Ｂを通した光が結像された２像の像信号を検出する検出部であり、被写体２０１の光をＡ像およびＢ像として取得される。この外測用結像レンズ２０２Ａと２０２Ｂ、検出部２０３Ａと２０３Ｂは、それぞれ基線長Ｂだけ互いに離れて設置されている。これら検出部２０３Ａおよび２０３Ｂから得られる２つの像信号を用いて、三角測距原理に基づいて被写体距離Ｌを測定する。なお、外測用結像レンズ２０２は図１に示した結像レンズ１３１に、検出部２０３は図１に示したラインセンサ１３２にそれぞれ相当する。また、図２（ｂ）に示すのは、検出部２０３Ａをさらに詳細に示したものである。すなわち検出部２０３Ａは、それぞれ画素ピッチがｐとなる長方画素が隣接して４０個並んだ画素配列となっており、ラインセンサと呼んでいる。なお２０３Ｂについても同等の構成となっている。さらに図示しないデジタル回路によって蓄積制御が行われており、一つの画素の光量が所定以上になると他の画素の蓄積も停止するようになっている。また、焦点検出時のＣＰＵ１１０からの設定によってどの画素を蓄積制御対象画素にするかを任意個数選択できるように構成されている。なお、以下の説明では検出部２０３ＡのＡ像、検出部２０３ＢのＢ像のそれぞれの対称画素について、「ＳＡ１」は、Ａ像の画素ナンバー１を表し、「ＳＡ４０」は、Ａ像の画素ナンバー４０を記す。また同様に「ＳＢ４」は、Ｂ像の画素ナンバー４を表すこととする。
【００１９】
次に図３を用いて、被写体輝度を外測ＡＦセンサユニット１３０にて得られた像の一例を示す。図３（ａ）が被写体輝度をあらわしており、図３（ｂ）が得られた２像の像信号を示している。ここでは５０ｃｍほどの近距離被写体としており、このうち３０１の四角で示すポイントは、Ａ像ではＳＡ１３の位置、Ｂ像ではＳＢ２３の位置に検出されている。同様に、被写体のうち３０２の円で示すポイントは、Ａ像ではＳＡ２２の位置、Ｂ像ではＳＢ３２の位置に検出されていて、Ａ像とＢ像では位相差を示す１１画素相当シフトした状態となっている。このシフト量を元に三角測距の原理に基づいて被写体距離を計算する。このように近距離被写体では大きくシフトするものの、被写体が遠距離とくに無限距離にいる場合などは、このようなシフトは生じずに、Ａ像およびＢ像がほぼ同一のように検出される。
【００２０】
次に本焦点検出装置における焦点検出のフローを図４を用いて説明する。図４においてステップ４０１で焦点検出開始指示が発生すると、次のステップ４０２で外測ＡＦセンサの蓄積が開始される。ある範囲において所定以上の蓄積が行われると、蓄積が終了し、次のステップ４０３では蓄積された各画素の電荷量をＡ／Ｄ変換することにより、それぞれ被写体輝度の像信号として読み出される。ここでは、ＳＡ１〜ＳＡ４０，およびＳＢ１〜ＳＢ４０についてそれぞれの画素を取り出し、それぞれＡ像、Ｂ像としている。次のステップ４０４では読み出されたＡ像、Ｂ像の相関演算を行い、像が一致するシフト量を算出する。次のステップ４０５においては、算出したシフト量の確からしさ、つまり検出した焦点状態の信頼度を計算している。次のステップ４０６では、ステップ４０５で計算された信頼度に基づいて焦点検出結果が正しいかどうかを判定し、最終的な焦点検出結果として使用可能かどうかを判断する。ステップ４０６を実行するＣＰＵ１１０が、本発明の信頼度判定手段に相当する。ここで信頼度が高く、焦点検出結果として用いることができれば、ステップ４０７へ移行して焦点検出結果として決定し、焦点検出終了指示があるまで以上のシーケンスを繰り返す判断処理のステップ４０９へと移行していく。一方で、ステップ４０６において信頼度が低い場合には、ステップ４０８へ移行して、別途定義している再焦点検出演算処理を行うものとなる。
【００２１】
再焦点検出演算について図５のフローチャートを用いて以下に説明を加える。ステップ５０１で再焦点検出演算に入ると、次のステップ５０２では外測ＡＦセンサ視野の情報からコントラストＡＦ枠の設定が行われる。外測ＡＦセンサの視野とコントラストＡＦ枠については、さらに詳細を図６に示す。図６（ａ）は６００が撮像素子の撮像面の被写体枠、すなわち本ビデオカメラで記録する映像の画角とし、その画角に対して、外測ＡＦセンサの視野は６０１で一例として記している。外測ＡＦセンサの視野６０１は本ビデオカメラを組み立てる時に決まるもので、記録する映像の画角に対する大きさ（被写体枠）は、本撮像系の焦点距離に応じて広がったり小さくなったりして、変更されるものである。この外測ＡＦセンサの視野６０１に対して、コントラストＡＦ枠を表現したものが、図６（ｂ）となっている。このステップ５０２でのコントラストＡＦ枠の決定のとき、撮像光学系の主レンズの焦点距離情報から外測ＡＦセンサ視野を計算により特定し、その外測ＡＦセンサ視野と画角の共通部分に対して、重なるエリア内に３つに分割した枠をコントラストＡＦ枠として設定する。これが６０２〜６０４で示したコントラストＡＦ枠のＡ枠、Ｂ枠、Ｃ枠である。図５の次のステップ５０３ではこれらのコントラストＡＦ枠からコントラストＡＦ評価値（それぞれＴ１，Ｔ２，Ｔ３）を算出する。ステップ５０２および５０３を実行するＣＰＵ１１０が、本発明の第三の焦点検出手段に相当する。
【００２２】
次のステップ５０４ではこのコントラストＡＦ評価値によって、外測ＡＦのためのサブエリア設定（画素範囲の選択）を行う。ここでいうサブエリアとは外測ＡＦセンサのライン４０画素分のうち、所定の数の画素単位で複数分エリアとして焦点検出する時の分割するエリアのことを指す。たとえば４０画素のうち、１２画素ずつをセットとし、３つの複数エリアを設定することである。状況に応じて１６画素と２０画素の２つのエリアに分割されることもある。後ほどこの分割方法について詳細説明を行う。ステップ５０４を実行するＣＰＵ１１０が、本発明の、コントラスト検出の結果の高低により少なくとも二つ以上の画素範囲を選択する画素選択手段に相当する。
【００２３】
さて次のステップ５０５ではここで分割された各エリアの画素範囲の信号を用いてそれぞれのエリアで位相差の相関演算を行い、分割されたそれぞれのエリアでの焦点検出結果として計算する。ステップ５０５を実行するＣＰＵ１１０が、本発明の第二の焦点検出手段に相当する。次のステップ５０６では各サブエリアの焦点検出結果と、ステップ５０３で得られたコントラストＡＦ評価値との対応状況を確認して焦点検出結果として再度算出して確定、終了する。
【００２４】
さて、この時の具体例を図７を用いてさらに説明を加える。図７（ａ）ではメインの撮像系の被写体枠６００中に、近距離に被写体１、そしてやや遠距離に被写体２が存在している様子をあらわしている。この時の外測ＡＦセンサ視野は、図６に示したような範囲であったとして、同様にコントラストＡＦ枠は図７（ａ）中にも６０２〜６０４として設定されたものとする。図７（ｂ）は被写体距離が記されており、被写体１が近距離側Ｌ２の距離にあり、被写体２が遠距離Ｌ４の距離にあることを示している。また、図７（ｃ）は横軸に撮像光学系の被写体側の焦点がＬ１からＬ５までのそれぞれの位置に存在した場合のコントラストＡＦ評価値が記されている。例えばＬ２の距離に撮像光学系焦点がある場合には、被写体１に焦点が合っている状態であり、Ａ枠６０２におけるコントラストＡＦ評価値Ｔ１は非常に高い。Ｂ枠６０３のコントラストＡＦ評価値Ｔ２は腕の一部がかかり、やや高い評価値となる。また、一方でＣ枠６０４のコントラストＡＦ評価値Ｔ３は、被写体２を捕らえている枠であり、距離が異なるためにその分ボケ量が増して評価値も低い値を示す。このようにコントラストＡＦ評価値が低いグループと高いグループが存在すれば、その値を利用して、外測ＡＦセンサに複数のサブエリアを設定する。図７（ｄ）にはその切り分けポイントとして７０１のバー状の線で記しており、Ｌ２の距離の欄をみればＡ枠とＢ枠はひとつのサブエリアとして、Ｃ枠を２つ目のサブエリアとして切り分けるポイントとして利用する。このときに外測ＡＦセンサの複数エリアの設定は図８に記すようにサブエリアが切り分けられる。図８の８０１は外測ＡＦセンサのＡ像の視野であり、設定されたコントラストＡＦ枠のＡ枠〜Ｃ枠のそれぞれの対応が示されている。Ａ枠およびＢ枠は同じサブエリアとして捉えるので、Ａ枠側の外測ＡＦセンサ領域ＳＡ１の画素から、Ｂ枠の端の画素からＡ枠側に少し内側に入ったＳＡ２２の画素までをサブエリア１として、またＣ枠に対応したＳＡ２７からＳＡ４０の１４画素をサブエリア２として設定することになる。図７においてＬ２の距離に撮像レンズ焦点がある場合について説明してきたが、他の距離に焦点があった状態であってもほぼ同様にコントラストＡＦ評価値に基づいてサブエリアの設定が同等に設定可能となる。ただし、Ｌ３の距離にレンズ焦点がある場合などは、コントラストＡＦ評価値がそれぞれ大きくなることはない場合がある。このような場合については、２つのサブエリアではなく、各エリアに対応したサブエリアがそれぞれ作ることも可能であるが、ここではＡ枠とＣ枠に対応したサブエリアを２つすなわち、図８の状態で例を示すとすればサブエリア１はＳＡ１〜ＳＡ１５まで、サブエリア２はＳＡ２６〜ＳＡ４０までとして設定することで代替している。
【００２５】
外測ＡＦセンサの焦点検出結果としては、ＳＡ１〜ＳＡ４０画素のすべてを用いた相関演算結果は、複数の距離の被写体が混在することになり、焦点検出結果としては信頼できないものであるか、または焦点検出精度が足りないものとなってしまう。一方でサブエリア１またはサブエリア２のそれぞれの画素のみを使用して相関演算を行うと、焦点検出結果としてもそれぞれの枠ではそれぞれの距離の被写体のみであり、信頼度や精度が高いものとなって焦点検出できるものとなる。このようにコントラストＡＦ枠でボケていると判断される個所を外測ＡＦセンサと対応させて特定すれば、コントラストＡＦでボケている個所の焦点検出が可能となり、ＡＦのアプリケーションとしてさまざまに応用可能となる。
【実施例２】
【００２６】
別の実施例２を説明する。ただし実施例１との差は外測ＡＦセンサのサブエリアを生成する過程が異なるものであるので、サブエリアの生成方法として図９を用いて説明を行う。
【００２７】
実施例１ではコントラストＡＦ評価値にしたがってサブエリアを切り分けるとしたが、ここでは、顔検出枠を用いて切り分けるものとしている。顔検出機能は近年のカメラには標準的に搭載されており、その手法はさまざまだが、ここではＣＰＵにおいて撮像信号から顔検出枠の検出を行うものとしている。これにより検出された顔検出枠は、撮像された人物の顔の大きさに応じて変化する。例えば図９においては被写体１がヒトであるために顔検出枠として９０１に示す枠で取得される。同図には外測ＡＦセンサの視野６０１も示している。このときには、顔検出枠９０１を中心に１より大きい所定の倍率（例えば数倍）で大きさが決定されて外測ＡＦセンサ用のサブエリア１として９０２の範囲（ＳＡ１〜ＳＡ２０）が決定される。またその他のエリアとしてサブエリア２が９０３として決定されて、おのおののサブエリア１、２の信号によって相関演算が行われて焦点検出結果として返される。
【００２８】
なお、顔検出枠により人物の顔を検出することに限定されるものではなく、被写体の所定の対象を検出するものであっても良い。この場合、ＣＰＵ１１０が、本発明の対象検出手段に相当する。
【００２９】
以上のように外測ＡＦセンサの焦点検出結果に信頼性がない場合には、コントラストＡＦ評価値や顔検出枠の結果に応じて、外測ＡＦセンサの総画素のうち相関演算するのに必要な画素エリアをサブエリアとして決定して、再度相関演算を行う。これにより遠近被写体の切り分けが行えることで外測ＡＦセンサの焦点検出結果に信頼性や精度が増して様々なＡＦのアプリケーションに応用可能となる。
【００３０】
また、上述してきたラインセンサについては、撮像素子内の複数画素に設けられた一対のエリアセンサを用いても、つまりいわゆる撮像面位相差ＡＦ方式を用いても、概して同様なフローによって焦点検出を行うことが可能である。
【実施例３】
【００３１】
別の実施例３を説明する。図１０は本発明の実施例３である焦点検出装置が備えられたビデオカメラの構成を示す。実施例１の図１との違いは、撮像素子の内部構成が異なること、左右像抽出回路が追加されたこと、および外測センサが削除されたことである。
【００３２】
実施例３の撮像素子１４０は、撮像素子内部に左右像が得られる用に光学系およびセンサ配置が行われている。例えばマイクロレンズ下に複数の光電変換領域を設けてＡ像用の信号、Ｂ像用の信号を取得可能とすることにより、それらの集合としてＡ像、Ｂ像として、位相差を演算可能とするものである。センサそれぞれが左右像抽出回路１４１によってそれぞれＡ像、Ｂ像データとして抜き出されて、ＲＡＭ１１２の所定位置に配置される。この配置されたＡ像、Ｂ像データを元にＣＰＵ１１０によって相関演算を行い位相差による焦点状態を検出する構成となっている。また、本実施例でも実施例１と同様に撮像信号処理１１９において設定されている所定の枠において、コントラストＡＦ評価値を生成しうる。以下に、ＣＰＵ１１０において実行されるＡＦ制御を示す。
【００３３】
図１１には本ビデオカメラ起動時の撮像画角に対する位相差枠およびコントラストＡＦ評価値を生成するコントラスト評価枠（ＴＶＡＦ枠）を示しており、ある時点での被写体の位置関係と合わせて表記している。
【００３４】
具体的には、１１０１は撮像画角全体を示しており、この中に１１０２のように該画角中央エリアに位相差枠１１０２が１エリア設定されている。また、１１０３〜１１０５のように位相差枠１１０２に重畳しつつ３分割するような形でコントラスト評価枠として設定されており、それぞれＡ枠、Ｂ枠、Ｃ枠と呼ぶことにする。
【００３５】
被写体１はやや近距離（距離Ｘ３）被写体２はやや遠距離（距離Ｘ２）側の状態である。このような関係にあるときに、フォーカスレンズ位置を無限端から至近端へ駆動した場合のコントラスト評価値の変化の様子を図１２に示す。
【００３６】
図１２上段には横軸にフォーカスレンズ位置であり、Ｘ０側が無限側、Ｘ４側が至近側である。そして、縦軸にコントラスト評価値を示したグラフとなっている。Ａ枠、Ｂ枠、およびＣ枠のそれぞれに対応するコントラスト評価値のレンズ位置に対する変化は、１２０１、１２０２、および１２０３で示す。
【００３７】
また図１２の下段には、フォーカスレンズ位置が至近側へ向かって動く場合を前提にした変化量の符号を抽出したものを示す。例えば、レンズ位置がＸ０からＸ１へ動く場合には、Ａ枠は変化がみられないことから検出不可を示す空白となっている。Ｂ枠、Ｃ枠はプラス側へ変化しコントラスト値が増大していることを表している。
【００３８】
また、フォーカスレンズ位置がＸ１からＸ２へ動く場合には、Ａ枠およびＢ枠ではコントラスト評価値は増大するので、プラスが表記されており、Ｃ枠では減少する事を示すマイナスが表記されている。
【００３９】
このような被写体と枠の関係にあり、時刻ｔ０におけるフォーカスレンズ位置の初期値はＸ０に位置していることを前提に、ＡＦ制御のフローチャートを図１３として以下に動作を説明する。
【００４０】
図１３のステップ１３０１ではビデオカメラ起動直後のデフォルト値として図１２に示したように位相差枠およびＴＶＡＦ枠を設定する。ステップ１３０２ではこの位相差枠に対応させて相関演算し、像ずれ量からフォーカスレンズ目標位置を算出する。
【００４１】
図１１に示すような被写体関係の場合、遠近競合が発生している。ここでのフォーカスレンズ目標位置Ｘ２に対応する被写体距離は、被写体１および被写体２の距離の中間であるフォーカスレンズ位置Ｘ２に相当する位置とする。次のステップ１３０３においては算出されたフォーカスレンズ目標位置Ｘ２へ向かってフォーカスレンズの駆動を開始する。
【００４２】
次のステップ１３０４では設定されたＴＶＡＦ枠のＡ枠、Ｂ枠、Ｃ枠のそれぞれに対応して、コントラスト評価値を取得している。ステップ１３０５における制御により、フォーカスレンズ駆動が終わるまで各枠に対応するコントラスト評価値を取得し続けることとなる。さてステップ１３０５においてフォーカスレンズ駆動が終了すると、各ＴＶＡＦ枠に対応するコントラスト評価値の変化した状態に基づき、位相差枠を分割するかを判定する（ステップ１３０６）。この判定は、遠近競合の可能性を評価するものである。
【００４３】
図１１の例では、遠近競合が発生するため、図１２に示す表のように変化の符号からＡ枠，Ｂ枠、Ｃ枠の分離をＡ、ＢとＣの二つの領域に分けられることになる。よって次のステップ１３０７では図１４に示すように位相差枠を再設定する。
【００４４】
ＣＰＵ１１０は、図１１に示した１１０２の位相差枠を２つの位相差枠１４０１と１４０２へと２分割化し、それぞれ位相差サブエリア１、位相差サブエリア２とする。このように位相差枠を分けるとともに、さらにこれらの位相差枠へ重畳する形でそれぞれにＴＶＡＦ枠を設定する。
【００４５】
このときの様子を図１５に示す。図１５は、１４０１の位相差サブエリア１枠に対して、Ａ１枠、Ｂ１枠、Ｃ１枠とＴＶＡＦ枠を３枠設定し、１４０２の位相差サブエリア２枠に対してＡ２枠、Ｂ２枠として２枠を設定したものである。サブエリアと対応して再設定するＴＶＡＦ枠の数は、位相差ＡＦ枠のサイズによって異ならせてよい。最低２エリアあればよい。これらのように枠の設定が行われると、それぞれ設定された枠ごとに相関演算による位相差の算出、またＴＶＡＦに利用するコントラスト評価値の取得を行う（ステップ１３０８）。
【００４６】
次のステップ１３０９では、二つの位相差の算出値から、いずれの枠に対応する位相差を使って、レンズ駆動を制御するかを選択する。
【００４７】
なお、複数の相関演算結果からレンズ駆動を制御するパラメータを選択するアルゴリズムもさまざま考えられるが、ここでは至近優先かつ中央優先としている。この選択したパラメータを用いて、ＣＰＵ１１０は、ステップ１３０３に戻り、レンズ駆動の制御を行う。
【００４８】
このときの一例を時間軸で説明するものとして図１６に表す。本実施例の図１１のような被写体関係の場合において、フォーカスレンズ初期値をＸ０として、フォーカスレンズ位置と、位相差枠の状態、位相差による測距値、およびＴＶＡＦ枠の状態とＴＶＡＦ評価値の変化を時間とともに記している。
【００４９】
時刻ｔ０ではフォーカスレンズは初期位置Ｘ０にあり、位相差枠も初期の基本設定された基本枠であることを示す。相関演算の結果は、フォーカスレンズ位置に換算するとＸ２相当の値を示す。
【００５０】
また、コントラスト評価枠は、Ａ，Ｂ，Ｃの３枠であり、それぞれ評価値の変化量としては演算できていない状態を示している。時刻ｔ１になると、ｔ０で取得した信号に基づいて算出された位相差の結果に基づいてレンズ駆動が始まる。そして、レンズ位置はその手前であるＸ１の位置にあり、位相差枠による相関演算結果には変化がなくＸ２相当の結果を示している。
【００５１】
また、レンズが駆動されたことで、コンラスト評価値の変化量の評価値が算出されて、Ａ枠とＢ枠は‘＋’（コントラスト増加）、Ｃ枠も‘＋’（コントラスト増加）したことを示している。時刻ｔ２においてフォーカスレンズ位置がＸ２に到達したときにも、コンラスト評価値の変化量の評価値が算出されて、Ａ枠とＢ枠は‘＋’（コントラスト増加）、Ｃ枠は‘−’（コントラスト低下）に転じていることを示している。位相差の基本枠による相関演算結果は変わらずＸ２相当を検出しており、フォーカスレンズ駆動は行われない。
【００５２】
しかし、ここまでのＸ０〜Ｘ２へフォーカスレンズ駆動中のＴＶＡＦ枠のＡ，Ｂ，Ｃ枠のコントラスト変化結果から、Ａ，Ｂ枠は同じ変化を示しているものの、Ｃ枠は一旦増加してから減少傾向へと推移したことがわかる。これは、異なる被写体である可能性が高いことを示している。
【００５３】
このような検出結果から、ステップ１３０６で説明したとおり、位相差枠を１つの基本枠から二つのサブエリアへと分割する。また、それぞれのサブエリアに対してコントラスト評価枠も先に説明したとおりにそれぞれ設定される。具体的には、サブエリア１に対して、Ａ１枠、Ｂ１枠、Ｃ１枠、サブエリア２に対して、Ａ２枠、Ｂ２枠が設定される。
【００５４】
このように設定された状態において、時刻ｔ３ではサブエリア１、およびサブエリア２へと二つの位相差が設定されている。それぞれの枠の相関演算の結果として、サブエリア１ではＸ３相当である相関演算を得られ、サブエリア２ではＸ１相当の相関演算結果を得ている。この２つの相関演算結果から近距離、画角中央優先で計算されたアルゴリズムに基づいて、Ｘ３を抽出して、フォーカスレンズ位置をＸ３へ位置させるための動作となる。
【００５５】
よって所定時間後（図示していない）に、フォーカスレンズがＸ３に対応する位置へ移動して被写体１へ合焦する。
【００５６】
次に、図１７および図１８を用いて上述した位相差枠の分割後の動作について説明する。図１７では被写体１（またはカメラ）が横方向に移動して、位相差枠の全面にかかった場合の被写体と各検出枠との関係を示す図である。
【００５７】
このような状態におけるフォーカスレンズ位置およびコントラスト評価値、位相差測距値の遷移の様子を図１８の表にしている。時刻ｔ５ではフォーカスレンズ位置はＸ３にあり合焦状態が続いていたが、この時の位相差サブエリア１および位相差サブエリア２の測距結果がともにＸ３であると検出している。この位相差枠サブエリアの測距値が同じである場合には、次のステップでは二つのサブエリアを合体してこの場合には最初の基本枠に戻っている。よって次の時刻ｔ６では、位相差枠も基本枠に戻り、その測距結果はＸ３、またコントラスト評価枠も位相差基本枠用の設定に戻り、Ａ枠、Ｂ枠、Ｃ枠と最初の枠設定となったことを示している。
【００５８】
以上のような動作を繰り返し、位相差の測距結果を用いつつ、コントラスト評価値の変化から枠設定を行い、遠近競合した被写体でも合焦方向へ導くことが可能となる。
【符号の説明】
【００５９】
１０９ 撮像素子
１１０ ＣＰＵ
１３０ 外測ＡＦセンサユニット
２０２Ａ、２０２Ｂ 外測用結像レンズ
２０３Ａ、２０３Ｂ 検出部
６０２、６０３，６０４ コントラストＡＦ枠
９０１ 顔検出枠
９０２、９０３ サブエリア
【技術分野】
【０００１】
本発明は、自動焦点調節制御を行うための焦点検出装置に関し、ビデオカメラ等の撮像装置に好適なものである。
【背景技術】
【０００２】
ビデオカメラ等の撮像装置に搭載されるＡＦ（オートフォーカス）方式としては、コントラストＡＦ方式が一般的である。コントラストＡＦ方式では、撮像素子を用いて得られた映像信号のうち高周波成分を抽出して、焦点状態を示す信号としてのいわゆるＡＦ評価値信号を生成し、該ＡＦ評価値信号が最大になるようにフォーカスレンズの位置を制御する。
【０００３】
また、このようなコントラストＡＦ方式と、いわゆる外測位相差検出（外測ＡＦ）方式とを組み合わせた、いわゆるハイブリッドＡＦ方式を採用した撮像装置も提案されている（特許文献１参照）。外測ＡＦ方式は、撮像光学系を通らない光を利用して被写体までの距離をＡＦセンサにより直接検出し、その検出距離に基づいてフォーカスレンズの位置を制御するものである。外測ＡＦ方式と前述のコントラストＡＦ方式を組み合わせたハイブリッドＡＦ方式により、コントラストＡＦ方式による高精度で高い分解能をもつ合焦性能と、外測ＡＦ方式による高速な合焦性能とを併せ持つことができる。
【０００４】
外測ＡＦ方式では、一対のラインセンサから得られる被写体像の信号に基づいてその２像の相関演算を行い、位相ずれ量を算出して、三角測距の原理を用いて被写体までの距離を測定し、その検出距離に基づいてフォーカスレンズの位置を制御するものである。被写体距離が一意であれば、ラインセンサ上で検出される像の位相ずれ量も一意に決まってくる。しかし、例えば１ｍの被写体と１０ｍの被写体が同時にセンサ画角にはいるような複数距離の競合（または遠近競合などともいう）の場合には、像の位相ずれ量を一意に定めることも難しくなっている。そこで特許文献２などでは、複数距離の競合と判断されるような場合には、像を分割して複数の小ブロックごとに再度相関演算する構成を用いて複数距離をそれぞれ算出するような提案がなされている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００２−２５８１４７号公報
【特許文献２】特開平８−１５６０３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、小ブロックの分け方がある程度一定のわけ方となっており、小ブロックで再度相関演算した結果も複数距離の競合状態が発生してしまい、精度良く焦点検出できないことが発生する。また、再び隣接個所の小ブロックを用いて再々度相関演算処理を行うなどの必要性が生じてしまい、組み込み機器で必要とされるリアルタイム性にかけたり、精度において不十分な面がみられたりしている。
【０００７】
（発明の目的）
本発明の目的は、位相差ＡＦ方式での焦点検出結果が複数距離の競合時に、遠近競合を分解して複数距離のそれぞれを焦点検出することが可能な焦点検出装置を提供することである。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明の焦点検出装置は、撮像光学系を通った光により形成された、撮像範囲内の物体の像を光電変換する撮像素子と、被写体の２像の位相差から焦点状態を検出する位相差検出手段と、前記位相差検出手段において位相差を検出する範囲を設定する画素選択手段と、前記撮像素子からの信号に基づいて、設定された被写体枠でのコントラストを検出するコントラスト検出手段とを備え、前記画素選択手段は、前記位相差検出手段によって検出された焦点状態の信頼度が低いと判定されたときには、前記コントラスト検出手段の検出結果に基づいて範囲を設定する。
【発明の効果】
【０００９】
本発明によれば、位相差ＡＦ方式での焦点検出結果が複数距離の競合時に、遠近競合を分解して複数距離のそれぞれを焦点検出することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施例１である焦点検出装置が備えられたビデオカメラの構成を示すブロック図である。
【図２】実施例１における外測ＡＦセンサユニットの詳細を示す図である。
【図３】位相差ＡＦにおける像信号を示す図である。
【図４】実施例１における焦点検出動作を示すフローチャートである。
【図５】実施例１における再焦点検出動作を示すフローチャートである。
【図６】実施例１における外測ＡＦセンサ視野およびコントラストＡＦ枠を示す図である。
【図７】実施例１を説明する図である。
【図８】実施例１におけるサブエリア選択を説明する図である。
【図９】実施例２におけるサブエリア選択を説明する図である。
【図１０】実施例３におけるビデオカメラの構成を示す図である。
【図１１】実施例３における各エリアを説明する図である。
【図１２】実施例３における評価値変化を示す図である。
【図１３】実施例３におけるフォーカス動作を示すフローチャートである。
【図１４】実施例３を説明する図である。
【図１５】実施例３を説明する図である。
【図１６】実施例３を説明する図である。
【図１７】実施例３を説明する図である。
【図１８】実施例３を説明する図である。
【発明を実施するための形態】
【００１１】
本発明を実施するための形態は、以下の実施例１および２に記載される通りである。
【実施例１】
【００１２】
図１には、本発明の実施例１である焦点検出装置が備えられたビデオカメラの構成を示す。同図において、点線内で示される１００はレンズユニットであり、被写体側（光側）から順に配置された、固定レンズ１０１、変倍レンズ１０２、絞り１０３、固定レンズ１０４及びフォーカスレンズ１０５により構成される撮像光学系を収容している。
【００１３】
１０８は変倍レンズ１０２、絞り１０３（絞り羽根）及びフォーカスレンズ１０５の位置を検出する位置エンコーダである。
【００１４】
変倍レンズ１０２はズームモータ１０６により光軸方向に駆動され、フォーカスレンズ１０５はフォーカスモータ１０７により光軸方向に駆動される。これらズームモータ１０６及びフォーカスモータ１０７はそれぞれ、ズーム駆動回路１２０及びフォーカス駆動回路１２１からの駆動信号を受けて動作する。
【００１５】
１０９はＣＭＯＳセンサ等により構成された撮像素子である。該撮像素子１０９は、撮像光学系に入射した光によって形成された、撮像範囲内の物体の像を光電変換する。撮像信号処理回路１１９は、撮像素子１０９からの出力信号に対して、増幅処理、ガンマ補正処理、ホワイトバランス処理等の各種信号処理を施し、所定の映像フォーマットの映像信号に変換する。該映像信号は、モニタディスプレイ１１４に出力されたり、半導体メモリ、光ディスク、ハードディスク等の画像記録用メディア１１５に記録されたりする。
【００１６】
１１０は各種制御手段としてのＣＰＵである。ＣＰＵ１１０は、本ビデオカメラの各種動作や機能をソフトウェアを通して制御する。操作スイッチ群１１１には、電源スイッチや、録画動作や再生動作を開始及び停止させるスイッチ、該ビデオカメラの動作モードを選択するためのスイッチ、撮像光学系のズーム状態を変化させるズームスイッチ等が設けられている。これらのスイッチのうち、電源スイッチが操作されると、フラッシュメモリ１１３に格納されていたコンピュータプログラムの一部がＲＡＭ１１２にロードされ、ＣＰＵ１１０はＲＡＭ１１２にロードされたプログラムに従って処理を行い、各部の動作を制御する。本ビデオカメラは先行技術例でも紹介したような一般的なコントラストＡＦを有している。撮像素子１０９から出力された映像信号を元に、撮像信号処理回路１１９において画面内の一部のみの撮像信号を抽出し、バンドパスフィルタによって、コントラストＡＦ評価値を生成してその他所定の演算と併せて合焦度を生成する。この合焦度に基づいて、通常山登り制御といわれる合焦位置の探索が行われるフォーカス制御が行われる。
【００１７】
１３０は外測ＡＦセンサユニットであり、外測用結像レンズ１３１と、ラインセンサ１３２から構成されている。該ラインセンサ１３２は、複数の受光素子が一列に並べられて構成されており、その詳細については図２において説明する。このラインセンサ１３２には、被写体からの光が撮像光学系とは別に設けられた焦点距離ｆである外測用結像レンズ１３１を通って、すなわち撮像光学系を通らずにラインセンサ１３２に到達する。到達した被写体像は、ラインセンサ１３２において光電変換されて、図示しないＡ／Ｄ変換器によってデジタル化される。この像信号を用いて、ＣＰＵ１１０において各種のデジタル処理を行い、被写体距離、相関量、信頼度などを算出する。これらの計算結果に基づいて、フォーカスモータ１０７を介してフォーカスレンズ１０５を駆動することで、外測ＡＦを実現する。外測ＡＦセンサユニット１３０およびＣＰＵ１１０が、本発明の、被写体の２像の位相差検出から焦点状態を検出する第一の焦点検出手段に相当する。
【００１８】
次に、図２を用いて外測ＡＦセンサユニット１３０の詳細について述べる。図２（ａ）において、２０１は焦点検出対象（撮影対象）の被写体であるとしており、２０２Ａおよび２０２Ｂは焦点距離ｆの外測用結像レンズである。２０３Ａおよび２０３Ｂは外測用結像レンズ２０２Ａ、２０２Ｂを通した光が結像された２像の像信号を検出する検出部であり、被写体２０１の光をＡ像およびＢ像として取得される。この外測用結像レンズ２０２Ａと２０２Ｂ、検出部２０３Ａと２０３Ｂは、それぞれ基線長Ｂだけ互いに離れて設置されている。これら検出部２０３Ａおよび２０３Ｂから得られる２つの像信号を用いて、三角測距原理に基づいて被写体距離Ｌを測定する。なお、外測用結像レンズ２０２は図１に示した結像レンズ１３１に、検出部２０３は図１に示したラインセンサ１３２にそれぞれ相当する。また、図２（ｂ）に示すのは、検出部２０３Ａをさらに詳細に示したものである。すなわち検出部２０３Ａは、それぞれ画素ピッチがｐとなる長方画素が隣接して４０個並んだ画素配列となっており、ラインセンサと呼んでいる。なお２０３Ｂについても同等の構成となっている。さらに図示しないデジタル回路によって蓄積制御が行われており、一つの画素の光量が所定以上になると他の画素の蓄積も停止するようになっている。また、焦点検出時のＣＰＵ１１０からの設定によってどの画素を蓄積制御対象画素にするかを任意個数選択できるように構成されている。なお、以下の説明では検出部２０３ＡのＡ像、検出部２０３ＢのＢ像のそれぞれの対称画素について、「ＳＡ１」は、Ａ像の画素ナンバー１を表し、「ＳＡ４０」は、Ａ像の画素ナンバー４０を記す。また同様に「ＳＢ４」は、Ｂ像の画素ナンバー４を表すこととする。
【００１９】
次に図３を用いて、被写体輝度を外測ＡＦセンサユニット１３０にて得られた像の一例を示す。図３（ａ）が被写体輝度をあらわしており、図３（ｂ）が得られた２像の像信号を示している。ここでは５０ｃｍほどの近距離被写体としており、このうち３０１の四角で示すポイントは、Ａ像ではＳＡ１３の位置、Ｂ像ではＳＢ２３の位置に検出されている。同様に、被写体のうち３０２の円で示すポイントは、Ａ像ではＳＡ２２の位置、Ｂ像ではＳＢ３２の位置に検出されていて、Ａ像とＢ像では位相差を示す１１画素相当シフトした状態となっている。このシフト量を元に三角測距の原理に基づいて被写体距離を計算する。このように近距離被写体では大きくシフトするものの、被写体が遠距離とくに無限距離にいる場合などは、このようなシフトは生じずに、Ａ像およびＢ像がほぼ同一のように検出される。
【００２０】
次に本焦点検出装置における焦点検出のフローを図４を用いて説明する。図４においてステップ４０１で焦点検出開始指示が発生すると、次のステップ４０２で外測ＡＦセンサの蓄積が開始される。ある範囲において所定以上の蓄積が行われると、蓄積が終了し、次のステップ４０３では蓄積された各画素の電荷量をＡ／Ｄ変換することにより、それぞれ被写体輝度の像信号として読み出される。ここでは、ＳＡ１〜ＳＡ４０，およびＳＢ１〜ＳＢ４０についてそれぞれの画素を取り出し、それぞれＡ像、Ｂ像としている。次のステップ４０４では読み出されたＡ像、Ｂ像の相関演算を行い、像が一致するシフト量を算出する。次のステップ４０５においては、算出したシフト量の確からしさ、つまり検出した焦点状態の信頼度を計算している。次のステップ４０６では、ステップ４０５で計算された信頼度に基づいて焦点検出結果が正しいかどうかを判定し、最終的な焦点検出結果として使用可能かどうかを判断する。ステップ４０６を実行するＣＰＵ１１０が、本発明の信頼度判定手段に相当する。ここで信頼度が高く、焦点検出結果として用いることができれば、ステップ４０７へ移行して焦点検出結果として決定し、焦点検出終了指示があるまで以上のシーケンスを繰り返す判断処理のステップ４０９へと移行していく。一方で、ステップ４０６において信頼度が低い場合には、ステップ４０８へ移行して、別途定義している再焦点検出演算処理を行うものとなる。
【００２１】
再焦点検出演算について図５のフローチャートを用いて以下に説明を加える。ステップ５０１で再焦点検出演算に入ると、次のステップ５０２では外測ＡＦセンサ視野の情報からコントラストＡＦ枠の設定が行われる。外測ＡＦセンサの視野とコントラストＡＦ枠については、さらに詳細を図６に示す。図６（ａ）は６００が撮像素子の撮像面の被写体枠、すなわち本ビデオカメラで記録する映像の画角とし、その画角に対して、外測ＡＦセンサの視野は６０１で一例として記している。外測ＡＦセンサの視野６０１は本ビデオカメラを組み立てる時に決まるもので、記録する映像の画角に対する大きさ（被写体枠）は、本撮像系の焦点距離に応じて広がったり小さくなったりして、変更されるものである。この外測ＡＦセンサの視野６０１に対して、コントラストＡＦ枠を表現したものが、図６（ｂ）となっている。このステップ５０２でのコントラストＡＦ枠の決定のとき、撮像光学系の主レンズの焦点距離情報から外測ＡＦセンサ視野を計算により特定し、その外測ＡＦセンサ視野と画角の共通部分に対して、重なるエリア内に３つに分割した枠をコントラストＡＦ枠として設定する。これが６０２〜６０４で示したコントラストＡＦ枠のＡ枠、Ｂ枠、Ｃ枠である。図５の次のステップ５０３ではこれらのコントラストＡＦ枠からコントラストＡＦ評価値（それぞれＴ１，Ｔ２，Ｔ３）を算出する。ステップ５０２および５０３を実行するＣＰＵ１１０が、本発明の第三の焦点検出手段に相当する。
【００２２】
次のステップ５０４ではこのコントラストＡＦ評価値によって、外測ＡＦのためのサブエリア設定（画素範囲の選択）を行う。ここでいうサブエリアとは外測ＡＦセンサのライン４０画素分のうち、所定の数の画素単位で複数分エリアとして焦点検出する時の分割するエリアのことを指す。たとえば４０画素のうち、１２画素ずつをセットとし、３つの複数エリアを設定することである。状況に応じて１６画素と２０画素の２つのエリアに分割されることもある。後ほどこの分割方法について詳細説明を行う。ステップ５０４を実行するＣＰＵ１１０が、本発明の、コントラスト検出の結果の高低により少なくとも二つ以上の画素範囲を選択する画素選択手段に相当する。
【００２３】
さて次のステップ５０５ではここで分割された各エリアの画素範囲の信号を用いてそれぞれのエリアで位相差の相関演算を行い、分割されたそれぞれのエリアでの焦点検出結果として計算する。ステップ５０５を実行するＣＰＵ１１０が、本発明の第二の焦点検出手段に相当する。次のステップ５０６では各サブエリアの焦点検出結果と、ステップ５０３で得られたコントラストＡＦ評価値との対応状況を確認して焦点検出結果として再度算出して確定、終了する。
【００２４】
さて、この時の具体例を図７を用いてさらに説明を加える。図７（ａ）ではメインの撮像系の被写体枠６００中に、近距離に被写体１、そしてやや遠距離に被写体２が存在している様子をあらわしている。この時の外測ＡＦセンサ視野は、図６に示したような範囲であったとして、同様にコントラストＡＦ枠は図７（ａ）中にも６０２〜６０４として設定されたものとする。図７（ｂ）は被写体距離が記されており、被写体１が近距離側Ｌ２の距離にあり、被写体２が遠距離Ｌ４の距離にあることを示している。また、図７（ｃ）は横軸に撮像光学系の被写体側の焦点がＬ１からＬ５までのそれぞれの位置に存在した場合のコントラストＡＦ評価値が記されている。例えばＬ２の距離に撮像光学系焦点がある場合には、被写体１に焦点が合っている状態であり、Ａ枠６０２におけるコントラストＡＦ評価値Ｔ１は非常に高い。Ｂ枠６０３のコントラストＡＦ評価値Ｔ２は腕の一部がかかり、やや高い評価値となる。また、一方でＣ枠６０４のコントラストＡＦ評価値Ｔ３は、被写体２を捕らえている枠であり、距離が異なるためにその分ボケ量が増して評価値も低い値を示す。このようにコントラストＡＦ評価値が低いグループと高いグループが存在すれば、その値を利用して、外測ＡＦセンサに複数のサブエリアを設定する。図７（ｄ）にはその切り分けポイントとして７０１のバー状の線で記しており、Ｌ２の距離の欄をみればＡ枠とＢ枠はひとつのサブエリアとして、Ｃ枠を２つ目のサブエリアとして切り分けるポイントとして利用する。このときに外測ＡＦセンサの複数エリアの設定は図８に記すようにサブエリアが切り分けられる。図８の８０１は外測ＡＦセンサのＡ像の視野であり、設定されたコントラストＡＦ枠のＡ枠〜Ｃ枠のそれぞれの対応が示されている。Ａ枠およびＢ枠は同じサブエリアとして捉えるので、Ａ枠側の外測ＡＦセンサ領域ＳＡ１の画素から、Ｂ枠の端の画素からＡ枠側に少し内側に入ったＳＡ２２の画素までをサブエリア１として、またＣ枠に対応したＳＡ２７からＳＡ４０の１４画素をサブエリア２として設定することになる。図７においてＬ２の距離に撮像レンズ焦点がある場合について説明してきたが、他の距離に焦点があった状態であってもほぼ同様にコントラストＡＦ評価値に基づいてサブエリアの設定が同等に設定可能となる。ただし、Ｌ３の距離にレンズ焦点がある場合などは、コントラストＡＦ評価値がそれぞれ大きくなることはない場合がある。このような場合については、２つのサブエリアではなく、各エリアに対応したサブエリアがそれぞれ作ることも可能であるが、ここではＡ枠とＣ枠に対応したサブエリアを２つすなわち、図８の状態で例を示すとすればサブエリア１はＳＡ１〜ＳＡ１５まで、サブエリア２はＳＡ２６〜ＳＡ４０までとして設定することで代替している。
【００２５】
外測ＡＦセンサの焦点検出結果としては、ＳＡ１〜ＳＡ４０画素のすべてを用いた相関演算結果は、複数の距離の被写体が混在することになり、焦点検出結果としては信頼できないものであるか、または焦点検出精度が足りないものとなってしまう。一方でサブエリア１またはサブエリア２のそれぞれの画素のみを使用して相関演算を行うと、焦点検出結果としてもそれぞれの枠ではそれぞれの距離の被写体のみであり、信頼度や精度が高いものとなって焦点検出できるものとなる。このようにコントラストＡＦ枠でボケていると判断される個所を外測ＡＦセンサと対応させて特定すれば、コントラストＡＦでボケている個所の焦点検出が可能となり、ＡＦのアプリケーションとしてさまざまに応用可能となる。
【実施例２】
【００２６】
別の実施例２を説明する。ただし実施例１との差は外測ＡＦセンサのサブエリアを生成する過程が異なるものであるので、サブエリアの生成方法として図９を用いて説明を行う。
【００２７】
実施例１ではコントラストＡＦ評価値にしたがってサブエリアを切り分けるとしたが、ここでは、顔検出枠を用いて切り分けるものとしている。顔検出機能は近年のカメラには標準的に搭載されており、その手法はさまざまだが、ここではＣＰＵにおいて撮像信号から顔検出枠の検出を行うものとしている。これにより検出された顔検出枠は、撮像された人物の顔の大きさに応じて変化する。例えば図９においては被写体１がヒトであるために顔検出枠として９０１に示す枠で取得される。同図には外測ＡＦセンサの視野６０１も示している。このときには、顔検出枠９０１を中心に１より大きい所定の倍率（例えば数倍）で大きさが決定されて外測ＡＦセンサ用のサブエリア１として９０２の範囲（ＳＡ１〜ＳＡ２０）が決定される。またその他のエリアとしてサブエリア２が９０３として決定されて、おのおののサブエリア１、２の信号によって相関演算が行われて焦点検出結果として返される。
【００２８】
なお、顔検出枠により人物の顔を検出することに限定されるものではなく、被写体の所定の対象を検出するものであっても良い。この場合、ＣＰＵ１１０が、本発明の対象検出手段に相当する。
【００２９】
以上のように外測ＡＦセンサの焦点検出結果に信頼性がない場合には、コントラストＡＦ評価値や顔検出枠の結果に応じて、外測ＡＦセンサの総画素のうち相関演算するのに必要な画素エリアをサブエリアとして決定して、再度相関演算を行う。これにより遠近被写体の切り分けが行えることで外測ＡＦセンサの焦点検出結果に信頼性や精度が増して様々なＡＦのアプリケーションに応用可能となる。
【００３０】
また、上述してきたラインセンサについては、撮像素子内の複数画素に設けられた一対のエリアセンサを用いても、つまりいわゆる撮像面位相差ＡＦ方式を用いても、概して同様なフローによって焦点検出を行うことが可能である。
【実施例３】
【００３１】
別の実施例３を説明する。図１０は本発明の実施例３である焦点検出装置が備えられたビデオカメラの構成を示す。実施例１の図１との違いは、撮像素子の内部構成が異なること、左右像抽出回路が追加されたこと、および外測センサが削除されたことである。
【００３２】
実施例３の撮像素子１４０は、撮像素子内部に左右像が得られる用に光学系およびセンサ配置が行われている。例えばマイクロレンズ下に複数の光電変換領域を設けてＡ像用の信号、Ｂ像用の信号を取得可能とすることにより、それらの集合としてＡ像、Ｂ像として、位相差を演算可能とするものである。センサそれぞれが左右像抽出回路１４１によってそれぞれＡ像、Ｂ像データとして抜き出されて、ＲＡＭ１１２の所定位置に配置される。この配置されたＡ像、Ｂ像データを元にＣＰＵ１１０によって相関演算を行い位相差による焦点状態を検出する構成となっている。また、本実施例でも実施例１と同様に撮像信号処理１１９において設定されている所定の枠において、コントラストＡＦ評価値を生成しうる。以下に、ＣＰＵ１１０において実行されるＡＦ制御を示す。
【００３３】
図１１には本ビデオカメラ起動時の撮像画角に対する位相差枠およびコントラストＡＦ評価値を生成するコントラスト評価枠（ＴＶＡＦ枠）を示しており、ある時点での被写体の位置関係と合わせて表記している。
【００３４】
具体的には、１１０１は撮像画角全体を示しており、この中に１１０２のように該画角中央エリアに位相差枠１１０２が１エリア設定されている。また、１１０３〜１１０５のように位相差枠１１０２に重畳しつつ３分割するような形でコントラスト評価枠として設定されており、それぞれＡ枠、Ｂ枠、Ｃ枠と呼ぶことにする。
【００３５】
被写体１はやや近距離（距離Ｘ３）被写体２はやや遠距離（距離Ｘ２）側の状態である。このような関係にあるときに、フォーカスレンズ位置を無限端から至近端へ駆動した場合のコントラスト評価値の変化の様子を図１２に示す。
【００３６】
図１２上段には横軸にフォーカスレンズ位置であり、Ｘ０側が無限側、Ｘ４側が至近側である。そして、縦軸にコントラスト評価値を示したグラフとなっている。Ａ枠、Ｂ枠、およびＣ枠のそれぞれに対応するコントラスト評価値のレンズ位置に対する変化は、１２０１、１２０２、および１２０３で示す。
【００３７】
また図１２の下段には、フォーカスレンズ位置が至近側へ向かって動く場合を前提にした変化量の符号を抽出したものを示す。例えば、レンズ位置がＸ０からＸ１へ動く場合には、Ａ枠は変化がみられないことから検出不可を示す空白となっている。Ｂ枠、Ｃ枠はプラス側へ変化しコントラスト値が増大していることを表している。
【００３８】
また、フォーカスレンズ位置がＸ１からＸ２へ動く場合には、Ａ枠およびＢ枠ではコントラスト評価値は増大するので、プラスが表記されており、Ｃ枠では減少する事を示すマイナスが表記されている。
【００３９】
このような被写体と枠の関係にあり、時刻ｔ０におけるフォーカスレンズ位置の初期値はＸ０に位置していることを前提に、ＡＦ制御のフローチャートを図１３として以下に動作を説明する。
【００４０】
図１３のステップ１３０１ではビデオカメラ起動直後のデフォルト値として図１２に示したように位相差枠およびＴＶＡＦ枠を設定する。ステップ１３０２ではこの位相差枠に対応させて相関演算し、像ずれ量からフォーカスレンズ目標位置を算出する。
【００４１】
図１１に示すような被写体関係の場合、遠近競合が発生している。ここでのフォーカスレンズ目標位置Ｘ２に対応する被写体距離は、被写体１および被写体２の距離の中間であるフォーカスレンズ位置Ｘ２に相当する位置とする。次のステップ１３０３においては算出されたフォーカスレンズ目標位置Ｘ２へ向かってフォーカスレンズの駆動を開始する。
【００４２】
次のステップ１３０４では設定されたＴＶＡＦ枠のＡ枠、Ｂ枠、Ｃ枠のそれぞれに対応して、コントラスト評価値を取得している。ステップ１３０５における制御により、フォーカスレンズ駆動が終わるまで各枠に対応するコントラスト評価値を取得し続けることとなる。さてステップ１３０５においてフォーカスレンズ駆動が終了すると、各ＴＶＡＦ枠に対応するコントラスト評価値の変化した状態に基づき、位相差枠を分割するかを判定する（ステップ１３０６）。この判定は、遠近競合の可能性を評価するものである。
【００４３】
図１１の例では、遠近競合が発生するため、図１２に示す表のように変化の符号からＡ枠，Ｂ枠、Ｃ枠の分離をＡ、ＢとＣの二つの領域に分けられることになる。よって次のステップ１３０７では図１４に示すように位相差枠を再設定する。
【００４４】
ＣＰＵ１１０は、図１１に示した１１０２の位相差枠を２つの位相差枠１４０１と１４０２へと２分割化し、それぞれ位相差サブエリア１、位相差サブエリア２とする。このように位相差枠を分けるとともに、さらにこれらの位相差枠へ重畳する形でそれぞれにＴＶＡＦ枠を設定する。
【００４５】
このときの様子を図１５に示す。図１５は、１４０１の位相差サブエリア１枠に対して、Ａ１枠、Ｂ１枠、Ｃ１枠とＴＶＡＦ枠を３枠設定し、１４０２の位相差サブエリア２枠に対してＡ２枠、Ｂ２枠として２枠を設定したものである。サブエリアと対応して再設定するＴＶＡＦ枠の数は、位相差ＡＦ枠のサイズによって異ならせてよい。最低２エリアあればよい。これらのように枠の設定が行われると、それぞれ設定された枠ごとに相関演算による位相差の算出、またＴＶＡＦに利用するコントラスト評価値の取得を行う（ステップ１３０８）。
【００４６】
次のステップ１３０９では、二つの位相差の算出値から、いずれの枠に対応する位相差を使って、レンズ駆動を制御するかを選択する。
【００４７】
なお、複数の相関演算結果からレンズ駆動を制御するパラメータを選択するアルゴリズムもさまざま考えられるが、ここでは至近優先かつ中央優先としている。この選択したパラメータを用いて、ＣＰＵ１１０は、ステップ１３０３に戻り、レンズ駆動の制御を行う。
【００４８】
このときの一例を時間軸で説明するものとして図１６に表す。本実施例の図１１のような被写体関係の場合において、フォーカスレンズ初期値をＸ０として、フォーカスレンズ位置と、位相差枠の状態、位相差による測距値、およびＴＶＡＦ枠の状態とＴＶＡＦ評価値の変化を時間とともに記している。
【００４９】
時刻ｔ０ではフォーカスレンズは初期位置Ｘ０にあり、位相差枠も初期の基本設定された基本枠であることを示す。相関演算の結果は、フォーカスレンズ位置に換算するとＸ２相当の値を示す。
【００５０】
また、コントラスト評価枠は、Ａ，Ｂ，Ｃの３枠であり、それぞれ評価値の変化量としては演算できていない状態を示している。時刻ｔ１になると、ｔ０で取得した信号に基づいて算出された位相差の結果に基づいてレンズ駆動が始まる。そして、レンズ位置はその手前であるＸ１の位置にあり、位相差枠による相関演算結果には変化がなくＸ２相当の結果を示している。
【００５１】
また、レンズが駆動されたことで、コンラスト評価値の変化量の評価値が算出されて、Ａ枠とＢ枠は‘＋’（コントラスト増加）、Ｃ枠も‘＋’（コントラスト増加）したことを示している。時刻ｔ２においてフォーカスレンズ位置がＸ２に到達したときにも、コンラスト評価値の変化量の評価値が算出されて、Ａ枠とＢ枠は‘＋’（コントラスト増加）、Ｃ枠は‘−’（コントラスト低下）に転じていることを示している。位相差の基本枠による相関演算結果は変わらずＸ２相当を検出しており、フォーカスレンズ駆動は行われない。
【００５２】
しかし、ここまでのＸ０〜Ｘ２へフォーカスレンズ駆動中のＴＶＡＦ枠のＡ，Ｂ，Ｃ枠のコントラスト変化結果から、Ａ，Ｂ枠は同じ変化を示しているものの、Ｃ枠は一旦増加してから減少傾向へと推移したことがわかる。これは、異なる被写体である可能性が高いことを示している。
【００５３】
このような検出結果から、ステップ１３０６で説明したとおり、位相差枠を１つの基本枠から二つのサブエリアへと分割する。また、それぞれのサブエリアに対してコントラスト評価枠も先に説明したとおりにそれぞれ設定される。具体的には、サブエリア１に対して、Ａ１枠、Ｂ１枠、Ｃ１枠、サブエリア２に対して、Ａ２枠、Ｂ２枠が設定される。
【００５４】
このように設定された状態において、時刻ｔ３ではサブエリア１、およびサブエリア２へと二つの位相差が設定されている。それぞれの枠の相関演算の結果として、サブエリア１ではＸ３相当である相関演算を得られ、サブエリア２ではＸ１相当の相関演算結果を得ている。この２つの相関演算結果から近距離、画角中央優先で計算されたアルゴリズムに基づいて、Ｘ３を抽出して、フォーカスレンズ位置をＸ３へ位置させるための動作となる。
【００５５】
よって所定時間後（図示していない）に、フォーカスレンズがＸ３に対応する位置へ移動して被写体１へ合焦する。
【００５６】
次に、図１７および図１８を用いて上述した位相差枠の分割後の動作について説明する。図１７では被写体１（またはカメラ）が横方向に移動して、位相差枠の全面にかかった場合の被写体と各検出枠との関係を示す図である。
【００５７】
このような状態におけるフォーカスレンズ位置およびコントラスト評価値、位相差測距値の遷移の様子を図１８の表にしている。時刻ｔ５ではフォーカスレンズ位置はＸ３にあり合焦状態が続いていたが、この時の位相差サブエリア１および位相差サブエリア２の測距結果がともにＸ３であると検出している。この位相差枠サブエリアの測距値が同じである場合には、次のステップでは二つのサブエリアを合体してこの場合には最初の基本枠に戻っている。よって次の時刻ｔ６では、位相差枠も基本枠に戻り、その測距結果はＸ３、またコントラスト評価枠も位相差基本枠用の設定に戻り、Ａ枠、Ｂ枠、Ｃ枠と最初の枠設定となったことを示している。
【００５８】
以上のような動作を繰り返し、位相差の測距結果を用いつつ、コントラスト評価値の変化から枠設定を行い、遠近競合した被写体でも合焦方向へ導くことが可能となる。
【符号の説明】
【００５９】
１０９ 撮像素子
１１０ ＣＰＵ
１３０ 外測ＡＦセンサユニット
２０２Ａ、２０２Ｂ 外測用結像レンズ
２０３Ａ、２０３Ｂ 検出部
６０２、６０３，６０４ コントラストＡＦ枠
９０１ 顔検出枠
９０２、９０３ サブエリア
【特許請求の範囲】
【請求項１】
撮像光学系を通った光により形成された、撮像範囲内の物体の像を光電変換する撮像素子と、
被写体の２像の位相差から焦点状態を検出する位相差検出手段と、 前記位相差検出手段において位相差を検出する範囲を設定する画素選択手段と、
前記撮像素子からの信号に基づいて、設定された被写体枠でのコントラストを検出するコントラスト検出手段とを備え、
前記画素選択手段は、前記位相差検出手段によって検出された焦点状態の信頼度が低いと判定されたときには、前記コントラスト検出手段の検出結果に基づいて範囲を設定することを特徴とする焦点検出装置。
【請求項２】
前記設定された被写体枠は、前記撮像光学系の焦点距離に応じて大きさが変更されることを特徴とする請求項１に記載の焦点検出装置。
【請求項３】
前記画素選択手段は、前記コントラスト検出手段のコントラスト検出結果の高低により少なくとも二つ以上の範囲を設定することを特徴とした請求項１または２のいずれか１項に記載の焦点検出装置。
【請求項４】
撮像光学系を通った光により形成された、撮像範囲内の物体の像を光電変換する撮像素子と、
被写体の２像の位相差から焦点状態を検出する位相差検出手段と、
前記位相差検出手段において位相差を検出する範囲を設定する画素選択手段と、
前記撮像素子からの信号に基づいて被写体の所定の対象を検出する対象検出手段とを備え、
前記画素選択手段は、前記位相差検出手段によって検出された焦点状態の信頼度が低いと判定されたときには、前記対象検出手段の検出結果に基づいて範囲を設定することを特徴とする焦点検出装置。
【請求項５】
前記対象検出手段は、前記被写体の所定の対象として顔を検出することを特徴とする請求項４に記載の焦点検出装置。
【請求項６】
前記対象検出手段は、前記撮像光学系の焦点距離に応じて前記被写体の所定の対象の大きさを変更することを特徴とした請求項４または５のいずれか１項に記載の焦点検出装置。
【請求項７】
前記画素選択手段は、選択する画素範囲の大きさを、前記被写体の所定の対象の、１より大きい所定の倍率の大きさとすることを特徴とする請求項４ないし６のいずれか１項に記載の焦点検出装置。
【請求項８】
前記位相差検出手段のセンサは、撮像光学系とは別の光学系からの光を受けるラインセンサであることを特徴とする請求項１または７のいずれか１項に記載の焦点検出装置。
【請求項９】
前記位相差検出手段のセンサは、前記撮像素子内の複数画素に設けられたセンサであることを特徴とする請求項１ないし７のいずれか１項に記載の焦点検出装置。
【請求項１】
撮像光学系を通った光により形成された、撮像範囲内の物体の像を光電変換する撮像素子と、
被写体の２像の位相差から焦点状態を検出する位相差検出手段と、 前記位相差検出手段において位相差を検出する範囲を設定する画素選択手段と、
前記撮像素子からの信号に基づいて、設定された被写体枠でのコントラストを検出するコントラスト検出手段とを備え、
前記画素選択手段は、前記位相差検出手段によって検出された焦点状態の信頼度が低いと判定されたときには、前記コントラスト検出手段の検出結果に基づいて範囲を設定することを特徴とする焦点検出装置。
【請求項２】
前記設定された被写体枠は、前記撮像光学系の焦点距離に応じて大きさが変更されることを特徴とする請求項１に記載の焦点検出装置。
【請求項３】
前記画素選択手段は、前記コントラスト検出手段のコントラスト検出結果の高低により少なくとも二つ以上の範囲を設定することを特徴とした請求項１または２のいずれか１項に記載の焦点検出装置。
【請求項４】
撮像光学系を通った光により形成された、撮像範囲内の物体の像を光電変換する撮像素子と、
被写体の２像の位相差から焦点状態を検出する位相差検出手段と、
前記位相差検出手段において位相差を検出する範囲を設定する画素選択手段と、
前記撮像素子からの信号に基づいて被写体の所定の対象を検出する対象検出手段とを備え、
前記画素選択手段は、前記位相差検出手段によって検出された焦点状態の信頼度が低いと判定されたときには、前記対象検出手段の検出結果に基づいて範囲を設定することを特徴とする焦点検出装置。
【請求項５】
前記対象検出手段は、前記被写体の所定の対象として顔を検出することを特徴とする請求項４に記載の焦点検出装置。
【請求項６】
前記対象検出手段は、前記撮像光学系の焦点距離に応じて前記被写体の所定の対象の大きさを変更することを特徴とした請求項４または５のいずれか１項に記載の焦点検出装置。
【請求項７】
前記画素選択手段は、選択する画素範囲の大きさを、前記被写体の所定の対象の、１より大きい所定の倍率の大きさとすることを特徴とする請求項４ないし６のいずれか１項に記載の焦点検出装置。
【請求項８】
前記位相差検出手段のセンサは、撮像光学系とは別の光学系からの光を受けるラインセンサであることを特徴とする請求項１または７のいずれか１項に記載の焦点検出装置。
【請求項９】
前記位相差検出手段のセンサは、前記撮像素子内の複数画素に設けられたセンサであることを特徴とする請求項１ないし７のいずれか１項に記載の焦点検出装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２０１３−２９８０３（Ｐ２０１３−２９８０３Ａ）
【公開日】平成２５年２月７日（２０１３．２．７）
【国際特許分類】
【出願番号】特願２０１２−９０３６７（Ｐ２０１２−９０３６７）
【出願日】平成２４年４月１１日（２０１２．４．１１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年２月７日（２０１３．２．７）
【国際特許分類】
【出願日】平成２４年４月１１日（２０１２．４．１１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]