撮像装置
【課題】被写体像を撮像する撮像素子に焦点検出用画素を配置して焦点検出を行う場合に、高精度な焦点検出性能と高い画像品質を両立できるようにする。
【解決手段】被写体像を結像させるための撮影レンズの一部の瞳領域を通過した光を受光する複数の焦点検出用画素からなる焦点検出用画素群と、撮影レンズの全瞳領域を通過した光を受光する複数の撮像用画素からなる撮像用画素群とを有する撮像素子と、焦点検出用画素の位置に相当する画像信号を、焦点検出用画素の開口の大きさに応じて、焦点検出用画素の信号を用いて生成するか、焦点検出用画素の周囲の撮像用画素の信号を用いて生成するかの少なくとも一方を行う画像処理手段とを備える。
【解決手段】被写体像を結像させるための撮影レンズの一部の瞳領域を通過した光を受光する複数の焦点検出用画素からなる焦点検出用画素群と、撮影レンズの全瞳領域を通過した光を受光する複数の撮像用画素からなる撮像用画素群とを有する撮像素子と、焦点検出用画素の位置に相当する画像信号を、焦点検出用画素の開口の大きさに応じて、焦点検出用画素の信号を用いて生成するか、焦点検出用画素の周囲の撮像用画素の信号を用いて生成するかの少なくとも一方を行う画像処理手段とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラやビデオカメラ等の撮像装置に関し、特に撮像素子からの出力に基づいて焦点検出を行なう撮像装置に関する。
【背景技術】
【０００２】
撮像素子に位相差検出機能を付与することで、専用のＡＦセンサを不要とし、かつ高速の位相差ＡＦを撮像面上で実現するための技術が提案されている。例えば特開２０００−１５６８２３号公報（特許文献１）では、撮像素子の一部の受光素子（画素）において、オンチップマイクロレンズの光軸に対して受光部の感度領域を偏心させることで瞳分割機能を付与している。そしてこれらの画素を焦点検出用画素とし、撮像用画素群の間に所定の間隔で配置することで、位相差式焦点検出を行なう。ここで、焦点検出用画素は撮像専用画素に対して、受光部面積が小さい、あるいは受光領域の重心位置がオンチップマイクロレンズの光軸に対して偏倚している等の受光特性上の相違がある。そのために、焦点検出用画素が配置された場所では画像情報の一部が欠損するため、その周辺部の撮像専用画素の情報から補間演算を行なって、画像信号を生成している。
【０００３】
ここで、焦点検出用画素の配置密度を疎とすれば、上記画素欠陥による画質劣化を軽減できるが、一方で焦点検出用画像のサンプリング特性が悪化し、焦点検出性能は低下する。すなわち、この技術分野においては、焦点検出性能の維持と画質劣化防止の両立を図るためには、焦点検出用画素の配置方法が重要となる。
【０００４】
特開２００７−２７９３１２号公報（特許文献２）に開示されている技術では、第１の焦点検出用画素群と第２の焦点検出用画素群を有し、像の検出ピッチが短い第１の焦点検出用画素群で高精度な焦点検出を行ない、焦点検出用画素の受光領域を絞り像の検出ピッチを長くした第２の焦点検出用画素群で大デフォーカス量検出を行なうことで、高精度な焦点検出と大デフォーカス量検出とを両立させている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０００−１５６８２３号公報
【特許文献２】特開２００７−２７９３１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら上述の公知技術には、以下のような課題がある。特許文献２に開示されている技術では、合焦近傍の焦点状態を高精度に検出するために、第１の焦点検出用画素の配置を密にしている。そして、焦点検出用画素の画像信号を周辺の撮像専用画素の出力信号を用いて補間処理により生成している。しかし、空間周波数の高い被写体を受光する場合などでは、焦点検出用画素の位置の像は周辺の撮像専用画素の位置の像に対して連続性が低い。そのため、焦点検出用画素の周辺の撮像専用画素情報から補間演算を行なうと、周辺画素によって取得される画像が、本来焦点検出用画素の位置にあるべき撮像画素の出力からかけ離れてしまう可能性がある。また、焦点検出用画素を密に配置すると、補間演算を行なう上で参照する周辺の撮像画素の選択肢が制限されてしまうため、補正誤差が大きくなる可能性は高くなる。
【０００７】
本発明は上述した課題に鑑みてなされたものであり、その目的は、被写体像を撮像する撮像素子に焦点検出用画素を配置して焦点検出を行う場合に、高精度な焦点検出性能と高い画像品質を両立できるようにすることである。
【課題を解決するための手段】
【０００８】
本発明に係わる撮像装置は、被写体像を結像させるための撮影レンズの一部の瞳領域を通過した光を受光する複数の焦点検出用画素からなる焦点検出用画素群と、前記撮影レンズの全瞳領域を通過した光を受光する複数の撮像用画素からなる撮像用画素群とを有する撮像素子と、前記焦点検出用画素の位置に相当する画像信号を、前記焦点検出用画素の開口の大きさに応じて、前記焦点検出用画素の信号を用いて生成するか、前記焦点検出用画素の周囲の撮像用画素の信号を用いて生成するかの少なくとも一方を行う画像処理手段と、を備えることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、高精度な焦点検出性能と高い画像品質の両立を実現することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施形態に係わる電子カメラの構成図。
【図２】本発明の一実施形態の撮像素子のブロック図。
【図３】撮像素子の撮像用画素の平面図と断面図。
【図４】撮像素子の横方向に瞳分割を行なうための焦点検出用画素の平面図と断面図。
【図５】焦点検出用画素における一対の画素開口と焦点検出性能の関係を示す図。
【図６】第１の焦点検出用画素及び第２の焦点検出用画素の平面図。
【図７】撮像素子の縦方向に瞳分割を行なうための焦点検出用画素の平面図と断面図。
【図８】撮像素子上の焦点検出領域を示す図。
【図９】撮像素子の焦点検出領域の拡大図。
【図１０】一実施形態の電子カメラの動作を示すフローチャート。
【図１１】一実施形態の電子カメラの焦点検出動作を示すフローチャート。
【図１２】一実施形態の電子カメラの撮影動作を示すフローチャート。
【発明を実施するための形態】
【００１１】
図１は本発明の一実施形態に係わるカメラの構成図で、撮像素子を有したカメラ本体と撮影レンズが一体となった電子カメラを示している。図１において、１０１は撮影光学系（結像光学系）の先端に配置された第１レンズ群で、光軸方向に進退可能に保持される。１０２は絞り兼用シャッタで、その開口径を調節することで撮影時の光量調節を行なうほか、静止画撮影時には露光秒時調節用シャッタとしての機能も備える。１０３は第２レンズ群である。そして絞り兼用シャッタ１０２及び第２レンズ群１０３は一体となって光軸方向に進退し、第１レンズ群１０１の進退動作との連動により、変倍作用（ズーム機能）をなす。
【００１２】
１０５は第３レンズ群で、光軸方向の進退により、焦点調節を行なう。１０６は光学的ローパスフィルタで、撮影画像の偽色やモアレを軽減するための光学素子である。１０７はＣ−ＭＯＳセンサとその周辺回路で構成された撮像素子である。撮像素子１０７には、横方向ｍ画素、縦方向ｎ画素の受光ピクセル上に、ベイヤー配列の原色カラーモザイクフィルタがオンチップで形成された２次元単板カラーセンサが用いられる。
【００１３】
１１１はズームアクチュエータで、不図示のカム筒を回動することで、第１レンズ群１０１乃至第３レンズ群１０５を光軸方向に進退駆動し、変倍操作を行なう。１１２は絞りシャッタアクチュエータで、絞り兼用シャッタ１０２の開口径を制御して撮影光量を調節すると共に、静止画撮影時の露光時間制御を行なう。１１４はフォーカスアクチュエータで、第３レンズ群１０５を光軸方向に進退駆動して焦点調節を行なう。
【００１４】
１１５は撮影時の被写体照明用電子フラッシュで、キセノン管を用いた閃光照明装置が好適であるが、連続発光するＬＥＤを備えた照明装置を用いても良い。１１６はＡＦ補助光装置で、所定の開口パターンを有したマスクの像を、投光レンズを介して被写界に投影し、暗い被写体あるいは低コントラスト被写体に対する焦点検出能力を向上させる。
【００１５】
１２１は、カメラ本体の種々の制御を司るＣＰＵ（カメラ制御部）で、演算部、ＲＯＭ、ＲＡＭ、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ、通信インターフェイス回路等を有する。そして、ＲＯＭに記憶された所定のプログラムに基づいて、カメラが有する各種回路を駆動し、ＡＦ、撮影、画像処理、記録等の一連の動作を実行する。
【００１６】
１２２は電子フラッシュ制御回路で、撮影動作に同期して電子フラッシュ１１５を点灯制御する。１２３は補助光駆動回路で、焦点検出動作に同期してＡＦ補助光装置１１６を点灯制御する。１２４は撮像素子駆動回路で、撮像素子１０７の撮像動作を制御するとともに、取得した画像信号をＡ／Ｄ変換してＣＰＵ１２１に送信する。１２５は画像処理回路で、撮像素子１０７が取得した画像のγ変換、カラー補間、ＪＰＥＧ圧縮等の処理を行なう。
【００１７】
１２６はフォーカス駆動回路で、焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動制御し、第３レンズ群１０５を光軸方向に進退駆動して焦点調節を行なう。１２８は絞りシャッタ駆動回路で、絞りシャッタアクチュエータ１１２を駆動制御して絞り兼用シャッタ１０２の開口を制御する。１２９はズーム駆動回路で、撮影者のズーム操作に応じてズームアクチュエータ１１１を駆動する。
【００１８】
１３１はＬＣＤ等の表示器で、カメラの撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、焦点検出時の合焦状態表示画像等を表示する。１３２は操作スイッチ群で、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等で構成される。１３３は着脱可能なフラッシュメモリで、撮影済み画像を記録する。
【００１９】
図２は、撮像素子のブロック図を示している。なお、図２のブロック図は、読み出し動作が説明できる最低限の構成を示しており、画素リセット信号などが省略されている。図２において、２０１は光電変換部であり、フォトダイオード、画素アンプ、リセット用のスイッチなどで構成されている。なお、以下では、光電変換部２０１はＰＤmnと略す。ここで、ｍは二次元状に配列された光電変換部のＸ方向アドレスであり、ｍ＝０，１，…，ｍ−１、ｎはＹ方向アドレスであり、ｎ＝０，１，…，ｎ−１である。また、本実施形態の撮像素子は、ｍ×ｎの光電変換部が２次元状に配置されている。符号は、煩雑になるので、左上の光電変換部ＰＤ00付近のみに付記した。
【００２０】
２０２は、光電変換部のＰＤmnの出力を選択するスイッチであり、垂直走査回路２０８により、一行ごとに選択される。２０３は、光電変換部ＰＤmn（２０１）の出力を一時的に記憶するためのラインメモリであり、垂直走査回路２０８により選択された一行分の光電変換部の出力を記憶するものである。通常は、コンデンサが使用される。２０４は、水平出力線に接続されて、水平出力線を所定の電位ＶＨＲＳＴにリセットするためのスイッチであり、信号ＨＲＳＴにより制御される。
【００２１】
２０５は、前述のラインメモリ２０３に記憶された光電変換部ＰＤmnの出力を水平出力線に順次出力するためのスイッチであり、Ｈ0からＨm-1のスイッチを後述の水平走査回路２０６により順次走査することによって、一行分の光電変換部の出力が読み出される。
【００２２】
２０６は、水平走査回路であり、ラインメモリに記憶された光電変換部ＰＤmnの出力を順次走査して、水平出力線に出力させる。信号ＰＨＳＴは、水平走査回路のデータ入力、ＰＨ１、ＰＨ２は、シフトクロック入力であり、ＰＨ１＝Ｈでデータがセットされ、ＰＨ２でデータがラッチされる構成となっている。そして、ＰＨ１、ＰＨ２にシフトクロックを入力することにより、ＰＨＳＴを順次シフトさせて、Ｈ0からＨm-1のスイッチを順次オンさせることができる。ＳＫＩＰは、間引き読み出し時に設定を行なわせる制御端子入力である。ＳＫＩＰ端子をＨレベルに設定することにより、水平走査回路２０６を所定間隔でスキップさせることが可能になる。２０７は出力アンプである。
【００２３】
２０８は垂直走査回路であり、順次走査して、Ｖ0からＶn-1を出力することにより、光電変換部ＰＤmnの選択スイッチ２０２を選択することができる。制御信号は、水平走査回路２０６と同様に、データ入力ＰＶＳＴ、シフトクロックＰＶ１、ＰＶ２、間引き読み設定ＳＫＩＰにより制御される。動作に関しては、水平走査回路と同様であるので詳細説明は省略する。また、図中では、垂直走査回路２０８の制御信号は不図示とした。
【００２４】
図３、図４、図７は、撮像用画素と焦点検出用画素の構造を説明する図である。本実施形態においては、２行×２列の４画素のうち、対角２画素にＧ（緑色）の分光感度を有する画素を配置し、他の２画素にＲ（赤色）とＢ（青色）の分光感度を有する画素を各１個配置した、３種類の画素を有するベイヤー配列で説明する。そして、このベイヤー配列の間に、後述する構造の焦点検出用画素が所定の規則にて分散配置される。
【００２５】
図３に撮像用画素（撮像用画素群）の配置と構造を示す。図３（ａ）は２×２の撮像用画素の平面図である。図３（ａ）の断面Ａ−Ａを図３（ｂ）に示す。ＭＬは各画素の最前面に配置されたオンチップマイクロレンズ、ＣＦＲはＲ（Ｒｅｄ）のカラーフィルタ、ＣＦＧはＧ（Ｇｒｅｅｎ）のカラーフィルタである。ＰＤは図２で説明したＣ−ＭＯＳセンサの光電変換部を模式的に示したものであり、ＣＬはＣ−ＭＯＳセンサ内の各種信号を伝達する信号線を形成するための配線層である。ＴＬは撮影光学系を模式的に示したものである。
【００２６】
ここで、撮像用画素のオンチップマイクロレンズＭＬと光電変換部ＰＤは、撮影光学系ＴＬを通過した光束を可能な限り有効に取り込むように構成されている。換言すると、撮影光学系ＴＬの射出瞳ＥＰと光電変換部ＰＤは、マイクロレンズＭＬにより共役関係にあり、かつ光電変換部の有効面積は大面積に設計される。また、図３（ｂ）ではＧ画素の入射光束について説明したが、Ｒ画素及びＢ（Ｂｌｕｅ）画素も同一の構造となっている。従って、撮像用のＲＧＢ各画素に対応した射出瞳ＥＰは大径となり、被写体からの光束を効率よく取り込んで画像信号のＳ／Ｎを向上させている。
【００２７】
図４は、撮影光学系の水平方向（横方向）に瞳分割（全瞳領域を２つに分割する）を行なうための焦点検出用画素の構造を示す。ここで水平方向あるいは横方向の定義は、撮影光学系の光軸が水平となるようにカメラを構えたとき、この光軸に直交し、かつ水平方向に伸びる直線に沿った方向を指す。図４（ａ）の断面Ａ−Ａを図４（ｂ）に示す。マイクロレンズＭＬと、光電変換部ＰＤは図３（ｂ）に示した撮像用画素と同一構造である。また、撮像素子で瞳分割を行なうため、配線層ＣＬの開口部はマイクロレンズＭＬの中心線に対して一方向に偏倚している。具体的には、画素ＳＡおよび、その開口部ＯＰＨＡは右側に偏倚しているため、撮影光学系ＴＬの左側の射出瞳ＥＰＨＡを通過した光束を受光する。同様に、画素ＳＢの開口部ＯＰＨＢは左側に偏倚しているため、撮影光学系ＴＬの右側の射出瞳ＥＰＨＢを通過した光束を受光する。よって、画素ＳＡを水平方向に規則的に配列し、これらの画素群で取得した被写体像をＡ像とする。また、画素ＳＢも水平方向に規則的に配列し、これらの画素群で取得した被写体像をＢ像とすると、Ａ像とＢ像の相対位置を検出することで、被写体像のピントずれ量（デフォーカス量）が検出できる。
【００２８】
図５は、瞳分割された一対の焦点検出用画素において、撮影光学系の射出瞳を通過する光束を制限するための画素開口部と焦点検出性能の関係を説明するための図である。図５において、５０１及び５０２は画素の光軸中心から互いに逆方向に偏心させた一対の焦点検出用画素の画素開口部であり、破線の円５０５で表された領域が撮像用画素における瞳位置、斜線部が焦点検出用画素における測距瞳である。また、点５０３、点５０４は焦点検出用画素における測距瞳の重心位置であり、点５０３と点５０４の水平方向の距離Ｗ１が大きいほど同じデフォーカス量に対する像ズレ量が大きくなるため、焦点検出精度が上がる。また、Ｗ２は測距瞳の瞳並び方向の幅であり、Ｗ２が大きいほどデフォーカスした時の焦点検出用画素群で受光される像のボケ量が大きくなる。逆に、Ｗ２を小さくすると、大デフォーカス時でも像のボケ量が小さくなり、コントラストの高い像を用いて像ズレ検出を行なうことが可能となる。
【００２９】
図６（ａ）は、第１の焦点検出用画素を含む２行×２列の画素の平面図である。本実施形態において、第１の焦点検出用画素群は、合焦近傍において高精度に焦点調節を行なうために、焦点検出領域内で第１の焦点検出用画素を密に（配列ピッチを小さく）配置している。第１の焦点検出用画素は密に配置されている（図９では像検出ピッチ２画素）ので、焦点検出用画素の位置に相当する画像信号をその画素の周辺の撮像用画素の画像信号から補間処理により生成すると、被写体によっては補正痕が目立ってしまう可能性がある。そこで、第１の焦点検出用画素群のように焦点検出用画素を密に配置する場合は、その画素の信号にゲイン補正処理を行なうことでその画素の位置の画像情報を生成する。焦点検出用画素の信号を画像情報生成に用いるためには、焦点検出用画素の信号においてもＳ／Ｎが高いことが望まれる。また、焦点検出用画素の信号に基づいて画像情報を生成するため、本来その位置にあるべき撮像用画素との間では、色に対する感度特性を変えることは望ましくない。よって、第１の焦点検出用画素はＲとＢの画素を撮像用画素として残し、Ｇの画素を焦点検出用画素とするとともに、焦点検出用画素では射出瞳を通過する光束の半分以上を受光できるように設計（図７ではＷ２を撮像画素の半分とする）している。これを図６においてＳＡＨ、及びＳＢＨで示す。
【００３０】
図６（ｂ）は、第２の焦点検出用画素を含む４行×２列の画素の平面図である。本実施形態において、第２の焦点検出用画素群は比較的デフォーカスの大きいときに焦点調節を行なうために、Ｗ２を小さくしている。また、大デフォーカス時には像がボケているため、細かく像を検出する必要性がないので、第２の焦点検出用画素は疎（図９では像検出ピッチ１２画素）に配置している。焦点検出用画素を疎に配置することで、その画素位置の画像情報の生成を補間演算から行なう上で、参照する画素の選択肢が増えるため補間精度を向上させることができる。それとともに、疎に配置されているため、撮像画像上で多少の補正痕は目立ち難くなる。さらに、第２の焦点検出用画素群を構成する第２の焦点検出用画素をベイヤー配列上ＲとＢの画素の位置に配置し、Ｇ画素は撮像用画素として残すことでより目立ち難くなる。撮像信号を得る場合、Ｇ画素は輝度情報の主成分をなす。そして人間の画像認識特性は輝度情報に敏感であるため、Ｇ画素が欠損すると画質劣化が認められやすい。ＲもしくはＢ画素は、色情報を取得する画素であるが、人間は色情報には鈍感であるため、色情報を取得する画素は多少の欠損が生じても画質劣化に気づきにくいためである。第２の焦点検出用画素は図６においてＳＡＳ及びＳＢＳで示す。なお、本実施形態においては、第２の焦点検出用画素の信号は画像生成に用いないため、Ｒ、Ｂの色分離用カラーフィルタの代わりに、Ｇのフィルター、もしくは透明膜ＣＦＷ（Ｗｈｉｔｅ）を配置してもよい。
【００３１】
なお、図６では、撮影画面の横方向に輝度分布を有した被写体、例えば縦線に対しては焦点検出可能であるが、縦方向に輝度分布を有する横線は焦点検出不能である。縦方向のピントずれ量を検出したい場合には、ＳＡおよび、その開口部ＯＰＨＡを上側に、ＳＢおよび、その開口部ＯＰＨＢを下側に偏倚させて構成すればよい。
【００３２】
図７は、撮影光学系の縦方向に瞳分割を行なうための焦点検出用画素の配置と構造を示す。ここで縦横方向の定義は、撮影光学系の光軸が水平となるようにカメラを構えたとき、その光軸に直交し、鉛直方向に伸びる直線に沿った方向を指す。図７（ａ）は、焦点検出用画素を含む２行×２列の画素の平面図で、図５（ａ）と同様に、ＲとＢの画素を撮像用画素として残し、Ｇの画素を焦点検出用画素としている。これを図７（ａ）においてＳＣ及びＳＤで示す。
【００３３】
図７（ａ）の断面Ａ−Ａを図７（ｂ）に示すが、図５（ｂ）の画素が横方向に瞳分離する構造であるのに対して、図７（ｂ）の画素は瞳分離方向が縦方向になっているだけで、画素の構造としては変わらない。すなわち、画素ＳＣの開口部ＯＰＶＣは下側に偏倚しているため、撮影光学系ＴＬの上側の射出瞳ＥＰＶＣを通過した光束を受光する。同様に、画素ＳＤの開口部ＯＰＶＤは上側に偏倚しているため、撮影光学系ＴＬの下側の射出瞳ＥＰＶＤを通過した光束を受光する。よって、画素ＳＣを垂直方向に規則的に配列し、これらの画素群で取得した被写体像をＣ像とする。また、画素ＳＤも垂直方向に規則的に配列し、これらの画素群で取得した被写体像をＤ像とすると、Ｃ像とＤ像の相対位置を検出することで、垂直方向に輝度分布を有する被写体像のピントずれ量（デフォーカス量）が検出できる。
【００３４】
図８は、撮像画面上の画像領域と焦点検出領域の関係を示した図である。撮像画面上には複数の焦点検出領域１〜５を設定し、焦点検出用画素を撮像画面上の焦点検出領域１〜５に対応して配列する。つまり、撮像素子上の焦点検出用画素群は、焦点検出領域１〜５に対応した領域で結像された被写体像から像をサンプリングすることで焦点検出を行なう。それぞれの焦点検出領域には合焦位置近傍での高精度な焦点検出用の第１の焦点検出用画素群と大デフォーカス検出用の第２の焦点検出用画素群が配置されている。
【００３５】
図９（ａ）は、一つの焦点検出領域の一部を拡大して、焦点検出用画素群の配置を示した図であり、図９（ｂ）は、撮像用画素および焦点検出用画素の配置を示した図である。図９（ｂ）において、ＳＡＨ、及びＳＢＨは第１の焦点検出用画素群を構成する焦点検出用画素であり、画素部の開口を水平方向で互いに逆方向に偏倚させて形成された焦点検出用の画素で、水平方向の像ズレ量を検出するための画素である。ＳＡＨ、及びＳＢＨの白抜き部分が、偏倚した画素の開口位置を示している。図中のＳＡＳ、及びＳＢＳは第２の焦点検出用画素群を構成する焦点検出用画素であり、画素部の開口を水平方向で互いに逆方向に偏倚させて形成された焦点検出用の画素で、水平方向の像ズレ量を検出するための画素である。ＳＡＳ及びＳＢＳにおいても白抜き部分が、偏倚した画素の開口位置を示している。本実施形態では、図９（ａ）に示すように、第１の焦点検出用画素群と第２の焦点検出用画素群で、瞳並び方向に直行する方向での配置密度を異ならせる。第１の焦点検出用画素群に対して、第２の焦点検出用画素群を多く配置している。この理由として、第２の焦点検出用画素は第１の焦点検出用画素に対して画素開口の幅Ｗ２が狭いため、焦点検出用画素のＳ／Ｎが低く、低輝度被写体に対する像ズレ量検出が困難になる可能性があるためである。そこで、第２の焦点検出用画素群を複数ライン配置して、複数のラインの信号を加算平均してＳ／Ｎを向上させることで正確な焦点調節を可能にする。また、複数のラインでそれぞれ算出された複数の像ズレ量から信頼性の高い結果を選択して焦点調節に用いる方法をとってもよい。
【００３６】
図１０は、本実施形態における電子カメラの動作を示すフローチャートである。撮影者がカメラの電源スイッチをオン操作すると、ステップＳ１００２においてＣＰＵ１２１はカメラ内の各アクチュエータや撮像素子の動作確認を行ない、メモリ内容や実行プログラムの初期化を行なうと共に、撮影準備動作を実行する。ステップＳ１００３では撮像素子の撮像動作を開始し、プレビュー用の低画素動画像を出力する。ステップＳ１００４では読み出した動画をカメラ背面に設けられた表示器１３１に表示し、撮影者はこのプレビュー画像を目視して撮影時の構図決定を行なう。ステップＳ１００５で図８の画像領域の中から焦点検出領域を決定する。その後、ステップＳ１１０１に進み、焦点検出サブルーチンを実行する。
【００３７】
図１１は焦点検出サブルーチンであるステップＳ１１０１のフローチャートである。メインフローのステップＳ１００５から当サブルーチンのステップＳ１１０１にジャンプすると、ステップＳ１１０２においては、メインルーチンのステップＳ１００５で決定した焦点検出領域に含まれる第１の焦点検出用画素群、及び第２の焦点検出用画素群の出力信号を読み出す。ステップＳ１１０３では、第１の焦点検出用画素群から得られる一対の像信号から、２像の相関演算を行ない、２像の相対的な位置ズレ量を計算する。ステップＳ１１０４では、相関演算結果の信頼性を判定する。ここで信頼性とは、２像の一致度を指し、２像の一致度が良い場合は一般的に焦点検出結果の信頼性が高い。信頼性が所定値内に収まった場合、信頼性が高いと判断しステップＳ１１１０に進み、検出結果から焦点ズレ量を演算する。そしてステップＳ１１１１にて図１０のメインフロー内のステップＳ１００７にリターンする。また、ステップ１１０４の相関演算結果の信頼性判定において、信頼性が所定値外になった場合、ステップＳ１１０５に進む。ステップＳ１１０５〜ステップＳ１１０７では、第２の焦点検出用画素群から得られる像信号により相関演算を行なう。ステップＳ１１０５、Ｓ１１０６では、複数ライン配置している第２の焦点検出用画素群において、各ラインで水平方向で同位置にある各焦点検出用画素の出力信号をそれぞれ加算平均して一対の像信号を生成する。ステップＳ１１０７では得られた２像の相関演算を行ない、２像の相対的な位置ズレ量を計算する。ステップＳ１１０８では、第２の焦点検出用画素群による相関演算結果の信頼性を判定する。ステップ１１０８の相関演算結果の信頼性判定において、所定値内に収まった場合は、ステップＳ１１１０に進み、信頼性が所定値外になった場合はステップＳ１１０９に進む。ステップＳ１１０９ではフォーカスレンズを駆動し、その後ステップＳ１１０１を繰り返し実行する。
【００３８】
図１０のステップＳ１００７では、図１１のステップＳ１１１０で計算した焦点ズレ量が許容値以下か否かを判断する。そして焦点ズレ量が許容値より大きい場合は、非合焦と判断し、ステップＳ１００８でフォーカスレンズを駆動し、その後ステップＳ１１０１〜ステップＳ１００７を繰り返し実行する。そしてステップＳ１００７にて合焦状態に達したと判定されると、ステップＳ１００９にて合焦表示を行ない、ステップＳ１０１０に移行する。
【００３９】
ステップＳ１０１０では、撮影開始スイッチがオン操作されたか否かを判別し、オン操作されていなければステップＳ１０１０にて撮影待機状態を維持する。ステップＳ１０１０で撮影開始スイッチがオン操作されるとステップＳ１２０１に移行し、撮影サブルーチンを実行する。
【００４０】
図１２は撮影サブルーチンのフローチャートである。撮影開始スイッチが操作されると、ステップＳ１２０１を経由して、ステップＳ１２０２では絞りシャッタアクチュエータ１１２を駆動し、露光時間を規定する絞り兼用シャッタ１０２の開口制御を行なう。ステップＳ１２０３では、高画素静止画撮影のための画像読み出し、すなわち全画素の読み出しを行なう。ステップＳ１２０４、及びステップＳ１２０５では読み出した画像信号において、各焦点検出用画素の位置の画像データを生成する。すなわち、第１の焦点検出用画素のように、焦点検出用画素が密に配置されている領域ではゲイン補正により焦点検出用画素の信号から画像データを生成する。また、第２の焦点検出用画素のように、焦点検出用画素が疎に配置されている領域では、周囲の撮像用画素の情報から補間により画像データを生成する。各焦点検出用画素でのゲイン補正値は予め、レンズ、絞りごとに各画素の位置によって算出可能な数式をカメラ内部に記憶しておく。もしくは、撮像を行なうごとに、焦点検出用画素の出力と周辺に配置された同色撮像用画素の出力に基づいてゲイン補正値をリアルタイムで取得していくゲイン調整部を持ってもよい。
【００４１】
図１２に示す撮影動作を示すフローチャートでは、焦点検出用画素が密に配置されている領域ではゲイン補正により焦点検出用画素の信号から画像データを生成し、焦点検出用画素が疎に配置されている領域では、周囲の撮像用画素の情報から補間により画像データを生成する例を示した。しかし、画像データの生成方法として、ゲイン補正、補間補正の演算結果にそれぞれ重み付けを行ない、加重加算により生成する方法をとってもよい。第１の焦点検出用画素では、ゲイン補正結果をより優先し、第２の焦点検出用画素では、補間補正結果を優先することで同様の効果が得られる。
【００４２】
ステップＳ１２０６では、画像のγ補正、エッジ強調等の画像処理を行い、ステップＳ１２０７において、フラッシュメモリ１３３に撮影画像を記録する。ステップＳ１２０８では、表示器１３１に撮影済み画像を表示し、ステップＳ１２０９で図１０のメインフローにリターンする。図１０のメインフローに戻ると、ステップＳ１０１２にて一連の撮影動作を終了する。
【００４３】
以上のような動作により、撮像素子１０７内に設けられる第１の焦点検出用画素領域、及び第２の焦点検出用画素領域でともに、高い品質の画像と広いフォーカス範囲での高精度なＡＦを両立させることができる。
【００４４】
なお、以上説明した実施形態は代表的な例にすぎず、本発明の実施に際しては、本実施形態に対して種々の変形や変更が可能である。
【技術分野】
【０００１】
本発明は、デジタルカメラやビデオカメラ等の撮像装置に関し、特に撮像素子からの出力に基づいて焦点検出を行なう撮像装置に関する。
【背景技術】
【０００２】
撮像素子に位相差検出機能を付与することで、専用のＡＦセンサを不要とし、かつ高速の位相差ＡＦを撮像面上で実現するための技術が提案されている。例えば特開２０００−１５６８２３号公報（特許文献１）では、撮像素子の一部の受光素子（画素）において、オンチップマイクロレンズの光軸に対して受光部の感度領域を偏心させることで瞳分割機能を付与している。そしてこれらの画素を焦点検出用画素とし、撮像用画素群の間に所定の間隔で配置することで、位相差式焦点検出を行なう。ここで、焦点検出用画素は撮像専用画素に対して、受光部面積が小さい、あるいは受光領域の重心位置がオンチップマイクロレンズの光軸に対して偏倚している等の受光特性上の相違がある。そのために、焦点検出用画素が配置された場所では画像情報の一部が欠損するため、その周辺部の撮像専用画素の情報から補間演算を行なって、画像信号を生成している。
【０００３】
ここで、焦点検出用画素の配置密度を疎とすれば、上記画素欠陥による画質劣化を軽減できるが、一方で焦点検出用画像のサンプリング特性が悪化し、焦点検出性能は低下する。すなわち、この技術分野においては、焦点検出性能の維持と画質劣化防止の両立を図るためには、焦点検出用画素の配置方法が重要となる。
【０００４】
特開２００７−２７９３１２号公報（特許文献２）に開示されている技術では、第１の焦点検出用画素群と第２の焦点検出用画素群を有し、像の検出ピッチが短い第１の焦点検出用画素群で高精度な焦点検出を行ない、焦点検出用画素の受光領域を絞り像の検出ピッチを長くした第２の焦点検出用画素群で大デフォーカス量検出を行なうことで、高精度な焦点検出と大デフォーカス量検出とを両立させている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０００−１５６８２３号公報
【特許文献２】特開２００７−２７９３１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら上述の公知技術には、以下のような課題がある。特許文献２に開示されている技術では、合焦近傍の焦点状態を高精度に検出するために、第１の焦点検出用画素の配置を密にしている。そして、焦点検出用画素の画像信号を周辺の撮像専用画素の出力信号を用いて補間処理により生成している。しかし、空間周波数の高い被写体を受光する場合などでは、焦点検出用画素の位置の像は周辺の撮像専用画素の位置の像に対して連続性が低い。そのため、焦点検出用画素の周辺の撮像専用画素情報から補間演算を行なうと、周辺画素によって取得される画像が、本来焦点検出用画素の位置にあるべき撮像画素の出力からかけ離れてしまう可能性がある。また、焦点検出用画素を密に配置すると、補間演算を行なう上で参照する周辺の撮像画素の選択肢が制限されてしまうため、補正誤差が大きくなる可能性は高くなる。
【０００７】
本発明は上述した課題に鑑みてなされたものであり、その目的は、被写体像を撮像する撮像素子に焦点検出用画素を配置して焦点検出を行う場合に、高精度な焦点検出性能と高い画像品質を両立できるようにすることである。
【課題を解決するための手段】
【０００８】
本発明に係わる撮像装置は、被写体像を結像させるための撮影レンズの一部の瞳領域を通過した光を受光する複数の焦点検出用画素からなる焦点検出用画素群と、前記撮影レンズの全瞳領域を通過した光を受光する複数の撮像用画素からなる撮像用画素群とを有する撮像素子と、前記焦点検出用画素の位置に相当する画像信号を、前記焦点検出用画素の開口の大きさに応じて、前記焦点検出用画素の信号を用いて生成するか、前記焦点検出用画素の周囲の撮像用画素の信号を用いて生成するかの少なくとも一方を行う画像処理手段と、を備えることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、高精度な焦点検出性能と高い画像品質の両立を実現することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施形態に係わる電子カメラの構成図。
【図２】本発明の一実施形態の撮像素子のブロック図。
【図３】撮像素子の撮像用画素の平面図と断面図。
【図４】撮像素子の横方向に瞳分割を行なうための焦点検出用画素の平面図と断面図。
【図５】焦点検出用画素における一対の画素開口と焦点検出性能の関係を示す図。
【図６】第１の焦点検出用画素及び第２の焦点検出用画素の平面図。
【図７】撮像素子の縦方向に瞳分割を行なうための焦点検出用画素の平面図と断面図。
【図８】撮像素子上の焦点検出領域を示す図。
【図９】撮像素子の焦点検出領域の拡大図。
【図１０】一実施形態の電子カメラの動作を示すフローチャート。
【図１１】一実施形態の電子カメラの焦点検出動作を示すフローチャート。
【図１２】一実施形態の電子カメラの撮影動作を示すフローチャート。
【発明を実施するための形態】
【００１１】
図１は本発明の一実施形態に係わるカメラの構成図で、撮像素子を有したカメラ本体と撮影レンズが一体となった電子カメラを示している。図１において、１０１は撮影光学系（結像光学系）の先端に配置された第１レンズ群で、光軸方向に進退可能に保持される。１０２は絞り兼用シャッタで、その開口径を調節することで撮影時の光量調節を行なうほか、静止画撮影時には露光秒時調節用シャッタとしての機能も備える。１０３は第２レンズ群である。そして絞り兼用シャッタ１０２及び第２レンズ群１０３は一体となって光軸方向に進退し、第１レンズ群１０１の進退動作との連動により、変倍作用（ズーム機能）をなす。
【００１２】
１０５は第３レンズ群で、光軸方向の進退により、焦点調節を行なう。１０６は光学的ローパスフィルタで、撮影画像の偽色やモアレを軽減するための光学素子である。１０７はＣ−ＭＯＳセンサとその周辺回路で構成された撮像素子である。撮像素子１０７には、横方向ｍ画素、縦方向ｎ画素の受光ピクセル上に、ベイヤー配列の原色カラーモザイクフィルタがオンチップで形成された２次元単板カラーセンサが用いられる。
【００１３】
１１１はズームアクチュエータで、不図示のカム筒を回動することで、第１レンズ群１０１乃至第３レンズ群１０５を光軸方向に進退駆動し、変倍操作を行なう。１１２は絞りシャッタアクチュエータで、絞り兼用シャッタ１０２の開口径を制御して撮影光量を調節すると共に、静止画撮影時の露光時間制御を行なう。１１４はフォーカスアクチュエータで、第３レンズ群１０５を光軸方向に進退駆動して焦点調節を行なう。
【００１４】
１１５は撮影時の被写体照明用電子フラッシュで、キセノン管を用いた閃光照明装置が好適であるが、連続発光するＬＥＤを備えた照明装置を用いても良い。１１６はＡＦ補助光装置で、所定の開口パターンを有したマスクの像を、投光レンズを介して被写界に投影し、暗い被写体あるいは低コントラスト被写体に対する焦点検出能力を向上させる。
【００１５】
１２１は、カメラ本体の種々の制御を司るＣＰＵ（カメラ制御部）で、演算部、ＲＯＭ、ＲＡＭ、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ、通信インターフェイス回路等を有する。そして、ＲＯＭに記憶された所定のプログラムに基づいて、カメラが有する各種回路を駆動し、ＡＦ、撮影、画像処理、記録等の一連の動作を実行する。
【００１６】
１２２は電子フラッシュ制御回路で、撮影動作に同期して電子フラッシュ１１５を点灯制御する。１２３は補助光駆動回路で、焦点検出動作に同期してＡＦ補助光装置１１６を点灯制御する。１２４は撮像素子駆動回路で、撮像素子１０７の撮像動作を制御するとともに、取得した画像信号をＡ／Ｄ変換してＣＰＵ１２１に送信する。１２５は画像処理回路で、撮像素子１０７が取得した画像のγ変換、カラー補間、ＪＰＥＧ圧縮等の処理を行なう。
【００１７】
１２６はフォーカス駆動回路で、焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動制御し、第３レンズ群１０５を光軸方向に進退駆動して焦点調節を行なう。１２８は絞りシャッタ駆動回路で、絞りシャッタアクチュエータ１１２を駆動制御して絞り兼用シャッタ１０２の開口を制御する。１２９はズーム駆動回路で、撮影者のズーム操作に応じてズームアクチュエータ１１１を駆動する。
【００１８】
１３１はＬＣＤ等の表示器で、カメラの撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、焦点検出時の合焦状態表示画像等を表示する。１３２は操作スイッチ群で、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等で構成される。１３３は着脱可能なフラッシュメモリで、撮影済み画像を記録する。
【００１９】
図２は、撮像素子のブロック図を示している。なお、図２のブロック図は、読み出し動作が説明できる最低限の構成を示しており、画素リセット信号などが省略されている。図２において、２０１は光電変換部であり、フォトダイオード、画素アンプ、リセット用のスイッチなどで構成されている。なお、以下では、光電変換部２０１はＰＤmnと略す。ここで、ｍは二次元状に配列された光電変換部のＸ方向アドレスであり、ｍ＝０，１，…，ｍ−１、ｎはＹ方向アドレスであり、ｎ＝０，１，…，ｎ−１である。また、本実施形態の撮像素子は、ｍ×ｎの光電変換部が２次元状に配置されている。符号は、煩雑になるので、左上の光電変換部ＰＤ00付近のみに付記した。
【００２０】
２０２は、光電変換部のＰＤmnの出力を選択するスイッチであり、垂直走査回路２０８により、一行ごとに選択される。２０３は、光電変換部ＰＤmn（２０１）の出力を一時的に記憶するためのラインメモリであり、垂直走査回路２０８により選択された一行分の光電変換部の出力を記憶するものである。通常は、コンデンサが使用される。２０４は、水平出力線に接続されて、水平出力線を所定の電位ＶＨＲＳＴにリセットするためのスイッチであり、信号ＨＲＳＴにより制御される。
【００２１】
２０５は、前述のラインメモリ２０３に記憶された光電変換部ＰＤmnの出力を水平出力線に順次出力するためのスイッチであり、Ｈ0からＨm-1のスイッチを後述の水平走査回路２０６により順次走査することによって、一行分の光電変換部の出力が読み出される。
【００２２】
２０６は、水平走査回路であり、ラインメモリに記憶された光電変換部ＰＤmnの出力を順次走査して、水平出力線に出力させる。信号ＰＨＳＴは、水平走査回路のデータ入力、ＰＨ１、ＰＨ２は、シフトクロック入力であり、ＰＨ１＝Ｈでデータがセットされ、ＰＨ２でデータがラッチされる構成となっている。そして、ＰＨ１、ＰＨ２にシフトクロックを入力することにより、ＰＨＳＴを順次シフトさせて、Ｈ0からＨm-1のスイッチを順次オンさせることができる。ＳＫＩＰは、間引き読み出し時に設定を行なわせる制御端子入力である。ＳＫＩＰ端子をＨレベルに設定することにより、水平走査回路２０６を所定間隔でスキップさせることが可能になる。２０７は出力アンプである。
【００２３】
２０８は垂直走査回路であり、順次走査して、Ｖ0からＶn-1を出力することにより、光電変換部ＰＤmnの選択スイッチ２０２を選択することができる。制御信号は、水平走査回路２０６と同様に、データ入力ＰＶＳＴ、シフトクロックＰＶ１、ＰＶ２、間引き読み設定ＳＫＩＰにより制御される。動作に関しては、水平走査回路と同様であるので詳細説明は省略する。また、図中では、垂直走査回路２０８の制御信号は不図示とした。
【００２４】
図３、図４、図７は、撮像用画素と焦点検出用画素の構造を説明する図である。本実施形態においては、２行×２列の４画素のうち、対角２画素にＧ（緑色）の分光感度を有する画素を配置し、他の２画素にＲ（赤色）とＢ（青色）の分光感度を有する画素を各１個配置した、３種類の画素を有するベイヤー配列で説明する。そして、このベイヤー配列の間に、後述する構造の焦点検出用画素が所定の規則にて分散配置される。
【００２５】
図３に撮像用画素（撮像用画素群）の配置と構造を示す。図３（ａ）は２×２の撮像用画素の平面図である。図３（ａ）の断面Ａ−Ａを図３（ｂ）に示す。ＭＬは各画素の最前面に配置されたオンチップマイクロレンズ、ＣＦＲはＲ（Ｒｅｄ）のカラーフィルタ、ＣＦＧはＧ（Ｇｒｅｅｎ）のカラーフィルタである。ＰＤは図２で説明したＣ−ＭＯＳセンサの光電変換部を模式的に示したものであり、ＣＬはＣ−ＭＯＳセンサ内の各種信号を伝達する信号線を形成するための配線層である。ＴＬは撮影光学系を模式的に示したものである。
【００２６】
ここで、撮像用画素のオンチップマイクロレンズＭＬと光電変換部ＰＤは、撮影光学系ＴＬを通過した光束を可能な限り有効に取り込むように構成されている。換言すると、撮影光学系ＴＬの射出瞳ＥＰと光電変換部ＰＤは、マイクロレンズＭＬにより共役関係にあり、かつ光電変換部の有効面積は大面積に設計される。また、図３（ｂ）ではＧ画素の入射光束について説明したが、Ｒ画素及びＢ（Ｂｌｕｅ）画素も同一の構造となっている。従って、撮像用のＲＧＢ各画素に対応した射出瞳ＥＰは大径となり、被写体からの光束を効率よく取り込んで画像信号のＳ／Ｎを向上させている。
【００２７】
図４は、撮影光学系の水平方向（横方向）に瞳分割（全瞳領域を２つに分割する）を行なうための焦点検出用画素の構造を示す。ここで水平方向あるいは横方向の定義は、撮影光学系の光軸が水平となるようにカメラを構えたとき、この光軸に直交し、かつ水平方向に伸びる直線に沿った方向を指す。図４（ａ）の断面Ａ−Ａを図４（ｂ）に示す。マイクロレンズＭＬと、光電変換部ＰＤは図３（ｂ）に示した撮像用画素と同一構造である。また、撮像素子で瞳分割を行なうため、配線層ＣＬの開口部はマイクロレンズＭＬの中心線に対して一方向に偏倚している。具体的には、画素ＳＡおよび、その開口部ＯＰＨＡは右側に偏倚しているため、撮影光学系ＴＬの左側の射出瞳ＥＰＨＡを通過した光束を受光する。同様に、画素ＳＢの開口部ＯＰＨＢは左側に偏倚しているため、撮影光学系ＴＬの右側の射出瞳ＥＰＨＢを通過した光束を受光する。よって、画素ＳＡを水平方向に規則的に配列し、これらの画素群で取得した被写体像をＡ像とする。また、画素ＳＢも水平方向に規則的に配列し、これらの画素群で取得した被写体像をＢ像とすると、Ａ像とＢ像の相対位置を検出することで、被写体像のピントずれ量（デフォーカス量）が検出できる。
【００２８】
図５は、瞳分割された一対の焦点検出用画素において、撮影光学系の射出瞳を通過する光束を制限するための画素開口部と焦点検出性能の関係を説明するための図である。図５において、５０１及び５０２は画素の光軸中心から互いに逆方向に偏心させた一対の焦点検出用画素の画素開口部であり、破線の円５０５で表された領域が撮像用画素における瞳位置、斜線部が焦点検出用画素における測距瞳である。また、点５０３、点５０４は焦点検出用画素における測距瞳の重心位置であり、点５０３と点５０４の水平方向の距離Ｗ１が大きいほど同じデフォーカス量に対する像ズレ量が大きくなるため、焦点検出精度が上がる。また、Ｗ２は測距瞳の瞳並び方向の幅であり、Ｗ２が大きいほどデフォーカスした時の焦点検出用画素群で受光される像のボケ量が大きくなる。逆に、Ｗ２を小さくすると、大デフォーカス時でも像のボケ量が小さくなり、コントラストの高い像を用いて像ズレ検出を行なうことが可能となる。
【００２９】
図６（ａ）は、第１の焦点検出用画素を含む２行×２列の画素の平面図である。本実施形態において、第１の焦点検出用画素群は、合焦近傍において高精度に焦点調節を行なうために、焦点検出領域内で第１の焦点検出用画素を密に（配列ピッチを小さく）配置している。第１の焦点検出用画素は密に配置されている（図９では像検出ピッチ２画素）ので、焦点検出用画素の位置に相当する画像信号をその画素の周辺の撮像用画素の画像信号から補間処理により生成すると、被写体によっては補正痕が目立ってしまう可能性がある。そこで、第１の焦点検出用画素群のように焦点検出用画素を密に配置する場合は、その画素の信号にゲイン補正処理を行なうことでその画素の位置の画像情報を生成する。焦点検出用画素の信号を画像情報生成に用いるためには、焦点検出用画素の信号においてもＳ／Ｎが高いことが望まれる。また、焦点検出用画素の信号に基づいて画像情報を生成するため、本来その位置にあるべき撮像用画素との間では、色に対する感度特性を変えることは望ましくない。よって、第１の焦点検出用画素はＲとＢの画素を撮像用画素として残し、Ｇの画素を焦点検出用画素とするとともに、焦点検出用画素では射出瞳を通過する光束の半分以上を受光できるように設計（図７ではＷ２を撮像画素の半分とする）している。これを図６においてＳＡＨ、及びＳＢＨで示す。
【００３０】
図６（ｂ）は、第２の焦点検出用画素を含む４行×２列の画素の平面図である。本実施形態において、第２の焦点検出用画素群は比較的デフォーカスの大きいときに焦点調節を行なうために、Ｗ２を小さくしている。また、大デフォーカス時には像がボケているため、細かく像を検出する必要性がないので、第２の焦点検出用画素は疎（図９では像検出ピッチ１２画素）に配置している。焦点検出用画素を疎に配置することで、その画素位置の画像情報の生成を補間演算から行なう上で、参照する画素の選択肢が増えるため補間精度を向上させることができる。それとともに、疎に配置されているため、撮像画像上で多少の補正痕は目立ち難くなる。さらに、第２の焦点検出用画素群を構成する第２の焦点検出用画素をベイヤー配列上ＲとＢの画素の位置に配置し、Ｇ画素は撮像用画素として残すことでより目立ち難くなる。撮像信号を得る場合、Ｇ画素は輝度情報の主成分をなす。そして人間の画像認識特性は輝度情報に敏感であるため、Ｇ画素が欠損すると画質劣化が認められやすい。ＲもしくはＢ画素は、色情報を取得する画素であるが、人間は色情報には鈍感であるため、色情報を取得する画素は多少の欠損が生じても画質劣化に気づきにくいためである。第２の焦点検出用画素は図６においてＳＡＳ及びＳＢＳで示す。なお、本実施形態においては、第２の焦点検出用画素の信号は画像生成に用いないため、Ｒ、Ｂの色分離用カラーフィルタの代わりに、Ｇのフィルター、もしくは透明膜ＣＦＷ（Ｗｈｉｔｅ）を配置してもよい。
【００３１】
なお、図６では、撮影画面の横方向に輝度分布を有した被写体、例えば縦線に対しては焦点検出可能であるが、縦方向に輝度分布を有する横線は焦点検出不能である。縦方向のピントずれ量を検出したい場合には、ＳＡおよび、その開口部ＯＰＨＡを上側に、ＳＢおよび、その開口部ＯＰＨＢを下側に偏倚させて構成すればよい。
【００３２】
図７は、撮影光学系の縦方向に瞳分割を行なうための焦点検出用画素の配置と構造を示す。ここで縦横方向の定義は、撮影光学系の光軸が水平となるようにカメラを構えたとき、その光軸に直交し、鉛直方向に伸びる直線に沿った方向を指す。図７（ａ）は、焦点検出用画素を含む２行×２列の画素の平面図で、図５（ａ）と同様に、ＲとＢの画素を撮像用画素として残し、Ｇの画素を焦点検出用画素としている。これを図７（ａ）においてＳＣ及びＳＤで示す。
【００３３】
図７（ａ）の断面Ａ−Ａを図７（ｂ）に示すが、図５（ｂ）の画素が横方向に瞳分離する構造であるのに対して、図７（ｂ）の画素は瞳分離方向が縦方向になっているだけで、画素の構造としては変わらない。すなわち、画素ＳＣの開口部ＯＰＶＣは下側に偏倚しているため、撮影光学系ＴＬの上側の射出瞳ＥＰＶＣを通過した光束を受光する。同様に、画素ＳＤの開口部ＯＰＶＤは上側に偏倚しているため、撮影光学系ＴＬの下側の射出瞳ＥＰＶＤを通過した光束を受光する。よって、画素ＳＣを垂直方向に規則的に配列し、これらの画素群で取得した被写体像をＣ像とする。また、画素ＳＤも垂直方向に規則的に配列し、これらの画素群で取得した被写体像をＤ像とすると、Ｃ像とＤ像の相対位置を検出することで、垂直方向に輝度分布を有する被写体像のピントずれ量（デフォーカス量）が検出できる。
【００３４】
図８は、撮像画面上の画像領域と焦点検出領域の関係を示した図である。撮像画面上には複数の焦点検出領域１〜５を設定し、焦点検出用画素を撮像画面上の焦点検出領域１〜５に対応して配列する。つまり、撮像素子上の焦点検出用画素群は、焦点検出領域１〜５に対応した領域で結像された被写体像から像をサンプリングすることで焦点検出を行なう。それぞれの焦点検出領域には合焦位置近傍での高精度な焦点検出用の第１の焦点検出用画素群と大デフォーカス検出用の第２の焦点検出用画素群が配置されている。
【００３５】
図９（ａ）は、一つの焦点検出領域の一部を拡大して、焦点検出用画素群の配置を示した図であり、図９（ｂ）は、撮像用画素および焦点検出用画素の配置を示した図である。図９（ｂ）において、ＳＡＨ、及びＳＢＨは第１の焦点検出用画素群を構成する焦点検出用画素であり、画素部の開口を水平方向で互いに逆方向に偏倚させて形成された焦点検出用の画素で、水平方向の像ズレ量を検出するための画素である。ＳＡＨ、及びＳＢＨの白抜き部分が、偏倚した画素の開口位置を示している。図中のＳＡＳ、及びＳＢＳは第２の焦点検出用画素群を構成する焦点検出用画素であり、画素部の開口を水平方向で互いに逆方向に偏倚させて形成された焦点検出用の画素で、水平方向の像ズレ量を検出するための画素である。ＳＡＳ及びＳＢＳにおいても白抜き部分が、偏倚した画素の開口位置を示している。本実施形態では、図９（ａ）に示すように、第１の焦点検出用画素群と第２の焦点検出用画素群で、瞳並び方向に直行する方向での配置密度を異ならせる。第１の焦点検出用画素群に対して、第２の焦点検出用画素群を多く配置している。この理由として、第２の焦点検出用画素は第１の焦点検出用画素に対して画素開口の幅Ｗ２が狭いため、焦点検出用画素のＳ／Ｎが低く、低輝度被写体に対する像ズレ量検出が困難になる可能性があるためである。そこで、第２の焦点検出用画素群を複数ライン配置して、複数のラインの信号を加算平均してＳ／Ｎを向上させることで正確な焦点調節を可能にする。また、複数のラインでそれぞれ算出された複数の像ズレ量から信頼性の高い結果を選択して焦点調節に用いる方法をとってもよい。
【００３６】
図１０は、本実施形態における電子カメラの動作を示すフローチャートである。撮影者がカメラの電源スイッチをオン操作すると、ステップＳ１００２においてＣＰＵ１２１はカメラ内の各アクチュエータや撮像素子の動作確認を行ない、メモリ内容や実行プログラムの初期化を行なうと共に、撮影準備動作を実行する。ステップＳ１００３では撮像素子の撮像動作を開始し、プレビュー用の低画素動画像を出力する。ステップＳ１００４では読み出した動画をカメラ背面に設けられた表示器１３１に表示し、撮影者はこのプレビュー画像を目視して撮影時の構図決定を行なう。ステップＳ１００５で図８の画像領域の中から焦点検出領域を決定する。その後、ステップＳ１１０１に進み、焦点検出サブルーチンを実行する。
【００３７】
図１１は焦点検出サブルーチンであるステップＳ１１０１のフローチャートである。メインフローのステップＳ１００５から当サブルーチンのステップＳ１１０１にジャンプすると、ステップＳ１１０２においては、メインルーチンのステップＳ１００５で決定した焦点検出領域に含まれる第１の焦点検出用画素群、及び第２の焦点検出用画素群の出力信号を読み出す。ステップＳ１１０３では、第１の焦点検出用画素群から得られる一対の像信号から、２像の相関演算を行ない、２像の相対的な位置ズレ量を計算する。ステップＳ１１０４では、相関演算結果の信頼性を判定する。ここで信頼性とは、２像の一致度を指し、２像の一致度が良い場合は一般的に焦点検出結果の信頼性が高い。信頼性が所定値内に収まった場合、信頼性が高いと判断しステップＳ１１１０に進み、検出結果から焦点ズレ量を演算する。そしてステップＳ１１１１にて図１０のメインフロー内のステップＳ１００７にリターンする。また、ステップ１１０４の相関演算結果の信頼性判定において、信頼性が所定値外になった場合、ステップＳ１１０５に進む。ステップＳ１１０５〜ステップＳ１１０７では、第２の焦点検出用画素群から得られる像信号により相関演算を行なう。ステップＳ１１０５、Ｓ１１０６では、複数ライン配置している第２の焦点検出用画素群において、各ラインで水平方向で同位置にある各焦点検出用画素の出力信号をそれぞれ加算平均して一対の像信号を生成する。ステップＳ１１０７では得られた２像の相関演算を行ない、２像の相対的な位置ズレ量を計算する。ステップＳ１１０８では、第２の焦点検出用画素群による相関演算結果の信頼性を判定する。ステップ１１０８の相関演算結果の信頼性判定において、所定値内に収まった場合は、ステップＳ１１１０に進み、信頼性が所定値外になった場合はステップＳ１１０９に進む。ステップＳ１１０９ではフォーカスレンズを駆動し、その後ステップＳ１１０１を繰り返し実行する。
【００３８】
図１０のステップＳ１００７では、図１１のステップＳ１１１０で計算した焦点ズレ量が許容値以下か否かを判断する。そして焦点ズレ量が許容値より大きい場合は、非合焦と判断し、ステップＳ１００８でフォーカスレンズを駆動し、その後ステップＳ１１０１〜ステップＳ１００７を繰り返し実行する。そしてステップＳ１００７にて合焦状態に達したと判定されると、ステップＳ１００９にて合焦表示を行ない、ステップＳ１０１０に移行する。
【００３９】
ステップＳ１０１０では、撮影開始スイッチがオン操作されたか否かを判別し、オン操作されていなければステップＳ１０１０にて撮影待機状態を維持する。ステップＳ１０１０で撮影開始スイッチがオン操作されるとステップＳ１２０１に移行し、撮影サブルーチンを実行する。
【００４０】
図１２は撮影サブルーチンのフローチャートである。撮影開始スイッチが操作されると、ステップＳ１２０１を経由して、ステップＳ１２０２では絞りシャッタアクチュエータ１１２を駆動し、露光時間を規定する絞り兼用シャッタ１０２の開口制御を行なう。ステップＳ１２０３では、高画素静止画撮影のための画像読み出し、すなわち全画素の読み出しを行なう。ステップＳ１２０４、及びステップＳ１２０５では読み出した画像信号において、各焦点検出用画素の位置の画像データを生成する。すなわち、第１の焦点検出用画素のように、焦点検出用画素が密に配置されている領域ではゲイン補正により焦点検出用画素の信号から画像データを生成する。また、第２の焦点検出用画素のように、焦点検出用画素が疎に配置されている領域では、周囲の撮像用画素の情報から補間により画像データを生成する。各焦点検出用画素でのゲイン補正値は予め、レンズ、絞りごとに各画素の位置によって算出可能な数式をカメラ内部に記憶しておく。もしくは、撮像を行なうごとに、焦点検出用画素の出力と周辺に配置された同色撮像用画素の出力に基づいてゲイン補正値をリアルタイムで取得していくゲイン調整部を持ってもよい。
【００４１】
図１２に示す撮影動作を示すフローチャートでは、焦点検出用画素が密に配置されている領域ではゲイン補正により焦点検出用画素の信号から画像データを生成し、焦点検出用画素が疎に配置されている領域では、周囲の撮像用画素の情報から補間により画像データを生成する例を示した。しかし、画像データの生成方法として、ゲイン補正、補間補正の演算結果にそれぞれ重み付けを行ない、加重加算により生成する方法をとってもよい。第１の焦点検出用画素では、ゲイン補正結果をより優先し、第２の焦点検出用画素では、補間補正結果を優先することで同様の効果が得られる。
【００４２】
ステップＳ１２０６では、画像のγ補正、エッジ強調等の画像処理を行い、ステップＳ１２０７において、フラッシュメモリ１３３に撮影画像を記録する。ステップＳ１２０８では、表示器１３１に撮影済み画像を表示し、ステップＳ１２０９で図１０のメインフローにリターンする。図１０のメインフローに戻ると、ステップＳ１０１２にて一連の撮影動作を終了する。
【００４３】
以上のような動作により、撮像素子１０７内に設けられる第１の焦点検出用画素領域、及び第２の焦点検出用画素領域でともに、高い品質の画像と広いフォーカス範囲での高精度なＡＦを両立させることができる。
【００４４】
なお、以上説明した実施形態は代表的な例にすぎず、本発明の実施に際しては、本実施形態に対して種々の変形や変更が可能である。
【特許請求の範囲】
【請求項１】
被写体像を結像させるための撮影レンズの一部の瞳領域を通過した光を受光する複数の焦点検出用画素からなる焦点検出用画素群と、前記撮影レンズの全瞳領域を通過した光を受光する複数の撮像用画素からなる撮像用画素群とを有する撮像素子と、
前記焦点検出用画素の位置に相当する画像信号を、前記焦点検出用画素の開口の大きさに応じて、前記焦点検出用画素の信号を用いて生成するか、前記焦点検出用画素の周囲の撮像用画素の信号を用いて生成するかの少なくとも一方を行う画像処理手段と、
を備えることを特徴とする撮像装置。
【請求項２】
前記画像処理手段は、前記焦点検出用画素の開口の大きさが前記撮像用画素の開口の大きさの半分以上の大きさである場合に、前記焦点検出用画素の位置に相当する画像信号を、前記焦点検出用画素の信号を用いて生成することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記撮像素子は、赤色、緑色、青色の光をそれぞれ受光する３種類の画素が二次元状に配列されて構成されており、前記撮像用画素の開口の大きさの半分以上の大きさの開口を有する焦点検出用画素が赤色及び青色の光を受光する画素に相当する位置に配置されていることを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記焦点検出用画素群は、前記撮像用画素の開口の大きさの半分以上の大きさの開口を有する複数の第１の焦点検出用画素と、該第１の焦点検出用画素の開口よりも小さい開口を有する複数の第２の焦点検出用画素とを有し、前記複数の第１の焦点検出用画素の配列ピッチは、前記複数の第２の焦点検出用画素の配列ピッチよりも小さいことを特徴とする請求項１に記載の撮像装置。
【請求項１】
被写体像を結像させるための撮影レンズの一部の瞳領域を通過した光を受光する複数の焦点検出用画素からなる焦点検出用画素群と、前記撮影レンズの全瞳領域を通過した光を受光する複数の撮像用画素からなる撮像用画素群とを有する撮像素子と、
前記焦点検出用画素の位置に相当する画像信号を、前記焦点検出用画素の開口の大きさに応じて、前記焦点検出用画素の信号を用いて生成するか、前記焦点検出用画素の周囲の撮像用画素の信号を用いて生成するかの少なくとも一方を行う画像処理手段と、
を備えることを特徴とする撮像装置。
【請求項２】
前記画像処理手段は、前記焦点検出用画素の開口の大きさが前記撮像用画素の開口の大きさの半分以上の大きさである場合に、前記焦点検出用画素の位置に相当する画像信号を、前記焦点検出用画素の信号を用いて生成することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記撮像素子は、赤色、緑色、青色の光をそれぞれ受光する３種類の画素が二次元状に配列されて構成されており、前記撮像用画素の開口の大きさの半分以上の大きさの開口を有する焦点検出用画素が赤色及び青色の光を受光する画素に相当する位置に配置されていることを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記焦点検出用画素群は、前記撮像用画素の開口の大きさの半分以上の大きさの開口を有する複数の第１の焦点検出用画素と、該第１の焦点検出用画素の開口よりも小さい開口を有する複数の第２の焦点検出用画素とを有し、前記複数の第１の焦点検出用画素の配列ピッチは、前記複数の第２の焦点検出用画素の配列ピッチよりも小さいことを特徴とする請求項１に記載の撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１１−８１２７１（Ｐ２０１１−８１２７１Ａ）
【公開日】平成２３年４月２１日（２０１１．４．２１）
【国際特許分類】
【出願番号】特願２００９−２３４６４５（Ｐ２００９−２３４６４５）
【出願日】平成２１年１０月８日（２００９．１０．８）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２３年４月２１日（２０１１．４．２１）
【国際特許分類】
【出願日】平成２１年１０月８日（２００９．１０．８）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]