画像処理装置
【課題】画素群の一部に特定の機能を付与した機能画素を有する撮像素子において、機能画素の位置の画像データを正確に推定すること。
【解決手段】二次元配置された撮像用画素の間に離散的に配置された機能画素の出力にゲイン補正演算を行ない、機能画素の位置における画像の出力を推定する第１の推定手段と、機能画素の周辺の撮像用画素を補間参照画素として、複数の補間参照画素の出力に基づき補間演算を行ない、機能画素の位置における画像の出力を推定する第２の推定手段と、第１及び、第２の推定手段それぞれから得られる推定結果に基づいて機能画素の位置における画像の出力を選択する画像出力選択手段を有し、画像出力選択手段が第１の推定手段の結果に基づいて、第２の推定手段で使用する複数の補間参照画素を選択する(S1108)ことにより機能画素の位置の画像データを推定する撮像装置。
【解決手段】二次元配置された撮像用画素の間に離散的に配置された機能画素の出力にゲイン補正演算を行ない、機能画素の位置における画像の出力を推定する第１の推定手段と、機能画素の周辺の撮像用画素を補間参照画素として、複数の補間参照画素の出力に基づき補間演算を行ない、機能画素の位置における画像の出力を推定する第２の推定手段と、第１及び、第２の推定手段それぞれから得られる推定結果に基づいて機能画素の位置における画像の出力を選択する画像出力選択手段を有し、画像出力選択手段が第１の推定手段の結果に基づいて、第２の推定手段で使用する複数の補間参照画素を選択する(S1108)ことにより機能画素の位置の画像データを推定する撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラやビデオカメラ等の撮像素子を構成する画素群の一部に特定の機能を付与した機能画素を有する撮像装置に関し、特に撮像素子からの出力に基づいて画像処理を行なう画像処理装置に関する。
【背景技術】
【０００２】
撮像素子を構成する画素群の一部に特定の機能を付与した機能素子を有する撮像素子の一例として、撮像素子に被写体像の位相差検出機能を付与し、専用のＡＦセンサを不要とし、かつ高速の位相差ＡＦを実現するための技術が開示されている。
【０００３】
例えば特開２０００−１５６８２３号公報（特許文献１）では、撮像素子の一部の受光素子（画素）において、オンチップマイクロレンズの光軸に対して受光部の感度領域を偏心させることで瞳分割機能を付与している。そしてこれらの画素を焦点検出用画素とし、撮像用画素群の間に所定の間隔で配置することで、位相差式焦点検出を行なう。また、焦点検出用画素が配置された箇所は撮像画素の欠損部に相当するため、周辺の撮像画素情報から補間して画像情報を生成している。
【０００４】
また特開２００９−４４６３７号公報（特許文献２）では、焦点検出画素の位置の画像情報を生成する手段が、焦点検出画素の画像情報からゲイン補正により画像データを生成する補正手段と、焦点検出画素の周辺の撮像画素情報から補間して画像情報を生成する補正手段を有し、さらに被写体像の空間周波数成分を検出する周波数成分検出手段を有し、検出された空間周波数成分に応じて画像情報生成手段を切り換えている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０００−１５６８２３号公報
【特許文献２】特開２００９−４４６３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら上述の公知技術には、以下のような課題がある。
特許文献１に開示されているように、焦点検出画素の画像信号を周辺画素の画像信号をもとに補間すると、該周辺画素によって取得される画像データが、本来その位置にあるべき撮像画素の出力からかけ離れた値を算出してしまう可能性がある。
空間周波数の低い被写体を受光する場合、焦点検出用画素の位置の像は周辺の撮像専用画素の位置の像に対して連続性が高い。そのため、焦点検出画素の位置の画像データを、周辺画素からの画像信号に基づいて補間するのが好ましい。この場合、被写体像の空間周波数が低いので、補間処理による鮮鋭度の低下は目立ち難い。
【０００７】
一方、空間周波数の高い被写体を受光する場合、焦点検出用画素の位置の像は周辺の撮像専用画素の位置の像に対して連続性が低いため、補間処理を行なう上で、補間参照画素の選択により大きく結果が異なる。
特定方向に像の連続性が低い被写体を受光する場合、焦点検出画素の位置に対して像の連続性が高い方向に配列されている撮像専用画素を補間参照画素として選択することが好ましい。また、全方向に対して像の連続性が低い画像に対しては、焦点検出画素の位置の画像信号を周辺画素の画像信号から推定することが難しい。
【０００８】
特許文献２に開示されている公知技術では、空間周波数の高い被写体を受光する場合、焦点検出画素の位置の画像情報を焦点検出画素の画像情報からゲイン補正により生成している。焦点検出画素の出力信号からゲイン補正により画像信号を生成すると、比較的被写体に依存しない画像信号を生成できるが、焦点検出画素の配置密度を密にすると、得られる画像に対して、焦点検出画素が配置されている領域でノイズ感の目立つ可能性が高くなる。一方、焦点検出画素の周辺の撮像専用画素から補間を行なう場合、ノイズ感は目立ち難いが、良好な画像を得るためには補間参照画素を正しく選択することが求められる。
【課題を解決するための手段】
【０００９】
本発明は、焦点検出画素の位置の画像データ生成に伴う画像品質の劣化を低減を達成できる画像処理装置を提供する。
【００１０】
本件発明の画像処理装置は、水平方向、及び、垂直方向に配置された通常撮像画素とその間に離散的に配置された機能画素とを有する撮像素子の出力を入力する手段と、機能画素の出力にゲイン補正演算を行ない、機能画素の位置における画像の出力を推定する第１の推定手段と、機能画素の周辺の通常撮像画素を補間参照画素として、複数の補間参照画素の出力に基づき補間演算を行ない、機能画素の位置における画像の出力を推定する第２の推定手段と、第１及び第２の推定手段それぞれから得られる推定結果に基づいて機能画素の位置における画像の出力を選択する画像出力選択手段とを有し、画像出力選択手段は、第１の推定手段の出力に基づいて、第２の推定手段で複数の補間参照画素の組み合に基づいて生成される一つまたは複数推定結果から、機能画素の位置における画像の出力を選択することを特徴とするものである。
【発明の効果】
【００１１】
本発明では、焦点検出画素の位置の画像信号生成に関して、比較的被写体に依存しないゲイン補正処理により生成された画像信号に基づいて、補間処理で参照する複数の画素を選択する。このため、補間処理により生成された画像信号よる画質劣化を低減することが可能となる。
【図面の簡単な説明】
【００１２】
【図１】本発明実施例のカメラの構成図である。
【図２】本発明実施例の固体撮像素子のブロック図である。
【図３】本発明実施例の撮像素子の撮像用画素の平面図と断面図である。
【図４】本発明実施例の撮像素子の焦点検出用画素の平面図と断面図である。
【図５】本発明実施例の撮像素子の焦点検出用画素の平面図と断面図である
【図６】本発明実施例の撮像素子の焦点検出領域を示す図である。
【図７】本発明実施例の撮像素子の焦点検出領域におけるの画素配置パターンを示した図である。
【図８】本発明実施例のカメラの動作を示すフローチャートである。
【図９】本発明実施例の焦点検出動作を示すフローチャートである。
【図１０】本発明実施例の撮影動作を示すフローチャートである。
【図１１】本発明実施例の画像処理動作を示すフローチャートである。
【図１２】本発明実施例の焦点検出画素周辺の画素配置図である
【図１３】本発明実施変形例の焦点検出画素の配置パターンを示す図である。
【図１４】本発明実施変形例の焦点検出画素周辺の画素配置パターンを示す図である。
【図１５】本発明実施変形例の画像処理動作を示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下、図面を参照して本発明の好適な実施形態を説明する。
【００１４】
実施例１
以下、本発明の第１の実施の形態について図面を参照しながら説明する。
図１は本発明に係るカメラの構成図で、撮像素子を有したカメラ本体と撮影レンズが一体となった電子カメラを示している。同図において、１０１は撮影光学系（結像光学系）の先端に配置された第１レンズ群で、光軸方向に進退可能に保持される。１０２は絞り兼用シャッタで、その開口径を調節することで撮影時の光量調節を行なうほか、静止画撮影時には露光秒時調節用シャッタとしての機能も備える。１０３は第２レンズ群である。そして前記絞り兼用シャッタ１０２及び第２レンズ群１０３は一体となって光軸方向に進退し、前記第１レンズ群１０１の進退動作との連動により、変倍作用（ズーム機能）をなす。
【００１５】
１０５は第３レンズ群で、光軸方向の進退により、焦点調節を行なう。１０６は光学的ローパスフィルタで、撮影画像の偽色やモアレを軽減するための光学素子である。１０７はＣ−ＭＯＳセンサとその周辺回路で構成された撮像素子である。該撮像素子は、横方向ｍ画素、縦方向ｎ画素の受光ピクセル上に、ベイヤー配列の原色カラーモザイクフィルタがオンチップで形成された２次元単板カラーセンサが用いられる。
【００１６】
１１１はズームアクチュエータで、不図示のカム筒を回動することで、第１レンズ群１０１ないし第３レンズ群１０３を光軸方向に進退駆動し、変倍操作を行なう。１１２は絞りシャッタアクチュエータで、絞り兼用シャッタ１０２の開口径を制御して撮影光量を調節すると共に、静止画撮影時の露光時間制御を行なう。１１４はフォーカスアクチュエータで、第３レンズ群１０５を光軸方向に進退駆動して焦点調節を行なう。
【００１７】
１１５は撮影時の被写体照明用電子フラッシュで、キセノン管を用いた閃光照明装置が好適だが、連続発光するＬＥＤを備えた照明装置を用いても良い。１１６はＡＦ補助光手段で、所定の開口パターンを有したマスクの像を、投光レンズを介して被写界に投影し、暗い被写体あるいは低コントラスト被写体に対する焦点検出能力を向上させる。
【００１８】
１２１はＣＰＵ（カメラ制御部）で、カメラ本体の種々の制御を司るカメラ内ＣＰＵで、演算部、ＲＯＭ、ＲＡＭ、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ、通信インターフェイス回路等を有し、ＲＯＭに記憶された所定のプログラムに基づいて、カメラが有する各種回路を駆動し、ＡＦ、撮影、画像処理と記録等の一連の動作を実行する。
【００１９】
１２２は電子フラッシュ制御回路で、撮影動作に同期して照明手段１１５を点灯制御する。１２３は補助光駆動回路で、焦点検出動作に同期してＡＦ補助光手段１１６を点灯制御する。１２４は撮像素子駆動回路で、撮像素子１０７の撮像動作を制御するとともに、取得した画像信号をＡ／Ｄ変換してＣＰＵ１２１に送信する。１２５は画像処理回路で、撮像素子１０７が取得した画像のγ変換、カラー補間、ＪＰＥＧ圧縮等の処理を行なう。
【００２０】
１２６はフォーカス駆動回路で、焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動制御し、第３レンズ群１０５を光軸方向に進退駆動して焦点調節を行なう。１２８はシャッタ駆動回路で、絞りシャッタアクチュエータ１１２を駆動制御して絞り兼用シャッタ１０２の開口を制御する。１２９はズーム駆動回路で、撮影者のズーム操作に応じてズームアクチュエータ１１１を駆動する。
【００２１】
１３１はＬＣＤ等の表示器で、カメラの撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、焦点検出時の合焦状態表示画像等を表示する。１３２は操作スイッチ群で、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等で構成される。１３３は着脱可能なフラッシュメモリで、撮影済み画像を記録する。
【００２２】
図２は、撮像素子のブロック図を示している。なお、図２のブロック図は、読み出し動作が説明できる最低限の構成を示しており、画素リセット信号などが省略されている。図２において、２０１は、光電変換部（以下、PDmnと略す。ｍは、Ｘ方向アドレスであり、ｍ=0、１・・・m-1、ｎは、Ｙ方向アドレスであり、ｎ=0、１・・・n-1である。）であり、フォトダイオード、画素アンプ、リセット用のスイッチなどで構成されている。また、本発明の撮像素子は、ｍ×ｎの光電変換部が２次元状に連続的に配置されている。符号は、煩雑になるので、左上の光電変換部PD00付近のみに付記した。
【００２３】
２０２は、光電変換部のPDmnの出力を選択するスイッチであり、垂直操作回路２０８により、一行単位で選択する。
【００２４】
２０３は、２０１の光電変換部PDmn出力を一時的に記憶するためのラインメモリであり、垂直走査回路により選択された、一行分の光電変換部の出力を記憶するものである。通常は、コンデンサが使用される。
【００２５】
２０４は、水平出力線に接続されて、水平出力線を所定の電位ＶＨＲSＴにリセットするためのスイッチであり、信号ＨＲSＴにより制御される。
【００２６】
２０５は、前述の２０３のラインメモリに記憶された光電変換部PDmnの出力を水平出力線に順次出力するためのスイッチであり、Ｈ0からＨm-1のスイッチを後述の２０６の水平走査回路により順次走査することで、一行分の光電変換の出力が読み出される。
【００２７】
２０６は、水平走査回路であり、ラインメモリに記憶された光電変換部の出力を順次操作して、水平出力線に出力させる。信号ＰＨＳＴは、水平走査回路のデータ入力、ＰＨ１、ＰＨ２は、シフトクロック入力であり、ＰＨ１＝Ｈでデータがセットされ、ＰＨ２でデータがラッチされる構成となっており、ＰＨ１、ＰＨ２にシフトクロックを入力することにより、ＰＨＳＴを順次シフトさせて、Ｈ0からＨm-1のスイッチを順次オンさせることができる。ＳＫＩＰは、間引き読み出し時に設定を行なわせる制御端子入力である。ＳＫＩＰ端子をＨレベルに設定することにより、水平走査回路を所定間隔でスキップさせることが可能になる。
【００２８】
２０７は、垂直走査回路であり、順次走査して、Ｖ0からＶn-1を出力することにより、光電変換部PDmnの選択スイッチ２０２を選択することができる。制御信号は、水平走査回路と同様に、データ入力ＰＶＳＴ、シフトクロックＰＶ１、ＰＶ２、間引き読み設定ＳＫＩＰにより制御される。動作に関しては、水平走査回路と同様であるので詳細説明は省略する。また、図中では、前記の制御信号は、不図示とした。
図３、図４、及び図５は、撮像用画素と焦点検出用画素の構造を説明する図である。本実施例においては、２×２の４画素のうち、対角２画素にＧ（緑色）の分光感度を有する画素を配置し、他の２画素にＲ（赤色）とＢ（青色）の分光感度を有する画素を各１個配置した、ベイヤー配列が採用されている。そして、該ベイヤー配列の間に、後述する構造の焦点検出用画素が所定の規則にて分散配置される。すなわち、本件発明に係わる撮像素子は、赤色、緑色、青色に感度を有する３種類の画素のベイヤー配列を単位ユニットとして二次元状に連続的に複数配列するとともに、該配列中に離散的に配置された機能画素を有するものである。
【００２９】
図３に撮像用画素の配置と構造を示す。同図（ａ）は２×２の撮像用画素の平面図である。周知のごとく、ベイヤー配列では対角方向にＧ画素が、他の２画素にＲとＢの画素が配置される。そして該２行×２列の構造が繰り返し配置される。
同図（ａ）の断面Ａ−Ａを同図（ｂ）に示す。ＭＬは各画素の最前面に配置されたオンチップマイクロレンズ、ＣＦＲはＲ（Ｒｅｄ）のカラーフィルタ、ＣＦＧはＧ（Ｇｒｅｅｎ）のカラーフィルタである。ＰＤはＣ−ＭＯＳセンサの光電変換部を模式的に示したもの、ＣＬはＣ−ＭＯＳセンサ内の各種信号を伝達する信号線を形成するための配線層である。ＴＬは撮影光学系を模式的に示したものである。
ここで、撮像用画素のオンチップマイクロレンズＭＬと光電変換部ＰＤは、撮影光学系ＴＬを通過した光束を可能な限り有効に取り込むように構成されている。換言すると、撮影光学系ＴＬの射出瞳ＥＰと光電変換部ＰＤは、マイクロレンズＭＬにより共役関係にあり、かつ光電変換部の有効面積は大面積に設計される。また、同図（ｂ）ではG画素の入射光束について説明したが、R画素及びＢ（Ｂｌｕｅ）画素も同一の構造となっている。従って、撮像用のＲＧＢ各画素に対応した射出瞳ＥＰは大径となり、被写体からの光束を効率よく取り込んで画像信号のＳ／Ｎを向上させている。
【００３０】
図４は、撮影レンズの水平方向（横方向）に瞳分割を行なうための焦点検出用画素の配置と構造を示す。すなわち、本件発明に係わる焦点検出用画素は、光学系による像光束を受光し、瞳分割方式により光学系の焦点調節状態を検出する機能画素である。ここで水平方向あるいは横方向の定義は、撮影光学系の光軸が水平となるようにカメラを構えたとき、該光軸に直交し、かつ水平方向に伸びる直線に沿った方向を指す。同図（ａ）は、焦点検出用画素を含む２行×２列の画素の平面図である。本実施例においては、焦点検出画素の信号を画像生成に用いるため、焦点検出画素の信号においてもS／Nが高いことが望まれる。よって、ＲとＢの画素を撮像用画素として残し、Gの画素を焦点検出用画素としている。すなわち、本件発明に係わる機能画素は、撮像素子上の緑色に感度を有する画素に相当する位置に配列するものである。これを同図（ａ）においてＳＡ及びＳＢで示す。
【００３１】
同図（ａ）の断面Ａ−Ａを同図（ｂ）に示す。マイクロレンズＭＬと、光電変換部ＰＤは図４（ｂ）に示した撮像用画素と同一構造である。本実施例においては、焦点検出用画素の信号は画像生成に用いるため、色分離用カラーフィルタを変更せずに配置しているが、Gのフィルターの代わりに透明膜ＣＦＷ（Ｗｈｉｔｅ）を配置してもよい。また、撮像素子で瞳分割を行なうため、配線層ＣＬの開口部はマイクロレンズＭＬの中心線に対して一方向に偏倚している。具体的には、画素ＳＡおよび、その開口部ＯＰＨＡは右側に偏倚しているため、撮影レンズＴＬの左側の射出瞳ＥＰＨＡを通過した光束を受光する。同様に、画素ＳＢの開口部ＯＰＨＢは左側に偏倚しているため、撮影レンズＴＬの右側の射出瞳ＥＰＨＢを通過した光束を受光する。よって、画素ＳＡを水平方向に規則的に配列し、これらの画素群で取得した被写体像をＡ像とする。また、画素ＳＢも水平方向に規則的に配列し、これらの画素群で取得した被写体像をＢ像とすると、Ａ像とＢ像の相対位置を検出することで、被写体像のピントずれ量（デフォーカス量）が検出できる。
なお、上記画素ＳＡ及びＳＢでは、撮影画面の横方向に輝度分布を有した被写体、例えば縦線に対しては焦点検出可能だが、縦方向に輝度分布を有する横線は焦点検出不能である。縦方向のピントずれ量を検出したい場合には、ＳＡおよび、その開口部ＯＰＨＡを上側に、ＳＢおよび、その開口部ＯＰＨＢを下側に偏倚させて構成すればよい。
【００３２】
図５は、撮影光学系の縦方向に瞳分割を行なうための焦点検出用画素の配置と構造を示す。ここで縦横方向の定義は、撮影光学系の光軸が水平となるようにカメラを構えたとき、該光軸に直交し、鉛直方向に伸びる直線に沿った方向を指す。同図（ａ）は、焦点検出用画素を含む２行×２列の画素の平面図で、図４（ａ）と同様に、ＲとＢの画素を撮像用画素として残し、Gの画素を焦点検出用画素としている。これを同図（ａ）においてＳＣ及びＳＤで示す。
【００３３】
同図（ａ）の断面Ａ−Ａを同図（ｂ）に示すが、図４（ｂ）の画素が横方向に瞳分割する構造であるのに対して、図５（ｂ）の画素は瞳分割方向が縦方向(垂直方向)になっているだけで、画素の構造としては変わらない。すなわち、画素ＳＣの開口部ＯＰＶＣは下側に偏倚しているため、撮影光学系ＴＬの上側の射出瞳ＥＰＶＣを通過した光束を受光する。同様に、画素ＳＤの開口部ＯＰＶＤは上側に偏倚しているため、撮影光学系ＴＬの下側の射出瞳ＥＰＶＤを通過した光束を受光する。よって、画素ＳＣを垂直方向規則的に配列し、これらの画素群で取得した被写体像をＣ像とする。また、画素ＳＤも垂直方向規則的に配列し、これらの画素群で取得した被写体像をＤ像とすると、Ｃ像とＤ像の相対位置を検出することで、垂直方向に輝度分布を有する被写体像のピントずれ量（デフォーカス量）が検出できる。
【００３４】
図６は、撮像画面上の焦点検出領域を示した一例である。撮像画面上には複数の焦点検出領域１〜５を設定し、焦点検出画素を撮像画面上の焦点検出領域１〜５に対応して配列する。つまり、撮像素子上の焦点検出画素群は、焦点検出領域１〜５に対応した領域で結像された被写体像から像をサンプリングすることで焦点検出を行なう。
【００３５】
図７は、撮像用画素および焦点検出用画素の配置を示した図である。同図において、Ｇは、緑フィルターを塗布された画素、Ｒは、赤フィルターを塗布された画素、Ｂは、青フィルターを塗布された画素である。図中のＳＡは、画素部の開口を水平方向に偏倚させて、形成された焦点検出用の画素であり、後述のＳＢ画素群との水平方向の像ずれ量を検出するための基準画素群である。また、ＳＢは、画素の開口部をＳＡ画素とは、逆方向に偏倚させて形成された画素であり、ＳＡ画素群との水平方向の像ずれ量を検出するための参照画素群である。ＳＡ、ＳＢ画素の白抜き部分が、偏倚した画素の開口位置を示している。本件発明に係わる焦点検出画素は、通常撮像画素に対して半分以上の大きさの瞳に対する像光束を受光するものである。
【００３６】
図８は、本実施例におけるカメラの動作を示すフローチャートである。
撮影者がカメラの電源スイッチをオン操作すると、ステップＳ８０２においてＣＰＵ１２１はカメラ内の各アクチュエータや撮像素子の動作確認を行ない、メモリ内容や実行プログラムの初期化を行なうと共に、撮影準備動作を実行する。ステップＳ８０３では撮像素子の撮像動作を開始し、プレビュー用の低解像度動画像を出力する。ステップＳ８０４では読み出した動画をカメラ背面に設けられた表示器１３１に表示し、撮影者はこのプレビュー画像を目視して撮影時の構図決定を行なう。
ステップＳ８０５で図６の画像領域の中から焦点検出領域を決定する。その後、ステップＳ９０１に進み、焦点検出サブルーチンを実行する。
【００３７】
図９は焦点検出サブルーチンのフロー図である。メインフローのステップＳ９０１から当サブルーチンにジャンプすると、ステップＳ９０２においては、メインルーチンのステップＳ８０５で決定した焦点検出領域に含まれる焦点検出用画素を読み出す。ステップＳ９０３では得られた２像の相関演算を行ない、２像の相対的な位置ずれ量を計算する。ステップ９０４では、相関演算結果の信頼性を判定する。ここで信頼性とは、２像の一致度を指し、２像の一致度が良い場合は一般的に焦点検出結果の信頼性が高い。そこで、複数の焦点検出領域が選択されている場合は、信頼性の高い情報を優先的に使用する。
ステップＳ９０５では、前記信頼性の高い検出結果から焦点ずれ量を演算する。そしてステップＳ９０６にて図８のメインフロー内のステップＳ８０７にリターンする。
【００３８】
図８のステップＳ８０７では、図９のステップＳ９０５で計算した焦点ズレ量が許容値以下か否かを判断する。そして焦点ズレ量が許容値以上である場合は、非合焦と判断し、ステップＳ８０８でフォーカスレンズを駆動し、その後ステップＳ９０１ないしステップＳ８０７を繰り返し実行する。そしてステップＳ８０７にて合焦状態に達したと判定されると、ステップＳ８０９にて合焦表示を行ない、ステップＳ８１０に移行する。
ステップＳ８１０では、撮影開始スイッチがオン操作されたか否かを判別し、オン操作されていなければステップＳ８１０にて撮影待機状態を維持する。ステップＳ８１０で撮影開始スイッチがオン操作されるとステップＳ１００１に移行し、撮影サブルーチンを実行する。
【００３９】
図１０は撮影サブルーチンのフローチャートである。撮影開始スイッチが操作されると、ステップＳ１００１を経由して、ステップＳ１００２では光量調節絞りを駆動し、露光時間を規定するメカニカルシャッタの開口制御を行なう。ステップＳ１００３では、高解像度静止画撮影のための画像読み出し、すなわち全画素の読み出しを行なう。ステップＳ１２０４、及びステップＳ１１０１では読み出した画像信号において、各焦点検出画素の位置の画像データを生成する。
【００４０】
図１１は、各焦点検出画素の位置の画像データを生成するサブルーチンのフローチャートである。
焦点検出画素では、図５及び図６からも分かるように、画素ごとに設けられた遮光層によって視野が制限されている。したがって、焦点検出画素からの画像信号のレベルは、焦点検出画素の周辺に位置する撮像画素からの画像信号のレベルと異なってしまう。
カメラ１００は、焦点検出画素列の各画素位置の画像データを生成する(推定する)手段を複数もつ。１つ目として、焦点検出画素の信号を画像生成に用いてゲイン補正演算を行うゲイン補正手段（第１の推定手段）。もう１つに、焦点検出画素の周囲の撮像画素信号に基づいて画像データを生成する補間手段である（第２の推定手段）。補間手段では、焦点検出画素周辺の撮像画素の出力を単純平均して焦点検出画素位置の画像データを求めているので、焦点検出画素付近でコントラストの高い被写体を撮像した場合には、補間処理により求めた画像データが本来その位置にあるべき撮像画素の出力からかけ離れてしまう可能性があるのに対し、ゲイン補正手段では補間手段と比較し被写体に依存しない画像データを生成することが出来る。そこで、ゲイン補正手段で得られる画像データを指標として補間処理を行なう上で参照する撮像画素の組み合わせを決定していく。
【００４１】
図１２は焦点検出画素群及びその周辺の撮像画素の配置を示す。G画素が配置されるべき位置に配置した焦点検出画素の出力をJ（AFG）、周囲のG画素の出力をI（G１）〜I（G8）とする。
【００４２】
ステップＳ１１０２において焦点検出画素群の各画素位置の画像データを焦点検出画素の出力J（AFG）のゲインを補正し画像データを生成する。ゲイン補正により算出される画像データをIｇ（AFG）とする。
各焦点検出画素でのゲイン補正値は予め、レンズ、絞りごとに各画素の位置によって算出可能な数式をカメラ内部に記憶しておく。もしくは、撮像を行なうごとに、焦点検出画素の出力と周辺に配置された同色撮像画素の出力に基づいてゲイン補正値をリアルタイムで取得していくゲイン調整部を持ってもよい。
【００４３】
ステップＳ１１０３では、焦点検出画素の位置の画像データを周辺の撮像画素の撮像データから補間処理を行なう際に参照する撮像画素の組み合わせ数をＣｎｍａｘにセットする。補間処理を行なう際に参照する撮像画素の組み合わせを（G１、G８）、（G４、G５）、（G３、G６）、（G２、G７）とした例（この場合Ｃｎｍａｘは最大で４）を説明する。本実施例では４種類の補間参照画素の組み合わせを記載したが、補間処理で参照する撮像画素は焦点検出画素からさらに離れた画素を使用してもよい。ステップＳ１１０４では、前記した参照する撮像画素（G１、G８）、（G４、G５）、（G３、G６）、（G２、G７）の中に欠陥画素が含まれるか否かを判別し、欠陥画素が含まれる参照画素の組み合わせがある場合、その分の組み合わせ数Ｃｎmaxの値を減算する。もしくは、例としてＧ２が欠陥画素の場合、Ｇ２′をＧ２の変わりに補間参照画素として使用してもよい。すなわち、本件発明は、複数の補間参照画素に欠陥画素が含まれるか否かを判定する欠陥画素判定手段を有し、欠陥画素判定手段の結果に応じて補間参照画素の組み合わせを選択する補間参照画素選択手段を有する。ステップＳ１１０５では、複数の補間参照画素の組み合わせに対して優先順位をつける。優先順位をつける方法として、参照する画素の撮像データの差の絶対値を比較する。
abs（I（G１）−I（G８））、abs（I（G４）−I（G５））、
abs（I（G３）−I（G６））、abs（I（G２）−I（G７））
【００４４】
なお、abs（）は（）内の絶対値を表す記号である。参照する画素の撮像データの差の絶対値が小さいほうから優先順位を高くし、優先順位の降順に数値（参照画素に欠陥画素がない場合、優先順位が高い方から１、２，３，４）を割り当てる。前記した撮像画素の組み合わせから得られる補間処理による画像データは夫々次式で表される。
Iｃ1（AFG）＝（I（G１）＋I（G８））／2 （１）
Iｃ2（AFG）＝（I（G４）＋I（G５））／2 （２）
Iｃ3（AFG）＝（I（G３）＋I（G６））／2 （３）
Iｃ4（AFG）＝（I（G２）＋I（G７））／2 （４）
ステップＳ１１０６において、参照する撮像画素の優先順位の順番で設定した数値１をｐにセットし、ステップＳ１１０７において、セットされたｐの値に応じた補間参照画素により補間処理を行ない、画像データを算出する。
【００４５】
ステップＳ１１０８において、次のような条件判定を行なって焦点検出画素の位置の画像データに対して、補間処理によって生成した画像データが正しいか否かを判別する。補間処理によって生成された画像データは次式を満足したときに正しいと判断する。
abs（（Iｃ（AFG）−Iｇ（AFG）／Iｇ（AFG））＜T （５）
（５）式において、Tは所定の閾値である。同式ではゲイン補正処理によって生成された画像データに対する補間処理によって生成された画像データの差の比率から判別している。なお、判別式は（５）式に限らず、ゲイン補正処理によって生成された画像データと補間処理によって生成された画像データの差から判別してもよい。すなわち、本件発明は、第１及び第２の推定手段それぞれから得られる推定結果に基づいて前記機能画素の位置における画像の出力を選択する画像出力選択手段を有し、特に第２の推定手段で複数の補間参照画素の組み合わせにより複数生成される推定結果において、第１の推定手段により生成された推定結果との差が所定値以下に収まるか否かに応じて、機能画素の位置における画像の出力を選択している。
【００４６】
補間処理によって生成された画像データが正しいと判断された場合は、ステップＳ１１０９に進み、焦点検出画素の位置の画像データをステップＳ１１０７で求めたIc（AFG）とする。
【００４７】
一方、ステップＳ１１０８で補間処理により生成された画像データが正しくないと判断された場合、ステップＳ１１１０に進む。ステップＳ１１１０では補間処理を行なう際に参照する撮像画素の組み合わせが他にあるか否かを判断する。あるようなら次に優先順位の高い参照画素の組み合わせにより再度補間処理によって画像データの算出を行ない前述と同様のステップを繰り返す。処理を繰り返し、ステップＳ１１１０において補間処理を行なう際に参照する撮像画素の組み合わせが他になくなった場合、補間処理により画像データを生成することは困難と判断し、Ｓ１１１１に進み、焦点検出画素の位置の画像データをゲイン補正処理により生成した画像データIg（AFG）とする。また、ここでは、ゲイン補正処理により生成した画像データの代わりに、ゲイン補正処理により生成された画像データと補間処理により生成された画像データを加重加算した値を画像データとしてもよい。この場合、ゲイン補正処理により生成された画像データをIg（AFG）、ゲイン補正結果に最も近い値の得られる補間処理による画像データIc（AFG）とすると、次式で表される画像データを焦点検出画素の位置の画像データとする。ｋ１、ｋ２はｋ１＋k2＝１を満たす重み付けの係数である。
I ＝ k1 × Ig（AFG）＋ k2 × Ic（AFG） （６）
すなわち、本件発明に係わる画像出力選択手段は、第２の推定手段で複数の補間参照画素の組み合わせにより複数生成される推定結果のいずれにおいても、第１の推定手段により生成された推定結果との差が所定値以下に収まることのない場合、第１の推定手段により生成された推定結果、もしくは第１および第２の推定手段により得られた推定結果の加重加算により生成された推定結果を機能画素の位置における画像の出力として選択することを可能とする。
【００４８】
ここで、図１１が煩雑になることを避けて記載を省略したが、焦点検出画素が欠陥画素の場合の画像処理動作を説明する。焦点検出画素が欠陥画素の場合、ステップＳ１１０２において得られるゲイン補正処理結果は本来焦点検出画素の位置にあるべき撮像画素の出力からかけ離れた画像信号となる可能性が高いため、ｐ＝１をセットしたときに算出した補間処理結果を画像信号として出力する。これに関し、本件発明の画像処理装置は、通常撮像画素および機能画素が欠陥画素であるか否かを判定する欠陥画素判定手段を有し、画像出力選択手段は、欠陥画素判定手段の結果に応じて第１、および第２の推定手段により生成される推定結果のうち、いずれか一方を機能画素の位置における画像の出力として選択するよう構成されている。
【００４９】
焦点検出画素群の他の画素位置の画像データにおいても同様にしてゲイン補正処理により生成される画像データと補間処理により生成される画像データの比較から画像データを生成していく。全ての焦点検出画素の位置において画像データを生成するとＳ１００５にリターンする。
【００５０】
ステップＳ１００５では、画像のγ補正、エッジ強調等の画像処理をおこない、ステップＳ１００６において、フラッシュメモリ１３３に撮影画像を記録する。ステップＳ１００７では、表示器１３１に撮影済み画像を表示し、ステップＳ１００８で図８のメインフローにリターンする。
図８のメインフローに戻ると、ステップＳ８１２にて一連の撮影動作を終了する。
【００５１】
以上説明したように、本発明では、焦点検出画素の位置の画像信号生成に関して、比較的被写体に依存しないゲイン補正処理により生成された画像信号に基づいて、補間処理で参照する複数の画素を選択している。このため、補間処理により生成された画像信号よる画質劣化を低減することが可能となる。したがって、本件発明では、適切な補間画素を生成できるので、補間による画質劣化を低減効果を維持しながら焦点検出画素の数を増やすことができる。さらに、本件発明は焦点検出画素が欠陥画素であることを検出して、その画素値を用いない画素値補間構成を提供できるので、より効果的に画質劣化の低減を達成できる。
【００５２】
なお、以上説明した実施例は代表的な例にすぎず、本発明の実施に際しては、実施例に対して種々の変形や変更が可能である。
例えば、図７に示す撮像素子では、焦点検出画素の配置を4画素おきに、またＳＡとＳＢを異なるラインに配置した例を示したが、図１２に示すように特定の焦点検出領域において、1ラインを構成する全てのＧ画素の位置に焦点検出画素をＳＡ、及びＳＢを交互に配置しても同様の効果が得られる。しかし、図１２のように焦点検出画素を密に配置した場合は焦点検出画素の位置における画像データを補間演算するときに参照する画素の組み合わせ数が減少する。図１３は、図１１における焦点検出画素及びその周辺の撮像画素の配置図である。同図において、焦点検出画素ＡＦ２の位置の画像情報を周辺の通常画素出力から補間演算をする場合、補間演算に用いる参照画素は（G１、G８）、（G３、G６）、（G２、G７）となる。
【００５３】
また、図１１に示す焦点検出画素の位置の画像データを生成する処理では、補間処理で参照する画素の組み合わせ方向に対して、参照する画素の撮像信号の差の絶対値を比較し、予め優先順位をつけて、優先順位の高い参照画素の組み合わせによる補間処理の画像データから一つずつゲイン補正処理により生成された画像データと比較をした。しかし、図１４に示すように初めに（１）式〜（４）式で算出される全てのＩｃ（ＡＦＧ）とゲイン補正処理により生成された画像データＩｇ（ＡＦＧ）とを比較し、ゲイン補正処理により生成された画像データと最も近い画像データとなる補間結果を画像データとして採用する方法をとってもよい。すなわち、本件発明では、画像出力選択手段を、第２の推定手段で複数の補間参照画素の組み合わせにより複数生成される推定結果のうち、第１の推定手段により生成される推定結果に最も近い推定結果を、機能画素の位置における画像の出力を選択するよう構成することも可能である。この方法によっても同様の効果が得られる。
【００５４】
また、カメラ制御部１２１の制御は１つのハードウェアが行ってもよいし、複数のハードウェアが処理を分担することで、装置全体の制御を行ってもよい。
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。
【００５５】
また、上述した実施の形態の処理は、各機能を具現化したソフトウェアのプログラムコードを記録した記憶媒体をシステム或いは装置に提供してもよい。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによって、前述した実施形態の機能を実現することができる。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フロッピィ（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスクなどを用いることができる。或いは、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリーカード、ＲＯＭなどを用いることもできる。
【００５６】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した各実施の形態の機能が実現されるだけではない。そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって前述した各実施例の機能が実現される場合も含まれている。
【００５７】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリーに書きこまれてもよい。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって前述した各実施の形態の機能が実現される場合も含むものである。
【符号の説明】
【００５８】
１００ デジタルカメラ（撮像装置）
１０１ 第１レンズ群
１０２ 絞り兼用シャッタ
１０３ 第２レンズ群
１０５ 第３レンズ群
１０６ 光学的ローパスフィルタ
１０７ 撮像素子
１１３ プリズムアクチュエータ
１１４ フォーカスアクチュエータ
１２１ ＣＰＵ
１２４ 撮像素子駆動回路
１２５ 画像処理回路
１３１ 表示器
１３２ 操作スイッチ群
１３３ フラッシュメモリ
２０１ 光電変換部
【技術分野】
【０００１】
本発明は、デジタルカメラやビデオカメラ等の撮像素子を構成する画素群の一部に特定の機能を付与した機能画素を有する撮像装置に関し、特に撮像素子からの出力に基づいて画像処理を行なう画像処理装置に関する。
【背景技術】
【０００２】
撮像素子を構成する画素群の一部に特定の機能を付与した機能素子を有する撮像素子の一例として、撮像素子に被写体像の位相差検出機能を付与し、専用のＡＦセンサを不要とし、かつ高速の位相差ＡＦを実現するための技術が開示されている。
【０００３】
例えば特開２０００−１５６８２３号公報（特許文献１）では、撮像素子の一部の受光素子（画素）において、オンチップマイクロレンズの光軸に対して受光部の感度領域を偏心させることで瞳分割機能を付与している。そしてこれらの画素を焦点検出用画素とし、撮像用画素群の間に所定の間隔で配置することで、位相差式焦点検出を行なう。また、焦点検出用画素が配置された箇所は撮像画素の欠損部に相当するため、周辺の撮像画素情報から補間して画像情報を生成している。
【０００４】
また特開２００９−４４６３７号公報（特許文献２）では、焦点検出画素の位置の画像情報を生成する手段が、焦点検出画素の画像情報からゲイン補正により画像データを生成する補正手段と、焦点検出画素の周辺の撮像画素情報から補間して画像情報を生成する補正手段を有し、さらに被写体像の空間周波数成分を検出する周波数成分検出手段を有し、検出された空間周波数成分に応じて画像情報生成手段を切り換えている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０００−１５６８２３号公報
【特許文献２】特開２００９−４４６３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら上述の公知技術には、以下のような課題がある。
特許文献１に開示されているように、焦点検出画素の画像信号を周辺画素の画像信号をもとに補間すると、該周辺画素によって取得される画像データが、本来その位置にあるべき撮像画素の出力からかけ離れた値を算出してしまう可能性がある。
空間周波数の低い被写体を受光する場合、焦点検出用画素の位置の像は周辺の撮像専用画素の位置の像に対して連続性が高い。そのため、焦点検出画素の位置の画像データを、周辺画素からの画像信号に基づいて補間するのが好ましい。この場合、被写体像の空間周波数が低いので、補間処理による鮮鋭度の低下は目立ち難い。
【０００７】
一方、空間周波数の高い被写体を受光する場合、焦点検出用画素の位置の像は周辺の撮像専用画素の位置の像に対して連続性が低いため、補間処理を行なう上で、補間参照画素の選択により大きく結果が異なる。
特定方向に像の連続性が低い被写体を受光する場合、焦点検出画素の位置に対して像の連続性が高い方向に配列されている撮像専用画素を補間参照画素として選択することが好ましい。また、全方向に対して像の連続性が低い画像に対しては、焦点検出画素の位置の画像信号を周辺画素の画像信号から推定することが難しい。
【０００８】
特許文献２に開示されている公知技術では、空間周波数の高い被写体を受光する場合、焦点検出画素の位置の画像情報を焦点検出画素の画像情報からゲイン補正により生成している。焦点検出画素の出力信号からゲイン補正により画像信号を生成すると、比較的被写体に依存しない画像信号を生成できるが、焦点検出画素の配置密度を密にすると、得られる画像に対して、焦点検出画素が配置されている領域でノイズ感の目立つ可能性が高くなる。一方、焦点検出画素の周辺の撮像専用画素から補間を行なう場合、ノイズ感は目立ち難いが、良好な画像を得るためには補間参照画素を正しく選択することが求められる。
【課題を解決するための手段】
【０００９】
本発明は、焦点検出画素の位置の画像データ生成に伴う画像品質の劣化を低減を達成できる画像処理装置を提供する。
【００１０】
本件発明の画像処理装置は、水平方向、及び、垂直方向に配置された通常撮像画素とその間に離散的に配置された機能画素とを有する撮像素子の出力を入力する手段と、機能画素の出力にゲイン補正演算を行ない、機能画素の位置における画像の出力を推定する第１の推定手段と、機能画素の周辺の通常撮像画素を補間参照画素として、複数の補間参照画素の出力に基づき補間演算を行ない、機能画素の位置における画像の出力を推定する第２の推定手段と、第１及び第２の推定手段それぞれから得られる推定結果に基づいて機能画素の位置における画像の出力を選択する画像出力選択手段とを有し、画像出力選択手段は、第１の推定手段の出力に基づいて、第２の推定手段で複数の補間参照画素の組み合に基づいて生成される一つまたは複数推定結果から、機能画素の位置における画像の出力を選択することを特徴とするものである。
【発明の効果】
【００１１】
本発明では、焦点検出画素の位置の画像信号生成に関して、比較的被写体に依存しないゲイン補正処理により生成された画像信号に基づいて、補間処理で参照する複数の画素を選択する。このため、補間処理により生成された画像信号よる画質劣化を低減することが可能となる。
【図面の簡単な説明】
【００１２】
【図１】本発明実施例のカメラの構成図である。
【図２】本発明実施例の固体撮像素子のブロック図である。
【図３】本発明実施例の撮像素子の撮像用画素の平面図と断面図である。
【図４】本発明実施例の撮像素子の焦点検出用画素の平面図と断面図である。
【図５】本発明実施例の撮像素子の焦点検出用画素の平面図と断面図である
【図６】本発明実施例の撮像素子の焦点検出領域を示す図である。
【図７】本発明実施例の撮像素子の焦点検出領域におけるの画素配置パターンを示した図である。
【図８】本発明実施例のカメラの動作を示すフローチャートである。
【図９】本発明実施例の焦点検出動作を示すフローチャートである。
【図１０】本発明実施例の撮影動作を示すフローチャートである。
【図１１】本発明実施例の画像処理動作を示すフローチャートである。
【図１２】本発明実施例の焦点検出画素周辺の画素配置図である
【図１３】本発明実施変形例の焦点検出画素の配置パターンを示す図である。
【図１４】本発明実施変形例の焦点検出画素周辺の画素配置パターンを示す図である。
【図１５】本発明実施変形例の画像処理動作を示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下、図面を参照して本発明の好適な実施形態を説明する。
【００１４】
実施例１
以下、本発明の第１の実施の形態について図面を参照しながら説明する。
図１は本発明に係るカメラの構成図で、撮像素子を有したカメラ本体と撮影レンズが一体となった電子カメラを示している。同図において、１０１は撮影光学系（結像光学系）の先端に配置された第１レンズ群で、光軸方向に進退可能に保持される。１０２は絞り兼用シャッタで、その開口径を調節することで撮影時の光量調節を行なうほか、静止画撮影時には露光秒時調節用シャッタとしての機能も備える。１０３は第２レンズ群である。そして前記絞り兼用シャッタ１０２及び第２レンズ群１０３は一体となって光軸方向に進退し、前記第１レンズ群１０１の進退動作との連動により、変倍作用（ズーム機能）をなす。
【００１５】
１０５は第３レンズ群で、光軸方向の進退により、焦点調節を行なう。１０６は光学的ローパスフィルタで、撮影画像の偽色やモアレを軽減するための光学素子である。１０７はＣ−ＭＯＳセンサとその周辺回路で構成された撮像素子である。該撮像素子は、横方向ｍ画素、縦方向ｎ画素の受光ピクセル上に、ベイヤー配列の原色カラーモザイクフィルタがオンチップで形成された２次元単板カラーセンサが用いられる。
【００１６】
１１１はズームアクチュエータで、不図示のカム筒を回動することで、第１レンズ群１０１ないし第３レンズ群１０３を光軸方向に進退駆動し、変倍操作を行なう。１１２は絞りシャッタアクチュエータで、絞り兼用シャッタ１０２の開口径を制御して撮影光量を調節すると共に、静止画撮影時の露光時間制御を行なう。１１４はフォーカスアクチュエータで、第３レンズ群１０５を光軸方向に進退駆動して焦点調節を行なう。
【００１７】
１１５は撮影時の被写体照明用電子フラッシュで、キセノン管を用いた閃光照明装置が好適だが、連続発光するＬＥＤを備えた照明装置を用いても良い。１１６はＡＦ補助光手段で、所定の開口パターンを有したマスクの像を、投光レンズを介して被写界に投影し、暗い被写体あるいは低コントラスト被写体に対する焦点検出能力を向上させる。
【００１８】
１２１はＣＰＵ（カメラ制御部）で、カメラ本体の種々の制御を司るカメラ内ＣＰＵで、演算部、ＲＯＭ、ＲＡＭ、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ、通信インターフェイス回路等を有し、ＲＯＭに記憶された所定のプログラムに基づいて、カメラが有する各種回路を駆動し、ＡＦ、撮影、画像処理と記録等の一連の動作を実行する。
【００１９】
１２２は電子フラッシュ制御回路で、撮影動作に同期して照明手段１１５を点灯制御する。１２３は補助光駆動回路で、焦点検出動作に同期してＡＦ補助光手段１１６を点灯制御する。１２４は撮像素子駆動回路で、撮像素子１０７の撮像動作を制御するとともに、取得した画像信号をＡ／Ｄ変換してＣＰＵ１２１に送信する。１２５は画像処理回路で、撮像素子１０７が取得した画像のγ変換、カラー補間、ＪＰＥＧ圧縮等の処理を行なう。
【００２０】
１２６はフォーカス駆動回路で、焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動制御し、第３レンズ群１０５を光軸方向に進退駆動して焦点調節を行なう。１２８はシャッタ駆動回路で、絞りシャッタアクチュエータ１１２を駆動制御して絞り兼用シャッタ１０２の開口を制御する。１２９はズーム駆動回路で、撮影者のズーム操作に応じてズームアクチュエータ１１１を駆動する。
【００２１】
１３１はＬＣＤ等の表示器で、カメラの撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、焦点検出時の合焦状態表示画像等を表示する。１３２は操作スイッチ群で、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等で構成される。１３３は着脱可能なフラッシュメモリで、撮影済み画像を記録する。
【００２２】
図２は、撮像素子のブロック図を示している。なお、図２のブロック図は、読み出し動作が説明できる最低限の構成を示しており、画素リセット信号などが省略されている。図２において、２０１は、光電変換部（以下、PDmnと略す。ｍは、Ｘ方向アドレスであり、ｍ=0、１・・・m-1、ｎは、Ｙ方向アドレスであり、ｎ=0、１・・・n-1である。）であり、フォトダイオード、画素アンプ、リセット用のスイッチなどで構成されている。また、本発明の撮像素子は、ｍ×ｎの光電変換部が２次元状に連続的に配置されている。符号は、煩雑になるので、左上の光電変換部PD00付近のみに付記した。
【００２３】
２０２は、光電変換部のPDmnの出力を選択するスイッチであり、垂直操作回路２０８により、一行単位で選択する。
【００２４】
２０３は、２０１の光電変換部PDmn出力を一時的に記憶するためのラインメモリであり、垂直走査回路により選択された、一行分の光電変換部の出力を記憶するものである。通常は、コンデンサが使用される。
【００２５】
２０４は、水平出力線に接続されて、水平出力線を所定の電位ＶＨＲSＴにリセットするためのスイッチであり、信号ＨＲSＴにより制御される。
【００２６】
２０５は、前述の２０３のラインメモリに記憶された光電変換部PDmnの出力を水平出力線に順次出力するためのスイッチであり、Ｈ0からＨm-1のスイッチを後述の２０６の水平走査回路により順次走査することで、一行分の光電変換の出力が読み出される。
【００２７】
２０６は、水平走査回路であり、ラインメモリに記憶された光電変換部の出力を順次操作して、水平出力線に出力させる。信号ＰＨＳＴは、水平走査回路のデータ入力、ＰＨ１、ＰＨ２は、シフトクロック入力であり、ＰＨ１＝Ｈでデータがセットされ、ＰＨ２でデータがラッチされる構成となっており、ＰＨ１、ＰＨ２にシフトクロックを入力することにより、ＰＨＳＴを順次シフトさせて、Ｈ0からＨm-1のスイッチを順次オンさせることができる。ＳＫＩＰは、間引き読み出し時に設定を行なわせる制御端子入力である。ＳＫＩＰ端子をＨレベルに設定することにより、水平走査回路を所定間隔でスキップさせることが可能になる。
【００２８】
２０７は、垂直走査回路であり、順次走査して、Ｖ0からＶn-1を出力することにより、光電変換部PDmnの選択スイッチ２０２を選択することができる。制御信号は、水平走査回路と同様に、データ入力ＰＶＳＴ、シフトクロックＰＶ１、ＰＶ２、間引き読み設定ＳＫＩＰにより制御される。動作に関しては、水平走査回路と同様であるので詳細説明は省略する。また、図中では、前記の制御信号は、不図示とした。
図３、図４、及び図５は、撮像用画素と焦点検出用画素の構造を説明する図である。本実施例においては、２×２の４画素のうち、対角２画素にＧ（緑色）の分光感度を有する画素を配置し、他の２画素にＲ（赤色）とＢ（青色）の分光感度を有する画素を各１個配置した、ベイヤー配列が採用されている。そして、該ベイヤー配列の間に、後述する構造の焦点検出用画素が所定の規則にて分散配置される。すなわち、本件発明に係わる撮像素子は、赤色、緑色、青色に感度を有する３種類の画素のベイヤー配列を単位ユニットとして二次元状に連続的に複数配列するとともに、該配列中に離散的に配置された機能画素を有するものである。
【００２９】
図３に撮像用画素の配置と構造を示す。同図（ａ）は２×２の撮像用画素の平面図である。周知のごとく、ベイヤー配列では対角方向にＧ画素が、他の２画素にＲとＢの画素が配置される。そして該２行×２列の構造が繰り返し配置される。
同図（ａ）の断面Ａ−Ａを同図（ｂ）に示す。ＭＬは各画素の最前面に配置されたオンチップマイクロレンズ、ＣＦＲはＲ（Ｒｅｄ）のカラーフィルタ、ＣＦＧはＧ（Ｇｒｅｅｎ）のカラーフィルタである。ＰＤはＣ−ＭＯＳセンサの光電変換部を模式的に示したもの、ＣＬはＣ−ＭＯＳセンサ内の各種信号を伝達する信号線を形成するための配線層である。ＴＬは撮影光学系を模式的に示したものである。
ここで、撮像用画素のオンチップマイクロレンズＭＬと光電変換部ＰＤは、撮影光学系ＴＬを通過した光束を可能な限り有効に取り込むように構成されている。換言すると、撮影光学系ＴＬの射出瞳ＥＰと光電変換部ＰＤは、マイクロレンズＭＬにより共役関係にあり、かつ光電変換部の有効面積は大面積に設計される。また、同図（ｂ）ではG画素の入射光束について説明したが、R画素及びＢ（Ｂｌｕｅ）画素も同一の構造となっている。従って、撮像用のＲＧＢ各画素に対応した射出瞳ＥＰは大径となり、被写体からの光束を効率よく取り込んで画像信号のＳ／Ｎを向上させている。
【００３０】
図４は、撮影レンズの水平方向（横方向）に瞳分割を行なうための焦点検出用画素の配置と構造を示す。すなわち、本件発明に係わる焦点検出用画素は、光学系による像光束を受光し、瞳分割方式により光学系の焦点調節状態を検出する機能画素である。ここで水平方向あるいは横方向の定義は、撮影光学系の光軸が水平となるようにカメラを構えたとき、該光軸に直交し、かつ水平方向に伸びる直線に沿った方向を指す。同図（ａ）は、焦点検出用画素を含む２行×２列の画素の平面図である。本実施例においては、焦点検出画素の信号を画像生成に用いるため、焦点検出画素の信号においてもS／Nが高いことが望まれる。よって、ＲとＢの画素を撮像用画素として残し、Gの画素を焦点検出用画素としている。すなわち、本件発明に係わる機能画素は、撮像素子上の緑色に感度を有する画素に相当する位置に配列するものである。これを同図（ａ）においてＳＡ及びＳＢで示す。
【００３１】
同図（ａ）の断面Ａ−Ａを同図（ｂ）に示す。マイクロレンズＭＬと、光電変換部ＰＤは図４（ｂ）に示した撮像用画素と同一構造である。本実施例においては、焦点検出用画素の信号は画像生成に用いるため、色分離用カラーフィルタを変更せずに配置しているが、Gのフィルターの代わりに透明膜ＣＦＷ（Ｗｈｉｔｅ）を配置してもよい。また、撮像素子で瞳分割を行なうため、配線層ＣＬの開口部はマイクロレンズＭＬの中心線に対して一方向に偏倚している。具体的には、画素ＳＡおよび、その開口部ＯＰＨＡは右側に偏倚しているため、撮影レンズＴＬの左側の射出瞳ＥＰＨＡを通過した光束を受光する。同様に、画素ＳＢの開口部ＯＰＨＢは左側に偏倚しているため、撮影レンズＴＬの右側の射出瞳ＥＰＨＢを通過した光束を受光する。よって、画素ＳＡを水平方向に規則的に配列し、これらの画素群で取得した被写体像をＡ像とする。また、画素ＳＢも水平方向に規則的に配列し、これらの画素群で取得した被写体像をＢ像とすると、Ａ像とＢ像の相対位置を検出することで、被写体像のピントずれ量（デフォーカス量）が検出できる。
なお、上記画素ＳＡ及びＳＢでは、撮影画面の横方向に輝度分布を有した被写体、例えば縦線に対しては焦点検出可能だが、縦方向に輝度分布を有する横線は焦点検出不能である。縦方向のピントずれ量を検出したい場合には、ＳＡおよび、その開口部ＯＰＨＡを上側に、ＳＢおよび、その開口部ＯＰＨＢを下側に偏倚させて構成すればよい。
【００３２】
図５は、撮影光学系の縦方向に瞳分割を行なうための焦点検出用画素の配置と構造を示す。ここで縦横方向の定義は、撮影光学系の光軸が水平となるようにカメラを構えたとき、該光軸に直交し、鉛直方向に伸びる直線に沿った方向を指す。同図（ａ）は、焦点検出用画素を含む２行×２列の画素の平面図で、図４（ａ）と同様に、ＲとＢの画素を撮像用画素として残し、Gの画素を焦点検出用画素としている。これを同図（ａ）においてＳＣ及びＳＤで示す。
【００３３】
同図（ａ）の断面Ａ−Ａを同図（ｂ）に示すが、図４（ｂ）の画素が横方向に瞳分割する構造であるのに対して、図５（ｂ）の画素は瞳分割方向が縦方向(垂直方向)になっているだけで、画素の構造としては変わらない。すなわち、画素ＳＣの開口部ＯＰＶＣは下側に偏倚しているため、撮影光学系ＴＬの上側の射出瞳ＥＰＶＣを通過した光束を受光する。同様に、画素ＳＤの開口部ＯＰＶＤは上側に偏倚しているため、撮影光学系ＴＬの下側の射出瞳ＥＰＶＤを通過した光束を受光する。よって、画素ＳＣを垂直方向規則的に配列し、これらの画素群で取得した被写体像をＣ像とする。また、画素ＳＤも垂直方向規則的に配列し、これらの画素群で取得した被写体像をＤ像とすると、Ｃ像とＤ像の相対位置を検出することで、垂直方向に輝度分布を有する被写体像のピントずれ量（デフォーカス量）が検出できる。
【００３４】
図６は、撮像画面上の焦点検出領域を示した一例である。撮像画面上には複数の焦点検出領域１〜５を設定し、焦点検出画素を撮像画面上の焦点検出領域１〜５に対応して配列する。つまり、撮像素子上の焦点検出画素群は、焦点検出領域１〜５に対応した領域で結像された被写体像から像をサンプリングすることで焦点検出を行なう。
【００３５】
図７は、撮像用画素および焦点検出用画素の配置を示した図である。同図において、Ｇは、緑フィルターを塗布された画素、Ｒは、赤フィルターを塗布された画素、Ｂは、青フィルターを塗布された画素である。図中のＳＡは、画素部の開口を水平方向に偏倚させて、形成された焦点検出用の画素であり、後述のＳＢ画素群との水平方向の像ずれ量を検出するための基準画素群である。また、ＳＢは、画素の開口部をＳＡ画素とは、逆方向に偏倚させて形成された画素であり、ＳＡ画素群との水平方向の像ずれ量を検出するための参照画素群である。ＳＡ、ＳＢ画素の白抜き部分が、偏倚した画素の開口位置を示している。本件発明に係わる焦点検出画素は、通常撮像画素に対して半分以上の大きさの瞳に対する像光束を受光するものである。
【００３６】
図８は、本実施例におけるカメラの動作を示すフローチャートである。
撮影者がカメラの電源スイッチをオン操作すると、ステップＳ８０２においてＣＰＵ１２１はカメラ内の各アクチュエータや撮像素子の動作確認を行ない、メモリ内容や実行プログラムの初期化を行なうと共に、撮影準備動作を実行する。ステップＳ８０３では撮像素子の撮像動作を開始し、プレビュー用の低解像度動画像を出力する。ステップＳ８０４では読み出した動画をカメラ背面に設けられた表示器１３１に表示し、撮影者はこのプレビュー画像を目視して撮影時の構図決定を行なう。
ステップＳ８０５で図６の画像領域の中から焦点検出領域を決定する。その後、ステップＳ９０１に進み、焦点検出サブルーチンを実行する。
【００３７】
図９は焦点検出サブルーチンのフロー図である。メインフローのステップＳ９０１から当サブルーチンにジャンプすると、ステップＳ９０２においては、メインルーチンのステップＳ８０５で決定した焦点検出領域に含まれる焦点検出用画素を読み出す。ステップＳ９０３では得られた２像の相関演算を行ない、２像の相対的な位置ずれ量を計算する。ステップ９０４では、相関演算結果の信頼性を判定する。ここで信頼性とは、２像の一致度を指し、２像の一致度が良い場合は一般的に焦点検出結果の信頼性が高い。そこで、複数の焦点検出領域が選択されている場合は、信頼性の高い情報を優先的に使用する。
ステップＳ９０５では、前記信頼性の高い検出結果から焦点ずれ量を演算する。そしてステップＳ９０６にて図８のメインフロー内のステップＳ８０７にリターンする。
【００３８】
図８のステップＳ８０７では、図９のステップＳ９０５で計算した焦点ズレ量が許容値以下か否かを判断する。そして焦点ズレ量が許容値以上である場合は、非合焦と判断し、ステップＳ８０８でフォーカスレンズを駆動し、その後ステップＳ９０１ないしステップＳ８０７を繰り返し実行する。そしてステップＳ８０７にて合焦状態に達したと判定されると、ステップＳ８０９にて合焦表示を行ない、ステップＳ８１０に移行する。
ステップＳ８１０では、撮影開始スイッチがオン操作されたか否かを判別し、オン操作されていなければステップＳ８１０にて撮影待機状態を維持する。ステップＳ８１０で撮影開始スイッチがオン操作されるとステップＳ１００１に移行し、撮影サブルーチンを実行する。
【００３９】
図１０は撮影サブルーチンのフローチャートである。撮影開始スイッチが操作されると、ステップＳ１００１を経由して、ステップＳ１００２では光量調節絞りを駆動し、露光時間を規定するメカニカルシャッタの開口制御を行なう。ステップＳ１００３では、高解像度静止画撮影のための画像読み出し、すなわち全画素の読み出しを行なう。ステップＳ１２０４、及びステップＳ１１０１では読み出した画像信号において、各焦点検出画素の位置の画像データを生成する。
【００４０】
図１１は、各焦点検出画素の位置の画像データを生成するサブルーチンのフローチャートである。
焦点検出画素では、図５及び図６からも分かるように、画素ごとに設けられた遮光層によって視野が制限されている。したがって、焦点検出画素からの画像信号のレベルは、焦点検出画素の周辺に位置する撮像画素からの画像信号のレベルと異なってしまう。
カメラ１００は、焦点検出画素列の各画素位置の画像データを生成する(推定する)手段を複数もつ。１つ目として、焦点検出画素の信号を画像生成に用いてゲイン補正演算を行うゲイン補正手段（第１の推定手段）。もう１つに、焦点検出画素の周囲の撮像画素信号に基づいて画像データを生成する補間手段である（第２の推定手段）。補間手段では、焦点検出画素周辺の撮像画素の出力を単純平均して焦点検出画素位置の画像データを求めているので、焦点検出画素付近でコントラストの高い被写体を撮像した場合には、補間処理により求めた画像データが本来その位置にあるべき撮像画素の出力からかけ離れてしまう可能性があるのに対し、ゲイン補正手段では補間手段と比較し被写体に依存しない画像データを生成することが出来る。そこで、ゲイン補正手段で得られる画像データを指標として補間処理を行なう上で参照する撮像画素の組み合わせを決定していく。
【００４１】
図１２は焦点検出画素群及びその周辺の撮像画素の配置を示す。G画素が配置されるべき位置に配置した焦点検出画素の出力をJ（AFG）、周囲のG画素の出力をI（G１）〜I（G8）とする。
【００４２】
ステップＳ１１０２において焦点検出画素群の各画素位置の画像データを焦点検出画素の出力J（AFG）のゲインを補正し画像データを生成する。ゲイン補正により算出される画像データをIｇ（AFG）とする。
各焦点検出画素でのゲイン補正値は予め、レンズ、絞りごとに各画素の位置によって算出可能な数式をカメラ内部に記憶しておく。もしくは、撮像を行なうごとに、焦点検出画素の出力と周辺に配置された同色撮像画素の出力に基づいてゲイン補正値をリアルタイムで取得していくゲイン調整部を持ってもよい。
【００４３】
ステップＳ１１０３では、焦点検出画素の位置の画像データを周辺の撮像画素の撮像データから補間処理を行なう際に参照する撮像画素の組み合わせ数をＣｎｍａｘにセットする。補間処理を行なう際に参照する撮像画素の組み合わせを（G１、G８）、（G４、G５）、（G３、G６）、（G２、G７）とした例（この場合Ｃｎｍａｘは最大で４）を説明する。本実施例では４種類の補間参照画素の組み合わせを記載したが、補間処理で参照する撮像画素は焦点検出画素からさらに離れた画素を使用してもよい。ステップＳ１１０４では、前記した参照する撮像画素（G１、G８）、（G４、G５）、（G３、G６）、（G２、G７）の中に欠陥画素が含まれるか否かを判別し、欠陥画素が含まれる参照画素の組み合わせがある場合、その分の組み合わせ数Ｃｎmaxの値を減算する。もしくは、例としてＧ２が欠陥画素の場合、Ｇ２′をＧ２の変わりに補間参照画素として使用してもよい。すなわち、本件発明は、複数の補間参照画素に欠陥画素が含まれるか否かを判定する欠陥画素判定手段を有し、欠陥画素判定手段の結果に応じて補間参照画素の組み合わせを選択する補間参照画素選択手段を有する。ステップＳ１１０５では、複数の補間参照画素の組み合わせに対して優先順位をつける。優先順位をつける方法として、参照する画素の撮像データの差の絶対値を比較する。
abs（I（G１）−I（G８））、abs（I（G４）−I（G５））、
abs（I（G３）−I（G６））、abs（I（G２）−I（G７））
【００４４】
なお、abs（）は（）内の絶対値を表す記号である。参照する画素の撮像データの差の絶対値が小さいほうから優先順位を高くし、優先順位の降順に数値（参照画素に欠陥画素がない場合、優先順位が高い方から１、２，３，４）を割り当てる。前記した撮像画素の組み合わせから得られる補間処理による画像データは夫々次式で表される。
Iｃ1（AFG）＝（I（G１）＋I（G８））／2 （１）
Iｃ2（AFG）＝（I（G４）＋I（G５））／2 （２）
Iｃ3（AFG）＝（I（G３）＋I（G６））／2 （３）
Iｃ4（AFG）＝（I（G２）＋I（G７））／2 （４）
ステップＳ１１０６において、参照する撮像画素の優先順位の順番で設定した数値１をｐにセットし、ステップＳ１１０７において、セットされたｐの値に応じた補間参照画素により補間処理を行ない、画像データを算出する。
【００４５】
ステップＳ１１０８において、次のような条件判定を行なって焦点検出画素の位置の画像データに対して、補間処理によって生成した画像データが正しいか否かを判別する。補間処理によって生成された画像データは次式を満足したときに正しいと判断する。
abs（（Iｃ（AFG）−Iｇ（AFG）／Iｇ（AFG））＜T （５）
（５）式において、Tは所定の閾値である。同式ではゲイン補正処理によって生成された画像データに対する補間処理によって生成された画像データの差の比率から判別している。なお、判別式は（５）式に限らず、ゲイン補正処理によって生成された画像データと補間処理によって生成された画像データの差から判別してもよい。すなわち、本件発明は、第１及び第２の推定手段それぞれから得られる推定結果に基づいて前記機能画素の位置における画像の出力を選択する画像出力選択手段を有し、特に第２の推定手段で複数の補間参照画素の組み合わせにより複数生成される推定結果において、第１の推定手段により生成された推定結果との差が所定値以下に収まるか否かに応じて、機能画素の位置における画像の出力を選択している。
【００４６】
補間処理によって生成された画像データが正しいと判断された場合は、ステップＳ１１０９に進み、焦点検出画素の位置の画像データをステップＳ１１０７で求めたIc（AFG）とする。
【００４７】
一方、ステップＳ１１０８で補間処理により生成された画像データが正しくないと判断された場合、ステップＳ１１１０に進む。ステップＳ１１１０では補間処理を行なう際に参照する撮像画素の組み合わせが他にあるか否かを判断する。あるようなら次に優先順位の高い参照画素の組み合わせにより再度補間処理によって画像データの算出を行ない前述と同様のステップを繰り返す。処理を繰り返し、ステップＳ１１１０において補間処理を行なう際に参照する撮像画素の組み合わせが他になくなった場合、補間処理により画像データを生成することは困難と判断し、Ｓ１１１１に進み、焦点検出画素の位置の画像データをゲイン補正処理により生成した画像データIg（AFG）とする。また、ここでは、ゲイン補正処理により生成した画像データの代わりに、ゲイン補正処理により生成された画像データと補間処理により生成された画像データを加重加算した値を画像データとしてもよい。この場合、ゲイン補正処理により生成された画像データをIg（AFG）、ゲイン補正結果に最も近い値の得られる補間処理による画像データIc（AFG）とすると、次式で表される画像データを焦点検出画素の位置の画像データとする。ｋ１、ｋ２はｋ１＋k2＝１を満たす重み付けの係数である。
I ＝ k1 × Ig（AFG）＋ k2 × Ic（AFG） （６）
すなわち、本件発明に係わる画像出力選択手段は、第２の推定手段で複数の補間参照画素の組み合わせにより複数生成される推定結果のいずれにおいても、第１の推定手段により生成された推定結果との差が所定値以下に収まることのない場合、第１の推定手段により生成された推定結果、もしくは第１および第２の推定手段により得られた推定結果の加重加算により生成された推定結果を機能画素の位置における画像の出力として選択することを可能とする。
【００４８】
ここで、図１１が煩雑になることを避けて記載を省略したが、焦点検出画素が欠陥画素の場合の画像処理動作を説明する。焦点検出画素が欠陥画素の場合、ステップＳ１１０２において得られるゲイン補正処理結果は本来焦点検出画素の位置にあるべき撮像画素の出力からかけ離れた画像信号となる可能性が高いため、ｐ＝１をセットしたときに算出した補間処理結果を画像信号として出力する。これに関し、本件発明の画像処理装置は、通常撮像画素および機能画素が欠陥画素であるか否かを判定する欠陥画素判定手段を有し、画像出力選択手段は、欠陥画素判定手段の結果に応じて第１、および第２の推定手段により生成される推定結果のうち、いずれか一方を機能画素の位置における画像の出力として選択するよう構成されている。
【００４９】
焦点検出画素群の他の画素位置の画像データにおいても同様にしてゲイン補正処理により生成される画像データと補間処理により生成される画像データの比較から画像データを生成していく。全ての焦点検出画素の位置において画像データを生成するとＳ１００５にリターンする。
【００５０】
ステップＳ１００５では、画像のγ補正、エッジ強調等の画像処理をおこない、ステップＳ１００６において、フラッシュメモリ１３３に撮影画像を記録する。ステップＳ１００７では、表示器１３１に撮影済み画像を表示し、ステップＳ１００８で図８のメインフローにリターンする。
図８のメインフローに戻ると、ステップＳ８１２にて一連の撮影動作を終了する。
【００５１】
以上説明したように、本発明では、焦点検出画素の位置の画像信号生成に関して、比較的被写体に依存しないゲイン補正処理により生成された画像信号に基づいて、補間処理で参照する複数の画素を選択している。このため、補間処理により生成された画像信号よる画質劣化を低減することが可能となる。したがって、本件発明では、適切な補間画素を生成できるので、補間による画質劣化を低減効果を維持しながら焦点検出画素の数を増やすことができる。さらに、本件発明は焦点検出画素が欠陥画素であることを検出して、その画素値を用いない画素値補間構成を提供できるので、より効果的に画質劣化の低減を達成できる。
【００５２】
なお、以上説明した実施例は代表的な例にすぎず、本発明の実施に際しては、実施例に対して種々の変形や変更が可能である。
例えば、図７に示す撮像素子では、焦点検出画素の配置を4画素おきに、またＳＡとＳＢを異なるラインに配置した例を示したが、図１２に示すように特定の焦点検出領域において、1ラインを構成する全てのＧ画素の位置に焦点検出画素をＳＡ、及びＳＢを交互に配置しても同様の効果が得られる。しかし、図１２のように焦点検出画素を密に配置した場合は焦点検出画素の位置における画像データを補間演算するときに参照する画素の組み合わせ数が減少する。図１３は、図１１における焦点検出画素及びその周辺の撮像画素の配置図である。同図において、焦点検出画素ＡＦ２の位置の画像情報を周辺の通常画素出力から補間演算をする場合、補間演算に用いる参照画素は（G１、G８）、（G３、G６）、（G２、G７）となる。
【００５３】
また、図１１に示す焦点検出画素の位置の画像データを生成する処理では、補間処理で参照する画素の組み合わせ方向に対して、参照する画素の撮像信号の差の絶対値を比較し、予め優先順位をつけて、優先順位の高い参照画素の組み合わせによる補間処理の画像データから一つずつゲイン補正処理により生成された画像データと比較をした。しかし、図１４に示すように初めに（１）式〜（４）式で算出される全てのＩｃ（ＡＦＧ）とゲイン補正処理により生成された画像データＩｇ（ＡＦＧ）とを比較し、ゲイン補正処理により生成された画像データと最も近い画像データとなる補間結果を画像データとして採用する方法をとってもよい。すなわち、本件発明では、画像出力選択手段を、第２の推定手段で複数の補間参照画素の組み合わせにより複数生成される推定結果のうち、第１の推定手段により生成される推定結果に最も近い推定結果を、機能画素の位置における画像の出力を選択するよう構成することも可能である。この方法によっても同様の効果が得られる。
【００５４】
また、カメラ制御部１２１の制御は１つのハードウェアが行ってもよいし、複数のハードウェアが処理を分担することで、装置全体の制御を行ってもよい。
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。
【００５５】
また、上述した実施の形態の処理は、各機能を具現化したソフトウェアのプログラムコードを記録した記憶媒体をシステム或いは装置に提供してもよい。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによって、前述した実施形態の機能を実現することができる。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フロッピィ（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスクなどを用いることができる。或いは、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリーカード、ＲＯＭなどを用いることもできる。
【００５６】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した各実施の形態の機能が実現されるだけではない。そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって前述した各実施例の機能が実現される場合も含まれている。
【００５７】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリーに書きこまれてもよい。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって前述した各実施の形態の機能が実現される場合も含むものである。
【符号の説明】
【００５８】
１００ デジタルカメラ（撮像装置）
１０１ 第１レンズ群
１０２ 絞り兼用シャッタ
１０３ 第２レンズ群
１０５ 第３レンズ群
１０６ 光学的ローパスフィルタ
１０７ 撮像素子
１１３ プリズムアクチュエータ
１１４ フォーカスアクチュエータ
１２１ ＣＰＵ
１２４ 撮像素子駆動回路
１２５ 画像処理回路
１３１ 表示器
１３２ 操作スイッチ群
１３３ フラッシュメモリ
２０１ 光電変換部
【特許請求の範囲】
【請求項１】
水平方向、及び、垂直方向に配置された通常撮像画素とその間に離散的に配置された機能画素とを有する撮像素子の出力を入力する入力手段と
前記機能画素の出力にゲイン補正演算を行ない、前記機能画素の位置における画像の出力を推定する第１の推定手段と、
前記機能画素の周辺の前記通常撮像画素を補間参照画素として、複数の補間参照画素の出力に基づき補間演算を行ない、前記機能画素の位置における画像の出力を推定する第２の推定手段と、
前記第１及び第２の推定手段それぞれから得られる推定結果に基づいて前記機能画素の位置における画像の出力を選択する画像出力選択手段とを有し、
前記画像出力選択手段は、前記第１の推定手段の出力に基づいて、前記第２の推定手段で前記複数の補間参照画素の組み合わせに基づいて生成される一つまたは複数の推定結果から、前記機能画素の位置における画像の出力を選択することを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記画像出力選択手段は、前記第２の推定手段で前記複数の補間参照画素の組み合わせにより複数生成される推定結果において、前記第１の推定手段により生成された推定結果との差が所定値以下に収まるか否かに応じて、前記前記機能画素の位置における画像の出力を選択することを特徴とする画像処理装置。
【請求項３】
請求項２に記載の画像処理装置において、
前記画像出力選択手段は、前記第２の推定手段で前記複数の補間参照画素の組み合わせにより複数生成される推定結果のいずれにおいても、前記第１の推定手段により生成された推定結果との差が所定値以下に収まることのない場合、前記第１の推定手段により生成された推定結果、もしくは前記第１および第２の推定手段により得られた推定結果の加重加算により生成された推定結果を前記機能画素の位置における画像の出力として選択することを特徴とする画像処理装置。
【請求項４】
請求項１に記載の画像処理装置において、
前記画像出力選択手段は、前記第２の推定手段で前記複数の補間参照画素の組み合わせにより複数生成される推定結果のうち、前記第１の推定手段により生成される推定結果に最も近い推定結果を、前記前記機能画素の位置における画像の出力を選択することを特徴とする画像処理装置。
【請求項５】
請求項１〜４のいずれか１項に記載の画像処理装置において、
さらに、前記通常撮像画素、および前記機能画素が欠陥画素であるか否かを判定する欠陥画素判定手段を有し、前記画像出力選択手段は、前記欠陥画素判定手段の結果に応じて前記第１、および前記第２の推定手段により生成される推定結果のうち、いずれか一方を前記前記機能画素の位置における画像の出力として選択することを特徴とする画像処理装置。
【請求項６】
請求項１〜５のいずれか１項に記載の画像処理装置において、
さらに、前記複数の補間参照画素に欠陥画素が含まれるか否かを判定する欠陥画素判定手段を有し、前記欠陥画素判定手段の結果に応じて前記補間参照画素の組み合わせを選択する補間参照画素選択手段を有することを特徴とする画像処理装置。
【請求項７】
請求項１〜６のいずれか１項に記載の画像処理装置において、
前記撮像素子は、赤色、緑色、青色に感度を有する３種類の画素のベイヤー配列を単位ユニットとして二次元状に複数配列するとともに、該配列中に離散的に配置された機能画素を有することを特徴とする画像処理装置。
【請求項８】
請求項７に記載の画像処理装置において、
前記機能画素は、前記撮像素子上の緑色に感度を有する画素に相当する位置に配列することを特徴とする画像処理装置。
【請求項９】
請求項１〜８のいずれか１項に記載の画像処理装置において、
前記機能画素は、光学系による像光束を受光し、瞳分割方式により前記光学系の焦点調節状態を検出する焦点検出画素であることを特徴とする画像処理装置。
【請求項１０】
請求項９に記載の画像処理装置において、
前記焦点検出画素は、前記通常撮像画素に対して半分以上の大きさの瞳に対する像光束を受光することを特徴とする画像処理装置。
【請求項１１】
水平方向、及び、垂直方向に配置された通常撮像画素とその間に離散的に配置された機能画素とを有する撮像素子を有する撮像装置の制御方法において、
前記機能画素の出力にゲイン補正演算を行ない、前記機能画素の位置における画像の出力を推定する第１の推定ステップと、
前記機能画素の周辺の前記通常撮像画素を補間参照画素として、複数の補間参照画素の出力に基づき補間演算を行ない、前記機能画素の位置における画像の出力を推定する第２の推定ステップと、
前記第１及び第２の推定手段それぞれから得られる推定結果に基づいて前記機能画素の位置における画像の出力を選択する画像出力選択ステップとを有し、
前記画像出力選択ステップは、前記第１の推定ステップの出力に基づいて、前記第２の推定ステップで前記複数の補間参照画素の組み合わせに基づいて生成される一つまたは複数の推定結果から、前記機能画素の位置における画像の出力を選択するステップと有することを特徴とする制御方法。
【請求項１２】
水平方向、及び、垂直方向に配置された通常撮像画素とその間に離散的に配置された機能画素とを有する撮像素子を有する撮像装置の制御方法をコンピュータに実行させるためのプログラムコードであり、前記制御方法が、
前記撮像素子から前記通常撮像画素および機能画素の出力を読み出すステップと、
前記機能画素の出力にゲイン補正演算を行ない、前記機能画素の位置における画像の出力を推定する第１の推定ステップと、
前記機能画素の周辺の前記通常撮像画素を補間参照画素として、複数の補間参照画素の出力に基づき補間演算を行ない、前記機能画素の位置における画像の出力を推定する第２の推定ステップと、
前記第１及び第２の推定手段それぞれから得られる推定結果に基づいて前記機能画素の位置における画像の出力を選択する画像出力選択ステップとを有し、
前記画像出力選択ステップは、前記第１の推定ステップの出力に基づいて、前記第２の推定ステップで前記複数の補間参照画素の組み合わせに基づいて生成される一つまたは複数の推定結果から、前記機能画素の位置における画像の出力を選択するステップと有することを特徴とするプログラムコード。
【請求項１３】
請求項１２に記載されたプログラムコードを記録したコンピュータが読み出し可能な記憶媒体。
【請求項１】
水平方向、及び、垂直方向に配置された通常撮像画素とその間に離散的に配置された機能画素とを有する撮像素子の出力を入力する入力手段と
前記機能画素の出力にゲイン補正演算を行ない、前記機能画素の位置における画像の出力を推定する第１の推定手段と、
前記機能画素の周辺の前記通常撮像画素を補間参照画素として、複数の補間参照画素の出力に基づき補間演算を行ない、前記機能画素の位置における画像の出力を推定する第２の推定手段と、
前記第１及び第２の推定手段それぞれから得られる推定結果に基づいて前記機能画素の位置における画像の出力を選択する画像出力選択手段とを有し、
前記画像出力選択手段は、前記第１の推定手段の出力に基づいて、前記第２の推定手段で前記複数の補間参照画素の組み合わせに基づいて生成される一つまたは複数の推定結果から、前記機能画素の位置における画像の出力を選択することを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記画像出力選択手段は、前記第２の推定手段で前記複数の補間参照画素の組み合わせにより複数生成される推定結果において、前記第１の推定手段により生成された推定結果との差が所定値以下に収まるか否かに応じて、前記前記機能画素の位置における画像の出力を選択することを特徴とする画像処理装置。
【請求項３】
請求項２に記載の画像処理装置において、
前記画像出力選択手段は、前記第２の推定手段で前記複数の補間参照画素の組み合わせにより複数生成される推定結果のいずれにおいても、前記第１の推定手段により生成された推定結果との差が所定値以下に収まることのない場合、前記第１の推定手段により生成された推定結果、もしくは前記第１および第２の推定手段により得られた推定結果の加重加算により生成された推定結果を前記機能画素の位置における画像の出力として選択することを特徴とする画像処理装置。
【請求項４】
請求項１に記載の画像処理装置において、
前記画像出力選択手段は、前記第２の推定手段で前記複数の補間参照画素の組み合わせにより複数生成される推定結果のうち、前記第１の推定手段により生成される推定結果に最も近い推定結果を、前記前記機能画素の位置における画像の出力を選択することを特徴とする画像処理装置。
【請求項５】
請求項１〜４のいずれか１項に記載の画像処理装置において、
さらに、前記通常撮像画素、および前記機能画素が欠陥画素であるか否かを判定する欠陥画素判定手段を有し、前記画像出力選択手段は、前記欠陥画素判定手段の結果に応じて前記第１、および前記第２の推定手段により生成される推定結果のうち、いずれか一方を前記前記機能画素の位置における画像の出力として選択することを特徴とする画像処理装置。
【請求項６】
請求項１〜５のいずれか１項に記載の画像処理装置において、
さらに、前記複数の補間参照画素に欠陥画素が含まれるか否かを判定する欠陥画素判定手段を有し、前記欠陥画素判定手段の結果に応じて前記補間参照画素の組み合わせを選択する補間参照画素選択手段を有することを特徴とする画像処理装置。
【請求項７】
請求項１〜６のいずれか１項に記載の画像処理装置において、
前記撮像素子は、赤色、緑色、青色に感度を有する３種類の画素のベイヤー配列を単位ユニットとして二次元状に複数配列するとともに、該配列中に離散的に配置された機能画素を有することを特徴とする画像処理装置。
【請求項８】
請求項７に記載の画像処理装置において、
前記機能画素は、前記撮像素子上の緑色に感度を有する画素に相当する位置に配列することを特徴とする画像処理装置。
【請求項９】
請求項１〜８のいずれか１項に記載の画像処理装置において、
前記機能画素は、光学系による像光束を受光し、瞳分割方式により前記光学系の焦点調節状態を検出する焦点検出画素であることを特徴とする画像処理装置。
【請求項１０】
請求項９に記載の画像処理装置において、
前記焦点検出画素は、前記通常撮像画素に対して半分以上の大きさの瞳に対する像光束を受光することを特徴とする画像処理装置。
【請求項１１】
水平方向、及び、垂直方向に配置された通常撮像画素とその間に離散的に配置された機能画素とを有する撮像素子を有する撮像装置の制御方法において、
前記機能画素の出力にゲイン補正演算を行ない、前記機能画素の位置における画像の出力を推定する第１の推定ステップと、
前記機能画素の周辺の前記通常撮像画素を補間参照画素として、複数の補間参照画素の出力に基づき補間演算を行ない、前記機能画素の位置における画像の出力を推定する第２の推定ステップと、
前記第１及び第２の推定手段それぞれから得られる推定結果に基づいて前記機能画素の位置における画像の出力を選択する画像出力選択ステップとを有し、
前記画像出力選択ステップは、前記第１の推定ステップの出力に基づいて、前記第２の推定ステップで前記複数の補間参照画素の組み合わせに基づいて生成される一つまたは複数の推定結果から、前記機能画素の位置における画像の出力を選択するステップと有することを特徴とする制御方法。
【請求項１２】
水平方向、及び、垂直方向に配置された通常撮像画素とその間に離散的に配置された機能画素とを有する撮像素子を有する撮像装置の制御方法をコンピュータに実行させるためのプログラムコードであり、前記制御方法が、
前記撮像素子から前記通常撮像画素および機能画素の出力を読み出すステップと、
前記機能画素の出力にゲイン補正演算を行ない、前記機能画素の位置における画像の出力を推定する第１の推定ステップと、
前記機能画素の周辺の前記通常撮像画素を補間参照画素として、複数の補間参照画素の出力に基づき補間演算を行ない、前記機能画素の位置における画像の出力を推定する第２の推定ステップと、
前記第１及び第２の推定手段それぞれから得られる推定結果に基づいて前記機能画素の位置における画像の出力を選択する画像出力選択ステップとを有し、
前記画像出力選択ステップは、前記第１の推定ステップの出力に基づいて、前記第２の推定ステップで前記複数の補間参照画素の組み合わせに基づいて生成される一つまたは複数の推定結果から、前記機能画素の位置における画像の出力を選択するステップと有することを特徴とするプログラムコード。
【請求項１３】
請求項１２に記載されたプログラムコードを記録したコンピュータが読み出し可能な記憶媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１１−１２４７０４（Ｐ２０１１−１２４７０４Ａ）
【公開日】平成２３年６月２３日（２０１１．６．２３）
【国際特許分類】
【出願番号】特願２００９−２７９５２８（Ｐ２００９−２７９５２８）
【出願日】平成２１年１２月９日（２００９．１２．９）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２３年６月２３日（２０１１．６．２３）
【国際特許分類】
【出願日】平成２１年１２月９日（２００９．１２．９）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]