撮像装置、撮像装置の製造方法、画像処理装置、及びプログラム、並びに記録媒体
【課題】焦点検出用画素の位置に対応する撮像用画素の画素値を補間するためのパラメータをレンズ条件毎に簡便にもつ。
【解決手段】撮像素子１５は、複数の撮像用画素及び複数の焦点検出用画素を有し、撮影レンズ１４により結像する被写体像を撮像してベイヤー配列画像を得る。不揮発性メモリ１２は、焦点検出用画素の位置を各々記憶する。また、不揮発性メモリ１２は、焦点検出用画素の画素値を、その周囲の撮像用画素の画素値を用いて補間する時に使用するパラメータをレンズ条件毎に対応付けして記述したテーブルを記憶する。ＡＦ画素補間部４０は、撮影時に取得するレンズ条件に基づいてテーブルからパラメータを決め、決めたパラメータを用いて焦点検出用画素の位置に対する撮像用画素の画素値を補間する。
【解決手段】撮像素子１５は、複数の撮像用画素及び複数の焦点検出用画素を有し、撮影レンズ１４により結像する被写体像を撮像してベイヤー配列画像を得る。不揮発性メモリ１２は、焦点検出用画素の位置を各々記憶する。また、不揮発性メモリ１２は、焦点検出用画素の画素値を、その周囲の撮像用画素の画素値を用いて補間する時に使用するパラメータをレンズ条件毎に対応付けして記述したテーブルを記憶する。ＡＦ画素補間部４０は、撮影時に取得するレンズ条件に基づいてテーブルからパラメータを決め、決めたパラメータを用いて焦点検出用画素の位置に対する撮像用画素の画素値を補間する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、撮像装置の製造方法、画像処理装置、及びプログラム、並びに記録媒体に関する。
【背景技術】
【０００２】
従来、複数の撮像用画素を２次元状に配列した受光面の一部に焦点検出用の複数の画素を配列した撮像素子が知られている（特許文献１）。複数の撮像用画素は、複数の色成分の各々に対応する分光特性を有し、また、焦点検出用画素は、複数の撮像用画素とは異なる分光特性を有する。特許文献１に記載の画像処理装置では、焦点検出用画素の位置に対応する撮像用画素値を補間し、その後、撮像用画素値のうち欠落色成分の画素値を補間して３色の画像データを作る。
【０００３】
焦点検出用画素の位置に対応する撮像用画素値を補間する場合、撮像素子によって生成された画像のうち焦点検出用画素の近傍の撮像用画素の画素値を用いて焦点検出用画素の補間画素値を生成し、近傍の撮像用画素が焦点検出用画素と同じ分光特性を有した場合の画素値である評価画素値を算出する。
【０００４】
評価画素値は、加重係数とともに焦点検出用画素の近傍の複数の撮像用画素値を用いて加重和を求めることで算出している。加重係数は、焦点検出用画素の分光特性を複数の撮像用画素の各々の分光特性の加重和によって表すためパラメータであり、予め記憶部に記憶されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−３０３１９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
加重係数は、焦点検出用撮像画素の分光感度とその周囲の撮像用画素の分光感度によって異なる。また、加重係数は、撮像時に得られるレンズ条件、すなわち、Ｆ値、及び射出瞳位置（ＰＯ値）に応じて光の集光が変化するため、レンズ条件毎に異なる値を使用することが望ましい。
【課題を解決するための手段】
【０００７】
本発明を例示する撮像装置の一態様は、複数の撮像用画素及び複数の焦点検出用画素を有し撮影レンズにより結像する被写体像を撮像する撮像素子と、前記焦点検出用画素の位置を各々記憶するＡＦ画素位置記憶手段と、前記焦点検出用画素の画素値を、その周囲の撮像用画素の画素値を用いて補間する時に使用するパラメータが、前記撮影レンズがもつレンズ条件毎に対応付けして記述されているテーブルを記憶するテーブル記憶手段と、撮影時のレンズ条件に基づいて前記テーブルから前記パラメータを決めるパラメータ決定手段と、前記パラメータ決定手段で決めたパラメータを用いて焦点検出用画素の位置に対する撮像用画素の画素値を補間する画素補間手段と、を備えたものである。
【０００８】
テーブル記憶手段としては、分光感度特性の異なる撮像素子の種類毎にテーブルを複数記憶してもよい。この場合、複数のテーブルから撮像素子の種類に応じたテーブルを選択するテーブル選択手段を備えればよい。
【０００９】
また、テーブル記憶手段としては、特定のレンズ条件の時に使用する基準のパラメータを記述した基準テーブルと、他のレンズ条件の時に使用するパラメータと前記基準のパラメータとの差分を記述した差分テーブルとを関連付けした構成のテーブルを記憶してもよい。この場合、パラメータ決定手段は、撮影時のレンズ条件が前記特定のレンズ条件ではない場合、撮影時のレンズ条件に応じた差分を差分テーブルから求め、求めた差分と基準のパラメータとを演算して撮影時のレンズ条件に応じたパラメータを算出して決めればよい。
【００１０】
さらに、テーブル記憶手段としては、基本テーブルと差分テーブルとを色成分毎に関連付けして記憶しておくのが望ましい。
【００１１】
また、撮像装置の製造方法としては、焦点検出用画素の画素値をその周囲の撮像用画素の画素値を用いて補間するときに使用するパラメータを、撮影レンズの所定のレンズ条件下のもとで実験した結果、基準のパラメータとして取得し、取得した基準のパラメータを所定のレンズ条件に対応付けして記述した基準テーブルと、他のレンズ条件下のもとで実験した結果得られるパラメータと基準のパラメータとの差分を他のレンズ条件に対応付けして記述した差分テーブルと、を作成するテーブル作成ステップと、作成した基準テーブルと差分テーブルとを関連付けして撮像装置に設けた記憶部に記憶させるステップと、を含むものである。
【００１２】
また、画像処理装置の発明としては、２次元状に配列された複数の撮像用画素、及び前記撮像用画素群の中に配された複数の焦点検出用画素を有する撮像素子を用いて撮像することで得られたベイヤー配列画像を取り込む画像取得手段と、撮像時に使用した撮像素子がもつ複数の焦点検出用画素の位置情報を取得するＡＦ画素位置取得手段と、撮像素子を用いて撮像した時に使用したレンズ条件を取得するレンズ条件取得手段と、焦点検出用画素の周囲に配されている複数の撮像用画素の画素値を用いて焦点検出用画素の位置に対応する撮像用画素の画素値を補間するためのパラメータを、ベイヤー配列画像を撮像した時に使用した撮影レンズがもつレンズ条件毎に決めたテーブルを記憶するテーブル記憶手段と、レンズ条件に応じてテーブルからパラメータを決定するパラメータ決定手段と、決定したパラメータを用いて焦点検出用画素の位置に対応する撮像用画素の画素値を補間する補間処理手段と、を備えたものである。
【００１３】
なお、本発明としては、コンピュータが読み取り可能なプログラム、並びにコンピュータが読み取り可能なプログラムを記録した記録媒体の発明としてもよい。
【発明の効果】
【００１４】
本発明によれば、撮影レンズがもつレンズ条件毎に対応付けしたパラメータを簡便にもつことができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の撮像装置である電子カメラの概略を示すブロック図である。
【図２】撮像素子に設けた焦点検出用画素（ＡＦ画素）の配列を示す説明図である。
【図３】撮像素子の画素の配列を示す説明図である。
【図４】ＡＦ画素補間部の概略を示すブロック図である。
【図５】ＡＦ画素補間部の動作手順を示すフローチャートである。
【図６】第２画素補間処理の手順を示すフローチャートである。
【図７】加重係数を算出して電子カメラに格納する手順を示すフローチャートである。
【図８】凸構造を含む縦５画素の画像構造を縦断したときの画素値を示す説明図である。
【図９】第３画素補間処理の手順を示すフローチャートである。
【発明を実施するための最良の形態】
【００１６】
本発明を適用した電子カメラ１０は、図４に示すように、ＣＰＵ１１を備えている。ＣＰＵ１１には、不揮発性メモリ１２、及びワークメモリ１３が接続されており、不揮発性メモリ１２には、ＣＰＵ１１が種々の制御を行う際に参照される制御プログラムなどが格納されている。さらに、不揮発性メモリ１２には、詳しくは後述する撮像素子の種類毎の焦点検出用画素（ＡＦ画素）の位置情報、予め求めておいた画像処理プログラムに用いる各種閾値のデータやパラメータ（加重係数）等のデータを記述したテーブル、及び各種判定用テーブル等を記憶する。
【００１７】
ＣＰＵ１１は、不揮発性メモリ１２に格納されている制御プログラムに従い、ワークメモリ１３を一時記憶作業領域として利用して各部の制御を行い、電子カメラ１０を構成する各部（回路）機能を作動させる。
【００１８】
撮影レンズ１４から入射する被写体光は、ＣＣＤやＣＭＯＳ等の撮像素子１５の受光面に結像する。撮像素子駆動回路１６は、ＣＰＵ１１からの制御信号に基づいて撮像素子１５を駆動させる。撮像素子１５は、ベイヤー配列型単板撮像素子になっており、前面には原色透過フィルタ１７が取り付けられている。
【００１９】
原色透過フィルタ１７は、撮像素子１５の総画素数Ｎに対して、例えば、Ｇ（緑色）の解像度がＮ／２、Ｒ（赤色）及びＢ（青色）の解像度がＮ／４となる原色ベイヤー配列になっている。
【００２０】
撮像素子１５の受光面に結像した被写体像は、アナログの画像信号に変換される。画像信号は、ＡＦＥ（Analog Front End）回路を構成するＣＤＳ１８、及びＡＭＰ１９に順に出力し、ＡＦＥ回路で所定のアナログ処理が施され、その後、Ａ／Ｄ（Analog/Digital変換器）２０においてデジタルの画像データに変換されて画像処理部２１に送られる。
【００２１】
画像処理部２１は、分離回路、ホワイトバランス処理回路、画素補間（デモザイキング）回路、マトリクス処理回路、非線形変換（γ補正）処理回路、及び輪郭強調処理回路等を備え、デジタルの画像データに対して、ホワイトバランス、画素補間、マトリクス、非線形変換（γ補正）、及び輪郭強調等の処理を施す。分離回路は、詳しくは後述する撮像用画素から出力される信号と、焦点検出用画素から出力される信号とを分離する。画素補間回路は、１画素当たり１色のベイヤー配列データを、１画素当たり３色からなる通常のカラー画像データに変換する。
【００２２】
画像処理部２１から出力される３色の画像データは、バス２２を通じてＳＤＲＡＭ２３に格納される。ＳＤＲＡＭ２３に格納した画像データは、ＣＰＵ１１の制御により読み出されて表示制御部２４に送られる。表示制御部２４は、入力された画像データを表示用の所定方式の信号（例えば、ＮＴＳＣ方式のカラー複合映像信号）に変換して表示部２５にスルー画像として出力する。
【００２３】
また、シャッタレリーズに応答して取得した画像データは、ＳＤＲＡＭ２３から読み出した後に圧縮伸長処理部２６に送られ、ここで圧縮処理が施されてからメディアコントローラ２７を介して記録媒体であるメモリカード２８に記録される。
【００２４】
ＣＰＵ１１には、レリーズボタン、電源スイッチ、及びＩＳＯ感度設定部等を含む操作部２９が接続されているとともに、撮像素子１５の温度を検出する温度検出器３１から温度情報が入力される。温度情報は、画像処理部２１に送られ、詳しくは後述するノイズを判定する時に利用される。
【００２５】
ＡＥ／ＡＦ検出部３３は、焦点検出用画素の信号に基づいて瞳分割型位相差検出方式によりデフォーカス量、及びデフォーカスの方向を検出する。ＣＰＵ１１は、ＡＥ／ＡＦ検出部３３で得られるデフォーカス量、及びデフォーカスの方向に基づいてドライバ３４を制御して合焦モータ３５を駆動してフォーカスレンズを光軸方向で進退させて焦点調整を行う。
【００２６】
また、ＡＥ／ＡＦ検出部３３は、撮像用画素の信号に基づいて算出した輝度値（Ｂｖ）と、撮影者がＩＳＯ感度設定部で設定したＳｖ値とを用いて光値（Ｌｖ＝Ｓｖ＋Ｂｖ）を算出する。そして、ＡＥ／ＡＦ検出部３３は、露出値（Ｅｖ＝Ａｖ＋Ｔｖ）が光値（Ｌｖ）になるように絞り値とシャッター速度とを決定する。そして、これに従って撮像素子１５の電子シャッター、及び電子アイリスを制御して適正な露光量を得る。なお、絞り兼用のメカシャッタを設けて、メカシャッタで絞りを可変してもよい。
【００２７】
撮像素子１５は、その受光面上にある複数の撮像用画素の各々に、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のいずれかの原色透過フィルタ１７がベイヤー配列型に設けられ、その上にマイクロレンズアレイが設けられたＣＣＤやＣＭＯＳの半導体イメージセンサ等を適宜選択して用いる。さらに、本実施形態の撮像素子１５は、受光面上の一部の領域に、水平走査方向に一次元的に配置された複数の焦点検出用画素（ＡＦ画素）を有する。それらのＡＦ画素には、原色透過フィルタ１７が設置されていない。また、ＡＦ画素は、撮像レンズ１の光学系の瞳の左側又は右側を通過する光束を受光する２種類存在する。撮像素子１５は、撮像用画素群、及びＡＦ画素群からの画素信号を個別に読み出しすることができる。
【００２８】
各ＡＦ画素３６は、図２に示すように、セル中心（マイクロレンズの中心）から一方に偏ったセンサ開口部３６ａ，３６ｂを持ち、その偏りの方向に沿って１次元状に並べられている。隣接するセンサ開口部３６ａ，３６ｂは、偏りが互いに逆方向であり、その偏りの距離は同一である。センサ開口部３６ａを有するＡＦ画素３６は、ＲＧＢ原色ベイヤー配列中のＧ画素の代わりに置かれ、また、センサ開口部３６ｂを有するＡＦ画素３６は、ＲＧＢ原色ベイヤー配列中のＢ画素の代わりに置かれている。このようなセンサ開口部３６ａ，３６ｂをもつＡＦ画素３６によって瞳分割位相差ＡＦ方式を実現する。つまり、射出瞳を通る光束の中で撮影レンズ１４の光軸に対して対称な位置にある２つの部分光束を、センサ開口部３６ａをもつＡＦ画素３６とセンサ開口部３６ｂをもつＡＦ画素３６でそれぞれ受光すれば、これら２つのＡＦ画素３６から出力された信号の位相差によりデフォーカスの方向と、デフォーカス量とが分かる。これにより速やかなフォーカス合わせが可能になる。
【００２９】
したがって、本実施形態におけるＡＦ画素３６の各々は、白色光の輝度に応じた左側又は右側の瞳分割された検出信号を出力する。図３は、撮像素子１５によって撮像された画像データのうち、ＡＦ画素３６が配置された領域を中心とした画像データの一部を示す。それぞれのセルが１つの画素を表す。各セルの先頭の記号Ｒ、Ｇ及びＢは、各原色透過フィルタ１７を有する撮像用画素を示す。一方、記号Ｘ及びＹは、左側又は右側からの光束に感度を有するＡＦ画素を示し、それらが交互に水平走査方向に一次元的に配列されている。これらの記号に続く２桁の番号は画素の位置を示す。
【００３０】
画素補間部は、ＡＦ画素３６の画素値（ＡＦ画素値）を撮像用画素の画素値（撮像用画素値）に補間するＡＦ画素補間部と、ＡＦ画素値を撮像用画素値に補間した後に、ベイヤー配列からＲＧＢへの線形補間法による色補間を行う画素補間部とを備える。
【００３１】
ＡＦ画素補間部４０は、図４に示すように、ノイズ判定部４１、及びフレア判定部４２を備え、これら判定に基づいて異なるＡＦ画素補間処理を行う。ノイズ判定部４１は、撮影時の撮影条件に基づいてノイズが多く発生する条件かを判定する。撮影条件は、撮像素子１５の温度、ＩＳＯ感度、及び撮影時のシャッター速度等になっている。撮像素子１５の温度情報は、ＣＰＵ１１から得られる。また、温度情報とともに、撮影時に設定されているＩＳＯ感度や撮影時のシャッター速度の情報もＣＰＵ１１から得られる。
【００３２】
ノイズ判定部４１は、撮像素子１５の温度、ＩＳＯ感度、及びシャッター速度との情報に基づいてノイズが多いか少ないかを判定する。なお、撮像素子１５を実装するメイン基板に温度検出器を設け、メイン基板の温度、又は撮像素子１５の周囲の温度を、撮像素子１５の温度の代わりに利用してもよい。さらに、ノイズ判定に利用する情報としては、撮像素子１５の温度、ＩＳＯ感度、及びシャッター速度との３つの情報に限らず、このうちのいずれか一つ、又は２つの情報としてもよい。
【００３３】
ノイズが多いとノイズ判定部４１が判定する場合には、ＡＦ画素値を用いず、その周囲の撮像用画素値を用いて、例えば単純平均補間を行う第１画素補間処理を行う。ノイズが少ないと判定する場合には、フレア判定部４２でフレア判定を行い、フレアが発生しているか否かに応じて前記第１画素補間処理とは異なる第２、又は第３の画素補間処理を行う。
【００３４】
フレア判定部４２は、画像データの輝度ヒストグラムに基づいて輝度が高い領域（高輝度領域）を抽出した後に、抽出された高輝度領域に、例えばマゼンタ色が存在するか否かを判定し、マゼンタ色が存在する場合、マゼンタ色となる領域（マゼンタ領域）における輝度成分の平均エッジ量、及び分散値を算出し、「マゼンタ領域の総面積」、「マゼンタ領域の分散値／マゼンタ領域の総面積」、及び「マゼンタ領域の輝度成分の平均エッジ量」を各々閾値判定してフレアが発生しているか否かを判定する。
【００３５】
なお、フレア判定としては、ジャイロセンサ又は加速度センサ等の姿勢検出部を設け、姿勢検出部から得られる出力値に基づく演算により撮影レンズ１４の水平に対対する仰角をＣＰＵ１１が求め、仰角とともに被写体距離、被写体輝度、撮影モード等の情報をフレア判定部に送り、フレア判定部で、仰角、被写体距離、被写体輝度、撮影モード等の情報に基づいて、屋外であるか屋内であるかの区別と、昼夜の区別と、及びカメラを上に向けたときの撮影画角に被写体として空が入っているかの区別とを行って、フレアが発生するか否かの判定を行ってもよい。
【００３６】
ＡＦ画素補間部４０は、フレアが生じていないと判定する場合には、ＡＦ画素値を用いて画素補間をする第２画素補間処理（画素補間手段）を実行する。第２画素補間処理は、ＡＦ画素値（ホワイト（Ｗ）成分）から周囲の撮像用画素値を元に加重和で予測することで、そのＡＦ画素値を補間する。
【００３７】
フレアが生じているとフレア判定部４２が判定する場合には、第３画素補間処理を実行する。第３画素補間処理は、フレア抑制手段と画素補間処理手段とを順に行う。フレア抑制手段は、ＡＦ画素の周囲の撮像用画素値を重み係数により補正する周囲撮像用画素補正手段と、周囲撮像用画素補正手段で補正した撮像用画素値を平滑化する平滑化手段と、で構成されている。周囲撮像用画素補正手段は、ＡＦ画素の近傍に位置する撮像用画素のうち、対象となる撮像用画素値から前記対象となる撮像用画素の近傍に位置する撮像用画素値と重み係数との加重和を減算することで、前記対象となる撮像用画素値を補正する。
【００３８】
フレア抑制手段としては、周囲撮像用画素補正手段と平滑化手段とで行う処理を、撮像用画素値に対する重み係数を変えて、例えば２回行うとともに、２回目の処理では重み計数を「０」にして平滑化手段での処理のみを行う。その後、第２画素補間処理（画素補間処理手段）を実行する。これにより、ＡＦ画素の周囲の撮像用画素に対してフレアにおける混色の影響を抑制することができる。よって、第２画素補間処理を行うに当たって、ＡＦ画素を撮像用画素として生成した画素値にも混色の影響が抑制される。
【００３９】
次に、上記ＡＦ画素補間部４０の作用について図５を参照しながら説明する。なお、本実施形態において、撮像用画素の各々に設置される原色透過フィルタ１７がベイヤー配列のパターンであることから、図３に示す記号ＸのＡＦ画素の位置には緑色（Ｇ）の撮像用画素値が補間され、記号ＹのＡＦ画素の画素位置には青色（Ｂ）の撮像用画素値が補間される。以下の説明では、Ｙ４４の青色の撮像用画素値とＸ４５の緑色の撮像用画素値とをそれぞれ補間する場合について説明する。他のＡＦ画素における撮像用画素値を補間する手順も同様である。
【００４０】
［ノイズ判定］
ＣＰＵ１１は、Ａ／Ｄ２０から送られてくる画像データをノイズ判定部４１に送る。また、ＣＰＵ１１は、撮影時の撮像素子１５の温度、ＩＳＯ感度、及びシャッター速度の情報をノイズ判定部４１に送る。あおして、ＣＰＵ１１は、ノイズ判定部４１を制御して、ノイズ判定部４１で画像データに対してノイズが多いか少ないかを判定する（Ｓ−１）。
【００４１】
ノイズ判定部４１の判定は、ノイズ判定用テーブルを参照して判定する。ノイズ判定用テーブルは、撮像素子１５の温度範囲毎に複数用意されており、これらは不揮発性メモリ１２に予め記憶されている。ＣＰＵ１１は、画像データを取得した時の撮像素子１５の温度に対応するノイズ判定用テーブルをノイズ判定部４１に送る。
【００４２】
ノイズ用判定テーブルとしては、例えば撮像素子１５の温度が４０℃未満の時には［表１］に記載のテーブルを、また４０℃以上５０℃未満の範囲の時には［表２］に記載のテーブルを選択する。各テーブルには、シャッター速度とＩＳＯ感度とで決めるノイズの予測結果が予め行った実験に基づいて決められている。
【００４３】
【表１】
【００４４】
【表２】
ノイズが多いと判定する場合は、ＡＦ画素の画素値を用いず、その周囲の画素の画素値のみを用いて第1画素補間処理を行う（Ｓ−２）。
【００４５】
［第１画素補間処理］
ＡＦ画素補間部４０は、まず、撮像素子情報入力部３２から撮像素子情報を取得して、不揮発性メモリから、取得した撮像素子情報に基づいたＡＦ画素の位置情報を読み取ってＡＦ画素の位置を特定する。その後、ＡＦ画素の位置に対して、例えば単に周囲の画素から平均補間してＡＦ画素に対応する撮像用画素値を求める。具体的には、図３において、Ｂ画素の代わりに置かれたＡＦ画素Ｙ４２の画素値は［数１］に記載の式から、また、ＡＦ画素Ｙ４４の画素値は［数２］に記載の式から、さらに、ＡＦ画素Ｙ４６の画素値は［数３］に記載の式からそれぞれ求める。
【００４６】
［数１］
Ｙ４２＝（Ｂ２２＋Ｂ６２）／２
［数２］
Ｙ４４＝（Ｂ２４＋Ｂ６４）／２
［数３］
Ｙ４６＝（Ｂ２６＋Ｂ６６）／２
また、Ｇ画素の代わりに置かれたＡＦ画素Ｘ４３の画素値は［数４］に記載の式から、また、ＡＦ画素Ｘ４５の画素値は、［数５］に記載の式からそれぞれ求める。
【００４７】
［数４］
Ｘ４３＝（Ｇ３２＋Ｇ３４＋Ｇ５２＋Ｇ５４）／４
［数５］
Ｘ４５＝（Ｇ３４＋Ｇ３６＋Ｇ５４＋Ｇ５６）／４
このように、ノイズが多い場合には、ＡＦ画素値を用いないで、その周辺の撮像用画素値のみからＡＦ画素値を予測するため、予測するＡＦ画素値がバラツキ、想定以上の補間をしてしまい、偽色とよばれる実際には存在しない色が発生することや、偽構造とよばれる存在しない構造が発生することを極力抑えることができる。なお、ＡＦ画素値を撮像用画素値に補間した画像データは、画像処理部２１でベイヤー配列からＲＧＢへの線形補間法による色補間が行われ、ＲＧＢ毎の画像データとしてＳＤＲＡＭ２３に格納される。
【００４８】
［フレア判定］
ＣＰＵ１１は、ノイズが少ないとノイズ判定部４１が判定した場合、フレア判定部４２を制御して、フレア判定部４２でフレアが生じているかを判定する（Ｓ−３）。ＡＦ画素補間部４０は、フレア判定部４２でフレアが発生しないと判定する場合、第２画素補間処理（Ｓ−４）を、また、フレアが発生すると判定する場合には、第３画素補間処理（Ｓ−５）を択一的に実行する。
【００４９】
［第２画素補間処理］
ＡＦ画素補間部４０は、まず、撮像素子情報入力部３２から撮像素子情報を取得して、不揮発性メモリから、取得した撮像素子情報に基づいたＡＦ画素の位置情報を読み取ってＡＦ画素の位置を特定する。そして、特定したＡＦ画素の周辺の撮像用画素値を用いて画素値の変化率である変動値が最小となる方向を求める。そして、変動の最も小さい方向にある撮像用画素値を用いてＡＦ画素の画素値を補間する。
【００５０】
（最小となる変動値の方向を算出）
ＡＦ画素補間部４０は、Ｘ４５及びＹ４４のＡＦ画素での撮像用画素値を補間するために、Ｘ４５及びＹ４４の周辺の撮像用画素の画素値を用いて４方向の画素値の変化率である方向変動Ｈ１〜Ｈ４の値を、［数６］〜［数９］に記載の式を用いてそれぞれ求める（Ｓ−６）。なお、本実施形態における４方向とは、水平走査方向、垂直走査方向、水平走査方向に対して４５度及び１３５度方向である。
【００５１】
［数６］
水平走査方向の方向変動Ｈ１＝
２×（｜Ｇ３４−Ｇ３６｜＋｜Ｇ５４−Ｇ５６｜）＋｜Ｒ３３−Ｒ３５｜＋｜Ｒ５３−Ｒ５５｜＋｜Ｂ２４−Ｂ２６｜＋｜Ｂ６４−Ｂ６６｜
［数７］
垂直走査方向の方向変動Ｈ２＝
２×（｜Ｇ３４−Ｇ５４｜＋｜Ｇ３６−Ｇ５６｜）＋｜Ｒ３３−Ｒ５３｜＋｜Ｒ３５−Ｒ５５｜＋｜Ｂ２４−Ｂ６４｜＋｜Ｂ２６−Ｂ６６｜
［数８］
水平走査方向に対して４５度の方向変動Ｈ３＝
２×（｜Ｇ２７−Ｇ３６｜＋｜Ｇ５４−Ｇ６３｜）＋｜Ｒ３５−Ｒ５３｜＋｜Ｒ３７−Ｒ５５｜＋｜Ｂ２６−Ｂ６２｜＋｜Ｂ２８−Ｂ６４｜
［数９］
水平走査方向に対して１３５度の方向変動Ｈ４＝
２×（｜Ｇ２３−Ｇ３４｜＋｜Ｇ５６−Ｇ６７｜）＋｜Ｒ３３−Ｒ５５｜＋｜Ｒ３５−Ｒ５７｜＋｜Ｂ２２−Ｂ６６｜＋｜Ｂ２４−Ｂ６８｜
（最小変動値の方向に応じた周辺の撮像用画素値を用いてＡＦ画素の画素値を補間）
ＡＦ画素補間部４０は、ステップ（Ｓ−６）で求めた方向変動Ｈ１〜Ｈ４のうち最も小さい値の方向変動の方向を選択し、その方向にある撮像用画素の画素値を用いて、ＡＦ画素Ｘ４５の位置でのＧの撮像用画素値ＧＸ４５及びＡＦ画素Ｙ４４の位置でのＢの撮像用画素値ＢＹ４４を［数１０］〜［数１３］のうちの選択した方向に対応する式を用いて求める（Ｓ−７）。これにより、変動の小さい方向にある撮像用画素の画素値を用いることにより、より正確にＸ４５及びＹ４４等のＡＦ画素の位置での撮像用画素値を補間することが可能となる。
【００５２】
［数１０］
方向変動Ｈ１が最小の場合
ＢＹ４４＝（Ｂ２４＋Ｂ６４）／２
ＧＸ４５＝（Ｇ３４＋Ｇ３６＋Ｇ５４＋Ｇ５６）／４
［数１１］
方向変動Ｈ２が最小の場合
ＢＹ４４＝（Ｂ２４＋Ｂ６４）／２
ＧＸ４５＝（Ｇ２５＋Ｇ６５）／２
［数１２］
方向変動Ｈ３が最小の場合
ＢＹ４４＝（Ｂ２６＋Ｂ６２）／２
ＧＸ４５＝（Ｇ３６＋Ｇ５４）／２
［数１３］
方向変動Ｈ４が最小の場合
ＢＹ４４＝（Ｂ２２＋Ｂ６６）／２
ＧＸ４５＝（Ｇ３４＋Ｇ５６）／２
ＡＦ画素補間部４０は、ＡＦ画素の配列方向である水平走査方向において、ＡＦ画素の画素値の方向変動Ｈ５を、例えば、ＡＦ画素のＹ４４及びＸ４５の白色光の画素値Ｗ４４及びＷ４５と、［数１４］に記載の式とを用いて算出する。
【００５３】
［数１４］
Ｈ５＝｜Ｗ４４−Ｗ４５｜
ＡＦ画素補間部４０は、その方向変動Ｈ５が閾値ｔｈ１を超えるか否かを判定する（Ｓ−８）。方向変動Ｈ５が閾値ｔｈ１を超える場合（ＹＥＳ側）、ＡＦ画素補間部４０は、ステップ（Ｓ−７）で求めたＢＹ４４及びＧＸ４５の補間した値をＹ４４及びＸ４５における撮像用画素値とし、画像データを更新する。画像処理部２１は、更新した画像データに対して１画素当たり３色の画素値に補間して３色の画像データを生成し、３色の画像データを、バス２２を介してＳＤＲＡＭ２３に記録する（Ｓ−９）。
【００５４】
一方、方向変動Ｈ５が閾値ｔｈ１以下の場合（ＮＯ側）、画像処理部２１は、（Ｓ−１０）へ移行する。なお、閾値ｔｈ１は、例えば、１２ビット画像を処理する場合、５１２程度の値にすれば良い。
【００５５】
ＡＦ画素補間部４０は、ステップ（Ｓ−６）で求めた方向変動Ｈ２が閾値ｔｈ２を超えるか否かを判定する（Ｓ−１０）。方向変動Ｈ２が閾値ｔｈ２を超える場合（ＹＥＳ側）、ＡＦ画素補間部４０は、ステップ（Ｓ−７）で求めたＢＹ４４及びＧＸ４５の補間した値をＹ４４及びＸ４５における撮像用画素値とし、画像データを更新する。画像処理部２１は、更新した画像データに対して３色の画素補間を施して３色の画像データを生成し、３色の画像データを、バス２２を介してＳＤＲＡＭ２３に格納する（Ｓ−９）。
【００５６】
一方、方向変動Ｈ２が閾値ｔｈ２以下の場合（ＮＯ側）、画像処理部２１は、（Ｓ−１１）へ移行する。なお、閾値ｔｈ２は、例えば、１２ビット画像を処理する場合、６４程度の値にすれば良い。
【００５７】
その後、ＡＦ画素補間部４０は、右側からの光束に感度を有するＹ４４等のＡＦ画素における白色光の平均画素値＜Ｗ４４＞等を、近傍にある色成分Ｒ、Ｇ及びＢの撮像用画素値を用いて算出する（Ｓ−１１）。具体的には、ステップ（Ｓ−６）において、例えば、画像処理部２１が方向変動Ｈ２を最小であると判定した場合、Ｂの撮像用画素値は［数１０］に記載の式にあるＢ２４とＢ６４とを用いる。一方、Ｒ及びＧの画素値については、Ｂの撮像用画素Ｂ２４とＢ６４との位置におけるＲ及びＧの画素値を、［数１５］に記載の４つの式を用いて補間計算する。
【００５８】
［数１５］
(1)ＲＢ２４＝（Ｒ１３＋Ｒ１５＋Ｒ３３＋Ｒ３５）／４
(2)ＧＢ２４＝（Ｇ１４＋Ｇ２３＋Ｇ２５＋Ｇ３４）／４
(3)ＲＢ６４＝（Ｒ５３＋Ｒ５５＋Ｒ７３＋Ｒ７５）／４
(4)ＧＢ６４＝（Ｇ５４＋Ｇ６３＋Ｇ６５＋Ｇ７４）／４
そして、ＡＦ画素補間部４０は、撮像用画素Ｂ２４及びＢ６４の位置における白色光の画素値Ｗ２４及びＷ６４を、ＣＰＵ１１から転送されてきたＲ、Ｇ及びＧの加重係数ＷＲ、ＷＧ及びＷＢを用いて、［数１６］に記載の式の加重和によって算出する。
【００５９】
詳しくは、ＣＰＵ１１は、撮影レンズ１４のＦ値とＰＯ値とのレンズ情報を、図示しないインタフェースを介してレンズ情報入力部３０(図１参照)から撮影毎に取り込む。また、ＣＰＵ１１は、撮像素子１５の分光特性の種類を表す撮像素子情報を、図示しないインタフェースを介して撮像素子情報入力部３２(図１参照)から撮影毎に取り込む。これにより、ＣＰＵ１１は、撮影時に、撮像素子１５の特性に応じた色成分毎の基準テーブル（基準パラメータ）、及び差分テーブルを、不揮発性メモリ１２に記憶のテーブル群から選択し、選択した色成分毎の基準テーブル（基準パラメータ）、及び差分テーブルを参照して色成分毎にレンズ条件に応じた加重係数を求める。なお、加重係数ＷＲ、ＷＧ、及びＷＢの詳しい求め方については後述する。
【００６０】
［数１６］
Ｗ２４＝ＷＲ×ＲＢ２４＋ＷＧ×ＧＢ２４＋ＷＢ×Ｂ２４
Ｗ６４＝ＷＲ×ＲＢ６４＋ＷＧ×ＧＢ６４＋ＷＢ×Ｂ６４
そして、画像処理部２１は、Ｙ４４における白色光の平均画素値＜Ｗ４４＞＝（Ｗ２４＋Ｗ６４）／２を算出する。
【００６１】
ＡＦ画素補間部４０は、左側からの光束に感度を有するＸ４５等のＡＦ画素における白色光の平均画素値＜Ｗ４５＞等を、ステップ（Ｓ−１１）の場合と同様に、近傍にある色成分Ｒ、Ｇ及びＢの撮像用画素の画素値を用いて算出する（Ｓ−１２）。ステップ（Ｓ−７）において、画像処理部２１が方向変動Ｈ２を最小であると判定した場合、Ｇの撮像用画素の画素値は、［数１１］に記載の式にあるＧ２５とＧ６５とを用いる。一方、Ｒ及びＢの画素値については、Ｇの撮像用画素Ｇ２５とＧ６５との位置におけるＲ及びＢの画素値を［数１７］に記載の４つの式を用いて補間計算する。
【００６２】
［数１７］
(1)ＲＧ２５＝（Ｒ１５＋Ｒ３５）／２
(2)ＢＧ２５＝（Ｂ２４＋Ｂ２６）／２
(3)ＲＧ６５＝（Ｒ５５＋Ｒ７５）／２
(4)ＢＧ６５＝（Ｂ６４＋Ｇ６６）／２
そして、ＡＦ画素補間部４０は、撮像用画素Ｇ２５及びＧ６５の位置における白色光の画素値Ｗ２５及びＷ６５を、［数１８］に記載の式の加重和によって算出する。
【００６３】
［数１８］
Ｗ２５＝ＷＲ×ＲＧ２５＋ＷＧ×Ｇ２５＋ＷＢ×ＢＧ２５
Ｗ６５＝ＷＲ×ＲＧ６４＋ＷＧ×Ｇ２５＋ＷＢ×ＢＧ６５
そして、画像処理部２１は、Ｘ４５における白色光の平均画素値＜Ｗ４５＞＝（Ｗ２５＋Ｗ６５）／２を算出する。
【００６４】
ＡＦ画素補間部４０は、撮像素子２の各ＡＦ画素における白色光の画素値の高周波成分を、（Ｓ−１１）及び（Ｓ−１２）において求めた白色光の平均画素値を用いて求める（Ｓ−１３）。ＡＦ画素補間部４０は、撮像素子２の各ＡＦ画素の画素値から、各ＡＦ画素の画素位置における白色光の平均画素値を最初に求める。つまり、各ＡＦ画素の画素値は、左側又は右側からの光束を瞳分割した値である。したがって、各ＡＦ画素の位置における白色光の画素値を得るためには、左側及び右側からの光束の画素値を互いに加算する必要がある。そこで、本実施形態のＡＦ画素補間部４０は、各ＡＦ画素の画素値及び隣接するＡＦ画素の画素値を用いて、例えば、ＡＦ画素Ｙ４４やＸ４５の位置における白色光の平均画素値を［数１９］に記載の式を用いて算出する。
【００６５】
［数１９］
＜Ｗ４４＞’＝Ｗ４４＋（Ｗ４３＋Ｗ４５）／２
＜Ｗ４５＞’＝Ｗ４５＋（Ｗ４４＋Ｗ４６）／２
なお、ステップ（Ｓ−１３）で説明した［数１９］において、ＡＦ画素の配列方向に隣接するＡＦ画素の画素値を用いて、各ＡＦ画素の位置における白色光の画素値を算出するので、配列方向に強い変動がある場合には、高周波成分の計算が不正確になり、白色光の画素値の配列方向の解像力が失われるおそれがある。そこで、前述したステップ（Ｓ−８）では、配列方向に強い変動がある場合に、高周波成分の付加を中止するようにしている。
【００６６】
その後、ＡＦ画素補間部４０は、［数２０］に記載の式から、Ｙ４４及びＸ４５の位置における白色光の高周波成分ＨＦＹ４４及びＨＦＸ４５を求める。
【００６７】
［数２０］
ＨＦＹ４４＝＜Ｗ４４＞’−＜Ｗ４４＞
ＨＦＸ４５＝＜Ｗ４５＞’−＜Ｗ４５＞
ＡＦ画素補間部４０は、ステップ（Ｓ−１３）で求めた各ＡＦ画素の位置における白色光の画素値の高周波成分ＨＦがその白色光の画素値に占める割合が、閾値ｔｈ３（本実施形態では、例えば、１０％程度）より小さいか否かを判定する（Ｓ−１４）。閾値ｔｈ３より高周波成分ＨＦが小さい場合（ＹＥＳ側）、ＡＦ画素補間部４０は、ステップＳ１２で求めたＢＹ４４及びＧＸ４５の補間した値をＹ４４及びＸ４５における撮像用画素値とし、画像データを更新する。画像処理部２１は、更新した画像データに対して３色の画素補間を施して３色の画像データを生成し、３色の画像データを、バス２２介してＳＤＲＡＭ２３に格納する（Ｓ−９）。
【００６８】
一方、高周波成分ＨＦが閾値ｔｈ３以上の場合（ＮＯ側）、ＡＦ画素補間部４０は、ステップ（Ｓ−１５）へ移行する。なお、閾値ｔｈ３の値についての説明は、後の加算係数ＷＲ、ＷＧ及びＷＢの説明とともに行う。
【００６９】
ＡＦ画素補間部４０は、Ｙ４４やＸ４５の近傍における各色成分Ｒ、Ｇ又はＢの撮像用画素の画素値の色変動ＶＲ、ＶＧｒ、ＶＢ及びＶＧｂを算出する（Ｓ−１５）。ここで、色変動ＶＧｒ及びＶＧｂは、Ｒ又はＢの撮像用画素の位置におけるＧの色変動を示す。ＡＦ画素補間部４０は、［数２１］に記載の２つの式に基づいて、色変動ＶＲとＶＧｒとを求める。
【００７０】
［数２１］
(1)ＶＲ ＝｜Ｒ３３−Ｒ５３｜＋｜Ｒ３５−Ｒ５５｜＋｜Ｒ３７−Ｒ５７｜
(2)ＶＧｒ＝｜（Ｇ３２＋Ｇ３４）／２−（Ｇ５２＋Ｇ５４）／２｜＋｜（Ｇ３４＋Ｇ３６）／２−（Ｇ５４＋Ｇ５６）／２｜＋｜（Ｇ３６＋Ｇ３８）／２−（Ｇ５６＋Ｇ５８）／２｜
なお、本実施形態のＡＦ画素補間部４０は、Ｒの撮像用画素の位置Ｒ３３、Ｒ３５、Ｒ３７、Ｒ５３、Ｒ５５及びＲ５７におけるＧの画素値の平均値を求めてからＶＧｒの値を計算する。
【００７１】
一方、ＡＦ画素補間部４０は、［数２２］に記載の２つの式に基づいて、色変動ＶＢとＶＧｂとを求める。
【００７２】
［数２２］
(1)ＶＢ ＝｜Ｂ２２−Ｂ６２｜＋｜Ｂ２４−Ｂ６４｜＋｜Ｂ２６−Ｂ６６｜
(2)ＶＧｂ＝｜（Ｇ２１＋Ｇ２３）／２−（Ｇ６１＋Ｇ６３）／２｜＋｜（Ｇ２３＋Ｇ２５）／２−（Ｇ６３＋Ｇ６３）／２｜＋｜（Ｇ２５＋Ｇ２７）／２−（Ｇ６５＋Ｇ６７）／２｜
なお、本実施形態のＡＦ画素補間部４０は、Ｂの撮像用画素の位置Ｂ２２、Ｂ２４、Ｂ２６、Ｂ６２、Ｂ６４及びＢ６６におけるＧの画素値の平均値を求めてからＶＧｂの値を計算する。
【００７３】
ＡＦ画素補間部４０は、ステップ（Ｓ−１５）で算出した色変動ＶＲ、ＶＧｒ、ＶＢ及びＶＧｂを用いて、色成分Ｇ及びＢの白色光に対する色変動率ＫＷＧ及びＫＷＢを算出する（Ｓ−１６）。まず、ＡＦ画素補間部４０は、色変動ＶＲ、ＶＧｒ、ＶＢ及びＶＧｂから［数２３］に記載の３つの式から色変動ＶＲ２、ＶＧ２及びＶＢ２を求める。
【００７４】
［数２３］
(1)ＶＲ２＝（ＶＲ＋α）×（ＶＧｂ＋α）
(2)ＶＢ２＝（ＶＢ＋α）×（ＶＧｒ＋α）
(3)ＶＧ２＝（ＶＧｂ＋α）×（ＶＧｒ＋α）
ここで、αは、色変動率の値を安定させるための適当な定数であり、例えば、１２ビット画像を処理する場合には、α＝２５６程度の値にすれば良い。
【００７５】
そして、画像処理部２１は、色変動ＶＲ２、ＶＧ２及びＶＢ２を用いて、［数２３］に記載の式により白色光における色変動ＶＷを算出する。
【００７６】
［数２４］
ＶＷ＝ＶＲ２＋ＶＧ２＋ＶＢ２
よって、ＡＦ画素補間部４０は、色変動率ＫＷＧ及びＫＷＢを［数２４］から算出する。
【００７７】
［数２５］
ＫＷＢ＝ＶＧ２／ＶＷ
ＫＷＢ＝ＶＢ２／ＶＷ
ＡＦ画素補間部４０は、ステップ（Ｓ−１３）において求めた各ＡＦ画素の位置における白色光の画素値の高周波成分ＨＦと、ステップ（Ｓ−１６）で算出した色変動率ＫＷＧ及びＫＷＢとを用いて、各ＡＦ画素の位置における色成分Ｇ及びＢの画素値の高周波成分を［数２６］に記載の式から算出する（Ｓ−１７）。
【００７８】
［数２６］
ＨＦＢＹ４４＝ＨＦＹ４４×ＫＷＢ
ＨＦＧＸ４５＝ＨＦＸ４５×ＫＷＧ
ＡＦ画素補間部４０は、ステップ（Ｓ−１７）で求めた各ＡＦ画素における各色成分の高周波成分を、ステップ（Ｓ−７）で補間して求めた撮像用画素値に付加する（Ｓ−１８）。ＣＰＵ１１は、例えば、［数２７］に記載の式に基づいて、Ｙ４４及びＸ４５の撮像用画素値Ｂ’及びＧ’をそれぞれ算出する。
【００７９】
［数２７］
Ｂ’Ｙ４４＝ＢＹ４４＋ＨＦＹ４４
Ｇ’Ｘ４５＝ＧＸ４５＋ＨＦＸ４５
ＡＦ画素補間部４０は、Ｙ４４やＸ４５等のＡＦ画素の位置において補間して求めたＢ’Ｙ４４及びＧ’Ｘ４５等の画素値を、それぞれの位置における撮像用画素値として、画像データを更新する。画像処理部２１は、更新した画像データに対して３色に画素補間等を施してＳＤＲＡＭ２３に格納する（Ｓ−９）。
【００８０】
なお、ＡＦ画素の配列方向に変動はなくても、各色成分の撮像用画素の分光特性の加重和とＡＦ画素の分光特性とのズレ等に起因して、白色光の画素値の高周波成分が若干の誤差を持つ。垂直走査方向（ＡＦ画素の配列方向に交わる方向）に画像の大きな変動がない場合には、高周波成分を付加しなくても補間値の精度は充分であり、高周波成分を付加することによってかえって誤差に起因する偽構造が生じる恐れがある。そこで、ステップ（Ｓ−１０）では、そのような場合、高周波成分の付加を抑制する。また、算出された高周波成分が充分小さい場合には、それを付加しなくても補間値の精度は充分であり、高周波成分を付加することによってかえって誤差に起因する偽構造が生じるおそれがある。このため、（Ｓ−１０）では、そのような場合に高周波成分の付加を抑制するようにしている。
【００８１】
［加重係数ＷＲ、ＷＧ、ＷＢの求め方］
次に、加重係数ＷＲ、ＷＧ、ＷＢの求め方について、閾値ｔｈ３とともに説明する。まず、図７に示すように、レンズ交換式の電子カメラ（製品）１０、又はそれに組み込まれたものと同じ特性の撮像素子を組み込んだダミーの電子カメラを撮影位置にセットする（Ｓ−１９）。そして、セットした電子カメラ１０で、図６に示すように、一様の白色パターンの画像を撮像し（Ｓ−２０）、撮像した補完前（ベイヤー配列）の画像データを保存する（Ｓ−２１）。この撮像は、所定の交換レンズを用いた条件、すなわち、撮影時のＦ値と交換レンズで決まる射出瞳位置（ＰＯ値）との条件で行われる。
【００８２】
続いて同じレンズ条件で、前記一様白色のパターンの画像を、カラーフィルタ（Ｒ，Ｇ，Ｂ）を用いて撮影をする（Ｓ−２２）。そして、撮影した補完前の画像データを保存する（Ｓ−２３）。なお、撮像データの保存は、必ずしも電子カメラ１０のメモリや記憶部で行う必要はない。例えば電子カメラ１０の組み立て・調整工程において外付けのパーソナルコンピュータ（ＰＣ）に転送して保存しても良い。
【００８３】
その後、周囲の撮像用画素値の重み付け加重和からＡＦ画素値を推定するための各色成分の重み係数を算出する（Ｓ−２４）。
【００８４】
詳しく説明すると、一様白色パターン画像を撮影した時に得た画像データに基づいて算出するパラメータを以下に設定する。
ＡＷ：ＡＦ画素値の平均の出力値。
ＲＷ：ＡＦ画素列の周囲のＲ色成分の撮像用画素値の平均値。
ＧＷ：ＡＦ画素列の周囲のＧ色成分の撮像用画素値の平均値。
ＢＷ：ＡＦ画素列の周囲のＢ色成分の撮像用画素値の平均値。
【００８５】
続いて、R色成分のカラーフィルタを用いて撮影した時に得た画像データに基づいて算出するパラメータを以下に設定する。
ＡＲ：ＡＦ画素値の平均の出力値。
ＲＲ：ＡＦ画素列の周囲のＲ色成分の撮像用画素値の平均値。
ＧＷ：ＡＦ画素列の周囲のＧ色成分の撮像用画素値の平均値。
ＢＷ：ＡＦ画素列の周囲のＢ色成分の撮像用画素値の平均値。
【００８６】
続いてG、Bのカラーフィルタを用いたときも同様に設定する。ここでは、一般化するために以下のように表す。
ＡＣ：ＡＦ画素値の平均の出力値
ＲＣ：あるカラーフィルタを通した場合（白色の場合はなし）のＡＦ画素列の周囲のＲ色成分の撮像用画素値の平均値。
ＧＷ：あるカラーフィルタを通した場合（白色の場合はなし）のＡＦ画素列の周囲のＧ色成分の撮像用画素値の平均値。
ＢＷ：あるカラーフィルタを通した場合（白色の場合はなし）のＡＦ画素列の周囲のＢ色成分の撮像用画素値の平均値。
【００８７】
そして、周囲の撮像用画素のある重みの加重和からＡＦ画素値を推定するには、未知の加重係数ＷＲ、ＷＧ、及びＷＢの関数として二乗誤差Ｅを［数２８］に記載の式に定義する。
【００８８】
【数２８】
ＷＲ：ＡＦ画素列の周囲のＲ色成分の撮像用画素の重み係数
ＷＧ：ＡＦ画素列の周囲のＧ色成分の撮像用画素の重み係数
ＷＢ：ＡＦ画素列の周囲のＢ色成分の撮像用画素の重み係数
そして、二乗誤差Ｅを最小とする加重係数ＷＲ、ＷＧ及びＷＢを、すなわち二乗誤差ＥをＷＲ、ＷＧ又はＷＢでそれぞれ偏微分した値を「０」にする加重係数ＷＲ、ＷＧ及びＷＢを［数２９］〜［数３４］に記載の式により求める。
【００８９】
【数２９】
【００９０】
【数３０】
【００９１】
【数３１】
【００９２】
【数３２】
【００９３】
【数３３】
【００９４】
【数３４】
さらに、求めた加重係数ＷＲ、ＷＧ及びＷＢに基づいて各撮像画像データｎについて誤差率Ｋｎを［数３５］に記載の式で求める。
【００９５】
［数３５］
Ｋｎ＝｜ＷＲ×Ｒｎ＋ＷＧ×Ｇｎ＋ＷＢ×Ｂｎ−Ｗｎ｜／Ｗｎ
そして、Ｋｎの最大値を求め、閾値ｔｈ３として不揮発性メモリ１２に記録する。
【００９６】
このようにして、所定のレンズ条件の時に使用する加重係数ＷＲ、ＷＧ、及びＷＢを求めることができる。各色成分の加重係数は、ＡＦ画素の分光感度とその周囲の撮像用画素の分光感度によって異なる。また、レンズ条件であるＦ値、及びＰＯ値が変わったとき、光の集光が変化するため、加重係数ＷＲ，ＷＧ、及びＷＢが変化する。そのため、各色成分に対するレンズ条件毎の加重係数を記述したテーブルを、撮像素子の分光感度特性（撮像素子の特性）毎にもつことが望ましい。
【００９７】
しかしながら、レンズ条件毎に加重係数を記述するテーブル（［表３］）を各色成分毎に記憶するのは無駄にメモリを消費するだけで効率的ではない。
【００９８】
【表３】
そこで、本実施形態では、所定のレンズ条件の時に使用する基準の加重係数ＷＲ、ＷＧ、及びＷＢのみを記述した基準パラメータ、又は基準テーブルと、他のレンズ条件の時に使用する加重係数を基準の加重係数との差分を記述した各色成分毎の差分テーブルとを持つ構成になっている。
【００９９】
例えば［表４］に示すように、Ｒ色成分用基準テーブルには、Ｆ値が「４」で、ＰＯ値が「２０」のレンズ条件の時に使用する加重係数が「２２２」であることが記述されている。そして、Ｒ色成分の差分テーブルには、［表５］に示すように、他のレンズ条件の時に使用する加重係数を算出するための基準の加重係数との差分値が記述されている。
【０１００】
【表４】
【０１０１】
【表５】
このように、基準パラメータ、又は基準テーブルと差分テーブルとは、種々のレンズ条件にて実験を行った結果に基づいて作成されてＰＣの記憶部に記憶される（Ｓ−２４〜Ｓ−２７）。勿論、Ｒ色成分用だけでなく、Ｇ色成分とＢ色成分にも同様の基準テーブルと差分テーブルが作成され、これらは色成分毎に関連付けしてＰＣの記憶部に記憶される。そして、他の特性の撮像素子をもつ電子カメラに対しても前述したと同じ実験を行って、色成分毎の基準テーブルと、差分テーブルとを作成して記憶する（Ｓ−２８）。全ての特性の撮像素子に対して実験を行うことで、撮像素子の特性に関連付けした色成分毎の基準テーブルと差分テーブルとが電子カメラに転送され、不揮発性メモリ１２に記憶される（Ｓ−２９）。その後、電子カメラ１０が出荷される（Ｓ−３０）。
【０１０２】
これによれば、例えば、撮影レンズ側に撮像素子をもつタイプのカメラや製造途中で行われえる撮像素子の設計変更等により撮像素子が変更されても、その撮像素子の分光感度特性を含む撮像素子情報を得ることで、その撮像素子の特性に応じた色成分毎の基準テーブルと差分テーブルとを選択して加重係数を求めることができる。
【０１０３】
また、レンズ交換がなされて他のレンズ条件になっても、差分テーブルからそのレンズ条件に応じた差分を読み出し、読み出した差分を基準の加重係数に加えることで、その時点のレンズ条件時に使用する加重係数を色成分毎に直ぐに求めることができる。しかも、差分テーブルには、提供されている交換式の撮影レンズ１４の種類に応じたレンズ条件に加えて、将来的に提供されると予測される交換レンズに応じたレンズ条件についても予め実験により差分を求めておくことができるので簡便である。
【０１０４】
なお、加重係数を求める処理は、必ずしも電子カメラ本体内で行う必要はない。例えば加重係数の算出は、カメラの組み立て・調整工程において外付けのパーソナルコンピュータで行い、求めた基準テーブルと差分テーブルとをカメラに転送しても良い。
【０１０５】
また、差分テーブルとしては、略同じ差分をもつレンズ条件の範囲をグループ分けして記憶することで差分テーブルを簡易化してもよい。
【０１０６】
図８は、本実施形態の効果が発揮される画像構造の一例を表す。同図は凸構造（明るい線あるいは点）を含む縦５画素の画像構造を縦断した図であり、横軸は垂直走査方向（ｙ座標）であり縦軸は光量または画素値である。そして、凸構造がちょうど水平走査方向に配列されたＡＦ画素列上にある。
【０１０７】
図８の○印は、Ｇの撮像用画素で撮像された画素値である。ただし、ＡＦ画素の位置にはＧの撮像用画素が存在しないので、その位置でのＧの画素値は得られない。従って、丁度ＡＦ画素の位置に凸構造がある場合には、ＡＦ画素の近傍のＧの撮像用画素の画素値からだけでは、同図の凸構造を再現できない。実際、前述したステップ（Ｓ−７）において、ＡＦ画素の近傍のＧの撮像用画素の画素値を用いてＡＦ画素の位置で補間して求めたＧの画素値（図８の●印）は、凸構造を再現していない。
【０１０８】
一方、ＡＦ画素の位置では、白色光の画素値が得られる。ただし、通常の画素は瞳の全領域を通過する光を受光するのに対し、ＡＦ画素は瞳の右側あるいは左側を通過する光のみを受光するので、瞳分割の異なる隣接するＡＦ画素を加算することにより通常の（瞳の全領域を通過した光の）白色光の画素値が算出される（［数１９］）。
【０１０９】
また、ＡＦ画素の近傍のＧの撮像用画素の位置に、他の色成分Ｒ及びＧを補間生成して、色成分Ｒ、Ｇ及びＢの加重和を求めることにより、多くの場合には充分な精度で白色光の画素値を求めることができる（［数１６］及び［数１８］）。
【０１１０】
図８の□印は、そのようにして求めた白色光の画素値の分布である。多くの場合、白色光の画素値の高周波成分と、色成分Ｇの画素値の高周波成分とは比例するので、白色光の画素値から算出した高周波成分は、Ｇの画素値の凸構造成分の情報を持つ。よって、白色光の画素値の高周波成分に基づいてＧの画素値の高周波成分を求め、その値を●印のデータに加えることにより、☆印のＧの画素値が得られ、凸構造を再現する（［数２６］）。
【０１１１】
［第３画素補間処理］
ＡＦ画素補間部４０は、ノイズ判定部４１での判定結果によりノイズが少なく、かつフレア判定部４２でのフレアが発生し易いと判断する場合、第３画素補間処理を選択して実行する。
【０１１２】
第３画素補間処理では、まず、ＡＦ画素補間部４０が、撮像素子情報入力部３２から撮像素子情報を取得して、不揮発性メモリから、取得した撮像素子情報に基づいたＡＦ画素の位置情報を読み取ってＡＦ画素の位置を特定する。その後、ＡＦ画素の周囲の撮像用画素値を重み係数により補正し、補正した撮像用画素値を平滑化する処理を、撮像用画素値に対する重み係数を変えて２回行った後、上述した第２画素補間処理を実行する。以下、図３のＡＦ画素Ｘ４３及びＡＦ画素Ｙ４４の２列に対する第３画素補間処理について説明する。
【０１１３】
（ＡＦ画素列の周囲の撮像用画素値を重み係数により補正）
ＡＦ画素補間部４０は、図９に示すように、ＡＦ画素列の周囲に配置された撮像用画素の画素値が、閾値ＭＡＸ＿ＲＡＷ以上となるか否かを判定し、その判定結果に基づいて、設定された重み係数を用いて補正する（Ｓ−３１）。ここで、閾値ＭＡＸ＿ＲＡＷは、画素値が飽和しているか否かを判定するための閾値である。
【０１１４】
ＡＦ画素補間部４０は、撮像用画素の画素値が閾値ＭＡＸ＿ＲＡＷ以上となる場合には、撮像用画素値に対して補正は行わない。一方、ＡＦ画素補間部４０は、撮像用画素の画素値が、閾値ＭＡＸ＿ＲＡＷ未満となる場合には、重み係数を用いた加重和の値を元の画素値から減算することで撮像用画素の画素値を補正する。
【０１１５】
ＡＦ画素補間部４０は、Ｒ色成分の撮像用画素の画素値を［数３６］〜［数３９］を用いて補正する。
【０１１６】
［数３６］
Ｒ１３’＝Ｒ１３−（Ｒ３Ｕ＿０×Ｒ３３＋Ｒ３Ｕ＿１×Ｇ３４＋Ｒ３Ｕ＿２×Ｂ２４）
［数３７］
Ｒ３３’＝Ｒ３３−（Ｒ１Ｕ＿０×Ｒ３３＋Ｒ１Ｕ＿１×Ｇ３４＋Ｒ１Ｕ＿２×Ｂ２４）
［数３８］
Ｒ５３’＝Ｒ５３−（Ｒ１Ｓ＿０×Ｒ５３＋Ｒ１Ｓ＿１×Ｇ５４＋Ｒ１Ｓ＿２×Ｂ６４）
［数３９］
Ｒ７３’＝Ｒ７３−（Ｒ３Ｓ＿０×Ｒ５３＋Ｒ３Ｓ＿１×Ｇ５４＋Ｒ３Ｓ＿２×Ｂ６４）
ここで、Ｒ１Ｕ＿０，Ｒ１Ｕ＿１，Ｒ１Ｕ＿２，Ｒ１Ｓ＿０，Ｒ１Ｓ＿１，Ｒ１Ｓ＿２，Ｒ３Ｕ＿０，Ｒ３Ｕ＿１，Ｒ３Ｕ＿２，Ｒ３Ｓ＿０，Ｒ３Ｓ＿１，Ｒ３Ｓ＿２は、重み係数である。なお、重み係数中、文字Ｓは、ＡＦ画素よりも上方に位置することを示し、文字Ｕは、ＡＦ画素よりも下方に位置することを示している。
【０１１７】
ＡＦ画素補間部４０は、Ｇ色成分の撮像用画素の画素値を［数４０］〜［数４５］を用いて補正する。
【０１１８】
［数４０］
Ｇ１４’＝Ｇ１４−（Ｇ３Ｕ＿０×Ｒ３３＋Ｇ３Ｕ＿１×Ｇ３４＋Ｇ３Ｕ＿２×Ｂ２４
［数４１］
Ｇ２３’＝Ｇ２３−（Ｇ２Ｕ＿０×Ｒ３３＋Ｇ２Ｕ＿１×Ｇ３４＋Ｇ２Ｕ＿２×Ｂ２４）
［数４２］
Ｇ３４’＝Ｇ３４−（Ｇ１Ｕ＿０×Ｒ３３＋Ｇ１Ｕ＿１×Ｇ３４＋Ｇ１Ｕ＿２×Ｂ２４）
［数４３］
Ｇ５４’＝Ｇ５４−（Ｇ１Ｓ＿０×Ｒ５３＋Ｇ１Ｓ＿１×Ｇ５４＋Ｇ１Ｓ＿２×Ｂ６４）
［数４４］
Ｇ６３’＝Ｇ６３−（Ｇ２Ｓ＿０×Ｒ５３＋Ｇ２Ｓ＿１×Ｇ５４＋Ｇ２Ｓ＿２×Ｂ６４）
［数４５］
Ｇ７４’＝Ｇ７４−（Ｇ３Ｓ＿０×Ｒ５３＋Ｇ３Ｓ＿１×Ｇ５４＋Ｇ３Ｓ＿２×Ｂ６４）
ここで、Ｇ１Ｕ＿０，Ｇ１Ｕ＿１，Ｇ１Ｕ＿２，Ｇ１Ｓ＿０，Ｇ１Ｓ＿１，Ｇ１Ｓ＿２，Ｇ２Ｕ＿０，Ｇ２Ｕ＿１，Ｇ２Ｕ＿２，Ｇ２Ｓ＿０，Ｇ２Ｓ＿１，Ｇ２Ｓ＿２，Ｇ３Ｕ＿０，Ｇ３Ｕ＿１，Ｇ３Ｕ＿２，Ｇ３Ｓ＿０，Ｇ３Ｓ＿１，Ｇ３Ｓ＿２は、重み係数である。
【０１１９】
また、ＡＦ画素補間部４０は、Ｂ色成分の撮像用画素の画素値を、［数４６］，［数４７］を用いて補正する。
【０１２０】
［数４６］
Ｂ２４’＝Ｂ２４−（Ｂ２Ｕ＿０×Ｒ３３＋Ｂ２Ｕ＿１×Ｇ３４＋Ｂ２Ｕ＿２×Ｂ２４）
［数４７］
Ｂ６４’＝Ｂ６４−（Ｂ２Ｓ＿０×Ｒ５３＋Ｂ２Ｓ＿１×Ｇ５４＋Ｂ２Ｓ＿２×Ｂ６４）
ここで、Ｂ２Ｕ＿０，Ｂ２Ｕ＿１，Ｂ２Ｕ＿２，Ｂ２Ｓ＿０，Ｂ２Ｓ＿１，Ｂ２Ｓ＿２は重み係数である。
【０１２１】
（隣接するＡＦ画素値を用いたクリップ量の算出）
ＡＦ画素補間部４０は、隣接するＡＦ画素Ｘ４３，Ｙ４４（図２で説明したセンサ開口部３６ａ，３６ｂをもつＡＦ画素）の画素値を読み出し、［数４８］を用いてクリップ量ｔｈ＿ＬＰＦを求める（Ｓ−３２）。
【０１２２】
［数４８］
ｔｈ＿ＬＰＦ＝（Ｘ４３＋Ｙ４４）×Ｋ＿ＴＨ＿ＬＰＦ
ここで、Ｋ＿ＴＨ＿ＬＰＦは係数であり、例えば「１２７」程度の大きな値が適用される。この係数Ｋ＿ＴＨ＿ＬＰＦは、その値が大きいほど平滑化処理の効果が高くなる。
【０１２３】
（色成分毎の予測誤差を算出）
ＡＦ画素補間部４０は、［数４９］、［数５０］を用いて、同一列に配置された同一の色成分となる撮像用画素のうち、ＡＦ画素から遠い位置にある撮像用画素（遠位撮像用画素）の画素値と、ＡＦ画素から近い位置にある撮像用画素（近位撮像用画素）の画素値との差分を予測誤差として算出する（Ｓ−３３）。
【０１２４】
［数４９］
ｄｅｌｔａＲＵ＝Ｒ１３’−Ｒ３３’
ｄｅｌｔａＲＳ＝Ｒ７３’−Ｒ５３’
［数５０］
ｄｅｌｔａＧＵ＝Ｇ１４’−Ｇ３４’
ｄｅｌｔａＧＳ＝Ｇ７４’−Ｒ５４’
（予測誤差がクリップ範囲から越えているか否かを判定）
ＡＦ画素補間部４０は、［数４９］、［数５０］により求めた予測誤差ｄｅｌｔａＲＵ，ｄｅｌｔａＲＳ、ｄｅｌｔａＧＵ及びｄｅｌｔａＧＳの各値が、［数４８］にて求めたクリップ量に基づいたクリップ範囲（−ｔｈ＿ＬＰＦ〜ｔｈ＿ＬＰＦ）に含まれている否かを判定する（Ｓ−３４）。
【０１２５】
（クリップ処理）
ＡＦ画素補間部４０は、予測誤差ｄｅｌｔａＲＵ，ｄｅｌｔａＲＳ、ｄｅｌｔａＧＵ及びｄｅｌｔａＧＳのうち、クリップ範囲から外れている予測誤差に対して、クリップ処理を行う（Ｓ−３５）。ここで、クリップ処理とは、クリップ範囲から外れている予測誤差の値をクリップ範囲に含まれるようにクリッピングすることである。
【０１２６】
（近位撮像用画素値に予測誤差を加算）
ＡＦ画素補間部４０は、［数５１］により、予測誤差を各列の近位撮像用画素値に加算する（Ｓ−３６）。ここで、予測誤差は、［数４９］，［数５０］により求めた値、又は、クリッピングされた値である。
【０１２７】
［数５１］
Ｒ３３”＝Ｒ３３’＋ｄｅｌｔａＲＵ
Ｒ５３”＝Ｒ５３’＋ｄｅｌｔａＲＳ
Ｇ３４”＝Ｇ３４’＋ｄｅｌｔａＧＵ
Ｇ５４”＝Ｇ５４’＋ｄｅｌｔａＧＳ
これにより、ＡＦ画素列の周囲の撮像用画素の画素値である、遠位撮像用画素及び近位撮像用画素の画素値がそれぞれ補正され、さらに、予測誤差を用いて近位撮像用画素の画素値が補正される。
【０１２８】
（補正した撮像用画素値をＳＤＲＡＭに記憶）
ＡＦ画素補間部４０は、重み係数により補正された遠位撮像用画素と、予測誤差により補正された近位撮像用画素とを、ＳＤＲＡＭ２３に記憶する（Ｓ−３７）。
【０１２９】
（２回目の処理）
１回目の処理が実行されると、２回目の処理が実行される。
【０１３０】
（ＡＦ画素列の周囲の撮像用画素値を重み係数により補正）
ＡＦ画素補間部４０は、１回目の処理により補正された撮像用画素の画素値を用いて、これら撮影用が素の画素値が閾値ＭＡＸ＿ＲＡＷ以上となるか否かを判定する。この判定結果に基づいて、設定された重み係数を用いて補正する（Ｓ−３８）。ここで、閾値ＭＡＸ＿ＲＡＷは、画素値が飽和しているか否かを判定するための閾値であり、１回目の処理（Ｓ−３１）と同一の値が用いられる。
【０１３１】
ＡＦ画素補間部４０は、撮像用画素の画素値が閾値ＭＡＸ＿ＲＡＷ以上となる場合に、撮像用画素値に対して補正は行わない。ＡＦ画素補間部４０は、撮像用画素の画素値が閾値ＭＡＸ＿ＲＡＷ未満となる場合に、上述した［数３６］〜［数４７］における全ての重み係数を「０」に変えて補正する。つまり、この処理を行った場合、ＡＦ画素列の周囲に配置された撮像用画素の画素値は、元の値のままである。
［隣接するＡＦ画素値を用いたクリップ量の算出］
ＡＦ画素補間部４０は、隣接するＡＦ画素Ｘ４３，Ｙ４４の画素値を読み出し、上述した［数４８］を用いてクリップ量ｔｈ＿ＬＰＦを求める（Ｓ−３９）。ここで、Ｋ＿ＴＨ＿ＬＰＦの値は１回目の処理と同一の値が用いられる。
【０１３２】
（色成分毎の予測誤差を算出）
ＡＦ画素補間部４０は、上述した［数４７］、［数４８］を用いて、同一列に配置された同一の色成分となる撮像用画素のうち、ＡＦ画素から遠い位置にある撮像用画素（遠位撮像用画素）の画素値と、ＡＦ画素から近い位置にある撮像用画素（近位撮像用画素）の画素値との差分を予測誤差として算出する（Ｓ−４０）。
【０１３３】
（予測誤差がクリップ範囲から越えているか否かを判定）
ＡＦ画素補間部４０は、上述した［数４９］，［数５０］により求めた予測誤差ｄｅｌｔａＲＵ，ｄｅｌｔａＲＳ、ｄｅｌｔａＧＵ及びｄｅｌｔａＧＳの各値が、［数４８］にて求めたクリップ量に基づいたクリップ範囲（−ｔｈ＿ＬＰＦ〜ｔｈ＿ＬＰＦ）に含まれている否かを判定する（Ｓ−４１）。
【０１３４】
（クリップ処理）
ＡＦ画素補間部４０は、予測誤差ｄｅｌｔａＲＵ，ｄｅｌｔａＲＳ、ｄｅｌｔａＧＵ及びｄｅｌｔａＧＳのうち、クリップ範囲から外れている予測誤差に対して、クリップ処理を行う（Ｓ−４２）。
【０１３５】
（近位撮像用画素値に予測誤差を加算）
ＡＦ画素補間部４０は、上述した［数５１］を用いて、各列の近位撮像用画素値に加算する（Ｓ−４３）。これにより、２回目の処理においては、近位撮像用画素値が予測誤差を用いて、さらに補正される。
【０１３６】
（補正した撮像用画素値をＳＤＲＡＭに記憶）
ＡＦ画素補間部４０は、重み係数により補正された遠位撮像用画素と、予測誤差により補正された近位撮像用画素とを、ＳＤＲＡＭ２３に記憶する（Ｓ−４４）。
【０１３７】
このように、第３画素補間処理においては、上述した補正処理が２回繰り返し実行される。この補正処理が２回繰り返し実行された後、第２画素補間処理が実行される。
【０１３８】
（第２画素補間処理）
ＡＦ画素補間部４０は、ＳＤＲＡＭ２３に記憶した撮像用画素値を用いて、上述した第２画素補間処理を実行する（Ｓ−４５）。これにより、ＡＦ画素に対応する撮像用画素値が算出される。つまり、ＡＦ画素値が補間される。
【０１３９】
（補間したＡＦ画素の画素値をＳＤＲＡＭに記憶）
ＡＦ画素補間部４０は、第２画素補間処理（Ｓ−４６）により補間したＡＦ画素値をＳＤＲＡＭ２３に記憶する。
【０１４０】
上記実施形態によれば、撮影レンズがもつレンズ条件毎に対応付けしてパラメータを記述したテーブルを記憶するテーブル記憶手段を備えたから、レンズ条件ごとに、最適な撮像用画素の補間を行なうことができる。
【０１４１】
なお、上記実施形態では、ＡＦ画素の配列方向を水平走査方向としたが、本発明はこれに限定されず、ＡＦ画素は垂直走査方向又はその他の方向に配列されていても良い。
【０１４２】
また、上記各実施形態では、ＡＦ画素の各々は左側又は右側からの光束を瞳分割する焦点検出画素としたが、本発明はこれに限定されず、ＡＦ画素の各々は左側及び右側からの光束を瞳分割する画素を有する焦点検出画素でも良い。
【０１４３】
さらに、上記各実施形態では、本発明を電子カメラ１０として説明しているが、カメラ付き携帯電話やスマートフォン等の撮像装置としてもよい。また、テーブル記憶手段としては、不揮発性メモリ１２の代わりに、外部から着脱自在に交換可能なカードメモリとしてもよい。
【０１４４】
さらにまた、本発明では、ＡＦ画素補間処理を含む画像処理装置、及び我層処理装置における処理をコンピュータで実現するためのプログラムに対しても適用可能である。この場合、２次元状に配列された複数の撮像用画素、及び撮像用画素群の中に配された複数の焦点検出用画素を有する撮像素子を用いて撮像することで得られたベイヤー配列画像を取り込む画像取得手段と、撮像時に使用した撮像素子がもつ複数の焦点検出用画素の位置情報を取得するＡＦ画素位置取得手段と、を備えればよい。
【符号の説明】
【０１４５】
１０ 電子カメラ
１２ 不揮発性メモリ
１５ 撮像素子
３０ レンズ情報入力部
３２ 撮像素子情報入力部
３６ ＡＦ画素
４０ ＡＦ画素補間部
【技術分野】
【０００１】
本発明は、撮像装置、撮像装置の製造方法、画像処理装置、及びプログラム、並びに記録媒体に関する。
【背景技術】
【０００２】
従来、複数の撮像用画素を２次元状に配列した受光面の一部に焦点検出用の複数の画素を配列した撮像素子が知られている（特許文献１）。複数の撮像用画素は、複数の色成分の各々に対応する分光特性を有し、また、焦点検出用画素は、複数の撮像用画素とは異なる分光特性を有する。特許文献１に記載の画像処理装置では、焦点検出用画素の位置に対応する撮像用画素値を補間し、その後、撮像用画素値のうち欠落色成分の画素値を補間して３色の画像データを作る。
【０００３】
焦点検出用画素の位置に対応する撮像用画素値を補間する場合、撮像素子によって生成された画像のうち焦点検出用画素の近傍の撮像用画素の画素値を用いて焦点検出用画素の補間画素値を生成し、近傍の撮像用画素が焦点検出用画素と同じ分光特性を有した場合の画素値である評価画素値を算出する。
【０００４】
評価画素値は、加重係数とともに焦点検出用画素の近傍の複数の撮像用画素値を用いて加重和を求めることで算出している。加重係数は、焦点検出用画素の分光特性を複数の撮像用画素の各々の分光特性の加重和によって表すためパラメータであり、予め記憶部に記憶されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−３０３１９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
加重係数は、焦点検出用撮像画素の分光感度とその周囲の撮像用画素の分光感度によって異なる。また、加重係数は、撮像時に得られるレンズ条件、すなわち、Ｆ値、及び射出瞳位置（ＰＯ値）に応じて光の集光が変化するため、レンズ条件毎に異なる値を使用することが望ましい。
【課題を解決するための手段】
【０００７】
本発明を例示する撮像装置の一態様は、複数の撮像用画素及び複数の焦点検出用画素を有し撮影レンズにより結像する被写体像を撮像する撮像素子と、前記焦点検出用画素の位置を各々記憶するＡＦ画素位置記憶手段と、前記焦点検出用画素の画素値を、その周囲の撮像用画素の画素値を用いて補間する時に使用するパラメータが、前記撮影レンズがもつレンズ条件毎に対応付けして記述されているテーブルを記憶するテーブル記憶手段と、撮影時のレンズ条件に基づいて前記テーブルから前記パラメータを決めるパラメータ決定手段と、前記パラメータ決定手段で決めたパラメータを用いて焦点検出用画素の位置に対する撮像用画素の画素値を補間する画素補間手段と、を備えたものである。
【０００８】
テーブル記憶手段としては、分光感度特性の異なる撮像素子の種類毎にテーブルを複数記憶してもよい。この場合、複数のテーブルから撮像素子の種類に応じたテーブルを選択するテーブル選択手段を備えればよい。
【０００９】
また、テーブル記憶手段としては、特定のレンズ条件の時に使用する基準のパラメータを記述した基準テーブルと、他のレンズ条件の時に使用するパラメータと前記基準のパラメータとの差分を記述した差分テーブルとを関連付けした構成のテーブルを記憶してもよい。この場合、パラメータ決定手段は、撮影時のレンズ条件が前記特定のレンズ条件ではない場合、撮影時のレンズ条件に応じた差分を差分テーブルから求め、求めた差分と基準のパラメータとを演算して撮影時のレンズ条件に応じたパラメータを算出して決めればよい。
【００１０】
さらに、テーブル記憶手段としては、基本テーブルと差分テーブルとを色成分毎に関連付けして記憶しておくのが望ましい。
【００１１】
また、撮像装置の製造方法としては、焦点検出用画素の画素値をその周囲の撮像用画素の画素値を用いて補間するときに使用するパラメータを、撮影レンズの所定のレンズ条件下のもとで実験した結果、基準のパラメータとして取得し、取得した基準のパラメータを所定のレンズ条件に対応付けして記述した基準テーブルと、他のレンズ条件下のもとで実験した結果得られるパラメータと基準のパラメータとの差分を他のレンズ条件に対応付けして記述した差分テーブルと、を作成するテーブル作成ステップと、作成した基準テーブルと差分テーブルとを関連付けして撮像装置に設けた記憶部に記憶させるステップと、を含むものである。
【００１２】
また、画像処理装置の発明としては、２次元状に配列された複数の撮像用画素、及び前記撮像用画素群の中に配された複数の焦点検出用画素を有する撮像素子を用いて撮像することで得られたベイヤー配列画像を取り込む画像取得手段と、撮像時に使用した撮像素子がもつ複数の焦点検出用画素の位置情報を取得するＡＦ画素位置取得手段と、撮像素子を用いて撮像した時に使用したレンズ条件を取得するレンズ条件取得手段と、焦点検出用画素の周囲に配されている複数の撮像用画素の画素値を用いて焦点検出用画素の位置に対応する撮像用画素の画素値を補間するためのパラメータを、ベイヤー配列画像を撮像した時に使用した撮影レンズがもつレンズ条件毎に決めたテーブルを記憶するテーブル記憶手段と、レンズ条件に応じてテーブルからパラメータを決定するパラメータ決定手段と、決定したパラメータを用いて焦点検出用画素の位置に対応する撮像用画素の画素値を補間する補間処理手段と、を備えたものである。
【００１３】
なお、本発明としては、コンピュータが読み取り可能なプログラム、並びにコンピュータが読み取り可能なプログラムを記録した記録媒体の発明としてもよい。
【発明の効果】
【００１４】
本発明によれば、撮影レンズがもつレンズ条件毎に対応付けしたパラメータを簡便にもつことができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の撮像装置である電子カメラの概略を示すブロック図である。
【図２】撮像素子に設けた焦点検出用画素（ＡＦ画素）の配列を示す説明図である。
【図３】撮像素子の画素の配列を示す説明図である。
【図４】ＡＦ画素補間部の概略を示すブロック図である。
【図５】ＡＦ画素補間部の動作手順を示すフローチャートである。
【図６】第２画素補間処理の手順を示すフローチャートである。
【図７】加重係数を算出して電子カメラに格納する手順を示すフローチャートである。
【図８】凸構造を含む縦５画素の画像構造を縦断したときの画素値を示す説明図である。
【図９】第３画素補間処理の手順を示すフローチャートである。
【発明を実施するための最良の形態】
【００１６】
本発明を適用した電子カメラ１０は、図４に示すように、ＣＰＵ１１を備えている。ＣＰＵ１１には、不揮発性メモリ１２、及びワークメモリ１３が接続されており、不揮発性メモリ１２には、ＣＰＵ１１が種々の制御を行う際に参照される制御プログラムなどが格納されている。さらに、不揮発性メモリ１２には、詳しくは後述する撮像素子の種類毎の焦点検出用画素（ＡＦ画素）の位置情報、予め求めておいた画像処理プログラムに用いる各種閾値のデータやパラメータ（加重係数）等のデータを記述したテーブル、及び各種判定用テーブル等を記憶する。
【００１７】
ＣＰＵ１１は、不揮発性メモリ１２に格納されている制御プログラムに従い、ワークメモリ１３を一時記憶作業領域として利用して各部の制御を行い、電子カメラ１０を構成する各部（回路）機能を作動させる。
【００１８】
撮影レンズ１４から入射する被写体光は、ＣＣＤやＣＭＯＳ等の撮像素子１５の受光面に結像する。撮像素子駆動回路１６は、ＣＰＵ１１からの制御信号に基づいて撮像素子１５を駆動させる。撮像素子１５は、ベイヤー配列型単板撮像素子になっており、前面には原色透過フィルタ１７が取り付けられている。
【００１９】
原色透過フィルタ１７は、撮像素子１５の総画素数Ｎに対して、例えば、Ｇ（緑色）の解像度がＮ／２、Ｒ（赤色）及びＢ（青色）の解像度がＮ／４となる原色ベイヤー配列になっている。
【００２０】
撮像素子１５の受光面に結像した被写体像は、アナログの画像信号に変換される。画像信号は、ＡＦＥ（Analog Front End）回路を構成するＣＤＳ１８、及びＡＭＰ１９に順に出力し、ＡＦＥ回路で所定のアナログ処理が施され、その後、Ａ／Ｄ（Analog/Digital変換器）２０においてデジタルの画像データに変換されて画像処理部２１に送られる。
【００２１】
画像処理部２１は、分離回路、ホワイトバランス処理回路、画素補間（デモザイキング）回路、マトリクス処理回路、非線形変換（γ補正）処理回路、及び輪郭強調処理回路等を備え、デジタルの画像データに対して、ホワイトバランス、画素補間、マトリクス、非線形変換（γ補正）、及び輪郭強調等の処理を施す。分離回路は、詳しくは後述する撮像用画素から出力される信号と、焦点検出用画素から出力される信号とを分離する。画素補間回路は、１画素当たり１色のベイヤー配列データを、１画素当たり３色からなる通常のカラー画像データに変換する。
【００２２】
画像処理部２１から出力される３色の画像データは、バス２２を通じてＳＤＲＡＭ２３に格納される。ＳＤＲＡＭ２３に格納した画像データは、ＣＰＵ１１の制御により読み出されて表示制御部２４に送られる。表示制御部２４は、入力された画像データを表示用の所定方式の信号（例えば、ＮＴＳＣ方式のカラー複合映像信号）に変換して表示部２５にスルー画像として出力する。
【００２３】
また、シャッタレリーズに応答して取得した画像データは、ＳＤＲＡＭ２３から読み出した後に圧縮伸長処理部２６に送られ、ここで圧縮処理が施されてからメディアコントローラ２７を介して記録媒体であるメモリカード２８に記録される。
【００２４】
ＣＰＵ１１には、レリーズボタン、電源スイッチ、及びＩＳＯ感度設定部等を含む操作部２９が接続されているとともに、撮像素子１５の温度を検出する温度検出器３１から温度情報が入力される。温度情報は、画像処理部２１に送られ、詳しくは後述するノイズを判定する時に利用される。
【００２５】
ＡＥ／ＡＦ検出部３３は、焦点検出用画素の信号に基づいて瞳分割型位相差検出方式によりデフォーカス量、及びデフォーカスの方向を検出する。ＣＰＵ１１は、ＡＥ／ＡＦ検出部３３で得られるデフォーカス量、及びデフォーカスの方向に基づいてドライバ３４を制御して合焦モータ３５を駆動してフォーカスレンズを光軸方向で進退させて焦点調整を行う。
【００２６】
また、ＡＥ／ＡＦ検出部３３は、撮像用画素の信号に基づいて算出した輝度値（Ｂｖ）と、撮影者がＩＳＯ感度設定部で設定したＳｖ値とを用いて光値（Ｌｖ＝Ｓｖ＋Ｂｖ）を算出する。そして、ＡＥ／ＡＦ検出部３３は、露出値（Ｅｖ＝Ａｖ＋Ｔｖ）が光値（Ｌｖ）になるように絞り値とシャッター速度とを決定する。そして、これに従って撮像素子１５の電子シャッター、及び電子アイリスを制御して適正な露光量を得る。なお、絞り兼用のメカシャッタを設けて、メカシャッタで絞りを可変してもよい。
【００２７】
撮像素子１５は、その受光面上にある複数の撮像用画素の各々に、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のいずれかの原色透過フィルタ１７がベイヤー配列型に設けられ、その上にマイクロレンズアレイが設けられたＣＣＤやＣＭＯＳの半導体イメージセンサ等を適宜選択して用いる。さらに、本実施形態の撮像素子１５は、受光面上の一部の領域に、水平走査方向に一次元的に配置された複数の焦点検出用画素（ＡＦ画素）を有する。それらのＡＦ画素には、原色透過フィルタ１７が設置されていない。また、ＡＦ画素は、撮像レンズ１の光学系の瞳の左側又は右側を通過する光束を受光する２種類存在する。撮像素子１５は、撮像用画素群、及びＡＦ画素群からの画素信号を個別に読み出しすることができる。
【００２８】
各ＡＦ画素３６は、図２に示すように、セル中心（マイクロレンズの中心）から一方に偏ったセンサ開口部３６ａ，３６ｂを持ち、その偏りの方向に沿って１次元状に並べられている。隣接するセンサ開口部３６ａ，３６ｂは、偏りが互いに逆方向であり、その偏りの距離は同一である。センサ開口部３６ａを有するＡＦ画素３６は、ＲＧＢ原色ベイヤー配列中のＧ画素の代わりに置かれ、また、センサ開口部３６ｂを有するＡＦ画素３６は、ＲＧＢ原色ベイヤー配列中のＢ画素の代わりに置かれている。このようなセンサ開口部３６ａ，３６ｂをもつＡＦ画素３６によって瞳分割位相差ＡＦ方式を実現する。つまり、射出瞳を通る光束の中で撮影レンズ１４の光軸に対して対称な位置にある２つの部分光束を、センサ開口部３６ａをもつＡＦ画素３６とセンサ開口部３６ｂをもつＡＦ画素３６でそれぞれ受光すれば、これら２つのＡＦ画素３６から出力された信号の位相差によりデフォーカスの方向と、デフォーカス量とが分かる。これにより速やかなフォーカス合わせが可能になる。
【００２９】
したがって、本実施形態におけるＡＦ画素３６の各々は、白色光の輝度に応じた左側又は右側の瞳分割された検出信号を出力する。図３は、撮像素子１５によって撮像された画像データのうち、ＡＦ画素３６が配置された領域を中心とした画像データの一部を示す。それぞれのセルが１つの画素を表す。各セルの先頭の記号Ｒ、Ｇ及びＢは、各原色透過フィルタ１７を有する撮像用画素を示す。一方、記号Ｘ及びＹは、左側又は右側からの光束に感度を有するＡＦ画素を示し、それらが交互に水平走査方向に一次元的に配列されている。これらの記号に続く２桁の番号は画素の位置を示す。
【００３０】
画素補間部は、ＡＦ画素３６の画素値（ＡＦ画素値）を撮像用画素の画素値（撮像用画素値）に補間するＡＦ画素補間部と、ＡＦ画素値を撮像用画素値に補間した後に、ベイヤー配列からＲＧＢへの線形補間法による色補間を行う画素補間部とを備える。
【００３１】
ＡＦ画素補間部４０は、図４に示すように、ノイズ判定部４１、及びフレア判定部４２を備え、これら判定に基づいて異なるＡＦ画素補間処理を行う。ノイズ判定部４１は、撮影時の撮影条件に基づいてノイズが多く発生する条件かを判定する。撮影条件は、撮像素子１５の温度、ＩＳＯ感度、及び撮影時のシャッター速度等になっている。撮像素子１５の温度情報は、ＣＰＵ１１から得られる。また、温度情報とともに、撮影時に設定されているＩＳＯ感度や撮影時のシャッター速度の情報もＣＰＵ１１から得られる。
【００３２】
ノイズ判定部４１は、撮像素子１５の温度、ＩＳＯ感度、及びシャッター速度との情報に基づいてノイズが多いか少ないかを判定する。なお、撮像素子１５を実装するメイン基板に温度検出器を設け、メイン基板の温度、又は撮像素子１５の周囲の温度を、撮像素子１５の温度の代わりに利用してもよい。さらに、ノイズ判定に利用する情報としては、撮像素子１５の温度、ＩＳＯ感度、及びシャッター速度との３つの情報に限らず、このうちのいずれか一つ、又は２つの情報としてもよい。
【００３３】
ノイズが多いとノイズ判定部４１が判定する場合には、ＡＦ画素値を用いず、その周囲の撮像用画素値を用いて、例えば単純平均補間を行う第１画素補間処理を行う。ノイズが少ないと判定する場合には、フレア判定部４２でフレア判定を行い、フレアが発生しているか否かに応じて前記第１画素補間処理とは異なる第２、又は第３の画素補間処理を行う。
【００３４】
フレア判定部４２は、画像データの輝度ヒストグラムに基づいて輝度が高い領域（高輝度領域）を抽出した後に、抽出された高輝度領域に、例えばマゼンタ色が存在するか否かを判定し、マゼンタ色が存在する場合、マゼンタ色となる領域（マゼンタ領域）における輝度成分の平均エッジ量、及び分散値を算出し、「マゼンタ領域の総面積」、「マゼンタ領域の分散値／マゼンタ領域の総面積」、及び「マゼンタ領域の輝度成分の平均エッジ量」を各々閾値判定してフレアが発生しているか否かを判定する。
【００３５】
なお、フレア判定としては、ジャイロセンサ又は加速度センサ等の姿勢検出部を設け、姿勢検出部から得られる出力値に基づく演算により撮影レンズ１４の水平に対対する仰角をＣＰＵ１１が求め、仰角とともに被写体距離、被写体輝度、撮影モード等の情報をフレア判定部に送り、フレア判定部で、仰角、被写体距離、被写体輝度、撮影モード等の情報に基づいて、屋外であるか屋内であるかの区別と、昼夜の区別と、及びカメラを上に向けたときの撮影画角に被写体として空が入っているかの区別とを行って、フレアが発生するか否かの判定を行ってもよい。
【００３６】
ＡＦ画素補間部４０は、フレアが生じていないと判定する場合には、ＡＦ画素値を用いて画素補間をする第２画素補間処理（画素補間手段）を実行する。第２画素補間処理は、ＡＦ画素値（ホワイト（Ｗ）成分）から周囲の撮像用画素値を元に加重和で予測することで、そのＡＦ画素値を補間する。
【００３７】
フレアが生じているとフレア判定部４２が判定する場合には、第３画素補間処理を実行する。第３画素補間処理は、フレア抑制手段と画素補間処理手段とを順に行う。フレア抑制手段は、ＡＦ画素の周囲の撮像用画素値を重み係数により補正する周囲撮像用画素補正手段と、周囲撮像用画素補正手段で補正した撮像用画素値を平滑化する平滑化手段と、で構成されている。周囲撮像用画素補正手段は、ＡＦ画素の近傍に位置する撮像用画素のうち、対象となる撮像用画素値から前記対象となる撮像用画素の近傍に位置する撮像用画素値と重み係数との加重和を減算することで、前記対象となる撮像用画素値を補正する。
【００３８】
フレア抑制手段としては、周囲撮像用画素補正手段と平滑化手段とで行う処理を、撮像用画素値に対する重み係数を変えて、例えば２回行うとともに、２回目の処理では重み計数を「０」にして平滑化手段での処理のみを行う。その後、第２画素補間処理（画素補間処理手段）を実行する。これにより、ＡＦ画素の周囲の撮像用画素に対してフレアにおける混色の影響を抑制することができる。よって、第２画素補間処理を行うに当たって、ＡＦ画素を撮像用画素として生成した画素値にも混色の影響が抑制される。
【００３９】
次に、上記ＡＦ画素補間部４０の作用について図５を参照しながら説明する。なお、本実施形態において、撮像用画素の各々に設置される原色透過フィルタ１７がベイヤー配列のパターンであることから、図３に示す記号ＸのＡＦ画素の位置には緑色（Ｇ）の撮像用画素値が補間され、記号ＹのＡＦ画素の画素位置には青色（Ｂ）の撮像用画素値が補間される。以下の説明では、Ｙ４４の青色の撮像用画素値とＸ４５の緑色の撮像用画素値とをそれぞれ補間する場合について説明する。他のＡＦ画素における撮像用画素値を補間する手順も同様である。
【００４０】
［ノイズ判定］
ＣＰＵ１１は、Ａ／Ｄ２０から送られてくる画像データをノイズ判定部４１に送る。また、ＣＰＵ１１は、撮影時の撮像素子１５の温度、ＩＳＯ感度、及びシャッター速度の情報をノイズ判定部４１に送る。あおして、ＣＰＵ１１は、ノイズ判定部４１を制御して、ノイズ判定部４１で画像データに対してノイズが多いか少ないかを判定する（Ｓ−１）。
【００４１】
ノイズ判定部４１の判定は、ノイズ判定用テーブルを参照して判定する。ノイズ判定用テーブルは、撮像素子１５の温度範囲毎に複数用意されており、これらは不揮発性メモリ１２に予め記憶されている。ＣＰＵ１１は、画像データを取得した時の撮像素子１５の温度に対応するノイズ判定用テーブルをノイズ判定部４１に送る。
【００４２】
ノイズ用判定テーブルとしては、例えば撮像素子１５の温度が４０℃未満の時には［表１］に記載のテーブルを、また４０℃以上５０℃未満の範囲の時には［表２］に記載のテーブルを選択する。各テーブルには、シャッター速度とＩＳＯ感度とで決めるノイズの予測結果が予め行った実験に基づいて決められている。
【００４３】
【表１】
【００４４】
【表２】
ノイズが多いと判定する場合は、ＡＦ画素の画素値を用いず、その周囲の画素の画素値のみを用いて第1画素補間処理を行う（Ｓ−２）。
【００４５】
［第１画素補間処理］
ＡＦ画素補間部４０は、まず、撮像素子情報入力部３２から撮像素子情報を取得して、不揮発性メモリから、取得した撮像素子情報に基づいたＡＦ画素の位置情報を読み取ってＡＦ画素の位置を特定する。その後、ＡＦ画素の位置に対して、例えば単に周囲の画素から平均補間してＡＦ画素に対応する撮像用画素値を求める。具体的には、図３において、Ｂ画素の代わりに置かれたＡＦ画素Ｙ４２の画素値は［数１］に記載の式から、また、ＡＦ画素Ｙ４４の画素値は［数２］に記載の式から、さらに、ＡＦ画素Ｙ４６の画素値は［数３］に記載の式からそれぞれ求める。
【００４６】
［数１］
Ｙ４２＝（Ｂ２２＋Ｂ６２）／２
［数２］
Ｙ４４＝（Ｂ２４＋Ｂ６４）／２
［数３］
Ｙ４６＝（Ｂ２６＋Ｂ６６）／２
また、Ｇ画素の代わりに置かれたＡＦ画素Ｘ４３の画素値は［数４］に記載の式から、また、ＡＦ画素Ｘ４５の画素値は、［数５］に記載の式からそれぞれ求める。
【００４７】
［数４］
Ｘ４３＝（Ｇ３２＋Ｇ３４＋Ｇ５２＋Ｇ５４）／４
［数５］
Ｘ４５＝（Ｇ３４＋Ｇ３６＋Ｇ５４＋Ｇ５６）／４
このように、ノイズが多い場合には、ＡＦ画素値を用いないで、その周辺の撮像用画素値のみからＡＦ画素値を予測するため、予測するＡＦ画素値がバラツキ、想定以上の補間をしてしまい、偽色とよばれる実際には存在しない色が発生することや、偽構造とよばれる存在しない構造が発生することを極力抑えることができる。なお、ＡＦ画素値を撮像用画素値に補間した画像データは、画像処理部２１でベイヤー配列からＲＧＢへの線形補間法による色補間が行われ、ＲＧＢ毎の画像データとしてＳＤＲＡＭ２３に格納される。
【００４８】
［フレア判定］
ＣＰＵ１１は、ノイズが少ないとノイズ判定部４１が判定した場合、フレア判定部４２を制御して、フレア判定部４２でフレアが生じているかを判定する（Ｓ−３）。ＡＦ画素補間部４０は、フレア判定部４２でフレアが発生しないと判定する場合、第２画素補間処理（Ｓ−４）を、また、フレアが発生すると判定する場合には、第３画素補間処理（Ｓ−５）を択一的に実行する。
【００４９】
［第２画素補間処理］
ＡＦ画素補間部４０は、まず、撮像素子情報入力部３２から撮像素子情報を取得して、不揮発性メモリから、取得した撮像素子情報に基づいたＡＦ画素の位置情報を読み取ってＡＦ画素の位置を特定する。そして、特定したＡＦ画素の周辺の撮像用画素値を用いて画素値の変化率である変動値が最小となる方向を求める。そして、変動の最も小さい方向にある撮像用画素値を用いてＡＦ画素の画素値を補間する。
【００５０】
（最小となる変動値の方向を算出）
ＡＦ画素補間部４０は、Ｘ４５及びＹ４４のＡＦ画素での撮像用画素値を補間するために、Ｘ４５及びＹ４４の周辺の撮像用画素の画素値を用いて４方向の画素値の変化率である方向変動Ｈ１〜Ｈ４の値を、［数６］〜［数９］に記載の式を用いてそれぞれ求める（Ｓ−６）。なお、本実施形態における４方向とは、水平走査方向、垂直走査方向、水平走査方向に対して４５度及び１３５度方向である。
【００５１】
［数６］
水平走査方向の方向変動Ｈ１＝
２×（｜Ｇ３４−Ｇ３６｜＋｜Ｇ５４−Ｇ５６｜）＋｜Ｒ３３−Ｒ３５｜＋｜Ｒ５３−Ｒ５５｜＋｜Ｂ２４−Ｂ２６｜＋｜Ｂ６４−Ｂ６６｜
［数７］
垂直走査方向の方向変動Ｈ２＝
２×（｜Ｇ３４−Ｇ５４｜＋｜Ｇ３６−Ｇ５６｜）＋｜Ｒ３３−Ｒ５３｜＋｜Ｒ３５−Ｒ５５｜＋｜Ｂ２４−Ｂ６４｜＋｜Ｂ２６−Ｂ６６｜
［数８］
水平走査方向に対して４５度の方向変動Ｈ３＝
２×（｜Ｇ２７−Ｇ３６｜＋｜Ｇ５４−Ｇ６３｜）＋｜Ｒ３５−Ｒ５３｜＋｜Ｒ３７−Ｒ５５｜＋｜Ｂ２６−Ｂ６２｜＋｜Ｂ２８−Ｂ６４｜
［数９］
水平走査方向に対して１３５度の方向変動Ｈ４＝
２×（｜Ｇ２３−Ｇ３４｜＋｜Ｇ５６−Ｇ６７｜）＋｜Ｒ３３−Ｒ５５｜＋｜Ｒ３５−Ｒ５７｜＋｜Ｂ２２−Ｂ６６｜＋｜Ｂ２４−Ｂ６８｜
（最小変動値の方向に応じた周辺の撮像用画素値を用いてＡＦ画素の画素値を補間）
ＡＦ画素補間部４０は、ステップ（Ｓ−６）で求めた方向変動Ｈ１〜Ｈ４のうち最も小さい値の方向変動の方向を選択し、その方向にある撮像用画素の画素値を用いて、ＡＦ画素Ｘ４５の位置でのＧの撮像用画素値ＧＸ４５及びＡＦ画素Ｙ４４の位置でのＢの撮像用画素値ＢＹ４４を［数１０］〜［数１３］のうちの選択した方向に対応する式を用いて求める（Ｓ−７）。これにより、変動の小さい方向にある撮像用画素の画素値を用いることにより、より正確にＸ４５及びＹ４４等のＡＦ画素の位置での撮像用画素値を補間することが可能となる。
【００５２】
［数１０］
方向変動Ｈ１が最小の場合
ＢＹ４４＝（Ｂ２４＋Ｂ６４）／２
ＧＸ４５＝（Ｇ３４＋Ｇ３６＋Ｇ５４＋Ｇ５６）／４
［数１１］
方向変動Ｈ２が最小の場合
ＢＹ４４＝（Ｂ２４＋Ｂ６４）／２
ＧＸ４５＝（Ｇ２５＋Ｇ６５）／２
［数１２］
方向変動Ｈ３が最小の場合
ＢＹ４４＝（Ｂ２６＋Ｂ６２）／２
ＧＸ４５＝（Ｇ３６＋Ｇ５４）／２
［数１３］
方向変動Ｈ４が最小の場合
ＢＹ４４＝（Ｂ２２＋Ｂ６６）／２
ＧＸ４５＝（Ｇ３４＋Ｇ５６）／２
ＡＦ画素補間部４０は、ＡＦ画素の配列方向である水平走査方向において、ＡＦ画素の画素値の方向変動Ｈ５を、例えば、ＡＦ画素のＹ４４及びＸ４５の白色光の画素値Ｗ４４及びＷ４５と、［数１４］に記載の式とを用いて算出する。
【００５３】
［数１４］
Ｈ５＝｜Ｗ４４−Ｗ４５｜
ＡＦ画素補間部４０は、その方向変動Ｈ５が閾値ｔｈ１を超えるか否かを判定する（Ｓ−８）。方向変動Ｈ５が閾値ｔｈ１を超える場合（ＹＥＳ側）、ＡＦ画素補間部４０は、ステップ（Ｓ−７）で求めたＢＹ４４及びＧＸ４５の補間した値をＹ４４及びＸ４５における撮像用画素値とし、画像データを更新する。画像処理部２１は、更新した画像データに対して１画素当たり３色の画素値に補間して３色の画像データを生成し、３色の画像データを、バス２２を介してＳＤＲＡＭ２３に記録する（Ｓ−９）。
【００５４】
一方、方向変動Ｈ５が閾値ｔｈ１以下の場合（ＮＯ側）、画像処理部２１は、（Ｓ−１０）へ移行する。なお、閾値ｔｈ１は、例えば、１２ビット画像を処理する場合、５１２程度の値にすれば良い。
【００５５】
ＡＦ画素補間部４０は、ステップ（Ｓ−６）で求めた方向変動Ｈ２が閾値ｔｈ２を超えるか否かを判定する（Ｓ−１０）。方向変動Ｈ２が閾値ｔｈ２を超える場合（ＹＥＳ側）、ＡＦ画素補間部４０は、ステップ（Ｓ−７）で求めたＢＹ４４及びＧＸ４５の補間した値をＹ４４及びＸ４５における撮像用画素値とし、画像データを更新する。画像処理部２１は、更新した画像データに対して３色の画素補間を施して３色の画像データを生成し、３色の画像データを、バス２２を介してＳＤＲＡＭ２３に格納する（Ｓ−９）。
【００５６】
一方、方向変動Ｈ２が閾値ｔｈ２以下の場合（ＮＯ側）、画像処理部２１は、（Ｓ−１１）へ移行する。なお、閾値ｔｈ２は、例えば、１２ビット画像を処理する場合、６４程度の値にすれば良い。
【００５７】
その後、ＡＦ画素補間部４０は、右側からの光束に感度を有するＹ４４等のＡＦ画素における白色光の平均画素値＜Ｗ４４＞等を、近傍にある色成分Ｒ、Ｇ及びＢの撮像用画素値を用いて算出する（Ｓ−１１）。具体的には、ステップ（Ｓ−６）において、例えば、画像処理部２１が方向変動Ｈ２を最小であると判定した場合、Ｂの撮像用画素値は［数１０］に記載の式にあるＢ２４とＢ６４とを用いる。一方、Ｒ及びＧの画素値については、Ｂの撮像用画素Ｂ２４とＢ６４との位置におけるＲ及びＧの画素値を、［数１５］に記載の４つの式を用いて補間計算する。
【００５８】
［数１５］
(1)ＲＢ２４＝（Ｒ１３＋Ｒ１５＋Ｒ３３＋Ｒ３５）／４
(2)ＧＢ２４＝（Ｇ１４＋Ｇ２３＋Ｇ２５＋Ｇ３４）／４
(3)ＲＢ６４＝（Ｒ５３＋Ｒ５５＋Ｒ７３＋Ｒ７５）／４
(4)ＧＢ６４＝（Ｇ５４＋Ｇ６３＋Ｇ６５＋Ｇ７４）／４
そして、ＡＦ画素補間部４０は、撮像用画素Ｂ２４及びＢ６４の位置における白色光の画素値Ｗ２４及びＷ６４を、ＣＰＵ１１から転送されてきたＲ、Ｇ及びＧの加重係数ＷＲ、ＷＧ及びＷＢを用いて、［数１６］に記載の式の加重和によって算出する。
【００５９】
詳しくは、ＣＰＵ１１は、撮影レンズ１４のＦ値とＰＯ値とのレンズ情報を、図示しないインタフェースを介してレンズ情報入力部３０(図１参照)から撮影毎に取り込む。また、ＣＰＵ１１は、撮像素子１５の分光特性の種類を表す撮像素子情報を、図示しないインタフェースを介して撮像素子情報入力部３２(図１参照)から撮影毎に取り込む。これにより、ＣＰＵ１１は、撮影時に、撮像素子１５の特性に応じた色成分毎の基準テーブル（基準パラメータ）、及び差分テーブルを、不揮発性メモリ１２に記憶のテーブル群から選択し、選択した色成分毎の基準テーブル（基準パラメータ）、及び差分テーブルを参照して色成分毎にレンズ条件に応じた加重係数を求める。なお、加重係数ＷＲ、ＷＧ、及びＷＢの詳しい求め方については後述する。
【００６０】
［数１６］
Ｗ２４＝ＷＲ×ＲＢ２４＋ＷＧ×ＧＢ２４＋ＷＢ×Ｂ２４
Ｗ６４＝ＷＲ×ＲＢ６４＋ＷＧ×ＧＢ６４＋ＷＢ×Ｂ６４
そして、画像処理部２１は、Ｙ４４における白色光の平均画素値＜Ｗ４４＞＝（Ｗ２４＋Ｗ６４）／２を算出する。
【００６１】
ＡＦ画素補間部４０は、左側からの光束に感度を有するＸ４５等のＡＦ画素における白色光の平均画素値＜Ｗ４５＞等を、ステップ（Ｓ−１１）の場合と同様に、近傍にある色成分Ｒ、Ｇ及びＢの撮像用画素の画素値を用いて算出する（Ｓ−１２）。ステップ（Ｓ−７）において、画像処理部２１が方向変動Ｈ２を最小であると判定した場合、Ｇの撮像用画素の画素値は、［数１１］に記載の式にあるＧ２５とＧ６５とを用いる。一方、Ｒ及びＢの画素値については、Ｇの撮像用画素Ｇ２５とＧ６５との位置におけるＲ及びＢの画素値を［数１７］に記載の４つの式を用いて補間計算する。
【００６２】
［数１７］
(1)ＲＧ２５＝（Ｒ１５＋Ｒ３５）／２
(2)ＢＧ２５＝（Ｂ２４＋Ｂ２６）／２
(3)ＲＧ６５＝（Ｒ５５＋Ｒ７５）／２
(4)ＢＧ６５＝（Ｂ６４＋Ｇ６６）／２
そして、ＡＦ画素補間部４０は、撮像用画素Ｇ２５及びＧ６５の位置における白色光の画素値Ｗ２５及びＷ６５を、［数１８］に記載の式の加重和によって算出する。
【００６３】
［数１８］
Ｗ２５＝ＷＲ×ＲＧ２５＋ＷＧ×Ｇ２５＋ＷＢ×ＢＧ２５
Ｗ６５＝ＷＲ×ＲＧ６４＋ＷＧ×Ｇ２５＋ＷＢ×ＢＧ６５
そして、画像処理部２１は、Ｘ４５における白色光の平均画素値＜Ｗ４５＞＝（Ｗ２５＋Ｗ６５）／２を算出する。
【００６４】
ＡＦ画素補間部４０は、撮像素子２の各ＡＦ画素における白色光の画素値の高周波成分を、（Ｓ−１１）及び（Ｓ−１２）において求めた白色光の平均画素値を用いて求める（Ｓ−１３）。ＡＦ画素補間部４０は、撮像素子２の各ＡＦ画素の画素値から、各ＡＦ画素の画素位置における白色光の平均画素値を最初に求める。つまり、各ＡＦ画素の画素値は、左側又は右側からの光束を瞳分割した値である。したがって、各ＡＦ画素の位置における白色光の画素値を得るためには、左側及び右側からの光束の画素値を互いに加算する必要がある。そこで、本実施形態のＡＦ画素補間部４０は、各ＡＦ画素の画素値及び隣接するＡＦ画素の画素値を用いて、例えば、ＡＦ画素Ｙ４４やＸ４５の位置における白色光の平均画素値を［数１９］に記載の式を用いて算出する。
【００６５】
［数１９］
＜Ｗ４４＞’＝Ｗ４４＋（Ｗ４３＋Ｗ４５）／２
＜Ｗ４５＞’＝Ｗ４５＋（Ｗ４４＋Ｗ４６）／２
なお、ステップ（Ｓ−１３）で説明した［数１９］において、ＡＦ画素の配列方向に隣接するＡＦ画素の画素値を用いて、各ＡＦ画素の位置における白色光の画素値を算出するので、配列方向に強い変動がある場合には、高周波成分の計算が不正確になり、白色光の画素値の配列方向の解像力が失われるおそれがある。そこで、前述したステップ（Ｓ−８）では、配列方向に強い変動がある場合に、高周波成分の付加を中止するようにしている。
【００６６】
その後、ＡＦ画素補間部４０は、［数２０］に記載の式から、Ｙ４４及びＸ４５の位置における白色光の高周波成分ＨＦＹ４４及びＨＦＸ４５を求める。
【００６７】
［数２０］
ＨＦＹ４４＝＜Ｗ４４＞’−＜Ｗ４４＞
ＨＦＸ４５＝＜Ｗ４５＞’−＜Ｗ４５＞
ＡＦ画素補間部４０は、ステップ（Ｓ−１３）で求めた各ＡＦ画素の位置における白色光の画素値の高周波成分ＨＦがその白色光の画素値に占める割合が、閾値ｔｈ３（本実施形態では、例えば、１０％程度）より小さいか否かを判定する（Ｓ−１４）。閾値ｔｈ３より高周波成分ＨＦが小さい場合（ＹＥＳ側）、ＡＦ画素補間部４０は、ステップＳ１２で求めたＢＹ４４及びＧＸ４５の補間した値をＹ４４及びＸ４５における撮像用画素値とし、画像データを更新する。画像処理部２１は、更新した画像データに対して３色の画素補間を施して３色の画像データを生成し、３色の画像データを、バス２２介してＳＤＲＡＭ２３に格納する（Ｓ−９）。
【００６８】
一方、高周波成分ＨＦが閾値ｔｈ３以上の場合（ＮＯ側）、ＡＦ画素補間部４０は、ステップ（Ｓ−１５）へ移行する。なお、閾値ｔｈ３の値についての説明は、後の加算係数ＷＲ、ＷＧ及びＷＢの説明とともに行う。
【００６９】
ＡＦ画素補間部４０は、Ｙ４４やＸ４５の近傍における各色成分Ｒ、Ｇ又はＢの撮像用画素の画素値の色変動ＶＲ、ＶＧｒ、ＶＢ及びＶＧｂを算出する（Ｓ−１５）。ここで、色変動ＶＧｒ及びＶＧｂは、Ｒ又はＢの撮像用画素の位置におけるＧの色変動を示す。ＡＦ画素補間部４０は、［数２１］に記載の２つの式に基づいて、色変動ＶＲとＶＧｒとを求める。
【００７０】
［数２１］
(1)ＶＲ ＝｜Ｒ３３−Ｒ５３｜＋｜Ｒ３５−Ｒ５５｜＋｜Ｒ３７−Ｒ５７｜
(2)ＶＧｒ＝｜（Ｇ３２＋Ｇ３４）／２−（Ｇ５２＋Ｇ５４）／２｜＋｜（Ｇ３４＋Ｇ３６）／２−（Ｇ５４＋Ｇ５６）／２｜＋｜（Ｇ３６＋Ｇ３８）／２−（Ｇ５６＋Ｇ５８）／２｜
なお、本実施形態のＡＦ画素補間部４０は、Ｒの撮像用画素の位置Ｒ３３、Ｒ３５、Ｒ３７、Ｒ５３、Ｒ５５及びＲ５７におけるＧの画素値の平均値を求めてからＶＧｒの値を計算する。
【００７１】
一方、ＡＦ画素補間部４０は、［数２２］に記載の２つの式に基づいて、色変動ＶＢとＶＧｂとを求める。
【００７２】
［数２２］
(1)ＶＢ ＝｜Ｂ２２−Ｂ６２｜＋｜Ｂ２４−Ｂ６４｜＋｜Ｂ２６−Ｂ６６｜
(2)ＶＧｂ＝｜（Ｇ２１＋Ｇ２３）／２−（Ｇ６１＋Ｇ６３）／２｜＋｜（Ｇ２３＋Ｇ２５）／２−（Ｇ６３＋Ｇ６３）／２｜＋｜（Ｇ２５＋Ｇ２７）／２−（Ｇ６５＋Ｇ６７）／２｜
なお、本実施形態のＡＦ画素補間部４０は、Ｂの撮像用画素の位置Ｂ２２、Ｂ２４、Ｂ２６、Ｂ６２、Ｂ６４及びＢ６６におけるＧの画素値の平均値を求めてからＶＧｂの値を計算する。
【００７３】
ＡＦ画素補間部４０は、ステップ（Ｓ−１５）で算出した色変動ＶＲ、ＶＧｒ、ＶＢ及びＶＧｂを用いて、色成分Ｇ及びＢの白色光に対する色変動率ＫＷＧ及びＫＷＢを算出する（Ｓ−１６）。まず、ＡＦ画素補間部４０は、色変動ＶＲ、ＶＧｒ、ＶＢ及びＶＧｂから［数２３］に記載の３つの式から色変動ＶＲ２、ＶＧ２及びＶＢ２を求める。
【００７４】
［数２３］
(1)ＶＲ２＝（ＶＲ＋α）×（ＶＧｂ＋α）
(2)ＶＢ２＝（ＶＢ＋α）×（ＶＧｒ＋α）
(3)ＶＧ２＝（ＶＧｂ＋α）×（ＶＧｒ＋α）
ここで、αは、色変動率の値を安定させるための適当な定数であり、例えば、１２ビット画像を処理する場合には、α＝２５６程度の値にすれば良い。
【００７５】
そして、画像処理部２１は、色変動ＶＲ２、ＶＧ２及びＶＢ２を用いて、［数２３］に記載の式により白色光における色変動ＶＷを算出する。
【００７６】
［数２４］
ＶＷ＝ＶＲ２＋ＶＧ２＋ＶＢ２
よって、ＡＦ画素補間部４０は、色変動率ＫＷＧ及びＫＷＢを［数２４］から算出する。
【００７７】
［数２５］
ＫＷＢ＝ＶＧ２／ＶＷ
ＫＷＢ＝ＶＢ２／ＶＷ
ＡＦ画素補間部４０は、ステップ（Ｓ−１３）において求めた各ＡＦ画素の位置における白色光の画素値の高周波成分ＨＦと、ステップ（Ｓ−１６）で算出した色変動率ＫＷＧ及びＫＷＢとを用いて、各ＡＦ画素の位置における色成分Ｇ及びＢの画素値の高周波成分を［数２６］に記載の式から算出する（Ｓ−１７）。
【００７８】
［数２６］
ＨＦＢＹ４４＝ＨＦＹ４４×ＫＷＢ
ＨＦＧＸ４５＝ＨＦＸ４５×ＫＷＧ
ＡＦ画素補間部４０は、ステップ（Ｓ−１７）で求めた各ＡＦ画素における各色成分の高周波成分を、ステップ（Ｓ−７）で補間して求めた撮像用画素値に付加する（Ｓ−１８）。ＣＰＵ１１は、例えば、［数２７］に記載の式に基づいて、Ｙ４４及びＸ４５の撮像用画素値Ｂ’及びＧ’をそれぞれ算出する。
【００７９】
［数２７］
Ｂ’Ｙ４４＝ＢＹ４４＋ＨＦＹ４４
Ｇ’Ｘ４５＝ＧＸ４５＋ＨＦＸ４５
ＡＦ画素補間部４０は、Ｙ４４やＸ４５等のＡＦ画素の位置において補間して求めたＢ’Ｙ４４及びＧ’Ｘ４５等の画素値を、それぞれの位置における撮像用画素値として、画像データを更新する。画像処理部２１は、更新した画像データに対して３色に画素補間等を施してＳＤＲＡＭ２３に格納する（Ｓ−９）。
【００８０】
なお、ＡＦ画素の配列方向に変動はなくても、各色成分の撮像用画素の分光特性の加重和とＡＦ画素の分光特性とのズレ等に起因して、白色光の画素値の高周波成分が若干の誤差を持つ。垂直走査方向（ＡＦ画素の配列方向に交わる方向）に画像の大きな変動がない場合には、高周波成分を付加しなくても補間値の精度は充分であり、高周波成分を付加することによってかえって誤差に起因する偽構造が生じる恐れがある。そこで、ステップ（Ｓ−１０）では、そのような場合、高周波成分の付加を抑制する。また、算出された高周波成分が充分小さい場合には、それを付加しなくても補間値の精度は充分であり、高周波成分を付加することによってかえって誤差に起因する偽構造が生じるおそれがある。このため、（Ｓ−１０）では、そのような場合に高周波成分の付加を抑制するようにしている。
【００８１】
［加重係数ＷＲ、ＷＧ、ＷＢの求め方］
次に、加重係数ＷＲ、ＷＧ、ＷＢの求め方について、閾値ｔｈ３とともに説明する。まず、図７に示すように、レンズ交換式の電子カメラ（製品）１０、又はそれに組み込まれたものと同じ特性の撮像素子を組み込んだダミーの電子カメラを撮影位置にセットする（Ｓ−１９）。そして、セットした電子カメラ１０で、図６に示すように、一様の白色パターンの画像を撮像し（Ｓ−２０）、撮像した補完前（ベイヤー配列）の画像データを保存する（Ｓ−２１）。この撮像は、所定の交換レンズを用いた条件、すなわち、撮影時のＦ値と交換レンズで決まる射出瞳位置（ＰＯ値）との条件で行われる。
【００８２】
続いて同じレンズ条件で、前記一様白色のパターンの画像を、カラーフィルタ（Ｒ，Ｇ，Ｂ）を用いて撮影をする（Ｓ−２２）。そして、撮影した補完前の画像データを保存する（Ｓ−２３）。なお、撮像データの保存は、必ずしも電子カメラ１０のメモリや記憶部で行う必要はない。例えば電子カメラ１０の組み立て・調整工程において外付けのパーソナルコンピュータ（ＰＣ）に転送して保存しても良い。
【００８３】
その後、周囲の撮像用画素値の重み付け加重和からＡＦ画素値を推定するための各色成分の重み係数を算出する（Ｓ−２４）。
【００８４】
詳しく説明すると、一様白色パターン画像を撮影した時に得た画像データに基づいて算出するパラメータを以下に設定する。
ＡＷ：ＡＦ画素値の平均の出力値。
ＲＷ：ＡＦ画素列の周囲のＲ色成分の撮像用画素値の平均値。
ＧＷ：ＡＦ画素列の周囲のＧ色成分の撮像用画素値の平均値。
ＢＷ：ＡＦ画素列の周囲のＢ色成分の撮像用画素値の平均値。
【００８５】
続いて、R色成分のカラーフィルタを用いて撮影した時に得た画像データに基づいて算出するパラメータを以下に設定する。
ＡＲ：ＡＦ画素値の平均の出力値。
ＲＲ：ＡＦ画素列の周囲のＲ色成分の撮像用画素値の平均値。
ＧＷ：ＡＦ画素列の周囲のＧ色成分の撮像用画素値の平均値。
ＢＷ：ＡＦ画素列の周囲のＢ色成分の撮像用画素値の平均値。
【００８６】
続いてG、Bのカラーフィルタを用いたときも同様に設定する。ここでは、一般化するために以下のように表す。
ＡＣ：ＡＦ画素値の平均の出力値
ＲＣ：あるカラーフィルタを通した場合（白色の場合はなし）のＡＦ画素列の周囲のＲ色成分の撮像用画素値の平均値。
ＧＷ：あるカラーフィルタを通した場合（白色の場合はなし）のＡＦ画素列の周囲のＧ色成分の撮像用画素値の平均値。
ＢＷ：あるカラーフィルタを通した場合（白色の場合はなし）のＡＦ画素列の周囲のＢ色成分の撮像用画素値の平均値。
【００８７】
そして、周囲の撮像用画素のある重みの加重和からＡＦ画素値を推定するには、未知の加重係数ＷＲ、ＷＧ、及びＷＢの関数として二乗誤差Ｅを［数２８］に記載の式に定義する。
【００８８】
【数２８】
ＷＲ：ＡＦ画素列の周囲のＲ色成分の撮像用画素の重み係数
ＷＧ：ＡＦ画素列の周囲のＧ色成分の撮像用画素の重み係数
ＷＢ：ＡＦ画素列の周囲のＢ色成分の撮像用画素の重み係数
そして、二乗誤差Ｅを最小とする加重係数ＷＲ、ＷＧ及びＷＢを、すなわち二乗誤差ＥをＷＲ、ＷＧ又はＷＢでそれぞれ偏微分した値を「０」にする加重係数ＷＲ、ＷＧ及びＷＢを［数２９］〜［数３４］に記載の式により求める。
【００８９】
【数２９】
【００９０】
【数３０】
【００９１】
【数３１】
【００９２】
【数３２】
【００９３】
【数３３】
【００９４】
【数３４】
さらに、求めた加重係数ＷＲ、ＷＧ及びＷＢに基づいて各撮像画像データｎについて誤差率Ｋｎを［数３５］に記載の式で求める。
【００９５】
［数３５］
Ｋｎ＝｜ＷＲ×Ｒｎ＋ＷＧ×Ｇｎ＋ＷＢ×Ｂｎ−Ｗｎ｜／Ｗｎ
そして、Ｋｎの最大値を求め、閾値ｔｈ３として不揮発性メモリ１２に記録する。
【００９６】
このようにして、所定のレンズ条件の時に使用する加重係数ＷＲ、ＷＧ、及びＷＢを求めることができる。各色成分の加重係数は、ＡＦ画素の分光感度とその周囲の撮像用画素の分光感度によって異なる。また、レンズ条件であるＦ値、及びＰＯ値が変わったとき、光の集光が変化するため、加重係数ＷＲ，ＷＧ、及びＷＢが変化する。そのため、各色成分に対するレンズ条件毎の加重係数を記述したテーブルを、撮像素子の分光感度特性（撮像素子の特性）毎にもつことが望ましい。
【００９７】
しかしながら、レンズ条件毎に加重係数を記述するテーブル（［表３］）を各色成分毎に記憶するのは無駄にメモリを消費するだけで効率的ではない。
【００９８】
【表３】
そこで、本実施形態では、所定のレンズ条件の時に使用する基準の加重係数ＷＲ、ＷＧ、及びＷＢのみを記述した基準パラメータ、又は基準テーブルと、他のレンズ条件の時に使用する加重係数を基準の加重係数との差分を記述した各色成分毎の差分テーブルとを持つ構成になっている。
【００９９】
例えば［表４］に示すように、Ｒ色成分用基準テーブルには、Ｆ値が「４」で、ＰＯ値が「２０」のレンズ条件の時に使用する加重係数が「２２２」であることが記述されている。そして、Ｒ色成分の差分テーブルには、［表５］に示すように、他のレンズ条件の時に使用する加重係数を算出するための基準の加重係数との差分値が記述されている。
【０１００】
【表４】
【０１０１】
【表５】
このように、基準パラメータ、又は基準テーブルと差分テーブルとは、種々のレンズ条件にて実験を行った結果に基づいて作成されてＰＣの記憶部に記憶される（Ｓ−２４〜Ｓ−２７）。勿論、Ｒ色成分用だけでなく、Ｇ色成分とＢ色成分にも同様の基準テーブルと差分テーブルが作成され、これらは色成分毎に関連付けしてＰＣの記憶部に記憶される。そして、他の特性の撮像素子をもつ電子カメラに対しても前述したと同じ実験を行って、色成分毎の基準テーブルと、差分テーブルとを作成して記憶する（Ｓ−２８）。全ての特性の撮像素子に対して実験を行うことで、撮像素子の特性に関連付けした色成分毎の基準テーブルと差分テーブルとが電子カメラに転送され、不揮発性メモリ１２に記憶される（Ｓ−２９）。その後、電子カメラ１０が出荷される（Ｓ−３０）。
【０１０２】
これによれば、例えば、撮影レンズ側に撮像素子をもつタイプのカメラや製造途中で行われえる撮像素子の設計変更等により撮像素子が変更されても、その撮像素子の分光感度特性を含む撮像素子情報を得ることで、その撮像素子の特性に応じた色成分毎の基準テーブルと差分テーブルとを選択して加重係数を求めることができる。
【０１０３】
また、レンズ交換がなされて他のレンズ条件になっても、差分テーブルからそのレンズ条件に応じた差分を読み出し、読み出した差分を基準の加重係数に加えることで、その時点のレンズ条件時に使用する加重係数を色成分毎に直ぐに求めることができる。しかも、差分テーブルには、提供されている交換式の撮影レンズ１４の種類に応じたレンズ条件に加えて、将来的に提供されると予測される交換レンズに応じたレンズ条件についても予め実験により差分を求めておくことができるので簡便である。
【０１０４】
なお、加重係数を求める処理は、必ずしも電子カメラ本体内で行う必要はない。例えば加重係数の算出は、カメラの組み立て・調整工程において外付けのパーソナルコンピュータで行い、求めた基準テーブルと差分テーブルとをカメラに転送しても良い。
【０１０５】
また、差分テーブルとしては、略同じ差分をもつレンズ条件の範囲をグループ分けして記憶することで差分テーブルを簡易化してもよい。
【０１０６】
図８は、本実施形態の効果が発揮される画像構造の一例を表す。同図は凸構造（明るい線あるいは点）を含む縦５画素の画像構造を縦断した図であり、横軸は垂直走査方向（ｙ座標）であり縦軸は光量または画素値である。そして、凸構造がちょうど水平走査方向に配列されたＡＦ画素列上にある。
【０１０７】
図８の○印は、Ｇの撮像用画素で撮像された画素値である。ただし、ＡＦ画素の位置にはＧの撮像用画素が存在しないので、その位置でのＧの画素値は得られない。従って、丁度ＡＦ画素の位置に凸構造がある場合には、ＡＦ画素の近傍のＧの撮像用画素の画素値からだけでは、同図の凸構造を再現できない。実際、前述したステップ（Ｓ−７）において、ＡＦ画素の近傍のＧの撮像用画素の画素値を用いてＡＦ画素の位置で補間して求めたＧの画素値（図８の●印）は、凸構造を再現していない。
【０１０８】
一方、ＡＦ画素の位置では、白色光の画素値が得られる。ただし、通常の画素は瞳の全領域を通過する光を受光するのに対し、ＡＦ画素は瞳の右側あるいは左側を通過する光のみを受光するので、瞳分割の異なる隣接するＡＦ画素を加算することにより通常の（瞳の全領域を通過した光の）白色光の画素値が算出される（［数１９］）。
【０１０９】
また、ＡＦ画素の近傍のＧの撮像用画素の位置に、他の色成分Ｒ及びＧを補間生成して、色成分Ｒ、Ｇ及びＢの加重和を求めることにより、多くの場合には充分な精度で白色光の画素値を求めることができる（［数１６］及び［数１８］）。
【０１１０】
図８の□印は、そのようにして求めた白色光の画素値の分布である。多くの場合、白色光の画素値の高周波成分と、色成分Ｇの画素値の高周波成分とは比例するので、白色光の画素値から算出した高周波成分は、Ｇの画素値の凸構造成分の情報を持つ。よって、白色光の画素値の高周波成分に基づいてＧの画素値の高周波成分を求め、その値を●印のデータに加えることにより、☆印のＧの画素値が得られ、凸構造を再現する（［数２６］）。
【０１１１】
［第３画素補間処理］
ＡＦ画素補間部４０は、ノイズ判定部４１での判定結果によりノイズが少なく、かつフレア判定部４２でのフレアが発生し易いと判断する場合、第３画素補間処理を選択して実行する。
【０１１２】
第３画素補間処理では、まず、ＡＦ画素補間部４０が、撮像素子情報入力部３２から撮像素子情報を取得して、不揮発性メモリから、取得した撮像素子情報に基づいたＡＦ画素の位置情報を読み取ってＡＦ画素の位置を特定する。その後、ＡＦ画素の周囲の撮像用画素値を重み係数により補正し、補正した撮像用画素値を平滑化する処理を、撮像用画素値に対する重み係数を変えて２回行った後、上述した第２画素補間処理を実行する。以下、図３のＡＦ画素Ｘ４３及びＡＦ画素Ｙ４４の２列に対する第３画素補間処理について説明する。
【０１１３】
（ＡＦ画素列の周囲の撮像用画素値を重み係数により補正）
ＡＦ画素補間部４０は、図９に示すように、ＡＦ画素列の周囲に配置された撮像用画素の画素値が、閾値ＭＡＸ＿ＲＡＷ以上となるか否かを判定し、その判定結果に基づいて、設定された重み係数を用いて補正する（Ｓ−３１）。ここで、閾値ＭＡＸ＿ＲＡＷは、画素値が飽和しているか否かを判定するための閾値である。
【０１１４】
ＡＦ画素補間部４０は、撮像用画素の画素値が閾値ＭＡＸ＿ＲＡＷ以上となる場合には、撮像用画素値に対して補正は行わない。一方、ＡＦ画素補間部４０は、撮像用画素の画素値が、閾値ＭＡＸ＿ＲＡＷ未満となる場合には、重み係数を用いた加重和の値を元の画素値から減算することで撮像用画素の画素値を補正する。
【０１１５】
ＡＦ画素補間部４０は、Ｒ色成分の撮像用画素の画素値を［数３６］〜［数３９］を用いて補正する。
【０１１６】
［数３６］
Ｒ１３’＝Ｒ１３−（Ｒ３Ｕ＿０×Ｒ３３＋Ｒ３Ｕ＿１×Ｇ３４＋Ｒ３Ｕ＿２×Ｂ２４）
［数３７］
Ｒ３３’＝Ｒ３３−（Ｒ１Ｕ＿０×Ｒ３３＋Ｒ１Ｕ＿１×Ｇ３４＋Ｒ１Ｕ＿２×Ｂ２４）
［数３８］
Ｒ５３’＝Ｒ５３−（Ｒ１Ｓ＿０×Ｒ５３＋Ｒ１Ｓ＿１×Ｇ５４＋Ｒ１Ｓ＿２×Ｂ６４）
［数３９］
Ｒ７３’＝Ｒ７３−（Ｒ３Ｓ＿０×Ｒ５３＋Ｒ３Ｓ＿１×Ｇ５４＋Ｒ３Ｓ＿２×Ｂ６４）
ここで、Ｒ１Ｕ＿０，Ｒ１Ｕ＿１，Ｒ１Ｕ＿２，Ｒ１Ｓ＿０，Ｒ１Ｓ＿１，Ｒ１Ｓ＿２，Ｒ３Ｕ＿０，Ｒ３Ｕ＿１，Ｒ３Ｕ＿２，Ｒ３Ｓ＿０，Ｒ３Ｓ＿１，Ｒ３Ｓ＿２は、重み係数である。なお、重み係数中、文字Ｓは、ＡＦ画素よりも上方に位置することを示し、文字Ｕは、ＡＦ画素よりも下方に位置することを示している。
【０１１７】
ＡＦ画素補間部４０は、Ｇ色成分の撮像用画素の画素値を［数４０］〜［数４５］を用いて補正する。
【０１１８】
［数４０］
Ｇ１４’＝Ｇ１４−（Ｇ３Ｕ＿０×Ｒ３３＋Ｇ３Ｕ＿１×Ｇ３４＋Ｇ３Ｕ＿２×Ｂ２４
［数４１］
Ｇ２３’＝Ｇ２３−（Ｇ２Ｕ＿０×Ｒ３３＋Ｇ２Ｕ＿１×Ｇ３４＋Ｇ２Ｕ＿２×Ｂ２４）
［数４２］
Ｇ３４’＝Ｇ３４−（Ｇ１Ｕ＿０×Ｒ３３＋Ｇ１Ｕ＿１×Ｇ３４＋Ｇ１Ｕ＿２×Ｂ２４）
［数４３］
Ｇ５４’＝Ｇ５４−（Ｇ１Ｓ＿０×Ｒ５３＋Ｇ１Ｓ＿１×Ｇ５４＋Ｇ１Ｓ＿２×Ｂ６４）
［数４４］
Ｇ６３’＝Ｇ６３−（Ｇ２Ｓ＿０×Ｒ５３＋Ｇ２Ｓ＿１×Ｇ５４＋Ｇ２Ｓ＿２×Ｂ６４）
［数４５］
Ｇ７４’＝Ｇ７４−（Ｇ３Ｓ＿０×Ｒ５３＋Ｇ３Ｓ＿１×Ｇ５４＋Ｇ３Ｓ＿２×Ｂ６４）
ここで、Ｇ１Ｕ＿０，Ｇ１Ｕ＿１，Ｇ１Ｕ＿２，Ｇ１Ｓ＿０，Ｇ１Ｓ＿１，Ｇ１Ｓ＿２，Ｇ２Ｕ＿０，Ｇ２Ｕ＿１，Ｇ２Ｕ＿２，Ｇ２Ｓ＿０，Ｇ２Ｓ＿１，Ｇ２Ｓ＿２，Ｇ３Ｕ＿０，Ｇ３Ｕ＿１，Ｇ３Ｕ＿２，Ｇ３Ｓ＿０，Ｇ３Ｓ＿１，Ｇ３Ｓ＿２は、重み係数である。
【０１１９】
また、ＡＦ画素補間部４０は、Ｂ色成分の撮像用画素の画素値を、［数４６］，［数４７］を用いて補正する。
【０１２０】
［数４６］
Ｂ２４’＝Ｂ２４−（Ｂ２Ｕ＿０×Ｒ３３＋Ｂ２Ｕ＿１×Ｇ３４＋Ｂ２Ｕ＿２×Ｂ２４）
［数４７］
Ｂ６４’＝Ｂ６４−（Ｂ２Ｓ＿０×Ｒ５３＋Ｂ２Ｓ＿１×Ｇ５４＋Ｂ２Ｓ＿２×Ｂ６４）
ここで、Ｂ２Ｕ＿０，Ｂ２Ｕ＿１，Ｂ２Ｕ＿２，Ｂ２Ｓ＿０，Ｂ２Ｓ＿１，Ｂ２Ｓ＿２は重み係数である。
【０１２１】
（隣接するＡＦ画素値を用いたクリップ量の算出）
ＡＦ画素補間部４０は、隣接するＡＦ画素Ｘ４３，Ｙ４４（図２で説明したセンサ開口部３６ａ，３６ｂをもつＡＦ画素）の画素値を読み出し、［数４８］を用いてクリップ量ｔｈ＿ＬＰＦを求める（Ｓ−３２）。
【０１２２】
［数４８］
ｔｈ＿ＬＰＦ＝（Ｘ４３＋Ｙ４４）×Ｋ＿ＴＨ＿ＬＰＦ
ここで、Ｋ＿ＴＨ＿ＬＰＦは係数であり、例えば「１２７」程度の大きな値が適用される。この係数Ｋ＿ＴＨ＿ＬＰＦは、その値が大きいほど平滑化処理の効果が高くなる。
【０１２３】
（色成分毎の予測誤差を算出）
ＡＦ画素補間部４０は、［数４９］、［数５０］を用いて、同一列に配置された同一の色成分となる撮像用画素のうち、ＡＦ画素から遠い位置にある撮像用画素（遠位撮像用画素）の画素値と、ＡＦ画素から近い位置にある撮像用画素（近位撮像用画素）の画素値との差分を予測誤差として算出する（Ｓ−３３）。
【０１２４】
［数４９］
ｄｅｌｔａＲＵ＝Ｒ１３’−Ｒ３３’
ｄｅｌｔａＲＳ＝Ｒ７３’−Ｒ５３’
［数５０］
ｄｅｌｔａＧＵ＝Ｇ１４’−Ｇ３４’
ｄｅｌｔａＧＳ＝Ｇ７４’−Ｒ５４’
（予測誤差がクリップ範囲から越えているか否かを判定）
ＡＦ画素補間部４０は、［数４９］、［数５０］により求めた予測誤差ｄｅｌｔａＲＵ，ｄｅｌｔａＲＳ、ｄｅｌｔａＧＵ及びｄｅｌｔａＧＳの各値が、［数４８］にて求めたクリップ量に基づいたクリップ範囲（−ｔｈ＿ＬＰＦ〜ｔｈ＿ＬＰＦ）に含まれている否かを判定する（Ｓ−３４）。
【０１２５】
（クリップ処理）
ＡＦ画素補間部４０は、予測誤差ｄｅｌｔａＲＵ，ｄｅｌｔａＲＳ、ｄｅｌｔａＧＵ及びｄｅｌｔａＧＳのうち、クリップ範囲から外れている予測誤差に対して、クリップ処理を行う（Ｓ−３５）。ここで、クリップ処理とは、クリップ範囲から外れている予測誤差の値をクリップ範囲に含まれるようにクリッピングすることである。
【０１２６】
（近位撮像用画素値に予測誤差を加算）
ＡＦ画素補間部４０は、［数５１］により、予測誤差を各列の近位撮像用画素値に加算する（Ｓ−３６）。ここで、予測誤差は、［数４９］，［数５０］により求めた値、又は、クリッピングされた値である。
【０１２７】
［数５１］
Ｒ３３”＝Ｒ３３’＋ｄｅｌｔａＲＵ
Ｒ５３”＝Ｒ５３’＋ｄｅｌｔａＲＳ
Ｇ３４”＝Ｇ３４’＋ｄｅｌｔａＧＵ
Ｇ５４”＝Ｇ５４’＋ｄｅｌｔａＧＳ
これにより、ＡＦ画素列の周囲の撮像用画素の画素値である、遠位撮像用画素及び近位撮像用画素の画素値がそれぞれ補正され、さらに、予測誤差を用いて近位撮像用画素の画素値が補正される。
【０１２８】
（補正した撮像用画素値をＳＤＲＡＭに記憶）
ＡＦ画素補間部４０は、重み係数により補正された遠位撮像用画素と、予測誤差により補正された近位撮像用画素とを、ＳＤＲＡＭ２３に記憶する（Ｓ−３７）。
【０１２９】
（２回目の処理）
１回目の処理が実行されると、２回目の処理が実行される。
【０１３０】
（ＡＦ画素列の周囲の撮像用画素値を重み係数により補正）
ＡＦ画素補間部４０は、１回目の処理により補正された撮像用画素の画素値を用いて、これら撮影用が素の画素値が閾値ＭＡＸ＿ＲＡＷ以上となるか否かを判定する。この判定結果に基づいて、設定された重み係数を用いて補正する（Ｓ−３８）。ここで、閾値ＭＡＸ＿ＲＡＷは、画素値が飽和しているか否かを判定するための閾値であり、１回目の処理（Ｓ−３１）と同一の値が用いられる。
【０１３１】
ＡＦ画素補間部４０は、撮像用画素の画素値が閾値ＭＡＸ＿ＲＡＷ以上となる場合に、撮像用画素値に対して補正は行わない。ＡＦ画素補間部４０は、撮像用画素の画素値が閾値ＭＡＸ＿ＲＡＷ未満となる場合に、上述した［数３６］〜［数４７］における全ての重み係数を「０」に変えて補正する。つまり、この処理を行った場合、ＡＦ画素列の周囲に配置された撮像用画素の画素値は、元の値のままである。
［隣接するＡＦ画素値を用いたクリップ量の算出］
ＡＦ画素補間部４０は、隣接するＡＦ画素Ｘ４３，Ｙ４４の画素値を読み出し、上述した［数４８］を用いてクリップ量ｔｈ＿ＬＰＦを求める（Ｓ−３９）。ここで、Ｋ＿ＴＨ＿ＬＰＦの値は１回目の処理と同一の値が用いられる。
【０１３２】
（色成分毎の予測誤差を算出）
ＡＦ画素補間部４０は、上述した［数４７］、［数４８］を用いて、同一列に配置された同一の色成分となる撮像用画素のうち、ＡＦ画素から遠い位置にある撮像用画素（遠位撮像用画素）の画素値と、ＡＦ画素から近い位置にある撮像用画素（近位撮像用画素）の画素値との差分を予測誤差として算出する（Ｓ−４０）。
【０１３３】
（予測誤差がクリップ範囲から越えているか否かを判定）
ＡＦ画素補間部４０は、上述した［数４９］，［数５０］により求めた予測誤差ｄｅｌｔａＲＵ，ｄｅｌｔａＲＳ、ｄｅｌｔａＧＵ及びｄｅｌｔａＧＳの各値が、［数４８］にて求めたクリップ量に基づいたクリップ範囲（−ｔｈ＿ＬＰＦ〜ｔｈ＿ＬＰＦ）に含まれている否かを判定する（Ｓ−４１）。
【０１３４】
（クリップ処理）
ＡＦ画素補間部４０は、予測誤差ｄｅｌｔａＲＵ，ｄｅｌｔａＲＳ、ｄｅｌｔａＧＵ及びｄｅｌｔａＧＳのうち、クリップ範囲から外れている予測誤差に対して、クリップ処理を行う（Ｓ−４２）。
【０１３５】
（近位撮像用画素値に予測誤差を加算）
ＡＦ画素補間部４０は、上述した［数５１］を用いて、各列の近位撮像用画素値に加算する（Ｓ−４３）。これにより、２回目の処理においては、近位撮像用画素値が予測誤差を用いて、さらに補正される。
【０１３６】
（補正した撮像用画素値をＳＤＲＡＭに記憶）
ＡＦ画素補間部４０は、重み係数により補正された遠位撮像用画素と、予測誤差により補正された近位撮像用画素とを、ＳＤＲＡＭ２３に記憶する（Ｓ−４４）。
【０１３７】
このように、第３画素補間処理においては、上述した補正処理が２回繰り返し実行される。この補正処理が２回繰り返し実行された後、第２画素補間処理が実行される。
【０１３８】
（第２画素補間処理）
ＡＦ画素補間部４０は、ＳＤＲＡＭ２３に記憶した撮像用画素値を用いて、上述した第２画素補間処理を実行する（Ｓ−４５）。これにより、ＡＦ画素に対応する撮像用画素値が算出される。つまり、ＡＦ画素値が補間される。
【０１３９】
（補間したＡＦ画素の画素値をＳＤＲＡＭに記憶）
ＡＦ画素補間部４０は、第２画素補間処理（Ｓ−４６）により補間したＡＦ画素値をＳＤＲＡＭ２３に記憶する。
【０１４０】
上記実施形態によれば、撮影レンズがもつレンズ条件毎に対応付けしてパラメータを記述したテーブルを記憶するテーブル記憶手段を備えたから、レンズ条件ごとに、最適な撮像用画素の補間を行なうことができる。
【０１４１】
なお、上記実施形態では、ＡＦ画素の配列方向を水平走査方向としたが、本発明はこれに限定されず、ＡＦ画素は垂直走査方向又はその他の方向に配列されていても良い。
【０１４２】
また、上記各実施形態では、ＡＦ画素の各々は左側又は右側からの光束を瞳分割する焦点検出画素としたが、本発明はこれに限定されず、ＡＦ画素の各々は左側及び右側からの光束を瞳分割する画素を有する焦点検出画素でも良い。
【０１４３】
さらに、上記各実施形態では、本発明を電子カメラ１０として説明しているが、カメラ付き携帯電話やスマートフォン等の撮像装置としてもよい。また、テーブル記憶手段としては、不揮発性メモリ１２の代わりに、外部から着脱自在に交換可能なカードメモリとしてもよい。
【０１４４】
さらにまた、本発明では、ＡＦ画素補間処理を含む画像処理装置、及び我層処理装置における処理をコンピュータで実現するためのプログラムに対しても適用可能である。この場合、２次元状に配列された複数の撮像用画素、及び撮像用画素群の中に配された複数の焦点検出用画素を有する撮像素子を用いて撮像することで得られたベイヤー配列画像を取り込む画像取得手段と、撮像時に使用した撮像素子がもつ複数の焦点検出用画素の位置情報を取得するＡＦ画素位置取得手段と、を備えればよい。
【符号の説明】
【０１４５】
１０ 電子カメラ
１２ 不揮発性メモリ
１５ 撮像素子
３０ レンズ情報入力部
３２ 撮像素子情報入力部
３６ ＡＦ画素
４０ ＡＦ画素補間部
【特許請求の範囲】
【請求項１】
複数の撮像用画素、及び複数の焦点検出用画素を有し撮影レンズにより結像する被写体像を撮像する撮像素子と、
前記焦点検出用画素の位置を各々記憶するＡＦ画素位置記憶手段と、
前記焦点検出用画素の画素値をその周囲の撮像用画素の画素値を用いて補間する時に使用するパラメータが、前記撮影レンズがもつレンズ条件毎に対応付けして記述されているテーブルを記憶するテーブル記憶手段と、
撮影時のレンズ条件に基づいて前記テーブルから前記パラメータを決めるパラメータ決定手段と、
前記パラメータ決定手段で決めたパラメータを用いて焦点検出用画素の位置に対する撮像用画素の画素値を補間する画素補間手段と、
を備えることを特徴とする撮像装置。
【請求項２】
請求項１記載の撮像装置において、
テーブル記憶手段は、分光感度特性の異なる前記撮像素子の種類毎に前記テーブルを複数記憶しており、
前記複数のテーブルから前記撮像素子の種類に応じたテーブルを選択するテーブル選択手段を備えることを特徴とする撮像装置。
【請求項３】
請求項１又は２記載の撮像装置において、
前記テーブル記憶手段は、特定のレンズ条件の時に使用する基準のパラメータを記述した基準テーブルと、他のレンズ条件の時に使用するパラメータと前記基準のパラメータとの差分を記述した差分テーブルとを関連付けした構成のテーブルを記憶しており、
前記パラメータ決定手段は、撮影時のレンズ条件が前記特定のレンズ条件ではない場合、前記撮影時のレンズ条件に応じた差分を前記差分テーブルから求め、求めた差分と前記基準のパラメータとを演算して前記撮影時のレンズ条件に応じたパラメータを算出して決めることを特徴とする撮像装置。
【請求項４】
請求項３に記載の撮像装置において、
前記テーブル記憶手段は、前記基本テーブルと前記差分テーブルとを色成分毎に関連付けして記憶することを特徴とする撮像装置。
【請求項５】
複数の撮像用画素、及び複数の焦点検出用画素を有し撮影レンズにより結像する被写体像を撮像する撮像素子を備えた撮像装置の製造方法において、
前記焦点検出用画素の画素値をその周囲の撮像用画素の画素値を用いて補間するときに使用するパラメータを、前記撮影レンズの所定のレンズ条件下のもとで実験した結果、基準のパラメータとして取得し、取得した前記基準のパラメータを前記所定のレンズ条件に対応付けして記述した基準テーブルと、他のレンズ条件下のもとで実験した結果得られるパラメータと前記基準のパラメータとの差分を前記他のレンズ条件に対応付けして記述した差分テーブルと、を作成するテーブル作成ステップと、
作成した前記基準テーブルと差分テーブルとを関連付けして該撮像装置に設けた記憶部に記憶させるステップと、
を含むことを特徴とする撮像装置の製造方法。
【請求項６】
請求項５に記載の撮像装置の製造方法において、
前記テーブル作成ステップは、前記基準のテーブルと差分テーブルとを、分光感度特性が異なる撮像素子の種類に応じて複数作成することを特徴とする撮像装置の製造方法。
【請求項７】
２次元状に配列された複数の撮像用画素、及び前記撮像用画素群の中に配された複数の焦点検出用画素を有する撮像素子を用いて撮像することで得られた画像を取り込む画像取得手段と、
前記撮像時に使用した撮像素子がもつ前記複数の焦点検出用画素の位置情報を取得するＡＦ画素位置取得手段と、
前記撮像素子を用いて撮像した時に使用したレンズ条件を取得するレンズ条件取得手段と、
前記焦点検出用画素の周囲に配されている複数の撮像用画素の画素値を用いて前記焦点検出用画素の位置に対応する撮像用画素の画素値を補間するためのパラメータを、前記ベイヤー配列画像を撮影時に使用した撮影レンズがもつレンズ条件毎に決めたテーブルを記憶するテーブル記憶手段と、
レンズ条件に応じて前記テーブルから前記パラメータを決定するパラメータ決定手段と、
前記決定したパラメータを用いて前記焦点検出用画素の位置に対応する撮像用画素の画素値を補間する補間処理手段と、
を備えていることを特徴とする画像処理装置。
【請求項８】
請求項７記載の画像処理装置において、
前記テーブル記憶手段は、特定のレンズ条件の時に使用する基準のパラメータを記述した基準テーブルと、他のレンズ条件の時に使用するパラメータと前記基準のパラメータとの差分を記述した差分テーブルとを関連付けした構成のテーブルを記憶しており、
前記パラメータ決定手段は、撮影時のレンズ条件が前記特定のレンズ条件ではない場合、前記撮影時のレンズ条件に応じた差分を前記差分テーブルから求め、求めた差分と前記基準のパラメータとを演算して前記撮影時のレンズ条件に応じたパラメータを算出して決めることを特徴とする画像処理装置。
【請求項９】
請求項８に記載の画像処理装置において、
前記テーブル記憶手段は、前記基本テーブルと前記差分テーブルとを色成分毎に関連付けして記憶することを特徴とする画像処理装置。
【請求項１０】
２次元状に配列された複数の撮像用画素、及び前記撮像用画素群の中に配された複数の焦点検出用画素を有する撮像素子を用いて撮像することで得られた画像を取り込む画像取得ステップと、
前記撮像時に使用した撮像素子がもつ前記複数の焦点検出用画素の位置情報を取得するＡＦ画素位置取得ステップと、
前記撮像素子を用いて撮像した時に使用したレンズ条件を取得するレンズ条件取得ステップと、
前記焦点検出用画素の周囲に配されている複数の撮像用画素の画素値を用いて前記焦点検出用画素の位置に対応する撮像用画素の画素値を補間するためのパラメータを、前記ベイヤー配列画像を撮影時に使用した撮影レンズがもつレンズ条件毎に決めたテーブルを記憶するテーブル記憶ステップと、
レンズ条件に応じて前記テーブルから前記パラメータを決定するパラメータ決定ステップと、
前記決定したパラメータを用いて前記焦点検出用画素の位置に対応する撮像用画素の画素値を補間する補間処理ステップと、
をコンピュータに実行させるためのプログラム。
【請求項１１】
請求項１０に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１】
複数の撮像用画素、及び複数の焦点検出用画素を有し撮影レンズにより結像する被写体像を撮像する撮像素子と、
前記焦点検出用画素の位置を各々記憶するＡＦ画素位置記憶手段と、
前記焦点検出用画素の画素値をその周囲の撮像用画素の画素値を用いて補間する時に使用するパラメータが、前記撮影レンズがもつレンズ条件毎に対応付けして記述されているテーブルを記憶するテーブル記憶手段と、
撮影時のレンズ条件に基づいて前記テーブルから前記パラメータを決めるパラメータ決定手段と、
前記パラメータ決定手段で決めたパラメータを用いて焦点検出用画素の位置に対する撮像用画素の画素値を補間する画素補間手段と、
を備えることを特徴とする撮像装置。
【請求項２】
請求項１記載の撮像装置において、
テーブル記憶手段は、分光感度特性の異なる前記撮像素子の種類毎に前記テーブルを複数記憶しており、
前記複数のテーブルから前記撮像素子の種類に応じたテーブルを選択するテーブル選択手段を備えることを特徴とする撮像装置。
【請求項３】
請求項１又は２記載の撮像装置において、
前記テーブル記憶手段は、特定のレンズ条件の時に使用する基準のパラメータを記述した基準テーブルと、他のレンズ条件の時に使用するパラメータと前記基準のパラメータとの差分を記述した差分テーブルとを関連付けした構成のテーブルを記憶しており、
前記パラメータ決定手段は、撮影時のレンズ条件が前記特定のレンズ条件ではない場合、前記撮影時のレンズ条件に応じた差分を前記差分テーブルから求め、求めた差分と前記基準のパラメータとを演算して前記撮影時のレンズ条件に応じたパラメータを算出して決めることを特徴とする撮像装置。
【請求項４】
請求項３に記載の撮像装置において、
前記テーブル記憶手段は、前記基本テーブルと前記差分テーブルとを色成分毎に関連付けして記憶することを特徴とする撮像装置。
【請求項５】
複数の撮像用画素、及び複数の焦点検出用画素を有し撮影レンズにより結像する被写体像を撮像する撮像素子を備えた撮像装置の製造方法において、
前記焦点検出用画素の画素値をその周囲の撮像用画素の画素値を用いて補間するときに使用するパラメータを、前記撮影レンズの所定のレンズ条件下のもとで実験した結果、基準のパラメータとして取得し、取得した前記基準のパラメータを前記所定のレンズ条件に対応付けして記述した基準テーブルと、他のレンズ条件下のもとで実験した結果得られるパラメータと前記基準のパラメータとの差分を前記他のレンズ条件に対応付けして記述した差分テーブルと、を作成するテーブル作成ステップと、
作成した前記基準テーブルと差分テーブルとを関連付けして該撮像装置に設けた記憶部に記憶させるステップと、
を含むことを特徴とする撮像装置の製造方法。
【請求項６】
請求項５に記載の撮像装置の製造方法において、
前記テーブル作成ステップは、前記基準のテーブルと差分テーブルとを、分光感度特性が異なる撮像素子の種類に応じて複数作成することを特徴とする撮像装置の製造方法。
【請求項７】
２次元状に配列された複数の撮像用画素、及び前記撮像用画素群の中に配された複数の焦点検出用画素を有する撮像素子を用いて撮像することで得られた画像を取り込む画像取得手段と、
前記撮像時に使用した撮像素子がもつ前記複数の焦点検出用画素の位置情報を取得するＡＦ画素位置取得手段と、
前記撮像素子を用いて撮像した時に使用したレンズ条件を取得するレンズ条件取得手段と、
前記焦点検出用画素の周囲に配されている複数の撮像用画素の画素値を用いて前記焦点検出用画素の位置に対応する撮像用画素の画素値を補間するためのパラメータを、前記ベイヤー配列画像を撮影時に使用した撮影レンズがもつレンズ条件毎に決めたテーブルを記憶するテーブル記憶手段と、
レンズ条件に応じて前記テーブルから前記パラメータを決定するパラメータ決定手段と、
前記決定したパラメータを用いて前記焦点検出用画素の位置に対応する撮像用画素の画素値を補間する補間処理手段と、
を備えていることを特徴とする画像処理装置。
【請求項８】
請求項７記載の画像処理装置において、
前記テーブル記憶手段は、特定のレンズ条件の時に使用する基準のパラメータを記述した基準テーブルと、他のレンズ条件の時に使用するパラメータと前記基準のパラメータとの差分を記述した差分テーブルとを関連付けした構成のテーブルを記憶しており、
前記パラメータ決定手段は、撮影時のレンズ条件が前記特定のレンズ条件ではない場合、前記撮影時のレンズ条件に応じた差分を前記差分テーブルから求め、求めた差分と前記基準のパラメータとを演算して前記撮影時のレンズ条件に応じたパラメータを算出して決めることを特徴とする画像処理装置。
【請求項９】
請求項８に記載の画像処理装置において、
前記テーブル記憶手段は、前記基本テーブルと前記差分テーブルとを色成分毎に関連付けして記憶することを特徴とする画像処理装置。
【請求項１０】
２次元状に配列された複数の撮像用画素、及び前記撮像用画素群の中に配された複数の焦点検出用画素を有する撮像素子を用いて撮像することで得られた画像を取り込む画像取得ステップと、
前記撮像時に使用した撮像素子がもつ前記複数の焦点検出用画素の位置情報を取得するＡＦ画素位置取得ステップと、
前記撮像素子を用いて撮像した時に使用したレンズ条件を取得するレンズ条件取得ステップと、
前記焦点検出用画素の周囲に配されている複数の撮像用画素の画素値を用いて前記焦点検出用画素の位置に対応する撮像用画素の画素値を補間するためのパラメータを、前記ベイヤー配列画像を撮影時に使用した撮影レンズがもつレンズ条件毎に決めたテーブルを記憶するテーブル記憶ステップと、
レンズ条件に応じて前記テーブルから前記パラメータを決定するパラメータ決定ステップと、
前記決定したパラメータを用いて前記焦点検出用画素の位置に対応する撮像用画素の画素値を補間する補間処理ステップと、
をコンピュータに実行させるためのプログラム。
【請求項１１】
請求項１０に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１３−１３００６（Ｐ２０１３−１３００６Ａ）
【公開日】平成２５年１月１７日（２０１３．１．１７）
【国際特許分類】
【出願番号】特願２０１１−１４５７０６（Ｐ２０１１−１４５７０６）
【出願日】平成２３年６月３０日（２０１１．６．３０）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２５年１月１７日（２０１３．１．１７）
【国際特許分類】
【出願日】平成２３年６月３０日（２０１１．６．３０）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]