撮像装置、画像処理装置及び画像処理プログラム
【課題】 ノイズが多く発生する場合であっても、画像中に偽色が発生しないように画素補間を行う。
【解決手段】 撮像用画素と焦点検出用画素とを有する撮像素子と、撮像素子の駆動により得られる画像に重畳されるノイズ量を判定する判定部と、処理内容が異なる複数の補間処理のうち、判定部によるノイズ量の判定結果に応じた補間処理を画像に対して実行することで、焦点検出用画素に対する補間画素値を生成する画素補間部と、を備えたことを特徴とする。
【解決手段】 撮像用画素と焦点検出用画素とを有する撮像素子と、撮像素子の駆動により得られる画像に重畳されるノイズ量を判定する判定部と、処理内容が異なる複数の補間処理のうち、判定部によるノイズ量の判定結果に応じた補間処理を画像に対して実行することで、焦点検出用画素に対する補間画素値を生成する画素補間部と、を備えたことを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、画像処理装置及び画像処理プログラムに関する。
【背景技術】
【０００２】
従来、複数の撮像用画素を二次元状に配列した受光面の一部に焦点検出用の複数の画素を配列した撮像素子が知られている（特許文献１）。複数の撮像用画素は、複数の色成分の各々に対応する分光特性を有し、また、焦点検出用の画素（焦点検出用画素）は、複数の撮像用画素とは異なる分光特性を有する。複数の撮像用画素からは、画像を生成するための信号が読み出されて撮像用画素の画素値が決められ、また焦点検出用画素からは焦点検出のための信号が読み出されて焦点検出用画素の画素値が決められる。画素補間をする時には、撮像用画素の画素値のうち欠落する色成分の画素値を補間するとともに、焦点検出用画素の位置に対応する撮像用画素値を補間する。
【０００３】
特許文献１に記載の発明では、焦点検出用画素に対する補間処理を行うために、焦点検出用画素の近傍にある撮像用画素の画素値を用いて焦点検出用画素の補間画素値を生成し、前記近傍の撮像用画素が焦点検出用画素と同じ分光特性を有した場合の画素値である評価画素値を算出し、前記焦点検出用画素の画素値と前記評価画素値とを用いて画像の高周波成分を算出し、前記補間画素値に前記高周波成分を付加して焦点検出用画素の位置に対応する撮像用画素の画素値を算出している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−３０３１９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、ノイズが多く発生する撮影状態となる場合には、焦点検出用画素の周辺における撮像用画素の画素値が非常にばらついてしまう。このように、ばらついた撮像用画素の画素値を用いて焦点検出用画素の位置に対応する撮像用画素の画素値を算出するときには想定以上の補間が行われることもあり、画像中に偽色となる画素が発生する。例えば撮像素子に設けられる焦点検出用画素を水平ラインに沿って配置したときに、各焦点検出用画素のそれぞれで偽色が発生すると、画像の水平方向に沿って偽色の画素の領域が目立ち、ユーザの目に違和感を与える画像となってしまう。
【０００６】
本発明は、かかる点に鑑みてなされたものであり、ノイズが多く発生する場合であっても、画像中に偽色が発生しないように画素補間を行うことができるようにした撮像装置、画像処理装置及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明を例示する撮像装置の一態様は、撮像用画素と焦点検出用画素とを有する撮像素子と、前記撮像素子の駆動により得られる画像に重畳されるノイズ量を判定する判定部と、処理内容が異なる複数の補間処理のうち、前記判定部による前記ノイズ量の判定結果に応じた補間処理を前記画像に対して実行することで、前記焦点検出用画素に対する補間画素値を生成する画素補間部と、を備えたことを特徴とする。
【０００８】
また、前記判定部は、撮影時の撮影感度及び前記撮像素子における電荷蓄積時間を用いて、前記画像に重畳される前記ノイズ量を判定するものである。
【０００９】
また、前記撮像素子又は前記撮像装置に設けられる制御基板の温度を検出する温度検出部を備え、前記判定部は、前記撮影時の撮影感度及び前記撮像素子における電荷蓄積時間の他に、前記撮像素子又は前記制御基板の温度を用いて、前記画像に重畳される前記ノイズ量を判定するものである。
【００１０】
また、前記画素補間部は、前記判定部により前記画像に重畳されるノイズ量が多いと判定されるときに、前記焦点検出用画素の近傍に位置する前記撮像用画素の画素値を用いた補間処理を実行することで、前記焦点検出用画素に対する前記補間画素値を生成するものである。
【００１１】
また、前記画素補間部は、前記判定部により前記画像に重畳されるノイズ量が少ないと判定される場合に、前記焦点検出用画素及び該焦点検出用画素の近傍に位置する前記撮像用画素の画素値とを用いた補間処理を実行することで、前記焦点検出用画素に対する前記補間画素値を生成するものである。
【００１２】
また、被写体光を前記撮像素子に照射する開放位置と、前記被写体光を遮光する遮光位置との間で移動するシャッタを備え、前記画像は、前記シャッタが前記開放位置に前記電荷蓄積時間保持されたときに得られる第１画像と、前記シャッタが前記遮光位置に前記電荷蓄積時間保持したときに得られる第２画像とからなり、前記画素補間部は、前記第１画像及び前記第２画像に対して、前記ノイズ量の推定結果に基づく前記補間処理を実行するものである。
【００１３】
この場合、前記画素補間部により補間処理が施された前記第１画像の各画素値から、前記第２画像の各画素値を減算する画像処理部を、さらに備えていることが好ましい。
【００１４】
また、本発明の画像処理装置は、撮像用画素と焦点検出用画素とを有する撮像素子を用いて取得された画像を取り込む画像取込部と、前記画像に重畳されるノイズ量を判定する判定部と、処理内容が異なる複数の補間処理のうち、前記判定部による前記ノイズ量の判定結果に応じた補間処理を前記画像に対して実行することで、前記焦点検出用画素に対する補間画素値を生成する画素補間部と、を備えたことを特徴とする。
【００１５】
また、本発明の画像処理プログラムは、撮像用画素と焦点検出用画素とを有する撮像素子を用いて取得された画像を取り込む画像取込工程と、前記画像に重畳されるノイズ量を判定する判定工程と、処理内容が異なる複数の補間処理のうち、前記判定工程による前記ノイズ量の判定結果に応じた補間処理を前記画像に対して実行することで、前記焦点検出用画素に対する補間画素値を生成する画素補間工程と、をコンピュータに実行させることが可能な、コンピュータ読み取り可能なものである。
【発明の効果】
【００１６】
本発明によれば、ノイズが多く発生する場合であっても、画像中に偽色が発生しないように画素補間を行うことができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の電子カメラの電気的構成を示す機能ブロック図である。
【図２】撮像用画素及びＡＦ画素の配置例を示す図である。
【図３】ＡＦ画素が配置された領域を中心とした画像データの一部を示す図である。
【図４】ノイズ判定部及びフレア判定部を備えたＡＦ画素補間部を示す図である。
【図５】ＡＦ画素補間部の作用を説明するフローチャートである。
【図６】第２画素補間処理の流れを示すフローチャートである。
【図７】本実施形態の効果が発揮される画像構造の一例を表す図である。
【図８】第３画素補間処理の流れを示すフローチャートである。
【図９】ＡＦ画素補間部の作用を説明するフローチャートである。
【発明を実施するための最良の形態】
【００１８】
図１に示すように、本発明を適用した電子カメラ１０は、ＣＰＵ１１を備えている。ＣＰＵ１１には、不揮発性メモリ１２、及びワークメモリ１３が接続されており、不揮発性メモリ１２には、ＣＰＵ１１が種々の制御を行う際に参照される制御プログラムなどが格納されている。さらに、不揮発性メモリ１２には、詳しくは後述する撮像素子のＡＦ画素の位置座標を示すデータ、予め求めておいた画像処理プログラムに用いる各種閾値や加重係数等のデータ、及び各種判定用テーブル等を記憶する。
【００１９】
ＣＰＵ１１は、不揮発性メモリ１２に格納されている制御プログラムに従い、ワークメモリ１３を一時記憶作業領域として利用して各部の制御を行い、電子カメラ１０を構成する各部（回路）機能を作動させる。
【００２０】
撮影レンズ１４から入射する被写体光は、絞り１５、シャッタ１６を介してＣＣＤやＣＭＯＳ等の撮像素子１７の受光面に結像する。撮像素子駆動回路１８は、ＣＰＵ１１からの制御信号に基づいて撮像素子１７を駆動させる。撮像素子１７は、ベイヤー配列型単板撮像素子になっており、前面には原色透過フィルタ１９が取り付けられている。
【００２１】
原色透過フィルタ１９は、撮像素子１７の総画素数Ｎに対して、例えば、Ｇ（緑色）の解像度がＮ／２、Ｒ（赤色）及びＢ（青色）の解像度がＮ／４となる原色ベイヤー配列になっている。
【００２２】
撮像素子１７の受光面に結像した被写体像は、アナログの画像信号に変換される。画像信号は、ＡＦＥ（Analog Front End）回路を構成するＣＤＳ２１、及びＡＭＰ２２に順に出力し、ＡＦＥ回路で所定のアナログ処理が施され、その後、Ａ／Ｄ（Analog/Digital変換器）２３においてデジタルの画像データに変換されて画像処理部２５に送られる。
【００２３】
画像処理部２５は、分離回路、ホワイトバランス処理回路、画素補間（デモザイキング）回路、マトリクス処理回路、非線形変換（γ補正）処理回路、及び輪郭強調処理回路等を備え、デジタルの画像データに対して、ホワイトバランス、画素補間、マトリクス、非線形変換（γ補正）、及び輪郭強調等の処理を施す。分離回路は、詳しくは後述する撮像用画素から出力される信号と、焦点検出用画素から出力される信号とを分離する。画素補間回路は、１画素当たり１色のベイヤー配列信号を、１画素当たり３色からなる通常のカラー画像信号に変換する。
【００２４】
画像処理部２５から出力される３色の画像データは、バス２６を通じてＳＤＲＡＭ２７に格納される。ＳＤＲＡＭ２７に格納した画像データは、ＣＰＵ１１の制御により読み出されて表示制御部２８に送られる。表示制御部２８は、入力された画像データを表示用の所定方式の信号（例えば、ＮＴＳＣ方式のカラー複合映像信号）に変換して表示部２９にスルー画像として出力する。
【００２５】
また、シャッタレリーズに応答して取得した画像データは、ＳＤＲＡＭ２７から読み出した後に圧縮伸長処理部３０に送られ、ここで圧縮処理が施されてからメディアコントローラ３１を介して記録媒体であるメモリカード３２に記録される。
【００２６】
ＣＰＵ１１には、レリーズボタン３３や電源スイッチ（不図示）が接続されているとともに、撮像素子１７の温度を検出する温度検出部３４から温度情報が入力される。この情報は、画像処理部２５に送られ、詳しくは後述するノイズを判定する時に利用される。
【００２７】
ＡＷＢ／ＡＥ／ＡＦ検出部３５は、焦点検出用画素（ＡＦ画素）の信号に基づいて瞳分割型位相差検出方式によりデフォーカス量、及びデフォーカスの方向を検出する。ＣＰＵ１１は、ＡＷＢ／ＡＥ／ＡＦ検出部３５で得られるデフォーカス量、及びデフォーカスの方向に基づいてドライバ３６を制御して合焦モータ３７を駆動してフォーカスレンズを光軸方向で進退させて焦点調整を行う。
【００２８】
また、ＡＷＢ／ＡＥ／ＡＦ検出部３５は、撮像用画素の信号に基づいて算出される測光輝度値（Ｂｖ）と、撮影者がＩＳＯ感度設定部３８で設定したＩＳＯ感度値（Ｓｖ）とから光値（Ｌｖ＝Ｓｖ＋Ｂｖ）を算出する。そして、ＡＷＢ／ＡＥ／ＡＦ検出部３５は、露出値（Ｅｖ＝Ａｖ＋Ｔｖ）が求めた光値Ｌｖになるように、絞り値とシャッタ速度とを決定する。この決定に基づいて、ＣＰＵ１１は、絞り駆動部３９を駆動させ、求めた絞り値となるように絞り１５の絞り径を調整する。これに併せて、ＣＰＵ１１は、シャッタ駆動部４０を駆動させ、求めたシャッタ速度にて、シャッタ１６が開放されるように、シャッタ１６の開閉動作を実行する。
【００２９】
ＡＷＢ／ＡＥ／ＡＦ検出部３５は、オートホワイトバランス調整時に、ＳＤＲＡＭ２７に取り込んだ１画面の画像データから間引き読み出しを行い、例えば２４×１６のＡＷＢ評価用データを生成する。そして、ＡＷＢ／ＡＥ／ＡＦ検出部３５は、生成したＡＷＢ評価用データを用いて光源種判別を行い、判別された光源種に適したホワイトバランス調整値に従って各色チャンネルの信号に補正をかける。
【００３０】
撮像素子１７は、その受光面上にある複数の撮像用画素の各々に、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のいずれかの原色透過フィルタ１９がベイヤー配列型に設けられ、その上にマイクロレンズアレイが設けられたＣＣＤやＣＭＯＳの半導体イメージセンサ等を適宜選択して用いる。さらに、本実施形態の撮像素子１７は、受光面上の一部の領域に、水平走査方向に一次元的に配置された複数のＡＦ画素４１を有する。それらのＡＦ画素４１には、原色透過フィルタ１９が設置されていない。また、ＡＦ画素４１は、撮影レンズ１４の光学系の瞳の左側又は右側を通過する光束を受光する２種類存在する。撮像素子１７は、撮像用画素群、及びＡＦ画素群からの画素信号を個別に読み出しすることができる。
【００３１】
図２に示すように、ＡＦ画素４１は、セル中心（マイクロレンズの中心）から一方に偏ったセンサ開口部４１ａ，４１ｂを持ち、その偏りの方向に沿って１次元状に並べられている。センサ開口部４１ａ，４１ｂは、偏りが互いに逆方向であり、その偏りの距離は同一である。センサ開口部４１ａを有するＡＦ画素４１は、ＲＧＢ原色ベイヤー配列中のＧ画素の代わりに置かれ、また、センサ開口部４１ｂを有するＡＦ画素４１は、ＲＧＢ原色ベイヤー配列中のＢ画素の代わりに置かれている。このようなセンサ開口部４１ａ，４１ｂをもつＡＦ画素４１によって瞳分割位相差ＡＦ方式を実現する。つまり、射出瞳を通る光束の中で撮影レンズ１４の光軸に対して対称な位置にある２つの部分光束を、センサ開口部４１ａをもつＡＦ画素４１とセンサ開口部４１ｂをもつＡＦ画素４１でそれぞれ受光すれば、２つの画素４１から出力された信号の位相差によりフォーカスずれの方向(フォーカシングレンズの移動方向)と、フォーカスずれの量(フォーカシングレンズの移動量)が分かる。これにより速やかなフォーカス合わせが可能になる。
【００３２】
したがって、本実施形態におけるＡＦ画素４１の各々は、白色光の輝度に応じた左側又は右側の瞳分割された検出信号を出力する。図３は、撮像素子１７によって撮像された画像データのうち、ＡＦ画素４１が配置された領域を中心とした画像データの一部を示す。それぞれのセルが１つの画素を表す。各セルの先頭の記号Ｒ、Ｇ及びＢは、各原色透過フィルタ１９を有する撮像用画素を示す。一方、記号Ｘ及びＹは、左側又は右側からの光束に感度を有するＡＦ画素を示し、それらが交互に水平走査方向に一次元的に配列されている。これらの記号に続く２桁の番号は画素の位置を示す。
【００３３】
画素補間部は、撮像用画素の画素値を用いてＡＦ画素４１の画素値を補間するＡＦ画素補間部４５と、ＡＦ画素の画素値を補間した後に、ベイヤー配列からＲＧＢへの線形補間法による色補間を行う画素補間部とを備える。
【００３４】
図４に示すように、ＡＦ画素補間部４５は、ノイズ判定部４６、及びフレア判定部４７を備え、これら判定に基づいて異なるＡＦ画素補間処理を行う。ノイズ判定部４６は、撮影時の撮影条件に基づいてノイズが多く発生する条件かを判定する。撮影条件は、撮像素子１７の温度、ＩＳＯ感度、及びシャッタ速度等になっている。撮像素子１７の温度情報は、ＣＰＵ１１から得られる。また、温度情報とともに、撮影時に設定されているＩＳＯ感度やシャッタ速度の情報もＣＰＵ１１から得られる。
【００３５】
ノイズ判定部４６は、撮像素子１７の温度、ＩＳＯ感度、及びシャッタ速度との情報に基づいてノイズが多いか少ないかを判定する。なお、撮像素子１７を実装するメイン基板に温度検出部を設け、メイン基板の温度、又は撮像素子１７の周囲の温度を、撮像素子１７の温度の代わりに利用してもよい。さらに、ノイズ判定に利用する情報としては、撮像素子１７の温度、ＩＳＯ感度及びシャッタ速度との３つの情報に限らず、このうちのいずれか一つ、又は２つの情報としてもよい。
【００３６】
ノイズが多いとノイズ判定部４６が判定する場合には、ＡＦ画素の画素値を用いず、その周囲の撮像用画素の画素値を用いて、例えば単純平均補間を行う第１画素補間処理を行う。ノイズが少ないと判定する場合には、フレア判定部４７でフレア判定を行い、フレアが発生しているか否かに応じて、前記第１画素補間処理とは異なる第２、又は第３の画素補間処理を行う。
【００３７】
フレア判定部４７は、画像データの輝度ヒストグラムに基づいて輝度が高い領域（高輝度領域）を抽出した後、抽出された高輝度領域に、例えばマゼンタ色が存在するか判定し、マゼンタ色が存在する場合、マゼンタ色となる領域（マゼンタ領域）における輝度成分のエッジ量及び分散値を算出し、「マゼンタ領域の総面積」、「分散値／マゼンタ領域の総面積」、「マゼンタ領域における輝度成分の平均エッジ量」を各々閾値判定してフレアが発生しているか否かを判定する。
【００３８】
なお、フレア判定としては、ジャイロセンサ又は加速度センサ等の姿勢検出部を設け、姿勢検出部から得られる出力値に基づく演算により撮影レンズ１４の水平に対する仰角をＣＰＵ１１が求め、仰角とともに被写体距離、被写体輝度、撮影モード等の情報をフレア判定部４７に送り、フレア判定部４７で、仰角、被写体距離、被写体輝度、撮影モード等の情報に基づいて、屋外であるか屋内であるかの区別と、昼夜の区別と、及びカメラを上に向けたときの撮影画角に被写体として空が入っているかの区別とを行って、フレアが発生するか否かの判定を行ってもよい。
【００３９】
ＡＦ画素補間部４５は、フレアが生じていないと判定する場合には、ＡＦ画素の画素値及び撮像用画素の画素値を用いて、ＡＦ画素の画素値を補間する第２画素補間処理を実行する。この第２画素補間処理は、ＡＦ画素の画素値（ホワイト（Ｗ）成分）から撮像用画素の画素値を元に加重和で予測することで、そのＡＦ画素の画素値を補間する。
【００４０】
ＡＦ画素補間部４５は、フレアが生じていると判定する場合には、第３画素補間処理を実行する。第３画素補間処理は、ＡＦ画素の周囲の撮像用画素の画素値を重み係数により補正し、補正した撮像用画素の画素値を平滑化する処理を複数回（本実施形態では２回）実行する。詳細は後述するが、２回目の補正を行う際には、重み付け係数を「０」にする。つまり、２回目の処理においては、ＡＦ画素の周囲の撮像用画素の画素値を重み係数により補正する処理は行わずに、撮像用画素の画素値を平滑化する処理のみが実行される。この複数回の処理の後、ＡＦ画素の画素値（ホワイト（Ｗ）成分）から補正された撮像用画素の画素値を元に加重和で予測することで、そのＡＦ画素の画素値を補間する第２画素補間処理を実行する。これにより、ＡＦ画素の周囲の撮像用画素に対してフレアにおける混色の影響を抑制することができる。よって、第２画素補間処理を行うに当たって、ＡＦ画素を撮像用画素として生成した画素値にも混色の影響が抑制される。
【００４１】
次に、ＡＦ画素補間部４５の作用について図５を参照しながら説明する。なお、本実施形態において、撮像用画素の各々に設置される原色透過フィルタ１９がベイヤー配列のパターンであることから、図３に示す記号ＸのＡＦ画素の位置には緑色（Ｇ）の撮像用画素の画素値が補間され、記号ＹのＡＦ画素の画素位置には青色（Ｂ）の撮像用画素の画素値が補間される。以下の説明では、Ｙ４４の青色の撮像用画素の画素値とＸ４５の緑色の撮像用画素の画素値とをそれぞれ補間する場合について説明する。他のＡＦ画素における撮像用画素の画素値を補間する手順も同様である。
【００４２】
［ノイズ判定］
ＣＰＵ１１は、Ａ／Ｄ２３から送られてくる画像データをノイズ判定部４６に送る。また、ＣＰＵ１１は、撮影時の撮像素子１７の温度、ＩＳＯ感度、及びシャッタ速度の情報をノイズ判定部４６に送る。こうして、ＣＰＵ１１は、ノイズ判定部４６を制御して、ノイズ判定部４６で画像データに対してノイズが多いか少ないかを判定する（Ｓ−１）。
【００４３】
ノイズ判定部４６の判定は、ノイズ判定用テーブルを参照して実行される。ノイズ判定用テーブルは、撮像素子１７の温度範囲毎に複数用意されており、これらは不揮発性メモリ１２に予め記憶されている。ＣＰＵ１１は、画像データを取得した時の撮像素子１７の温度に対応するノイズ判定用テーブルをノイズ判定部４６に送る。
【００４４】
ノイズ用判定テーブルとしては、例えば撮像素子１７の温度がＴ１未満の時には［表１］に記載のテーブルを、またＴ１以上Ｔ２未満の範囲の時には［表２］に記載のテーブルを選択する。各テーブルには、シャッタ速度（Ｐ）とＩＳＯ感度（Ｑ）とで決めるノイズの予測結果が予め行った実験に基づいて決められている。
【００４５】
【表１】
【００４６】
【表２】
【００４７】
ノイズが多いと判定する場合は、ＡＦ画素の画素値を用いず、その周囲の撮像用画素の画素値を用いて第１画素補間処理を行う（Ｓ−２）。
【００４８】
［第１画素補間処理］
第１画素補間処理としては、例えばＡＦ画素の周囲に位置する撮像用画素の画素値を平均補間して求める。具体的には、図３において、Ｂ画素の代わりに置かれたＡＦ画素Ｙ４２の画素値は［数１］に記載の式から、また、ＡＦ画素Ｙ４４の画素値は［数２］に記載の式から、さらに、ＡＦ画素Ｙ４６の画素値は［数３］に記載の式からそれぞれ求める。
【００４９】
［数１］
Ｙ４２＝（Ｂ２２＋Ｂ６２）／２
【００５０】
［数２］
Ｙ４４＝（Ｂ２４＋Ｂ６４）／２
【００５１】
［数３］
Ｙ４６＝（Ｂ２６＋Ｂ６６）／２
【００５２】
また、Ｇ画素の代わりに置かれたＡＦ画素Ｘ４３の画素値は［数４］に記載の式から、また、ＡＦ画素Ｘ４５の画素値は、［数５］に記載の式からそれぞれ求める。
【００５３】
［数４］
Ｘ４３＝（Ｇ３２＋Ｇ３４＋Ｇ５２＋Ｇ５４）／４
【００５４】
［数５］
Ｘ４５＝（Ｇ３４＋Ｇ３６＋Ｇ５４＋Ｇ５６）／４
【００５５】
このように、ノイズが多い場合には、ＡＦ画素の画素値を用いないで、その周辺の画素値のみからＡＦ画素の画素値を予測するため、予測するＡＦ画素の画素値がばらつき想定以上の補間をしてしまい、偽色とよばれる実際には存在しない色が発生することや、偽構造とよばれる存在しない構造が発生することを極力抑えることができる。なお、ＡＦ画素の画素値を撮像用画素の画素値に補間した画像データは、画像処理部２５でベイヤー配列からＲＧＢへの線形補間法による色補間が行われ、ＲＧＢ毎の画像データとしてＳＤＲＡＭ２７に格納される。
【００５６】
［フレア判定］
ＣＰＵ１１は、ノイズが少ないとノイズ判定部４６が判定した場合、フレア判定部４７を制御して、フレア判定部４７でフレアが生じているかを判定する（Ｓ−３）。ＡＦ画素補間部４５は、フレア判定部４７でフレアが発生しないと判定する場合、第２画素補間処理（Ｓ−４）を、また、フレアが発生すると判定する場合には、第３画素補間処理（Ｓ−５）を択一的に実行する。
【００５７】
［第２画素補間処理］
ＡＦ画素の周辺の撮像用画素の画素値を用いて、画素値の変化率である変動値が最小となる方向を求める。そして、変動の最も小さい方向にある撮像用画素の画素値を用いてＡＦ画素の画素値を補間する。
【００５８】
（最小となる変動値の方向を算出）
ＡＦ画素補間部４５は、Ｘ４５及びＹ４４のＡＦ画素に対する補間を行うために、Ｘ４５及びＹ４４の周辺の撮像用画素の画素値を用いて４方向の画素値の変化率である方向変動Ｈ１〜Ｈ４の値を［数６］〜［数９］を用いてそれぞれ求める（Ｓ−６）。なお、本実施形態における４方向とは、水平走査方向、垂直走査方向、水平走査方向に対して４５度及び１３５度方向である。
【００５９】
［数６］
水平走査方向の方向変動Ｈ１＝
２×（｜Ｇ３４−Ｇ３６｜＋｜Ｇ５４−Ｇ５６｜）＋｜Ｒ３３−Ｒ３５｜＋｜Ｒ５３−Ｒ５５｜＋｜Ｂ２４−Ｂ２６｜＋｜Ｂ６４−Ｂ６６｜
【００６０】
［数７］
垂直走査方向の方向変動Ｈ２＝
２×（｜Ｇ３４−Ｇ５４｜＋｜Ｇ３６−Ｇ５６｜）＋｜Ｒ３３−Ｒ５３｜＋｜Ｒ３５−Ｒ５５｜＋｜Ｂ２４−Ｂ６４｜＋｜Ｂ２６−Ｂ６６｜
【００６１】
［数８］
水平走査方向に対して４５度の方向変動Ｈ３＝
２×（｜Ｇ２７−Ｇ３６｜＋｜Ｇ５４−Ｇ６３｜）＋｜Ｒ３５−Ｒ５３｜＋｜Ｒ３７−Ｒ５５｜＋｜Ｂ２６−Ｂ６２｜＋｜Ｂ２８−Ｂ６４｜
【００６２】
［数９］
水平走査方向に対して１３５度の方向変動Ｈ４＝
２×（｜Ｇ２３−Ｇ３４｜＋｜Ｇ５６−Ｇ６７｜）＋｜Ｒ３３−Ｒ５５｜＋｜Ｒ３５−Ｒ５７｜＋｜Ｂ２２−Ｂ６６｜＋｜Ｂ２４−Ｂ６８｜
【００６３】
（最小変動値の方向に応じた周辺の撮像用画素の画素値を用いてＡＦ画素の画素値を補間）
ＡＦ画素補間部４５は、ステップ（Ｓ−６）で求めた方向変動Ｈ１〜Ｈ４のうち最も小さい値の方向変動の方向を選択し、その方向にある撮像用画素の画素値を用いて、ＡＦ画素Ｘ４５の位置でのＧの撮像用画素の画素値ＧＸ４５及びＡＦ画素Ｙ４４の位置でのＢの撮像用画素の画素値ＢＹ４４を［数１０］〜［数１３］のうちの選択した方向に対応する式を用いて求める（Ｓ−７）。これにより、変動の小さい方向にある撮像用画素の画素値を用いることにより、より正確にＸ４５及びＹ４４等のＡＦ画素に対する補間を行うことが可能となる。
【００６４】
［数１０］
方向変動Ｈ１が最小の場合
ＢＹ４４＝（Ｂ２４＋Ｂ６４）／２
ＧＸ４５＝（Ｇ３４＋Ｇ３６＋Ｇ５４＋Ｇ５６）／４
【００６５】
［数１１］
方向変動Ｈ２が最小の場合
ＢＹ４４＝（Ｂ２４＋Ｂ６４）／２
ＧＸ４５＝（Ｇ２５＋Ｇ６５）／２
【００６６】
［数１２］
方向変動Ｈ３が最小の場合
ＢＹ４４＝（Ｂ２６＋Ｂ６２）／２
ＧＸ４５＝（Ｇ３６＋Ｇ５４）／２
【００６７】
［数１３］
方向変動Ｈ４が最小の場合
ＢＹ４４＝（Ｂ２２＋Ｂ６６）／２
ＧＸ４５＝（Ｇ３４＋Ｇ５６）／２
【００６８】
ＡＦ画素補間部４５は、ＡＦ画素の配列方向である水平走査方向において、ＡＦ画素の画素値の方向変動Ｈ５を、例えば、ＡＦ画素のＹ４４及びＸ４５の白色光の画素値Ｗ４４及びＷ４５と、［数１４］とを用いて算出する。
【００６９】
［数１４］
Ｈ５＝｜Ｗ４４−Ｗ４５｜
【００７０】
ＡＦ画素補間部４５は、その方向変動Ｈ５の値が閾値Ｔｈ１を越えるか否かを判定する（Ｓ−８）。方向変動Ｈ５が閾値Ｔｈ１を超える値の場合（ＹＥＳ側）、ＡＦ画素補間部４５は、ステップ（Ｓ−７）で求めたＢＹ４４及びＧＸ４５の補間した値をＹ４４及びＸ４５における撮像用画素の画素値とし、画像データを更新する。画像処理部２５は、更新した画像データに対して３色の画素補間を施して３色の画像データを生成し、３色の画像データを、バス２６を介してＳＤＲＡＭ２７に記録する（Ｓ−９）。
【００７１】
一方、方向変動Ｈ５が閾値Ｔｈ１以下となる場合（ＮＯ側）、画像処理部２５は、（Ｓ−１０）へ移行する。なお、閾値Ｔｈ１は、例えば、１２ビット画像を処理する場合、５１２程度の値にすれば良い。
【００７２】
ＡＦ画素補間部４５は、ステップ（Ｓ−６）で求めた方向変動Ｈ２が閾値Ｔｈ２を越えるか否かを判定する（Ｓ−１０）。方向変動Ｈ２が閾値Ｔｈ２を超える値の場合（ＹＥＳ側）、ＡＦ画素補間部４５は、ステップ（Ｓ−７）で求めたＢＹ４４及びＧＸ４５の補間した値をＹ４４及びＸ４５における撮像用画素の画素値とし、画像データを更新する。画像処理部２５は、更新した画像データに対して３色の画素補間を施して３色の画像データを生成し、３色の画像データを、バス２６を介してＳＤＲＡＭ２７に格納する（Ｓ−９）。
【００７３】
一方、方向変動Ｈ２が閾値Ｔｈ２以下となる場合（ＮＯ側）、画像処理部２５は、（Ｓ−１１）へ移行する。なお、閾値Ｔｈ２は、例えば、１２ビット画像を処理する場合、６４程度の値にすれば良い。
【００７４】
その後、ＡＦ画素補間部４５は、右側からの光束に感度を有するＹ４４等のＡＦ画素における白色光の平均画素値＜Ｗ４４＞等を、近傍にある色成分Ｒ、Ｇ及びＢの撮像用画素の画素値を用いて算出する（Ｓ−１１）。具体的には、ステップ（Ｓ−６）において、例えば、画像処理部２５が方向変動Ｈ２を最小であると判定した場合、Ｂの撮像用画素の画素値は［数１１］に記載の式にあるＢ２４とＢ６４とを用いる。一方、Ｒ及びＧの画素値については、Ｂの撮像用画素Ｂ２４とＢ６４との位置におけるＲ及びＧの画素値を、［数１５］に記載の４つの式を用いて補間計算する。
【００７５】
［数１５］
(1)ＲＢ２４＝（Ｒ１３＋Ｒ１５＋Ｒ３３＋Ｒ３５）／４
(2)ＧＢ２４＝（Ｇ１４＋Ｇ２３＋Ｇ２５＋Ｇ３４）／４
(3)ＲＢ６４＝（Ｒ５３＋Ｒ５５＋Ｒ７３＋Ｒ７５）／４
(4)ＧＢ６４＝（Ｇ５４＋Ｇ６３＋Ｇ６５＋Ｇ７４）／４
【００７６】
そして、ＡＦ画素補間部４５は、撮像用画素Ｂ２４及びＢ６４の位置における白色光の画素値Ｗ２４及びＷ６４を、ＣＰＵ１１から転送されてきたＲ、Ｇ及びＧの加重係数ＷＲ、ＷＧ及びＷＢを用いて、［数１６］に記載の式の加重和によって算出する。なお、加重係数ＷＲ、ＷＧ及びＷＢの求め方については後述する。
【００７７】
［数１６］
Ｗ２４＝ＷＲ×ＲＢ２４＋ＷＧ×ＧＢ２４＋ＷＢ×Ｂ２４
Ｗ６４＝ＷＲ×ＲＢ６４＋ＷＧ×ＧＢ６４＋ＷＢ×Ｂ６４
【００７８】
そして、画像処理部２５は、Ｙ４４における白色光の平均画素値＜Ｗ４４＞＝（Ｗ２４＋Ｗ６４）／２を算出する。
【００７９】
ＡＦ画素補間部４５は、左側からの光束に感度を有するＸ４５等のＡＦ画素における白色光の平均画素値＜Ｗ４５＞等を、ステップ（Ｓ−１１）の場合と同様に、近傍にある色成分Ｒ、Ｇ及びＢの撮像用画素の画素値を用いて算出する（Ｓ−１２）。ステップ（Ｓ−６）において、画像処理部２５が方向変動Ｈ２を最小であると判定した場合、Ｇの撮像用画素の画素値は、［数１１］に記載の式にあるＧ２５とＧ６５とを用いる。一方、Ｒ及びＢの画素値については、Ｇの撮像用画素Ｇ２５とＧ６５との位置におけるＲ及びＢの画素値を［数１７］に記載の４つの式を用いて補間計算する。
【００８０】
［数１７］
(1)ＲＧ２５＝（Ｒ１５＋Ｒ３５）／２
(2)ＢＧ２５＝（Ｂ２４＋Ｂ２６）／２
(3)ＲＧ６５＝（Ｒ５５＋Ｒ７５）／２
(4)ＢＧ６５＝（Ｂ６４＋Ｂ６６）／２
【００８１】
そして、ＡＦ画素補間部４５は、撮像用画素Ｇ２５及びＧ６５の位置における白色光の画素値Ｗ２５及びＷ６５を、［数１８］に記載の式の加重和によって算出する。
【００８２】
［数１８］
Ｗ２５＝ＷＲ×ＲＧ２５＋ＷＧ×Ｇ２５＋ＷＢ×ＢＧ２５
Ｗ６５＝ＷＲ×ＲＧ６４＋ＷＧ×Ｇ２５＋ＷＢ×ＢＧ６５
【００８３】
そして、画像処理部２５は、Ｘ４５における白色光の平均画素値＜Ｗ４５＞＝（Ｗ２５＋Ｗ６５）／２を算出する。
【００８４】
ＡＦ画素補間部４５は、撮像素子１７の各ＡＦ画素における白色光の画素値の高周波成分を、（Ｓ−１１）及び（Ｓ−１２）において求めた白色光の平均画素値を用いて求める（Ｓ−１３）。ＡＦ画素補間部４５は、撮像素子１７の各ＡＦ画素の画素値から、各ＡＦ画素の画素位置における白色光の平均画素値を最初に求める。つまり、各ＡＦ画素の画素値は、左側又は右側からの光束を瞳分割した値である。したがって、各ＡＦ画素の位置における白色光の画素値を得るためには、左側及び右側からの光束の画素値を互いに加算する必要がある。そこで、本実施形態のＡＦ画素補間部４５は、各ＡＦ画素の画素値及び隣接するＡＦ画素の画素値を用いて、例えば、ＡＦ画素Ｙ４４やＸ４５の位置における白色光の平均画素値を［数１９］に記載の式を用いて算出する。
【００８５】
［数１９］
＜Ｗ４４＞’＝Ｗ４４＋（Ｗ４３＋Ｗ４５）／２
＜Ｗ４５＞’＝Ｗ４５＋（Ｗ４４＋Ｗ４６）／２
【００８６】
なお、ステップ（Ｓ−１３）で説明した［数１９］において、ＡＦ画素の配列方向に隣接するＡＦ画素の画素値を用いて、各ＡＦ画素の位置における白色光の画素値を算出するので、配列方向に強い変動がある場合には、高周波成分の計算が不正確になり、白色光の画素値の配列方向の解像力が失われるおそれがある。そこで、前述したステップ（Ｓ−８）では、配列方向に強い変動がある場合に、高周波成分の付加を中止するようにしている。
【００８７】
その後、ＡＦ画素補間部４５は、［数２０］に記載の式から、Ｙ４４及びＸ４５の位置における白色光の高周波成分ＨＦＹ４４及びＨＦＸ４５を求める。
【００８８】
［数２０］
ＨＦＹ４４＝＜Ｗ４４＞’−＜Ｗ４４＞
ＨＦＸ４５＝＜Ｗ４５＞’−＜Ｗ４５＞
【００８９】
ＡＦ画素補間部４５は、ステップ（Ｓ−１３）で求めた各ＡＦ画素の位置における白色光の画素値の高周波成分ＨＦがその白色光の画素値に占める割合が、閾値Ｔｈ３（本実施形態では、例えば、１０％程度）より小さいか否かを判定する（Ｓ−１４）。閾値Ｔｈ３より高周波成分ＨＦが小さい場合（ＹＥＳ側）、ＡＦ画素補間部４５は、ステップＳ１２で求めたＢＹ４４及びＧＸ４５の補間した値をＹ４４及びＸ４５における撮像用画素の画素値とし、画像データを更新する。画像処理部２５は、更新した画像データに対して３色の画素補間を施して３色の画像データを生成し、３色の画像データを、バス２６を介してＳＤＲＡＭ２７に格納する（Ｓ−９）。
【００９０】
一方、高周波成分ＨＦが閾値Ｔｈ３以上の場合（ＮＯ側）、ＡＦ画素補間部４５は、ステップ（Ｓ−１５）へ移行する。なお、閾値Ｔｈ３の値についての説明は、後の加重係数ＷＲ、ＷＧ及びＷＢの説明とともに行う。
【００９１】
ＡＦ画素補間部４５は、Ｙ４４やＸ４５の近傍における各色成分Ｒ、Ｇ又はＢの撮像用画素の画素値の色変動ＶＲ、ＶＧｒ、ＶＢ及びＶＧｂを算出する（Ｓ−１５）。ここで、色変動ＶＧｒ及びＶＧｂは、Ｒ又はＢの撮像用画素の位置におけるＧの色変動を示す。ＡＦ画素補間部４５は、［数２１］に記載の２つの式に基づいて、色変動ＶＲとＶＧｒとを求める。
【００９２】
［数２１］
(1)ＶＲ＝｜Ｒ３３−Ｒ５３｜＋｜Ｒ３５−Ｒ５５｜＋｜Ｒ３７−Ｒ５７｜
(2)ＶＧｒ＝｜（Ｇ３２＋Ｇ３４）／２−（Ｇ５２＋Ｇ５４）／２｜＋｜（Ｇ３４＋Ｇ３６）／２−（Ｇ５４＋Ｇ５６）／２｜＋｜（Ｇ３６＋Ｇ３８）／２−（Ｇ５６＋Ｇ５８）／２｜
【００９３】
なお、本実施形態のＡＦ画素補間部４５は、Ｒの撮像用画素の位置Ｒ３３、Ｒ３５、Ｒ３７、Ｒ５３、Ｒ５５及びＲ５７におけるＧの画素値の平均値を求めてからＶＧｒの値を計算する。
【００９４】
一方、ＡＦ画素補間部４５は、［数２２］に記載の２つの式に基づいて、色変動ＶＢとＶＧｂとを求める。
【００９５】
［数２２］
(1)ＶＢ＝｜Ｂ２２−Ｂ６２｜＋｜Ｂ２４−Ｂ６４｜＋｜Ｂ２６−Ｂ６６｜
(2)ＶＧｂ＝｜（Ｇ２１＋Ｇ２３）／２−（Ｇ６１＋Ｇ６３）／２｜＋｜（Ｇ２３＋Ｇ２５）／２−（Ｇ６３＋Ｇ６５）／２｜＋｜（Ｇ２５＋Ｇ２７）／２−（Ｇ６５＋Ｇ６７）／２｜
【００９６】
なお、本実施形態のＡＦ画素補間部４５は、Ｂの撮像用画素の位置Ｂ２２、Ｂ２４、Ｂ２６、Ｂ６２、Ｂ６４及びＢ６６におけるＧの画素値の平均値を求めてからＶＧｂの値を計算する。
【００９７】
ＡＦ画素補間部４５は、ステップ（Ｓ−１５）で算出した色変動ＶＲ、ＶＧｒ、ＶＢ及びＶＧｂを用いて、色成分Ｇ及びＢの白色光に対する色変動率ＫＷＧ及びＫＷＢを算出する（Ｓ−１６）。まず、ＡＦ画素補間部４５は、色変動ＶＲ、ＶＧｒ、ＶＢ及びＶＧｂから［数２３］に記載の３つの式から色変動ＶＲ２、ＶＧ２及びＶＢ２を求める。
【００９８】
［数２３］
(1)ＶＲ２＝（ＶＲ＋α）×（ＶＧｂ＋α）
(2)ＶＢ２＝（ＶＢ＋α）×（ＶＧｒ＋α）
(3)ＶＧ２＝（ＶＧｂ＋α）×（ＶＧｒ＋α）
【００９９】
ここで、αは、色変動率の値を安定させるための適当な定数であり、例えば、１２ビット画像を処理する場合には、α＝２５６程度の値にすれば良い。
【０１００】
そして、画像処理部２５は、色変動ＶＲ２、ＶＧ２及びＶＢ２を用いて、［数２４］に記載の式により白色光における色変動ＶＷを算出する。
【０１０１】
［数２４］
ＶＷ＝ＶＲ２＋ＶＧ２＋ＶＢ２
【０１０２】
よって、ＡＦ画素補間部４５は、色変動率ＫＷＧ及びＫＷＢを［数２５］から算出する。
【０１０３】
［数２５］
ＫＷＧ＝ＶＧ２／ＶＷ
ＫＷＢ＝ＶＢ２／ＶＷ
【０１０４】
ＡＦ画素補間部４５は、ステップ（Ｓ−１３）において求めた各ＡＦ画素の位置における白色光の画素値の高周波成分ＨＦと、ステップ（Ｓ−１６）で算出した色変動率ＫＷＧ及びＫＷＢとを用いて、各ＡＦ画素の位置における色成分Ｇ及びＢの画素値の高周波成分を［数２６］に記載の式から算出する（Ｓ−１７）。
【０１０５】
［数２６］
ＨＦＢＹ４４＝ＨＦＹ４４×ＫＷＢ
ＨＦＧＸ４５＝ＨＦＸ４５×ＫＷＧ
【０１０６】
ＡＦ画素補間部４５は、ステップ（Ｓ−１７）で求めた各ＡＦ画素における各色成分の高周波成分を、ステップ（Ｓ−７）で補間して求めた撮像用画素の画素値に付加する（Ｓ−１８）。ＣＰＵ１１は、例えば、［数２７］に記載の式に基づいて、Ｙ４４及びＸ４５の撮像用画素値Ｂ’及びＧ’をそれぞれ算出する。
【０１０７】
［数２７］
Ｂ’Ｙ４４＝ＢＹ４４＋ＨＦＢＹ４４
Ｇ’Ｘ４５＝ＧＸ４５＋ＨＦＧＸ４５
【０１０８】
ＡＦ画素補間部４５は、Ｙ４４やＸ４５等のＡＦ画素の位置において補間して求めたＢ’Ｙ４４及びＧ’Ｘ４５等の画素値を、それぞれの位置における撮像用画素の画素値として、画像データを更新する。画像処理部２５は、更新した画像データに対して１画素当たり３色の画像データに変換してＳＤＲＡＭ２７に格納する（Ｓ−９）。
【０１０９】
なお、ＡＦ画素の配列方向に変動はなくても、各色成分の撮像用画素の分光特性の加重和とＡＦ画素の分光特性とのズレ等に起因して、白色光の画素値の高周波成分が若干の誤差を持つ。垂直走査方向（ＡＦ画素の配列方向に交わる方向）に画像の大きな変動がない場合には、高周波成分を付加しなくても補間値の精度は充分であり、高周波成分を付加することによってかえって誤差に起因する偽構造が生じる恐れがある。そこで、ステップ（Ｓ−１０）では、そのような場合、高周波成分の付加を抑制する。また、算出された高周波成分が充分小さい場合には、それを付加しなくても補間値の精度は充分であり、高周波成分を付加することによってかえって誤差に起因する偽構造が生じるおそれがある。このため、（Ｓ−１０）では、そのような場合に高周波成分の付加を抑制するようにしている。
【０１１０】
次に、加重係数ＷＲ、ＷＧ及びＷＢの求め方について、閾値Ｔｈ３とともに説明する。そうした加重係数や閾値を求めるにあたり、製品に組み込まれる撮像素子１７又はその撮像素子１７と同じ性能を持つ撮像素子を用意する。その撮像素子１７にほぼ一様な照度の照明を、波長帯域を様々に変えて照射し、それぞれの波長帯域についての撮像画像データを取得する。そして、各波長帯域の撮像画像データｎについて、［数１９］に記載の式のように瞳分割の異なるＡＦ画素の画素値を加算することにより白色光の画素値Ｗｎを算出する。同時に、ＡＦ画素の近傍にある各色成分の撮像用画素の画素値Ｒｎ、Ｇｎ、Ｂｎについても抽出する。
【０１１１】
そして、未知の加重係数ＷＲ、ＷＧ及びＷＢの関数として二乗誤差Ｅを［数２８］のように定義する。
【０１１２】
［数２８］
Ｅ＝Σｎ（ＷＲ×Ｒｎ＋ＷＧ×Ｇｎ＋ＷＢ×Ｂｎ−Ｗｎ）２
【０１１３】
そして、Ｅを最小とする加重係数ＷＲ、ＷＧ及びＷＢを求める（ＥをＷＲ、ＷＧ又はＷＢでそれぞれ偏微分した値を「０」にする加重係数ＷＲ、ＷＧ及びＷＢを求める）。このようにして、加重係数ＷＲ、ＷＧ及びＷＢを求めることにより、ＡＦ画素の分光特性を各色成分Ｒ、Ｇ及びＢの撮像用画素の分光特性の加重和によって表される加重係数が求められる。このように求めた加重係数ＷＲ、ＷＧ及びＷＢを電子カメラ１０の不揮発性メモリに記録する。
【０１１４】
さらに、求めた加重係数ＷＲ、ＷＧ及びＷＢにもとづいて各撮像画像データｎについて誤差率Ｋｎを［数２９］に記載の式で求める。
【０１１５】
［数２９］
Ｋｎ＝｜ＷＲ×Ｒｎ＋ＷＧ×Ｇｎ＋ＷＢ×Ｂｎ−Ｗｎ｜／Ｗｎ
【０１１６】
そして、Ｋｎの最大値を求め、閾値Ｔｈ３として不揮発性メモリ１２に記録する。
【０１１７】
図７は、本実施形態の効果が発揮される画像構造の一例を表す。図７は凸構造（明るい線あるいは点）を含む縦５画素の画像構造を縦断した図であり、横軸は垂直走査方向（ｙ座標）であり縦軸は光量または画素値である。そして、凸構造がちょうど水平走査方向に配列されたＡＦ画素列上にある。
【０１１８】
図７の○印は、Ｇの撮像用画素で撮像された画素値である。ただし、ＡＦ画素の位置にはＧの撮像用画素が存在しないので、その位置でのＧの画素値は得られない。従って、丁度ＡＦ画素の位置に凸構造がある場合には、ＡＦ画素の近傍のＧの撮像用画素の画素値からだけでは、図７の凸構造を再現できない。実際、（Ｓ−７）において、ＡＦ画素の近傍のＧの撮像用画素の画素値を用いてＡＦ画素の位置で補間して求めたＧの画素値（図７の●印）は、凸構造を再現していない。
【０１１９】
一方、ＡＦ画素の位置では、白色光の画素値が得られる。ただし、通常の画素は瞳の全領域を通過する光を受光するのに対し、ＡＦ画素は瞳の右側あるいは左側を通過する光のみを受光するので、瞳分割の異なる隣接するＡＦ画素を加算することにより通常の（瞳の全領域を通過した光の）白色光の画素値が算出される（［数１９］）。
【０１２０】
また、ＡＦ画素の近傍のＧの撮像用画素の位置に、他の色成分Ｒ及びＢを補間生成して、色成分Ｒ、Ｇ及びＢの加重和を求めることにより、多くの場合には充分な精度で白色光の画素値を求めることができる（［数１６］及び［数１８］）。
【０１２１】
図７の□印は、そのようにして求めた白色光の画素値の分布である。多くの場合、白色光の画素値の高周波成分と、色成分Ｇの画素値の高周波成分とは比例するので、白色光の画素値から算出した高周波成分は、Ｇの画素値の凸構造成分の情報を持つ。よって、白色光の画素値の高周波成分に基づいてＧの画素値の高周波成分を求め、その値を●印のデータに加えることにより、☆印のＧの画素値が得られ、凸構造を再現する（［数２６］）。
【０１２２】
［第３画素補間処理］
ＡＦ画素補間部４５は、ノイズ判定部４６での判定結果によりノイズが少なく、かつフレア判定部４７でのフレアが発生し易いと判断する場合、第３画素補間処理を選択して実行する。
【０１２３】
第３画素補間処理は、ＡＦ画素の周囲の撮像用画素の画素値を重み係数により補正し、補正した撮像用画素の画素値を平滑化する処理を、撮像用画素の画素値に対する重み係数を変えて２回行った後、上述した第２画素補間処理を実行する処理である。以下、図３のＡＦ画素Ｘ４３及びＡＦ画素Ｙ４４の２列に対する第３画素補間処理について説明する。
【０１２４】
（ＡＦ画素列の周囲の撮像用画素の画素値を重み係数により補正）
ＡＦ画素補間部４５は、図８に示すように、ＡＦ画素列の周囲に配置された撮像用画素の画素値が、閾値ＭＡＸ＿ＲＡＷ以上となるか否かを判定し、その判定結果に基づいて、設定された重み係数を用いて補正する（Ｓ−２１）。ここで、閾値ＭＡＸ＿ＲＡＷは、画素値が飽和しているか否かを判定するための閾値である。
【０１２５】
ＡＦ画素補間部４５は、撮像用画素の画素値が閾値ＭＡＸ＿ＲＡＷ以上となる場合には、撮像用画素の画素値に対して補正は行わない。一方、ＡＦ画素補間部４５は、撮像用画素の画素値が、閾値ＭＡＸ＿ＲＡＷ未満となる場合には、重み係数を用いた加重和の値を元の画素値から減算することで撮像用画素の画素値を補正する。
【０１２６】
ＡＦ画素補間部４５は、Ｒ色成分の撮像用画素の画素値を［数３０］〜［数３３］を用いて補正する。
【０１２７】
［数３０］
Ｒ１３’＝Ｒ１３−（Ｒ３Ｕ＿０×Ｒ３３＋Ｒ３Ｕ＿１×Ｇ３４＋Ｒ３Ｕ＿２×Ｂ２４）
【０１２８】
［数３１］
Ｒ３３’＝Ｒ３３−（Ｒ１Ｕ＿０×Ｒ３３＋Ｒ１Ｕ＿１×Ｇ３４＋Ｒ１Ｕ＿２×Ｂ２４）
【０１２９】
［数３２］
Ｒ５３’＝Ｒ５３−（Ｒ１Ｓ＿０×Ｒ５３＋Ｒ１Ｓ＿１×Ｇ５４＋Ｒ１Ｓ＿２×Ｂ６４）
【０１３０】
［数３３］
Ｒ７３’＝Ｒ７３−（Ｒ３Ｓ＿０×Ｒ５３＋Ｒ３Ｓ＿１×Ｇ５４＋Ｒ３Ｓ＿２×Ｂ６４）
【０１３１】
ここで、Ｒ１Ｕ＿０，Ｒ１Ｕ＿１，Ｒ１Ｕ＿２，Ｒ１Ｓ＿０，Ｒ１Ｓ＿１，Ｒ１Ｓ＿２，Ｒ３Ｕ＿０，Ｒ３Ｕ＿１，Ｒ３Ｕ＿２，Ｒ３Ｓ＿０，Ｒ３Ｓ＿１，Ｒ３Ｓ＿２は、重み係数である。なお、重み係数中、文字Ｓは、ＡＦ画素よりも上方に位置することを示し、文字Ｕは、ＡＦ画素よりも下方に位置することを示している。
【０１３２】
ＡＦ画素補間部４５は、Ｇ色成分の撮像用画素の画素値を［数３４］〜［数３９］を用いて補正する。
【０１３３】
［数３４］
Ｇ１４’＝Ｇ１４−（Ｇ３Ｕ＿０×Ｒ３３＋Ｇ３Ｕ＿１×Ｇ３４＋Ｇ３Ｕ＿２×Ｂ２４
【０１３４】
［数３５］
Ｇ２３’＝Ｇ２３−（Ｇ２Ｕ＿０×Ｒ３３＋Ｇ２Ｕ＿１×Ｇ３４＋Ｇ２Ｕ＿２×Ｂ２４）
【０１３５】
［数３６］
Ｇ３４’＝Ｇ３４−（Ｇ１Ｕ＿０×Ｒ３３＋Ｇ１Ｕ＿１×Ｇ３４＋Ｇ１Ｕ＿２×Ｂ２４）
【０１３６】
［数３７］
Ｇ５４’＝Ｇ５４−（Ｇ１Ｓ＿０×Ｒ５３＋Ｇ１Ｓ＿１×Ｇ５４＋Ｇ１Ｓ＿２×Ｂ６４）
【０１３７】
［数３８］
Ｇ６３’＝Ｇ６３−（Ｇ２Ｓ＿０×Ｒ５３＋Ｇ２Ｓ＿１×Ｇ５４＋Ｇ２Ｓ＿２×Ｂ６４）
【０１３８】
［数３９］
Ｇ７４’＝Ｇ７４−（Ｇ３Ｓ＿０×Ｒ５３＋Ｇ３Ｓ＿１×Ｇ５４＋Ｇ３Ｓ＿２×Ｂ６４）
【０１３９】
ここで、Ｇ１Ｕ＿０，Ｇ１Ｕ＿１，Ｇ１Ｕ＿２，Ｇ１Ｓ＿０，Ｇ１Ｓ＿１，Ｇ１Ｓ＿２，Ｇ２Ｕ＿０，Ｇ２Ｕ＿１，Ｇ２Ｕ＿２，Ｇ２Ｓ＿０，Ｇ２Ｓ＿１，Ｇ２Ｓ＿２，Ｇ３Ｕ＿０，Ｇ３Ｕ＿１，Ｇ３Ｕ＿２，Ｇ３Ｓ＿０，Ｇ３Ｓ＿１，Ｇ３Ｓ＿２は、重み係数である。
【０１４０】
また、ＡＦ画素補間部４５は、Ｂ色成分の撮像用画素の画素値を、［数４０］，［数４１］を用いて補正する。
【０１４１】
［数４０］
Ｂ２４’＝Ｂ２４−（Ｂ２Ｕ＿０×Ｒ３３＋Ｂ２Ｕ＿１×Ｇ３４＋Ｂ２Ｕ＿２×Ｂ２４）
【０１４２】
［数４１］
Ｂ６４’＝Ｂ６４−（Ｂ２Ｓ＿０×Ｒ５３＋Ｂ２Ｓ＿１×Ｇ５４＋Ｂ２Ｓ＿２×Ｂ６４）
【０１４３】
ここで、Ｂ２Ｕ＿０，Ｂ２Ｕ＿１，Ｂ２Ｕ＿２，Ｂ２Ｓ＿０，Ｂ２Ｓ＿１，Ｂ２Ｓ＿２は重み係数である。
【０１４４】
（隣接するＡＦ画素の画素値を用いたクリップ量の算出）
ＡＦ画素補間部４５は、隣接するＡＦ画素の画素値Ｘ４３，Ｙ４４を読み出し、［数４２］を用いてクリップ量Ｔｈ＿ＬＰＦを求める（Ｓ−２２）。
【０１４５】
［数４２］
Ｔｈ＿ＬＰＦ＝（Ｘ４３＋Ｙ４４）×Ｋ＿Ｔｈ＿ＬＰＦ
【０１４６】
ここで、Ｋ＿Ｔｈ＿ＬＰＦは係数であり、「１２７」程度の値が適用される。この係数Ｋ＿Ｔｈ＿ＬＰＦは、その値が大きいほど平滑化処理の効果が高くなる。
【０１４７】
（色成分毎の予測誤差を算出）
ＡＦ画素補間部４５は、［数４３］、［数４４］を用いて、同一列に配置された同一の色成分となる撮像用画素のうち、ＡＦ画素４１から遠い位置にある撮像用画素（遠位撮像用画素）の画素値と、ＡＦ画素４１から近い位置にある撮像用画素（近位撮像用画素）の画素値との差分を予測誤差として算出する（Ｓ−２３）。
【０１４８】
［数４３］
ｄｅｌｔａＲＵ＝Ｒ１３’−Ｒ３３’
ｄｅｌｔａＲＳ＝Ｒ７３’−Ｒ５３’
【０１４９】
［数４４］
ｄｅｌｔａＧＵ＝Ｇ１４’−Ｇ３４’
ｄｅｌｔａＧＳ＝Ｇ７４’−Ｇ５４’
【０１５０】
（予測誤差がクリップ範囲から越えているか否かを判定）
ＡＦ画素補間部４５は、［数４３］、［数４４］により求めた予測誤差ｄｅｌｔａＲＵ，ｄｅｌｔａＲＳ、ｄｅｌｔａＧＵ及びｄｅｌｔａＧＳの各値が、［数４２］にて求めたクリップ量に基づいたクリップ範囲（−Ｔｈ＿ＬＰＦ〜Ｔｈ＿ＬＰＦ）に含まれている否かを判定する（Ｓ−２４）。
【０１５１】
（クリップ処理）
ＡＦ画素補間部４５は、予測誤差ｄｅｌｔａＲＵ，ｄｅｌｔａＲＳ、ｄｅｌｔａＧＵ及びｄｅｌｔａＧＳのうち、クリップ範囲から外れている予測誤差に対して、クリップ処理を行う（Ｓ−２５）。ここで、クリップ処理とは、クリップ範囲から外れている予測誤差の値をクリップ範囲に含まれるようにクリッピングすることである。
【０１５２】
（近位撮像用画素の画素値に予測誤差を加算）
ＡＦ画素補間部４５は、［数４５］により、予測誤差を各列の近位撮像用画素の画素値に加算する（Ｓ−２６）。ここで、予測誤差は、［数４３］，［数４４］により求めた値、又は、クリッピングされた値である。
【０１５３】
［数４５］
Ｒ３３”＝Ｒ３３’＋ｄｅｌｔａＲＵ
Ｒ５３”＝Ｒ５３’＋ｄｅｌｔａＲＳ
Ｇ３４”＝Ｇ３４’＋ｄｅｌｔａＧＵ
Ｇ５４”＝Ｇ５４’＋ｄｅｌｔａＧＳ
【０１５４】
これにより、ＡＦ画素列の周囲の撮像用画素の画素値である、遠位撮像用画素の画素値及び近位撮像用画素の画素値がそれぞれ補正され、さらに、予測誤差を用いた平滑化処理により近位撮像用画素の画素値が補正される。
【０１５５】
（補正した撮像用画素の画素値をＳＤＲＡＭに記憶）
ＡＦ画素補間部４５は、重み係数により補正された遠位撮像用画素の画素値と、予測誤差により補正された近位撮像用画素の画素値とを、ＳＤＲＡＭ２７に記憶する（Ｓ−２７）。
【０１５６】
１回目の処理が完了すると、２回目の処理が実行される。
【０１５７】
（ＡＦ画素列の周囲の撮像用画素の画素値を重み係数により補正）
ＡＦ画素補間部４５は、１回目の処理により補正された撮像用画素の画素値を用いて、これら撮像用画素の画素値が閾値ＭＡＸ＿ＲＡＷ以上となるか否かを判定する。この判定結果に基づいて、設定された重み係数を用いて補正する（Ｓ−２８）。ここで、閾値ＭＡＸ＿ＲＡＷは、画素値が飽和しているか否かを判定するための閾値であり、１回目の処理（Ｓ−２１）と同一の値が用いられる。
【０１５８】
ＡＦ画素補間部４５は、撮像用画素の画素値が閾値ＭＡＸ＿ＲＡＷ以上となる場合に、撮像用画素の画素値に対して補正は行わない。ＡＦ画素補間部４５は、撮像用画素の画素値が閾値ＭＡＸ＿ＲＡＷ未満となる場合に、上述した［数３０］〜［数４１］における全ての重み係数を「０」に変えて補正する。つまり、この処理を行った場合、ＡＦ画素列の周囲に配置された撮像用画素の画素値は、元の画素値のままである。
【０１５９】
（隣接するＡＦ画素の画素値を用いたクリップ量の算出）
ＡＦ画素補間部４５は、隣接するＡＦ画素の画素値Ｘ４３，Ｙ４４を読み出し、上述した［数４２］を用いてクリップ量Ｔｈ＿ＬＰＦを求める（Ｓ−２９）。ここで、Ｋ＿Ｔｈ＿ＬＰＦの値は１回目の処理と同一の値が用いられる。
【０１６０】
（色成分毎の予測誤差を算出）
ＡＦ画素補間部４５は、上述した［数４３］、［数４４］を用いて、同一列に配置された同一の色成分となる撮像用画素のうち、遠位撮像用画素の画素値と、近位撮像用画素の画素値との差分を予測誤差として算出する（Ｓ−３０）。
【０１６１】
（予測誤差がクリップ範囲から越えているか否かを判定）
ＡＦ画素補間部４５は、上述した［数４３］、［数４４］により求めた予測誤差ｄｅｌｔａＲＵ，ｄｅｌｔａＲＳ、ｄｅｌｔａＧＵ及びｄｅｌｔａＧＳの各値が、［数４２］にて求めたクリップ量に基づいたクリップ範囲（−Ｔｈ＿ＬＰＦ〜Ｔｈ＿ＬＰＦ）に含まれているか否かを判定する（Ｓ−３１）。
【０１６２】
（クリップ処理）
ＡＦ画素補間部４５は、予測誤差ｄｅｌｔａＲＵ，ｄｅｌｔａＲＳ、ｄｅｌｔａＧＵ及びｄｅｌｔａＧＳのうち、クリップ範囲から外れている予測誤差に対して、クリップ処理を行う（Ｓ−３２）。
【０１６３】
（近位撮像用画素の画素値に予測誤差を加算）
ＡＦ画素補間部４５は、上述した［数４５］を用いて、各列の近位撮像用画素の画素値に加算する（Ｓ−３３）。
【０１６４】
これにより、２回目の処理においては、近位撮像用画素の画素値が予測誤差を用いて、さらに補正される。
【０１６５】
（補正した撮像用画素の画素値をＳＤＲＡＭに記憶）
ＡＦ画素補間部４５は、重み係数により補正された遠位撮像用画素の画素値と、予測誤差により補正された近位撮像用画素の画素値とを、ＳＤＲＡＭ２７に記憶する（Ｓ−３４）。
【０１６６】
このように、第３画素補間処理においては、上述した補正処理が２回繰り返し実行される。この補正処理が２回繰り返し実行された後、第２画素補間処理が実行される。
【０１６７】
（第２画素補間処理）
ＡＦ画素補間部４５は、ＳＤＲＡＭ２７に記憶した撮像用画素の画素値を用いて、上述した第２画素補間処理を実行する（Ｓ−３５）。これにより、ＡＦ画素に対応する撮像用画素の画素値が算出される。つまり、ＡＦ画素の画素値が補間される。
【０１６８】
（補間したＡＦ画素の画素値をＳＤＲＡＭに記憶）
ＡＦ画素補間部４５は、第２画素補間処理（Ｓ−３５）により補間したＡＦ画素の画素値をＳＤＲＡＭ２７に記憶する。
【０１６９】
この第３画素補間処理においては、補正処理を繰り返し２回実行することで、ＡＦ画素列の近傍の撮像用画素の画素値に対する平滑化処理を効果的に行っている。この平滑化処理を効果的に行うことで、ＡＦ画素に隣接する撮像用画素にて発生するフレアによる混色の影響を低減させることができる。また、混色の影響を低減した撮像用画素の画素値を用いてＡＦ画素に対する補間処理を行うので、ＡＦ画素においても、発生するフレアによる混色の影響が低減した画素値が得られる。つまり、フレアの影響を低減した画像を得ることができる。
【０１７０】
本実施形態では、画像中のＡＦ画素に対して補間処理を実行することを前提に説明している。しかしながら、ノイズリダクション（ＮＲ）機能を備えている電子カメラに対しても本実施形態を適用することが可能である。例えば３０秒以上シャッタ１６を開放する、所謂長秒時露光による撮影においては、シャッタ１６を開放した撮影、シャッタ１６を閉じた撮影をそれぞれ順に行っている。これら撮影によって得られる画像（記録用画像、暗黒画像）のそれぞれに対して、ノイズ判定部４６によるノイズ判定及びフレア判定部４７によるフレア判定を行って上述した画素補間処理のいずれかの処理を施す。そして、これら処理が施された記録用画像の各画素値から暗黒画像の各画素値を減算し、固定パターンノイズを除去した記録用画像を生成する。この際、記録用画像及び暗黒画像のそれぞれに対して、上述した画素補間処理を行うことで、偽色の発生が抑止された記録用画像と暗黒画像が生成される。つまり、最終的に得られる記録用画像においては、偽色の発生が抑止された画像となる。
【０１７１】
このような長秒時撮影は、夜間の星空など、被写体輝度が低い撮影条件下で行うことが多いことから、フレア判定部４７によるフレア判定を行わずに、ノイズ判定部４６によるノイズ判定のみを実行し、第１画素補間処理、又は第２画素補間処理のいずれかの画素補間処理を実行するかを決定することも可能である。
【０１７２】
なお、本実施形態では、ＡＦ画素の配列方向を水平走査方向としたが、本発明はこれに限定されず、ＡＦ画素は垂直走査方向又はその他の方向に配列されていても良い。
【０１７３】
なお、本実施形態では、ＡＦ画素の各々は左側又は右側からの光束を瞳分割する焦点検出画素としたが、本発明はこれに限定されず、ＡＦ画素の各々は左側及び右側からの光束を瞳分割する画素を有する焦点検出画素でも良い。
【０１７４】
なお、本実施形態では、ノイズ判定用テーブルを参照したノイズ判定（図５のフローチャート）について説明しているが、これに限定されず、例えば、条件式に基づいたノイズ判定を実施しても良い。以下、条件式を用いたノイズ判定について、図９のフローチャートに基づいて説明する。
【０１７５】
（撮像素子の温度がＴ３未満であるかの判定）
ＣＰＵ１１は、撮影時の撮像素子１７の温度、ＩＳＯ感度及びシャッタ速度の情報をノイズ判定部４６に送る。ノイズ判定部４６は、ＣＰＵ１１から送られた撮影時の撮像素子１７の温度がＴ３未満であるか否かを判定する（Ｓ−４１）。
【０１７６】
（−２４ｌｏｇ２Ｐ−２４ｌｏｇ２（Ｑ／３．１２５）≦Ｔｈ４を満足するかの判定）
ノイズ判定部４６は、撮像素子１７の温度がＴ３未満となる場合、送られたＩＳＯ感度Ｑ及びシャッタ速度Ｐが、［数４６］を満足するか否かを判定する（Ｓ−４２）
【０１７７】
［数４６］
−２４ｌｏｇ２Ｐ−２４ｌｏｇ２（Ｑ／３．１２５）≦Ｔｈ４
【０１７８】
なお、Ｔｈ４は閾値である。上述した式を満足する場合にはノイズが多いと判定され、満足しない場合にはノイズが少ないと判定される。
【０１７９】
例えばノイズ判定部４６でノイズが多いと判定されると、ＡＦ画素補間部４５は、第１画素補間処理を実行する。一方、ノイズ判定部４６でノイズが少ないと判定されると、フレア判定部４７によってフレアの発生がないかの判定が実行される（Ｓ−４５）
【０１８０】
（フレアの発生なしかの判定）
ＣＰＵ１１は、ノイズが少ないとノイズ判定部４６が判定した場合、フレア判定部４７を制御して、フレア判定部４７でフレアが生じてないか否かを判定する（Ｓ−４４）。ＡＦ画素補間部４５は、フレア判定部４７でフレアが発生しないと判定する場合、第２画素補間処理（Ｓ−４５）を、また、フレアが発生すると判定する場合には、第３画素補間処理（Ｓ−４６）を択一的に実行する。
【０１８１】
（撮像素子の温度がＴ３以上Ｔ４未満であるかの判定）
上述した撮像時の撮像素子１７の温度の判定（Ｓ−４１）で、撮像素子１７の温度がＴ３以上である場合には、ノイズ判定部４６は、撮像素子１７の温度がＴ３以上Ｔ４未満であるかを判定する（Ｓ−４７）。
【０１８２】
（−２４ｌｏｇ２Ｐ−２４ｌｏｇ２（Ｑ／３．１２５）≦Ｔｈ５を満足するかの判定）
ノイズ判定部４６は、撮像素子１７の温度がＴ３以上Ｔ４未満となる場合、送られたＩＳＯ感度Ｑ及びシャッタ速度Ｐが、［数４７］を満足するか否かを判定する（Ｓ−４８）。
【０１８３】
［数４７］
−２４ｌｏｇ２Ｐ−２４ｌｏｇ２（Ｑ／３．１２５）≦Ｔｈ５
【０１８４】
なお、Ｔｈ５は閾値である（Ｔｈ５＞Ｔｈ４）。上述した式を満足する場合にはノイズが多いと判定され、満足しない場合にはノイズが少ないと判定される。
【０１８５】
例えばノイズ判定部４６でノイズが多いと判定されると、ＡＦ画素補間部４５は、第１画素補間処理を実行する（Ｓ−４３）。一方、ノイズ判定部４６でノイズが少ないと判定されると、フレア判定部４７によってフレアの発生がないかを判定する（Ｓ−４４）。ＡＦ画素補間部４５は、フレア判定部４７でフレアが発生しないと判定する場合、第２画素補間処理（Ｓ−４５）を、また、フレアが発生すると判定する場合には、第３画素補間処理（Ｓ−４６）を択一的に実行する。
【０１８６】
（−２４ｌｏｇ２Ｐ−２４ｌｏｇ２（Ｑ／３．１２５）≦Ｔｈ６を満足するかの判定）
ノイズ判定部４６は、撮像素子１７の温度がＴ４以上となる場合、送られたＩＳＯ感度Ｑ及びシャッタ速度Ｐが、［数４８］を満足するか否かを判定する（Ｓ−４９）。
【０１８７】
［数４８］
−２４ｌｏｇ２Ｐ−２４ｌｏｇ２（Q／３．１２５）≦Ｔｈ６
【０１８８】
なお、Ｔｈ６は閾値である（Ｔｈ６＞Ｔｈ５）。上述した式を満足する場合にはノイズが多いと判定され、満足しない場合にはノイズが少ないと判定される。
【０１８９】
例えばノイズ判定部４６でノイズが多いと判定されると、ＡＦ画素補間部４５は、第１画素補間処理を実行する（Ｓ−４３）。一方、ノイズ判定部４６でノイズが少ないと判定されると、フレア判定部４７によってフレアの発生がないかを判定する（Ｓ−４４）。ＡＦ画素補間部４５は、フレア判定部４７でフレアが発生しないと判定する場合、第２画素補間処理（Ｓ−４５）を、また、フレアが発生すると判定する場合には、第３画素補間処理（Ｓ−４６）を択一的に実行する。
【０１９０】
このように、条件式を満足しているか否かを判定することで、撮像素子１７の温度により分類し、またＩＳＯ感度及びシャッタ速度を用いて条件式を満足するかを判定することで、画素補間処理の内容が選択できる。つまり、ノイズ判定用テーブルを参照しなくとも、ノイズ判定用テーブルを用いたノイズ判定と同様の効果を得ることができる。
【０１９１】
なお、本実施形態では電子カメラについて説明しているが、これに限定される必要はなく、電子カメラにて取得された画像を取り込んで画像処理を行う画像処理装置に対しても、図５，図６及び図８のフローチャートにおける処理を実行させることができる。また、この他に、図５，図６及び図８のフローチャートにおける処理をコンピュータで実現するためのプログラムに対しても適用可能である。なお、このプログラムは、メモリカード、光学ディスク、磁気ディスクなどのコンピュータにて読み取り可能な記憶媒体に記憶されていることが好ましい。
【符号の説明】
【０１９２】
１０…電子カメラ、１６…シャッタ、１７…撮像素子、２５…画像処理部、２７…ＳＤＲＡＭ、４１…ＡＦ画素、４５…ＡＦ画素補間部、４６…ノイズ判定部、４７…フレア判定部
【技術分野】
【０００１】
本発明は、撮像装置、画像処理装置及び画像処理プログラムに関する。
【背景技術】
【０００２】
従来、複数の撮像用画素を二次元状に配列した受光面の一部に焦点検出用の複数の画素を配列した撮像素子が知られている（特許文献１）。複数の撮像用画素は、複数の色成分の各々に対応する分光特性を有し、また、焦点検出用の画素（焦点検出用画素）は、複数の撮像用画素とは異なる分光特性を有する。複数の撮像用画素からは、画像を生成するための信号が読み出されて撮像用画素の画素値が決められ、また焦点検出用画素からは焦点検出のための信号が読み出されて焦点検出用画素の画素値が決められる。画素補間をする時には、撮像用画素の画素値のうち欠落する色成分の画素値を補間するとともに、焦点検出用画素の位置に対応する撮像用画素値を補間する。
【０００３】
特許文献１に記載の発明では、焦点検出用画素に対する補間処理を行うために、焦点検出用画素の近傍にある撮像用画素の画素値を用いて焦点検出用画素の補間画素値を生成し、前記近傍の撮像用画素が焦点検出用画素と同じ分光特性を有した場合の画素値である評価画素値を算出し、前記焦点検出用画素の画素値と前記評価画素値とを用いて画像の高周波成分を算出し、前記補間画素値に前記高周波成分を付加して焦点検出用画素の位置に対応する撮像用画素の画素値を算出している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−３０３１９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、ノイズが多く発生する撮影状態となる場合には、焦点検出用画素の周辺における撮像用画素の画素値が非常にばらついてしまう。このように、ばらついた撮像用画素の画素値を用いて焦点検出用画素の位置に対応する撮像用画素の画素値を算出するときには想定以上の補間が行われることもあり、画像中に偽色となる画素が発生する。例えば撮像素子に設けられる焦点検出用画素を水平ラインに沿って配置したときに、各焦点検出用画素のそれぞれで偽色が発生すると、画像の水平方向に沿って偽色の画素の領域が目立ち、ユーザの目に違和感を与える画像となってしまう。
【０００６】
本発明は、かかる点に鑑みてなされたものであり、ノイズが多く発生する場合であっても、画像中に偽色が発生しないように画素補間を行うことができるようにした撮像装置、画像処理装置及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明を例示する撮像装置の一態様は、撮像用画素と焦点検出用画素とを有する撮像素子と、前記撮像素子の駆動により得られる画像に重畳されるノイズ量を判定する判定部と、処理内容が異なる複数の補間処理のうち、前記判定部による前記ノイズ量の判定結果に応じた補間処理を前記画像に対して実行することで、前記焦点検出用画素に対する補間画素値を生成する画素補間部と、を備えたことを特徴とする。
【０００８】
また、前記判定部は、撮影時の撮影感度及び前記撮像素子における電荷蓄積時間を用いて、前記画像に重畳される前記ノイズ量を判定するものである。
【０００９】
また、前記撮像素子又は前記撮像装置に設けられる制御基板の温度を検出する温度検出部を備え、前記判定部は、前記撮影時の撮影感度及び前記撮像素子における電荷蓄積時間の他に、前記撮像素子又は前記制御基板の温度を用いて、前記画像に重畳される前記ノイズ量を判定するものである。
【００１０】
また、前記画素補間部は、前記判定部により前記画像に重畳されるノイズ量が多いと判定されるときに、前記焦点検出用画素の近傍に位置する前記撮像用画素の画素値を用いた補間処理を実行することで、前記焦点検出用画素に対する前記補間画素値を生成するものである。
【００１１】
また、前記画素補間部は、前記判定部により前記画像に重畳されるノイズ量が少ないと判定される場合に、前記焦点検出用画素及び該焦点検出用画素の近傍に位置する前記撮像用画素の画素値とを用いた補間処理を実行することで、前記焦点検出用画素に対する前記補間画素値を生成するものである。
【００１２】
また、被写体光を前記撮像素子に照射する開放位置と、前記被写体光を遮光する遮光位置との間で移動するシャッタを備え、前記画像は、前記シャッタが前記開放位置に前記電荷蓄積時間保持されたときに得られる第１画像と、前記シャッタが前記遮光位置に前記電荷蓄積時間保持したときに得られる第２画像とからなり、前記画素補間部は、前記第１画像及び前記第２画像に対して、前記ノイズ量の推定結果に基づく前記補間処理を実行するものである。
【００１３】
この場合、前記画素補間部により補間処理が施された前記第１画像の各画素値から、前記第２画像の各画素値を減算する画像処理部を、さらに備えていることが好ましい。
【００１４】
また、本発明の画像処理装置は、撮像用画素と焦点検出用画素とを有する撮像素子を用いて取得された画像を取り込む画像取込部と、前記画像に重畳されるノイズ量を判定する判定部と、処理内容が異なる複数の補間処理のうち、前記判定部による前記ノイズ量の判定結果に応じた補間処理を前記画像に対して実行することで、前記焦点検出用画素に対する補間画素値を生成する画素補間部と、を備えたことを特徴とする。
【００１５】
また、本発明の画像処理プログラムは、撮像用画素と焦点検出用画素とを有する撮像素子を用いて取得された画像を取り込む画像取込工程と、前記画像に重畳されるノイズ量を判定する判定工程と、処理内容が異なる複数の補間処理のうち、前記判定工程による前記ノイズ量の判定結果に応じた補間処理を前記画像に対して実行することで、前記焦点検出用画素に対する補間画素値を生成する画素補間工程と、をコンピュータに実行させることが可能な、コンピュータ読み取り可能なものである。
【発明の効果】
【００１６】
本発明によれば、ノイズが多く発生する場合であっても、画像中に偽色が発生しないように画素補間を行うことができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の電子カメラの電気的構成を示す機能ブロック図である。
【図２】撮像用画素及びＡＦ画素の配置例を示す図である。
【図３】ＡＦ画素が配置された領域を中心とした画像データの一部を示す図である。
【図４】ノイズ判定部及びフレア判定部を備えたＡＦ画素補間部を示す図である。
【図５】ＡＦ画素補間部の作用を説明するフローチャートである。
【図６】第２画素補間処理の流れを示すフローチャートである。
【図７】本実施形態の効果が発揮される画像構造の一例を表す図である。
【図８】第３画素補間処理の流れを示すフローチャートである。
【図９】ＡＦ画素補間部の作用を説明するフローチャートである。
【発明を実施するための最良の形態】
【００１８】
図１に示すように、本発明を適用した電子カメラ１０は、ＣＰＵ１１を備えている。ＣＰＵ１１には、不揮発性メモリ１２、及びワークメモリ１３が接続されており、不揮発性メモリ１２には、ＣＰＵ１１が種々の制御を行う際に参照される制御プログラムなどが格納されている。さらに、不揮発性メモリ１２には、詳しくは後述する撮像素子のＡＦ画素の位置座標を示すデータ、予め求めておいた画像処理プログラムに用いる各種閾値や加重係数等のデータ、及び各種判定用テーブル等を記憶する。
【００１９】
ＣＰＵ１１は、不揮発性メモリ１２に格納されている制御プログラムに従い、ワークメモリ１３を一時記憶作業領域として利用して各部の制御を行い、電子カメラ１０を構成する各部（回路）機能を作動させる。
【００２０】
撮影レンズ１４から入射する被写体光は、絞り１５、シャッタ１６を介してＣＣＤやＣＭＯＳ等の撮像素子１７の受光面に結像する。撮像素子駆動回路１８は、ＣＰＵ１１からの制御信号に基づいて撮像素子１７を駆動させる。撮像素子１７は、ベイヤー配列型単板撮像素子になっており、前面には原色透過フィルタ１９が取り付けられている。
【００２１】
原色透過フィルタ１９は、撮像素子１７の総画素数Ｎに対して、例えば、Ｇ（緑色）の解像度がＮ／２、Ｒ（赤色）及びＢ（青色）の解像度がＮ／４となる原色ベイヤー配列になっている。
【００２２】
撮像素子１７の受光面に結像した被写体像は、アナログの画像信号に変換される。画像信号は、ＡＦＥ（Analog Front End）回路を構成するＣＤＳ２１、及びＡＭＰ２２に順に出力し、ＡＦＥ回路で所定のアナログ処理が施され、その後、Ａ／Ｄ（Analog/Digital変換器）２３においてデジタルの画像データに変換されて画像処理部２５に送られる。
【００２３】
画像処理部２５は、分離回路、ホワイトバランス処理回路、画素補間（デモザイキング）回路、マトリクス処理回路、非線形変換（γ補正）処理回路、及び輪郭強調処理回路等を備え、デジタルの画像データに対して、ホワイトバランス、画素補間、マトリクス、非線形変換（γ補正）、及び輪郭強調等の処理を施す。分離回路は、詳しくは後述する撮像用画素から出力される信号と、焦点検出用画素から出力される信号とを分離する。画素補間回路は、１画素当たり１色のベイヤー配列信号を、１画素当たり３色からなる通常のカラー画像信号に変換する。
【００２４】
画像処理部２５から出力される３色の画像データは、バス２６を通じてＳＤＲＡＭ２７に格納される。ＳＤＲＡＭ２７に格納した画像データは、ＣＰＵ１１の制御により読み出されて表示制御部２８に送られる。表示制御部２８は、入力された画像データを表示用の所定方式の信号（例えば、ＮＴＳＣ方式のカラー複合映像信号）に変換して表示部２９にスルー画像として出力する。
【００２５】
また、シャッタレリーズに応答して取得した画像データは、ＳＤＲＡＭ２７から読み出した後に圧縮伸長処理部３０に送られ、ここで圧縮処理が施されてからメディアコントローラ３１を介して記録媒体であるメモリカード３２に記録される。
【００２６】
ＣＰＵ１１には、レリーズボタン３３や電源スイッチ（不図示）が接続されているとともに、撮像素子１７の温度を検出する温度検出部３４から温度情報が入力される。この情報は、画像処理部２５に送られ、詳しくは後述するノイズを判定する時に利用される。
【００２７】
ＡＷＢ／ＡＥ／ＡＦ検出部３５は、焦点検出用画素（ＡＦ画素）の信号に基づいて瞳分割型位相差検出方式によりデフォーカス量、及びデフォーカスの方向を検出する。ＣＰＵ１１は、ＡＷＢ／ＡＥ／ＡＦ検出部３５で得られるデフォーカス量、及びデフォーカスの方向に基づいてドライバ３６を制御して合焦モータ３７を駆動してフォーカスレンズを光軸方向で進退させて焦点調整を行う。
【００２８】
また、ＡＷＢ／ＡＥ／ＡＦ検出部３５は、撮像用画素の信号に基づいて算出される測光輝度値（Ｂｖ）と、撮影者がＩＳＯ感度設定部３８で設定したＩＳＯ感度値（Ｓｖ）とから光値（Ｌｖ＝Ｓｖ＋Ｂｖ）を算出する。そして、ＡＷＢ／ＡＥ／ＡＦ検出部３５は、露出値（Ｅｖ＝Ａｖ＋Ｔｖ）が求めた光値Ｌｖになるように、絞り値とシャッタ速度とを決定する。この決定に基づいて、ＣＰＵ１１は、絞り駆動部３９を駆動させ、求めた絞り値となるように絞り１５の絞り径を調整する。これに併せて、ＣＰＵ１１は、シャッタ駆動部４０を駆動させ、求めたシャッタ速度にて、シャッタ１６が開放されるように、シャッタ１６の開閉動作を実行する。
【００２９】
ＡＷＢ／ＡＥ／ＡＦ検出部３５は、オートホワイトバランス調整時に、ＳＤＲＡＭ２７に取り込んだ１画面の画像データから間引き読み出しを行い、例えば２４×１６のＡＷＢ評価用データを生成する。そして、ＡＷＢ／ＡＥ／ＡＦ検出部３５は、生成したＡＷＢ評価用データを用いて光源種判別を行い、判別された光源種に適したホワイトバランス調整値に従って各色チャンネルの信号に補正をかける。
【００３０】
撮像素子１７は、その受光面上にある複数の撮像用画素の各々に、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のいずれかの原色透過フィルタ１９がベイヤー配列型に設けられ、その上にマイクロレンズアレイが設けられたＣＣＤやＣＭＯＳの半導体イメージセンサ等を適宜選択して用いる。さらに、本実施形態の撮像素子１７は、受光面上の一部の領域に、水平走査方向に一次元的に配置された複数のＡＦ画素４１を有する。それらのＡＦ画素４１には、原色透過フィルタ１９が設置されていない。また、ＡＦ画素４１は、撮影レンズ１４の光学系の瞳の左側又は右側を通過する光束を受光する２種類存在する。撮像素子１７は、撮像用画素群、及びＡＦ画素群からの画素信号を個別に読み出しすることができる。
【００３１】
図２に示すように、ＡＦ画素４１は、セル中心（マイクロレンズの中心）から一方に偏ったセンサ開口部４１ａ，４１ｂを持ち、その偏りの方向に沿って１次元状に並べられている。センサ開口部４１ａ，４１ｂは、偏りが互いに逆方向であり、その偏りの距離は同一である。センサ開口部４１ａを有するＡＦ画素４１は、ＲＧＢ原色ベイヤー配列中のＧ画素の代わりに置かれ、また、センサ開口部４１ｂを有するＡＦ画素４１は、ＲＧＢ原色ベイヤー配列中のＢ画素の代わりに置かれている。このようなセンサ開口部４１ａ，４１ｂをもつＡＦ画素４１によって瞳分割位相差ＡＦ方式を実現する。つまり、射出瞳を通る光束の中で撮影レンズ１４の光軸に対して対称な位置にある２つの部分光束を、センサ開口部４１ａをもつＡＦ画素４１とセンサ開口部４１ｂをもつＡＦ画素４１でそれぞれ受光すれば、２つの画素４１から出力された信号の位相差によりフォーカスずれの方向(フォーカシングレンズの移動方向)と、フォーカスずれの量(フォーカシングレンズの移動量)が分かる。これにより速やかなフォーカス合わせが可能になる。
【００３２】
したがって、本実施形態におけるＡＦ画素４１の各々は、白色光の輝度に応じた左側又は右側の瞳分割された検出信号を出力する。図３は、撮像素子１７によって撮像された画像データのうち、ＡＦ画素４１が配置された領域を中心とした画像データの一部を示す。それぞれのセルが１つの画素を表す。各セルの先頭の記号Ｒ、Ｇ及びＢは、各原色透過フィルタ１９を有する撮像用画素を示す。一方、記号Ｘ及びＹは、左側又は右側からの光束に感度を有するＡＦ画素を示し、それらが交互に水平走査方向に一次元的に配列されている。これらの記号に続く２桁の番号は画素の位置を示す。
【００３３】
画素補間部は、撮像用画素の画素値を用いてＡＦ画素４１の画素値を補間するＡＦ画素補間部４５と、ＡＦ画素の画素値を補間した後に、ベイヤー配列からＲＧＢへの線形補間法による色補間を行う画素補間部とを備える。
【００３４】
図４に示すように、ＡＦ画素補間部４５は、ノイズ判定部４６、及びフレア判定部４７を備え、これら判定に基づいて異なるＡＦ画素補間処理を行う。ノイズ判定部４６は、撮影時の撮影条件に基づいてノイズが多く発生する条件かを判定する。撮影条件は、撮像素子１７の温度、ＩＳＯ感度、及びシャッタ速度等になっている。撮像素子１７の温度情報は、ＣＰＵ１１から得られる。また、温度情報とともに、撮影時に設定されているＩＳＯ感度やシャッタ速度の情報もＣＰＵ１１から得られる。
【００３５】
ノイズ判定部４６は、撮像素子１７の温度、ＩＳＯ感度、及びシャッタ速度との情報に基づいてノイズが多いか少ないかを判定する。なお、撮像素子１７を実装するメイン基板に温度検出部を設け、メイン基板の温度、又は撮像素子１７の周囲の温度を、撮像素子１７の温度の代わりに利用してもよい。さらに、ノイズ判定に利用する情報としては、撮像素子１７の温度、ＩＳＯ感度及びシャッタ速度との３つの情報に限らず、このうちのいずれか一つ、又は２つの情報としてもよい。
【００３６】
ノイズが多いとノイズ判定部４６が判定する場合には、ＡＦ画素の画素値を用いず、その周囲の撮像用画素の画素値を用いて、例えば単純平均補間を行う第１画素補間処理を行う。ノイズが少ないと判定する場合には、フレア判定部４７でフレア判定を行い、フレアが発生しているか否かに応じて、前記第１画素補間処理とは異なる第２、又は第３の画素補間処理を行う。
【００３７】
フレア判定部４７は、画像データの輝度ヒストグラムに基づいて輝度が高い領域（高輝度領域）を抽出した後、抽出された高輝度領域に、例えばマゼンタ色が存在するか判定し、マゼンタ色が存在する場合、マゼンタ色となる領域（マゼンタ領域）における輝度成分のエッジ量及び分散値を算出し、「マゼンタ領域の総面積」、「分散値／マゼンタ領域の総面積」、「マゼンタ領域における輝度成分の平均エッジ量」を各々閾値判定してフレアが発生しているか否かを判定する。
【００３８】
なお、フレア判定としては、ジャイロセンサ又は加速度センサ等の姿勢検出部を設け、姿勢検出部から得られる出力値に基づく演算により撮影レンズ１４の水平に対する仰角をＣＰＵ１１が求め、仰角とともに被写体距離、被写体輝度、撮影モード等の情報をフレア判定部４７に送り、フレア判定部４７で、仰角、被写体距離、被写体輝度、撮影モード等の情報に基づいて、屋外であるか屋内であるかの区別と、昼夜の区別と、及びカメラを上に向けたときの撮影画角に被写体として空が入っているかの区別とを行って、フレアが発生するか否かの判定を行ってもよい。
【００３９】
ＡＦ画素補間部４５は、フレアが生じていないと判定する場合には、ＡＦ画素の画素値及び撮像用画素の画素値を用いて、ＡＦ画素の画素値を補間する第２画素補間処理を実行する。この第２画素補間処理は、ＡＦ画素の画素値（ホワイト（Ｗ）成分）から撮像用画素の画素値を元に加重和で予測することで、そのＡＦ画素の画素値を補間する。
【００４０】
ＡＦ画素補間部４５は、フレアが生じていると判定する場合には、第３画素補間処理を実行する。第３画素補間処理は、ＡＦ画素の周囲の撮像用画素の画素値を重み係数により補正し、補正した撮像用画素の画素値を平滑化する処理を複数回（本実施形態では２回）実行する。詳細は後述するが、２回目の補正を行う際には、重み付け係数を「０」にする。つまり、２回目の処理においては、ＡＦ画素の周囲の撮像用画素の画素値を重み係数により補正する処理は行わずに、撮像用画素の画素値を平滑化する処理のみが実行される。この複数回の処理の後、ＡＦ画素の画素値（ホワイト（Ｗ）成分）から補正された撮像用画素の画素値を元に加重和で予測することで、そのＡＦ画素の画素値を補間する第２画素補間処理を実行する。これにより、ＡＦ画素の周囲の撮像用画素に対してフレアにおける混色の影響を抑制することができる。よって、第２画素補間処理を行うに当たって、ＡＦ画素を撮像用画素として生成した画素値にも混色の影響が抑制される。
【００４１】
次に、ＡＦ画素補間部４５の作用について図５を参照しながら説明する。なお、本実施形態において、撮像用画素の各々に設置される原色透過フィルタ１９がベイヤー配列のパターンであることから、図３に示す記号ＸのＡＦ画素の位置には緑色（Ｇ）の撮像用画素の画素値が補間され、記号ＹのＡＦ画素の画素位置には青色（Ｂ）の撮像用画素の画素値が補間される。以下の説明では、Ｙ４４の青色の撮像用画素の画素値とＸ４５の緑色の撮像用画素の画素値とをそれぞれ補間する場合について説明する。他のＡＦ画素における撮像用画素の画素値を補間する手順も同様である。
【００４２】
［ノイズ判定］
ＣＰＵ１１は、Ａ／Ｄ２３から送られてくる画像データをノイズ判定部４６に送る。また、ＣＰＵ１１は、撮影時の撮像素子１７の温度、ＩＳＯ感度、及びシャッタ速度の情報をノイズ判定部４６に送る。こうして、ＣＰＵ１１は、ノイズ判定部４６を制御して、ノイズ判定部４６で画像データに対してノイズが多いか少ないかを判定する（Ｓ−１）。
【００４３】
ノイズ判定部４６の判定は、ノイズ判定用テーブルを参照して実行される。ノイズ判定用テーブルは、撮像素子１７の温度範囲毎に複数用意されており、これらは不揮発性メモリ１２に予め記憶されている。ＣＰＵ１１は、画像データを取得した時の撮像素子１７の温度に対応するノイズ判定用テーブルをノイズ判定部４６に送る。
【００４４】
ノイズ用判定テーブルとしては、例えば撮像素子１７の温度がＴ１未満の時には［表１］に記載のテーブルを、またＴ１以上Ｔ２未満の範囲の時には［表２］に記載のテーブルを選択する。各テーブルには、シャッタ速度（Ｐ）とＩＳＯ感度（Ｑ）とで決めるノイズの予測結果が予め行った実験に基づいて決められている。
【００４５】
【表１】
【００４６】
【表２】
【００４７】
ノイズが多いと判定する場合は、ＡＦ画素の画素値を用いず、その周囲の撮像用画素の画素値を用いて第１画素補間処理を行う（Ｓ−２）。
【００４８】
［第１画素補間処理］
第１画素補間処理としては、例えばＡＦ画素の周囲に位置する撮像用画素の画素値を平均補間して求める。具体的には、図３において、Ｂ画素の代わりに置かれたＡＦ画素Ｙ４２の画素値は［数１］に記載の式から、また、ＡＦ画素Ｙ４４の画素値は［数２］に記載の式から、さらに、ＡＦ画素Ｙ４６の画素値は［数３］に記載の式からそれぞれ求める。
【００４９】
［数１］
Ｙ４２＝（Ｂ２２＋Ｂ６２）／２
【００５０】
［数２］
Ｙ４４＝（Ｂ２４＋Ｂ６４）／２
【００５１】
［数３］
Ｙ４６＝（Ｂ２６＋Ｂ６６）／２
【００５２】
また、Ｇ画素の代わりに置かれたＡＦ画素Ｘ４３の画素値は［数４］に記載の式から、また、ＡＦ画素Ｘ４５の画素値は、［数５］に記載の式からそれぞれ求める。
【００５３】
［数４］
Ｘ４３＝（Ｇ３２＋Ｇ３４＋Ｇ５２＋Ｇ５４）／４
【００５４】
［数５］
Ｘ４５＝（Ｇ３４＋Ｇ３６＋Ｇ５４＋Ｇ５６）／４
【００５５】
このように、ノイズが多い場合には、ＡＦ画素の画素値を用いないで、その周辺の画素値のみからＡＦ画素の画素値を予測するため、予測するＡＦ画素の画素値がばらつき想定以上の補間をしてしまい、偽色とよばれる実際には存在しない色が発生することや、偽構造とよばれる存在しない構造が発生することを極力抑えることができる。なお、ＡＦ画素の画素値を撮像用画素の画素値に補間した画像データは、画像処理部２５でベイヤー配列からＲＧＢへの線形補間法による色補間が行われ、ＲＧＢ毎の画像データとしてＳＤＲＡＭ２７に格納される。
【００５６】
［フレア判定］
ＣＰＵ１１は、ノイズが少ないとノイズ判定部４６が判定した場合、フレア判定部４７を制御して、フレア判定部４７でフレアが生じているかを判定する（Ｓ−３）。ＡＦ画素補間部４５は、フレア判定部４７でフレアが発生しないと判定する場合、第２画素補間処理（Ｓ−４）を、また、フレアが発生すると判定する場合には、第３画素補間処理（Ｓ−５）を択一的に実行する。
【００５７】
［第２画素補間処理］
ＡＦ画素の周辺の撮像用画素の画素値を用いて、画素値の変化率である変動値が最小となる方向を求める。そして、変動の最も小さい方向にある撮像用画素の画素値を用いてＡＦ画素の画素値を補間する。
【００５８】
（最小となる変動値の方向を算出）
ＡＦ画素補間部４５は、Ｘ４５及びＹ４４のＡＦ画素に対する補間を行うために、Ｘ４５及びＹ４４の周辺の撮像用画素の画素値を用いて４方向の画素値の変化率である方向変動Ｈ１〜Ｈ４の値を［数６］〜［数９］を用いてそれぞれ求める（Ｓ−６）。なお、本実施形態における４方向とは、水平走査方向、垂直走査方向、水平走査方向に対して４５度及び１３５度方向である。
【００５９】
［数６］
水平走査方向の方向変動Ｈ１＝
２×（｜Ｇ３４−Ｇ３６｜＋｜Ｇ５４−Ｇ５６｜）＋｜Ｒ３３−Ｒ３５｜＋｜Ｒ５３−Ｒ５５｜＋｜Ｂ２４−Ｂ２６｜＋｜Ｂ６４−Ｂ６６｜
【００６０】
［数７］
垂直走査方向の方向変動Ｈ２＝
２×（｜Ｇ３４−Ｇ５４｜＋｜Ｇ３６−Ｇ５６｜）＋｜Ｒ３３−Ｒ５３｜＋｜Ｒ３５−Ｒ５５｜＋｜Ｂ２４−Ｂ６４｜＋｜Ｂ２６−Ｂ６６｜
【００６１】
［数８］
水平走査方向に対して４５度の方向変動Ｈ３＝
２×（｜Ｇ２７−Ｇ３６｜＋｜Ｇ５４−Ｇ６３｜）＋｜Ｒ３５−Ｒ５３｜＋｜Ｒ３７−Ｒ５５｜＋｜Ｂ２６−Ｂ６２｜＋｜Ｂ２８−Ｂ６４｜
【００６２】
［数９］
水平走査方向に対して１３５度の方向変動Ｈ４＝
２×（｜Ｇ２３−Ｇ３４｜＋｜Ｇ５６−Ｇ６７｜）＋｜Ｒ３３−Ｒ５５｜＋｜Ｒ３５−Ｒ５７｜＋｜Ｂ２２−Ｂ６６｜＋｜Ｂ２４−Ｂ６８｜
【００６３】
（最小変動値の方向に応じた周辺の撮像用画素の画素値を用いてＡＦ画素の画素値を補間）
ＡＦ画素補間部４５は、ステップ（Ｓ−６）で求めた方向変動Ｈ１〜Ｈ４のうち最も小さい値の方向変動の方向を選択し、その方向にある撮像用画素の画素値を用いて、ＡＦ画素Ｘ４５の位置でのＧの撮像用画素の画素値ＧＸ４５及びＡＦ画素Ｙ４４の位置でのＢの撮像用画素の画素値ＢＹ４４を［数１０］〜［数１３］のうちの選択した方向に対応する式を用いて求める（Ｓ−７）。これにより、変動の小さい方向にある撮像用画素の画素値を用いることにより、より正確にＸ４５及びＹ４４等のＡＦ画素に対する補間を行うことが可能となる。
【００６４】
［数１０］
方向変動Ｈ１が最小の場合
ＢＹ４４＝（Ｂ２４＋Ｂ６４）／２
ＧＸ４５＝（Ｇ３４＋Ｇ３６＋Ｇ５４＋Ｇ５６）／４
【００６５】
［数１１］
方向変動Ｈ２が最小の場合
ＢＹ４４＝（Ｂ２４＋Ｂ６４）／２
ＧＸ４５＝（Ｇ２５＋Ｇ６５）／２
【００６６】
［数１２］
方向変動Ｈ３が最小の場合
ＢＹ４４＝（Ｂ２６＋Ｂ６２）／２
ＧＸ４５＝（Ｇ３６＋Ｇ５４）／２
【００６７】
［数１３］
方向変動Ｈ４が最小の場合
ＢＹ４４＝（Ｂ２２＋Ｂ６６）／２
ＧＸ４５＝（Ｇ３４＋Ｇ５６）／２
【００６８】
ＡＦ画素補間部４５は、ＡＦ画素の配列方向である水平走査方向において、ＡＦ画素の画素値の方向変動Ｈ５を、例えば、ＡＦ画素のＹ４４及びＸ４５の白色光の画素値Ｗ４４及びＷ４５と、［数１４］とを用いて算出する。
【００６９】
［数１４］
Ｈ５＝｜Ｗ４４−Ｗ４５｜
【００７０】
ＡＦ画素補間部４５は、その方向変動Ｈ５の値が閾値Ｔｈ１を越えるか否かを判定する（Ｓ−８）。方向変動Ｈ５が閾値Ｔｈ１を超える値の場合（ＹＥＳ側）、ＡＦ画素補間部４５は、ステップ（Ｓ−７）で求めたＢＹ４４及びＧＸ４５の補間した値をＹ４４及びＸ４５における撮像用画素の画素値とし、画像データを更新する。画像処理部２５は、更新した画像データに対して３色の画素補間を施して３色の画像データを生成し、３色の画像データを、バス２６を介してＳＤＲＡＭ２７に記録する（Ｓ−９）。
【００７１】
一方、方向変動Ｈ５が閾値Ｔｈ１以下となる場合（ＮＯ側）、画像処理部２５は、（Ｓ−１０）へ移行する。なお、閾値Ｔｈ１は、例えば、１２ビット画像を処理する場合、５１２程度の値にすれば良い。
【００７２】
ＡＦ画素補間部４５は、ステップ（Ｓ−６）で求めた方向変動Ｈ２が閾値Ｔｈ２を越えるか否かを判定する（Ｓ−１０）。方向変動Ｈ２が閾値Ｔｈ２を超える値の場合（ＹＥＳ側）、ＡＦ画素補間部４５は、ステップ（Ｓ−７）で求めたＢＹ４４及びＧＸ４５の補間した値をＹ４４及びＸ４５における撮像用画素の画素値とし、画像データを更新する。画像処理部２５は、更新した画像データに対して３色の画素補間を施して３色の画像データを生成し、３色の画像データを、バス２６を介してＳＤＲＡＭ２７に格納する（Ｓ−９）。
【００７３】
一方、方向変動Ｈ２が閾値Ｔｈ２以下となる場合（ＮＯ側）、画像処理部２５は、（Ｓ−１１）へ移行する。なお、閾値Ｔｈ２は、例えば、１２ビット画像を処理する場合、６４程度の値にすれば良い。
【００７４】
その後、ＡＦ画素補間部４５は、右側からの光束に感度を有するＹ４４等のＡＦ画素における白色光の平均画素値＜Ｗ４４＞等を、近傍にある色成分Ｒ、Ｇ及びＢの撮像用画素の画素値を用いて算出する（Ｓ−１１）。具体的には、ステップ（Ｓ−６）において、例えば、画像処理部２５が方向変動Ｈ２を最小であると判定した場合、Ｂの撮像用画素の画素値は［数１１］に記載の式にあるＢ２４とＢ６４とを用いる。一方、Ｒ及びＧの画素値については、Ｂの撮像用画素Ｂ２４とＢ６４との位置におけるＲ及びＧの画素値を、［数１５］に記載の４つの式を用いて補間計算する。
【００７５】
［数１５］
(1)ＲＢ２４＝（Ｒ１３＋Ｒ１５＋Ｒ３３＋Ｒ３５）／４
(2)ＧＢ２４＝（Ｇ１４＋Ｇ２３＋Ｇ２５＋Ｇ３４）／４
(3)ＲＢ６４＝（Ｒ５３＋Ｒ５５＋Ｒ７３＋Ｒ７５）／４
(4)ＧＢ６４＝（Ｇ５４＋Ｇ６３＋Ｇ６５＋Ｇ７４）／４
【００７６】
そして、ＡＦ画素補間部４５は、撮像用画素Ｂ２４及びＢ６４の位置における白色光の画素値Ｗ２４及びＷ６４を、ＣＰＵ１１から転送されてきたＲ、Ｇ及びＧの加重係数ＷＲ、ＷＧ及びＷＢを用いて、［数１６］に記載の式の加重和によって算出する。なお、加重係数ＷＲ、ＷＧ及びＷＢの求め方については後述する。
【００７７】
［数１６］
Ｗ２４＝ＷＲ×ＲＢ２４＋ＷＧ×ＧＢ２４＋ＷＢ×Ｂ２４
Ｗ６４＝ＷＲ×ＲＢ６４＋ＷＧ×ＧＢ６４＋ＷＢ×Ｂ６４
【００７８】
そして、画像処理部２５は、Ｙ４４における白色光の平均画素値＜Ｗ４４＞＝（Ｗ２４＋Ｗ６４）／２を算出する。
【００７９】
ＡＦ画素補間部４５は、左側からの光束に感度を有するＸ４５等のＡＦ画素における白色光の平均画素値＜Ｗ４５＞等を、ステップ（Ｓ−１１）の場合と同様に、近傍にある色成分Ｒ、Ｇ及びＢの撮像用画素の画素値を用いて算出する（Ｓ−１２）。ステップ（Ｓ−６）において、画像処理部２５が方向変動Ｈ２を最小であると判定した場合、Ｇの撮像用画素の画素値は、［数１１］に記載の式にあるＧ２５とＧ６５とを用いる。一方、Ｒ及びＢの画素値については、Ｇの撮像用画素Ｇ２５とＧ６５との位置におけるＲ及びＢの画素値を［数１７］に記載の４つの式を用いて補間計算する。
【００８０】
［数１７］
(1)ＲＧ２５＝（Ｒ１５＋Ｒ３５）／２
(2)ＢＧ２５＝（Ｂ２４＋Ｂ２６）／２
(3)ＲＧ６５＝（Ｒ５５＋Ｒ７５）／２
(4)ＢＧ６５＝（Ｂ６４＋Ｂ６６）／２
【００８１】
そして、ＡＦ画素補間部４５は、撮像用画素Ｇ２５及びＧ６５の位置における白色光の画素値Ｗ２５及びＷ６５を、［数１８］に記載の式の加重和によって算出する。
【００８２】
［数１８］
Ｗ２５＝ＷＲ×ＲＧ２５＋ＷＧ×Ｇ２５＋ＷＢ×ＢＧ２５
Ｗ６５＝ＷＲ×ＲＧ６４＋ＷＧ×Ｇ２５＋ＷＢ×ＢＧ６５
【００８３】
そして、画像処理部２５は、Ｘ４５における白色光の平均画素値＜Ｗ４５＞＝（Ｗ２５＋Ｗ６５）／２を算出する。
【００８４】
ＡＦ画素補間部４５は、撮像素子１７の各ＡＦ画素における白色光の画素値の高周波成分を、（Ｓ−１１）及び（Ｓ−１２）において求めた白色光の平均画素値を用いて求める（Ｓ−１３）。ＡＦ画素補間部４５は、撮像素子１７の各ＡＦ画素の画素値から、各ＡＦ画素の画素位置における白色光の平均画素値を最初に求める。つまり、各ＡＦ画素の画素値は、左側又は右側からの光束を瞳分割した値である。したがって、各ＡＦ画素の位置における白色光の画素値を得るためには、左側及び右側からの光束の画素値を互いに加算する必要がある。そこで、本実施形態のＡＦ画素補間部４５は、各ＡＦ画素の画素値及び隣接するＡＦ画素の画素値を用いて、例えば、ＡＦ画素Ｙ４４やＸ４５の位置における白色光の平均画素値を［数１９］に記載の式を用いて算出する。
【００８５】
［数１９］
＜Ｗ４４＞’＝Ｗ４４＋（Ｗ４３＋Ｗ４５）／２
＜Ｗ４５＞’＝Ｗ４５＋（Ｗ４４＋Ｗ４６）／２
【００８６】
なお、ステップ（Ｓ−１３）で説明した［数１９］において、ＡＦ画素の配列方向に隣接するＡＦ画素の画素値を用いて、各ＡＦ画素の位置における白色光の画素値を算出するので、配列方向に強い変動がある場合には、高周波成分の計算が不正確になり、白色光の画素値の配列方向の解像力が失われるおそれがある。そこで、前述したステップ（Ｓ−８）では、配列方向に強い変動がある場合に、高周波成分の付加を中止するようにしている。
【００８７】
その後、ＡＦ画素補間部４５は、［数２０］に記載の式から、Ｙ４４及びＸ４５の位置における白色光の高周波成分ＨＦＹ４４及びＨＦＸ４５を求める。
【００８８】
［数２０］
ＨＦＹ４４＝＜Ｗ４４＞’−＜Ｗ４４＞
ＨＦＸ４５＝＜Ｗ４５＞’−＜Ｗ４５＞
【００８９】
ＡＦ画素補間部４５は、ステップ（Ｓ−１３）で求めた各ＡＦ画素の位置における白色光の画素値の高周波成分ＨＦがその白色光の画素値に占める割合が、閾値Ｔｈ３（本実施形態では、例えば、１０％程度）より小さいか否かを判定する（Ｓ−１４）。閾値Ｔｈ３より高周波成分ＨＦが小さい場合（ＹＥＳ側）、ＡＦ画素補間部４５は、ステップＳ１２で求めたＢＹ４４及びＧＸ４５の補間した値をＹ４４及びＸ４５における撮像用画素の画素値とし、画像データを更新する。画像処理部２５は、更新した画像データに対して３色の画素補間を施して３色の画像データを生成し、３色の画像データを、バス２６を介してＳＤＲＡＭ２７に格納する（Ｓ−９）。
【００９０】
一方、高周波成分ＨＦが閾値Ｔｈ３以上の場合（ＮＯ側）、ＡＦ画素補間部４５は、ステップ（Ｓ−１５）へ移行する。なお、閾値Ｔｈ３の値についての説明は、後の加重係数ＷＲ、ＷＧ及びＷＢの説明とともに行う。
【００９１】
ＡＦ画素補間部４５は、Ｙ４４やＸ４５の近傍における各色成分Ｒ、Ｇ又はＢの撮像用画素の画素値の色変動ＶＲ、ＶＧｒ、ＶＢ及びＶＧｂを算出する（Ｓ−１５）。ここで、色変動ＶＧｒ及びＶＧｂは、Ｒ又はＢの撮像用画素の位置におけるＧの色変動を示す。ＡＦ画素補間部４５は、［数２１］に記載の２つの式に基づいて、色変動ＶＲとＶＧｒとを求める。
【００９２】
［数２１］
(1)ＶＲ＝｜Ｒ３３−Ｒ５３｜＋｜Ｒ３５−Ｒ５５｜＋｜Ｒ３７−Ｒ５７｜
(2)ＶＧｒ＝｜（Ｇ３２＋Ｇ３４）／２−（Ｇ５２＋Ｇ５４）／２｜＋｜（Ｇ３４＋Ｇ３６）／２−（Ｇ５４＋Ｇ５６）／２｜＋｜（Ｇ３６＋Ｇ３８）／２−（Ｇ５６＋Ｇ５８）／２｜
【００９３】
なお、本実施形態のＡＦ画素補間部４５は、Ｒの撮像用画素の位置Ｒ３３、Ｒ３５、Ｒ３７、Ｒ５３、Ｒ５５及びＲ５７におけるＧの画素値の平均値を求めてからＶＧｒの値を計算する。
【００９４】
一方、ＡＦ画素補間部４５は、［数２２］に記載の２つの式に基づいて、色変動ＶＢとＶＧｂとを求める。
【００９５】
［数２２］
(1)ＶＢ＝｜Ｂ２２−Ｂ６２｜＋｜Ｂ２４−Ｂ６４｜＋｜Ｂ２６−Ｂ６６｜
(2)ＶＧｂ＝｜（Ｇ２１＋Ｇ２３）／２−（Ｇ６１＋Ｇ６３）／２｜＋｜（Ｇ２３＋Ｇ２５）／２−（Ｇ６３＋Ｇ６５）／２｜＋｜（Ｇ２５＋Ｇ２７）／２−（Ｇ６５＋Ｇ６７）／２｜
【００９６】
なお、本実施形態のＡＦ画素補間部４５は、Ｂの撮像用画素の位置Ｂ２２、Ｂ２４、Ｂ２６、Ｂ６２、Ｂ６４及びＢ６６におけるＧの画素値の平均値を求めてからＶＧｂの値を計算する。
【００９７】
ＡＦ画素補間部４５は、ステップ（Ｓ−１５）で算出した色変動ＶＲ、ＶＧｒ、ＶＢ及びＶＧｂを用いて、色成分Ｇ及びＢの白色光に対する色変動率ＫＷＧ及びＫＷＢを算出する（Ｓ−１６）。まず、ＡＦ画素補間部４５は、色変動ＶＲ、ＶＧｒ、ＶＢ及びＶＧｂから［数２３］に記載の３つの式から色変動ＶＲ２、ＶＧ２及びＶＢ２を求める。
【００９８】
［数２３］
(1)ＶＲ２＝（ＶＲ＋α）×（ＶＧｂ＋α）
(2)ＶＢ２＝（ＶＢ＋α）×（ＶＧｒ＋α）
(3)ＶＧ２＝（ＶＧｂ＋α）×（ＶＧｒ＋α）
【００９９】
ここで、αは、色変動率の値を安定させるための適当な定数であり、例えば、１２ビット画像を処理する場合には、α＝２５６程度の値にすれば良い。
【０１００】
そして、画像処理部２５は、色変動ＶＲ２、ＶＧ２及びＶＢ２を用いて、［数２４］に記載の式により白色光における色変動ＶＷを算出する。
【０１０１】
［数２４］
ＶＷ＝ＶＲ２＋ＶＧ２＋ＶＢ２
【０１０２】
よって、ＡＦ画素補間部４５は、色変動率ＫＷＧ及びＫＷＢを［数２５］から算出する。
【０１０３】
［数２５］
ＫＷＧ＝ＶＧ２／ＶＷ
ＫＷＢ＝ＶＢ２／ＶＷ
【０１０４】
ＡＦ画素補間部４５は、ステップ（Ｓ−１３）において求めた各ＡＦ画素の位置における白色光の画素値の高周波成分ＨＦと、ステップ（Ｓ−１６）で算出した色変動率ＫＷＧ及びＫＷＢとを用いて、各ＡＦ画素の位置における色成分Ｇ及びＢの画素値の高周波成分を［数２６］に記載の式から算出する（Ｓ−１７）。
【０１０５】
［数２６］
ＨＦＢＹ４４＝ＨＦＹ４４×ＫＷＢ
ＨＦＧＸ４５＝ＨＦＸ４５×ＫＷＧ
【０１０６】
ＡＦ画素補間部４５は、ステップ（Ｓ−１７）で求めた各ＡＦ画素における各色成分の高周波成分を、ステップ（Ｓ−７）で補間して求めた撮像用画素の画素値に付加する（Ｓ−１８）。ＣＰＵ１１は、例えば、［数２７］に記載の式に基づいて、Ｙ４４及びＸ４５の撮像用画素値Ｂ’及びＧ’をそれぞれ算出する。
【０１０７】
［数２７］
Ｂ’Ｙ４４＝ＢＹ４４＋ＨＦＢＹ４４
Ｇ’Ｘ４５＝ＧＸ４５＋ＨＦＧＸ４５
【０１０８】
ＡＦ画素補間部４５は、Ｙ４４やＸ４５等のＡＦ画素の位置において補間して求めたＢ’Ｙ４４及びＧ’Ｘ４５等の画素値を、それぞれの位置における撮像用画素の画素値として、画像データを更新する。画像処理部２５は、更新した画像データに対して１画素当たり３色の画像データに変換してＳＤＲＡＭ２７に格納する（Ｓ−９）。
【０１０９】
なお、ＡＦ画素の配列方向に変動はなくても、各色成分の撮像用画素の分光特性の加重和とＡＦ画素の分光特性とのズレ等に起因して、白色光の画素値の高周波成分が若干の誤差を持つ。垂直走査方向（ＡＦ画素の配列方向に交わる方向）に画像の大きな変動がない場合には、高周波成分を付加しなくても補間値の精度は充分であり、高周波成分を付加することによってかえって誤差に起因する偽構造が生じる恐れがある。そこで、ステップ（Ｓ−１０）では、そのような場合、高周波成分の付加を抑制する。また、算出された高周波成分が充分小さい場合には、それを付加しなくても補間値の精度は充分であり、高周波成分を付加することによってかえって誤差に起因する偽構造が生じるおそれがある。このため、（Ｓ−１０）では、そのような場合に高周波成分の付加を抑制するようにしている。
【０１１０】
次に、加重係数ＷＲ、ＷＧ及びＷＢの求め方について、閾値Ｔｈ３とともに説明する。そうした加重係数や閾値を求めるにあたり、製品に組み込まれる撮像素子１７又はその撮像素子１７と同じ性能を持つ撮像素子を用意する。その撮像素子１７にほぼ一様な照度の照明を、波長帯域を様々に変えて照射し、それぞれの波長帯域についての撮像画像データを取得する。そして、各波長帯域の撮像画像データｎについて、［数１９］に記載の式のように瞳分割の異なるＡＦ画素の画素値を加算することにより白色光の画素値Ｗｎを算出する。同時に、ＡＦ画素の近傍にある各色成分の撮像用画素の画素値Ｒｎ、Ｇｎ、Ｂｎについても抽出する。
【０１１１】
そして、未知の加重係数ＷＲ、ＷＧ及びＷＢの関数として二乗誤差Ｅを［数２８］のように定義する。
【０１１２】
［数２８］
Ｅ＝Σｎ（ＷＲ×Ｒｎ＋ＷＧ×Ｇｎ＋ＷＢ×Ｂｎ−Ｗｎ）２
【０１１３】
そして、Ｅを最小とする加重係数ＷＲ、ＷＧ及びＷＢを求める（ＥをＷＲ、ＷＧ又はＷＢでそれぞれ偏微分した値を「０」にする加重係数ＷＲ、ＷＧ及びＷＢを求める）。このようにして、加重係数ＷＲ、ＷＧ及びＷＢを求めることにより、ＡＦ画素の分光特性を各色成分Ｒ、Ｇ及びＢの撮像用画素の分光特性の加重和によって表される加重係数が求められる。このように求めた加重係数ＷＲ、ＷＧ及びＷＢを電子カメラ１０の不揮発性メモリに記録する。
【０１１４】
さらに、求めた加重係数ＷＲ、ＷＧ及びＷＢにもとづいて各撮像画像データｎについて誤差率Ｋｎを［数２９］に記載の式で求める。
【０１１５】
［数２９］
Ｋｎ＝｜ＷＲ×Ｒｎ＋ＷＧ×Ｇｎ＋ＷＢ×Ｂｎ−Ｗｎ｜／Ｗｎ
【０１１６】
そして、Ｋｎの最大値を求め、閾値Ｔｈ３として不揮発性メモリ１２に記録する。
【０１１７】
図７は、本実施形態の効果が発揮される画像構造の一例を表す。図７は凸構造（明るい線あるいは点）を含む縦５画素の画像構造を縦断した図であり、横軸は垂直走査方向（ｙ座標）であり縦軸は光量または画素値である。そして、凸構造がちょうど水平走査方向に配列されたＡＦ画素列上にある。
【０１１８】
図７の○印は、Ｇの撮像用画素で撮像された画素値である。ただし、ＡＦ画素の位置にはＧの撮像用画素が存在しないので、その位置でのＧの画素値は得られない。従って、丁度ＡＦ画素の位置に凸構造がある場合には、ＡＦ画素の近傍のＧの撮像用画素の画素値からだけでは、図７の凸構造を再現できない。実際、（Ｓ−７）において、ＡＦ画素の近傍のＧの撮像用画素の画素値を用いてＡＦ画素の位置で補間して求めたＧの画素値（図７の●印）は、凸構造を再現していない。
【０１１９】
一方、ＡＦ画素の位置では、白色光の画素値が得られる。ただし、通常の画素は瞳の全領域を通過する光を受光するのに対し、ＡＦ画素は瞳の右側あるいは左側を通過する光のみを受光するので、瞳分割の異なる隣接するＡＦ画素を加算することにより通常の（瞳の全領域を通過した光の）白色光の画素値が算出される（［数１９］）。
【０１２０】
また、ＡＦ画素の近傍のＧの撮像用画素の位置に、他の色成分Ｒ及びＢを補間生成して、色成分Ｒ、Ｇ及びＢの加重和を求めることにより、多くの場合には充分な精度で白色光の画素値を求めることができる（［数１６］及び［数１８］）。
【０１２１】
図７の□印は、そのようにして求めた白色光の画素値の分布である。多くの場合、白色光の画素値の高周波成分と、色成分Ｇの画素値の高周波成分とは比例するので、白色光の画素値から算出した高周波成分は、Ｇの画素値の凸構造成分の情報を持つ。よって、白色光の画素値の高周波成分に基づいてＧの画素値の高周波成分を求め、その値を●印のデータに加えることにより、☆印のＧの画素値が得られ、凸構造を再現する（［数２６］）。
【０１２２】
［第３画素補間処理］
ＡＦ画素補間部４５は、ノイズ判定部４６での判定結果によりノイズが少なく、かつフレア判定部４７でのフレアが発生し易いと判断する場合、第３画素補間処理を選択して実行する。
【０１２３】
第３画素補間処理は、ＡＦ画素の周囲の撮像用画素の画素値を重み係数により補正し、補正した撮像用画素の画素値を平滑化する処理を、撮像用画素の画素値に対する重み係数を変えて２回行った後、上述した第２画素補間処理を実行する処理である。以下、図３のＡＦ画素Ｘ４３及びＡＦ画素Ｙ４４の２列に対する第３画素補間処理について説明する。
【０１２４】
（ＡＦ画素列の周囲の撮像用画素の画素値を重み係数により補正）
ＡＦ画素補間部４５は、図８に示すように、ＡＦ画素列の周囲に配置された撮像用画素の画素値が、閾値ＭＡＸ＿ＲＡＷ以上となるか否かを判定し、その判定結果に基づいて、設定された重み係数を用いて補正する（Ｓ−２１）。ここで、閾値ＭＡＸ＿ＲＡＷは、画素値が飽和しているか否かを判定するための閾値である。
【０１２５】
ＡＦ画素補間部４５は、撮像用画素の画素値が閾値ＭＡＸ＿ＲＡＷ以上となる場合には、撮像用画素の画素値に対して補正は行わない。一方、ＡＦ画素補間部４５は、撮像用画素の画素値が、閾値ＭＡＸ＿ＲＡＷ未満となる場合には、重み係数を用いた加重和の値を元の画素値から減算することで撮像用画素の画素値を補正する。
【０１２６】
ＡＦ画素補間部４５は、Ｒ色成分の撮像用画素の画素値を［数３０］〜［数３３］を用いて補正する。
【０１２７】
［数３０］
Ｒ１３’＝Ｒ１３−（Ｒ３Ｕ＿０×Ｒ３３＋Ｒ３Ｕ＿１×Ｇ３４＋Ｒ３Ｕ＿２×Ｂ２４）
【０１２８】
［数３１］
Ｒ３３’＝Ｒ３３−（Ｒ１Ｕ＿０×Ｒ３３＋Ｒ１Ｕ＿１×Ｇ３４＋Ｒ１Ｕ＿２×Ｂ２４）
【０１２９】
［数３２］
Ｒ５３’＝Ｒ５３−（Ｒ１Ｓ＿０×Ｒ５３＋Ｒ１Ｓ＿１×Ｇ５４＋Ｒ１Ｓ＿２×Ｂ６４）
【０１３０】
［数３３］
Ｒ７３’＝Ｒ７３−（Ｒ３Ｓ＿０×Ｒ５３＋Ｒ３Ｓ＿１×Ｇ５４＋Ｒ３Ｓ＿２×Ｂ６４）
【０１３１】
ここで、Ｒ１Ｕ＿０，Ｒ１Ｕ＿１，Ｒ１Ｕ＿２，Ｒ１Ｓ＿０，Ｒ１Ｓ＿１，Ｒ１Ｓ＿２，Ｒ３Ｕ＿０，Ｒ３Ｕ＿１，Ｒ３Ｕ＿２，Ｒ３Ｓ＿０，Ｒ３Ｓ＿１，Ｒ３Ｓ＿２は、重み係数である。なお、重み係数中、文字Ｓは、ＡＦ画素よりも上方に位置することを示し、文字Ｕは、ＡＦ画素よりも下方に位置することを示している。
【０１３２】
ＡＦ画素補間部４５は、Ｇ色成分の撮像用画素の画素値を［数３４］〜［数３９］を用いて補正する。
【０１３３】
［数３４］
Ｇ１４’＝Ｇ１４−（Ｇ３Ｕ＿０×Ｒ３３＋Ｇ３Ｕ＿１×Ｇ３４＋Ｇ３Ｕ＿２×Ｂ２４
【０１３４】
［数３５］
Ｇ２３’＝Ｇ２３−（Ｇ２Ｕ＿０×Ｒ３３＋Ｇ２Ｕ＿１×Ｇ３４＋Ｇ２Ｕ＿２×Ｂ２４）
【０１３５】
［数３６］
Ｇ３４’＝Ｇ３４−（Ｇ１Ｕ＿０×Ｒ３３＋Ｇ１Ｕ＿１×Ｇ３４＋Ｇ１Ｕ＿２×Ｂ２４）
【０１３６】
［数３７］
Ｇ５４’＝Ｇ５４−（Ｇ１Ｓ＿０×Ｒ５３＋Ｇ１Ｓ＿１×Ｇ５４＋Ｇ１Ｓ＿２×Ｂ６４）
【０１３７】
［数３８］
Ｇ６３’＝Ｇ６３−（Ｇ２Ｓ＿０×Ｒ５３＋Ｇ２Ｓ＿１×Ｇ５４＋Ｇ２Ｓ＿２×Ｂ６４）
【０１３８】
［数３９］
Ｇ７４’＝Ｇ７４−（Ｇ３Ｓ＿０×Ｒ５３＋Ｇ３Ｓ＿１×Ｇ５４＋Ｇ３Ｓ＿２×Ｂ６４）
【０１３９】
ここで、Ｇ１Ｕ＿０，Ｇ１Ｕ＿１，Ｇ１Ｕ＿２，Ｇ１Ｓ＿０，Ｇ１Ｓ＿１，Ｇ１Ｓ＿２，Ｇ２Ｕ＿０，Ｇ２Ｕ＿１，Ｇ２Ｕ＿２，Ｇ２Ｓ＿０，Ｇ２Ｓ＿１，Ｇ２Ｓ＿２，Ｇ３Ｕ＿０，Ｇ３Ｕ＿１，Ｇ３Ｕ＿２，Ｇ３Ｓ＿０，Ｇ３Ｓ＿１，Ｇ３Ｓ＿２は、重み係数である。
【０１４０】
また、ＡＦ画素補間部４５は、Ｂ色成分の撮像用画素の画素値を、［数４０］，［数４１］を用いて補正する。
【０１４１】
［数４０］
Ｂ２４’＝Ｂ２４−（Ｂ２Ｕ＿０×Ｒ３３＋Ｂ２Ｕ＿１×Ｇ３４＋Ｂ２Ｕ＿２×Ｂ２４）
【０１４２】
［数４１］
Ｂ６４’＝Ｂ６４−（Ｂ２Ｓ＿０×Ｒ５３＋Ｂ２Ｓ＿１×Ｇ５４＋Ｂ２Ｓ＿２×Ｂ６４）
【０１４３】
ここで、Ｂ２Ｕ＿０，Ｂ２Ｕ＿１，Ｂ２Ｕ＿２，Ｂ２Ｓ＿０，Ｂ２Ｓ＿１，Ｂ２Ｓ＿２は重み係数である。
【０１４４】
（隣接するＡＦ画素の画素値を用いたクリップ量の算出）
ＡＦ画素補間部４５は、隣接するＡＦ画素の画素値Ｘ４３，Ｙ４４を読み出し、［数４２］を用いてクリップ量Ｔｈ＿ＬＰＦを求める（Ｓ−２２）。
【０１４５】
［数４２］
Ｔｈ＿ＬＰＦ＝（Ｘ４３＋Ｙ４４）×Ｋ＿Ｔｈ＿ＬＰＦ
【０１４６】
ここで、Ｋ＿Ｔｈ＿ＬＰＦは係数であり、「１２７」程度の値が適用される。この係数Ｋ＿Ｔｈ＿ＬＰＦは、その値が大きいほど平滑化処理の効果が高くなる。
【０１４７】
（色成分毎の予測誤差を算出）
ＡＦ画素補間部４５は、［数４３］、［数４４］を用いて、同一列に配置された同一の色成分となる撮像用画素のうち、ＡＦ画素４１から遠い位置にある撮像用画素（遠位撮像用画素）の画素値と、ＡＦ画素４１から近い位置にある撮像用画素（近位撮像用画素）の画素値との差分を予測誤差として算出する（Ｓ−２３）。
【０１４８】
［数４３］
ｄｅｌｔａＲＵ＝Ｒ１３’−Ｒ３３’
ｄｅｌｔａＲＳ＝Ｒ７３’−Ｒ５３’
【０１４９】
［数４４］
ｄｅｌｔａＧＵ＝Ｇ１４’−Ｇ３４’
ｄｅｌｔａＧＳ＝Ｇ７４’−Ｇ５４’
【０１５０】
（予測誤差がクリップ範囲から越えているか否かを判定）
ＡＦ画素補間部４５は、［数４３］、［数４４］により求めた予測誤差ｄｅｌｔａＲＵ，ｄｅｌｔａＲＳ、ｄｅｌｔａＧＵ及びｄｅｌｔａＧＳの各値が、［数４２］にて求めたクリップ量に基づいたクリップ範囲（−Ｔｈ＿ＬＰＦ〜Ｔｈ＿ＬＰＦ）に含まれている否かを判定する（Ｓ−２４）。
【０１５１】
（クリップ処理）
ＡＦ画素補間部４５は、予測誤差ｄｅｌｔａＲＵ，ｄｅｌｔａＲＳ、ｄｅｌｔａＧＵ及びｄｅｌｔａＧＳのうち、クリップ範囲から外れている予測誤差に対して、クリップ処理を行う（Ｓ−２５）。ここで、クリップ処理とは、クリップ範囲から外れている予測誤差の値をクリップ範囲に含まれるようにクリッピングすることである。
【０１５２】
（近位撮像用画素の画素値に予測誤差を加算）
ＡＦ画素補間部４５は、［数４５］により、予測誤差を各列の近位撮像用画素の画素値に加算する（Ｓ−２６）。ここで、予測誤差は、［数４３］，［数４４］により求めた値、又は、クリッピングされた値である。
【０１５３】
［数４５］
Ｒ３３”＝Ｒ３３’＋ｄｅｌｔａＲＵ
Ｒ５３”＝Ｒ５３’＋ｄｅｌｔａＲＳ
Ｇ３４”＝Ｇ３４’＋ｄｅｌｔａＧＵ
Ｇ５４”＝Ｇ５４’＋ｄｅｌｔａＧＳ
【０１５４】
これにより、ＡＦ画素列の周囲の撮像用画素の画素値である、遠位撮像用画素の画素値及び近位撮像用画素の画素値がそれぞれ補正され、さらに、予測誤差を用いた平滑化処理により近位撮像用画素の画素値が補正される。
【０１５５】
（補正した撮像用画素の画素値をＳＤＲＡＭに記憶）
ＡＦ画素補間部４５は、重み係数により補正された遠位撮像用画素の画素値と、予測誤差により補正された近位撮像用画素の画素値とを、ＳＤＲＡＭ２７に記憶する（Ｓ−２７）。
【０１５６】
１回目の処理が完了すると、２回目の処理が実行される。
【０１５７】
（ＡＦ画素列の周囲の撮像用画素の画素値を重み係数により補正）
ＡＦ画素補間部４５は、１回目の処理により補正された撮像用画素の画素値を用いて、これら撮像用画素の画素値が閾値ＭＡＸ＿ＲＡＷ以上となるか否かを判定する。この判定結果に基づいて、設定された重み係数を用いて補正する（Ｓ−２８）。ここで、閾値ＭＡＸ＿ＲＡＷは、画素値が飽和しているか否かを判定するための閾値であり、１回目の処理（Ｓ−２１）と同一の値が用いられる。
【０１５８】
ＡＦ画素補間部４５は、撮像用画素の画素値が閾値ＭＡＸ＿ＲＡＷ以上となる場合に、撮像用画素の画素値に対して補正は行わない。ＡＦ画素補間部４５は、撮像用画素の画素値が閾値ＭＡＸ＿ＲＡＷ未満となる場合に、上述した［数３０］〜［数４１］における全ての重み係数を「０」に変えて補正する。つまり、この処理を行った場合、ＡＦ画素列の周囲に配置された撮像用画素の画素値は、元の画素値のままである。
【０１５９】
（隣接するＡＦ画素の画素値を用いたクリップ量の算出）
ＡＦ画素補間部４５は、隣接するＡＦ画素の画素値Ｘ４３，Ｙ４４を読み出し、上述した［数４２］を用いてクリップ量Ｔｈ＿ＬＰＦを求める（Ｓ−２９）。ここで、Ｋ＿Ｔｈ＿ＬＰＦの値は１回目の処理と同一の値が用いられる。
【０１６０】
（色成分毎の予測誤差を算出）
ＡＦ画素補間部４５は、上述した［数４３］、［数４４］を用いて、同一列に配置された同一の色成分となる撮像用画素のうち、遠位撮像用画素の画素値と、近位撮像用画素の画素値との差分を予測誤差として算出する（Ｓ−３０）。
【０１６１】
（予測誤差がクリップ範囲から越えているか否かを判定）
ＡＦ画素補間部４５は、上述した［数４３］、［数４４］により求めた予測誤差ｄｅｌｔａＲＵ，ｄｅｌｔａＲＳ、ｄｅｌｔａＧＵ及びｄｅｌｔａＧＳの各値が、［数４２］にて求めたクリップ量に基づいたクリップ範囲（−Ｔｈ＿ＬＰＦ〜Ｔｈ＿ＬＰＦ）に含まれているか否かを判定する（Ｓ−３１）。
【０１６２】
（クリップ処理）
ＡＦ画素補間部４５は、予測誤差ｄｅｌｔａＲＵ，ｄｅｌｔａＲＳ、ｄｅｌｔａＧＵ及びｄｅｌｔａＧＳのうち、クリップ範囲から外れている予測誤差に対して、クリップ処理を行う（Ｓ−３２）。
【０１６３】
（近位撮像用画素の画素値に予測誤差を加算）
ＡＦ画素補間部４５は、上述した［数４５］を用いて、各列の近位撮像用画素の画素値に加算する（Ｓ−３３）。
【０１６４】
これにより、２回目の処理においては、近位撮像用画素の画素値が予測誤差を用いて、さらに補正される。
【０１６５】
（補正した撮像用画素の画素値をＳＤＲＡＭに記憶）
ＡＦ画素補間部４５は、重み係数により補正された遠位撮像用画素の画素値と、予測誤差により補正された近位撮像用画素の画素値とを、ＳＤＲＡＭ２７に記憶する（Ｓ−３４）。
【０１６６】
このように、第３画素補間処理においては、上述した補正処理が２回繰り返し実行される。この補正処理が２回繰り返し実行された後、第２画素補間処理が実行される。
【０１６７】
（第２画素補間処理）
ＡＦ画素補間部４５は、ＳＤＲＡＭ２７に記憶した撮像用画素の画素値を用いて、上述した第２画素補間処理を実行する（Ｓ−３５）。これにより、ＡＦ画素に対応する撮像用画素の画素値が算出される。つまり、ＡＦ画素の画素値が補間される。
【０１６８】
（補間したＡＦ画素の画素値をＳＤＲＡＭに記憶）
ＡＦ画素補間部４５は、第２画素補間処理（Ｓ−３５）により補間したＡＦ画素の画素値をＳＤＲＡＭ２７に記憶する。
【０１６９】
この第３画素補間処理においては、補正処理を繰り返し２回実行することで、ＡＦ画素列の近傍の撮像用画素の画素値に対する平滑化処理を効果的に行っている。この平滑化処理を効果的に行うことで、ＡＦ画素に隣接する撮像用画素にて発生するフレアによる混色の影響を低減させることができる。また、混色の影響を低減した撮像用画素の画素値を用いてＡＦ画素に対する補間処理を行うので、ＡＦ画素においても、発生するフレアによる混色の影響が低減した画素値が得られる。つまり、フレアの影響を低減した画像を得ることができる。
【０１７０】
本実施形態では、画像中のＡＦ画素に対して補間処理を実行することを前提に説明している。しかしながら、ノイズリダクション（ＮＲ）機能を備えている電子カメラに対しても本実施形態を適用することが可能である。例えば３０秒以上シャッタ１６を開放する、所謂長秒時露光による撮影においては、シャッタ１６を開放した撮影、シャッタ１６を閉じた撮影をそれぞれ順に行っている。これら撮影によって得られる画像（記録用画像、暗黒画像）のそれぞれに対して、ノイズ判定部４６によるノイズ判定及びフレア判定部４７によるフレア判定を行って上述した画素補間処理のいずれかの処理を施す。そして、これら処理が施された記録用画像の各画素値から暗黒画像の各画素値を減算し、固定パターンノイズを除去した記録用画像を生成する。この際、記録用画像及び暗黒画像のそれぞれに対して、上述した画素補間処理を行うことで、偽色の発生が抑止された記録用画像と暗黒画像が生成される。つまり、最終的に得られる記録用画像においては、偽色の発生が抑止された画像となる。
【０１７１】
このような長秒時撮影は、夜間の星空など、被写体輝度が低い撮影条件下で行うことが多いことから、フレア判定部４７によるフレア判定を行わずに、ノイズ判定部４６によるノイズ判定のみを実行し、第１画素補間処理、又は第２画素補間処理のいずれかの画素補間処理を実行するかを決定することも可能である。
【０１７２】
なお、本実施形態では、ＡＦ画素の配列方向を水平走査方向としたが、本発明はこれに限定されず、ＡＦ画素は垂直走査方向又はその他の方向に配列されていても良い。
【０１７３】
なお、本実施形態では、ＡＦ画素の各々は左側又は右側からの光束を瞳分割する焦点検出画素としたが、本発明はこれに限定されず、ＡＦ画素の各々は左側及び右側からの光束を瞳分割する画素を有する焦点検出画素でも良い。
【０１７４】
なお、本実施形態では、ノイズ判定用テーブルを参照したノイズ判定（図５のフローチャート）について説明しているが、これに限定されず、例えば、条件式に基づいたノイズ判定を実施しても良い。以下、条件式を用いたノイズ判定について、図９のフローチャートに基づいて説明する。
【０１７５】
（撮像素子の温度がＴ３未満であるかの判定）
ＣＰＵ１１は、撮影時の撮像素子１７の温度、ＩＳＯ感度及びシャッタ速度の情報をノイズ判定部４６に送る。ノイズ判定部４６は、ＣＰＵ１１から送られた撮影時の撮像素子１７の温度がＴ３未満であるか否かを判定する（Ｓ−４１）。
【０１７６】
（−２４ｌｏｇ２Ｐ−２４ｌｏｇ２（Ｑ／３．１２５）≦Ｔｈ４を満足するかの判定）
ノイズ判定部４６は、撮像素子１７の温度がＴ３未満となる場合、送られたＩＳＯ感度Ｑ及びシャッタ速度Ｐが、［数４６］を満足するか否かを判定する（Ｓ−４２）
【０１７７】
［数４６］
−２４ｌｏｇ２Ｐ−２４ｌｏｇ２（Ｑ／３．１２５）≦Ｔｈ４
【０１７８】
なお、Ｔｈ４は閾値である。上述した式を満足する場合にはノイズが多いと判定され、満足しない場合にはノイズが少ないと判定される。
【０１７９】
例えばノイズ判定部４６でノイズが多いと判定されると、ＡＦ画素補間部４５は、第１画素補間処理を実行する。一方、ノイズ判定部４６でノイズが少ないと判定されると、フレア判定部４７によってフレアの発生がないかの判定が実行される（Ｓ−４５）
【０１８０】
（フレアの発生なしかの判定）
ＣＰＵ１１は、ノイズが少ないとノイズ判定部４６が判定した場合、フレア判定部４７を制御して、フレア判定部４７でフレアが生じてないか否かを判定する（Ｓ−４４）。ＡＦ画素補間部４５は、フレア判定部４７でフレアが発生しないと判定する場合、第２画素補間処理（Ｓ−４５）を、また、フレアが発生すると判定する場合には、第３画素補間処理（Ｓ−４６）を択一的に実行する。
【０１８１】
（撮像素子の温度がＴ３以上Ｔ４未満であるかの判定）
上述した撮像時の撮像素子１７の温度の判定（Ｓ−４１）で、撮像素子１７の温度がＴ３以上である場合には、ノイズ判定部４６は、撮像素子１７の温度がＴ３以上Ｔ４未満であるかを判定する（Ｓ−４７）。
【０１８２】
（−２４ｌｏｇ２Ｐ−２４ｌｏｇ２（Ｑ／３．１２５）≦Ｔｈ５を満足するかの判定）
ノイズ判定部４６は、撮像素子１７の温度がＴ３以上Ｔ４未満となる場合、送られたＩＳＯ感度Ｑ及びシャッタ速度Ｐが、［数４７］を満足するか否かを判定する（Ｓ−４８）。
【０１８３】
［数４７］
−２４ｌｏｇ２Ｐ−２４ｌｏｇ２（Ｑ／３．１２５）≦Ｔｈ５
【０１８４】
なお、Ｔｈ５は閾値である（Ｔｈ５＞Ｔｈ４）。上述した式を満足する場合にはノイズが多いと判定され、満足しない場合にはノイズが少ないと判定される。
【０１８５】
例えばノイズ判定部４６でノイズが多いと判定されると、ＡＦ画素補間部４５は、第１画素補間処理を実行する（Ｓ−４３）。一方、ノイズ判定部４６でノイズが少ないと判定されると、フレア判定部４７によってフレアの発生がないかを判定する（Ｓ−４４）。ＡＦ画素補間部４５は、フレア判定部４７でフレアが発生しないと判定する場合、第２画素補間処理（Ｓ−４５）を、また、フレアが発生すると判定する場合には、第３画素補間処理（Ｓ−４６）を択一的に実行する。
【０１８６】
（−２４ｌｏｇ２Ｐ−２４ｌｏｇ２（Ｑ／３．１２５）≦Ｔｈ６を満足するかの判定）
ノイズ判定部４６は、撮像素子１７の温度がＴ４以上となる場合、送られたＩＳＯ感度Ｑ及びシャッタ速度Ｐが、［数４８］を満足するか否かを判定する（Ｓ−４９）。
【０１８７】
［数４８］
−２４ｌｏｇ２Ｐ−２４ｌｏｇ２（Q／３．１２５）≦Ｔｈ６
【０１８８】
なお、Ｔｈ６は閾値である（Ｔｈ６＞Ｔｈ５）。上述した式を満足する場合にはノイズが多いと判定され、満足しない場合にはノイズが少ないと判定される。
【０１８９】
例えばノイズ判定部４６でノイズが多いと判定されると、ＡＦ画素補間部４５は、第１画素補間処理を実行する（Ｓ−４３）。一方、ノイズ判定部４６でノイズが少ないと判定されると、フレア判定部４７によってフレアの発生がないかを判定する（Ｓ−４４）。ＡＦ画素補間部４５は、フレア判定部４７でフレアが発生しないと判定する場合、第２画素補間処理（Ｓ−４５）を、また、フレアが発生すると判定する場合には、第３画素補間処理（Ｓ−４６）を択一的に実行する。
【０１９０】
このように、条件式を満足しているか否かを判定することで、撮像素子１７の温度により分類し、またＩＳＯ感度及びシャッタ速度を用いて条件式を満足するかを判定することで、画素補間処理の内容が選択できる。つまり、ノイズ判定用テーブルを参照しなくとも、ノイズ判定用テーブルを用いたノイズ判定と同様の効果を得ることができる。
【０１９１】
なお、本実施形態では電子カメラについて説明しているが、これに限定される必要はなく、電子カメラにて取得された画像を取り込んで画像処理を行う画像処理装置に対しても、図５，図６及び図８のフローチャートにおける処理を実行させることができる。また、この他に、図５，図６及び図８のフローチャートにおける処理をコンピュータで実現するためのプログラムに対しても適用可能である。なお、このプログラムは、メモリカード、光学ディスク、磁気ディスクなどのコンピュータにて読み取り可能な記憶媒体に記憶されていることが好ましい。
【符号の説明】
【０１９２】
１０…電子カメラ、１６…シャッタ、１７…撮像素子、２５…画像処理部、２７…ＳＤＲＡＭ、４１…ＡＦ画素、４５…ＡＦ画素補間部、４６…ノイズ判定部、４７…フレア判定部
【特許請求の範囲】
【請求項１】
撮像用画素と焦点検出用画素とを有する撮像素子と、
前記撮像素子の駆動により得られる画像に重畳されるノイズ量を判定する判定部と、
処理内容が異なる複数の補間処理のうち、前記判定部による前記ノイズ量の判定結果に応じた補間処理を前記画像に対して実行することで、前記焦点検出用画素に対する補間画素値を生成する画素補間部と、
を備えたことを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記判定部は、撮影時の撮影感度及び前記撮像素子における電荷蓄積時間を用いて、前記画像に重畳される前記ノイズ量を判定することを特徴とする撮像装置。
【請求項３】
請求項２に記載の撮像装置において、
前記撮像素子又は前記撮像装置に設けられる制御基板の温度を検出する温度検出部を備え、
前記判定部は、前記撮影時の撮影感度及び前記撮像素子における電荷蓄積時間の他に、前記撮像素子又は前記制御基板の温度を用いて、前記画像に重畳される前記ノイズ量を判定することを特徴とする撮像装置。
【請求項４】
請求項１から請求項３のいずれか１項に記載の撮像装置において、
前記画素補間部は、前記判定部により前記画像に重畳されるノイズ量が多いと判定されるときに、前記焦点検出用画素の近傍に位置する前記撮像用画素の画素値を用いた補間処理を実行することで、前記焦点検出用画素に対する前記補間画素値を生成することを特徴とする撮像装置。
【請求項５】
請求項１から請求項４のいずれか１項に記載の撮像装置において、
前記画素補間部は、前記判定部により前記画像に重畳されるノイズ量が少ないと判定される場合に、前記焦点検出用画素及び該焦点検出用画素の近傍に位置する前記撮像用画素の画素値とを用いた補間処理を実行することで、前記焦点検出用画素に対する前記補間画素値を生成することを特徴とする撮像装置。
【請求項６】
請求項１から請求項５のいずれか1項に記載の撮像装置において、
被写体光を前記撮像素子に照射する開放位置と、前記被写体光を遮光する遮光位置との間で移動するシャッタを備え、
前記画像は、前記シャッタが前記開放位置に前記電荷蓄積時間保持されたときに得られる第１画像と、前記シャッタが前記遮光位置に前記電荷蓄積時間保持したときに得られる第２画像とからなり、
前記画素補間部は、前記第１画像及び前記第２画像に対して、前記ノイズ量の推定結果に基づく前記補間処理を実行することを特徴とする撮像装置。
【請求項７】
請求項６に記載の撮像装置において、
前記画素補間部により補間処理が施された前記第１画像の各画素値から、前記第２画像の各画素値を減算する画像処理部を、さらに備えていることを特徴とする撮像装置。
【請求項８】
撮像用画素と焦点検出用画素とを有する撮像素子を用いて取得された画像を取り込む画像取込部と、
前記画像に重畳されるノイズ量を判定する判定部と、
処理内容が異なる複数の補間処理のうち、前記判定部による前記ノイズ量の判定結果に応じた補間処理を前記画像に対して実行することで、前記焦点検出用画素に対する補間画素値を生成する画素補間部と、
を備えたことを特徴とする画像処理装置。
【請求項９】
撮像用画素と焦点検出用画素とを有する撮像素子を用いて取得された画像を取り込む画像取込工程と、
前記画像に重畳されるノイズ量を判定する判定工程と、
処理内容が異なる複数の補間処理のうち、前記判定工程による前記ノイズ量の判定結果に応じた補間処理を前記画像に対して実行することで、前記焦点検出用画素に対する補間画素値を生成する画素補間工程と、
をコンピュータに実行させることが可能な、コンピュータ読み取り可能な画像処理プログラム。
【請求項１】
撮像用画素と焦点検出用画素とを有する撮像素子と、
前記撮像素子の駆動により得られる画像に重畳されるノイズ量を判定する判定部と、
処理内容が異なる複数の補間処理のうち、前記判定部による前記ノイズ量の判定結果に応じた補間処理を前記画像に対して実行することで、前記焦点検出用画素に対する補間画素値を生成する画素補間部と、
を備えたことを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記判定部は、撮影時の撮影感度及び前記撮像素子における電荷蓄積時間を用いて、前記画像に重畳される前記ノイズ量を判定することを特徴とする撮像装置。
【請求項３】
請求項２に記載の撮像装置において、
前記撮像素子又は前記撮像装置に設けられる制御基板の温度を検出する温度検出部を備え、
前記判定部は、前記撮影時の撮影感度及び前記撮像素子における電荷蓄積時間の他に、前記撮像素子又は前記制御基板の温度を用いて、前記画像に重畳される前記ノイズ量を判定することを特徴とする撮像装置。
【請求項４】
請求項１から請求項３のいずれか１項に記載の撮像装置において、
前記画素補間部は、前記判定部により前記画像に重畳されるノイズ量が多いと判定されるときに、前記焦点検出用画素の近傍に位置する前記撮像用画素の画素値を用いた補間処理を実行することで、前記焦点検出用画素に対する前記補間画素値を生成することを特徴とする撮像装置。
【請求項５】
請求項１から請求項４のいずれか１項に記載の撮像装置において、
前記画素補間部は、前記判定部により前記画像に重畳されるノイズ量が少ないと判定される場合に、前記焦点検出用画素及び該焦点検出用画素の近傍に位置する前記撮像用画素の画素値とを用いた補間処理を実行することで、前記焦点検出用画素に対する前記補間画素値を生成することを特徴とする撮像装置。
【請求項６】
請求項１から請求項５のいずれか1項に記載の撮像装置において、
被写体光を前記撮像素子に照射する開放位置と、前記被写体光を遮光する遮光位置との間で移動するシャッタを備え、
前記画像は、前記シャッタが前記開放位置に前記電荷蓄積時間保持されたときに得られる第１画像と、前記シャッタが前記遮光位置に前記電荷蓄積時間保持したときに得られる第２画像とからなり、
前記画素補間部は、前記第１画像及び前記第２画像に対して、前記ノイズ量の推定結果に基づく前記補間処理を実行することを特徴とする撮像装置。
【請求項７】
請求項６に記載の撮像装置において、
前記画素補間部により補間処理が施された前記第１画像の各画素値から、前記第２画像の各画素値を減算する画像処理部を、さらに備えていることを特徴とする撮像装置。
【請求項８】
撮像用画素と焦点検出用画素とを有する撮像素子を用いて取得された画像を取り込む画像取込部と、
前記画像に重畳されるノイズ量を判定する判定部と、
処理内容が異なる複数の補間処理のうち、前記判定部による前記ノイズ量の判定結果に応じた補間処理を前記画像に対して実行することで、前記焦点検出用画素に対する補間画素値を生成する画素補間部と、
を備えたことを特徴とする画像処理装置。
【請求項９】
撮像用画素と焦点検出用画素とを有する撮像素子を用いて取得された画像を取り込む画像取込工程と、
前記画像に重畳されるノイズ量を判定する判定工程と、
処理内容が異なる複数の補間処理のうち、前記判定工程による前記ノイズ量の判定結果に応じた補間処理を前記画像に対して実行することで、前記焦点検出用画素に対する補間画素値を生成する画素補間工程と、
をコンピュータに実行させることが可能な、コンピュータ読み取り可能な画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１３−３４１９４（Ｐ２０１３−３４１９４Ａ）
【公開日】平成２５年２月１４日（２０１３．２．１４）
【国際特許分類】
【出願番号】特願２０１２−１４６４４２（Ｐ２０１２−１４６４４２）
【出願日】平成２４年６月２９日（２０１２．６．２９）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２５年２月１４日（２０１３．２．１４）
【国際特許分類】
【出願日】平成２４年６月２９日（２０１２．６．２９）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]