撮像装置、撮像装置の制御方法、およびプログラム
【課題】一部の画素に急激な変化が生じた場合でかつ、その他の周辺画素にばらつきが無いであっても、補正処理を行うにあたって画像の劣化を少なくなるようにした撮像装置、撮像装置の制御方法、およびプログラムを提供する。
【解決手段】撮像素子から出力された画素データのうち、位相検出画素の近傍に位置する画素から、撮像された画像のコントラスト情報を検出し（Ｓ２３〜Ｓ３１）、コントラスト情報に基づいて、位相検出画素のデータを補正するか否かを判断し、補正すると判断した場合は、位相検出画素の周辺画素に対する重み付けを決定する（Ｓ３３〜Ｓ３５）。
【解決手段】撮像素子から出力された画素データのうち、位相検出画素の近傍に位置する画素から、撮像された画像のコントラスト情報を検出し（Ｓ２３〜Ｓ３１）、コントラスト情報に基づいて、位相検出画素のデータを補正するか否かを判断し、補正すると判断した場合は、位相検出画素の周辺画素に対する重み付けを決定する（Ｓ３３〜Ｓ３５）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子の一部を位相差方式の焦点検出用素子に兼用する撮像素子を有する撮像装置、撮像装置の制御方法、およびプログラムに関する。
【背景技術】
【０００２】
撮像素子の一部を焦点検出用フォトダイオードに兼用する撮像素子は従来から知られている（特許文献１参照）。この特許文献１に開示の撮像素子では、焦点検出用に兼用する領域の各画素は２つの画素に分割され、この２つの画素は、それぞれオンチップマイクロレンズを介して、撮影レンズの異なる射出瞳領域（以下「瞳領域」と記載する）を通過した被写体光束を受光する。そして、この異なる瞳領域を通過した２種類の画像信号によって表わされる２つの画像の位相差に基づいて焦点状態が検出される。
【０００３】
また、特許文献１に開示されたように撮像素子の一部を焦点検出用素子として利用する場合には、焦点検出用素子とした部分は欠損画素となり、画像が劣化してしまう。そこで、補間処理を行うようにしているが、この場合には、空間周波数の高い被写体像を受光すると、鮮鋭度の低下が目立ってしまう。そこで、特許文献２に開示された撮像装置では、焦点検出用素子の周辺の信号のばらつきを検出し、この検出結果に基づいてゲイン調整量と補間補正量の割合を決定するようにしている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第３５９２１４７号公報
【特許文献２】特開２０１０−０６２６４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述したように、特許文献２に開示の撮像装置においては、焦点検出用素子周辺の画素から出力される値のばらつき（標準偏差）を見て、高周波成分か否かを判断し、補間画素と焦点検出用素子の利用の割合を変えている。しかし、一部の画素に急激な変化が生じた場合でかつ、その他の周辺画素にばらつきが無い場合には、正しく検出できないおそれがある。
【０００６】
本発明は、このような事情を鑑みてなされたものであり、一部の画素に急激な変化が生じた場合でかつ、その他の周辺画素にばらつきが無いであっても、補正処理を行うにあたって画像の劣化を少なくなるようにした撮像装置、撮像装置の制御方法、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため第１の発明に係わる撮像装置は、画素の一部に焦点検出をするための位相検出画素が設けられた撮像素子と、上記撮像素子から出力された画素データのうち、上記位相検出画素の近傍に位置する画素から、撮像された画像のコントラスト
情報を検出するコントラスト情報検出部と、上記検出されたコントラスト情報に基づいて、上記位相検出画素のデータを補正するか否かを判断する位相画素補正判断部と、上記位相画素補正判断部にて位相検出画素を補正すると判断した場合は、上記位相検出画素の近傍画素に対する重み付けを決定する重み付け決定部と、上記決定された重み付けに基づいて、上記位相検出画素を重み付け補正する画素補正部と、上記画素補正後に、上記画素データを表示または記録用画像とするための色変換処理をする色変換処理部と、を備える。
【０００８】
第２の発明に係わる撮像装置は、上記第１の発明において、上記コントラスト情報検出部は、コントラスト情報として上記位相検出画素近傍の画素の差分加算値及び差分最大値を検出する。
第３の発明に係わる撮像装置は、上記第１の発明において、上記重み付け決定部は、コントラスト情報として検出されたコントラストの変化勾配および変化量に基づいて、上記位相検出画素近傍の対象画素に対する重み付けを決定する。
【０００９】
第４の発明に係わる撮像装置は、上記第１の発明において、上記重み付け決定部は、変化勾配が小さい場合に、補間画素の適用割合を変化勾配が大きい場合よりも小さくする。
第５の発明に係わる撮像装置は、上記第１の発明において、上記位相検出画素の補正に用いる近傍画素には、他の位相検出画素を含めない。
第６の発明に係わる撮像装置は、上記第１の発明において、静止画撮影と動画撮影を選択する撮影選択部を更に有し、上記位相検出画素の補正は、動画撮影が選択された場合に行う。
【００１０】
第７の発明に係わる撮像装置は、画素の一部に焦点検出をするための位相検出画素が設けられた撮像素子と、上記撮像素子から出力された画素データのうち、上記位相検出画素の近傍に位置する画素から、撮像された画像のコントラスト情報を検出するコントラスト情報検出部と、上記検出されたコントラスト情報に基づいて、上記位相検出画素の近傍画素に対する重み付けを決定する重み付け決定部と、上記決定された重み付けに基づいて、上記位相検出画素を重み付け補正する画素補正部と、上記画素補正後に、上記画素データを表示または記録用画像とするための色変換処理をする色変換処理部と、を備える。
【００１１】
第８の発明に係わる撮像装置の制御方法は、撮像画素群および位相検出画素群を有する撮像装置の制御方法であって、上記位相検出画素群のゲインを調整する調整ステップと、撮像素子における位相検出画素の近傍に存在する画素群の変化勾配および変化量および変化量の積算値、いずれか一つ以上を検出する検出ステップと、上記検出ステップにおいて検出された変化勾配および変化量および変化量の積算値、いずれか一つ以上の値に基づいて、上記位相検出画素にて補間画素の適用割合を決定する決定ステップと、上記決定ステップの結果に応じて、上記位相検出画素を補間する補間ステップと、を有する。
【００１２】
第９の発明に係わるプログラムは、撮像画素群および位相検出画素群を有する撮像素子を制御するためにコンピュータに実行させるプログラムであって、上記位相検出画素群のゲインを調整する調整ステップと、撮像素子における位相検出画素の近傍に存在する画素群の変化勾配および変化量および変化量の積算値、いずれか一つ以上を検出する検出ステップと、上記検出ステップにおいて検出された変化勾配および変化量および変化量の積算値、いずれか一つ以上の値に基づいて、上記位相検出画素にて補間画素の適用割合を決定する決定ステップと、上記決定ステップの結果に応じて、上記位相検出画素を補間する補間ステップと、をコンピュータに実行させる。
【発明の効果】
【００１３】
本発明によれば、撮像された画像のコントラスト情報を用いて補正の際の重み付けを決めているので、一部の画素に急激な変化が生じた場合でかつ、その他の周辺画素にばらつきが無いであっても、補正処理を行うにあたって画像の劣化を少なくなるようにした撮像装置、撮像装置の制御方法、およびプログラムを提供することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施形態に係わるカメラの主として電気回路の構成を示すブロック図である。
【図２】本発明の一実施形態に係わるカメラの画像処理部の構成を示すブロック図である。
【図３】本発明の一実施形態に係わるカメラにおける撮像素子中の画素および位相検出用素子と、その画素信号を示す図である。
【図４】本発明の一実施形態に係わるカメラの焦点検出の原理を説明する図である。
【図５】本発明の一実施形態に係わるカメラの動作を示すフローチャートである。
【図６】本発明の一実施形態に係わるカメラの画素補間処理の動作を示すフローチャートである。
【図７】本発明の一実施形態に係わるカメラにおいて、合焦状態と非合焦状態における画像信号の空間的変化を示すグラフである。
【図８】本発明の一実施形態におけるカメラにおいて、焦点状態ごとの補間演算の際に使用するに重み係数の決め方を説明する図である。
【発明を実施するための形態】
【００１５】
以下、図面に従って本発明を適用したカメラを用いて好ましい実施形態について説明する。本発明の好ましい一実施形態に係わるカメラは、デジタルカメラであり、一部に焦点検出用の位相検出素子を備えた撮像素子を有する撮像部を設け、この撮像部によって被写体像を画像データに変換し、また位相検出素子からの出力に基づいて公知の位相差方式によってデフォーカス方向とデフォーカス量を算出し、撮影レンズのピント合わせを行う。
【００１６】
また、変換された画像データに基づいて、被写体像を本体の背面に配置した表示部にライブビュー表示する。撮影者はライブビュー表示を観察することにより、構図やシャッタチャンスを決定する。レリーズ釦の操作時には、静止画の画像データが記録媒体に記録される。また、動画撮影時には、動画の画像データが記録媒体に記録される。記録媒体に記録された静止画及び動画の画像データは、再生モードを選択すると、表示部に再生表示することができる。
【００１７】
図１は、本発明の一実施形態に係わるカメラの主として電気的構成を示すブロック図である。図１において、矢印付き実線はデータの流れを示し、矢印付き破線は制御信号の流れを示す。カメラ内には、撮影レンズ１１、絞り１３、メカシャッタ１５、駆動部１７、操作部１９、撮像素子２１、Ａ−ＡＭＰ２３、アナログデジタル変換器（ＡＤＣ）２５、ＣＰＵ（Central Processing Unit）２７、画像処理部２９、焦点検出回路３１、ビデオエンコーダ３３、バス３５、ＤＲＡＭ（Dynamic Random Access Memory）３７、ＲＯＭ（Read Only Memory）３９、フラッシュメモリ４１を有する。
【００１８】
撮影レンズ１１は、被写体像を形成するための複数の光学レンズから構成され、単焦点レンズまたはズームレンズである。この撮影レンズ１１の光軸の後方には、絞り１３が配置されており、この絞り１３は口径が可変であり、撮影レンズ１１を通過した被写体光束の光量を制限する。絞り１３の後方には、メカシャッタ１５が配置されており、撮影レンズを通過した被写体光束の通過時間の制御を行う。メカシャッタ１５としては、公知のフォーカルプレーンシャッタ、レンズシャッタ等が採用される。
【００１９】
駆動部１７は、ＣＰＵ２７からの制御信号に基づいて、撮影レンズ１１のピント調節、絞り１３の開口径制御、およびメカシャッタ１５の開閉制御（シャッタ制御）を行う。
【００２０】
操作部１９は、電源釦、レリーズ釦、再生釦、メニュー釦等、各種入力釦や各種入力キー等の操作部材を含み、これらの操作部材の操作状態を検知し、検知結果をＣＰＵ２７に出力する。本実施形態においては、静止画撮影と動画撮影を選択する撮影選択部を有しており、撮影モードダイヤルやメニュー画面等において、静止画撮影モードと動画撮影モードを選択することができる。動画撮影モードが選択されている際に、レリーズ釦を操作すると、動画撮影が開始され、再度、レリーズ釦が操作されると動画撮影が終了する。なお、操作部１９に動画釦を設け、動画釦が操作された際に、動画撮影を開始する等、撮影選択部として、他の方法に置き換えても勿論かまわない。後述するように、本実施形態においては、動画撮影が選択された場合に、位相検出画素の補間処理を行い、位相検出画素による画像欠陥の補正を行う。
【００２１】
撮影レンズ１１の光軸上であって、メカシャッタ１５の後方で、かつ撮影レンズ１１によって被写体像の結像される位置付近には、撮像素子２１が配置されている。撮像素子２１には、画素の一部に焦点検出をするための位相検出画素が設けられている。また、撮像素子２１は、各画素を構成するフォトダイオードが二次元的にマトリックス状に配置されており、各フォトダイオードは受光量に応じた光電変換電流を発生し、この光電変換電流は各フォトダイオードに接続するキャパシタによって電荷蓄積される。
【００２２】
各画素の前面には、ベイヤー配列のカラーフィルタが配置されている。ベイヤー配列は、水平方向にＲ画素とＧ画素が交互に配置されたラインと、Ｇ画素とＢ画素が交互に配置されたラインを有している。Ｇ画素の一部は、焦点検出用の位相検出画素に置き換えられている。この撮像素子２１の詳しい構成について、図３を用いて後述する。なお、本明細書においては、撮像素子２１から出力される画像信号に基づく信号であれば、後述するＡＤＣ２５によってＡ／Ｄ変換された信号のみならず画像信号も含めて画像データと称する場合がある。
【００２３】
撮像素子２１の出力は、Ａ−ＡＭＰ２３に接続されている。Ａ−ＡＭＰ２３は、撮像素子２１から出力された画像信号のアナログゲイン調整を行う。Ａ−ＡＭＰ２３の出力は、ＡＤＣ２５に接続されている。ＡＤＣ２５は、アナログデジタル変換器であり、Ａ−ＡＭＰ２３によってアナログゲイン調整された画像信号をデジタル形式の画像データ（撮像データ）に変換する。この撮像データには、非焦点検出用であって通常の画素からのデータと、焦点検出用の位相検出画素からのデータの両方のデータが含まれている。ＡＤＣ２５の出力はバス３５に出力され、撮像データは後述するＤＲＡＭ３７に一時記憶される。
【００２４】
バス３５に接続されたＣＰＵ２７は、後述するＲＯＭ３９に記憶されているプログラムに従って、カメラの全体制御を行う。
【００２５】
画像処理部２９は、バス３５を介してＤＲＡＭ３７から撮像データを入力し、各種画像処理を行い、静止画または動画の記録用画像データを生成し、この生成された記録用画像データは、一旦、ＤＲＡＭ３７に一時記憶する。また、ＤＲＡＭ３７から読み出した動画の画像データを用いて、表示用画像データを生成し、一旦、ＤＲＡＭ３７に一時記憶する。さらに、撮像素子２１内の焦点検出用画素位置にある位相検出画素のデータを周囲の画素データを用いて補間処理等を行う。画像処理部２９の詳しい構成については、図２を用いて後述する。
【００２６】
焦点検出回路３１は、ＤＲＡＭ３７に一時記憶された位相検出画素からのデータを取得し、このデータに基づいて、公知の位相差ＡＦによるデフォーカス方向およびデフォーカス量を算出する。なお、焦点検出回路３１によって算出されたデフォーカス方向およびデフォーカス量に基づいて、ＣＰＵ２７は駆動部１７によって撮影レンズ１１のピント合わせを行う。
【００２７】
ビデオエンコーダ３３は、画像処理部２９によって生成されＤＲＡＭ３７に一時記憶された表示用画像データを読出し、ＬＣＤ／ＴＶ４３に出力する。ＬＣＤは液晶表示であり、カメラの背面等にライブビュー表示や記録済み画像の再生表示等に使用される。またＴＶは外部のテレビ装置であり、記録済み画像の再生表示等に使用される。
【００２８】
ＤＲＡＭ３７は、電気的に書き換え可能なメモリであり、前述したように、画像データ、記録用画像データ、表示用画像データ等の一時記憶を行う。また、ＣＰＵ２７がカメラの制御を行う際の各種データの一時記憶も行う。画像データの一時記憶用としては、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）を用いてもよい。
【００２９】
ＲＯＭ３９は、マスクＲＯＭやフラッシュメモリ等の不揮発性メモリである。ＲＯＭ３９には、前述したＣＰＵ２７で使用するプログラムの他、カメラの調整値等の各種データも記憶されている。フラッシュメモリ４１は、カメラに内蔵もしくは装填可能であり、画像データ記録用の記憶媒体である。
【００３０】
次に、図２を用いて、画像処理部２９について説明する。図２において、矢印付き実線は撮像データの流れを、矢印付き破線はＲＧＢデータの流れを、また矢印付き一点鎖線はＹＣデータの流れを、それぞれ表わす。画像処理部２９内のバス６３には、ゲイン調整部５１、変化検出部５３、補間割合決定部５５、画素補間部５７、現像処理部５９、および色変換処理部６１が接続されている。
【００３１】
ゲイン調整部５１は、ＡＤＣ２５から出力される撮像データを入力し、位相検出画素からの出力に対して、ゲイン補正を行う。すなわち、図３および図４を用いて後述するように、撮像素子２１内の位相検出画素では、瞳分割を行い、位相差を検出するための遮光部材が設けられており、このため位相検出画素に到達する光量が減少する。この遮光された減光量分に相当するだけ、位相検出画素からの画像データのゲイン補正を行う。
【００３２】
変化検出部５３は、撮像素子２１から出力された画素データのうち、位相検出画素の近傍に位置する画素から、撮像された画像のコントラスト情報を検出するコントラスト情報検出部として機能する。また、コントラスト情報検出部は、コントラスト情報として位相検出画素近傍の画素の差分加算値及び差分最大値を検出する。また、コントラスト情報検出部は、位相検出画素の補正に用いる近傍画素には、他の位相検出画素を含めない。
【００３３】
変化検出部５３は、具体的には、焦点検出用の位相検出画素の周辺に存在する画素群の変化勾配および変化量の積算値を算出する。ここで、画素群の変化勾配は、位相検出画素の出力と周辺の画素の出力の差を意味し、位相検出画素の周辺の所定範囲内に存在する複数の画素毎に変化勾配が算出される。また、変化量の積算値は、複数の画素毎に算出された変化勾配の積算値を意味する。
【００３４】
補間割合決定部５５は、変化検出部５３において検出されたコントラスト情報に基づいて、位相検出画素のデータを補正するか否かを判断する位相画素補正判断部として機能すると共に、位相検出画素を補正すると判断した場合は、位相検出画素の近傍画素に対する重み付けを決定する重み付け決定部としても機能する。重み付け決定部は、コントラスト情報として検出されたコントラストの変化勾配および変化量に基づいて、位相検出画素近傍の対象画素に対する重み付けを決定する。また、重み付け決定部は、変化勾配が小さい場合に、補間画素の適用割合を変化勾配が大きい場合よりも小さくする。
【００３５】
補間割合決定部５５は、具体的には、変化検出部５３において算出された値に基づいて、ゲイン補正された位相検出画素の出力と、補間画素の出力の混合割合を決定する。ここで、補間画素は、位相検出画素の周辺の所定範囲内に存在する複数の画素を意味する。
【００３６】
画素補間部５７は、決定された重み付けに基づいて、位相検出画素を重み付け補正する画素補正部として機能する。画素補間部５７は、補間割合決定部５５で決定された混合割合に基づいて、ゲイン補正された位相検出画素の出力に、位相検出画素の周辺の所定の範囲内に存在する複数の画素の値を用いて補間処理を行う。
【００３７】
現像処理部５９は、補間された撮像データに対して、同時化処理（デモザイキング処理）、ＮＲ（Noise Reduction）処理、ＷＢ（White Balance）補正、エッジ強調など施し、ＲＧＢデータ化する。
【００３８】
色変換処理部６１は、画素補正後に、画素データを表示または記録用画像とするための色変換処理をする色変換処理部として機能する。すなわち、色変換処理部６１は、現像されたＲＧＢデータを色変換し、ＹＣデータ化を行う。この他、画像処理部２９は、記録用画像データや表示用画像データとしての処理も行う。画像処理された画像データは、バス３５に出力される。
【００３９】
このように、画像処理部２９では、撮像データの内、位相検出画素に対応するデータに対して補間処理を行っている。すなわち、撮像データの内の位相検出画素からデータに対してゲインを補正し、位相検出画素の周辺に存在する画素群の変化勾配、および変化勾配の積算値を検出し、この検出結果に応じて、位相検出画素の出力に対して変化勾配、変化勾配の積算値に基づいて補間処理を行っている。
【００４０】
次に、図３を用いて、撮像素子２１の構成について説明する。図３（ａ）は、撮像素子２１の一部分を拡大した図である。図３において、横方向に画素ナンバとしてア〜タを割り当て、縦方向に画素ナンバとして１〜１６を割り当てる。この例では、画素（ア、１）がＲ画素であり、画素（イ、２）がＢ画素であり、画素（イ、１）および画素（ア、２）がＧ画素である。この４画素の組合せが、横方向および縦方向に繰り返され、撮像素子が構成される。
【００４１】
本実施形態における撮像素子の配置は、一部のＧ用画像生成用画素を焦点検出用画素に置き換えて配列されている。すなわち、図３（ａ）に示した例では、画素（キ、２）、画素（ス、２）、画素（オ、４）、画素（サ、４）、画素（ア、６）、画素（キ、６）、画素（ソ、８）、画素（オ、１０）、画素（サ、１０）、画素（ウ、１２）、画素（ケ、１２）、画素（セ、１５）の合計１２個の焦点検出用画素を含んでいる。これらの焦点検出用画素によって、撮像素子２１の画面において斜め方向の位相差を検出可能である。
【００４２】
なお、本実施形態においては、撮像素子２１には、斜め方向に沿っての位相差を検出するように位相検出画素を配置したが、これに限らず、水平方向や垂直方向に沿っての位相差を検出するように位相検出画素を配置するようにしてもよい。また、本実施形態においては、位相検出画素は、Ｇ画素にあたる位置に配置していたが、これに限らず、Ｒ画素やＢ画素にあたる位置に位相検出画素を置き換えるようにしても勿論かまわない。
【００４３】
図３（ｂ）は水平方向の画素信号値を、また図３（ｃ）は垂直方向の画素信号値の一例を示す。すなわち、図３（ｂ）は、画素（ア、６）〜画素（タ、６）の各画素から出力される水平方向の画素信号を示している。また図３（ｃ）は画素（ソ、１）〜画素（ソ、１６）の各画素から出力される垂直方向の画素信号を示している。
【００４４】
次に、図４を用いて位相差法による焦点検出の原理について説明する。図４（ａ）は位相検出画素以外の通常の画像を得るための非位相検出画素２１ａを示し、また図４（ｂ）は焦点検出用の位相検出画素２１ｂと、その前に配置された遮光部材２１ｃを示す。位置Ａは、非位相検出画素２１ａ（または位相検出画素２１ｂ）が撮影レンズ１１に対して非合焦位置を示し、位置Ｂは非位相検出画素２１ａ（または位相検出画素２１ｂ）が撮影レンズ１１に対して合焦位置を示す。
【００４５】
被写体が点光源のような場合を仮定すると、非位相検出画素２１ａが非合焦位置である位置Ａに有る場合には、図４（ａ）に示すように、撮影レンズ１１の上側を通過した被写体光と下側を通過した被写体光のピークはそれぞれ分離し、２つのピークが生ずる。一方、非位相検出画素２１ａが合焦位置である位置Ｂに有る場合には、撮影レンズ１１の上側を通過した被写体光と下側を通過した被写体光のピークは一致し、１つのピークしか生じない。
【００４６】
一方、位相検出画素２１ｂが位置Ａに有る場合には、図４（ｂ）に示すように、撮影レンズ１１の上側を通過した被写体光は遮光部材２１ｃによって遮られ位相検出画素２１ｂまで到達しない。しかし、撮影レンズ１１の下側を通過した被写体光は遮光部材２１がないことから、位相検出画素２１ｂに到達するが、その位置は本来の合焦位置に比較し下側にずれている。位相検出画素２１ｂが位置Ｂに有る場合には、撮影レンズ１１の上側を通過した被写体光は遮光部材２１ｃによって遮られて位相検出画素２１ｂに到達しないが、撮影レンズ１１の下側を通過した被写体光は遮るものがないことから、位相検出画素２１ｂに到達する。
【００４７】
図４（ｂ）に示すように、遮光部材２１ｃは、撮影レンズ１１の上側を通過した被写体光を遮光するように配置され、他方の位相検出画素は、撮影レンズ１１の下側を通過した被写体光を遮光するように遮光部材を配置する。この１対の位相検出画素を、水平方向、垂直方向、または斜め方向に配置し、これらの位相検出画素からの出力信号に基づいて、位相差法による焦点検出を行うことができる。
【００４８】
図４（ｂ）に示すような位相検出画素は、図３（ａ）では、画素（キ、２）、画素（ス、２）、画素（オ、４）、画素（サ、４）に相当する。ただし、図３（ａ）では、位相検出画素（焦点検出用素子）を、斜め方向に配置しているので、撮影レンズ１１の斜め上、または斜め下からの被写体光を受光している。なお、本実施形態においては、遮光部材によって瞳分割を行っていたが、これに限らず、瞳分割用のレンズ等によって瞳分割を行うようにしても構わない。
【００４９】
非合焦状態では、位相検出画素は、図４（ｂ）に示したように、遮光部材２１ｃが存在するために、本来の結像位置からずれた位置に画像が形成され、位相ズレが発生し、見難い画像となる。一方、合焦状態では遮光部材２１ｃが存在していても、本来の結像位置に画像が形成されるので、位相ズレが発生せず、画像が見苦しくなることはない。また非合焦状態であっても、大ボケ状態では、画像全体が大ボケしているので、位相ズレが目立つことがない。したがって、本実施形態においては、位相ズレが発生する非合焦状態において位相検出画素の出力を補間処理している。しかし、合焦状態において位相検出画素の出力を補間処理すると、位相ズレが発生していないにも関わらず、補間処理が行われるために、画像が劣化してしまう。そこで、本実施形態においては、合焦状態においては、補間処理を行わず、ゲイン調整のみとしている。
【００５０】
次に、本発明の一実施形態の動作について、図５および図６に示すフローチャートを用いて説明する。このフローチャートは、ＲＯＭ３９に記憶されているプログラムに従って、ＣＰＵ２７が実行する。
【００５１】
このフローチャートは、動画撮影が選択されると、動作を開始し、まず、動画記録を開始する（Ｓ１）。動画記録を開始すると、次に撮像の取り込みを行う（Ｓ３）。ここでは、撮像素子２１において、被写体像を光電変換し、画像信号をＡＤＣ２５においてデジタル化したのち、撮像データをＤＲＡＭ３７に一時記憶する。
【００５２】
撮像取り込みを行うと、次に、焦点検出処理を行う（Ｓ５）。ここでは、焦点検出回路３１が、ＤＲＡＭ３７に一時記憶した撮像データの中から複数の位相検出画素に対応する撮像データを読出し、これらのデータを用い公知の位相差法によってデフォーカス方向およびデフォーカス量を算出する。
【００５３】
焦点検出処理を行うと、次に、ゲイン調整処理を行う（Ｓ７）。ここでは、位相検出画素に対応するデータに対して、ゲイン調整を行う。すなわち、図４に示したように、焦点検出用の位相検出画素２１ｂは、遮光部材２１ｃによって遮光されているために、入射光量が減光されている。そこで、このステップでは、ゲイン調整部５１が、位相検出画素の出力に対して減光光量分の補正を行う。したがって、このステップＳ７は、位相検出画素群のゲインを調整する調整ステップとしての機能を果たす。
【００５４】
ゲイン調整を行うと、次に、画素補間処理を行う（Ｓ９）。ここでは、位相検出画素の周辺の素子の出力変化に応じて、画素補間を行い、補間された撮像データをＤＲＡＭ３７に一時記憶する。ここでの画素補間は、コントラスト情報として、
（１）位相検出画素の出力と、位相検出画素の周辺の画素の出力との複数の差分値の積算値（差分加算値）と、
（２）位相検出画素の出力と、位相検出画素の周辺の画素の出力との複数の差分値の中での最大値（差分極大値）と、
を検出し、この検出結果に基づいて、位相検出画素周辺の対象画素に対する重み付けを決定し、画素補間を行う。
【００５５】
画素補間での重み付けを行うにあたって、コントラスト情報に基づいて合焦状態である場合、または非合焦状態であって大ボケ状態と判定された場合には、位相検出画素２１ｂの出力は、遮光光量分だけゲインアップする。一方、コントラスト情報に基づいて、非合焦状態であって、大ボケ状態ではないと判定された場合に、位相検出画素２１ｂの出力は、遮光光量分だけゲインアップすると共に、位相検出画素２１ｂの周辺の画素に対して重み付けをして補間演算を行う。ステップＳ９における画素補間処理の詳しい動作については、図６を用いて後述する。
【００５６】
画素補間処理を行うと、次に、レンズ駆動を行う（Ｓ１１）。ここでは、ステップＳ５において検出した、撮影レンズ１１のデフォーカス方向およびデフォーカス量に基づいて、ＣＰＵ２１は駆動部１７にピント合わせを行わせる。
【００５７】
レンズ駆動を行うと、次に、ＤＲＡＭ３７に記憶された撮像データを記録用に画像処理を行う（Ｓ１３）。ここでは、ステップＳ９において画素補間処理を行った撮像データを、画像処理部２９が記録用に画像圧縮処理等の画像処理を行う。
【００５８】
記録用に画像処理を行うと、次に、画像データをフラッシュメモリに４１に記録する（Ｓ１５）。画像データをフラッシュメモリ４１に記録すると、次に、動画記録の停止か否かを判定する（Ｓ１７）。ここでは、操作部１９の内のレリーズ釦の操作状態を検出し判定する。この判定の結果、動画記録の停止でなかった場合には、ステップＳ３に戻り、動画撮影を続行する。一方、判定の結果、動画記録の停止であった場合には、動画撮影動作を終了する。
【００５９】
次に、ステップＳ９における画素補間処理について、図６に示すフローチャートを用いて説明する。なお、図３に示した撮像素子では、位相検出画素は、斜め方向に並ぶように配置していたが、本フローにおいては、説明を簡単にするために、位相検出素子が左右いずれか半分を遮光しており、位相検出画素は水平方向に並ぶように配置しているとする。
【００６０】
また、本フローの説明にあたって、下記略称の意味は次の通りである。
ａｆ＿ｐｉｘｅｌ：位相検出画素の画素値であり、ゲイン補正が既に施されている値
ｐｉｘｅｌ＿ｈ＿１：位相検出画素の左＋１の画素値
ｐｉｘｅｌ＿ｈ＿２：位相検出画素の右＋１の画素値
ｐｉｘｅｌ＿ｈ＿３：位相検出画素の左＋２の画素値
ｐｉｘｅｌ＿ｈ＿４：位相検出画素の右＋２の画素値
ｐｉｘｅｌ＿ｈ＿５：位相検出画素の左＋３の画素値
ｐｉｘｅｌ＿ｈ＿６：位相検出画素の右＋３の画素値
ｐｉｘｅｌ＿ｖ＿１：位相検出画素の上＋１の画素値
ｐｉｘｅｌ＿ｖ＿２：位相検出画素の下＋１の画素値
【００６１】
画素補間処理のフローに入ると、まず、位相検出画素か否かの判定を行う（Ｓ２１）。ここでは、ＤＲＡＭ３７から読出した撮像データが位相検出画素に対応するデータか否かを判定する。前述したように、撮像データは、位相検出用ではない通常の画素に対応するデータと、位相検出画素に対応するデータが混在していることから、このステップでは、位相検出画素に対応するデータか否かを判定する。この判定は、画素位置に基づいて行う。
【００６２】
ステップＳ２１における判定の結果、位相検出画素であった場合には、次に、位相検出画素の左右上下隣接１画素の差分を算出する（Ｓ２３）。ここでは、変化検出部５３が、｜ｐｉｘｅｌ＿ｈ＿１−ｐｉｘｅｌ＿ｈ＿２｜、および｜ｐｉｘｅｌ＿ｖ＿１−ｐｉｘｅｌ＿ｖ＿２｜を算出する。
【００６３】
次に、差分値に応じて、各方向に重みを付けて補間画素値を算出する（Ｓ２５）。ここでは、｜ｐｉｘｅｌ＿ｈ＿１−ｐｉｘｅｌ＿ｈ＿２｜、および｜ｐｉｘｅｌ＿ｖ＿１−ｐｉｘｅｌ＿ｖ＿２｜の値の小さい方を重み付けして加算平均を算出する。
【００６４】
補間画素値の算出を行うと、次に、位相検出画素の左右±３画素間の微分値を算出する（Ｓ２７）。ここでは、
（ｐｉｘｅｌ＿ｈ＿５−ｐｉｘｅｌ＿ｈ＿３）、
（ｐｉｘｅｌ＿ｈ＿３−ｐｉｘｅｌ＿ｈ＿１）、
（ｐｉｘｅｌ＿ｈ＿１−ｐｉｘｅｌ＿ｈ＿２）、
（ｐｉｘｅｌ＿ｈ＿２−ｐｉｘｅｌ＿ｈ＿４）、
（ｐｉｘｅｌ＿ｈ＿４−ｐｉｘｅｌ＿ｈ＿６）、を算出する。
【００６５】
次に、微分値の中で最大値をさがす（Ｓ２９）。ここでは、ステップＳ２７で求めた微分値の絶対値の中で最大値を求める。微分値の最大値を探すと、次に、微分積算値を算出する（Ｓ３１）。ここでは、ステップＳ２７の中で求めた微分値を積算する。
【００６６】
微分積算値を算出すると、次に、微分最大値から位相検出画素適用重み係数の算出を行う（Ｓ３３）。ここでは、ステップＳ２９で求めた微分値の最大値の絶対値が、ある一定閾値ＴＨの範囲内であれば、重み係数を小さくし、一方、一定閾値ＴＨの範囲外の場合には、範囲に近ければ近い程重み係数を小さくなるように、補間演算に適用する重み係数を算出する。上述したステップＳ２３〜Ｓ３３は、撮像素子２１における焦点検出画素（位相検出画素）の近傍に存在する画素群の変化勾配および変化量および変化量の積算値、いずれか一つ以上を検出する検出ステップとしての機能を果たす。
【００６７】
次に、微分積算値から位相検出画素適用重み係数を算出する（Ｓ３５）。ここでは、ステップＳ３１で求めた微分積算値が、ある一定閾値ｔｈの範囲内であれば、重み係数を小さくし、一方、一定閾値ｔｈの範囲外の場合には、範囲に近ければ近い程重み係数を小さくなるように、補間演算に適用する重み係数を算出する。上述のステップＳ３３およびＳ３５は、ステップＳ２３〜Ｓ３１における検出ステップにおいて検出された変化勾配および変化量および変化量の積算値、いずれか一つ以上の値に基づいて、位相検出画素にて補間画素の適用割合を決定する決定ステップとして機能する。
【００６８】
重み係数を算出すると、次に、位相検出画素の値と補間画素値を求めた係数を乗じて混合を行う（Ｓ３７）。ここでは、位相検出画素の値と位相検出画素の周囲の画素の値に、ステップＳ３３で求めた重み係数と、ステップＳ３５で求めた重み係数を用いて、補間演算を行う。従って、ステップＳ３７は、検出ステップの結果に応じて、位相検出画素を補間する補間ステップとしての機能を果たす。本実施形態においては、ステップＳ３３およびＳ３５で求めた重み係数は、平均して補間演算する際の重み係数とする。なお、平均値を求める以外にも、例えば、それぞれの重み係数を乗算する等、他の演算によって重み係数を決めてもよい。
【００６９】
このように、画素補間処理のフローにおいては、上下左右の画素の相関値を見て、相関のある画素を重み付けして平均化して、相関画素値を決定するようにしている。また、補間画素値を適用する割合は、水平方向の変化勾配（言い換えると、変化の急激度）と、微分積算値（変化の滑らかさ）に基づいて判断している。適用割合の判断にあたっては、変化勾配がある一定区間内（急激ではないが変化がある範囲）に近ければ、位相ズレ発生率が高いため、位相検出画素に積極的に補間演算を行わないようにしている。また、適用割合の判断にあたっては、微分積算値が有る一定区間内（変化はあるが滑らかな範囲）に近ければ、位相ズレ発生率が高いため、位相検出画素に積極的に補間演算を行わないようにしている。補間画素値と位相検出画素（ゲイン補正済み）を求めた適用割合毎に混合して、補間画素としている。
【００７０】
本実施形態における補間処理の考え方について、図７および図８を用いて説明する。図７（ａ）は、合焦状態における高周波に対する位相検出画素周辺の撮像素子の出力変化の一例を示し、図７（ｂ）は非合焦状態における高周波から中周波に対する位相検出画素周辺の撮像素子の出力変化の一例を示している。合焦状態では、図７（ａ）に示すように、隣接画素との微分値は高くなるが、同一方向の微分積算値は高くはない。一方、非合焦状態では、図７（ｂ）に示すように、隣接画素のとの微分値は低くなるが、同一方向の微分積算値は高くなる。
【００７１】
図８は、本実施形態における補間演算を行う際の重み付け係数について、焦点状態ごとに重み係数の決め方を説明する図である。図８に示すように、焦点状態は、非合焦（大ボケ）、非合焦、合焦の３段階に分け、非合焦検出（Ａ）の程度は、微分値の積算値により求め、この積算値に応じて重み係数を決める。また高周波（Ｂ）の程度は、微分最大値より求め、この微分最大値に応じて重み係数を決める。ここでは非合焦検出（Ａ）の重みを５０％、高周波（Ｂ）の重みを５０％割り当て、加算して補正重みを決めている（アンド条件）。
【００７２】
重み付け判断としては、
Ａ（非合焦検出）：｜Σ（ｎｉ−ｎｉ−１）｜＜ＴＨ （１）
Ｂ（高周波検出）：ｍａｘ｛｜ｎｉ−ｎｉ−１｜｝＜ｔｈ （２）
【００７３】
ここで、閾値ＴＨは、６０％程度のボケ状態の検出を想定し、程度に応じて重みを変えている。視認してノイズが生じる程度の値を設定すればよい。また、閾値ｔｈは、２、３画素程度の高周波被写体の検出を想定し、程度に応じて重みを変えている。この閾値ｔｈも視認してノイズが生じる程度で設定すればよい。
【００７４】
以上、説明したように、本発明の一実施形態においては、撮像素子から出力された画素データのうち、位相検出画素の近傍に位置する画素から、撮像された画像のコントラスト
情報を検出し（Ｓ２３〜Ｓ３１）、コントラスト情報に基づいて、位相検出画素のデータを補正するか否かを判断し、補正すると判断した場合は、位相検出画素の周辺画素に対する重み付けを決定するようにしている（Ｓ３３〜Ｓ３５）。このように、コントラスト情報を用いて、補間演算の際の重み付けを決めているので、一部の画素に急激な変化が生じた場合でかつ、その他の周辺画素にばらつきが無いであっても、補正処理を行うにあたって画像の劣化を少なくすることができる。
【００７５】
また、本発明の一実施形態においては、撮像画素群および焦点検出画素群（位相検出画素群）を有する撮像素子２１と、焦点検出画素群（位相検出画素群）のゲインを調整するゲイン調整部５１と、撮像素子２１における位相検出画素２１ｂの周辺に存在する非位相検出画素２１ａからなる画素群の変化勾配および変化量および変化量の積算値、いずれか一つ以上を検出する変化検出部５３と、位相検出画素を変化検出部５３の検出結果に応じて補間する画素補間部５７と、変化検出部５３により検出された変化勾配および変化量および変化量の積算値、いずれか一つ以上の値に基づいて、位相検出画素にて補間画素の適用割合を決定する補間割合決定部５５と、を備えている。このため、一部の画素に急激な変化が生じた場合でかつ、その他の周辺画素にばらつきが無いであっても、補正処理を行うにあたって画像の劣化を少なくすることができる。
【００７６】
なお、本発明の一実施形態においては、補間演算の重み付けを決定するにあたって、位相検出画素周辺の画素の差分加算値及び差分極大値（最大値）の両方を用いて、すなわちアンド条件で求めていた。しかしながら、いずれか一方であっても、多少性能が低下するが使用することができる。また、両方を利用する場合に、本実施形態では、非合焦検出（Ａ）の重みを５０％、高周波（Ｂ）の重みを５０％割り当て、加算して補正重みを決めていた。しかし、この割合は、適宜、変更しても勿論かまわない。
【００７７】
また、本発明の一実施形態においては、動画撮影が選択されると、位相検出画素の補正を行うようにしていた。これは、動画撮影の際には、しばしば非合焦状態から合焦状態に遷移する途中で、前述した遮光部材２１ｃの影響により位相ズレが目立つために位相検出画素の補正を行っていた。しかし、これに限らず、静止画撮影の際にも、非合焦状態で撮影してしまうと位相ズレが目立つことから、位相検出画素の補正を行うようにしてもよい。
【００７８】
また、本発明の一実施形態においては、位相検出画素の隣接画素との差分演算は、±３画素以内で行っていたが、これに限られない。位相検出画素間隔や、演算処理時間、所望とする精度等を勘案して、適宜設計値として設定すればよい。また、演算範囲を±３画素に固定しなくても、デフォーカス量等に応じて、演算範囲を可変としてもよい。
【００７９】
また、本発明の一実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話、スマートフォーンや携帯情報端末（ＰＤＡ：Personal Digital Assist）、ゲーム機器等に内蔵されるカメラでも構わない。いずれにしても、撮像素子の一部に位相検出画素が設けられている撮像装置であれば、本発明を適用することができる。
【００８０】
また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【００８１】
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【００８２】
１０・・・被写体、１１・・・撮影レンズ、１３・・・絞り、１５・・・メカシャッタ、１７・・・駆動部、１９・・・操作部、２１・・・撮像素子、２１ａ・・・非位相検出画素、２１ｂ・・・位相検出画素、２１ｃ・・・遮光部材、２３・・・Ａ−ＡＭＰ、２５・・・アナログデジタル変換器（ＡＤＣ）、２７・・・ＣＰＵ、２９・・・画像処理部、３１・・・焦点検出回路、３３・・・ビデオエンコーダ、３５・・・バス、３７・・・ＤＲＡＭ、３９・・・ＲＯＭ、４１・・・フラッシュメモリ、４３・・・ＬＣＤ／ＴＶ、５１・・・ゲイン調整部、５３・・・変化検出部、５５・・・補間割合決定部、５７・・・画素補間部、５９・・・現像処理部、６１・・・色変換部、６３・・・バス
【技術分野】
【０００１】
本発明は、撮像素子の一部を位相差方式の焦点検出用素子に兼用する撮像素子を有する撮像装置、撮像装置の制御方法、およびプログラムに関する。
【背景技術】
【０００２】
撮像素子の一部を焦点検出用フォトダイオードに兼用する撮像素子は従来から知られている（特許文献１参照）。この特許文献１に開示の撮像素子では、焦点検出用に兼用する領域の各画素は２つの画素に分割され、この２つの画素は、それぞれオンチップマイクロレンズを介して、撮影レンズの異なる射出瞳領域（以下「瞳領域」と記載する）を通過した被写体光束を受光する。そして、この異なる瞳領域を通過した２種類の画像信号によって表わされる２つの画像の位相差に基づいて焦点状態が検出される。
【０００３】
また、特許文献１に開示されたように撮像素子の一部を焦点検出用素子として利用する場合には、焦点検出用素子とした部分は欠損画素となり、画像が劣化してしまう。そこで、補間処理を行うようにしているが、この場合には、空間周波数の高い被写体像を受光すると、鮮鋭度の低下が目立ってしまう。そこで、特許文献２に開示された撮像装置では、焦点検出用素子の周辺の信号のばらつきを検出し、この検出結果に基づいてゲイン調整量と補間補正量の割合を決定するようにしている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第３５９２１４７号公報
【特許文献２】特開２０１０−０６２６４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述したように、特許文献２に開示の撮像装置においては、焦点検出用素子周辺の画素から出力される値のばらつき（標準偏差）を見て、高周波成分か否かを判断し、補間画素と焦点検出用素子の利用の割合を変えている。しかし、一部の画素に急激な変化が生じた場合でかつ、その他の周辺画素にばらつきが無い場合には、正しく検出できないおそれがある。
【０００６】
本発明は、このような事情を鑑みてなされたものであり、一部の画素に急激な変化が生じた場合でかつ、その他の周辺画素にばらつきが無いであっても、補正処理を行うにあたって画像の劣化を少なくなるようにした撮像装置、撮像装置の制御方法、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため第１の発明に係わる撮像装置は、画素の一部に焦点検出をするための位相検出画素が設けられた撮像素子と、上記撮像素子から出力された画素データのうち、上記位相検出画素の近傍に位置する画素から、撮像された画像のコントラスト
情報を検出するコントラスト情報検出部と、上記検出されたコントラスト情報に基づいて、上記位相検出画素のデータを補正するか否かを判断する位相画素補正判断部と、上記位相画素補正判断部にて位相検出画素を補正すると判断した場合は、上記位相検出画素の近傍画素に対する重み付けを決定する重み付け決定部と、上記決定された重み付けに基づいて、上記位相検出画素を重み付け補正する画素補正部と、上記画素補正後に、上記画素データを表示または記録用画像とするための色変換処理をする色変換処理部と、を備える。
【０００８】
第２の発明に係わる撮像装置は、上記第１の発明において、上記コントラスト情報検出部は、コントラスト情報として上記位相検出画素近傍の画素の差分加算値及び差分最大値を検出する。
第３の発明に係わる撮像装置は、上記第１の発明において、上記重み付け決定部は、コントラスト情報として検出されたコントラストの変化勾配および変化量に基づいて、上記位相検出画素近傍の対象画素に対する重み付けを決定する。
【０００９】
第４の発明に係わる撮像装置は、上記第１の発明において、上記重み付け決定部は、変化勾配が小さい場合に、補間画素の適用割合を変化勾配が大きい場合よりも小さくする。
第５の発明に係わる撮像装置は、上記第１の発明において、上記位相検出画素の補正に用いる近傍画素には、他の位相検出画素を含めない。
第６の発明に係わる撮像装置は、上記第１の発明において、静止画撮影と動画撮影を選択する撮影選択部を更に有し、上記位相検出画素の補正は、動画撮影が選択された場合に行う。
【００１０】
第７の発明に係わる撮像装置は、画素の一部に焦点検出をするための位相検出画素が設けられた撮像素子と、上記撮像素子から出力された画素データのうち、上記位相検出画素の近傍に位置する画素から、撮像された画像のコントラスト情報を検出するコントラスト情報検出部と、上記検出されたコントラスト情報に基づいて、上記位相検出画素の近傍画素に対する重み付けを決定する重み付け決定部と、上記決定された重み付けに基づいて、上記位相検出画素を重み付け補正する画素補正部と、上記画素補正後に、上記画素データを表示または記録用画像とするための色変換処理をする色変換処理部と、を備える。
【００１１】
第８の発明に係わる撮像装置の制御方法は、撮像画素群および位相検出画素群を有する撮像装置の制御方法であって、上記位相検出画素群のゲインを調整する調整ステップと、撮像素子における位相検出画素の近傍に存在する画素群の変化勾配および変化量および変化量の積算値、いずれか一つ以上を検出する検出ステップと、上記検出ステップにおいて検出された変化勾配および変化量および変化量の積算値、いずれか一つ以上の値に基づいて、上記位相検出画素にて補間画素の適用割合を決定する決定ステップと、上記決定ステップの結果に応じて、上記位相検出画素を補間する補間ステップと、を有する。
【００１２】
第９の発明に係わるプログラムは、撮像画素群および位相検出画素群を有する撮像素子を制御するためにコンピュータに実行させるプログラムであって、上記位相検出画素群のゲインを調整する調整ステップと、撮像素子における位相検出画素の近傍に存在する画素群の変化勾配および変化量および変化量の積算値、いずれか一つ以上を検出する検出ステップと、上記検出ステップにおいて検出された変化勾配および変化量および変化量の積算値、いずれか一つ以上の値に基づいて、上記位相検出画素にて補間画素の適用割合を決定する決定ステップと、上記決定ステップの結果に応じて、上記位相検出画素を補間する補間ステップと、をコンピュータに実行させる。
【発明の効果】
【００１３】
本発明によれば、撮像された画像のコントラスト情報を用いて補正の際の重み付けを決めているので、一部の画素に急激な変化が生じた場合でかつ、その他の周辺画素にばらつきが無いであっても、補正処理を行うにあたって画像の劣化を少なくなるようにした撮像装置、撮像装置の制御方法、およびプログラムを提供することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施形態に係わるカメラの主として電気回路の構成を示すブロック図である。
【図２】本発明の一実施形態に係わるカメラの画像処理部の構成を示すブロック図である。
【図３】本発明の一実施形態に係わるカメラにおける撮像素子中の画素および位相検出用素子と、その画素信号を示す図である。
【図４】本発明の一実施形態に係わるカメラの焦点検出の原理を説明する図である。
【図５】本発明の一実施形態に係わるカメラの動作を示すフローチャートである。
【図６】本発明の一実施形態に係わるカメラの画素補間処理の動作を示すフローチャートである。
【図７】本発明の一実施形態に係わるカメラにおいて、合焦状態と非合焦状態における画像信号の空間的変化を示すグラフである。
【図８】本発明の一実施形態におけるカメラにおいて、焦点状態ごとの補間演算の際に使用するに重み係数の決め方を説明する図である。
【発明を実施するための形態】
【００１５】
以下、図面に従って本発明を適用したカメラを用いて好ましい実施形態について説明する。本発明の好ましい一実施形態に係わるカメラは、デジタルカメラであり、一部に焦点検出用の位相検出素子を備えた撮像素子を有する撮像部を設け、この撮像部によって被写体像を画像データに変換し、また位相検出素子からの出力に基づいて公知の位相差方式によってデフォーカス方向とデフォーカス量を算出し、撮影レンズのピント合わせを行う。
【００１６】
また、変換された画像データに基づいて、被写体像を本体の背面に配置した表示部にライブビュー表示する。撮影者はライブビュー表示を観察することにより、構図やシャッタチャンスを決定する。レリーズ釦の操作時には、静止画の画像データが記録媒体に記録される。また、動画撮影時には、動画の画像データが記録媒体に記録される。記録媒体に記録された静止画及び動画の画像データは、再生モードを選択すると、表示部に再生表示することができる。
【００１７】
図１は、本発明の一実施形態に係わるカメラの主として電気的構成を示すブロック図である。図１において、矢印付き実線はデータの流れを示し、矢印付き破線は制御信号の流れを示す。カメラ内には、撮影レンズ１１、絞り１３、メカシャッタ１５、駆動部１７、操作部１９、撮像素子２１、Ａ−ＡＭＰ２３、アナログデジタル変換器（ＡＤＣ）２５、ＣＰＵ（Central Processing Unit）２７、画像処理部２９、焦点検出回路３１、ビデオエンコーダ３３、バス３５、ＤＲＡＭ（Dynamic Random Access Memory）３７、ＲＯＭ（Read Only Memory）３９、フラッシュメモリ４１を有する。
【００１８】
撮影レンズ１１は、被写体像を形成するための複数の光学レンズから構成され、単焦点レンズまたはズームレンズである。この撮影レンズ１１の光軸の後方には、絞り１３が配置されており、この絞り１３は口径が可変であり、撮影レンズ１１を通過した被写体光束の光量を制限する。絞り１３の後方には、メカシャッタ１５が配置されており、撮影レンズを通過した被写体光束の通過時間の制御を行う。メカシャッタ１５としては、公知のフォーカルプレーンシャッタ、レンズシャッタ等が採用される。
【００１９】
駆動部１７は、ＣＰＵ２７からの制御信号に基づいて、撮影レンズ１１のピント調節、絞り１３の開口径制御、およびメカシャッタ１５の開閉制御（シャッタ制御）を行う。
【００２０】
操作部１９は、電源釦、レリーズ釦、再生釦、メニュー釦等、各種入力釦や各種入力キー等の操作部材を含み、これらの操作部材の操作状態を検知し、検知結果をＣＰＵ２７に出力する。本実施形態においては、静止画撮影と動画撮影を選択する撮影選択部を有しており、撮影モードダイヤルやメニュー画面等において、静止画撮影モードと動画撮影モードを選択することができる。動画撮影モードが選択されている際に、レリーズ釦を操作すると、動画撮影が開始され、再度、レリーズ釦が操作されると動画撮影が終了する。なお、操作部１９に動画釦を設け、動画釦が操作された際に、動画撮影を開始する等、撮影選択部として、他の方法に置き換えても勿論かまわない。後述するように、本実施形態においては、動画撮影が選択された場合に、位相検出画素の補間処理を行い、位相検出画素による画像欠陥の補正を行う。
【００２１】
撮影レンズ１１の光軸上であって、メカシャッタ１５の後方で、かつ撮影レンズ１１によって被写体像の結像される位置付近には、撮像素子２１が配置されている。撮像素子２１には、画素の一部に焦点検出をするための位相検出画素が設けられている。また、撮像素子２１は、各画素を構成するフォトダイオードが二次元的にマトリックス状に配置されており、各フォトダイオードは受光量に応じた光電変換電流を発生し、この光電変換電流は各フォトダイオードに接続するキャパシタによって電荷蓄積される。
【００２２】
各画素の前面には、ベイヤー配列のカラーフィルタが配置されている。ベイヤー配列は、水平方向にＲ画素とＧ画素が交互に配置されたラインと、Ｇ画素とＢ画素が交互に配置されたラインを有している。Ｇ画素の一部は、焦点検出用の位相検出画素に置き換えられている。この撮像素子２１の詳しい構成について、図３を用いて後述する。なお、本明細書においては、撮像素子２１から出力される画像信号に基づく信号であれば、後述するＡＤＣ２５によってＡ／Ｄ変換された信号のみならず画像信号も含めて画像データと称する場合がある。
【００２３】
撮像素子２１の出力は、Ａ−ＡＭＰ２３に接続されている。Ａ−ＡＭＰ２３は、撮像素子２１から出力された画像信号のアナログゲイン調整を行う。Ａ−ＡＭＰ２３の出力は、ＡＤＣ２５に接続されている。ＡＤＣ２５は、アナログデジタル変換器であり、Ａ−ＡＭＰ２３によってアナログゲイン調整された画像信号をデジタル形式の画像データ（撮像データ）に変換する。この撮像データには、非焦点検出用であって通常の画素からのデータと、焦点検出用の位相検出画素からのデータの両方のデータが含まれている。ＡＤＣ２５の出力はバス３５に出力され、撮像データは後述するＤＲＡＭ３７に一時記憶される。
【００２４】
バス３５に接続されたＣＰＵ２７は、後述するＲＯＭ３９に記憶されているプログラムに従って、カメラの全体制御を行う。
【００２５】
画像処理部２９は、バス３５を介してＤＲＡＭ３７から撮像データを入力し、各種画像処理を行い、静止画または動画の記録用画像データを生成し、この生成された記録用画像データは、一旦、ＤＲＡＭ３７に一時記憶する。また、ＤＲＡＭ３７から読み出した動画の画像データを用いて、表示用画像データを生成し、一旦、ＤＲＡＭ３７に一時記憶する。さらに、撮像素子２１内の焦点検出用画素位置にある位相検出画素のデータを周囲の画素データを用いて補間処理等を行う。画像処理部２９の詳しい構成については、図２を用いて後述する。
【００２６】
焦点検出回路３１は、ＤＲＡＭ３７に一時記憶された位相検出画素からのデータを取得し、このデータに基づいて、公知の位相差ＡＦによるデフォーカス方向およびデフォーカス量を算出する。なお、焦点検出回路３１によって算出されたデフォーカス方向およびデフォーカス量に基づいて、ＣＰＵ２７は駆動部１７によって撮影レンズ１１のピント合わせを行う。
【００２７】
ビデオエンコーダ３３は、画像処理部２９によって生成されＤＲＡＭ３７に一時記憶された表示用画像データを読出し、ＬＣＤ／ＴＶ４３に出力する。ＬＣＤは液晶表示であり、カメラの背面等にライブビュー表示や記録済み画像の再生表示等に使用される。またＴＶは外部のテレビ装置であり、記録済み画像の再生表示等に使用される。
【００２８】
ＤＲＡＭ３７は、電気的に書き換え可能なメモリであり、前述したように、画像データ、記録用画像データ、表示用画像データ等の一時記憶を行う。また、ＣＰＵ２７がカメラの制御を行う際の各種データの一時記憶も行う。画像データの一時記憶用としては、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）を用いてもよい。
【００２９】
ＲＯＭ３９は、マスクＲＯＭやフラッシュメモリ等の不揮発性メモリである。ＲＯＭ３９には、前述したＣＰＵ２７で使用するプログラムの他、カメラの調整値等の各種データも記憶されている。フラッシュメモリ４１は、カメラに内蔵もしくは装填可能であり、画像データ記録用の記憶媒体である。
【００３０】
次に、図２を用いて、画像処理部２９について説明する。図２において、矢印付き実線は撮像データの流れを、矢印付き破線はＲＧＢデータの流れを、また矢印付き一点鎖線はＹＣデータの流れを、それぞれ表わす。画像処理部２９内のバス６３には、ゲイン調整部５１、変化検出部５３、補間割合決定部５５、画素補間部５７、現像処理部５９、および色変換処理部６１が接続されている。
【００３１】
ゲイン調整部５１は、ＡＤＣ２５から出力される撮像データを入力し、位相検出画素からの出力に対して、ゲイン補正を行う。すなわち、図３および図４を用いて後述するように、撮像素子２１内の位相検出画素では、瞳分割を行い、位相差を検出するための遮光部材が設けられており、このため位相検出画素に到達する光量が減少する。この遮光された減光量分に相当するだけ、位相検出画素からの画像データのゲイン補正を行う。
【００３２】
変化検出部５３は、撮像素子２１から出力された画素データのうち、位相検出画素の近傍に位置する画素から、撮像された画像のコントラスト情報を検出するコントラスト情報検出部として機能する。また、コントラスト情報検出部は、コントラスト情報として位相検出画素近傍の画素の差分加算値及び差分最大値を検出する。また、コントラスト情報検出部は、位相検出画素の補正に用いる近傍画素には、他の位相検出画素を含めない。
【００３３】
変化検出部５３は、具体的には、焦点検出用の位相検出画素の周辺に存在する画素群の変化勾配および変化量の積算値を算出する。ここで、画素群の変化勾配は、位相検出画素の出力と周辺の画素の出力の差を意味し、位相検出画素の周辺の所定範囲内に存在する複数の画素毎に変化勾配が算出される。また、変化量の積算値は、複数の画素毎に算出された変化勾配の積算値を意味する。
【００３４】
補間割合決定部５５は、変化検出部５３において検出されたコントラスト情報に基づいて、位相検出画素のデータを補正するか否かを判断する位相画素補正判断部として機能すると共に、位相検出画素を補正すると判断した場合は、位相検出画素の近傍画素に対する重み付けを決定する重み付け決定部としても機能する。重み付け決定部は、コントラスト情報として検出されたコントラストの変化勾配および変化量に基づいて、位相検出画素近傍の対象画素に対する重み付けを決定する。また、重み付け決定部は、変化勾配が小さい場合に、補間画素の適用割合を変化勾配が大きい場合よりも小さくする。
【００３５】
補間割合決定部５５は、具体的には、変化検出部５３において算出された値に基づいて、ゲイン補正された位相検出画素の出力と、補間画素の出力の混合割合を決定する。ここで、補間画素は、位相検出画素の周辺の所定範囲内に存在する複数の画素を意味する。
【００３６】
画素補間部５７は、決定された重み付けに基づいて、位相検出画素を重み付け補正する画素補正部として機能する。画素補間部５７は、補間割合決定部５５で決定された混合割合に基づいて、ゲイン補正された位相検出画素の出力に、位相検出画素の周辺の所定の範囲内に存在する複数の画素の値を用いて補間処理を行う。
【００３７】
現像処理部５９は、補間された撮像データに対して、同時化処理（デモザイキング処理）、ＮＲ（Noise Reduction）処理、ＷＢ（White Balance）補正、エッジ強調など施し、ＲＧＢデータ化する。
【００３８】
色変換処理部６１は、画素補正後に、画素データを表示または記録用画像とするための色変換処理をする色変換処理部として機能する。すなわち、色変換処理部６１は、現像されたＲＧＢデータを色変換し、ＹＣデータ化を行う。この他、画像処理部２９は、記録用画像データや表示用画像データとしての処理も行う。画像処理された画像データは、バス３５に出力される。
【００３９】
このように、画像処理部２９では、撮像データの内、位相検出画素に対応するデータに対して補間処理を行っている。すなわち、撮像データの内の位相検出画素からデータに対してゲインを補正し、位相検出画素の周辺に存在する画素群の変化勾配、および変化勾配の積算値を検出し、この検出結果に応じて、位相検出画素の出力に対して変化勾配、変化勾配の積算値に基づいて補間処理を行っている。
【００４０】
次に、図３を用いて、撮像素子２１の構成について説明する。図３（ａ）は、撮像素子２１の一部分を拡大した図である。図３において、横方向に画素ナンバとしてア〜タを割り当て、縦方向に画素ナンバとして１〜１６を割り当てる。この例では、画素（ア、１）がＲ画素であり、画素（イ、２）がＢ画素であり、画素（イ、１）および画素（ア、２）がＧ画素である。この４画素の組合せが、横方向および縦方向に繰り返され、撮像素子が構成される。
【００４１】
本実施形態における撮像素子の配置は、一部のＧ用画像生成用画素を焦点検出用画素に置き換えて配列されている。すなわち、図３（ａ）に示した例では、画素（キ、２）、画素（ス、２）、画素（オ、４）、画素（サ、４）、画素（ア、６）、画素（キ、６）、画素（ソ、８）、画素（オ、１０）、画素（サ、１０）、画素（ウ、１２）、画素（ケ、１２）、画素（セ、１５）の合計１２個の焦点検出用画素を含んでいる。これらの焦点検出用画素によって、撮像素子２１の画面において斜め方向の位相差を検出可能である。
【００４２】
なお、本実施形態においては、撮像素子２１には、斜め方向に沿っての位相差を検出するように位相検出画素を配置したが、これに限らず、水平方向や垂直方向に沿っての位相差を検出するように位相検出画素を配置するようにしてもよい。また、本実施形態においては、位相検出画素は、Ｇ画素にあたる位置に配置していたが、これに限らず、Ｒ画素やＢ画素にあたる位置に位相検出画素を置き換えるようにしても勿論かまわない。
【００４３】
図３（ｂ）は水平方向の画素信号値を、また図３（ｃ）は垂直方向の画素信号値の一例を示す。すなわち、図３（ｂ）は、画素（ア、６）〜画素（タ、６）の各画素から出力される水平方向の画素信号を示している。また図３（ｃ）は画素（ソ、１）〜画素（ソ、１６）の各画素から出力される垂直方向の画素信号を示している。
【００４４】
次に、図４を用いて位相差法による焦点検出の原理について説明する。図４（ａ）は位相検出画素以外の通常の画像を得るための非位相検出画素２１ａを示し、また図４（ｂ）は焦点検出用の位相検出画素２１ｂと、その前に配置された遮光部材２１ｃを示す。位置Ａは、非位相検出画素２１ａ（または位相検出画素２１ｂ）が撮影レンズ１１に対して非合焦位置を示し、位置Ｂは非位相検出画素２１ａ（または位相検出画素２１ｂ）が撮影レンズ１１に対して合焦位置を示す。
【００４５】
被写体が点光源のような場合を仮定すると、非位相検出画素２１ａが非合焦位置である位置Ａに有る場合には、図４（ａ）に示すように、撮影レンズ１１の上側を通過した被写体光と下側を通過した被写体光のピークはそれぞれ分離し、２つのピークが生ずる。一方、非位相検出画素２１ａが合焦位置である位置Ｂに有る場合には、撮影レンズ１１の上側を通過した被写体光と下側を通過した被写体光のピークは一致し、１つのピークしか生じない。
【００４６】
一方、位相検出画素２１ｂが位置Ａに有る場合には、図４（ｂ）に示すように、撮影レンズ１１の上側を通過した被写体光は遮光部材２１ｃによって遮られ位相検出画素２１ｂまで到達しない。しかし、撮影レンズ１１の下側を通過した被写体光は遮光部材２１がないことから、位相検出画素２１ｂに到達するが、その位置は本来の合焦位置に比較し下側にずれている。位相検出画素２１ｂが位置Ｂに有る場合には、撮影レンズ１１の上側を通過した被写体光は遮光部材２１ｃによって遮られて位相検出画素２１ｂに到達しないが、撮影レンズ１１の下側を通過した被写体光は遮るものがないことから、位相検出画素２１ｂに到達する。
【００４７】
図４（ｂ）に示すように、遮光部材２１ｃは、撮影レンズ１１の上側を通過した被写体光を遮光するように配置され、他方の位相検出画素は、撮影レンズ１１の下側を通過した被写体光を遮光するように遮光部材を配置する。この１対の位相検出画素を、水平方向、垂直方向、または斜め方向に配置し、これらの位相検出画素からの出力信号に基づいて、位相差法による焦点検出を行うことができる。
【００４８】
図４（ｂ）に示すような位相検出画素は、図３（ａ）では、画素（キ、２）、画素（ス、２）、画素（オ、４）、画素（サ、４）に相当する。ただし、図３（ａ）では、位相検出画素（焦点検出用素子）を、斜め方向に配置しているので、撮影レンズ１１の斜め上、または斜め下からの被写体光を受光している。なお、本実施形態においては、遮光部材によって瞳分割を行っていたが、これに限らず、瞳分割用のレンズ等によって瞳分割を行うようにしても構わない。
【００４９】
非合焦状態では、位相検出画素は、図４（ｂ）に示したように、遮光部材２１ｃが存在するために、本来の結像位置からずれた位置に画像が形成され、位相ズレが発生し、見難い画像となる。一方、合焦状態では遮光部材２１ｃが存在していても、本来の結像位置に画像が形成されるので、位相ズレが発生せず、画像が見苦しくなることはない。また非合焦状態であっても、大ボケ状態では、画像全体が大ボケしているので、位相ズレが目立つことがない。したがって、本実施形態においては、位相ズレが発生する非合焦状態において位相検出画素の出力を補間処理している。しかし、合焦状態において位相検出画素の出力を補間処理すると、位相ズレが発生していないにも関わらず、補間処理が行われるために、画像が劣化してしまう。そこで、本実施形態においては、合焦状態においては、補間処理を行わず、ゲイン調整のみとしている。
【００５０】
次に、本発明の一実施形態の動作について、図５および図６に示すフローチャートを用いて説明する。このフローチャートは、ＲＯＭ３９に記憶されているプログラムに従って、ＣＰＵ２７が実行する。
【００５１】
このフローチャートは、動画撮影が選択されると、動作を開始し、まず、動画記録を開始する（Ｓ１）。動画記録を開始すると、次に撮像の取り込みを行う（Ｓ３）。ここでは、撮像素子２１において、被写体像を光電変換し、画像信号をＡＤＣ２５においてデジタル化したのち、撮像データをＤＲＡＭ３７に一時記憶する。
【００５２】
撮像取り込みを行うと、次に、焦点検出処理を行う（Ｓ５）。ここでは、焦点検出回路３１が、ＤＲＡＭ３７に一時記憶した撮像データの中から複数の位相検出画素に対応する撮像データを読出し、これらのデータを用い公知の位相差法によってデフォーカス方向およびデフォーカス量を算出する。
【００５３】
焦点検出処理を行うと、次に、ゲイン調整処理を行う（Ｓ７）。ここでは、位相検出画素に対応するデータに対して、ゲイン調整を行う。すなわち、図４に示したように、焦点検出用の位相検出画素２１ｂは、遮光部材２１ｃによって遮光されているために、入射光量が減光されている。そこで、このステップでは、ゲイン調整部５１が、位相検出画素の出力に対して減光光量分の補正を行う。したがって、このステップＳ７は、位相検出画素群のゲインを調整する調整ステップとしての機能を果たす。
【００５４】
ゲイン調整を行うと、次に、画素補間処理を行う（Ｓ９）。ここでは、位相検出画素の周辺の素子の出力変化に応じて、画素補間を行い、補間された撮像データをＤＲＡＭ３７に一時記憶する。ここでの画素補間は、コントラスト情報として、
（１）位相検出画素の出力と、位相検出画素の周辺の画素の出力との複数の差分値の積算値（差分加算値）と、
（２）位相検出画素の出力と、位相検出画素の周辺の画素の出力との複数の差分値の中での最大値（差分極大値）と、
を検出し、この検出結果に基づいて、位相検出画素周辺の対象画素に対する重み付けを決定し、画素補間を行う。
【００５５】
画素補間での重み付けを行うにあたって、コントラスト情報に基づいて合焦状態である場合、または非合焦状態であって大ボケ状態と判定された場合には、位相検出画素２１ｂの出力は、遮光光量分だけゲインアップする。一方、コントラスト情報に基づいて、非合焦状態であって、大ボケ状態ではないと判定された場合に、位相検出画素２１ｂの出力は、遮光光量分だけゲインアップすると共に、位相検出画素２１ｂの周辺の画素に対して重み付けをして補間演算を行う。ステップＳ９における画素補間処理の詳しい動作については、図６を用いて後述する。
【００５６】
画素補間処理を行うと、次に、レンズ駆動を行う（Ｓ１１）。ここでは、ステップＳ５において検出した、撮影レンズ１１のデフォーカス方向およびデフォーカス量に基づいて、ＣＰＵ２１は駆動部１７にピント合わせを行わせる。
【００５７】
レンズ駆動を行うと、次に、ＤＲＡＭ３７に記憶された撮像データを記録用に画像処理を行う（Ｓ１３）。ここでは、ステップＳ９において画素補間処理を行った撮像データを、画像処理部２９が記録用に画像圧縮処理等の画像処理を行う。
【００５８】
記録用に画像処理を行うと、次に、画像データをフラッシュメモリに４１に記録する（Ｓ１５）。画像データをフラッシュメモリ４１に記録すると、次に、動画記録の停止か否かを判定する（Ｓ１７）。ここでは、操作部１９の内のレリーズ釦の操作状態を検出し判定する。この判定の結果、動画記録の停止でなかった場合には、ステップＳ３に戻り、動画撮影を続行する。一方、判定の結果、動画記録の停止であった場合には、動画撮影動作を終了する。
【００５９】
次に、ステップＳ９における画素補間処理について、図６に示すフローチャートを用いて説明する。なお、図３に示した撮像素子では、位相検出画素は、斜め方向に並ぶように配置していたが、本フローにおいては、説明を簡単にするために、位相検出素子が左右いずれか半分を遮光しており、位相検出画素は水平方向に並ぶように配置しているとする。
【００６０】
また、本フローの説明にあたって、下記略称の意味は次の通りである。
ａｆ＿ｐｉｘｅｌ：位相検出画素の画素値であり、ゲイン補正が既に施されている値
ｐｉｘｅｌ＿ｈ＿１：位相検出画素の左＋１の画素値
ｐｉｘｅｌ＿ｈ＿２：位相検出画素の右＋１の画素値
ｐｉｘｅｌ＿ｈ＿３：位相検出画素の左＋２の画素値
ｐｉｘｅｌ＿ｈ＿４：位相検出画素の右＋２の画素値
ｐｉｘｅｌ＿ｈ＿５：位相検出画素の左＋３の画素値
ｐｉｘｅｌ＿ｈ＿６：位相検出画素の右＋３の画素値
ｐｉｘｅｌ＿ｖ＿１：位相検出画素の上＋１の画素値
ｐｉｘｅｌ＿ｖ＿２：位相検出画素の下＋１の画素値
【００６１】
画素補間処理のフローに入ると、まず、位相検出画素か否かの判定を行う（Ｓ２１）。ここでは、ＤＲＡＭ３７から読出した撮像データが位相検出画素に対応するデータか否かを判定する。前述したように、撮像データは、位相検出用ではない通常の画素に対応するデータと、位相検出画素に対応するデータが混在していることから、このステップでは、位相検出画素に対応するデータか否かを判定する。この判定は、画素位置に基づいて行う。
【００６２】
ステップＳ２１における判定の結果、位相検出画素であった場合には、次に、位相検出画素の左右上下隣接１画素の差分を算出する（Ｓ２３）。ここでは、変化検出部５３が、｜ｐｉｘｅｌ＿ｈ＿１−ｐｉｘｅｌ＿ｈ＿２｜、および｜ｐｉｘｅｌ＿ｖ＿１−ｐｉｘｅｌ＿ｖ＿２｜を算出する。
【００６３】
次に、差分値に応じて、各方向に重みを付けて補間画素値を算出する（Ｓ２５）。ここでは、｜ｐｉｘｅｌ＿ｈ＿１−ｐｉｘｅｌ＿ｈ＿２｜、および｜ｐｉｘｅｌ＿ｖ＿１−ｐｉｘｅｌ＿ｖ＿２｜の値の小さい方を重み付けして加算平均を算出する。
【００６４】
補間画素値の算出を行うと、次に、位相検出画素の左右±３画素間の微分値を算出する（Ｓ２７）。ここでは、
（ｐｉｘｅｌ＿ｈ＿５−ｐｉｘｅｌ＿ｈ＿３）、
（ｐｉｘｅｌ＿ｈ＿３−ｐｉｘｅｌ＿ｈ＿１）、
（ｐｉｘｅｌ＿ｈ＿１−ｐｉｘｅｌ＿ｈ＿２）、
（ｐｉｘｅｌ＿ｈ＿２−ｐｉｘｅｌ＿ｈ＿４）、
（ｐｉｘｅｌ＿ｈ＿４−ｐｉｘｅｌ＿ｈ＿６）、を算出する。
【００６５】
次に、微分値の中で最大値をさがす（Ｓ２９）。ここでは、ステップＳ２７で求めた微分値の絶対値の中で最大値を求める。微分値の最大値を探すと、次に、微分積算値を算出する（Ｓ３１）。ここでは、ステップＳ２７の中で求めた微分値を積算する。
【００６６】
微分積算値を算出すると、次に、微分最大値から位相検出画素適用重み係数の算出を行う（Ｓ３３）。ここでは、ステップＳ２９で求めた微分値の最大値の絶対値が、ある一定閾値ＴＨの範囲内であれば、重み係数を小さくし、一方、一定閾値ＴＨの範囲外の場合には、範囲に近ければ近い程重み係数を小さくなるように、補間演算に適用する重み係数を算出する。上述したステップＳ２３〜Ｓ３３は、撮像素子２１における焦点検出画素（位相検出画素）の近傍に存在する画素群の変化勾配および変化量および変化量の積算値、いずれか一つ以上を検出する検出ステップとしての機能を果たす。
【００６７】
次に、微分積算値から位相検出画素適用重み係数を算出する（Ｓ３５）。ここでは、ステップＳ３１で求めた微分積算値が、ある一定閾値ｔｈの範囲内であれば、重み係数を小さくし、一方、一定閾値ｔｈの範囲外の場合には、範囲に近ければ近い程重み係数を小さくなるように、補間演算に適用する重み係数を算出する。上述のステップＳ３３およびＳ３５は、ステップＳ２３〜Ｓ３１における検出ステップにおいて検出された変化勾配および変化量および変化量の積算値、いずれか一つ以上の値に基づいて、位相検出画素にて補間画素の適用割合を決定する決定ステップとして機能する。
【００６８】
重み係数を算出すると、次に、位相検出画素の値と補間画素値を求めた係数を乗じて混合を行う（Ｓ３７）。ここでは、位相検出画素の値と位相検出画素の周囲の画素の値に、ステップＳ３３で求めた重み係数と、ステップＳ３５で求めた重み係数を用いて、補間演算を行う。従って、ステップＳ３７は、検出ステップの結果に応じて、位相検出画素を補間する補間ステップとしての機能を果たす。本実施形態においては、ステップＳ３３およびＳ３５で求めた重み係数は、平均して補間演算する際の重み係数とする。なお、平均値を求める以外にも、例えば、それぞれの重み係数を乗算する等、他の演算によって重み係数を決めてもよい。
【００６９】
このように、画素補間処理のフローにおいては、上下左右の画素の相関値を見て、相関のある画素を重み付けして平均化して、相関画素値を決定するようにしている。また、補間画素値を適用する割合は、水平方向の変化勾配（言い換えると、変化の急激度）と、微分積算値（変化の滑らかさ）に基づいて判断している。適用割合の判断にあたっては、変化勾配がある一定区間内（急激ではないが変化がある範囲）に近ければ、位相ズレ発生率が高いため、位相検出画素に積極的に補間演算を行わないようにしている。また、適用割合の判断にあたっては、微分積算値が有る一定区間内（変化はあるが滑らかな範囲）に近ければ、位相ズレ発生率が高いため、位相検出画素に積極的に補間演算を行わないようにしている。補間画素値と位相検出画素（ゲイン補正済み）を求めた適用割合毎に混合して、補間画素としている。
【００７０】
本実施形態における補間処理の考え方について、図７および図８を用いて説明する。図７（ａ）は、合焦状態における高周波に対する位相検出画素周辺の撮像素子の出力変化の一例を示し、図７（ｂ）は非合焦状態における高周波から中周波に対する位相検出画素周辺の撮像素子の出力変化の一例を示している。合焦状態では、図７（ａ）に示すように、隣接画素との微分値は高くなるが、同一方向の微分積算値は高くはない。一方、非合焦状態では、図７（ｂ）に示すように、隣接画素のとの微分値は低くなるが、同一方向の微分積算値は高くなる。
【００７１】
図８は、本実施形態における補間演算を行う際の重み付け係数について、焦点状態ごとに重み係数の決め方を説明する図である。図８に示すように、焦点状態は、非合焦（大ボケ）、非合焦、合焦の３段階に分け、非合焦検出（Ａ）の程度は、微分値の積算値により求め、この積算値に応じて重み係数を決める。また高周波（Ｂ）の程度は、微分最大値より求め、この微分最大値に応じて重み係数を決める。ここでは非合焦検出（Ａ）の重みを５０％、高周波（Ｂ）の重みを５０％割り当て、加算して補正重みを決めている（アンド条件）。
【００７２】
重み付け判断としては、
Ａ（非合焦検出）：｜Σ（ｎｉ−ｎｉ−１）｜＜ＴＨ （１）
Ｂ（高周波検出）：ｍａｘ｛｜ｎｉ−ｎｉ−１｜｝＜ｔｈ （２）
【００７３】
ここで、閾値ＴＨは、６０％程度のボケ状態の検出を想定し、程度に応じて重みを変えている。視認してノイズが生じる程度の値を設定すればよい。また、閾値ｔｈは、２、３画素程度の高周波被写体の検出を想定し、程度に応じて重みを変えている。この閾値ｔｈも視認してノイズが生じる程度で設定すればよい。
【００７４】
以上、説明したように、本発明の一実施形態においては、撮像素子から出力された画素データのうち、位相検出画素の近傍に位置する画素から、撮像された画像のコントラスト
情報を検出し（Ｓ２３〜Ｓ３１）、コントラスト情報に基づいて、位相検出画素のデータを補正するか否かを判断し、補正すると判断した場合は、位相検出画素の周辺画素に対する重み付けを決定するようにしている（Ｓ３３〜Ｓ３５）。このように、コントラスト情報を用いて、補間演算の際の重み付けを決めているので、一部の画素に急激な変化が生じた場合でかつ、その他の周辺画素にばらつきが無いであっても、補正処理を行うにあたって画像の劣化を少なくすることができる。
【００７５】
また、本発明の一実施形態においては、撮像画素群および焦点検出画素群（位相検出画素群）を有する撮像素子２１と、焦点検出画素群（位相検出画素群）のゲインを調整するゲイン調整部５１と、撮像素子２１における位相検出画素２１ｂの周辺に存在する非位相検出画素２１ａからなる画素群の変化勾配および変化量および変化量の積算値、いずれか一つ以上を検出する変化検出部５３と、位相検出画素を変化検出部５３の検出結果に応じて補間する画素補間部５７と、変化検出部５３により検出された変化勾配および変化量および変化量の積算値、いずれか一つ以上の値に基づいて、位相検出画素にて補間画素の適用割合を決定する補間割合決定部５５と、を備えている。このため、一部の画素に急激な変化が生じた場合でかつ、その他の周辺画素にばらつきが無いであっても、補正処理を行うにあたって画像の劣化を少なくすることができる。
【００７６】
なお、本発明の一実施形態においては、補間演算の重み付けを決定するにあたって、位相検出画素周辺の画素の差分加算値及び差分極大値（最大値）の両方を用いて、すなわちアンド条件で求めていた。しかしながら、いずれか一方であっても、多少性能が低下するが使用することができる。また、両方を利用する場合に、本実施形態では、非合焦検出（Ａ）の重みを５０％、高周波（Ｂ）の重みを５０％割り当て、加算して補正重みを決めていた。しかし、この割合は、適宜、変更しても勿論かまわない。
【００７７】
また、本発明の一実施形態においては、動画撮影が選択されると、位相検出画素の補正を行うようにしていた。これは、動画撮影の際には、しばしば非合焦状態から合焦状態に遷移する途中で、前述した遮光部材２１ｃの影響により位相ズレが目立つために位相検出画素の補正を行っていた。しかし、これに限らず、静止画撮影の際にも、非合焦状態で撮影してしまうと位相ズレが目立つことから、位相検出画素の補正を行うようにしてもよい。
【００７８】
また、本発明の一実施形態においては、位相検出画素の隣接画素との差分演算は、±３画素以内で行っていたが、これに限られない。位相検出画素間隔や、演算処理時間、所望とする精度等を勘案して、適宜設計値として設定すればよい。また、演算範囲を±３画素に固定しなくても、デフォーカス量等に応じて、演算範囲を可変としてもよい。
【００７９】
また、本発明の一実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話、スマートフォーンや携帯情報端末（ＰＤＡ：Personal Digital Assist）、ゲーム機器等に内蔵されるカメラでも構わない。いずれにしても、撮像素子の一部に位相検出画素が設けられている撮像装置であれば、本発明を適用することができる。
【００８０】
また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【００８１】
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【００８２】
１０・・・被写体、１１・・・撮影レンズ、１３・・・絞り、１５・・・メカシャッタ、１７・・・駆動部、１９・・・操作部、２１・・・撮像素子、２１ａ・・・非位相検出画素、２１ｂ・・・位相検出画素、２１ｃ・・・遮光部材、２３・・・Ａ−ＡＭＰ、２５・・・アナログデジタル変換器（ＡＤＣ）、２７・・・ＣＰＵ、２９・・・画像処理部、３１・・・焦点検出回路、３３・・・ビデオエンコーダ、３５・・・バス、３７・・・ＤＲＡＭ、３９・・・ＲＯＭ、４１・・・フラッシュメモリ、４３・・・ＬＣＤ／ＴＶ、５１・・・ゲイン調整部、５３・・・変化検出部、５５・・・補間割合決定部、５７・・・画素補間部、５９・・・現像処理部、６１・・・色変換部、６３・・・バス
【特許請求の範囲】
【請求項１】
画素の一部に焦点検出をするための位相検出画素が設けられた撮像素子と、
上記撮像素子から出力された画素データのうち、上記位相検出画素の近傍に位置する画素から、撮像された画像のコントラスト
情報を検出するコントラスト情報検出部と、
上記検出されたコントラスト情報に基づいて、上記位相検出画素のデータを補正するか否かを判断する位相画素補正判断部と、
上記位相画素補正判断部にて位相検出画素を補正すると判断した場合は、上記位相検出画素の近傍画素に対する重み付けを決定する重み付け決定部と、
上記決定された重み付けに基づいて、上記位相検出画素を重み付け補正する画素補正部と、
上記画素補正後に、上記画素データを表示または記録用画像とするための色変換処理をする色変換処理部と、
を備えることを特徴とする撮像装置
【請求項２】
上記コントラスト情報検出部は、コントラスト情報として上記位相検出画素近傍の画素の差分加算値及び差分最大値を検出することを特徴とする請求項１に記載の撮像装置。
【請求項３】
上記重み付け決定部は、コントラスト情報として検出されたコントラストの変化勾配および変化量に基づいて、上記位相検出画素近傍の対象画素に対する重み付けを決定することを特徴とする請求項１に記載の撮像装置。
【請求項４】
上記重み付け決定部は、変化勾配が小さい場合に、補間画素の適用割合を変化勾配が大きい場合よりも小さくすることを特徴とする請求項１に記載の撮像装置。
【請求項５】
上記位相検出画素の補正に用いる近傍画素には、他の位相検出画素を含めないことを特徴とする請求項１に記載の撮像装置。
【請求項６】
静止画撮影と動画撮影を選択する撮影選択部を更に有し、
上記位相検出画素の補正は、動画撮影が選択された場合に行うことを特徴とする請求項１に記載の撮像装置。
【請求項７】
画素の一部に焦点検出をするための位相検出画素が設けられた撮像素子と、
上記撮像素子から出力された画素データのうち、上記位相検出画素の近傍に位置する画素から、撮像された画像のコントラスト情報を検出するコントラスト情報検出部と、
上記検出されたコントラスト情報に基づいて、上記位相検出画素の近傍画素に対する重み付けを決定する重み付け決定部と、
上記決定された重み付けに基づいて、上記位相検出画素を重み付け補正する画素補正部と、
上記画素補正後に、上記画素データを表示または記録用画像とするための色変換処理をする色変換処理部と、
を備えることを特徴とする撮像装置。
【請求項８】
撮像画素群および位相検出画素群を有する撮像装置の制御方法であって、
上記位相検出画素群のゲインを調整する調整ステップと、
撮像素子における位相検出画素の近傍に存在する画素群の変化勾配および変化量および変化量の積算値、いずれか一つ以上を検出する検出ステップと、
上記検出ステップにおいて検出された変化勾配および変化量および変化量の積算値、いずれか一つ以上の値に基づいて、上記位相検出画素にて補間画素の適用割合を決定する決定ステップと、
上記決定ステップの結果に応じて、上記位相検出画素を補間する補間ステップと、
を有することを特徴とする撮像装置の制御方法。
【請求項９】
撮像画素群および位相検出画素群を有する撮像素子を制御するためにコンピュータに実行させるプログラムであって、
上記位相検出画素群のゲインを調整する調整ステップと、
撮像素子における位相検出画素の近傍に存在する画素群の変化勾配および変化量および変化量の積算値、いずれか一つ以上を検出する検出ステップと、
上記検出ステップにおいて検出された変化勾配および変化量および変化量の積算値、いずれか一つ以上の値に基づいて、上記位相検出画素にて補間画素の適用割合を決定する決定ステップと、
上記決定ステップの結果に応じて、上記位相検出画素を補間する補間ステップと、
をコンピュータに実行させることを特徴とするプログラム。
【請求項１】
画素の一部に焦点検出をするための位相検出画素が設けられた撮像素子と、
上記撮像素子から出力された画素データのうち、上記位相検出画素の近傍に位置する画素から、撮像された画像のコントラスト
情報を検出するコントラスト情報検出部と、
上記検出されたコントラスト情報に基づいて、上記位相検出画素のデータを補正するか否かを判断する位相画素補正判断部と、
上記位相画素補正判断部にて位相検出画素を補正すると判断した場合は、上記位相検出画素の近傍画素に対する重み付けを決定する重み付け決定部と、
上記決定された重み付けに基づいて、上記位相検出画素を重み付け補正する画素補正部と、
上記画素補正後に、上記画素データを表示または記録用画像とするための色変換処理をする色変換処理部と、
を備えることを特徴とする撮像装置
【請求項２】
上記コントラスト情報検出部は、コントラスト情報として上記位相検出画素近傍の画素の差分加算値及び差分最大値を検出することを特徴とする請求項１に記載の撮像装置。
【請求項３】
上記重み付け決定部は、コントラスト情報として検出されたコントラストの変化勾配および変化量に基づいて、上記位相検出画素近傍の対象画素に対する重み付けを決定することを特徴とする請求項１に記載の撮像装置。
【請求項４】
上記重み付け決定部は、変化勾配が小さい場合に、補間画素の適用割合を変化勾配が大きい場合よりも小さくすることを特徴とする請求項１に記載の撮像装置。
【請求項５】
上記位相検出画素の補正に用いる近傍画素には、他の位相検出画素を含めないことを特徴とする請求項１に記載の撮像装置。
【請求項６】
静止画撮影と動画撮影を選択する撮影選択部を更に有し、
上記位相検出画素の補正は、動画撮影が選択された場合に行うことを特徴とする請求項１に記載の撮像装置。
【請求項７】
画素の一部に焦点検出をするための位相検出画素が設けられた撮像素子と、
上記撮像素子から出力された画素データのうち、上記位相検出画素の近傍に位置する画素から、撮像された画像のコントラスト情報を検出するコントラスト情報検出部と、
上記検出されたコントラスト情報に基づいて、上記位相検出画素の近傍画素に対する重み付けを決定する重み付け決定部と、
上記決定された重み付けに基づいて、上記位相検出画素を重み付け補正する画素補正部と、
上記画素補正後に、上記画素データを表示または記録用画像とするための色変換処理をする色変換処理部と、
を備えることを特徴とする撮像装置。
【請求項８】
撮像画素群および位相検出画素群を有する撮像装置の制御方法であって、
上記位相検出画素群のゲインを調整する調整ステップと、
撮像素子における位相検出画素の近傍に存在する画素群の変化勾配および変化量および変化量の積算値、いずれか一つ以上を検出する検出ステップと、
上記検出ステップにおいて検出された変化勾配および変化量および変化量の積算値、いずれか一つ以上の値に基づいて、上記位相検出画素にて補間画素の適用割合を決定する決定ステップと、
上記決定ステップの結果に応じて、上記位相検出画素を補間する補間ステップと、
を有することを特徴とする撮像装置の制御方法。
【請求項９】
撮像画素群および位相検出画素群を有する撮像素子を制御するためにコンピュータに実行させるプログラムであって、
上記位相検出画素群のゲインを調整する調整ステップと、
撮像素子における位相検出画素の近傍に存在する画素群の変化勾配および変化量および変化量の積算値、いずれか一つ以上を検出する検出ステップと、
上記検出ステップにおいて検出された変化勾配および変化量および変化量の積算値、いずれか一つ以上の値に基づいて、上記位相検出画素にて補間画素の適用割合を決定する決定ステップと、
上記決定ステップの結果に応じて、上記位相検出画素を補間する補間ステップと、
をコンピュータに実行させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１３−１０６１２４（Ｐ２０１３−１０６１２４Ａ）
【公開日】平成２５年５月３０日（２０１３．５．３０）
【国際特許分類】
【出願番号】特願２０１１−２４７２０９（Ｐ２０１１−２４７２０９）
【出願日】平成２３年１１月１１日（２０１１．１１．１１）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
【公開日】平成２５年５月３０日（２０１３．５．３０）
【国際特許分類】
【出願日】平成２３年１１月１１日（２０１１．１１．１１）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
[ Back to top ]