説明

撮像装置及び画像処理装置

【課題】本発明の目的は、画像を撮影した際の焦点検出点及び焦点検出データを高精度で検出して画像ファイルに記録し、後に、このデータを有効利用できるようにした撮像装置等を提供する。
【解決手段】デジタルカメラの専用AFセンサに位相差AF機能、撮像素子に撮像面位相差AF機能を搭載し、実際に撮影された画像を画像ファイル化する際に、画像ファイルからの撮像面位相差AFのデータ(撮像面位相差AFルーチン)と、専用AFセンサによる位相差AFからのデータ(位相差AFルーチン)とを、そのデータの信頼性に応じて画像ファイル内に記録する。画像を表示する際に画像ファイル内からデータを読み取り、画像と一緒に表示する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像を撮影したときの焦点検出データを、撮影後に有効利用を図るため、より確実に画像ファイル内に記録可能とする撮像装置及び画像処理装置に関する。
【背景技術】
【0002】
一般に、制止画像を撮影可能なデジタルカメラ等の撮像装置では、撮影した画像ファイル内に画像データとともに、撮影日時、露出制御値等のカメラ設定値、レンズ情報といった様々な撮影情報が記録可能となっている。
【0003】
このような従来のデジタルカメラでは、撮影レンズの合焦動作に使用した焦点検出点を記録しておき、画像ファイルを再生する時に、その画像に焦点検出点の位置を重ねて表示するものが提案されている(例えば、特許文献1参照)。
【0004】
また、従来のデジタルカメラでは、選択された複数の焦点検出点と、その焦点検出点における焦点検出データ(例えば、撮像面から被写体までの距離情報)を記録可能としたものが提案されている(例えば、特許文献2参照)。
【0005】
これら焦点検出点や焦点検出データの情報は、ユーザが意図した通りに被写体が撮影できているか否かの判断や、画像加工、画像の管理、検索など様々な用途に利用されている。
【0006】
さらに、従来のデジタルカメラでは、撮像素子の画素を用いた焦点検出を行うことで、撮像される画像の焦点調節をより高い精度で実施するものが提案されている(例えば、特許文献3参照)。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開2001−128044号公報
【特許文献2】特開2005−12307号公報
【特許文献3】特開2007−233032号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかしながら、例えば、前述した特許文献1に係わる従来のデジタルカメラは、合焦動作に使用した焦点検出点の位置を表示するものであり、焦点検出データについての記載が無い。
【0009】
また、特許文献2に係わる従来のデジタルカメラでは、記録画像ファイル内に記録される焦点検出データが、実際に画像が撮影された直前のデータとなっている。このため、このデジタルカメラでは、静止被写体を撮影する場合に問題ない。しかし、動体被写体の場合には、焦点検出を行ってから撮影するまでの間にタイムラグがあるので、その間に被写体が移動してしまう。このため、動体被写体の場合には、焦点検出データの合焦位置が撮影の瞬間における動体被写体の位置と完全に一致しないので精度が低くなり、焦点検出データが活用し難いといった問題がある。
【0010】
一方、特許文献3に係わる従来のデジタルカメラでは、撮像面位相差AFによる焦点検出によって取得された焦点検出データを記録するので、動体被写体の場合でも撮影の瞬間の合焦位置を検出できる。
【0011】
しかし、撮像面位相差AFによる焦点検出手段では、焦点検出エリア長が短く測距瞳の重心の開き角が大きい。このため、撮像面位相差AFでは、専用のセンサを用いて位相差方式により焦点検出を行う位相差AFに比べて、デフォーカス量検出範囲が狭まくなる傾向がある。
【0012】
このため、撮像面位相差AFによる焦点検出手段では、被写界の主被写体以外の焦点検出領域において焦点検出データを取得できなくなることがある。このような場合には、焦点検出データを画像加工等の用途に利用できなくなるという問題がある。要するに、デジタルカメラでは、画像ファイル内に記録された焦点検出データが、実際に画像が撮影された直前のデータのため、静止被写体の場合は問題とならない。だが、動体被写体の場合には、焦点検出を行ってから撮影するまでのタイムラグ分、焦点検出データと画像が完全には一致しないので、後に焦点検出データを活用し難い。そこで、デジタルカメラでは、撮像面位相差AF機能を搭載して利用したい。しかし、撮像面位相差AFは、デフォーカス検出範囲が狭いため活用できる焦点検出データが被写界の一部だけになってしまう可能性があり後に、このデータを有効利用し難いという性質がある。
【0013】
本発明の目的は、画像を撮影した際の焦点検出点及び焦点検出データを高精度で検出して画像ファイルに記録し、後に、このデータを有効利用できるようにした撮像装置と、このデータを有効利用するための及び画像処理装置を提供することにある。
【課題を解決するための手段】
【0014】
上記の目的を達成するために、本発明の撮像装置は、撮影光学系を通して結像された像を撮像する撮像手段における撮像素子の焦点検出用画素を用いた位相差方式により焦点検出を行う撮像面位相差AFの機能と、前記撮影光学系を通して結像させた像を前記撮像手段により撮像する撮像前と撮像後のそれぞれで専用のセンサを用いて位相差方式により焦点検出を行う位相差AFの機能とを有する撮像装置において、前記撮像面位相差AFの機能により得られた第一の焦点検出データと、前記位相差AFの機能により得られた前記撮像手段により撮像される前の前記第二の焦点検出データと、前記撮像手段により撮像された後の前記第二の焦点検出データと、を比較して、より信頼性の高いものを判定する信頼性判定手段と、前記撮像手段により撮像された撮像データを画像処理手段で変換した画像ファイル内の一部の領域に、前記信頼性判断手段がより信頼性が高いと判定した前記第一の焦点検出データ若しくは前記撮像手段により撮像される前又は後の前記第二の焦点検出データを記録するデータ記録手段と、を備えることを特徴とする。
【0015】
上記の目的を達成するために、本発明の画像処理装置は、画像ファイル内に記録された撮像データと、撮像面位相差AFの機能で得られた第一の焦点検出データと、位相差AFの機能で得られた第二の焦点検出データを読み出し可能なデータ読み出し手段と、読み出された前記撮像データと、前記第一の焦点検出データと、前記第二の焦点検出データを表示可能な表示手段と、前記撮像データの画像処理が可能な画像処理手段と、前記撮像面位相差AFの機能で得られたデータの演算処理が可能な演算処理手段と、を備えたこと特徴とする。
【発明の効果】
【0016】
本発明によれば、画像が撮影された瞬間の撮像面位相差AFによる焦点検出データを画像ファイル内に記録可能とする。これと共に、撮像面位相差AFの焦点検出データを取得できない場合には、専用センサで得た焦点検出データで補って画像ファイル内に記録することが可能な撮像装置を提供できるという効果がある。
【0017】
さらに、この撮像装置で記録された画像ファイル内のデータを有効利用できる画像処理装置を提供できるという効果がある。
【図面の簡単な説明】
【0018】
【図1】本発明の実施の形態に係わるデジタルカメラにおける制御系のブロック図である。
【図2】(A)、(B)、(C)は、それぞれ本発明の実施の形態に係わるデジタルカメラにおける撮像素子に使用される撮像用画素の構造を説明する図である。
【図3】本発明の実施の形態に係わるデジタルカメラにおける撮像素子の最小単位の画素配列説明図である。
【図4】本発明の実施の形態に係わるデジタルカメラにおける撮像素子の上位単位の画素配列説明図である。
【図5】本発明の実施の形態に係わるデジタルカメラにおける横ずれ焦点検出時の画素グループ化方法説明図である。
【図6】本発明の実施の形態に係わるデジタルカメラにおける横ずれ焦点検出時の画像サンプリング特性説明図である。
【図7】本発明の実施の形態に係わるデジタルカメラにおける縦ずれ焦点検出時の画素グループ化方法説明図である。
【図8】本発明の実施の形態に係わるデジタルカメラにおける縦ずれ焦点検出時の画像サンプリング特性説明図である。
【図9】本発明の実施の形態に係わるデジタルカメラにおける撮像素子の瞳分割状況を説明する概念図である。
【図10】本発明の実施の形態に係わるデジタルカメラにおけるライブビュー時のAF動作説明図である。
【図11】本発明の実施の形態に係わるデジタルカメラにおけるExif圧縮形式の画像ファイルフォーマット構造を示す図である。
【図12】本発明の実施の形態に係わるデジタルカメラにおけるRAWデータ形式の画像ファイルフォーマット構造を示す図である。
【図13A】本発明の実施の形態に係わるデジタルカメラにおけるデジタルカメラの基本動作を示すフローチャートである。
【図13B】本発明の実施の形態に係わるデジタルカメラにおけるデジタルカメラの基本動作を示すフローチャートである。
【図14】図13に示す位相差AFルーチンのS6、S12、S15、S30の詳細を説明するフローチャートである。
【図15】図13に示す通常撮影ルーチンのS14の詳細を説明するフローチャートである。
【図16】図13、図15に示す撮像面位相差AFルーチンのS25、S117の詳細を説明するフローチャートである。
【図17】図13に示す画像・焦点検出データ記録ルーチンのS17の詳細を説明するフローチャートである。
【図18】図13に示すライブビュー撮影ルーチンのS29の詳細を説明するフローチャートである。
【図19】図13に示すライブビュー時の画像・焦点検出データ記録ルーチンのS32の詳細を説明するフローチャートである。
【図20】本発明の実施の形態に係わるデジタルカメラにおけるデジタルカメラの画像再生時のフローである。
【図21】本発明の実施の形態に係わるデジタルカメラにおけるデジタルカメラの液晶モニタ14での画像再生時を示す図である。
【図22A】本発明の実施の形態に係わる画像処理装置におけるRAWファイル処理ソフト302の基本動作を示すメインフローである。
【図22B】本発明の実施の形態に係わる画像処理装置におけるRAWファイル処理ソフト302の基本動作を示すメインフローである。
【図23】本発明の実施の形態に係わる画像処理装置のディスプレイにRAWファイル処理ソフトが表示された図である。
【図24】本発明の実施の形態に係わるデジタルカメラにおけるファインダー内の専用センサ位相差AFの焦点検出領域を示す図である。
【発明を実施するための形態】
【0019】
(第1実施の形態)
以下、本発明の撮像装置に係わる第1実施の形態のデジタル一眼レフカメラについて、図面を参照しながら説明する。
【0020】
本第1実施の形態のデジタル一眼レフカメラは、図示しないが、カメラ本体の各種信号を通信したり、駆動電源を供給したりするためのインターフェース部を有するマウントに、撮影レンズが着脱可能に装着されている。この交換可能な撮影レンズには、内部にフォーカスレンズ群やズームレンズ群及び絞り装置が装着されている。
【0021】
また、デジタル一眼レフカメラには、主ミラーが、カメラの動作状態に応じて回動可能に装着されている。
【0022】
このデジタル一眼レフカメラで被写体をファインダーで観察するときには、主ミラーが撮影光路上で斜状の姿勢に操作されて、撮影レンズからの光束を折り曲げて後述のファインダー光学系へ導くように構成されている。
【0023】
このデジタル一眼レフカメラで撮影時又はライブビュー時には、主ミラーが、撮影光路上から退避して、撮影レンズからの光束を後述の撮像素子へ導くように構成されている。
【0024】
このデジタル一眼レフカメラは、撮影レンズからの光束を撮像素子に入射制御するためのシャッターを備える。このシャッターは、通常のときに閉じた状態とされ、撮影時又はライブビュー時に開いた状態とされるように装着されている。
【0025】
このデジタル一眼レフカメラは、CMOSイメージセンサとその周辺回路で構成された撮像素子を備える。この撮像素子は、全画素独立出力が可能なように構成されている。また、この撮像素子は、撮像面位相差焦点検出手段を構成するため、一部の画素が焦点検出用画素となっている。この撮像面位相差焦点検出手段を備えた撮像素子は、撮像面で位相差検出方式の焦点検出が可能に構成されている。
【0026】
具体的に言うと、撮像素子6は、被写体の像を形成する撮影レンズ3の射出瞳(後述するEP)の全域を通る光を各々が受光して被写体の像を生成するための複数の撮影用画素を備える。これと共に、撮像素子6は、各々が撮影レンズ3の射出瞳EPの一部の領域(後述するEPHA及びEPHB)を通る光を受光する複数の焦点検出用画素を備える。複数の焦点検出用画素は、全体として撮影レンズ3の射出瞳の全域を通る光を受光することができる。
【0027】
このデジタル一眼レフカメラは、主ミラーとともに回動するサブミラーを備える。サブミラーは、主ミラーが撮影光路上で斜状の姿勢とされている状態で、主ミラーを透過した光束をAFセンサに向かって折り曲げてAFセンサへ導くように構成されている。このサブミラーは、全反射するミラーとして構成されているので撮像素子を遮光する。また、サブミラーは、撮影時やライブビュー時に主ミラーと共に回動して撮影光路上から退避する。
【0028】
このデジタル一眼レフカメラが備えるAFセンサは、2次結像レンズや複数のCCD又はCMOSからなるエリアセンサ等で構成されており、専用センサを用いて位相差方式により焦点検出を行う位相差AFが可能となっている。
【0029】
このデジタル一眼レフカメラは、撮影レンズの一次結像面に配置されたピント板を備える。ピント板には、入射面にフレネルレンズ(集光レンズ)が設けられ、射出面に被写体像(ファインダー像)が結像される。
【0030】
このデジタル一眼レフカメラは、ファインダー光路変更用のペンタプリズムを備える。ペンタプリズムは、ピント板の射出面に結像した被写体像を正立正像に補正する。
【0031】
このデジタル一眼レフカメラは、接眼レンズを備える。このデジタル一眼レフカメラでは、ピント板、ペンタプリズム及び接眼レンズにより構成されている光学系により、ファインダー光学系が構成される。
【0032】
このデジタル一眼レフカメラは、自動露光(AE)センサ(専用センサ)を備える。自動露光センサは、多分割された撮像領域内の各領域に対応したフォトダイオードから構成されており、ピント板の射出面に結像した被写体像の輝度を測定する。
【0033】
このデジタル一眼レフカメラは、撮影した画像や各種の撮影情報を表示する液晶モニタ(表示部)を備える。
【0034】
この液晶モニタは、ライブビューモード時(ライブビュー表示中)に撮像素子が撮像した被写体の像(被写体像)を表示する。これと共に、この液晶モニタは、後述するAF枠設定部としてのマルチコントローラが設定可能なAF枠とマルチコントローラが設定したAF枠を表示する。
【0035】
次に、本第1実施の形態に係わるデジタル一眼レフカメラの制御系について、図1のブロック図により説明する。
【0036】
図1で、20は、カメラ部の制御とカメラ全体の制御を行うマイクロコンピュータ(中央処理装置;以下、「MPU」と称す)である。MPU(制御部)20は、後述する枠設定部であるマルチコントローラ33が設定したAF枠の焦点検出用画素の出力信号(生データ)を演算することによってAF枠に対して位相差AFを行って焦点検出枠の焦点ずれ量を算出する。
【0037】
図1で、21は画像データの各種制御を行うメモリコントローラ、22は各種制御を行うための設定、調整データ等を格納しているEEPROMである。
【0038】
図1で、23は撮影レンズ3内にあるレンズ制御回路である。このレンズ制御回路23は、マウント2を介してMPU20と接続されており、後述の各情報に基づいてピント調整操作をし、不図示のフォーカスレンズ群の焦点調節(合焦駆動)や不図示の絞り駆動を行う。
【0039】
図1で、24は焦点検出回路であり、AFセンサ8のエリアセンサの蓄積制御と読み出し制御とを行って、各焦点検出点の画素情報をMPU20に出力する。このMPU20は、各焦点検出点の画素情報に基づいて周知の位相差AFを行い、検出した焦点検出情報をレンズ制御回路23へ送出して不図示のフォーカスレンズ群の焦点調節を行う。この焦点検出から焦点調節までの一連の動作をAF動作と称する。
【0040】
図1で、25は測光回路であり、専用センサであるAEセンサ13の各領域からの輝度信号をMPU20に出力する。MPU20は、輝度信号をA/D変換して被写体の測光情報とし、この測光情報を用いて撮影露出を演算し設定する。この測光情報を得てから撮影露出の設定までの一連の動作をAE動作と称する。
【0041】
図1で、26はモータ駆動回路であり、主ミラー4を駆動するモータ(不図示)と、シャッター5のチャージを行うモータ(不図示)とを制御する。また、27はシャッター駆動回路であり、シャッター5を開閉するためのコイル(不図示)への電力供給制御を行う。28は電源29の電圧を各回路に必要な電圧に変換するDC/DCコンバータである。
【0042】
図1で、30はレリーズボタンであり、SW1とSW2の信号をMPU20へ出力する。SW1は、第1ストローク(半押し)操作でONし、測光(AE)、AF動作を開始させるためのスイッチである。SW2は、レリーズボタンの第2ストローク(全押し)操作でONし、露光動作を開始させるためのスイッチである。
【0043】
図1で、31はモードボタンであり、ボタン操作後、後述の電子ダイヤル32やマルチコントローラ(領域指示手段)33を操作すると、その入力に応じて各種モードが変更され、再度ボタンを操作すると決定される。例えば撮影画像の記録画質の種類等が変更可能である。
【0044】
図1で、32は電子ダイヤルであり、ダイヤルの回転クリックに応じたON信号がMPU20内の不図示のアップダウンカウンタに出力され、その数がカウントされる。このカウントに応じて各種の数値やデータ等の選択が行われる。
【0045】
図1で、33はマルチコントローラ(MC)であり、後述するライブビュー時に液晶モニタ14に表示されるAF枠(焦点検出枠)や各種モードを選択、決定するために用いられる入力装置である。このマルチコントローラ33は、上下左右、斜め右上、斜め右下、斜め左上、斜め左下の8方向の入力と、押し操作による入力を行うことができるように構成されている。
【0046】
このマルチコントローラ33は、ライブビューモードを設定するモード設定部として機能する。また、マルチコントローラ33は、焦点検出の対象であるAF枠を撮像素子6の撮像領域の任意の位置に設定する枠設定部としても機能する。また、マルチコントローラ33は、焦点検出の対象であるAF枠を撮像素子6の撮像領域の任意の位置に設定する枠設定部としても機能する。
【0047】
図1で、34は電源ボタンであり、操作されることによりカメラの電源がON/OFFされる。35は再生ボタンであり、操作されることにより後述のメディア48内に記録された画像が液晶モニタ14に表示される。
【0048】
図1で、40は撮像素子6から出力される画像信号をサンプルホールド及び自動ゲイン調整するCDS(相関2重サンプリング)/AGC(自動ゲイン調整)回路である。また、41はCDS/AGC回路40のアナログ出力をデジタル信号に変換するA/D変換器である。
【0049】
図1で、42はTG(タイミング発生)回路である。このTG回路42は、撮像素子6に駆動信号を、CDS/AGC回路40にサンプルホールド信号を、A/D変換器41にサンプルクロック信号を供給する。
【0050】
図1で、43はA/D変換器41でデジタル変換された画像等を一時的に記録するためのSDRAM(メモリ)である。SDRAM43は、撮像素子6の撮像領域の全域の焦点検出用画素の出力信号(生データ)を記録することができる。また、SDRAM43は、撮像素子6の撮像領域の全域に対して位相差AFを行って焦点ずれ量(第二の焦点検出データ)を算出して記録する。
【0051】
図1で、44は画像をY/C(輝度信号/色差信号)分離、ホワイトバランス補正、γ補正等を行う画像処理回路である。また45は画像をJPEG等の形式に従って圧縮し、または圧縮された画像の伸張を行う画像圧縮/伸張回路である。
【0052】
図1に示すメモリコントローラ21は、撮像素子6から出力される画像信号を画像処理回路44で画像処理することにより、被写体の測光情報を得ることが可能に構成されている。
【0053】
図1で、46はSDRAM43や後述するメディア48に記録された画像を液晶モニタ14に表示するために、画像をアナログ信号に変換するD/A変換器である。また47は画像を記録保存するためのメディア48とのI/F(インターフェース)である。
【0054】
ここで、撮像素子6の焦点検出用画素を用いた位相差方式により焦点検出を行う撮像面位相差AFについて説明する。
【0055】
本第1実施の形態では、画素ピッチが8μm、有効画素数が縦3000行×横4500列=1350万画素、撮像画面サイズが横36mm×縦24mmの撮像素子を例にとって説明する。この撮像素子6は、受光画素上にベイヤー配列の原色カラーモザイクフィルタがオンチップで形成された、2次元単板カラーセンサとして構成されている。
【0056】
次に、撮像素子における撮像用画素と焦点検出用画素の構造について図2(A)〜図2(C)を参照して説明する。本第1実施の形態に係わるデジタル一眼レフカメラに用いる撮像素子6では、2行×2列の4画素のうち、対角2画素にG(緑色)の分光感度を有する画素が配置されている。これと共に、この撮像素子6では、2行×2列の4画素のうち、他の2画素にR(赤色)とB(青色)の分光感度を有する画素が各1個配置された、ベイヤー配列を採用している。そして、このベイヤー配列の間に、後述する構造の焦点検出用画素が所定の規則に則って分散配置されている。
【0057】
この撮像素子6の撮像用画素の配置は、図2(A)(a)に示すように、2行×2列の撮像用画素がベイヤー配列されており、対角方向にG画素が、他の2画素にRとBの画素が配置されている。そして撮像素子6には、このベイヤー配列された2行×2列の構造が繰り返し配置されて構成されている。
【0058】
この撮像用画素は、図2(A)(b)の断面図に示すように、各画素の最前面にオンチップマイクロレンズMLが配置され、その下にR(赤色)のカラーフィルタCFRが配置され、その下にG(緑色)のカラーフィルタCFGが配置されて構成されている。
【0059】
また、図2(A)(b)の断面図で、PD(Photo Diode)は、CMOSイメージセンサの光電変換素子を模式的に示したものである。さらに、図2(A)(b)で、CL(Contact Layer)は、CMOSイメージセンサ内の各種信号を伝達する信号線を形成するための配線層であり、TL(Taking Lens)は、撮影レンズ3の撮影光学系を模式的に示したものである。
【0060】
この撮像素子6では、撮像用画素のオンチップマイクロレンズMLと光電変換素子PDは、撮影光学系TLを通過した光束を可能な限り有効に取り込むように構成されている。換言すると、撮影光学系TLの射出瞳EP(Exit Pupil)と光電変換素子PDは、マイクロレンズMLにより共役関係にあり、かつ光電変換素子の有効面積は大面積に設計される。
【0061】
また、この撮像素子6では、図2(A)(b)でR画素の構造を例にとって説明したが、G画素とB(青色)画素も同一の構造とされている。このような構造とすることにより、撮像素子6は、撮像用のRGB各画素に対応した射出瞳EPが大径となり、被写体からの光束(光量子)を効率よく取り込んで画像信号のS/N比を向上させることができる。
【0062】
次に、撮影光学系の水平方向(左右方向又は横方向)に瞳分割を行うための焦点検出用画素の配置と構造について、図2(B)を参照して説明する。ここで水平方向とは、撮影光学系の光軸と撮像領域の長辺とが地面に平行となるように撮像装置を構えたとき、この光軸に直交し、かつ平面方向に伸びる直線に沿った方向をいうものとする。
【0063】
この撮像素子6の焦点検出用画素を含む2行×2列の画素の配置は、図2(B)(a)に示すように、G画素を撮像用画素として残し、R画素とB画素を焦点検出用画素に置き換えて構成している。この焦点検出用画素は、図2(B)(a)においてSHA及びSHBと示す。
【0064】
この撮像素子6の画素の配置を図2(B)(a)に示すように構成した理由は、以下の通りである。撮像素子6では、記録又は観賞のための画像信号を得る場合、G画素で輝度情報の主成分を取得する。
【0065】
ここで、人間の画像認識特性は、輝度情報に敏感であるためG画素が欠損すると画質劣化が認知されやすい。一方、撮像素子6で、R画素又はB画素が色情報(色差情報)を取得する画素となるが、人間の視覚特性は、色情報には鈍感であるため、色情報を取得する画素が多少の欠損を生じても画質劣化として認識され難い。そこで、G画素を撮像用画素として残し、R画素とB画素を焦点検出用画素に置き換えて構成している。
【0066】
また、この撮像素子6では、マイクロレンズMLと光電変換素子PDを、前述した図2(A)(b)に示す撮像用画素と同様に構成している。この撮像素子6では、焦点検出用画素の信号を画像生成に用いないので、色分離用カラーフィルタの代わりに透明膜CFW(白色)が配置されている。
【0067】
この撮像素子6では、瞳分割を行うため、配線層CLの開口部をマイクロレンズMLの中心線に対して一方向に偏在させた構成としている。具体的には、画素SHA及び開口部OPHAを右側に偏在させ、撮影光学系TLの左側の射出瞳EPHAを通過した光束を受光できるように構成する。これと共に、この撮像素子6では、画素SHBの開口部OPHBを左側に偏在させて、撮影光学系TLの右側の射出瞳EPHBを通過した光束を受光できるように構成する。
【0068】
この撮像素子6では、画素SHAを水平方向に規則的に配列し、これらの画素群で取得した被写体像をA像とする。またこの撮像素子6では、画素SHBも水平方向に規則的に配列し、これらの画素群で取得した被写体像をB像とする。
【0069】
そして、このデジタルカメラでは、A像とB像の相対位置を検出することで被写体像の焦点ずれ量(測距データ)を検出する。なお、撮像素子6の画素SHA及びSHBでは、撮像領域の横方向に輝度分布を有した被写体、例えば縦線に対しては焦点検出可能だが、縦方向に輝度分布を有する横線は焦点検出不能である。
【0070】
そこで、この撮像素子6では、縦方向に輝度分布を有する横線についても焦点状態を検出できるよう、撮影光学系の垂直方向(縦方向)にも瞳分割を行う画素を設けて構成されている。
【0071】
次に、撮影光学系の垂直方向(上下方向又は縦方向)に瞳分割を行うための焦点検出用画素の配置と構造について、図2(C)を参照して説明する。ここで垂直方向とは、撮影光学系の光軸と撮像領域の長辺とが地面に平行となるように撮像装置を構えたとき、この光軸に直交し、鉛直方向に伸びる直線に沿った方向をいうものとする。
【0072】
この焦点検出用画素を含む2行×2列の画素の配置は、図2(B)(a)に示すように、G画素は撮像用画素として残し、R画素とB画素を焦点検出用画素に置き換えて構成している。この焦点検出用画素は、図2(C)(a)においてSVC及びSVDと示す。
【0073】
この撮像素子6では、図2(B)(b)の画素が横方向に瞳分離する構造であるのに対して、図2(C)(b)の画素の瞳分離方向が縦方向に構成している。なお、その他の画素の構造は、前述した図2(B)(b)のものと同様に構成されている。
【0074】
この撮像素子6では、画素SVCの開口部OPVCを下側に偏在させることにより、撮影光学系TLの上側の射出瞳EPVCを通過した光束を受光できるように構成されている。
【0075】
また、この撮像素子6では、画素SVDの開口部OPVDを上側に偏在させることにより撮影光学系TLの下側の射出瞳EPVDを通過した光束を受光できるように構成されている。
【0076】
この撮像素子6では、画素SVCを垂直方向に規則的に配列し、これらの画素群で取得した被写体像をC像とする。またこの撮像素子6では、画素SVDも垂直方向に規則的に配列し、これらの画素群で取得した被写体像をD像とする。
【0077】
そして、このデジタルカメラでは、C像とD像の相対位置を検出することで、垂直方向に輝度分布を有する被写体像の焦点ずれ量(測距データ)を検出する。
【0078】
次に、撮像素子6における撮像用画素及び焦点検出用画素の配置規則について図3及び図4を参照して説明する。まず、図3に示す撮像用画素の間に焦点検出用画素を離散的に配置する場合について説明する。
【0079】
ここで、撮像用画素の間に焦点検出用画素を離散的に配置する場合では、図3に最小単位の配置規則を示すように、10行×10列=100画素の正方形領域を1つのブロックと定義する。
【0080】
図3に向かって左上の位置に当たるブロックBLKH(1,1)では、一番左下のR画素とB画素を、水平方向に瞳分割を行う1組の焦点検出用画素SHA及びSHBで置き換える。
【0081】
その右隣りのブロックBLKV(1,2)においては、同じく一番左下のR画素とB画素を、垂直方向に瞳分割を行う1組の焦点検出用画素SVC及びSVDで置き換える。
【0082】
また最初のブロックBLKH(1,1)の下に隣接したブロックBLKV(2,1)の画素配列は、ブロックBLKV(1、2)と同一とする。そしてその右隣りのブロックBLKH(2,2)の画素配列は、先頭のブロックBLKH(1,1)と同一とする。
【0083】
この配置規則を一般化した場合は、ブロックBLK(i,j)において、i+jが偶数であれば水平瞳分割用の焦点検出用画素が配置され、i+jが奇数であれば垂直瞳分割用の焦点検出用画素が配置されることになる。そしてこの場合には、図3の2×2=4ブロック、即ち、20行×20列=400画素の領域をブロックの上位の配列単位としてのクラスタと定義する。
【0084】
次に、クラスタを単位とした配置規則について図4を参照して説明する。図4において、20行×20列=400画素で構成された、図4に向かって一番左上に位置するクラスタをCST(u,w)=CST(1,1)とする。
【0085】
このクラスタCST(1,1)においては、各ブロックの一番左下のR画素とB画素を焦点検出用画素SHA及びSHB又はSVC及びSVDで置き換える。クラスタCST(1,1)の図4に向かって右隣りのクラスタCST(1,2)においては、ブロック内における焦点検出用画素の配置を、クラスタCST(1,1)に対して上方向に2画素分シフトした位置に配置する。
【0086】
また最初のクラスタCST(1,1)の図4に向かって下に隣接したクラスタCST(2,1)においては、ブロック内における焦点検出用画素の配置を、クラスタCST(1,1)に対して右方向に2画素分シフトした位置に配置する。以上の規則を適用したものが、図4に示す配置となる。
【0087】
この配置規則を一般化すると以下のようになる。なお焦点検出用画素の座標は、図2(B)又は図2(C)で示したG画素を含む4画素を一つの単位(ペア)とし、そのうちの左上の画素の座標で規定する。また各ブロック内の座標は左上を(1、1)とし、下方向と右方向を正とする。
【0088】
クラスタCST(u,w)では、各ブロック内の焦点検出用画素ペアの水平座標が2×u−1となり、垂直座標が11−2×wとなる。そして、図4の5×5=25クラスタ、即ち100行×100列=1万画素の領域を、クラスタの上位の配列単位として、フィールドと定義する。
【0089】
次に、フィールドを単位とした配置規則について説明する。ここで、100行×100列=1万画素で構成されたフィールドをFLD(q,r)=FLD(1,1)とする。すなわち、本実施の形態では、すべてのフィールドFLD(q,r)を先頭フィールドFLD(1,1)と同様の配列とする。
【0090】
また、フィールドFLD(q,r)を水平方向に45個、垂直方向に30個配列した場合には、3000行×4500列=1350万画素の撮像領域が、1350個のフィールドFLD(q,r)で構成される。このように構成した場合には、撮像領域全面に亘って焦点検出用画素を均一に分布させることができる。
【0091】
次に、焦点検出時の画素のグループと信号加算方法について、図5〜図8を用いて説明する。
【0092】
まず、撮影光学系によって形成された被写体像の横ずれ方向の焦点検出を行う場合の画素グループ化方法について、図5により説明する。ここで、横ずれ方向の焦点検出とは、図2(B)で説明した、撮影光学系の射出瞳を横方向(水平方向又は左右方向)に分割するための焦点検出用画素を用いて、位相差式焦点検出を行うことを指す。
【0093】
この図5に示す画素配列は、前述した図4で説明したものと同様である。なお、焦点検出の際には、横方向に1ブロック、縦方向に10ブロックの合計10ブロックを1つのグループとし、これをセクションと定義する。そしてこの画素グループ化方法では、横方向に配列されたセクションSCTH(k)を複数連結して1つの焦点検出領域を構成する。
【0094】
本実施の形態では、例えば、1つの焦点検出領域が、セクションSCTH(1)からセクションSCTH(10)までの10個のセクションを連結して構成されている。即ち、100行×100列=1万画素の領域が、1つの焦点検出領域となる。
【0095】
この焦点検出領域は、1フィールドと同一領域であり、前述したように撮像領域で1350個の固定焦点検出領域となるように設定されている。
【0096】
なお、設定方法は、例えば、被写体に応じて撮像領域の任意位置のセクションSCTH(k)を複数連結することで撮像領域の任意位置に可変焦点検出領域を設定する等の様々の設定方法をとることができる。
【0097】
ここで1つのセクションには、横方向における一方の瞳分割を行う画素SHAが5個、他方の瞳分割を行う画素SHBも5個含まれている。そこで、本実施の形態においては、5個のSHAの出力を加算して1画素の信号とし、位相差演算用の一方の画像信号(A像と称する)の1AF画素を得る。同様に、5個のSHBの出力を加算して1画素の信号とし、位相差演算用の他方の画像信号(B像と称する)の1AF画素を得る。
【0098】
次に、一つのセクションにおける被写体像の捕捉能力について、図6を参照して説明する。図6は、図5の左端のセクションSCTH(1)を切り出し示すもので、図6に向かって下端に示された水平線PRJHは、焦点検出用画素SHA及びSHBの瞳分割方向に延伸した第1の射影軸(Projection Line)を示す。また、図6に向かって右端に示された垂直線PRJVは、瞳分割方向と直交する方向に延伸した第2の射影軸である。
【0099】
このセクションSCTH(1)では、1つのセクション内の画素SHAが全て加算され、SHBも加算される。そこで1つのセクションを1つのAF画素と見なした場合、1つのAF画素に含まれる受光部を瞳分割方向の射影軸PRJHに射影すると、画素SHAとSHBが交互に緻密に並ぶことがわかる。
【0100】
このセクションSCTH(1)では、瞳分割方向の射影軸PRJHにおける画素SHAの配列ピッチをP1とすると、P1=PHH=2(単位は画素)の関係が成立する。この関係は、ピッチの代わりに空間周波数F1で表わすと、F1=0.5(単位は画素/画素)となる。
【0101】
また、このセクションSCTH(1)では、同様に射影軸PRJHにおける画素SHBの配列ピッチがP1=2(単位は画素)となる。さらに、空間周波数表記では、F1=0.5(単位は画素/画素)となる。
【0102】
一方、1つのAF画素に含まれる受光部を瞳分割方向と直交方向の射影軸PRJVに射影した場合には、画素SHAとSHBがまばらに並ぶことがわかる。この場合には、射影軸PRJVにおける画素SHAの配列ピッチをP2とすると、P2=PHV=20(単位は画素)となる。ピッチの代わりに空間周波数F2で表わすと、F2=0.05(単位は画素/画素)となる。
【0103】
また、この場合には、射影軸PRJVにおける画素SHBの配列ピッチが、P2=20(単位は画素)となり、空間周波数表記でF2=0.05(単位は画素/画素)となる。
【0104】
すなわち、本実施の形態におけるAF画素におけるグループ化前の分散特性は、瞳分割方向とこれに直交する方向の配置上のピッチが等しくなる。そこで、このAF画素では、グループ化する際のグループ形状を長方形とすることで、瞳分割方向のサンプリング誤差を低減している。具体的には、このAF画素では、1セクションの瞳分割方向の最大寸法L1を10画素、瞳分割と直交する方向の最大寸法L2を100画素としている。
【0105】
このように、このAF画素では、セクション寸法をL1<L2とすることで、瞳分割方向のサンプリング周波数F1を高周波(密)とし、これと直交する方向のサンプリング周波数F2を低周波(疎)としている。
【0106】
次に、撮影光学系によって形成された被写体像の縦ずれ方向の焦点検出を行う場合の画素グループ化方法について、図7を参照して説明する。ここで、縦ずれ方向の焦点検出とは、図2(C)で説明した、撮影光学系の射出瞳を縦方向(垂直方向又は上下方向)に分割するための焦点検出用画素を用いて、位相差式焦点検出を行うことをいう。すなわち、図5に示す画素配列を90度回転したものに相当する。
【0107】
この図7に示す画素配列は、前述した図4で説明したものと同様である。この画素配列では、焦点検出の際に、横方向に10ブロック、縦方向に1ブロックの合計10ブロックを1つのグループとし、これをセクションと定義する。そしてこの画素配列では、縦方向に配列されたセクションSCTV(k)を複数連結して1つの焦点検出領域を構成する。本実施の形態では、例えば、1つの焦点検出領域を、セクションSCTV(1)からセクションSCTV(10)までの10個のセクションを連結して構成している。
【0108】
すなわち、この画素配列では、100行×100列=1万画素の領域が1つの焦点検出領域となる。これは1フィールドと同一領域であり、前述したように、撮像領域で1350個の固定焦点検出領域となるように設定されている。なお、設定方法は、例えば、被写体に応じて撮像領域の任意位置のセクションSCTV(k)を複数連結することで撮像領域の任意位置に可変焦点検出領域を設定する等、種々の設定方法を用いることが可能である。
【0109】
ここで1つのセクションには、縦方向における一方の瞳分割を行う画素SVCが5個、他方の瞳分割を行う画素SVDも5個含まれている。そこで、本実施の形態では、5個のSVCの出力を加算して1画素の信号とし、位相差演算用の一方の画像信号(C像と称する)の1AF画素を得るように構成する。これと同様に、5個のSVDの出力を加算して1画素の信号とし、位相差演算用の他方の画像信号(D像と称する)の1AF画素を得るように構成する。
【0110】
次に、撮影光学系によって形成された被写体像の縦ずれ方向の焦点検出を行う場合の画素グループ化方法について、図7を参照して説明する。ここで、縦ずれ方向の焦点検出とは、図2(C)で説明した、撮影光学系の射出瞳を縦方向(垂直方向又は上下方向)に分割するための焦点検出用画素を用いて、位相差式焦点検出を行うことをいう。すなわち、図5に示す画素配列を90度回転したものに相当する。
【0111】
この図7に示す画素配列は、前述した図4で説明したものと同様である。この画素配列では、焦点検出の際に、横方向に10ブロック、縦方向に1ブロックの合計10ブロックを1つのグループとし、これをセクションと定義する。そしてこの画素配列では、縦方向に配列されたセクションSCTV(k)を複数連結して1つの焦点検出領域を構成する。本実施の形態では、例えば、1つの焦点検出領域を、セクションSCTV(1)からセクションSCTV(10)までの10個のセクションを連結して構成している。
【0112】
すなわち、この画素配列では、100行×100列=1万画素の領域が1つの焦点検出領域となる。これは1フィールドと同一領域であり、前述したように、撮像領域で1350個の固定焦点検出領域となるように設定されている。なお、設定方法は、例えば、被写体に応じて撮像領域の任意位置のセクションSCTV(k)を複数連結することで撮像領域の任意位置に可変焦点検出領域を設定する等、種々の設定方法を用いることが可能である。
【0113】
ここで1つのセクションには、縦方向における一方の瞳分割を行う画素SVCが5個、他方の瞳分割を行う画素SVDも5個含まれている。そこで、本実施の形態では、5個のSVCの出力を加算して1画素の信号とし、位相差演算用の一方の画像信号(C像と称する)の1AF画素を得るように構成する。これと同様に、5個のSVDの出力を加算して1画素の信号とし、位相差演算用の他方の画像信号(D像と称する)の1AF画素を得るように構成する。
【0114】
次に、一つのセクションにおける被写体像の捕捉能力について、図8を参照して説明する。この図8は、図6を90度回転したものと等価であり、図7の上端のセクションSCTV(1)を切り出して示すものである。
【0115】
この図8に向かって右端に当たる位置に示された垂直線PRJVは、焦点検出用画素SVC及びSVDの瞳分割方向に延伸した第3の射影軸である。図8に向かって下端に当たる位置に示された水平線PRJHは、瞳分割方向と直交する方向に延伸した第4の射影軸である。
【0116】
このセクションSCTV(1)においても、1つのセクション内の画素SVCはすべて加算され、SVDも加算される。そこで1セクションを1AF画素と見なした場合、1AF画素に含まれる受光部を瞳分割方向の射影軸PRJVに射影すると、画素SVC及びSVDが交互に緻密に並ぶことがわかる。
【0117】
このときの瞳分割方向の射影軸PRJVにおける画素SVCの配列ピッチをP1とすると、P1=PVV=2(単位は画素)となる。ピッチの代わりに空間周波数F1で表わすと、F1=0.5(単位は画素/画素)となる。同様に射影軸PRJVにおける画素SVDの配列ピッチは、P1=2(単位は画素)となる。また、空間周波数表記では、F1=0.5(単位は画素/画素)となる。
【0118】
一方、1つのAF画素に含まれる受光部を瞳分割方向と直交方向の射影軸PRJHに射影した場合には、画素SVCとSVDはまばらに並ぶことがわかる。このときの射影軸PRJHにおける画素SVCの配列ピッチをP2とすると、P2=PVH=20(単位は画素)となる。ピッチの代わりに空間周波数F2で表わすと、F2=0.05(単位は画素/画素)となる。同様に射影軸PRJVにおける画素SVDの配列ピッチは、P2=20(単位は画素)となる。また、空間周波数表記ではF2=0.05(単位は画素/画素)となる。
【0119】
以上説明したように、図8におけるAF画素のサンプリング特性では、瞳分割方向を基準に考えると、図6と同様の特性、すなわち、F1>F2となっている。これは、図8のセクションにおいても、瞳分割方向のセクション寸法L1とこれと直交する方向の寸法L2がL1<L2を満足するからである。
【0120】
これにより、空間周波数の高い被写体に対しても瞳分割方向の輝度情報を正確に検出することができるとともに、被写体輝度が低くても複数画素の加算によって焦点検出信号のS/N比を向上させることができる。
【0121】
次に、本実施の形態に係わる撮像素子の瞳分割機能の概念について、図9を参照して説明する。ここで、OBJは被写体であり、IMGは被写体像である。撮像用画素は、図2(A)で説明したように、撮影光学系TLの射出瞳全域EPを通過した光束を受光する。
【0122】
一方、焦点検出用画素は、図2(B)及び図2(C)で説明したように、瞳分割機能を有している。具体的に説明すると、図2(B)の画素SHAは、撮像面からレンズ後端を見て左側の瞳を通過した光束LHAを受光する。すなわち、画素SHAは、図9の瞳EPHAを通過した光束を受光する。同様に画素SHB、SVC及びSVDは、それぞれ瞳EPHB、EPVC及びEPVDを通過した光束LHB、LHC、LHDをそれぞれ受光する。また、焦点検出用画素は、前述したように撮像素子6の全領域に亘って分布しているため、撮像領域全域で焦点検出をすることが可能となっている。
【0123】
次に、撮像面位相差AFの実際の動作について、図10を用いて説明する。ライブビュー時のAF動作では、液晶モニタ14に画像が表示されている状態となっている。撮像面に形成された被写体像には、図10に示すように、中央に人物、左下に近景の柵、右上に遠景の山が写っており、それらが画面に表示されている。
【0124】
また画面中央にはAF枠が表示されている。本実施の形態では、AF枠が横方向に6フィールド、縦方向に6フィールドの大きさに設定されている。さらにAF枠は、マルチコントローラ33の入力信号に従って、撮像領域内の任意位置に移動可能となっている。さらに、AF枠の移動は、1フィールド単位となっている。なお、移動量は、1セクション単位や1画素単位というように、様々な移動量に設定しても構わない。
【0125】
また、本実施の形態に係わる撮像素子6は、焦点検出用画素が横ずれ検出用の画素ペアSHA及びSHBと、縦ずれ検出用の画素ペアSVC及びSVDとが、前述したように撮像領域全域に亘って均等な密度で配置されている。
【0126】
そして横ずれ検出を行う場合には、位相差演算のためのAF画素信号を図5及び図6で示したようにグループ化処理する。また、縦ずれ検出を行う場合には、位相差演算のためのAF画素信号を図7及び図8で示したようにグループ化処理する。
【0127】
よって、この撮像素子6では、撮像領域の任意位置において、横ずれ検出及び縦ずれ検出のための焦点検出領域を設定可能である。なお、上述のように、本実施の形態では、焦点検出領域がフィールドと同一領域に設定されている。
【0128】
ここで、液晶モニタ14には、図10に示すように、画面中央に人物の顔が表示された状態となっている。この状態で、公知の顔認識技術によって顔の存在が検出されると、顔領域と検知された部分にAF枠が表示され、AF枠内の焦点検出が行われる。
【0129】
その際、横ずれ検知のために焦点検出領域を複数連結したAF枠領域AFARH(1)〜(6)と、縦ずれ検知のために焦点検出領域を複数連結したAF枠領域AFARV(1)〜(6)とが設定される。
【0130】
この横ずれ検知のためのAF枠領域AFARH(1)は、AF枠内の上から1行目の焦点検出領域のフィールドFLD(13,21)からフィールドFLD(13,26)までの6フィールド分を連結している。AF枠領域AFARH(2)は、AF枠内の上から2行目の焦点検出領域のフィールドFLD(14,21)からフィールドFLD(14,26)までを連結している。
【0131】
AF枠領域AFARH(3)は、AF枠内の上から3行目の焦点検出領域のフィールドFLD(15,21)からフィールドFLD(15,26)までを連結している。AF枠領域AFARH(4)は、AF枠内の上から4行目の焦点検出領域のフィールドFLD(16,21)からフィールドFLD(16,26)までを連結している。AF枠領域AFARH(5)は、AF枠内の上から5行目の焦点検出領域のフィールドFLD(17,21)からフィールドFLD(17,26)までを連結している。AF枠領域AFARH(6)は、AF枠内の上から6行目の焦点検出領域のフィールドFLD(18,21)からフィールドFLD(18,26)までを連結している。
【0132】
縦ずれ検知のためのAF枠領域AFARV(1)は、AF枠内の左から1列目の焦点検出領域のフィールドFLD(13,21)からフィールドFLD(18,21)までの6フィールド分を連結している。AF枠領域AFARV(2)は、AF枠内の左から2列目の焦点検出領域のフィールドFLD(13,22)からフィールドFLD(18,22)までを連結している。AF枠領域AFARV(3)は、AF枠内の左から3列目の焦点検出領域のフィールドFLD(13,23)からフィールドFLD(18,23)までを連結している。AF枠領域AFARV(4)は、AF枠内の左から4列目の焦点検出領域のフィールドFLD(13,24)からフィールドFLD(18,24)までを連結している。
【0133】
AF枠領域AFARV(5)は、AF枠内の左から5列目の焦点検出領域のフィールドFLD(13,25)からフィールドFLD(18,25)までを連結している。AF枠領域AFARV(6)は、AF枠内の左から6列目の焦点検出領域のフィールドFLD(13,26)からフィールドFLD(18,26)までを連結している。
【0134】
次に、AF枠領域内の焦点ずれ量を求める方法について、図10を参照して説明する。この図10では、横ずれ検知及び縦ずれ検知のためのAF枠領域をAFARH(3)とAFARV(5)として1領域ずつ示しており、他のそれぞれ5領域は図示を割愛している。
【0135】
ここで、AF枠領域AFARH(3)の各セクション内に含まれる5個の焦点検出用画素SHAを加算し、60セクションに亘って連結した位相差検出用のA像信号がAFSIGH(A3)である。なお、60セクションとは、1焦点検出領域10セクション×AF枠の幅6フィールドである。同様に、各セクションの5個の焦点検出用画素SHBを加算し、これを60セクションに亘って連結した位相差検出用のB像信号がAFSIGh(B3)である。
【0136】
被写体の焦点ずれ量は、A像信号AFSIGH(A3)とB像信号AFSIGH(B3)の相対的な横ずれ量を公知の相関演算によって演算することで求める。
【0137】
同様にして、AF枠領域AFARH(1)〜(6)それぞれで被写体の焦点ずれ量が求められる。なお、AF枠領域AFARV(5)についても同様である。
【0138】
すなわち、この焦点ずれ量(第一の焦点検出データ)を求める方法では、各セクション内に含まれる5個の焦点検出用画素SHCを加算し、60セクションに亘って連結した位相差検出用のC像信号がAFSIGV(C5)である。なお、60セクションは、1焦点検出領域10セクション×AF枠の高さ6フィールドである。
【0139】
また、各セクションの5個の焦点検出用画素SHDを加算し、これを60セクションに亘って連結した位相差検出用のD像信号がAFSIGV(D5)である。そしてC像信号AFSIGV(C5)とD像信号AFSIGV(D5)の相対的な横ずれ量を公知の相関演算によって演算することで、被写体の焦点ずれ量を求める。同様に、AF枠領域AFARV(1)〜(6)それぞれで被写体の焦点ずれ量を求める。
【0140】
そしてMPU20は、横ずれ及び縦ずれのAF枠領域で検出した計12の焦点ずれ量を比較し、信頼性の高い値を採用することで、AF枠内の焦点ずれ量を求めることができる。
【0141】
ここで信頼性とは、2像の一致度を指し、2像の一致度が良い場合は一般的に焦点検出結果の信頼性が高い。そこで、複数の焦点検出領域の焦点検出結果がある場合には、信頼性の高い情報を優先的に使用する。また信頼性ではなく、計12の焦点ずれ量の平均値とし又はそれらの中の最至近値とする等の方法で、AF枠内の焦点ずれ量を決めても構わない。
【0142】
また、上述した説明においては、AF枠領域の全セクション(60セクション)を連結した像信号からAF枠領域の焦点ずれ量(第一の焦点検出データ)を求めている。しかし、AF枠領域を構成する6焦点検出領域の焦点ずれ量をそれぞれ求めて、それらの中の信頼性の高い値や最至近値としたり、平均値としたりするなどの方法でAF枠領域内の焦点ずれ量を求めても良い。
【0143】
またAF枠領域を設定せずにAF枠内の36焦点検出領域の焦点ずれ量をそれぞれ求めて、それらの中の信頼性の高い値や最至近値としたり、平均値としたりするなどの方法でAF枠内の焦点ずれ量を求めることもできる。
【0144】
一方、画面左下の柵部分にAF枠を移動した時は、同様に横ずれ検知及び縦ずれ検知のためにAF枠領域を再設定して被写体の焦点ずれ量を求めることができる。
【0145】
しかし、ここでは、縦線成分が主体であり横方向に輝度分布を有しているため、横ずれ検知に適した被写体と判断することができる。このため、横ずれ検知のためのAF枠領域AFARH(n)だけを設定して、AF枠領域AFARH(3)と同様に、A像信号とB像信号から横ずれ量を演算して、被写体の焦点ずれ量を求めることもできる。
【0146】
また、上述した焦点ずれ量を求める方法では、AF枠領域を設定することを前提として焦点ずれ量を求める方法について説明した。しかし、AF枠領域を設定しなくても、それぞれの焦点検出領域においてA像信号とB像信号から横ずれ量を演算して、複数の焦点検出領域の焦点検出結果から信頼性の高い情報を基にして、被写体の焦点ずれ量を求めることも可能である。この場合には、顔認識により主被写体と判断された画面中央の人物の顔部分の焦点ずれ量を求めると同時に、撮像領域内にある他の被写体(ここでは画面左下の柵)の焦点ずれ量も求めることが可能である。
【0147】
また画面右上の山部分にAF枠を移動した場合でも、上述と同様にして、横ずれ検知及び縦ずれ検知のためにAF枠領域を設定して被写体の焦点ずれ量を求めることができる。
【0148】
しかし、ここでは、横線成分が主体であり縦方向に輝度分布を有しているため、縦ずれ検知に適した被写体と判断することができる。このため、縦ずれ検知のためのAF枠領域AFARV(n)だけを設定して、AF枠領域AFARV(5)と同様に、C像信号とD像信号から横ずれ量を演算して、被写体の焦点ずれ量を求めることもできる。
【0149】
また、この焦点ずれ量を求める方法では、AF枠領域を設定した前提で焦点ずれ量を求める説明を行った。しかし、この焦点ずれ量を求める方法では、AF枠領域を設定せずに、被写体の焦点ずれ量を求めるようにしても良い。この場合には、それぞれの焦点検出領域においてC像信号とD像信号から横ずれ量を演算して、複数の焦点検出領域の焦点検出結果から信頼性の高い情報を基にして、被写体の焦点ずれ量を求める。
【0150】
この焦点ずれ量を求める方法では、顔認識により主被写体と判断された画面中央の人物の顔部分の焦点ずれ量を求めることができる。これと同時に、この焦点ずれ量を求める方法では、撮像領域内にある他の被写体(ここでは画面右上の山)の焦点ずれ量も求めることができる。
【0151】
以上説明したように、この焦点ずれ量を求める方法では、横ずれ及び縦ずれ検出のための焦点検出領域を撮像素子6の全領域に設定する。これにより、この焦点ずれ量を求める方法では、被写体の投影位置や輝度分布の方向性が様々であっても、撮像領域全域で撮像面位相差AFによる焦点検出ができる。
【0152】
次に、撮影情報を、Exif圧縮形式の画像ファイルフォーマット構造で画像ファイルにおけるExif形式画像ファイル内の付属情報記録領域に記録する方法について、図11を参照して説明する。
【0153】
この図11で、60は、JPEG圧縮方式の画像ファイルである。この画像ファイル60では、ファイルの先頭を表すSOIマーカ61から始まり、Exif付属情報を記録するアプリケーションマーカセグメント1(APP1)62と続く。さらに、この画像ファイル60では、Exif拡張データを記録するアプリケーションマーカセグメント2(APP2)63、量子化テーブルマーカセグメント(DQT)64と続く。次に画像ファイル60では、ハフマンテーブルマーカセグメント(DHT)65、リスタートマーカセグメント(DRI)66、フレームヘッダマーカセグメント(SOF)67と続く。
【0154】
次に、この画像ファイル60では、スキャンヘッダマーカセグメント(SOS)68、画像圧縮データ(Compressed Data)69、ファイルの終端を表すEOIマーカ70と続く順番で全体が構成されている。
【0155】
このExif付属情報を記録するアプリケーションマーカセグメント1(APP1)62の内部構造は、アプリケーション領域であることを表すAPP1マーカ71から始まる。そして、この(APP1)62は、その大きさを表すLength、Exif識別コード72、付属情報本体から構成されている。
【0156】
この付属情報は、File Header74を含むTIFFの構造をとる。この付属情報は、圧縮されている画像(主画像)に関する付属情報を記録する0th IFD75と、0th IFDにExif固有の付属情報を記録するExif IFD76と、を有する。これと共に、この付属情報は、サムネイル画像を記録する1st IFD77を有する。
【0157】
このExif IFD76に記録される付属情報のタグ構造は、Exif Versionタグ81から始まる。このタグ構造は、メーカーが個別の情報を記録可能なMaker Noteタグ82と、ユーザが個別の情報を記録可能なUser Commentタグ83とを有する。これと共に、このタグ構造は、IFDへのポインタ(Interoperabiliy IFD Pointer)84、実際にデータを記録する領域(Value of Exif IFD)85とを有する。この実際にデータを記録する領域(Value of Exif IFD)85は、撮像面位相差AFデータ記録の一部である、撮像面位相差AFによる各焦点検出領域毎の焦点ずれ量(測距データ)85aを記録する。
【0158】
この焦点検出データ記録の一例である焦点ずれ量(測距データ)85aは、撮像面位相差AF又は位相差AFにより得られた、各焦点検出領域の焦点ずれ量データZm[i]を記録したものである。
【0159】
ここでiは、焦点検出領域数をNとすると、i=N−1となる。例えば、図24に示すように焦点検出領域が9箇所の場合には、Zm[0]〜Zm[8]の9個の焦点ずれ量データが記録されることとなる。また、Maker Noteタグ82内には、焦点ずれ量データ85aがデータ記録領域85のどの領域に記録されているかの情報が記録される。
【0160】
さらに、Maker Noteタグ82内には、焦点ずれ量データ85aが、撮像面においてどの領域で焦点検出を行ったかの情報が記録される。
【0161】
例えば、この情報の記録に当たっては、撮像面位相差AFにおける、各フィールド毎での焦点検出を行った場合に、図5及び図10に示すように、撮像面の左上の焦点検出領域であるフィールドFLD(1,1)に焦点ずれ量Zm[0]を記録する。そして、順次情報を記録して、撮像面の右下の焦点検出領域であるフィールドFLD(30,45)の焦点ずれ量をZm[1349]へ記録する。
【0162】
このときの記録順は、フィールドFLD(15,21)をZm[650]、フィールドフィールドFLD(15,22)をZm[651]、フィールドFLD(15,23)をZm[652]へ記録する。さらに、この記録順では、フィールドFLD(15,24)をZm[653]、フィールドFLD(15,25)をZm[654]、フィールドFLD(15,26)をZm[655]へと記録する。要するに、この記録順では、水平方向のフィールドから記録し、その水平方向の行が終了すると垂直方向次の列のフィールドを記録するようにしている。
【0163】
また、前述のように縦ずれ及び横ずれ検知用に6×6フィールドを1つのAF枠領域に設定して焦点検出し、最も信頼性の高いものを焦点ずれ量として採用した場合には、Zm[0]に1個のデータを記録する。また、Maker Noteタグ内82内には、Zm[0]がどこのAF枠領域における焦点検出データかを示す情報が記録される。
【0164】
次に、RAWデータ形式の画像ファイルフォーマット構造について、図12を参照して説明する。このRAWデータとは、撮像素子6から出力された画像信号をA/D変換器41でデジタル変換されただけの画像形式で、Y/C分離、ホワイトバランス補正、γ補正、圧縮加工等の各種画像処理を行う前の、生画像データを言う。
【0165】
従って、このRAWデータは、非常に多くの情報量を持つため、ユーザが後から画像処理を行う場合の自由度が高いので、ユーザ自身が撮影した画像を、高画質のまま好みの画像に自由に調整処理できる。
【0166】
この図12で、90は、RAWデータ形式の画像ファイルである。この画像ファイル90は、ヘッダー91から始まり撮影で使用したカメラ機種情報92、Exif形式のタグ形式に則って各種情報を記録可能な画像付加情報93、RAWデータを現像するためのホワイトバランス値を有する。さらに、この画像ファイル90は、γ値等の現像用パラメータ94、サムネイルデータ95、RAWデータ96で構成されている。また画像付加情報93内には撮像素子6上のどの位置に焦点検出用画素が配置されているかの焦点検出用画素位置情報93aが記録されている。
【0167】
また、前述したExif圧縮形式の画像ファイルフォーマットと同様に、画像付情報93内には、各焦点検出領域が撮像面においてどの領域で焦点検出を行ったかの情報と、その時の焦点ずれ量データ93aが記録されている。
【0168】
このRAWデータ96内には、例えば、FLD(15,25)内の右下隅の焦点検出用画素を有する領域を示す、各画素毎の出力データ96aが記録されている。この各画素毎の出力データ96aは、撮像面の左上の画素データから記録を開始し、右下の画素データまでを記録して終了している。
【0169】
この各画素毎の出力データ96aは、FLD(15,25)内の右下隅のブロックBLK(150,250)内の1行目と2行目を示している。1行目の画素(1491,2491)は、撮像用R画素でRデータが記録されている。画素(1491,2492)は、撮像用G画素でGデータが記録されている。画素(1491,2493)は、撮像用R画素でRデータが記録されている。画素(1491,2494)は、撮像用G画素でGデータが記録されている。画素(1491,2495)は、撮像用R画素でRデータが記録されている。画素(1491,2496)は、撮像用G画素でGデータが記録されている。画素(1491,2497)は、撮像用R画素でRデータが記録されている。画素(1491,2498)は、撮像用G画素でGデータが記録されている。画素(1491,2499)は、焦点検出用SHA画素でSHAデータが記録されている。画素(1491,2500)は、撮像用G画素でGデータが記録されている。
【0170】
2行目の画素(1492,2491)は、撮像用G画素でGデータが記録されている。画素(1492,2492)は、撮像用B画素でBデータが記録されている。画素(1492,2493)は、撮像用G画素でGデータが記録されている。画素(1492,2494)は、撮像用B画素でBデータが記録されている。画素(1492,2495)は、撮像用G画素でGデータが記録されている。画素(1492,2496)は、撮像用B画素でBデータが記録されている。画素(1492,2497)は、撮像用G画素でGデータが記録されている。画素(1492,2498)は、撮像用B画素でBデータが記録されている。画素(1492,2499)は、撮像用G画素でGデータが記録されている。画素(1492,2500)は、焦点検出用SHB画素でSHBデータが記録されている。
【0171】
これら全画素のデータ記録の順序は、水平方向の画素から記録し、その水平方向の行が終了すると垂直方向次の列の画素を記録するという順序となっている。
【0172】
また、RAWデータにおいては、焦点ずれ量データ93aを記録すると共に、撮像面位相差AFの焦点検出用画素のデータを記録している。従って、このRAWデータを用いる場合には、各焦点検出領域の焦点検出データを利用することと、撮像面位相差AFのフィールド連結範囲を変えた演算を再度やり直すなど、AF枠領域を変えた演算を実行することが可能となる。
【0173】
次に、前述した撮像面で位相差検出方式の焦点検出(位相差AF)での焦点検出に用いる相関演算において、相関演算結果の信頼性の判定をする信頼性判断手段(信頼性判定手段)について説明する。
【0174】
この信頼性判定手段は、撮像面上の画素による撮像面位相差AFと、専用センサによる位相差AFのセンサとによって対になって出力されている2像の出力値から、その相関度を示す関数を演算し、その最小値から信頼性の判定を行う方法である。
【0175】
なお、本実施の形態では、撮像面位相差AFの形態を例にとって説明する。
【0176】
この信頼性判定手段では、まず、前述のように撮像面位相差AFにおける焦点検出用画素から図10に示すような、A像信号AFSIGH(A3)とB像信号AFSIGH(B3)の対のAF画素出力値を得る。ここで、各信号の画素数をNとし、j番目(j=0,・・・,N−1)のAF画素、つまり1セクションごとの像信号をそれぞれA(j)、B(j)とする。このとき、
【0177】
【数1】

【0178】
なる式を、k1≦k≦k2について演算する。なおMは(M=N−|k|−1)で表される演算画素数であり、またkは、相対変移量であり、k1、k2は、通常−N/2、N/2とされることが多い。
【0179】
また、Us(i)は相関量で、Us(i)が最小の値(Usmin)を採るときが相関最高であり、一般的に、Usmin≒0となれば像の一致度が高く相関演算結果の信頼性が高いと言える。
【0180】
一方、2像の一致度が悪い場合には、Usminの値が大きくなっていくため、Usminを元に像の一致度を算出することが可能となる。ただし相関量U(k)は、離散データである。このことから実際に最小値Usminは、相関演算時の最小値をUs(k0)とし、適当な補間をすることで求めることができる。
【0181】
例えば、相関演算において、最小値Us(k0)の隣接する相関演算値をそれぞれUs(k0−1)、Us(k0+1)とする。そして、これらよりUs(k0)と、Us(k0−1)又はUs(k0+1)とを結ぶ直線と傾きが等しく符号が異なる2直線で補間した場合には、次の数2式によって最小値Usminを求めることができる。
【0182】
【数2】

【0183】
この信頼性判定手段では、前述した数1、数2式により相関量の最小値Usminを求め、これが閾値α以下の場合に像の一致度が高いと判定できるようにαを設定しておくことにより、信頼性を判定することが可能となる。
【0184】
次に、本実施の形態に係わるデジタル一眼レフカメラの動作について、図13〜図19の制御フローチャートを用いて説明する。
【0185】
ます、このデジタル一眼レフカメラにおける基本動作について、図13を参照して説明する。
【0186】
このデジタル一眼レフカメラのMPU20は、ユーザが電源ボタン34を操作してカメラの電源をONするまで待機する(ステップS1でNO)。
【0187】
電源がONされた場合(ステップS1でYES)に、MPU20は、カメラ内の各アクチュエータや撮像素子6の動作確認を行う。さらにMPU20は、メモリ内容や実行プログラムの初期化状態を検出すると共に、撮影準備動作を実行する。
【0188】
次に、MPU20は、ユーザがこのデジタル一眼レフカメラの各種ボタンを操作して入力した指令に従って、カメラの各種設定の制御を行う(ステップS2)。例えば、このデジタル一眼レフカメラでは、ユーザが、モードボタン31を操作して撮影モード選択したり電子ダイヤル32を操作してシャッタースピードや絞り又は撮影画像の記録画質の設定を行ったりできる。
【0189】
次に、MPU20は、マルチコントローラ33によりライブビューモードが設定されているか否かの判定を行う(ステップS3)。そして、MPU20は、ライブビューモードに設定されていると判定した場合(ステップS3でYES)にライブビューモードルーチンのステップS19へ進み、設定されていないと判定した場合(ステップS3でNO)に通常モードルーチンのステップS4へ進む。
【0190】
ここで、まず通常モード(ユーザがファインダーを覗いて撮影する一眼レフカメラの通常使用モード)の動作ルーチンについて説明する。
【0191】
この通常モードの場合には、MPU20が、レリーズボタン30が半押しされてSW1がONされたか否かの判定を行う(ステップS4)。MPU20は、ONされていれると判定した場合(ステップS4でYES)にステップS5へ進み、ONされていないと判定した場合にONされるまで待機する(ステップS4でNO)。
【0192】
次に、MPU20は、専用のAEセンサ13を用いた所定のAE動作を行う(ステップS5)。
【0193】
次に、MPU20は、図14のフローチャートに示す、専用のAFセンサ8を用いた位相差AFルーチンを実行する(ステップS6)。
【0194】
なお、本実施の形態では、図24に示すように焦点検出領域として画面内に9箇所(位置の番号i=0〜8)の焦点検出領域があるものとする。したがって、本実施の形態では、一度の位相差AFルーチンで、後述の焦点検出領域の相関演算値U[i]とその焦点ずれ量Z[i]が、それぞれ9個ずつ演算される。また、本実施の形態では、焦点検出領域の位置の選択が、既知の自動選択により決定され焦点検出が行われるものとして説明する。
【0195】
この位相差AF処理が開始すると、MPU20は、焦点検出回路24に蓄積制御、読み出し制御されたAFセンサ8からの全焦点検出領域の像信号の取得を行う(ステップS101)。
【0196】
次に、MPU20は、複数の焦点検出領域においての演算を行うために焦点検出領域数N=9の設定を行う(ステップS102)。さらに、MPU20は、演算用のループカウンタとしてi=0を設定する。ここでiは、図24の焦点検出領域の番号i=0〜8と対応していて、順番に焦点検出領域においての演算が行われる。
【0197】
次に、MPU20は、取得した像信号を元にして相関演算を実行し、相関演算値U[i]を算出する(ステップS103)。
【0198】
次に、MPU20は、前述した2像の一致度が閾値α以下になっていることによって、相関演算値U[i]の信頼性を判定する(ステップS104)。ここで信頼性がα以下で信頼性が高いと判定された場合(ステップS104でYES)には、S105に進む。また、α以下でなく信頼性が低いと判定された場合(ステップS104でNO)には、S108へと進む。
【0199】
MPU20は、信頼性が低いと判定した場合に、後述のステップS105〜ステップS107にて実施される焦点ずれ量Z[i]及び相関演算値U[i]の一時記録を行わない。また、MPU20は、全焦点検出領域について信頼性が低いと判定した場合に、焦点検出不能の判定をする。
【0200】
次に、MPU20は、焦点ずれ量Z[i]の算出を行う(ステップS105)。算出された焦点ずれ量Z[i]は、メモリコントローラ21によってSDRAM43に一時記録される(ステップS106)。また、相関演算値U[i]も同様にして一時記録される(ステップS107)。
【0201】
次に、MPU20は、設定された全焦点検出領域の演算が行われたかを判定(i<Nの式を用いて判定)(ステップS108)する。そして、MPU20は、行われていないと判定した場合(ステップS108でYES)に、ステップS109へ進み、演算用ループカウンタのiを1加算して、ステップS103へと戻りステップS103〜ステップS108までの処理を繰り返す。
【0202】
一方、MPU20は、全焦点検出領域の演算が行われたと判定し場合(ステップS108でNO)には、図13のメインフローにおけるステップS7へとリターンする。
【0203】
次に、MPU20は、図14で行った信頼性判定の結果より全測距点の中で信頼性の高い(閾値α以下を満足する)結果が得られていると判定した場合(ステップS7でYES)に図13におけるステップS8へ進む。
【0204】
また、MPU20は、信頼性の高い結果が得られていないと判定した場合(ステップS7でNO)に焦点検出不能と判定し、S4へと戻りS4〜S6のフローを再度実行する。なお、このとき、MPU20は、ファインダー内にある図示しない表示装置に焦点検出不能の表示をする。
【0205】
次に、MPU20は、信頼性の高い結果が得られた焦点検出領域を合焦動作するため焦点検出領域として、自動選択を実施する(ステップS8)。
【0206】
次に、MPU20は、ステップS8で選択された焦点検出領域における図14のステップS106で得た焦点ずれ量Z[i]をレンズ制御回路23へ送信して、撮影レンズ3内の不図示のフォーカスレンズ郡のレンズ駆動制御を行う(ステップS9)。
【0207】
次に、MPU20は、ファインダー内に、合焦した焦点検出領域の位置を図示しない表示装置によって表示させる(ステップS10)。
【0208】
次に、MPU20は、レリーズボタン30が全押しされてSW2がONされるまで待機し(ステップS11でNO)、SW2がONされたと判定したとき(ステップS11でYES)にステップS12へ進む。
【0209】
次に、MPU20は、撮像前の焦点状態を検出するため、再度図14に示す位相差AFルーチンを実行する(ステップS12)。
【0210】
次に、MPU20は、位相差AFルーチンで得られた相関演算値U[i]と焦点ずれ量Z[i]を、撮影前位相差AFの結果であるUbfr[i]とZbfr[i]として、SDRAM43に一時記録をする(ステップS13)。ここで記録される相関演算値U[i]と焦点ずれ量Z[i]とは、前述したステップS104の信頼性判定でU[i]≦αを満たしている測距範囲についてのもののみとする。
【0211】
次に、MPU20は、図15のフローチャートに示された、通常撮影ルーチンを実行する(ステップS14)。
【0212】
なお、本実施の形態に係わるデジタル一眼レフカメラでは、説明の簡略化のために、通常撮影時に位相差AFの焦点検出領域に対応させた9箇所で撮像面位相差AFのAF枠領域を設定し、焦点ずれ量を記録するものについて説明する。
【0213】
また、実際のデジタルカメラでは、MPU20で行う処理の中で、相関演算が比較的時間の掛かる処理であるので多くの焦点検出領域を設定するとMPU20の処理時間が長くなる。このため、実際のデジタルカメラでは、撮像面位相差AFを全領域にわたって相関演算し、焦点ずれ量の記録を行うことが現実的でない。
【0214】
しかし、MPU20の処理能力に余裕がある場合には、撮像面位相差AFのAF枠領域を位相差AFの焦点検出領域以外に設定して、相関演算結果の信頼性が高い場合に、その焦点ずれ量を画像ファイルに記録し又は一時記録する。なお、この場合には、AF枠が移動された場合に素早く合焦駆動できるように構成しても良い。
【0215】
次に、MPU20は、モータ駆動回路26により図示しないミラー駆動用モータを制御し、主ミラー4とサブミラー7を撮影光路から退避(ミラーアップ)させる図15のフローチャートにおける(ステップS111)。
【0216】
次に、MPU20は、AE結果により演算された撮影露出に従って、レンズ制御回路23を制御して撮影レンズ3内の図示しない絞りを駆動する(図15のステップS112)。
【0217】
次に、MPU20は、シャッター駆動回路27を制御してシャッター5を開閉する(ステップS113)。
【0218】
次に、MPU20は、メモリコントローラ21により撮像素子6で受光された画像信号を読み込んでSDRAM43に一時記録するよう制御する。この一時記録されたデータは、撮像データである(ステップS114)。
【0219】
次に、MPU20は、メモリコントローラ21で読み出した画像信号の欠損画素補間を行う(ステップS115)。要するにMPU20は、焦点検出用画素の出力が撮像のためのGBカラー情報を有しておらず、画像を得る上で欠陥画素に相当するため、周囲の撮像用画素の情報から補間により画像信号を生成する。MPU20は、生成した画像信号と元の画像信号から欠陥画素補間画像を作成し、SDRAM43に一時記録しておく。
【0220】
次に、MPU20は、撮像面位相差AFにおけるAF枠領域(焦点検出領域)の設定を行う(ステップS116)。
【0221】
本実施の形態に係わるデジタル一眼レフカメラでは、前述した通り、通常撮影時の撮像面位相差AFにおけるAF枠領域が、位相差AFにおける専用センサを撮像面上に光学的に投影した焦点検出領域と最も近い領域になるように設定されている。例えば、図24の位相差AFにおける焦点検出領域i=0に対応する撮像面位相差AFのAF枠領域は、前述したようにAFARH(1)〜(6)、AFARV(1)〜(6)のようにフィールドを連結した領域に設定されている。さらに、位相差AFの焦点検出領域のi=1からi=8に関しても同様に設定され、計9箇所のAF枠領域が設定されている。
【0222】
次に、MPU20は、図15のフローチャートにおけるステップS117へ進んで、図16のフローチャートに示す撮像面位相差AF処理を実行する。
【0223】
この撮像面位相差AF処理が開始すると、MPU20は、SDRAM43に一時記録された画像信号から、メモリコントローラ21により図15のS116にて設定された各AF枠領域に含まれる各焦点検出用画素を読み出す(ステップS131)。
【0224】
次に、MPU20は、メモリコントローラ21により図5又は図7で説明したセクション構造に基づき、各セクション内の焦点検出用画素を加算し、その加算結果により各セクションのAF画素信号を得る(図16のステップS132)。
【0225】
次に、MPU20は、 S133では、AF画素信号から相関演算用の2像の信号を生成する(図16のステップS133)。本実施の形態に係わるデジタル一眼レフカメラでは、図5及び図7に示した焦点検出領域毎の信号を生成する。この焦点検出領域は、前述の通り1フィールドと同一領域であり、前述したようにして撮像領域全体では1350個の対の信号を生成する。
【0226】
次に、MPU20は、AF枠領域の数Nと演算用ループカウンタiの設定を行う(図16のステップS134)。ここでAF枠領域の数Nは、前述した通り、位相差AFの焦点研修領域の数N=9と同じである。また、演算用のループカウンタiは、前述した図14に示すステップS102と同様に、図24の焦点検出領域の番号i=0〜8に対応している。
【0227】
次に、MPU20は、AF枠領域における2像の像信号についての相関演算を行い、相関演算値Us[i]を算出する(図16のステップS135)。
【0228】
次に、MPU20は、前述した手法の2像の一致度による信頼性判定を行う(ステップS136)。MPU20は、相関演算値Us[i]が閾値β以下で信頼性が高いと判定した場合(ステップS136でYES)に、ステップS137に進み、β以下でなく信頼性が低いと判定した場合(ステップS136でNO)にステップS139へ進む。
【0229】
次に、MPU20は、設定したi番目のAF枠領域についての焦点ずれ量Zs[i]の演算を実施する(図16のステップS137)。
【0230】
次に、MPU20は、メモリコントローラ21により演算された相関演算値Us[i]と焦点ずれ量Zs[i]をSDRAM43に一時記録させるよう制御する(図16のステップS138)。
【0231】
次に、MPU20は、設定された全焦点検出領域の演算が行われたかを判定(i<Nの式によって判定)する(図15のステップS139)。そして、MPU20は、全ての演算が終了していない場合(ステップS139でNO)に、ステップS140へと進む。さらに、MPU20は、カウンタiを加算し、ステップS135へと戻りステップS135〜ステップS139まで同様のフローを繰り返えす処理を行う。
【0232】
また、MPU20は、全焦点検出領域の演算が行われた場合(図16のステップS139でYES)には、図15に示すフローチャートの通常撮影ルーチン内のステップS118にリターンする。
【0233】
次に、MPU20は、メモリコントローラ21を制御して欠陥画素補間画像からサムネイル画像を作成し、SDRAM43に一時記録する(図15のステップS118)。
【0234】
次に、MPU20は、撮影画像の記録画質がJPEG又はRAWのどちらが選択されているかを判定する(図15のステップS119)。そして、MPU20は、JPEGが選択されていると判定した場合にステップS120へ進み、RAWが選択されていると判定した場合にステップS121へ進む。
【0235】
次に、MPU20は、欠損画素補完画像を画像処理回路44でホワイトバランス補正、γ補正、エッジ強調等の画像処理を行う。これと共に、MPU20は、画像圧縮/伸張回路45でJPEG形式に従って圧縮し、メモリコントローラ21により画像圧縮データ部69に記録する制御を行う(図15のステップS120)。
【0236】
次に、MPU20は、サムネイル画像を1st IFD77に記録する。焦点検出領域数及び焦点検出領域が撮像面上でどの領域になるかをMaker Note82に記録する。更に、MPU20は、カメラの各種設定(シャッタースピード、絞り、レンズ焦点距離等)をExifルールに則り記録することにより、画像および各種データをJPEGファイル化する。
【0237】
次に、MPU20は、メモリコントローラ21によりSDRAM43に一時記録されている画像信号を、図12に示すRAWデータ96に各画素毎の出力データ96aを記録する(図15のステップS121)。
【0238】
MPU20は、焦点検出用画素位置情報93a、焦点検出領域数、焦点検出領域の撮像面上での領域の情報、カメラの各種設定(シャッタースピード、絞り、レンズ焦点距離)等をExifルールに則り画像付加情報93に記録する。これと共に、MPU20は、サムネイル画像をサムネイルデータ95に記録することにより画像および各種データをRAWファイル化する。
【0239】
次に、MPU20は、モータ駆動回路26により不図示のミラー駆動用モータを制御し、撮影光路から退避している主ミラー4とサブミラー7を、観察位置へ駆動(ミラーダウン)する。このミラーダウン動作により、主ミラー4とサブミラー7は、撮影光束をファインダーへと反射し導く状態にセットされる(ステップS122)。
【0240】
次に、MPU20は、モータ駆動回路26に制御信号を送信して不図示のチャージ用モータを通電制御し、シャッター5をチャージし、図13のメインルーチン内のステップS15にリターンする(ステップS123)。
【0241】
次に、MPU20は、撮影後の焦点状態を検出するために、再度前述した位相差AFルーチンを実行し、相関演算値U[i]を得る(ステップS15)。
【0242】
次に、MPU20は、ステップS15で得られた相関演算値U[i]と焦点ずれ量Z[i]とを、それぞれ撮影後の位相差AFの結果Uaft[i]、Zaft[i]として、SDRAM43に一時記録をする(ステップS16)。
【0243】
なお、ここで記録される情報は、ステップS13と同様に、図14の信頼性判定のステップS104で、式U≦αを満たしている測距範囲についてのみとする。
【0244】
次に、MPU20は、図17のフローチャートに示す、画像・焦点検出データ記録ルーチンを実行する(ステップS17)。
【0245】
本実施の形態では、撮像面位相差AFによる焦点検出で得られた焦点ずれ量Zs[i]が、撮像面そのものの焦点ずれ量であることから、優先的に記録を行う。このとき、撮像面位相差AFのデフォーカス範囲が狭いときには、焦点ずれ量Zs[i]の信頼性が低い結果が得られる場合がある。この場合にMPU20は、撮像前と撮像後との位相差AFによる焦点検出で得られた焦点ずれ量Zbfr[i]、Zaft[i]を両者の信頼性結果に応じて記録する。
【0246】
ここでは、MPU20が、撮像前と撮像後との位相差AFによる焦点検出結果の比較をすることで、より信頼性の高い焦点ずれ量の記録が可能になる。
【0247】
しかし連続撮影時等で、できるだけ撮影シーケンスを短くしたい場合には、位相差AFによって撮像前に焦点検出で得られた焦点ずれ量Zbfr[i]だけを信頼性結果に応じて記録するように制御しても良い。
【0248】
この画像・焦点検出データ記録処理(画像・焦点検出データ記録ルーチン)が開始すると、MPU20は、演算ループカウンタとしてi=0を設定する(ステップS171)。
【0249】
次に、MPU20は、メモリコントローラ21によりSDRAM43に一時記録されている焦点検出データZs[i]を呼び出す。そして、MPU20は、Zs[i]にデータがある場合(ステップS172でYES)にステップS173へ進み、データがない場合(ステップS172でNO)にステップS174へ進む。
【0250】
次に、MPU20は、最終的な焦点ずれ量85a(図11に図示)を画像ファイルに書き込むための配列Zm[i]が用意されているので、Zm[i]=Zs[i]をSDRAM43に一時記録して、ステップS180へ進む。
【0251】
次に、MPU20は、メモリコントローラ21によりSDRAM43に一時記録されている撮影前の焦点検出データZbfr[i]を呼び出す。そして、MPU20は、Zbfr[i]にデータが有ると判定した場合(ステップS174でYES)にステップS175へ進み、データがないと判定した場合(ステップS174でNO)にステップS178へ進む。
【0252】
次に、MPU20は、Zbfr[i]にデータが有ると判定した場合(ステップS174でYES)に、メモリコントローラ21によりSDRAM43に一時記録されている撮影後の焦点検出データZaft[i]を呼び出す。そして、MPU20は、Zaft[i]にデータがあると判定した場合(ステップS175でYES)に、ステップS176へ進み、データが無いと判定した場合(ステップS175でNO)にステップS177へと進む。
【0253】
次に、MPU20は、ステップS176で、Zbfr[i]とZaft[i]の両方にデータがあると判定した場合に、信頼性の比較を行う。この場合にMPU20は、撮像前と撮像後との相関演算結果であるUbfr[i]とUaft[i]とをメモリコントローラ21によりSDRAM43から呼び出して両方の信頼性の比較を行う(ステップS176)。
【0254】
そして、MPU20は、Ubrf[i]≦Uaft[i]であると判定した場合(ステップS176でYES)に、撮影前のZbfr[i]の方が信頼性が高いと判定してステップS177へ進む。
【0255】
また、MPU20は、Ubfr[i]≦Uaft[i]でないと判定した場合(ステップS176でNO)には、撮影後のZaft[i]の方が信頼性が高いと判定してステップS179へと進む。
【0256】
次に、MPU20は、Zm[i]=Zbfr[i]をSDRAM43に一時記録し、ステップS180へと進む(ステップS177)。
【0257】
次に、MPU20は、メモリコントローラ21によりSDRAM43に一時記録されている撮影後の焦点検出データZaft[i]を呼び出す。そして、MPU20は、Zaft[i]にデータがある場合(ステップS178でYES)にステップS179へ進み、データがない場合(ステップS178でNO)に、ステップS180へと進む。
【0258】
次に、MPU20は、Zaft[i]にデータがある場合(ステップS178でYES)に、Zm[i]=Zaft[i]をSDRAM43に一時記録させ、ステップS180へと進む(ステップS179)。
【0259】
次に、MPU20は、全焦点検出領域について記録すべき焦点検出データの信頼性判定比較が行われたかを判定(i<N)する(ステップS180)。
【0260】
次に、MPU20は、信頼性判定比較が行われていないと判断した場合(ステップS180でYES)にステップS181へ進みiを1加算する(ステップS181)。そして、MPU20は、全焦点検出領域についての記録が行われるまで再度ステップS172〜ステップS180までのフローを繰り返す。また、MPU20は、全焦点検出領域についての記録が行われていると判断した場合(ステップS180でNO)に、ステップS182へと進む。
【0261】
次に、MPU20は、画像ファイルに、焦点ずれ量データZm[i](85a、93a)をExif形式の画像ファイルフォーマット部分に記録して、メディア48に記録を行う(ステップS182)。その後、MPU20は、図13に示すステップS18にリターンする。
【0262】
次に、MPU20は、ユーザが電源ボタン34を操作して、カメラの電源がOFFされたか否かを判断する。そして、MPU20は、OFFされていないと判断した場合(ステップS18でNO)にステップS2へ進み次の撮影に備え、OFFされていると判断した場合(ステップS18でYES)に一連のカメラ動作を終了する。
【0263】
次に、MPU20が、前述したステップS3でライブビューモードに設定されていると判定した場合(ステップS3でYES)にステップS19へ進んで実行される、ライブビューモードルーチンについて説明する。
【0264】
このライブビューモード(ユーザがライブビューを使用して撮影するモード)では、撮像面位相差AFのAF枠領域の設定を行う。このとき、画面内に顔が存在する時には、顔の位置と専用AFセンサ8による位相差AFの焦点検出領域に対応した位置との、計10箇所にて行うこととする。
【0265】
また、顔がない場合には、ユーザがAF枠領域を選択した位置と専用AFセンサ8による位相差AFの焦点検出領域に対応した位置との、計10箇所をAF枠領域に設定する。
【0266】
なお、本実施の形態に係わるデジタル一眼レフカメラでは、説明の簡略化のために、通常撮影モードと同様に撮像面位相差AFのAF枠領域の設定を焦点検出領域が9点と対応するようにしている。
【0267】
但し、撮像面位相差AFのAF枠領域をもっと広い領域で設定しても良い。その場合には、撮像面位相差AFがデフォーカス範囲によって検出できないときに、位相差AFの焦点検出領域でなく焦点ずれ量の算出・記録ができない可能性がある。
【0268】
しかし、この場合には、公知の手法であるエリアセンサによるAF、例えば特開平9−184965号に記載された手段を用いると、画面中央部付近に関しては連続的な領域での焦点ずれ量の算出を行える。このため、この場合には、より多くの領域について焦点ずれ量の記録を行うことが可能となる。
【0269】
このステップS19のライブビュー表示処理では、まずMPU20が、モータ駆動回路26により不図示のミラー駆動用モータを制御し、主ミラー4とサブミラー7を撮影光路から退避(ミラーアップ)させる。
【0270】
次に、MPU20は、シャッター駆動回路27によりシャッター5を開放状態に制御する。そして、MPU20は、メモリコントローラ21により撮像素子6で受光された動画像の読み込みを開始させるよう制御する。
【0271】
次に、MPU20は、読み出した動画像を液晶モニタ14に表示する。これによりユーザは、このライブビュー画像を目視して撮影時の構図決定を行うことができる。
【0272】
次に、MPU20は、図13のメインルーチン内のステップS20に進み、撮像領域内に顔が存在するかを識別する認識処理を実行する。次に、MPU20は、ライブビュー画像に重ねてAF枠を灰色で表示する(ステップS21)。
【0273】
MPU20は、撮像領域内に顔が存在していると認識した場合に、認識された顔領域にAF枠の表示を行い、MPU20が撮像領域内に顔が存在しないと認識した場合に、画面中央にAF枠の表示を行わせるよう制御する。
【0274】
本実施の形態では、図10に例示するように、画面中央の人物の顔が顔認識によって検知され、顔領域にAF枠が表示される。
【0275】
次に、MPU20は、撮像領域内に顔の存在している位置と、前述した図24に示すような位相差AFの焦点検出領域に対応した位置について、AF枠領域の設定を行う(ステップS22)。1つのAF枠領域には、前述したように、横ずれ検知のためにAF枠領域AFARH(1)〜(6)と、縦ずれ検知のためのAF枠領域AFARV(1)〜(6)とが設定される。
【0276】
次に、MPU20は、ユーザによりマルチコントローラ33が操作されてAF枠が移動されたか否かの判定を行い、移動された場合(ステップS23でYES)にステップS22へ進む。また、移動されていない場合(ステップS23でNO)には、ステップS24へ進む。ここでAF枠が移動される場合としては、例えば、顔認識がされずAF枠が画面中央に表示されたのに対して、ユーザが画面中央以外の被写体にピントを合わせたい場合等が考えられる。
【0277】
次に、MPU20は、レリーズボタン30が半押しされてSW1がONされたか否かの判定を行い、ONされた場合(ステップS24でYES)にステップS25へ進む。また、ONされていない場合(ステップS24でNO)には、構図が変更された可能性を考慮して、ステップS20へと戻り再度ステップS20〜S23の動作を繰り返す。
【0278】
次に、MPU20は、撮像面位相差AFルーチンを実行する(ステップS25)。この撮像面位相差AFルーチンの動作は、前述したフローチャートの通りであるため説明を割愛する。
【0279】
次に、MPU20は、ステップS25の撮像面位相差AFルーチンにより得られた焦点ずれ量Zs[i]をレンズ制御回路23へ送出して、撮影レンズ3内の不図示のフォーカスレンズ郡のレンズを駆動して合焦させるよう制御する。
【0280】
次に、MPU20は、AF枠の色を灰色から緑色に変更させるよう制御して、AF枠内が合焦したことをユーザに知らせる(ステップS27)。
【0281】
次に、MPU20は、レリーズボタン30が全押しされてSW2がONされたか否かを判定し、ONされたと判定した場合(ステップS28でYES)にステップS29へ進む。また、MPU20は、ONされていない場合(ステップS28でNO)に、ONされるまで待機する。
【0282】
次に、MPU20は、図18のフローチャートに示すライブビュー撮影ルーチンを実行する。
【0283】
MPU20は、ライブビュー撮影処理が開始されると、撮像面AE結果により演算された撮影露出に従って、レンズ制御回路23により撮影レンズ3内の不図示の絞りを駆動する(ステップS151)。
【0284】
次に、MPU20は、メモリコントローラ21により撮像素子6から画像信号を読み込み、合焦している主被写体及びその周りの測光情報を得る、いわゆる撮像面AE動作を行う(ステップS152)。
【0285】
次に、MPU20は、メモリコントローラ21により撮像素子6に受光されている画像信号をリセットして撮像素子6の受光状態を初期状態、すなわち何も撮像されていない状態に戻す(ステップS153)。
【0286】
次に、MPU20は、再びメモリコントローラ21により撮像素子6の受光を行い、画像信号を読み込んでSDRAM43に一時記録する(ステップS154)。
【0287】
次に、MPU20は、メモリコントローラ21で読み出した画像信号の欠損画素補間を行う(ステップS155)。これは、焦点検出用画素の出力が撮像のためのRGBカラー情報を有していないので、画像を得る上で欠陥画素に相当することになる。そこで、MPU20は、周囲の撮像用画素の情報から補間により画像信号を生成する。そして、MPU20は、生成した画像信号と元の画像信号から欠陥画素補間画像を作成し、SDRAM43に一時記録しておく。
【0288】
次に、MPU20は、メモリコントローラ21で欠陥画素補間画像からサムネイル画像を作成し、SDRAM43に一時記録する(ステップS156)。
【0289】
次に、MPU20は、撮影時の焦点検出状態を保存するために取得した撮像面位相差AF用の画素の出力を元に撮像面位相差AFを実施する(ステップS157)。
【0290】
次に、MPU20は、撮影画像の記録画質がJPEG又はRAWのどちらに選択されているかを判定する(ステップS158)。そしてMPU20は、JPEGが選択されている場合にステップS159へ進み、RAWが選択されている場合にステップS160へ進む。
【0291】
次に、MPU20は、欠損画素補完画像を画像処理回路44でホワイトバランス補正、γ補正、エッジ強調等の画像処理を行い、画像圧縮/伸張回路45でJPEG形式に従って圧縮する。そして、MPU20は、このJPEG形式の情報をメモリコントローラ21により画像圧縮データ部69に記録する。また、MPU20は、サムネイル画像を1st IFD77に記録すると共に、焦点ずれ量データZm[i]を、図11に示すように、データ記録領域85に焦点ずれ量データ85aとして記録する。さらに、MPU20は、カメラの各種設定(シャッタースピード、絞り、レンズ焦点距離等)等をExifルールに則り記録することにより、画像および各種データをJPEGファイル化する。
【0292】
次に、MPU20は、メモリコントローラ21によりSDRAM43に一時記録されている画像信号を、RAWデータ96に各画素毎の出力データ96aとして記録する(ステップS160)。また、MPU20は、カメラの各種設定(シャッタースピード、絞り、レンズ焦点距離等)等をExifルールに則り画像付加情報93に記録する。これと共に、MPU20は、サムネイル画像をサムネイルデータ95に記録することにより画像及び各種データをRAWファイル化する。
【0293】
次に、MPU20は、シャッター駆動回路27によりシャッター5を閉じる(ステップS161)。
【0294】
次に、MPU20は、モータ駆動回路26により不図示のミラー駆動用モータを制御し、主ミラー4とサブミラー7をミラーダウンする(ステップS162)。
【0295】
次に、MPU20は、モータ駆動回路26により不図示のチャージ用モータを通電制御し、シャッター5をチャージする(ステップS163)。そして図13に示すメインルーチン内のステップS30にリターンする。
【0296】
次に、MPU20は、撮像面位相差AFのデフォーカス範囲外で信頼性が低く、焦点ずれ量のデータが取得できない場合を補うため、前述した位相差AFルーチンを再度実行する(ステップS30)。なお、位相差AFルーチンのフローチャートは、前述のとおりであるため説明を割愛する。
【0297】
次に、MPU20は、ステップS30で得られた相関演算値U[i]と焦点ずれ量Z[i]とを、それぞれ撮影後の位相差AFの結果Uaft[i]、Zaft[i]として、SDRAM43に一時記録する(ステップS31)。ここで記録されるものは、ステップS13と同様に、図14の信頼性判定ステップS104で、式U≦αを満たしている測距範囲についてのみとする。
【0298】
次に、MPU20は、図19に示す、ライブビュー時の画像・焦点検出データ記録ルーチンを実行する(ステップS32)。
【0299】
このライブビュー時の画像・焦点検出データ記録処理が開始されると、MPU20は、演算ループカウンタとしてi=0を設定する(ステップS191)。
【0300】
次に、MPU20は、メモリコントローラ21によりSDRAM43に一時記録されている焦点検出データZs[i]を呼び出す。そして、MPU20は、Zs[i]にデータが有る場合に、ステップS193へ進み、データが無い場合にステップS194に進む。
【0301】
次に、MPU20は、ステップS193で、予め用意されている最終的な焦点ずれ量85aを画像ファイルに書き込むための配列Zm[i]に対して、Zm[i]=Zs[i]をSDRAM43に一時記録する。この後、次のステップS196へ進む。
【0302】
次に、MPU20は、ステップS194で、メモリコントローラ21によりSDRAM43に一時記録されている撮影後の焦点検出データZaft[i]を呼び出す。そして、MPU20は、Zaft[i]にデータが有る場合(ステップS194でYES)にステップS195へ進み、データがない場合(ステップS194でNO)にステップS196へ進む。
【0303】
次に、MPU20は、ステップS195で、Zm[i]=Zaft[i]をSDRAM43に一時記録し、ステップS196へ進む。
【0304】
次に、MPU20は、全焦点検出領域について記録すべき焦点検出データの信頼性判定比較が行われたかを判定(i<N)する(ステップS196)。ここでMPU20は、信頼性判定比較が行われていない場合(ステップS196でYES)にステップS197へ進みiに1を加算する。そして、MPU20は、全焦点検出領域についての記録が行われるまで、再度ステップS191〜ステップS196までの処理を繰り返し実行する。
【0305】
次に、MPU20は、全焦点検出領域についての記録が行われたと判定した場合(ステップS196でNO)に、ステップS198へと進む。
【0306】
次に、MPU20は、ステップS198で、図18のステップS179、ステップS160の処理を実行する。この処理では、JPEGファイル又はRAWファイルとなった画像ファイルに、焦点ずれ量データZm[i](85a、93a)をExif形式の画像ファイルフォーマット部分に記録して、メディア48に記録を行う。その後、MPU20は、図13に示すステップS18にリターンする。
【0307】
図13に示すステップS18で、MPU20は、前述のように、ユーザが電源ボタン34を操作して、カメラの電源がOFFされたか否かを判断する。そしてMPU20は、OFFされていないと判定した場合(ステップS18でNO)にステップS2へ進み次の撮影に備える。また、MPU20は、OFFされていると判定した場合(ステップS18でYES)に、図13に示す一連のカメラ基本動作処理を終了する。
【0308】
以上説明したように、本実施の形態に係わるデジタル一眼レフカメラによれば、画像が撮影された瞬間の焦点検出データを画像ファイル内に記録することができる。
【0309】
その際の画像ファイル形式は、一般的な画像ファイルのJPEG形式やユーザが後から画像処理を行うことでより高画質な画像が得られるRAW形式のいずれでも可能である。
【0310】
なお、本実施の形態に係わるデジタル一眼レフカメラでは、画像ファイル形式をJPEGとRAWとした場合について説明したが、これに限定されるものではなく、例えば非圧縮形式のTIFFやその他の形式でも良い。
【0311】
さらに本実施の形態では、JPEGとRAWのいずれもExif形式に準じた説明を行ったが、画像ファイル内に画像データ(撮像データ)と焦点検出データが記録されていれば、いかなる形式でも構わない。
【0312】
また本実施の形態では、JPEGファイル内に記録する焦点検出データを各焦点検出領域における焦点ずれ量としたが、焦点ずれ量を演算する範囲を焦点検出領域に限定するものでなく、セクション毎等としても良い。
【0313】
また本実施の形態では、焦点検出データを焦点ずれ量として説明したが、これに限定されるものではなく、撮影レンズの情報と焦点ずれ量から演算されるカメラから被写体までの距離等の測距データを利用しても良い。
【0314】
なお、本発明は、デジタル一眼レフカメラだけでなく、撮像素子による位相差AFが可能な撮像装置に適用可能である。例えば、本発明は、デジタルコンパクトカメラ、デジタルビデオカメラ、各種検査デジタルカメラ、監視デジタルカメラ、内視鏡デジタルカメラ、ロボット用デジタルカメラ等に適用可能である。
(第2実施の形態)
以下、本発明の第2実施の形態について、図面を参照しながら説明する。なお、本第2実施の形態では、前述した第1実施の形態と図1に示す基本構成が同様であるので、その説明を省略し、第1実施の形態と異なる部分を主に説明する。
【0315】
本第2実施の形態に係わるデジタル一眼レフカメラにおける画像再生時の処理について、図20のフローチャートに従って説明する。
【0316】
この画像再生時の処理は、ユーザにより再生ボタン35がONされたときにスタートして、カメラのMPU20が、撮影モードから画像再生モードに切り替る動作を実行する(ステップS201)。
【0317】
次に、MPU20は、メモリコントローラ21によりメディア48に記録された画像ファイルを液晶モニタ14に表示する(ステップS202)。ここで、本第2実施の形態に係わるカメラでは、メディア48に前述した第1実施の形態において、図10の画像がライブビューモードで撮影されてJPEGファイルで記録されているものとする。
【0318】
次に、MPU20は、画像を撮影した際にレンズが合焦動作を行うために使用したAF枠を画像に重ねて表示する(ステップS203)。例えば第1実施の形態の通常モードで撮影された場合には、AFセンサ8による位相差AFにより焦点検出した際に用いられたAF枠を表示する。またライブビューモードで撮影された場合には、撮像面位相差AFでのAF枠領域に設定されたAF枠を表示する。ここでは液晶モニタ14に図10に示すように表示され、このAF枠内の焦点ずれ量が“0”となるように合焦動作が行われて撮影されている。またこのAF枠の位置情報は、データ記録領域85に記録されており、メモリコントローラ21により読み出し可能とされている。
【0319】
次に、MPU20は、マルチコントローラ33の押し操作が行われたときに、焦点ずれ情報表示モードを開始する(ステップS204)。
【0320】
次に、MPU20は、液晶モニタ14に表示しているAF枠を消去する(ステップS205)。
【0321】
次に、MPU20は、焦点検出領域枠を表示する(ステップS206)。なお、前述した第1実施の形態では、撮像面位相差AFのAF枠領域をAFセンサ8による位相差AF領域と対応させたものとした。
【0322】
これに対して本第2実施の形態では、撮像面位相差AFのAF枠領域を1フィールドと設定し、1フィールド毎の焦点ずれ量をJPEGファイル内に記録してあることとする。したがって、本第2実施の形態では、液晶モニタ14に表示する際に、焦点検出領域枠の大きさを1フィールド分ごととする。さらに、本第2実施の形態では、最初に表示される焦点検出領域枠の位置を、AF枠内で一番焦点ずれ量の小さい位置とする。
【0323】
次に、MPU20は、表示した焦点検出領域枠の位置における焦点ずれ量をJPEGファイル60内のデータ記録領域85からメモリコントローラ21により読み出し、液晶モニタ14に表示させる(ステップS207)。この時の液晶モニタ14の状態を図21に示す。この図21に例示した表示では、焦点ずれ量を液晶モニタ14の右下に表示している。
【0324】
次に、MPU20は、マルチコントローラ33の8方向入力が操作されたか否かを判定する。そしてMPU20は、操作されていないと判定した場合(ステップS208でNO)にステップS209へ進み、操作されていると判定した場合(ステップS208でYES)にステップS210へ進む。
【0325】
次に、MPU20は、再生モードで使用しない操作ボタン(例えばレリーズボタン30や電源ボタン34等)が操作されたときに再生モードを終了させる(ステップS209)。
【0326】
また、MPU20は、ユーザにマルチコントローラ33が操作されることにより入力された指令に従って焦点検出領域枠を移動させる(ステップS210)。
【0327】
次に、MPU20は、移動した焦点検出領域枠の位置における焦点ずれ量をJPEGファイル60内のデータ記録領域85からメモリコントローラ21により読み出す。そして、読み出した焦点ずれ量を、液晶モニタ14に表示している移動前の焦点ずれ量と置き換える(ステップS211)。その後、MPU20は、再びステップS208へ戻って処理を続行する。
【0328】
以上説明したように、本第2実施の形態によれば、画像ファイル内に記録された撮像面位相差AFもしくは位相差AFによる焦点ずれ量データを、ユーザが簡単に確認することができる。また、本第2実施の形態では、ユーザが必要に応じて画像内の任意位置の焦点ずれ量データを確認することができる。
【0329】
なお、本第2実施の形態では、焦点ずれ量データの読み出し制御および表示を撮影したカメラおよびカメラの液晶モニタで行うものについて説明した。しかし、本発明は、画像を表示可能な装置(例えばパソコン、メディアスロットを有するプリンタ等)に組み込まれたJPEGファイル処理ソフトで制御し表示するように構成しても良い。また焦点ずれ量データは、各フィールド単位(各焦点検出領域)における焦点ずれ量とするものについて説明した。しかし、本発明は、焦点ずれ量を演算する範囲が焦点検出領域に限定されるものでは無く、セクション毎等としても良い。また本発明では、焦点ずれ量データが焦点ずれ量に限定されるものでは無く、焦点ずれ量データを撮影レンズ3の情報と焦点ずれ量から演算されるカメラから被写体までの距離等の測距データとしてもよい。
(第3実施の形態)
次に、本発明の第3実施の形態について、図22及び図23を参照しながら説明する。本第3実施の形態は、画像処理装置(ここではパーソナル画像処理装置〔パソコン〕)に本発明を適用したものである。
【0330】
本第3実施の形態では、パソコンにインストールされているRAWファイル処理ソフト302を起動することにより、中央処理装置(CPU)が図22のフローチャートに示すRAWファイル処理ソフトの基本動作を開始する。このパソコンの中央処理装置は、RAWファイル処理ソフト302が起動されると、ディスプレイ301にRAWファイル処理ソフト302の図23に示す如き画面を表示させる(ステップS351)。
【0331】
次に、中央処理装置は、パソコンのHDD内やパソコンのメディアスロットに挿入されたメディア48内に記録されているRAWファイル90から、サムネイルデータ95を読み出す。そして、中央処理装置は、図23に示す如きサムネイル画像304を一覧表示させる(ステップS352)。
【0332】
次に、このパソコンでは、ユーザによりサムネイル画像304の中から各種処理を行いたい画像が選択される(ステップS353)。例えばユーザが、パソコンのマウスを操作することによりポインタ305を選択したいサムネイル画像304の上に移動し、ダブルクリックして指定する。図23に図示の例では、サムネイル画像304の左端(IMG_0001)が選択されている。
【0333】
ユーザのマウス操作によって入力された指令を受けたデータ読み出し手段としての中央処理装置は、選択されたRAWファイル90からRAWデータ96をパソコンのメモリに読み出す。そして中央処理装置は、欠陥画素である焦点検出用画素の補間処理を行う(ステップS354)。なお、パソコンのメモリは、SDRAM43と同一機能である。また同様にMPU20、メモリコントローラ21の機能はパソコンの中央処理装置(CPU)が司る。この欠陥画素補間処理は、画像付加情報93内に記録された焦点検出用画素位置情報93aに基づいて実施される。
【0334】
次に、中央処理装置は、選択されたRAWファイル90から現像用パラメータ94を読み出し、パラメータに従って、欠陥画素補間された画像を現像する(ステップS355)。
【0335】
次に、中央処理装置は、現像されたRAW画像を主画像303として表示する(ステップS356)。
【0336】
次に、中央処理装置は、選択されたRAWファイル90から画像付加情報93を読み出し、付加情報領域306に表示する(ステップS357)。
【0337】
次に、中央処理装置は、ユーザがRAWファイル処理ソフト302の測距データボタン307をオンして入力した信号を受信する(ステップS358)。例えば、この入力操作は、ユーザが測距データボタン307の上にポインタ305を移動してダブルクリックする動作により行われる。
【0338】
次に、中央処理装置は、主画像303の上に測距枠309を表示する(ステップS359)。中央処理装置は、最初に表示する測距枠309の位置及びサイズを、画像を撮影した際にレンズが合焦動作を行うために使用したAF枠に準じて表示する。ここでは、第1実施の形態で説明した図10に示すような、ライブビューモードで撮影された場合において設定されたAF枠の位置とサイズで表示するものとする。なお、このAF枠の情報は、画像付加情報93に記録されている。さらに、中央処理装置は、図21に示すように、測距枠309の位置およびサイズが変更可能状態であることを示すため、測距データボタン307の文字表示を反転して表示させる。
【0339】
次に、中央処理装置は、測距枠309内にある各焦点検出領域に含まれる各焦点検出用画素のデータを読み出す(ステップS360)。
【0340】
次に、中央処理装置は、前述した図5又は図7に示すセクション構造に基づき、各セクション内の焦点検出用画素を加算し、その加算結果により各セクションのAF画素信号を得る(ステップS361)。
【0341】
次に、中央処理装置は、AF画素信号から相関演算用の2像の信号を生成する(ステップS362)。
【0342】
次に、中央処理装置は、得られた2像の相関演算を行って相関演算値Usを算出する(ステップS363)。
【0343】
次に、中央処理装置は、第1実施の形態における信頼性判定と同様にして、相関演算値Usの信頼性を判定する(ステップS364)。そして、中央処理装置は、Us≦βで閾値β以下と判定した場合(ステップS364でYES)に信頼性が高いと判断してステップS365へと進む。中央処理装置は、閾値β以上と判定した信頼性が低い場合(ステップS364でNO)にステップS367へ進む。
【0344】
中央処理装置は、信頼性が高いと判断した場合に、焦点ずれ量を演算する(ステップS365)。
【0345】
中央処理装置は、信頼性が低いと判断した場合に、焦点ずれ量308を表示する(ステップS366)。この焦点ずれ量308の表示は、例えば、図23に示すように、測距枠309が撮影時のAF枠と同一のとき焦点ずれ量を“0mm”と表示する。
【0346】
次に、中央処理装置は、RAWファイルの画像付加情報93に記録されている焦点ずれ量Zmの中から、選択されている測距枠に対応した焦点ずれ量Zmの読出しを行う(ステップS367)。
【0347】
次に、中央処理装置は、焦点ずれ量Zm内にデータが有るかどうかの判定がされている場合(ステップS368でYES)に、ステップS366へと進み焦点ずれ量の表示を行う(ステップS366)。また焦点ずれ量Zm内にデータがない場合又は選択されている測距枠位置に対応した焦点ずれ量ZmがRAWファイル内の画像付加情報93にない場合(ステップS368でNO)には、ステップS369へ進む。
【0348】
次に、中央処理装置は、測距枠位置に対応した焦点ずれ量ZmがRAWファイル内の画像付加情報93にない場合に、Zmデータが無いので、焦点ずれ量の表示を行わない。そして、中央処理装置は、焦点ずれ量308に焦点ずれ量の表示がなかったことを示す、「−」のマークを表示する(ステップS369)。
【0349】
次に、中央処理装置は、測距枠309の位置及びサイズが変更されたか否かを判定する。変更されていると判定した場合にステップS360へ進む。そして、中央処理装置は、変更された位置およびサイズに従って焦点ずれ量を再演算し表示する(ステップS360〜ステップS365)。
【0350】
また、中央処理装置は、変更されていないと判定した場合に、ステップS371へ進む。ここで、ユーザが測距枠309の位置及びサイズを変更する方法としては、例えば、測距枠309の枠線上にポインタ305を置いてドラックすることにより主画面303上の好きな場所に移動させる手段を用いることができる。また、測距枠309の変更方法は、測距枠309の4角にポインタ305を置いてドラックすることにより、その角を構成する2本の枠線だけを移動させて測距枠309の大きさを変更させる手段を用いることができる。これにより例えば、測距枠309aのように測距枠の位置およびサイズを変更できる。
【0351】
次に、中央処理装置は、ユーザが測距データボタン307をオフ操作したときに、測距枠309を主画像303上から消去させる(ステップS371)。
【0352】
次に、中央処理装置は、主画像303に対して各種画像処理が行われたか否かを判定する。そして、画像処理が行われた場合(ステップS372でYES)には、ステップS373へ進み、行われていない場合(ステップS372でNO)にステップS376へ進む。
【0353】
次に、中央処理装置は、ユーザが画像処理メニューボタン310をオンすると不図示の画像処理用のメニュー画面を表示させる。するとユーザは、その中からユーザの意図に合ったメニューを選択して指示する。これにより中央処理装置は、画像処理の動作を開始される。
【0354】
次に、中央処理装置は、ユーザが、各種画像処理が施された画像を保存するためのファイル保存ボタン311をオン操作すると、ステップS374へ進む(ステップS373)。
【0355】
次に、中央処理装置は、ユーザの操作により測距枠位置やサイズの変換が行われた場合に、ステップS365で得られる新たな焦点ずれ量Zmのデータを焦点検出データとして記録する(ステップS374)。
【0356】
次に、中央処理装置は、画像処理を施した画像をJPEG形式に従って圧縮し、画像圧縮データ部69に記録する(ステップS375)。また中央処理装置は、サムネイルデータ95を1st IFD77に記録し、焦点ずれ量データをデータ記録領域85に焦点ずれ量85aを記録する。更に中央処理装置は、カメラの各種設定(シャッタースピード、絞り、レンズ焦点距離等)をExifルールに則り記録することにより、画像および各種データをJPEGファイル化する。ここでは、中央処理装置がJPEG形式でファイル化する例について説明したが、TIFF形式やその他の画像ファイル形式でも良い。
【0357】
次に、中央処理装置は、JPEGファイルとなった画像ファイルをメディア48またはパソコンのHDDに記録する(ステップS376)。
【0358】
次に、中央処理装置は、終了ボタン312が操作されたか否かを判定し、操作さたと判定した場合(ステップS377でYES)に、RAWファイル処理ソフト302を終了する。また、中央処理装置は、終了ボタン312が操作されていないと判定した場合(ステップS377でNO)に、ステップS353へ進み、引き続き別の画像処理を行う。
【0359】
以上説明したように、本第3実施の形態によれば、画像ファイル内に記録された撮像面位相差AFデータを、ユーザが簡単に確認することができる。また、本第3実施の形態では、ユーザが必要に応じて画像内の任意位置の撮像面位相差AFデータを確認することができる。
【0360】
なお、上述した本第3実施の形態では、撮像面位相差AFデータの演算処理及び表示を、パソコン及びパソコンに組み込まれたRAWファイル処理ソフトで行ったものについて説明した。しかし、本発明は、デジタルカメラや画像を表示可能な装置であればどんな形態でも適用できる。さらに、本第3実施の形態では、撮像面位相差AFデータを各焦点検出領域における焦点ずれ量として説明した。しかし、本第3実施の形態では、焦点ずれ量を演算する範囲を焦点検出領域に限定するものでなく、セクション毎等としても良い。これと共に、本第3実施の形態では、撮像面位相差AFデータを焦点ずれ量に限定するものではなく、撮影レンズ3の情報と焦点ずれ量から演算されるカメラから被写体までの距離等の測距データとしても良い。
【0361】
なお、前述した本発明の各実施の形態にそれぞれ記載された構成要素の配置又は数値等は、例示的なものであるので、本発明がそれらのみに限定されるものではない。本発明は、上述した実施の形態に限定されるものでは無く、本発明の要旨を逸脱しない範囲で、その他種々の構成を採り得ることは勿論である。
【符号の説明】
【0362】
6 撮像素子
14 液晶モニタ
20 MPU
21 メモリコントローラ
33 マルチコントローラ
43 SDRAM
60 JPEG圧縮方式の画像ファイル構造
85 データ記録領域(Value of Exif IFD)
90 RAWデータ形式の画像ファイル構造
96 RAWデータ
302 RAWファイル処理ソフト

【特許請求の範囲】
【請求項1】
撮影光学系を通して結像された像を撮像する撮像手段における撮像素子の焦点検出用画素を用いた位相差方式により焦点検出を行う撮像面位相差AFの機能と、
前記撮影光学系を通して結像させた像を前記撮像手段により撮像する撮像前と撮像後のそれぞれで専用センサを用いて位相差方式により焦点検出を行う位相差AFの機能とを有する撮像装置において、
前記撮像面位相差AFの機能により得られた第一の焦点検出データと、前記位相差AFの機能により得られた前記撮像手段により撮像される前の第二の焦点検出データと、前記撮像手段により撮像された後の前記第二の焦点検出データと、を比較して、より信頼性の高いものを判定する信頼性判定手段と、
前記撮像手段により撮像された撮像データを画像処理手段で変換した画像ファイル内の一部の領域に、前記信頼性判定手段がより信頼性が高いと判定した前記第一の焦点検出データ若しくは前記撮像手段により撮像される前又は後の前記第二の焦点検出データを記録するデータ記録手段と、
を備えることを特徴とする撮像装置。
【請求項2】
撮影光学系を通して結像された像を撮像する撮像手段を利用してライブビュー表示を行うライブビュー手段と、
前記ライブビュー手段によるライブビュー表示中に前記撮像手段における撮像素子の焦点検出用画素を用いた位相差方式により焦点検出を行う撮像面位相差AFの機能と、
前記ライブビュー手段によるライブビュー表示中に前記撮像手段により撮像した後、専用センサを用いて位相差方式により焦点検出を行う位相差AFとを有する撮像装置において、
前記撮像面位相差AFの機能により得られた第一の焦点検出データと、前記位相差AFの機能により得られた第二の焦点検出データと、を比較して、より信頼性の高いものを判定する信頼性判定手段と、
前記撮像手段により撮像された撮像データを画像処理手段で変換した画像ファイル内の一部の領域に、前記信頼性判定手段がより信頼性が高いと判定した前記第一の焦点検出データ又は前記第二の焦点検出データを記録するデータ記録手段と、
を備えることを特徴とする撮像装置。
【請求項3】
前記信頼性判定手段は、前記撮像面位相差AFの機能と前記位相差AFの機能とで得られた2像の出力値の相関演算により算出された像の一致度を比較して、一致度が高い方を信頼性が高いと判定することを特徴とする請求項1、2に記載の撮像装置。
【請求項4】
前記第一の焦点検出データは、前記撮像面位相差AFの機能で得られた前記焦点検出用画素の生データから演算された焦点ずれ量データであることを特徴とする請求項1又は2に記載の撮像装置。
【請求項5】
前記第二の焦点検出データは、前記位相差AFの機能で得られた前記専用センサの画素の生データから演算された焦点ずれ量データであることを特徴とした請求項1又は2に記載の撮像装置。
【請求項6】
前記撮像データと、前記第一の焦点検出データと、前記第二の焦点検出データとは、それぞれ前記画像ファイル内の異なる領域に記録されていることを特徴とする請求項1又は2に記載の撮像装置。
【請求項7】
前記第一の焦点検出データと、前記第二の焦点検出データとは、Exif形式画像ファイル内の付属情報記録領域に記録されることを特徴とする請求項6に記載の撮像装置。
【請求項8】
前記第一の焦点検出データ又は前記第二の焦点検出データである前記焦点検出用画素の位置情報を、Exif形式画像ファイルの付属情報記録領域に記録可能なことを特徴とする請求項6に記載の撮像装置。
【請求項9】
画像ファイル内に記録された撮像データと、撮像面位相差AFの機能で得られた第一の焦点検出データと、位相差AFの機能で得られた第二の焦点検出データを読み出し可能なデータ読み出し手段と、
読み出された前記撮像データと、前記第一の焦点検出データと、前記第二の焦点検出データを表示可能な表示手段と、
前記撮像データの画像処理が可能な画像処理手段と、
前記撮像面位相差AFの機能で得られたデータの演算処理が可能な演算処理手段と、
を備えたこと特徴とする画像処理装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13A】
image rotate

【図13B】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22A】
image rotate

【図22B】
image rotate

【図23】
image rotate

【図24】
image rotate


【公開番号】特開2011−135191(P2011−135191A)
【公開日】平成23年7月7日(2011.7.7)
【国際特許分類】
【出願番号】特願2009−290963(P2009−290963)
【出願日】平成21年12月22日(2009.12.22)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】