撮像装置及びその制御方法及びプログラム
【課題】画像を再生する場合や印刷する場合に、非合焦の画像の再生や印刷を防止できるようにする。
【解決手段】撮影レンズの射出瞳の全域を通る光を受光する複数の撮像用画素と、撮影レンズの射出瞳の一部の領域を通る光を受光する複数の焦点検出用画素とを有する撮像素子と、撮像用画素から出力された信号に基づいて生成された画像データと、焦点検出用画素から出力された信号に基づいて生成された焦点検出情報とを記憶する記憶部と、記憶部に記憶されている焦点検出情報に基づいて、記憶部に記憶されている、焦点検出情報に対応する画像データの合焦状態を判定する判定部とを備える。
【解決手段】撮影レンズの射出瞳の全域を通る光を受光する複数の撮像用画素と、撮影レンズの射出瞳の一部の領域を通る光を受光する複数の焦点検出用画素とを有する撮像素子と、撮像用画素から出力された信号に基づいて生成された画像データと、焦点検出用画素から出力された信号に基づいて生成された焦点検出情報とを記憶する記憶部と、記憶部に記憶されている焦点検出情報に基づいて、記憶部に記憶されている、焦点検出情報に対応する画像データの合焦状態を判定する判定部とを備える。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は撮像面に配置された焦点検出用画素により、位相差検出方式のオートフォーカスが可能な撮像装置に関する。
【背景技術】
【0002】
デジタルカメラの機能の一つに、記録メディアに記録された画像ファイルをデジタルカメラの液晶モニタや、デジタルカメラと接続したテレビやパソコンのモニタに自動再生するスライドショー機能がある。しかしながら、記録された画像ファイルの中にはピントが合っていない画像が混ざっている場合がある。そのピントが合っていない失敗画像はユーザーにとってはスライドショーでの自動再生が不要である。そのため再生時に、画像ファイルに記録されている撮影直前の測距データを用いて、被写体にピントが合っている(合焦している)か否かの解析を行っている。そしてピントが合っていない(非合焦)と判断された画像ファイルはスキップして、合焦している画像ファイルのみ再生するようにしたデジタルカメラが提案されている(特許文献1参照)。
【0003】
また記録メディアに記録された画像ファイルをデジタルカメラと接続したプリンターに自動印刷する機能もある。この場合もスライドショーと同様に、失敗画像の印刷はユーザーにとっては無駄であるため、画像ファイルの合焦箇所を自動判定して無駄な印刷を防止するデジタルカメラが提案されている(特許文献2参照)。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2003−78859号公報
【特許文献2】特開2004−186872号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1においては、測距データは撮影直前のデータである。そのため、被写体が動体の場合は測距から撮影されるまでのタイムラグにより、測距データでは合焦していても実際の画像ファイルに写っている被写体はピントが合っていない場合がある。
【0006】
また、特許文献2においては、画像ファイルの周波数スペクトルを解析し、画像内で閾値以上の周波数成分を最も多く持つ箇所を合焦箇所と判定しているため、画面を大まかに分割してその領域毎の合焦状態しか分からない。被写体部分のみ等の詳細領域毎に合焦状態を判定しようとすると、解析負荷が多くなり判定する時間が掛かり過ぎるため、自動印刷のタイミングに合わせて処理することができないといった問題がある。
【0007】
本発明は上述した課題に鑑みてなされたものであり、その目的は、画像を再生する場合や印刷する場合に、非合焦の画像の再生や印刷を防止できるようにすることである。
【課題を解決するための手段】
【0008】
上述した課題を解決し、目的を達成するために、本発明に係わる撮像装置は、撮影レンズの射出瞳の全域を通る光を受光する複数の撮像用画素と、前記撮影レンズの射出瞳の一部の領域を通る光を受光する複数の焦点検出用画素とを有する撮像素子と、前記撮像用画素から出力された信号に基づいて生成された画像データと、前記焦点検出用画素から出力された信号に基づいて生成された焦点検出情報とを記憶する記憶手段と、前記記憶手段に記憶されている前記焦点検出情報に基づいて、前記記憶手段に記憶されている、前記焦点検出情報に対応する前記画像データの合焦状態を判定する判定手段と、を備えることを特徴とする。
【発明の効果】
【0009】
本発明によれば、画像を再生する場合や印刷する場合に、非合焦の画像の再生や印刷を防止することが可能となる。
【図面の簡単な説明】
【0010】
【図1】本発明の第1の実施形態のデジタル一眼レフカメラの断面図。
【図2】第1の実施形態のデジタルカメラの制御系のブロック図。
【図3】ライブビュー時の撮像面位相差AF動作の説明図。
【図4】Exif圧縮形式の画像ファイルフォーマット構造を示す図。
【図5】RAWデータ形式の画像ファイルフォーマット構造を示す図。
【図6】第1の実施形態のデジタルカメラの基本動作を示すフローチャート。
【図7】図6に示す通常撮影ルーチンの詳細を説明するフローチャート。
【図8】図6に示すライブビュー表示ルーチンの詳細を説明するフローチャート。
【図9】図6に示すライブビュー撮影ルーチンの詳細を説明するフローチャート。
【図10】第1の実施形態のデジタルカメラの画像再生動作を示すフローチャート。
【図11】デジタルカメラの液晶モニタでの合焦画像再生表示、及び非合焦画像再生表示を示す図。
【図12】デジタルカメラにおけるスライドショー時のフローチャート。
【図13】画像処理装置における画像処理ソフトの基本動作を示すメインフローチャート。
【図14】画像処理装置のディスプレイに画像処理ソフトが表示された状態を示す図。
【発明を実施するための形態】
【0011】
(第1の実施形態)
以下、本発明の第1の実施形態を図面を参照しながら説明する。図1は、本実施形態のデジタル一眼レフカメラ(撮像装置)の断面図である。図1において、1はカメラ本体、2は後述の撮影レンズ3をカメラ本体1に着脱可能とするためのマウントであり、各種信号を通信したり、駆動電源を供給したりするためのインターフェース部を有する。3は交換可能な撮影レンズであり、内部にフォーカスレンズ群やズームレンズ群、不図示の絞り装置を有している。図1では、各レンズ群を便宜上1枚のレンズで図示しており、例えば、フォーカスレンズ群をフォーカスレンズ3aとして示している。しかし、実際には多数のレンズにより複雑なレンズ群の組み合わせで構成されている。なお、図1では、フォーカスレンズ3aを撮影レンズ3の前側に配置しているが、本発明は、フォーカスレンズ3aを撮影レンズ3の前側に配置する構成に限定されるものではない。
【0012】
4はハーフミラーで構成された主ミラーであり、カメラの動作状態に応じて回動可能となっている。主ミラー4は、被写体をファインダーで観察する時は、図1(a)に示されるように撮影光路へ斜設され、撮影レンズ3からの光束を折り曲げて後述のファインダー光学系へ導く。主ミラー4は、撮影時やライブビュー時は、図1(b)に示されるように撮影光路から退避して、撮影レンズ3からの光束を後述の撮像素子6へ導く。5は撮影レンズ3からの光束を後述の撮像素子6に入射制御するためのシャッターで、通常は図1(a)に示されるように閉じた状態で、撮影時やライブビュー時に図1(b)に示されるように開いた状態となる。
【0013】
6はCMOSイメージセンサとその周辺回路で構成された撮像素子である。撮像素子6は、全画素独立出力が可能なように構成されている。また一部の画素が焦点検出用画素となっており、撮像面で位相差検出方式の焦点検出(撮像面位相差AF)が可能となっている。より具体的には、撮像素子6は、被写体の像を形成する撮影レンズ3の射出瞳の全域を通る光を各々が受光して被写体の像を生成する複数の撮像用画素を有する。更に撮像素子6は、各々が撮影レンズ3の射出瞳の一部の領域を通る光を受光する複数の焦点検出用画素も有する。複数の焦点検出用画素は全体として撮影レンズ3の射出瞳の全域を通る光を受光することができる。またこの撮像素子6は、受光画素上にベイヤー配列の原色カラーモザイクフィルタがオンチップで形成された、2次元単板カラーセンサである。
【0014】
7は主ミラー4とともに回動するサブミラーであり、図1(a)のように主ミラー4が撮影光路へ斜設されている時に、主ミラー4を透過した光束を後述のAFセンサ8に向かって折り曲げてAFセンサ8へ導く。サブミラー7は、撮影時やライブビュー時は図1(b)のように主ミラー4と共に回動して撮影光路から退避する。サブミラー7はハーフミラーではなく撮像素子6を遮光する。8はAFセンサであり、2次結像レンズや複数のCCD又はCMOSセンサからなるエリアセンサ等から構成されており、位相差AF(オートフォーカス)が可能となっている。
【0015】
9は撮影レンズ3の一次結像面に配置されたピント板であり、入射面にはフレネルレンズ(集光レンズ)が設けられ、射出面には被写体像(ファインダー像)が結像している。10はファインダー光路変更用のペンタプリズムであり、ピント板9の射出面に結像した被写体像を正立正像に補正する。11、12は接眼レンズである。ここで、ピント板9、ペンタプリズム10、接眼レンズ11、12により構成されている光学系をファインダー光学系と称する。
【0016】
13は自動露光(AE)センサであり、多分割された撮像領域内の各領域に対応したフォトダイオードから構成されており、ピント板9の射出面に結像した被写体像の輝度を測定する。14は撮影した画像や各種の撮影情報を表示する液晶モニタ(表示部)である。液晶モニタ14は、ライブビューモード時に撮像素子6が撮像した被写体の像(被写体像)を逐次表示すると共に、後述するAF枠設定部としてのマルチコントローラ33が設定可能なAF枠とマルチコントローラ33が設定したAF枠を表示する。
【0017】
図2は本実施形態のデジタル一眼レフカメラの制御系のブロック図である。20はカメラ部の制御とカメラ全体の制御を行うマイクロコンピュータ(中央処理装置;以下、「MPU」と称す)である。MPU(制御部)20は、後述する枠設定部であるマルチコントローラ33が設定したAF枠内の焦点検出用画素の出力信号を演算することによってAF枠に対して位相差AFを行って焦点検出枠内の焦点ずれ量を算出する。
【0018】
21は画像データの各種制御を行うメモリコントローラ、22は各種制御を行うための設定、調整データ等を格納しているEEPROMである。23は撮影レンズ3内にあるレンズ制御回路であり、マウント2を介してMPU20と接続されており、後述の各情報に基づいて不図示のフォーカスレンズ群の焦点調節(合焦駆動)や不図示の絞り駆動を行う。
【0019】
24は焦点検出回路であり、AFセンサ8の蓄積制御と読み出し制御とを行って、各焦点検出点の画素情報をMPU20に出力する。MPU20は各焦点検出点の画素情報を用いて周知の位相差AFを行い、検出した焦点検出情報をレンズ制御回路23へ送出して不図示のフォーカスレンズ群の焦点調節を行う。この焦点検出から焦点調節までの一連の動作をAF動作と称する。
【0020】
25は測光回路であり、AEセンサ13の各領域からの輝度信号をMPU20に出力する。MPU20は、輝度信号をA/D変換して被写体の測光情報とし、この測光情報を用いて撮影露出を演算し設定する。この測光情報を得てから撮影露出の設定までの一連の動作をAE動作と称する。26はモータ駆動回路であり、主ミラー4を駆動する不図示のモータやシャッター5のチャージを行う不図示のモータを制御する。27はシャッター駆動回路であり、シャッター5を開閉するための不図示のコイルへの電力供給制御を行う。28は電源29の電圧を各回路に必要な電圧に変換するDC/DCコンバータである。
【0021】
30はレリーズボタンであり、SW1とSW2の信号をMPU20へ出力する。SW1は、レリーズボタン30の第1ストローク(半押し)操作でONし、測光(AE)、AF動作を開始させるためのスイッチである。SW2は、レリーズボタン30の第2ストローク(全押し)操作でONし、露光動作を開始させるためのスイッチである。31はモードボタンであり、ボタン操作後、後述の電子ダイヤル32やマルチコントローラ33を操作すると、その入力に応じて各種モードが変更され、再度ボタンを操作すると決定される。例えば撮影画像の記録画質の種類等が変更可能である。32は電子ダイヤルであり、ダイヤルの回転クリックに応じたON信号がMPU20内の不図示のアップダウンカウンタに出力され、その数がカウントされる。このカウントに応じて各種の数値やデータ等の選択が行われる。
【0022】
33はマルチコントローラ(MC)であり、後述するライブビュー時に液晶モニタ14に表示されるAF枠(焦点検出枠)や各種モードを選択、決定するために用いられる入力装置である。マルチコントローラ33は、上下左右、斜め右上、斜め右下、斜め左上、斜め左下の8方向の入力と、押し操作による入力を行うことができる。マルチコントローラ33は、ライブビューモードを設定するモード設定部として機能する。また、マルチコントローラ33は、焦点検出の対象であるAF枠を撮像素子6の撮像領域の任意の位置に設定する枠設定部としても機能する。34は電源ボタンであり、操作するとカメラの電源がON/OFFされる。35は再生ボタンであり、操作すると後述のメディア48内に記録された画像を液晶モニタ14に表示する。
【0023】
40は撮像素子6から出力される画像信号をサンプルホールド及び自動ゲイン調整するCDS(相関2重サンプリング)/AGC(自動ゲイン調整)回路である。41はCDS/AGC回路40のアナログ出力をデジタル信号に変換するA/D変換器である。42はTG(タイミング発生)回路であり、撮像素子6に駆動信号を、CDS/AGC回路40にサンプルホールド信号を、A/D変換器41にサンプルクロック信号を供給する。
【0024】
43はA/D変換器41でデジタル変換された画像等を一時的に記録するためのSDRAM(メモリ)である。SDRAM43は、撮像素子6の撮像領域の全域の焦点検出用画素の出力信号を記録することができる。あるいは、SDRAM43は、撮像素子6の撮像領域の全域に対して位相差AFを行って算出された焦点ずれ量を記録する。
【0025】
44は画像に対して、Y/C(輝度信号/色差信号)分離、ホワイトバランス補正、γ補正等を行う画像処理回路である。45は画像をJPEG等の形式に従って圧縮したり、圧縮された画像の伸張を行う画像圧縮/伸張回路である。ここでメモリコントローラ21は、撮像素子6から出力される画像信号を画像処理回路44で画像処理することにより、被写体の測光情報を得ることが可能である。46はSDRAM43や後述するメディア48に記録された画像を液晶モニタ14に表示するために、画像をアナログ信号に変換するD/A変換器である。47は画像を記録保存するためのメディア48とのI/F(インターフェース)である。49はUSB接続可能なプリンター50等の外部機器を接続するためのUSBインターフェースである。
【0026】
続いて、撮像素子6による撮像面位相差AFについて大まかに説明する。詳細については、本願出願人が出願した特開2009−003122号公報等で説明しているため、本実施形態では割愛する。本実施形態においては、画素ピッチが8μm、有効画素数が縦3000行×横4500列=1350万画素、撮像画面サイズが横36mm×縦24mmの撮像素子を例に挙げて説明する。また撮像面位相差AFを撮像素子6の全領域で行うために、焦点検出用画素を有効画素内に離散的に配置してある。その配置規則単位として、100行×100列=1万画素で構成された画素領域をフィールドと称する。
【0027】
図3はライブビュー時の撮像面位相差AF動作を説明する図で、ライブビュー時に液晶モニタ14に画像が表示されている状態を示している。撮像面に形成された被写体像には、中央に人物、左下に近景の柵、右上に遠景の山が写っており、それらが画面に表示されている。また画面中央にはAF枠が表示されている。本実施形態では一例として、AF枠は横方向に6フィールド、縦方向に6フィールドの大きさに設定されている。更にAF枠はマルチコントローラ33の入力信号に従って、撮像領域内の任意位置に移動可能となっている。撮像素子6上においては、一番左上のフィールドをFLD(q,r)=FLD(1,1)とする。本実施形態においては有効画素数が縦3000行×横4500列=1350万画素なので、前述のフィールドは垂直方向に30個、水平方向に45個配列され、撮像領域は1350個のフィールドで構成されている。
【0028】
図3においては画面中央に人物の顔が存在している。そこで公知の顔認識技術によって顔の存在が検出されると、顔領域と検知された部分にAF枠が表示され、AF枠内の焦点検出が行なわれる。まず横ずれ方向の焦点検出のためにAF枠領域AFARH(1)〜(6)と、縦ずれ方向の焦点検出のためにAF枠領域AFARV(1)〜(6)が設定される。図3では、横ずれ方向の焦点検出及び縦ずれ方向の焦点検出のためのAF枠領域をAFARH(3)とAFARV(5)として1領域ずつ示しており、他のそれぞれ5領域は図示を割愛している。
【0029】
横ずれ方向の焦点検出のためのAF枠領域AFARH(1)は、AF枠内の上から1行目のフィールドFLD(13,21)からフィールドFLD(13,26)までの6フィールド分を連結している。AF枠領域AFARH(2)は、AF枠内の上から2行目のフィールドFLD(14,21)からフィールドFLD(14,26)までを連結している。AF枠領域AFARH(3)は、AF枠内の上から3行目のフィールドFLD(15,21)からフィールドFLD(15,26)までを連結している。AF枠領域AFARH(4)は、AF枠内の上から4行目のフィールドFLD(16,21)からフィールドFLD(16,26)までを連結している。AF枠領域AFARH(5)は、AF枠内の上から5行目のフィールドFLD(17,21)からフィールドFLD(17,26)までを連結している。AF枠領域AFARH(6)は、AF枠内の上から6行目のフィールドFLD(18,21)からフィールドFLD(18,26)までを連結している。
【0030】
縦ずれ方向の焦点検出のためのAF枠領域AFARV(1)は、AF枠内の左から1列目のフィールドFLD(13,21)からフィールドFLD(18,21)までの6フィールド分を連結している。AF枠領域AFARV(2)は、AF枠内の左から2列目のフィールドFLD(13,22)からフィールドFLD(18,22)までを連結している。AF枠領域AFARV(3)は、AF枠内の左から3列目のフィールドFLD(13,23)からフィールドFLD(18,23)までを連結している。AF枠領域AFARV(4)は、AF枠内の左から4列目のフィールドFLD(13,24)からフィールドFLD(18,24)までを連結している。AF枠領域AFARV(5)は、AF枠内の左から5列目のフィールドFLD(13,25)からフィールドFLD(18,25)までを連結している。AF枠領域AFARV(6)は、AF枠内の左から6列目のフィールドFLD(13,26)からフィールドFLD(18,26)までを連結している。
【0031】
横ずれ方向の焦点検出のためのAF枠領域AFARH(3)内に含まれる焦点検出用画素を加算し、連結した位相差検出用のA像信号がAFSIGH(A3)である。同様に、焦点検出用画素を加算し、連結した位相差検出用のB像信号がAFSIGh(B3)である。A像信号AFSIGH(A3)とB像信号AFSIGH(B3)の相対的な横ずれ量を公知の相関演算によって演算することで、被写体の焦点ずれ量を求める。AF枠領域AFARH(1)〜(6)それぞれで被写体の焦点ずれ量を求める。
【0032】
縦ずれ方向の焦点検出のためのAF枠領域AFARV(5)についても同様である。即ち、焦点検出用画素を加算し、連結した位相差検出用のC像信号がAFSIGV(C5)である。また、焦点検出用画素を加算し、連結した位相差検出用のD像信号がAFSIGV(D5)である。そしてC像信号AFSIGV(C5)とD像信号AFSIGV(D5)の相対的な横ずれ量を公知の相関演算によって演算することで、被写体の焦点ずれ量を求める。AF枠領域AFARV(1)〜(6)それぞれで被写体の焦点ずれ量を求める。
【0033】
そして横ずれ及び縦ずれのAF枠領域で検出した計12の焦点ずれ量を比較し、信頼性の高い値を採用することで、AF枠内の焦点ずれ量を求めることができる。ここで信頼性とは、2像の一致度を指し、2像の一致度が良い場合は一般的に焦点検出結果の信頼性が高い。そこで複数の焦点検出領域の焦点検出結果がある場合は、信頼性の高い情報を優先的に使用する。また信頼性ではなく、計12の焦点ずれ量の平均値としたり、それらの中の最至近値とする等の方法でAF枠内の焦点ずれ量を決めても構わない。
【0034】
一方、画面左下の柵部分にAF枠を移動した時は、同様に横ずれ方向の焦点検出及び縦ずれ方向の焦点検出のためにAF枠領域を再設定して被写体の焦点ずれ量を求めることができる。しかし、柵部分は縦線成分が主体、即ち、横方向に輝度分布を有しているため、横ずれ方向の焦点検出に適した被写体と判断することができる。このため、横ずれ方向の焦点検出のためのAF枠領域AFARH(n)だけを設定して、AF枠領域AFARH(3)と同様に、A像信号とB像信号から横ずれ量を演算して、被写体の焦点ずれ量を求めることもできる。
【0035】
また画面右上の山部分にAF枠を移動した時も、上記同様に横ずれ方向の焦点検出及び縦ずれ方向の焦点検出のためにAF枠領域を設定して被写体の焦点ずれ量を求めることができる。しかし、山の稜線は横線成分が主体、即ち、縦方向に輝度分布を有しているため、縦ずれ方向の焦点検出に適した被写体と判断することができる。このため、縦ずれ方向の焦点検出のためのAF枠領域AFARV(n)だけを設定して、AF枠領域AFARV(5)と同様に、C像信号とD像信号から縦ずれ量を演算して、被写体の焦点ずれ量を求めることもできる。
【0036】
ここではAF枠領域を設定した前提で焦点ずれ量を求める説明を行なった。しかし、AF枠領域を設定しなくても、撮像領域の全領域においてA像信号とB像信号から横ずれ量を、C像信号とD像信号から縦ずれ量を演算してもよい。そして、全領域の焦点検出結果から信頼性の高い情報を基にして、被写体の焦点ずれ量を求めることも可能である。即ち、顔認識により主被写体と判断された画面中央の人物の顔部分の焦点ずれ量を求めると同時に、撮像領域内にある他の被写体(画面左下の柵や画面右上の山)の焦点ずれ量も求めることが可能である。
【0037】
続いて、撮影情報を画像ファイルに記録する方法について説明する。図4はExif圧縮形式の画像ファイルフォーマット構造を示した図である。60はJPEG圧縮方式の画像ファイルで、ファイルの先頭を表すSOIマーカ61から始まり、Exif付属情報を記録するアプリケーションマーカセグメント1(APP1)62、Exif拡張データを記録するアプリケーションマーカセグメント2(APP2)63、量子化テーブルマーカセグメント(DQT)64、ハフマンテーブルマーカセグメント(DHT)65、リスタートマーカセグメント(DRI)66、フレームヘッダマーカセグメント(SOF)67、スキャンヘッダマーカセグメント(SOS)68、画像圧縮データ(Compressed Data)69、ファイルの終端を表すEOIマーカ70の順番で構成されている。
【0038】
APP1(62)の内部構造は、アプリケーション領域であることを表すAPP1マーカ71から始まり、その大きさを表すLength72、Exif識別コード73、付属情報本体から構成されている。付属情報はFile Header74を含むTIFFの構造をとり、圧縮されている画像(主画像)に関する付属情報を記録する0th IFD75、0th IFDにExif固有の付属情報を記録するExif IFD76、サムネイル画像を記録する1st IFD77で構成されている。
【0039】
Exif IFD76に記録される付属情報のタグ構造は、Exif Versionタグ81から始まり、メーカーが個別の情報を記録可能なMaker Noteタグ82、ユーザーが個別の情報を記録可能なUser Commentタグ83、IFDへのポインタ(Interoperabiliy IFD Pointer)84、実際にデータを記録する領域(Value of Exif IFD)85で構成されている。
【0040】
85aは撮像面位相差AFデータ記録の一例で、撮像面位相差AFによる各焦点検出領域毎の焦点ずれ量(測距データ)を記録している。まずはMaker Noteタグ82内に焦点ずれ量データ85aがデータ記録領域85のどの領域に記録されているかの情報が記録されている。焦点ずれ量データ85aは図3において撮像面の左上の焦点検出領域、即ちフィールドFLD(1,1)から記録を開始し、撮像面の右下の焦点検出領域、即ちフィールドFLD(30,45)までを記録し終了する。記録順はフィールドFLD(15,21)、フィールドLD(15,22)、フィールドFLD(15,23)、フィールドFLD(15,24)、フィールドFLD(15,25)、フィールドFLD(15,26)と水平方向のフィールドから記録し、その水平方向の行が終了すると垂直方向の次の行のフィールドを記録している。
【0041】
図5はRAWデータ形式の画像ファイルフォーマット構造を示した図である。ここでRAWデータとは、撮像素子6から出力された画像信号をA/D変換器41でデジタル変換しただけの画像形式で、Y/C分離、ホワイトバランス補正、γ補正、圧縮加工等の各種画像処理を行う前の、所謂、生画像データである。従ってRAWデータは非常に多くの情報量を持つため、ユーザーが後から画像処理を行う場合の自由度が高い。そのためユーザー自身が撮影した画像を、高画質のまま好みの画像に自由に調整可能といった特徴がある。
【0042】
90はRAWデータ形式の画像ファイルで、ヘッダー91から始まり撮影で使用したカメラ機種情報92、Exif形式のタグ形式に則って各種情報を記録可能な画像付加情報93、RAWデータを現像するためのホワイトバランス値、γ値等の現像用パラメータ94、サムネイルデータ95、RAWデータ96で構成されている。また画像付加情報93内には撮像素子6上のどの位置に焦点検出用画素が配置されているかの焦点検出用画素位置情報93aが記録されている。
【0043】
96aはRAWデータ内の一例で、フィールドFLD(15,25)内の右下隅の焦点検出用画素を有する領域を示しており、各画素毎の出力データが記録されている。データは焦点ずれ量データ85aと同様に撮像面の左上の画素データから記録を開始し、右下の画素データまでを記録して終了している。RAWデータ96aは、詳しくはフィールドFLD(15,25)内の右下隅の所定領域内の1行目と2行目を示している。1行目では、画素(1491,2491)は撮像用R画素でRデータ、画素(1491,2492)は撮像用G画素でGデータ、画素(1491,2493)は撮像用R画素でRデータ、画素(1491,2494)は撮像用G画素でGデータ、画素(1491,2495)は撮像用R画素でRデータ、画素(1491,2496)は撮像用G画素でGデータ、画素(1491,2497)は撮像用R画素でRデータ、画素(1491,2498)は撮像用G画素でGデータ、画素(1491,2499)は焦点検出用SHA画素でSHAデータ、画素(1491,2500)は撮像用G画素でGデータが記録されている。2行目は画素(1492,2491)は撮像用G画素でGデータ、画素(1492,2492)は撮像用B画素でBデータ、画素(1492,2493)は撮像用G画素でGデータ、画素(1492,2494)は撮像用B画素でBデータ、画素(1492,2495)は撮像用G画素でGデータ、画素(1492,2496)は撮像用B画素でBデータ、画素(1492,2497)は撮像用G画素でGデータ、画素(1492,2498)は撮像用B画素でBデータ、画素(1492,2499)は撮像用G画素でGデータ、画素(1492,2500)は焦点検出用SHB画素でSHBデータが記録されている。このように全画素のデータ記録順は水平方向の画素から記録し、その水平方向の行が終了すると垂直方向次の行の画素を記録している。
【0044】
続いて本実施形態のデジタル一眼レフカメラの動作を、図6〜図10の制御フローを用いて説明する。図6はデジタル一眼レフカメラの基本動作を示すメインフローである。
【0045】
S101では、ユーザーが電源ボタン34を操作してカメラの電源をONする。電源がONされるとMPU20はカメラ内の各アクチュエータや撮像素子6の動作確認を行う。そしてメモリ内容や実行プログラムの初期化状態を検出すると共に、撮影準備動作を実行する。
【0046】
S102では、ユーザが各種ボタンを操作してカメラの各種設定を行う。例えば、モードボタン31を操作して撮影モードを選択したり、電子ダイヤル32を操作してシャッタースピードや絞り、撮影画像の記録画質の設定を行ったりする。
【0047】
S103では、マルチコントローラ33によりライブビューモードが設定されているか否かの判定を行い、ライブビューモードに設定されていればライブビューモードルーチンのS111へ進み、設定されていなければ通常モードルーチンのS104へ進む。
【0048】
まず通常モード(ユーザーがファインダーを覗いて撮影する一眼レフカメラの通常使用モード)の動作ルーチンを説明する。S104では、レリーズボタン30が半押しされてSW1がONされたか否かの判定を行い、ONされていればS105へ進み、ONされていなければONされるまで待機する。
【0049】
S105では、専用のAFセンサ8を用いたAF動作を行なう。S106では、AEセンサ13を用いたAE動作を行なう。S107では、ファインダー内に合焦した焦点検出点が何処かを不図示の表示装置で表示する。
【0050】
S108では、レリーズボタン30が全押しされてSW2がONされたか否かの判定を行い、ONされていればS109へ進み、ONされていなければONされるまで待機する。S109では、通常撮影ルーチンを実行する。
【0051】
図7は通常撮影ルーチンのフローである。S131では、モータ駆動回路26により不図示のミラー駆動用モータを制御し、主ミラー4とサブミラー7を撮影光路から退避(ミラーアップ)させる(図1(b)の状態となる)。
【0052】
S132では、AE結果により演算された撮影露出に従って、レンズ制御回路23により撮影レンズ3内の不図示の絞りを駆動する。S133では、シャッター駆動回路27によりシャッター5を開閉する。S134では、メモリコントローラ21により撮像素子6で受光された画像信号を読み込んでSDRAM43に一時記録する。この一時記録されたデータが撮像データである。
【0053】
S135では、メモリコントローラ21がSDRAM43から読み出した画像信号の欠損画素補間を行なう。何故ならば、焦点検出用画素の出力は撮像のためのRGBカラー情報を有しておらず、画像を得る上では欠陥画素に相当するため、周囲の撮像用画素の情報から補間により画像信号を生成するからである。生成した画像信号と元の画像信号から欠陥画素補間画像を作成し、SDRAM43に一時記録しておく。
【0054】
S136では、メモリコントローラ21で欠陥画素補間画像からサムネイル画像を作成し、SDRAM43に一時記録する。S137では、撮影画像の記録画質がJPEGまたはRAWのどちらに選択されているかを判定し、JPEGが選択されている場合はS138へ進み、RAWが選択されている場合はS140へ進む。
【0055】
S138では、SDRAM43に一時記録された画像信号から、メモリコントローラ21により各焦点検出用画素を読み出し、MPU20により所定の処理を行い、各フィールド毎の焦点ずれ量を演算し、SDRAM43に一時記録する。ここで図3で説明したように焦点ずれ量のデータ数は1350個分となる。
【0056】
S139では、欠損画素補間画像に対して画像処理回路44でホワイトバランス補正、γ補正、エッジ強調等の画像処理を行ない、画像圧縮/伸張回路45でJPEG形式に従って圧縮し、メモリコントローラ21により画像圧縮データ部69に記録する。またサムネイル画像を1st IFD77に、焦点ずれ量データ85aをデータ記録領域85に記録する。更にはカメラの各種設定(シャッタースピード、絞り、レンズ焦点距離等)をExifルールに則り記録することにより、画像および各種データをJPEGファイル化する。
【0057】
S140では、メモリコントローラ21によりSDRAM43に一時記録されている画像信号をRAWデータ96に96aのように記録する。また焦点検出用画素位置情報93a、カメラの各種設定(シャッタースピード、絞り、レンズ焦点距離等)等をExifルールに則り画像付加情報93に、サムネイル画像をサムネイルデータ95に記録することにより画像および各種データをRAWファイル化する。S141では、JPEGファイルまたはRAWファイルとなった画像ファイルをメディア48に記録する。
【0058】
S142では、モータ駆動回路26により不図示のミラー駆動用モータを制御し、撮影光路から退避している主ミラー4とサブミラー7を、撮影光束をファインダーへと反射し導く観察位置へ駆動(ミラーダウン)する(図1(a)の状態となる)。S143では、モータ駆動回路26により不図示のチャージ用モータを通電制御し、シャッター5をチャージする。そして図6のメインルーチン内のS110にリターンする。
【0059】
S110では、ユーザーが電源ボタン34を操作して、カメラの電源がOFFされたか否かを判断し、OFFされていなければS102へ進み次の撮影に備え、OFFされていれば一連のカメラ動作を終了する。
【0060】
続いてライブビューモード(ユーザーがライブビューを使用して撮影するモード)の動作ルーチンを説明する。S111では、ライブビュー表示ルーチンを実行する。
【0061】
図8はライブビュー表示ルーチンのフローである。S161では、モータ駆動回路26により不図示のミラー駆動用モータを制御し、主ミラー4とサブミラー7を撮影光路から退避(ミラーアップ)させる。S162では、シャッター駆動回路27によりシャッター5を開放状態にする(図1(b)の状態となる)。S163では、メモリコントローラ21により撮像素子6で受光された動画像の読み込みを開始する。
【0062】
S164では、読み出した動画像を液晶モニタ14に表示する。ユーザーはこのライブビュー画像を目視して撮影時の構図決定を行なう。そして図6のメインルーチン内のS112にリターンする。
【0063】
S112では、撮像領域内に顔が存在するか認識処理(顔検知)を行う。S113では、ライブビュー画像に重ねてAF枠を灰色で表示する。ここでS112において、撮像領域内に顔が存在していると認識された場合には、認識された顔領域にAF枠の表示を行なう。撮像領域内に顔が存在していないと認識された場合には、画面中央にAF枠の表示を行なう。本実施形態では図11(a)の通り、画面中央の人物の顔が顔検知によって認識され、顔領域にAF枠が表示さる。
【0064】
S114では、AF枠領域設定を行なう。AF枠領域設定は前述の通り、横ずれ検知のためにAF枠領域AFARH(1)〜(6)と、縦ずれ検知のためにAF枠領域AFARV(1)〜(6)が設定される。
【0065】
S115では、ユーザーによりマルチコントローラ33が操作されて、AF枠が移動されたか否かの判定を行い、移動されていればS114へ進み、移動されていなければS116へ進む。ここでのAF枠移動は例えば、顔認識がされずAF枠が画面中央に表示されたのに対して、ユーザーが画面中央以外の被写体にピントを合わせたい場合などが考えられる。
【0066】
S116では、レリーズボタン30が半押しされてSW1がONされたか否かの判定を行い、ONされていればS117へ進み、ONされていなければ構図が変更された可能性を考慮してS112へ進む。
【0067】
S117では、メモリコントローラ21により撮像素子6からAF枠領域に設定されているフィールドに含まれる各焦点検出用画素を読み出し、MPU20により所定の処理を行い、AF枠内の焦点ずれ量を決定する。本実施形態においては、まずは図3に示したAFSIGH(A3)とAFSIGH(B3)、又はAFSIGV(C5)とAFSIGV(D5)等の2像の信号を生成し、それら2像の相関演算を行い、2像の相対的な位置ずれ量を演算する。次に相関演算結果の信頼性を判定し、信頼性の高い検出結果から焦点ずれ量を演算する。そして焦点ずれ量をレンズ制御回路23へ送出して、撮影レンズ3内の不図示のフォーカスレンズ群の合焦駆動を行なう。
【0068】
ここでは、AF枠領域に設定されていないフィールドについては、それらの焦点ずれ量を演算していない。これは相関演算がMPU20で行なう処理の中では比較的時間が掛かるためで、この時点で焦点ずれ量そのものが不必要なAF枠外のフィールドについては、データ処理を行なわないことで僅かでもMPU20の処理時間を短くするためである。もちろんMPU20の処理能力に余裕があれば、全フィールドにおける焦点ずれ量を演算して一時記録しておき、AF枠が移動された場合に素早く合焦駆動出来るようにしても構わない。
【0069】
S118では、AF枠の色を灰色から緑色に変更してAF枠内が合焦したことをユーザーに知らせる。S119では、レリーズボタン30が全押しされてSW2がONされたか否かの判定を行い、ONされていればS120へ進み、ONされていなければONされるまで待機する。S120では、ライブビュー撮影ルーチンを実行する。
【0070】
図9はライブビュー撮影ルーチンのフローである。S181では、メモリコントローラ21により撮像素子6から画像信号を読み込み、合焦している主被写体及びその周りの測光情報を得る、所謂、撮像面AE動作を行なう。S182では、撮像面AE結果により演算された撮影露出に従って、レンズ制御回路23により撮影レンズ3内の不図示の絞りを駆動する。
【0071】
S183では、メモリコントローラ21により撮像素子6に受光されている画像信号をリセットして撮像素子6の受光状態を初期状態、即ち何も撮像されていない状態に戻す。S184では、再びメモリコントローラ21により撮像素子6の受光を行い、画像信号を読み込んでSDRAM43に一時記録する。
【0072】
S185では、メモリコントローラ21で読み出した画像信号の欠損画素補間を行なう。何故ならば、焦点検出用画素の出力は撮像のためのRGBカラー情報を有しておらず、画像を得る上では欠陥画素に相当するため、周囲の撮像用画素の情報から補間により画像信号を生成するからである。生成した画像信号と元の画像信号から欠陥画素補間画像を作成し、SDRAM43に一時記録しておく。
【0073】
S186では、メモリコントローラ21で欠陥画素補間画像からサムネイル画像を作成し、SDRAM43に一時記録する。S187では、撮影画像の記録画質がJPEGまたはRAWのどちらに選択されているかを判定し、JPEGが選択されている場合はS188へ進み、RAWが選択されている場合はS190へ進む。
【0074】
S188では、SDRAM43に一時記録された画像信号から、メモリコントローラ21により各焦点検出用画素を読み出し、MPU20により所定の処理を行い、各フィールド毎の焦点ずれ量を演算し、SDRAM43に一時記録する。ここで図3で説明したように焦点ずれ量のデータ数は1350個分となる。
【0075】
S189では、欠損画素補間画像に対して画像処理回路44でホワイトバランス補正、γ補正、エッジ強調等の画像処理を行ない、画像圧縮/伸張回路45でJPEG形式に従って圧縮し、メモリコントローラ21により画像圧縮データ部69に記録する。またサムネイル画像を1st IFD77に、焦点ずれ量データをデータ記録領域85に85aのように記録する。更にはカメラの各種設定(シャッタースピード、絞り、レンズ焦点距離等)等をExifルールに則り記録することにより、画像および各種データをJPEGファイル化する。
【0076】
S190では、メモリコントローラ21によりSDRAM43に一時記録されている画像信号をRAWデータ96に96aのように記録する。またカメラの各種設定(シャッタースピード、絞り、レンズ焦点距離等)等をExifルールに則り画像付加情報93に、サムネイル画像をサムネイルデータ95に記録することにより画像および各種データをRAWファイル化する。
【0077】
S191では、JPEGファイルまたはRAWファイルとなった画像ファイルをメディア48に記録する。S192では、シャッター駆動回路27によりシャッター5を閉じる。S193では、モータ駆動回路26により不図示のミラー駆動用モータを制御し、主ミラー4とサブミラー7をミラーダウンする(図1(a)の状態となる)。S194では、モータ駆動回路26により不図示のチャージ用モータを通電制御し、シャッター5をチャージする。そして図6のメインルーチン内のS110にリターンする。
【0078】
図10は画像再生動作を示すフローチャートである。S201では、再生ボタン35がONされてカメラは撮影モードから再生モードに切り替る。本実施形態においては、図3相当の画像がJPEGファイル60でメディア48に記録されているとする。
【0079】
S202では、メディア48に記録された画像ファイルの中から、再生しようとするJPEGファイル60に対して、メモリコントローラ21により各フィールド毎の焦点ずれ量データ85aを読み出しSDRAM43に一時記録する。S203では、読み出した各フィールド毎の焦点ずれ量データ85aを判定閾値と比較して合焦状態を判定する。具体的には、閾値未満の焦点ずれ量があれば画像は合焦していると判定しS204へ進み、閾値未満の焦点ずれ量がなければ画像は合焦していない(非合焦)と判定しS208へ進む。
【0080】
S204では、JPEGファイル60の画像圧縮データ69から主画像を読み出し、液晶モニタ14に再生表示する。S205では、S203で判定された焦点ずれ量が閾値未満の領域を合焦領域枠として画像に重ねて表示する。これによりユーザーは画像の合焦領域を確認することができる。この状態が図11(a)である。
【0081】
S206では、電子ダイヤル32やマルチコントローラ33の操作により、別の画像ファイルの再生が選択されたか否かの判定を行い、選択されればS202へ進み、選択されなければS207へ進む。
【0082】
S207では、再生モードで使用しない操作ボタン(例えばレリーズボタン30や電源ボタン34等)が操作されたか否かを判定し、操作されれば再生モードを終了し、操作されなければS206へ進む。
【0083】
S208では、JPEGファイル60の画像圧縮データ69から主画像を読み出し、液晶モニタ14に再生表示する。S209では、表示した画像には焦点ずれ量が閾値未満の領域がなく非合焦であるため、警告表示を画像に重ねて表示する。これによりユーザーは画像が非合焦であることを確認することができる。この状態が図11(b)である。
【0084】
以上説明したように、本実施形態によれば、画像再生表示時に画像ファイルに記録されている撮影された瞬間の焦点ずれ量を利用して画像の合焦判定を行うことにより、ユーザーは再生表示された画像が合焦しているか否かを簡単に確認することができる。
【0085】
本実施形態においては、画像撮影および撮影時の撮像面位相差AFデータの画像ファイル内への記録をデジタル一眼レフカメラで行なったが、デジタルコンパクトカメラ、デジタルビデオカメラ、各種検査デジタルカメラ、監視デジタルカメラ、内視鏡デジタルカメラ、ロボット用デジタルカメラ等、撮像素子による位相差AFが可能な撮像装置に適用可能である。また撮像面位相差AFデータの読み出し制御および表示は、撮影したデジタル一眼レフカメラで行なった。しかし、画像を表示可能な装置(例えばパソコン、メディアスロットと液晶モニタを有するプリンター等)に組み込まれた画像ファイル処理ソフトで制御および表示しても構わない。
【0086】
更に合焦判定に用いた撮像面位相差AFデータは各フィールドにおける焦点ずれ量としたが、焦点ずれ量に限定するものではなく、撮影レンズ3の情報と焦点ずれ量から演算されるカメラから被写体までの距離等の測距データとしてもよい。また再生表示する画像ファイルを前記の通りJPEGファイルとして説明したので、各フィールド毎の焦点ずれ量を読み出し、判定閾値と比較して合焦判定している。しかし、RAWファイルの場合ならば、各焦点検出用画素の生データを読み出し判定閾値と比較して合焦判定しても構わない。また合焦判定の結果、非合焦の場合は“非合焦”の文字を画像に重ねて表示して警告表示を行ったが、ユーザーが画像が非合焦であることを分かればどのような警告表示でも構わない。
【0087】
(第2の実施形態)
以下、本発明の第2の実施形態を図面を参照しながら説明する。基本構成は第1の実施形態と同一であるため説明を割愛し、異なる部分を説明する。
【0088】
図12はデジタル一眼レフカメラにおけるスライドショー時のフローである。S221では、再生ボタン35がONされてカメラは撮影モードから再生モードに切り替わる。本実施形態においては、画像がJPEGファイル60でメディア48に記録されているとする。
【0089】
S222では、モードボタン31の操作によりスライドショーモードを選択し、スライドショーを行うために必要な各種設定を行う。まずはメディア48に記録されている画像ファイルの中からスライドショーの対象画像ファイルを選択設定する。例えば記録されている全画像ファイルや撮影日付によって選択したり、画像ファイルを液晶モニタ14にサムネイル表示してその中から1枚ずつ選択したりする。他には再生表示時間等の設定も行う。
【0090】
S223では、再生表示枚数maxに選択された画像ファイルのファイル数を代入する。S224では、合焦判定するための焦点ずれ量の閾値を入力する。ここではユーザーが10cmと設定したとする。S225では、スライドショーを行うための全ての設定が終了したら、スライドショーが開始される。
【0091】
S226では、再生表示カウンタnに1を代入する。S227では、再生しようとする画像ファイルに対して、顔検知を行い画像内に顔が存在しているか否かを判定し、顔が存在していると認識された場合はS228へ進み、顔が存在していないと認識された場合はS229へ進む。
【0092】
S228では、メモリコントローラ21により、顔と認識された領域における各フィールド毎の焦点ずれ量データ85aを読み出しSDRAM43に一時記録する。S229では、メモリコントローラ21により再生しようとするJPEGファイル60の0th IFD75に記録された撮影時の測距領域を読み出し、その領域における各フィールド毎の焦点ずれ量データ85aを読み出しSDRAM43に一時記録する。ここで測距領域とは、撮影レンズ3の合焦動作に用いた測距データが、撮像素子6の撮像面位相差AFを使用した場合は焦点ずれ量を求めたAF枠を示し、AFセンサ8を使用した場合はファインダー内に合焦表示した焦点検出点(測距点)のことを示す。
【0093】
S230では、読み出した各フィールド毎の焦点ずれ量データ85aを設定した判定閾値と比較し、閾値未満の焦点ずれ量があれば画像は合焦していると判定しS231へ進む。また、閾値未満の焦点ずれ量がなければ画像は合焦していない(非合焦)と判定しS232へ進む。
【0094】
S231では、画像は焦点ずれ量が10cm以下の合焦画像と判定され、JPEGファイル60の画像圧縮データ69から主画像を読み出し、液晶モニタ14に再生表示する。S232では、画像ファイルを設定した所定時間再生表示したら、再生表示カウンタnを+1カウントアップする。
【0095】
S233では、再生表示カウンタnが再生表示枚数maxになったか否かの判定を行い、再生表示枚数maxになっていればS234へ進み、再生表示枚数maxになっていなければS227へ進み、引き続きスライドショーを行う。
【0096】
S234では、スライドショーを終了するか否かを液晶モニタ14に表示し、ユーザーが終了を選択した場合はスライドショーを終了し、終了を選択しない場合はS222へ進み新たなスライドショーの設定を行う。
【0097】
以上説明したように、本実施形態によれば、スライドショーによる画像再生表示時に画像ファイル内に記録されている撮影された瞬間の焦点ずれ量を利用して画像の合焦判定を行う。これにより、非合焦の画像をスキップして再生表示できるため、ユーザーにとって無駄な再生動作を省くことができる。
【0098】
本実施形態においては、スライドショーを画像を撮影したデジタル一眼レフカメラで行なった。しかし、デジタルコンパクトカメラ、デジタルビデオカメラ等や、画像を表示可能な装置(例えばパソコン、メディアスロットと液晶モニタを有するプリンター等)に組み込まれた画像ファイル処理ソフトで行っても構わない。
【0099】
また合焦判定に用いた撮像面位相差AFデータは各フィールドにおける焦点ずれ量としたが、焦点ずれ量に限定するものではなく、撮影レンズ3の情報と焦点ずれ量から演算されるカメラから被写体までの距離等の測距データとしてもよい。またスライドショーにより画像再生表示する画像ファイルを前記の通りJPEGファイルとして説明しているが、RAWファイルとして各焦点検出用画素の生データを読み出し判定閾値と比較して合焦判定しても構わない。
【0100】
更に合焦判定に用いる閾値をユーザーが設定可能としたことで、個々のユーザーにとってベストな合焦判定が実現できる。またスライドショーの再生表示時間が短くても対応できるように、合焦判定領域を顔検知領域やAF枠や測距点に対応した測距領域に限定することで、合焦判定に掛かる演算時間が短くできる。もちろん演算処理能力に余裕がある場合は撮像領域全体で合焦判定しても構わない。
【0101】
(第3の実施形態)
以下、本発明の第3の実施形態を図面を参照しながら説明する。図13は不図示の画像処理装置(本実施形態においてはパソコンとパソコンに接続されたプリンターとする)の画像処理ソフトの基本動作を示すメインフローである。図14はパソコンのディスプレイ301に画像処理ソフト302を表示している状態を示している。ここでパソコンのメモリはSDRAM43と同一機能である。また同様にMPU20、メモリコントローラ21の機能はパソコンのCPUが行なう。
【0102】
S351では、パソコンにインストールされた画像処理ソフト302を起動する。図14のディスプレイ301に画像処理ソフト302が表示される。S352では、パソコンのHDD内やパソコンのメディアスロットに挿入されたメディア48内に記録されているJPEGファイル60の1st IFD77からサムネイルデータを読み出し、図14のサムネイル画像304として一覧表示する。
【0103】
S353では、サムネイル画像304の中から各種処理を行いたい画像を選択する。例えばパソコンのマウスを操作して、ポインタ305を選択したいサムネイル画像304の上に移動し、ダブルクリックする。図14では、サムネイル画像304の左端(IMG_0001)が選択されている。
【0104】
S354では、選択されたJPEGファイル60の画像圧縮データ69から主画像303を読み出し、パソコンのディスプレイ301に再生表示する。S355では、選択されたJPEGファイル60の0th IFD75、Exif IFD76から画像付加情報を読み出し、付加情報領域307に表示する。
【0105】
S356では、主画像303の上に測距枠306を表示する。測距枠306の位置およびサイズは、画像を撮影した際にレンズが合焦動作を行なうために使用したAF枠に従う。ここでは第1の実施形態の図3のライブビューモードで撮影されたとして、図3で設定されたAF枠の位置とサイズで表示している。またこのAF枠の情報は、画像付加情報に記録されている。
【0106】
S357では、測距枠306内にある各フィールド毎の焦点ずれ量データ85aをJPEGファイル60から読み出し、メモリに一時記録する。S358では、読み出された焦点ずれ量データ85aに対してCPUにより所定の処理を行い、AF枠306内の焦点ずれ量308を演算する。
【0107】
S359では、演算された焦点ずれ量308を表示する。図14では、焦点ずれ量が“0mm”と表示されている。S360では、主画像303に対して各種画像処理を実施する。画像処理は画像処理メニューボタン309をオンすると不図示のメニュー画面が表示され、その中からユーザーの意図に合ったメニューを選択して実施する。
【0108】
S361では、画像処理ソフト302のファイル印刷ボタン310の上にポインタ305を移動してダブルクリックし、ファイル印刷ボタン310をオンする。S362では、まずはメディア48に記録されている画像ファイルの中から印刷する画像ファイルを選択する。例えば記録されている全画像ファイルや撮影日付によって選択したり、サムネイル画像304の中から1枚ずつ選択したりする。
【0109】
S363では、印刷枚数maxに選択された画像ファイルのファイル数を代入する。S364では、画像処理ソフト302の合焦判定閾値311の上にポインタ305を移動してダブルクリックし、パソコンのキーボードで合焦判定するための焦点ずれ量の閾値を入力する。ここではユーザーが10cmと設定したとする。
【0110】
S365では、印刷を行うための全ての設定が終了したら、印刷が開始される。S366では、印刷カウンタnに1を代入する。S367では、印刷しようとする画像ファイルに対して、顔検知を行い画像内に顔が存在しているか否かを判定し、顔が存在していると認識された場合はS368へ進み、顔が存在していないと認識された場合はS369へ進む。
【0111】
S368では、CPUにより、顔と認識された領域における各フィールド毎の焦点ずれ量データ85aを読み出し、メモリに一時記録する。S369では、CPUにより印刷しようとするJPEGファイル60の0th IFD75に記録された撮影時の測距領域を読み出し、その領域における各フィールド毎の焦点ずれ量データ85aを読み出し、メモリに一時記録する。ここで測距領域とは、撮影レンズ3の合焦動作に用いた測距データが、撮像素子6の撮像面位相差AFを使用している場合は焦点ずれ量を求めたAF枠を示し、AFセンサ8を使用している場合はファインダー内に合焦表示した焦点検出点(測距点)のことを示す。
【0112】
S370では、読み出した各フィールド毎の焦点ずれ量データ85aを、設定した判定閾値と比較し、閾値未満の焦点ずれ量があれば画像は合焦していると判定しS371へ進む。また、閾値未満の焦点ずれ量がなければ画像は合焦していない(非合焦)と判定しS372へ進む。
【0113】
S371では、画像は焦点ずれ量が10cm以下の合焦画像と判定され、JPEGファイル60の画像圧縮データ69から主画像303を読み出し、接続されているプリンターにデータを転送し画像を印刷する。S372では、画像のデータ転送が終了したら、印刷カウンタnを+1カウントアップする。
【0114】
S373では、印刷カウンタnが印刷枚数maxになったか否かの判定を行い、印刷枚数maxになっていればS374へ進み、印刷枚数maxになっていなければS367へ進み、引き続き印刷を行う。
【0115】
S374では、S362で選択された印刷予定の画像ファイルの内、実際には何枚の画像が印刷され、何枚の画像が非合焦判定で印刷されなかったのか、結果をディスプレイ301に表示する。S375では、終了ボタン312が操作されたか否かを判定し、操作されれば画像処理ソフト302を終了し、操作されなければS352へ進み、引き続き別の画像処理を行なう。
【0116】
以上説明したように、本実施形態によれば、画像印刷時に画像ファイル内に記録されている撮影された瞬間の焦点ずれ量を利用して画像の合焦判定を行うことにより、非合焦の画像をスキップして印刷できる。そのため、ユーザーにとって印刷の無駄を省くことができる。
【0117】
本実施形態においては、印刷をパソコンとパソコンに接続されたプリンターおよびパソコンに組み込まれた画像処理ソフトで行なったが、画像を撮影したデジタル一眼レフカメラや、デジタルコンパクトカメラ、デジタルビデオカメラ等と接続されたプリンターでも構わないし、メディアスロットと液晶モニタを有するプリンターで行っても構わない。
【0118】
また合焦判定に用いた撮像面位相差AFデータは各フィールドにおける焦点ずれ量としたが、焦点ずれ量に限定するものではなく、撮影レンズ3の情報と焦点ずれ量から演算されるカメラから被写体までの距離等の測距データとしてもよい。また画像印刷する画像ファイルをJPEGファイルとして説明しているが、RAWファイルとして各焦点検出用画素の生データを読み出し判定閾値と比較して合焦判定しても構わない。もしくは画像処理ソフトにより生データから各フィールドにおける焦点ずれ量を演算してから合焦判定しても構わない。
【0119】
更に合焦判定に用いる閾値をユーザーが設定可能としたことで、個々のユーザーにとってベストな合焦判定が実現できる。また合焦判定領域を顔検知領域やAF枠や測距点に対応した測距領域に限定することで、合焦判定に掛かる演算時間を短くし、印刷時間も短縮できる。もちろん演算処理能力に余裕がある場合は撮像領域全体で合焦判定しても構わない。
【0120】
なお、上記の各実施形態に記載された構成要素の配置や数値等は例示的なものであり、本発明の範囲をそれらのみに限定する趣旨のものではない。
【0121】
(他の実施形態)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
【技術分野】
【0001】
本発明は撮像面に配置された焦点検出用画素により、位相差検出方式のオートフォーカスが可能な撮像装置に関する。
【背景技術】
【0002】
デジタルカメラの機能の一つに、記録メディアに記録された画像ファイルをデジタルカメラの液晶モニタや、デジタルカメラと接続したテレビやパソコンのモニタに自動再生するスライドショー機能がある。しかしながら、記録された画像ファイルの中にはピントが合っていない画像が混ざっている場合がある。そのピントが合っていない失敗画像はユーザーにとってはスライドショーでの自動再生が不要である。そのため再生時に、画像ファイルに記録されている撮影直前の測距データを用いて、被写体にピントが合っている(合焦している)か否かの解析を行っている。そしてピントが合っていない(非合焦)と判断された画像ファイルはスキップして、合焦している画像ファイルのみ再生するようにしたデジタルカメラが提案されている(特許文献1参照)。
【0003】
また記録メディアに記録された画像ファイルをデジタルカメラと接続したプリンターに自動印刷する機能もある。この場合もスライドショーと同様に、失敗画像の印刷はユーザーにとっては無駄であるため、画像ファイルの合焦箇所を自動判定して無駄な印刷を防止するデジタルカメラが提案されている(特許文献2参照)。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2003−78859号公報
【特許文献2】特開2004−186872号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1においては、測距データは撮影直前のデータである。そのため、被写体が動体の場合は測距から撮影されるまでのタイムラグにより、測距データでは合焦していても実際の画像ファイルに写っている被写体はピントが合っていない場合がある。
【0006】
また、特許文献2においては、画像ファイルの周波数スペクトルを解析し、画像内で閾値以上の周波数成分を最も多く持つ箇所を合焦箇所と判定しているため、画面を大まかに分割してその領域毎の合焦状態しか分からない。被写体部分のみ等の詳細領域毎に合焦状態を判定しようとすると、解析負荷が多くなり判定する時間が掛かり過ぎるため、自動印刷のタイミングに合わせて処理することができないといった問題がある。
【0007】
本発明は上述した課題に鑑みてなされたものであり、その目的は、画像を再生する場合や印刷する場合に、非合焦の画像の再生や印刷を防止できるようにすることである。
【課題を解決するための手段】
【0008】
上述した課題を解決し、目的を達成するために、本発明に係わる撮像装置は、撮影レンズの射出瞳の全域を通る光を受光する複数の撮像用画素と、前記撮影レンズの射出瞳の一部の領域を通る光を受光する複数の焦点検出用画素とを有する撮像素子と、前記撮像用画素から出力された信号に基づいて生成された画像データと、前記焦点検出用画素から出力された信号に基づいて生成された焦点検出情報とを記憶する記憶手段と、前記記憶手段に記憶されている前記焦点検出情報に基づいて、前記記憶手段に記憶されている、前記焦点検出情報に対応する前記画像データの合焦状態を判定する判定手段と、を備えることを特徴とする。
【発明の効果】
【0009】
本発明によれば、画像を再生する場合や印刷する場合に、非合焦の画像の再生や印刷を防止することが可能となる。
【図面の簡単な説明】
【0010】
【図1】本発明の第1の実施形態のデジタル一眼レフカメラの断面図。
【図2】第1の実施形態のデジタルカメラの制御系のブロック図。
【図3】ライブビュー時の撮像面位相差AF動作の説明図。
【図4】Exif圧縮形式の画像ファイルフォーマット構造を示す図。
【図5】RAWデータ形式の画像ファイルフォーマット構造を示す図。
【図6】第1の実施形態のデジタルカメラの基本動作を示すフローチャート。
【図7】図6に示す通常撮影ルーチンの詳細を説明するフローチャート。
【図8】図6に示すライブビュー表示ルーチンの詳細を説明するフローチャート。
【図9】図6に示すライブビュー撮影ルーチンの詳細を説明するフローチャート。
【図10】第1の実施形態のデジタルカメラの画像再生動作を示すフローチャート。
【図11】デジタルカメラの液晶モニタでの合焦画像再生表示、及び非合焦画像再生表示を示す図。
【図12】デジタルカメラにおけるスライドショー時のフローチャート。
【図13】画像処理装置における画像処理ソフトの基本動作を示すメインフローチャート。
【図14】画像処理装置のディスプレイに画像処理ソフトが表示された状態を示す図。
【発明を実施するための形態】
【0011】
(第1の実施形態)
以下、本発明の第1の実施形態を図面を参照しながら説明する。図1は、本実施形態のデジタル一眼レフカメラ(撮像装置)の断面図である。図1において、1はカメラ本体、2は後述の撮影レンズ3をカメラ本体1に着脱可能とするためのマウントであり、各種信号を通信したり、駆動電源を供給したりするためのインターフェース部を有する。3は交換可能な撮影レンズであり、内部にフォーカスレンズ群やズームレンズ群、不図示の絞り装置を有している。図1では、各レンズ群を便宜上1枚のレンズで図示しており、例えば、フォーカスレンズ群をフォーカスレンズ3aとして示している。しかし、実際には多数のレンズにより複雑なレンズ群の組み合わせで構成されている。なお、図1では、フォーカスレンズ3aを撮影レンズ3の前側に配置しているが、本発明は、フォーカスレンズ3aを撮影レンズ3の前側に配置する構成に限定されるものではない。
【0012】
4はハーフミラーで構成された主ミラーであり、カメラの動作状態に応じて回動可能となっている。主ミラー4は、被写体をファインダーで観察する時は、図1(a)に示されるように撮影光路へ斜設され、撮影レンズ3からの光束を折り曲げて後述のファインダー光学系へ導く。主ミラー4は、撮影時やライブビュー時は、図1(b)に示されるように撮影光路から退避して、撮影レンズ3からの光束を後述の撮像素子6へ導く。5は撮影レンズ3からの光束を後述の撮像素子6に入射制御するためのシャッターで、通常は図1(a)に示されるように閉じた状態で、撮影時やライブビュー時に図1(b)に示されるように開いた状態となる。
【0013】
6はCMOSイメージセンサとその周辺回路で構成された撮像素子である。撮像素子6は、全画素独立出力が可能なように構成されている。また一部の画素が焦点検出用画素となっており、撮像面で位相差検出方式の焦点検出(撮像面位相差AF)が可能となっている。より具体的には、撮像素子6は、被写体の像を形成する撮影レンズ3の射出瞳の全域を通る光を各々が受光して被写体の像を生成する複数の撮像用画素を有する。更に撮像素子6は、各々が撮影レンズ3の射出瞳の一部の領域を通る光を受光する複数の焦点検出用画素も有する。複数の焦点検出用画素は全体として撮影レンズ3の射出瞳の全域を通る光を受光することができる。またこの撮像素子6は、受光画素上にベイヤー配列の原色カラーモザイクフィルタがオンチップで形成された、2次元単板カラーセンサである。
【0014】
7は主ミラー4とともに回動するサブミラーであり、図1(a)のように主ミラー4が撮影光路へ斜設されている時に、主ミラー4を透過した光束を後述のAFセンサ8に向かって折り曲げてAFセンサ8へ導く。サブミラー7は、撮影時やライブビュー時は図1(b)のように主ミラー4と共に回動して撮影光路から退避する。サブミラー7はハーフミラーではなく撮像素子6を遮光する。8はAFセンサであり、2次結像レンズや複数のCCD又はCMOSセンサからなるエリアセンサ等から構成されており、位相差AF(オートフォーカス)が可能となっている。
【0015】
9は撮影レンズ3の一次結像面に配置されたピント板であり、入射面にはフレネルレンズ(集光レンズ)が設けられ、射出面には被写体像(ファインダー像)が結像している。10はファインダー光路変更用のペンタプリズムであり、ピント板9の射出面に結像した被写体像を正立正像に補正する。11、12は接眼レンズである。ここで、ピント板9、ペンタプリズム10、接眼レンズ11、12により構成されている光学系をファインダー光学系と称する。
【0016】
13は自動露光(AE)センサであり、多分割された撮像領域内の各領域に対応したフォトダイオードから構成されており、ピント板9の射出面に結像した被写体像の輝度を測定する。14は撮影した画像や各種の撮影情報を表示する液晶モニタ(表示部)である。液晶モニタ14は、ライブビューモード時に撮像素子6が撮像した被写体の像(被写体像)を逐次表示すると共に、後述するAF枠設定部としてのマルチコントローラ33が設定可能なAF枠とマルチコントローラ33が設定したAF枠を表示する。
【0017】
図2は本実施形態のデジタル一眼レフカメラの制御系のブロック図である。20はカメラ部の制御とカメラ全体の制御を行うマイクロコンピュータ(中央処理装置;以下、「MPU」と称す)である。MPU(制御部)20は、後述する枠設定部であるマルチコントローラ33が設定したAF枠内の焦点検出用画素の出力信号を演算することによってAF枠に対して位相差AFを行って焦点検出枠内の焦点ずれ量を算出する。
【0018】
21は画像データの各種制御を行うメモリコントローラ、22は各種制御を行うための設定、調整データ等を格納しているEEPROMである。23は撮影レンズ3内にあるレンズ制御回路であり、マウント2を介してMPU20と接続されており、後述の各情報に基づいて不図示のフォーカスレンズ群の焦点調節(合焦駆動)や不図示の絞り駆動を行う。
【0019】
24は焦点検出回路であり、AFセンサ8の蓄積制御と読み出し制御とを行って、各焦点検出点の画素情報をMPU20に出力する。MPU20は各焦点検出点の画素情報を用いて周知の位相差AFを行い、検出した焦点検出情報をレンズ制御回路23へ送出して不図示のフォーカスレンズ群の焦点調節を行う。この焦点検出から焦点調節までの一連の動作をAF動作と称する。
【0020】
25は測光回路であり、AEセンサ13の各領域からの輝度信号をMPU20に出力する。MPU20は、輝度信号をA/D変換して被写体の測光情報とし、この測光情報を用いて撮影露出を演算し設定する。この測光情報を得てから撮影露出の設定までの一連の動作をAE動作と称する。26はモータ駆動回路であり、主ミラー4を駆動する不図示のモータやシャッター5のチャージを行う不図示のモータを制御する。27はシャッター駆動回路であり、シャッター5を開閉するための不図示のコイルへの電力供給制御を行う。28は電源29の電圧を各回路に必要な電圧に変換するDC/DCコンバータである。
【0021】
30はレリーズボタンであり、SW1とSW2の信号をMPU20へ出力する。SW1は、レリーズボタン30の第1ストローク(半押し)操作でONし、測光(AE)、AF動作を開始させるためのスイッチである。SW2は、レリーズボタン30の第2ストローク(全押し)操作でONし、露光動作を開始させるためのスイッチである。31はモードボタンであり、ボタン操作後、後述の電子ダイヤル32やマルチコントローラ33を操作すると、その入力に応じて各種モードが変更され、再度ボタンを操作すると決定される。例えば撮影画像の記録画質の種類等が変更可能である。32は電子ダイヤルであり、ダイヤルの回転クリックに応じたON信号がMPU20内の不図示のアップダウンカウンタに出力され、その数がカウントされる。このカウントに応じて各種の数値やデータ等の選択が行われる。
【0022】
33はマルチコントローラ(MC)であり、後述するライブビュー時に液晶モニタ14に表示されるAF枠(焦点検出枠)や各種モードを選択、決定するために用いられる入力装置である。マルチコントローラ33は、上下左右、斜め右上、斜め右下、斜め左上、斜め左下の8方向の入力と、押し操作による入力を行うことができる。マルチコントローラ33は、ライブビューモードを設定するモード設定部として機能する。また、マルチコントローラ33は、焦点検出の対象であるAF枠を撮像素子6の撮像領域の任意の位置に設定する枠設定部としても機能する。34は電源ボタンであり、操作するとカメラの電源がON/OFFされる。35は再生ボタンであり、操作すると後述のメディア48内に記録された画像を液晶モニタ14に表示する。
【0023】
40は撮像素子6から出力される画像信号をサンプルホールド及び自動ゲイン調整するCDS(相関2重サンプリング)/AGC(自動ゲイン調整)回路である。41はCDS/AGC回路40のアナログ出力をデジタル信号に変換するA/D変換器である。42はTG(タイミング発生)回路であり、撮像素子6に駆動信号を、CDS/AGC回路40にサンプルホールド信号を、A/D変換器41にサンプルクロック信号を供給する。
【0024】
43はA/D変換器41でデジタル変換された画像等を一時的に記録するためのSDRAM(メモリ)である。SDRAM43は、撮像素子6の撮像領域の全域の焦点検出用画素の出力信号を記録することができる。あるいは、SDRAM43は、撮像素子6の撮像領域の全域に対して位相差AFを行って算出された焦点ずれ量を記録する。
【0025】
44は画像に対して、Y/C(輝度信号/色差信号)分離、ホワイトバランス補正、γ補正等を行う画像処理回路である。45は画像をJPEG等の形式に従って圧縮したり、圧縮された画像の伸張を行う画像圧縮/伸張回路である。ここでメモリコントローラ21は、撮像素子6から出力される画像信号を画像処理回路44で画像処理することにより、被写体の測光情報を得ることが可能である。46はSDRAM43や後述するメディア48に記録された画像を液晶モニタ14に表示するために、画像をアナログ信号に変換するD/A変換器である。47は画像を記録保存するためのメディア48とのI/F(インターフェース)である。49はUSB接続可能なプリンター50等の外部機器を接続するためのUSBインターフェースである。
【0026】
続いて、撮像素子6による撮像面位相差AFについて大まかに説明する。詳細については、本願出願人が出願した特開2009−003122号公報等で説明しているため、本実施形態では割愛する。本実施形態においては、画素ピッチが8μm、有効画素数が縦3000行×横4500列=1350万画素、撮像画面サイズが横36mm×縦24mmの撮像素子を例に挙げて説明する。また撮像面位相差AFを撮像素子6の全領域で行うために、焦点検出用画素を有効画素内に離散的に配置してある。その配置規則単位として、100行×100列=1万画素で構成された画素領域をフィールドと称する。
【0027】
図3はライブビュー時の撮像面位相差AF動作を説明する図で、ライブビュー時に液晶モニタ14に画像が表示されている状態を示している。撮像面に形成された被写体像には、中央に人物、左下に近景の柵、右上に遠景の山が写っており、それらが画面に表示されている。また画面中央にはAF枠が表示されている。本実施形態では一例として、AF枠は横方向に6フィールド、縦方向に6フィールドの大きさに設定されている。更にAF枠はマルチコントローラ33の入力信号に従って、撮像領域内の任意位置に移動可能となっている。撮像素子6上においては、一番左上のフィールドをFLD(q,r)=FLD(1,1)とする。本実施形態においては有効画素数が縦3000行×横4500列=1350万画素なので、前述のフィールドは垂直方向に30個、水平方向に45個配列され、撮像領域は1350個のフィールドで構成されている。
【0028】
図3においては画面中央に人物の顔が存在している。そこで公知の顔認識技術によって顔の存在が検出されると、顔領域と検知された部分にAF枠が表示され、AF枠内の焦点検出が行なわれる。まず横ずれ方向の焦点検出のためにAF枠領域AFARH(1)〜(6)と、縦ずれ方向の焦点検出のためにAF枠領域AFARV(1)〜(6)が設定される。図3では、横ずれ方向の焦点検出及び縦ずれ方向の焦点検出のためのAF枠領域をAFARH(3)とAFARV(5)として1領域ずつ示しており、他のそれぞれ5領域は図示を割愛している。
【0029】
横ずれ方向の焦点検出のためのAF枠領域AFARH(1)は、AF枠内の上から1行目のフィールドFLD(13,21)からフィールドFLD(13,26)までの6フィールド分を連結している。AF枠領域AFARH(2)は、AF枠内の上から2行目のフィールドFLD(14,21)からフィールドFLD(14,26)までを連結している。AF枠領域AFARH(3)は、AF枠内の上から3行目のフィールドFLD(15,21)からフィールドFLD(15,26)までを連結している。AF枠領域AFARH(4)は、AF枠内の上から4行目のフィールドFLD(16,21)からフィールドFLD(16,26)までを連結している。AF枠領域AFARH(5)は、AF枠内の上から5行目のフィールドFLD(17,21)からフィールドFLD(17,26)までを連結している。AF枠領域AFARH(6)は、AF枠内の上から6行目のフィールドFLD(18,21)からフィールドFLD(18,26)までを連結している。
【0030】
縦ずれ方向の焦点検出のためのAF枠領域AFARV(1)は、AF枠内の左から1列目のフィールドFLD(13,21)からフィールドFLD(18,21)までの6フィールド分を連結している。AF枠領域AFARV(2)は、AF枠内の左から2列目のフィールドFLD(13,22)からフィールドFLD(18,22)までを連結している。AF枠領域AFARV(3)は、AF枠内の左から3列目のフィールドFLD(13,23)からフィールドFLD(18,23)までを連結している。AF枠領域AFARV(4)は、AF枠内の左から4列目のフィールドFLD(13,24)からフィールドFLD(18,24)までを連結している。AF枠領域AFARV(5)は、AF枠内の左から5列目のフィールドFLD(13,25)からフィールドFLD(18,25)までを連結している。AF枠領域AFARV(6)は、AF枠内の左から6列目のフィールドFLD(13,26)からフィールドFLD(18,26)までを連結している。
【0031】
横ずれ方向の焦点検出のためのAF枠領域AFARH(3)内に含まれる焦点検出用画素を加算し、連結した位相差検出用のA像信号がAFSIGH(A3)である。同様に、焦点検出用画素を加算し、連結した位相差検出用のB像信号がAFSIGh(B3)である。A像信号AFSIGH(A3)とB像信号AFSIGH(B3)の相対的な横ずれ量を公知の相関演算によって演算することで、被写体の焦点ずれ量を求める。AF枠領域AFARH(1)〜(6)それぞれで被写体の焦点ずれ量を求める。
【0032】
縦ずれ方向の焦点検出のためのAF枠領域AFARV(5)についても同様である。即ち、焦点検出用画素を加算し、連結した位相差検出用のC像信号がAFSIGV(C5)である。また、焦点検出用画素を加算し、連結した位相差検出用のD像信号がAFSIGV(D5)である。そしてC像信号AFSIGV(C5)とD像信号AFSIGV(D5)の相対的な横ずれ量を公知の相関演算によって演算することで、被写体の焦点ずれ量を求める。AF枠領域AFARV(1)〜(6)それぞれで被写体の焦点ずれ量を求める。
【0033】
そして横ずれ及び縦ずれのAF枠領域で検出した計12の焦点ずれ量を比較し、信頼性の高い値を採用することで、AF枠内の焦点ずれ量を求めることができる。ここで信頼性とは、2像の一致度を指し、2像の一致度が良い場合は一般的に焦点検出結果の信頼性が高い。そこで複数の焦点検出領域の焦点検出結果がある場合は、信頼性の高い情報を優先的に使用する。また信頼性ではなく、計12の焦点ずれ量の平均値としたり、それらの中の最至近値とする等の方法でAF枠内の焦点ずれ量を決めても構わない。
【0034】
一方、画面左下の柵部分にAF枠を移動した時は、同様に横ずれ方向の焦点検出及び縦ずれ方向の焦点検出のためにAF枠領域を再設定して被写体の焦点ずれ量を求めることができる。しかし、柵部分は縦線成分が主体、即ち、横方向に輝度分布を有しているため、横ずれ方向の焦点検出に適した被写体と判断することができる。このため、横ずれ方向の焦点検出のためのAF枠領域AFARH(n)だけを設定して、AF枠領域AFARH(3)と同様に、A像信号とB像信号から横ずれ量を演算して、被写体の焦点ずれ量を求めることもできる。
【0035】
また画面右上の山部分にAF枠を移動した時も、上記同様に横ずれ方向の焦点検出及び縦ずれ方向の焦点検出のためにAF枠領域を設定して被写体の焦点ずれ量を求めることができる。しかし、山の稜線は横線成分が主体、即ち、縦方向に輝度分布を有しているため、縦ずれ方向の焦点検出に適した被写体と判断することができる。このため、縦ずれ方向の焦点検出のためのAF枠領域AFARV(n)だけを設定して、AF枠領域AFARV(5)と同様に、C像信号とD像信号から縦ずれ量を演算して、被写体の焦点ずれ量を求めることもできる。
【0036】
ここではAF枠領域を設定した前提で焦点ずれ量を求める説明を行なった。しかし、AF枠領域を設定しなくても、撮像領域の全領域においてA像信号とB像信号から横ずれ量を、C像信号とD像信号から縦ずれ量を演算してもよい。そして、全領域の焦点検出結果から信頼性の高い情報を基にして、被写体の焦点ずれ量を求めることも可能である。即ち、顔認識により主被写体と判断された画面中央の人物の顔部分の焦点ずれ量を求めると同時に、撮像領域内にある他の被写体(画面左下の柵や画面右上の山)の焦点ずれ量も求めることが可能である。
【0037】
続いて、撮影情報を画像ファイルに記録する方法について説明する。図4はExif圧縮形式の画像ファイルフォーマット構造を示した図である。60はJPEG圧縮方式の画像ファイルで、ファイルの先頭を表すSOIマーカ61から始まり、Exif付属情報を記録するアプリケーションマーカセグメント1(APP1)62、Exif拡張データを記録するアプリケーションマーカセグメント2(APP2)63、量子化テーブルマーカセグメント(DQT)64、ハフマンテーブルマーカセグメント(DHT)65、リスタートマーカセグメント(DRI)66、フレームヘッダマーカセグメント(SOF)67、スキャンヘッダマーカセグメント(SOS)68、画像圧縮データ(Compressed Data)69、ファイルの終端を表すEOIマーカ70の順番で構成されている。
【0038】
APP1(62)の内部構造は、アプリケーション領域であることを表すAPP1マーカ71から始まり、その大きさを表すLength72、Exif識別コード73、付属情報本体から構成されている。付属情報はFile Header74を含むTIFFの構造をとり、圧縮されている画像(主画像)に関する付属情報を記録する0th IFD75、0th IFDにExif固有の付属情報を記録するExif IFD76、サムネイル画像を記録する1st IFD77で構成されている。
【0039】
Exif IFD76に記録される付属情報のタグ構造は、Exif Versionタグ81から始まり、メーカーが個別の情報を記録可能なMaker Noteタグ82、ユーザーが個別の情報を記録可能なUser Commentタグ83、IFDへのポインタ(Interoperabiliy IFD Pointer)84、実際にデータを記録する領域(Value of Exif IFD)85で構成されている。
【0040】
85aは撮像面位相差AFデータ記録の一例で、撮像面位相差AFによる各焦点検出領域毎の焦点ずれ量(測距データ)を記録している。まずはMaker Noteタグ82内に焦点ずれ量データ85aがデータ記録領域85のどの領域に記録されているかの情報が記録されている。焦点ずれ量データ85aは図3において撮像面の左上の焦点検出領域、即ちフィールドFLD(1,1)から記録を開始し、撮像面の右下の焦点検出領域、即ちフィールドFLD(30,45)までを記録し終了する。記録順はフィールドFLD(15,21)、フィールドLD(15,22)、フィールドFLD(15,23)、フィールドFLD(15,24)、フィールドFLD(15,25)、フィールドFLD(15,26)と水平方向のフィールドから記録し、その水平方向の行が終了すると垂直方向の次の行のフィールドを記録している。
【0041】
図5はRAWデータ形式の画像ファイルフォーマット構造を示した図である。ここでRAWデータとは、撮像素子6から出力された画像信号をA/D変換器41でデジタル変換しただけの画像形式で、Y/C分離、ホワイトバランス補正、γ補正、圧縮加工等の各種画像処理を行う前の、所謂、生画像データである。従ってRAWデータは非常に多くの情報量を持つため、ユーザーが後から画像処理を行う場合の自由度が高い。そのためユーザー自身が撮影した画像を、高画質のまま好みの画像に自由に調整可能といった特徴がある。
【0042】
90はRAWデータ形式の画像ファイルで、ヘッダー91から始まり撮影で使用したカメラ機種情報92、Exif形式のタグ形式に則って各種情報を記録可能な画像付加情報93、RAWデータを現像するためのホワイトバランス値、γ値等の現像用パラメータ94、サムネイルデータ95、RAWデータ96で構成されている。また画像付加情報93内には撮像素子6上のどの位置に焦点検出用画素が配置されているかの焦点検出用画素位置情報93aが記録されている。
【0043】
96aはRAWデータ内の一例で、フィールドFLD(15,25)内の右下隅の焦点検出用画素を有する領域を示しており、各画素毎の出力データが記録されている。データは焦点ずれ量データ85aと同様に撮像面の左上の画素データから記録を開始し、右下の画素データまでを記録して終了している。RAWデータ96aは、詳しくはフィールドFLD(15,25)内の右下隅の所定領域内の1行目と2行目を示している。1行目では、画素(1491,2491)は撮像用R画素でRデータ、画素(1491,2492)は撮像用G画素でGデータ、画素(1491,2493)は撮像用R画素でRデータ、画素(1491,2494)は撮像用G画素でGデータ、画素(1491,2495)は撮像用R画素でRデータ、画素(1491,2496)は撮像用G画素でGデータ、画素(1491,2497)は撮像用R画素でRデータ、画素(1491,2498)は撮像用G画素でGデータ、画素(1491,2499)は焦点検出用SHA画素でSHAデータ、画素(1491,2500)は撮像用G画素でGデータが記録されている。2行目は画素(1492,2491)は撮像用G画素でGデータ、画素(1492,2492)は撮像用B画素でBデータ、画素(1492,2493)は撮像用G画素でGデータ、画素(1492,2494)は撮像用B画素でBデータ、画素(1492,2495)は撮像用G画素でGデータ、画素(1492,2496)は撮像用B画素でBデータ、画素(1492,2497)は撮像用G画素でGデータ、画素(1492,2498)は撮像用B画素でBデータ、画素(1492,2499)は撮像用G画素でGデータ、画素(1492,2500)は焦点検出用SHB画素でSHBデータが記録されている。このように全画素のデータ記録順は水平方向の画素から記録し、その水平方向の行が終了すると垂直方向次の行の画素を記録している。
【0044】
続いて本実施形態のデジタル一眼レフカメラの動作を、図6〜図10の制御フローを用いて説明する。図6はデジタル一眼レフカメラの基本動作を示すメインフローである。
【0045】
S101では、ユーザーが電源ボタン34を操作してカメラの電源をONする。電源がONされるとMPU20はカメラ内の各アクチュエータや撮像素子6の動作確認を行う。そしてメモリ内容や実行プログラムの初期化状態を検出すると共に、撮影準備動作を実行する。
【0046】
S102では、ユーザが各種ボタンを操作してカメラの各種設定を行う。例えば、モードボタン31を操作して撮影モードを選択したり、電子ダイヤル32を操作してシャッタースピードや絞り、撮影画像の記録画質の設定を行ったりする。
【0047】
S103では、マルチコントローラ33によりライブビューモードが設定されているか否かの判定を行い、ライブビューモードに設定されていればライブビューモードルーチンのS111へ進み、設定されていなければ通常モードルーチンのS104へ進む。
【0048】
まず通常モード(ユーザーがファインダーを覗いて撮影する一眼レフカメラの通常使用モード)の動作ルーチンを説明する。S104では、レリーズボタン30が半押しされてSW1がONされたか否かの判定を行い、ONされていればS105へ進み、ONされていなければONされるまで待機する。
【0049】
S105では、専用のAFセンサ8を用いたAF動作を行なう。S106では、AEセンサ13を用いたAE動作を行なう。S107では、ファインダー内に合焦した焦点検出点が何処かを不図示の表示装置で表示する。
【0050】
S108では、レリーズボタン30が全押しされてSW2がONされたか否かの判定を行い、ONされていればS109へ進み、ONされていなければONされるまで待機する。S109では、通常撮影ルーチンを実行する。
【0051】
図7は通常撮影ルーチンのフローである。S131では、モータ駆動回路26により不図示のミラー駆動用モータを制御し、主ミラー4とサブミラー7を撮影光路から退避(ミラーアップ)させる(図1(b)の状態となる)。
【0052】
S132では、AE結果により演算された撮影露出に従って、レンズ制御回路23により撮影レンズ3内の不図示の絞りを駆動する。S133では、シャッター駆動回路27によりシャッター5を開閉する。S134では、メモリコントローラ21により撮像素子6で受光された画像信号を読み込んでSDRAM43に一時記録する。この一時記録されたデータが撮像データである。
【0053】
S135では、メモリコントローラ21がSDRAM43から読み出した画像信号の欠損画素補間を行なう。何故ならば、焦点検出用画素の出力は撮像のためのRGBカラー情報を有しておらず、画像を得る上では欠陥画素に相当するため、周囲の撮像用画素の情報から補間により画像信号を生成するからである。生成した画像信号と元の画像信号から欠陥画素補間画像を作成し、SDRAM43に一時記録しておく。
【0054】
S136では、メモリコントローラ21で欠陥画素補間画像からサムネイル画像を作成し、SDRAM43に一時記録する。S137では、撮影画像の記録画質がJPEGまたはRAWのどちらに選択されているかを判定し、JPEGが選択されている場合はS138へ進み、RAWが選択されている場合はS140へ進む。
【0055】
S138では、SDRAM43に一時記録された画像信号から、メモリコントローラ21により各焦点検出用画素を読み出し、MPU20により所定の処理を行い、各フィールド毎の焦点ずれ量を演算し、SDRAM43に一時記録する。ここで図3で説明したように焦点ずれ量のデータ数は1350個分となる。
【0056】
S139では、欠損画素補間画像に対して画像処理回路44でホワイトバランス補正、γ補正、エッジ強調等の画像処理を行ない、画像圧縮/伸張回路45でJPEG形式に従って圧縮し、メモリコントローラ21により画像圧縮データ部69に記録する。またサムネイル画像を1st IFD77に、焦点ずれ量データ85aをデータ記録領域85に記録する。更にはカメラの各種設定(シャッタースピード、絞り、レンズ焦点距離等)をExifルールに則り記録することにより、画像および各種データをJPEGファイル化する。
【0057】
S140では、メモリコントローラ21によりSDRAM43に一時記録されている画像信号をRAWデータ96に96aのように記録する。また焦点検出用画素位置情報93a、カメラの各種設定(シャッタースピード、絞り、レンズ焦点距離等)等をExifルールに則り画像付加情報93に、サムネイル画像をサムネイルデータ95に記録することにより画像および各種データをRAWファイル化する。S141では、JPEGファイルまたはRAWファイルとなった画像ファイルをメディア48に記録する。
【0058】
S142では、モータ駆動回路26により不図示のミラー駆動用モータを制御し、撮影光路から退避している主ミラー4とサブミラー7を、撮影光束をファインダーへと反射し導く観察位置へ駆動(ミラーダウン)する(図1(a)の状態となる)。S143では、モータ駆動回路26により不図示のチャージ用モータを通電制御し、シャッター5をチャージする。そして図6のメインルーチン内のS110にリターンする。
【0059】
S110では、ユーザーが電源ボタン34を操作して、カメラの電源がOFFされたか否かを判断し、OFFされていなければS102へ進み次の撮影に備え、OFFされていれば一連のカメラ動作を終了する。
【0060】
続いてライブビューモード(ユーザーがライブビューを使用して撮影するモード)の動作ルーチンを説明する。S111では、ライブビュー表示ルーチンを実行する。
【0061】
図8はライブビュー表示ルーチンのフローである。S161では、モータ駆動回路26により不図示のミラー駆動用モータを制御し、主ミラー4とサブミラー7を撮影光路から退避(ミラーアップ)させる。S162では、シャッター駆動回路27によりシャッター5を開放状態にする(図1(b)の状態となる)。S163では、メモリコントローラ21により撮像素子6で受光された動画像の読み込みを開始する。
【0062】
S164では、読み出した動画像を液晶モニタ14に表示する。ユーザーはこのライブビュー画像を目視して撮影時の構図決定を行なう。そして図6のメインルーチン内のS112にリターンする。
【0063】
S112では、撮像領域内に顔が存在するか認識処理(顔検知)を行う。S113では、ライブビュー画像に重ねてAF枠を灰色で表示する。ここでS112において、撮像領域内に顔が存在していると認識された場合には、認識された顔領域にAF枠の表示を行なう。撮像領域内に顔が存在していないと認識された場合には、画面中央にAF枠の表示を行なう。本実施形態では図11(a)の通り、画面中央の人物の顔が顔検知によって認識され、顔領域にAF枠が表示さる。
【0064】
S114では、AF枠領域設定を行なう。AF枠領域設定は前述の通り、横ずれ検知のためにAF枠領域AFARH(1)〜(6)と、縦ずれ検知のためにAF枠領域AFARV(1)〜(6)が設定される。
【0065】
S115では、ユーザーによりマルチコントローラ33が操作されて、AF枠が移動されたか否かの判定を行い、移動されていればS114へ進み、移動されていなければS116へ進む。ここでのAF枠移動は例えば、顔認識がされずAF枠が画面中央に表示されたのに対して、ユーザーが画面中央以外の被写体にピントを合わせたい場合などが考えられる。
【0066】
S116では、レリーズボタン30が半押しされてSW1がONされたか否かの判定を行い、ONされていればS117へ進み、ONされていなければ構図が変更された可能性を考慮してS112へ進む。
【0067】
S117では、メモリコントローラ21により撮像素子6からAF枠領域に設定されているフィールドに含まれる各焦点検出用画素を読み出し、MPU20により所定の処理を行い、AF枠内の焦点ずれ量を決定する。本実施形態においては、まずは図3に示したAFSIGH(A3)とAFSIGH(B3)、又はAFSIGV(C5)とAFSIGV(D5)等の2像の信号を生成し、それら2像の相関演算を行い、2像の相対的な位置ずれ量を演算する。次に相関演算結果の信頼性を判定し、信頼性の高い検出結果から焦点ずれ量を演算する。そして焦点ずれ量をレンズ制御回路23へ送出して、撮影レンズ3内の不図示のフォーカスレンズ群の合焦駆動を行なう。
【0068】
ここでは、AF枠領域に設定されていないフィールドについては、それらの焦点ずれ量を演算していない。これは相関演算がMPU20で行なう処理の中では比較的時間が掛かるためで、この時点で焦点ずれ量そのものが不必要なAF枠外のフィールドについては、データ処理を行なわないことで僅かでもMPU20の処理時間を短くするためである。もちろんMPU20の処理能力に余裕があれば、全フィールドにおける焦点ずれ量を演算して一時記録しておき、AF枠が移動された場合に素早く合焦駆動出来るようにしても構わない。
【0069】
S118では、AF枠の色を灰色から緑色に変更してAF枠内が合焦したことをユーザーに知らせる。S119では、レリーズボタン30が全押しされてSW2がONされたか否かの判定を行い、ONされていればS120へ進み、ONされていなければONされるまで待機する。S120では、ライブビュー撮影ルーチンを実行する。
【0070】
図9はライブビュー撮影ルーチンのフローである。S181では、メモリコントローラ21により撮像素子6から画像信号を読み込み、合焦している主被写体及びその周りの測光情報を得る、所謂、撮像面AE動作を行なう。S182では、撮像面AE結果により演算された撮影露出に従って、レンズ制御回路23により撮影レンズ3内の不図示の絞りを駆動する。
【0071】
S183では、メモリコントローラ21により撮像素子6に受光されている画像信号をリセットして撮像素子6の受光状態を初期状態、即ち何も撮像されていない状態に戻す。S184では、再びメモリコントローラ21により撮像素子6の受光を行い、画像信号を読み込んでSDRAM43に一時記録する。
【0072】
S185では、メモリコントローラ21で読み出した画像信号の欠損画素補間を行なう。何故ならば、焦点検出用画素の出力は撮像のためのRGBカラー情報を有しておらず、画像を得る上では欠陥画素に相当するため、周囲の撮像用画素の情報から補間により画像信号を生成するからである。生成した画像信号と元の画像信号から欠陥画素補間画像を作成し、SDRAM43に一時記録しておく。
【0073】
S186では、メモリコントローラ21で欠陥画素補間画像からサムネイル画像を作成し、SDRAM43に一時記録する。S187では、撮影画像の記録画質がJPEGまたはRAWのどちらに選択されているかを判定し、JPEGが選択されている場合はS188へ進み、RAWが選択されている場合はS190へ進む。
【0074】
S188では、SDRAM43に一時記録された画像信号から、メモリコントローラ21により各焦点検出用画素を読み出し、MPU20により所定の処理を行い、各フィールド毎の焦点ずれ量を演算し、SDRAM43に一時記録する。ここで図3で説明したように焦点ずれ量のデータ数は1350個分となる。
【0075】
S189では、欠損画素補間画像に対して画像処理回路44でホワイトバランス補正、γ補正、エッジ強調等の画像処理を行ない、画像圧縮/伸張回路45でJPEG形式に従って圧縮し、メモリコントローラ21により画像圧縮データ部69に記録する。またサムネイル画像を1st IFD77に、焦点ずれ量データをデータ記録領域85に85aのように記録する。更にはカメラの各種設定(シャッタースピード、絞り、レンズ焦点距離等)等をExifルールに則り記録することにより、画像および各種データをJPEGファイル化する。
【0076】
S190では、メモリコントローラ21によりSDRAM43に一時記録されている画像信号をRAWデータ96に96aのように記録する。またカメラの各種設定(シャッタースピード、絞り、レンズ焦点距離等)等をExifルールに則り画像付加情報93に、サムネイル画像をサムネイルデータ95に記録することにより画像および各種データをRAWファイル化する。
【0077】
S191では、JPEGファイルまたはRAWファイルとなった画像ファイルをメディア48に記録する。S192では、シャッター駆動回路27によりシャッター5を閉じる。S193では、モータ駆動回路26により不図示のミラー駆動用モータを制御し、主ミラー4とサブミラー7をミラーダウンする(図1(a)の状態となる)。S194では、モータ駆動回路26により不図示のチャージ用モータを通電制御し、シャッター5をチャージする。そして図6のメインルーチン内のS110にリターンする。
【0078】
図10は画像再生動作を示すフローチャートである。S201では、再生ボタン35がONされてカメラは撮影モードから再生モードに切り替る。本実施形態においては、図3相当の画像がJPEGファイル60でメディア48に記録されているとする。
【0079】
S202では、メディア48に記録された画像ファイルの中から、再生しようとするJPEGファイル60に対して、メモリコントローラ21により各フィールド毎の焦点ずれ量データ85aを読み出しSDRAM43に一時記録する。S203では、読み出した各フィールド毎の焦点ずれ量データ85aを判定閾値と比較して合焦状態を判定する。具体的には、閾値未満の焦点ずれ量があれば画像は合焦していると判定しS204へ進み、閾値未満の焦点ずれ量がなければ画像は合焦していない(非合焦)と判定しS208へ進む。
【0080】
S204では、JPEGファイル60の画像圧縮データ69から主画像を読み出し、液晶モニタ14に再生表示する。S205では、S203で判定された焦点ずれ量が閾値未満の領域を合焦領域枠として画像に重ねて表示する。これによりユーザーは画像の合焦領域を確認することができる。この状態が図11(a)である。
【0081】
S206では、電子ダイヤル32やマルチコントローラ33の操作により、別の画像ファイルの再生が選択されたか否かの判定を行い、選択されればS202へ進み、選択されなければS207へ進む。
【0082】
S207では、再生モードで使用しない操作ボタン(例えばレリーズボタン30や電源ボタン34等)が操作されたか否かを判定し、操作されれば再生モードを終了し、操作されなければS206へ進む。
【0083】
S208では、JPEGファイル60の画像圧縮データ69から主画像を読み出し、液晶モニタ14に再生表示する。S209では、表示した画像には焦点ずれ量が閾値未満の領域がなく非合焦であるため、警告表示を画像に重ねて表示する。これによりユーザーは画像が非合焦であることを確認することができる。この状態が図11(b)である。
【0084】
以上説明したように、本実施形態によれば、画像再生表示時に画像ファイルに記録されている撮影された瞬間の焦点ずれ量を利用して画像の合焦判定を行うことにより、ユーザーは再生表示された画像が合焦しているか否かを簡単に確認することができる。
【0085】
本実施形態においては、画像撮影および撮影時の撮像面位相差AFデータの画像ファイル内への記録をデジタル一眼レフカメラで行なったが、デジタルコンパクトカメラ、デジタルビデオカメラ、各種検査デジタルカメラ、監視デジタルカメラ、内視鏡デジタルカメラ、ロボット用デジタルカメラ等、撮像素子による位相差AFが可能な撮像装置に適用可能である。また撮像面位相差AFデータの読み出し制御および表示は、撮影したデジタル一眼レフカメラで行なった。しかし、画像を表示可能な装置(例えばパソコン、メディアスロットと液晶モニタを有するプリンター等)に組み込まれた画像ファイル処理ソフトで制御および表示しても構わない。
【0086】
更に合焦判定に用いた撮像面位相差AFデータは各フィールドにおける焦点ずれ量としたが、焦点ずれ量に限定するものではなく、撮影レンズ3の情報と焦点ずれ量から演算されるカメラから被写体までの距離等の測距データとしてもよい。また再生表示する画像ファイルを前記の通りJPEGファイルとして説明したので、各フィールド毎の焦点ずれ量を読み出し、判定閾値と比較して合焦判定している。しかし、RAWファイルの場合ならば、各焦点検出用画素の生データを読み出し判定閾値と比較して合焦判定しても構わない。また合焦判定の結果、非合焦の場合は“非合焦”の文字を画像に重ねて表示して警告表示を行ったが、ユーザーが画像が非合焦であることを分かればどのような警告表示でも構わない。
【0087】
(第2の実施形態)
以下、本発明の第2の実施形態を図面を参照しながら説明する。基本構成は第1の実施形態と同一であるため説明を割愛し、異なる部分を説明する。
【0088】
図12はデジタル一眼レフカメラにおけるスライドショー時のフローである。S221では、再生ボタン35がONされてカメラは撮影モードから再生モードに切り替わる。本実施形態においては、画像がJPEGファイル60でメディア48に記録されているとする。
【0089】
S222では、モードボタン31の操作によりスライドショーモードを選択し、スライドショーを行うために必要な各種設定を行う。まずはメディア48に記録されている画像ファイルの中からスライドショーの対象画像ファイルを選択設定する。例えば記録されている全画像ファイルや撮影日付によって選択したり、画像ファイルを液晶モニタ14にサムネイル表示してその中から1枚ずつ選択したりする。他には再生表示時間等の設定も行う。
【0090】
S223では、再生表示枚数maxに選択された画像ファイルのファイル数を代入する。S224では、合焦判定するための焦点ずれ量の閾値を入力する。ここではユーザーが10cmと設定したとする。S225では、スライドショーを行うための全ての設定が終了したら、スライドショーが開始される。
【0091】
S226では、再生表示カウンタnに1を代入する。S227では、再生しようとする画像ファイルに対して、顔検知を行い画像内に顔が存在しているか否かを判定し、顔が存在していると認識された場合はS228へ進み、顔が存在していないと認識された場合はS229へ進む。
【0092】
S228では、メモリコントローラ21により、顔と認識された領域における各フィールド毎の焦点ずれ量データ85aを読み出しSDRAM43に一時記録する。S229では、メモリコントローラ21により再生しようとするJPEGファイル60の0th IFD75に記録された撮影時の測距領域を読み出し、その領域における各フィールド毎の焦点ずれ量データ85aを読み出しSDRAM43に一時記録する。ここで測距領域とは、撮影レンズ3の合焦動作に用いた測距データが、撮像素子6の撮像面位相差AFを使用した場合は焦点ずれ量を求めたAF枠を示し、AFセンサ8を使用した場合はファインダー内に合焦表示した焦点検出点(測距点)のことを示す。
【0093】
S230では、読み出した各フィールド毎の焦点ずれ量データ85aを設定した判定閾値と比較し、閾値未満の焦点ずれ量があれば画像は合焦していると判定しS231へ進む。また、閾値未満の焦点ずれ量がなければ画像は合焦していない(非合焦)と判定しS232へ進む。
【0094】
S231では、画像は焦点ずれ量が10cm以下の合焦画像と判定され、JPEGファイル60の画像圧縮データ69から主画像を読み出し、液晶モニタ14に再生表示する。S232では、画像ファイルを設定した所定時間再生表示したら、再生表示カウンタnを+1カウントアップする。
【0095】
S233では、再生表示カウンタnが再生表示枚数maxになったか否かの判定を行い、再生表示枚数maxになっていればS234へ進み、再生表示枚数maxになっていなければS227へ進み、引き続きスライドショーを行う。
【0096】
S234では、スライドショーを終了するか否かを液晶モニタ14に表示し、ユーザーが終了を選択した場合はスライドショーを終了し、終了を選択しない場合はS222へ進み新たなスライドショーの設定を行う。
【0097】
以上説明したように、本実施形態によれば、スライドショーによる画像再生表示時に画像ファイル内に記録されている撮影された瞬間の焦点ずれ量を利用して画像の合焦判定を行う。これにより、非合焦の画像をスキップして再生表示できるため、ユーザーにとって無駄な再生動作を省くことができる。
【0098】
本実施形態においては、スライドショーを画像を撮影したデジタル一眼レフカメラで行なった。しかし、デジタルコンパクトカメラ、デジタルビデオカメラ等や、画像を表示可能な装置(例えばパソコン、メディアスロットと液晶モニタを有するプリンター等)に組み込まれた画像ファイル処理ソフトで行っても構わない。
【0099】
また合焦判定に用いた撮像面位相差AFデータは各フィールドにおける焦点ずれ量としたが、焦点ずれ量に限定するものではなく、撮影レンズ3の情報と焦点ずれ量から演算されるカメラから被写体までの距離等の測距データとしてもよい。またスライドショーにより画像再生表示する画像ファイルを前記の通りJPEGファイルとして説明しているが、RAWファイルとして各焦点検出用画素の生データを読み出し判定閾値と比較して合焦判定しても構わない。
【0100】
更に合焦判定に用いる閾値をユーザーが設定可能としたことで、個々のユーザーにとってベストな合焦判定が実現できる。またスライドショーの再生表示時間が短くても対応できるように、合焦判定領域を顔検知領域やAF枠や測距点に対応した測距領域に限定することで、合焦判定に掛かる演算時間が短くできる。もちろん演算処理能力に余裕がある場合は撮像領域全体で合焦判定しても構わない。
【0101】
(第3の実施形態)
以下、本発明の第3の実施形態を図面を参照しながら説明する。図13は不図示の画像処理装置(本実施形態においてはパソコンとパソコンに接続されたプリンターとする)の画像処理ソフトの基本動作を示すメインフローである。図14はパソコンのディスプレイ301に画像処理ソフト302を表示している状態を示している。ここでパソコンのメモリはSDRAM43と同一機能である。また同様にMPU20、メモリコントローラ21の機能はパソコンのCPUが行なう。
【0102】
S351では、パソコンにインストールされた画像処理ソフト302を起動する。図14のディスプレイ301に画像処理ソフト302が表示される。S352では、パソコンのHDD内やパソコンのメディアスロットに挿入されたメディア48内に記録されているJPEGファイル60の1st IFD77からサムネイルデータを読み出し、図14のサムネイル画像304として一覧表示する。
【0103】
S353では、サムネイル画像304の中から各種処理を行いたい画像を選択する。例えばパソコンのマウスを操作して、ポインタ305を選択したいサムネイル画像304の上に移動し、ダブルクリックする。図14では、サムネイル画像304の左端(IMG_0001)が選択されている。
【0104】
S354では、選択されたJPEGファイル60の画像圧縮データ69から主画像303を読み出し、パソコンのディスプレイ301に再生表示する。S355では、選択されたJPEGファイル60の0th IFD75、Exif IFD76から画像付加情報を読み出し、付加情報領域307に表示する。
【0105】
S356では、主画像303の上に測距枠306を表示する。測距枠306の位置およびサイズは、画像を撮影した際にレンズが合焦動作を行なうために使用したAF枠に従う。ここでは第1の実施形態の図3のライブビューモードで撮影されたとして、図3で設定されたAF枠の位置とサイズで表示している。またこのAF枠の情報は、画像付加情報に記録されている。
【0106】
S357では、測距枠306内にある各フィールド毎の焦点ずれ量データ85aをJPEGファイル60から読み出し、メモリに一時記録する。S358では、読み出された焦点ずれ量データ85aに対してCPUにより所定の処理を行い、AF枠306内の焦点ずれ量308を演算する。
【0107】
S359では、演算された焦点ずれ量308を表示する。図14では、焦点ずれ量が“0mm”と表示されている。S360では、主画像303に対して各種画像処理を実施する。画像処理は画像処理メニューボタン309をオンすると不図示のメニュー画面が表示され、その中からユーザーの意図に合ったメニューを選択して実施する。
【0108】
S361では、画像処理ソフト302のファイル印刷ボタン310の上にポインタ305を移動してダブルクリックし、ファイル印刷ボタン310をオンする。S362では、まずはメディア48に記録されている画像ファイルの中から印刷する画像ファイルを選択する。例えば記録されている全画像ファイルや撮影日付によって選択したり、サムネイル画像304の中から1枚ずつ選択したりする。
【0109】
S363では、印刷枚数maxに選択された画像ファイルのファイル数を代入する。S364では、画像処理ソフト302の合焦判定閾値311の上にポインタ305を移動してダブルクリックし、パソコンのキーボードで合焦判定するための焦点ずれ量の閾値を入力する。ここではユーザーが10cmと設定したとする。
【0110】
S365では、印刷を行うための全ての設定が終了したら、印刷が開始される。S366では、印刷カウンタnに1を代入する。S367では、印刷しようとする画像ファイルに対して、顔検知を行い画像内に顔が存在しているか否かを判定し、顔が存在していると認識された場合はS368へ進み、顔が存在していないと認識された場合はS369へ進む。
【0111】
S368では、CPUにより、顔と認識された領域における各フィールド毎の焦点ずれ量データ85aを読み出し、メモリに一時記録する。S369では、CPUにより印刷しようとするJPEGファイル60の0th IFD75に記録された撮影時の測距領域を読み出し、その領域における各フィールド毎の焦点ずれ量データ85aを読み出し、メモリに一時記録する。ここで測距領域とは、撮影レンズ3の合焦動作に用いた測距データが、撮像素子6の撮像面位相差AFを使用している場合は焦点ずれ量を求めたAF枠を示し、AFセンサ8を使用している場合はファインダー内に合焦表示した焦点検出点(測距点)のことを示す。
【0112】
S370では、読み出した各フィールド毎の焦点ずれ量データ85aを、設定した判定閾値と比較し、閾値未満の焦点ずれ量があれば画像は合焦していると判定しS371へ進む。また、閾値未満の焦点ずれ量がなければ画像は合焦していない(非合焦)と判定しS372へ進む。
【0113】
S371では、画像は焦点ずれ量が10cm以下の合焦画像と判定され、JPEGファイル60の画像圧縮データ69から主画像303を読み出し、接続されているプリンターにデータを転送し画像を印刷する。S372では、画像のデータ転送が終了したら、印刷カウンタnを+1カウントアップする。
【0114】
S373では、印刷カウンタnが印刷枚数maxになったか否かの判定を行い、印刷枚数maxになっていればS374へ進み、印刷枚数maxになっていなければS367へ進み、引き続き印刷を行う。
【0115】
S374では、S362で選択された印刷予定の画像ファイルの内、実際には何枚の画像が印刷され、何枚の画像が非合焦判定で印刷されなかったのか、結果をディスプレイ301に表示する。S375では、終了ボタン312が操作されたか否かを判定し、操作されれば画像処理ソフト302を終了し、操作されなければS352へ進み、引き続き別の画像処理を行なう。
【0116】
以上説明したように、本実施形態によれば、画像印刷時に画像ファイル内に記録されている撮影された瞬間の焦点ずれ量を利用して画像の合焦判定を行うことにより、非合焦の画像をスキップして印刷できる。そのため、ユーザーにとって印刷の無駄を省くことができる。
【0117】
本実施形態においては、印刷をパソコンとパソコンに接続されたプリンターおよびパソコンに組み込まれた画像処理ソフトで行なったが、画像を撮影したデジタル一眼レフカメラや、デジタルコンパクトカメラ、デジタルビデオカメラ等と接続されたプリンターでも構わないし、メディアスロットと液晶モニタを有するプリンターで行っても構わない。
【0118】
また合焦判定に用いた撮像面位相差AFデータは各フィールドにおける焦点ずれ量としたが、焦点ずれ量に限定するものではなく、撮影レンズ3の情報と焦点ずれ量から演算されるカメラから被写体までの距離等の測距データとしてもよい。また画像印刷する画像ファイルをJPEGファイルとして説明しているが、RAWファイルとして各焦点検出用画素の生データを読み出し判定閾値と比較して合焦判定しても構わない。もしくは画像処理ソフトにより生データから各フィールドにおける焦点ずれ量を演算してから合焦判定しても構わない。
【0119】
更に合焦判定に用いる閾値をユーザーが設定可能としたことで、個々のユーザーにとってベストな合焦判定が実現できる。また合焦判定領域を顔検知領域やAF枠や測距点に対応した測距領域に限定することで、合焦判定に掛かる演算時間を短くし、印刷時間も短縮できる。もちろん演算処理能力に余裕がある場合は撮像領域全体で合焦判定しても構わない。
【0120】
なお、上記の各実施形態に記載された構成要素の配置や数値等は例示的なものであり、本発明の範囲をそれらのみに限定する趣旨のものではない。
【0121】
(他の実施形態)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項1】
撮影レンズの射出瞳の全域を通る光を受光する複数の撮像用画素と、前記撮影レンズの射出瞳の一部の領域を通る光を受光する複数の焦点検出用画素とを有する撮像素子と、
前記撮像用画素から出力された信号に基づいて生成された画像データと、前記焦点検出用画素から出力された信号に基づいて生成された焦点検出情報とを記憶する記憶手段と、
前記記憶手段に記憶されている前記焦点検出情報に基づいて、前記記憶手段に記憶されている、前記焦点検出情報に対応する前記画像データの合焦状態を判定する判定手段と、
を備えることを特徴とする撮像装置。
【請求項2】
前記記憶手段に記憶されている前記画像データを表示装置に表示する場合に、前記判定手段により焦点が合っていないと判定された前記画像データについては、該画像データとともに、該画像データが焦点が合っていない画像データである旨を表示することを特徴とする請求項1に記載の撮像装置。
【請求項3】
前記記憶手段に記憶されている前記画像データを表示装置に表示する場合に、前記判定手段により焦点が合っていないと判定された前記画像データについては、該画像データを前記表示装置に表示しないことを特徴とする請求項1に記載の撮像装置。
【請求項4】
前記記憶手段に記憶されている前記画像データを印刷装置で印刷する場合に、前記判定手段により焦点が合っていないと判定された前記画像データについては、該画像データを前記印刷装置で印刷しないことを特徴とする請求項1ないし3のいずれか1項に記載の撮像装置。
【請求項5】
前記判定手段は、前記記憶手段に記憶されている前記焦点検出情報に基づく焦点ずれ量が予め設定した閾値を超えている場合に、前記画像データが焦点が合っていないと判定することを特徴とする請求項1ないし4のいずれか1項に記載の撮像装置。
【請求項6】
前記閾値をユーザが設定可能であることを特徴とする請求項5に記載の撮像装置。
【請求項7】
撮影レンズの射出瞳の全域を通る光を受光する複数の撮像用画素と、前記撮影レンズの射出瞳の一部の領域を通る光を受光する複数の焦点検出用画素とを有する撮像素子を備える撮像装置を制御する方法であって、
前記撮像用画素から出力された信号に基づいて生成された画像データと、前記焦点検出用画素から出力された信号に基づいて生成された焦点検出情報とを記憶手段に記憶する記憶工程と、
前記記憶手段に記憶されている前記焦点検出情報に基づいて、前記記憶手段に記憶されている、前記焦点検出情報に対応する前記画像データの合焦状態を判定する判定工程と、
を備えることを特徴とする撮像装置の制御方法。
【請求項8】
請求項7に記載の制御方法をコンピュータに実行させるためのプログラム。
【請求項1】
撮影レンズの射出瞳の全域を通る光を受光する複数の撮像用画素と、前記撮影レンズの射出瞳の一部の領域を通る光を受光する複数の焦点検出用画素とを有する撮像素子と、
前記撮像用画素から出力された信号に基づいて生成された画像データと、前記焦点検出用画素から出力された信号に基づいて生成された焦点検出情報とを記憶する記憶手段と、
前記記憶手段に記憶されている前記焦点検出情報に基づいて、前記記憶手段に記憶されている、前記焦点検出情報に対応する前記画像データの合焦状態を判定する判定手段と、
を備えることを特徴とする撮像装置。
【請求項2】
前記記憶手段に記憶されている前記画像データを表示装置に表示する場合に、前記判定手段により焦点が合っていないと判定された前記画像データについては、該画像データとともに、該画像データが焦点が合っていない画像データである旨を表示することを特徴とする請求項1に記載の撮像装置。
【請求項3】
前記記憶手段に記憶されている前記画像データを表示装置に表示する場合に、前記判定手段により焦点が合っていないと判定された前記画像データについては、該画像データを前記表示装置に表示しないことを特徴とする請求項1に記載の撮像装置。
【請求項4】
前記記憶手段に記憶されている前記画像データを印刷装置で印刷する場合に、前記判定手段により焦点が合っていないと判定された前記画像データについては、該画像データを前記印刷装置で印刷しないことを特徴とする請求項1ないし3のいずれか1項に記載の撮像装置。
【請求項5】
前記判定手段は、前記記憶手段に記憶されている前記焦点検出情報に基づく焦点ずれ量が予め設定した閾値を超えている場合に、前記画像データが焦点が合っていないと判定することを特徴とする請求項1ないし4のいずれか1項に記載の撮像装置。
【請求項6】
前記閾値をユーザが設定可能であることを特徴とする請求項5に記載の撮像装置。
【請求項7】
撮影レンズの射出瞳の全域を通る光を受光する複数の撮像用画素と、前記撮影レンズの射出瞳の一部の領域を通る光を受光する複数の焦点検出用画素とを有する撮像素子を備える撮像装置を制御する方法であって、
前記撮像用画素から出力された信号に基づいて生成された画像データと、前記焦点検出用画素から出力された信号に基づいて生成された焦点検出情報とを記憶手段に記憶する記憶工程と、
前記記憶手段に記憶されている前記焦点検出情報に基づいて、前記記憶手段に記憶されている、前記焦点検出情報に対応する前記画像データの合焦状態を判定する判定工程と、
を備えることを特徴とする撮像装置の制御方法。
【請求項8】
請求項7に記載の制御方法をコンピュータに実行させるためのプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【公開番号】特開2011−124806(P2011−124806A)
【公開日】平成23年6月23日(2011.6.23)
【国際特許分類】
【出願番号】特願2009−280956(P2009−280956)
【出願日】平成21年12月10日(2009.12.10)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
【公開日】平成23年6月23日(2011.6.23)
【国際特許分類】
【出願日】平成21年12月10日(2009.12.10)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
[ Back to top ]