撮影装置および撮影装置の制御方法
【課題】撮影時に違和感なく自然な感じでボケ処理を行うことができる撮影装置および撮影装置の制御方法を提供する。
【解決手段】レリーズの指示に応答し、第１の絞り値（開放絞り値）において第１画像の撮影を行い（Ｓ２１、Ｓ２２）、この第１の画像の撮影終了後、撮像手段により第１の画像データを読み出すと共に第２の絞り値まで絞り動作を並行して行い（Ｓ２３）、この第２の絞り値において第２の画像の撮影を行い（Ｓ２４）、この撮影終了後、撮像手段により第２の画像データを読み出し（Ｓ２５）、第１の画像データと第２の画像データの局部ごとのコントラスト値の変化量を検出し、第１または第２画像データに対して局部ごとに変化量に応じたぼかし強度でぼかし処理を行うようにしている（Ｓ３５〜Ｓ４４）。このため、撮影時に違和感なく自然な感じでボケ処理を行うことができる。
【解決手段】レリーズの指示に応答し、第１の絞り値（開放絞り値）において第１画像の撮影を行い（Ｓ２１、Ｓ２２）、この第１の画像の撮影終了後、撮像手段により第１の画像データを読み出すと共に第２の絞り値まで絞り動作を並行して行い（Ｓ２３）、この第２の絞り値において第２の画像の撮影を行い（Ｓ２４）、この撮影終了後、撮像手段により第２の画像データを読み出し（Ｓ２５）、第１の画像データと第２の画像データの局部ごとのコントラスト値の変化量を検出し、第１または第２画像データに対して局部ごとに変化量に応じたぼかし強度でぼかし処理を行うようにしている（Ｓ３５〜Ｓ４４）。このため、撮影時に違和感なく自然な感じでボケ処理を行うことができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影装置に関し、詳しくは、ボケを強調した画像を作成する機能を備えた撮影装置および撮影装置の制御方法に関する。
【背景技術】
【０００２】
撮影画像の被写界深度は、絞り値、焦点距離等の光学的特性によって変化する。望遠レンズを用いてのスポーツモードでの撮影では、被写界深度が深いことが望ましい。しかし、ポートレート撮影では、ぼけを積極的に利用する作風がある。１３５フィルムカメラ（３５ｍｍ銀塩フィルムカメラ）では、被写界深度は絞り値や焦点距離を適宜選択することによって十分変化させることができた。しかし、近年、登場したデジタルカメラでは、撮像部の面積が小さくなったことにより、被写界深度が深くなり、従来と同じ画角で撮影しても、背景のぼけが目立たなくなっている。そこで、撮影者の意図する撮影画像となるように、画像処理によって被写界深度の浅い画像を生成するボケ処理が種々提案されている。
【０００３】
例えば、特許文献１には、絞り値を変えた２枚の画像から被写界深度の浅い画像を生成する方法が提案されている。また、特許文献２には、基準画像から被写体領域の画像データと背景領域の画像データに分離し、分離した背景領域の画像データに対してボケ処理を行った後、基準画像データにボケ処理後の背景画像データを合成することによって、背景の被写界深度が浅くなるようにしたボケ処理方法が提案されている。さらに、特許文献３には、絞り値の異なる２枚の撮影画像の高周波成分の変化量に基づいて、基準画像と基準画像をぼかした画像との画像合成の比率を変更することにより、背景をぼかすボケ処理が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−３１０５０４号公報
【特許文献２】特開２００５−２２９１９８号公報
【特許文献３】特開２００９−１７７７８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述したように被写界深度を浅くするためのボケ処理については種々提案されているが、デジタルカメラ等の撮影装置で撮影する際に、違和感なく自然な感じでボケ処理を行うことができる撮影装置は未だ提案されていない。すなわち、特許文献２に開示のボケ処理方法では、背景から主要被写体を分離する必要があるが、背景と主要被写体の境界は明確に区別できない場合が多いため、境界でのボケが不自然になりやすい。また、背景から主要被写体を分離するための複雑な処理を行わなければならず、作業時間がかかると共に、精度に難点がある。さらに、背景や主要被写体の各部分は距離によってボケ量が変化するが、この点について考慮されておらず、一律にボケ処理を行うため不自然なボケ処理となる。
【０００６】
また、特許文献１および特許文献３に開示のボケ処理方法では、２枚の画像からボケ処理を行っていることから、特許文献２のように背景から主要被写体を分離する作業が不必要となり、これに伴う不具合を解決することができる。しかし、特許文献１および特許文献３に開示のボケ処理方法では、２枚の画像を取得するにあたって連写しなければならない。撮影者にとって、１回の撮影に連写で２回のシャッタ音があると違和感があり、操作上の不安を与えてしまう。特に、可動ミラーやフォーカルプレーンシャッタ機構を有する一眼レフカメラではシャッタ音が大きいことから、この違和感が強い。
【０００７】
また、フィーリングの問題だけではなく、ボケ処理を行うために連写を行うことから、可動ミラーやシャッタの耐用回数にも問題が生じてくる。さらに、被写体は静止しているとは限らず動体の場合もあり、この場合には２枚の画像の撮影間隔は短時間であることが望ましい。しかし、従来のような可動ミラーとシャッタ機構を伴う一眼レフカメラでは、プロ機と称する高級機であっても８〜１４コマ／秒、一般普及機では２〜５コマ／秒程度の連写性能にすぎず、被写体によっては、短時間とは言い難い場合もある。
【０００８】
本発明は、このような事情を鑑みてなされたものであり、撮影時に違和感なく自然な感じでボケ処理を行うことができる撮影装置および撮影装置の制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するため第１の発明に係わる撮影装置は、撮影レンズによって形成される被写体像を光電変換し、画像データを出力する撮像手段と、上記撮影レンズの光路上に配置され、第１及び第２の絞り値で被写体光束を絞る絞り制御手段と、レリーズの指示に応答し、上記第１の絞り値において第１画像の撮影を行い、この第１の画像の撮影終了後、上記撮像手段により第１の画像データを読み出すと共に、上記絞り制御手段によって上記第２の絞り値まで絞り動作を並行して行い、上記第２の絞り値において第２の画像の撮影を行い、この撮影終了後、上記撮像手段により第２の画像データを読み出す撮影制御手段と、上記第１の画像データと上記第２の画像データの局部ごとのコントラスト値の変化量を検出し、上記第１または第２画像データに対して局部ごとに上記変化量に応じたぼかし強度でぼかし処理を行う画像処理手段と、を有する。
【００１０】
第２の発明に係わる撮影装置は、上記第１の発明において、上記撮像手段は、グローバルシャッタ機能を有する。
第３の発明に係わる撮影装置は、上記第１及び第２の発明において、上記第１の絞り値は、開放絞り値である。
【発明の効果】
【００１１】
本発明によれば、撮影時に違和感なく自然な感じでボケ処理を行うことができる撮影装置および撮影装置の制御方法を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態に係わるデジタルカメラの主として電気的構成を示すブロック図である。
【図２】本発明の一実施形態に係わるデジタルカメラのメイン動作を示すフローチャートである。
【図３】本発明の一実施形態に係わるデジタルカメラの撮影動作を示すフローチャートである。
【図４】本発明の一実施形態に係わるデジタルカメラのボケシミュレーションの動作を示すフローチャートである。
【図５】本発明の一実施形態におけるデジタルカメラにおいて、ボケ処理を説明する図である。
【図６】本発明の一実施形態におけるデジタルカメラにおいて、２枚の画像から所定絞り値でのボケ量を推定することを説明するグラフである。
【図７】本発明の一実施形態におけるデジタルカメラにおいて、ボケシミュレーションを行う位置を説明する図である。
【図８】本発明の一実施形態におけるデジタルカメラにおいて、ボケシミュレーションを行う位置の変形例１を説明する図である。
【図９】本発明の一実施形態におけるデジタルカメラにおいて、ボケシミュレーションを行う位置の変形例２を説明する図である。
【図１０】本発明の一実施形態におけるデジタルカメラにおいて、画像ファイルのデータ構造を示す図である。
【図１１】本発明の一実施形態におけるデジタルカメラにおいて、ファイル名の付け方を説明する図である。
【図１２】本発明の一実施形態におけるデジタルカメラにおいて、ライブビュー表示の際にボケ強調処理を行った画像を表示させるための液晶絞り、撮像素子、表示部の動作状態を示す図である。
【図１３】本発明の一実施形態におけるデジタルカメラにおいて、撮影動作時におけるタイミングチャートである。
【図１４】本発明の一実施形態におけるデジタルカメラにおいて、変形例１の撮影動作時におけるタイミングチャートである。
【図１５】本発明の一実施形態におけるデジタルカメラにおいて、変形例２の撮影動作時におけるタイミングチャートである。
【図１６】本発明の一実施形態におけるデジタルカメラにおいて、変形例３の撮影動作時におけるタイミングチャートである。
【図１７】本発明の一実施形態におけるデジタルカメラにおいて、変形例４の撮影動作時におけるタイミングチャートである。
【図１８】本発明の一実施形態におけるデジタルカメラにおいて、変形例５の撮影動作時におけるタイミングチャートである。
【図１９】本発明の一実施形態に係わるデジタルカメラの撮像素子における１画素分の回路構成を示す図である。
【図２０】本発明の一実施形態に係わるデジタルカメラにおいて、変形例１の撮像素子における１画素分の回路構成を示す図である。
【図２１】本発明の一実施形態に係わるデジタルカメラにおいて、変形例５の撮像素子における１画素分の回路構成を示す図である。
【発明を実施するための形態】
【００１３】
以下、図面に従って本発明を適用したカメラを用いて好ましい実施形態について説明する。本発明の好ましい実施形態に係わるカメラ１００は、デジタルカメラであり、概略、撮像部を有し、この撮像部によって被写体像を画像データに変換し、この変換された画像データに基づいて、被写体像を表示部にライブビュー表示する。撮影時には、撮影者はライブビュー表示を観察し、構図やシャッタチャンスを決定する。レリーズがなされると、撮影を行う。このとき、開放絞り値等で１コマ目の画像の画素の光電流の電荷蓄積を行い、１コマ目の電荷蓄積が終了すると続いて絞り込みを行い、この絞り込み中に１コマ目の電荷蓄積に基づく画像データの読み出しを行い、一時記憶する。画像データの読み出しが終了すると２コマ目の画像の画素の光電流の電荷蓄積を行い、電荷蓄積終了後にこの電荷蓄積に基づく画像データの読み出しを行う。この１回の撮影で取得した２つの画像データに基づいて、所望の絞り値における画像と同等のボケ処理を行い、この処理された画像データを記録媒体に記録する。記録媒体に記録したボケ処理済みの撮影画像は、再生モードを選択すると、表示部に再生表示することができる。
【００１４】
図１は、本実施形態に係わるデジタルカメラ１００の主として電気的構成を示すブロック図である。撮影レンズ１０１の光軸上に、絞り機構１０３、液晶絞り１０５および撮像素子１０７が配置されている。撮像素子１０７の出力はＡ／Ｄ変換部１０９に接続され、Ａ／Ｄ変換部１０９の出力はメモリ１１０に接続されている。メモリ１１０は画像処理部１１１とシステム制御部１１６に接続されている。システム制御部１１６には、撮像制御部１０８、液晶絞り制御部１０６、絞り制御部１０４、レンズ制御部１０２、露出制御部１１２、ＡＦ処理部１１３、フラッシュ制御部１２１、不揮発性メモリ１１８、外部メモリ１１４、表示部１１５、操作部１１７、電源制御部１２０がそれぞれ接続されている。上述の撮像制御部１０８は撮像素子１０７に接続されており、液晶絞り制御部１０６は液晶絞り１０５に接続されており、レンズ制御部１０２は撮影レンズ１０１に接続されている。また、電源制御部１２０は電源部１１９に接続されており、フラッシュ制御部１２１はフラッシュ充電部１２２とフラッシュ発光部１２３にそれぞれ接続されている。
【００１５】
撮影レンズ１０１は、被写体光束を撮像素子１０７に集光させ、被写体像を結像させるための光学系である。この撮影レンズ１０１は、システム制御部１１６からの指示に応じて動作するレンズ制御部１０２により光軸方向に移動され、焦点状態が変化する。絞り機構１０３は、撮影レンズ１０１を介して撮像素子１０７に入射する被写体光束の入射量を調節する。絞り機構１０３は、システム制御部１１６からの指示に応じて動作する絞り制御部１０４により開口量が制御される。絞り機構１０３、絞り制御部１０４およびシステム制御部１１６が、絞り制御手段としての機能を果たす。
【００１６】
液晶絞り１０５は透過状態と遮光状態に切り換え可能な液晶によって構成され、開放絞り値とＦ８の状態との２つの状態に切り換え可能である。液晶絞り１０５は、システム制御部１１６からの指示に応じて動作する液晶絞り制御部１０６に接続されており、開放状態とＦ８の状態のいずれかに制御される。この液晶絞り１０５は、図１２を用いて後述するライブビュー表示の際のボケ強調処理を行うために使用される。ライブビュー表示時のボケ強調処理を省略する場合には、液晶絞り１０５および液晶絞り制御部１０６も省略してもよい。本実施形態において、液晶絞り１０５は開放絞り値とＦ８に切り換え可能であるが、絞り値としては、これに限らず、他の絞り値であっても構わない。
【００１７】
撮像手段としての機能を有する撮像素子１０７は、前面に配置されたベイヤ―配列のカラーフィルタと、このカラーフィルタに対応して配列されたフォトダイオード等の光電変換素子から構成される。各カラーフィルタとこれに対応する各光電変換素子によって各画素が、また画素群によって撮像領域が構成される。撮像素子１０７は、撮影レンズ１０１により集光された光を各画素で受光し光電流に変換し、この光電流をコンデンサ（後述するフローティングディフュージョン）で蓄積し、アナログ電圧信号（画像信号）としてＡ／Ｄ変換部１０９に出力する。システム制御部１１６とともに、撮像制御手段としての機能を有する撮像制御部１０８は、システム制御部１１６からの指示に応じて撮像素子１０７の動作制御を行う。
【００１８】
ここで、本実施形態における撮像素子１０７は、ＣＭＯＳイメージセンサであり、グローバルシャッタ機能を有する。グローバルシャッタは全画素同時のタイミングで電荷蓄積を開始させ、全画素同時のタイミングで電荷蓄積を終了させるシャッタ動作を行う。撮像素子１０７の各画素の構成については、図１９を用いて後述する。なお、グローバルシャッタと対比されるローリングシャッタは、１〜数ラインをブロックとし、ブロック内は同時タイミングで電荷蓄積の開始と終了を行うが、ブロック間は読み出しのための時間差を有し、ブロックごとに順次、電荷蓄積動作させていくシャッタ動作を行う。
【００１９】
Ａ／Ｄ変換部１０９は、撮像素子１０７から出力されるアナログ電圧信号（画像信号）をデジタル画像信号（画像データ）に変換する。メモリ１１０は、Ａ／Ｄ変換部１０９において得られた画像データや、画像処理部１１１において処理された画像データ等、各種データを一時的に記憶する記憶部である。なお、本明細書においては、撮像素子１０７から出力される画像信号に基づく信号であれば、Ａ／Ｄ変換部１０９によってＡ／Ｄ変換された信号のみならず画像処理された信号も含めて画像データと称する。
【００２０】
画像処理手段としての機能する画像処理部１１１は、メモリ１１０に一時記憶された画像データを読み出し、この画像データに対して、ホワイトバランス補正処理、同時化処理、色変換処理等の画像処理を行う。また、画像処理部１１１は、後述する外部メモリ１１４に記録する際に画像圧縮を行い、また外部メモリ１１４から読み出した圧縮された画像データの伸張を行う。さらに、画像処理部１１１は、異なる絞り値にて撮影した２枚の撮影画像の画像データを処理し、ボケを強調する画像処理を行う。
【００２１】
露出制御部１１２はメモリ１１０に一時記憶された画像データを用いて被写体輝度（被写体を含むシーンの明るさ）を算出する。なお、専用の測光センサを用いて被写体輝度を算出するようにしても勿論かまわない。ＡＦ（Auto Focus）処理部１１３は、メモリ１１０に一時記憶された画像データから高周波成分の信号を抽出し、ＡＦ積算処理により合焦評価値を取得する。システム制御部１１６は、合焦評価値に基づいてレンズ制御部１０２を通じて、撮影レンズ１０１が合焦位置となるように駆動制御を行う。なお、ＡＦ処理部１１３は、ＴＴＬ位相差ＡＦセンサ等、専用のセンサを設け、この専用センサの出力に基づいて撮影レンズ１０１の焦点ずれ量を求めるようにしても勿論かまわない。
【００２２】
外部メモリ１１４は、例えば、カメラ本体に着脱自在に記憶媒体であり、画像処理部１１１において圧縮された画像データおよびその付随データが記録される。なお、画像データ等を記録するための記録媒体として、カメラ本体に着脱可能な外部メモリに限らず、カメラ本体に内蔵のハードディスク等の記録媒体であってもかまわない。
【００２３】
表示部１１５は、カメラ本体の背面等に配置された液晶モニタや有機ＥＬ等のディスプレイを有し、画像データに基づいてライブビュー表示を行う。また、表示部１１５は、外部メモリ１１４に記録された撮影画像の再生表示を行い、さらに露出制御値等の表示や撮影モード等設定のためのメニュー画面の表示を行う。
【００２４】
撮影制御手段として機能するシステム制御部１１６は、ＣＰＵ等を含むＡＳＩＣで構成され、撮像制御部１０８やフラッシュ制御部１２１等のカメラ１００の各種シーケンスを統括的に制御する。操作部１１７は、電源釦、レリーズ釦、各種入力キー等の操作部材である。ユーザが操作部１１７のいずれかの操作部材を操作すると、システム制御部１１６は、ユーザの操作に応じた各種シーケンスを実行する。
【００２５】
操作部１１７の内の電源釦はカメラ１００の電源のオンオフを指示するための操作部材であり、電源釦が押されるとシステム制御部１１６は電源オンとし、再度押されると電源オフとする。レリーズ釦は、１ｓｔレリーズスイッチと２ｎｄレリーズスイッチの２段スイッチを有している。レリーズ釦が半押しされると１ｓｔレリーズスイッチがオンとなり、半押しから更に押し込まれ全押しされると２ｎｄレリーズスイッチがオンとなる。１ｓｔレリーズスイッチがオンとなると、システム制御部１１６は、ＡＥ処理やＡＦ処理等撮影準備シーケンスを実行する。また２ｎｄレリーズスイッチがオンとなると、システム制御部１１６は、撮影シーケンスを実行し、撮影を行う。ユーザは表示部１１５において表示されるメニュー画面を用い、操作部１１７の入力キーを操作することにより撮影時の撮影条件等を設定することができる。
【００２６】
不揮発性メモリ１１８は、電気的に書き換え可能な不揮発性メモリであり、カメラ１００の動作に必要な各種パラメータを記憶している。また、不揮発性メモリ１１８は、システム制御部１１６において実行するプログラムも記憶している。システム制御部１１６は、不揮発性メモリ１１８に記憶されているプログラムに従い、また不揮発性メモリ１１８に記憶されているパラメータを読み込み、各種シーケンスを実行する。
【００２７】
電源部１１９は、カメラ１００の各部の動作に必要な電力を供給し、例えば、２次電池等の電源電池で構成される。電源制御部１２０は、電源部１１９を構成する電池の電源電圧や残量の検出等、電源部１１９の制御を行う。
【００２８】
フラッシュ制御部１２１は、システム制御部１１６からの指示に応じてフラッシュ充電部１２２における充電動作、およびフラッシュ発光部１２３における発光動作を制御する。フラッシュ充電部１２２は、電源部１１９の電源電圧を昇圧する昇圧回路や、ここで昇圧された電圧でエネルギを蓄積するコンデンサを有し、フラッシュ発光部１２３の発光を行うに必要なエネルギを蓄積する。フラッシュ発光部１２３は、例えば、キセノン（Ｘｅ）管等の発光管や反射傘を備えており、フラッシュ制御部１２１から発光指示を受信した際に、フラッシュ充電部１２２のコンデンサに蓄積されたエネルギを利用して発光する。
【００２９】
次に、撮像素子１０７の画素の概略構成について、図１９を用いて説明する。撮像素子１０７の１画素分の回路は、１画素を構成するフォトダイオードＰＤ、光電変換電流の蓄積部であるフローティングディフュージョンＭＥＭ、５個のトランジスタＴｒ１〜Ｔｒ５から構成される。φＲＭはリセットパルス、φＴＲは転送パルス、φＲＰＤはフォトダイオードリセットパルス、φＳＥはライン選択パルスを表わす。なお、この撮像素子１０７の画素の構成および動作については、特開２００９−１８８６５０号公報の段落［００５２］〜［００５７］、［００７９］〜［００８３］に記載されているので、詳しい説明は省略する。
【００３０】
次に、本実施形態におけるカメラ１００の動作について、図２ないし図４に示すフローチャートを用いて説明する。このフローは不揮発性メモリ１１８に記憶されているプログラムに従ってシステム制御部１１６によって実行される。図２に示すフローはメインルーチン動作である。このメインルーチンは、操作部１１７の電源釦がオンとなると実行を開始する。
【００３１】
メインルーチンの動作が開始すると、まず、ライブビュー動作を行う（Ｓ１）。ライブビュー動作では、撮像素子１０７から出力される画像信号に基づいて、画像処理部１１１によってライブビュー表示用に画像処理された画像データを表示部１１５に表示する。撮影者はこのライブビュー表示を見て、構図を決定し、シャッタタイミングを決める。
【００３２】
ライブビュー動作を行うと、次に、操作部１１７のレリーズ釦が半押しされたか、すなわち、１ｓｔレリーズスイッチがオンか否かの判定を行う（Ｓ２）。この判定の結果、１ｓｔレリーズがオンでなかった場合には、ステップＳ１に戻り、ライブビュー動作を繰り返し行う。
【００３３】
ステップＳ２における判定の結果、１ｓｔレリーズがオンとなると、すなわちレリーズ釦が半押しされると、次に、ＡＦ処理を実行する（Ｓ３）。このステップでは、システム制御部１１６は、ＡＦ処理部１１３によって得られる合焦評価値に基づいて、撮像素子１０７上に結像される被写体像が最も鮮明になるように、言い換えると合焦状態となるように、レンズ制御部１０２を介して撮影レンズ１０１の焦点状態を制御する。
【００３４】
ＡＦ処理を行うと、続いて、測光を行い（Ｓ４）、露出演算を行う（Ｓ５）。これらのステップにおいて、システム制御部１１６は、露出制御部１１２において被写体輝度の算出を実行させ、算出された被写体輝度を用いて絞り値とシャッタ速度（蓄積時間）等の露出制御値を求める。絞り値とシャッタ速度の算出にあたっては、アペックス演算により求めてもよいが、本実施形態においては、不揮発性メモリ１１８に被写体輝度に対応する絞り値とシャッタ速度のテーブルを記憶しておき、テーブル参照により、絞り値とシャッタ速度を決定する。また、この算出にあたっては、絞り機構１０３の開放絞り値と、被写体輝度で決まる所定絞り値の２つの絞り値に対して、適正な露出となるシャッタ速度を求める。
【００３５】
露出演算を行うと、次に、操作部１１７のレリーズ釦が全押しされたか、すなわち、２ｎｄレリーズがオンか否かの判定を行う（Ｓ６）。この判定の結果、２ｎｄレリーズがオンでなかった場合には、ステップＳ１に戻る。２ｎｄレリーズがオンとなるまでは、システム制御部１１６は、ステップＳ１からステップＳ５を繰り返し実行し、被写体の変化に対してＡＦ（自動焦点調節）とＡＥ（自動露出制御）を追従させる。
【００３６】
一方、ステップＳ６における判定の結果、２ｎｄレリーズがオンであった場合には、撮影を行う（Ｓ７）。このステップでは、開放絞り値における被写体像の画像データを取得し、続いて開放絞り値とは異なる絞り値における被写体像の画像データを続けて取得する。この撮影のフローの詳細については図３を用いて後述する。
【００３７】
撮影を行うと、次に、ステップＳ７において取得した画像データの画像処理を行う（Ｓ８）。この画像処理では、画像処理部１１１においてホワイトバランス補正処理等の一般的な画像処理の他、異なる絞り値において取得した２つの画像データを用いて、ボケを強調した画像を生成するボケ処理も行う。このボケを強調した画像処理の詳細については、図４に示すボケシミュレーションのフローを用いて後述する。
【００３８】
画像処理を行うと、次に、ステップＳ８において生成したボケを強調した画像を、所定時間だけ表示部１１５に表示する（Ｓ９）。ボケ強調画像の表示を行うと、システム制御部１１６は、画像処理部１１１において得られたボケを強調した画像データを画像圧縮し、この画像データを外部メモリ１１４に記録させる（Ｓ１０）。画像記録を行うと、ステップＳ１に戻る。なお、操作部１１７の電源釦が再度操作されると、メインルーチンの処理を終了する。
【００３９】
次に、ステップＳ７における撮影のサブルーチンの詳細について、図３に示すフローチャートを用いて説明する。このサブルーチンもシステム制御部１１６によって実行される。この撮影動作中は、液晶絞り１０５は透過状態であり、露出制御には何ら関与しない。撮影のサブルーチンに入ると、まず、絞りを開放する（Ｓ２１）。ここでは、システム制御部１１６は、絞り制御部１０４により絞り機構１０３を開放状態にさせる。
【００４０】
続いて、絞り開放状態で撮像制御部１０８により撮像素子１０７の蓄積動作１を行う（Ｓ２２）。蓄積動作１では、撮像素子１０７の各画素の光電流を蓄積部（フローティングディフュージョンＭＥＭ）において電荷蓄積する。この蓄積時間は、ステップＳ５における露出演算において絞り開放の条件で適正露出となるように算出された蓄積時間（シャッタ速度）が採用される。本実施形態は、いわゆるメカシャッタを備えておらず、メカシャッタが果たす露光時間の制御は、撮像素子１０７の蓄積動作の時間制御によって行われる。
【００４１】
蓄積動作１が終わると、次に、撮像データ１の読み出しを行うとともに、絞り込みを行う（Ｓ２３）。このステップでは、蓄積動作１の間に撮像素子１０７において蓄積された画像信号を読み出し、Ａ／Ｄ変換部１０９によってＡ／Ｄ変換し、この画像データ（撮像データ１）をメモリ１１０に一時記憶する。また、この読み出し動作と並行して、ステップＳ５において算出された所定絞り値となるように、絞り制御部１０４が絞り機構１０３の絞り込み動作を行う。
【００４２】
撮像データ１の読み出しと絞り機構１０３の絞り込みを行うと、次に、撮像制御部１０８により蓄積動作２を行う（Ｓ２４）。この蓄積動作２における蓄積時間は、ステップＳ５における露出演算において上記所定絞り値において適正露出となるように算出された蓄積時間（シャッタ速度）が採用される。
【００４３】
蓄積動作２が終了すると、次に、撮像データ２の読み出しを行う（Ｓ２５）。このステップでは、蓄積動作２の間に撮像素子１０７において蓄積された画像信号を読み出し、Ａ／Ｄ変換部１０９によってＡ／Ｄ変換し、この画像データ（撮像データ２）をメモリ１１０に一時記憶する。
【００４４】
撮像データ２の読み出しを開始すると、次に絞りを開放状態に戻す（Ｓ２６）。このステップでは、システム制御部１１６は、絞り制御部１０４によって絞り機構１０３を開放状態に戻す。絞りを開放させると、元のフローに戻る。以上のステップを実行することにより、異なる絞りで２枚の画像の画像データを取得する撮影動作を終了する。
【００４５】
次に、図３に示した撮影のサブルーチンにおける動作を図１３に示すタイミングチャートを用いて更に詳しく説明する。撮影動作に入ると、絞り開放に先だって、まず垂直同期信号（以下、ＶＤと称す）をＬレベルにする（タイミングｔ０１）。ＶＤをＬレベルにするとフローティングディフュージョン（以下、ＦＤと称す）のリセットレベルの読み出しを開始する（タイミングｔ０２）。このＦＤは、図１９におけるフローティングディフュージョンＭＥＭに相当する。このＦＤのリセットレベルの読み出し中に絞り機構１０３を開放状態に駆動する（タイミングｔ０３〜ｔ０４）。
【００４６】
ＶＤをＬレベルにしてから所定時間、例えば５０ｍｓ（以下、「５０ｍｓ」は例示である）が経過すると、ＶＤを再びＬレベルにする（タイミングｔ０５）。その後ＶＤのＬレベルが解除されると、撮像素子１０７のフォトダイオードで発生した光電流の電荷蓄積を開始する（タイミングｔ０６）。この蓄積時間は、ステップＳ２２において説明したように、開放絞りで適正露出となる時間である。蓄積時間が経過すると（タイミングｔ０７）、ＶＤはＬレベルとなり、光電流の電荷蓄積が終了する。前述したように、本実施形態における撮像素子１０７のシャッタはグローバルシャッタであり、各画素、同時に光電流の電荷蓄積を開始し（タイミングｔ０６）、シャッタ速度に対応した時間（蓄積時間）が経過すると、各画素、同時に電荷蓄積を終了する（タイミングｔ０７）。
【００４７】
ＶＤのＬレベルが解除されると（タイミングｔ０８）、ステップＳ２３において説明した撮像データ１の読み出しを開始する。この読み出された撮像データ１からタイミングｔ０２〜ｔ０５において読み出されたＦＤのリセット信号を減算することにより、開放絞りでの画像データを得ることができる。
【００４８】
ＶＤをＬレベルにして（タイミングｔ０７）から５０ｍｓが経過すると、再びＶＤをＬレベルにし（タイミングｔ０９）、Ｌレベルを解除した時点から（タイミングｔ１０）、再びＦＤのリセット信号の読み出しを開始する。また、ステップＳ２３において説明した絞り込みを行う（タイミングｔ１１〜ｔ１２）。図１３に示す例では、Ｆ８に絞り込んでいる。
【００４９】
ＶＤをＬレベルにして（タイミングｔ０９）から５０ｍｓが経過すると、再びＶＤをＬレベルにし（タイミングｔ１３）、Ｌレベルを解除した時点から（タイミングｔ１４）、絞り込んだ状態で撮像素子１０７のフォトダイオードで発生した光電流の電荷蓄積を開始する。この蓄積時間は、ステップＳ２４において説明したように、絞り込んだ状態（図１３の例ではＦ８）で適正露出となる時間である。蓄積時間が経過すると（タイミングｔ１５）、ＶＤはＬレベルにされ、光電流の電荷蓄積が終了する。前述したように、撮像素子１０７のシャッタはグローバルシャッタであることから、各画素、同時に光電流の蓄積を開始し、同時に蓄積を終了する。
【００５０】
ＶＤのＬレベルが解除されると（タイミングｔ１６）、ステップＳ２５において説明した撮像データ２の読み出しを開始する。この読み出された撮像データ２からタイミングｔ１１〜ｔ１３において読み出されたＦＤのリセット信号を減算することにより、絞り込んだ状態での画像データを得ることができる。また、絞りを絞り込んだ状態から撮影前の絞り値に戻す（タイミングｔ１７〜ｔ１８）。そしてＶＤのＬレベル時から５０ｍｓが経過すると（タイミングｔ１９）、再びＶＤをＬレベルにし、ライブビュー表示状態に戻る。
【００５１】
このように、本実施形態においては、タイミングｔ０３〜ｔ０４において開放絞りに設定し、タイミングｔ０６〜ｔ０７において、開放絞りでの画像データを取得している。またタイミングｔ１１〜ｔ１２において所定絞り値に絞り込みを行い、タイミングｔ１４〜ｔ１５において、所定絞り値での画像データを取得している。なお、図１３においては、ライブビュー表示の際に、開放絞りよりも絞り込んだ状態にあることを想定していたが、ライブビュー表示の際に開放状態としておく場合には、タイミングｔ０３〜ｔ０４における開放絞りへの駆動を省略することができる。
【００５２】
次に、ステップＳ８の画像処理の中で処理されるボケシミュレーションの詳細な動作について、図４に示すフローチャートを用いて説明する。ステップＳ７の撮影のサブルーチンで取得した２つの画像データは、画像取得時の絞り値が異なり、画像の明るさが異なることから、両者の明るさが略同じになるように、ステップＳ３１〜Ｓ３４において明るさの補正処理を行う。
【００５３】
明るさ補正処理として、まず、開放絞り画像の平均の明るさＫｏｐｅｎの算出を行う（Ｓ３１）。ここでは、ステップＳ２３において読み出し、リセット信号を減算することによって取得した開放絞り状態における各画素の画像信号に基づく画像データを総計することによって平均的な明るさを算出する。
【００５４】
Ｋｏｐｅｎを算出すると、続いて、絞り込んだ状態（Ｆ８）における画像の平均の明るさＫＦ８の算出を行う（Ｓ３２）。ここでは、ステップＳ２５において読み出し、リセット信号を減算することによって取得した所定絞り（図示の例ではＦ８）における各画素の画像信号に基づく画像データを総計することによって平均的な明るさを算出する。
【００５５】
ＫＦ８を算出すると、次に、明るさ補正係数ＨをＫＦ８／Ｋｏｐｅｎの演算によって算出する（Ｓ３３）。ここでは、ステップＳ３２で算出したＫＦ８をステップＳ３１で算出したＫｏｐｅｎで除算することにより求める。明るさ補正係数Ｈを算出すると、次に、明るさ補正係数Ｈで開放絞り画像の明るさ補正を行う（Ｓ３４）。ここでは、開放絞り状態で取得した各画素の画像データに明るさ補正係数Ｈを乗算することにより、明るさを補正する。
【００５６】
開放絞り状態で取得した画像データに対して明るさ補正を行うと、次に、ステップＳ３５〜Ｓ４４において、所望の絞り値Ｆｎｏ．ｘにおけるボケ量ｂｘを求め、このボケ量ｂｘを用いてボケ画像を生成する。
【００５７】
まず、評価ピクセル（Ｘ，Ｙ）を決定する（Ｓ３５）。撮像素子１０７の各画素の座標は、本実施形態においては、（０，０）〜（４０００，３０００）であり、図５（ａ）に示すように、（０，０）は撮像領域の左上隅、（４０００，３０００）は撮像領域に右下隅に対応する。このステップＳ３５では、評価ピクセルの初期値として、撮像領域の原点である（０，０）から処理をスタートさせる。
【００５８】
続いて、評価ピクセル評価エリア決定を行う（Ｓ３６）。評価ピクセル評価エリアは、評価ピクセルの周囲の数ピクセルであり、このエリアをボケ量演算領域とする。この評価エリアは、ボケ量演算に適当な大きさする。評価エリアが大き過ぎると、画面上の局所的なボケ具合の把握が大雑把になりすぎ、背景と被写体の境界付近の区別が大雑把になってしまう。逆に小さすぎると、ボケ量演算の精度が不足し、また処理時間上、問題となることがある。これらのことを考慮して、本実施形態では、図５に示すように、周囲の縦横３ピクセルずつで、合計９ピクセルが評価エリアとしているが、状況に応じて適切な値とすればよい。
【００５９】
評価ピクセル評価エリアを決定すると、次に、開放絞りＦｏｐｅｎ画像の評価エリアのボケ量ｂｏｐｅｎの演算を行う（Ｓ３７）。このステップでは、開放絞り状態での画像データを用い、ステップＳ３６において決定された評価エリア内におけるコントラストを求め、これを評価エリアのボケ量ｂｏｐｅｎとする。コントラストの求め方は種々あるが、例えば、隣接画素の差分を評価エリア内で総計するようにしてもよい。
【００６０】
ボケ量ｂｏｐｅｎを算出すると、次に、Ｆ８画像の評価エリアのボケ量ｂ８の演算を行う（Ｓ３８）。このステップでは、絞りＦ８での画像データ（図５（ｂ））を用い、ステップＳ３６において決定された評価エリア内におけるコントラストをステップＳ３７と同様の方法で求め、これを評価エリアのボケ量ｂ８とする。
【００６１】
ボケ量ｂ８を算出すると、次に、開放とＦ８画像のボケ量の変化量Δｂを演算する（Ｓ３８）。ここでは、Δｂ＝（ｂ８−ｂｏｐｅｎ）、すなわち、ステップＳ３８で演算したボケ量ｂ８から、ステップＳ３７で演算したボケ量ｂｏｐｅｎを減算し、変化量Δｂを求める。
【００６２】
ボケ量の変化量Δｂを演算すると、次に、所定Ｆｎｏ．ｘのボケ量ｂｘを推定する（Ｓ４０）。図６に示すように、開放絞り（図示の例では、Ｆ２．８）と所定の絞り値（図示の例では、Ｆ８）におけるボケ量が分かると、ボケ量の傾Δｂを用いて、所定のＦｎｏ．ｘ（図６の例では、Ｆ０．７）におけるボケ量ｂｘを直線近似で推定することができる。本実施形態においては、このボケ量ｂｘを、ｂｘ＝ｂｏｐｅｎ＋｛Δｂ・（Ｆｘ−Ｆｏｐｅｎ）｝／（Ｆ８−Ｆｏｐｅｎ）の演算式を用いて求める。
【００６３】
ボケ量ｂｘを推定すると、次に、所定Ｆｎｏ．ｘの推定ボケ量ｂｘに近似するボケ関数を作成する（Ｓ４１）。ボケ関数としては、例えば、図５（ｃ）に示すような平滑フィルタを使用するが、これに限らず、推定ボケ量ｂｘに変換できる関数であればこれに限らない。ボケ関数を作成すると、次に、適用画像のピクセル（Ｘ，Ｙ）に、ボケ関数を適用する。図５（ｃ）に示す平滑フィルタでは、評価ピクセル（Ｘ，Ｙ）に対して、係数４を乗算し、評価ピクセルの周囲については係数１を乗算し、総計した後、総計数で除算する演算を行い（図５（ｃ）に示す平滑フィルタの例では、１２（４＋１×８）で除算することになる）、評価ピクセル（Ｘ，Ｙ）の値を、図５（ｄ）に示すように、演算結果に置き換える。
【００６４】
ボケ関数を適用すると、次に、評価ピクセル（Ｘ，Ｙ）の移動を行う（Ｓ４３）。評価ピクセルの初期値は、ステップＳ３５において、（０，０）が設定されており、この（０，０）の位置から初めて、最初は同じ行で右側に進み、右端まで進むと１つ下の行に移る。すなわち、本実施形態においては、（０，１）、（０，２）、（０，３）、・・・、（０，２９９９）、（０，３０００）、（１，１）、（１，２）、・・・、（３９９９，３０００）、（４０００，１）、・・・、（４０００，３０００）の順に、評価ピクセルを移動する。
【００６５】
評価ピクセルの移動を行うと、次に、全ピクセルについて処理を行ったか否かの判定を行う（Ｓ４４）。本実施形態においては、評価ピクセルとして、（４０００，３０００）について処理が終了したか否かを判定する。この判定の結果、終了していなかった場合には、ステップＳ３６に戻り、処理を繰り返す。一方、判定の結果、全ピクセルについて処理が終了した場合には、元のフローに戻り、他の画像処理を行う。
【００６６】
次に、図４に示したボケシミュレーションを行う画像データについて図７を用いて説明する。図７は画像データの処理の流れを示しており、撮像素子１０７から出力され、画像処理部１１１によって処理された１６ビットのＲＡＷ画像データ２０１は、さらに画像処理部１１１によって１６ビットのＲＧＢ画像データ２０３に処理される。このＲＧＢ画像データ２０３は、輝度およびカラー信号からなる１６ビットのＹＣＣ画像データ２０５に処理され、さらにＹＣＣ画像データ２０５は８ビットのＪＰＥＧ画像データ２０７に画像圧縮される。
【００６７】
ボケシミュレーションとしては、ＲＡＷ画像データ２０１とＲＧＢ画像データ２０３の間でボケシミュレーション２０２を行うか、ＲＧＢ画像データ２０３とＹＣＣ画像データ２０５の間でボケシミュレーション２０４を行うか、ＹＣＣ画像データ２０５とＪＰＥＧ画像データ２０７の間でボケシミュレーション２０６を行うかの３通りがある。ＪＰＥＧ画像データ２０７に対してボケシミュレーションを行う場合には８ビットと情報量が少なくなり、特に高輝度領域ではγ補正がなされ、データとして粗く、データが欠けていることから、ボケシミュレーションを行うには適切ではない。それに対して、ＲＡＷ画像データ２０１、ＲＧＢ画像データ２０３、およびＹＣＣ画像データ２０５に対しては、１６ビットと情報量も多く、明るさに対してリニアであるため、いずれの画像データに対してもボケシミュレーションを行ってもよい。
【００６８】
ＪＰＥＧ圧縮されたＪＰＥＧ画像データに対して、ボケシミュレーションを行う場合には、図８に示すように、ＪＰＥＧ画像データ２０７に対してγ伸張２０８を行い、このγ伸張を行った画像データ２０８を再びＲＧＢ画像データ２０９に戻してから、ボケシミュレーション２１０を行う。このように一旦、γ伸張をおこなっているのは、図８中のグラフに示すように、高輝度側をリニアに伸張するためであり、これによって、明るい光源が有る場合、光源のボケ具体を上手に再現することができる。
【００６９】
図８に示した例では、ノンリニアのＪＰＥＧ画像データを、リニアのＲＧＢ画像データに戻しただけであるが、通常の点光源は、ＲＡＷ画像データであっても飽和している場合がある。そこで、この問題を解決するために、図９に示すように、ＲＡＷ画像データ２１１に対して、γ部分伸張２１２を行うようにしてもよい。γ部分伸張２１２では、図９中のグラフに示すように、ＲＡＷ画像データ２１１の高輝度側のデータに対して（図中では、６４０００以上）、ノンリニアの伸張を行い、これより低輝度側のデータに対してリニアのままとする。
【００７０】
γ部分伸張２１２を行った画像データを、３２ビットのＲＧＢ画像データ２１３に処理し、このＲＧＢ画像データ２１３に対してボケシミュレーション２１４を行うようにすればよい。ボケシミュレーション２１４を行った画像データに対して、γ圧縮２１５を行うことによって、γ部分圧縮２１２による圧縮を元に戻す。さらに、１６ビットのＹＣＣ画像データ２１６に変換し、これを８ビットのＪＰＥＧ画像データ２１７に変換する。この図９に示した変形例では、前述したように、点光源のように飽和している画像であっても所定の絞り値でのボケ状態と同等のボケ画像を得ることができる。
【００７１】
次に、ステップＳ１０において行う画像記録の際のボケ画像データの記録について、図１０ないし図１２を用いて説明する。一般に、デジタルカメラにおいては、撮影時にＲＡＷ画像データかＪＰＥＧ画像データの一方または両方を、ユーザが予め指定した形式で記録を行う。記録画像データがＪＰＥＧ画像データの場合には、図７ないし図９において説明したようなボケシミュレーションを行ったＪＰＥＧ画像データを記録すれば足りる。しかし、ＲＡＷ画像データは、何れの処理も行わないデータであるという性質上、ＲＡＷ画像データに対して、ボケシミュレーションを施し、これを記録することができない。一般に、ＲＡＷ画像データは、パーソナルコンピュータ（以下、ＰＣと称す）等で現像が行われることから、このときＰＣ上でボケシミュレーションを行えばよい。また、ＪＰＥＧ画像データに対しても、ＰＣ上でボケ量を増やす等の後処理を行う場合がありうる。
【００７２】
そこで、本実施形態においては、画像データの記録の際に、ＰＣ上でボケシミュレーションを可能とする情報を記録するようにしている。すなわち、記録画像に、画像全体にわたる各画素に対応したボケ量変化Δｂと、それを算出した画像の絞り値を画像データに添付して記録を行う。
【００７３】
図１０（ａ）は、外部メモリ１１４に記録されるＥｘｉｆ形式で記録される画像データを示す。領域３０２には、まず、主画像の画像データが記録され、ここでの画像データの形式はＪＰＥＧデータまたはＲＡＷデータである。領域３０３、３０４には異なる絞り値で撮影された画像の絞り値がそれぞれ記録される。領域３０５〜３０６にはボケ量変化Δｂが、Ｒ、Ｇ、Ｂごとに記録される。
【００７４】
ボケ量変化Δｂを算出した画像の絞り値の情報の代わりに、ボケ量変化Δｂを絞り値の差分で除算した値、すなわち、
Δｂ／（Ｆ８−Ｆｏｐｅｎ）
を記録するようにしてもよい。ここで、Ｆ８はボケ量変化Δｂを算出した際の絞り値であり、撮影時の絞り値を用いる。
【００７５】
このときの記録情報は、図１０（ｂ）に示すように、領域３０１から領域３０４までは図１０（ａ）と同じである。しかし、領域３０５から領域３０７の記録に代えて、領域３１５から領域３１７には、ＲＧＢごとにボケ量変化Δｂを絞り値の差分で除算した値を記録する。
【００７６】
なお、領域３０５から領域３０７に記録されるΔｂ（Ｒ）、Δｂ（Ｇ）、Δｂ（Ｂ）、また領域３１５から領域３１７に記録されるΔｂ／（Ｆ８−Ｆｏｐｅｎ）（Ｒ）、Δｂ／（Ｆ８−Ｆｏｐｅｎ）（Ｇ）、Δｂ／（Ｆ８−Ｆｏｐｅｎ）（Ｂ）のデータは通常低周波成分のみであるので、これをＪＰＥＧ圧縮し、データ量を小さくするようにしてもよい。
【００７７】
このように、本実施形態においては、主画像として１枚の画像データと、異なる２つの画像のそれぞれの絞り値と、ボケ量変化Δｂを記録するだけであるので、異なる２つの画像の画像データをそれぞれ記録するよりは、格段にデータ量を削減することができる。また、記録されている画像データを用いて、ＰＣ上でＲＡＷ画像データを現像する場合や、ＪＰＥＧ画像データに更にボケ処理を行う場合には、記録されている絞り値の情報やボケン変化量等を用いて、ボケ処理を行うことができる。ボケ処理としては、ＰＣが図４に示したボケシミュレーションを実行すればよい。
【００７８】
また、領域３０２に記録する主画像の画像データは、ＪＰＥＧ形式の場合にはボケ処理を行った画像データであり、またＲＡＷ形式の場合には、より最終画像に近い絞り開放側のＲＡＷ画像データを記録する。しかし、最初にパンフォーカス画像が欲しい場合もあることから、ボケシミュレーションを行うか否かを選択する選択手段を設けておき、ボケシミュレーションが選択された場合には、開放絞り値と所定絞り値（例えば、Ｆ８）で自動的に追加撮影を行い、この撮影画像に加えて追加撮影された画像を記録するようにしてもよい。この場合、追加撮影された開放絞り値と所定絞り値での画像データは、ＲＡＷ形式でもＪＰＥＧ形式でもいずれの形式でも構わない。
【００７９】
この結果、主画像の画像ファイルと、開放絞り値での画像ファイルと、所定絞り値での画像ファイルの３つの画像ファイルができる。ここで、３つの画像ファイルが関連付けを簡単化するために、本実施形態においては、ファイル名は同一とし、拡張子名を異ならせている。例えば、図１１に示すように、主画像ファイル３２１については、拡張子名は、ＪＰＥＧ形式の画像データであればＪＰＧ、ＲＡＷ形式であればＲＡＷとし、画像ファイル名（図１１の例では、Ｐｍｄｄ△△△△）を付与する。ボケ評価用の評価用画像ファイル３２２、３２３については、ＲＡＷおよびＪＰＧ以外の拡張子名とし（図１１の例では、Ｂ００とＢ０８）、主画像ファイルと同じファイル名の同一オブジェクト（図１１の例では、Ｐｍｄｄ△△△△）として記録する。なお、評価用画像ファイル３２２は開放絞り値の画像であり、評価用画像ファイル３２３はＦ８絞りでの画像である。
【００８０】
次に、ステップＳ１におけるライブビュー表示について、図１２を用いて説明する。ライブビュー表示は、一般には、開放絞り状態での画像データを用いて表示を行う。ただ、これでは、ボケ処理を行った場合の画像を事前に観察することができない。そこで、本実施形態においては、開放絞り状態における画像に加えて、ライブビュー表示の際にも、ボケ強調処理を行った画像も表示できるようにしている。
【００８１】
図１２において、タイミングＴ３、Ｔ６、Ｔ９において、液晶絞り１０５は、液晶絞り制御部１０６によって、透過状態（開放絞りに相当）と絞り込み状態（Ｆ８に相当）に交互に切り換えられている。液晶絞り１０５が透過状態におけるＴ１〜Ｔ２のタイミングで撮像素子１０７は露光を行い、このとき蓄積された光電流に基づく画像データはＴ２〜Ｔ４において読み出される。続いて、タイミングＴ４〜Ｔ５において、液晶絞り１０５がＦ８に絞り込まれた状態で撮像素子１０７は露光を行い、このときの画像データはＴ５〜Ｔ７において読み出される。
【００８２】
液晶絞り１０５が透過状態（開放絞り値に相当）と絞り込み状態（Ｆ８に相当）における２つの画像データが得られたことから、タイミングＴ７〜Ｔ９において、図４に示したボケシミュレーションを実行することによりボケ強調処理を行う。このボケ強調処理された画像データに基づく画像を、タイミングＴ９〜Ｔ１０において表示する。
【００８３】
このように、液晶絞り１０５の透過状態を交互に変更することにより、２つの絞り状態での画像を取得し、これに対してボケシミュレーションを施し、ボケ強調処理された画像を表示している。このため、レリーズ動作前に、ボケ強調処理を行った場合のボケの状態を観察することができる。
【００８４】
以上、説明したように、本発明の一実施形態においては、開放絞り状態において画像データを取得し、さらに続けて開放絞り値より絞り込んだ状態において画像データを取得し、この２つの画像データに基づいて、ボケ強調処理を行うようにしている。このため、撮影時に違和感なく自然な感じでボケ処理を行うことができる。特に、本実施形態においては、いわゆるメカシャッタが設けられておらず、撮像素子中の光電流の電荷蓄積時間を制御することによって２つの画像データを取得している。このため、１回の撮影を行うにあたって、２回シャッタ音がしてしまい、撮影者に違和感を与えるようなことがない。
【００８５】
次に、本発明の一実施形態における撮像素子１０７としてローリングシャッタを用いた変形例１を説明する。この変形例１の撮像素子１０７の画素の概略構成について、図２０を用いて説明する。撮像素子１０７の１画素分の回路は、１画素を構成するフォトダイオードＰＤ、光電変換電流の蓄積部であるフローティングディフュージョンＭＥＭ、４個のトランジスタＴｒ１１〜Ｔｒ１４から構成される。
【００８６】
前述の図１９に示したグローバルシャッタを有する撮像素子１０７の場合と比較し、大概、図１９のトランジスタＴｒ２が図２０のトランジスタＴｒ１１に相当し、トランジスタＴｒ３がトランジスタＴｒ１２に相当し、トランジスタＴｒ４がトランジスタＴｒ１３に相当し、トランジスタＴｒ５がトランジスタＴｒ１４に相当する。図２０の回路には、図１９のトランジスタＴｒ１に対応するトランジスタは存在しない。
【００８７】
また、図２０において、φＲＭｉはリセットパルス、φＴＲｉは転送パルス、φＳＥｉはライン選択パルスを表わす。なお、この変形例１の撮像素子１０７の画素の構成および動作については、特開２００９−１８８６５０号公報の段落［０００２］〜［００１６］、に記載されているので、詳しい説明は省略する。
【００８８】
このような変形例の撮像素子１０７を使用した場合には、撮影時にはグローバルシャッタに代えて、ローリングシャッタで撮影を行うことになる。この撮影時における動作について、図１４に示すタイミングチャートを用いて説明する。なお、このタイミングチャートは本発明の一実施形態における図１３のタイミングチャートに相当する。
【００８９】
変形例１の撮影動作にはいると、ＶＤをＬレベルにすると共に（タイミングｔ２１）、絞りを開放絞り値に向けて駆動する（タイミングｔ２３〜ｔ２４）。開放絞り状態になると、次に、ローリングシャッタにより撮像素子１０７のフォトダイオードから出力される光電流を、フローティングディフュージョンＭＥＭにて蓄積動作を開始する（タイミングｔ２６）。開放絞り値で適正露出となるシャッタ速度（蓄積時間）が経過すると、蓄積動作を終了する（タイミングｔ２７）。ローリングシャッタであることから、全画素、同時に蓄積を開始し同時に蓄積を終了することはなく、五月雨式に順次、ラインごとに蓄積を開始し終了する。ただし、いずれの画素においても蓄積時間は同一である。
【００９０】
全画素について蓄積時間が経過していなくても、最初に蓄積を開始した画素について蓄積時間が終了すると、撮像データ１（画像信号）の読み出しを開始し（タイミングｔ２８）、ラインごとに、順次、読み出しを行う。
【００９１】
撮像データ１の読み出しが終了すると、次に、絞りを所定の絞り値（図示の例ではＦ８）に絞り込みを行う（タイミングｔ３１〜ｔ３２）。続いて、タイミングｔ２６〜ｔ２７と同様に、ローリングシャッタにより撮像素子１０７のフォトダイオードから出力される光電流を、フローティングディフュージョンＭＥＭにて蓄積動作を行う。蓄積動作が終了すると、撮像データ２の読み出しを開始し（タイミングｔ３６）、開放絞りに戻す（タイミングｔ３８〜ｔ３９）。
【００９２】
このように、変形例１においては、ローリングシャッタを用いて、１回の撮影の中で、絞り値の異なる２つの画像データを取得している。この取得した２つの画像データを用いて、本発明の一実施形態と同様に、ボケ強調処理を行うことができる。
【００９３】
次に、本発明の一実施形態における撮像素子１０７としてグローバルシャッタとローリングシャッタを組み合わせた変形例２を説明する。この変形例２で使用する撮像素子１０７は、図１９を用いた説明したグローバルシャッタタイプの撮像素子である。グローバルシャッタとして使用する場合には、５個のトランジスタの全てを使用し、ローリングシャッタとして使用する場合には、５個のトランジスタの内、トランジスタＴｒ１を使用しなければよい。
【００９４】
変形例２における撮影時における動作について、図１５に示すタイミングチャートを用いて説明する。なお、このタイミングチャートは本発明の一実施形態における図１３のタイミングチャートに相当する。
【００９５】
変形例２における１枚目の撮影は、グローバルシャッタによって行われ、開放絞り状態で画像データが取得される。この１枚目の撮影は、図１３におけるタイミングｔ０１〜ｔ０８までと同様であるので、同一のタイミングには同一の符号を付し、詳しい説明は省略する。
【００９６】
ただし、１枚目の撮影の際、タイミングｔ０８から行われる撮像データ１の読み出しの間に、絞り込み動作を行うようにしている（タイミングｔ４１〜ｔ４２）。本発明の一実施形態においては、２枚目の撮影のＦＤリセット読み出しの最中に行っていたが、変形例２においては、２枚目の撮影はローリングシャッタで行うことから、１枚目の撮像データ１の読み出しの最中に行うことにした。
【００９７】
絞り込みが終了した後、ＶＤがＬレベルにされＨレベルに戻ると（タイミングｔ４４）、ローリングシャッタによって撮像素子１０７のフォトダイオードの光電流をフローティングディフュージョンＭＥＭにて蓄積動作を行う（タイミングｔ４４〜ｔ４６）。蓄積動作が終了すると、撮像データ２の読み出しを開始し（タイミングｔ４６）、開放絞りに戻す（タイミングｔ４８〜ｔ４９）。
【００９８】
このように、変形例２においては、グローバルシャッタとローリングシャッタを組み合わせて、１回の撮影の中で、絞り値の異なる２つの画像データを取得している。この取得した２つの画像データを用いて、本発明の一実施形態と同様に、ボケ強調処理を行うことができる。
【００９９】
次に、本発明の一実施形態における撮像素子１０７としてグローバルシャッタとローリングシャッタを組み合わせた変形例３について、図１６に示すタイミングチャートを用いて説明する。この変形例３で使用する撮像素子１０７は、変形例２と同様に図１９に示したものと同じである。また、変形例３では、図１に示した構成において、撮影レンズ１０１と撮像素子１０７の間にノーマリオープンタイプのフォーカルプレーンシャッタを配置する。このメカシャッタの位置は、上記区間であれば、どこでもよいが、第１及び第２のシャッタ幕を有することから、撮像素子１０７の直前が好ましい。ノーマリオープンタイプのメカシャッタは、通常状態では開放状態であり、シャッタチャージを行ったのち、レリーズするとシャッタが閉じる。
【０１００】
変形例３における１枚目の撮影も変形例２の場合と同様に、グローバルシャッタによって行われ、開放絞り状態で画像データが取得される。この１枚目の撮影は、図１３におけるタイミングｔ０１〜ｔ０８までと同様であるので、同一のタイミングには同一の符号を付し、詳しい説明は省略する。
【０１０１】
また、１枚目の撮影の際、タイミングｔ０８から行われる撮像データ１の読み出しの間に、変形例２と同様に、絞り込み動作を行うようにしている（タイミングｔ５１〜ｔ５２）。変形例３の場合には、絞り開放に加えて、ノーマリオープンタイプのフォーカルプレーンシャッタの第１幕を閉じさせる（タイミングｔ５２）。この状態は、シャッタ閉じの状態であり、この閉じ状態の際に撮像素子１０７のグローバルリセットを行う。
【０１０２】
そして、ノーマリオープンタイプのフォーカルプレーンシャッタの第１幕を走行させ（タイミングｔ５５）、算出されたシャッタ速度に対応する時間が経過した時点で、シャッタの第２幕を走行させ（タイミングｔ５６）、シャッタ閉じの状態にする。この後、撮像素子１０７から撮像データ２の読み出しを開始し（タイミングｔ５８）、ノーマリオープンタイプのシャッタのチャージを行う（タイミングｔ５９）。
【０１０３】
このように、変形例３においては、１枚目の撮影は撮像素子１０７のグローバルシャッタによって露出時間が制御されるが、２枚目の撮影は、ノーマリオープンタイプのフォーカルプレーンシャッタによって露出時間が制御される。ただし、２枚目の撮影にあたって、撮像素子１０７はローリングシャッタによって電荷蓄積を行う。なお、本変形例においては、ノーマリオープンタイプのシャッタを用いており、１枚目の撮影が終了した際に、シャッタ幕が走行しシャッタ音が発生する。しかし、シャッタ音としては１枚目から２枚目に移る際に１回だけであることから、撮影者が違和感を抱くことはない。
【０１０４】
次に、本発明の一実施形態における撮像素子１０７としてグローバルシャッタとローリングシャッタを組み合わせた変形例４を図１７に示すタイミングチャートを用いて説明する。この変形例４で使用する撮像素子１０７とノーマリオープンタイプのフォーカルプレーンシャッタは、変形例３と同様である。
【０１０５】
変形例４における１枚目の撮影も変形例２、３の場合と同様に、グローバルシャッタによって行われ、開放絞り状態で画像データが取得される。この１枚目の撮影は、図１３におけるタイミングｔ０１〜ｔ０８までと同様であるので、同一のタイミングには同一の符号を付し、詳しい説明は省略する。
【０１０６】
また、１枚目の撮影の際、タイミングｔ０８から行われる撮像データ１の読み出しの間に、変形例２、３と同様に、絞り込み動作を行うようにしている（タイミングｔ６１〜ｔ６２）。絞り込みが終わると、撮像素子１０７はシャッタ幕の速度と同じ速度でシャッタ幕の走行方向と同じ方向にライン毎にリセット（以下、この擬似的先幕リセットのことを「ＳＤＳリセット」という）を行う（タイミングｔ６４）。これによって、撮像素子１０７の各画素の各ラインは、順次、時間差をもってリセットされる。
【０１０７】
そして、ＳＤＳリセットを開始してから、算出されたシャッタ速度に対応する時間が経過した時点で、シャッタの第２幕を走行させ（タイミングｔ６５）、シャッタ閉じの状態にする。この後、撮像素子１０７から撮像データ２の読み出しを開始し（タイミングｔ６６）、ノーマリオープンタイプのシャッタのチャージを行う（タイミングｔ６７）。
【０１０８】
このように、変形例４においては、１枚目の撮影は撮像素子１０７のグローバルシャッタによって露出時間が制御されるが、２枚目の撮影は、ＳＤＳリセットとノーマリオープンタイプのフォーカルプレーンシャッタの第２幕によって露出時間が制御される。
【０１０９】
次に、本発明の一実施形態における撮像素子１０７としてグローバルシャッタを用いた変形例５を図１８に示すタイミングチャートを用いて説明する。この変形例５で使用する撮像素子１０７の画素の概略構成について、図２１を用いて説明する。撮像素子１０７の１画素分の回路は、１画素を構成するフォトダイオードＰＤ、光電変換電流の蓄積部であるフローティングディフュージョンＭＥＭ、７個のトランジスタＴｒ２１〜Ｔｒ２７から構成される。
【０１１０】
前述の図１９に示したグローバルシャッタを有する撮像素子１０７の場合と比較し、大概、図１９のトランジスタＴｒ１が図２１のトランジスタＴｒ２１、トランジスタＴｒ２がトランジスタＴｒ２２、Ｔｒ２３、Ｔｒ２４に相当し、トランジスタＴｒ３がトランジスタＴｒ２５に相当し、トランジスタＴｒ４がトランジスタＴｒ２７に相当する。なお、この変形例５の撮像素子１０７の画素の構成および動作については、特開２００４−２８２５５２号公報の図８および図９、段落［００８６］〜［０１０６］、に記載されているので、詳しい説明は省略する。ただし、この公知技術には、Ｔｒ２１に対応するトランジスタは省略されているが、その機能は、図１９のトランジスタＴｒ１と同様である。
【０１１１】
このような変形例５の撮像素子１０７を使用した場合には、撮影時にはグローバルシャッタで撮影を行うことになる。この撮影時における動作について、図１８に示すタイミングチャートを用いて説明する。なお、このタイミングチャートは本発明の一実施形態における図１３のタイミングチャートに相当する。変形例５の撮像素子１０７は、本発明の一実施形態における撮像素子１０７と比較し、ＦＤリセット読み出しを不要としている点で相違しているだけである。このため、図１３に示す一実施形態におけるタイミングチャートとの相違点を中心に説明する。
【０１１２】
本発明の一実施形態においては、１枚目の撮影において、タイミングｔ０１〜０５においてＦＤリセットレベルの読み出しを行っていたが、変形例５ではタイミングｔ７３〜ｔ７４において開放絞りへの駆動のみを行っている。そして、タイミングｔ７６〜ｔ７７の間、撮像素子１０７の光電流の蓄積を行う。この後、一実施形態と同様に、撮像素子１０７から画像信号の読み出しを行うとともに、絞り込みを行う（タイミングｔ７９〜ｔ８０）。そして、２枚目の撮影に入り、光電流の蓄積を行い（タイミングｔ８２〜ｔ８３）、蓄積が終わると、画像信号の読み出しを行うとともに（タイミングｔ８４〜）、絞りをライブビュー表示時の絞りに戻す（タイミングｔ８５〜ｔ８６）。
【０１１３】
以上説明したように、本発明の一実施形態やその変形例においては、レリーズの指示に応答し、第１の絞り値（開放絞り値）において第１画像の撮影を行い（Ｓ２１、Ｓ２２）、この第１の画像の撮影終了後、撮像手段により第１の画像データを読み出すと共に第２の絞り値まで絞り動作を並行して行い（Ｓ２３）、この第２の絞り値において第２の画像の撮影を行い（Ｓ２４）、この撮影終了後、撮像手段により第２の画像データを読み出し（Ｓ２５）、第１の画像データと第２の画像データの局部ごとのコントラスト値の変化量を検出し、第１または第２画像データに対して局部ごとに変化量に応じたぼかし強度でぼかし処理を行うようにしている（Ｓ３５〜Ｓ４４）。このため、撮影時に違和感なく自然な感じでボケ処理を行うことができる。
【０１１４】
また、撮像素子１０７は各画素に対応する光電変換素子（ＰＤ）と電荷蓄積部（フローティングディフュージョンＭＥＭ）を有し、第１画像および第２の画像の撮影の際の露出時間は、電荷蓄積部における蓄積時間を制御している。メカシャッタによって露光時間の制御がなされないことから、２枚の画像データを取得する際に、２回シャッタ音がすることがなく、撮影者に違和感を与えることがない。
【０１１５】
なお、本発明の一実施形態や変形例においては、２枚の絞り値が異なる画像を得るにあたって、開放絞りと絞り値Ｆ８の２種類の絞り値を使用してボケ処理を行っていた。しかし、これは例示であり、他の絞り値を使用してもよいことは勿論である。また、３枚以上の絞り値が異なる画像を用いて、ボケ処理を行うようにすれば、さらにボケ処理の精度を向上させることができる。
【０１１６】
また、本発明の一実施形態や変形例においては、ボケ処理をカメラ１００で行っていたが、２枚の画像データを記録しておき、ＰＣ等の画像処理装置において、図４に示したフローを実行することにより、ボケ処理を行うようにしてもよい。
【０１１７】
さらに、本発明の一実施形態や変形例においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話や携帯情報端末（ＰＤＡ：Personal Digital Assist）、ゲーム機器等に内蔵されるカメラでも構わない。
【０１１８】
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【０１１９】
１００・・・カメラ、１０１・・・撮影レンズ、１０２・・・レンズ制御部、１０３・・・絞り機構、１０４・・・絞り制御部、１０５・・・液晶絞り、１０６・・・液晶絞り制御部、１０７・・・撮像素子、１０８・・・撮像制御部、１０９・・・Ａ／Ｄ変換部、１１０・・・メモリ、１１１・・・画像処理部、１１２・・・露出制御部、１１３・・・ＡＦ処理部、１１４・・・外部メモリ、１１５・・・表示部、１１６・・・システム制御部、１１７・・・操作部、１１８・・・不揮発性メモリ、１１９・・・電源部、１２０・・・電源制御部、１２１・・・フラッシュ制御部、１２２・・・フラッシュ充電部、１２３・・・フラッシュ発光部、２０１・・・ＲＡＷ画像データ、２０２・・・ボケシミュレーション、２０３・・・ＲＧＢ画像データ、２０４・・・ボケシミュレーション、２０５・・・ＹＣＣ画像データ、２０６・・・ボケシミュレーション、２０７・・・ＪＰＥＧ画像データ、２１１・・・ＲＡＷ画像データ、２１２・・・γ部分伸張、２１３・・・ＲＧＢ画像データ、２１４・・・ボケシミュレーション、２１５・・・γ圧縮、２１６・・・ＹＣＣ画像データ、２１７・・・ＰＥＧ画像データ、３０１〜３０７・・・領域、３１５〜３１７・・・領域、３２１・・・主画像ファイル、３２２・・・評価用画像ファイル（開放絞り）、３２３・・・評価用画像ファイル（Ｆ８絞り）、ＰＤ・・・フォトダイオード、ＭＥＭ・・・フローティングディフュージョン、Ｔｒ１〜Ｔｒ５・・・トランジスタ、Ｔｒ１１〜Ｔｒ１４・・・トランジスタ、Ｔｒ２１〜Ｔｒ２７・・・トランジスタ
【技術分野】
【０００１】
本発明は、撮影装置に関し、詳しくは、ボケを強調した画像を作成する機能を備えた撮影装置および撮影装置の制御方法に関する。
【背景技術】
【０００２】
撮影画像の被写界深度は、絞り値、焦点距離等の光学的特性によって変化する。望遠レンズを用いてのスポーツモードでの撮影では、被写界深度が深いことが望ましい。しかし、ポートレート撮影では、ぼけを積極的に利用する作風がある。１３５フィルムカメラ（３５ｍｍ銀塩フィルムカメラ）では、被写界深度は絞り値や焦点距離を適宜選択することによって十分変化させることができた。しかし、近年、登場したデジタルカメラでは、撮像部の面積が小さくなったことにより、被写界深度が深くなり、従来と同じ画角で撮影しても、背景のぼけが目立たなくなっている。そこで、撮影者の意図する撮影画像となるように、画像処理によって被写界深度の浅い画像を生成するボケ処理が種々提案されている。
【０００３】
例えば、特許文献１には、絞り値を変えた２枚の画像から被写界深度の浅い画像を生成する方法が提案されている。また、特許文献２には、基準画像から被写体領域の画像データと背景領域の画像データに分離し、分離した背景領域の画像データに対してボケ処理を行った後、基準画像データにボケ処理後の背景画像データを合成することによって、背景の被写界深度が浅くなるようにしたボケ処理方法が提案されている。さらに、特許文献３には、絞り値の異なる２枚の撮影画像の高周波成分の変化量に基づいて、基準画像と基準画像をぼかした画像との画像合成の比率を変更することにより、背景をぼかすボケ処理が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−３１０５０４号公報
【特許文献２】特開２００５−２２９１９８号公報
【特許文献３】特開２００９−１７７７８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述したように被写界深度を浅くするためのボケ処理については種々提案されているが、デジタルカメラ等の撮影装置で撮影する際に、違和感なく自然な感じでボケ処理を行うことができる撮影装置は未だ提案されていない。すなわち、特許文献２に開示のボケ処理方法では、背景から主要被写体を分離する必要があるが、背景と主要被写体の境界は明確に区別できない場合が多いため、境界でのボケが不自然になりやすい。また、背景から主要被写体を分離するための複雑な処理を行わなければならず、作業時間がかかると共に、精度に難点がある。さらに、背景や主要被写体の各部分は距離によってボケ量が変化するが、この点について考慮されておらず、一律にボケ処理を行うため不自然なボケ処理となる。
【０００６】
また、特許文献１および特許文献３に開示のボケ処理方法では、２枚の画像からボケ処理を行っていることから、特許文献２のように背景から主要被写体を分離する作業が不必要となり、これに伴う不具合を解決することができる。しかし、特許文献１および特許文献３に開示のボケ処理方法では、２枚の画像を取得するにあたって連写しなければならない。撮影者にとって、１回の撮影に連写で２回のシャッタ音があると違和感があり、操作上の不安を与えてしまう。特に、可動ミラーやフォーカルプレーンシャッタ機構を有する一眼レフカメラではシャッタ音が大きいことから、この違和感が強い。
【０００７】
また、フィーリングの問題だけではなく、ボケ処理を行うために連写を行うことから、可動ミラーやシャッタの耐用回数にも問題が生じてくる。さらに、被写体は静止しているとは限らず動体の場合もあり、この場合には２枚の画像の撮影間隔は短時間であることが望ましい。しかし、従来のような可動ミラーとシャッタ機構を伴う一眼レフカメラでは、プロ機と称する高級機であっても８〜１４コマ／秒、一般普及機では２〜５コマ／秒程度の連写性能にすぎず、被写体によっては、短時間とは言い難い場合もある。
【０００８】
本発明は、このような事情を鑑みてなされたものであり、撮影時に違和感なく自然な感じでボケ処理を行うことができる撮影装置および撮影装置の制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するため第１の発明に係わる撮影装置は、撮影レンズによって形成される被写体像を光電変換し、画像データを出力する撮像手段と、上記撮影レンズの光路上に配置され、第１及び第２の絞り値で被写体光束を絞る絞り制御手段と、レリーズの指示に応答し、上記第１の絞り値において第１画像の撮影を行い、この第１の画像の撮影終了後、上記撮像手段により第１の画像データを読み出すと共に、上記絞り制御手段によって上記第２の絞り値まで絞り動作を並行して行い、上記第２の絞り値において第２の画像の撮影を行い、この撮影終了後、上記撮像手段により第２の画像データを読み出す撮影制御手段と、上記第１の画像データと上記第２の画像データの局部ごとのコントラスト値の変化量を検出し、上記第１または第２画像データに対して局部ごとに上記変化量に応じたぼかし強度でぼかし処理を行う画像処理手段と、を有する。
【００１０】
第２の発明に係わる撮影装置は、上記第１の発明において、上記撮像手段は、グローバルシャッタ機能を有する。
第３の発明に係わる撮影装置は、上記第１及び第２の発明において、上記第１の絞り値は、開放絞り値である。
【発明の効果】
【００１１】
本発明によれば、撮影時に違和感なく自然な感じでボケ処理を行うことができる撮影装置および撮影装置の制御方法を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態に係わるデジタルカメラの主として電気的構成を示すブロック図である。
【図２】本発明の一実施形態に係わるデジタルカメラのメイン動作を示すフローチャートである。
【図３】本発明の一実施形態に係わるデジタルカメラの撮影動作を示すフローチャートである。
【図４】本発明の一実施形態に係わるデジタルカメラのボケシミュレーションの動作を示すフローチャートである。
【図５】本発明の一実施形態におけるデジタルカメラにおいて、ボケ処理を説明する図である。
【図６】本発明の一実施形態におけるデジタルカメラにおいて、２枚の画像から所定絞り値でのボケ量を推定することを説明するグラフである。
【図７】本発明の一実施形態におけるデジタルカメラにおいて、ボケシミュレーションを行う位置を説明する図である。
【図８】本発明の一実施形態におけるデジタルカメラにおいて、ボケシミュレーションを行う位置の変形例１を説明する図である。
【図９】本発明の一実施形態におけるデジタルカメラにおいて、ボケシミュレーションを行う位置の変形例２を説明する図である。
【図１０】本発明の一実施形態におけるデジタルカメラにおいて、画像ファイルのデータ構造を示す図である。
【図１１】本発明の一実施形態におけるデジタルカメラにおいて、ファイル名の付け方を説明する図である。
【図１２】本発明の一実施形態におけるデジタルカメラにおいて、ライブビュー表示の際にボケ強調処理を行った画像を表示させるための液晶絞り、撮像素子、表示部の動作状態を示す図である。
【図１３】本発明の一実施形態におけるデジタルカメラにおいて、撮影動作時におけるタイミングチャートである。
【図１４】本発明の一実施形態におけるデジタルカメラにおいて、変形例１の撮影動作時におけるタイミングチャートである。
【図１５】本発明の一実施形態におけるデジタルカメラにおいて、変形例２の撮影動作時におけるタイミングチャートである。
【図１６】本発明の一実施形態におけるデジタルカメラにおいて、変形例３の撮影動作時におけるタイミングチャートである。
【図１７】本発明の一実施形態におけるデジタルカメラにおいて、変形例４の撮影動作時におけるタイミングチャートである。
【図１８】本発明の一実施形態におけるデジタルカメラにおいて、変形例５の撮影動作時におけるタイミングチャートである。
【図１９】本発明の一実施形態に係わるデジタルカメラの撮像素子における１画素分の回路構成を示す図である。
【図２０】本発明の一実施形態に係わるデジタルカメラにおいて、変形例１の撮像素子における１画素分の回路構成を示す図である。
【図２１】本発明の一実施形態に係わるデジタルカメラにおいて、変形例５の撮像素子における１画素分の回路構成を示す図である。
【発明を実施するための形態】
【００１３】
以下、図面に従って本発明を適用したカメラを用いて好ましい実施形態について説明する。本発明の好ましい実施形態に係わるカメラ１００は、デジタルカメラであり、概略、撮像部を有し、この撮像部によって被写体像を画像データに変換し、この変換された画像データに基づいて、被写体像を表示部にライブビュー表示する。撮影時には、撮影者はライブビュー表示を観察し、構図やシャッタチャンスを決定する。レリーズがなされると、撮影を行う。このとき、開放絞り値等で１コマ目の画像の画素の光電流の電荷蓄積を行い、１コマ目の電荷蓄積が終了すると続いて絞り込みを行い、この絞り込み中に１コマ目の電荷蓄積に基づく画像データの読み出しを行い、一時記憶する。画像データの読み出しが終了すると２コマ目の画像の画素の光電流の電荷蓄積を行い、電荷蓄積終了後にこの電荷蓄積に基づく画像データの読み出しを行う。この１回の撮影で取得した２つの画像データに基づいて、所望の絞り値における画像と同等のボケ処理を行い、この処理された画像データを記録媒体に記録する。記録媒体に記録したボケ処理済みの撮影画像は、再生モードを選択すると、表示部に再生表示することができる。
【００１４】
図１は、本実施形態に係わるデジタルカメラ１００の主として電気的構成を示すブロック図である。撮影レンズ１０１の光軸上に、絞り機構１０３、液晶絞り１０５および撮像素子１０７が配置されている。撮像素子１０７の出力はＡ／Ｄ変換部１０９に接続され、Ａ／Ｄ変換部１０９の出力はメモリ１１０に接続されている。メモリ１１０は画像処理部１１１とシステム制御部１１６に接続されている。システム制御部１１６には、撮像制御部１０８、液晶絞り制御部１０６、絞り制御部１０４、レンズ制御部１０２、露出制御部１１２、ＡＦ処理部１１３、フラッシュ制御部１２１、不揮発性メモリ１１８、外部メモリ１１４、表示部１１５、操作部１１７、電源制御部１２０がそれぞれ接続されている。上述の撮像制御部１０８は撮像素子１０７に接続されており、液晶絞り制御部１０６は液晶絞り１０５に接続されており、レンズ制御部１０２は撮影レンズ１０１に接続されている。また、電源制御部１２０は電源部１１９に接続されており、フラッシュ制御部１２１はフラッシュ充電部１２２とフラッシュ発光部１２３にそれぞれ接続されている。
【００１５】
撮影レンズ１０１は、被写体光束を撮像素子１０７に集光させ、被写体像を結像させるための光学系である。この撮影レンズ１０１は、システム制御部１１６からの指示に応じて動作するレンズ制御部１０２により光軸方向に移動され、焦点状態が変化する。絞り機構１０３は、撮影レンズ１０１を介して撮像素子１０７に入射する被写体光束の入射量を調節する。絞り機構１０３は、システム制御部１１６からの指示に応じて動作する絞り制御部１０４により開口量が制御される。絞り機構１０３、絞り制御部１０４およびシステム制御部１１６が、絞り制御手段としての機能を果たす。
【００１６】
液晶絞り１０５は透過状態と遮光状態に切り換え可能な液晶によって構成され、開放絞り値とＦ８の状態との２つの状態に切り換え可能である。液晶絞り１０５は、システム制御部１１６からの指示に応じて動作する液晶絞り制御部１０６に接続されており、開放状態とＦ８の状態のいずれかに制御される。この液晶絞り１０５は、図１２を用いて後述するライブビュー表示の際のボケ強調処理を行うために使用される。ライブビュー表示時のボケ強調処理を省略する場合には、液晶絞り１０５および液晶絞り制御部１０６も省略してもよい。本実施形態において、液晶絞り１０５は開放絞り値とＦ８に切り換え可能であるが、絞り値としては、これに限らず、他の絞り値であっても構わない。
【００１７】
撮像手段としての機能を有する撮像素子１０７は、前面に配置されたベイヤ―配列のカラーフィルタと、このカラーフィルタに対応して配列されたフォトダイオード等の光電変換素子から構成される。各カラーフィルタとこれに対応する各光電変換素子によって各画素が、また画素群によって撮像領域が構成される。撮像素子１０７は、撮影レンズ１０１により集光された光を各画素で受光し光電流に変換し、この光電流をコンデンサ（後述するフローティングディフュージョン）で蓄積し、アナログ電圧信号（画像信号）としてＡ／Ｄ変換部１０９に出力する。システム制御部１１６とともに、撮像制御手段としての機能を有する撮像制御部１０８は、システム制御部１１６からの指示に応じて撮像素子１０７の動作制御を行う。
【００１８】
ここで、本実施形態における撮像素子１０７は、ＣＭＯＳイメージセンサであり、グローバルシャッタ機能を有する。グローバルシャッタは全画素同時のタイミングで電荷蓄積を開始させ、全画素同時のタイミングで電荷蓄積を終了させるシャッタ動作を行う。撮像素子１０７の各画素の構成については、図１９を用いて後述する。なお、グローバルシャッタと対比されるローリングシャッタは、１〜数ラインをブロックとし、ブロック内は同時タイミングで電荷蓄積の開始と終了を行うが、ブロック間は読み出しのための時間差を有し、ブロックごとに順次、電荷蓄積動作させていくシャッタ動作を行う。
【００１９】
Ａ／Ｄ変換部１０９は、撮像素子１０７から出力されるアナログ電圧信号（画像信号）をデジタル画像信号（画像データ）に変換する。メモリ１１０は、Ａ／Ｄ変換部１０９において得られた画像データや、画像処理部１１１において処理された画像データ等、各種データを一時的に記憶する記憶部である。なお、本明細書においては、撮像素子１０７から出力される画像信号に基づく信号であれば、Ａ／Ｄ変換部１０９によってＡ／Ｄ変換された信号のみならず画像処理された信号も含めて画像データと称する。
【００２０】
画像処理手段としての機能する画像処理部１１１は、メモリ１１０に一時記憶された画像データを読み出し、この画像データに対して、ホワイトバランス補正処理、同時化処理、色変換処理等の画像処理を行う。また、画像処理部１１１は、後述する外部メモリ１１４に記録する際に画像圧縮を行い、また外部メモリ１１４から読み出した圧縮された画像データの伸張を行う。さらに、画像処理部１１１は、異なる絞り値にて撮影した２枚の撮影画像の画像データを処理し、ボケを強調する画像処理を行う。
【００２１】
露出制御部１１２はメモリ１１０に一時記憶された画像データを用いて被写体輝度（被写体を含むシーンの明るさ）を算出する。なお、専用の測光センサを用いて被写体輝度を算出するようにしても勿論かまわない。ＡＦ（Auto Focus）処理部１１３は、メモリ１１０に一時記憶された画像データから高周波成分の信号を抽出し、ＡＦ積算処理により合焦評価値を取得する。システム制御部１１６は、合焦評価値に基づいてレンズ制御部１０２を通じて、撮影レンズ１０１が合焦位置となるように駆動制御を行う。なお、ＡＦ処理部１１３は、ＴＴＬ位相差ＡＦセンサ等、専用のセンサを設け、この専用センサの出力に基づいて撮影レンズ１０１の焦点ずれ量を求めるようにしても勿論かまわない。
【００２２】
外部メモリ１１４は、例えば、カメラ本体に着脱自在に記憶媒体であり、画像処理部１１１において圧縮された画像データおよびその付随データが記録される。なお、画像データ等を記録するための記録媒体として、カメラ本体に着脱可能な外部メモリに限らず、カメラ本体に内蔵のハードディスク等の記録媒体であってもかまわない。
【００２３】
表示部１１５は、カメラ本体の背面等に配置された液晶モニタや有機ＥＬ等のディスプレイを有し、画像データに基づいてライブビュー表示を行う。また、表示部１１５は、外部メモリ１１４に記録された撮影画像の再生表示を行い、さらに露出制御値等の表示や撮影モード等設定のためのメニュー画面の表示を行う。
【００２４】
撮影制御手段として機能するシステム制御部１１６は、ＣＰＵ等を含むＡＳＩＣで構成され、撮像制御部１０８やフラッシュ制御部１２１等のカメラ１００の各種シーケンスを統括的に制御する。操作部１１７は、電源釦、レリーズ釦、各種入力キー等の操作部材である。ユーザが操作部１１７のいずれかの操作部材を操作すると、システム制御部１１６は、ユーザの操作に応じた各種シーケンスを実行する。
【００２５】
操作部１１７の内の電源釦はカメラ１００の電源のオンオフを指示するための操作部材であり、電源釦が押されるとシステム制御部１１６は電源オンとし、再度押されると電源オフとする。レリーズ釦は、１ｓｔレリーズスイッチと２ｎｄレリーズスイッチの２段スイッチを有している。レリーズ釦が半押しされると１ｓｔレリーズスイッチがオンとなり、半押しから更に押し込まれ全押しされると２ｎｄレリーズスイッチがオンとなる。１ｓｔレリーズスイッチがオンとなると、システム制御部１１６は、ＡＥ処理やＡＦ処理等撮影準備シーケンスを実行する。また２ｎｄレリーズスイッチがオンとなると、システム制御部１１６は、撮影シーケンスを実行し、撮影を行う。ユーザは表示部１１５において表示されるメニュー画面を用い、操作部１１７の入力キーを操作することにより撮影時の撮影条件等を設定することができる。
【００２６】
不揮発性メモリ１１８は、電気的に書き換え可能な不揮発性メモリであり、カメラ１００の動作に必要な各種パラメータを記憶している。また、不揮発性メモリ１１８は、システム制御部１１６において実行するプログラムも記憶している。システム制御部１１６は、不揮発性メモリ１１８に記憶されているプログラムに従い、また不揮発性メモリ１１８に記憶されているパラメータを読み込み、各種シーケンスを実行する。
【００２７】
電源部１１９は、カメラ１００の各部の動作に必要な電力を供給し、例えば、２次電池等の電源電池で構成される。電源制御部１２０は、電源部１１９を構成する電池の電源電圧や残量の検出等、電源部１１９の制御を行う。
【００２８】
フラッシュ制御部１２１は、システム制御部１１６からの指示に応じてフラッシュ充電部１２２における充電動作、およびフラッシュ発光部１２３における発光動作を制御する。フラッシュ充電部１２２は、電源部１１９の電源電圧を昇圧する昇圧回路や、ここで昇圧された電圧でエネルギを蓄積するコンデンサを有し、フラッシュ発光部１２３の発光を行うに必要なエネルギを蓄積する。フラッシュ発光部１２３は、例えば、キセノン（Ｘｅ）管等の発光管や反射傘を備えており、フラッシュ制御部１２１から発光指示を受信した際に、フラッシュ充電部１２２のコンデンサに蓄積されたエネルギを利用して発光する。
【００２９】
次に、撮像素子１０７の画素の概略構成について、図１９を用いて説明する。撮像素子１０７の１画素分の回路は、１画素を構成するフォトダイオードＰＤ、光電変換電流の蓄積部であるフローティングディフュージョンＭＥＭ、５個のトランジスタＴｒ１〜Ｔｒ５から構成される。φＲＭはリセットパルス、φＴＲは転送パルス、φＲＰＤはフォトダイオードリセットパルス、φＳＥはライン選択パルスを表わす。なお、この撮像素子１０７の画素の構成および動作については、特開２００９−１８８６５０号公報の段落［００５２］〜［００５７］、［００７９］〜［００８３］に記載されているので、詳しい説明は省略する。
【００３０】
次に、本実施形態におけるカメラ１００の動作について、図２ないし図４に示すフローチャートを用いて説明する。このフローは不揮発性メモリ１１８に記憶されているプログラムに従ってシステム制御部１１６によって実行される。図２に示すフローはメインルーチン動作である。このメインルーチンは、操作部１１７の電源釦がオンとなると実行を開始する。
【００３１】
メインルーチンの動作が開始すると、まず、ライブビュー動作を行う（Ｓ１）。ライブビュー動作では、撮像素子１０７から出力される画像信号に基づいて、画像処理部１１１によってライブビュー表示用に画像処理された画像データを表示部１１５に表示する。撮影者はこのライブビュー表示を見て、構図を決定し、シャッタタイミングを決める。
【００３２】
ライブビュー動作を行うと、次に、操作部１１７のレリーズ釦が半押しされたか、すなわち、１ｓｔレリーズスイッチがオンか否かの判定を行う（Ｓ２）。この判定の結果、１ｓｔレリーズがオンでなかった場合には、ステップＳ１に戻り、ライブビュー動作を繰り返し行う。
【００３３】
ステップＳ２における判定の結果、１ｓｔレリーズがオンとなると、すなわちレリーズ釦が半押しされると、次に、ＡＦ処理を実行する（Ｓ３）。このステップでは、システム制御部１１６は、ＡＦ処理部１１３によって得られる合焦評価値に基づいて、撮像素子１０７上に結像される被写体像が最も鮮明になるように、言い換えると合焦状態となるように、レンズ制御部１０２を介して撮影レンズ１０１の焦点状態を制御する。
【００３４】
ＡＦ処理を行うと、続いて、測光を行い（Ｓ４）、露出演算を行う（Ｓ５）。これらのステップにおいて、システム制御部１１６は、露出制御部１１２において被写体輝度の算出を実行させ、算出された被写体輝度を用いて絞り値とシャッタ速度（蓄積時間）等の露出制御値を求める。絞り値とシャッタ速度の算出にあたっては、アペックス演算により求めてもよいが、本実施形態においては、不揮発性メモリ１１８に被写体輝度に対応する絞り値とシャッタ速度のテーブルを記憶しておき、テーブル参照により、絞り値とシャッタ速度を決定する。また、この算出にあたっては、絞り機構１０３の開放絞り値と、被写体輝度で決まる所定絞り値の２つの絞り値に対して、適正な露出となるシャッタ速度を求める。
【００３５】
露出演算を行うと、次に、操作部１１７のレリーズ釦が全押しされたか、すなわち、２ｎｄレリーズがオンか否かの判定を行う（Ｓ６）。この判定の結果、２ｎｄレリーズがオンでなかった場合には、ステップＳ１に戻る。２ｎｄレリーズがオンとなるまでは、システム制御部１１６は、ステップＳ１からステップＳ５を繰り返し実行し、被写体の変化に対してＡＦ（自動焦点調節）とＡＥ（自動露出制御）を追従させる。
【００３６】
一方、ステップＳ６における判定の結果、２ｎｄレリーズがオンであった場合には、撮影を行う（Ｓ７）。このステップでは、開放絞り値における被写体像の画像データを取得し、続いて開放絞り値とは異なる絞り値における被写体像の画像データを続けて取得する。この撮影のフローの詳細については図３を用いて後述する。
【００３７】
撮影を行うと、次に、ステップＳ７において取得した画像データの画像処理を行う（Ｓ８）。この画像処理では、画像処理部１１１においてホワイトバランス補正処理等の一般的な画像処理の他、異なる絞り値において取得した２つの画像データを用いて、ボケを強調した画像を生成するボケ処理も行う。このボケを強調した画像処理の詳細については、図４に示すボケシミュレーションのフローを用いて後述する。
【００３８】
画像処理を行うと、次に、ステップＳ８において生成したボケを強調した画像を、所定時間だけ表示部１１５に表示する（Ｓ９）。ボケ強調画像の表示を行うと、システム制御部１１６は、画像処理部１１１において得られたボケを強調した画像データを画像圧縮し、この画像データを外部メモリ１１４に記録させる（Ｓ１０）。画像記録を行うと、ステップＳ１に戻る。なお、操作部１１７の電源釦が再度操作されると、メインルーチンの処理を終了する。
【００３９】
次に、ステップＳ７における撮影のサブルーチンの詳細について、図３に示すフローチャートを用いて説明する。このサブルーチンもシステム制御部１１６によって実行される。この撮影動作中は、液晶絞り１０５は透過状態であり、露出制御には何ら関与しない。撮影のサブルーチンに入ると、まず、絞りを開放する（Ｓ２１）。ここでは、システム制御部１１６は、絞り制御部１０４により絞り機構１０３を開放状態にさせる。
【００４０】
続いて、絞り開放状態で撮像制御部１０８により撮像素子１０７の蓄積動作１を行う（Ｓ２２）。蓄積動作１では、撮像素子１０７の各画素の光電流を蓄積部（フローティングディフュージョンＭＥＭ）において電荷蓄積する。この蓄積時間は、ステップＳ５における露出演算において絞り開放の条件で適正露出となるように算出された蓄積時間（シャッタ速度）が採用される。本実施形態は、いわゆるメカシャッタを備えておらず、メカシャッタが果たす露光時間の制御は、撮像素子１０７の蓄積動作の時間制御によって行われる。
【００４１】
蓄積動作１が終わると、次に、撮像データ１の読み出しを行うとともに、絞り込みを行う（Ｓ２３）。このステップでは、蓄積動作１の間に撮像素子１０７において蓄積された画像信号を読み出し、Ａ／Ｄ変換部１０９によってＡ／Ｄ変換し、この画像データ（撮像データ１）をメモリ１１０に一時記憶する。また、この読み出し動作と並行して、ステップＳ５において算出された所定絞り値となるように、絞り制御部１０４が絞り機構１０３の絞り込み動作を行う。
【００４２】
撮像データ１の読み出しと絞り機構１０３の絞り込みを行うと、次に、撮像制御部１０８により蓄積動作２を行う（Ｓ２４）。この蓄積動作２における蓄積時間は、ステップＳ５における露出演算において上記所定絞り値において適正露出となるように算出された蓄積時間（シャッタ速度）が採用される。
【００４３】
蓄積動作２が終了すると、次に、撮像データ２の読み出しを行う（Ｓ２５）。このステップでは、蓄積動作２の間に撮像素子１０７において蓄積された画像信号を読み出し、Ａ／Ｄ変換部１０９によってＡ／Ｄ変換し、この画像データ（撮像データ２）をメモリ１１０に一時記憶する。
【００４４】
撮像データ２の読み出しを開始すると、次に絞りを開放状態に戻す（Ｓ２６）。このステップでは、システム制御部１１６は、絞り制御部１０４によって絞り機構１０３を開放状態に戻す。絞りを開放させると、元のフローに戻る。以上のステップを実行することにより、異なる絞りで２枚の画像の画像データを取得する撮影動作を終了する。
【００４５】
次に、図３に示した撮影のサブルーチンにおける動作を図１３に示すタイミングチャートを用いて更に詳しく説明する。撮影動作に入ると、絞り開放に先だって、まず垂直同期信号（以下、ＶＤと称す）をＬレベルにする（タイミングｔ０１）。ＶＤをＬレベルにするとフローティングディフュージョン（以下、ＦＤと称す）のリセットレベルの読み出しを開始する（タイミングｔ０２）。このＦＤは、図１９におけるフローティングディフュージョンＭＥＭに相当する。このＦＤのリセットレベルの読み出し中に絞り機構１０３を開放状態に駆動する（タイミングｔ０３〜ｔ０４）。
【００４６】
ＶＤをＬレベルにしてから所定時間、例えば５０ｍｓ（以下、「５０ｍｓ」は例示である）が経過すると、ＶＤを再びＬレベルにする（タイミングｔ０５）。その後ＶＤのＬレベルが解除されると、撮像素子１０７のフォトダイオードで発生した光電流の電荷蓄積を開始する（タイミングｔ０６）。この蓄積時間は、ステップＳ２２において説明したように、開放絞りで適正露出となる時間である。蓄積時間が経過すると（タイミングｔ０７）、ＶＤはＬレベルとなり、光電流の電荷蓄積が終了する。前述したように、本実施形態における撮像素子１０７のシャッタはグローバルシャッタであり、各画素、同時に光電流の電荷蓄積を開始し（タイミングｔ０６）、シャッタ速度に対応した時間（蓄積時間）が経過すると、各画素、同時に電荷蓄積を終了する（タイミングｔ０７）。
【００４７】
ＶＤのＬレベルが解除されると（タイミングｔ０８）、ステップＳ２３において説明した撮像データ１の読み出しを開始する。この読み出された撮像データ１からタイミングｔ０２〜ｔ０５において読み出されたＦＤのリセット信号を減算することにより、開放絞りでの画像データを得ることができる。
【００４８】
ＶＤをＬレベルにして（タイミングｔ０７）から５０ｍｓが経過すると、再びＶＤをＬレベルにし（タイミングｔ０９）、Ｌレベルを解除した時点から（タイミングｔ１０）、再びＦＤのリセット信号の読み出しを開始する。また、ステップＳ２３において説明した絞り込みを行う（タイミングｔ１１〜ｔ１２）。図１３に示す例では、Ｆ８に絞り込んでいる。
【００４９】
ＶＤをＬレベルにして（タイミングｔ０９）から５０ｍｓが経過すると、再びＶＤをＬレベルにし（タイミングｔ１３）、Ｌレベルを解除した時点から（タイミングｔ１４）、絞り込んだ状態で撮像素子１０７のフォトダイオードで発生した光電流の電荷蓄積を開始する。この蓄積時間は、ステップＳ２４において説明したように、絞り込んだ状態（図１３の例ではＦ８）で適正露出となる時間である。蓄積時間が経過すると（タイミングｔ１５）、ＶＤはＬレベルにされ、光電流の電荷蓄積が終了する。前述したように、撮像素子１０７のシャッタはグローバルシャッタであることから、各画素、同時に光電流の蓄積を開始し、同時に蓄積を終了する。
【００５０】
ＶＤのＬレベルが解除されると（タイミングｔ１６）、ステップＳ２５において説明した撮像データ２の読み出しを開始する。この読み出された撮像データ２からタイミングｔ１１〜ｔ１３において読み出されたＦＤのリセット信号を減算することにより、絞り込んだ状態での画像データを得ることができる。また、絞りを絞り込んだ状態から撮影前の絞り値に戻す（タイミングｔ１７〜ｔ１８）。そしてＶＤのＬレベル時から５０ｍｓが経過すると（タイミングｔ１９）、再びＶＤをＬレベルにし、ライブビュー表示状態に戻る。
【００５１】
このように、本実施形態においては、タイミングｔ０３〜ｔ０４において開放絞りに設定し、タイミングｔ０６〜ｔ０７において、開放絞りでの画像データを取得している。またタイミングｔ１１〜ｔ１２において所定絞り値に絞り込みを行い、タイミングｔ１４〜ｔ１５において、所定絞り値での画像データを取得している。なお、図１３においては、ライブビュー表示の際に、開放絞りよりも絞り込んだ状態にあることを想定していたが、ライブビュー表示の際に開放状態としておく場合には、タイミングｔ０３〜ｔ０４における開放絞りへの駆動を省略することができる。
【００５２】
次に、ステップＳ８の画像処理の中で処理されるボケシミュレーションの詳細な動作について、図４に示すフローチャートを用いて説明する。ステップＳ７の撮影のサブルーチンで取得した２つの画像データは、画像取得時の絞り値が異なり、画像の明るさが異なることから、両者の明るさが略同じになるように、ステップＳ３１〜Ｓ３４において明るさの補正処理を行う。
【００５３】
明るさ補正処理として、まず、開放絞り画像の平均の明るさＫｏｐｅｎの算出を行う（Ｓ３１）。ここでは、ステップＳ２３において読み出し、リセット信号を減算することによって取得した開放絞り状態における各画素の画像信号に基づく画像データを総計することによって平均的な明るさを算出する。
【００５４】
Ｋｏｐｅｎを算出すると、続いて、絞り込んだ状態（Ｆ８）における画像の平均の明るさＫＦ８の算出を行う（Ｓ３２）。ここでは、ステップＳ２５において読み出し、リセット信号を減算することによって取得した所定絞り（図示の例ではＦ８）における各画素の画像信号に基づく画像データを総計することによって平均的な明るさを算出する。
【００５５】
ＫＦ８を算出すると、次に、明るさ補正係数ＨをＫＦ８／Ｋｏｐｅｎの演算によって算出する（Ｓ３３）。ここでは、ステップＳ３２で算出したＫＦ８をステップＳ３１で算出したＫｏｐｅｎで除算することにより求める。明るさ補正係数Ｈを算出すると、次に、明るさ補正係数Ｈで開放絞り画像の明るさ補正を行う（Ｓ３４）。ここでは、開放絞り状態で取得した各画素の画像データに明るさ補正係数Ｈを乗算することにより、明るさを補正する。
【００５６】
開放絞り状態で取得した画像データに対して明るさ補正を行うと、次に、ステップＳ３５〜Ｓ４４において、所望の絞り値Ｆｎｏ．ｘにおけるボケ量ｂｘを求め、このボケ量ｂｘを用いてボケ画像を生成する。
【００５７】
まず、評価ピクセル（Ｘ，Ｙ）を決定する（Ｓ３５）。撮像素子１０７の各画素の座標は、本実施形態においては、（０，０）〜（４０００，３０００）であり、図５（ａ）に示すように、（０，０）は撮像領域の左上隅、（４０００，３０００）は撮像領域に右下隅に対応する。このステップＳ３５では、評価ピクセルの初期値として、撮像領域の原点である（０，０）から処理をスタートさせる。
【００５８】
続いて、評価ピクセル評価エリア決定を行う（Ｓ３６）。評価ピクセル評価エリアは、評価ピクセルの周囲の数ピクセルであり、このエリアをボケ量演算領域とする。この評価エリアは、ボケ量演算に適当な大きさする。評価エリアが大き過ぎると、画面上の局所的なボケ具合の把握が大雑把になりすぎ、背景と被写体の境界付近の区別が大雑把になってしまう。逆に小さすぎると、ボケ量演算の精度が不足し、また処理時間上、問題となることがある。これらのことを考慮して、本実施形態では、図５に示すように、周囲の縦横３ピクセルずつで、合計９ピクセルが評価エリアとしているが、状況に応じて適切な値とすればよい。
【００５９】
評価ピクセル評価エリアを決定すると、次に、開放絞りＦｏｐｅｎ画像の評価エリアのボケ量ｂｏｐｅｎの演算を行う（Ｓ３７）。このステップでは、開放絞り状態での画像データを用い、ステップＳ３６において決定された評価エリア内におけるコントラストを求め、これを評価エリアのボケ量ｂｏｐｅｎとする。コントラストの求め方は種々あるが、例えば、隣接画素の差分を評価エリア内で総計するようにしてもよい。
【００６０】
ボケ量ｂｏｐｅｎを算出すると、次に、Ｆ８画像の評価エリアのボケ量ｂ８の演算を行う（Ｓ３８）。このステップでは、絞りＦ８での画像データ（図５（ｂ））を用い、ステップＳ３６において決定された評価エリア内におけるコントラストをステップＳ３７と同様の方法で求め、これを評価エリアのボケ量ｂ８とする。
【００６１】
ボケ量ｂ８を算出すると、次に、開放とＦ８画像のボケ量の変化量Δｂを演算する（Ｓ３８）。ここでは、Δｂ＝（ｂ８−ｂｏｐｅｎ）、すなわち、ステップＳ３８で演算したボケ量ｂ８から、ステップＳ３７で演算したボケ量ｂｏｐｅｎを減算し、変化量Δｂを求める。
【００６２】
ボケ量の変化量Δｂを演算すると、次に、所定Ｆｎｏ．ｘのボケ量ｂｘを推定する（Ｓ４０）。図６に示すように、開放絞り（図示の例では、Ｆ２．８）と所定の絞り値（図示の例では、Ｆ８）におけるボケ量が分かると、ボケ量の傾Δｂを用いて、所定のＦｎｏ．ｘ（図６の例では、Ｆ０．７）におけるボケ量ｂｘを直線近似で推定することができる。本実施形態においては、このボケ量ｂｘを、ｂｘ＝ｂｏｐｅｎ＋｛Δｂ・（Ｆｘ−Ｆｏｐｅｎ）｝／（Ｆ８−Ｆｏｐｅｎ）の演算式を用いて求める。
【００６３】
ボケ量ｂｘを推定すると、次に、所定Ｆｎｏ．ｘの推定ボケ量ｂｘに近似するボケ関数を作成する（Ｓ４１）。ボケ関数としては、例えば、図５（ｃ）に示すような平滑フィルタを使用するが、これに限らず、推定ボケ量ｂｘに変換できる関数であればこれに限らない。ボケ関数を作成すると、次に、適用画像のピクセル（Ｘ，Ｙ）に、ボケ関数を適用する。図５（ｃ）に示す平滑フィルタでは、評価ピクセル（Ｘ，Ｙ）に対して、係数４を乗算し、評価ピクセルの周囲については係数１を乗算し、総計した後、総計数で除算する演算を行い（図５（ｃ）に示す平滑フィルタの例では、１２（４＋１×８）で除算することになる）、評価ピクセル（Ｘ，Ｙ）の値を、図５（ｄ）に示すように、演算結果に置き換える。
【００６４】
ボケ関数を適用すると、次に、評価ピクセル（Ｘ，Ｙ）の移動を行う（Ｓ４３）。評価ピクセルの初期値は、ステップＳ３５において、（０，０）が設定されており、この（０，０）の位置から初めて、最初は同じ行で右側に進み、右端まで進むと１つ下の行に移る。すなわち、本実施形態においては、（０，１）、（０，２）、（０，３）、・・・、（０，２９９９）、（０，３０００）、（１，１）、（１，２）、・・・、（３９９９，３０００）、（４０００，１）、・・・、（４０００，３０００）の順に、評価ピクセルを移動する。
【００６５】
評価ピクセルの移動を行うと、次に、全ピクセルについて処理を行ったか否かの判定を行う（Ｓ４４）。本実施形態においては、評価ピクセルとして、（４０００，３０００）について処理が終了したか否かを判定する。この判定の結果、終了していなかった場合には、ステップＳ３６に戻り、処理を繰り返す。一方、判定の結果、全ピクセルについて処理が終了した場合には、元のフローに戻り、他の画像処理を行う。
【００６６】
次に、図４に示したボケシミュレーションを行う画像データについて図７を用いて説明する。図７は画像データの処理の流れを示しており、撮像素子１０７から出力され、画像処理部１１１によって処理された１６ビットのＲＡＷ画像データ２０１は、さらに画像処理部１１１によって１６ビットのＲＧＢ画像データ２０３に処理される。このＲＧＢ画像データ２０３は、輝度およびカラー信号からなる１６ビットのＹＣＣ画像データ２０５に処理され、さらにＹＣＣ画像データ２０５は８ビットのＪＰＥＧ画像データ２０７に画像圧縮される。
【００６７】
ボケシミュレーションとしては、ＲＡＷ画像データ２０１とＲＧＢ画像データ２０３の間でボケシミュレーション２０２を行うか、ＲＧＢ画像データ２０３とＹＣＣ画像データ２０５の間でボケシミュレーション２０４を行うか、ＹＣＣ画像データ２０５とＪＰＥＧ画像データ２０７の間でボケシミュレーション２０６を行うかの３通りがある。ＪＰＥＧ画像データ２０７に対してボケシミュレーションを行う場合には８ビットと情報量が少なくなり、特に高輝度領域ではγ補正がなされ、データとして粗く、データが欠けていることから、ボケシミュレーションを行うには適切ではない。それに対して、ＲＡＷ画像データ２０１、ＲＧＢ画像データ２０３、およびＹＣＣ画像データ２０５に対しては、１６ビットと情報量も多く、明るさに対してリニアであるため、いずれの画像データに対してもボケシミュレーションを行ってもよい。
【００６８】
ＪＰＥＧ圧縮されたＪＰＥＧ画像データに対して、ボケシミュレーションを行う場合には、図８に示すように、ＪＰＥＧ画像データ２０７に対してγ伸張２０８を行い、このγ伸張を行った画像データ２０８を再びＲＧＢ画像データ２０９に戻してから、ボケシミュレーション２１０を行う。このように一旦、γ伸張をおこなっているのは、図８中のグラフに示すように、高輝度側をリニアに伸張するためであり、これによって、明るい光源が有る場合、光源のボケ具体を上手に再現することができる。
【００６９】
図８に示した例では、ノンリニアのＪＰＥＧ画像データを、リニアのＲＧＢ画像データに戻しただけであるが、通常の点光源は、ＲＡＷ画像データであっても飽和している場合がある。そこで、この問題を解決するために、図９に示すように、ＲＡＷ画像データ２１１に対して、γ部分伸張２１２を行うようにしてもよい。γ部分伸張２１２では、図９中のグラフに示すように、ＲＡＷ画像データ２１１の高輝度側のデータに対して（図中では、６４０００以上）、ノンリニアの伸張を行い、これより低輝度側のデータに対してリニアのままとする。
【００７０】
γ部分伸張２１２を行った画像データを、３２ビットのＲＧＢ画像データ２１３に処理し、このＲＧＢ画像データ２１３に対してボケシミュレーション２１４を行うようにすればよい。ボケシミュレーション２１４を行った画像データに対して、γ圧縮２１５を行うことによって、γ部分圧縮２１２による圧縮を元に戻す。さらに、１６ビットのＹＣＣ画像データ２１６に変換し、これを８ビットのＪＰＥＧ画像データ２１７に変換する。この図９に示した変形例では、前述したように、点光源のように飽和している画像であっても所定の絞り値でのボケ状態と同等のボケ画像を得ることができる。
【００７１】
次に、ステップＳ１０において行う画像記録の際のボケ画像データの記録について、図１０ないし図１２を用いて説明する。一般に、デジタルカメラにおいては、撮影時にＲＡＷ画像データかＪＰＥＧ画像データの一方または両方を、ユーザが予め指定した形式で記録を行う。記録画像データがＪＰＥＧ画像データの場合には、図７ないし図９において説明したようなボケシミュレーションを行ったＪＰＥＧ画像データを記録すれば足りる。しかし、ＲＡＷ画像データは、何れの処理も行わないデータであるという性質上、ＲＡＷ画像データに対して、ボケシミュレーションを施し、これを記録することができない。一般に、ＲＡＷ画像データは、パーソナルコンピュータ（以下、ＰＣと称す）等で現像が行われることから、このときＰＣ上でボケシミュレーションを行えばよい。また、ＪＰＥＧ画像データに対しても、ＰＣ上でボケ量を増やす等の後処理を行う場合がありうる。
【００７２】
そこで、本実施形態においては、画像データの記録の際に、ＰＣ上でボケシミュレーションを可能とする情報を記録するようにしている。すなわち、記録画像に、画像全体にわたる各画素に対応したボケ量変化Δｂと、それを算出した画像の絞り値を画像データに添付して記録を行う。
【００７３】
図１０（ａ）は、外部メモリ１１４に記録されるＥｘｉｆ形式で記録される画像データを示す。領域３０２には、まず、主画像の画像データが記録され、ここでの画像データの形式はＪＰＥＧデータまたはＲＡＷデータである。領域３０３、３０４には異なる絞り値で撮影された画像の絞り値がそれぞれ記録される。領域３０５〜３０６にはボケ量変化Δｂが、Ｒ、Ｇ、Ｂごとに記録される。
【００７４】
ボケ量変化Δｂを算出した画像の絞り値の情報の代わりに、ボケ量変化Δｂを絞り値の差分で除算した値、すなわち、
Δｂ／（Ｆ８−Ｆｏｐｅｎ）
を記録するようにしてもよい。ここで、Ｆ８はボケ量変化Δｂを算出した際の絞り値であり、撮影時の絞り値を用いる。
【００７５】
このときの記録情報は、図１０（ｂ）に示すように、領域３０１から領域３０４までは図１０（ａ）と同じである。しかし、領域３０５から領域３０７の記録に代えて、領域３１５から領域３１７には、ＲＧＢごとにボケ量変化Δｂを絞り値の差分で除算した値を記録する。
【００７６】
なお、領域３０５から領域３０７に記録されるΔｂ（Ｒ）、Δｂ（Ｇ）、Δｂ（Ｂ）、また領域３１５から領域３１７に記録されるΔｂ／（Ｆ８−Ｆｏｐｅｎ）（Ｒ）、Δｂ／（Ｆ８−Ｆｏｐｅｎ）（Ｇ）、Δｂ／（Ｆ８−Ｆｏｐｅｎ）（Ｂ）のデータは通常低周波成分のみであるので、これをＪＰＥＧ圧縮し、データ量を小さくするようにしてもよい。
【００７７】
このように、本実施形態においては、主画像として１枚の画像データと、異なる２つの画像のそれぞれの絞り値と、ボケ量変化Δｂを記録するだけであるので、異なる２つの画像の画像データをそれぞれ記録するよりは、格段にデータ量を削減することができる。また、記録されている画像データを用いて、ＰＣ上でＲＡＷ画像データを現像する場合や、ＪＰＥＧ画像データに更にボケ処理を行う場合には、記録されている絞り値の情報やボケン変化量等を用いて、ボケ処理を行うことができる。ボケ処理としては、ＰＣが図４に示したボケシミュレーションを実行すればよい。
【００７８】
また、領域３０２に記録する主画像の画像データは、ＪＰＥＧ形式の場合にはボケ処理を行った画像データであり、またＲＡＷ形式の場合には、より最終画像に近い絞り開放側のＲＡＷ画像データを記録する。しかし、最初にパンフォーカス画像が欲しい場合もあることから、ボケシミュレーションを行うか否かを選択する選択手段を設けておき、ボケシミュレーションが選択された場合には、開放絞り値と所定絞り値（例えば、Ｆ８）で自動的に追加撮影を行い、この撮影画像に加えて追加撮影された画像を記録するようにしてもよい。この場合、追加撮影された開放絞り値と所定絞り値での画像データは、ＲＡＷ形式でもＪＰＥＧ形式でもいずれの形式でも構わない。
【００７９】
この結果、主画像の画像ファイルと、開放絞り値での画像ファイルと、所定絞り値での画像ファイルの３つの画像ファイルができる。ここで、３つの画像ファイルが関連付けを簡単化するために、本実施形態においては、ファイル名は同一とし、拡張子名を異ならせている。例えば、図１１に示すように、主画像ファイル３２１については、拡張子名は、ＪＰＥＧ形式の画像データであればＪＰＧ、ＲＡＷ形式であればＲＡＷとし、画像ファイル名（図１１の例では、Ｐｍｄｄ△△△△）を付与する。ボケ評価用の評価用画像ファイル３２２、３２３については、ＲＡＷおよびＪＰＧ以外の拡張子名とし（図１１の例では、Ｂ００とＢ０８）、主画像ファイルと同じファイル名の同一オブジェクト（図１１の例では、Ｐｍｄｄ△△△△）として記録する。なお、評価用画像ファイル３２２は開放絞り値の画像であり、評価用画像ファイル３２３はＦ８絞りでの画像である。
【００８０】
次に、ステップＳ１におけるライブビュー表示について、図１２を用いて説明する。ライブビュー表示は、一般には、開放絞り状態での画像データを用いて表示を行う。ただ、これでは、ボケ処理を行った場合の画像を事前に観察することができない。そこで、本実施形態においては、開放絞り状態における画像に加えて、ライブビュー表示の際にも、ボケ強調処理を行った画像も表示できるようにしている。
【００８１】
図１２において、タイミングＴ３、Ｔ６、Ｔ９において、液晶絞り１０５は、液晶絞り制御部１０６によって、透過状態（開放絞りに相当）と絞り込み状態（Ｆ８に相当）に交互に切り換えられている。液晶絞り１０５が透過状態におけるＴ１〜Ｔ２のタイミングで撮像素子１０７は露光を行い、このとき蓄積された光電流に基づく画像データはＴ２〜Ｔ４において読み出される。続いて、タイミングＴ４〜Ｔ５において、液晶絞り１０５がＦ８に絞り込まれた状態で撮像素子１０７は露光を行い、このときの画像データはＴ５〜Ｔ７において読み出される。
【００８２】
液晶絞り１０５が透過状態（開放絞り値に相当）と絞り込み状態（Ｆ８に相当）における２つの画像データが得られたことから、タイミングＴ７〜Ｔ９において、図４に示したボケシミュレーションを実行することによりボケ強調処理を行う。このボケ強調処理された画像データに基づく画像を、タイミングＴ９〜Ｔ１０において表示する。
【００８３】
このように、液晶絞り１０５の透過状態を交互に変更することにより、２つの絞り状態での画像を取得し、これに対してボケシミュレーションを施し、ボケ強調処理された画像を表示している。このため、レリーズ動作前に、ボケ強調処理を行った場合のボケの状態を観察することができる。
【００８４】
以上、説明したように、本発明の一実施形態においては、開放絞り状態において画像データを取得し、さらに続けて開放絞り値より絞り込んだ状態において画像データを取得し、この２つの画像データに基づいて、ボケ強調処理を行うようにしている。このため、撮影時に違和感なく自然な感じでボケ処理を行うことができる。特に、本実施形態においては、いわゆるメカシャッタが設けられておらず、撮像素子中の光電流の電荷蓄積時間を制御することによって２つの画像データを取得している。このため、１回の撮影を行うにあたって、２回シャッタ音がしてしまい、撮影者に違和感を与えるようなことがない。
【００８５】
次に、本発明の一実施形態における撮像素子１０７としてローリングシャッタを用いた変形例１を説明する。この変形例１の撮像素子１０７の画素の概略構成について、図２０を用いて説明する。撮像素子１０７の１画素分の回路は、１画素を構成するフォトダイオードＰＤ、光電変換電流の蓄積部であるフローティングディフュージョンＭＥＭ、４個のトランジスタＴｒ１１〜Ｔｒ１４から構成される。
【００８６】
前述の図１９に示したグローバルシャッタを有する撮像素子１０７の場合と比較し、大概、図１９のトランジスタＴｒ２が図２０のトランジスタＴｒ１１に相当し、トランジスタＴｒ３がトランジスタＴｒ１２に相当し、トランジスタＴｒ４がトランジスタＴｒ１３に相当し、トランジスタＴｒ５がトランジスタＴｒ１４に相当する。図２０の回路には、図１９のトランジスタＴｒ１に対応するトランジスタは存在しない。
【００８７】
また、図２０において、φＲＭｉはリセットパルス、φＴＲｉは転送パルス、φＳＥｉはライン選択パルスを表わす。なお、この変形例１の撮像素子１０７の画素の構成および動作については、特開２００９−１８８６５０号公報の段落［０００２］〜［００１６］、に記載されているので、詳しい説明は省略する。
【００８８】
このような変形例の撮像素子１０７を使用した場合には、撮影時にはグローバルシャッタに代えて、ローリングシャッタで撮影を行うことになる。この撮影時における動作について、図１４に示すタイミングチャートを用いて説明する。なお、このタイミングチャートは本発明の一実施形態における図１３のタイミングチャートに相当する。
【００８９】
変形例１の撮影動作にはいると、ＶＤをＬレベルにすると共に（タイミングｔ２１）、絞りを開放絞り値に向けて駆動する（タイミングｔ２３〜ｔ２４）。開放絞り状態になると、次に、ローリングシャッタにより撮像素子１０７のフォトダイオードから出力される光電流を、フローティングディフュージョンＭＥＭにて蓄積動作を開始する（タイミングｔ２６）。開放絞り値で適正露出となるシャッタ速度（蓄積時間）が経過すると、蓄積動作を終了する（タイミングｔ２７）。ローリングシャッタであることから、全画素、同時に蓄積を開始し同時に蓄積を終了することはなく、五月雨式に順次、ラインごとに蓄積を開始し終了する。ただし、いずれの画素においても蓄積時間は同一である。
【００９０】
全画素について蓄積時間が経過していなくても、最初に蓄積を開始した画素について蓄積時間が終了すると、撮像データ１（画像信号）の読み出しを開始し（タイミングｔ２８）、ラインごとに、順次、読み出しを行う。
【００９１】
撮像データ１の読み出しが終了すると、次に、絞りを所定の絞り値（図示の例ではＦ８）に絞り込みを行う（タイミングｔ３１〜ｔ３２）。続いて、タイミングｔ２６〜ｔ２７と同様に、ローリングシャッタにより撮像素子１０７のフォトダイオードから出力される光電流を、フローティングディフュージョンＭＥＭにて蓄積動作を行う。蓄積動作が終了すると、撮像データ２の読み出しを開始し（タイミングｔ３６）、開放絞りに戻す（タイミングｔ３８〜ｔ３９）。
【００９２】
このように、変形例１においては、ローリングシャッタを用いて、１回の撮影の中で、絞り値の異なる２つの画像データを取得している。この取得した２つの画像データを用いて、本発明の一実施形態と同様に、ボケ強調処理を行うことができる。
【００９３】
次に、本発明の一実施形態における撮像素子１０７としてグローバルシャッタとローリングシャッタを組み合わせた変形例２を説明する。この変形例２で使用する撮像素子１０７は、図１９を用いた説明したグローバルシャッタタイプの撮像素子である。グローバルシャッタとして使用する場合には、５個のトランジスタの全てを使用し、ローリングシャッタとして使用する場合には、５個のトランジスタの内、トランジスタＴｒ１を使用しなければよい。
【００９４】
変形例２における撮影時における動作について、図１５に示すタイミングチャートを用いて説明する。なお、このタイミングチャートは本発明の一実施形態における図１３のタイミングチャートに相当する。
【００９５】
変形例２における１枚目の撮影は、グローバルシャッタによって行われ、開放絞り状態で画像データが取得される。この１枚目の撮影は、図１３におけるタイミングｔ０１〜ｔ０８までと同様であるので、同一のタイミングには同一の符号を付し、詳しい説明は省略する。
【００９６】
ただし、１枚目の撮影の際、タイミングｔ０８から行われる撮像データ１の読み出しの間に、絞り込み動作を行うようにしている（タイミングｔ４１〜ｔ４２）。本発明の一実施形態においては、２枚目の撮影のＦＤリセット読み出しの最中に行っていたが、変形例２においては、２枚目の撮影はローリングシャッタで行うことから、１枚目の撮像データ１の読み出しの最中に行うことにした。
【００９７】
絞り込みが終了した後、ＶＤがＬレベルにされＨレベルに戻ると（タイミングｔ４４）、ローリングシャッタによって撮像素子１０７のフォトダイオードの光電流をフローティングディフュージョンＭＥＭにて蓄積動作を行う（タイミングｔ４４〜ｔ４６）。蓄積動作が終了すると、撮像データ２の読み出しを開始し（タイミングｔ４６）、開放絞りに戻す（タイミングｔ４８〜ｔ４９）。
【００９８】
このように、変形例２においては、グローバルシャッタとローリングシャッタを組み合わせて、１回の撮影の中で、絞り値の異なる２つの画像データを取得している。この取得した２つの画像データを用いて、本発明の一実施形態と同様に、ボケ強調処理を行うことができる。
【００９９】
次に、本発明の一実施形態における撮像素子１０７としてグローバルシャッタとローリングシャッタを組み合わせた変形例３について、図１６に示すタイミングチャートを用いて説明する。この変形例３で使用する撮像素子１０７は、変形例２と同様に図１９に示したものと同じである。また、変形例３では、図１に示した構成において、撮影レンズ１０１と撮像素子１０７の間にノーマリオープンタイプのフォーカルプレーンシャッタを配置する。このメカシャッタの位置は、上記区間であれば、どこでもよいが、第１及び第２のシャッタ幕を有することから、撮像素子１０７の直前が好ましい。ノーマリオープンタイプのメカシャッタは、通常状態では開放状態であり、シャッタチャージを行ったのち、レリーズするとシャッタが閉じる。
【０１００】
変形例３における１枚目の撮影も変形例２の場合と同様に、グローバルシャッタによって行われ、開放絞り状態で画像データが取得される。この１枚目の撮影は、図１３におけるタイミングｔ０１〜ｔ０８までと同様であるので、同一のタイミングには同一の符号を付し、詳しい説明は省略する。
【０１０１】
また、１枚目の撮影の際、タイミングｔ０８から行われる撮像データ１の読み出しの間に、変形例２と同様に、絞り込み動作を行うようにしている（タイミングｔ５１〜ｔ５２）。変形例３の場合には、絞り開放に加えて、ノーマリオープンタイプのフォーカルプレーンシャッタの第１幕を閉じさせる（タイミングｔ５２）。この状態は、シャッタ閉じの状態であり、この閉じ状態の際に撮像素子１０７のグローバルリセットを行う。
【０１０２】
そして、ノーマリオープンタイプのフォーカルプレーンシャッタの第１幕を走行させ（タイミングｔ５５）、算出されたシャッタ速度に対応する時間が経過した時点で、シャッタの第２幕を走行させ（タイミングｔ５６）、シャッタ閉じの状態にする。この後、撮像素子１０７から撮像データ２の読み出しを開始し（タイミングｔ５８）、ノーマリオープンタイプのシャッタのチャージを行う（タイミングｔ５９）。
【０１０３】
このように、変形例３においては、１枚目の撮影は撮像素子１０７のグローバルシャッタによって露出時間が制御されるが、２枚目の撮影は、ノーマリオープンタイプのフォーカルプレーンシャッタによって露出時間が制御される。ただし、２枚目の撮影にあたって、撮像素子１０７はローリングシャッタによって電荷蓄積を行う。なお、本変形例においては、ノーマリオープンタイプのシャッタを用いており、１枚目の撮影が終了した際に、シャッタ幕が走行しシャッタ音が発生する。しかし、シャッタ音としては１枚目から２枚目に移る際に１回だけであることから、撮影者が違和感を抱くことはない。
【０１０４】
次に、本発明の一実施形態における撮像素子１０７としてグローバルシャッタとローリングシャッタを組み合わせた変形例４を図１７に示すタイミングチャートを用いて説明する。この変形例４で使用する撮像素子１０７とノーマリオープンタイプのフォーカルプレーンシャッタは、変形例３と同様である。
【０１０５】
変形例４における１枚目の撮影も変形例２、３の場合と同様に、グローバルシャッタによって行われ、開放絞り状態で画像データが取得される。この１枚目の撮影は、図１３におけるタイミングｔ０１〜ｔ０８までと同様であるので、同一のタイミングには同一の符号を付し、詳しい説明は省略する。
【０１０６】
また、１枚目の撮影の際、タイミングｔ０８から行われる撮像データ１の読み出しの間に、変形例２、３と同様に、絞り込み動作を行うようにしている（タイミングｔ６１〜ｔ６２）。絞り込みが終わると、撮像素子１０７はシャッタ幕の速度と同じ速度でシャッタ幕の走行方向と同じ方向にライン毎にリセット（以下、この擬似的先幕リセットのことを「ＳＤＳリセット」という）を行う（タイミングｔ６４）。これによって、撮像素子１０７の各画素の各ラインは、順次、時間差をもってリセットされる。
【０１０７】
そして、ＳＤＳリセットを開始してから、算出されたシャッタ速度に対応する時間が経過した時点で、シャッタの第２幕を走行させ（タイミングｔ６５）、シャッタ閉じの状態にする。この後、撮像素子１０７から撮像データ２の読み出しを開始し（タイミングｔ６６）、ノーマリオープンタイプのシャッタのチャージを行う（タイミングｔ６７）。
【０１０８】
このように、変形例４においては、１枚目の撮影は撮像素子１０７のグローバルシャッタによって露出時間が制御されるが、２枚目の撮影は、ＳＤＳリセットとノーマリオープンタイプのフォーカルプレーンシャッタの第２幕によって露出時間が制御される。
【０１０９】
次に、本発明の一実施形態における撮像素子１０７としてグローバルシャッタを用いた変形例５を図１８に示すタイミングチャートを用いて説明する。この変形例５で使用する撮像素子１０７の画素の概略構成について、図２１を用いて説明する。撮像素子１０７の１画素分の回路は、１画素を構成するフォトダイオードＰＤ、光電変換電流の蓄積部であるフローティングディフュージョンＭＥＭ、７個のトランジスタＴｒ２１〜Ｔｒ２７から構成される。
【０１１０】
前述の図１９に示したグローバルシャッタを有する撮像素子１０７の場合と比較し、大概、図１９のトランジスタＴｒ１が図２１のトランジスタＴｒ２１、トランジスタＴｒ２がトランジスタＴｒ２２、Ｔｒ２３、Ｔｒ２４に相当し、トランジスタＴｒ３がトランジスタＴｒ２５に相当し、トランジスタＴｒ４がトランジスタＴｒ２７に相当する。なお、この変形例５の撮像素子１０７の画素の構成および動作については、特開２００４−２８２５５２号公報の図８および図９、段落［００８６］〜［０１０６］、に記載されているので、詳しい説明は省略する。ただし、この公知技術には、Ｔｒ２１に対応するトランジスタは省略されているが、その機能は、図１９のトランジスタＴｒ１と同様である。
【０１１１】
このような変形例５の撮像素子１０７を使用した場合には、撮影時にはグローバルシャッタで撮影を行うことになる。この撮影時における動作について、図１８に示すタイミングチャートを用いて説明する。なお、このタイミングチャートは本発明の一実施形態における図１３のタイミングチャートに相当する。変形例５の撮像素子１０７は、本発明の一実施形態における撮像素子１０７と比較し、ＦＤリセット読み出しを不要としている点で相違しているだけである。このため、図１３に示す一実施形態におけるタイミングチャートとの相違点を中心に説明する。
【０１１２】
本発明の一実施形態においては、１枚目の撮影において、タイミングｔ０１〜０５においてＦＤリセットレベルの読み出しを行っていたが、変形例５ではタイミングｔ７３〜ｔ７４において開放絞りへの駆動のみを行っている。そして、タイミングｔ７６〜ｔ７７の間、撮像素子１０７の光電流の蓄積を行う。この後、一実施形態と同様に、撮像素子１０７から画像信号の読み出しを行うとともに、絞り込みを行う（タイミングｔ７９〜ｔ８０）。そして、２枚目の撮影に入り、光電流の蓄積を行い（タイミングｔ８２〜ｔ８３）、蓄積が終わると、画像信号の読み出しを行うとともに（タイミングｔ８４〜）、絞りをライブビュー表示時の絞りに戻す（タイミングｔ８５〜ｔ８６）。
【０１１３】
以上説明したように、本発明の一実施形態やその変形例においては、レリーズの指示に応答し、第１の絞り値（開放絞り値）において第１画像の撮影を行い（Ｓ２１、Ｓ２２）、この第１の画像の撮影終了後、撮像手段により第１の画像データを読み出すと共に第２の絞り値まで絞り動作を並行して行い（Ｓ２３）、この第２の絞り値において第２の画像の撮影を行い（Ｓ２４）、この撮影終了後、撮像手段により第２の画像データを読み出し（Ｓ２５）、第１の画像データと第２の画像データの局部ごとのコントラスト値の変化量を検出し、第１または第２画像データに対して局部ごとに変化量に応じたぼかし強度でぼかし処理を行うようにしている（Ｓ３５〜Ｓ４４）。このため、撮影時に違和感なく自然な感じでボケ処理を行うことができる。
【０１１４】
また、撮像素子１０７は各画素に対応する光電変換素子（ＰＤ）と電荷蓄積部（フローティングディフュージョンＭＥＭ）を有し、第１画像および第２の画像の撮影の際の露出時間は、電荷蓄積部における蓄積時間を制御している。メカシャッタによって露光時間の制御がなされないことから、２枚の画像データを取得する際に、２回シャッタ音がすることがなく、撮影者に違和感を与えることがない。
【０１１５】
なお、本発明の一実施形態や変形例においては、２枚の絞り値が異なる画像を得るにあたって、開放絞りと絞り値Ｆ８の２種類の絞り値を使用してボケ処理を行っていた。しかし、これは例示であり、他の絞り値を使用してもよいことは勿論である。また、３枚以上の絞り値が異なる画像を用いて、ボケ処理を行うようにすれば、さらにボケ処理の精度を向上させることができる。
【０１１６】
また、本発明の一実施形態や変形例においては、ボケ処理をカメラ１００で行っていたが、２枚の画像データを記録しておき、ＰＣ等の画像処理装置において、図４に示したフローを実行することにより、ボケ処理を行うようにしてもよい。
【０１１７】
さらに、本発明の一実施形態や変形例においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話や携帯情報端末（ＰＤＡ：Personal Digital Assist）、ゲーム機器等に内蔵されるカメラでも構わない。
【０１１８】
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【０１１９】
１００・・・カメラ、１０１・・・撮影レンズ、１０２・・・レンズ制御部、１０３・・・絞り機構、１０４・・・絞り制御部、１０５・・・液晶絞り、１０６・・・液晶絞り制御部、１０７・・・撮像素子、１０８・・・撮像制御部、１０９・・・Ａ／Ｄ変換部、１１０・・・メモリ、１１１・・・画像処理部、１１２・・・露出制御部、１１３・・・ＡＦ処理部、１１４・・・外部メモリ、１１５・・・表示部、１１６・・・システム制御部、１１７・・・操作部、１１８・・・不揮発性メモリ、１１９・・・電源部、１２０・・・電源制御部、１２１・・・フラッシュ制御部、１２２・・・フラッシュ充電部、１２３・・・フラッシュ発光部、２０１・・・ＲＡＷ画像データ、２０２・・・ボケシミュレーション、２０３・・・ＲＧＢ画像データ、２０４・・・ボケシミュレーション、２０５・・・ＹＣＣ画像データ、２０６・・・ボケシミュレーション、２０７・・・ＪＰＥＧ画像データ、２１１・・・ＲＡＷ画像データ、２１２・・・γ部分伸張、２１３・・・ＲＧＢ画像データ、２１４・・・ボケシミュレーション、２１５・・・γ圧縮、２１６・・・ＹＣＣ画像データ、２１７・・・ＰＥＧ画像データ、３０１〜３０７・・・領域、３１５〜３１７・・・領域、３２１・・・主画像ファイル、３２２・・・評価用画像ファイル（開放絞り）、３２３・・・評価用画像ファイル（Ｆ８絞り）、ＰＤ・・・フォトダイオード、ＭＥＭ・・・フローティングディフュージョン、Ｔｒ１〜Ｔｒ５・・・トランジスタ、Ｔｒ１１〜Ｔｒ１４・・・トランジスタ、Ｔｒ２１〜Ｔｒ２７・・・トランジスタ
【特許請求の範囲】
【請求項１】
撮影レンズによって形成される被写体像を光電変換し、画像データを出力する撮像手段と、
上記撮影レンズの光路上に配置され、第１及び第２の絞り値で被写体光束を絞る絞り制御手段と、
レリーズの指示に応答し、上記第１の絞り値において第１画像の撮影を行い、この第１の画像の撮影終了後、上記撮像手段により第１の画像データを読み出すと共に、上記絞り制御手段によって上記第２の絞り値まで絞り動作を並行して行い、上記第２の絞り値において第２の画像の撮影を行い、この撮影終了後、上記撮像手段により第２の画像データを読み出す撮影制御手段と、
上記第１の画像データと上記第２の画像データの局部ごとのコントラスト値の変化量を検出し、上記第１または第２画像データに対して局部ごとに上記変化量に応じたぼかし強度でぼかし処理を行う画像処理手段と、
を有することを特徴とする撮影装置。
【請求項２】
上記撮像手段は、グローバルシャッタ機能を有することを特徴とする請求項１に記載の撮影装置。
【請求項３】
上記第１の絞り値は、開放絞り値であることを特徴とする請求項１、２に記載の撮影装置。
【請求項１】
撮影レンズによって形成される被写体像を光電変換し、画像データを出力する撮像手段と、
上記撮影レンズの光路上に配置され、第１及び第２の絞り値で被写体光束を絞る絞り制御手段と、
レリーズの指示に応答し、上記第１の絞り値において第１画像の撮影を行い、この第１の画像の撮影終了後、上記撮像手段により第１の画像データを読み出すと共に、上記絞り制御手段によって上記第２の絞り値まで絞り動作を並行して行い、上記第２の絞り値において第２の画像の撮影を行い、この撮影終了後、上記撮像手段により第２の画像データを読み出す撮影制御手段と、
上記第１の画像データと上記第２の画像データの局部ごとのコントラスト値の変化量を検出し、上記第１または第２画像データに対して局部ごとに上記変化量に応じたぼかし強度でぼかし処理を行う画像処理手段と、
を有することを特徴とする撮影装置。
【請求項２】
上記撮像手段は、グローバルシャッタ機能を有することを特徴とする請求項１に記載の撮影装置。
【請求項３】
上記第１の絞り値は、開放絞り値であることを特徴とする請求項１、２に記載の撮影装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２０１１−１１４４５０（Ｐ２０１１−１１４４５０Ａ）
【公開日】平成２３年６月９日（２０１１．６．９）
【国際特許分類】
【出願番号】特願２００９−２６７２８９（Ｐ２００９−２６７２８９）
【出願日】平成２１年１１月２５日（２００９．１１．２５）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
【公開日】平成２３年６月９日（２０１１．６．９）
【国際特許分類】
【出願日】平成２１年１１月２５日（２００９．１１．２５）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
[ Back to top ]