撮像装置および画像処理装置
【課題】画像の領域分割情報が簡単に得られる撮像装置を提供する。
【解決手段】撮像装置は、撮影光学系１を介して被写体像を撮像する撮像素子１１と、撮影光学系１の絞り２を変えながら撮像素子１１に複数コマの画像を撮像させる制御手段２４と、複数コマの画像に基づいて撮像画像を複数の領域に分割するための分割情報を生成する分割情報生成手段２４とを備える。
【解決手段】撮像装置は、撮影光学系１を介して被写体像を撮像する撮像素子１１と、撮影光学系１の絞り２を変えながら撮像素子１１に複数コマの画像を撮像させる制御手段２４と、複数コマの画像に基づいて撮像画像を複数の領域に分割するための分割情報を生成する分割情報生成手段２４とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、画像処理装置に関する。
【背景技術】
【０００２】
画像を構成する画素について、画面に対して垂直な方向の位置を表す奥行き情報（デプスマップ）が知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１４１６６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１では、複数のカメラでそれぞれ取得された画像を画像処理することによってデプスマップ情報（画像の領域分割情報）を取得するので、複数のカメラが必要で演算処理が複雑という問題があった。
【課題を解決するための手段】
【０００５】
本発明による撮像装置は、撮影光学系を介して被写体像を撮像する撮像素子と、撮影光学系の絞りを変えながら撮像素子に複数コマの画像を撮像させる制御手段と、複数コマの画像に基づいて撮像画像を複数の領域に分割するための分割情報を生成する分割情報生成手段とを備えることを特徴とする。
本発明による画像処理装置は、撮影光学系を介して被写体像を撮像する撮像素子で本画像を撮像し、撮影光学系の絞りを変えながら撮像素子で複数コマの副画像を撮像し、複数コマの副画像に基づいて本画像を複数の領域に分割するための分割情報を生成し、分割情報に基づいて、本画像に対して複数の領域単位で所定の画像処理を行うことを特徴とする。
【発明の効果】
【０００６】
本発明によれば、画像の領域分割情報を簡単に得ることができる。
【図面の簡単な説明】
【０００７】
【図１】本発明の一実施の形態による電子カメラの要部構成を説明する図である。
【図２】撮影処理の流れを説明するフローチャートである。
【図３】デプスマップ用取得画像を例示する図である。
【図４】デプスマップ用取得画像を例示する図である。
【図５】デプスマップ用取得画像を例示する図である。
【図６】デプスマップ用取得画像を例示する図である。
【図７】デプスマップ用取得画像を例示する図である。
【図８】デプスマップ用取得画像を例示する図である。
【図９】デプスマップ用取得画像を例示する図である。
【図１０】デプスマップ用取得画像を例示する図である。
【図１１】デプスマップ用取得画像を例示する図である。
【図１２】デプスマップ用取得画像を例示する図である。
【図１３】デプスマップ画像を例示する図である。
【図１４】デプスマップ情報生成処理の詳細について説明するフローチャートである。
【図１５】デプスマップ情報テーブルを例示する図である。
【図１６】コンピュータ装置を例示する図である。
【図１７】画像処理プログラムの一例を説明するフローチャートである。
【発明を実施するための形態】
【０００８】
以下、図面を参照して本発明を実施するための形態について説明する。図１は、本発明の一実施の形態による電子カメラの要部構成を説明する図である。図１において、カメラ本体１００に対して着脱可能に構成されるレンズ鏡筒５０が装着されている。また、カメラ本体１００の背面には表示部（不図示）が設けられる。
【０００９】
被写体からの光は、レンズ鏡筒５０の撮影光学系１および絞り２を介してカメラ本体１００へ入射される。カメラ本体１００に入射した被写体光は、レリーズ前は破線で示すように位置するクイックリターンミラー（以下メインミラーと呼ぶ）３で上方のファインダー部へ導かれて拡散スクリーン６に結像する。また、カメラ本体１００に入射した被写体光の一部はサブミラー４で下方へ反射され、測距素子５にも入射する。測距素子５は、レンズ鏡筒５０による焦点調節状態を検出する焦点検出処理において用いられる。
【００１０】
拡散スクリーン６に結像した被写体光はさらに、コンデンサレンズ７を介してペンタプリズム８へ入射する。ペンタプリズム８は、入射された被写体光を接眼レンズ９へ導く。
【００１１】
レリーズ後はメインミラー３が実線で示される位置へ回動し、被写体光はフォーカルプレーンシャッタ１０を介して撮像素子１１へ導かれ、撮像面上に被写体像を結ぶ。撮像素子１１は、たとえば、画素に対応する複数の電荷蓄積型の光電変換素子を備えたＣＭＯＳイメージセンサなどによって構成される。撮像素子１１は、撮像面上の被写体像を撮像し、被写体像の明るさに応じた光電変換信号を出力する。
【００１２】
制御部１２は、画像処理部２１、焦点検出演算部２２、バッファメモリ２３、ＣＰＵ２４、レンズ駆動制御部２５、絞り駆動制御部２６およびフラッシュメモリ２７を含み、電子カメラが行う各処理を制御する。
【００１３】
画像処理部２１は、撮像素子１１から出力される光電変換信号をディジタルデータに変換し、変換後のデータに対して所定の画像処理を施す。ＣＰＵ２４は、カメラ内各部から出力される信号を入力して所定の演算を行い、演算結果に基づく制御信号を各部へ出力する。
【００１４】
焦点検出演算部２２は、測距素子５による検出信号を用いて公知の位相差方式の焦点検出演算を行う。この演算によって撮影光学系１による焦点調節状態（デフォーカス量）を求め、デフォーカス量に応じて撮影光学系１を構成するフォーカスレンズ（不図示）の移動方向および移動量を算出する。移動量情報は、レンズ駆動量制御部２５へ送出される。
【００１５】
レンズ駆動量制御部２５は、上記移動量情報に基づいてレンズ駆動機構１３へ駆動信号を送る。駆動信号を受けたレンズ駆動機構１３は、フォーカスレンズを光軸方向に進退移動させてフォーカス調節を行う。
【００１６】
ＣＰＵ２４は、焦点検出演算部２２で検出されたデフォーカス量に応じて焦点検出対象となっている主要被写体までの被写体距離を求める。たとえば、デフォーカス量と被写体距離との関係を示すデータをあらかじめフラッシュメモリ２７に格納しておくことにより、当該データを参照して被写体距離が求められる。
【００１７】
バッファメモリ２３は、画像処理部２１による画像処理前、画像処理後および画像処理途中のデータを一時的に記憶する他、デプスマップ情報の生成処理時のデータを一時的に記憶したり、記録媒体（不図示）へ記録する前の画像ファイルを記憶したり、記録媒体から読み出した画像ファイルを記憶したりするために使用される。記録媒体はカメラ本体１００に着脱自在に構成されており、半導体メモリを内蔵したメモリカード、またはハードディスクドライブなどで構成される。
【００１８】
フラッシュメモリ２７は、ＣＰＵ２４が実行するプログラムや、ＣＰＵ２４が行う処理に必要なデータなどを格納する。フラッシュメモリ２７が格納するプログラムやデータの内容は、ＣＰＵ２４からの指示によって追加、変更が可能に構成されている。
【００１９】
絞り駆動制御部２６は、ＣＰＵ２４から送出される絞り２の開駆動または閉駆動の指示に基づいて絞り駆動機構１４へ駆動信号を送る。該駆動信号を受けた絞り駆動機構１４は、絞り２の口径を変更するように駆動して所定の絞り値に調節する。
【００２０】
操作部材１５は、カメラ本体１００の各種ボタンやスイッチ類を含み、モード切替やメニュー操作など、各操作部材の操作内容に応じた操作信号を制御部１２へ出力する。後述する半押し操作信号は、レリーズボタンが通常ストロークの半分程度まで押し下げ操作されると出力され、半ストロークの押し下げ操作解除で出力が解除される。また、後述する全押し操作信号は、レリーズボタンが通常ストロークまで押し下げ操作されると出力され、通常ストロークの押し下げ操作が解除されると出力が解除される。
【００２１】
本実施形態の電子カメラは、撮像した画像のデプスマップ情報を生成する画像処理機能を備える。デプスマップ情報生成処理は、上述した制御部１２によって行う。ＣＰＵ２４は、操作部材１５を構成するメニュー操作スイッチからの操作信号が入力操作された場合、メニュー処理を行うためのメニュー操作画面を背面の表示部（不図示）に表示させる。そして、メニュー項目の中から「デプスマップ生成機能オン」項目の選択指示を示す操作信号が操作部材１５から入力された場合には、デプスマップ情報生成機能をオンさせる。
【００２２】
デプスマップ情報生成機能がオンの場合のＣＰＵ２４は、撮像後の画像データに対してデプスマップ情報生成処理を実行した上で、該画像データおよびデプスマップ情報を記録媒体（不図示）に記録させる。デプスマップ情報生成機能がオフの場合のＣＰＵ２４は、撮像後の画像データに対してデプスマップ情報生成処理を実行することなしに、該画像データを記録媒体（不図示）に記録させる。実行するデプスマップ情報生成処理の詳細については後述する。
【００２３】
＜撮影処理＞
ＣＰＵ２４は、デプスマップ情報生成機能がオン状態で、電子カメラのレリーズボタンの半押し操作に応じて操作部材１５から半押し操作信号が入力された場合に、図２のフローチャートによる撮影処理を起動させる。図２のステップＳ１１において、ＣＰＵ２４は、測光処理を行ってステップＳ１２へ進む。測光処理では、不図示の測光センサからの出力に基づいて撮像素子１１における結像面の明るさが求められる。
【００２４】
ステップＳ１２において、ＣＰＵ２４は、撮影条件の設定を行ってステップＳ１３へ進む。具体的には、上記結像面の明るさや、あらかじめ設定されている撮影モード（たとえば、プログラムオート、シャッタ秒時優先オートなど）に基づいて、ＩＳＯ感度、制御シャッタ秒時および制御絞り値を求める。
【００２５】
ステップＳ１３において、ＣＰＵ２４は、ＡＦ（自動焦点調節）処理を行ってステップＳ１４へ進む。ここで、フォーカス検出の対象とする領域（フォーカスエリア）は、たとえば、撮像される画面の略中央とする。
【００２６】
ステップＳ１４において、ＣＰＵ２４は撮影指示されたか否かを判定する。ＣＰＵ２４は、操作部材１５から全押し操作信号が入力された場合にステップＳ１４を肯定判定してステップＳ１５へ進む。ＣＰＵ２４は、操作部材１５から全押し操作信号が入力されない場合にはステップＳ１４を否定判定し、ステップＳ２５へ進む。
【００２７】
ステップＳ２５において、ＣＰＵ２４は、タイムアップか否かを判定する。ＣＰＵ２４は、半押し起動後に何も操作されない状態における計時時間が所定時間（たとえば１０秒）に達した場合にステップＳ２５を肯定判定し、図２による処理を終了する。ＣＰＵ２４は、計時時間が所定時間に満たない場合にはステップＳ２５を否定判定し、ステップＳ１１へ戻って上述した処理を繰り返す。
【００２８】
ステップＳ１５において、ＣＰＵ２４は本撮像処理を行ってステップＳ１６へ進む。これにより、メインミラー３がアップ駆動され、フォーカルプレーンシャッタ１１が開駆動され、ステップＳ１２で設定された撮影条件に基づいて撮像素子１１が本撮像用の画像データを取得する。ステップＳ１６において、ＣＰＵ２４は、撮像素子１１から画像処理部２１へ本撮像した画像データの読み出しを指示してステップＳ１７へ進む。
【００２９】
ステップＳ１７において、ＣＰＵ２４は、パンフォーカス設定をしてステップＳ１８へ進む。具体的には、絞り駆動制御部２６へ指示を送り、絞り２を最小口径絞りへ駆動させるとともに、後述するデプスマップ用の撮像におけるシャッタ秒時として、上記制御シャッタ秒時に替えてデプスマップ用撮像のためのシャッタ秒時（いわゆる電子シャッタによって制御する蓄積時間）をセットする。また、撮影光学系１のフォーカスレンズ（不図示）を至近被写体にピントが合う位置へ移動させる。
【００３０】
ステップＳ１８において、ＣＰＵ２４はデプスマップ用撮像処理を行ってステップＳ１９へ進む。デプスマップ用撮像は、メインミラー３をアップ駆動した状態で絞り値を変えながら行う。撮像素子１１は、後述するステップＳ２１までの処理を繰り返すことにより、絞り値が異なるデプスマップ用の画像データをたとえば、３０コマ／毎秒のペースで所定コマ分取得する。
【００３１】
ステップＳ１９において、ＣＰＵ２４は、撮像素子１１から画像処理部２１へデプスマップ用撮像した画像データの読み出しを指示してステップＳ２０へ進む。読み出されたデプスマップ用の画像データは、バッファメモリ２３内に一旦格納される。
【００３２】
図３は、パンフォーカス設定によって取得されたデプスマップ用取得画像を例示する図である。デプスマップ用画像は、本画像に比べて小さなデータサイズに設定されている。図３の例では、電子カメラに１番近い物体０から１番遠い物体８まで、９個の被写体が写っている。電子カメラからの各物体までの距離は、ｄ０＜ｄ１＜ｄ２＜ｄ３＜ｄ４＜ｄ５＜ｄ６＜ｄ７＜ｄ８である。ただし、ｄｎ（ｎ＝０，１…,８）は電子カメラから物体ｎまでの距離である。図３の場合、ほぼ全ての物体にピントが合う。
【００３３】
ステップＳ２０において、ＣＰＵ２４は絞り２を所定絞り値（たとえば開放絞り）まで開いているか否かを判定する。ＣＰＵ２４は、所定絞り値まで開いている場合にステップＳ２０を肯定判定してステップＳ２２へ進む。ＣＰＵ２４は、所定絞り値まで開いていない場合には、ステップＳ２０を否定判定してステップＳ２１へ進む。
【００３４】
ステップＳ２１において、ＣＰＵ２４は絞り２の口径を拡げ、次コマのデプスマップ用撮像のための設定をしてステップＳ１８へ戻る。具体的には、ＣＰＵ２４から指示を受けた絞り駆動制御部２６が所定絞り値まで該絞り２を駆動するとともに、次コマのデプスマップ用の撮像におけるシャッタ秒時を短くして絞り値の変更に応じた露出補正を行うことにより、コマ間の露出を揃えるように制御する。なお、絞り値（後述する絞りレベルに相当）の変更量（後述する絞りレベル差分に相当）は等間隔でなくてよく、絞り２の開放側ほど細かいステップで変更し、絞り２の最小側ほど広いステップで変更する。これにより、デプスマップの奥行き（後述する深さレベルに相当）を各コマで揃えることができる。
【００３５】
図４は、たとえば絞り２を最小絞りから所定値まで拡げた状態で取得されたデプスマップ用取得画像を例示する図である。図４の例では、電子カメラから最遠の物体８についてピントが外れている。
【００３６】
図５は、絞り２をさらに拡げた状態で取得されたデプスマップ用取得画像を例示する図である。図５の例では、電子カメラから最遠の物体８および、該物体８に次いで遠い物体７についてピントが外れている。
【００３７】
図６〜図１２も同様に、それぞれが所定の絞りレベル差ずつ異なる絞り値で取得されたデプスマップ用取得画像を例示する図である。図６〜図１２では、絞り２を拡げるにつれて、撮影距離が遠い物体から順にピントが外れている。
【００３８】
ステップＳ２２において、ＣＰＵ２４は、本画像データに所定の画像処理を施して画像ファイル化する指示を出してステップＳ２３へ進む。ステップＳ２３において、ＣＰＵ２４は、デプスマップ用の画像データに基づいてデプスマップ情報を生成してステップＳ２４へ進む。デプスマップ情報生成処理の詳細については後述する。
【００３９】
ステップＳ２４において、ＣＰＵ２４は、本画像データを含む画像ファイルとデプスマップ情報とを記録媒体に記録するように指示して図２による処理を終了する。
【００４０】
＜デプスマップ情報生成処理＞
デプスマップ情報生成処理の詳細について、図１４のフローチャートを参照して説明する。図１４のステップＳ２３１において、ＣＰＵ２４は、バッファメモリ２３内に格納されているデプスマップ用の画像データのうち、画像Pic(t)および画像Pic(t-1)を特定してステップＳ２３２へ進む。本例では、たとえば、最小口径絞り（絞りレベル８とする）から開放絞り（絞りレベル０とする）まで絞り値を９段階に変え、９コマのデプスマップ用の画像を得るものとする。この場合に、絞りレベル８（初期値）として最初に特定される画像は、図３に例示した画像Pic(8)、および図４に例示した画像Pic(7)である。
【００４１】
ステップＳ２３２において、ＣＰＵ２４は画像Pic(t)および画像Pic(t-1)に分割処理を行ってステップ２３３へ進む。具体的には、デプスマップ用の画像を、縦、横それぞれ１０等分した１０×１０＝１００個のブロック（領域）に分割してステップＳ２３３へ進む。分割は、後述する減算処理をブロック単位で行うための便宜上のものである。
【００４２】
ステップＳ２３３において、ＣＰＵ２４は、分割処理後の画像Pic(t)および画像Pic(t-1)に対し、上記ブロック単位で減算処理を行ってステップＳ２３４へ進む。減算処理は、ブロック内の画素データに基づいて、たとえば、輪郭の鮮鋭度を示す情報（隣接差分データなど）をブロックごとに生成し、画像Pic(t)に関する鮮鋭度情報と画像Pic(t-1)に関する鮮鋭度情報との差をブロックごとに算出する。
【００４３】
ステップＳ２３４において、ＣＰＵ２４は、上記算出した差が所定差以上となるブロック（領域）を抽出してステップＳ２３５へ進む。たとえば、絞りレベル８の画像Pic(8):図３、および絞りレベル７の画像Pic(7):図４が特定されている場合は、差分処理によって物体８に対応するブロックにおいて所定差以上の差分が検出される。これは、図３および図４の間で物体８が合焦から非合焦へ変化することから、変化した物体８に対応するブロックが上記差として抽出されるためである。
【００４４】
ステップＳ２３５において、ＣＰＵ２４は、画像Pic(0)まで終了したか否かを判定する。ＣＰＵ２４は、後述するステップＳ２３７の処理によって絞りレベル０まで終了している場合に、ステップＳ２３５を肯定判定してステップＳ２３６へ進む。ＣＰＵ２４は、後述するステップＳ２３７の処理によって絞りレベル０まで終了していない場合には、ステップＳ２３５を否定判定してステップＳ２３７へ進む。
【００４５】
ステップＳ２３７において、ＣＰＵ２４は、ｔの値から１を引いてステップＳ２３１へ戻る。ステップＳ２３１へ戻った場合は、減算後のｔに基づく画像Pic(t)および画像Pic(t-1)について、上述した処理と同様の処理を繰り返す。
【００４６】
図４〜図１２において、それぞれ物体ｎが合焦から非合焦へ変化した場合の非合焦をグレー表示で表している。グレー表示は、非合焦へ変化した物体ｎに対応するブロックが差分として抽出されたことを表す。
【００４７】
図１５は、デプスマップ情報の一例であるテーブルを説明する図である。たとえば、絞りレベル差分「８−７」は、絞りレベルが８の画像Pic(8):図３と、絞りレベルが７の画像Pic(7):図４との間で行う減算処理を表す。その隣の「反応エリア」は、当該減算処理で所定差以上の差分が現れた領域（物体８）を表す。さらに隣の「深さレベル」は、当該領域（物体８）の奥行き＝深さレベル（８）を表す。深さレベルは、深いほど被写体距離が長く（最大８）、浅いほど被写体距離が近い（最小０）。図１５によれば、最小口径絞りに近いほど（絞りレベル８に近いほど）深さレベルが深く、開放絞りに近いほど（絞りレベル０に近いほど）深さレベルが浅いことを示す。
【００４８】
ステップＳ２３６において、ＣＰＵ２４は、図１５に例示したデプスマップ情報をバッファメモリ２３内に一旦格納して図１４による処理を終了する。
【００４９】
デプスマップ情報は、図１５に例示したテーブルデータの代わりに、あるいはテーブルデータに加えて、図１３に例示するデプスマップ画像として格納してもよい。図１５によれば、深さレベルによって画像が領域分割されている。そして、深さレベル８と７を１つにまとめ、深さレベル６と５を１つにまとめ、深さレベル４と３を１つにまとめ、深さレベル２と１を１つにまとめることにより、全５段階（領域０−領域４）に分割した例である。分割領域０−４は、デプスマップ画像の画素濃度を異ならせたり、模様や色成分を異ならせたりすることにより、領域を判別しやすくすることができる。なお、図１５における領域の輪郭が図３〜図１２における物体の輪郭と合致しないのは、図１３が分割処理（ステップＳ２３２）後のブロック単位で領域を分けていることによる。
【００５０】
以上説明した実施形態によれば、次の作用効果が得られる。
（１）電子カメラは、撮影光学系１を介して被写体像を撮像する撮像素子１１と、撮影光学系１の絞り２を変えながら撮像素子１１に複数コマの画像を撮像させるとともに、複数コマの画像に基づいて撮像画像を複数の領域に分割するための分割情報を生成するＣＰＵ２４とを備えるので、電子カメラで得た画像の領域分割情報を簡単に得ることができる。
【００５１】
（２）ＣＰＵ２４は、撮影距離に対応させた奥行きの深さに応じて撮像画像を複数の領域に分割するための分割情報を生成するので、画像の深さ方向の分布状態を示すデプスマップ情報を簡単に得ることができる。
【００５２】
（３）ＣＰＵ２４は、複数コマの各画像について、撮像時の絞り口径が最も近い他のコマの画像との間で減算処理を行い、該減算値および絞り口径に基づいて分割情報を生成するので、単純な減算処理を行うことによって上記デプスマップ情報が得られる。
【００５３】
（４）ＣＰＵ２４は、所定値より大きい減算値が得られた画像領域と、当該減算値の減算処理に用いた画像の撮像時の絞り口径とを関連づけるので、大きな減算値に対応する画像領域のピント状態がどの絞り口径において変化したかがわかるようになる。
【００５４】
（５）ＣＰＵ２４は、絞り口径が最小口径に近いほど奥行きを深くし、絞り口径が開放に近いほど奥行きを浅くするので、奥行きの深い／浅いと撮影距離の長い／短いを対応させることができる。
【００５５】
（６）ＣＰＵ２４は、所定値より大きい減算値が得られた画像領域を奥行きごとに異なる態様で示すデプスマップ画像を生成したので、ピント状態が変化した画像領域を絞り口径ごとにわかりやすく表現できる。
【００５６】
（７）ＣＰＵ２４は、所定値より大きい減算値が得られた画像領域と、奥行きを示す情報とを関連づけるテーブルデータを生成したので、デプスマップ画像のデータサイズに比べて小さなデータサイズで分割情報を保存することができる。
【００５７】
（８）電子カメラのＣＰＵ２４は、データを記録媒体に記録する処理をさらに行うようにしてもよい。この場合のＣＰＵ２４は、撮影光学系の絞りを変えながら撮像素子１１に複数コマの副画像を撮像させ、複数コマの副画像に基づいて撮像素子１１で撮像された本画像を複数の領域に分割するための分割情報を生成し、本画像のデータおよび分割情報のデータを記録媒体に記録する。これにより、本画像データと分割情報の双方を記録媒体に保存することができる。また、分割情報の生成には本画像に比べてデータサイズが小さい副画像を用いることで、分割情報生成に要する処理の負担を軽くすることができる。
【００５８】
（９）ＣＰＵ２４はさらに、減算処理を行う際に副画像をブロック化して行うようにしたので、ブロック化しない場合に比べて、減算処理を含む分割情報生成に要する処理の負担を軽くすることができる。
【００５９】
（変形例１）
一眼レフタイプの電子カメラを例に説明したが、一眼レフ以外のタイプの電子カメラにも本発明を適用してよい。また、絞り値が異なるデプスマップ用画像の取得を本撮像の後に行う例を説明したが、本撮像の前、たとえばライブビュー表示機能を具備するカメラ場合にライブビュー画像の取得時にデプスマップ用の画像を取得するように構成してもよい。
【００６０】
（変形例２）
絞り値が異なるデプスマップ用画像を取得する際、絞り口径を小絞りから拡げる方向に絞り２を変えながら取得する例を説明したが、反対に、口径を拡げた状態から絞る方向へ絞り２を変えながらデプスマップ用の画像を取得するように構成してもよい。
【００６１】
（変形例３）
上記実施形態では、撮影光学系１の絞り２を変えながら複数コマの副画像を撮像する撮像処理が済んでから、当該複数コマの副画像に基づいて撮像素子１１で撮像された本画像を複数の領域に分割するための分割情報を生成するようにした。この代わりに、減算処理に用いる少なくとも２コマ分の副画像を取得した時点で当該コマ間で減算処理を行う、いわゆる逐次処理を行うことによって副画像を取得するごとに減算処理を行いつつ、分割情報を生成してもよい。
【００６２】
（変形例４）
以上の説明では、電子カメラのＣＰＵ２４が実行する処理を例に説明したが、上述したデプスマップ情報生成処理（図１４）を行うプログラムを図１６に示すコンピュータ装置２００に実行させることにより、デプスマップ情報生成装置を構成してもよい。プログラムをパーソナルコンピュータ２００に取込んで使用する場合には、パーソナルコンピュータ２００のデータストレージ装置にプログラムをローディングした上で、当該プログラムを実行させることによってデプスマップ情報生成装置として使用する。
【００６３】
パーソナルコンピュータ２００に対するプログラムのローディングは、プログラムを格納したＣＤ−ＲＯＭなどの記録媒体２０４をパーソナルコンピュータ２００にセットして行ってもよいし、ネットワークなどの通信回線２０１を経由する方法でパーソナルコンピュータ２００へローディングしてもよい。通信回線２０１を経由する場合は、通信回線２０１に接続されたサーバー（コンピュータ）２０２のハードディスク装置２０３などにプログラムを格納しておく。プログラムは、記録媒体２０４や通信回線２０１を介する提供など、種々の形態のコンピュータプログラム製品として供給することができる。
【００６４】
（変形例５）
上述した電子カメラによって記録媒体に記録された本画像データおよびデプスマップ情報を用いて、本画像データに対する画像処理を行う画像処理装置を構成することもできる。この場合は、本画像データに対する画像処理を行うプログラムを図１６に示すコンピュータ装置２００に実行させることにより、画像処理装置を構成する。なお、電子カメラおよびコンピュータ装置２００間を接続して（有線接続でも無線接続でもよい）、電子カメラによって記録媒体に記録された本画像データおよびデプスマップ情報をコンピュータ装置２００へ送信し、コンピュータ装置２００が本画像データに対する画像処理を行う構成にしてもよい。
【００６５】
図１７は、画像処理プログラムの一例を説明するフローチャートである。図１７のステップＳ５１において、パーソナルコンピュータ２００は、記録媒体に記録されているデータの中から、指定された画像ファイルを特定してステップＳ５２へ進む。
【００６６】
ステップＳ５２において、ＣＰＵ２４は、特定した画像ファイルから本画像のデータを読み出してステップＳ５３へ進む。ステップＳ５３において、ＣＰＵ２４は、本画像データに関連付けられているデプスマップ情報を読み出してステップＳ５４へ進む。
【００６７】
ステップＳ５４において、ＣＰＵ２４は、本画像のデータに対して領域ごとに異なるフィルタ処理を施してステップＳ５５へ進む。具体的には、図１３に例示した分割領域（または図１５に例示した深さレベル）に対応させて本画像を分割し、各分割領域に含まれる本画像データに対して分割領域間で異なるフィルタ処理を施す。フィルタ処理は、たとえば、撮影距離が近い領域０、領域１および領域２に含まれる所定色成分などを強調または補正する処理を行う。
【００６８】
ステップＳ５５において、ＣＰＵ２４は、フィルタ処理後の本画像のデータを記録媒体に記録して図１７による処理を終了する。
【００６９】
上述したフィルタ処理として、分割領域間で異なる電子ぼかしを付加する処理や、分割領域間で異なる輪郭調整処理を施したり、分割領域間で異なるノイズリダクション処理を施したりしてもよい。
【００７０】
（変形例６）
上述したフィルタ処理の代わりに、所定の分割領域（たとえば、撮影距離が遠い背景）の画像をあらかじめ用意した合成用画像と入れ替える合成処理を行うようにしてもよい。
【００７１】
（変形例７）
また、上述したフィルタ処理の代わりに、三次元画像を表現する処理を行ってもよい。この場合には、三次元画像を表現する際、デプスマップ情報に応じた深さレベルの方向（奥行き方向）に該三次元画像のデータを配置する。
【００７２】
以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。
【符号の説明】
【００７３】
１…撮影光学系
２…絞り
１１…撮像素子
１２…制御部
２１…画像処理部
２２…焦点検出演算部
２３…バッファメモリ
２４…ＣＰＵ
２５…レンズ駆動制御部
２６…絞り駆動制御部
２７…フラッシュメモリ
５０…レンズ鏡筒
１００…カメラ本体
【技術分野】
【０００１】
本発明は、撮像装置、画像処理装置に関する。
【背景技術】
【０００２】
画像を構成する画素について、画面に対して垂直な方向の位置を表す奥行き情報（デプスマップ）が知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１４１６６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１では、複数のカメラでそれぞれ取得された画像を画像処理することによってデプスマップ情報（画像の領域分割情報）を取得するので、複数のカメラが必要で演算処理が複雑という問題があった。
【課題を解決するための手段】
【０００５】
本発明による撮像装置は、撮影光学系を介して被写体像を撮像する撮像素子と、撮影光学系の絞りを変えながら撮像素子に複数コマの画像を撮像させる制御手段と、複数コマの画像に基づいて撮像画像を複数の領域に分割するための分割情報を生成する分割情報生成手段とを備えることを特徴とする。
本発明による画像処理装置は、撮影光学系を介して被写体像を撮像する撮像素子で本画像を撮像し、撮影光学系の絞りを変えながら撮像素子で複数コマの副画像を撮像し、複数コマの副画像に基づいて本画像を複数の領域に分割するための分割情報を生成し、分割情報に基づいて、本画像に対して複数の領域単位で所定の画像処理を行うことを特徴とする。
【発明の効果】
【０００６】
本発明によれば、画像の領域分割情報を簡単に得ることができる。
【図面の簡単な説明】
【０００７】
【図１】本発明の一実施の形態による電子カメラの要部構成を説明する図である。
【図２】撮影処理の流れを説明するフローチャートである。
【図３】デプスマップ用取得画像を例示する図である。
【図４】デプスマップ用取得画像を例示する図である。
【図５】デプスマップ用取得画像を例示する図である。
【図６】デプスマップ用取得画像を例示する図である。
【図７】デプスマップ用取得画像を例示する図である。
【図８】デプスマップ用取得画像を例示する図である。
【図９】デプスマップ用取得画像を例示する図である。
【図１０】デプスマップ用取得画像を例示する図である。
【図１１】デプスマップ用取得画像を例示する図である。
【図１２】デプスマップ用取得画像を例示する図である。
【図１３】デプスマップ画像を例示する図である。
【図１４】デプスマップ情報生成処理の詳細について説明するフローチャートである。
【図１５】デプスマップ情報テーブルを例示する図である。
【図１６】コンピュータ装置を例示する図である。
【図１７】画像処理プログラムの一例を説明するフローチャートである。
【発明を実施するための形態】
【０００８】
以下、図面を参照して本発明を実施するための形態について説明する。図１は、本発明の一実施の形態による電子カメラの要部構成を説明する図である。図１において、カメラ本体１００に対して着脱可能に構成されるレンズ鏡筒５０が装着されている。また、カメラ本体１００の背面には表示部（不図示）が設けられる。
【０００９】
被写体からの光は、レンズ鏡筒５０の撮影光学系１および絞り２を介してカメラ本体１００へ入射される。カメラ本体１００に入射した被写体光は、レリーズ前は破線で示すように位置するクイックリターンミラー（以下メインミラーと呼ぶ）３で上方のファインダー部へ導かれて拡散スクリーン６に結像する。また、カメラ本体１００に入射した被写体光の一部はサブミラー４で下方へ反射され、測距素子５にも入射する。測距素子５は、レンズ鏡筒５０による焦点調節状態を検出する焦点検出処理において用いられる。
【００１０】
拡散スクリーン６に結像した被写体光はさらに、コンデンサレンズ７を介してペンタプリズム８へ入射する。ペンタプリズム８は、入射された被写体光を接眼レンズ９へ導く。
【００１１】
レリーズ後はメインミラー３が実線で示される位置へ回動し、被写体光はフォーカルプレーンシャッタ１０を介して撮像素子１１へ導かれ、撮像面上に被写体像を結ぶ。撮像素子１１は、たとえば、画素に対応する複数の電荷蓄積型の光電変換素子を備えたＣＭＯＳイメージセンサなどによって構成される。撮像素子１１は、撮像面上の被写体像を撮像し、被写体像の明るさに応じた光電変換信号を出力する。
【００１２】
制御部１２は、画像処理部２１、焦点検出演算部２２、バッファメモリ２３、ＣＰＵ２４、レンズ駆動制御部２５、絞り駆動制御部２６およびフラッシュメモリ２７を含み、電子カメラが行う各処理を制御する。
【００１３】
画像処理部２１は、撮像素子１１から出力される光電変換信号をディジタルデータに変換し、変換後のデータに対して所定の画像処理を施す。ＣＰＵ２４は、カメラ内各部から出力される信号を入力して所定の演算を行い、演算結果に基づく制御信号を各部へ出力する。
【００１４】
焦点検出演算部２２は、測距素子５による検出信号を用いて公知の位相差方式の焦点検出演算を行う。この演算によって撮影光学系１による焦点調節状態（デフォーカス量）を求め、デフォーカス量に応じて撮影光学系１を構成するフォーカスレンズ（不図示）の移動方向および移動量を算出する。移動量情報は、レンズ駆動量制御部２５へ送出される。
【００１５】
レンズ駆動量制御部２５は、上記移動量情報に基づいてレンズ駆動機構１３へ駆動信号を送る。駆動信号を受けたレンズ駆動機構１３は、フォーカスレンズを光軸方向に進退移動させてフォーカス調節を行う。
【００１６】
ＣＰＵ２４は、焦点検出演算部２２で検出されたデフォーカス量に応じて焦点検出対象となっている主要被写体までの被写体距離を求める。たとえば、デフォーカス量と被写体距離との関係を示すデータをあらかじめフラッシュメモリ２７に格納しておくことにより、当該データを参照して被写体距離が求められる。
【００１７】
バッファメモリ２３は、画像処理部２１による画像処理前、画像処理後および画像処理途中のデータを一時的に記憶する他、デプスマップ情報の生成処理時のデータを一時的に記憶したり、記録媒体（不図示）へ記録する前の画像ファイルを記憶したり、記録媒体から読み出した画像ファイルを記憶したりするために使用される。記録媒体はカメラ本体１００に着脱自在に構成されており、半導体メモリを内蔵したメモリカード、またはハードディスクドライブなどで構成される。
【００１８】
フラッシュメモリ２７は、ＣＰＵ２４が実行するプログラムや、ＣＰＵ２４が行う処理に必要なデータなどを格納する。フラッシュメモリ２７が格納するプログラムやデータの内容は、ＣＰＵ２４からの指示によって追加、変更が可能に構成されている。
【００１９】
絞り駆動制御部２６は、ＣＰＵ２４から送出される絞り２の開駆動または閉駆動の指示に基づいて絞り駆動機構１４へ駆動信号を送る。該駆動信号を受けた絞り駆動機構１４は、絞り２の口径を変更するように駆動して所定の絞り値に調節する。
【００２０】
操作部材１５は、カメラ本体１００の各種ボタンやスイッチ類を含み、モード切替やメニュー操作など、各操作部材の操作内容に応じた操作信号を制御部１２へ出力する。後述する半押し操作信号は、レリーズボタンが通常ストロークの半分程度まで押し下げ操作されると出力され、半ストロークの押し下げ操作解除で出力が解除される。また、後述する全押し操作信号は、レリーズボタンが通常ストロークまで押し下げ操作されると出力され、通常ストロークの押し下げ操作が解除されると出力が解除される。
【００２１】
本実施形態の電子カメラは、撮像した画像のデプスマップ情報を生成する画像処理機能を備える。デプスマップ情報生成処理は、上述した制御部１２によって行う。ＣＰＵ２４は、操作部材１５を構成するメニュー操作スイッチからの操作信号が入力操作された場合、メニュー処理を行うためのメニュー操作画面を背面の表示部（不図示）に表示させる。そして、メニュー項目の中から「デプスマップ生成機能オン」項目の選択指示を示す操作信号が操作部材１５から入力された場合には、デプスマップ情報生成機能をオンさせる。
【００２２】
デプスマップ情報生成機能がオンの場合のＣＰＵ２４は、撮像後の画像データに対してデプスマップ情報生成処理を実行した上で、該画像データおよびデプスマップ情報を記録媒体（不図示）に記録させる。デプスマップ情報生成機能がオフの場合のＣＰＵ２４は、撮像後の画像データに対してデプスマップ情報生成処理を実行することなしに、該画像データを記録媒体（不図示）に記録させる。実行するデプスマップ情報生成処理の詳細については後述する。
【００２３】
＜撮影処理＞
ＣＰＵ２４は、デプスマップ情報生成機能がオン状態で、電子カメラのレリーズボタンの半押し操作に応じて操作部材１５から半押し操作信号が入力された場合に、図２のフローチャートによる撮影処理を起動させる。図２のステップＳ１１において、ＣＰＵ２４は、測光処理を行ってステップＳ１２へ進む。測光処理では、不図示の測光センサからの出力に基づいて撮像素子１１における結像面の明るさが求められる。
【００２４】
ステップＳ１２において、ＣＰＵ２４は、撮影条件の設定を行ってステップＳ１３へ進む。具体的には、上記結像面の明るさや、あらかじめ設定されている撮影モード（たとえば、プログラムオート、シャッタ秒時優先オートなど）に基づいて、ＩＳＯ感度、制御シャッタ秒時および制御絞り値を求める。
【００２５】
ステップＳ１３において、ＣＰＵ２４は、ＡＦ（自動焦点調節）処理を行ってステップＳ１４へ進む。ここで、フォーカス検出の対象とする領域（フォーカスエリア）は、たとえば、撮像される画面の略中央とする。
【００２６】
ステップＳ１４において、ＣＰＵ２４は撮影指示されたか否かを判定する。ＣＰＵ２４は、操作部材１５から全押し操作信号が入力された場合にステップＳ１４を肯定判定してステップＳ１５へ進む。ＣＰＵ２４は、操作部材１５から全押し操作信号が入力されない場合にはステップＳ１４を否定判定し、ステップＳ２５へ進む。
【００２７】
ステップＳ２５において、ＣＰＵ２４は、タイムアップか否かを判定する。ＣＰＵ２４は、半押し起動後に何も操作されない状態における計時時間が所定時間（たとえば１０秒）に達した場合にステップＳ２５を肯定判定し、図２による処理を終了する。ＣＰＵ２４は、計時時間が所定時間に満たない場合にはステップＳ２５を否定判定し、ステップＳ１１へ戻って上述した処理を繰り返す。
【００２８】
ステップＳ１５において、ＣＰＵ２４は本撮像処理を行ってステップＳ１６へ進む。これにより、メインミラー３がアップ駆動され、フォーカルプレーンシャッタ１１が開駆動され、ステップＳ１２で設定された撮影条件に基づいて撮像素子１１が本撮像用の画像データを取得する。ステップＳ１６において、ＣＰＵ２４は、撮像素子１１から画像処理部２１へ本撮像した画像データの読み出しを指示してステップＳ１７へ進む。
【００２９】
ステップＳ１７において、ＣＰＵ２４は、パンフォーカス設定をしてステップＳ１８へ進む。具体的には、絞り駆動制御部２６へ指示を送り、絞り２を最小口径絞りへ駆動させるとともに、後述するデプスマップ用の撮像におけるシャッタ秒時として、上記制御シャッタ秒時に替えてデプスマップ用撮像のためのシャッタ秒時（いわゆる電子シャッタによって制御する蓄積時間）をセットする。また、撮影光学系１のフォーカスレンズ（不図示）を至近被写体にピントが合う位置へ移動させる。
【００３０】
ステップＳ１８において、ＣＰＵ２４はデプスマップ用撮像処理を行ってステップＳ１９へ進む。デプスマップ用撮像は、メインミラー３をアップ駆動した状態で絞り値を変えながら行う。撮像素子１１は、後述するステップＳ２１までの処理を繰り返すことにより、絞り値が異なるデプスマップ用の画像データをたとえば、３０コマ／毎秒のペースで所定コマ分取得する。
【００３１】
ステップＳ１９において、ＣＰＵ２４は、撮像素子１１から画像処理部２１へデプスマップ用撮像した画像データの読み出しを指示してステップＳ２０へ進む。読み出されたデプスマップ用の画像データは、バッファメモリ２３内に一旦格納される。
【００３２】
図３は、パンフォーカス設定によって取得されたデプスマップ用取得画像を例示する図である。デプスマップ用画像は、本画像に比べて小さなデータサイズに設定されている。図３の例では、電子カメラに１番近い物体０から１番遠い物体８まで、９個の被写体が写っている。電子カメラからの各物体までの距離は、ｄ０＜ｄ１＜ｄ２＜ｄ３＜ｄ４＜ｄ５＜ｄ６＜ｄ７＜ｄ８である。ただし、ｄｎ（ｎ＝０，１…,８）は電子カメラから物体ｎまでの距離である。図３の場合、ほぼ全ての物体にピントが合う。
【００３３】
ステップＳ２０において、ＣＰＵ２４は絞り２を所定絞り値（たとえば開放絞り）まで開いているか否かを判定する。ＣＰＵ２４は、所定絞り値まで開いている場合にステップＳ２０を肯定判定してステップＳ２２へ進む。ＣＰＵ２４は、所定絞り値まで開いていない場合には、ステップＳ２０を否定判定してステップＳ２１へ進む。
【００３４】
ステップＳ２１において、ＣＰＵ２４は絞り２の口径を拡げ、次コマのデプスマップ用撮像のための設定をしてステップＳ１８へ戻る。具体的には、ＣＰＵ２４から指示を受けた絞り駆動制御部２６が所定絞り値まで該絞り２を駆動するとともに、次コマのデプスマップ用の撮像におけるシャッタ秒時を短くして絞り値の変更に応じた露出補正を行うことにより、コマ間の露出を揃えるように制御する。なお、絞り値（後述する絞りレベルに相当）の変更量（後述する絞りレベル差分に相当）は等間隔でなくてよく、絞り２の開放側ほど細かいステップで変更し、絞り２の最小側ほど広いステップで変更する。これにより、デプスマップの奥行き（後述する深さレベルに相当）を各コマで揃えることができる。
【００３５】
図４は、たとえば絞り２を最小絞りから所定値まで拡げた状態で取得されたデプスマップ用取得画像を例示する図である。図４の例では、電子カメラから最遠の物体８についてピントが外れている。
【００３６】
図５は、絞り２をさらに拡げた状態で取得されたデプスマップ用取得画像を例示する図である。図５の例では、電子カメラから最遠の物体８および、該物体８に次いで遠い物体７についてピントが外れている。
【００３７】
図６〜図１２も同様に、それぞれが所定の絞りレベル差ずつ異なる絞り値で取得されたデプスマップ用取得画像を例示する図である。図６〜図１２では、絞り２を拡げるにつれて、撮影距離が遠い物体から順にピントが外れている。
【００３８】
ステップＳ２２において、ＣＰＵ２４は、本画像データに所定の画像処理を施して画像ファイル化する指示を出してステップＳ２３へ進む。ステップＳ２３において、ＣＰＵ２４は、デプスマップ用の画像データに基づいてデプスマップ情報を生成してステップＳ２４へ進む。デプスマップ情報生成処理の詳細については後述する。
【００３９】
ステップＳ２４において、ＣＰＵ２４は、本画像データを含む画像ファイルとデプスマップ情報とを記録媒体に記録するように指示して図２による処理を終了する。
【００４０】
＜デプスマップ情報生成処理＞
デプスマップ情報生成処理の詳細について、図１４のフローチャートを参照して説明する。図１４のステップＳ２３１において、ＣＰＵ２４は、バッファメモリ２３内に格納されているデプスマップ用の画像データのうち、画像Pic(t)および画像Pic(t-1)を特定してステップＳ２３２へ進む。本例では、たとえば、最小口径絞り（絞りレベル８とする）から開放絞り（絞りレベル０とする）まで絞り値を９段階に変え、９コマのデプスマップ用の画像を得るものとする。この場合に、絞りレベル８（初期値）として最初に特定される画像は、図３に例示した画像Pic(8)、および図４に例示した画像Pic(7)である。
【００４１】
ステップＳ２３２において、ＣＰＵ２４は画像Pic(t)および画像Pic(t-1)に分割処理を行ってステップ２３３へ進む。具体的には、デプスマップ用の画像を、縦、横それぞれ１０等分した１０×１０＝１００個のブロック（領域）に分割してステップＳ２３３へ進む。分割は、後述する減算処理をブロック単位で行うための便宜上のものである。
【００４２】
ステップＳ２３３において、ＣＰＵ２４は、分割処理後の画像Pic(t)および画像Pic(t-1)に対し、上記ブロック単位で減算処理を行ってステップＳ２３４へ進む。減算処理は、ブロック内の画素データに基づいて、たとえば、輪郭の鮮鋭度を示す情報（隣接差分データなど）をブロックごとに生成し、画像Pic(t)に関する鮮鋭度情報と画像Pic(t-1)に関する鮮鋭度情報との差をブロックごとに算出する。
【００４３】
ステップＳ２３４において、ＣＰＵ２４は、上記算出した差が所定差以上となるブロック（領域）を抽出してステップＳ２３５へ進む。たとえば、絞りレベル８の画像Pic(8):図３、および絞りレベル７の画像Pic(7):図４が特定されている場合は、差分処理によって物体８に対応するブロックにおいて所定差以上の差分が検出される。これは、図３および図４の間で物体８が合焦から非合焦へ変化することから、変化した物体８に対応するブロックが上記差として抽出されるためである。
【００４４】
ステップＳ２３５において、ＣＰＵ２４は、画像Pic(0)まで終了したか否かを判定する。ＣＰＵ２４は、後述するステップＳ２３７の処理によって絞りレベル０まで終了している場合に、ステップＳ２３５を肯定判定してステップＳ２３６へ進む。ＣＰＵ２４は、後述するステップＳ２３７の処理によって絞りレベル０まで終了していない場合には、ステップＳ２３５を否定判定してステップＳ２３７へ進む。
【００４５】
ステップＳ２３７において、ＣＰＵ２４は、ｔの値から１を引いてステップＳ２３１へ戻る。ステップＳ２３１へ戻った場合は、減算後のｔに基づく画像Pic(t)および画像Pic(t-1)について、上述した処理と同様の処理を繰り返す。
【００４６】
図４〜図１２において、それぞれ物体ｎが合焦から非合焦へ変化した場合の非合焦をグレー表示で表している。グレー表示は、非合焦へ変化した物体ｎに対応するブロックが差分として抽出されたことを表す。
【００４７】
図１５は、デプスマップ情報の一例であるテーブルを説明する図である。たとえば、絞りレベル差分「８−７」は、絞りレベルが８の画像Pic(8):図３と、絞りレベルが７の画像Pic(7):図４との間で行う減算処理を表す。その隣の「反応エリア」は、当該減算処理で所定差以上の差分が現れた領域（物体８）を表す。さらに隣の「深さレベル」は、当該領域（物体８）の奥行き＝深さレベル（８）を表す。深さレベルは、深いほど被写体距離が長く（最大８）、浅いほど被写体距離が近い（最小０）。図１５によれば、最小口径絞りに近いほど（絞りレベル８に近いほど）深さレベルが深く、開放絞りに近いほど（絞りレベル０に近いほど）深さレベルが浅いことを示す。
【００４８】
ステップＳ２３６において、ＣＰＵ２４は、図１５に例示したデプスマップ情報をバッファメモリ２３内に一旦格納して図１４による処理を終了する。
【００４９】
デプスマップ情報は、図１５に例示したテーブルデータの代わりに、あるいはテーブルデータに加えて、図１３に例示するデプスマップ画像として格納してもよい。図１５によれば、深さレベルによって画像が領域分割されている。そして、深さレベル８と７を１つにまとめ、深さレベル６と５を１つにまとめ、深さレベル４と３を１つにまとめ、深さレベル２と１を１つにまとめることにより、全５段階（領域０−領域４）に分割した例である。分割領域０−４は、デプスマップ画像の画素濃度を異ならせたり、模様や色成分を異ならせたりすることにより、領域を判別しやすくすることができる。なお、図１５における領域の輪郭が図３〜図１２における物体の輪郭と合致しないのは、図１３が分割処理（ステップＳ２３２）後のブロック単位で領域を分けていることによる。
【００５０】
以上説明した実施形態によれば、次の作用効果が得られる。
（１）電子カメラは、撮影光学系１を介して被写体像を撮像する撮像素子１１と、撮影光学系１の絞り２を変えながら撮像素子１１に複数コマの画像を撮像させるとともに、複数コマの画像に基づいて撮像画像を複数の領域に分割するための分割情報を生成するＣＰＵ２４とを備えるので、電子カメラで得た画像の領域分割情報を簡単に得ることができる。
【００５１】
（２）ＣＰＵ２４は、撮影距離に対応させた奥行きの深さに応じて撮像画像を複数の領域に分割するための分割情報を生成するので、画像の深さ方向の分布状態を示すデプスマップ情報を簡単に得ることができる。
【００５２】
（３）ＣＰＵ２４は、複数コマの各画像について、撮像時の絞り口径が最も近い他のコマの画像との間で減算処理を行い、該減算値および絞り口径に基づいて分割情報を生成するので、単純な減算処理を行うことによって上記デプスマップ情報が得られる。
【００５３】
（４）ＣＰＵ２４は、所定値より大きい減算値が得られた画像領域と、当該減算値の減算処理に用いた画像の撮像時の絞り口径とを関連づけるので、大きな減算値に対応する画像領域のピント状態がどの絞り口径において変化したかがわかるようになる。
【００５４】
（５）ＣＰＵ２４は、絞り口径が最小口径に近いほど奥行きを深くし、絞り口径が開放に近いほど奥行きを浅くするので、奥行きの深い／浅いと撮影距離の長い／短いを対応させることができる。
【００５５】
（６）ＣＰＵ２４は、所定値より大きい減算値が得られた画像領域を奥行きごとに異なる態様で示すデプスマップ画像を生成したので、ピント状態が変化した画像領域を絞り口径ごとにわかりやすく表現できる。
【００５６】
（７）ＣＰＵ２４は、所定値より大きい減算値が得られた画像領域と、奥行きを示す情報とを関連づけるテーブルデータを生成したので、デプスマップ画像のデータサイズに比べて小さなデータサイズで分割情報を保存することができる。
【００５７】
（８）電子カメラのＣＰＵ２４は、データを記録媒体に記録する処理をさらに行うようにしてもよい。この場合のＣＰＵ２４は、撮影光学系の絞りを変えながら撮像素子１１に複数コマの副画像を撮像させ、複数コマの副画像に基づいて撮像素子１１で撮像された本画像を複数の領域に分割するための分割情報を生成し、本画像のデータおよび分割情報のデータを記録媒体に記録する。これにより、本画像データと分割情報の双方を記録媒体に保存することができる。また、分割情報の生成には本画像に比べてデータサイズが小さい副画像を用いることで、分割情報生成に要する処理の負担を軽くすることができる。
【００５８】
（９）ＣＰＵ２４はさらに、減算処理を行う際に副画像をブロック化して行うようにしたので、ブロック化しない場合に比べて、減算処理を含む分割情報生成に要する処理の負担を軽くすることができる。
【００５９】
（変形例１）
一眼レフタイプの電子カメラを例に説明したが、一眼レフ以外のタイプの電子カメラにも本発明を適用してよい。また、絞り値が異なるデプスマップ用画像の取得を本撮像の後に行う例を説明したが、本撮像の前、たとえばライブビュー表示機能を具備するカメラ場合にライブビュー画像の取得時にデプスマップ用の画像を取得するように構成してもよい。
【００６０】
（変形例２）
絞り値が異なるデプスマップ用画像を取得する際、絞り口径を小絞りから拡げる方向に絞り２を変えながら取得する例を説明したが、反対に、口径を拡げた状態から絞る方向へ絞り２を変えながらデプスマップ用の画像を取得するように構成してもよい。
【００６１】
（変形例３）
上記実施形態では、撮影光学系１の絞り２を変えながら複数コマの副画像を撮像する撮像処理が済んでから、当該複数コマの副画像に基づいて撮像素子１１で撮像された本画像を複数の領域に分割するための分割情報を生成するようにした。この代わりに、減算処理に用いる少なくとも２コマ分の副画像を取得した時点で当該コマ間で減算処理を行う、いわゆる逐次処理を行うことによって副画像を取得するごとに減算処理を行いつつ、分割情報を生成してもよい。
【００６２】
（変形例４）
以上の説明では、電子カメラのＣＰＵ２４が実行する処理を例に説明したが、上述したデプスマップ情報生成処理（図１４）を行うプログラムを図１６に示すコンピュータ装置２００に実行させることにより、デプスマップ情報生成装置を構成してもよい。プログラムをパーソナルコンピュータ２００に取込んで使用する場合には、パーソナルコンピュータ２００のデータストレージ装置にプログラムをローディングした上で、当該プログラムを実行させることによってデプスマップ情報生成装置として使用する。
【００６３】
パーソナルコンピュータ２００に対するプログラムのローディングは、プログラムを格納したＣＤ−ＲＯＭなどの記録媒体２０４をパーソナルコンピュータ２００にセットして行ってもよいし、ネットワークなどの通信回線２０１を経由する方法でパーソナルコンピュータ２００へローディングしてもよい。通信回線２０１を経由する場合は、通信回線２０１に接続されたサーバー（コンピュータ）２０２のハードディスク装置２０３などにプログラムを格納しておく。プログラムは、記録媒体２０４や通信回線２０１を介する提供など、種々の形態のコンピュータプログラム製品として供給することができる。
【００６４】
（変形例５）
上述した電子カメラによって記録媒体に記録された本画像データおよびデプスマップ情報を用いて、本画像データに対する画像処理を行う画像処理装置を構成することもできる。この場合は、本画像データに対する画像処理を行うプログラムを図１６に示すコンピュータ装置２００に実行させることにより、画像処理装置を構成する。なお、電子カメラおよびコンピュータ装置２００間を接続して（有線接続でも無線接続でもよい）、電子カメラによって記録媒体に記録された本画像データおよびデプスマップ情報をコンピュータ装置２００へ送信し、コンピュータ装置２００が本画像データに対する画像処理を行う構成にしてもよい。
【００６５】
図１７は、画像処理プログラムの一例を説明するフローチャートである。図１７のステップＳ５１において、パーソナルコンピュータ２００は、記録媒体に記録されているデータの中から、指定された画像ファイルを特定してステップＳ５２へ進む。
【００６６】
ステップＳ５２において、ＣＰＵ２４は、特定した画像ファイルから本画像のデータを読み出してステップＳ５３へ進む。ステップＳ５３において、ＣＰＵ２４は、本画像データに関連付けられているデプスマップ情報を読み出してステップＳ５４へ進む。
【００６７】
ステップＳ５４において、ＣＰＵ２４は、本画像のデータに対して領域ごとに異なるフィルタ処理を施してステップＳ５５へ進む。具体的には、図１３に例示した分割領域（または図１５に例示した深さレベル）に対応させて本画像を分割し、各分割領域に含まれる本画像データに対して分割領域間で異なるフィルタ処理を施す。フィルタ処理は、たとえば、撮影距離が近い領域０、領域１および領域２に含まれる所定色成分などを強調または補正する処理を行う。
【００６８】
ステップＳ５５において、ＣＰＵ２４は、フィルタ処理後の本画像のデータを記録媒体に記録して図１７による処理を終了する。
【００６９】
上述したフィルタ処理として、分割領域間で異なる電子ぼかしを付加する処理や、分割領域間で異なる輪郭調整処理を施したり、分割領域間で異なるノイズリダクション処理を施したりしてもよい。
【００７０】
（変形例６）
上述したフィルタ処理の代わりに、所定の分割領域（たとえば、撮影距離が遠い背景）の画像をあらかじめ用意した合成用画像と入れ替える合成処理を行うようにしてもよい。
【００７１】
（変形例７）
また、上述したフィルタ処理の代わりに、三次元画像を表現する処理を行ってもよい。この場合には、三次元画像を表現する際、デプスマップ情報に応じた深さレベルの方向（奥行き方向）に該三次元画像のデータを配置する。
【００７２】
以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。
【符号の説明】
【００７３】
１…撮影光学系
２…絞り
１１…撮像素子
１２…制御部
２１…画像処理部
２２…焦点検出演算部
２３…バッファメモリ
２４…ＣＰＵ
２５…レンズ駆動制御部
２６…絞り駆動制御部
２７…フラッシュメモリ
５０…レンズ鏡筒
１００…カメラ本体
【特許請求の範囲】
【請求項１】
撮影光学系を介して被写体像を撮像する撮像素子と、
前記撮影光学系の絞りを変えながら前記撮像素子に複数コマの画像を撮像させる制御手段と、
前記複数コマの画像に基づいて前記撮像画像を複数の領域に分割するための分割情報を生成する分割情報生成手段とを備えることを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記分割情報生成手段は、撮影距離に対応させた奥行きの深さに応じて前記撮像画像を複数の領域に分割するための分割情報を生成することを特徴とする撮像装置。
【請求項３】
請求項２に記載の撮像装置において、
前記分割情報生成手段は、前記複数コマの各画像について、撮像時の絞り口径が最も近い他のコマの画像との間で減算処理を行い、該減算値および前記絞り口径に基づいて前記分割情報を生成することを特徴とする撮像装置。
【請求項４】
請求項３に記載の撮像装置において、
前記分割情報生成手段は、所定値より大きい前記減算値が得られた画像領域と、当該減算値の減算処理に用いた画像の撮像時の絞り口径とを関連づけることを特徴とする撮像装置。
【請求項５】
請求項４に記載の撮像装置において、
前記分割情報生成手段は、前記絞り口径が最小口径に近いほど前記奥行きを深くし、前記絞り口径が開放に近いほど前記奥行きを浅くすることを特徴とする撮像装置。
【請求項６】
請求項５に記載の撮像装置において、
前記分割情報生成手段は、前記所定値より大きい前記減算値が得られた画像領域を、前記奥行きごとに異なる態様で示した分布画像を生成することを特徴とする撮像装置。
【請求項７】
請求項５または６に記載の撮像装置において、
前記分割情報生成手段は、前記所定値より大きい前記減算値が得られた画像領域と、前記奥行きを示す情報とを関連づけるテーブルデータを生成することを特徴とする撮像装置。
【請求項８】
請求項１〜７のいずれか一項に記載の撮像装置において、
データを記録媒体に記録する記録手段をさらに備え、
前記制御手段は、前記撮影光学系の絞りを変えながら前記撮像素子に複数コマの副画像を撮像させ、
前記分割情報生成手段は、前記複数コマの副画像に基づいて前記撮像素子で撮像された本画像を複数の領域に分割するための分割情報を生成し、
前記記録手段は、前記本画像のデータおよび前記分割情報のデータを前記記録媒体に記録することを特徴とする撮像装置。
【請求項９】
撮影光学系を介して被写体像を撮像する撮像素子で本画像を撮像し、
前記撮影光学系の絞りを変えながら前記撮像素子で複数コマの副画像を撮像し、
前記複数コマの副画像に基づいて前記本画像を複数の領域に分割するための分割情報を生成し、
前記分割情報に基づいて、前記本画像に対して前記複数の領域単位で所定の画像処理を行う画像処理手段とを備えることを特徴とする画像処理装置。
【請求項１】
撮影光学系を介して被写体像を撮像する撮像素子と、
前記撮影光学系の絞りを変えながら前記撮像素子に複数コマの画像を撮像させる制御手段と、
前記複数コマの画像に基づいて前記撮像画像を複数の領域に分割するための分割情報を生成する分割情報生成手段とを備えることを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記分割情報生成手段は、撮影距離に対応させた奥行きの深さに応じて前記撮像画像を複数の領域に分割するための分割情報を生成することを特徴とする撮像装置。
【請求項３】
請求項２に記載の撮像装置において、
前記分割情報生成手段は、前記複数コマの各画像について、撮像時の絞り口径が最も近い他のコマの画像との間で減算処理を行い、該減算値および前記絞り口径に基づいて前記分割情報を生成することを特徴とする撮像装置。
【請求項４】
請求項３に記載の撮像装置において、
前記分割情報生成手段は、所定値より大きい前記減算値が得られた画像領域と、当該減算値の減算処理に用いた画像の撮像時の絞り口径とを関連づけることを特徴とする撮像装置。
【請求項５】
請求項４に記載の撮像装置において、
前記分割情報生成手段は、前記絞り口径が最小口径に近いほど前記奥行きを深くし、前記絞り口径が開放に近いほど前記奥行きを浅くすることを特徴とする撮像装置。
【請求項６】
請求項５に記載の撮像装置において、
前記分割情報生成手段は、前記所定値より大きい前記減算値が得られた画像領域を、前記奥行きごとに異なる態様で示した分布画像を生成することを特徴とする撮像装置。
【請求項７】
請求項５または６に記載の撮像装置において、
前記分割情報生成手段は、前記所定値より大きい前記減算値が得られた画像領域と、前記奥行きを示す情報とを関連づけるテーブルデータを生成することを特徴とする撮像装置。
【請求項８】
請求項１〜７のいずれか一項に記載の撮像装置において、
データを記録媒体に記録する記録手段をさらに備え、
前記制御手段は、前記撮影光学系の絞りを変えながら前記撮像素子に複数コマの副画像を撮像させ、
前記分割情報生成手段は、前記複数コマの副画像に基づいて前記撮像素子で撮像された本画像を複数の領域に分割するための分割情報を生成し、
前記記録手段は、前記本画像のデータおよび前記分割情報のデータを前記記録媒体に記録することを特徴とする撮像装置。
【請求項９】
撮影光学系を介して被写体像を撮像する撮像素子で本画像を撮像し、
前記撮影光学系の絞りを変えながら前記撮像素子で複数コマの副画像を撮像し、
前記複数コマの副画像に基づいて前記本画像を複数の領域に分割するための分割情報を生成し、
前記分割情報に基づいて、前記本画像に対して前記複数の領域単位で所定の画像処理を行う画像処理手段とを備えることを特徴とする画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１０−２１９７４１（Ｐ２０１０−２１９７４１Ａ）
【公開日】平成２２年９月３０日（２０１０．９．３０）
【国際特許分類】
【出願番号】特願２００９−６２６４１（Ｐ２００９−６２６４１）
【出願日】平成２１年３月１６日（２００９．３．１６）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２２年９月３０日（２０１０．９．３０）
【国際特許分類】
【出願日】平成２１年３月１６日（２００９．３．１６）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]