撮像装置
【課題】距離情報を用いた画像処理の結果を短時間で取得する。
【解決手段】撮像装置は、共通の被写体の撮影を行う２つの撮像部を備える。メイン撮像部における撮影構図の確定後、サブ撮像部においてフォーカスレンズの位置を所定量ずつずらしながら高フレームレートにて連続撮影を行うことで焦点位置の異なる複数のサブ画像を取得し、複数のサブ画像の画像信号に基づき各被写体の被写体距離を表す距離情報を生成する。距離情報の生成後又は距離情報の生成と並行して、メイン撮像部においてパンフォーカスを用い、メイン画像を撮影する。画像処理部は、距離情報を用いてメイン画像の合焦状態を調整することにより目標結果画像を生成する。
【解決手段】撮像装置は、共通の被写体の撮影を行う２つの撮像部を備える。メイン撮像部における撮影構図の確定後、サブ撮像部においてフォーカスレンズの位置を所定量ずつずらしながら高フレームレートにて連続撮影を行うことで焦点位置の異なる複数のサブ画像を取得し、複数のサブ画像の画像信号に基づき各被写体の被写体距離を表す距離情報を生成する。距離情報の生成後又は距離情報の生成と並行して、メイン撮像部においてパンフォーカスを用い、メイン画像を撮影する。画像処理部は、距離情報を用いてメイン画像の合焦状態を調整することにより目標結果画像を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルスチルカメラ、デジタルビデオカメラ等の撮像装置に関する。
【背景技術】
【０００２】
撮影画像の合焦状態を画像処理によって調整することで、画像の撮影後に任意の被写体に合焦した画像を生成する方法（例えば特許文献１参照）が提案されており、この方法を実現する処理の一種はデジタルフォーカスとも呼ばれている。
【０００３】
上記の画像処理の一種では、各被写体の被写体距離を表す距離情報が利用され、距離情報を元に、主要被写体（合焦せしめられるべき被写体）から離れた部分をぼかす処理が行われる。通常、画像に基づいて距離情報を生成するには、異なる視点から撮影された複数の画像が必要となる。撮像装置に設けられた撮像部（撮像系）が１つである場合、主画像の撮影前又は撮影後において視点をずらした副画像を別途撮影し、主画像及び副画像を用いて距離情報を生成することも可能であるが、このような方法はユーザ負担（時間的拘束など）が重くなりがちである。これに対し、２つの撮像部（撮像系）を撮像装置に設けておけば、２つの撮像部による２枚の撮影画像に基づき、三角測量の原理を用いて距離情報を生成することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−２５２２９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、２つの撮像部による２枚の撮影画像に基づく、三角測量の原理を用いた距離情報の生成処理は、必要計算量が相応に多く、距離情報が得られるまでに必要な待ち時間も相応に長くなる。少ない待ち時間で合焦状態調整後の画像（例えば、任意の被写体に合焦した画像）を生成することができれば、当然に有益である。これは、合焦状態調整用の画像処理に限らず、距離情報を用いた画像処理を実行する任意の撮像装置において当てはまる。
【０００６】
そこで本発明は、距離情報を用いた画像処理の結果が得られるまでの待ち時間短縮に寄与する撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る撮像装置は、第１画像を撮影する第１撮像部と、焦点位置が互いに異なる状態で複数の第２画像を連続的に撮影する第２撮像部と、前記複数の第２画像に基づき前記第１画像上の被写体の距離情報を生成する距離情報生成部と、前記距離情報を用いた画像処理を前記第１画像に行う画像処理部と、を備えたことを特徴とする。
【０００８】
当該撮像装置によれば、第１画像の撮影を待たずとも複数の第２画像から距離情報を生成することができる。従って、第１画像の撮影完了後、距離情報を用いた画像処理を直ちに行うことが可能となり、画像処理の結果が得られるまでの待ち時間が短縮される。
【０００９】
具体的に例えば、前記被写体は、主要被写体及び非主要被写体を含んでいても良く、前記画像処理は、前記距離情報を用いて前記第１画像上の前記非主要被写体をぼかす処理を含んでいてもよい。
【００１０】
また例えば、前記第１撮像部若しくは前記第２撮像部の撮影結果に基づく画像信号に基づいて、又は、操作部に対して与えられた主要被写体指定操作に基づいて、前記主要被写体を設定する主要被写体設定部を、当該撮像装置に更に設けておいてもよい。
【００１１】
また例えば、当該撮像装置において、各第２画像の全体画像領域に複数の小ブロックが設定され、前記距離情報生成部は、各第２画像において前記小ブロックごとに当該小ブロックの画像信号に基づく評価値を導出し、前記複数の第２画像間において、互いに対応する小ブロックの評価値を比較することにより前記距離情報を生成してもよい。
【００１２】
また例えば、前記第２撮像部による前記被写体の撮影画像には第３画像が含まれ、前記画像処理部は、前記第３画像に対しても前記距離情報を用いた前記画像処理を行いうる。
【発明の効果】
【００１３】
本発明によれば、距離情報を用いた画像処理の結果が得られるまでの待ち時間短縮に寄与する撮像装置を提供することが可能である。
【図面の簡単な説明】
【００１４】
【図１】本発明の第１実施形態に係る撮像装置の概略全体ブロック図である。
【図２】図１に示される１つの撮像部の内部構成図である。
【図３】本発明の第１実施形態に係り、１枚のメイン画像とｎ枚のサブ画像から目標結果画像が得られる様子を示す図である。
【図４】１枚のメイン画像とｎ枚のサブ画像から目標結果画像を生成する動作のフローチャートである。
【図５】撮像装置と各被写体との距離関係を示す図である。
【図６】メイン画像上に主要被写体領域が設定される様子を示す図である。
【図７】高域評価部の内部ブロック図である。
【図８】各サブ画像の全体画像領域が複数の小ブロックに分割される様子を示す図である。
【図９】本発明の第２実施形態に係り、目標結果画像を得る動作に特に関与する部位のブロック図である。
【図１０】本発明の第２実施形態に係り、左眼画像及び右眼画像から２枚の目標結果画像が得られる様子を示す図である。
【図１１】本発明の第２実施形態に係り、目標結果画像を生成する動作のフローチャートである。
【発明を実施するための形態】
【００１５】
以下、本発明の実施形態の例を、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。尚、本明細書では、記述の簡略化上、情報、物理量、状態量又は部材等を参照する記号又は符号を記すことによって該記号又は符号に対応する情報、物理量、状態量又は部材等の名称を省略又は略記することがある。
【００１６】
＜＜第１実施形態＞＞
本発明の第１実施形態を説明する。図１は、本発明の第１実施形態に係る撮像装置１の概略全体ブロック図である。撮像装置１は、静止画像及び動画像を撮影及び記録可能なデジタルビデオカメラである。但し、撮像装置１は、静止画像のみを撮影及び記録可能なデジタルスチルカメラであっても良い。また、撮像装置１は、携帯電話機などの携帯端末に搭載されるものであっても良い。
【００１７】
撮像装置１は、撮像部１１Ａ及び信号処理部１２Ａから成る第１処理ユニットと、撮像部１１Ｂ及び信号処理部１２Ｂから成る第２処理ユニットとを有し、更に、符号１３〜２０によって参照される各部位を備える。第１処理ユニットと第２処理ユニットに、互いに同じ機能を持たせることができる。
【００１８】
図２は、撮像部１１Ａの内部構成図である。撮像部１１Ａは、ズームレンズ３０及びフォーカスレンズ３１を含む複数枚のレンズから成る光学系３５と、絞り３２と、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどから成る撮像素子（固体撮像素子）３３と、光学系３５や絞り３２を駆動制御するためのドライバ３４と、を有している。撮像素子３３は、光学系３５及び絞り３２を介して入射した撮影領域内の被写体の光学像を光電変換し、該光電変換により得られた電気信号（画像信号）を出力する。撮影領域とは、撮像装置１の撮影領域（視野）を指す。レンズ３０及び３１の位置並びに絞り３２の開度は、主制御部１３によって制御される。撮像部１１Ｂの内部構成及び機能は、撮像部１１Ａのそれらと同じである。但し、撮像部１１Ａが後述のパンフォーカスしか利用しない場合には、撮像部１１Ａのフォーカスレンズ３１の位置は固定されていても良い。
【００１９】
信号処理部１２Ａは、撮像部１１Ａの撮像素子３３の出力信号に対して所定の信号処理（デジタル化、信号増幅、ノイズ低減処理、デモザイキング処理など）を行い、信号処理後の画像信号を出力する。信号処理部１２Ｂは、撮像部１１Ｂの撮像素子３３の出力信号に対して所定の信号処理（デジタル化、信号増幅、ノイズ低減処理、デモザイキング処理など）を行い、信号処理後の画像信号を出力する。本明細書において、任意の画像を表す信号を画像信号と呼ぶ。撮像素子３３の出力信号も画像信号の一種である。本明細書では、或る画像の画像信号（画像データ）のことを、単に画像とも言う。また、撮像部１１Ａ又は１１Ｂの撮像素子３３の出力信号を、撮像部１１Ａ又は１１Ｂの出力信号（出力画像信号）とも言う。
【００２０】
主制御部１３は、撮像装置１内の各部位の動作を統括的に制御する。内部メモリ１４は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等にて形成され、撮像装置１内で生成された各種信号（データ）を一時的に記憶する。表示部１５は、液晶ディスプレイパネル等から成り、主制御部１３による制御の下、撮影画像や記録媒体１６に記録されている画像などを表示する。記録媒体１６は、カード状半導体メモリや磁気ディスク等の不揮発性メモリであり、主制御部１３による制御の下、撮影画像等を記録する。撮影画像とは、撮像部１１Ａ又は１１Ｂの撮像素子３３の出力信号に基づく、撮影領域の画像である。操作部１７は、ユーザからの各種操作を受け付ける。操作部１７に対するユーザの操作内容は、主制御部１３に伝達され、主制御部１３の制御の下、撮像装置１内の各部位は操作内容に応じた動作を行う。操作部１７にタッチパネルが含まれていても良い。
【００２１】
信号処理部１２Ａからの画像信号に基づく画像又は信号処理部１２Ｂからの画像信号に基づく画像を、主制御部１３による制御の下、出力選択部２０を介して表示部１５に出力することで当該画像を表示部１５上で表示することができる、或いは、主制御部１３による制御の下、出力選択部２０を介して記録媒体１６に出力することで当該画像を記録媒体１６に記録することができる。
【００２２】
撮像装置１は、撮像部１１Ａ及び１１Ｂの出力信号を用いて三角測量の原理に基づき被写体の距離情報を生成する機能、及び、撮像部１１Ａ及び１１Ｂによる撮影画像を用いて被写体の三次元情報を復元する機能を有していても良い。但し、以下では、撮像部１１Ａを主たる撮像部として用いる一方で撮像部１１Ｂを従たる撮像部として用いた特徴的動作αを説明する。
【００２３】
図３に、特徴的動作αの概念図を示す。特徴的動作αでは、撮像部１１Ａによって１枚のメイン画像ＩAが撮影され、一方で、撮像部１１Ｂにより複数のサブ画像ＩBが連続的に撮影される。この際、撮像部１１Ｂのフォーカスレンズ３１の位置を所定量ずつずらしながら複数のサブ画像ＩBを連続的に撮影することで、サブ画像ＩBの合焦状態を複数のサブ画像ＩB間で互いに異ならせる。複数のサブ画像ＩBを、記号ＩB［１］、ＩB［２］、・・・ＩB［ｎ］によって表す。ｎは２以上の整数である。ｐ及びｑが互いに異なる整数である場合、撮像部１１Ｂの焦点位置はサブ画像ＩB［ｐ］の撮影時とサブ画像ＩB［ｑ］の撮影時との間で異なる。即ち、サブ画像ＩB［１］〜ＩB［ｎ］は、撮像部１１Ｂの焦点位置が互いに異なる状態で連続的に撮影される。撮像部１１Ｂの焦点位置は、撮像部１１Ｂの光学系３５内の複数のレンズを単一の撮像レンズに見立てたときの、当該撮像レンズの焦点の位置である、と解釈しても良い。
【００２４】
メイン画像ＩA及びサブ画像ＩB［１］〜ＩB［ｎ］は共通の被写体の撮影画像であり、メイン画像ＩAに含まれる各被写体は、サブ画像ＩB［１］〜ＩB［ｎ］の夫々にも含まれている。例えば、サブ画像ＩB［１］〜ＩB［ｎ］の夫々の画角は、メイン画像ＩAの画角と略同じとされる。但し、サブ画像ＩB［１］〜ＩB［ｎ］の夫々の画角は、メイン画像ＩAの画角よりも大きくても構わない。
【００２５】
本実施形態では、メイン画像ＩA及びサブ画像ＩB［１］〜ＩB［ｎ］の撮影時における撮像部１１Ａ及び１１Ｂの撮影領域内に、犬である被写体ＳＵＢ1、人物である被写体ＳＵＢ2及び車である被写体ＳＵＢ3が存在していたとする。
【００２６】
図１の距離情報生成部１８は、サブ画像ＩB［１］〜ＩB［ｎ］の画像信号に基づき、メイン画像ＩA上の各被写体の被写体距離を表す距離情報を生成する。或る被写体の被写体距離とは、当該被写体と撮像装置１との間における、実空間上の距離を指す。距離情報は、自身を形成する各画素値が被写体距離の検出値を持つ距離画像であるとも言える。距離情報によって、メイン画像ＩAの任意の画素位置における被写体の被写体距離が特定されると共にサブ画像ＩB［ｉ］の任意の画素位置における被写体の被写体距離も特定される（ｉは整数）。図３に示す距離情報（距離画像）では、被写体距離が大きい部分ほど黒く示している。
【００２７】
図１の合焦状態調整部１９は、メイン画像ＩAに対して距離情報に基づく合焦状態調整処理を施し、合焦状態調整処理後のメイン画像ＩAを目標結果画像ＩCとして出力する。合焦状態調整処理は、メイン画像ＩAの一部をぼかすぼかし処理を含む（詳細は後述）。
【００２８】
特徴的動作αにおいて、撮像部１１Ａは所謂パンフォーカス（ディープフォーカス）を用いて撮影を行うことができ、これによって、メイン画像ＩAを含む撮像部１１Ａの撮影画像を、理想的な又は擬似的な全合焦画像とすることができる。全合焦画像とは、全合焦画像上に画像信号が存在する全ての被写体に対して合焦している画像を指す。パンフォーカスを用いて得られた撮像部１１Ａの撮影画像（メイン画像ＩAを含む）は十分に深い被写界深度を有し、撮像部１１Ａの撮影画像（メイン画像ＩAを含む）の被写界深度は、サブ画像ＩB［１］〜ＩB［ｎ］の夫々の被写界深度よりも深い。ここでは、説明の簡略化上、撮像部１１Ａ及び１１Ｂの撮影領域に収まる全被写体が、撮像部１１Ａの撮影画像（メイン画像ＩAを含む）の被写界深度内に収まっているものとする。
【００２９】
図４は、特徴的動作αの動作手順を表すフローチャートである。図４に沿って、特徴的動作αの手順を説明する。
【００３０】
まず、ステップＳ１１において、メイン撮像部である撮像部１１Ａがパンフォーカスにて撮影画像列を取得する。得られた撮影画像列は、動画像として表示部１５に表示される。撮影画像列とは、時系列で並ぶ撮影画像の集まりを指す。例えば、ステップＳ１１において、パンフォーカスを用い撮像部１１Ａが所定のフレームレートで撮影画像を順次取得することで、表示部１５に表示されるべき撮影画像列が取得される。ユーザは、表示部１５の表示内容を確認することで、撮像部１１Ａの画角及び被写体の様子を確認することができる。ステップＳ１１における撮影画像列の取得及び表示は、少なくとも後述のシャッタ操作が成されるまで継続される。
【００３１】
ステップＳ１１における撮影画像列の取得及び表示が行われている状態で、主制御部１３（主制御部１３に含まれる構図確定判断部）は、ステップＳ１２において撮影構図が確定したか否かを判断する。撮影構図が確定したと判断した場合にのみ、ステップＳ１２からステップＳ１３への移行が発生する。
【００３２】
例えば、撮像装置１の筐体の角加速度又は加速度を検出する動きセンサ（不図示）を撮像装置１に設けておくことができる。この場合、主制御部１３は、当該動きセンサの検出結果を用いて撮像装置１の動きを監視することができる。或いは、主制御部１３は、撮像部１１Ａ又は１１Ｂの出力信号からオプティカルフローを導出し、そのオプティカルフローに基づいて撮像装置１の動きを監視することができる。そして、撮像装置１の動きの監視結果に基づき、撮像装置１が静止したと判断される場合に、主制御部１３は、撮影構図が確定したと判断することができる。
【００３３】
ユーザが操作部１７に対して所定のズーム操作を成した際、主制御部１３の制御の下、撮像部１１Ａ及び１１Ｂにおいてズームレンズ３０が光学系３５内で移動せしめられて、撮像部１１Ａ及び１１Ｂの画角（即ち、光学ズーム倍率）が変更される。ズーム操作に従って撮像部１１Ａ及び１１Ｂの画角が変更された後、一定時間継続して、更なるズーム操作が成さなかったとき（即ち、撮像部１１Ａ及び１１Ｂの画角が固定されたとき）、主制御部１３は、撮影構図が確定したと判断してもよい。或いは、操作部１７に対して所定の画角確定操作（例えば、専用ボタンを押す操作）が成された場合に、主制御部１３は、撮影構図が確定したと判断してもよい。また、撮像装置１が静止しているか否かの第１判断と、撮像部１１Ａ及び１１Ｂの画角が固定されたか否かの第２判断（或いは操作部１７に対して所定の画角確定操作が成されたか否かの第２判断）とを組み合わせて用いて、主制御部１３は、撮影構図が確定したか否かを判断するようにしてもよい。
【００３４】
ステップＳ１３において、主制御部１３は、サブ撮像部である撮像部１１Ｂにてサブ画像ＩB［１］〜ＩB［ｎ］が連続的に撮影されるように撮像部１１Ｂを制御する。上述の如く、撮像部１１Ｂは、フォーカスレンズ３１の位置を所定量ずつずらしながらサブ画像ＩB［１］〜ＩB［ｎ］を連続的に撮影し、結果、サブ画像ＩBの合焦位置（換言すれば、サブ画像ＩBの合焦状態）は複数のサブ画像ＩB間で互いに異なる。また、短時間でサブ画像ＩB［１］〜ＩB［ｎ］の撮影を完了させるべく、比較的高いフレームレート（例えば、３００ｆｐｓ（frame per second））にてサブ画像ＩB［１］〜ＩB［ｎ］を撮影すると良い。
【００３５】
その後、ステップＳ１４において、距離情報生成部１８は、サブ画像ＩB［１］〜ＩB［ｎ］に基づき距離情報を生成する（距離情報の生成方法例は後述）。
【００３６】
一方、ステップＳ１５において、主制御部１３内の主要被写体設定部２５（図１参照）は、主要被写体を設定し、その設定結果を含む主要被写体情報を生成する。ステップＳ１５において、メイン画像ＩAに存在する何れかの被写体が主要被写体に設定される。
【００３７】
主要被写体設定部２５は、ユーザ操作によることなく、撮像部１１Ａ又は１１Ｂの撮影結果を表す撮像部１１Ａ又は１１Ｂの出力画像信号に基づき、主要被写体を設定することができる。例えば、撮像部１１Ａの出力画像信号に基づき、主要被写体設定部２５は、撮像部１１Ａの撮影画像上に存在する特定種類の物体を検出し、検出した特定種類の物体を主要被写体に設定することができる（撮像部１１Ｂの出力画像信号を用いる場合も同様）。特定種類の物体は、例えば、任意の人物、予め登録された特定の人物、任意の動物、又は、動物体である。撮像部１１Ａの撮影画像上に存在する動物体とは、撮像部１１Ａの撮影画像列上で動く物体を指す。撮像部１１Ａ又は１１Ｂの出力画像信号に基づいて主要被写体を設定する際、構図に関する情報を更に利用することもできる。例えば、主要被写体は撮影画像の中央部分又は中央周辺に存在している確率が高いという知識を利用して、主要被写体を設定してもよい。設定された主要被写体を取り囲む枠を、表示部１５に表示された撮影画像上に重畳表示するとよい。
【００３８】
撮影者であるユーザは、操作部１７に対し、主要被写体を指定するための主要被写体指定操作を成すことができ、主要被写体指定操作が成された場合、主要被写体設定部２５は、主要被写体指定操作に従って主要被写体を設定してもよい。例えば、操作部１７にタッチパネル（不図示）を設けておき、撮像部１１Ａの撮影画像が表示部１５に表示されている状態において、操作部１７は、表示部１５に表示された撮影画像上の何れかの被写体を指定する主要被写体指定操作を、タッチパネル操作（タッチパネルを触れる操作）にて受け付ける。この場合、タッチパネル操作にて指定された被写体を主要被写体に設定すれば良い。
【００３９】
主要被写体設定部２５は、撮像部１１Ａ又は１１Ｂの出力画像信号に基づき主要被写体の候補を複数設定して複数の候補を表示部１５に表示させてもよい。この場合、ユーザが複数の候補の中から主要被写体を選択するタッチパネル操作又はタッチパネル操作以外の操作（ボタン操作など）を操作部１７に成すことで、主要被写体を設定することができる。
【００４０】
図４のステップＳ１５にて生成される主要被写体情報は、撮像部１１Ａの撮影画像（メイン画像ＩAを含む）上において主要被写体の画像信号が存在する画像領域（以下、主要被写体領域と呼ぶ）を特定する。
【００４１】
ステップＳ１２における撮影構図の確定後、ユーザは、操作部１７に対して所定のシャッタ操作を成す。シャッタ操作が成されると、ステップＳ１６において、撮像部１１Ａはパンフォーカスにてメイン画像ＩAを撮影する。ステップＳ１３の連続撮影処理及びステップＳ１４の距離情報生成処理を、又は、少なくともステップＳ１３の連続撮影処理を、メイン画像ＩAの撮影完了前に完了しておくことが望ましい。これを実現すべく、サブ画像ＩB［１］〜ＩB［ｎ］の撮影時における撮像部１１Ｂのフレームレートを、撮像部１１Ａのフレームレートよりも高く設定すると良い。ステップＳ１４の距離情報生成処理は、メイン画像ＩAの撮影動作と並行して成されうる。図４の動作手順例では、ステップＳ１３及びＳ１４の処理後にステップＳ１６の撮影処理が成される。周知の如く、撮像部１１Ａのフレームレートは、単位時間当たりに撮像部１１Ａにて撮影される画像（フレーム）の枚数を表す。撮像部１１Ｂのフレームレートも同様である。また、図４では、ステップＳ１３及びＳ１４の処理後であって且つステップＳ１６の処理前に、ステップＳ１５における処理が成されているが、ステップＳ１５における主要被写体設定用の処理は、撮影構図が確定したと判断された後であって且つ後述のステップＳ１７の処理が成されるまでの任意のタイミングで成されてもよい。
【００４２】
メイン画像ＩAの撮影後、ステップＳ１７において、合焦状態調整部１９は、主要被写体情報及び距離情報を用いた合焦状態調整処理をメイン画像ＩAに対して施し、合焦状態調整処理後のメイン画像ＩAを目標結果画像ＩCとして出力する。続くステップＳ１８において、目標結果画像ＩCの画像信号が出力選択部２０を介して表示部１５及び記録媒体１６に出力されることで、目標結果画像ＩCが表示部１５で表示されると共に記録媒体１６に記録される。目標結果画像ＩCと共に、メイン画像ＩA又はサブ画像ＩB［１］〜ＩB［ｎ］を記録媒体１６に記録させておくことも可能である。或いは、メイン画像ＩAと距離情報（距離画像）を記録媒体１６に記録させておくことも可能である。
【００４３】
合焦状態調整処理には、主要被写体の被写体距離と異なる被写体距離を有する被写体をぼかすぼかし処理が含まれる。合焦状態調整処理に、主要被写体領域内の画像のエッジを強調するエッジ強調処理などを、更に含めておいても良い。
【００４４】
図５及び図６を参照して、ぼかし処理の内容を説明する。図５に示す如く、被写体ＳＵＢ1、ＳＵＢ2及びＳＵＢ3の被写体距離を夫々記号ｄ1、ｄ2及びｄ3にて表し、不等式「０＜ｄ1＜ｄ2＜ｄ3」が成立することを想定する。また、被写体ＳＵＢ1、ＳＵＢ2及びＳＵＢ3の内、被写体ＳＵＢ2が主要被写体に設定されたことを想定する。この場合、図６の斜線領域に相当する、被写体ＳＵＢ2の画像信号が存在する画像領域が、主要被写体領域としてメイン画像ＩAに設定される。
【００４５】
合焦状態調整部１９は、ぼかし処理において、主要被写体ＳＵＢ2の被写体距離ｄ2と異なる被写体距離を有する被写体（以下、非主要被写体という）をぼかす。より厳密には、距離（ｄ2−ΔｄA）以下の被写体距離を有する被写体、及び、距離（ｄ2＋ΔｄB）以上の被写体距離を有する被写体が、非主要被写体である。ΔｄA及びΔｄBは、目標結果画像ＩCの被写界深度の大きさ（深さ）に応じて定まる正の距離値である。ユーザは、操作部１７に対する操作を介して、目標結果画像ＩCの被写界深度の大きさ（深さ）を指定することもできる。
【００４６】
ここでは、被写体ＳＵＢ2以外の全ての被写体（ＳＵＢ1及びＳＵＢ3並びに背景を含む）が、非主要被写体であったとする。そうすると、メイン画像ＩAの全体画像領域の内、主要被写体領域以外の画像領域がぼかし対象領域に設定され、ぼかし対象領域内の画像がぼかし処理によってぼかされる。ぼかし処理は、ぼかし対象領域内の画像の空間周波数成分の内、比較的高い空間周波数成分を低減させるローパスフィルタ処理であっても良い。ぼかし処理を、空間フィルタリング又は周波数フィルタリングによって実現することができる。
【００４７】
合焦状態調整部１９は、ぼかし処理において、距離情報に基づき非主要被写体ＳＵＢ1をぼかす際、非主要被写体ＳＵＢ1の被写体距離ｄ1と主要被写体ＳＵＢ2の被写体距離ｄ2との差分距離ｄ12が大きくなればなるほど、非主要被写体ＳＵＢ1に対するぼかし強度を増大させる（ｄ12＝｜ｄ1−ｄ2｜）。非主要被写体ＳＵＢ1以外の非主要被写体についても同様である。非主要被写体ＳＵＢ1に対するぼかし強度が大きいほど、目標結果画像ＩCにおいて、非主要被写体ＳＵＢ1の像はより大きくぼける。例えば、ガウシアンフィルタを用いた空間フィルタリングにてぼかし処理を実現する場合、差分距離ｄ12が増大するにつれてガウシアンフィルタのフィルタサイズを増大させることにより、非主要被写体ＳＵＢ1に対するぼかし強度を増大させることができる。
【００４８】
図３に示される目標結果画像ＩCは、上述の想定下で得られた目標結果画像ＩCの例である。図３では、画像のぼけを被写体の輪郭線の太さによって表現している。
【００４９】
尚、上述の説明とは異なるが、主要被写体ＳＵＢ2の被写体距離ｄ2と同じ被写体距離を有する被写体ＳＵＢ4（不図示）を、非主要被写体に含めることも可能である。ここで、被写体ＳＵＢ4は、被写体ＳＵＢ1〜ＳＵＢ3と共にメイン画像ＩA及びサブ画像ＩB［１］〜ＩB［ｎ］上に現われる、被写体ＳＵＢ1〜ＳＵＢ3以外の被写体である。例えば、主要被写体設定部２５は、上述した方法によって、被写体ＳＵＢ1〜ＳＵＢ4の内、被写体ＳＵＢ2のみを主要被写体に設定することができ、主要被写体ＳＵＢ2以外の全ての被写体（被写体ＳＵＢ1、ＳＵＢ3及びＳＵＢ4を含む）を非主要被写体に設定することができる。この場合、被写体ＳＵＢ1及びＳＵＢ3の画像信号が存在する画像領域だけでなく被写体ＳＵＢ4の画像信号が存在する画像領域も、ぼかし対象領域に含められてぼかし処理によりぼかされる。
【００５０】
次に、サブ画像ＩB［１］〜ＩB［ｎ］に基づく距離情報の生成方法例を説明する。図７及び図８を参照する。図７は、距離情報の生成に利用される高域評価部６０の内部ブロック図である。高域評価部６０を、距離情報生成部１８に設けておくことができる。
【００５１】
高域評価部６０は、図８に示す如く、サブ画像ＩB［１］〜ＩB［ｎ］の夫々の全体画像領域をｍ個に分割することにより、サブ画像ＩB［１］〜ＩB［ｎ］の夫々にｍ個の小ブロックを設定する（ｍは２以上の整数）。サブ画像ＩB［ｉ］におけるｊ番目の小ブロックを記号ＢＬ［ｉ，ｊ］にて表す（ｉ及びｊは整数であって、１≦ｉ≦ｎ、１≦ｊ≦ｍ）。各サブ画像において、ｍ個の小ブロックの大きさは互いに同じであるとする。サブ画像ＩB［１］上における小ブロックＢＬ［１，ｊ］の位置、サブ画像ＩB［２］上における小ブロックＢＬ［２，ｊ］の位置、・・・及び、サブ画像ＩB［ｎ］上における小ブロックＢＬ［ｎ，ｊ］の位置は互いに同じであり、結果、小ブロックＢＬ［１，ｊ］、ＢＬ［２，ｊ］、・・・及びＢＬ［ｎ，ｊ］は互いに対応している。
【００５２】
図７に示す如く、高域評価部６０は、抽出部６１、ＨＰＦ（ハイパスフィルタ）６２及び積算部６３を備える。高域評価部６０は、サブ画像ごとに且つ小ブロックごとにブロック評価値（高周波成分値）を算出する。従って、１枚のサブ画像に対してｍ個のブロック評価値が算出される。
【００５３】
抽出部６１には、サブ画像の画像信号が入力される。抽出部６１は、入力された画像信号の中から輝度信号を抽出する。ＨＰＦ６２は、抽出部６１によって抽出された輝度信号中から高周波成分を抽出する。ＨＰＦ６２にて抽出される高周波成分は、比較的高い周波数を有する特定の空間周波数成分であり、特定の空間周波数成分は、所定範囲内の周波数を有する空間周波数成分であるとも言え、所定周波数以上の周波数を有する空間周波数成分であるとも言える。例えば、ＨＰＦ６２を所定のフィルタサイズを有するラプラシアンフィルタにて形成し、そのラプラシアンフィルタをサブ画像の各画素に作用させる空間フィルタリングを行う。そうすると、ＨＰＦ６２からは、そのラプラシアンフィルタのフィルタ特性に応じた出力値が順次得られる。積算部６３は、ＨＰＦ６２によって抽出された高周波成分の大きさ（即ち、ＨＰＦ６２の出力値の絶対値）を積算する。１枚のサブ画像に対し、この積算は小ブロックごとに行われ、或る小ブロック内における高周波成分の大きさの積算値を、その小ブロックのブロック評価値とする。小ブロックごとにブロック評価値を求める演算処理をサブ画像ごとに行うことで、サブ画像ごとにｍ個のブロック評価値が求められる。
【００５４】
距離情報生成部１８は、サブ画像ＩB［１］〜ＩB［ｎ］間において、互いに対応する小ブロックのブロック評価値を比較することで距離情報を生成する。
【００５５】
生成される距離情報は、小ブロックごとの距離情報にて形成される。１番目の小ブロックＢＬ［ｉ，１］に対応する距離情報の生成方法を説明する。距離情報生成部１８は、小ブロックＢＬ［１，１］〜ＢＬ［ｎ，１］に対して求められたｎ個のブロック評価値ＶＡＬ［１，１］〜ＶＡＬ［ｎ，１］の内、最大値を特定し、最大値に対応するサブ画像を合焦サブ画像として特定する。例えば、ブロック評価値ＶＡＬ［１，１］〜ＶＡＬ［ｎ，１］の内、ブロック評価値ＶＡＬ［２，１］が最大であるならば、ブロック評価値ＶＡＬ［２，１］に対応するサブ画像ＩB［２］が合焦サブ画像として特定される。この場合、サブ画像ＩB［２］の撮影時における、撮像部１１Ｂ内のフォーカスレズ３１の位置に基づき、１番目の小ブロックＢＬ［ｉ，１］に対応する距離情報を求める。他の小ブロックに対応する距離情報も同様にして求められる。
【００５６】
サブ画像と同様にして、メイン画像ＩAの夫々にもｍ個の小ブロックを設定することができ、ｊ番目の小ブロックＢＬ［ｉ，ｊ］に対応する距離情報は、メイン画像ＩAにおけるｊ番目の小ブロックの距離情報として機能する。サブ画像ＩB［ｉ］におけるｊ番目の小ブロックＢＬ［ｉ，ｊ］内の被写体と、メイン画像ＩAにおけるｊ番目の小ブロック内の被写体は、互いに共通である。小ブロックＢＬ［ｉ，ｊ］に対応する距離情報は、メイン画像ＩAにおけるｊ番目の小ブロック内の各被写体の被写体距離を指し示す。
【００５７】
２つの撮像部を備えた撮像装置において、２つの撮像部にて同時撮影した第１及び第２画像に基づき三角測量の原理を用いて距離情報を生成し、その後、距離情報を用いて第１画像に対する合焦状態調整処理を行う、といった方法も考えられる。但し、この方法では、第１画像の撮影後、距離情報の演算処理が完了するまで合焦状態調整処理を行うことができず、目標結果画像を得るまでの待ち時間が長くなる。これに対し、本実施形態では、メイン画像の撮影完了時に距離情報の生成が完了しているため、メイン画像の撮影完了後、直ちに合焦状態調整処理を行うことができ、目標結果画像を得るまでの待ち時間が短縮される。
【００５８】
＜＜第２実施形態＞＞
本発明の第２実施形態を説明する。第２実施形態は、第１実施形態を基礎とする実施形態であり、第１実施形態にて述べた事項は、矛盾なき限り、第２実施形態にも適用される。第２実施形態では、上記撮像装置１にて実行可能な他の画像処理を説明する。
【００５９】
図９は、第２実施形態の画像処理動作に特に関与する部位のブロック図である。図９の合焦状態調整部１９は、図１のそれと同じものである。
【００６０】
撮像部１１Ａ及び１１Ｂは、互いに視差を有するステレオカメラを形成している。ステレオカメラの構成要素としての撮像部１１Ａ及び１１Ｂによる撮影画像を夫々左眼画像及び右眼画像と呼ぶ。左眼画像及び右眼画像は、共通の被写体の撮影画像である。図１０において、画像３１０及び３２０は左眼画像及び右眼画像の例である。画像３１０及び３２０の夫々には、共通の被写体として被写体ＳＵＢ1〜ＳＵＢ3が存在している。左眼画像３１０は撮像部１１Ａの視点から見た被写体（ＳＵＢ1〜ＳＵＢ3を含む）の撮影画像であり、右眼画像３２０は撮像部１１Ｂの視点から見た被写体（ＳＵＢ1〜ＳＵＢ3を含む）の撮影画像である。撮像部１１Ａ及び１１Ｂの視点は互いに異なる。画像３１０及び３２０は、通常、共通の画角を有するが、画像３１０及び３２０の内、一方の画角が他方の画角に内包されていても良い。
【００６１】
第２実施形態に係る合焦状態調整部１９は、左眼画像３１０及び右眼画像３２０の夫々に対して距離情報に基づく合焦状態調整処理を施すことで、第１及び第２目標結果画像３３０及び３４０を生成する。目標結果画像３３０は、合焦状態調整処理が施された後の左眼画像３１０であり、目標結果画像３４０は、合焦状態調整処理が施された後の右眼画像３２０である。図９の合焦状態調整部１９にて利用される距離情報は、第１実施形態で述べた方法に従い、距離情報生成部１８（図１参照）にて生成される。左眼画像３１０及び右眼画像３２０の夫々に対する合焦状態調整処理は、第１実施形態で述べたメイン画像ＩAに対する合焦状態調整処理と同じである。故に、左眼画像３１０に対する合焦状態調整処理は、左眼画像３１０上の非主要被写体をぼかすためのぼかし処理を含み、右眼画像３２０に対する合焦状態調整処理は、右眼画像３２０上の非主要被写体をぼかすためのぼかし処理を含む。主要被写体の設定方法は、第１実施形態で述べたとおりである。
【００６２】
図１１は、第２実施形態に係る撮像装置１の動作フローチャートである。第２実施形態に係る撮像装置１の動作においても、第１実施形態（図４参照）で説明したステップＳ１１〜Ｓ１５の処理が順次実行される。第２実施形態では、ステップＳ１１〜Ｓ１５の処理後、シャッタ操作に応答してステップＳ２１〜Ｓ２３の処理が実行される。但し、ステップＳ１４における距離情報の生成処理及びステップＳ１５における主要被写体情報の生成処理の実行タイミングは、ステップＳ２２における合焦状態調整処理の実行前の任意のタイミングであって良い。
【００６３】
撮影構図の確定後、ユーザは操作部１７に対して所定のシャッタ操作を成す。シャッタ操作が成されると、ステップＳ２１において、メイン撮像部としての撮像部１１Ａはパンフォーカスにて左眼画像３１０を撮影し、これと同時に、サブ撮像部としての撮像部１１Ｂはパンフォーカスにて右眼画像３２０を撮影する。尚、第１実施形態の説明に関連して“メイン”及び“サブ”という表現を用いたが、画像３１０及び３２０の撮影時において撮像部１１Ａ及び１１Ｂ間に主従関係は無い。パンフォーカス（ディープフォーカス）を用いて撮影された左眼画像３１０及び右眼画像３２０の夫々は、第１実施形態のメイン画像ＩAと同様、十分に深い被写界深度を有する理想的な又は擬似的な全合焦画像である。左眼画像３１０は、メイン画像ＩAと同じものであって良い。ここでは、撮像部１１Ａ及び１１Ｂの撮影領域に収まる全被写体が、左眼画像３１０及び右眼画像３２０の夫々の被写界深度内に収まっているものとする。
【００６４】
画像３１０及び３２０の撮影後、ステップＳ２２において、合焦状態調整部１９は、主要被写体情報及び距離情報を用いた合焦状態調整処理を左眼画像３１０及び右眼画像３２０の夫々に対して施し、これによって第１及び第２目標結果画像３３０及び３４０を生成する。その後、ステップＳ２３において、目標結果画像３３０及び３４０の画像信号が出力選択部２０（図１参照）を介して記録媒体１６に出力されることで、目標結果画像３３０及び３４０が記録媒体１６に記録される。この際、撮像装置１は、目標結果画像３３０及び３４０と共に画像３１０及び３２０を記録媒体１６に記録させておくことも可能である。或いは、撮像装置１は、画像３１０及び３２０と距離情報を記録媒体１６に記録させておくことも可能であるし、メイン画像ＩAとしての左眼画像３１０とサブ画像ＩB［１］〜ＩB［ｎ］と右眼画像３２０とを記録媒体１６に記録させておくことも可能である。
【００６５】
目標結果画像３３０及び３４０は、夫々、画像３１０及び３２０よりも浅い被写界深度を有する二次元画像である。三次元映像に対応する表示装置に目標結果画像３３０及び３４０の画像信号を供給したとき、表示装置の視聴者の左眼にのみ目標結果画像３３０が見えるように且つ表示装置の視聴者の右眼にのみ目標結果画像３４０が見えるように、当該表示装置は、目標結果画像３３０及び３４０を表示する。これにより、視聴者は、合焦状態調整処理に応じた被写界深度を持った、被写体の三次元映像を認識することができる。上記表示装置は、表示部１５であっても良い。
【００６６】
＜＜変形等＞＞
本発明の実施形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。以上の実施形態は、あくまでも、本発明の実施形態の例であって、本発明ないし各構成要件の用語の意義は、以上の実施形態に記載されたものに制限されるものではない。上述の説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態に適用可能な注釈事項として、以下に、注釈１及び注釈２を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
【００６７】
［注釈１］
図１の撮像装置１を、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。ソフトウェアを用いて撮像装置１を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。ソフトウェアを用いて実現される機能をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能を実現するようにしてもよい。
【００６８】
［注釈２］
例えば、以下のように考えることができる。合焦状態調整部１９は、距離情報を用いた画像処理をメイン画像ＩA、左眼画像及び右眼画像に対して行う画像処理部の例であり、当該画像処理の例が上述の合焦状態調整処理である。画像処理部がメイン画像ＩA、左眼画像及び右眼画像に対して行う、距離情報を用いた画像処理は、合焦状態調整処理以外の画像処理であっても良い。
【符号の説明】
【００６９】
１ 撮像装置
１１Ａ、１１Ｂ 撮像部
１８ 距離情報生成部
１９ 合焦状態調整部
【技術分野】
【０００１】
本発明は、デジタルスチルカメラ、デジタルビデオカメラ等の撮像装置に関する。
【背景技術】
【０００２】
撮影画像の合焦状態を画像処理によって調整することで、画像の撮影後に任意の被写体に合焦した画像を生成する方法（例えば特許文献１参照）が提案されており、この方法を実現する処理の一種はデジタルフォーカスとも呼ばれている。
【０００３】
上記の画像処理の一種では、各被写体の被写体距離を表す距離情報が利用され、距離情報を元に、主要被写体（合焦せしめられるべき被写体）から離れた部分をぼかす処理が行われる。通常、画像に基づいて距離情報を生成するには、異なる視点から撮影された複数の画像が必要となる。撮像装置に設けられた撮像部（撮像系）が１つである場合、主画像の撮影前又は撮影後において視点をずらした副画像を別途撮影し、主画像及び副画像を用いて距離情報を生成することも可能であるが、このような方法はユーザ負担（時間的拘束など）が重くなりがちである。これに対し、２つの撮像部（撮像系）を撮像装置に設けておけば、２つの撮像部による２枚の撮影画像に基づき、三角測量の原理を用いて距離情報を生成することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−２５２２９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、２つの撮像部による２枚の撮影画像に基づく、三角測量の原理を用いた距離情報の生成処理は、必要計算量が相応に多く、距離情報が得られるまでに必要な待ち時間も相応に長くなる。少ない待ち時間で合焦状態調整後の画像（例えば、任意の被写体に合焦した画像）を生成することができれば、当然に有益である。これは、合焦状態調整用の画像処理に限らず、距離情報を用いた画像処理を実行する任意の撮像装置において当てはまる。
【０００６】
そこで本発明は、距離情報を用いた画像処理の結果が得られるまでの待ち時間短縮に寄与する撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る撮像装置は、第１画像を撮影する第１撮像部と、焦点位置が互いに異なる状態で複数の第２画像を連続的に撮影する第２撮像部と、前記複数の第２画像に基づき前記第１画像上の被写体の距離情報を生成する距離情報生成部と、前記距離情報を用いた画像処理を前記第１画像に行う画像処理部と、を備えたことを特徴とする。
【０００８】
当該撮像装置によれば、第１画像の撮影を待たずとも複数の第２画像から距離情報を生成することができる。従って、第１画像の撮影完了後、距離情報を用いた画像処理を直ちに行うことが可能となり、画像処理の結果が得られるまでの待ち時間が短縮される。
【０００９】
具体的に例えば、前記被写体は、主要被写体及び非主要被写体を含んでいても良く、前記画像処理は、前記距離情報を用いて前記第１画像上の前記非主要被写体をぼかす処理を含んでいてもよい。
【００１０】
また例えば、前記第１撮像部若しくは前記第２撮像部の撮影結果に基づく画像信号に基づいて、又は、操作部に対して与えられた主要被写体指定操作に基づいて、前記主要被写体を設定する主要被写体設定部を、当該撮像装置に更に設けておいてもよい。
【００１１】
また例えば、当該撮像装置において、各第２画像の全体画像領域に複数の小ブロックが設定され、前記距離情報生成部は、各第２画像において前記小ブロックごとに当該小ブロックの画像信号に基づく評価値を導出し、前記複数の第２画像間において、互いに対応する小ブロックの評価値を比較することにより前記距離情報を生成してもよい。
【００１２】
また例えば、前記第２撮像部による前記被写体の撮影画像には第３画像が含まれ、前記画像処理部は、前記第３画像に対しても前記距離情報を用いた前記画像処理を行いうる。
【発明の効果】
【００１３】
本発明によれば、距離情報を用いた画像処理の結果が得られるまでの待ち時間短縮に寄与する撮像装置を提供することが可能である。
【図面の簡単な説明】
【００１４】
【図１】本発明の第１実施形態に係る撮像装置の概略全体ブロック図である。
【図２】図１に示される１つの撮像部の内部構成図である。
【図３】本発明の第１実施形態に係り、１枚のメイン画像とｎ枚のサブ画像から目標結果画像が得られる様子を示す図である。
【図４】１枚のメイン画像とｎ枚のサブ画像から目標結果画像を生成する動作のフローチャートである。
【図５】撮像装置と各被写体との距離関係を示す図である。
【図６】メイン画像上に主要被写体領域が設定される様子を示す図である。
【図７】高域評価部の内部ブロック図である。
【図８】各サブ画像の全体画像領域が複数の小ブロックに分割される様子を示す図である。
【図９】本発明の第２実施形態に係り、目標結果画像を得る動作に特に関与する部位のブロック図である。
【図１０】本発明の第２実施形態に係り、左眼画像及び右眼画像から２枚の目標結果画像が得られる様子を示す図である。
【図１１】本発明の第２実施形態に係り、目標結果画像を生成する動作のフローチャートである。
【発明を実施するための形態】
【００１５】
以下、本発明の実施形態の例を、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。尚、本明細書では、記述の簡略化上、情報、物理量、状態量又は部材等を参照する記号又は符号を記すことによって該記号又は符号に対応する情報、物理量、状態量又は部材等の名称を省略又は略記することがある。
【００１６】
＜＜第１実施形態＞＞
本発明の第１実施形態を説明する。図１は、本発明の第１実施形態に係る撮像装置１の概略全体ブロック図である。撮像装置１は、静止画像及び動画像を撮影及び記録可能なデジタルビデオカメラである。但し、撮像装置１は、静止画像のみを撮影及び記録可能なデジタルスチルカメラであっても良い。また、撮像装置１は、携帯電話機などの携帯端末に搭載されるものであっても良い。
【００１７】
撮像装置１は、撮像部１１Ａ及び信号処理部１２Ａから成る第１処理ユニットと、撮像部１１Ｂ及び信号処理部１２Ｂから成る第２処理ユニットとを有し、更に、符号１３〜２０によって参照される各部位を備える。第１処理ユニットと第２処理ユニットに、互いに同じ機能を持たせることができる。
【００１８】
図２は、撮像部１１Ａの内部構成図である。撮像部１１Ａは、ズームレンズ３０及びフォーカスレンズ３１を含む複数枚のレンズから成る光学系３５と、絞り３２と、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどから成る撮像素子（固体撮像素子）３３と、光学系３５や絞り３２を駆動制御するためのドライバ３４と、を有している。撮像素子３３は、光学系３５及び絞り３２を介して入射した撮影領域内の被写体の光学像を光電変換し、該光電変換により得られた電気信号（画像信号）を出力する。撮影領域とは、撮像装置１の撮影領域（視野）を指す。レンズ３０及び３１の位置並びに絞り３２の開度は、主制御部１３によって制御される。撮像部１１Ｂの内部構成及び機能は、撮像部１１Ａのそれらと同じである。但し、撮像部１１Ａが後述のパンフォーカスしか利用しない場合には、撮像部１１Ａのフォーカスレンズ３１の位置は固定されていても良い。
【００１９】
信号処理部１２Ａは、撮像部１１Ａの撮像素子３３の出力信号に対して所定の信号処理（デジタル化、信号増幅、ノイズ低減処理、デモザイキング処理など）を行い、信号処理後の画像信号を出力する。信号処理部１２Ｂは、撮像部１１Ｂの撮像素子３３の出力信号に対して所定の信号処理（デジタル化、信号増幅、ノイズ低減処理、デモザイキング処理など）を行い、信号処理後の画像信号を出力する。本明細書において、任意の画像を表す信号を画像信号と呼ぶ。撮像素子３３の出力信号も画像信号の一種である。本明細書では、或る画像の画像信号（画像データ）のことを、単に画像とも言う。また、撮像部１１Ａ又は１１Ｂの撮像素子３３の出力信号を、撮像部１１Ａ又は１１Ｂの出力信号（出力画像信号）とも言う。
【００２０】
主制御部１３は、撮像装置１内の各部位の動作を統括的に制御する。内部メモリ１４は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等にて形成され、撮像装置１内で生成された各種信号（データ）を一時的に記憶する。表示部１５は、液晶ディスプレイパネル等から成り、主制御部１３による制御の下、撮影画像や記録媒体１６に記録されている画像などを表示する。記録媒体１６は、カード状半導体メモリや磁気ディスク等の不揮発性メモリであり、主制御部１３による制御の下、撮影画像等を記録する。撮影画像とは、撮像部１１Ａ又は１１Ｂの撮像素子３３の出力信号に基づく、撮影領域の画像である。操作部１７は、ユーザからの各種操作を受け付ける。操作部１７に対するユーザの操作内容は、主制御部１３に伝達され、主制御部１３の制御の下、撮像装置１内の各部位は操作内容に応じた動作を行う。操作部１７にタッチパネルが含まれていても良い。
【００２１】
信号処理部１２Ａからの画像信号に基づく画像又は信号処理部１２Ｂからの画像信号に基づく画像を、主制御部１３による制御の下、出力選択部２０を介して表示部１５に出力することで当該画像を表示部１５上で表示することができる、或いは、主制御部１３による制御の下、出力選択部２０を介して記録媒体１６に出力することで当該画像を記録媒体１６に記録することができる。
【００２２】
撮像装置１は、撮像部１１Ａ及び１１Ｂの出力信号を用いて三角測量の原理に基づき被写体の距離情報を生成する機能、及び、撮像部１１Ａ及び１１Ｂによる撮影画像を用いて被写体の三次元情報を復元する機能を有していても良い。但し、以下では、撮像部１１Ａを主たる撮像部として用いる一方で撮像部１１Ｂを従たる撮像部として用いた特徴的動作αを説明する。
【００２３】
図３に、特徴的動作αの概念図を示す。特徴的動作αでは、撮像部１１Ａによって１枚のメイン画像ＩAが撮影され、一方で、撮像部１１Ｂにより複数のサブ画像ＩBが連続的に撮影される。この際、撮像部１１Ｂのフォーカスレンズ３１の位置を所定量ずつずらしながら複数のサブ画像ＩBを連続的に撮影することで、サブ画像ＩBの合焦状態を複数のサブ画像ＩB間で互いに異ならせる。複数のサブ画像ＩBを、記号ＩB［１］、ＩB［２］、・・・ＩB［ｎ］によって表す。ｎは２以上の整数である。ｐ及びｑが互いに異なる整数である場合、撮像部１１Ｂの焦点位置はサブ画像ＩB［ｐ］の撮影時とサブ画像ＩB［ｑ］の撮影時との間で異なる。即ち、サブ画像ＩB［１］〜ＩB［ｎ］は、撮像部１１Ｂの焦点位置が互いに異なる状態で連続的に撮影される。撮像部１１Ｂの焦点位置は、撮像部１１Ｂの光学系３５内の複数のレンズを単一の撮像レンズに見立てたときの、当該撮像レンズの焦点の位置である、と解釈しても良い。
【００２４】
メイン画像ＩA及びサブ画像ＩB［１］〜ＩB［ｎ］は共通の被写体の撮影画像であり、メイン画像ＩAに含まれる各被写体は、サブ画像ＩB［１］〜ＩB［ｎ］の夫々にも含まれている。例えば、サブ画像ＩB［１］〜ＩB［ｎ］の夫々の画角は、メイン画像ＩAの画角と略同じとされる。但し、サブ画像ＩB［１］〜ＩB［ｎ］の夫々の画角は、メイン画像ＩAの画角よりも大きくても構わない。
【００２５】
本実施形態では、メイン画像ＩA及びサブ画像ＩB［１］〜ＩB［ｎ］の撮影時における撮像部１１Ａ及び１１Ｂの撮影領域内に、犬である被写体ＳＵＢ1、人物である被写体ＳＵＢ2及び車である被写体ＳＵＢ3が存在していたとする。
【００２６】
図１の距離情報生成部１８は、サブ画像ＩB［１］〜ＩB［ｎ］の画像信号に基づき、メイン画像ＩA上の各被写体の被写体距離を表す距離情報を生成する。或る被写体の被写体距離とは、当該被写体と撮像装置１との間における、実空間上の距離を指す。距離情報は、自身を形成する各画素値が被写体距離の検出値を持つ距離画像であるとも言える。距離情報によって、メイン画像ＩAの任意の画素位置における被写体の被写体距離が特定されると共にサブ画像ＩB［ｉ］の任意の画素位置における被写体の被写体距離も特定される（ｉは整数）。図３に示す距離情報（距離画像）では、被写体距離が大きい部分ほど黒く示している。
【００２７】
図１の合焦状態調整部１９は、メイン画像ＩAに対して距離情報に基づく合焦状態調整処理を施し、合焦状態調整処理後のメイン画像ＩAを目標結果画像ＩCとして出力する。合焦状態調整処理は、メイン画像ＩAの一部をぼかすぼかし処理を含む（詳細は後述）。
【００２８】
特徴的動作αにおいて、撮像部１１Ａは所謂パンフォーカス（ディープフォーカス）を用いて撮影を行うことができ、これによって、メイン画像ＩAを含む撮像部１１Ａの撮影画像を、理想的な又は擬似的な全合焦画像とすることができる。全合焦画像とは、全合焦画像上に画像信号が存在する全ての被写体に対して合焦している画像を指す。パンフォーカスを用いて得られた撮像部１１Ａの撮影画像（メイン画像ＩAを含む）は十分に深い被写界深度を有し、撮像部１１Ａの撮影画像（メイン画像ＩAを含む）の被写界深度は、サブ画像ＩB［１］〜ＩB［ｎ］の夫々の被写界深度よりも深い。ここでは、説明の簡略化上、撮像部１１Ａ及び１１Ｂの撮影領域に収まる全被写体が、撮像部１１Ａの撮影画像（メイン画像ＩAを含む）の被写界深度内に収まっているものとする。
【００２９】
図４は、特徴的動作αの動作手順を表すフローチャートである。図４に沿って、特徴的動作αの手順を説明する。
【００３０】
まず、ステップＳ１１において、メイン撮像部である撮像部１１Ａがパンフォーカスにて撮影画像列を取得する。得られた撮影画像列は、動画像として表示部１５に表示される。撮影画像列とは、時系列で並ぶ撮影画像の集まりを指す。例えば、ステップＳ１１において、パンフォーカスを用い撮像部１１Ａが所定のフレームレートで撮影画像を順次取得することで、表示部１５に表示されるべき撮影画像列が取得される。ユーザは、表示部１５の表示内容を確認することで、撮像部１１Ａの画角及び被写体の様子を確認することができる。ステップＳ１１における撮影画像列の取得及び表示は、少なくとも後述のシャッタ操作が成されるまで継続される。
【００３１】
ステップＳ１１における撮影画像列の取得及び表示が行われている状態で、主制御部１３（主制御部１３に含まれる構図確定判断部）は、ステップＳ１２において撮影構図が確定したか否かを判断する。撮影構図が確定したと判断した場合にのみ、ステップＳ１２からステップＳ１３への移行が発生する。
【００３２】
例えば、撮像装置１の筐体の角加速度又は加速度を検出する動きセンサ（不図示）を撮像装置１に設けておくことができる。この場合、主制御部１３は、当該動きセンサの検出結果を用いて撮像装置１の動きを監視することができる。或いは、主制御部１３は、撮像部１１Ａ又は１１Ｂの出力信号からオプティカルフローを導出し、そのオプティカルフローに基づいて撮像装置１の動きを監視することができる。そして、撮像装置１の動きの監視結果に基づき、撮像装置１が静止したと判断される場合に、主制御部１３は、撮影構図が確定したと判断することができる。
【００３３】
ユーザが操作部１７に対して所定のズーム操作を成した際、主制御部１３の制御の下、撮像部１１Ａ及び１１Ｂにおいてズームレンズ３０が光学系３５内で移動せしめられて、撮像部１１Ａ及び１１Ｂの画角（即ち、光学ズーム倍率）が変更される。ズーム操作に従って撮像部１１Ａ及び１１Ｂの画角が変更された後、一定時間継続して、更なるズーム操作が成さなかったとき（即ち、撮像部１１Ａ及び１１Ｂの画角が固定されたとき）、主制御部１３は、撮影構図が確定したと判断してもよい。或いは、操作部１７に対して所定の画角確定操作（例えば、専用ボタンを押す操作）が成された場合に、主制御部１３は、撮影構図が確定したと判断してもよい。また、撮像装置１が静止しているか否かの第１判断と、撮像部１１Ａ及び１１Ｂの画角が固定されたか否かの第２判断（或いは操作部１７に対して所定の画角確定操作が成されたか否かの第２判断）とを組み合わせて用いて、主制御部１３は、撮影構図が確定したか否かを判断するようにしてもよい。
【００３４】
ステップＳ１３において、主制御部１３は、サブ撮像部である撮像部１１Ｂにてサブ画像ＩB［１］〜ＩB［ｎ］が連続的に撮影されるように撮像部１１Ｂを制御する。上述の如く、撮像部１１Ｂは、フォーカスレンズ３１の位置を所定量ずつずらしながらサブ画像ＩB［１］〜ＩB［ｎ］を連続的に撮影し、結果、サブ画像ＩBの合焦位置（換言すれば、サブ画像ＩBの合焦状態）は複数のサブ画像ＩB間で互いに異なる。また、短時間でサブ画像ＩB［１］〜ＩB［ｎ］の撮影を完了させるべく、比較的高いフレームレート（例えば、３００ｆｐｓ（frame per second））にてサブ画像ＩB［１］〜ＩB［ｎ］を撮影すると良い。
【００３５】
その後、ステップＳ１４において、距離情報生成部１８は、サブ画像ＩB［１］〜ＩB［ｎ］に基づき距離情報を生成する（距離情報の生成方法例は後述）。
【００３６】
一方、ステップＳ１５において、主制御部１３内の主要被写体設定部２５（図１参照）は、主要被写体を設定し、その設定結果を含む主要被写体情報を生成する。ステップＳ１５において、メイン画像ＩAに存在する何れかの被写体が主要被写体に設定される。
【００３７】
主要被写体設定部２５は、ユーザ操作によることなく、撮像部１１Ａ又は１１Ｂの撮影結果を表す撮像部１１Ａ又は１１Ｂの出力画像信号に基づき、主要被写体を設定することができる。例えば、撮像部１１Ａの出力画像信号に基づき、主要被写体設定部２５は、撮像部１１Ａの撮影画像上に存在する特定種類の物体を検出し、検出した特定種類の物体を主要被写体に設定することができる（撮像部１１Ｂの出力画像信号を用いる場合も同様）。特定種類の物体は、例えば、任意の人物、予め登録された特定の人物、任意の動物、又は、動物体である。撮像部１１Ａの撮影画像上に存在する動物体とは、撮像部１１Ａの撮影画像列上で動く物体を指す。撮像部１１Ａ又は１１Ｂの出力画像信号に基づいて主要被写体を設定する際、構図に関する情報を更に利用することもできる。例えば、主要被写体は撮影画像の中央部分又は中央周辺に存在している確率が高いという知識を利用して、主要被写体を設定してもよい。設定された主要被写体を取り囲む枠を、表示部１５に表示された撮影画像上に重畳表示するとよい。
【００３８】
撮影者であるユーザは、操作部１７に対し、主要被写体を指定するための主要被写体指定操作を成すことができ、主要被写体指定操作が成された場合、主要被写体設定部２５は、主要被写体指定操作に従って主要被写体を設定してもよい。例えば、操作部１７にタッチパネル（不図示）を設けておき、撮像部１１Ａの撮影画像が表示部１５に表示されている状態において、操作部１７は、表示部１５に表示された撮影画像上の何れかの被写体を指定する主要被写体指定操作を、タッチパネル操作（タッチパネルを触れる操作）にて受け付ける。この場合、タッチパネル操作にて指定された被写体を主要被写体に設定すれば良い。
【００３９】
主要被写体設定部２５は、撮像部１１Ａ又は１１Ｂの出力画像信号に基づき主要被写体の候補を複数設定して複数の候補を表示部１５に表示させてもよい。この場合、ユーザが複数の候補の中から主要被写体を選択するタッチパネル操作又はタッチパネル操作以外の操作（ボタン操作など）を操作部１７に成すことで、主要被写体を設定することができる。
【００４０】
図４のステップＳ１５にて生成される主要被写体情報は、撮像部１１Ａの撮影画像（メイン画像ＩAを含む）上において主要被写体の画像信号が存在する画像領域（以下、主要被写体領域と呼ぶ）を特定する。
【００４１】
ステップＳ１２における撮影構図の確定後、ユーザは、操作部１７に対して所定のシャッタ操作を成す。シャッタ操作が成されると、ステップＳ１６において、撮像部１１Ａはパンフォーカスにてメイン画像ＩAを撮影する。ステップＳ１３の連続撮影処理及びステップＳ１４の距離情報生成処理を、又は、少なくともステップＳ１３の連続撮影処理を、メイン画像ＩAの撮影完了前に完了しておくことが望ましい。これを実現すべく、サブ画像ＩB［１］〜ＩB［ｎ］の撮影時における撮像部１１Ｂのフレームレートを、撮像部１１Ａのフレームレートよりも高く設定すると良い。ステップＳ１４の距離情報生成処理は、メイン画像ＩAの撮影動作と並行して成されうる。図４の動作手順例では、ステップＳ１３及びＳ１４の処理後にステップＳ１６の撮影処理が成される。周知の如く、撮像部１１Ａのフレームレートは、単位時間当たりに撮像部１１Ａにて撮影される画像（フレーム）の枚数を表す。撮像部１１Ｂのフレームレートも同様である。また、図４では、ステップＳ１３及びＳ１４の処理後であって且つステップＳ１６の処理前に、ステップＳ１５における処理が成されているが、ステップＳ１５における主要被写体設定用の処理は、撮影構図が確定したと判断された後であって且つ後述のステップＳ１７の処理が成されるまでの任意のタイミングで成されてもよい。
【００４２】
メイン画像ＩAの撮影後、ステップＳ１７において、合焦状態調整部１９は、主要被写体情報及び距離情報を用いた合焦状態調整処理をメイン画像ＩAに対して施し、合焦状態調整処理後のメイン画像ＩAを目標結果画像ＩCとして出力する。続くステップＳ１８において、目標結果画像ＩCの画像信号が出力選択部２０を介して表示部１５及び記録媒体１６に出力されることで、目標結果画像ＩCが表示部１５で表示されると共に記録媒体１６に記録される。目標結果画像ＩCと共に、メイン画像ＩA又はサブ画像ＩB［１］〜ＩB［ｎ］を記録媒体１６に記録させておくことも可能である。或いは、メイン画像ＩAと距離情報（距離画像）を記録媒体１６に記録させておくことも可能である。
【００４３】
合焦状態調整処理には、主要被写体の被写体距離と異なる被写体距離を有する被写体をぼかすぼかし処理が含まれる。合焦状態調整処理に、主要被写体領域内の画像のエッジを強調するエッジ強調処理などを、更に含めておいても良い。
【００４４】
図５及び図６を参照して、ぼかし処理の内容を説明する。図５に示す如く、被写体ＳＵＢ1、ＳＵＢ2及びＳＵＢ3の被写体距離を夫々記号ｄ1、ｄ2及びｄ3にて表し、不等式「０＜ｄ1＜ｄ2＜ｄ3」が成立することを想定する。また、被写体ＳＵＢ1、ＳＵＢ2及びＳＵＢ3の内、被写体ＳＵＢ2が主要被写体に設定されたことを想定する。この場合、図６の斜線領域に相当する、被写体ＳＵＢ2の画像信号が存在する画像領域が、主要被写体領域としてメイン画像ＩAに設定される。
【００４５】
合焦状態調整部１９は、ぼかし処理において、主要被写体ＳＵＢ2の被写体距離ｄ2と異なる被写体距離を有する被写体（以下、非主要被写体という）をぼかす。より厳密には、距離（ｄ2−ΔｄA）以下の被写体距離を有する被写体、及び、距離（ｄ2＋ΔｄB）以上の被写体距離を有する被写体が、非主要被写体である。ΔｄA及びΔｄBは、目標結果画像ＩCの被写界深度の大きさ（深さ）に応じて定まる正の距離値である。ユーザは、操作部１７に対する操作を介して、目標結果画像ＩCの被写界深度の大きさ（深さ）を指定することもできる。
【００４６】
ここでは、被写体ＳＵＢ2以外の全ての被写体（ＳＵＢ1及びＳＵＢ3並びに背景を含む）が、非主要被写体であったとする。そうすると、メイン画像ＩAの全体画像領域の内、主要被写体領域以外の画像領域がぼかし対象領域に設定され、ぼかし対象領域内の画像がぼかし処理によってぼかされる。ぼかし処理は、ぼかし対象領域内の画像の空間周波数成分の内、比較的高い空間周波数成分を低減させるローパスフィルタ処理であっても良い。ぼかし処理を、空間フィルタリング又は周波数フィルタリングによって実現することができる。
【００４７】
合焦状態調整部１９は、ぼかし処理において、距離情報に基づき非主要被写体ＳＵＢ1をぼかす際、非主要被写体ＳＵＢ1の被写体距離ｄ1と主要被写体ＳＵＢ2の被写体距離ｄ2との差分距離ｄ12が大きくなればなるほど、非主要被写体ＳＵＢ1に対するぼかし強度を増大させる（ｄ12＝｜ｄ1−ｄ2｜）。非主要被写体ＳＵＢ1以外の非主要被写体についても同様である。非主要被写体ＳＵＢ1に対するぼかし強度が大きいほど、目標結果画像ＩCにおいて、非主要被写体ＳＵＢ1の像はより大きくぼける。例えば、ガウシアンフィルタを用いた空間フィルタリングにてぼかし処理を実現する場合、差分距離ｄ12が増大するにつれてガウシアンフィルタのフィルタサイズを増大させることにより、非主要被写体ＳＵＢ1に対するぼかし強度を増大させることができる。
【００４８】
図３に示される目標結果画像ＩCは、上述の想定下で得られた目標結果画像ＩCの例である。図３では、画像のぼけを被写体の輪郭線の太さによって表現している。
【００４９】
尚、上述の説明とは異なるが、主要被写体ＳＵＢ2の被写体距離ｄ2と同じ被写体距離を有する被写体ＳＵＢ4（不図示）を、非主要被写体に含めることも可能である。ここで、被写体ＳＵＢ4は、被写体ＳＵＢ1〜ＳＵＢ3と共にメイン画像ＩA及びサブ画像ＩB［１］〜ＩB［ｎ］上に現われる、被写体ＳＵＢ1〜ＳＵＢ3以外の被写体である。例えば、主要被写体設定部２５は、上述した方法によって、被写体ＳＵＢ1〜ＳＵＢ4の内、被写体ＳＵＢ2のみを主要被写体に設定することができ、主要被写体ＳＵＢ2以外の全ての被写体（被写体ＳＵＢ1、ＳＵＢ3及びＳＵＢ4を含む）を非主要被写体に設定することができる。この場合、被写体ＳＵＢ1及びＳＵＢ3の画像信号が存在する画像領域だけでなく被写体ＳＵＢ4の画像信号が存在する画像領域も、ぼかし対象領域に含められてぼかし処理によりぼかされる。
【００５０】
次に、サブ画像ＩB［１］〜ＩB［ｎ］に基づく距離情報の生成方法例を説明する。図７及び図８を参照する。図７は、距離情報の生成に利用される高域評価部６０の内部ブロック図である。高域評価部６０を、距離情報生成部１８に設けておくことができる。
【００５１】
高域評価部６０は、図８に示す如く、サブ画像ＩB［１］〜ＩB［ｎ］の夫々の全体画像領域をｍ個に分割することにより、サブ画像ＩB［１］〜ＩB［ｎ］の夫々にｍ個の小ブロックを設定する（ｍは２以上の整数）。サブ画像ＩB［ｉ］におけるｊ番目の小ブロックを記号ＢＬ［ｉ，ｊ］にて表す（ｉ及びｊは整数であって、１≦ｉ≦ｎ、１≦ｊ≦ｍ）。各サブ画像において、ｍ個の小ブロックの大きさは互いに同じであるとする。サブ画像ＩB［１］上における小ブロックＢＬ［１，ｊ］の位置、サブ画像ＩB［２］上における小ブロックＢＬ［２，ｊ］の位置、・・・及び、サブ画像ＩB［ｎ］上における小ブロックＢＬ［ｎ，ｊ］の位置は互いに同じであり、結果、小ブロックＢＬ［１，ｊ］、ＢＬ［２，ｊ］、・・・及びＢＬ［ｎ，ｊ］は互いに対応している。
【００５２】
図７に示す如く、高域評価部６０は、抽出部６１、ＨＰＦ（ハイパスフィルタ）６２及び積算部６３を備える。高域評価部６０は、サブ画像ごとに且つ小ブロックごとにブロック評価値（高周波成分値）を算出する。従って、１枚のサブ画像に対してｍ個のブロック評価値が算出される。
【００５３】
抽出部６１には、サブ画像の画像信号が入力される。抽出部６１は、入力された画像信号の中から輝度信号を抽出する。ＨＰＦ６２は、抽出部６１によって抽出された輝度信号中から高周波成分を抽出する。ＨＰＦ６２にて抽出される高周波成分は、比較的高い周波数を有する特定の空間周波数成分であり、特定の空間周波数成分は、所定範囲内の周波数を有する空間周波数成分であるとも言え、所定周波数以上の周波数を有する空間周波数成分であるとも言える。例えば、ＨＰＦ６２を所定のフィルタサイズを有するラプラシアンフィルタにて形成し、そのラプラシアンフィルタをサブ画像の各画素に作用させる空間フィルタリングを行う。そうすると、ＨＰＦ６２からは、そのラプラシアンフィルタのフィルタ特性に応じた出力値が順次得られる。積算部６３は、ＨＰＦ６２によって抽出された高周波成分の大きさ（即ち、ＨＰＦ６２の出力値の絶対値）を積算する。１枚のサブ画像に対し、この積算は小ブロックごとに行われ、或る小ブロック内における高周波成分の大きさの積算値を、その小ブロックのブロック評価値とする。小ブロックごとにブロック評価値を求める演算処理をサブ画像ごとに行うことで、サブ画像ごとにｍ個のブロック評価値が求められる。
【００５４】
距離情報生成部１８は、サブ画像ＩB［１］〜ＩB［ｎ］間において、互いに対応する小ブロックのブロック評価値を比較することで距離情報を生成する。
【００５５】
生成される距離情報は、小ブロックごとの距離情報にて形成される。１番目の小ブロックＢＬ［ｉ，１］に対応する距離情報の生成方法を説明する。距離情報生成部１８は、小ブロックＢＬ［１，１］〜ＢＬ［ｎ，１］に対して求められたｎ個のブロック評価値ＶＡＬ［１，１］〜ＶＡＬ［ｎ，１］の内、最大値を特定し、最大値に対応するサブ画像を合焦サブ画像として特定する。例えば、ブロック評価値ＶＡＬ［１，１］〜ＶＡＬ［ｎ，１］の内、ブロック評価値ＶＡＬ［２，１］が最大であるならば、ブロック評価値ＶＡＬ［２，１］に対応するサブ画像ＩB［２］が合焦サブ画像として特定される。この場合、サブ画像ＩB［２］の撮影時における、撮像部１１Ｂ内のフォーカスレズ３１の位置に基づき、１番目の小ブロックＢＬ［ｉ，１］に対応する距離情報を求める。他の小ブロックに対応する距離情報も同様にして求められる。
【００５６】
サブ画像と同様にして、メイン画像ＩAの夫々にもｍ個の小ブロックを設定することができ、ｊ番目の小ブロックＢＬ［ｉ，ｊ］に対応する距離情報は、メイン画像ＩAにおけるｊ番目の小ブロックの距離情報として機能する。サブ画像ＩB［ｉ］におけるｊ番目の小ブロックＢＬ［ｉ，ｊ］内の被写体と、メイン画像ＩAにおけるｊ番目の小ブロック内の被写体は、互いに共通である。小ブロックＢＬ［ｉ，ｊ］に対応する距離情報は、メイン画像ＩAにおけるｊ番目の小ブロック内の各被写体の被写体距離を指し示す。
【００５７】
２つの撮像部を備えた撮像装置において、２つの撮像部にて同時撮影した第１及び第２画像に基づき三角測量の原理を用いて距離情報を生成し、その後、距離情報を用いて第１画像に対する合焦状態調整処理を行う、といった方法も考えられる。但し、この方法では、第１画像の撮影後、距離情報の演算処理が完了するまで合焦状態調整処理を行うことができず、目標結果画像を得るまでの待ち時間が長くなる。これに対し、本実施形態では、メイン画像の撮影完了時に距離情報の生成が完了しているため、メイン画像の撮影完了後、直ちに合焦状態調整処理を行うことができ、目標結果画像を得るまでの待ち時間が短縮される。
【００５８】
＜＜第２実施形態＞＞
本発明の第２実施形態を説明する。第２実施形態は、第１実施形態を基礎とする実施形態であり、第１実施形態にて述べた事項は、矛盾なき限り、第２実施形態にも適用される。第２実施形態では、上記撮像装置１にて実行可能な他の画像処理を説明する。
【００５９】
図９は、第２実施形態の画像処理動作に特に関与する部位のブロック図である。図９の合焦状態調整部１９は、図１のそれと同じものである。
【００６０】
撮像部１１Ａ及び１１Ｂは、互いに視差を有するステレオカメラを形成している。ステレオカメラの構成要素としての撮像部１１Ａ及び１１Ｂによる撮影画像を夫々左眼画像及び右眼画像と呼ぶ。左眼画像及び右眼画像は、共通の被写体の撮影画像である。図１０において、画像３１０及び３２０は左眼画像及び右眼画像の例である。画像３１０及び３２０の夫々には、共通の被写体として被写体ＳＵＢ1〜ＳＵＢ3が存在している。左眼画像３１０は撮像部１１Ａの視点から見た被写体（ＳＵＢ1〜ＳＵＢ3を含む）の撮影画像であり、右眼画像３２０は撮像部１１Ｂの視点から見た被写体（ＳＵＢ1〜ＳＵＢ3を含む）の撮影画像である。撮像部１１Ａ及び１１Ｂの視点は互いに異なる。画像３１０及び３２０は、通常、共通の画角を有するが、画像３１０及び３２０の内、一方の画角が他方の画角に内包されていても良い。
【００６１】
第２実施形態に係る合焦状態調整部１９は、左眼画像３１０及び右眼画像３２０の夫々に対して距離情報に基づく合焦状態調整処理を施すことで、第１及び第２目標結果画像３３０及び３４０を生成する。目標結果画像３３０は、合焦状態調整処理が施された後の左眼画像３１０であり、目標結果画像３４０は、合焦状態調整処理が施された後の右眼画像３２０である。図９の合焦状態調整部１９にて利用される距離情報は、第１実施形態で述べた方法に従い、距離情報生成部１８（図１参照）にて生成される。左眼画像３１０及び右眼画像３２０の夫々に対する合焦状態調整処理は、第１実施形態で述べたメイン画像ＩAに対する合焦状態調整処理と同じである。故に、左眼画像３１０に対する合焦状態調整処理は、左眼画像３１０上の非主要被写体をぼかすためのぼかし処理を含み、右眼画像３２０に対する合焦状態調整処理は、右眼画像３２０上の非主要被写体をぼかすためのぼかし処理を含む。主要被写体の設定方法は、第１実施形態で述べたとおりである。
【００６２】
図１１は、第２実施形態に係る撮像装置１の動作フローチャートである。第２実施形態に係る撮像装置１の動作においても、第１実施形態（図４参照）で説明したステップＳ１１〜Ｓ１５の処理が順次実行される。第２実施形態では、ステップＳ１１〜Ｓ１５の処理後、シャッタ操作に応答してステップＳ２１〜Ｓ２３の処理が実行される。但し、ステップＳ１４における距離情報の生成処理及びステップＳ１５における主要被写体情報の生成処理の実行タイミングは、ステップＳ２２における合焦状態調整処理の実行前の任意のタイミングであって良い。
【００６３】
撮影構図の確定後、ユーザは操作部１７に対して所定のシャッタ操作を成す。シャッタ操作が成されると、ステップＳ２１において、メイン撮像部としての撮像部１１Ａはパンフォーカスにて左眼画像３１０を撮影し、これと同時に、サブ撮像部としての撮像部１１Ｂはパンフォーカスにて右眼画像３２０を撮影する。尚、第１実施形態の説明に関連して“メイン”及び“サブ”という表現を用いたが、画像３１０及び３２０の撮影時において撮像部１１Ａ及び１１Ｂ間に主従関係は無い。パンフォーカス（ディープフォーカス）を用いて撮影された左眼画像３１０及び右眼画像３２０の夫々は、第１実施形態のメイン画像ＩAと同様、十分に深い被写界深度を有する理想的な又は擬似的な全合焦画像である。左眼画像３１０は、メイン画像ＩAと同じものであって良い。ここでは、撮像部１１Ａ及び１１Ｂの撮影領域に収まる全被写体が、左眼画像３１０及び右眼画像３２０の夫々の被写界深度内に収まっているものとする。
【００６４】
画像３１０及び３２０の撮影後、ステップＳ２２において、合焦状態調整部１９は、主要被写体情報及び距離情報を用いた合焦状態調整処理を左眼画像３１０及び右眼画像３２０の夫々に対して施し、これによって第１及び第２目標結果画像３３０及び３４０を生成する。その後、ステップＳ２３において、目標結果画像３３０及び３４０の画像信号が出力選択部２０（図１参照）を介して記録媒体１６に出力されることで、目標結果画像３３０及び３４０が記録媒体１６に記録される。この際、撮像装置１は、目標結果画像３３０及び３４０と共に画像３１０及び３２０を記録媒体１６に記録させておくことも可能である。或いは、撮像装置１は、画像３１０及び３２０と距離情報を記録媒体１６に記録させておくことも可能であるし、メイン画像ＩAとしての左眼画像３１０とサブ画像ＩB［１］〜ＩB［ｎ］と右眼画像３２０とを記録媒体１６に記録させておくことも可能である。
【００６５】
目標結果画像３３０及び３４０は、夫々、画像３１０及び３２０よりも浅い被写界深度を有する二次元画像である。三次元映像に対応する表示装置に目標結果画像３３０及び３４０の画像信号を供給したとき、表示装置の視聴者の左眼にのみ目標結果画像３３０が見えるように且つ表示装置の視聴者の右眼にのみ目標結果画像３４０が見えるように、当該表示装置は、目標結果画像３３０及び３４０を表示する。これにより、視聴者は、合焦状態調整処理に応じた被写界深度を持った、被写体の三次元映像を認識することができる。上記表示装置は、表示部１５であっても良い。
【００６６】
＜＜変形等＞＞
本発明の実施形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。以上の実施形態は、あくまでも、本発明の実施形態の例であって、本発明ないし各構成要件の用語の意義は、以上の実施形態に記載されたものに制限されるものではない。上述の説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態に適用可能な注釈事項として、以下に、注釈１及び注釈２を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
【００６７】
［注釈１］
図１の撮像装置１を、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。ソフトウェアを用いて撮像装置１を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。ソフトウェアを用いて実現される機能をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能を実現するようにしてもよい。
【００６８】
［注釈２］
例えば、以下のように考えることができる。合焦状態調整部１９は、距離情報を用いた画像処理をメイン画像ＩA、左眼画像及び右眼画像に対して行う画像処理部の例であり、当該画像処理の例が上述の合焦状態調整処理である。画像処理部がメイン画像ＩA、左眼画像及び右眼画像に対して行う、距離情報を用いた画像処理は、合焦状態調整処理以外の画像処理であっても良い。
【符号の説明】
【００６９】
１ 撮像装置
１１Ａ、１１Ｂ 撮像部
１８ 距離情報生成部
１９ 合焦状態調整部
【特許請求の範囲】
【請求項１】
第１画像を撮影する第１撮像部と、
焦点位置が互いに異なる状態で複数の第２画像を連続的に撮影する第２撮像部と、
前記複数の第２画像に基づき前記第１画像上の被写体の距離情報を生成する距離情報生成部と、
前記距離情報を用いた画像処理を前記第１画像に行う画像処理部と、を備えた
ことを特徴とする撮像装置。
【請求項２】
前記被写体は、主要被写体及び非主要被写体を含み、
前記画像処理は、前記距離情報を用いて前記第１画像上の前記非主要被写体をぼかす処理を含む
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記第１撮像部若しくは前記第２撮像部の撮影結果に基づく画像信号に基づいて、又は、操作部に対して与えられた主要被写体指定操作に基づいて、前記主要被写体を設定する主要被写体設定部を更に備えた
ことを特徴とする請求項２に記載の撮像装置。
【請求項４】
各第２画像の全体画像領域に複数の小ブロックが設定され、
前記距離情報生成部は、
各第２画像において前記小ブロックごとに当該小ブロックの画像信号に基づく評価値を導出し、
前記複数の第２画像間において、互いに対応する小ブロックの評価値を比較することにより前記距離情報を生成する
ことを特徴とする請求項１〜請求項３の何れかに記載の撮像装置。
【請求項５】
前記第２撮像部による前記被写体の撮影画像には第３画像が含まれ、
前記画像処理部は、前記第３画像に対しても前記距離情報を用いた前記画像処理を行う
ことを特徴とする請求項１〜請求項４の何れかに記載の撮像装置。
【請求項１】
第１画像を撮影する第１撮像部と、
焦点位置が互いに異なる状態で複数の第２画像を連続的に撮影する第２撮像部と、
前記複数の第２画像に基づき前記第１画像上の被写体の距離情報を生成する距離情報生成部と、
前記距離情報を用いた画像処理を前記第１画像に行う画像処理部と、を備えた
ことを特徴とする撮像装置。
【請求項２】
前記被写体は、主要被写体及び非主要被写体を含み、
前記画像処理は、前記距離情報を用いて前記第１画像上の前記非主要被写体をぼかす処理を含む
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記第１撮像部若しくは前記第２撮像部の撮影結果に基づく画像信号に基づいて、又は、操作部に対して与えられた主要被写体指定操作に基づいて、前記主要被写体を設定する主要被写体設定部を更に備えた
ことを特徴とする請求項２に記載の撮像装置。
【請求項４】
各第２画像の全体画像領域に複数の小ブロックが設定され、
前記距離情報生成部は、
各第２画像において前記小ブロックごとに当該小ブロックの画像信号に基づく評価値を導出し、
前記複数の第２画像間において、互いに対応する小ブロックの評価値を比較することにより前記距離情報を生成する
ことを特徴とする請求項１〜請求項３の何れかに記載の撮像装置。
【請求項５】
前記第２撮像部による前記被写体の撮影画像には第３画像が含まれ、
前記画像処理部は、前記第３画像に対しても前記距離情報を用いた前記画像処理を行う
ことを特徴とする請求項１〜請求項４の何れかに記載の撮像装置。
【図１】
【図２】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１１】
【図３】
【図１０】
【図２】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１１】
【図３】
【図１０】
【公開番号】特開２０１３−１３０６１（Ｐ２０１３−１３０６１Ａ）
【公開日】平成２５年１月１７日（２０１３．１．１７）
【国際特許分類】
【出願番号】特願２０１２−９３１４３（Ｐ２０１２−９３１４３）
【出願日】平成２４年４月１６日（２０１２．４．１６）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
【公開日】平成２５年１月１７日（２０１３．１．１７）
【国際特許分類】
【出願日】平成２４年４月１６日（２０１２．４．１６）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
[ Back to top ]