撮像装置
【課題】 後処理により被写界深度補正を行おうとする場合、ユーザーは撮影時に補正可能な深さ方向範囲にシーンを意識的に収めて撮影しないと後処理で期待するい効果を得られない。被写体シーンが補正可能範囲に収まらない場合、警告し、ライブビュー上でその位置を明示する。
【解決手段】 補正可能被写界深度算出手段、被写体距離判定手段、補正可能被写界深度外（内）被写体判定手段、表示・警告手段を備える。
【解決手段】 補正可能被写界深度算出手段、被写体距離判定手段、補正可能被写界深度外（内）被写体判定手段、表示・警告手段を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像時または後処理において、画像または映像の被写界深度を拡大または/および合焦具合を補正する機能を有する撮像装置に関する。
【背景技術】
【０００２】
従来、被写界深度の広い画像または映像(以降画像で統一)、例えば画角内に写る被写体全てにピントの合ったパンフォーカス画像を撮影しようとする場合、光学系の絞りを絞る必要があった。しかし、光学系の絞りを絞り込み被写界深度を拡張しようとすると光量が不足し易くなるため、大光量照明装置のような大規模で特別な装置が必要となったり、長時間露光が必要となり動きの早い被写体が撮影できない等の強い制約が生じる課題があった。
【０００３】
これに対し近年、特別な光学素子の光学系への挿入と画像処理の組み合わせ、または撮影条件を変えながらの複数枚撮影と画像処理の組み合わせにより被写界深度を拡張したり、さらに画像処理の段階で合焦具合の制御・補正を行う機能が実用化されつつある。
【０００４】
例えば、特別な光学素子の光学系への挿入と画像処理の組み合わせにより被写界深度を拡張する技術として非特許文献１等が提案されている。具体的にはまず光波の位相等を制御することにより被写体からの光束の収束状態を変化させる素子を光学系の光路中に挿入し、これにより通常、光束の発散元である被写体の距離により大きく変化する結像面近傍でのPSF(点像分布関数)等で表現される結像状態を、被写体距離が変化しても変化しにくく、像面上で均一状態となるようにする光学技術からなる。そしてデコンボリューションやアンシャープマスクのようなフィルタリング型の鮮鋭化画像処理技術と組み合わせることにより目的の効果を実現する。光学系での像面上でのボケ状態を均一にする工夫により、前記のような単純で従来から存在する画像処理技術で、違和感の小さな被写界深度拡張を実現する。
【０００５】
また、焦点の合っている部分が異なる複数の画像を撮影し、各々の画像が有する被写界深度よりも広い被写界深度を有する画像を合成する被写界深度拡張技術として、特許文献１等が提案されている。これらはフォーカス距離を変えて撮影した各画像またはフレームまたはフィールド(以降画像で統一)中の合焦領域を合成画像の画素または領域毎に選択・抽出する画像処理により被写界深度が拡張された画像を生成する技術である。
【０００６】
さらに、同一被写体に対して合焦距離の異なる複数の画像を撮影した後に、画像処理により任意の距離の被写体を合焦状態とし、それ以外の被写体をボケ状態とする画像を生成するリフォーカシング技術が提案されている。具体的には複数枚の撮影画像の中から所望のボケ状態の画素を選択・抽出して画像を生成する技術、前記被写界深度拡張技術により全焦点画像を生成した後にコンボリューションのようなフィルタリング型のぼかし画像処理技術により非合焦領域に所望のボケを加える技術、特許文献２が提案されている。
【０００７】
一方、被写界深度は合焦距離に対して前側と後側の被写界深度範囲の広さが非対称であったり、ズーム・絞り状態により逐次変化するなど、普通の光学系の場合でさえユーザが直感的に把握することの難しい物理量である。オートフォーカスに加えて数多くの関連技術が提案されている。例えば主要被写体にピントボケが発生し易い状況であるかを判断し警告を出す技術、特許文献３や合焦状態を色の変化で表示し、ピント状態を確認しやすくする技術、特許文献４が提案されている。これはレンズ条件取得手段を用いて撮像光学系の被写界深度を計算し測距手段により取得した被写体の存在範囲と比較して、測距対象の被写体が被写界深度範囲外の場合に警告を発したり、色分け表示する技術である。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開平10-290389号公報
【特許文献２】特開2003-141506号公報
【特許文献３】特開昭63−262636号公報
【特許文献４】特開平6-113183号公報
【非特許文献】
【０００９】
【非特許文献１】”Wavefront Coding:jointly optimized optical and digital imaging systems”,Edward R.Dowski Jr.,Robert H.Cormack,Scott D. Sarama.
【発明の概要】
【発明が解決しようとする課題】
【００１０】
光学撮像系と画像処理の組み合わせによって被写界深度を拡張および/または合焦状態を補正する機能を有する撮像装置は、絞りを極端に絞り込む事により生じる光量不足等の従来制約から解放される反面、後処理の画像処理を経なければ画像が生成されない。このため処理後の拡張された被写界深度または補正後の合焦状態をリアルタイムで確認すること、ましては光学ビューファインダーを通して確認することは難しい。
【００１１】
さらに後処理により被写界深度補正を行おうとする場合、当然のことながらユーザは撮影時に画像処理で補正可能な深さ方向範囲にシーンを意識的に収めて撮影しないと後処理で期待する被写界深度拡張効果、合焦状態補正効果は得られない。それどころか選択手段によっては処理の副作用によるアーティファクトとして擬似輪郭が発生し、画像が台無しになる等の可能性さえある。
【００１２】
このような理由から、撮影時の被写界深度範囲の把握は通常光学系での撮像以上に重要となる。これに対し、被写界深度拡張および/または合焦状態補正機能を有する撮像装置では、光学特性に加えて画像処理による補正効果を考慮に入れなければならなくなる。その結果、従来の光学系用のピント状態確認手段で得られる情報からユーザが直感や推測で撮像の成否を判断するのは非常に困難となる。
【００１３】
このため後処理となる画像処理との組み合わせによる被写界深度拡張および合焦状態補正機能を有する撮像装置での撮影においては、ユーザが意図した被写界深度拡張効果または/および合焦状態補正効果が得られていないことに画像の撮影後または画像処理、記録後に気づくという課題が新たに生じていた。
【課題を解決するための手段】
【００１４】
本発明の第1の形態による撮像装置は、あらかじめ定められた移動量で離散的に合焦距離を変化させて順次画像を撮影することにより複数枚の画像を得る撮影手段と前記撮影手段により撮影された複数画像間の対応する座標の画素において画素を選択抽出して被写界深度を拡張する画像処理の組み合わせにより被写界深度を拡張した画像を撮影可能な撮像装置において、撮影手段の撮影条件と前記画像処理手段の処理属性に基づいて被写界深度を拡張する画像処理が可能なピント範囲を算出するピント範囲算出手段と、画面内の被写体が前記ピント範囲内の入っているか否かを判定する判定手段と、画面内の被写体がピント範囲内に入っていない場合に警告を出力する警告手段とを備えるようにした。
【００１５】
本発明の第２の形態による撮像装置は、被写体からの光を波面変換素子により位相変調し、この位相変調された光を結像して撮像する撮影手段と、この撮影手段で撮影された画像データに対して空間フィルタによる画像処理を行い被写界深度を拡張した画像を撮影可能な撮像装置において、撮影手段の撮影条件と前記画像処理手段の処理属性に基づいて被写界深度を拡張する画像処理が可能なピント範囲を算出するピント範囲算出手段と、画面内の被写体が前記ピント範囲内の入っているか否かを判定する判定手段と、画面内の被写体がピント範囲内に入っていない場合に警告を出力する警告手段とを備えるようにした。
【発明の効果】
【００１６】
ユーザは、光学と画像処理の組み合わせによって実現される被写界深度補正機能および/または合焦状態補正機能より復元または調整可能な被写体範囲を直感的にかつ撮影前に確認でき、撮影および画像処理後に失敗が判明することを回避できるようになる。
【図面の簡単な説明】
【００１７】
【図１】本発明の第1の実施の形態にかかる撮像装置の構成を示す図
【図２】本発明の第1の実施の形態にかかる画像処理部の処理の流れを示す図
【図３】本発明の第1の実施の形態にかかる被写界深度拡張効果を含んだ画像を撮影する際の処理のフローチャート
【図４】被写界深度算出モデルを説明する図
【図５】被写体距離マップを説明する図
【図６】被写界深度評価に伴う警告通知を説明する図
【図７】動画撮影時の状態遷移図
【図８】本発明の第2の実施の形態にかかる撮像装置の構成を示す図
【図９】本発明の第2の実施の形態にかかる画像処理部の処理の流れを示す図
【図１０】本発明の第2の実施の形態にかかる被写界深度拡張効果を含んだ画像を撮影する際の処理のフローチャート
【図１１】位相板を挿入した光学系とデコンボリューション処理による被写界深度拡張の効果を説明する図
【発明を実施するための形態】
【００１８】
［実施例１］
以下、図を参照して本発明を実施するための形態について説明する。図1は、本発明による撮像装置の1実施の形態を示す図である。本実施の形態の撮像装置は、合焦距離を変化させて撮影した複数枚の画像から被写界深度拡張させた画像および/または合焦距離を制御した画像を作成し出力する撮像装置であって、図1はその要部構成を説明するブロック図である。
【００１９】
撮像装置は、レンズ部001およびカメラボディ002からなる。
【００２０】
レンズ部001は、光学系101、モータ104、エンコーダ105、レンズ制御部106からなる。
【００２１】
光学系101は、被写体000から放射された光を撮像素子109上に結像させるコンポーネントであり、レンズ群102、絞り103からなる。
【００２２】
モータ104は、レンズ制御部106からの信号によりレンズ、絞り103を駆動する。
【００２３】
エンコーダ105は、レンズ102および絞り103、それぞれの駆動方向と駆動量を取得しレンズ制御部106に伝達する。
【００２４】
レンズ制御部106は、モータ104の制御等を行い、エンコーダ105で取得される情報をカメラボディ003に送信する情報に変換する部分である。
【００２５】
光学系10の各要素はレンズ制御部106からの命令に従い、モータ104により駆動され、その変化がエンコーダ105で取得される。レンズ群102のうち焦点調節用のレンズがモータ104によって駆動され、光学系の焦点調節が行われる。レンズの制御位置をエンコーダ105が取得し、レンズ制御部106にて合焦距離に変換される。またズーム調節用のレンズがモータ104によって駆動されることにより、ズーム調整が行わる。ズーム状態をエンコーダ105が取得し、レンズ制御部106にてレンズの焦点距離値に変換される。絞り103も同様にレンズ制御部106の命令に従い絞り103を調整し、エンコーダ105により絞り状態を取得し、レンズ制御部106にて絞り値に変換される。
【００２６】
またレンズ制御部106は接点107を通じてカメラボディ003内の制御部113と通信可能に構成されている。レンズ部100側からはレンズ制御部106にあらかじめ記録されたレンズ部106の種類を特定するレンズ識別データ、および制御に伴い刻々と変化する焦点距離、合焦距離、絞り値の情報を送信する。カメラボディ003側からはズーム、フォーカス、露出制御等に関する制御量を送信する。
【００２７】
一方、カメラボディ003は、ミラー部108、撮像素子109、画像処理部110、画像メモリ111、記録部112、制御部113、位相差AF撮像素子114、デフォーカス量算出部115、コントラストAF算出部116、AF制御部117、被写体距離算出部118、補正可能被写界深度算出部119、被写界データメモリ部120、補正可能被写界外被写体判定部121、表示・警告部122、操作部123からなる。
【００２８】
ミラー部108は、可動可能でその状態に応じ、レンズ部100の光学系101からの被写体像を撮像素子109もしくは位相差AF撮像部114の撮像面上に選択的に導く鏡からなる。被写体000からの結像情報を含んだ光線は、光学系101のレンズ群102を通過し、絞り103により光線径を制御されて、撮像素子109の面上もしくは位相差AF撮像部109のセンサ上に到達する。
【００２９】
撮像素子109は、光学系101を介して結像される被写体像を映像信号に変換する素子である。例えば、ベイヤー配列上にカラーフィルタを敷き詰めて一面で被写体像を受光する単板素子、または図示しない分光プリズムにより色情報を3つ以上に分離し、それぞれの光を別々の撮像素子で受光する３板素子がある。3板式の場合、余計な分光光学素子が必要となるが、後述の画像処理部におけるDBE処理中のベイヤー配列補間処理が不要となる。
【００３０】
画像処理部110は、撮像素子で光電変換された映像信号に対し、線形化、ノイズ除去処理、黒レベル補正等からなるAFE(アナログフロントエンド)処理201、A/D変換202、そしてベイヤー補間208、ホワイトバランス調整209、諧調補正210、エッジ強調等211からなるDBE(デジタルバックエンド)処理203により一枚の画像を生成し、最後に圧縮・符号化204を施す部分である。複数枚画像合成による被写界深度拡張処理をおこなう場合、さらに中間処理として複数枚画像合成205をおこなう。
【００３１】
動画像撮像の場合、撮像素子からの連続的な映像データに対し、AFE処理201、A/D変換202、DBE処理203、圧縮・符号化204 を行い動画像を生成する。
【００３２】
記録部112は、画像処理によって生成された静止画像もしくは動画像を記録する部分である。
【００３３】
制御部113はカメラボディ内の各部を制御する制御手段である。
【００３４】
表示・警告部122は、該撮像装置の状態や撮影済みの画像や映像を表示したり、ユーザに警告を伝える場合に警告マークを表示したり音声で伝える部分である。
【００３５】
操作部123は、撮影モードや撮影モードに関わるパラメータを設定する部分である。例えば、1枚の入力画像データから、1枚の画像データを作成する通常撮影モードと、合焦距離を変えて撮影した複数枚の画像から1枚の画像を作成する被写界深度拡張モード、合焦制御モードの３つの撮影モードの切り替えは操作部を通しておこなう。タッチパネル式の場合は、表示・警告部122と同一モジュールとして実現される。
【００３６】
画像メモリ部111は、複数枚画像合成205のために、AFE処理201、A/D変換202、DBE処理203の一部を施した中間処理結果画像を一時記録するメモリである。焦点距離を変えて撮影した複数枚画像を関連データと共に保存する。関連データには、被写体距離算出部から各複数枚画像と対応付けて算出したデフォーカスマップが考えられる。デフォーカスマップとは特定の被写体距離を合焦距離として画像撮影する際に、各画素もしくは画角内のAEポイントにおける合焦に関する評価量を表したマップである。
【００３７】
位相差AF撮像素子114は、ミラー部108により偏向され導かれた被写体像を受光する素子である。スプリットレンズと2つの2つの１次元センサ配列からなり、合焦状態から離れると2つのセンサ上の像の間の距離が変化するAF像が得られこの2つの1次元像がデフォーカス量算出部115に送られる。
【００３８】
デフォーカス量算出部115は、位相差AF撮像素子114により生成された複数の信号に基づき、位相差AF方式により焦点位置からのずれを検出する手段である。AF制御部117から得られるAF制御の過去の制御から類推される前ピン後ピンの識別情報と、位相差AF撮像素子114から得られる位相差AF撮影像からデフォーカス量を算出し、AF制御部117に送る。
【００３９】
コントラストAF量算出部116は、画像処理部110から得たAFポイントを含む領域の輝度信号に相関演算を行い合焦状態の合否の基準となるコントラストAF評価量を算出する。算出したAF量はAF制御部117に送られる。AFポイントは、AF動作に伴い制御部113により指定されるか、被写体距離算出部118の被写体距離算出動作により指定される。
【００４０】
AF制御部117は、コントラストAF量算出部116から得られたコントラストAF方式に基づく合焦情報もしくデフォーカス量算出部115から得られた位相差AF方式に基づくデフォーカス量に応じてAFの合焦状態を変更するフォーカス制御量を決定し、制御部113を通じてレンズ部100のレンズ制御部106にフォーカス制御量を送る。
【００４１】
またフォーカス変更量はコントラストAF方式に基づく合焦情報および位相差AF方式に基づくデフォーカス量の両方の情報に基づきフォーカス制御量を算出しても良い。例えば、コントラストAF方式に基づく合焦量が合焦状態から遠くはなれた評価量である場合、位相差AF方式に基づくデフォーカス量を優先し、コントラストAF方式に基づく合焦量が合焦状態に近い評価量である場合、コントラストAF方式に基づく合焦量のみをフォーカス制御量算出に使うという方法が想定される。但し、図1に示した本発明の構成におけるミラー部では選択的に光を導くため、時分割にしか併用しての測定ができない。確実なる併用のためにはミラー部をハーフミラー等に置き換える必要がある。
【００４２】
逆にコントラストAF方式を実現するコントラストAF量算出部116、位相差AF方式を実現する位相差AF撮像部114・デフォーカス量算出部115はどちらか一方を有する撮像装置の構成であっても良い。
【００４３】
被写体距離算出部118は、撮像画角内に写る最近接および最遠の被写体の距離情報をAF制御部117を制御して算出する手段である。また合焦距離を変化させて撮影する画像と対となるデータとして被写体距離マップを算出する手段である。ここではある合焦距離での各画角のデフォーカス量をマップ化したものがデフォーカスマップであり、さらに合焦距離を変化させて作成した複数のデフォーカスマップを統合したものが被写体距離マップであるとする。つまり特定の合焦距離に対し、デフォーカス情報を統合したマップである。
【００４４】
最近接または最遠の物体の像面上の位置は、まずAFポイントを画角に対して複数設定して特定する。例えば2次元の配列上にAFポイントを設定し、各AFポイント毎に求まる被写体距離のうち、最も近い被写体距離のAFポイントを最近接被写体の位置とし、その被写体距離を最近接被写体距離とする。逆に最も遠い被写体距離のAFポイントを最遠被写体の位置とし、その被写体距離を最遠被写体距離とする。
【００４５】
被写体マップは位相差AFのAFポイントのような離散的な位置のみの情報でも良いし、フリーAFポイントのコントラストAFを用いて画素レベルの空間解像度で求めても良い。また位相差AFを用いて画素レベルの空間解像度で被写体距離マップを作成する場合にはAFポイントの測定量の補間を用いても良い。
【００４６】
撮像装置がコントラスト方式および位相差方式のAF機構を共に備える場合には、連携して被写体距離を算出しても良い。例えばグリッド上の粗いAFポイントの被写体距離情報を位相差AFによって算出し、より細かい被写体距離は任意の位置にAFポイントを設定可能なコントラスト方式によって算出する。
【００４７】
また、被写体距離算出部118は独立した測距システムであっても良い。例えば赤外線を被写体に照射し、その反射光を受光するまでの時間から被写体距離を算出するTOF(Time Of Flight)等のアクティブ型の測距システムでも良い。
【００４８】
さらに独立した測距システムから得られる被写体距離とAFから得られる被写体距離を連携して距離を求める連携システムであっても良い。複数の測距システムの連携により、被写体のテクスチャや環境の暗さによって測定が難しくなるAF型の測距方式の弱点、および環境が明るすぎることによって測定が難しくなるアクティブ型の測距方式の弱点を打ち消し合うロバストなシステムが期待できる。
【００４９】
補正可能被写界深度算出部119は、画像処理部の複数枚合成処理の要素を考慮して画像処理後の被写界深度を計算する手段である。補正可能被写界深度情報は合焦距離、最近接補正可能距離、最遠補正可能距離からなる。
【００５０】
被写界データメモリ部120は、レンズ識別データに対応するレンズ部の光学系による撮像と画像処理を組み合わせた際の被写界深度を算出するモデル、つまり関数式を保存するデータベースである。焦点距離、絞り値、合焦距離といった光学的なパラメータに加え、合成枚数、複数枚画像の各画像の撮影時のデフォーカス量といった画像処理に関するパラメータを元に、補正によって救うことが可能な被写界深度を算出するモデルを保持している。撮影光学系と組み合わせる画像処理に従い適切なモデルを選択する必要があり、レンズ部に登録されたレンズ識別データに基づき選択する。
【００５１】
補正可能被写界外被写体判定部121は、被写体距離算出部120により算出された最近接被写体距離および最遠被写体距離と、補正可能被写界深度算出部により計算された最近接補正可能距離および最遠補正可能距離を比較することにより、画角内に捉えている被写体が補正可能な被写体距離に存在するか否かを判定手段である。
【００５２】
画像処理部110は操作部123により選択される撮影モードに従い、その画像処理を切り替える。また、画像処理部110は、制御部113もしくは被写体距離算出部118に指定されたAFポイント近傍領域を切り出しコントラストAF量算出用の輝度画像を出力する。図2に画像処理部110の処理の流れを示す。
【００５３】
通常撮影モード時は、1枚の入力画像データから、1枚の画像データを作成する。
【００５４】
被写界深度拡張モード時、および合焦制御モード時は、フォーカス距離を変えて撮影した複数枚の画像から1枚の応用画像処理を終えた画像を作成する。合焦距離を撮影モードパラメータとして操作部より設定したデフォーカス量ずつずらし、設定枚数の画像を撮影する。撮影した各画像には、図2に示すように、AFE処理201、A/D変換202、ベイヤー補間208を行い色プレーンにより構成される画像として画像メモリ111に保存する。
【００５５】
さらに合焦制御モード時には、被写界深度拡張モードと同等処理で作成された被写界深度拡張画像に対し、被写体距離マップに基づきコンボリューション処理をおこなうことでデフォーカスによるボケを付加する。コンボリューションカーネルは図示していないコンボリューションカーネルデータベースから被写体距離マップおよびレンズ識別データに基づき適切なカーネルを選択する。
【００５６】
また同時に、被写界深度算出部において、各画像を撮影する際に対応する被写体距離マップを作成する。
【００５７】
これらデータを入力として、出力画像の各画素について、各撮影画像中で最も合焦した画素を合焦マップの可否もしくは評価値を元に選択抽出し、一枚の被写界深度拡張された出力画像を生成する。
【００５８】
画像処理部はまたコントラストAF量算出用の輝度画像を出力する。制御部もしくは被写体距離算出部により指定されるAFポイントの近傍領域画像を切り出し、輝度画像に変換して出力する。
【００５９】
以上説明した本実施形態の撮像装置において、光学系と画像処理との組み合わせによる被写界深度拡張および合焦状態補正機能を有効にして、被写界深度拡張効果または／および合焦状態補正効果を含んだ画像を撮影する際の処理のフローチャートを図3に示す。本フローチャートは静止画撮影の場合を想定している。
【００６０】
ステップS101では、撮影モードおよび撮影モードパラメータの設定を行う。例えば撮影モード設定では、通常撮影モード、被写界深度撮影モード、合焦制御モードの中から1つの撮影を選択する。撮影モードパラメータ設定では、撮影モード設定に関連するパラメータを操作部から設定する。被写界深度撮影モード、合焦制御モードでの撮影に関連するパラメータを設定する。例えば、被写界深度撮影・合焦制御モード共通のパラメータとしては複数枚合成に用いる画像の撮影枚数、複数枚撮影間のデフォーカス量がある。
【００６１】
ステップS102では、まずフレーミング・合焦調整を行う。カメラの位置や方向を変え、撮影したい被写体やシーンをフレーミングする。さらに合焦調整し基準合焦距離を決定する。この基準合焦距離は複数枚撮影における各画像撮影時の合焦距離決定の基準として用いることが可能である。例えば基準合焦距離を基準点としてS101で設定したデフォーカス量を変化させて順次画像を撮影することが考えられる。そして最後にシャッタ押下を行なう。フレーミングや基準合焦位置の設定に撮影者が納得した時点でシャッタ押下ステップがユーザにより実行される。
【００６２】
撮影モードが通常撮影の場合、本発明による撮影内容の評価を行わず、撮影S105を実行する。撮影した画像は記録部に記録される。通常撮影モード以外の被写界深度撮影・合焦制御モードの場合、本発明の核である撮影内容の評価S104を行う。
【００６３】
ステップS104では、評価を行う。フレーミングした被写体のうち最近接の被写体の被写体距離が補正可能最近接被写体距離よりも近い距離に存在しないか、あるいは最遠の被写体の被写体距離が補正可能最遠写体距離よりも遠い距離に存在しないかを評価する。
【００６４】
まず、補正可能被写界深度算出部にて、シャッタ押下時点の撮影モードと撮影パラメータ、画像処理パラメータの基づき補正可能被写界深度範囲を計算する。レンズ識別子とその撮影モードに基づき、被写界データメモリ部から、補正可能被写界深度を算出する算出モデルを取得する。撮影パラメータには合焦距離、焦点距離、絞り値が与えられる。画像処理パラメータとしてはデフォーカス間隔、が与えられる。そして補正可能被写界深度範囲として最近接補正可能距離および最遠補正可能距離が求まる。
【００６５】
以下に複数枚画像を撮像する光学系と複数枚画像から被写界深度拡張画像を作成する画像処理の組み合わせを用いた場合の補正可能被写界深度算出モデルの例を示す。
まず、焦点距離と絞りによって表現される無収差光学系の近似で表現される通常の光学系の被写界深度は、式、
【００６６】
【数１】
【００６７】
であらわされる。D0n,D0fは最近接および最遠の被写界深度距離である。fは光学系の焦点距離sは被写体距離、Fは絞りに関連する値、δは最小錯乱円サイズである。このように光学系に関する撮影パラメータのみでモデル化される。
【００６８】
図4(a)はその幾何的な関係を示す図である。D0n,D0fは被写体空間に定義される測定量である。像面上でのボケの大きさを基準に定義される。この従来のモデルに対し、本発明の第1の実施の形態では複数枚画像合成を考慮したモデルを用意する。図4(b)のようにデフォーカスdずつ合焦距離を変化させて撮影したN枚の画像を合成すると、その合成後の拡張された補正可能被写界深度距離Df’ , Dn’に対するモデルは、
【００６９】
【数２】
【００７０】
と表すことができる。撮像パラメータに加え、画像処理のパラメータを考慮することで画像処理による効果を考慮した被写界深度が算出可能となる。但し、ここでデフォーカスdは複数枚の撮影のデフォーカス範囲が重ならないように最大に設定（ｄ＝Ｄｆ０＋Ｄｎ０）した場合である。図4(b)は3枚の画像を撮影し、複数枚画像合成により被写界深度拡張を行なった場合の被写界深度の変化の概略を示す図である。
【００７１】
そして被写体距離算出部にて比較対照となる被写体の最近接および最遠距離を算出する。また必要に応じ画角内の全ての被写体についての情報を持つ被写体距離マップを算出する。被写体距離マップは画素レベルもしくはその座標よりも粗くとったAFポイント単位で値を求める。図５の記号位置は粗くとったAFポイントの例を示している。
【００７２】
最後に補正可能被写界外被写体判定部にて、最近接補正可能距離および最遠補正可能距離と被写体の最近接および最遠距離を比較して評価を行う。
【００７３】
評価がOKの場合、撮影ステップS105に移行する。評価がOKでない場合、警告ステップS106に移行する。
【００７４】
ステップS106の警告では表示警告部の表示画面に、補正可能被写界深度に収まらない被写体がフレーミングされている旨を伝える。例えば図6(a)のように画面の一部に警告マークを表示したり、図6(b)のようにAFポイントごとの判定結果を表示したり、図6（c)のようにさらに詳細に被写体距離マップを求め、補正可能被写界深度外にある被写体の表示部分に赤色表示をスーパインポーズして、補正可能被写界深度外にあたる被写体をユーザに教唆する。また表示・警告部はスピーカより音声を発信してユーザにフレーミングした被写体に補正可能被写界深度外の被写体が含まれていることを知らさせても良い。
【００７５】
ユーザは警告に従う場合、
(1)撮影モードを再設定
(2)撮影モードパラメータを再設定
(3)フレーミング・合焦を再調整
等のアクションを行い撮影方法または撮影条件を変更し、評価S104で不合格となり意図した画像を得られなくなるケースを回避する。
【００７６】
またユーザが補正可能被写界深度外の被写体を意図している場合はそのまま撮影を行うことが可能な手段を用意する。図6（a）のように警告表示の画面に撮影アイコンを表示して、ユーザがそのアイコンを操作部より選択した場合には警告を無視し撮影を続行する。
【００７７】
撮影モード再設定(1)を行う場合、例えば通常撮影モードに変更することで意図した画像を撮影することが可能となる。
【００７８】
また、撮影モードパラメータ再設定(2)を行う場合、例えば撮影枚数を増加させたり、デ合焦距離を増加させることで評価を合格させ、意図した被写界深度画像もしくは合焦制御画像を生成することができる。
【００７９】
さらに、フレーミング・合焦再調整(3)を行う場合、まずフレーミングを調整して写る被写体を変更し、最近接被写体距離および最遠被写体距離を調整することが可能である。また合焦調整を行い基準合焦距離を変更することで、最近接被写体距離および最遠被写体距離のバランスをとることが可能である。さらにズームまたは絞り等の撮影条件を変更しても良い。
【００８０】
以上説明したS101〜106の撮影手順を撮影者が実行して静止画像を撮影することで、補正可能被写界深度範囲を超える被写体距離のボケに対して画像処理を行うことで生じる副作用によるアーティファクトを含まない被写界深度拡張の効果を発揮した画像を得ることができる。
【００８１】
また、図7に動画撮影時の状態遷移図を示す。動画撮影時は撮影中に刻々とシーンが変化するため、たとえ補正可能被写界深度範囲をシーンの一部が超えても、いちいち撮影を中断することができない。そこで補正可能被写界深度範囲を写るシーンの一部が超えた場合、撮影は継続したまま表示警告・操作部に警告を表示し、撮影者に警告状態の回避を促す。
【００８２】
まず、撮影モードに移行することで初期状態S700から撮影待機状態S701 に遷移する。具体的には撮像機器の電源をOFF状態からONにしたり、撮像機器の状態を再生モードから撮影モードに切り替えた時である。
【００８３】
撮影待機状態S701では、撮影モードが変更可能とする。例えば通常撮影、被写界深度拡張、の中から撮影モードを選択する。撮影モード変更は図示される状態の中で撮影待機状態のときのみ変更可能である。
【００８４】
撮影を開始することで平常撮影状態S702に移行する。平常撮影状態S702には画像の撮影、被写界深度拡張を含む画像処理、画像の記録が随時行われる。撮影中もフレーミングや合焦距離、焦点距離や絞り等を変更可能なのはもちろんのこと、撮影モードに関連するパラメータも変更可能とする。撮影モードに関連するパラメータとは例えば複数枚合成の枚数、デフォーカス量等である。そして撮影開始から撮影停止までの間、補正可能被写界深度と被写体距離の間の評価は常に行われる。
【００８５】
評価がNGの場合、警告撮影状態S703に移行し、表示警告部に警告情報が表示される。撮影モードパラメータ、フレーミング、合焦距離や焦点距離、絞り等の撮影条件を変更することで補正可能被写界深度と被写体距離の間の評価に合格し、平常撮影状態S702に戻れるよう撮影者は試みることが求められる。
【００８６】
通常撮影モードの場合にも評価を行い同様の状態遷移を行っても良い。しかし、通常撮影時の評価NGとは、シーンに含まれる被写体距離の一部が光学系の被写界深度を越えて存在しボケを生じているだけの状態であり、被写界深度拡張モードの場合とは意味合いが異なるので警告撮影状態への遷移を用意することは必ずしも必要でない。
【００８７】
撮影を停止することで撮影待機状態S701 に移行する。撮影するシーンの奥行きが広く、撮影モードパラメータや撮影条件の変更だけでは警告撮影状態を抜けられない場合等には、失敗のない映像を撮影するため、警告撮影状態から平常撮影状態に戻ることなく撮影を停止し、平常撮影を維持可能な撮影モード、たとえば通常撮影モードに切り替えることが求められる。そして撮像機器の電源をOFF状態にしたり、撮像機器の状態を再生モーに切り替えると場合、終状態S704 となる。
【００８８】
以上説明した図7の状態遷移図において、警告撮影状態を放置して動画撮影を続けると、補正可能被写界深度範囲を超える被写体距離のボケに対して画像処理を行うことで生じる副作用によるアーティファクトの目立つ映像がその間記録されることとなる。警告に気をつけ、平常撮影状態を維持して映像を撮影することで、被写界深度拡張を十分に発揮したアーティファクトのない映像を撮影することができる。
【００８９】
［実施例２］（光学素子利用・被写界深度拡張）
以下、図を参照して本発明を実施するための第2の形態について説明する。図8は、本発明による撮像装置の一実施の形態を示す図である。
【００９０】
本実施の形態の撮像装置は、結像に関与する光線の位相状態を変化させる位相板801を光学系に含み、位相操作により被写体距離によらずに一定の広がりを持って点を結像させることになる結像特性を生かし、画像処理部802においてデコンボリューション処理により一定状態である点像のボケを除くことで被写体深度拡張させた画像を作成し、出力する撮像装置である。
【００９１】
撮像装置は実施の第1の形態の撮像装置と同様、レンズ部およびカメラボディからなる。説明を簡潔に行うため、第1の形態の撮像装置と同じ部分に関しては説明を省略することとする。
【００９２】
レンズ部100は、光学系101、モータ104、エンコーダ105、レンズ制御部106からなり、光学系101は、レンズ群102、位相板801、絞り103からなる。
【００９３】
位相板801は、共軸光学系の場合放射方向について厚みの変化する回転対象の光学素子、もしくは放射方向について屈折率の異なる光学素子により構成され、結像面前後でのデフォーカス方向に移動した際のPSFの変化が小さくなるように設計される。但し、デフォーカス方向についてのPSFの変化が小さくなる代わりに合焦位置でのPSFは位相板801を挿入しない場合に比べて非常に広がった状態となり、ボケ像しかえられなくなる。
【００９４】
カメラボディ003は、ミラー部108、撮像素子109、画像処理部802、コンボリューションカーネルデータベース803、記録部112、制御部位相差AF撮像素子114、デフォーカス量算出部115、コントラストAF算出部116、AF制御部117、被写体距離算出部118、補正可能被写界深度算出部119、補正可能被写界外被写体判定部121、被写界データメモリ部120、表示・警告部122、操作部123からなる。
【００９５】
コンボリューションカーネルデータベース803は、レンズ識別データ、焦点距離、合焦距離デフォーカス量、絞り値等に基づき適切なカーネルを選択し、コンボリューションおよびデコンボリューション処理に対し提供する手段である。
【００９６】
画像処理802では、AFE処理、カメラ画像処理に加え、デコンボリューション処理を行う。
【００９７】
図9に実施の形態2における画像処理部802の処理の流れを示す。デコンボリューション処理901ではレンズ識別データや焦点距離、絞り、被写体距離に従い、コンボリューションカーネルデータベース803から結像時のPSFに合わせたコンボリューションカーネルを選択してデコンボリューションを行う。またデコンボリューションの精度を高める場合には画像上の画角毎にコンボリューションカーネルを選びなおし、デコンボリューションを実行する必要がある。
【００９８】
また合焦制御モード時には、被写界深度拡張モードと同等処理で作成された被写界深度拡張画像に対し、被写体距離マップに基づきコンボリューション処理をおこなうことでデフォーカスによるボケを付加する。コンボリューションカーネルデータベースはデコンボリューションで利用するものを共用できる。ボケの出方を真似る位相板を用いない通常光学系のレンズをレンズ識別子により指定する。そして、合焦距離、焦点距離、絞り値、デフォーカス値等の他の光学パラメータを指定し、適切なコンボリューションカーネルを得る。実施の第1の形態におけるコンボリューションデータベースも本実施例のものを共用可能である。本実施の形態における光学系に対しては、適切な復元処理なしの状態ではボケ状態のため観察には適さないため、通常撮影モードはない。
【００９９】
画像処理部802にて、基本的画像処理が行われた画像信号の一部はAF制御部に指定されたAFポイントを含む領域を切り出し、輝度信号に変換してコントラストAF量算出部に送られる。しかしながら位相板を挿入した場合、合焦位置近傍であっても像はボケ状態であるため適切な合焦判定が得られない。そこで、コントラストAF量算出部に送られるAFポイントを含む画像領域に対し、デコンボリューション処理902を施して最終画像にした状態でコントラストAF量算出部116に画像を送る。制御部を通して指定されたAFポイントを含む領域を通常撮影時に比べコンボリューションカーネル分余分に切り出した画像データに対し、AFE処理、輝度変換を行い、画像領域の画角位置に対応するコンボリューションカーネルをコンボリューションカーネルデータベース803から読み込みでコンボリューションを行う。そして出力画像と同等の結像状態となった輝度画像をコントラストAF量算出部116に送る。
【０１００】
以上説明した本実施形態の撮像装置において、光学系と画像処理との組み合わせによる被写界深度拡張および合焦状態補正機能を有効にして、被写界深度拡張効果または/および合焦状態補正効果を含んだ画像を撮影する際の処理のフローチャートを図10に示す。説明を簡潔に行うため、第1の形態のフローチャートと同じ部分に関しては説明を省略する。
ステップS204では、評価を行う。フレーミングした被写体のうち最近接の被写体の被写体距離が補正可能最近接被写体距離よりも近い距離に存在しないか、あるいは最遠の被写体の被写体距離が補正可能最遠写体距離よりも遠い距離に存在しないかを評価する。
【０１０１】
まず、補正可能被写界深度算出部にて、シャッタ押下時点の撮影モードと撮影パラメータ、画像処理パラメータの基づき補正可能被写界深度範囲を計算する。レンズ識別子とその撮影モードに基づき、被写界データメモリ部120から、補正可能被写界深度を算出する算出モデルを取得する。撮影パラメータには合焦距離、焦点距離、絞り値が与えられる。画像処理パラメータとしてはデフォーカス間隔、が与えられる。そして補正可能被写界深度範囲として最近接補正可能距離および最遠補正可能距離が求まる。
【０１０２】
以下に位相板を挿入して波面操作した光学系とデコンボリューション処理901により被写界深度拡張画像を作成する画像処理の組み合わせを用いた場合の補正可能被写界深度算出モデルの例を示す。まず、位相板を考慮しない最近接および最遠の被写界深度範囲境界の距離Ｄ０ｎ，Ｄ０ｆは(式1)により求まり、画像処理を考慮した補正可能被写界深度範囲境界の距離Ｄ´ｎ，Ｄ´ｆを算出する算出モデルは、
【０１０３】
【数３】
【０１０４】
と定義できる。αｎ，αｆは補正可能被写界深度範囲境界の最近接距離および最近接距離に対する被写界深度拡張倍率を表す。αｎ，αｆは光学系の制約もしくはデコンボリューション処理901の実装により決まる。光学系による制約とは、結像される点像が合焦位置からのデフォーカスに対し、点像の変化が小さいとみなすことのできるデフォーカス範囲の理想光学系の被写界深度範囲に対する比である。光学系の設計システムを用いた点像(PSF)評価や実験において求めることができる。非特許文献1においてはこの値として約
【０１０５】
【数４】
【０１０６】
が報告されている。
【０１０７】
デコンボリューション処理901の実装による制約とは、コンボリューションカーネルデータベースにどれだけの範囲のデフォーカスについてカーネルを用意しているか、もしくはデコンボリューション処理においてどれだけのサイズのカーネルを扱うことができるかにより制限される。
【０１０８】
αｎ，αｆ光学系の制約もしくはデコンボリューション処理901の実装による制約のどちらか厳しいほうにより決まる。
【０１０９】
図11に位相板を挿入した光学系とデコンボリューション処理901による被写界深度拡張の効果を説明する図を示す。撮影時には通常光学系のと異なりぼけた画像しか得られないが、画像処理との組み合わせによって、位相板の挿入されていない光学系に対し被写界深度拡張した画像が得られる。
【０１１０】
評価がOKの場合、撮影ステップS205に移行する。評価がOKでない場合、警告ステップS106に移行する。
【０１１１】
ステップS207では撮影を行う。位相板を装備した光学系により、波面操作した被写体像を撮影し、後段の画像処理でデコンボリューション処理901を実行し、被写界深度を拡張した画像を取得する。
【０１１２】
また、動画撮影時の状態遷移図については第1の形態の状態遷移図と同じであるため説明を省略する。
【符号の説明】
【０１１３】
レンズ部 001
カメラボディ 002
【技術分野】
【０００１】
本発明は、撮像時または後処理において、画像または映像の被写界深度を拡大または/および合焦具合を補正する機能を有する撮像装置に関する。
【背景技術】
【０００２】
従来、被写界深度の広い画像または映像(以降画像で統一)、例えば画角内に写る被写体全てにピントの合ったパンフォーカス画像を撮影しようとする場合、光学系の絞りを絞る必要があった。しかし、光学系の絞りを絞り込み被写界深度を拡張しようとすると光量が不足し易くなるため、大光量照明装置のような大規模で特別な装置が必要となったり、長時間露光が必要となり動きの早い被写体が撮影できない等の強い制約が生じる課題があった。
【０００３】
これに対し近年、特別な光学素子の光学系への挿入と画像処理の組み合わせ、または撮影条件を変えながらの複数枚撮影と画像処理の組み合わせにより被写界深度を拡張したり、さらに画像処理の段階で合焦具合の制御・補正を行う機能が実用化されつつある。
【０００４】
例えば、特別な光学素子の光学系への挿入と画像処理の組み合わせにより被写界深度を拡張する技術として非特許文献１等が提案されている。具体的にはまず光波の位相等を制御することにより被写体からの光束の収束状態を変化させる素子を光学系の光路中に挿入し、これにより通常、光束の発散元である被写体の距離により大きく変化する結像面近傍でのPSF(点像分布関数)等で表現される結像状態を、被写体距離が変化しても変化しにくく、像面上で均一状態となるようにする光学技術からなる。そしてデコンボリューションやアンシャープマスクのようなフィルタリング型の鮮鋭化画像処理技術と組み合わせることにより目的の効果を実現する。光学系での像面上でのボケ状態を均一にする工夫により、前記のような単純で従来から存在する画像処理技術で、違和感の小さな被写界深度拡張を実現する。
【０００５】
また、焦点の合っている部分が異なる複数の画像を撮影し、各々の画像が有する被写界深度よりも広い被写界深度を有する画像を合成する被写界深度拡張技術として、特許文献１等が提案されている。これらはフォーカス距離を変えて撮影した各画像またはフレームまたはフィールド(以降画像で統一)中の合焦領域を合成画像の画素または領域毎に選択・抽出する画像処理により被写界深度が拡張された画像を生成する技術である。
【０００６】
さらに、同一被写体に対して合焦距離の異なる複数の画像を撮影した後に、画像処理により任意の距離の被写体を合焦状態とし、それ以外の被写体をボケ状態とする画像を生成するリフォーカシング技術が提案されている。具体的には複数枚の撮影画像の中から所望のボケ状態の画素を選択・抽出して画像を生成する技術、前記被写界深度拡張技術により全焦点画像を生成した後にコンボリューションのようなフィルタリング型のぼかし画像処理技術により非合焦領域に所望のボケを加える技術、特許文献２が提案されている。
【０００７】
一方、被写界深度は合焦距離に対して前側と後側の被写界深度範囲の広さが非対称であったり、ズーム・絞り状態により逐次変化するなど、普通の光学系の場合でさえユーザが直感的に把握することの難しい物理量である。オートフォーカスに加えて数多くの関連技術が提案されている。例えば主要被写体にピントボケが発生し易い状況であるかを判断し警告を出す技術、特許文献３や合焦状態を色の変化で表示し、ピント状態を確認しやすくする技術、特許文献４が提案されている。これはレンズ条件取得手段を用いて撮像光学系の被写界深度を計算し測距手段により取得した被写体の存在範囲と比較して、測距対象の被写体が被写界深度範囲外の場合に警告を発したり、色分け表示する技術である。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開平10-290389号公報
【特許文献２】特開2003-141506号公報
【特許文献３】特開昭63−262636号公報
【特許文献４】特開平6-113183号公報
【非特許文献】
【０００９】
【非特許文献１】”Wavefront Coding:jointly optimized optical and digital imaging systems”,Edward R.Dowski Jr.,Robert H.Cormack,Scott D. Sarama.
【発明の概要】
【発明が解決しようとする課題】
【００１０】
光学撮像系と画像処理の組み合わせによって被写界深度を拡張および/または合焦状態を補正する機能を有する撮像装置は、絞りを極端に絞り込む事により生じる光量不足等の従来制約から解放される反面、後処理の画像処理を経なければ画像が生成されない。このため処理後の拡張された被写界深度または補正後の合焦状態をリアルタイムで確認すること、ましては光学ビューファインダーを通して確認することは難しい。
【００１１】
さらに後処理により被写界深度補正を行おうとする場合、当然のことながらユーザは撮影時に画像処理で補正可能な深さ方向範囲にシーンを意識的に収めて撮影しないと後処理で期待する被写界深度拡張効果、合焦状態補正効果は得られない。それどころか選択手段によっては処理の副作用によるアーティファクトとして擬似輪郭が発生し、画像が台無しになる等の可能性さえある。
【００１２】
このような理由から、撮影時の被写界深度範囲の把握は通常光学系での撮像以上に重要となる。これに対し、被写界深度拡張および/または合焦状態補正機能を有する撮像装置では、光学特性に加えて画像処理による補正効果を考慮に入れなければならなくなる。その結果、従来の光学系用のピント状態確認手段で得られる情報からユーザが直感や推測で撮像の成否を判断するのは非常に困難となる。
【００１３】
このため後処理となる画像処理との組み合わせによる被写界深度拡張および合焦状態補正機能を有する撮像装置での撮影においては、ユーザが意図した被写界深度拡張効果または/および合焦状態補正効果が得られていないことに画像の撮影後または画像処理、記録後に気づくという課題が新たに生じていた。
【課題を解決するための手段】
【００１４】
本発明の第1の形態による撮像装置は、あらかじめ定められた移動量で離散的に合焦距離を変化させて順次画像を撮影することにより複数枚の画像を得る撮影手段と前記撮影手段により撮影された複数画像間の対応する座標の画素において画素を選択抽出して被写界深度を拡張する画像処理の組み合わせにより被写界深度を拡張した画像を撮影可能な撮像装置において、撮影手段の撮影条件と前記画像処理手段の処理属性に基づいて被写界深度を拡張する画像処理が可能なピント範囲を算出するピント範囲算出手段と、画面内の被写体が前記ピント範囲内の入っているか否かを判定する判定手段と、画面内の被写体がピント範囲内に入っていない場合に警告を出力する警告手段とを備えるようにした。
【００１５】
本発明の第２の形態による撮像装置は、被写体からの光を波面変換素子により位相変調し、この位相変調された光を結像して撮像する撮影手段と、この撮影手段で撮影された画像データに対して空間フィルタによる画像処理を行い被写界深度を拡張した画像を撮影可能な撮像装置において、撮影手段の撮影条件と前記画像処理手段の処理属性に基づいて被写界深度を拡張する画像処理が可能なピント範囲を算出するピント範囲算出手段と、画面内の被写体が前記ピント範囲内の入っているか否かを判定する判定手段と、画面内の被写体がピント範囲内に入っていない場合に警告を出力する警告手段とを備えるようにした。
【発明の効果】
【００１６】
ユーザは、光学と画像処理の組み合わせによって実現される被写界深度補正機能および/または合焦状態補正機能より復元または調整可能な被写体範囲を直感的にかつ撮影前に確認でき、撮影および画像処理後に失敗が判明することを回避できるようになる。
【図面の簡単な説明】
【００１７】
【図１】本発明の第1の実施の形態にかかる撮像装置の構成を示す図
【図２】本発明の第1の実施の形態にかかる画像処理部の処理の流れを示す図
【図３】本発明の第1の実施の形態にかかる被写界深度拡張効果を含んだ画像を撮影する際の処理のフローチャート
【図４】被写界深度算出モデルを説明する図
【図５】被写体距離マップを説明する図
【図６】被写界深度評価に伴う警告通知を説明する図
【図７】動画撮影時の状態遷移図
【図８】本発明の第2の実施の形態にかかる撮像装置の構成を示す図
【図９】本発明の第2の実施の形態にかかる画像処理部の処理の流れを示す図
【図１０】本発明の第2の実施の形態にかかる被写界深度拡張効果を含んだ画像を撮影する際の処理のフローチャート
【図１１】位相板を挿入した光学系とデコンボリューション処理による被写界深度拡張の効果を説明する図
【発明を実施するための形態】
【００１８】
［実施例１］
以下、図を参照して本発明を実施するための形態について説明する。図1は、本発明による撮像装置の1実施の形態を示す図である。本実施の形態の撮像装置は、合焦距離を変化させて撮影した複数枚の画像から被写界深度拡張させた画像および/または合焦距離を制御した画像を作成し出力する撮像装置であって、図1はその要部構成を説明するブロック図である。
【００１９】
撮像装置は、レンズ部001およびカメラボディ002からなる。
【００２０】
レンズ部001は、光学系101、モータ104、エンコーダ105、レンズ制御部106からなる。
【００２１】
光学系101は、被写体000から放射された光を撮像素子109上に結像させるコンポーネントであり、レンズ群102、絞り103からなる。
【００２２】
モータ104は、レンズ制御部106からの信号によりレンズ、絞り103を駆動する。
【００２３】
エンコーダ105は、レンズ102および絞り103、それぞれの駆動方向と駆動量を取得しレンズ制御部106に伝達する。
【００２４】
レンズ制御部106は、モータ104の制御等を行い、エンコーダ105で取得される情報をカメラボディ003に送信する情報に変換する部分である。
【００２５】
光学系10の各要素はレンズ制御部106からの命令に従い、モータ104により駆動され、その変化がエンコーダ105で取得される。レンズ群102のうち焦点調節用のレンズがモータ104によって駆動され、光学系の焦点調節が行われる。レンズの制御位置をエンコーダ105が取得し、レンズ制御部106にて合焦距離に変換される。またズーム調節用のレンズがモータ104によって駆動されることにより、ズーム調整が行わる。ズーム状態をエンコーダ105が取得し、レンズ制御部106にてレンズの焦点距離値に変換される。絞り103も同様にレンズ制御部106の命令に従い絞り103を調整し、エンコーダ105により絞り状態を取得し、レンズ制御部106にて絞り値に変換される。
【００２６】
またレンズ制御部106は接点107を通じてカメラボディ003内の制御部113と通信可能に構成されている。レンズ部100側からはレンズ制御部106にあらかじめ記録されたレンズ部106の種類を特定するレンズ識別データ、および制御に伴い刻々と変化する焦点距離、合焦距離、絞り値の情報を送信する。カメラボディ003側からはズーム、フォーカス、露出制御等に関する制御量を送信する。
【００２７】
一方、カメラボディ003は、ミラー部108、撮像素子109、画像処理部110、画像メモリ111、記録部112、制御部113、位相差AF撮像素子114、デフォーカス量算出部115、コントラストAF算出部116、AF制御部117、被写体距離算出部118、補正可能被写界深度算出部119、被写界データメモリ部120、補正可能被写界外被写体判定部121、表示・警告部122、操作部123からなる。
【００２８】
ミラー部108は、可動可能でその状態に応じ、レンズ部100の光学系101からの被写体像を撮像素子109もしくは位相差AF撮像部114の撮像面上に選択的に導く鏡からなる。被写体000からの結像情報を含んだ光線は、光学系101のレンズ群102を通過し、絞り103により光線径を制御されて、撮像素子109の面上もしくは位相差AF撮像部109のセンサ上に到達する。
【００２９】
撮像素子109は、光学系101を介して結像される被写体像を映像信号に変換する素子である。例えば、ベイヤー配列上にカラーフィルタを敷き詰めて一面で被写体像を受光する単板素子、または図示しない分光プリズムにより色情報を3つ以上に分離し、それぞれの光を別々の撮像素子で受光する３板素子がある。3板式の場合、余計な分光光学素子が必要となるが、後述の画像処理部におけるDBE処理中のベイヤー配列補間処理が不要となる。
【００３０】
画像処理部110は、撮像素子で光電変換された映像信号に対し、線形化、ノイズ除去処理、黒レベル補正等からなるAFE(アナログフロントエンド)処理201、A/D変換202、そしてベイヤー補間208、ホワイトバランス調整209、諧調補正210、エッジ強調等211からなるDBE(デジタルバックエンド)処理203により一枚の画像を生成し、最後に圧縮・符号化204を施す部分である。複数枚画像合成による被写界深度拡張処理をおこなう場合、さらに中間処理として複数枚画像合成205をおこなう。
【００３１】
動画像撮像の場合、撮像素子からの連続的な映像データに対し、AFE処理201、A/D変換202、DBE処理203、圧縮・符号化204 を行い動画像を生成する。
【００３２】
記録部112は、画像処理によって生成された静止画像もしくは動画像を記録する部分である。
【００３３】
制御部113はカメラボディ内の各部を制御する制御手段である。
【００３４】
表示・警告部122は、該撮像装置の状態や撮影済みの画像や映像を表示したり、ユーザに警告を伝える場合に警告マークを表示したり音声で伝える部分である。
【００３５】
操作部123は、撮影モードや撮影モードに関わるパラメータを設定する部分である。例えば、1枚の入力画像データから、1枚の画像データを作成する通常撮影モードと、合焦距離を変えて撮影した複数枚の画像から1枚の画像を作成する被写界深度拡張モード、合焦制御モードの３つの撮影モードの切り替えは操作部を通しておこなう。タッチパネル式の場合は、表示・警告部122と同一モジュールとして実現される。
【００３６】
画像メモリ部111は、複数枚画像合成205のために、AFE処理201、A/D変換202、DBE処理203の一部を施した中間処理結果画像を一時記録するメモリである。焦点距離を変えて撮影した複数枚画像を関連データと共に保存する。関連データには、被写体距離算出部から各複数枚画像と対応付けて算出したデフォーカスマップが考えられる。デフォーカスマップとは特定の被写体距離を合焦距離として画像撮影する際に、各画素もしくは画角内のAEポイントにおける合焦に関する評価量を表したマップである。
【００３７】
位相差AF撮像素子114は、ミラー部108により偏向され導かれた被写体像を受光する素子である。スプリットレンズと2つの2つの１次元センサ配列からなり、合焦状態から離れると2つのセンサ上の像の間の距離が変化するAF像が得られこの2つの1次元像がデフォーカス量算出部115に送られる。
【００３８】
デフォーカス量算出部115は、位相差AF撮像素子114により生成された複数の信号に基づき、位相差AF方式により焦点位置からのずれを検出する手段である。AF制御部117から得られるAF制御の過去の制御から類推される前ピン後ピンの識別情報と、位相差AF撮像素子114から得られる位相差AF撮影像からデフォーカス量を算出し、AF制御部117に送る。
【００３９】
コントラストAF量算出部116は、画像処理部110から得たAFポイントを含む領域の輝度信号に相関演算を行い合焦状態の合否の基準となるコントラストAF評価量を算出する。算出したAF量はAF制御部117に送られる。AFポイントは、AF動作に伴い制御部113により指定されるか、被写体距離算出部118の被写体距離算出動作により指定される。
【００４０】
AF制御部117は、コントラストAF量算出部116から得られたコントラストAF方式に基づく合焦情報もしくデフォーカス量算出部115から得られた位相差AF方式に基づくデフォーカス量に応じてAFの合焦状態を変更するフォーカス制御量を決定し、制御部113を通じてレンズ部100のレンズ制御部106にフォーカス制御量を送る。
【００４１】
またフォーカス変更量はコントラストAF方式に基づく合焦情報および位相差AF方式に基づくデフォーカス量の両方の情報に基づきフォーカス制御量を算出しても良い。例えば、コントラストAF方式に基づく合焦量が合焦状態から遠くはなれた評価量である場合、位相差AF方式に基づくデフォーカス量を優先し、コントラストAF方式に基づく合焦量が合焦状態に近い評価量である場合、コントラストAF方式に基づく合焦量のみをフォーカス制御量算出に使うという方法が想定される。但し、図1に示した本発明の構成におけるミラー部では選択的に光を導くため、時分割にしか併用しての測定ができない。確実なる併用のためにはミラー部をハーフミラー等に置き換える必要がある。
【００４２】
逆にコントラストAF方式を実現するコントラストAF量算出部116、位相差AF方式を実現する位相差AF撮像部114・デフォーカス量算出部115はどちらか一方を有する撮像装置の構成であっても良い。
【００４３】
被写体距離算出部118は、撮像画角内に写る最近接および最遠の被写体の距離情報をAF制御部117を制御して算出する手段である。また合焦距離を変化させて撮影する画像と対となるデータとして被写体距離マップを算出する手段である。ここではある合焦距離での各画角のデフォーカス量をマップ化したものがデフォーカスマップであり、さらに合焦距離を変化させて作成した複数のデフォーカスマップを統合したものが被写体距離マップであるとする。つまり特定の合焦距離に対し、デフォーカス情報を統合したマップである。
【００４４】
最近接または最遠の物体の像面上の位置は、まずAFポイントを画角に対して複数設定して特定する。例えば2次元の配列上にAFポイントを設定し、各AFポイント毎に求まる被写体距離のうち、最も近い被写体距離のAFポイントを最近接被写体の位置とし、その被写体距離を最近接被写体距離とする。逆に最も遠い被写体距離のAFポイントを最遠被写体の位置とし、その被写体距離を最遠被写体距離とする。
【００４５】
被写体マップは位相差AFのAFポイントのような離散的な位置のみの情報でも良いし、フリーAFポイントのコントラストAFを用いて画素レベルの空間解像度で求めても良い。また位相差AFを用いて画素レベルの空間解像度で被写体距離マップを作成する場合にはAFポイントの測定量の補間を用いても良い。
【００４６】
撮像装置がコントラスト方式および位相差方式のAF機構を共に備える場合には、連携して被写体距離を算出しても良い。例えばグリッド上の粗いAFポイントの被写体距離情報を位相差AFによって算出し、より細かい被写体距離は任意の位置にAFポイントを設定可能なコントラスト方式によって算出する。
【００４７】
また、被写体距離算出部118は独立した測距システムであっても良い。例えば赤外線を被写体に照射し、その反射光を受光するまでの時間から被写体距離を算出するTOF(Time Of Flight)等のアクティブ型の測距システムでも良い。
【００４８】
さらに独立した測距システムから得られる被写体距離とAFから得られる被写体距離を連携して距離を求める連携システムであっても良い。複数の測距システムの連携により、被写体のテクスチャや環境の暗さによって測定が難しくなるAF型の測距方式の弱点、および環境が明るすぎることによって測定が難しくなるアクティブ型の測距方式の弱点を打ち消し合うロバストなシステムが期待できる。
【００４９】
補正可能被写界深度算出部119は、画像処理部の複数枚合成処理の要素を考慮して画像処理後の被写界深度を計算する手段である。補正可能被写界深度情報は合焦距離、最近接補正可能距離、最遠補正可能距離からなる。
【００５０】
被写界データメモリ部120は、レンズ識別データに対応するレンズ部の光学系による撮像と画像処理を組み合わせた際の被写界深度を算出するモデル、つまり関数式を保存するデータベースである。焦点距離、絞り値、合焦距離といった光学的なパラメータに加え、合成枚数、複数枚画像の各画像の撮影時のデフォーカス量といった画像処理に関するパラメータを元に、補正によって救うことが可能な被写界深度を算出するモデルを保持している。撮影光学系と組み合わせる画像処理に従い適切なモデルを選択する必要があり、レンズ部に登録されたレンズ識別データに基づき選択する。
【００５１】
補正可能被写界外被写体判定部121は、被写体距離算出部120により算出された最近接被写体距離および最遠被写体距離と、補正可能被写界深度算出部により計算された最近接補正可能距離および最遠補正可能距離を比較することにより、画角内に捉えている被写体が補正可能な被写体距離に存在するか否かを判定手段である。
【００５２】
画像処理部110は操作部123により選択される撮影モードに従い、その画像処理を切り替える。また、画像処理部110は、制御部113もしくは被写体距離算出部118に指定されたAFポイント近傍領域を切り出しコントラストAF量算出用の輝度画像を出力する。図2に画像処理部110の処理の流れを示す。
【００５３】
通常撮影モード時は、1枚の入力画像データから、1枚の画像データを作成する。
【００５４】
被写界深度拡張モード時、および合焦制御モード時は、フォーカス距離を変えて撮影した複数枚の画像から1枚の応用画像処理を終えた画像を作成する。合焦距離を撮影モードパラメータとして操作部より設定したデフォーカス量ずつずらし、設定枚数の画像を撮影する。撮影した各画像には、図2に示すように、AFE処理201、A/D変換202、ベイヤー補間208を行い色プレーンにより構成される画像として画像メモリ111に保存する。
【００５５】
さらに合焦制御モード時には、被写界深度拡張モードと同等処理で作成された被写界深度拡張画像に対し、被写体距離マップに基づきコンボリューション処理をおこなうことでデフォーカスによるボケを付加する。コンボリューションカーネルは図示していないコンボリューションカーネルデータベースから被写体距離マップおよびレンズ識別データに基づき適切なカーネルを選択する。
【００５６】
また同時に、被写界深度算出部において、各画像を撮影する際に対応する被写体距離マップを作成する。
【００５７】
これらデータを入力として、出力画像の各画素について、各撮影画像中で最も合焦した画素を合焦マップの可否もしくは評価値を元に選択抽出し、一枚の被写界深度拡張された出力画像を生成する。
【００５８】
画像処理部はまたコントラストAF量算出用の輝度画像を出力する。制御部もしくは被写体距離算出部により指定されるAFポイントの近傍領域画像を切り出し、輝度画像に変換して出力する。
【００５９】
以上説明した本実施形態の撮像装置において、光学系と画像処理との組み合わせによる被写界深度拡張および合焦状態補正機能を有効にして、被写界深度拡張効果または／および合焦状態補正効果を含んだ画像を撮影する際の処理のフローチャートを図3に示す。本フローチャートは静止画撮影の場合を想定している。
【００６０】
ステップS101では、撮影モードおよび撮影モードパラメータの設定を行う。例えば撮影モード設定では、通常撮影モード、被写界深度撮影モード、合焦制御モードの中から1つの撮影を選択する。撮影モードパラメータ設定では、撮影モード設定に関連するパラメータを操作部から設定する。被写界深度撮影モード、合焦制御モードでの撮影に関連するパラメータを設定する。例えば、被写界深度撮影・合焦制御モード共通のパラメータとしては複数枚合成に用いる画像の撮影枚数、複数枚撮影間のデフォーカス量がある。
【００６１】
ステップS102では、まずフレーミング・合焦調整を行う。カメラの位置や方向を変え、撮影したい被写体やシーンをフレーミングする。さらに合焦調整し基準合焦距離を決定する。この基準合焦距離は複数枚撮影における各画像撮影時の合焦距離決定の基準として用いることが可能である。例えば基準合焦距離を基準点としてS101で設定したデフォーカス量を変化させて順次画像を撮影することが考えられる。そして最後にシャッタ押下を行なう。フレーミングや基準合焦位置の設定に撮影者が納得した時点でシャッタ押下ステップがユーザにより実行される。
【００６２】
撮影モードが通常撮影の場合、本発明による撮影内容の評価を行わず、撮影S105を実行する。撮影した画像は記録部に記録される。通常撮影モード以外の被写界深度撮影・合焦制御モードの場合、本発明の核である撮影内容の評価S104を行う。
【００６３】
ステップS104では、評価を行う。フレーミングした被写体のうち最近接の被写体の被写体距離が補正可能最近接被写体距離よりも近い距離に存在しないか、あるいは最遠の被写体の被写体距離が補正可能最遠写体距離よりも遠い距離に存在しないかを評価する。
【００６４】
まず、補正可能被写界深度算出部にて、シャッタ押下時点の撮影モードと撮影パラメータ、画像処理パラメータの基づき補正可能被写界深度範囲を計算する。レンズ識別子とその撮影モードに基づき、被写界データメモリ部から、補正可能被写界深度を算出する算出モデルを取得する。撮影パラメータには合焦距離、焦点距離、絞り値が与えられる。画像処理パラメータとしてはデフォーカス間隔、が与えられる。そして補正可能被写界深度範囲として最近接補正可能距離および最遠補正可能距離が求まる。
【００６５】
以下に複数枚画像を撮像する光学系と複数枚画像から被写界深度拡張画像を作成する画像処理の組み合わせを用いた場合の補正可能被写界深度算出モデルの例を示す。
まず、焦点距離と絞りによって表現される無収差光学系の近似で表現される通常の光学系の被写界深度は、式、
【００６６】
【数１】
【００６７】
であらわされる。D0n,D0fは最近接および最遠の被写界深度距離である。fは光学系の焦点距離sは被写体距離、Fは絞りに関連する値、δは最小錯乱円サイズである。このように光学系に関する撮影パラメータのみでモデル化される。
【００６８】
図4(a)はその幾何的な関係を示す図である。D0n,D0fは被写体空間に定義される測定量である。像面上でのボケの大きさを基準に定義される。この従来のモデルに対し、本発明の第1の実施の形態では複数枚画像合成を考慮したモデルを用意する。図4(b)のようにデフォーカスdずつ合焦距離を変化させて撮影したN枚の画像を合成すると、その合成後の拡張された補正可能被写界深度距離Df’ , Dn’に対するモデルは、
【００６９】
【数２】
【００７０】
と表すことができる。撮像パラメータに加え、画像処理のパラメータを考慮することで画像処理による効果を考慮した被写界深度が算出可能となる。但し、ここでデフォーカスdは複数枚の撮影のデフォーカス範囲が重ならないように最大に設定（ｄ＝Ｄｆ０＋Ｄｎ０）した場合である。図4(b)は3枚の画像を撮影し、複数枚画像合成により被写界深度拡張を行なった場合の被写界深度の変化の概略を示す図である。
【００７１】
そして被写体距離算出部にて比較対照となる被写体の最近接および最遠距離を算出する。また必要に応じ画角内の全ての被写体についての情報を持つ被写体距離マップを算出する。被写体距離マップは画素レベルもしくはその座標よりも粗くとったAFポイント単位で値を求める。図５の記号位置は粗くとったAFポイントの例を示している。
【００７２】
最後に補正可能被写界外被写体判定部にて、最近接補正可能距離および最遠補正可能距離と被写体の最近接および最遠距離を比較して評価を行う。
【００７３】
評価がOKの場合、撮影ステップS105に移行する。評価がOKでない場合、警告ステップS106に移行する。
【００７４】
ステップS106の警告では表示警告部の表示画面に、補正可能被写界深度に収まらない被写体がフレーミングされている旨を伝える。例えば図6(a)のように画面の一部に警告マークを表示したり、図6(b)のようにAFポイントごとの判定結果を表示したり、図6（c)のようにさらに詳細に被写体距離マップを求め、補正可能被写界深度外にある被写体の表示部分に赤色表示をスーパインポーズして、補正可能被写界深度外にあたる被写体をユーザに教唆する。また表示・警告部はスピーカより音声を発信してユーザにフレーミングした被写体に補正可能被写界深度外の被写体が含まれていることを知らさせても良い。
【００７５】
ユーザは警告に従う場合、
(1)撮影モードを再設定
(2)撮影モードパラメータを再設定
(3)フレーミング・合焦を再調整
等のアクションを行い撮影方法または撮影条件を変更し、評価S104で不合格となり意図した画像を得られなくなるケースを回避する。
【００７６】
またユーザが補正可能被写界深度外の被写体を意図している場合はそのまま撮影を行うことが可能な手段を用意する。図6（a）のように警告表示の画面に撮影アイコンを表示して、ユーザがそのアイコンを操作部より選択した場合には警告を無視し撮影を続行する。
【００７７】
撮影モード再設定(1)を行う場合、例えば通常撮影モードに変更することで意図した画像を撮影することが可能となる。
【００７８】
また、撮影モードパラメータ再設定(2)を行う場合、例えば撮影枚数を増加させたり、デ合焦距離を増加させることで評価を合格させ、意図した被写界深度画像もしくは合焦制御画像を生成することができる。
【００７９】
さらに、フレーミング・合焦再調整(3)を行う場合、まずフレーミングを調整して写る被写体を変更し、最近接被写体距離および最遠被写体距離を調整することが可能である。また合焦調整を行い基準合焦距離を変更することで、最近接被写体距離および最遠被写体距離のバランスをとることが可能である。さらにズームまたは絞り等の撮影条件を変更しても良い。
【００８０】
以上説明したS101〜106の撮影手順を撮影者が実行して静止画像を撮影することで、補正可能被写界深度範囲を超える被写体距離のボケに対して画像処理を行うことで生じる副作用によるアーティファクトを含まない被写界深度拡張の効果を発揮した画像を得ることができる。
【００８１】
また、図7に動画撮影時の状態遷移図を示す。動画撮影時は撮影中に刻々とシーンが変化するため、たとえ補正可能被写界深度範囲をシーンの一部が超えても、いちいち撮影を中断することができない。そこで補正可能被写界深度範囲を写るシーンの一部が超えた場合、撮影は継続したまま表示警告・操作部に警告を表示し、撮影者に警告状態の回避を促す。
【００８２】
まず、撮影モードに移行することで初期状態S700から撮影待機状態S701 に遷移する。具体的には撮像機器の電源をOFF状態からONにしたり、撮像機器の状態を再生モードから撮影モードに切り替えた時である。
【００８３】
撮影待機状態S701では、撮影モードが変更可能とする。例えば通常撮影、被写界深度拡張、の中から撮影モードを選択する。撮影モード変更は図示される状態の中で撮影待機状態のときのみ変更可能である。
【００８４】
撮影を開始することで平常撮影状態S702に移行する。平常撮影状態S702には画像の撮影、被写界深度拡張を含む画像処理、画像の記録が随時行われる。撮影中もフレーミングや合焦距離、焦点距離や絞り等を変更可能なのはもちろんのこと、撮影モードに関連するパラメータも変更可能とする。撮影モードに関連するパラメータとは例えば複数枚合成の枚数、デフォーカス量等である。そして撮影開始から撮影停止までの間、補正可能被写界深度と被写体距離の間の評価は常に行われる。
【００８５】
評価がNGの場合、警告撮影状態S703に移行し、表示警告部に警告情報が表示される。撮影モードパラメータ、フレーミング、合焦距離や焦点距離、絞り等の撮影条件を変更することで補正可能被写界深度と被写体距離の間の評価に合格し、平常撮影状態S702に戻れるよう撮影者は試みることが求められる。
【００８６】
通常撮影モードの場合にも評価を行い同様の状態遷移を行っても良い。しかし、通常撮影時の評価NGとは、シーンに含まれる被写体距離の一部が光学系の被写界深度を越えて存在しボケを生じているだけの状態であり、被写界深度拡張モードの場合とは意味合いが異なるので警告撮影状態への遷移を用意することは必ずしも必要でない。
【００８７】
撮影を停止することで撮影待機状態S701 に移行する。撮影するシーンの奥行きが広く、撮影モードパラメータや撮影条件の変更だけでは警告撮影状態を抜けられない場合等には、失敗のない映像を撮影するため、警告撮影状態から平常撮影状態に戻ることなく撮影を停止し、平常撮影を維持可能な撮影モード、たとえば通常撮影モードに切り替えることが求められる。そして撮像機器の電源をOFF状態にしたり、撮像機器の状態を再生モーに切り替えると場合、終状態S704 となる。
【００８８】
以上説明した図7の状態遷移図において、警告撮影状態を放置して動画撮影を続けると、補正可能被写界深度範囲を超える被写体距離のボケに対して画像処理を行うことで生じる副作用によるアーティファクトの目立つ映像がその間記録されることとなる。警告に気をつけ、平常撮影状態を維持して映像を撮影することで、被写界深度拡張を十分に発揮したアーティファクトのない映像を撮影することができる。
【００８９】
［実施例２］（光学素子利用・被写界深度拡張）
以下、図を参照して本発明を実施するための第2の形態について説明する。図8は、本発明による撮像装置の一実施の形態を示す図である。
【００９０】
本実施の形態の撮像装置は、結像に関与する光線の位相状態を変化させる位相板801を光学系に含み、位相操作により被写体距離によらずに一定の広がりを持って点を結像させることになる結像特性を生かし、画像処理部802においてデコンボリューション処理により一定状態である点像のボケを除くことで被写体深度拡張させた画像を作成し、出力する撮像装置である。
【００９１】
撮像装置は実施の第1の形態の撮像装置と同様、レンズ部およびカメラボディからなる。説明を簡潔に行うため、第1の形態の撮像装置と同じ部分に関しては説明を省略することとする。
【００９２】
レンズ部100は、光学系101、モータ104、エンコーダ105、レンズ制御部106からなり、光学系101は、レンズ群102、位相板801、絞り103からなる。
【００９３】
位相板801は、共軸光学系の場合放射方向について厚みの変化する回転対象の光学素子、もしくは放射方向について屈折率の異なる光学素子により構成され、結像面前後でのデフォーカス方向に移動した際のPSFの変化が小さくなるように設計される。但し、デフォーカス方向についてのPSFの変化が小さくなる代わりに合焦位置でのPSFは位相板801を挿入しない場合に比べて非常に広がった状態となり、ボケ像しかえられなくなる。
【００９４】
カメラボディ003は、ミラー部108、撮像素子109、画像処理部802、コンボリューションカーネルデータベース803、記録部112、制御部位相差AF撮像素子114、デフォーカス量算出部115、コントラストAF算出部116、AF制御部117、被写体距離算出部118、補正可能被写界深度算出部119、補正可能被写界外被写体判定部121、被写界データメモリ部120、表示・警告部122、操作部123からなる。
【００９５】
コンボリューションカーネルデータベース803は、レンズ識別データ、焦点距離、合焦距離デフォーカス量、絞り値等に基づき適切なカーネルを選択し、コンボリューションおよびデコンボリューション処理に対し提供する手段である。
【００９６】
画像処理802では、AFE処理、カメラ画像処理に加え、デコンボリューション処理を行う。
【００９７】
図9に実施の形態2における画像処理部802の処理の流れを示す。デコンボリューション処理901ではレンズ識別データや焦点距離、絞り、被写体距離に従い、コンボリューションカーネルデータベース803から結像時のPSFに合わせたコンボリューションカーネルを選択してデコンボリューションを行う。またデコンボリューションの精度を高める場合には画像上の画角毎にコンボリューションカーネルを選びなおし、デコンボリューションを実行する必要がある。
【００９８】
また合焦制御モード時には、被写界深度拡張モードと同等処理で作成された被写界深度拡張画像に対し、被写体距離マップに基づきコンボリューション処理をおこなうことでデフォーカスによるボケを付加する。コンボリューションカーネルデータベースはデコンボリューションで利用するものを共用できる。ボケの出方を真似る位相板を用いない通常光学系のレンズをレンズ識別子により指定する。そして、合焦距離、焦点距離、絞り値、デフォーカス値等の他の光学パラメータを指定し、適切なコンボリューションカーネルを得る。実施の第1の形態におけるコンボリューションデータベースも本実施例のものを共用可能である。本実施の形態における光学系に対しては、適切な復元処理なしの状態ではボケ状態のため観察には適さないため、通常撮影モードはない。
【００９９】
画像処理部802にて、基本的画像処理が行われた画像信号の一部はAF制御部に指定されたAFポイントを含む領域を切り出し、輝度信号に変換してコントラストAF量算出部に送られる。しかしながら位相板を挿入した場合、合焦位置近傍であっても像はボケ状態であるため適切な合焦判定が得られない。そこで、コントラストAF量算出部に送られるAFポイントを含む画像領域に対し、デコンボリューション処理902を施して最終画像にした状態でコントラストAF量算出部116に画像を送る。制御部を通して指定されたAFポイントを含む領域を通常撮影時に比べコンボリューションカーネル分余分に切り出した画像データに対し、AFE処理、輝度変換を行い、画像領域の画角位置に対応するコンボリューションカーネルをコンボリューションカーネルデータベース803から読み込みでコンボリューションを行う。そして出力画像と同等の結像状態となった輝度画像をコントラストAF量算出部116に送る。
【０１００】
以上説明した本実施形態の撮像装置において、光学系と画像処理との組み合わせによる被写界深度拡張および合焦状態補正機能を有効にして、被写界深度拡張効果または/および合焦状態補正効果を含んだ画像を撮影する際の処理のフローチャートを図10に示す。説明を簡潔に行うため、第1の形態のフローチャートと同じ部分に関しては説明を省略する。
ステップS204では、評価を行う。フレーミングした被写体のうち最近接の被写体の被写体距離が補正可能最近接被写体距離よりも近い距離に存在しないか、あるいは最遠の被写体の被写体距離が補正可能最遠写体距離よりも遠い距離に存在しないかを評価する。
【０１０１】
まず、補正可能被写界深度算出部にて、シャッタ押下時点の撮影モードと撮影パラメータ、画像処理パラメータの基づき補正可能被写界深度範囲を計算する。レンズ識別子とその撮影モードに基づき、被写界データメモリ部120から、補正可能被写界深度を算出する算出モデルを取得する。撮影パラメータには合焦距離、焦点距離、絞り値が与えられる。画像処理パラメータとしてはデフォーカス間隔、が与えられる。そして補正可能被写界深度範囲として最近接補正可能距離および最遠補正可能距離が求まる。
【０１０２】
以下に位相板を挿入して波面操作した光学系とデコンボリューション処理901により被写界深度拡張画像を作成する画像処理の組み合わせを用いた場合の補正可能被写界深度算出モデルの例を示す。まず、位相板を考慮しない最近接および最遠の被写界深度範囲境界の距離Ｄ０ｎ，Ｄ０ｆは(式1)により求まり、画像処理を考慮した補正可能被写界深度範囲境界の距離Ｄ´ｎ，Ｄ´ｆを算出する算出モデルは、
【０１０３】
【数３】
【０１０４】
と定義できる。αｎ，αｆは補正可能被写界深度範囲境界の最近接距離および最近接距離に対する被写界深度拡張倍率を表す。αｎ，αｆは光学系の制約もしくはデコンボリューション処理901の実装により決まる。光学系による制約とは、結像される点像が合焦位置からのデフォーカスに対し、点像の変化が小さいとみなすことのできるデフォーカス範囲の理想光学系の被写界深度範囲に対する比である。光学系の設計システムを用いた点像(PSF)評価や実験において求めることができる。非特許文献1においてはこの値として約
【０１０５】
【数４】
【０１０６】
が報告されている。
【０１０７】
デコンボリューション処理901の実装による制約とは、コンボリューションカーネルデータベースにどれだけの範囲のデフォーカスについてカーネルを用意しているか、もしくはデコンボリューション処理においてどれだけのサイズのカーネルを扱うことができるかにより制限される。
【０１０８】
αｎ，αｆ光学系の制約もしくはデコンボリューション処理901の実装による制約のどちらか厳しいほうにより決まる。
【０１０９】
図11に位相板を挿入した光学系とデコンボリューション処理901による被写界深度拡張の効果を説明する図を示す。撮影時には通常光学系のと異なりぼけた画像しか得られないが、画像処理との組み合わせによって、位相板の挿入されていない光学系に対し被写界深度拡張した画像が得られる。
【０１１０】
評価がOKの場合、撮影ステップS205に移行する。評価がOKでない場合、警告ステップS106に移行する。
【０１１１】
ステップS207では撮影を行う。位相板を装備した光学系により、波面操作した被写体像を撮影し、後段の画像処理でデコンボリューション処理901を実行し、被写界深度を拡張した画像を取得する。
【０１１２】
また、動画撮影時の状態遷移図については第1の形態の状態遷移図と同じであるため説明を省略する。
【符号の説明】
【０１１３】
レンズ部 001
カメラボディ 002
【特許請求の範囲】
【請求項１】
撮影手段と画像処理手段の組み合わせにより、撮影手段単独で画像を撮影した場合に比べて被写界深度を拡張した画像を撮影可能な撮像装置において、
撮影手段の撮影条件と前記画像処理手段の処理属性に基づいて、被写界深度を拡張する画像処理が可能なピント範囲を算出するピント範囲算出手段と、画面内の被写体が前記ピント範囲内に入っているか否かを判定する判定手段と、画面内の被写体がピント範囲内に入っていない場合に警告を出力する警告手段とを備えた撮像装置。
【請求項２】
撮影手段および被写界深度を拡張する画像処理の組み合わせに基づいてピント範囲算出手段は被写界深度を拡張する画像処理が可能なピント範囲を算出するモデルを選択することを特徴とする請求項1に記載の撮像装置。
【請求項３】
撮影手段と画像処理の組み合わせが、あらかじめ定められた移動量で離散的に合焦距離を変化させて順次画像を撮影することにより複数枚の画像を得る撮影手段と前記撮影手段により撮影された複数画像間の対応する座標の画素において画素を選択抽出して被写界深度を拡張する画像処理の組み合わせであることを特徴とする請求項２に記載の撮像装置。
【請求項４】
撮影手段と画像処理の組み合わせが、被写体からの光を波面変換素子により位相変調し、この位相変調された光を結像して撮像する撮影手段と、この撮影手段で撮影された画像データに対して空間フィルタによる画像処理を行い被写界深度を拡張した画像を得る組み合わせであることを特徴とする請求項2に記載の撮像装置。
【請求項５】
被写界深度を拡張する画像処理が可能なピント範囲の算出モデルの引数である撮影手段の撮影条件として光学系の焦点距離、合焦距離、絞り値、合焦距離変化量を、画像処理手段の処理属性として複数枚撮影の撮影枚数を、評価尺度として許容錯乱円サイズを用いることを特徴とする請求項3に記載の撮像装置。
【請求項６】
被写界深度を拡張する画像処理が可能なピント範囲の算出モデルの引数である撮影手段の撮影条件として光学系の焦点距離、合焦距離、絞り値を、画像処理手段の処理属性として被写界深度拡張倍率を、評価尺度として許容錯乱円サイズを用いることを特徴とする請求項4に記載の撮像装置。
【請求項１】
撮影手段と画像処理手段の組み合わせにより、撮影手段単独で画像を撮影した場合に比べて被写界深度を拡張した画像を撮影可能な撮像装置において、
撮影手段の撮影条件と前記画像処理手段の処理属性に基づいて、被写界深度を拡張する画像処理が可能なピント範囲を算出するピント範囲算出手段と、画面内の被写体が前記ピント範囲内に入っているか否かを判定する判定手段と、画面内の被写体がピント範囲内に入っていない場合に警告を出力する警告手段とを備えた撮像装置。
【請求項２】
撮影手段および被写界深度を拡張する画像処理の組み合わせに基づいてピント範囲算出手段は被写界深度を拡張する画像処理が可能なピント範囲を算出するモデルを選択することを特徴とする請求項1に記載の撮像装置。
【請求項３】
撮影手段と画像処理の組み合わせが、あらかじめ定められた移動量で離散的に合焦距離を変化させて順次画像を撮影することにより複数枚の画像を得る撮影手段と前記撮影手段により撮影された複数画像間の対応する座標の画素において画素を選択抽出して被写界深度を拡張する画像処理の組み合わせであることを特徴とする請求項２に記載の撮像装置。
【請求項４】
撮影手段と画像処理の組み合わせが、被写体からの光を波面変換素子により位相変調し、この位相変調された光を結像して撮像する撮影手段と、この撮影手段で撮影された画像データに対して空間フィルタによる画像処理を行い被写界深度を拡張した画像を得る組み合わせであることを特徴とする請求項2に記載の撮像装置。
【請求項５】
被写界深度を拡張する画像処理が可能なピント範囲の算出モデルの引数である撮影手段の撮影条件として光学系の焦点距離、合焦距離、絞り値、合焦距離変化量を、画像処理手段の処理属性として複数枚撮影の撮影枚数を、評価尺度として許容錯乱円サイズを用いることを特徴とする請求項3に記載の撮像装置。
【請求項６】
被写界深度を拡張する画像処理が可能なピント範囲の算出モデルの引数である撮影手段の撮影条件として光学系の焦点距離、合焦距離、絞り値を、画像処理手段の処理属性として被写界深度拡張倍率を、評価尺度として許容錯乱円サイズを用いることを特徴とする請求項4に記載の撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１２−１２４５５５（Ｐ２０１２−１２４５５５Ａ）
【公開日】平成２４年６月２８日（２０１２．６．２８）
【国際特許分類】
【出願番号】特願２０１０−２７１２０２（Ｐ２０１０−２７１２０２）
【出願日】平成２２年１２月６日（２０１０．１２．６）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年６月２８日（２０１２．６．２８）
【国際特許分類】
【出願日】平成２２年１２月６日（２０１０．１２．６）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]