撮像装置
【課題】動きのある被写体に対するボケ画像処理の精度を向上した撮像装置を提供する。
【解決手段】撮像装置１０１は、それぞれ異なる可視光波長帯域に感度を有する少なくとも３つの可視光画素および赤外波長帯域に感度を有する赤外画素が２次元的に配列された受光面を有するマルチバンドイメージセンサ１０８と、マルチバンドイメージセンサ１０８の受光面側に配置され、赤外画素が感度を有する波長帯域の光に対して所定の形状の開口として作用する符号化開口１０２と、撮像マルチバンドイメージセンサ１０８から得られた画像データを処理する処理部１１１とを有している。処理部１１１は、マルチバンドイメージセンサ１０８から得られた画像に基づいて、デプスマップを生成してボケ画像の処理を行う。
【解決手段】撮像装置１０１は、それぞれ異なる可視光波長帯域に感度を有する少なくとも３つの可視光画素および赤外波長帯域に感度を有する赤外画素が２次元的に配列された受光面を有するマルチバンドイメージセンサ１０８と、マルチバンドイメージセンサ１０８の受光面側に配置され、赤外画素が感度を有する波長帯域の光に対して所定の形状の開口として作用する符号化開口１０２と、撮像マルチバンドイメージセンサ１０８から得られた画像データを処理する処理部１１１とを有している。処理部１１１は、マルチバンドイメージセンサ１０８から得られた画像に基づいて、デプスマップを生成してボケ画像の処理を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，４種類以上の異なる分光感度特性を有する単板マルチバンド撮像素子、および、符号化開口を有する撮像装置に関する。
【背景技術】
【０００２】
通常の円形の開口ではなく、符号化開口を用いて撮影したボケ画像から、計算によりボケを除去する技術が知られている。この技術を用いることで撮影後に被写界深度を拡大した全焦点画像生成や、フォーカス位置を変更するリフォーカス等の処理が可能となる。この処理を行うには、以下の項目の実現が必要となる。
・符号化開口を用いて撮影することで、ボケの光学伝達関数を広帯域化する。
・ボケ関数による計算でボケを除去・復元するために必要となるデプスマップの獲得。
これらの条件を満たすデータ、特にデプスマップデータを１枚の撮影画像から得ることは困難であるために、同じ被写体に対して、符号化開口を変えて複数枚の撮影もしくは複数台のカメラでの撮影を行う方法が開示されている（例えば、特許文献１参照）。
【０００３】
また、符号化開口を用いずに、撮影する波長帯域を変えることでボケ具合の異なる２枚の画像を取得し、デプスマップデータを得る方法が公知である。
【０００４】
さらに、被写体の画像を撮影するために３バンド（ＲＧＢ）カメラが広く用いられているが、近年では画像撮像装置において被写体の忠実な色再現を行うために、４バンド以上の画像撮影が可能なマルチバンド撮像装置を用いて、被写体のより詳細な分光情報を画像として取得・記録する方法が提案されている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特表２００８−５４２８６３号公報
【特許文献２】特開２００３− ８７８０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、符号化開口をその都度変えて複数枚の撮影を行う方法では、動きのある被写体には対応できない。また、複数台の撮像装置を用いて撮影する方法では、コストや装置の大きさなどの面で実用的ではない。さらに、符号化開口を用いずに、撮影する波長帯域の違いにより得られる2枚のボケ画像を用いてデプスマップを得る手法では、ボケの違いが十分ではなく、符号化開口により得られるほどのボケの違いを生じないためにデプスマップの精度が低かった。すなわち、従来技術によれば、動きのある被写体に対するボケ画像の処理ができないか、あるいは、処理精度が低かった。
【０００７】
したがって、これらの点に着目してなされた本発明の目的は、動きのある被写体に対してボケ画像処理の精度を向上した撮像装置を提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成する第１の観点に係る撮像装置の発明は、
それぞれ異なる可視光波長帯域に感度を有する少なくとも３つの可視光画素および赤外波長帯域に感度を有する赤外画素が２次元的に配列された受光面を有する撮像素子と、
前記撮像素子の前記受光面側に配置され、前記少なくとも３つの可視光画素が感度を有する波長帯域および前記赤外画素が感度を有する波長帯域の何れか一方の波長帯域の光に対して所定の形状の開口として作用し、他方の波長帯域の光をそのまま透過させる符号化開口と、
前記撮像素子から得られた画像を処理する処理部と、
を備えることを特徴とするものである。
【０００９】
このようにすることによって、撮影自体は１回にも関わらず、ボケ具合の異なる２枚分の情報を得ることが可能となり、取得した画像に対して以下のデプスマップの生成や全焦点画像の生成を行うことが可能になる。
【００１０】
第２の観点に係る発明は、第１の観点に係る撮像装置において、
前記処理部は、前記撮像素子から得られた画像に基づいて、デプスマップを生成するデプスマップ生成部を有することを特徴とするものである。
【００１１】
このようにすることによって、撮影自体は１回にも関わらず、ボケ具合の異なる２枚分の情報を得ることが可能となり、１回の撮影画像からデプスマップを生成することが可能となる。これによって、撮影後に被写界深度を拡大した全焦点画像生成や、フォーカス位置を変更するリフォーカス等のボケ画像の処理が可能となる。
【００１２】
第３の観点に係る発明は、第２の観点に係る撮像装置において、
前記処理部は、前記赤外画素から得られた画像を参照画像として、前記可視光画素から得られた可視光画像のボケ画像を生成する補間画像生成部と、前記デプスマップを用いて前記ボケ画像の被写界深度を変更した画像を生成する被写界深度変更画像生成部とを備え、前記符号化開口は前記赤外画素が感度を有する波長帯域の光に対して作用することを特徴とするものである。
【００１３】
このようにすることによって、１回の撮影から補間画像生成部でぼけ画像を生成し、これとデプスマップとを用いて、被写界深度変更画像生成部により全焦点画像を生成することができる。また、符号化開口は可視光の波長帯域には作用しないので、可視光画素を用いてライブビュー表示用の通常開口の画像も取得可能となる。
【００１４】
第４の観点に係る発明は、第３の観点に係る撮像装置において、
前記赤外画素は、前記少なくとも３つの可視光画素の各画素と比べ、画素密度が等しいかまたは高いことを特徴とするものである。
【００１５】
このようにすることによって、赤外画素の画素密度が高いことにより、符号化開口によるボケを保持した参照画像の精度が高くなるので、参照画像を用いて生成される可視光画像のボケ画像生成の精度も向上する。
【００１６】
第５の観点に係る発明は、第２または第３の観点に係る撮像装置において、
前記デプスマップ生成部は、前記少なくとも３つの可視光画素のうちの一の可視光画素および前記赤外画素から得られた画像を用いて、前記デプスマップを生成し、前記一の可視光画素および前記赤外画素は、前記少なくとも３つの可視光画素のうち前記一の可視光画素を除く何れの画素よりも画素密度が高いことを特徴とするものである。
【００１７】
画素密度が高い一の可視光画素および赤外画素を用いることで、これら画素から得られる画像データに基づいて算出される、デプスマップの精度が向上する。さらに、赤外画素の画素密度が高いことにより、符号化開口によるボケを保持した参照画像の精度が高くなるので、参照画像を用いて生成される可視光画像のボケ画像生成の精度も向上する。
【００１８】
第６の観点に係る発明は、第２〜第５の何れかの観点に係る撮像装置において、
前記デプスマップ生成部で生成した前記デプスマップに基づいて、撮像レンズを駆動してフォーカス調整を行うことを特徴とするものである。
【００１９】
このようにすることによって、得られるデプスマップの情報から、フォーカス調整をすることができるので、ＡＦ（オートフォーカス）専用のセンサを必要とせず、コントラストＡＦよりも高速であり、レンズの駆動がないために動画撮影時のふらつきがない、等の利点が得られる。
【００２０】
第７の観点に係る発明は、第２の観点に係る撮像装置において、
前記処理部は、前記少なくとも３つの可視光画素のうちの一の可視光画素から得られた画像を参照画像として、前記可視光画像のボケ画像を生成する補間画像生成部と、前記デプスマップを用いて前記ボケ画像の被写界深度を変更した画像を生成する被写界深度変更画像生成部とを備え、
前記符号化開口は前記少なくとも３つの可視光画素が感度を有する波長帯域の光に対して作用することを特徴とするものである。
【００２１】
このようにすることによって、符号化開口によるボケを持つ画像を参照画像として補間画像を生成することで、符号化開口によりボケたマルチスペクトル画像を生成できる。可視光領域のみボケた画像となるので、全焦点画像生成用の画像の精度が高い。
【００２２】
第８の観点に係る発明は、第２の観点に係る撮像装置において、
前記処理部は、前記少なくとも３つの可視光画素のうちの一の可視光画素から得られた画像を参照画像として、前記可視光画像の補間画像を生成する補間画像生成部と、前記デプスマップを用いて前記補間画像の被写界深度を変更したボケ画像を生成する被写界深度変更画像生成部とを備え、
前記符号化開口は前記赤外画素が感度を有する波長帯域の光に対して作用することを特徴とするものである。
【００２３】
こうすることによって、ボケのない補間画像に対して簡易的な処理によりボケを追加することができ、例えば背景領域をぼかした画像等を生成することが可能となる。
【００２４】
第９の観点に係る発明は、第１〜第８の何れかの観点に係る撮像装置において、
前記撮像素子は、４つ以上の可視光画素を備えることを特徴とするものである。
【００２５】
このようにすることによって、マルチスペクトル画像を取得可能となり、被写体のより詳細な分光情報を取得・記録することができ、色再現性の向上が実現できる。
【００２６】
第１０の観点に係る発明は、第１または第２の観点に係る撮像装置において、
前記符号化開口は、前記赤外画素が感度を有する波長帯域と前記少なくとも３つの可視光画素が感度を有する波長帯域との間で、作用する波長帯域を切り換え可能に構成されていることを特徴とするものである。
【００２７】
このようにすることによって、使用者の用途に応じて、全焦点画像生成用のボケ画像を優先するか、通常画像またはライブビュー画像を優先するか、を選択可能となる。
【発明の効果】
【００２８】
本発明によれば、符号化開口が、少なくとも３つの可視光画素および赤外画素のいずれかの画素が感度を有する波長帯域の光に対して所定の形状の開口として作用し、他の画素が感度を有する波長帯域の光をそのまま透過させるので、撮影自体は１回にも関わらず、ボケ具合の異なる２枚分の画像の情報を得ることが可能となり、１回の撮影画像からデプスマップを生成することが可能となる。これによって、撮影後に被写界深度を拡大した全焦点画像生成や、フォーカス位置を変更するリフォーカス等のボケ画像の処理の精度が向上する。
【図面の簡単な説明】
【００２９】
【図１】本発明の第１実施の形態に係る撮像装置の構成を示すブロック図である。
【図２】図１のマルチバンドイメージセンサの６バンドのカラーフィルタ配列例を示す図である。
【図３】図２の６バンドカラーフィルタの分光感度特性の例を示す図である。
【図４】図１の符号化開口の形状を例示する図である。
【図５】第１実施の形態における全焦点画像生成処理を説明する図である。
【図６】ＤＦＤ方式におけるボケ相関量σと合焦時のフォーカスレンズ位置との関係を示すグラフである。
【図７】図５のデプスマップ生成処理を説明する図である。
【図８】実画像と実画像に対応するデプスマップの例を示す図である。
【図９】図５の全焦点画像生成処理を説明する図である。
【図１０】図１の撮像装置で通常画像撮影またはライブビュー表示を行う際の処理を説明する図である。
【図１１】現実的な６バンドカラーフィルタの分光感度特性の例を示す図である。
【図１２】第２実施の形態に係る撮像装置の構成を示すブロック図である。
【図１３】第３実施の形態に係る全焦点画像生成処理を説明する図である。
【図１４】第４実施の形態における被写界深度変更画像生成処理を説明する図である。
【図１５】被写体距離と画素数のヒストグラムの例を示す図である。
【図１６】本発明の第５実施の形態に係る撮像装置の構成を示すブロック図である。
【図１７】第５実施の形態におけるＡＦ動作処理を説明する図である。
【発明を実施するための形態】
【００３０】
以下、本発明の実施の形態について、図面を参照して説明する。
【００３１】
（第１実施の形態）
第１の実施の形態では、１回の撮影画像からデプスマップを生成し、さらに符号化開口によるボケ画像を擬似的に生成することで、全焦点画像を生成する例について説明する。
【００３２】
<構成>
図１は、本発明の第１実施の形態に係る撮像装置の構成を示すブロック図である。撮像装置１０１は、符号化開口機構１０２を備えた各種レンズ（撮像レンズ）から構成される撮像レンズ系１０３、撮像レンズ系１０３の伸縮駆動やレンズ系内のズームレンズ及びフォーカスレンズの駆動を行うためのレンズ駆動機構１０４、レンズ駆動機構を制御するためのレンズドライバ１０５、レンズ系の絞り及びシャッタ内を制御するための露出制御機構１０６、露出制御機構を制御するための露出制御ドライバ１０７、被写体像を光電変換するための４バンド以上の異なる分光感度特性を有するカラーフィルタを内蔵したマルチバンドイメージセンサ１０８、イメージセンサを駆動するためのイメージセンサドライバ１０９、アナログアンプ及びＡ／Ｄ変換器等を含むプリプロセス回路１１０、記録画像生成のための色信号処理、圧縮伸張処理、その他各種のデジタル処理を行うためのデジタルプロセス回路１１１、外部の記録媒体であるメモリカードとのインタフェースであるカードインタフェース１１２、ＬＣＤ画像表示系１１３、レリーズスイッチ、設定ボタンなど各種スイッチからなる操作スイッチ系１１４、操作状態及びモード状態等を表示するための操作表示系１１５、各種設定情報等を記録するための不揮発性メモリ１１６、および、各部を統括的に制御するためのシステムコントローラ１１７、を備えている。ここでマルチバンドイメージセンサ１０８はＣＣＤやＣＭＯＳセンサなどの固体撮像素子を用いて構成することができる。
【００３３】
＜作用＞
本実施形態の撮像装置においては、システムコントローラ１１７が全ての制御を統括的に行っており、レンズドライバ１０５、露出制御ドライバ１０７及びイメージセンサドライバ１０９によるイメージセンサ１０８の駆動を制御して露光（電荷蓄積）及び信号の読み出しを行い、それをプリプロセス回路１１０を介してＡ／Ｄ変換した後にデジタルプロセス回路１１１に取り込み、デジタルプロセス回路内で各種信号処理を施した後にカードインタフェースを介してメモリカード１１８に記録するようになっている。
【００３４】
マルチバンド画像データを記録する場合には、後で画像を再生する処理が行われる際に参照される色再現情報がタグ情報として付加される。色再現情報としては、撮影レンズの分光透過率、撮像素子の分光感度、撮影時に被写体を照射していた光（撮影照明光）の分光放射輝度、被写体の分光反射率を推定する処理に際して参照される被写体固有の統計情報、などを含むことが可能である。
【００３５】
デジタルプロセス回路１１１には、図示のように、本実施形態の特徴である、１回の撮影での全焦点画像データを生成するための構成として、補間画像生成部１１９、デプスマップ生成部１２０、被写界深度変更画像生成部１２１が設けられている。補間画像生成部１１９では、イメージセンサ１０８からメモリ１２２に蓄えられたＲＡＷデータの各画素に対して、後述する赤外領域に分光感度を有する画素（赤外画素）の情報を参照画像として全色のデモザイキング処理を行うことで、擬似的に符号化開口によるボケ画像を生成する。デプスマップ生成部１２０では、可視光領域に分光感度を有する画素（可視光画素）から得られるエッジ情報と、赤外領域に分光感度を有する画素から得られるエッジ情報を用いてデプスマップの生成を行う。被写界深度変更画像生成部１２１では、補間画像生成部１１９で得られたボケ画像と、デプスマップ生成部１２０で得られたデプスマップを用いて、画像内全ての領域に焦点を合わせた画像を生成する。そして信号処理部１２３において、色信号生成処理等の各種のデジタル処理を行った後、最終的な処理結果画像を生成する。
【００３６】
図２はマルチバンドイメージセンサ１０８を構成する各受光素子上に配置される４バンド以上の異なる分光感度特性を有するカラーフィルタ配置の例として、６バンドの分光感度特性を有するカラーフィルタの配置（ＣＦＡ）を示している。マルチバンドイメージセンサ１０８には、このような４×４のカラーフィルタの配列が、図２の上下左右方向に２次元的に繰り返し配列され、各カラーフィルタＣ１〜Ｃ６が、それぞれ受光素子に対応している。ここでは、カラーフィルタＣ１及びＣ２は輝度の空間解像力を重視し、カラーフィルタＣ３〜Ｃ６に比べて高い密度で配置されている。
【００３７】
また、図３はＣ１〜Ｃ６の各カラーフィルタの分光感度特性の例を示している。３バンドのイメージセンサでは通常ＲＧＢの３色が用いられるが、４バンド以上の場合には任意の色が用いられ、例えばＲＧＢに加えてＣｙ（シアン）やＯｒ（オレンジ）が用いられる。さらに、本実施形態では１枚でのデプスマップデータ生成のために、赤外領域に分光感度を持つカラーフィルタＣ２が１色用いられている。各受光素子とその上に配置された個々のカラーフィルタＣ１〜Ｃ６とは画素を構成する。以下、カラーフィルタＣ１〜Ｃ６に対応する画素を、それぞれ、第１〜第６の画素と呼ぶ。ここで第１の画素は、一の可視光画素に対応する。
【００３８】
図４は撮像レンズ系１０３における符号化開口機構１０２の形状の一例を示している。図４における黒色部分は赤外カットの特性を持っている。このため、可視領域の光に対してはこの符号化開口の形状は反映されず、通常の円形の開口で撮影した際のデータが得られる。一方、赤外領域の光に対しては符号化開口の形状が反映され、ボケたデータが得られることになる。
【００３９】
ここで、通常の円形開口と符号化開口におけるボケ復元の違いを説明する。
一般にボケはレンズと絞りからなるレンズ光学系により劣化した画像とみなすことができる。この劣化課程はボケカーネルｈ（ｘ，ｙ）、原画像ｆ（ｘ，ｙ）、ノイズ成分ｎ（ｘ，ｙ）の畳み込みにより以下のように表される。
【００４０】
【数１】
【００４１】
ここで、ボケカーネルｈ（ｘ，ｙ）は、開口形状により定まる関数であり、ノイズ成分ｎ（ｘ，ｙ）は、画像に含まれるノイズに応じて設定され、処理対象画像のノイズ成分を観測したものを使用する。あるいは、ＩＳＯ感度などに応じて予め求めておいたノイズ成分を使用しても良い。
【００４２】
ボケ画像であるｇから畳み込みの影響を除去する計算はフーリエ変換を行うことで簡略化することができる。
【００４３】
【数２】
【００４４】
ここで、Ｇ、Ｈ、Ｆ、Ｎはそれぞれｇ、ｈ、ｆ、ｎのフーリエ変換である。この式からボケを除去した推定原画像のフーリエ変換は以下のように求められる。
【００４５】
【数３】
【００４６】
【００４７】
図５は、デジタルプロセス回路における、全焦点画像生成の処理フローを示している。補間画像生成部１１９が、イメージセンサ１０８から得られたＲＡＷデータの読み込みを行い(ステップＳ５０１)、密度の高いカラーフィルタＣ１に対応する第１の画素およびカラーフィルタＣ２に対応する第２の画素（赤外画素）により得られる画像データについてアップサンプリングを行い、補間画像を生成する(ステップＳ５０２)。さらに、符号化開口によりボケている第２の画素の画像データの補間画像を参照画像とし、他の画素、すなわち、第１および第３〜第６の画素（可視光画素）により得られる画像データに対してデモザイキング処理を行い、５バンドのフルカラー画像を生成する（ステップＳ５０３）。この画像は第２の画素（赤外画素）から得られる画像を参照画像として補間しているため、第２の画素（赤外画素）から得られる画像と同様のボケ具合を保持している。すなわち、符号化開口によりボケた５バンド画像を擬似的に生成したことになる。一方、ステップＳ５０２で生成した第１の画素と第２の画素（赤外画素）のそれぞれから得られる画素信号による補間画像のエッジ成分のボケ具合の違いから、デプスマップを生成する（ステップＳ５０４）。さらに、ステップＳ５０３で得られた５バンドのボケ画像と、ステップＳ５０４で得られたデプスマップとから、画像内の全ての領域で合焦するように処理を行うことで、全焦点画像を生成する（ステップＳ５０５）。
【００４８】
次に、ステップＳ５０２での補間画像生成方法について説明する。既存の補間手法として、ガウシアン補間（ＧＩ）が広く知られている。これは、画素値を推定したい画素位置周辺の局所的な情報の重み付き平均として画素値を推定する方法であり、画素位置Ｘｐに対する、それぞれの推定された解は下記のように表される．
【００４９】
【数４】
【００５０】
ここで、ＮＸｐは画素位置Ｘｐの周辺画素の画素位置集合を、Ｓ（Ｘｉ）は画素位置Ｘｉのサンプル値を、Ｍ（Ｘｉ）は画素位置Ｘｉのバイナリマスクを、ｋ（Ｘｉ−Ｘｐ）は画素位置Ｘｐからの距離に基づく重みを、ωは正規化係数、すなわち重みの和をそれぞれ表す。バイナリマスクはサンプル値が存在する場所で1、それ以外で０となる。
【００５１】
本実施形態ではこのＧＩによる補間処理を第１の画素および第２の画素（赤外画素）から得られる画像データに対して実施し、全画素位置に第１の画素および第２の画素（赤外画素）の情報を持った補間画像を生成する。
【００５２】
説明の簡略化のためにＧＩでの説明を行ったが、本発明はこれに限られるものではなく、例えば画素値の微分情報を用いた補間などでも可能である。
【００５３】
次に、ステップＳ５０３での参照画像を用いた補間画像生成について説明する。参照画像を用いた既存の補間手法として、ガイデッドフィルタが知られている。ここで参照画像とは、補間したい低解像度画像に対応する画像構造を有する高解像度画像である。ガイデッドフィルタは、出力画像は参照画像の線形変換で表されるという考えに基づき、画素値を推定したい画素Ｘｐ周辺の局所領域のコスト関数Ｅを最小化するように最小二乗法により係数（ａＸｐ，ｂＸｐ）が算出される。
【００５４】
【数５】
【００５５】
ここで、ωｋは注目画素周辺に存在する信号成分の要素数を、Ｍｉはバイナリマスクを、ａｋ，ｂｋは算出されるべきパラメータであり、計算開始時には適当な初期値が用いられる。Ｉｉは周囲画素に対応する参照画像の画素値を、ｐｉは信号成分の画素値を、εは所定の平滑化パラメータをそれぞれ表す。全画素に対する係数（ａｋ，ｂｋ）が算出されると、対象となる信号成分を有さない画素に対して式（６）により出力画素値が算出される。
【００５６】
【数６】
【００５７】
本実施形態では、参照画像としてステップＳ５０２で得られた第２の画素（赤外画素）による画像データの補間画像を用い、補間対象の画像として第１、第３〜第６の画素（可視光画素）の各画像データをそれぞれ用いて補間処理を行う。参照画像を用いた補間を行うことで、参照画像のボケ具合を保持した補間画像を生成することが可能である。
【００５８】
なお、本説明では参照画像は全て第２の画素（赤外画素）の画像データの補間画像として説明したが、分光感度特性の相関を利用し、まずは第１の画素の画像データの補間を行い、次にその第１の画素の画像データの補間画像を参照画像として第４、第５の画素の画像データの補間を行い、第４の画素の画像データの補間画像を参照画像として第３の画素の画像データの補間を、第５の画素の画像データの補間画像を参照画像として第６の画素の画像データの補間を行うように、参照画像を切り替えながら画像データの補間を行うような処理も可能である。
【００５９】
次に、ステップＳ５０４でのボケ具合の異なる２枚の画像からのデプスマップ生成について説明する。ボケの状態が異なる２枚の画像から、これらのデータ間におけるボケの相関量を示すパラメータであるボケ相関量σを所定の画素毎に算出し、算出したボケ相関量σと所定のテーブルとを対照することで、対象画素における測距を行うDepth from Defocus（ＤＦＤ）方式が提案されている。ここでボケ相関量とは、光学系の点像分布関数（ＰＳＦ）の分散と相関を有する値である。ＰＳＦとは理想的な点像が光学系を通過した場合の光線の広がりを示す関数である。また、所定のテーブルとは、例えば図６に示すようにボケ相関量σと合焦時のフォーカスレンズ位置ＤＦＤ＿ＬＦとの対応関係を示すルックアップテーブルであり、設計データに基づいて予め作成されている。
【００６０】
本実施形態において、撮影自体は１枚のみであるが、可視光画素、特にカラーフィルタＣ１に対応する第１の画素で円形開口による画像データが得られ、カラーフィルタＣ２に対応する第２の画素（赤外画素）で符号化開口による画像データが得られることから、ボケ具合の異なる２枚分の撮影情報が得られるためにＤＦＤ方式でのデプスマップ生成が可能となる。
【００６１】
図７は、デプスマップ生成部１２０におけるデプスマップ生成処理を説明する図である。第１および第２の画素の補間画像を読み込み（ステップＳ７０１）、電気的なノイズを除去するためのローパスフィルタ処理、像倍率補正処理、輝度分布の補正処理等の正規化処理を施す（ステップＳ７０２）。そして、それら２つの画像データの互いに対応する画素の輝度情報について差分を算出する（ステップＳ７０３）。また、２つの画像データの各々について二次微分処理を施す（ステップＳ７０４）。そして、第１の画素の画像データについての二次微分処理結果と、第２の画素（赤外画素）の画像データについての二次微分処理結果との平均値を算出する（ステップＳ７０５）。
【００６２】
その後、ステップＳ７０３において算出された輝度情報についての差分値から、ステップＳ７０５において算出された二次微分処理結果の平均値を除算し、ＰＳＦの分散と相関を有するボケ相関量σを算出する(ステップＳ７０６)。なお、ボケ相関量σと被写体距離とは、被写体距離の逆数に線形な関係を示す。そして、ステップＳ７０６で算出されたボケ相関量σをルックアップテーブルと照合することで、対象画素における被写体距離を導出する（ステップＳ７０７）。
【００６３】
図８は、実画像と実画像に対応するデプスマップの例を示す図である。図８（ａ）は、実画像を示し、図８（ｂ）は図８（ａ）に対応するデプスマップである。デプスマップは、被写体の距離を、例えば輝度で表すものである。図８（ｂ）においては、被写体に対応する画像の色が白色に近いほど、被写体までの距離が短いことを示している。
【００６４】
なお、被写体距離と合焦時のフォーカスレンズ位置とは一対一に対応するので、図６に示すようにボケ相関量σと合焦時のフォーカスレンズ位置との関係が一対一対応で得られれば、当然ながらそれらに対応する被写体距離を得ることが出来る。
【００６５】
また、ルックアップテーブルは予めデプスマップ生成部１２０内に記憶されている。ところで、このルックアップテーブルは任意の被写体に対して算出したボケ相関量σに対応する合焦レンズ位置を参照可能とするが、該当するボケ相関量σがルックアップテーブル上に存在しない場合には、補間演算によって対応する合焦レンズ位置を算出する。
【００６６】
本説明では説明の簡略化のために、各画素を独立して計算するものとしたが、測距精度を安定化させるために対象画素の近傍画素の情報を含めた画素領域として被写体距離を求めるものであっても構わない。
【００６７】
次に、ステップＳ５０５での全焦点画像生成について説明する。図９は、被写界深度変更画像生成部１２１における、全焦点画像生成の処理フローを示している。補間画像生成部１１９により得られた全色に対するボケ画像を読み込み（ステップＳ８０１）、予め求められている開口形状データを読み込む（ステップＳ８０２）。このデータはこの後の処理に用いるために開口形状ａ（ｘ，ｙ）に対するフーリエ変換Ａの形式で読み込む。さらに、デプスマップ生成部１２０により得られたデプスマップデータを読み込む（ステップＳ８０３）。ボケの復元には処理対象の領域において一様な奥行きである必要があるため、画像を細かい処理対象領域に分割し処理を行う（ステップＳ８０４）。そして、処理対象となる領域に対して開口形状データとデプスマップデータを用いてボケカーネルの算出を行う（ステップＳ８０５）。ボケカーネルｈ（ｘ，ｙ）は前述のように、開口形状に対して相似の図形であり式（７）のように表すことができる。
【００６８】
【数７】
【００６９】
【００７０】
【数８】
【００７１】
【００７２】
この処理は画像を互いに重なり合う小領域に分割して処理し、各領域の中央に近いほど重みが高くするなどの重み付けを行いながら画像全体を統合するものでも構わない。
【００７３】
次に、撮像装置１０１を用いて、ボケ復元用ではない通常の画像生成を行う場合について説明する。通常画像生成時には図１０に示すようにデジタルプロセス回路１１１内での処理が異なる。通常画像表示時には符号化開口１０２によるボケ情報は一切用いず、可視光領域に分光感度を有する第１、第３〜第６の画素のみの情報を使って、画像を生成する。
【００７４】
まず、イメージセンサ１０８から得られたＲＡＷデータの間引き読み出しを行い、密度の高い第１の画素から得られる画像データについてアップサンプリングを行い、補間画像を生成する。この第１の画素から得られた補間画像を参照画像とし、他の第３〜第６の画素から得られる画像データに対してデモザイキング処理を行い、５バンドのフルカラー画像を生成する。第２の画素（赤外画素）の画像データの補間画像を参照画像とする場合と異なり、第１の画素の補間画像は通常開口で得られたボケていない画像であり、これを参照画像とすることで、第３〜第６の画素もボケていない補間画像を生成することが可能である。その後、信号処理部１２３において、色変換処理、圧縮処理等の各種処理を行い出力画像を生成する。
【００７５】
次に、ライブビュー表示用の画像生成について説明する。ライブビュー表示時も通常画像生成時と同じく符号化開口１０２によるボケ情報は一切用いず、可視光領域に分光感度を有する第１、第３〜第６の画素の情報を使って、画像を生成する。処理の高速化のためにイメージセンサ１０８から得られたＲＡＷデータの間引き読み出しを行い、通常画像と同様に補間画像を生成する。そして、ＬＣＤ１１３が多原色モニタの場合、この補間画像は信号処理部１２３においてノイズリダクション等の各種処理を行った後、色変換処理が行われる。この色変換処理時には予め取得されている多原色モニタのモニタプロファイル情報、および、図示しない照明分光分布情報センサから得られる観察環境の照明光の情報をもとに色変換処理することで、被写体があたかも多原色モニタを観察している照明で照射されているかのような色合いで再生され、多原色モニタを観察している観察者は、リアリティのより高められた再生画像を観察することが可能となる。
【００７６】
また、ＬＣＤ１１３がＲＧＢモニタの場合、色変換処理として、マルチバンドの画像データからＲＧＢの画像データに変換され、色・ガンマ処理が行われる。この色・ガンマ処理時には予め取得されているＲＧＢモニタのプロファイル情報をもとに処理が行われる。
【００７７】
以上説明したように、本実施の形態によれば、符号化開口が、第２の画素（赤外画素）が感度を有する波長帯域の光に対して所定の形状の開口として作用し、可視光画素が感度を有する波長帯域の光をそのまま透過させるので、１回の撮影でボケ具合の異なる２枚分の画像の情報を得ることが可能となり、デプスマップを生成することが可能になる。これによって、特に被写体が動いている場合や、撮影に時間をかけられない場合、動画での撮影などにおいて、１回の撮影で、マルチスペクトルかつ全焦点画像が取得可能となる。さらに、全焦点画像データを取得しながら、マルチスペクトル画像のライブビュー表示にも対応可能となる。
【００７８】
なお、本実施の形態では図３のような分光感度特性を有するカラーフィルタを用いるものとしたが、現実のカラーフィルタを用いた場合、可視光の帯域を透過させる各カラーフィルタは、図１１に示すように赤外領域の光も一部透過させる。このため、カラーフィルタＣ２に対応する第２の画素（赤外画素）以外の各画素上には、カラーフィルタＣ１，Ｃ３〜Ｃ６に加え赤外線をカットするＩＲカットフィルタを配置することが望ましい。
【００７９】
また、本実施形態では、全焦点画像の生成を行ったが、任意の距離のみが合焦するように処理し、その他の距離に属する領域には、合焦領域からの距離の差に応じたボケを付加することで、フォーカス位置を任意に変化させるリフォーカス画像の生成も当然可能である。
【００８０】
（第２実施の形態）
図１２は、第２実施の形態に係る撮像装置の構成を示すブロック図である。第１実施の形態では撮像レンズ系１０３に符号化開口機構１０２が搭載されていたが、本実施の形態では撮像装置のイメージセンサ１０８の前に符号化開口機構１０２が搭載されている点で第１実施の形態と異なる。もしくは、外付けオプション機構として、符号化開口のみが独立しているものでも構わない。また、例えば液晶チューナブルフィルタのような、電気的に透過波長帯域を変更することができるフィルタを用い、符号化開口を制御することができる。その他の構成は、第１実施の形態と同様なので、同一構成要素には同一参照符号を付して説明を省略する。
【００８１】
このような構成にすることによって、符号化開口機構１０２が搭載された特殊なレンズを用いなくても、本発明の効果を得ることが可能となる。さらに第１実施の形態では、符号化開口機構１０２がレンズ１０３に搭載されているため、符号化開口が適用される波長帯域を変更することは困難であったが、本実施の形態の場合、電気的に波長帯域を変更するフィルタを用いて符号化開口を制御することで、用途に応じて、赤外波長帯域にのみ作用する符号化開口および可視光帯域にのみ作用する符号化開口のいずれを用いるか選択可能にすることも可能である。
【００８２】
（第３実施の形態）
図１３は、第３実施の形態に係る全焦点画像生成処理を説明する図である。第１実施の形態では、赤外波長帯域にのみ作用する符号化開口を用いたが、本実施の形態では、可視光領域にのみ作用する符号化開口を用いる。その他の構成は、第１実施の形態と同様である。この場合、可視光領域に感度を有する第１および第３〜第６の画素からは符号化開口によりぼけた画像が得られ、赤外領域に感度を有する第２の画素（赤外画素）からは通常開口の画像が得られる。このため、補間画像生成部１１９では、全焦点画像生成処理において、第１実施の形態におけるステップＳ５０３に代えて、ステップＳ５０３’で符号化開口によりボケている第１の画素の画像データの補間画像を参照画像とし、第１および第３〜第６の画素（可視光画素）により得られる画像データに対してデモザイキング処理を行う。その他の処理は、第１実施の形態と同様である。
【００８３】
本実施の形態によれば、第１および第３〜第６の画素（可視光画素）から得られる画像は予めボケているので、この画像を用いてボケ画像を生成する場合、ボケ画像の精度が上がるためにより正確なリフォーカス処理が可能となる。一方で、通常画像、ライブビュー表示用の画像は第２の画素（赤外画素）の画像データの補間画像から生成することになるため、精度が落ちるので適していない。なお、本実施の形態の全焦点画像生成処理を、第２実施の形態の構成に適用することも可能である。
【００８４】
（第４の実施の形態）
第４実施例では、１回の撮影画像からデプスマップを生成し、デプスマップの情報を参照し撮影画像に適当なボケを付加することで、簡易的に被写界深度を変更した画像を生成する例について説明する。本実施の形態に係る撮像装置１０１の構成は、第１実施の形態の構成と同様であり、デジタルプロセス回路１１１内での処理が異なっている。具体的には、補間画像生成部１１９内での処理、および、被写界深度変更画像生成部１２１内での処理が異なる。
【００８５】
補間画像生成部１１９では、イメージセンサ１０８からメモリ１２２に蓄えられたＲＡＷデータの各画素から得られる画像データに対して、第１実施の形態における通常画像生成時の処理と同様に、符号化開口１０２によりボケた画像の情報は一切使わず、第１の画素から得られる補間画像を参照画像として、可視光領域の全色の補間画像を生成する。これにより、符号化開口１０２での開口情報を反映しない通常画像が生成される。
【００８６】
デプスマップ生成部１２０では、第１実施の形態と同様にデプスマップの生成を行う。
【００８７】
被写界深度変更画像生成部１２１では、補間画像生成部１１９で得られた通常画像と、デプスマップ生成部１２０で得られたデプスマップを用いて、被写体と異なる距離に位置する任意の領域に対してボケ情報を付加する。これにより、擬似的にレンズの被写界深度を浅くした画像を生成することが可能となる。そして信号処理部１２３において、色信号生成処理等の各種のデジタル処理を行った後、最終的な処理結果画像を生成する。
【００８８】
図１４は、上述の被写界深度変更画像生成処理を説明する図である。まず、補間画像生成部１１９において、マルチバンドイメージセンサ１０８から得られたＲＡＷデータの読み込みを行い（ステップＳ１１０１）、密度の高い第１の画素および第２の画素（赤外画素）の画像データについてアップサンプリングを行い、補間画像を生成する（ステップＳ１１０２）。符号化開口が作用しない、すなわち通常開口による第１の画素の補間画像を参照画像とし、第１、第３〜第６の画素の画像に対してデモザイキング処理を行い、５バンドのフルカラー画像を生成する（ステップＳ１１０３）。
【００８９】
一方、デプスマップ生成部１２０により、ステップＳ１１０２で生成した第１の画素および第２の画素（赤外画素）の補間画像のエッジ成分のボケ具合からデプスマップを生成する（ステップＳ１１０４）。
【００９０】
さらに、被写界深度変更画像生成部１２１において、ステップＳ１１０３で得られた５バンドの通常画像と、ステップＳ１１０４で得られたデプスマップから被写界深度変更用のデータを生成する（ステップＳ１１０５）。次に、デプスマップの情報から主要被写体領域と背景領域との画像領域の分割を行う（ステップＳ１１０６）。例えば、デプスマップに基づいて、図１５に示すような被写体距離と画素数とのヒストグラムを求め、最も画素数の多い距離に主要被写体があるとして、主要被写体領域を求めることが可能である。そして、主要被写体と異なる距離に位置する領域に対して任意のボケを付加することで、擬似的に被写界深度を浅くした画像を生成する（ステップＳ１１０７）。
【００９１】
ステップＳ１１０７で付加するボケは、例えばガウシアンのようなボケであり、第１実施の形態のように符号化開口により得られるボケとは異なるが、簡易的な処理により背景領域をぼかした画像を生成することが可能となる。ただし、第１実施の形態と異なり、ボケを付与することは可能だが、ボケを除去する効果は得られない。
【００９２】
（第５の実施の形態）
第５実施の形態では、１枚の撮影画像からデプスマップを生成し、オートフォーカス（ＡＦ）処理に適用する例について説明する。
【００９３】
図１６は、本発明の第５実施の形態に係る撮像装置の構成を示すブロック図である。本実施の形態に係る撮像装置１０１は、第１実施の形態の構成と比べ、デジタルプロセス回路１１１内での機能ブロックの構成および処理が異なっている。具体的には、補間画像生成部１１９内での処理が異なり、さらに被写界深度変更画像生成部１２１に代えて合焦位置決定部１２４を設けている。その他の構成は、第１実施の形態と同様であるので、同一構成要素には同一参照符号を付して説明を省略する。
【００９４】
図１７はＡＦ動作処理を説明する図である。補間画像生成部１１９で、イメージセンサ１０８から得られたＲＡＷデータの読み込みを行い（ステップＳ１４０１）、密度の高い第１および第２の画素から得られる画像データについてアップサンプリングを行い、補間画像を生成する（ステップＳ１４０２）。その際、処理を高速化するために、間引き読み出ししたデータに対してアップサンプリングを行っても構わない。
【００９５】
そして、ステップＳ１４０２で生成した第１の画素および第２の画素（赤外画素）の補間画像から、エッジ成分のボケ具合によりデプスマップを生成する（ステップＳ１４０３）。図５に示した第１実施の形態の処理フローでは、ステップＳ５０３としてデモザイキング処理が必要だったが、ＡＦ動作のみについて処理する場合には、デプスマップの情報だけ求められれば良いため、デモザイキング処理のステップは省略されている。
【００９６】
次にデプスマップの距離情報から合焦位置を求める（ステップＳ１４０４）。ステップＳ１４０４での処理として、例えば、第４実施の形態における主要被写体領域の検出と同様に、被写体距離と画素数とのヒストグラム（図１５参照）から、最も画素数の多い距離に主要被写体があるとして、合焦位置を求めることが可能である。そして、レンズドライバ１０５により実際に撮像レンズ系１０３のレンズを駆動し合焦動作を完了する（ステップＳ１４０５）。
【００９７】
これらの処理により、位相差ＡＦ等の専用のセンサを用いることなく、かつコントラスト方式のＡＦに比べて高速なＡＦ処理が可能となる。さらにレンズ位置を合焦位置に収束させるためのレンズ駆動を必要としないので、動画撮影中にピントがふらつくような現象が生じないという利点も得られる。
【００９８】
なお、本実施の形態では、第１実施の形態の被写界深度変更画像生成部に代えて、合焦位置決定部を有するとしたが、同一の撮像装置で被写界深度変更画像生成部と合焦位置決定部との双方を有し、第１実施の形態の被写界深度変更画像の生成と本実施の形態のＡＦ動作の双方を行えるようにすることができる。
【００９９】
なお、本発明は、上記実施の形態にのみ限定されるものではなく、幾多の変形または変更が可能である。たとえば、デジタルプロセス回路１１１内の、補間画像生成部１１９の一部の機能や、デプスマップ生成部１２０、被写界深度変更画像生成部１２１等は、撮像装置１０１とは別に設けられた処理装置内に設けることもできる。その場合、撮像装置１０１は、例えば、可視光画像および赤外画像のＲＡＷデータを当該処理装置に引き渡し、この処理装置でデプスマップの生成、全焦点画像の生成等の処理を行う。
【符号の説明】
【０１００】
１０１ 撮像装置
１０２ 符号化開口機構
１０３ 撮像レンズ系
１０４ レンズ駆動機構
１０５ レンズドライバ
１０６ 露出制御機構
１０７ 露出制御ドライバ
１０８ マルチバンドイメージセンサ
１０９ イメージセンサドライバ
１１０ プリプロセス回路
１１１ デジタルプロセス回路
１１２ カードインタフェース（カードＩ／Ｆ）
１１３ ＬＣＤ画像表示系
１１４ 操作スイッチ（操作ＳＷ）
１１５ 操作表示系
１１６ 不揮発性メモリ
１１７ システムコントローラ
１１８ メモリカード
１１９ 補間画像生成部
１２０ デプスマップ生成部
１２１ 被写界深度変更画像生成部
１２２ メモリ
１２３ 信号処理部
１２４ 合焦位置決定部
Ｃ１〜Ｃ６ カラーフィルタ
【技術分野】
【０００１】
本発明は，４種類以上の異なる分光感度特性を有する単板マルチバンド撮像素子、および、符号化開口を有する撮像装置に関する。
【背景技術】
【０００２】
通常の円形の開口ではなく、符号化開口を用いて撮影したボケ画像から、計算によりボケを除去する技術が知られている。この技術を用いることで撮影後に被写界深度を拡大した全焦点画像生成や、フォーカス位置を変更するリフォーカス等の処理が可能となる。この処理を行うには、以下の項目の実現が必要となる。
・符号化開口を用いて撮影することで、ボケの光学伝達関数を広帯域化する。
・ボケ関数による計算でボケを除去・復元するために必要となるデプスマップの獲得。
これらの条件を満たすデータ、特にデプスマップデータを１枚の撮影画像から得ることは困難であるために、同じ被写体に対して、符号化開口を変えて複数枚の撮影もしくは複数台のカメラでの撮影を行う方法が開示されている（例えば、特許文献１参照）。
【０００３】
また、符号化開口を用いずに、撮影する波長帯域を変えることでボケ具合の異なる２枚の画像を取得し、デプスマップデータを得る方法が公知である。
【０００４】
さらに、被写体の画像を撮影するために３バンド（ＲＧＢ）カメラが広く用いられているが、近年では画像撮像装置において被写体の忠実な色再現を行うために、４バンド以上の画像撮影が可能なマルチバンド撮像装置を用いて、被写体のより詳細な分光情報を画像として取得・記録する方法が提案されている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特表２００８−５４２８６３号公報
【特許文献２】特開２００３− ８７８０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、符号化開口をその都度変えて複数枚の撮影を行う方法では、動きのある被写体には対応できない。また、複数台の撮像装置を用いて撮影する方法では、コストや装置の大きさなどの面で実用的ではない。さらに、符号化開口を用いずに、撮影する波長帯域の違いにより得られる2枚のボケ画像を用いてデプスマップを得る手法では、ボケの違いが十分ではなく、符号化開口により得られるほどのボケの違いを生じないためにデプスマップの精度が低かった。すなわち、従来技術によれば、動きのある被写体に対するボケ画像の処理ができないか、あるいは、処理精度が低かった。
【０００７】
したがって、これらの点に着目してなされた本発明の目的は、動きのある被写体に対してボケ画像処理の精度を向上した撮像装置を提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成する第１の観点に係る撮像装置の発明は、
それぞれ異なる可視光波長帯域に感度を有する少なくとも３つの可視光画素および赤外波長帯域に感度を有する赤外画素が２次元的に配列された受光面を有する撮像素子と、
前記撮像素子の前記受光面側に配置され、前記少なくとも３つの可視光画素が感度を有する波長帯域および前記赤外画素が感度を有する波長帯域の何れか一方の波長帯域の光に対して所定の形状の開口として作用し、他方の波長帯域の光をそのまま透過させる符号化開口と、
前記撮像素子から得られた画像を処理する処理部と、
を備えることを特徴とするものである。
【０００９】
このようにすることによって、撮影自体は１回にも関わらず、ボケ具合の異なる２枚分の情報を得ることが可能となり、取得した画像に対して以下のデプスマップの生成や全焦点画像の生成を行うことが可能になる。
【００１０】
第２の観点に係る発明は、第１の観点に係る撮像装置において、
前記処理部は、前記撮像素子から得られた画像に基づいて、デプスマップを生成するデプスマップ生成部を有することを特徴とするものである。
【００１１】
このようにすることによって、撮影自体は１回にも関わらず、ボケ具合の異なる２枚分の情報を得ることが可能となり、１回の撮影画像からデプスマップを生成することが可能となる。これによって、撮影後に被写界深度を拡大した全焦点画像生成や、フォーカス位置を変更するリフォーカス等のボケ画像の処理が可能となる。
【００１２】
第３の観点に係る発明は、第２の観点に係る撮像装置において、
前記処理部は、前記赤外画素から得られた画像を参照画像として、前記可視光画素から得られた可視光画像のボケ画像を生成する補間画像生成部と、前記デプスマップを用いて前記ボケ画像の被写界深度を変更した画像を生成する被写界深度変更画像生成部とを備え、前記符号化開口は前記赤外画素が感度を有する波長帯域の光に対して作用することを特徴とするものである。
【００１３】
このようにすることによって、１回の撮影から補間画像生成部でぼけ画像を生成し、これとデプスマップとを用いて、被写界深度変更画像生成部により全焦点画像を生成することができる。また、符号化開口は可視光の波長帯域には作用しないので、可視光画素を用いてライブビュー表示用の通常開口の画像も取得可能となる。
【００１４】
第４の観点に係る発明は、第３の観点に係る撮像装置において、
前記赤外画素は、前記少なくとも３つの可視光画素の各画素と比べ、画素密度が等しいかまたは高いことを特徴とするものである。
【００１５】
このようにすることによって、赤外画素の画素密度が高いことにより、符号化開口によるボケを保持した参照画像の精度が高くなるので、参照画像を用いて生成される可視光画像のボケ画像生成の精度も向上する。
【００１６】
第５の観点に係る発明は、第２または第３の観点に係る撮像装置において、
前記デプスマップ生成部は、前記少なくとも３つの可視光画素のうちの一の可視光画素および前記赤外画素から得られた画像を用いて、前記デプスマップを生成し、前記一の可視光画素および前記赤外画素は、前記少なくとも３つの可視光画素のうち前記一の可視光画素を除く何れの画素よりも画素密度が高いことを特徴とするものである。
【００１７】
画素密度が高い一の可視光画素および赤外画素を用いることで、これら画素から得られる画像データに基づいて算出される、デプスマップの精度が向上する。さらに、赤外画素の画素密度が高いことにより、符号化開口によるボケを保持した参照画像の精度が高くなるので、参照画像を用いて生成される可視光画像のボケ画像生成の精度も向上する。
【００１８】
第６の観点に係る発明は、第２〜第５の何れかの観点に係る撮像装置において、
前記デプスマップ生成部で生成した前記デプスマップに基づいて、撮像レンズを駆動してフォーカス調整を行うことを特徴とするものである。
【００１９】
このようにすることによって、得られるデプスマップの情報から、フォーカス調整をすることができるので、ＡＦ（オートフォーカス）専用のセンサを必要とせず、コントラストＡＦよりも高速であり、レンズの駆動がないために動画撮影時のふらつきがない、等の利点が得られる。
【００２０】
第７の観点に係る発明は、第２の観点に係る撮像装置において、
前記処理部は、前記少なくとも３つの可視光画素のうちの一の可視光画素から得られた画像を参照画像として、前記可視光画像のボケ画像を生成する補間画像生成部と、前記デプスマップを用いて前記ボケ画像の被写界深度を変更した画像を生成する被写界深度変更画像生成部とを備え、
前記符号化開口は前記少なくとも３つの可視光画素が感度を有する波長帯域の光に対して作用することを特徴とするものである。
【００２１】
このようにすることによって、符号化開口によるボケを持つ画像を参照画像として補間画像を生成することで、符号化開口によりボケたマルチスペクトル画像を生成できる。可視光領域のみボケた画像となるので、全焦点画像生成用の画像の精度が高い。
【００２２】
第８の観点に係る発明は、第２の観点に係る撮像装置において、
前記処理部は、前記少なくとも３つの可視光画素のうちの一の可視光画素から得られた画像を参照画像として、前記可視光画像の補間画像を生成する補間画像生成部と、前記デプスマップを用いて前記補間画像の被写界深度を変更したボケ画像を生成する被写界深度変更画像生成部とを備え、
前記符号化開口は前記赤外画素が感度を有する波長帯域の光に対して作用することを特徴とするものである。
【００２３】
こうすることによって、ボケのない補間画像に対して簡易的な処理によりボケを追加することができ、例えば背景領域をぼかした画像等を生成することが可能となる。
【００２４】
第９の観点に係る発明は、第１〜第８の何れかの観点に係る撮像装置において、
前記撮像素子は、４つ以上の可視光画素を備えることを特徴とするものである。
【００２５】
このようにすることによって、マルチスペクトル画像を取得可能となり、被写体のより詳細な分光情報を取得・記録することができ、色再現性の向上が実現できる。
【００２６】
第１０の観点に係る発明は、第１または第２の観点に係る撮像装置において、
前記符号化開口は、前記赤外画素が感度を有する波長帯域と前記少なくとも３つの可視光画素が感度を有する波長帯域との間で、作用する波長帯域を切り換え可能に構成されていることを特徴とするものである。
【００２７】
このようにすることによって、使用者の用途に応じて、全焦点画像生成用のボケ画像を優先するか、通常画像またはライブビュー画像を優先するか、を選択可能となる。
【発明の効果】
【００２８】
本発明によれば、符号化開口が、少なくとも３つの可視光画素および赤外画素のいずれかの画素が感度を有する波長帯域の光に対して所定の形状の開口として作用し、他の画素が感度を有する波長帯域の光をそのまま透過させるので、撮影自体は１回にも関わらず、ボケ具合の異なる２枚分の画像の情報を得ることが可能となり、１回の撮影画像からデプスマップを生成することが可能となる。これによって、撮影後に被写界深度を拡大した全焦点画像生成や、フォーカス位置を変更するリフォーカス等のボケ画像の処理の精度が向上する。
【図面の簡単な説明】
【００２９】
【図１】本発明の第１実施の形態に係る撮像装置の構成を示すブロック図である。
【図２】図１のマルチバンドイメージセンサの６バンドのカラーフィルタ配列例を示す図である。
【図３】図２の６バンドカラーフィルタの分光感度特性の例を示す図である。
【図４】図１の符号化開口の形状を例示する図である。
【図５】第１実施の形態における全焦点画像生成処理を説明する図である。
【図６】ＤＦＤ方式におけるボケ相関量σと合焦時のフォーカスレンズ位置との関係を示すグラフである。
【図７】図５のデプスマップ生成処理を説明する図である。
【図８】実画像と実画像に対応するデプスマップの例を示す図である。
【図９】図５の全焦点画像生成処理を説明する図である。
【図１０】図１の撮像装置で通常画像撮影またはライブビュー表示を行う際の処理を説明する図である。
【図１１】現実的な６バンドカラーフィルタの分光感度特性の例を示す図である。
【図１２】第２実施の形態に係る撮像装置の構成を示すブロック図である。
【図１３】第３実施の形態に係る全焦点画像生成処理を説明する図である。
【図１４】第４実施の形態における被写界深度変更画像生成処理を説明する図である。
【図１５】被写体距離と画素数のヒストグラムの例を示す図である。
【図１６】本発明の第５実施の形態に係る撮像装置の構成を示すブロック図である。
【図１７】第５実施の形態におけるＡＦ動作処理を説明する図である。
【発明を実施するための形態】
【００３０】
以下、本発明の実施の形態について、図面を参照して説明する。
【００３１】
（第１実施の形態）
第１の実施の形態では、１回の撮影画像からデプスマップを生成し、さらに符号化開口によるボケ画像を擬似的に生成することで、全焦点画像を生成する例について説明する。
【００３２】
<構成>
図１は、本発明の第１実施の形態に係る撮像装置の構成を示すブロック図である。撮像装置１０１は、符号化開口機構１０２を備えた各種レンズ（撮像レンズ）から構成される撮像レンズ系１０３、撮像レンズ系１０３の伸縮駆動やレンズ系内のズームレンズ及びフォーカスレンズの駆動を行うためのレンズ駆動機構１０４、レンズ駆動機構を制御するためのレンズドライバ１０５、レンズ系の絞り及びシャッタ内を制御するための露出制御機構１０６、露出制御機構を制御するための露出制御ドライバ１０７、被写体像を光電変換するための４バンド以上の異なる分光感度特性を有するカラーフィルタを内蔵したマルチバンドイメージセンサ１０８、イメージセンサを駆動するためのイメージセンサドライバ１０９、アナログアンプ及びＡ／Ｄ変換器等を含むプリプロセス回路１１０、記録画像生成のための色信号処理、圧縮伸張処理、その他各種のデジタル処理を行うためのデジタルプロセス回路１１１、外部の記録媒体であるメモリカードとのインタフェースであるカードインタフェース１１２、ＬＣＤ画像表示系１１３、レリーズスイッチ、設定ボタンなど各種スイッチからなる操作スイッチ系１１４、操作状態及びモード状態等を表示するための操作表示系１１５、各種設定情報等を記録するための不揮発性メモリ１１６、および、各部を統括的に制御するためのシステムコントローラ１１７、を備えている。ここでマルチバンドイメージセンサ１０８はＣＣＤやＣＭＯＳセンサなどの固体撮像素子を用いて構成することができる。
【００３３】
＜作用＞
本実施形態の撮像装置においては、システムコントローラ１１７が全ての制御を統括的に行っており、レンズドライバ１０５、露出制御ドライバ１０７及びイメージセンサドライバ１０９によるイメージセンサ１０８の駆動を制御して露光（電荷蓄積）及び信号の読み出しを行い、それをプリプロセス回路１１０を介してＡ／Ｄ変換した後にデジタルプロセス回路１１１に取り込み、デジタルプロセス回路内で各種信号処理を施した後にカードインタフェースを介してメモリカード１１８に記録するようになっている。
【００３４】
マルチバンド画像データを記録する場合には、後で画像を再生する処理が行われる際に参照される色再現情報がタグ情報として付加される。色再現情報としては、撮影レンズの分光透過率、撮像素子の分光感度、撮影時に被写体を照射していた光（撮影照明光）の分光放射輝度、被写体の分光反射率を推定する処理に際して参照される被写体固有の統計情報、などを含むことが可能である。
【００３５】
デジタルプロセス回路１１１には、図示のように、本実施形態の特徴である、１回の撮影での全焦点画像データを生成するための構成として、補間画像生成部１１９、デプスマップ生成部１２０、被写界深度変更画像生成部１２１が設けられている。補間画像生成部１１９では、イメージセンサ１０８からメモリ１２２に蓄えられたＲＡＷデータの各画素に対して、後述する赤外領域に分光感度を有する画素（赤外画素）の情報を参照画像として全色のデモザイキング処理を行うことで、擬似的に符号化開口によるボケ画像を生成する。デプスマップ生成部１２０では、可視光領域に分光感度を有する画素（可視光画素）から得られるエッジ情報と、赤外領域に分光感度を有する画素から得られるエッジ情報を用いてデプスマップの生成を行う。被写界深度変更画像生成部１２１では、補間画像生成部１１９で得られたボケ画像と、デプスマップ生成部１２０で得られたデプスマップを用いて、画像内全ての領域に焦点を合わせた画像を生成する。そして信号処理部１２３において、色信号生成処理等の各種のデジタル処理を行った後、最終的な処理結果画像を生成する。
【００３６】
図２はマルチバンドイメージセンサ１０８を構成する各受光素子上に配置される４バンド以上の異なる分光感度特性を有するカラーフィルタ配置の例として、６バンドの分光感度特性を有するカラーフィルタの配置（ＣＦＡ）を示している。マルチバンドイメージセンサ１０８には、このような４×４のカラーフィルタの配列が、図２の上下左右方向に２次元的に繰り返し配列され、各カラーフィルタＣ１〜Ｃ６が、それぞれ受光素子に対応している。ここでは、カラーフィルタＣ１及びＣ２は輝度の空間解像力を重視し、カラーフィルタＣ３〜Ｃ６に比べて高い密度で配置されている。
【００３７】
また、図３はＣ１〜Ｃ６の各カラーフィルタの分光感度特性の例を示している。３バンドのイメージセンサでは通常ＲＧＢの３色が用いられるが、４バンド以上の場合には任意の色が用いられ、例えばＲＧＢに加えてＣｙ（シアン）やＯｒ（オレンジ）が用いられる。さらに、本実施形態では１枚でのデプスマップデータ生成のために、赤外領域に分光感度を持つカラーフィルタＣ２が１色用いられている。各受光素子とその上に配置された個々のカラーフィルタＣ１〜Ｃ６とは画素を構成する。以下、カラーフィルタＣ１〜Ｃ６に対応する画素を、それぞれ、第１〜第６の画素と呼ぶ。ここで第１の画素は、一の可視光画素に対応する。
【００３８】
図４は撮像レンズ系１０３における符号化開口機構１０２の形状の一例を示している。図４における黒色部分は赤外カットの特性を持っている。このため、可視領域の光に対してはこの符号化開口の形状は反映されず、通常の円形の開口で撮影した際のデータが得られる。一方、赤外領域の光に対しては符号化開口の形状が反映され、ボケたデータが得られることになる。
【００３９】
ここで、通常の円形開口と符号化開口におけるボケ復元の違いを説明する。
一般にボケはレンズと絞りからなるレンズ光学系により劣化した画像とみなすことができる。この劣化課程はボケカーネルｈ（ｘ，ｙ）、原画像ｆ（ｘ，ｙ）、ノイズ成分ｎ（ｘ，ｙ）の畳み込みにより以下のように表される。
【００４０】
【数１】
【００４１】
ここで、ボケカーネルｈ（ｘ，ｙ）は、開口形状により定まる関数であり、ノイズ成分ｎ（ｘ，ｙ）は、画像に含まれるノイズに応じて設定され、処理対象画像のノイズ成分を観測したものを使用する。あるいは、ＩＳＯ感度などに応じて予め求めておいたノイズ成分を使用しても良い。
【００４２】
ボケ画像であるｇから畳み込みの影響を除去する計算はフーリエ変換を行うことで簡略化することができる。
【００４３】
【数２】
【００４４】
ここで、Ｇ、Ｈ、Ｆ、Ｎはそれぞれｇ、ｈ、ｆ、ｎのフーリエ変換である。この式からボケを除去した推定原画像のフーリエ変換は以下のように求められる。
【００４５】
【数３】
【００４６】
【００４７】
図５は、デジタルプロセス回路における、全焦点画像生成の処理フローを示している。補間画像生成部１１９が、イメージセンサ１０８から得られたＲＡＷデータの読み込みを行い(ステップＳ５０１)、密度の高いカラーフィルタＣ１に対応する第１の画素およびカラーフィルタＣ２に対応する第２の画素（赤外画素）により得られる画像データについてアップサンプリングを行い、補間画像を生成する(ステップＳ５０２)。さらに、符号化開口によりボケている第２の画素の画像データの補間画像を参照画像とし、他の画素、すなわち、第１および第３〜第６の画素（可視光画素）により得られる画像データに対してデモザイキング処理を行い、５バンドのフルカラー画像を生成する（ステップＳ５０３）。この画像は第２の画素（赤外画素）から得られる画像を参照画像として補間しているため、第２の画素（赤外画素）から得られる画像と同様のボケ具合を保持している。すなわち、符号化開口によりボケた５バンド画像を擬似的に生成したことになる。一方、ステップＳ５０２で生成した第１の画素と第２の画素（赤外画素）のそれぞれから得られる画素信号による補間画像のエッジ成分のボケ具合の違いから、デプスマップを生成する（ステップＳ５０４）。さらに、ステップＳ５０３で得られた５バンドのボケ画像と、ステップＳ５０４で得られたデプスマップとから、画像内の全ての領域で合焦するように処理を行うことで、全焦点画像を生成する（ステップＳ５０５）。
【００４８】
次に、ステップＳ５０２での補間画像生成方法について説明する。既存の補間手法として、ガウシアン補間（ＧＩ）が広く知られている。これは、画素値を推定したい画素位置周辺の局所的な情報の重み付き平均として画素値を推定する方法であり、画素位置Ｘｐに対する、それぞれの推定された解は下記のように表される．
【００４９】
【数４】
【００５０】
ここで、ＮＸｐは画素位置Ｘｐの周辺画素の画素位置集合を、Ｓ（Ｘｉ）は画素位置Ｘｉのサンプル値を、Ｍ（Ｘｉ）は画素位置Ｘｉのバイナリマスクを、ｋ（Ｘｉ−Ｘｐ）は画素位置Ｘｐからの距離に基づく重みを、ωは正規化係数、すなわち重みの和をそれぞれ表す。バイナリマスクはサンプル値が存在する場所で1、それ以外で０となる。
【００５１】
本実施形態ではこのＧＩによる補間処理を第１の画素および第２の画素（赤外画素）から得られる画像データに対して実施し、全画素位置に第１の画素および第２の画素（赤外画素）の情報を持った補間画像を生成する。
【００５２】
説明の簡略化のためにＧＩでの説明を行ったが、本発明はこれに限られるものではなく、例えば画素値の微分情報を用いた補間などでも可能である。
【００５３】
次に、ステップＳ５０３での参照画像を用いた補間画像生成について説明する。参照画像を用いた既存の補間手法として、ガイデッドフィルタが知られている。ここで参照画像とは、補間したい低解像度画像に対応する画像構造を有する高解像度画像である。ガイデッドフィルタは、出力画像は参照画像の線形変換で表されるという考えに基づき、画素値を推定したい画素Ｘｐ周辺の局所領域のコスト関数Ｅを最小化するように最小二乗法により係数（ａＸｐ，ｂＸｐ）が算出される。
【００５４】
【数５】
【００５５】
ここで、ωｋは注目画素周辺に存在する信号成分の要素数を、Ｍｉはバイナリマスクを、ａｋ，ｂｋは算出されるべきパラメータであり、計算開始時には適当な初期値が用いられる。Ｉｉは周囲画素に対応する参照画像の画素値を、ｐｉは信号成分の画素値を、εは所定の平滑化パラメータをそれぞれ表す。全画素に対する係数（ａｋ，ｂｋ）が算出されると、対象となる信号成分を有さない画素に対して式（６）により出力画素値が算出される。
【００５６】
【数６】
【００５７】
本実施形態では、参照画像としてステップＳ５０２で得られた第２の画素（赤外画素）による画像データの補間画像を用い、補間対象の画像として第１、第３〜第６の画素（可視光画素）の各画像データをそれぞれ用いて補間処理を行う。参照画像を用いた補間を行うことで、参照画像のボケ具合を保持した補間画像を生成することが可能である。
【００５８】
なお、本説明では参照画像は全て第２の画素（赤外画素）の画像データの補間画像として説明したが、分光感度特性の相関を利用し、まずは第１の画素の画像データの補間を行い、次にその第１の画素の画像データの補間画像を参照画像として第４、第５の画素の画像データの補間を行い、第４の画素の画像データの補間画像を参照画像として第３の画素の画像データの補間を、第５の画素の画像データの補間画像を参照画像として第６の画素の画像データの補間を行うように、参照画像を切り替えながら画像データの補間を行うような処理も可能である。
【００５９】
次に、ステップＳ５０４でのボケ具合の異なる２枚の画像からのデプスマップ生成について説明する。ボケの状態が異なる２枚の画像から、これらのデータ間におけるボケの相関量を示すパラメータであるボケ相関量σを所定の画素毎に算出し、算出したボケ相関量σと所定のテーブルとを対照することで、対象画素における測距を行うDepth from Defocus（ＤＦＤ）方式が提案されている。ここでボケ相関量とは、光学系の点像分布関数（ＰＳＦ）の分散と相関を有する値である。ＰＳＦとは理想的な点像が光学系を通過した場合の光線の広がりを示す関数である。また、所定のテーブルとは、例えば図６に示すようにボケ相関量σと合焦時のフォーカスレンズ位置ＤＦＤ＿ＬＦとの対応関係を示すルックアップテーブルであり、設計データに基づいて予め作成されている。
【００６０】
本実施形態において、撮影自体は１枚のみであるが、可視光画素、特にカラーフィルタＣ１に対応する第１の画素で円形開口による画像データが得られ、カラーフィルタＣ２に対応する第２の画素（赤外画素）で符号化開口による画像データが得られることから、ボケ具合の異なる２枚分の撮影情報が得られるためにＤＦＤ方式でのデプスマップ生成が可能となる。
【００６１】
図７は、デプスマップ生成部１２０におけるデプスマップ生成処理を説明する図である。第１および第２の画素の補間画像を読み込み（ステップＳ７０１）、電気的なノイズを除去するためのローパスフィルタ処理、像倍率補正処理、輝度分布の補正処理等の正規化処理を施す（ステップＳ７０２）。そして、それら２つの画像データの互いに対応する画素の輝度情報について差分を算出する（ステップＳ７０３）。また、２つの画像データの各々について二次微分処理を施す（ステップＳ７０４）。そして、第１の画素の画像データについての二次微分処理結果と、第２の画素（赤外画素）の画像データについての二次微分処理結果との平均値を算出する（ステップＳ７０５）。
【００６２】
その後、ステップＳ７０３において算出された輝度情報についての差分値から、ステップＳ７０５において算出された二次微分処理結果の平均値を除算し、ＰＳＦの分散と相関を有するボケ相関量σを算出する(ステップＳ７０６)。なお、ボケ相関量σと被写体距離とは、被写体距離の逆数に線形な関係を示す。そして、ステップＳ７０６で算出されたボケ相関量σをルックアップテーブルと照合することで、対象画素における被写体距離を導出する（ステップＳ７０７）。
【００６３】
図８は、実画像と実画像に対応するデプスマップの例を示す図である。図８（ａ）は、実画像を示し、図８（ｂ）は図８（ａ）に対応するデプスマップである。デプスマップは、被写体の距離を、例えば輝度で表すものである。図８（ｂ）においては、被写体に対応する画像の色が白色に近いほど、被写体までの距離が短いことを示している。
【００６４】
なお、被写体距離と合焦時のフォーカスレンズ位置とは一対一に対応するので、図６に示すようにボケ相関量σと合焦時のフォーカスレンズ位置との関係が一対一対応で得られれば、当然ながらそれらに対応する被写体距離を得ることが出来る。
【００６５】
また、ルックアップテーブルは予めデプスマップ生成部１２０内に記憶されている。ところで、このルックアップテーブルは任意の被写体に対して算出したボケ相関量σに対応する合焦レンズ位置を参照可能とするが、該当するボケ相関量σがルックアップテーブル上に存在しない場合には、補間演算によって対応する合焦レンズ位置を算出する。
【００６６】
本説明では説明の簡略化のために、各画素を独立して計算するものとしたが、測距精度を安定化させるために対象画素の近傍画素の情報を含めた画素領域として被写体距離を求めるものであっても構わない。
【００６７】
次に、ステップＳ５０５での全焦点画像生成について説明する。図９は、被写界深度変更画像生成部１２１における、全焦点画像生成の処理フローを示している。補間画像生成部１１９により得られた全色に対するボケ画像を読み込み（ステップＳ８０１）、予め求められている開口形状データを読み込む（ステップＳ８０２）。このデータはこの後の処理に用いるために開口形状ａ（ｘ，ｙ）に対するフーリエ変換Ａの形式で読み込む。さらに、デプスマップ生成部１２０により得られたデプスマップデータを読み込む（ステップＳ８０３）。ボケの復元には処理対象の領域において一様な奥行きである必要があるため、画像を細かい処理対象領域に分割し処理を行う（ステップＳ８０４）。そして、処理対象となる領域に対して開口形状データとデプスマップデータを用いてボケカーネルの算出を行う（ステップＳ８０５）。ボケカーネルｈ（ｘ，ｙ）は前述のように、開口形状に対して相似の図形であり式（７）のように表すことができる。
【００６８】
【数７】
【００６９】
【００７０】
【数８】
【００７１】
【００７２】
この処理は画像を互いに重なり合う小領域に分割して処理し、各領域の中央に近いほど重みが高くするなどの重み付けを行いながら画像全体を統合するものでも構わない。
【００７３】
次に、撮像装置１０１を用いて、ボケ復元用ではない通常の画像生成を行う場合について説明する。通常画像生成時には図１０に示すようにデジタルプロセス回路１１１内での処理が異なる。通常画像表示時には符号化開口１０２によるボケ情報は一切用いず、可視光領域に分光感度を有する第１、第３〜第６の画素のみの情報を使って、画像を生成する。
【００７４】
まず、イメージセンサ１０８から得られたＲＡＷデータの間引き読み出しを行い、密度の高い第１の画素から得られる画像データについてアップサンプリングを行い、補間画像を生成する。この第１の画素から得られた補間画像を参照画像とし、他の第３〜第６の画素から得られる画像データに対してデモザイキング処理を行い、５バンドのフルカラー画像を生成する。第２の画素（赤外画素）の画像データの補間画像を参照画像とする場合と異なり、第１の画素の補間画像は通常開口で得られたボケていない画像であり、これを参照画像とすることで、第３〜第６の画素もボケていない補間画像を生成することが可能である。その後、信号処理部１２３において、色変換処理、圧縮処理等の各種処理を行い出力画像を生成する。
【００７５】
次に、ライブビュー表示用の画像生成について説明する。ライブビュー表示時も通常画像生成時と同じく符号化開口１０２によるボケ情報は一切用いず、可視光領域に分光感度を有する第１、第３〜第６の画素の情報を使って、画像を生成する。処理の高速化のためにイメージセンサ１０８から得られたＲＡＷデータの間引き読み出しを行い、通常画像と同様に補間画像を生成する。そして、ＬＣＤ１１３が多原色モニタの場合、この補間画像は信号処理部１２３においてノイズリダクション等の各種処理を行った後、色変換処理が行われる。この色変換処理時には予め取得されている多原色モニタのモニタプロファイル情報、および、図示しない照明分光分布情報センサから得られる観察環境の照明光の情報をもとに色変換処理することで、被写体があたかも多原色モニタを観察している照明で照射されているかのような色合いで再生され、多原色モニタを観察している観察者は、リアリティのより高められた再生画像を観察することが可能となる。
【００７６】
また、ＬＣＤ１１３がＲＧＢモニタの場合、色変換処理として、マルチバンドの画像データからＲＧＢの画像データに変換され、色・ガンマ処理が行われる。この色・ガンマ処理時には予め取得されているＲＧＢモニタのプロファイル情報をもとに処理が行われる。
【００７７】
以上説明したように、本実施の形態によれば、符号化開口が、第２の画素（赤外画素）が感度を有する波長帯域の光に対して所定の形状の開口として作用し、可視光画素が感度を有する波長帯域の光をそのまま透過させるので、１回の撮影でボケ具合の異なる２枚分の画像の情報を得ることが可能となり、デプスマップを生成することが可能になる。これによって、特に被写体が動いている場合や、撮影に時間をかけられない場合、動画での撮影などにおいて、１回の撮影で、マルチスペクトルかつ全焦点画像が取得可能となる。さらに、全焦点画像データを取得しながら、マルチスペクトル画像のライブビュー表示にも対応可能となる。
【００７８】
なお、本実施の形態では図３のような分光感度特性を有するカラーフィルタを用いるものとしたが、現実のカラーフィルタを用いた場合、可視光の帯域を透過させる各カラーフィルタは、図１１に示すように赤外領域の光も一部透過させる。このため、カラーフィルタＣ２に対応する第２の画素（赤外画素）以外の各画素上には、カラーフィルタＣ１，Ｃ３〜Ｃ６に加え赤外線をカットするＩＲカットフィルタを配置することが望ましい。
【００７９】
また、本実施形態では、全焦点画像の生成を行ったが、任意の距離のみが合焦するように処理し、その他の距離に属する領域には、合焦領域からの距離の差に応じたボケを付加することで、フォーカス位置を任意に変化させるリフォーカス画像の生成も当然可能である。
【００８０】
（第２実施の形態）
図１２は、第２実施の形態に係る撮像装置の構成を示すブロック図である。第１実施の形態では撮像レンズ系１０３に符号化開口機構１０２が搭載されていたが、本実施の形態では撮像装置のイメージセンサ１０８の前に符号化開口機構１０２が搭載されている点で第１実施の形態と異なる。もしくは、外付けオプション機構として、符号化開口のみが独立しているものでも構わない。また、例えば液晶チューナブルフィルタのような、電気的に透過波長帯域を変更することができるフィルタを用い、符号化開口を制御することができる。その他の構成は、第１実施の形態と同様なので、同一構成要素には同一参照符号を付して説明を省略する。
【００８１】
このような構成にすることによって、符号化開口機構１０２が搭載された特殊なレンズを用いなくても、本発明の効果を得ることが可能となる。さらに第１実施の形態では、符号化開口機構１０２がレンズ１０３に搭載されているため、符号化開口が適用される波長帯域を変更することは困難であったが、本実施の形態の場合、電気的に波長帯域を変更するフィルタを用いて符号化開口を制御することで、用途に応じて、赤外波長帯域にのみ作用する符号化開口および可視光帯域にのみ作用する符号化開口のいずれを用いるか選択可能にすることも可能である。
【００８２】
（第３実施の形態）
図１３は、第３実施の形態に係る全焦点画像生成処理を説明する図である。第１実施の形態では、赤外波長帯域にのみ作用する符号化開口を用いたが、本実施の形態では、可視光領域にのみ作用する符号化開口を用いる。その他の構成は、第１実施の形態と同様である。この場合、可視光領域に感度を有する第１および第３〜第６の画素からは符号化開口によりぼけた画像が得られ、赤外領域に感度を有する第２の画素（赤外画素）からは通常開口の画像が得られる。このため、補間画像生成部１１９では、全焦点画像生成処理において、第１実施の形態におけるステップＳ５０３に代えて、ステップＳ５０３’で符号化開口によりボケている第１の画素の画像データの補間画像を参照画像とし、第１および第３〜第６の画素（可視光画素）により得られる画像データに対してデモザイキング処理を行う。その他の処理は、第１実施の形態と同様である。
【００８３】
本実施の形態によれば、第１および第３〜第６の画素（可視光画素）から得られる画像は予めボケているので、この画像を用いてボケ画像を生成する場合、ボケ画像の精度が上がるためにより正確なリフォーカス処理が可能となる。一方で、通常画像、ライブビュー表示用の画像は第２の画素（赤外画素）の画像データの補間画像から生成することになるため、精度が落ちるので適していない。なお、本実施の形態の全焦点画像生成処理を、第２実施の形態の構成に適用することも可能である。
【００８４】
（第４の実施の形態）
第４実施例では、１回の撮影画像からデプスマップを生成し、デプスマップの情報を参照し撮影画像に適当なボケを付加することで、簡易的に被写界深度を変更した画像を生成する例について説明する。本実施の形態に係る撮像装置１０１の構成は、第１実施の形態の構成と同様であり、デジタルプロセス回路１１１内での処理が異なっている。具体的には、補間画像生成部１１９内での処理、および、被写界深度変更画像生成部１２１内での処理が異なる。
【００８５】
補間画像生成部１１９では、イメージセンサ１０８からメモリ１２２に蓄えられたＲＡＷデータの各画素から得られる画像データに対して、第１実施の形態における通常画像生成時の処理と同様に、符号化開口１０２によりボケた画像の情報は一切使わず、第１の画素から得られる補間画像を参照画像として、可視光領域の全色の補間画像を生成する。これにより、符号化開口１０２での開口情報を反映しない通常画像が生成される。
【００８６】
デプスマップ生成部１２０では、第１実施の形態と同様にデプスマップの生成を行う。
【００８７】
被写界深度変更画像生成部１２１では、補間画像生成部１１９で得られた通常画像と、デプスマップ生成部１２０で得られたデプスマップを用いて、被写体と異なる距離に位置する任意の領域に対してボケ情報を付加する。これにより、擬似的にレンズの被写界深度を浅くした画像を生成することが可能となる。そして信号処理部１２３において、色信号生成処理等の各種のデジタル処理を行った後、最終的な処理結果画像を生成する。
【００８８】
図１４は、上述の被写界深度変更画像生成処理を説明する図である。まず、補間画像生成部１１９において、マルチバンドイメージセンサ１０８から得られたＲＡＷデータの読み込みを行い（ステップＳ１１０１）、密度の高い第１の画素および第２の画素（赤外画素）の画像データについてアップサンプリングを行い、補間画像を生成する（ステップＳ１１０２）。符号化開口が作用しない、すなわち通常開口による第１の画素の補間画像を参照画像とし、第１、第３〜第６の画素の画像に対してデモザイキング処理を行い、５バンドのフルカラー画像を生成する（ステップＳ１１０３）。
【００８９】
一方、デプスマップ生成部１２０により、ステップＳ１１０２で生成した第１の画素および第２の画素（赤外画素）の補間画像のエッジ成分のボケ具合からデプスマップを生成する（ステップＳ１１０４）。
【００９０】
さらに、被写界深度変更画像生成部１２１において、ステップＳ１１０３で得られた５バンドの通常画像と、ステップＳ１１０４で得られたデプスマップから被写界深度変更用のデータを生成する（ステップＳ１１０５）。次に、デプスマップの情報から主要被写体領域と背景領域との画像領域の分割を行う（ステップＳ１１０６）。例えば、デプスマップに基づいて、図１５に示すような被写体距離と画素数とのヒストグラムを求め、最も画素数の多い距離に主要被写体があるとして、主要被写体領域を求めることが可能である。そして、主要被写体と異なる距離に位置する領域に対して任意のボケを付加することで、擬似的に被写界深度を浅くした画像を生成する（ステップＳ１１０７）。
【００９１】
ステップＳ１１０７で付加するボケは、例えばガウシアンのようなボケであり、第１実施の形態のように符号化開口により得られるボケとは異なるが、簡易的な処理により背景領域をぼかした画像を生成することが可能となる。ただし、第１実施の形態と異なり、ボケを付与することは可能だが、ボケを除去する効果は得られない。
【００９２】
（第５の実施の形態）
第５実施の形態では、１枚の撮影画像からデプスマップを生成し、オートフォーカス（ＡＦ）処理に適用する例について説明する。
【００９３】
図１６は、本発明の第５実施の形態に係る撮像装置の構成を示すブロック図である。本実施の形態に係る撮像装置１０１は、第１実施の形態の構成と比べ、デジタルプロセス回路１１１内での機能ブロックの構成および処理が異なっている。具体的には、補間画像生成部１１９内での処理が異なり、さらに被写界深度変更画像生成部１２１に代えて合焦位置決定部１２４を設けている。その他の構成は、第１実施の形態と同様であるので、同一構成要素には同一参照符号を付して説明を省略する。
【００９４】
図１７はＡＦ動作処理を説明する図である。補間画像生成部１１９で、イメージセンサ１０８から得られたＲＡＷデータの読み込みを行い（ステップＳ１４０１）、密度の高い第１および第２の画素から得られる画像データについてアップサンプリングを行い、補間画像を生成する（ステップＳ１４０２）。その際、処理を高速化するために、間引き読み出ししたデータに対してアップサンプリングを行っても構わない。
【００９５】
そして、ステップＳ１４０２で生成した第１の画素および第２の画素（赤外画素）の補間画像から、エッジ成分のボケ具合によりデプスマップを生成する（ステップＳ１４０３）。図５に示した第１実施の形態の処理フローでは、ステップＳ５０３としてデモザイキング処理が必要だったが、ＡＦ動作のみについて処理する場合には、デプスマップの情報だけ求められれば良いため、デモザイキング処理のステップは省略されている。
【００９６】
次にデプスマップの距離情報から合焦位置を求める（ステップＳ１４０４）。ステップＳ１４０４での処理として、例えば、第４実施の形態における主要被写体領域の検出と同様に、被写体距離と画素数とのヒストグラム（図１５参照）から、最も画素数の多い距離に主要被写体があるとして、合焦位置を求めることが可能である。そして、レンズドライバ１０５により実際に撮像レンズ系１０３のレンズを駆動し合焦動作を完了する（ステップＳ１４０５）。
【００９７】
これらの処理により、位相差ＡＦ等の専用のセンサを用いることなく、かつコントラスト方式のＡＦに比べて高速なＡＦ処理が可能となる。さらにレンズ位置を合焦位置に収束させるためのレンズ駆動を必要としないので、動画撮影中にピントがふらつくような現象が生じないという利点も得られる。
【００９８】
なお、本実施の形態では、第１実施の形態の被写界深度変更画像生成部に代えて、合焦位置決定部を有するとしたが、同一の撮像装置で被写界深度変更画像生成部と合焦位置決定部との双方を有し、第１実施の形態の被写界深度変更画像の生成と本実施の形態のＡＦ動作の双方を行えるようにすることができる。
【００９９】
なお、本発明は、上記実施の形態にのみ限定されるものではなく、幾多の変形または変更が可能である。たとえば、デジタルプロセス回路１１１内の、補間画像生成部１１９の一部の機能や、デプスマップ生成部１２０、被写界深度変更画像生成部１２１等は、撮像装置１０１とは別に設けられた処理装置内に設けることもできる。その場合、撮像装置１０１は、例えば、可視光画像および赤外画像のＲＡＷデータを当該処理装置に引き渡し、この処理装置でデプスマップの生成、全焦点画像の生成等の処理を行う。
【符号の説明】
【０１００】
１０１ 撮像装置
１０２ 符号化開口機構
１０３ 撮像レンズ系
１０４ レンズ駆動機構
１０５ レンズドライバ
１０６ 露出制御機構
１０７ 露出制御ドライバ
１０８ マルチバンドイメージセンサ
１０９ イメージセンサドライバ
１１０ プリプロセス回路
１１１ デジタルプロセス回路
１１２ カードインタフェース（カードＩ／Ｆ）
１１３ ＬＣＤ画像表示系
１１４ 操作スイッチ（操作ＳＷ）
１１５ 操作表示系
１１６ 不揮発性メモリ
１１７ システムコントローラ
１１８ メモリカード
１１９ 補間画像生成部
１２０ デプスマップ生成部
１２１ 被写界深度変更画像生成部
１２２ メモリ
１２３ 信号処理部
１２４ 合焦位置決定部
Ｃ１〜Ｃ６ カラーフィルタ
【特許請求の範囲】
【請求項１】
それぞれ異なる可視光波長帯域に感度を有する少なくとも３つの可視光画素および赤外波長帯域に感度を有する赤外画素が２次元的に配列された受光面を有する撮像素子と、
前記撮像素子の前記受光面側に配置され、前記少なくとも３つの可視光画素が感度を有する波長帯域および前記赤外画素が感度を有する波長帯域の何れか一方の波長帯域の光に対して所定の形状の開口として作用し、他方の波長帯域の光をそのまま透過させる符号化開口と、
前記撮像素子から得られた画像を処理する処理部と
を備える撮像装置。
【請求項２】
前記処理部は、前記撮像素子から得られた画像に基づいて、デプスマップを生成するデプスマップ生成部を有することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記処理部は、前記赤外画素から得られた画像を参照画像として、前記可視光画素から得られた可視光画像のボケ画像を生成する補間画像生成部と、前記デプスマップを用いて前記ボケ画像の被写界深度を変更した画像を生成する被写界深度変更画像生成部とを備え、前記符号化開口は前記赤外画素が感度を有する波長帯域の光に対して作用することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記赤外画素は、前記少なくとも３つの可視光画素の各画素と比べ、画素密度が等しいかまたは高いことを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記デプスマップ生成部は、前記少なくとも３つの可視光画素のうちの一の可視光画素および前記赤外画素から得られた画像を用いて、前記デプスマップを生成し、前記一の可視光画素および前記赤外画素は、前記少なくとも３つの可視光画素のうち前記一の可視光画素を除く何れの画素よりも画素密度が高いことを特徴とする請求項２または３に記載の撮像装置。
【請求項６】
前記デプスマップ生成部で生成した前記デプスマップに基づいて、撮像レンズを駆動してフォーカス調整を行う請求項２〜５の何れか一項に記載の撮像装置。
【請求項７】
前記処理部は、前記少なくとも３つの可視光画素のうちの一の可視光画素から得られた画像を参照画像として、前記可視光画像のボケ画像を生成する補間画像生成部と、前記デプスマップを用いて前記ボケ画像の被写界深度を変更した画像を生成する被写界深度変更画像生成部とを備え、
前記符号化開口は前記少なくとも３つの可視光画素が感度を有する波長帯域の光に対して作用することを特徴とする請求項２に記載の撮像装置。
【請求項８】
前記処理部は、前記少なくとも３つの可視光画素のうちの一の可視光画素から得られた画像を参照画像として、前記可視光画像の補間画像を生成する補間画像生成部と、前記デプスマップを用いて前記補間画像の被写界深度を変更したボケ画像を生成する被写界深度変更画像生成部とを備え、
前記符号化開口は前記赤外画素が感度を有する波長帯域の光に対して作用することを特徴とする請求項２に記載の撮像装置。
【請求項９】
前記撮像素子は、４つ以上の可視光画素を備えることを特徴とする請求項１〜８の何れか一項に記載の撮像装置。
【請求項１０】
前記符号化開口は、前記赤外画素が感度を有する波長帯域と前記少なくとも３つの可視光画素が感度を有する波長帯域との間で、作用する波長帯域を切り換え可能に構成されていることを特徴とする請求項１または２に記載の撮像装置。
【請求項１】
それぞれ異なる可視光波長帯域に感度を有する少なくとも３つの可視光画素および赤外波長帯域に感度を有する赤外画素が２次元的に配列された受光面を有する撮像素子と、
前記撮像素子の前記受光面側に配置され、前記少なくとも３つの可視光画素が感度を有する波長帯域および前記赤外画素が感度を有する波長帯域の何れか一方の波長帯域の光に対して所定の形状の開口として作用し、他方の波長帯域の光をそのまま透過させる符号化開口と、
前記撮像素子から得られた画像を処理する処理部と
を備える撮像装置。
【請求項２】
前記処理部は、前記撮像素子から得られた画像に基づいて、デプスマップを生成するデプスマップ生成部を有することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記処理部は、前記赤外画素から得られた画像を参照画像として、前記可視光画素から得られた可視光画像のボケ画像を生成する補間画像生成部と、前記デプスマップを用いて前記ボケ画像の被写界深度を変更した画像を生成する被写界深度変更画像生成部とを備え、前記符号化開口は前記赤外画素が感度を有する波長帯域の光に対して作用することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記赤外画素は、前記少なくとも３つの可視光画素の各画素と比べ、画素密度が等しいかまたは高いことを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記デプスマップ生成部は、前記少なくとも３つの可視光画素のうちの一の可視光画素および前記赤外画素から得られた画像を用いて、前記デプスマップを生成し、前記一の可視光画素および前記赤外画素は、前記少なくとも３つの可視光画素のうち前記一の可視光画素を除く何れの画素よりも画素密度が高いことを特徴とする請求項２または３に記載の撮像装置。
【請求項６】
前記デプスマップ生成部で生成した前記デプスマップに基づいて、撮像レンズを駆動してフォーカス調整を行う請求項２〜５の何れか一項に記載の撮像装置。
【請求項７】
前記処理部は、前記少なくとも３つの可視光画素のうちの一の可視光画素から得られた画像を参照画像として、前記可視光画像のボケ画像を生成する補間画像生成部と、前記デプスマップを用いて前記ボケ画像の被写界深度を変更した画像を生成する被写界深度変更画像生成部とを備え、
前記符号化開口は前記少なくとも３つの可視光画素が感度を有する波長帯域の光に対して作用することを特徴とする請求項２に記載の撮像装置。
【請求項８】
前記処理部は、前記少なくとも３つの可視光画素のうちの一の可視光画素から得られた画像を参照画像として、前記可視光画像の補間画像を生成する補間画像生成部と、前記デプスマップを用いて前記補間画像の被写界深度を変更したボケ画像を生成する被写界深度変更画像生成部とを備え、
前記符号化開口は前記赤外画素が感度を有する波長帯域の光に対して作用することを特徴とする請求項２に記載の撮像装置。
【請求項９】
前記撮像素子は、４つ以上の可視光画素を備えることを特徴とする請求項１〜８の何れか一項に記載の撮像装置。
【請求項１０】
前記符号化開口は、前記赤外画素が感度を有する波長帯域と前記少なくとも３つの可視光画素が感度を有する波長帯域との間で、作用する波長帯域を切り換え可能に構成されていることを特徴とする請求項１または２に記載の撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図８】
【公開番号】特開２０１３−９３７５４（Ｐ２０１３−９３７５４Ａ）
【公開日】平成２５年５月１６日（２０１３．５．１６）
【国際特許分類】
【出願番号】特願２０１１−２３４７９４（Ｐ２０１１−２３４７９４）
【出願日】平成２３年１０月２６日（２０１１．１０．２６）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２５年５月１６日（２０１３．５．１６）
【国際特許分類】
【出願日】平成２３年１０月２６日（２０１１．１０．２６）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]