多開口画像データの処理
多開口画像データを処理する方法およびシステムが記載され、この方法は、少なくとも第1の開口を使用して電磁スペクトルの少なくとも第1の部分に関連するスペクトルエネルギーに、また少なくとも第2の開口を使用して電磁スペクトルの少なくとも第2の部分に関連するスペクトルエネルギーに、撮像システム内の画像センサを同時に露出させることによって、1つまたは複数の物体に関連する画像データを取り込むステップと、電磁スペクトルの前記第1の部分に関連する第1の画像データおよび電磁スペクトルの前記第2の部分に関連する第2の画像データを生成するステップと、前記第1の画像データの少なくとも1つの領域内の第1のシャープネス情報および前記第2の画像データの少なくとも1つの領域内の第2のシャープネス情報に基づいて、前記取り込まれた画像に関連する深さ情報を生成するステップとを含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多開口画像データの処理に関し、詳細には、排他的ではないが、多開口画像データを処理する方法およびシステム、そのようなシステムで使用するための画像処理装置、ならびにそのような方法を使用するコンピュータプログラム製品に関する。
【背景技術】
【０００２】
デジタル写真およびビデオの撮像技術が移動電気通信、自動車、および生体認証などの様々な技術分野でますます使用されることで、一眼レフレックスカメラによって提供される画像品質に匹敵し、または少なくとも近似する画像品質を提供する小型の一体型カメラの開発が求められている。しかし、デジタルカメラ技術の一体化および小型化は、光学系および画像センサの設計に重大な制約を課し、それによって撮像システムによってもたらされる画像品質に悪影響を与える。広い範囲の機械的な焦点および開口設定機構は、そのような一体型カメラの適用分野で使用するのに適していない。したがって、固定焦点レンズに基づく撮像システムの撮像品質を向上させるために、様々なデジタルカメラの取込みおよび処理技法が開発されている。
【０００３】
国際特許出願第PCT/EP2009/050502号および第PCT/EP2009/060936号というPCT出願は、色撮像技法と赤外撮像技法の両方を組み合わせる光学系を使用することによって固定焦点レンズの撮像システムの被写界深度を延長する方法について記載している。これらの出願を、参照により本明細書に組み込む。色スペクトルと赤外スペクトルの両方で撮像するように適合された画像センサと、波長選択性の多開口の開口とを組み合わせて使用することで、簡単で費用効果の高い方法で、被写界深度を延長することができ、また固定焦点レンズを有するデジタルカメラに対するISO感度を増大させることができる。これには、知られているデジタル撮像システムに対する軽微な調節が必要とされ、それによってこのプロセスは大量生産に特に適したものになる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】国際特許出願第PCT/EP2009/050502号
【特許文献２】国際特許出願第PCT/EP2009/060936号
【特許文献３】米国特許出願第2009/0159799号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
多開口撮像システムの使用は、知られているデジタル撮像システムに勝る実質的な利点を提供するが、そのようなシステムはまだ、一眼レフレックスカメラで提供されるのと同じ機能を提供することはできない。具体的には、調整可能な被写界深度などのカメラパラメータの調整および/または焦点距離の調整を可能にする固定レンズの多開口撮像システムを有することが望ましいはずである。さらに、知られている3Dデジタルカメラに類似の3D撮像の機能性を有するそのような多開口撮像システムを提供することが望ましいはずである。したがって、機能性が向上した多開口撮像システムを提供できる方法およびシステムが、当技術分野で必要とされている。
【課題を解決するための手段】
【０００６】
本発明の一目的は、従来技術で知られている欠点の少なくとも1つを低減または解消することである。第1の態様では、本発明は、多開口画像データを処理する方法に関することができ、この方法は、少なくとも第1の開口を使用して電磁スペクトルの少なくとも第1の部分に関連するスペクトルエネルギーに、また少なくとも第2の開口を使用して電磁スペクトルの少なくとも第2の部分に関連するスペクトルエネルギーに、撮像システム内の画像センサを同時に露出させることによって、1つまたは複数の物体に関連する画像データを取り込むステップと、電磁スペクトルの前記第1の部分に関連する第1の画像データおよび電磁スペクトルの前記第2の部分に関連する第2の画像データを生成するステップと、前記第1の画像データの少なくとも1つの領域内の第1のシャープネス情報および前記第2の画像データの少なくとも1つの領域内の第2のシャープネス情報に基づいて、前記取り込まれた画像に関連する深さ情報を生成するステップとを含むことができる。
【０００７】
したがって、多開口画像データ、すなわち多開口撮像システムによってもたらされる画像データに基づいて、この方法では、画像内の物体を物体とカメラの距離に関係付ける深さ情報を生成することができる。この深さ情報を使用して、取り込まれた画像に関連する深さマップを生成することができる。距離情報および深さマップは、機能性が向上した固定レンズ撮像システムを提供できる画像処理機能を実施することができる。
【０００８】
一実施形態では、この方法は、前記第1の画像データの少なくとも1つの領域内の第1のシャープネス情報と前記第2の画像データの少なくとも1つの領域内の第2のシャープネス情報との間の差を、前記撮像システムと前記物体の少なくとも1つとの間の距離に関係付けるステップを含むことができる。
【０００９】
別の実施形態では、この方法は、所定の深さ関数を使用して、前記第1のシャープネス情報と前記第2のシャープネス情報との間の前記差、好ましくは前記第1のシャープネス情報と前記第2のシャープネス情報との間の比を、前記距離に関係付けるステップを含むことができる。撮像システムのDSPまたはメモリ内に位置する所定の深さ関数は、相対的なシャープネス情報を距離情報に効率的に関係付けることができる。
【００１０】
さらに別の実施形態では、この方法は、前記第1の画像データおよび/もしくは前記第2の画像データを高域通過フィルタにかけることによって、または前記第1の画像データおよび/もしくは前記第2の画像データのフーリエ係数、好ましくは高周波フーリエ係数を判定することによって、第1のシャープネス情報および/または第2のシャープネス情報を判定するステップを含むことができる。シャープネス情報は、色画像データおよび/または赤外画像データ内の高周波成分によって判定することができると有利である。
【００１１】
一実施形態では、電磁スペクトルの前記第1の部分は、可視スペクトルの少なくとも一部に関連付けることができ、かつ/または電磁スペクトルの前記第2の部分は、非可視スペクトル、好ましくは赤外スペクトルの少なくとも一部に関連付けることができる。赤外スペクトルを使用することで、画像センサの感度を効率的に使用することができ、それによって信号対雑音比を著しく改善することができる。
【００１２】
さらなる実施形態では、この方法は、前記第1のシャープネス情報と前記第2のシャープネス情報との間の差および/または比を、前記撮像システムと前記1つまたは複数の物体との間の距離に関連付けることによって、前記取り込まれた画像の少なくとも一部に関連する深さマップを生成するステップを含むことができる。この実施形態では、取り込まれた画像に対する深さマップを生成することができる。深さマップは、画像内の各画素データまたは各画素データ群を距離値に関連付ける。
【００１３】
さらなる実施形態では、この方法は、前記深さ情報に基づいて前記第1の画像データ内の画素をシフトさせることによって、立体視で使用するための少なくとも1つの画像を生成するステップを含むことができる。したがって、立体視のための画像を生成することができる。これらの画像は、多開口撮像システムによって取り込まれた画像およびその関連する深さマップに基づいて生成することができる。取り込まれた画像は、高周波赤外情報で強調することができる。
【００１４】
一変形形態では、この方法は、前記第2の画像データを高域通過フィルタにかけることによって、高周波の第2の画像データを生成するステップと、少なくとも1つの閾値距離または少なくとも1つの距離範囲を提供するステップと、前記深さ情報に基づいて、前記高周波の第2の画像データ内で、前記閾値距離より大きいもしくは小さい距離に関連する1つもしくは複数の領域を識別し、または前記高周波の第2の画像データ内で、前記少なくとも1つの距離範囲内の距離に関連する1つもしくは複数の領域を識別するステップと、前記第2の高周波画像データの前記識別された1つまたは複数の領域内の高周波成分をマスキング関数に応じて設定するステップと、前記修正された第2の高周波画像データを前記第1の画像データに追加するステップとを含むことができる。したがってこの変形形態では、深さ情報は、被写界深度の制御を提供することができる。
【００１５】
別の変形形態では、この方法は、前記第2の画像データを高域通過フィルタにかけることによって、高周波の第2の画像データを生成するステップと、少なくとも1つの焦点距離を提供するステップと、前記深さ情報に基づいて、前記高周波の第2の画像データ内で、前記少なくとも1つの焦点距離に実質上等しい距離に関連する1つまたは複数の領域を識別するステップと、前記識別された1つまたは複数の領域以外の領域内の高周波の第2の画像データをマスキング関数に応じて設定するステップと、前記修正された高周波の第2の画像データを前記第1の画像データに追加するステップとを含むことができる。したがってこの実施形態では、深さ情報は、焦点の制御を提供することができる。
【００１６】
さらに別の変形形態では、この方法は、画像処理機能を使用して前記取り込まれた画像を処理するステップを含むことができ、1つまたは複数の画像処理機能パラメータは前記深さ情報に依存しており、好ましくは、前記画像を処理するステップは、前記第1の画像データおよび/または前記第2の画像データをフィルタにかけることを含み、前記フィルタの1つまたは複数のフィルタパラメータは前記深さ情報に依存する。したがって、深さ情報はまた、フィルタリングなどの従来の画像処理ステップで使用することもできる。
【００１７】
別の態様では、本発明は、多開口画像データを使用して深さ関数を判定する方法に関することができ、この方法は、異なる物体とカメラの距離で1つまたは複数の物体の画像を取り込むステップであって、各画像が、少なくとも第1の開口を使用して電磁スペクトルの少なくとも第1の部分に関連するスペクトルエネルギーに、また少なくとも第2の開口を使用して電磁スペクトルの少なくとも第2の部分に関連するスペクトルエネルギーに、画像センサを同時に露出させることによって取り込まれる、取り込むステップと、前記取り込まれた画像の少なくとも一部に対して、電磁スペクトルの前記第1の部分に関連する第1の画像データおよび電磁スペクトルの前記第2の部分に関連する第2の画像データを生成するステップと、前記第1の画像データの少なくとも1つの領域内の第1のシャープネス情報と前記第2の画像データの対応する領域内の第2のシャープネス情報との間の関係を前記距離の関数として判定することによって、深さ関数を生成するステップとを含むことができる。
【００１８】
さらなる態様では、本発明は信号処理モジュールに関することができ、このモジュールは、電磁スペクトルの前記第1の部分に関連する第1の画像データおよび電磁スペクトルの前記第2の部分に関連する第2の画像データを受け取る入力端と、前記第1の画像データの少なくとも1つの領域内の第1のシャープネス情報および前記第2の画像データの対応する領域内の第2のシャープネス情報を判定する少なくとも1つの高域通過フィルタと、電磁スペクトルの第1の部分に関連する画像データと電磁スペクトルの第2の部分に関連する画像データとの間のシャープネス情報の差と、距離、好ましくは物体とカメラの距離との間の関係を含む深さ関数を含むメモリと、前記深さ関数、ならびに前記高域通過フィルタから受け取った前記第1のシャープネス情報および前記第2のシャープネス情報に基づいて深さ情報を生成する深さ情報処理装置とを備えることができる。
【００１９】
さらなる態様では、本発明は、多開口撮像システムに関することができ、このシステムは、画像センサと、光学レンズシステムと、少なくとも第1の開口を使用して電磁スペクトルの少なくとも第1の部分に関連するスペクトルエネルギーに、また少なくとも第2の開口を使用して電磁スペクトルの少なくとも第2の部分に関連するスペクトルエネルギーに、前記画像センサを同時に露出させるように構成された波長選択性の多開口と、電磁スペクトルの前記第1の部分に関連する第1の画像データおよび電磁スペクトルの前記第2の部分に関連する第2の画像データを生成する第1の処理モジュールと、前記第1の画像データの少なくとも1つの領域内の第1のシャープネス情報および前記第2の画像データの少なくとも1つの領域内の第2のシャープネス情報に基づいて、前記画像データに関連する深さ情報を生成する第2の処理モジュールとを備えることができる。
【００２０】
さらなる実施形態では、この方法は、デモザイキングアルゴリズムを使用して前記第1の画像データおよび前記第2の画像データを生成するステップを含むことができる。
【００２１】
本発明のさらなる態様は、上述の信号処理モジュールおよび/または多開口撮像システムを備えるデジタルカメラシステム、好ましくは移動端末内で使用するためのデジタルカメラシステムに関し、また画像データを処理するコンピュータプログラム製品に関し、前記コンピュータプログラム製品は、コンピュータシステムのメモリ内で実行中に、上述の方法を実施するように構成されたソフトウェアコード部分を含む。
【００２２】
本発明について、添付の図面を参照してさらに説明する。図面では、本発明による実施形態を概略的に示す。本発明は、これらの特有の実施形態に何ら限定されるものではないことが理解されるであろう。
【図面の簡単な説明】
【００２３】
【図１】本発明の一実施形態による多開口撮像システムを示す図である。
【図２】デジタルカメラの色応答を示す図である。
【図３】ホットミラーフィルタ(hot mirror filter)の応答およびシリコンの応答を示す図である。
【図４】多開口システムを使用する概略的な光学系を示す図である。
【図５】本発明の一実施形態による多開口撮像システムで使用するための画像処理方法を示す図である。
【図６Ａ】本発明の一実施形態による深さ関数を判定する方法を示す図である。
【図６Ｂ】深さ関数の概略図ならびに高周波の色および赤外情報を距離の関数として示すグラフである。
【図７】本発明の一実施形態による深さマップを生成する方法を示す図である。
【図８】本発明の一実施形態による立体視を得る方法を示す図である。
【図９】本発明の一実施形態による被写界深度を制御する方法を示す図である。
【図１０】本発明の一実施形態による焦点を制御する方法を示す図である。
【図１１】本発明の別の実施形態による多開口システムを使用する光学系を示す図である。
【図１２】本発明の別の実施形態による深さ関数を判定する方法を示す図である。
【図１３】本発明の別の実施形態による被写界深度を制御する方法を示す図である。
【図１４】多開口撮像システム内で使用するための多開口システムを示す図である。
【発明を実施するための形態】
【００２４】
図1は、本発明の一実施形態による多開口撮像システム100を示す。この撮像システムは、デジタルカメラの一部とすることができ、または移動電話、ウェブカム、生体認証センサ、画像スキャナ、もしくは画像取込みの機能性を必要とする任意の他のマルチメディアデバイス内に組み込むことができる。図1に示すシステムは、画像センサ102と、ある場面内の物体を画像センサの撮像面上へ集束させるレンズシステム104と、第1の部分、たとえば可視部分、およびEMスペクトルの少なくとも第2の部分、たとえば電磁(EM)スペクトルの非可視部分(赤外部分など)の光(電磁放射)が、制御された形で撮像システムに入ることを可能にする所定の数の開口を含むシャッタ106および開口システム108とを備える。
【００２５】
以下でより詳細に論じる多開口システム108は、EMスペクトルの可視部分、および任意選択で非可視部分、たとえば赤外部分内の光に対する画像センサの露出を制御するように構成される。具体的には、多開口システムは、EMスペクトルの第1の部分に画像センサを露出させる第1の寸法の少なくとも第1の開口およびEMスペクトルの第2の部分に画像センサを露出させる第2の寸法の少なくとも第2の開口を画定することができる。たとえば、一実施形態では、EMスペクトルの第1の部分は色スペクトルに関係し、第2の部分は赤外スペクトルに関係することができる。別の実施形態では、多開口システムは所定の数の開口を含むことができ、各開口は、EMスペクトルの所定の範囲内の放射に画像センサを露出させるように設計される。
【００２６】
EM放射に対する画像センサの露出は、シャッタ106および多開口システム108の開口によって制御される。シャッタが開いているとき、開口システムは、画像センサ102を露出させる光の量および光の視準度を制御する。シャッタは、機械シャッタとすることができ、または別法として、シャッタは、画像センサ内に組み込まれた電子シャッタとすることができる。画像センサは、2次元の画素アレイを形成する感光性サイト(画素)の行列を含む。画像センサは、CMOS(Complimentary Metal Oxide Semiconductor)能動画素センサまたはCCD(Charge Coupled Device)画像センサとすることができる。別法として、画像センサは、他のSi(たとえば、a-Si)、III-V(たとえば、GaAs)、または導電性ポリマーベースの画像センサ構造に関係することができる。
【００２７】
レンズシステムによって画像センサ上へ光が投影されるとき、各画素は、その画素に入射する電磁放射(エネルギー)に比例する電気信号をもたらす。色情報を得るために、また画像センサの撮像面上へ投影された画像の色成分を分離するために、レンズと画像センサとの間には通常、色フィルタアレイ120(CFA)が配置される。色フィルタアレイは、画像センサの各画素が対応する画素フィルタを有するように、画像センサとともに組み込むことができる。各色フィルタは、所定の色帯域の光を画素内へ通すように適合される。通常、赤色、緑色、および青色(RGB)のフィルタの組合せが使用されるが、他のフィルタ方式、たとえばCYGM(シアン、黄色、緑色、マゼンタ)、RGBE(赤色、緑色、青色、エメラルド)なども可能である。
【００２８】
露出された画像センサの各画素は、画素に関連する色フィルタを通過した電磁放射に比例する電気信号をもたらす。したがって、画素のアレイは、色フィルタアレイを通過した電磁エネルギー(放射)の空間分布を表す画像データ(フレーム)を生成する。画素から受け取った信号は、1つまたは複数のオンチップ増幅器を使用して増幅させることができる。一実施形態では、画像センサの各色チャネルは、別個の増幅器を使用して増幅させることができ、それによって異なる色に対するISO感度を別個に制御することができる。
【００２９】
さらに、画素信号は、画像センサのチップ上に組み込むことができる1つまたは複数のアナログ-デジタル(A/D)変換器110を使用してサンプリングし、量子化し、デジタル形式の言葉に変換することができる。デジタル化された画像データは、画像センサに結合されたデジタル信号処理装置112(DSP)によって処理され、DSP112は、補間、フィルタリング、ホワイトバランス、明るさ補正、データ圧縮技法(たとえば、MPEGまたはJPEGタイプの技法)などのよく知られている信号処理機能を実行するように構成される。DSPは、中央処理装置114と、取り込まれた画像を記憶する記憶メモリ116と、画像データを処理するためにDSPによって使用され、または撮像システムの動作を管理するために中央処理装置によって使用される1つまたは複数のソフトウェアプログラムを含むEEPROMまたは別のタイプの不揮発性メモリなどのプログラムメモリ118とに結合される。
【００３０】
さらに、DSPは、多開口撮像システムによって取り込まれた画像に関連する深さ情報を得るように構成された1つまたは複数の信号処理機能124を含むことができる。これらの信号処理機能は、固定レンズの多開口撮像システムに、可変DOFおよび焦点制御ならびに立体的な3D画像表示能力を含む拡張された撮像機能性を提供することができる。これらの信号処理機能に関連する詳細および利点について、以下により詳細に論じる。
【００３１】
上述のように、撮像システムの感度は、赤外撮像の機能性を使用することによって拡張される。この目的のために、レンズシステムは、可視光と赤外放射または赤外放射の少なくとも一部との両方が撮像システムに入ることができるように構成することができる。レンズシステムの前のフィルタは、赤外放射の少なくとも一部が撮像システムに入ることができるように構成される。具体的には、これらのフィルタは、赤外放射がカメラに入るのを遮断するために従来の色撮像カメラで使用される、通常はホットミラーフィルタと呼ばれる赤外遮断フィルタを含まない。
【００３２】
したがって、多開口撮像システムに入るEM放射122は、EMスペクトルの可視部分と赤外部分の両方に関連する放射を含むことができ、それによって赤外スペクトルに対する画像センサの光応答を拡張することができる。
【００３３】
赤外遮断フィルタ(の不在)が従来のCFA色画像センサに与える影響を、図2〜3に示す。図2Aおよび図2Bでは、曲線202は、赤外遮断フィルタ(ホットミラーフィルタ)をもたないデジタルカメラの典型的な色応答を表す。グラフAは、ホットミラーフィルタを使用する影響をより詳細に示す。ホットミラーフィルタの応答210は、画像センサのスペクトル応答を可視スペクトルに制限し、それによって画像センサの全体的な感度を実質上制限する。ホットミラーフィルタを取り去った場合、赤外放射の一部は色画素フィルタを通過する。この影響を、青色画素フィルタ204、緑色画素フィルタ206、および赤色画素フィルタ208を含む従来の色画素の光応答を示すグラフBによって表す。これらの色画素フィルタ、特に赤色画素フィルタは赤外放射を(部分的に)透過することができ、したがって画素信号の一部は赤外放射に起因すると考えることができる。これらの赤外の寄与は、カラーバランスを歪ませることがあり、その結果いわゆる擬似色を含む画像が生じることがある。
【００３４】
図3は、ホットミラーフィルタの応答302およびシリコン(すなわち、デジタルカメラ内で使用される画像センサの主な半導体成分)の応答304を示す。これらの応答は、赤外放射に対するシリコン画像センサの感度が可視光に対する感度より約4倍高いことをはっきりと示す。
【００３５】
図2および図3によって示す画像センサによって提供されるスペクトル感度を利用するために、図1の撮像システム内の画像センサ102は、従来の画像センサとすることができる。従来のRGBセンサでは、赤外放射は赤色画素によって主に感知される。その場合、DSPは、赤色画素信号を処理して、この赤色画素信号内の低雑音の赤外情報を抽出することができる。この処理については、以下により詳細に説明する。別法として、画像センサは、赤外スペクトルの少なくとも一部を撮像するように特に構成することができる。画像センサは、たとえば1つまたは複数の赤外(I)画素を色画素と一緒に含むことができ、それによって画像センサは、RGB色画像および比較的低雑音の赤外画像をもたらすことができる。
【００３６】
赤外画素は、可視光を実質上遮断し、赤外放射、好ましくは約700から1100nmの範囲内の赤外放射を実質上透過するフィルタ材料で、フォトサイト(photo-site)を覆うことによって実現することができる。赤外/色フィルタアレイ(ICFA)内に設けることができる赤外透過性の画素フィルタは、スペクトルの赤外帯域内の波長に対して高い透過率を有するよく知られているフィルタ材料、たとえば「DARC400」という商標でBrewer Scienceから市販されている黒色ポリイミド材料を使用して実現することができる。
【００３７】
そのようなフィルタを実現する方法は、米国特許出願第2009/0159799号に記載されている。ICFAは、画素ブロック、たとえば2×2個の画素を収容することができ、各ブロックは、赤色、緑色、青色、および赤外の画素を含む。露出されると、そのような画像ICFA色画像センサは、RGB色情報と赤外情報の両方を含む生のモザイク画像をもたらすことができる。よく知られているデモザイキングアルゴリズムを使用して生のモザイク画像を処理した後、RGB色画像および赤外画像を得ることができる。赤外放射に対するそのようなICFA画像色センサの感度は、ブロック内の赤外画素の数を増大させることによって増大させることができる。一構成(図示せず)では、画像センサフィルタアレイは、たとえば、4つの色画素RGGBおよび12個の赤外画素を含む16個の画素からなるブロックを含むことができる。
【００３８】
別の実施形態では、ICFA画像色センサの代わりに、画像センサはフォトサイトのアレイに関係することができ、各フォトサイトは、当技術分野ではよく知られている複数の積層型フォトダイオードを含む。好ましくは、そのような積層型フォトサイトは、少なくとも原色RGBおよび赤外のそれぞれに応答して、少なくとも4つの積層型フォトダイオードを含む。これらの積層型フォトダイオードは、画像センサのシリコン基板内へ組み込むことができる。
【００３９】
多開口システム、たとえば多開口絞りを使用して、カメラの被写界深度(DOF)を改善することができる。そのような多開口システム400の原理を、図4に示す。DOFは、画像が取り込まれるときに焦点が合っているカメラからの距離の範囲を決める。この範囲内では、物体は鮮明であると許容することができる。中程度から大きな距離の場合、所与の画像形式で、レンズの焦点距離N、レンズの開き(開口)に関連するf値、および物体とカメラの距離sによって、DOFが判定される。開口が広ければ広いほど(より多くの光が受け取られる)、DOFはますます制限される。
【００４０】
可視および赤外スペクトルエネルギーは、多開口システムを介して撮像システムに入ることができる。一実施形態では、そのような多開口システムは、所定の直径D1の円形の孔402を有するフィルタで被覆された透明な基板を含むことができる。フィルタ被覆404は、可視放射を透過し、かつ赤外放射を反射および/または吸収することができる。不透明な覆い406が、孔402の直径D1より大きい直径D2を有する円形の開口を含むことができる。このカバーは、赤外と可視の両方の放射を反射する薄膜被覆を含むことができ、または別法として、カバーは、光学系内に基板を保持および位置決めする不透明なホルダの一部とすることができる。このようにして、多開口システムは、複数の波長選択性の開口を含み、EMスペクトルの異なる部分のスペクトルエネルギーに対する画像センサの制御された露出を可能にする。開口システムを通過する可視および赤外スペクトルエネルギーは、その後、レンズ412によって画像センサの撮像面414上へ投影され、撮像面414は、可視スペクトルエネルギーに関連する画像データを得るための画素と、非可視(赤外)スペクトルエネルギーに関連する画像データを得るための画素とを含む。
【００４１】
したがって、画像センサの画素は、大きなDOFを有する赤外スペクトルエネルギーに関連する第2の小さい開口の画像信号418に重なる、制限されたDOFを有する可視スペクトルエネルギーに関連する第1の(比較的)広い開口の画像信号416を受け取ることができる。レンズの焦点面Nに近接している物体420は、可視放射によって比較的小さい焦点ぼけで画像面上へ投影され、焦点面からより遠くに位置する物体422は、赤外放射によって比較的小さい焦点ぼけで画像面上へ投影される。したがって、単一の開口を含む従来の撮像システムとは異なり、デュアルまたは複数開口の撮像システムは、異なる寸法の2つ以上の開口を含む開口システムを使用して、画像センサを露出させるスペクトルの異なる帯域で放射の量および視準を制御する。
【００４２】
DSPは、取り込まれた色および赤外信号を処理するように構成することができる。図5は、多開口撮像システムで使用するための典型的な画像処理ステップ500を示す。この例では、多開口撮像システムは、たとえばバイエルの色フィルタアレイを使用する従来の色画像センサを備える。その場合、主に赤色画素フィルタが、赤外放射を画像センサへ透過する。取り込まれた画像フレームの赤色画素データは、高振幅の赤色可視信号と、鮮明な低振幅の赤外非可視信号との両方を含む。赤外成分は、赤色可視成分より8分の1から16分の1少ないことがある。さらに、知られているカラーバランス技法を使用して赤色バランスを調整し、赤外放射の存在によって生じるわずかな歪みを補償することができる。他の変形形態では、RGBI画像センサを使用することができ、I画素によって赤外画像を直接得ることができる。
【００４３】
第1のステップ502で、バイエルフィルタにかけた生画像データが取り込まれる。その後、DSPは、赤外情報も含む赤色画像データを抽出することができる(ステップ504)。その後、DSPは、赤色画像データから赤外画像に関連するシャープネス情報を抽出し、このシャープネス情報を使用して色画像を強調することができる。
【００４４】
空間領域内でシャープネス情報を抽出する1つの方法は、赤色画像データを高域通過フィルタにかけることによって実現することができる。高域通過フィルタは、赤色画像内の高周波情報(高周波成分)を保持しながら、低周波情報(低周波成分)を低減させることができる。高域通過フィルタのカーネルは、近隣の画素に対して中心画素の明るさを増大させるように設計することができる。カーネルアレイは通常、中心に単一の正の値を収容し、負の値で完全に取り囲む。高域通過フィルタに対する3×3カーネルの簡単な非限定的な例は、次のように見えるであろう。
|-1/9 -1/9 -1/9|
|-1/9 8/9 -1/9|
|/1/9 -1/9 -1/9|
したがって、赤色画像データは高域通過フィルタを通過し(ステップ506)、赤外画像信号に関連する高周波成分(すなわち、シャープネス情報)を抽出する。
【００４５】
赤外開口の寸法が比較的小さいことで、赤外画像信号は比較的小さくなるため、フィルタにかけた高周波成分は、赤外開口に対する可視光開口の比に比例して増幅される(ステップ508)。
【００４６】
赤外開口の寸法が比較的小さいことの影響は、赤色画素によって取り込まれる赤外放射の帯域が赤色放射の帯域より約4倍広いことによって部分的に補償される(通常、デジタル赤外カメラは可視光カメラより4倍感度が高い)。増幅後、赤外画像信号から導出された増幅された高周波成分は、バイエルフィルタにかけた生画像データの各色成分に追加(混合)される(ステップ510)。このようにして、赤外画像データのシャープネス情報は色画像に追加される。その後、組み合わせた画像データは、当技術分野ではよく知られているデモザイキングアルゴリズムを使用して、フルRGB色画像に変換することができる(ステップ512)。
【００４７】
変形形態(図示せず)では、バイエルフィルタにかけた生画像データは、第1にRGB色画像にデモザイクされ、その後追加(混合)によって増幅された高周波成分と組み合わされる。
【００４８】
図5に示す方法で、多開口撮像システムは、より低い光の状況で効果的に動作するために広い開口を有すると同時に、より大きいDOFを有することができ、その結果、より鮮明な写真を得ることができる。さらに、この方法は、レンズの光学的性能を効果的に増大させて、同じ性能を実現するのに必要なレンズのコストを低減させる。
【００４９】
したがって多開口撮像システムにより、7という典型的なf値を有する簡単な移動電話カメラ(たとえば、焦点距離Nは7mmであり、直径は1mmである)では、第2の開口を介してDOFを改善することができ、f値は、たとえば直径0.5mmに対して14から直径0.2mm以下に対して最高70以上まで変動し、f値は、焦点距離fと開口の有効径の比によって画定される。好ましい実装形態は、付近の物体のシャープネスを増大させるために可視放射に対して約2から4のf値を含むとともに、遠くの物体のシャープネスを増大させるために赤外開口に対して約16から22のf値を含む光学系を含む。
【００５０】
多開口撮像システムによって提供されるDOFおよびISO感度の改善は、関連出願第PCT/EP2009/050502号および第PCT/EP2009/060936号により詳細に記載されている。さらに、図1〜5を参照して説明した多開口撮像システムを使用して、取り込まれた単一の画像に関連する深さ情報を生成することができる。より具体的には、多開口撮像システムのDSPは少なくとも1つの深さ関数を含むことができ、この深さ関数は、光学系のパラメータ依存し、一実施形態では、製造者が事前に決定して、デジタル画像処理機能内で使用するためにカメラのメモリ内に記憶することができる。
【００５１】
画像は、カメラレンズから異なる距離のところに位置する異なる物体を収容することができ、したがってカメラの焦点面により近い物体は、焦点面からより遠く離れている物体より鮮明になる。深さ関数は、画像の異なる領域内で撮像された物体に関連するシャープネス情報を、これらの物体がカメラから離された距離に関係する情報に関係付けることができる。一実施形態では、深さ関数Rは、カメラレンズから異なる距離のところにある物体に対する色画像成分と赤外画像成分とのシャープネスの比を判定することを伴うことができる。別の実施形態では、深さ関数Dは、高域通過フィルタにかけた赤外画像の自己相関分析を伴うことができる。これらの実施形態について、図6〜14を参照して以下により詳細に説明する。
【００５２】
第1の実施形態では、深さ関数Rは、色画像内のシャープネス情報と赤外画像内のシャープネス情報との比によって定義することができる。ここで、シャープネスパラメータは、いわゆる錯乱円に関係することができ、錯乱円は、画像センサによって測定された、物体空間内の不鮮明に撮像された点のぼけた箇所の直径に対応する。焦点ぼけを表すぼけた円盤の直径は、焦点面内の点では非常に小さく(0)、物体空間内でこの面から前景または背景の方へ離れると累進的に大きくなる。ぼけた円盤が極大の許容できる錯乱円cより小さい限り、この円盤は十分に鮮明であり、DOF範囲の一部であると考えられる。知られているDOF式から、物体の深さ、すなわちカメラからの物体の距離と、カメラ内のその物体のぼけの量(すなわち、シャープネス)との間には、直接関係が存在するという結果が得られる。
【００５３】
したがって、多開口撮像システム内では、赤外画像内のIR成分のシャープネスに対する色画像のRGB成分のシャープネスの増大または低減は、レンズからの撮像された物体の距離に依存する。たとえば、レンズを3メートルのところに集束させた場合、RGB成分とIR成分のシャープネスが同じになるものとする。対照的に、1メートルの距離のところにある物体に対する赤外画像に使用される開口は小さいため、RGB成分のシャープネスは、赤外成分のものより著しく低くなるであろう。この依存性を使用して、カメラレンズからの物体の距離を推定することができる。
【００５４】
具体的には、レンズが大きい(「無限」)焦点に設定された場合(この点を、多開口システムの過焦点距離Hと呼ぶことができる)、カメラは、色成分と赤外成分が等しく鮮明である画像内の点を判定することができる。画像内のこれらの点は、カメラから比較的大きい距離(通常、背景)のところに位置する物体に対応する。過焦点距離Hから離れて位置する物体の場合、赤外成分と色成分との間のシャープネスの相対的な差は、物体とレンズとの間の距離sの関数として増大する。1つの箇所(たとえば、1つの画素または画素群)で測定された色画像内のシャープネス情報と赤外情報内のシャープネス情報との間の比を、以下、深さ関数R(s)と呼ぶ。
【００５５】
深さ関数R(s)は、カメラレンズから異なる距離sのところにある1つまたは複数の試験物体に対するシャープネス比を測定するによって得ることができ、シャープネスは、それぞれの画像内の高周波成分によって判定される。図6Aは、本発明の一実施形態による深さ関数の判定に関連する流れ図600を示す。第1のステップ602で、少なくともカメラから過焦点距離Hのところに試験物体を位置決めすることができる。その後、多開口撮像システムを使用して画像データを取り込む。次いで、取り込まれたデータから、色画像および赤外情報に関連するシャープネス情報が抽出される(ステップ606〜608)。その後、シャープネス情報R(H)間の比がメモリ内に記憶される(ステップ610)。次いで、試験物体が過焦点距離Hから距離Δだけ離され、この距離でRが判定される。このプロセスは、カメラレンズに近接するまでのすべての距離に対してRが判定されるまで繰り返される(ステップ612)。これらの値は、メモリ内へ記憶することができる。補間を使用して、連続する深さ関数R(s)を得ることができる(ステップ614)。
【００５６】
一実施形態では、Rは、画像内の特定の箇所で測定される高周波赤外成分Dirの絶対値と高周波色成分Dcolの絶対値との間の比として定義することができる。別の実施形態では、特定の領域内の赤外成分と色成分との間の差を計算することができる。次いで、この領域内の差の和を、距離の尺度と見なすことができる。
【００５７】
図6Bは、DcolおよびDirの図を距離の関数として示し(グラフA)、R=Dir/Dcolの図を距離の関数として示す(グラフB)。グラフAでは、焦点距離N前後で高周波色成分が最も高い値を有し、また焦点距離から離れると、ぼけの影響の結果、高周波色成分は急速に低減することがわかる。さらに、赤外開口が比較的小さい結果、高周波赤外成分は、焦点Nから離れて大きな距離にわたって比較的高い値を有する。
【００５８】
グラフBは、その結果得られる深さ関数Rを示し、深さ関数Rは、Dir/Dcol間の比として定義され、焦点距離Nより実質上大きい距離にわたって、高周波赤外画像データ内にシャープネス情報が含まれることを示す。深さ関数R(s)は、製造者が事前に得ることができ、カメラのメモリ内に記憶することができ、多開口撮像システムによって取り込まれた画像を処理する1つまたは複数の後処理機能内でDSPによって使用することができる。一実施形態では、後処理機能の1つは、多開口撮像システムによって取り込まれた単一の画像に関連する深さマップの生成に関係することができる。図7は、本発明の一実施形態によるそのような深さマップを生成するプロセスの概略図を示す。多開口撮像システム内の画像センサが1つの画像フレーム内で可視画像信号と赤外画像信号を同時に取り込んだ後(ステップ702)、DSPは、たとえば知られているデモザイキングアルゴリズムを使用して、取り込まれた生のモザイク画像内で色画素信号と赤外画素信号とを分離することができる(ステップ704)。その後、DSPは、色画像データ(たとえば、RGB画像)および赤外画像データ上で高域通過フィルタを使用して、両画像データの高周波成分を得ることができる(ステップ706)。
【００５９】
その後、DSPは、各画素p(i,j)または画素群に距離を関連付けることができる。この目的のために、DSPは、各画素p(i,j)に対して、高周波赤外成分と高周波色成分との間のシャープネス比R(i,j)を判定することができ、R(i,j)=Dir(i,j)/Dcol(i,j)である(ステップ708)。次いで、深さ関数R(s)、具体的には逆深さ関数R'(R)に基づいて、DSPは、各画素で測定されたシャープネス比R(i,j)を、カメラレンズまでの距離s(i,j)に関連付けることができる(ステップ710)。このプロセスは距離マップを生成し、マップ内の各距離値は画像内の画素に関連付けられる。このように生成されたマップは、カメラのメモリ内に記憶することができる(ステップ712)。
【００６０】
各画素に距離を割り当てるには、大量のデータ処理を必要とすることがある。演算量を低減させるために、一変形形態では、第1のステップで、よく知られている縁線検出アルゴリズムを使用して、画像内の縁線を検出することができる。その後、これらの縁線周辺の領域を、これらの領域内のシャープネス比Rを使用してカメラレンズからの距離を判定するためのサンプル領域として使用することができる。この変形形態は、必要な演算がより少ないという利点を提供する。
【００６１】
したがって、多開口カメラシステムによって取り込まれた画像、すなわち画素フレーム{p(i,j)}に基づいて、深さ関数を含むデジタル撮像処理装置は、関連する深さマップ{s(i,j)}を判定することができる。画素フレーム内の各画素に対して、深さマップは関連する距離値を含む。深さマップは、各画素p(i,j)に対して関連する深さ値s(i,j)を計算することによって判定することができる。別法として、深さマップは、深さ値を画像内の画素群に関連付けることによって判定することができる。深さマップは、任意の適したデータ形式で、取り込まれた画像とともにカメラのメモリ内に記憶することができる。
【００６２】
このプロセスは、図7を参照して説明するステップに限定されるものではない。本発明から逸脱することなく、様々な変形形態が可能である。たとえば、デモザイキングステップの前に、高域通過フィルタリングを適用することができる。その場合、高周波色画像は、高域通過フィルタにかけた画像データをデモザイキングすることによって得られる。
【００６３】
さらに、本発明から逸脱することなく、シャープネス情報に基づいて距離を判定する他の方法も可能である。たとえば、たとえば高域通過フィルタを使用して空間領域内のシャープネス情報(すなわち、縁線情報)を分析するのではなく、シャープネス情報はまた、周波数領域内で分析することもできる。たとえば一実施形態では、シャープネス情報を得るために、実行中の個別のフーリエ変換(DFT)を使用することができる。DFTを使用して、色画像と赤外画像の両方のフーリエ係数を計算することができる。これらの係数、具体的には高周波係数の分析で、距離を示すことができる。
【００６４】
たとえば、一実施形態では、色画像および赤外画像内の特定の領域に関連する高周波DFT係数の絶対差は、距離を示すために使用することができる。さらなる実施形態では、フーリエ成分を使用して、赤外信号および色信号に関連するカットオフ周波数を分析することができる。たとえば、画像の特定の領域内で、赤外画像信号のカットオフ周波数が色画像信号のカットオフ周波数より大きい場合、この差は距離を示すことができる。
【００６５】
深さマップに基づいて、様々な画像処理機能を実現することができる。図8は、本発明の一実施形態による立体視を得るための体系800を示す。物体Pからある距離sのところに位置決めされた元のカメラ位置C0に基づいて、2つの仮想カメラ位置C1およびC2(1つは左目用で、1つは右目用)を画定することができる。これらの仮想カメラ位置はそれぞれ、元のカメラ位置に対して距離-t/2および+t/2にわたって対称に変位させることができる。焦点距離N、C0、C1、C2、t、およびsの間の幾何学的関係を考えると、2つの仮想カメラ位置に関連する2つのシフトさせた「仮想」画像を生成するのに必要な画素のシフト量は、次の式によって判定することができる。
P1=p0-(t*N)/(2s)およびP2=p0+(t*N)/(2s)
【００６６】
したがって、これらの式および深さマップ内の距離情報s(i,j)に基づいて、画像処理機能により、元の画像内のp0(i,j)、第1の仮想画像および第2の仮想画像に関連する画素p1(i,j)およびp2(i,j)を、各画素に対して計算することができる(ステップ802〜806)。このようにして、元の画像内の各画素p0(i,j)は、立体視に適した2つのシフトされた画像{p1(i,j)}および{p2(i,j)}を生成する上式に従ってシフトさせることができる。
【００６７】
図9は、一実施形態によるさらなる画像処理機能900を示す。この機能により、多開口撮像システム内のDOFの制御された低減が可能になる。多開口撮像システムが固定レンズおよび固定多開口システムを使用するため、光学系は、この光学系の固定の(改善された)DOFで画像を送達する。しかし、状況によっては、可変DOFを有することが望ましいことがある。
【００６８】
第1のステップ902で、画像データおよび関連する深さマップを生成することができる。その後、この機能は、カットオフ距離として使用できる特定の距離s'の選択を可能にすることができ(ステップ904)、その後、高周波赤外成分に基づくシャープネスの強調は破棄されるべきである。深さマップを使用して、DSPは、画像内で、選択された距離s'より大きい物体とカメラの距離に関連する第1の領域を識別することができ(ステップ906)、また選択された距離s'より小さい物体とカメラの距離に関連する第2の領域を識別することができる。その後、DSPは、高周波赤外画像を検索し、識別された第1の領域内の高周波赤外成分を、マスキング関数に応じた値に設定することができる(ステップ910)。次いで、このように修正された高周波赤外画像は、図5に示す方法と類似の方法でRGB画像と混合することができる(ステップ912)。このようにして、RGB画像を得ることができ、カメラレンズから最高で距離s'だけ離れた画像内の物体は、高周波赤外成分から得られるシャープネス情報で強調される。このようにして、制御された方法で、DOFを低減させることができる。
【００６９】
本発明から逸脱することなく、様々な変形形態が可能であることが提起される。たとえば、単一の距離ではなく、多開口システムの使用者によって距離範囲[s1,s2]を選択することができる。画像内の物体は、カメラから離れた距離に関係付けることができる。その後、DSPは、どの物体領域がこの範囲内に位置するかを判定することができる。その後、これらの領域は、高周波成分内のシャープネス情報によって強調される。
【００７０】
さらなる画像処理機能は、カメラの焦点を制御することに関係することができる。この機能を、図10に概略的に示す。この実施形態では、(仮想)焦点距離N'を選択することができる(ステップ1004)。深さマップを使用して、この選択された焦点距離に関連する画像内の領域を判定することができる(ステップ1006)。その後、DSPは、高周波赤外画像を生成し(ステップ1008)、識別された領域外のすべての高周波成分を、マスキング関数に応じた値に設定することができる(ステップ1010)。このように修正された高周波赤外画像は、RGB画像と混合することができ(ステップ1012)、それによって焦点距離N'に関連する画像内の領域内のシャープネスのみを強調することができる。このようにして、制御可能な方法で、画像内の焦点を変動させることができる。
【００７１】
焦点距離を制御するさらなる変形形態は、複数の焦点距離N'、N''などの選択を含むことができる。これらの選択された距離のそれぞれに対して、赤外画像内の関連する高周波成分を判定することができる。図10を参照して説明した方法と類似の方法で、後に高周波赤外画像を修正して色画像と混合する結果、たとえば2メートルのところにある焦点が合った物体、3メートルのところにある焦点が外れた物体、および4メートルのところにある焦点が合った物体を有する画像を得ることができる。さらに別の実施形態では、図9および図10を参照して説明した焦点制御を、画像内の1つまたは複数の特定の領域に適用することができる。この目的のために、使用者またはDSPは、焦点制御が望ましい画像内で1つまたは複数の特定の領域を選択することができる。
【００７２】
さらに別の実施形態では、距離関数R(s)および/または深さマップを使用し、知られている画像処理機能(たとえば、フィルタリング、混合、平衡化など)を使用して前記取り込まれた画像を処理することができ、そのような機能に関連する1つまたは複数の画像処理機能パラメータは、深さ情報に依存している。たとえば、一実施形態では、深さ情報を使用して、高周波赤外画像を生成するために使用される高域通過フィルタのカットオフ周波数および/またはロールオフを制御することができる。画像の特定の領域に対する色画像と赤外画像内のシャープネス情報が実質上類似しているとき、必要とされる赤外画像のシャープネス情報(すなわち、高周波赤外成分)はより少ない。したがって、その場合、非常に高いカットオフ周波数を有する高域通過フィルタを使用することができる。対照的に、色画像と赤外画像内のシャープネス情報が異なるとき、赤外画像内のシャープネス情報によって色画像内のぼけを補償できるように、より低いカットオフ周波数を有する高域通過フィルタを使用することができる。このようにして、画像全体にわたって、または画像の特有の部分内で、色画像と赤外画像内のシャープネス情報の差に応じて、高域通過フィルタのロールオフおよび/またはカットオフ周波数を調整することができる。
【００７３】
深さマップの生成、およびそのような深さマップに基づく画像処理機能の実装は、上記の実施形態に限定されるものではない。
【００７４】
図11は、さらなる実施形態による深さ情報を生成する多開口撮像システム1100の概略図を示す。この実施形態では、深さ情報は、修正された多開口構成を使用することによって得られる。たとえば図4に示すように中心の1つの赤外開口ではなく、図11の多開口1101は、絞りの縁線に(または周辺部に沿って)複数(すなわち、2つ以上)の小さい赤外開口1102、1104を含み、より大きい色開口1106を形成する。これらの複数の小さい開口は、図4に示す単一の赤外開口より実質上小さく、それによって焦点が合った物体1108が鮮明な単一の赤外画像1112として撮像面1110上へ撮像されるという効果をもたらす。対照的に、焦点が外れた物体1114は、2つの赤外画像1116、1118として撮像面上へ撮像される。第1の赤外開口1102に関連する第1の赤外画像1116は、第2の赤外開口に関連する第2の赤外画像1118に対して特定の距離Δにわたってシフトされる。普通なら焦点が外れたレンズに関連する連続してぼけた画像ではなく、複数の小さい赤外開口を含む多開口は、個別の鮮明な画像の形成を可能にする。単一の赤外開口と比較すると、複数の赤外開口を使用することで、より小さい開口を使用することができ、それによって被写界深度のさらなる増大を実現することができる。物体の焦点が外れれば外れるほど、距離Δはより大きくなる。したがって、2つの撮像された赤外画像間のシフトΔは、物体とカメラレンズとの間の距離の関数であり、深さ関数Δ(s)を判定するために使用することができる。
【００７５】
深さ関数Δ(s)は、カメラレンズから複数の距離のところにある試験物体を撮像し、それらの異なる距離のところでΔを測定することによって判定することができる。Δ(s)は、カメラのメモリ内に記憶することができ、以下でより詳細に論じる1つまたは複数の後処理機能において、DSPによって使用することができる。
【００７６】
一実施形態では、1つの後処理機能は、図11を参照して説明したように個別の多開口を含む多開口撮像システムによって取り込まれた単一の画像に関連する深さ情報の生成に関係することができる。1つの画像フレーム内の可視画像信号と赤外画像信号の両方を同時に取り込んだ後、DSPは、たとえば知られているデモザイキングアルゴリズムを使用して、取り込まれた生のモザイク画像内で色画素信号と赤外画素信号とを分離することができる。その後、DSPは、赤外画像データ上で高域通過フィルタを使用して、物体の焦点が合った領域と物体の焦点が外れた領域とを含むことができる赤外画像データの高周波成分を得ることができる。
【００７７】
さらに、DSPは、自己相関関数を使用して高周波赤外画像データから深さ情報を導出することができる。このプロセスを、図12に概略的に示す。高周波赤外画像1204(の一部)の自己相関関数1202をとると、焦点が合っている撮像された物体1208の高周波の縁線に単一のスパイク1206が表れる。対照的に、この自己相関関数は、焦点が外れている撮像された物体1212の高周波の縁線に2重のスパイク1210を生成する。ここで、スパイク間のシフトは、2つの高周波赤外画像間のシフトΔを表し、シフトΔは、撮像された物体とカメラレンズとの間の距離sに依存する。
【００７８】
したがって、高周波赤外画像(の一部)の自己相関関数は、物体の焦点が外れている高周波赤外画像内の位置に2重のスパイクを含み、2重のスパイク間の距離は、距離の尺度(すなわち、焦点距離から離れる距離)を提供する。さらに、自己相関関数は、物体の焦点が合っている画像内の位置に単一のスパイクを含む。DSPは、2重のスパイク間の距離を、所定の深さ関数Δ(s)を使用する距離に関連付けることによって自己相関関数を処理し、この自己相関関数内の情報を、「実際の距離」に関連する深さマップに変換することができる。
【００７９】
図8〜10を参照して上述したように、深さマップの類似の機能、たとえば立体視を使用してDOFおよび焦点の制御を実行することができる。たとえば、Δ(s)または深さマップを使用して、特定の選択されたカメラと物体の距離に関連する赤外画像内の高周波成分を選択することができる。
【００８０】
特定の画像処理機能は、高周波赤外画像の自己相関関数を分析することによって実現することができる。図13は、たとえば、自己相関関数内のピークの幅を特定の閾値幅と比較することによってDOFが低減されるプロセス1300を示す。第1のステップ1302で、図11に示す多開口撮像システムを使用して画像が取り込まれ、色および赤外画像データが抽出され(ステップ1304)、高周波赤外画像データが生成される(ステップ1306)。その後、高周波赤外画像データの自己相関関数が計算される(ステップ1308)。さらに、閾値幅wが選択される(ステップ1310)。特定の撮像された物体に関連する自己相関関数内のピークが閾値幅より狭い場合、自己相関関数内のそのピークに関連する高周波赤外成分は、色画像データと組み合わせるために選択される。特定の撮像された物体の縁線に関連する自己相関関数内のピークまたは2つのピーク間の距離が閾値幅より広い場合、相関関数内のそのピークに関連する高周波成分は、マスキング関数に応じて設定される(ステップ1312〜1314)。その後、このように修正された高周波赤外画像は、多開口によって導入されるシフトΔをなくすように標準的な画像処理技法を使用して処理され、その結果、色画像データと混合することができる(ステップ1316)。混合後、色画像が形成され、低減されたDOFが形成される。このプロセスにより、所定の閾値幅を選択することによってDOFを制御することができる。
【００８１】
図14は、上述の多開口撮像システム内で使用するための多開口の2つの非限定的な例1402、1410を示す。第1の多開口1402は、2つの異なる薄膜フィルタを有する透明な基板と、EMスペクトルの第1の帯域内の放射を透過する第1の開口を形成する基板の中心にある第1の円形の薄膜フィルタ1404と、EMスペクトルの第2の帯域内の放射を透過する第1のフィルタの周囲に形成(たとえば、同心円状に)された第2の薄膜フィルタ1406とを含むことができる。
【００８２】
第1のフィルタは、可視放射と赤外放射の両方を透過するように構成することができ、第2のフィルタは、赤外放射を反射し、可視放射を透過するように構成することができる。外側の同心円の外径は、不透明な開口ホルダ1408内の開口によって画定することができ、または別法として赤外放射と可視放射をどちらも遮断する基板上に堆積された不透明な薄膜層1408内に画定された開口によって画定することができる。薄膜多開口の形成の背後にある原理は、3つ以上の開口を含む多開口に容易に拡張することができ、各開口はEMスペクトル内の特定の帯域に関連する放射を透過することが、当業者には明らかである。
【００８３】
一実施形態では、第2の薄膜フィルタは、赤外スペクトル内の放射を反射し、可視スペクトル内の放射を透過する2色性フィルタに関係することができる。干渉フィルタとも呼ばれる2色性フィルタは当技術分野ではよく知られており、通常、赤外放射(たとえば、約750から1250ナノメートルの波長を有する放射)を反射し、スペクトルの可視部分内の放射を透過するように構成された特有の厚さの複数の薄膜誘電体層を含む。
【００８４】
図11を参照して説明した多開口システム内で、第2の多開口1410を使用することができる。この変形形態では、多開口は、比較的大きい第1の開口1412を構成し、第1の開口1412は、不透明な開口ホルダ1414内の開口として画定され、または別法として赤外放射と可視放射をどちらも遮断する透明な基板上に堆積された不透明な薄膜層内に画定された開口によって画定される。この比較的大きい第1の開口内では、複数の小さい赤外開口1416〜1422が、第1の開口内に形成される薄膜ホットミラーフィルタ1424内の開口として画定される。
【００８５】
本発明の実施形態は、コンピュータシステムで使用するためのプログラム製品として実施することができる。プログラム製品のプログラムは、実施形態(本明細書に記載の方法を含む)の機能を定義し、様々なコンピュータ可読記憶媒体上に収容することができる。例示的なコンピュータ可読記憶媒体は、それだけに限定されるものではないが、(i)情報が永久的に記憶される書込み可能でない記憶媒体(たとえば、CD-ROMドライブによって読取り可能なCD-ROMディスク、フラッシュメモリ、ROMチップ、または任意のタイプの固体の不揮発性半導体メモリなど、コンピュータ内の読取り専用記憶装置)、および(ii)変更可能な情報が記憶される書込み可能記憶媒体(たとえば、ディスケットドライブ内のフロッピー（登録商標）ディスク、もしくはハードディスクドライブ、または任意のタイプの固体のランダムアクセス半導体メモリ)を含む。
【００８６】
いずれか1つの実施形態に関連して記載したあらゆる特徴は、単独で、または記載の他の特徴と組み合わせて使用することができ、任意の他の実施形態の1つもしくは複数の特徴、または任意の他の実施形態の任意の組合せと組み合わせて使用することもできることを理解されたい。さらに、本発明は、上述した実施形態に限定されるものではなく、これらは添付の特許請求の範囲の範囲内で変更することができる。
【符号の説明】
【００８７】
102 画像センサ
104 レンズシステム
106 シャッタ
108 開口システム
110 アナログ-デジタル(A/D)変換器
112 デジタル信号処理装置(DSP)
114 中央処理装置
116 記憶メモリ
118 プログラムメモリ
120 色フィルタアレイ(CFA)
122 EM放射
124 信号処理機能
202 赤外遮断フィルタ(ホットミラーフィルタ)をもたないデジタルカメラの典型的な色応答
204 青色画素フィルタ
206 緑色画素フィルタ
208 赤色画素フィルタ
210 ホットミラーフィルタの応答
302 ホットミラーフィルタの応答
304 シリコンの応答
400 多開口システム
402 円形の孔
404 フィルタ被覆
406 不透明な覆い
412 レンズ
414 撮像面
416 第1の(比較的)広い開口の画像信号
418 第2の小さい開口の画像信号
420 物体
422 物体
1100 多開口撮像システム
1101 多開口
1102 第1の赤外開口
1104 第2の赤外開口
1106 より大きい色開口
1108 焦点が合った物体
1110 撮像面
1112 鮮明な単一の赤外画像
1114 焦点が外れた物体
1116 第1の赤外画像
1118 第2の赤外画像
1202 自己相関関数
1204 高周波赤外画像
1206 単一のスパイク
1208 物体
1210 2重のスパイク
1212 物体
1402 第1の多開口
1404 第1の円形の薄膜フィルタ
1406 第2の薄膜フィルタ
1408 不透明な開口ホルダ、不透明な薄膜層
1410 第2の多開口
1412 比較的大きい第1の開口
1414 不透明な開口ホルダ
1416 複数の小さい赤外開口
1418 複数の小さい赤外開口
1420 複数の小さい赤外開口
1422 複数の小さい赤外開口
1424 薄膜ホットミラーフィルタ
C0 元のカメラ位置
C1 仮想カメラ位置
C2 仮想カメラ位置
D 深さ関数
Dcol 高周波色成分
Dir 高周波赤外成分
N レンズの焦点距離
P 物体
p0 画素
p1 画素
p2 画素
R シャープネス比
s 距離
-t/2 距離
+t/2 距離
Δ 距離
【技術分野】
【０００１】
本発明は、多開口画像データの処理に関し、詳細には、排他的ではないが、多開口画像データを処理する方法およびシステム、そのようなシステムで使用するための画像処理装置、ならびにそのような方法を使用するコンピュータプログラム製品に関する。
【背景技術】
【０００２】
デジタル写真およびビデオの撮像技術が移動電気通信、自動車、および生体認証などの様々な技術分野でますます使用されることで、一眼レフレックスカメラによって提供される画像品質に匹敵し、または少なくとも近似する画像品質を提供する小型の一体型カメラの開発が求められている。しかし、デジタルカメラ技術の一体化および小型化は、光学系および画像センサの設計に重大な制約を課し、それによって撮像システムによってもたらされる画像品質に悪影響を与える。広い範囲の機械的な焦点および開口設定機構は、そのような一体型カメラの適用分野で使用するのに適していない。したがって、固定焦点レンズに基づく撮像システムの撮像品質を向上させるために、様々なデジタルカメラの取込みおよび処理技法が開発されている。
【０００３】
国際特許出願第PCT/EP2009/050502号および第PCT/EP2009/060936号というPCT出願は、色撮像技法と赤外撮像技法の両方を組み合わせる光学系を使用することによって固定焦点レンズの撮像システムの被写界深度を延長する方法について記載している。これらの出願を、参照により本明細書に組み込む。色スペクトルと赤外スペクトルの両方で撮像するように適合された画像センサと、波長選択性の多開口の開口とを組み合わせて使用することで、簡単で費用効果の高い方法で、被写界深度を延長することができ、また固定焦点レンズを有するデジタルカメラに対するISO感度を増大させることができる。これには、知られているデジタル撮像システムに対する軽微な調節が必要とされ、それによってこのプロセスは大量生産に特に適したものになる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】国際特許出願第PCT/EP2009/050502号
【特許文献２】国際特許出願第PCT/EP2009/060936号
【特許文献３】米国特許出願第2009/0159799号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
多開口撮像システムの使用は、知られているデジタル撮像システムに勝る実質的な利点を提供するが、そのようなシステムはまだ、一眼レフレックスカメラで提供されるのと同じ機能を提供することはできない。具体的には、調整可能な被写界深度などのカメラパラメータの調整および/または焦点距離の調整を可能にする固定レンズの多開口撮像システムを有することが望ましいはずである。さらに、知られている3Dデジタルカメラに類似の3D撮像の機能性を有するそのような多開口撮像システムを提供することが望ましいはずである。したがって、機能性が向上した多開口撮像システムを提供できる方法およびシステムが、当技術分野で必要とされている。
【課題を解決するための手段】
【０００６】
本発明の一目的は、従来技術で知られている欠点の少なくとも1つを低減または解消することである。第1の態様では、本発明は、多開口画像データを処理する方法に関することができ、この方法は、少なくとも第1の開口を使用して電磁スペクトルの少なくとも第1の部分に関連するスペクトルエネルギーに、また少なくとも第2の開口を使用して電磁スペクトルの少なくとも第2の部分に関連するスペクトルエネルギーに、撮像システム内の画像センサを同時に露出させることによって、1つまたは複数の物体に関連する画像データを取り込むステップと、電磁スペクトルの前記第1の部分に関連する第1の画像データおよび電磁スペクトルの前記第2の部分に関連する第2の画像データを生成するステップと、前記第1の画像データの少なくとも1つの領域内の第1のシャープネス情報および前記第2の画像データの少なくとも1つの領域内の第2のシャープネス情報に基づいて、前記取り込まれた画像に関連する深さ情報を生成するステップとを含むことができる。
【０００７】
したがって、多開口画像データ、すなわち多開口撮像システムによってもたらされる画像データに基づいて、この方法では、画像内の物体を物体とカメラの距離に関係付ける深さ情報を生成することができる。この深さ情報を使用して、取り込まれた画像に関連する深さマップを生成することができる。距離情報および深さマップは、機能性が向上した固定レンズ撮像システムを提供できる画像処理機能を実施することができる。
【０００８】
一実施形態では、この方法は、前記第1の画像データの少なくとも1つの領域内の第1のシャープネス情報と前記第2の画像データの少なくとも1つの領域内の第2のシャープネス情報との間の差を、前記撮像システムと前記物体の少なくとも1つとの間の距離に関係付けるステップを含むことができる。
【０００９】
別の実施形態では、この方法は、所定の深さ関数を使用して、前記第1のシャープネス情報と前記第2のシャープネス情報との間の前記差、好ましくは前記第1のシャープネス情報と前記第2のシャープネス情報との間の比を、前記距離に関係付けるステップを含むことができる。撮像システムのDSPまたはメモリ内に位置する所定の深さ関数は、相対的なシャープネス情報を距離情報に効率的に関係付けることができる。
【００１０】
さらに別の実施形態では、この方法は、前記第1の画像データおよび/もしくは前記第2の画像データを高域通過フィルタにかけることによって、または前記第1の画像データおよび/もしくは前記第2の画像データのフーリエ係数、好ましくは高周波フーリエ係数を判定することによって、第1のシャープネス情報および/または第2のシャープネス情報を判定するステップを含むことができる。シャープネス情報は、色画像データおよび/または赤外画像データ内の高周波成分によって判定することができると有利である。
【００１１】
一実施形態では、電磁スペクトルの前記第1の部分は、可視スペクトルの少なくとも一部に関連付けることができ、かつ/または電磁スペクトルの前記第2の部分は、非可視スペクトル、好ましくは赤外スペクトルの少なくとも一部に関連付けることができる。赤外スペクトルを使用することで、画像センサの感度を効率的に使用することができ、それによって信号対雑音比を著しく改善することができる。
【００１２】
さらなる実施形態では、この方法は、前記第1のシャープネス情報と前記第2のシャープネス情報との間の差および/または比を、前記撮像システムと前記1つまたは複数の物体との間の距離に関連付けることによって、前記取り込まれた画像の少なくとも一部に関連する深さマップを生成するステップを含むことができる。この実施形態では、取り込まれた画像に対する深さマップを生成することができる。深さマップは、画像内の各画素データまたは各画素データ群を距離値に関連付ける。
【００１３】
さらなる実施形態では、この方法は、前記深さ情報に基づいて前記第1の画像データ内の画素をシフトさせることによって、立体視で使用するための少なくとも1つの画像を生成するステップを含むことができる。したがって、立体視のための画像を生成することができる。これらの画像は、多開口撮像システムによって取り込まれた画像およびその関連する深さマップに基づいて生成することができる。取り込まれた画像は、高周波赤外情報で強調することができる。
【００１４】
一変形形態では、この方法は、前記第2の画像データを高域通過フィルタにかけることによって、高周波の第2の画像データを生成するステップと、少なくとも1つの閾値距離または少なくとも1つの距離範囲を提供するステップと、前記深さ情報に基づいて、前記高周波の第2の画像データ内で、前記閾値距離より大きいもしくは小さい距離に関連する1つもしくは複数の領域を識別し、または前記高周波の第2の画像データ内で、前記少なくとも1つの距離範囲内の距離に関連する1つもしくは複数の領域を識別するステップと、前記第2の高周波画像データの前記識別された1つまたは複数の領域内の高周波成分をマスキング関数に応じて設定するステップと、前記修正された第2の高周波画像データを前記第1の画像データに追加するステップとを含むことができる。したがってこの変形形態では、深さ情報は、被写界深度の制御を提供することができる。
【００１５】
別の変形形態では、この方法は、前記第2の画像データを高域通過フィルタにかけることによって、高周波の第2の画像データを生成するステップと、少なくとも1つの焦点距離を提供するステップと、前記深さ情報に基づいて、前記高周波の第2の画像データ内で、前記少なくとも1つの焦点距離に実質上等しい距離に関連する1つまたは複数の領域を識別するステップと、前記識別された1つまたは複数の領域以外の領域内の高周波の第2の画像データをマスキング関数に応じて設定するステップと、前記修正された高周波の第2の画像データを前記第1の画像データに追加するステップとを含むことができる。したがってこの実施形態では、深さ情報は、焦点の制御を提供することができる。
【００１６】
さらに別の変形形態では、この方法は、画像処理機能を使用して前記取り込まれた画像を処理するステップを含むことができ、1つまたは複数の画像処理機能パラメータは前記深さ情報に依存しており、好ましくは、前記画像を処理するステップは、前記第1の画像データおよび/または前記第2の画像データをフィルタにかけることを含み、前記フィルタの1つまたは複数のフィルタパラメータは前記深さ情報に依存する。したがって、深さ情報はまた、フィルタリングなどの従来の画像処理ステップで使用することもできる。
【００１７】
別の態様では、本発明は、多開口画像データを使用して深さ関数を判定する方法に関することができ、この方法は、異なる物体とカメラの距離で1つまたは複数の物体の画像を取り込むステップであって、各画像が、少なくとも第1の開口を使用して電磁スペクトルの少なくとも第1の部分に関連するスペクトルエネルギーに、また少なくとも第2の開口を使用して電磁スペクトルの少なくとも第2の部分に関連するスペクトルエネルギーに、画像センサを同時に露出させることによって取り込まれる、取り込むステップと、前記取り込まれた画像の少なくとも一部に対して、電磁スペクトルの前記第1の部分に関連する第1の画像データおよび電磁スペクトルの前記第2の部分に関連する第2の画像データを生成するステップと、前記第1の画像データの少なくとも1つの領域内の第1のシャープネス情報と前記第2の画像データの対応する領域内の第2のシャープネス情報との間の関係を前記距離の関数として判定することによって、深さ関数を生成するステップとを含むことができる。
【００１８】
さらなる態様では、本発明は信号処理モジュールに関することができ、このモジュールは、電磁スペクトルの前記第1の部分に関連する第1の画像データおよび電磁スペクトルの前記第2の部分に関連する第2の画像データを受け取る入力端と、前記第1の画像データの少なくとも1つの領域内の第1のシャープネス情報および前記第2の画像データの対応する領域内の第2のシャープネス情報を判定する少なくとも1つの高域通過フィルタと、電磁スペクトルの第1の部分に関連する画像データと電磁スペクトルの第2の部分に関連する画像データとの間のシャープネス情報の差と、距離、好ましくは物体とカメラの距離との間の関係を含む深さ関数を含むメモリと、前記深さ関数、ならびに前記高域通過フィルタから受け取った前記第1のシャープネス情報および前記第2のシャープネス情報に基づいて深さ情報を生成する深さ情報処理装置とを備えることができる。
【００１９】
さらなる態様では、本発明は、多開口撮像システムに関することができ、このシステムは、画像センサと、光学レンズシステムと、少なくとも第1の開口を使用して電磁スペクトルの少なくとも第1の部分に関連するスペクトルエネルギーに、また少なくとも第2の開口を使用して電磁スペクトルの少なくとも第2の部分に関連するスペクトルエネルギーに、前記画像センサを同時に露出させるように構成された波長選択性の多開口と、電磁スペクトルの前記第1の部分に関連する第1の画像データおよび電磁スペクトルの前記第2の部分に関連する第2の画像データを生成する第1の処理モジュールと、前記第1の画像データの少なくとも1つの領域内の第1のシャープネス情報および前記第2の画像データの少なくとも1つの領域内の第2のシャープネス情報に基づいて、前記画像データに関連する深さ情報を生成する第2の処理モジュールとを備えることができる。
【００２０】
さらなる実施形態では、この方法は、デモザイキングアルゴリズムを使用して前記第1の画像データおよび前記第2の画像データを生成するステップを含むことができる。
【００２１】
本発明のさらなる態様は、上述の信号処理モジュールおよび/または多開口撮像システムを備えるデジタルカメラシステム、好ましくは移動端末内で使用するためのデジタルカメラシステムに関し、また画像データを処理するコンピュータプログラム製品に関し、前記コンピュータプログラム製品は、コンピュータシステムのメモリ内で実行中に、上述の方法を実施するように構成されたソフトウェアコード部分を含む。
【００２２】
本発明について、添付の図面を参照してさらに説明する。図面では、本発明による実施形態を概略的に示す。本発明は、これらの特有の実施形態に何ら限定されるものではないことが理解されるであろう。
【図面の簡単な説明】
【００２３】
【図１】本発明の一実施形態による多開口撮像システムを示す図である。
【図２】デジタルカメラの色応答を示す図である。
【図３】ホットミラーフィルタ(hot mirror filter)の応答およびシリコンの応答を示す図である。
【図４】多開口システムを使用する概略的な光学系を示す図である。
【図５】本発明の一実施形態による多開口撮像システムで使用するための画像処理方法を示す図である。
【図６Ａ】本発明の一実施形態による深さ関数を判定する方法を示す図である。
【図６Ｂ】深さ関数の概略図ならびに高周波の色および赤外情報を距離の関数として示すグラフである。
【図７】本発明の一実施形態による深さマップを生成する方法を示す図である。
【図８】本発明の一実施形態による立体視を得る方法を示す図である。
【図９】本発明の一実施形態による被写界深度を制御する方法を示す図である。
【図１０】本発明の一実施形態による焦点を制御する方法を示す図である。
【図１１】本発明の別の実施形態による多開口システムを使用する光学系を示す図である。
【図１２】本発明の別の実施形態による深さ関数を判定する方法を示す図である。
【図１３】本発明の別の実施形態による被写界深度を制御する方法を示す図である。
【図１４】多開口撮像システム内で使用するための多開口システムを示す図である。
【発明を実施するための形態】
【００２４】
図1は、本発明の一実施形態による多開口撮像システム100を示す。この撮像システムは、デジタルカメラの一部とすることができ、または移動電話、ウェブカム、生体認証センサ、画像スキャナ、もしくは画像取込みの機能性を必要とする任意の他のマルチメディアデバイス内に組み込むことができる。図1に示すシステムは、画像センサ102と、ある場面内の物体を画像センサの撮像面上へ集束させるレンズシステム104と、第1の部分、たとえば可視部分、およびEMスペクトルの少なくとも第2の部分、たとえば電磁(EM)スペクトルの非可視部分(赤外部分など)の光(電磁放射)が、制御された形で撮像システムに入ることを可能にする所定の数の開口を含むシャッタ106および開口システム108とを備える。
【００２５】
以下でより詳細に論じる多開口システム108は、EMスペクトルの可視部分、および任意選択で非可視部分、たとえば赤外部分内の光に対する画像センサの露出を制御するように構成される。具体的には、多開口システムは、EMスペクトルの第1の部分に画像センサを露出させる第1の寸法の少なくとも第1の開口およびEMスペクトルの第2の部分に画像センサを露出させる第2の寸法の少なくとも第2の開口を画定することができる。たとえば、一実施形態では、EMスペクトルの第1の部分は色スペクトルに関係し、第2の部分は赤外スペクトルに関係することができる。別の実施形態では、多開口システムは所定の数の開口を含むことができ、各開口は、EMスペクトルの所定の範囲内の放射に画像センサを露出させるように設計される。
【００２６】
EM放射に対する画像センサの露出は、シャッタ106および多開口システム108の開口によって制御される。シャッタが開いているとき、開口システムは、画像センサ102を露出させる光の量および光の視準度を制御する。シャッタは、機械シャッタとすることができ、または別法として、シャッタは、画像センサ内に組み込まれた電子シャッタとすることができる。画像センサは、2次元の画素アレイを形成する感光性サイト(画素)の行列を含む。画像センサは、CMOS(Complimentary Metal Oxide Semiconductor)能動画素センサまたはCCD(Charge Coupled Device)画像センサとすることができる。別法として、画像センサは、他のSi(たとえば、a-Si)、III-V(たとえば、GaAs)、または導電性ポリマーベースの画像センサ構造に関係することができる。
【００２７】
レンズシステムによって画像センサ上へ光が投影されるとき、各画素は、その画素に入射する電磁放射(エネルギー)に比例する電気信号をもたらす。色情報を得るために、また画像センサの撮像面上へ投影された画像の色成分を分離するために、レンズと画像センサとの間には通常、色フィルタアレイ120(CFA)が配置される。色フィルタアレイは、画像センサの各画素が対応する画素フィルタを有するように、画像センサとともに組み込むことができる。各色フィルタは、所定の色帯域の光を画素内へ通すように適合される。通常、赤色、緑色、および青色(RGB)のフィルタの組合せが使用されるが、他のフィルタ方式、たとえばCYGM(シアン、黄色、緑色、マゼンタ)、RGBE(赤色、緑色、青色、エメラルド)なども可能である。
【００２８】
露出された画像センサの各画素は、画素に関連する色フィルタを通過した電磁放射に比例する電気信号をもたらす。したがって、画素のアレイは、色フィルタアレイを通過した電磁エネルギー(放射)の空間分布を表す画像データ(フレーム)を生成する。画素から受け取った信号は、1つまたは複数のオンチップ増幅器を使用して増幅させることができる。一実施形態では、画像センサの各色チャネルは、別個の増幅器を使用して増幅させることができ、それによって異なる色に対するISO感度を別個に制御することができる。
【００２９】
さらに、画素信号は、画像センサのチップ上に組み込むことができる1つまたは複数のアナログ-デジタル(A/D)変換器110を使用してサンプリングし、量子化し、デジタル形式の言葉に変換することができる。デジタル化された画像データは、画像センサに結合されたデジタル信号処理装置112(DSP)によって処理され、DSP112は、補間、フィルタリング、ホワイトバランス、明るさ補正、データ圧縮技法(たとえば、MPEGまたはJPEGタイプの技法)などのよく知られている信号処理機能を実行するように構成される。DSPは、中央処理装置114と、取り込まれた画像を記憶する記憶メモリ116と、画像データを処理するためにDSPによって使用され、または撮像システムの動作を管理するために中央処理装置によって使用される1つまたは複数のソフトウェアプログラムを含むEEPROMまたは別のタイプの不揮発性メモリなどのプログラムメモリ118とに結合される。
【００３０】
さらに、DSPは、多開口撮像システムによって取り込まれた画像に関連する深さ情報を得るように構成された1つまたは複数の信号処理機能124を含むことができる。これらの信号処理機能は、固定レンズの多開口撮像システムに、可変DOFおよび焦点制御ならびに立体的な3D画像表示能力を含む拡張された撮像機能性を提供することができる。これらの信号処理機能に関連する詳細および利点について、以下により詳細に論じる。
【００３１】
上述のように、撮像システムの感度は、赤外撮像の機能性を使用することによって拡張される。この目的のために、レンズシステムは、可視光と赤外放射または赤外放射の少なくとも一部との両方が撮像システムに入ることができるように構成することができる。レンズシステムの前のフィルタは、赤外放射の少なくとも一部が撮像システムに入ることができるように構成される。具体的には、これらのフィルタは、赤外放射がカメラに入るのを遮断するために従来の色撮像カメラで使用される、通常はホットミラーフィルタと呼ばれる赤外遮断フィルタを含まない。
【００３２】
したがって、多開口撮像システムに入るEM放射122は、EMスペクトルの可視部分と赤外部分の両方に関連する放射を含むことができ、それによって赤外スペクトルに対する画像センサの光応答を拡張することができる。
【００３３】
赤外遮断フィルタ(の不在)が従来のCFA色画像センサに与える影響を、図2〜3に示す。図2Aおよび図2Bでは、曲線202は、赤外遮断フィルタ(ホットミラーフィルタ)をもたないデジタルカメラの典型的な色応答を表す。グラフAは、ホットミラーフィルタを使用する影響をより詳細に示す。ホットミラーフィルタの応答210は、画像センサのスペクトル応答を可視スペクトルに制限し、それによって画像センサの全体的な感度を実質上制限する。ホットミラーフィルタを取り去った場合、赤外放射の一部は色画素フィルタを通過する。この影響を、青色画素フィルタ204、緑色画素フィルタ206、および赤色画素フィルタ208を含む従来の色画素の光応答を示すグラフBによって表す。これらの色画素フィルタ、特に赤色画素フィルタは赤外放射を(部分的に)透過することができ、したがって画素信号の一部は赤外放射に起因すると考えることができる。これらの赤外の寄与は、カラーバランスを歪ませることがあり、その結果いわゆる擬似色を含む画像が生じることがある。
【００３４】
図3は、ホットミラーフィルタの応答302およびシリコン(すなわち、デジタルカメラ内で使用される画像センサの主な半導体成分)の応答304を示す。これらの応答は、赤外放射に対するシリコン画像センサの感度が可視光に対する感度より約4倍高いことをはっきりと示す。
【００３５】
図2および図3によって示す画像センサによって提供されるスペクトル感度を利用するために、図1の撮像システム内の画像センサ102は、従来の画像センサとすることができる。従来のRGBセンサでは、赤外放射は赤色画素によって主に感知される。その場合、DSPは、赤色画素信号を処理して、この赤色画素信号内の低雑音の赤外情報を抽出することができる。この処理については、以下により詳細に説明する。別法として、画像センサは、赤外スペクトルの少なくとも一部を撮像するように特に構成することができる。画像センサは、たとえば1つまたは複数の赤外(I)画素を色画素と一緒に含むことができ、それによって画像センサは、RGB色画像および比較的低雑音の赤外画像をもたらすことができる。
【００３６】
赤外画素は、可視光を実質上遮断し、赤外放射、好ましくは約700から1100nmの範囲内の赤外放射を実質上透過するフィルタ材料で、フォトサイト(photo-site)を覆うことによって実現することができる。赤外/色フィルタアレイ(ICFA)内に設けることができる赤外透過性の画素フィルタは、スペクトルの赤外帯域内の波長に対して高い透過率を有するよく知られているフィルタ材料、たとえば「DARC400」という商標でBrewer Scienceから市販されている黒色ポリイミド材料を使用して実現することができる。
【００３７】
そのようなフィルタを実現する方法は、米国特許出願第2009/0159799号に記載されている。ICFAは、画素ブロック、たとえば2×2個の画素を収容することができ、各ブロックは、赤色、緑色、青色、および赤外の画素を含む。露出されると、そのような画像ICFA色画像センサは、RGB色情報と赤外情報の両方を含む生のモザイク画像をもたらすことができる。よく知られているデモザイキングアルゴリズムを使用して生のモザイク画像を処理した後、RGB色画像および赤外画像を得ることができる。赤外放射に対するそのようなICFA画像色センサの感度は、ブロック内の赤外画素の数を増大させることによって増大させることができる。一構成(図示せず)では、画像センサフィルタアレイは、たとえば、4つの色画素RGGBおよび12個の赤外画素を含む16個の画素からなるブロックを含むことができる。
【００３８】
別の実施形態では、ICFA画像色センサの代わりに、画像センサはフォトサイトのアレイに関係することができ、各フォトサイトは、当技術分野ではよく知られている複数の積層型フォトダイオードを含む。好ましくは、そのような積層型フォトサイトは、少なくとも原色RGBおよび赤外のそれぞれに応答して、少なくとも4つの積層型フォトダイオードを含む。これらの積層型フォトダイオードは、画像センサのシリコン基板内へ組み込むことができる。
【００３９】
多開口システム、たとえば多開口絞りを使用して、カメラの被写界深度(DOF)を改善することができる。そのような多開口システム400の原理を、図4に示す。DOFは、画像が取り込まれるときに焦点が合っているカメラからの距離の範囲を決める。この範囲内では、物体は鮮明であると許容することができる。中程度から大きな距離の場合、所与の画像形式で、レンズの焦点距離N、レンズの開き(開口)に関連するf値、および物体とカメラの距離sによって、DOFが判定される。開口が広ければ広いほど(より多くの光が受け取られる)、DOFはますます制限される。
【００４０】
可視および赤外スペクトルエネルギーは、多開口システムを介して撮像システムに入ることができる。一実施形態では、そのような多開口システムは、所定の直径D1の円形の孔402を有するフィルタで被覆された透明な基板を含むことができる。フィルタ被覆404は、可視放射を透過し、かつ赤外放射を反射および/または吸収することができる。不透明な覆い406が、孔402の直径D1より大きい直径D2を有する円形の開口を含むことができる。このカバーは、赤外と可視の両方の放射を反射する薄膜被覆を含むことができ、または別法として、カバーは、光学系内に基板を保持および位置決めする不透明なホルダの一部とすることができる。このようにして、多開口システムは、複数の波長選択性の開口を含み、EMスペクトルの異なる部分のスペクトルエネルギーに対する画像センサの制御された露出を可能にする。開口システムを通過する可視および赤外スペクトルエネルギーは、その後、レンズ412によって画像センサの撮像面414上へ投影され、撮像面414は、可視スペクトルエネルギーに関連する画像データを得るための画素と、非可視(赤外)スペクトルエネルギーに関連する画像データを得るための画素とを含む。
【００４１】
したがって、画像センサの画素は、大きなDOFを有する赤外スペクトルエネルギーに関連する第2の小さい開口の画像信号418に重なる、制限されたDOFを有する可視スペクトルエネルギーに関連する第1の(比較的)広い開口の画像信号416を受け取ることができる。レンズの焦点面Nに近接している物体420は、可視放射によって比較的小さい焦点ぼけで画像面上へ投影され、焦点面からより遠くに位置する物体422は、赤外放射によって比較的小さい焦点ぼけで画像面上へ投影される。したがって、単一の開口を含む従来の撮像システムとは異なり、デュアルまたは複数開口の撮像システムは、異なる寸法の2つ以上の開口を含む開口システムを使用して、画像センサを露出させるスペクトルの異なる帯域で放射の量および視準を制御する。
【００４２】
DSPは、取り込まれた色および赤外信号を処理するように構成することができる。図5は、多開口撮像システムで使用するための典型的な画像処理ステップ500を示す。この例では、多開口撮像システムは、たとえばバイエルの色フィルタアレイを使用する従来の色画像センサを備える。その場合、主に赤色画素フィルタが、赤外放射を画像センサへ透過する。取り込まれた画像フレームの赤色画素データは、高振幅の赤色可視信号と、鮮明な低振幅の赤外非可視信号との両方を含む。赤外成分は、赤色可視成分より8分の1から16分の1少ないことがある。さらに、知られているカラーバランス技法を使用して赤色バランスを調整し、赤外放射の存在によって生じるわずかな歪みを補償することができる。他の変形形態では、RGBI画像センサを使用することができ、I画素によって赤外画像を直接得ることができる。
【００４３】
第1のステップ502で、バイエルフィルタにかけた生画像データが取り込まれる。その後、DSPは、赤外情報も含む赤色画像データを抽出することができる(ステップ504)。その後、DSPは、赤色画像データから赤外画像に関連するシャープネス情報を抽出し、このシャープネス情報を使用して色画像を強調することができる。
【００４４】
空間領域内でシャープネス情報を抽出する1つの方法は、赤色画像データを高域通過フィルタにかけることによって実現することができる。高域通過フィルタは、赤色画像内の高周波情報(高周波成分)を保持しながら、低周波情報(低周波成分)を低減させることができる。高域通過フィルタのカーネルは、近隣の画素に対して中心画素の明るさを増大させるように設計することができる。カーネルアレイは通常、中心に単一の正の値を収容し、負の値で完全に取り囲む。高域通過フィルタに対する3×3カーネルの簡単な非限定的な例は、次のように見えるであろう。
|-1/9 -1/9 -1/9|
|-1/9 8/9 -1/9|
|/1/9 -1/9 -1/9|
したがって、赤色画像データは高域通過フィルタを通過し(ステップ506)、赤外画像信号に関連する高周波成分(すなわち、シャープネス情報)を抽出する。
【００４５】
赤外開口の寸法が比較的小さいことで、赤外画像信号は比較的小さくなるため、フィルタにかけた高周波成分は、赤外開口に対する可視光開口の比に比例して増幅される(ステップ508)。
【００４６】
赤外開口の寸法が比較的小さいことの影響は、赤色画素によって取り込まれる赤外放射の帯域が赤色放射の帯域より約4倍広いことによって部分的に補償される(通常、デジタル赤外カメラは可視光カメラより4倍感度が高い)。増幅後、赤外画像信号から導出された増幅された高周波成分は、バイエルフィルタにかけた生画像データの各色成分に追加(混合)される(ステップ510)。このようにして、赤外画像データのシャープネス情報は色画像に追加される。その後、組み合わせた画像データは、当技術分野ではよく知られているデモザイキングアルゴリズムを使用して、フルRGB色画像に変換することができる(ステップ512)。
【００４７】
変形形態(図示せず)では、バイエルフィルタにかけた生画像データは、第1にRGB色画像にデモザイクされ、その後追加(混合)によって増幅された高周波成分と組み合わされる。
【００４８】
図5に示す方法で、多開口撮像システムは、より低い光の状況で効果的に動作するために広い開口を有すると同時に、より大きいDOFを有することができ、その結果、より鮮明な写真を得ることができる。さらに、この方法は、レンズの光学的性能を効果的に増大させて、同じ性能を実現するのに必要なレンズのコストを低減させる。
【００４９】
したがって多開口撮像システムにより、7という典型的なf値を有する簡単な移動電話カメラ(たとえば、焦点距離Nは7mmであり、直径は1mmである)では、第2の開口を介してDOFを改善することができ、f値は、たとえば直径0.5mmに対して14から直径0.2mm以下に対して最高70以上まで変動し、f値は、焦点距離fと開口の有効径の比によって画定される。好ましい実装形態は、付近の物体のシャープネスを増大させるために可視放射に対して約2から4のf値を含むとともに、遠くの物体のシャープネスを増大させるために赤外開口に対して約16から22のf値を含む光学系を含む。
【００５０】
多開口撮像システムによって提供されるDOFおよびISO感度の改善は、関連出願第PCT/EP2009/050502号および第PCT/EP2009/060936号により詳細に記載されている。さらに、図1〜5を参照して説明した多開口撮像システムを使用して、取り込まれた単一の画像に関連する深さ情報を生成することができる。より具体的には、多開口撮像システムのDSPは少なくとも1つの深さ関数を含むことができ、この深さ関数は、光学系のパラメータ依存し、一実施形態では、製造者が事前に決定して、デジタル画像処理機能内で使用するためにカメラのメモリ内に記憶することができる。
【００５１】
画像は、カメラレンズから異なる距離のところに位置する異なる物体を収容することができ、したがってカメラの焦点面により近い物体は、焦点面からより遠く離れている物体より鮮明になる。深さ関数は、画像の異なる領域内で撮像された物体に関連するシャープネス情報を、これらの物体がカメラから離された距離に関係する情報に関係付けることができる。一実施形態では、深さ関数Rは、カメラレンズから異なる距離のところにある物体に対する色画像成分と赤外画像成分とのシャープネスの比を判定することを伴うことができる。別の実施形態では、深さ関数Dは、高域通過フィルタにかけた赤外画像の自己相関分析を伴うことができる。これらの実施形態について、図6〜14を参照して以下により詳細に説明する。
【００５２】
第1の実施形態では、深さ関数Rは、色画像内のシャープネス情報と赤外画像内のシャープネス情報との比によって定義することができる。ここで、シャープネスパラメータは、いわゆる錯乱円に関係することができ、錯乱円は、画像センサによって測定された、物体空間内の不鮮明に撮像された点のぼけた箇所の直径に対応する。焦点ぼけを表すぼけた円盤の直径は、焦点面内の点では非常に小さく(0)、物体空間内でこの面から前景または背景の方へ離れると累進的に大きくなる。ぼけた円盤が極大の許容できる錯乱円cより小さい限り、この円盤は十分に鮮明であり、DOF範囲の一部であると考えられる。知られているDOF式から、物体の深さ、すなわちカメラからの物体の距離と、カメラ内のその物体のぼけの量(すなわち、シャープネス)との間には、直接関係が存在するという結果が得られる。
【００５３】
したがって、多開口撮像システム内では、赤外画像内のIR成分のシャープネスに対する色画像のRGB成分のシャープネスの増大または低減は、レンズからの撮像された物体の距離に依存する。たとえば、レンズを3メートルのところに集束させた場合、RGB成分とIR成分のシャープネスが同じになるものとする。対照的に、1メートルの距離のところにある物体に対する赤外画像に使用される開口は小さいため、RGB成分のシャープネスは、赤外成分のものより著しく低くなるであろう。この依存性を使用して、カメラレンズからの物体の距離を推定することができる。
【００５４】
具体的には、レンズが大きい(「無限」)焦点に設定された場合(この点を、多開口システムの過焦点距離Hと呼ぶことができる)、カメラは、色成分と赤外成分が等しく鮮明である画像内の点を判定することができる。画像内のこれらの点は、カメラから比較的大きい距離(通常、背景)のところに位置する物体に対応する。過焦点距離Hから離れて位置する物体の場合、赤外成分と色成分との間のシャープネスの相対的な差は、物体とレンズとの間の距離sの関数として増大する。1つの箇所(たとえば、1つの画素または画素群)で測定された色画像内のシャープネス情報と赤外情報内のシャープネス情報との間の比を、以下、深さ関数R(s)と呼ぶ。
【００５５】
深さ関数R(s)は、カメラレンズから異なる距離sのところにある1つまたは複数の試験物体に対するシャープネス比を測定するによって得ることができ、シャープネスは、それぞれの画像内の高周波成分によって判定される。図6Aは、本発明の一実施形態による深さ関数の判定に関連する流れ図600を示す。第1のステップ602で、少なくともカメラから過焦点距離Hのところに試験物体を位置決めすることができる。その後、多開口撮像システムを使用して画像データを取り込む。次いで、取り込まれたデータから、色画像および赤外情報に関連するシャープネス情報が抽出される(ステップ606〜608)。その後、シャープネス情報R(H)間の比がメモリ内に記憶される(ステップ610)。次いで、試験物体が過焦点距離Hから距離Δだけ離され、この距離でRが判定される。このプロセスは、カメラレンズに近接するまでのすべての距離に対してRが判定されるまで繰り返される(ステップ612)。これらの値は、メモリ内へ記憶することができる。補間を使用して、連続する深さ関数R(s)を得ることができる(ステップ614)。
【００５６】
一実施形態では、Rは、画像内の特定の箇所で測定される高周波赤外成分Dirの絶対値と高周波色成分Dcolの絶対値との間の比として定義することができる。別の実施形態では、特定の領域内の赤外成分と色成分との間の差を計算することができる。次いで、この領域内の差の和を、距離の尺度と見なすことができる。
【００５７】
図6Bは、DcolおよびDirの図を距離の関数として示し(グラフA)、R=Dir/Dcolの図を距離の関数として示す(グラフB)。グラフAでは、焦点距離N前後で高周波色成分が最も高い値を有し、また焦点距離から離れると、ぼけの影響の結果、高周波色成分は急速に低減することがわかる。さらに、赤外開口が比較的小さい結果、高周波赤外成分は、焦点Nから離れて大きな距離にわたって比較的高い値を有する。
【００５８】
グラフBは、その結果得られる深さ関数Rを示し、深さ関数Rは、Dir/Dcol間の比として定義され、焦点距離Nより実質上大きい距離にわたって、高周波赤外画像データ内にシャープネス情報が含まれることを示す。深さ関数R(s)は、製造者が事前に得ることができ、カメラのメモリ内に記憶することができ、多開口撮像システムによって取り込まれた画像を処理する1つまたは複数の後処理機能内でDSPによって使用することができる。一実施形態では、後処理機能の1つは、多開口撮像システムによって取り込まれた単一の画像に関連する深さマップの生成に関係することができる。図7は、本発明の一実施形態によるそのような深さマップを生成するプロセスの概略図を示す。多開口撮像システム内の画像センサが1つの画像フレーム内で可視画像信号と赤外画像信号を同時に取り込んだ後(ステップ702)、DSPは、たとえば知られているデモザイキングアルゴリズムを使用して、取り込まれた生のモザイク画像内で色画素信号と赤外画素信号とを分離することができる(ステップ704)。その後、DSPは、色画像データ(たとえば、RGB画像)および赤外画像データ上で高域通過フィルタを使用して、両画像データの高周波成分を得ることができる(ステップ706)。
【００５９】
その後、DSPは、各画素p(i,j)または画素群に距離を関連付けることができる。この目的のために、DSPは、各画素p(i,j)に対して、高周波赤外成分と高周波色成分との間のシャープネス比R(i,j)を判定することができ、R(i,j)=Dir(i,j)/Dcol(i,j)である(ステップ708)。次いで、深さ関数R(s)、具体的には逆深さ関数R'(R)に基づいて、DSPは、各画素で測定されたシャープネス比R(i,j)を、カメラレンズまでの距離s(i,j)に関連付けることができる(ステップ710)。このプロセスは距離マップを生成し、マップ内の各距離値は画像内の画素に関連付けられる。このように生成されたマップは、カメラのメモリ内に記憶することができる(ステップ712)。
【００６０】
各画素に距離を割り当てるには、大量のデータ処理を必要とすることがある。演算量を低減させるために、一変形形態では、第1のステップで、よく知られている縁線検出アルゴリズムを使用して、画像内の縁線を検出することができる。その後、これらの縁線周辺の領域を、これらの領域内のシャープネス比Rを使用してカメラレンズからの距離を判定するためのサンプル領域として使用することができる。この変形形態は、必要な演算がより少ないという利点を提供する。
【００６１】
したがって、多開口カメラシステムによって取り込まれた画像、すなわち画素フレーム{p(i,j)}に基づいて、深さ関数を含むデジタル撮像処理装置は、関連する深さマップ{s(i,j)}を判定することができる。画素フレーム内の各画素に対して、深さマップは関連する距離値を含む。深さマップは、各画素p(i,j)に対して関連する深さ値s(i,j)を計算することによって判定することができる。別法として、深さマップは、深さ値を画像内の画素群に関連付けることによって判定することができる。深さマップは、任意の適したデータ形式で、取り込まれた画像とともにカメラのメモリ内に記憶することができる。
【００６２】
このプロセスは、図7を参照して説明するステップに限定されるものではない。本発明から逸脱することなく、様々な変形形態が可能である。たとえば、デモザイキングステップの前に、高域通過フィルタリングを適用することができる。その場合、高周波色画像は、高域通過フィルタにかけた画像データをデモザイキングすることによって得られる。
【００６３】
さらに、本発明から逸脱することなく、シャープネス情報に基づいて距離を判定する他の方法も可能である。たとえば、たとえば高域通過フィルタを使用して空間領域内のシャープネス情報(すなわち、縁線情報)を分析するのではなく、シャープネス情報はまた、周波数領域内で分析することもできる。たとえば一実施形態では、シャープネス情報を得るために、実行中の個別のフーリエ変換(DFT)を使用することができる。DFTを使用して、色画像と赤外画像の両方のフーリエ係数を計算することができる。これらの係数、具体的には高周波係数の分析で、距離を示すことができる。
【００６４】
たとえば、一実施形態では、色画像および赤外画像内の特定の領域に関連する高周波DFT係数の絶対差は、距離を示すために使用することができる。さらなる実施形態では、フーリエ成分を使用して、赤外信号および色信号に関連するカットオフ周波数を分析することができる。たとえば、画像の特定の領域内で、赤外画像信号のカットオフ周波数が色画像信号のカットオフ周波数より大きい場合、この差は距離を示すことができる。
【００６５】
深さマップに基づいて、様々な画像処理機能を実現することができる。図8は、本発明の一実施形態による立体視を得るための体系800を示す。物体Pからある距離sのところに位置決めされた元のカメラ位置C0に基づいて、2つの仮想カメラ位置C1およびC2(1つは左目用で、1つは右目用)を画定することができる。これらの仮想カメラ位置はそれぞれ、元のカメラ位置に対して距離-t/2および+t/2にわたって対称に変位させることができる。焦点距離N、C0、C1、C2、t、およびsの間の幾何学的関係を考えると、2つの仮想カメラ位置に関連する2つのシフトさせた「仮想」画像を生成するのに必要な画素のシフト量は、次の式によって判定することができる。
P1=p0-(t*N)/(2s)およびP2=p0+(t*N)/(2s)
【００６６】
したがって、これらの式および深さマップ内の距離情報s(i,j)に基づいて、画像処理機能により、元の画像内のp0(i,j)、第1の仮想画像および第2の仮想画像に関連する画素p1(i,j)およびp2(i,j)を、各画素に対して計算することができる(ステップ802〜806)。このようにして、元の画像内の各画素p0(i,j)は、立体視に適した2つのシフトされた画像{p1(i,j)}および{p2(i,j)}を生成する上式に従ってシフトさせることができる。
【００６７】
図9は、一実施形態によるさらなる画像処理機能900を示す。この機能により、多開口撮像システム内のDOFの制御された低減が可能になる。多開口撮像システムが固定レンズおよび固定多開口システムを使用するため、光学系は、この光学系の固定の(改善された)DOFで画像を送達する。しかし、状況によっては、可変DOFを有することが望ましいことがある。
【００６８】
第1のステップ902で、画像データおよび関連する深さマップを生成することができる。その後、この機能は、カットオフ距離として使用できる特定の距離s'の選択を可能にすることができ(ステップ904)、その後、高周波赤外成分に基づくシャープネスの強調は破棄されるべきである。深さマップを使用して、DSPは、画像内で、選択された距離s'より大きい物体とカメラの距離に関連する第1の領域を識別することができ(ステップ906)、また選択された距離s'より小さい物体とカメラの距離に関連する第2の領域を識別することができる。その後、DSPは、高周波赤外画像を検索し、識別された第1の領域内の高周波赤外成分を、マスキング関数に応じた値に設定することができる(ステップ910)。次いで、このように修正された高周波赤外画像は、図5に示す方法と類似の方法でRGB画像と混合することができる(ステップ912)。このようにして、RGB画像を得ることができ、カメラレンズから最高で距離s'だけ離れた画像内の物体は、高周波赤外成分から得られるシャープネス情報で強調される。このようにして、制御された方法で、DOFを低減させることができる。
【００６９】
本発明から逸脱することなく、様々な変形形態が可能であることが提起される。たとえば、単一の距離ではなく、多開口システムの使用者によって距離範囲[s1,s2]を選択することができる。画像内の物体は、カメラから離れた距離に関係付けることができる。その後、DSPは、どの物体領域がこの範囲内に位置するかを判定することができる。その後、これらの領域は、高周波成分内のシャープネス情報によって強調される。
【００７０】
さらなる画像処理機能は、カメラの焦点を制御することに関係することができる。この機能を、図10に概略的に示す。この実施形態では、(仮想)焦点距離N'を選択することができる(ステップ1004)。深さマップを使用して、この選択された焦点距離に関連する画像内の領域を判定することができる(ステップ1006)。その後、DSPは、高周波赤外画像を生成し(ステップ1008)、識別された領域外のすべての高周波成分を、マスキング関数に応じた値に設定することができる(ステップ1010)。このように修正された高周波赤外画像は、RGB画像と混合することができ(ステップ1012)、それによって焦点距離N'に関連する画像内の領域内のシャープネスのみを強調することができる。このようにして、制御可能な方法で、画像内の焦点を変動させることができる。
【００７１】
焦点距離を制御するさらなる変形形態は、複数の焦点距離N'、N''などの選択を含むことができる。これらの選択された距離のそれぞれに対して、赤外画像内の関連する高周波成分を判定することができる。図10を参照して説明した方法と類似の方法で、後に高周波赤外画像を修正して色画像と混合する結果、たとえば2メートルのところにある焦点が合った物体、3メートルのところにある焦点が外れた物体、および4メートルのところにある焦点が合った物体を有する画像を得ることができる。さらに別の実施形態では、図9および図10を参照して説明した焦点制御を、画像内の1つまたは複数の特定の領域に適用することができる。この目的のために、使用者またはDSPは、焦点制御が望ましい画像内で1つまたは複数の特定の領域を選択することができる。
【００７２】
さらに別の実施形態では、距離関数R(s)および/または深さマップを使用し、知られている画像処理機能(たとえば、フィルタリング、混合、平衡化など)を使用して前記取り込まれた画像を処理することができ、そのような機能に関連する1つまたは複数の画像処理機能パラメータは、深さ情報に依存している。たとえば、一実施形態では、深さ情報を使用して、高周波赤外画像を生成するために使用される高域通過フィルタのカットオフ周波数および/またはロールオフを制御することができる。画像の特定の領域に対する色画像と赤外画像内のシャープネス情報が実質上類似しているとき、必要とされる赤外画像のシャープネス情報(すなわち、高周波赤外成分)はより少ない。したがって、その場合、非常に高いカットオフ周波数を有する高域通過フィルタを使用することができる。対照的に、色画像と赤外画像内のシャープネス情報が異なるとき、赤外画像内のシャープネス情報によって色画像内のぼけを補償できるように、より低いカットオフ周波数を有する高域通過フィルタを使用することができる。このようにして、画像全体にわたって、または画像の特有の部分内で、色画像と赤外画像内のシャープネス情報の差に応じて、高域通過フィルタのロールオフおよび/またはカットオフ周波数を調整することができる。
【００７３】
深さマップの生成、およびそのような深さマップに基づく画像処理機能の実装は、上記の実施形態に限定されるものではない。
【００７４】
図11は、さらなる実施形態による深さ情報を生成する多開口撮像システム1100の概略図を示す。この実施形態では、深さ情報は、修正された多開口構成を使用することによって得られる。たとえば図4に示すように中心の1つの赤外開口ではなく、図11の多開口1101は、絞りの縁線に(または周辺部に沿って)複数(すなわち、2つ以上)の小さい赤外開口1102、1104を含み、より大きい色開口1106を形成する。これらの複数の小さい開口は、図4に示す単一の赤外開口より実質上小さく、それによって焦点が合った物体1108が鮮明な単一の赤外画像1112として撮像面1110上へ撮像されるという効果をもたらす。対照的に、焦点が外れた物体1114は、2つの赤外画像1116、1118として撮像面上へ撮像される。第1の赤外開口1102に関連する第1の赤外画像1116は、第2の赤外開口に関連する第2の赤外画像1118に対して特定の距離Δにわたってシフトされる。普通なら焦点が外れたレンズに関連する連続してぼけた画像ではなく、複数の小さい赤外開口を含む多開口は、個別の鮮明な画像の形成を可能にする。単一の赤外開口と比較すると、複数の赤外開口を使用することで、より小さい開口を使用することができ、それによって被写界深度のさらなる増大を実現することができる。物体の焦点が外れれば外れるほど、距離Δはより大きくなる。したがって、2つの撮像された赤外画像間のシフトΔは、物体とカメラレンズとの間の距離の関数であり、深さ関数Δ(s)を判定するために使用することができる。
【００７５】
深さ関数Δ(s)は、カメラレンズから複数の距離のところにある試験物体を撮像し、それらの異なる距離のところでΔを測定することによって判定することができる。Δ(s)は、カメラのメモリ内に記憶することができ、以下でより詳細に論じる1つまたは複数の後処理機能において、DSPによって使用することができる。
【００７６】
一実施形態では、1つの後処理機能は、図11を参照して説明したように個別の多開口を含む多開口撮像システムによって取り込まれた単一の画像に関連する深さ情報の生成に関係することができる。1つの画像フレーム内の可視画像信号と赤外画像信号の両方を同時に取り込んだ後、DSPは、たとえば知られているデモザイキングアルゴリズムを使用して、取り込まれた生のモザイク画像内で色画素信号と赤外画素信号とを分離することができる。その後、DSPは、赤外画像データ上で高域通過フィルタを使用して、物体の焦点が合った領域と物体の焦点が外れた領域とを含むことができる赤外画像データの高周波成分を得ることができる。
【００７７】
さらに、DSPは、自己相関関数を使用して高周波赤外画像データから深さ情報を導出することができる。このプロセスを、図12に概略的に示す。高周波赤外画像1204(の一部)の自己相関関数1202をとると、焦点が合っている撮像された物体1208の高周波の縁線に単一のスパイク1206が表れる。対照的に、この自己相関関数は、焦点が外れている撮像された物体1212の高周波の縁線に2重のスパイク1210を生成する。ここで、スパイク間のシフトは、2つの高周波赤外画像間のシフトΔを表し、シフトΔは、撮像された物体とカメラレンズとの間の距離sに依存する。
【００７８】
したがって、高周波赤外画像(の一部)の自己相関関数は、物体の焦点が外れている高周波赤外画像内の位置に2重のスパイクを含み、2重のスパイク間の距離は、距離の尺度(すなわち、焦点距離から離れる距離)を提供する。さらに、自己相関関数は、物体の焦点が合っている画像内の位置に単一のスパイクを含む。DSPは、2重のスパイク間の距離を、所定の深さ関数Δ(s)を使用する距離に関連付けることによって自己相関関数を処理し、この自己相関関数内の情報を、「実際の距離」に関連する深さマップに変換することができる。
【００７９】
図8〜10を参照して上述したように、深さマップの類似の機能、たとえば立体視を使用してDOFおよび焦点の制御を実行することができる。たとえば、Δ(s)または深さマップを使用して、特定の選択されたカメラと物体の距離に関連する赤外画像内の高周波成分を選択することができる。
【００８０】
特定の画像処理機能は、高周波赤外画像の自己相関関数を分析することによって実現することができる。図13は、たとえば、自己相関関数内のピークの幅を特定の閾値幅と比較することによってDOFが低減されるプロセス1300を示す。第1のステップ1302で、図11に示す多開口撮像システムを使用して画像が取り込まれ、色および赤外画像データが抽出され(ステップ1304)、高周波赤外画像データが生成される(ステップ1306)。その後、高周波赤外画像データの自己相関関数が計算される(ステップ1308)。さらに、閾値幅wが選択される(ステップ1310)。特定の撮像された物体に関連する自己相関関数内のピークが閾値幅より狭い場合、自己相関関数内のそのピークに関連する高周波赤外成分は、色画像データと組み合わせるために選択される。特定の撮像された物体の縁線に関連する自己相関関数内のピークまたは2つのピーク間の距離が閾値幅より広い場合、相関関数内のそのピークに関連する高周波成分は、マスキング関数に応じて設定される(ステップ1312〜1314)。その後、このように修正された高周波赤外画像は、多開口によって導入されるシフトΔをなくすように標準的な画像処理技法を使用して処理され、その結果、色画像データと混合することができる(ステップ1316)。混合後、色画像が形成され、低減されたDOFが形成される。このプロセスにより、所定の閾値幅を選択することによってDOFを制御することができる。
【００８１】
図14は、上述の多開口撮像システム内で使用するための多開口の2つの非限定的な例1402、1410を示す。第1の多開口1402は、2つの異なる薄膜フィルタを有する透明な基板と、EMスペクトルの第1の帯域内の放射を透過する第1の開口を形成する基板の中心にある第1の円形の薄膜フィルタ1404と、EMスペクトルの第2の帯域内の放射を透過する第1のフィルタの周囲に形成(たとえば、同心円状に)された第2の薄膜フィルタ1406とを含むことができる。
【００８２】
第1のフィルタは、可視放射と赤外放射の両方を透過するように構成することができ、第2のフィルタは、赤外放射を反射し、可視放射を透過するように構成することができる。外側の同心円の外径は、不透明な開口ホルダ1408内の開口によって画定することができ、または別法として赤外放射と可視放射をどちらも遮断する基板上に堆積された不透明な薄膜層1408内に画定された開口によって画定することができる。薄膜多開口の形成の背後にある原理は、3つ以上の開口を含む多開口に容易に拡張することができ、各開口はEMスペクトル内の特定の帯域に関連する放射を透過することが、当業者には明らかである。
【００８３】
一実施形態では、第2の薄膜フィルタは、赤外スペクトル内の放射を反射し、可視スペクトル内の放射を透過する2色性フィルタに関係することができる。干渉フィルタとも呼ばれる2色性フィルタは当技術分野ではよく知られており、通常、赤外放射(たとえば、約750から1250ナノメートルの波長を有する放射)を反射し、スペクトルの可視部分内の放射を透過するように構成された特有の厚さの複数の薄膜誘電体層を含む。
【００８４】
図11を参照して説明した多開口システム内で、第2の多開口1410を使用することができる。この変形形態では、多開口は、比較的大きい第1の開口1412を構成し、第1の開口1412は、不透明な開口ホルダ1414内の開口として画定され、または別法として赤外放射と可視放射をどちらも遮断する透明な基板上に堆積された不透明な薄膜層内に画定された開口によって画定される。この比較的大きい第1の開口内では、複数の小さい赤外開口1416〜1422が、第1の開口内に形成される薄膜ホットミラーフィルタ1424内の開口として画定される。
【００８５】
本発明の実施形態は、コンピュータシステムで使用するためのプログラム製品として実施することができる。プログラム製品のプログラムは、実施形態(本明細書に記載の方法を含む)の機能を定義し、様々なコンピュータ可読記憶媒体上に収容することができる。例示的なコンピュータ可読記憶媒体は、それだけに限定されるものではないが、(i)情報が永久的に記憶される書込み可能でない記憶媒体(たとえば、CD-ROMドライブによって読取り可能なCD-ROMディスク、フラッシュメモリ、ROMチップ、または任意のタイプの固体の不揮発性半導体メモリなど、コンピュータ内の読取り専用記憶装置)、および(ii)変更可能な情報が記憶される書込み可能記憶媒体(たとえば、ディスケットドライブ内のフロッピー（登録商標）ディスク、もしくはハードディスクドライブ、または任意のタイプの固体のランダムアクセス半導体メモリ)を含む。
【００８６】
いずれか1つの実施形態に関連して記載したあらゆる特徴は、単独で、または記載の他の特徴と組み合わせて使用することができ、任意の他の実施形態の1つもしくは複数の特徴、または任意の他の実施形態の任意の組合せと組み合わせて使用することもできることを理解されたい。さらに、本発明は、上述した実施形態に限定されるものではなく、これらは添付の特許請求の範囲の範囲内で変更することができる。
【符号の説明】
【００８７】
102 画像センサ
104 レンズシステム
106 シャッタ
108 開口システム
110 アナログ-デジタル(A/D)変換器
112 デジタル信号処理装置(DSP)
114 中央処理装置
116 記憶メモリ
118 プログラムメモリ
120 色フィルタアレイ(CFA)
122 EM放射
124 信号処理機能
202 赤外遮断フィルタ(ホットミラーフィルタ)をもたないデジタルカメラの典型的な色応答
204 青色画素フィルタ
206 緑色画素フィルタ
208 赤色画素フィルタ
210 ホットミラーフィルタの応答
302 ホットミラーフィルタの応答
304 シリコンの応答
400 多開口システム
402 円形の孔
404 フィルタ被覆
406 不透明な覆い
412 レンズ
414 撮像面
416 第1の(比較的)広い開口の画像信号
418 第2の小さい開口の画像信号
420 物体
422 物体
1100 多開口撮像システム
1101 多開口
1102 第1の赤外開口
1104 第2の赤外開口
1106 より大きい色開口
1108 焦点が合った物体
1110 撮像面
1112 鮮明な単一の赤外画像
1114 焦点が外れた物体
1116 第1の赤外画像
1118 第2の赤外画像
1202 自己相関関数
1204 高周波赤外画像
1206 単一のスパイク
1208 物体
1210 2重のスパイク
1212 物体
1402 第1の多開口
1404 第1の円形の薄膜フィルタ
1406 第2の薄膜フィルタ
1408 不透明な開口ホルダ、不透明な薄膜層
1410 第2の多開口
1412 比較的大きい第1の開口
1414 不透明な開口ホルダ
1416 複数の小さい赤外開口
1418 複数の小さい赤外開口
1420 複数の小さい赤外開口
1422 複数の小さい赤外開口
1424 薄膜ホットミラーフィルタ
C0 元のカメラ位置
C1 仮想カメラ位置
C2 仮想カメラ位置
D 深さ関数
Dcol 高周波色成分
Dir 高周波赤外成分
N レンズの焦点距離
P 物体
p0 画素
p1 画素
p2 画素
R シャープネス比
s 距離
-t/2 距離
+t/2 距離
Δ 距離
【特許請求の範囲】
【請求項１】
多開口画像データを処理する方法であって、
少なくとも第1の開口を使用して電磁スペクトルの少なくとも第1の部分に関連するスペクトルエネルギーに、また少なくとも第2の開口を使用して前記電磁スペクトルの少なくとも第2の部分に関連するスペクトルエネルギーに、撮像システム内の画像センサを同時に露出させることによって、1つまたは複数の物体に関連する画像データを取り込むステップと、
前記電磁スペクトルの前記第1の部分に関連する第1の画像データおよび前記電磁スペクトルの前記第2の部分に関連する第2の画像データを生成するステップと、
前記第1の画像データの少なくとも1つの領域内の第1のシャープネス情報および前記第2の画像データの少なくとも1つの領域内の第2のシャープネス情報に基づいて、前記取り込まれた画像に関連する深さ情報を生成するステップと
を含む方法。
【請求項２】
前記第1の画像データの少なくとも1つの領域内の第1のシャープネス情報と前記第2の画像データの少なくとも1つの領域内の第2のシャープネス情報との間の差を、前記撮像システムと前記物体の少なくとも1つとの間の距離に関係付けるステップ
を含む、請求項1に記載の方法。
【請求項３】
所定の深さ関数を使用して、前記第1のシャープネス情報と前記第2のシャープネス情報との間の前記差を前記距離に関係付けるステップ
を含む、請求項2に記載の方法。
【請求項４】
好ましくは高域通過フィルタを使用して、空間領域内の第1のシャープネス情報および/もしくは第2のシャープネス情報を判定し、または好ましくはフーリエ変換を使用することによって、周波数領域内の前記第1のシャープネス情報および/もしくは前記第2のシャープネス情報を判定するステップ
を含む、請求項1〜3のいずれか一項に記載の方法。
【請求項５】
前記電磁スペクトルの前記第1の部分が、可視スペクトルの少なくとも一部に関連し、かつ/または前記電磁スペクトルの前記第2の部分が、非可視スペクトル、好ましくは赤外スペクトルの少なくとも一部に関連する、請求項1から4のいずれか一項に記載の方法。
【請求項６】
前記第1のシャープネス情報と前記第2のシャープネス情報との間の前記差および/または比を前記撮像システムと前記1つまたは複数の物体との間の距離に関連付けることによって、前記取り込まれた画像の少なくとも一部に関連する深さマップを生成するステップ
を含む、請求項1〜5のいずれか一項に記載の方法。
【請求項７】
前記深さ情報に基づいて前記第1の画像データ内の画素をシフトさせることによって、立体視で使用するための少なくとも1つの画像を生成するステップ
を含む、請求項1〜6のいずれか一項に記載の方法。
【請求項８】
前記第2の画像データを高域通過フィルタにかけることによって、高周波の第2の画像データを生成するステップと、
少なくとも1つの閾値距離または少なくとも1つの距離範囲を提供するステップと、
前記深さ情報に基づいて、前記高周波の第2の画像データ内で、前記閾値距離より大きいもしくは小さい距離に関連する1つもしくは複数の領域を識別し、または前記高周波の第2の画像データ内で、前記少なくとも1つの距離範囲内の距離に関連する1つもしくは複数の領域を識別するステップと、
前記第2の高周波画像データの前記識別された1つまたは複数の領域内の高周波成分をマスキング関数に応じて設定するステップと、
前記修正された第2の高周波画像データを前記第1の画像データに追加するステップと
を含む、請求項1〜6のいずれか一項に記載の方法。
【請求項９】
前記第2の画像データを高域通過フィルタにかけることによって、高周波の第2の画像データを生成するステップと、
少なくとも1つの焦点距離を提供するステップと、
前記深さ情報に基づいて、前記高周波の第2の画像データ内で、前記少なくとも1つの焦点距離に実質上等しい距離に関連する1つまたは複数の領域を識別するステップと、
前記識別された1つまたは複数の領域以外の領域内の前記高周波の第2の画像データをマスキング関数に応じて設定するステップと、
前記修正された高周波の第2の画像データを前記第1の画像データに追加するステップと
を含む、請求項1〜6のいずれか一項に記載の方法。
【請求項１０】
画像処理機能を使用して前記取り込まれた画像を処理するステップを含み、1つまたは複数の画像処理機能パラメータが前記深さ情報に依存しており、好ましくは、前記画像を処理するステップが、前記第1の画像データおよび/または前記第2の画像データをフィルタにかけることを含み、前記フィルタの1つまたは複数のフィルタパラメータが前記深さ情報に依存する、
請求項1〜6のいずれか一項に記載の方法。
【請求項１１】
多開口画像データを使用して深さ関数を判定する方法であって、
異なる物体とカメラの距離で1つまたは複数の物体の画像を取り込むステップであって、各画像が、少なくとも第1の開口を使用して電磁スペクトルの少なくとも第1の部分に関連するスペクトルエネルギーに、また少なくとも第2の開口を使用して前記電磁スペクトルの少なくとも第2の部分に関連するスペクトルエネルギーに、画像センサを同時に露出させることによって取り込まれる、取り込むステップと、
前記取り込まれた画像の少なくとも一部に対して、前記電磁スペクトルの前記第1の部分に関連する第1の画像データおよび前記電磁スペクトルの前記第2の部分に関連する第2の画像データを生成するステップと、
前記第1の画像データの少なくとも1つの領域内の第1のシャープネス情報と前記第2の画像データの対応する領域内の第2のシャープネス情報との間の関係を前記距離の関数として判定することによって、深さ関数を生成するステップとを含む方法。
【請求項１２】
電磁スペクトルの前記第1の部分に関連する第1の画像データおよび前記電磁スペクトルの前記第2の部分に関連する第2の画像データを受け取る入力端と、
前記第1の画像データの少なくとも1つの領域内の第1のシャープネス情報および前記第2の画像データの対応する領域内の第2のシャープネス情報を判定する少なくとも1つの高域通過フィルタと、
前記電磁スペクトルの第1の部分に関連する画像データと前記電磁スペクトルの第2の部分に関連する画像データとの間のシャープネス情報の差と、距離、好ましくは物体とカメラの距離との間の関係を含む深さ関数を含むメモリと、
前記深さ関数、ならびに前記高域通過フィルタから受け取った前記第1のシャープネス情報および前記第2のシャープネス情報に基づいて深さ情報を生成する深さ情報処理装置と
を備える信号処理モジュール。
【請求項１３】
画像センサと、
光学レンズシステムと、
少なくとも第1の開口を使用して電磁スペクトルの少なくとも第1の部分に関連するスペクトルエネルギーに、また少なくとも第2の開口を使用して前記電磁スペクトルの少なくとも第2の部分に関連するスペクトルエネルギーに、前記画像センサを同時に露出させるように構成された波長選択性の多開口と、
前記電磁スペクトルの前記第1の部分に関連する第1の画像データおよび前記電磁スペクトルの前記第2の部分に関連する第2の画像データを生成する第1の処理モジュールと、
前記第1の画像データの少なくとも1つの領域内の第1のシャープネス情報および前記第2の画像データの少なくとも1つの領域内の第2のシャープネス情報に基づいて、前記画像データに関連する深さ情報を生成する第2の処理モジュールと
を備える多開口撮像システム。
【請求項１４】
請求項12に記載の信号処理モジュールおよび/または請求項13に記載の多開口撮像システムを備えるデジタルカメラ、好ましくは移動端末内で使用するためのデジタルカメラ。
【請求項１５】
画像データを処理するコンピュータプログラム製品であって、コンピュータシステムのメモリ内で実行中に、請求項1から10のいずれか一項に記載の方法ステップを実施するように構成されたソフトウェアコード部分を含む、コンピュータプログラム製品。
【請求項１】
多開口画像データを処理する方法であって、
少なくとも第1の開口を使用して電磁スペクトルの少なくとも第1の部分に関連するスペクトルエネルギーに、また少なくとも第2の開口を使用して前記電磁スペクトルの少なくとも第2の部分に関連するスペクトルエネルギーに、撮像システム内の画像センサを同時に露出させることによって、1つまたは複数の物体に関連する画像データを取り込むステップと、
前記電磁スペクトルの前記第1の部分に関連する第1の画像データおよび前記電磁スペクトルの前記第2の部分に関連する第2の画像データを生成するステップと、
前記第1の画像データの少なくとも1つの領域内の第1のシャープネス情報および前記第2の画像データの少なくとも1つの領域内の第2のシャープネス情報に基づいて、前記取り込まれた画像に関連する深さ情報を生成するステップと
を含む方法。
【請求項２】
前記第1の画像データの少なくとも1つの領域内の第1のシャープネス情報と前記第2の画像データの少なくとも1つの領域内の第2のシャープネス情報との間の差を、前記撮像システムと前記物体の少なくとも1つとの間の距離に関係付けるステップ
を含む、請求項1に記載の方法。
【請求項３】
所定の深さ関数を使用して、前記第1のシャープネス情報と前記第2のシャープネス情報との間の前記差を前記距離に関係付けるステップ
を含む、請求項2に記載の方法。
【請求項４】
好ましくは高域通過フィルタを使用して、空間領域内の第1のシャープネス情報および/もしくは第2のシャープネス情報を判定し、または好ましくはフーリエ変換を使用することによって、周波数領域内の前記第1のシャープネス情報および/もしくは前記第2のシャープネス情報を判定するステップ
を含む、請求項1〜3のいずれか一項に記載の方法。
【請求項５】
前記電磁スペクトルの前記第1の部分が、可視スペクトルの少なくとも一部に関連し、かつ/または前記電磁スペクトルの前記第2の部分が、非可視スペクトル、好ましくは赤外スペクトルの少なくとも一部に関連する、請求項1から4のいずれか一項に記載の方法。
【請求項６】
前記第1のシャープネス情報と前記第2のシャープネス情報との間の前記差および/または比を前記撮像システムと前記1つまたは複数の物体との間の距離に関連付けることによって、前記取り込まれた画像の少なくとも一部に関連する深さマップを生成するステップ
を含む、請求項1〜5のいずれか一項に記載の方法。
【請求項７】
前記深さ情報に基づいて前記第1の画像データ内の画素をシフトさせることによって、立体視で使用するための少なくとも1つの画像を生成するステップ
を含む、請求項1〜6のいずれか一項に記載の方法。
【請求項８】
前記第2の画像データを高域通過フィルタにかけることによって、高周波の第2の画像データを生成するステップと、
少なくとも1つの閾値距離または少なくとも1つの距離範囲を提供するステップと、
前記深さ情報に基づいて、前記高周波の第2の画像データ内で、前記閾値距離より大きいもしくは小さい距離に関連する1つもしくは複数の領域を識別し、または前記高周波の第2の画像データ内で、前記少なくとも1つの距離範囲内の距離に関連する1つもしくは複数の領域を識別するステップと、
前記第2の高周波画像データの前記識別された1つまたは複数の領域内の高周波成分をマスキング関数に応じて設定するステップと、
前記修正された第2の高周波画像データを前記第1の画像データに追加するステップと
を含む、請求項1〜6のいずれか一項に記載の方法。
【請求項９】
前記第2の画像データを高域通過フィルタにかけることによって、高周波の第2の画像データを生成するステップと、
少なくとも1つの焦点距離を提供するステップと、
前記深さ情報に基づいて、前記高周波の第2の画像データ内で、前記少なくとも1つの焦点距離に実質上等しい距離に関連する1つまたは複数の領域を識別するステップと、
前記識別された1つまたは複数の領域以外の領域内の前記高周波の第2の画像データをマスキング関数に応じて設定するステップと、
前記修正された高周波の第2の画像データを前記第1の画像データに追加するステップと
を含む、請求項1〜6のいずれか一項に記載の方法。
【請求項１０】
画像処理機能を使用して前記取り込まれた画像を処理するステップを含み、1つまたは複数の画像処理機能パラメータが前記深さ情報に依存しており、好ましくは、前記画像を処理するステップが、前記第1の画像データおよび/または前記第2の画像データをフィルタにかけることを含み、前記フィルタの1つまたは複数のフィルタパラメータが前記深さ情報に依存する、
請求項1〜6のいずれか一項に記載の方法。
【請求項１１】
多開口画像データを使用して深さ関数を判定する方法であって、
異なる物体とカメラの距離で1つまたは複数の物体の画像を取り込むステップであって、各画像が、少なくとも第1の開口を使用して電磁スペクトルの少なくとも第1の部分に関連するスペクトルエネルギーに、また少なくとも第2の開口を使用して前記電磁スペクトルの少なくとも第2の部分に関連するスペクトルエネルギーに、画像センサを同時に露出させることによって取り込まれる、取り込むステップと、
前記取り込まれた画像の少なくとも一部に対して、前記電磁スペクトルの前記第1の部分に関連する第1の画像データおよび前記電磁スペクトルの前記第2の部分に関連する第2の画像データを生成するステップと、
前記第1の画像データの少なくとも1つの領域内の第1のシャープネス情報と前記第2の画像データの対応する領域内の第2のシャープネス情報との間の関係を前記距離の関数として判定することによって、深さ関数を生成するステップとを含む方法。
【請求項１２】
電磁スペクトルの前記第1の部分に関連する第1の画像データおよび前記電磁スペクトルの前記第2の部分に関連する第2の画像データを受け取る入力端と、
前記第1の画像データの少なくとも1つの領域内の第1のシャープネス情報および前記第2の画像データの対応する領域内の第2のシャープネス情報を判定する少なくとも1つの高域通過フィルタと、
前記電磁スペクトルの第1の部分に関連する画像データと前記電磁スペクトルの第2の部分に関連する画像データとの間のシャープネス情報の差と、距離、好ましくは物体とカメラの距離との間の関係を含む深さ関数を含むメモリと、
前記深さ関数、ならびに前記高域通過フィルタから受け取った前記第1のシャープネス情報および前記第2のシャープネス情報に基づいて深さ情報を生成する深さ情報処理装置と
を備える信号処理モジュール。
【請求項１３】
画像センサと、
光学レンズシステムと、
少なくとも第1の開口を使用して電磁スペクトルの少なくとも第1の部分に関連するスペクトルエネルギーに、また少なくとも第2の開口を使用して前記電磁スペクトルの少なくとも第2の部分に関連するスペクトルエネルギーに、前記画像センサを同時に露出させるように構成された波長選択性の多開口と、
前記電磁スペクトルの前記第1の部分に関連する第1の画像データおよび前記電磁スペクトルの前記第2の部分に関連する第2の画像データを生成する第1の処理モジュールと、
前記第1の画像データの少なくとも1つの領域内の第1のシャープネス情報および前記第2の画像データの少なくとも1つの領域内の第2のシャープネス情報に基づいて、前記画像データに関連する深さ情報を生成する第2の処理モジュールと
を備える多開口撮像システム。
【請求項１４】
請求項12に記載の信号処理モジュールおよび/または請求項13に記載の多開口撮像システムを備えるデジタルカメラ、好ましくは移動端末内で使用するためのデジタルカメラ。
【請求項１５】
画像データを処理するコンピュータプログラム製品であって、コンピュータシステムのメモリ内で実行中に、請求項1から10のいずれか一項に記載の方法ステップを実施するように構成されたソフトウェアコード部分を含む、コンピュータプログラム製品。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６Ａ】
【図６Ｂ】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６Ａ】
【図６Ｂ】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公表番号】特表２０１３−５２０８５４（Ｐ２０１３−５２０８５４Ａ）
【公表日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願番号】特願２０１２−５５３１９６（Ｐ２０１２−５５３１９６）
【出願日】平成２２年２月１９日（２０１０．２．１９）
【国際出願番号】ＰＣＴ／ＥＰ２０１０／０５２１５１
【国際公開番号】ＷＯ２０１１／１０１０３５
【国際公開日】平成２３年８月２５日（２０１１．８．２５）
【出願人】（５１２２１６１６０）デュアル・アパーチャー・インコーポレーテッド (2)
【Ｆターム（参考）】
【公表日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願日】平成２２年２月１９日（２０１０．２．１９）
【国際出願番号】ＰＣＴ／ＥＰ２０１０／０５２１５１
【国際公開番号】ＷＯ２０１１／１０１０３５
【国際公開日】平成２３年８月２５日（２０１１．８．２５）
【出願人】（５１２２１６１６０）デュアル・アパーチャー・インコーポレーテッド (2)
【Ｆターム（参考）】
[ Back to top ]