画像演算装置、撮像装置および画像演算プログラム
【課題】シーンの奥行き情報を取得するには少なくとも特殊な開口形状を有するマスクである構造化開口を光学系に配置する。すると、観賞用等としての通常の撮影画像を撮影するときには構造化開口を被写体光束から退避させ、距離情報を取得するための撮影画像を撮影するときには構造化開口を被写体光束に挿入する必要があった。
【解決手段】上記課題を解決するために、画像演算装置は、赤外光パターンを照射された被写体を撮像した赤外画像を取得する取得部と、赤外画像に写った赤外光パターンのエッジ情報に基づいて、被写体の奥行き情報を演算する演算部とを備える。
【解決手段】上記課題を解決するために、画像演算装置は、赤外光パターンを照射された被写体を撮像した赤外画像を取得する取得部と、赤外画像に写った赤外光パターンのエッジ情報に基づいて、被写体の奥行き情報を演算する演算部とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像演算装置、撮像装置および画像演算プログラムに関する。
【背景技術】
【０００２】
レンズ光学系の絞り位置にＲＧＢ三色のカラーフィルタからなる構造化開口を配置したカメラでシーンを撮影することにより、一枚の画像データからシーンの奥行き情報を取得する技術が知られている（例えば非特許文献１）。
［先行技術文献］
［非特許文献１］カメラの絞りに色フィルタを用いた奥行き推定と前景マット抽出（Ｖｉｓｕａｌ Ｃｏｍｐｕｔｉｎｇ／グラフィクスとＣＡＤ合同シンポジウム２００８）
【発明の概要】
【発明が解決しようとする課題】
【０００３】
上述のように、奥行き情報を取得するには少なくとも特殊な開口形状を有するマスクである構造化開口を光学系に配置する。したがって、観賞用等としての通常の撮影画像を撮影するときには構造化開口を被写体光束から退避させ、距離情報を取得するための撮影画像を撮影するときには構造化開口を被写体光束に挿入する必要があった。
【課題を解決するための手段】
【０００４】
上記課題を解決するために、本発明の第１の態様における画像演算装置は、赤外光パターンを照射された被写体を撮像した赤外画像を取得する取得部と、赤外画像に写った赤外光パターンのエッジ情報に基づいて、被写体の奥行き情報を演算する演算部とを備える。
【０００５】
上記課題を解決するために、本発明の第２の態様における撮像装置は、上記の画像演算装置を含む撮像装置であって、赤外光パターンを照射する赤外照射部と、赤外光波長帯域に感度を持つ赤外光受光画素を有する撮像素子とを備える。
【０００６】
上記課題を解決するために、本発明の第３の態様における画像演算プログラムは、赤外光パターンを照射された被写体を撮像した赤外画像を取得する取得ステップと、赤外画像に写った赤外光パターンのエッジ情報に基づいて、被写体の奥行き情報を演算する演算ステップとをコンピュータに実行させる。
【０００７】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【０００８】
【図１】本実施形態に係る一眼レフカメラの要部断面図である。
【図２】撮像素子の画素上に配置された画素フィルタの説明図である。
【図３】撮像素子の画素が感度を有する波長帯と、パターン照射部が照射する赤外光パターンの波長帯の関係を示す図である。
【図４】一眼レフカメラのシステム構成を概略的に示すブロック図である。
【図５】パターン照射の様子を示す説明図である。
【図６】奥行き方向におけるパターン照射の様子の違いを説明する説明図である。
【図７】ぼけマップ生成処理を説明する図である。
【図８】撮影シーケンスを説明する処理フロー図である。
【図９】赤外光用撮像素子と可視光用撮像素子を配置したレンズ交換式カメラの断面図である。
【発明を実施するための形態】
【０００９】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１０】
図１は、本実施形態に係る一眼レフカメラ２００の要部断面図である。一眼レフカメラ２００は、撮影レンズであるレンズユニット２１０とカメラボディであるカメラユニット２３０が組み合わされて撮像装置として機能する。
【００１１】
レンズユニット２１０は、光軸２０１に沿って配列されたレンズ群２１１を備える。レンズ群２１１には、フォーカスレンズ２１２、ズームレンズ２１３が含まれる。レンズユニット２１０は、フォーカスレンズ２１２の駆動などレンズユニット２１０の制御および演算を司るレンズシステム制御部２１６を備える。レンズユニット２１０を構成する各要素は、レンズ鏡筒２１７に支持されている。
【００１２】
また、レンズユニット２１０は、カメラユニット２３０との接続部にレンズマウント２１８を備え、カメラユニット２３０が備えるカメラマウント２３１と係合して、カメラユニット２３０と一体化する。レンズマウント２１８およびカメラマウント２３１はそれぞれ、機械的な係合部の他に電気的な接続部も備え、カメラユニット２３０からレンズユニット２１０への電力の供給および相互の通信を実現している。
【００１３】
カメラユニット２３０は、レンズユニット２１０から入射される被写体像を反射するメインミラー２３２と、メインミラー２３２で反射された被写体像が結像するピント板２３４を備える。メインミラー２３２は、回転軸２３３周りに回転して、光軸２０１を中心とする被写体光束中に斜設される状態と、被写体光束から退避する状態を取り得る。ピント板２３４側へ被写体像を導く場合は、メインミラー２３２は被写体光束中に斜設される。また、ピント板２３４は、撮像素子２４３の受光面と共役の位置に配置されている。
【００１４】
ピント板２３４で結像した被写体像は、ペンタプリズム２３５で正立像に変換され、接眼光学系２３６を介してユーザに観察される。また、ペンタプリズム２３５の射出面上方にはＡＥセンサ２３７が配置されており、被写体像の輝度分布を検出する。
【００１５】
斜設状態におけるメインミラー２３２の光軸２０１の近傍領域は、ハーフミラーとして形成されており、入射される光束の一部が透過する。透過した光束は、メインミラー２３２と連動して動作するサブミラー２３８で反射されて、ＡＦ光学系２３９へ導かれる。ＡＦ光学系２３９を通過した被写体光束は、ＡＦセンサ２４０へ入射される。ＡＦセンサ２４０は、受光した被写体光束から位相差信号を検出する。なお、サブミラー２３８は、メインミラー２３２が被写体光束から退避する場合は、メインミラー２３２に連動して被写体光束から退避する。
【００１６】
斜設されたメインミラー２３２の後方には、光軸２０１に沿って、フォーカルプレーンシャッタ２４１、光学ローパスフィルタ２４２、撮像素子２４３が配列されている。フォーカルプレーンシャッタ２４１は、撮像素子２４３へ被写体光束を導くときに開放状態を取り、その他のときに遮蔽状態を取る。光学ローパスフィルタ２４２は、撮像素子２４３の画素ピッチに対する被写体像の空間周波数を調整する役割を担う。そして、撮像素子２４３は、例えばＣＭＯＳセンサなどの光電変換素子であり、受光面で結像した被写体像を電気信号に変換する。
【００１７】
撮像素子２４３で光電変換された電気信号は、メイン基板２４４に搭載されたＤＳＰである画像処理部２４６で画像データに処理される。メイン基板２４４には、画像処理部２４６の他に、カメラユニット２３０のシステムを統合的に制御するＭＰＵであるカメラシステム制御部２４５が搭載されている。カメラシステム制御部２４５は、カメラシーケンスを管理すると共に、各構成要素の入出力処理等を行う。
【００１８】
カメラユニット２３０の背面には液晶モニタ等による表示部２４７が配設されており、画像処理部２４６で処理された被写体画像が表示される。表示部２４７は、撮影後の静止画像に限らず、ビューファインダとしてのＥＶＦ画像、各種メニュー情報、撮影情報等を表示する。また、カメラユニット２３０には、着脱可能な二次電池２４８が収容され、カメラユニット２３０に限らず、レンズユニット２１０にも電力を供給する。
【００１９】
ペンタプリズム２３５の近傍にはフラッシュ２４９を備えており、カメラシステム制御部２４５の制御により被写体を照射する。また、カメラユニット２３０は、フラッシュ２４９とは別に、パターン照射部２５０を、同じくペンタプリズム２３５の近傍に備えている。パターン照射部２５０は、被写体に対して赤外光パターンを照射するユニットである。パターン照射部２５０は、赤外光を発光する赤外発光部２５１、被写体へ照射する格子状のパターンが印刷されたパターンマスク２５２、照射レンズ２５３を備える。
【００２０】
また、赤外光パターンの照射光束中、特に照射レンズ２５３の瞳近傍に、ウェーブフロントコーディング光学素子（ＷＣＯＥ）２５４が配設される。ＷＣＯＥ２５４は、赤外光パターンの焦点深度を、照射レンズ２５３単独の場合に比較して大幅に深くする光学素子である。すなわち、ＷＣＯＥ２５４を赤外光パターンの照射光束中に配設することにより、デフォーカス平面上に投影された赤外光パターンのぼけを抑制することができる。ＷＣＯＥ２５４は、例えば三次関数で定義された位相曲面を有する。
【００２１】
パターン照射部２５０は、さらに、赤外光パターンの照射光束の外側に複数のＷＣＯＥ２５４と、これらの一つを照射光束中のＷＣＯＥ２５４と入れ替えるＷＣＯＥ入替部２５５を備える。複数のＷＣＯＥ２５４は、それぞれ異なる特性を有する。具体的には、それぞれのＷＣＯＥ２５４は、互いに異なる拡張倍率を有する。拡張倍率とは、照射レンズ２５３単独の場合の焦点深度に対する、ＷＣＯＥ２５４配設時の焦点深度の比である。
【００２２】
図２は、撮像素子２４３の画素上に配置された画素フィルタの説明図である。本実施例における画素フィルタの配列は、図示するように、４画素を１組として、各画素上にＲ画素フィルタ、Ｇ画素フィルタ、Ｂ画素フィルタおよびＩＲ画素フィルタが設けられている。ＩＲ画素フィルタは、赤外光の波長帯を透過するフィルタである。したがって、各画素が感度を有する波長帯は、それぞれに設けられた画素フィルタによって規制される。撮像素子２４３の全体としては、２次元的に配列された画素のそれぞれが離散的にＲ画素フィルタ、Ｇ画素フィルタ、Ｂ画素フィルタおよびＩＲ画素フィルタのいずれかを備えることになるので、撮像素子２４３は、入射する被写体光束をそれぞれの波長帯に分離して検出していると言える。換言すれば、撮像素子２４３は、受光面に結像する被写体像をＲＧＢ＋ＩＲの４つの波長帯に分離して光電変換する。
【００２３】
図３は、撮像素子２４３の画素が感度を有する波長帯と、パターン照射部２５０が照射する赤外光パターンの波長帯の関係を示す図である。図は、縦軸に透過率（％）を、横軸に波長（ｎｍ）を示す。透過率が高い波長の光ほど、画素を構成するフォトダイオードに到達することを表す。
【００２４】
Ｂ曲線３０１は、Ｂ画素フィルタが設けられた画素の感度を示し、同様にＧ曲線３０２はＧ画素フィルタが設けられた画素の感度を、Ｒ曲線３０３はＲ画素フィルタが設けられた画素の感度を、ＩＲ曲線３０４はＩＲ画素フィルタが設けられた画素の感度を示す。また、パターン照射部２５０が照射する赤外光パターンの波長帯は、矢印３１１で表される。
【００２５】
すなわち、被写体で反射された赤外光パターンは、主としてＩＲ画素フィルタが設けられた赤外光受光画素でのみ受光される。換言すれば、Ｒ画素フィルタ、Ｇ画素フィルタ、Ｂ画素フィルタが設けられたＲＧＢ画素は、赤外光パターンを捉えることができない。つまり、赤外光パターンは、可視光波長帯を受光するＲＧＢ画素に影響を及ぼさない。
【００２６】
すると、赤外受光画素の出力のみを集めれば、赤外光パターンが写り込んだ被写体画像を形成することができる。この被写体画像は赤外画像であり、この画像に対して後述の演算処理を行うことにより、奥行き情報を取得することができる。
【００２７】
同時に、Ｒ画素フィルタ、Ｇ画素フィルタ、Ｂ画素フィルタが設けられたＲＧＢ画素の出力を集めれば、赤外光パターンに何ら影響を受けていないカラーの被写体画像を形成できる。つまり、観賞用等に耐え得る通常の被写体画像としての本撮影画像を取得することができる。したがって、一度の撮影動作により、赤外光パターンが写り込んだ赤外画像と、赤外光パターンの影響を受けていない本撮影画像の両方を取得することができる。
【００２８】
次に、本実施形態に係る一眼レフカメラ２００のシステム構成を説明する。図４は、一眼レフカメラのシステム構成を概略的に示すブロック図である。一眼レフカメラ２００のシステムは、レンズユニット２１０とカメラユニット２３０のそれぞれに対応して、レンズシステム制御部２１６を中心とするレンズ制御系と、カメラシステム制御部２４５を中心とするカメラ制御系により構成される。そして、レンズ制御系とカメラ制御系は、レンズマウント２１８とカメラマウント２３１によって接続される接続部を介して、相互に各種データ、制御信号の授受を行う。
【００２９】
カメラ制御系に含まれる画像処理部２４６は、カメラシステム制御部２４５からの指令に従って、撮像素子２４３で光電変換されたＲＧＢ画素出力からなる撮像信号を、本撮影画像としての画像データを生成する。また、画像処理部２４６は、赤外光受光素子の出力からなる撮像信号を処理して、赤外画像を生成する。生成された赤外画像はぼけマップ演算部２６１へ引き渡され、ぼけマップ演算部２６１は、後述の手法によりぼけマップを生成する。ぼけマップは、本撮影画像に対する奥行き情報を表現する。画像処理部２４６は、生成されたぼけマップを参照して、本撮影画像の画像データにぼけ処理を施す。表示部２４７は、ぼけ処理が施された画像データを表示する。その後、画像処理部２４６は、画像データを所定の画像フォーマットに加工し、カメラシステム制御部２４５は、外部接続ＩＦ２６４を介して、当該画像データを外部メモリに記録する。
【００３０】
カメラメモリ２６２は、例えばフラッシュメモリなどの不揮発性メモリであり、生成された画像データの一時的な記録場所としての他に、一眼レフカメラ２００を制御するプログラム、各種パラメータなどを記録する役割を担う。ワークメモリ２６３は、例えばＲＡＭなどの高速アクセスできるメモリであり、処理中の画像データを一時的に保管する役割などを担う。
【００３１】
レリーズスイッチ２６５は押し込み方向に２段階のスイッチ位置を備えており、カメラシステム制御部２４５は、第１段階のスイッチであるＳＷ１がＯＮになったことを検出すると、ＡＦセンサ２４０から位相差情報を取得する。そして、取得した位相差情報に基づいてＷＣＯＥ入替部２５５を駆動して、選択したＷＣＯＥ２５４を、赤外光パターンの照射光束中に配設する。また、ＡＥセンサ２３７から被写体像の輝度分布を取得して露出値を決定する。さらに、第２段階のスイッチであるＳＷ２がＯＮになったことを検出すると、カメラシステム制御部２４５は、赤外発光部２５１を発光させて被写体へ赤外光パターンを照射し、予め定められた処理フローに従って撮影動作を実行する。具体的な処理フローについては後述する。
【００３２】
レンズシステム制御部２１６は、カメラシステム制御部２４５からの制御信号を受けて各種動作を実行する。レンズメモリ２２１は、レンズユニット２１０に固有の情報を保管している。例えば、レンズメモリ２２１は、レンズユニット２１０の焦点距離、開放絞り情報等を、レンズシステム制御部２１６を介して、カメラシステム制御部２４５へ提供する。
【００３３】
図５は、パターン照射の様子を示す説明図である。図５（ａ）は、パターン照射する前の被写体の様子を示す。図示するように、物が置かれたテーブル５０１と、後方の壁面５０２および壁面５０２に設けられた窓を覆うブラインド５０３が被写体として存在する。
【００３４】
図５（ｂ）は、パターン照射部２５０により赤外光パターン５１０が被写体に照射された様子を示す。パターン照射部２５０は、カメラシステム制御部２４５の制御により、例えば高輝度ＬＥＤによって構成される赤外発光部２５１が発光されて、パターンマスク２５２に規定されるパターンを被写体に照射する。本実施形態においては、格子状のパターンが被写体に照射されている。なお、赤外光パターン５１０は赤外光によるパターンなので、被写体として含まれる人物に、可視光波長帯であれば不愉快と感じさせるパターン光を認識させることが無い。また、赤外画像は図５（ｂ）のように取得され、本撮影画像は図５（ａ）のように取得される。
【００３５】
複数の水平方向のラインが垂直方向に連続するブラインド５０３、表面にコントラストが存在しない壁面５０２等の対象物については、ＡＦセンサ２４０から位相差情報を取得することは困難である。しかし、本実施形態のようにアクティブに格子パターンを照射するのであれば、後述の処理により、ほとんどの被写体において奥行き情報を取得することができる。また、テーブル５０１とブラインド５０３には相当の奥行き差があるが、適当なＷＣＯＥ２５４を介在させて赤外光パターン５１０を照射することにより、格子パターンの拡散を一定の範囲に収めている。つまり、シーンの奥行き方向に亘って、格子パターンを観察できる。なお、ここでの「観察される」とは、人間によって視認されるのではなく、赤外画像として取得できるという意味である。また、図５（ｂ）においては、便宜上、格子パターンの線幅を一定として表現しているが、実際には以下に説明するように、線幅もコントラストも奥行きに応じて変化する。
【００３６】
図６は、奥行き方向におけるパターン照射の様子の違いを説明する説明図である。一眼レフカメラ２００のパターン照射部２５０からシーンに照射された赤外光パターンは、フォーカス面である第１平面において焦点を結ぶ。つまり、第１平面において、赤外光パターンはコントラストが最大となる。この第１平面上に被写体が存在すれば、その表面に最大のコントラストで赤外光パターンが観察される。
【００３７】
第１平面から奥行き方向にずれたデフォーカス平面においては、第１平面から遠ざかるにつれて赤外光パターンのコントラストは徐々に低下する。したがって、第２平面に比べて第１平面からより遠い第３平面では、第２平面で観察される赤外光パターンよりも、より薄い赤外光パターンが観察される。
【００３８】
つまり、図５で示すシーンのように、奥行き方向に複数の物体が存在すれば、その奥行きに応じてコントラストの異なる赤外光パターンが、それぞれの物体の表面に観察されることになる。
【００３９】
また、赤外光パターンは、フォーカス面である第１平面において線幅が最も狭くなる。そして、第１平面から遠ざかるにつれて線幅が徐々に広がる。つまり、奥行き方向に複数の物体が存在すれば、その奥行きに応じて線幅の異なる赤外光パターンが、それぞれの物体の表面に観察されることになる。
【００４０】
本実施形態においては、特に、赤外光パターンのエッジ情報としてコントラストの変化に着目して奥行き情報を算出する。図６（ａ）は、各平面において観察されるパターンのうち、縦ラインの一部を切り取った様子を示す。図６（ａ）として模式的に示すように、第１平面において観察されるパターンはくっきりとしている。それが第２平面、第３平面と遠ざかるにつれて、徐々にぼんやりしたパターンとなる。これを、Ａ−Ａにおける輝度値で表すと、図６（ｂ）のようになる。すなわち、第１平面におけるパターンは、輝度値が大きく、パターンの境界で急峻な立ち上がりを示す。一方第２平面、第３平面と遠ざかるにつれて、最大輝度値は徐々に低下し、パターンの境界も徐々になだらかになっている様子がわかる。
【００４１】
図６（ｂ）のＡ−Ａにおける輝度値に対して微分値を算出すると、図６（ｃ）のように表される。第１平面で観察されるパターンの場合は、境界における急峻な変化が、狭く高い凸形状となって現れる。なお、微分値は、非パターン部からパターン部へ向かう場合がプラス、パターン部から非パターン部へ向かう場合がマイナスと定義されるので、パターンの境界部に山状の凸形状と谷状の凸形状がそれぞれ現れる。
【００４２】
一方、第２平面、第３平面と遠ざかるにつれて徐々に、凸形状の裾野は広がり、高さも低く観察される。つまり、赤外光パターンのコントラストは、微分値で評価することができる。換言すれば、赤外光パターンの微分値を評価することにより、奥行き情報を取得することができる。より単純には、凸形状の高さである微分値の最大値により奥行き情報を取得できる。この微分値の最大値を評価値として赤外画像に対応する２次元平面の領域ごとに演算を行えば、奥行き方向のぼけを数値で表現したぼけマップを生成することができる。以下に具体的なぼけマップの生成処理について説明する。
【００４３】
図７は、ぼけマップ生成処理を説明する図である。まず、赤外画像として図７（ａ）に示す取得画像が取得される。ここでは、奥行き方向に３つの矩形物体が存在する場合を想定する。赤外画像は、被写体像として最も手前に存在する第１物体に照射された赤外光パターンに対応する第１領域、中間に存在する第２物体に対応する第２領域、最も遠い位置に存在する第３物体に対応する第３領域を有する。他の領域は、赤外光パターンが届かない無限遠背景である。なお、ここでは第１物体の被照射平面がフォーカス面であるとする。
【００４４】
取得した赤外画像の赤外光パターンに対して、ｘ方向、ｙ方向、ｘｙ±４５度方向に微分値を算出し、その絶対値を足し合わせる。絶対値とするのは、非パターン部からパターン部へ向かう場合であっても、パターン部から非パターン部へ向かう場合であっても同等に扱うためである。また、複数の方向から微分値を算出するのは、赤外光パターンのエッジに対して交差する方向を含むようにサンプルすることで、より確実に画素値の変化を抽出することを目的とする。この値を各画素に割り当てて視覚化すると図７（ｂ）に示す微分画像が得られる。
【００４５】
次に、図７（ｃ）に示すように、着目する画素Ｐｉを中心として一辺がｗの演算ウィンドウを、微分画像から抽出する。そして、この演算ウィンドウ内に含まれるすべての画素を対象に、その値をヒストグラム化する。すると、図７（ｄ）で表されるような、一定のレンジごとに区分された微分値に対して画素数でカウントした頻度による、微分値のヒストグラムが得られる。そして、このヒストグラムのうち最頻値を示す微分値Ｖｉを、画素Ｐｉに対する評価値と定める。このような処理により、画素Ｐｉの微分値そのものでなく、周辺部を含めた微小領域の代表的な微分値Ｖを、画素Ｐｉの評価値と定めることができる。そして、演算ウィンドウを上下左右にずらしつつ、全画素に対してこの処理を実行する。すると、同程度のコントラストを示す赤外光パターンに対応する領域は、その全域に亘って、含まれる画素ごとに演算される評価値が、ほぼ同じ値を示すことになる。
【００４６】
図の例においては、第１領域の各画素は全域に亘ってほぼ同じ値である評価値Ｖ１を示し、同様に、第２領域は評価値Ｖ２を、第３領域は評価値Ｖ３を示す。そして、第１領域における赤外光パターンのコントラストは高く、第３領域においては低い。したがって、評価値の大小関係は、Ｖ１＞Ｖ２＞Ｖ３となる。なお、無限遠背景であるその他の領域の評価値は０である。
【００４７】
このように、異なる奥行き方向に対応する領域ごとに、異なる評価値が定められる。評価値は、赤外光パターンのコントラストに対応する値であるが、そもそもは、フォーカス面から奥行き方向に離れるに従って点像が徐々にぼけていく物理現象に起因する値である。したがって、赤外画像に対応して２次元平面の領域ごとに評価値が割り当てられて生成されたこの数値の配列は、いわばぼけマップと言える。
【００４８】
そして、赤外画像の各領域は本撮影画像の各領域と一対一に対応しているので、ぼけマップは、本撮影画像に写る被写体の奥行き情報を表すと言える。すると、本撮影画像データと共にぼけマップを奥行き情報として持てば、以下のような処理に応用できる。
【００４９】
まず第１に、奥行きに応じたぼけ量を、事後的に画像処理によって与えることができる。すなわち、ぼけマップの評価値に連動させたぼけ量を各領域に与えれば、ピント面に近い奥行きで小さくぼけ、遠い奥行きで大きくぼけた、視覚的に違和感の少ない自然な画像データを取得できる。例えば、サイズの小さな撮像素子を利用するコンパクトデジカメ等においては、被写界深度が必然的に深くなり、一般的にはパンフォーカスに近い画像しか得られなかったが、このような機器であっても、ぼけマップを利用した画像処理により、ぼけ味のある良好な画像データを生成できる。
【００５０】
また、ぼけマップを参照することにより、本撮影画像に写る被写体を奥行きごとに分離できる。すると、連続的に撮影された複数の本撮影画像データにおいて特定被写体の動きを追跡したり、特定被写体のみに特殊効果を適用したりできる。
【００５１】
さらには、奥行き方向の既知の距離における評価値をシミュレーション等により予め取得して、評価値と被写体距離の対応テーブルを準備しておけば、ぼけマップを深さマップに変換することもできる。深さマップは、いわゆる距離画像と等価である。すなわち、本撮影画像データの取得と共にぼけマップを生成すれば、本撮影画像に写る各被写体までの絶対距離を取得できることになる。
【００５２】
次に、ぼけマップを生成し、ぼけマップを参照して本撮影画像のぼけ量を調整する一連の撮影処理について説明する。図８は、撮影シーケンスを説明する処理フロー図である。本フローにおける一連の処理は、一眼レフカメラ２００が撮影モードに切り替えられた時点から開始される。
【００５３】
カメラシステム制御部２４５は、ステップＳ１０１で、ユーザからの撮影準備指示を待つ。具体的には、レリーズスイッチ２６５がユーザによって操作されてＳＷ１がＯＮになるのを待つ。ＳＷ１がＯＮになったらステップＳ１０２へ進み、カメラシステム制御部２４５は、ＡＦセンサ２４０を駆動してＡＦ処理を実行する。具体的には、カメラシステム制御部２４５は、ＡＦセンサ２４０の出力から焦点検出領域における位相差情報を取得し、主となる焦点検出領域に対してデフォーカス量が０となるように、レンズシステム制御部２１６を介してフォーカスレンズ２１２を移動させる。
【００５４】
すると、特定に被写体に対して焦点が合った状態となる。つまり、この時点において図６で説明した第１平面が確定する。また、焦点検出領域は被写界に対して離散的に複数設定されているので、奥行き方向に存在位置の異なる複数の被写体に対してそれぞれデフォーカス情報を取得することができる。これらの被写体に対してぼけマップを生成する場合、最も手前の被写体から最も奥の被写体までの評価値を演算することになる。そこで、最も手前の被写体に対するデフォーカス量と、最も奥の被写体に対するデフォーカス量から撮像範囲Ｌを計算する。撮像範囲Ｌは、レンズユニット２１０のレンズ情報を加味して算出する。具体的には、レンズユニット２１０の焦点距離情報、フォーカスレンズ２１２の移動位置情報をレンズシステム制御部２１６から取得して算出する。なお、焦点検出領域は離散的であるので、デフォーカス情報から算出される距離情報も離散的である。
【００５５】
撮像範囲Ｌに亘って評価値を演算する場合、この範囲において赤外光パターンの拡散量が予め定められた範囲内でなければならない。照射された赤外光パターンがあまりにも拡散してしまうと、算出される微分値が小さな値となり、誤差が大きくなるからである。そこで、カメラシステム制御部２４５は、ステップＳ１０３において、ＷＣＯＥ入替部２５５を駆動して、撮像範囲Ｌに最適なＷＣＯＥ２５４を赤外光パターンの照射光束中に挿入する。
【００５６】
具体的には、第１平面の位置Ｆｚが算出されれば、パターン照射部２５０の焦点距離およびＦナンバーから焦点深度Ｓｐを計算する。そして、撮像範囲Ｌを焦点深度Ｓｐで除した倍率βを算出する。一方、複数のＷＣＯＥ２５４は、焦点深度をそれぞれ異なる拡張倍率であるαｉ倍する素子として用意されている。そこで、カメラシステム制御部２４５は、算出された倍率βに最も近い拡張倍率αｉを特性として有するＷＣＯＥ２５４を選択する。そして、カメラシステム制御部２４５は、当該ＷＣＯＥ２５４を赤外光パターンの照射光束中に挿入する。
【００５７】
カメラシステム制御部２４５は、ステップＳ１０４へ進み、ユーザからの撮影指示を待つ。具体的には、レリーズスイッチ２６５がユーザによって操作されてＳＷ２がＯＮになるのを待つ。ＳＷ２がＯＮになったらステップＳ１０５へ進み、カメラシステム制御部２４５は、赤外発光部２５１を発光させて、被写体に対して赤外光パターンを照射する。そして、ステップＳ１０６において、赤外光パターンの照射中に撮像素子２４３の露光制御を行う。
【００５８】
カメラシステム制御部２４５は、ステップＳ１０６で露光が完了したら、本撮影画像としての処理とぼけマップを生成する処理を並行して、あるいは順番に行う。ステップＳ１０７では、カメラシステム制御部２４５は、撮像素子２４３のうちＲＧＢ画素の読み出しを行い、読み出したＲＧＢ画像信号を画像処理部２４６へ引き渡す。画像処理部２４６は、ステップＳ１０８で、受け取ったＲＧＢ画像信号から本撮影画像データを生成する。
【００５９】
ステップＳ１０９では、カメラシステム制御部２４５は、撮像素子２４３のうち赤外光受光画素の読み出しを行い、読み出した赤外画像信号を画像処理部２４６へ引き渡す。画像処理部２４６は、受け取った赤外画像信号から赤外画像を生成してぼけマップ演算部２６１へ引き渡す。ぼけマップ演算部２６１は、図７を用いて説明した手順でぼけマップを生成する。
【００６０】
本撮影画像データとぼけマップが共に生成されたら、ステップＳ１１１へ進み、画像処理部２４６は、ぼけマップを参照しながら、本撮影画像データの領域ごとに異なるぼけ量を適用してぼけフィルタ処理を施す。カメラシステム制御部２４５は、ステップＳ１１２で、ぼけ処理が施された本撮影画像データを表示部２４７に表示する。このとき、表示部２４７のサイズに合せて事前に縮小処理を施しても良い。
【００６１】
ユーザは、表示部２４７に表示された、ぼけ処理済みの本撮影画像データを視認して、好みの画像に仕上がっているかを確認する。好みの画像に仕上がっていなければ、操作部材を操作して、ぼけ処理を再実行させる。カメラシステム制御部２４５は、ステップＳ１１３で、ユーザからぼけ処理の再実行指示を受けた場合には、ステップＳ１１１へ戻る。再実行指示ではなくＯＫの指示を受けたら、ステップＳ１１４へ進み、画像処理部２４６に当該ぼけ処理済みの本撮影画像データに対して所定のフォーマット処理等を実行させる。そして、カメラシステム制御部２４５は、外部接続ＩＦ２６４を介して外部メモリに記録する。以上により一連の処理を終了する。
【００６２】
次に、撮像素子の配置についてのバリエーションを説明する。図９は、赤外光用撮像素子９４４と可視光用撮像素子９４３を配置したレンズ交換式カメラ９００の断面図である。図示するように、赤外光波長帯を受光する専用の赤外光用撮像素子９４４と可視光波長帯を受光する可視光用撮像素子９４３を、被写体光束の赤外光波長帯と可視光波長帯を分割するダイクロイックミラー９３２を介して、それぞれ共役となる位置に独立に配置する。赤外光波長帯と可視光波長帯を分割する光学素子は、ダイクロイックミラー９３２に限らず、ダイクロイックプリズムなどの素子でも良い。
【００６３】
また、撮影光学系によっては、赤外光波長帯の焦点面と可視光波長帯の焦点面がずれることがあるが、この場合、赤外光用撮像素子９４４は、可視光用撮像素子の焦点面と共役な位置にこのずれ量を加味した修正位置に配置すると良い。あるいは、このずれ量を打ち消すように、例えば赤外光用撮像素子９４４の近傍に補正レンズ９３３を配設しても良い。または、上述の実施形態を含めて、赤外光波長帯の焦点面と可視光波長帯の焦点面が一致するデイナイトレンズを利用することもできる。
【００６４】
以上説明した本実施形態においては、赤外光パターンを照射する照射部としてパターン照射部２５０を設けた。しかし、カメラが撮影画像等を投射するプロジェクタユニットを備える場合は、プロジェクタユニットを照射部として利用することができる。この場合、赤外光パターンを投影する時は、発光部を例えば赤外発光ダイオードに切り替えると共に、パターンマスクおよびＷＣＯＥを照射光束中に挿入する。また、ＡＦ補助光としてアクティブな投光系を備える場合は、当該投光系を照射部として兼用しても良い。
【００６５】
また、上述の実施形態においては、格子状の赤外光パターンを照射した。しかし、パターンは格子状に限らず、他のパターンであっても良い。また、赤外光パターンの焦点深度を深くする素子としてＷＣＯＥを用いる例を説明したが、位相板として空間光変調器を用いて瞳面の位相を付加する方法を採用しても良い。
【００６６】
以上の実施形態においては、一眼レフカメラ２００を例に説明したが、撮像装置としては一眼レフカメラに限らない。上述のように撮像素子の小さなコンパクトデジタルカメラ、携帯端末においても多大な効果を発揮する。また、光学ファインダーを備えないミラーレスカメラ、動画撮影を主とするビデオカメラ等にも適用することができる。例えば、ビデオカメラに適用する場合は、フレームごとに対応するぼけマップを継続的に生成することもできる。
【００６７】
以上の実施形態においては、撮像部を備える撮像装置が、奥行き情報を演算する演算装置を含むものとして説明した。しかし、赤外光パターンが写り込んだ赤外画像を取得できれば、撮像装置でなくても、例えばＰＣ等の外部装置であっても、ぼけマップを生成して奥行き情報を演算することができる。この場合、ＰＣ等の外部装置は、奥行き情報を演算する画像演算装置として機能する。また、外部装置であっても、赤外画像と共に本撮影画像も取得すれば、生成したぼけマップを参照しつつ本撮影画像に対してぼけ処理を施すこともできる。
【００６８】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００６９】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【００７０】
２００ 一眼レフカメラ、２０１ 光軸、２１０ レンズユニット、２１１ レンズ群、２１２ フォーカスレンズ、２１３ ズームレンズ、２１６ レンズシステム制御部、２１７ レンズ鏡筒、２１８ レンズマウント、２２１ レンズメモリ、２３０ カメラユニット、２３１ カメラマウント、２３２ メインミラー、２３３ 回転軸、２３４ ピント板、２３５ ペンタプリズム、２３６ 接眼光学系、２３７ ＡＥセンサ、２３８ サブミラー、２３９ ＡＦ光学系、２４０ ＡＦセンサ、２４１ フォーカルプレーンシャッタ、２４２ 光学ローパスフィルタ、２４３ 撮像素子、２４４ メイン基板、２４５ カメラシステム制御部、２４６ 画像処理部、２４７ 表示部、２４８ 二次電池、２４９ フラッシュ、２５０ パターン照射部、２５１ 赤外発光部、２５２ パターンマスク、２５３ 照射レンズ、２５４ ＷＣＯＥ、２５５ ＷＣＯＥ入替部、２６１ ぼけマップ演算部、２６２ カメラメモリ、２６３ ワークメモリ、２６４ 外部接続ＩＦ、２６５ レリーズスイッチ、３０１ Ｂ曲線、３０２ Ｇ曲線、３０３ Ｒ曲線、３０４ ＩＲ曲線、３１１ 矢印、５０１ テーブル、５０２ 壁面、５０３ ブラインド、５１０ 赤外光パターン、９００ レンズ交換式カメラ、９３２ ダイクロイックミラー、９３３ 補正レンズ、９４３ 可視光用撮像素子、９４４ 赤外光用撮像素子
【技術分野】
【０００１】
本発明は、画像演算装置、撮像装置および画像演算プログラムに関する。
【背景技術】
【０００２】
レンズ光学系の絞り位置にＲＧＢ三色のカラーフィルタからなる構造化開口を配置したカメラでシーンを撮影することにより、一枚の画像データからシーンの奥行き情報を取得する技術が知られている（例えば非特許文献１）。
［先行技術文献］
［非特許文献１］カメラの絞りに色フィルタを用いた奥行き推定と前景マット抽出（Ｖｉｓｕａｌ Ｃｏｍｐｕｔｉｎｇ／グラフィクスとＣＡＤ合同シンポジウム２００８）
【発明の概要】
【発明が解決しようとする課題】
【０００３】
上述のように、奥行き情報を取得するには少なくとも特殊な開口形状を有するマスクである構造化開口を光学系に配置する。したがって、観賞用等としての通常の撮影画像を撮影するときには構造化開口を被写体光束から退避させ、距離情報を取得するための撮影画像を撮影するときには構造化開口を被写体光束に挿入する必要があった。
【課題を解決するための手段】
【０００４】
上記課題を解決するために、本発明の第１の態様における画像演算装置は、赤外光パターンを照射された被写体を撮像した赤外画像を取得する取得部と、赤外画像に写った赤外光パターンのエッジ情報に基づいて、被写体の奥行き情報を演算する演算部とを備える。
【０００５】
上記課題を解決するために、本発明の第２の態様における撮像装置は、上記の画像演算装置を含む撮像装置であって、赤外光パターンを照射する赤外照射部と、赤外光波長帯域に感度を持つ赤外光受光画素を有する撮像素子とを備える。
【０００６】
上記課題を解決するために、本発明の第３の態様における画像演算プログラムは、赤外光パターンを照射された被写体を撮像した赤外画像を取得する取得ステップと、赤外画像に写った赤外光パターンのエッジ情報に基づいて、被写体の奥行き情報を演算する演算ステップとをコンピュータに実行させる。
【０００７】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【０００８】
【図１】本実施形態に係る一眼レフカメラの要部断面図である。
【図２】撮像素子の画素上に配置された画素フィルタの説明図である。
【図３】撮像素子の画素が感度を有する波長帯と、パターン照射部が照射する赤外光パターンの波長帯の関係を示す図である。
【図４】一眼レフカメラのシステム構成を概略的に示すブロック図である。
【図５】パターン照射の様子を示す説明図である。
【図６】奥行き方向におけるパターン照射の様子の違いを説明する説明図である。
【図７】ぼけマップ生成処理を説明する図である。
【図８】撮影シーケンスを説明する処理フロー図である。
【図９】赤外光用撮像素子と可視光用撮像素子を配置したレンズ交換式カメラの断面図である。
【発明を実施するための形態】
【０００９】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１０】
図１は、本実施形態に係る一眼レフカメラ２００の要部断面図である。一眼レフカメラ２００は、撮影レンズであるレンズユニット２１０とカメラボディであるカメラユニット２３０が組み合わされて撮像装置として機能する。
【００１１】
レンズユニット２１０は、光軸２０１に沿って配列されたレンズ群２１１を備える。レンズ群２１１には、フォーカスレンズ２１２、ズームレンズ２１３が含まれる。レンズユニット２１０は、フォーカスレンズ２１２の駆動などレンズユニット２１０の制御および演算を司るレンズシステム制御部２１６を備える。レンズユニット２１０を構成する各要素は、レンズ鏡筒２１７に支持されている。
【００１２】
また、レンズユニット２１０は、カメラユニット２３０との接続部にレンズマウント２１８を備え、カメラユニット２３０が備えるカメラマウント２３１と係合して、カメラユニット２３０と一体化する。レンズマウント２１８およびカメラマウント２３１はそれぞれ、機械的な係合部の他に電気的な接続部も備え、カメラユニット２３０からレンズユニット２１０への電力の供給および相互の通信を実現している。
【００１３】
カメラユニット２３０は、レンズユニット２１０から入射される被写体像を反射するメインミラー２３２と、メインミラー２３２で反射された被写体像が結像するピント板２３４を備える。メインミラー２３２は、回転軸２３３周りに回転して、光軸２０１を中心とする被写体光束中に斜設される状態と、被写体光束から退避する状態を取り得る。ピント板２３４側へ被写体像を導く場合は、メインミラー２３２は被写体光束中に斜設される。また、ピント板２３４は、撮像素子２４３の受光面と共役の位置に配置されている。
【００１４】
ピント板２３４で結像した被写体像は、ペンタプリズム２３５で正立像に変換され、接眼光学系２３６を介してユーザに観察される。また、ペンタプリズム２３５の射出面上方にはＡＥセンサ２３７が配置されており、被写体像の輝度分布を検出する。
【００１５】
斜設状態におけるメインミラー２３２の光軸２０１の近傍領域は、ハーフミラーとして形成されており、入射される光束の一部が透過する。透過した光束は、メインミラー２３２と連動して動作するサブミラー２３８で反射されて、ＡＦ光学系２３９へ導かれる。ＡＦ光学系２３９を通過した被写体光束は、ＡＦセンサ２４０へ入射される。ＡＦセンサ２４０は、受光した被写体光束から位相差信号を検出する。なお、サブミラー２３８は、メインミラー２３２が被写体光束から退避する場合は、メインミラー２３２に連動して被写体光束から退避する。
【００１６】
斜設されたメインミラー２３２の後方には、光軸２０１に沿って、フォーカルプレーンシャッタ２４１、光学ローパスフィルタ２４２、撮像素子２４３が配列されている。フォーカルプレーンシャッタ２４１は、撮像素子２４３へ被写体光束を導くときに開放状態を取り、その他のときに遮蔽状態を取る。光学ローパスフィルタ２４２は、撮像素子２４３の画素ピッチに対する被写体像の空間周波数を調整する役割を担う。そして、撮像素子２４３は、例えばＣＭＯＳセンサなどの光電変換素子であり、受光面で結像した被写体像を電気信号に変換する。
【００１７】
撮像素子２４３で光電変換された電気信号は、メイン基板２４４に搭載されたＤＳＰである画像処理部２４６で画像データに処理される。メイン基板２４４には、画像処理部２４６の他に、カメラユニット２３０のシステムを統合的に制御するＭＰＵであるカメラシステム制御部２４５が搭載されている。カメラシステム制御部２４５は、カメラシーケンスを管理すると共に、各構成要素の入出力処理等を行う。
【００１８】
カメラユニット２３０の背面には液晶モニタ等による表示部２４７が配設されており、画像処理部２４６で処理された被写体画像が表示される。表示部２４７は、撮影後の静止画像に限らず、ビューファインダとしてのＥＶＦ画像、各種メニュー情報、撮影情報等を表示する。また、カメラユニット２３０には、着脱可能な二次電池２４８が収容され、カメラユニット２３０に限らず、レンズユニット２１０にも電力を供給する。
【００１９】
ペンタプリズム２３５の近傍にはフラッシュ２４９を備えており、カメラシステム制御部２４５の制御により被写体を照射する。また、カメラユニット２３０は、フラッシュ２４９とは別に、パターン照射部２５０を、同じくペンタプリズム２３５の近傍に備えている。パターン照射部２５０は、被写体に対して赤外光パターンを照射するユニットである。パターン照射部２５０は、赤外光を発光する赤外発光部２５１、被写体へ照射する格子状のパターンが印刷されたパターンマスク２５２、照射レンズ２５３を備える。
【００２０】
また、赤外光パターンの照射光束中、特に照射レンズ２５３の瞳近傍に、ウェーブフロントコーディング光学素子（ＷＣＯＥ）２５４が配設される。ＷＣＯＥ２５４は、赤外光パターンの焦点深度を、照射レンズ２５３単独の場合に比較して大幅に深くする光学素子である。すなわち、ＷＣＯＥ２５４を赤外光パターンの照射光束中に配設することにより、デフォーカス平面上に投影された赤外光パターンのぼけを抑制することができる。ＷＣＯＥ２５４は、例えば三次関数で定義された位相曲面を有する。
【００２１】
パターン照射部２５０は、さらに、赤外光パターンの照射光束の外側に複数のＷＣＯＥ２５４と、これらの一つを照射光束中のＷＣＯＥ２５４と入れ替えるＷＣＯＥ入替部２５５を備える。複数のＷＣＯＥ２５４は、それぞれ異なる特性を有する。具体的には、それぞれのＷＣＯＥ２５４は、互いに異なる拡張倍率を有する。拡張倍率とは、照射レンズ２５３単独の場合の焦点深度に対する、ＷＣＯＥ２５４配設時の焦点深度の比である。
【００２２】
図２は、撮像素子２４３の画素上に配置された画素フィルタの説明図である。本実施例における画素フィルタの配列は、図示するように、４画素を１組として、各画素上にＲ画素フィルタ、Ｇ画素フィルタ、Ｂ画素フィルタおよびＩＲ画素フィルタが設けられている。ＩＲ画素フィルタは、赤外光の波長帯を透過するフィルタである。したがって、各画素が感度を有する波長帯は、それぞれに設けられた画素フィルタによって規制される。撮像素子２４３の全体としては、２次元的に配列された画素のそれぞれが離散的にＲ画素フィルタ、Ｇ画素フィルタ、Ｂ画素フィルタおよびＩＲ画素フィルタのいずれかを備えることになるので、撮像素子２４３は、入射する被写体光束をそれぞれの波長帯に分離して検出していると言える。換言すれば、撮像素子２４３は、受光面に結像する被写体像をＲＧＢ＋ＩＲの４つの波長帯に分離して光電変換する。
【００２３】
図３は、撮像素子２４３の画素が感度を有する波長帯と、パターン照射部２５０が照射する赤外光パターンの波長帯の関係を示す図である。図は、縦軸に透過率（％）を、横軸に波長（ｎｍ）を示す。透過率が高い波長の光ほど、画素を構成するフォトダイオードに到達することを表す。
【００２４】
Ｂ曲線３０１は、Ｂ画素フィルタが設けられた画素の感度を示し、同様にＧ曲線３０２はＧ画素フィルタが設けられた画素の感度を、Ｒ曲線３０３はＲ画素フィルタが設けられた画素の感度を、ＩＲ曲線３０４はＩＲ画素フィルタが設けられた画素の感度を示す。また、パターン照射部２５０が照射する赤外光パターンの波長帯は、矢印３１１で表される。
【００２５】
すなわち、被写体で反射された赤外光パターンは、主としてＩＲ画素フィルタが設けられた赤外光受光画素でのみ受光される。換言すれば、Ｒ画素フィルタ、Ｇ画素フィルタ、Ｂ画素フィルタが設けられたＲＧＢ画素は、赤外光パターンを捉えることができない。つまり、赤外光パターンは、可視光波長帯を受光するＲＧＢ画素に影響を及ぼさない。
【００２６】
すると、赤外受光画素の出力のみを集めれば、赤外光パターンが写り込んだ被写体画像を形成することができる。この被写体画像は赤外画像であり、この画像に対して後述の演算処理を行うことにより、奥行き情報を取得することができる。
【００２７】
同時に、Ｒ画素フィルタ、Ｇ画素フィルタ、Ｂ画素フィルタが設けられたＲＧＢ画素の出力を集めれば、赤外光パターンに何ら影響を受けていないカラーの被写体画像を形成できる。つまり、観賞用等に耐え得る通常の被写体画像としての本撮影画像を取得することができる。したがって、一度の撮影動作により、赤外光パターンが写り込んだ赤外画像と、赤外光パターンの影響を受けていない本撮影画像の両方を取得することができる。
【００２８】
次に、本実施形態に係る一眼レフカメラ２００のシステム構成を説明する。図４は、一眼レフカメラのシステム構成を概略的に示すブロック図である。一眼レフカメラ２００のシステムは、レンズユニット２１０とカメラユニット２３０のそれぞれに対応して、レンズシステム制御部２１６を中心とするレンズ制御系と、カメラシステム制御部２４５を中心とするカメラ制御系により構成される。そして、レンズ制御系とカメラ制御系は、レンズマウント２１８とカメラマウント２３１によって接続される接続部を介して、相互に各種データ、制御信号の授受を行う。
【００２９】
カメラ制御系に含まれる画像処理部２４６は、カメラシステム制御部２４５からの指令に従って、撮像素子２４３で光電変換されたＲＧＢ画素出力からなる撮像信号を、本撮影画像としての画像データを生成する。また、画像処理部２４６は、赤外光受光素子の出力からなる撮像信号を処理して、赤外画像を生成する。生成された赤外画像はぼけマップ演算部２６１へ引き渡され、ぼけマップ演算部２６１は、後述の手法によりぼけマップを生成する。ぼけマップは、本撮影画像に対する奥行き情報を表現する。画像処理部２４６は、生成されたぼけマップを参照して、本撮影画像の画像データにぼけ処理を施す。表示部２４７は、ぼけ処理が施された画像データを表示する。その後、画像処理部２４６は、画像データを所定の画像フォーマットに加工し、カメラシステム制御部２４５は、外部接続ＩＦ２６４を介して、当該画像データを外部メモリに記録する。
【００３０】
カメラメモリ２６２は、例えばフラッシュメモリなどの不揮発性メモリであり、生成された画像データの一時的な記録場所としての他に、一眼レフカメラ２００を制御するプログラム、各種パラメータなどを記録する役割を担う。ワークメモリ２６３は、例えばＲＡＭなどの高速アクセスできるメモリであり、処理中の画像データを一時的に保管する役割などを担う。
【００３１】
レリーズスイッチ２６５は押し込み方向に２段階のスイッチ位置を備えており、カメラシステム制御部２４５は、第１段階のスイッチであるＳＷ１がＯＮになったことを検出すると、ＡＦセンサ２４０から位相差情報を取得する。そして、取得した位相差情報に基づいてＷＣＯＥ入替部２５５を駆動して、選択したＷＣＯＥ２５４を、赤外光パターンの照射光束中に配設する。また、ＡＥセンサ２３７から被写体像の輝度分布を取得して露出値を決定する。さらに、第２段階のスイッチであるＳＷ２がＯＮになったことを検出すると、カメラシステム制御部２４５は、赤外発光部２５１を発光させて被写体へ赤外光パターンを照射し、予め定められた処理フローに従って撮影動作を実行する。具体的な処理フローについては後述する。
【００３２】
レンズシステム制御部２１６は、カメラシステム制御部２４５からの制御信号を受けて各種動作を実行する。レンズメモリ２２１は、レンズユニット２１０に固有の情報を保管している。例えば、レンズメモリ２２１は、レンズユニット２１０の焦点距離、開放絞り情報等を、レンズシステム制御部２１６を介して、カメラシステム制御部２４５へ提供する。
【００３３】
図５は、パターン照射の様子を示す説明図である。図５（ａ）は、パターン照射する前の被写体の様子を示す。図示するように、物が置かれたテーブル５０１と、後方の壁面５０２および壁面５０２に設けられた窓を覆うブラインド５０３が被写体として存在する。
【００３４】
図５（ｂ）は、パターン照射部２５０により赤外光パターン５１０が被写体に照射された様子を示す。パターン照射部２５０は、カメラシステム制御部２４５の制御により、例えば高輝度ＬＥＤによって構成される赤外発光部２５１が発光されて、パターンマスク２５２に規定されるパターンを被写体に照射する。本実施形態においては、格子状のパターンが被写体に照射されている。なお、赤外光パターン５１０は赤外光によるパターンなので、被写体として含まれる人物に、可視光波長帯であれば不愉快と感じさせるパターン光を認識させることが無い。また、赤外画像は図５（ｂ）のように取得され、本撮影画像は図５（ａ）のように取得される。
【００３５】
複数の水平方向のラインが垂直方向に連続するブラインド５０３、表面にコントラストが存在しない壁面５０２等の対象物については、ＡＦセンサ２４０から位相差情報を取得することは困難である。しかし、本実施形態のようにアクティブに格子パターンを照射するのであれば、後述の処理により、ほとんどの被写体において奥行き情報を取得することができる。また、テーブル５０１とブラインド５０３には相当の奥行き差があるが、適当なＷＣＯＥ２５４を介在させて赤外光パターン５１０を照射することにより、格子パターンの拡散を一定の範囲に収めている。つまり、シーンの奥行き方向に亘って、格子パターンを観察できる。なお、ここでの「観察される」とは、人間によって視認されるのではなく、赤外画像として取得できるという意味である。また、図５（ｂ）においては、便宜上、格子パターンの線幅を一定として表現しているが、実際には以下に説明するように、線幅もコントラストも奥行きに応じて変化する。
【００３６】
図６は、奥行き方向におけるパターン照射の様子の違いを説明する説明図である。一眼レフカメラ２００のパターン照射部２５０からシーンに照射された赤外光パターンは、フォーカス面である第１平面において焦点を結ぶ。つまり、第１平面において、赤外光パターンはコントラストが最大となる。この第１平面上に被写体が存在すれば、その表面に最大のコントラストで赤外光パターンが観察される。
【００３７】
第１平面から奥行き方向にずれたデフォーカス平面においては、第１平面から遠ざかるにつれて赤外光パターンのコントラストは徐々に低下する。したがって、第２平面に比べて第１平面からより遠い第３平面では、第２平面で観察される赤外光パターンよりも、より薄い赤外光パターンが観察される。
【００３８】
つまり、図５で示すシーンのように、奥行き方向に複数の物体が存在すれば、その奥行きに応じてコントラストの異なる赤外光パターンが、それぞれの物体の表面に観察されることになる。
【００３９】
また、赤外光パターンは、フォーカス面である第１平面において線幅が最も狭くなる。そして、第１平面から遠ざかるにつれて線幅が徐々に広がる。つまり、奥行き方向に複数の物体が存在すれば、その奥行きに応じて線幅の異なる赤外光パターンが、それぞれの物体の表面に観察されることになる。
【００４０】
本実施形態においては、特に、赤外光パターンのエッジ情報としてコントラストの変化に着目して奥行き情報を算出する。図６（ａ）は、各平面において観察されるパターンのうち、縦ラインの一部を切り取った様子を示す。図６（ａ）として模式的に示すように、第１平面において観察されるパターンはくっきりとしている。それが第２平面、第３平面と遠ざかるにつれて、徐々にぼんやりしたパターンとなる。これを、Ａ−Ａにおける輝度値で表すと、図６（ｂ）のようになる。すなわち、第１平面におけるパターンは、輝度値が大きく、パターンの境界で急峻な立ち上がりを示す。一方第２平面、第３平面と遠ざかるにつれて、最大輝度値は徐々に低下し、パターンの境界も徐々になだらかになっている様子がわかる。
【００４１】
図６（ｂ）のＡ−Ａにおける輝度値に対して微分値を算出すると、図６（ｃ）のように表される。第１平面で観察されるパターンの場合は、境界における急峻な変化が、狭く高い凸形状となって現れる。なお、微分値は、非パターン部からパターン部へ向かう場合がプラス、パターン部から非パターン部へ向かう場合がマイナスと定義されるので、パターンの境界部に山状の凸形状と谷状の凸形状がそれぞれ現れる。
【００４２】
一方、第２平面、第３平面と遠ざかるにつれて徐々に、凸形状の裾野は広がり、高さも低く観察される。つまり、赤外光パターンのコントラストは、微分値で評価することができる。換言すれば、赤外光パターンの微分値を評価することにより、奥行き情報を取得することができる。より単純には、凸形状の高さである微分値の最大値により奥行き情報を取得できる。この微分値の最大値を評価値として赤外画像に対応する２次元平面の領域ごとに演算を行えば、奥行き方向のぼけを数値で表現したぼけマップを生成することができる。以下に具体的なぼけマップの生成処理について説明する。
【００４３】
図７は、ぼけマップ生成処理を説明する図である。まず、赤外画像として図７（ａ）に示す取得画像が取得される。ここでは、奥行き方向に３つの矩形物体が存在する場合を想定する。赤外画像は、被写体像として最も手前に存在する第１物体に照射された赤外光パターンに対応する第１領域、中間に存在する第２物体に対応する第２領域、最も遠い位置に存在する第３物体に対応する第３領域を有する。他の領域は、赤外光パターンが届かない無限遠背景である。なお、ここでは第１物体の被照射平面がフォーカス面であるとする。
【００４４】
取得した赤外画像の赤外光パターンに対して、ｘ方向、ｙ方向、ｘｙ±４５度方向に微分値を算出し、その絶対値を足し合わせる。絶対値とするのは、非パターン部からパターン部へ向かう場合であっても、パターン部から非パターン部へ向かう場合であっても同等に扱うためである。また、複数の方向から微分値を算出するのは、赤外光パターンのエッジに対して交差する方向を含むようにサンプルすることで、より確実に画素値の変化を抽出することを目的とする。この値を各画素に割り当てて視覚化すると図７（ｂ）に示す微分画像が得られる。
【００４５】
次に、図７（ｃ）に示すように、着目する画素Ｐｉを中心として一辺がｗの演算ウィンドウを、微分画像から抽出する。そして、この演算ウィンドウ内に含まれるすべての画素を対象に、その値をヒストグラム化する。すると、図７（ｄ）で表されるような、一定のレンジごとに区分された微分値に対して画素数でカウントした頻度による、微分値のヒストグラムが得られる。そして、このヒストグラムのうち最頻値を示す微分値Ｖｉを、画素Ｐｉに対する評価値と定める。このような処理により、画素Ｐｉの微分値そのものでなく、周辺部を含めた微小領域の代表的な微分値Ｖを、画素Ｐｉの評価値と定めることができる。そして、演算ウィンドウを上下左右にずらしつつ、全画素に対してこの処理を実行する。すると、同程度のコントラストを示す赤外光パターンに対応する領域は、その全域に亘って、含まれる画素ごとに演算される評価値が、ほぼ同じ値を示すことになる。
【００４６】
図の例においては、第１領域の各画素は全域に亘ってほぼ同じ値である評価値Ｖ１を示し、同様に、第２領域は評価値Ｖ２を、第３領域は評価値Ｖ３を示す。そして、第１領域における赤外光パターンのコントラストは高く、第３領域においては低い。したがって、評価値の大小関係は、Ｖ１＞Ｖ２＞Ｖ３となる。なお、無限遠背景であるその他の領域の評価値は０である。
【００４７】
このように、異なる奥行き方向に対応する領域ごとに、異なる評価値が定められる。評価値は、赤外光パターンのコントラストに対応する値であるが、そもそもは、フォーカス面から奥行き方向に離れるに従って点像が徐々にぼけていく物理現象に起因する値である。したがって、赤外画像に対応して２次元平面の領域ごとに評価値が割り当てられて生成されたこの数値の配列は、いわばぼけマップと言える。
【００４８】
そして、赤外画像の各領域は本撮影画像の各領域と一対一に対応しているので、ぼけマップは、本撮影画像に写る被写体の奥行き情報を表すと言える。すると、本撮影画像データと共にぼけマップを奥行き情報として持てば、以下のような処理に応用できる。
【００４９】
まず第１に、奥行きに応じたぼけ量を、事後的に画像処理によって与えることができる。すなわち、ぼけマップの評価値に連動させたぼけ量を各領域に与えれば、ピント面に近い奥行きで小さくぼけ、遠い奥行きで大きくぼけた、視覚的に違和感の少ない自然な画像データを取得できる。例えば、サイズの小さな撮像素子を利用するコンパクトデジカメ等においては、被写界深度が必然的に深くなり、一般的にはパンフォーカスに近い画像しか得られなかったが、このような機器であっても、ぼけマップを利用した画像処理により、ぼけ味のある良好な画像データを生成できる。
【００５０】
また、ぼけマップを参照することにより、本撮影画像に写る被写体を奥行きごとに分離できる。すると、連続的に撮影された複数の本撮影画像データにおいて特定被写体の動きを追跡したり、特定被写体のみに特殊効果を適用したりできる。
【００５１】
さらには、奥行き方向の既知の距離における評価値をシミュレーション等により予め取得して、評価値と被写体距離の対応テーブルを準備しておけば、ぼけマップを深さマップに変換することもできる。深さマップは、いわゆる距離画像と等価である。すなわち、本撮影画像データの取得と共にぼけマップを生成すれば、本撮影画像に写る各被写体までの絶対距離を取得できることになる。
【００５２】
次に、ぼけマップを生成し、ぼけマップを参照して本撮影画像のぼけ量を調整する一連の撮影処理について説明する。図８は、撮影シーケンスを説明する処理フロー図である。本フローにおける一連の処理は、一眼レフカメラ２００が撮影モードに切り替えられた時点から開始される。
【００５３】
カメラシステム制御部２４５は、ステップＳ１０１で、ユーザからの撮影準備指示を待つ。具体的には、レリーズスイッチ２６５がユーザによって操作されてＳＷ１がＯＮになるのを待つ。ＳＷ１がＯＮになったらステップＳ１０２へ進み、カメラシステム制御部２４５は、ＡＦセンサ２４０を駆動してＡＦ処理を実行する。具体的には、カメラシステム制御部２４５は、ＡＦセンサ２４０の出力から焦点検出領域における位相差情報を取得し、主となる焦点検出領域に対してデフォーカス量が０となるように、レンズシステム制御部２１６を介してフォーカスレンズ２１２を移動させる。
【００５４】
すると、特定に被写体に対して焦点が合った状態となる。つまり、この時点において図６で説明した第１平面が確定する。また、焦点検出領域は被写界に対して離散的に複数設定されているので、奥行き方向に存在位置の異なる複数の被写体に対してそれぞれデフォーカス情報を取得することができる。これらの被写体に対してぼけマップを生成する場合、最も手前の被写体から最も奥の被写体までの評価値を演算することになる。そこで、最も手前の被写体に対するデフォーカス量と、最も奥の被写体に対するデフォーカス量から撮像範囲Ｌを計算する。撮像範囲Ｌは、レンズユニット２１０のレンズ情報を加味して算出する。具体的には、レンズユニット２１０の焦点距離情報、フォーカスレンズ２１２の移動位置情報をレンズシステム制御部２１６から取得して算出する。なお、焦点検出領域は離散的であるので、デフォーカス情報から算出される距離情報も離散的である。
【００５５】
撮像範囲Ｌに亘って評価値を演算する場合、この範囲において赤外光パターンの拡散量が予め定められた範囲内でなければならない。照射された赤外光パターンがあまりにも拡散してしまうと、算出される微分値が小さな値となり、誤差が大きくなるからである。そこで、カメラシステム制御部２４５は、ステップＳ１０３において、ＷＣＯＥ入替部２５５を駆動して、撮像範囲Ｌに最適なＷＣＯＥ２５４を赤外光パターンの照射光束中に挿入する。
【００５６】
具体的には、第１平面の位置Ｆｚが算出されれば、パターン照射部２５０の焦点距離およびＦナンバーから焦点深度Ｓｐを計算する。そして、撮像範囲Ｌを焦点深度Ｓｐで除した倍率βを算出する。一方、複数のＷＣＯＥ２５４は、焦点深度をそれぞれ異なる拡張倍率であるαｉ倍する素子として用意されている。そこで、カメラシステム制御部２４５は、算出された倍率βに最も近い拡張倍率αｉを特性として有するＷＣＯＥ２５４を選択する。そして、カメラシステム制御部２４５は、当該ＷＣＯＥ２５４を赤外光パターンの照射光束中に挿入する。
【００５７】
カメラシステム制御部２４５は、ステップＳ１０４へ進み、ユーザからの撮影指示を待つ。具体的には、レリーズスイッチ２６５がユーザによって操作されてＳＷ２がＯＮになるのを待つ。ＳＷ２がＯＮになったらステップＳ１０５へ進み、カメラシステム制御部２４５は、赤外発光部２５１を発光させて、被写体に対して赤外光パターンを照射する。そして、ステップＳ１０６において、赤外光パターンの照射中に撮像素子２４３の露光制御を行う。
【００５８】
カメラシステム制御部２４５は、ステップＳ１０６で露光が完了したら、本撮影画像としての処理とぼけマップを生成する処理を並行して、あるいは順番に行う。ステップＳ１０７では、カメラシステム制御部２４５は、撮像素子２４３のうちＲＧＢ画素の読み出しを行い、読み出したＲＧＢ画像信号を画像処理部２４６へ引き渡す。画像処理部２４６は、ステップＳ１０８で、受け取ったＲＧＢ画像信号から本撮影画像データを生成する。
【００５９】
ステップＳ１０９では、カメラシステム制御部２４５は、撮像素子２４３のうち赤外光受光画素の読み出しを行い、読み出した赤外画像信号を画像処理部２４６へ引き渡す。画像処理部２４６は、受け取った赤外画像信号から赤外画像を生成してぼけマップ演算部２６１へ引き渡す。ぼけマップ演算部２６１は、図７を用いて説明した手順でぼけマップを生成する。
【００６０】
本撮影画像データとぼけマップが共に生成されたら、ステップＳ１１１へ進み、画像処理部２４６は、ぼけマップを参照しながら、本撮影画像データの領域ごとに異なるぼけ量を適用してぼけフィルタ処理を施す。カメラシステム制御部２４５は、ステップＳ１１２で、ぼけ処理が施された本撮影画像データを表示部２４７に表示する。このとき、表示部２４７のサイズに合せて事前に縮小処理を施しても良い。
【００６１】
ユーザは、表示部２４７に表示された、ぼけ処理済みの本撮影画像データを視認して、好みの画像に仕上がっているかを確認する。好みの画像に仕上がっていなければ、操作部材を操作して、ぼけ処理を再実行させる。カメラシステム制御部２４５は、ステップＳ１１３で、ユーザからぼけ処理の再実行指示を受けた場合には、ステップＳ１１１へ戻る。再実行指示ではなくＯＫの指示を受けたら、ステップＳ１１４へ進み、画像処理部２４６に当該ぼけ処理済みの本撮影画像データに対して所定のフォーマット処理等を実行させる。そして、カメラシステム制御部２４５は、外部接続ＩＦ２６４を介して外部メモリに記録する。以上により一連の処理を終了する。
【００６２】
次に、撮像素子の配置についてのバリエーションを説明する。図９は、赤外光用撮像素子９４４と可視光用撮像素子９４３を配置したレンズ交換式カメラ９００の断面図である。図示するように、赤外光波長帯を受光する専用の赤外光用撮像素子９４４と可視光波長帯を受光する可視光用撮像素子９４３を、被写体光束の赤外光波長帯と可視光波長帯を分割するダイクロイックミラー９３２を介して、それぞれ共役となる位置に独立に配置する。赤外光波長帯と可視光波長帯を分割する光学素子は、ダイクロイックミラー９３２に限らず、ダイクロイックプリズムなどの素子でも良い。
【００６３】
また、撮影光学系によっては、赤外光波長帯の焦点面と可視光波長帯の焦点面がずれることがあるが、この場合、赤外光用撮像素子９４４は、可視光用撮像素子の焦点面と共役な位置にこのずれ量を加味した修正位置に配置すると良い。あるいは、このずれ量を打ち消すように、例えば赤外光用撮像素子９４４の近傍に補正レンズ９３３を配設しても良い。または、上述の実施形態を含めて、赤外光波長帯の焦点面と可視光波長帯の焦点面が一致するデイナイトレンズを利用することもできる。
【００６４】
以上説明した本実施形態においては、赤外光パターンを照射する照射部としてパターン照射部２５０を設けた。しかし、カメラが撮影画像等を投射するプロジェクタユニットを備える場合は、プロジェクタユニットを照射部として利用することができる。この場合、赤外光パターンを投影する時は、発光部を例えば赤外発光ダイオードに切り替えると共に、パターンマスクおよびＷＣＯＥを照射光束中に挿入する。また、ＡＦ補助光としてアクティブな投光系を備える場合は、当該投光系を照射部として兼用しても良い。
【００６５】
また、上述の実施形態においては、格子状の赤外光パターンを照射した。しかし、パターンは格子状に限らず、他のパターンであっても良い。また、赤外光パターンの焦点深度を深くする素子としてＷＣＯＥを用いる例を説明したが、位相板として空間光変調器を用いて瞳面の位相を付加する方法を採用しても良い。
【００６６】
以上の実施形態においては、一眼レフカメラ２００を例に説明したが、撮像装置としては一眼レフカメラに限らない。上述のように撮像素子の小さなコンパクトデジタルカメラ、携帯端末においても多大な効果を発揮する。また、光学ファインダーを備えないミラーレスカメラ、動画撮影を主とするビデオカメラ等にも適用することができる。例えば、ビデオカメラに適用する場合は、フレームごとに対応するぼけマップを継続的に生成することもできる。
【００６７】
以上の実施形態においては、撮像部を備える撮像装置が、奥行き情報を演算する演算装置を含むものとして説明した。しかし、赤外光パターンが写り込んだ赤外画像を取得できれば、撮像装置でなくても、例えばＰＣ等の外部装置であっても、ぼけマップを生成して奥行き情報を演算することができる。この場合、ＰＣ等の外部装置は、奥行き情報を演算する画像演算装置として機能する。また、外部装置であっても、赤外画像と共に本撮影画像も取得すれば、生成したぼけマップを参照しつつ本撮影画像に対してぼけ処理を施すこともできる。
【００６８】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００６９】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【００７０】
２００ 一眼レフカメラ、２０１ 光軸、２１０ レンズユニット、２１１ レンズ群、２１２ フォーカスレンズ、２１３ ズームレンズ、２１６ レンズシステム制御部、２１７ レンズ鏡筒、２１８ レンズマウント、２２１ レンズメモリ、２３０ カメラユニット、２３１ カメラマウント、２３２ メインミラー、２３３ 回転軸、２３４ ピント板、２３５ ペンタプリズム、２３６ 接眼光学系、２３７ ＡＥセンサ、２３８ サブミラー、２３９ ＡＦ光学系、２４０ ＡＦセンサ、２４１ フォーカルプレーンシャッタ、２４２ 光学ローパスフィルタ、２４３ 撮像素子、２４４ メイン基板、２４５ カメラシステム制御部、２４６ 画像処理部、２４７ 表示部、２４８ 二次電池、２４９ フラッシュ、２５０ パターン照射部、２５１ 赤外発光部、２５２ パターンマスク、２５３ 照射レンズ、２５４ ＷＣＯＥ、２５５ ＷＣＯＥ入替部、２６１ ぼけマップ演算部、２６２ カメラメモリ、２６３ ワークメモリ、２６４ 外部接続ＩＦ、２６５ レリーズスイッチ、３０１ Ｂ曲線、３０２ Ｇ曲線、３０３ Ｒ曲線、３０４ ＩＲ曲線、３１１ 矢印、５０１ テーブル、５０２ 壁面、５０３ ブラインド、５１０ 赤外光パターン、９００ レンズ交換式カメラ、９３２ ダイクロイックミラー、９３３ 補正レンズ、９４３ 可視光用撮像素子、９４４ 赤外光用撮像素子
【特許請求の範囲】
【請求項１】
赤外光パターンを照射された被写体を撮像した赤外画像を取得する取得部と、
前記赤外画像に写った前記赤外光パターンのエッジ情報に基づいて、前記被写体の奥行き情報を演算する演算部と
を備える画像演算装置。
【請求項２】
前記演算部は、前記エッジ情報としてエッジのぼけ量を評価する請求項１に記載の画像演算装置。
【請求項３】
前記演算部は、前記ぼけ量を、前記エッジに交差する方向を含むようにサンプルされた複数画素に対する画素値の変化量により評価する請求項２に記載の画像演算装置。
【請求項４】
前記演算部は、被写体距離と前記ぼけ量の対応関係を示す予め準備された対応テーブルを参照して、前記奥行き情報を演算する請求項２または３に記載の画像演算装置。
【請求項５】
請求項１から４のいずれか１項に記載の画像演算装置を含む撮像装置であって、
前記赤外光パターンを照射する赤外照射部と、
赤外光波長帯域に感度を持つ赤外光受光画素を有する撮像素子と
を備える撮像装置。
【請求項６】
前記赤外照射部は、前記赤外光パターンの照射光束中に配設されるウェーブフロントコーディング光学素子を有する請求項５に記載の撮像装置。
【請求項７】
前記赤外照射部は、複数の前記ウェーブフロントコーディング光学素子から選択された一つを、交換可能に前記照射光束中に挿抜する挿抜機構を有する請求項６に記載の撮像装置。
【請求項８】
ＡＦセンサと、
前記ＡＦセンサの出力に基づいて、複数の前記ウェーブフロントコーディング光学素子から一つを選択する選択部と
を備える請求項７に記載の撮像装置。
【請求項９】
前記選択部は、撮影レンズ情報を加味して、複数の前記ウェーブフロントコーディング光学素子から一つを選択する請求項８に記載の撮像装置。
【請求項１０】
前記赤外光受光画素は、前記撮像素子において、可視光波長帯域に感度を持つ可視光受光画素と共に、二次元的かつ離散的に配列されている請求項５から９のいずれか１項に記載の撮像装置。
【請求項１１】
前記撮像素子に対する一度の露光による前記赤外光受光画素の出力と前記可視光受光画素の出力のそれぞれから、前記赤外画像と可視画像を生成する画像生成部を備える請求項１０に記載の撮像装置。
【請求項１２】
少なくとも撮影画像を投射するプロジェクタユニットを備え、
前記赤外照射部は、前記プロジェクタユニットにより構成される請求項５から１１のいずれか１項に記載の撮像装置。
【請求項１３】
赤外光パターンを照射された被写体を撮像した赤外画像を取得する取得ステップと、
前記赤外画像に写った前記赤外光パターンのエッジ情報に基づいて、前記被写体の奥行き情報を演算する演算ステップと
をコンピュータに実行させる画像演算プログラム。
【請求項１】
赤外光パターンを照射された被写体を撮像した赤外画像を取得する取得部と、
前記赤外画像に写った前記赤外光パターンのエッジ情報に基づいて、前記被写体の奥行き情報を演算する演算部と
を備える画像演算装置。
【請求項２】
前記演算部は、前記エッジ情報としてエッジのぼけ量を評価する請求項１に記載の画像演算装置。
【請求項３】
前記演算部は、前記ぼけ量を、前記エッジに交差する方向を含むようにサンプルされた複数画素に対する画素値の変化量により評価する請求項２に記載の画像演算装置。
【請求項４】
前記演算部は、被写体距離と前記ぼけ量の対応関係を示す予め準備された対応テーブルを参照して、前記奥行き情報を演算する請求項２または３に記載の画像演算装置。
【請求項５】
請求項１から４のいずれか１項に記載の画像演算装置を含む撮像装置であって、
前記赤外光パターンを照射する赤外照射部と、
赤外光波長帯域に感度を持つ赤外光受光画素を有する撮像素子と
を備える撮像装置。
【請求項６】
前記赤外照射部は、前記赤外光パターンの照射光束中に配設されるウェーブフロントコーディング光学素子を有する請求項５に記載の撮像装置。
【請求項７】
前記赤外照射部は、複数の前記ウェーブフロントコーディング光学素子から選択された一つを、交換可能に前記照射光束中に挿抜する挿抜機構を有する請求項６に記載の撮像装置。
【請求項８】
ＡＦセンサと、
前記ＡＦセンサの出力に基づいて、複数の前記ウェーブフロントコーディング光学素子から一つを選択する選択部と
を備える請求項７に記載の撮像装置。
【請求項９】
前記選択部は、撮影レンズ情報を加味して、複数の前記ウェーブフロントコーディング光学素子から一つを選択する請求項８に記載の撮像装置。
【請求項１０】
前記赤外光受光画素は、前記撮像素子において、可視光波長帯域に感度を持つ可視光受光画素と共に、二次元的かつ離散的に配列されている請求項５から９のいずれか１項に記載の撮像装置。
【請求項１１】
前記撮像素子に対する一度の露光による前記赤外光受光画素の出力と前記可視光受光画素の出力のそれぞれから、前記赤外画像と可視画像を生成する画像生成部を備える請求項１０に記載の撮像装置。
【請求項１２】
少なくとも撮影画像を投射するプロジェクタユニットを備え、
前記赤外照射部は、前記プロジェクタユニットにより構成される請求項５から１１のいずれか１項に記載の撮像装置。
【請求項１３】
赤外光パターンを照射された被写体を撮像した赤外画像を取得する取得ステップと、
前記赤外画像に写った前記赤外光パターンのエッジ情報に基づいて、前記被写体の奥行き情報を演算する演算ステップと
をコンピュータに実行させる画像演算プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１２−１３４６７０（Ｐ２０１２−１３４６７０Ａ）
【公開日】平成２４年７月１２日（２０１２．７．１２）
【国際特許分類】
【出願番号】特願２０１０−２８３７４１（Ｐ２０１０−２８３７４１）
【出願日】平成２２年１２月２０日（２０１０．１２．２０）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２４年７月１２日（２０１２．７．１２）
【国際特許分類】
【出願日】平成２２年１２月２０日（２０１０．１２．２０）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]