距離情報取得装置、撮像装置および構造化開口ユニット
【課題】構造化開口の一定の形状に固定されていると、シーンに対する測定可能な奥行き範囲などが固定されてしまう。
【解決手段】距離情報取得装置は、入射する被写体光束を複数の波長帯に分離して検出する受光素子と、被写体光束を受光素子に導く光学系と、複数の波長帯のうちの一つに含まれる第１波長帯を透過する第１フィルタ領域と、複数の波長帯のうちの一つに含まれ、第１波長帯とは異なる第２波長帯を透過する第２フィルタ領域を、光学系の光軸に対してそれぞれ偏心した位置に有する構造化開口と、第１フィルタ領域および第２フィルタ領域のそれぞれを部分的に遮光することにより、被写体光束が透過する領域の面積を変更する透過領域変更機構とを備える。
【解決手段】距離情報取得装置は、入射する被写体光束を複数の波長帯に分離して検出する受光素子と、被写体光束を受光素子に導く光学系と、複数の波長帯のうちの一つに含まれる第１波長帯を透過する第１フィルタ領域と、複数の波長帯のうちの一つに含まれ、第１波長帯とは異なる第２波長帯を透過する第２フィルタ領域を、光学系の光軸に対してそれぞれ偏心した位置に有する構造化開口と、第１フィルタ領域および第２フィルタ領域のそれぞれを部分的に遮光することにより、被写体光束が透過する領域の面積を変更する透過領域変更機構とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、距離情報取得装置、撮像装置および構造化開口ユニットに関する。
【背景技術】
【０００２】
レンズ光学系の絞り位置にＲＧＢ三色のカラーフィルタからなる構造化開口を配置したカメラでシーンを撮影することにより、一枚の画像データからシーンの奥行き情報を取得する技術が知られている（例えば非特許文献１）。
［先行技術文献］
［非特許文献１］カメラの絞りに色フィルタを用いた奥行き推定と前景マット抽出（Ｖｉｓｕａｌ Ｃｏｍｐｕｔｉｎｇ／グラフィクスとＣＡＤ合同シンポジウム２００８）
【発明の概要】
【発明が解決しようとする課題】
【０００３】
構造化開口の一定の形状に固定されていると、シーンに対する最適ピント位置、測定可能な奥行き範囲なども固定されてしまう。つまり、許容される主要被写体の存在位置、絞り値などの撮影条件が制限されてしまう。
【課題を解決するための手段】
【０００４】
上記課題を解決するために、本発明の第１の態様における距離情報取得装置は、入射する被写体光束を複数の波長帯に分離して検出する受光素子と、被写体光束を受光素子に導く光学系と、複数の波長帯のうちの一つに含まれる第１波長帯を透過する第１フィルタ領域と、複数の波長帯のうちの一つに含まれ、第１波長帯とは異なる第２波長帯を透過する第２フィルタ領域を、光学系の光軸に対してそれぞれ偏心した位置に有する構造化開口と、第１フィルタ領域および第２フィルタ領域のそれぞれを部分的に遮光することにより、被写体光束が透過する領域の面積を変更する透過領域変更機構とを備える。
【０００５】
上記課題を解決するために、本発明の第２の態様における撮像装置は、上記の距離情報取得装置を含む撮像装置であって、構造化開口を被写体光束に対して挿抜する挿抜機構と、挿抜機構により構造化開口を抜出して実行する本画像撮影と、挿抜機構により構造化開口を挿入して実行する補助画像撮影を制御する撮影制御部とを備え、撮影制御部は、本画像撮影と補助画像撮影で撮影条件を変更する。
【０００６】
上記課題を解決するために、本発明の第３の態様における構造化開口ユニットは、第１波長帯を透過する第１フィルタ領域と、第１波長帯とは異なる第２波長帯を透過する第２フィルタ領域を、中心に対してそれぞれ偏心した位置に有する構造化開口と、第１フィルタ領域および第２フィルタ領域のそれぞれを部分的に遮光することにより、透過する領域の面積を変更する透過領域変更機構とを備える。
【０００７】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【０００８】
【図１】本実施形態に係る一眼レフカメラの要部断面図である。
【図２】本実施形態に係る構造化開口ユニットの外観図である。
【図３】構造化開口ユニットをレンズユニットに装着する様子を示す図である。
【図４】撮像素子の画素上に配置されたカラーフィルタの説明図である。
【図５】撮像素子の画素が感度を有する波長帯と、構造化開口のそれぞれのフィルタ部が透過する波長帯の関係を示す図である。
【図６】各フィルタ部の透過領域がフィルタの回転に伴って変化する様子を説明する図である。
【図７】他の構造化開口の例における、各フィルタ部の透過領域がフィルタの回転に伴って変化する様子を説明する図である。
【図８】更に他の構造化開口の例における、各フィルタ部の透過領域がフィルタの回転に伴って変化する様子を説明する図である。
【図９】一眼レフカメラのシステム構成を概略的に示すブロック図である。
【図１０】補助撮影画像の取得から距離情報の算出までの処理フローを示す図である。
【図１１】本撮影画像および補助撮影画像の取得フローを示す図である。
【発明を実施するための形態】
【０００９】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１０】
まず、本実施形態におけるシーンの奥行き情報の取得原理について説明する。ここで、シーンの奥行き情報とは、シーンを構成する被写体としての各オブジェクト間の相対的な前後関係を示す距離情報である。距離情報取得装置は、距離情報として例えば、シーンの奥行き方向における合焦面を基準として、当該基準からそれぞれのオブジェクトの距離を取得する。したがって、距離情報は、カメラから各オブジェクトまでの絶対距離でなくても良い。カメラから各オブジェクトまでの絶対距離を取得したい場合は、例えばフォーカスレンズ位置を検出することにより合焦面の絶対距離を算出し、この合焦面の絶対距離を加味して、それぞれのオブジェクトの距離を計算すれば良い。
【００１１】
本実施形態においては、被写体光束をＣＣＤ、ＣＭＯＳ等によって構成される受光素子に導く光学系に、構造化開口を挿入することにより距離情報を取得する。構造化開口は、光学系に挿入されたときに、Ｒ（赤）Ｇ（緑）Ｂ（青）の各カラーフィルタが、光学系の光軸に対してそれぞれ偏心した位置となるように設けられて構成されている。例えば、光軸中心から、左方向へ放射状に延在するＧフィルタ領域、上方向へ放射状に延在するＲフィルタ領域および右方向へ放射状に延在するＢフィルタ領域のようにカラーフィルタパターンが形成される。また、受光素子は、ＲＧＢのいずれかのカラーフィルタが各画素上に配置されており、例えば４画素を１組とするベイヤー配列が採用される。本実施形態に係る構造化開口の構成、および受光素子の構成は、後に詳述する。
【００１２】
上述の例によるカラーフィルタパターンが形成された構造化開口を通過した被写体光束を、上述の受光素子で撮影した場合、焦点の合った奥行きより近い点はＲが下、Ｇが右、Ｂが左方向にそれぞれずれて観測される。焦点の合った奥行きより遠い点ではずれ方向が逆になる。焦点の合っている奥行きでは画像はずれない。つまり、焦点の合っていない奥行きでは、シーンの同じ点が色ごとにずれて観察される。
【００１３】
別言すれば、撮影した画像のＲＧＢ成分であるＩｒ、Ｉｇ、Ｉｂは、三視点のステレオ画像となる。仮想的な中央の視点をリファレンス座標に取れば、リファレンス座標（ｘ，ｙ）における視差をｄ画素とすると、Ｉｒ（ｘ，ｙ−ｄ）、Ｉｇ（ｘ＋ｄ，ｙ）、Ｉｂ（ｘ−ｄ，ｙ）が対応するから、これらが最も良く一致するｄを視差の推定値とすることができる。しかし、観測波長帯が異なるため対応点の輝度レベルは位置しないので、単純な輝度の差分をマッチング指標にすることはできない。
【００１４】
そこで、ここでは自然画像の色成分は局所的に線形関係を示す傾向が高いことを利用する。（ｘ，ｙ）の周りに局所ウィンドウｗ（ｘ，ｙ）を考え、そこに含まれる画素色の集合をＳ（ｘ，ｙ；ｄ）＝｛（Ｉｒ（ｓ，ｔ−ｄ）、Ｉｇ（ｓ＋ｄ，ｔ）、Ｉｂ（ｓ−ｄ，ｔ））｜（ｓ，ｔ）∈ｗ（ｘ，ｙ）｝とすると、真のｄのときに分布が最も直線に近くなると考えられる。
【００１５】
ここではＲＧＢ間の線形関係を計る指標として以下を用いる。
Ｌ（ｘ，ｙ；ｄ）＝λ０λ１λ２／σｒ２σｇ２σｂ２ （１）
ただしλ０、λ１、λ２（λ０≧λ１≧λ２≧０）は色分布Ｓ（ｘ，ｙ；ｄ）の主成分軸に沿った分散（すなわちＳ（ｘ，ｙ；ｄ）の共分散行列Σの固有値）、σｒ２、σｇ２、σｂ２は色分布のＲ、Ｇ、Ｂ軸に沿った分散である。ここでは表記の簡単のため右辺のｘ、ｙ、ｄへの依存については省略した。
【００１６】
行列の性質からλ０＋λ１＋λ２＝σｒ２＋σｇ２＋σｂ２ （＝ｔｒａｃｅ（Σ））であるので、固有値間の大小に差があるほど式（１）は小さくなる。直線的な分布（λ０＞＞λ１、λ２）であればＬは０に近く、完全無相関（固有値がＲ、Ｇ、Ｂ軸に沿った分散に等しい）のとき最大値Ｌ＝１をとる。
【００１７】
画像の各点、おおび取りうる範囲の各視差ｄについてＬ（ｘ，ｙ；ｄ）を計算する必要があるが、Ｓｕｍｍｅｄ Ａｒｅａ Ｔａｂｌｅを用いてＩｒ、Ｉｇ、Ｉｂとそれらの二乗と積の表を計算しておけば、局所ウィンドウのサイズに依存せずに共分散行列Σの各要素を計算することができる。また、式（１）の分子は行列の性質からλ０λ１λ２＝ｄｅｔ（Σ）であるので固有値を実際に計算する必要はない。
【００１８】
上述のように計算される各オブジェクト単位の視差ｄにより、シーンの奥行き情報を推定することができる。本実施形態に係る距離情報取得装置としての一眼レフカメラは、このようなシーンの奥行き情報の取得原理を採用する。ただし、上述の手法によれば、焦点の合っている奥行きを基準として視差ｄが規定されるので、シーンに対する最適ピント位置、測定可能な奥行き範囲などは、構造化開口の形状により一義的に固定される。つまり、構造化開口のカラーフィルタパターンと被写体光束の関係が固定されていると、ピント位置が制約され、測定可能な奥行き範囲も一定となる。そこで、本実施形態の一眼レフカメラは、このような問題に対処すべく、構造化開口のカラーフィルタパターンと被写体光束の関係を変化させる構造を採用する。以下に本実施形態について説明する。
【００１９】
図１は、本実施形態に係る一眼レフカメラ２００の要部断面図である。一眼レフカメラ２００は、撮影レンズであるレンズユニット２１０とカメラボディであるカメラユニット２３０が組み合わされて撮像装置として機能する。
【００２０】
レンズユニット２１０は、光軸２０１に沿って配列されたレンズ群２１１を備える。レンズ群２１１には、フォーカスレンズ２１２、ズームレンズ２１３が含まれる。また、光軸２０１に沿って、絞り２１４および構造化開口ユニット３００も配列される。構造化開口ユニット３００は、被写体光束に対して挿抜することができる。アクチュエータ２１５は、構造化開口ユニット３００が被写体光束に対して挿入されたときに構造化開口を回転させる。
【００２１】
レンズユニット２１０は、フォーカスレンズ２１２、絞り２１４およびアクチュエータ２１５の駆動などレンズユニット２１０の制御および演算を司るレンズシステム制御部２１６を備える。レンズユニット２１０を構成する各要素は、レンズ鏡筒２１７に支持されている。
【００２２】
また、レンズユニット２１０は、カメラユニット２３０との接続部にレンズマウント２１８を備え、カメラユニット２３０が備えるカメラマウント２３１と係合して、カメラユニット２３０と一体化する。レンズマウント２１８およびカメラマウント２３１はそれぞれ、機械的な係合部の他に電気的な接続部も備え、カメラユニット２３０からレンズユニット２１０への電力の供給および相互の通信を実現している。なお、以後の説明においては図示するように、光軸２０１に沿って被写体光束が入射する方向にｚ軸を定める。
【００２３】
カメラユニット２３０は、レンズユニット２１０から入射される被写体像を反射するメインミラー２３２と、メインミラー２３２で反射された被写体像が結像するピント板２３４を備える。メインミラー２３２は、回転軸２３３周りに回転して、光軸２０１を中心とする被写体光束中に斜設される状態と、被写体光束から退避する状態を取り得る。ピント板２３４側へ被写体像を導く場合は、メインミラー２３２は被写体光束中に斜設される。また、ピント板２３４は、撮像素子２４３の受光面と共役の位置に配置されている。
【００２４】
ピント板２３４で結像した被写体像は、ペンタプリズム２３５で正立像に変換され、接眼光学系２３６を介してユーザに観察される。また、ペンタプリズム２３５の射出面上方にはＡＥセンサ２３７が配置されており、被写体像の輝度分布を検出する。
【００２５】
斜設状態におけるメインミラー２３２の光軸２０１の近傍領域は、ハーフミラーとして形成されており、入射される光束の一部が透過する。透過した光束は、メインミラー２３２と連動して動作するサブミラー２３８で反射されて、ＡＦ光学系２３９へ導かれる。ＡＦ光学系２３９を通過した被写体光束は、ＡＦセンサ２４０へ入射される。ＡＦセンサ２４０は、受光した被写体光束から位相差信号を検出する。なお、サブミラー２３８は、メインミラー２３２が被写体光束から退避する場合は、メインミラー２３２に連動して被写体光束から退避する。
【００２６】
斜設されたメインミラー２３２の後方には、光軸２０１に沿って、フォーカルプレーンシャッタ２４１、光学ローパスフィルタ２４２、撮像素子２４３が配列されている。フォーカルプレーンシャッタ２４１は、撮像素子２４３へ被写体光束を導くときに開放状態を取り、その他のときに遮蔽状態を取る。光学ローパスフィルタ２４２は、撮像素子２４３の画素ピッチに対する被写体像の空間周波数を調整する役割を担う。そして、撮像素子２４３は、例えばＣＭＯＳセンサなどの受光素子であり、受光面で結像した被写体像を電気信号に変換する。
【００２７】
撮像素子２４３で光電変換された電気信号は、メイン基板２４４に搭載されたＤＳＰである画像処理部２４６で画像データに処理される。メイン基板２４４には、画像処理部２４６の他に、カメラユニット２３０のシステムを統合的に制御するＭＰＵであるカメラシステム制御部２４５が搭載されている。カメラシステム制御部２４５は、カメラシーケンスを管理すると共に、各構成要素の入出力処理等を行う。
【００２８】
カメラユニット２３０の背面には液晶モニタ等による表示部２４７が配設されており、画像処理部２４６で処理された被写体画像が表示される。表示部２４７は、撮影後の静止画像に限らず、ビューファインダとしてのＥＶＦ画像、各種メニュー情報、撮影情報等を表示する。また、カメラユニット２３０には、着脱可能な二次電池２４８が収容され、カメラユニット２３０に限らず、レンズユニット２１０にも電力を供給する。
【００２９】
また、ペンタプリズム２３５の近傍には使用状態と収納状態を取り得るフラッシュ２４９を備えており、使用状態においてカメラシステム制御部２４５の制御により被写体を照射する。フラッシュ２４９の近傍には、被写体を照射するパターン投光部２５０を備えており、被写体に対して幾何的模様等であるパターンを投光する。
【００３０】
図２は、本実施形態に係る構造化開口ユニット３００の外観図である。図２（ａ）は被写体側から見た正面図であり、図２（ｂ）は側面図であり、図２（ｃ）は撮像素子２４３側から見た背面図である。
【００３１】
構造化開口ユニット３００は、保持枠３０１、フィルタ３０２、開口マスク３２２、ベース部３０７、外周部３０８および把持部３０９を主な構成要素とする。保持枠３０１は、中心部分が中空の円筒形を成し、フィルタ３０２は、保持枠３０１の中空部分に張設されて固定されている。保持枠３０１の外周部にはギア３１０が全周にわたって設けられている。保持枠３０１は、ベース部３０７に回転機構を介して連結され、図示する矢印方向へ回転自在に支持されている。ベース部３０７は、保持枠３０１の中空部分と同様に、被写体光束範囲に中空部分を有する。開口マスク３２２は、ベース部３０７の中空部分に張設されて固定されている。
【００３２】
ベース部３０７の端部には外周部３０８と把持部３０９が一体的に形成されている。ユーザは、把持部３０９を掴んで構造化開口ユニット３００をレンズユニット２１０に対して挿抜する。
【００３３】
フィルタ３０２は、被写体光束を遮断する遮断フィルタ部３０３、赤色の波長帯を透過させるＲフィルタ部３０４、緑色の波長帯を透過させるＧフィルタ部３０５および青色の波長帯を透過させるＢフィルタ部３０６から構成される。図示するようにＲフィルタ部３０４、Ｇフィルタ部３０５、Ｂフィルタ部３０６は、光軸中心から放射方向へ延在するように偏心した位置に設けられ、その形状は、それぞれ光軸中心周りに９０度間隔で配列された扇形である。特に、光軸中心部付近を遮断フィルタ部３０３とするバウムクーヘン状の形状を成す。
【００３４】
開口マスク３２２は、被写体光束を遮断する遮断部３２３と、３つの開口部であるＲ開口部３２４、Ｇ開口部３２５およびＢ開口部３２６から構成される。Ｒ開口部３２４はＲフィルタ部３０４と同形状であり、同様に、Ｇ開口部３２５はＧフィルタ部３０５と、Ｂ開口部３２６はＢフィルタ部３０６と同形状である。
【００３５】
フィルタ３０２を固定する保持枠３０１は、上述のように矢印方向へ回転する。一方、開口マスク３２２はベース部３０７の中空部分に固定されている。保持枠３０１を回転させることにより、Ｒフィルタ部３０４をＲ開口部３２４に、Ｇフィルタ部３０５をＧ開口部３２５に、Ｂフィルタ部３０６をＢ開口部３２６に完全に一致させることができる。また、後述するように部分的に重ねることもできる。
【００３６】
図３は、構造化開口ユニット３００をレンズユニット２１０に装着する様子を示す図である。図３（ａ）は、構造化開口ユニット３００をレンズユニット２１０に挿し込む直前の様子を示し、図３（ｂ）は、装着された様子を示す。
【００３７】
ユーザは、把持部３０９を把持して、構造化開口ユニット３００をレンズ鏡筒２１７に設けられた装着スリット２１９へ挿し込む。すると、構造化開口ユニット３００は、ベース部３０７の側面がレンズ鏡筒２１７の内部に設けられた挿抜ガイド２２０に案内されて、フィルタ３０２の中心が光軸２０１と一致する位置に到達する。フィルタ３０２の中心が光軸２０１と一致する位置に到達すると、外周部３０８が装着スリット２１９に嵌合し、外周部３０８の外面がレンズ鏡筒２１７の外観面と一致する。また、ギア３１０は、アクチュエータ２１５の駆動ギアと噛合する。アクチュエータ２１５は、レンズ鏡筒２１７に配設されており、レンズシステム制御部２１６は、構造化開口ユニット３００がレンズユニット２１０と一体化されると、保持枠３０１を回転させることができる。
【００３８】
図４は、撮像素子２４３の画素上に配置されたカラーフィルタの説明図である。本実施例におけるカラーフィルタの配列は、いわゆるベイヤー配列であり、４画素を１組として、各画素上にＲ画素フィルタ、Ｇ画素フィルタ、Ｇ画素フィルタおよびＢ画素フィルタが設けられている。したがって、各画素が感度を有する波長帯は、それぞれに設けられた画素フィルタによって規制される。例えば、Ｒ画素フィルタが設けられた画素は、赤色の波長帯に対して感度を持つ。撮像素子２４３の全体としては、２次元的に配列された画素のそれぞれが離散的にＲ画素フィルタ、Ｇ画素フィルタおよびＢ画素フィルタのいずれかを備えることになるので、撮像素子２４３は、入射する被写体光束をそれぞれの波長帯に分離して検出していると言える。換言すれば、撮像素子２４３は、受光面に結像する被写体像をＲＧＢの３つの波長帯に分離して光電変換する。
【００３９】
図５は、撮像素子２４３の画素が感度を有する波長帯と、構造化開口のそれぞれのフィルタ部が透過する波長帯の関係を示す図である。図は、縦軸に透過率（％）を、横軸に波長（ｎｍ）を示す。透過率が高い波長の光ほど、画素を構成するフォトダイオードに到達することを表す。
【００４０】
Ｂ曲線７０１は、Ｂ画素フィルタが設けられた画素の感度を示し、同様にＧ曲線７０２はＧ画素フィルタが設けられた画素の感度を、Ｒ曲線７０３はＲ画素フィルタが設けられた画素の感度を示す。図示されるように、隣り合う波長帯であるＢ曲線７０１とＧ曲線７０２、および、Ｇ曲線７０２とＲ曲線７０３は若干の重なり部分を有しており、一方、互いに離れた波長帯であるＢ曲線７０１とＲ曲線７０３は互いに交わることが無い。
【００４１】
構造化開口のＢフィルタ部３０６は、矢印７１１の波長帯を透過させる。同様に、Ｇフィルタ部３０５は、矢印７１２の波長帯を透過させ、Ｒフィルタ部３０４は、矢印７１３の波長帯を透過させる。したがって、Ｂ画素フィルタが設けられた画素は、構造化開口のＢフィルタ部３０６を透過した被写体光束に対して感度を持ち、Ｇ画素フィルタが設けられた画素は、構造化開口のＧフィルタ部３０５を透過した被写体光束に対して感度を持ち、Ｒ画素フィルタが設けられた画素は、構造化開口のＲフィルタ部３０４を透過した被写体光束に対して感度を持つと言える。
【００４２】
すると、Ｒフィルタ部３０４を開口とする赤色波長帯の被写体画像、Ｇフィルタ部３０５を開口とする緑色波長帯の被写体画像、およびＢフィルタ部３０６を開口とする青色波長帯の被写体画像を、一度の撮影により取得することができる。これらの被写体画像は、それぞれ上述のＩｒ、Ｉｇ、Ｉｂに相当し、互いに三視点のステレオ画像を構成する。
【００４３】
なお、このように撮影される赤色波長帯の被写体画像、緑色波長帯の被写体画像および青色波長帯の被写体画像は、それぞれＲ画素フィルタが設けられた画素の出力のみ、Ｇ画素フィルタが設けられた画素の出力のみ、または、Ｂ画素フィルタが設けられた画素の出力のみを集めて互いに分離されるので、通常の撮影における画像処理とは異なる画像処理により形成される。したがって、ここでは通常の撮影により取得される撮影画像を本撮影画像と呼び、構造化開口を用いて取得される撮影画像を補助撮影画像と呼ぶ。本撮影画像は構造化開口ユニット３００をレンズユニット２１０から抜出して撮影された画像であり、補助撮影画像は構造化開口ユニット３００をレンズユニット２１０へ装着して撮影された画像である。
【００４４】
図６は、各フィルタ部の透過領域がフィルタ３０２の回転に伴って変化する様子を説明する図である。上述のように、開口マスク３２２は固定されており、構造化開口を形成するフィルタ３０２は、レンズシステム制御部２１６の制御によって駆動されるアクチュエータ２１５の作用により回転される。
【００４５】
図中左列に示すように、フィルタ３０２の回転角が０度の位相位置にあれば、各フィルタ部はそれぞれ対応する開口部と全周に亘って一致する。したがって、各フィルタ部は、開口マスク３２２の遮断部３２３に遮られることがなく、透過領域としては最大の面積を示す。
【００４６】
一方、図中中列に示すように、フィルタ３０２の回転角が２２．５度の位相位置にあれば、各フィルタ部はその半分が開口マスク３２２の遮断部３２３に遮られる。つまり、各フィルタ部の透過領域は半分の面積になる。
【００４７】
フィルタ３０２が更に回転されると、例えば図中右列で示すように、各フィルタ部の透過領域の面積は更に小さくなる。なお、図の例においては、各フィルタ部および開口部を形成する扇形の中心角は４５度であり、フィルタ３０２が４５度回転された位相位置で各フィルタ部と各開口部が交互に配列された状態となり、各フィルタ部の透過領域は０となる。
【００４８】
つまり、フィルタ３０２を回転させることにより、各フィルタ部の透過領域の面積を段階的かつ連続的に変更させることができる。別言すれば、フィルタ３０２、開口マスク３２２およびアクチュエータ２１５等の駆動系を併せて、各フィルタ部の透過領域の面積を変更する透過領域変更機構として機能させることができる。なお、本実施形態においては、開口マスク３２２を固定側とし、フィルタ３０２を回転側として説明するが、各フィルタ部の透過領域の面積を変更するには、それぞれが相対的に移動すればよいので、固定側と回転側を入れ替えて構成しても良い。
【００４９】
ここで、各フィルタ部の透過領域の面積を段階的に変更できる意義について説明する。
【００５０】
透過領域の面積が小さいということは、より少ない被写体光束のみを通過させることになるので、実質的に瞳サイズが小さいことを意味する。したがって、非合焦状態のオブジェクトに対するぼけ量が小さい。合焦状態のオブジェクトから奥行き方向に離れて存在するオブジェクトに対するぼけ量が小さければ、より精度の高いマッチング処理が行えるので、算出される奥行き情報の精度も高くなる。例えば、接写時などピント位置がカメラから比較的近い場合においては、そもそも被写界深度が浅くなるので、フィルタ部の透過領域を狭めて補助撮影画像を取得することが好ましい。
【００５１】
一方、透過領域の面積が小さいということは、撮像素子２４３に到達する光量が少ないことを意味する。したがって、透過領域を狭めて補助撮影を行う場合には、比較的長い露光時間を要することになる。もしユーザが補助撮影を手持ちで行うのであれば、手振れの影響を受けやすくなり、かえって被写体像がぶれてしまうことになる。そこで、比較的暗い周辺環境である場合には、透過領域の面積を増やして補助撮影画像を取得することが好ましい。また、ピント位置がカメラから比較的遠い場合であったり、広角レンズを用いる場合などにおいては、そもそも被写界深度が深いので、非合焦状態のオブジェクトに対するぼけ量がもともと小さい。したがって、このような場合には、フィルタ部の透過領域を多少広くしても、奥行き情報の精度を確保することができる。
【００５２】
つまり、カメラから合焦オブジェクトの位置、撮影レンズ、周辺環境といった撮影環境と、奥行き情報として要求する奥行き方向の測定レンジとの兼ね合いから、透過領域の面積を決定すれば良い。換言すれば、透過領域の面積が段階的に変更できるので、様々な撮影環境に対応しつつ、奥行き方向に対して一定レベルの測定レンジを保つことができる。
【００５３】
図６で示すフィルタ３０２と開口マスク３２２の組み合わせによれば、透過領域が段階的に変更されても、光軸中心から各々の透過領域における重心までの距離は変わらない。特に、図の例によれば、各フィルタ部および各開口部がそれぞれ外周寄りの、光軸中心から比較的離れた位置に設けられている。すると、光軸中心から各々の透過領域における重心までの距離も比較的長いと言える。この重心距離に対応する撮像素子２４３上の距離は実効的な基線長として捉えることができるので、重心距離を長くすれば基線長も長くなり、奥行き方向の分解能を高めることができる。つまり、対象となるオブジェクトに対して、より細かい単位で距離を取得することができる。
【００５４】
したがって、図６で示すフィルタ３０２と開口マスク３２２の組み合わせによれば、様々な撮影環境に対応しつつ、奥行き方向の分解能を保つことができる。一方で、基線長が長過ぎると、非合焦オブジェクトに対する視差量が大きくなりすぎて、マッチング処理における重複度が低下するという問題がある。マッチング処理における重複度が低下すると、空間分解能が低下する。つまり、基線長が長い場合は、同一オブジェクトに対する距離情報としての像の輪郭が粗くなる傾向にある。
【００５５】
そこで、空間分解能を高めたい場合には、基線長を短くする、つまり、重心距離が短くなるフィルタと開口マスクの組み合わせを選択すればよい。図７は、このような条件を満たす、他の構造化開口の例における、各フィルタ部の透過領域がフィルタ４０２の回転に伴って変化する様子を説明する図である。
【００５６】
図の例による構造化開口のフィルタ４０２の各フィルタ部は、図６の構造化開口におけるフィルタ３０２の各フィルタ部に対して、光軸中心寄りに設けられている。開口マスク４２２の各開口部も、各フィルタ部に対応して、光軸中心寄りに設けられている。図７で示すフィルタ４０２と開口マスク４２２の組み合わせによれば、透過領域が段階的に変更されても、光軸中心から各々の透過領域における重心までの距離は変わらず、その重心距離は、図６の例における重心距離よりも短い。つまり、図７におけるフィルタ４０２と開口マスク４２２の組み合わせによる実効的な基線長は、図６におけるフィルタ３０２と開口マスク３２２の組み合わせによる実効的な基線長よりも短い。
【００５７】
したがって、ユーザは、奥行き分解能よりも空間分解能を優先させて距離情報を取得したい場合には、図７におけるフィルタ４０２と開口マスク４２２の組み合わせを選択すればよい。つまり、レンズユニット２１０に装着する構造化開口ユニットを、その目的に応じて複数の中から選択すれば良い。
【００５８】
図６におけるフィルタ３０２と開口マスク３２２の組み合わせ、および、図７におけるフィルタ４０２と開口マスク４２２の組み合わせでは、各フィルタ部の透過領域を段階的に変化させても、それぞれの重心距離は変化しない構成であった。しかし、各フィルタ部の透過領域を段階的に変化させつつ、重心距離も変化させる構成とすることもできる。図８は、このような構成の例である他の構造化開口における、各フィルタ部の透過領域がフィルタ５０２の回転に伴って変化する様子を説明する図である。
【００５９】
図示するようにフィルタ５０２は、中心角を９０度とする扇形から、その一辺を略直径とする半円を取り除いた形状のフィルタ部が光軸中心周りにそれぞれ隣接されて形成されている。また、開口マスク５２２は、中心角を１０度とする扇形の開口部が、光軸中心周りに９０度おきに形成されている。
【００６０】
フィルタ５０２の回転角が０度の状態では、それぞれの開口部の全部にフィルタ部が重なる。したがって、それぞれのフィルタ部における透過領域の面積は、開口部の面積と等しくなる。つまり、フィルタ５０２と開口マスク５２２の組み合わせにおいては、透過領域の面積として最大値となる。また、透過領域は光軸中心付近まで存在するので、光軸中心から重心位置までの重心距離は最小値となる。
【００６１】
フィルタ５０２の回転角が９０度に近づくにつれて、それぞれの開口部とフィルタ部が重なる領域が小さくなる。すなわち、透過領域の面積は徐々に小さくなる。また、透過領域は徐々に外周部寄りの領域に限られていくので、重心距離は徐々に大きくなる。
【００６２】
このように、各フィルタ部の透過領域を段階的に変化させつつ、重心距離も変化させる構成とすれば、奥行き分解能と空間分解能の組み合わせを、より自由度をもって選択することができる。なお、いずれのフィルタと開口マスクの組み合わせにおいても、フィルタ部の回転角をいかなる値とするかは、カメラシステム制御部２４５が撮影環境を判断して自動的に決定しても良いし、ユーザが操作部を操作することにより決定しても良い。
【００６３】
次に、本実施形態に係る一眼レフカメラ２００のシステム構成を説明する。図９は、一眼レフカメラ２００のシステム構成を概略的に示すブロック図である。一眼レフカメラ２００のシステムは、レンズユニット２１０とカメラユニット２３０のそれぞれに対応して、レンズシステム制御部２１６を中心とするレンズ制御系と、カメラシステム制御部２４５を中心とするカメラ制御系により構成される。そして、レンズ制御系とカメラ制御系は、レンズマウント２１８とカメラマウント２３１によって接続される接続部を介して、相互に各種データ、制御信号の授受を行う。
【００６４】
カメラ制御系に含まれる画像処理部２４６は、カメラシステム制御部２４５からの指令に従って、撮像素子２４３で光電変換された撮像信号を画像データに処理する。本撮影画像において処理された画像データは、表示部２４７へ送られて、例えば撮影後の一定時間の間表示される。これに並行して、処理された画像データは、所定の画像フォーマットに加工され、外部接続ＩＦ２５４を介して外部メモリに記録される。画像処理部２４６は、補助撮影画像として撮影された撮像信号から、波長帯ごとに分離された被写体画像を生成する。生成された被写体画像は距離情報算出部２５１へ引き渡され、距離情報算出部２５１は、上述の手法により距離情報を算出する。算出された距離情報は、カメラメモリ２５２へ記録される。
【００６５】
カメラメモリ２５２は、例えばフラッシュメモリなどの不揮発性メモリであり、生成された撮影画像の一時的な記録場所としての他に、一眼レフカメラ２００を制御するプログラム、各種パラメータなどを記録する役割を担う。ワークメモリ２５３は、例えばＲＡＭなどの高速アクセスできるメモリであり、処理中の画像データを一時的に保管する役割などを担う。
【００６６】
レリーズスイッチ２５５は押し込み方向に２段階のスイッチ位置を備えており、カメラシステム制御部２４５は、第１段階のスイッチであるＳＷ１がＯＮになったことを検出すると、ＡＦセンサ２４０から位相差情報を取得する。そして、レンズシステム制御部２１６へフォーカスレンズ２１２の駆動情報を送信する。また、ＡＥセンサ２３７から被写体像の輝度分布を取得して露出値を決定する。さらに、第２段階のスイッチであるＳＷ２がＯＮになったことを検出すると、予め定められた処理フローに従って本撮影画像の取得、または、補助撮影画像の取得を実行する。本撮影画像の取得と補助撮影画像の取得についての処理フローについては後述する。
【００６７】
フラッシュ２４９は、カメラシステム制御部２４５の制御に従って被写体を照射する。また、同様にパターン投光部２５０は、カメラシステム制御部２４５の制御に従って投光パターンを被写体に投光する。特に、暗いシーン、被写体が無模様のシーンなどの場合には、補助撮影画像の取得時においてもパターン投光部２５０が利用される。
【００６８】
レンズシステム制御部２１６は、カメラシステム制御部２４５からの制御信号を受けて各種動作を実行する。また、構造化開口駆動部２２２は、レンズシステム制御部２１６の指示に従ってアクチュエータ２１５を駆動する。
【００６９】
図１０は、補助撮影画像の取得から距離情報の算出までの処理フローを示す図である。本フローにおける一連の処理は、カメラシステム制御部２４５が操作部材を介してユーザから指示を受け付けたとき、または、予め定められた制御プログラムに距離算出処理が組み込まれているとき等に開始される。
【００７０】
ステップＳ８０１では、画像処理部２４６が処理対象となる補助撮影画像を取得する。画像処理部２４６は、処理対象の補助撮影画像として、撮像素子２４３から出力された画像信号をそのまま取得しても良いし、撮影後に距離情報を算出しないまま記録部に記録されている補助撮影画像を読み出して取得しても良い。したがって、本実施形態においてはカメラユニット２３０を距離情報取得装置として距離情報の算出を実行するが、距離情報の算出は、カメラとは別個の独立した距離情報取得装置で実行することもできる。例えば、ＰＣを例にすれば、カメラとの間に記録媒体を介在させ、記録媒体に記録された補助撮影画像を読み出して処理することもできるし、有線、無線によりカメラと接続した状態を確立すれば、補助撮影画像の撮影と連動して処理することもできる。
【００７１】
画像処理部２４６は、ステップＳ８０２で、補助撮影画像から、Ｒフィルタ部３０４を通過して形成された赤色画像、すなわち、Ｒ画素フィルタが設けられた画素の出力から形成される画像Ｉｒを抽出する。同様に、Ｇフィルタ部３０５を通過して形成された緑色画像ＩｇとＢフィルタ部３０６を通過して形成された青色画像Ｉｂを抽出する。画像処理部２４６は、このように波長帯別画像を抽出すると、これらの画像を距離情報算出部２５１へ引き渡す。
【００７２】
距離情報算出部２５１は、ステップＳ８０３で、上述の手法を用いて距離情報を算出する。なお、算出された距離情報は、距離画像データとして別途独立したファイルを生成しても良いし、補助撮影画像に付帯して記録しても良い。別途独立したファイルを生成する場合には、補助撮影画像に対してリンク情報を記録する。算出された距離情報は、例えば、同一距離と判断された被写体が存在する画素領域情報と当該距離をセットとして、距離ごとに複数セット分リスト化されたテーブル形式のデータ構造を有する。以上により一連の処理フローを終了する。
【００７３】
上述の実施形態においては図１で示すように、構造化開口をレンズユニット２１０の瞳位置近傍に配設した。しかし、構造化開口の配設位置はレンズユニット２１０の瞳位置近傍に限らない。例えば、光学系を二次結像系とすることにより、構造化開口を、レンズユニットの瞳位置に共役な位置またはその近傍に配設することができる。特に、一眼レフカメラのようにレンズ交換式カメラの場合、カメラユニット側に構造化開口を設ければ、レンズユニットごとに構造化開口を配設しなくても良い。さらには、ＡＦ光学系２３９、ＡＦセンサ２４０等から構成されるＡＦユニットを上記実施形態に係る距離情報取得装置に置き換えて、オートフォーカスについても上述の奥行き推定から実行するように構成することもできる。この場合、本撮影画像を取得する撮像素子２４３とは別に、距離情報算出用の受光素子が設けられることになる。
【００７４】
以上の実施形態においては、一眼レフカメラを例に説明したが、光学ファインダを持たないレンズ交換式カメラ、レンズユニットが一体化されたコンパクトカメラ、動画撮影を行うこともできるビデオカメラといった撮像装置に対しても適用することができる。
【００７５】
また、以上の実施形態においては、撮像素子としてベイヤー配列のカラーフィルタを有する単板式撮像素子を例に説明したが、他のカラーフィルタ配列であっても良く、さらには、ＲＧＢに限らず他の波長帯を透過させるフィルタが配列されていても良い。この場合、構造化開口のフィルタ部は、撮像素子のカラーフィルタの波長帯に応じて透過および遮断波長帯が選択される。
【００７６】
また、カラーフィルタを持たず、フォトダイオードの奥行き方向に異なる感応波長帯を有する撮像素子に対しても適用できる。この場合、構造化開口のフィルタ部は、フォトダイオードの奥行き方向で分離される波長帯に応じて透過波長帯が選択される。さらには、単板の撮像素子を備えるカメラに限らず、例えばＲＧＢのそれぞれに分けられた三板式カメラのような、入射する被写体光束を複数の波長帯に分離してそれぞれの波長帯を独立して受光する複数の撮像素子を備えるカメラに対しても適用することができる。また、ＲＧＢのうち２つの波長帯を透過させるフィルタが配列されていれば、上述の距離情報取得を行うことができるので、以上の実施形態に係る構造化開口のＲＧＢフィルタのうちの一つを取り除いても良い。
【００７７】
次に、図１等を用いて説明した、構造化開口ユニット３００を適用した一眼レフカメラ２００による撮影シーケンスの例を説明する。ただし、バリエーションとして説明した他の構成の構造化開口、構造化開口の配設位置、撮像素子の種類、数等についても、適宜組み合わせて適用し得る。
【００７８】
図１１は、本撮影画像および補助撮影画像の取得フローを示す図である。撮影シーケンスが開始されると、カメラシステム制御部２４５は、ステップＳ１３０１で、これから行う撮影動作が本撮影画像の撮影動作か、補助撮影画像の撮影動作かを判断する。本撮影画像の撮影動作であると判断したときは、ステップＳ１３０２へ進む。
【００７９】
ステップＳ１３０２でカメラシステム制御部２４５は、ユーザにより構造化開口ユニット３００が被写体光束から抜出されているか否かを判断する。抜出さているか否かは、例えば、フォトインタラプタなどのセンサを設けて判断することができる。
【００８０】
カメラシステム制御部２４５は、構造化開口ユニット３００が抜出されたと判断したらステップＳ１３０３へ進む。抜出されるまではステップＳ１３０２で待機する。
【００８１】
ステップＳ１３０３では、カメラシステム制御部２４５は、レリーズスイッチ２５５のＳＷ１がＯＮにされるのを待って、被写体の測光を行う。具体的には、カメラシステム制御部２４５は、ＡＥセンサ２３７から被写体像の輝度分布を取得する。カメラシステム制御部２４５は、被写体像の輝度分布を取得したら、ステップＳ１３０４に進み、露出値を算出する。ここで、露出値とは、撮像素子２４３を被写体光束に露光する露光時間、被写体光束を制限する絞り２１４の絞り値、および撮像素子２４３の読み出しゲインに対応するＩＳＯ感度の３つの数値である。
【００８２】
露出値は、カメラメモリに予め記録されたプログラム線図によって決定される。例えば、ユーザにより絞り優先モードに設定されている場合は、カメラシステム制御部２４５は、ユーザが設定した絞り値はそのままにして、露光時間と撮像感度を一定のルールに即して設定されているプログラム線図上の値により決定する。
【００８３】
また、カメラシステム制御部２４５は、ＳＷ１がＯＮにされると、測光処理の他にも合焦動作などの撮影準備処理を実行する。合焦動作は、ＡＦセンサ２４０から取得された位相差情報に基づいて、レンズシステム制御部２１６がフォーカスレンズ２１２を駆動することにより実現される。
【００８４】
撮影準備処理が終了すると、カメラシステム制御部２４５は、ステップＳ１３０５へ進み、レリーズスイッチ２５５のＳＷ２がＯＮにされるのを待って、本撮影画像の取得動作を実行する。具体的には、メインミラー２３２およびサブミラー２３８を被写体光束から退避させ、決定された露出値に従って絞り２１４およびフォーカルプレーンシャッタ２４１を動作させる。さらに、フォーカルプレーンシャッタ２４１が開放されている間に撮像素子２４３の各画素に蓄積された電荷を読み出し、画像処理部２４６に予め設定されたフォーマットに従って画像ファイルを生成させ、当該画像ファイルを記録部に記録する。
【００８５】
カメラシステム制御部２４５は、一連の本撮影画像の撮影動作が終了したらステップＳ１３０６へ進み、引き続き補助撮影画像の撮影動作が指示されているか否かを判断する。補助撮影画像の撮影動作が指示されていなければ、一連の処理を終了する。
【００８６】
カメラシステム制御部２４５は、ステップＳ１３０１またはステップＳ１３０６で補助撮影画像の撮影動作が指示されていると判断したら、ステップＳ１３０７へ進み、ユーザにより構造化開口ユニット３００が被写体光束中に装着されているか否かを判断する。カメラシステム制御部２４５は、構造化開口ユニット３００が装着されるまでステップＳ１３０７で待機する。
【００８７】
カメラシステム制御部２４５は、構造化開口ユニット３００が装着されたと判断したらステップＳ１３０８へ進む。補助撮影画像の撮影動作は、被写体光束中に構造化開口を介在させて実行するので、撮像素子２４３に到達する被写体光束の光学的条件が、本撮影画像の撮影動作時とは大きく異なる。簡単には、撮像素子２４３に到達する被写体光束が構造化開口によって制限されるので、本撮影画像の撮影条件と同じ条件では暗い画像が取得されることになる。そこで、カメラシステム制御部２４５は、補助撮影画像の撮影条件を、本撮影画像の撮影条件とは異ならせる。
【００８８】
そこで、本実施形態においては、カメラシステム制御部２４５は、補助撮影画像の撮影動作時にフラッシュ２４９を動作させて被写体を照射する。カメラシステム制御部２４５は、ステップＳ１３０８へ進むと、ＳＷ１がＯＮにされるのを待って、フラッシュ２４９の事前照射動作であるプリ発光を行い、被写体の測光を行う。具体的には、カメラシステム制御部２４５は、ＡＥセンサ２３７から被写体像のプリ発光時における輝度分布を取得する。また、ＡＦセンサ２４０から取得された位相差情報に基づいて、レンズシステム制御部２１６がフォーカスレンズ２１２を駆動することにより合焦動作を実行する。
【００８９】
カメラシステム制御部２４５は、ステップＳ１３０９で、被写体像の輝度分布、合焦距離、レンズ情報等の撮影環境と、例えばユーザがメニュー画面から設定する奥行き方向の測定レンジ等を考慮してフィルタ３０２の回転角を決定する。最適解が計算されない場合は、ユーザに設定値の変更を促すなどの処理を行っても良い。そして、カメラシステム制御部２４５は、決定された回転角となるように、レンズシステム制御部２１６およびアクチュエータ２１５を介して、フィルタ３０２を回転する。
【００９０】
カメラシステム制御部２４５は、ステップＳ１３１０へ進み、露出値を算出する。このときの露出値はフラッシュ２４９の発光を前提とした値であり、したがって、カメラシステム制御部２４５は、ステップＳ１３１０へ進み、撮影動作時におけるフラッシュ２４９の照射量を決定する。なお、照射量の算出は、ＡＥセンサ２３７から得られる輝度分布情報から行っても良いが、本撮影画像の撮影動作時にもフラッシュ２４９を照射させたのであれば、当該撮影動作時における照射量から、補助撮影画像の撮影動作における照射量を算出しても良い。具体的には、構造化開口を被写体光束中に介在させることによりカットされる光量は事前の実験等により回転角ごとに把握されるので、これに応じて低下する露出段数分に相当する光量を本撮影画像の撮影動作時における照射量に足して算出する。
【００９１】
なお、ステップＳ１３１０における露出値の算出は、ステップＳ１３１１のフラッシュ２４９の照射量の決定とセットで実行されるが、露出値のうちＩＳＯ感度については、ステップＳ１３０４で算出されるＩＳＯ感度よりも大きく設定すると良い。すなわち、補助撮影画像における被写体のぶれは、距離情報の算出に悪影響を及ぼし精度の低下を招くので、撮像素子２４３に対する露光時間は短いことが好ましい。そこで、露光時間を短くすべく、ＩＳＯ感度を大きく設定する。補助撮影画像はユーザの鑑賞画像ではないので、距離情報の算出に影響しない限りにおいてＩＳＯ感度が大きく設定されても良い。したがって、カメラシステム制御部２４５が設定し得るＩＳＯ感度の上限は、本撮影画像の撮影動作時の値と補助撮影画像の撮影動作時の値で異なり、補助撮影画像の撮影動作時の値の方が大きい。
【００９２】
このように撮影動作時における露出値と照射量が決定されると、カメラシステム制御部２４５は、ステップＳ１３１２へ進み、レリーズスイッチ２５５のＳＷ２がＯＮにされるのを待って、補助撮影画像の取得動作を実行する。具体的には、メインミラー２３２およびサブミラー２３８を被写体光束から退避させ、決定された露出値に従って絞り２１４およびフォーカルプレーンシャッタ２４１を動作させる。このとき、決定された照射量に従ってフラッシュ２４９を動作させ被写体を照射する。さらに、撮像素子２４３の各画素に蓄積された電荷を読み出し、画像処理部２４６に赤色画像、緑色画像および青色画像を含む補助撮影画像ファイルを生成させ、当該画像ファイルを記録部に記録する。以上により一連の処理を終了する。
【００９３】
また、本フローにおいては、補助撮影画像の撮影動作時にフラッシュ２４９を照射させて構造化開口による光量低下を補った。しかし、被写体環境によってはフラッシュ２４９を照射させずに他の撮影条件を変更することにより光量低下を補っても良い。例えば、上述のように、ＩＳＯ感度を大きな値に設定する。または、予め定められた露光時間を下限として、露光時間を長めに設定しても良い。つまり、カメラシステム制御部２４５は、本撮影画像の撮影条件に比較して、補助撮影画像の撮影条件を、被写体光束をより取り込む、取り込んだ光をより増幅する方向に変更すればよい。
【００９４】
以上説明した本実施形態によれば、フィルタ部と開口部の組み合わせにおいて、互いに相対的に回転させることにより透過領域の面積を段階的に変更できる構成としたが、遮光部の構成は回転に限らない。直線的に遮光することにより透過領域の面積を変更できる構成としても良く、また、遮光部材をリンク機構等によって移動させる構成としても良い。
【００９５】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００９６】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【００９７】
２００ 一眼レフカメラ、２０１ 光軸、２１０ レンズユニット、２１１ レンズ群、２１２ フォーカスレンズ、２１３ ズームレンズ、２１４ 絞り、２１５ アクチュエータ、２１６ レンズシステム制御部、２１７ レンズ鏡筒、２１８ レンズマウント、２１９ 装着スリット、２２０ 挿抜ガイド、２２２ 構造化開口駆動部、２３０ カメラユニット、２３１ カメラマウント、２３２ メインミラー、２３３ 回転軸、２３４ ピント板、２３５ ペンタプリズム、２３６ 接眼光学系、２３７ ＡＥセンサ、２３８ サブミラー、２３９ ＡＦ光学系、２４０ ＡＦセンサ、２４１ フォーカルプレーンシャッタ、２４２ 光学ローパスフィルタ、２４３ 撮像素子、２４４ メイン基板、２４５ カメラシステム制御部、２４６ 画像処理部、２４７ 表示部、２４８ 二次電池、２４９ フラッシュ、２５０ パターン投光部、２５１ 距離情報算出部、２５２ カメラメモリ、２５３ ワークメモリ、２５４ 外部接続ＩＦ、２５５ レリーズスイッチ、３００ 構造化開口ユニット、３０２ フィルタ、３０３ 遮断フィルタ部、３０４ Ｒフィルタ部、３０５ Ｇフィルタ部、３０６ Ｂフィルタ部、３０７ ベース部、３０８ 外周部、３０９ 把持部、３１０ ギア、３２２ 開口マスク、３２３ 遮断部、３２４ Ｒ開口部、３２５ Ｇ開口部、３２６ Ｂ開口部、４０２ フィルタ、４２２ 開口マスク、５０２ フィルタ、５２２ 開口マスク、７０１ Ｂ曲線、７０２ Ｇ曲線、７０３ Ｒ曲線、７１１、７１２、７１３ 矢印
【技術分野】
【０００１】
本発明は、距離情報取得装置、撮像装置および構造化開口ユニットに関する。
【背景技術】
【０００２】
レンズ光学系の絞り位置にＲＧＢ三色のカラーフィルタからなる構造化開口を配置したカメラでシーンを撮影することにより、一枚の画像データからシーンの奥行き情報を取得する技術が知られている（例えば非特許文献１）。
［先行技術文献］
［非特許文献１］カメラの絞りに色フィルタを用いた奥行き推定と前景マット抽出（Ｖｉｓｕａｌ Ｃｏｍｐｕｔｉｎｇ／グラフィクスとＣＡＤ合同シンポジウム２００８）
【発明の概要】
【発明が解決しようとする課題】
【０００３】
構造化開口の一定の形状に固定されていると、シーンに対する最適ピント位置、測定可能な奥行き範囲なども固定されてしまう。つまり、許容される主要被写体の存在位置、絞り値などの撮影条件が制限されてしまう。
【課題を解決するための手段】
【０００４】
上記課題を解決するために、本発明の第１の態様における距離情報取得装置は、入射する被写体光束を複数の波長帯に分離して検出する受光素子と、被写体光束を受光素子に導く光学系と、複数の波長帯のうちの一つに含まれる第１波長帯を透過する第１フィルタ領域と、複数の波長帯のうちの一つに含まれ、第１波長帯とは異なる第２波長帯を透過する第２フィルタ領域を、光学系の光軸に対してそれぞれ偏心した位置に有する構造化開口と、第１フィルタ領域および第２フィルタ領域のそれぞれを部分的に遮光することにより、被写体光束が透過する領域の面積を変更する透過領域変更機構とを備える。
【０００５】
上記課題を解決するために、本発明の第２の態様における撮像装置は、上記の距離情報取得装置を含む撮像装置であって、構造化開口を被写体光束に対して挿抜する挿抜機構と、挿抜機構により構造化開口を抜出して実行する本画像撮影と、挿抜機構により構造化開口を挿入して実行する補助画像撮影を制御する撮影制御部とを備え、撮影制御部は、本画像撮影と補助画像撮影で撮影条件を変更する。
【０００６】
上記課題を解決するために、本発明の第３の態様における構造化開口ユニットは、第１波長帯を透過する第１フィルタ領域と、第１波長帯とは異なる第２波長帯を透過する第２フィルタ領域を、中心に対してそれぞれ偏心した位置に有する構造化開口と、第１フィルタ領域および第２フィルタ領域のそれぞれを部分的に遮光することにより、透過する領域の面積を変更する透過領域変更機構とを備える。
【０００７】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【０００８】
【図１】本実施形態に係る一眼レフカメラの要部断面図である。
【図２】本実施形態に係る構造化開口ユニットの外観図である。
【図３】構造化開口ユニットをレンズユニットに装着する様子を示す図である。
【図４】撮像素子の画素上に配置されたカラーフィルタの説明図である。
【図５】撮像素子の画素が感度を有する波長帯と、構造化開口のそれぞれのフィルタ部が透過する波長帯の関係を示す図である。
【図６】各フィルタ部の透過領域がフィルタの回転に伴って変化する様子を説明する図である。
【図７】他の構造化開口の例における、各フィルタ部の透過領域がフィルタの回転に伴って変化する様子を説明する図である。
【図８】更に他の構造化開口の例における、各フィルタ部の透過領域がフィルタの回転に伴って変化する様子を説明する図である。
【図９】一眼レフカメラのシステム構成を概略的に示すブロック図である。
【図１０】補助撮影画像の取得から距離情報の算出までの処理フローを示す図である。
【図１１】本撮影画像および補助撮影画像の取得フローを示す図である。
【発明を実施するための形態】
【０００９】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１０】
まず、本実施形態におけるシーンの奥行き情報の取得原理について説明する。ここで、シーンの奥行き情報とは、シーンを構成する被写体としての各オブジェクト間の相対的な前後関係を示す距離情報である。距離情報取得装置は、距離情報として例えば、シーンの奥行き方向における合焦面を基準として、当該基準からそれぞれのオブジェクトの距離を取得する。したがって、距離情報は、カメラから各オブジェクトまでの絶対距離でなくても良い。カメラから各オブジェクトまでの絶対距離を取得したい場合は、例えばフォーカスレンズ位置を検出することにより合焦面の絶対距離を算出し、この合焦面の絶対距離を加味して、それぞれのオブジェクトの距離を計算すれば良い。
【００１１】
本実施形態においては、被写体光束をＣＣＤ、ＣＭＯＳ等によって構成される受光素子に導く光学系に、構造化開口を挿入することにより距離情報を取得する。構造化開口は、光学系に挿入されたときに、Ｒ（赤）Ｇ（緑）Ｂ（青）の各カラーフィルタが、光学系の光軸に対してそれぞれ偏心した位置となるように設けられて構成されている。例えば、光軸中心から、左方向へ放射状に延在するＧフィルタ領域、上方向へ放射状に延在するＲフィルタ領域および右方向へ放射状に延在するＢフィルタ領域のようにカラーフィルタパターンが形成される。また、受光素子は、ＲＧＢのいずれかのカラーフィルタが各画素上に配置されており、例えば４画素を１組とするベイヤー配列が採用される。本実施形態に係る構造化開口の構成、および受光素子の構成は、後に詳述する。
【００１２】
上述の例によるカラーフィルタパターンが形成された構造化開口を通過した被写体光束を、上述の受光素子で撮影した場合、焦点の合った奥行きより近い点はＲが下、Ｇが右、Ｂが左方向にそれぞれずれて観測される。焦点の合った奥行きより遠い点ではずれ方向が逆になる。焦点の合っている奥行きでは画像はずれない。つまり、焦点の合っていない奥行きでは、シーンの同じ点が色ごとにずれて観察される。
【００１３】
別言すれば、撮影した画像のＲＧＢ成分であるＩｒ、Ｉｇ、Ｉｂは、三視点のステレオ画像となる。仮想的な中央の視点をリファレンス座標に取れば、リファレンス座標（ｘ，ｙ）における視差をｄ画素とすると、Ｉｒ（ｘ，ｙ−ｄ）、Ｉｇ（ｘ＋ｄ，ｙ）、Ｉｂ（ｘ−ｄ，ｙ）が対応するから、これらが最も良く一致するｄを視差の推定値とすることができる。しかし、観測波長帯が異なるため対応点の輝度レベルは位置しないので、単純な輝度の差分をマッチング指標にすることはできない。
【００１４】
そこで、ここでは自然画像の色成分は局所的に線形関係を示す傾向が高いことを利用する。（ｘ，ｙ）の周りに局所ウィンドウｗ（ｘ，ｙ）を考え、そこに含まれる画素色の集合をＳ（ｘ，ｙ；ｄ）＝｛（Ｉｒ（ｓ，ｔ−ｄ）、Ｉｇ（ｓ＋ｄ，ｔ）、Ｉｂ（ｓ−ｄ，ｔ））｜（ｓ，ｔ）∈ｗ（ｘ，ｙ）｝とすると、真のｄのときに分布が最も直線に近くなると考えられる。
【００１５】
ここではＲＧＢ間の線形関係を計る指標として以下を用いる。
Ｌ（ｘ，ｙ；ｄ）＝λ０λ１λ２／σｒ２σｇ２σｂ２ （１）
ただしλ０、λ１、λ２（λ０≧λ１≧λ２≧０）は色分布Ｓ（ｘ，ｙ；ｄ）の主成分軸に沿った分散（すなわちＳ（ｘ，ｙ；ｄ）の共分散行列Σの固有値）、σｒ２、σｇ２、σｂ２は色分布のＲ、Ｇ、Ｂ軸に沿った分散である。ここでは表記の簡単のため右辺のｘ、ｙ、ｄへの依存については省略した。
【００１６】
行列の性質からλ０＋λ１＋λ２＝σｒ２＋σｇ２＋σｂ２ （＝ｔｒａｃｅ（Σ））であるので、固有値間の大小に差があるほど式（１）は小さくなる。直線的な分布（λ０＞＞λ１、λ２）であればＬは０に近く、完全無相関（固有値がＲ、Ｇ、Ｂ軸に沿った分散に等しい）のとき最大値Ｌ＝１をとる。
【００１７】
画像の各点、おおび取りうる範囲の各視差ｄについてＬ（ｘ，ｙ；ｄ）を計算する必要があるが、Ｓｕｍｍｅｄ Ａｒｅａ Ｔａｂｌｅを用いてＩｒ、Ｉｇ、Ｉｂとそれらの二乗と積の表を計算しておけば、局所ウィンドウのサイズに依存せずに共分散行列Σの各要素を計算することができる。また、式（１）の分子は行列の性質からλ０λ１λ２＝ｄｅｔ（Σ）であるので固有値を実際に計算する必要はない。
【００１８】
上述のように計算される各オブジェクト単位の視差ｄにより、シーンの奥行き情報を推定することができる。本実施形態に係る距離情報取得装置としての一眼レフカメラは、このようなシーンの奥行き情報の取得原理を採用する。ただし、上述の手法によれば、焦点の合っている奥行きを基準として視差ｄが規定されるので、シーンに対する最適ピント位置、測定可能な奥行き範囲などは、構造化開口の形状により一義的に固定される。つまり、構造化開口のカラーフィルタパターンと被写体光束の関係が固定されていると、ピント位置が制約され、測定可能な奥行き範囲も一定となる。そこで、本実施形態の一眼レフカメラは、このような問題に対処すべく、構造化開口のカラーフィルタパターンと被写体光束の関係を変化させる構造を採用する。以下に本実施形態について説明する。
【００１９】
図１は、本実施形態に係る一眼レフカメラ２００の要部断面図である。一眼レフカメラ２００は、撮影レンズであるレンズユニット２１０とカメラボディであるカメラユニット２３０が組み合わされて撮像装置として機能する。
【００２０】
レンズユニット２１０は、光軸２０１に沿って配列されたレンズ群２１１を備える。レンズ群２１１には、フォーカスレンズ２１２、ズームレンズ２１３が含まれる。また、光軸２０１に沿って、絞り２１４および構造化開口ユニット３００も配列される。構造化開口ユニット３００は、被写体光束に対して挿抜することができる。アクチュエータ２１５は、構造化開口ユニット３００が被写体光束に対して挿入されたときに構造化開口を回転させる。
【００２１】
レンズユニット２１０は、フォーカスレンズ２１２、絞り２１４およびアクチュエータ２１５の駆動などレンズユニット２１０の制御および演算を司るレンズシステム制御部２１６を備える。レンズユニット２１０を構成する各要素は、レンズ鏡筒２１７に支持されている。
【００２２】
また、レンズユニット２１０は、カメラユニット２３０との接続部にレンズマウント２１８を備え、カメラユニット２３０が備えるカメラマウント２３１と係合して、カメラユニット２３０と一体化する。レンズマウント２１８およびカメラマウント２３１はそれぞれ、機械的な係合部の他に電気的な接続部も備え、カメラユニット２３０からレンズユニット２１０への電力の供給および相互の通信を実現している。なお、以後の説明においては図示するように、光軸２０１に沿って被写体光束が入射する方向にｚ軸を定める。
【００２３】
カメラユニット２３０は、レンズユニット２１０から入射される被写体像を反射するメインミラー２３２と、メインミラー２３２で反射された被写体像が結像するピント板２３４を備える。メインミラー２３２は、回転軸２３３周りに回転して、光軸２０１を中心とする被写体光束中に斜設される状態と、被写体光束から退避する状態を取り得る。ピント板２３４側へ被写体像を導く場合は、メインミラー２３２は被写体光束中に斜設される。また、ピント板２３４は、撮像素子２４３の受光面と共役の位置に配置されている。
【００２４】
ピント板２３４で結像した被写体像は、ペンタプリズム２３５で正立像に変換され、接眼光学系２３６を介してユーザに観察される。また、ペンタプリズム２３５の射出面上方にはＡＥセンサ２３７が配置されており、被写体像の輝度分布を検出する。
【００２５】
斜設状態におけるメインミラー２３２の光軸２０１の近傍領域は、ハーフミラーとして形成されており、入射される光束の一部が透過する。透過した光束は、メインミラー２３２と連動して動作するサブミラー２３８で反射されて、ＡＦ光学系２３９へ導かれる。ＡＦ光学系２３９を通過した被写体光束は、ＡＦセンサ２４０へ入射される。ＡＦセンサ２４０は、受光した被写体光束から位相差信号を検出する。なお、サブミラー２３８は、メインミラー２３２が被写体光束から退避する場合は、メインミラー２３２に連動して被写体光束から退避する。
【００２６】
斜設されたメインミラー２３２の後方には、光軸２０１に沿って、フォーカルプレーンシャッタ２４１、光学ローパスフィルタ２４２、撮像素子２４３が配列されている。フォーカルプレーンシャッタ２４１は、撮像素子２４３へ被写体光束を導くときに開放状態を取り、その他のときに遮蔽状態を取る。光学ローパスフィルタ２４２は、撮像素子２４３の画素ピッチに対する被写体像の空間周波数を調整する役割を担う。そして、撮像素子２４３は、例えばＣＭＯＳセンサなどの受光素子であり、受光面で結像した被写体像を電気信号に変換する。
【００２７】
撮像素子２４３で光電変換された電気信号は、メイン基板２４４に搭載されたＤＳＰである画像処理部２４６で画像データに処理される。メイン基板２４４には、画像処理部２４６の他に、カメラユニット２３０のシステムを統合的に制御するＭＰＵであるカメラシステム制御部２４５が搭載されている。カメラシステム制御部２４５は、カメラシーケンスを管理すると共に、各構成要素の入出力処理等を行う。
【００２８】
カメラユニット２３０の背面には液晶モニタ等による表示部２４７が配設されており、画像処理部２４６で処理された被写体画像が表示される。表示部２４７は、撮影後の静止画像に限らず、ビューファインダとしてのＥＶＦ画像、各種メニュー情報、撮影情報等を表示する。また、カメラユニット２３０には、着脱可能な二次電池２４８が収容され、カメラユニット２３０に限らず、レンズユニット２１０にも電力を供給する。
【００２９】
また、ペンタプリズム２３５の近傍には使用状態と収納状態を取り得るフラッシュ２４９を備えており、使用状態においてカメラシステム制御部２４５の制御により被写体を照射する。フラッシュ２４９の近傍には、被写体を照射するパターン投光部２５０を備えており、被写体に対して幾何的模様等であるパターンを投光する。
【００３０】
図２は、本実施形態に係る構造化開口ユニット３００の外観図である。図２（ａ）は被写体側から見た正面図であり、図２（ｂ）は側面図であり、図２（ｃ）は撮像素子２４３側から見た背面図である。
【００３１】
構造化開口ユニット３００は、保持枠３０１、フィルタ３０２、開口マスク３２２、ベース部３０７、外周部３０８および把持部３０９を主な構成要素とする。保持枠３０１は、中心部分が中空の円筒形を成し、フィルタ３０２は、保持枠３０１の中空部分に張設されて固定されている。保持枠３０１の外周部にはギア３１０が全周にわたって設けられている。保持枠３０１は、ベース部３０７に回転機構を介して連結され、図示する矢印方向へ回転自在に支持されている。ベース部３０７は、保持枠３０１の中空部分と同様に、被写体光束範囲に中空部分を有する。開口マスク３２２は、ベース部３０７の中空部分に張設されて固定されている。
【００３２】
ベース部３０７の端部には外周部３０８と把持部３０９が一体的に形成されている。ユーザは、把持部３０９を掴んで構造化開口ユニット３００をレンズユニット２１０に対して挿抜する。
【００３３】
フィルタ３０２は、被写体光束を遮断する遮断フィルタ部３０３、赤色の波長帯を透過させるＲフィルタ部３０４、緑色の波長帯を透過させるＧフィルタ部３０５および青色の波長帯を透過させるＢフィルタ部３０６から構成される。図示するようにＲフィルタ部３０４、Ｇフィルタ部３０５、Ｂフィルタ部３０６は、光軸中心から放射方向へ延在するように偏心した位置に設けられ、その形状は、それぞれ光軸中心周りに９０度間隔で配列された扇形である。特に、光軸中心部付近を遮断フィルタ部３０３とするバウムクーヘン状の形状を成す。
【００３４】
開口マスク３２２は、被写体光束を遮断する遮断部３２３と、３つの開口部であるＲ開口部３２４、Ｇ開口部３２５およびＢ開口部３２６から構成される。Ｒ開口部３２４はＲフィルタ部３０４と同形状であり、同様に、Ｇ開口部３２５はＧフィルタ部３０５と、Ｂ開口部３２６はＢフィルタ部３０６と同形状である。
【００３５】
フィルタ３０２を固定する保持枠３０１は、上述のように矢印方向へ回転する。一方、開口マスク３２２はベース部３０７の中空部分に固定されている。保持枠３０１を回転させることにより、Ｒフィルタ部３０４をＲ開口部３２４に、Ｇフィルタ部３０５をＧ開口部３２５に、Ｂフィルタ部３０６をＢ開口部３２６に完全に一致させることができる。また、後述するように部分的に重ねることもできる。
【００３６】
図３は、構造化開口ユニット３００をレンズユニット２１０に装着する様子を示す図である。図３（ａ）は、構造化開口ユニット３００をレンズユニット２１０に挿し込む直前の様子を示し、図３（ｂ）は、装着された様子を示す。
【００３７】
ユーザは、把持部３０９を把持して、構造化開口ユニット３００をレンズ鏡筒２１７に設けられた装着スリット２１９へ挿し込む。すると、構造化開口ユニット３００は、ベース部３０７の側面がレンズ鏡筒２１７の内部に設けられた挿抜ガイド２２０に案内されて、フィルタ３０２の中心が光軸２０１と一致する位置に到達する。フィルタ３０２の中心が光軸２０１と一致する位置に到達すると、外周部３０８が装着スリット２１９に嵌合し、外周部３０８の外面がレンズ鏡筒２１７の外観面と一致する。また、ギア３１０は、アクチュエータ２１５の駆動ギアと噛合する。アクチュエータ２１５は、レンズ鏡筒２１７に配設されており、レンズシステム制御部２１６は、構造化開口ユニット３００がレンズユニット２１０と一体化されると、保持枠３０１を回転させることができる。
【００３８】
図４は、撮像素子２４３の画素上に配置されたカラーフィルタの説明図である。本実施例におけるカラーフィルタの配列は、いわゆるベイヤー配列であり、４画素を１組として、各画素上にＲ画素フィルタ、Ｇ画素フィルタ、Ｇ画素フィルタおよびＢ画素フィルタが設けられている。したがって、各画素が感度を有する波長帯は、それぞれに設けられた画素フィルタによって規制される。例えば、Ｒ画素フィルタが設けられた画素は、赤色の波長帯に対して感度を持つ。撮像素子２４３の全体としては、２次元的に配列された画素のそれぞれが離散的にＲ画素フィルタ、Ｇ画素フィルタおよびＢ画素フィルタのいずれかを備えることになるので、撮像素子２４３は、入射する被写体光束をそれぞれの波長帯に分離して検出していると言える。換言すれば、撮像素子２４３は、受光面に結像する被写体像をＲＧＢの３つの波長帯に分離して光電変換する。
【００３９】
図５は、撮像素子２４３の画素が感度を有する波長帯と、構造化開口のそれぞれのフィルタ部が透過する波長帯の関係を示す図である。図は、縦軸に透過率（％）を、横軸に波長（ｎｍ）を示す。透過率が高い波長の光ほど、画素を構成するフォトダイオードに到達することを表す。
【００４０】
Ｂ曲線７０１は、Ｂ画素フィルタが設けられた画素の感度を示し、同様にＧ曲線７０２はＧ画素フィルタが設けられた画素の感度を、Ｒ曲線７０３はＲ画素フィルタが設けられた画素の感度を示す。図示されるように、隣り合う波長帯であるＢ曲線７０１とＧ曲線７０２、および、Ｇ曲線７０２とＲ曲線７０３は若干の重なり部分を有しており、一方、互いに離れた波長帯であるＢ曲線７０１とＲ曲線７０３は互いに交わることが無い。
【００４１】
構造化開口のＢフィルタ部３０６は、矢印７１１の波長帯を透過させる。同様に、Ｇフィルタ部３０５は、矢印７１２の波長帯を透過させ、Ｒフィルタ部３０４は、矢印７１３の波長帯を透過させる。したがって、Ｂ画素フィルタが設けられた画素は、構造化開口のＢフィルタ部３０６を透過した被写体光束に対して感度を持ち、Ｇ画素フィルタが設けられた画素は、構造化開口のＧフィルタ部３０５を透過した被写体光束に対して感度を持ち、Ｒ画素フィルタが設けられた画素は、構造化開口のＲフィルタ部３０４を透過した被写体光束に対して感度を持つと言える。
【００４２】
すると、Ｒフィルタ部３０４を開口とする赤色波長帯の被写体画像、Ｇフィルタ部３０５を開口とする緑色波長帯の被写体画像、およびＢフィルタ部３０６を開口とする青色波長帯の被写体画像を、一度の撮影により取得することができる。これらの被写体画像は、それぞれ上述のＩｒ、Ｉｇ、Ｉｂに相当し、互いに三視点のステレオ画像を構成する。
【００４３】
なお、このように撮影される赤色波長帯の被写体画像、緑色波長帯の被写体画像および青色波長帯の被写体画像は、それぞれＲ画素フィルタが設けられた画素の出力のみ、Ｇ画素フィルタが設けられた画素の出力のみ、または、Ｂ画素フィルタが設けられた画素の出力のみを集めて互いに分離されるので、通常の撮影における画像処理とは異なる画像処理により形成される。したがって、ここでは通常の撮影により取得される撮影画像を本撮影画像と呼び、構造化開口を用いて取得される撮影画像を補助撮影画像と呼ぶ。本撮影画像は構造化開口ユニット３００をレンズユニット２１０から抜出して撮影された画像であり、補助撮影画像は構造化開口ユニット３００をレンズユニット２１０へ装着して撮影された画像である。
【００４４】
図６は、各フィルタ部の透過領域がフィルタ３０２の回転に伴って変化する様子を説明する図である。上述のように、開口マスク３２２は固定されており、構造化開口を形成するフィルタ３０２は、レンズシステム制御部２１６の制御によって駆動されるアクチュエータ２１５の作用により回転される。
【００４５】
図中左列に示すように、フィルタ３０２の回転角が０度の位相位置にあれば、各フィルタ部はそれぞれ対応する開口部と全周に亘って一致する。したがって、各フィルタ部は、開口マスク３２２の遮断部３２３に遮られることがなく、透過領域としては最大の面積を示す。
【００４６】
一方、図中中列に示すように、フィルタ３０２の回転角が２２．５度の位相位置にあれば、各フィルタ部はその半分が開口マスク３２２の遮断部３２３に遮られる。つまり、各フィルタ部の透過領域は半分の面積になる。
【００４７】
フィルタ３０２が更に回転されると、例えば図中右列で示すように、各フィルタ部の透過領域の面積は更に小さくなる。なお、図の例においては、各フィルタ部および開口部を形成する扇形の中心角は４５度であり、フィルタ３０２が４５度回転された位相位置で各フィルタ部と各開口部が交互に配列された状態となり、各フィルタ部の透過領域は０となる。
【００４８】
つまり、フィルタ３０２を回転させることにより、各フィルタ部の透過領域の面積を段階的かつ連続的に変更させることができる。別言すれば、フィルタ３０２、開口マスク３２２およびアクチュエータ２１５等の駆動系を併せて、各フィルタ部の透過領域の面積を変更する透過領域変更機構として機能させることができる。なお、本実施形態においては、開口マスク３２２を固定側とし、フィルタ３０２を回転側として説明するが、各フィルタ部の透過領域の面積を変更するには、それぞれが相対的に移動すればよいので、固定側と回転側を入れ替えて構成しても良い。
【００４９】
ここで、各フィルタ部の透過領域の面積を段階的に変更できる意義について説明する。
【００５０】
透過領域の面積が小さいということは、より少ない被写体光束のみを通過させることになるので、実質的に瞳サイズが小さいことを意味する。したがって、非合焦状態のオブジェクトに対するぼけ量が小さい。合焦状態のオブジェクトから奥行き方向に離れて存在するオブジェクトに対するぼけ量が小さければ、より精度の高いマッチング処理が行えるので、算出される奥行き情報の精度も高くなる。例えば、接写時などピント位置がカメラから比較的近い場合においては、そもそも被写界深度が浅くなるので、フィルタ部の透過領域を狭めて補助撮影画像を取得することが好ましい。
【００５１】
一方、透過領域の面積が小さいということは、撮像素子２４３に到達する光量が少ないことを意味する。したがって、透過領域を狭めて補助撮影を行う場合には、比較的長い露光時間を要することになる。もしユーザが補助撮影を手持ちで行うのであれば、手振れの影響を受けやすくなり、かえって被写体像がぶれてしまうことになる。そこで、比較的暗い周辺環境である場合には、透過領域の面積を増やして補助撮影画像を取得することが好ましい。また、ピント位置がカメラから比較的遠い場合であったり、広角レンズを用いる場合などにおいては、そもそも被写界深度が深いので、非合焦状態のオブジェクトに対するぼけ量がもともと小さい。したがって、このような場合には、フィルタ部の透過領域を多少広くしても、奥行き情報の精度を確保することができる。
【００５２】
つまり、カメラから合焦オブジェクトの位置、撮影レンズ、周辺環境といった撮影環境と、奥行き情報として要求する奥行き方向の測定レンジとの兼ね合いから、透過領域の面積を決定すれば良い。換言すれば、透過領域の面積が段階的に変更できるので、様々な撮影環境に対応しつつ、奥行き方向に対して一定レベルの測定レンジを保つことができる。
【００５３】
図６で示すフィルタ３０２と開口マスク３２２の組み合わせによれば、透過領域が段階的に変更されても、光軸中心から各々の透過領域における重心までの距離は変わらない。特に、図の例によれば、各フィルタ部および各開口部がそれぞれ外周寄りの、光軸中心から比較的離れた位置に設けられている。すると、光軸中心から各々の透過領域における重心までの距離も比較的長いと言える。この重心距離に対応する撮像素子２４３上の距離は実効的な基線長として捉えることができるので、重心距離を長くすれば基線長も長くなり、奥行き方向の分解能を高めることができる。つまり、対象となるオブジェクトに対して、より細かい単位で距離を取得することができる。
【００５４】
したがって、図６で示すフィルタ３０２と開口マスク３２２の組み合わせによれば、様々な撮影環境に対応しつつ、奥行き方向の分解能を保つことができる。一方で、基線長が長過ぎると、非合焦オブジェクトに対する視差量が大きくなりすぎて、マッチング処理における重複度が低下するという問題がある。マッチング処理における重複度が低下すると、空間分解能が低下する。つまり、基線長が長い場合は、同一オブジェクトに対する距離情報としての像の輪郭が粗くなる傾向にある。
【００５５】
そこで、空間分解能を高めたい場合には、基線長を短くする、つまり、重心距離が短くなるフィルタと開口マスクの組み合わせを選択すればよい。図７は、このような条件を満たす、他の構造化開口の例における、各フィルタ部の透過領域がフィルタ４０２の回転に伴って変化する様子を説明する図である。
【００５６】
図の例による構造化開口のフィルタ４０２の各フィルタ部は、図６の構造化開口におけるフィルタ３０２の各フィルタ部に対して、光軸中心寄りに設けられている。開口マスク４２２の各開口部も、各フィルタ部に対応して、光軸中心寄りに設けられている。図７で示すフィルタ４０２と開口マスク４２２の組み合わせによれば、透過領域が段階的に変更されても、光軸中心から各々の透過領域における重心までの距離は変わらず、その重心距離は、図６の例における重心距離よりも短い。つまり、図７におけるフィルタ４０２と開口マスク４２２の組み合わせによる実効的な基線長は、図６におけるフィルタ３０２と開口マスク３２２の組み合わせによる実効的な基線長よりも短い。
【００５７】
したがって、ユーザは、奥行き分解能よりも空間分解能を優先させて距離情報を取得したい場合には、図７におけるフィルタ４０２と開口マスク４２２の組み合わせを選択すればよい。つまり、レンズユニット２１０に装着する構造化開口ユニットを、その目的に応じて複数の中から選択すれば良い。
【００５８】
図６におけるフィルタ３０２と開口マスク３２２の組み合わせ、および、図７におけるフィルタ４０２と開口マスク４２２の組み合わせでは、各フィルタ部の透過領域を段階的に変化させても、それぞれの重心距離は変化しない構成であった。しかし、各フィルタ部の透過領域を段階的に変化させつつ、重心距離も変化させる構成とすることもできる。図８は、このような構成の例である他の構造化開口における、各フィルタ部の透過領域がフィルタ５０２の回転に伴って変化する様子を説明する図である。
【００５９】
図示するようにフィルタ５０２は、中心角を９０度とする扇形から、その一辺を略直径とする半円を取り除いた形状のフィルタ部が光軸中心周りにそれぞれ隣接されて形成されている。また、開口マスク５２２は、中心角を１０度とする扇形の開口部が、光軸中心周りに９０度おきに形成されている。
【００６０】
フィルタ５０２の回転角が０度の状態では、それぞれの開口部の全部にフィルタ部が重なる。したがって、それぞれのフィルタ部における透過領域の面積は、開口部の面積と等しくなる。つまり、フィルタ５０２と開口マスク５２２の組み合わせにおいては、透過領域の面積として最大値となる。また、透過領域は光軸中心付近まで存在するので、光軸中心から重心位置までの重心距離は最小値となる。
【００６１】
フィルタ５０２の回転角が９０度に近づくにつれて、それぞれの開口部とフィルタ部が重なる領域が小さくなる。すなわち、透過領域の面積は徐々に小さくなる。また、透過領域は徐々に外周部寄りの領域に限られていくので、重心距離は徐々に大きくなる。
【００６２】
このように、各フィルタ部の透過領域を段階的に変化させつつ、重心距離も変化させる構成とすれば、奥行き分解能と空間分解能の組み合わせを、より自由度をもって選択することができる。なお、いずれのフィルタと開口マスクの組み合わせにおいても、フィルタ部の回転角をいかなる値とするかは、カメラシステム制御部２４５が撮影環境を判断して自動的に決定しても良いし、ユーザが操作部を操作することにより決定しても良い。
【００６３】
次に、本実施形態に係る一眼レフカメラ２００のシステム構成を説明する。図９は、一眼レフカメラ２００のシステム構成を概略的に示すブロック図である。一眼レフカメラ２００のシステムは、レンズユニット２１０とカメラユニット２３０のそれぞれに対応して、レンズシステム制御部２１６を中心とするレンズ制御系と、カメラシステム制御部２４５を中心とするカメラ制御系により構成される。そして、レンズ制御系とカメラ制御系は、レンズマウント２１８とカメラマウント２３１によって接続される接続部を介して、相互に各種データ、制御信号の授受を行う。
【００６４】
カメラ制御系に含まれる画像処理部２４６は、カメラシステム制御部２４５からの指令に従って、撮像素子２４３で光電変換された撮像信号を画像データに処理する。本撮影画像において処理された画像データは、表示部２４７へ送られて、例えば撮影後の一定時間の間表示される。これに並行して、処理された画像データは、所定の画像フォーマットに加工され、外部接続ＩＦ２５４を介して外部メモリに記録される。画像処理部２４６は、補助撮影画像として撮影された撮像信号から、波長帯ごとに分離された被写体画像を生成する。生成された被写体画像は距離情報算出部２５１へ引き渡され、距離情報算出部２５１は、上述の手法により距離情報を算出する。算出された距離情報は、カメラメモリ２５２へ記録される。
【００６５】
カメラメモリ２５２は、例えばフラッシュメモリなどの不揮発性メモリであり、生成された撮影画像の一時的な記録場所としての他に、一眼レフカメラ２００を制御するプログラム、各種パラメータなどを記録する役割を担う。ワークメモリ２５３は、例えばＲＡＭなどの高速アクセスできるメモリであり、処理中の画像データを一時的に保管する役割などを担う。
【００６６】
レリーズスイッチ２５５は押し込み方向に２段階のスイッチ位置を備えており、カメラシステム制御部２４５は、第１段階のスイッチであるＳＷ１がＯＮになったことを検出すると、ＡＦセンサ２４０から位相差情報を取得する。そして、レンズシステム制御部２１６へフォーカスレンズ２１２の駆動情報を送信する。また、ＡＥセンサ２３７から被写体像の輝度分布を取得して露出値を決定する。さらに、第２段階のスイッチであるＳＷ２がＯＮになったことを検出すると、予め定められた処理フローに従って本撮影画像の取得、または、補助撮影画像の取得を実行する。本撮影画像の取得と補助撮影画像の取得についての処理フローについては後述する。
【００６７】
フラッシュ２４９は、カメラシステム制御部２４５の制御に従って被写体を照射する。また、同様にパターン投光部２５０は、カメラシステム制御部２４５の制御に従って投光パターンを被写体に投光する。特に、暗いシーン、被写体が無模様のシーンなどの場合には、補助撮影画像の取得時においてもパターン投光部２５０が利用される。
【００６８】
レンズシステム制御部２１６は、カメラシステム制御部２４５からの制御信号を受けて各種動作を実行する。また、構造化開口駆動部２２２は、レンズシステム制御部２１６の指示に従ってアクチュエータ２１５を駆動する。
【００６９】
図１０は、補助撮影画像の取得から距離情報の算出までの処理フローを示す図である。本フローにおける一連の処理は、カメラシステム制御部２４５が操作部材を介してユーザから指示を受け付けたとき、または、予め定められた制御プログラムに距離算出処理が組み込まれているとき等に開始される。
【００７０】
ステップＳ８０１では、画像処理部２４６が処理対象となる補助撮影画像を取得する。画像処理部２４６は、処理対象の補助撮影画像として、撮像素子２４３から出力された画像信号をそのまま取得しても良いし、撮影後に距離情報を算出しないまま記録部に記録されている補助撮影画像を読み出して取得しても良い。したがって、本実施形態においてはカメラユニット２３０を距離情報取得装置として距離情報の算出を実行するが、距離情報の算出は、カメラとは別個の独立した距離情報取得装置で実行することもできる。例えば、ＰＣを例にすれば、カメラとの間に記録媒体を介在させ、記録媒体に記録された補助撮影画像を読み出して処理することもできるし、有線、無線によりカメラと接続した状態を確立すれば、補助撮影画像の撮影と連動して処理することもできる。
【００７１】
画像処理部２４６は、ステップＳ８０２で、補助撮影画像から、Ｒフィルタ部３０４を通過して形成された赤色画像、すなわち、Ｒ画素フィルタが設けられた画素の出力から形成される画像Ｉｒを抽出する。同様に、Ｇフィルタ部３０５を通過して形成された緑色画像ＩｇとＢフィルタ部３０６を通過して形成された青色画像Ｉｂを抽出する。画像処理部２４６は、このように波長帯別画像を抽出すると、これらの画像を距離情報算出部２５１へ引き渡す。
【００７２】
距離情報算出部２５１は、ステップＳ８０３で、上述の手法を用いて距離情報を算出する。なお、算出された距離情報は、距離画像データとして別途独立したファイルを生成しても良いし、補助撮影画像に付帯して記録しても良い。別途独立したファイルを生成する場合には、補助撮影画像に対してリンク情報を記録する。算出された距離情報は、例えば、同一距離と判断された被写体が存在する画素領域情報と当該距離をセットとして、距離ごとに複数セット分リスト化されたテーブル形式のデータ構造を有する。以上により一連の処理フローを終了する。
【００７３】
上述の実施形態においては図１で示すように、構造化開口をレンズユニット２１０の瞳位置近傍に配設した。しかし、構造化開口の配設位置はレンズユニット２１０の瞳位置近傍に限らない。例えば、光学系を二次結像系とすることにより、構造化開口を、レンズユニットの瞳位置に共役な位置またはその近傍に配設することができる。特に、一眼レフカメラのようにレンズ交換式カメラの場合、カメラユニット側に構造化開口を設ければ、レンズユニットごとに構造化開口を配設しなくても良い。さらには、ＡＦ光学系２３９、ＡＦセンサ２４０等から構成されるＡＦユニットを上記実施形態に係る距離情報取得装置に置き換えて、オートフォーカスについても上述の奥行き推定から実行するように構成することもできる。この場合、本撮影画像を取得する撮像素子２４３とは別に、距離情報算出用の受光素子が設けられることになる。
【００７４】
以上の実施形態においては、一眼レフカメラを例に説明したが、光学ファインダを持たないレンズ交換式カメラ、レンズユニットが一体化されたコンパクトカメラ、動画撮影を行うこともできるビデオカメラといった撮像装置に対しても適用することができる。
【００７５】
また、以上の実施形態においては、撮像素子としてベイヤー配列のカラーフィルタを有する単板式撮像素子を例に説明したが、他のカラーフィルタ配列であっても良く、さらには、ＲＧＢに限らず他の波長帯を透過させるフィルタが配列されていても良い。この場合、構造化開口のフィルタ部は、撮像素子のカラーフィルタの波長帯に応じて透過および遮断波長帯が選択される。
【００７６】
また、カラーフィルタを持たず、フォトダイオードの奥行き方向に異なる感応波長帯を有する撮像素子に対しても適用できる。この場合、構造化開口のフィルタ部は、フォトダイオードの奥行き方向で分離される波長帯に応じて透過波長帯が選択される。さらには、単板の撮像素子を備えるカメラに限らず、例えばＲＧＢのそれぞれに分けられた三板式カメラのような、入射する被写体光束を複数の波長帯に分離してそれぞれの波長帯を独立して受光する複数の撮像素子を備えるカメラに対しても適用することができる。また、ＲＧＢのうち２つの波長帯を透過させるフィルタが配列されていれば、上述の距離情報取得を行うことができるので、以上の実施形態に係る構造化開口のＲＧＢフィルタのうちの一つを取り除いても良い。
【００７７】
次に、図１等を用いて説明した、構造化開口ユニット３００を適用した一眼レフカメラ２００による撮影シーケンスの例を説明する。ただし、バリエーションとして説明した他の構成の構造化開口、構造化開口の配設位置、撮像素子の種類、数等についても、適宜組み合わせて適用し得る。
【００７８】
図１１は、本撮影画像および補助撮影画像の取得フローを示す図である。撮影シーケンスが開始されると、カメラシステム制御部２４５は、ステップＳ１３０１で、これから行う撮影動作が本撮影画像の撮影動作か、補助撮影画像の撮影動作かを判断する。本撮影画像の撮影動作であると判断したときは、ステップＳ１３０２へ進む。
【００７９】
ステップＳ１３０２でカメラシステム制御部２４５は、ユーザにより構造化開口ユニット３００が被写体光束から抜出されているか否かを判断する。抜出さているか否かは、例えば、フォトインタラプタなどのセンサを設けて判断することができる。
【００８０】
カメラシステム制御部２４５は、構造化開口ユニット３００が抜出されたと判断したらステップＳ１３０３へ進む。抜出されるまではステップＳ１３０２で待機する。
【００８１】
ステップＳ１３０３では、カメラシステム制御部２４５は、レリーズスイッチ２５５のＳＷ１がＯＮにされるのを待って、被写体の測光を行う。具体的には、カメラシステム制御部２４５は、ＡＥセンサ２３７から被写体像の輝度分布を取得する。カメラシステム制御部２４５は、被写体像の輝度分布を取得したら、ステップＳ１３０４に進み、露出値を算出する。ここで、露出値とは、撮像素子２４３を被写体光束に露光する露光時間、被写体光束を制限する絞り２１４の絞り値、および撮像素子２４３の読み出しゲインに対応するＩＳＯ感度の３つの数値である。
【００８２】
露出値は、カメラメモリに予め記録されたプログラム線図によって決定される。例えば、ユーザにより絞り優先モードに設定されている場合は、カメラシステム制御部２４５は、ユーザが設定した絞り値はそのままにして、露光時間と撮像感度を一定のルールに即して設定されているプログラム線図上の値により決定する。
【００８３】
また、カメラシステム制御部２４５は、ＳＷ１がＯＮにされると、測光処理の他にも合焦動作などの撮影準備処理を実行する。合焦動作は、ＡＦセンサ２４０から取得された位相差情報に基づいて、レンズシステム制御部２１６がフォーカスレンズ２１２を駆動することにより実現される。
【００８４】
撮影準備処理が終了すると、カメラシステム制御部２４５は、ステップＳ１３０５へ進み、レリーズスイッチ２５５のＳＷ２がＯＮにされるのを待って、本撮影画像の取得動作を実行する。具体的には、メインミラー２３２およびサブミラー２３８を被写体光束から退避させ、決定された露出値に従って絞り２１４およびフォーカルプレーンシャッタ２４１を動作させる。さらに、フォーカルプレーンシャッタ２４１が開放されている間に撮像素子２４３の各画素に蓄積された電荷を読み出し、画像処理部２４６に予め設定されたフォーマットに従って画像ファイルを生成させ、当該画像ファイルを記録部に記録する。
【００８５】
カメラシステム制御部２４５は、一連の本撮影画像の撮影動作が終了したらステップＳ１３０６へ進み、引き続き補助撮影画像の撮影動作が指示されているか否かを判断する。補助撮影画像の撮影動作が指示されていなければ、一連の処理を終了する。
【００８６】
カメラシステム制御部２４５は、ステップＳ１３０１またはステップＳ１３０６で補助撮影画像の撮影動作が指示されていると判断したら、ステップＳ１３０７へ進み、ユーザにより構造化開口ユニット３００が被写体光束中に装着されているか否かを判断する。カメラシステム制御部２４５は、構造化開口ユニット３００が装着されるまでステップＳ１３０７で待機する。
【００８７】
カメラシステム制御部２４５は、構造化開口ユニット３００が装着されたと判断したらステップＳ１３０８へ進む。補助撮影画像の撮影動作は、被写体光束中に構造化開口を介在させて実行するので、撮像素子２４３に到達する被写体光束の光学的条件が、本撮影画像の撮影動作時とは大きく異なる。簡単には、撮像素子２４３に到達する被写体光束が構造化開口によって制限されるので、本撮影画像の撮影条件と同じ条件では暗い画像が取得されることになる。そこで、カメラシステム制御部２４５は、補助撮影画像の撮影条件を、本撮影画像の撮影条件とは異ならせる。
【００８８】
そこで、本実施形態においては、カメラシステム制御部２４５は、補助撮影画像の撮影動作時にフラッシュ２４９を動作させて被写体を照射する。カメラシステム制御部２４５は、ステップＳ１３０８へ進むと、ＳＷ１がＯＮにされるのを待って、フラッシュ２４９の事前照射動作であるプリ発光を行い、被写体の測光を行う。具体的には、カメラシステム制御部２４５は、ＡＥセンサ２３７から被写体像のプリ発光時における輝度分布を取得する。また、ＡＦセンサ２４０から取得された位相差情報に基づいて、レンズシステム制御部２１６がフォーカスレンズ２１２を駆動することにより合焦動作を実行する。
【００８９】
カメラシステム制御部２４５は、ステップＳ１３０９で、被写体像の輝度分布、合焦距離、レンズ情報等の撮影環境と、例えばユーザがメニュー画面から設定する奥行き方向の測定レンジ等を考慮してフィルタ３０２の回転角を決定する。最適解が計算されない場合は、ユーザに設定値の変更を促すなどの処理を行っても良い。そして、カメラシステム制御部２４５は、決定された回転角となるように、レンズシステム制御部２１６およびアクチュエータ２１５を介して、フィルタ３０２を回転する。
【００９０】
カメラシステム制御部２４５は、ステップＳ１３１０へ進み、露出値を算出する。このときの露出値はフラッシュ２４９の発光を前提とした値であり、したがって、カメラシステム制御部２４５は、ステップＳ１３１０へ進み、撮影動作時におけるフラッシュ２４９の照射量を決定する。なお、照射量の算出は、ＡＥセンサ２３７から得られる輝度分布情報から行っても良いが、本撮影画像の撮影動作時にもフラッシュ２４９を照射させたのであれば、当該撮影動作時における照射量から、補助撮影画像の撮影動作における照射量を算出しても良い。具体的には、構造化開口を被写体光束中に介在させることによりカットされる光量は事前の実験等により回転角ごとに把握されるので、これに応じて低下する露出段数分に相当する光量を本撮影画像の撮影動作時における照射量に足して算出する。
【００９１】
なお、ステップＳ１３１０における露出値の算出は、ステップＳ１３１１のフラッシュ２４９の照射量の決定とセットで実行されるが、露出値のうちＩＳＯ感度については、ステップＳ１３０４で算出されるＩＳＯ感度よりも大きく設定すると良い。すなわち、補助撮影画像における被写体のぶれは、距離情報の算出に悪影響を及ぼし精度の低下を招くので、撮像素子２４３に対する露光時間は短いことが好ましい。そこで、露光時間を短くすべく、ＩＳＯ感度を大きく設定する。補助撮影画像はユーザの鑑賞画像ではないので、距離情報の算出に影響しない限りにおいてＩＳＯ感度が大きく設定されても良い。したがって、カメラシステム制御部２４５が設定し得るＩＳＯ感度の上限は、本撮影画像の撮影動作時の値と補助撮影画像の撮影動作時の値で異なり、補助撮影画像の撮影動作時の値の方が大きい。
【００９２】
このように撮影動作時における露出値と照射量が決定されると、カメラシステム制御部２４５は、ステップＳ１３１２へ進み、レリーズスイッチ２５５のＳＷ２がＯＮにされるのを待って、補助撮影画像の取得動作を実行する。具体的には、メインミラー２３２およびサブミラー２３８を被写体光束から退避させ、決定された露出値に従って絞り２１４およびフォーカルプレーンシャッタ２４１を動作させる。このとき、決定された照射量に従ってフラッシュ２４９を動作させ被写体を照射する。さらに、撮像素子２４３の各画素に蓄積された電荷を読み出し、画像処理部２４６に赤色画像、緑色画像および青色画像を含む補助撮影画像ファイルを生成させ、当該画像ファイルを記録部に記録する。以上により一連の処理を終了する。
【００９３】
また、本フローにおいては、補助撮影画像の撮影動作時にフラッシュ２４９を照射させて構造化開口による光量低下を補った。しかし、被写体環境によってはフラッシュ２４９を照射させずに他の撮影条件を変更することにより光量低下を補っても良い。例えば、上述のように、ＩＳＯ感度を大きな値に設定する。または、予め定められた露光時間を下限として、露光時間を長めに設定しても良い。つまり、カメラシステム制御部２４５は、本撮影画像の撮影条件に比較して、補助撮影画像の撮影条件を、被写体光束をより取り込む、取り込んだ光をより増幅する方向に変更すればよい。
【００９４】
以上説明した本実施形態によれば、フィルタ部と開口部の組み合わせにおいて、互いに相対的に回転させることにより透過領域の面積を段階的に変更できる構成としたが、遮光部の構成は回転に限らない。直線的に遮光することにより透過領域の面積を変更できる構成としても良く、また、遮光部材をリンク機構等によって移動させる構成としても良い。
【００９５】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００９６】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【００９７】
２００ 一眼レフカメラ、２０１ 光軸、２１０ レンズユニット、２１１ レンズ群、２１２ フォーカスレンズ、２１３ ズームレンズ、２１４ 絞り、２１５ アクチュエータ、２１６ レンズシステム制御部、２１７ レンズ鏡筒、２１８ レンズマウント、２１９ 装着スリット、２２０ 挿抜ガイド、２２２ 構造化開口駆動部、２３０ カメラユニット、２３１ カメラマウント、２３２ メインミラー、２３３ 回転軸、２３４ ピント板、２３５ ペンタプリズム、２３６ 接眼光学系、２３７ ＡＥセンサ、２３８ サブミラー、２３９ ＡＦ光学系、２４０ ＡＦセンサ、２４１ フォーカルプレーンシャッタ、２４２ 光学ローパスフィルタ、２４３ 撮像素子、２４４ メイン基板、２４５ カメラシステム制御部、２４６ 画像処理部、２４７ 表示部、２４８ 二次電池、２４９ フラッシュ、２５０ パターン投光部、２５１ 距離情報算出部、２５２ カメラメモリ、２５３ ワークメモリ、２５４ 外部接続ＩＦ、２５５ レリーズスイッチ、３００ 構造化開口ユニット、３０２ フィルタ、３０３ 遮断フィルタ部、３０４ Ｒフィルタ部、３０５ Ｇフィルタ部、３０６ Ｂフィルタ部、３０７ ベース部、３０８ 外周部、３０９ 把持部、３１０ ギア、３２２ 開口マスク、３２３ 遮断部、３２４ Ｒ開口部、３２５ Ｇ開口部、３２６ Ｂ開口部、４０２ フィルタ、４２２ 開口マスク、５０２ フィルタ、５２２ 開口マスク、７０１ Ｂ曲線、７０２ Ｇ曲線、７０３ Ｒ曲線、７１１、７１２、７１３ 矢印
【特許請求の範囲】
【請求項１】
入射する被写体光束を複数の波長帯に分離して検出する受光素子と、
前記被写体光束を前記受光素子に導く光学系と、
前記複数の波長帯のうちの一つに含まれる第１波長帯を透過する第１フィルタ領域と、前記複数の波長帯のうちの一つに含まれ、前記第１波長帯とは異なる第２波長帯を透過する第２フィルタ領域を、前記光学系の光軸に対してそれぞれ偏心した位置に有する構造化開口と、
前記第１フィルタ領域および前記第２フィルタ領域のそれぞれを部分的に遮光することにより、前記被写体光束が透過する領域の面積を変更する透過領域変更機構と
を備える距離情報取得装置。
【請求項２】
前記透過領域変更機構は、前記面積を連続的に変更する請求項１に記載の距離情報取得装置。
【請求項３】
前記透過領域変更機構は、前記光軸から前記被写体光束が透過する領域の重心までの距離を変位させる請求項１または２に記載の距離情報取得装置。
【請求項４】
前記透過領域変更機構は、
前記被写体光束を通過させる複数の開口部を有し、その他の前記被写体光束を遮断する開口マスクと、
前記第１フィルタ領域および前記第２フィルタ領域と、前記複数の開口部の相対的な位置関係を変更させる変更部と
を有する請求項１から３のいずれか１項に記載の距離情報取得装置。
【請求項５】
前記変更部は、前記光軸を中心軸として前記構造化開口および前記開口マスクの少なくとも一方を回転させる自転駆動部である請求項４に記載の距離情報取得装置。
【請求項６】
前記構造化開口は、前記第１フィルタ領域および前記第２フィルタ領域が、前記光軸と交差する中心から放射方向へそれぞれ延在するように設けられ、
前記開口マスクは、前記複数の開口部が、前記光軸と交差する中心から放射方向へそれぞれ延在するように設けられた請求項４または５に記載の距離情報取得装置。
【請求項７】
請求項１から６のいずれか１項に記載の距離情報取得装置を含む撮像装置であって、
前記構造化開口を前記被写体光束に対して挿抜する挿抜機構と、
前記挿抜機構により前記構造化開口を抜出して実行する本画像撮影および前記挿抜機構により前記構造化開口を挿入して実行する補助画像撮影を制御する撮影制御部と
を備え、
前記撮影制御部は、前記本画像撮影と前記補助画像撮影で撮影条件を変更する撮像装置。
【請求項８】
前記撮影制御部は、前記構造化開口を挿入することにより低下する光量に基づいて、前記本画像撮影と前記補助画像撮影の露出値を変更する請求項７に記載の撮像装置。
【請求項９】
前記補助画像撮影を実行する場合に用いる前記受光素子は、前記本画像撮影を実行する場合に用いる撮像素子とは別に設けられている請求項８に記載の撮像装置。
【請求項１０】
第１波長帯を透過する第１フィルタ領域と、前記第１波長帯とは異なる第２波長帯を透過する第２フィルタ領域を、中心に対してそれぞれ偏心した位置に有する構造化開口と、
前記第１フィルタ領域および前記第２フィルタ領域のそれぞれを部分的に遮光することにより、透過する領域の面積を変更する透過領域変更機構と
を備える構造化開口ユニット。
【請求項１】
入射する被写体光束を複数の波長帯に分離して検出する受光素子と、
前記被写体光束を前記受光素子に導く光学系と、
前記複数の波長帯のうちの一つに含まれる第１波長帯を透過する第１フィルタ領域と、前記複数の波長帯のうちの一つに含まれ、前記第１波長帯とは異なる第２波長帯を透過する第２フィルタ領域を、前記光学系の光軸に対してそれぞれ偏心した位置に有する構造化開口と、
前記第１フィルタ領域および前記第２フィルタ領域のそれぞれを部分的に遮光することにより、前記被写体光束が透過する領域の面積を変更する透過領域変更機構と
を備える距離情報取得装置。
【請求項２】
前記透過領域変更機構は、前記面積を連続的に変更する請求項１に記載の距離情報取得装置。
【請求項３】
前記透過領域変更機構は、前記光軸から前記被写体光束が透過する領域の重心までの距離を変位させる請求項１または２に記載の距離情報取得装置。
【請求項４】
前記透過領域変更機構は、
前記被写体光束を通過させる複数の開口部を有し、その他の前記被写体光束を遮断する開口マスクと、
前記第１フィルタ領域および前記第２フィルタ領域と、前記複数の開口部の相対的な位置関係を変更させる変更部と
を有する請求項１から３のいずれか１項に記載の距離情報取得装置。
【請求項５】
前記変更部は、前記光軸を中心軸として前記構造化開口および前記開口マスクの少なくとも一方を回転させる自転駆動部である請求項４に記載の距離情報取得装置。
【請求項６】
前記構造化開口は、前記第１フィルタ領域および前記第２フィルタ領域が、前記光軸と交差する中心から放射方向へそれぞれ延在するように設けられ、
前記開口マスクは、前記複数の開口部が、前記光軸と交差する中心から放射方向へそれぞれ延在するように設けられた請求項４または５に記載の距離情報取得装置。
【請求項７】
請求項１から６のいずれか１項に記載の距離情報取得装置を含む撮像装置であって、
前記構造化開口を前記被写体光束に対して挿抜する挿抜機構と、
前記挿抜機構により前記構造化開口を抜出して実行する本画像撮影および前記挿抜機構により前記構造化開口を挿入して実行する補助画像撮影を制御する撮影制御部と
を備え、
前記撮影制御部は、前記本画像撮影と前記補助画像撮影で撮影条件を変更する撮像装置。
【請求項８】
前記撮影制御部は、前記構造化開口を挿入することにより低下する光量に基づいて、前記本画像撮影と前記補助画像撮影の露出値を変更する請求項７に記載の撮像装置。
【請求項９】
前記補助画像撮影を実行する場合に用いる前記受光素子は、前記本画像撮影を実行する場合に用いる撮像素子とは別に設けられている請求項８に記載の撮像装置。
【請求項１０】
第１波長帯を透過する第１フィルタ領域と、前記第１波長帯とは異なる第２波長帯を透過する第２フィルタ領域を、中心に対してそれぞれ偏心した位置に有する構造化開口と、
前記第１フィルタ領域および前記第２フィルタ領域のそれぞれを部分的に遮光することにより、透過する領域の面積を変更する透過領域変更機構と
を備える構造化開口ユニット。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１２−１０７９５７（Ｐ２０１２−１０７９５７Ａ）
【公開日】平成２４年６月７日（２０１２．６．７）
【国際特許分類】
【出願番号】特願２０１０−２５６２４２（Ｐ２０１０−２５６２４２）
【出願日】平成２２年１１月１６日（２０１０．１１．１６）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２４年６月７日（２０１２．６．７）
【国際特許分類】
【出願日】平成２２年１１月１６日（２０１０．１１．１６）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]