説明

立体画像撮像装置及び立体画像撮像方法

【課題】複数カメラの物理的な相対位置を変更することなく、実効のカメラ間距離並びに実効の輻輳を容易に調整する。
【解決手段】同一光軸に配置された2群以上のレンズ群から構成されるアフォーカル光学系の対物光学系41と、複数の独立したレンズ群により、対物光学系41の異なる経路から出射された複数の被写体光束をそれぞれ独立した画像として結像させる複数の撮像光学系42R,42Lと、複数の撮像光学系42R,42Lにより結像された画像を画像信号に変換する複数の撮像素子と、を備える。さらに、対物光学系41のレンズ群のうち撮像光学系側にあるレンズ群41−1の焦点面と撮像光学系42の各レンズ群の焦点面を一致させ、対物光学系41の被写体側のレンズ群41−2と撮像光学系側のレンズ群の光軸上での距離を変更する。

【発明の詳細な説明】
【技術分野】
【0001】
本開示は、立体画像の撮影を行う立体画像撮像装置及び立体画像撮像方法に関し、特に実効のカメラ間距離並びに実効の輻輳を調整する技術に係る。
【背景技術】
【0002】
従来の2眼式の立体画像撮像装置では、撮影対象の被写体を左右2方向に配置したカメラから右画像及び左画像を撮影することで、2眼立体画像を取得する。この際、左右それぞれのカメラの間隔(撮像レンズ間距離)(基線長、IAD(InterAxialDistance))、及び輻輳(Convergence)は、取得した2眼立体画像の立体感や快適視差範囲に大きく影響する。従来の2眼式の立体画像撮像装置では、カメラ間隔の調整は実際に左右のカメラの配置を変更して行っており、カメラの輻輳についてもカメラ自体の配置の調整もしくは各カメラのレンズ制御によって行っている。
【0003】
カメラ間隔に関しては、カメラに搭載されているレンズや撮像素子の大きさを調整する(小さくする)ことによって間隔を狭めるのには限界がある。そのため、リグ(RIG)と呼ばれる架台に搭載したハーフミラーを通して反射光と透過光をそれぞれ左右のカメラで撮影することにより、カメラ同士の物理的な干渉を避けてカメラ間隔を狭めることが行われている。
【0004】
またカメラの輻輳に関しては、左右のカメラの光軸を平行に配置する平行法や、表示時にオンスクリーンとなる撮影対象物の奥行き(コンバージェンス・ポイント)に合わせて左右のカメラの光軸を交わらせる交差法がある。カメラの輻輳は、表示画面からの立体画像の飛び出し量や引っ込み量を調整する上で必須の調整項目になっている。現状は左右のカメラ向きを物理的に直接変更するか、左右のレンズそれぞれで光路調整する形もしくは画像処理的に左右画像のピクセル位置をずらす形を採ることにより、輻輳を調整している。
【0005】
ここで、2眼式の立体画像撮像装置において、撮像光学系である左右のカメラの前方に1つの対物光学系を配置した構成を、図29に示す。
この図29では、撮像光学系内の像面に結像するための対物光学系201を、1枚の凸レンズとして表現している。また、撮像光学系202R,202Lは左右それぞれ1枚の凸レンズとして表現しており、対物光学系201がアフォーカル光学系でないことを示している。
【0006】
図29は、立体画像撮像装置を上方から見た図であり、対物光学系201の中心軸よりも若干右側にずれた被写体211〜216を撮影した場合に、左のカメラ(右目画像を撮影する撮像素子203L)に結像する被写体像の位置を示している。被写体211〜216は、前後方向に4個、中央付近の被写体212に関しては左右に1個ずつ並べた計6個の被写体である。
【0007】
被写体214を例に説明すると、被写体214と対物光学系201の中心を結ぶ線と、被写体214から対物光学系201の中心軸に平行に入射して屈折した光線との交点が、対物光学系201による像位置214−1である。この像位置214−1の像が撮像光学系202Lにより像位置214iに結像する。このように、被写体211〜216の像は、それぞれ像位置211−1〜216−1を経て、像位置211i〜216iに結像する。
【0008】
結像する被写体像の位置が像面204に垂直に並ぶことから、この被写体211〜216を通る光線は瞳を通過していると考えられる(当該被写体が対物光学系201の中心軸よりも右側であることから右目の瞳)。図29には示していないが、左目画像に関しても同様に瞳を通る被写体の配置を考えることができる。この際、実効IADの距離edは、対物光学系201の後側焦点位置を頂角として持つ相似三角形の相似比から、物理IADのf1/(L−f1)倍として求められる。ここで、Lは対物光学系201と撮像光学系202R,202Lの主面間距離、f1は対物光学系201の焦点距離を示す。なお、図29のf3は撮像光学系202R,202Lの焦点距離、dは対物光学系201の主面から被写体212までの距離を示す。
【0009】
図29の立体画像撮像装置では、実効IADの距離edを物理IADよりも小さくできるというメリットを持つが、像面204の傾きがフォーカス面205の傾きと異なっており、画面全体に渡ってフォーカスを合わせるのが簡単ではないという問題がある。
【0010】
特許文献1には、フォーカス機能を有する対物光学系と、対物光学系の異なる経路から出射された複数の被写体光束を視差画像としてそれぞれ結像させる結像光学系とを備え、結像光学系は、各光学系の光軸が同一の平面内にありかつ該平面内にて各光学系のフォーカス位置で交差し、対物光学系の光軸が平面内に属する立体画像撮影装置が開示されている。
【先行技術文献】
【特許文献】
【0011】
【特許文献1】特開2003−5313号公報
【発明の概要】
【発明が解決しようとする課題】
【0012】
しかしながら、ハーフミラー方式のRIGは大掛かりな装置のため取り回ししにくいところがあるとともに、撮影結果に影響するハーフミラーの特性を向上させるために高価になりがちであった。
【0013】
また、左右のカメラの光軸が交差するコンバージェンス・ポイント(輻輳点)は、左右のカメラから等距離に設定されるものである。その観点からすれば、左右のカメラを独立に調整することによって左右のカメラの向きにずれが生じることは避けるべきであり、一つの機構により調整されることが望まれる。したがって、撮影シーンごとに調整が必要になるカメラ間隔や輻輳に関しては、できる限り単純な調整によって変更可能とすることが望まれている。
【0014】
さらに、2眼式の立体画像撮影では、奥行きの違いから得られる左右視差以外の違いが左右画像間で起きないようにすべきであり、左右のカメラの相対関係を正確に設定する必要がある。この設定を行うため、ハーフミラーを用いたRIGでは撮影前の調整作業に時間を要しており、この時間の短縮が強く望まれている。また、現行のステレオカムコーダではカメラ間距離は固定であり、撮影範囲の制限の一つになっている。
【0015】
本開示は、上記の状況を考慮し、複数カメラを撮像光学系として持つ立体画像撮像装置において、複数カメラの物理的な相対位置を変更することなく、実効のカメラ間距離並びに実効の輻輳を容易に調整できるようにする。
【課題を解決するための手段】
【0016】
本開示の立体画像撮像装置は、被写体を実像又は虚像として形成する、同一光軸に配置された2群以上のレンズ群から構成されるアフォーカル光学系の対物光学系と、複数の独立したレンズ群により、対物光学系の異なる経路から出射された複数の被写体光束をそれぞれ独立した画像として結像させる複数の撮像光学系と、複数の撮像光学系に対応して設けられ、複数の撮像光学系により結像された画像を画像信号に変換する複数の撮像素子と、を備える。
【0017】
また、上記の対物光学系が、等価的に被写体側と撮像光学系側の2つのレンズ群で構成されている場合に、撮像光学系側の焦点面と撮像光学系の焦点面を一致させた上で、対物光学系内の2つのレンズ群の光軸上の距離を変更する。
【0018】
本開示の立体画像撮像装置によれば、複数の光学系を備えた撮像光学系に対して、アフォーカル光学系の対物光学系を組み合わせることで、撮像光学系間の物理的な位置を変更することなく、実効瞳間の距離(実効IAD)と実効の視差ゼロを与える輻輳を調整することが可能である。
【0019】
対物光学系がアフォーカル光学系の場合には、対物光学系と撮像光学系の光学的な配置(傾いてはいない)は、実効IADの調整には無関係となる。
一方、対物光学系を等価的に2つのレンズ群から構成されていると考えることができ、撮像光学系側のレンズ群と撮像光学系のレンズ群の焦点面を一致させた場合には、対物光学系の2つのレンズ群の距離を変更すると、対物光学系はアフォーカル光学系ではなくなるが、実効IADは不変のまま、輻輳を変更することができる。
【発明の効果】
【0020】
本開示によれば、複数の撮像光学系及び撮像素子を備える複数カメラの物理的な相対位置を変更することなく、実効のカメラ間距離並びに実効の輻輳を容易に調整することができる。
【図面の簡単な説明】
【0021】
【図1】現状の立体画像撮像装置の基本構成例を示す説明図であり、(a)は複数の被写体を左右のカメラで撮影する状況を上方から示したものであり、(b)は被写体の像の位置を反転した左画像及び右画像を示している。
【図2】図1に示した立体画像撮像装置で撮像された左右画像をディスプレイに表示し、人が視聴する様子を示した説明図である。
【図3】立体画像撮像装置の左右のカメラの間隔を離して被写体を撮影する様子を示す説明図であり、(a)は複数の被写体を左右のカメラで撮影する状況を上方から示したものであり、(b)は被写体の像の位置を反転した左画像及び右画像を示している。
【図4】図3に示した立体画像撮像装置で撮像された左右画像を用いて立体画像を視聴する様子を示す説明図である。
【図5】カメラの向きに平行に配置された複数の被写体と瞳との関係を示す説明図である。
【図6】左右のカメラの向きに平行に配置された2つの被写体列とIADの関係を示す説明図である。
【図7】カメラの向きに平行な被写体列と、IAD変換時のIAD及び瞳の関係を示す説明図である。
【図8】立体画像撮像装置の向きと像面の法線方向が異なる場合のIAD変換前後のIAD及び瞳の関係を示す説明図である。
【図9】コンバージェンス位置を設定した場合のカメラの向きに平行な被写体例と、IADの関係を示す説明図である。
【図10】コンバージェンス位置を設定した場合のカメラの向きに平行な被写体例と、IAD変換前後のIAD及び瞳の関係を示す説明図である。
【図11】本開示の第1の実施形態に係る立体画像撮像装置(対物光学系の第1及び第2レンズ群が凸レンズであって共焦点の関係)の概要を示す構成図である。
【図12】本開示の第2の実施形態に係る立体画像撮像装置(対物光学系の第1及び第2レンズ群が凸レンズであって共焦点、及び対物光学系の第2レンズ群と撮像光学系が共焦点の関係)の概要を示す構成図である。
【図13】本開示の第3の実施形態に係る立体画像撮像装置(対物光学系の第2レンズ群と撮像光学系が共焦点の関係)の概要を示す構成図である。
【図14】本開示の第1の実施形態に係る立体画像撮像装置において、対物光学系を凹レンズと凸レンズで構成した場合の、物理的なカメラ間距離(物理IAD)と実効のカメラ間距離(実効IAD)の関係を示す説明図である。
【図15】本開示の第1の実施形態に係る立体画像撮像装置において、対物光学系を凹レンズと凸レンズで構成した場合の、物理的なコンバージェンス・ポイントと実効のコンバージェンス・ポイントの関係を示す説明図である。
【図16】リファレンスの立体画像撮像装置における被写体と像の関係を示す説明図である。
【図17】図16の各距離の関係を示した説明図であり、Aは右眼についての各距離の関係を表し、Bは左眼についての各距離の関係を表している。
【図18】本開示の立体画像撮像装置において、対物光学系の第1レンズ群に凹レンズ、第2レンズ群に凸レンズを配置した場合の被写体と像の関係を示す説明図である。
【図19】本開示の立体画像撮像装置において、対物光学系の第1レンズ群に凸レンズ、第2レンズ群に凸レンズを配置した場合の被写体と像の関係を示す説明図である。
【図20】本開示の立体画像撮像装置において、対物光学系の第1レンズ群に凸レンズ、第2レンズ群に凹レンズを配置した場合の被写体と像の関係を示す説明図である。
【図21】本開示の立体画像撮像装置の構成例(条件1に対応)を示すブロック図である。
【図22】本開示の立体画像撮像装置の構成の他の例(条件2に対応)を示すブロック図である。
【図23】本開示の立体画像撮像装置における対物光学系を、着脱可能なコンバージョンレンズとして活用した場合の構成例を示すブロック図である。
【図24】本開示の立体画像撮像装置における対物光学系を、固定焦点距離のコンバージョンレンズとして活用した場合の構成例を示すブロック図である。
【図25】本開示の立体画像撮像装置における対物光学系を3群のレンズ群から構成した場合の一例を示す説明図である。
【図26】図25において第1レンズ群を移動させた場合の説明図である。
【図27】図26の対物光学系における、物理カメラの瞳を通る像面に垂直な光線の入射方向を示す説明図である。
【図28】本開示の立体画像撮像装置におけるIAD制御の説明図である。
【図29】従来の立体画像撮像装置の説明図である。
【発明を実施するための形態】
【0022】
以下、本開示を実施するための形態の例(以下、「本例」ともいう)について、添付図面を参照しながら説明する。説明は下記の順序で行う。なお、各図において共通の構成要素には、同一の符号を付して重複する説明を省略する。
1.両眼立体視についての説明
2.本開示の立体画像撮像装置の原理
3.本開示の立体画像撮像装置の構成の概要
3−1.第1の実施形態(対物光学系の第1及び第2レンズ群が共焦点の関係)
3−2.第2の実施形態(対物光学系の第1及び第2レンズ群が共焦点、及び対物光学系の第2レンズ群と撮像光学系が共焦点の関係)
3−3.第3の実施形態(対物光学系の第2レンズ群と撮像光学系が共焦点の関係)
4.本開示の立体画像撮像装置の構成の詳細
4−1.条件1の説明
4−2.条件2の説明
4−3.2眼立体画像撮像装置における被写体と像の関係
4−4.本開示の対物光学系の第1レンズ群に凹レンズ、第2レンズ群に凸レンズを配置した場合の被写体と像の関係
4−5.本開示の対物光学系の第1レンズ群に凸レンズ、第2レンズ群に凸レンズを配置した場合の被写体と像の関係
4−6.本開示の対物光学系の第1レンズ群に凸レンズ、第2レンズ群に凹レンズを配置した場合の被写体と像の関係
4−7.交差法に適用する場合の計算式
5.本開示の立体画像撮像装置のブロック構成
5−1.条件1に対応した構成例
5−2.条件2に対応した構成例
5−3.対物光学系を着脱可能なコンバージョンレンズとした構成例
5−4.対物光学系を固定焦点距離のコンバージョンレンズとした構成例
6.3群のレンズ群から構成される対物光学系の例
【0023】
<1.両眼立体視についての説明>
まず、立体視、視差及びIADに関する説明と、瞳及び実効瞳についての説明を行う。この瞳及び実効瞳は、両眼視差を考える上で導入したものである。
【0024】
現状の立体視では、両眼視差(以下、視差と記述する)によって立体感を得ている。このため、視差を制御することは立体画像撮影において非常に重要なことである。視差は左右の異なる視点(撮影位置)から撮影することにより生じる、2つの画像上の左右方向のずれのことであり、左右の視点の位置がどのくらい離れているかは、視差を制御する上で非常に重要な要素である。
【0025】
図1は、現状の立体画像撮像装置の基本構成例を示す説明図である。図1(a)は複数の被写体を左右のカメラで撮影する状況を上方から示したものであり、図1(b)は被写体の像の位置を反転した画像を示している。
【0026】
図1(a)の例では、撮像レンズ(瞳4R)と撮像素子5Rを有する右カメラ、撮像レンズ(瞳4L)と撮像素子5Lを有する左カメラにより、カメラ方向と平行な直線上に並ぶ3つの被写体1〜3を撮影している。左右のカメラに関しては模式的に撮像レンズの各々の中心を瞳として表し、3つの被写体1〜3からの主光線が左右の瞳4R,4Lを通って、撮像素子5R,5Lの撮像面と平行な像面に結像する。この左右の瞳4R,4Lの間隔がIADであり、その距離dは立体画像の撮影における重要な要素である。
【0027】
像面には被写体の像の左右が逆になって写されるため、左右の撮像素子では像の位置を反転して右画像と左画像を出力する。図1(b)の例では、右の撮像素子5Rに被写体1〜3の像1aR〜3aRが結像しており、右の撮像素子5Rはこれを反転した右画像6Rを出力している。また左の撮像素子5Lに被写体1〜3の像1aL〜3aLが結像しており、左の撮像素子5Lはこれを反転した左画像6Lを出力している。
【0028】
図2は、図1に示した立体画像撮像装置で撮像された左右画像をディスプレイに表示し、人が視聴する様子を示している。
表示画面上には右画像6Rと左画像6Lが提示されるが、液晶シャッターを用いるなどの何らかの方法により、右画像は右目だけ、左画像は左目だけに提示される。図2では、説明の便宜上、右画像6Rと左画像6Lを表示位置に並べて図示し、左右画像の境目を表示面(スクリーン)として、立体画像の再現の様子を示している。
【0029】
3つのうち真ん中の被写体2に関しては、表示面上で左右の像2aR,2aLが同じ位置(交点2a)に示されるので視差は0(ゼロ)である。このため、立体視上は被写体2がちょうど表示画面上に存在するように見える。
また、カメラに最も近い被写体3に関しては、右目7Rで見える位置と左目7Lで見える位置が異なっているため、人間の脳が奥行き方向のどこに存在したら被写体3(像3aR,3aL)が一つの物体と考えられるかを判断し、左右の視線の交点3aに被写体3があると判断する。
さらに、カメラから最も遠い被写体1に関しても同様で、人間の脳は表示画面より奥側の視線が交差している交点1aに被写体1が存在すると判断する。このように左右画像に写った同一被写体の像の位置ずれを視差(両眼視差)といい、視差があることによって脳が立体的な把握を行うことで立体視ができる。
【0030】
また、被写体2に対応する交点2aのような視差0の(図1における)奥行き位置をコンバージェンス・ポイントというが、この位置は表示画面上に存在するように認識されるため、人間にとって最も見やすい位置とされる。左右画面の重なり方をずらすことでカメラに最も近い被写体3に合わせて視差を0にしたり、カメラから最も遠い被写体1に合わせて視差を0にしたりすることもできる。ただし、例えば被写体3に合わせて視差を0にした場合には、その分、被写体1に対する視差が広がることになる。そのため、撮影シーンや撮影意図等によってコンバージェンス・ポイントの最適位置は異なると考えられる。
【0031】
図3は、立体画像撮像装置の左右のカメラの間隔を離して被写体を撮影する様子を示す説明図であり、図3(a)は複数の被写体を左右のカメラで撮影する状況を上方から示したものであり、図3(b)は被写体の像の位置を反転した左画像及び右画像を示している。
【0032】
図3(b)の例では、右の撮像素子5Rに被写体1〜3の像1bR〜3bRが結像しており、右の撮像素子5Rはこれを反転した右画像8Rを出力している。また左の撮像素子5Lに被写体1〜3の像1bL〜3bLが結像しており、左の撮像素子5Lはこれを反転した左画像8Lを出力している。この場合にも、3つのうち真ん中の被写体2がコンバージェンス・ポイントと重なるように、左右の画像の切り出し位置を設定している。撮影画像は、図1と同様に、被写体2の像2bR,2bLを画像の中央に置いた右画像及び左画像となる。
【0033】
図4は、図3に示した立体画像撮像装置で撮像された左右画像をディスプレイに表示し、人が視聴する様子を示している。
図2の例と同様に、被写体2の像は表示画面上の位置(交点2b)に、被写体3の像は表示画面よりも手前(交点3b)に、被写体1の像は表示画面よりも奥(交点1b)に存在するように見えるが、被写体3の像の飛び出し感及び被写体1の像の引っ込み感は強くなる。すなわち、カメラ間隔(瞳4R,4Lの間隔)によって、視差の範囲が広がっている。これは右画像8R及び左画像8Lに写る3つの被写体1〜3の像の重なり具合が、図2の場合と異なることからも明らかである。以上から、カメラ間隔(IAD:瞳の間隔)を制御することは、立体感を制御する上で非常に重要であることがわかる。
【0034】
<2.本開示の立体画像撮像装置の原理>
次に、IADを考える上で瞳位置をどのように捉えるかを説明する。
通常のカメラでは瞳位置は、撮像レンズ中心を通る像面に垂直な線上に存在する。これは像面に対して撮像レンズの中心軸が1つである場合には考えやすいが、撮像レンズの中心軸が複数ある場合にはそのまま当てはまるとは限らない。ここでは、左右の瞳はカメラの向きに沿った中心線に対して対称な位置にあり、像面も該中心軸について対称な位置で像面の法線がカメラの向きと平行である場合を考える。
【0035】
図5は、カメラの向きに平行に配置された複数の被写体と瞳との関係を示している。
まず、撮像レンズ及び撮像素子5を備える一台のカメラについて、被写体と瞳と像面に映る像の関係について考える。通常のカメラでは瞳4の位置は撮像レンズの中心にあるので、像面に垂直な光線は、瞳4を通る前でも像面に垂直な方向であり、カメラの向きの入射光である。そのことから、図5のようにカメラの向きに平行に並んだ3つの被写体1〜3の像1c〜3cが像面上で重なる(像位置が像面に垂直な線上にある)場合には、その直線上に瞳が存在することがわかる。なお、カメラの向きと像面に垂直な光線とは必ずしも平行ではないこともあるため、“カメラの向きに平行に並んだ3つの被写体”という表現を用いて説明した。
【0036】
これを左右のカメラで考えると、図6に示すように、左右のカメラの向きに平行な2つの被写体列をなす被写体1〜3及び被写体11〜13の像1dR〜3dR及び像11dL〜13dLがそれぞれ像面上で重なれば、そのときの左右の瞳4R,4Lの間の距離d(物理IAD)は被写体列間の距離と考えられる。本開示では、この被写体列と像、瞳の関係が重要である。なお、像13dRは瞳4Rの中心を通って撮像素子5Rに結像した被写体11の像であり、像1dLは瞳4Lの中心を通って撮像素子5Lに結像した被写体1の像である。
【0037】
ここで、元々存在する物理的なIADを変換して実効的なIADを得る場合を考える。
この場合には、物理的なIADに対する瞳に対して、実効的なIADに対する実効瞳が考えられる。基本的には図6で示したような瞳4R,4Lを通る光線は変わらないものとすると、図7に示すようにカメラの向きに平行な2つの被写体列をなす被写体1〜3及び被写体11〜13の像1eR〜3eR及び像11eL〜13eLのそれぞれが像面上で重なる場合に、その2つの被写体列間の距離edを実効IADと考えることができる。
【0038】
撮像素子5Rに結像した像11eR,12eR,13eRは、IAD変換部14の入射側の実効瞳15R及び出射側の内部瞳16Rを通って結像した被写体11〜13の像である。また、撮像素子5Lに結像した像1eL,2eL,3eLはIAD変換部14の入射側の実効瞳15L及び出射側の内部瞳16Lの中心を通って結像した被写体1〜3の像である。
【0039】
IAD変換部14は、物理IADの距離dと実効IADの距離edを変換する機能を有している。IAD変換部14の入射側にある2つの実効瞳15R,15Lは、この2つの被写体列を通る入射光が、各々の像面に垂直に入る際の撮像レンズ主面中心との交点付近にある内部瞳16R,16L位置に集まる光線を逆算することにより、該IAD変換部14に対して入射される光線が仮想的もしくは実際に集まる位置と考えることができる。実効瞳は当然ながら、先の2つの被写体列を通る入射光線上もしくはその延長線上に存在する。
【0040】
本明細書中において、IAD変換部14の出射側にある2つの内部瞳16R,16Lの間隔idを、「内部IAD」と呼ぶこととする。「内部瞳」及び「内部IAD」は、IAD変換部14を取り付ける前の物理的な瞳及び物理的なIADと必ずしも一致しないため、説明のために便宜的につけた呼称である。例えば、後述する“条件2”に基づいてコンバージェンス位置を設定した場合に、内部瞳と内部IADが変換前の瞳及びIADと異なる。
【0041】
図8は、立体画像撮像装置の向きと像面の法線方向が異なる場合のIAD変換前後のIAD及び瞳の関係を示したものである。
2つの被写体例を通る光線はそれぞれ、IAD変換部24の入力側にある実効瞳25R,25Lに入射され、IAD変換部24の出力側にある内部瞳26R,26Lから出射して、各々の撮像素子5R,5Lに取り込まれる。図8において、立体画像撮像装置の向きと平行に並んで被写体列をなす被写体1〜3及び被写体11,12,13の像1fR,12fR,3fR及び像11fL,12fL,13fLのそれぞれが、像面上で重なることは図7と同様である。
【0042】
撮像素子5Rに結像した像11fR,12fR,13fRは、IAD変換部14の入射側の実効瞳25R及び出射側の内部瞳26Rを通って結像した被写体11〜13の像である。また、撮像素子5Lに結像した像1fL,2fL,3fLはIAD変換部24の入射側の実効瞳25L及び出射側の内部瞳26Lを通って結像した被写体1〜3の像である。
【0043】
次に、コンバージェンス位置が無限遠でない場合(交差法)における実効IADと実効瞳に関して説明する。
上述した図6及び図7の例は平行法を適用したものであったため、被写体列を通った立体画像撮像装置の向きに平行な入射光は、瞳を通過した後に像面の中央に垂直に投影される。したがって、単一のカメラで考えた場合と同じように撮像レンズの中心軸上に瞳が存在する形になる。
【0044】
しかしながら、図9に示すように、コンバージェンス・ポイントCPの位置(破線丸部)を設定した場合、像面の中心を通りかつ像面に垂直な線AxR,AxLは、IADを考慮する上で想定した瞳を通過しない。これは単一のカメラでは通常考えない瞳位置である。
【0045】
すなわち、左右のカメラの向きに平行な2つの被写体列をなす被写体1〜3及び被写体11〜13の像1gR,2gR,3gR及び像11gL,12gL,13gLがそれぞれ像面上で重なるが、各々の瞳4R,4Lを通過した後に像面の中央に投影されない。撮像素子5Rに結像した像11gR,12gR,13gRは、瞳4Rを通って結像した被写体11〜13の像である。また、撮像素子5Lに結像した像1gL,2gL,3gLは、瞳4Lを通って結像した被写体1〜3の像である。
【0046】
これは、IADを変換するIAD変換部を入れた場合でも同様であり、交差法を利用して立体撮影を行う場合には、図10に示すように、像面の中心を通りかつ像面に垂直な線AxR,AxLは内部瞳を通過しない。図10は、コンバージェンス位置を設定した場合のカメラの向きに平行な被写体例と、IAD変換前後のIAD及び瞳の関係を示している。図10の例では、一例として被写体1にコンバージェンス・ポイントCPを合わせている。
【0047】
すなわち、2つの被写体例を通る光線はそれぞれ、IAD変換部34の入力側にある実効瞳35R,35Lに入射され、IAD変換部34の出力側にある内部瞳36R,36Lから出射して、各々の撮像素子5R,5Lに取り込まれる。このとき、立体画像撮像装置の向きと平行に並んで被写体列をなす被写体1〜3及び被写体11〜13の像1hR,2hR,3hR及び像11hL,12hL,13hLのそれぞれは像面上で重なるが、各々の内部瞳36R,36Lを通過した後に像面の中央に投影されない。
【0048】
撮像素子5Rに結像した像11hR,12hR,13hRは、IAD変換部34の入射側の実効瞳35R及び出射側の内部瞳36Rを通って結像した被写体11〜13の像である。また、撮像素子5Lに結像した像1hL,2hL,3hLはIAD変換部34の入射側の実効瞳35L及び出射側の内部瞳36Lを通って結像した被写体1〜3の像である。
【0049】
本開示の立体画像撮像装置は、以上説明したようなIAD変換部と同等の機能を備え、該IAD変換部により調整される実効瞳、実効IADを用いてIADの制御を行う。
【0050】
<3.本開示の立体画像撮像装置の構成の概要>
以下、本開示の立体画像撮像装の構成の概要について説明する。
【0051】
[3−1.第1の実施形態(対物光学系の第1及び第2レンズ群が共焦点の関係)]
図11は、本開示の第1の実施形態の例に係る立体画像撮像装置の概要を示す構成図である。
この第1の実施形態では、2眼式の立体画像撮像装置において、撮像光学系42である左右のカメラ(撮像部)の前方に2群のレンズ群を対物光学系41として配置している。そして、対物光学系41の第1レンズ群41−1と第2レンズ群41−2を共焦点の関係に配置し、対物光学系41を平行光の入射に対して平行光を射出するアフォーカル光学系とする。この対物光学系41と撮像光学系42が、上述のIAD変換部に相当する。
【0052】
アフォーカル光学系とするためには最低2群のレンズ群を用いる必要があり、本例では、等価的に凸レンズとみなせる第1及び第2レンズ群41−1,41−2を2組用いて焦点位置を一致させ、アフォーカル光学系としている(条件1)。
【0053】
図11は、立体画像撮像装置を上方から見た図であり、対物光学系41の中心軸よりも若干右側にずれた被写体51〜56を撮影した場合に、左のカメラ(右目画像を撮影する撮像素子43L)に結像する被写体像の位置を示している。被写体51〜56は、前後方向に4個、中央付近の被写体52に関しては左右に1個ずつ並べた計6個の被写体である。なお、本例の撮像素子43Lは、光軸方向に長いものとなっているが、光軸に垂直に置かれるため、基本的には長くない。例えば、像位置55iと56iを通る直線(図面に垂直方向に厚みがあるので立体的には面)として表現される。図11の例では、撮像素子43Lの位置を、像位置55iと56iを通る直線(破線)で示し、像位置52i,55i,56iにフォーカスが合っている場合を示している。
【0054】
被写体54を例に説明すると、被写体54と対物光学系41の第1レンズ群41−1の中心を結ぶ線と、被写体54から第1レンズ群41−1の中心軸に平行に入射して屈折した光線との交点が、第1レンズ群41−1による像位置54−1である。この像位置54−1と第2レンズ群41−2の中心を結ぶ線と、像位置54−1から第2レンズ群41−2の中心軸に平行に入射して屈折した光線の延長線との交点が、第2レンズ群41−2による像位置54−2である。この像位置54−2の像が撮像光学系42の撮像レンズ群42Lにより像位置54iに結像する。このように、被写体51〜56の像は、それぞれ像位置51−1〜56−1及び像位置51−2〜56−2を経て、像位置51i〜56iに結像する。
【0055】
第1レンズ群41−1と第2レンズ群41−2が共焦点の関係にある場合、第2レンズ群41−2を通して観察した被写体の像は、被写界における横方向にf2/f1倍、奥行き方向に(f2/f1)倍された像となっている。この像位置51i〜56iに結像した像を撮像光学系で撮影することにより、実際の6個の被写体を拡大または縮小した形で撮影することができる。被写体を拡大・縮小して撮影することで相対的に撮像光学系のカメラ間隔を縮小・拡大することができる。これが本発明のもっとも単純化した動作原理であるが、第1群と第2群を共焦点にしない場合においても有効な構造であることは、後に図13を参照して説明する。
【0056】
本例では、対物光学系41の中心軸に平行に入射した光線は、最初の第1レンズ群41−1で焦点位置に向かって屈折し、2番目の第2レンズ群41−2で平行に戻されて射出する。したがって、射出した光線がちょうど撮像光学系42の撮像レンズ群中心(内部瞳IP)を通る光線を考えると、この光線上に実効瞳EPの位置がある(図11では、図面の視認性を考慮して左側の実効瞳を記している)。
【0057】
このときの実効IADは、対物光学系41の二つのレンズ群の間にある、共焦点位置を頂角とする相似三角形の相似比から、物理IADのf1/f2として求められる。ここで、f1は対物光学系41の第1レンズ群41−1(凸レンズ)の焦点距離、f2は第2レンズ群41−2(凸レンズ)の焦点距離を示す。なお、図11のf3は撮像レンズ群42R,42Lの焦点距離である。また、dは対物光学系41の第1レンズ群41−1主面から被写体52までの距離、Lは第1レンズ群41−1と第2レンズ群41−2の距離、Mは対物光学系41の第2レンズ群41−2と撮像レンズ群42R,42Lの主面間距離を示す。
【0058】
第1の実施形態に係る立体画像撮像装置では、実効IADの距離edを物理IADの距離よりも小さくできる。また、像面の傾きとフォーカス面の傾きが同じであり、画面全体に渡ってフォーカスを合わせるのが簡単である。
【0059】
また、撮像レンズ群42R,42Lでは光軸に近い部位、即ちレンズ中心を主に使用しており、従来設計の延長で光学設計が可能である。これはすべてを特殊設計とするよりもコスト的に大きなメリットとなる。
【0060】
なお、上述した第1の実施形態では、対物光学系を構成する第1レンズ群と第2レンズ群をともに凸レンズ、もしくは凸レンズとみなせるレンズ群として説明したが、これに限られない。例えば、第1レンズ群と第2レンズ群の組み合わせを、凹レンズと凸レンズ、あるいは凸レンズと凹レンズとしてもよい。第1レンズ群が凹レンズの場合には、後側焦点位置は凹レンズの後側主面よりも対物側に存在するため、第2レンズ群の前側焦点が略一致するためには凸レンズとなる。また、第2レンズ群が凹レンズの場合には第1レンズ群は凸レンズとなる。したがって、片方もしくは両方が凸レンズの構成になる。
【0061】
[3−2.第2の実施形態(対物光学系の第1及び第2レンズ群が共焦点、及び対物光学系の第2レンズ群と撮像光学系が共焦点の関係)]
次に、2群のレンズ群を対物光学系として配置することによる他の効果について説明する。
第2の実施形態では、2群のレンズ群から対物光学系を構成し、対物光学系と撮像光学系との距離を「(対物光学系の第2レンズ群の焦点距離)+(撮像光学系の焦点距離)」として、双方の撮像面もしくは焦点位置を一致させる(条件2)。そして、対物光学系の2群のレンズ群間の距離を変更することで、後述するコンバージェンス・オフセットを制御可能にする。
【0062】
図12は、本開示の第2の実施形態に係る立体画像撮像装置の概要を示す構成図である。
この第2の実施形態では、図11に示した第1の実施形態と同様に、2眼式の立体画像撮像装置において、撮像光学系42である左右のカメラ(撮像部)の前方に2群のレンズ群を対物光学系41として配置している。そして、第1の実施形態の条件1(対物光学系の第1及び第2レンズ群が共焦点)に加え、対物光学系と撮像光学系との距離を「(対物光学系の第2レンズ群の焦点距離)+(撮像光学系の焦点距離)」として、双方の撮像面もしくは焦点位置が一致する(条件2)構成としている。対物光学系41と撮像光学系42が、上述のIAD変換部に相当する。
【0063】
図11と同じ被写体51〜56を考えると、図11に示した第1の実施形態と同様の要領で、それぞれ像位置51−1〜56−1及び像位置51−2〜56−2を経て、像位置51iA〜56iAに結像する。
【0064】
本実施形態では条件1を満たしているため、図11に示す第1の実施形態と同様に、対物光学系41の中心軸に平行に入射した光線は、最初の第1レンズ群41−1で焦点位置に向かって屈折し、2番目の第2レンズ群41−2で平行に戻されて射出する。したがって、射出した光線がちょうど撮像光学系42の撮像レンズ群中心(内部瞳IP)を通る光線を考えると、この光線上に実効瞳EPの位置がある(図12では、図面の視認性を考慮して左側の実効瞳を記している)。
【0065】
本実施形態(図12)と第1の実施形態(図11)との違いは、対物光学系41と撮像光学系42の間隔を広げ、M=f2+f3としている点である。このため、図12では、最終的な結像位置が図11に示す位置とは異なっている。
【0066】
なお、上述した第2の実施形態では、対物光学系を構成する第1レンズ群と第2レンズ群をともに凸レンズ、もしくは凸レンズとみなせるレンズ群として説明したが、これに限られない。例えば、第1レンズ群と第2レンズ群の組み合わせを、凹レンズと凸レンズ、あるいは凸レンズと凹レンズとしてもよい。
【0067】
[3−3.第3の実施形態(対物光学系の第2レンズ群と撮像光学系が共焦点の関係)]
ところで、1枚のレンズもしくは1枚のレンズと同等とみなせるレンズ群に平行光線が入射すると、原理的には焦点面上で一点に収束(あるいは一点から発散)する。ここでM=f2+f3とすることでコンバージェンス・オフセット制御に、この性質を利用することができる。
【0068】
図13は、本開示の第3の実施形態に係る立体画像撮像装置の概要を示す構成図である。
本実施の形態では、対物光学系41の第1レンズ群41−1と第2レンズ群41−2の距離Lを延ばして、アフォーカル光学系である条件1を崩した構成(L≠f1+f2)としている。対物光学系41と撮像光学系42が、上述のIAD変換部に相当する。
なお、図13では、光線がレンズ群を通っていない部分があるが、図面の記載上の都合によるもので、該当部分については光線がレンズ群を通っているとして扱うこととする。
【0069】
図11と同じ被写体51〜56を考えると、図11に示した第1の実施形態と同様の要領で、それぞれ像位置51−1〜56−1及び像位置51−2´〜56−2´を経て、像位置51iB〜56iBに結像する。
【0070】
本実施形態では、条件1を崩すことで、元々撮像光学系42の撮像レンズ群42R,42Lのレンズ中心へ光軸に平行として射出していた光線は、光軸に平行な光線ではなくなる。しかしながら、この光線は、第1レンズ群41−1と第2レンズ群41−2の間では条件1を満たす場合の光線と平行な光線であるため、第2レンズ群41−2の後側焦点上の交点Fで条件1を満たす場合の射出光線と交差する。
【0071】
ここで、M=f2+f3(条件2)とすることにより、この交点Fを撮像光学系42の前側焦点位置とすることができる。前側焦点を通過した光線は、撮像光学系42で光軸平行光線に屈折して像面に垂直に入射する。対物光学系41の第1レンズ群41−1と第2レンズ群41−2が共焦点の場合、実効瞳EPを通る撮像素子43Lに平行な入射光は対物光学系41から射出する際には撮像素子方向に平行になっているため、撮像光学系42のレンズ中心を通る光線がそのまま撮像面に垂直になる。したがって、上記の入射光は撮像光学系42のレンズ群の焦点位置は必ず通るので、対物光学系41と撮像光学系42の距離と実効IADは無関係になる。それゆえ、実効瞳EPの位置は不変である。したがって、実効IADが変化しない状況下で第1レンズ群41−1と第2レンズ群41−2の距離Lの伸縮が可能である。Lの伸縮によって撮像光学系42への入射角度を制御することが可能であることから、実効IADを変化させずにコンバージェンス・オフセットCOを容易に制御することができるようになる。
【0072】
なお、上述した第3の実施形態では、対物光学系を構成する第1レンズ群と第2レンズ群をともに凸レンズ、もしくは凸レンズとみなせるレンズ群として説明したが、これに限られない。例えば、第1レンズ群と第2レンズ群の組み合わせを、凹レンズと凸レンズ、あるいは凸レンズと凹レンズとしてもよい。
【0073】
以上から、本開示の立体画像撮像装置では、対物光学系を2群のレンズ群で構成し、条件1及び/又は条件2の特徴を持たせている。
【0074】
もちろん、対物光学系を3群以上のレンズ群で構成した場合でも、条件2を考えることができる。
まず、対物光学系をアフォーカル光学系としたときに実効瞳を通過する、カメラ方向に平行な光線を考える(実効瞳を通過することが重要である)。その光線を対物光学系の入射光と考えた場合に、対物光学系がアフォーカル光学系であるときに射出する光線と、対物光学系をアフォーカル光学系から崩した場合に射出する光線との交点を求める。この交点が撮像光学系の焦点面上にあることが条件2に相当する。なぜならば、交点が撮像光学系の焦点面上にあれば対物光学系の射出光が撮像光学系を通して撮像面に垂直に入射することになり、実効瞳を通るカメラ方向に平行な光線が撮像面に垂直な光線になるからである。これは対物光学系を等価的に二つのレンズ群とみなしたときの条件2に相当する。
【0075】
<4.本開示の立体画像撮像装置の構成の詳細>
[4−1.条件1の説明]
条件1では、複数カメラ(複数撮像部)を有する立体画像撮像装置において、撮像光学系である複数カメラの前方に1つの対物光学系を配置する。この対物光学系は最低2群のレンズ群から構成される。そして、対物光学系の2群のレンズ群と、撮像光学系の複数カメラに取り付けられた撮像レンズ群を合わせて、3つのレンズ群(対物光学系の第1レンズ群、対物光学系の第2レンズ群、撮像レンズ群)の焦点距離と各レンズ群の位置関係を設定もしくは制御可能にする手段を持つ構成(条件1)を採ることにより、課題を解決し目的を達成する。
【0076】
略アフォーカル光学系となる対物光学系を持つことは、言い換えると、対物光学系を対物側の第1レンズ群(焦点距離f1)と複数カメラ側の第2レンズ群(焦点距離f2)からなる2群の構成と考えた場合に、第1レンズ群の後側焦点位置と第2レンズ群の前側焦点位置が略一致することである。この結果、実効のカメラ間距離(左右の撮像レンズ群間距離)と実効の輻輳に対して、以下のような作用を生じさせることができる。
【0077】
(実効のカメラ間距離)
略アフォーカル光学系となる対物光学系を持つことにより、対物光学系の光軸と複数カメラの光軸を一斉に略f1/f2倍に変更可能とする。これは図14に示すように、カメラ間距離を実効的に略f1/f2に変更できることを意味する。すなわち、カメラ間距離を変更する際に、複数カメラ個々の配置を高精度に調整する必要はなく、対物光学系の着脱もしくは対物光学系内の変倍によってカメラ間距離を調整可能とすることができる。
【0078】
図14に、本開示の第1の実施形態に係る立体画像撮像装置において、対物光学系を凹レンズと凸レンズで構成した場合の、物理的なカメラ間距離(物理IAD)と実効のカメラ間距離(実効IAD)の関係を示す。本例では、対物光学系を凹レンズと凸レンズで構成した例としているが、他の組み合わせに対して同様の考え方を適用できる。
【0079】
被写体側(図14では左側)から入射した光線は、凹レンズの第1レンズ群61−1と凸レンズの第2レンズ群61−2で屈折して物理カメラ62R,62Lに入射する。図14のように、対物光学系61の第1レンズ群61−1の後側焦点(凹レンズよりも物体側)と第2レンズ群61−2の前側焦点を一致させると、破線で示した実効カメラ63R,63Lに対して集光する光が、物理カメラ62R,62Lに入力する形になる。
【0080】
代表の2つの光線として、光軸に平行な光線R1R,R1Lと、第1レンズ群61−1の前側焦点(凹レンズよりもカメラ側)へ向かって入射する光線R2R,R2Lを図示している。光線R1R,R1Lは第1レンズ群61−1(凹レンズ)で共通の焦点位置から遠ざかる方向に屈折して、第2レンズ群61−2に入射するが凸レンズの焦点からの光線であるため、再度平行光線に屈折する。したがって光線R1R,R1L上にある被写体の像は、第2レンズ群61−2により物理カメラ62R,62Lの撮像レンズ中心の像位置65R,65Lに投影される。一方、光線R2R,R2Lは第1レンズ群61−1で平行光線に屈折し、第2レンズ群61−2で焦点方向に集光される。
結果として、実効カメラ63R,63Lに集光する光は物理カメラ62R,62Lに集光することになる。図14の対物光学系61による実効IADedは物理IADpdの略f1/f2倍となる。
【0081】
(実効の輻輳)
略アフォーカル光学系となる対物光学系を持つことにより、撮像光学系にて元々つけられている輻輳をより好適な実効の輻輳に変更可能とすることができる。(ただし、撮像光学系の光軸が対物光学系の光軸に平行の場合には、実効の輻輳も平行のままである。)輻輳に関しても、カメラの撮像レンズの物理的制約から狭小化には限界があるが、図15に示すように複数カメラの前面側に対物光学系を付加することで、この物理的制約を越えた位置に輻輳位置を設定することが可能になる。
【0082】
図15に、本開示の第1の実施形態に係る立体画像撮像装置において、対物光学系を凹レンズと凸レンズで構成した場合の、物理的なコンバージェンス・ポイントと実効のコンバージェンス・ポイントの関係を示す。本例では、対物光学系を凹レンズと凸レンズで構成した例としているが、他の組み合わせに対して同様の考え方を適用できる。
【0083】
撮像光学系62内の左右の物理カメラ62R,62Lの輻輳角度に対して、対物光学系61を設けることでコンバージェンス・ポイントCPが変化して実効のコンバージェンス・ポイントeCPに移行し、実効の輻輳角度も変化する。物理カメラ62R,62Lからのコンバージェンス方向の視線は、対物光学系61の第2レンズ群61−2で対物光学系61の光軸側に屈折する。そして、第2レンズ群61−2による物理カメラ62R,62Lの撮像レンズ中心の像位置65R,65Lの方向に進み、第1レンズ群61−1によって実効カメラ73R,73Lの撮像レンズ中心を通る視線方向に進む。この結果、実効のコンバージェンス・ポイントeCPは図15に示すように、物理カメラ62R,62Lで設定したコンバージェンス・ポイントCPよりも近接した位置に設定される。
【0084】
このように、凹レンズ+凸レンズ構成の対物光学系61は、画像自体も広角側になり近接撮影向けの特徴を備えているため、コンバージェンス・ポイントをより近接した位置に合わせられることは撮影範囲を拡大できることに繋がるので有効である。
また物理的な制約からコンバージェンス・ポイントを物理カメラに近接させるには限界があり、特に、近接撮影で問題となる。しかし、図15のように、対物光学系を用いることで、より近接した位置までコンバージェンス・ポイントを設定することが可能になる。
逆に、対物光学系の第1レンズ群を凸レンズ、第2レンズ群を凹レンズとした場合には、実効コンバージェンス・ポイントは、物理的なコンバージェンス・ポイントよりも遠くに位置するようになる。
【0085】
[4−2.条件2の説明]
条件2では、対物光学系を等価的に対物側の第1レンズ群と複数カメラ側の第2レンズ群からなる2群の構成と考え、撮像光学系の撮像レンズ群を第3レンズ群と考える。そして、第1レンズ群、第2レンズ群、第3レンズ群の後側焦点距離をf1、f2、f3とし、第1レンズ群の後側主面と第2レンズ群の前側主面との距離をL、第2レンズ群の後側主面と第3レンズ群の前側主面との距離をMとした場合に、以下の関係を満たすように、f1、f2、f3、L,Mを設定することを可能な構成とする(条件2)。これについては、後に詳述する。
M−f3−f2 ≒ 0
【0086】
(実効のカメラ間距離)
これにより、対物光学系の光軸と複数カメラの光軸を一斉に略f1/f2倍に変更可能とし、カメラ間距離を実効的に略f1/f2に変更可能とする。さらに、f1、f2を調整する手段を持つことで、実効カメラ間距離を調整することが可能になる。
【0087】
(実効の輻輳)
第1レンズ群の後側主面と第2レンズ群の前側主面との距離Lを変更することによって、実効のコンバージェンス・ポイントの位置を変更することができる。この際、撮像光学系の複数カメラの輻輳が掛かっている場合には、Lの変更によるコンバージェンス・ポイントの変更が更に掛けられる形になる。
【0088】
更に、撮像光学系は撮像光学系単独で複数カメラを持つ多眼立体画像撮像装置であるため、対物光学系を取り外して撮影することも可能とすることで、撮影シーンに合わせた対物光学系を用いたり、対物光学系なしで撮影したりすること可能としている。対物光学系を着脱可能とするためには、対物光学系による撮像光学系への制約が少ない方がよい。本開示の条件1では、対物光学系内部の制約としているため、撮像光学系への制約はない。
【0089】
また、実効のカメラ間距離並びに実効の輻輳は、対物光学系の第1レンズ群の焦点距離f1と第2レンズ群の焦点距離f2の比によって変化することから、これらの比を制御可能とし、撮影シーンに合わせたカメラ間距離や輻輳をつけることを可能にしている。特に条件2においては、製造工程上、高精度な組み立てが可能となる、光学系の光軸がすべて平行な設計においても、対物光学系の第1レンズ群と第2レンズ群のレンズ間距離によって輻輳をつけることを可能としている。
【0090】
[4−3.2眼立体画像撮像装置における被写体と像の関係]
次に、コンバージェンス・ポイントを考慮した2眼式の立体画像撮像装置の被写体と像の関係を説明する。説明に際し、ターゲットとするリファレンスの立体画像撮像装置を考慮し、本開示の立体画像撮像装置ではこれと同等な撮像結果が得られることを示す。
【0091】
図16は、リファレンスの立体画像撮像装置における被写体と像の関係を示す説明図である。この図16では、光線がレンズ群を通っていない部分があるが、図面の記載上の都合によるもので、該当部分については光線がレンズ群を通っているとして扱うこととする。以降の図面についても該当する部分があれば同様の扱いである。
【0092】
2眼式の立体画像撮像装置において、2つの撮像レンズ81R,81Lによって生成される被写体82の像位置83R,83Lを表している。すなわち、この図は、左右のカメラを上側から見た図であり、カメラ前方の右側にある被写体82を撮影したとき、被写体(撮像レンズ81R、81Lからの距離d´)から射出する光線が、撮像レンズ81R,81Lの中心(瞳85R,85L)を通して結像する点を左右のカメラそれぞれについて示している。
【0093】
また、左右の撮影画像中で視差が0となるオンスクリーン面(オンスクリーン位置84を含む面)を、撮像レンズ81R,81Lの前側主面から距離c´のところに設定している。シフト量oR,oLは、オンスクリーン位置84を設定した場合に、オンスクリーン位置84に対応する像位置86R,86Lが、光軸からどれだけずれているかを示している。像位置86R,86Lは、オンスクリーン位置84を設定した場合に、右画像、左画像の原点位置となる。また、yR,yLは、被写体82の像位置83R,83Lがオンスクリーン位置84を設定した場合の原点(像位置86R,86L)に対するずれ量を示している。z3は、撮像レンズ81R,81Lから像位置83R,83Lまでの距離を表す。また、z0は、撮像レンズ81R,81Lから像位置86R,86Lまでの距離を表す。これらの距離の関係を左右のカメラそれぞれについて相似三角形で記したものが、図17(a),(b)である。この関係から、結像座標(yR、yL)は、式(1−1)、式(1−2)で示される。
【0094】
【数1】

【0095】
これらの結像座標は、カメラ間距離(iad´)、焦点距離(f3´)及びオンスクリーン位置(c´)をパラメータとして、被写体82の位置(x,d´)から計算される。これらのパラメータを立体撮影パラメータと呼ぶこととする。2眼式立体画像撮像装置での結像座標は、この式に即して表現されるべきであり、この式を図18〜図20のリファレンスとして考える。
【0096】
ここで、オンスクリーン位置84を無限遠にしたときに、原点からシフト量oR,oLの距離にある像位置83R,83Lは左右の撮像レンズ81R,81Lの中心軸上に乗る。このときオンスクリーン位置84を移動しても、撮像レンズ81R,81Lの中心軸と像位置83R,83Lの距離は変わらない。オンスクリーン位置84が無限遠の場合には、オンスクリーン位置までの距離c´が無限遠なので、yR,yLについて式(1−1),(1−2)の第2項は0になる。c´が有限の場合、c´がカメラに近づくと、原点からオフセット量oR,oLの距離にある像位置83R,83Lは、撮像レンズ81R,81Lの中心軸から遠ざかって、yRは大きくなり、yLは小さくなる。
【0097】
従来、実際にオンスクリーン位置84を調整するには、左右の撮像素子に対する画素の読み出し位置をずらすか、撮像素子位置を光軸と垂直方向にシフト量oR,oLだけずらすことにより、読み出し画像の中心位置をずらす形を採っていた。あるいは左右のカメラを寄り目にして、つまり左右のカメラの光軸を交差させて撮影してキーストーン歪を取り除く補正を行うなどしていた。しかし、本開示の立体画像撮像装置では、複数カメラの物理的な相対位置を変更することなく、実効のカメラ間距離並びに実効の輻輳を容易に設定することができる。
【0098】
[4−4.本開示の対物光学系の第1レンズ群に凹レンズ、第2レンズ群に凸レンズを配置した場合の被写体と像の関係]
図18は、本開示の第1の実施形態に係る立体画像撮像装置において、対物光学系の第1レンズ群に凹レンズ、第2レンズ群に凸レンズを配置した場合の被写体と像の関係を示している。
【0099】
第1レンズ群101−1の凹レンズの焦点距離はf1、第2レンズ群101−2の凸レンズの焦点距離はf2、第3レンズ群(撮像光学系102内の撮像レンズ群102R,102L)の凸レンズの焦点距離はf3とし、第1レンズ群101−1の後側主面と第2レンズ群101−2の前側主面の距離をL、第2レンズ群101−2の後側主面と第3レンズ群の前側主面の距離をMとする。
【0100】
この例では、第1レンズ群101−1の凹レンズによる被写体103の虚像位置103−1の座標が(x1,z1)であり、この虚像位置103−1の第2レンズ群101−2の凸レンズによる虚像位置103−2の座標が(x2,z2)となる。そして、この虚像位置103−2が第3レンズ群(撮像レンズ群102R,102L)の凸レンズにより、像位置103iR,103iLに結像される。この場合、図中の(x、d)の位置にある被写体103が最終的に結像する左右の画像中での結像座標(yR,yL)は、式(2−1),(2−2)で示される。
【0101】
【数2】

ただし、
【数3】

【数4】

である。(d´は実効の被写体距離、f3´は実効の焦点距離である。)。これは、図18の光学系を図16のような左右の合成結像レンズ2枚として表現した場合に、合成結合レンズの主面から被写体103までの距離がd´となり、合成結合レンズの焦点距離がf3´として考えられることを示している。

【0102】
また、式(2−1),(2−2)において、
【数5】

の項は、実効カメラ間距離の1/2であり、物理的なカメラ間距離(iad)に対して、f1,f2,f3,L,Mを変更することで、実効カメラ間距離が変更できることを示している。
【0103】
また、式(2−1),(2−2)において、
【数6】

の項は、実効のオンスクリーン位置を決める項である(撮像光学系の複数カメラを平行配置した場合)。

【0104】
式(1−1),(1−2)と式(2−1)(2−2)から、iad´とiadの関係は、式(7)で表すことができる。
【数7】

ここから式(8)が導かれ、
【数8】

オンスクリーン位置c´を式(9)で表すことができる。
【数9】

【0105】
本例では、上述した計算式の各項に対して、次のような制御を行って使いやすくする。
(1)対物光学系と撮像光学系の着脱容易性を高める。
対物光学系101と撮像光学系102の着脱を考慮すると、第2レンズ群101−2の後側主面と第3レンズ群(撮像レンズ群102R,102L)の前側主面の距離であるMが多少変化しても、実効カメラ間距離iad´や実効焦点距離f3´、実効のオンスクリーン位置に影響を与えないことが望ましい。
【0106】
ここで、f2−f1−L=0とすると、これらの立体撮影パラメータはすべてMに非依存になる。このため、対物光学系101を装着した場合に光軸方向のズレには不感とすることができる。したがって略f2−f1−L=0とすることは有意義な設定である。f2−f1−L=0のとき、対物光学系101の第1レンズ群101−1と第2レンズ群101−2の焦点位置は一致し、条件1を満たす。
【0107】
(2)実効のオンスクリーン位置の制御を容易にする。
a)撮像光学系102の複数カメラを光軸に平行配置したときに、対物光学系101を取り付けても実効のオンスクリーン位置を変化させないようにするためには、条件1が必要である。
b)実効カメラ間距離iad´や実効焦点距離f3´を変更することなく、実効のオンスクリーン位置を変更する。
これは撮像光学系102の複数カメラの輻輳を変更することで可能であるが、複数カメラの輻輳の変更をせずとも、M−f3−f2=0とすることで、Lの変動が実効カメラ間距離iad´や実効焦点距離f3´とは無関係になる。それゆえ、実効カメラ間距離と実効焦点距離を設定した後、Lを変更して実効のオンスクリーン位置を調整することが可能になる。このM−f3−f2=0の条件は、第2レンズ群101−2(対物光学系101)と第3レンズ群(撮像光学系102の撮像レンズ群102R,102L)の焦点位置が一致することを意味しており、条件2を満たしている。
【0108】
上記のように、条件1又は条件2のうちいずれかを満たすように対物光学系と撮像光学系を配置及び設定することで、より簡単に実効のカメラ間距離と視差ゼロを与える奥行き位置を変更することができる。
【0109】
[4−5.本開示の対物光学系の第1レンズ群に凸レンズ、第2レンズ群に凸レンズを配置した場合の被写体と像の関係]
図19は、本開示の第1の実施形態に係る立体画像撮像装置において、対物光学系の第1レンズ群に凸レンズ、第2レンズ群に凸レンズを配置した場合の被写体と像の関係を示している。
【0110】
第1レンズ群111−1の凸レンズの焦点距離はf1、第2レンズ群111−2の凸レンズの焦点距離はf2、第3レンズ群(撮像光学系112内の撮像レンズ群112R,112L)の凸レンズの焦点距離はf3とし、第1レンズ群111−1の後側主面と第2レンズ群111−2の前側主面の距離をL、第2レンズ群111−2の後側主面と第3レンズ群(撮像レンズ群112R,112L)の前側主面の距離をMとする。
【0111】
この例では、第1レンズ群111−1の凸レンズによる被写体113の像位置113−1の座標が(x1,z1)であり、この像位置113−1の第2レンズ群111−2の凸レンズによる像位置113−2の座標が(x2,z2)となる。そして、この像位置113−2が第3レンズ群(撮像レンズ群112R,112L)の凸レンズにより、像位置113iR,113iLに結像される。この場合、図中の(x、d)の位置にある被写体113が最終的に結像する左右の画像中での結像座標(yR,yL)は、式(10−1),(10−2)で示される。
【0112】
【数10】

ただし、
【数11】

【数12】

である。
【0113】
この構成の場合にも、上述した計算式の各項に対して、次のような制御を行って使いやすくする。
(1)対物光学系と撮像光学系の着脱容易性を高める。
対物光学系111と撮像光学系112の着脱を考慮すると、第2レンズ群111−2の後側主面と第3レンズ群(撮像レンズ群112R,112L)の前側主面の距離であるMが多少変化しても、実効カメラ間距離iad´や実効焦点距離f3´、実効のオンスクリーン位置に影響を与えないことが望ましい。
【0114】
ここで、L−f1−f2=0とすると、これらの立体撮影パラメータはすべてMに非依存になる。このため、対物光学系111を装着した場合に光軸方向のズレには不感とすることができる。したがって略L−f1−f2=0とすることは有意義な設定である。L−f1−f2=0のとき、対物光学系111の第1レンズ群111−1と第2レンズ群111−2の焦点位置は一致し、条件1を満たす。(但し、凹レンズと凸レンズで焦点距離の符号が異なる。)
【0115】
(2)実効のオンスクリーン位置の制御を容易にする。
a)撮像光学系112の複数カメラを光軸に平行配置したときに、対物光学系111を取り付けても実効のオンスクリーン位置を変化させないようにするためには、条件1が必要である。
b)実効カメラ間距離iad´や実効焦点距離f3´を変更することなく、実効のオンスクリーン位置を変更する。
これは撮像光学系112の複数カメラの輻輳を変更することで可能であるが、複数カメラの輻輳の変更をせずとも、M−f3−f2=0とすることで、Lの変動が実効カメラ間距離iad´や実効焦点距離f3´とは無関係となる。それゆえ、実効のオンスクリーン位置のみを制御可能になる。したがって、実効カメラ間距離と実効焦点距離を設定した後、Lを変更して実効のオンスクリーン位置を調整することが可能になる。このM−f3−f2=0の条件は、第2レンズ群111−2(対物光学系111)と第3レンズ群(撮像光学系112の撮像レンズ群112R,112L)の焦点位置が一致することを意味しており、条件2を満たしている。
【0116】
[4−6.本開示の対物光学系の第1レンズ群に凸レンズ、第2レンズ群に凹レンズを配置した場合の被写体と像の関係]
図20は、本開示の第1の実施形態に係る立体画像撮像装置において、対物光学系の第1レンズ群に凸レンズ、第2レンズ群に凹レンズを配置した場合の被写体と像の関係を示している。
【0117】
第1レンズ群121−1の凸レンズの焦点距離はf1、第2レンズ群121−2の凹レンズの焦点距離はf2、第3レンズ群(撮像光学系122内の撮像レンズ群122R,122L)の凹レンズの焦点距離はf3とし、第1レンズ群121−1の後側主面と第2レンズ群121−2の前側主面の距離をL、第2レンズ群121−2の後側主面と第3レンズ群(撮像レンズ群122R,122L)の前側主面の距離をMとする。
【0118】
この例では、第1レンズ群121−1の凸レンズによる被写体123の像位置123−1の座標が(x1,z1)であり、この像位置123−1の第2レンズ群121−2の凹レンズによる像位置123−2の座標が(x2,z2)となる。そして、この像位置123−2が第3レンズ群(撮像レンズ群122R,122L)の凸レンズにより、像位置123iR,123iLに結像される。この例では、実効IADである実効瞳EP間の距離は、物理IADである内部瞳IP間の距離iadより大きくなる。この場合、図中の(x、d)の位置にある被写体123が最終的に結像する左右の画像中での結像座標(yR,yL)は、式(13−1),(13−2)で示される。
【0119】
【数13】

ただし、
【数14】

【数15】

である。
【0120】
この構成の場合にも、上述した計算式の各項に対して、次のような制御を行って使いやすくする。
(1)対物光学系と撮像光学系の着脱容易性を高める。
対物光学系121と撮像光学系122の着脱を考慮すると、第2レンズ群121−2の後側主面と第3レンズ群(撮像レンズ群122R,122L)の前側主面の距離であるMが多少変化しても、実効カメラ間距離iad´や実効焦点距離f3´、実効のオンスクリーン位置に影響を与えないことが望ましい。
ここで、f1−L−f2=0とすると、これらの立体撮影パラメータはすべてMに非依存になる。このため、対物光学系121を装着した場合に光軸方向のズレには不感とすることができる。したがって略f1−L−f2=0とすることは有意義な設定である。f1−L−f2=0のとき、対物光学系121の第1レンズ群121−1と第2レンズ群121−2の焦点位置は一致し、条件1を満たす。(但し、凸レンズと凹レンズで焦点距離の符号が異なる。)
【0121】
(2)実効のオンスクリーン位置の制御を容易にする。
a)撮像光学系122の複数カメラを平行配置したときに、対物光学系121を取り付けても実効のオンスクリーン位置を変化させないようにするためには、条件1が必要である。
b)実効カメラ間距離iad´や実効焦点距離f3´を変更することなく、実効のオンスクリーン位置を変更する。
これは撮像光学系122の複数カメラの輻輳を変更することで可能であるが、複数カメラの輻輳の変更をせずとも、M−f3+f2=0とすることで、Lの変動が実効カメラ間距離iad´や実効焦点距離f3´とは無関係となり、実効のオンスクリーン位置のみを制御可能になる。したがって、実効カメラ間距離と実効焦点距離を設定した後、Lを変更して実効のオンスクリーン位置を調整することが可能になる。このM−f3+f2=0の条件は、第2レンズ群121−2(対物光学系121)と第3レンズ群(撮像光学系122の撮像レンズ群122R,122L)の焦点位置が一致することを意味しており、条件2を満たしている。(凸レンズと凹レンズで焦点距離の符号が異なる。)
【0122】
[4−7.交差法に適用する場合の計算式]
ここで、上記の計算式を交差法に適用する場合を説明する。
撮像光学系の複数カメラを平行法ではなく、交差法(オンスクリーン位置が無限遠)にて撮影した場合には、式(6)は
【数16】

となる。(ただし、cは撮像光学系の前側主面からの距離)
【0123】
よって、式(2−1),(2−2)は、下記式のように変形できる。
【数17】

【0124】
立体画像撮像装置に対物光学系を付けない状態で輻輳をつけて、撮像光学系から距離cの位置をオンスクリーン位置とした場合には、式(6)式の計算式に式(16)の右項が加わる。これは図16を参照して説明した式(1−1),(1−2)から理解できよう。この輻輳がついた状態で、対物光学系が取り付けられると式(16)の左項が付加されることになる。
【0125】
上記の実施形態によれば、複数カメラを備えた撮像光学系に対して、対物光学系を組み合わせることで、撮像光学系の複数カメラ間の物理的な位置を変更することなく、実効のカメラ間距離と実効の輻輳(視差ゼロ)を与える奥行き位置を変更することが可能である。
例えば、対物光学系による実効カメラ間距離の変更は、撮像光学系の撮像レンズ群と対物光学系の第2レンズ群の焦点との距離Mと無関係である。したがって、既存の撮像光学系に、例えばアタッチメント(補助部品)として対物光学系(コンバージョンレンズ)を付加することでカメラ間距離の変更が可能となる。
また、コンバージェンス・ポイントを変更する際に、対物光学系の第1レンズ群と第2レンズ群の間隔を調整するだけで、実効のコンバージェンス・ポイントを移動させることが可能である。
【0126】
<5.本開示の立体画像撮像装置のブロック構成>
[5−1.条件1に対応した構成例]
図21は、本開示の立体画像撮像装置の構成例(条件1に対応)を示すブロック図である。ここでは、カメラ間距離を電動制御すること、並びに撮像処理に必要であるブロックを示している。
【0127】
本例の立体画像撮像装置は、第1レンズ群131−1及び第2レンズ群131−2を有する対物光学系と、撮像レンズ群132R,132L及び撮像素子133R,133Lから構成される左右のカメラ134R,134L(撮像光学系)を備える。また、撮像素子133R,133Lで得られた画像信号が入力される撮像回路139R,139Lと、画像処理回路140と、不揮発性のメモリ141と、メイン制御部138と、入力部142を備え、これらがバスを介して通信可能に接続されている。さらに、IAD制御部135と、ズーム制御部136と、コンバージェンス制御部137と、モータ143,144−1,144−2,145R,145L,146R,146Lを備えている。
【0128】
IAD制御部135は、実効カメラ間距離を調整するための制御機構であり、メイン制御部138の制御の下で、モータ144−1,144−2を駆動させる。それにより、対物光学系の第1レンズ群131−1及び第2レンズ群131−2の焦点距離調整を行い、所望の実効カメラ間距離を得る。また、第1レンズ群131−1の位置調整をすることで、本開示における条件1(対物光学系の第1レンズ群と第2レンズ群が共焦点)を満足するように制御する。レンズ群の焦点距離調整は、レンズ群を構成するレンズの位置を微調整することで行う。
【0129】
撮像光学系に対しては、メイン制御部138の制御の下で、ズーム制御部136がモータ145R,145Lを駆動させ、撮像レンズ群132R,132Lに対して焦点距離制御を行う。
【0130】
視差ゼロとなる奥行き位置の調整に関しては、メイン制御部138の制御の下で、コンバージェンス制御部137がモータ146R,146Lを駆動させ、撮像光学系内の個々のカメラ134R,134Lの向き(カメラ間距離や光軸方向)を変更することで対応可能である。このとき、撮像レンズ群132R,132Lのみ、又は撮像素子133R,133Lのみ、あるいは左右のカメラ134R,134L全体を移動させることができる。
【0131】
対物光学系(第1レンズ群131−1及び第2レンズ群131−2)及び撮像光学系(カメラ134R,134L)を通して左右の撮像素子133R,133Lで得られた撮影画像は画像信号に変換された後、対応する撮像回路139R,139Lに入力される。撮像回路139R,139Lでは、例えばフォーカス、絞り、ゲイン調整、ホワイトバランスといった検波処理を行った後、メイン制御部138を通じて撮影画像をメモリ141に保存する。なお、この図には示していないが、検波処理の結果のうちフィードバックが必要なパラメータに関しては撮影設定にフィードバックするとよい。
【0132】
画像処理回路140では、個々のカメラ画像に対する個別の処理もしくは複数のカメラ間にまたがる画像処理を行う。
【0133】
メイン制御部138は、全体の制御を司る制御部の一例であり、入力部142が操作入力に応じて出力する操作入力信号に基づいて、あるいはメモリ141等に保存されたプログラムに基づいて所定の演算・処理を行う。
【0134】
本例では2眼式の立体画像撮像装置の場合について示したが、特に2眼式に限られない。また、対物光学系の第1レンズ群と第2レンズ群を凸レンズとして示しているが、本明細書に記した他のレンズの組み合わせについても有効である。各光学系のブロックを代表するレンズ群の可変焦点距離機構に関しては詳細を記していないが、本開示を適用する上では特定の機構に限定されない。また、本例では、モータを用いて電動制御する例を説明したが、本開示の条件1を満たすようなメカニカルな機構を設けてもよい。
【0135】
[5−2.条件2に対応した構成例]
図22は、本開示の立体画像撮像装置の構成の他の例(条件2に対応)を示すブロック図である。ここでは、カメラ間距離及び視差ゼロとなる奥行き位置を電動制御すること、並びに撮像処理に必要であるブロックを示している。図22において、図21の構成と共通の部分については説明を省略する。
【0136】
ズーム制御部153は、メイン制御部138の制御の下で、モータ156R,156Lを駆動させ、本開示の条件2(対物光学系の第2レンズ群と撮像光学系が共焦点)を満足するように、対物光学系の第2レンズ群131−2と撮像光学系の撮像レンズ群132R,132Lの距離を制御する。図22の例では、対物光学系全体を移動することで対物光学系の第2レンズ群131−2と撮像光学系の撮像レンズ群132R,132Lが共焦点関係になるように制御することを示しているが、条件2を満たすような機構であれば特にこれに限定されない。このズーム調整によって実効カメラ間距離を設定した後の表示画面上の像の大きさ調整を行う。なお、この図22の構成は、条件1を満足するように制御することも勿論可能である。
【0137】
IAD制御部152は、実効カメラ間距離を調整するための制御機構であり、メイン制御部138の制御の下で、モータ155−1,155−2を駆動させ、対物光学系の第1レンズ群131−1及び第2レンズ群131−2の焦点距離調整を行い、所望の実効カメラ間距離を得る。
【0138】
視差ゼロとなる奥行き位置の調整に関しては、メイン制御部138の制御の下で、コンバージェンス制御部151がモータ154を駆動させ、第1レンズ群131−1の位置を調整することで所望の奥行き位置になるように調整する。この際、撮像光学系における複数カメラ(撮像レンズ群132R,132L及び撮像素子133R,133L)の向きは、対物光学系の光軸方向と平行でよい。何らかのコンバージェンスを設ければ、対物光学系のコンバージェンスと合成されることになるので、合成コンバージェンスを算出して設定を行えばよい。コンバージェンスを設ける方法としては、左右の撮像素子に対する画素の読み出し位置をずらす方法や、撮像素子位置を光軸と垂直方向にシフトすることにより、読み出し画像の中心位置をずらす方法などがある。
【0139】
上記構成において、条件2を満たしている場合には、対物光学系内で実効のカメラ間距離と視差ゼロとなる奥行き位置の調整を行うことができる。
【0140】
なお、図21のコンバージェンス制御部137では、撮像光学系内の個々のカメラ134R,134Lの向きを変更する制御を行うが、本例のズーム制御部153が個々のカメラ134R,134Lの向きを変更する制御を行えるようにしてもよい。また、本例では、モータを用いて電動制御する例を説明したが、本開示の条件2を満たすようなメカニカルな機構を設けてもよい。その他、本例に対して、図21に示した構成の説明で挙げられたものと同様の変形例を適用することができる。
【0141】
裸眼立体ディスプレイなどでは、2眼のみでなく多眼立体画像撮像装置で撮影された画像を表示することで、2眼のみでは難しかった頭部の移動に対応した運動立体視などが可能である。これに伴い、多眼立体画像撮像装置での撮影を行う機会が多くなることが見込まれる。本開示は2眼のみならず、多眼の場合にも適用可能であるばかりでなく、多眼立体画像撮像装置の調整においてより効果を発揮する。本開示を用いると複数カメラの物理的配置を変化させることなく実効カメラ間距離や輻輳の調整が可能であるため、カメラ数とともに増加する個々のカメラの調整作業を簡単かつ正確に行うことができる。
【0142】
[5−3.対物光学系を着脱可能なコンバージョンレンズとした構成例]
本開示の対物光学系は、多眼立体画像撮像装置へ組み込むだけでなく、コンバージョンレンズとして既存の多眼立体画像撮像装置の前部に装着する形で活用することが可能である。少なくとも2群のレンズ群を備えるコンバージョンレンズを、立体画像撮像装置に対して着脱可能な構成とし、コンバージョンレンズを本開示の立体画像撮像装置における対物光学系として利用する。
【0143】
図23は、本開示の立体画像撮像装置における対物光学系を、着脱可能なコンバージョンレンズとして活用した場合の構成例を示すブロック図である。図23の例は、実効のカメラ間距離を電動制御可能な例であり、この制御のために必要なブロックを示している。例えば、図21のズーム制御部136及びコンバージェンス制御部137に対応する記載は省略している。
【0144】
コンバージョンレンズ161は、第1レンズ群161−1と第2レンズ群161−2を備えて構成され、本開示の対物光学系として機能する。一方、本例の立体画像撮像装置は、装着されたコンバージョンレンズ161の第1レンズ群161−1と第2レンズ群161−2の焦点位置等を制御するIAD制御部163を備える。
【0145】
IAD制御部163は、メイン制御部138の制御の下で、モータ164,165−1,165−2を駆動させ、コンバージョンレンズ161の第1レンズ群161−1及び第2レンズ群161−2の焦点距離調整、並びに第1レンズ群161−1の位置調整を行う。それにより、本開示における条件1(対物光学系の第1レンズ群と第2レンズ群が共焦点)を満足するように制御する。
【0146】
本開示における条件1では撮像光学系と対物光学系の距離については制限がないため、既存の多眼立体画像撮像装置に対するコンバージョンレンズとして本開示を適用することができる。
【0147】
なお、本例では、モータを用いて電動制御する例を説明したが、本開示の条件1を満たすようなメカニカルな機構を設けてもよい。
また、コンバージョンレンズ161を立体画像撮像装置に装着したときに、本開示における条件2(対物光学系の第2レンズ群と撮像光学系が共焦点)を満足するような設計としてもよい。その他、本例に対して、図21,図22についての説明で挙げられたものと同様の変形例を適用することができる。
【0148】
[5−4.対物光学系を固定焦点距離のコンバージョンレンズとした構成例]
図24は、本開示の立体画像撮像装置における対物光学系を、固定焦点距離のコンバージョンレンズとして活用した場合の構成例を示すブロック図である。
【0149】
本開示の対物光学系として機能するコンバージョンレンズ171は、第1レンズ群171−1と第2レンズ群171−2を備えて構成されている。コンバージョンレンズ171は、本開示における条件1(対物光学系の第1レンズ群と第2レンズ群が共焦点)を満足するように固定焦点距離が設計されている。
【0150】
本開示において条件1を満たす場合には、対物光学系と撮像光学系の距離には制限がないため、既存の多眼立体画像撮像装置にコンバージョンレンズ(対物光学系)のみを付加する形で提供することが可能である。もっとも単純な例としては、対物光学系の第1レンズ群と第2レンズ群の焦点距離を固定とし、実効カメラ間距離を一定の倍率で拡大(縮小)するコンバージョンレンズとして提供することが可能である。
【0151】
また、コンバージョンレンズ171を立体画像撮像装置に装着したときに、本開示における条件2(対物光学系の第2レンズ群と撮像光学系が共焦点)を満足するような設計としてもよい。なお、図24においては対物光学系の第1レンズ群171−1と第2レンズ群171−2を凸レンズとして示しているが、本明細書に記載した他のレンズの組み合わせについても有効である。
【0152】
以上説明したように、本開示によれば、任意のカメラ間隔及び輻輳が設定された複数カメラを撮像光学系として備える多眼立体画像撮像装置に対して、本開示を適用することにより、複数カメラの物理的な位置制約に縛られることなく、カメラ間隔や輻輳を変更可能にすることができる。
また、本開示を用いると、実効のカメラ間隔調整や輻輳調整を複数カメラの前部に設けた対物光学系によって行うことができる。このため、撮影のたびに個々のカメラ位置を調整することなく、カメラ間隔調整及び輻輳調整を行うことができ、撮影開始前の調整時間の短縮や多眼立体画像撮像装置における連動機構の簡易化を図ることができる(条件1)。
さらに、本開示の対物光学系では、実効のカメラ間隔調整を行った後、レンズシフト機構による対物光学系内のLの制御のみで実効の輻輳調整を行うこともできる。このため、実効のカメラ間隔が一定の撮影シーンなど、実効のカメラ間隔を設定した後で輻輳調整を行う場合に、ユーザ操作もしくはレンズ制御機構の簡易化が可能である(条件2)。
【0153】
<6.3群のレンズ群から構成される対物光学系の例>
次に、3群構成の対物光学系について従来例との比較を交えながら説明する。
初めに、特許文献1(特開2003−5313号公報)に開示された技術について説明する。特許文献1には、対物光学系と結像光学系にズーム率を分け、片方の変倍率を上げた場合には他方の倍率を下げて全体の倍率を一定にすることで、立体感が変化する作用を持たせることができることを示したものと考えられる。この時点では、IAD及びコンバージェンス・フォーカスが同時に変更される形になっている。IAD及びコンバージェンスをそれぞれ単独で制御することに関する技術開示はされていない。
【0154】
本明細書では、立体視の重要な項目であるIADをコントロールすること、及び、IADを決めた上でコンバージェンスを制御することについて技術開示を行っている。
(1)IADをコントロールする、IADを所望の値になるように変換する技術を開示
IAD変換を可変とすること、あるいはIAD変換は固定だが、対物光学系を取り替えることにより、所望のIADとする。この手段として、アフォーカル光学系を複数カメラの前部に配置する。IADは複数カメラの概念であり、本開示はこのIADのコントロールを行うものなので、単一カメラの前にコンバージョンレンズを配置するものとは根本的に異なるものである。
(2)IADを決めた上でコンバージェンスの制御を行う技術を開示
IADを保ったままで、コンバージェンスを変化させるためにはどのようにすればよいかという技術を開示している。この手段として、対物光学系の2群のレンズ群と撮像光学系の焦点面を合わせた上で、対物光学系のアフォーカル光学系の構成を崩すことで実現する。なお、対物光学系が2群構成でなくとも、等価な2群からなるレンズとして考えられれば本開示を適用することができる。
【0155】
図25は、本開示の立体画像撮像装置における対物光学系を、3群のレンズ群から構成した場合の一例を示す。図25〜図28に示した瞳は、対物光学系を用いた場合の瞳であるため、内部瞳として考える瞳である。ただし、ここではコンバージェンス位置の設定を行うものはないので、対物光学系を外した場合の瞳と一致する。
【0156】
この図では、第1〜第3レンズ群181〜183から構成される対物光学系がアフォーカル光学系で、IAD変換が行われることを示している。第1〜第3レンズ群181〜183の焦点距離はf1,f2,f3である。物理カメラ184R,184Lの瞳を通る像面に垂直な光線は、アフォーカル光学系を通しても物理カメラの向きに対して平行である。このため、物理カメラ184R,184Lのレンズ中心軸上の瞳とその対物光学系による像である実効瞳EPが、この二眼立体画像撮像装置の瞳として機能する。したがって、カメラ向きに平行な実効瞳EPを通る光線と左右の物理カメラ184R,184Lの中心線との距離ed/2は実効IAD/2である。図からもわかるように、実効IADの距離edは物理IADの距離iadよりも小さく変換されている。
【0157】
図26は、特許文献1で示されているフォーカス調整時の対物光学系の様子を示したものである。
フォーカス調整時に、図25に示した入射光線がどのように進むかを示した図である。もっとも被写体側にある第1レンズ群181を被写体側へ距離△移動させると、対物光学系の倍率が変化するとともに、アフォーカル光学系の条件が崩れてアフォーカル光学系ではなくなる。このため、アフォーカル光学系となっていた場合に撮像光学系(物理カメラ184L)の瞳を通って像面に垂直だった光線(図25)が、瞳から外れ、像面との角度も変化してしまう。この結果、立体視の重要な制御要素であるIADが変化する。特許文献1には、自然な立体感と記述されているが、自然な立体感である技術的根拠は示されていない。
【0158】
図27は、図26の対物光学系における、物理カメラの瞳を通る像面に垂直な光線の入射方向を示したものである。
図に示されるように、図25の実効瞳位置が移動するとともに、入射方向が対物光学系の中心軸の向きとは異なる方向になっている。この結果、IADが変化するとともにコンバージェンスも変化する。本明細書で示したように、IADを変化させずにコンバージェンスを変更するには、対物光学系と結像光学系に条件が存在するため、特許文献1に開示された技術内容だけでは、IADとコンバージェンスそれぞれを所望の状態になるように制御することはできない。
【0159】
図28は、本開示の立体画像撮像装置におけるIAD制御の説明図である。
撮像光学系に条件を設けない状況であっても、本開示のように対物光学系がアフォーカル光学系の条件を満たすように制御すれば、IADの制御が可能になる。すなわち実効IAD/物理IADの変換比を制御できる。本開示の技術によれば、図26で示した第1レンズ群181の移動も、図28に示すように被写体側から第3番目の第3レンズ群183と連動して制御することで、IADの制御を目的とした対物光学系の制御を実現できる。本例では、実効瞳EP´のとき実効IAD/2の距離は、フォーカス調整前の実効IAD/2の距離hより短くなっている。なお、図28で示した対物光学系は、本開示の対物光学系の一例であり、可変倍率とする場合に、この構成に限定されるものではない。
【0160】
特許文献1では、図26のレンズ制御によりフォーカス調整が行われるとともに立体感が変化することが示されている。これに対し、本開示の光学系におけるフォーカス調整は少なくとも撮像光学系内で行うことで解決できる。
【0161】
上述したように、本開示の立体画像撮像装置に用いられる対物光学系は少なくとも2群のレンズ群から構成されていればよい。また、撮像光学系は、少なくとも1群の撮像レンズ群から構成されていればよい。
【0162】
その他、本開示の立体画像撮像装置を、立体視用の撮像装置のみならず、距離測定装置に適用してもよい。距離測定装置においても、複数カメラの物理的な位置制約に縛られることなく、実効のカメラ間距離及び輻輳が変更できるようになることは距離を測定する上で、大変有効である。例えば、実効IADを大きくすると推定測定距離が長くなり、逆に、実効IADを小さくすると推定測定距離が短くなる。したがって、実効IADを調整して大きな値に設定することにより、測定精度を向上させることができる。
【0163】
なお、本開示は以下のような構成も取ることができる。
(1) 被写体を実像又は虚像として形成する、同一光軸に配置された2群以上のレンズ群から構成されるアフォーカル光学系の対物光学系と、
複数の独立したレンズ群により、前記対物光学系の異なる経路から出射された複数の被写体光束をそれぞれ独立した画像として結像させる複数の撮像光学系と、
前記複数の撮像光学系に対応して設けられ、前記複数の撮像光学系により結像された画像を画像信号に変換する複数の撮像素子と、を備える
立体画像撮像装置。
(2) 前記対物光学系が等価的に2つのレンズ群から構成される場合に、前記対物光学系のレンズ群のうち前記撮像光学系側にあるレンズ群の焦点面と前記撮像光学系の各レンズ群の焦点面を一致させ、前記対物光学系の被写体側のレンズ群と前記撮像光学系側のレンズ群の光軸上での距離を変更する
前記(1)に記載の立体画像撮像装置。
(3) 前記対物光学系が等価的に2つのレンズ群から構成される場合に、第1レンズ群の焦点と第2レンズ群の焦点が一致している
前記(1)に記載の立体画像撮像装置。
(4) 第1レンズ群の焦点と第2レンズ群の焦点が一致している状態で、前記対物光学系のレンズ群のうち前記撮像光学系側にある第2レンズ群の焦点面と前記撮像光学系の各光学系の焦点面が一致している
前記(3)に記載の立体画像撮像装置。
(5) 前記第1レンズ群と第2レンズ群の光軸上での距離を変更し、第1レンズ群の焦点と第2レンズ群の焦点を一致させる第1の制御を行う制御部、をさらに備える
前記(1)から(4)のいずれかに記載の立体画像撮像装置。
(6) 前記対物光学系の各レンズ群の焦点距離を変更し、前記対物光学系の倍率を変更して実効の撮像光学系間の距離を変更する第2の制御を行う制御部、をさらに備える
前記(1)から(5)のいずれかに記載の立体画像撮像装置。
(7) 前記対物光学系のレンズ群のうち撮像光学系側にある第2レンズ群の焦点面と前記撮像光学系の各光学系との焦点面を一致させる第3の制御を行う制御部、をさらに備える
前記(2)から(6)のいずれかに記載の立体画像撮像装置。
(8) 前記制御部は、前記対物光学系のレンズ群のうち撮像光学系側にある第2レンズ群の焦点面と前記撮像光学系の各レンズ群の焦点面が一致している状態で、対物光学系内の第1レンズ群と第2レンズ群の光軸上での距離を変更させる第4の制御を行う制御部、をさらに備える
前記(2)から(7)のいずれかに記載の立体画像撮像装置。
(9) 前記対物光学系の第1レンズ群及び第2レンズ群の各々を一つのレンズと捉えた場合に、第1レンズ群及び第2レンズ群の組み合わせが、凸レンズ及び凸レンズ、凸レンズ及び凹レンズ、あるいは凹レンズ及び凸レンズである
前記(2)〜(8)のいずれかに記載の立体画像撮像装置。
(10) 前記対物光学系が当該立体画像撮像装置に対して着脱可能に構成されている
前記(1)〜(9)のいずれかに記載の立体画像撮像装置。
(11) 被写体を実像又は虚像として形成する、同一光軸に配置された2群以上のレンズ群から構成される対物光学系と、複数の独立したレンズ群により、前記対物光学系の異なる経路から出射された複数の被写体光束をそれぞれ独立した画像として結像させる複数の撮像光学系と、前記複数の撮像光学系に対応して設けられ、前記複数の撮像光学系により結像された画像を画像信号に変換する複数の撮像素子と、を備える立体画像撮像装置により立体画像撮像を行うに際して、
前記対物光学系の各レンズ群の焦点距離、及び各レンズ群間の光軸上での距離を変更し、前記対物光学系をアフォーカル光学系とし、
前記対物光学系の倍率を変更して実効の撮像光学系間の距離を変更する
立体画像撮像方法。
【0164】
以上、本開示は上述した各実施形態に限定されるものではなく、特許請求の範囲に記載された要旨を逸脱しない限りにおいて、その他種々の変形例、応用例を取り得ることは勿論である。
【符号の説明】
【0165】
14,24,34…IAD変換部、15R,15L,25R,25L,35R,35L…実効瞳、16R,16L,26R,26L,36R,36L…内部瞳、41…対物光学系、41−1,41−2…レンズ群、42…撮像光学系、42R,42L…撮像レンズ群、61…対物光学系、61−1,61−2…レンズ群、62…撮像光学系、62R,62L…物理カメラ、63R,63L,73R,73L…実効カメラ、81R,81L…撮像レンズ、84…オンスクリーン位置、85R,85L…瞳、101,111,121…対物光学系、101−1,101−2,111−1,111−2,121−1,121−2…対物レンズ群、102,112,122…撮像光学系、102R,102L、112R,112L,122R,122L…撮像レンズ群、131−1,131−2…レンズ群、135,152…IAD制御部、136,153…ズーム制御部、137,151…コンバージェンス制御部、138…メイン制御部、161,171…コンバージョンレンズ、161−1,161−2,171−1,171−2…レンズ群、163…IAD制御部、
181〜183…レンズ群、EP…実効瞳、IP…内部瞳、oR,oL…シフト量


【特許請求の範囲】
【請求項1】
被写体を実像又は虚像として形成する、同一光軸に配置された2群以上のレンズ群から構成されるアフォーカル光学系の対物光学系と、
複数の独立したレンズ群により、前記対物光学系の異なる経路から出射された複数の被写体光束をそれぞれ独立した画像として結像させる複数の撮像光学系と、
前記複数の撮像光学系に対応して設けられ、前記複数の撮像光学系により結像された画像を画像信号に変換する複数の撮像素子と、を備える
立体画像撮像装置。
【請求項2】
前記対物光学系が等価的に2つのレンズ群から構成される場合に、前記対物光学系のレンズ群のうち前記撮像光学系側にあるレンズ群の焦点面と前記撮像光学系の各レンズ群の焦点面を一致させ、前記対物光学系の被写体側のレンズ群と前記撮像光学系側のレンズ群の光軸上での距離を変更する
請求項1に記載の立体画像撮像装置。
【請求項3】
前記対物光学系が等価的に2つのレンズ群から構成される場合に、第1レンズ群の焦点と第2レンズ群の焦点が一致している
請求項1に記載の立体画像撮像装置。
【請求項4】
第1レンズ群の焦点と第2レンズ群の焦点が一致している状態で、前記対物光学系のレンズ群のうち前記撮像光学系側にある第2レンズ群の焦点面と前記撮像光学系の各光学系の焦点面が一致している
請求項3に記載の立体画像撮像装置。
【請求項5】
前記第1レンズ群と第2レンズ群の光軸上での距離を変更し、第1レンズ群の焦点と第2レンズ群の焦点を一致させる第1の制御を行う制御部、をさらに備える
請求項3に記載の立体画像撮像装置。
【請求項6】
前記対物光学系の各レンズ群の焦点距離を変更し、前記対物光学系の倍率を変更して実効の撮像光学系間の距離を変更する第2の制御を行う制御部、をさらに備える
請求項1に記載の立体画像撮像装置。
【請求項7】
前記対物光学系のレンズ群のうち撮像光学系側にある第2レンズ群の焦点面と前記撮像光学系の各光学系との焦点面を一致させる第3の制御を行う制御部、をさらに備える
請求項2に記載の立体画像撮像装置。
【請求項8】
前記制御部は、前記対物光学系のレンズ群のうち撮像光学系側にある第2レンズ群の焦点面と前記撮像光学系の各レンズ群の焦点面が一致している状態で、対物光学系内の第1レンズ群と第2レンズ群の光軸上での距離を変更させる第3の制御を行う制御部、をさらに備える
請求項2に記載の立体画像撮像装置。
【請求項9】
前記対物光学系の第1レンズ群及び第2レンズ群の各々を一つのレンズと捉えた場合に、第1レンズ群及び第2レンズ群の組み合わせが、凸レンズ及び凸レンズ、凸レンズ及び凹レンズ、あるいは凹レンズ及び凸レンズである
請求項2に記載の立体画像撮像装置。
【請求項10】
前記対物光学系が当該立体画像撮像装置に対して着脱可能に構成されている
請求項1に記載の立体画像撮像装置。
【請求項11】
被写体を実像又は虚像として形成する、同一光軸に配置された2群以上のレンズ群から構成される対物光学系と、複数の独立したレンズ群により、前記対物光学系の異なる経路から出射された複数の被写体光束をそれぞれ独立した画像として結像させる複数の撮像光学系と、前記複数の撮像光学系に対応して設けられ、前記複数の撮像光学系により結像された画像を画像信号に変換する複数の撮像素子と、を備える立体画像撮像装置により立体画像撮像を行うに際して、
前記対物光学系の各レンズ群の焦点距離、及び各レンズ群間の光軸上での距離を変更し、前記対物光学系をアフォーカル光学系とし、
前記対物光学系の倍率を変更して実効の撮像光学系間の距離を変更する
立体画像撮像方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate

【図24】
image rotate

【図25】
image rotate

【図26】
image rotate

【図27】
image rotate

【図28】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図29】
image rotate


【公開番号】特開2012−215720(P2012−215720A)
【公開日】平成24年11月8日(2012.11.8)
【国際特許分類】
【出願番号】特願2011−81306(P2011−81306)
【出願日】平成23年3月31日(2011.3.31)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】