立体撮像装置
【課題】従来の立体撮像装置は固体撮像素子を２個使用しているのでコストが高いという難点があった。固体撮像素子を１個にした立体撮像装置も提案されているが技術的な問題が十分に解決されていないので、広く実用化されていない。
【解決手段】１個の固体撮像素子の撮像面４分割し、４分割した領域からそれぞれが斜め方向に位置する２個の領域を選択し、この２個の選択した領域内に光軸が配置されるよう設置された第１、第２の２個の撮像レンズと共に、第１、第２の２個の撮像領域を選択することで視差を有する２個の画像を形成する立体撮像装置を構成した。
【解決手段】１個の固体撮像素子の撮像面４分割し、４分割した領域からそれぞれが斜め方向に位置する２個の領域を選択し、この２個の選択した領域内に光軸が配置されるよう設置された第１、第２の２個の撮像レンズと共に、第１、第２の２個の撮像領域を選択することで視差を有する２個の画像を形成する立体撮像装置を構成した。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、１個の固体撮像素子の撮像面上に２個の撮像領域を設定し、この２個の撮像領域に対応して設置された２個の撮像レンズと共に、視差を有するし２個の撮像ユニットを構成し、前記２個の撮像ユニットで形成される視差を有する２個の画像を電気信号として取り出すことを特徴とした立体撮像装置に関する。
【背景技術】
【０００２】
人間の右、左の目に相当する（今後は右系、左系と呼ぶ）ように、視差を有する２個の撮像ユニットを持った立体撮像装置は、被写体の立体画像観察装置や被写体の立体計測装置として医用、産業用に利用したいとの要求があり実用化されつつあるが、立体視の条件の特殊性を十分に満足する撮像ディバイスがないため、通常は２個の撮像レンズと２個の固体撮像素子で２個の撮像ユニットを構成するため信号処理手段も２個必要となり、価格も高価になるので一般化されるに至っていない。
【０００３】
なお、右系、左系と称するのは説明上有用であるが、見る方向によって右、左の方向が変わるので請求項等においては、場合によっては右系、左系の片方を第１、他方を第２と呼ぶことであいまいさを避けることにする。
【０００４】
一般的な立体撮像装置は、図１に示すように水平方向に視差を持つように配置された１組の撮像レンズ１１Ｒ、１１Ｌの結像面にＣＣＤのような固体撮像素子１２Ｒ，１２Ｌの撮像面を配置し、固体撮像素子１２Ｒ，１２Ｌは固体撮像素子の駆動手段１０２Ｒ，１０２Ｌで駆動される。固体撮像素子１２Ｒ，１２Ｌで電気信号に変換された画像信号は信号処理手段１０１Ｒ、１０１Ｌで信号処理され、信号処理された映像信号をいったん記憶手段（メモリー）１０３に記録し、この記録された画像信号を記憶手段を制御する制御手段１０４によって右系、左系と順次読みだして、立体映像信号処理手段１０５で３次元表示用の映像信号に処理している。この３次元映像信号を映像化する方式はいろいろあるが、１例として液晶の偏光シャッターを持ったモニター１０６で画像化し偏光眼鏡等を介して観察すること等で立体視を可能にしている。
【０００５】
さらに立体撮像装装置は立体画像の観察だけでなく、立体撮像装置の特徴を生かし披検体までの距離や披検体の大きさの計測を無接触で可能にしたいとの立体計測装置の要求がある。このような要求に対して、立体撮像装置で得られる視差を有する２個の画像上で披検体の測定点を観察者がクリックし、パソコンのような小型演算装置で寸法等を演算表示することが出来る。図１中１０７は視差のある右系、左系の画像を取込み計測演算を行う演算手段を示し、１０８は計測表示を行う計測用モニターを示している。
【０００６】
なを、立体撮像装置では立体画像の観察部または立体画像の計測部のみで構成されることもあり、また観察部と計測部が一体に構成される場合もある。
【０００７】
このような通常の立体撮像装置では、基本的には右系、左系１組２系統の固体撮像素子、撮像レンズを含んだ撮像ユニットと信号処理手段が必要なため単眼の撮像装置に比べコストも高くなり実用化の妨げになっている。このため特開平１−３１６７１６、特許第３４２３３４７号、特開平５−７３７４等では、1個の固体撮像素子１２上で撮像領域を２分割し、２分割した夫々の撮像領域に撮像レンズを配置し右系、左系の撮像ニットを簡略化することでコストを軽減する提案がなされている。なお理解を容易にするために、以下図面では同じ機能を有するものは同じ番号で表示することにする。
【０００８】
図２は図１で示した立体撮像装置の撮像ユニットを２個の撮像レンズ１１Ｒ，１１Ｌと１個の固体撮像素子１２で置き換えた状態を示したもので信号処理手段１０１、駆動手段１０２は１個と簡略化されている。
【０００９】
一個の固体撮像素子を右系、左系の撮像ユニットとして使用する場合には、図３（Ａ）のように通常の縦横比の撮像面を有する固体撮像素子を用いる場合と、図３（Ｂ）のように横長の撮像面を有する特殊な撮像素子を用いる場合が考えられる。図３（Ａ）に示すように、通常の縦横比の撮像面を有する固体撮像素子を用いると右系の撮像画面と左系の撮像画面は図中Ｒ、Ｌで示すような縦長の撮像領域となる。一方図３（Ｂ）に示すように、横長の撮像面を有する固体撮像素子を用いると、右系の撮像画面と左系の撮像画面は通常の縦横比に類似したＬ，Ｒの撮像領域を得ることが出来、立体撮像装置用としては非常に有効であるが、特殊な固体撮像素子が必要になり現実的でない。本発明はこの点に鑑み通常の縦横比の撮像面を有する固体撮像素子を使用することを前提になされたものである。
【００１０】
図４（Ａ）に示すように１個の通常の縦横比（３：４）を有する固体撮像素子１２を用い、この撮像面１３内に左系、右系に相当する画像を分割撮像する場合には、図４（Ｂ）に点線の円１４Ｒ、１４Ｌ示すように、撮像レンズの結像画像範囲を撮像面１３を分割した撮像範囲の対角位置をカバーするようにさせるために、撮像面の隣り合う辺での右系、左系画像の重なり部分１５Ｒ、１５Ｌが生じる。ハッチングを施して表示したこの重なり部分１５Ｒ、１５Ｌは、図５に示すように使用する右系、左系の有効画面の垂直方向の幅Ｖを小さくしても無視することはできない。
【００１１】
この右系、左系の画像の重なりを除去するために遮光マスクの設置や、左右画像の間に画像の非撮像部分を設ける等で重なり部分を除去する対策が特許第３４２３３４７号、特開平５−７３７４等で提案されているが、このような対策では遮光マスクとしては精密な構造が要求されコストにも影響してくる。また右系画像と左系画像の間に図６にＷで示す幅の非撮像部分を設けると，画像の水平方向の有効画素数が減少し好ましくない。
【特許文献１】特開平１−３１６７１６号公報
【特許文献２】特許第３４２３３４７号公報
【特許文献３】特開平５−７３７４号公報
【００１２】
また、このような１固体撮像素子と２個の撮像レンズで構成した立体撮像ユニットは、固体撮像素子の形状の制約があるので２個の撮像レンズの光軸間隔をあまり大きく取れないので、輻輳角に制約が出てくるがこれは立体視で疲労を招かないことを重視する立体観察装置には適しているが、光軸間隔を大きく取って測距精度を上げようとする立体計測装置には向いていない。
【発明の開示】
【発明が解決しようとする課題】
【００１３】
これまでに説明したように、1個の固体撮像素子を用い、右系、左系の１組の撮像レンズで固体撮像素子の撮像面に２個の左右画像を形成する立体撮像装置では、図４に示すように水平方向に並べて配置された左右の撮影レンズの画像がお互いに干渉し合って実用上有効な右系、左系の画面がとり出せない。そのために図７に示すように右系、左系の撮影レンズの光軸の間に撮像レンズによる視野を制限する遮光板１５を設置する提案（特許第３４２３３４７号）がある。原理的にはこのような遮光板を組み込むことによって互いに干渉しあわない左右の画像を１個の固体撮像素子から取り出せるが、例えば市販されている１／４インチＣＣＤを例にとるとＣＣＤの撮像面からパッケージのシールガラス面までは１．９ｍｍあり遮光板を直接撮像面上に組み込むことが困難である。
【００１４】
このため左右の画像の隣り合う垂直面の間には画像信号を形成しない非撮像部分を設ける（図６参照）提案があるが、この方法は左右画像の有効に使用できる水平方向の画素数が減少するという好ましくない結果となる。
【００１５】
本発明は簡便な方法で水平方向の画像の干渉をなくす技術を提案することにある。また 通常の縦横比を有する固体撮像素子を用い、この撮像面内に右系、左系に相当する画像を分割撮像する場合、縦長の不自然な画面を回避し、精密な遮光マスク等を用いずに右系、左系の画像の重なり部分を生じない構造を有する立体撮像装置を提供することを目的としている。また本発明による立体撮像装置で特に立体計測装置を構成する場合には、観察用の立体撮像装置を構成する場合に比べ右系、左系の光軸間隔（測距の基線長に相当する）を大きくとることが出来る特徴を有している。
【課題を解決するための手段】
【００１６】
上記目的を達成するために、請求項１に関わる発明は、１個の固体撮像素子の撮像面を４分割し、４分割した領域からそれぞれが斜め方向に位置する第１と第２の２個の領域を選択し、選択された第１の領域内に第１の撮像レンズの光軸と、選択された第２の領域内には第２の撮像レンズの光軸が配置される様に第１の撮像レンズと第２の撮像レンズを配置したことを特徴とする立体撮像装置に関するものである。
【００１７】
さらに詳細な説明を加えると、たとえば１／４インチで１３０万画素程度の固体撮像素子を例にとれば、撮像面を４分割した場合の１領域の画素数は３２万画素程度となり画面の縦横比も従来の４：３比率のものが得られる。
【００１８】
図８に示すように、４分割した撮像面の領域からそれぞれ斜め方向に位置する２個の領域１３ｂ、１３ｄを選択し、選択した領域内に第１（たとえば右系）、第２（たとえば左系）の撮像レンズの光軸が配置されるように撮像レンズを配置し、４分割した撮像面に配置された撮像レンズの光軸位置に応じて第１、第２の撮像画面を選択すると撮像画面の隣接する部分は対角の頂点近傍になるので、撮影レンズの設計によっては左右画面が干渉する範囲が激減するので、実用上遮光マスクを不要とすることも可能になる。
【００１９】
請求項２にかかわる発明は、斜めに配置された第１の撮像レンズの光軸と第２の領域内に第２の撮像レンズの光軸の斜め方向の光軸間隔を立体計測装置の基線長とすることを特徴とした請求項１記載の立体撮像装置に関するものである。
【００２０】
さらに詳細な説明を加えると、請求項２による立体撮像装置では右系と左系の画像信号は第１のレンズと第２のレンズの光軸が水平方向にずれている量が視差を決める要素となるが、立体計測装置を構成する場合には、第１のレンズと第２のレンズの光軸間隔を斜め方向に測った距離を基線長として計測装置を構成することが出来る。この場合斜め方向にとった光軸間隔は、水平方向成分にとった光軸間隔より大きいので立体計測装置の立体撮像装置として適した構造となる。
【００２１】
請求項３にかかわる発明は、第1の撮像レンズと第２の撮像レンズに対応して固体撮像素子の撮像面から夫々重ならない様に第1と第２の撮像領域を選択し、第1と第２の撮像領域を含む固体撮像素子からの信号を記憶手段に記憶させ、前期記憶手段に記録された信号から視差を有する右系、左系の画像信号を取り出すことを特徴とした請求項１記載の立体撮像装置に関するものである。
【００２２】
さらに詳細な説明を加えると、右系、左系の撮像領域を含んだ１個の固体撮像素子の出力信号を一旦記憶手段（メモリー）に記憶させ、右系の画像信号と左系の画像信号の垂直位置が合致するよう記憶手段からの読出し方法を制御し右系、左系の画像信号を取り出し視差のある立体画像信号とすることを特徴としている。
【発明の効果】
【００２３】
本発明による立体撮像装置では、1個の固体撮像素子の撮像面を４分割し、４分割した領域からそれぞれが斜め方向に位置する２個の領域を選択し、選択された領域内に第１の撮像レンズの光軸と第２の撮像レンズの光軸を配置することで撮像ユニットを簡略化可能とし、精密な遮光板等を必要とせずに2個の撮像領域での撮像画面同士の干渉を最小限に抑えることが可能になるのでそのコストに寄与する効果は非常に大きい。
【００２４】
また、本発明による立体撮像装置では立体撮像装置を立体計測装置に利用する場合には撮像ユニットの光学的な基線長を立体観察装置として利用する場合より大きく取れるので、基線長の設定に関して観察と計測両用の目的も満足する。
【発明を実施するための最良の形態】
【００２５】
以下、図面を参照して本発明の実施の形態を説明する。なお実施例の説明では使用する図面は煩雑さを避け、理解を容易にするため原理的な表示に重きを置き尺度等は誇張して表現されている。
【実施例】
【００２６】
図８（Ａ）は本発明の実施の形態を示す基本的な構成例を示すものである。
図中１３はＣＣＤのような固体撮像素子１２の撮像面を示している。１例として撮像面１３の中心点１５を通る直線１６で垂直方向を２分割し、直線１７で水平方向を２分割することで撮像面１３を１３ａ、１３ｂ、１３ｃ、１３ｄの領域に４分割する。
【００２７】
４分割された撮像面からそれぞれ斜め方向に位置する領域１３ｂと１３ｄ（斜線部分）を選択しそれぞれの領域の中心部１８、１９に右系と左系の撮像レンズの光軸が位置するよう撮像レンズを配置する。なお、この斜め方向に選択する領域は１３ａと１３ｂであってもよい。このように右系画像と左系画像の撮像領域を選択することで、右系の画像と左系の画像は画面の頂点のみで接するので、右系と左系の撮像レンズの画像が互いに干渉することを避けることができる。なお図８中、右系の撮像レンズの結像領域を破線２１の円で示し、左系の撮像レンズの結像領域は破線２０の円で示している。
【００２８】
特に右系画像と左系画像の大きさを領域１３ｂ、１３ｄよりわずか内側に設定することで右系画像と左系画像の干渉を厳密に避けることが可能になる。
【００２９】
このような条件下では、右系と左系の撮像レンズの鏡筒外径は当然撮像レンズの結像領域を示す円２０、２１内にあることが望ましい。しかしレンズ設計上の制約、機構上の制約がある場合には図８（Ｂ）で点２２、点２３に示すように右系、左系の撮影レンズの光軸をわずか外方にずらすことで、撮影レンズの機械的な外径（２４、２５で示す）を大きくすることも可能である。
【００３０】
図９は測距の基本的な原理を示すもので、撮像レンズＬ１と固体撮像素子ＣＣＤ１は右系の撮像ユニットを、撮像レンズＬ２と固体撮像素子ＣＣＤ２は左系の撮像ユニットを示しＸ−Ｚ座標系で２次元表示をしている。撮像レンズをＸ軸上に配置し、Ｚ軸よりＸ０だけ離れた物点Ｐまでの距離をＳ、撮像レンズから固体撮像素子の結像面までの距離をｆとすれば、Ｘ１＝｛（ｄ／２）＋Ｘ０｝×（ｆ／Ｓ）、Ｘ２＝｛（ｄ／２）−Ｘ０｝×（ｆ／Ｓ）
となり光軸間隔ｄが大きい方が固体撮像素子上の検出精度が上がることがわかる。この光軸間隔はカメラ等の測距計の基線長に相当する。
【００３１】
図８（Ａ）に示すように４分割された撮像面からそれぞれ斜め方向に位置する領域１３ｂと１３ｄ（斜線部分）を選択しそれぞれの領域の中心部１８、１９に右系と左系の撮像レンズの光軸が位置するよう撮像レンズを配置すると、計測に使用できる光軸間隔（基線長）はｄ２となり、水平方向に撮像レンズを並べて配置した場合の光軸間隔ｄ１より大きくなる。
【００３２】
縦横比が３：４の通常の固体撮像素子の撮像面を使用する場合にはｄ２はｄ１の１．２５倍となり、大きさの制約がある１個の固体撮像素子を用いて立体撮像装置を構成する場合には大きな利点となる。
【００３３】
このような立体撮像装置を観察装置として使用する場合には、記憶手段からの右系と左系の画像の読出しに注意しなければならない。通常の立体撮像装置では右系の画像と左系の画像は、水平方向は視差を持たせるため画像の位置がずれているが垂直方向は画像の位置ずれがないことが望ましい。本発明による立体撮像装置では図８に示されているように右系の画像と左系の画像では垂直方向に光軸がｈ１だけずれて配置される。
【００３４】
一般に良好な立体視を得るためには、右系の画像と左系の画像の垂直位置が一致していることが好ましい。本発明の実施例では図８に示すように、右系の画像と左系の画像は垂直位置が垂直方向にｈ１だけずれている。固体撮像素子として１／４インチのＣＣＤを用いた場合を考えると、撮像面の形状は３．６×２．７ｍｍなのでｈ１は最大で１．３５ｍｍとなる。この水平方向のずれは撮像される被写体側から見た場合も同じなので、被写体側でのｈ１のずれ量は撮像面側では撮像倍率（縮小）をかけた量となる。
【００３５】
この様子を図１０で説明する。図中、被写体３０の中心Ｏと撮像装置の右系の撮像レンズ１１Ｒの光軸は同一線上に配置しされている。したがって撮像面１３の右系の撮像領域１３ｂの中止には被写体３０の像が倍率βで縮小結像されている。一方左系の撮像レンズ１１Ｌと撮像面１３の左系の撮像領域１３ｄは、右系の撮像領域に対してｈ１だけ下方にずれて位置している。このずれ量は撮像レンズ１１Ｒと撮像レンズ１１Ｌの光軸間隔となるので、被写体側から見てもｈ１のずれ量があることになる。
【００３６】
撮像倍率をβとすると、被写体側でのｈ１の量はｈ１×βとなるので、左系の画像は撮像領域１３ｄの中心より下方にｈ１×βずれた位置に結像される。
このずれ量を右系の画像と左系の画像で等分に配分し、右系の画像では下側をずれ量の１／２切り取り、左系の画像では上側をずれ量の１／２切り取り右系の画像と左系の画像を並べて配置すると、右系の画像と左系の画像の垂直位置が一致する。
【００３７】
撮像レンズの焦点距離に比べて物点距離が大きく撮像倍率（縮小）が小さい場合にはこの右系と左系画像の垂直方向のずれ量は無視できるが、物点距離が近い場合にはずれ量をこのように補正して画像の記憶手段から読み出すことが有効である。
【００３８】
１例として１／４インチ固体撮像素子の場合を考えると、撮像レンズの画角を８０度位とすると焦点距離は１．３ｍｍ位になるので撮像倍率を１／１５とすれば物点距離は約２０ｍｍとなる。この場合は被写体上の１点をとった場合、撮像面側で右系、左系の画面の垂直方向のずれ量は約０．０９ｍｍとなり２０インチモニター上では約２ｍｍとなるがこのくらいの量であれば大きな違和感がなく立体像の観察が可能であるが、右系と左系の画像を記憶手段から読み出す場合、垂直方向のずれ量を補正することも可能である。
【００３９】
右系、左系の画像を前述の記憶手段から読み出す場合に、あらかじめ前述の垂直方向のずれ量を半分、すなわち０．０４５ｍｍくらい補正しておくことによって、２０インチモニター上でのずれを約１ｍｍ位とすることが可能となり実用上立体視での問題点はほとんどなくなる。
【００４０】
以上１個の固体撮像素子を用い、撮像画面を４分割した領域のうち斜め方向の領域を右系と左系の撮像領域とした立体撮像装置に関して説明したが、一対の撮像レンズの光軸が前記説明の領域内にあれば、実際の撮像画面の領域等をその近傍で変更しても、すべて本発明の技術分野内に含まれる。
【図面の簡単な説明】
【００４１】
【図１】左右一組の撮像ユニットをもった立体撮像装置の基本的な構成を示す概略説明図。
【図２】１個の固体撮像素子を使用して、左右一組の撮像ユニットを構成した立体撮像装置の基本的な構造示す概略説明図。
【図３】１個の固体撮像素子で立体撮像装置を構成する場合の固体撮像素子の形状を説明する原理的な説明図。
【図４】１個の固体撮像素子で立体撮像装置を構成する場合の基本的な問題点を示す説明図。
【図５】１個の固体撮像素子で立体撮像装置を構成する場合の基本的な問題点を示す説明図。
【図６】１個の固体撮像素子で立体撮像装置を構成する場合の基本的な問題点を改善する案の説明図る。
【図７】１個の固体撮像素子で立体撮像装置を構成する場合の基本的な問題点を改善する案の説明図である。
【図８】本発明による立体撮像装置の原理的な構成を示す説明図。
【図９】立体撮像装置で立体計測を行う場合の原理的な説明図。
【図１０】本発明による立体撮像装置を観察装置として使用する場合の説明図。
【符号の説明】
【００４２】
１１Ｒ、１１Ｌ 撮像レンズ
１２、１２Ｒ １２Ｌ 固体撮像素子
１３ 固体撮像素子の撮像面
１３ａ、１３ｂ、１３ｃ、１３ｄ 撮像面を４分割した領域
２０、２１ 撮像レンズの結像領域
１０１、１０１Ｒ、１０１Ｌ 信号処理手段
１０２、１０２Ｒ，１０２Ｌ 駆動手段
１０３ 記憶手段
１０４ 記憶手段の制御手段
１０５ 立体映像信号処理手段
１０６ モニター
１０７ 演算手段
１０８ 計測用モニター
【技術分野】
【０００１】
本発明は、１個の固体撮像素子の撮像面上に２個の撮像領域を設定し、この２個の撮像領域に対応して設置された２個の撮像レンズと共に、視差を有するし２個の撮像ユニットを構成し、前記２個の撮像ユニットで形成される視差を有する２個の画像を電気信号として取り出すことを特徴とした立体撮像装置に関する。
【背景技術】
【０００２】
人間の右、左の目に相当する（今後は右系、左系と呼ぶ）ように、視差を有する２個の撮像ユニットを持った立体撮像装置は、被写体の立体画像観察装置や被写体の立体計測装置として医用、産業用に利用したいとの要求があり実用化されつつあるが、立体視の条件の特殊性を十分に満足する撮像ディバイスがないため、通常は２個の撮像レンズと２個の固体撮像素子で２個の撮像ユニットを構成するため信号処理手段も２個必要となり、価格も高価になるので一般化されるに至っていない。
【０００３】
なお、右系、左系と称するのは説明上有用であるが、見る方向によって右、左の方向が変わるので請求項等においては、場合によっては右系、左系の片方を第１、他方を第２と呼ぶことであいまいさを避けることにする。
【０００４】
一般的な立体撮像装置は、図１に示すように水平方向に視差を持つように配置された１組の撮像レンズ１１Ｒ、１１Ｌの結像面にＣＣＤのような固体撮像素子１２Ｒ，１２Ｌの撮像面を配置し、固体撮像素子１２Ｒ，１２Ｌは固体撮像素子の駆動手段１０２Ｒ，１０２Ｌで駆動される。固体撮像素子１２Ｒ，１２Ｌで電気信号に変換された画像信号は信号処理手段１０１Ｒ、１０１Ｌで信号処理され、信号処理された映像信号をいったん記憶手段（メモリー）１０３に記録し、この記録された画像信号を記憶手段を制御する制御手段１０４によって右系、左系と順次読みだして、立体映像信号処理手段１０５で３次元表示用の映像信号に処理している。この３次元映像信号を映像化する方式はいろいろあるが、１例として液晶の偏光シャッターを持ったモニター１０６で画像化し偏光眼鏡等を介して観察すること等で立体視を可能にしている。
【０００５】
さらに立体撮像装装置は立体画像の観察だけでなく、立体撮像装置の特徴を生かし披検体までの距離や披検体の大きさの計測を無接触で可能にしたいとの立体計測装置の要求がある。このような要求に対して、立体撮像装置で得られる視差を有する２個の画像上で披検体の測定点を観察者がクリックし、パソコンのような小型演算装置で寸法等を演算表示することが出来る。図１中１０７は視差のある右系、左系の画像を取込み計測演算を行う演算手段を示し、１０８は計測表示を行う計測用モニターを示している。
【０００６】
なを、立体撮像装置では立体画像の観察部または立体画像の計測部のみで構成されることもあり、また観察部と計測部が一体に構成される場合もある。
【０００７】
このような通常の立体撮像装置では、基本的には右系、左系１組２系統の固体撮像素子、撮像レンズを含んだ撮像ユニットと信号処理手段が必要なため単眼の撮像装置に比べコストも高くなり実用化の妨げになっている。このため特開平１−３１６７１６、特許第３４２３３４７号、特開平５−７３７４等では、1個の固体撮像素子１２上で撮像領域を２分割し、２分割した夫々の撮像領域に撮像レンズを配置し右系、左系の撮像ニットを簡略化することでコストを軽減する提案がなされている。なお理解を容易にするために、以下図面では同じ機能を有するものは同じ番号で表示することにする。
【０００８】
図２は図１で示した立体撮像装置の撮像ユニットを２個の撮像レンズ１１Ｒ，１１Ｌと１個の固体撮像素子１２で置き換えた状態を示したもので信号処理手段１０１、駆動手段１０２は１個と簡略化されている。
【０００９】
一個の固体撮像素子を右系、左系の撮像ユニットとして使用する場合には、図３（Ａ）のように通常の縦横比の撮像面を有する固体撮像素子を用いる場合と、図３（Ｂ）のように横長の撮像面を有する特殊な撮像素子を用いる場合が考えられる。図３（Ａ）に示すように、通常の縦横比の撮像面を有する固体撮像素子を用いると右系の撮像画面と左系の撮像画面は図中Ｒ、Ｌで示すような縦長の撮像領域となる。一方図３（Ｂ）に示すように、横長の撮像面を有する固体撮像素子を用いると、右系の撮像画面と左系の撮像画面は通常の縦横比に類似したＬ，Ｒの撮像領域を得ることが出来、立体撮像装置用としては非常に有効であるが、特殊な固体撮像素子が必要になり現実的でない。本発明はこの点に鑑み通常の縦横比の撮像面を有する固体撮像素子を使用することを前提になされたものである。
【００１０】
図４（Ａ）に示すように１個の通常の縦横比（３：４）を有する固体撮像素子１２を用い、この撮像面１３内に左系、右系に相当する画像を分割撮像する場合には、図４（Ｂ）に点線の円１４Ｒ、１４Ｌ示すように、撮像レンズの結像画像範囲を撮像面１３を分割した撮像範囲の対角位置をカバーするようにさせるために、撮像面の隣り合う辺での右系、左系画像の重なり部分１５Ｒ、１５Ｌが生じる。ハッチングを施して表示したこの重なり部分１５Ｒ、１５Ｌは、図５に示すように使用する右系、左系の有効画面の垂直方向の幅Ｖを小さくしても無視することはできない。
【００１１】
この右系、左系の画像の重なりを除去するために遮光マスクの設置や、左右画像の間に画像の非撮像部分を設ける等で重なり部分を除去する対策が特許第３４２３３４７号、特開平５−７３７４等で提案されているが、このような対策では遮光マスクとしては精密な構造が要求されコストにも影響してくる。また右系画像と左系画像の間に図６にＷで示す幅の非撮像部分を設けると，画像の水平方向の有効画素数が減少し好ましくない。
【特許文献１】特開平１−３１６７１６号公報
【特許文献２】特許第３４２３３４７号公報
【特許文献３】特開平５−７３７４号公報
【００１２】
また、このような１固体撮像素子と２個の撮像レンズで構成した立体撮像ユニットは、固体撮像素子の形状の制約があるので２個の撮像レンズの光軸間隔をあまり大きく取れないので、輻輳角に制約が出てくるがこれは立体視で疲労を招かないことを重視する立体観察装置には適しているが、光軸間隔を大きく取って測距精度を上げようとする立体計測装置には向いていない。
【発明の開示】
【発明が解決しようとする課題】
【００１３】
これまでに説明したように、1個の固体撮像素子を用い、右系、左系の１組の撮像レンズで固体撮像素子の撮像面に２個の左右画像を形成する立体撮像装置では、図４に示すように水平方向に並べて配置された左右の撮影レンズの画像がお互いに干渉し合って実用上有効な右系、左系の画面がとり出せない。そのために図７に示すように右系、左系の撮影レンズの光軸の間に撮像レンズによる視野を制限する遮光板１５を設置する提案（特許第３４２３３４７号）がある。原理的にはこのような遮光板を組み込むことによって互いに干渉しあわない左右の画像を１個の固体撮像素子から取り出せるが、例えば市販されている１／４インチＣＣＤを例にとるとＣＣＤの撮像面からパッケージのシールガラス面までは１．９ｍｍあり遮光板を直接撮像面上に組み込むことが困難である。
【００１４】
このため左右の画像の隣り合う垂直面の間には画像信号を形成しない非撮像部分を設ける（図６参照）提案があるが、この方法は左右画像の有効に使用できる水平方向の画素数が減少するという好ましくない結果となる。
【００１５】
本発明は簡便な方法で水平方向の画像の干渉をなくす技術を提案することにある。また 通常の縦横比を有する固体撮像素子を用い、この撮像面内に右系、左系に相当する画像を分割撮像する場合、縦長の不自然な画面を回避し、精密な遮光マスク等を用いずに右系、左系の画像の重なり部分を生じない構造を有する立体撮像装置を提供することを目的としている。また本発明による立体撮像装置で特に立体計測装置を構成する場合には、観察用の立体撮像装置を構成する場合に比べ右系、左系の光軸間隔（測距の基線長に相当する）を大きくとることが出来る特徴を有している。
【課題を解決するための手段】
【００１６】
上記目的を達成するために、請求項１に関わる発明は、１個の固体撮像素子の撮像面を４分割し、４分割した領域からそれぞれが斜め方向に位置する第１と第２の２個の領域を選択し、選択された第１の領域内に第１の撮像レンズの光軸と、選択された第２の領域内には第２の撮像レンズの光軸が配置される様に第１の撮像レンズと第２の撮像レンズを配置したことを特徴とする立体撮像装置に関するものである。
【００１７】
さらに詳細な説明を加えると、たとえば１／４インチで１３０万画素程度の固体撮像素子を例にとれば、撮像面を４分割した場合の１領域の画素数は３２万画素程度となり画面の縦横比も従来の４：３比率のものが得られる。
【００１８】
図８に示すように、４分割した撮像面の領域からそれぞれ斜め方向に位置する２個の領域１３ｂ、１３ｄを選択し、選択した領域内に第１（たとえば右系）、第２（たとえば左系）の撮像レンズの光軸が配置されるように撮像レンズを配置し、４分割した撮像面に配置された撮像レンズの光軸位置に応じて第１、第２の撮像画面を選択すると撮像画面の隣接する部分は対角の頂点近傍になるので、撮影レンズの設計によっては左右画面が干渉する範囲が激減するので、実用上遮光マスクを不要とすることも可能になる。
【００１９】
請求項２にかかわる発明は、斜めに配置された第１の撮像レンズの光軸と第２の領域内に第２の撮像レンズの光軸の斜め方向の光軸間隔を立体計測装置の基線長とすることを特徴とした請求項１記載の立体撮像装置に関するものである。
【００２０】
さらに詳細な説明を加えると、請求項２による立体撮像装置では右系と左系の画像信号は第１のレンズと第２のレンズの光軸が水平方向にずれている量が視差を決める要素となるが、立体計測装置を構成する場合には、第１のレンズと第２のレンズの光軸間隔を斜め方向に測った距離を基線長として計測装置を構成することが出来る。この場合斜め方向にとった光軸間隔は、水平方向成分にとった光軸間隔より大きいので立体計測装置の立体撮像装置として適した構造となる。
【００２１】
請求項３にかかわる発明は、第1の撮像レンズと第２の撮像レンズに対応して固体撮像素子の撮像面から夫々重ならない様に第1と第２の撮像領域を選択し、第1と第２の撮像領域を含む固体撮像素子からの信号を記憶手段に記憶させ、前期記憶手段に記録された信号から視差を有する右系、左系の画像信号を取り出すことを特徴とした請求項１記載の立体撮像装置に関するものである。
【００２２】
さらに詳細な説明を加えると、右系、左系の撮像領域を含んだ１個の固体撮像素子の出力信号を一旦記憶手段（メモリー）に記憶させ、右系の画像信号と左系の画像信号の垂直位置が合致するよう記憶手段からの読出し方法を制御し右系、左系の画像信号を取り出し視差のある立体画像信号とすることを特徴としている。
【発明の効果】
【００２３】
本発明による立体撮像装置では、1個の固体撮像素子の撮像面を４分割し、４分割した領域からそれぞれが斜め方向に位置する２個の領域を選択し、選択された領域内に第１の撮像レンズの光軸と第２の撮像レンズの光軸を配置することで撮像ユニットを簡略化可能とし、精密な遮光板等を必要とせずに2個の撮像領域での撮像画面同士の干渉を最小限に抑えることが可能になるのでそのコストに寄与する効果は非常に大きい。
【００２４】
また、本発明による立体撮像装置では立体撮像装置を立体計測装置に利用する場合には撮像ユニットの光学的な基線長を立体観察装置として利用する場合より大きく取れるので、基線長の設定に関して観察と計測両用の目的も満足する。
【発明を実施するための最良の形態】
【００２５】
以下、図面を参照して本発明の実施の形態を説明する。なお実施例の説明では使用する図面は煩雑さを避け、理解を容易にするため原理的な表示に重きを置き尺度等は誇張して表現されている。
【実施例】
【００２６】
図８（Ａ）は本発明の実施の形態を示す基本的な構成例を示すものである。
図中１３はＣＣＤのような固体撮像素子１２の撮像面を示している。１例として撮像面１３の中心点１５を通る直線１６で垂直方向を２分割し、直線１７で水平方向を２分割することで撮像面１３を１３ａ、１３ｂ、１３ｃ、１３ｄの領域に４分割する。
【００２７】
４分割された撮像面からそれぞれ斜め方向に位置する領域１３ｂと１３ｄ（斜線部分）を選択しそれぞれの領域の中心部１８、１９に右系と左系の撮像レンズの光軸が位置するよう撮像レンズを配置する。なお、この斜め方向に選択する領域は１３ａと１３ｂであってもよい。このように右系画像と左系画像の撮像領域を選択することで、右系の画像と左系の画像は画面の頂点のみで接するので、右系と左系の撮像レンズの画像が互いに干渉することを避けることができる。なお図８中、右系の撮像レンズの結像領域を破線２１の円で示し、左系の撮像レンズの結像領域は破線２０の円で示している。
【００２８】
特に右系画像と左系画像の大きさを領域１３ｂ、１３ｄよりわずか内側に設定することで右系画像と左系画像の干渉を厳密に避けることが可能になる。
【００２９】
このような条件下では、右系と左系の撮像レンズの鏡筒外径は当然撮像レンズの結像領域を示す円２０、２１内にあることが望ましい。しかしレンズ設計上の制約、機構上の制約がある場合には図８（Ｂ）で点２２、点２３に示すように右系、左系の撮影レンズの光軸をわずか外方にずらすことで、撮影レンズの機械的な外径（２４、２５で示す）を大きくすることも可能である。
【００３０】
図９は測距の基本的な原理を示すもので、撮像レンズＬ１と固体撮像素子ＣＣＤ１は右系の撮像ユニットを、撮像レンズＬ２と固体撮像素子ＣＣＤ２は左系の撮像ユニットを示しＸ−Ｚ座標系で２次元表示をしている。撮像レンズをＸ軸上に配置し、Ｚ軸よりＸ０だけ離れた物点Ｐまでの距離をＳ、撮像レンズから固体撮像素子の結像面までの距離をｆとすれば、Ｘ１＝｛（ｄ／２）＋Ｘ０｝×（ｆ／Ｓ）、Ｘ２＝｛（ｄ／２）−Ｘ０｝×（ｆ／Ｓ）
となり光軸間隔ｄが大きい方が固体撮像素子上の検出精度が上がることがわかる。この光軸間隔はカメラ等の測距計の基線長に相当する。
【００３１】
図８（Ａ）に示すように４分割された撮像面からそれぞれ斜め方向に位置する領域１３ｂと１３ｄ（斜線部分）を選択しそれぞれの領域の中心部１８、１９に右系と左系の撮像レンズの光軸が位置するよう撮像レンズを配置すると、計測に使用できる光軸間隔（基線長）はｄ２となり、水平方向に撮像レンズを並べて配置した場合の光軸間隔ｄ１より大きくなる。
【００３２】
縦横比が３：４の通常の固体撮像素子の撮像面を使用する場合にはｄ２はｄ１の１．２５倍となり、大きさの制約がある１個の固体撮像素子を用いて立体撮像装置を構成する場合には大きな利点となる。
【００３３】
このような立体撮像装置を観察装置として使用する場合には、記憶手段からの右系と左系の画像の読出しに注意しなければならない。通常の立体撮像装置では右系の画像と左系の画像は、水平方向は視差を持たせるため画像の位置がずれているが垂直方向は画像の位置ずれがないことが望ましい。本発明による立体撮像装置では図８に示されているように右系の画像と左系の画像では垂直方向に光軸がｈ１だけずれて配置される。
【００３４】
一般に良好な立体視を得るためには、右系の画像と左系の画像の垂直位置が一致していることが好ましい。本発明の実施例では図８に示すように、右系の画像と左系の画像は垂直位置が垂直方向にｈ１だけずれている。固体撮像素子として１／４インチのＣＣＤを用いた場合を考えると、撮像面の形状は３．６×２．７ｍｍなのでｈ１は最大で１．３５ｍｍとなる。この水平方向のずれは撮像される被写体側から見た場合も同じなので、被写体側でのｈ１のずれ量は撮像面側では撮像倍率（縮小）をかけた量となる。
【００３５】
この様子を図１０で説明する。図中、被写体３０の中心Ｏと撮像装置の右系の撮像レンズ１１Ｒの光軸は同一線上に配置しされている。したがって撮像面１３の右系の撮像領域１３ｂの中止には被写体３０の像が倍率βで縮小結像されている。一方左系の撮像レンズ１１Ｌと撮像面１３の左系の撮像領域１３ｄは、右系の撮像領域に対してｈ１だけ下方にずれて位置している。このずれ量は撮像レンズ１１Ｒと撮像レンズ１１Ｌの光軸間隔となるので、被写体側から見てもｈ１のずれ量があることになる。
【００３６】
撮像倍率をβとすると、被写体側でのｈ１の量はｈ１×βとなるので、左系の画像は撮像領域１３ｄの中心より下方にｈ１×βずれた位置に結像される。
このずれ量を右系の画像と左系の画像で等分に配分し、右系の画像では下側をずれ量の１／２切り取り、左系の画像では上側をずれ量の１／２切り取り右系の画像と左系の画像を並べて配置すると、右系の画像と左系の画像の垂直位置が一致する。
【００３７】
撮像レンズの焦点距離に比べて物点距離が大きく撮像倍率（縮小）が小さい場合にはこの右系と左系画像の垂直方向のずれ量は無視できるが、物点距離が近い場合にはずれ量をこのように補正して画像の記憶手段から読み出すことが有効である。
【００３８】
１例として１／４インチ固体撮像素子の場合を考えると、撮像レンズの画角を８０度位とすると焦点距離は１．３ｍｍ位になるので撮像倍率を１／１５とすれば物点距離は約２０ｍｍとなる。この場合は被写体上の１点をとった場合、撮像面側で右系、左系の画面の垂直方向のずれ量は約０．０９ｍｍとなり２０インチモニター上では約２ｍｍとなるがこのくらいの量であれば大きな違和感がなく立体像の観察が可能であるが、右系と左系の画像を記憶手段から読み出す場合、垂直方向のずれ量を補正することも可能である。
【００３９】
右系、左系の画像を前述の記憶手段から読み出す場合に、あらかじめ前述の垂直方向のずれ量を半分、すなわち０．０４５ｍｍくらい補正しておくことによって、２０インチモニター上でのずれを約１ｍｍ位とすることが可能となり実用上立体視での問題点はほとんどなくなる。
【００４０】
以上１個の固体撮像素子を用い、撮像画面を４分割した領域のうち斜め方向の領域を右系と左系の撮像領域とした立体撮像装置に関して説明したが、一対の撮像レンズの光軸が前記説明の領域内にあれば、実際の撮像画面の領域等をその近傍で変更しても、すべて本発明の技術分野内に含まれる。
【図面の簡単な説明】
【００４１】
【図１】左右一組の撮像ユニットをもった立体撮像装置の基本的な構成を示す概略説明図。
【図２】１個の固体撮像素子を使用して、左右一組の撮像ユニットを構成した立体撮像装置の基本的な構造示す概略説明図。
【図３】１個の固体撮像素子で立体撮像装置を構成する場合の固体撮像素子の形状を説明する原理的な説明図。
【図４】１個の固体撮像素子で立体撮像装置を構成する場合の基本的な問題点を示す説明図。
【図５】１個の固体撮像素子で立体撮像装置を構成する場合の基本的な問題点を示す説明図。
【図６】１個の固体撮像素子で立体撮像装置を構成する場合の基本的な問題点を改善する案の説明図る。
【図７】１個の固体撮像素子で立体撮像装置を構成する場合の基本的な問題点を改善する案の説明図である。
【図８】本発明による立体撮像装置の原理的な構成を示す説明図。
【図９】立体撮像装置で立体計測を行う場合の原理的な説明図。
【図１０】本発明による立体撮像装置を観察装置として使用する場合の説明図。
【符号の説明】
【００４２】
１１Ｒ、１１Ｌ 撮像レンズ
１２、１２Ｒ １２Ｌ 固体撮像素子
１３ 固体撮像素子の撮像面
１３ａ、１３ｂ、１３ｃ、１３ｄ 撮像面を４分割した領域
２０、２１ 撮像レンズの結像領域
１０１、１０１Ｒ、１０１Ｌ 信号処理手段
１０２、１０２Ｒ，１０２Ｌ 駆動手段
１０３ 記憶手段
１０４ 記憶手段の制御手段
１０５ 立体映像信号処理手段
１０６ モニター
１０７ 演算手段
１０８ 計測用モニター
【特許請求の範囲】
【請求項１】
１個の固体撮像素子の撮像面を４分割し、４分割した領域からそれぞれが斜め方向に位置する第１と第２の２個の領域を選択し、選択された第１の領域内に第１の撮像レンズの光軸と、選択された第２の領域内には第２の撮像レンズの光軸が配置される様に第１の撮像レンズと第２の撮像レンズを配置したことを特徴とする立体撮像装置。
【請求項２】
斜めに配置された第１の撮像レンズの光軸と第２の領域内に第２の撮像レンズの光軸の斜め方向の光軸間隔を立体計測装置の基線長とすることを特徴とした請求項１記載の立体撮像装置。
【請求項３】
第1の撮像レンズと第２の撮像レンズに対応して固体撮像素子の撮像面から夫々重ならない様に第1と第２の撮像領域を選択し、第1と第２の撮像領域を含む固体撮像素子からの信号を記憶手段に記憶させ、前期記憶手段に記録された信号から視差を有する右系、左系の画像信号を取り出すことを特徴とした請求項１記載の立体撮像装置。
【請求項１】
１個の固体撮像素子の撮像面を４分割し、４分割した領域からそれぞれが斜め方向に位置する第１と第２の２個の領域を選択し、選択された第１の領域内に第１の撮像レンズの光軸と、選択された第２の領域内には第２の撮像レンズの光軸が配置される様に第１の撮像レンズと第２の撮像レンズを配置したことを特徴とする立体撮像装置。
【請求項２】
斜めに配置された第１の撮像レンズの光軸と第２の領域内に第２の撮像レンズの光軸の斜め方向の光軸間隔を立体計測装置の基線長とすることを特徴とした請求項１記載の立体撮像装置。
【請求項３】
第1の撮像レンズと第２の撮像レンズに対応して固体撮像素子の撮像面から夫々重ならない様に第1と第２の撮像領域を選択し、第1と第２の撮像領域を含む固体撮像素子からの信号を記憶手段に記憶させ、前期記憶手段に記録された信号から視差を有する右系、左系の画像信号を取り出すことを特徴とした請求項１記載の立体撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２００８−２０５５４１（Ｐ２００８−２０５５４１Ａ）
【公開日】平成２０年９月４日（２００８．９．４）
【国際特許分類】
【出願番号】特願２００７−３５９５９（Ｐ２００７−３５９５９）
【出願日】平成１９年２月１６日（２００７．２．１６）
【出願人】（５９７１０５１５３）株式会社メディア・テクノロジー (25)
【出願人】（５０２０８５６２８）有限会社 アイシステムズ (15)
【Ｆターム（参考）】
【公開日】平成２０年９月４日（２００８．９．４）
【国際特許分類】
【出願日】平成１９年２月１６日（２００７．２．１６）
【出願人】（５９７１０５１５３）株式会社メディア・テクノロジー (25)
【出願人】（５０２０８５６２８）有限会社 アイシステムズ (15)
【Ｆターム（参考）】
[ Back to top ]