距離測定装置および距離測定方法
【課題】対象物の距離情報を短時間で測定できる、小型の情報測定装置を提供する。
【解決手段】画像センサカメラ１と、画像キャプチャボード２と、画像データを保存するメモリ３と、メモリ３に保存された画像データから対象物までの距離情報を算出する画像処理部４と、画像処理部４で算出された距離情報を表示する表示モニタ５とを備える。画像センサカメラ１は、メインレンズ１１と、シャッター１２と、マイクロレンズアレイ１３と、撮像セルアレイ１４とを含む。シャッター１２の開口パターンは複数あり、各パターンにおいて、シャッター１２の各開口部を通過する光は、撮像セルアレイ１４の互いに異なる領域に入射する。
【解決手段】画像センサカメラ１と、画像キャプチャボード２と、画像データを保存するメモリ３と、メモリ３に保存された画像データから対象物までの距離情報を算出する画像処理部４と、画像処理部４で算出された距離情報を表示する表示モニタ５とを備える。画像センサカメラ１は、メインレンズ１１と、シャッター１２と、マイクロレンズアレイ１３と、撮像セルアレイ１４とを含む。シャッター１２の開口パターンは複数あり、各パターンにおいて、シャッター１２の各開口部を通過する光は、撮像セルアレイ１４の互いに異なる領域に入射する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子で取得した、対象物の画像データに基づいて、対象物までの距離を測定する技術に関する。
【背景技術】
【０００２】
近年、産業用ロボットや各種ＦＡ（Factory Automation）機器を用いた生産ラインを自動化するシステムの構築、あるいは、知能ロボットのインテリジェント化を図るために、対象物の距離情報を取得するための視覚センサが重要となってきている。特に、ロボットアームを用いたシステムにおいては、ワークの位置、姿勢、形状等の計測のための視覚センサとして画像センサカメラが多く用いられている。
【０００３】
また、半導体デバイスや回路部品の実装基板の製造などにおいても、品質を管理するために半田バンプや金バンプなど２次元状に配置された微小なデバイスの高さ情報を測定するというニーズが高まっている。
【０００４】
このようなニーズに対応するために、従来、２次元の画像センサカメラの画像から擬似的に高さや姿勢情報を検出する方法や、複数の画像センサカメラを用いたステレオ方式による３次元情報測定システムなどが用いられている。
【０００５】
また、比較的小さな対象物の高さ情報を測定する方法として、共焦点顕微鏡の原理を利用した高さ測定法が提案されている。例えば、特開２００３−７５１１９号公報（特許文献１）には、共焦点顕微鏡の原理を用いた高さ情報測定装置が記載されている。
【０００６】
この高さ情報測定装置について、図１５、図１６を用いて説明する。図１５は、共焦点顕微鏡の原理を用いた高さ情報測定装置の構成を示す図である。また、図１６は、共焦点顕微鏡の原理を用いた高さ情報測定装置による試料の高さ情報の検出アルゴリズムを説明する図である。図１５に示すように、光源１０３、対物レンズ１０４、２次元画像カメラ１０２を備えた共焦点光学系１０１により、試料１０６を載せたステージ１０５を高さ方向に移動させながら、その高さ方向において互いに異なる複数の高さ位置で水平面の共焦点画像をそれぞれ撮像する構成を有している(図１６（ａ）（ｂ）)。この高さ情報測定装置は、複数の共焦点画像の画素毎の輝度情報を比較し最大輝度を求め、最大輝度を有する画素を含む共焦点画素データを用いて粒子解析を行なって特定領域を抽出する。そして、抽出された領域における輝度と高さの代表値を算出し、試料の高さ情報を求めるものである（図１６（ｃ））。
【０００７】
また、撮像素子を用いたカメラシステムにおいて、取得した画像データをデジタル処理により合成し、後で好きなようにピントを手前または奥に移動できるプレノプティックカメラ技術が、“Ｓｉｎｇｌｅ Ｌｅｎｓ Ｓｔｅｒｅｏ ｗｉｔｈ ａ Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ”，ＩＥＥＥ ＴＲＡＮＳＡＣＴＩＯＮＳ ＯＮ ＰＡＴＴＥＲＮ ＡＮＡＬＹＳＩＳ ＡＮＤ ＭＡＣＨＩＮＥ ＩＮＴＥＬＬＩＧＥＮＣＥ，ＶＯＬ．１４，ＮＯ．２，ＦＥＢＲＵＡＲＹ １９９２（非特許文献１）や“Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ ｗｉｔｈ ａ Ｈａｎｄ−ｈｅｌｄ Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ”，Ｓｔａｎｆｏｒｄ Ｔｅｃｈ Ｒｅｐｏｒｔ ＣＴＳＲ ２００５−０２（非特許文献２）の中で提案されている。これらの文献に記載のプレノプティックカメラは、普通のカメラレンズと同様の撮像レンズを有するが、普通のカメラとは、マイクロレンズアレイが像平面に正確に配置され、さらにマイクロレンズアレイより多くの撮像ピクセルを有するイメージセンサアレイ（撮像セルアレイ）がマイクロレンズアレイのすぐ背後に置かれている点で異なる。マイクロレンズアレイ内のレンズの数で最終画像の画素数は決まるが、単一マイクロレンズに割り当てられた多数のセンサピクセルにより、そのマイクロレンズに入射する光の方向と強度を記録することができる。そのデータを用いて、所定の距離にピントを合せた画像を再構成することができるというものである。
【特許文献１】特開２００３−７５１１９号公報
【非特許文献１】“Ｓｉｎｇｌｅ Ｌｅｎｓ Ｓｔｅｒｅｏ ｗｉｔｈ ａ Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ”，ＩＥＥＥ ＴＲＡＮＳＡＣＴＩＯＮＳ ＯＮ ＰＡＴＴＥＲＮ ＡＮＡＬＹＳＩＳ ＡＮＤ ＭＡＣＨＩＮＥ ＩＮＴＥＬＬＩＧＥＮＣＥ，ＶＯＬ．１４，ＮＯ．２，ＦＥＢＲＵＡＲＹ １９９２
【非特許文献２】“Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ ｗｉｔｈ ａ Ｈａｎｄ−ｈｅｌｄ Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ”，Ｓｔａｎｆｏｒｄ Ｔｅｃｈ Ｒｅｐｏｒｔ ＣＴＳＲ ２００５−０２
【発明の開示】
【発明が解決しようとする課題】
【０００８】
２次元の画像センサカメラの画像から擬似的に高さや姿勢情報を検出する方法では直接奥行き距離や高さ情報が検出できないといった問題がある。また、複数の画像センサカメラを用いたステレオ方式による３次元情報測定システムを用いた距離測定には、複数のカメラや複雑な画像処理が必要などの課題があった。
【０００９】
また、特許文献１に記載の、共焦点顕微鏡の原理を用いて複数の共焦点画像を取得する場合には、ステージの面方向への走査と高さ方向への移動という操作が必要で、オートフォーカス機構を含む移動機構系が大型になるという問題がある。また、試料の高さを変えて、試料の２次元画像データを複数回取得するには、ステージの移動、静止、対物レンズのオートフォーカシングなどのため、要する時間が長くなるといった課題もある。
【００１０】
また、非特許文献１や２に記載のプレノプティックカメラ技術においては、取得画像データに対して、例えばオペレータがピント位置（距離）を入力することで、その位置にフォーカシングされた画像をデータの並び替え（再構成）により作り出すことはできるが、それを用いて対象物の距離情報を算出することはできない。
【００１１】
本発明は、このような課題に着目してなされたものであり、その目的とするところは、対象物の距離情報を短時間で測定できる、小型の情報測定装置を提供することにある。
【課題を解決するための手段】
【００１２】
１つの局面に係る本願発明は、対象物までの距離を測定するための距離測定装置であって、撮像素子を有するカメラを備え、撮像素子は、それぞれが対象物からの物体光を画像信号に変換する複数の撮像セルからなり、カメラは、物体光を集光する撮像レンズと、撮像レンズを通過した物体光が入射する複数の集光器からなる集光アレイと、撮像素子に入射する光を制御するシャッターとを含み、シャッターは、複数の集光器を透過する光を遮蔽する複数の遮光部および複数の集光器を透過する光を通す複数の開口部が、それぞれ配置される複数の配置パターンを有し、各集光部を透過する光は、いずれか１つの配置パターンにおいて、シャッターを通過し、各配置パターンにおいて、各開口部を透過した物体光は、撮像素子上の互いに異なり、各々が集光器の大きさよりも大きい領域に入射し、各配置パターンにおいてカメラで得た画像信号を、各領域における物体光を検出した撮像セルの位置により定まる物体光の集光器への入射方向に基づいて並び替えて、並び替えた各画像信号を合成し、撮像素子が複数の仮想位置の各々に位置する場合に得られるべき再構成画像を生成する再構成手段と、各領域に入射する光量が最大となる仮想位置を特定し、カメラの光学系のパラメータに基づき特定された仮想位置を変換し距離を算出する距離算出手段とをさらに備える。
【００１３】
好ましくは、各領域の外周が互いに接する。
好ましくは、各配置パターンにおいて、複数の遮光部および複数の開口部は市松模様に配置される。
【００１４】
好ましくは、各配置パターンにおいて、近接する２×２の集光器に対応する複数の遮光部および複数の開口部は、２×２の集光器のうち所定の１つの集光器の光を透過するように配置される。
【００１５】
好ましくは、シャッターは、液晶シャッターである。
好ましくは、シャッターは、所定の開口を持ち、複数のパターンに対応して移動可能な遮光マスクである。
【００１６】
他の局面に係る本願発明は、撮像素子を有するカメラを用いて、対象物までの距離を測定するための距離測定方法であって、撮像素子は、それぞれが対象物からの物体光を画像信号に変換する複数の撮像セルからなり、カメラは、物体光を集光する撮像レンズと、撮像レンズを通過した物体光が入射する複数の集光器からなる集光アレイと、撮像素子に入射する光を制御するシャッターとを含み、シャッターは、複数の集光器を透過する光を遮蔽する複数の遮光部および複数の集光器を透過する光を通す複数の開口部が、それぞれ配置される複数の配置パターンを有し、各集光部を透過する光は、いずれか１つの配置パターンにおいて、シャッターを通過し、各配置パターンにおいて、各開口部を透過した物体光は、撮像素子上の互いに異なり、各々が集光器の大きさよりも大きい領域に入射し、各配置パターンにおいてカメラで画像信号を得るステップと、各配置パターンにおいてカメラで得た画像信号を、各領域における物体光を検出した撮像セルの位置により定まる物体光の集光器への入射方向に基づいて並び替えて、並び替えた各画像信号を合成し、撮像素子が複数の仮想位置の各々に位置する場合に得られるべき再構成画像を生成するステップと、各領域に入射する光量が最大となる仮想位置を特定し、カメラの光学系のパラメータに基づき特定された仮想位置を変換し距離を算出するステップとを備える。
【発明の効果】
【００１７】
本発明は、複数パターンのシャッターを透過した物体光の撮像データから画像処理により、異なるフォーカシング状態の複数の画像データを生成し、その画像データより対象物までの距離情報を得ることができる。従って、カメラレンズのフォーカシング機構やステージなどの移動機構が不要となり、小型の距離情報測定装置が実現できる。また、カメラの移動時間や移動に伴う各画像のマッチング操作などの時間が不要となり、短時間で距離測定を行なえる。
【発明を実施するための最良の形態】
【００１８】
以下、図面を参照しながら本発明の実施形態を説明する。なお、本発明は以下の実施形態に限定されるものではない。
【００１９】
［第１の実施の形態］
（１．構成）
図１を用いて、第１の実施の形態に係る距離測定装置の構成について説明する。図１は、本発明の実施の形態に係る距離測定装置の概略構成図である。
【００２０】
距離測定装置は、画像センサカメラ１と、画像キャプチャボード２と、画像データを保存するメモリ３と、メモリ３に保存された画像データから対象物までの距離情報を算出する画像処理部４と、画像処理部４で算出された距離情報を表示する表示モニタ５とを備える。
【００２１】
画像センサカメラ１は、対象物の画像データを取得する。画像センサカメラ１は、撮像レンズ１１（以後は、メインレンズと呼ぶ）と、シャッター１２と、複数のマイクロレンズからなるマイクロレンズアレイ１３と、撮像セルアレイ１４とからなる。
【００２２】
メインレンズ１１には、対象物からの物体光が入射する。メインレンズ１１は、入射した対象物からの物体光を集光する。
【００２３】
シャッター１２は、マイクロレンズアレイ１３の手前（メインレンズ１１側）に設置され、マイクロレンズを透過する光量を制御する。なお、ここでは、シャッター１２は、マイクロレンズアレイ１３の手前に設置されるものとしているが、マイクロレンズアレイ１３の後方（撮像セルアレイ１４側）に設置されていてもよい。つまり、各マイクロレンズを透過する光量を制御できるように、マイクロレンズアレイ１３の近傍に配置されていればよい。シャッター１２は、あとで詳しく述べるように、複数の開口パターンで光量を制御する。本実施の形態では、シャッター１２として、液晶シャッターを用いる。ただし、シャッター１２は、液晶シャッターに限られるものではない。例えば、所定の開口パターンをもち、複数の開口パターンに対応して移動可能な遮光マスクをシャッター１２として用いることもできる。
【００２４】
マイクロレンズアレイ１３には、メインレンズ１１およびシャッター１２を通過した物体光が入射する。マイクロレンズアレイ１３に含まれる複数のマイクロレンズの各々は、物体光を集光する。なお、マイクロレンズアレイ１３は、複数の集光器からなる集光アレイの一例である。例えば、マイクロレンズアレイ１３のかわりに、複数のピンホールからなるピンホールアレイを用いても構わない。
【００２５】
撮像セルアレイ１４は、シャッター１２およびマイクロレンズアレイ１３を通過した物体光の画像データを取得する。撮像セルアレイ１４は、複数の撮像セルを有する。撮像セルアレイ１４の撮像セルおよび撮像セルアレイ１４により取得される画像データについては、後で詳述する。撮像セルとしては、例えば、ＣＣＤ（charge-coupled device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどを用いることができる。
【００２６】
画像キャプチャーボード２は、撮像セルアレイ１４で取得された画像データを取り込み、以降の処理が行なえる形に変換する。メモリ３は、画像キャプチャーボード２から転送された画像データを格納する。
【００２７】
画像処理部４は、メモリ３から画像データを読出し、読み出した画像データに基づき、物体までの距離を算出する処理を行なう。画像処理部４は、画像データに含まれる画素データを並び替えて、撮像セルアレイ１４が異なる複数の仮想位置の各々に位置する場合に得られるべき再構成画像を生成する再構成部４ａと、再構成画像に基づいて対象物までの距離を算出する距離情報算出部４ｂとからなる。画像処理部４の行なう処理の詳細については、後述する。
【００２８】
（２．画像センサカメラの特徴について）
本発明においては、画像センサカメラ１の光学系の構成に特徴があり、図２を用いて、その特徴を説明する。図２は、画像センサカメラ１の光学系を示す図である。なお、簡単のため、図２には、対象物１５が点光源である場合を示す。
【００２９】
画像センサカメラ１のマイクロレンズアレイ１３は、対象物１５がＡの位置にある場合に、メインレンズ１２より対象物１５がほぼ結像する位置に配置される。このときのＡの位置を合焦点位置、合焦点位置よりもメインレンズ１１に近い側を近点位置、合焦点位置よりもメインレンズ１１から遠い側を遠点位置と呼ぶ。撮像セルアレイ１４はマイクロレンズアレイ１３のほぼ焦点位置に配置されている。撮像セルアレイ１４には、対象物の光が、マイクロレンズを通して、入射される。また、それぞれのマイクロレンズを通過した光が、互いに重なることなく撮像セルアレイ１４上に入射するように、画像センサカメラ１の光学系は調整されているものとする。
【００３０】
次に、図３〜図９を用いて、この画像センサカメラ１により撮像される画像について説明する。
【００３１】
図３を用いて、対象物１５の結像について説明する。図３は、対象物１５が近点位置Ｂまたは遠点位置Ｃにある場合の集光の様子を示す図である。対象物１５が位置Ｂにある場合、対象物１５からの光は、メインレンズ１１により、面Ｄに集光(結像)する。また、位置Ｃにある場合、面Ｆに集光（結像）する。また、面Ｅは、合焦位置Ａに対する集光面であり、ほぼマイクロレンズアレイ１３の位置に相当する。面Ｆ，Ｅ，ＤをそれぞれＣ，Ａ，Ｂに対する仮想焦点面と呼ぶ。
【００３２】
続いて、対象物１５が図３の位置Ａ，Ｂ，Ｃにある場合に撮像セルアレイ１４により、どのような画像が撮像されるかを図４、図５を用いて説明する。図４はマイクロレンズアレイ１３上の入射光１５の形状を示す図であり、図５は撮像セルアレイ１４上の入射光１６の形状を示す図である。
【００３３】
まず、対象物１５が図３の位置Ａ，Ｂ，Ｃにある場合にマイクロレンズアレイ１３上にどのような形状の入射光１５が入射するかについて図４を用いて説明する。図４に示すように、本実施例においては、マイクロレンズアレイ１３は、２次元面内に配列された円形のマイクロレンズからなるものとする。また、各マイクロレンズには、それらを識別するための番号Ｍ（ｉ，ｊ）が与えられているものとする。
【００３４】
図４においては、シャッター１２の開口パターンを合わせて示している。本実施の形態においては、シャッター１２は、図４（ａ）、図４（ｂ）、図４（ｃ）に示す第１パターン、および、図４（ｄ）、図４（ｅ）、図４（ｆ）に示す第２パターンをもつ。図４の白色の部分が開口部、斜線の部分が遮光部をそれぞれ表わす。図４に示すように、第１パターンおよび第２パターンにおいて、開口部および遮光部は市松模様に配置される。すなわち、各パターンの開口部および遮光部は、互いに隣り合うように配置されている。また、第１パターンおよび第２パターンでは、遮光部と開口部とが反転している。
【００３５】
図４（ａ）（ｄ）、図４（ｂ）（ｅ）、図４（ｃ）（ｆ）は、それぞれ、対象物１５が、遠点位置Ｃにある場合、合焦位置Ａにある場合、近点位置Ｂにある場合のマイクロレンズアレイ１３上の入射光１５の形状を示す図である。
【００３６】
合焦位置Ａにある対象物１５からの光は図４（ｂ）（ｅ）のようにほぼマイクロレンズＭ（２，２）上に集光される。
【００３７】
対象物１５が遠点位置Ｃにある場合、対象物１５からの光は、メインレンズ１１を通して一旦集光された後、さらにデフォーカス状態になって広がってマイクロレンズ１２上に入射する。したがって、図４（ａ）（ｄ）に示すように、マイクロレンズアレイ１３上の入射光１５は、マイクロレンズＭ（３，３）の周辺レンズＭ（２，３）、Ｍ（３，２）、Ｍ（３，４）、Ｍ（４，３）にまで広がる。
【００３８】
対象物１５が近点位置Ｂにある場合は、集光前のデフォーカス状態の光が、マイクロレンズ１２上に入射する。したがって、図４（ｃ）（ｆ）に示すように、マイクロレンズアレイ１３上の入射光１５は、マイクロレンズＭ（３，３）の周辺レンズＭ（２，３）、Ｍ（３，２）、Ｍ（３，４）、Ｍ（４，３）にまで広がる。
【００３９】
撮像セルアレイ１４上の入射光１６について図５を用いて説明する。図５に示すように、撮像セルアレイ１４は、複数の撮像セルからなる。図５では、撮像セルアレイ１４を、マイクロレンズの番号に対応する番号Ｔ（ｉ，ｊ）を付した区域に分けて示している。なお、図では、各区域が１０×１０の撮像セルで構成されている場合を示しているが、撮像セルアレイ１４のセルの数はこれに限られない。
【００４０】
対象物１５が合焦位置Ａにある場合、図４（ｂ）（ｅ）のようにほぼマイクロレンズＭ（３，３）上に集光された光が、撮像セルアレイ１４に入射する。したがって、シャッター１２の開口位置が第１パターンのときは、撮像セルアレイ１４に入射する光は、図５（ｂ）に示すように、撮像セルアレイ１４の区域Ｔ（３，３）を中心とする数区域に広がる。シャッター１２の開口位置が第１パターンのときは、シャッター１２により光が遮られるため、図５（ｅ）に示すように、撮像セルアレイ１４には、光は入射しない。
【００４１】
対象物１５が遠点位置Ｃにあり、シャッター１２の開口位置が第１パターンのときは、図５（ａ）に示すように、区域Ｔ（３，３）の中心付近に光が入射する。開口位置が第２パターンのときは、マイクロレンズアレイ１３上で、図４（ｄ）のように周辺レンズＭ（２，３）、Ｍ（３，２）、Ｍ（３，４）、Ｍ（４，３）に広がった光が、撮像セルアレイ１４に入射する。これらの周辺レンズに入射した光は、撮像セルアレイ１４上では、図５（ｄ）に示すように、区域Ｔ（１，３）、Ｔ（２，３）、Ｔ（３，１）、Ｔ（３，２）、Ｔ（３，４）、Ｔ（３，５）、Ｔ（４，３）、Ｔ（４，５）の一部に入射する。
【００４２】
近点位置Ｂに対象物１５が位置する場合に、撮像セルアレイ１４に入射する光の形状は、図５（ｃ）あるいは図５（ｆ）のようになる。開口位置が第１パターンのときは、図５（ｃ）のように、区域Ｔ（３，３）に光が入射する。開口位置が第２パターンのときは、区域Ｔ（３，３）、Ｔ（３，２）、Ｔ（３，４）、Ｔ（２，３）Ｔ（４，３）の一部に光が入射する。
【００４３】
（３．画像の再構成について）
次に、本装置において距離情報を算出するための基本操作である、各仮想面での像の再構成について説明する。
【００４４】
画像の再構成にあたっては、画像センサカメラ１で取得した画像データから、マイクロレンズへの物体光の入射方向の情報を得られるという点が重要である。画像データから入射方向の情報が得られることを、図５を再度用いて説明する。例えば、開口位置が第２パターンであるとき、遠点位置Ｃにある対象物１５からの光は、図５（ｄ）に示すように、区域Ｔ（３，３）の周囲のセルに入射する。また、近点位置Ｂにある対象物１５からの光は、図５（ｆ）に示すように、区域Ｔ（３，３）を中心とするセルに入射する。このように、対象物１５が遠点位置Ｃにあるか近点位置Ｂにあるかにより、光が入射するセルの、区域Ｔ（３，３）からの距離が異なる。このことを利用し、どのセルに光が入射したかにより、各マイクロレンズへの物体光の入射方向の情報を得ることができる。
【００４５】
この入射方向の情報、仮想面の位置（仮想位置）、および、光学系のパラメータ（メインレンズ１１とマイクロレンズアレイ１３間の距離など）に基づき、撮像セルアレイ１４が取得した画素データを並び替え、さらに並び替えで得られた画像データを合成することで、撮像セルアレイ１４が仮想位置にある場合に取得されるべき画像データを再構成することができる。
【００４６】
再構成の具体例を図６を用いて説明する。図６は、対象物１５の撮影像のデータから得た再構成画像を示す図である。
【００４７】
物体が合焦位置Ａにある場合、図５（ｂ）および図５（ｅ）の画像データを合成して、図６（ｂ）の再構成画像が得られる。
【００４８】
図６（ａ）は、図５（ａ）および図５（ｄ）に示した画像データから再構成した仮想面Ｆ上での光の分布を示したもので、合焦位置での光ビーム状態とほぼ同じになる。周囲の決まったセルに入射する光を変換して得られる出力信号（画像信号）を、セル位置に基づいて分かる入射方向に応じて並び替え、区域Ｔ（３，３）の中央付近の出力信号と足し合わせることで、仮想の焦点面での画像を作り出すことができる。
【００４９】
近点位置Ｂにある対象物（点像）に対しても、同様に、図６（ｃ）の再構成画像が生成できる。ただし、撮像セルアレイ１４上での広がり（分割状態）は、図５（ｃ）のように遠点状態とは異なるので、並び替えの演算は図６（ａ）の再構成像を得る場合とは異なる。
【００５０】
図６に示したのは、焦点位置にある仮想面で得られるべき再構成画像である。一般には、複数の仮想位置に対して、再構成画像を計算する。複数の仮想位置の中には、図６（ｂ）のようなピントの合った再構成画像を得られる位置がある。その位置から、対象物までの距離を求めることができる。
【００５１】
具体的には、各開口部を透過した光が入射しうる領域に、最大の光量が入射した仮想位置を、ピントの合う位置として求める。本実施例では、各領域に入射する光量の総和あるいは平均値（以下、これらを総称して「輝度情報」とよぶ）を計算し、輝度情報が最大となる場合の仮想位置をピントの合う位置として求めるものとする。
【００５２】
なお、ここでは対象物が点像の場合の例を示したが、大きさを有する対象物の場合にも、同様の操作で画像の再構成ができる。ただし、大きさを有する画像の場合、全ての開口部に光が入射するので、各開口部を透過した光に対して同様の操作を行う必要がある。
【００５３】
（４．距離の分解能について）
本発明のように、複数の開口パターンで取得した画像データを利用することで、シャッターを用いない場合に比べ、距離の分解能を向上することができる。このことを、図７、図８を参照して説明する。図７は、シャッターを用いない場合の光学系および撮像セルへの入射光を示す図である。図８は、第１の実施の形態に係る光学系および撮像セルへの入射光を示す図である。
【００５４】
まず、シャッターを用いない場合の距離の分解能について、図７を参照して説明する。 距離分解能は、各マイクロレンズを透過した入射光のＸ軸上あるいはＹ軸上に配列された画素数に依存し、この画素数が少なくなると、距離分解能が低下する。
【００５５】
したがって、距離分解能は、メインレンズおよびマイクロレンズのＦナンバーに依存する。ここで、レンズのＦナンバーとは、（レンズの焦点距離）÷（レンズ直径）であり、図７（ａ）において、メインレンズのＦナンバー（Ｆｍ）はｆｍ／Ｗｍ、マイクロレンズのＦナンバー（Ｆａ）はｆａ／Ｗａで表される。
【００５６】
Ｆｍを大きくすると、撮像セルアレイ１４上の光のサイズが小さくなるため、距離分解能が低下する。よって、距離分解能の向上のためには、Ｆｍを小さくすればよいように思われる。
【００５７】
ところが、Ｆｍ＜Ｆａの条件下では、マイクロレンズを透過する光のサイズが、マイクロレンズアレイピッチよりも大きくなるため、異なるマイクロレンズを通過した光の外縁同士が重なる。この重なりのために、距離情報を得ることができなくなる。
【００５８】
したがって、シャッターを用いない場合に最大の距離分解能が得られるのは、メインレンズのＦナンバーＦｍと、マイクロレンズのＦナンバーＦａが、Ｆｍ≒Ｆａを満たすときである。このときの、撮像セルアレイ１４上の光の分布パターンを図７（ｂ）に示す。図７（ｂ）では、各マイクロレンズを透過する光の強度分布を、破線で示している。破線の円を囲む正方形の領域内で画像信号を並び替えることにより、再構成画像が得られる。
【００５９】
次に、図８（ａ）に示すようにシャッター１２を用いる場合について説明する。この場合、シャッターを用いない場合に比べ、Ｆａを大きくできる。本実施の形態では、Ｆａ＝√２×Ｆｍを満たすものとする。
【００６０】
Ｆａ＝√２×Ｆｍとした場合でも、シャッター１２より一部のマイクロレンズからの光が遮られているため、シャッター１２およびマイクロレンズアレイ１３を透過した光の撮像セルアレイ１４上での分布パターンは、図８（ｂ）の破線のようになる。すなわち、異なるマイクロレンズを透過する光は、互いに異なる領域に入射する。Ｆａ＝√２×Ｆｍの場合、各領域の外周同士は接し、各開口部からの光に対応するセル数が最大になる。
【００６１】
このように、撮像セルアレイ１４上での光分布パターンのサイズをマイクロレンズアレイピッチの√２倍（≒１．４倍）まで拡大しても、光分布パターンの外縁が重ならないので、距離情報を得るためのセル数を拡大することができる。
【００６２】
本実施例では、Ｆａ＝√２×Ｆｍの関係となるようメインレンズのＦナンバーを定めているので、撮像セルアレイ１４上での光分布パターンのサイズはマイクロレンズアレイピッチの√２倍に拡大される。よって、１つのマイクロレンズに対応する領域として、図８（ｂ）の太線で囲まれる正方形領域を用いることができる。この領域中のＸ軸上あるいはＹ軸上のセル数は、シャッターなしの場合に比べ、ほぼ１．４倍となり、１．４倍の距離分解能が得られる。
【００６３】
シャッター１２の１つのパターンに対応する画像から、距離情報を取得すると仮定すると、Ｘ方向およびＹ方向の分解能が１／２になってしまう。そこで、本実施の形態では、開口位置を変化させて２回のステップに分けて、撮影像を取得することにより、水平分解能を保ったまま、奥行き（距離）分解能を１．４倍に改善している。
【００６４】
（５．処理の流れについて）
第１の実施の形態に係る距離測定装置を用いた距離測定における処理の流れについて図９を参照して説明する。図９は、第１の実施の形態に係る距離測定のフローチャートである。
【００６５】
ステップＳ１０１において、カメラ１により、シャッター１２の開口パターンが第１パターンであるときの画像データを取得する。
【００６６】
次に、ステップＳ１０２において、カメラ１により、シャッター１２の開口が第２パターンであるときの画像データを取得する。
【００６７】
そして、ステップＳ１０３において、再構成部４ａは、ステップＳ１０１、ステップＳ１０２で得られた各画像データを、並び替える。さらに並び替えた画像データを合成し、複数の仮想面における再構成画像を作成する。
【００６８】
ステップＳ１０４において、距離情報算出部４ｂは、再構成画像の輝度情報を算出する。すなわち、各開口部を通過した光に対応する領域で検出される光強度の総和あるいは平均値を算出する。
【００６９】
ステップＳ１０５において、距離情報算出部４ｂは、各領域について、最も大きな輝度情報を与える仮想面を求める。ここでは、そのような仮想面を代表面と呼ぶ。
【００７０】
ステップＳ１０６において、距離情報算出部４ｂは、光学系のパラメータを用いて、代表面の位置を対象物までの距離に変換する。
【００７１】
（６．第１の実施の形態の変形例）
第１の実施の形態では、シャッター１２は液晶シャッターであるとしていた。しかし、説明した２つのパターンを実現できるものを液晶シャッターのかわりに用いることもできる。例えば、図１０に示す開口部を有する金属マスクであって、ＸあるいはＹ方向にマイクロレンズの直径に相当する距離だけ移動させることができるものを、シャッター１２として用いることができる。
【００７２】
［第２の実施の形態］
次に、第２の実施の形態に係る距離測定装置について説明する。第２の実施の形態に係る距離測定装置は、第１の実施の形態に係る距離測定装置とほぼ同様の構成をもつ。ただし、第１の実施の形態とは、シャッター１２の開口パターンが異なる。よって、画像の再構成方法も異なる。
【００７３】
シャッター１２の開口パターンについて図１１を参照して説明する。図１１はマイクロレンズアレイ１３上の入射光１６の形状を示す図である。図１１の白色部が、シャッター１２の開口部、斜線部がシャッター１２の遮光部を示す。
【００７４】
シャッター１２は、まず、第１ステップで図１１（ａ）に示すように４区画のうち１区画に開口を設けるよう制御される。第２ステップでは、シャッター１２は、図１１（ｂ）に示すように、４区画のうち第１ステップとは異なる区画に開口を設けるように制御される。さらに、シャッター１２は、第３、第４ステップでは、それぞれ、図１１（ｃ）、図１１（ｄ）に示すように開口位置が変化するよう制御される。
【００７５】
また、本実施の形態では、マイクロレンズのＦナンバーはメインレンズのＦナンバーの２倍に設定されているものとする。よって、シャッター１２およびマイクロレンズアレイ１３を透過後の合焦位置Ａの点像からの光の分布パターンの撮像セルアレイ１４上でのサイズ（図１１中、太線の円で示す）は、マイクロレンズのＦナンバーとメインレンズのＦナンバーを同一にしたときの２倍になる。
【００７６】
図３の対象物１５が遠点位置Ｃに位置した場合の、撮像セルアレイ１４への入射光１６について、図１２を参照して説明する。図１２は、対象物１５が遠点位置Ｃに位置した場合の、撮像セルアレイ１４上の入射光１６の形状を示す図である。
【００７７】
このときの撮影像は、シャッター１２のパターンの切り替えに対応して、図１２に示すように変化する。図１１（ａ）〜（ｄ）の開口状態での撮影像は、それぞれ、図１２（ａ）〜（ｄ）のようになる。
【００７８】
点Ｃからの光はメインレンズ１１を通して一旦集光された後、デフォーカス状態になって広がり、シャッター１２、マイクロレンズアレイ１３に入射する。このとき、図１１に示すように、Ｍ（３，３）のマイクロレンズだけでなく、Ｍ（２，２）、Ｍ（３，２）、Ｍ（４，２）、Ｍ（２，３）、Ｍ（４，３）、Ｍ（２，４）、Ｍ（３，４）、Ｍ（４，４）のマイクロレンズ（以下、周辺レンズ）の一部にも光が広がる。
【００７９】
第１パターンのシャッター１２は、周辺レンズを透過する光を遮る。よって、第１ステップにおいては、マイクロレンズＭ（３，３）を透過した光のみが撮像セルアレイ１４に導かれる。このとき撮像セルアレイ１４には、図１２（ａ）に示されるような光が入射する。
【００８０】
第２ステップでは、図１１（ｂ）に示すような開口パターンとなるので、マイクロレンズＭ（３，３）は遮光され、周辺レンズＭ（３，２）、Ｍ（３，４）上のシャッターは開放される。よって、撮像セルアレイ１４上には、図１２（ｂ）に示される形状の光が入射する。
【００８１】
第３ステップでは、シャッター１２の開口位置は図１１（ｃ）のようになり、マイクロレンズＭ（３，３）は遮光され、周辺レンズＭ（２，２）、Ｍ（４，２）、Ｍ（２，４）、Ｍ（４，４）上のシャッターは開放される。撮像セルアレイ１４には、図１２（ｃ）に示されるような形状の光が入射する。
【００８２】
第４ステップでは、液晶シャッター１２の開口位置は図１１（ｄ）のように変化する。このときレンズＭ（３，３）は遮光され、周辺レンズＭ（２，３）、Ｍ（４，３）上のシャッターは開放される。撮像セルアレイ１４には、図１２（ｄ）に示されるような形状の光が入射する。
【００８３】
４回のステップで得た４枚の撮影像に対し、第１の実施例で説明したのと同様の操作により、図１２（ｅ）に示すような再構成画像が得られる。図１２（ｅ）に示した再構成画像は、仮想面が、ピントのあった位置にある場合のものである。複数の仮想面に対応する再構成画像から、距離情報を求めることができる。
【００８４】
本実施の形態では、図１３に示すように、合焦位置Ａの点像からの光により撮像セルアレイ１４に形成されるスポット径が、マイクロレンズのＦナンバーとメインレンズのＦナンバーを同一にしたときの２倍になる。図１３（ｂ）の太線で囲まれる正方形領域に含まれる画素群が、そのスポット径に対応する。画素群の各方向の画素数は、マイクロレンズのＦナンバーとメインレンズのＦナンバーを同一にしたときの２倍である。よって、Ｚ方向の距離分解能は、そのときの２倍になる。
【００８５】
しかし、このときＸおよびＹ方向の分解能は１／４になるため、開口位置を変化させて４回のステップに分けて撮影像を取得することにより、水平分解能を保ったまま、奥行き分解能を２倍に改善している。
【００８６】
なお、この開口位置変化については、第１の実施の形態と同様に、図１１に示す開口部を有する金属マスクをＸおよびＹ方向にマイクロレンズの直径に相当する距離だけ移動させることでも実現できる。
【００８７】
図１４を参照して、第２の実施の形態に係る距離測定の処理の流れを説明する。図１４は、第２の実施の形態に係る距離測定のフローチャートである。
【００８８】
ステップＳ２０１において、カメラ１により、シャッター１２の開口パターンが第１パターンであるときの画像データを取得する。
【００８９】
次に、ステップＳ２０２において、カメラ１により、シャッター１２の開口が第２パターンであるときの画像データを取得する。
【００９０】
次に、ステップＳ２０３において、カメラ１により、シャッター１２の開口が第３パターンであるときの画像データを取得する。
【００９１】
次に、ステップＳ２０４において、カメラ１により、シャッター１２の開口が第４パターンであるときの画像データを取得する。
【００９２】
そして、ステップＳ２０５において、再構成部４ａは、ステップＳ２０１〜ステップＳ２０４で得られた各画像データを、並び替える。さらに並び替えた画像データを合成し、複数の仮想面における再構成画像を作成する。
【００９３】
ステップＳ２０６において、距離情報算出部４ｂは、再構成画像の輝度情報を算出する。すなわち、各開口部を通過した光に対応する領域で検出される光強度の総和あるいは平均値を算出する。
【００９４】
ステップＳ２０７において、距離情報算出部４ｂは、各領域について、最も大きな輝度情報を与える仮想面を求める。ここでは、そのような仮想面を代表面と呼ぶ。
【００９５】
ステップＳ２０８において、距離情報算出部４ｂは、光学系のパラメータを用いて、代表面の位置を対象物までの距離に変換する。
【００９６】
［まとめ］
上述したように、距離情報算出アルゴリズムにより、シャッターの開口パターンを変化させて取得した複数の撮像データから画像処理により、異なるフォーカシング状態（仮想面）の複数の画像を生成し、そのデータより対象物の距離画像を得ることができる。また、奥行き方向の前後の位置関係や、対象物の異なるエッジの距離情報から傾きや姿勢を求めることも可能である。非特許文献１や２に記載されているような従来のプレノプティックカメラは、設定した距離にピントを合せた画像は再構成できるが、対象物までの距離情報を求めることはできなかった。これに対し、本発明では、撮像素子のセル単位ではなく、１つのマイクロレンズに対応し、複数のセルを含む領域での輝度情報を用いることで、距離情報を算出することができる。
【００９７】
一部のマイクロレンズを遮光したパターンをもつシャッターを用いることで、１マイクロレンズ下のセル数を増やし、奥行き分解能を改善することができる。さらに、複数のシャッターの開口パターンに対して取得した画像データを用いることで、水平方向の分解能を保ったまま、奥行き分解能を改善することができる。
【００９８】
また、特許文献１のようにステージ等で対象物の高さを変化させて、オートフォーカシングを行った後、複数枚の画像を取得し、それらの輝度情報に基づいて、高さ情報を求める方法に対して、本発明の方法は、カメラレンズのフォーカシング機構やステージなどの移動機構が不要となるため、小型かつ低コストである。
【００９９】
さらに、本光学系は、撮像素子のごく近傍にマイクロレンズアレイを組み込む構成なので、従来の画像センサカメラとほぼ同サイズであるため、広くＦＡ用途としてロボットなどの視覚センサに用いられている２次元画像センサカメラとほぼ同じ外径サイズに収まるため、従来カメラとの互換性（置換え）が高い。
【０１００】
今回開示された実施の形態はすべての点で例示であって制限的なものではない。本発明の範囲は上記した実施の形態ではなくて特許請求の範囲によって示され、特許請求の範囲と均等な意味および範囲内でのすべての変更点が含まれることが意図される。
【図面の簡単な説明】
【０１０１】
【図１】本発明の実施の形態に係る距離測定装置の概略構成図である。
【図２】画像センサカメラ１の光学系を示す図である。
【図３】対象物１５が近点位置Ｂまたは遠点位置Ｃにある場合の集光の様子を示す図である。
【図４】マイクロレンズアレイ１３上の入射光１５の形状を示す図である。
【図５】撮像セルアレイ１４上の入射光１６の形状を示す図である。
【図６】対象物１５の撮影像のデータから得た再構成画像を示す図である。
【図７】シャッターを用いない場合の光学系および撮像セルへの入射光を示す図である。
【図８】第１の実施の形態に係る光学系および撮像セルへの入射光を示す図である。
【図９】第１の実施の形態に係る距離測定のフローチャートである。
【図１０】シャッターとして用いることのできる金属マスクを示す図である。
【図１１】マイクロレンズアレイ１３上の入射光１６の形状を示す図である。
【図１２】対象物１５が遠点位置Ｃに位置した場合の、撮像セルアレイ１４上の入射光１６の形状を示す図である。
【図１３】第２の実施の形態に係る光学系および撮像セルへの入射光を示す図である。
【図１４】第２の実施の形態に係る距離測定のフローチャートである。
【図１５】共焦点顕微鏡の原理を用いた高さ情報測定装置の構成を示す図である。
【図１６】共焦点顕微鏡の原理を用いた高さ情報測定装置による試料の高さ情報の検出アルゴリズムを説明する図である。
【符号の説明】
【０１０２】
１ 画像センサカメラ、２ 画像キャプチャボード、３ メモリ、４ 画像処理部、４ａ 再構成部、４ｂ 輝度情報算出部、４ｃ 距離情報算出部、５ 表示モニタ、１１ 撮像レンズ、１２ シャッター、１３ マイクロレンズアレイ、１４ 撮像セルアレイ、１５ 対象物、１６ 入射光。
【技術分野】
【０００１】
本発明は、撮像素子で取得した、対象物の画像データに基づいて、対象物までの距離を測定する技術に関する。
【背景技術】
【０００２】
近年、産業用ロボットや各種ＦＡ（Factory Automation）機器を用いた生産ラインを自動化するシステムの構築、あるいは、知能ロボットのインテリジェント化を図るために、対象物の距離情報を取得するための視覚センサが重要となってきている。特に、ロボットアームを用いたシステムにおいては、ワークの位置、姿勢、形状等の計測のための視覚センサとして画像センサカメラが多く用いられている。
【０００３】
また、半導体デバイスや回路部品の実装基板の製造などにおいても、品質を管理するために半田バンプや金バンプなど２次元状に配置された微小なデバイスの高さ情報を測定するというニーズが高まっている。
【０００４】
このようなニーズに対応するために、従来、２次元の画像センサカメラの画像から擬似的に高さや姿勢情報を検出する方法や、複数の画像センサカメラを用いたステレオ方式による３次元情報測定システムなどが用いられている。
【０００５】
また、比較的小さな対象物の高さ情報を測定する方法として、共焦点顕微鏡の原理を利用した高さ測定法が提案されている。例えば、特開２００３−７５１１９号公報（特許文献１）には、共焦点顕微鏡の原理を用いた高さ情報測定装置が記載されている。
【０００６】
この高さ情報測定装置について、図１５、図１６を用いて説明する。図１５は、共焦点顕微鏡の原理を用いた高さ情報測定装置の構成を示す図である。また、図１６は、共焦点顕微鏡の原理を用いた高さ情報測定装置による試料の高さ情報の検出アルゴリズムを説明する図である。図１５に示すように、光源１０３、対物レンズ１０４、２次元画像カメラ１０２を備えた共焦点光学系１０１により、試料１０６を載せたステージ１０５を高さ方向に移動させながら、その高さ方向において互いに異なる複数の高さ位置で水平面の共焦点画像をそれぞれ撮像する構成を有している(図１６（ａ）（ｂ）)。この高さ情報測定装置は、複数の共焦点画像の画素毎の輝度情報を比較し最大輝度を求め、最大輝度を有する画素を含む共焦点画素データを用いて粒子解析を行なって特定領域を抽出する。そして、抽出された領域における輝度と高さの代表値を算出し、試料の高さ情報を求めるものである（図１６（ｃ））。
【０００７】
また、撮像素子を用いたカメラシステムにおいて、取得した画像データをデジタル処理により合成し、後で好きなようにピントを手前または奥に移動できるプレノプティックカメラ技術が、“Ｓｉｎｇｌｅ Ｌｅｎｓ Ｓｔｅｒｅｏ ｗｉｔｈ ａ Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ”，ＩＥＥＥ ＴＲＡＮＳＡＣＴＩＯＮＳ ＯＮ ＰＡＴＴＥＲＮ ＡＮＡＬＹＳＩＳ ＡＮＤ ＭＡＣＨＩＮＥ ＩＮＴＥＬＬＩＧＥＮＣＥ，ＶＯＬ．１４，ＮＯ．２，ＦＥＢＲＵＡＲＹ １９９２（非特許文献１）や“Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ ｗｉｔｈ ａ Ｈａｎｄ−ｈｅｌｄ Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ”，Ｓｔａｎｆｏｒｄ Ｔｅｃｈ Ｒｅｐｏｒｔ ＣＴＳＲ ２００５−０２（非特許文献２）の中で提案されている。これらの文献に記載のプレノプティックカメラは、普通のカメラレンズと同様の撮像レンズを有するが、普通のカメラとは、マイクロレンズアレイが像平面に正確に配置され、さらにマイクロレンズアレイより多くの撮像ピクセルを有するイメージセンサアレイ（撮像セルアレイ）がマイクロレンズアレイのすぐ背後に置かれている点で異なる。マイクロレンズアレイ内のレンズの数で最終画像の画素数は決まるが、単一マイクロレンズに割り当てられた多数のセンサピクセルにより、そのマイクロレンズに入射する光の方向と強度を記録することができる。そのデータを用いて、所定の距離にピントを合せた画像を再構成することができるというものである。
【特許文献１】特開２００３−７５１１９号公報
【非特許文献１】“Ｓｉｎｇｌｅ Ｌｅｎｓ Ｓｔｅｒｅｏ ｗｉｔｈ ａ Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ”，ＩＥＥＥ ＴＲＡＮＳＡＣＴＩＯＮＳ ＯＮ ＰＡＴＴＥＲＮ ＡＮＡＬＹＳＩＳ ＡＮＤ ＭＡＣＨＩＮＥ ＩＮＴＥＬＬＩＧＥＮＣＥ，ＶＯＬ．１４，ＮＯ．２，ＦＥＢＲＵＡＲＹ １９９２
【非特許文献２】“Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ ｗｉｔｈ ａ Ｈａｎｄ−ｈｅｌｄ Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ”，Ｓｔａｎｆｏｒｄ Ｔｅｃｈ Ｒｅｐｏｒｔ ＣＴＳＲ ２００５−０２
【発明の開示】
【発明が解決しようとする課題】
【０００８】
２次元の画像センサカメラの画像から擬似的に高さや姿勢情報を検出する方法では直接奥行き距離や高さ情報が検出できないといった問題がある。また、複数の画像センサカメラを用いたステレオ方式による３次元情報測定システムを用いた距離測定には、複数のカメラや複雑な画像処理が必要などの課題があった。
【０００９】
また、特許文献１に記載の、共焦点顕微鏡の原理を用いて複数の共焦点画像を取得する場合には、ステージの面方向への走査と高さ方向への移動という操作が必要で、オートフォーカス機構を含む移動機構系が大型になるという問題がある。また、試料の高さを変えて、試料の２次元画像データを複数回取得するには、ステージの移動、静止、対物レンズのオートフォーカシングなどのため、要する時間が長くなるといった課題もある。
【００１０】
また、非特許文献１や２に記載のプレノプティックカメラ技術においては、取得画像データに対して、例えばオペレータがピント位置（距離）を入力することで、その位置にフォーカシングされた画像をデータの並び替え（再構成）により作り出すことはできるが、それを用いて対象物の距離情報を算出することはできない。
【００１１】
本発明は、このような課題に着目してなされたものであり、その目的とするところは、対象物の距離情報を短時間で測定できる、小型の情報測定装置を提供することにある。
【課題を解決するための手段】
【００１２】
１つの局面に係る本願発明は、対象物までの距離を測定するための距離測定装置であって、撮像素子を有するカメラを備え、撮像素子は、それぞれが対象物からの物体光を画像信号に変換する複数の撮像セルからなり、カメラは、物体光を集光する撮像レンズと、撮像レンズを通過した物体光が入射する複数の集光器からなる集光アレイと、撮像素子に入射する光を制御するシャッターとを含み、シャッターは、複数の集光器を透過する光を遮蔽する複数の遮光部および複数の集光器を透過する光を通す複数の開口部が、それぞれ配置される複数の配置パターンを有し、各集光部を透過する光は、いずれか１つの配置パターンにおいて、シャッターを通過し、各配置パターンにおいて、各開口部を透過した物体光は、撮像素子上の互いに異なり、各々が集光器の大きさよりも大きい領域に入射し、各配置パターンにおいてカメラで得た画像信号を、各領域における物体光を検出した撮像セルの位置により定まる物体光の集光器への入射方向に基づいて並び替えて、並び替えた各画像信号を合成し、撮像素子が複数の仮想位置の各々に位置する場合に得られるべき再構成画像を生成する再構成手段と、各領域に入射する光量が最大となる仮想位置を特定し、カメラの光学系のパラメータに基づき特定された仮想位置を変換し距離を算出する距離算出手段とをさらに備える。
【００１３】
好ましくは、各領域の外周が互いに接する。
好ましくは、各配置パターンにおいて、複数の遮光部および複数の開口部は市松模様に配置される。
【００１４】
好ましくは、各配置パターンにおいて、近接する２×２の集光器に対応する複数の遮光部および複数の開口部は、２×２の集光器のうち所定の１つの集光器の光を透過するように配置される。
【００１５】
好ましくは、シャッターは、液晶シャッターである。
好ましくは、シャッターは、所定の開口を持ち、複数のパターンに対応して移動可能な遮光マスクである。
【００１６】
他の局面に係る本願発明は、撮像素子を有するカメラを用いて、対象物までの距離を測定するための距離測定方法であって、撮像素子は、それぞれが対象物からの物体光を画像信号に変換する複数の撮像セルからなり、カメラは、物体光を集光する撮像レンズと、撮像レンズを通過した物体光が入射する複数の集光器からなる集光アレイと、撮像素子に入射する光を制御するシャッターとを含み、シャッターは、複数の集光器を透過する光を遮蔽する複数の遮光部および複数の集光器を透過する光を通す複数の開口部が、それぞれ配置される複数の配置パターンを有し、各集光部を透過する光は、いずれか１つの配置パターンにおいて、シャッターを通過し、各配置パターンにおいて、各開口部を透過した物体光は、撮像素子上の互いに異なり、各々が集光器の大きさよりも大きい領域に入射し、各配置パターンにおいてカメラで画像信号を得るステップと、各配置パターンにおいてカメラで得た画像信号を、各領域における物体光を検出した撮像セルの位置により定まる物体光の集光器への入射方向に基づいて並び替えて、並び替えた各画像信号を合成し、撮像素子が複数の仮想位置の各々に位置する場合に得られるべき再構成画像を生成するステップと、各領域に入射する光量が最大となる仮想位置を特定し、カメラの光学系のパラメータに基づき特定された仮想位置を変換し距離を算出するステップとを備える。
【発明の効果】
【００１７】
本発明は、複数パターンのシャッターを透過した物体光の撮像データから画像処理により、異なるフォーカシング状態の複数の画像データを生成し、その画像データより対象物までの距離情報を得ることができる。従って、カメラレンズのフォーカシング機構やステージなどの移動機構が不要となり、小型の距離情報測定装置が実現できる。また、カメラの移動時間や移動に伴う各画像のマッチング操作などの時間が不要となり、短時間で距離測定を行なえる。
【発明を実施するための最良の形態】
【００１８】
以下、図面を参照しながら本発明の実施形態を説明する。なお、本発明は以下の実施形態に限定されるものではない。
【００１９】
［第１の実施の形態］
（１．構成）
図１を用いて、第１の実施の形態に係る距離測定装置の構成について説明する。図１は、本発明の実施の形態に係る距離測定装置の概略構成図である。
【００２０】
距離測定装置は、画像センサカメラ１と、画像キャプチャボード２と、画像データを保存するメモリ３と、メモリ３に保存された画像データから対象物までの距離情報を算出する画像処理部４と、画像処理部４で算出された距離情報を表示する表示モニタ５とを備える。
【００２１】
画像センサカメラ１は、対象物の画像データを取得する。画像センサカメラ１は、撮像レンズ１１（以後は、メインレンズと呼ぶ）と、シャッター１２と、複数のマイクロレンズからなるマイクロレンズアレイ１３と、撮像セルアレイ１４とからなる。
【００２２】
メインレンズ１１には、対象物からの物体光が入射する。メインレンズ１１は、入射した対象物からの物体光を集光する。
【００２３】
シャッター１２は、マイクロレンズアレイ１３の手前（メインレンズ１１側）に設置され、マイクロレンズを透過する光量を制御する。なお、ここでは、シャッター１２は、マイクロレンズアレイ１３の手前に設置されるものとしているが、マイクロレンズアレイ１３の後方（撮像セルアレイ１４側）に設置されていてもよい。つまり、各マイクロレンズを透過する光量を制御できるように、マイクロレンズアレイ１３の近傍に配置されていればよい。シャッター１２は、あとで詳しく述べるように、複数の開口パターンで光量を制御する。本実施の形態では、シャッター１２として、液晶シャッターを用いる。ただし、シャッター１２は、液晶シャッターに限られるものではない。例えば、所定の開口パターンをもち、複数の開口パターンに対応して移動可能な遮光マスクをシャッター１２として用いることもできる。
【００２４】
マイクロレンズアレイ１３には、メインレンズ１１およびシャッター１２を通過した物体光が入射する。マイクロレンズアレイ１３に含まれる複数のマイクロレンズの各々は、物体光を集光する。なお、マイクロレンズアレイ１３は、複数の集光器からなる集光アレイの一例である。例えば、マイクロレンズアレイ１３のかわりに、複数のピンホールからなるピンホールアレイを用いても構わない。
【００２５】
撮像セルアレイ１４は、シャッター１２およびマイクロレンズアレイ１３を通過した物体光の画像データを取得する。撮像セルアレイ１４は、複数の撮像セルを有する。撮像セルアレイ１４の撮像セルおよび撮像セルアレイ１４により取得される画像データについては、後で詳述する。撮像セルとしては、例えば、ＣＣＤ（charge-coupled device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどを用いることができる。
【００２６】
画像キャプチャーボード２は、撮像セルアレイ１４で取得された画像データを取り込み、以降の処理が行なえる形に変換する。メモリ３は、画像キャプチャーボード２から転送された画像データを格納する。
【００２７】
画像処理部４は、メモリ３から画像データを読出し、読み出した画像データに基づき、物体までの距離を算出する処理を行なう。画像処理部４は、画像データに含まれる画素データを並び替えて、撮像セルアレイ１４が異なる複数の仮想位置の各々に位置する場合に得られるべき再構成画像を生成する再構成部４ａと、再構成画像に基づいて対象物までの距離を算出する距離情報算出部４ｂとからなる。画像処理部４の行なう処理の詳細については、後述する。
【００２８】
（２．画像センサカメラの特徴について）
本発明においては、画像センサカメラ１の光学系の構成に特徴があり、図２を用いて、その特徴を説明する。図２は、画像センサカメラ１の光学系を示す図である。なお、簡単のため、図２には、対象物１５が点光源である場合を示す。
【００２９】
画像センサカメラ１のマイクロレンズアレイ１３は、対象物１５がＡの位置にある場合に、メインレンズ１２より対象物１５がほぼ結像する位置に配置される。このときのＡの位置を合焦点位置、合焦点位置よりもメインレンズ１１に近い側を近点位置、合焦点位置よりもメインレンズ１１から遠い側を遠点位置と呼ぶ。撮像セルアレイ１４はマイクロレンズアレイ１３のほぼ焦点位置に配置されている。撮像セルアレイ１４には、対象物の光が、マイクロレンズを通して、入射される。また、それぞれのマイクロレンズを通過した光が、互いに重なることなく撮像セルアレイ１４上に入射するように、画像センサカメラ１の光学系は調整されているものとする。
【００３０】
次に、図３〜図９を用いて、この画像センサカメラ１により撮像される画像について説明する。
【００３１】
図３を用いて、対象物１５の結像について説明する。図３は、対象物１５が近点位置Ｂまたは遠点位置Ｃにある場合の集光の様子を示す図である。対象物１５が位置Ｂにある場合、対象物１５からの光は、メインレンズ１１により、面Ｄに集光(結像)する。また、位置Ｃにある場合、面Ｆに集光（結像）する。また、面Ｅは、合焦位置Ａに対する集光面であり、ほぼマイクロレンズアレイ１３の位置に相当する。面Ｆ，Ｅ，ＤをそれぞれＣ，Ａ，Ｂに対する仮想焦点面と呼ぶ。
【００３２】
続いて、対象物１５が図３の位置Ａ，Ｂ，Ｃにある場合に撮像セルアレイ１４により、どのような画像が撮像されるかを図４、図５を用いて説明する。図４はマイクロレンズアレイ１３上の入射光１５の形状を示す図であり、図５は撮像セルアレイ１４上の入射光１６の形状を示す図である。
【００３３】
まず、対象物１５が図３の位置Ａ，Ｂ，Ｃにある場合にマイクロレンズアレイ１３上にどのような形状の入射光１５が入射するかについて図４を用いて説明する。図４に示すように、本実施例においては、マイクロレンズアレイ１３は、２次元面内に配列された円形のマイクロレンズからなるものとする。また、各マイクロレンズには、それらを識別するための番号Ｍ（ｉ，ｊ）が与えられているものとする。
【００３４】
図４においては、シャッター１２の開口パターンを合わせて示している。本実施の形態においては、シャッター１２は、図４（ａ）、図４（ｂ）、図４（ｃ）に示す第１パターン、および、図４（ｄ）、図４（ｅ）、図４（ｆ）に示す第２パターンをもつ。図４の白色の部分が開口部、斜線の部分が遮光部をそれぞれ表わす。図４に示すように、第１パターンおよび第２パターンにおいて、開口部および遮光部は市松模様に配置される。すなわち、各パターンの開口部および遮光部は、互いに隣り合うように配置されている。また、第１パターンおよび第２パターンでは、遮光部と開口部とが反転している。
【００３５】
図４（ａ）（ｄ）、図４（ｂ）（ｅ）、図４（ｃ）（ｆ）は、それぞれ、対象物１５が、遠点位置Ｃにある場合、合焦位置Ａにある場合、近点位置Ｂにある場合のマイクロレンズアレイ１３上の入射光１５の形状を示す図である。
【００３６】
合焦位置Ａにある対象物１５からの光は図４（ｂ）（ｅ）のようにほぼマイクロレンズＭ（２，２）上に集光される。
【００３７】
対象物１５が遠点位置Ｃにある場合、対象物１５からの光は、メインレンズ１１を通して一旦集光された後、さらにデフォーカス状態になって広がってマイクロレンズ１２上に入射する。したがって、図４（ａ）（ｄ）に示すように、マイクロレンズアレイ１３上の入射光１５は、マイクロレンズＭ（３，３）の周辺レンズＭ（２，３）、Ｍ（３，２）、Ｍ（３，４）、Ｍ（４，３）にまで広がる。
【００３８】
対象物１５が近点位置Ｂにある場合は、集光前のデフォーカス状態の光が、マイクロレンズ１２上に入射する。したがって、図４（ｃ）（ｆ）に示すように、マイクロレンズアレイ１３上の入射光１５は、マイクロレンズＭ（３，３）の周辺レンズＭ（２，３）、Ｍ（３，２）、Ｍ（３，４）、Ｍ（４，３）にまで広がる。
【００３９】
撮像セルアレイ１４上の入射光１６について図５を用いて説明する。図５に示すように、撮像セルアレイ１４は、複数の撮像セルからなる。図５では、撮像セルアレイ１４を、マイクロレンズの番号に対応する番号Ｔ（ｉ，ｊ）を付した区域に分けて示している。なお、図では、各区域が１０×１０の撮像セルで構成されている場合を示しているが、撮像セルアレイ１４のセルの数はこれに限られない。
【００４０】
対象物１５が合焦位置Ａにある場合、図４（ｂ）（ｅ）のようにほぼマイクロレンズＭ（３，３）上に集光された光が、撮像セルアレイ１４に入射する。したがって、シャッター１２の開口位置が第１パターンのときは、撮像セルアレイ１４に入射する光は、図５（ｂ）に示すように、撮像セルアレイ１４の区域Ｔ（３，３）を中心とする数区域に広がる。シャッター１２の開口位置が第１パターンのときは、シャッター１２により光が遮られるため、図５（ｅ）に示すように、撮像セルアレイ１４には、光は入射しない。
【００４１】
対象物１５が遠点位置Ｃにあり、シャッター１２の開口位置が第１パターンのときは、図５（ａ）に示すように、区域Ｔ（３，３）の中心付近に光が入射する。開口位置が第２パターンのときは、マイクロレンズアレイ１３上で、図４（ｄ）のように周辺レンズＭ（２，３）、Ｍ（３，２）、Ｍ（３，４）、Ｍ（４，３）に広がった光が、撮像セルアレイ１４に入射する。これらの周辺レンズに入射した光は、撮像セルアレイ１４上では、図５（ｄ）に示すように、区域Ｔ（１，３）、Ｔ（２，３）、Ｔ（３，１）、Ｔ（３，２）、Ｔ（３，４）、Ｔ（３，５）、Ｔ（４，３）、Ｔ（４，５）の一部に入射する。
【００４２】
近点位置Ｂに対象物１５が位置する場合に、撮像セルアレイ１４に入射する光の形状は、図５（ｃ）あるいは図５（ｆ）のようになる。開口位置が第１パターンのときは、図５（ｃ）のように、区域Ｔ（３，３）に光が入射する。開口位置が第２パターンのときは、区域Ｔ（３，３）、Ｔ（３，２）、Ｔ（３，４）、Ｔ（２，３）Ｔ（４，３）の一部に光が入射する。
【００４３】
（３．画像の再構成について）
次に、本装置において距離情報を算出するための基本操作である、各仮想面での像の再構成について説明する。
【００４４】
画像の再構成にあたっては、画像センサカメラ１で取得した画像データから、マイクロレンズへの物体光の入射方向の情報を得られるという点が重要である。画像データから入射方向の情報が得られることを、図５を再度用いて説明する。例えば、開口位置が第２パターンであるとき、遠点位置Ｃにある対象物１５からの光は、図５（ｄ）に示すように、区域Ｔ（３，３）の周囲のセルに入射する。また、近点位置Ｂにある対象物１５からの光は、図５（ｆ）に示すように、区域Ｔ（３，３）を中心とするセルに入射する。このように、対象物１５が遠点位置Ｃにあるか近点位置Ｂにあるかにより、光が入射するセルの、区域Ｔ（３，３）からの距離が異なる。このことを利用し、どのセルに光が入射したかにより、各マイクロレンズへの物体光の入射方向の情報を得ることができる。
【００４５】
この入射方向の情報、仮想面の位置（仮想位置）、および、光学系のパラメータ（メインレンズ１１とマイクロレンズアレイ１３間の距離など）に基づき、撮像セルアレイ１４が取得した画素データを並び替え、さらに並び替えで得られた画像データを合成することで、撮像セルアレイ１４が仮想位置にある場合に取得されるべき画像データを再構成することができる。
【００４６】
再構成の具体例を図６を用いて説明する。図６は、対象物１５の撮影像のデータから得た再構成画像を示す図である。
【００４７】
物体が合焦位置Ａにある場合、図５（ｂ）および図５（ｅ）の画像データを合成して、図６（ｂ）の再構成画像が得られる。
【００４８】
図６（ａ）は、図５（ａ）および図５（ｄ）に示した画像データから再構成した仮想面Ｆ上での光の分布を示したもので、合焦位置での光ビーム状態とほぼ同じになる。周囲の決まったセルに入射する光を変換して得られる出力信号（画像信号）を、セル位置に基づいて分かる入射方向に応じて並び替え、区域Ｔ（３，３）の中央付近の出力信号と足し合わせることで、仮想の焦点面での画像を作り出すことができる。
【００４９】
近点位置Ｂにある対象物（点像）に対しても、同様に、図６（ｃ）の再構成画像が生成できる。ただし、撮像セルアレイ１４上での広がり（分割状態）は、図５（ｃ）のように遠点状態とは異なるので、並び替えの演算は図６（ａ）の再構成像を得る場合とは異なる。
【００５０】
図６に示したのは、焦点位置にある仮想面で得られるべき再構成画像である。一般には、複数の仮想位置に対して、再構成画像を計算する。複数の仮想位置の中には、図６（ｂ）のようなピントの合った再構成画像を得られる位置がある。その位置から、対象物までの距離を求めることができる。
【００５１】
具体的には、各開口部を透過した光が入射しうる領域に、最大の光量が入射した仮想位置を、ピントの合う位置として求める。本実施例では、各領域に入射する光量の総和あるいは平均値（以下、これらを総称して「輝度情報」とよぶ）を計算し、輝度情報が最大となる場合の仮想位置をピントの合う位置として求めるものとする。
【００５２】
なお、ここでは対象物が点像の場合の例を示したが、大きさを有する対象物の場合にも、同様の操作で画像の再構成ができる。ただし、大きさを有する画像の場合、全ての開口部に光が入射するので、各開口部を透過した光に対して同様の操作を行う必要がある。
【００５３】
（４．距離の分解能について）
本発明のように、複数の開口パターンで取得した画像データを利用することで、シャッターを用いない場合に比べ、距離の分解能を向上することができる。このことを、図７、図８を参照して説明する。図７は、シャッターを用いない場合の光学系および撮像セルへの入射光を示す図である。図８は、第１の実施の形態に係る光学系および撮像セルへの入射光を示す図である。
【００５４】
まず、シャッターを用いない場合の距離の分解能について、図７を参照して説明する。 距離分解能は、各マイクロレンズを透過した入射光のＸ軸上あるいはＹ軸上に配列された画素数に依存し、この画素数が少なくなると、距離分解能が低下する。
【００５５】
したがって、距離分解能は、メインレンズおよびマイクロレンズのＦナンバーに依存する。ここで、レンズのＦナンバーとは、（レンズの焦点距離）÷（レンズ直径）であり、図７（ａ）において、メインレンズのＦナンバー（Ｆｍ）はｆｍ／Ｗｍ、マイクロレンズのＦナンバー（Ｆａ）はｆａ／Ｗａで表される。
【００５６】
Ｆｍを大きくすると、撮像セルアレイ１４上の光のサイズが小さくなるため、距離分解能が低下する。よって、距離分解能の向上のためには、Ｆｍを小さくすればよいように思われる。
【００５７】
ところが、Ｆｍ＜Ｆａの条件下では、マイクロレンズを透過する光のサイズが、マイクロレンズアレイピッチよりも大きくなるため、異なるマイクロレンズを通過した光の外縁同士が重なる。この重なりのために、距離情報を得ることができなくなる。
【００５８】
したがって、シャッターを用いない場合に最大の距離分解能が得られるのは、メインレンズのＦナンバーＦｍと、マイクロレンズのＦナンバーＦａが、Ｆｍ≒Ｆａを満たすときである。このときの、撮像セルアレイ１４上の光の分布パターンを図７（ｂ）に示す。図７（ｂ）では、各マイクロレンズを透過する光の強度分布を、破線で示している。破線の円を囲む正方形の領域内で画像信号を並び替えることにより、再構成画像が得られる。
【００５９】
次に、図８（ａ）に示すようにシャッター１２を用いる場合について説明する。この場合、シャッターを用いない場合に比べ、Ｆａを大きくできる。本実施の形態では、Ｆａ＝√２×Ｆｍを満たすものとする。
【００６０】
Ｆａ＝√２×Ｆｍとした場合でも、シャッター１２より一部のマイクロレンズからの光が遮られているため、シャッター１２およびマイクロレンズアレイ１３を透過した光の撮像セルアレイ１４上での分布パターンは、図８（ｂ）の破線のようになる。すなわち、異なるマイクロレンズを透過する光は、互いに異なる領域に入射する。Ｆａ＝√２×Ｆｍの場合、各領域の外周同士は接し、各開口部からの光に対応するセル数が最大になる。
【００６１】
このように、撮像セルアレイ１４上での光分布パターンのサイズをマイクロレンズアレイピッチの√２倍（≒１．４倍）まで拡大しても、光分布パターンの外縁が重ならないので、距離情報を得るためのセル数を拡大することができる。
【００６２】
本実施例では、Ｆａ＝√２×Ｆｍの関係となるようメインレンズのＦナンバーを定めているので、撮像セルアレイ１４上での光分布パターンのサイズはマイクロレンズアレイピッチの√２倍に拡大される。よって、１つのマイクロレンズに対応する領域として、図８（ｂ）の太線で囲まれる正方形領域を用いることができる。この領域中のＸ軸上あるいはＹ軸上のセル数は、シャッターなしの場合に比べ、ほぼ１．４倍となり、１．４倍の距離分解能が得られる。
【００６３】
シャッター１２の１つのパターンに対応する画像から、距離情報を取得すると仮定すると、Ｘ方向およびＹ方向の分解能が１／２になってしまう。そこで、本実施の形態では、開口位置を変化させて２回のステップに分けて、撮影像を取得することにより、水平分解能を保ったまま、奥行き（距離）分解能を１．４倍に改善している。
【００６４】
（５．処理の流れについて）
第１の実施の形態に係る距離測定装置を用いた距離測定における処理の流れについて図９を参照して説明する。図９は、第１の実施の形態に係る距離測定のフローチャートである。
【００６５】
ステップＳ１０１において、カメラ１により、シャッター１２の開口パターンが第１パターンであるときの画像データを取得する。
【００６６】
次に、ステップＳ１０２において、カメラ１により、シャッター１２の開口が第２パターンであるときの画像データを取得する。
【００６７】
そして、ステップＳ１０３において、再構成部４ａは、ステップＳ１０１、ステップＳ１０２で得られた各画像データを、並び替える。さらに並び替えた画像データを合成し、複数の仮想面における再構成画像を作成する。
【００６８】
ステップＳ１０４において、距離情報算出部４ｂは、再構成画像の輝度情報を算出する。すなわち、各開口部を通過した光に対応する領域で検出される光強度の総和あるいは平均値を算出する。
【００６９】
ステップＳ１０５において、距離情報算出部４ｂは、各領域について、最も大きな輝度情報を与える仮想面を求める。ここでは、そのような仮想面を代表面と呼ぶ。
【００７０】
ステップＳ１０６において、距離情報算出部４ｂは、光学系のパラメータを用いて、代表面の位置を対象物までの距離に変換する。
【００７１】
（６．第１の実施の形態の変形例）
第１の実施の形態では、シャッター１２は液晶シャッターであるとしていた。しかし、説明した２つのパターンを実現できるものを液晶シャッターのかわりに用いることもできる。例えば、図１０に示す開口部を有する金属マスクであって、ＸあるいはＹ方向にマイクロレンズの直径に相当する距離だけ移動させることができるものを、シャッター１２として用いることができる。
【００７２】
［第２の実施の形態］
次に、第２の実施の形態に係る距離測定装置について説明する。第２の実施の形態に係る距離測定装置は、第１の実施の形態に係る距離測定装置とほぼ同様の構成をもつ。ただし、第１の実施の形態とは、シャッター１２の開口パターンが異なる。よって、画像の再構成方法も異なる。
【００７３】
シャッター１２の開口パターンについて図１１を参照して説明する。図１１はマイクロレンズアレイ１３上の入射光１６の形状を示す図である。図１１の白色部が、シャッター１２の開口部、斜線部がシャッター１２の遮光部を示す。
【００７４】
シャッター１２は、まず、第１ステップで図１１（ａ）に示すように４区画のうち１区画に開口を設けるよう制御される。第２ステップでは、シャッター１２は、図１１（ｂ）に示すように、４区画のうち第１ステップとは異なる区画に開口を設けるように制御される。さらに、シャッター１２は、第３、第４ステップでは、それぞれ、図１１（ｃ）、図１１（ｄ）に示すように開口位置が変化するよう制御される。
【００７５】
また、本実施の形態では、マイクロレンズのＦナンバーはメインレンズのＦナンバーの２倍に設定されているものとする。よって、シャッター１２およびマイクロレンズアレイ１３を透過後の合焦位置Ａの点像からの光の分布パターンの撮像セルアレイ１４上でのサイズ（図１１中、太線の円で示す）は、マイクロレンズのＦナンバーとメインレンズのＦナンバーを同一にしたときの２倍になる。
【００７６】
図３の対象物１５が遠点位置Ｃに位置した場合の、撮像セルアレイ１４への入射光１６について、図１２を参照して説明する。図１２は、対象物１５が遠点位置Ｃに位置した場合の、撮像セルアレイ１４上の入射光１６の形状を示す図である。
【００７７】
このときの撮影像は、シャッター１２のパターンの切り替えに対応して、図１２に示すように変化する。図１１（ａ）〜（ｄ）の開口状態での撮影像は、それぞれ、図１２（ａ）〜（ｄ）のようになる。
【００７８】
点Ｃからの光はメインレンズ１１を通して一旦集光された後、デフォーカス状態になって広がり、シャッター１２、マイクロレンズアレイ１３に入射する。このとき、図１１に示すように、Ｍ（３，３）のマイクロレンズだけでなく、Ｍ（２，２）、Ｍ（３，２）、Ｍ（４，２）、Ｍ（２，３）、Ｍ（４，３）、Ｍ（２，４）、Ｍ（３，４）、Ｍ（４，４）のマイクロレンズ（以下、周辺レンズ）の一部にも光が広がる。
【００７９】
第１パターンのシャッター１２は、周辺レンズを透過する光を遮る。よって、第１ステップにおいては、マイクロレンズＭ（３，３）を透過した光のみが撮像セルアレイ１４に導かれる。このとき撮像セルアレイ１４には、図１２（ａ）に示されるような光が入射する。
【００８０】
第２ステップでは、図１１（ｂ）に示すような開口パターンとなるので、マイクロレンズＭ（３，３）は遮光され、周辺レンズＭ（３，２）、Ｍ（３，４）上のシャッターは開放される。よって、撮像セルアレイ１４上には、図１２（ｂ）に示される形状の光が入射する。
【００８１】
第３ステップでは、シャッター１２の開口位置は図１１（ｃ）のようになり、マイクロレンズＭ（３，３）は遮光され、周辺レンズＭ（２，２）、Ｍ（４，２）、Ｍ（２，４）、Ｍ（４，４）上のシャッターは開放される。撮像セルアレイ１４には、図１２（ｃ）に示されるような形状の光が入射する。
【００８２】
第４ステップでは、液晶シャッター１２の開口位置は図１１（ｄ）のように変化する。このときレンズＭ（３，３）は遮光され、周辺レンズＭ（２，３）、Ｍ（４，３）上のシャッターは開放される。撮像セルアレイ１４には、図１２（ｄ）に示されるような形状の光が入射する。
【００８３】
４回のステップで得た４枚の撮影像に対し、第１の実施例で説明したのと同様の操作により、図１２（ｅ）に示すような再構成画像が得られる。図１２（ｅ）に示した再構成画像は、仮想面が、ピントのあった位置にある場合のものである。複数の仮想面に対応する再構成画像から、距離情報を求めることができる。
【００８４】
本実施の形態では、図１３に示すように、合焦位置Ａの点像からの光により撮像セルアレイ１４に形成されるスポット径が、マイクロレンズのＦナンバーとメインレンズのＦナンバーを同一にしたときの２倍になる。図１３（ｂ）の太線で囲まれる正方形領域に含まれる画素群が、そのスポット径に対応する。画素群の各方向の画素数は、マイクロレンズのＦナンバーとメインレンズのＦナンバーを同一にしたときの２倍である。よって、Ｚ方向の距離分解能は、そのときの２倍になる。
【００８５】
しかし、このときＸおよびＹ方向の分解能は１／４になるため、開口位置を変化させて４回のステップに分けて撮影像を取得することにより、水平分解能を保ったまま、奥行き分解能を２倍に改善している。
【００８６】
なお、この開口位置変化については、第１の実施の形態と同様に、図１１に示す開口部を有する金属マスクをＸおよびＹ方向にマイクロレンズの直径に相当する距離だけ移動させることでも実現できる。
【００８７】
図１４を参照して、第２の実施の形態に係る距離測定の処理の流れを説明する。図１４は、第２の実施の形態に係る距離測定のフローチャートである。
【００８８】
ステップＳ２０１において、カメラ１により、シャッター１２の開口パターンが第１パターンであるときの画像データを取得する。
【００８９】
次に、ステップＳ２０２において、カメラ１により、シャッター１２の開口が第２パターンであるときの画像データを取得する。
【００９０】
次に、ステップＳ２０３において、カメラ１により、シャッター１２の開口が第３パターンであるときの画像データを取得する。
【００９１】
次に、ステップＳ２０４において、カメラ１により、シャッター１２の開口が第４パターンであるときの画像データを取得する。
【００９２】
そして、ステップＳ２０５において、再構成部４ａは、ステップＳ２０１〜ステップＳ２０４で得られた各画像データを、並び替える。さらに並び替えた画像データを合成し、複数の仮想面における再構成画像を作成する。
【００９３】
ステップＳ２０６において、距離情報算出部４ｂは、再構成画像の輝度情報を算出する。すなわち、各開口部を通過した光に対応する領域で検出される光強度の総和あるいは平均値を算出する。
【００９４】
ステップＳ２０７において、距離情報算出部４ｂは、各領域について、最も大きな輝度情報を与える仮想面を求める。ここでは、そのような仮想面を代表面と呼ぶ。
【００９５】
ステップＳ２０８において、距離情報算出部４ｂは、光学系のパラメータを用いて、代表面の位置を対象物までの距離に変換する。
【００９６】
［まとめ］
上述したように、距離情報算出アルゴリズムにより、シャッターの開口パターンを変化させて取得した複数の撮像データから画像処理により、異なるフォーカシング状態（仮想面）の複数の画像を生成し、そのデータより対象物の距離画像を得ることができる。また、奥行き方向の前後の位置関係や、対象物の異なるエッジの距離情報から傾きや姿勢を求めることも可能である。非特許文献１や２に記載されているような従来のプレノプティックカメラは、設定した距離にピントを合せた画像は再構成できるが、対象物までの距離情報を求めることはできなかった。これに対し、本発明では、撮像素子のセル単位ではなく、１つのマイクロレンズに対応し、複数のセルを含む領域での輝度情報を用いることで、距離情報を算出することができる。
【００９７】
一部のマイクロレンズを遮光したパターンをもつシャッターを用いることで、１マイクロレンズ下のセル数を増やし、奥行き分解能を改善することができる。さらに、複数のシャッターの開口パターンに対して取得した画像データを用いることで、水平方向の分解能を保ったまま、奥行き分解能を改善することができる。
【００９８】
また、特許文献１のようにステージ等で対象物の高さを変化させて、オートフォーカシングを行った後、複数枚の画像を取得し、それらの輝度情報に基づいて、高さ情報を求める方法に対して、本発明の方法は、カメラレンズのフォーカシング機構やステージなどの移動機構が不要となるため、小型かつ低コストである。
【００９９】
さらに、本光学系は、撮像素子のごく近傍にマイクロレンズアレイを組み込む構成なので、従来の画像センサカメラとほぼ同サイズであるため、広くＦＡ用途としてロボットなどの視覚センサに用いられている２次元画像センサカメラとほぼ同じ外径サイズに収まるため、従来カメラとの互換性（置換え）が高い。
【０１００】
今回開示された実施の形態はすべての点で例示であって制限的なものではない。本発明の範囲は上記した実施の形態ではなくて特許請求の範囲によって示され、特許請求の範囲と均等な意味および範囲内でのすべての変更点が含まれることが意図される。
【図面の簡単な説明】
【０１０１】
【図１】本発明の実施の形態に係る距離測定装置の概略構成図である。
【図２】画像センサカメラ１の光学系を示す図である。
【図３】対象物１５が近点位置Ｂまたは遠点位置Ｃにある場合の集光の様子を示す図である。
【図４】マイクロレンズアレイ１３上の入射光１５の形状を示す図である。
【図５】撮像セルアレイ１４上の入射光１６の形状を示す図である。
【図６】対象物１５の撮影像のデータから得た再構成画像を示す図である。
【図７】シャッターを用いない場合の光学系および撮像セルへの入射光を示す図である。
【図８】第１の実施の形態に係る光学系および撮像セルへの入射光を示す図である。
【図９】第１の実施の形態に係る距離測定のフローチャートである。
【図１０】シャッターとして用いることのできる金属マスクを示す図である。
【図１１】マイクロレンズアレイ１３上の入射光１６の形状を示す図である。
【図１２】対象物１５が遠点位置Ｃに位置した場合の、撮像セルアレイ１４上の入射光１６の形状を示す図である。
【図１３】第２の実施の形態に係る光学系および撮像セルへの入射光を示す図である。
【図１４】第２の実施の形態に係る距離測定のフローチャートである。
【図１５】共焦点顕微鏡の原理を用いた高さ情報測定装置の構成を示す図である。
【図１６】共焦点顕微鏡の原理を用いた高さ情報測定装置による試料の高さ情報の検出アルゴリズムを説明する図である。
【符号の説明】
【０１０２】
１ 画像センサカメラ、２ 画像キャプチャボード、３ メモリ、４ 画像処理部、４ａ 再構成部、４ｂ 輝度情報算出部、４ｃ 距離情報算出部、５ 表示モニタ、１１ 撮像レンズ、１２ シャッター、１３ マイクロレンズアレイ、１４ 撮像セルアレイ、１５ 対象物、１６ 入射光。
【特許請求の範囲】
【請求項１】
対象物までの距離を測定するための距離測定装置であって、
撮像素子を有するカメラを備え、
前記撮像素子は、それぞれが前記対象物からの物体光を画像信号に変換する複数の撮像セルからなり、
前記カメラは、
前記物体光を集光する撮像レンズと、
前記撮像レンズを通過した前記物体光が入射する複数の集光器からなる集光アレイと、
前記撮像素子に入射する光を制御するシャッターとを含み、
前記シャッターは、複数の前記集光器を透過する光を遮蔽する複数の遮光部および複数の前記集光器を透過する光を通す複数の開口部が、それぞれ配置される複数の配置パターンを有し、
各前記集光部を透過する光は、いずれか１つの前記配置パターンにおいて、前記シャッターを通過し、
各前記配置パターンにおいて、各前記開口部を透過した前記物体光は、前記撮像素子上の互いに異なり、各々が前記集光器の大きさよりも大きい領域に入射し、
各前記配置パターンにおいて前記カメラで得た前記画像信号を、各前記領域における前記物体光を検出した前記撮像セルの位置により定まる前記物体光の前記集光器への入射方向に基づいて並び替えて、並び替えた各前記画像信号を合成し、前記撮像素子が複数の仮想位置の各々に位置する場合に得られるべき再構成画像を生成する再構成手段と、
各前記領域に入射する光量が最大となる前記仮想位置を特定し、前記カメラの光学系のパラメータに基づき前記特定された前記仮想位置を変換し前記距離を算出する距離算出手段とをさらに備える、距離測定装置。
【請求項２】
各前記領域の外周が互いに接する、請求項１に記載の距離測定装置。
【請求項３】
各前記配置パターンにおいて、前記複数の遮光部および前記複数の開口部は市松模様に配置される、請求項１または２に記載の距離測定装置。
【請求項４】
各前記配置パターンにおいて、近接する２×２の前記集光器に対応する前記複数の遮光部および前記複数の開口部は、２×２の前記集光器のうち所定の１つの前記集光器の光を透過するように配置される、請求項１または２に記載の距離測定装置。
【請求項５】
前記シャッターは、液晶シャッターである、請求項１から４のいずれか１項に記載の距離測定装置。
【請求項６】
前記シャッターは、所定の開口を持ち、前記複数のパターンに対応して移動可能な遮光マスクである、請求項１から４のいずれか１項に記載の距離測定装置。
【請求項７】
撮像素子を有するカメラを用いて、対象物までの距離を測定するための距離測定方法であって、
前記撮像素子は、それぞれが前記対象物からの物体光を画像信号に変換する複数の撮像セルからなり、
前記カメラは、
前記物体光を集光する撮像レンズと、
前記撮像レンズを通過した前記物体光が入射する複数の集光器からなる集光アレイと、
前記撮像素子に入射する光を制御するシャッターとを含み、
前記シャッターは、複数の前記集光器を透過する光を遮蔽する複数の遮光部および複数の前記集光器を透過する光を通す複数の開口部が、それぞれ配置される複数の配置パターンを有し、
各前記集光部を透過する光は、いずれか１つの前記配置パターンにおいて、前記シャッターを通過し、
各前記配置パターンにおいて、各前記開口部を透過した前記物体光は、前記撮像素子上の互いに異なり、各々が前記集光器の大きさよりも大きい領域に入射し、
各前記配置パターンにおいて前記カメラで前記画像信号を得るステップと、
各前記配置パターンにおいて前記カメラで得た前記画像信号を、各前記領域における前記物体光を検出した前記撮像セルの位置により定まる前記物体光の前記集光器への入射方向に基づいて並び替えて、並び替えた各前記画像信号を合成し、前記撮像素子が複数の仮想位置の各々に位置する場合に得られるべき再構成画像を生成するステップと、
各前記領域に入射する光量が最大となる前記仮想位置を特定し、前記カメラの光学系のパラメータに基づき前記特定された前記仮想位置を変換し前記距離を算出するステップとを備える、距離測定方法。
【請求項１】
対象物までの距離を測定するための距離測定装置であって、
撮像素子を有するカメラを備え、
前記撮像素子は、それぞれが前記対象物からの物体光を画像信号に変換する複数の撮像セルからなり、
前記カメラは、
前記物体光を集光する撮像レンズと、
前記撮像レンズを通過した前記物体光が入射する複数の集光器からなる集光アレイと、
前記撮像素子に入射する光を制御するシャッターとを含み、
前記シャッターは、複数の前記集光器を透過する光を遮蔽する複数の遮光部および複数の前記集光器を透過する光を通す複数の開口部が、それぞれ配置される複数の配置パターンを有し、
各前記集光部を透過する光は、いずれか１つの前記配置パターンにおいて、前記シャッターを通過し、
各前記配置パターンにおいて、各前記開口部を透過した前記物体光は、前記撮像素子上の互いに異なり、各々が前記集光器の大きさよりも大きい領域に入射し、
各前記配置パターンにおいて前記カメラで得た前記画像信号を、各前記領域における前記物体光を検出した前記撮像セルの位置により定まる前記物体光の前記集光器への入射方向に基づいて並び替えて、並び替えた各前記画像信号を合成し、前記撮像素子が複数の仮想位置の各々に位置する場合に得られるべき再構成画像を生成する再構成手段と、
各前記領域に入射する光量が最大となる前記仮想位置を特定し、前記カメラの光学系のパラメータに基づき前記特定された前記仮想位置を変換し前記距離を算出する距離算出手段とをさらに備える、距離測定装置。
【請求項２】
各前記領域の外周が互いに接する、請求項１に記載の距離測定装置。
【請求項３】
各前記配置パターンにおいて、前記複数の遮光部および前記複数の開口部は市松模様に配置される、請求項１または２に記載の距離測定装置。
【請求項４】
各前記配置パターンにおいて、近接する２×２の前記集光器に対応する前記複数の遮光部および前記複数の開口部は、２×２の前記集光器のうち所定の１つの前記集光器の光を透過するように配置される、請求項１または２に記載の距離測定装置。
【請求項５】
前記シャッターは、液晶シャッターである、請求項１から４のいずれか１項に記載の距離測定装置。
【請求項６】
前記シャッターは、所定の開口を持ち、前記複数のパターンに対応して移動可能な遮光マスクである、請求項１から４のいずれか１項に記載の距離測定装置。
【請求項７】
撮像素子を有するカメラを用いて、対象物までの距離を測定するための距離測定方法であって、
前記撮像素子は、それぞれが前記対象物からの物体光を画像信号に変換する複数の撮像セルからなり、
前記カメラは、
前記物体光を集光する撮像レンズと、
前記撮像レンズを通過した前記物体光が入射する複数の集光器からなる集光アレイと、
前記撮像素子に入射する光を制御するシャッターとを含み、
前記シャッターは、複数の前記集光器を透過する光を遮蔽する複数の遮光部および複数の前記集光器を透過する光を通す複数の開口部が、それぞれ配置される複数の配置パターンを有し、
各前記集光部を透過する光は、いずれか１つの前記配置パターンにおいて、前記シャッターを通過し、
各前記配置パターンにおいて、各前記開口部を透過した前記物体光は、前記撮像素子上の互いに異なり、各々が前記集光器の大きさよりも大きい領域に入射し、
各前記配置パターンにおいて前記カメラで前記画像信号を得るステップと、
各前記配置パターンにおいて前記カメラで得た前記画像信号を、各前記領域における前記物体光を検出した前記撮像セルの位置により定まる前記物体光の前記集光器への入射方向に基づいて並び替えて、並び替えた各前記画像信号を合成し、前記撮像素子が複数の仮想位置の各々に位置する場合に得られるべき再構成画像を生成するステップと、
各前記領域に入射する光量が最大となる前記仮想位置を特定し、前記カメラの光学系のパラメータに基づき前記特定された前記仮想位置を変換し前記距離を算出するステップとを備える、距離測定方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２００９−２５０６８５（Ｐ２００９−２５０６８５Ａ）
【公開日】平成２１年１０月２９日（２００９．１０．２９）
【国際特許分類】
【出願番号】特願２００８−９６４３４（Ｐ２００８−９６４３４）
【出願日】平成２０年４月２日（２００８．４．２）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２１年１０月２９日（２００９．１０．２９）
【国際特許分類】
【出願日】平成２０年４月２日（２００８．４．２）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]