距離測定装置および距離測定方法
【課題】精度よく距離情報を測定できる小型かつ低コストの距離測定装置を提供する。
【解決手段】本願発明に係る距離測定装置は、画像センサカメラ１と、画像キャプチャボード２と、画像データを保存するメモリ３と、メモリ３に保存された画像データから対象物までの距離情報を算出する画像処理部４と、画像処理部４で算出された距離情報を表示する表示モニタ５とを備える。画像処理部４は、再構成部４ａと、輝度情報算出部４ｂと、距離情報算出部４ｃと、マスク部４ｄとからなる。マスク部４ｄは、画像センサカメラ１内部のマイクロレンズアレイ１２の非レンズ部に対応する画素の値を所定の値に変換する。
【解決手段】本願発明に係る距離測定装置は、画像センサカメラ１と、画像キャプチャボード２と、画像データを保存するメモリ３と、メモリ３に保存された画像データから対象物までの距離情報を算出する画像処理部４と、画像処理部４で算出された距離情報を表示する表示モニタ５とを備える。画像処理部４は、再構成部４ａと、輝度情報算出部４ｂと、距離情報算出部４ｃと、マスク部４ｄとからなる。マスク部４ｄは、画像センサカメラ１内部のマイクロレンズアレイ１２の非レンズ部に対応する画素の値を所定の値に変換する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象物までの距離を測定する距離測定装置および距離測定方法に関する。
【背景技術】
【０００２】
近年、産業用ロボットや各種ＦＡ機器を用いて生産ラインを自動化するシステムや、知能ロボットのインテリジェント化を図るために、視覚センサが重要となってきている。特に、ロボットアームを用いたシステムにおいては、ワークの位置、姿勢、形状等の計測に視覚センサとして画像センサカメラが多く用いられている。
【０００３】
また、半導体デバイスや回路部品の実装基板の製造などにおいては、品質を管理するために半田バンプや金バンプなど２次元状に配置された微小なデバイスの高さ情報を測定するというニーズが高まっている。
【０００４】
このようなニーズに対応すべく、従来より、複数の画像センサカメラを用いたステレオ方式による３次元情報測定システムなどが用いられている。しかしながら、このシステムには、複数のカメラや複雑な画像処理が必要などの課題があった。
【０００５】
また、比較的小さな対象物の高さ情報を測定する方法として、共焦点顕微鏡の原理を利用した高さ測定法が提案されている。例えば、特開２００３−７５１１９号公報（特許文献１）に記載された共焦点顕微鏡の原理を用いた高さ情報測定装置は、図１８に示すように、光源１０３、対物レンズ１０４、２次元画像カメラ１０２を備えた共焦点光学系１０１により、試料１０６をステージ１０５を高さ方向に移動させながら、その高さ方向において互いに異なる複数の高さ位置で水平面の共焦点画像１０７をそれぞれ撮像する構成を有している(図１９（ａ）（ｂ）)。そして、複数の共焦点画像の画素毎の輝度情報を比較し最大輝度を有する画素を含む共焦点画素データを用いて粒子解析を行ない、特定領域を抽出した後、抽出された領域における輝度と高さの代表値を算出し、試料の高さ情報を求めるものである（図１９（ｃ））。
【０００６】
また、撮像素子を用いたカメラシステムにおいて、取得した画像データをデジタル処理により合成し、後で好きなようにピントを手前または奥に移動できるプレノプティックカメラ技術が“Ｓｉｎｇｌｅ Ｌｅｎｓ Ｓｔｅｒｅｏ ｗｉｔｈ ａ Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ”，ＩＥＥＥ ＴＲＡＮＳＡＣＴＩＯＮＳ ＯＮ ＰＡＴＴＥＲＮ ＡＮＡＬＹＳＩＳ ＡＮＤ ＭＡＣＨＩＮＥ ＩＮＴＥＬＬＩＧＥＮＣＥ，ＶＯＬ．１４，ＮＯ．２，ＦＥＢＲＵＡＲＹ １９９２（非特許文献１）や“Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ ｗｉｔｈ ａ Ｈａｎｄ−ｈｅｌｄ Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ”，Ｓｔａｎｆｏｒｄ Ｔｅｃｈ Ｒｅｐｏｒｔ ＣＴＳＲ ２００５−０２（非特許文献２）の中で提案されている。
【０００７】
プレノプティックカメラは、通常の方法で画像を形成する普通のカメラレンズの他に、、カメラレンズの像平面に正確に配置されたマイクロレンズアレイを備える。さらに、マイクロレンズアレイのすぐ背後に配置され、マイクロレンズアレイより多くの撮像素子を有するイメージセンサアレイ（撮像素子アレイ）を備える。
【０００８】
マイクロレンズアレイ内のレンズの数で最終画像の画素数は決まるが、単一マイクロレンズに割り当てられた多数のセンサピクセルにより、そのマイクロレンズに入射する光の方向と強度を記録することができる。そのデータを用いて、所定の距離にピントを合わせた画像を再構成することができるというものである。
【特許文献１】特開２００３−７５１１９号公報
【非特許文献１】“Ｓｉｎｇｌｅ Ｌｅｎｓ Ｓｔｅｒｅｏ ｗｉｔｈ ａ Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ”，ＩＥＥＥ ＴＲＡＮＳＡＣＴＩＯＮＳ ＯＮ ＰＡＴＴＥＲＮ ＡＮＡＬＹＳＩＳ ＡＮＤ ＭＡＣＨＩＮＥ ＩＮＴＥＬＬＩＧＥＮＣＥ，ＶＯＬ．１４，ＮＯ．２，ＦＥＢＲＵＡＲＹ １９９２
【非特許文献２】“Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ ｗｉｔｈ ａ Ｈａｎｄ−ｈｅｌｄ Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ”，Ｓｔａｎｆｏｒｄ Ｔｅｃｈ Ｒｅｐｏｒｔ ＣＴＳＲ ２００５−０２
【発明の開示】
【発明が解決しようとする課題】
【０００９】
特許文献１のように、共焦点顕微鏡の原理を用いて複数の共焦点画像を取得する場合、ステージの面方向への走査と高さ方向への移動という操作が必要で、オートフォーカス機構を含む移動機構系による大型化や、２次元画像データを高さを変えて複数回取得するための時間（ステージの移動時間、静止に要する時間、対物レンズなどのオートフォーカシング時間などが含まれる）が必要になるなどの課題がある。
【００１０】
また、非特許文献１には、取得画像データに対して、例えばオペレータがピント位置（距離）を入力することで、その位置にフォーカシングされた画像をデータの並び替え（再構成）により作り出すことは示されているが、それを用いて対象物の距離情報を算出することは示されていない。
【００１１】
また、マイクロレンズアレイの各マイクロレンズの間あるいは各マイクロレンズの周辺に存在する非レンズ部分により、再構成画像にノイズが発生するという問題もあった。非レンズ部分を透過して撮像素子に入射した光（不要光）は、再構成画像にはノイズとして現れる。
【００１２】
本発明は、このような課題に着目してなされたものであり、精度よく距離情報を測定できる小型かつ低コストの距離測定装置を提供することを目的とする。
【課題を解決するための手段】
【００１３】
１つの局面に係る本願発明は、対象物までの距離を測定するための距離測定装置であって、対象物からの物体光を撮像するカメラを備え、カメラは、物体光を集光する撮像レンズと、撮像レンズを通過した物体光が入射する複数のマイクロレンズからなるマイクロレンズアレイと、マイクロレンズアレイを通過した物体光を検出し、画像データに変換する撮像デバイスとを含み、撮像デバイスは、それぞれがマイクロレンズアレイを通過した物体光を検出し、画像信号に変換する複数の撮像素子を有し、複数の撮像素子は、それぞれに１つのマイクロレンズを透過した物体光が入射する複数の素子群に分割されており、マイクロレンズアレイの非レンズ部を透過した光が入射する外縁部の撮像素子に対応する画素データの画素値を所定の値に変換するマスク手段と、マスク手段により処理された画像データに含まれる複数の画素データを、各素子群における物体光を検出した撮像素子の位置により定まる物体光のマイクロレンズへの入射方向に基づいて並び替えて、撮像デバイスが複数の仮想位置の各々に位置する場合に得られるべき再構成画像を生成する再構成手段と、複数の再構成画像に共通の領域において、複数の再構成画像の各々について、各画素と各画素近傍の画素との間の輝度の差分値を算出する差分値算出手段と、共通の領域に含まれる各画素位置に対して、差分値が最大である画素を有する再構成画像に対応する仮想位置を特定し、カメラの光学系のパラメータに基づき特定された仮想位置を変換し距離を算出する距離算出手段とを備える。
【００１４】
好ましくは、差分値算出手段は、各素子群に対応する画像データの領域に含まれる複数の画素の画素値に基づいて一様輝度を算出し、各領域に含まれる複数の画素を一様輝度を有する画素に変換する平均化手段をさらに含み、一様輝度を有する画素に基づき差分値を算出する。
【００１５】
さらに好ましくは、平均化手段は、各領域に含まれる画素のうち、外縁部の画素を除いた画素の画素値に基づいて一様輝度を算出する。
【００１６】
さらに好ましくは、平均化手段は、各領域に含まれる画素のうち、所定の値を持つ画素を除いた画素の画素値に基づいて一様輝度を算出する。
【００１７】
好ましくは、所定の値は、画素値の取りうる最小値である。
好ましくは、所定の値は、画素値の取りうる最大値である。
【００１８】
好ましくは、マスク手段は、画像データの所定の領域に含まれる画素値の平均値が所定の閾値以上であるとき、所定の値を画像信号の取りうる最小値に設定し、平均値が所定の閾値未満であるとき、所定の値を画像信号の取りうる最大値に設定する。
【００１９】
好ましくは、マスク手段は、画像データから外縁部の画素データを削除し、再構成手段は、外縁部の画素データが削除された画像データに含まれる複数の画素データを並び替えて、再構成画像を生成する。
【００２０】
他の局面に係る本願発明は、対象物からの物体光を撮像するカメラ対象物で対象物までの距離を測定するための距離測定方法であって、カメラは、物体光を集光する撮像レンズと、撮像レンズを通過した物体光が入射する複数のマイクロレンズからなるマイクロレンズアレイと、マイクロレンズアレイを通過した物体光を検出し、画像データに変換する撮像デバイスとを含み、撮像デバイスは、それぞれがマイクロレンズアレイを通過した物体光を検出し、画像信号に変換する複数の撮像素子を有し、複数の撮像素子は、それぞれに１つのマイクロレンズを透過した物体光が入射する複数の素子群に分割されており、マイクロレンズアレイの非レンズ部を透過した光が入射する外縁部の撮像素子に対応する画素データの画素値を所定の値に変換するステップと、外縁部の撮像素子に対応する画素データの画素値を所定の値に変換された画像データに含まれる複数の画素データを、各素子群における物体光を検出した撮像素子の位置により定まる物体光のマイクロレンズへの入射方向に基づいて並び替えて、撮像デバイスが複数の仮想位置の各々に位置する場合に得られるべき再構成画像を生成するステップと、複数の再構成画像に共通の領域において、複数の再構成画像の各々について、各画素と各画素近傍の画素との間の輝度の差分値を算出するステップと、共通の領域に含まれる各画素位置に対して、差分値が最大である画素を有する再構成画像に対応する仮想位置を特定し、カメラの光学系のパラメータに基づき特定された仮想位置を変換し距離を算出するステップとを備える。
【発明の効果】
【００２１】
本発明によれば、一度の撮像データから画像処理により、異なるフォーカシング状態の複数の画像を生成し、そのデータより距離画像を得ることができるため、カメラレンズのフォーカシング機構やステージなどの移動機構が不要である。また、非レンズ部分に対応する領域中の撮像素子からの画像情報をマスク処理して仮想位置の再構成像を生成することにより、高精度なマイクロレンズアレイを不要としながら、高精度な距離検出を行なえる。よって、小型かつ低コストな高精度の距離情報測定装置を実現できる。
【発明を実施するための最良の形態】
【００２２】
本発明は、撮像レンズで結像した画像を、マイクロレンズアレイを通して撮像素子で撮影し、その画像データから対象物の３次元情報を取得する距離測定装置に関するものである。以下、図面を参照しながら本発明の実施の形態を説明する。なお、本発明は以下の実施形態に限定されるものではない。
【００２３】
（１．距離測定装置の構成）
図１を参照して、本発明に係る距離測定装置の構成について説明する。図１は、本発明の実施の形態に係る距離測定装置の概略構成図である。
【００２４】
距離測定装置は、対象物の物体光を撮像する画像センサカメラ１と、画像センサカメラ１の撮像結果から画像データを取得する画像キャプチャボード２と、画像データを保存するメモリ３と、画像データに基づいて対象物までの距離情報を算出する画像処理部４とを備える。また、必要に応じて、画像処理部４で算出された距離情報を表示する表示モニタ５をさらに備える。
【００２５】
画像処理部４は、再構成部４ａと、輝度情報算出部４ｂと、距離情報算出部４ｃと、マスク部４ｄとを含む。
【００２６】
マスク部４ｄは、画像キャプチャボード２より取得した対象物の画像データの一部分の画素値を特定の値に変換する。再構成部４ａは、画像データに含まれる画素データを並び替えて、異なる複数の仮想焦点位置の再構成画像を生成する。輝度情報算出部４ｂは、複数の再構成画像において、各画素あるいは複数の画素からなる画素群の各々の輝度情報を算出する。距離情報算出部４ｃは、輝度情報および画像センサカメラ１の光学系のパラメータに基づいて、対象物までの距離を算出する。
【００２７】
画像センサカメラ１は、撮像レンズ（以後は、メインレンズ１１と呼ぶ）と、複数のマイクロレンズからなるマイクロレンズアレイ１２と、複数の撮像素子を含む撮像素子アレイ１３とからなる。撮像素子としては、例えば、ＣＣＤ（charge-coupled device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどを用いることができる。
【００２８】
メインレンズ１１には、対象物からの物体光が入射する。メインレンズ１１は、物体光を集光する。マイクロレンズアレイ１２には、メインレンズ１１を通過した物体光が入射する。マイクロレンズアレイ１２に含まれる複数のマイクロレンズの各々は、物体光を集光する。
【００２９】
撮像素子アレイ１３に含まれる複数の撮像素子の各々は、入射した光を画像信号に変換する。撮像素子アレイ１３により取得される画像データについては、後で詳述する。
【００３０】
（２．画像センサカメラの光学系）
本実施の形態においては、画像センサカメラ１の光学系の構成に特徴がある。図２を参照して、画像センサカメラ１の光学系について説明する。図２は、画像センサカメラ１の光学系を示す図である。なお、簡単のため、図２には、対象物１４が点光源である場合を示す。
【００３１】
画像センサカメラ１のマイクロレンズアレイ１２は、対象物１４がＡの位置にある場合に、メインレンズ１２より対象物１４がほぼ結像する位置に配置される。このときのＡの位置を合焦位置、合焦位置よりもメインレンズ１１に近い側を近点位置、合焦点位置よりもメインレンズ１１から遠い側を遠点位置と呼ぶ。撮像素子アレイ１３はマイクロレンズアレイ１２のほぼ焦点位置に配置されている。撮像素子アレイ１３には、マイクロレンズアレイ１２上に集光された光対象物の光が、マイクロレンズを通して、拡大されて入射される。
【００３２】
また、それぞれのマイクロレンズを通過した光が、撮像素子アレイ１３上の互いに異なる領域に入射するように、画像センサカメラ１の光学系のパラメータ（メインレンズ１２およびマイクロレンズのＦナンバーなど）は調整されているものとする。
【００３３】
次に、図３〜図９を用いて、この画像センサカメラ１による撮像および距離情報検出の原理を説明する。
【００３４】
図３を参照して、対象物１４の結像について説明する。図３は、対象物１４が近点位置Ｂまたは遠点位置Ｃにある場合の集光の様子を示す図である。対象物１４が位置Ｂにある場合、対象物１４からの光は、メインレンズ１１により、面Ｄに集光(結像)する。また、位置Ｃにある場合、面Ｆに集光（結像）する。また、面Ｅは、合焦位置Ａに対する集光面であり、ほぼマイクロレンズアレイ１２の位置に相当する。結像面Ｆ，Ｅ，ＤをそれぞれＣ，Ａ，Ｂに対する仮想焦点面と呼ぶ。
【００３５】
続いて、対象物１４が図３の位置Ａ，Ｂ，Ｃにある場合にマイクロレンズアレイ１２上にどのような形状の入射光１５が入射するかについて図４を用いて説明する。図４はマイクロレンズアレイ１２上の入射光１５の形状を示す図である。
【００３６】
図４に示すように、本実施の形態においては、マイクロレンズアレイ１２は、２次元面内に配列された円形のマイクロレンズからなるものとする。また、各マイクロレンズには、それらを識別するための番号Ｍ（ｉ，ｊ）が与えられているものとする。図４（ａ）、図４（ｂ）、図４（ｃ）は、それぞれ、対象物１４が、遠点位置Ｃにある場合、合焦位置Ａにある場合、近点位置Ｂにある場合のマイクロレンズアレイ１２上の入射光１５の形状を示す図である。
【００３７】
合焦位置Ａにある対象物１４からの光は図４（ｂ）のようにほぼマイクロレンズＭ（２，２）上に集光される。
【００３８】
対象物１４が遠点位置Ｃにある場合、対象物１４からの光は、メインレンズ１１を通して一旦集光された後、さらにデフォーカス状態になって広がってマイクロレンズ１２上に入射する。したがって、図４（ａ）に示すように、マイクロレンズアレイ１２上の入射光１５は、マイクロレンズＭ（２，２）の周辺レンズＭ（１，２）、Ｍ（２，１）、Ｍ（２，３）、Ｍ（３，２）にまで広がる。
【００３９】
対象物１４が近点位置Ｂにある場合は、集光前のデフォーカス状態の光が、マイクロレンズ１２上に入射する。したがって、図４（ｂ）に示すように、マイクロレンズアレイ１２上の入射光１５は、マイクロレンズＭ（２，２）の周辺レンズＭ（１，２）、Ｍ（２，１）、Ｍ（２，３）、Ｍ（３，２）にまで広がる。
【００４０】
撮像素子アレイ１３上の入射光１６について図５を用いて説明する。図５に示すように、撮像素子アレイ１３は、複数の素子群からなる。各素子群には、番号Ｔ（ｉ，ｊ）が付されている。また、各素子群は、マイクロレンズの１つを通過した物体光を検出する。言い換えると、マイクロレンズＭ（ｉ，ｊ）を通過した光は、画素群Ｔ（ｉ，ｊ）に入射する。なお、図では、素子群が１０×１０の撮像素子で構成されている場合を示しているが、素子群を構成する素子の数はこれに限られない。
【００４１】
対象物１４が合焦位置Ａにある場合、図４（ｂ）のようにほぼマイクロレンズＭ（２，２）上に集光された光が、撮像素子アレイ１３に入射する。したがって、撮像素子アレイ１３に入射する光は、図５（ｂ）に示すように、素子群Ｔ（２，２）に対して全面に広がる。
【００４２】
対象物１４が遠点位置Ｃにある場合、マイクロレンズアレイ１２上で、図４（ａ）のように周辺レンズＭ（１，２）、Ｍ（２，１）、Ｍ（２，３）、Ｍ（３，２）にも広がった光が、撮像素子アレイ１３に入射する。これらの周辺レンズに入射した光は、撮像素子アレイ１３上では、図５（ａ）に示すように、それぞれのマイクロレンズに対応する素子群Ｔ（１，２）、Ｔ（２，１）、Ｔ（２，３）、Ｔ（３，２）の一部に入射する。
【００４３】
図５（ｃ）は、近点位置Ｂに対象物１４が位置する場合に、撮像素子アレイ１３に入射する光の形状を示す図である。対象物が遠点位置Ｃにある場合と同様に、素子群Ｔ（１，２）、Ｔ（２，１）、Ｔ（２，３）、Ｔ（３，２）の一部にも光が入射する。
【００４４】
（３．画像の再構成について）
次に、本発明において距離情報を算出のための基本操作である、各仮想面での像の再構成について説明する。
【００４５】
画像の再構成にあたっては、画像センサカメラ１で取得した画像データから、マイクロレンズへの物体光の入射方向の情報を得られるという点が重要である。画像データから入射方向の情報が得られることを、図５を再度用いて説明する。例えば、遠点位置Ｃにある対象物１４からの光は、図５（ａ）に示すように、素子群Ｔ（２，２）を中心に、周囲の素子群Ｔ（１，２）、Ｔ（２，１）、Ｔ（２，３）、Ｔ（３，２）の中の外側の一部の決まった画素に入射する。また、逆に、近点位置Ｂにある対象物１４からの光は、図５（ｃ）に示すように、素子群Ｔ（２，２）を中心に、周囲の画素群Ｔ（１，２）、Ｔ（２，１）、Ｔ（２，３）、Ｔ（３，２）の中の内側の一部の決まった画素に入射する。このように各素子群に含まれる撮像素子のうちどの撮像素子に光が入射したかにより、各素子群に対応する位置に設置されたマイクロレンズへの物体光の入射方向の情報を得ることができる。
【００４６】
この入射方向の情報、仮想面の位置（仮想位置）、および、光学系のパラメータ（各レンズの焦点距離や、メインレンズ１１とマイクロレンズアレイ１２との間の距離など）に基づき、撮像素子アレイ１３が取得した画素データを並び替えることで、撮像素子アレイ１３が仮想面にある場合に取得されるべき画像データを取得することができる。
【００４７】
並び替えの具体例を図６を用いて説明する。図６は、対象物１４の撮影像のデータを変換して得た再構成画像を示す図である。例えば、図６（ａ）は図５（ａ）に示した画像データから再構成した仮想面Ｆ上での光の分布を示したもので、図５（ｂ）の合焦位置での光ビーム状態とほぼ同じになる。周囲の決まった撮像素子の出力を集めて、素子群Ｔ（２，２）の中央付近の出力と足し合わせ、改めて素子群Ｔ（２，２）の出力とすることで、仮想面Ｆでの画像を作り出すことができる。
【００４８】
近点位置Ｂにある対象物（点像）に対しても、出力の足し合わせにより、図６（ｃ）のような再構成像が生成できる。ただし、図５からも分かるように、撮像素子アレイ１３上での広がり（分割状態）が遠点状態とは異なるので、再構成像を得るためには、異なる演算（周囲画素群の内側の一部の画素出力を足し合わせる）を行なう必要がある。
【００４９】
なお、ここでは対象物が点像の場合の例を示したが、大きさを有する対象物の場合にも、同様の操作で画像の再構成ができる。ただし、大きさを有する画像の場合、全てのマイクロレンズに光が入射するので、各マイクロレンズに対応する画素群Ｔ（１，１）〜Ｔ（３，３）に対して同様の操作を行う必要がある。
【００５０】
対象物１４が点像でない場合の再構成画像について、図７および図８を用いて説明する。図７は、矢印形状の対象物１４が近点位置Ｂにある場合の集光の様子を示す図であり、図８は、図７中に示される仮想面で取得される画像を示す図である。
【００５１】
対象物１４が近点位置Ｂにあるため、ほぼ撮像素子アレイ１３の位置にある仮想面Ｅにおける取得画像は図８（ａ）のようにボケた画像となる。しかし、仮想面をＤ１，Ｄ２，Ｄ３と変えていくと、それぞれの再構成画像は図８（ｂ）、（ｃ）、（ｄ）のようになる。Ｄ３まで変えると、Ｄ３は位置Ｂに対する仮想面であるため、位置Ｂにある対象物のフォーカシングされた画像が得られる。
【００５２】
なお、図８の画像は、マイクロレンズアレイ１２を通して取得した画像に相当するため、画像を拡大すると、図９に示すように、マイクロレンズ毎の画素群を１つの単位とした画像となっている。図９は、図８中に枠で囲った部分を拡大した画像を示す図である。
【００５３】
このように、一度の撮像により得た撮像データを画像処理することにより、複数の仮想面での画像を再構成することができる。
【００５４】
（４．距離情報の取得方法について）
次に、対象物の距離情報（３次元情報）を取得する方法の基本的な流れについて、図１０を参照しつつ説明する。図１０は、距離情報の取得の各工程で生成される画像データについて説明するための図である。
【００５５】
距離情報の取得にあたっては、まず、画像センサカメラ１により、対象物の画像データを取得する。取得された画像データは、画像キャプチャーボード２を介してメモリ３に記憶される。この画像データを、図１０（ａ）に示すようにｆ（ｉ，ｊ）とする。
【００５６】
その後、画像処理部４は、画像データｆ（ｉ、ｊ）を処理することにより、対象物の距離情報を取得する。この処理は大きく、「再構成ステップ」、「差分値算出ステップ」、「距離情報算出ステップ」に分かれる。以下、それぞれの処理について説明する。
【００５７】
（１）再構成ステップ
画像処理部４に含まれる再構成部４ａは、画像データｆ（ｉ，ｊ）を並び替えて、図１０（ｂ）に示すようなＮ枚の仮想面での再構成画像データｇｎ（ｉ，ｊ）を生成する。ここでｎ（ｎ＝１〜Ｎ）は仮想面の順番を示す。この並び替えを、焦点面変換係数Ａｎ（ｎ＝１〜Ｎ）を用いて、ｇｎ（ｉ，ｊ）＝Ａｎ（ｆ（ｉ，ｊ））と表すことにする。ここで、Ａｎは、各画素群における物体光を検出した画素の位置により定まる各マイクロレンズへの物体光の入射方向、仮想位置、および、光学系のパラメータに基づいて決定されるものである。
【００５８】
なお、再構成部４ａは、例えば、特に限られるわけではないが、本実施例においては予め定められた間隔で並んだ複数の仮想位置に対して再構成画像データを取得するものとする。また、再構成部４ａは、以下で述べる方法で焦点の合った仮想位置が算出された場合、焦点の合った仮想位置近傍では、仮想位置の間隔をさらに狭くして、狭い間隔の仮想位置に対して再構成画像を取得してもよい。この構成によれば、距離検出の精度を高めることができる。
【００５９】
このステップでは、１個の画像データｆ（ｉ，ｊ）が、図１０（ｂ）に示すようなＮ個の再構成画像データ、すなわち、ｇ０１（ｉ，ｊ）＝Ａｎ（ｆ（ｉ，ｊ））、ｇ０２（ｉ，ｊ）＝Ａｎ（ｆ（ｉ，ｊ））、…、ｇｎ（ｉ，ｊ）＝Ａｎ（ｆ（ｉ，ｊ））、…、ｇＮ（ｉ，ｊ）＝Ａｎ（ｆ（ｉ，ｊ））が得られる。
【００６０】
（２）差分値算出ステップ
輝度情報算出部４ｂは、再構成画像データｇｎ（ｉ，ｊ）から、隣接する画素の輝度の差分値を算出する。差分値の算出は、以下の手順で行なわれる。
【００６１】
まず、輝度情報算出部４ｂは、各再構成画像データｇｎ（ｉ，ｊ）に対して、図１３（ｃ）に示すような各画素群を一様輝度を有する画素に変換した画像データｈｎ（ｉ’，ｊ’）を生成する。ここで、一様輝度は、各画素群に含まれる画素の輝度と対応する輝度であればよい。例えば、輝度情報算出部４ｂは、一様輝度として、各画素群に含まれる画素の輝度の平均値、あるいは輝度の総和を算出する。
【００６２】
本実施例では、ｍ×ｍ個の画素からなる画素群が、一様な輝度を有する１つの画素に変換（平均化）されるものとする。この変換は、平均化係数をＢｎとして、ｈｎ（ｉ’，ｊ’）＝Ｂｎ（ｇｎ（ｉ，ｊ））と表される。
【００６３】
平均化処理の具体例を図１１を用いて説明する。図１１は、図９に示す画像に対し平均化処理を行った場合の画素群の輝度分布を示す図である。図１１（ａ）〜（ｄ）はそれぞれ図９（ａ）〜（ｄ）の輝度分布を画素群内で平均化処理したものである。
【００６４】
本ステップにより、処理対象となるデータ量を１／ｍ２に削減できる。そのため、以降の処理の画像処理速度が大幅に向上する。ただし、この処理は、必須ではない。
【００６５】
次に、輝度情報算出部４ｃは、各再構成画像について、画素間の輝度の差分値を計算する。上述の平均化処理が行なわれている場合、輝度情報算出部４ｃは、各画像データｈｎ（ｉ’，ｊ’）において、各画素群について隣接画素群との輝度の差分値を計算し、図１０（ｄ）に示すような差分値画像データｋｎ（ｉ’，ｊ’）を作成する。ｈｎとｋｎとの関係を、差分値変換係数をＣｎとして、ｋｎ（ｉ’，ｊ’）＝Ｃｎ（ｈ（ｉ’，ｊ’））と表すことにする。ここで、差分値変換係数Ｃｎは、例えば、一般的に用いられているRoberts法と呼ばれるエッジ検出法を利用する場合には、（ｉ’，ｊ’）の画素群に対して、ｘ方向の微分値ｄｘ＝ｈ（i'，ｊ’）−ｈ（i'＋１，ｊ’＋１）、ｙ方向の微分値ｄｙ＝ｈ（i'＋１，ｊ’）−ｈ（i'，ｊ’＋１）を用いて、（ｄｘ２＋ｄｙ２）１／２で与えられる。ただし、差分値変換係数としては、これに限ることなく、単純な微分法、Sobel法や２次微分を用いるラプラシアン法など様々なフィルタ窓を設定することができる。図１０（ｄ）に示すように、Ｎ枚の差分値画像が作成される。
【００６６】
なお、上述の平均化処理を行なっていない場合には、輝度情報算出部４ｂは、単純に、各再構成画像の各画素について、隣接する画素との輝度値の差分を計算し、差分値画像データを取得する。
【００６７】
（３）距離情報算出ステップ
距離情報算出部４ｃは、差分値算出ステップで得られたデータに基づき、次の手順で、対象物の距離情報を算出する。
【００６８】
まず、距離情報算出部４ｃは、差分値画像データに基づき、複数の再構成画像に共通の各画素位置 p=(i’,j’) での差分値強度の最大値を検出し、その最大値が検出されるn値(以後、代表値と呼ぶ)を求め、図１０（ｅ）に示すような代表値画像データs(i’,j’)を生成する。すなわち、各p=(i’,j’)においてkn(i’,j’)〜kN(i’,j’)を最大とするnの値をs(i’,j’)とおく。図９あるいは図１１で示すように、エッジ周辺の輝度変化は、合焦位置での画像において、最も大きい。よって、差分値が最大となる仮想面の位置が合焦状態を示していると判定できる。このことを利用して、対象物までの距離を算出することができる。
【００６９】
あるいは、差分値分布の近似曲線から、代表値を求めてもよい。この求め方を図１２を用いて説明する。図１２は、差分値分布の近似曲線から代表値を求める方法を説明するための図である。図１２（ａ）は、異なる距離に配置されている２つの対象物の再構成像を示す図である。図１２（ｂ）は、図１２（ａ）に示した各対象物のエッジ付近の画素位置（１４Ａ、１５Ｂ）における差分値強度を、仮想面の位置（ｎ値）について、プロットしたものである。各対象物に対して、画素位置（i',j'）において、ｎ値についてプロットした差分値強度の近似曲線を求め、近似曲線のピークのｎ値（図１２（ｂ）中のｎ１、ｎ２）を、代表値s(i',j')として求める。この代表値は対象物の像にピントが合っている仮想面の位置を示している。
【００７０】
最後に、距離情報算出部４ｃは、各画素位置において最大差分値強度が得られる代表値画像s(i’,j’)を、既知の光学系の倍率データ等を用いて、距離測定装置から対象物までの絶対距離d(i’,j’)に変換し、図１０（ｆ）に示すような最終的な距離画像データ d(i’,j’)を生成する。
【００７１】
上記アルゴリズムは、輝度情報算出処理および距離情報算出処理を画素すべてについて行い、画素すべてについて距離データを求める場合のものであるが、画素すべてについて距離データを求めなくてもよい場合は、アルゴリズム処理領域を限定してもよい。例えば、複数の再構成画像に共通の処理領域を設定し、設定した処理領域において、輝度情報算出処理および距離情報算出処理を行なってもよい。処理領域を限定することで、処理時間や計算負荷を低減できる。
【００７２】
また、差分値強度画像ｋｎ（ｉ’，ｊ’）に閾値処理を施すなどして、画像内のエッジ領域を抽出し、抽出したエッジ領域に限定して、代表値の算出および距離情報の計算を行なってもよい。このようにエッジ領域についてのみ距離を求める構成によれば、処理時間や計算負荷を大幅に低減できる。
【００７３】
上記距離情報算出アルゴリズムにより、単一の撮像データから画像処理により、異なるフォーカシング状態（仮想面）の複数の画像を生成し、そのデータより対象物の距離画像を得ることができる。
【００７４】
（５．マスク処理について）
基本的には、上述の方法で撮像画像から距離画像を得ることができる。しかしながら、上述の方法では、マイクロレンズアレイ１２の品質が、再構成画像の画質に影響を及ぼす。その具体例を図１３および図１４を参照して説明する。図１３は、被写体を説明する図、図１４は、図１３に示す被写体の撮像画像および再構成画像を示す図である。図１４に示す撮像画像は、図１３に示す被写体についてモノクロ品質で撮影したものである。
【００７５】
図１３に示すように、被写体は１５ｍｍ間隔で文字（ＳＨＡ）の描かれたカードを並べたものである。正面から撮影したときに全ての文字が見えるように、各文字の位置は、メインレンズ１１の径方向にずらして配置されている。メインレンズ１１から１００ｍｍの位置に最前列のカードを置き、２番目のカードの位置を基準焦点面とする。つまり、２番目のカードがある面に焦点を合わせて撮影する。
【００７６】
図１４（ａ）は、上記の条件下での、この被写体の撮像画像である。また、図１４（ａ）の四角で囲んだ部分の拡大図を図１４（ｄ）に示す。撮像画像（図１４（ａ））について、基準焦点面からメインレンズ１１側に１５ｍｍ移動した位置の仮想面での再構成画像を図１４（ｂ）に示す。さらに、図１４（ｂ）の再構成画像に対し、画素群の平均化処理を施した画像を図１４（ｃ）に示す。
【００７７】
今の場合、仮想面を基準焦点面からメインレンズ１１側に１５ｍｍ移動した位置に設定しているので、図１３の被写体の最前列のカードに焦点が合った画像が得られるはずであるが、図１４（ｃ）では、最前列のカードの文字（図１４（ｃ）の最も左の文字）の輪郭があまり明瞭になっていない。
【００７８】
ここでの画像品質が悪いと、その後の処理であるエッジ検出、ひいては最大差分値強度検出の精度が落ちる。輪郭が明瞭でない画像のエッジ強度は検出しにくく、最大差分値強度を見つけにくいためである。これは、つまり、画像品質が悪くなると、距離検出精度が低下する事を意味する。
【００７９】
図１４に示すような画像品質の劣化は、マイクロレンズアレイ１２の非レンズ部によるところが大きい。一般に、マイクロレンズアレイにおいては、製造上の問題からマイクロレンズ間はレンズ形状を維持していない事が多い。また、マイクロレンズの周辺部分は、加工精度が出にくく必ずしもレンズとして機能しない。このようにマイクロレンズ間あるいはマイクロレンズ周辺部に存在し、レンズとして機能しない非レンズ部が、画像品質の劣化をもたらす。
【００８０】
撮像画像の拡大図である図１４（ｄ）を参照してこのことを説明する。図１４（ｄ）で四角で囲んだ部分が、一つのマイクロレンズに対応する部分である。図１４の撮像に用いたマイクロレンズアレイのマイクロレンズ間には、平坦状の隙間がある。そのため、図１４（ｄ）から分かるように、実際のマイクロレンズは、四角で囲んだ部分の内側にある。
【００８１】
再構成画像を生成する計算において、マイクロレンズ間およびマイクロレンズ周辺の画素は、ノイズであると考えられる。ノイズを含んだ画像を再構成および平均化しているため、図１４（ｃ）のように、エッジが十分はっきりしない画像になってしまう。
【００８２】
この画像劣化を防ぐためには、非レンズ部の少ない高精度なレンズを用いることが考えられる。しかし、そのようなレンズは、一般に高価である。
【００８３】
また、非レンズ部分の光学的特性を考慮して、非レンズ部分の補正演算を行なうことも考えられるが、この方法には、非レンズ部分の詳細な光学的特性を把握する必要が生じるとともに、それを反映して演算処理が煩雑となり処理時間が長くなるという問題がある。
【００８４】
本発明では、この問題を解決するため、撮像画像のマイクロレンズ間およびマイクロレンズ周辺部分にマスク部４ｄによりマスク処理を施す。
【００８５】
マスク処理としては、例えば、マスク対象部分の画素値を特定の値に設定する。設定する特定の値としては、例えば画素値の取り得る範囲の最小値とする。あるいは、画素値の取りうる範囲の最大値とする。
【００８６】
本実施の形態では、図１４（ａ）の撮像画像の非レンズ部分に対応する画素として図１５の斜線部で示すマスク画素に対して、マスク処理を行なうものとする。また、マスク処理後の値を、画素値＝０（黒色）に設定するものとする。
【００８７】
この処理を施した画像を図１６（ａ）に示す。また、図１６（ａ）の四角で囲んだ部分の拡大図を図１６（ｄ）に示す。図１６（ｄ）より、マイクロレンズ間およびマイクロレンズ周辺部分がマスクされて黒くなっていることが分かる。
【００８８】
基準焦点面からメインレンズ側に１５ｍｍ移動した仮想面における、図１６（ａ）の画像の再構成画像を図１６（ｂ）に示す。さらに、図１６（ｂ）の再構成画像に平均化処理を施した画像を図１６（ｃ）に示す。
【００８９】
図１４（ｃ）に比べて図１５（ｃ）の方が、最前列のカードに描かれた文字（最も左の文字）の輪郭が明瞭に出ている。また、図１５（ｃ）においては、３枚のカードの中で最前列のカードに書かれた文字にもっとも焦点が合っていることが分かる。このように、マスク処理を行なって再構成画像を生成する事で、マイクロレンズ間およびマイクロレンズ周辺部分のノイズの影響を排除する事が出来る。
【００９０】
なお、マスク部分の画素を含んで平均化すると、画像全体がマスク部分の画素値にバイアスされる。本実施の形態の場合、画像全体が暗くなる。そこで、マスク部分の画素は平均化の対象から外すことが望ましい。
【００９１】
このためには、ある条件を満たす画素を平均化計算から除外すればよい。マスク部分の画素値が含まれる条件を設定して、マスク画素と他の画素とを区別する。
【００９２】
例えば、閾値を用いて、マスク画素と他の画素とを区別する。つまり、マスク画素の変換後の値が最小値である場合、所定の閾値以下の画素値をもつ画素をマスク画素とみなす。逆に、マスク画素の変換後の値が最大値である場合、所定の閾値以上の画素値をもつ画素をマスク画素とみなす。あるいは、変換後のマスク画素の画素値を持つ画素を、除外対象としてもよい。
【００９３】
このように画素値を用いてマスク画素の抽出を行なう場合、画像全体が明るい場合や、注目したい物体画像が明るい場合は、マスク対象部分の画素値を最小値（黒）に、逆に、画像全体が暗い場合や、注目したい物体画像が暗い場合は、マスク対象部分の画素値を最大値（白）に設定するほうが、必要な画素とマスク画素との区別が明確になされるため、好ましい。
【００９４】
さらに、画像によって、自動的にマスク画素の変換後の値を設定するようにしてもよい。例えば、画像全体あるいは注目する物体画像が明るいか暗いかを、画像全体あるいは、画像の一部の領域の画素値の平均値を所定の閾値と比較することで判断し、平均値が閾値以上の場合、マスク処理後の画素値を最小値に、平均値が閾値未満の場合、マスク処理後の画素値を最大値とすれば、マスク画素と他の画素との区別をより明確にできる。
【００９５】
マスク部分の画素を平均化の対象から外すための他の方法として、マスク対象部分に含まれる画素を平均化の対象から除外してもよい。この方法では、平均化処理において閾値による画素の判断が省略できるために、処理速度が高速化できる。
【００９６】
特に、マスク部４ｄは、マスク対象部分の画素データを画像データから削除してもよい。マスク部分が図１５のようであった場合、対象部分の削除後の画像データは、格子状になる。再構成部４ａは、この画像データに対して、画素データの並び替え、平均化を行なう。このようにマスク部分のデータを画像データから削除することで、画像データ量が減る。
【００９７】
（６．処理の流れ）
本実施の形態に係る距離測定における処理の流れを図１６を用いて説明する。図１７は本実施の形態に係る距離測定の処理の流れを示すフローチャートである。
【００９８】
まず、画像処理部４は、ステップＳ１０１において、画像データを取得する。この画像データは、画像センサ１により対象物を１回撮影することにより得られる。
【００９９】
次に、画像処理部４は、ステップＳ１０２において、画像データに対し、マスク処理を行なう。つまり、非レンズ部に対応するマスク対象部分の画素データを所定の値に変換する。
【０１００】
そして、画像処理部４は、ステップＳ１０３において、画像データから、距離測定を行なう対象となる処理領域を決定する。処理領域は、エッジ判定によって行なわれてもよいし、利用者が設定してもよい。また、画像データの全領域について距離測定を行なう場合は、このステップは、省略される。
【０１０１】
続いて、画像処置装置４は、ステップＳ１０４において、選択領域中の画像データを並び替え、複数の仮想位置について再構成画像を作成する。
【０１０２】
そして、画像処理部４は、ステップＳ１０５において、各画素群の平均化を行なう。すなわち、各画素群を一様輝度を有する画素に変換する。この際、マスク対象部分の画素を平均化の対象から外してもよい。
【０１０３】
そして、画像処理部４は、ステップＳ１０６において、再構成画像データから差分値画像データを作成する。
【０１０４】
さらに、画像処理部４は、ステップＳ１０７において、差分値画像データから、代表値データを作成する。
【０１０５】
そして、画像処理部４は、ステップＳ１０８において、光学系の倍率より、代表値データを対象物の距離データに変換し、距離データを作成する。
【０１０６】
（７．まとめ）
これまで説明してきたように、本発明によれば、単一の撮像データから画像処理により、異なるフォーカシング状態（仮想面）の複数の画像を生成し、そのデータより対象物の距離画像を得ることができる。また、奥行き方向の前後の位置関係や、対象物の異なるエッジの距離情報から傾きや姿勢を求めることも可能である。
【０１０７】
非特許文献１に記載されているような従来のプレノプティックカメラは、設定した距離にピントを合せた画像は再構成できるが、画像の対象物の距離情報を求めることはできなかった。これに対し、本発明では、距離情報を算出することができる。
【０１０８】
また、特許文献１のようにステージ等で対象物の高さを変化させて、オートフォーカシングを行った後、複数枚の画像を取得し、それらの輝度情報に基づいて、高さ情報を求める方法に対して、本発明の方法は、カメラレンズのフォーカシング機構やステージなどの移動機構が不要となるため、小型かつ低コストである。
【０１０９】
しかも一度の撮像操作で取得した画像データから距離データを算出できるため、カメラや対象物の複数回の移動時間や撮影時間または移動に伴う各画像のマッチング操作などの時間が不要となり、大幅な測定時間短縮も可能となる。１つの取得画像から複数の再構成画像を生成する操作については、シリアルに処理する必要はなくパラレルに合成できるため、複数回の撮影時間が省略でき、高速測定に有利である。
【０１１０】
さらに、本光学系は、撮像素子のごく近傍にマイクロレンズアレイを組み込む構成なので、従来の画像センサカメラとほぼ同サイズであるため、広くＦＡ用途としてロボットなどの視覚センサに用いられている２次元画像センサカメラとほぼ同じ外径サイズに収まるため、従来カメラとの互換性（置換え）が高い。
【０１１１】
さらに、マイクロレンズ間やマイクロレンズ周辺の非レンズ部分の画像情報をマスク処理して仮想面での再構成像を生成する事により、高精度なマイクロレンズアレイを用いなくても、精度よく距離検出する事ができる。
【０１１２】
今回開示された実施の形態はすべての点で例示であって制限的なものではない。本発明の範囲は上記した実施の形態ではなくて特許請求の範囲によって示され、特許請求の範囲と均等な意味および範囲内でのすべての変更点が含まれることが意図される。
【図面の簡単な説明】
【０１１３】
【図１】本発明の実施の形態に係る距離情報検出装置の概略構成図である。
【図２】画像センサカメラ１の光学系を示す図である。
【図３】対象物１４が近点位置Ｂまたは遠点位置Ｃにある場合の集光の様子を示す図である。
【図４】マイクロレンズアレイ１２上の入射光１５の形状を示す図である。
【図５】撮像素子アレイ１３上の入射光１６の形状を示す図である。
【図６】対象物１４の撮影像のデータを変換して得た再構成画像を示す図である。
【図７】矢印形状の対象物１４が近点側Ｂにある場合の集光の様子を示す図である。
【図８】図７中に示される仮想面で取得される画像を示す図である。
【図９】図８中に枠で囲った部分を拡大した画像を示す図である。
【図１０】距離情報の取得の各工程で生成される画像データについて説明するための図である。
【図１１】図９に示す画像に対し平均化処理を行った場合の画素群の輝度分布を示す図である。
【図１２】差分値分布の近似曲線から代表値を求める方法を説明するための図である。
【図１３】被写体を説明する図である。
【図１４】図１３に示す被写体の撮像画像および再構成画像を示す図である。
【図１５】マスク部分を説明する図である。
【図１６】マスク画像およびマスク画像の再構成画像を示す図である。
【図１７】本実施の形態に係る距離測定の処理の流れを示すフローチャートである。
【図１８】共焦点顕微鏡の原理を用いた高さ情報測定装置の構成を示す図である。
【図１９】共焦点顕微鏡の原理を用いた高さ情報測定装置による試料の高さ情報の検出アルゴリズムを説明する図である。
【符号の説明】
【０１１４】
１ 画像センサカメラ、２ 画像キャプチャボード、３ メモリ、４ 画像処理部、４ａ 再構成部、４ｂ 輝度情報算出部、４ｃ 距離情報算出部、５ 表示モニタ、１１ 撮像レンズ、１２ マイクロレンズアレイ、１３ 撮像素子アレイ、１４ 対象物、１５ マイクロレンズアレイ１２上の入射光、１６ 撮像素子アレイ１３上の入射光。
【技術分野】
【０００１】
本発明は、対象物までの距離を測定する距離測定装置および距離測定方法に関する。
【背景技術】
【０００２】
近年、産業用ロボットや各種ＦＡ機器を用いて生産ラインを自動化するシステムや、知能ロボットのインテリジェント化を図るために、視覚センサが重要となってきている。特に、ロボットアームを用いたシステムにおいては、ワークの位置、姿勢、形状等の計測に視覚センサとして画像センサカメラが多く用いられている。
【０００３】
また、半導体デバイスや回路部品の実装基板の製造などにおいては、品質を管理するために半田バンプや金バンプなど２次元状に配置された微小なデバイスの高さ情報を測定するというニーズが高まっている。
【０００４】
このようなニーズに対応すべく、従来より、複数の画像センサカメラを用いたステレオ方式による３次元情報測定システムなどが用いられている。しかしながら、このシステムには、複数のカメラや複雑な画像処理が必要などの課題があった。
【０００５】
また、比較的小さな対象物の高さ情報を測定する方法として、共焦点顕微鏡の原理を利用した高さ測定法が提案されている。例えば、特開２００３−７５１１９号公報（特許文献１）に記載された共焦点顕微鏡の原理を用いた高さ情報測定装置は、図１８に示すように、光源１０３、対物レンズ１０４、２次元画像カメラ１０２を備えた共焦点光学系１０１により、試料１０６をステージ１０５を高さ方向に移動させながら、その高さ方向において互いに異なる複数の高さ位置で水平面の共焦点画像１０７をそれぞれ撮像する構成を有している(図１９（ａ）（ｂ）)。そして、複数の共焦点画像の画素毎の輝度情報を比較し最大輝度を有する画素を含む共焦点画素データを用いて粒子解析を行ない、特定領域を抽出した後、抽出された領域における輝度と高さの代表値を算出し、試料の高さ情報を求めるものである（図１９（ｃ））。
【０００６】
また、撮像素子を用いたカメラシステムにおいて、取得した画像データをデジタル処理により合成し、後で好きなようにピントを手前または奥に移動できるプレノプティックカメラ技術が“Ｓｉｎｇｌｅ Ｌｅｎｓ Ｓｔｅｒｅｏ ｗｉｔｈ ａ Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ”，ＩＥＥＥ ＴＲＡＮＳＡＣＴＩＯＮＳ ＯＮ ＰＡＴＴＥＲＮ ＡＮＡＬＹＳＩＳ ＡＮＤ ＭＡＣＨＩＮＥ ＩＮＴＥＬＬＩＧＥＮＣＥ，ＶＯＬ．１４，ＮＯ．２，ＦＥＢＲＵＡＲＹ １９９２（非特許文献１）や“Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ ｗｉｔｈ ａ Ｈａｎｄ−ｈｅｌｄ Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ”，Ｓｔａｎｆｏｒｄ Ｔｅｃｈ Ｒｅｐｏｒｔ ＣＴＳＲ ２００５−０２（非特許文献２）の中で提案されている。
【０００７】
プレノプティックカメラは、通常の方法で画像を形成する普通のカメラレンズの他に、、カメラレンズの像平面に正確に配置されたマイクロレンズアレイを備える。さらに、マイクロレンズアレイのすぐ背後に配置され、マイクロレンズアレイより多くの撮像素子を有するイメージセンサアレイ（撮像素子アレイ）を備える。
【０００８】
マイクロレンズアレイ内のレンズの数で最終画像の画素数は決まるが、単一マイクロレンズに割り当てられた多数のセンサピクセルにより、そのマイクロレンズに入射する光の方向と強度を記録することができる。そのデータを用いて、所定の距離にピントを合わせた画像を再構成することができるというものである。
【特許文献１】特開２００３−７５１１９号公報
【非特許文献１】“Ｓｉｎｇｌｅ Ｌｅｎｓ Ｓｔｅｒｅｏ ｗｉｔｈ ａ Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ”，ＩＥＥＥ ＴＲＡＮＳＡＣＴＩＯＮＳ ＯＮ ＰＡＴＴＥＲＮ ＡＮＡＬＹＳＩＳ ＡＮＤ ＭＡＣＨＩＮＥ ＩＮＴＥＬＬＩＧＥＮＣＥ，ＶＯＬ．１４，ＮＯ．２，ＦＥＢＲＵＡＲＹ １９９２
【非特許文献２】“Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ ｗｉｔｈ ａ Ｈａｎｄ−ｈｅｌｄ Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ”，Ｓｔａｎｆｏｒｄ Ｔｅｃｈ Ｒｅｐｏｒｔ ＣＴＳＲ ２００５−０２
【発明の開示】
【発明が解決しようとする課題】
【０００９】
特許文献１のように、共焦点顕微鏡の原理を用いて複数の共焦点画像を取得する場合、ステージの面方向への走査と高さ方向への移動という操作が必要で、オートフォーカス機構を含む移動機構系による大型化や、２次元画像データを高さを変えて複数回取得するための時間（ステージの移動時間、静止に要する時間、対物レンズなどのオートフォーカシング時間などが含まれる）が必要になるなどの課題がある。
【００１０】
また、非特許文献１には、取得画像データに対して、例えばオペレータがピント位置（距離）を入力することで、その位置にフォーカシングされた画像をデータの並び替え（再構成）により作り出すことは示されているが、それを用いて対象物の距離情報を算出することは示されていない。
【００１１】
また、マイクロレンズアレイの各マイクロレンズの間あるいは各マイクロレンズの周辺に存在する非レンズ部分により、再構成画像にノイズが発生するという問題もあった。非レンズ部分を透過して撮像素子に入射した光（不要光）は、再構成画像にはノイズとして現れる。
【００１２】
本発明は、このような課題に着目してなされたものであり、精度よく距離情報を測定できる小型かつ低コストの距離測定装置を提供することを目的とする。
【課題を解決するための手段】
【００１３】
１つの局面に係る本願発明は、対象物までの距離を測定するための距離測定装置であって、対象物からの物体光を撮像するカメラを備え、カメラは、物体光を集光する撮像レンズと、撮像レンズを通過した物体光が入射する複数のマイクロレンズからなるマイクロレンズアレイと、マイクロレンズアレイを通過した物体光を検出し、画像データに変換する撮像デバイスとを含み、撮像デバイスは、それぞれがマイクロレンズアレイを通過した物体光を検出し、画像信号に変換する複数の撮像素子を有し、複数の撮像素子は、それぞれに１つのマイクロレンズを透過した物体光が入射する複数の素子群に分割されており、マイクロレンズアレイの非レンズ部を透過した光が入射する外縁部の撮像素子に対応する画素データの画素値を所定の値に変換するマスク手段と、マスク手段により処理された画像データに含まれる複数の画素データを、各素子群における物体光を検出した撮像素子の位置により定まる物体光のマイクロレンズへの入射方向に基づいて並び替えて、撮像デバイスが複数の仮想位置の各々に位置する場合に得られるべき再構成画像を生成する再構成手段と、複数の再構成画像に共通の領域において、複数の再構成画像の各々について、各画素と各画素近傍の画素との間の輝度の差分値を算出する差分値算出手段と、共通の領域に含まれる各画素位置に対して、差分値が最大である画素を有する再構成画像に対応する仮想位置を特定し、カメラの光学系のパラメータに基づき特定された仮想位置を変換し距離を算出する距離算出手段とを備える。
【００１４】
好ましくは、差分値算出手段は、各素子群に対応する画像データの領域に含まれる複数の画素の画素値に基づいて一様輝度を算出し、各領域に含まれる複数の画素を一様輝度を有する画素に変換する平均化手段をさらに含み、一様輝度を有する画素に基づき差分値を算出する。
【００１５】
さらに好ましくは、平均化手段は、各領域に含まれる画素のうち、外縁部の画素を除いた画素の画素値に基づいて一様輝度を算出する。
【００１６】
さらに好ましくは、平均化手段は、各領域に含まれる画素のうち、所定の値を持つ画素を除いた画素の画素値に基づいて一様輝度を算出する。
【００１７】
好ましくは、所定の値は、画素値の取りうる最小値である。
好ましくは、所定の値は、画素値の取りうる最大値である。
【００１８】
好ましくは、マスク手段は、画像データの所定の領域に含まれる画素値の平均値が所定の閾値以上であるとき、所定の値を画像信号の取りうる最小値に設定し、平均値が所定の閾値未満であるとき、所定の値を画像信号の取りうる最大値に設定する。
【００１９】
好ましくは、マスク手段は、画像データから外縁部の画素データを削除し、再構成手段は、外縁部の画素データが削除された画像データに含まれる複数の画素データを並び替えて、再構成画像を生成する。
【００２０】
他の局面に係る本願発明は、対象物からの物体光を撮像するカメラ対象物で対象物までの距離を測定するための距離測定方法であって、カメラは、物体光を集光する撮像レンズと、撮像レンズを通過した物体光が入射する複数のマイクロレンズからなるマイクロレンズアレイと、マイクロレンズアレイを通過した物体光を検出し、画像データに変換する撮像デバイスとを含み、撮像デバイスは、それぞれがマイクロレンズアレイを通過した物体光を検出し、画像信号に変換する複数の撮像素子を有し、複数の撮像素子は、それぞれに１つのマイクロレンズを透過した物体光が入射する複数の素子群に分割されており、マイクロレンズアレイの非レンズ部を透過した光が入射する外縁部の撮像素子に対応する画素データの画素値を所定の値に変換するステップと、外縁部の撮像素子に対応する画素データの画素値を所定の値に変換された画像データに含まれる複数の画素データを、各素子群における物体光を検出した撮像素子の位置により定まる物体光のマイクロレンズへの入射方向に基づいて並び替えて、撮像デバイスが複数の仮想位置の各々に位置する場合に得られるべき再構成画像を生成するステップと、複数の再構成画像に共通の領域において、複数の再構成画像の各々について、各画素と各画素近傍の画素との間の輝度の差分値を算出するステップと、共通の領域に含まれる各画素位置に対して、差分値が最大である画素を有する再構成画像に対応する仮想位置を特定し、カメラの光学系のパラメータに基づき特定された仮想位置を変換し距離を算出するステップとを備える。
【発明の効果】
【００２１】
本発明によれば、一度の撮像データから画像処理により、異なるフォーカシング状態の複数の画像を生成し、そのデータより距離画像を得ることができるため、カメラレンズのフォーカシング機構やステージなどの移動機構が不要である。また、非レンズ部分に対応する領域中の撮像素子からの画像情報をマスク処理して仮想位置の再構成像を生成することにより、高精度なマイクロレンズアレイを不要としながら、高精度な距離検出を行なえる。よって、小型かつ低コストな高精度の距離情報測定装置を実現できる。
【発明を実施するための最良の形態】
【００２２】
本発明は、撮像レンズで結像した画像を、マイクロレンズアレイを通して撮像素子で撮影し、その画像データから対象物の３次元情報を取得する距離測定装置に関するものである。以下、図面を参照しながら本発明の実施の形態を説明する。なお、本発明は以下の実施形態に限定されるものではない。
【００２３】
（１．距離測定装置の構成）
図１を参照して、本発明に係る距離測定装置の構成について説明する。図１は、本発明の実施の形態に係る距離測定装置の概略構成図である。
【００２４】
距離測定装置は、対象物の物体光を撮像する画像センサカメラ１と、画像センサカメラ１の撮像結果から画像データを取得する画像キャプチャボード２と、画像データを保存するメモリ３と、画像データに基づいて対象物までの距離情報を算出する画像処理部４とを備える。また、必要に応じて、画像処理部４で算出された距離情報を表示する表示モニタ５をさらに備える。
【００２５】
画像処理部４は、再構成部４ａと、輝度情報算出部４ｂと、距離情報算出部４ｃと、マスク部４ｄとを含む。
【００２６】
マスク部４ｄは、画像キャプチャボード２より取得した対象物の画像データの一部分の画素値を特定の値に変換する。再構成部４ａは、画像データに含まれる画素データを並び替えて、異なる複数の仮想焦点位置の再構成画像を生成する。輝度情報算出部４ｂは、複数の再構成画像において、各画素あるいは複数の画素からなる画素群の各々の輝度情報を算出する。距離情報算出部４ｃは、輝度情報および画像センサカメラ１の光学系のパラメータに基づいて、対象物までの距離を算出する。
【００２７】
画像センサカメラ１は、撮像レンズ（以後は、メインレンズ１１と呼ぶ）と、複数のマイクロレンズからなるマイクロレンズアレイ１２と、複数の撮像素子を含む撮像素子アレイ１３とからなる。撮像素子としては、例えば、ＣＣＤ（charge-coupled device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどを用いることができる。
【００２８】
メインレンズ１１には、対象物からの物体光が入射する。メインレンズ１１は、物体光を集光する。マイクロレンズアレイ１２には、メインレンズ１１を通過した物体光が入射する。マイクロレンズアレイ１２に含まれる複数のマイクロレンズの各々は、物体光を集光する。
【００２９】
撮像素子アレイ１３に含まれる複数の撮像素子の各々は、入射した光を画像信号に変換する。撮像素子アレイ１３により取得される画像データについては、後で詳述する。
【００３０】
（２．画像センサカメラの光学系）
本実施の形態においては、画像センサカメラ１の光学系の構成に特徴がある。図２を参照して、画像センサカメラ１の光学系について説明する。図２は、画像センサカメラ１の光学系を示す図である。なお、簡単のため、図２には、対象物１４が点光源である場合を示す。
【００３１】
画像センサカメラ１のマイクロレンズアレイ１２は、対象物１４がＡの位置にある場合に、メインレンズ１２より対象物１４がほぼ結像する位置に配置される。このときのＡの位置を合焦位置、合焦位置よりもメインレンズ１１に近い側を近点位置、合焦点位置よりもメインレンズ１１から遠い側を遠点位置と呼ぶ。撮像素子アレイ１３はマイクロレンズアレイ１２のほぼ焦点位置に配置されている。撮像素子アレイ１３には、マイクロレンズアレイ１２上に集光された光対象物の光が、マイクロレンズを通して、拡大されて入射される。
【００３２】
また、それぞれのマイクロレンズを通過した光が、撮像素子アレイ１３上の互いに異なる領域に入射するように、画像センサカメラ１の光学系のパラメータ（メインレンズ１２およびマイクロレンズのＦナンバーなど）は調整されているものとする。
【００３３】
次に、図３〜図９を用いて、この画像センサカメラ１による撮像および距離情報検出の原理を説明する。
【００３４】
図３を参照して、対象物１４の結像について説明する。図３は、対象物１４が近点位置Ｂまたは遠点位置Ｃにある場合の集光の様子を示す図である。対象物１４が位置Ｂにある場合、対象物１４からの光は、メインレンズ１１により、面Ｄに集光(結像)する。また、位置Ｃにある場合、面Ｆに集光（結像）する。また、面Ｅは、合焦位置Ａに対する集光面であり、ほぼマイクロレンズアレイ１２の位置に相当する。結像面Ｆ，Ｅ，ＤをそれぞれＣ，Ａ，Ｂに対する仮想焦点面と呼ぶ。
【００３５】
続いて、対象物１４が図３の位置Ａ，Ｂ，Ｃにある場合にマイクロレンズアレイ１２上にどのような形状の入射光１５が入射するかについて図４を用いて説明する。図４はマイクロレンズアレイ１２上の入射光１５の形状を示す図である。
【００３６】
図４に示すように、本実施の形態においては、マイクロレンズアレイ１２は、２次元面内に配列された円形のマイクロレンズからなるものとする。また、各マイクロレンズには、それらを識別するための番号Ｍ（ｉ，ｊ）が与えられているものとする。図４（ａ）、図４（ｂ）、図４（ｃ）は、それぞれ、対象物１４が、遠点位置Ｃにある場合、合焦位置Ａにある場合、近点位置Ｂにある場合のマイクロレンズアレイ１２上の入射光１５の形状を示す図である。
【００３７】
合焦位置Ａにある対象物１４からの光は図４（ｂ）のようにほぼマイクロレンズＭ（２，２）上に集光される。
【００３８】
対象物１４が遠点位置Ｃにある場合、対象物１４からの光は、メインレンズ１１を通して一旦集光された後、さらにデフォーカス状態になって広がってマイクロレンズ１２上に入射する。したがって、図４（ａ）に示すように、マイクロレンズアレイ１２上の入射光１５は、マイクロレンズＭ（２，２）の周辺レンズＭ（１，２）、Ｍ（２，１）、Ｍ（２，３）、Ｍ（３，２）にまで広がる。
【００３９】
対象物１４が近点位置Ｂにある場合は、集光前のデフォーカス状態の光が、マイクロレンズ１２上に入射する。したがって、図４（ｂ）に示すように、マイクロレンズアレイ１２上の入射光１５は、マイクロレンズＭ（２，２）の周辺レンズＭ（１，２）、Ｍ（２，１）、Ｍ（２，３）、Ｍ（３，２）にまで広がる。
【００４０】
撮像素子アレイ１３上の入射光１６について図５を用いて説明する。図５に示すように、撮像素子アレイ１３は、複数の素子群からなる。各素子群には、番号Ｔ（ｉ，ｊ）が付されている。また、各素子群は、マイクロレンズの１つを通過した物体光を検出する。言い換えると、マイクロレンズＭ（ｉ，ｊ）を通過した光は、画素群Ｔ（ｉ，ｊ）に入射する。なお、図では、素子群が１０×１０の撮像素子で構成されている場合を示しているが、素子群を構成する素子の数はこれに限られない。
【００４１】
対象物１４が合焦位置Ａにある場合、図４（ｂ）のようにほぼマイクロレンズＭ（２，２）上に集光された光が、撮像素子アレイ１３に入射する。したがって、撮像素子アレイ１３に入射する光は、図５（ｂ）に示すように、素子群Ｔ（２，２）に対して全面に広がる。
【００４２】
対象物１４が遠点位置Ｃにある場合、マイクロレンズアレイ１２上で、図４（ａ）のように周辺レンズＭ（１，２）、Ｍ（２，１）、Ｍ（２，３）、Ｍ（３，２）にも広がった光が、撮像素子アレイ１３に入射する。これらの周辺レンズに入射した光は、撮像素子アレイ１３上では、図５（ａ）に示すように、それぞれのマイクロレンズに対応する素子群Ｔ（１，２）、Ｔ（２，１）、Ｔ（２，３）、Ｔ（３，２）の一部に入射する。
【００４３】
図５（ｃ）は、近点位置Ｂに対象物１４が位置する場合に、撮像素子アレイ１３に入射する光の形状を示す図である。対象物が遠点位置Ｃにある場合と同様に、素子群Ｔ（１，２）、Ｔ（２，１）、Ｔ（２，３）、Ｔ（３，２）の一部にも光が入射する。
【００４４】
（３．画像の再構成について）
次に、本発明において距離情報を算出のための基本操作である、各仮想面での像の再構成について説明する。
【００４５】
画像の再構成にあたっては、画像センサカメラ１で取得した画像データから、マイクロレンズへの物体光の入射方向の情報を得られるという点が重要である。画像データから入射方向の情報が得られることを、図５を再度用いて説明する。例えば、遠点位置Ｃにある対象物１４からの光は、図５（ａ）に示すように、素子群Ｔ（２，２）を中心に、周囲の素子群Ｔ（１，２）、Ｔ（２，１）、Ｔ（２，３）、Ｔ（３，２）の中の外側の一部の決まった画素に入射する。また、逆に、近点位置Ｂにある対象物１４からの光は、図５（ｃ）に示すように、素子群Ｔ（２，２）を中心に、周囲の画素群Ｔ（１，２）、Ｔ（２，１）、Ｔ（２，３）、Ｔ（３，２）の中の内側の一部の決まった画素に入射する。このように各素子群に含まれる撮像素子のうちどの撮像素子に光が入射したかにより、各素子群に対応する位置に設置されたマイクロレンズへの物体光の入射方向の情報を得ることができる。
【００４６】
この入射方向の情報、仮想面の位置（仮想位置）、および、光学系のパラメータ（各レンズの焦点距離や、メインレンズ１１とマイクロレンズアレイ１２との間の距離など）に基づき、撮像素子アレイ１３が取得した画素データを並び替えることで、撮像素子アレイ１３が仮想面にある場合に取得されるべき画像データを取得することができる。
【００４７】
並び替えの具体例を図６を用いて説明する。図６は、対象物１４の撮影像のデータを変換して得た再構成画像を示す図である。例えば、図６（ａ）は図５（ａ）に示した画像データから再構成した仮想面Ｆ上での光の分布を示したもので、図５（ｂ）の合焦位置での光ビーム状態とほぼ同じになる。周囲の決まった撮像素子の出力を集めて、素子群Ｔ（２，２）の中央付近の出力と足し合わせ、改めて素子群Ｔ（２，２）の出力とすることで、仮想面Ｆでの画像を作り出すことができる。
【００４８】
近点位置Ｂにある対象物（点像）に対しても、出力の足し合わせにより、図６（ｃ）のような再構成像が生成できる。ただし、図５からも分かるように、撮像素子アレイ１３上での広がり（分割状態）が遠点状態とは異なるので、再構成像を得るためには、異なる演算（周囲画素群の内側の一部の画素出力を足し合わせる）を行なう必要がある。
【００４９】
なお、ここでは対象物が点像の場合の例を示したが、大きさを有する対象物の場合にも、同様の操作で画像の再構成ができる。ただし、大きさを有する画像の場合、全てのマイクロレンズに光が入射するので、各マイクロレンズに対応する画素群Ｔ（１，１）〜Ｔ（３，３）に対して同様の操作を行う必要がある。
【００５０】
対象物１４が点像でない場合の再構成画像について、図７および図８を用いて説明する。図７は、矢印形状の対象物１４が近点位置Ｂにある場合の集光の様子を示す図であり、図８は、図７中に示される仮想面で取得される画像を示す図である。
【００５１】
対象物１４が近点位置Ｂにあるため、ほぼ撮像素子アレイ１３の位置にある仮想面Ｅにおける取得画像は図８（ａ）のようにボケた画像となる。しかし、仮想面をＤ１，Ｄ２，Ｄ３と変えていくと、それぞれの再構成画像は図８（ｂ）、（ｃ）、（ｄ）のようになる。Ｄ３まで変えると、Ｄ３は位置Ｂに対する仮想面であるため、位置Ｂにある対象物のフォーカシングされた画像が得られる。
【００５２】
なお、図８の画像は、マイクロレンズアレイ１２を通して取得した画像に相当するため、画像を拡大すると、図９に示すように、マイクロレンズ毎の画素群を１つの単位とした画像となっている。図９は、図８中に枠で囲った部分を拡大した画像を示す図である。
【００５３】
このように、一度の撮像により得た撮像データを画像処理することにより、複数の仮想面での画像を再構成することができる。
【００５４】
（４．距離情報の取得方法について）
次に、対象物の距離情報（３次元情報）を取得する方法の基本的な流れについて、図１０を参照しつつ説明する。図１０は、距離情報の取得の各工程で生成される画像データについて説明するための図である。
【００５５】
距離情報の取得にあたっては、まず、画像センサカメラ１により、対象物の画像データを取得する。取得された画像データは、画像キャプチャーボード２を介してメモリ３に記憶される。この画像データを、図１０（ａ）に示すようにｆ（ｉ，ｊ）とする。
【００５６】
その後、画像処理部４は、画像データｆ（ｉ、ｊ）を処理することにより、対象物の距離情報を取得する。この処理は大きく、「再構成ステップ」、「差分値算出ステップ」、「距離情報算出ステップ」に分かれる。以下、それぞれの処理について説明する。
【００５７】
（１）再構成ステップ
画像処理部４に含まれる再構成部４ａは、画像データｆ（ｉ，ｊ）を並び替えて、図１０（ｂ）に示すようなＮ枚の仮想面での再構成画像データｇｎ（ｉ，ｊ）を生成する。ここでｎ（ｎ＝１〜Ｎ）は仮想面の順番を示す。この並び替えを、焦点面変換係数Ａｎ（ｎ＝１〜Ｎ）を用いて、ｇｎ（ｉ，ｊ）＝Ａｎ（ｆ（ｉ，ｊ））と表すことにする。ここで、Ａｎは、各画素群における物体光を検出した画素の位置により定まる各マイクロレンズへの物体光の入射方向、仮想位置、および、光学系のパラメータに基づいて決定されるものである。
【００５８】
なお、再構成部４ａは、例えば、特に限られるわけではないが、本実施例においては予め定められた間隔で並んだ複数の仮想位置に対して再構成画像データを取得するものとする。また、再構成部４ａは、以下で述べる方法で焦点の合った仮想位置が算出された場合、焦点の合った仮想位置近傍では、仮想位置の間隔をさらに狭くして、狭い間隔の仮想位置に対して再構成画像を取得してもよい。この構成によれば、距離検出の精度を高めることができる。
【００５９】
このステップでは、１個の画像データｆ（ｉ，ｊ）が、図１０（ｂ）に示すようなＮ個の再構成画像データ、すなわち、ｇ０１（ｉ，ｊ）＝Ａｎ（ｆ（ｉ，ｊ））、ｇ０２（ｉ，ｊ）＝Ａｎ（ｆ（ｉ，ｊ））、…、ｇｎ（ｉ，ｊ）＝Ａｎ（ｆ（ｉ，ｊ））、…、ｇＮ（ｉ，ｊ）＝Ａｎ（ｆ（ｉ，ｊ））が得られる。
【００６０】
（２）差分値算出ステップ
輝度情報算出部４ｂは、再構成画像データｇｎ（ｉ，ｊ）から、隣接する画素の輝度の差分値を算出する。差分値の算出は、以下の手順で行なわれる。
【００６１】
まず、輝度情報算出部４ｂは、各再構成画像データｇｎ（ｉ，ｊ）に対して、図１３（ｃ）に示すような各画素群を一様輝度を有する画素に変換した画像データｈｎ（ｉ’，ｊ’）を生成する。ここで、一様輝度は、各画素群に含まれる画素の輝度と対応する輝度であればよい。例えば、輝度情報算出部４ｂは、一様輝度として、各画素群に含まれる画素の輝度の平均値、あるいは輝度の総和を算出する。
【００６２】
本実施例では、ｍ×ｍ個の画素からなる画素群が、一様な輝度を有する１つの画素に変換（平均化）されるものとする。この変換は、平均化係数をＢｎとして、ｈｎ（ｉ’，ｊ’）＝Ｂｎ（ｇｎ（ｉ，ｊ））と表される。
【００６３】
平均化処理の具体例を図１１を用いて説明する。図１１は、図９に示す画像に対し平均化処理を行った場合の画素群の輝度分布を示す図である。図１１（ａ）〜（ｄ）はそれぞれ図９（ａ）〜（ｄ）の輝度分布を画素群内で平均化処理したものである。
【００６４】
本ステップにより、処理対象となるデータ量を１／ｍ２に削減できる。そのため、以降の処理の画像処理速度が大幅に向上する。ただし、この処理は、必須ではない。
【００６５】
次に、輝度情報算出部４ｃは、各再構成画像について、画素間の輝度の差分値を計算する。上述の平均化処理が行なわれている場合、輝度情報算出部４ｃは、各画像データｈｎ（ｉ’，ｊ’）において、各画素群について隣接画素群との輝度の差分値を計算し、図１０（ｄ）に示すような差分値画像データｋｎ（ｉ’，ｊ’）を作成する。ｈｎとｋｎとの関係を、差分値変換係数をＣｎとして、ｋｎ（ｉ’，ｊ’）＝Ｃｎ（ｈ（ｉ’，ｊ’））と表すことにする。ここで、差分値変換係数Ｃｎは、例えば、一般的に用いられているRoberts法と呼ばれるエッジ検出法を利用する場合には、（ｉ’，ｊ’）の画素群に対して、ｘ方向の微分値ｄｘ＝ｈ（i'，ｊ’）−ｈ（i'＋１，ｊ’＋１）、ｙ方向の微分値ｄｙ＝ｈ（i'＋１，ｊ’）−ｈ（i'，ｊ’＋１）を用いて、（ｄｘ２＋ｄｙ２）１／２で与えられる。ただし、差分値変換係数としては、これに限ることなく、単純な微分法、Sobel法や２次微分を用いるラプラシアン法など様々なフィルタ窓を設定することができる。図１０（ｄ）に示すように、Ｎ枚の差分値画像が作成される。
【００６６】
なお、上述の平均化処理を行なっていない場合には、輝度情報算出部４ｂは、単純に、各再構成画像の各画素について、隣接する画素との輝度値の差分を計算し、差分値画像データを取得する。
【００６７】
（３）距離情報算出ステップ
距離情報算出部４ｃは、差分値算出ステップで得られたデータに基づき、次の手順で、対象物の距離情報を算出する。
【００６８】
まず、距離情報算出部４ｃは、差分値画像データに基づき、複数の再構成画像に共通の各画素位置 p=(i’,j’) での差分値強度の最大値を検出し、その最大値が検出されるn値(以後、代表値と呼ぶ)を求め、図１０（ｅ）に示すような代表値画像データs(i’,j’)を生成する。すなわち、各p=(i’,j’)においてkn(i’,j’)〜kN(i’,j’)を最大とするnの値をs(i’,j’)とおく。図９あるいは図１１で示すように、エッジ周辺の輝度変化は、合焦位置での画像において、最も大きい。よって、差分値が最大となる仮想面の位置が合焦状態を示していると判定できる。このことを利用して、対象物までの距離を算出することができる。
【００６９】
あるいは、差分値分布の近似曲線から、代表値を求めてもよい。この求め方を図１２を用いて説明する。図１２は、差分値分布の近似曲線から代表値を求める方法を説明するための図である。図１２（ａ）は、異なる距離に配置されている２つの対象物の再構成像を示す図である。図１２（ｂ）は、図１２（ａ）に示した各対象物のエッジ付近の画素位置（１４Ａ、１５Ｂ）における差分値強度を、仮想面の位置（ｎ値）について、プロットしたものである。各対象物に対して、画素位置（i',j'）において、ｎ値についてプロットした差分値強度の近似曲線を求め、近似曲線のピークのｎ値（図１２（ｂ）中のｎ１、ｎ２）を、代表値s(i',j')として求める。この代表値は対象物の像にピントが合っている仮想面の位置を示している。
【００７０】
最後に、距離情報算出部４ｃは、各画素位置において最大差分値強度が得られる代表値画像s(i’,j’)を、既知の光学系の倍率データ等を用いて、距離測定装置から対象物までの絶対距離d(i’,j’)に変換し、図１０（ｆ）に示すような最終的な距離画像データ d(i’,j’)を生成する。
【００７１】
上記アルゴリズムは、輝度情報算出処理および距離情報算出処理を画素すべてについて行い、画素すべてについて距離データを求める場合のものであるが、画素すべてについて距離データを求めなくてもよい場合は、アルゴリズム処理領域を限定してもよい。例えば、複数の再構成画像に共通の処理領域を設定し、設定した処理領域において、輝度情報算出処理および距離情報算出処理を行なってもよい。処理領域を限定することで、処理時間や計算負荷を低減できる。
【００７２】
また、差分値強度画像ｋｎ（ｉ’，ｊ’）に閾値処理を施すなどして、画像内のエッジ領域を抽出し、抽出したエッジ領域に限定して、代表値の算出および距離情報の計算を行なってもよい。このようにエッジ領域についてのみ距離を求める構成によれば、処理時間や計算負荷を大幅に低減できる。
【００７３】
上記距離情報算出アルゴリズムにより、単一の撮像データから画像処理により、異なるフォーカシング状態（仮想面）の複数の画像を生成し、そのデータより対象物の距離画像を得ることができる。
【００７４】
（５．マスク処理について）
基本的には、上述の方法で撮像画像から距離画像を得ることができる。しかしながら、上述の方法では、マイクロレンズアレイ１２の品質が、再構成画像の画質に影響を及ぼす。その具体例を図１３および図１４を参照して説明する。図１３は、被写体を説明する図、図１４は、図１３に示す被写体の撮像画像および再構成画像を示す図である。図１４に示す撮像画像は、図１３に示す被写体についてモノクロ品質で撮影したものである。
【００７５】
図１３に示すように、被写体は１５ｍｍ間隔で文字（ＳＨＡ）の描かれたカードを並べたものである。正面から撮影したときに全ての文字が見えるように、各文字の位置は、メインレンズ１１の径方向にずらして配置されている。メインレンズ１１から１００ｍｍの位置に最前列のカードを置き、２番目のカードの位置を基準焦点面とする。つまり、２番目のカードがある面に焦点を合わせて撮影する。
【００７６】
図１４（ａ）は、上記の条件下での、この被写体の撮像画像である。また、図１４（ａ）の四角で囲んだ部分の拡大図を図１４（ｄ）に示す。撮像画像（図１４（ａ））について、基準焦点面からメインレンズ１１側に１５ｍｍ移動した位置の仮想面での再構成画像を図１４（ｂ）に示す。さらに、図１４（ｂ）の再構成画像に対し、画素群の平均化処理を施した画像を図１４（ｃ）に示す。
【００７７】
今の場合、仮想面を基準焦点面からメインレンズ１１側に１５ｍｍ移動した位置に設定しているので、図１３の被写体の最前列のカードに焦点が合った画像が得られるはずであるが、図１４（ｃ）では、最前列のカードの文字（図１４（ｃ）の最も左の文字）の輪郭があまり明瞭になっていない。
【００７８】
ここでの画像品質が悪いと、その後の処理であるエッジ検出、ひいては最大差分値強度検出の精度が落ちる。輪郭が明瞭でない画像のエッジ強度は検出しにくく、最大差分値強度を見つけにくいためである。これは、つまり、画像品質が悪くなると、距離検出精度が低下する事を意味する。
【００７９】
図１４に示すような画像品質の劣化は、マイクロレンズアレイ１２の非レンズ部によるところが大きい。一般に、マイクロレンズアレイにおいては、製造上の問題からマイクロレンズ間はレンズ形状を維持していない事が多い。また、マイクロレンズの周辺部分は、加工精度が出にくく必ずしもレンズとして機能しない。このようにマイクロレンズ間あるいはマイクロレンズ周辺部に存在し、レンズとして機能しない非レンズ部が、画像品質の劣化をもたらす。
【００８０】
撮像画像の拡大図である図１４（ｄ）を参照してこのことを説明する。図１４（ｄ）で四角で囲んだ部分が、一つのマイクロレンズに対応する部分である。図１４の撮像に用いたマイクロレンズアレイのマイクロレンズ間には、平坦状の隙間がある。そのため、図１４（ｄ）から分かるように、実際のマイクロレンズは、四角で囲んだ部分の内側にある。
【００８１】
再構成画像を生成する計算において、マイクロレンズ間およびマイクロレンズ周辺の画素は、ノイズであると考えられる。ノイズを含んだ画像を再構成および平均化しているため、図１４（ｃ）のように、エッジが十分はっきりしない画像になってしまう。
【００８２】
この画像劣化を防ぐためには、非レンズ部の少ない高精度なレンズを用いることが考えられる。しかし、そのようなレンズは、一般に高価である。
【００８３】
また、非レンズ部分の光学的特性を考慮して、非レンズ部分の補正演算を行なうことも考えられるが、この方法には、非レンズ部分の詳細な光学的特性を把握する必要が生じるとともに、それを反映して演算処理が煩雑となり処理時間が長くなるという問題がある。
【００８４】
本発明では、この問題を解決するため、撮像画像のマイクロレンズ間およびマイクロレンズ周辺部分にマスク部４ｄによりマスク処理を施す。
【００８５】
マスク処理としては、例えば、マスク対象部分の画素値を特定の値に設定する。設定する特定の値としては、例えば画素値の取り得る範囲の最小値とする。あるいは、画素値の取りうる範囲の最大値とする。
【００８６】
本実施の形態では、図１４（ａ）の撮像画像の非レンズ部分に対応する画素として図１５の斜線部で示すマスク画素に対して、マスク処理を行なうものとする。また、マスク処理後の値を、画素値＝０（黒色）に設定するものとする。
【００８７】
この処理を施した画像を図１６（ａ）に示す。また、図１６（ａ）の四角で囲んだ部分の拡大図を図１６（ｄ）に示す。図１６（ｄ）より、マイクロレンズ間およびマイクロレンズ周辺部分がマスクされて黒くなっていることが分かる。
【００８８】
基準焦点面からメインレンズ側に１５ｍｍ移動した仮想面における、図１６（ａ）の画像の再構成画像を図１６（ｂ）に示す。さらに、図１６（ｂ）の再構成画像に平均化処理を施した画像を図１６（ｃ）に示す。
【００８９】
図１４（ｃ）に比べて図１５（ｃ）の方が、最前列のカードに描かれた文字（最も左の文字）の輪郭が明瞭に出ている。また、図１５（ｃ）においては、３枚のカードの中で最前列のカードに書かれた文字にもっとも焦点が合っていることが分かる。このように、マスク処理を行なって再構成画像を生成する事で、マイクロレンズ間およびマイクロレンズ周辺部分のノイズの影響を排除する事が出来る。
【００９０】
なお、マスク部分の画素を含んで平均化すると、画像全体がマスク部分の画素値にバイアスされる。本実施の形態の場合、画像全体が暗くなる。そこで、マスク部分の画素は平均化の対象から外すことが望ましい。
【００９１】
このためには、ある条件を満たす画素を平均化計算から除外すればよい。マスク部分の画素値が含まれる条件を設定して、マスク画素と他の画素とを区別する。
【００９２】
例えば、閾値を用いて、マスク画素と他の画素とを区別する。つまり、マスク画素の変換後の値が最小値である場合、所定の閾値以下の画素値をもつ画素をマスク画素とみなす。逆に、マスク画素の変換後の値が最大値である場合、所定の閾値以上の画素値をもつ画素をマスク画素とみなす。あるいは、変換後のマスク画素の画素値を持つ画素を、除外対象としてもよい。
【００９３】
このように画素値を用いてマスク画素の抽出を行なう場合、画像全体が明るい場合や、注目したい物体画像が明るい場合は、マスク対象部分の画素値を最小値（黒）に、逆に、画像全体が暗い場合や、注目したい物体画像が暗い場合は、マスク対象部分の画素値を最大値（白）に設定するほうが、必要な画素とマスク画素との区別が明確になされるため、好ましい。
【００９４】
さらに、画像によって、自動的にマスク画素の変換後の値を設定するようにしてもよい。例えば、画像全体あるいは注目する物体画像が明るいか暗いかを、画像全体あるいは、画像の一部の領域の画素値の平均値を所定の閾値と比較することで判断し、平均値が閾値以上の場合、マスク処理後の画素値を最小値に、平均値が閾値未満の場合、マスク処理後の画素値を最大値とすれば、マスク画素と他の画素との区別をより明確にできる。
【００９５】
マスク部分の画素を平均化の対象から外すための他の方法として、マスク対象部分に含まれる画素を平均化の対象から除外してもよい。この方法では、平均化処理において閾値による画素の判断が省略できるために、処理速度が高速化できる。
【００９６】
特に、マスク部４ｄは、マスク対象部分の画素データを画像データから削除してもよい。マスク部分が図１５のようであった場合、対象部分の削除後の画像データは、格子状になる。再構成部４ａは、この画像データに対して、画素データの並び替え、平均化を行なう。このようにマスク部分のデータを画像データから削除することで、画像データ量が減る。
【００９７】
（６．処理の流れ）
本実施の形態に係る距離測定における処理の流れを図１６を用いて説明する。図１７は本実施の形態に係る距離測定の処理の流れを示すフローチャートである。
【００９８】
まず、画像処理部４は、ステップＳ１０１において、画像データを取得する。この画像データは、画像センサ１により対象物を１回撮影することにより得られる。
【００９９】
次に、画像処理部４は、ステップＳ１０２において、画像データに対し、マスク処理を行なう。つまり、非レンズ部に対応するマスク対象部分の画素データを所定の値に変換する。
【０１００】
そして、画像処理部４は、ステップＳ１０３において、画像データから、距離測定を行なう対象となる処理領域を決定する。処理領域は、エッジ判定によって行なわれてもよいし、利用者が設定してもよい。また、画像データの全領域について距離測定を行なう場合は、このステップは、省略される。
【０１０１】
続いて、画像処置装置４は、ステップＳ１０４において、選択領域中の画像データを並び替え、複数の仮想位置について再構成画像を作成する。
【０１０２】
そして、画像処理部４は、ステップＳ１０５において、各画素群の平均化を行なう。すなわち、各画素群を一様輝度を有する画素に変換する。この際、マスク対象部分の画素を平均化の対象から外してもよい。
【０１０３】
そして、画像処理部４は、ステップＳ１０６において、再構成画像データから差分値画像データを作成する。
【０１０４】
さらに、画像処理部４は、ステップＳ１０７において、差分値画像データから、代表値データを作成する。
【０１０５】
そして、画像処理部４は、ステップＳ１０８において、光学系の倍率より、代表値データを対象物の距離データに変換し、距離データを作成する。
【０１０６】
（７．まとめ）
これまで説明してきたように、本発明によれば、単一の撮像データから画像処理により、異なるフォーカシング状態（仮想面）の複数の画像を生成し、そのデータより対象物の距離画像を得ることができる。また、奥行き方向の前後の位置関係や、対象物の異なるエッジの距離情報から傾きや姿勢を求めることも可能である。
【０１０７】
非特許文献１に記載されているような従来のプレノプティックカメラは、設定した距離にピントを合せた画像は再構成できるが、画像の対象物の距離情報を求めることはできなかった。これに対し、本発明では、距離情報を算出することができる。
【０１０８】
また、特許文献１のようにステージ等で対象物の高さを変化させて、オートフォーカシングを行った後、複数枚の画像を取得し、それらの輝度情報に基づいて、高さ情報を求める方法に対して、本発明の方法は、カメラレンズのフォーカシング機構やステージなどの移動機構が不要となるため、小型かつ低コストである。
【０１０９】
しかも一度の撮像操作で取得した画像データから距離データを算出できるため、カメラや対象物の複数回の移動時間や撮影時間または移動に伴う各画像のマッチング操作などの時間が不要となり、大幅な測定時間短縮も可能となる。１つの取得画像から複数の再構成画像を生成する操作については、シリアルに処理する必要はなくパラレルに合成できるため、複数回の撮影時間が省略でき、高速測定に有利である。
【０１１０】
さらに、本光学系は、撮像素子のごく近傍にマイクロレンズアレイを組み込む構成なので、従来の画像センサカメラとほぼ同サイズであるため、広くＦＡ用途としてロボットなどの視覚センサに用いられている２次元画像センサカメラとほぼ同じ外径サイズに収まるため、従来カメラとの互換性（置換え）が高い。
【０１１１】
さらに、マイクロレンズ間やマイクロレンズ周辺の非レンズ部分の画像情報をマスク処理して仮想面での再構成像を生成する事により、高精度なマイクロレンズアレイを用いなくても、精度よく距離検出する事ができる。
【０１１２】
今回開示された実施の形態はすべての点で例示であって制限的なものではない。本発明の範囲は上記した実施の形態ではなくて特許請求の範囲によって示され、特許請求の範囲と均等な意味および範囲内でのすべての変更点が含まれることが意図される。
【図面の簡単な説明】
【０１１３】
【図１】本発明の実施の形態に係る距離情報検出装置の概略構成図である。
【図２】画像センサカメラ１の光学系を示す図である。
【図３】対象物１４が近点位置Ｂまたは遠点位置Ｃにある場合の集光の様子を示す図である。
【図４】マイクロレンズアレイ１２上の入射光１５の形状を示す図である。
【図５】撮像素子アレイ１３上の入射光１６の形状を示す図である。
【図６】対象物１４の撮影像のデータを変換して得た再構成画像を示す図である。
【図７】矢印形状の対象物１４が近点側Ｂにある場合の集光の様子を示す図である。
【図８】図７中に示される仮想面で取得される画像を示す図である。
【図９】図８中に枠で囲った部分を拡大した画像を示す図である。
【図１０】距離情報の取得の各工程で生成される画像データについて説明するための図である。
【図１１】図９に示す画像に対し平均化処理を行った場合の画素群の輝度分布を示す図である。
【図１２】差分値分布の近似曲線から代表値を求める方法を説明するための図である。
【図１３】被写体を説明する図である。
【図１４】図１３に示す被写体の撮像画像および再構成画像を示す図である。
【図１５】マスク部分を説明する図である。
【図１６】マスク画像およびマスク画像の再構成画像を示す図である。
【図１７】本実施の形態に係る距離測定の処理の流れを示すフローチャートである。
【図１８】共焦点顕微鏡の原理を用いた高さ情報測定装置の構成を示す図である。
【図１９】共焦点顕微鏡の原理を用いた高さ情報測定装置による試料の高さ情報の検出アルゴリズムを説明する図である。
【符号の説明】
【０１１４】
１ 画像センサカメラ、２ 画像キャプチャボード、３ メモリ、４ 画像処理部、４ａ 再構成部、４ｂ 輝度情報算出部、４ｃ 距離情報算出部、５ 表示モニタ、１１ 撮像レンズ、１２ マイクロレンズアレイ、１３ 撮像素子アレイ、１４ 対象物、１５ マイクロレンズアレイ１２上の入射光、１６ 撮像素子アレイ１３上の入射光。
【特許請求の範囲】
【請求項１】
対象物までの距離を測定するための距離測定装置であって、
前記対象物からの物体光を撮像するカメラを備え、
前記カメラは、
前記物体光を集光する撮像レンズと、
前記撮像レンズを通過した前記物体光が入射する複数のマイクロレンズからなるマイクロレンズアレイと、
前記マイクロレンズアレイを通過した前記物体光を検出し、画像データに変換する撮像デバイスとを含み、
前記撮像デバイスは、それぞれが前記マイクロレンズアレイを通過した前記物体光を検出し、画像信号に変換する複数の撮像素子を有し、
前記複数の撮像素子は、それぞれに１つの前記マイクロレンズを透過した前記物体光が入射する複数の素子群に分割されており、
前記マイクロレンズアレイの非レンズ部を透過した光が入射する外縁部の前記撮像素子に対応する画素データの画素値を所定の値に変換するマスク手段と、
前記マスク手段により処理された前記画像データに含まれる複数の前記画素データを、各前記素子群における前記物体光を検出した前記撮像素子の位置により定まる前記物体光の前記マイクロレンズへの入射方向に基づいて並び替えて、前記撮像デバイスが複数の仮想位置の各々に位置する場合に得られるべき再構成画像を生成する再構成手段と、
前記複数の再構成画像に共通の領域において、前記複数の再構成画像の各々について、各画素と前記各画素近傍の画素との間の輝度の差分値を算出する差分値算出手段と、
前記共通の領域に含まれる各画素位置に対して、前記差分値が最大である前記画素を有する前記再構成画像に対応する前記仮想位置を特定し、前記カメラの光学系のパラメータに基づき前記特定された前記仮想位置を変換し前記距離を算出する距離算出手段とを備える、距離測定装置。
【請求項２】
前記差分値算出手段は、
各素子群に対応する前記画像データの領域に含まれる複数の前記画素の画素値に基づいて一様輝度を算出し、各前記領域に含まれる複数の前記画素を前記一様輝度を有する画素に変換する平均化手段をさらに含み、
前記一様輝度を有する画素に基づき前記差分値を算出する、請求項１に記載の距離測定装置。
【請求項３】
前記平均化手段は、各前記領域に含まれる前記画素のうち、前記外縁部の前記画素を除いた前記画素の画素値に基づいて前記一様輝度を算出する、請求項２に記載の距離測定装置。
【請求項４】
前記平均化手段は、各前記領域に含まれる前記画素のうち、前記所定の値を持つ画素を除いた前記画素の画素値に基づいて前記一様輝度を算出する、請求項３に記載の距離測定装置。
【請求項５】
前記所定の値は、前記画素値の取りうる最小値である、請求項１から４のいずれか１項に記載の距離測定装置。
【請求項６】
前記所定の値は、前記画素値の取りうる最大値である、請求項１から４のいずれか１項に記載の距離測定装置。
【請求項７】
前記マスク手段は、前記画像データの所定の領域に含まれる画素値の平均値が所定の閾値以上であるとき、前記所定の値を前記画像信号の取りうる最小値に設定し、前記平均値が前記所定の閾値未満であるとき、前記所定の値を前記画像信号の取りうる最大値に設定する、請求項１から４のいずれか１項に記載の距離測定装置。
【請求項８】
前記マスク手段は、前記画像データから前記外縁部の前記画素データを削除し、
前記再構成手段は、前記外縁部の前記画素データが削除された前記画像データに含まれる複数の前記画素データを並び替えて、前記再構成画像を生成する、請求項１に記載の距離測定装置。
【請求項９】
対象物からの物体光を撮像するカメラ対象物で前記対象物までの距離を測定するための距離測定方法であって、
前記カメラは、
前記物体光を集光する撮像レンズと、
前記撮像レンズを通過した前記物体光が入射する複数のマイクロレンズからなるマイクロレンズアレイと、
前記マイクロレンズアレイを通過した前記物体光を検出し、画像データに変換する撮像デバイスとを含み、
前記撮像デバイスは、それぞれが前記マイクロレンズアレイを通過した前記物体光を検出し、画像信号に変換する複数の撮像素子を有し、
前記複数の撮像素子は、それぞれに１つの前記マイクロレンズを透過した前記物体光が入射する複数の素子群に分割されており、
前記マイクロレンズアレイの非レンズ部を透過した光が入射する外縁部の前記撮像素子に対応する画素データの画素値を所定の値に変換するステップと、
前記外縁部の前記撮像素子に対応する画素データの画素値を前記所定の値に変換された前記画像データに含まれる複数の前記画素データを、各前記素子群における前記物体光を検出した前記撮像素子の位置により定まる前記物体光の前記マイクロレンズへの入射方向に基づいて並び替えて、前記撮像デバイスが複数の仮想位置の各々に位置する場合に得られるべき再構成画像を生成するステップと、
前記複数の再構成画像に共通の領域において、前記複数の再構成画像の各々について、各画素と前記各画素近傍の画素との間の輝度の差分値を算出するステップと、
前記共通の領域に含まれる各画素位置に対して、前記差分値が最大である前記画素を有する前記再構成画像に対応する前記仮想位置を特定し、前記カメラの光学系のパラメータに基づき前記特定された前記仮想位置を変換し前記距離を算出するステップとを備える、距離測定方法。
【請求項１】
対象物までの距離を測定するための距離測定装置であって、
前記対象物からの物体光を撮像するカメラを備え、
前記カメラは、
前記物体光を集光する撮像レンズと、
前記撮像レンズを通過した前記物体光が入射する複数のマイクロレンズからなるマイクロレンズアレイと、
前記マイクロレンズアレイを通過した前記物体光を検出し、画像データに変換する撮像デバイスとを含み、
前記撮像デバイスは、それぞれが前記マイクロレンズアレイを通過した前記物体光を検出し、画像信号に変換する複数の撮像素子を有し、
前記複数の撮像素子は、それぞれに１つの前記マイクロレンズを透過した前記物体光が入射する複数の素子群に分割されており、
前記マイクロレンズアレイの非レンズ部を透過した光が入射する外縁部の前記撮像素子に対応する画素データの画素値を所定の値に変換するマスク手段と、
前記マスク手段により処理された前記画像データに含まれる複数の前記画素データを、各前記素子群における前記物体光を検出した前記撮像素子の位置により定まる前記物体光の前記マイクロレンズへの入射方向に基づいて並び替えて、前記撮像デバイスが複数の仮想位置の各々に位置する場合に得られるべき再構成画像を生成する再構成手段と、
前記複数の再構成画像に共通の領域において、前記複数の再構成画像の各々について、各画素と前記各画素近傍の画素との間の輝度の差分値を算出する差分値算出手段と、
前記共通の領域に含まれる各画素位置に対して、前記差分値が最大である前記画素を有する前記再構成画像に対応する前記仮想位置を特定し、前記カメラの光学系のパラメータに基づき前記特定された前記仮想位置を変換し前記距離を算出する距離算出手段とを備える、距離測定装置。
【請求項２】
前記差分値算出手段は、
各素子群に対応する前記画像データの領域に含まれる複数の前記画素の画素値に基づいて一様輝度を算出し、各前記領域に含まれる複数の前記画素を前記一様輝度を有する画素に変換する平均化手段をさらに含み、
前記一様輝度を有する画素に基づき前記差分値を算出する、請求項１に記載の距離測定装置。
【請求項３】
前記平均化手段は、各前記領域に含まれる前記画素のうち、前記外縁部の前記画素を除いた前記画素の画素値に基づいて前記一様輝度を算出する、請求項２に記載の距離測定装置。
【請求項４】
前記平均化手段は、各前記領域に含まれる前記画素のうち、前記所定の値を持つ画素を除いた前記画素の画素値に基づいて前記一様輝度を算出する、請求項３に記載の距離測定装置。
【請求項５】
前記所定の値は、前記画素値の取りうる最小値である、請求項１から４のいずれか１項に記載の距離測定装置。
【請求項６】
前記所定の値は、前記画素値の取りうる最大値である、請求項１から４のいずれか１項に記載の距離測定装置。
【請求項７】
前記マスク手段は、前記画像データの所定の領域に含まれる画素値の平均値が所定の閾値以上であるとき、前記所定の値を前記画像信号の取りうる最小値に設定し、前記平均値が前記所定の閾値未満であるとき、前記所定の値を前記画像信号の取りうる最大値に設定する、請求項１から４のいずれか１項に記載の距離測定装置。
【請求項８】
前記マスク手段は、前記画像データから前記外縁部の前記画素データを削除し、
前記再構成手段は、前記外縁部の前記画素データが削除された前記画像データに含まれる複数の前記画素データを並び替えて、前記再構成画像を生成する、請求項１に記載の距離測定装置。
【請求項９】
対象物からの物体光を撮像するカメラ対象物で前記対象物までの距離を測定するための距離測定方法であって、
前記カメラは、
前記物体光を集光する撮像レンズと、
前記撮像レンズを通過した前記物体光が入射する複数のマイクロレンズからなるマイクロレンズアレイと、
前記マイクロレンズアレイを通過した前記物体光を検出し、画像データに変換する撮像デバイスとを含み、
前記撮像デバイスは、それぞれが前記マイクロレンズアレイを通過した前記物体光を検出し、画像信号に変換する複数の撮像素子を有し、
前記複数の撮像素子は、それぞれに１つの前記マイクロレンズを透過した前記物体光が入射する複数の素子群に分割されており、
前記マイクロレンズアレイの非レンズ部を透過した光が入射する外縁部の前記撮像素子に対応する画素データの画素値を所定の値に変換するステップと、
前記外縁部の前記撮像素子に対応する画素データの画素値を前記所定の値に変換された前記画像データに含まれる複数の前記画素データを、各前記素子群における前記物体光を検出した前記撮像素子の位置により定まる前記物体光の前記マイクロレンズへの入射方向に基づいて並び替えて、前記撮像デバイスが複数の仮想位置の各々に位置する場合に得られるべき再構成画像を生成するステップと、
前記複数の再構成画像に共通の領域において、前記複数の再構成画像の各々について、各画素と前記各画素近傍の画素との間の輝度の差分値を算出するステップと、
前記共通の領域に含まれる各画素位置に対して、前記差分値が最大である前記画素を有する前記再構成画像に対応する前記仮想位置を特定し、前記カメラの光学系のパラメータに基づき前記特定された前記仮想位置を変換し前記距離を算出するステップとを備える、距離測定方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図９】
【図１０】
【図１３】
【図１５】
【図１７】
【図１８】
【図１９】
【図８】
【図１１】
【図１２】
【図１４】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図９】
【図１０】
【図１３】
【図１５】
【図１７】
【図１８】
【図１９】
【図８】
【図１１】
【図１２】
【図１４】
【図１６】
【公開番号】特開２００９−２２９１２５（Ｐ２００９−２２９１２５Ａ）
【公開日】平成２１年１０月８日（２００９．１０．８）
【国際特許分類】
【出願番号】特願２００８−７１９６９（Ｐ２００８−７１９６９）
【出願日】平成２０年３月１９日（２００８．３．１９）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２１年１０月８日（２００９．１０．８）
【国際特許分類】
【出願日】平成２０年３月１９日（２００８．３．１９）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]