距離情報検出装置
【課題】１回の撮像で画像データ内の対象物の距離情報を算出することが可能な距離情報検出装置を提供する。
【解決手段】距離情報検出装置２０Ａは、対象物ＰＸからの光を集光する撮像レンズ１１と、撮像レンズ１１からの光を受けるマイクロレンズアレイ１２と、マイクロレンズアレイ１２を介して対象物ＰＸを撮像する撮像素子１３とを含む画像センサカメラ１と、画像処理部４Ａとを備える。画像処理部４Ａは、撮像素子１３で撮像された画像のエッジ部分を検出するエッジ検出部４１Ａと、検出された画像のエッジ部分の撮像素子１３上の画素値の分布状態を検出する分布状態検出部４２Ａと、検出された分布状態に基づいてエッジ部分の撮像素子１３からの距離情報を検出する距離検出部４３Ａとを含む。
【解決手段】距離情報検出装置２０Ａは、対象物ＰＸからの光を集光する撮像レンズ１１と、撮像レンズ１１からの光を受けるマイクロレンズアレイ１２と、マイクロレンズアレイ１２を介して対象物ＰＸを撮像する撮像素子１３とを含む画像センサカメラ１と、画像処理部４Ａとを備える。画像処理部４Ａは、撮像素子１３で撮像された画像のエッジ部分を検出するエッジ検出部４１Ａと、検出された画像のエッジ部分の撮像素子１３上の画素値の分布状態を検出する分布状態検出部４２Ａと、検出された分布状態に基づいてエッジ部分の撮像素子１３からの距離情報を検出する距離検出部４３Ａとを含む。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、距離情報検出装置に関し、特に、マイクロレンズを用いた距離情報検出装置に関する。
【背景技術】
【０００２】
近年、産業用ロボットや各種ＦＡ（Factory Automation）機器を用いて生産ラインを自動化するシステムおよび知能ロボットのインテリジェント化を図るために、視覚センサが重要となっている。特に、ロボットアームを用いたシステムにおいては、ワークの位置、姿勢、形状等の計測に視覚センサとして画像センサカメラが多く用いられている。
【０００３】
また、半導体デバイスや回路部品の実装基板の製造においては、製品の品質を管理するために、半田バンプや金バンプなど２次元状に配置された微小なデバイスの高さ情報を測定するというニーズが高まっている。さらに、製造ラインにおける機器部品の３次元的な位置、姿勢、形状の計測、および製品の外形形状を検査するニーズが高まっている。
【０００４】
上記のようなニーズに対応すべく、従来より、２次元画像センサカメラの画像から擬似的に高さおよび姿勢情報を検出したり、複数の画像センサカメラを用いたステレオ方式による３次元情報測定システムが用いられたりしている。しかしながら、前者の２次元画像センサカメラの場合、対象物の奥行き距離および高さ情報を直接検出できないという課題があった。また、後者の３次元情報測定システムの場合、複数のカメラや複雑な画像処理が必要になる等の課題があった。
【０００５】
図２５は、共焦点顕微鏡の原理を用いた従来の高さ情報測定装置１００の概略的な構成を示した図である。
【０００６】
図２５を参照して、従来の高さ情報測定装置１００は、共焦点光学系１０１と、２次元画像カメラ１０２と、光源１０３と、対物レンズ１０４と、ステージ１０５とを備える。共焦点光学系１０１は、フォーカス駆動信号ＦＳを受けて対物レンズ１０４を駆動する。２次元画像カメラ１０２は、測定された試料１０６の画像データＰＤを出力する。このように、高さ情報測定装置１００は、比較的小さな対象物の高さ情報を測定する方法として、共焦点顕微鏡の原理を利用している（例えば、特許文献１参照）。
【０００７】
図２６は、図２５の高さ情報測定装置１００で試料１０６の高さ情報ＨＤがどのように測定されるのかを示した模式図である。
【０００８】
図２６に示すように、高さ情報測定装置１００は、ステージ１０５上の試料１０６を高さ方向に移動させながら、複数の高さ位置ａ〜ｄで水平面の共焦点画像を撮像する。高さ情報測定装置１００は、得られた画像データＰＤの画素ごとの輝度情報を比較し、最大輝度を有する画素を含む共焦点画素データを用いて粒子解析を行なう。高さ情報測定装置１００は、粒子解析によって特定領域を抽出した後、抽出された領域における輝度および高さの代表値を算出し、試料１０６の高さ情報ＨＤを求める。
【０００９】
また、撮像素子を用いたカメラシステムにおいて、取得した画像データをデジタル処理により合成し、後で好きなようにピントを手前または奥に移動できるプレノプティックカメラが提案されている（たとえば、非特許文献１参照）。
【００１０】
プレノプティックカメラは、普通のカメラレンズを用いて通常の方法で画像を形成するが、マイクロレンズアレイを像平面に正確に配置している。さらに、マイクロレンズアレイより多くの撮像ピクセルを有するイメージセンサアレイ（撮像素子）をマイクロレンズアレイのすぐ背後に配置している。
【００１１】
プレノプティックカメラでは、マイクロレンズアレイ内のレンズの数で最終画像の画素数が決まる。プレノプティックカメラは、単一のマイクロレンズに割り当てられた多数のセンサピクセルにより、そのマイクロレンズに入射する光の方向および強度を同時に記録することができる。プレノプティックカメラは、記録された光の方向および強度のデータを用いて、所定の距離にピントを合わせた画像を再構築することができる。
【特許文献１】特開２００３−７５１１９号公報
【非特許文献１】レン・Ｎｇ（Ren Ng） 外５名、「携帯型プレノプティックカメラを備えた光電界写真技術（Light Field Photography with a Hand-held Plenoptic Camera）」、スタンフォード・テクニカルレポート（Stanford Tech Report）、ＣＴＳＲ２００５−０２
【発明の開示】
【発明が解決しようとする課題】
【００１２】
特許文献１のように、共焦点顕微鏡の原理を用いて複数の共焦点画像を取得する場合、ステージの面方向への走査に加え、高さ方向への移動という操作が必要となる。この場合、２次元画像データを高さを変えて複数回取得する度に、ステージ１０５の移動および停止、対物レンズ１０４のオートフォーカシングなどに時間が必要となる。また、オートフォーカス機構を含む移動機構系が大型化される。
【００１３】
また、非特許文献１に開示されたプレノプティックカメラでは、取得画像データに対して、たとえばオペレータがピント位置（距離）を入力する。これにより、その位置にフォーカシングされた画像を、データの並び替え（再構成）を通じて作り出している。しかし、非特許文献１には、フォーカシング画像を用いて対象物の距離情報を算出することは開示されていない。
【００１４】
それゆえに、この発明の目的は、１回の撮像で画像データ内の対象物の距離情報を算出することが可能な距離情報検出装置を提供することである。
【課題を解決するための手段】
【００１５】
この発明のある局面によれば、対象物の距離情報を検出する距離情報検出装置であって、対象物からの光を集光する撮像レンズと、撮像レンズからの光を受けるマイクロレンズアレイと、マイクロレンズアレイを介して対象物を撮像する撮像素子とを含む撮像部と、撮像素子で撮像された画像のエッジ部分を検出するエッジ検出部と、検出された画像のエッジ部分の撮像素子上の画素値の分布状態を検出する分布状態検出部と、検出された分布状態に基づいてエッジ部分の撮像素子からの距離情報を検出する距離検出部とを備える。
【００１６】
好ましくは、分布状態検出部は、マイクロレンズアレイの中の１つのマイクロレンズに対応する撮像画素群を単位として画素値の分布状態を検出する。
【００１７】
好ましくは、分布状態検出部は、マイクロレンズアレイの中の１つのマイクロレンズに対応する画素群を中心とした複数の隣接する撮像画素群を単位として画素値の分布状態を検出する。
【００１８】
好ましくは、撮像素子上の画素値の対象物の位置に応じた分布状態を予め格納したメモリをさらに備え、分布状態検出部は、メモリに格納された分布状態とのパターンマッチングにより画素値の分布状態を検出する。
【００１９】
好ましくは、エッジ部分の対象物の位置に応じた撮像素子からの距離情報を予め格納したメモリをさらに備え、距離検出部は、メモリに格納された距離情報との対応付けにより撮像素子からの距離情報を検出する。
【００２０】
好ましくは、分布状態検出部は、エッジ付近の画素群の輝度の中心位置を求めることにより、対象物が近点側にあるのか遠点側にあるのかを判別する。
【００２１】
好ましくは、距離検出部は、分布状態検出で検出される複数のエッジ部分での画素値の分布状態を平均化して、エッジ部分の撮像素子からの距離情報を検出する。
【００２２】
好ましくは、エッジ検出部は、画像データに対して画素単位で隣接画素群との輝度の差分値を計算することにより画像のエッジ部分を検出する。
【００２３】
好ましくは、エッジ検出部は、撮像素子で撮像された単一画像のエッジ部分を検出する。
【００２４】
好ましくは、エッジ検出部は、微分フィルタを含む。
【発明の効果】
【００２５】
この発明によれば、１回の撮像により、画像データ内の対象物の距離情報を算出することができる。
【発明を実施するための最良の形態】
【００２６】
以下、この発明の実施の形態について図面を参照して詳しく説明する。なお、図中同一または相当部分には同一符号を付してその説明は繰り返さない。
【００２７】
［実施の形態１］
図１は、この発明の実施の形態１による距離情報検出装置２０Ａの概略的な構成を示したブロック図である。
【００２８】
図１を参照して、実施の形態１の距離情報検出装置２０Ａは、画像センサカメラ１と、画像キャプチャボード２と、メモリ３と、画像処理部４Ａと、表示モニタ５とを備える。画像センサカメラ１は、撮像レンズ（以後、メインレンズと称す）１１と、マイクロレンズアレイ１２と、撮像素子１３とを含む。撮像素子１３は、たとえばＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）である。
【００２９】
画像キャプチャボード２は、撮像素子１３の画像を取得する。メモリ３は、当該画像データを保存する。画像処理部４Ａは、エッジ検出部４１Ａと、分布状態検出部４２Ａと、距離検出部４３Ａとを含む。エッジ検出部４１Ａは、画像キャプチャボード２により取得した対象物の単一画像から画像のエッジ部分を検出する。分布状態検出部４２Ａは、検出されたエッジ部分の撮像画素への投影分布状態を検出する。距離検出部４３Ａは、分布状態検出部４２Ａでの検出結果を距離情報に変換する。表示モニタ５は、上述した各種の検出結果などを表示する。
【００３０】
図２は、図１の距離情報検出装置２０Ａにおける画像センサカメラ１の光学系の構成を示した図である。
【００３１】
図２を参照して、画像センサカメラ１は、メインレンズ１１と、複数のマイクロレンズ１２ｍを有するマイクロレンズアレイ１２と、撮像素子１３とを含む。実施の形態１の距離情報検出装置２０Ａは、画像センサカメラ１の光学系に１つの特徴がある。
【００３２】
画像センサカメラ１では、対象物ＰＸがＡ１の位置にある場合、その像がほぼマイクロレンズ１２ｍ上に結像されるように、メインレンズ１１およびマイクロレンズアレイ１２を配置する。このときの対象物ＰＸの位置を合焦点位置Ａ１と呼び、それよりもメインレンズ１１に近い側を近点位置Ｂ１、遠い側を遠点位置Ｃ１と呼ぶ。撮像素子１３は、マイクロレンズアレイ１２のほぼ焦点位置に配置されている。マイクロレンズ１２ｍ上に集光された合焦位置にある点像の対象物ＰＸの光が、マイクロレンズ１２ｍを通って拡大され、撮像素子１３に入射する。
【００３３】
次に、図３〜１５を参照して、画像センサカメラ１を用いた撮像および距離情報検出の原理を説明する。
【００３４】
図３は、点像の対象物ＰＸが合焦点位置Ａ１から近点位置Ｂ１または遠点位置Ｃ１に移動した場合のメインレンズ１１の集光位置を示した図である。
【００３５】
図３において、対象物ＰＸが配置されている位置が合焦点位置Ａ１である。合焦点位置Ａ１から見てメインレンズ１１に近い側を、対象物ＰＸ側から順に近点位置Ｂ１，Ｂ２，Ｂ３と呼ぶ。合焦点位置Ａ１から見てメインレンズ１１から遠い側を、対象物ＰＸ側から順に遠点位置Ｃ１，Ｃ２，Ｃ３と呼ぶ。
【００３６】
点像の対象物ＰＸが合焦点位置Ａ１にある場合のメインレンズ１１の集光位置をＥ１と呼ぶ。集光位置Ｅ１は、ほぼマイクロレンズアレイ１２の位置となる。図３は、点像の対象物ＰＸが、合焦点位置Ａ１から近点位置Ｂ１，Ｂ２，Ｂ３または遠点位置Ｃ１，Ｃ２，Ｃ３に移動した場合のメインレンズ１１での集光位置（結像位置）を示している。
【００３７】
図４は、点像の対象物ＰＸの位置に応じたマイクロレンズアレイ１２上の入射光ＰＬの形状を示した図である。図４の（ａ）〜（ｃ）は、対象物ＰＸが遠点位置Ｃ１、合焦点位置Ａ１、近点位置Ｂ１にある場合のマイクロレンズアレイ１２上の入射光ＰＬの形状をそれぞれ示す。図４では、マイクロレンズアレイ１２上のマイクロレンズ１２ｍの位置をＭ（ｉ，ｊ）と表わす（ｉ，ｊ＝１，２，３）。
【００３８】
図５は、点像の対象物ＰＸの位置に応じた撮像素子１３上の入射光ＰＬの形状を示した図である。図５の（ａ）〜（ｃ）は、対象物ＰＸが遠点位置Ｃ１、合焦点位置Ａ１、近点位置Ｂ１にある場合の撮像素子１３上の入射光ＰＬの形状をそれぞれ示す。図５では、撮像素子１３上の画素群の位置をＴ（ｉ，ｊ）と表わす（ｉ，ｊ＝１，２，３）。
【００３９】
撮像素子１３上の１つの画素群は、マイクロレンズ１２ｍの１個に対応する。１つの画素群は、たとえば１２×１２個程度の画素で構成される。なお、撮像素子１３上の１つの画素群が、隣接する複数のマイクロレンズ１２ｍに対応してもよい。
【００４０】
図３〜５を参照して、合焦点位置Ａ１の対象物ＰＸからの入射光ＰＬは、図４（ｂ）に示すように、ほぼマイクロレンズＭ（２，２）上に集光される。マイクロレンズＭ（２，２）を通過した当該入射光ＰＬは、図５（ｂ）に示すように、撮像素子１３の画素群Ｔ（２，２）に対して全面に広がって入射する。
【００４１】
遠点位置Ｃ１の対象物ＰＸからの入射光ＰＬは、メインレンズ１１を通っていったん集光された後、デフォーカス状態になって広がり、図４（ａ）に示すように、マイクロレンズＭ（１，２），Ｍ（２，１），Ｍ（２，２），Ｍ（２，３），Ｍ（３，２）上に入射する。マイクロレンズＭ（１，２）等を通過した当該入射光ＰＬは、図５（ａ）に示すように、撮像素子１３の画素群Ｔ（１，２），Ｔ（２，１），Ｔ（２，２），Ｔ（２，３），Ｔ（３，２）の一部にそれぞれ入射する。
【００４２】
近点位置Ｂ１の対象物ＰＸからの入射光ＰＬは、メインレンズ１１を通って、図４（ｃ）に示すように、マイクロレンズＭ（１，２），Ｍ（２，１），Ｍ（２，２），Ｍ（２，３），Ｍ（３，２）上に入射する。マイクロレンズＭ（１，２）等を通過した当該入射光ＰＬは、図５（ｃ）に示すように、撮像素子１３の画素群Ｔ（１，２），Ｔ（２，１），Ｔ（２，２），Ｔ（２，３），Ｔ（３，２）の一部にそれぞれ入射する。
【００４３】
図４（ａ），（ｃ）に示すように、マイクロレンズアレイ１２上での入射光ＰＬの分布は、対象物ＰＸが遠点位置Ｃ１であっても近点位置Ｂ１であっても、合焦点位置Ａ１から位置が対称であれば変わらない。一方、図５（ａ），（ｃ）に示すように、撮像素子１３上での入射光ＰＬの分布は、対象物ＰＸのメインレンズ１１からの距離に応じて、マイクロレンズＭ（ｉ，ｊ）ごとの撮像素子１３の画素群Ｔ（ｉ，ｊ）を１つの単位として、特徴的な分布を示す。この特徴的な分布を以下に詳述する。
【００４４】
図６〜１２は、点像の対象物ＰＸの位置に応じたマイクロレンズアレイ１２および撮像素子１３上の入射光ＰＬの形状を示した図である。図６〜１２では、マイクロレンズアレイ１２上のマイクロレンズ１２ｍの位置をＭ（ｉ，ｊ）と表わす（ｉ，ｊ＝１〜５）。また、撮像素子１３上の画素群の位置をＴ（ｉ，ｊ）と表わす（ｉ，ｊ＝１〜５）。
【００４５】
図６は、対象物ＰＸが近点位置Ｂ３にある場合のマイクロレンズアレイ１２および撮像素子１３上の入射光ＰＬの形状を示す。
【００４６】
図３，６を参照して、近点位置Ｂ３の対象物ＰＸからの入射光ＰＬは、メインレンズ１１を通って、図６（ａ）に示すように、マイクロレンズＭ（１，２）〜Ｍ（１，４），Ｍ（２，１）〜Ｍ（４，５），Ｍ（５，２）〜Ｍ（５，４）上に入射する。マイクロレンズＭ（１，２）等を通過した当該入射光ＰＬは、図６（ｂ）に示すように、撮像素子１３の画素群Ｔ（１，２）〜Ｔ（１，４），Ｔ（２，１）〜Ｔ（４，５），Ｔ（５，２）〜Ｔ（５，４）の一部にそれぞれ入射する。
【００４７】
図７は、対象物ＰＸが近点位置Ｂ２にある場合のマイクロレンズアレイ１２および撮像素子１３上の入射光ＰＬの形状を示す。
【００４８】
図３，７を参照して、近点位置Ｂ２の対象物ＰＸからの入射光ＰＬは、メインレンズ１１を通って、図７（ａ）に示すように、マイクロレンズＭ（２，２）〜Ｍ（２，４），Ｍ（３，２）〜Ｍ（３，４），Ｍ（４，２）〜Ｍ（４，４）上に入射する。マイクロレンズＭ（２，２）等を通過した当該入射光ＰＬは、図７（ｂ）に示すように、撮像素子１３の画素群Ｔ（２，２）〜Ｔ（２，４），Ｔ（３，２）〜Ｔ（３，４），Ｔ（４，２）〜Ｔ（４，４）の一部にそれぞれ入射する。
【００４９】
図８は、対象物ＰＸが近点位置Ｂ１にある場合のマイクロレンズアレイ１２および撮像素子１３上の入射光ＰＬの形状を示す。
【００５０】
図３，８を参照して、近点位置Ｂ１の対象物ＰＸからの入射光ＰＬは、メインレンズ１１を通って、図８（ａ）に示すように、マイクロレンズＭ（２，３），Ｍ（３，２）〜Ｍ（３，４），Ｍ（４，３）上に入射する。マイクロレンズＭ（２，３）等を通過した当該入射光ＰＬは、図８（ｂ）に示すように、撮像素子１３の画素群Ｔ（２，３），Ｔ（３，２）〜Ｔ（３，４），Ｔ（４，３）の一部にそれぞれ入射する。
【００５１】
図９は、対象物ＰＸが合焦点位置Ａ１にある場合のマイクロレンズアレイ１２および撮像素子１３上の入射光ＰＬの形状を示す。
【００５２】
図３，９を参照して、合焦点位置Ａ１の対象物ＰＸからの入射光ＰＬは、メインレンズ１１を通って、図９（ａ）に示すように、ほぼマイクロレンズＭ（３，３）上に集光される。マイクロレンズＭ（３，３）を通過した当該入射光ＰＬは、図９（ｂ）に示すように、撮像素子１３の画素群Ｔ（３，３）に対して全面に広がって入射する。
【００５３】
図１０は、対象物ＰＸが遠点位置Ｃ１にある場合のマイクロレンズアレイ１２および撮像素子１３上の入射光ＰＬの形状を示す。
【００５４】
図３，１０を参照して、遠点位置Ｃ１の対象物ＰＸからの入射光ＰＬは、メインレンズ１１を通って、図１０（ａ）に示すように、マイクロレンズＭ（２，３），Ｍ（３，２）〜Ｍ（３，４），Ｍ（４，３）上に入射する。マイクロレンズＭ（２，３）等を通過した当該入射光ＰＬは、図１０（ｂ）に示すように、撮像素子１３の画素群Ｔ（２，３），Ｔ（３，２）〜Ｔ（３，４），Ｔ（４，３）の一部にそれぞれ入射する。
【００５５】
図１１は、対象物ＰＸが遠点位置Ｃ２にある場合のマイクロレンズアレイ１２および撮像素子１３上の入射光ＰＬの形状を示す。
【００５６】
図３，１１を参照して、遠点位置Ｃ２の対象物ＰＸからの入射光ＰＬは、メインレンズ１１を通って、図１１（ａ）に示すように、マイクロレンズＭ（２，２）〜Ｍ（２，４），Ｍ（３，２）〜Ｍ（３，４），Ｍ（４，２）〜Ｍ（４，４）上に入射する。マイクロレンズＭ（２，２）等を通過した当該入射光ＰＬは、図１１（ｂ）に示すように、撮像素子１３の画素群Ｔ（２，２）〜Ｔ（２，４），Ｔ（３，２）〜Ｔ（３，４），Ｔ（４，２）〜Ｔ（４，４）の一部にそれぞれ入射する。
【００５７】
図１２は、対象物ＰＸが遠点位置Ｃ３にある場合のマイクロレンズアレイ１２および撮像素子１３上の入射光ＰＬの形状を示す。
【００５８】
図３，１２を参照して、遠点位置Ｃ３の対象物ＰＸからの入射光ＰＬは、メインレンズ１１を通って、図１２（ａ）に示すように、マイクロレンズＭ（１，２）〜Ｍ（１，４），Ｍ（２，１）〜Ｍ（４，５），Ｍ（５，２）〜Ｍ（５，４）上に入射する。マイクロレンズＭ（１，２）等を通過した当該入射光ＰＬは、図１２（ｂ）に示すように、撮像素子１３の画素群Ｔ（１，２）〜Ｔ（１，４），Ｔ（２，１）〜Ｔ（４，５），Ｔ（５，２）〜Ｔ（５，４）の一部にそれぞれ入射する。
【００５９】
図６〜１２に示すように、点像の対象物ＰＸからの入射光ＰＬは、合焦点位置Ａ１ではマイクロレンズアレイ１２上で集光する。これに対し、近点位置Ｂ１〜Ｂ３および遠点位置Ｃ１〜Ｃ３では、点像の対象物ＰＸからの入射光ＰＬは像が拡大し、中央部だけでなく周囲のマイクロレンズ１２ｍにも光が入射する。図６（ａ）〜図１２（ａ）に示すように、近点位置Ｂ１〜Ｂ３と遠点位置Ｃ１〜Ｃ３とでは、マイクロレンズアレイ１２上において同じように像が拡大する。
【００６０】
上記に対し、撮像素子１３上では、図６（ｂ）〜図１２（ｂ）に示すように、中央の画素群を中心に、対象物ＰＸが合焦点位置Ａ１から距離的に離れるほど、周囲の画素群に入射光ＰＬの分布が広がっていく。さらに、近点位置Ｂ１〜Ｂ３と遠点位置Ｃ１〜Ｃ３とで、画素群上での入射光ＰＬの像の形状が異なる。近点位置Ｂ１〜Ｂ３では、中央の画素群を中心に周囲の画素群では画素群領域の内側に分割された光が入射する。これに対し、遠点位置Ｃ１〜Ｃ３では、中央の画素群を中心に周囲の画素群では画素群領域の外側に分割された光が入射する。
【００６１】
上記のように、撮像素子１３の画素群における入射光ＰＬの分布は、対象物ＰＸの合焦点位置Ａ１からの距離に応じた特徴的なものとなる。したがって、撮像素子１３において、中央の画素群を中心にどのように入射光ＰＬが拡散して分布しているかを知ることで、対象物ＰＸまでの距離を知ることができる。
【００６２】
以上の画像センサカメラ１を用いた撮像および距離情報検出の原理では、対象物ＰＸが点像である場合について説明した。次に、対象物ＰＸが有限の大きさを持つ矢印形状である場合について、図１３〜１５を用いて説明する。
【００６３】
図１３は、矢印形状の対象物ＰＸが近点位置Ｂ１にある場合のメインレンズ１１の集光位置を示した図である。図１３に示すように、近点位置Ｂ１における矢印形状の対象物ＰＸからの入射光ＰＬは、メインレンズ１１を通って、マイクロレンズアレイ１２上および撮像素子１３上に広がって入射する。
【００６４】
図１４は、矢印形状の対象物ＰＸが近点位置Ｂ１にある場合の撮像素子１３での取得画像を示した図である。撮像素子１３は、画素群１３ａを含む。図１４に示すように、撮像素子１３上において、矢印形状の対象物ＰＸはボケた画像となる。当該取得画像は、マイクロレンズアレイ１２を通して取得した画像に相当する。
【００６５】
図１５は、矢印形状の対象物ＰＸが近点位置Ｂ１にある場合の撮像素子１３での取得画像を画素群１３ａで拡大した図である。図１５に示すように、矢印形状の対象物ＰＸからの入射光ＰＬは、撮像素子１３の画素群１３ａにおいて、画素群Ｔ（１，１）〜Ｔ（４，５）の一部にそれぞれ入射する。
【００６６】
図１５に示す取得画像は、図６〜１２に示した点像での現象が矢印形状の対象物ＰＸのエッジ部分で起こっている画像と考えることができる。言い換えると、図１５に示す矢印形状の対象物ＰＸの取得画像は、図６〜１２で説明した点像の対象物ＰＸでの取得画像の重ね合わせであると考えられる。
【００６７】
上記のことは、対象物ＰＸが近点位置Ｂ２〜Ｂ３および遠点位置Ｃ１〜Ｃ３にある場合にも当てはまる。すなわち、画像センサカメラ１において、撮像画像に対してエッジ部分の検出を行ない、エッジ部分の撮像画像に対する点像の分布状態を検出することにより、対象物ＰＸまでの距離を計測することができる。
【００６８】
次に、この発明の特徴である、単一の取得画像から画像の中の対象物の距離情報（３次元情報）を取得する方法について詳しく説明する。
【００６９】
図１６は、この発明の実施の形態１による距離情報検出装置２０Ａが距離情報を算出する画像処理ステップを示したフロー図である。
【００７０】
図１，１６を参照して、実施の形態１の距離情報検出装置２０Ａは、まず、画像キャプチャボード２を介して、撮像素子１３からの対象物ＰＸの画像データを取得する（ステップＳ１０）。当該画像データは、画像処理部４Ａに送られる。画像処理部４Ａは、エッジ検出部４１Ａと、分布状態検出部４２Ａと、距離検出部４３Ａとを含む。
【００７１】
（１） エッジ検出処理（ステップＳ２０）
エッジ検出部４１Ａは、画像キャプチャボード２から送られてきた画像データに対して、エッジ強調処理を行ない（ステップＳ２１）、画像のエッジ部分を抽出する（ステップＳ２２）。エッジ強調処理の一例として、空間フィルタに微分フィルタを適用すれば、画像のエッジ部分が強調された画像が得られる。微分フィルタの適用において、たとえば、画像データに対して画素単位で隣接画素群との輝度の差分値を計算することにより、エッジ部分が強調された輝度分布が算出される。
【００７２】
エッジ検出法としては、よく知られたロバート（Roberts)法のほか、単純な微分法、そーベル（Sobel）法、２次微分を用いるラプラシアン法など様々な方法がある。各方法に応じて、様々なフィルタが用いられる。
【００７３】
エッジが強調された画像は、一般に、元画像のエッジが強い部分について大きな画素値を示すが、エッジではない部分についてもノイズ成分等で小さな画素値が認められる。このような画素値が大小入り混じった画像に対しては、フィルタにしきい値を適宜設定することでノイズ成分の除去が可能になる。このようにして、撮像画像のエッジ部分を検出することが可能となる。
【００７４】
（２） 分布検出処理（ステップＳ３０）
分布状態検出部４２Ａは、エッジ検出部４１Ａからのエッジ強調データに対して、分布パターンマッチング（ステップＳ３１）および分布検出（ステップＳ３２）を行なう。
【００７５】
図１７は、矢印形状の対象物ＰＸが近点位置Ｂ１〜Ｂ３側にあった場合の撮像素子１３での取得画像を示した図である。図１７の（ａ）〜（ｄ）は、対象物ＰＸが近点位置Ｂ３〜Ｂ１および合焦点位置Ａ１にある場合の撮像素子１３上の入射光ＰＬの形状をそれぞれ示す。撮像素子１３は、画素群１３ａを含む。
【００７６】
図１８は、矢印形状の対象物ＰＸが近点位置Ｂ１〜Ｂ３側にあった場合の撮像素子１３での取得画像を画素群１３ａで拡大した図である。図１８の（ａ）〜（ｄ）は、対象物ＰＸが近点位置Ｂ３〜Ｂ１および合焦点位置Ａ１にある場合の撮像素子１３の画素群１３ａ上の入射光ＰＬの形状をそれぞれ示す。図１８では、画素群１３ａ上の画素群の位置をＴ（ｉ，ｊ）と表わす（ｉ，ｊ＝１〜５）。
【００７７】
図１８（ａ）〜（ｄ）に示すように、近点位置Ｂ３において画素群Ｔ（１，１）〜Ｔ（５，５）の一部にそれぞれ入射する矢印形状の対象物ＰＸからの入射光ＰＬは、合焦点位置Ａ１では画素群Ｔ（１，１）〜Ｔ（３，５）の全面に広がって入射する。
【００７８】
図１９は、矢印形状の対象物ＰＸが遠点位置Ｃ１〜Ｃ３側にあった場合の撮像素子１３での取得画像を示した図である。図１９の（ａ）〜（ｄ）は、対象物ＰＸが遠点位置Ｃ３〜Ｃ１および合焦点位置Ａ１にある場合の撮像素子１３上の入射光ＰＬの形状をそれぞれ示す。撮像素子１３は、画素群１３ａを含む。
【００７９】
図２０は、矢印形状の対象物ＰＸが遠点位置Ｃ１〜Ｃ３側にあった場合の撮像素子１３での取得画像を画素群１３ａで拡大した図である。図２０の（ａ）〜（ｄ）は、対象物ＰＸが遠点位置Ｃ３〜Ｃ１および合焦点位置Ａ１にある場合の撮像素子１３の画素群１３ａ上の入射光ＰＬの形状をそれぞれ示す。図２０では、画素群１３ａ上の画素群の位置をＴ（ｉ，ｊ）と表わす（ｉ，ｊ＝１〜５）。
【００８０】
図２０（ａ）〜（ｄ）に示すように、遠点位置Ｃ３において画素群Ｔ（１，１）〜Ｔ（５，５）の一部に近点位置Ｂ３とは異なる形状でそれぞれ入射する矢印形状の対象物ＰＸからの入射光ＰＬは、合焦点位置Ａ１では画素群Ｔ（１，１）〜Ｔ（３，５）の全面に広がって入射する。
【００８１】
仮に、対象物ＰＸの被写体が近点位置Ｂ１にあったとする。分布状態検出方法の例として、図１のメモリ３は、図１８，２０の入射光ＰＬの分布パターンを、近点位置Ｂ３〜遠点位置Ｃ３という距離情報とともに格納しておく。図１の分布状態検出部４２Ａは、エッジ検出部４１Ａで検出された対象物ＰＸのエッジ部分について、図１８，２０の入射光ＰＬの各分布パターンとパターンマッチングを行なう。
【００８２】
マッチングの評価結果として、最も近似性の強いパターンを検出することで、対象物ＰＸのエッジ部分の入射光ＰＬの分布状態を検出することができる。今回の例では、図１８（ｃ）の分布パターンが検出される。
【００８３】
（３） 距離検出処理（ステップＳ４０）
距離検出部４３Ａは、分布状態検出部４２Ａからの分布データに対して、検出分布の距離換算（ステップＳ４１）および距離検出（ステップＳ４２）を行なう。具体的には、マッチングの評価結果として最も近似性の強いパターンの距離情報を、そのエッジ部分の撮像素子１３からの距離として検出する。今回の例では、撮像素子１３から近点位置Ｂ１までの距離が検出される。分布パターンと距離情報との対応付けについては、たとえば図１のメモリ３内にルックアップテーブルを設けることで簡便に実現できる。
【００８４】
［実施の形態１の変形例］
次に、実施の形態１の距離情報検出装置２０Ａにおいて、距離検出を高速化する方法について説明する。
【００８５】
図１８，２０では、矢印形状の対象物ＰＸの位置に応じた撮像素子１３での取得画像の画素群１３ａでの拡大図を示した。図１８（ｄ）および図２０（ｄ）に示すように、対象物ＰＸが合焦点位置Ａ１にある場合、撮像素子１３の画素群Ｔ（３，ｊ）（ｊ＝１〜５）と画素群Ｔ（５，ｊ）（ｊ＝１〜５）との輝度差は大きくなる。
【００８６】
しかしながら、対象物ＰＸの位置が近点側または遠点側にずれていくにしたがって、図１８（ａ）〜（ｃ）および図２０（ａ）〜（ｃ）に示すように、光の一部が隣接する画素列群に分割移動していく。そのため、撮像素子１３の画素群Ｔ（３，ｊ）（ｊ＝１〜５）と画素群Ｔ（５，ｊ）（ｊ＝１〜５）との輝度差は小さくなる。
【００８７】
図１８（ａ）〜（ｃ）に示すように、対象物ＰＸが近点位置Ｂ１〜Ｂ３側にあった場合、分割されて入射する光は、画素群の中でエッジに近い側（画素群Ｔ（１，ｊ）（ｊ＝１〜５）側）に落射する。一方、図２０（ａ）〜（ｃ）に示すように、対象物ＰＸが遠点位置Ｃ１〜Ｃ３側にあった場合、分割されて入射する光は、画素群の中でエッジに遠い側（画素群Ｔ（５，ｊ）（ｊ＝１〜５）側）に落射する。
【００８８】
したがって、エッジ付近の画素群の輝度の中心位置を求めることで、対象物ＰＸが近点側にあるのか遠点側にあるのかを判別することができる。よって、距離情報検出装置２０Ａは、分布状態検出部４２Ａにおいて上記の判別を行なうことにより、パターンマッチングに用いるパターン数が半減する。その結果、処理時間を短縮することができる。
【００８９】
以上のように、実施の形態１によれば、図１６で説明したステップＳ１０〜Ｓ４０の距離検出アルゴリズムにより、単一の撮像画像からの画像処理で対象物ＰＸの撮像素子１３からの距離を検出することができる。
【００９０】
上記のように一度の撮像データから画像処理により距離情報を得ることで、カメラレンズのフォーカシング機構およびステージなどの移動機構が不要となる。そのため、小型かつ低コストな距離情報検出装置を実現できる。
【００９１】
また、一度の撮像操作で距離情報を取得できるため、カメラや対象物の複数回の移動時間および撮影時間が短縮される。さらに、上記移動にともなう各画像のマッチング操作などの時間も不要となる。よって、対象物ＰＸの測定時間を大幅に短縮できる。
【００９２】
また、実施の形態１の距離情報検出装置における光学系は、撮像素子のごく近傍にマイクロレンズアレイを組込む構成なので、従来の画像センサカメラとほぼ同サイズとなる。そのため、装置を小型化することができ、従来装置との互換性の点でも有利となる。
【００９３】
［実施の形態２］
図２１は、この発明の実施の形態２による距離情報検出装置２０Ｂの概略的な構成を示したブロック図である。
【００９４】
図２１を参照して、実施の形態２の距離情報検出装置２０Ｂは、画像処理部４Ａが画像処理部４Ｂに置き換えられた点において、実施の形態１の距離情報検出装置２０Ａと異なる。よって、実施の形態１と重複する部分の説明は、ここでは繰り返さない。画像処理部４Ｂは、エッジ検出部４１Ｂと、分布状態検出部４２Ｂと、距離検出部４３Ｂとを含む。エッジ検出部４１Ｂは、画像キャプチャボード２により取得した対象物ＰＸの単一画像から画像の複数のエッジ部分を検出する。分布状態検出部４２Ｂは、検出された複数のエッジ部分の撮像画素への投影分布状態をそれぞれ検出する。距離検出部４３Ｂは、分布状態検出部４２Ｂでの複数の検出結果をを平均化して距離情報に変換する。
【００９５】
実施の形態１の距離情報検出装置２０Ａでは、画像処理部４Ａにおいて、１つの直線状のエッジについて１回の距離検出を行なっていた。しかし、距離情報の検出精度を上げるためには、別の場所でも検出を実行して平均化した上で距離検出することが望ましい。
【００９６】
そこで、実施の形態２の距離情報検出装置２０Ｂは、１つのエッジに対して複数の箇所で距離検出を行なう距離検出部４３Ｂを備えている。以下では、１つのエッジに対して２箇所で距離検出を行なう場合を例に説明する。検出箇所は適宜決定すればよいが、平均化があるため、近接する箇所から検出するのが望ましい。
【００９７】
図２２は、この発明の実施の形態２による距離情報検出装置２０Ｂが距離情報を算出する画像処理ステップを示したフロー図である。
【００９８】
図２１，２２を参照して、実施の形態２の距離情報検出装置２０Ｂは、まず、画像キャプチャボード２を介して、撮像素子１３からの対象物ＰＸの画像データを取得する（ステップＳ１０）。当該画像データは、画像処理部４Ｂに送られる。画像処理部４Ｂは、エッジ検出部４１Ｂと、分布状態検出部４２Ｂと、距離検出部４３Ｂとを含む。
【００９９】
（１） エッジ検出処理（ステップＳ２０）
エッジ検出部４１Ｂは、画像キャプチャボード２から送られてきた画像データに対して、エッジ強調処理を行ない（ステップＳ２１）、画像のエッジ部分を抽出する（ステップＳ２２）。さらに、対象物ＰＸの第１の画像領域においてエッジを検出する（ステップＳ２３）。その後、分布状態検出部４２Ｂおよび距離検出部４３Ｂを経て１回目の距離情報が検出されると、エッジ検出部４１Ｂに戻って対象物ＰＸの第２の画像領域において再びエッジを検出する（ステップＳ２４）。
【０１００】
エッジが強調された画像は、一般に、元画像のエッジが強い部分について大きな画素値を示すが、エッジではない部分についてもノイズ成分等で小さな画素値が認められる。このような画素値が大小入り混じった画像に対しては、フィルタにしきい値を適宜設定することでノイズ成分の除去が可能になる。このようにして、撮像画像のエッジ部分を検出することが可能となる。
【０１０１】
（２） 分布検出処理（ステップＳ３０）
分布状態検出部４２Ｂは、エッジ検出部４１Ｂからの第１のエッジ強調データに対して、分布パターンマッチング（ステップＳ３１）および分布検出（ステップＳ３２）を行なう。その後、エッジ検出部４１Ｂからの第２のエッジ強調データに対しても、分布パターンマッチング（ステップＳ３３）および分布検出（ステップＳ３４）を行なう。
【０１０２】
分布状態検出部４２Ｂは、エッジ検出部４１Ｂで検出された対象物ＰＸのエッジ部分について、メモリ３に格納された入射光ＰＬの距離情報ごとの分布パターンとパターンマッチングを行なう。マッチングの評価結果として、最も近似性の強いパターンを検出することで、対象物ＰＸのエッジ部分の入射光ＰＬの分布状態を検出することができる。
【０１０３】
（３） 距離検出処理（ステップＳ４０）
距離検出部４３Ｂは、分布状態検出部４２Ｂからの第１の分布データに対して、検出分布の距離換算（ステップＳ４１）および距離検出（ステップＳ４２）を行なう。その後、分布状態検出部４２Ｂからの第２の分布データに対しても、検出分布の距離換算（ステップＳ４３）および距離検出（ステップＳ４４）を行なう。
【０１０４】
距離情報の検出は、具体的には、マッチングの評価結果として最も近似性の強いパターンの距離情報を、そのエッジ部分の撮像素子１３からの距離として検出する。さらに、距離検出部４３Ｂは、検出された第１および第２の距離検出値を平均する（ステップＳ４５）。これにより、対象物ＰＸの距離検出値が確定する（ステップＳ４６）。分布パターンと距離情報との対応付けについては、たとえば図２１のメモリ３内にルックアップテーブルを設けることで簡便に実現できる。
【０１０５】
図２３は、矢印形状の対象物ＰＸが近点位置Ｂ２〜Ｂ１にあった場合の撮像素子１３での取得画像を示した図である。図２３は、対象物ＰＸが近点位置Ｂ２〜Ｂ１にある場合の撮像素子１３上の入射光ＰＬの形状を示している。撮像素子１３は、画素群１３ａ，１３ｂを含む。
【０１０６】
図２４は、矢印形状の対象物ＰＸが近点位置Ｂ２〜Ｂ１にあった場合の撮像素子１３での取得画像を画素群１３ａ，１３ｂで拡大した図である。図２４の（ａ），（ｂ）は、対象物ＰＸが近点位置Ｂ２〜Ｂ１にある場合の撮像素子１３の画素群１３ａ，１３ｂ上の入射光ＰＬの形状をそれぞれ示す。図２４では、画素群１３ａ，１３ｂ上の画素群の位置をＴ（ｉ，ｊ）と表わす（ｉ，ｊ＝１〜５）。
【０１０７】
図２２で説明したように、距離検出部４３Ｂは、ステップＳ４５において、画素群１３ａ，１３ｂ上でそれぞれ検出された第１および第２の距離検出値を平均する。これにより、ステップＳ４６において、距離検出値が確定する。
【０１０８】
従来の高さ情報測定装置は、ステージで対象物の高さを変化させてオートフォーカシングを行なった後、複数枚の画像を取得し、それらの画像の輝度情報に基づいて高さ情報を求める（例えば、特許文献１参照）。
【０１０９】
これに対し、この発明の実施の形態１，２による距離情報検出装置では、カメラレンズのフォーカシング機構およびステージなどの移動機構が不要となる。さらに、小型かつ低コストで、しかも一度の撮像操作で距離情報を取得することができる。そのため、カメラおよび対象物の複数の移動時間および撮像時間が不要となり、大幅な測定時間の短縮が可能となる。
【０１１０】
また、従来のプレノプティクカメラは、撮像素子を用いたカメラシステムにおいて、取得した画像データをデジタル処理により合成し、後で好きなようにピントを手前または奥に移動できる（たとえば、非特許文献１参照）。しかし、非特許文献１には、画像の対象物の距離情報を求めることは開示されていなかった。
【０１１１】
これに対し、この発明の実施の形態１，２による距離情報検出装置は、光学系の基本構成は同じであるが、撮像素子の画素単位ではなく、１つのマイクロレンズに対応する複数の画素から構成される画素単位群での輝度情報を用いる。これにより、対象物の距離情報を算出することができる。
【０１１２】
以上のように、実施の形態２によれば、図２２で説明したステップＳ１０〜Ｓ４０の距離検出アルゴリズムにより、単一の撮像画像における複数の距離情報を画像処理で平均化して対象物ＰＸの撮像素子１３からの距離を検出することができる。これにより、距離情報の検出精度を上げることができる。
【０１１３】
実施の形態１，２による距離情報検出装置は、撮像素子のごく近傍にマイクロレンズアレイを組込む構成であり、光学系は従来の画像センサカメラとほぼ同サイズである。そのため、広くＦＡ用途としてロボットなどの視覚センサに用いられている２次元画像センサとほぼ同じ外径サイズに光学系が収まる。したがって、実施の形態１，２による距離情報検出装置は、光学系において従来のカメラとの互換性が高い。
【０１１４】
今回開示された実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施の形態の説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【０１１５】
【図１】この発明の実施の形態１による距離情報検出装置２０Ａの概略的な構成を示したブロック図である。
【図２】図１の距離情報検出装置２０Ａにおける画像センサカメラ１の光学系の構成を示した図である。
【図３】点像の対象物ＰＸが合焦点位置Ａ１から近点位置Ｂ１または遠点位置Ｃ１に移動した場合のメインレンズ１１の集光位置を示した図である。
【図４】点像の対象物ＰＸの位置に応じたマイクロレンズアレイ１２上の入射光ＰＬの形状を示した図である。
【図５】点像の対象物ＰＸの位置に応じた撮像素子１３上の入射光ＰＬの形状を示した図である。
【図６】対象物ＰＸが近点位置Ｂ３にある場合のマイクロレンズアレイ１２および撮像素子１３上の入射光ＰＬの形状を示す。
【図７】対象物ＰＸが近点位置Ｂ２にある場合のマイクロレンズアレイ１２および撮像素子１３上の入射光ＰＬの形状を示す。
【図８】対象物ＰＸが近点位置Ｂ１にある場合のマイクロレンズアレイ１２および撮像素子１３上の入射光ＰＬの形状を示す。
【図９】対象物ＰＸが合焦点位置Ａ１にある場合のマイクロレンズアレイ１２および撮像素子１３上の入射光ＰＬの形状を示す。
【図１０】対象物ＰＸが遠点位置Ｃ１にある場合のマイクロレンズアレイ１２および撮像素子１３上の入射光ＰＬの形状を示す。
【図１１】対象物ＰＸが遠点位置Ｃ２にある場合のマイクロレンズアレイ１２および撮像素子１３上の入射光ＰＬの形状を示す。
【図１２】対象物ＰＸが遠点位置Ｃ３にある場合のマイクロレンズアレイ１２および撮像素子１３上の入射光ＰＬの形状を示す。
【図１３】矢印形状の対象物ＰＸが近点位置Ｂ１にある場合のメインレンズ１１の集光位置を示した図である。
【図１４】矢印形状の対象物ＰＸが近点位置Ｂ１にある場合の撮像素子１３での取得画像を示した図である。
【図１５】矢印形状の対象物ＰＸが近点位置Ｂ１にある場合の撮像素子１３での取得画像を画素群１３ａで拡大した図である。
【図１６】この発明の実施の形態１による距離情報検出装置２０Ａが距離情報を算出する画像処理ステップを示したフロー図である。
【図１７】矢印形状の対象物ＰＸが近点位置Ｂ１〜Ｂ３側にあった場合の撮像素子１３での取得画像を示した図である。
【図１８】矢印形状の対象物ＰＸが近点位置Ｂ１〜Ｂ３側にあった場合の撮像素子１３での取得画像を画素群１３ａで拡大した図である。
【図１９】矢印形状の対象物ＰＸが遠点位置Ｃ１〜Ｃ３側にあった場合の撮像素子１３での取得画像を示した図である。
【図２０】矢印形状の対象物ＰＸが遠点位置Ｃ１〜Ｃ３側にあった場合の撮像素子１３での取得画像を画素群１３ａで拡大した図である。
【図２１】この発明の実施の形態２による距離情報検出装置２０Ｂの概略的な構成を示したブロック図である。
【図２２】この発明の実施の形態２による距離情報検出装置２０Ｂが距離情報を算出する画像処理ステップを示したフロー図である。
【図２３】矢印形状の対象物ＰＸが近点位置Ｂ２〜Ｂ１にあった場合の撮像素子１３での取得画像を示した図である。
【図２４】矢印形状の対象物ＰＸが近点位置Ｂ２〜Ｂ１にあった場合の撮像素子１３での取得画像を画素群１３ａ，１３ｂで拡大した図である。
【図２５】共焦点顕微鏡の原理を用いた従来の高さ情報測定装置１００の概略的な構成を示した図である。
【図２６】図２５の高さ情報測定装置１００で試料１０６の高さ情報ＨＤがどのように測定されるのかを示した模式図である。
【符号の説明】
【０１１６】
１ 画像センサカメラ、２ 画像キャプチャボード、３ メモリ、４Ａ，４Ｂ 画像処理部、５ 表示モニタ、１１ 撮像レンズ、１２ マイクロレンズアレイ、１２ｍ マイクロレンズ、１３ 撮像素子、１３ａ，１３ｂ 画素群、２０Ａ，２０Ｂ 距離情報検出装置、４１Ａ，４１Ｂ エッジ検出部、４２Ａ，４２Ｂ 分布状態検出部、４３Ａ 距離検出部、１００ 高さ情報測定装置、１０１ 共焦点光学系、１０２ ２次元画像カメラ、１０３ 光源、１０４ 対物レンズ、１０５ ステージ、１０６ 試料。
【技術分野】
【０００１】
この発明は、距離情報検出装置に関し、特に、マイクロレンズを用いた距離情報検出装置に関する。
【背景技術】
【０００２】
近年、産業用ロボットや各種ＦＡ（Factory Automation）機器を用いて生産ラインを自動化するシステムおよび知能ロボットのインテリジェント化を図るために、視覚センサが重要となっている。特に、ロボットアームを用いたシステムにおいては、ワークの位置、姿勢、形状等の計測に視覚センサとして画像センサカメラが多く用いられている。
【０００３】
また、半導体デバイスや回路部品の実装基板の製造においては、製品の品質を管理するために、半田バンプや金バンプなど２次元状に配置された微小なデバイスの高さ情報を測定するというニーズが高まっている。さらに、製造ラインにおける機器部品の３次元的な位置、姿勢、形状の計測、および製品の外形形状を検査するニーズが高まっている。
【０００４】
上記のようなニーズに対応すべく、従来より、２次元画像センサカメラの画像から擬似的に高さおよび姿勢情報を検出したり、複数の画像センサカメラを用いたステレオ方式による３次元情報測定システムが用いられたりしている。しかしながら、前者の２次元画像センサカメラの場合、対象物の奥行き距離および高さ情報を直接検出できないという課題があった。また、後者の３次元情報測定システムの場合、複数のカメラや複雑な画像処理が必要になる等の課題があった。
【０００５】
図２５は、共焦点顕微鏡の原理を用いた従来の高さ情報測定装置１００の概略的な構成を示した図である。
【０００６】
図２５を参照して、従来の高さ情報測定装置１００は、共焦点光学系１０１と、２次元画像カメラ１０２と、光源１０３と、対物レンズ１０４と、ステージ１０５とを備える。共焦点光学系１０１は、フォーカス駆動信号ＦＳを受けて対物レンズ１０４を駆動する。２次元画像カメラ１０２は、測定された試料１０６の画像データＰＤを出力する。このように、高さ情報測定装置１００は、比較的小さな対象物の高さ情報を測定する方法として、共焦点顕微鏡の原理を利用している（例えば、特許文献１参照）。
【０００７】
図２６は、図２５の高さ情報測定装置１００で試料１０６の高さ情報ＨＤがどのように測定されるのかを示した模式図である。
【０００８】
図２６に示すように、高さ情報測定装置１００は、ステージ１０５上の試料１０６を高さ方向に移動させながら、複数の高さ位置ａ〜ｄで水平面の共焦点画像を撮像する。高さ情報測定装置１００は、得られた画像データＰＤの画素ごとの輝度情報を比較し、最大輝度を有する画素を含む共焦点画素データを用いて粒子解析を行なう。高さ情報測定装置１００は、粒子解析によって特定領域を抽出した後、抽出された領域における輝度および高さの代表値を算出し、試料１０６の高さ情報ＨＤを求める。
【０００９】
また、撮像素子を用いたカメラシステムにおいて、取得した画像データをデジタル処理により合成し、後で好きなようにピントを手前または奥に移動できるプレノプティックカメラが提案されている（たとえば、非特許文献１参照）。
【００１０】
プレノプティックカメラは、普通のカメラレンズを用いて通常の方法で画像を形成するが、マイクロレンズアレイを像平面に正確に配置している。さらに、マイクロレンズアレイより多くの撮像ピクセルを有するイメージセンサアレイ（撮像素子）をマイクロレンズアレイのすぐ背後に配置している。
【００１１】
プレノプティックカメラでは、マイクロレンズアレイ内のレンズの数で最終画像の画素数が決まる。プレノプティックカメラは、単一のマイクロレンズに割り当てられた多数のセンサピクセルにより、そのマイクロレンズに入射する光の方向および強度を同時に記録することができる。プレノプティックカメラは、記録された光の方向および強度のデータを用いて、所定の距離にピントを合わせた画像を再構築することができる。
【特許文献１】特開２００３−７５１１９号公報
【非特許文献１】レン・Ｎｇ（Ren Ng） 外５名、「携帯型プレノプティックカメラを備えた光電界写真技術（Light Field Photography with a Hand-held Plenoptic Camera）」、スタンフォード・テクニカルレポート（Stanford Tech Report）、ＣＴＳＲ２００５−０２
【発明の開示】
【発明が解決しようとする課題】
【００１２】
特許文献１のように、共焦点顕微鏡の原理を用いて複数の共焦点画像を取得する場合、ステージの面方向への走査に加え、高さ方向への移動という操作が必要となる。この場合、２次元画像データを高さを変えて複数回取得する度に、ステージ１０５の移動および停止、対物レンズ１０４のオートフォーカシングなどに時間が必要となる。また、オートフォーカス機構を含む移動機構系が大型化される。
【００１３】
また、非特許文献１に開示されたプレノプティックカメラでは、取得画像データに対して、たとえばオペレータがピント位置（距離）を入力する。これにより、その位置にフォーカシングされた画像を、データの並び替え（再構成）を通じて作り出している。しかし、非特許文献１には、フォーカシング画像を用いて対象物の距離情報を算出することは開示されていない。
【００１４】
それゆえに、この発明の目的は、１回の撮像で画像データ内の対象物の距離情報を算出することが可能な距離情報検出装置を提供することである。
【課題を解決するための手段】
【００１５】
この発明のある局面によれば、対象物の距離情報を検出する距離情報検出装置であって、対象物からの光を集光する撮像レンズと、撮像レンズからの光を受けるマイクロレンズアレイと、マイクロレンズアレイを介して対象物を撮像する撮像素子とを含む撮像部と、撮像素子で撮像された画像のエッジ部分を検出するエッジ検出部と、検出された画像のエッジ部分の撮像素子上の画素値の分布状態を検出する分布状態検出部と、検出された分布状態に基づいてエッジ部分の撮像素子からの距離情報を検出する距離検出部とを備える。
【００１６】
好ましくは、分布状態検出部は、マイクロレンズアレイの中の１つのマイクロレンズに対応する撮像画素群を単位として画素値の分布状態を検出する。
【００１７】
好ましくは、分布状態検出部は、マイクロレンズアレイの中の１つのマイクロレンズに対応する画素群を中心とした複数の隣接する撮像画素群を単位として画素値の分布状態を検出する。
【００１８】
好ましくは、撮像素子上の画素値の対象物の位置に応じた分布状態を予め格納したメモリをさらに備え、分布状態検出部は、メモリに格納された分布状態とのパターンマッチングにより画素値の分布状態を検出する。
【００１９】
好ましくは、エッジ部分の対象物の位置に応じた撮像素子からの距離情報を予め格納したメモリをさらに備え、距離検出部は、メモリに格納された距離情報との対応付けにより撮像素子からの距離情報を検出する。
【００２０】
好ましくは、分布状態検出部は、エッジ付近の画素群の輝度の中心位置を求めることにより、対象物が近点側にあるのか遠点側にあるのかを判別する。
【００２１】
好ましくは、距離検出部は、分布状態検出で検出される複数のエッジ部分での画素値の分布状態を平均化して、エッジ部分の撮像素子からの距離情報を検出する。
【００２２】
好ましくは、エッジ検出部は、画像データに対して画素単位で隣接画素群との輝度の差分値を計算することにより画像のエッジ部分を検出する。
【００２３】
好ましくは、エッジ検出部は、撮像素子で撮像された単一画像のエッジ部分を検出する。
【００２４】
好ましくは、エッジ検出部は、微分フィルタを含む。
【発明の効果】
【００２５】
この発明によれば、１回の撮像により、画像データ内の対象物の距離情報を算出することができる。
【発明を実施するための最良の形態】
【００２６】
以下、この発明の実施の形態について図面を参照して詳しく説明する。なお、図中同一または相当部分には同一符号を付してその説明は繰り返さない。
【００２７】
［実施の形態１］
図１は、この発明の実施の形態１による距離情報検出装置２０Ａの概略的な構成を示したブロック図である。
【００２８】
図１を参照して、実施の形態１の距離情報検出装置２０Ａは、画像センサカメラ１と、画像キャプチャボード２と、メモリ３と、画像処理部４Ａと、表示モニタ５とを備える。画像センサカメラ１は、撮像レンズ（以後、メインレンズと称す）１１と、マイクロレンズアレイ１２と、撮像素子１３とを含む。撮像素子１３は、たとえばＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）である。
【００２９】
画像キャプチャボード２は、撮像素子１３の画像を取得する。メモリ３は、当該画像データを保存する。画像処理部４Ａは、エッジ検出部４１Ａと、分布状態検出部４２Ａと、距離検出部４３Ａとを含む。エッジ検出部４１Ａは、画像キャプチャボード２により取得した対象物の単一画像から画像のエッジ部分を検出する。分布状態検出部４２Ａは、検出されたエッジ部分の撮像画素への投影分布状態を検出する。距離検出部４３Ａは、分布状態検出部４２Ａでの検出結果を距離情報に変換する。表示モニタ５は、上述した各種の検出結果などを表示する。
【００３０】
図２は、図１の距離情報検出装置２０Ａにおける画像センサカメラ１の光学系の構成を示した図である。
【００３１】
図２を参照して、画像センサカメラ１は、メインレンズ１１と、複数のマイクロレンズ１２ｍを有するマイクロレンズアレイ１２と、撮像素子１３とを含む。実施の形態１の距離情報検出装置２０Ａは、画像センサカメラ１の光学系に１つの特徴がある。
【００３２】
画像センサカメラ１では、対象物ＰＸがＡ１の位置にある場合、その像がほぼマイクロレンズ１２ｍ上に結像されるように、メインレンズ１１およびマイクロレンズアレイ１２を配置する。このときの対象物ＰＸの位置を合焦点位置Ａ１と呼び、それよりもメインレンズ１１に近い側を近点位置Ｂ１、遠い側を遠点位置Ｃ１と呼ぶ。撮像素子１３は、マイクロレンズアレイ１２のほぼ焦点位置に配置されている。マイクロレンズ１２ｍ上に集光された合焦位置にある点像の対象物ＰＸの光が、マイクロレンズ１２ｍを通って拡大され、撮像素子１３に入射する。
【００３３】
次に、図３〜１５を参照して、画像センサカメラ１を用いた撮像および距離情報検出の原理を説明する。
【００３４】
図３は、点像の対象物ＰＸが合焦点位置Ａ１から近点位置Ｂ１または遠点位置Ｃ１に移動した場合のメインレンズ１１の集光位置を示した図である。
【００３５】
図３において、対象物ＰＸが配置されている位置が合焦点位置Ａ１である。合焦点位置Ａ１から見てメインレンズ１１に近い側を、対象物ＰＸ側から順に近点位置Ｂ１，Ｂ２，Ｂ３と呼ぶ。合焦点位置Ａ１から見てメインレンズ１１から遠い側を、対象物ＰＸ側から順に遠点位置Ｃ１，Ｃ２，Ｃ３と呼ぶ。
【００３６】
点像の対象物ＰＸが合焦点位置Ａ１にある場合のメインレンズ１１の集光位置をＥ１と呼ぶ。集光位置Ｅ１は、ほぼマイクロレンズアレイ１２の位置となる。図３は、点像の対象物ＰＸが、合焦点位置Ａ１から近点位置Ｂ１，Ｂ２，Ｂ３または遠点位置Ｃ１，Ｃ２，Ｃ３に移動した場合のメインレンズ１１での集光位置（結像位置）を示している。
【００３７】
図４は、点像の対象物ＰＸの位置に応じたマイクロレンズアレイ１２上の入射光ＰＬの形状を示した図である。図４の（ａ）〜（ｃ）は、対象物ＰＸが遠点位置Ｃ１、合焦点位置Ａ１、近点位置Ｂ１にある場合のマイクロレンズアレイ１２上の入射光ＰＬの形状をそれぞれ示す。図４では、マイクロレンズアレイ１２上のマイクロレンズ１２ｍの位置をＭ（ｉ，ｊ）と表わす（ｉ，ｊ＝１，２，３）。
【００３８】
図５は、点像の対象物ＰＸの位置に応じた撮像素子１３上の入射光ＰＬの形状を示した図である。図５の（ａ）〜（ｃ）は、対象物ＰＸが遠点位置Ｃ１、合焦点位置Ａ１、近点位置Ｂ１にある場合の撮像素子１３上の入射光ＰＬの形状をそれぞれ示す。図５では、撮像素子１３上の画素群の位置をＴ（ｉ，ｊ）と表わす（ｉ，ｊ＝１，２，３）。
【００３９】
撮像素子１３上の１つの画素群は、マイクロレンズ１２ｍの１個に対応する。１つの画素群は、たとえば１２×１２個程度の画素で構成される。なお、撮像素子１３上の１つの画素群が、隣接する複数のマイクロレンズ１２ｍに対応してもよい。
【００４０】
図３〜５を参照して、合焦点位置Ａ１の対象物ＰＸからの入射光ＰＬは、図４（ｂ）に示すように、ほぼマイクロレンズＭ（２，２）上に集光される。マイクロレンズＭ（２，２）を通過した当該入射光ＰＬは、図５（ｂ）に示すように、撮像素子１３の画素群Ｔ（２，２）に対して全面に広がって入射する。
【００４１】
遠点位置Ｃ１の対象物ＰＸからの入射光ＰＬは、メインレンズ１１を通っていったん集光された後、デフォーカス状態になって広がり、図４（ａ）に示すように、マイクロレンズＭ（１，２），Ｍ（２，１），Ｍ（２，２），Ｍ（２，３），Ｍ（３，２）上に入射する。マイクロレンズＭ（１，２）等を通過した当該入射光ＰＬは、図５（ａ）に示すように、撮像素子１３の画素群Ｔ（１，２），Ｔ（２，１），Ｔ（２，２），Ｔ（２，３），Ｔ（３，２）の一部にそれぞれ入射する。
【００４２】
近点位置Ｂ１の対象物ＰＸからの入射光ＰＬは、メインレンズ１１を通って、図４（ｃ）に示すように、マイクロレンズＭ（１，２），Ｍ（２，１），Ｍ（２，２），Ｍ（２，３），Ｍ（３，２）上に入射する。マイクロレンズＭ（１，２）等を通過した当該入射光ＰＬは、図５（ｃ）に示すように、撮像素子１３の画素群Ｔ（１，２），Ｔ（２，１），Ｔ（２，２），Ｔ（２，３），Ｔ（３，２）の一部にそれぞれ入射する。
【００４３】
図４（ａ），（ｃ）に示すように、マイクロレンズアレイ１２上での入射光ＰＬの分布は、対象物ＰＸが遠点位置Ｃ１であっても近点位置Ｂ１であっても、合焦点位置Ａ１から位置が対称であれば変わらない。一方、図５（ａ），（ｃ）に示すように、撮像素子１３上での入射光ＰＬの分布は、対象物ＰＸのメインレンズ１１からの距離に応じて、マイクロレンズＭ（ｉ，ｊ）ごとの撮像素子１３の画素群Ｔ（ｉ，ｊ）を１つの単位として、特徴的な分布を示す。この特徴的な分布を以下に詳述する。
【００４４】
図６〜１２は、点像の対象物ＰＸの位置に応じたマイクロレンズアレイ１２および撮像素子１３上の入射光ＰＬの形状を示した図である。図６〜１２では、マイクロレンズアレイ１２上のマイクロレンズ１２ｍの位置をＭ（ｉ，ｊ）と表わす（ｉ，ｊ＝１〜５）。また、撮像素子１３上の画素群の位置をＴ（ｉ，ｊ）と表わす（ｉ，ｊ＝１〜５）。
【００４５】
図６は、対象物ＰＸが近点位置Ｂ３にある場合のマイクロレンズアレイ１２および撮像素子１３上の入射光ＰＬの形状を示す。
【００４６】
図３，６を参照して、近点位置Ｂ３の対象物ＰＸからの入射光ＰＬは、メインレンズ１１を通って、図６（ａ）に示すように、マイクロレンズＭ（１，２）〜Ｍ（１，４），Ｍ（２，１）〜Ｍ（４，５），Ｍ（５，２）〜Ｍ（５，４）上に入射する。マイクロレンズＭ（１，２）等を通過した当該入射光ＰＬは、図６（ｂ）に示すように、撮像素子１３の画素群Ｔ（１，２）〜Ｔ（１，４），Ｔ（２，１）〜Ｔ（４，５），Ｔ（５，２）〜Ｔ（５，４）の一部にそれぞれ入射する。
【００４７】
図７は、対象物ＰＸが近点位置Ｂ２にある場合のマイクロレンズアレイ１２および撮像素子１３上の入射光ＰＬの形状を示す。
【００４８】
図３，７を参照して、近点位置Ｂ２の対象物ＰＸからの入射光ＰＬは、メインレンズ１１を通って、図７（ａ）に示すように、マイクロレンズＭ（２，２）〜Ｍ（２，４），Ｍ（３，２）〜Ｍ（３，４），Ｍ（４，２）〜Ｍ（４，４）上に入射する。マイクロレンズＭ（２，２）等を通過した当該入射光ＰＬは、図７（ｂ）に示すように、撮像素子１３の画素群Ｔ（２，２）〜Ｔ（２，４），Ｔ（３，２）〜Ｔ（３，４），Ｔ（４，２）〜Ｔ（４，４）の一部にそれぞれ入射する。
【００４９】
図８は、対象物ＰＸが近点位置Ｂ１にある場合のマイクロレンズアレイ１２および撮像素子１３上の入射光ＰＬの形状を示す。
【００５０】
図３，８を参照して、近点位置Ｂ１の対象物ＰＸからの入射光ＰＬは、メインレンズ１１を通って、図８（ａ）に示すように、マイクロレンズＭ（２，３），Ｍ（３，２）〜Ｍ（３，４），Ｍ（４，３）上に入射する。マイクロレンズＭ（２，３）等を通過した当該入射光ＰＬは、図８（ｂ）に示すように、撮像素子１３の画素群Ｔ（２，３），Ｔ（３，２）〜Ｔ（３，４），Ｔ（４，３）の一部にそれぞれ入射する。
【００５１】
図９は、対象物ＰＸが合焦点位置Ａ１にある場合のマイクロレンズアレイ１２および撮像素子１３上の入射光ＰＬの形状を示す。
【００５２】
図３，９を参照して、合焦点位置Ａ１の対象物ＰＸからの入射光ＰＬは、メインレンズ１１を通って、図９（ａ）に示すように、ほぼマイクロレンズＭ（３，３）上に集光される。マイクロレンズＭ（３，３）を通過した当該入射光ＰＬは、図９（ｂ）に示すように、撮像素子１３の画素群Ｔ（３，３）に対して全面に広がって入射する。
【００５３】
図１０は、対象物ＰＸが遠点位置Ｃ１にある場合のマイクロレンズアレイ１２および撮像素子１３上の入射光ＰＬの形状を示す。
【００５４】
図３，１０を参照して、遠点位置Ｃ１の対象物ＰＸからの入射光ＰＬは、メインレンズ１１を通って、図１０（ａ）に示すように、マイクロレンズＭ（２，３），Ｍ（３，２）〜Ｍ（３，４），Ｍ（４，３）上に入射する。マイクロレンズＭ（２，３）等を通過した当該入射光ＰＬは、図１０（ｂ）に示すように、撮像素子１３の画素群Ｔ（２，３），Ｔ（３，２）〜Ｔ（３，４），Ｔ（４，３）の一部にそれぞれ入射する。
【００５５】
図１１は、対象物ＰＸが遠点位置Ｃ２にある場合のマイクロレンズアレイ１２および撮像素子１３上の入射光ＰＬの形状を示す。
【００５６】
図３，１１を参照して、遠点位置Ｃ２の対象物ＰＸからの入射光ＰＬは、メインレンズ１１を通って、図１１（ａ）に示すように、マイクロレンズＭ（２，２）〜Ｍ（２，４），Ｍ（３，２）〜Ｍ（３，４），Ｍ（４，２）〜Ｍ（４，４）上に入射する。マイクロレンズＭ（２，２）等を通過した当該入射光ＰＬは、図１１（ｂ）に示すように、撮像素子１３の画素群Ｔ（２，２）〜Ｔ（２，４），Ｔ（３，２）〜Ｔ（３，４），Ｔ（４，２）〜Ｔ（４，４）の一部にそれぞれ入射する。
【００５７】
図１２は、対象物ＰＸが遠点位置Ｃ３にある場合のマイクロレンズアレイ１２および撮像素子１３上の入射光ＰＬの形状を示す。
【００５８】
図３，１２を参照して、遠点位置Ｃ３の対象物ＰＸからの入射光ＰＬは、メインレンズ１１を通って、図１２（ａ）に示すように、マイクロレンズＭ（１，２）〜Ｍ（１，４），Ｍ（２，１）〜Ｍ（４，５），Ｍ（５，２）〜Ｍ（５，４）上に入射する。マイクロレンズＭ（１，２）等を通過した当該入射光ＰＬは、図１２（ｂ）に示すように、撮像素子１３の画素群Ｔ（１，２）〜Ｔ（１，４），Ｔ（２，１）〜Ｔ（４，５），Ｔ（５，２）〜Ｔ（５，４）の一部にそれぞれ入射する。
【００５９】
図６〜１２に示すように、点像の対象物ＰＸからの入射光ＰＬは、合焦点位置Ａ１ではマイクロレンズアレイ１２上で集光する。これに対し、近点位置Ｂ１〜Ｂ３および遠点位置Ｃ１〜Ｃ３では、点像の対象物ＰＸからの入射光ＰＬは像が拡大し、中央部だけでなく周囲のマイクロレンズ１２ｍにも光が入射する。図６（ａ）〜図１２（ａ）に示すように、近点位置Ｂ１〜Ｂ３と遠点位置Ｃ１〜Ｃ３とでは、マイクロレンズアレイ１２上において同じように像が拡大する。
【００６０】
上記に対し、撮像素子１３上では、図６（ｂ）〜図１２（ｂ）に示すように、中央の画素群を中心に、対象物ＰＸが合焦点位置Ａ１から距離的に離れるほど、周囲の画素群に入射光ＰＬの分布が広がっていく。さらに、近点位置Ｂ１〜Ｂ３と遠点位置Ｃ１〜Ｃ３とで、画素群上での入射光ＰＬの像の形状が異なる。近点位置Ｂ１〜Ｂ３では、中央の画素群を中心に周囲の画素群では画素群領域の内側に分割された光が入射する。これに対し、遠点位置Ｃ１〜Ｃ３では、中央の画素群を中心に周囲の画素群では画素群領域の外側に分割された光が入射する。
【００６１】
上記のように、撮像素子１３の画素群における入射光ＰＬの分布は、対象物ＰＸの合焦点位置Ａ１からの距離に応じた特徴的なものとなる。したがって、撮像素子１３において、中央の画素群を中心にどのように入射光ＰＬが拡散して分布しているかを知ることで、対象物ＰＸまでの距離を知ることができる。
【００６２】
以上の画像センサカメラ１を用いた撮像および距離情報検出の原理では、対象物ＰＸが点像である場合について説明した。次に、対象物ＰＸが有限の大きさを持つ矢印形状である場合について、図１３〜１５を用いて説明する。
【００６３】
図１３は、矢印形状の対象物ＰＸが近点位置Ｂ１にある場合のメインレンズ１１の集光位置を示した図である。図１３に示すように、近点位置Ｂ１における矢印形状の対象物ＰＸからの入射光ＰＬは、メインレンズ１１を通って、マイクロレンズアレイ１２上および撮像素子１３上に広がって入射する。
【００６４】
図１４は、矢印形状の対象物ＰＸが近点位置Ｂ１にある場合の撮像素子１３での取得画像を示した図である。撮像素子１３は、画素群１３ａを含む。図１４に示すように、撮像素子１３上において、矢印形状の対象物ＰＸはボケた画像となる。当該取得画像は、マイクロレンズアレイ１２を通して取得した画像に相当する。
【００６５】
図１５は、矢印形状の対象物ＰＸが近点位置Ｂ１にある場合の撮像素子１３での取得画像を画素群１３ａで拡大した図である。図１５に示すように、矢印形状の対象物ＰＸからの入射光ＰＬは、撮像素子１３の画素群１３ａにおいて、画素群Ｔ（１，１）〜Ｔ（４，５）の一部にそれぞれ入射する。
【００６６】
図１５に示す取得画像は、図６〜１２に示した点像での現象が矢印形状の対象物ＰＸのエッジ部分で起こっている画像と考えることができる。言い換えると、図１５に示す矢印形状の対象物ＰＸの取得画像は、図６〜１２で説明した点像の対象物ＰＸでの取得画像の重ね合わせであると考えられる。
【００６７】
上記のことは、対象物ＰＸが近点位置Ｂ２〜Ｂ３および遠点位置Ｃ１〜Ｃ３にある場合にも当てはまる。すなわち、画像センサカメラ１において、撮像画像に対してエッジ部分の検出を行ない、エッジ部分の撮像画像に対する点像の分布状態を検出することにより、対象物ＰＸまでの距離を計測することができる。
【００６８】
次に、この発明の特徴である、単一の取得画像から画像の中の対象物の距離情報（３次元情報）を取得する方法について詳しく説明する。
【００６９】
図１６は、この発明の実施の形態１による距離情報検出装置２０Ａが距離情報を算出する画像処理ステップを示したフロー図である。
【００７０】
図１，１６を参照して、実施の形態１の距離情報検出装置２０Ａは、まず、画像キャプチャボード２を介して、撮像素子１３からの対象物ＰＸの画像データを取得する（ステップＳ１０）。当該画像データは、画像処理部４Ａに送られる。画像処理部４Ａは、エッジ検出部４１Ａと、分布状態検出部４２Ａと、距離検出部４３Ａとを含む。
【００７１】
（１） エッジ検出処理（ステップＳ２０）
エッジ検出部４１Ａは、画像キャプチャボード２から送られてきた画像データに対して、エッジ強調処理を行ない（ステップＳ２１）、画像のエッジ部分を抽出する（ステップＳ２２）。エッジ強調処理の一例として、空間フィルタに微分フィルタを適用すれば、画像のエッジ部分が強調された画像が得られる。微分フィルタの適用において、たとえば、画像データに対して画素単位で隣接画素群との輝度の差分値を計算することにより、エッジ部分が強調された輝度分布が算出される。
【００７２】
エッジ検出法としては、よく知られたロバート（Roberts)法のほか、単純な微分法、そーベル（Sobel）法、２次微分を用いるラプラシアン法など様々な方法がある。各方法に応じて、様々なフィルタが用いられる。
【００７３】
エッジが強調された画像は、一般に、元画像のエッジが強い部分について大きな画素値を示すが、エッジではない部分についてもノイズ成分等で小さな画素値が認められる。このような画素値が大小入り混じった画像に対しては、フィルタにしきい値を適宜設定することでノイズ成分の除去が可能になる。このようにして、撮像画像のエッジ部分を検出することが可能となる。
【００７４】
（２） 分布検出処理（ステップＳ３０）
分布状態検出部４２Ａは、エッジ検出部４１Ａからのエッジ強調データに対して、分布パターンマッチング（ステップＳ３１）および分布検出（ステップＳ３２）を行なう。
【００７５】
図１７は、矢印形状の対象物ＰＸが近点位置Ｂ１〜Ｂ３側にあった場合の撮像素子１３での取得画像を示した図である。図１７の（ａ）〜（ｄ）は、対象物ＰＸが近点位置Ｂ３〜Ｂ１および合焦点位置Ａ１にある場合の撮像素子１３上の入射光ＰＬの形状をそれぞれ示す。撮像素子１３は、画素群１３ａを含む。
【００７６】
図１８は、矢印形状の対象物ＰＸが近点位置Ｂ１〜Ｂ３側にあった場合の撮像素子１３での取得画像を画素群１３ａで拡大した図である。図１８の（ａ）〜（ｄ）は、対象物ＰＸが近点位置Ｂ３〜Ｂ１および合焦点位置Ａ１にある場合の撮像素子１３の画素群１３ａ上の入射光ＰＬの形状をそれぞれ示す。図１８では、画素群１３ａ上の画素群の位置をＴ（ｉ，ｊ）と表わす（ｉ，ｊ＝１〜５）。
【００７７】
図１８（ａ）〜（ｄ）に示すように、近点位置Ｂ３において画素群Ｔ（１，１）〜Ｔ（５，５）の一部にそれぞれ入射する矢印形状の対象物ＰＸからの入射光ＰＬは、合焦点位置Ａ１では画素群Ｔ（１，１）〜Ｔ（３，５）の全面に広がって入射する。
【００７８】
図１９は、矢印形状の対象物ＰＸが遠点位置Ｃ１〜Ｃ３側にあった場合の撮像素子１３での取得画像を示した図である。図１９の（ａ）〜（ｄ）は、対象物ＰＸが遠点位置Ｃ３〜Ｃ１および合焦点位置Ａ１にある場合の撮像素子１３上の入射光ＰＬの形状をそれぞれ示す。撮像素子１３は、画素群１３ａを含む。
【００７９】
図２０は、矢印形状の対象物ＰＸが遠点位置Ｃ１〜Ｃ３側にあった場合の撮像素子１３での取得画像を画素群１３ａで拡大した図である。図２０の（ａ）〜（ｄ）は、対象物ＰＸが遠点位置Ｃ３〜Ｃ１および合焦点位置Ａ１にある場合の撮像素子１３の画素群１３ａ上の入射光ＰＬの形状をそれぞれ示す。図２０では、画素群１３ａ上の画素群の位置をＴ（ｉ，ｊ）と表わす（ｉ，ｊ＝１〜５）。
【００８０】
図２０（ａ）〜（ｄ）に示すように、遠点位置Ｃ３において画素群Ｔ（１，１）〜Ｔ（５，５）の一部に近点位置Ｂ３とは異なる形状でそれぞれ入射する矢印形状の対象物ＰＸからの入射光ＰＬは、合焦点位置Ａ１では画素群Ｔ（１，１）〜Ｔ（３，５）の全面に広がって入射する。
【００８１】
仮に、対象物ＰＸの被写体が近点位置Ｂ１にあったとする。分布状態検出方法の例として、図１のメモリ３は、図１８，２０の入射光ＰＬの分布パターンを、近点位置Ｂ３〜遠点位置Ｃ３という距離情報とともに格納しておく。図１の分布状態検出部４２Ａは、エッジ検出部４１Ａで検出された対象物ＰＸのエッジ部分について、図１８，２０の入射光ＰＬの各分布パターンとパターンマッチングを行なう。
【００８２】
マッチングの評価結果として、最も近似性の強いパターンを検出することで、対象物ＰＸのエッジ部分の入射光ＰＬの分布状態を検出することができる。今回の例では、図１８（ｃ）の分布パターンが検出される。
【００８３】
（３） 距離検出処理（ステップＳ４０）
距離検出部４３Ａは、分布状態検出部４２Ａからの分布データに対して、検出分布の距離換算（ステップＳ４１）および距離検出（ステップＳ４２）を行なう。具体的には、マッチングの評価結果として最も近似性の強いパターンの距離情報を、そのエッジ部分の撮像素子１３からの距離として検出する。今回の例では、撮像素子１３から近点位置Ｂ１までの距離が検出される。分布パターンと距離情報との対応付けについては、たとえば図１のメモリ３内にルックアップテーブルを設けることで簡便に実現できる。
【００８４】
［実施の形態１の変形例］
次に、実施の形態１の距離情報検出装置２０Ａにおいて、距離検出を高速化する方法について説明する。
【００８５】
図１８，２０では、矢印形状の対象物ＰＸの位置に応じた撮像素子１３での取得画像の画素群１３ａでの拡大図を示した。図１８（ｄ）および図２０（ｄ）に示すように、対象物ＰＸが合焦点位置Ａ１にある場合、撮像素子１３の画素群Ｔ（３，ｊ）（ｊ＝１〜５）と画素群Ｔ（５，ｊ）（ｊ＝１〜５）との輝度差は大きくなる。
【００８６】
しかしながら、対象物ＰＸの位置が近点側または遠点側にずれていくにしたがって、図１８（ａ）〜（ｃ）および図２０（ａ）〜（ｃ）に示すように、光の一部が隣接する画素列群に分割移動していく。そのため、撮像素子１３の画素群Ｔ（３，ｊ）（ｊ＝１〜５）と画素群Ｔ（５，ｊ）（ｊ＝１〜５）との輝度差は小さくなる。
【００８７】
図１８（ａ）〜（ｃ）に示すように、対象物ＰＸが近点位置Ｂ１〜Ｂ３側にあった場合、分割されて入射する光は、画素群の中でエッジに近い側（画素群Ｔ（１，ｊ）（ｊ＝１〜５）側）に落射する。一方、図２０（ａ）〜（ｃ）に示すように、対象物ＰＸが遠点位置Ｃ１〜Ｃ３側にあった場合、分割されて入射する光は、画素群の中でエッジに遠い側（画素群Ｔ（５，ｊ）（ｊ＝１〜５）側）に落射する。
【００８８】
したがって、エッジ付近の画素群の輝度の中心位置を求めることで、対象物ＰＸが近点側にあるのか遠点側にあるのかを判別することができる。よって、距離情報検出装置２０Ａは、分布状態検出部４２Ａにおいて上記の判別を行なうことにより、パターンマッチングに用いるパターン数が半減する。その結果、処理時間を短縮することができる。
【００８９】
以上のように、実施の形態１によれば、図１６で説明したステップＳ１０〜Ｓ４０の距離検出アルゴリズムにより、単一の撮像画像からの画像処理で対象物ＰＸの撮像素子１３からの距離を検出することができる。
【００９０】
上記のように一度の撮像データから画像処理により距離情報を得ることで、カメラレンズのフォーカシング機構およびステージなどの移動機構が不要となる。そのため、小型かつ低コストな距離情報検出装置を実現できる。
【００９１】
また、一度の撮像操作で距離情報を取得できるため、カメラや対象物の複数回の移動時間および撮影時間が短縮される。さらに、上記移動にともなう各画像のマッチング操作などの時間も不要となる。よって、対象物ＰＸの測定時間を大幅に短縮できる。
【００９２】
また、実施の形態１の距離情報検出装置における光学系は、撮像素子のごく近傍にマイクロレンズアレイを組込む構成なので、従来の画像センサカメラとほぼ同サイズとなる。そのため、装置を小型化することができ、従来装置との互換性の点でも有利となる。
【００９３】
［実施の形態２］
図２１は、この発明の実施の形態２による距離情報検出装置２０Ｂの概略的な構成を示したブロック図である。
【００９４】
図２１を参照して、実施の形態２の距離情報検出装置２０Ｂは、画像処理部４Ａが画像処理部４Ｂに置き換えられた点において、実施の形態１の距離情報検出装置２０Ａと異なる。よって、実施の形態１と重複する部分の説明は、ここでは繰り返さない。画像処理部４Ｂは、エッジ検出部４１Ｂと、分布状態検出部４２Ｂと、距離検出部４３Ｂとを含む。エッジ検出部４１Ｂは、画像キャプチャボード２により取得した対象物ＰＸの単一画像から画像の複数のエッジ部分を検出する。分布状態検出部４２Ｂは、検出された複数のエッジ部分の撮像画素への投影分布状態をそれぞれ検出する。距離検出部４３Ｂは、分布状態検出部４２Ｂでの複数の検出結果をを平均化して距離情報に変換する。
【００９５】
実施の形態１の距離情報検出装置２０Ａでは、画像処理部４Ａにおいて、１つの直線状のエッジについて１回の距離検出を行なっていた。しかし、距離情報の検出精度を上げるためには、別の場所でも検出を実行して平均化した上で距離検出することが望ましい。
【００９６】
そこで、実施の形態２の距離情報検出装置２０Ｂは、１つのエッジに対して複数の箇所で距離検出を行なう距離検出部４３Ｂを備えている。以下では、１つのエッジに対して２箇所で距離検出を行なう場合を例に説明する。検出箇所は適宜決定すればよいが、平均化があるため、近接する箇所から検出するのが望ましい。
【００９７】
図２２は、この発明の実施の形態２による距離情報検出装置２０Ｂが距離情報を算出する画像処理ステップを示したフロー図である。
【００９８】
図２１，２２を参照して、実施の形態２の距離情報検出装置２０Ｂは、まず、画像キャプチャボード２を介して、撮像素子１３からの対象物ＰＸの画像データを取得する（ステップＳ１０）。当該画像データは、画像処理部４Ｂに送られる。画像処理部４Ｂは、エッジ検出部４１Ｂと、分布状態検出部４２Ｂと、距離検出部４３Ｂとを含む。
【００９９】
（１） エッジ検出処理（ステップＳ２０）
エッジ検出部４１Ｂは、画像キャプチャボード２から送られてきた画像データに対して、エッジ強調処理を行ない（ステップＳ２１）、画像のエッジ部分を抽出する（ステップＳ２２）。さらに、対象物ＰＸの第１の画像領域においてエッジを検出する（ステップＳ２３）。その後、分布状態検出部４２Ｂおよび距離検出部４３Ｂを経て１回目の距離情報が検出されると、エッジ検出部４１Ｂに戻って対象物ＰＸの第２の画像領域において再びエッジを検出する（ステップＳ２４）。
【０１００】
エッジが強調された画像は、一般に、元画像のエッジが強い部分について大きな画素値を示すが、エッジではない部分についてもノイズ成分等で小さな画素値が認められる。このような画素値が大小入り混じった画像に対しては、フィルタにしきい値を適宜設定することでノイズ成分の除去が可能になる。このようにして、撮像画像のエッジ部分を検出することが可能となる。
【０１０１】
（２） 分布検出処理（ステップＳ３０）
分布状態検出部４２Ｂは、エッジ検出部４１Ｂからの第１のエッジ強調データに対して、分布パターンマッチング（ステップＳ３１）および分布検出（ステップＳ３２）を行なう。その後、エッジ検出部４１Ｂからの第２のエッジ強調データに対しても、分布パターンマッチング（ステップＳ３３）および分布検出（ステップＳ３４）を行なう。
【０１０２】
分布状態検出部４２Ｂは、エッジ検出部４１Ｂで検出された対象物ＰＸのエッジ部分について、メモリ３に格納された入射光ＰＬの距離情報ごとの分布パターンとパターンマッチングを行なう。マッチングの評価結果として、最も近似性の強いパターンを検出することで、対象物ＰＸのエッジ部分の入射光ＰＬの分布状態を検出することができる。
【０１０３】
（３） 距離検出処理（ステップＳ４０）
距離検出部４３Ｂは、分布状態検出部４２Ｂからの第１の分布データに対して、検出分布の距離換算（ステップＳ４１）および距離検出（ステップＳ４２）を行なう。その後、分布状態検出部４２Ｂからの第２の分布データに対しても、検出分布の距離換算（ステップＳ４３）および距離検出（ステップＳ４４）を行なう。
【０１０４】
距離情報の検出は、具体的には、マッチングの評価結果として最も近似性の強いパターンの距離情報を、そのエッジ部分の撮像素子１３からの距離として検出する。さらに、距離検出部４３Ｂは、検出された第１および第２の距離検出値を平均する（ステップＳ４５）。これにより、対象物ＰＸの距離検出値が確定する（ステップＳ４６）。分布パターンと距離情報との対応付けについては、たとえば図２１のメモリ３内にルックアップテーブルを設けることで簡便に実現できる。
【０１０５】
図２３は、矢印形状の対象物ＰＸが近点位置Ｂ２〜Ｂ１にあった場合の撮像素子１３での取得画像を示した図である。図２３は、対象物ＰＸが近点位置Ｂ２〜Ｂ１にある場合の撮像素子１３上の入射光ＰＬの形状を示している。撮像素子１３は、画素群１３ａ，１３ｂを含む。
【０１０６】
図２４は、矢印形状の対象物ＰＸが近点位置Ｂ２〜Ｂ１にあった場合の撮像素子１３での取得画像を画素群１３ａ，１３ｂで拡大した図である。図２４の（ａ），（ｂ）は、対象物ＰＸが近点位置Ｂ２〜Ｂ１にある場合の撮像素子１３の画素群１３ａ，１３ｂ上の入射光ＰＬの形状をそれぞれ示す。図２４では、画素群１３ａ，１３ｂ上の画素群の位置をＴ（ｉ，ｊ）と表わす（ｉ，ｊ＝１〜５）。
【０１０７】
図２２で説明したように、距離検出部４３Ｂは、ステップＳ４５において、画素群１３ａ，１３ｂ上でそれぞれ検出された第１および第２の距離検出値を平均する。これにより、ステップＳ４６において、距離検出値が確定する。
【０１０８】
従来の高さ情報測定装置は、ステージで対象物の高さを変化させてオートフォーカシングを行なった後、複数枚の画像を取得し、それらの画像の輝度情報に基づいて高さ情報を求める（例えば、特許文献１参照）。
【０１０９】
これに対し、この発明の実施の形態１，２による距離情報検出装置では、カメラレンズのフォーカシング機構およびステージなどの移動機構が不要となる。さらに、小型かつ低コストで、しかも一度の撮像操作で距離情報を取得することができる。そのため、カメラおよび対象物の複数の移動時間および撮像時間が不要となり、大幅な測定時間の短縮が可能となる。
【０１１０】
また、従来のプレノプティクカメラは、撮像素子を用いたカメラシステムにおいて、取得した画像データをデジタル処理により合成し、後で好きなようにピントを手前または奥に移動できる（たとえば、非特許文献１参照）。しかし、非特許文献１には、画像の対象物の距離情報を求めることは開示されていなかった。
【０１１１】
これに対し、この発明の実施の形態１，２による距離情報検出装置は、光学系の基本構成は同じであるが、撮像素子の画素単位ではなく、１つのマイクロレンズに対応する複数の画素から構成される画素単位群での輝度情報を用いる。これにより、対象物の距離情報を算出することができる。
【０１１２】
以上のように、実施の形態２によれば、図２２で説明したステップＳ１０〜Ｓ４０の距離検出アルゴリズムにより、単一の撮像画像における複数の距離情報を画像処理で平均化して対象物ＰＸの撮像素子１３からの距離を検出することができる。これにより、距離情報の検出精度を上げることができる。
【０１１３】
実施の形態１，２による距離情報検出装置は、撮像素子のごく近傍にマイクロレンズアレイを組込む構成であり、光学系は従来の画像センサカメラとほぼ同サイズである。そのため、広くＦＡ用途としてロボットなどの視覚センサに用いられている２次元画像センサとほぼ同じ外径サイズに光学系が収まる。したがって、実施の形態１，２による距離情報検出装置は、光学系において従来のカメラとの互換性が高い。
【０１１４】
今回開示された実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施の形態の説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【０１１５】
【図１】この発明の実施の形態１による距離情報検出装置２０Ａの概略的な構成を示したブロック図である。
【図２】図１の距離情報検出装置２０Ａにおける画像センサカメラ１の光学系の構成を示した図である。
【図３】点像の対象物ＰＸが合焦点位置Ａ１から近点位置Ｂ１または遠点位置Ｃ１に移動した場合のメインレンズ１１の集光位置を示した図である。
【図４】点像の対象物ＰＸの位置に応じたマイクロレンズアレイ１２上の入射光ＰＬの形状を示した図である。
【図５】点像の対象物ＰＸの位置に応じた撮像素子１３上の入射光ＰＬの形状を示した図である。
【図６】対象物ＰＸが近点位置Ｂ３にある場合のマイクロレンズアレイ１２および撮像素子１３上の入射光ＰＬの形状を示す。
【図７】対象物ＰＸが近点位置Ｂ２にある場合のマイクロレンズアレイ１２および撮像素子１３上の入射光ＰＬの形状を示す。
【図８】対象物ＰＸが近点位置Ｂ１にある場合のマイクロレンズアレイ１２および撮像素子１３上の入射光ＰＬの形状を示す。
【図９】対象物ＰＸが合焦点位置Ａ１にある場合のマイクロレンズアレイ１２および撮像素子１３上の入射光ＰＬの形状を示す。
【図１０】対象物ＰＸが遠点位置Ｃ１にある場合のマイクロレンズアレイ１２および撮像素子１３上の入射光ＰＬの形状を示す。
【図１１】対象物ＰＸが遠点位置Ｃ２にある場合のマイクロレンズアレイ１２および撮像素子１３上の入射光ＰＬの形状を示す。
【図１２】対象物ＰＸが遠点位置Ｃ３にある場合のマイクロレンズアレイ１２および撮像素子１３上の入射光ＰＬの形状を示す。
【図１３】矢印形状の対象物ＰＸが近点位置Ｂ１にある場合のメインレンズ１１の集光位置を示した図である。
【図１４】矢印形状の対象物ＰＸが近点位置Ｂ１にある場合の撮像素子１３での取得画像を示した図である。
【図１５】矢印形状の対象物ＰＸが近点位置Ｂ１にある場合の撮像素子１３での取得画像を画素群１３ａで拡大した図である。
【図１６】この発明の実施の形態１による距離情報検出装置２０Ａが距離情報を算出する画像処理ステップを示したフロー図である。
【図１７】矢印形状の対象物ＰＸが近点位置Ｂ１〜Ｂ３側にあった場合の撮像素子１３での取得画像を示した図である。
【図１８】矢印形状の対象物ＰＸが近点位置Ｂ１〜Ｂ３側にあった場合の撮像素子１３での取得画像を画素群１３ａで拡大した図である。
【図１９】矢印形状の対象物ＰＸが遠点位置Ｃ１〜Ｃ３側にあった場合の撮像素子１３での取得画像を示した図である。
【図２０】矢印形状の対象物ＰＸが遠点位置Ｃ１〜Ｃ３側にあった場合の撮像素子１３での取得画像を画素群１３ａで拡大した図である。
【図２１】この発明の実施の形態２による距離情報検出装置２０Ｂの概略的な構成を示したブロック図である。
【図２２】この発明の実施の形態２による距離情報検出装置２０Ｂが距離情報を算出する画像処理ステップを示したフロー図である。
【図２３】矢印形状の対象物ＰＸが近点位置Ｂ２〜Ｂ１にあった場合の撮像素子１３での取得画像を示した図である。
【図２４】矢印形状の対象物ＰＸが近点位置Ｂ２〜Ｂ１にあった場合の撮像素子１３での取得画像を画素群１３ａ，１３ｂで拡大した図である。
【図２５】共焦点顕微鏡の原理を用いた従来の高さ情報測定装置１００の概略的な構成を示した図である。
【図２６】図２５の高さ情報測定装置１００で試料１０６の高さ情報ＨＤがどのように測定されるのかを示した模式図である。
【符号の説明】
【０１１６】
１ 画像センサカメラ、２ 画像キャプチャボード、３ メモリ、４Ａ，４Ｂ 画像処理部、５ 表示モニタ、１１ 撮像レンズ、１２ マイクロレンズアレイ、１２ｍ マイクロレンズ、１３ 撮像素子、１３ａ，１３ｂ 画素群、２０Ａ，２０Ｂ 距離情報検出装置、４１Ａ，４１Ｂ エッジ検出部、４２Ａ，４２Ｂ 分布状態検出部、４３Ａ 距離検出部、１００ 高さ情報測定装置、１０１ 共焦点光学系、１０２ ２次元画像カメラ、１０３ 光源、１０４ 対物レンズ、１０５ ステージ、１０６ 試料。
【特許請求の範囲】
【請求項１】
対象物の距離情報を検出する距離情報検出装置であって、
前記対象物からの光を集光する撮像レンズと、前記撮像レンズからの光を受けるマイクロレンズアレイと、前記マイクロレンズアレイを介して前記対象物を撮像する撮像素子とを含む撮像部と、
前記撮像素子で撮像された画像のエッジ部分を検出するエッジ検出部と、
前記検出された画像のエッジ部分の前記撮像素子上の画素値の分布状態を検出する分布状態検出部と、
前記検出された分布状態に基づいて前記エッジ部分の前記撮像素子からの距離情報を検出する距離検出部とを備える、距離情報検出装置。
【請求項２】
前記分布状態検出部は、前記マイクロレンズアレイの中の１つのマイクロレンズに対応する撮像画素群を単位として画素値の分布状態を検出する、請求項１に記載の距離情報検出装置。
【請求項３】
前記分布状態検出部は、前記マイクロレンズアレイの中の１つのマイクロレンズに対応する画素群を中心とした複数の隣接する撮像画素群を単位として画素値の分布状態を検出する、請求項１に記載の距離情報検出装置。
【請求項４】
前記撮像素子上の画素値の前記対象物の位置に応じた分布状態を予め格納したメモリをさらに備え、前記分布状態検出部は、前記メモリに格納された分布状態とのパターンマッチングにより画素値の分布状態を検出する、請求項１に記載の距離情報検出装置。
【請求項５】
前記エッジ部分の前記対象物の位置に応じた前記撮像素子からの距離情報を予め格納したメモリをさらに備え、前記距離検出部は、前記メモリに格納された距離情報との対応付けにより前記撮像素子からの距離情報を検出する、請求項１に記載の距離情報検出装置。
【請求項６】
前記分布状態検出部は、エッジ付近の画素群の輝度の中心位置を求めることにより、前記対象物が近点側にあるのか遠点側にあるのかを判別する、請求項１に記載の距離情報検出装置。
【請求項７】
前記距離検出部は、前記分布状態検出で検出される複数のエッジ部分での画素値の分布状態を平均化して、前記エッジ部分の前記撮像素子からの距離情報を検出する、請求項１に記載の距離情報検出装置。
【請求項８】
前記エッジ検出部は、画像データに対して画素単位で隣接画素群との輝度の差分値を計算することにより画像のエッジ部分を検出する、請求項１に記載の距離情報検出装置。
【請求項９】
前記エッジ検出部は、前記撮像素子で撮像された単一画像のエッジ部分を検出する、請求項１に記載の距離情報検出装置。
【請求項１０】
前記エッジ検出部は、微分フィルタを含む、請求項１に記載の距離情報検出装置。
【請求項１】
対象物の距離情報を検出する距離情報検出装置であって、
前記対象物からの光を集光する撮像レンズと、前記撮像レンズからの光を受けるマイクロレンズアレイと、前記マイクロレンズアレイを介して前記対象物を撮像する撮像素子とを含む撮像部と、
前記撮像素子で撮像された画像のエッジ部分を検出するエッジ検出部と、
前記検出された画像のエッジ部分の前記撮像素子上の画素値の分布状態を検出する分布状態検出部と、
前記検出された分布状態に基づいて前記エッジ部分の前記撮像素子からの距離情報を検出する距離検出部とを備える、距離情報検出装置。
【請求項２】
前記分布状態検出部は、前記マイクロレンズアレイの中の１つのマイクロレンズに対応する撮像画素群を単位として画素値の分布状態を検出する、請求項１に記載の距離情報検出装置。
【請求項３】
前記分布状態検出部は、前記マイクロレンズアレイの中の１つのマイクロレンズに対応する画素群を中心とした複数の隣接する撮像画素群を単位として画素値の分布状態を検出する、請求項１に記載の距離情報検出装置。
【請求項４】
前記撮像素子上の画素値の前記対象物の位置に応じた分布状態を予め格納したメモリをさらに備え、前記分布状態検出部は、前記メモリに格納された分布状態とのパターンマッチングにより画素値の分布状態を検出する、請求項１に記載の距離情報検出装置。
【請求項５】
前記エッジ部分の前記対象物の位置に応じた前記撮像素子からの距離情報を予め格納したメモリをさらに備え、前記距離検出部は、前記メモリに格納された距離情報との対応付けにより前記撮像素子からの距離情報を検出する、請求項１に記載の距離情報検出装置。
【請求項６】
前記分布状態検出部は、エッジ付近の画素群の輝度の中心位置を求めることにより、前記対象物が近点側にあるのか遠点側にあるのかを判別する、請求項１に記載の距離情報検出装置。
【請求項７】
前記距離検出部は、前記分布状態検出で検出される複数のエッジ部分での画素値の分布状態を平均化して、前記エッジ部分の前記撮像素子からの距離情報を検出する、請求項１に記載の距離情報検出装置。
【請求項８】
前記エッジ検出部は、画像データに対して画素単位で隣接画素群との輝度の差分値を計算することにより画像のエッジ部分を検出する、請求項１に記載の距離情報検出装置。
【請求項９】
前記エッジ検出部は、前記撮像素子で撮像された単一画像のエッジ部分を検出する、請求項１に記載の距離情報検出装置。
【請求項１０】
前記エッジ検出部は、微分フィルタを含む、請求項１に記載の距離情報検出装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１５】
【図１６】
【図１８】
【図２０】
【図２１】
【図２２】
【図２４】
【図２５】
【図２６】
【図１４】
【図１７】
【図１９】
【図２３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１５】
【図１６】
【図１８】
【図２０】
【図２１】
【図２２】
【図２４】
【図２５】
【図２６】
【図１４】
【図１７】
【図１９】
【図２３】
【公開番号】特開２００９−９２５８４（Ｐ２００９−９２５８４Ａ）
【公開日】平成２１年４月３０日（２００９．４．３０）
【国際特許分類】
【出願番号】特願２００７−２６５３４７（Ｐ２００７−２６５３４７）
【出願日】平成１９年１０月１１日（２００７．１０．１１）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２１年４月３０日（２００９．４．３０）
【国際特許分類】
【出願日】平成１９年１０月１１日（２００７．１０．１１）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]