距離測定装置および距離測定方法
【課題】対象物の距離情報を短時間で測定できる、小型の情報測定装置を提供する。
【解決手段】本願発明に係る距離測定装置は、画像センサカメラ1と、画像キャプチャボード2と、画像データを保存するメモリ3と、メモリ3に保存された画像データから対象物までの距離情報を算出する画像処理部4と、画像処理部4で算出された距離情報を表示する表示モニタ5とを備える。画像処理部4は、再構成部4aと、輝度情報算出部4bと、距離情報算出部4cと、領域選択部4dとからなる。
【解決手段】本願発明に係る距離測定装置は、画像センサカメラ1と、画像キャプチャボード2と、画像データを保存するメモリ3と、メモリ3に保存された画像データから対象物までの距離情報を算出する画像処理部4と、画像処理部4で算出された距離情報を表示する表示モニタ5とを備える。画像処理部4は、再構成部4aと、輝度情報算出部4bと、距離情報算出部4cと、領域選択部4dとからなる。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像レンズ、マイクロレンズアレイを通して撮像素子で取得した、対象物の画像データに基づいて、対象物までの距離を測定する技術に関する。
【背景技術】
【0002】
近年、産業用ロボットや各種FA(Factory Automation)機器を用いた生産ラインを自動化するシステムの構築、あるいは、知能ロボットのインテリジェント化を図るために、対象物の距離情報を取得するための視覚センサが重要となってきている。特に、ロボットアームを用いたシステムにおいては、ワークの位置、姿勢、形状等の計測のための視覚センサとして画像センサカメラが多く用いられている。
【0003】
また、半導体デバイスや回路部品の実装基板の製造などにおいても、品質を管理するために半田バンプや金バンプなど2次元状に配置された微小なデバイスの高さ情報を測定するというニーズが高まっている。
【0004】
このようなニーズに対応するために、従来、2次元の画像センサカメラの画像から擬似的に高さや姿勢情報を検出する方法や、複数の画像センサカメラを用いたステレオ方式による3次元情報測定システムなどが用いられている。
【0005】
また、比較的小さな対象物の高さ情報を測定する方法として、共焦点顕微鏡の原理を利用した高さ測定法が提案されている。例えば、特開2003−75119号公報(特許文献1)には、共焦点顕微鏡の原理を用いた高さ情報測定装置が記載されている。
【0006】
この高さ情報測定装置について、図17、図18を用いて説明する。図17は、共焦点顕微鏡の原理を用いた高さ情報測定装置の構成を示す図である。また、図18は、共焦点顕微鏡の原理を用いた高さ情報測定装置による試料の高さ情報の検出アルゴリズムを説明する図である。図17に示すように、光源103、対物レンズ104、2次元画像カメラ102を備えた共焦点光学系101により、試料106をステージ105を高さ方向に移動させながら、その高さ方向において互いに異なる複数の高さ位置で水平面の共焦点画像をそれぞれ撮像する構成を有している(図18(a)(b))。この高さ情報測定装置は、複数の共焦点画像の画素毎の輝度情報を比較し最大輝度を求め、最大輝度を有する画素を含む共焦点画素データを用いて粒子解析を行なって特定領域を抽出する。そして、抽出された領域における輝度と高さの代表値を算出し、試料の高さ情報を求めるものである(図18(c))。
【0007】
また、撮像素子を用いたカメラシステムにおいて、取得した画像データをデジタル処理により合成し、後で好きなようにピントを手前または奥に移動できるプレノプティックカメラ技術が“Light Field Photography with a Hand−held Plenoptic Camera”,Stanford Tech Report CTSR 2005−02(非特許文献1)の中で提案されている。非特許文献1に記載のプレノプティックカメラは、普通のカメラレンズと同様の撮像レンズを有するが、普通のカメラとは、マイクロレンズアレイが像平面に正確に配置され、さらにマイクロレンズアレイより多くの撮像ピクセルを有するイメージセンサアレイ(撮像素子)がマイクロレンズアレイのすぐ背後に置かれている点で異なる。マイクロレンズアレイ内のレンズの数で最終画像の画素数は決まるが、単一マイクロレンズに割り当てられた多数のセンサピクセルにより、そのマイクロレンズに入射する光の方向と強度を記録することができる。そのデータを用いて、所定の距離にピントを合せた画像を再構成することができるというものである。
【特許文献1】特開2003−75119号公報
【非特許文献1】“Light Field Photography with a Hand−held Plenoptic Camera”,Stanford Tech Report CTSR 2005−02
【発明の開示】
【発明が解決しようとする課題】
【0008】
2次元の画像センサカメラの画像から擬似的に高さや姿勢情報を検出する方法では直接奥行き距離や高さ情報が検出できないといった問題がある。また、複数の画像センサカメラを用いたステレオ方式による3次元情報測定システムを用いた距離測定には、複数のカメラや複雑な画像処理が必要などの課題があった。
【0009】
また、特許文献1に記載の、共焦点顕微鏡の原理を用いて複数の共焦点画像を取得する場合には、ステージの面方向への走査と高さ方向への移動という操作が必要で、オートフォーカス機構を含む移動機構系が大型になるという問題がある。また、2次元画像データを高さを変えて複数回取得するには、ステージの移動、静止、対物レンズのオートフォーカシングなどのため、要する時間が長くなるといった課題もある。
【0010】
また、非特許文献1に記載のプレノプティックカメラ技術においては、取得画像データに対して、例えばオペレータがピント位置(距離)を入力することで、その位置にフォーカシングされた画像をデータの並び替え(再構成)により作り出すことはできるが、それを用いて対象物の距離情報を算出することはできない。
【0011】
本発明は、このような課題に着目してなされたものであり、その目的とするところは、対象物の距離情報を短時間で測定できる、小型の情報測定装置を提供することにある。
【課題を解決するための手段】
【0012】
1つの局面に係る本願発明は、対象物までの距離を測定するための距離測定装置であって、対象物からの物体光を集光する撮像レンズと、撮像レンズを通過した物体光が入射する複数の集光器からなる集光アレイと、集光アレイを通過した物体光の画像データを取得する撮像素子とを含むカメラを備え、撮像素子は、複数の画素を有し、複数の画素は、集光器の1つを通過した物体光を検出する複数の画素群に分割されており、画像データからエッジを抽出し、エッジの少なくとも一部を含む領域を選択する領域選択手段と、選択された領域において、各画素群における物体光を検出した画素の位置により定まる物体光の集光器への入射方向に基づき複数の画素を並び替えて、撮像素子が複数の仮想位置の各々に位置する場合に得られるべき選択された領域の再構成画像を生成する再構成手段と、複数の再構成画像の各々について、各画素と当該画素近傍の画素との間の輝度の差分値を算出する差分値算出手段と、複数の再構成画像に共通の各画素位置に対して、差分値が最大である画素を有する再構成画像に対応する仮想位置を特定し、カメラの光学系のパラメータに基づき特定された仮想位置を変換し距離を算出する距離算出手段とを備える。
【0013】
好ましくは、領域選択手段は、画像データの中から処理領域を決定し、処理領域中のエッジを含む領域を選択する。
【0014】
さらに好ましくは、領域選択手段は、一繋がりのエッジを含む領域を処理領域として決定する。
【0015】
さらに好ましくは、画像データに含まれるエッジ全体を含む領域を処理領域として決定する。
【0016】
さらに好ましくは、領域選択手段は、処理領域中のエッジおよび処理領域中のエッジの近傍領域を選択する。
【0017】
さらに好ましくは、領域選択手段は、エッジからの距離が設定された値以下の領域を近傍領域として決定する。
【0018】
他の局面に係る本願発明は、対象物までの距離を測定するための距離測定方法であって、撮像レンズと複数の集光器からなる集光アレイとを通過した対象物からの物体光の画像データを、複数の画素を有し、複数の画素は、集光器の1つを通過した物体光を検出する複数の画素群に分割されている撮像素子で取得するステップと、画像データからエッジを抽出するステップと、エッジ部分を含む領域を選択するステップと、選択された領域において、各画素群における物体光を検出した画素の位置により定まる物体光の集光器への入射方向に基づき複数の画素を並び替えて、撮像素子が複数の仮想位置の各々に位置する場合に得られるべき選択された領域の再構成画像を生成するステップと、再構成画像の各々について、各画素と当該画素近傍の画素との間の輝度の差分値を算出するステップと、複数の再構成画像に共通の各画素位置に対して、差分値が最大である画素を有する再構成画像に対応する仮想位置を特定するステップと、カメラの光学系のパラメータに基づき特定された仮想位置を変換し距離を算出するステップとを備える。
【発明の効果】
【0019】
本発明は、一度の撮像データから画像処理により、異なるフォーカシング状態の複数の画像データを生成し、その画像データより対象物までの距離情報を得ることができる。従って、カメラレンズのフォーカシング機構やステージなどの移動機構が不要となり、小型の距離情報測定装置が実現できる。また、一度の撮像操作で情報が取得できるため、カメラや対象物の複数回の移動時間や撮影時間または移動に伴う各画像のマッチング操作などの時間が不要となり、短時間で距離測定を行なえる。
【発明を実施するための最良の形態】
【0020】
以下、図面を参照しながら本発明の実施形態を説明する。なお、本発明は以下の実施形態に限定されるものではない。
【0021】
(1.本発明の構成)
図1を用いて、本発明に係る距離情報検出装置の構成について説明する。図1は、本発明の実施の形態に係る距離情報検出装置の概略構成図である。
【0022】
距離情報検出装置は、画像センサカメラ1と、画像センサカメラ1で撮影された対象物の画像データを取得する画像キャプチャボード2と、画像データを保存するメモリ3と、メモリ3に保存された画像データから対象物までの距離情報を算出する画像処理部4と、画像処理部4で算出された距離情報を表示する表示モニタ5とを備える。
【0023】
画像センサカメラ1は、対象物の画像データを取得する。画像センサカメラ1は、撮像レンズ11(以後は、メインレンズと呼ぶ)と、複数のマイクロレンズからなるマイクロレンズアレイ12と、撮像素子13とからなる。撮像素子13としては、例えば、CCD(charge-coupled device)やCMOS(Complementary Metal Oxide Semiconductor)センサなどを用いることができる。
【0024】
メインレンズ11には、対象物からの物体光が入射する。メインレンズ11は、入射した対象物からの物体光を集光する。マイクロレンズアレイ12には、メインレンズ11を通過した物体光が入射する。マイクロレンズアレイ12に含まれる複数のマイクロレンズの各々は、物体光を集光する。なお、マイクロレンズアレイ12は、複数の集光器からなる集光アレイの一例である。例えば、マイクロレンズアレイ12のかわりに、複数のピンホールからなるピンホールアレイを用いても構わない。
【0025】
撮像素子13は、マイクロレンズアレイ12を通過した物体光の画像データを取得する。撮像素子13は、複数の画素を有する。撮像素子13の画素および撮像素子13により取得される画像データについては、後で詳述する。
【0026】
画像キャプチャーボード2は、撮像素子13で取得された画像データを取り込み、以降の処理が行なえる形に変換する。メモリ3は、画像キャプチャーボード2から転送された画像データを格納する。
【0027】
画像処理部4は、メモリ3から画像データを読出し、読み出した画像データに基づき、物体までの距離を算出する処理を行なう。画像処理部4は、画像データの一部領域を選択する領域選択部4dと、選択領域に含まれる画素データを並び替えて、撮像素子13が異なる複数の仮想位置の各々に位置する場合に得られるべき再構成画像を生成する再構成部4aと、複数の再構成画像の各々において、輝度情報を算出する輝度情報算出部4bと、対象物までの距離を算出する距離情報算出部4cとからなる。画像処理部4の行なう処理の詳細については、後述する。
【0028】
(2.画像センサカメラの特徴について)
本発明においては、画像センサカメラ1の光学系の構成に特徴があり、図2を用いて、その特徴を説明する。図2は、画像センサカメラ1の光学系を示す図である。なお、簡単のため、図2には、対象物14が点光源である場合を示す。
【0029】
画像センサカメラ1のマイクロレンズアレイ12は、対象物14がAの位置にある場合に、メインレンズ12より対象物14がほぼ結像する位置に配置される。このときのAの位置を合焦点位置、合焦点位置よりもメインレンズ11に近い側を近点位置、合焦点位置よりもメインレンズ11から遠い側を遠点位置と呼ぶ。撮像素子13はマイクロレンズアレイ12のほぼ焦点位置に配置されている。撮像素子13には、対象物の光が、マイクロレンズを通して、入射される。また、それぞれのマイクロレンズを通過した光が、互いに重なることなく撮像素子13上に入射するように、画像センサカメラ1の光学系は調整されているものとする。
【0030】
次に、図3〜図9を用いて、この画像センサカメラ1により撮像される画像について説明する。
【0031】
図3を用いて、対象物14の結像について説明する。図3は、対象物14が近点位置Bまたは遠点位置Cにある場合の集光の様子を示す図である。対象物14が位置Bにある場合、対象物14からの光は、メインレンズ11により、面Dに集光(結像)する。また、位置Cにある場合、面Fに集光(結像)する。また、面Eは、合焦位置Aに対する集光面であり、ほぼマイクロレンズアレイ12の位置に相当する。
【0032】
続いて、対象物14が図3の位置A,B,Cにある場合に撮像素子13により、どのような画像が撮像されるかを図4、図5を用いて説明する。図4はマイクロレンズアレイ12上の入射光15の形状を示す図であり、図5は撮像素子13上の入射光16の形状を示す図である。
【0033】
まず、対象物14が図3の位置A,B,Cにある場合にマイクロレンズアレイ12上にどのような形状の入射光15が入射するかについて図4を用いて説明する。図4に示すように、本実施例においては、マイクロレンズアレイ12は、2次元面内に配列された円形のマイクロレンズからなるものとする。また、各マイクロレンズには、それらを識別するための番号M(i,j)が与えられているものとする。図4(a)、図4(b)、図4(c)は、それぞれ、対象物14が、遠点位置Cにある場合、合焦位置Aにある場合、近点位置Bにある場合のマイクロレンズアレイ12上の入射光15の形状を示す図である。
【0034】
合焦位置Aにある対象物14からの光は図4(b)のようにほぼマイクロレンズM(2,2)上に集光される。
【0035】
対象物14が遠点位置Cにある場合、対象物14からの光は、メインレンズ11を通して一旦集光された後、さらにデフォーカス状態になって広がってマイクロレンズ12上に入射する。したがって、図4(a)に示すように、マイクロレンズアレイ12上の入射光15は、マイクロレンズM(2,2)の周辺レンズM(1,2)、M(2,1)、M(2,3)、M(3,2)にまで広がる。
【0036】
対象物14が近点位置Bにある場合は、集光前のデフォーカス状態の光が、マイクロレンズ12上に入射する。したがって、図4(b)に示すように、マイクロレンズアレイ12上の入射光15は、マイクロレンズM(2,2)の周辺レンズM(1,2)、M(2,1)、M(2,3)、M(3,2)にまで広がる。
【0037】
撮像素子13上の入射光16について図5を用いて説明する。図5に示すように、撮像素子13は、複数の画素群からなる。各画素群には、番号T(i,j)が付されている。また、各画素群は、マイクロレンズの1つを通過した物体光を検出する。言い換えると、マイクロレンズM(i,j)を通過した光は、画素群T(i,j)に入射する。なお、図では、画素群が10×10の画素で構成されている場合を示しているが、画素群を構成する画素の数はこれに限られない。
【0038】
対象物14が合焦位置Aにある場合、図4(b)のようにほぼマイクロレンズM(2,2)上に集光された光が、撮像素子13に入射する。したがって、撮像素子13に入射する光は、図5(b)に示すように、撮像素子14の画素群T(2,2)に対して全面に広がる。
【0039】
対象物14が遠点位置Cにある場合、マイクロレンズアレイ12上で、図4(a)のように周辺レンズM(1,2)、M(2,1)、M(2,3)、M(3,2)にも広がった光が、撮像素子13に入射する。これらの周辺レンズに入射した光は、撮像素子13上では、図5(a)に示すように、それぞれのマイクロレンズに対応する画素群T(1,2)、T(2,1)、T(2,3)、T(3,2)の一部に入射する。
【0040】
図5(c)は、近点位置Bに対象物14が位置する場合に、撮像素子13に入射する光の形状を示す図である。対象物が遠点位置Cにある場合と同様に、画素群T(1,2)、T(2,1)、T(2,3)、T(3,2)の一部にも光が入射する。
【0041】
(3.画像の再構成について)
次に、本装置において距離情報を算出するための基本操作である、各仮想面での像の再構成について説明する。
【0042】
画像の再構成にあたっては、画像センサカメラ1で取得した画像データから、マイクロレンズへの物体光の入射方向の情報を得られるという点が重要である。画像データから入射方向の情報が得られることを、図5を再度用いて説明する。例えば、遠点位置Cにある対象物14からの光は、図5(a)に示すように、画素群T(2,2)を中心に、周囲の画素群T(1,2)、T(2,1)、T(2,3)、T(3,2)の中の外側の一部の決まった画素に入射する。また、逆に、近点位置Bにある対象物14からの光は、図5(c)に示すように、画素群T(2,2)を中心に、周囲の画素群T(1,2)、T(2,1)、T(2,3)、T(3,2)の中の内側の一部の決まった画素に入射する。このように各画素群に含まれる画素のうちどの画素に光が入射したかにより、各画素群に対応する位置に設置されたマイクロレンズへの物体光の入射方向の情報を得ることができる。
【0043】
この入射方向の情報、仮想面の位置(仮想位置)、および、光学系のパラメータ(メインレンズ11とマイクロレンズアレイ12間の距離など)に基づき、撮像素子13が取得した画素データを並び替えることで、撮像素子13が仮想位置にある場合に取得されるべき画像データを取得することができる。
【0044】
並び替えの具体例を図6を用いて説明する。図6は、対象物14の撮影像のデータを変換して得た再構成画像を示す図である。例えば、図6(a)は図5(a)に示した画像データから再構成した仮想面F上での光の分布を示したもので、図5(b)の合焦位置での光ビーム状態とほぼ同じになる。周囲の決まった画素に入射する光、すなわち、画素出力だけを集めて、画素群T(2,2)の中央付近の画素出力と足し合わせ、改めて画素群T(2,2)の出力とすることで、仮想面Fでの画像を作り出すことができる。一方、近点位置Bにある対象物(点像)に対しては、撮像素子13上での広がり(分割状態)は、図5(c)のように遠点状態とは異なるので、異なる演算(周囲画素群の内側の一部の画素出力を足し合わせる)により、同じく図6(c)の再構成像が生成できる。
【0045】
なお、ここでは対象物が点像の場合の例を示したが、大きさを有する対象物の場合にも、同様の操作で画像の再構成ができる。ただし、大きさを有する画像の場合、全てのマイクロレンズに光が入射するので、各マイクロレンズに対応する画素群T(1,1)〜T(3,3)に対して同様の操作を行う必要がある。
【0046】
対象物14が点像でない場合の再構成画像について、図7および図8を用いて説明する。図7は、矢印形状の対象物14が近点位置Bにある場合の集光の様子を示す図であり、図8は、図7中に示される仮想面で取得される画像を示す図である。
【0047】
対象物14が近点位置Bにあるため、ほぼ撮像素子13の位置にある仮想面Eにおける取得画像は図8(a)のようにボケた画像となる。しかし、仮想面をD1,D2,D3と変えていくと、それぞれの再構成画像は図8(b)、(c)、(d)のようになる。D3まで変えると、D3は位置Bに対する仮想面であるため、位置Bにある対象物のフォーカシングされた画像が得られる。
【0048】
なお、図8の画像は、マイクロレンズアレイ12を通して取得した画像に相当するため、画像を拡大すると、図9に示すように、マイクロレンズ毎の画素群を1つの単位とした画像となっている。図9は、図8中に枠で囲った部分を拡大した画像を示す図である。
【0049】
このように、一度の撮像により得た撮像データを画像処理することにより、複数の仮想面での画像を再構成することができる。
【0050】
(4.選択領域の決定)
続いて、本発明の特徴である、処理対象となる領域の選択について説明する。図8、図9から分かるように、仮想面を変えた場合、エッジ部分(画像上の輝度変化が大きい部分)の画素には変化が現れるが、エッジ部分以外の領域には、ほとんど画像の変化は生じない。
【0051】
このことから、撮像画像のエッジ部分あるいはエッジ部分の近傍領域に含まれる画素のみを並び替えても、適切な再構成画像を得ることができる。このように、一部の領域の画素データを用いて画像の並び替えを行なえば、全領域について画像の再構成を行なうのに比べ、大幅に処理が高速化され、かつ、処理に必要な画像用メモリも少ない容量で済ませることができる。本発明はこの点に着目したものである。
【0052】
さて、撮像画像上のエッジ部分を検出する方法を図10を用いて述べる。図10は、エッジ部分の検出について説明するための図である。撮像画像が図10(a)のようであったとする。領域選択部4dは、この画像に対して、エッジを検出するための空間フィルタを適用する。エッジ検出のための空間フィルタとして、隣接画素との差分を計算する一次微分フィルタがある。例えばsobelフィルタ、Robertsフィルタ等が提案されている。図10(a)に一次フィルタを施した結果を図10(b)に示す。この図では、隣接画素との差分が大きい部分ほど暗い色で示している。ここで、図10(b)の画像上の鎖線で示した部分の画素の値の分布を図10(c)に示す。大きな矢印のエッジ部分はほぼ合焦点であり、背景とのコントラストが大きいために差分値も大きく出ている。小さな矢印のエッジ部分は合焦点から外れて若干ボケが出ており、背景とのコントラストがあまり大きくないために差分値はやや小さく出ている。また、丸状の物体については全体にボケており、背景とのコントラストがあまりないため差分値も小さい。
【0053】
差分値はこのようにエッジと相関のある分布を示すため、ある閾値を設け、差分値画像に閾値処理を施すことによりエッジ領域を抽出することができる。例えば、閾値よりも大きい値を持つ部分をエッジとみなすものとする。閾値は目的に応じて適宜決めればよく、コントラストの強いエッジのみを検出するには閾値を大きく、逆に、コントラストの弱いエッジも検出するには閾値を小さく設定すればよい。エッジの分布を、撮像画像全てについて調べて検出されたエッジを示したものが図10(d)である。
【0054】
画像の再構成を行うには、選択領域は、検出されたエッジに加えて、エッジの近傍領域を含むことが好ましい。エッジを中心とした領域は、遠点、近点による光の分布を含むからである。この領域は、光学系によって変わるため適宜設定する必要があるが、通常は、マイクロレンズ毎の画素群を1つの単位とした時、エッジを中心とした数画素群の領域である。例えば、エッジの位置座標を(xedge,yedge)、x方向、y方向の画素群の長さをそれぞれxp,ypとして、xedge−sxp≦x≦xedge+txp、yedge−uyp≦x≦yedge+vypを満たす(x,y)の集合を選択領域とする。ここで、s、t、u、vは正の整数である。なお、通常はs=t=u=vととる。
【0055】
図10(e)の網掛け部分は、図10(d)のエッジに対応して選択された領域である。図10(a)上で図10(e)の領域部分を切り取ることで、図10(f)のような選択領域画像を得ることができる。
【0056】
ただし、図10(e)、図10(f)は、あくまで選択領域のイメージを示す図であって、厳密には、選択領域の形は、これらの図のようにはならず、図11のようになる。図11は、エッジと選択領域の関係を示した図である。この図は、選択領域が、xedge−xp≦x≦xedge+xp、yedge−yp≦x≦yedge+ypを満たす(x,y)の集合である場合に対応する。図11中の近傍領域とエッジ部分とを合わせた部分が選択領域となる。
【0057】
また、以上では、画像データ全体から選択領域を決定する場合を示したが、画像データ中の設定された領域(以下、処理領域とよぶ)から選択領域を決定してもよい。処理領域は、例えば、ユーザの指示に応じて決定される。この構成によれば、ユーザがモニタ5に表示された画像データを確認し処理領域を決定することで、計算量を削減でき、処理を高速化できる。
【0058】
なお、処理領域を選択する場合には、一繋がりのエッジを分断するような選択は好ましくない。この理由を図12を用いて説明する。図12は、一繋がりのエッジの分断について説明するための図である。図12(a)のような画像があるとする。この画像のエッジを検出した結果、図12(b)の画像を得たとする。この画像上のエッジの一部(四角で囲んだ部分)の拡大図を図12(c)に示す。
【0059】
図12(b)の画像について領域を選択する際に、図12(d)に示すような画像のエッジを分断する処理領域Rを選んだとする。また、図12(d)中の四角で囲んだ部分の拡大図を図12(e)に示す。処理領域Rを選択した場合、図12(e)のGの部分の画素群については、斜め右下方向および下方向の光の分布を含む領域の情報が失われてしまう。したがって、エッジを分断する領域を選択することは、再構成に好ましくない。以上より、領域の選択時には、エッジを途中で分断することなく、一繋がりのエッジを含む領域であることが好ましい。一繋がりのエッジを含む領域を選択するには、例えば、検出されたエッジ領域をすべて含むように領域を選択すればよい。
【0060】
しかしながら、予め距離情報の検出が必要な領域が決まっているのであれば、エッジを分断するような領域を選択しても構わない。図12(e)を用いて説明すると、Gの部分の距離情報が不要ならば、処理領域Rを選択してもよい。このような領域選択を行い必要な領域のみ処理することで、全体の処理時間を短縮できる。
【0061】
なお、ここに記した一連の処理は、領域選択部4dで行う。
(5.距離情報の取得方法について)
次に、上記の方法により選択された領域について、仮想面の画像を再構成し、さらに画像の中の対象物の距離情報(3次元情報)を取得する方法について、図13を参照しつつ説明する。図13は、距離情報の取得の各工程で生成される画像データについて説明するための図である。
【0062】
距離情報の取得にあたっては、まず、画像センサカメラ1により、対象物の画像データを取得する。取得された画像データは、画像キャプチャーボード2を介してメモリ3に記憶される。そして、画像処理部4に含まれる領域選択部4dは、上に説明した方法により、選択領域を決定する。この画像データを、図13(a)に示すようにf(i,j)とする。
【0063】
その後、画像処理部4は、画像データf(i、j)を処理することにより、対象物の距離情報を取得する。この処理は大きく、「再構成ステップ」、「輝度情報算出ステップ」、「距離情報算出ステップ」に分かれる。以下、それぞれの処理について説明する。
【0064】
(1)再構成ステップ
画像処理部4に含まれる再構成部4aは、画像データf(i,j)を並び替えて、図13(b)に示すようなN個の仮想面での再構成画像データgn(i,j)を生成する。ここでn(n=1〜N)は仮想面の順番を示す。この並び替えを、焦点面変換係数An(n=1〜N)を用いて、gn(i,j)=An(f(i,j))と表すことにする。ここで、Anは、各画素群における物体光を検出した画素の位置により定まる各マイクロレンズへの物体光の入射方向、仮想位置、および、光学系のパラメータに基づいて決定されるものである。
【0065】
なお、再構成部4aは、例えば、特に限られるわけではないが、本実施例においては予め定められた間隔で並んだ複数の仮想位置に対して再構成画像データを取得するものとする。また、再構成部4aは、以下で述べる方法で焦点の合った仮想位置が算出された場合、焦点の合った仮想位置近傍では、仮想位置の間隔をさらに狭くして、狭い間隔の仮想位置に対して再構成画像を取得してもよい。この構成によれば、距離検出の精度を高めることができる。
【0066】
このステップでは、1個の画像データf(i,j)が、図13(b)に示すようなN個の再構成画像データ、すなわち、g01(i,j)=An(f(i,j))、g02(i,j)=An(f(i,j))、…、gn(i,j)=An(f(i,j))、…、gN(i,j)=An(f(i,j))が得られる。
【0067】
(2)輝度情報算出ステップ
輝度情報算出部4bは、再構成画像データgn(i,j)から、輝度に関連する輝度情報を算出する。ここで、輝度情報とは、具体的には、輝度の差分値に関する情報である。この輝度に関する情報の算出は、以下の手順で行なわれる。
【0068】
まず、輝度情報算出部4bは、各再構成画像データgn(i,j)に対して、図13(c)に示すような各画素群を一様輝度を有する画素に変換した画像データhn(i’,j’)を生成する。ここで、一様輝度は、各画素群に含まれる画素の輝度と対応する輝度であればよい。例えば、輝度情報算出部4bは、一様輝度として、各画素群に含まれる画素の輝度の平均値、あるいは輝度の総和を算出する。
【0069】
本実施例では、m×m個の画素からなる画素群が、一様な輝度を有する1つの画素に変換(平均化)されるものとする。この変換は、平均化係数をBnとして、hn(i’,j’)=Bn(gn(i,j))と表される。
【0070】
平均化処理の具体例を図14を用いて説明する。図14は、図9に示す画像に対し平均化処理を行った場合の画素群の輝度分布を示す図である。図14(a)〜(d)はそれぞれ図9(a)〜(d)の輝度分布を画素群内で平均化処理したものである。
【0071】
本ステップにより、処理対象となるデータ量を1/m2に削減できる。そのため、以降の処理の画像処理速度が大幅に向上する。ただし、この処理は、必須ではない。
【0072】
次に、輝度情報算出部4cは、各再構成画像について、画素間の輝度の差分値を計算する。上述の平均化処理が行なわれている場合、輝度情報算出部4cは、各画像データhn(i’,j’)において、各画素群について隣接画素群との輝度の差分値を計算し、図13(d)に示すような差分値画像データkn(i’,j’)を作成する。hnとknとの関係を、差分値変換係数をCnとして、kn(i’,j’)=Cn(h(i’,j’))と表すことにする。ここで、差分値変換係数Cnは、例えば、一般的に用いられているRoberts法と呼ばれるエッジ検出法を利用する場合には、(i’,j’)の画素群に対して、x方向の微分値dx=h(i',j’)−h(i'+1,j’+1)、y方向の微分値dy=h(i'+1,j’)−h(i',j’+1)を用いて、(dx2+dy2)1/2で与えられる。ただし、差分値変換係数としては、これに限ることなく、単純な微分法、Sobel法や2次微分を用いるラプラシアン法など様々なフィルタ窓を設定することができる。図13(d)に示すように、N枚の差分値画像が作成される。
【0073】
なお、上述の平均化処理を行なっていない場合には、輝度情報算出部4bは、単純に、各再構成画像の各画素について、隣接する画素との輝度値の差分を計算し、差分値画像データを取得する。
【0074】
(3)距離情報算出ステップ
距離情報算出部4cは、輝度情報算出ステップで得られた情報に基づき、次の手順で、対象物の距離情報を算出する。
【0075】
まず、距離情報算出部4cは、差分値画像データに基づき、複数の再構成画像に共通の各画素位置 p=(i’,j’) での差分値強度の最大値を検出し、その最大値が検出されるn値(以後、代表値と呼ぶ)を求め、図13(e)に示すような代表値画像データs(i’,j’)を生成する。すなわち、各p=(i’,j’)においてkn(i’,j’)〜kN(i’,j’)を最大とするnの値をs(i’,j’)とおく。図9あるいは図14で示すように、合焦位置での画像において、最もエッジ部の画素群輝度変化が大きい。よってエッジ強度値が最大となる仮想面の位置が合焦状態を示していると判定できる。このことを利用して、対象物までの距離を算出することができる。
【0076】
あるいは、差分値分布の近似曲線から、代表値を求めてもよい。この求め方を図15を用いて説明する。図15は、差分値分布の近似曲線から代表値を求める方法を説明するための図である。図15(a)は、異なる距離に配置されている2つの対象物の再構成像を示す図である。図15(b)は、図15(a)に示した各対象物のエッジ付近の画素位置(14A、15B)における差分値強度を、仮想面の位置(n値)について、プロットしたものである。各対象物に対して、画素位置(i',j')において、n値についてプロットした差分値強度の近似曲線を求め、近似曲線のピークのn値(図15(b)中のn1、n2)を、代表値s(i',j')として求める。この代表値は対象物の像にピントが合っている仮想面の位置を示している。
【0077】
最後に、距離情報算出部4cは、各画素位置において最大差分値強度が得られる代表値画像s(i’,j’)を、既知の光学系の倍率データ等を用いて、距離情報検出装置から対象物までの絶対距離d(i’,j’)に変換し、図13(f)に示すような最終的な距離画像データ d(i’,j’)を生成する。
【0078】
本願発明が行なう処理の流れを図16を用いて説明する。図16は本願発明が行なう処理を説明するためのフローチャートである。
【0079】
まず、画像処理装置4は、ステップS101において、画像データを取得する。この画像データは、画像センサ1により対象物を1回撮影することにより得られる。
【0080】
次に、画像処理装置4は、ステップS102において、画像データから、エッジ領域を抽出する。
【0081】
そして、画像処理装置4は、ステップS103において、画像データから、エッジ領域を含む選択領域を決定する。
【0082】
続いて、画像処置装置4は、ステップS104において、選択領域中の画像データを並び替え、複数の仮想位置について再構成画像を作成する。
【0083】
そして、画像処理装置4は、ステップS105において、各画素群の平均化を行なう。すなわち、各画素群を一様輝度を有する画素に変換する。ただし、このステップは必須ではない。
【0084】
そして、画像処理装置4は、ステップS106において、再構成画像データから差分値画像データを作成する。
【0085】
さらに、画像処理装置4は、ステップS107において、差分値画像データから、代表値データを作成する。
【0086】
そして、画像処理装置4は、ステップS108において、光学系の倍率より、代表値データを対象物の距離データに変換し、距離データを作成する。
【0087】
上記距離情報算出アルゴリズムにより、単一の撮像データから画像処理により、異なるフォーカシング状態(仮想面)の複数の画像を生成し、そのデータより対象物の距離画像を得ることができる。また、奥行き方向の前後の位置関係や、対象物の異なるエッジの距離情報から傾きや姿勢を求めることも可能である。
【0088】
非特許文献1に記載されているような従来のプレノプティックカメラとしては、設定した距離にピントを合せた画像は再構成できるが、画像の対象物の距離情報を求めることはできなかった。これに対し、本発明では、距離情報を算出することができる。
【0089】
また、特許文献1のようにステージ等で対象物の高さを変化させて、オートフォーカシングを行った後、複数枚の画像を取得し、それらの輝度情報に基づいて、高さ情報を求める方法に対して、本発明の方法は、カメラレンズのフォーカシング機構やステージなどの移動機構が不要となるため、小型かつ低コストである。
【0090】
しかも一度の撮像操作で取得した画像データから距離データを算出できるため、カメラや対象物の複数回の移動時間や撮影時間または移動に伴う各画像のマッチング操作などの時間が不要となり、大幅な測定時間短縮も可能となる。1つの取得画像から複数の再構成画像を生成する操作については、シリアルに処理する必要はなくパラレルに合成できるため、複数回の撮影時間が省略でき、高速測定に有利である。
【0091】
特に、本発明は、画像データからエッジを抽出し、エッジを含む領域に対し、距離データを求めるので、大幅に処理を高速化できる。また、処理に必要な画像用メモリも少ない容量で済ませることができる。
【0092】
さらに、本光学系は、撮像素子のごく近傍にマイクロレンズアレイを組み込む構成なので、従来の画像センサカメラとほぼ同サイズであるため、広くFA用途としてロボットなどの視覚センサに用いられている2次元画像センサカメラとほぼ同じ外径サイズに収まるため、従来カメラとの互換性(置換え)が高い。
【0093】
また、本方法では、撮像素子の画素単位ではなく、1つのマイクロレンズに対応する複数の画素から構成される画素群単位での輝度情報を用いることで、距離情報の算出にあたっての計算回数、処理時間を短縮することができる。
【0094】
今回開示された実施の形態はすべての点で例示であって制限的なものではない。本発明の範囲は上記した実施の形態ではなくて特許請求の範囲によって示され、特許請求の範囲と均等な意味および範囲内でのすべての変更点が含まれることが意図される。
【産業上の利用可能性】
【0095】
本発明は、カメラを用いた距離測定に関し、例えば、製造ライン等における機械部品の3次元的な位置、姿勢、形状の計測、または製品の外形形状などの検査に用いられる。
【図面の簡単な説明】
【0096】
【図1】本発明の実施の形態に係る距離情報検出装置の概略構成図である。
【図2】画像センサカメラ1の光学系を示す図である。
【図3】対象物14が近点位置Bまたは遠点位置Cにある場合の集光の様子を示す図である。
【図4】マイクロレンズアレイ12上の入射光15の形状を示す図である。
【図5】撮像素子13上の入射光16の形状を示す図である。
【図6】対象物14の撮影像のデータを変換して得た再構成画像を示す図である。
【図7】矢印形状の対象物14が近点側Bある場合の集光の様子を示す図である。
【図8】図7中に示される仮想面で取得される画像を示す図である。
【図9】図8中に枠で囲った部分を拡大した画像を示す図である。
【図10】エッジ部分の検出について説明するための図である。
【図11】エッジと選択領域の関係を示した図である。
【図12】一繋がりのエッジの分断について説明するための図である。
【図13】距離情報の取得の各工程で生成される画像データについて説明するための図である。
【図14】図9に示す画像に対し平均化処理を行った場合の画素群の輝度分布を示す図である。
【図15】差分値分布の近似曲線から代表値を求める方法を説明するための図である。
【図16】本願発明が行なう処理を説明するためのフローチャートである。
【図17】共焦点顕微鏡の原理を用いた高さ情報測定装置の構成を示す図である。
【図18】共焦点顕微鏡の原理を用いた高さ情報測定装置による試料の高さ情報の検出アルゴリズムを説明する図である。
【符号の説明】
【0097】
1 画像センサカメラ、2 画像キャプチャボード、3 メモリ、4 画像処理部、4a 再構成部、4b 輝度情報算出部、4c 距離情報算出部、4d 領域選択部、5 表示モニタ、11 撮像レンズ、12 マイクロレンズアレイ、13 撮像素子、14 対象物、15 マイクロレンズアレイ12上の入射光、16 撮像素子13上の入射光。
【技術分野】
【0001】
本発明は、撮像レンズ、マイクロレンズアレイを通して撮像素子で取得した、対象物の画像データに基づいて、対象物までの距離を測定する技術に関する。
【背景技術】
【0002】
近年、産業用ロボットや各種FA(Factory Automation)機器を用いた生産ラインを自動化するシステムの構築、あるいは、知能ロボットのインテリジェント化を図るために、対象物の距離情報を取得するための視覚センサが重要となってきている。特に、ロボットアームを用いたシステムにおいては、ワークの位置、姿勢、形状等の計測のための視覚センサとして画像センサカメラが多く用いられている。
【0003】
また、半導体デバイスや回路部品の実装基板の製造などにおいても、品質を管理するために半田バンプや金バンプなど2次元状に配置された微小なデバイスの高さ情報を測定するというニーズが高まっている。
【0004】
このようなニーズに対応するために、従来、2次元の画像センサカメラの画像から擬似的に高さや姿勢情報を検出する方法や、複数の画像センサカメラを用いたステレオ方式による3次元情報測定システムなどが用いられている。
【0005】
また、比較的小さな対象物の高さ情報を測定する方法として、共焦点顕微鏡の原理を利用した高さ測定法が提案されている。例えば、特開2003−75119号公報(特許文献1)には、共焦点顕微鏡の原理を用いた高さ情報測定装置が記載されている。
【0006】
この高さ情報測定装置について、図17、図18を用いて説明する。図17は、共焦点顕微鏡の原理を用いた高さ情報測定装置の構成を示す図である。また、図18は、共焦点顕微鏡の原理を用いた高さ情報測定装置による試料の高さ情報の検出アルゴリズムを説明する図である。図17に示すように、光源103、対物レンズ104、2次元画像カメラ102を備えた共焦点光学系101により、試料106をステージ105を高さ方向に移動させながら、その高さ方向において互いに異なる複数の高さ位置で水平面の共焦点画像をそれぞれ撮像する構成を有している(図18(a)(b))。この高さ情報測定装置は、複数の共焦点画像の画素毎の輝度情報を比較し最大輝度を求め、最大輝度を有する画素を含む共焦点画素データを用いて粒子解析を行なって特定領域を抽出する。そして、抽出された領域における輝度と高さの代表値を算出し、試料の高さ情報を求めるものである(図18(c))。
【0007】
また、撮像素子を用いたカメラシステムにおいて、取得した画像データをデジタル処理により合成し、後で好きなようにピントを手前または奥に移動できるプレノプティックカメラ技術が“Light Field Photography with a Hand−held Plenoptic Camera”,Stanford Tech Report CTSR 2005−02(非特許文献1)の中で提案されている。非特許文献1に記載のプレノプティックカメラは、普通のカメラレンズと同様の撮像レンズを有するが、普通のカメラとは、マイクロレンズアレイが像平面に正確に配置され、さらにマイクロレンズアレイより多くの撮像ピクセルを有するイメージセンサアレイ(撮像素子)がマイクロレンズアレイのすぐ背後に置かれている点で異なる。マイクロレンズアレイ内のレンズの数で最終画像の画素数は決まるが、単一マイクロレンズに割り当てられた多数のセンサピクセルにより、そのマイクロレンズに入射する光の方向と強度を記録することができる。そのデータを用いて、所定の距離にピントを合せた画像を再構成することができるというものである。
【特許文献1】特開2003−75119号公報
【非特許文献1】“Light Field Photography with a Hand−held Plenoptic Camera”,Stanford Tech Report CTSR 2005−02
【発明の開示】
【発明が解決しようとする課題】
【0008】
2次元の画像センサカメラの画像から擬似的に高さや姿勢情報を検出する方法では直接奥行き距離や高さ情報が検出できないといった問題がある。また、複数の画像センサカメラを用いたステレオ方式による3次元情報測定システムを用いた距離測定には、複数のカメラや複雑な画像処理が必要などの課題があった。
【0009】
また、特許文献1に記載の、共焦点顕微鏡の原理を用いて複数の共焦点画像を取得する場合には、ステージの面方向への走査と高さ方向への移動という操作が必要で、オートフォーカス機構を含む移動機構系が大型になるという問題がある。また、2次元画像データを高さを変えて複数回取得するには、ステージの移動、静止、対物レンズのオートフォーカシングなどのため、要する時間が長くなるといった課題もある。
【0010】
また、非特許文献1に記載のプレノプティックカメラ技術においては、取得画像データに対して、例えばオペレータがピント位置(距離)を入力することで、その位置にフォーカシングされた画像をデータの並び替え(再構成)により作り出すことはできるが、それを用いて対象物の距離情報を算出することはできない。
【0011】
本発明は、このような課題に着目してなされたものであり、その目的とするところは、対象物の距離情報を短時間で測定できる、小型の情報測定装置を提供することにある。
【課題を解決するための手段】
【0012】
1つの局面に係る本願発明は、対象物までの距離を測定するための距離測定装置であって、対象物からの物体光を集光する撮像レンズと、撮像レンズを通過した物体光が入射する複数の集光器からなる集光アレイと、集光アレイを通過した物体光の画像データを取得する撮像素子とを含むカメラを備え、撮像素子は、複数の画素を有し、複数の画素は、集光器の1つを通過した物体光を検出する複数の画素群に分割されており、画像データからエッジを抽出し、エッジの少なくとも一部を含む領域を選択する領域選択手段と、選択された領域において、各画素群における物体光を検出した画素の位置により定まる物体光の集光器への入射方向に基づき複数の画素を並び替えて、撮像素子が複数の仮想位置の各々に位置する場合に得られるべき選択された領域の再構成画像を生成する再構成手段と、複数の再構成画像の各々について、各画素と当該画素近傍の画素との間の輝度の差分値を算出する差分値算出手段と、複数の再構成画像に共通の各画素位置に対して、差分値が最大である画素を有する再構成画像に対応する仮想位置を特定し、カメラの光学系のパラメータに基づき特定された仮想位置を変換し距離を算出する距離算出手段とを備える。
【0013】
好ましくは、領域選択手段は、画像データの中から処理領域を決定し、処理領域中のエッジを含む領域を選択する。
【0014】
さらに好ましくは、領域選択手段は、一繋がりのエッジを含む領域を処理領域として決定する。
【0015】
さらに好ましくは、画像データに含まれるエッジ全体を含む領域を処理領域として決定する。
【0016】
さらに好ましくは、領域選択手段は、処理領域中のエッジおよび処理領域中のエッジの近傍領域を選択する。
【0017】
さらに好ましくは、領域選択手段は、エッジからの距離が設定された値以下の領域を近傍領域として決定する。
【0018】
他の局面に係る本願発明は、対象物までの距離を測定するための距離測定方法であって、撮像レンズと複数の集光器からなる集光アレイとを通過した対象物からの物体光の画像データを、複数の画素を有し、複数の画素は、集光器の1つを通過した物体光を検出する複数の画素群に分割されている撮像素子で取得するステップと、画像データからエッジを抽出するステップと、エッジ部分を含む領域を選択するステップと、選択された領域において、各画素群における物体光を検出した画素の位置により定まる物体光の集光器への入射方向に基づき複数の画素を並び替えて、撮像素子が複数の仮想位置の各々に位置する場合に得られるべき選択された領域の再構成画像を生成するステップと、再構成画像の各々について、各画素と当該画素近傍の画素との間の輝度の差分値を算出するステップと、複数の再構成画像に共通の各画素位置に対して、差分値が最大である画素を有する再構成画像に対応する仮想位置を特定するステップと、カメラの光学系のパラメータに基づき特定された仮想位置を変換し距離を算出するステップとを備える。
【発明の効果】
【0019】
本発明は、一度の撮像データから画像処理により、異なるフォーカシング状態の複数の画像データを生成し、その画像データより対象物までの距離情報を得ることができる。従って、カメラレンズのフォーカシング機構やステージなどの移動機構が不要となり、小型の距離情報測定装置が実現できる。また、一度の撮像操作で情報が取得できるため、カメラや対象物の複数回の移動時間や撮影時間または移動に伴う各画像のマッチング操作などの時間が不要となり、短時間で距離測定を行なえる。
【発明を実施するための最良の形態】
【0020】
以下、図面を参照しながら本発明の実施形態を説明する。なお、本発明は以下の実施形態に限定されるものではない。
【0021】
(1.本発明の構成)
図1を用いて、本発明に係る距離情報検出装置の構成について説明する。図1は、本発明の実施の形態に係る距離情報検出装置の概略構成図である。
【0022】
距離情報検出装置は、画像センサカメラ1と、画像センサカメラ1で撮影された対象物の画像データを取得する画像キャプチャボード2と、画像データを保存するメモリ3と、メモリ3に保存された画像データから対象物までの距離情報を算出する画像処理部4と、画像処理部4で算出された距離情報を表示する表示モニタ5とを備える。
【0023】
画像センサカメラ1は、対象物の画像データを取得する。画像センサカメラ1は、撮像レンズ11(以後は、メインレンズと呼ぶ)と、複数のマイクロレンズからなるマイクロレンズアレイ12と、撮像素子13とからなる。撮像素子13としては、例えば、CCD(charge-coupled device)やCMOS(Complementary Metal Oxide Semiconductor)センサなどを用いることができる。
【0024】
メインレンズ11には、対象物からの物体光が入射する。メインレンズ11は、入射した対象物からの物体光を集光する。マイクロレンズアレイ12には、メインレンズ11を通過した物体光が入射する。マイクロレンズアレイ12に含まれる複数のマイクロレンズの各々は、物体光を集光する。なお、マイクロレンズアレイ12は、複数の集光器からなる集光アレイの一例である。例えば、マイクロレンズアレイ12のかわりに、複数のピンホールからなるピンホールアレイを用いても構わない。
【0025】
撮像素子13は、マイクロレンズアレイ12を通過した物体光の画像データを取得する。撮像素子13は、複数の画素を有する。撮像素子13の画素および撮像素子13により取得される画像データについては、後で詳述する。
【0026】
画像キャプチャーボード2は、撮像素子13で取得された画像データを取り込み、以降の処理が行なえる形に変換する。メモリ3は、画像キャプチャーボード2から転送された画像データを格納する。
【0027】
画像処理部4は、メモリ3から画像データを読出し、読み出した画像データに基づき、物体までの距離を算出する処理を行なう。画像処理部4は、画像データの一部領域を選択する領域選択部4dと、選択領域に含まれる画素データを並び替えて、撮像素子13が異なる複数の仮想位置の各々に位置する場合に得られるべき再構成画像を生成する再構成部4aと、複数の再構成画像の各々において、輝度情報を算出する輝度情報算出部4bと、対象物までの距離を算出する距離情報算出部4cとからなる。画像処理部4の行なう処理の詳細については、後述する。
【0028】
(2.画像センサカメラの特徴について)
本発明においては、画像センサカメラ1の光学系の構成に特徴があり、図2を用いて、その特徴を説明する。図2は、画像センサカメラ1の光学系を示す図である。なお、簡単のため、図2には、対象物14が点光源である場合を示す。
【0029】
画像センサカメラ1のマイクロレンズアレイ12は、対象物14がAの位置にある場合に、メインレンズ12より対象物14がほぼ結像する位置に配置される。このときのAの位置を合焦点位置、合焦点位置よりもメインレンズ11に近い側を近点位置、合焦点位置よりもメインレンズ11から遠い側を遠点位置と呼ぶ。撮像素子13はマイクロレンズアレイ12のほぼ焦点位置に配置されている。撮像素子13には、対象物の光が、マイクロレンズを通して、入射される。また、それぞれのマイクロレンズを通過した光が、互いに重なることなく撮像素子13上に入射するように、画像センサカメラ1の光学系は調整されているものとする。
【0030】
次に、図3〜図9を用いて、この画像センサカメラ1により撮像される画像について説明する。
【0031】
図3を用いて、対象物14の結像について説明する。図3は、対象物14が近点位置Bまたは遠点位置Cにある場合の集光の様子を示す図である。対象物14が位置Bにある場合、対象物14からの光は、メインレンズ11により、面Dに集光(結像)する。また、位置Cにある場合、面Fに集光(結像)する。また、面Eは、合焦位置Aに対する集光面であり、ほぼマイクロレンズアレイ12の位置に相当する。
【0032】
続いて、対象物14が図3の位置A,B,Cにある場合に撮像素子13により、どのような画像が撮像されるかを図4、図5を用いて説明する。図4はマイクロレンズアレイ12上の入射光15の形状を示す図であり、図5は撮像素子13上の入射光16の形状を示す図である。
【0033】
まず、対象物14が図3の位置A,B,Cにある場合にマイクロレンズアレイ12上にどのような形状の入射光15が入射するかについて図4を用いて説明する。図4に示すように、本実施例においては、マイクロレンズアレイ12は、2次元面内に配列された円形のマイクロレンズからなるものとする。また、各マイクロレンズには、それらを識別するための番号M(i,j)が与えられているものとする。図4(a)、図4(b)、図4(c)は、それぞれ、対象物14が、遠点位置Cにある場合、合焦位置Aにある場合、近点位置Bにある場合のマイクロレンズアレイ12上の入射光15の形状を示す図である。
【0034】
合焦位置Aにある対象物14からの光は図4(b)のようにほぼマイクロレンズM(2,2)上に集光される。
【0035】
対象物14が遠点位置Cにある場合、対象物14からの光は、メインレンズ11を通して一旦集光された後、さらにデフォーカス状態になって広がってマイクロレンズ12上に入射する。したがって、図4(a)に示すように、マイクロレンズアレイ12上の入射光15は、マイクロレンズM(2,2)の周辺レンズM(1,2)、M(2,1)、M(2,3)、M(3,2)にまで広がる。
【0036】
対象物14が近点位置Bにある場合は、集光前のデフォーカス状態の光が、マイクロレンズ12上に入射する。したがって、図4(b)に示すように、マイクロレンズアレイ12上の入射光15は、マイクロレンズM(2,2)の周辺レンズM(1,2)、M(2,1)、M(2,3)、M(3,2)にまで広がる。
【0037】
撮像素子13上の入射光16について図5を用いて説明する。図5に示すように、撮像素子13は、複数の画素群からなる。各画素群には、番号T(i,j)が付されている。また、各画素群は、マイクロレンズの1つを通過した物体光を検出する。言い換えると、マイクロレンズM(i,j)を通過した光は、画素群T(i,j)に入射する。なお、図では、画素群が10×10の画素で構成されている場合を示しているが、画素群を構成する画素の数はこれに限られない。
【0038】
対象物14が合焦位置Aにある場合、図4(b)のようにほぼマイクロレンズM(2,2)上に集光された光が、撮像素子13に入射する。したがって、撮像素子13に入射する光は、図5(b)に示すように、撮像素子14の画素群T(2,2)に対して全面に広がる。
【0039】
対象物14が遠点位置Cにある場合、マイクロレンズアレイ12上で、図4(a)のように周辺レンズM(1,2)、M(2,1)、M(2,3)、M(3,2)にも広がった光が、撮像素子13に入射する。これらの周辺レンズに入射した光は、撮像素子13上では、図5(a)に示すように、それぞれのマイクロレンズに対応する画素群T(1,2)、T(2,1)、T(2,3)、T(3,2)の一部に入射する。
【0040】
図5(c)は、近点位置Bに対象物14が位置する場合に、撮像素子13に入射する光の形状を示す図である。対象物が遠点位置Cにある場合と同様に、画素群T(1,2)、T(2,1)、T(2,3)、T(3,2)の一部にも光が入射する。
【0041】
(3.画像の再構成について)
次に、本装置において距離情報を算出するための基本操作である、各仮想面での像の再構成について説明する。
【0042】
画像の再構成にあたっては、画像センサカメラ1で取得した画像データから、マイクロレンズへの物体光の入射方向の情報を得られるという点が重要である。画像データから入射方向の情報が得られることを、図5を再度用いて説明する。例えば、遠点位置Cにある対象物14からの光は、図5(a)に示すように、画素群T(2,2)を中心に、周囲の画素群T(1,2)、T(2,1)、T(2,3)、T(3,2)の中の外側の一部の決まった画素に入射する。また、逆に、近点位置Bにある対象物14からの光は、図5(c)に示すように、画素群T(2,2)を中心に、周囲の画素群T(1,2)、T(2,1)、T(2,3)、T(3,2)の中の内側の一部の決まった画素に入射する。このように各画素群に含まれる画素のうちどの画素に光が入射したかにより、各画素群に対応する位置に設置されたマイクロレンズへの物体光の入射方向の情報を得ることができる。
【0043】
この入射方向の情報、仮想面の位置(仮想位置)、および、光学系のパラメータ(メインレンズ11とマイクロレンズアレイ12間の距離など)に基づき、撮像素子13が取得した画素データを並び替えることで、撮像素子13が仮想位置にある場合に取得されるべき画像データを取得することができる。
【0044】
並び替えの具体例を図6を用いて説明する。図6は、対象物14の撮影像のデータを変換して得た再構成画像を示す図である。例えば、図6(a)は図5(a)に示した画像データから再構成した仮想面F上での光の分布を示したもので、図5(b)の合焦位置での光ビーム状態とほぼ同じになる。周囲の決まった画素に入射する光、すなわち、画素出力だけを集めて、画素群T(2,2)の中央付近の画素出力と足し合わせ、改めて画素群T(2,2)の出力とすることで、仮想面Fでの画像を作り出すことができる。一方、近点位置Bにある対象物(点像)に対しては、撮像素子13上での広がり(分割状態)は、図5(c)のように遠点状態とは異なるので、異なる演算(周囲画素群の内側の一部の画素出力を足し合わせる)により、同じく図6(c)の再構成像が生成できる。
【0045】
なお、ここでは対象物が点像の場合の例を示したが、大きさを有する対象物の場合にも、同様の操作で画像の再構成ができる。ただし、大きさを有する画像の場合、全てのマイクロレンズに光が入射するので、各マイクロレンズに対応する画素群T(1,1)〜T(3,3)に対して同様の操作を行う必要がある。
【0046】
対象物14が点像でない場合の再構成画像について、図7および図8を用いて説明する。図7は、矢印形状の対象物14が近点位置Bにある場合の集光の様子を示す図であり、図8は、図7中に示される仮想面で取得される画像を示す図である。
【0047】
対象物14が近点位置Bにあるため、ほぼ撮像素子13の位置にある仮想面Eにおける取得画像は図8(a)のようにボケた画像となる。しかし、仮想面をD1,D2,D3と変えていくと、それぞれの再構成画像は図8(b)、(c)、(d)のようになる。D3まで変えると、D3は位置Bに対する仮想面であるため、位置Bにある対象物のフォーカシングされた画像が得られる。
【0048】
なお、図8の画像は、マイクロレンズアレイ12を通して取得した画像に相当するため、画像を拡大すると、図9に示すように、マイクロレンズ毎の画素群を1つの単位とした画像となっている。図9は、図8中に枠で囲った部分を拡大した画像を示す図である。
【0049】
このように、一度の撮像により得た撮像データを画像処理することにより、複数の仮想面での画像を再構成することができる。
【0050】
(4.選択領域の決定)
続いて、本発明の特徴である、処理対象となる領域の選択について説明する。図8、図9から分かるように、仮想面を変えた場合、エッジ部分(画像上の輝度変化が大きい部分)の画素には変化が現れるが、エッジ部分以外の領域には、ほとんど画像の変化は生じない。
【0051】
このことから、撮像画像のエッジ部分あるいはエッジ部分の近傍領域に含まれる画素のみを並び替えても、適切な再構成画像を得ることができる。このように、一部の領域の画素データを用いて画像の並び替えを行なえば、全領域について画像の再構成を行なうのに比べ、大幅に処理が高速化され、かつ、処理に必要な画像用メモリも少ない容量で済ませることができる。本発明はこの点に着目したものである。
【0052】
さて、撮像画像上のエッジ部分を検出する方法を図10を用いて述べる。図10は、エッジ部分の検出について説明するための図である。撮像画像が図10(a)のようであったとする。領域選択部4dは、この画像に対して、エッジを検出するための空間フィルタを適用する。エッジ検出のための空間フィルタとして、隣接画素との差分を計算する一次微分フィルタがある。例えばsobelフィルタ、Robertsフィルタ等が提案されている。図10(a)に一次フィルタを施した結果を図10(b)に示す。この図では、隣接画素との差分が大きい部分ほど暗い色で示している。ここで、図10(b)の画像上の鎖線で示した部分の画素の値の分布を図10(c)に示す。大きな矢印のエッジ部分はほぼ合焦点であり、背景とのコントラストが大きいために差分値も大きく出ている。小さな矢印のエッジ部分は合焦点から外れて若干ボケが出ており、背景とのコントラストがあまり大きくないために差分値はやや小さく出ている。また、丸状の物体については全体にボケており、背景とのコントラストがあまりないため差分値も小さい。
【0053】
差分値はこのようにエッジと相関のある分布を示すため、ある閾値を設け、差分値画像に閾値処理を施すことによりエッジ領域を抽出することができる。例えば、閾値よりも大きい値を持つ部分をエッジとみなすものとする。閾値は目的に応じて適宜決めればよく、コントラストの強いエッジのみを検出するには閾値を大きく、逆に、コントラストの弱いエッジも検出するには閾値を小さく設定すればよい。エッジの分布を、撮像画像全てについて調べて検出されたエッジを示したものが図10(d)である。
【0054】
画像の再構成を行うには、選択領域は、検出されたエッジに加えて、エッジの近傍領域を含むことが好ましい。エッジを中心とした領域は、遠点、近点による光の分布を含むからである。この領域は、光学系によって変わるため適宜設定する必要があるが、通常は、マイクロレンズ毎の画素群を1つの単位とした時、エッジを中心とした数画素群の領域である。例えば、エッジの位置座標を(xedge,yedge)、x方向、y方向の画素群の長さをそれぞれxp,ypとして、xedge−sxp≦x≦xedge+txp、yedge−uyp≦x≦yedge+vypを満たす(x,y)の集合を選択領域とする。ここで、s、t、u、vは正の整数である。なお、通常はs=t=u=vととる。
【0055】
図10(e)の網掛け部分は、図10(d)のエッジに対応して選択された領域である。図10(a)上で図10(e)の領域部分を切り取ることで、図10(f)のような選択領域画像を得ることができる。
【0056】
ただし、図10(e)、図10(f)は、あくまで選択領域のイメージを示す図であって、厳密には、選択領域の形は、これらの図のようにはならず、図11のようになる。図11は、エッジと選択領域の関係を示した図である。この図は、選択領域が、xedge−xp≦x≦xedge+xp、yedge−yp≦x≦yedge+ypを満たす(x,y)の集合である場合に対応する。図11中の近傍領域とエッジ部分とを合わせた部分が選択領域となる。
【0057】
また、以上では、画像データ全体から選択領域を決定する場合を示したが、画像データ中の設定された領域(以下、処理領域とよぶ)から選択領域を決定してもよい。処理領域は、例えば、ユーザの指示に応じて決定される。この構成によれば、ユーザがモニタ5に表示された画像データを確認し処理領域を決定することで、計算量を削減でき、処理を高速化できる。
【0058】
なお、処理領域を選択する場合には、一繋がりのエッジを分断するような選択は好ましくない。この理由を図12を用いて説明する。図12は、一繋がりのエッジの分断について説明するための図である。図12(a)のような画像があるとする。この画像のエッジを検出した結果、図12(b)の画像を得たとする。この画像上のエッジの一部(四角で囲んだ部分)の拡大図を図12(c)に示す。
【0059】
図12(b)の画像について領域を選択する際に、図12(d)に示すような画像のエッジを分断する処理領域Rを選んだとする。また、図12(d)中の四角で囲んだ部分の拡大図を図12(e)に示す。処理領域Rを選択した場合、図12(e)のGの部分の画素群については、斜め右下方向および下方向の光の分布を含む領域の情報が失われてしまう。したがって、エッジを分断する領域を選択することは、再構成に好ましくない。以上より、領域の選択時には、エッジを途中で分断することなく、一繋がりのエッジを含む領域であることが好ましい。一繋がりのエッジを含む領域を選択するには、例えば、検出されたエッジ領域をすべて含むように領域を選択すればよい。
【0060】
しかしながら、予め距離情報の検出が必要な領域が決まっているのであれば、エッジを分断するような領域を選択しても構わない。図12(e)を用いて説明すると、Gの部分の距離情報が不要ならば、処理領域Rを選択してもよい。このような領域選択を行い必要な領域のみ処理することで、全体の処理時間を短縮できる。
【0061】
なお、ここに記した一連の処理は、領域選択部4dで行う。
(5.距離情報の取得方法について)
次に、上記の方法により選択された領域について、仮想面の画像を再構成し、さらに画像の中の対象物の距離情報(3次元情報)を取得する方法について、図13を参照しつつ説明する。図13は、距離情報の取得の各工程で生成される画像データについて説明するための図である。
【0062】
距離情報の取得にあたっては、まず、画像センサカメラ1により、対象物の画像データを取得する。取得された画像データは、画像キャプチャーボード2を介してメモリ3に記憶される。そして、画像処理部4に含まれる領域選択部4dは、上に説明した方法により、選択領域を決定する。この画像データを、図13(a)に示すようにf(i,j)とする。
【0063】
その後、画像処理部4は、画像データf(i、j)を処理することにより、対象物の距離情報を取得する。この処理は大きく、「再構成ステップ」、「輝度情報算出ステップ」、「距離情報算出ステップ」に分かれる。以下、それぞれの処理について説明する。
【0064】
(1)再構成ステップ
画像処理部4に含まれる再構成部4aは、画像データf(i,j)を並び替えて、図13(b)に示すようなN個の仮想面での再構成画像データgn(i,j)を生成する。ここでn(n=1〜N)は仮想面の順番を示す。この並び替えを、焦点面変換係数An(n=1〜N)を用いて、gn(i,j)=An(f(i,j))と表すことにする。ここで、Anは、各画素群における物体光を検出した画素の位置により定まる各マイクロレンズへの物体光の入射方向、仮想位置、および、光学系のパラメータに基づいて決定されるものである。
【0065】
なお、再構成部4aは、例えば、特に限られるわけではないが、本実施例においては予め定められた間隔で並んだ複数の仮想位置に対して再構成画像データを取得するものとする。また、再構成部4aは、以下で述べる方法で焦点の合った仮想位置が算出された場合、焦点の合った仮想位置近傍では、仮想位置の間隔をさらに狭くして、狭い間隔の仮想位置に対して再構成画像を取得してもよい。この構成によれば、距離検出の精度を高めることができる。
【0066】
このステップでは、1個の画像データf(i,j)が、図13(b)に示すようなN個の再構成画像データ、すなわち、g01(i,j)=An(f(i,j))、g02(i,j)=An(f(i,j))、…、gn(i,j)=An(f(i,j))、…、gN(i,j)=An(f(i,j))が得られる。
【0067】
(2)輝度情報算出ステップ
輝度情報算出部4bは、再構成画像データgn(i,j)から、輝度に関連する輝度情報を算出する。ここで、輝度情報とは、具体的には、輝度の差分値に関する情報である。この輝度に関する情報の算出は、以下の手順で行なわれる。
【0068】
まず、輝度情報算出部4bは、各再構成画像データgn(i,j)に対して、図13(c)に示すような各画素群を一様輝度を有する画素に変換した画像データhn(i’,j’)を生成する。ここで、一様輝度は、各画素群に含まれる画素の輝度と対応する輝度であればよい。例えば、輝度情報算出部4bは、一様輝度として、各画素群に含まれる画素の輝度の平均値、あるいは輝度の総和を算出する。
【0069】
本実施例では、m×m個の画素からなる画素群が、一様な輝度を有する1つの画素に変換(平均化)されるものとする。この変換は、平均化係数をBnとして、hn(i’,j’)=Bn(gn(i,j))と表される。
【0070】
平均化処理の具体例を図14を用いて説明する。図14は、図9に示す画像に対し平均化処理を行った場合の画素群の輝度分布を示す図である。図14(a)〜(d)はそれぞれ図9(a)〜(d)の輝度分布を画素群内で平均化処理したものである。
【0071】
本ステップにより、処理対象となるデータ量を1/m2に削減できる。そのため、以降の処理の画像処理速度が大幅に向上する。ただし、この処理は、必須ではない。
【0072】
次に、輝度情報算出部4cは、各再構成画像について、画素間の輝度の差分値を計算する。上述の平均化処理が行なわれている場合、輝度情報算出部4cは、各画像データhn(i’,j’)において、各画素群について隣接画素群との輝度の差分値を計算し、図13(d)に示すような差分値画像データkn(i’,j’)を作成する。hnとknとの関係を、差分値変換係数をCnとして、kn(i’,j’)=Cn(h(i’,j’))と表すことにする。ここで、差分値変換係数Cnは、例えば、一般的に用いられているRoberts法と呼ばれるエッジ検出法を利用する場合には、(i’,j’)の画素群に対して、x方向の微分値dx=h(i',j’)−h(i'+1,j’+1)、y方向の微分値dy=h(i'+1,j’)−h(i',j’+1)を用いて、(dx2+dy2)1/2で与えられる。ただし、差分値変換係数としては、これに限ることなく、単純な微分法、Sobel法や2次微分を用いるラプラシアン法など様々なフィルタ窓を設定することができる。図13(d)に示すように、N枚の差分値画像が作成される。
【0073】
なお、上述の平均化処理を行なっていない場合には、輝度情報算出部4bは、単純に、各再構成画像の各画素について、隣接する画素との輝度値の差分を計算し、差分値画像データを取得する。
【0074】
(3)距離情報算出ステップ
距離情報算出部4cは、輝度情報算出ステップで得られた情報に基づき、次の手順で、対象物の距離情報を算出する。
【0075】
まず、距離情報算出部4cは、差分値画像データに基づき、複数の再構成画像に共通の各画素位置 p=(i’,j’) での差分値強度の最大値を検出し、その最大値が検出されるn値(以後、代表値と呼ぶ)を求め、図13(e)に示すような代表値画像データs(i’,j’)を生成する。すなわち、各p=(i’,j’)においてkn(i’,j’)〜kN(i’,j’)を最大とするnの値をs(i’,j’)とおく。図9あるいは図14で示すように、合焦位置での画像において、最もエッジ部の画素群輝度変化が大きい。よってエッジ強度値が最大となる仮想面の位置が合焦状態を示していると判定できる。このことを利用して、対象物までの距離を算出することができる。
【0076】
あるいは、差分値分布の近似曲線から、代表値を求めてもよい。この求め方を図15を用いて説明する。図15は、差分値分布の近似曲線から代表値を求める方法を説明するための図である。図15(a)は、異なる距離に配置されている2つの対象物の再構成像を示す図である。図15(b)は、図15(a)に示した各対象物のエッジ付近の画素位置(14A、15B)における差分値強度を、仮想面の位置(n値)について、プロットしたものである。各対象物に対して、画素位置(i',j')において、n値についてプロットした差分値強度の近似曲線を求め、近似曲線のピークのn値(図15(b)中のn1、n2)を、代表値s(i',j')として求める。この代表値は対象物の像にピントが合っている仮想面の位置を示している。
【0077】
最後に、距離情報算出部4cは、各画素位置において最大差分値強度が得られる代表値画像s(i’,j’)を、既知の光学系の倍率データ等を用いて、距離情報検出装置から対象物までの絶対距離d(i’,j’)に変換し、図13(f)に示すような最終的な距離画像データ d(i’,j’)を生成する。
【0078】
本願発明が行なう処理の流れを図16を用いて説明する。図16は本願発明が行なう処理を説明するためのフローチャートである。
【0079】
まず、画像処理装置4は、ステップS101において、画像データを取得する。この画像データは、画像センサ1により対象物を1回撮影することにより得られる。
【0080】
次に、画像処理装置4は、ステップS102において、画像データから、エッジ領域を抽出する。
【0081】
そして、画像処理装置4は、ステップS103において、画像データから、エッジ領域を含む選択領域を決定する。
【0082】
続いて、画像処置装置4は、ステップS104において、選択領域中の画像データを並び替え、複数の仮想位置について再構成画像を作成する。
【0083】
そして、画像処理装置4は、ステップS105において、各画素群の平均化を行なう。すなわち、各画素群を一様輝度を有する画素に変換する。ただし、このステップは必須ではない。
【0084】
そして、画像処理装置4は、ステップS106において、再構成画像データから差分値画像データを作成する。
【0085】
さらに、画像処理装置4は、ステップS107において、差分値画像データから、代表値データを作成する。
【0086】
そして、画像処理装置4は、ステップS108において、光学系の倍率より、代表値データを対象物の距離データに変換し、距離データを作成する。
【0087】
上記距離情報算出アルゴリズムにより、単一の撮像データから画像処理により、異なるフォーカシング状態(仮想面)の複数の画像を生成し、そのデータより対象物の距離画像を得ることができる。また、奥行き方向の前後の位置関係や、対象物の異なるエッジの距離情報から傾きや姿勢を求めることも可能である。
【0088】
非特許文献1に記載されているような従来のプレノプティックカメラとしては、設定した距離にピントを合せた画像は再構成できるが、画像の対象物の距離情報を求めることはできなかった。これに対し、本発明では、距離情報を算出することができる。
【0089】
また、特許文献1のようにステージ等で対象物の高さを変化させて、オートフォーカシングを行った後、複数枚の画像を取得し、それらの輝度情報に基づいて、高さ情報を求める方法に対して、本発明の方法は、カメラレンズのフォーカシング機構やステージなどの移動機構が不要となるため、小型かつ低コストである。
【0090】
しかも一度の撮像操作で取得した画像データから距離データを算出できるため、カメラや対象物の複数回の移動時間や撮影時間または移動に伴う各画像のマッチング操作などの時間が不要となり、大幅な測定時間短縮も可能となる。1つの取得画像から複数の再構成画像を生成する操作については、シリアルに処理する必要はなくパラレルに合成できるため、複数回の撮影時間が省略でき、高速測定に有利である。
【0091】
特に、本発明は、画像データからエッジを抽出し、エッジを含む領域に対し、距離データを求めるので、大幅に処理を高速化できる。また、処理に必要な画像用メモリも少ない容量で済ませることができる。
【0092】
さらに、本光学系は、撮像素子のごく近傍にマイクロレンズアレイを組み込む構成なので、従来の画像センサカメラとほぼ同サイズであるため、広くFA用途としてロボットなどの視覚センサに用いられている2次元画像センサカメラとほぼ同じ外径サイズに収まるため、従来カメラとの互換性(置換え)が高い。
【0093】
また、本方法では、撮像素子の画素単位ではなく、1つのマイクロレンズに対応する複数の画素から構成される画素群単位での輝度情報を用いることで、距離情報の算出にあたっての計算回数、処理時間を短縮することができる。
【0094】
今回開示された実施の形態はすべての点で例示であって制限的なものではない。本発明の範囲は上記した実施の形態ではなくて特許請求の範囲によって示され、特許請求の範囲と均等な意味および範囲内でのすべての変更点が含まれることが意図される。
【産業上の利用可能性】
【0095】
本発明は、カメラを用いた距離測定に関し、例えば、製造ライン等における機械部品の3次元的な位置、姿勢、形状の計測、または製品の外形形状などの検査に用いられる。
【図面の簡単な説明】
【0096】
【図1】本発明の実施の形態に係る距離情報検出装置の概略構成図である。
【図2】画像センサカメラ1の光学系を示す図である。
【図3】対象物14が近点位置Bまたは遠点位置Cにある場合の集光の様子を示す図である。
【図4】マイクロレンズアレイ12上の入射光15の形状を示す図である。
【図5】撮像素子13上の入射光16の形状を示す図である。
【図6】対象物14の撮影像のデータを変換して得た再構成画像を示す図である。
【図7】矢印形状の対象物14が近点側Bある場合の集光の様子を示す図である。
【図8】図7中に示される仮想面で取得される画像を示す図である。
【図9】図8中に枠で囲った部分を拡大した画像を示す図である。
【図10】エッジ部分の検出について説明するための図である。
【図11】エッジと選択領域の関係を示した図である。
【図12】一繋がりのエッジの分断について説明するための図である。
【図13】距離情報の取得の各工程で生成される画像データについて説明するための図である。
【図14】図9に示す画像に対し平均化処理を行った場合の画素群の輝度分布を示す図である。
【図15】差分値分布の近似曲線から代表値を求める方法を説明するための図である。
【図16】本願発明が行なう処理を説明するためのフローチャートである。
【図17】共焦点顕微鏡の原理を用いた高さ情報測定装置の構成を示す図である。
【図18】共焦点顕微鏡の原理を用いた高さ情報測定装置による試料の高さ情報の検出アルゴリズムを説明する図である。
【符号の説明】
【0097】
1 画像センサカメラ、2 画像キャプチャボード、3 メモリ、4 画像処理部、4a 再構成部、4b 輝度情報算出部、4c 距離情報算出部、4d 領域選択部、5 表示モニタ、11 撮像レンズ、12 マイクロレンズアレイ、13 撮像素子、14 対象物、15 マイクロレンズアレイ12上の入射光、16 撮像素子13上の入射光。
【特許請求の範囲】
【請求項1】
対象物までの距離を測定するための距離測定装置であって、
対象物からの物体光を集光する撮像レンズと、前記撮像レンズを通過した前記物体光が入射する複数の集光器からなる集光アレイと、前記集光アレイを通過した前記物体光の画像データを取得する撮像素子とを含むカメラを備え、
前記撮像素子は、複数の画素を有し、前記複数の画素は、前記集光器の1つを通過した前記物体光を検出する複数の画素群に分割されており、
前記画像データからエッジを抽出し、前記エッジの少なくとも一部を含む領域を選択する領域選択手段と、
前記選択された領域において、各前記画素群における前記物体光を検出した前記画素の位置により定まる前記物体光の前記集光器への入射方向に基づき前記複数の画素を並び替えて、前記撮像素子が複数の仮想位置の各々に位置する場合に得られるべき前記選択された領域の再構成画像を生成する再構成手段と、
前記複数の再構成画像の各々について、各前記画素と当該画素近傍の画素との間の前記輝度の差分値を算出する差分値算出手段と、
前記複数の再構成画像に共通の各画素位置に対して、前記差分値が最大である前記画素を有する前記再構成画像に対応する前記仮想位置を特定し、前記カメラの光学系のパラメータに基づき前記特定された前記仮想位置を変換し前記距離を算出する距離算出手段とを備える、距離測定装置。
【請求項2】
前記領域選択手段は、前記画像データの中から処理領域を決定し、前記処理領域中のエッジを含む領域を選択する、請求項1に記載の距離測定装置。
【請求項3】
前記領域選択手段は、一繋がりの前記エッジを含む領域を前記処理領域として決定する、請求項2に記載の距離測定装置。
【請求項4】
前記画像データに含まれる前記エッジ全体を含む領域を前記処理領域として決定する、請求項3に記載の距離測定装置。
【請求項5】
前記領域選択手段は、前記処理領域中のエッジおよび前記処理領域中のエッジの近傍領域を選択する、請求項2から4のいずれか1項に記載の距離測定装置。
【請求項6】
前記領域選択手段は、前記エッジからの距離が設定された値以下の領域を前記近傍領域として決定する、請求項5に記載の距離測定装置。
【請求項7】
対象物までの距離を測定するための距離測定方法であって、
撮像レンズと複数の集光器からなる集光アレイとを通過した前記対象物からの物体光の画像データを、複数の画素を有し、前記複数の画素は、前記集光器の1つを通過した前記物体光を検出する複数の画素群に分割されている撮像素子で取得するステップと、
前記画像データからエッジを抽出するステップと、
前記エッジ部分を含む領域を選択するステップと、
前記選択された領域において、各前記画素群における前記物体光を検出した前記画素の位置により定まる前記物体光の前記集光器への入射方向に基づき前記複数の画素を並び替えて、前記撮像素子が複数の仮想位置の各々に位置する場合に得られるべき前記選択された領域の再構成画像を生成するステップと、
前記再構成画像の各々について、各前記画素と当該画素近傍の画素との間の前記輝度の差分値を算出するステップと、
前記複数の再構成画像に共通の各画素位置に対して、前記差分値が最大である前記画素を有する前記再構成画像に対応する前記仮想位置を特定するステップと、
前記カメラの光学系のパラメータに基づき前記特定された前記仮想位置を変換し前記距離を算出するステップとを備える、距離測定方法。
【請求項1】
対象物までの距離を測定するための距離測定装置であって、
対象物からの物体光を集光する撮像レンズと、前記撮像レンズを通過した前記物体光が入射する複数の集光器からなる集光アレイと、前記集光アレイを通過した前記物体光の画像データを取得する撮像素子とを含むカメラを備え、
前記撮像素子は、複数の画素を有し、前記複数の画素は、前記集光器の1つを通過した前記物体光を検出する複数の画素群に分割されており、
前記画像データからエッジを抽出し、前記エッジの少なくとも一部を含む領域を選択する領域選択手段と、
前記選択された領域において、各前記画素群における前記物体光を検出した前記画素の位置により定まる前記物体光の前記集光器への入射方向に基づき前記複数の画素を並び替えて、前記撮像素子が複数の仮想位置の各々に位置する場合に得られるべき前記選択された領域の再構成画像を生成する再構成手段と、
前記複数の再構成画像の各々について、各前記画素と当該画素近傍の画素との間の前記輝度の差分値を算出する差分値算出手段と、
前記複数の再構成画像に共通の各画素位置に対して、前記差分値が最大である前記画素を有する前記再構成画像に対応する前記仮想位置を特定し、前記カメラの光学系のパラメータに基づき前記特定された前記仮想位置を変換し前記距離を算出する距離算出手段とを備える、距離測定装置。
【請求項2】
前記領域選択手段は、前記画像データの中から処理領域を決定し、前記処理領域中のエッジを含む領域を選択する、請求項1に記載の距離測定装置。
【請求項3】
前記領域選択手段は、一繋がりの前記エッジを含む領域を前記処理領域として決定する、請求項2に記載の距離測定装置。
【請求項4】
前記画像データに含まれる前記エッジ全体を含む領域を前記処理領域として決定する、請求項3に記載の距離測定装置。
【請求項5】
前記領域選択手段は、前記処理領域中のエッジおよび前記処理領域中のエッジの近傍領域を選択する、請求項2から4のいずれか1項に記載の距離測定装置。
【請求項6】
前記領域選択手段は、前記エッジからの距離が設定された値以下の領域を前記近傍領域として決定する、請求項5に記載の距離測定装置。
【請求項7】
対象物までの距離を測定するための距離測定方法であって、
撮像レンズと複数の集光器からなる集光アレイとを通過した前記対象物からの物体光の画像データを、複数の画素を有し、前記複数の画素は、前記集光器の1つを通過した前記物体光を検出する複数の画素群に分割されている撮像素子で取得するステップと、
前記画像データからエッジを抽出するステップと、
前記エッジ部分を含む領域を選択するステップと、
前記選択された領域において、各前記画素群における前記物体光を検出した前記画素の位置により定まる前記物体光の前記集光器への入射方向に基づき前記複数の画素を並び替えて、前記撮像素子が複数の仮想位置の各々に位置する場合に得られるべき前記選択された領域の再構成画像を生成するステップと、
前記再構成画像の各々について、各前記画素と当該画素近傍の画素との間の前記輝度の差分値を算出するステップと、
前記複数の再構成画像に共通の各画素位置に対して、前記差分値が最大である前記画素を有する前記再構成画像に対応する前記仮想位置を特定するステップと、
前記カメラの光学系のパラメータに基づき前記特定された前記仮想位置を変換し前記距離を算出するステップとを備える、距離測定方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図9】
【図11】
【図13】
【図16】
【図17】
【図18】
【図8】
【図10】
【図12】
【図14】
【図15】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図9】
【図11】
【図13】
【図16】
【図17】
【図18】
【図8】
【図10】
【図12】
【図14】
【図15】
【公開番号】特開2009−210520(P2009−210520A)
【公開日】平成21年9月17日(2009.9.17)
【国際特許分類】
【出願番号】特願2008−56385(P2008−56385)
【出願日】平成20年3月6日(2008.3.6)
【出願人】(000005049)シャープ株式会社 (33,933)
【Fターム(参考)】
【公開日】平成21年9月17日(2009.9.17)
【国際特許分類】
【出願日】平成20年3月6日(2008.3.6)
【出願人】(000005049)シャープ株式会社 (33,933)
【Fターム(参考)】
[ Back to top ]