距離測定装置および距離測定方法
【課題】奥行き分解能の高い距離測定装置あるいは距離測定方法を提供する。
【解決手段】本発明に係る距離測定装置は、画像センサカメラ１と、画像キャプチャボード２と、画像データを保存するメモリ３と、画像データから対象物までの距離情報を算出する画像処理部４と、画像処理部４で算出された距離情報を表示する表示モニタ５とを備える。画像処理部４は、再構成画像を生成する再構成部４ａと、複数の再構成画像の各々を複数の領域に分割し、各領域について、領域に含まれる画素の輝度の大きさを代表する第１の代表値を算出し、第１の代表値に基づいて画素群内の輝度分布の偏りの大きさを表わす第２の代表値を算出する輝度情報算出部４ｂと、第２の代表値に基づいて対象物までの距離を算出する距離情報算出部４ｃとからなる。
【解決手段】本発明に係る距離測定装置は、画像センサカメラ１と、画像キャプチャボード２と、画像データを保存するメモリ３と、画像データから対象物までの距離情報を算出する画像処理部４と、画像処理部４で算出された距離情報を表示する表示モニタ５とを備える。画像処理部４は、再構成画像を生成する再構成部４ａと、複数の再構成画像の各々を複数の領域に分割し、各領域について、領域に含まれる画素の輝度の大きさを代表する第１の代表値を算出し、第１の代表値に基づいて画素群内の輝度分布の偏りの大きさを表わす第２の代表値を算出する輝度情報算出部４ｂと、第２の代表値に基づいて対象物までの距離を算出する距離情報算出部４ｃとからなる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像レンズ、マイクロレンズアレイを通して撮像素子で取得した、対象物の画像データに基づいて、対象物までの距離を測定する技術に関する。
【背景技術】
【０００２】
近年、産業用ロボットや各種ＦＡ（Ｆａｃｔｏｒｙ Ａｕｔｏｍａｔｉｏｎ）機器を用いた生産ラインを自動化するシステムの構築、あるいは、知能ロボットのインテリジェント化を図るために、対象物の距離情報を取得するための視覚センサが重要となってきている。特に、ロボットアームを用いたシステムにおいては、ワークの位置、姿勢、形状等の計測のための視覚センサとして画像センサカメラが多く用いられている。
【０００３】
また、半導体デバイスや回路部品の実装基板の製造などにおいても、品質を管理するために半田バンプや金バンプなど２次元状に配置された微小なデバイスの高さ情報を測定するというニーズが高まっている。
【０００４】
このようなニーズに対応するために、従来、２次元の画像センサカメラの画像から擬似的に高さや姿勢情報を検出する方法や、複数の画像センサカメラを用いたステレオ方式による３次元情報測定システムなどが用いられている。
【０００５】
また、撮像素子を用いたカメラシステムにおいて、取得した画像データをデジタル処理により合成し、後で好きなようにピントを手前または奥に移動できるプレノプティックカメラ技術が“Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ ｗｉｔｈ ａ Ｈａｎｄ−ｈｅｌｄ Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ”，Ｓｔａｎｆｏｒｄ Ｔｅｃｈ Ｒｅｐｏｒｔ ＣＴＳＲ ２００５−０２（非特許文献１）の中で提案されている。非特許文献１に記載のプレノプティックカメラは、普通のカメラレンズと同様の撮像レンズを有するが、マイクロレンズアレイが像平面に正確に配置され、さらにマイクロレンズアレイより多くの撮像ピクセルを有するイメージセンサアレイ（撮像素子）がマイクロレンズアレイのすぐ背後に置かれている点で、普通のカメラとは異なる。マイクロレンズアレイ内のレンズの数で最終画像の画素数は決まるが、単一マイクロレンズに割り当てられた多数のセンサピクセルにより、そのマイクロレンズに入射する光の方向と強度を記録することができる。そのデータを用いて、所定の距離にピントを合せた画像を再構成することができるというものである。
【０００６】
この装置による画像の再構成画像について、図１３、図１４を用いて説明する。図１３の有限の大きさを持つ矢印形状の対象物１４が、位置Ｂにある場合の集光の様子を示す図である。図１４は、対象物１４が位置Ｂにある場合に取得される画像を説明するための図である。対象物１４からの光は、図１３に示すように、メインレンズ１１、マイクロレンズアレイ１２により集光され、面Ｅに置かれた撮像素子１３に入射する。ここで、対象物１４は、面Ｅに対応する焦点位置Ａに比べ、メインレンズ１１に近い位置にあるため、このときの撮像素子１３での取得画像は図１４（ａ）のようにボケた画像となる。しかし、再構成の演算により、撮像素子１３が仮想位置Ｄ１、Ｄ２にある場合に撮像される画像を取得することができる。例えば、仮想位置Ｄ１、Ｄ２での再構成画像として、それぞれ、図１４（ｂ）、（ｃ）のような画像を取得できる。この例では、仮想位置Ｄ２において、対象物のフォーカシングされた画像が得られていることが分かる。
【０００７】
このように、メインレンズからの距離を入力することにより、その位置に相当する仮想位置での画像を再構成することができる。
【０００８】
なお、撮像素子１３で得られる画像は、マイクロレンズアレイ１２を通して取得した画像に相当するため、画像を拡大すると、図１５に示すように、各マイクロレンズに対応する画素群を１つの単位とした画像となっている。図１５は、撮像素子１３で得られる画像の拡大図である。図１５（ａ）〜（ｃ）は、それぞれ、図１４（ａ）〜（ｃ）中の枠で囲った領域の画像である。
【非特許文献１】“Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ ｗｉｔｈ ａ Ｈａｎｄ−ｈｅｌｄ Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ”，Ｓｔａｎｆｏｒｄ Ｔｅｃｈ Ｒｅｐｏｒｔ ＣＴＳＲ ２００５−０２
【発明の開示】
【発明が解決しようとする課題】
【０００９】
２次元の画像センサカメラの画像から擬似的に高さや姿勢情報を検出する方法では直接奥行き距離や高さ情報が検出できないといった問題がある。また、複数の画像センサカメラを用いたステレオ方式による３次元情報測定システムを用いた距離測定には、複数のカメラや複雑な画像処理が必要などの課題があった。
【００１０】
これに対し、非特許文献１に記載の技術を用いて、距離測定を行なうことが考えられる。例えば、各画素群に含まれる画素値の平均値を計算して、図１６のように、各画素群に含まれる画素を平均値を有する画素で置き換えた、マイクロレンズ数を解像度とする画像を生成する。図１６は、図１５に示した各画素群に含まれる画素を、平均値を有する画素で置き換えた画像を説明するための図である。そして、この画像のコントラストを計算することで、どの位置がフォーカス像となるかを見極めることができる。
【００１１】
しかしながら、上記の方法には、距離検出分解能の向上が困難になるという問題がある。この問題について、図１７、図１８を用いて説明する。
【００１２】
図１７は、対象物１４の焦点面（面Ｄ２）、焦点面の近傍にある仮想位置Ａ１およびＡ２における再構成画像を説明するための図である。位置Ａ１、Ｄ２、Ａ２における再構成画像を、それぞれ、図１７（ａ）、（ｂ）、（ｃ）に示す。Ａ１はＤ２よりもメインレンズに近い側にあるため、Ａ１における再構成画像のエッジ付近（図１７中の破線枠）の画素群では、画素値の大きい画素が左側に偏る。逆に、Ｄ２よりも遠い側にあるＡ２での再構成画像のエッジ付近の画素群では、画素値の大きい画素が右側に偏る。このように各マイクロレンズに割り当てられた画素群内での画素値の分布を見ることで、再構成画像に対応する仮想位置が、焦点面よりも近点側にあるか遠点側にあるかが判別できる。
【００１３】
一方、図１８は、画素群の平均化により、図１７で示される画像をマイクロレンズ数の解像度へと変換した画像を説明するための図である。この場合、画素群内のトータル光量が同じである画素群を変換して得られた画素は同じ画素値を持つ。したがって、Ａ１、Ｄ２、Ａ２各面における再構成画像の間には、変化が見られない。
【００１４】
このように、画素群を平均化してマイクロレンズ数の解像度を有する画像とした後、コントラストを計算する手法では、１つのマイクロレンズに対応する画素群内での濃淡値の分布があったとしても、その違いを検出することが難しくなる。奥行き情報を反映する分布の違いを判別できなくなるため、距離検出分解能の向上が困難になる。
【００１５】
本発明は、このような課題に着目してなされたものであり、その目的とするところは、奥行き分解能の高い距離測定装置あるいは距離測定方法を提供することにある。
【課題を解決するための手段】
【００１６】
１つの局面に係る本願発明は、対象物までの距離を測定するための距離測定装置であって、対象物からの物体光を集光する撮像レンズと、撮像レンズを通過した物体光が入射する複数の集光器からなる集光アレイと、集光アレイを通過した物体光の画像データを取得する撮像素子とを含むカメラを備え、撮像素子は、複数の画素を有し、複数の画素は、集光器の１つを通過した物体光を検出する複数の画素群に分割されており、各画素群における物体光を検出した画素の位置により定まる物体光の集光器への入射方向に基づき複数の画素を並び替えて撮像素子が複数の仮想位置の各々に位置する場合に得られるべき再構成画像を生成する再構成手段と、複数の再構成画像に共通の領域において、各再構成画像の各画素群を分割して得られる複数の領域の各々について、領域に含まれる画素の輝度の大きさを代表する第１の代表値を算出し、各画素群について、第１の代表値に基づいて、画素群内の輝度分布の偏りの大きさを表わす第２の代表値を算出する輝度情報算出手段と、画像データのエッジ領域を抽出し、共通の領域中のエッジ領域に含まれる各画素群位置に対して、第２の代表値に基づいて、輝度分布の偏りが少ない画素群を有する再構成画像に対応する仮想位置を特定し、カメラの光学系のパラメータに基づき特定された仮想位置を変換し距離を算出する距離算出手段とを備える。
【００１７】
好ましくは、再構成手段は、再構成画像のノイズ除去を行なうノイズ除去手段を含む。
さらに好ましくは、ノイズ除去手段は、輝度値が０の画素に対し、周辺の画素の輝度値に基づく補完を行なう。
【００１８】
好ましくは、輝度情報算出手段は、第１の代表値を、領域に含まれる画素の輝度値の和から算出する。
【００１９】
好ましくは、輝度情報算出手段は、第１の代表値を、予め設定されたレベルよりも高い輝度を有する画素の数から算出する。
【００２０】
好ましくは、輝度情報算出手段は、各第１の代表値への重み付け係数の絶対値が画素群の中心位置について対称なフィルタを用いて、第２の代表値を算出する。
【００２１】
他の局面に係る本願発明は、対象物までの距離を測定するための距離測定方法であって、撮像レンズと、複数の集光器からなる集光アレイとを通過した対象物からの物体光の画像データを、複数の画素を有し、複数の画素は、集光器の１つを通過した物体光を検出する複数の画素群に分割されている撮像素子で取得するステップと、各画素群における物体光を検出した画素の位置により定まる物体光の集光器への入射方向に基づき複数の画素を並び替えて撮像素子が複数の仮想位置の各々に位置する場合に得られるべき再構成画像を生成するステップと、複数の再構成画像に共通の領域において、各再構成画像の各画素群を分割して得られる複数の領域の各々について、領域に含まれる画素の輝度の大きさを代表する第１の代表値を算出するステップと、各画素群について、第１の代表値に基づいて、画素群内の輝度分布の偏りの大きさを表わす第２の代表値を算出するステップと、画像データのエッジ領域を抽出するステップと、共通の領域中のエッジ領域に含まれる各画素群位置に対して、第２の代表値に基づいて、輝度分布の偏りが小さい画素群を有する再構成画像に対応する仮想位置を特定し、カメラの光学系のパラメータに基づき特定された仮想位置を変換し距離を算出するステップとを備える。
【発明の効果】
【００２２】
本発明によれば、各マイクロレンズレンズに割り当てられた画素群内の輝度値分布を検出することができる。その結果、奥行き分解能の高い距離測定を行なうことができる。
【発明を実施するための最良の形態】
【００２３】
以下、図面を参照しながら本発明の実施の形態を説明する。なお、本発明は以下の実施の形態に限定されるものではない。
【００２４】
（１．本発明の構成）
図１を用いて、本発明に係る距離測定装置の構成について説明する。図１は、本発明の実施の形態に係る距離測定装置の概略構成図である。
【００２５】
距離測定装置は、画像センサカメラ１と、画像センサカメラ１で撮影された対象物の画像データを取得する画像キャプチャボード２と、画像データを保存するメモリ３と、メモリ３に保存された画像データから対象物までの距離情報を算出する画像処理部４と、画像処理部４で算出された距離情報を表示する表示モニタ５とを備える。
【００２６】
画像センサカメラ１は、対象物の画像データを取得する。画像センサカメラ１は、撮像レンズ（以後は、メインレンズ１１と呼ぶ）と、複数のマイクロレンズからなるマイクロレンズアレイ１２と、撮像素子１３とからなる。撮像素子１３としては、例えば、ＣＣＤ（ｃｈａｒｇｅ−ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサなどを用いることができる。
【００２７】
メインレンズ１１には、対象物からの物体光が入射する。メインレンズ１１は、入射した対象物からの物体光を集光する。マイクロレンズアレイ１２には、メインレンズ１１を通過した物体光が入射する。マイクロレンズアレイ１２に含まれる複数のマイクロレンズの各々は、物体光を集光する。なお、マイクロレンズアレイ１２は、複数の集光器からなる集光アレイの一例である。例えば、マイクロレンズアレイ１２のかわりに、複数のピンホールからなるピンホールアレイを用いても構わない。
【００２８】
撮像素子１３は、マイクロレンズアレイ１２を通過した物体光の画像データを取得する。撮像素子１３は、複数の画素を有する。撮像素子１３の画素および撮像素子１３により取得される画像データについては、後で詳述する。
【００２９】
画像キャプチャボード２は、撮像素子１３で取得された画像データを取り込み、以降の処理が行なえる形に変換する。メモリ３は、画像キャプチャボード２から転送された画像データを格納する。
【００３０】
画像処理部４は、メモリ３から画像データを読出し、読み出した画像データに基づき、物体までの距離を算出する処理を行なう。画像処理部４は、選択領域に含まれる画素データを並び替えて、撮像素子１３が異なる複数の仮想位置の各々に位置する場合に得られるべき再構成画像を生成する再構成部４ａと、複数の再構成画像の各々を複数の領域に分割し、各領域に基づいて第１の代表値を算出し、第１の代表値間の差分値に基づいて第２の代表値を算出する輝度情報算出部４ｂと、第２の代表値に基づいて対象物までの距離を算出する距離情報算出部４ｃとからなる。画像処理部４の行なう処理の詳細については、後述する。
【００３１】
（２．画像センサカメラの特徴について）
本発明においては、画像センサカメラ１の光学系の構成に特徴があり、図２を用いて、その特徴を説明する。図２は、画像センサカメラ１の光学系を示す図である。なお、簡単のため、図２には、対象物１４が点光源である場合を示す。
【００３２】
画像センサカメラ１のマイクロレンズアレイ１２は、対象物１４がＡの位置にある場合に、メインレンズ１２より対象物１４がほぼ結像する位置に配置される。このときのＡの位置を合焦点位置、合焦点位置よりもメインレンズ１１に近い側を近点位置、合焦点位置よりもメインレンズ１１から遠い側を遠点位置と呼ぶ。撮像素子１３はマイクロレンズアレイ１２のほぼ焦点位置に配置されている。撮像素子１３には、対象物の光が、マイクロレンズを通して、入射される。また、それぞれのマイクロレンズを通過した光が、互いに重なることなく撮像素子１３上に入射するように、画像センサカメラ１の光学系は調整されているものとする。
【００３３】
次に、図３〜図５を用いて、この画像センサカメラ１により撮像される画像について説明する。
【００３４】
図３を用いて、対象物１４の結像について説明する。図３は、対象物１４が近点位置Ｂまたは遠点位置Ｃにある場合の集光の様子を示す図である。対象物１４が位置Ｂにある場合、対象物１４からの光は、メインレンズ１１により、面Ｄに集光(結像)する。また、位置Ｃにある場合、面Ｆに集光（結像）する。また、面Ｅは、合焦位置Ａに対する集光面であり、ほぼマイクロレンズアレイ１２の位置に相当する。
【００３５】
続いて、対象物１４が図３の位置Ａ，Ｂ，Ｃにある場合に撮像素子１３により、どのような画像が撮像されるかを図４、図５を用いて説明する。図４はマイクロレンズアレイ１２上の入射光１５の形状を示す図であり、図５は撮像素子１３上の入射光１６の形状を示す図である。
【００３６】
まず、対象物１４が図３の位置Ａ，Ｂ，Ｃにある場合にマイクロレンズアレイ１２上にどのような形状の入射光１５が入射するかについて図４を用いて説明する。図４に示すように、本実施例においては、マイクロレンズアレイ１２は、２次元面内に配列された円形のマイクロレンズからなるものとする。また、各マイクロレンズには、それらを識別するための番号Ｍ（ｉ，ｊ）が与えられているものとする。図４（ａ）、図４（ｂ）、図４（ｃ）は、それぞれ、対象物１４が、遠点位置Ｃにある場合、合焦位置Ａにある場合、近点位置Ｂにある場合のマイクロレンズアレイ１２上の入射光１５の形状を示す図である。
【００３７】
合焦位置Ａにある対象物１４からの光は図４（ｂ）のようにほぼマイクロレンズＭ（２，２）上に集光される。
【００３８】
対象物１４が遠点位置Ｃにある場合、対象物１４からの光は、メインレンズ１１を通して一旦集光された後、さらにデフォーカス状態になって広がってマイクロレンズアレイ１２上に入射する。したがって、図４（ａ）に示すように、マイクロレンズアレイ１２上の入射光１５は、マイクロレンズＭ（２，２）の周辺レンズＭ（１，２）、Ｍ（２，１）、Ｍ（２，３）、Ｍ（３，２）にまで広がる。
【００３９】
対象物１４が近点位置Ｂにある場合は、集光前のデフォーカス状態の光が、マイクロレンズアレイ１２上に入射する。したがって、図４（ｂ）に示すように、マイクロレンズアレイ１２上の入射光１５は、マイクロレンズＭ（２，２）の周辺レンズＭ（１，２）、Ｍ（２，１）、Ｍ（２，３）、Ｍ（３，２）にまで広がる。
【００４０】
撮像素子１３上の入射光１６について図５を用いて説明する。図５に示すように、撮像素子１３は、複数の画素群からなる。各画素群には、番号Ｔ（ｉ，ｊ）が付されている。また、各画素群は、マイクロレンズの１つを通過した物体光を検出する。言い換えると、マイクロレンズＭ（ｉ，ｊ）を通過した光は、画素群Ｔ（ｉ，ｊ）に入射する。なお、図では、画素群が１０×１０の画素で構成されている場合を示しているが、画素群を構成する画素の数はこれに限られない。
【００４１】
対象物１４が合焦位置Ａにある場合、図４（ｂ）のようにほぼマイクロレンズＭ（２，２）上に集光された光が、撮像素子１３に入射する。したがって、撮像素子１３に入射する光は、図５（ｂ）に示すように、撮像素子１３の画素群Ｔ（２，２）に対して全面に広がる。
【００４２】
対象物１４が遠点位置Ｃにある場合、マイクロレンズアレイ１２上で、図４（ａ）のように周辺レンズＭ（１，２）、Ｍ（２，１）、Ｍ（２，３）、Ｍ（３，２）にも広がった光が、撮像素子１３に入射する。これらの周辺レンズに入射した光は、撮像素子１３上では、図５（ａ）に示すように、それぞれのマイクロレンズに対応する画素群Ｔ（１，２）、Ｔ（２，１）、Ｔ（２，３）、Ｔ（３，２）の一部に入射する。
【００４３】
図５（ｃ）は、近点位置Ｂに対象物１４が位置する場合に、撮像素子１３に入射する光の形状を示す図である。対象物が遠点位置Ｃにある場合と同様に、画素群Ｔ（１，２）、Ｔ（２，１）、Ｔ（２，３）、Ｔ（３，２）の一部にも光が入射する。
【００４４】
（３．画像の再構成について）
次に、本装置において距離情報を算出するための基本操作である、各仮想面での像の再構成について説明する。
【００４５】
画像の再構成にあたっては、画像センサカメラ１で取得した画像データから、マイクロレンズへの物体光の入射方向の情報を得られるという点が重要である。画像データから入射方向の情報が得られることを、図５を再度用いて説明する。例えば、遠点位置Ｃにある対象物１４からの光は、図５（ａ）に示すように、画素群Ｔ（２，２）を中心に、周囲の画素群Ｔ（１，２）、Ｔ（２，１）、Ｔ（２，３）、Ｔ（３，２）の中の外側の一部の決まった画素に入射する。また、逆に、近点位置Ｂにある対象物１４からの光は、図５（ｃ）に示すように、画素群Ｔ（２，２）を中心に、周囲の画素群Ｔ（１，２）、Ｔ（２，１）、Ｔ（２，３）、Ｔ（３，２）の中の内側の一部の決まった画素に入射する。このように各画素群に含まれる画素のうちどの画素に光が入射したかにより、各画素群に対応する位置に設置されたマイクロレンズへの物体光の入射方向の情報を得ることができる。
【００４６】
この入射方向の情報、仮想面の位置（仮想位置）、および、光学系のパラメータ（メインレンズ１１とマイクロレンズアレイ１２間の距離など）に基づき、撮像素子１３が取得した画素データを並び替えることで、撮像素子１３が仮想位置にある場合に取得されるべき画像データを取得することができる。
【００４７】
並び替えの具体例を図６を用いて説明する。図６は、対象物１４の撮影像のデータを変換して得た再構成画像を示す図である。例えば、図６（ａ）は図５（ａ）に示した画像データから再構成した仮想面Ｆ上での光の分布を示したもので、図５（ｂ）の合焦位置での光ビーム状態とほぼ同じになる。周囲の決まった画素に入射する光、すなわち、画素出力だけを集めて、画素群Ｔ（２，２）の中央付近の画素出力と足し合わせ、改めて画素群Ｔ（２，２）の出力とすることで、仮想面Ｆでの画像を作り出すことができる。一方、近点位置Ｂにある対象物（点像）に対しては、撮像素子１３上での広がり（分割状態）は、図５（ｃ）のように遠点状態とは異なるので、異なる演算（周囲画素群の内側の一部の画素出力を足し合わせる）により、同じく図６（ｃ）の再構成像が生成できる。
【００４８】
なお、ここでは対象物が点像の場合の例を示したが、大きさを有する対象物の場合にも、同様の操作で画像の再構成ができる。ただし、大きさを有する画像の場合、全てのマイクロレンズに光が入射するので、各マイクロレンズに対応する画素群Ｔ（１，１）〜Ｔ（３，３）に対して同様の操作を行う必要がある。
【００４９】
（４．距離情報の取得方法について）
次に、上記の方法により選択された領域について、仮想面の画像を再構成し、さらに画像の中の対象物の距離情報（３次元情報）を取得する方法について、図７を参照しつつ説明する。図７は、距離情報の取得の各工程で生成される画像データについて説明するための図である。
【００５０】
距離情報の取得にあたっては、まず、画像センサカメラ１により、対象物の画像データを取得する。取得された画像データは、画像キャプチャボード２を介してメモリ３に記憶される。この画像データを、図７（ａ）に示すようにｆ（ｉ，ｊ）とする。取得画像の画素数は、Ｗ×Ｈである。取得画像は、ｍ×ｍの画素からなる画素群を単位として構成される。画素群数は、Ｗ／ｍ×Ｈ／ｍである。
【００５１】
その後、画像処理部４は、画像データｆ（ｉ、ｊ）を処理することにより、対象物の距離情報を取得する。この処理は大きく、「再構成ステップ」、「輝度情報算出ステップ」、「距離情報算出ステップ」に分かれる。以下、それぞれの処理について説明する。
【００５２】
（１）再構成ステップ
画像処理部４に含まれる再構成部４ａは、画像データｆ（ｉ，ｊ）を並び替えて、図７（ｂ）に示すようなＮ個の仮想面での再構成画像データｇｎ（ｉ，ｊ）を生成する。ここでｎ（ｎ＝１〜Ｎ）は仮想面の順番を示す。この並び替えを、焦点面変換係数Ａｎ（ｎ＝１〜Ｎ）を用いて、ｇｎ（ｉ，ｊ）＝Ａｎ（ｆ（ｉ，ｊ））と表すことにする。ここで、Ａｎは、各画素群における物体光を検出した画素の位置により定まる各マイクロレンズへの物体光の入射方向、仮想位置、および、光学系のパラメータに基づいて決定されるものである。
【００５３】
なお、再構成部４ａは、例えば、特に限られるわけではないが、本実施例においては予め定められた間隔で並んだ複数の仮想位置に対して再構成画像データを取得するものとする。また、再構成部４ａは、以下で述べる方法で焦点の合った仮想位置が算出された場合、焦点の合った仮想位置近傍では、仮想位置の間隔をさらに狭くして、狭い間隔の仮想位置に対して再構成画像を取得してもよい。この構成によれば、距離検出の精度を高めることができる。
【００５４】
このステップでは、１個の画像データｆ（ｉ，ｊ）から、図７（ｂ）に示すようなＮ個の再構成画像データ、すなわち、ｇ０１（ｉ，ｊ）＝Ａｎ（ｆ（ｉ，ｊ））、ｇ０２（ｉ，ｊ）＝Ａｎ（ｆ（ｉ，ｊ））、…、ｇｎ（ｉ，ｊ）＝Ａｎ（ｆ（ｉ，ｊ））、…、ｇＮ（ｉ，ｊ）＝Ａｎ（ｆ（ｉ，ｊ））が得られる。
【００５５】
さらに、再構成画像ｇｎ（ｉ，ｊ）に対して、ノイズデータ除去処理を施し、ノイズ除去画像データg’n（ｉ，ｊ）を生成する。ノイズには、電気的な要因によるもののほかに、本方式特有のものがある。図８は、本方式に特有のノイズを示す図である。本方式では、元画像から異なる画像を再構成する際に、Ｂ１〜Ｂ３のように撮像素子の１画素単位の幅で線状にデータの抜けが現れることがある。すなわち、線状に輝度値がない画素が生じることがある。このようなノイズは、抜けがある位置の画素データは、再構成の際、別の画素のデータとして再配置されるが、再配置された画素には、他の画素から値が補完されないために生じる。このような抜けがある場合、後のステップで行う強度分布算出が正確に行うことができないため、最終的に得られる距離情報に誤差が生じることになる。そこで、本実施の形態では、このような抜けを補完する処理を行なうものとする。具体的には、１マイクロレンズに割り当てられた画素群内で、メディアンフィルタなどを用いてノイズデータの除去を行なう。図７（ｃ）に示すように、ノイズ除去画像の枚数は、再構成画像と同じくＮ枚である。また、画素数はＷ×Ｈ、画素群数は、Ｗ／ｍ×Ｈ／ｍである。この処理により、再構成された画像のノイズの影響が低減され、画素群内の、より正確な輝度情報が得られるため、精度のよい距離検出装置が実現できる。
【００５６】
（２）輝度情報算出ステップ
次に、輝度情報算出ステップについて説明する。輝度情報算出ステップにおいて、輝度情報算出部４ｂは、ノイズ除去画像g’n（ｉ，ｊ）に対して、１マイクロレンズに割り当てられた画素群を、複数の領域にわけ、各領域を、各領域に含まれる画素の輝度値を代表する第１の代表値を有する１画素に置き換えた分割画像ｈｎ(i’,j’)を生成する。第１の代表値としては、当該領域に含まれる画素の輝度値が大きいほど大きな値を持つものを用いることができる。本実施例では、図７（ｄ）のように各画素群を画素領域の等しい４つの領域に分割し、それぞれの領域で画素値の出力を足し合わせた値を４つの領域のそれぞれの第１の代表値とする。このときの変換を変換係数Ｂｎを用いて、ｈｎ(i’,j’)＝Ｂｎ（ｇ（ｉ，ｊ））と表わす。ただし、各領域の第１の代表値は画素値の総和でなくてもよく、画素値の総和を領域数で割って得られる画素値の平均値であってもよい。また、ある閾値以上の出力値を有する画素の数を第１の代表値とすることもできる。
【００５７】
続いて、輝度情報算出部４ｂは、分割画像データｈｎ(i’,j’)から、差分値画像データｋｎ(i”,j”)を求める。差分値画像の各画素は、ｈｎ（ｉ’，ｊ’）の各画素群に含まれるｍ×ｍの画素から求められた、各画素群内の輝度分布の偏りの大きさを表わす値である。以下、この値を第２の代表値とする。本ステップにより、再構成画像の画素（画素群に相当）数をＷ／ｍ×Ｈ／ｍに削減することができるため、以降の画像処理速度が向上する。
【００５８】
この変換を、ｋｎ(i”,j”)＝Ｃｎ（ｈ（i’,j’）)と表わすことにする。ここで、Ｃｎは、差分値変換係数である。この変換には、画素群内の輝度分布情報を算出するためのフィルタが用いられる。例えば、図７（ｅ）に示したようなフィルタを用いることができる。すなわち、（ｉ’，ｊ’）の画素群に対して、ｘ方向の差（微分値）：ｄｘ＝ｈ（i'，ｊ’）＋ｈ（i'＋１，ｊ’）−ｈ（i'，ｊ’＋１）−ｈ（i'＋１，ｊ’＋１）、ｙ方向の差（微分値）：ｄｙ＝ｈ（i'，ｊ’）＋ｈ（i'，ｊ’＋１）−ｈ（i'＋１，ｊ’）−ｈ（i'＋１，ｊ’＋１）を用いて、第２の代表値を（ｄｘ２＋ｄｙ２）１／２とする。
【００５９】
なお、（ｄ）と（ｅ）の演算処理は、全体の画像データに対して独立に行うのではなく、１マイクロレンズの画素群ごとに連続して行うことができる。
【００６０】
また、第２の代表値を求めるためのフィルタについては、上に説明したような画像のｘ方向、ｙ方向の成分に沿ったもの以外にも、図９のようなフィルタを用いることができる。図９は、第２の代表値を求めるための別のフィルタを示す図である。この場合の演算は、ｄｘ、ｄｙをそれぞれ、ｄｘ＝ｈ（i'，ｊ’）−ｈ（i'＋１，ｊ’＋１）、ｄｙ＝ｈ（i'，ｊ’＋１）−ｈ（i'＋１，ｊ’）のように定義する。第２の代表値は、上記と同様（ｄｘ２＋ｄｙ２）１／２として求める。このようにすることで、画素群内の全ての出力値を反映させつつ、演算回数を減らし、計算の効率化を図ることができる。
【００６１】
また、画素群の分割領域の数は４つに限られず、９分割や１６分割を行なってもよい。分割数は、１マイクロレンズに割り当てられた画素群の全画素数までの範囲内で設定することができる。
【００６２】
分割する領域が増えた場合、差分値を得るための変換演算についても、それに対応して変更する必要がある。図１０に、９分割の場合の変換演算に用いられるフィルタの一例を示す。この場合の差分値を求める演算は、ｄｘ＝ｈ（i'，ｊ’）＋ｈ（i'＋１，ｊ’）＋ｈ（i'＋２，ｊ’）−ｈ（i'，ｊ’＋２）−ｈ（i'＋１，ｊ’＋２）−ｈ（i'＋２，ｊ’＋２）、ｙ方向の差（微分値）：ｄｙ＝ｈ（i'，ｊ’）＋ｈ（i'，ｊ’＋１）＋ｈ（i'，ｊ’＋２）−ｈ（i'＋２，ｊ’）−ｈ（i'＋２，ｊ’＋１）−ｈ（i'＋２，ｊ’＋２）となる。第２の代表値は上記と同様（ｄｘ２＋ｄｙ２）１／２として求められる。
【００６３】
つまり、４分割の場合と同様に、重み係数の絶対値が、画素群の中心に対して対称となるフィルタ窓を設定することで、画素群の輝度分布の情報を与える差分値を求めることができる。なお、ここで、「絶対値が、画素群の中心に対して対称」とは、絶対値が画素群の中心について点対称である場合と、画素群の中心を通るｘ、ｙの各軸について線対称な場合の両方を含むものとする。このように分割を増やすことで、画素値の分布状態を精度よく検出することができる。
【００６４】
また、演算を行なう領域を限定することで、計算の効率を向上することができる。例えば、１マイクロレンズに割り当てられた画素群の中で、検出される光の分布は円状になる。そのため、図１０（ｂ）で、ｈ（i'，ｊ’）、ｈ（i'＋２，ｊ’）、ｈ（i'，ｊ’＋２）、ｈ（i'＋２，ｊ’＋２）に相当する部分にある画素の一部では、光が検出されない。この部分を演算に含めることよって計算に無駄が生じる。そこで、測定対象からやってくる光が、含まれるほぼすべての画素で検出される、ｈ（i'＋１，ｊ’）、ｈ（i'，ｊ’＋１）、ｈ（i'＋２，ｊ’＋１）、ｈ（i'＋１，ｊ’＋１）などの領域に限定して演算を行うことで、効率的な分布情報を得ることができる。この場合、画素群の中で、対称的な位置関係にある領域を選択する。このような処理によれば、画素群に含まれる全ての画素を使わないため、演算処理のスピードを向上させることができる。
【００６５】
また、フィルタの係数は１だけではなくて、係数の絶対値が画素群の中心に対して対称であれば、各領域に対して異なる値とすることができる。例えば、図１０（ａ）のフィルタにおいて、ｈ（i'＋１，ｊ’）の重み係数を２、ｈ（i'＋１，ｊ’＋２）の重み係数を−２としたフィルタを用いることができる。
【００６６】
次に、輝度情報算出部４ｂは、差分値画像データを求めた後、差分値画像データｋｎ（i’,j’)（ｎ＝１〜Ｎ）を並び替えて、図７（ｆ）に示すような、行に差分値画像のｘ座標、列に複数枚の画像の順番ｎをとった差分値（縦断層）画像データＲ（ｐ）を生成する。
【００６７】
あらわな表式で書くと、差分値画像データｋｎ(i’,j’)から、差分値（縦断層）画像；
Ｒ（ｐ１）＝（ｋ０１（ｐ１），ｋ０２（ｐ１），ｋ０３（ｐ１），…，ｋＮ（ｐ１））
Ｒ（ｐ２）＝（ｋ０１（ｐ２），ｋ０２（ｐ２），ｋ０３（ｐ２），…，ｋＮ（ｐ２））
Ｒ（ｐｊ’）＝（ｋ０１（ｐｊ’），ｋ０２（ｐｊ’），ｋ０３（ｐｊ’），…，ｋＮ（ｐｊ’））
Ｒ（ｐＨ／ｍ）＝(ｋ０１（ｐＨ／ｍ）,ｋ０２（ｐＨ／ｍ）,ｋ０３（ｐＨ／ｍ）,…,ｋＮ（ｐＨ／ｍ）)
を得る、ということである。ここで、ｐｊ’＝（ｉ’，ｊ’）（ｊ’は固定、ｉ’は１〜Ｗ／ｍにわたる）である。差分値（縦断層）画像の枚数は、第２の代表値画像のｙ座標、すなわちＨ／ｍ枚である。
【００６８】
（３）距離情報算出ステップ
距離情報算出部４ｃは、輝度情報算出ステップで得られた情報に基づき、対象物の距離情報を算出する。図５で示すように、本方式において、マイクロレンズアレイ上で結像する物体から到達した光は、マイクロレンズに割り当てられた画素群全体にわたって分布することになる。よって、画素群内の輝度分布の偏りが小さくなるときが、合焦点状態だと判断できる。具体的には、次のように、第２の代表値に基づいて、距離情報を算出する。
【００６９】
まず、距離情報算出部４ｃは、差分値分布(縦断層)画像において、各画素位置ｐ＝（ｉ’，ｊ’）での第２の代表値の最小値を検出し、その最小値が検出されるｎ値（以後、仮想位置の代表値と呼ぶ）を求め、代表値画像データｓ（ｉ”,ｊ”)を生成する。すなわち、各ｐ＝（ｉ”，ｊ”）においてｋｎ（ｉ”，ｊ”）（ｎ＝１〜Ｎ）を最小とするｎの値をｓ（ｉ”，ｊ”）とおく。
【００７０】
具体的に、差分値分布画像Ｒ（ｐ１）からｎ値（代表値）を求める場合であれば、ｋ０１（1,1），ｋ０２（1,1），ｋ０３（1,1），…，ｋＮ（1,1）のうちの最小値をとるもののｎの値を、ｓ（1,1）とする。同様に、ｋ０１（1,2），ｋ０２（1,2），ｋ０３（1,2），…，ｋＮ（1,2）からｓ（1,2）を求める。一般には、ｋ０１（1,j”），ｋ０２（1,j”），ｋ０３（1,j”），…，ｋＮ（1,j'）からｓ（1,j”）を求める。したがって、１枚の差分値（縦断層）画像から、Ｗ／ｍ個の代表値が求められることになる。この操作を各差分値分布画像について行ない、図７（ｇ）に示すように、すべての画素の代表値データからなる代表値画像を求めることができる。
【００７１】
あるいは、第２の代表値分布の近似曲線から、代表値を求めてもよい。この求め方を図１１を用いて説明する。図１１は、第２の代表値分布の近似曲線から代表値を求める方法を説明するための図である。図１１（ａ）は、異なる距離に配置されている２つの対象物の再構成像を示す図である。図１１（ｂ）は、図１１（ａ）に示した各対象物（１１Ａ、１１Ｂ）のエッジ付近の画素位置における差分値強度（第２の代表値強度）を、仮想面の位置（ｎ値）について、プロットしたものである。各対象物に対して、画素位置（ｉ”，ｊ”）において、ｎ値についてプロットした第２の代表値強度の近似曲線を求め、近似曲線のピークのｎ値（図１１（ｂ）中のｎ１、ｎ２）を、代表値ｓ(i”,j”)として求める。この代表値は対象物の像にピントが合っている仮想面の位置を示している。
【００７２】
なお、本実施例では、ｎ値データ画像を求めるにあたって、差分値画像データから差分値（縦断層）画像データを求め、さらに差分値（縦断層）画像データから代表値画像データを生成するという構成を説明した。しかし、Ｎ枚の差分値画像データｋｎ（ｉ”，ｊ”）（ｎ＝１〜Ｎ）から直接に、すなわち、上述の差分値（縦断層）画像データを求めることなしに、代表値画像データを生成することもできる。差分値分布（縦断層）画像という概念を導入したのは、実際に計算機（演算プログラム）で代表値画像データを算出する場合の計算のアルゴリズムを分かりやすくするためである。
【００７３】
距離情報算出部４ｃは、各画素位置において最小の第２の代表値強度が得られる仮想焦点位置データを対応させた代表値画像s(i”,j”)に基づいて、距離測定装置から対象物までの距離を算出する。
【００７４】
まず、距離情報算出部４ｃは、画像データｆ（ｉ，ｊ）からエッジ領域を抽出する。例えば、一般的に用いられているRoberts法と呼ばれるエッジ検出法を利用する場合には、ｆ（ｉ，ｊ）の画素群に対して、ｘ方向の微分値ｄｘ＝ｆ（i，ｊ）−ｆ（i＋１，ｊ＋１）、ｙ方向の微分値ｄｙ＝ｈ（i＋１，ｊ）−ｈ（i，ｊ＋１）を求め、（ｄｘ２＋ｄｙ２）１／２がしきい値以上である画素（ｉ，ｊ）をエッジ領域として抽出する。ただし、エッジ検出法としては、これに限ることなく、単純な微分法、Sobel法や２次微分を用いるラプラシアン法など様々な方法を用いることができる。
【００７５】
距離情報算出部４ｃは、エッジ領域内の代表値画像s(i”,j”)を、既知の光学系の倍率データ等を用いて、距離測定装置から対象物までの絶対距離d(i”,j”)に変換し、最終的な距離画像データ d(i”,j”)を生成する。このようにして求めた距離画像の画素数は、図７（ｈ）に示すように、最大で、Ｗ／ｍ×Ｈ／ｍである。実際には、代表値が計算され、かつ、エッジ領域に含まれる画素について、距離情報が算出される。
【００７６】
本距離測定方法は、再構成した画像間の画素値分布の差異を利用するものであるため、このように、画素値分布の変化が生じるエッジ領域について距離情報を算出する構成をとっている。
【００７７】
上記距離情報算出アルゴリズムにより、単一の撮像データから画像処理により、異なるフォーカシング状態（仮想焦点位置）の複数の画像を生成し、そのデータより対象物の距離画像を得ることができる。また、再構成した画像において、１マイクロレンズに割り当てられた画素群内の強度分布の違いを感度よく検出することができるので、奥行き分解能の高い情報測定装置を提供することが可能になる。
【００７８】
上述の距離情報検出アルゴリズムで行なわれる処理の流れを図１２を用いて説明する。図１２は、本実施の形態に係る距離測定装置が行なう処理を説明するためのフローチャートである。
【００７９】
まず、画像処理部４は、ステップＳ１０１において、画像データを取得する。この画像データは、画像センサカメラ１により対象物を１回撮影することにより得られる。
【００８０】
次に、画像処理部４は、再構成ステップに含まれる各ステップを実行する。
まず、画像処理部４は、ステップＳ１０２において、画像データの並び替え（再構成）を行なう。すなわち、複数の仮想位置における再構成画像を生成する。
【００８１】
次に、画像処理部４は、ステップＳ１０３において、ノイズの除去を行なう。ただし、このステップは必須ではない。
【００８２】
続いて、画像処置装置４は、輝度情報算出ステップに含まれる各ステップを実行する。
まず、画像処理部４は、ステップＳ１０４において、各画素群の分割を行なう。また、分割後の各領域に対して、第１の代表値を算出する。
【００８３】
そして、画像処理部４は、ステップＳ１０５において、第１の代表値から差分値画像データを作成する。
【００８４】
さらに、画像処理部４は、ステップＳ１０６において、差分値画像データを並び替え、差分値（縦断層）画像データを作成する。ただし、このステップは必須でない。
【００８５】
最後に、画像処理部４は、距離情報算出ステップに含まれる各処理を実行する。
まず、画像処理部４は、ステップＳ１０７において、差分値（縦断層）画像データ（ステップＳ１０６を省略している場合、差分値画像データ）から、代表値データを算出する。
【００８６】
そして、画像処理部４は、ステップＳ１０８において、エッジ領域を抽出し、光学系の倍率より、エッジ領域内の代表値データを対象物の距離データに変換する。
【００８７】
上記アルゴリズムは、輝度情報算出処理を画素すべてについて行い、距離データを求める場合のものであるが、画素すべてについて距離データを求めなくてもよい場合は、アルゴリズム処理領域を限定してもよい。例えば、複数の再構成画像に共通の処理領域を設定し、設定した処理領域において、輝度情報算出処理および距離情報算出処理を行なってもよい。処理領域を限定することで、処理時間や計算負荷を低減できる。
【００８８】
また、隣接する画素間の差分値をとり、その差分値に閾値処理を施すなどして、画像内のエッジ領域を抽出し、抽出したエッジ領域に限定して、代表値の算出および距離情報の計算を行なってもよい。このようにエッジ領域についてのみ距離を求める構成によれば、処理時間や計算負荷を低減できる。さらに、エッジ領域の抽出後、処理の対象とする領域を指定し、指定した領域に限定して距離情報を計算することにより、処理時間や計算負荷を大幅に低減できる。
【００８９】
今回開示された実施の形態はすべての点で例示であって制限的なものではない。本発明の範囲は上記した実施の形態ではなくて特許請求の範囲によって示され、特許請求の範囲と均等な意味および範囲内でのすべての変更点が含まれることが意図される。
【図面の簡単な説明】
【００９０】
【図１】本発明の実施の形態に係る距離測定装置の概略構成図である。
【図２】画像センサカメラ１の光学系を示す図である。
【図３】対象物１４が近点位置Ｂまたは遠点位置Ｃにある場合の集光の様子を示す図である。
【図４】マイクロレンズアレイ１２上の入射光１５の形状を示す図である。
【図５】撮像素子１３上の入射光１６の形状を示す図である。
【図６】対象物１４の撮影像のデータを変換して得た再構成画像を示す図である。
【図７】距離情報の取得の各工程で生成される画像データについて説明するための図である。
【図８】本方式に特有のノイズを示す図である。
【図９】第２の代表値を求めるための別のフィルタを示す図である。
【図１０】９分割の場合の変換演算に用いられるフィルタの一例を示す図である。
【図１１】第２の代表値分布の近似曲線から代表値を求める方法を説明するための図である。
【図１２】本実施の形態に係る距離測定装置が行なう処理を説明するためのフローチャートである。
【図１３】矢印形状の対象物１４が位置Ｂにある場合の集光の様子を示す図である。
【図１４】対象物１４が位置Ｂにある場合に取得される画像を説明するための図である。
【図１５】撮像素子１３で得られる画像の拡大図である。
【図１６】図１５に示した各画素群に含まれる画素を、平均値を有する画素で置き換えた画像を説明するための図である。
【図１７】対象物１４の焦点面（面Ｄ２）、焦点面の近傍にある仮想位置Ａ１およびＡ２における再構成画像を説明するための図である。
【図１８】図１７で示される画像をマイクロレンズ数の解像度へと変換した画像を説明するための図である。
【符号の説明】
【００９１】
１ 画像センサカメラ、２ 画像キャプチャボード、３ メモリ、４ 画像処理装置、４ａ 再構成部、４ｂ 輝度情報算出部、４ｃ 距離情報算出部、５ 表示モニタ、１１ 撮像レンズ、１２ マイクロレンズアレイ、１３ 撮像素子、１４ 対象物。
【技術分野】
【０００１】
本発明は、撮像レンズ、マイクロレンズアレイを通して撮像素子で取得した、対象物の画像データに基づいて、対象物までの距離を測定する技術に関する。
【背景技術】
【０００２】
近年、産業用ロボットや各種ＦＡ（Ｆａｃｔｏｒｙ Ａｕｔｏｍａｔｉｏｎ）機器を用いた生産ラインを自動化するシステムの構築、あるいは、知能ロボットのインテリジェント化を図るために、対象物の距離情報を取得するための視覚センサが重要となってきている。特に、ロボットアームを用いたシステムにおいては、ワークの位置、姿勢、形状等の計測のための視覚センサとして画像センサカメラが多く用いられている。
【０００３】
また、半導体デバイスや回路部品の実装基板の製造などにおいても、品質を管理するために半田バンプや金バンプなど２次元状に配置された微小なデバイスの高さ情報を測定するというニーズが高まっている。
【０００４】
このようなニーズに対応するために、従来、２次元の画像センサカメラの画像から擬似的に高さや姿勢情報を検出する方法や、複数の画像センサカメラを用いたステレオ方式による３次元情報測定システムなどが用いられている。
【０００５】
また、撮像素子を用いたカメラシステムにおいて、取得した画像データをデジタル処理により合成し、後で好きなようにピントを手前または奥に移動できるプレノプティックカメラ技術が“Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ ｗｉｔｈ ａ Ｈａｎｄ−ｈｅｌｄ Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ”，Ｓｔａｎｆｏｒｄ Ｔｅｃｈ Ｒｅｐｏｒｔ ＣＴＳＲ ２００５−０２（非特許文献１）の中で提案されている。非特許文献１に記載のプレノプティックカメラは、普通のカメラレンズと同様の撮像レンズを有するが、マイクロレンズアレイが像平面に正確に配置され、さらにマイクロレンズアレイより多くの撮像ピクセルを有するイメージセンサアレイ（撮像素子）がマイクロレンズアレイのすぐ背後に置かれている点で、普通のカメラとは異なる。マイクロレンズアレイ内のレンズの数で最終画像の画素数は決まるが、単一マイクロレンズに割り当てられた多数のセンサピクセルにより、そのマイクロレンズに入射する光の方向と強度を記録することができる。そのデータを用いて、所定の距離にピントを合せた画像を再構成することができるというものである。
【０００６】
この装置による画像の再構成画像について、図１３、図１４を用いて説明する。図１３の有限の大きさを持つ矢印形状の対象物１４が、位置Ｂにある場合の集光の様子を示す図である。図１４は、対象物１４が位置Ｂにある場合に取得される画像を説明するための図である。対象物１４からの光は、図１３に示すように、メインレンズ１１、マイクロレンズアレイ１２により集光され、面Ｅに置かれた撮像素子１３に入射する。ここで、対象物１４は、面Ｅに対応する焦点位置Ａに比べ、メインレンズ１１に近い位置にあるため、このときの撮像素子１３での取得画像は図１４（ａ）のようにボケた画像となる。しかし、再構成の演算により、撮像素子１３が仮想位置Ｄ１、Ｄ２にある場合に撮像される画像を取得することができる。例えば、仮想位置Ｄ１、Ｄ２での再構成画像として、それぞれ、図１４（ｂ）、（ｃ）のような画像を取得できる。この例では、仮想位置Ｄ２において、対象物のフォーカシングされた画像が得られていることが分かる。
【０００７】
このように、メインレンズからの距離を入力することにより、その位置に相当する仮想位置での画像を再構成することができる。
【０００８】
なお、撮像素子１３で得られる画像は、マイクロレンズアレイ１２を通して取得した画像に相当するため、画像を拡大すると、図１５に示すように、各マイクロレンズに対応する画素群を１つの単位とした画像となっている。図１５は、撮像素子１３で得られる画像の拡大図である。図１５（ａ）〜（ｃ）は、それぞれ、図１４（ａ）〜（ｃ）中の枠で囲った領域の画像である。
【非特許文献１】“Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ ｗｉｔｈ ａ Ｈａｎｄ−ｈｅｌｄ Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ”，Ｓｔａｎｆｏｒｄ Ｔｅｃｈ Ｒｅｐｏｒｔ ＣＴＳＲ ２００５−０２
【発明の開示】
【発明が解決しようとする課題】
【０００９】
２次元の画像センサカメラの画像から擬似的に高さや姿勢情報を検出する方法では直接奥行き距離や高さ情報が検出できないといった問題がある。また、複数の画像センサカメラを用いたステレオ方式による３次元情報測定システムを用いた距離測定には、複数のカメラや複雑な画像処理が必要などの課題があった。
【００１０】
これに対し、非特許文献１に記載の技術を用いて、距離測定を行なうことが考えられる。例えば、各画素群に含まれる画素値の平均値を計算して、図１６のように、各画素群に含まれる画素を平均値を有する画素で置き換えた、マイクロレンズ数を解像度とする画像を生成する。図１６は、図１５に示した各画素群に含まれる画素を、平均値を有する画素で置き換えた画像を説明するための図である。そして、この画像のコントラストを計算することで、どの位置がフォーカス像となるかを見極めることができる。
【００１１】
しかしながら、上記の方法には、距離検出分解能の向上が困難になるという問題がある。この問題について、図１７、図１８を用いて説明する。
【００１２】
図１７は、対象物１４の焦点面（面Ｄ２）、焦点面の近傍にある仮想位置Ａ１およびＡ２における再構成画像を説明するための図である。位置Ａ１、Ｄ２、Ａ２における再構成画像を、それぞれ、図１７（ａ）、（ｂ）、（ｃ）に示す。Ａ１はＤ２よりもメインレンズに近い側にあるため、Ａ１における再構成画像のエッジ付近（図１７中の破線枠）の画素群では、画素値の大きい画素が左側に偏る。逆に、Ｄ２よりも遠い側にあるＡ２での再構成画像のエッジ付近の画素群では、画素値の大きい画素が右側に偏る。このように各マイクロレンズに割り当てられた画素群内での画素値の分布を見ることで、再構成画像に対応する仮想位置が、焦点面よりも近点側にあるか遠点側にあるかが判別できる。
【００１３】
一方、図１８は、画素群の平均化により、図１７で示される画像をマイクロレンズ数の解像度へと変換した画像を説明するための図である。この場合、画素群内のトータル光量が同じである画素群を変換して得られた画素は同じ画素値を持つ。したがって、Ａ１、Ｄ２、Ａ２各面における再構成画像の間には、変化が見られない。
【００１４】
このように、画素群を平均化してマイクロレンズ数の解像度を有する画像とした後、コントラストを計算する手法では、１つのマイクロレンズに対応する画素群内での濃淡値の分布があったとしても、その違いを検出することが難しくなる。奥行き情報を反映する分布の違いを判別できなくなるため、距離検出分解能の向上が困難になる。
【００１５】
本発明は、このような課題に着目してなされたものであり、その目的とするところは、奥行き分解能の高い距離測定装置あるいは距離測定方法を提供することにある。
【課題を解決するための手段】
【００１６】
１つの局面に係る本願発明は、対象物までの距離を測定するための距離測定装置であって、対象物からの物体光を集光する撮像レンズと、撮像レンズを通過した物体光が入射する複数の集光器からなる集光アレイと、集光アレイを通過した物体光の画像データを取得する撮像素子とを含むカメラを備え、撮像素子は、複数の画素を有し、複数の画素は、集光器の１つを通過した物体光を検出する複数の画素群に分割されており、各画素群における物体光を検出した画素の位置により定まる物体光の集光器への入射方向に基づき複数の画素を並び替えて撮像素子が複数の仮想位置の各々に位置する場合に得られるべき再構成画像を生成する再構成手段と、複数の再構成画像に共通の領域において、各再構成画像の各画素群を分割して得られる複数の領域の各々について、領域に含まれる画素の輝度の大きさを代表する第１の代表値を算出し、各画素群について、第１の代表値に基づいて、画素群内の輝度分布の偏りの大きさを表わす第２の代表値を算出する輝度情報算出手段と、画像データのエッジ領域を抽出し、共通の領域中のエッジ領域に含まれる各画素群位置に対して、第２の代表値に基づいて、輝度分布の偏りが少ない画素群を有する再構成画像に対応する仮想位置を特定し、カメラの光学系のパラメータに基づき特定された仮想位置を変換し距離を算出する距離算出手段とを備える。
【００１７】
好ましくは、再構成手段は、再構成画像のノイズ除去を行なうノイズ除去手段を含む。
さらに好ましくは、ノイズ除去手段は、輝度値が０の画素に対し、周辺の画素の輝度値に基づく補完を行なう。
【００１８】
好ましくは、輝度情報算出手段は、第１の代表値を、領域に含まれる画素の輝度値の和から算出する。
【００１９】
好ましくは、輝度情報算出手段は、第１の代表値を、予め設定されたレベルよりも高い輝度を有する画素の数から算出する。
【００２０】
好ましくは、輝度情報算出手段は、各第１の代表値への重み付け係数の絶対値が画素群の中心位置について対称なフィルタを用いて、第２の代表値を算出する。
【００２１】
他の局面に係る本願発明は、対象物までの距離を測定するための距離測定方法であって、撮像レンズと、複数の集光器からなる集光アレイとを通過した対象物からの物体光の画像データを、複数の画素を有し、複数の画素は、集光器の１つを通過した物体光を検出する複数の画素群に分割されている撮像素子で取得するステップと、各画素群における物体光を検出した画素の位置により定まる物体光の集光器への入射方向に基づき複数の画素を並び替えて撮像素子が複数の仮想位置の各々に位置する場合に得られるべき再構成画像を生成するステップと、複数の再構成画像に共通の領域において、各再構成画像の各画素群を分割して得られる複数の領域の各々について、領域に含まれる画素の輝度の大きさを代表する第１の代表値を算出するステップと、各画素群について、第１の代表値に基づいて、画素群内の輝度分布の偏りの大きさを表わす第２の代表値を算出するステップと、画像データのエッジ領域を抽出するステップと、共通の領域中のエッジ領域に含まれる各画素群位置に対して、第２の代表値に基づいて、輝度分布の偏りが小さい画素群を有する再構成画像に対応する仮想位置を特定し、カメラの光学系のパラメータに基づき特定された仮想位置を変換し距離を算出するステップとを備える。
【発明の効果】
【００２２】
本発明によれば、各マイクロレンズレンズに割り当てられた画素群内の輝度値分布を検出することができる。その結果、奥行き分解能の高い距離測定を行なうことができる。
【発明を実施するための最良の形態】
【００２３】
以下、図面を参照しながら本発明の実施の形態を説明する。なお、本発明は以下の実施の形態に限定されるものではない。
【００２４】
（１．本発明の構成）
図１を用いて、本発明に係る距離測定装置の構成について説明する。図１は、本発明の実施の形態に係る距離測定装置の概略構成図である。
【００２５】
距離測定装置は、画像センサカメラ１と、画像センサカメラ１で撮影された対象物の画像データを取得する画像キャプチャボード２と、画像データを保存するメモリ３と、メモリ３に保存された画像データから対象物までの距離情報を算出する画像処理部４と、画像処理部４で算出された距離情報を表示する表示モニタ５とを備える。
【００２６】
画像センサカメラ１は、対象物の画像データを取得する。画像センサカメラ１は、撮像レンズ（以後は、メインレンズ１１と呼ぶ）と、複数のマイクロレンズからなるマイクロレンズアレイ１２と、撮像素子１３とからなる。撮像素子１３としては、例えば、ＣＣＤ（ｃｈａｒｇｅ−ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサなどを用いることができる。
【００２７】
メインレンズ１１には、対象物からの物体光が入射する。メインレンズ１１は、入射した対象物からの物体光を集光する。マイクロレンズアレイ１２には、メインレンズ１１を通過した物体光が入射する。マイクロレンズアレイ１２に含まれる複数のマイクロレンズの各々は、物体光を集光する。なお、マイクロレンズアレイ１２は、複数の集光器からなる集光アレイの一例である。例えば、マイクロレンズアレイ１２のかわりに、複数のピンホールからなるピンホールアレイを用いても構わない。
【００２８】
撮像素子１３は、マイクロレンズアレイ１２を通過した物体光の画像データを取得する。撮像素子１３は、複数の画素を有する。撮像素子１３の画素および撮像素子１３により取得される画像データについては、後で詳述する。
【００２９】
画像キャプチャボード２は、撮像素子１３で取得された画像データを取り込み、以降の処理が行なえる形に変換する。メモリ３は、画像キャプチャボード２から転送された画像データを格納する。
【００３０】
画像処理部４は、メモリ３から画像データを読出し、読み出した画像データに基づき、物体までの距離を算出する処理を行なう。画像処理部４は、選択領域に含まれる画素データを並び替えて、撮像素子１３が異なる複数の仮想位置の各々に位置する場合に得られるべき再構成画像を生成する再構成部４ａと、複数の再構成画像の各々を複数の領域に分割し、各領域に基づいて第１の代表値を算出し、第１の代表値間の差分値に基づいて第２の代表値を算出する輝度情報算出部４ｂと、第２の代表値に基づいて対象物までの距離を算出する距離情報算出部４ｃとからなる。画像処理部４の行なう処理の詳細については、後述する。
【００３１】
（２．画像センサカメラの特徴について）
本発明においては、画像センサカメラ１の光学系の構成に特徴があり、図２を用いて、その特徴を説明する。図２は、画像センサカメラ１の光学系を示す図である。なお、簡単のため、図２には、対象物１４が点光源である場合を示す。
【００３２】
画像センサカメラ１のマイクロレンズアレイ１２は、対象物１４がＡの位置にある場合に、メインレンズ１２より対象物１４がほぼ結像する位置に配置される。このときのＡの位置を合焦点位置、合焦点位置よりもメインレンズ１１に近い側を近点位置、合焦点位置よりもメインレンズ１１から遠い側を遠点位置と呼ぶ。撮像素子１３はマイクロレンズアレイ１２のほぼ焦点位置に配置されている。撮像素子１３には、対象物の光が、マイクロレンズを通して、入射される。また、それぞれのマイクロレンズを通過した光が、互いに重なることなく撮像素子１３上に入射するように、画像センサカメラ１の光学系は調整されているものとする。
【００３３】
次に、図３〜図５を用いて、この画像センサカメラ１により撮像される画像について説明する。
【００３４】
図３を用いて、対象物１４の結像について説明する。図３は、対象物１４が近点位置Ｂまたは遠点位置Ｃにある場合の集光の様子を示す図である。対象物１４が位置Ｂにある場合、対象物１４からの光は、メインレンズ１１により、面Ｄに集光(結像)する。また、位置Ｃにある場合、面Ｆに集光（結像）する。また、面Ｅは、合焦位置Ａに対する集光面であり、ほぼマイクロレンズアレイ１２の位置に相当する。
【００３５】
続いて、対象物１４が図３の位置Ａ，Ｂ，Ｃにある場合に撮像素子１３により、どのような画像が撮像されるかを図４、図５を用いて説明する。図４はマイクロレンズアレイ１２上の入射光１５の形状を示す図であり、図５は撮像素子１３上の入射光１６の形状を示す図である。
【００３６】
まず、対象物１４が図３の位置Ａ，Ｂ，Ｃにある場合にマイクロレンズアレイ１２上にどのような形状の入射光１５が入射するかについて図４を用いて説明する。図４に示すように、本実施例においては、マイクロレンズアレイ１２は、２次元面内に配列された円形のマイクロレンズからなるものとする。また、各マイクロレンズには、それらを識別するための番号Ｍ（ｉ，ｊ）が与えられているものとする。図４（ａ）、図４（ｂ）、図４（ｃ）は、それぞれ、対象物１４が、遠点位置Ｃにある場合、合焦位置Ａにある場合、近点位置Ｂにある場合のマイクロレンズアレイ１２上の入射光１５の形状を示す図である。
【００３７】
合焦位置Ａにある対象物１４からの光は図４（ｂ）のようにほぼマイクロレンズＭ（２，２）上に集光される。
【００３８】
対象物１４が遠点位置Ｃにある場合、対象物１４からの光は、メインレンズ１１を通して一旦集光された後、さらにデフォーカス状態になって広がってマイクロレンズアレイ１２上に入射する。したがって、図４（ａ）に示すように、マイクロレンズアレイ１２上の入射光１５は、マイクロレンズＭ（２，２）の周辺レンズＭ（１，２）、Ｍ（２，１）、Ｍ（２，３）、Ｍ（３，２）にまで広がる。
【００３９】
対象物１４が近点位置Ｂにある場合は、集光前のデフォーカス状態の光が、マイクロレンズアレイ１２上に入射する。したがって、図４（ｂ）に示すように、マイクロレンズアレイ１２上の入射光１５は、マイクロレンズＭ（２，２）の周辺レンズＭ（１，２）、Ｍ（２，１）、Ｍ（２，３）、Ｍ（３，２）にまで広がる。
【００４０】
撮像素子１３上の入射光１６について図５を用いて説明する。図５に示すように、撮像素子１３は、複数の画素群からなる。各画素群には、番号Ｔ（ｉ，ｊ）が付されている。また、各画素群は、マイクロレンズの１つを通過した物体光を検出する。言い換えると、マイクロレンズＭ（ｉ，ｊ）を通過した光は、画素群Ｔ（ｉ，ｊ）に入射する。なお、図では、画素群が１０×１０の画素で構成されている場合を示しているが、画素群を構成する画素の数はこれに限られない。
【００４１】
対象物１４が合焦位置Ａにある場合、図４（ｂ）のようにほぼマイクロレンズＭ（２，２）上に集光された光が、撮像素子１３に入射する。したがって、撮像素子１３に入射する光は、図５（ｂ）に示すように、撮像素子１３の画素群Ｔ（２，２）に対して全面に広がる。
【００４２】
対象物１４が遠点位置Ｃにある場合、マイクロレンズアレイ１２上で、図４（ａ）のように周辺レンズＭ（１，２）、Ｍ（２，１）、Ｍ（２，３）、Ｍ（３，２）にも広がった光が、撮像素子１３に入射する。これらの周辺レンズに入射した光は、撮像素子１３上では、図５（ａ）に示すように、それぞれのマイクロレンズに対応する画素群Ｔ（１，２）、Ｔ（２，１）、Ｔ（２，３）、Ｔ（３，２）の一部に入射する。
【００４３】
図５（ｃ）は、近点位置Ｂに対象物１４が位置する場合に、撮像素子１３に入射する光の形状を示す図である。対象物が遠点位置Ｃにある場合と同様に、画素群Ｔ（１，２）、Ｔ（２，１）、Ｔ（２，３）、Ｔ（３，２）の一部にも光が入射する。
【００４４】
（３．画像の再構成について）
次に、本装置において距離情報を算出するための基本操作である、各仮想面での像の再構成について説明する。
【００４５】
画像の再構成にあたっては、画像センサカメラ１で取得した画像データから、マイクロレンズへの物体光の入射方向の情報を得られるという点が重要である。画像データから入射方向の情報が得られることを、図５を再度用いて説明する。例えば、遠点位置Ｃにある対象物１４からの光は、図５（ａ）に示すように、画素群Ｔ（２，２）を中心に、周囲の画素群Ｔ（１，２）、Ｔ（２，１）、Ｔ（２，３）、Ｔ（３，２）の中の外側の一部の決まった画素に入射する。また、逆に、近点位置Ｂにある対象物１４からの光は、図５（ｃ）に示すように、画素群Ｔ（２，２）を中心に、周囲の画素群Ｔ（１，２）、Ｔ（２，１）、Ｔ（２，３）、Ｔ（３，２）の中の内側の一部の決まった画素に入射する。このように各画素群に含まれる画素のうちどの画素に光が入射したかにより、各画素群に対応する位置に設置されたマイクロレンズへの物体光の入射方向の情報を得ることができる。
【００４６】
この入射方向の情報、仮想面の位置（仮想位置）、および、光学系のパラメータ（メインレンズ１１とマイクロレンズアレイ１２間の距離など）に基づき、撮像素子１３が取得した画素データを並び替えることで、撮像素子１３が仮想位置にある場合に取得されるべき画像データを取得することができる。
【００４７】
並び替えの具体例を図６を用いて説明する。図６は、対象物１４の撮影像のデータを変換して得た再構成画像を示す図である。例えば、図６（ａ）は図５（ａ）に示した画像データから再構成した仮想面Ｆ上での光の分布を示したもので、図５（ｂ）の合焦位置での光ビーム状態とほぼ同じになる。周囲の決まった画素に入射する光、すなわち、画素出力だけを集めて、画素群Ｔ（２，２）の中央付近の画素出力と足し合わせ、改めて画素群Ｔ（２，２）の出力とすることで、仮想面Ｆでの画像を作り出すことができる。一方、近点位置Ｂにある対象物（点像）に対しては、撮像素子１３上での広がり（分割状態）は、図５（ｃ）のように遠点状態とは異なるので、異なる演算（周囲画素群の内側の一部の画素出力を足し合わせる）により、同じく図６（ｃ）の再構成像が生成できる。
【００４８】
なお、ここでは対象物が点像の場合の例を示したが、大きさを有する対象物の場合にも、同様の操作で画像の再構成ができる。ただし、大きさを有する画像の場合、全てのマイクロレンズに光が入射するので、各マイクロレンズに対応する画素群Ｔ（１，１）〜Ｔ（３，３）に対して同様の操作を行う必要がある。
【００４９】
（４．距離情報の取得方法について）
次に、上記の方法により選択された領域について、仮想面の画像を再構成し、さらに画像の中の対象物の距離情報（３次元情報）を取得する方法について、図７を参照しつつ説明する。図７は、距離情報の取得の各工程で生成される画像データについて説明するための図である。
【００５０】
距離情報の取得にあたっては、まず、画像センサカメラ１により、対象物の画像データを取得する。取得された画像データは、画像キャプチャボード２を介してメモリ３に記憶される。この画像データを、図７（ａ）に示すようにｆ（ｉ，ｊ）とする。取得画像の画素数は、Ｗ×Ｈである。取得画像は、ｍ×ｍの画素からなる画素群を単位として構成される。画素群数は、Ｗ／ｍ×Ｈ／ｍである。
【００５１】
その後、画像処理部４は、画像データｆ（ｉ、ｊ）を処理することにより、対象物の距離情報を取得する。この処理は大きく、「再構成ステップ」、「輝度情報算出ステップ」、「距離情報算出ステップ」に分かれる。以下、それぞれの処理について説明する。
【００５２】
（１）再構成ステップ
画像処理部４に含まれる再構成部４ａは、画像データｆ（ｉ，ｊ）を並び替えて、図７（ｂ）に示すようなＮ個の仮想面での再構成画像データｇｎ（ｉ，ｊ）を生成する。ここでｎ（ｎ＝１〜Ｎ）は仮想面の順番を示す。この並び替えを、焦点面変換係数Ａｎ（ｎ＝１〜Ｎ）を用いて、ｇｎ（ｉ，ｊ）＝Ａｎ（ｆ（ｉ，ｊ））と表すことにする。ここで、Ａｎは、各画素群における物体光を検出した画素の位置により定まる各マイクロレンズへの物体光の入射方向、仮想位置、および、光学系のパラメータに基づいて決定されるものである。
【００５３】
なお、再構成部４ａは、例えば、特に限られるわけではないが、本実施例においては予め定められた間隔で並んだ複数の仮想位置に対して再構成画像データを取得するものとする。また、再構成部４ａは、以下で述べる方法で焦点の合った仮想位置が算出された場合、焦点の合った仮想位置近傍では、仮想位置の間隔をさらに狭くして、狭い間隔の仮想位置に対して再構成画像を取得してもよい。この構成によれば、距離検出の精度を高めることができる。
【００５４】
このステップでは、１個の画像データｆ（ｉ，ｊ）から、図７（ｂ）に示すようなＮ個の再構成画像データ、すなわち、ｇ０１（ｉ，ｊ）＝Ａｎ（ｆ（ｉ，ｊ））、ｇ０２（ｉ，ｊ）＝Ａｎ（ｆ（ｉ，ｊ））、…、ｇｎ（ｉ，ｊ）＝Ａｎ（ｆ（ｉ，ｊ））、…、ｇＮ（ｉ，ｊ）＝Ａｎ（ｆ（ｉ，ｊ））が得られる。
【００５５】
さらに、再構成画像ｇｎ（ｉ，ｊ）に対して、ノイズデータ除去処理を施し、ノイズ除去画像データg’n（ｉ，ｊ）を生成する。ノイズには、電気的な要因によるもののほかに、本方式特有のものがある。図８は、本方式に特有のノイズを示す図である。本方式では、元画像から異なる画像を再構成する際に、Ｂ１〜Ｂ３のように撮像素子の１画素単位の幅で線状にデータの抜けが現れることがある。すなわち、線状に輝度値がない画素が生じることがある。このようなノイズは、抜けがある位置の画素データは、再構成の際、別の画素のデータとして再配置されるが、再配置された画素には、他の画素から値が補完されないために生じる。このような抜けがある場合、後のステップで行う強度分布算出が正確に行うことができないため、最終的に得られる距離情報に誤差が生じることになる。そこで、本実施の形態では、このような抜けを補完する処理を行なうものとする。具体的には、１マイクロレンズに割り当てられた画素群内で、メディアンフィルタなどを用いてノイズデータの除去を行なう。図７（ｃ）に示すように、ノイズ除去画像の枚数は、再構成画像と同じくＮ枚である。また、画素数はＷ×Ｈ、画素群数は、Ｗ／ｍ×Ｈ／ｍである。この処理により、再構成された画像のノイズの影響が低減され、画素群内の、より正確な輝度情報が得られるため、精度のよい距離検出装置が実現できる。
【００５６】
（２）輝度情報算出ステップ
次に、輝度情報算出ステップについて説明する。輝度情報算出ステップにおいて、輝度情報算出部４ｂは、ノイズ除去画像g’n（ｉ，ｊ）に対して、１マイクロレンズに割り当てられた画素群を、複数の領域にわけ、各領域を、各領域に含まれる画素の輝度値を代表する第１の代表値を有する１画素に置き換えた分割画像ｈｎ(i’,j’)を生成する。第１の代表値としては、当該領域に含まれる画素の輝度値が大きいほど大きな値を持つものを用いることができる。本実施例では、図７（ｄ）のように各画素群を画素領域の等しい４つの領域に分割し、それぞれの領域で画素値の出力を足し合わせた値を４つの領域のそれぞれの第１の代表値とする。このときの変換を変換係数Ｂｎを用いて、ｈｎ(i’,j’)＝Ｂｎ（ｇ（ｉ，ｊ））と表わす。ただし、各領域の第１の代表値は画素値の総和でなくてもよく、画素値の総和を領域数で割って得られる画素値の平均値であってもよい。また、ある閾値以上の出力値を有する画素の数を第１の代表値とすることもできる。
【００５７】
続いて、輝度情報算出部４ｂは、分割画像データｈｎ(i’,j’)から、差分値画像データｋｎ(i”,j”)を求める。差分値画像の各画素は、ｈｎ（ｉ’，ｊ’）の各画素群に含まれるｍ×ｍの画素から求められた、各画素群内の輝度分布の偏りの大きさを表わす値である。以下、この値を第２の代表値とする。本ステップにより、再構成画像の画素（画素群に相当）数をＷ／ｍ×Ｈ／ｍに削減することができるため、以降の画像処理速度が向上する。
【００５８】
この変換を、ｋｎ(i”,j”)＝Ｃｎ（ｈ（i’,j’）)と表わすことにする。ここで、Ｃｎは、差分値変換係数である。この変換には、画素群内の輝度分布情報を算出するためのフィルタが用いられる。例えば、図７（ｅ）に示したようなフィルタを用いることができる。すなわち、（ｉ’，ｊ’）の画素群に対して、ｘ方向の差（微分値）：ｄｘ＝ｈ（i'，ｊ’）＋ｈ（i'＋１，ｊ’）−ｈ（i'，ｊ’＋１）−ｈ（i'＋１，ｊ’＋１）、ｙ方向の差（微分値）：ｄｙ＝ｈ（i'，ｊ’）＋ｈ（i'，ｊ’＋１）−ｈ（i'＋１，ｊ’）−ｈ（i'＋１，ｊ’＋１）を用いて、第２の代表値を（ｄｘ２＋ｄｙ２）１／２とする。
【００５９】
なお、（ｄ）と（ｅ）の演算処理は、全体の画像データに対して独立に行うのではなく、１マイクロレンズの画素群ごとに連続して行うことができる。
【００６０】
また、第２の代表値を求めるためのフィルタについては、上に説明したような画像のｘ方向、ｙ方向の成分に沿ったもの以外にも、図９のようなフィルタを用いることができる。図９は、第２の代表値を求めるための別のフィルタを示す図である。この場合の演算は、ｄｘ、ｄｙをそれぞれ、ｄｘ＝ｈ（i'，ｊ’）−ｈ（i'＋１，ｊ’＋１）、ｄｙ＝ｈ（i'，ｊ’＋１）−ｈ（i'＋１，ｊ’）のように定義する。第２の代表値は、上記と同様（ｄｘ２＋ｄｙ２）１／２として求める。このようにすることで、画素群内の全ての出力値を反映させつつ、演算回数を減らし、計算の効率化を図ることができる。
【００６１】
また、画素群の分割領域の数は４つに限られず、９分割や１６分割を行なってもよい。分割数は、１マイクロレンズに割り当てられた画素群の全画素数までの範囲内で設定することができる。
【００６２】
分割する領域が増えた場合、差分値を得るための変換演算についても、それに対応して変更する必要がある。図１０に、９分割の場合の変換演算に用いられるフィルタの一例を示す。この場合の差分値を求める演算は、ｄｘ＝ｈ（i'，ｊ’）＋ｈ（i'＋１，ｊ’）＋ｈ（i'＋２，ｊ’）−ｈ（i'，ｊ’＋２）−ｈ（i'＋１，ｊ’＋２）−ｈ（i'＋２，ｊ’＋２）、ｙ方向の差（微分値）：ｄｙ＝ｈ（i'，ｊ’）＋ｈ（i'，ｊ’＋１）＋ｈ（i'，ｊ’＋２）−ｈ（i'＋２，ｊ’）−ｈ（i'＋２，ｊ’＋１）−ｈ（i'＋２，ｊ’＋２）となる。第２の代表値は上記と同様（ｄｘ２＋ｄｙ２）１／２として求められる。
【００６３】
つまり、４分割の場合と同様に、重み係数の絶対値が、画素群の中心に対して対称となるフィルタ窓を設定することで、画素群の輝度分布の情報を与える差分値を求めることができる。なお、ここで、「絶対値が、画素群の中心に対して対称」とは、絶対値が画素群の中心について点対称である場合と、画素群の中心を通るｘ、ｙの各軸について線対称な場合の両方を含むものとする。このように分割を増やすことで、画素値の分布状態を精度よく検出することができる。
【００６４】
また、演算を行なう領域を限定することで、計算の効率を向上することができる。例えば、１マイクロレンズに割り当てられた画素群の中で、検出される光の分布は円状になる。そのため、図１０（ｂ）で、ｈ（i'，ｊ’）、ｈ（i'＋２，ｊ’）、ｈ（i'，ｊ’＋２）、ｈ（i'＋２，ｊ’＋２）に相当する部分にある画素の一部では、光が検出されない。この部分を演算に含めることよって計算に無駄が生じる。そこで、測定対象からやってくる光が、含まれるほぼすべての画素で検出される、ｈ（i'＋１，ｊ’）、ｈ（i'，ｊ’＋１）、ｈ（i'＋２，ｊ’＋１）、ｈ（i'＋１，ｊ’＋１）などの領域に限定して演算を行うことで、効率的な分布情報を得ることができる。この場合、画素群の中で、対称的な位置関係にある領域を選択する。このような処理によれば、画素群に含まれる全ての画素を使わないため、演算処理のスピードを向上させることができる。
【００６５】
また、フィルタの係数は１だけではなくて、係数の絶対値が画素群の中心に対して対称であれば、各領域に対して異なる値とすることができる。例えば、図１０（ａ）のフィルタにおいて、ｈ（i'＋１，ｊ’）の重み係数を２、ｈ（i'＋１，ｊ’＋２）の重み係数を−２としたフィルタを用いることができる。
【００６６】
次に、輝度情報算出部４ｂは、差分値画像データを求めた後、差分値画像データｋｎ（i’,j’)（ｎ＝１〜Ｎ）を並び替えて、図７（ｆ）に示すような、行に差分値画像のｘ座標、列に複数枚の画像の順番ｎをとった差分値（縦断層）画像データＲ（ｐ）を生成する。
【００６７】
あらわな表式で書くと、差分値画像データｋｎ(i’,j’)から、差分値（縦断層）画像；
Ｒ（ｐ１）＝（ｋ０１（ｐ１），ｋ０２（ｐ１），ｋ０３（ｐ１），…，ｋＮ（ｐ１））
Ｒ（ｐ２）＝（ｋ０１（ｐ２），ｋ０２（ｐ２），ｋ０３（ｐ２），…，ｋＮ（ｐ２））
Ｒ（ｐｊ’）＝（ｋ０１（ｐｊ’），ｋ０２（ｐｊ’），ｋ０３（ｐｊ’），…，ｋＮ（ｐｊ’））
Ｒ（ｐＨ／ｍ）＝(ｋ０１（ｐＨ／ｍ）,ｋ０２（ｐＨ／ｍ）,ｋ０３（ｐＨ／ｍ）,…,ｋＮ（ｐＨ／ｍ）)
を得る、ということである。ここで、ｐｊ’＝（ｉ’，ｊ’）（ｊ’は固定、ｉ’は１〜Ｗ／ｍにわたる）である。差分値（縦断層）画像の枚数は、第２の代表値画像のｙ座標、すなわちＨ／ｍ枚である。
【００６８】
（３）距離情報算出ステップ
距離情報算出部４ｃは、輝度情報算出ステップで得られた情報に基づき、対象物の距離情報を算出する。図５で示すように、本方式において、マイクロレンズアレイ上で結像する物体から到達した光は、マイクロレンズに割り当てられた画素群全体にわたって分布することになる。よって、画素群内の輝度分布の偏りが小さくなるときが、合焦点状態だと判断できる。具体的には、次のように、第２の代表値に基づいて、距離情報を算出する。
【００６９】
まず、距離情報算出部４ｃは、差分値分布(縦断層)画像において、各画素位置ｐ＝（ｉ’，ｊ’）での第２の代表値の最小値を検出し、その最小値が検出されるｎ値（以後、仮想位置の代表値と呼ぶ）を求め、代表値画像データｓ（ｉ”,ｊ”)を生成する。すなわち、各ｐ＝（ｉ”，ｊ”）においてｋｎ（ｉ”，ｊ”）（ｎ＝１〜Ｎ）を最小とするｎの値をｓ（ｉ”，ｊ”）とおく。
【００７０】
具体的に、差分値分布画像Ｒ（ｐ１）からｎ値（代表値）を求める場合であれば、ｋ０１（1,1），ｋ０２（1,1），ｋ０３（1,1），…，ｋＮ（1,1）のうちの最小値をとるもののｎの値を、ｓ（1,1）とする。同様に、ｋ０１（1,2），ｋ０２（1,2），ｋ０３（1,2），…，ｋＮ（1,2）からｓ（1,2）を求める。一般には、ｋ０１（1,j”），ｋ０２（1,j”），ｋ０３（1,j”），…，ｋＮ（1,j'）からｓ（1,j”）を求める。したがって、１枚の差分値（縦断層）画像から、Ｗ／ｍ個の代表値が求められることになる。この操作を各差分値分布画像について行ない、図７（ｇ）に示すように、すべての画素の代表値データからなる代表値画像を求めることができる。
【００７１】
あるいは、第２の代表値分布の近似曲線から、代表値を求めてもよい。この求め方を図１１を用いて説明する。図１１は、第２の代表値分布の近似曲線から代表値を求める方法を説明するための図である。図１１（ａ）は、異なる距離に配置されている２つの対象物の再構成像を示す図である。図１１（ｂ）は、図１１（ａ）に示した各対象物（１１Ａ、１１Ｂ）のエッジ付近の画素位置における差分値強度（第２の代表値強度）を、仮想面の位置（ｎ値）について、プロットしたものである。各対象物に対して、画素位置（ｉ”，ｊ”）において、ｎ値についてプロットした第２の代表値強度の近似曲線を求め、近似曲線のピークのｎ値（図１１（ｂ）中のｎ１、ｎ２）を、代表値ｓ(i”,j”)として求める。この代表値は対象物の像にピントが合っている仮想面の位置を示している。
【００７２】
なお、本実施例では、ｎ値データ画像を求めるにあたって、差分値画像データから差分値（縦断層）画像データを求め、さらに差分値（縦断層）画像データから代表値画像データを生成するという構成を説明した。しかし、Ｎ枚の差分値画像データｋｎ（ｉ”，ｊ”）（ｎ＝１〜Ｎ）から直接に、すなわち、上述の差分値（縦断層）画像データを求めることなしに、代表値画像データを生成することもできる。差分値分布（縦断層）画像という概念を導入したのは、実際に計算機（演算プログラム）で代表値画像データを算出する場合の計算のアルゴリズムを分かりやすくするためである。
【００７３】
距離情報算出部４ｃは、各画素位置において最小の第２の代表値強度が得られる仮想焦点位置データを対応させた代表値画像s(i”,j”)に基づいて、距離測定装置から対象物までの距離を算出する。
【００７４】
まず、距離情報算出部４ｃは、画像データｆ（ｉ，ｊ）からエッジ領域を抽出する。例えば、一般的に用いられているRoberts法と呼ばれるエッジ検出法を利用する場合には、ｆ（ｉ，ｊ）の画素群に対して、ｘ方向の微分値ｄｘ＝ｆ（i，ｊ）−ｆ（i＋１，ｊ＋１）、ｙ方向の微分値ｄｙ＝ｈ（i＋１，ｊ）−ｈ（i，ｊ＋１）を求め、（ｄｘ２＋ｄｙ２）１／２がしきい値以上である画素（ｉ，ｊ）をエッジ領域として抽出する。ただし、エッジ検出法としては、これに限ることなく、単純な微分法、Sobel法や２次微分を用いるラプラシアン法など様々な方法を用いることができる。
【００７５】
距離情報算出部４ｃは、エッジ領域内の代表値画像s(i”,j”)を、既知の光学系の倍率データ等を用いて、距離測定装置から対象物までの絶対距離d(i”,j”)に変換し、最終的な距離画像データ d(i”,j”)を生成する。このようにして求めた距離画像の画素数は、図７（ｈ）に示すように、最大で、Ｗ／ｍ×Ｈ／ｍである。実際には、代表値が計算され、かつ、エッジ領域に含まれる画素について、距離情報が算出される。
【００７６】
本距離測定方法は、再構成した画像間の画素値分布の差異を利用するものであるため、このように、画素値分布の変化が生じるエッジ領域について距離情報を算出する構成をとっている。
【００７７】
上記距離情報算出アルゴリズムにより、単一の撮像データから画像処理により、異なるフォーカシング状態（仮想焦点位置）の複数の画像を生成し、そのデータより対象物の距離画像を得ることができる。また、再構成した画像において、１マイクロレンズに割り当てられた画素群内の強度分布の違いを感度よく検出することができるので、奥行き分解能の高い情報測定装置を提供することが可能になる。
【００７８】
上述の距離情報検出アルゴリズムで行なわれる処理の流れを図１２を用いて説明する。図１２は、本実施の形態に係る距離測定装置が行なう処理を説明するためのフローチャートである。
【００７９】
まず、画像処理部４は、ステップＳ１０１において、画像データを取得する。この画像データは、画像センサカメラ１により対象物を１回撮影することにより得られる。
【００８０】
次に、画像処理部４は、再構成ステップに含まれる各ステップを実行する。
まず、画像処理部４は、ステップＳ１０２において、画像データの並び替え（再構成）を行なう。すなわち、複数の仮想位置における再構成画像を生成する。
【００８１】
次に、画像処理部４は、ステップＳ１０３において、ノイズの除去を行なう。ただし、このステップは必須ではない。
【００８２】
続いて、画像処置装置４は、輝度情報算出ステップに含まれる各ステップを実行する。
まず、画像処理部４は、ステップＳ１０４において、各画素群の分割を行なう。また、分割後の各領域に対して、第１の代表値を算出する。
【００８３】
そして、画像処理部４は、ステップＳ１０５において、第１の代表値から差分値画像データを作成する。
【００８４】
さらに、画像処理部４は、ステップＳ１０６において、差分値画像データを並び替え、差分値（縦断層）画像データを作成する。ただし、このステップは必須でない。
【００８５】
最後に、画像処理部４は、距離情報算出ステップに含まれる各処理を実行する。
まず、画像処理部４は、ステップＳ１０７において、差分値（縦断層）画像データ（ステップＳ１０６を省略している場合、差分値画像データ）から、代表値データを算出する。
【００８６】
そして、画像処理部４は、ステップＳ１０８において、エッジ領域を抽出し、光学系の倍率より、エッジ領域内の代表値データを対象物の距離データに変換する。
【００８７】
上記アルゴリズムは、輝度情報算出処理を画素すべてについて行い、距離データを求める場合のものであるが、画素すべてについて距離データを求めなくてもよい場合は、アルゴリズム処理領域を限定してもよい。例えば、複数の再構成画像に共通の処理領域を設定し、設定した処理領域において、輝度情報算出処理および距離情報算出処理を行なってもよい。処理領域を限定することで、処理時間や計算負荷を低減できる。
【００８８】
また、隣接する画素間の差分値をとり、その差分値に閾値処理を施すなどして、画像内のエッジ領域を抽出し、抽出したエッジ領域に限定して、代表値の算出および距離情報の計算を行なってもよい。このようにエッジ領域についてのみ距離を求める構成によれば、処理時間や計算負荷を低減できる。さらに、エッジ領域の抽出後、処理の対象とする領域を指定し、指定した領域に限定して距離情報を計算することにより、処理時間や計算負荷を大幅に低減できる。
【００８９】
今回開示された実施の形態はすべての点で例示であって制限的なものではない。本発明の範囲は上記した実施の形態ではなくて特許請求の範囲によって示され、特許請求の範囲と均等な意味および範囲内でのすべての変更点が含まれることが意図される。
【図面の簡単な説明】
【００９０】
【図１】本発明の実施の形態に係る距離測定装置の概略構成図である。
【図２】画像センサカメラ１の光学系を示す図である。
【図３】対象物１４が近点位置Ｂまたは遠点位置Ｃにある場合の集光の様子を示す図である。
【図４】マイクロレンズアレイ１２上の入射光１５の形状を示す図である。
【図５】撮像素子１３上の入射光１６の形状を示す図である。
【図６】対象物１４の撮影像のデータを変換して得た再構成画像を示す図である。
【図７】距離情報の取得の各工程で生成される画像データについて説明するための図である。
【図８】本方式に特有のノイズを示す図である。
【図９】第２の代表値を求めるための別のフィルタを示す図である。
【図１０】９分割の場合の変換演算に用いられるフィルタの一例を示す図である。
【図１１】第２の代表値分布の近似曲線から代表値を求める方法を説明するための図である。
【図１２】本実施の形態に係る距離測定装置が行なう処理を説明するためのフローチャートである。
【図１３】矢印形状の対象物１４が位置Ｂにある場合の集光の様子を示す図である。
【図１４】対象物１４が位置Ｂにある場合に取得される画像を説明するための図である。
【図１５】撮像素子１３で得られる画像の拡大図である。
【図１６】図１５に示した各画素群に含まれる画素を、平均値を有する画素で置き換えた画像を説明するための図である。
【図１７】対象物１４の焦点面（面Ｄ２）、焦点面の近傍にある仮想位置Ａ１およびＡ２における再構成画像を説明するための図である。
【図１８】図１７で示される画像をマイクロレンズ数の解像度へと変換した画像を説明するための図である。
【符号の説明】
【００９１】
１ 画像センサカメラ、２ 画像キャプチャボード、３ メモリ、４ 画像処理装置、４ａ 再構成部、４ｂ 輝度情報算出部、４ｃ 距離情報算出部、５ 表示モニタ、１１ 撮像レンズ、１２ マイクロレンズアレイ、１３ 撮像素子、１４ 対象物。
【特許請求の範囲】
【請求項１】
対象物までの距離を測定するための距離測定装置であって、
対象物からの物体光を集光する撮像レンズと、前記撮像レンズを通過した前記物体光が入射する複数の集光器からなる集光アレイと、前記集光アレイを通過した前記物体光の画像データを取得する撮像素子とを含むカメラを備え、
前記撮像素子は、複数の画素を有し、前記複数の画素は、前記集光器の１つを通過した前記物体光を検出する複数の画素群に分割されており、
各前記画素群における前記物体光を検出した前記画素の位置により定まる前記物体光の前記集光器への入射方向に基づき前記複数の画素を並び替えて前記撮像素子が複数の仮想位置の各々に位置する場合に得られるべき再構成画像を生成する再構成手段と、
前記複数の再構成画像に共通の領域において、各前記再構成画像の各前記画素群を分割して得られる複数の領域の各々について、前記領域に含まれる画素の輝度の大きさを代表する第１の代表値を算出し、各前記画素群について、前記第１の代表値に基づいて、前記画素群内の輝度分布の偏りの大きさを表わす第２の代表値を算出する輝度情報算出手段と、
前記画像データのエッジ領域を抽出し、前記共通の領域中の前記エッジ領域に含まれる各前記画素群位置に対して、前記第２の代表値に基づいて、前記輝度分布の偏りが少ない前記画素群を有する前記再構成画像に対応する前記仮想位置を特定し、前記カメラの光学系のパラメータに基づき前記特定された前記仮想位置を変換し前記距離を算出する距離算出手段とを備える、距離測定装置。
【請求項２】
前記再構成手段は、前記再構成画像のノイズ除去を行なうノイズ除去手段を含む、請求項１に記載の距離測定装置。
【請求項３】
前記ノイズ除去手段は、輝度値が０の画素に対し、周辺の画素の輝度値に基づく補完を行なう、請求項２に記載の距離測定装置。
【請求項４】
前記輝度情報算出手段は、前記第１の代表値を、前記領域に含まれる画素の輝度値の和から算出する、請求項１から３のいずれか１項に記載の距離測定装置。
【請求項５】
前記輝度情報算出手段は、前記第１の代表値を、予め設定されたレベルよりも高い輝度を有する画素の数から算出する、請求項１から３のいずれか１項に記載の距離測定装置。
【請求項６】
前記輝度情報算出手段は、各前記第１の代表値への重み付け係数の絶対値が画素群の中心位置について対称なフィルタを用いて、前記第２の代表値を算出する、請求項１から５のいずれか１項に記載の距離測定装置。
【請求項７】
対象物までの距離を測定するための距離測定方法であって、
撮像レンズと、複数の集光器からなる集光アレイとを通過した前記対象物からの物体光の画像データを、複数の画素を有し、前記複数の画素は、前記集光器の１つを通過した前記物体光を検出する複数の画素群に分割されている撮像素子で取得するステップと、
各前記画素群における前記物体光を検出した前記画素の位置により定まる前記物体光の前記集光器への入射方向に基づき前記複数の画素を並び替えて前記撮像素子が複数の仮想位置の各々に位置する場合に得られるべき再構成画像を生成するステップと、
前記複数の再構成画像に共通の領域において、各前記再構成画像の各前記画素群を分割して得られる複数の領域の各々について、前記領域に含まれる画素の輝度の大きさを代表する第１の代表値を算出するステップと、
各前記画素群について、前記第１の代表値に基づいて、前記画素群内の輝度分布の偏りの大きさを表わす第２の代表値を算出するステップと、
前記画像データのエッジ領域を抽出するステップと、
前記共通の領域中の前記エッジ領域に含まれる各前記画素群位置に対して、前記第２の代表値に基づいて、前記輝度分布の偏りが小さい前記画素群を有する前記再構成画像に対応する前記仮想位置を特定し、前記カメラの光学系のパラメータに基づき前記特定された前記仮想位置を変換し前記距離を算出するステップとを備える、距離測定方法。
【請求項１】
対象物までの距離を測定するための距離測定装置であって、
対象物からの物体光を集光する撮像レンズと、前記撮像レンズを通過した前記物体光が入射する複数の集光器からなる集光アレイと、前記集光アレイを通過した前記物体光の画像データを取得する撮像素子とを含むカメラを備え、
前記撮像素子は、複数の画素を有し、前記複数の画素は、前記集光器の１つを通過した前記物体光を検出する複数の画素群に分割されており、
各前記画素群における前記物体光を検出した前記画素の位置により定まる前記物体光の前記集光器への入射方向に基づき前記複数の画素を並び替えて前記撮像素子が複数の仮想位置の各々に位置する場合に得られるべき再構成画像を生成する再構成手段と、
前記複数の再構成画像に共通の領域において、各前記再構成画像の各前記画素群を分割して得られる複数の領域の各々について、前記領域に含まれる画素の輝度の大きさを代表する第１の代表値を算出し、各前記画素群について、前記第１の代表値に基づいて、前記画素群内の輝度分布の偏りの大きさを表わす第２の代表値を算出する輝度情報算出手段と、
前記画像データのエッジ領域を抽出し、前記共通の領域中の前記エッジ領域に含まれる各前記画素群位置に対して、前記第２の代表値に基づいて、前記輝度分布の偏りが少ない前記画素群を有する前記再構成画像に対応する前記仮想位置を特定し、前記カメラの光学系のパラメータに基づき前記特定された前記仮想位置を変換し前記距離を算出する距離算出手段とを備える、距離測定装置。
【請求項２】
前記再構成手段は、前記再構成画像のノイズ除去を行なうノイズ除去手段を含む、請求項１に記載の距離測定装置。
【請求項３】
前記ノイズ除去手段は、輝度値が０の画素に対し、周辺の画素の輝度値に基づく補完を行なう、請求項２に記載の距離測定装置。
【請求項４】
前記輝度情報算出手段は、前記第１の代表値を、前記領域に含まれる画素の輝度値の和から算出する、請求項１から３のいずれか１項に記載の距離測定装置。
【請求項５】
前記輝度情報算出手段は、前記第１の代表値を、予め設定されたレベルよりも高い輝度を有する画素の数から算出する、請求項１から３のいずれか１項に記載の距離測定装置。
【請求項６】
前記輝度情報算出手段は、各前記第１の代表値への重み付け係数の絶対値が画素群の中心位置について対称なフィルタを用いて、前記第２の代表値を算出する、請求項１から５のいずれか１項に記載の距離測定装置。
【請求項７】
対象物までの距離を測定するための距離測定方法であって、
撮像レンズと、複数の集光器からなる集光アレイとを通過した前記対象物からの物体光の画像データを、複数の画素を有し、前記複数の画素は、前記集光器の１つを通過した前記物体光を検出する複数の画素群に分割されている撮像素子で取得するステップと、
各前記画素群における前記物体光を検出した前記画素の位置により定まる前記物体光の前記集光器への入射方向に基づき前記複数の画素を並び替えて前記撮像素子が複数の仮想位置の各々に位置する場合に得られるべき再構成画像を生成するステップと、
前記複数の再構成画像に共通の領域において、各前記再構成画像の各前記画素群を分割して得られる複数の領域の各々について、前記領域に含まれる画素の輝度の大きさを代表する第１の代表値を算出するステップと、
各前記画素群について、前記第１の代表値に基づいて、前記画素群内の輝度分布の偏りの大きさを表わす第２の代表値を算出するステップと、
前記画像データのエッジ領域を抽出するステップと、
前記共通の領域中の前記エッジ領域に含まれる各前記画素群位置に対して、前記第２の代表値に基づいて、前記輝度分布の偏りが小さい前記画素群を有する前記再構成画像に対応する前記仮想位置を特定し、前記カメラの光学系のパラメータに基づき前記特定された前記仮想位置を変換し前記距離を算出するステップとを備える、距離測定方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１２】
【図１３】
【図１１】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１２】
【図１３】
【図１１】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２００９−２２９１２４（Ｐ２００９−２２９１２４Ａ）
【公開日】平成２１年１０月８日（２００９．１０．８）
【国際特許分類】
【出願番号】特願２００８−７１９５８（Ｐ２００８−７１９５８）
【出願日】平成２０年３月１９日（２００８．３．１９）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２１年１０月８日（２００９．１０．８）
【国際特許分類】
【出願日】平成２０年３月１９日（２００８．３．１９）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]