光学式距離計測装置、光学式距離計測装置の距離計測方法および距離計測用プログラム
【課題】低コストで製造することが可能な光学式距離計測装置を提供すること。
【解決手段】光学式距離計測装置１は、所定のパターンを断続的に投射するパターン投射装置２と、イメージセンサにより撮像を行う１台の撮像装置３と、制御装置４を備える。撮像装置３はパターン投射装置２が被写体に所定の投射パターンを投射した状態で撮像を行って第１画像データを取得するとともに、被写体に対して所定の投射パターンが投射されていない状態で撮像を行なって第２画像データを取得する。制御装置４は、第１画像メモリ１３ａに展開された第１画像データと第２画像メモリ１３ｂに展開された第２画像データの差分から、所定の投射パターンの反射光のみを含む第３画像データを抽出し、第３画像データの画素間の自己相関係数Ｒ（ｘ，ｙ）を各画素Ｐ（ｘ，ｙ）について算出し、各画素Ｐ（ｘ，ｙ）の自己相関係数Ｒ（ｘ，ｙ）に基づいて、被写体までの距離を取得する。
【解決手段】光学式距離計測装置１は、所定のパターンを断続的に投射するパターン投射装置２と、イメージセンサにより撮像を行う１台の撮像装置３と、制御装置４を備える。撮像装置３はパターン投射装置２が被写体に所定の投射パターンを投射した状態で撮像を行って第１画像データを取得するとともに、被写体に対して所定の投射パターンが投射されていない状態で撮像を行なって第２画像データを取得する。制御装置４は、第１画像メモリ１３ａに展開された第１画像データと第２画像メモリ１３ｂに展開された第２画像データの差分から、所定の投射パターンの反射光のみを含む第３画像データを抽出し、第３画像データの画素間の自己相関係数Ｒ（ｘ，ｙ）を各画素Ｐ（ｘ，ｙ）について算出し、各画素Ｐ（ｘ，ｙ）の自己相関係数Ｒ（ｘ，ｙ）に基づいて、被写体までの距離を取得する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、イメージセンサによって被写体を撮像して得た画像データに基づいて、被写体までの距離を計測する光学式距離計測装置に関する。
【背景技術】
【０００２】
このような光学式距離計測装置の距離計測方法としては、特許文献１に記載のステレオ画像法、特許文献２に記載の空間コード化法、特許文献３に記載の光伝播時間計測法などが知られている。ステレオ画像法は、所定間隔で配置された２台以上の撮像装置で被写体を撮像して得た複数の画像データから三角測量の原理で被写体までの距離を計測する。空間コード法は、白黒の投射パターンを、パターンを変化させながら被写体に複数回投射して、被写体上に点滅で形成されるコードに基づいて被写体までの距離を計測する。光伝播時間計測法は、パルス状の光を照射し、この照射光が物体で反射してイメージセンサで受光するまでの時間に基づいて被写体までの距離を計測する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−１１４１６８号公報
【特許文献２】特開２００７−３１５８６４号公報
【特許文献３】特開２００２−２２４２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ここで、ステレオ画像法を用いて被写体までの距離を計測する場合には、複数台の撮像装置を搭載する必要がある。空間コード化法を用いて被写体までの距離を計測する場合には、投射パターンを変化させながら投射するパターン投射装置を搭載する必要がある。光伝播時間計測法を用いて被写体までの距離を計測する場合には、被写体との距離が近いときに極めて短い時間を計測する必要があるので、例えば、１画素に２個の光電変換素子を備えており、これらの光電変換素子から時間差で検出される光量の差分に基づいて時間を計測可能な特殊なイメージセンサを搭載する必要がある。従って、これらの各方法を用いて被写体までの距離を計測する場合には、光学式距離計測装置の製造コストを抑制することが難しいという問題がある。
【０００５】
本発明の課題は、この点に鑑みて、低コストで製造することが可能な光学式距離計測装置を提供することにある。また、このような光学式距離計測装置に用いられる距離計測方法および距離計測用プログラムを提案することにある。
【課題を解決するための手段】
【０００６】
上記の課題を解決するために、本発明の光学式距離計測装置は、
光源、および、所定の投射パターンを被写体に投射するために前記光源からの光線の一部分を透過あるいは反射する素子を備え、前記投射パターンを前記被写体に断続的に投射するパターン投射装置と、
イメージセンサを備え、前記所定の投射パターンが投射されたときに前記被写体を撮像して第１画像データを取得するとともに、前記所定の投射パターンが投射されていないときに前記被写体を撮像して第２画像データを取得する撮像装置と、
前記第１画像データと前記第２画像データとの差分から前記所定の投射パターンの反射光のみを含む第３画像データを取得する差分画像データ抽出部と、
前記第３画像データの画素間の自己相関係数を予め定めた所定の画素について算出する自己相関係数取得部と、
前記所定の画素の自己相関係数に基づいて、前記被写体までの距離を取得する距離取得部とを有することを特徴とする。
【０００７】
本発明の発明者らは、被写体に投射した所定の投射パターンの反射光を撮影した第３画像データの各画素について求めた画素間の自己相関係数と、各画素に対応する被写体までの距離との間に相関関係があり、画素の自己相関係数に基づいて被写体までの距離を取得できることを見出した。本発明によれば、一つの視点から被写体を撮像して得られる第１画像データおよび第２画像データに基づいて距離を計測できるので、撮像装置が１台で済む。また、第１画像データおよび第２画像データを取得するために、被写体に投射パターンを投射した状態と、被写体にパターンを投射しない状態とを形成すればよく、基本的には投射パターン自体を変化させる必要がない。よって、パターン投射装置を簡易な構成とすることができる。さらに、撮像に際して特殊なイメージセンサを用いる必要がなく、汎用のイメージセンサを用いることができる。従って、光学式距離計測装置の製造コストを抑えることができる。なお、所定の投射パターンを被写体に投射するために前記光源からの光線の一部分を透過あるいは反射する素子としては、フォトマスク、透過型の液晶パネル、反射型の液晶パネル、デジタル・マイクロミラー・デバイスなどの空間変調素子がある。また、パターン投射装置は、これらの素子によって固定された投射パターンを投射するだけではなく、必要に応じて投射パターンを変化させても構わない。さらに、所定の画素としてすべての画素に関して自己相関係数を算出してもよいが、被測定物の大きさによっては代表点のみの距離を算出してもよく、その場合は離散的な画素について自己相関係数を演算してもよい。
【０００８】
本発明において、画素の自己相関係数に基づいて、前記被写体までの距離を取得するためには、前記第３画像データの画素の自己相関係数と被写体までの距離とを対応付けた形態で記憶保持しているテーブルを有し、前記距離取得部は、前記画素の自己相関係数に基づいて前記テーブルを参照して、前記被写体までの距離を取得することが望ましい。
【０００９】
本発明において、前記光源からの投射光を前記被写体に導くとともに、前記被写体からの反射光を前記イメージセンサに導く光学素子を有し、前記光学素子から前記被写体に至る前記投射光の光路と前記被写体から前記光学素子に至る前記反射光の光路とは共通であり、前記パターン投射装置による投射照明画角と前記撮像装置による撮像画角とは、同一であることが望ましい。このようにすれば、パターン投射装置から被写体に至る投射光の光路の一部と、被写体から撮像装置に至る反射光の光路の一部とが共通の光路となっているので、装置を小型化することが容易となる。また、投射照明画角と撮像画角とが同一なので第１画像データを取得する際に被写体に影が発生することを抑制できる。従って、所定の投射パターンの反射光のみを含む第３画像データを精度よく抽出することができる。
【００１０】
本発明において、前記イメージセンサは、インターレース走査方式であり、前記パターン投射装置は、前記所定の投射パターンを前記イメージセンサの奇数フィールドおよび前記偶数フィールドのいずれか一方に同期させて投射し、前記撮像装置は、前記奇数フィールドおよび偶数フィールドのうちのいずれか一方で前記第１画像データを取得し、いずれか他方で前記第２画像データを取得することが望ましい。このようにすれば、ＣＣＤイメージセンサなどを用いて、第１画像データおよび第２画像データをほぼリアルタイムに取得することが可能となる。
【００１１】
本発明において、前記イメージセンサは、２次元イメージセンサを前提としているが、被測定物の形状や移動がある特定された方向に限定されているのであれば１次元イメージセンサであってもよい。１次元イメージセンサを用いれば、装置の製造コストをより抑制することができ、高速走査も可能となる。
【００１２】
本発明において、前記光源は、近赤外線を放射することが望ましい。すなわち、パターン投射装置が波長０．７μｍ〜１．１μｍの範囲の赤外域の光線を用いて所定の投射パターンを被写体に投射すれば、被写体となっている人間、あるいは、被写体の近傍に位置する人間に投射パターンの投射を意識させることなく被写体までの距離を計測することができる。
【００１３】
本発明において、前記パターン投射装置は、光軸方向に前記素子を移動させるフォトマスク移動機構を備えていることが望ましい。このようにすれば、光源からの光量を２次元的に変化させる素子を移動させて投射パターンの結像点の位置を変化させることができるので、第１画像データの取得時における距離に対する感度を調整することができる。
【００１４】
次に、本発明は、光学式距離計測装置の距離計測方法であって、
被写体に対して所定の投射パターンを投射した状態でイメージセンサにより撮像を行って第１画像データを取得するとともに、前記被写体に対して前記所定の投射パターンを投射していない状態で前記イメージセンサによる撮像を行なって第２画像データを取得する画像取得工程と、
前記第１画像データと前記第２画像データの差分から、前記所定の投射パターンの反射光のみを含む第３画像データを抽出する差分画像抽出工程と、
前記第３画像データの画素間の自己相関係数を予め定めた所定の画素について算出する自己相関係数算出工程と、
前記画素の自己相関係数に基づいて、前記被写体までの距離を取得する距離取得工程とを含むことが望ましい。
【００１５】
本発明によれば、一つの視点から被写体を撮像して得られる第１画像データおよび第２画像データに基づいて距離を計測できるので、撮像装置が１台で済む。また、第１画像データおよび第２画像データを取得するために、被写体に投射パターンを投射した状態と、被写体にパターンを投射しない状態とを形成すればよく、基本的に投射パターン自体を変化させる必要がない。よって、パターン投射装置を簡易な構成とすることができる。さらに、撮像に際して特殊なイメージセンサを用いる必要がなく、汎用のイメージセンサを用いることができる。従って、光学式距離計測装置の製造コストを抑えることができる。
【００１６】
次に、本発明は、上記の距離計測方法によって被写体までの距離を計測する光学式距離計測装置において、
光源、および、所定の投射パターンを被写体に投射するために前記光源からの光線の一部分を透過あるいは反射する素子を備え、前記投射パターンを前記被写体に断続的に投射するパターン投射装置と、
イメージセンサを備え、前記所定の投射パターンが投射されたときに前記被写体を撮像して第１画像データを取得するとともに、前記所定の投射パターンが投射されていないときに前記被写体を撮像して第２画像データを取得する撮像装置と、
前記撮像装置に接続されており、前記撮像装置で取得された前記第１画像データおよび前記第２画像データを記憶保持するための画像メモリを備えるコンピュータと、
前記コンピュータに、前記差分画像抽出工程、前記自己相関係数算出工程、および前記距離取得工程を行わせる距離計測用プログラムとを有することを特徴とする。
【００１７】
本発明によれば、撮像装置により取得された第１画像データおよび第２画像データをコンピュータによって画像処理して、被写体までの距離を取得する。画像処理および距離の取得に専用の制御装置を用いる必要がないので、装置の製造コストを更に抑えることができる。
【００１８】
次に、本発明は、上記の光学式距離計測装置の距離計測用のプログラムとすることができる。
【発明の効果】
【００１９】
本発明によれば、１台の撮像装置によって取得した画像データに基づいて被写体までの距離を計測できる。また所定のパターンを被写体に投射するパターン投射装置を簡易な構成とすることができる。さらに、画像データの取得に汎用のイメージセンサを用いることができる。従って、装置の製造コストを抑えることができる。
【図面の簡単な説明】
【００２０】
【図１】本発明を適用した光学式距離計測装置の概略構成図である。
【図２】フォトマスクによって投射されるパターンの例である。
【図３】撮像装置のＣＣＤイメージセンサの垂直同期信号とパターン投射装置の光源を点滅させるための制御信号とを示すタイミングチャートである。
【図４】自己相関係数の算出方法を説明するための第３画像データの模式図である。
【図５】画素の自己相関係数と被写体までの距離との関係を示すグラフである。
【図６】光学式距離計測装置の距離計測方法を示す概略フローチャートである。
【図７】第１画像データ、第２画像データ、第３画像データ、および、距離画像データの説明図である。
【発明を実施するための形態】
【００２１】
以下に、図面を参照して、本発明を適用した光学式距離計測装置の実施の形態を説明する。
【００２２】
（全体構成）
図１は本発明を適用した光学式距離計測装置の概略構成図である。光学式距離計測装置１は、被写体１００に対して所定の投射パターンを断続的に投射するパターン投射装置２と、撮像装置３と、パターン投射装置２および撮像装置３を駆動制御するとともに、撮像装置３が取得した画像データを演算処理して被写体１００までの距離Ｄを算出する制御装置４を備えている。なお、本例の被写体は円柱１００ａと壁１００ｂである。
【００２３】
パターン投射装置２は、光源５として波長０．８５μｍの近赤外線を射出する発光素子（ＬＥＤ）を備えている。また、光源５から被写体１００に向かう投射光の光路上に、所定の投射パターンを投射するためのフォトマスク（光源からの光線の一部分を透過する素子）６、プリズム（光学素子）７、および、対物レンズ８を備えている。
【００２４】
図２は、フォトマスク６によって投射されるパターンの一例である。図２に示すように、フォトマスク６は光源５から放出される投射光を部分的に通過させるランダムなパターンを備えている。フォトマスク６はピエゾ素子を備えるフォトマスク移動機構９によって光軸方向に移動可能とされている。
【００２５】
撮像装置３は、撮像素子として、インターレース走査方式のＣＣＤイメージセンサ１０を搭載している。また、ＣＣＤイメージセンサ１０と被写体１００との間の光路上に、プリズム７と対物レンズ８を備えている。撮像装置３は、パターン投射装置２との間でプリズム７および対物レンズ８を共有している。
【００２６】
プリズム７は２個の三角プリズム７ａ、７ｂを張り合わせて形成されており、張り合わせ面７ｃには、パターン投射装置２の光源５からの投射光を透過して被写体１００に導くとともに、被写体１００からの反射光を投射光の光路とは異なる方向に反射してＣＣＤイメージセンサ１０に導く光学特性を備える薄膜が形成されている。これにより、プリズム７から対物レンズ８を介して被写体１００に至る投射光の光路と被写体１００から対物レンズ８を介してプリズム７に至る反射光の光路が共通となっている。なお、パターン投射装置２による投射照明画角と撮像装置３による撮像画角とは、同一であり、重なっている。
【００２７】
制御装置４は、ドライバ１１を介してパターン投射装置２の光源５を駆動制御すると共に、撮像装置３のＣＣＤイメージセンサ１０を駆動制御する駆動制御部１２を備えている。また、制御装置４は、被写体１００の撮像によりＣＣＤイメージセンサ１０が取得した画像データを一時的に記憶保持する画像メモリ１３を備えている。さらに、制御装置４は、差分画像データ抽出部１４、自己相関係数取得部１５、距離取得部１６およびテーブル記憶部１７を有している。
【００２８】
図３は、撮像装置３のＣＣＤイメージセンサ１０の垂直同期信号と、パターン投射装置２の光源５を点滅させるための制御信号とを示すタイミングチャートである。図３に示すように、駆動制御部１２は、光源５を駆動制御して、所定の投射パターンをＣＣＤイメージセンサ１０の奇数フィールドに同期させて投射する。また、駆動制御部１２は、ＣＣＤイメージセンサ１０を駆動制御して、投射パターンが投射された状態で被写体１００を撮像して得られる第１画像データを奇数フィールドに取得するとともに、所定の投射パターンが投射されていない状態で被写体１００を撮像して得られる第２画像データを偶数フィールドに取得する。さらに、駆動制御部１２は撮像装置３を駆動制御して、第１画像データおよび第２画像データを撮像装置３から制御装置４に転送させる。
【００２９】
画像メモリ１３は、第１画像データを２次元展開した状態で記憶保持する第１画像メモリ１３ａと、第２画像データを２次元展開した状態で記憶保持する第２画像メモリ１３ｂを備えている。第１画像メモリ１３ａに展開される第１画像データ、および、第２画像メモリ１３ｂに展開される第２画像データは、ＣＣＤイメージセンサ１０による撮像に伴って逐次に更新される。なお、第２メモリに展開された第２画像データは、光学式距離計測装置１に接続されているモニタ１８に逐次に出力される。
【００３０】
差分画像データ抽出部１４は、第１画像メモリ１３ａに２次元展開されている第１画像データと第２画像メモリ１３ｂに２次元展開されている第２画像データの差分を、所定の投射パターンの反射光のみを含む第３画像データとして抽出する。本例では、第１画像データおよび第２画像データを各画素の輝度に基づいてモノクロ化した後に、第１画像データから第２画像データを差し引き、第３画像データを抽出している。
【００３１】
自己相関係数取得部１５は、第３画像データの画素間の自己相関係数を各画素Ｐについて算出する。図４は自己相関係数の算出方法を説明するための第３画像データの模式図である。自己相関係数Ｒ（ｘ，ｙ）は、第３画像データの座標（ｘ，ｙ）における画素Ｐ（ｘ，ｙ）を含むＮ×Ｎ画素を１ブロックＱとして次式で定義する。
Ｒ（ｘ，ｙ）：座標（ｘ，ｙ）における自己相関係数
Ｉ（ｘ，ｙ） ：輝度
Ｎ:ブロックサイズ
＜Ｉ＞:ブロック内の平均輝度
【００３２】
なお、Ｎは８画素程度が好ましく、１画素毎にこのブロックＱをスライドさせてＲ（ｘ，ｙ）を求める。演算時間の制限がある場合、または距離画像として精細度が低くても良い場合には、複数の画素について自己相関係数Ｒ（ｘ，ｙ）を算出する毎にこのブロックＱをスライドさせてもよい。なお、上式において＜I＞２は被測定物体の反射率などによる光量を補正するための規格化因子として用いている。
【００３３】
ここで、本発明の発明者らは、各画素Ｐ（ｘ，ｙ）について求めた画素間の自己相関係数Ｒ（ｘ，ｙ）と、各画素Ｐに対応している被写体１００までの距離Ｄとの間に相関関係があり、各画素Ｐ（ｘ，ｙ）の自己相関係数Ｒ（ｘ，ｙ）に基づいて被写体１００までの距離Ｄを取得できることを見出した。すなわち、パターン投射装置２が結像光学系を構成しており、投射部からある距離に結像点を設定しておけば、フォトマスクによる光点の像の大きさは距離に逆比例し、近接した物体に投射された光点は互いに重なりが生じて自己相関係数が大きくなる。ここで、数学的には自己相関係数のフーリエ変換は一義的に画像を直接フーリエ変換したものと同等である。したがって、第３画像のフーリエ変換と距離との相関関係を取ってもよい。
【００３４】
図５は画素Ｐ（ｘ，ｙ）の自己相関係数Ｒ（ｘ，ｙ）と、画素Ｐ（ｘ，ｙ）に対応する被写体１００までの距離Ｄとの関係を示すグラフである。図５は、光学式距離計測装置１を固定し、壁１００ｂの前で光学式距離計測装置１から円柱１００ａまでの距離を２ｍ〜４０ｃｍの間で変化させた場合における自己相関係数Ｒ（ｘ，ｙ）と距離Ｄとの関係を示している。自己相関係数Ｒ（ｘ，ｙ）を求める際の画素間の相関距離は４ｐｉｘｅｌである。図５に示すように、光学式距離計測装置１と円柱１００ａとの間の距離Ｄが短くなるのに伴って、各画素Ｐ（ｘ，ｙ）は近傍の画素Ｐとの相関性が高くなり、各画素Ｐ（ｘ，ｙ）の自己相関係数Ｒ（ｘ，ｙ）の値が高くなっている。また、自己相関係数Ｒ（ｘ，ｙ）と被写体１００までの距離Ｄの間には対応関係があることが認められる。従って、第３画像データの各画素Ｐ（ｘ，ｙ）の自己相関係数Ｒ（ｘ，ｙ）を算出すれば、各画素Ｐ（ｘ，ｙ）の自己相関係数Ｒ（ｘ，ｙ）に基づいて被写体１００までの距離Ｄを把握することが可能となる。
【００３５】
次に、距離取得部１６は、各画素Ｐ（ｘ，ｙ）の自己相関係数Ｒ（ｘ，ｙ）が算出されると、テーブル記憶部１７に記憶保持されているテーブルを参照して、各画素Ｐ（ｘ，ｙ）に対応する被写体１００の部位までの距離Ｄを取得する。また、距離取得部１６は、各画素Ｐ（ｘ，ｙ）に、取得された距離Ｄに対応付けられた色を付ける着色処理を施して距離画像データを生成し、この距離画像データをモニタ１８に出力する。
【００３６】
ここで、テーブルは、第３画像データの各画素Ｐ（ｘ，ｙ）について算出した自己相関係数Ｒ（ｘ，ｙ）と、光学式距離計測装置１から各画素Ｐ（ｘ，ｙ）に対応する被写体１００の部位までの距離Ｄを予め実測し、自己相関係数Ｒ（ｘ，ｙ）と被写体１００までの距離Ｄを対応付けた形態で記憶保持したものである。なお、図５の円柱までの距離のグラフに示されるように、自己相関係数Ｒ（ｘ，ｙ）と被写体１００までの距離Ｄとの間に線形的な対応が認められる範囲がある場合には、距離取得部１６は、テーブルを参照せずに、各画素Ｐ（ｘ，ｙ）の自己相関係数Ｒ（ｘ，ｙ）に基づいて、被写体１００までの距離Ｄを算出することができる。
【００３７】
（距離計測方法）
図６は光学式距離計測装置１の距離計測方法を示す概略フローチャートである。図７（ａ）〜（ｄ）はそれぞれ第１画像データ、第２画像データ、第３画像データ、および、距離画像データの説明図である。図７（ａ）〜（ｄ）のそれぞれにおいて、被写体１００は図１に示されている円柱１００ａと壁１００ｂである。また、図７（ａ）〜（ｄ）のそれぞれにおいて、左端の画像データは、円柱１００ａを壁１００ｂに近い位置に配置した第１状態を撮像して得られたものであり、中央の画像データは、円柱１００ａを壁１００ｂから離して第１状態よりも光学式距離計測装置１に近い位置に配置した第２状態を撮像して得られたものであり、右端の画像データは、円柱１００ａを壁１００ｂからさらに離して、第２状態よりも光学式距離計測装置１に近い位置に配置した第３状態を撮像して得られたものである。
【００３８】
被写体１００までの距離Ｄを計測する際には、撮像装置３はＣＣＤイメージセンサ１０による撮像を開始し、パターン投射装置２は所定の投射パターンをＣＣＤイメージセンサ１０の奇数フィールドに同期させて投射する。これにより、ＣＣＤイメージセンサ１０は、図７（ａ）に示すように、所定の投射パターンが投射された状態の被写体１００の第１画像データを奇数フィールドに取得する。また、図７（ｂ）に示すように、所定の投射パターンを投射していない状態の被写体１００の第２画像データを偶数フィールドに取得する（ステップＳＴ１）。
【００３９】
第１画像データおよび第２画像データが取得されると、差分画像データ抽出部１４は、第１画像データから第２画像データを差し引いて、図７（ｃ）に示すように、所定の投射パターンの反射光のみを含む第３画像データを抽出する（ステップＳＴ２）。
【００４０】
第３画像データが抽出されると、自己相関係数取得部１５は、第３画像データの画素間の自己相関係数Ｒ（ｘ，ｙ）を、第３画像データの各画素Ｐ（ｘ，ｙ）について算出する（ステップＳＴ３）。また、各画素Ｐ（ｘ，ｙ）の自己相関係数Ｒ（ｘ，ｙ）が算出されると、距離取得部１６は算出された自己相関係数Ｒ（ｘ，ｙ）に基づいてテーブルを参照して、被写体１００までの距離Ｄを取得する（ステップＳＴ４）。しかる後に、各画素Ｐ（ｘ，ｙ）に距離Ｄに対応する着色を施して、図７（ｄ）に示すように距離画像データを生成して、モニタ１８に出力する（ステップＳＴ５）。
【００４１】
（作用効果）
本例によれば、一つの視点から被写体１００を撮像して得られる第１画像データおよび第２画像データに基づいて被写体までの距離Ｄを計測できるので、光学式距離計測装置１は撮像装置３を１台備えればよい。また、第１画像データおよび第２画像データを取得するために、被写体１００に投射パターンを投射した状態と、被写体１００にパターンを投射しない状態とを形成すればよく、投射パターン自体を変化させる必要がない。よって、パターン投射装置２を簡易な構成とすることができる。さらに、撮像に際して特殊なイメージセンサを用いる必要がなく、汎用のＣＣＤイメージセンサ１０を用いることができる。従って、光学式距離計測装置１の製造コストを抑えることができる。
【００４２】
また、本例によれば、各画素Ｐ（ｘ，ｙ）の自己相関係数Ｒ（ｘ，ｙ）と被写体１００までの距離Ｄとを対応付けた形態で記憶保持しているテーブルを有しており、距離取得部１６は、各画素Ｐ（ｘ，ｙ）の自己相関係数Ｒ（ｘ，ｙ）に基づいてテーブルを参照して被写体１００までの距離Ｄを取得している。従って、フォトマスク６によって投射される投射パターンに拘わらず、被写体１００までの距離Ｄを取得することができる。
【００４３】
さらに、本例では、第３画像データの各画素Ｐ（ｘ，ｙ）について距離Ｄを取得しているので、被写体１００の形状を把握することができる。
【００４４】
また、本例によれば、パターン投射装置２から被写体１００に至る投射光の光路の一部と、被写体１００から撮像装置３に至る反射光の光路の一部とが共通の光路となっているので、光学式距離計測装置１を小型化することが容易となる。
【００４５】
さらに、本例では、投射照明画角と撮像画角とが同一であり、重なっているので、第１画像データを取得する際に被写体１００に影が発生することを抑制できる。従って、所定の投射パターンの反射光のみを含む第３画像データを精度よく抽出することができる。
【００４６】
また、本例では、パターン投射装置２は、所定の投射パターンをＣＣＤイメージセンサ１０の奇数フィールドに同期させて投射し、撮像装置３は、奇数フィールドで第１画像データを取得し、偶数フィールドで第２画像データを取得している。従って、第１画像データおよび第２画像データを、ほぼリアルタイムに取得することが可能となる。また、第２画像データを利用して、モニタ１８から被写体１００の映像を出力できる。
【００４７】
さらに、本例は、パターン投射装置２が光軸方向にフォトマスク６を移動させるフォトマスク移動機構９を備えている。従って、フォトマスク６を移動させて、投射パターンの結像点の位置を変化させることにより、第１画像データの取得時における距離に対する感度を調整することができる。
【００４８】
また、所定の投射パターンを投射するためのパターン投射装置２の光源５は、近赤外線を放射しているので、被写体１００となっている人間、あるいは、被写体１００の近傍に位置する人間に投射パターンの投射を意識させることなく被写体１００までの距離Ｄを計測することができる。
【００４９】
ここで、制御装置４はパターン投射装置２および撮像装置３が接続されたコンピュータを用いて構成することができる。
【００５０】
この場合には、コンピュータ上でパターン投射装置２および撮像装置３を駆動制御するための第１のプログラムを動作させて、被写体１００に対して所定の投射パターンを投射した状態でイメージセンサによる撮像を行って第１画像データを取得するとともに、被写体１００に対して所定の投射パターンを投射していない状態でイメージセンサによる撮像を行なって第２画像データを取得する画像取得工程を行なう。また、撮像装置３が取得した第１画像データおよび第２画像データを、撮像装置３からコンピュータに逐次に転送させて、コンピュータの画像メモリ１３に記憶保持する。
【００５１】
しかる後に、コンピュータ上で、被写体１００までの距離Ｄを取得するための第２のプログラムを動作させて、当該コンピュータに、撮像装置３が取得した第１画像データと第２画像データの差分から、所定の投射パターンの反射光のみを含む第３画像データを抽出する差分画像抽出工程と、第３画像データの画素間の自己相関係数Ｒ（ｘ，ｙ）を当該第３画像データの各画素Ｐ（ｘ，ｙ）について算出する自己相関係数算出工程と、各画素Ｐ（ｘ，ｙ）の自己相関係数Ｒ（ｘ，ｙ）に基づいて、被写体１００までの距離Ｄを取得する距離取得工程を行なわせる。なお、第１のプログラムと第２のプログラムは単一のプログラムとしてもよい。当然、プログラムをハードウエア化してゲートアレーなどに置き換えてもよい。
【００５２】
（その他の実施の形態）
上記の例では、投射パターンが投射された状態で被写体１００を撮像して得られる第１画像データを奇数フィールドに取得するとともに、所定の投射パターンが投射されていない状態で被写体１００を撮像して得られる第２画像データを第１画像データを取得した奇数フィールドに隣接した偶数フィールドから取得しているが、第１画像データおよび第２画像データは隣接したフィールドでなく、離散したフィールドから取得しても構わない。
【００５３】
また、上記の例では、撮像装置３は、撮像素子としてインターレース方式のＣＣＤイメージセンサ１０を搭載しているが、プログレッシブ走査方式のイメージセンサを用いて第１画像データおよび第２画像データを取得してもよい。また、ＣＭＯＳ型のイメージセンサを用いてもよい。
【００５４】
さらに、上記の例では、すべての画素に関して自己相関係数を算出しているが、被測定物の大きさによっては代表点のみの距離を算出してもよく、その場合は離散的な画素について自己相関係数を演算してもよい。
【００５５】
また、上記の例では光源５は０．８５μｍの波長の光線を放射しているが、光源５から放射される光に波長はこれに限られるものではなく、ＣＣＤイメージセンサ１０、或いは、ＣＭＯＳ型のイメージセンサによって撮像可能な波長の近赤外線、例えば、波長０．７〜１．１μｍの光線であれば適宜に選択することができる。ここで、汎用品として流通している一般的なイメージセンサであっても、その波長感度は１．０μｍ程度まで広がっている。なお、より波長の長い光線を利用して第１画像データを取得する場合には、パターン投射装置２の光源強度を十分なものとしておくことが望ましい。また、ＳＮ比が十分に取れる環境での使用を前提とすることが望ましい。ここで、近赤外光を用いる際は通常イメージセンサの受光面の前に配置される赤外遮断フィルターの波長選択性を適宜変更する必要があることはいうまでもない。また赤外波長に対する感度を高め、波長域を広げたイメージセンサもあり、それを用いる際にはさらに長波長の光源を使用できる。いずれの波長を選択しても同じ波長の背景光は必ず存在するのでその除去を行うために、前述した第１、第２画像データ間の差分を算出することは有効な手段である。
【００５６】
さらに、フォトマスク６によって投射される所定の投射パターンは、ストライプなどの規則性のある投射パターンであってもよい。また、被写体１００や撮像環境に応じて投射パターンを異なるものとしてもよい。この場合には、フォトマスク６の替わりに、透過型の液晶パネル、反射型の液晶パネル、デジタル・マイクロミラー・デバイスなどの光源からの光線の一部分を透過、あるいは、反射する空間変調素子を用い、投射パターンを変化させることができる。
【００５７】
また、精度を要求されない用途においては、パターン投射装置２と撮像装置３の光路を共通にする必要はなく、それぞれ独立した光学系を用いてもよいことはいうまでもない。
【００５８】
さらに、被測定物の形状や移動がある特定された方向に限定されているのであれば、ＣＣＤイメージセンサ１０として、１次元ＣＣＤイメージセンサを採用してもよい。１次元ＣＣＤイメージセンサを用いれば、装置の製造コストをより抑制することができ、高速走査も可能となる。
【符号の説明】
【００５９】
１・光学式距離計測装置、２・パターン投射装置、３・撮像装置、４・制御装置、５・光源、６・フォトマスク、７・プリズム、８・対物レンズ、９・フォトマスク移動機構、１０・ＣＣＤイメージセンサ、１１・ドライバ、１２・駆動制御部、１３・画像メモリ、１３ａ・第１画像メモリ、１３ｂ・第２画像メモリ、１４・差分画像データ抽出部、１５・自己相関係数取得部、１６・距離取得部、１７・テーブル記憶部、１８・モニタ、１００・被写体、１００ａ・円柱、１００ｂ・壁、Ｄ・距離、Ｐ・画素、Ｑ・画素領域
【技術分野】
【０００１】
本発明は、イメージセンサによって被写体を撮像して得た画像データに基づいて、被写体までの距離を計測する光学式距離計測装置に関する。
【背景技術】
【０００２】
このような光学式距離計測装置の距離計測方法としては、特許文献１に記載のステレオ画像法、特許文献２に記載の空間コード化法、特許文献３に記載の光伝播時間計測法などが知られている。ステレオ画像法は、所定間隔で配置された２台以上の撮像装置で被写体を撮像して得た複数の画像データから三角測量の原理で被写体までの距離を計測する。空間コード法は、白黒の投射パターンを、パターンを変化させながら被写体に複数回投射して、被写体上に点滅で形成されるコードに基づいて被写体までの距離を計測する。光伝播時間計測法は、パルス状の光を照射し、この照射光が物体で反射してイメージセンサで受光するまでの時間に基づいて被写体までの距離を計測する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−１１４１６８号公報
【特許文献２】特開２００７−３１５８６４号公報
【特許文献３】特開２００２−２２４２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ここで、ステレオ画像法を用いて被写体までの距離を計測する場合には、複数台の撮像装置を搭載する必要がある。空間コード化法を用いて被写体までの距離を計測する場合には、投射パターンを変化させながら投射するパターン投射装置を搭載する必要がある。光伝播時間計測法を用いて被写体までの距離を計測する場合には、被写体との距離が近いときに極めて短い時間を計測する必要があるので、例えば、１画素に２個の光電変換素子を備えており、これらの光電変換素子から時間差で検出される光量の差分に基づいて時間を計測可能な特殊なイメージセンサを搭載する必要がある。従って、これらの各方法を用いて被写体までの距離を計測する場合には、光学式距離計測装置の製造コストを抑制することが難しいという問題がある。
【０００５】
本発明の課題は、この点に鑑みて、低コストで製造することが可能な光学式距離計測装置を提供することにある。また、このような光学式距離計測装置に用いられる距離計測方法および距離計測用プログラムを提案することにある。
【課題を解決するための手段】
【０００６】
上記の課題を解決するために、本発明の光学式距離計測装置は、
光源、および、所定の投射パターンを被写体に投射するために前記光源からの光線の一部分を透過あるいは反射する素子を備え、前記投射パターンを前記被写体に断続的に投射するパターン投射装置と、
イメージセンサを備え、前記所定の投射パターンが投射されたときに前記被写体を撮像して第１画像データを取得するとともに、前記所定の投射パターンが投射されていないときに前記被写体を撮像して第２画像データを取得する撮像装置と、
前記第１画像データと前記第２画像データとの差分から前記所定の投射パターンの反射光のみを含む第３画像データを取得する差分画像データ抽出部と、
前記第３画像データの画素間の自己相関係数を予め定めた所定の画素について算出する自己相関係数取得部と、
前記所定の画素の自己相関係数に基づいて、前記被写体までの距離を取得する距離取得部とを有することを特徴とする。
【０００７】
本発明の発明者らは、被写体に投射した所定の投射パターンの反射光を撮影した第３画像データの各画素について求めた画素間の自己相関係数と、各画素に対応する被写体までの距離との間に相関関係があり、画素の自己相関係数に基づいて被写体までの距離を取得できることを見出した。本発明によれば、一つの視点から被写体を撮像して得られる第１画像データおよび第２画像データに基づいて距離を計測できるので、撮像装置が１台で済む。また、第１画像データおよび第２画像データを取得するために、被写体に投射パターンを投射した状態と、被写体にパターンを投射しない状態とを形成すればよく、基本的には投射パターン自体を変化させる必要がない。よって、パターン投射装置を簡易な構成とすることができる。さらに、撮像に際して特殊なイメージセンサを用いる必要がなく、汎用のイメージセンサを用いることができる。従って、光学式距離計測装置の製造コストを抑えることができる。なお、所定の投射パターンを被写体に投射するために前記光源からの光線の一部分を透過あるいは反射する素子としては、フォトマスク、透過型の液晶パネル、反射型の液晶パネル、デジタル・マイクロミラー・デバイスなどの空間変調素子がある。また、パターン投射装置は、これらの素子によって固定された投射パターンを投射するだけではなく、必要に応じて投射パターンを変化させても構わない。さらに、所定の画素としてすべての画素に関して自己相関係数を算出してもよいが、被測定物の大きさによっては代表点のみの距離を算出してもよく、その場合は離散的な画素について自己相関係数を演算してもよい。
【０００８】
本発明において、画素の自己相関係数に基づいて、前記被写体までの距離を取得するためには、前記第３画像データの画素の自己相関係数と被写体までの距離とを対応付けた形態で記憶保持しているテーブルを有し、前記距離取得部は、前記画素の自己相関係数に基づいて前記テーブルを参照して、前記被写体までの距離を取得することが望ましい。
【０００９】
本発明において、前記光源からの投射光を前記被写体に導くとともに、前記被写体からの反射光を前記イメージセンサに導く光学素子を有し、前記光学素子から前記被写体に至る前記投射光の光路と前記被写体から前記光学素子に至る前記反射光の光路とは共通であり、前記パターン投射装置による投射照明画角と前記撮像装置による撮像画角とは、同一であることが望ましい。このようにすれば、パターン投射装置から被写体に至る投射光の光路の一部と、被写体から撮像装置に至る反射光の光路の一部とが共通の光路となっているので、装置を小型化することが容易となる。また、投射照明画角と撮像画角とが同一なので第１画像データを取得する際に被写体に影が発生することを抑制できる。従って、所定の投射パターンの反射光のみを含む第３画像データを精度よく抽出することができる。
【００１０】
本発明において、前記イメージセンサは、インターレース走査方式であり、前記パターン投射装置は、前記所定の投射パターンを前記イメージセンサの奇数フィールドおよび前記偶数フィールドのいずれか一方に同期させて投射し、前記撮像装置は、前記奇数フィールドおよび偶数フィールドのうちのいずれか一方で前記第１画像データを取得し、いずれか他方で前記第２画像データを取得することが望ましい。このようにすれば、ＣＣＤイメージセンサなどを用いて、第１画像データおよび第２画像データをほぼリアルタイムに取得することが可能となる。
【００１１】
本発明において、前記イメージセンサは、２次元イメージセンサを前提としているが、被測定物の形状や移動がある特定された方向に限定されているのであれば１次元イメージセンサであってもよい。１次元イメージセンサを用いれば、装置の製造コストをより抑制することができ、高速走査も可能となる。
【００１２】
本発明において、前記光源は、近赤外線を放射することが望ましい。すなわち、パターン投射装置が波長０．７μｍ〜１．１μｍの範囲の赤外域の光線を用いて所定の投射パターンを被写体に投射すれば、被写体となっている人間、あるいは、被写体の近傍に位置する人間に投射パターンの投射を意識させることなく被写体までの距離を計測することができる。
【００１３】
本発明において、前記パターン投射装置は、光軸方向に前記素子を移動させるフォトマスク移動機構を備えていることが望ましい。このようにすれば、光源からの光量を２次元的に変化させる素子を移動させて投射パターンの結像点の位置を変化させることができるので、第１画像データの取得時における距離に対する感度を調整することができる。
【００１４】
次に、本発明は、光学式距離計測装置の距離計測方法であって、
被写体に対して所定の投射パターンを投射した状態でイメージセンサにより撮像を行って第１画像データを取得するとともに、前記被写体に対して前記所定の投射パターンを投射していない状態で前記イメージセンサによる撮像を行なって第２画像データを取得する画像取得工程と、
前記第１画像データと前記第２画像データの差分から、前記所定の投射パターンの反射光のみを含む第３画像データを抽出する差分画像抽出工程と、
前記第３画像データの画素間の自己相関係数を予め定めた所定の画素について算出する自己相関係数算出工程と、
前記画素の自己相関係数に基づいて、前記被写体までの距離を取得する距離取得工程とを含むことが望ましい。
【００１５】
本発明によれば、一つの視点から被写体を撮像して得られる第１画像データおよび第２画像データに基づいて距離を計測できるので、撮像装置が１台で済む。また、第１画像データおよび第２画像データを取得するために、被写体に投射パターンを投射した状態と、被写体にパターンを投射しない状態とを形成すればよく、基本的に投射パターン自体を変化させる必要がない。よって、パターン投射装置を簡易な構成とすることができる。さらに、撮像に際して特殊なイメージセンサを用いる必要がなく、汎用のイメージセンサを用いることができる。従って、光学式距離計測装置の製造コストを抑えることができる。
【００１６】
次に、本発明は、上記の距離計測方法によって被写体までの距離を計測する光学式距離計測装置において、
光源、および、所定の投射パターンを被写体に投射するために前記光源からの光線の一部分を透過あるいは反射する素子を備え、前記投射パターンを前記被写体に断続的に投射するパターン投射装置と、
イメージセンサを備え、前記所定の投射パターンが投射されたときに前記被写体を撮像して第１画像データを取得するとともに、前記所定の投射パターンが投射されていないときに前記被写体を撮像して第２画像データを取得する撮像装置と、
前記撮像装置に接続されており、前記撮像装置で取得された前記第１画像データおよび前記第２画像データを記憶保持するための画像メモリを備えるコンピュータと、
前記コンピュータに、前記差分画像抽出工程、前記自己相関係数算出工程、および前記距離取得工程を行わせる距離計測用プログラムとを有することを特徴とする。
【００１７】
本発明によれば、撮像装置により取得された第１画像データおよび第２画像データをコンピュータによって画像処理して、被写体までの距離を取得する。画像処理および距離の取得に専用の制御装置を用いる必要がないので、装置の製造コストを更に抑えることができる。
【００１８】
次に、本発明は、上記の光学式距離計測装置の距離計測用のプログラムとすることができる。
【発明の効果】
【００１９】
本発明によれば、１台の撮像装置によって取得した画像データに基づいて被写体までの距離を計測できる。また所定のパターンを被写体に投射するパターン投射装置を簡易な構成とすることができる。さらに、画像データの取得に汎用のイメージセンサを用いることができる。従って、装置の製造コストを抑えることができる。
【図面の簡単な説明】
【００２０】
【図１】本発明を適用した光学式距離計測装置の概略構成図である。
【図２】フォトマスクによって投射されるパターンの例である。
【図３】撮像装置のＣＣＤイメージセンサの垂直同期信号とパターン投射装置の光源を点滅させるための制御信号とを示すタイミングチャートである。
【図４】自己相関係数の算出方法を説明するための第３画像データの模式図である。
【図５】画素の自己相関係数と被写体までの距離との関係を示すグラフである。
【図６】光学式距離計測装置の距離計測方法を示す概略フローチャートである。
【図７】第１画像データ、第２画像データ、第３画像データ、および、距離画像データの説明図である。
【発明を実施するための形態】
【００２１】
以下に、図面を参照して、本発明を適用した光学式距離計測装置の実施の形態を説明する。
【００２２】
（全体構成）
図１は本発明を適用した光学式距離計測装置の概略構成図である。光学式距離計測装置１は、被写体１００に対して所定の投射パターンを断続的に投射するパターン投射装置２と、撮像装置３と、パターン投射装置２および撮像装置３を駆動制御するとともに、撮像装置３が取得した画像データを演算処理して被写体１００までの距離Ｄを算出する制御装置４を備えている。なお、本例の被写体は円柱１００ａと壁１００ｂである。
【００２３】
パターン投射装置２は、光源５として波長０．８５μｍの近赤外線を射出する発光素子（ＬＥＤ）を備えている。また、光源５から被写体１００に向かう投射光の光路上に、所定の投射パターンを投射するためのフォトマスク（光源からの光線の一部分を透過する素子）６、プリズム（光学素子）７、および、対物レンズ８を備えている。
【００２４】
図２は、フォトマスク６によって投射されるパターンの一例である。図２に示すように、フォトマスク６は光源５から放出される投射光を部分的に通過させるランダムなパターンを備えている。フォトマスク６はピエゾ素子を備えるフォトマスク移動機構９によって光軸方向に移動可能とされている。
【００２５】
撮像装置３は、撮像素子として、インターレース走査方式のＣＣＤイメージセンサ１０を搭載している。また、ＣＣＤイメージセンサ１０と被写体１００との間の光路上に、プリズム７と対物レンズ８を備えている。撮像装置３は、パターン投射装置２との間でプリズム７および対物レンズ８を共有している。
【００２６】
プリズム７は２個の三角プリズム７ａ、７ｂを張り合わせて形成されており、張り合わせ面７ｃには、パターン投射装置２の光源５からの投射光を透過して被写体１００に導くとともに、被写体１００からの反射光を投射光の光路とは異なる方向に反射してＣＣＤイメージセンサ１０に導く光学特性を備える薄膜が形成されている。これにより、プリズム７から対物レンズ８を介して被写体１００に至る投射光の光路と被写体１００から対物レンズ８を介してプリズム７に至る反射光の光路が共通となっている。なお、パターン投射装置２による投射照明画角と撮像装置３による撮像画角とは、同一であり、重なっている。
【００２７】
制御装置４は、ドライバ１１を介してパターン投射装置２の光源５を駆動制御すると共に、撮像装置３のＣＣＤイメージセンサ１０を駆動制御する駆動制御部１２を備えている。また、制御装置４は、被写体１００の撮像によりＣＣＤイメージセンサ１０が取得した画像データを一時的に記憶保持する画像メモリ１３を備えている。さらに、制御装置４は、差分画像データ抽出部１４、自己相関係数取得部１５、距離取得部１６およびテーブル記憶部１７を有している。
【００２８】
図３は、撮像装置３のＣＣＤイメージセンサ１０の垂直同期信号と、パターン投射装置２の光源５を点滅させるための制御信号とを示すタイミングチャートである。図３に示すように、駆動制御部１２は、光源５を駆動制御して、所定の投射パターンをＣＣＤイメージセンサ１０の奇数フィールドに同期させて投射する。また、駆動制御部１２は、ＣＣＤイメージセンサ１０を駆動制御して、投射パターンが投射された状態で被写体１００を撮像して得られる第１画像データを奇数フィールドに取得するとともに、所定の投射パターンが投射されていない状態で被写体１００を撮像して得られる第２画像データを偶数フィールドに取得する。さらに、駆動制御部１２は撮像装置３を駆動制御して、第１画像データおよび第２画像データを撮像装置３から制御装置４に転送させる。
【００２９】
画像メモリ１３は、第１画像データを２次元展開した状態で記憶保持する第１画像メモリ１３ａと、第２画像データを２次元展開した状態で記憶保持する第２画像メモリ１３ｂを備えている。第１画像メモリ１３ａに展開される第１画像データ、および、第２画像メモリ１３ｂに展開される第２画像データは、ＣＣＤイメージセンサ１０による撮像に伴って逐次に更新される。なお、第２メモリに展開された第２画像データは、光学式距離計測装置１に接続されているモニタ１８に逐次に出力される。
【００３０】
差分画像データ抽出部１４は、第１画像メモリ１３ａに２次元展開されている第１画像データと第２画像メモリ１３ｂに２次元展開されている第２画像データの差分を、所定の投射パターンの反射光のみを含む第３画像データとして抽出する。本例では、第１画像データおよび第２画像データを各画素の輝度に基づいてモノクロ化した後に、第１画像データから第２画像データを差し引き、第３画像データを抽出している。
【００３１】
自己相関係数取得部１５は、第３画像データの画素間の自己相関係数を各画素Ｐについて算出する。図４は自己相関係数の算出方法を説明するための第３画像データの模式図である。自己相関係数Ｒ（ｘ，ｙ）は、第３画像データの座標（ｘ，ｙ）における画素Ｐ（ｘ，ｙ）を含むＮ×Ｎ画素を１ブロックＱとして次式で定義する。
Ｒ（ｘ，ｙ）：座標（ｘ，ｙ）における自己相関係数
Ｉ（ｘ，ｙ） ：輝度
Ｎ:ブロックサイズ
＜Ｉ＞:ブロック内の平均輝度
【００３２】
なお、Ｎは８画素程度が好ましく、１画素毎にこのブロックＱをスライドさせてＲ（ｘ，ｙ）を求める。演算時間の制限がある場合、または距離画像として精細度が低くても良い場合には、複数の画素について自己相関係数Ｒ（ｘ，ｙ）を算出する毎にこのブロックＱをスライドさせてもよい。なお、上式において＜I＞２は被測定物体の反射率などによる光量を補正するための規格化因子として用いている。
【００３３】
ここで、本発明の発明者らは、各画素Ｐ（ｘ，ｙ）について求めた画素間の自己相関係数Ｒ（ｘ，ｙ）と、各画素Ｐに対応している被写体１００までの距離Ｄとの間に相関関係があり、各画素Ｐ（ｘ，ｙ）の自己相関係数Ｒ（ｘ，ｙ）に基づいて被写体１００までの距離Ｄを取得できることを見出した。すなわち、パターン投射装置２が結像光学系を構成しており、投射部からある距離に結像点を設定しておけば、フォトマスクによる光点の像の大きさは距離に逆比例し、近接した物体に投射された光点は互いに重なりが生じて自己相関係数が大きくなる。ここで、数学的には自己相関係数のフーリエ変換は一義的に画像を直接フーリエ変換したものと同等である。したがって、第３画像のフーリエ変換と距離との相関関係を取ってもよい。
【００３４】
図５は画素Ｐ（ｘ，ｙ）の自己相関係数Ｒ（ｘ，ｙ）と、画素Ｐ（ｘ，ｙ）に対応する被写体１００までの距離Ｄとの関係を示すグラフである。図５は、光学式距離計測装置１を固定し、壁１００ｂの前で光学式距離計測装置１から円柱１００ａまでの距離を２ｍ〜４０ｃｍの間で変化させた場合における自己相関係数Ｒ（ｘ，ｙ）と距離Ｄとの関係を示している。自己相関係数Ｒ（ｘ，ｙ）を求める際の画素間の相関距離は４ｐｉｘｅｌである。図５に示すように、光学式距離計測装置１と円柱１００ａとの間の距離Ｄが短くなるのに伴って、各画素Ｐ（ｘ，ｙ）は近傍の画素Ｐとの相関性が高くなり、各画素Ｐ（ｘ，ｙ）の自己相関係数Ｒ（ｘ，ｙ）の値が高くなっている。また、自己相関係数Ｒ（ｘ，ｙ）と被写体１００までの距離Ｄの間には対応関係があることが認められる。従って、第３画像データの各画素Ｐ（ｘ，ｙ）の自己相関係数Ｒ（ｘ，ｙ）を算出すれば、各画素Ｐ（ｘ，ｙ）の自己相関係数Ｒ（ｘ，ｙ）に基づいて被写体１００までの距離Ｄを把握することが可能となる。
【００３５】
次に、距離取得部１６は、各画素Ｐ（ｘ，ｙ）の自己相関係数Ｒ（ｘ，ｙ）が算出されると、テーブル記憶部１７に記憶保持されているテーブルを参照して、各画素Ｐ（ｘ，ｙ）に対応する被写体１００の部位までの距離Ｄを取得する。また、距離取得部１６は、各画素Ｐ（ｘ，ｙ）に、取得された距離Ｄに対応付けられた色を付ける着色処理を施して距離画像データを生成し、この距離画像データをモニタ１８に出力する。
【００３６】
ここで、テーブルは、第３画像データの各画素Ｐ（ｘ，ｙ）について算出した自己相関係数Ｒ（ｘ，ｙ）と、光学式距離計測装置１から各画素Ｐ（ｘ，ｙ）に対応する被写体１００の部位までの距離Ｄを予め実測し、自己相関係数Ｒ（ｘ，ｙ）と被写体１００までの距離Ｄを対応付けた形態で記憶保持したものである。なお、図５の円柱までの距離のグラフに示されるように、自己相関係数Ｒ（ｘ，ｙ）と被写体１００までの距離Ｄとの間に線形的な対応が認められる範囲がある場合には、距離取得部１６は、テーブルを参照せずに、各画素Ｐ（ｘ，ｙ）の自己相関係数Ｒ（ｘ，ｙ）に基づいて、被写体１００までの距離Ｄを算出することができる。
【００３７】
（距離計測方法）
図６は光学式距離計測装置１の距離計測方法を示す概略フローチャートである。図７（ａ）〜（ｄ）はそれぞれ第１画像データ、第２画像データ、第３画像データ、および、距離画像データの説明図である。図７（ａ）〜（ｄ）のそれぞれにおいて、被写体１００は図１に示されている円柱１００ａと壁１００ｂである。また、図７（ａ）〜（ｄ）のそれぞれにおいて、左端の画像データは、円柱１００ａを壁１００ｂに近い位置に配置した第１状態を撮像して得られたものであり、中央の画像データは、円柱１００ａを壁１００ｂから離して第１状態よりも光学式距離計測装置１に近い位置に配置した第２状態を撮像して得られたものであり、右端の画像データは、円柱１００ａを壁１００ｂからさらに離して、第２状態よりも光学式距離計測装置１に近い位置に配置した第３状態を撮像して得られたものである。
【００３８】
被写体１００までの距離Ｄを計測する際には、撮像装置３はＣＣＤイメージセンサ１０による撮像を開始し、パターン投射装置２は所定の投射パターンをＣＣＤイメージセンサ１０の奇数フィールドに同期させて投射する。これにより、ＣＣＤイメージセンサ１０は、図７（ａ）に示すように、所定の投射パターンが投射された状態の被写体１００の第１画像データを奇数フィールドに取得する。また、図７（ｂ）に示すように、所定の投射パターンを投射していない状態の被写体１００の第２画像データを偶数フィールドに取得する（ステップＳＴ１）。
【００３９】
第１画像データおよび第２画像データが取得されると、差分画像データ抽出部１４は、第１画像データから第２画像データを差し引いて、図７（ｃ）に示すように、所定の投射パターンの反射光のみを含む第３画像データを抽出する（ステップＳＴ２）。
【００４０】
第３画像データが抽出されると、自己相関係数取得部１５は、第３画像データの画素間の自己相関係数Ｒ（ｘ，ｙ）を、第３画像データの各画素Ｐ（ｘ，ｙ）について算出する（ステップＳＴ３）。また、各画素Ｐ（ｘ，ｙ）の自己相関係数Ｒ（ｘ，ｙ）が算出されると、距離取得部１６は算出された自己相関係数Ｒ（ｘ，ｙ）に基づいてテーブルを参照して、被写体１００までの距離Ｄを取得する（ステップＳＴ４）。しかる後に、各画素Ｐ（ｘ，ｙ）に距離Ｄに対応する着色を施して、図７（ｄ）に示すように距離画像データを生成して、モニタ１８に出力する（ステップＳＴ５）。
【００４１】
（作用効果）
本例によれば、一つの視点から被写体１００を撮像して得られる第１画像データおよび第２画像データに基づいて被写体までの距離Ｄを計測できるので、光学式距離計測装置１は撮像装置３を１台備えればよい。また、第１画像データおよび第２画像データを取得するために、被写体１００に投射パターンを投射した状態と、被写体１００にパターンを投射しない状態とを形成すればよく、投射パターン自体を変化させる必要がない。よって、パターン投射装置２を簡易な構成とすることができる。さらに、撮像に際して特殊なイメージセンサを用いる必要がなく、汎用のＣＣＤイメージセンサ１０を用いることができる。従って、光学式距離計測装置１の製造コストを抑えることができる。
【００４２】
また、本例によれば、各画素Ｐ（ｘ，ｙ）の自己相関係数Ｒ（ｘ，ｙ）と被写体１００までの距離Ｄとを対応付けた形態で記憶保持しているテーブルを有しており、距離取得部１６は、各画素Ｐ（ｘ，ｙ）の自己相関係数Ｒ（ｘ，ｙ）に基づいてテーブルを参照して被写体１００までの距離Ｄを取得している。従って、フォトマスク６によって投射される投射パターンに拘わらず、被写体１００までの距離Ｄを取得することができる。
【００４３】
さらに、本例では、第３画像データの各画素Ｐ（ｘ，ｙ）について距離Ｄを取得しているので、被写体１００の形状を把握することができる。
【００４４】
また、本例によれば、パターン投射装置２から被写体１００に至る投射光の光路の一部と、被写体１００から撮像装置３に至る反射光の光路の一部とが共通の光路となっているので、光学式距離計測装置１を小型化することが容易となる。
【００４５】
さらに、本例では、投射照明画角と撮像画角とが同一であり、重なっているので、第１画像データを取得する際に被写体１００に影が発生することを抑制できる。従って、所定の投射パターンの反射光のみを含む第３画像データを精度よく抽出することができる。
【００４６】
また、本例では、パターン投射装置２は、所定の投射パターンをＣＣＤイメージセンサ１０の奇数フィールドに同期させて投射し、撮像装置３は、奇数フィールドで第１画像データを取得し、偶数フィールドで第２画像データを取得している。従って、第１画像データおよび第２画像データを、ほぼリアルタイムに取得することが可能となる。また、第２画像データを利用して、モニタ１８から被写体１００の映像を出力できる。
【００４７】
さらに、本例は、パターン投射装置２が光軸方向にフォトマスク６を移動させるフォトマスク移動機構９を備えている。従って、フォトマスク６を移動させて、投射パターンの結像点の位置を変化させることにより、第１画像データの取得時における距離に対する感度を調整することができる。
【００４８】
また、所定の投射パターンを投射するためのパターン投射装置２の光源５は、近赤外線を放射しているので、被写体１００となっている人間、あるいは、被写体１００の近傍に位置する人間に投射パターンの投射を意識させることなく被写体１００までの距離Ｄを計測することができる。
【００４９】
ここで、制御装置４はパターン投射装置２および撮像装置３が接続されたコンピュータを用いて構成することができる。
【００５０】
この場合には、コンピュータ上でパターン投射装置２および撮像装置３を駆動制御するための第１のプログラムを動作させて、被写体１００に対して所定の投射パターンを投射した状態でイメージセンサによる撮像を行って第１画像データを取得するとともに、被写体１００に対して所定の投射パターンを投射していない状態でイメージセンサによる撮像を行なって第２画像データを取得する画像取得工程を行なう。また、撮像装置３が取得した第１画像データおよび第２画像データを、撮像装置３からコンピュータに逐次に転送させて、コンピュータの画像メモリ１３に記憶保持する。
【００５１】
しかる後に、コンピュータ上で、被写体１００までの距離Ｄを取得するための第２のプログラムを動作させて、当該コンピュータに、撮像装置３が取得した第１画像データと第２画像データの差分から、所定の投射パターンの反射光のみを含む第３画像データを抽出する差分画像抽出工程と、第３画像データの画素間の自己相関係数Ｒ（ｘ，ｙ）を当該第３画像データの各画素Ｐ（ｘ，ｙ）について算出する自己相関係数算出工程と、各画素Ｐ（ｘ，ｙ）の自己相関係数Ｒ（ｘ，ｙ）に基づいて、被写体１００までの距離Ｄを取得する距離取得工程を行なわせる。なお、第１のプログラムと第２のプログラムは単一のプログラムとしてもよい。当然、プログラムをハードウエア化してゲートアレーなどに置き換えてもよい。
【００５２】
（その他の実施の形態）
上記の例では、投射パターンが投射された状態で被写体１００を撮像して得られる第１画像データを奇数フィールドに取得するとともに、所定の投射パターンが投射されていない状態で被写体１００を撮像して得られる第２画像データを第１画像データを取得した奇数フィールドに隣接した偶数フィールドから取得しているが、第１画像データおよび第２画像データは隣接したフィールドでなく、離散したフィールドから取得しても構わない。
【００５３】
また、上記の例では、撮像装置３は、撮像素子としてインターレース方式のＣＣＤイメージセンサ１０を搭載しているが、プログレッシブ走査方式のイメージセンサを用いて第１画像データおよび第２画像データを取得してもよい。また、ＣＭＯＳ型のイメージセンサを用いてもよい。
【００５４】
さらに、上記の例では、すべての画素に関して自己相関係数を算出しているが、被測定物の大きさによっては代表点のみの距離を算出してもよく、その場合は離散的な画素について自己相関係数を演算してもよい。
【００５５】
また、上記の例では光源５は０．８５μｍの波長の光線を放射しているが、光源５から放射される光に波長はこれに限られるものではなく、ＣＣＤイメージセンサ１０、或いは、ＣＭＯＳ型のイメージセンサによって撮像可能な波長の近赤外線、例えば、波長０．７〜１．１μｍの光線であれば適宜に選択することができる。ここで、汎用品として流通している一般的なイメージセンサであっても、その波長感度は１．０μｍ程度まで広がっている。なお、より波長の長い光線を利用して第１画像データを取得する場合には、パターン投射装置２の光源強度を十分なものとしておくことが望ましい。また、ＳＮ比が十分に取れる環境での使用を前提とすることが望ましい。ここで、近赤外光を用いる際は通常イメージセンサの受光面の前に配置される赤外遮断フィルターの波長選択性を適宜変更する必要があることはいうまでもない。また赤外波長に対する感度を高め、波長域を広げたイメージセンサもあり、それを用いる際にはさらに長波長の光源を使用できる。いずれの波長を選択しても同じ波長の背景光は必ず存在するのでその除去を行うために、前述した第１、第２画像データ間の差分を算出することは有効な手段である。
【００５６】
さらに、フォトマスク６によって投射される所定の投射パターンは、ストライプなどの規則性のある投射パターンであってもよい。また、被写体１００や撮像環境に応じて投射パターンを異なるものとしてもよい。この場合には、フォトマスク６の替わりに、透過型の液晶パネル、反射型の液晶パネル、デジタル・マイクロミラー・デバイスなどの光源からの光線の一部分を透過、あるいは、反射する空間変調素子を用い、投射パターンを変化させることができる。
【００５７】
また、精度を要求されない用途においては、パターン投射装置２と撮像装置３の光路を共通にする必要はなく、それぞれ独立した光学系を用いてもよいことはいうまでもない。
【００５８】
さらに、被測定物の形状や移動がある特定された方向に限定されているのであれば、ＣＣＤイメージセンサ１０として、１次元ＣＣＤイメージセンサを採用してもよい。１次元ＣＣＤイメージセンサを用いれば、装置の製造コストをより抑制することができ、高速走査も可能となる。
【符号の説明】
【００５９】
１・光学式距離計測装置、２・パターン投射装置、３・撮像装置、４・制御装置、５・光源、６・フォトマスク、７・プリズム、８・対物レンズ、９・フォトマスク移動機構、１０・ＣＣＤイメージセンサ、１１・ドライバ、１２・駆動制御部、１３・画像メモリ、１３ａ・第１画像メモリ、１３ｂ・第２画像メモリ、１４・差分画像データ抽出部、１５・自己相関係数取得部、１６・距離取得部、１７・テーブル記憶部、１８・モニタ、１００・被写体、１００ａ・円柱、１００ｂ・壁、Ｄ・距離、Ｐ・画素、Ｑ・画素領域
【特許請求の範囲】
【請求項１】
光源、および、所定の投射パターンを被写体に投射するために前記光源からの光線の一部分を透過あるいは反射する素子を備え、前記投射パターンを前記被写体に断続的に投射するパターン投射装置と、
イメージセンサを備え、前記所定の投射パターンが投射されたときに前記被写体を撮像して第１画像データを取得するとともに、前記所定の投射パターンが投射されていないときに前記被写体を撮像して第２画像データを取得する撮像装置と、
前記第１画像データと前記第２画像データとの差分から前記所定の投射パターンの反射光のみを含む第３画像データを取得する差分画像データ抽出部と、
前記第３画像データの画素間の自己相関係数を予め定めた所定の画素について算出する自己相関係数取得部と、
前記所定の画素の自己相関係数に基づいて、前記被写体までの距離を取得する距離取得部とを有することを特徴とする光学式距離計測装置。
【請求項２】
請求項１において、
前記第３画像データの画素の自己相関係数と被写体までの距離とを対応付けた形態で記憶保持しているテーブルを有し、
前記距離取得部は、前記画素の自己相関係数に基づいて前記テーブルを参照して、前記被写体までの距離を取得することを特徴とする光学式距離計測装置。
【請求項３】
請求項１または２において、
前記光源からの投射光を前記被写体に導くとともに、前記被写体からの反射光を前記イメージセンサに導く光学素子を有し、
前記光学素子から前記被写体に至る前記投射光の光路と前記被写体から前記光学素子に至る前記反射光の光路とは共通であり、
前記パターン投射装置による投射照明画角と前記撮像装置による撮像画角とは、同一であることを特徴とする光学式距離計測装置。
【請求項４】
請求項１ないし３のうちのいずれかの項において、
前記イメージセンサは、インターレース走査方式であり、
前記パターン投射装置は、前記所定の投射パターンを前記イメージセンサの奇数フィールドおよび前記偶数フィールドのいずれか一方に同期させて投射し、
前記撮像装置は、前記奇数フィールドおよび偶数フィールドのうちのいずれか一方で前記第１画像データを取得し、いずれか他方で前記第２画像データを取得することを特徴とする光学式距離計測装置。
【請求項５】
請求項１ないし３のうちのいずれかの項において、
前記イメージセンサは、１次元イメージセンサであることを特徴とする光学式距離計測装置。
【請求項６】
請求項１ないし５のうちのいずれかの項において、
前記光源は、近赤外線を放射することを特徴とする光学式距離計測装置。
【請求項７】
請求項１ないし６のうちのいずれかの項において、
前記パターン投射装置は、光軸方向に前記素子を移動させるフォトマスク移動機構を備えていることを特徴とする光学式距離計測装置。
【請求項８】
被写体に対して所定の投射パターンを投射した状態でイメージセンサにより撮像を行って第１画像データを取得するとともに、前記被写体に対して前記所定の投射パターンを投射していない状態で前記イメージセンサによる撮像を行なって第２画像データを取得する画像取得工程と、
前記第１画像データと前記第２画像データの差分から、前記所定の投射パターンの反射光のみを含む第３画像データを抽出する差分画像抽出工程と、
前記第３画像データの画素間の自己相関係数を予め定めた所定の画素について算出する自己相関係数算出工程と、
前記画素の自己相関係数に基づいて、前記被写体までの距離を取得する距離取得工程とを含むことを特徴とする光学式距離計測装置の距離計測方法。
【請求項９】
請求項８に記載の距離計測方法によって被写体までの距離を計測する光学式距離計測装置において、
光源、および、所定の投射パターンを被写体に投射するために前記光源からの光線の一部分を透過あるいは反射する素子を備え、前記投射パターンを前記被写体に断続的に投射するパターン投射装置と、
イメージセンサを備え、前記所定の投射パターンが投射されたときに前記被写体を撮像して第１画像データを取得するとともに、前記所定の投射パターンが投射されていないときに前記被写体を撮像して第２画像データを取得する撮像装置と、
前記撮像装置に接続されており、前記撮像装置で取得された前記第１画像データおよび前記第２画像データを記憶保持するための画像メモリを備えるコンピュータと、
前記コンピュータに、前記差分画像抽出工程、前記自己相関係数算出工程、および前記距離取得工程を行わせる距離計測用のプログラムとを有することを特徴とする光学式距離計測装置。
【請求項１０】
請求項９に記載の光学式距離計測装置の距離計測用プログラム。
【請求項１】
光源、および、所定の投射パターンを被写体に投射するために前記光源からの光線の一部分を透過あるいは反射する素子を備え、前記投射パターンを前記被写体に断続的に投射するパターン投射装置と、
イメージセンサを備え、前記所定の投射パターンが投射されたときに前記被写体を撮像して第１画像データを取得するとともに、前記所定の投射パターンが投射されていないときに前記被写体を撮像して第２画像データを取得する撮像装置と、
前記第１画像データと前記第２画像データとの差分から前記所定の投射パターンの反射光のみを含む第３画像データを取得する差分画像データ抽出部と、
前記第３画像データの画素間の自己相関係数を予め定めた所定の画素について算出する自己相関係数取得部と、
前記所定の画素の自己相関係数に基づいて、前記被写体までの距離を取得する距離取得部とを有することを特徴とする光学式距離計測装置。
【請求項２】
請求項１において、
前記第３画像データの画素の自己相関係数と被写体までの距離とを対応付けた形態で記憶保持しているテーブルを有し、
前記距離取得部は、前記画素の自己相関係数に基づいて前記テーブルを参照して、前記被写体までの距離を取得することを特徴とする光学式距離計測装置。
【請求項３】
請求項１または２において、
前記光源からの投射光を前記被写体に導くとともに、前記被写体からの反射光を前記イメージセンサに導く光学素子を有し、
前記光学素子から前記被写体に至る前記投射光の光路と前記被写体から前記光学素子に至る前記反射光の光路とは共通であり、
前記パターン投射装置による投射照明画角と前記撮像装置による撮像画角とは、同一であることを特徴とする光学式距離計測装置。
【請求項４】
請求項１ないし３のうちのいずれかの項において、
前記イメージセンサは、インターレース走査方式であり、
前記パターン投射装置は、前記所定の投射パターンを前記イメージセンサの奇数フィールドおよび前記偶数フィールドのいずれか一方に同期させて投射し、
前記撮像装置は、前記奇数フィールドおよび偶数フィールドのうちのいずれか一方で前記第１画像データを取得し、いずれか他方で前記第２画像データを取得することを特徴とする光学式距離計測装置。
【請求項５】
請求項１ないし３のうちのいずれかの項において、
前記イメージセンサは、１次元イメージセンサであることを特徴とする光学式距離計測装置。
【請求項６】
請求項１ないし５のうちのいずれかの項において、
前記光源は、近赤外線を放射することを特徴とする光学式距離計測装置。
【請求項７】
請求項１ないし６のうちのいずれかの項において、
前記パターン投射装置は、光軸方向に前記素子を移動させるフォトマスク移動機構を備えていることを特徴とする光学式距離計測装置。
【請求項８】
被写体に対して所定の投射パターンを投射した状態でイメージセンサにより撮像を行って第１画像データを取得するとともに、前記被写体に対して前記所定の投射パターンを投射していない状態で前記イメージセンサによる撮像を行なって第２画像データを取得する画像取得工程と、
前記第１画像データと前記第２画像データの差分から、前記所定の投射パターンの反射光のみを含む第３画像データを抽出する差分画像抽出工程と、
前記第３画像データの画素間の自己相関係数を予め定めた所定の画素について算出する自己相関係数算出工程と、
前記画素の自己相関係数に基づいて、前記被写体までの距離を取得する距離取得工程とを含むことを特徴とする光学式距離計測装置の距離計測方法。
【請求項９】
請求項８に記載の距離計測方法によって被写体までの距離を計測する光学式距離計測装置において、
光源、および、所定の投射パターンを被写体に投射するために前記光源からの光線の一部分を透過あるいは反射する素子を備え、前記投射パターンを前記被写体に断続的に投射するパターン投射装置と、
イメージセンサを備え、前記所定の投射パターンが投射されたときに前記被写体を撮像して第１画像データを取得するとともに、前記所定の投射パターンが投射されていないときに前記被写体を撮像して第２画像データを取得する撮像装置と、
前記撮像装置に接続されており、前記撮像装置で取得された前記第１画像データおよび前記第２画像データを記憶保持するための画像メモリを備えるコンピュータと、
前記コンピュータに、前記差分画像抽出工程、前記自己相関係数算出工程、および前記距離取得工程を行わせる距離計測用のプログラムとを有することを特徴とする光学式距離計測装置。
【請求項１０】
請求項９に記載の光学式距離計測装置の距離計測用プログラム。
【図３】
【図４】
【図５】
【図６】
【図１】
【図２】
【図７】
【図４】
【図５】
【図６】
【図１】
【図２】
【図７】
【公開番号】特開２０１２−１２２９７５（Ｐ２０１２−１２２９７５Ａ）
【公開日】平成２４年６月２８日（２０１２．６．２８）
【国際特許分類】
【出願番号】特願２０１０−２７６３０１（Ｐ２０１０−２７６３０１）
【出願日】平成２２年１２月１０日（２０１０．１２．１０）
【出願人】（３９１００２７７５）マクセルファインテック株式会社 (40)
【Ｆターム（参考）】
【公開日】平成２４年６月２８日（２０１２．６．２８）
【国際特許分類】
【出願日】平成２２年１２月１０日（２０１０．１２．１０）
【出願人】（３９１００２７７５）マクセルファインテック株式会社 (40)
【Ｆターム（参考）】
[ Back to top ]