説明

情報取得装置、投射装置および物体検出装置

【課題】検出対象物が近距離にある場合においても、大きな目標物の距離情報を取得できる情報取得装置、投射装置および物体検出装置を提供する。
【解決手段】投射光学系11は、レーザ光源111と、コリメータレンズ112と、レーザ光を分離させるハーフミラー113と、分離されたレーザ光をドットパターン光Dp1に変換して目標領域に投射するDOE114と、分離されたレーザ光をドットパターン光Dp2に変換して目標領域に投射するDOE115と、を備える。複数のDOE114、115を用いることにより、広い角度範囲で、目標領域にドットパターンを照射できる。これにより、情報取得装置は、検出対象物が近距離にあるような場合においても、検出対象物の距離情報を適正に取得することができる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、目標領域に光を投射したときの反射光の状態に基づいて目標領域内の物体を検出する物体検出装置、当該物体検出装置に用いて好適な情報取得装置、および当該物体検出装置に搭載される投射装置に関する。
【背景技術】
【0002】
従来、光を用いた物体検出装置が種々の分野で開発されている。いわゆる距離画像センサを用いた物体検出装置では、2次元平面上の平面的な画像のみならず、検出対象物の奥行き方向の形状や動きを検出することができる。かかる物体検出装置では、レーザ光源やLED(Light Emitting Diode)から、予め決められた波長帯域の光が目標領域に投射され、その反射光がCMOSイメージセンサ等の受光素子により受光される。距離画像センサとして、種々のタイプのものが知られている。
【0003】
所定のドットパターンを持つレーザ光を目標領域に照射するタイプの距離画像センサでは、目標領域から反射されたドットパターンをイメージセンサで受光し、イメージセンサ上におけるドットパターンの受光位置に基づいて、三角測量法を用いて、検出対象物の各部までの距離が検出される(たとえば、非特許文献1)。
【先行技術文献】
【非特許文献】
【0004】
【非特許文献1】第19回日本ロボット学会学術講演会(2001年9月18−20日)予稿集、P1279−1280
【発明の概要】
【発明が解決しようとする課題】
【0005】
上記構成の物体検出装置では、ドットパターンのレーザ光を投射するための光学系として、たとえば、レーザ光源と、コリメータレンズと、回折光学素子が用いられる。検出可能な物体の高さ、幅は、回折光学素子により生成されたドットパターンのレーザ光の広がり角(以下、「回折投射角」という)と、物体検出装置と検出対象物の距離に応じて、大きくなる。しかし、光学設計上、回折光学素子の回折投射角を、所定以上の大きさにするのは、困難である。そのため、たとえば、大人の人間の身長をすべて認識するためには、ある程度の距離を保つ必要がある(鉛直方向の回折投射角が略50°の場合、2m以上)。したがって、物体検出装置との距離が近距離である場合、大人の人間の全身の動作を認識させるのが、困難との問題があった。
【0006】
本発明は、このような問題を解消するためになされたものであり、検出対象物が近距離にある場合においても、大きな目標物の距離情報を取得できる情報取得装置、投射装置および物体検出装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の第1の態様は、光を用いて目標領域の情報を取得する情報取得装置に関する。この態様に係る情報装置は、前記目標領域に所定のドットパターンでレーザ光を投射する投射光学系と、前記投射光学系に対して所定の距離だけ離れて並ぶように配置され、前記目標領域を撮像する撮像素子を有する受光光学系と、を備える。ここで、
前記投射光学系、レーザ光源と、前記レーザ光源から出射されたレーザ光を平行光に変換するコリメータレンズと、前記コリメータレンズを透過した前記レーザを分離させる分光素子と、前記分光素子によって分離された第1のレーザ光を前記目標領域において所定の
ドットパターンを有する第1のドットパターン光に変換して前記目標領域に投射する第1の回折光学素子と、前記分光素子によって分離された第2のレーザ光を前記目標領域において所定のドットパターンを有する第2のドットパターン光に変換して前記目標領域に投射する第2の回折光学素子と、を備える。
【0008】
本発明の第2の態様は、投射装置に関する。この態様に係る投射装置は、上記第1の態様に係る投射光学系を備える。
【0009】
本発明の第3の態様は、物体検出装置に関する。この態様に係る物体検出装置は、上記第1の態様に係る情報取得装置を有する。
【発明の効果】
【0010】
本発明によれば、検出対象物が近距離にある場合においても、大きな目標物の距離情報を取得できる情報取得装置、投射装置および物体検出装置を提供することができる。
【0011】
本発明の効果ないし意義は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下に示す実施の形態は、あくまでも、本発明を実施化する際の一つの例示であって、本発明は、以下の実施の形態により何ら制限されるものではない。
【図面の簡単な説明】
【0012】
【図1】実施の形態に係る物体検出装置の構成を示す図である。
【図2】実施の形態に係る情報取得装置と情報処理装置の構成を示す図である。
【図3】実施の形態に係る情報取得装置の回折投射角と検出対象物との距離の関係を示す図である。
【図4】実施の形態に係る目標領域に対するレーザ光の照射状態とイメージセンサ上のレーザ光の受光状態を示す図である。
【図5】実施の形態に係る基準テンプレートの設定方法を説明する図である。
【図6】実施の形態に係る距離検出方法を説明する図である。
【図7】実施の形態に係る基準テンプレート生成時における投射光学系とドットパターンが照射されない領域を含むセグメント領域を示す図である。
【図8】変更例に係る目標領域に対するレーザ光の照射状態とドットパターンが照射されない領域を含むセグメント領域を示す図である。
【図9】変更例に係るセグメント領域の設定例を説明する図である。
【発明を実施するための形態】
【0013】
以下、本発明の実施の形態につき図面を参照して説明する。本実施の形態には、所定のドットパターンを持つレーザ光を目標領域に照射するタイプの情報取得装置が例示されている。なお、本実施の形態における投射光学系11、レーザ駆動回路22およびレーザ制御部21aからなる構成が、特許請求の範囲における投射装置に相当する。
【0014】
まず、図1に本実施の形態に係る物体検出装置の概略構成を示す。図示の如く、物体検出装置は、情報取得装置1と、情報処理装置2とを備えている。テレビ3は、情報処理装置2からの信号によって制御される。
【0015】
情報取得装置1は、目標領域全体に赤外光を投射し、その反射光をCMOSイメージセンサにて受光することにより、目標領域にある物体各部の距離(以下、「3次元距離情報」という)を取得する。取得された3次元距離情報は、ケーブル4を介して情報処理装置2に送られる。
【0016】
情報処理装置2は、たとえば、テレビ制御用のコントローラやゲーム機、パーソナルコ
ンピュータ等である。情報処理装置2は、情報取得装置1から受信した3次元距離情報に基づき、目標領域における物体を検出し、検出結果に基づきテレビ3を制御する。
【0017】
たとえば、情報処理装置2は、受信した3次元距離情報に基づき人を検出するとともに、3次元距離情報の変化から、その人の動きを検出する。たとえば、情報処理装置2がテレビ制御用のコントローラである場合、情報処理装置2には、受信した3次元距離情報からその人のジェスチャを検出するとともに、ジェスチャに応じてテレビ3に制御信号を出力するアプリケーションプログラムがインストールされている。この場合、ユーザは、テレビ3を見ながら所定のジェスチャをすることにより、チャンネル切り替えやボリュームのUp/Down等、所定の機能をテレビ3に実行させることができる。
【0018】
また、たとえば、情報処理装置2がゲーム機である場合、情報処理装置2には、受信した3次元距離情報からその人の動きを検出するとともに、検出した動きに応じてテレビ画面上のキャラクタを動作させ、ゲームの対戦状況を変化させるアプリケーションプログラムがインストールされている。この場合、ユーザは、テレビ3を見ながら所定の動きをすることにより、自身がテレビ画面上のキャラクタとしてゲームの対戦を行う臨場感を味わうことができる。
【0019】
図2は、情報取得装置1と情報処理装置2の構成を示す図である。
【0020】
情報取得装置1は、光学系として、投射光学系11と受光光学系12とを備えている。投射光学系11と受光光学系12は、投射光学系11の投射中心と受光光学系12の撮像中心がX軸に平行な直線上に並ぶように、X軸方向に所定の距離をもって並んで設置されている。
【0021】
投射光学系11は、所定のドットパターンのレーザ光を、目標領域に照射する。投射光学系11の構成は、追って、図3を参照して説明する。
【0022】
受光光学系12は、フィルタ121と、アパーチャ122と、撮像レンズ123と、CMOSイメージセンサ124とを備えている。この他、情報取得装置1は、回路部の構成として、CPU(Central Processing Unit)21と、レーザ駆動回路22と、撮像信号処理回路23と、入出力回路24と、メモリ25を備えている。
【0023】
目標領域から反射されたレーザ光は、フィルタ121とアパーチャ122を介して撮像レンズ123に入射する。
【0024】
フィルタ121は、レーザ光源111の出射波長(830nm程度)を含む波長帯域の光を透過し、可視光の波長帯域をカットするバンドパスフィルタである。
【0025】
アパーチャ122は、撮像レンズ123のFナンバーに合うように、外部からの光に絞りを掛ける。撮像レンズ123は、アパーチャ122を介して入射された光をCMOSイメージセンサ124上に集光する。
【0026】
CMOSイメージセンサ124は、撮像レンズ123にて集光された光を受光して、画素毎に、受光量に応じた信号(電荷)を撮像信号処理回路23に出力する。ここで、CMOSイメージセンサ124は、各画素における受光から高レスポンスでその画素の信号(電荷)を撮像信号処理回路23に出力できるよう、信号の出力速度が高速化されている。CMOSイメージセンサ124の解像度は、SXGA(Super Extended Graphics Array)に対応しており、有効画素数は1280×1024画素である。
【0027】
CPU21は、メモリ25に格納された制御プログラムに従って各部を制御する。かかる制御プログラムによって、CPU21には、レーザ光源111を制御するためのレーザ制御部21aと、3次元距離情報を生成するための距離演算部21bの機能が付与される。
【0028】
レーザ駆動回路22は、CPU21からの制御信号に応じてレーザ光源111を駆動する。撮像信号処理回路23は、CMOSイメージセンサ124を制御して、CMOSイメージセンサ124で生成された各画素の信号(電荷)をライン毎に順次取り込む。そして、取り込んだ信号を順次CPU21に出力する。CPU21は、撮像信号処理回路23から供給される信号(撮像信号)をもとに、情報取得装置1から検出対象物の各部までの距離を、距離演算部21bによる処理によって算出する。入出力回路24は、情報処理装置2とのデータ通信を制御する。
【0029】
情報処理装置2は、CPU31と、入出力回路32と、メモリ33を備えている。なお、情報処理装置2には、同図に示す構成の他、テレビ3との通信を行うための構成や、CD−ROM等の外部メモリに格納された情報を読み取ってメモリ33にインストールするためのドライブ装置等が配されるが、便宜上、これら周辺回路の構成は図示省略されている。
【0030】
CPU31は、メモリ33に格納された制御プログラム(アプリケーションプログラム)に従って各部を制御する。かかる制御プログラムによって、CPU31には、画像中の物体を検出するための物体検出部31aの機能が付与される。かかる制御プログラムは、たとえば、図示しないドライブ装置によってCD−ROMから読み取られ、メモリ33にインストールされる。
【0031】
たとえば、制御プログラムがゲームプログラムである場合、物体検出部31aは、情報取得装置1から供給される3次元距離情報から画像中の人およびその動きを検出する。そして、検出された動きに応じてテレビ画面上のキャラクタを動作させるための処理が制御プログラムにより実行される。
【0032】
また、制御プログラムがテレビ3の機能を制御するためのプログラムである場合、物体検出部31aは、情報取得装置1から供給される3次元距離情報から画像中の人およびその動き(ジェスチャ)を検出する。そして、検出された動き(ジェスチャ)に応じて、テレビ3の機能(チャンネル切り替えやボリューム調整、等)を制御するための処理が制御プログラムにより実行される。
【0033】
入出力回路32は、情報取得装置1とのデータ通信を制御する。
【0034】
図3(a)は、本実施の形態における投射光学系11の構成を模式的に示す図、図3(b)は、比較例における投射光学系15の構成を模式的に示す図である。なお、投射光学系は、説明の便宜上、検出対象物(人間M)に対して、通常より大きく示されている。
【0035】
図3(a)を参照して、投射光学系11は、レーザ光源111と、コリメータレンズ112と、ハーフミラー113と、回折光学素子(DOE:Diffractive Optical Element)114、115とを備えている。
【0036】
レーザ光源111は、波長830nm程度の狭波長帯域のレーザ光を出力する。レーザ光源111は、出射光軸がZ軸に対してY−Z平面の面内方向に傾くように設置される。コリメータレンズ112は、レーザ光源111から出射されたレーザ光を平行光から僅かに広がった光(以下、単に「平行光」という)に変換する。コリメータレンズ112は、
その光軸がレーザ光源111の出射光軸と一致するように、Y−Z平面の面内方向に傾いて設置される。
【0037】
ハーフミラー113は、誘電体薄膜の多層膜を備え、反射率と透過率が略同じとなるように膜の層数や膜厚が設計されている。ハーフミラー113は、入射面が、コリメータレンズ112を透過したレーザ光の光軸に対して、所定の傾きを持つよう設置される。本実施の形態では、ハーフミラー113は、コリメータレンズ112を透過したレーザ光が略24°の入射角で入射するよう設置される。ハーフミラー113は、コリメータレンズ112側から入射されたレーザ光の略半分をDOE114に向かう方向に透過し、残りの略半分をDOE115に向かう方向に反射する。
【0038】
DOE114、115は、入射面に回折パターンを有する。この回折パターンによる回折作用により、DOE114、115に入射したレーザ光は、ドットパターンのレーザ光に変換されて、目標領域に照射される。回折パターンは、たとえば、ステップ型の回折ホログラムが所定のパターンで形成された構造とされる。回折ホログラムは、コリメータレンズ112により平行光とされたレーザ光をドットパターンのレーザ光に変換するよう、パターンとピッチが調整されている。DOE114と、DOE115は、それぞれ、異なる回折パターンが形成されている。ドットパターンの各ドットの大きさは、DOE114、115に入射する際のレーザ光のビームサイズに応じたものとなる。DOE114、115にて回折されないレーザ光(0次光)は、DOE114、115を透過してそのまま直進する。
【0039】
DOE114は、入射面がハーフミラー113を透過したレーザ光の光軸に対して垂直となるように、X−Y平面に対してY−Z平面の面内方向に傾くように設置される。また、DOE114は、ハーフミラー113を透過したレーザ光を、Y軸方向に所定の角度α、X軸方向に所定の角度の回折投射角で広がるドットパターンのレーザ光として、目標領域に照射する。DOE114は、ドットパターンのレーザ光の下端(Y軸負方向の端)の光が、水平平面(X−Z平面)に平行にZ軸正方向に進むように設置される。
【0040】
DOE115は、入射面がハーフミラー113を反射したレーザ光の光軸に対して垂直となるようにX−Y平面に対してY−Z平面の面内方向に傾くように設置される。また、DOE115は、ハーフミラー113で反射されたレーザ光を、Y軸方向に所定の角度β、X軸方向に所定の角度の回折投射角で広がるドットパターンのレーザ光として、目標領域に照射する。DOE115は、ドットパターンのレーザ光の上端(Y軸正方向の端)の光が、水平平面(X−Z平面)に平行にZ軸正方向に進むように設置される。
【0041】
DOE114、115は、それぞれ、Y軸方向に並ぶように設置される。DOE114のY軸方向の回折投射角αと、DOE115のY軸方向の回折投射角βは、略同じ角度であり、本実施の形態では、それぞれ、略48°に設定される。また、DOE114のX軸方向の回折投射角と、DOE115のX軸方向の回折投射角も、略同じ角度であり、本実施の形態では、それぞれ、略64°に設定される。
【0042】
DOE114の回折投射角の下端(Y軸負方向)と、DOE115の回折投射角の上端(Y軸正方向)の間には、DOE114、115自身の大きさと、DOE114、115を支える保持部材(図示せず)の大きさによって、ドットパターンが照射されない所定の間隔Dが生じる。本実施の形態では、所定の間隔Dは、略10mm程度で構成される。所定の間隔Dは、DOE114により生成されたドットパターンのレーザ光の下端(Y軸負方向の端)の光と、DOE115により生成されたドットパターンのレーザ光の上端(Y軸正方向の端)の光が、それぞれ、水平平面(X−Z平面)に平行に進むように設定されているため、同図の距離Lが変化しても、一定である。したがって、検出対象物がどのよ
うな距離にあっても、それぞれのドットパターンが検出対象物上で重なることはない。なお、ドットパターンが照射されない間隔Dによる距離測定処理への影響は、追って、図7を参照して説明する。
【0043】
投射光学系11は、ハーフミラー113と、DOE114と、DOE115により、回折投射角αとβが足し合わさった広い回折投射角(略96°)でドットパターンを目標領域に照射する。この場合、大人の人間Mの身長H(略180cm)を全て認識するために必要な距離Lの最小値は、略1.0mとなる。
【0044】
DOE114、115により生成されたそれぞれのドットパターンには、略同じ数のドットが含まれている。上記のように、DOE114、115の回折投射角は略同じであるため、DOE114、115により生成されたそれぞれのドットパターンのドットの密度は、略同じである。
【0045】
図3(b)を参照して、比較例における投射光学系15は、本実施の形態と同様のレーザ光源151と、コリメータレンズ152とDOE153とを備えている。
【0046】
レーザ光源151と、コリメータレンズ152と、DOE153は、それぞれZ軸方向に対して平行に並ぶように設置される。DOE153は、コリメータレンズ152を透過したレーザ光をY軸方向に角度γ、X軸方向に所定の角度の回折投射角で広がるドットパターンのレーザ光として、目標領域に照射する。角度γは、本実施の形態における角度αと同じであり、略48°である。
【0047】
比較例における投射光学系15は、DOE153により、Y軸方向に略48°の回折投射角でドットパターンを目標領域に照射する。この場合、大人の人間Mの身長Hを全て認識するために必要な目標領域と投射光学系15との距離L’の最小値は、略2.0mとなり、本実施の形態の距離Lと比べ、かなり遠くなる。
【0048】
このように、投射光学系と検出対象物(人間M)全体を適正に測定可能な位置との距離は、投射されるドットパターンの回折投射角が大きくなるにつれて、近くなる。通常、DOEは、光学設計上、回折投射角を所定以上の大きさにするのは、困難である。特に、X軸方向の回折投射角を確保しつつ、Y軸方向の回折投射角を90°以上広げることは、非常に困難である。これに対し、本実施の形態では、複数のDOE114、115を用いていることにより、1枚のDOEが光学的に広げることのできる回折投射角よりも、かなり広い回折投射角で目標領域にドットパターンのレーザ光を照射することができる。よって、本実施の形態における情報取得装置1では、比較例の場合と比較して、検出対象物(人間M)を、より近距離で検出することができる。また、検出対象物との距離が比較例の場合と同じ程度に離れている場合、情報取得装置1は、より大きな検出対象物を検出することができる。
【0049】
図3(c)は、本実施の形態における目標領域へのドットパターンのレーザ光の照射状況を模式的に示す図、図3(d)は、比較例における目標領域へのドットパターンのレーザ光の照射状況を模式的に示す図である。
【0050】
図3(c)、(d)を参照して、本実施の形態では、DOE114は、ドットパターンを持ったレーザ光(以下、このパターンを持つレーザ光の全体を「DP光」という)Dp1を目標領域へ照射し、DOE115は、DP光Dp2を目標領域へ照射する。すなわち、本実施の形態における情報取得装置1では、図示のごとく、それぞれの0次光がY軸方向に2つに分かれて目標領域に照射され、各0次光を中心に長方形にDP光Dp1、Dp2のドットが広がる。
【0051】
また、本実施の形態では、ハーフミラー113によってレーザ光が分光されるため、レーザ光源111、151の出射強度が同じである場合、DP光Dp1、Dp2の各光量は、比較例のDP光Dp3の光量に比べ、略半分となる。しかし、本実施の形態では、比較例の場合と比べ、検出対象物を近距離で検出可能であるため、比較例の場合よりも目標領域が近距離に設定される。一般的に、光量は距離の2乗に反比例して減衰する。したがって、図3(a)に示す場合の目標領域に入射する光量は、図3(d)に示す比較例の場合と比べ、同等もしくはそれ以上の光量となる。
【0052】
したがって、本実施の形態のように、ハーフミラー113によって、レーザ光が分光されるような場合においても、投射光学系11は、レーザ光のパワーを上げる必要がない。すなわち、レーザ光のパワーを比較例と同等とした場合にも、ドットの数を減らして各ドットに対する光量配分を高める必要が無い。よって、本実施の形態における投射光学系11は、DOE114、115によってそれぞれ作成されるドットの数を減らすことなく、比較例の場合と同じ検出対象物(人間M)に、略2倍のドット数のドットパターンのレーザ光を照射することができる。これにより、本実施の形態における情報取得装置1は、比較例の場合と比べ、後述する距離検出処理を高分解能で行うことができる。
【0053】
なお、本実施の形態において、検出対象物との距離が比較例の場合と同じ程度に離れているような場合、情報取得装置1は、レーザ光源111の出力、もしくはDOE114、115により作成されるドット数の調整等によって、検出精度の劣化を保つことができる。
【0054】
また、図3(d)に示す比較例の場合、DP光Dp3は、目標領域の人間Mの身長を全てカバーするために、X軸方向とY軸方向にそれぞれ広がって照射される。このため、比較例では、たとえば、人間Mのような、X軸方向よりもY軸方向が大きい縦長の物体を検出対象とする場合に、左右(X軸方向)の端近くの照射領域が無駄になり易い。これに対し、本実施の形態では、図3(c)に示すように、DP光Dp1とDp2とからなる照射領域は、Y軸方向に延びた縦長となるため、距離測定に用いられにくい無駄な照射領域を抑えることができ、距離測定のための処理が効率的なものとなる。
【0055】
図4(a)は、目標領域に対するレーザ光の照射状態を模式的に示す図、図4(b)は、CMOSイメージセンサ124におけるレーザ光の受光状態を模式的に示す図である。なお、同図(b)には、便宜上、目標領域に平坦な面(スクリーン)が存在するときの受光状態が示されている。
【0056】
投射光学系11のDOE114、115からは、DP光Dp1、Dp2が、目標領域に照射される。同図(a)には、DP光Dp1、Dp2の光束領域が実線の枠によって示されている。DP光Dp1、Dp2の光束中には、DOE114、115による回折作用によってレーザ光の強度が高められたドット領域(以下、単に「ドット」という)が、DOE114、115による回折作用によるドットパターンに従って点在している。
【0057】
なお、図4(a)では、便宜上、DP光Dp1、Dp2の光束が、マトリックス状に並ぶ複数のセグメント領域に区分されている。DP光Dp1、Dp2の間のDP光が照射されない間隔Dの領域では、DP光Dp1とDp2を跨ぐようにして、セグメント領域が区分されている。各セグメント領域には、ドットが固有のパターンで点在している。一つのセグメント領域におけるドットの点在パターンは、他の全てのセグメント領域におけるドットの点在パターンと相違する。
これにより、各セグメント領域は、ドットの点在パターンをもって、他の全てのセグメント領域から区別可能となっている。
【0058】
目標領域に平坦な面(スクリーン)が存在すると、これにより反射されたDP光Dp1、Dp2の各セグメント領域は、同図(b)のように、CMOSイメージセンサ124上においてマトリックス状に分布する。たとえば、同図(a)に示す目標領域上におけるセグメント領域S0の光は、CMOSイメージセンサ124上では、同図(b)に示すセグメント領域Spに入射する。なお、図4(b)においても、DP光Dp1、Dp2の光束領域が実線の枠によって示され、便宜上、DP光Dp1、Dp2の光束が、マトリックス状に並ぶ複数のセグメント領域に区分されている。
【0059】
受光光学系12は、後述する反射平面RS(図5(a)参照)にDP光Dp1、Dp2が投射された場合に、回折投射角の略0.1°の幅が、CMOSイメージセンサ124上の画素のピッチに相当するよう、光学設計されている。したがって、DP光Dp1、Dp2のX軸方向の回折投射角が、それぞれ約64°に設定され、Y軸方向の回折投射角が、それぞれ約48°に設定されている場合、反射平面RS上におけるDP光Dp1、Dp2の全体の投射領域は、CMOSイメージセンサ124上では、640画素×960画素程度の領域に相当する。DP光Dp1、Dp2の回折投射角は、DP光Dp1、Dp2が反射平面RSに照射されたとき、ドットパターンが照射されない間隔Dの領域を含むDp1、Dp2の全体の投射領域が、CMOSイメージセンサ124上において640画素×960画素に相当するよう、調整されている。上述の如く、CMOSイメージセンサ124は、1280画素×1024画素の解像度に対応しているため、これらのDP光Dp1、Dp2を撮像可能である。
【0060】
上記距離演算部21bでは、CMOSイメージセンサ124上における各セグメント領域の位置が検出され、検出された各セグメント領域の位置から、三角測量法に基づいて、検出対象物の各セグメント領域に対応する位置までの距離が検出される。かかる検出手法の詳細は、たとえば、上記非特許文献1(第19回日本ロボット学会学術講演会(2001年9月18−20日)予稿集、P1279−1280)に示されている。
【0061】
図5は、上記距離検出に用いられる基準テンプレートの生成方法を模式的に示す図である。
【0062】
図5(a)に示すように、基準テンプレートの生成時には、投射光学系11から所定の距離Lsの位置に、Z軸方向に垂直な平坦な反射平面RSが配置される。距離Lsは、対象物までの距離を検出可能な範囲に基づいて設定される。すなわち、距離Lsは、対象物までの距離を検出可能な範囲において、反射平面RSを投射光学系11に接近および離間する方向に移動させたときの、CMOSイメージセンサ124上におけるDP光Dp1、Dp2の照射領域の移動範囲に基づいて設定される。具体的には、距離Lsは、CMOSイメージセンサ124上におけるDP光Dp1、Dp2の照射領域が当該移動範囲の略中間の位置にあるときの、反射平面RSまでの距離に設定される。本実施の形態では、たとえば、略1.0mの位置において、大人の人間の全身が認識可能となるように、所定の距離Lsは、略0.7mの距離が設定される。
【0063】
この状態で、投射光学系11からDP光が所定時間Teだけ出射される。出射されたDP光は、反射平面RSによって反射され、受光光学系12のCMOSイメージセンサ124に入射する。これにより、CMOSイメージセンサ124から、画素毎の電気信号が出力される。出力された画素毎の電気信号の値(画素値)が、図2のメモリ25上に展開される。なお、以下では、便宜上、メモリ25に展開された画素値に代えて、CMOSイメージセンサ124上に照射されたDP光の照射状態をもとに説明を行う。
【0064】
こうしてメモリ25上に展開された画素値に基づいて、図5(b)に示すように、CM
OSイメージセンサ124上におけるDP光の照射領域を規定する基準パターン領域が設定される。さらに、この基準パターン領域が、縦横に区分されてセグメント領域が設定される。上記のように、各セグメント領域には、固有のパターンでドットが点在する。よって、セグメント領域の画素値のパターンは、セグメント領域毎に異なっている。なお、図5(b)の例では、各セグメント領域は、他の全てのセグメント領域と同じサイズである。
【0065】
基準テンプレートは、このようにCMOSイメージセンサ124上に設定された各セグメント領域に、そのセグメント領域に含まれる各画素の画素値を対応付けて構成される。
【0066】
具体的には、基準テンプレートは、CMOSイメージセンサ124上における基準パターン領域の位置に関する情報と、基準パターン領域に含まれる全画素の画素値と、基準パターン領域をセグメント領域に分割するための情報を含んでいる。基準パターン領域に含まれる全画素の画素値は、基準パターン領域に含まれるDP光のドットパターンに相応するものになる。また、基準パターン領域に含まれる全画素の画素値のマッピング領域をセグメント領域に区分することで、各セグメント領域に含まれる画素の画素値が取得される。なお、基準テンプレートは、さらに、各セグメント領域に含まれる画素の画素値を、セグメント領域毎に保持していても良い。
【0067】
こうして構成された基準テンプレートは、図2のメモリ25に、消去不可能な状態で保持される。こうしてメモリ25に保持された基準テンプレートは、投射光学系11から検出対象物の各部までの距離を算出する際に参照される。
【0068】
たとえば、図5(a)に示すように距離Lsよりも近い位置に物体がある場合、基準パターン上の所定のセグメント領域Snに対応するDP光(DPn)は、物体によって反射され、セグメント領域Snとは異なる領域Sn’に入射する。投射光学系11と受光光学系12はX軸方向に隣り合っているため、セグメント領域Snに対する領域Sn’の変位方向はX軸に平行となる。図5(a)の場合、物体が距離Lsよりも近い位置にあるため、領域Sn’は、セグメント領域Snに対してX軸正方向に変位する。物体が距離Lsよりも遠い位置にあれば、領域Sn’は、セグメント領域Snに対してX軸負方向に変位する。
【0069】
セグメント領域Snに対する領域Sn’の変位方向と変位量をもとに、投射光学系11からDP光(DPn)が照射された物体の部分までの距離Lrが、距離Lsを用いて、三角測量法に基づき算出される。同様にして、他のセグメント領域に対応する物体の部分について、投射光学系11からの距離が算出される。
【0070】
かかる距離算出では、基準テンプレートのセグメント領域Snが、実測時においてどの位置に変位したかを検出する必要がある。この検出は、実測時にCMOSイメージセンサ124上に照射されたDP光のドットパターンと、セグメント領域Snに含まれるドットパターンとを照合することによって行われる。
【0071】
図6は、かかる検出の手法を説明する図である。同図(a)は、CMOSイメージセンサ124上における基準パターン領域の設定状態を示す図、同図(b)は、実測時におけるセグメント領域の探索方法を示す図、同図(c)は、実測されたDP光のドットパターンと、基準テンプレートのセグメント領域に含まれるドットパターンとの照合方法を示す図である。なお、ここでは、セグメント領域が、縦15画素×横15画素で構成されている。
【0072】
たとえば、同図(a)のセグメント領域S1の実測時における変位位置を探索する場合
、同図(b)に示すように、セグメント領域S1が、範囲P1〜P2において、X軸方向に1画素ずつ送られ、各送り位置において、セグメント領域S1のドットパターンと、実測されたDP光のドットパターンのマッチング度合いが求められる。この場合、セグメント領域S1は、基準パターン領域の最上段のセグメント領域群を通るラインL1上のみをX軸方向に送られる。これは、上記のように、通常、各セグメント領域は、実測時において、基準パターン領域上の位置からX軸方向にのみ変位するためである。すなわち、セグメント領域S1は、最上段のラインL1上にあると考えられるためである。このように、X軸方向にのみ探索を行うことで、探索のための処理負担が軽減される。
【0073】
なお、実測時には、検出対象物の位置によっては、セグメント領域が基準パターン領域の範囲からX軸方向にはみ出すことが起こり得る。このため、範囲P1〜P2は、基準パターン領域のX軸方向の幅よりも広く設定される。
【0074】
上記マッチング度合いの検出時には、ラインL1上に、セグメント領域S1と同じサイズの領域(比較領域)が設定され、この比較領域とセグメント領域S1との間の類似度が求められる。すなわち、セグメント領域S1の各画素の画素値と、比較領域の対応する画素の画素値との差分が求められる。そして、求めた差分を比較領域の全ての画素について加算した値Rsadが、類似度を示す値として取得される。
【0075】
たとえば、図6(c)のように、一つのセグメント領域中に、m列×n行の画素が含まれている場合、セグメント領域のi列、j行の画素の画素値T(i,j)と、比較領域のi列、j行の画素の画素値I(i,j)との差分が求められる。そして、セグメント領域の全ての画素について差分が求められ、その差分の総和により、値Rsadが求められる。すなわち、値Rsadは、次式により算出される。
【0076】
【数1】

【0077】
値Rsadが小さい程、セグメント領域と比較領域との間の類似度が高い。
【0078】
探索時には、比較領域が、ラインL1上を1画素ずつずらされつつ順次設定される。そして、ラインL1上の全ての比較領域について、値Rsadが求められる。求めた値Rsadの中から、閾値より小さいものが抽出される。閾値より小さい値Rsadが無ければ、セグメント領域S1の探索はエラーとされる。そして、抽出されたRsadの中で最も値が小さいものに対応する比較領域が、セグメント領域S1の移動領域であると判定される。ラインL1上のセグメント領域S1以外のセグメント領域も、上記と同様の探索が行われる。また、他のライン上のセグメント領域も、上記と同様、そのライン上に比較領域が設定されて、探索が行われる。
【0079】
こうして、実測時に取得されたDP光のドットパターンから、各セグメント領域の変位位置が探索されると、上記のように、その変位位置に基づいて、三角測量法により、各セグメント領域に対応する検出対象物の部位までの距離が求められる。
【0080】
ところで、前述のとおり、本実施の形態では、DOE114によるDP光Dp1と、DOE115によるDP光Dp2の間には、ドットパターンが照射されない所定の間隔が生
ずる。この間隔が、セグメント領域の大きさに対して、かなり大きい場合は、セグメント領域内に一つもドットが照射されないことが起こり得る。この場合、中央付近の各セグメント領域は、互いに、他のセグメント領域との区別がつかず、検出精度が顕著に劣化するとの問題が生じる。
【0081】
図7(a)は、基準テンプレート生成時における投射光学系11の光学系を模式的に示す図である。図7(b)は、この場合の中央付近のセグメント領域の例を示した図である。
【0082】
図7(a)を参照して、前述のとおり、基準テンプレート生成時における投射光学系11と反射平面RSとの距離Lsは、略0.7mである。また、ドットパターンが照射されない間隔Dは、略10mmである。さらに、投射光学系11から照射されるDP光Dp1、Dp2を合わせた回折投射角は略96°である。
【0083】
したがって、DP光Dp1の上端(Y軸正方向の端)を規定する直線とDP光Dp2の下端(Y軸負方向の端)を規定する直線とが直交する点pと、ドットパターンが照射されない領域の上端Dtおよび下端Dbとを結ぶ直線のなす角度θ1は、略0.8°に相当する。すなわち、本実施の形態では、CMOSイメージセンサ124上の1画素が回折投射角の略0.1°に相当するため、ドットパターンが照射されない領域の上下方向(Y軸方向)の幅は、CMOSイメージセンサ124上では8画素程度に相当する。
【0084】
この場合、図7(b)に示すように、セグメント領域は、15画素×15画素で構成されているため、Y軸方向に7画素の幅の領域にドットパターンが照射されることとなる。したがって、ドットパターンが照射されない領域を含む中央付近においても、所定のセグメント領域と他のセグメント領域とが区別可能となり、正常に検証対象物の距離情報を取得することができる。
【0085】
図7(c)は、反射平面RSが、本実施の形態よりも投射光学系11に近づいて基準テンプレートが生成された場合の比較例を示す図である。図7(d)は、この場合の中央付近のセグメント領域の例を示した図である。
【0086】
図7(c)に示すように、投射光学系11と反射平面RSの距離Ls’は、略0.4mであり、投射光学系11から照射されるDP光Dp1、Dp2を合わせた回折投射角は、本実施の形態と同様に略96°である。よって、反射平面RS上のDP光Dp1、Dp2の高さh’は、図7(a)の場合における反射平面RS上のDP光Dp1、Dp2の高さhよりも、低くなる。一方、ドットパターンが照射されない間隔Dは、前述の如く、どのような距離においても一定であるため、図7(a)同様、略10mmである。
【0087】
また、比較例においても、上記実施の形態と同様、受光光学系(図示せず)は、反射平面RSにDP光Dp1、DP2を照射したときに、回折投射角の略0.1°が、CMOSイメージセンサ124上の1画素に相当するよう、光学設計されている。
【0088】
したがって、DP光Dp1の上端(Y軸正方向の端)を規定する直線とDP光Dp2の下端(Y軸負方向の端)を規定する直線とが直交する点p’と、ドットパターンが照射されない領域の上端及び下端を結ぶ直線のなす角度θ2は、図7(a)における角度θ1よりも大きくなり、略1.4°に相当する。すなわち、ドットパターンが照射されない領域の上下方向(Y軸方向)の幅は、CMOSイメージセンサ124上の14画素程度に相当する。
【0089】
この場合、図7(d)に示すように、セグメント領域は、15画素×15画素で構成さ
れているため、残りの1画素にしかドットパターンが照射されないこととなる。したがって、情報取得装置1は、ドットパターンが照射されない領域を含む中央付近において、所定のセグメントと他のセグメント領域とを区別することができず、正常に検証対象物の距離情報を取得し難い。
【0090】
よって、検出対象位置を非常に近距離とする場合には、ドットパターンが照射されない領域の上下方向(Y軸方向)の幅が14画素程度に相当するため、セグメント領域のサイズを実施の形態の場合よりも大きくする必要がある。これにより、情報取得装置1は、演算量が多少増加するものの、ドットパターンが照射されない領域を含む中央付近においても、正常に検証対象物の距離情報を取得することができる。
【0091】
このように、検出対象位置が極端に近距離でなければ、情報取得装置1は、中央付近においても、問題なく距離検出を行うことができる。仮に検出対象物が極端に近距離にあるような場合であっても、情報取得装置1は、セグメント領域のサイズを、少なくとも、間隔Dの範囲において、DP光Dp1とDP光Dp2の両方がセグメント領域に入射するようなサイズに大きくすることによって、問題なく検出対象物の距離情報を取得することができる。
【0092】
以上、本実施の形態によれば、図3(a)に示すように、複数のDOE114、115を用いることにより、広い角度範囲で、目標領域にドットパターンを照射することができる。よって、情報取得装置1は、検出対象物が近距離にあるような場合においても、検出対象物の距離情報を適正に取得することができる。
【0093】
また、本実施の形態によれば、図3(c)に示すように、投射光学系11は、DOEが1枚の場合と比較して、2倍のドット数、かつ同等以上の光量で、ドットパターンのレーザ光を目標領域に照射することができる。したがって、情報取得装置1は、検出物体の距離検出処理を高分解能で行うことができる。
【0094】
また、本実施の形態によれば、所定の方向(たとえば、人間の場合、鉛直方向)にのみ長い検出対象物の距離測定を効率的に行うことができ、距離検出にかかる演算処理の無駄を抑制することができる。
【0095】
また、本実施の形態によれば、図3(a)に示すように、DOE114により生成されたDP光Dp1の下端(Y軸負方向の端)を進む光と、DOE115により生成されたDP光Dp2の上端(Y軸正方向の端)を進む光が、それぞれ、水平(X−Z平面に平行)となるため、これらドットパターン間の間隔Dは、検出対象物までの距離が変化しても、一定である。したがって、検出対象物がどのような距離にあっても、それぞれのドットパターンが検出対象物上で重なることはない。よって、情報取得装置1は、中央付近の部分についても、問題なく検出対象物の距離情報を取得することができる。
【0096】
また、本実施の形態によれば、ドットパターンの無い間隔Dの範囲よりも広い15画素×15画素のセグメント領域でマッチング処理が行われるため、ドットパターンが照射されない中央付近の領域においても、検出精度を抑えつつ、距離検出することができる。
【0097】
以上、本発明の実施の形態について説明したが、本発明は、上記実施の形態に何ら制限されるものではなく、また、本発明の実施の形態も上記の他に種々の変更が可能である。
【0098】
たとえば、上記実施の形態では、DOE114、115は、図3(a)に示すように、人間の高さ方向(Y軸方向)に合わせて、投射光学系11と受光光学系12の並び方向(X軸方向)に直交する方向に並べて設置したが、X軸方向の方が長いような物体を検出す
る場合、DOE114、115は、図8(a)に示すように、投射光学系11と受光光学系12の並び方向(X軸方向)と同じ方向に並べてもよい。
【0099】
この場合、図8(b)に示すように、ドットパターンが照射されない領域は、Y軸方向に沿って延びることとなる。この場合も、図7(a)同様、基準テンプレート生成時における反射平面との距離を略0.7mとすると、ドットパターンが照射されない領域の上下方向(Y軸方向)の幅は、8画素程度となる。したがって、本実施の形態同様、情報取得装置は、ドットパターンが照射されない領域を含む中央付近においても、他のセグメント領域と区別することができ、問題なく検証対象物の距離情報を取得することができる。
【0100】
また、上記実施の形態では、分光手段として、ハーフミラー113が用いられたが、ハーフミラー113に代えて、偏光方向によりレーザ光を分離させる偏光ビームスプリッターや、回折現象を用いてレーザ光を分離させる回折格子を用いても良い。
【0101】
また、上記実施の形態では、DOE114、115から照射されるDP光Dp1、Dp2のY軸方向の回折投射角がそれぞれ略48°となるように投射光学系11が構成されたが、他の回折投射角となるように構成されてもよい。この場合、DOE114により生成されたDP光Dp1の下端(Y軸負方向の端)を進む光と、DOE115により生成されたDP光Dp2の上端(Y軸正方向の端)を進む光が、それぞれ、水平(X−Z平面に平行)となるように、ハーフミラー113に入射するレーザ光の入射角とDOE114、115の傾き角を調整すればよい。
【0102】
また、上記実施の形態では、DOE114によって生成されるDP光Dp1の回折投射角の下端に進む光と、DOE115によって生成されるDP光Dp2の回折投射角の上端に進む光が、水平(Z軸方向に平行)となるように投射光学系11が構成されたが、それらの光は、水平から互いにやや接近するように進んでもよく、また、水平から互いにやや離れるように進んでもよい。検出対象物の検出範囲内において、それぞれのDP光のドットパターンが互いに重ならなければ、中央付近の領域についても、問題なく距離検出することができる。
【0103】
また、上記実施の形態では、全ての領域において、同一サイズのセグメント領域(15画素×15画素)が設定されたが、図9に示すようにドットパターンが照射されない領域を含む中央付近でのみ、他の領域のセグメント領域(15画素×15画素)に比べてサイズの大きいセグメント領域(たとえば、19画素×19画素)が設定されてもよい。これにより、距離検出にかかる演算量の増大を抑えつつ、ドット数の少ない中央付近の領域についても、精度よく距離検出することができる。
【0104】
また、上記実施の形態では、隣り合うセグメント領域が互いに重ならないように、セグメント領域が設定されたが、左右に隣り合うセグメント領域が、互いに重なるように、セグメント領域が設定されても良く、また、上下に隣り合うセグメント領域が、互いに重なるように、セグメント領域が設定されても良い。
【0105】
また、上記実施の形態では、ドットパターンが照射されない領域を含む中央付近において、DP光Dp1とDP光Dp2の両方が入射するようなセグメント領域が設定されたが、DP光Dp1とDP光Dp2の少なくとも一方が入射するようにセグメント領域が設定されてもよい。たとえば、セグメント領域における上半分にDP光Dp1のみが入射するように設定されてもよい。この場合であっても、上記実施の形態同様、Y軸方向に7画素の幅の領域にDP光Dp1のドットパターンが照射され、正常に検証対象物の距離情報を取得することができる。
【0106】
また、上記実施の形態では、受光光学系12は、基準テンプレート生成時において、DP光Dp1、Dp2の回折投射角の略0.1°が、CMOSイメージセンサ124上の1画素に相当するよう、光学設計がなされたが、基準テンプレート生成時において、DP光Dp1、Dp2の回折投射角の略0.2°が、CMOSイメージセンサ124上の1画素に相当するよう、設計されてもよい。この場合、受光光学系12の構成がやや複雑になるものの、DP光Dp1、Dp2の撮像される領域を640画素×480画素相当に絞り込むことができ、より解像度の低いVGA(Video Graphics Array)に対応するCMOSイメージセンサを用いることができる。これにより、情報取得装置は、上記実施の形態と比較して、距離検出処理に要する演算量を減らすことができる。
【0107】
また、上記実施の形態では、CMOSイメージセンサ124によって、撮像された640画素×960画素の画像をそのまま用いて、検出対象物の距離検出を行ったが、たとえば、基準パターン領域の生成時および比較領域の撮像時において、CPU21により、撮像された640画素×960画素の画像を640画素×480画素に画像を圧縮し、圧縮した画像を用いて、検出対象物の距離検出処理を行ってもよい。この場合、CPU21に対して、圧縮処理にかかる負荷がかかるものの、上記実施の形態と比較して、情報取得装置は、距離検出処理に要する演算量を減らすことができる。
【0108】
さらに、上記実施の形態では、受光素子として、CMOSイメージセンサ124を用いたが、これに替えて、CCDイメージセンサを用いることもできる。さらに、受光光学系12の構成も、適宜変更可能である。また、情報取得装置1と情報処理装置2は一体化されても良いし、情報取得装置1と情報処理装置2がテレビやゲーム機、パーソナルコンピュータと一体化されても良い。
【0109】
本発明の実施の形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。
【符号の説明】
【0110】
1 … 情報取得装置
11 … 投射光学系(投射装置)
111 … レーザ光源
112 … コリメータレンズ
113 … ハーフミラー(分光素子)
114 … DOE(第1の回折光学素子)
115 … DOE(第2の回折光学素子)
12 … 受光光学系
21a… レーザ制御部(投射装置)
21b… 距離演算部(情報取得部)
22 … レーザ駆動回路(投射装置)
Dp1 … DP光(第1のドットパターン光)
Dp2 … DP光(第2のドットパターン光)

【特許請求の範囲】
【請求項1】
光を用いて目標領域の情報を取得する情報取得装置において、
前記目標領域に所定のドットパターンでレーザ光を投射する投射光学系と、
前記投射光学系に対して所定の距離だけ離れて並ぶように配置され、前記目標領域を撮像する撮像素子を有する受光光学系と、を備え、
前記投射光学系は;
レーザ光源と、
前記レーザ光源から出射されたレーザ光を平行光に変換するコリメータレンズと、
前記コリメータレンズを透過した前記レーザ光を分離させる分光素子と、
前記分光素子によって分離された第1のレーザ光を前記目標領域において所定のドットパターンを有する第1のドットパターン光に変換して前記目標領域に投射する第1の回折光学素子と、
前記分光素子によって分離された第2のレーザ光を前記目標領域において所定のドットパターンを有する第2のドットパターン光に変換して前記目標領域に投射する第2の回折光学素子と、を備える、
ことを特徴とする情報取得装置。
【請求項2】
請求項1に記載の情報取得装置において、
前記第1の回折光学素子と前記第2の回折光学素子は、前記投射光学系と前記受光光学系の並び方向と直交する方向に並ぶ、
ことを特徴とする情報取得装置。
【請求項3】
請求項1または2に記載の情報取得装置において、
前記第1の回折光学素子と前記第2の回折光学素子は、前記第1のドットパターン光の前記第2のドットパターン側の端部を進む光と、前記第2のドットパターン光の前記第1のドットパターン側の端部を進む光とが、互いに略平行となるように設置される、
ことを特徴とする情報取得装置。
【請求項4】
請求項1ないし3の何れか一項に記載の情報取得装置において、
基準面に前記ドットパターンを照射したときに撮像素子によって撮像される基準ドットパターンを含む撮像画像に複数のセグメント領域を設定し、実測時に前記撮像素子によって撮像された実測ドットパターンから前記セグメント領域に対応する対応領域を探索し、探索した前記対応領域の位置に基づいて、前記目標領域に存在する物体の3次元情報を取得する情報取得部をさらに備え、
前記セグメント領域は、前記第1のドットパターン光と前記第2のドットパターン光とが隣接する領域において、前記第1のドットパターン光と前記第2のドットパターン光の少なくとも一方が入射するサイズを有する、
ことを特徴とする情報取得装置。
【請求項5】
請求項1ないし3の何れか一項に記載の投射光学系を備えた投射装置。
【請求項6】
請求項1ないし4の何れか一項に記載の情報取得装置を有する物体検出装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate


【公開番号】特開2012−237604(P2012−237604A)
【公開日】平成24年12月6日(2012.12.6)
【国際特許分類】
【出願番号】特願2011−105607(P2011−105607)
【出願日】平成23年5月10日(2011.5.10)
【出願人】(000001889)三洋電機株式会社 (18,308)
【Fターム(参考)】