撮像対象物の境界検知装置および境界検知方法
【課題】距離画像カメラとこれより高解像度の赤外カメラなどを組み合わせることで撮像対象物の境界などを的確に検知可能な境界検知装置および境界検知方法を提供する。
【解決手段】第１光を照射する第１発光部１１ａと、その反射光が戻ってくるまでの時間の測定値から算出される距離情報を２次元配置された第１種画素毎に有する距離画像を取得する第１撮像部１１ｂと、撮像光軸が平行になるように配置されるとともに前記距離画像の前記第１種画素より多数の２次元配置された第２種画素毎に階調情報を有する通常画像を取得する第２撮像部１２ａと、これらを制御するとともに前記距離画像および前記通常画像に対する演算処理を行う演算制御ユニット１３とを備え、この演算制御ユニット１３は輪郭抽出部、輪郭対応画素抽出部、最短距離画素暫定選択部、最短距離画素選択確定部および輪郭認識部を有する。
【解決手段】第１光を照射する第１発光部１１ａと、その反射光が戻ってくるまでの時間の測定値から算出される距離情報を２次元配置された第１種画素毎に有する距離画像を取得する第１撮像部１１ｂと、撮像光軸が平行になるように配置されるとともに前記距離画像の前記第１種画素より多数の２次元配置された第２種画素毎に階調情報を有する通常画像を取得する第２撮像部１２ａと、これらを制御するとともに前記距離画像および前記通常画像に対する演算処理を行う演算制御ユニット１３とを備え、この演算制御ユニット１３は輪郭抽出部、輪郭対応画素抽出部、最短距離画素暫定選択部、最短距離画素選択確定部および輪郭認識部を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像対象物の境界検知装置および境界検知方法に関し、特に、距離画像カメラの解像度が低いという弱点を補って撮像対象物の境界などを的確に検知可能な境界検知装置および境界検知方法に関する。
【背景技術】
【０００２】
従来、三次元レーザレーダなどの距離センサを用いて被計測物たる物体の形状、計測地点から計測して得られた被計測物の位置、姿勢を認識する方法と装置が提案されている（例えば、特許文献１参照）。
【０００３】
ところが、この特許文献１に記載の方法と装置では、箱が密着している状態では、箱の隣接部分が平面として得られしまうため、箱の境界が三次元データに反映されず、登録した形状を探索することができないなどの課題があった。
【０００４】
そこで、箱状ワークを対象とし、ワークが密着している場合や荷崩れしている場合でもピッキングするワークの位置と姿勢を高い精度で認識することができる箱状ワーク認識装置および方法も提案されている（例えば、特許文献２参照）。
【０００５】
この特許文献２に記載の箱状ワーク認識装置は、隣接して荷積みした複数の箱状ワークを上方から撮影して全体画像を取得する単眼カメラと、前記複数の箱状ワーク全体の３次元形状を計測する距離センサと、前記全体画像から箱状ワークのエッジ部分を検出し、前記エッジ部分を境界として前記３次元形状から各箱状ワークの位置と姿勢を認識し、ピッキングする箱状ワークの位置と姿勢を出力する物体認識処理装置とを備えたことを特徴とするものである。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−２４１１３１号公報
【特許文献２】特開２０１０−２４７９５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
距離画像カメラの原理は、赤外光源などから照射された光の反射光が戻ってくるまでの時間の測定値から画素毎に距離を算出するというものである。現時点で実用化されている距離画像カメラの画素数は、例えば、１６０×１２０ピクセル程度というようにかなり低い解像度に過ぎず、高解像度化が急速に進んでいる一般的なＣＭＯＳイメージセンサやＣＣＤなどの撮像素子と比較すると画素数が極めて少ない。
【０００８】
そのため、例えば、同一のパレット上などに隣接するように載置された複数の箱などをまとめて上方から撮像したい場合などに、距離画像カメラの解像度が低いことから、それぞれの箱の細部の形状を認識できなかったり複数の箱を分離して認識できないことにもなり得る。
【０００９】
一方、赤外画像を取得する赤外カメラ（ＩＲカメラ）であれば、高解像度化は比較的容易である。しかし、赤外画像は通所の可視画像と比較するとコントラストが低いことなどもあって、箱などの輪郭抽出をしようとするとその箱の境界以外のものまで抽出してしまうこともあって、やはり複数の箱を分離して認識できないことにもなり得る。
【００１０】
従来技術のこのような課題に鑑み、本発明の目的は、距離画像カメラとこれより高解像度の赤外カメラなどを組み合わせることで撮像対象物の境界などを的確に検知可能な境界検知装置および境界検知方法を提供することである。
【課題を解決するための手段】
【００１１】
上記目的を達成するため、本発明の撮像対象物の境界検知装置は、撮像対象物へ向けて第１光を照射する第１発光部と、この第１発光部から照射された前記第１光の反射光が戻ってくるまでの時間の測定値から算出される距離情報を２次元配置された第１種画素毎に有する距離画像を取得する第１撮像部と、この第１撮像部と互いの撮像光軸同士が平行になるように配置されるとともに、前記距離画像の前記第１種画素より多数の２次元配置された第２種画素毎に階調情報を有する通常画像を取得する第２撮像部と、前記第１発光部、前記第１撮像部および前記第２撮像部を制御するとともに、前記距離画像および前記通常画像に対する演算処理を行う演算制御ユニットとを備え、この演算制御ユニットは、前記通常画像から前記撮像対象物の輪郭を抽出する輪郭抽出部と、この輪郭抽出部で前記通常画像から抽出された前記輪郭を構成する前記第２種画素に対応する前記第１種画素を前記距離画像から抽出する輪郭対応画素抽出部と、この輪郭対応画素抽出部で抽出された前記第１種画素のうちで前記距離情報が最短である前記第１種画素を暫定的に選択する最短距離画素暫定選択部と、この最短距離画素暫定選択部で暫定的に選択された前記第１種画素の前記距離情報に相当する距離を暫定近限とし、その暫定近限に所定距離を加えた暫定遠限までの暫定距離区間内に前記距離情報が対応する前記第１種画素の数を集計し、その集計数が前記所定数未満であれば前記最短距離画素暫定選択部で選択されていた前記第１種画素を除外して前記最短距離画素暫定選択部から再実行する一方、その集計数が所定数以上であれば前記最短距離画素暫定選択部での選択を確定する最短距離画素選択確定部と、この最短距離画素選択確定部で選択が確定された前記第１種画素の前記距離情報に相当する距離を確定近限とし、その確定近限に前記所定距離を加えた確定遠限までの確定距離区間内に前記距離情報が対応する前記第１種画素によって前記撮像対象物の前記輪郭を認識する輪郭認識部とを有することを特徴とする。
【００１２】
ここで、例えば、前記第１発光部から照射される前記第１光は赤外光であり、前記第２撮像部によって取得される前記通常画像は赤外画像であってもよいが、これに限るわけではない。例えば、前記通常画像は可視画像であってもよい。
【００１３】
このような構成の撮像対象物の境界検知装置によれば、距離画像の画素数が少ないことに起因する課題を解消して、撮像対象物の境界などを的確に検知することが可能となる。
【００１４】
また、本発明の撮像対象物の境界検知装置において、前記第２撮像部による前記通常画像を取得する際にも前記第１発光部から前記第１光を照射してもよい。または、前記第１撮像部による前記距離画像を取得のために前記第１発光部から前記第１光が照射されているときに前記第２撮像部による前記通常画像も取得してもよい。
【００１５】
このような構成の撮像対象物の境界検知装置によれば、前記第２撮像部による撮像では周囲光のみに依存するのではないから、周囲の明るさやその変動などに特に大きな影響を受けることもなく、安定した階調情報を有する通常画像を取得することが可能となる。
【００１６】
また、本発明の撮像対象物の境界検知装置において、前記第２撮像部による前記通常画像を取得する際に第２光を照射する第２発光部をさらに備えてもよい。
【００１７】
このような構成の撮像対象物の境界検知装置によれば、この第２発光部による照明光の配光特性を前記第２撮像部の撮像画角内でできるだけ均一となるようにしておけば、取得される通常画像の画質などを向上させることが可能となる。
【００１８】
あるいは、上記目的を達成するため、本発明の撮像対象物の境界検知方法は、前記撮像対象物へ向けて照射した光の反射光が戻ってくるまでの時間の測定値から算出される距離情報を２次元配置された第１種画素毎に有する距離画像を取得する距離画像取得工程と、この距離画像取得工程における撮像と同一方向に向いて、前記距離画像の前記第１種画素より多数の２次元配置された第２種画素毎に階調情報を有する通常画像を取得する通常画像取得工程と、この通常画像取得工程で取得された前記通常画像から前記撮像対象物の輪郭を抽出する輪郭抽出工程と、この輪郭抽出工程で前記通常画像から抽出された前記輪郭を構成する前記第２種画素に対応する前記第１種画素を前記距離画像から抽出する輪郭対応画素抽出工程と、この輪郭対応画素抽出工程で抽出された前記第１種画素のうちで前記距離情報が最短である前記第１種画素を暫定的に選択する最短距離画素暫定選択工程と、この最短距離画素暫定選択工程で暫定的に選択された前記第１種画素の前記距離情報に相当する距離を暫定近限とし、その暫定近限に所定距離を加えた暫定遠限までの暫定距離区間内に前記距離情報が対応する前記第１種画素の数を集計し、その集計数が前記所定数未満であれば前記最短距離画素暫定選択工程で選択されていた前記第１種画素を除外して前記最短距離画素暫定選択工程から再実行する一方、その集計数が所定数以上であれば前記最短距離画素暫定選択工程での選択を確定する最短距離画素選択確定工程と、この最短距離画素選択確定工程で選択が確定された前記第１種画素の前記距離情報に相当する距離を確定近限とし、その確定近限に前記所定距離を加えた確定遠限までの確定距離区間内に前記距離情報が対応する前記第１種画素によって前記撮像対象物の前記輪郭を認識する輪郭認識工程とを含むことを特徴とする。
【００１９】
ここで、例えば、前記光は赤外光であり、前記通常画像は赤外画像であってもよいが、これに限るわけではない。例えば、前記通常画像は可視画像であってもよい。また、本発明の撮像対象物の境界検知方法において、前記距離画像取得工程および前記通常画像取得工程に先立って、前記距離画像の各前記第１種画素と前記赤外画像の各前記第２種画素との位置関係の対応を取るためのキャリブレーション工程をさらに含むことが好ましい。
【００２０】
このような構成の撮像対象物の境界検知方法によれば、距離画像の画素数が少ないことに起因する課題を解消して、撮像対象物の境界などを的確に検知することが可能となる。
【発明の効果】
【００２１】
本発明の撮像対象物の境界検知装置および境界検知方法によれば、距離画像の画素数が少ないことに起因する課題を解消して、撮像対象物の境界などを的確に検知することが可能となる。
【図面の簡単な説明】
【００２２】
【図１】本発明の一実施形態に係る輪郭検知装置１０の概略構成を示すブロック図である。
【図２】輪郭検知装置１０の撮像対象物の一例として、上側が開口しているやや横長の直方体状のコンテナ２０が２つ隣接して載置されている場合を示す説明図である。
【図３】輪郭検知装置１０が備える距離画像カメラ１１によって取得される距離画像Ｇｄの画素Ｐｄの２次元配置などを模式的に示す概略図である。
【図４】輪郭検知装置１０が備える赤外カメラ１２によって取得される赤外画像Ｇｉｒの画素Ｐｉｒの２次元配置などを模式的に示す概略図である。
【図５】隣接するように載置された２つのコンテナ２０、２０を輪郭検知装置１０が備える距離画像カメラ１１および赤外カメラ１２によって上方から撮像する場合の位置関係などを示す概略図である。
【図６】赤外画像Ｇｉｒから各コンテナ２０の上面縁２０ａの輪郭に相当する画素Ｐｉｒを抽出した一例を模式的に示す概略図である。
【図７】抽出された輪郭を構成する画素Ｐｉｒに対応する画素Ｐｄを距離画像Ｇｄから抽出した一例を模式的に示す概略図である。
【図８】抽出された画素Ｐｄのうちから距離データが最短である画素Ｐｄを暫定的に選択したときに定まる距離区間Ｚｔと輪郭検知装置１０および各コンテナ２０との位置関係などを示す概略図である。
【図９】距離画像Ｇｄ内において再構築された輪郭の画像の一例を模式的に示す概略図である。
【発明を実施するための形態】
【００２３】
以下、本発明の実施形態を、図面を参照して説明する。
【００２４】
＜箱輪郭検知装置１０の概略構成など＞
図１は本発明の一実施形態に係る輪郭検知装置１０の概略構成を示すブロック図である。図２は輪郭検知装置１０の撮像対象物の一例として、上側が開口しているやや横長の直方体状のコンテナ２０が２つ隣接して載置されている場合を示す説明図である。図３は輪郭検知装置１０が備える距離画像カメラ１１によって取得される距離画像Ｇｄの画素Ｐｄの２次元配置などを模式的に示す概略図である。図４は輪郭検知装置１０が備える赤外カメラ１２によって取得される赤外画像Ｇｉｒの画素Ｐｉｒの２次元配置などを模式的に示す概略図である。
【００２５】
図１に示すように、輪郭検知装置１０は、コンテナ２０（図２参照）などの撮像対象物を撮像する距離画像カメラ１１と、その同じ撮像対象物をほぼ同時に撮像する赤外カメラ１２と、これらの距離画像カメラ１１および赤外カメラ１２の制御やこれらによって取得される各画像に対する演算処理（詳細は後述）などを行う演算制御ユニット１３（例えば、ＣＰＵ）とを備える。ここで、距離画像カメラ１１および赤外カメラ１２は、それぞれの撮像光軸Ａ１１、Ａ１２が互いに平行になるとともに同一撮像方向に向けて配置される。
【００２６】
距離画像カメラ１１は、コンテナ２０などの撮像対象物へ向けて赤外光を照射する赤外発光器１１ａと、この赤外発光器１１ａから照射された赤外光が反射されて戻ってくるまでの時間の測定値に基づいて算出される距離データ（Ｚ値）を格子状に２次元配置（Ｘ方向およびＹ方向）された画素Ｐｄ毎に有する距離画像Ｇｄ（図３参照）を取得することが可能な測距用イメージセンサ１１ｂとを含む。
【００２７】
赤外発光器１１ａとしては、例えば、赤外光を発する発光ダイオードや半導体レーザなどが挙げられるが、これらに限られない。測距用イメージセンサ１１ｂとしては、例えば、いわゆるＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）センサなどが挙げられるが、これに限られない。
【００２８】
赤外カメラ１２は、測距用イメージセンサ１１ｂの画素Ｐｄより遥かに多数の２次元配置（Ｘ方向およびＹ方向）された画素Ｐｉｒ毎に受光した赤外光の強度を示す階調データを有する赤外画像Ｇｉｒ（図４参照）を取得する赤外イメージセンサ１２ａを含む。
【００２９】
なお、図３および図４は、距離画像Ｇｄの画素Ｐｄおよび赤外画像Ｇｉｒの画素Ｐｉｒそれぞれの２次元配置などを模式的に示す概略図であって、それぞれの解像度の違いを必ずしも正確に反映させたものではない。
【００３０】
ここで、距離画像カメラ１１に赤外カメラ１２を組み合わせている理由は、距離画像カメラ１１による撮像時に赤外発光器１１ａから照射される赤外光を、赤外カメラ１２による撮像用照明にも兼用できるからである。あるいは、距離画像カメラ１１による撮像とは別のタイミングで赤外カメラ１２による撮像を行う場合であっても、その際の撮像用照明として赤外発光器１１ａを利用できるからである。いずれにしても、赤外カメラ１２による撮像では輪郭検知装置１０の周囲光のみに依存するのではないから、周囲の明るさやその変動などに特に大きな影響を受けることもなく、安定した階調データを有する赤外画像Ｇｉｒを取得することができる。
【００３１】
ただし、赤外カメラ１２専用の照明光源を別に設けてもよい。この照明光源による照明光の配光特性を赤外カメラ１２の撮像画角内でできるだけ均一となるようにしておけば、取得される赤外画像Ｇｉｒの画質などを向上させることができる。
【００３２】
また、距離画像カメラ１１に組み合わせるものは必ずしも赤外カメラに限らない。例えば、可視画像カメラを用いてもよい。可視画像カメラであれば、赤外カメラよりもさらに高解像度のものが入手しやすく、取得される可視画像もコントラストが高いので、撮像対象物の輪郭の形状などをより正確に抽出することができる。
【００３３】
＜輪郭検知装置１０のキャリブレーション＞
輪郭検知装置１０によるコンテナ２０などの輪郭検知に先立っては、次のようなキャリブレーションなどの事前準備が必要である。
【００３４】
距離画像カメラ１１によって取得される距離画像Ｇｄの各画素Ｐｄと赤外カメラ１２によって取得される赤外画像Ｇｉｒの各画素Ｐｉｒとの位置関係の対応を取るためには、予め専用のテストチャートを距離画像カメラ１１および赤外カメラ１２でそれぞれ撮像しておき、取得された距離画像Ｇｄおよび赤外画像Ｇｉｒに含まれるテストチャート上の複数の特徴点などを特定して、それらの画素位置の比較などによって得られた結果を不揮発メモリなどに記憶するなどのキャリブレーション作業を行っておく。なお、不揮発メモリなどは、演算制御ユニット１３に内蔵されていればそれを利用すればよいし、外部に設けた不揮発メモリを演算制御ユニット１３に接続するようにしてもよい。
【００３５】
これにより、例えば、赤外カメラ１２によって取得された赤外画像Ｇｉｒにおける特定画素位置の画素Ｐｉｒが、距離画像カメラ１１によって取得される距離画像Ｇｄではどの画素位置の画素Ｐｄに対応するかを、キャリブレーション作業時に記憶された結果に基づく演算によって求めることができるようになる。
【００３６】
なお、赤外カメラ１２の撮像レンズの歪曲収差などの程度が十分小さくない場合には、取得されたそのままの赤外画像Ｇｉｒに対して先にその歪曲収差などを補正するようにしておくことが好ましい。歪曲収差などの程度が大きい場合、キャリブレーションで用いるテストチャート上の特徴点が少ないと、画素Ｐｉｒから対応する画素Ｐｄを求める際の演算誤差が大きくなる可能性があるからである。
【００３７】
＜輪郭検知装置１０によるコンテナ２０などの輪郭検知方法＞
以下では、輪郭検知装置１０によるコンテナ２０などの輪郭検知方法の各工程を詳細に説明する。
【００３８】
（１）距離画像カメラ１１および赤外カメラ１２による撮像
図５は隣接するように載置された２つのコンテナ２０、２０を輪郭検知装置１０が備える距離画像カメラ１１および赤外カメラ１２によって上方から撮像する場合の位置関係などを示す概略図である。ここで、載置された両方のコンテナ２０、２０が、距離画像カメラ１１および赤外カメラ１２のいずれの撮像画角内にも収まるように位置関係（撮像距離）を定めておく。
【００３９】
そして、距離画像カメラ１１による撮像を行うとともに、その際に赤外発光器１１ａから赤外光が照射されているときに赤外カメラ１２による撮像も併せて行う。あるいは、距離画像カメラ１１による撮像とは別のタイミングで、赤外発光器１１ａから赤外光を改めて照射しながら赤外カメラ１２による撮像を行ってもよい。これにより、載置された両方のコンテナ２０、２０が写った距離画像Ｇｄおよび赤外画像Ｇｉｒがそれぞれ取得される。
【００４０】
（２）赤外画像Ｇｉｒからの輪郭抽出
上記（１）で取得された赤外画像Ｇｉｒから、一般的な画像処理技術などを用いて各コンテナ２０の上面縁２０ａの輪郭（境界）に相当する画素Ｐｉｒを抽出する。そのようにして抽出した画素Ｐｉｒの一例の概略図を図６に模式的に示す（抽出された画素Ｐｉｒを黒く着色して区別）。
【００４１】
この図６に示すように、各コンテナ２０の上面縁２０ａの輪郭は概ね正確に抽出される。ところが、例えば、コンテナ２０に収容されている物の一部が上方に突出していたりすると（輪郭検知装置１０からの距離では上面縁２０ａよりも近い）、抽出された輪郭とは連続していない孤立点としてその突出部分が抽出されてしまうこともあり得る。また、各コンテナ２０が載置されている台（輪郭検知装置１０からの距離では上面縁２０ａよりも遠い）などの輪郭なども抽出されることも同様にあり得る。
【００４２】
（３）距離画像Ｇｄにおいて輪郭に対応する画素Ｐｄを抽出
上記（２）で抽出された輪郭を構成するすべての画素Ｐｉｒに対応する画素Ｐｄを距離画像Ｇｄから抽出する。そのようにして抽出した画素Ｐｄの一例の概略図を図７に模式的に示す（抽出された画素Ｐｄを黒く着色して区別）。
【００４３】
この図７に示すように、この時点では、上記（２）で誤って抽出された上面縁２０ａの輪郭以外に対応する画素Ｐｄも含まれていることになる。
【００４４】
（４）最短距離の画素Ｐｄを暫定的に選択
上記（３）で抽出された画素Ｐｄのうちから、距離データ（Ｚ値）が最短である画素Ｐｄを１つだけ暫定的に選択する。
【００４５】
（５）暫定選択された画素Ｐｄの距離データとの差が少ない画素Ｐｄの数を集計
上記（４）で暫定的に選択された画素Ｐｄの距離データを近距離側限界とするとともに、これに微小な所定距離幅Ｒを加えた遠距離側限界までで定まる暫定的な距離区間Ｚｔ内に該当する距離データを有する画素Ｐｄの数を集計する。
【００４６】
そうして集計した画素数が比較的小さな所定数未満であれば、暫定的に選択されている画素Ｐｄが実際に各コンテナ２０の上面縁２０ａの輪郭に対応するのではなく、例えば、コンテナ２０に収容されている物の一部が上方に突出していて、図６に示したような孤立点として抽出された可能性が高いと考えられる。そこで、暫定的に選択されている画素Ｐｄを除外した上で、改めて上記（４）およびこの（５）を再実行する。このような場合の距離区間Ｚｔと輪郭検知装置１０および各コンテナ２０との位置関係などを図８に例示しておく。
【００４７】
一方、集計した画素数が所定数以上であれば、その時点で暫定的に選択されている画素Ｐｄが実際に各コンテナ２０の上面縁２０ａの輪郭に対応していると考えられるので、画素Ｐｄの選択を確定する。このようにして確定された画素Ｐｄの距離データを近距離側限界とするとともに、これに所定距離幅Ｒを加えた遠距離側限界までで定まる確定された距離区間Ｚｆと輪郭検知装置１０および各コンテナ２０との位置関係なども図８に例示しておく。
【００４８】
（６）距離画像Ｇｄ内における輪郭画像の再構築および輪郭の認識
上記（５）で選択が確定された画素Ｐｄから定まった距離区間Ｚｆ内に該当する距離データを有する画素Ｐｄだけによって、距離画像Ｇｄ内において、各コンテナ２０の上面縁２０ａの輪郭の画像を再構築し、そうして再構築された画像によって輪郭を認識する。
【００４９】
距離画像Ｇｄ内において再構築された輪郭の画像の一例の概略図を図９に模式的に示す（輪郭に該当する画素Ｐｄを黒く着色して区別）。
【００５０】
なお、本発明は、その主旨または主要な特徴から逸脱することなく、他のいろいろな形で実施することができる。そのため、上述の実施形態はあらゆる点で単なる例示にすぎず、限定的に解釈してはならない。本発明の範囲は特許請求の範囲によって示すものであって、明細書本文にはなんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内のものである。
【符号の説明】
【００５１】
１０ 輪郭検知装置
１１ 距離画像カメラ
１１ａ 赤外発光ユニット（第１発光部）
１１ｂ 測距用イメージセンサ（第１撮像部）
１２ 赤外カメラ
１２ａ 赤外イメージセンサ（第２撮像部）
１３ 演算制御ユニット
２０ コンテナ
Ｇｄ 距離画像
Ｐｄ 距離画像の画素（第１種画素）
Ｇｉｒ 赤外画像
Ｐｉｒ 赤外画像の画素（第２種画素）
【技術分野】
【０００１】
本発明は、撮像対象物の境界検知装置および境界検知方法に関し、特に、距離画像カメラの解像度が低いという弱点を補って撮像対象物の境界などを的確に検知可能な境界検知装置および境界検知方法に関する。
【背景技術】
【０００２】
従来、三次元レーザレーダなどの距離センサを用いて被計測物たる物体の形状、計測地点から計測して得られた被計測物の位置、姿勢を認識する方法と装置が提案されている（例えば、特許文献１参照）。
【０００３】
ところが、この特許文献１に記載の方法と装置では、箱が密着している状態では、箱の隣接部分が平面として得られしまうため、箱の境界が三次元データに反映されず、登録した形状を探索することができないなどの課題があった。
【０００４】
そこで、箱状ワークを対象とし、ワークが密着している場合や荷崩れしている場合でもピッキングするワークの位置と姿勢を高い精度で認識することができる箱状ワーク認識装置および方法も提案されている（例えば、特許文献２参照）。
【０００５】
この特許文献２に記載の箱状ワーク認識装置は、隣接して荷積みした複数の箱状ワークを上方から撮影して全体画像を取得する単眼カメラと、前記複数の箱状ワーク全体の３次元形状を計測する距離センサと、前記全体画像から箱状ワークのエッジ部分を検出し、前記エッジ部分を境界として前記３次元形状から各箱状ワークの位置と姿勢を認識し、ピッキングする箱状ワークの位置と姿勢を出力する物体認識処理装置とを備えたことを特徴とするものである。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−２４１１３１号公報
【特許文献２】特開２０１０−２４７９５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
距離画像カメラの原理は、赤外光源などから照射された光の反射光が戻ってくるまでの時間の測定値から画素毎に距離を算出するというものである。現時点で実用化されている距離画像カメラの画素数は、例えば、１６０×１２０ピクセル程度というようにかなり低い解像度に過ぎず、高解像度化が急速に進んでいる一般的なＣＭＯＳイメージセンサやＣＣＤなどの撮像素子と比較すると画素数が極めて少ない。
【０００８】
そのため、例えば、同一のパレット上などに隣接するように載置された複数の箱などをまとめて上方から撮像したい場合などに、距離画像カメラの解像度が低いことから、それぞれの箱の細部の形状を認識できなかったり複数の箱を分離して認識できないことにもなり得る。
【０００９】
一方、赤外画像を取得する赤外カメラ（ＩＲカメラ）であれば、高解像度化は比較的容易である。しかし、赤外画像は通所の可視画像と比較するとコントラストが低いことなどもあって、箱などの輪郭抽出をしようとするとその箱の境界以外のものまで抽出してしまうこともあって、やはり複数の箱を分離して認識できないことにもなり得る。
【００１０】
従来技術のこのような課題に鑑み、本発明の目的は、距離画像カメラとこれより高解像度の赤外カメラなどを組み合わせることで撮像対象物の境界などを的確に検知可能な境界検知装置および境界検知方法を提供することである。
【課題を解決するための手段】
【００１１】
上記目的を達成するため、本発明の撮像対象物の境界検知装置は、撮像対象物へ向けて第１光を照射する第１発光部と、この第１発光部から照射された前記第１光の反射光が戻ってくるまでの時間の測定値から算出される距離情報を２次元配置された第１種画素毎に有する距離画像を取得する第１撮像部と、この第１撮像部と互いの撮像光軸同士が平行になるように配置されるとともに、前記距離画像の前記第１種画素より多数の２次元配置された第２種画素毎に階調情報を有する通常画像を取得する第２撮像部と、前記第１発光部、前記第１撮像部および前記第２撮像部を制御するとともに、前記距離画像および前記通常画像に対する演算処理を行う演算制御ユニットとを備え、この演算制御ユニットは、前記通常画像から前記撮像対象物の輪郭を抽出する輪郭抽出部と、この輪郭抽出部で前記通常画像から抽出された前記輪郭を構成する前記第２種画素に対応する前記第１種画素を前記距離画像から抽出する輪郭対応画素抽出部と、この輪郭対応画素抽出部で抽出された前記第１種画素のうちで前記距離情報が最短である前記第１種画素を暫定的に選択する最短距離画素暫定選択部と、この最短距離画素暫定選択部で暫定的に選択された前記第１種画素の前記距離情報に相当する距離を暫定近限とし、その暫定近限に所定距離を加えた暫定遠限までの暫定距離区間内に前記距離情報が対応する前記第１種画素の数を集計し、その集計数が前記所定数未満であれば前記最短距離画素暫定選択部で選択されていた前記第１種画素を除外して前記最短距離画素暫定選択部から再実行する一方、その集計数が所定数以上であれば前記最短距離画素暫定選択部での選択を確定する最短距離画素選択確定部と、この最短距離画素選択確定部で選択が確定された前記第１種画素の前記距離情報に相当する距離を確定近限とし、その確定近限に前記所定距離を加えた確定遠限までの確定距離区間内に前記距離情報が対応する前記第１種画素によって前記撮像対象物の前記輪郭を認識する輪郭認識部とを有することを特徴とする。
【００１２】
ここで、例えば、前記第１発光部から照射される前記第１光は赤外光であり、前記第２撮像部によって取得される前記通常画像は赤外画像であってもよいが、これに限るわけではない。例えば、前記通常画像は可視画像であってもよい。
【００１３】
このような構成の撮像対象物の境界検知装置によれば、距離画像の画素数が少ないことに起因する課題を解消して、撮像対象物の境界などを的確に検知することが可能となる。
【００１４】
また、本発明の撮像対象物の境界検知装置において、前記第２撮像部による前記通常画像を取得する際にも前記第１発光部から前記第１光を照射してもよい。または、前記第１撮像部による前記距離画像を取得のために前記第１発光部から前記第１光が照射されているときに前記第２撮像部による前記通常画像も取得してもよい。
【００１５】
このような構成の撮像対象物の境界検知装置によれば、前記第２撮像部による撮像では周囲光のみに依存するのではないから、周囲の明るさやその変動などに特に大きな影響を受けることもなく、安定した階調情報を有する通常画像を取得することが可能となる。
【００１６】
また、本発明の撮像対象物の境界検知装置において、前記第２撮像部による前記通常画像を取得する際に第２光を照射する第２発光部をさらに備えてもよい。
【００１７】
このような構成の撮像対象物の境界検知装置によれば、この第２発光部による照明光の配光特性を前記第２撮像部の撮像画角内でできるだけ均一となるようにしておけば、取得される通常画像の画質などを向上させることが可能となる。
【００１８】
あるいは、上記目的を達成するため、本発明の撮像対象物の境界検知方法は、前記撮像対象物へ向けて照射した光の反射光が戻ってくるまでの時間の測定値から算出される距離情報を２次元配置された第１種画素毎に有する距離画像を取得する距離画像取得工程と、この距離画像取得工程における撮像と同一方向に向いて、前記距離画像の前記第１種画素より多数の２次元配置された第２種画素毎に階調情報を有する通常画像を取得する通常画像取得工程と、この通常画像取得工程で取得された前記通常画像から前記撮像対象物の輪郭を抽出する輪郭抽出工程と、この輪郭抽出工程で前記通常画像から抽出された前記輪郭を構成する前記第２種画素に対応する前記第１種画素を前記距離画像から抽出する輪郭対応画素抽出工程と、この輪郭対応画素抽出工程で抽出された前記第１種画素のうちで前記距離情報が最短である前記第１種画素を暫定的に選択する最短距離画素暫定選択工程と、この最短距離画素暫定選択工程で暫定的に選択された前記第１種画素の前記距離情報に相当する距離を暫定近限とし、その暫定近限に所定距離を加えた暫定遠限までの暫定距離区間内に前記距離情報が対応する前記第１種画素の数を集計し、その集計数が前記所定数未満であれば前記最短距離画素暫定選択工程で選択されていた前記第１種画素を除外して前記最短距離画素暫定選択工程から再実行する一方、その集計数が所定数以上であれば前記最短距離画素暫定選択工程での選択を確定する最短距離画素選択確定工程と、この最短距離画素選択確定工程で選択が確定された前記第１種画素の前記距離情報に相当する距離を確定近限とし、その確定近限に前記所定距離を加えた確定遠限までの確定距離区間内に前記距離情報が対応する前記第１種画素によって前記撮像対象物の前記輪郭を認識する輪郭認識工程とを含むことを特徴とする。
【００１９】
ここで、例えば、前記光は赤外光であり、前記通常画像は赤外画像であってもよいが、これに限るわけではない。例えば、前記通常画像は可視画像であってもよい。また、本発明の撮像対象物の境界検知方法において、前記距離画像取得工程および前記通常画像取得工程に先立って、前記距離画像の各前記第１種画素と前記赤外画像の各前記第２種画素との位置関係の対応を取るためのキャリブレーション工程をさらに含むことが好ましい。
【００２０】
このような構成の撮像対象物の境界検知方法によれば、距離画像の画素数が少ないことに起因する課題を解消して、撮像対象物の境界などを的確に検知することが可能となる。
【発明の効果】
【００２１】
本発明の撮像対象物の境界検知装置および境界検知方法によれば、距離画像の画素数が少ないことに起因する課題を解消して、撮像対象物の境界などを的確に検知することが可能となる。
【図面の簡単な説明】
【００２２】
【図１】本発明の一実施形態に係る輪郭検知装置１０の概略構成を示すブロック図である。
【図２】輪郭検知装置１０の撮像対象物の一例として、上側が開口しているやや横長の直方体状のコンテナ２０が２つ隣接して載置されている場合を示す説明図である。
【図３】輪郭検知装置１０が備える距離画像カメラ１１によって取得される距離画像Ｇｄの画素Ｐｄの２次元配置などを模式的に示す概略図である。
【図４】輪郭検知装置１０が備える赤外カメラ１２によって取得される赤外画像Ｇｉｒの画素Ｐｉｒの２次元配置などを模式的に示す概略図である。
【図５】隣接するように載置された２つのコンテナ２０、２０を輪郭検知装置１０が備える距離画像カメラ１１および赤外カメラ１２によって上方から撮像する場合の位置関係などを示す概略図である。
【図６】赤外画像Ｇｉｒから各コンテナ２０の上面縁２０ａの輪郭に相当する画素Ｐｉｒを抽出した一例を模式的に示す概略図である。
【図７】抽出された輪郭を構成する画素Ｐｉｒに対応する画素Ｐｄを距離画像Ｇｄから抽出した一例を模式的に示す概略図である。
【図８】抽出された画素Ｐｄのうちから距離データが最短である画素Ｐｄを暫定的に選択したときに定まる距離区間Ｚｔと輪郭検知装置１０および各コンテナ２０との位置関係などを示す概略図である。
【図９】距離画像Ｇｄ内において再構築された輪郭の画像の一例を模式的に示す概略図である。
【発明を実施するための形態】
【００２３】
以下、本発明の実施形態を、図面を参照して説明する。
【００２４】
＜箱輪郭検知装置１０の概略構成など＞
図１は本発明の一実施形態に係る輪郭検知装置１０の概略構成を示すブロック図である。図２は輪郭検知装置１０の撮像対象物の一例として、上側が開口しているやや横長の直方体状のコンテナ２０が２つ隣接して載置されている場合を示す説明図である。図３は輪郭検知装置１０が備える距離画像カメラ１１によって取得される距離画像Ｇｄの画素Ｐｄの２次元配置などを模式的に示す概略図である。図４は輪郭検知装置１０が備える赤外カメラ１２によって取得される赤外画像Ｇｉｒの画素Ｐｉｒの２次元配置などを模式的に示す概略図である。
【００２５】
図１に示すように、輪郭検知装置１０は、コンテナ２０（図２参照）などの撮像対象物を撮像する距離画像カメラ１１と、その同じ撮像対象物をほぼ同時に撮像する赤外カメラ１２と、これらの距離画像カメラ１１および赤外カメラ１２の制御やこれらによって取得される各画像に対する演算処理（詳細は後述）などを行う演算制御ユニット１３（例えば、ＣＰＵ）とを備える。ここで、距離画像カメラ１１および赤外カメラ１２は、それぞれの撮像光軸Ａ１１、Ａ１２が互いに平行になるとともに同一撮像方向に向けて配置される。
【００２６】
距離画像カメラ１１は、コンテナ２０などの撮像対象物へ向けて赤外光を照射する赤外発光器１１ａと、この赤外発光器１１ａから照射された赤外光が反射されて戻ってくるまでの時間の測定値に基づいて算出される距離データ（Ｚ値）を格子状に２次元配置（Ｘ方向およびＹ方向）された画素Ｐｄ毎に有する距離画像Ｇｄ（図３参照）を取得することが可能な測距用イメージセンサ１１ｂとを含む。
【００２７】
赤外発光器１１ａとしては、例えば、赤外光を発する発光ダイオードや半導体レーザなどが挙げられるが、これらに限られない。測距用イメージセンサ１１ｂとしては、例えば、いわゆるＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）センサなどが挙げられるが、これに限られない。
【００２８】
赤外カメラ１２は、測距用イメージセンサ１１ｂの画素Ｐｄより遥かに多数の２次元配置（Ｘ方向およびＹ方向）された画素Ｐｉｒ毎に受光した赤外光の強度を示す階調データを有する赤外画像Ｇｉｒ（図４参照）を取得する赤外イメージセンサ１２ａを含む。
【００２９】
なお、図３および図４は、距離画像Ｇｄの画素Ｐｄおよび赤外画像Ｇｉｒの画素Ｐｉｒそれぞれの２次元配置などを模式的に示す概略図であって、それぞれの解像度の違いを必ずしも正確に反映させたものではない。
【００３０】
ここで、距離画像カメラ１１に赤外カメラ１２を組み合わせている理由は、距離画像カメラ１１による撮像時に赤外発光器１１ａから照射される赤外光を、赤外カメラ１２による撮像用照明にも兼用できるからである。あるいは、距離画像カメラ１１による撮像とは別のタイミングで赤外カメラ１２による撮像を行う場合であっても、その際の撮像用照明として赤外発光器１１ａを利用できるからである。いずれにしても、赤外カメラ１２による撮像では輪郭検知装置１０の周囲光のみに依存するのではないから、周囲の明るさやその変動などに特に大きな影響を受けることもなく、安定した階調データを有する赤外画像Ｇｉｒを取得することができる。
【００３１】
ただし、赤外カメラ１２専用の照明光源を別に設けてもよい。この照明光源による照明光の配光特性を赤外カメラ１２の撮像画角内でできるだけ均一となるようにしておけば、取得される赤外画像Ｇｉｒの画質などを向上させることができる。
【００３２】
また、距離画像カメラ１１に組み合わせるものは必ずしも赤外カメラに限らない。例えば、可視画像カメラを用いてもよい。可視画像カメラであれば、赤外カメラよりもさらに高解像度のものが入手しやすく、取得される可視画像もコントラストが高いので、撮像対象物の輪郭の形状などをより正確に抽出することができる。
【００３３】
＜輪郭検知装置１０のキャリブレーション＞
輪郭検知装置１０によるコンテナ２０などの輪郭検知に先立っては、次のようなキャリブレーションなどの事前準備が必要である。
【００３４】
距離画像カメラ１１によって取得される距離画像Ｇｄの各画素Ｐｄと赤外カメラ１２によって取得される赤外画像Ｇｉｒの各画素Ｐｉｒとの位置関係の対応を取るためには、予め専用のテストチャートを距離画像カメラ１１および赤外カメラ１２でそれぞれ撮像しておき、取得された距離画像Ｇｄおよび赤外画像Ｇｉｒに含まれるテストチャート上の複数の特徴点などを特定して、それらの画素位置の比較などによって得られた結果を不揮発メモリなどに記憶するなどのキャリブレーション作業を行っておく。なお、不揮発メモリなどは、演算制御ユニット１３に内蔵されていればそれを利用すればよいし、外部に設けた不揮発メモリを演算制御ユニット１３に接続するようにしてもよい。
【００３５】
これにより、例えば、赤外カメラ１２によって取得された赤外画像Ｇｉｒにおける特定画素位置の画素Ｐｉｒが、距離画像カメラ１１によって取得される距離画像Ｇｄではどの画素位置の画素Ｐｄに対応するかを、キャリブレーション作業時に記憶された結果に基づく演算によって求めることができるようになる。
【００３６】
なお、赤外カメラ１２の撮像レンズの歪曲収差などの程度が十分小さくない場合には、取得されたそのままの赤外画像Ｇｉｒに対して先にその歪曲収差などを補正するようにしておくことが好ましい。歪曲収差などの程度が大きい場合、キャリブレーションで用いるテストチャート上の特徴点が少ないと、画素Ｐｉｒから対応する画素Ｐｄを求める際の演算誤差が大きくなる可能性があるからである。
【００３７】
＜輪郭検知装置１０によるコンテナ２０などの輪郭検知方法＞
以下では、輪郭検知装置１０によるコンテナ２０などの輪郭検知方法の各工程を詳細に説明する。
【００３８】
（１）距離画像カメラ１１および赤外カメラ１２による撮像
図５は隣接するように載置された２つのコンテナ２０、２０を輪郭検知装置１０が備える距離画像カメラ１１および赤外カメラ１２によって上方から撮像する場合の位置関係などを示す概略図である。ここで、載置された両方のコンテナ２０、２０が、距離画像カメラ１１および赤外カメラ１２のいずれの撮像画角内にも収まるように位置関係（撮像距離）を定めておく。
【００３９】
そして、距離画像カメラ１１による撮像を行うとともに、その際に赤外発光器１１ａから赤外光が照射されているときに赤外カメラ１２による撮像も併せて行う。あるいは、距離画像カメラ１１による撮像とは別のタイミングで、赤外発光器１１ａから赤外光を改めて照射しながら赤外カメラ１２による撮像を行ってもよい。これにより、載置された両方のコンテナ２０、２０が写った距離画像Ｇｄおよび赤外画像Ｇｉｒがそれぞれ取得される。
【００４０】
（２）赤外画像Ｇｉｒからの輪郭抽出
上記（１）で取得された赤外画像Ｇｉｒから、一般的な画像処理技術などを用いて各コンテナ２０の上面縁２０ａの輪郭（境界）に相当する画素Ｐｉｒを抽出する。そのようにして抽出した画素Ｐｉｒの一例の概略図を図６に模式的に示す（抽出された画素Ｐｉｒを黒く着色して区別）。
【００４１】
この図６に示すように、各コンテナ２０の上面縁２０ａの輪郭は概ね正確に抽出される。ところが、例えば、コンテナ２０に収容されている物の一部が上方に突出していたりすると（輪郭検知装置１０からの距離では上面縁２０ａよりも近い）、抽出された輪郭とは連続していない孤立点としてその突出部分が抽出されてしまうこともあり得る。また、各コンテナ２０が載置されている台（輪郭検知装置１０からの距離では上面縁２０ａよりも遠い）などの輪郭なども抽出されることも同様にあり得る。
【００４２】
（３）距離画像Ｇｄにおいて輪郭に対応する画素Ｐｄを抽出
上記（２）で抽出された輪郭を構成するすべての画素Ｐｉｒに対応する画素Ｐｄを距離画像Ｇｄから抽出する。そのようにして抽出した画素Ｐｄの一例の概略図を図７に模式的に示す（抽出された画素Ｐｄを黒く着色して区別）。
【００４３】
この図７に示すように、この時点では、上記（２）で誤って抽出された上面縁２０ａの輪郭以外に対応する画素Ｐｄも含まれていることになる。
【００４４】
（４）最短距離の画素Ｐｄを暫定的に選択
上記（３）で抽出された画素Ｐｄのうちから、距離データ（Ｚ値）が最短である画素Ｐｄを１つだけ暫定的に選択する。
【００４５】
（５）暫定選択された画素Ｐｄの距離データとの差が少ない画素Ｐｄの数を集計
上記（４）で暫定的に選択された画素Ｐｄの距離データを近距離側限界とするとともに、これに微小な所定距離幅Ｒを加えた遠距離側限界までで定まる暫定的な距離区間Ｚｔ内に該当する距離データを有する画素Ｐｄの数を集計する。
【００４６】
そうして集計した画素数が比較的小さな所定数未満であれば、暫定的に選択されている画素Ｐｄが実際に各コンテナ２０の上面縁２０ａの輪郭に対応するのではなく、例えば、コンテナ２０に収容されている物の一部が上方に突出していて、図６に示したような孤立点として抽出された可能性が高いと考えられる。そこで、暫定的に選択されている画素Ｐｄを除外した上で、改めて上記（４）およびこの（５）を再実行する。このような場合の距離区間Ｚｔと輪郭検知装置１０および各コンテナ２０との位置関係などを図８に例示しておく。
【００４７】
一方、集計した画素数が所定数以上であれば、その時点で暫定的に選択されている画素Ｐｄが実際に各コンテナ２０の上面縁２０ａの輪郭に対応していると考えられるので、画素Ｐｄの選択を確定する。このようにして確定された画素Ｐｄの距離データを近距離側限界とするとともに、これに所定距離幅Ｒを加えた遠距離側限界までで定まる確定された距離区間Ｚｆと輪郭検知装置１０および各コンテナ２０との位置関係なども図８に例示しておく。
【００４８】
（６）距離画像Ｇｄ内における輪郭画像の再構築および輪郭の認識
上記（５）で選択が確定された画素Ｐｄから定まった距離区間Ｚｆ内に該当する距離データを有する画素Ｐｄだけによって、距離画像Ｇｄ内において、各コンテナ２０の上面縁２０ａの輪郭の画像を再構築し、そうして再構築された画像によって輪郭を認識する。
【００４９】
距離画像Ｇｄ内において再構築された輪郭の画像の一例の概略図を図９に模式的に示す（輪郭に該当する画素Ｐｄを黒く着色して区別）。
【００５０】
なお、本発明は、その主旨または主要な特徴から逸脱することなく、他のいろいろな形で実施することができる。そのため、上述の実施形態はあらゆる点で単なる例示にすぎず、限定的に解釈してはならない。本発明の範囲は特許請求の範囲によって示すものであって、明細書本文にはなんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内のものである。
【符号の説明】
【００５１】
１０ 輪郭検知装置
１１ 距離画像カメラ
１１ａ 赤外発光ユニット（第１発光部）
１１ｂ 測距用イメージセンサ（第１撮像部）
１２ 赤外カメラ
１２ａ 赤外イメージセンサ（第２撮像部）
１３ 演算制御ユニット
２０ コンテナ
Ｇｄ 距離画像
Ｐｄ 距離画像の画素（第１種画素）
Ｇｉｒ 赤外画像
Ｐｉｒ 赤外画像の画素（第２種画素）
【特許請求の範囲】
【請求項１】
撮像対象物へ向けて第１光を照射する第１発光部と、
この第１発光部から照射された前記第１光の反射光が戻ってくるまでの時間の測定値から算出される距離情報を２次元配置された第１種画素毎に有する距離画像を取得する第１撮像部と、
この第１撮像部と互いの撮像光軸同士が平行になるように配置されるとともに、前記距離画像の前記第１種画素より多数の２次元配置された第２種画素毎に階調情報を有する通常画像を取得する第２撮像部と、
前記第１発光部、前記第１撮像部および前記第２撮像部を制御するとともに、前記距離画像および前記通常画像に対する演算処理を行う演算制御ユニットとを備え、
この演算制御ユニットは、
前記通常画像から前記撮像対象物の輪郭を抽出する輪郭抽出部と、
この輪郭抽出部で前記通常画像から抽出された前記輪郭を構成する前記第２種画素に対応する前記第１種画素を前記距離画像から抽出する輪郭対応画素抽出部と、
この輪郭対応画素抽出部で抽出された前記第１種画素のうちで前記距離情報が最短である前記第１種画素を暫定的に選択する最短距離画素暫定選択部と、
この最短距離画素暫定選択部で暫定的に選択された前記第１種画素の前記距離情報に相当する距離を暫定近限とし、その暫定近限に所定距離を加えた暫定遠限までの暫定距離区間内に前記距離情報が対応する前記第１種画素の数を集計し、その集計数が前記所定数未満であれば前記最短距離画素暫定選択部で選択されていた前記第１種画素を除外して前記最短距離画素暫定選択部から再実行する一方、その集計数が所定数以上であれば前記最短距離画素暫定選択部での選択を確定する最短距離画素選択確定部と、
この最短距離画素選択確定部で選択が確定された前記第１種画素の前記距離情報に相当する距離を確定近限とし、その確定近限に前記所定距離を加えた確定遠限までの確定距離区間内に前記距離情報が対応する前記第１種画素によって前記撮像対象物の前記輪郭を認識する輪郭認識部と
を有することを特徴とする、撮像対象物の境界検知装置。
【請求項２】
請求項１に記載の撮像対象物の境界検知装置において、
前記第２撮像部による前記通常画像を取得する際にも前記第１発光部から前記第１光を照射することを特徴とする、撮像対象物の境界検知装置。
【請求項３】
請求項１に記載の撮像対象物の境界検知装置において、
前記第１撮像部による前記距離画像を取得のために前記第１発光部から前記第１光が照射されているときに前記第２撮像部による前記通常画像も取得することを特徴とする、撮像対象物の境界検知装置。
【請求項４】
請求項１〜３のいずれか１項に記載の撮像対象物の境界検知装置において、
前記第１発光部から照射される前記第１光は赤外光であり、
前記第２撮像部によって取得される前記通常画像は赤外画像であることを特徴とする、撮像対象物の境界検知装置。
【請求項５】
請求項１に記載の撮像対象物の境界検知装置において、
前記第２撮像部による前記通常画像を取得する際に第２光を照射する第２発光部をさらに備えることを特徴とする、撮像対象物の境界検知装置。
【請求項６】
撮像対象物の境界検知方法であって、
前記撮像対象物へ向けて照射した光の反射光が戻ってくるまでの時間の測定値から算出される距離情報を２次元配置された第１種画素毎に有する距離画像を取得する距離画像取得工程と、
この距離画像取得工程における撮像と同一方向に向いて、前記距離画像の前記第１種画素より多数の２次元配置された第２種画素毎に階調情報を有する通常画像を取得する通常画像取得工程と、
この通常画像取得工程で取得された前記通常画像から前記撮像対象物の輪郭を抽出する輪郭抽出工程と、
この輪郭抽出工程で前記通常画像から抽出された前記輪郭を構成する前記第２種画素に対応する前記第１種画素を前記距離画像から抽出する輪郭対応画素抽出工程と、
この輪郭対応画素抽出工程で抽出された前記第１種画素のうちで前記距離情報が最短である前記第１種画素を暫定的に選択する最短距離画素暫定選択工程と、
この最短距離画素暫定選択工程で暫定的に選択された前記第１種画素の前記距離情報に相当する距離を暫定近限とし、その暫定近限に所定距離を加えた暫定遠限までの暫定距離区間内に前記距離情報が対応する前記第１種画素の数を集計し、その集計数が前記所定数未満であれば前記最短距離画素暫定選択工程で選択されていた前記第１種画素を除外して前記最短距離画素暫定選択工程から再実行する一方、その集計数が所定数以上であれば前記最短距離画素暫定選択工程での選択を確定する最短距離画素選択確定工程と、
この最短距離画素選択確定工程で選択が確定された前記第１種画素の前記距離情報に相当する距離を確定近限とし、その確定近限に前記所定距離を加えた確定遠限までの確定距離区間内に前記距離情報が対応する前記第１種画素によって前記撮像対象物の前記輪郭を認識する輪郭認識工程と
を含むことを特徴とする、撮像対象物の境界検知方法。
【請求項７】
請求項６に記載の撮像対象物の境界検知方法において、
前記距離画像取得工程および前記通常画像取得工程に先立って、前記距離画像の各前記第１種画素と前記赤外画像の各前記第２種画素との位置関係の対応を取るためのキャリブレーション工程をさらに含むことを特徴とする、撮像対象物の境界検知方法。
【請求項８】
請求項６または７に記載の撮像対象物の境界検知方法において、
前記光は赤外光であり、
前記通常画像は赤外画像であることを特徴とする、撮像対象物の境界検知方法。
【請求項１】
撮像対象物へ向けて第１光を照射する第１発光部と、
この第１発光部から照射された前記第１光の反射光が戻ってくるまでの時間の測定値から算出される距離情報を２次元配置された第１種画素毎に有する距離画像を取得する第１撮像部と、
この第１撮像部と互いの撮像光軸同士が平行になるように配置されるとともに、前記距離画像の前記第１種画素より多数の２次元配置された第２種画素毎に階調情報を有する通常画像を取得する第２撮像部と、
前記第１発光部、前記第１撮像部および前記第２撮像部を制御するとともに、前記距離画像および前記通常画像に対する演算処理を行う演算制御ユニットとを備え、
この演算制御ユニットは、
前記通常画像から前記撮像対象物の輪郭を抽出する輪郭抽出部と、
この輪郭抽出部で前記通常画像から抽出された前記輪郭を構成する前記第２種画素に対応する前記第１種画素を前記距離画像から抽出する輪郭対応画素抽出部と、
この輪郭対応画素抽出部で抽出された前記第１種画素のうちで前記距離情報が最短である前記第１種画素を暫定的に選択する最短距離画素暫定選択部と、
この最短距離画素暫定選択部で暫定的に選択された前記第１種画素の前記距離情報に相当する距離を暫定近限とし、その暫定近限に所定距離を加えた暫定遠限までの暫定距離区間内に前記距離情報が対応する前記第１種画素の数を集計し、その集計数が前記所定数未満であれば前記最短距離画素暫定選択部で選択されていた前記第１種画素を除外して前記最短距離画素暫定選択部から再実行する一方、その集計数が所定数以上であれば前記最短距離画素暫定選択部での選択を確定する最短距離画素選択確定部と、
この最短距離画素選択確定部で選択が確定された前記第１種画素の前記距離情報に相当する距離を確定近限とし、その確定近限に前記所定距離を加えた確定遠限までの確定距離区間内に前記距離情報が対応する前記第１種画素によって前記撮像対象物の前記輪郭を認識する輪郭認識部と
を有することを特徴とする、撮像対象物の境界検知装置。
【請求項２】
請求項１に記載の撮像対象物の境界検知装置において、
前記第２撮像部による前記通常画像を取得する際にも前記第１発光部から前記第１光を照射することを特徴とする、撮像対象物の境界検知装置。
【請求項３】
請求項１に記載の撮像対象物の境界検知装置において、
前記第１撮像部による前記距離画像を取得のために前記第１発光部から前記第１光が照射されているときに前記第２撮像部による前記通常画像も取得することを特徴とする、撮像対象物の境界検知装置。
【請求項４】
請求項１〜３のいずれか１項に記載の撮像対象物の境界検知装置において、
前記第１発光部から照射される前記第１光は赤外光であり、
前記第２撮像部によって取得される前記通常画像は赤外画像であることを特徴とする、撮像対象物の境界検知装置。
【請求項５】
請求項１に記載の撮像対象物の境界検知装置において、
前記第２撮像部による前記通常画像を取得する際に第２光を照射する第２発光部をさらに備えることを特徴とする、撮像対象物の境界検知装置。
【請求項６】
撮像対象物の境界検知方法であって、
前記撮像対象物へ向けて照射した光の反射光が戻ってくるまでの時間の測定値から算出される距離情報を２次元配置された第１種画素毎に有する距離画像を取得する距離画像取得工程と、
この距離画像取得工程における撮像と同一方向に向いて、前記距離画像の前記第１種画素より多数の２次元配置された第２種画素毎に階調情報を有する通常画像を取得する通常画像取得工程と、
この通常画像取得工程で取得された前記通常画像から前記撮像対象物の輪郭を抽出する輪郭抽出工程と、
この輪郭抽出工程で前記通常画像から抽出された前記輪郭を構成する前記第２種画素に対応する前記第１種画素を前記距離画像から抽出する輪郭対応画素抽出工程と、
この輪郭対応画素抽出工程で抽出された前記第１種画素のうちで前記距離情報が最短である前記第１種画素を暫定的に選択する最短距離画素暫定選択工程と、
この最短距離画素暫定選択工程で暫定的に選択された前記第１種画素の前記距離情報に相当する距離を暫定近限とし、その暫定近限に所定距離を加えた暫定遠限までの暫定距離区間内に前記距離情報が対応する前記第１種画素の数を集計し、その集計数が前記所定数未満であれば前記最短距離画素暫定選択工程で選択されていた前記第１種画素を除外して前記最短距離画素暫定選択工程から再実行する一方、その集計数が所定数以上であれば前記最短距離画素暫定選択工程での選択を確定する最短距離画素選択確定工程と、
この最短距離画素選択確定工程で選択が確定された前記第１種画素の前記距離情報に相当する距離を確定近限とし、その確定近限に前記所定距離を加えた確定遠限までの確定距離区間内に前記距離情報が対応する前記第１種画素によって前記撮像対象物の前記輪郭を認識する輪郭認識工程と
を含むことを特徴とする、撮像対象物の境界検知方法。
【請求項７】
請求項６に記載の撮像対象物の境界検知方法において、
前記距離画像取得工程および前記通常画像取得工程に先立って、前記距離画像の各前記第１種画素と前記赤外画像の各前記第２種画素との位置関係の対応を取るためのキャリブレーション工程をさらに含むことを特徴とする、撮像対象物の境界検知方法。
【請求項８】
請求項６または７に記載の撮像対象物の境界検知方法において、
前記光は赤外光であり、
前記通常画像は赤外画像であることを特徴とする、撮像対象物の境界検知方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１２−２２０４７９（Ｐ２０１２−２２０４７９Ａ）
【公開日】平成２４年１１月１２日（２０１２．１１．１２）
【国際特許分類】
【出願番号】特願２０１１−９０３２３（Ｐ２０１１−９０３２３）
【出願日】平成２３年４月１４日（２０１１．４．１４）
【出願人】（０００１０３７３６）オプテックス株式会社 (116)
【Ｆターム（参考）】
【公開日】平成２４年１１月１２日（２０１２．１１．１２）
【国際特許分類】
【出願日】平成２３年４月１４日（２０１１．４．１４）
【出願人】（０００１０３７３６）オプテックス株式会社 (116)
【Ｆターム（参考）】
[ Back to top ]