距離画像カメラを用いた物体寸法測定方法および物体寸法測定装置
【課題】距離画像カメラを配置するだけで、カメラの解像度を超える寸法測定精度を実現可能な物体寸法測定方法および物体寸法測定装置を提供する。
【解決手段】載置面に何も載置されていない状態で撮像して第１距離画像を取得する第１撮像工程と、前記第１距離画像に基づいて前記載置面の方程式を算出する載置面方程式算出工程と、前記載置面に載置された直方体の少なくとも上面が写るように撮像して第２距離画像を取得する第２撮像工程と、前記第２距離画像に基づいて前記上面の方程式を算出する上面方程式算出工程と、この上面方程式算出工程で方程式が算出された前記上面を前記第２距離画像の中で前記載置面に射影し、前記載置面を回転させながら前記上面の射影の横軸方向および縦軸方向の各範囲幅の合計値をそれぞれ算出して、最小となった回転角度での合計値を前記上面の隣接する２辺の寸法の合計値として算出する寸法算出工程とを含む。
【解決手段】載置面に何も載置されていない状態で撮像して第１距離画像を取得する第１撮像工程と、前記第１距離画像に基づいて前記載置面の方程式を算出する載置面方程式算出工程と、前記載置面に載置された直方体の少なくとも上面が写るように撮像して第２距離画像を取得する第２撮像工程と、前記第２距離画像に基づいて前記上面の方程式を算出する上面方程式算出工程と、この上面方程式算出工程で方程式が算出された前記上面を前記第２距離画像の中で前記載置面に射影し、前記載置面を回転させながら前記上面の射影の横軸方向および縦軸方向の各範囲幅の合計値をそれぞれ算出して、最小となった回転角度での合計値を前記上面の隣接する２辺の寸法の合計値として算出する寸法算出工程とを含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、距離画像カメラを用いた物体寸法測定方法および物体寸法測定装置に関し、特に、段ボール箱などの直方体形状の物体を距離画像カメラを用いて撮像し、この距離画像カメラの解像度を超えた精度での物体寸法測定を実現可能な物体寸法測定方法、およびそのような物体寸法測定方法が適用されている物体寸法測定装置に関する。
【背景技術】
【０００２】
従来、ベルトコンベアなどの物流機器を制御する上で、流路内を通過する被検出物を撮像して、その画像を処理することで、被検出物の寸法や姿勢、被検出物間の距離情報を取得できる物流情報読取り装置が提案されている（例えば、特許文献１参照）。
【０００３】
この物流情報読取り装置では、情報収集手段としてＣＣＤカメラ等による撮像手段と、超音波等による距離センサを用い、撮像手段によって得られたデジタル画像を、距離センサにより得られたデータを用いつつ画像処理することによって物流制御に必要なデータを収集・解析する。これにより、被検出物の通過時間を待つことなく瞬時に被検出物の寸法や姿勢、被検出物間の距離情報を取得することができ、かつ、その結果を同時に外部に出力できる。
【０００４】
また、三次元形状の大まかな大きさを簡単に計測できる三次元形状表示装置も提案されている（例えば、特許文献２参照）。
【０００５】
その他、対象物の濃淡画像と距離画像との少なくとも一方を用いてその対象物のエッジを抽出してその形状を推定するとともに、距離画像内での計測点に対応する部位の三次元位置から２個の計測点に対応する部位間の実寸を求めることが可能な計測装置も提案されている（例えば、特許文献３参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０００−１７１２１５号公報
【特許文献２】特開２００４−１０２９７９号公報
【特許文献３】特開２００６−１５３７７１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
これらの従来技術によって段ボール箱の寸法を精密に測定しようとすると、特許文献１に記載の技術では非常に大がかりで複雑なものになってしまい、コストアップや設置場所などの点でも問題が多い。特許文献２に記載の技術は、あくまでも簡易的な計測のためのものであって、寸法の精密な測定には不向きである。特許文献３に記載の技術では、距離画像などから対象物のエッジを抽出しているため、寸法の測定精度が撮像装置の解像度によって大きく制約されてしまう。
【０００８】
従来技術のこのような課題に鑑み、本発明の目的は、段ボール箱などの寸法測定を行う場合に、特別な配置治具などを必要とせずに距離画像カメラを配置するだけでよく、しかもその距離画像カメラの解像度を超える寸法測定精度を実現可能な物体寸法測定方法および物体寸法測定装置を提供することである。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、本発明の距離画像カメラを用いた物体寸法測定方法は、載置面に何も載置されていない状態でこの載置面が写るように撮像して第１距離画像を取得する第１撮像工程と、前記第１距離画像に基づいて前記載置面の方程式を算出する載置面方程式算出工程と、前記載置面に載置された直方体の少なくとも上面が写るように撮像して第２距離画像を取得する第２撮像工程と、前記第２距離画像に基づいて前記上面の方程式を算出する上面方程式算出工程と、この上面方程式算出工程で方程式が算出された前記上面を前記第２距離画像の中で前記載置面若しくは前記載置面と平行な平面に射影し、その射影がなされた面を回転させながら前記上面の射影の横軸方向および縦軸方向の各範囲幅の合計値をそれぞれ算出して、算出された合計値が最小となる回転角度を探索し、最小となった合計値を前記上面の隣接する２辺の寸法の合計値として算出する寸法算出工程とを含むことを特徴とする。
【００１０】
このような構成の距離画像カメラを用いた物体寸法測定方法によれば、段ボール箱などの寸法測定を行う場合に、特別な配置治具などを必要とせずに距離画像カメラを配置するだけでよく、しかも、段ボール箱の横幅および奥行きの合計値については距離画像カメラの解像度を超える寸法測定精度を実現することができる。
【００１１】
あるいは、本発明の距離画像カメラを用いた物体寸法測定方法は、載置面に何も載置されていない状態でこの載置面が写るように撮像して第１距離画像を取得する第１撮像工程と、前記第１距離画像に基づいて前記載置面の方程式を算出する載置面方程式算出工程と、前記載置面に載置された直方体の上面と前面と該上面および該前面のいずれにも隣接する第１側面とが写るように撮像して第２距離画像を取得する第２撮像工程と、前記第２距離画像に基づいて前記上面、前記前面および前記第１側面の各方程式を算出する３面方程式算出工程と、前記第２距離画像の中で前記第１側面をその法線方向にずらしていき、前記上面で前記第１側面とは反対側の辺および前記前面で前記上面で前記第１側面とは反対側の辺と最も適合する位置に基づいて前記直方体の第２側面の方程式を算出する第２側面方程式算出工程と、前記第２距離画像の中で前記前面をその法線方向にずらしていき、前記上面で前記前面とは反対側の辺および前記第１側面で前記前面とは反対側の辺と最も適合する位置に基づいて前記直方体の後面の方程式を算出する後面方程式算出工程と、算出された前記載置面、前記上面、前記前面、前記第１側面、前記第２側面および前記後面それぞれの方程式に基づき、各面の交線を求め、さらにそれらの交点を求めることで、前記直方体の横幅、奥行きおよび高さを算出する寸法算出工程とを含むことを特徴とする。
【００１２】
このような構成の距離画像カメラを用いた物体寸法測定方法によれば、段ボール箱などの寸法測定を行う場合に、特別な配置治具などを必要とせずに距離画像カメラを配置するだけでよく、しかも、距離画像カメラの解像度を超える寸法測定精度を実現することができる。
【００１３】
あるいは、本発明の距離画像カメラを用いた物体寸法測定方法は、載置面に何も載置されていない状態でこの載置面と横断面Ｌ字型の配置治具の直交する第１内壁面および第２内壁面とが写るように撮像して第１距離画像を取得する第１撮像工程と、前記第１距離画像に基づいて前記載置面、前記第１内壁面および前記第２内壁面の各方程式を算出する載置面・壁面方程式算出工程と、前記第１内壁面および前記第２内壁面にも圧接するように前記載置面に載置された直方体の上面と前面と該上面および該前面のいずれにも隣接する第１側面とが写るように撮像して第２距離画像を取得する第２撮像工程と、前記第２距離画像に基づいて前記上面、前記前面および前記第１側面の各方程式を算出する３面方程式算出工程と、算出された前記載置面、前記上面、前記前面、前記第１側面、前記第１内壁面および前記第２内壁面それぞれの方程式に基づき、各面の交線を求め、さらにそれらの交点を求めることで、前記直方体の横幅、奥行きおよび高さを算出する寸法算出工程とを含むことを特徴とする。
【００１４】
このような構成の距離画像カメラを用いた物体寸法測定方法によれば、段ボール箱などの寸法測定を行う場合に、横断面Ｌ字型の配置治具と距離画像カメラを配置するだけでよく、しかも、距離画像カメラの解像度を超える寸法測定精度を実現することができる。
【００１５】
また、本発明の距離画像カメラを用いた物体寸法測定方法において、前記載置面方程式算出工程または前記載置面・壁面方程式算出工程で複数の平面の存在が推定される場合には、最も広い平面を前記載置面とみなしてその方程式を算出することを特徴としてもよい。
【００１６】
このような構成の距離画像カメラを用いた物体寸法測定方法によれば、距離画像カメラに対して床面指定のためのパラメータ入力などが不要となる。
【００１７】
また、本発明の距離画像カメラを用いた物体寸法測定方法において、前記第２距離画像に基づいて、前記直方体の各エッジを検出し、その検出結果に基づいて前記直方体の横幅、奥行きおよび高さを算出する概略寸法算出工程をさらに含んでもよい。
【００１８】
あるいは、本発明の距離画像カメラを用いた物体寸法測定方法は、載置面に載置された直方体の上面と前面と該上面および該前面のいずれにも隣接する側面とが写るように撮像して距離画像を取得する撮像工程と、前記距離画像に基づいて前記載置面、前記上面、前記前面および前記側面の方程式をそれぞれ算出する４面方程式算出工程と、この４面方程式算出工程で算出された各方程式から少なくとも前記上面、前記前面および前記側面相互の交線を求め、さらにそれらの交点を求めることで、前記直方体の横幅、奥行きおよび高さを算出する寸法算出工程とを含むことを特徴とする。
【００１９】
このような構成の距離画像カメラを用いた物体寸法測定方法によれば、段ボール箱などの寸法測定を行う場合に、特別な配置治具などを必要とせずに距離画像カメラを配置するだけでよく、しかも、距離画像カメラの解像度を超える寸法測定精度を実現することができる。
【００２０】
あるいは、上記目的を達成するため、本発明の物体寸法測定装置は、画素値に距離情報を取得して距離画像を生成可能な撮像素子と、この距離画像における画像処理を行う画像処理ユニットとを備え、前記画像処理ユニットにおける前記画像処理で、上述したいずれかの距離画像カメラを用いた物体寸法測定方法が実行されることを特徴とする。
【００２１】
このような構成の物体寸法測定装置によれば、段ボール箱などの寸法測定を行う場合に、専ら距離画像カメラを配置するだけでよく、しかも、距離画像カメラの解像度を超える寸法測定精度を実現することができる。
【発明の効果】
【００２２】
本発明の距離画像カメラを用いた物体寸法測定方法および物体寸法測定装置によれば段ボール箱などの寸法測定を行う場合に、専ら距離画像カメラを配置するだけでよく、しかも、距離画像カメラの解像度を超える寸法測定精度を実現することができる。
【図面の簡単な説明】
【００２３】
【図１】本発明の一実施形態に係る距離画像カメラ１０の概略構成を示すブロック図である。
【図２】距離画像カメラ１０によって段ボール箱２０を撮像する場合のこれらの位置関係の説明図である。
【図３】距離画像カメラ１０による段ボール箱２０の撮像結果が外部のディスプレイ１５に表示されている一例の説明図である。
【図４】距離画像カメラ１０によって実際に段ボール箱２０を撮像して取得した距離画像の一例である。
【図５】段ボール箱２０の各面の位置関係などの説明図である。
【図６】上面２１と仮定された平面を、距離画像ＤＩＡ３の中の床面３０に射影したときの矩形領域Ｒを示す説明図であり、図６（ａ）は矩形領域Ｒが縦軸および横軸に対してやや傾いている場合を示し、図６（ｂ）は矩形領域Ｒが縦軸および横軸に対して傾いていない場合を示す。
【図７】段ボール箱２０の左側面２２とは反対側の右側面２５の方程式の算出の説明図である。
【図８】段ボール箱２０の前面２３とは反対側の後面２６の方程式の算出の説明図である。
【図９】距離画像カメラ１０の解像度を超える寸法測定精度を実現できることの説明図である。
【図１０】段ボール箱２０の位置決めができる横断面Ｌ字型の配置治具４０の説明図である。
【図１１】距離画像カメラ１０に内蔵されているイメージセンサ１１によって取得される３次元データ構造の説明図である。
【図１２】外積についての説明図である。
【図１３】距離画像における平面推定方法の概略を示すフローチャートである。
【図１４】図１４（ａ）はＸ方向に並んでいる各行の隣接２画素毎に３次元データを平均化する演算の説明図であり、図１４（ｂ）は千鳥格子状配置に変換した変換後３次元データの説明図である。
【図１５】図１５（ａ）はＸ方向に並んでいる各行の隣接２画素毎に３次元データを平均化する別の演算の説明図である。図１５（ｂ）はその変換後３次元データの説明図である。
【図１６】千鳥格子状配置の３次元データに変換しない場合における着目三角形の決め方の説明図である。
【図１７】小三角形ＴS1に着目して平面候補探索などを行う処理の説明図である。
【図１８】大三角形ＴL1に着目して平面候補探索などを繰り返す処理の説明図である。
【図１９】平面候補探索で着目する三角形の大きさをさらに拡大した場合の説明図である。
【図２０】図１３に示した距離画像における平面推定方法による作用効果の説明図である。
【図２１】図１３に示した距離画像における平面推定方法による別の作用効果の説明図である。
【図２２】平面候補探索の候補漏れに対する処理の説明図である。
【発明を実施するための形態】
【００２４】
以下、本発明の実施形態を、図面を参照して説明する。
【００２５】
＜ 距離画像カメラ１０の概略構成など ＞
図１は、本発明の一実施形態に係る距離画像カメラ１０の概略構成を示すブロック図である。なお、この距離画像カメラ１０は、段ボール箱２０などの直方体の物体寸法測定装置としても機能する。
【００２６】
この図１に示すように、距離画像カメラ１０は、対象空間へ投射した光が反射されて戻ってくるまでの時間に基づいて画素値に距離データを取得して距離画像を生成することが可能なイメージセンサ１１（例えば、ＴＯＦセンサなど）と、段ボール箱２０を撮像した距離画像から段ボール箱２０の寸法を測定したり距離画像における平面の推定（詳細は後述）などを行う画像処理ユニット１２と、距離画像カメラ１０全体の制御などを行う制御ユニット１３（例えば、ＣＰＵ）を備えている。
【００２７】
また、距離画像カメラ１０は外部のディスプレイ１５に接続されており、距離画像カメラ１０で撮像した距離画像などをこのディスプレイ１５に表示することができる。
【００２８】
図２は、距離画像カメラ１０によって段ボール箱２０を撮像する場合のこれらの位置関係の説明図である。図３は、この距離画像カメラ１０による段ボール箱２０の撮像結果が外部のディスプレイ１５に表示されている一例の説明図である。
【００２９】
図２に示すように、直方体形状の段ボール箱２０が載置される床面３０などの斜め上方に距離画像カメラ１０が設置される。このとき、図３に示すように、段ボール箱２０の上面２１および前面２３とこれらの面のいずれにも隣接する側面（例えば左側面）２２とが、距離画像カメラ１０の撮像画角内にすべて写るようにすることが好ましい。
【００３０】
なお、段ボール箱２０について測定すべき寸法とは、横幅Ｗ（上面２１および前面２３などの横幅でもある）、奥行きＤ（上面２１および左側面２２などの奥行きでもある）、および高さＨ（左側面２２および前面２３などの高さでもある）の３つである。
【００３１】
図４は、距離画像カメラ１０によって実際に段ボール箱２０を撮像して取得した距離画像の一例である。ただし、この場合の距離画像カメラ１０と段ボール箱２０との位置関係は図２の場合とは異なっているため、図３とは段ボール箱２０の位置や向きなどが違っていることに留意されたい。
【００３２】
また、室内が暗い場合など、通常のイメージセンサで撮像された可視光による画像では、段ボール箱２０と床面３０やその周囲などとの境界が不鮮明となることもある。これに対して、距離画像カメラ１０によって撮像された距離画像では、図４に示すように、床面３０に載置された段ボール箱２０の表面が明確に浮かび上がる。
【００３３】
＜ 段ボール箱２０の寸法測定方法（Ａ）＞
（Ａ１）床面３０に何も載置されていない状態での距離画像の取得
まず、距離画像カメラ１０の設置後などに、載置面としての床面３０に何も載置されていない状態でこの床面３０が写るように撮像し、距離画像ＤＩＡ１を取得しておく。
【００３４】
ここでは、段ボール箱２０を床面３０に直接載置することを想定しているが、載置面は床面３０には限られない。例えば、段ボール箱２０を載置するための専用台などを設けてもよいが、その場合はその専用台の上面が載置面となる。
【００３５】
（Ａ２）距離画像ＤＩＡ１に基づく演算で床面３０の方程式を算出
上記（Ａ１）で取得された距離画像ＤＩＡ１に基づいて、床面３０を表す方程式を算出する。距離画像から床面３０などの平面の方程式を推定して算出するには、例えば、従来技術で用いられているハフ変換などを用いることができる。あるいは、後述する方法によって平面候補などを探索することなどによって平面を推定してもよい。
【００３６】
推定される平面が１つのみであればそれが床面３０に相当する。一方、複数の平面の存在が推定される場合には、例えば、最も広い平面を自動的に床面３０とみなすようにしてもよい。あるいは、それらの複数の平面をディスプレイなどに表示するとともに、使用者のマウスやキーボードなどによる外部操作によっていずれの平面が床面３０であるかを手動で選択できるようにしてもよい。
【００３７】
なお、このようにして定められた床面３０を表す平面の方程式に基づいて、空間中の距離画像カメラ１０の設置場所や撮像方向の角度などを演算して、カメラ座標系である距離画像ＤＩＡ１を、床面３０をＺ軸の原点とする座標系に変換してもよい。このときは、床面３０が基準平面（高さ＝０）となる。
【００３８】
（Ａ３）床面３０に段ボール箱２０が載置された状態での距離画像の取得
次に、載置面としての床面３０に、段ボール箱２０を少なくともその上面２１が距離画像カメラ１０に写るように載置した状態で撮像し、距離画像ＤＩＡ３を取得する。
【００３９】
ここで、段ボール箱２０の上面２１、前面２３、左側面２２の位置関係は図３を参照して説明した通りであるが、距離画像カメラ１０に写らない他の面についての位置関係は図５に示す通りである。すなわち、上面２１に対向するのが底面２４であり、左側面２２に対向するのが右側面２５であり、前面２３に対向するのが後面２６である。
【００４０】
（Ａ４）距離画像ＤＩＡ３に基づく演算で段ボール箱２０の上面２１の方程式を算出
上記（Ａ３）で取得された距離画像ＤＩＡ３に基づいて、同様に平面の推定を行ってそれぞれの方程式を算出する。
【００４１】
このようにして方程式が求められた所定面積以上の複数の平面のうちで、上記（Ａ２）で定められた床面３０に相当するものを除いた上で、この床面３０と最も平行に近い平面を選び出し、その平面を段ボール箱２０の上面２１と仮定する。
【００４２】
（Ａ５）段ボール箱２０の上面２１の横幅Ｗおよび奥行きＤを算出
上記（Ａ４）で上面２１と仮定された平面を、距離画像ＤＩＡ３の中の床面３０（高さ＝０）に射影すると、その射影は、例えば、図６（ａ）に示す矩形領域Ｒのようになる。なお、このような射影をするのは必ずしも底面３０には限らず、例えば、底面３０と平行な別平面にしてもよい。
【００４３】
そして、距離画像ＤＩＡ３の中の床面３０を横軸方向にスキャンして矩形領域Ｒの範囲幅（横幅Ｗに相当）を算出するとともに、縦軸方向にもスキャンして矩形領域Ｒの範囲幅（奥行きＤに相当）を算出する。ところが、図６（ａ）に示したような場合では、矩形領域Ｒは縦軸および横軸に対してやや傾いているので、横幅Ｗおよび奥行きＤは矩形領域Ｒ本来の値よりもそれぞれ大きく算出されてしまう。
【００４４】
そこで、距離画像ＤＩＡ３中で床面３０を少しずつ回転させながら、同様にして矩形領域Ｒの横幅Ｗおよび奥行きＤを算出し、横幅Ｗおよび奥行きＤの和（＝Ｗ＋Ｄ）が最小値となる角度を探索する。具体的には、縦軸および横軸のうちで傾きが少ない方の軸に対して、例えば、１度ずつ回転したことに相当する座標変換処理を行いながら矩形領域Ｒの横幅Ｗおよび奥行きＤを算出することを繰り返し、回転角度が４５度に達するまで続ける。
【００４５】
横幅Ｗおよび奥行きＤの和（＝Ｗ＋Ｄ）が最小値となった角度では、矩形領域Ｒは図６（ｂ）に示すようになっており、横幅Ｗおよび奥行きＤの和（＝Ｗ＋Ｄ）は矩形領域Ｒ本来の値にほぼ等しい。単に距離画像ＤＩＡ３中で検出された物体と周囲との境界（エッジ）を認識して物体の寸法を測定する方法では、その測定精度は距離画像ＤＩＡ３の解像度に制約されてしまう。これに対して、上記方法による寸法測定であれば、より高い精度が実現される。
【００４６】
なお、床面３０の方程式および上面２１の方程式がわかったことで、段ボール箱２０の高さＨも算出することができる。
【００４７】
＜ 段ボール箱２０の寸法測定方法（Ｂ）＞
（Ｂ１）床面３０に何も載置されていない状態での距離画像の取得
上記（Ａ１）と同様に、まず、距離画像カメラ１０の設置後などに、載置面としての床面３０に何も載置されていない状態でこの床面３０が写るように撮像し、距離画像ＤＩＢ１を取得しておく。
【００４８】
（Ｂ２）距離画像ＤＩＢ１に基づく演算で床面３０の方程式を算出
上記（Ａ２）と同様に、上記（Ｂ１）で取得された距離画像ＤＩＢ１に基づいて、床面３０を表す方程式を算出する。距離画像から床面３０などの平面の方程式を推定して算出するには、例えば、従来技術で用いられているハフ変換などを用いることができる。あるいは、後述する方法によって平面候補などを探索することなどによって平面を推定してもよい。
【００４９】
推定される平面が１つのみであればそれが床面３０に相当する。一方、複数の平面の存在が推定される場合には、例えば、最も広い平面を自動的に床面３０とみなすようにしてもよい。あるいは、それらの複数の平面をディスプレイなどに表示するとともに、使用者のマウスやキーボードなどによる外部操作によっていずれの平面が床面３０であるかを手動で選択できるようにしてもよい。
【００５０】
なお、このようにして定められた床面３０を表す平面の方程式に基づいて、空間中の距離画像カメラ１０の設置場所や撮像方向の角度などを演算して、カメラ座標系である距離画像ＤＩＢ１を、床面３０をＺ軸の原点とする座標系に変換してもよい。このときは、床面３０が基準平面（高さ＝０）となる。
【００５１】
（Ｂ３）床面３０に段ボール箱２０が載置された状態での距離画像の取得
次に、載置面としての床面３０に、段ボール箱２０の上面２１、前面２３およびこれらの面のいずれにも隣接する側面（例えば左側面）２２とが、距離画像カメラ１０に写るように載置した状態で撮像し、距離画像ＤＩＢ３を取得する。
【００５２】
（Ｂ４）距離画像ＤＩＢ３に基づく演算で段ボール箱２０の３面の方程式を算出
上記（Ｂ３）で取得された距離画像ＤＩＢ３に基づいて、同様に平面の推定を行ってそれぞれの方程式を算出する。
【００５３】
このようにして方程式が求められた所定面積以上の複数の平面のうちで、上記（Ｂ２）で定められた床面３０に相当するものを除いた上で、この床面３０と最も平行に近い平面を選び出し、その平面を段ボール箱２０の上面２１と仮定する。さらに、この上面２１も除いた残りの平面から床面３０および上面２１のいずれにほぼ直交する２つの平面を選び出して、それらを前面２３および左側面２２と仮定する。
【００５４】
（Ｂ５）段ボール箱２０の左側面２２とは反対側の右側面２５の方程式を算出
左側面２２とは反対側の右側面２５の方程式については、図７に示すように、上記（Ｂ４）で左側面２２と仮定された平面と、上面２１と仮定された平面で左側面２２とは反対側の辺２１ｒおよび前面２３と仮定された平面で左側面２２とは反対側の辺２３ｒ付近の距離画像ＤＩＢ３における測定値を用いて、右側面２５の方程式を算出する。
【００５５】
具体的には、距離画像ＤＩＢ３の中で左側面２２をその法線方向にずらしていき、辺２１ｒおよび辺２３ｒとのフィッティングを行って最も適合する位置を求めればよい。
【００５６】
（Ｂ６）段ボール箱２０の前面２３とは反対側の後面２６の方程式を算出
前面２３とは反対側の後面２６の方程式については、図８に示すように、上記（Ｂ４）で前面２３と仮定された平面と、上面２１と仮定された平面で前面２３とは反対側の辺２１ｂおよび左側面２２と仮定された平面で前面２３とは反対側の辺２２ｂ付近の距離画像ＤＩＢ３における測定値を用いて、後面２６の方程式を算出する。
【００５７】
具体的には、距離画像ＤＩＢ３の中で前面２３をその法線方向にずらしていき、辺２１ｂおよび辺２２ｂとのフィッティングを行って最も適合する位置を求めればよい。
【００５８】
（Ｂ７）段ボール箱２０の寸法の算出
以上のようにして算出した段ボール箱２０の各面それぞれの方程式に基づき、各面の交線を求め、さらにそれらの交点を求めることで、段ボール箱２０で測定すべき寸法である横幅Ｗ、奥行きＤおよび高さＨの３つを算出する。
【００５９】
このような寸法算出方法によれば、例えば、図９に示すように、段ボール箱２０の上面２１の左側面２２側の辺２１ｘを、上記（Ｂ４）で段ボール箱２０の左側面２２と仮定された平面と、上面２１と仮定された平面との交線として求めることができる。たとえ、距離画像カメラ１０のいずれかの画素がちょうど辺２１ｘ上の位置に対応していなくても、交線を正確に求めることができるので、結果として、距離画像カメラ１０の解像度を超える寸法測定精度を実現できる。
【００６０】
＜ 段ボール箱２０の寸法測定方法の変形例 ＞
上述した寸法測定方法（Ａ）では、段ボール箱２０の上面２１のみが写るように撮像した場合の寸法測定方法を説明し、寸法測定方法（Ｂ）では、段ボール箱２０の上面２１、前面２３および左側面２２が写るように撮像した場合の寸法測定方法を説明したが、これらの中間的なものとして、例えば、段ボール箱２０の上面２１および左側面２２（または上面２１および前面２３）が写るように撮像して寸法測定方法を行うことも可能である。
【００６１】
この場合、上面２１および左側面２２が写っているのであれば、左側面２２については上述した寸法測定方法（Ｂ）と同様の手順を適用し、写っていない前面２３については上述した寸法測定方法（Ａ）と同様の手順を適用すればよい。逆に、上面２１および前面２３が写っているのであれば、前面２３については上述した寸法測定方法（Ｂ）と同様の手順を適用し、写っていない左側面２２については上述した寸法測定方法（Ａ）と同様の手順を適用すればよい。
【００６２】
また、上述した寸法測定方法（Ａ）または寸法測定方法（Ｂ）の各ステップを順次実行するのに先立って、上記（Ａ３）で取得された距離画像ＤＩＡ３または上記（Ｂ３）で取得された距離画像ＤＩＢ３から段ボール箱２０の各エッジを大まかに検出し、その検出結果に基づいて寸法測定を行っておいてもよい。
【００６３】
また、段ボール箱２０を単に床面３０に載置するのではなく、例えば、図１０に示すように、段ボール箱２０の右側面２５および後面２６をそれぞれ押し当てて位置決めができるような横断面Ｌ字型の配置治具４０などを用いるようにすれば、上記（Ｂ２）の段階で、段ボール箱２０の右側面２５および後面２６にそれぞれ相当する平面の方程式を算出しておくことができる。そうすると、上記（Ｂ５）および（Ｂ６）が省略できるだけでなく、より精度の高い寸法測定が可能となる。
【００６４】
＜ 距離画像における平面推定方法 ＞
図１１は、距離画像カメラ１０に内蔵されているイメージセンサ１１によって取得される３次元データ構造の説明図である。
【００６５】
このイメージセンサ１１は正方格子状に配置された画素毎に距離情報を取得する。図１１に示すように、水平方向をＸ、垂直方向をＹとすると、被写体を含む撮像画角内を２次元配列上（Ｘ，Ｙ）に、距離画像カメラ１０の位置若しくは任意に設定された原点を基準とする３次元データＰXY＝（ｘXY，ｙXY、ｚXY）として格納する。
【００６６】
図１２は、外積についての説明図である。後述する距離画像における平面推定方法では、外積を多用するため、念のために簡単に説明しておく。
【００６７】
図１２に示すように、空間ベクトルａおよびｂの外積ａ×ｂは、空間ベクトルａおよびｂいずれに対しても垂直であり、外積ａ×ｂの大きさは空間ベクトルａおよびｂの張る平行四辺形の面積Ｓに等しい。また、ａ、ｂ、ａ×ｂは順に右手系をなす。ただし、平行四辺形がつぶれてＳ＝０となるａ、ｂに関してはａ×ｂ＝０となる。
【００６８】
ここで、空間ベクトルａ＝（ａ1，ａ2，ａ3）、ｂ＝（ｂ1，ｂ2，ｂ3）とすると、
ａ×ｂ＝（ａ2ｂ3−ａ3ｂ2，ａ3ｂ1−ａ1ｂ3，ａ1ｂ2−ａ2ｂ1）
である。
【００６９】
なお、外積ａ×ｂが空間ベクトルａおよびｂいずれに対しても垂直であることから、外積ａ×ｂは、空間ベクトルａおよびｂを隣接する２辺とする三角形の３頂点で定まる平面の法線ベクトルでもある。
【００７０】
図１３は、距離画像における平面推定方法の概略を示すフローチャートである。以下では、この図１３を参照しながら、距離画像カメラ１０によって取得された距離画像における平面推定方法を説明する。なお、図１３のステップＳ７〜Ｓ９は必ずしも行わなくてもよいので、後述する＜距離画像における平面推定方法の変形例など＞において説明する。
【００７１】
イメージセンサ１１によって取得された３次元データは、画像処理ユニット１２によって次のような処理を行うことによって距離画像における平面の推定を行う。ここで言う「平面」とは、床面や壁面などのように一定値以上の広い面積を有しており、人体などの背景として距離画像から分離すべき領域を意味している。
【００７２】
（１）データ変換
図１１を参照して上述したように、イメージセンサ１１の画素自体は正方格子状に配置されている。そこでまず、図１４（ａ）に示すように、Ｘ方向（図１１と同様に水平方向、以下も同様）に並んでいる各行の隣接２画素毎に３次元データを平均化する演算を行う。このとき、上下に隣接する行同士では、平均化する隣接２画素の組み合わせを１画素分だけずらすようにしている。これにより、図１４（ｂ）に示すように、千鳥格子状配置に変換した３次元データ（変換後３次元データ）が得られることになる（ステップＳ１）。
【００７３】
なお、変換前の３次元データをＸ方向の隣接２画素毎に平均化したことにより、変換後３次元データのＸ方向の画素間隔は、実際には元の２倍になっているが、説明の簡略化などの都合上、同じ画素間隔として図示してある（図１７以降も同様）。
【００７４】
ただし、補間演算の併用などの工夫によって変換前の３次元データとＸ方向の画素間隔を同じに維持しながら千鳥格子状配置の３次元データに変換することなども可能である。例えば、図１５（ａ）に示すように、Ｘ方向に並んでいる各行の隣接２画素毎に３次元データを平均化する演算（図１４（ａ）の場合とは異なる演算）を行えば、図１５（ｂ）に示すような変換後３次元データが得られる。あるいは、千鳥格子状配置の３次元データに変換しなくても、図１６に示すような隣接画素の組み合わせで後述するような着目三角形を決めて演算を行うようにしてもよい。
【００７５】
また、同一時刻の１フレームの距離画像のみを用いて平均化を行うのではなく、例えば、時間軸上の複数フレームの距離画像を用いて平均化を行うようにしてもよい。
【００７６】
（２）着目三角形を対象とする演算
次に、千鳥格子状配置の最小の単位格子である小三角形のいずれかに着目する。ここで、例えば図１７に示すように、小三角形ＴS1に着目したとすると、この小三角形ＴS1の３つの頂点Ａ１、Ａ２、Ａ３に対応する変換後３次元データに基づいて、頂点Ａ１、Ａ２、Ａ３で定まる平面の方程式と、この平面の法線ベクトルとして小三角形ＴS1の２辺（Ａ１Ａ２、Ａ１Ａ３）にそれぞれ対応する２ベクトルの外積を算出する（ステップＳ２）。
【００７７】
（３）隣接三角形を対象とする演算
さらに、着目した小三角形ＴS1の３辺（Ａ１Ａ２、Ａ１Ａ３、Ａ２Ａ３）のいずれかをそれぞれ共有するように隣接する３つの小三角形ＴS2、ＴS3、ＴS4（変換後３次元データの画素上では小三角形ＴS1とそれぞれ同じ大きさ）についても、同様にして法線ベクトルをそれぞれ算出する。
【００７８】
（４）平面候補探索
そして、４つの小三角形ＴS1、ＴS2、ＴS3、ＴS4の各法線ベクトルのうちの２つの組み合わせすべて（合計６通り）の外積を求めてから（ステップＳ３）、それらの外積の大きさの最大値と所定閾値（第１閾値）との大小比較を行う。なお、この第１閾値は固定値に限るわけではなく、例えば、着目した小三角形ＴS1の変換後３次元データの画素上における大きさに応じて可変としてもよい。この場合、後述するように着目する三角形の大きさを拡大したときは、それに応じて第１閾値も大きくすればよい。
【００７９】
この大小比較の結果、外積の大きさの最大値が第１閾値以下だったときは、４つの小三角形ＴS1、ＴS2、ＴS3、ＴS4からなる１つの大三角形（Ａ４、Ａ５、Ａ６を頂点とする三角形）を平面候補と判定する。というのは、千鳥格子状配置の各小三角形がすべて同一形状であれば各小三角形の面積もすべて同一となり、外積から求められる各法線ベクトルの大きさも等しくなるから、２つの法線ベクトルの外積の大きさの違いはそれら２つの法線ベクトルがなす角度のみに依存するからである。外積の大きさの最大値が第１閾値以下ということは、各法線ベクトルの任意の２つの組み合わせのなす角度が、所定値に対応する角度以下であることを示している。
【００８０】
次の平面候補を探索するため、着目する小三角形を移動してから同様の処理を繰り返す。例えば、小三角形ＴS1の右上の小三角形ＴS5に着目してもよい。このようにすれば、この小三角形ＴS5を中央に含む大三角形が、小三角形ＴS1、ＴS2、ＴS3、ＴS4からなる大三角形とは形状が上下に対称ではあるが、ちょうど隣接する。
【００８１】
このように、着目する小三角形を移動しながら同様の処理の繰り返しを変換後３次元データ全体にわたって行うことにより、変換後３次元データ内に存在するすべての平面候補の探索をすることができる（ステップＳ４）。
【００８２】
（５）平面判定
上記（４）平面候補探索で、大三角形（Ａ４、Ａ５、Ａ６を頂点とする三角形）が平面候補と判定されたのであれば、図１８に示すように、今度は大三角形ＴL1に着目するとともにこれに隣接する３つの大三角形ＴL2、ＴL3、ＴL4も用いて、上記（２）〜（４）と同様の処理を繰り返す。このとき、これらの大三角形ＴL1などは小三角形ＴS1などとみなされていることになる。
【００８３】
さらに、図１９に示すように、平面候補探索で着目する三角形の大きさを拡大する。すなわち、三角形ＴX1に着目し、これ以降も同様の処理を再帰的に繰り返していく（ステップＳ５）。ただし、大きさを拡大した後の着目する三角形ＴX1の中に、平面候補から除外された三角形を含む場合には、この三角形ＴX1は平面候補から除外する。
【００８４】
そして、そのような再帰的な平面候補探索処理の繰り返しの結果、平面候補と判定された新たな大三角形の面積が所定面積（第２閾値）以上となっていれば、その大三角形に対応する領域を平面と判定する。処理の繰り返し回数には、規定回数を上限として設定しておくことが好ましい（ステップＳ６）。
【００８５】
このように、着目する三角形の大きさを拡大しながら再帰的な処理を繰り返すことによって、効率良く平面を推定することができる。
【００８６】
（６）距離画像からの平面分離
以上の（１）〜（５）までの処理によって平面と判定されたすべての領域を距離画像から分離する。例えば、撮像された距離画像を用いるのではなく、平面と判定された領域についてはその平面上に再描画してもよい。これにより、距離画像において床面や壁面などの平面に対応する画素とそれ以外の画素とを分離して扱うことが可能となるので、人体や物体などの検出をより的確に行うことができるようになる。
【００８７】
図２０に示すように、滑らかな曲面Ｆ１に適用したとき、点Ｐnとこれに隣接する点Ｐn+1および点Ｐn-1からなる小さい三角形のみでは角度が極めて浅くなるため、平面と誤認してしまう可能性がある。一方、上述した再帰的処理を用いた距離画像における平面推定方法によれば、例えば、点Ｐnとこれから少し離れた点Ｐn+4および点Ｐn-4からなる大三角形では角度が急になるため、そのような誤認を防止することができる。
【００８８】
また、図２１に示すように、全体としては平面とみなしてもかまわないような面Ｆ２の中に極めて小さな段差Ｂ２が存在していても、そのようなときの段差Ｂ２における三角形の面積は小さくなるので、外積の計算結果は小さくなることが期待できる。これにより、たとえ、小さな段差Ｂ２を有する場合であっても、それを含む面Ｆ２を平面であると的確に認識することができる。
【００８９】
＜ 距離画像における平面推定方法の変形例など ＞
例えば、上記（４）平面候補探索では、図２２に示すように、着目した小三角形ＴS1とこれに隣接する３つの小三角形ＴS2、ＴS3、ＴS4からなる大三角形が平面候補と判定されなかったとしても、この大三角形に隣接する大三角形ＴL1が平面候補と判定されることはあり得る。
【００９０】
そこで、このような場合の平面の候補漏れの処理（ステップＳ７）としては、大三角形ＴL1の法線ベクトルと、各小三角形ＴS2、ＴS3、ＴS4の法線ベクトルの外積が所定閾値以下であれば、各小三角形ＴS2、ＴS3、ＴS4をそれぞれ平面候補とみなすようにしてもよい。ただし、それ以降の平面候補探索には、小三角形ＴS1、ＴS2、ＴS3、ＴS4からなる大三角形を用いて行ってもよい。また、このような平面の候補漏れの処理は、着目する三角形の大きさを縮小しながら再帰的に行うとともに（ステップＳ８）、処理の繰り返し回数には、規定回数を上限として設定しておくことが好ましい（ステップＳ９）。
【００９１】
また、上記（５）平面判定で、平面と判定された領域が複数存在する場合は、最も広い領域を自動的に床面とみなすようにしてもよい。あるいは、それらの複数の領域をディスプレイなどに表示するとともに、使用者のマウスやキーボードなどによる外部操作によっていずれの領域が床面であるかを選択できるようにしてもよい。
【００９２】
さらに、このようにして定められた床面を表す平面の方程式に基づいて、空間中の距離画像カメラ１０の設置場所や撮像方向の角度などを演算して、カメラ座標系である距離画像を、床面をＺ軸の原点とする座標系に変換してもよい。
【００９３】
なお、本発明は、その主旨または主要な特徴から逸脱することなく、他のいろいろな形で実施することができる。そのため、上述の実施形態はあらゆる点で単なる例示にすぎず、限定的に解釈してはならない。本発明の範囲は特許請求の範囲によって示すものであって、明細書本文にはなんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内のものである。
【符号の説明】
【００９４】
１０ 距離画像カメラ
１１ イメージセンサ
１２ 画像処理ユニット
１３ 制御ユニット
１５ 外部のディスプレイ
２０ 段ボール箱
２１ 上面
２２ 左側面
２３ 前面
２４ 底面
２５ 右側面
２６ 後面
３０ 床面
４０ 配置治具４０
Ｄ 奥行き
Ｈ 高さ
Ｗ 横幅
ＴS1 着目した小三角形
ＴS2、ＴS3、ＴS4 隣接する小三角形
ＴL1 着目した大三角形
ＴL2、ＴL3、ＴL4 隣接する大三角形
【技術分野】
【０００１】
本発明は、距離画像カメラを用いた物体寸法測定方法および物体寸法測定装置に関し、特に、段ボール箱などの直方体形状の物体を距離画像カメラを用いて撮像し、この距離画像カメラの解像度を超えた精度での物体寸法測定を実現可能な物体寸法測定方法、およびそのような物体寸法測定方法が適用されている物体寸法測定装置に関する。
【背景技術】
【０００２】
従来、ベルトコンベアなどの物流機器を制御する上で、流路内を通過する被検出物を撮像して、その画像を処理することで、被検出物の寸法や姿勢、被検出物間の距離情報を取得できる物流情報読取り装置が提案されている（例えば、特許文献１参照）。
【０００３】
この物流情報読取り装置では、情報収集手段としてＣＣＤカメラ等による撮像手段と、超音波等による距離センサを用い、撮像手段によって得られたデジタル画像を、距離センサにより得られたデータを用いつつ画像処理することによって物流制御に必要なデータを収集・解析する。これにより、被検出物の通過時間を待つことなく瞬時に被検出物の寸法や姿勢、被検出物間の距離情報を取得することができ、かつ、その結果を同時に外部に出力できる。
【０００４】
また、三次元形状の大まかな大きさを簡単に計測できる三次元形状表示装置も提案されている（例えば、特許文献２参照）。
【０００５】
その他、対象物の濃淡画像と距離画像との少なくとも一方を用いてその対象物のエッジを抽出してその形状を推定するとともに、距離画像内での計測点に対応する部位の三次元位置から２個の計測点に対応する部位間の実寸を求めることが可能な計測装置も提案されている（例えば、特許文献３参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０００−１７１２１５号公報
【特許文献２】特開２００４−１０２９７９号公報
【特許文献３】特開２００６−１５３７７１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
これらの従来技術によって段ボール箱の寸法を精密に測定しようとすると、特許文献１に記載の技術では非常に大がかりで複雑なものになってしまい、コストアップや設置場所などの点でも問題が多い。特許文献２に記載の技術は、あくまでも簡易的な計測のためのものであって、寸法の精密な測定には不向きである。特許文献３に記載の技術では、距離画像などから対象物のエッジを抽出しているため、寸法の測定精度が撮像装置の解像度によって大きく制約されてしまう。
【０００８】
従来技術のこのような課題に鑑み、本発明の目的は、段ボール箱などの寸法測定を行う場合に、特別な配置治具などを必要とせずに距離画像カメラを配置するだけでよく、しかもその距離画像カメラの解像度を超える寸法測定精度を実現可能な物体寸法測定方法および物体寸法測定装置を提供することである。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、本発明の距離画像カメラを用いた物体寸法測定方法は、載置面に何も載置されていない状態でこの載置面が写るように撮像して第１距離画像を取得する第１撮像工程と、前記第１距離画像に基づいて前記載置面の方程式を算出する載置面方程式算出工程と、前記載置面に載置された直方体の少なくとも上面が写るように撮像して第２距離画像を取得する第２撮像工程と、前記第２距離画像に基づいて前記上面の方程式を算出する上面方程式算出工程と、この上面方程式算出工程で方程式が算出された前記上面を前記第２距離画像の中で前記載置面若しくは前記載置面と平行な平面に射影し、その射影がなされた面を回転させながら前記上面の射影の横軸方向および縦軸方向の各範囲幅の合計値をそれぞれ算出して、算出された合計値が最小となる回転角度を探索し、最小となった合計値を前記上面の隣接する２辺の寸法の合計値として算出する寸法算出工程とを含むことを特徴とする。
【００１０】
このような構成の距離画像カメラを用いた物体寸法測定方法によれば、段ボール箱などの寸法測定を行う場合に、特別な配置治具などを必要とせずに距離画像カメラを配置するだけでよく、しかも、段ボール箱の横幅および奥行きの合計値については距離画像カメラの解像度を超える寸法測定精度を実現することができる。
【００１１】
あるいは、本発明の距離画像カメラを用いた物体寸法測定方法は、載置面に何も載置されていない状態でこの載置面が写るように撮像して第１距離画像を取得する第１撮像工程と、前記第１距離画像に基づいて前記載置面の方程式を算出する載置面方程式算出工程と、前記載置面に載置された直方体の上面と前面と該上面および該前面のいずれにも隣接する第１側面とが写るように撮像して第２距離画像を取得する第２撮像工程と、前記第２距離画像に基づいて前記上面、前記前面および前記第１側面の各方程式を算出する３面方程式算出工程と、前記第２距離画像の中で前記第１側面をその法線方向にずらしていき、前記上面で前記第１側面とは反対側の辺および前記前面で前記上面で前記第１側面とは反対側の辺と最も適合する位置に基づいて前記直方体の第２側面の方程式を算出する第２側面方程式算出工程と、前記第２距離画像の中で前記前面をその法線方向にずらしていき、前記上面で前記前面とは反対側の辺および前記第１側面で前記前面とは反対側の辺と最も適合する位置に基づいて前記直方体の後面の方程式を算出する後面方程式算出工程と、算出された前記載置面、前記上面、前記前面、前記第１側面、前記第２側面および前記後面それぞれの方程式に基づき、各面の交線を求め、さらにそれらの交点を求めることで、前記直方体の横幅、奥行きおよび高さを算出する寸法算出工程とを含むことを特徴とする。
【００１２】
このような構成の距離画像カメラを用いた物体寸法測定方法によれば、段ボール箱などの寸法測定を行う場合に、特別な配置治具などを必要とせずに距離画像カメラを配置するだけでよく、しかも、距離画像カメラの解像度を超える寸法測定精度を実現することができる。
【００１３】
あるいは、本発明の距離画像カメラを用いた物体寸法測定方法は、載置面に何も載置されていない状態でこの載置面と横断面Ｌ字型の配置治具の直交する第１内壁面および第２内壁面とが写るように撮像して第１距離画像を取得する第１撮像工程と、前記第１距離画像に基づいて前記載置面、前記第１内壁面および前記第２内壁面の各方程式を算出する載置面・壁面方程式算出工程と、前記第１内壁面および前記第２内壁面にも圧接するように前記載置面に載置された直方体の上面と前面と該上面および該前面のいずれにも隣接する第１側面とが写るように撮像して第２距離画像を取得する第２撮像工程と、前記第２距離画像に基づいて前記上面、前記前面および前記第１側面の各方程式を算出する３面方程式算出工程と、算出された前記載置面、前記上面、前記前面、前記第１側面、前記第１内壁面および前記第２内壁面それぞれの方程式に基づき、各面の交線を求め、さらにそれらの交点を求めることで、前記直方体の横幅、奥行きおよび高さを算出する寸法算出工程とを含むことを特徴とする。
【００１４】
このような構成の距離画像カメラを用いた物体寸法測定方法によれば、段ボール箱などの寸法測定を行う場合に、横断面Ｌ字型の配置治具と距離画像カメラを配置するだけでよく、しかも、距離画像カメラの解像度を超える寸法測定精度を実現することができる。
【００１５】
また、本発明の距離画像カメラを用いた物体寸法測定方法において、前記載置面方程式算出工程または前記載置面・壁面方程式算出工程で複数の平面の存在が推定される場合には、最も広い平面を前記載置面とみなしてその方程式を算出することを特徴としてもよい。
【００１６】
このような構成の距離画像カメラを用いた物体寸法測定方法によれば、距離画像カメラに対して床面指定のためのパラメータ入力などが不要となる。
【００１７】
また、本発明の距離画像カメラを用いた物体寸法測定方法において、前記第２距離画像に基づいて、前記直方体の各エッジを検出し、その検出結果に基づいて前記直方体の横幅、奥行きおよび高さを算出する概略寸法算出工程をさらに含んでもよい。
【００１８】
あるいは、本発明の距離画像カメラを用いた物体寸法測定方法は、載置面に載置された直方体の上面と前面と該上面および該前面のいずれにも隣接する側面とが写るように撮像して距離画像を取得する撮像工程と、前記距離画像に基づいて前記載置面、前記上面、前記前面および前記側面の方程式をそれぞれ算出する４面方程式算出工程と、この４面方程式算出工程で算出された各方程式から少なくとも前記上面、前記前面および前記側面相互の交線を求め、さらにそれらの交点を求めることで、前記直方体の横幅、奥行きおよび高さを算出する寸法算出工程とを含むことを特徴とする。
【００１９】
このような構成の距離画像カメラを用いた物体寸法測定方法によれば、段ボール箱などの寸法測定を行う場合に、特別な配置治具などを必要とせずに距離画像カメラを配置するだけでよく、しかも、距離画像カメラの解像度を超える寸法測定精度を実現することができる。
【００２０】
あるいは、上記目的を達成するため、本発明の物体寸法測定装置は、画素値に距離情報を取得して距離画像を生成可能な撮像素子と、この距離画像における画像処理を行う画像処理ユニットとを備え、前記画像処理ユニットにおける前記画像処理で、上述したいずれかの距離画像カメラを用いた物体寸法測定方法が実行されることを特徴とする。
【００２１】
このような構成の物体寸法測定装置によれば、段ボール箱などの寸法測定を行う場合に、専ら距離画像カメラを配置するだけでよく、しかも、距離画像カメラの解像度を超える寸法測定精度を実現することができる。
【発明の効果】
【００２２】
本発明の距離画像カメラを用いた物体寸法測定方法および物体寸法測定装置によれば段ボール箱などの寸法測定を行う場合に、専ら距離画像カメラを配置するだけでよく、しかも、距離画像カメラの解像度を超える寸法測定精度を実現することができる。
【図面の簡単な説明】
【００２３】
【図１】本発明の一実施形態に係る距離画像カメラ１０の概略構成を示すブロック図である。
【図２】距離画像カメラ１０によって段ボール箱２０を撮像する場合のこれらの位置関係の説明図である。
【図３】距離画像カメラ１０による段ボール箱２０の撮像結果が外部のディスプレイ１５に表示されている一例の説明図である。
【図４】距離画像カメラ１０によって実際に段ボール箱２０を撮像して取得した距離画像の一例である。
【図５】段ボール箱２０の各面の位置関係などの説明図である。
【図６】上面２１と仮定された平面を、距離画像ＤＩＡ３の中の床面３０に射影したときの矩形領域Ｒを示す説明図であり、図６（ａ）は矩形領域Ｒが縦軸および横軸に対してやや傾いている場合を示し、図６（ｂ）は矩形領域Ｒが縦軸および横軸に対して傾いていない場合を示す。
【図７】段ボール箱２０の左側面２２とは反対側の右側面２５の方程式の算出の説明図である。
【図８】段ボール箱２０の前面２３とは反対側の後面２６の方程式の算出の説明図である。
【図９】距離画像カメラ１０の解像度を超える寸法測定精度を実現できることの説明図である。
【図１０】段ボール箱２０の位置決めができる横断面Ｌ字型の配置治具４０の説明図である。
【図１１】距離画像カメラ１０に内蔵されているイメージセンサ１１によって取得される３次元データ構造の説明図である。
【図１２】外積についての説明図である。
【図１３】距離画像における平面推定方法の概略を示すフローチャートである。
【図１４】図１４（ａ）はＸ方向に並んでいる各行の隣接２画素毎に３次元データを平均化する演算の説明図であり、図１４（ｂ）は千鳥格子状配置に変換した変換後３次元データの説明図である。
【図１５】図１５（ａ）はＸ方向に並んでいる各行の隣接２画素毎に３次元データを平均化する別の演算の説明図である。図１５（ｂ）はその変換後３次元データの説明図である。
【図１６】千鳥格子状配置の３次元データに変換しない場合における着目三角形の決め方の説明図である。
【図１７】小三角形ＴS1に着目して平面候補探索などを行う処理の説明図である。
【図１８】大三角形ＴL1に着目して平面候補探索などを繰り返す処理の説明図である。
【図１９】平面候補探索で着目する三角形の大きさをさらに拡大した場合の説明図である。
【図２０】図１３に示した距離画像における平面推定方法による作用効果の説明図である。
【図２１】図１３に示した距離画像における平面推定方法による別の作用効果の説明図である。
【図２２】平面候補探索の候補漏れに対する処理の説明図である。
【発明を実施するための形態】
【００２４】
以下、本発明の実施形態を、図面を参照して説明する。
【００２５】
＜ 距離画像カメラ１０の概略構成など ＞
図１は、本発明の一実施形態に係る距離画像カメラ１０の概略構成を示すブロック図である。なお、この距離画像カメラ１０は、段ボール箱２０などの直方体の物体寸法測定装置としても機能する。
【００２６】
この図１に示すように、距離画像カメラ１０は、対象空間へ投射した光が反射されて戻ってくるまでの時間に基づいて画素値に距離データを取得して距離画像を生成することが可能なイメージセンサ１１（例えば、ＴＯＦセンサなど）と、段ボール箱２０を撮像した距離画像から段ボール箱２０の寸法を測定したり距離画像における平面の推定（詳細は後述）などを行う画像処理ユニット１２と、距離画像カメラ１０全体の制御などを行う制御ユニット１３（例えば、ＣＰＵ）を備えている。
【００２７】
また、距離画像カメラ１０は外部のディスプレイ１５に接続されており、距離画像カメラ１０で撮像した距離画像などをこのディスプレイ１５に表示することができる。
【００２８】
図２は、距離画像カメラ１０によって段ボール箱２０を撮像する場合のこれらの位置関係の説明図である。図３は、この距離画像カメラ１０による段ボール箱２０の撮像結果が外部のディスプレイ１５に表示されている一例の説明図である。
【００２９】
図２に示すように、直方体形状の段ボール箱２０が載置される床面３０などの斜め上方に距離画像カメラ１０が設置される。このとき、図３に示すように、段ボール箱２０の上面２１および前面２３とこれらの面のいずれにも隣接する側面（例えば左側面）２２とが、距離画像カメラ１０の撮像画角内にすべて写るようにすることが好ましい。
【００３０】
なお、段ボール箱２０について測定すべき寸法とは、横幅Ｗ（上面２１および前面２３などの横幅でもある）、奥行きＤ（上面２１および左側面２２などの奥行きでもある）、および高さＨ（左側面２２および前面２３などの高さでもある）の３つである。
【００３１】
図４は、距離画像カメラ１０によって実際に段ボール箱２０を撮像して取得した距離画像の一例である。ただし、この場合の距離画像カメラ１０と段ボール箱２０との位置関係は図２の場合とは異なっているため、図３とは段ボール箱２０の位置や向きなどが違っていることに留意されたい。
【００３２】
また、室内が暗い場合など、通常のイメージセンサで撮像された可視光による画像では、段ボール箱２０と床面３０やその周囲などとの境界が不鮮明となることもある。これに対して、距離画像カメラ１０によって撮像された距離画像では、図４に示すように、床面３０に載置された段ボール箱２０の表面が明確に浮かび上がる。
【００３３】
＜ 段ボール箱２０の寸法測定方法（Ａ）＞
（Ａ１）床面３０に何も載置されていない状態での距離画像の取得
まず、距離画像カメラ１０の設置後などに、載置面としての床面３０に何も載置されていない状態でこの床面３０が写るように撮像し、距離画像ＤＩＡ１を取得しておく。
【００３４】
ここでは、段ボール箱２０を床面３０に直接載置することを想定しているが、載置面は床面３０には限られない。例えば、段ボール箱２０を載置するための専用台などを設けてもよいが、その場合はその専用台の上面が載置面となる。
【００３５】
（Ａ２）距離画像ＤＩＡ１に基づく演算で床面３０の方程式を算出
上記（Ａ１）で取得された距離画像ＤＩＡ１に基づいて、床面３０を表す方程式を算出する。距離画像から床面３０などの平面の方程式を推定して算出するには、例えば、従来技術で用いられているハフ変換などを用いることができる。あるいは、後述する方法によって平面候補などを探索することなどによって平面を推定してもよい。
【００３６】
推定される平面が１つのみであればそれが床面３０に相当する。一方、複数の平面の存在が推定される場合には、例えば、最も広い平面を自動的に床面３０とみなすようにしてもよい。あるいは、それらの複数の平面をディスプレイなどに表示するとともに、使用者のマウスやキーボードなどによる外部操作によっていずれの平面が床面３０であるかを手動で選択できるようにしてもよい。
【００３７】
なお、このようにして定められた床面３０を表す平面の方程式に基づいて、空間中の距離画像カメラ１０の設置場所や撮像方向の角度などを演算して、カメラ座標系である距離画像ＤＩＡ１を、床面３０をＺ軸の原点とする座標系に変換してもよい。このときは、床面３０が基準平面（高さ＝０）となる。
【００３８】
（Ａ３）床面３０に段ボール箱２０が載置された状態での距離画像の取得
次に、載置面としての床面３０に、段ボール箱２０を少なくともその上面２１が距離画像カメラ１０に写るように載置した状態で撮像し、距離画像ＤＩＡ３を取得する。
【００３９】
ここで、段ボール箱２０の上面２１、前面２３、左側面２２の位置関係は図３を参照して説明した通りであるが、距離画像カメラ１０に写らない他の面についての位置関係は図５に示す通りである。すなわち、上面２１に対向するのが底面２４であり、左側面２２に対向するのが右側面２５であり、前面２３に対向するのが後面２６である。
【００４０】
（Ａ４）距離画像ＤＩＡ３に基づく演算で段ボール箱２０の上面２１の方程式を算出
上記（Ａ３）で取得された距離画像ＤＩＡ３に基づいて、同様に平面の推定を行ってそれぞれの方程式を算出する。
【００４１】
このようにして方程式が求められた所定面積以上の複数の平面のうちで、上記（Ａ２）で定められた床面３０に相当するものを除いた上で、この床面３０と最も平行に近い平面を選び出し、その平面を段ボール箱２０の上面２１と仮定する。
【００４２】
（Ａ５）段ボール箱２０の上面２１の横幅Ｗおよび奥行きＤを算出
上記（Ａ４）で上面２１と仮定された平面を、距離画像ＤＩＡ３の中の床面３０（高さ＝０）に射影すると、その射影は、例えば、図６（ａ）に示す矩形領域Ｒのようになる。なお、このような射影をするのは必ずしも底面３０には限らず、例えば、底面３０と平行な別平面にしてもよい。
【００４３】
そして、距離画像ＤＩＡ３の中の床面３０を横軸方向にスキャンして矩形領域Ｒの範囲幅（横幅Ｗに相当）を算出するとともに、縦軸方向にもスキャンして矩形領域Ｒの範囲幅（奥行きＤに相当）を算出する。ところが、図６（ａ）に示したような場合では、矩形領域Ｒは縦軸および横軸に対してやや傾いているので、横幅Ｗおよび奥行きＤは矩形領域Ｒ本来の値よりもそれぞれ大きく算出されてしまう。
【００４４】
そこで、距離画像ＤＩＡ３中で床面３０を少しずつ回転させながら、同様にして矩形領域Ｒの横幅Ｗおよび奥行きＤを算出し、横幅Ｗおよび奥行きＤの和（＝Ｗ＋Ｄ）が最小値となる角度を探索する。具体的には、縦軸および横軸のうちで傾きが少ない方の軸に対して、例えば、１度ずつ回転したことに相当する座標変換処理を行いながら矩形領域Ｒの横幅Ｗおよび奥行きＤを算出することを繰り返し、回転角度が４５度に達するまで続ける。
【００４５】
横幅Ｗおよび奥行きＤの和（＝Ｗ＋Ｄ）が最小値となった角度では、矩形領域Ｒは図６（ｂ）に示すようになっており、横幅Ｗおよび奥行きＤの和（＝Ｗ＋Ｄ）は矩形領域Ｒ本来の値にほぼ等しい。単に距離画像ＤＩＡ３中で検出された物体と周囲との境界（エッジ）を認識して物体の寸法を測定する方法では、その測定精度は距離画像ＤＩＡ３の解像度に制約されてしまう。これに対して、上記方法による寸法測定であれば、より高い精度が実現される。
【００４６】
なお、床面３０の方程式および上面２１の方程式がわかったことで、段ボール箱２０の高さＨも算出することができる。
【００４７】
＜ 段ボール箱２０の寸法測定方法（Ｂ）＞
（Ｂ１）床面３０に何も載置されていない状態での距離画像の取得
上記（Ａ１）と同様に、まず、距離画像カメラ１０の設置後などに、載置面としての床面３０に何も載置されていない状態でこの床面３０が写るように撮像し、距離画像ＤＩＢ１を取得しておく。
【００４８】
（Ｂ２）距離画像ＤＩＢ１に基づく演算で床面３０の方程式を算出
上記（Ａ２）と同様に、上記（Ｂ１）で取得された距離画像ＤＩＢ１に基づいて、床面３０を表す方程式を算出する。距離画像から床面３０などの平面の方程式を推定して算出するには、例えば、従来技術で用いられているハフ変換などを用いることができる。あるいは、後述する方法によって平面候補などを探索することなどによって平面を推定してもよい。
【００４９】
推定される平面が１つのみであればそれが床面３０に相当する。一方、複数の平面の存在が推定される場合には、例えば、最も広い平面を自動的に床面３０とみなすようにしてもよい。あるいは、それらの複数の平面をディスプレイなどに表示するとともに、使用者のマウスやキーボードなどによる外部操作によっていずれの平面が床面３０であるかを手動で選択できるようにしてもよい。
【００５０】
なお、このようにして定められた床面３０を表す平面の方程式に基づいて、空間中の距離画像カメラ１０の設置場所や撮像方向の角度などを演算して、カメラ座標系である距離画像ＤＩＢ１を、床面３０をＺ軸の原点とする座標系に変換してもよい。このときは、床面３０が基準平面（高さ＝０）となる。
【００５１】
（Ｂ３）床面３０に段ボール箱２０が載置された状態での距離画像の取得
次に、載置面としての床面３０に、段ボール箱２０の上面２１、前面２３およびこれらの面のいずれにも隣接する側面（例えば左側面）２２とが、距離画像カメラ１０に写るように載置した状態で撮像し、距離画像ＤＩＢ３を取得する。
【００５２】
（Ｂ４）距離画像ＤＩＢ３に基づく演算で段ボール箱２０の３面の方程式を算出
上記（Ｂ３）で取得された距離画像ＤＩＢ３に基づいて、同様に平面の推定を行ってそれぞれの方程式を算出する。
【００５３】
このようにして方程式が求められた所定面積以上の複数の平面のうちで、上記（Ｂ２）で定められた床面３０に相当するものを除いた上で、この床面３０と最も平行に近い平面を選び出し、その平面を段ボール箱２０の上面２１と仮定する。さらに、この上面２１も除いた残りの平面から床面３０および上面２１のいずれにほぼ直交する２つの平面を選び出して、それらを前面２３および左側面２２と仮定する。
【００５４】
（Ｂ５）段ボール箱２０の左側面２２とは反対側の右側面２５の方程式を算出
左側面２２とは反対側の右側面２５の方程式については、図７に示すように、上記（Ｂ４）で左側面２２と仮定された平面と、上面２１と仮定された平面で左側面２２とは反対側の辺２１ｒおよび前面２３と仮定された平面で左側面２２とは反対側の辺２３ｒ付近の距離画像ＤＩＢ３における測定値を用いて、右側面２５の方程式を算出する。
【００５５】
具体的には、距離画像ＤＩＢ３の中で左側面２２をその法線方向にずらしていき、辺２１ｒおよび辺２３ｒとのフィッティングを行って最も適合する位置を求めればよい。
【００５６】
（Ｂ６）段ボール箱２０の前面２３とは反対側の後面２６の方程式を算出
前面２３とは反対側の後面２６の方程式については、図８に示すように、上記（Ｂ４）で前面２３と仮定された平面と、上面２１と仮定された平面で前面２３とは反対側の辺２１ｂおよび左側面２２と仮定された平面で前面２３とは反対側の辺２２ｂ付近の距離画像ＤＩＢ３における測定値を用いて、後面２６の方程式を算出する。
【００５７】
具体的には、距離画像ＤＩＢ３の中で前面２３をその法線方向にずらしていき、辺２１ｂおよび辺２２ｂとのフィッティングを行って最も適合する位置を求めればよい。
【００５８】
（Ｂ７）段ボール箱２０の寸法の算出
以上のようにして算出した段ボール箱２０の各面それぞれの方程式に基づき、各面の交線を求め、さらにそれらの交点を求めることで、段ボール箱２０で測定すべき寸法である横幅Ｗ、奥行きＤおよび高さＨの３つを算出する。
【００５９】
このような寸法算出方法によれば、例えば、図９に示すように、段ボール箱２０の上面２１の左側面２２側の辺２１ｘを、上記（Ｂ４）で段ボール箱２０の左側面２２と仮定された平面と、上面２１と仮定された平面との交線として求めることができる。たとえ、距離画像カメラ１０のいずれかの画素がちょうど辺２１ｘ上の位置に対応していなくても、交線を正確に求めることができるので、結果として、距離画像カメラ１０の解像度を超える寸法測定精度を実現できる。
【００６０】
＜ 段ボール箱２０の寸法測定方法の変形例 ＞
上述した寸法測定方法（Ａ）では、段ボール箱２０の上面２１のみが写るように撮像した場合の寸法測定方法を説明し、寸法測定方法（Ｂ）では、段ボール箱２０の上面２１、前面２３および左側面２２が写るように撮像した場合の寸法測定方法を説明したが、これらの中間的なものとして、例えば、段ボール箱２０の上面２１および左側面２２（または上面２１および前面２３）が写るように撮像して寸法測定方法を行うことも可能である。
【００６１】
この場合、上面２１および左側面２２が写っているのであれば、左側面２２については上述した寸法測定方法（Ｂ）と同様の手順を適用し、写っていない前面２３については上述した寸法測定方法（Ａ）と同様の手順を適用すればよい。逆に、上面２１および前面２３が写っているのであれば、前面２３については上述した寸法測定方法（Ｂ）と同様の手順を適用し、写っていない左側面２２については上述した寸法測定方法（Ａ）と同様の手順を適用すればよい。
【００６２】
また、上述した寸法測定方法（Ａ）または寸法測定方法（Ｂ）の各ステップを順次実行するのに先立って、上記（Ａ３）で取得された距離画像ＤＩＡ３または上記（Ｂ３）で取得された距離画像ＤＩＢ３から段ボール箱２０の各エッジを大まかに検出し、その検出結果に基づいて寸法測定を行っておいてもよい。
【００６３】
また、段ボール箱２０を単に床面３０に載置するのではなく、例えば、図１０に示すように、段ボール箱２０の右側面２５および後面２６をそれぞれ押し当てて位置決めができるような横断面Ｌ字型の配置治具４０などを用いるようにすれば、上記（Ｂ２）の段階で、段ボール箱２０の右側面２５および後面２６にそれぞれ相当する平面の方程式を算出しておくことができる。そうすると、上記（Ｂ５）および（Ｂ６）が省略できるだけでなく、より精度の高い寸法測定が可能となる。
【００６４】
＜ 距離画像における平面推定方法 ＞
図１１は、距離画像カメラ１０に内蔵されているイメージセンサ１１によって取得される３次元データ構造の説明図である。
【００６５】
このイメージセンサ１１は正方格子状に配置された画素毎に距離情報を取得する。図１１に示すように、水平方向をＸ、垂直方向をＹとすると、被写体を含む撮像画角内を２次元配列上（Ｘ，Ｙ）に、距離画像カメラ１０の位置若しくは任意に設定された原点を基準とする３次元データＰXY＝（ｘXY，ｙXY、ｚXY）として格納する。
【００６６】
図１２は、外積についての説明図である。後述する距離画像における平面推定方法では、外積を多用するため、念のために簡単に説明しておく。
【００６７】
図１２に示すように、空間ベクトルａおよびｂの外積ａ×ｂは、空間ベクトルａおよびｂいずれに対しても垂直であり、外積ａ×ｂの大きさは空間ベクトルａおよびｂの張る平行四辺形の面積Ｓに等しい。また、ａ、ｂ、ａ×ｂは順に右手系をなす。ただし、平行四辺形がつぶれてＳ＝０となるａ、ｂに関してはａ×ｂ＝０となる。
【００６８】
ここで、空間ベクトルａ＝（ａ1，ａ2，ａ3）、ｂ＝（ｂ1，ｂ2，ｂ3）とすると、
ａ×ｂ＝（ａ2ｂ3−ａ3ｂ2，ａ3ｂ1−ａ1ｂ3，ａ1ｂ2−ａ2ｂ1）
である。
【００６９】
なお、外積ａ×ｂが空間ベクトルａおよびｂいずれに対しても垂直であることから、外積ａ×ｂは、空間ベクトルａおよびｂを隣接する２辺とする三角形の３頂点で定まる平面の法線ベクトルでもある。
【００７０】
図１３は、距離画像における平面推定方法の概略を示すフローチャートである。以下では、この図１３を参照しながら、距離画像カメラ１０によって取得された距離画像における平面推定方法を説明する。なお、図１３のステップＳ７〜Ｓ９は必ずしも行わなくてもよいので、後述する＜距離画像における平面推定方法の変形例など＞において説明する。
【００７１】
イメージセンサ１１によって取得された３次元データは、画像処理ユニット１２によって次のような処理を行うことによって距離画像における平面の推定を行う。ここで言う「平面」とは、床面や壁面などのように一定値以上の広い面積を有しており、人体などの背景として距離画像から分離すべき領域を意味している。
【００７２】
（１）データ変換
図１１を参照して上述したように、イメージセンサ１１の画素自体は正方格子状に配置されている。そこでまず、図１４（ａ）に示すように、Ｘ方向（図１１と同様に水平方向、以下も同様）に並んでいる各行の隣接２画素毎に３次元データを平均化する演算を行う。このとき、上下に隣接する行同士では、平均化する隣接２画素の組み合わせを１画素分だけずらすようにしている。これにより、図１４（ｂ）に示すように、千鳥格子状配置に変換した３次元データ（変換後３次元データ）が得られることになる（ステップＳ１）。
【００７３】
なお、変換前の３次元データをＸ方向の隣接２画素毎に平均化したことにより、変換後３次元データのＸ方向の画素間隔は、実際には元の２倍になっているが、説明の簡略化などの都合上、同じ画素間隔として図示してある（図１７以降も同様）。
【００７４】
ただし、補間演算の併用などの工夫によって変換前の３次元データとＸ方向の画素間隔を同じに維持しながら千鳥格子状配置の３次元データに変換することなども可能である。例えば、図１５（ａ）に示すように、Ｘ方向に並んでいる各行の隣接２画素毎に３次元データを平均化する演算（図１４（ａ）の場合とは異なる演算）を行えば、図１５（ｂ）に示すような変換後３次元データが得られる。あるいは、千鳥格子状配置の３次元データに変換しなくても、図１６に示すような隣接画素の組み合わせで後述するような着目三角形を決めて演算を行うようにしてもよい。
【００７５】
また、同一時刻の１フレームの距離画像のみを用いて平均化を行うのではなく、例えば、時間軸上の複数フレームの距離画像を用いて平均化を行うようにしてもよい。
【００７６】
（２）着目三角形を対象とする演算
次に、千鳥格子状配置の最小の単位格子である小三角形のいずれかに着目する。ここで、例えば図１７に示すように、小三角形ＴS1に着目したとすると、この小三角形ＴS1の３つの頂点Ａ１、Ａ２、Ａ３に対応する変換後３次元データに基づいて、頂点Ａ１、Ａ２、Ａ３で定まる平面の方程式と、この平面の法線ベクトルとして小三角形ＴS1の２辺（Ａ１Ａ２、Ａ１Ａ３）にそれぞれ対応する２ベクトルの外積を算出する（ステップＳ２）。
【００７７】
（３）隣接三角形を対象とする演算
さらに、着目した小三角形ＴS1の３辺（Ａ１Ａ２、Ａ１Ａ３、Ａ２Ａ３）のいずれかをそれぞれ共有するように隣接する３つの小三角形ＴS2、ＴS3、ＴS4（変換後３次元データの画素上では小三角形ＴS1とそれぞれ同じ大きさ）についても、同様にして法線ベクトルをそれぞれ算出する。
【００７８】
（４）平面候補探索
そして、４つの小三角形ＴS1、ＴS2、ＴS3、ＴS4の各法線ベクトルのうちの２つの組み合わせすべて（合計６通り）の外積を求めてから（ステップＳ３）、それらの外積の大きさの最大値と所定閾値（第１閾値）との大小比較を行う。なお、この第１閾値は固定値に限るわけではなく、例えば、着目した小三角形ＴS1の変換後３次元データの画素上における大きさに応じて可変としてもよい。この場合、後述するように着目する三角形の大きさを拡大したときは、それに応じて第１閾値も大きくすればよい。
【００７９】
この大小比較の結果、外積の大きさの最大値が第１閾値以下だったときは、４つの小三角形ＴS1、ＴS2、ＴS3、ＴS4からなる１つの大三角形（Ａ４、Ａ５、Ａ６を頂点とする三角形）を平面候補と判定する。というのは、千鳥格子状配置の各小三角形がすべて同一形状であれば各小三角形の面積もすべて同一となり、外積から求められる各法線ベクトルの大きさも等しくなるから、２つの法線ベクトルの外積の大きさの違いはそれら２つの法線ベクトルがなす角度のみに依存するからである。外積の大きさの最大値が第１閾値以下ということは、各法線ベクトルの任意の２つの組み合わせのなす角度が、所定値に対応する角度以下であることを示している。
【００８０】
次の平面候補を探索するため、着目する小三角形を移動してから同様の処理を繰り返す。例えば、小三角形ＴS1の右上の小三角形ＴS5に着目してもよい。このようにすれば、この小三角形ＴS5を中央に含む大三角形が、小三角形ＴS1、ＴS2、ＴS3、ＴS4からなる大三角形とは形状が上下に対称ではあるが、ちょうど隣接する。
【００８１】
このように、着目する小三角形を移動しながら同様の処理の繰り返しを変換後３次元データ全体にわたって行うことにより、変換後３次元データ内に存在するすべての平面候補の探索をすることができる（ステップＳ４）。
【００８２】
（５）平面判定
上記（４）平面候補探索で、大三角形（Ａ４、Ａ５、Ａ６を頂点とする三角形）が平面候補と判定されたのであれば、図１８に示すように、今度は大三角形ＴL1に着目するとともにこれに隣接する３つの大三角形ＴL2、ＴL3、ＴL4も用いて、上記（２）〜（４）と同様の処理を繰り返す。このとき、これらの大三角形ＴL1などは小三角形ＴS1などとみなされていることになる。
【００８３】
さらに、図１９に示すように、平面候補探索で着目する三角形の大きさを拡大する。すなわち、三角形ＴX1に着目し、これ以降も同様の処理を再帰的に繰り返していく（ステップＳ５）。ただし、大きさを拡大した後の着目する三角形ＴX1の中に、平面候補から除外された三角形を含む場合には、この三角形ＴX1は平面候補から除外する。
【００８４】
そして、そのような再帰的な平面候補探索処理の繰り返しの結果、平面候補と判定された新たな大三角形の面積が所定面積（第２閾値）以上となっていれば、その大三角形に対応する領域を平面と判定する。処理の繰り返し回数には、規定回数を上限として設定しておくことが好ましい（ステップＳ６）。
【００８５】
このように、着目する三角形の大きさを拡大しながら再帰的な処理を繰り返すことによって、効率良く平面を推定することができる。
【００８６】
（６）距離画像からの平面分離
以上の（１）〜（５）までの処理によって平面と判定されたすべての領域を距離画像から分離する。例えば、撮像された距離画像を用いるのではなく、平面と判定された領域についてはその平面上に再描画してもよい。これにより、距離画像において床面や壁面などの平面に対応する画素とそれ以外の画素とを分離して扱うことが可能となるので、人体や物体などの検出をより的確に行うことができるようになる。
【００８７】
図２０に示すように、滑らかな曲面Ｆ１に適用したとき、点Ｐnとこれに隣接する点Ｐn+1および点Ｐn-1からなる小さい三角形のみでは角度が極めて浅くなるため、平面と誤認してしまう可能性がある。一方、上述した再帰的処理を用いた距離画像における平面推定方法によれば、例えば、点Ｐnとこれから少し離れた点Ｐn+4および点Ｐn-4からなる大三角形では角度が急になるため、そのような誤認を防止することができる。
【００８８】
また、図２１に示すように、全体としては平面とみなしてもかまわないような面Ｆ２の中に極めて小さな段差Ｂ２が存在していても、そのようなときの段差Ｂ２における三角形の面積は小さくなるので、外積の計算結果は小さくなることが期待できる。これにより、たとえ、小さな段差Ｂ２を有する場合であっても、それを含む面Ｆ２を平面であると的確に認識することができる。
【００８９】
＜ 距離画像における平面推定方法の変形例など ＞
例えば、上記（４）平面候補探索では、図２２に示すように、着目した小三角形ＴS1とこれに隣接する３つの小三角形ＴS2、ＴS3、ＴS4からなる大三角形が平面候補と判定されなかったとしても、この大三角形に隣接する大三角形ＴL1が平面候補と判定されることはあり得る。
【００９０】
そこで、このような場合の平面の候補漏れの処理（ステップＳ７）としては、大三角形ＴL1の法線ベクトルと、各小三角形ＴS2、ＴS3、ＴS4の法線ベクトルの外積が所定閾値以下であれば、各小三角形ＴS2、ＴS3、ＴS4をそれぞれ平面候補とみなすようにしてもよい。ただし、それ以降の平面候補探索には、小三角形ＴS1、ＴS2、ＴS3、ＴS4からなる大三角形を用いて行ってもよい。また、このような平面の候補漏れの処理は、着目する三角形の大きさを縮小しながら再帰的に行うとともに（ステップＳ８）、処理の繰り返し回数には、規定回数を上限として設定しておくことが好ましい（ステップＳ９）。
【００９１】
また、上記（５）平面判定で、平面と判定された領域が複数存在する場合は、最も広い領域を自動的に床面とみなすようにしてもよい。あるいは、それらの複数の領域をディスプレイなどに表示するとともに、使用者のマウスやキーボードなどによる外部操作によっていずれの領域が床面であるかを選択できるようにしてもよい。
【００９２】
さらに、このようにして定められた床面を表す平面の方程式に基づいて、空間中の距離画像カメラ１０の設置場所や撮像方向の角度などを演算して、カメラ座標系である距離画像を、床面をＺ軸の原点とする座標系に変換してもよい。
【００９３】
なお、本発明は、その主旨または主要な特徴から逸脱することなく、他のいろいろな形で実施することができる。そのため、上述の実施形態はあらゆる点で単なる例示にすぎず、限定的に解釈してはならない。本発明の範囲は特許請求の範囲によって示すものであって、明細書本文にはなんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内のものである。
【符号の説明】
【００９４】
１０ 距離画像カメラ
１１ イメージセンサ
１２ 画像処理ユニット
１３ 制御ユニット
１５ 外部のディスプレイ
２０ 段ボール箱
２１ 上面
２２ 左側面
２３ 前面
２４ 底面
２５ 右側面
２６ 後面
３０ 床面
４０ 配置治具４０
Ｄ 奥行き
Ｈ 高さ
Ｗ 横幅
ＴS1 着目した小三角形
ＴS2、ＴS3、ＴS4 隣接する小三角形
ＴL1 着目した大三角形
ＴL2、ＴL3、ＴL4 隣接する大三角形
【特許請求の範囲】
【請求項１】
距離画像カメラを用いた物体寸法測定方法であって、
載置面に何も載置されていない状態でこの載置面が写るように撮像して第１距離画像を取得する第１撮像工程と、
前記第１距離画像に基づいて前記載置面の方程式を算出する載置面方程式算出工程と、
前記載置面に載置された直方体の少なくとも上面が写るように撮像して第２距離画像を取得する第２撮像工程と、
前記第２距離画像に基づいて前記上面の方程式を算出する上面方程式算出工程と、
この上面方程式算出工程で方程式が算出された前記上面を前記第２距離画像の中で前記載置面若しくは前記載置面と平行な平面に射影し、その射影がなされた面を回転させながら前記上面の射影の横軸方向および縦軸方向の各範囲幅の合計値をそれぞれ算出して、算出された合計値が最小となる回転角度を探索し、最小となった合計値を前記上面の隣接する２辺の寸法の合計値として算出する寸法算出工程と
を含むことを特徴とする、距離画像カメラを用いた物体寸法測定方法。
【請求項２】
距離画像カメラを用いた物体寸法測定方法であって、
載置面に何も載置されていない状態でこの載置面が写るように撮像して第１距離画像を取得する第１撮像工程と、
前記第１距離画像に基づいて前記載置面の方程式を算出する載置面方程式算出工程と、
前記載置面に載置された直方体の上面と前面と該上面および該前面のいずれにも隣接する第１側面とが写るように撮像して第２距離画像を取得する第２撮像工程と、
前記第２距離画像に基づいて前記上面、前記前面および前記第１側面の各方程式を算出する３面方程式算出工程と、
前記第２距離画像の中で前記第１側面をその法線方向にずらしていき、前記上面で前記第１側面とは反対側の辺および前記前面で前記上面で前記第１側面とは反対側の辺と最も適合する位置に基づいて前記直方体の第２側面の方程式を算出する第２側面方程式算出工程と、
前記第２距離画像の中で前記前面をその法線方向にずらしていき、前記上面で前記前面とは反対側の辺および前記第１側面で前記前面とは反対側の辺と最も適合する位置に基づいて前記直方体の後面の方程式を算出する後面方程式算出工程と、
算出された前記載置面、前記上面、前記前面、前記第１側面、前記第２側面および前記後面それぞれの方程式に基づき、各面の交線を求め、さらにそれらの交点を求めることで、前記直方体の横幅、奥行きおよび高さを算出する寸法算出工程と
を含むことを特徴とする、距離画像カメラを用いた物体寸法測定方法。
【請求項３】
距離画像カメラを用いた物体寸法測定方法であって、
載置面に何も載置されていない状態でこの載置面と横断面Ｌ字型の配置治具の直交する第１内壁面および第２内壁面とが写るように撮像して第１距離画像を取得する第１撮像工程と、
前記第１距離画像に基づいて前記載置面、前記第１内壁面および前記第２内壁面の各方程式を算出する載置面・壁面方程式算出工程と、
前記第１内壁面および前記第２内壁面にも圧接するように前記載置面に載置された直方体の上面と前面と該上面および該前面のいずれにも隣接する第１側面とが写るように撮像して第２距離画像を取得する第２撮像工程と、
前記第２距離画像に基づいて前記上面、前記前面および前記第１側面の各方程式を算出する３面方程式算出工程と、
算出された前記載置面、前記上面、前記前面、前記第１側面、前記第１内壁面および前記第２内壁面それぞれの方程式に基づき、各面の交線を求め、さらにそれらの交点を求めることで、前記直方体の横幅、奥行きおよび高さを算出する寸法算出工程と
を含むことを特徴とする、距離画像カメラを用いた物体寸法測定方法。
【請求項４】
請求項１〜３のいずれか１項に記載の距離画像カメラを用いた物体寸法測定方法において、
前記載置面方程式算出工程または前記載置面・壁面方程式算出工程で複数の平面の存在が推定される場合には、最も広い平面を前記載置面とみなしてその方程式を算出することを特徴とする、距離画像カメラを用いた物体寸法測定方法。
【請求項５】
請求項１〜３のいずれか１項に記載の距離画像カメラを用いた物体寸法測定方法において、
前記第２距離画像に基づいて、前記直方体の各エッジを検出し、その検出結果に基づいて前記直方体の横幅、奥行きおよび高さを算出する概略寸法算出工程をさらに含むことを特徴とする、距離画像カメラを用いた物体寸法測定方法。
【請求項６】
距離画像カメラを用いた物体寸法測定方法であって、
載置面に載置された直方体の上面と前面と該上面および該前面のいずれにも隣接する側面とが写るように撮像して距離画像を取得する撮像工程と、
前記距離画像に基づいて前記載置面、前記上面、前記前面および前記側面の方程式をそれぞれ算出する４面方程式算出工程と、
この４面方程式算出工程で算出された各方程式から少なくとも前記上面、前記前面および前記側面相互の交線を求め、さらにそれらの交点を求めることで、前記直方体の横幅、奥行きおよび高さを算出する寸法算出工程と
を含むことを特徴とする、距離画像カメラを用いた物体寸法測定方法。
【請求項７】
画素値に距離情報を取得して距離画像を生成可能な撮像素子と、
この距離画像における画像処理を行う画像処理ユニットと
を備え、
前記画像処理ユニットにおける前記画像処理で、請求項１〜６のいずれか１項に記載の距離画像カメラを用いた物体寸法測定方法が実行されることを特徴とする、物体寸法測定装置。
【請求項１】
距離画像カメラを用いた物体寸法測定方法であって、
載置面に何も載置されていない状態でこの載置面が写るように撮像して第１距離画像を取得する第１撮像工程と、
前記第１距離画像に基づいて前記載置面の方程式を算出する載置面方程式算出工程と、
前記載置面に載置された直方体の少なくとも上面が写るように撮像して第２距離画像を取得する第２撮像工程と、
前記第２距離画像に基づいて前記上面の方程式を算出する上面方程式算出工程と、
この上面方程式算出工程で方程式が算出された前記上面を前記第２距離画像の中で前記載置面若しくは前記載置面と平行な平面に射影し、その射影がなされた面を回転させながら前記上面の射影の横軸方向および縦軸方向の各範囲幅の合計値をそれぞれ算出して、算出された合計値が最小となる回転角度を探索し、最小となった合計値を前記上面の隣接する２辺の寸法の合計値として算出する寸法算出工程と
を含むことを特徴とする、距離画像カメラを用いた物体寸法測定方法。
【請求項２】
距離画像カメラを用いた物体寸法測定方法であって、
載置面に何も載置されていない状態でこの載置面が写るように撮像して第１距離画像を取得する第１撮像工程と、
前記第１距離画像に基づいて前記載置面の方程式を算出する載置面方程式算出工程と、
前記載置面に載置された直方体の上面と前面と該上面および該前面のいずれにも隣接する第１側面とが写るように撮像して第２距離画像を取得する第２撮像工程と、
前記第２距離画像に基づいて前記上面、前記前面および前記第１側面の各方程式を算出する３面方程式算出工程と、
前記第２距離画像の中で前記第１側面をその法線方向にずらしていき、前記上面で前記第１側面とは反対側の辺および前記前面で前記上面で前記第１側面とは反対側の辺と最も適合する位置に基づいて前記直方体の第２側面の方程式を算出する第２側面方程式算出工程と、
前記第２距離画像の中で前記前面をその法線方向にずらしていき、前記上面で前記前面とは反対側の辺および前記第１側面で前記前面とは反対側の辺と最も適合する位置に基づいて前記直方体の後面の方程式を算出する後面方程式算出工程と、
算出された前記載置面、前記上面、前記前面、前記第１側面、前記第２側面および前記後面それぞれの方程式に基づき、各面の交線を求め、さらにそれらの交点を求めることで、前記直方体の横幅、奥行きおよび高さを算出する寸法算出工程と
を含むことを特徴とする、距離画像カメラを用いた物体寸法測定方法。
【請求項３】
距離画像カメラを用いた物体寸法測定方法であって、
載置面に何も載置されていない状態でこの載置面と横断面Ｌ字型の配置治具の直交する第１内壁面および第２内壁面とが写るように撮像して第１距離画像を取得する第１撮像工程と、
前記第１距離画像に基づいて前記載置面、前記第１内壁面および前記第２内壁面の各方程式を算出する載置面・壁面方程式算出工程と、
前記第１内壁面および前記第２内壁面にも圧接するように前記載置面に載置された直方体の上面と前面と該上面および該前面のいずれにも隣接する第１側面とが写るように撮像して第２距離画像を取得する第２撮像工程と、
前記第２距離画像に基づいて前記上面、前記前面および前記第１側面の各方程式を算出する３面方程式算出工程と、
算出された前記載置面、前記上面、前記前面、前記第１側面、前記第１内壁面および前記第２内壁面それぞれの方程式に基づき、各面の交線を求め、さらにそれらの交点を求めることで、前記直方体の横幅、奥行きおよび高さを算出する寸法算出工程と
を含むことを特徴とする、距離画像カメラを用いた物体寸法測定方法。
【請求項４】
請求項１〜３のいずれか１項に記載の距離画像カメラを用いた物体寸法測定方法において、
前記載置面方程式算出工程または前記載置面・壁面方程式算出工程で複数の平面の存在が推定される場合には、最も広い平面を前記載置面とみなしてその方程式を算出することを特徴とする、距離画像カメラを用いた物体寸法測定方法。
【請求項５】
請求項１〜３のいずれか１項に記載の距離画像カメラを用いた物体寸法測定方法において、
前記第２距離画像に基づいて、前記直方体の各エッジを検出し、その検出結果に基づいて前記直方体の横幅、奥行きおよび高さを算出する概略寸法算出工程をさらに含むことを特徴とする、距離画像カメラを用いた物体寸法測定方法。
【請求項６】
距離画像カメラを用いた物体寸法測定方法であって、
載置面に載置された直方体の上面と前面と該上面および該前面のいずれにも隣接する側面とが写るように撮像して距離画像を取得する撮像工程と、
前記距離画像に基づいて前記載置面、前記上面、前記前面および前記側面の方程式をそれぞれ算出する４面方程式算出工程と、
この４面方程式算出工程で算出された各方程式から少なくとも前記上面、前記前面および前記側面相互の交線を求め、さらにそれらの交点を求めることで、前記直方体の横幅、奥行きおよび高さを算出する寸法算出工程と
を含むことを特徴とする、距離画像カメラを用いた物体寸法測定方法。
【請求項７】
画素値に距離情報を取得して距離画像を生成可能な撮像素子と、
この距離画像における画像処理を行う画像処理ユニットと
を備え、
前記画像処理ユニットにおける前記画像処理で、請求項１〜６のいずれか１項に記載の距離画像カメラを用いた物体寸法測定方法が実行されることを特徴とする、物体寸法測定装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【公開番号】特開２０１１−１９６８６０（Ｐ２０１１−１９６８６０Ａ）
【公開日】平成２３年１０月６日（２０１１．１０．６）
【国際特許分類】
【出願番号】特願２０１０−６４８３５（Ｐ２０１０−６４８３５）
【出願日】平成２２年３月１９日（２０１０．３．１９）
【出願人】（０００１０３７３６）オプテックス株式会社 (116)
【Ｆターム（参考）】
【公開日】平成２３年１０月６日（２０１１．１０．６）
【国際特許分類】
【出願日】平成２２年３月１９日（２０１０．３．１９）
【出願人】（０００１０３７３６）オプテックス株式会社 (116)
【Ｆターム（参考）】
[ Back to top ]