距離画像における平面推定方法および距離画像カメラ
【課題】撮像された距離画像に人体の足と床面との接地面などが含まれている場合であっても、人体の足と床面とを少ない計算量で明確に分離できるような距離画像における平面推定方法および距離画像カメラを提供する。
【解決手段】正方格子状に配置された各画素の３次元データを千鳥格子状配置に変換し、着目した小三角形の法線ベクトルと隣接する３つの小三角形の各法線ベクトルとの２つの組み合わせすべての外積のそれぞれの大きさから最大値を求め、その最大値が第１閾値以下なら着目した小三角形と隣接する小三角形からなる大三角形を平面候補と判定し、次にこの大三角形を小三角形とみなして同様の処理を繰り返し、さらにこの繰り返しを着目小三角形の大きさを拡大しながら再帰的に行って、所定面積以上になったら平面と判定してその平面領域は距離画像から分離する。
【解決手段】正方格子状に配置された各画素の３次元データを千鳥格子状配置に変換し、着目した小三角形の法線ベクトルと隣接する３つの小三角形の各法線ベクトルとの２つの組み合わせすべての外積のそれぞれの大きさから最大値を求め、その最大値が第１閾値以下なら着目した小三角形と隣接する小三角形からなる大三角形を平面候補と判定し、次にこの大三角形を小三角形とみなして同様の処理を繰り返し、さらにこの繰り返しを着目小三角形の大きさを拡大しながら再帰的に行って、所定面積以上になったら平面と判定してその平面領域は距離画像から分離する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像された距離画像における平面推定方法および距離画像カメラに関し、特に、投射した光がターゲットに反射されて戻ってくるまでの時間を画素毎に精密に計測することで撮像される距離画像における平面推定方法およびそのような平面推定方法が適用されている距離画像カメラに関する。
【背景技術】
【０００２】
従来、対象空間を撮像した画像を用いてその対象空間を監視したりその対象空間内の対象物の外観を抽出したりする技術が種々提案されている。ところが、このような技術で用いられる画像は、対象空間の明暗を反映した濃淡画像であって、外光の光量変化の影響を受けるから、光量にほとんど変化の生じない環境でしか使用できないという問題がある。
【０００３】
そこで、対象空間における距離を画素値に持つ距離画像を生成し、その距離画像を用いて対象物を抽出する構成を採用することにより、光量変化の影響を受けずに対象物を抽出することを可能にした技術も提案されている。
【０００４】
しかし、このような距離画像は、画素一点のデータだけでは距離値が不安定な場合があり、抽出すべき対象物である人体を床面と明確に分離することが難しい。そのため、現状では、例えば、意図的に人体の足と床面との接地面を撮像画角内に含めないように、仰角を上げるなどの工夫を行って人体の足と床面とを分離している。
【０００５】
距離画像を用いる画像処理装置としては、例えば、異なる時刻で得られた複数の距離画像から差分画像を生成することなどによって、対象物と背景との距離差が小さい場合でも対象物を分離できるようにした技術が提案されている（例えば、特許文献１参照）。
【０００６】
しかし、この技術では、単純に背景を分離するだけであって、距離画像における平面を積極的に認識するわけではない。
【０００７】
撮像された画像における平面を探す方法としては、例えば、「ステレオ画像による平面推定方法および物体検出装置」（特許文献２）、「自律移動装置及び平面状障害物認識方法」（特許文献３）および「ロボット装置、及びその階段昇降方法、並びに移動装置」（特許文献４）などの技術も提案されている。
【０００８】
これらのうち、特許文献２に記載されている技術では、撮像エリア内に平面以外の物体が存在する場合でも高精度に平面を推定可能ではあるが、ステレオ画像の使用に限定されている。特許文献３に記載されている技術では、障害物としての平面状障害物、特に空隙を有する平面状障害物の位置を正確に認識することを主目的としている。特許文献４に記載されている技術では、移動体自身が階段に係る情報を取得して自律的に階段昇降動作を可能とするため、移動可能な平面を有する階段の認識やその階段が昇降可能か否かの判断などを行うように構成されている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００６−０５３７９１号公報
【特許文献２】特開２００４−０９４７０７号公報
【特許文献３】特開２００７−１２１２５８号公報
【特許文献４】再公表特許第ＷＯ２００５／０８７４５２号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
距離画像において人体モデルを自由に計算量少なく動かすためには、床面と足を明確に且つ少ない計算量で分離する必要がある。しかし、それを実現するには、上述した従来技術はいずれも必ずしも適しているものではなかった。
【００１１】
従来技術のこのような課題に鑑み、本発明の目的は、たとえ、撮像された距離画像に人体の足と床面との接地面などが含まれている場合であっても、人体の足と床面とを少ない計算量で明確に分離できるような距離画像における平面推定方法を提供すること、およびそのような平面推定方法が適用されている距離画像カメラを提供することである。
【課題を解決するための手段】
【００１２】
上記目的を達成するため、本発明の距離画像における平面推定方法は、正方格子状に配置された各画素の３次元データに基づいて、千鳥格子状配置に変換した変換後３次元データを算出するデータ変換工程と、前記千鳥格子状配置の最小の単位格子である小三角形のいずれかに着目して、その着目小三角形の３頂点に対応する変換後３次元データに基づいて、前記３頂点で定まる平面の方程式とこの平面の法線ベクトルとして前記小三角形の２辺にそれぞれ対応する２ベクトルの外積を算出する着目三角形対象演算工程と、前記着目小三角形の３辺のいずれかをそれぞれ共有するように隣接する３隣接小三角形についても法線ベクトルをそれぞれ算出する隣接三角形対象演算工程と、前記着目三角形対象演算工程で算出された法線ベクトルと前記隣接三角形対象演算工程で算出された３法線ベクトルとの２つの組み合わせすべての外積のそれぞれの大きさから最大値を求め、その最大値が第１閾値以下なら前記着目小三角形および前記３隣接小三角形からなる大三角形を平面候補と判定する平面候補探索工程と、この平面候補探索工程で平面候補と判定された大三角形を前記着目三角形対象演算工程における前記着目小三角形とみなして前記着目三角形対象演算工程、前記隣接三角形対象演算工程および前記平面候補探索工程を順に繰り返し、さらにこの繰り返しを前記着目小三角形の大きさを拡大しながら再帰的に行い、これによって平面候補と判定された新たな大三角形の面積が第２閾値以上となったらその大三角形に対応する領域を平面と判定することを、前記着目三角形対象演算工程で着目する小三角形を移動しながら前記変換後３次元データ全体にわたって行うことで平面候補を探索する平面判定工程と、この平面判定工程で平面と判定された領域内を距離画像から分離する平面判定領域分離工程とを含むことを特徴とする。
【００１３】
このような構成の距離画像における平面推定方法によれば、撮像された距離画像に人体の足と床面との接地面などが含まれている場合であっても、人体の足と床面とを少ない計算量で明確に分離できるので、人体や物体などの検出をより的確に行うことができるようになる。さらに、滑らかな曲面などを平面であると誤認してしまうことを極力防止できるとともに、全体としては平面とみなしてもかまわないような面の中に極めて小さな段差が存在していても平面であると的確に認識できる。
【００１４】
また、本発明の距離画像における平面推定方法において、前記平面候補探索工程で平面候補と判定された第１大三角形の１辺を共有するように隣接する第２大三角形が平面候補と判定されていなかった場合であっても、その第２大三角形に含まれるとともに前記第１大三角形に隣接する３小三角形の各法線ベクトルと前記第１大三角形の法線ベクトルとの外積の大きさが第３閾値以下であれば、前記小三角形もそれぞれ平面候補とみなすことを特徴としてもよい。
【００１５】
このような構成の距離画像における平面推定方法によれば、前記平面候補探索工程で平面候補と判定された前記第１大三角形に隣接する前記第２大三角形全体が平面候補に該当しない場合であっても、前記第２大三角形に含まれるとともに前記第１大三角形に隣接する３小三角形が平面候補か否かを判定することになる。これにより、平面の周辺部まで極力正確な推定を行うことが可能となる。
【００１６】
また、本発明の距離画像における平面推定方法において、前記平面判定工程で平面と判定された領域が複数存在する場合に、最も広い領域を床面とみなすことを特徴としてもよい。あるいは、前記平面判定工程で平面と判定された領域が複数存在する場合に、外部操作によっていずれの領域が床面であるかを選択可能であることを特徴としてもよい。
【００１７】
このような構成の距離画像における平面推定方法によれば、設置環境や使用目的などに応じて床面を的確に検出することができる。
【００１８】
また、本発明の距離画像における平面推定方法において、床面であるとみなされた又は床面として選択された平面の方程式に基づいて、カメラ座標系である距離画像を、床面をＺ軸の原点とする座標系に変換することを特徴としてもよい。
【００１９】
このような構成の距離画像における平面推定方法によれば、検出された人体や物体の床面からの高さなどが容易にわかるので、より的確な認識を行うことが可能となる。
【００２０】
あるいは、上記目的を達成するため、本発明の距離画像カメラは、画素値に距離情報を取得して距離画像を生成可能な撮像素子と、この距離画像における画像処理を行う画像処理ユニットとを備え、前記画像処理ユニットにおける前記画像処理で前記いずれかの距離画像における平面推定方法が実行されることを特徴とする。
【００２１】
このような構成の距離画像カメラによれば、撮像された距離画像に人体の足と床面との接地面などが含まれている場合であっても、人体の足と床面とを少ない計算量で明確に分離できるので、人体や物体などの検出をより的確に行うことができるようになる。
【発明の効果】
【００２２】
本発明の距離画像における平面推定方法および本発明の距離画像カメラによれば、撮像された距離画像に人体の足と床面との接地面などが含まれている場合であっても、人体の足と床面とを少ない計算量で明確に分離できるので、人体や物体などの検出をより的確に行うことができるようになる。さらに、滑らかな曲面などを平面であると誤認してしまうことを極力防止できるとともに、全体としては平面とみなしてもかまわないような面の中に極めて小さな段差が存在していても平面であると的確に認識できる。
【図面の簡単な説明】
【００２３】
【図１】本発明の一実施形態に係る距離画像カメラ１０の概略構成を示すブロック図である。
【図２】この距離画像カメラ１０によって壁面の手前で両手を広げて立っている人体を撮像した場合の距離画像の一例である。
【図３】この距離画像カメラ１０に内蔵されているイメージセンサ１１によって取得される３次元データ構造の説明図である。
【図４】外積についての説明図である。
【図５】距離画像における平面推定方法の概略を示すフローチャートである。
【図６】図６（ａ）はＸ方向に並んでいる各行の隣接２画素毎に３次元データを平均化する演算の説明図である。図６（ｂ）は千鳥格子状配置に変換した変換後３次元データの説明図である。
【図７】図７（ａ）はＸ方向に並んでいる各行の隣接２画素毎に３次元データを平均化する別の演算の説明図である。図７（ｂ）はその変換後３次元データの説明図である。
【図８】千鳥格子状配置の３次元データに変換しない場合における着目三角形の決め方の説明図である。
【図９】小三角形ＴS1に着目して平面候補探索などを行う処理の説明図である。
【図１０】大三角形ＴL1に着目して平面候補探索などを繰り返す処理の説明図である。
【図１１】平面候補探索で着目する三角形の大きさをさらに拡大した場合の説明図である。
【図１２】本実施形態による作用効果の説明図である。
【図１３】本実施形態による別の作用効果の説明図である。
【図１４】平面候補探索の候補漏れに対する処理の説明図である。
【発明を実施するための形態】
【００２４】
以下、本発明の実施形態を、図面を参照して説明する。
【００２５】
＜距離画像カメラ１０の概略構成など＞
図１は、本発明の一実施形態に係る距離画像カメラ１０の概略構成を示すブロック図である。
【００２６】
この図１に示すように、距離画像カメラ１０は、対象空間へ投射した光が反射されて戻ってくるまでの時間に基づいて画素値に距離データを取得して距離画像を生成することが可能なイメージセンサ１１（例えば、ＴＯＦセンサなど）と、この距離画像における平面の推定（詳細は後述）などを行う画像処理ユニット１２と、距離画像カメラ１０全体の制御などを行う制御ユニット１３（例えば、ＣＰＵ）を備えている。
【００２７】
図２は、この距離画像カメラ１０によって壁面の手前で両手を広げて立っている人体を撮像した場合の距離画像の一例である。
【００２８】
例えば、室内が暗い場合など、通常のイメージセンサで撮像された可視光による画像では、人体と背景の区別がほとんどつかないことがある。これに対して、距離画像カメラ１０によって撮像された距離画像では、図２に示すように、壁面の手前で両手を広げて立っている人体の表面が浮かび上がる。
【００２９】
図３は、この距離画像カメラ１０に内蔵されているイメージセンサ１１によって取得される３次元データ構造の説明図である。
【００３０】
このイメージセンサ１１は正方格子状に配置された画素毎に距離情報を取得する。図３に示すように、水平方向をＸ、垂直方向をＹとすると、被写体を含む撮像画角内を２次元配列上（Ｘ，Ｙ）に、距離画像カメラ１０の位置若しくは任意に設定された原点を基準とする３次元データＰXY＝（ｘXY，ｙXY、ｚXY）として格納する。
【００３１】
図４は、外積についての説明図である。後述する距離画像における平面推定方法では、外積を多用するため、念のために簡単に説明しておく。
【００３２】
図４に示すように、空間ベクトルａおよびｂの外積ａ×ｂは、空間ベクトルａおよびｂいずれに対しても垂直であり、外積ａ×ｂの大きさは空間ベクトルａおよびｂの張る平行四辺形の面積Ｓに等しい。また、ａ、ｂ、ａ×ｂは順に右手系をなす。ただし、平行四辺形がつぶれてＳ＝０となるａ、ｂに関してはａ×ｂ＝０となる。
【００３３】
ここで、空間ベクトルａ＝（ａ1，ａ2，ａ3）、ｂ＝（ｂ1，ｂ2，ｂ3）とすると、
ａ×ｂ＝（ａ2ｂ3−ａ3ｂ2，ａ3ｂ1−ａ1ｂ3，ａ1ｂ2−ａ2ｂ1）
である。
【００３４】
なお、外積ａ×ｂが空間ベクトルａおよびｂいずれに対しても垂直であることから、外積ａ×ｂは、空間ベクトルａおよびｂを隣接する２辺とする三角形の３頂点で定まる平面の法線ベクトルでもある。
【００３５】
＜距離画像における平面推定方法＞
図５は、距離画像における平面推定方法の概略を示すフローチャートである。以下では、この図５を参照しながら、距離画像カメラ１０によって取得された距離画像における平面推定方法を説明する。なお、図５のステップＳ７〜Ｓ９は必ずしも行わなくてもよいので、後述する＜変形例など＞において説明する。
【００３６】
イメージセンサ１１によって取得された３次元データは、画像処理ユニット１２によって次のような処理を行うことによって距離画像における平面の推定を行う。ここで言う「平面」とは、床面や壁面などのように一定値以上の広い面積を有しており、人体などの背景として距離画像から分離すべき領域を意味している。
【００３７】
（１）データ変換
図３を参照して上述したように、イメージセンサ１１の画素自体は正方格子状に配置されている。そこでまず、図６（ａ）に示すように、Ｘ方向（図３と同様に水平方向、以下も同様）に並んでいる各行の隣接２画素毎に３次元データを平均化する演算を行う。このとき、上下に隣接する行同士では、平均化する隣接２画素の組み合わせを１画素分だけずらすようにしている。これにより、図６（ｂ）に示すように、千鳥格子状配置に変換した３次元データ（変換後３次元データ）が得られることになる（ステップＳ１）。
【００３８】
なお、変換前の３次元データをＸ方向の隣接２画素毎に平均化したことにより、変換後３次元データのＸ方向の画素間隔は、実際には元の２倍になっているが、説明の簡略化などの都合上、同じ画素間隔として図示してある（図９以降も同様）。
【００３９】
ただし、補間演算の併用などの工夫によって変換前の３次元データとＸ方向の画素間隔を同じに維持しながら千鳥格子状配置の３次元データに変換することなども可能である。例えば、図７（ａ）に示すように、Ｘ方向に並んでいる各行の隣接２画素毎に３次元データを平均化する演算（図６（ａ）の場合とは異なる演算）を行えば、図７（ｂ）に示すような変換後３次元データが得られる。あるいは、千鳥格子状配置の３次元データに変換しなくても、図８に示すような隣接画素の組み合わせで後述するような着目三角形を決めて演算を行うようにしてもよい。
【００４０】
また、同一時刻の１フレームの距離画像のみを用いて平均化を行うのではなく、例えば、時間軸上の複数フレームの距離画像を用いて平均化を行うようにしてもよい。
【００４１】
（２）着目三角形を対象とする演算
次に、千鳥格子状配置の最小の単位格子である小三角形のいずれかに着目する。ここで、例えば図９に示すように、小三角形ＴS1に着目したとすると、この小三角形ＴS1の３つの頂点Ａ１、Ａ２、Ａ３に対応する変換後３次元データに基づいて、頂点Ａ１、Ａ２、Ａ３で定まる平面の方程式と、この平面の法線ベクトルとして小三角形ＴS1の２辺（Ａ１Ａ２、Ａ１Ａ３）にそれぞれ対応する２ベクトルの外積を算出する（ステップＳ２）。
【００４２】
（３）隣接三角形を対象とする演算
さらに、着目した小三角形ＴS1の３辺（Ａ１Ａ２、Ａ１Ａ３、Ａ２Ａ３）のいずれかをそれぞれ共有するように隣接する３つの小三角形ＴS2、ＴS3、ＴS4（変換後３次元データの画素上では小三角形ＴS1とそれぞれ同じ大きさ）についても、同様にして法線ベクトルをそれぞれ算出する。
【００４３】
（４）平面候補探索
そして、４つの小三角形ＴS1、ＴS2、ＴS3、ＴS4の各法線ベクトルのうちの２つの組み合わせすべて（合計６通り）の外積を求めてから（ステップＳ３）、それらの外積の大きさの最大値と所定閾値（第１閾値）との大小比較を行う。なお、この第１閾値は固定値に限るわけではなく、例えば、着目した小三角形ＴS1の変換後３次元データの画素上における大きさに応じて可変としてもよい。この場合、後述するように着目する三角形の大きさを拡大したときは、それに応じて第１閾値も大きくすればよい。
【００４４】
この大小比較の結果、外積の大きさの最大値が第１閾値以下だったときは、４つの小三角形ＴS1、ＴS2、ＴS3、ＴS4からなる１つの大三角形（Ａ４、Ａ５、Ａ６を頂点とする三角形）を平面候補と判定する。というのは、千鳥格子状配置の各小三角形がすべて同一形状であれば各小三角形の面積もすべて同一となり、外積から求められる各法線ベクトルの大きさも等しくなるから、２つの法線ベクトルの外積の大きさの違いはそれら２つの法線ベクトルがなす角度のみに依存するからである。外積の大きさの最大値が第１閾値以下ということは、各法線ベクトルの任意の２つの組み合わせのなす角度が、所定値に対応する角度以下であることを示している。
【００４５】
次の平面候補を探索するため、着目する小三角形を移動してから同様の処理を繰り返す。例えば、小三角形ＴS1の右上の小三角形ＴS5に着目してもよい。このようにすれば、この小三角形ＴS5を中央に含む大三角形が、小三角形ＴS1、ＴS2、ＴS3、ＴS4からなる大三角形とは形状が上下に対称ではあるが、ちょうど隣接する。
【００４６】
このように、着目する小三角形を移動しながら同様の処理の繰り返しを変換後３次元データ全体にわたって行うことにより、変換後３次元データ内に存在するすべての平面候補の探索をすることができる（ステップＳ４）。
【００４７】
（５）平面判定
上記（４）平面候補探索で、大三角形（Ａ４、Ａ５、Ａ６を頂点とする三角形）が平面候補と判定されたのであれば、図１０に示すように、今度は大三角形ＴL1に着目するとともにこれに隣接する３つの大三角形ＴL2、ＴL3、ＴL4も用いて、上記（２）〜（４）と同様の処理を繰り返す。このとき、これらの大三角形ＴL1などは小三角形ＴS1などとみなされていることになる。
【００４８】
さらに、図１１に示すように、平面候補探索で着目する三角形の大きさを拡大する。すなわち、三角形ＴX1に着目し、これ以降も同様の処理を再帰的に繰り返していく（ステップＳ５）。ただし、大きさを拡大した後の着目する三角形ＴX1の中に、平面候補から除外された三角形を含む場合には、この三角形ＴX1は平面候補から除外する。
【００４９】
そして、そのような再帰的な平面候補探索処理の繰り返しの結果、平面候補と判定された新たな大三角形の面積が所定面積（第２閾値）以上となっていれば、その大三角形に対応する領域を平面と判定する。処理の繰り返し回数には、規定回数を上限として設定しておくことが好ましい（ステップＳ６）。
【００５０】
このように、着目する三角形の大きさを拡大しながら再帰的な処理を繰り返すことによって、効率良く平面を推定することができる。
【００５１】
（６）距離画像からの平面分離
以上の（１）〜（５）までの処理によって平面と判定されたすべての領域を距離画像から分離する。例えば、撮像された距離画像を用いるのではなく、平面と判定された領域についてはその平面上に再描画してもよい。これにより、距離画像において床面や壁面などの平面に対応する画素とそれ以外の画素とを分離して扱うことが可能となるので、人体や物体などの検出をより的確に行うことができるようになる。
【００５２】
図１２に示すように、滑らかな曲面Ｆ１に適用したとき、点Ｐnとこれに隣接する点Ｐn+1および点Ｐn-1からなる小さい三角形のみでは角度が極めて浅くなるため、平面と誤認してしまう可能性がある。一方、上述した再帰的処理を用いた距離画像における平面推定方法によれば、例えば、点Ｐnとこれから少し離れた点Ｐn+4および点Ｐn-4からなる大三角形では角度が急になるため、そのような誤認を防止することができる。
【００５３】
また、図１３に示すように、全体としては平面とみなしてもかまわないような面Ｆ２の中に極めて小さな段差Ｂ２が存在していても、そのようなときの段差Ｂ２における三角形の面積は小さくなるので、外積の計算結果は小さくなることが期待できる。これにより、たとえ、小さな段差Ｂ２を有する場合であっても、それを含む面Ｆ２を平面であると的確に認識することができる。
【００５４】
＜変形例など＞
例えば、上記（４）平面候補探索では、図１４に示すように、着目した小三角形ＴS1とこれに隣接する３つの小三角形ＴS2、ＴS3、ＴS4からなる大三角形が平面候補と判定されなかったとしても、この大三角形に隣接する大三角形ＴL1が平面候補と判定されることはあり得る。
【００５５】
そこで、このような場合の平面の候補漏れの処理（ステップＳ７）としては、大三角形ＴL1の法線ベクトルと、各小三角形ＴS2、ＴS3、ＴS4の法線ベクトルの外積が所定閾値以下であれば、各小三角形ＴS2、ＴS3、ＴS4をそれぞれ平面候補とみなすようにしてもよい。ただし、それ以降の平面候補探索には、小三角形ＴS1、ＴS2、ＴS3、ＴS4からなる大三角形を用いて行ってもよい。また、このような平面の候補漏れの処理は、着目する三角形の大きさを縮小しながら再帰的に行うとともに（ステップＳ８）、処理の繰り返し回数には、規定回数を上限として設定しておくことが好ましい（ステップＳ９）。
【００５６】
また、上記（５）平面判定で、平面と判定された領域が複数存在する場合は、最も広い領域を自動的に床面とみなすようにしてもよい。あるいは、それらの複数の領域をディスプレイなどに表示するとともに、使用者のマウスやキーボードなどによる外部操作によっていずれの領域が床面であるかを選択できるようにしてもよい。
【００５７】
さらに、このようにして定められた床面を表す平面の方程式に基づいて、空間中の距離画像カメラ１０の設置場所や撮像方向の角度などを演算して、カメラ座標系である距離画像を、床面をＺ軸の原点とする座標系に変換してもよい。
【００５８】
なお、本発明は、その主旨または主要な特徴から逸脱することなく、他のいろいろな形で実施することができる。そのため、上述の実施形態はあらゆる点で単なる例示にすぎず、限定的に解釈してはならない。本発明の範囲は特許請求の範囲によって示すものであって、明細書本文にはなんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内のものである。
【符号の説明】
【００５９】
１０ 距離画像カメラ
１１ イメージセンサ
１２ 画像処理ユニット
１３ 制御ユニット
ＴS1 着目した小三角形
ＴS2、ＴS3、ＴS4 隣接する小三角形
ＴL1 着目した大三角形
ＴL2、ＴL3、ＴL4 隣接する大三角形
【技術分野】
【０００１】
本発明は、撮像された距離画像における平面推定方法および距離画像カメラに関し、特に、投射した光がターゲットに反射されて戻ってくるまでの時間を画素毎に精密に計測することで撮像される距離画像における平面推定方法およびそのような平面推定方法が適用されている距離画像カメラに関する。
【背景技術】
【０００２】
従来、対象空間を撮像した画像を用いてその対象空間を監視したりその対象空間内の対象物の外観を抽出したりする技術が種々提案されている。ところが、このような技術で用いられる画像は、対象空間の明暗を反映した濃淡画像であって、外光の光量変化の影響を受けるから、光量にほとんど変化の生じない環境でしか使用できないという問題がある。
【０００３】
そこで、対象空間における距離を画素値に持つ距離画像を生成し、その距離画像を用いて対象物を抽出する構成を採用することにより、光量変化の影響を受けずに対象物を抽出することを可能にした技術も提案されている。
【０００４】
しかし、このような距離画像は、画素一点のデータだけでは距離値が不安定な場合があり、抽出すべき対象物である人体を床面と明確に分離することが難しい。そのため、現状では、例えば、意図的に人体の足と床面との接地面を撮像画角内に含めないように、仰角を上げるなどの工夫を行って人体の足と床面とを分離している。
【０００５】
距離画像を用いる画像処理装置としては、例えば、異なる時刻で得られた複数の距離画像から差分画像を生成することなどによって、対象物と背景との距離差が小さい場合でも対象物を分離できるようにした技術が提案されている（例えば、特許文献１参照）。
【０００６】
しかし、この技術では、単純に背景を分離するだけであって、距離画像における平面を積極的に認識するわけではない。
【０００７】
撮像された画像における平面を探す方法としては、例えば、「ステレオ画像による平面推定方法および物体検出装置」（特許文献２）、「自律移動装置及び平面状障害物認識方法」（特許文献３）および「ロボット装置、及びその階段昇降方法、並びに移動装置」（特許文献４）などの技術も提案されている。
【０００８】
これらのうち、特許文献２に記載されている技術では、撮像エリア内に平面以外の物体が存在する場合でも高精度に平面を推定可能ではあるが、ステレオ画像の使用に限定されている。特許文献３に記載されている技術では、障害物としての平面状障害物、特に空隙を有する平面状障害物の位置を正確に認識することを主目的としている。特許文献４に記載されている技術では、移動体自身が階段に係る情報を取得して自律的に階段昇降動作を可能とするため、移動可能な平面を有する階段の認識やその階段が昇降可能か否かの判断などを行うように構成されている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００６−０５３７９１号公報
【特許文献２】特開２００４−０９４７０７号公報
【特許文献３】特開２００７−１２１２５８号公報
【特許文献４】再公表特許第ＷＯ２００５／０８７４５２号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
距離画像において人体モデルを自由に計算量少なく動かすためには、床面と足を明確に且つ少ない計算量で分離する必要がある。しかし、それを実現するには、上述した従来技術はいずれも必ずしも適しているものではなかった。
【００１１】
従来技術のこのような課題に鑑み、本発明の目的は、たとえ、撮像された距離画像に人体の足と床面との接地面などが含まれている場合であっても、人体の足と床面とを少ない計算量で明確に分離できるような距離画像における平面推定方法を提供すること、およびそのような平面推定方法が適用されている距離画像カメラを提供することである。
【課題を解決するための手段】
【００１２】
上記目的を達成するため、本発明の距離画像における平面推定方法は、正方格子状に配置された各画素の３次元データに基づいて、千鳥格子状配置に変換した変換後３次元データを算出するデータ変換工程と、前記千鳥格子状配置の最小の単位格子である小三角形のいずれかに着目して、その着目小三角形の３頂点に対応する変換後３次元データに基づいて、前記３頂点で定まる平面の方程式とこの平面の法線ベクトルとして前記小三角形の２辺にそれぞれ対応する２ベクトルの外積を算出する着目三角形対象演算工程と、前記着目小三角形の３辺のいずれかをそれぞれ共有するように隣接する３隣接小三角形についても法線ベクトルをそれぞれ算出する隣接三角形対象演算工程と、前記着目三角形対象演算工程で算出された法線ベクトルと前記隣接三角形対象演算工程で算出された３法線ベクトルとの２つの組み合わせすべての外積のそれぞれの大きさから最大値を求め、その最大値が第１閾値以下なら前記着目小三角形および前記３隣接小三角形からなる大三角形を平面候補と判定する平面候補探索工程と、この平面候補探索工程で平面候補と判定された大三角形を前記着目三角形対象演算工程における前記着目小三角形とみなして前記着目三角形対象演算工程、前記隣接三角形対象演算工程および前記平面候補探索工程を順に繰り返し、さらにこの繰り返しを前記着目小三角形の大きさを拡大しながら再帰的に行い、これによって平面候補と判定された新たな大三角形の面積が第２閾値以上となったらその大三角形に対応する領域を平面と判定することを、前記着目三角形対象演算工程で着目する小三角形を移動しながら前記変換後３次元データ全体にわたって行うことで平面候補を探索する平面判定工程と、この平面判定工程で平面と判定された領域内を距離画像から分離する平面判定領域分離工程とを含むことを特徴とする。
【００１３】
このような構成の距離画像における平面推定方法によれば、撮像された距離画像に人体の足と床面との接地面などが含まれている場合であっても、人体の足と床面とを少ない計算量で明確に分離できるので、人体や物体などの検出をより的確に行うことができるようになる。さらに、滑らかな曲面などを平面であると誤認してしまうことを極力防止できるとともに、全体としては平面とみなしてもかまわないような面の中に極めて小さな段差が存在していても平面であると的確に認識できる。
【００１４】
また、本発明の距離画像における平面推定方法において、前記平面候補探索工程で平面候補と判定された第１大三角形の１辺を共有するように隣接する第２大三角形が平面候補と判定されていなかった場合であっても、その第２大三角形に含まれるとともに前記第１大三角形に隣接する３小三角形の各法線ベクトルと前記第１大三角形の法線ベクトルとの外積の大きさが第３閾値以下であれば、前記小三角形もそれぞれ平面候補とみなすことを特徴としてもよい。
【００１５】
このような構成の距離画像における平面推定方法によれば、前記平面候補探索工程で平面候補と判定された前記第１大三角形に隣接する前記第２大三角形全体が平面候補に該当しない場合であっても、前記第２大三角形に含まれるとともに前記第１大三角形に隣接する３小三角形が平面候補か否かを判定することになる。これにより、平面の周辺部まで極力正確な推定を行うことが可能となる。
【００１６】
また、本発明の距離画像における平面推定方法において、前記平面判定工程で平面と判定された領域が複数存在する場合に、最も広い領域を床面とみなすことを特徴としてもよい。あるいは、前記平面判定工程で平面と判定された領域が複数存在する場合に、外部操作によっていずれの領域が床面であるかを選択可能であることを特徴としてもよい。
【００１７】
このような構成の距離画像における平面推定方法によれば、設置環境や使用目的などに応じて床面を的確に検出することができる。
【００１８】
また、本発明の距離画像における平面推定方法において、床面であるとみなされた又は床面として選択された平面の方程式に基づいて、カメラ座標系である距離画像を、床面をＺ軸の原点とする座標系に変換することを特徴としてもよい。
【００１９】
このような構成の距離画像における平面推定方法によれば、検出された人体や物体の床面からの高さなどが容易にわかるので、より的確な認識を行うことが可能となる。
【００２０】
あるいは、上記目的を達成するため、本発明の距離画像カメラは、画素値に距離情報を取得して距離画像を生成可能な撮像素子と、この距離画像における画像処理を行う画像処理ユニットとを備え、前記画像処理ユニットにおける前記画像処理で前記いずれかの距離画像における平面推定方法が実行されることを特徴とする。
【００２１】
このような構成の距離画像カメラによれば、撮像された距離画像に人体の足と床面との接地面などが含まれている場合であっても、人体の足と床面とを少ない計算量で明確に分離できるので、人体や物体などの検出をより的確に行うことができるようになる。
【発明の効果】
【００２２】
本発明の距離画像における平面推定方法および本発明の距離画像カメラによれば、撮像された距離画像に人体の足と床面との接地面などが含まれている場合であっても、人体の足と床面とを少ない計算量で明確に分離できるので、人体や物体などの検出をより的確に行うことができるようになる。さらに、滑らかな曲面などを平面であると誤認してしまうことを極力防止できるとともに、全体としては平面とみなしてもかまわないような面の中に極めて小さな段差が存在していても平面であると的確に認識できる。
【図面の簡単な説明】
【００２３】
【図１】本発明の一実施形態に係る距離画像カメラ１０の概略構成を示すブロック図である。
【図２】この距離画像カメラ１０によって壁面の手前で両手を広げて立っている人体を撮像した場合の距離画像の一例である。
【図３】この距離画像カメラ１０に内蔵されているイメージセンサ１１によって取得される３次元データ構造の説明図である。
【図４】外積についての説明図である。
【図５】距離画像における平面推定方法の概略を示すフローチャートである。
【図６】図６（ａ）はＸ方向に並んでいる各行の隣接２画素毎に３次元データを平均化する演算の説明図である。図６（ｂ）は千鳥格子状配置に変換した変換後３次元データの説明図である。
【図７】図７（ａ）はＸ方向に並んでいる各行の隣接２画素毎に３次元データを平均化する別の演算の説明図である。図７（ｂ）はその変換後３次元データの説明図である。
【図８】千鳥格子状配置の３次元データに変換しない場合における着目三角形の決め方の説明図である。
【図９】小三角形ＴS1に着目して平面候補探索などを行う処理の説明図である。
【図１０】大三角形ＴL1に着目して平面候補探索などを繰り返す処理の説明図である。
【図１１】平面候補探索で着目する三角形の大きさをさらに拡大した場合の説明図である。
【図１２】本実施形態による作用効果の説明図である。
【図１３】本実施形態による別の作用効果の説明図である。
【図１４】平面候補探索の候補漏れに対する処理の説明図である。
【発明を実施するための形態】
【００２４】
以下、本発明の実施形態を、図面を参照して説明する。
【００２５】
＜距離画像カメラ１０の概略構成など＞
図１は、本発明の一実施形態に係る距離画像カメラ１０の概略構成を示すブロック図である。
【００２６】
この図１に示すように、距離画像カメラ１０は、対象空間へ投射した光が反射されて戻ってくるまでの時間に基づいて画素値に距離データを取得して距離画像を生成することが可能なイメージセンサ１１（例えば、ＴＯＦセンサなど）と、この距離画像における平面の推定（詳細は後述）などを行う画像処理ユニット１２と、距離画像カメラ１０全体の制御などを行う制御ユニット１３（例えば、ＣＰＵ）を備えている。
【００２７】
図２は、この距離画像カメラ１０によって壁面の手前で両手を広げて立っている人体を撮像した場合の距離画像の一例である。
【００２８】
例えば、室内が暗い場合など、通常のイメージセンサで撮像された可視光による画像では、人体と背景の区別がほとんどつかないことがある。これに対して、距離画像カメラ１０によって撮像された距離画像では、図２に示すように、壁面の手前で両手を広げて立っている人体の表面が浮かび上がる。
【００２９】
図３は、この距離画像カメラ１０に内蔵されているイメージセンサ１１によって取得される３次元データ構造の説明図である。
【００３０】
このイメージセンサ１１は正方格子状に配置された画素毎に距離情報を取得する。図３に示すように、水平方向をＸ、垂直方向をＹとすると、被写体を含む撮像画角内を２次元配列上（Ｘ，Ｙ）に、距離画像カメラ１０の位置若しくは任意に設定された原点を基準とする３次元データＰXY＝（ｘXY，ｙXY、ｚXY）として格納する。
【００３１】
図４は、外積についての説明図である。後述する距離画像における平面推定方法では、外積を多用するため、念のために簡単に説明しておく。
【００３２】
図４に示すように、空間ベクトルａおよびｂの外積ａ×ｂは、空間ベクトルａおよびｂいずれに対しても垂直であり、外積ａ×ｂの大きさは空間ベクトルａおよびｂの張る平行四辺形の面積Ｓに等しい。また、ａ、ｂ、ａ×ｂは順に右手系をなす。ただし、平行四辺形がつぶれてＳ＝０となるａ、ｂに関してはａ×ｂ＝０となる。
【００３３】
ここで、空間ベクトルａ＝（ａ1，ａ2，ａ3）、ｂ＝（ｂ1，ｂ2，ｂ3）とすると、
ａ×ｂ＝（ａ2ｂ3−ａ3ｂ2，ａ3ｂ1−ａ1ｂ3，ａ1ｂ2−ａ2ｂ1）
である。
【００３４】
なお、外積ａ×ｂが空間ベクトルａおよびｂいずれに対しても垂直であることから、外積ａ×ｂは、空間ベクトルａおよびｂを隣接する２辺とする三角形の３頂点で定まる平面の法線ベクトルでもある。
【００３５】
＜距離画像における平面推定方法＞
図５は、距離画像における平面推定方法の概略を示すフローチャートである。以下では、この図５を参照しながら、距離画像カメラ１０によって取得された距離画像における平面推定方法を説明する。なお、図５のステップＳ７〜Ｓ９は必ずしも行わなくてもよいので、後述する＜変形例など＞において説明する。
【００３６】
イメージセンサ１１によって取得された３次元データは、画像処理ユニット１２によって次のような処理を行うことによって距離画像における平面の推定を行う。ここで言う「平面」とは、床面や壁面などのように一定値以上の広い面積を有しており、人体などの背景として距離画像から分離すべき領域を意味している。
【００３７】
（１）データ変換
図３を参照して上述したように、イメージセンサ１１の画素自体は正方格子状に配置されている。そこでまず、図６（ａ）に示すように、Ｘ方向（図３と同様に水平方向、以下も同様）に並んでいる各行の隣接２画素毎に３次元データを平均化する演算を行う。このとき、上下に隣接する行同士では、平均化する隣接２画素の組み合わせを１画素分だけずらすようにしている。これにより、図６（ｂ）に示すように、千鳥格子状配置に変換した３次元データ（変換後３次元データ）が得られることになる（ステップＳ１）。
【００３８】
なお、変換前の３次元データをＸ方向の隣接２画素毎に平均化したことにより、変換後３次元データのＸ方向の画素間隔は、実際には元の２倍になっているが、説明の簡略化などの都合上、同じ画素間隔として図示してある（図９以降も同様）。
【００３９】
ただし、補間演算の併用などの工夫によって変換前の３次元データとＸ方向の画素間隔を同じに維持しながら千鳥格子状配置の３次元データに変換することなども可能である。例えば、図７（ａ）に示すように、Ｘ方向に並んでいる各行の隣接２画素毎に３次元データを平均化する演算（図６（ａ）の場合とは異なる演算）を行えば、図７（ｂ）に示すような変換後３次元データが得られる。あるいは、千鳥格子状配置の３次元データに変換しなくても、図８に示すような隣接画素の組み合わせで後述するような着目三角形を決めて演算を行うようにしてもよい。
【００４０】
また、同一時刻の１フレームの距離画像のみを用いて平均化を行うのではなく、例えば、時間軸上の複数フレームの距離画像を用いて平均化を行うようにしてもよい。
【００４１】
（２）着目三角形を対象とする演算
次に、千鳥格子状配置の最小の単位格子である小三角形のいずれかに着目する。ここで、例えば図９に示すように、小三角形ＴS1に着目したとすると、この小三角形ＴS1の３つの頂点Ａ１、Ａ２、Ａ３に対応する変換後３次元データに基づいて、頂点Ａ１、Ａ２、Ａ３で定まる平面の方程式と、この平面の法線ベクトルとして小三角形ＴS1の２辺（Ａ１Ａ２、Ａ１Ａ３）にそれぞれ対応する２ベクトルの外積を算出する（ステップＳ２）。
【００４２】
（３）隣接三角形を対象とする演算
さらに、着目した小三角形ＴS1の３辺（Ａ１Ａ２、Ａ１Ａ３、Ａ２Ａ３）のいずれかをそれぞれ共有するように隣接する３つの小三角形ＴS2、ＴS3、ＴS4（変換後３次元データの画素上では小三角形ＴS1とそれぞれ同じ大きさ）についても、同様にして法線ベクトルをそれぞれ算出する。
【００４３】
（４）平面候補探索
そして、４つの小三角形ＴS1、ＴS2、ＴS3、ＴS4の各法線ベクトルのうちの２つの組み合わせすべて（合計６通り）の外積を求めてから（ステップＳ３）、それらの外積の大きさの最大値と所定閾値（第１閾値）との大小比較を行う。なお、この第１閾値は固定値に限るわけではなく、例えば、着目した小三角形ＴS1の変換後３次元データの画素上における大きさに応じて可変としてもよい。この場合、後述するように着目する三角形の大きさを拡大したときは、それに応じて第１閾値も大きくすればよい。
【００４４】
この大小比較の結果、外積の大きさの最大値が第１閾値以下だったときは、４つの小三角形ＴS1、ＴS2、ＴS3、ＴS4からなる１つの大三角形（Ａ４、Ａ５、Ａ６を頂点とする三角形）を平面候補と判定する。というのは、千鳥格子状配置の各小三角形がすべて同一形状であれば各小三角形の面積もすべて同一となり、外積から求められる各法線ベクトルの大きさも等しくなるから、２つの法線ベクトルの外積の大きさの違いはそれら２つの法線ベクトルがなす角度のみに依存するからである。外積の大きさの最大値が第１閾値以下ということは、各法線ベクトルの任意の２つの組み合わせのなす角度が、所定値に対応する角度以下であることを示している。
【００４５】
次の平面候補を探索するため、着目する小三角形を移動してから同様の処理を繰り返す。例えば、小三角形ＴS1の右上の小三角形ＴS5に着目してもよい。このようにすれば、この小三角形ＴS5を中央に含む大三角形が、小三角形ＴS1、ＴS2、ＴS3、ＴS4からなる大三角形とは形状が上下に対称ではあるが、ちょうど隣接する。
【００４６】
このように、着目する小三角形を移動しながら同様の処理の繰り返しを変換後３次元データ全体にわたって行うことにより、変換後３次元データ内に存在するすべての平面候補の探索をすることができる（ステップＳ４）。
【００４７】
（５）平面判定
上記（４）平面候補探索で、大三角形（Ａ４、Ａ５、Ａ６を頂点とする三角形）が平面候補と判定されたのであれば、図１０に示すように、今度は大三角形ＴL1に着目するとともにこれに隣接する３つの大三角形ＴL2、ＴL3、ＴL4も用いて、上記（２）〜（４）と同様の処理を繰り返す。このとき、これらの大三角形ＴL1などは小三角形ＴS1などとみなされていることになる。
【００４８】
さらに、図１１に示すように、平面候補探索で着目する三角形の大きさを拡大する。すなわち、三角形ＴX1に着目し、これ以降も同様の処理を再帰的に繰り返していく（ステップＳ５）。ただし、大きさを拡大した後の着目する三角形ＴX1の中に、平面候補から除外された三角形を含む場合には、この三角形ＴX1は平面候補から除外する。
【００４９】
そして、そのような再帰的な平面候補探索処理の繰り返しの結果、平面候補と判定された新たな大三角形の面積が所定面積（第２閾値）以上となっていれば、その大三角形に対応する領域を平面と判定する。処理の繰り返し回数には、規定回数を上限として設定しておくことが好ましい（ステップＳ６）。
【００５０】
このように、着目する三角形の大きさを拡大しながら再帰的な処理を繰り返すことによって、効率良く平面を推定することができる。
【００５１】
（６）距離画像からの平面分離
以上の（１）〜（５）までの処理によって平面と判定されたすべての領域を距離画像から分離する。例えば、撮像された距離画像を用いるのではなく、平面と判定された領域についてはその平面上に再描画してもよい。これにより、距離画像において床面や壁面などの平面に対応する画素とそれ以外の画素とを分離して扱うことが可能となるので、人体や物体などの検出をより的確に行うことができるようになる。
【００５２】
図１２に示すように、滑らかな曲面Ｆ１に適用したとき、点Ｐnとこれに隣接する点Ｐn+1および点Ｐn-1からなる小さい三角形のみでは角度が極めて浅くなるため、平面と誤認してしまう可能性がある。一方、上述した再帰的処理を用いた距離画像における平面推定方法によれば、例えば、点Ｐnとこれから少し離れた点Ｐn+4および点Ｐn-4からなる大三角形では角度が急になるため、そのような誤認を防止することができる。
【００５３】
また、図１３に示すように、全体としては平面とみなしてもかまわないような面Ｆ２の中に極めて小さな段差Ｂ２が存在していても、そのようなときの段差Ｂ２における三角形の面積は小さくなるので、外積の計算結果は小さくなることが期待できる。これにより、たとえ、小さな段差Ｂ２を有する場合であっても、それを含む面Ｆ２を平面であると的確に認識することができる。
【００５４】
＜変形例など＞
例えば、上記（４）平面候補探索では、図１４に示すように、着目した小三角形ＴS1とこれに隣接する３つの小三角形ＴS2、ＴS3、ＴS4からなる大三角形が平面候補と判定されなかったとしても、この大三角形に隣接する大三角形ＴL1が平面候補と判定されることはあり得る。
【００５５】
そこで、このような場合の平面の候補漏れの処理（ステップＳ７）としては、大三角形ＴL1の法線ベクトルと、各小三角形ＴS2、ＴS3、ＴS4の法線ベクトルの外積が所定閾値以下であれば、各小三角形ＴS2、ＴS3、ＴS4をそれぞれ平面候補とみなすようにしてもよい。ただし、それ以降の平面候補探索には、小三角形ＴS1、ＴS2、ＴS3、ＴS4からなる大三角形を用いて行ってもよい。また、このような平面の候補漏れの処理は、着目する三角形の大きさを縮小しながら再帰的に行うとともに（ステップＳ８）、処理の繰り返し回数には、規定回数を上限として設定しておくことが好ましい（ステップＳ９）。
【００５６】
また、上記（５）平面判定で、平面と判定された領域が複数存在する場合は、最も広い領域を自動的に床面とみなすようにしてもよい。あるいは、それらの複数の領域をディスプレイなどに表示するとともに、使用者のマウスやキーボードなどによる外部操作によっていずれの領域が床面であるかを選択できるようにしてもよい。
【００５７】
さらに、このようにして定められた床面を表す平面の方程式に基づいて、空間中の距離画像カメラ１０の設置場所や撮像方向の角度などを演算して、カメラ座標系である距離画像を、床面をＺ軸の原点とする座標系に変換してもよい。
【００５８】
なお、本発明は、その主旨または主要な特徴から逸脱することなく、他のいろいろな形で実施することができる。そのため、上述の実施形態はあらゆる点で単なる例示にすぎず、限定的に解釈してはならない。本発明の範囲は特許請求の範囲によって示すものであって、明細書本文にはなんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内のものである。
【符号の説明】
【００５９】
１０ 距離画像カメラ
１１ イメージセンサ
１２ 画像処理ユニット
１３ 制御ユニット
ＴS1 着目した小三角形
ＴS2、ＴS3、ＴS4 隣接する小三角形
ＴL1 着目した大三角形
ＴL2、ＴL3、ＴL4 隣接する大三角形
【特許請求の範囲】
【請求項１】
距離画像における平面推定方法であって、
正方格子状に配置された各画素の３次元データに基づいて、千鳥格子状配置に変換した変換後３次元データを算出するデータ変換工程と、
前記千鳥格子状配置の最小の単位格子である小三角形のいずれかに着目して、その着目小三角形の３頂点に対応する変換後３次元データに基づいて、前記３頂点で定まる平面の方程式とこの平面の法線ベクトルとして前記小三角形の２辺にそれぞれ対応する２ベクトルの外積を算出する着目三角形対象演算工程と、
前記着目小三角形の３辺のいずれかをそれぞれ共有するように隣接する３隣接小三角形についても法線ベクトルをそれぞれ算出する隣接三角形対象演算工程と、
前記着目三角形対象演算工程で算出された法線ベクトルと前記隣接三角形対象演算工程で算出された３法線ベクトルとの２つの組み合わせすべての外積のそれぞれの大きさから最大値を求め、その最大値が第１閾値以下なら前記着目小三角形および前記３隣接小三角形からなる大三角形を平面候補と判定することを、前記着目三角形対象演算工程で着目する小三角形を移動しながら前記変換後３次元データ全体にわたって行うことで平面候補を探索する平面候補探索工程と、
この平面候補探索工程で平面候補と判定された大三角形を前記着目三角形対象演算工程における前記着目小三角形とみなして前記着目三角形対象演算工程、前記隣接三角形対象演算工程および前記平面候補探索工程を順に繰り返し、さらにこの繰り返しを前記着目小三角形の大きさを拡大しながら再帰的に行い、これによって平面候補と判定された新たな大三角形の面積が第２閾値以上となったらその大三角形に対応する領域を平面と判定する平面判定工程と、
この平面判定工程で平面と判定された領域内を距離画像から分離する平面判定領域分離工程
とを含むことを特徴とする距離画像における平面推定方法。
【請求項２】
請求項１に記載の距離画像における平面推定方法において、
前記平面候補探索工程で平面候補と判定された第１大三角形の１辺を共有するように隣接する第２大三角形が平面候補と判定されていなかった場合であっても、その第２大三角形に含まれるとともに前記第１大三角形に隣接する３小三角形の各法線ベクトルと前記第１大三角形の法線ベクトルとの外積の大きさが第３閾値以下であれば、前記小三角形もそれぞれ平面候補とみなすことを特徴とする距離画像における平面推定方法。
【請求項３】
請求項１または２に記載の距離画像における平面推定方法において、
前記平面判定工程で平面と判定された領域が複数存在する場合に、最も広い領域を床面とみなすことを特徴とする距離画像における平面推定方法。
【請求項４】
請求項１または２に記載の距離画像における平面推定方法において、
前記平面判定工程で平面と判定された領域が複数存在する場合に、外部操作によっていずれの領域が床面であるかを選択可能であることを特徴とする距離画像における平面推定方法。
【請求項５】
請求項３または４に記載の距離画像における平面推定方法において、
床面であるとみなされた又は床面として選択された平面の方程式に基づいて、カメラ座標系である距離画像を、床面をＺ軸の原点とする座標系に変換することを特徴とする距離画像における平面推定方法。
【請求項６】
画素値に距離情報を取得して距離画像を生成可能な撮像素子と、
この距離画像における画像処理を行う画像処理ユニットと
を備え、
前記画像処理ユニットにおける前記画像処理で、請求項１〜５のいずれか１項に記載の距離画像における平面推定方法が実行されることを特徴とする距離画像カメラ。
【請求項１】
距離画像における平面推定方法であって、
正方格子状に配置された各画素の３次元データに基づいて、千鳥格子状配置に変換した変換後３次元データを算出するデータ変換工程と、
前記千鳥格子状配置の最小の単位格子である小三角形のいずれかに着目して、その着目小三角形の３頂点に対応する変換後３次元データに基づいて、前記３頂点で定まる平面の方程式とこの平面の法線ベクトルとして前記小三角形の２辺にそれぞれ対応する２ベクトルの外積を算出する着目三角形対象演算工程と、
前記着目小三角形の３辺のいずれかをそれぞれ共有するように隣接する３隣接小三角形についても法線ベクトルをそれぞれ算出する隣接三角形対象演算工程と、
前記着目三角形対象演算工程で算出された法線ベクトルと前記隣接三角形対象演算工程で算出された３法線ベクトルとの２つの組み合わせすべての外積のそれぞれの大きさから最大値を求め、その最大値が第１閾値以下なら前記着目小三角形および前記３隣接小三角形からなる大三角形を平面候補と判定することを、前記着目三角形対象演算工程で着目する小三角形を移動しながら前記変換後３次元データ全体にわたって行うことで平面候補を探索する平面候補探索工程と、
この平面候補探索工程で平面候補と判定された大三角形を前記着目三角形対象演算工程における前記着目小三角形とみなして前記着目三角形対象演算工程、前記隣接三角形対象演算工程および前記平面候補探索工程を順に繰り返し、さらにこの繰り返しを前記着目小三角形の大きさを拡大しながら再帰的に行い、これによって平面候補と判定された新たな大三角形の面積が第２閾値以上となったらその大三角形に対応する領域を平面と判定する平面判定工程と、
この平面判定工程で平面と判定された領域内を距離画像から分離する平面判定領域分離工程
とを含むことを特徴とする距離画像における平面推定方法。
【請求項２】
請求項１に記載の距離画像における平面推定方法において、
前記平面候補探索工程で平面候補と判定された第１大三角形の１辺を共有するように隣接する第２大三角形が平面候補と判定されていなかった場合であっても、その第２大三角形に含まれるとともに前記第１大三角形に隣接する３小三角形の各法線ベクトルと前記第１大三角形の法線ベクトルとの外積の大きさが第３閾値以下であれば、前記小三角形もそれぞれ平面候補とみなすことを特徴とする距離画像における平面推定方法。
【請求項３】
請求項１または２に記載の距離画像における平面推定方法において、
前記平面判定工程で平面と判定された領域が複数存在する場合に、最も広い領域を床面とみなすことを特徴とする距離画像における平面推定方法。
【請求項４】
請求項１または２に記載の距離画像における平面推定方法において、
前記平面判定工程で平面と判定された領域が複数存在する場合に、外部操作によっていずれの領域が床面であるかを選択可能であることを特徴とする距離画像における平面推定方法。
【請求項５】
請求項３または４に記載の距離画像における平面推定方法において、
床面であるとみなされた又は床面として選択された平面の方程式に基づいて、カメラ座標系である距離画像を、床面をＺ軸の原点とする座標系に変換することを特徴とする距離画像における平面推定方法。
【請求項６】
画素値に距離情報を取得して距離画像を生成可能な撮像素子と、
この距離画像における画像処理を行う画像処理ユニットと
を備え、
前記画像処理ユニットにおける前記画像処理で、請求項１〜５のいずれか１項に記載の距離画像における平面推定方法が実行されることを特徴とする距離画像カメラ。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１１−１８６７４９（Ｐ２０１１−１８６７４９Ａ）
【公開日】平成２３年９月２２日（２０１１．９．２２）
【国際特許分類】
【出願番号】特願２０１０−５０９０６（Ｐ２０１０−５０９０６）
【出願日】平成２２年３月８日（２０１０．３．８）
【出願人】（０００１０３７３６）オプテックス株式会社 (116)
【Ｆターム（参考）】
【公開日】平成２３年９月２２日（２０１１．９．２２）
【国際特許分類】
【出願日】平成２２年３月８日（２０１０．３．８）
【出願人】（０００１０３７３６）オプテックス株式会社 (116)
【Ｆターム（参考）】
[ Back to top ]