３次元データ映像の階段認識方法
【課題】３次元データ映像から階段の蹴上げ面及び踏み面を検出して、階段を認識する３次元データ映像の階段認識方法を提供する。
【解決手段】３次元データ映像の階段認識方法は、映像獲得部が、階段が位置する空間の３次元データ映像を獲得する段階と、映像処理部が、前記３次元データ映像から前記階段の連続する両踏み面の間の高さを計算し、前記計算された高さによって、前記連続する両踏み面の間に位置する各ポイントを判断し、前記連続する両踏み面の間に位置する各ポイントを通じて、前記連続する両踏み面の間に位置する蹴上げ面を検出する段階と、前記３次元データ映像から前記階段の連続する両蹴上げ面の間の幅を計算し、前記計算された幅によって、前記連続する両蹴上げ面の間に位置する各ポイントを判断し、前記連続する両蹴上げ面の間に位置する各ポイントを通じて、前記連続する両蹴上げ面の間に位置する踏み面を検出する段階とを含む。
【解決手段】３次元データ映像の階段認識方法は、映像獲得部が、階段が位置する空間の３次元データ映像を獲得する段階と、映像処理部が、前記３次元データ映像から前記階段の連続する両踏み面の間の高さを計算し、前記計算された高さによって、前記連続する両踏み面の間に位置する各ポイントを判断し、前記連続する両踏み面の間に位置する各ポイントを通じて、前記連続する両踏み面の間に位置する蹴上げ面を検出する段階と、前記３次元データ映像から前記階段の連続する両蹴上げ面の間の幅を計算し、前記計算された幅によって、前記連続する両蹴上げ面の間に位置する各ポイントを判断し、前記連続する両蹴上げ面の間に位置する各ポイントを通じて、前記連続する両蹴上げ面の間に位置する踏み面を検出する段階とを含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、階段が位置する空間の３次元データ映像から、階段をなすデータポイントを検出する３次元データ映像の階段認識方法に関するものである。
【背景技術】
【０００２】
ヒューマノイドまたは移動ロボットが階段を上がるためには、ロボットの現在位置を基準にして、階段の位置、階段の高さ及び幅などの情報を認識しなければならない。そのために、ロボットには、階段が位置する空間の３次元データ映像を獲得するための３次元センサが設置され、ロボットに設置されたマイクロコントローラを通じて、３次元データ映像を処理し、分析して階段を認識することができる。
【０００３】
従来の階段認識方法として、ＩＣＰ（Ｉｎｔｅｒａｔｉｖｅ Ｃｌｏｓｅｓｔ ｐｏｉｎｔ）方法は、３次元データ映像から検出した３次元モデルと、既に格納された３次元モデルをマッチングする方法である。ＩＣＰ方法は、前記２つの３次元モデルの間の距離が最小になるように、反復的な計算を通じて、前記２つの３次元モデルをマッチングする。したがって、ＩＣＰ方法は、既に格納された３次元モデルが要求され、既に格納された３次元モデルとのマッチングのために反復的な計算が要求される。他の方法としては、３次元データ映像から頂点を通じて直線を検出し、この直線に基づいて階段を認識する方法がある。この方法は、３次元データ映像において、階段をなす連続する２つの直線は、同じ平面上に位置すると仮定して、階段の踏み面を認識する。このように、３次元データ映像から直線を検出する方法は、３次元データ映像の特性上、誤差に敏感であるため、階段認識の正確度が低下するという問題点がある。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の一側面は、３次元データ映像から階段の蹴上げ面及び踏み面を検出して、階段を認識する３次元データ映像の階段認識方法を提供する。
【課題を解決するための手段】
【０００５】
このための本発明の一実施例による３次元データ映像の階段認識方法は、映像獲得部が、階段が位置する空間の３次元データ映像を獲得する段階と；映像処理部が、前記３次元データ映像から前記階段の連続する両踏み面の間の高さを計算し、前記計算された高さによって、前記連続する両踏み面の間に位置する各ポイントを判断し、前記連続する両踏み面の間に位置する各ポイントを通じて、前記連続する両踏み面の間に位置する蹴上げ面を検出する段階と；前記映像処理部が、前記３次元データ映像から前記階段の連続する両蹴上げ面の間の幅を計算し、前記計算された幅によって、前記連続する両蹴上げ面の間に位置する各ポイントを判断し、前記連続する両蹴上げ面の間に位置する各ポイントを通じて、前記連続する両蹴上げ面の間に位置する踏み面を検出する段階と；を含む。
【０００６】
前記映像処理部が、ＲＡＮＳＡＣアルゴリズムを用いて、前記３次元データ映像から前記階段が位置する底平面を検出する段階をさらに含むことができる。
【０００７】
前記底平面を検出する段階は、次の式によって、前記底平面の式を算出できる。
【０００８】
【数１】
ここで、ａ、ｂ、ｃは、前記底平面の法線ベクトルの成分であり、ｄは、前記底平面と原点との最短距離を示す定数である。
【０００９】
前記映像処理部が、前記３次元データ映像をラベリングして、前記階段領域を分離し、前記底平面と前記分離された階段領域との接線から前記階段の始めを判断して、階段認識を始める段階をさらに含むことができる。
【００１０】
前記蹴上げ面を検出する段階は、前記映像処理部が、前記底平面と前記階段の１番目の踏み面とが平行であることを通じて、前記１番目の踏み面の式を限定し、前記底平面から既に決まった階段高さの範囲に位置する各ポイントを通じて、前記１番目の踏み面の式を推定できる。
【００１１】
前記蹴上げ面を検出する段階は、次の式によって、前記１番目の踏み面の式を限定できる。
【００１２】
【数２】
ここで、ａ、ｂ、ｃは、前記１番目の踏み面の法線ベクトルの成分であって、前記底平面の法線ベクトルの成分と同一であり、ｄ’は、前記１番目の踏み面と原点との最短距離を示す変数である。
【００１３】
前記蹴上げ面を検出する段階は、前記映像処理部が、前記底平面の式と前記推定した１番目の踏み面の式とを比較して、前記底平面と前記推定した１番目の踏み面との間の高さを計算できる。
【００１４】
前記蹴上げ面を検出する段階は、前記映像処理部が、前記１番目の蹴上げ面が前記底平面、及び前記推定した１番目の踏み面と垂直であることを通じて、前記１番目の蹴上げ面の式を限定し、前記底平面と前記推定した１番目の踏み面との間に位置する各ポイントを通じて、前記１番目の蹴上げ面の式を算出できる。
【００１５】
前記蹴上げ面を検出する段階は、次の式によって、前記１番目の蹴上げ面の式を限定できる。
【００１６】
【数３】
ここで、ｎ、ｍ、ｌは、前記１番目の蹴上げ面の法線ベクトルの成分であって、前記１番目の蹴上げ面の法線ベクトルと前記底平面、及び前記推定した１番目の踏み面の法線ベクトルの内積は、０を満足し、ｋは、前記１番目の蹴上げ面と原点との最短距離を示す変数である。
【００１７】
前記蹴上げ面を検出する段階は、前記映像処理部が、前記階段の連続する下踏み面と上踏み面とが平行であることを通じて、前記上踏み面の式を限定し、前記下踏み面から既に決まった階段高さの範囲に位置する各ポイントを通じて、前記上踏み面の式を推定できる。
【００１８】
前記蹴上げ面を検出する段階は、次の式によって、前記上踏み面の式を限定できる。
【００１９】
【数４】
ここで、ａ、ｂ、ｃは、前記上踏み面の法線ベクトルの成分であって、前記下踏み面の法線ベクトルの成分と同一であり、ｄ’は、前記上踏み面と原点との最短距離を示す変数である。
【００２０】
前記蹴上げ面を検出する段階は、前記映像処理部が、前記下踏み面の式と前記推定した上踏み面の式とを比較して、前記下踏み面と前記推定した上踏み面との間の高さを計算できる。
【００２１】
前記蹴上げ面を検出する段階は、前記映像処理部が、前記蹴上げ面がその下の蹴上げ面と平行であることを通じて、前記蹴上げ面の式を限定し、前記下踏み面と前記推定した上踏み面との間に位置する各ポイントを通じて、前記蹴上げ面の式を算出できる。
【００２２】
前記蹴上げ面を検出する段階は、次の式によって、前記蹴上げ面の式を限定できる。
【００２３】
【数５】
ここで、ｎ、ｍ、ｌは、前記蹴上げ面の法線ベクトルの成分であって、前記その下の蹴上げ面の法線ベクトルの成分と同一であり、ｋは、前記蹴上げ面と原点との最短距離を示す変数である。
【００２４】
前記踏み面を検出する段階は、前記映像処理部が、前記階段の連続する下蹴上げ面と上蹴上げ面とが平行であることを通じて、前記上蹴上げ面の式を限定し、前記下蹴上げ面から既に決まった階段幅の範囲に位置する各ポイントを通じて、前記上蹴上げ面の式を推定できる。
【００２５】
前記踏み面を検出する段階は、次の式によって、前記上蹴上げ面の式を限定できる。
【００２６】
【数６】
ここで、ｎ、ｍ、ｌは、前記上蹴上げ面の法線ベクトルの成分であって、前記下蹴上げ面の法線ベクトルの成分と同一であり、ｋ’は、前記上蹴上げ面と原点との最短距離を示す変数である。
【００２７】
前記踏み面を検出する段階は、前記映像処理部が、前記下蹴上げ面の式と前記推定した上蹴上げ面の式とを比較して、前記下蹴上げ面と前記推定した上蹴上げ面との間の幅を計算できる。
【００２８】
前記踏み面を検出する段階は、前記映像処理部が、前記踏み面がその下の踏み面と平行であることを通じて、前記踏み面の式を限定し、前記下蹴上げ面と前記推定した上蹴上げ面との間に位置する各ポイントを通じて、前記踏み面の式を算出できる。
【００２９】
前記踏み面を検出する段階は、次の式によって、前記踏み面の式を限定できる。
【００３０】
【数７】
ここで、ａ、ｂ、ｃは、前記踏み面の法線ベクトルの成分であって、前記その下の踏み面の法線ベクトルの成分と同一であり、ｄ’は、前記踏み面と原点との最短距離を示す変数である。
【００３１】
前記映像処理部が、前記３次元データ映像から前記階段の終わりか否かを判断して、前記階段が終わる場合、階段認識を終了し、前記階段が終わらない場合、前記階段の次の蹴上げ面及び次の踏み面を検出する段階をさらに含むことができる。
【００３２】
前記階段の終わりか否かを判断する段階は、前記連続する両蹴上げ面の間の幅が、既に決まった臨界値以上である場合、前記階段が終わるものと判断できる。
【発明の効果】
【００３３】
上述した本発明の一側面によれば、３次元データ映像から階段の蹴上げ面及び踏み面を検出して、階段を認識するので、既に格納された３次元モデルが要求されず、既に格納された３次元モデルとのマッチングのために反復的な計算が要求されないので、早い時間内に３次元データ映像から階段を認識できる。また、３次元データ映像において連続する直線を通じて、階段の蹴上げ面または踏み面を検出しないので、誤差に敏感でなく、高い正確度で３次元データ映像から階段を認識できる。
【図面の簡単な説明】
【００３４】
【図１】本発明の一実施例による３次元データ映像の階段認識方法の概略的なフローチャートである。
【図２】本発明の一実施例による３次元データ映像から階段の始めを判断する方法の概略的なフローチャートである。
【図３】本発明の一実施例による３次元データ映像から階段の蹴上げ面を検出する方法の概略的なフローチャートである。
【図４】本発明の一実施例による３次元データ映像から階段の踏み面を検出する方法の概略的なフローチャートである。
【図５】本発明の一実施例による３次元データ映像から階段を認識するシステムの概略的なブロック図である。
【図６Ａ】本発明の一実施例による３次元データ映像から底平面を検出する方法を概略的に説明するための図である。
【図６Ｂ】本発明の一実施例による３次元データ映像から底平面を検出する方法を概略的に説明するための図である。
【図７】本発明の一実施例による３次元データ映像から階段の始めを判断する方法を概略的に説明するための図である。
【図８Ａ】本発明の一実施例による３次元データ映像から階段の蹴上げ面を検出する方法を概略的に説明するための図である。
【図８Ｂ】本発明の一実施例による３次元データ映像から階段の蹴上げ面を検出する方法を概略的に説明するための図である。
【図８Ｃ】本発明の一実施例による３次元データ映像から階段の蹴上げ面を検出する方法を概略的に説明するための図である。
【図８Ｄ】本発明の一実施例による３次元データ映像から階段の蹴上げ面を検出する方法を概略的に説明するための図である。
【図９Ａ】本発明の一実施例による３次元データ映像から階段の踏み面を検出する方法を概略的に説明するための図である。
【図９Ｂ】本発明の一実施例による３次元データ映像から階段の踏み面を検出する方法を概略的に説明するための図である。
【図９Ｃ】本発明の一実施例による３次元データ映像から階段の踏み面を検出する方法を概略的に説明するための図である。
【図９Ｄ】本発明の一実施例による３次元データ映像から階段の踏み面を検出する方法を概略的に説明するための図である。
【図１０】本発明の一実施例による３次元データ映像から階段の終わり否かを判断する方法を概略的に説明するための図である。
【発明を実施するための形態】
【００３５】
以下では、添付の図面を参照して、本発明について詳細に説明する。
【００３６】
図１は、本発明の一実施例による３次元データ映像の階段認識方法の概略的なフローチャートである。図１を参照して説明すると、映像獲得部が、階段が位置する空間の３次元データ映像を獲得することができる（Ｓ１１０）。ここで、３次元データ映像は、例えば、３次元ポイントクラウド（ｐｏｉｎｔ ｃｌｏｕｄ）映像であってもよいが、これに限定されるものではなく、ｘ、ｙ、ｚの３次元座標を持つデータポイントからなる形態であれば、本発明の一実施例による３次元データ映像の階段認識方法を適用することができる。一方、３次元データ映像には、３次元座標系が存在することができ、例えば、ロボットの中心を原点にして、ロボットの正面方向をｘ軸、ロボットの側面方向をｙ軸、ロボットの上面方向をｚ軸に設定できる。
【００３７】
映像処理部は、ＲＡＮＳＡＣ（Ｒａｎｄｏｍ Ｓａｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）アルゴリズムを用いて、３次元データ映像から階段が位置する底平面の式を算出することができる（Ｓ１２０）。ＲＡＮＳＡＣアルゴリズムは、本発明が属する技術分野における通常の技術者にとって自明な事項であって、ＲＡＮＳＡＣアルゴリズムに対する詳細な説明は省略する。映像処理部が、３次元データ映像から底平面の式を算出する具体的な方法は、以下で、図６Ａ及び図６Ｂを参照して詳細に説明する。
【００３８】
図６Ａ及び図６Ｂは、本発明の一実施例による３次元データ映像から底平面を検出する方法を概略的に説明するための図である。
【００３９】
図６Ａ及び図６Ｂを参照して説明すると、図６Ａに示すように、映像処理部は、ＲＡＮＳＡＣアルゴリズムを用いて、３次元データ映像から階段が位置する底平面（ｇｒｏｕｎｄ ｐｌａｎｅ）を検出することができ、検出された底平面に対して、次の式（１）によって、底平面の式を算出できる。
【００４０】
【数８】
図６Ｂに示すように、式（１）で、ａ、ｂ、ｃは、底平面の法線ベクトル（ｖ１）の成分であり、ｄは、底平面と原点との最短距離を示す定数である。
【００４１】
映像処理部が階段の始めを判断して、階段認識を始めることができる（Ｓ１３０）。映像処理部が、３次元データ映像から階段の始めを判断する具体的な方法は、以下で、図２及び図７を参照して詳細に説明する。
【００４２】
図２は、本発明の一実施例による３次元データ映像から階段の始めを判断する方法の概略的なフローチャートである。図２を参照して説明すると、映像処理部が、３次元データ映像をラベリングして、階段領域を分離する（Ｓ２１０）。映像処理部は、３次元データ映像をラベリングして、階段領域を分離するために、３次元データ映像から底平面を除外した各ポイントを対象としてラベリングすることができる。そして、映像処理部は、ラベリングによるポイント群集のうち、最も多いポイントを含んでいるポイント群集を階段領域と判断して、３次元データ映像から階段領域を分離できる。
【００４３】
映像処理部が３次元データ映像をラベリングする基本的な方法は、次の通りである。まず、映像処理部は、３次元データ映像からラベリングの対象である各ポイントのラベルとラベルインデックスを０と初期化する。そして、映像処理部は、前記全てのポイントを探索しながら、該当のポイントのラベルが０であるかを確認して、該当のポイントにラベルが割り当てられたか否かを判断する。
【００４４】
該当のポイントにラベルが割り当てられていない場合、映像処理部は、該当のポイントから既に決まった距離以内の各ポイントを探索する。既に決まった距離以内の各ポイントのうち、ラベルが割り当てられたポイントが存在する場合、映像処理部は、該当のポイントと既に決まった距離以内の各ポイントのうち、ラベルが割り当てられていない各ポイントに、それと同様のラベルを割り当てる。
【００４５】
既に決まった距離以内の各ポイントのうち、ラベルが割り当てられたポイントが存在しない場合、映像処理部は、ラベルインデックスを１だけ増加し、該当のポイントと既に決まった距離以内の各ポイントに、ラベルインデックスに該当するラベルを割り当てる。
【００４６】
該当のポイントにラベルが割り当てられた場合、映像処理部は、次のポイントを探索して、ラベルが割り当てられたか否かを判断する過程を繰り返す。
【００４７】
すなわち、２次元ラベリング方法は、該当の画素と隣接した８個の画素を探索してラベルを割り当てるが、３次元ラベリング方法は、該当のポイントから既に決まった距離以内のポイントを探索してラベルを割り当てる。
【００４８】
図７は、本発明の一実施例による３次元データ映像から階段の始めを判断する方法を概略的に説明するための図である。図７を参照して説明すると、映像獲得部が、階段の正面から一定の角度で３次元データ映像を獲得した場合、映像処理部は、階段の蹴上げ面及び踏み面をなすポイント群集を階段領域（ｓｔａｉｒｓ ａｒｅａ）と判断できる。一方、図７は、階段の斜視図を示しているが、これは、３次元データ映像から階段領域を分離する方法の理解を助けるためのもので、実際的な階段の側壁が外部に露出する場合は少なく、一般的に映像獲得部は、階段の正面に関する３次元データ映像を獲得する。
【００４９】
そして、映像処理部は、底平面と分離された階段領域との接線を通じて、階段の始めを判断することができる（Ｓ２２０）。映像処理部は、階段の始めを判断して、階段が始まるラインから階段認識を始める。そして、映像処理部は、前記分離された階段領域に対してのみ階段認識を行う。
【００５０】
図７に示すように、映像処理部は、底平面と階段領域との接線を通じて、階段の始めを判断することができる。例えば、映像処理部は、３次元データ映像から階段の１番目の蹴上げ面の頂点を検出し、接線と底平面とが平行であることを通じて、前記接線の式を算出できる。このとき、検出した接線が、階段が始まるライン（ｓｔａｒｔ ｌｉｎｅ）に該当する。
【００５１】
映像処理部は、階段の連続する両踏み面の間に位置する各ポイントを通じて、前記両踏み面の間に位置する蹴上げ面を検出することができる（Ｓ１４０）。すなわち、映像処理部は、前記両踏み面の間に位置する各ポイントが通る踏み面の式を算出することができ、このような踏み面の式は、前記両踏み面の間に位置する蹴上げ面の式に該当する。
【００５２】
一方、映像処理部は、前記両踏み面の間の高さを通じて、前記両踏み面の間に位置する各ポイントを判断することができ、前記両踏み面の間の高さは、前記両踏み面の式を比較して計算することができる。映像処理部が、３次元データ映像から蹴上げ面を検出する具体的な方法は、以下で、図３、図８Ａ乃至図８Ｄを参照して詳細に説明する。
【００５３】
図３は、本発明の一実施例による３次元データ映像から階段の蹴上げ面を検出する方法の概略的なフローチャートである。図３を参照して説明すると、映像処理部が蹴上げ面を検出する方法は、次の通りである。まず、階段の連続する両踏み面は平行であると仮定する。したがって、映像処理部は、階段の連続する下踏み面と上踏み面が平行であることを通じて、上踏み面の式を限定することができる（Ｓ３１０）。ここで、前記下踏み面には、階段が位置する底平面も含まれる。上述のように、映像処理部は、ＲＡＮＳＡＣアルゴリズムを用いて、３次元データ映像から底平面の式を算出することができる。
【００５４】
図８Ａ乃至図８Ｄは、本発明の一実施例による３次元データ映像から階段の蹴上げ面を検出する方法を概略的に説明するための図である。
【００５５】
図８Ａを参照して説明すると、階段が位置する底平面と階段の１番目の踏み面（１ｓｔ ｔｒｅａｄ）とが平行であるので、底平面の法線ベクトル（ｖ１）の成分と１番目の踏み面の法線ベクトル（ｖ２）の成分とが同一である。また、階段の全ての踏み面の法線ベクトルの成分は、底平面の法線ベクトルの成分と同一であり、各踏み面と原点との最短距離だけを異ならせる。これによって、映像処理部は、次の式（２）によって、任意の上踏み面の式を限定することができる。
【００５６】
【数９】
式（２）で、ａ、ｂ、ｃは、任意の上踏み面の法線ベクトルの成分であって、その下の踏み面の法線ベクトルの成分と同一であり、ｄ’は、任意の上踏み面と原点との最短距離を示す変数である。図８Ａの場合、式（２）によって１番目の踏み面の式を限定することができ、この場合、ａ、ｂ、ｃは、１番目の踏み面の法線ベクトルの成分を示してもよい。
【００５７】
そして、映像処理部は、既に決まった階段高さを用いて、前記上踏み面の式を推定することができる（Ｓ３２０）。ここで、映像処理部は、既に決まった階段高さの範囲として標準階段の高さを用いることができる。標準階段は、各国の建築法などによって強要されたり、推奨される階段の設計指針として、例えば、標準階段の高さは、１５cm乃至２０cmであるか、または標準階段の幅は、２５cm乃至３０cmであってもよい。
【００５８】
図８Ｂを参照して説明すると、映像処理部は、底平面から既に決まった階段高さの範囲に位置する各ポイントを通じて、１番目の踏み面の式を推定することができる。このとき、既に決まった階段の高さをｈとすると、一定の誤差範囲を持つ階段高さの範囲は、ｈ−Δｅ乃至ｈ＋Δｅに該当する。映像処理部は、既に決まった階段高さの範囲を階段の踏み面の検索領域（ｔｒｅａｄ ｓｅａｒｃｈ ａｒｅａ）として検索を行い、具体的に、底平面から既に決まった階段高さの範囲に位置する各ポイントを、式（２）によって限定した１番目の踏み面の式に代入し、その結果によって、最も代表となるｄ’の値を選択することによって、１番目の踏み面の式を推定する。ここで、最も代表となるｄ’の値を選択する方法は、多様に存在することができ、例えば、映像処理部は、前記限定した１番目の踏み面の式の代入結果によって、最も多く出たｄ’の値を選択することができる。
【００５９】
一方、図８Ｂは、階段の１番目の踏み面の式を推定する方法を示しているが、このような方法によって、階段の全ての踏み面の式を推定できるのは、通常の技術者にとって自明な事項である。
【００６０】
映像処理部は、下踏み面の式と前記推定した上踏み面の式とを比較して、下踏み面と前記上踏み面との間の高さを計算することができる（Ｓ３３０）。映像処理部は、式（２）で、上踏み面と原点との最短距離を示す変数ｄ’を選択したので、下踏み面の式と前記推定した上踏み面の式とを比較して、下踏み面と前記上踏み面との間の高さを計算することができる。例えば、映像処理部は、底平面の式と前記推定した１番目の踏み面の式とを比較して、底平面と前記１番目の踏み面との間の高さを計算することができ、底平面の各ポイントのｚ座標値が０であれば、ｄとｄ’との差を通じて、底平面と前記１番目の踏み面との間の高さを計算できる。
【００６１】
そして、映像処理部は、階段の連続する下踏み面と上踏み面との間に位置する各ポイントを通じて、前記両踏み面の間に位置する蹴上げ面を検出することができる（Ｓ３４０）。映像処理部は、前記蹴上げ面が、その下の蹴上げ面と平行であることを通じて、前記蹴上げ面の式を限定し、前記限定した蹴上げ面の式に、前記両踏み面の間に位置する各ポイントを代入して、前記蹴上げ面の式を正確に算出できる。
【００６２】
図８Ｃを参照して説明すると、階段の１番目の蹴上げ面（１ｓｔ ｒｉｓｅｒ）は、連続する両踏み面、即ち、底平面及び１番目の踏み面と垂直をなす。これによって、映像処理部は、次の式（３）によって、１番目の蹴上げ面の式を限定できる。
【００６３】
【数１０】
ここで、ｎ、ｍ、ｌは、１番目の蹴上げ面の法線ベクトルの成分であって、１番目の蹴上げ面の法線ベクトル及び前記両踏み面（ｇｒｏｕｎｄ ｐｌａｎｅ、１ｓｔ ｔｒｅａｄ）の法線ベクトルの内積は、０を満足し、ｋは、１番目の蹴上げ面と原点との最短距離を示す変数である。
【００６４】
図８Ｄを参照して説明すると、１番目の蹴上げ面の法線ベクトル及び前記両踏み面の法線ベクトルの内積は、０ということと、前記両踏み面の間に位置する各ポイントを、式（３）によって限定した１番目の蹴上げ面の式に代入した結果を通じて、１番目の蹴上げ面の式を算出できる。これによって、１番目の蹴上げ面を検出できる。
【００６５】
１番目の蹴上げ面を検出する方法は、上述した通りであるが、２番目の蹴上げ面からは、その下の蹴上げ面と平行であることを通じて、階段の連続する両踏み面の間に位置する任意の蹴上げ面の式を限定することができる。映像処理部は、上述した式（３）によって、前記任意の蹴上げ面の式を限定することができ、前記両踏み面の間に位置する各ポイントを通じて、前記蹴上げ面の式を算出し、前記両踏み面の間に位置する蹴上げ面を検出できる。この場合、ｎ、ｍ、ｌは、前記蹴上げ面の法線ベクトルの成分であって、その下の蹴上げ面の法線ベクトルの成分と同一であり、ｋは、前記蹴上げ面と原点との最短距離を示す変数である。映像処理部は、前記両踏み面の間に位置する各ポイントを、前記任意の蹴上げ面の式に代入した結果を通じて、前記蹴上げ面の式を算出できる。
【００６６】
そして、映像処理部は、階段の連続する両蹴上げ面の間に位置する各ポイントを通じて、前記両蹴上げ面の間に位置する踏み面を検出することができる（Ｓ１５０）。すなわち、映像処理部は、前記両蹴上げ面の間に位置する各ポイントが通る踏み面の式を算出することができ、このような踏み面の式は、前記両蹴上げ面の間に位置する踏み面の式に該当する。
【００６７】
一方、映像処理部は、前記両蹴上げ面の間の幅を通じて、前記両蹴上げ面の間に位置する各ポイントを判断することができ、前記両蹴上げ面の間の幅は、前記両蹴上げ面の式を比較して計算することができる。映像処理部が、３次元データ映像から踏み面を検出する具体的な方法は、以下で、図４、図９Ａ乃至図９Ｄを参照して詳細に説明する。
【００６８】
図４は、本発明の一実施例による３次元データ映像から階段の踏み面を検出する方法の概略的なフローチャートである。図４を参照して説明すると、映像処理部が踏み面を検出する方法は、次の通りである。まず、階段の連続する両蹴上げ面は平行であると仮定する。したがって、映像処理部は、階段の連続する下蹴上げ面と上蹴上げ面が平行であることを通じて、上蹴上げ面の式を限定することができる（Ｓ４１０）。上述のように、映像処理部は、階段の１番目の蹴上げ面が、底平面、及び１番目の踏み面と垂直であることを通じて、３次元データ映像から１番目の蹴上げ面の式を算出できる。
【００６９】
図９Ａ乃至図９Ｄは、本発明の一実施例による３次元データ映像から階段の踏み面を検出する方法を概略的に説明するための図である。
【００７０】
図９Ａを参照して説明すると、階段の１番目の蹴上げ面（１ｓｔ ｒｉｓｅｒ）と２番目の蹴上げ面（２ｎｄ ｒｉｓｅｒ）が平行であるので、１番目の蹴上げ面の法線ベクトル（ｖ３）の成分と、２番目の蹴上げ面の法線ベクトル（ｖ４）の成分とが同一である。また、階段の全ての蹴上げ面の法線ベクトルの成分は同一であり、各蹴上げ面と原点との最短距離だけを異ならせる。これによって、映像処理部は、次の式（４）によって、任意の上蹴上げ面の式を限定することができる。
【００７１】
【数１１】
式（４）で、ｎ、ｍ、ｌは、任意の上蹴上げ面の法線ベクトルの成分であって、その下の蹴上げ面の法線ベクトルの成分と同一であり、ｋ’は、任意の上蹴上げ面と原点との最短距離を示す変数である。図９Ａの場合、式（４）によって、２番目の蹴上げ面の式を限定することができ、この場合、ｎ、ｍ、ｌは、２番目の蹴上げ面の法線ベクトル（ｖ４）の成分を示してもよい。
【００７２】
そして、映像処理部は、既に決まった階段の幅を用いて、前記上蹴上げ面の式を推定することができる（Ｓ４２０）。ここで、映像処理部は、既に決まった階段の幅の範囲として、標準階段の幅を利用できるというのは、上述した階段高さの範囲と同様である。
【００７３】
図９Ｂを参照して説明すると、映像処理部は、１番目の踏み面から既に決まった階段幅の範囲に位置する各ポイントを通じて、２番目の蹴上げ面の式を推定することができる。このとき、既に決まった階段の幅をｗとすると、一定の誤差範囲を持つ階段幅の範囲は、ｗ−Δｅ乃至ｗ＋Δｅに該当する。映像処理部は、既に決まった階段幅の範囲を、階段の蹴上げ面の検索領域（ｒｉｓｅｒ ｓｅａｒｃｈ ａｒｅａ）として検索を行い、具体的に、１番目の蹴上げ面から既に決まった階段幅の範囲に位置する各ポイントを、式（４）によって限定した２番目の蹴上げ面の式に代入し、その結果によって、最も代表となるｋ’の値を選択することで、２番目の蹴上げ面の式を推定する。ここで、最も代表となるｋ’の値を選択する方法は、多様に存在することができ、例えば、映像処理部は、前記限定した２番目の蹴上げ面の式の代入結果によって、最も多く出たｋ’の値を選択することができる。
【００７４】
一方、図９Ｂは、階段の２番目の蹴上げ面の式を推定する方法を示しているが、このような方法によって階段の残りの蹴上げ面の式を推定できるのは、通常の技術者にとって自明な事項である。
【００７５】
映像処理部は、下蹴上げ面の式と前記推定した上蹴上げ面の式とを比較して、下蹴上げ面と前記上蹴上げ面との間の幅を計算することができる（Ｓ４３０）。映像処理部は、式（４）で、上蹴上げ面と原点との最短距離を示す変数ｋ’を選択したので、下蹴上げ面の式と前記推定した上蹴上げ面の式とを比較して、下蹴上げ面と前記上蹴上げ面との間の幅を計算することができる。例えば、映像処理部は、１番目の蹴上げ面の式と前記推定した２番目の蹴上げ面の式とを比較して、１番目の蹴上げ面と前記２番目の蹴上げ面との間の幅を計算することができ、１番目の蹴上げ面の各ポイントのｘ座標の値が０であれば、ｋとｋ’との差を通じて、１番目の蹴上げ面と前記２番目の蹴上げ面との間の幅を計算することができる。
【００７６】
そして、映像処理部は、階段の連続する下蹴上げ面と上蹴上げ面との間に位置する各ポイントを通じて、前記両蹴上げ面の間に位置する踏み面を検出することができる（Ｓ４４０）。映像処理部は、前記踏み面が、その下の踏み面と平行であることを通じて、前記踏み面の式を限定し、前記限定した踏み面の式に、前記両蹴上げ面の間に位置する各ポイントを代入して、前記踏み面の式を正確に算出できる。
【００７７】
図９Ｃを参照して説明すると、１番目の踏み面は、連続する両蹴上げ面、即ち、１番目の蹴上げ面及び２番目の蹴上げ面と垂直をなす。また、１番目の踏み面は、その下の踏み面である底平面と平行である。これによって、映像処理部は、上述した式（２）によって、１番目の踏み面の式を限定することができる。この場合、ａ、ｂ、ｃは、１番目の踏み面の法線ベクトルの成分であって、底平面の法線ベクトルの成分と同一であり、ｄ’は、１番目の踏み面と原点との最短距離を示す変数である。
【００７８】
図９Ｄを参照して説明すると、映像処理部は、前記両蹴上げ面の間に位置する各ポイントを、式（２）によって限定した１番目の踏み面の式に代入した結果を通じて、１番目の踏み面の式を算出できる。
【００７９】
一方、映像処理部は、上記のような方法を通じて、階段の残りの踏み面の式を算出し、検出できる。例えば、２番目の踏み面は、１番目の踏み面と平行であることを通じて、３番目の踏み面は２番目の踏み面と平行であることを通じて、続いて、式（２）によって、階段の連続する両蹴上げ面の間に位置する任意の踏み面の式を限定することができる。そして、映像処理部は、前記両蹴上げ面の間に位置する各ポイントを、前記任意の踏み面の式に代入した結果を通じて、前記踏み面の式を算出できる。
【００８０】
映像処理部は、階段の終わりか否かを判断することができる（Ｓ１６０）。判断の結果、階段が終わる場合、映像処理部は階段の認識を終了し、判断の結果、階段が終わらない場合、映像処理部は階段の次の蹴上げ面の式及び次の踏み面の式を算出するために、Ｓ１４０、Ｓ１５０の段階を繰り返して行う。一方、次の階段の蹴上げ面及び踏み面を検出する場合、映像獲得部は、その時点で、再び階段が位置する空間の３次元データ映像を獲得することができる。映像処理部が、３次元データ映像から階段の終わりか否かを判断する具体的な方法は、以下で、図１０を参照して詳細に説明する。
【００８１】
図１０を参照して説明すると、映像獲得部は、踏み面を検出する過程で、階段の連続する両蹴上げ面の間の幅を計算することができる。このとき、計算された両蹴上げ面の間の幅ｄが、既に決まった臨界値以上である場合、例えば、以前の両蹴上げ面の間の幅の２倍以上である場合には、階段が終わるものと判断し、前記踏み面を階段の最後の踏み面（ｌａｓｔ ｔｒｅａｄ）として認識することができる。
【００８２】
図５は、本発明の一実施例による３次元データ映像から階段を認識するシステムの概略的なブロック図である。図５を参照して説明すると、階段を認識するシステムは、３次元データ映像を獲得する映像獲得部５１０と、３次元データ映像を処理して、階段を認識する映像処理部５２０と、映像処理部の階段認識の結果を出力する出力部５３０と、を含んで構成される。映像獲得部５１０は、階段が位置する空間の３次元データ映像を獲得する。例えば、映像獲得部５１０は、３次元データ映像を獲得できるように、ステレオカメラ、ＴＯＦカメラ、ＬＲＦセンサまたはキネクトセンサなどを備えることができる。映像処理部５２０は、映像獲得部５１０が獲得した３次元データ映像を処理して、階段を認識できるように、マイクロコントローラを備えることができ、出力部５３０は、映像処理部の階段認識の結果を出力できるように、ディスプレイユニットを備えることができる。そして、前記階段を認識するシステムは、ヒューマノイドまたは移動ロボットなどに設置可能である。
【符号の説明】
【００８３】
５１０ 映像獲得部
５２０ 映像処理部
５３０ 出力部
【技術分野】
【０００１】
本発明は、階段が位置する空間の３次元データ映像から、階段をなすデータポイントを検出する３次元データ映像の階段認識方法に関するものである。
【背景技術】
【０００２】
ヒューマノイドまたは移動ロボットが階段を上がるためには、ロボットの現在位置を基準にして、階段の位置、階段の高さ及び幅などの情報を認識しなければならない。そのために、ロボットには、階段が位置する空間の３次元データ映像を獲得するための３次元センサが設置され、ロボットに設置されたマイクロコントローラを通じて、３次元データ映像を処理し、分析して階段を認識することができる。
【０００３】
従来の階段認識方法として、ＩＣＰ（Ｉｎｔｅｒａｔｉｖｅ Ｃｌｏｓｅｓｔ ｐｏｉｎｔ）方法は、３次元データ映像から検出した３次元モデルと、既に格納された３次元モデルをマッチングする方法である。ＩＣＰ方法は、前記２つの３次元モデルの間の距離が最小になるように、反復的な計算を通じて、前記２つの３次元モデルをマッチングする。したがって、ＩＣＰ方法は、既に格納された３次元モデルが要求され、既に格納された３次元モデルとのマッチングのために反復的な計算が要求される。他の方法としては、３次元データ映像から頂点を通じて直線を検出し、この直線に基づいて階段を認識する方法がある。この方法は、３次元データ映像において、階段をなす連続する２つの直線は、同じ平面上に位置すると仮定して、階段の踏み面を認識する。このように、３次元データ映像から直線を検出する方法は、３次元データ映像の特性上、誤差に敏感であるため、階段認識の正確度が低下するという問題点がある。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の一側面は、３次元データ映像から階段の蹴上げ面及び踏み面を検出して、階段を認識する３次元データ映像の階段認識方法を提供する。
【課題を解決するための手段】
【０００５】
このための本発明の一実施例による３次元データ映像の階段認識方法は、映像獲得部が、階段が位置する空間の３次元データ映像を獲得する段階と；映像処理部が、前記３次元データ映像から前記階段の連続する両踏み面の間の高さを計算し、前記計算された高さによって、前記連続する両踏み面の間に位置する各ポイントを判断し、前記連続する両踏み面の間に位置する各ポイントを通じて、前記連続する両踏み面の間に位置する蹴上げ面を検出する段階と；前記映像処理部が、前記３次元データ映像から前記階段の連続する両蹴上げ面の間の幅を計算し、前記計算された幅によって、前記連続する両蹴上げ面の間に位置する各ポイントを判断し、前記連続する両蹴上げ面の間に位置する各ポイントを通じて、前記連続する両蹴上げ面の間に位置する踏み面を検出する段階と；を含む。
【０００６】
前記映像処理部が、ＲＡＮＳＡＣアルゴリズムを用いて、前記３次元データ映像から前記階段が位置する底平面を検出する段階をさらに含むことができる。
【０００７】
前記底平面を検出する段階は、次の式によって、前記底平面の式を算出できる。
【０００８】
【数１】
ここで、ａ、ｂ、ｃは、前記底平面の法線ベクトルの成分であり、ｄは、前記底平面と原点との最短距離を示す定数である。
【０００９】
前記映像処理部が、前記３次元データ映像をラベリングして、前記階段領域を分離し、前記底平面と前記分離された階段領域との接線から前記階段の始めを判断して、階段認識を始める段階をさらに含むことができる。
【００１０】
前記蹴上げ面を検出する段階は、前記映像処理部が、前記底平面と前記階段の１番目の踏み面とが平行であることを通じて、前記１番目の踏み面の式を限定し、前記底平面から既に決まった階段高さの範囲に位置する各ポイントを通じて、前記１番目の踏み面の式を推定できる。
【００１１】
前記蹴上げ面を検出する段階は、次の式によって、前記１番目の踏み面の式を限定できる。
【００１２】
【数２】
ここで、ａ、ｂ、ｃは、前記１番目の踏み面の法線ベクトルの成分であって、前記底平面の法線ベクトルの成分と同一であり、ｄ’は、前記１番目の踏み面と原点との最短距離を示す変数である。
【００１３】
前記蹴上げ面を検出する段階は、前記映像処理部が、前記底平面の式と前記推定した１番目の踏み面の式とを比較して、前記底平面と前記推定した１番目の踏み面との間の高さを計算できる。
【００１４】
前記蹴上げ面を検出する段階は、前記映像処理部が、前記１番目の蹴上げ面が前記底平面、及び前記推定した１番目の踏み面と垂直であることを通じて、前記１番目の蹴上げ面の式を限定し、前記底平面と前記推定した１番目の踏み面との間に位置する各ポイントを通じて、前記１番目の蹴上げ面の式を算出できる。
【００１５】
前記蹴上げ面を検出する段階は、次の式によって、前記１番目の蹴上げ面の式を限定できる。
【００１６】
【数３】
ここで、ｎ、ｍ、ｌは、前記１番目の蹴上げ面の法線ベクトルの成分であって、前記１番目の蹴上げ面の法線ベクトルと前記底平面、及び前記推定した１番目の踏み面の法線ベクトルの内積は、０を満足し、ｋは、前記１番目の蹴上げ面と原点との最短距離を示す変数である。
【００１７】
前記蹴上げ面を検出する段階は、前記映像処理部が、前記階段の連続する下踏み面と上踏み面とが平行であることを通じて、前記上踏み面の式を限定し、前記下踏み面から既に決まった階段高さの範囲に位置する各ポイントを通じて、前記上踏み面の式を推定できる。
【００１８】
前記蹴上げ面を検出する段階は、次の式によって、前記上踏み面の式を限定できる。
【００１９】
【数４】
ここで、ａ、ｂ、ｃは、前記上踏み面の法線ベクトルの成分であって、前記下踏み面の法線ベクトルの成分と同一であり、ｄ’は、前記上踏み面と原点との最短距離を示す変数である。
【００２０】
前記蹴上げ面を検出する段階は、前記映像処理部が、前記下踏み面の式と前記推定した上踏み面の式とを比較して、前記下踏み面と前記推定した上踏み面との間の高さを計算できる。
【００２１】
前記蹴上げ面を検出する段階は、前記映像処理部が、前記蹴上げ面がその下の蹴上げ面と平行であることを通じて、前記蹴上げ面の式を限定し、前記下踏み面と前記推定した上踏み面との間に位置する各ポイントを通じて、前記蹴上げ面の式を算出できる。
【００２２】
前記蹴上げ面を検出する段階は、次の式によって、前記蹴上げ面の式を限定できる。
【００２３】
【数５】
ここで、ｎ、ｍ、ｌは、前記蹴上げ面の法線ベクトルの成分であって、前記その下の蹴上げ面の法線ベクトルの成分と同一であり、ｋは、前記蹴上げ面と原点との最短距離を示す変数である。
【００２４】
前記踏み面を検出する段階は、前記映像処理部が、前記階段の連続する下蹴上げ面と上蹴上げ面とが平行であることを通じて、前記上蹴上げ面の式を限定し、前記下蹴上げ面から既に決まった階段幅の範囲に位置する各ポイントを通じて、前記上蹴上げ面の式を推定できる。
【００２５】
前記踏み面を検出する段階は、次の式によって、前記上蹴上げ面の式を限定できる。
【００２６】
【数６】
ここで、ｎ、ｍ、ｌは、前記上蹴上げ面の法線ベクトルの成分であって、前記下蹴上げ面の法線ベクトルの成分と同一であり、ｋ’は、前記上蹴上げ面と原点との最短距離を示す変数である。
【００２７】
前記踏み面を検出する段階は、前記映像処理部が、前記下蹴上げ面の式と前記推定した上蹴上げ面の式とを比較して、前記下蹴上げ面と前記推定した上蹴上げ面との間の幅を計算できる。
【００２８】
前記踏み面を検出する段階は、前記映像処理部が、前記踏み面がその下の踏み面と平行であることを通じて、前記踏み面の式を限定し、前記下蹴上げ面と前記推定した上蹴上げ面との間に位置する各ポイントを通じて、前記踏み面の式を算出できる。
【００２９】
前記踏み面を検出する段階は、次の式によって、前記踏み面の式を限定できる。
【００３０】
【数７】
ここで、ａ、ｂ、ｃは、前記踏み面の法線ベクトルの成分であって、前記その下の踏み面の法線ベクトルの成分と同一であり、ｄ’は、前記踏み面と原点との最短距離を示す変数である。
【００３１】
前記映像処理部が、前記３次元データ映像から前記階段の終わりか否かを判断して、前記階段が終わる場合、階段認識を終了し、前記階段が終わらない場合、前記階段の次の蹴上げ面及び次の踏み面を検出する段階をさらに含むことができる。
【００３２】
前記階段の終わりか否かを判断する段階は、前記連続する両蹴上げ面の間の幅が、既に決まった臨界値以上である場合、前記階段が終わるものと判断できる。
【発明の効果】
【００３３】
上述した本発明の一側面によれば、３次元データ映像から階段の蹴上げ面及び踏み面を検出して、階段を認識するので、既に格納された３次元モデルが要求されず、既に格納された３次元モデルとのマッチングのために反復的な計算が要求されないので、早い時間内に３次元データ映像から階段を認識できる。また、３次元データ映像において連続する直線を通じて、階段の蹴上げ面または踏み面を検出しないので、誤差に敏感でなく、高い正確度で３次元データ映像から階段を認識できる。
【図面の簡単な説明】
【００３４】
【図１】本発明の一実施例による３次元データ映像の階段認識方法の概略的なフローチャートである。
【図２】本発明の一実施例による３次元データ映像から階段の始めを判断する方法の概略的なフローチャートである。
【図３】本発明の一実施例による３次元データ映像から階段の蹴上げ面を検出する方法の概略的なフローチャートである。
【図４】本発明の一実施例による３次元データ映像から階段の踏み面を検出する方法の概略的なフローチャートである。
【図５】本発明の一実施例による３次元データ映像から階段を認識するシステムの概略的なブロック図である。
【図６Ａ】本発明の一実施例による３次元データ映像から底平面を検出する方法を概略的に説明するための図である。
【図６Ｂ】本発明の一実施例による３次元データ映像から底平面を検出する方法を概略的に説明するための図である。
【図７】本発明の一実施例による３次元データ映像から階段の始めを判断する方法を概略的に説明するための図である。
【図８Ａ】本発明の一実施例による３次元データ映像から階段の蹴上げ面を検出する方法を概略的に説明するための図である。
【図８Ｂ】本発明の一実施例による３次元データ映像から階段の蹴上げ面を検出する方法を概略的に説明するための図である。
【図８Ｃ】本発明の一実施例による３次元データ映像から階段の蹴上げ面を検出する方法を概略的に説明するための図である。
【図８Ｄ】本発明の一実施例による３次元データ映像から階段の蹴上げ面を検出する方法を概略的に説明するための図である。
【図９Ａ】本発明の一実施例による３次元データ映像から階段の踏み面を検出する方法を概略的に説明するための図である。
【図９Ｂ】本発明の一実施例による３次元データ映像から階段の踏み面を検出する方法を概略的に説明するための図である。
【図９Ｃ】本発明の一実施例による３次元データ映像から階段の踏み面を検出する方法を概略的に説明するための図である。
【図９Ｄ】本発明の一実施例による３次元データ映像から階段の踏み面を検出する方法を概略的に説明するための図である。
【図１０】本発明の一実施例による３次元データ映像から階段の終わり否かを判断する方法を概略的に説明するための図である。
【発明を実施するための形態】
【００３５】
以下では、添付の図面を参照して、本発明について詳細に説明する。
【００３６】
図１は、本発明の一実施例による３次元データ映像の階段認識方法の概略的なフローチャートである。図１を参照して説明すると、映像獲得部が、階段が位置する空間の３次元データ映像を獲得することができる（Ｓ１１０）。ここで、３次元データ映像は、例えば、３次元ポイントクラウド（ｐｏｉｎｔ ｃｌｏｕｄ）映像であってもよいが、これに限定されるものではなく、ｘ、ｙ、ｚの３次元座標を持つデータポイントからなる形態であれば、本発明の一実施例による３次元データ映像の階段認識方法を適用することができる。一方、３次元データ映像には、３次元座標系が存在することができ、例えば、ロボットの中心を原点にして、ロボットの正面方向をｘ軸、ロボットの側面方向をｙ軸、ロボットの上面方向をｚ軸に設定できる。
【００３７】
映像処理部は、ＲＡＮＳＡＣ（Ｒａｎｄｏｍ Ｓａｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）アルゴリズムを用いて、３次元データ映像から階段が位置する底平面の式を算出することができる（Ｓ１２０）。ＲＡＮＳＡＣアルゴリズムは、本発明が属する技術分野における通常の技術者にとって自明な事項であって、ＲＡＮＳＡＣアルゴリズムに対する詳細な説明は省略する。映像処理部が、３次元データ映像から底平面の式を算出する具体的な方法は、以下で、図６Ａ及び図６Ｂを参照して詳細に説明する。
【００３８】
図６Ａ及び図６Ｂは、本発明の一実施例による３次元データ映像から底平面を検出する方法を概略的に説明するための図である。
【００３９】
図６Ａ及び図６Ｂを参照して説明すると、図６Ａに示すように、映像処理部は、ＲＡＮＳＡＣアルゴリズムを用いて、３次元データ映像から階段が位置する底平面（ｇｒｏｕｎｄ ｐｌａｎｅ）を検出することができ、検出された底平面に対して、次の式（１）によって、底平面の式を算出できる。
【００４０】
【数８】
図６Ｂに示すように、式（１）で、ａ、ｂ、ｃは、底平面の法線ベクトル（ｖ１）の成分であり、ｄは、底平面と原点との最短距離を示す定数である。
【００４１】
映像処理部が階段の始めを判断して、階段認識を始めることができる（Ｓ１３０）。映像処理部が、３次元データ映像から階段の始めを判断する具体的な方法は、以下で、図２及び図７を参照して詳細に説明する。
【００４２】
図２は、本発明の一実施例による３次元データ映像から階段の始めを判断する方法の概略的なフローチャートである。図２を参照して説明すると、映像処理部が、３次元データ映像をラベリングして、階段領域を分離する（Ｓ２１０）。映像処理部は、３次元データ映像をラベリングして、階段領域を分離するために、３次元データ映像から底平面を除外した各ポイントを対象としてラベリングすることができる。そして、映像処理部は、ラベリングによるポイント群集のうち、最も多いポイントを含んでいるポイント群集を階段領域と判断して、３次元データ映像から階段領域を分離できる。
【００４３】
映像処理部が３次元データ映像をラベリングする基本的な方法は、次の通りである。まず、映像処理部は、３次元データ映像からラベリングの対象である各ポイントのラベルとラベルインデックスを０と初期化する。そして、映像処理部は、前記全てのポイントを探索しながら、該当のポイントのラベルが０であるかを確認して、該当のポイントにラベルが割り当てられたか否かを判断する。
【００４４】
該当のポイントにラベルが割り当てられていない場合、映像処理部は、該当のポイントから既に決まった距離以内の各ポイントを探索する。既に決まった距離以内の各ポイントのうち、ラベルが割り当てられたポイントが存在する場合、映像処理部は、該当のポイントと既に決まった距離以内の各ポイントのうち、ラベルが割り当てられていない各ポイントに、それと同様のラベルを割り当てる。
【００４５】
既に決まった距離以内の各ポイントのうち、ラベルが割り当てられたポイントが存在しない場合、映像処理部は、ラベルインデックスを１だけ増加し、該当のポイントと既に決まった距離以内の各ポイントに、ラベルインデックスに該当するラベルを割り当てる。
【００４６】
該当のポイントにラベルが割り当てられた場合、映像処理部は、次のポイントを探索して、ラベルが割り当てられたか否かを判断する過程を繰り返す。
【００４７】
すなわち、２次元ラベリング方法は、該当の画素と隣接した８個の画素を探索してラベルを割り当てるが、３次元ラベリング方法は、該当のポイントから既に決まった距離以内のポイントを探索してラベルを割り当てる。
【００４８】
図７は、本発明の一実施例による３次元データ映像から階段の始めを判断する方法を概略的に説明するための図である。図７を参照して説明すると、映像獲得部が、階段の正面から一定の角度で３次元データ映像を獲得した場合、映像処理部は、階段の蹴上げ面及び踏み面をなすポイント群集を階段領域（ｓｔａｉｒｓ ａｒｅａ）と判断できる。一方、図７は、階段の斜視図を示しているが、これは、３次元データ映像から階段領域を分離する方法の理解を助けるためのもので、実際的な階段の側壁が外部に露出する場合は少なく、一般的に映像獲得部は、階段の正面に関する３次元データ映像を獲得する。
【００４９】
そして、映像処理部は、底平面と分離された階段領域との接線を通じて、階段の始めを判断することができる（Ｓ２２０）。映像処理部は、階段の始めを判断して、階段が始まるラインから階段認識を始める。そして、映像処理部は、前記分離された階段領域に対してのみ階段認識を行う。
【００５０】
図７に示すように、映像処理部は、底平面と階段領域との接線を通じて、階段の始めを判断することができる。例えば、映像処理部は、３次元データ映像から階段の１番目の蹴上げ面の頂点を検出し、接線と底平面とが平行であることを通じて、前記接線の式を算出できる。このとき、検出した接線が、階段が始まるライン（ｓｔａｒｔ ｌｉｎｅ）に該当する。
【００５１】
映像処理部は、階段の連続する両踏み面の間に位置する各ポイントを通じて、前記両踏み面の間に位置する蹴上げ面を検出することができる（Ｓ１４０）。すなわち、映像処理部は、前記両踏み面の間に位置する各ポイントが通る踏み面の式を算出することができ、このような踏み面の式は、前記両踏み面の間に位置する蹴上げ面の式に該当する。
【００５２】
一方、映像処理部は、前記両踏み面の間の高さを通じて、前記両踏み面の間に位置する各ポイントを判断することができ、前記両踏み面の間の高さは、前記両踏み面の式を比較して計算することができる。映像処理部が、３次元データ映像から蹴上げ面を検出する具体的な方法は、以下で、図３、図８Ａ乃至図８Ｄを参照して詳細に説明する。
【００５３】
図３は、本発明の一実施例による３次元データ映像から階段の蹴上げ面を検出する方法の概略的なフローチャートである。図３を参照して説明すると、映像処理部が蹴上げ面を検出する方法は、次の通りである。まず、階段の連続する両踏み面は平行であると仮定する。したがって、映像処理部は、階段の連続する下踏み面と上踏み面が平行であることを通じて、上踏み面の式を限定することができる（Ｓ３１０）。ここで、前記下踏み面には、階段が位置する底平面も含まれる。上述のように、映像処理部は、ＲＡＮＳＡＣアルゴリズムを用いて、３次元データ映像から底平面の式を算出することができる。
【００５４】
図８Ａ乃至図８Ｄは、本発明の一実施例による３次元データ映像から階段の蹴上げ面を検出する方法を概略的に説明するための図である。
【００５５】
図８Ａを参照して説明すると、階段が位置する底平面と階段の１番目の踏み面（１ｓｔ ｔｒｅａｄ）とが平行であるので、底平面の法線ベクトル（ｖ１）の成分と１番目の踏み面の法線ベクトル（ｖ２）の成分とが同一である。また、階段の全ての踏み面の法線ベクトルの成分は、底平面の法線ベクトルの成分と同一であり、各踏み面と原点との最短距離だけを異ならせる。これによって、映像処理部は、次の式（２）によって、任意の上踏み面の式を限定することができる。
【００５６】
【数９】
式（２）で、ａ、ｂ、ｃは、任意の上踏み面の法線ベクトルの成分であって、その下の踏み面の法線ベクトルの成分と同一であり、ｄ’は、任意の上踏み面と原点との最短距離を示す変数である。図８Ａの場合、式（２）によって１番目の踏み面の式を限定することができ、この場合、ａ、ｂ、ｃは、１番目の踏み面の法線ベクトルの成分を示してもよい。
【００５７】
そして、映像処理部は、既に決まった階段高さを用いて、前記上踏み面の式を推定することができる（Ｓ３２０）。ここで、映像処理部は、既に決まった階段高さの範囲として標準階段の高さを用いることができる。標準階段は、各国の建築法などによって強要されたり、推奨される階段の設計指針として、例えば、標準階段の高さは、１５cm乃至２０cmであるか、または標準階段の幅は、２５cm乃至３０cmであってもよい。
【００５８】
図８Ｂを参照して説明すると、映像処理部は、底平面から既に決まった階段高さの範囲に位置する各ポイントを通じて、１番目の踏み面の式を推定することができる。このとき、既に決まった階段の高さをｈとすると、一定の誤差範囲を持つ階段高さの範囲は、ｈ−Δｅ乃至ｈ＋Δｅに該当する。映像処理部は、既に決まった階段高さの範囲を階段の踏み面の検索領域（ｔｒｅａｄ ｓｅａｒｃｈ ａｒｅａ）として検索を行い、具体的に、底平面から既に決まった階段高さの範囲に位置する各ポイントを、式（２）によって限定した１番目の踏み面の式に代入し、その結果によって、最も代表となるｄ’の値を選択することによって、１番目の踏み面の式を推定する。ここで、最も代表となるｄ’の値を選択する方法は、多様に存在することができ、例えば、映像処理部は、前記限定した１番目の踏み面の式の代入結果によって、最も多く出たｄ’の値を選択することができる。
【００５９】
一方、図８Ｂは、階段の１番目の踏み面の式を推定する方法を示しているが、このような方法によって、階段の全ての踏み面の式を推定できるのは、通常の技術者にとって自明な事項である。
【００６０】
映像処理部は、下踏み面の式と前記推定した上踏み面の式とを比較して、下踏み面と前記上踏み面との間の高さを計算することができる（Ｓ３３０）。映像処理部は、式（２）で、上踏み面と原点との最短距離を示す変数ｄ’を選択したので、下踏み面の式と前記推定した上踏み面の式とを比較して、下踏み面と前記上踏み面との間の高さを計算することができる。例えば、映像処理部は、底平面の式と前記推定した１番目の踏み面の式とを比較して、底平面と前記１番目の踏み面との間の高さを計算することができ、底平面の各ポイントのｚ座標値が０であれば、ｄとｄ’との差を通じて、底平面と前記１番目の踏み面との間の高さを計算できる。
【００６１】
そして、映像処理部は、階段の連続する下踏み面と上踏み面との間に位置する各ポイントを通じて、前記両踏み面の間に位置する蹴上げ面を検出することができる（Ｓ３４０）。映像処理部は、前記蹴上げ面が、その下の蹴上げ面と平行であることを通じて、前記蹴上げ面の式を限定し、前記限定した蹴上げ面の式に、前記両踏み面の間に位置する各ポイントを代入して、前記蹴上げ面の式を正確に算出できる。
【００６２】
図８Ｃを参照して説明すると、階段の１番目の蹴上げ面（１ｓｔ ｒｉｓｅｒ）は、連続する両踏み面、即ち、底平面及び１番目の踏み面と垂直をなす。これによって、映像処理部は、次の式（３）によって、１番目の蹴上げ面の式を限定できる。
【００６３】
【数１０】
ここで、ｎ、ｍ、ｌは、１番目の蹴上げ面の法線ベクトルの成分であって、１番目の蹴上げ面の法線ベクトル及び前記両踏み面（ｇｒｏｕｎｄ ｐｌａｎｅ、１ｓｔ ｔｒｅａｄ）の法線ベクトルの内積は、０を満足し、ｋは、１番目の蹴上げ面と原点との最短距離を示す変数である。
【００６４】
図８Ｄを参照して説明すると、１番目の蹴上げ面の法線ベクトル及び前記両踏み面の法線ベクトルの内積は、０ということと、前記両踏み面の間に位置する各ポイントを、式（３）によって限定した１番目の蹴上げ面の式に代入した結果を通じて、１番目の蹴上げ面の式を算出できる。これによって、１番目の蹴上げ面を検出できる。
【００６５】
１番目の蹴上げ面を検出する方法は、上述した通りであるが、２番目の蹴上げ面からは、その下の蹴上げ面と平行であることを通じて、階段の連続する両踏み面の間に位置する任意の蹴上げ面の式を限定することができる。映像処理部は、上述した式（３）によって、前記任意の蹴上げ面の式を限定することができ、前記両踏み面の間に位置する各ポイントを通じて、前記蹴上げ面の式を算出し、前記両踏み面の間に位置する蹴上げ面を検出できる。この場合、ｎ、ｍ、ｌは、前記蹴上げ面の法線ベクトルの成分であって、その下の蹴上げ面の法線ベクトルの成分と同一であり、ｋは、前記蹴上げ面と原点との最短距離を示す変数である。映像処理部は、前記両踏み面の間に位置する各ポイントを、前記任意の蹴上げ面の式に代入した結果を通じて、前記蹴上げ面の式を算出できる。
【００６６】
そして、映像処理部は、階段の連続する両蹴上げ面の間に位置する各ポイントを通じて、前記両蹴上げ面の間に位置する踏み面を検出することができる（Ｓ１５０）。すなわち、映像処理部は、前記両蹴上げ面の間に位置する各ポイントが通る踏み面の式を算出することができ、このような踏み面の式は、前記両蹴上げ面の間に位置する踏み面の式に該当する。
【００６７】
一方、映像処理部は、前記両蹴上げ面の間の幅を通じて、前記両蹴上げ面の間に位置する各ポイントを判断することができ、前記両蹴上げ面の間の幅は、前記両蹴上げ面の式を比較して計算することができる。映像処理部が、３次元データ映像から踏み面を検出する具体的な方法は、以下で、図４、図９Ａ乃至図９Ｄを参照して詳細に説明する。
【００６８】
図４は、本発明の一実施例による３次元データ映像から階段の踏み面を検出する方法の概略的なフローチャートである。図４を参照して説明すると、映像処理部が踏み面を検出する方法は、次の通りである。まず、階段の連続する両蹴上げ面は平行であると仮定する。したがって、映像処理部は、階段の連続する下蹴上げ面と上蹴上げ面が平行であることを通じて、上蹴上げ面の式を限定することができる（Ｓ４１０）。上述のように、映像処理部は、階段の１番目の蹴上げ面が、底平面、及び１番目の踏み面と垂直であることを通じて、３次元データ映像から１番目の蹴上げ面の式を算出できる。
【００６９】
図９Ａ乃至図９Ｄは、本発明の一実施例による３次元データ映像から階段の踏み面を検出する方法を概略的に説明するための図である。
【００７０】
図９Ａを参照して説明すると、階段の１番目の蹴上げ面（１ｓｔ ｒｉｓｅｒ）と２番目の蹴上げ面（２ｎｄ ｒｉｓｅｒ）が平行であるので、１番目の蹴上げ面の法線ベクトル（ｖ３）の成分と、２番目の蹴上げ面の法線ベクトル（ｖ４）の成分とが同一である。また、階段の全ての蹴上げ面の法線ベクトルの成分は同一であり、各蹴上げ面と原点との最短距離だけを異ならせる。これによって、映像処理部は、次の式（４）によって、任意の上蹴上げ面の式を限定することができる。
【００７１】
【数１１】
式（４）で、ｎ、ｍ、ｌは、任意の上蹴上げ面の法線ベクトルの成分であって、その下の蹴上げ面の法線ベクトルの成分と同一であり、ｋ’は、任意の上蹴上げ面と原点との最短距離を示す変数である。図９Ａの場合、式（４）によって、２番目の蹴上げ面の式を限定することができ、この場合、ｎ、ｍ、ｌは、２番目の蹴上げ面の法線ベクトル（ｖ４）の成分を示してもよい。
【００７２】
そして、映像処理部は、既に決まった階段の幅を用いて、前記上蹴上げ面の式を推定することができる（Ｓ４２０）。ここで、映像処理部は、既に決まった階段の幅の範囲として、標準階段の幅を利用できるというのは、上述した階段高さの範囲と同様である。
【００７３】
図９Ｂを参照して説明すると、映像処理部は、１番目の踏み面から既に決まった階段幅の範囲に位置する各ポイントを通じて、２番目の蹴上げ面の式を推定することができる。このとき、既に決まった階段の幅をｗとすると、一定の誤差範囲を持つ階段幅の範囲は、ｗ−Δｅ乃至ｗ＋Δｅに該当する。映像処理部は、既に決まった階段幅の範囲を、階段の蹴上げ面の検索領域（ｒｉｓｅｒ ｓｅａｒｃｈ ａｒｅａ）として検索を行い、具体的に、１番目の蹴上げ面から既に決まった階段幅の範囲に位置する各ポイントを、式（４）によって限定した２番目の蹴上げ面の式に代入し、その結果によって、最も代表となるｋ’の値を選択することで、２番目の蹴上げ面の式を推定する。ここで、最も代表となるｋ’の値を選択する方法は、多様に存在することができ、例えば、映像処理部は、前記限定した２番目の蹴上げ面の式の代入結果によって、最も多く出たｋ’の値を選択することができる。
【００７４】
一方、図９Ｂは、階段の２番目の蹴上げ面の式を推定する方法を示しているが、このような方法によって階段の残りの蹴上げ面の式を推定できるのは、通常の技術者にとって自明な事項である。
【００７５】
映像処理部は、下蹴上げ面の式と前記推定した上蹴上げ面の式とを比較して、下蹴上げ面と前記上蹴上げ面との間の幅を計算することができる（Ｓ４３０）。映像処理部は、式（４）で、上蹴上げ面と原点との最短距離を示す変数ｋ’を選択したので、下蹴上げ面の式と前記推定した上蹴上げ面の式とを比較して、下蹴上げ面と前記上蹴上げ面との間の幅を計算することができる。例えば、映像処理部は、１番目の蹴上げ面の式と前記推定した２番目の蹴上げ面の式とを比較して、１番目の蹴上げ面と前記２番目の蹴上げ面との間の幅を計算することができ、１番目の蹴上げ面の各ポイントのｘ座標の値が０であれば、ｋとｋ’との差を通じて、１番目の蹴上げ面と前記２番目の蹴上げ面との間の幅を計算することができる。
【００７６】
そして、映像処理部は、階段の連続する下蹴上げ面と上蹴上げ面との間に位置する各ポイントを通じて、前記両蹴上げ面の間に位置する踏み面を検出することができる（Ｓ４４０）。映像処理部は、前記踏み面が、その下の踏み面と平行であることを通じて、前記踏み面の式を限定し、前記限定した踏み面の式に、前記両蹴上げ面の間に位置する各ポイントを代入して、前記踏み面の式を正確に算出できる。
【００７７】
図９Ｃを参照して説明すると、１番目の踏み面は、連続する両蹴上げ面、即ち、１番目の蹴上げ面及び２番目の蹴上げ面と垂直をなす。また、１番目の踏み面は、その下の踏み面である底平面と平行である。これによって、映像処理部は、上述した式（２）によって、１番目の踏み面の式を限定することができる。この場合、ａ、ｂ、ｃは、１番目の踏み面の法線ベクトルの成分であって、底平面の法線ベクトルの成分と同一であり、ｄ’は、１番目の踏み面と原点との最短距離を示す変数である。
【００７８】
図９Ｄを参照して説明すると、映像処理部は、前記両蹴上げ面の間に位置する各ポイントを、式（２）によって限定した１番目の踏み面の式に代入した結果を通じて、１番目の踏み面の式を算出できる。
【００７９】
一方、映像処理部は、上記のような方法を通じて、階段の残りの踏み面の式を算出し、検出できる。例えば、２番目の踏み面は、１番目の踏み面と平行であることを通じて、３番目の踏み面は２番目の踏み面と平行であることを通じて、続いて、式（２）によって、階段の連続する両蹴上げ面の間に位置する任意の踏み面の式を限定することができる。そして、映像処理部は、前記両蹴上げ面の間に位置する各ポイントを、前記任意の踏み面の式に代入した結果を通じて、前記踏み面の式を算出できる。
【００８０】
映像処理部は、階段の終わりか否かを判断することができる（Ｓ１６０）。判断の結果、階段が終わる場合、映像処理部は階段の認識を終了し、判断の結果、階段が終わらない場合、映像処理部は階段の次の蹴上げ面の式及び次の踏み面の式を算出するために、Ｓ１４０、Ｓ１５０の段階を繰り返して行う。一方、次の階段の蹴上げ面及び踏み面を検出する場合、映像獲得部は、その時点で、再び階段が位置する空間の３次元データ映像を獲得することができる。映像処理部が、３次元データ映像から階段の終わりか否かを判断する具体的な方法は、以下で、図１０を参照して詳細に説明する。
【００８１】
図１０を参照して説明すると、映像獲得部は、踏み面を検出する過程で、階段の連続する両蹴上げ面の間の幅を計算することができる。このとき、計算された両蹴上げ面の間の幅ｄが、既に決まった臨界値以上である場合、例えば、以前の両蹴上げ面の間の幅の２倍以上である場合には、階段が終わるものと判断し、前記踏み面を階段の最後の踏み面（ｌａｓｔ ｔｒｅａｄ）として認識することができる。
【００８２】
図５は、本発明の一実施例による３次元データ映像から階段を認識するシステムの概略的なブロック図である。図５を参照して説明すると、階段を認識するシステムは、３次元データ映像を獲得する映像獲得部５１０と、３次元データ映像を処理して、階段を認識する映像処理部５２０と、映像処理部の階段認識の結果を出力する出力部５３０と、を含んで構成される。映像獲得部５１０は、階段が位置する空間の３次元データ映像を獲得する。例えば、映像獲得部５１０は、３次元データ映像を獲得できるように、ステレオカメラ、ＴＯＦカメラ、ＬＲＦセンサまたはキネクトセンサなどを備えることができる。映像処理部５２０は、映像獲得部５１０が獲得した３次元データ映像を処理して、階段を認識できるように、マイクロコントローラを備えることができ、出力部５３０は、映像処理部の階段認識の結果を出力できるように、ディスプレイユニットを備えることができる。そして、前記階段を認識するシステムは、ヒューマノイドまたは移動ロボットなどに設置可能である。
【符号の説明】
【００８３】
５１０ 映像獲得部
５２０ 映像処理部
５３０ 出力部
【特許請求の範囲】
【請求項１】
映像獲得部が、階段が位置する空間の３次元データ映像を獲得する段階と、
映像処理部が、前記３次元データ映像から前記階段の連続する両踏み面の間の高さを計算し、前記計算された高さによって、前記連続する両踏み面の間に位置する各ポイントを判断し、前記連続する両踏み面の間に位置する各ポイントを通じて、前記連続する両踏み面の間に位置する蹴上げ面を検出する段階と、
前記映像処理部が、前記３次元データ映像から前記階段の連続する両蹴上げ面の間の幅を計算し、前記計算された幅によって、前記連続する両蹴上げ面の間に位置する各ポイントを判断し、前記連続する両蹴上げ面の間に位置する各ポイントを通じて、前記連続する両蹴上げ面の間に位置する踏み面を検出する段階と、を含む、３次元データ映像の階段認識方法。
【請求項２】
前記映像処理部が、ＲＡＮＳＡＣアルゴリズムを用いて、前記３次元データ映像から前記階段が位置する底平面を検出する段階をさらに含む、請求項１に記載の３次元データ映像の階段認識方法。
【請求項３】
前記底平面を検出する段階は、次の式によって、前記底平面の式を算出する、請求項２に記載の３次元データ映像の階段認識方法。
【数１２】
ここで、ａ、ｂ、ｃは、前記底平面の法線ベクトルの成分であり、ｄは、前記底平面と原点との最短距離を示す定数である。
【請求項４】
前記映像処理部が、前記３次元データ映像をラベリングして、前記階段領域を分離し、前記底平面と前記分離された階段領域との接線から前記階段の始めを判断して、階段認識を始める段階をさらに含む、請求項２に記載の３次元データ映像の階段認識方法。
【請求項５】
前記蹴上げ面を検出する段階は、前記映像処理部が、前記底平面と前記階段の１番目の踏み面とが平行であることを通じて、前記１番目の踏み面の式を限定し、前記底平面から既に決まった階段高さの範囲に位置する各ポイントを通じて、前記１番目の踏み面の式を推定する、請求項２に記載の３次元データ映像の階段認識方法。
【請求項６】
前記蹴上げ面を検出する段階は、次の式によって、前記１番目の踏み面の式を限定する、請求項５に記載の３次元データ映像の階段認識方法。
【数１３】
ここで、ａ、ｂ、ｃは、前記１番目の踏み面の法線ベクトルの成分であって、前記底平面の法線ベクトルの成分と同一であり、ｄ’は、前記１番目の踏み面と原点との最短距離を示す変数である。
【請求項７】
前記蹴上げ面を検出する段階は、前記映像処理部が、前記底平面の式と前記推定した１番目の踏み面の式とを比較して、前記底平面と前記推定した１番目の踏み面との間の高さを計算する、請求項５に記載の３次元データ映像の階段認識方法。
【請求項８】
前記蹴上げ面を検出する段階は、前記映像処理部が、前記１番目の蹴上げ面が前記底平面、及び前記推定した１番目の踏み面と垂直であることを通じて、前記１番目の蹴上げ面の式を限定し、前記底平面と前記推定した１番目の踏み面との間に位置する各ポイントを通じて、前記１番目の蹴上げ面の式を算出する、請求項７に記載の３次元データ映像の階段認識方法。
【請求項９】
前記蹴上げ面を検出する段階は、次の式によって、前記１番目の蹴上げ面の式を限定する、請求項８に記載の３次元データ映像の階段認識方法。
【数１４】
ここで、ｎ、ｍ、ｌは、前記１番目の蹴上げ面の法線ベクトルの成分であって、前記１番目の蹴上げ面の法線ベクトルと前記底平面、及び前記推定した１番目の踏み面の法線ベクトルの内積は、０を満足し、ｋは、前記１番目の蹴上げ面と原点との最短距離を示す変数である。
【請求項１０】
前記蹴上げ面を検出する段階は、前記映像処理部が、前記階段の連続する下踏み面と上踏み面とが平行であることを通じて、前記上踏み面の式を限定し、前記下踏み面から既に決まった階段高さの範囲に位置する各ポイントを通じて、前記上踏み面の式を推定する、請求項１に記載の３次元データ映像の階段認識方法。
【請求項１１】
前記蹴上げ面を検出する段階は、次の式によって、前記上踏み面の式を限定する、請求項１０に記載の３次元データ映像の階段認識方法。
【数１５】
ここで、ａ、ｂ、ｃは、前記上踏み面の法線ベクトルの成分であって、前記下踏み面の法線ベクトルの成分と同一であり、ｄ’は、前記上踏み面と原点との最短距離を示す変数である。
【請求項１２】
前記蹴上げ面を検出する段階は、前記映像処理部が、前記下踏み面の式と前記推定した上踏み面の式とを比較して、前記下踏み面と前記推定した上踏み面との間の高さを計算する、請求項１０に記載の３次元データ映像の階段認識方法。
【請求項１３】
前記蹴上げ面を検出する段階は、前記映像処理部が、前記蹴上げ面がその下の蹴上げ面と平行であることを通じて、前記蹴上げ面の式を限定し、前記下踏み面と前記推定した上踏み面との間に位置する各ポイントを通じて、前記蹴上げ面の式を算出する、請求項１２に記載の３次元データ映像の階段認識方法。
【請求項１４】
前記蹴上げ面を検出する段階は、次の式によって、前記蹴上げ面の式を限定する、請求項１３に記載の３次元データ映像の階段認識方法。
【数１６】
ここで、ｎ、ｍ、ｌは、前記蹴上げ面の法線ベクトルの成分であって、前記その下の蹴上げ面の法線ベクトルの成分と同一であり、ｋは、前記蹴上げ面と原点との最短距離を示す変数である。
【請求項１５】
前記踏み面を検出する段階は、前記映像処理部が、前記階段の連続する下蹴上げ面と上蹴上げ面とが平行であることを通じて、前記上蹴上げ面の式を限定し、前記下蹴上げ面から既に決まった階段幅の範囲に位置する各ポイントを通じて、前記上蹴上げ面の式を推定する、請求項１に記載の３次元データ映像の階段認識方法。
【請求項１６】
前記踏み面を検出する段階は、次の式によって、前記上蹴上げ面の式を限定する、請求項１５に記載の３次元データ映像の階段認識方法。
【数１７】
ここで、ｎ、ｍ、ｌは、前記上蹴上げ面の法線ベクトルの成分であって、前記下蹴上げ面の法線ベクトルの成分と同一であり、ｋ’は、前記上蹴上げ面と原点との最短距離を示す変数である。
【請求項１７】
前記踏み面を検出する段階は、前記映像処理部が、前記下蹴上げ面の式と前記推定した上蹴上げ面の式とを比較して、前記下蹴上げ面と前記推定した上蹴上げ面との間の幅を計算する、請求項１５に記載の３次元データ映像の階段認識方法。
【請求項１８】
前記踏み面を検出する段階は、前記映像処理部が、前記踏み面がその下の踏み面と平行であることを通じて、前記踏み面の式を限定し、前記下蹴上げ面と前記推定した上蹴上げ面との間に位置する各ポイントを通じて、前記踏み面の式を算出する、請求項１７に記載の３次元データ映像の階段認識方法。
【請求項１９】
前記踏み面を検出する段階は、次の式によって、前記踏み面の式を限定する、請求項１８に記載の３次元データ映像の階段認識方法。
【数１８】
ここで、ａ、ｂ、ｃは、前記踏み面の法線ベクトルの成分であって、前記その下の踏み面の法線ベクトルの成分と同一であり、ｄ’は、前記踏み面と原点との最短距離を示す変数である。
【請求項２０】
前記映像処理部が、前記３次元データ映像から前記階段の終わりか否かを判断して、前記階段が終わる場合、階段認識を終了し、前記階段が終わらない場合、前記階段の次の蹴上げ面及び次の踏み面を検出する段階をさらに含む、請求項１に記載の３次元データ映像の階段認識方法。
【請求項２１】
前記階段の終わりか否かを判断する段階は、前記連続する両蹴上げ面の間の幅が、既に決まった臨界値以上である場合、前記階段が終わるものと判断する、請求項２０に記載の３次元データ映像の階段認識方法。
【請求項１】
映像獲得部が、階段が位置する空間の３次元データ映像を獲得する段階と、
映像処理部が、前記３次元データ映像から前記階段の連続する両踏み面の間の高さを計算し、前記計算された高さによって、前記連続する両踏み面の間に位置する各ポイントを判断し、前記連続する両踏み面の間に位置する各ポイントを通じて、前記連続する両踏み面の間に位置する蹴上げ面を検出する段階と、
前記映像処理部が、前記３次元データ映像から前記階段の連続する両蹴上げ面の間の幅を計算し、前記計算された幅によって、前記連続する両蹴上げ面の間に位置する各ポイントを判断し、前記連続する両蹴上げ面の間に位置する各ポイントを通じて、前記連続する両蹴上げ面の間に位置する踏み面を検出する段階と、を含む、３次元データ映像の階段認識方法。
【請求項２】
前記映像処理部が、ＲＡＮＳＡＣアルゴリズムを用いて、前記３次元データ映像から前記階段が位置する底平面を検出する段階をさらに含む、請求項１に記載の３次元データ映像の階段認識方法。
【請求項３】
前記底平面を検出する段階は、次の式によって、前記底平面の式を算出する、請求項２に記載の３次元データ映像の階段認識方法。
【数１２】
ここで、ａ、ｂ、ｃは、前記底平面の法線ベクトルの成分であり、ｄは、前記底平面と原点との最短距離を示す定数である。
【請求項４】
前記映像処理部が、前記３次元データ映像をラベリングして、前記階段領域を分離し、前記底平面と前記分離された階段領域との接線から前記階段の始めを判断して、階段認識を始める段階をさらに含む、請求項２に記載の３次元データ映像の階段認識方法。
【請求項５】
前記蹴上げ面を検出する段階は、前記映像処理部が、前記底平面と前記階段の１番目の踏み面とが平行であることを通じて、前記１番目の踏み面の式を限定し、前記底平面から既に決まった階段高さの範囲に位置する各ポイントを通じて、前記１番目の踏み面の式を推定する、請求項２に記載の３次元データ映像の階段認識方法。
【請求項６】
前記蹴上げ面を検出する段階は、次の式によって、前記１番目の踏み面の式を限定する、請求項５に記載の３次元データ映像の階段認識方法。
【数１３】
ここで、ａ、ｂ、ｃは、前記１番目の踏み面の法線ベクトルの成分であって、前記底平面の法線ベクトルの成分と同一であり、ｄ’は、前記１番目の踏み面と原点との最短距離を示す変数である。
【請求項７】
前記蹴上げ面を検出する段階は、前記映像処理部が、前記底平面の式と前記推定した１番目の踏み面の式とを比較して、前記底平面と前記推定した１番目の踏み面との間の高さを計算する、請求項５に記載の３次元データ映像の階段認識方法。
【請求項８】
前記蹴上げ面を検出する段階は、前記映像処理部が、前記１番目の蹴上げ面が前記底平面、及び前記推定した１番目の踏み面と垂直であることを通じて、前記１番目の蹴上げ面の式を限定し、前記底平面と前記推定した１番目の踏み面との間に位置する各ポイントを通じて、前記１番目の蹴上げ面の式を算出する、請求項７に記載の３次元データ映像の階段認識方法。
【請求項９】
前記蹴上げ面を検出する段階は、次の式によって、前記１番目の蹴上げ面の式を限定する、請求項８に記載の３次元データ映像の階段認識方法。
【数１４】
ここで、ｎ、ｍ、ｌは、前記１番目の蹴上げ面の法線ベクトルの成分であって、前記１番目の蹴上げ面の法線ベクトルと前記底平面、及び前記推定した１番目の踏み面の法線ベクトルの内積は、０を満足し、ｋは、前記１番目の蹴上げ面と原点との最短距離を示す変数である。
【請求項１０】
前記蹴上げ面を検出する段階は、前記映像処理部が、前記階段の連続する下踏み面と上踏み面とが平行であることを通じて、前記上踏み面の式を限定し、前記下踏み面から既に決まった階段高さの範囲に位置する各ポイントを通じて、前記上踏み面の式を推定する、請求項１に記載の３次元データ映像の階段認識方法。
【請求項１１】
前記蹴上げ面を検出する段階は、次の式によって、前記上踏み面の式を限定する、請求項１０に記載の３次元データ映像の階段認識方法。
【数１５】
ここで、ａ、ｂ、ｃは、前記上踏み面の法線ベクトルの成分であって、前記下踏み面の法線ベクトルの成分と同一であり、ｄ’は、前記上踏み面と原点との最短距離を示す変数である。
【請求項１２】
前記蹴上げ面を検出する段階は、前記映像処理部が、前記下踏み面の式と前記推定した上踏み面の式とを比較して、前記下踏み面と前記推定した上踏み面との間の高さを計算する、請求項１０に記載の３次元データ映像の階段認識方法。
【請求項１３】
前記蹴上げ面を検出する段階は、前記映像処理部が、前記蹴上げ面がその下の蹴上げ面と平行であることを通じて、前記蹴上げ面の式を限定し、前記下踏み面と前記推定した上踏み面との間に位置する各ポイントを通じて、前記蹴上げ面の式を算出する、請求項１２に記載の３次元データ映像の階段認識方法。
【請求項１４】
前記蹴上げ面を検出する段階は、次の式によって、前記蹴上げ面の式を限定する、請求項１３に記載の３次元データ映像の階段認識方法。
【数１６】
ここで、ｎ、ｍ、ｌは、前記蹴上げ面の法線ベクトルの成分であって、前記その下の蹴上げ面の法線ベクトルの成分と同一であり、ｋは、前記蹴上げ面と原点との最短距離を示す変数である。
【請求項１５】
前記踏み面を検出する段階は、前記映像処理部が、前記階段の連続する下蹴上げ面と上蹴上げ面とが平行であることを通じて、前記上蹴上げ面の式を限定し、前記下蹴上げ面から既に決まった階段幅の範囲に位置する各ポイントを通じて、前記上蹴上げ面の式を推定する、請求項１に記載の３次元データ映像の階段認識方法。
【請求項１６】
前記踏み面を検出する段階は、次の式によって、前記上蹴上げ面の式を限定する、請求項１５に記載の３次元データ映像の階段認識方法。
【数１７】
ここで、ｎ、ｍ、ｌは、前記上蹴上げ面の法線ベクトルの成分であって、前記下蹴上げ面の法線ベクトルの成分と同一であり、ｋ’は、前記上蹴上げ面と原点との最短距離を示す変数である。
【請求項１７】
前記踏み面を検出する段階は、前記映像処理部が、前記下蹴上げ面の式と前記推定した上蹴上げ面の式とを比較して、前記下蹴上げ面と前記推定した上蹴上げ面との間の幅を計算する、請求項１５に記載の３次元データ映像の階段認識方法。
【請求項１８】
前記踏み面を検出する段階は、前記映像処理部が、前記踏み面がその下の踏み面と平行であることを通じて、前記踏み面の式を限定し、前記下蹴上げ面と前記推定した上蹴上げ面との間に位置する各ポイントを通じて、前記踏み面の式を算出する、請求項１７に記載の３次元データ映像の階段認識方法。
【請求項１９】
前記踏み面を検出する段階は、次の式によって、前記踏み面の式を限定する、請求項１８に記載の３次元データ映像の階段認識方法。
【数１８】
ここで、ａ、ｂ、ｃは、前記踏み面の法線ベクトルの成分であって、前記その下の踏み面の法線ベクトルの成分と同一であり、ｄ’は、前記踏み面と原点との最短距離を示す変数である。
【請求項２０】
前記映像処理部が、前記３次元データ映像から前記階段の終わりか否かを判断して、前記階段が終わる場合、階段認識を終了し、前記階段が終わらない場合、前記階段の次の蹴上げ面及び次の踏み面を検出する段階をさらに含む、請求項１に記載の３次元データ映像の階段認識方法。
【請求項２１】
前記階段の終わりか否かを判断する段階は、前記連続する両蹴上げ面の間の幅が、既に決まった臨界値以上である場合、前記階段が終わるものと判断する、請求項２０に記載の３次元データ映像の階段認識方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６Ａ】
【図６Ｂ】
【図７】
【図８Ａ】
【図８Ｂ】
【図８Ｃ】
【図８Ｄ】
【図９Ａ】
【図９Ｂ】
【図９Ｃ】
【図９Ｄ】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６Ａ】
【図６Ｂ】
【図７】
【図８Ａ】
【図８Ｂ】
【図８Ｃ】
【図８Ｄ】
【図９Ａ】
【図９Ｂ】
【図９Ｃ】
【図９Ｄ】
【図１０】
【公開番号】特開２０１３−１０９７５０（Ｐ２０１３−１０９７５０Ａ）
【公開日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願番号】特願２０１２−１６２６３９（Ｐ２０１２−１６２６３９）
【出願日】平成２４年７月２３日（２０１２．７．２３）
【出願人】（３９００１９８３９）三星電子株式会社 (8,520)
【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．
【住所又は居所原語表記】１２９，Ｓａｍｓｕｎｇ−ｒｏ，Ｙｅｏｎｇｔｏｎｇ−ｇｕ，Ｓｕｗｏｎ−ｓｉ，Ｇｙｅｏｎｇｇｉ−ｄｏ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
【Ｆターム（参考）】
【公開日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願日】平成２４年７月２３日（２０１２．７．２３）
【出願人】（３９００１９８３９）三星電子株式会社 (8,520)
【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．
【住所又は居所原語表記】１２９，Ｓａｍｓｕｎｇ−ｒｏ，Ｙｅｏｎｇｔｏｎｇ−ｇｕ，Ｓｕｗｏｎ−ｓｉ，Ｇｙｅｏｎｇｇｉ−ｄｏ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
【Ｆターム（参考）】
[ Back to top ]