移動環境認識装置及び方法

【課題】高精度に測定対象の形状認識情報を得る。
【解決手段】測定対象までの距離画像データを得る距離画像測定工程ステップＳＴ１と、この距離画像測定工程で得た距離画像データに基づき、所定のデータの集合体からなるラベリング領域を作成するラベリング処理工程ステップＳＴ２〜ステップＳＴ７と、このラベリング処理工程で作成した複数のラベリング領域に基づいて複数の上面データを形成する上面データ形成工程ステップＳＴ８と、この上面データ形成工程で形成した複数の上面データに基づいて測定対象の形状を認識する形状認識工程ステップＳＴ９〜ステップＳＴ１３と、を備えた移動環境認識方法である。

【発明の詳細な説明】
【技術分野】
【０００１】
本発明は移動環境認識装置及び方法に関し、例えば脚型ロボットや脚車輪型ロボットのような脚動作型移動体が移動する際に必要とする、移動環境の有無、状況を認識する場合に適用して好適なものである。
【背景技術】
【０００２】
脚型ロボットや、脚着地部材として車輪を有する脚車輪型ロボットのような脚動作型移動体は、段差がある移動環境を脚により歩行動作をする際には、例えば階段の踏み板のように、一歩移動するごとに脚によって自立できる場所（これを踏み場と呼ぶ）を踏みしめている必要があり、当該踏み場が存在することを歩行動作を開始する前に認識しておく必要がある。
従来、この種の認識手法として、特許文献１及び２の手法が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−１４４２７８号公報
【特許文献２】特開２００８−２２４３８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載の手法は、腰部に取り付けられた外部センサが、床面までの距離や床面形状の計測を行うために、スリット光を照射する発光手段と、光切断線を撮像する視準値の異なる２つの撮像手段と、光切断方向から撮像された画像を基に計測対象までの距離を算出する手段と、周囲を監視する手段と、を設け、当該２つの撮像手段により同一物体の対応付け及び視差を利用して距離の算出を行う二眼立体視構成を有する。
この特許文献１の手法は、腰部に取り付けられることにより検出感度が向上することや、ロボットの動作中も安定に床面の計測を行うことができるところに特徴があり、基本となる技術は従来技術そのままを用いている点において環境の認識が未だ不十分である。
【０００５】
また、特許文献２の手法は、三次元レーザレーダによって得られた垂直走査面内の距離データのデータ配列から測定対象の垂直方向及び水平方向の特徴を抽出するようにしたことにより、脚動作型移動体が測定対象を歩行できるような移動環境情報を得るようになされているが、レーザの走査による切断面の特徴量から三次元形状を再構築するために、処理すべき情報量が多く、また手順も複雑であるため、これらを軽減することが望ましい。
本発明は上記事情に鑑みてなされたものであり、高精度に測定対象の形状認識情報を得ることができる移動環境認識装置及び方法を提案するものである。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明に係る請求項１記載の移動環境認識装置は、移動体が歩行動作すべき測定対象を認識する移動環境認識装置であって、前記移動体に配置され、測定対象までの距離画像データを得る距離画像測定部と、この距離画像測定部が得た前記距離画像データに基づき、所定のデータの集合体からなるラベリング領域を作成するラベリング処理手段と、複数のラベリング領域に基づいて複数の上面データを形成する上面データ形成手段と、この上面データ形成手段が形成した複数の上面データに基づいて前記測定対象の形状を認識する形状認識手段と、を備えている。
【０００７】
また、請求項２記載の発明は、請求項１記載の移動環境認識装置において、前記ラベリング処理手段は、前記距離画像データに基づいて正面データを作成し、当該正面データを所定の閾値と比較して二値化し、二値化されたデータに基づいて前記ラベリング領域を作成する。
また、請求項３記載の発明は、請求項１又は２記載の移動環境認識装置において、前記移動体の姿勢角変化を検知する姿勢測定部を備え、前記上面データ形成手段は、前記姿勢測定部が検知した姿勢角変化の情報を用いて前記上面データを形成する。
【０００８】
また、請求項４記載の発明は、請求項１乃至３の何れか１項に記載の移動環境認識装置において、前記測定対象は階段であり、前記形状認識手段は、前記上面データ形成手段が作成した複数の上面データの中から連続する上面データを形成する連続データ形成手段と、この連続データ形成手段で形成した連続する上面データに基づいて、上り階段、或いは下り階段を判定する判定手段と、この連続データ形成手段で形成した連続する上面データに基づいて、前記階段の形状を認識する階段形状認識手段と、を備えている。
【０００９】
また、請求項５記載の発明は、移動体が歩行動作すべき測定対象を認識する移動環境認識方法であって、測定対象までの距離画像データを得る距離画像測定工程と、この距離画像測定工程で得た前記距離画像データに基づき、所定のデータの集合体からなるラベリング領域を作成するラベリング処理工程と、このラベリング処理工程で作成した複数のラベリング領域に基づいて複数の上面データを形成する上面データ形成工程と、この上面データ形成工程で形成した複数の上面データに基づいて前記測定対象の形状を認識する形状認識工程と、を備えている。
【００１０】
また、請求項６記載の発明は、請求項５記載の移動環境認識方法において、前記ラベリング処理工程は、前記距離画像データに基づいて正面データを作成し、当該正面データを所定の閾値と比較して二値化し、二値化されたデータに基づいて前記ラベリング領域を作成する。
また、請求項７記載の発明は、請求項５又は６記載の移動環境認識方法において、前記移動体の姿勢角変化を検知する姿勢測定工程を備え、前記上面データ形成工程は、前記姿勢測定工程で検知した姿勢角変化の情報を用いて前記上面データを形成する。
【００１１】
さらに、請求項８記載の発明は、請求項５乃至７の何れか１項に記載の移動環境認識方法において、前記測定対象は階段であり、前記形状認識工程は、前記上面データ形成工程で作成した複数の上面データの中から連続する上面データを形成する連続データ形成工程と、この連続データ形成工程で形成した連続する上面データに基づいて、上り階段、或いは下り階段を判定する判定工程と、この連続データ形成工程で形成した連続する上面データに基づいて、前記階段の形状を認識する階段形状認識工程と、を備えている。
【発明の効果】
【００１２】
本発明に係る移動環境認識装置及び方法によれば、測定対象までの距離画像データを得る距離画像測定部が測定した距離画像データに基づき、所定のデータの集合体からなるラベリング領域を作成し、その複数のラベリング領域に基づいて複数の上面データを形成し、それら複数の上面データに基づいて測定対象の形状を認識しているので、高精度に測定対象の形状認識情報を得ることができる。
【図面の簡単な説明】
【００１３】
【図１】移動体の構成を示す概略図である。
【図２】外界認識装置を示すブロック図である。
【図３】測定対象の認識処理を示す第１実施形態のフローチャートである。
【図４】距離画像測定部が測定する測定エリアである。
【図５】二値化処理で得られた濃淡データを示すものである。
【図６】ラベリング処理された測定対象としての階段の床面のデータである。
【図７】ラベリング処理された測定対象としての階段の１段目の踏み面のデータである。
【図８】ラベリング処理された測定対象としての階段の２段目の踏み面の上面データである。
【図９】上面データのファーサイドエッジとニアサイドエッジを抽出する状態を示す図である。
【図１０】上面データから階段として連続する面を抽出する動作を示す図である。
【図１１】階段の連続する面として抽出しないデータを示す図である。
【図１２】上り階段を判定する動作を示す図である。
【図１３】下り階段を判定する動作を示す図である。
【図１４】上り階段の情報を取得する動作を示す図である。
【図１５】下り階段の情報を取得する動作を示す図である。
【図１６】図１５とは踏み面の大きさが異なる下り階段の情報を取得する動作を示す図である。
【発明を実施するための形態】
【００１４】
以下、本発明を実施するための形態（以下、実施形態という。）を、図面を参照しながら詳細に説明する。
図１において、符号１は全体として移動体を示し、直方体形状の移動体本体２の前面上部に移動環境検出器３が設けられている。
移動体本体２の前面下部の左右両端位置には左前脚４Ｌ及び右前脚４Ｒが装着されていると共に、移動体本体２の後面下部の左右両端位置には左後脚５Ｌ及び右後脚５Ｒが装着されている。
左前脚４Ｌ及び右前脚４Ｒ並びに左後脚５Ｌ及び右後脚５Ｒは、それぞれ支軸周りの関節Ｊ０、股関節Ｊ１及び膝関節Ｊ２を介して脚車輪Ｊ３を歩行動作ができるように保持している。
【００１５】
そして、左前脚４Ｌ及び右前脚４Ｒ並びに左後脚５Ｌ及び右後脚５Ｒが平らな床面６上に自立しているときには、脚車輪Ｊ３を回転駆動することにより、移動体本体２を車輪の回転動作を利用して移動できるようになされていると共に、移動体本体２が測定対象としての階段を上り下りする際には、左前脚４Ｌ若しくは右前脚４Ｒ又は左後脚５Ｌ若しくは右後脚５Ｒのいずれか１つ、または２つ以上を階段の段差を上り下りするように脚車輪Ｊ３を回転駆動させずに、若しくは、階段の上の段の存在する側へ進むよう回転駆動しながら歩行動作させ、これにより脚車輪Ｊ３を階段の踏み面を踏む手段として用いて階段を１歩ずつ上ったり下ったりできるようになされている。
このような移動体１の移動動作は、移動体本体２内に設けられている外界認識装置９が移動環境検出器３の検出結果を用いて移動環境を認識して左前脚４Ｌ若しくは右前脚４Ｒ又は左後脚５Ｌ若しくは右後脚５Ｒを駆動制御することによって行われる。
【００１６】
外界認識装置９は、図２に示すように、移動環境検出器３として距離画像測定部３６及び姿勢測定部３７を装備し、情報処理を行うパーソナルコンピュータによって構成され、データ入出力手段１１からユーザが入力した指令データをバス１２を介してシステム制御用中央処理ユニット（ＣＰＵ）１３が受け取ったとき、これに応じてＣＰＵ１３がプログラムＲＯＭ・動作メモリＲＡＭ１４を用いて移動環境検出器３の検出結果に応じた環境認識演算処理を実行し、データ入出力手段１１を通じて本体駆動部１５に当該環境認識結果を通知することにより、左前脚４Ｌ若しくは右前脚４Ｒ又は左後脚５Ｌ若しくは右後脚５Ｒを移動動作させる。なお、図２の符号１６は、外部ＰＣ等との無線通信を行う無線通信部である。また、図２の符号１７は、後述する測定対象の形状認識処理で使用する画像メモリである。
【００１７】
移動環境検出器３を構成する距離画像測定部３６は、カメラの画素毎に距離情報が得られ、多点の距離を同時に高速に測定することが可能な距離画像センサが使用されており、距離画像センサの測定領域内において、カメラの画素毎に距離情報が距離画像データメモリ３６Ａに蓄積される。
距離画像測定部３６は、移動体１の前方の床面６を検出するように、撮像方向を斜め下向きに配置している。
【００１８】
距離画像測定部３６とともに移動環境検出器３を構成する姿勢測定部３７は、距離画像測定部３６に装着された傾斜角測定センサであり、例えば、距離画像測定部３６の角速度を検知するジャイロセンサと、鉛直方向を検知するための加速度センサによって構成され、測定された姿勢角データは、姿勢データメモリ３７Ａに蓄積される。
なお、本実施形態では、姿勢測定部３７が移動環境検出器３内（距離画像測定部３６の上部）に存在しているが、図１の破線で示すように移動本体２に姿勢測定部３７を装着してもよい。その場合には、移動本体２からの姿勢角を取得し、移動本体２との相対姿勢と合わせて姿勢角データを算出する。
【００１９】
次に、ＣＰＵ１３が実行する測定対象の環境認識演算処理の第１実施形態について、図３に示すフローチャート及び図４から図１６を参照して説明する。ここで、図１に示すように、水平方向をＸ軸で表し、このＸ軸に直交する平面の座標をＺ軸及びＹ軸で表す。
図４は、距離画像測定部３６が測定した測定エリアであり、この測定エリアには、床面６上に、測定対象としての階段７が存在している。ここで、床面６をＦｌｏｏｒ０、階段７の１段目の踏み面をＦｌｏｏｒ１、階段７の２段目の踏み面をＦｌｏｏｒ２と称する。
【００２０】
ＣＰＵ１３は、図３で示す測定対象の形状認識処理を行う。
先ず、図３のステップＳＴ１において、距離画像測定部３６が測定した距離画像データメモリ３６Ａに蓄積されている距離情報を三次元空間に投影したときのＹＺ断面（正面）のデータ（画像）を作成する。その際、図５（ａ）に示すように、出現頻度に応じて濃淡の異なる画像とする。
【００２１】
次いでステップＳＴ２に移行し、作成した図５（ａ）のＹＺ断面（正面）の濃淡画像データを所定の閾値と比較して二値化処理を行う。ここで、図５（ｂ）が、ステップＳＴ３の二値化処理で得られたデータを示す。
次いでステップＳＴ３に移行し、二値化処理で得られたデータの切れ目補間、ノイズ軽減処理を行う。
【００２２】
次いでステップＳＴ４に移行し、二値化処理で得られたＹＺ断面（正面）のデータから複数のラベリング領域（連結成分）を作成するラベリング処理を行う。
次いでステップＳＴ５に移行し、各ラベリング領域のＺ座標の平均値、及びＺ座標の最大値Ｚmax〜最小値Ｚminを算出する。
次いでステップＳＴ６に移行し、ステップＳＴ５の算出結果に基づいて、各ラベリング領域を、Ｚ座標が最小値Ｚminのものから最大値Ｚmaxのものまで昇順に並べ替える。
【００２３】
次いでステップＳＴ７に移行し、かすれ、遮蔽により別体となったラベリング領域の復元を行うため、ステップＳＴ６の結果に基づいて、Ｚ座標の範囲が重なるラベリング領域を統合する。
次いでステップＳＴ８に移行し、ステップＳＴ７の結果に基づいて、各ラベリング領域、すなわちＸＹ断面（上面）データ（Ｆｌｏｏｒ０、Ｆｌｏｏｒ１、Ｆｌｏｏｒ２）毎に、Ｚ座標の条件（Ｚmin〜Ｚmax）に対応するＸ座標を抽出し、ＸＹ断面（上面）データとして画像メモリ１７にプロットしていく。なお、画像メモリ１７にプロットされたＸＹ（上面）データは、測定対象が階段７である場合には、図６〜図８に示すように、白抜きの四角形状のデータとなる。
【００２４】
次いでステップＳＴ９に移行し、画像メモリ１７にプロットされたＸＹ（上面）データに基づいて、各段の踏み面（Ｆｌｏｏｒ０、Ｆｌｏｏｒ１、Ｆｌｏｏｒ２）の一番大きなエリアを抽出してノイズ除去処理を行う。
次いでステップＳＴ１０に移行し、画像メモリ１７にプロットされた全てのＸＹ（上面）データのＸ軸方向のエッジを抽出する。具体的には、図９（ａ）に示すように、白抜きの四角形状とした全てのＸＹ（上面）データに対して姿勢データメモリ３７Ａに蓄積された姿勢角データに基づいた座標変換を行い、ファーサイドエッジＦＥと、ニアサイドエッジＮＥを抽出する（図９（ｂ）参照）。
【００２５】
次いでステップＳＴ１１に移行し、画像メモリ１７にプロットされたＸＹ（上面）データの中から、階段として連続する複数の上面（踏み面）を抽出する。
具体的には、図１０の（ｂ）、（ｃ）、（ｅ）、（ｆ）に示すように、一対の上面の中心を結ぶ線Ｌ１と、一対の上面の隣接する上部のファーサイドエッジＦＥ及びニアサイドエッジＮＥの一方とが交差している場合に、階段として連続する一対の上面として抽出する。しかし、図１０の（ｄ）に示すように、一対の上面の中心を結ぶ線Ｌ１と、一対の上面の隣接するファーサイドエッジＦＥ及びニアサイドエッジＮＥの一方とが交差していない場合には、階段を構成する上面としては抽出しない。
【００２６】
また、階段として連続する上面（踏み面）を抽出する際の二重の判定として、図１０（ａ）に示す一対の上面は、一対の上面の中心を結ぶ線Ｌ１と、一対の上面の隣接するファーサイドエッジＦＥ及びニアサイドエッジＮＥの一方とが交差しているが、図１１に示すように、一対の上面がＹ軸方向に重なりがない場合には、階段を構成する上面としては抽出しないようにしている。
【００２７】
次いでステップＳＴ１２に移行し、ステップＳＴ１２で抽出した階段として連続する上面のデータに基づいて、上り階段、下り階段の判定を行う。
具体的には、図１２に示すように、Ｚ座標が小さい(高さが低い)上面Ｓurface iと、Ｚ座標が大きい(高さが高い)上面Ｓurface i＋1とがそれら面の中心を線Ｌ１で結んだときに、この線Ｌ１と、Ｚ座標が大きい上面Ｓurface i＋1のニアサイドエッジＮＥとが交差する場合（図１２の（ａ）参照）、線Ｌ１と、Ｚ座標が小さい上面Ｓurface iのファーサイドエッジＦＥとが交差する場合（図１２の（ｃ）参照）に、上り階段であると判定する。また、図１３に示すように、Ｚ座標が小さい(高さが低い)上面Ｓurface iと、Ｚ座標が大きい(高さが高い)上面Ｓurface i＋1とがそれら面の中心を結んだ線Ｌ１と、Ｚ座標が大きい上面Ｓurface i＋1のファーサイドエッジＦＥとが交差する場合（図１３の（ｂ）参照）、線Ｌ１と、Ｚ座標が小さい上面Ｓurface iのニアサイドエッジＮＥとが交差する場合（図１３の（ｄ）参照）には、下り階段であると判定する。
【００２８】
次いでステップＳＴ１３に移行し、階段の情報を取得する。具体的には、上り階段の場合には、図１４に示すように、１段目の踏み面Ｆｌｏｏｒ１のニアサイドエッジＮＥ（Ｎosing１）を基準として階段までの距離、階段の向き（傾き）などを算出する。また、蹴上げ高さは、Ｎosing０及びＮosing１の高さの差、Ｎosing１及びＮosing２の高さの差から算出する。さらに、踏み面の長さは、Ｎosing１及びＮosing２のＸ座標の差から算出する。
【００２９】
また、下り階段の場合には、図１５及び図１６に示すように、床面６の踏み面Ｆｌｏｏｒ０のファーサイドエッジＦＥ（Ｎosing０）を基準として階段までの距離、階段の向き（傾き）などを算出する。また、蹴上げ高さは、Ｎosing０及びＮosing１の高さの差、Ｎosing１及びＮosing２の高さの差、…から算出する。さらに、踏み面の長さも、Ｎosing０及びＮosing１のＸ座標の差、Ｎosing１及びＮosing２のＸ座標の差、…から算出する。
【００３０】
上記構成の外界認識装置９によると、距離画像測定部３６が測定した距離画像データメモリ３６Ａに蓄積されている距離情報を三次元空間に投影したときのＹＺ断面（正面）のデータを作成し、作成したＹＺ断面（正面）の濃淡データ（画像）を所定の閾値と比較して二値化処理を行い、二値化処理で得られたＹＺ断面（正面）のデータから複数のラベリング領域（連結成分）を作成するラベリング処理を行い、ＸＹ断面（上面）データとして画像メモリ１７にプロットしていき、画像メモリ１７にプロットされたＸＹ（上面）データの中から、階段として連続する複数の上面（踏み面）を抽出し、階段までの距離、階段の向き（傾き）などを算出しているので、高精度に測定対象の形状認識情報を得ることができる。
【００３１】
ここで、本発明に係るラベリング処理手段及びラベリング処理工程が、図３のステップＳＴ４〜ステップＳＴ７に対応し、本発明に係る上面データ形成手段及び上面データ形成工程が、図３のステップＳＴ８〜ステップＳＴ９に対応し、本発明に係る形状認識手段及び形状認識工程が図３のステップＳＴ１０に対応し、本発明に係る連続データ形成手段及び連続データ形成工程が図３のステップＳＴ１１に対応し、本発明に係る判定手段及び判定工程が図３のステップＳＴ１２に対応し、本発明に係る階段形状認識手段及び階段形状認識工程が図３のステップＳＴ１３に対応している。
【符号の説明】
【００３２】
１…移動体、２…移動体本体、３…移動環境検出器、４Ｌ…左前脚、４Ｒ…右前脚、５Ｌ…左後脚、５Ｒ…右後脚、６…床面、９…外界認識装置、１１…データ入出力手段、１２…バス、１４…プログラムＲＯＭ・動作メモリＲＡＭ、１５…本体駆動部、１６…無線通信部、１７…画像メモリ、３６…距離画像測定部、３６Ａ…距離画像データメモリ、３７…姿勢測定部、３７Ａ…姿勢データメモリ、Ｊ０…関節、Ｊ１…股関節、Ｊ２…膝関節、Ｊ３…脚車輪、ＦＥ…ファーサイドエッジ、ＮＥ…ニアサイドエッジ

【特許請求の範囲】
【請求項１】
移動体が歩行動作すべき測定対象を認識する移動環境認識装置であって、
前記移動体に配置され、測定対象までの距離画像データを得る距離画像測定部と、
この距離画像測定部が得た前記距離画像データに基づき、所定のデータの集合体からなるラベリング領域を作成するラベリング処理手段と、
複数のラベリング領域に基づいて複数の上面データを形成する上面データ形成手段と、
この上面データ形成手段が形成した複数の上面データに基づいて前記測定対象の形状を認識する形状認識手段と、を備えていることを特徴とする移動環境認識装置。
【請求項２】
前記ラベリング処理手段は、前記距離画像データに基づいて正面データを作成し、当該正面データを所定の閾値と比較して二値化し、二値化されたデータに基づいて前記ラベリング領域を作成することを特徴とする請求項１記載の移動環境認識装置。
【請求項３】
前記移動体の姿勢角変化を検知する姿勢測定部を備え、前記上面データ形成手段は、前記姿勢測定部が検知した姿勢角変化の情報を用いて前記上面データを形成することを特徴とする請求項１又は２記載の移動環境認識装置。
【請求項４】
前記測定対象は階段であり、
前記形状認識手段は、前記上面データ形成手段が作成した複数の上面データの中から連続する上面データを形成する連続データ形成手段と、この連続データ形成手段で形成した連続する上面データに基づいて、上り階段、或いは下り階段を判定する判定手段と、この連続データ形成手段で形成した連続する上面データに基づいて、前記階段の形状を認識する階段形状認識手段と、を備えていることを特徴とする請求項１乃至３の何れか１項に記載の移動環境認識装置。
【請求項５】
移動体が歩行動作すべき測定対象を認識する移動環境認識方法であって、
測定対象までの距離画像データを得る距離画像測定工程と、
この距離画像測定工程で得た前記距離画像データに基づき、所定のデータの集合体からなるラベリング領域を作成するラベリング処理工程と、
このラベリング処理工程で作成した複数のラベリング領域に基づいて複数の上面データを形成する上面データ形成工程と、
この上面データ形成工程で形成した複数の上面データに基づいて前記測定対象の形状を認識する形状認識工程と、を備えていることを特徴とする移動環境認識方法。
【請求項６】
前記ラベリング処理工程は、前記距離画像データに基づいて正面データを作成し、当該正面データを所定の閾値と比較して二値化し、二値化されたデータに基づいて前記ラベリング領域を作成することを特徴とする請求項５記載の移動環境認識方法。
【請求項７】
前記移動体の姿勢角変化を検知する姿勢測定工程を備え、前記上面データ形成工程は、前記姿勢測定工程で検知した姿勢角変化の情報を用いて前記上面データを形成することを特徴とする請求項５又は６記載の移動環境認識方法。
【請求項８】
前記測定対象は階段であり、
前記形状認識工程は、前記上面データ形成工程で作成した複数の上面データの中から連続する上面データを形成する連続データ形成工程と、この連続データ形成工程で形成した連続する上面データに基づいて、上り階段、或いは下り階段を判定する判定工程と、この連続データ形成工程で形成した連続する上面データに基づいて、前記階段の形状を認識する階段形状認識工程と、を備えていることを特徴とする請求項５乃至７の何れか１項に記載の移動環境認識方法。

【図１】