ロボット装置及びロボット装置の制御方法
【課題】状況に応じて、３次元計測のためのパターン光の点灯及び非点灯を適切に切り替えることが可能なロボット装置及びロボット装置の制御方法を提供する。
【解決手段】外部の環境にパターン光を照射する照射部と、外部の環境を撮像して画像を取得する撮像部と、外部の環境を認識する外部環境認識部と、画像の取得状態に基づいて、パターン光の照射が必要であると判断したとき照射部を点灯に制御する照射判断部と、外部の環境に基づいて、パターン光の照射が不要である又はパターン光の照射を強制停止すべきであると判断したとき照射部を非点灯に制御する消灯判断部とを備える。
【解決手段】外部の環境にパターン光を照射する照射部と、外部の環境を撮像して画像を取得する撮像部と、外部の環境を認識する外部環境認識部と、画像の取得状態に基づいて、パターン光の照射が必要であると判断したとき照射部を点灯に制御する照射判断部と、外部の環境に基づいて、パターン光の照射が不要である又はパターン光の照射を強制停止すべきであると判断したとき照射部を非点灯に制御する消灯判断部とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ロボット装置及びロボット装置の制御方法に関する。
【背景技術】
【０００２】
３次元計測装置は、ステレオカメラを使用して、対象物体の３次元形状や位置を取得する。しかし、対象物体の表面が黒色や白色などで模様がなく一様である場合、対象物体の形状や位置を実際の通りに認識できないという問題がある。例えば、壁に白地の紙が貼られている場合、壁に穴が空いているかのような認識結果が得られる場合がある。そこで、模様の入ったパターン光を対象物体に照射することで、無地の対象物体の形状や位置を正確に把握する技術がある。
【０００３】
例えば、特許文献１では、３次元形状を高速かつ高分解に取得するため、投影パターンが二つのパターンを備える技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−２７０９１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、自律的に移動するロボット装置が外部環境を認識するため、上述の３次元計測装置を使用する場合がある。その際、対象物体の正確な形状や位置を把握するため、ロボット装置はパターン光を照射しながら移動したり動作したりすることになる。しかし、家庭内などで使用され、人が近傍にいることが多いロボット装置では、常時パターン光を照射すると、明るすぎる、対象物体に投影されたパターン光のパターンが煩わしい、危険である等の問題がある。
【０００６】
また、ロボット装置は、３次元計測に特化した装置と異なり、３次元計測による対象物体の形状や位置の把握以外に、対象物体のテクスチャや色を把握する物体認識も行う。このときに、ロボット装置がパターン光を常時照射すると、対象物体のテクスチャや色を認識できないという問題がある。
【０００７】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、状況に応じて、３次元計測のためのパターン光の点灯及び非点灯を適切に切り替えることが可能な、新規かつ改良されたロボット装置及びロボット装置の制御方法を提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明のある観点によれば、外部の環境にパターン光を照射する照射部と、外部の環境を撮像して画像を取得する撮像部と、外部の環境を認識する外部環境認識部と、画像の取得状態に基づいて、パターン光の照射が必要であると判断したとき照射部を点灯に制御する照射判断部と、外部の環境に基づいて、パターン光の照射が不要である又はパターン光の照射を強制停止すべきであると判断したとき照射部を非点灯に制御する消灯判断部とを備える、ロボット装置が提供される。
【０００９】
上記外部の環境から人を検出する人検出部を更に備え、消灯判断部は、人を検出したとき、照射部からのパターン光の照射を非点灯に制御してもよい。
【００１０】
上記消灯判断部は、内部状態に基づいて、パターン光の照射が不要である又はパターン光の照射を強制停止すべきであると判断したとき照射部を非点灯に制御してもよい。
【００１１】
上記外部の環境から物体のテクスチャ又は色を認識する物体認識部を更に備え、消灯判断部は、外部の環境から物体のテクスチャ又は色を認識しているとき、照射部からのパターン光の照射を非点灯に制御してもよい。
【００１２】
上記消灯判断部は、バッテリーの電力消費、照射部の温度又は照射部の連続稼働時間に基づいて、パターン光の照射が不要である又はパターン光の照射を強制停止すべきであると判断したとき照射部を非点灯に制御してもよい。
【００１３】
上記消灯判断部は、画像の取得状態に基づいて、パターン光の照射が不要である又はパターン光の照射を強制停止すべきであると判断したとき照射部を非点灯に制御してもよい。
【００１４】
上記照射判断部は、画像の取得状態に基づいて、パターン光の照射が必要であると判断したとき照射部を点灯に制御してもよい。
【００１５】
上記画像に基づいて認識された対象物体の形状又は位置を記憶する記憶部を更に備え、照射判断部は、記憶部に記憶された対象物体の形状又は位置に基づいて、パターン光の照射が必要であると判断したとき照射部を点灯に制御してもよい。
【００１６】
また、上記課題を解決するために、本発明の別の観点によれば、照射部が外部の環境にパターン光を照射するステップと、撮像部が外部の環境を撮像して画像を取得するステップと、外部環境認識部が外部の環境を認識するステップと、照射判断部が画像の取得状態に基づいて、パターン光の照射が必要であると判断したとき照射部を点灯に制御するステップと、消灯判断部が外部の環境に基づいて、パターン光の照射が不要である又はパターン光の照射を強制停止すべきであると判断したとき照射部を非点灯に制御するステップとを備える、ロボット装置の制御方法が提供される。
【発明の効果】
【００１７】
以上説明したように本発明によれば、状況に応じて、３次元計測のためのパターン光の点灯及び非点灯を適切に切り替えることができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の一実施形態に係るロボット１００を示すブロック図である。
【図２】同実施形態に係るロボット１００の詳細な構成を示すブロック図である。
【図３】ステレオカメラ１１２の配置及びパターン照射部１１４によるパターン光投影状態を示す説明図である。
【図４】同実施形態に係るロボット１００の照射動作又は消灯動作を示すフローチャートである。
【図５】同実施形態に係るロボット１００のパターン光に関する照射判断処理を示すフローチャートである。
【図６】同実施形態に係るロボット１００のパターン光に関する消灯判断処理及び照射強度の調整を示すフローチャートである。
【発明を実施するための形態】
【００１９】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２０】
なお、説明は以下の順序で行うものとする。
１．一実施形態の構成
２．一実施形態の動作
【００２１】
＜１．一実施形態の構成＞
まず、本発明の一実施形態に係るロボット１００の構成について説明する。図１は、本実施形態に係るロボット１００を示すブロック図である。
【００２２】
ロボット１００は、外部環境を認識して環境に応じて移動やユーザーに対する動作等を自律的に行う。ロボット１００は、３次元計測部１０６を備え、対象物体の３次元形状や位置を取得し、外部環境を認識する。ロボット１００は、模様の入ったパターン光を対象物体に照射することで、無地の対象物体の形状や位置を正確に把握できる。そして、ロボット１００は、パターン光の点灯及び消灯を状況に応じて適切に切り替えることができ、家庭内等で使用され人が近傍にいる場合でも、安全性を確保できる。
【００２３】
ロボット１００は、図１に示すように、例えば、ＣＰＵ１０２と、ＲＡＭ１０４と、３次元計測部１０６と、ステレオカメラ１１２と、パターン照射部１１４と、ユーザー指示部１１６と、距離センサ部１１８と、駆動制御部１２２と、駆動部１２４などからなる。
【００２４】
ＣＰＵ１０２は、制御装置及び演算装置であり、ロボット１００の各構成要素を制御したり、プログラムを実行したりする。ＲＡＭ１０４は、記憶装置であり、プログラムや各種データを記録しており、必要に応じてプログラムや各種データが読み出される。
【００２５】
３次元計測部１０６は、ステレオカメラ１１２による外部環境の撮像によって得られた画像データに基づいて、対象物体の３次元形状や位置を計測する。３次元計測は、一般的な技術を適用でき、本明細書では詳しい説明は省略する。
【００２６】
ステレオカメラ１１２は、図３に示すような２台水平に配置されたカメラ１１２Ｌ，１１２Ｒである。図３は、ステレオカメラ１１２の配置及びパターン照射部１１４によるパターン光投影状態を示す説明図である。ステレオカメラ１１２は、ロボット１００の外部環境を撮像して画像データを取得する。取得された画像データは、３次元計測部１０６による３次元計測に使用される。
【００２７】
パターン照射部１１４は、図３に示すようにステレオカメラ１１２が撮像する被写体（対象物体）１０に向けてパターン光を照射する。パターン光を照射することによって、無地の対象物体１０にパターン２０が投影されて、無地の対象物体１０についても３次元形状や位置の認識が可能となる。
【００２８】
ユーザー指示部１１６は、ユーザーの操作を受け付けて、操作信号を生成する。そして、ユーザー指示部１１６は、生成した操作信号をＣＰＵ１０２等に送る。ユーザー指示部１１６には例えばパターン照射部１１４の点灯又は非点灯の指示が入力される。ユーザー指示部１１６からの操作信号は、例えば図２に示すように照射判断部１４２に送られる。
【００２９】
距離センサ部１１８は、ステレオカメラ１１２とは別に設けられた対象物体との距離が測定可能なセンサである。距離センサ部１１８によって得られた距離は、対象物体の有無の確認や、３次元計測の精度向上に使用される。
【００３０】
駆動部１２４は、ロボット１００の移動又は動作を可能にする。駆動部１２４は、駆動制御部１２２によって制御され、ロボット１００自身が自律的に生成した信号に基づいて駆動したり、ユーザーによる操作によって生成された信号に基づいて駆動したりする。
【００３１】
ロボット１００は、図２に示すように、例えば記憶部１１９と、画像輝度判断部１３１と、ステレオ信頼度演算部１３２と、人検出部１３３と、物体認識部１３４と、電力管理部１３５と、温度管理部１３６と、機器稼働時間管理部１３８と、照射判断部１４２と、照射強度調整部１４４と、消灯判断部１４６などを更に有する。図２は、本実施形態に係るロボット１００の詳細な構成を示すブロック図である。
【００３２】
記憶部１１９は、例えば距離センサ部１１８によって計測された距離が記録される。記憶部１１９に記録された距離は、照射判断部１４２に送られる。
【００３３】
画像輝度判断部１３１は、ステレオカメラ１１２による外部環境の撮像によって得られた画像データの輝度の高低を判断する。画像輝度判断部１３１は、判断結果を照射判断部１４２に送る。
【００３４】
ステレオ信頼度演算部１３２は、ステレオカメラ１１２による外部環境の撮像によって得られたステレオ画像の信頼度を算出する。ステレオ信頼度演算部１３２は、算出されたステレオ信頼度を照射判断部１４２及び消灯判断部１４６に送る。
【００３５】
人検出部１３３は、撮像装置による外部環境の撮像によって得られた画像から人を検出する。人検出処理は一般的な技術を適用できる。人検出部１３３は、人が検出されたか否かの検出結果を消灯判断部１４６に送る。
【００３６】
物体認識部１３４は、撮像装置による外部環境の撮像によって得られた画像から対象物体のテクスチャや色を認識する。テクスチャ認識や色認識は、一般的な技術を適用できる。物体認識部１３４は、物体認識処理中であるか否かの状態を消灯判断部１４６に送る。
【００３７】
電力管理部１３５は、ロボット１００に供給されるバッテリー電力を管理する。電力管理部１３５は、ロボット１００の駆動に必要なバッテリー電力が不足しているか否かの情報を消灯判断部１４６に送る。
【００３８】
温度管理部１３６は、パターン照射部１１４又はロボット１００内部の温度を計測、管理する。温度管理部１３６は、パターン照射部１１４又はロボット１００内部の温度に関する情報を消灯判断部１４６に送る。
【００３９】
機器稼働時間管理部１３８は、例えばパターン照射部１１４によるパターン光照射の連続稼働時間を計測、管理する。機器稼働時間管理部１３８は、パターン光照射の連続稼働時間に関する情報を消灯判断部１４６に送る。
【００４０】
３次元計測部１０６は、３次元計測が完了したか否かの情報を消灯判断部１４６に送る。
【００４１】
照射判断部１４２は、ユーザー指示部１１６、記憶部１１９、画像輝度判断部１３１、ステレオ信頼度演算部１３２からの情報に基づいて、パターン照射部１１４からの照射強度が適切であるか否かを判断する。また、照射判断部１４２は、判断結果を照射強度調整部１４４に送る。
【００４２】
照射強度調整部１４４は、照射判断部１４２の判断結果に基づいて、照射強度が不足している場合は、照射強度を増加させる命令信号を生成する。照射強度調整部１４４は、命令信号をパターン照射部１１４に送る。
【００４３】
消灯判断部１４６は、ステレオ信頼度演算部１３２、人検出部１３３、物体認識部１３４、電力管理部１３５、温度管理部１３６、機器稼働時間管理部１３８、３次元計測部１０６からの情報に基づいて、パターン照射部１１４を消灯するか否かの判断をする。
【００４４】
パターン照射部１１４は、照射強度調整部１４４の調整結果や消灯判断部１４６の判断結果に基づいて、パターン光を強度調整して点灯したり、消灯したりする。
【００４５】
＜２．一実施形態の動作＞
次に、図４を参照して、本発明の一実施形態に係るロボット１００の照射動作又は消灯動作に関する全体概要フローを説明する。図４は、本実施形態に係るロボット１００の照射動作又は消灯動作を示すフローチャートである。
【００４６】
まず、ロボット１００では、３次元計測のため、パターン光を外部環境に向けて照射するか否かの照射判断が行われる（ステップＳ１１）。照射判断については、図５を参照して後述する。
【００４７】
パターン光を照射すると判断した場合は、パターン光の照射を消灯するべきか否か、又は消灯する必要があるか否かの消灯判断が行われる（ステップＳ１２）。消灯判断については、図６を参照して後述する。消灯判断処理で消灯が不要であると判断されたとき、パターン光が照射される。一方、ステップＳ１１で、パターン光を照射しないと判断したときは、パターン光の照射が不要な場合であり、パターン光の消灯処理を実行する（ステップＳ１５）。
【００４８】
ステップＳ１２で、パターン光を消灯するべきではない又は消灯する必要がないと判断したときは、パターン光の照射が必要な場合であり、照射強度の調整が行われる（ステップＳ１３）。照射強度については、図６を参照して後述する。ステップＳ１２で、パターン光を消灯するべきである又は消灯する必要があると判断したときは、パターン光の照射をするべきではない又は照射が不要な場合であり、パターン光の消灯処理を実行する（ステップＳ１５）。
【００４９】
パターン光の照射強度の調整後、照射強度が適切であるか否かが判断される（ステップＳ１４）。照射強度が適切でないと判断したときは、例えば対象物体が認識されなかったため照射強度が最大になった場合であり、パターン光の消灯処理を実行する（ステップＳ１５）。照射強度が適切な値であるときは、対象物体を認識しているか対象物体のサーチ中であり、パターン光の照射処理を実行する（ステップＳ１６）。
【００５０】
次に、図５を参照して、本発明の一実施形態に係るロボット１００のパターン光に関する照射判断処理について説明する。図５は、本実施形態に係るロボット１００のパターン光に関する照射判断処理を示すフローチャートである。図５では、照射動作又は消灯動作の開始から、消灯判断処理又は消灯処理に至るまでの照射判断処理を示している。
【００５１】
まず、ユーザーがパターン光の照射を指示したか否かが判断される（ステップＳ２１）。ユーザーによる指示があった場合は、例えば対象物体の形状又は位置の認識が必要なためパターン光を強制的に照射しようとしている場合であり、消灯判断処理に移行する。一方、ユーザーによる指示がない場合は、パターン光の照射が不要な可能性があり、ステップＳ２２に移行する。
【００５２】
次に、取得されている画像が極端に暗いか否かが判断される（ステップＳ２２）。取得されている画像が極端に暗い場合、被写体像が適切に得られないため、対象物体の形状又は位置を認識できない。取得されている画像が極端に暗い場合、例えば対象物体の形状又は位置の認識のためパターン光を強制的に照射しようとしている場合であり、消灯判断処理に移行する。一方、取得されている画像が極端に暗くない場合は、パターン光の照射が不要な可能性があり、ステップＳ２３に移行する。
【００５３】
また、取得された画像から生成されるステレオ画像の信頼度（以下、「ステレオ信頼度」ともいう。）が所定値より低いか否かが判断される（ステップＳ２３）。ステレオ信頼度が所定値より低い場合、生成されたステレオ画像と現実の対象物体の形状又は位置の差が大きく、３次元形状がうまく計測できていない。ステレオ信頼度が所定値より低い場合、パターン光の照射が必要な場合であり、消灯判断処理に移行する。一方、ステレオ信頼度が所定値より高い場合は、パターン光の照射が不要な可能性があり、ステップＳ２４に移行する。
【００５４】
更に、距離センサ部１１８によって外部環境に物体があることが検出されているか否かが判断される（ステップＳ２４）。距離センサ部１１８によって物体が検出されている場合、３次元計測によって、対象物体の３次元形状又は位置を認識できる可能性がある。距離センサ部１１８によって物体が検出されている場合は、パターン光の照射が必要な場合であり、消灯判断処理に移行する。一方、距離センサ部１１８によって物体が検出されていない場合は、パターン光の照射が不要な可能性があり、ステップＳ２５に移行する。
【００５５】
そして、過去に３次元計測が行われて対象物体の３次元形状又は位置が記憶されているとき、記憶されたデータに基づいて、これから３次元計測しようとしている方向に物体などがあったか否かが判断される（ステップＳ２５）。以前その場所に何かがあった場合、３次元計測によって、対象物体の３次元形状又は位置を認識できる可能性がある。以前その場所に何かがあったと判断された場合は、パターン光の照射が必要な場合であり、消灯判断処理に移行する。一方、以前その場所に何もなかったと判断された場合は、ステップＳ２１〜Ｓ２４を総合的に判断して、パターン光の照射が不要である。従って、この場合、消灯処理に移行する。
【００５６】
次に、図６を参照して、本発明の一実施形態に係るロボット１００のパターン光に関する消灯判断処理及び照射強度の調整について説明する。図６は、本実施形態に係るロボット１００のパターン光に関する消灯判断処理及び照射強度の調整を示すフローチャートである。図６は、消灯判断の開始から消灯処理に至るまでの処理、又は消灯判断の開始から照射強度の調整を経て照射処理に至るまでの処理を示している。
【００５７】
まず、外部環境で人が検出されたか否かが判断される（ステップＳ３１）。外部環境で人が検出された場合は、パターン光の消灯処理を実行する（ステップＳ４１）。これにより、ロボット１００の近傍にいる人がまぶしすぎる、対象物体に投影されたパターン光のパターンが煩わしい、危険であるなどの問題を解決でき、室内環境の改善や安全性の確保を図ることができる。一方、外部環境で人が検出されなかった場合は、ステップＳ３２に移行する。
【００５８】
次に、３次元計測による対象物体の形状や位置の把握以外に、対象物体のテクスチャや色を把握する物体認識を行っているか否かが判断される（ステップＳ３２）。物体認識を行っている場合は、パターン光の消灯処理を実行する（ステップＳ４１）。これにより、対象物体に投影されたパターン光のパターンによって、対象物体のテクスチャや色を認識できないという問題を解決できる。そして、ロボット１００は、物体認識を行っていない場合にのみ、パターン光の照射をすることになるため、物体認識時には、対象物体のテクスチャや色を正確に認識できる。一方、物体認識を行っていない場合は、ステップＳ３３に移行する。
【００５９】
また、バッテリーにおいてロボット１００の駆動に必要な電力が不足しているか否かが判断される（ステップＳ３３）。バッテリーの電力が不足している場合は、パターン光の消灯処理を実行する（ステップＳ４１）。これにより、３次元計測の精度が低下するが、パターン光の照射によって電力の消費量を軽減でき、ロボット１００の駆動可能時間を延長できる。一方、電力が不足していない場合は、ステップＳ３４に移行する。
【００６０】
更に、パターン照射部１１４又はロボット１００内部の温度が所定温度より高温であるか否かが判断される（ステップＳ３４）。検出された温度が所定温度より高温である場合は、パターン光の消灯処理を実行する（ステップＳ４１）。これにより、パターン照射部１１４やロボット１００内部の温度が、所定温度より高温になることによる不具合発生を防止できる。一方、内部温度が所定温度より高温でない場合は、ステップＳ３５に移行する。
【００６１】
また更に、パターン照射部１１４によるパターン光照射の連続稼働時間が所定時間より長いか否かが判断される（ステップＳ３５）。連続稼働時間が所定時間より長い場合は、パターン光の消灯処理を実行する（ステップＳ４１）。これにより、パターン照射部１１４のＬＥＤ等のランプの寿命の長期化を図ることができる。一方、連続稼働時間が所定時間より長くない場合は、ステップＳ３６に移行する。
【００６２】
そして、３次元計測によって対象物体の３次元形状や位置が認識でき、３次元計測が完了したか否かが判断される（ステップＳ３６）。３次元計測が完了している場合は、パターン光の照射が不要であるため、パターン光の消灯処理を実行する（ステップＳ４２）。一方、３次元計測が完了していない場合は、パターン光の照射強度の調整が行われる。
【００６３】
まず、ステレオ信頼度が所定値より低いため不十分であるか否かが判断される（ステップＳ３７）。ここでの所定値は、図５で示したステップＳ２３の所定値より低い。ステレオ信頼度が不十分である場合は、パターン光の照射強度を増加させる（ステップＳ３８）。これにより、取得された画像から生成されるステレオ画像がより鮮明になるため、ステレオ画像の信頼度を向上させることができる場合がある。一方、ステレオ信頼度が不十分でない場合は、照射強度を増加させることなく現在の強度のまま照射処理を実行する（ステップＳ４２）。
【００６４】
次に、パターン光の照射強度を増加させた結果、パターン照射部１１４の照射強度が最大になっているか否かが判断される（ステップＳ３９）。パターン照射部１１４の照射強度が最大になっていく場合は、例えば照射強度を徐々に増加させても対象物体が認識できなかったときであり、パターン光の消灯処理を実行する（ステップＳ４１）。一方、パターン照射部１１４の照射強度が最大になっていない場合は、照射強度が適切に調整されているときであり、パターン光の照射処理を実行する（ステップＳ４２）。
【００６５】
以上、本実施形態のロボット１００は、家庭内で使用される場合等にユーザーフレンドリーに使用されるように、常にパターン光の照射を禁止する場合や、パターン光の照射が不要な場合に着目して、パターン光の点灯及び消灯を状況に応じて適切に切り替えることができる。
【００６６】
パターン光の点灯が必要なときは、上述したように、ユーザー又はロボット１００の判断によって３次元計測が必要とされている場合、３次元形状が適切に計測できていないためステレオ信頼度が低い場合、暗すぎて被写体像があまり見えていてない場合である。また、記憶されたデータと対応してパターン光の照射方向に以前物体があった場合や、他のセンサ（例えば距離センサ部１１８）によって物体が検出されている場合も、パターン光の点灯が必要である。これらの条件に該当するとき、パターン光を照射するとよい。
【００６７】
一方、パターン光の点灯が不要なとき、又は点灯しないほうが良いときは、上述したように、すでに３次元形状を把握できている場合、パターン光を照射したが対象物体を認識できなかった場合、周囲にいるユーザーにとってパターン光によるパターンが目障りである場合である。また、バッテリーの電力消費が不足している場合、パターン照射部１１４の温度が高温である場合、又はパターン照射部１１４の連続稼働時間が長い場合も、パターン光を点灯しないほうがよい。これらの条件に該当するとき、パターン光を消灯するとよい。
【００６８】
また、パターン光の点灯を強制停止すべきときは、上述したように、ロボット１００のパターン照射部１１４の周囲に人がいるため、安全性を確保する場合、テクスチャや色を把握する物体認識をしている場合である。これらの条件に該当するときは、パターン光を消灯する。
【００６９】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【００７０】
例えば、上記実施形態では、パターン光の波長について、限定していないが、赤外線など人の目に見えない範囲の波長を使用する場合も同様に適用できる。赤外線照射は例えば赤外線ＬＥＤを使用する。赤外線はユーザーにとって目障りではないし、赤外線のパターン光は、ＣＣＤイメージセンサーによって認識されるが、テクスチャや色を把握する物体認識において、可視光のパターン光に比べて影響が少ないというメリットがある。従って、点灯してはいけない条件を減らすことができそうであるが、赤外線はまぶしくないため虹彩が閉じないことから、赤外線の場合も上記実施形態と同様の条件設定としておくとよい。
【００７１】
また、上記実施形態では、ロボット１００がステレオ画像をステレオカメラ１１２によって取得する場合について説明したが、本発明はこの例に限定されない。例えば、ロボット１００が赤外線ＬＥＤとカメラを使用して、三角測量する方法にも適用できる。例えば、カメラで人の顔を検出しておき、赤外線ＬＥＤの光源に人が近づきすぎた場合に、赤外線ＬＥＤの照射を強制停止する。
【符号の説明】
【００７２】
１００ ロボット
１０２ ＣＰＵ
１０４ ＲＡＭ
１０６ ３次元計測部
１１２ ステレオカメラ
１１４ パターン照射部
１１６ ユーザー指示部
１１８ 距離センサ部
１１９ 記憶部
１２２ 駆動制御部
１２４ 駆動部
１３１ 画像輝度判断部
１３２ ステレオ信頼度演算部
１３３ 人検出部
１３４ 物体認識部
１３５ 電力管理部
１３６ 温度管理部
１３８ 機器稼働時間管理部
１４２ 照射判断部
１４４ 照射強度調整部
１４６ 消灯判断部
【技術分野】
【０００１】
本発明は、ロボット装置及びロボット装置の制御方法に関する。
【背景技術】
【０００２】
３次元計測装置は、ステレオカメラを使用して、対象物体の３次元形状や位置を取得する。しかし、対象物体の表面が黒色や白色などで模様がなく一様である場合、対象物体の形状や位置を実際の通りに認識できないという問題がある。例えば、壁に白地の紙が貼られている場合、壁に穴が空いているかのような認識結果が得られる場合がある。そこで、模様の入ったパターン光を対象物体に照射することで、無地の対象物体の形状や位置を正確に把握する技術がある。
【０００３】
例えば、特許文献１では、３次元形状を高速かつ高分解に取得するため、投影パターンが二つのパターンを備える技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−２７０９１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、自律的に移動するロボット装置が外部環境を認識するため、上述の３次元計測装置を使用する場合がある。その際、対象物体の正確な形状や位置を把握するため、ロボット装置はパターン光を照射しながら移動したり動作したりすることになる。しかし、家庭内などで使用され、人が近傍にいることが多いロボット装置では、常時パターン光を照射すると、明るすぎる、対象物体に投影されたパターン光のパターンが煩わしい、危険である等の問題がある。
【０００６】
また、ロボット装置は、３次元計測に特化した装置と異なり、３次元計測による対象物体の形状や位置の把握以外に、対象物体のテクスチャや色を把握する物体認識も行う。このときに、ロボット装置がパターン光を常時照射すると、対象物体のテクスチャや色を認識できないという問題がある。
【０００７】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、状況に応じて、３次元計測のためのパターン光の点灯及び非点灯を適切に切り替えることが可能な、新規かつ改良されたロボット装置及びロボット装置の制御方法を提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明のある観点によれば、外部の環境にパターン光を照射する照射部と、外部の環境を撮像して画像を取得する撮像部と、外部の環境を認識する外部環境認識部と、画像の取得状態に基づいて、パターン光の照射が必要であると判断したとき照射部を点灯に制御する照射判断部と、外部の環境に基づいて、パターン光の照射が不要である又はパターン光の照射を強制停止すべきであると判断したとき照射部を非点灯に制御する消灯判断部とを備える、ロボット装置が提供される。
【０００９】
上記外部の環境から人を検出する人検出部を更に備え、消灯判断部は、人を検出したとき、照射部からのパターン光の照射を非点灯に制御してもよい。
【００１０】
上記消灯判断部は、内部状態に基づいて、パターン光の照射が不要である又はパターン光の照射を強制停止すべきであると判断したとき照射部を非点灯に制御してもよい。
【００１１】
上記外部の環境から物体のテクスチャ又は色を認識する物体認識部を更に備え、消灯判断部は、外部の環境から物体のテクスチャ又は色を認識しているとき、照射部からのパターン光の照射を非点灯に制御してもよい。
【００１２】
上記消灯判断部は、バッテリーの電力消費、照射部の温度又は照射部の連続稼働時間に基づいて、パターン光の照射が不要である又はパターン光の照射を強制停止すべきであると判断したとき照射部を非点灯に制御してもよい。
【００１３】
上記消灯判断部は、画像の取得状態に基づいて、パターン光の照射が不要である又はパターン光の照射を強制停止すべきであると判断したとき照射部を非点灯に制御してもよい。
【００１４】
上記照射判断部は、画像の取得状態に基づいて、パターン光の照射が必要であると判断したとき照射部を点灯に制御してもよい。
【００１５】
上記画像に基づいて認識された対象物体の形状又は位置を記憶する記憶部を更に備え、照射判断部は、記憶部に記憶された対象物体の形状又は位置に基づいて、パターン光の照射が必要であると判断したとき照射部を点灯に制御してもよい。
【００１６】
また、上記課題を解決するために、本発明の別の観点によれば、照射部が外部の環境にパターン光を照射するステップと、撮像部が外部の環境を撮像して画像を取得するステップと、外部環境認識部が外部の環境を認識するステップと、照射判断部が画像の取得状態に基づいて、パターン光の照射が必要であると判断したとき照射部を点灯に制御するステップと、消灯判断部が外部の環境に基づいて、パターン光の照射が不要である又はパターン光の照射を強制停止すべきであると判断したとき照射部を非点灯に制御するステップとを備える、ロボット装置の制御方法が提供される。
【発明の効果】
【００１７】
以上説明したように本発明によれば、状況に応じて、３次元計測のためのパターン光の点灯及び非点灯を適切に切り替えることができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の一実施形態に係るロボット１００を示すブロック図である。
【図２】同実施形態に係るロボット１００の詳細な構成を示すブロック図である。
【図３】ステレオカメラ１１２の配置及びパターン照射部１１４によるパターン光投影状態を示す説明図である。
【図４】同実施形態に係るロボット１００の照射動作又は消灯動作を示すフローチャートである。
【図５】同実施形態に係るロボット１００のパターン光に関する照射判断処理を示すフローチャートである。
【図６】同実施形態に係るロボット１００のパターン光に関する消灯判断処理及び照射強度の調整を示すフローチャートである。
【発明を実施するための形態】
【００１９】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２０】
なお、説明は以下の順序で行うものとする。
１．一実施形態の構成
２．一実施形態の動作
【００２１】
＜１．一実施形態の構成＞
まず、本発明の一実施形態に係るロボット１００の構成について説明する。図１は、本実施形態に係るロボット１００を示すブロック図である。
【００２２】
ロボット１００は、外部環境を認識して環境に応じて移動やユーザーに対する動作等を自律的に行う。ロボット１００は、３次元計測部１０６を備え、対象物体の３次元形状や位置を取得し、外部環境を認識する。ロボット１００は、模様の入ったパターン光を対象物体に照射することで、無地の対象物体の形状や位置を正確に把握できる。そして、ロボット１００は、パターン光の点灯及び消灯を状況に応じて適切に切り替えることができ、家庭内等で使用され人が近傍にいる場合でも、安全性を確保できる。
【００２３】
ロボット１００は、図１に示すように、例えば、ＣＰＵ１０２と、ＲＡＭ１０４と、３次元計測部１０６と、ステレオカメラ１１２と、パターン照射部１１４と、ユーザー指示部１１６と、距離センサ部１１８と、駆動制御部１２２と、駆動部１２４などからなる。
【００２４】
ＣＰＵ１０２は、制御装置及び演算装置であり、ロボット１００の各構成要素を制御したり、プログラムを実行したりする。ＲＡＭ１０４は、記憶装置であり、プログラムや各種データを記録しており、必要に応じてプログラムや各種データが読み出される。
【００２５】
３次元計測部１０６は、ステレオカメラ１１２による外部環境の撮像によって得られた画像データに基づいて、対象物体の３次元形状や位置を計測する。３次元計測は、一般的な技術を適用でき、本明細書では詳しい説明は省略する。
【００２６】
ステレオカメラ１１２は、図３に示すような２台水平に配置されたカメラ１１２Ｌ，１１２Ｒである。図３は、ステレオカメラ１１２の配置及びパターン照射部１１４によるパターン光投影状態を示す説明図である。ステレオカメラ１１２は、ロボット１００の外部環境を撮像して画像データを取得する。取得された画像データは、３次元計測部１０６による３次元計測に使用される。
【００２７】
パターン照射部１１４は、図３に示すようにステレオカメラ１１２が撮像する被写体（対象物体）１０に向けてパターン光を照射する。パターン光を照射することによって、無地の対象物体１０にパターン２０が投影されて、無地の対象物体１０についても３次元形状や位置の認識が可能となる。
【００２８】
ユーザー指示部１１６は、ユーザーの操作を受け付けて、操作信号を生成する。そして、ユーザー指示部１１６は、生成した操作信号をＣＰＵ１０２等に送る。ユーザー指示部１１６には例えばパターン照射部１１４の点灯又は非点灯の指示が入力される。ユーザー指示部１１６からの操作信号は、例えば図２に示すように照射判断部１４２に送られる。
【００２９】
距離センサ部１１８は、ステレオカメラ１１２とは別に設けられた対象物体との距離が測定可能なセンサである。距離センサ部１１８によって得られた距離は、対象物体の有無の確認や、３次元計測の精度向上に使用される。
【００３０】
駆動部１２４は、ロボット１００の移動又は動作を可能にする。駆動部１２４は、駆動制御部１２２によって制御され、ロボット１００自身が自律的に生成した信号に基づいて駆動したり、ユーザーによる操作によって生成された信号に基づいて駆動したりする。
【００３１】
ロボット１００は、図２に示すように、例えば記憶部１１９と、画像輝度判断部１３１と、ステレオ信頼度演算部１３２と、人検出部１３３と、物体認識部１３４と、電力管理部１３５と、温度管理部１３６と、機器稼働時間管理部１３８と、照射判断部１４２と、照射強度調整部１４４と、消灯判断部１４６などを更に有する。図２は、本実施形態に係るロボット１００の詳細な構成を示すブロック図である。
【００３２】
記憶部１１９は、例えば距離センサ部１１８によって計測された距離が記録される。記憶部１１９に記録された距離は、照射判断部１４２に送られる。
【００３３】
画像輝度判断部１３１は、ステレオカメラ１１２による外部環境の撮像によって得られた画像データの輝度の高低を判断する。画像輝度判断部１３１は、判断結果を照射判断部１４２に送る。
【００３４】
ステレオ信頼度演算部１３２は、ステレオカメラ１１２による外部環境の撮像によって得られたステレオ画像の信頼度を算出する。ステレオ信頼度演算部１３２は、算出されたステレオ信頼度を照射判断部１４２及び消灯判断部１４６に送る。
【００３５】
人検出部１３３は、撮像装置による外部環境の撮像によって得られた画像から人を検出する。人検出処理は一般的な技術を適用できる。人検出部１３３は、人が検出されたか否かの検出結果を消灯判断部１４６に送る。
【００３６】
物体認識部１３４は、撮像装置による外部環境の撮像によって得られた画像から対象物体のテクスチャや色を認識する。テクスチャ認識や色認識は、一般的な技術を適用できる。物体認識部１３４は、物体認識処理中であるか否かの状態を消灯判断部１４６に送る。
【００３７】
電力管理部１３５は、ロボット１００に供給されるバッテリー電力を管理する。電力管理部１３５は、ロボット１００の駆動に必要なバッテリー電力が不足しているか否かの情報を消灯判断部１４６に送る。
【００３８】
温度管理部１３６は、パターン照射部１１４又はロボット１００内部の温度を計測、管理する。温度管理部１３６は、パターン照射部１１４又はロボット１００内部の温度に関する情報を消灯判断部１４６に送る。
【００３９】
機器稼働時間管理部１３８は、例えばパターン照射部１１４によるパターン光照射の連続稼働時間を計測、管理する。機器稼働時間管理部１３８は、パターン光照射の連続稼働時間に関する情報を消灯判断部１４６に送る。
【００４０】
３次元計測部１０６は、３次元計測が完了したか否かの情報を消灯判断部１４６に送る。
【００４１】
照射判断部１４２は、ユーザー指示部１１６、記憶部１１９、画像輝度判断部１３１、ステレオ信頼度演算部１３２からの情報に基づいて、パターン照射部１１４からの照射強度が適切であるか否かを判断する。また、照射判断部１４２は、判断結果を照射強度調整部１４４に送る。
【００４２】
照射強度調整部１４４は、照射判断部１４２の判断結果に基づいて、照射強度が不足している場合は、照射強度を増加させる命令信号を生成する。照射強度調整部１４４は、命令信号をパターン照射部１１４に送る。
【００４３】
消灯判断部１４６は、ステレオ信頼度演算部１３２、人検出部１３３、物体認識部１３４、電力管理部１３５、温度管理部１３６、機器稼働時間管理部１３８、３次元計測部１０６からの情報に基づいて、パターン照射部１１４を消灯するか否かの判断をする。
【００４４】
パターン照射部１１４は、照射強度調整部１４４の調整結果や消灯判断部１４６の判断結果に基づいて、パターン光を強度調整して点灯したり、消灯したりする。
【００４５】
＜２．一実施形態の動作＞
次に、図４を参照して、本発明の一実施形態に係るロボット１００の照射動作又は消灯動作に関する全体概要フローを説明する。図４は、本実施形態に係るロボット１００の照射動作又は消灯動作を示すフローチャートである。
【００４６】
まず、ロボット１００では、３次元計測のため、パターン光を外部環境に向けて照射するか否かの照射判断が行われる（ステップＳ１１）。照射判断については、図５を参照して後述する。
【００４７】
パターン光を照射すると判断した場合は、パターン光の照射を消灯するべきか否か、又は消灯する必要があるか否かの消灯判断が行われる（ステップＳ１２）。消灯判断については、図６を参照して後述する。消灯判断処理で消灯が不要であると判断されたとき、パターン光が照射される。一方、ステップＳ１１で、パターン光を照射しないと判断したときは、パターン光の照射が不要な場合であり、パターン光の消灯処理を実行する（ステップＳ１５）。
【００４８】
ステップＳ１２で、パターン光を消灯するべきではない又は消灯する必要がないと判断したときは、パターン光の照射が必要な場合であり、照射強度の調整が行われる（ステップＳ１３）。照射強度については、図６を参照して後述する。ステップＳ１２で、パターン光を消灯するべきである又は消灯する必要があると判断したときは、パターン光の照射をするべきではない又は照射が不要な場合であり、パターン光の消灯処理を実行する（ステップＳ１５）。
【００４９】
パターン光の照射強度の調整後、照射強度が適切であるか否かが判断される（ステップＳ１４）。照射強度が適切でないと判断したときは、例えば対象物体が認識されなかったため照射強度が最大になった場合であり、パターン光の消灯処理を実行する（ステップＳ１５）。照射強度が適切な値であるときは、対象物体を認識しているか対象物体のサーチ中であり、パターン光の照射処理を実行する（ステップＳ１６）。
【００５０】
次に、図５を参照して、本発明の一実施形態に係るロボット１００のパターン光に関する照射判断処理について説明する。図５は、本実施形態に係るロボット１００のパターン光に関する照射判断処理を示すフローチャートである。図５では、照射動作又は消灯動作の開始から、消灯判断処理又は消灯処理に至るまでの照射判断処理を示している。
【００５１】
まず、ユーザーがパターン光の照射を指示したか否かが判断される（ステップＳ２１）。ユーザーによる指示があった場合は、例えば対象物体の形状又は位置の認識が必要なためパターン光を強制的に照射しようとしている場合であり、消灯判断処理に移行する。一方、ユーザーによる指示がない場合は、パターン光の照射が不要な可能性があり、ステップＳ２２に移行する。
【００５２】
次に、取得されている画像が極端に暗いか否かが判断される（ステップＳ２２）。取得されている画像が極端に暗い場合、被写体像が適切に得られないため、対象物体の形状又は位置を認識できない。取得されている画像が極端に暗い場合、例えば対象物体の形状又は位置の認識のためパターン光を強制的に照射しようとしている場合であり、消灯判断処理に移行する。一方、取得されている画像が極端に暗くない場合は、パターン光の照射が不要な可能性があり、ステップＳ２３に移行する。
【００５３】
また、取得された画像から生成されるステレオ画像の信頼度（以下、「ステレオ信頼度」ともいう。）が所定値より低いか否かが判断される（ステップＳ２３）。ステレオ信頼度が所定値より低い場合、生成されたステレオ画像と現実の対象物体の形状又は位置の差が大きく、３次元形状がうまく計測できていない。ステレオ信頼度が所定値より低い場合、パターン光の照射が必要な場合であり、消灯判断処理に移行する。一方、ステレオ信頼度が所定値より高い場合は、パターン光の照射が不要な可能性があり、ステップＳ２４に移行する。
【００５４】
更に、距離センサ部１１８によって外部環境に物体があることが検出されているか否かが判断される（ステップＳ２４）。距離センサ部１１８によって物体が検出されている場合、３次元計測によって、対象物体の３次元形状又は位置を認識できる可能性がある。距離センサ部１１８によって物体が検出されている場合は、パターン光の照射が必要な場合であり、消灯判断処理に移行する。一方、距離センサ部１１８によって物体が検出されていない場合は、パターン光の照射が不要な可能性があり、ステップＳ２５に移行する。
【００５５】
そして、過去に３次元計測が行われて対象物体の３次元形状又は位置が記憶されているとき、記憶されたデータに基づいて、これから３次元計測しようとしている方向に物体などがあったか否かが判断される（ステップＳ２５）。以前その場所に何かがあった場合、３次元計測によって、対象物体の３次元形状又は位置を認識できる可能性がある。以前その場所に何かがあったと判断された場合は、パターン光の照射が必要な場合であり、消灯判断処理に移行する。一方、以前その場所に何もなかったと判断された場合は、ステップＳ２１〜Ｓ２４を総合的に判断して、パターン光の照射が不要である。従って、この場合、消灯処理に移行する。
【００５６】
次に、図６を参照して、本発明の一実施形態に係るロボット１００のパターン光に関する消灯判断処理及び照射強度の調整について説明する。図６は、本実施形態に係るロボット１００のパターン光に関する消灯判断処理及び照射強度の調整を示すフローチャートである。図６は、消灯判断の開始から消灯処理に至るまでの処理、又は消灯判断の開始から照射強度の調整を経て照射処理に至るまでの処理を示している。
【００５７】
まず、外部環境で人が検出されたか否かが判断される（ステップＳ３１）。外部環境で人が検出された場合は、パターン光の消灯処理を実行する（ステップＳ４１）。これにより、ロボット１００の近傍にいる人がまぶしすぎる、対象物体に投影されたパターン光のパターンが煩わしい、危険であるなどの問題を解決でき、室内環境の改善や安全性の確保を図ることができる。一方、外部環境で人が検出されなかった場合は、ステップＳ３２に移行する。
【００５８】
次に、３次元計測による対象物体の形状や位置の把握以外に、対象物体のテクスチャや色を把握する物体認識を行っているか否かが判断される（ステップＳ３２）。物体認識を行っている場合は、パターン光の消灯処理を実行する（ステップＳ４１）。これにより、対象物体に投影されたパターン光のパターンによって、対象物体のテクスチャや色を認識できないという問題を解決できる。そして、ロボット１００は、物体認識を行っていない場合にのみ、パターン光の照射をすることになるため、物体認識時には、対象物体のテクスチャや色を正確に認識できる。一方、物体認識を行っていない場合は、ステップＳ３３に移行する。
【００５９】
また、バッテリーにおいてロボット１００の駆動に必要な電力が不足しているか否かが判断される（ステップＳ３３）。バッテリーの電力が不足している場合は、パターン光の消灯処理を実行する（ステップＳ４１）。これにより、３次元計測の精度が低下するが、パターン光の照射によって電力の消費量を軽減でき、ロボット１００の駆動可能時間を延長できる。一方、電力が不足していない場合は、ステップＳ３４に移行する。
【００６０】
更に、パターン照射部１１４又はロボット１００内部の温度が所定温度より高温であるか否かが判断される（ステップＳ３４）。検出された温度が所定温度より高温である場合は、パターン光の消灯処理を実行する（ステップＳ４１）。これにより、パターン照射部１１４やロボット１００内部の温度が、所定温度より高温になることによる不具合発生を防止できる。一方、内部温度が所定温度より高温でない場合は、ステップＳ３５に移行する。
【００６１】
また更に、パターン照射部１１４によるパターン光照射の連続稼働時間が所定時間より長いか否かが判断される（ステップＳ３５）。連続稼働時間が所定時間より長い場合は、パターン光の消灯処理を実行する（ステップＳ４１）。これにより、パターン照射部１１４のＬＥＤ等のランプの寿命の長期化を図ることができる。一方、連続稼働時間が所定時間より長くない場合は、ステップＳ３６に移行する。
【００６２】
そして、３次元計測によって対象物体の３次元形状や位置が認識でき、３次元計測が完了したか否かが判断される（ステップＳ３６）。３次元計測が完了している場合は、パターン光の照射が不要であるため、パターン光の消灯処理を実行する（ステップＳ４２）。一方、３次元計測が完了していない場合は、パターン光の照射強度の調整が行われる。
【００６３】
まず、ステレオ信頼度が所定値より低いため不十分であるか否かが判断される（ステップＳ３７）。ここでの所定値は、図５で示したステップＳ２３の所定値より低い。ステレオ信頼度が不十分である場合は、パターン光の照射強度を増加させる（ステップＳ３８）。これにより、取得された画像から生成されるステレオ画像がより鮮明になるため、ステレオ画像の信頼度を向上させることができる場合がある。一方、ステレオ信頼度が不十分でない場合は、照射強度を増加させることなく現在の強度のまま照射処理を実行する（ステップＳ４２）。
【００６４】
次に、パターン光の照射強度を増加させた結果、パターン照射部１１４の照射強度が最大になっているか否かが判断される（ステップＳ３９）。パターン照射部１１４の照射強度が最大になっていく場合は、例えば照射強度を徐々に増加させても対象物体が認識できなかったときであり、パターン光の消灯処理を実行する（ステップＳ４１）。一方、パターン照射部１１４の照射強度が最大になっていない場合は、照射強度が適切に調整されているときであり、パターン光の照射処理を実行する（ステップＳ４２）。
【００６５】
以上、本実施形態のロボット１００は、家庭内で使用される場合等にユーザーフレンドリーに使用されるように、常にパターン光の照射を禁止する場合や、パターン光の照射が不要な場合に着目して、パターン光の点灯及び消灯を状況に応じて適切に切り替えることができる。
【００６６】
パターン光の点灯が必要なときは、上述したように、ユーザー又はロボット１００の判断によって３次元計測が必要とされている場合、３次元形状が適切に計測できていないためステレオ信頼度が低い場合、暗すぎて被写体像があまり見えていてない場合である。また、記憶されたデータと対応してパターン光の照射方向に以前物体があった場合や、他のセンサ（例えば距離センサ部１１８）によって物体が検出されている場合も、パターン光の点灯が必要である。これらの条件に該当するとき、パターン光を照射するとよい。
【００６７】
一方、パターン光の点灯が不要なとき、又は点灯しないほうが良いときは、上述したように、すでに３次元形状を把握できている場合、パターン光を照射したが対象物体を認識できなかった場合、周囲にいるユーザーにとってパターン光によるパターンが目障りである場合である。また、バッテリーの電力消費が不足している場合、パターン照射部１１４の温度が高温である場合、又はパターン照射部１１４の連続稼働時間が長い場合も、パターン光を点灯しないほうがよい。これらの条件に該当するとき、パターン光を消灯するとよい。
【００６８】
また、パターン光の点灯を強制停止すべきときは、上述したように、ロボット１００のパターン照射部１１４の周囲に人がいるため、安全性を確保する場合、テクスチャや色を把握する物体認識をしている場合である。これらの条件に該当するときは、パターン光を消灯する。
【００６９】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【００７０】
例えば、上記実施形態では、パターン光の波長について、限定していないが、赤外線など人の目に見えない範囲の波長を使用する場合も同様に適用できる。赤外線照射は例えば赤外線ＬＥＤを使用する。赤外線はユーザーにとって目障りではないし、赤外線のパターン光は、ＣＣＤイメージセンサーによって認識されるが、テクスチャや色を把握する物体認識において、可視光のパターン光に比べて影響が少ないというメリットがある。従って、点灯してはいけない条件を減らすことができそうであるが、赤外線はまぶしくないため虹彩が閉じないことから、赤外線の場合も上記実施形態と同様の条件設定としておくとよい。
【００７１】
また、上記実施形態では、ロボット１００がステレオ画像をステレオカメラ１１２によって取得する場合について説明したが、本発明はこの例に限定されない。例えば、ロボット１００が赤外線ＬＥＤとカメラを使用して、三角測量する方法にも適用できる。例えば、カメラで人の顔を検出しておき、赤外線ＬＥＤの光源に人が近づきすぎた場合に、赤外線ＬＥＤの照射を強制停止する。
【符号の説明】
【００７２】
１００ ロボット
１０２ ＣＰＵ
１０４ ＲＡＭ
１０６ ３次元計測部
１１２ ステレオカメラ
１１４ パターン照射部
１１６ ユーザー指示部
１１８ 距離センサ部
１１９ 記憶部
１２２ 駆動制御部
１２４ 駆動部
１３１ 画像輝度判断部
１３２ ステレオ信頼度演算部
１３３ 人検出部
１３４ 物体認識部
１３５ 電力管理部
１３６ 温度管理部
１３８ 機器稼働時間管理部
１４２ 照射判断部
１４４ 照射強度調整部
１４６ 消灯判断部
【特許請求の範囲】
【請求項１】
外部の環境にパターン光を照射する照射部と、
前記外部の環境を撮像して画像を取得する撮像部と、
前記外部の環境を認識する外部環境認識部と、
前記画像の取得状態に基づいて、前記パターン光の照射が必要であると判断したとき前記照射部を点灯に制御する照射判断部と、
前記外部の環境に基づいて、前記パターン光の照射が不要である又は前記パターン光の照射を強制停止すべきであると判断したとき前記照射部を非点灯に制御する消灯判断部と
を備える、ロボット装置。
【請求項２】
前記外部の環境から人を検出する人検出部を更に備え、
前記消灯判断部は、前記人を検出したとき、前記照射部からの前記パターン光の照射を非点灯に制御する、請求項１に記載のロボット装置。
【請求項３】
前記消灯判断部は、内部状態に基づいて、前記パターン光の照射が不要である又は前記パターン光の照射を強制停止すべきであると判断したとき前記照射部を非点灯に制御する、請求項１又は２に記載のロボット装置。
【請求項４】
前記外部の環境から物体のテクスチャ又は色を認識する物体認識部を更に備え、
前記消灯判断部は、前記外部の環境から物体のテクスチャ又は色を認識しているとき、前記照射部からの前記パターン光の照射を非点灯に制御する、請求項３に記載のロボット装置。
【請求項５】
前記消灯判断部は、バッテリーの電力消費、前記照射部の温度又は前記照射部の連続稼働時間に基づいて、前記パターン光の照射が不要である又は前記パターン光の照射を強制停止すべきであると判断したとき前記照射部を非点灯に制御する、請求項３又は４に記載のロボット装置。
【請求項６】
前記消灯判断部は、前記画像の取得状態に基づいて、前記パターン光の照射が不要である又は前記パターン光の照射を強制停止すべきであると判断したとき前記照射部を非点灯に制御する、請求項１〜５のいずれか１項に記載のロボット装置。
【請求項７】
前記照射判断部は、前記画像の取得状態に基づいて、前記パターン光の照射が必要であると判断したとき前記照射部を点灯に制御する、請求項１〜６のいずれか１項に記載のロボット装置。
【請求項８】
前記画像に基づいて認識された対象物体の形状又は位置を記憶する記憶部を更に備え、
前記照射判断部は、前記記憶部に記憶された前記対象物体の形状又は位置に基づいて、前記パターン光の照射が必要であると判断したとき前記照射部を点灯に制御する、請求項１〜７のいずれか１項に記載のロボット装置。
【請求項９】
照射部が外部の環境にパターン光を照射するステップと、
撮像部が前記外部の環境を撮像して画像を取得するステップと、
外部環境認識部が前記外部の環境を認識するステップと、
照射判断部が前記画像の取得状態に基づいて、前記パターン光の照射が必要であると判断したとき前記照射部を点灯に制御するステップと、
消灯判断部が前記外部の環境に基づいて、前記パターン光の照射が不要である又は前記パターン光の照射を強制停止すべきであると判断したとき前記照射部を非点灯に制御するステップと
を備える、ロボット装置の制御方法。
【請求項１】
外部の環境にパターン光を照射する照射部と、
前記外部の環境を撮像して画像を取得する撮像部と、
前記外部の環境を認識する外部環境認識部と、
前記画像の取得状態に基づいて、前記パターン光の照射が必要であると判断したとき前記照射部を点灯に制御する照射判断部と、
前記外部の環境に基づいて、前記パターン光の照射が不要である又は前記パターン光の照射を強制停止すべきであると判断したとき前記照射部を非点灯に制御する消灯判断部と
を備える、ロボット装置。
【請求項２】
前記外部の環境から人を検出する人検出部を更に備え、
前記消灯判断部は、前記人を検出したとき、前記照射部からの前記パターン光の照射を非点灯に制御する、請求項１に記載のロボット装置。
【請求項３】
前記消灯判断部は、内部状態に基づいて、前記パターン光の照射が不要である又は前記パターン光の照射を強制停止すべきであると判断したとき前記照射部を非点灯に制御する、請求項１又は２に記載のロボット装置。
【請求項４】
前記外部の環境から物体のテクスチャ又は色を認識する物体認識部を更に備え、
前記消灯判断部は、前記外部の環境から物体のテクスチャ又は色を認識しているとき、前記照射部からの前記パターン光の照射を非点灯に制御する、請求項３に記載のロボット装置。
【請求項５】
前記消灯判断部は、バッテリーの電力消費、前記照射部の温度又は前記照射部の連続稼働時間に基づいて、前記パターン光の照射が不要である又は前記パターン光の照射を強制停止すべきであると判断したとき前記照射部を非点灯に制御する、請求項３又は４に記載のロボット装置。
【請求項６】
前記消灯判断部は、前記画像の取得状態に基づいて、前記パターン光の照射が不要である又は前記パターン光の照射を強制停止すべきであると判断したとき前記照射部を非点灯に制御する、請求項１〜５のいずれか１項に記載のロボット装置。
【請求項７】
前記照射判断部は、前記画像の取得状態に基づいて、前記パターン光の照射が必要であると判断したとき前記照射部を点灯に制御する、請求項１〜６のいずれか１項に記載のロボット装置。
【請求項８】
前記画像に基づいて認識された対象物体の形状又は位置を記憶する記憶部を更に備え、
前記照射判断部は、前記記憶部に記憶された前記対象物体の形状又は位置に基づいて、前記パターン光の照射が必要であると判断したとき前記照射部を点灯に制御する、請求項１〜７のいずれか１項に記載のロボット装置。
【請求項９】
照射部が外部の環境にパターン光を照射するステップと、
撮像部が前記外部の環境を撮像して画像を取得するステップと、
外部環境認識部が前記外部の環境を認識するステップと、
照射判断部が前記画像の取得状態に基づいて、前記パターン光の照射が必要であると判断したとき前記照射部を点灯に制御するステップと、
消灯判断部が前記外部の環境に基づいて、前記パターン光の照射が不要である又は前記パターン光の照射を強制停止すべきであると判断したとき前記照射部を非点灯に制御するステップと
を備える、ロボット装置の制御方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１１−２０９０１９（Ｐ２０１１−２０９０１９Ａ）
【公開日】平成２３年１０月２０日（２０１１．１０．２０）
【国際特許分類】
【出願番号】特願２０１０−７５３３４（Ｐ２０１０−７５３３４）
【出願日】平成２２年３月２９日（２０１０．３．２９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２３年１０月２０日（２０１１．１０．２０）
【国際特許分類】
【出願日】平成２２年３月２９日（２０１０．３．２９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]