画像認識装置、装着型ロボット、及び画像認識プログラム
【課題】画像認識用のカメラの高さを自動的に検出する。
【解決手段】カメラ位置２２には、前方斜め下に向けた画像認識装置用の撮像カメラ５が設置されており、その上方の光源位置２１には、撮像カメラ５の画面フレーム３１の内部に投影像２６を投影する光源装置４が設置されている。装着型ロボットに搭載された画像認識装置は、画面フレーム３１の下端と投影像２６の下端との距離である投影像オフセットｘ２を画像データで計測し、投影像オフセットｘ２とカメラ高さｙ２を対応させた対応データマップや、あるいは計算によりカメラ高さｙ２を取得する。このようにして得られたカメラ高さｙ２は、パラメータとして記憶装置に記憶され、画像認識装置で段差などの認識するのに使用される。
【解決手段】カメラ位置２２には、前方斜め下に向けた画像認識装置用の撮像カメラ５が設置されており、その上方の光源位置２１には、撮像カメラ５の画面フレーム３１の内部に投影像２６を投影する光源装置４が設置されている。装着型ロボットに搭載された画像認識装置は、画面フレーム３１の下端と投影像２６の下端との距離である投影像オフセットｘ２を画像データで計測し、投影像オフセットｘ２とカメラ高さｙ２を対応させた対応データマップや、あるいは計算によりカメラ高さｙ２を取得する。このようにして得られたカメラ高さｙ２は、パラメータとして記憶装置に記憶され、画像認識装置で段差などの認識するのに使用される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像認識装置、装着型ロボット、及び画像認識プログラムに関し、例えば、カメラの基準高さを設定するものに関する。
【背景技術】
【０００２】
近年、カメラで被写体を撮影して画像解析し、その結果を用いて機械制御を行うことが行われている。
そのような技術の一例として、特許文献１の「ロボット」がある。
この技術は、ロボットの周囲に円環状のパターン光を投光して撮像し、当該撮像した画像に基づいて障害物（段差など）を検出するものである。
ところで、画像解析で周囲の障害物の高さを検出する場合、パラメータとしてカメラの高さが必要である。
そのため、従来は、カメラの高さを予め測定して記憶媒体に記憶するなどしていた。
【０００３】
しかし、カメラを固定した状態で使用する用途の場合は、カメラの高さを予め計測して記憶させればよいが、例えば、カメラの位置が変更される場合や、新規にカメラを取り付ける場合には、その都度カメラの位置を手動で計測してパラメータとして入力する必要があり、運用が効率的でないという問題があった。
例えば、装着型ロボットにカメラを設置して段差を検出させる場合、装着者によって身長差があり、装着者が変更となるたびにカメラの高さを手動で計測して入力するのは効率的でなかった。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−３２４２９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、画像認識用のカメラの高さを自動的に検出することを目的とする。
【課題を解決するための手段】
【０００６】
（１）請求項１記載の発明では、所定パターンの光を光源から所定の照射方向に照射して、当該光による像を基準面に投影する投影手段と、所定の撮像方向に向けたカメラによって、前記投影された像を撮像する撮像手段と、前記光源と前記カメラの配置関係、及び前記カメラで撮像された撮像領域における前記像の位置を用いて、前記基準面に対する前記カメラの高さを取得するカメラ高さ取得手段と、を具備したことを特徴とする画像認識装置を提供する。
（２）請求項２記載の発明では、前記カメラ高さ取得手段は、前記撮像領域の端部から前記像までの距離を用いて前記カメラの高さを取得することを特徴とする請求項１に記載の画像認識装置を提供する。
（３）請求項３記載の発明では、前記端部が前記撮像領域にない場合、前記端部が前記撮像領域に位置するように前記照射方向、又は前記撮像方向のうちの少なくとも一方を変更する方向変更手段を具備したことを特徴とする請求項１、又は請求項２に記載の画像認識装置を提供する。
（４）請求項４記載の発明では、請求項１、請求項２、又は請求項３に記載の画像認識装置と、前記画像認識装置による認識結果を用いて歩行制御を行う歩行制御手段と、を具備したことを特徴とする装着型ロボットを提供する。
（５）請求項５記載の発明では、所定パターンの光を光源から所定の照射方向に照射して、当該光による像を基準面に投影する投影機能と、所定の撮像方向に向けたカメラによって、前記投影された像を撮像する撮像機能と、前記光源と前記カメラの配置関係、及び前記カメラで撮像された撮像領域における前記像の位置を用いて、前記基準面に対する前記カメラの高さを取得するカメラ高さ取得機能と、をコンピュータで実現する画像認識プログラムを提供する。
【発明の効果】
【０００７】
本発明によれば、撮像領域における所定パターンの光の像の位置を用いることにより、画像認識用のカメラの高さを自動的に検出することができる。
【図面の簡単な説明】
【０００８】
【図１】装着型ロボットを説明するための図である。
【図２】撮像カメラの高さを検出する方法を説明するための図である。
【図３】カメラ高さｙ２を求める手順を説明するためのフローチャートである。
【図４】変形例１で撮像カメラの高さを検出する方法を説明するための図である。
【図５】変形例１でカメラ高さｙ２を求める手順を説明するためのフローチャートである。
【図６】変形例２、３を説明するための図である。
【発明を実施するための形態】
【０００９】
（１）実施形態の概要
図２（ａ）に示したように、カメラ位置２２には、前方斜め下に向けた画像認識装置用の撮像カメラ５が設置されており、その上方の光源位置２１には、撮像カメラ５の画面フレーム３１の内部に投影像２６を投影する光源装置４が設置されている。
装着型ロボット１（図１（ａ））に搭載された画像認識装置は、画面フレーム３１の下端と投影像２６の下端との距離である投影像オフセットｘ２を画像データで計測し、投影像オフセットｘ２とカメラ高さｙ２を対応させた対応データマップや、あるいは計算により、カメラ高さｙ２を取得する。
このようにして得られたカメラ高さｙ２は、パラメータとして記憶装置に記憶され、画像認識装置で段差などを認識するのに使用される。
【００１０】
（２）実施形態の詳細
本実施の形態では、一例として、画像認識装置を装着型ロボットに設置する場合について説明する。
図１（ａ）は、装着型ロボット１の装着状態を示した図である。
装着型ロボット１は、ユーザの腰部及び下肢に装着し、ユーザの歩行を支援（アシスト）するものである。なお、例えば、上半身、下半身に装着して全身の動作をアシストするものであってもよい。
【００１１】
装着型ロボット１は、腰部装着部７、歩行アシスト部２、連結部８、３軸センサ３、３軸アクチュエータ６、撮像カメラ５、光源装置４、及び撮像カメラ５と光源装置４を保持する撮像ユニット９などから構成されている。
腰部装着部７は、装着型ロボット１をユーザの腰部に固定する固定装置である。腰部装着部７は、ユーザの腰部と一体となって移動する。
また、腰部装着部７は、図示しない歩行アクチュエータを備えており、ユーザの歩行動作に従って連結部８を前後方向などに駆動する。
【００１２】
連結部８は、腰部装着部７と歩行アシスト部２を連結している。
歩行アシスト部２は、ユーザの下肢に装着され、歩行アクチュエータにより前後に駆動されてユーザの歩行運動を支援する。
なお、腰部装着部７、連結部８、歩行アシスト部２による歩行支援は、一例であって、更に多関節の駆動機構によって歩行支援するなど、各種の形態が可能である。
【００１３】
３軸センサ３は、腰部装着部７に設置され、腰部装着部７の姿勢などを検知する。３軸センサ３は、例えば、３次元ジャイロによる３軸角速度検出機能や３軸角加速度検出機能などを備えており、ｘ軸方向（前進方向）、ｙ方向（鉛直方向）ｚ方向（体側方向）、の周りの回転角度、角速度、角加速度などを検知することができる。
なお、ｘ軸の周りの角度をロール角、ｙ軸の周りの角度をヨー角、ｚ軸の周りの角度をピッチ角とする。
【００１４】
３軸アクチュエータ６は、例えば、球体モータで構成されており、撮像カメラ５と光源装置４が設置された撮像ユニット９のロール角、ヨー角、ピッチ角を変化させる。
撮像ユニット９には、光源装置４と撮像カメラ５が固定されており、３軸アクチュエータ６を駆動すると、光源装置４の照射方向（光源装置４の光軸の方向）と撮像カメラ５の撮像方向（撮像カメラ５の光軸の方向）は、相対角度を保ったまま、ロール角、ヨー角、ピッチ角を変化させる。
【００１５】
後述するように、撮像カメラ５の高さを検出する場合、撮像ユニット９を所定の角度で歩行基準面（地面や床面など、ユーザが歩行する面）に向ける必要があるが、ユーザが装着型ロボット１を装着した場合に、装着状態によって撮像ユニット９が傾くため、３軸アクチュエータ６によってこれを補正する。
【００１６】
光源装置４は、例えば、レーザ、赤外光、可視光などの光を所定の形状パターンで照射する。本実施の形態では、光源装置４は、照射方向に垂直な面に対して円形となる形状パターンで光を照射するものとするが、矩形形状、十字、点、十字など各種の形状が可能である。
【００１７】
撮像カメラ５は、被写体を結像するための光学系と、結像した被写体を電気信号に変換するＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）を備えた、赤外光カメラ、可視光カメラなどで構成され、光源装置４が歩行基準面に照射した投影像を撮像（撮影）する。
光源装置４が所定の形状パターンで照射した光による投影像は、照射方向と歩行基準面の成す角度や、歩行基準面に存在する障害物（段差など）により円形から変形した形状となるが、この形状を解析することにより歩行基準面の状態や障害物を検知することができる。
【００１８】
撮像ユニット９は、光源装置４と撮像カメラ５が固定されており、３軸アクチュエータ６によって腰部装着部７に対するロール角、ヨー角、ピッチ角が変化する。
即ち、撮像ユニット９を３軸アクチュエータ６で駆動することにより、光源装置４と撮像カメラ５の相対的な位置を固定したまま、光源装置４と３軸アクチュエータ６の腰部装着部７に対するロール角、ヨー角、ピッチ角を変化させることができる。
【００１９】
図１（ｂ）は、装着型ロボット１に設置された装着ロボットシステム１５を説明するための図である。
装着ロボットシステム１５は、歩行支援機能を発揮するように装着型ロボット１を制御する電子制御システムである。
なお、この図では、撮像カメラ５の高さを検知するのに用いる部分を示しており、歩行支援を行うのに用いる部分は省略してある。
【００２０】
ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）１６は、図示しないＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、記憶装置、各種インターフェースなどを備えた電子制御ユニットであり、装着型ロボット１の各部を電子制御する。
【００２１】
ＣＰＵは、記憶媒体に記憶された各種コンピュータプログラムを実行し、撮像カメラ５の高さを計算するほか、階段やエスカレータの段差を認識したり、歩行アクチュエータを駆動して歩行支援を行ったりする。
ＣＰＵは、光源装置４、撮像カメラ５、３軸アクチュエータ６、３軸センサ３とインターフェースを介して接続しており、光源装置４からの照射をオンオフしたり、撮像カメラ５から撮像データを取得したり、３軸アクチュエータ６を駆動したり、３軸センサ３から検出値を取得したりする。
【００２２】
ＲＯＭは、読み取り専用のメモリであって、ＣＰＵが使用する基本的なプログラムやパラメータなどを記憶している。
ＲＡＭは、読み書きが可能なメモリであって、ＣＰＵが演算処理などを行う際のワーキングメモリを提供する。本実施の形態では、撮像カメラ５の撮像データや３軸センサ３の検出値を記憶したり、撮像カメラ５の高さを計算するためのワーキングメモリを提供する。
【００２３】
記憶装置は、例えば、ハードディスクやＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）などで構成された大容量の記憶媒体を備えており、撮像カメラ５の高さを検出するためのプログラムや、光源装置４の投影像を解析して階段やエスカレータなどの段差を認識するためのプログラム、歩行支援を行うためのプログラムなどの各種プログラムや、段差認識の画像認識などに使用する撮像カメラ５の高さなどのパラメータなどを記憶している。
【００２４】
図２（ａ）は、撮像カメラ５の高さを検出する方法を説明するための図である。
この図では、ユーザが直立した状態で、ユーザの足下の位置を原点とし、歩行基準面をｘ軸（ユーザの前進方向を正とする）、ユーザの頭上方向をｙ軸としている。
光源装置４の基準となる位置を光源位置２１とし、撮像カメラ５の基準となる位置をカメラ位置２２とし、カメラ位置２２の歩行基準面からの高さをｙ２とする。
光源位置２１は、カメラ位置２２の鉛直上方にあり、光源位置２１から歩行基準面に照射された投影像２６（投影物）の全体が撮像カメラ５の画面フレーム３１内に存在するようになっている。
なお、光源装置４の光軸２８と撮像カメラ５の光軸２９は何れもｘｙ平面内にあるものとする。
【００２５】
カメラ位置２２から、照射光の下端までの距離を照射オフセットｘ１とし、カメラの画面フレーム３１の下端から投影像２６の下端までの距離を投影像オフセットｘ２とする。なお、ユーザに近い側を下端、ユーザから遠い側を上端とし、以下同様とする。
また、照射光の下端の延長線と、画面フレーム３１の下端の延長線の交点２５からカメラ位置２２までの距離を交点位置ｙ１とする。
換言すると、交点２５は、歩行基準面が存在しない場合に、照射光の下端と画面フレーム３１の下端が一致する点である。
【００２６】
図２（ｂ）は、撮像カメラ５で撮像された投影像２６の一例を示した図である。
光源装置４は、円形断面の光を照射するが、歩行基準面に対して斜め前に照射されるため、投影像２６は、ユーザの前進方向を長軸とする楕円形となる。
撮像カメラ５の画面フレーム３１は、ユーザの前進方向を短辺、ユーザの体側方向を長辺とする矩形形状を有しており、下端から投影像２６までの距離が投影像オフセットｘ２となる。
【００２７】
以上のように光源装置４、撮像カメラ５、及び歩行基準面を配置すると、次の式（１）に係る比例式が成り立つ。
【００２８】
ｙ１：（ｙ１−ｙ２）＝ｘ１：ｘ２ …（１）
【００２９】
これから式（２）が成り立つ。
【００３０】
ｙ２＝ｙ１（ｘ１−ｘ２）／ｘ１ …（２）
【００３１】
ここで、照射オフセットｘ１は、固定値で予め分かっており、ｘ２は、撮像された画像ピクセル数から求めることができる。また、光源装置４の照射方向と撮像カメラ５の撮像方向は固定されているため、ｘ２とｙ１は、１対１の対応関係があり、ｙ１は、ｘ２の関数となる。そのため、ｙ２は、ｘ２の関数となる。
そこで、本実施の形態では、予めｙ２とｘ２の対応データマップを作成して記憶装置に記憶しておき、これを用いてｘ２からｙ２を求めることとした。
【００３２】
図３は、装着型ロボット１がカメラ高さｙ２を求める手順を説明するためのフローチャートである。
以下の処理は、ＥＣＵ１６の備えるＣＰＵが所定のプログラムに従って行うものである。
まず、ユーザが装着型ロボット１を装着して直立し、装着型ロボット１を操作してカメラ高さｙ２の計測を開始させる。
【００３３】
すると、ＣＰＵは、３軸センサ３から腰部装着部７のヨー角、ピッチ角、及びロール角の角度を取得してＲＡＭに格納する（ステップ５）。
次に、ＣＰＵは、ＲＡＭに記憶したこれら角度から歩行基準面に対する腰部装着部７の傾きを計算し、歩行基準面に対して光源装置４、及び撮像カメラ５の方向が図２（ａ）で規定されている方向となるように３軸アクチュエータ６で撮像ユニット９を駆動して照射方向、及び撮像方向を補正する（ステップ１０）。
【００３４】
次に、ＣＰＵは、光源装置４をオンして、所定の形状パターンの光を照射させる（ステップ１５）。
次に、ＣＰＵは、撮像カメラ５を駆動して歩行基準面に投影された投影像２６を撮像し、画像データをＲＡＭに記憶する（ステップ２０）。
次に、ＣＰＵは、ＲＡＭから画像データを読み出し、画面フレーム３１の下端から投影像２６の下端までのピクセル数を数えて投影像オフセットｘ２を取得してＲＡＭに記憶する（ステップ２５）。
【００３５】
次に、ＣＰＵは、記憶装置に記憶してある対応データマップでＲＡＭに記憶した投影像オフセットｘ２を検索し、検索されたｘ２に対応するカメラ高さｙ２を取得する（ステップ３０）。
次に、ＣＰＵは、カメラ高さｙ２を記憶装置にパラメータとして記憶する。
【００３６】
以上では、対応データマップによりカメラ高さｙ２を求めたが、後述の変形例１で示すように計算で求めることもできる。
また、本実施の形態では、ユーザが直立している状態でカメラ高さｙ２を測定したが、カメラ高さｙ２をリアルタイムで連続して行うことにより、歩行によるユーザの腰部の上下運動に追随してカメラ高さｙ２を補正することもできる。
【００３７】
以上に説明した実施の形態により、次のような効果を得ることができる。
（１）画像認識用の撮像カメラ５の設置高さを自動的に検出することができる。
（２）装着型ロボット１を複数のユーザが装着する場合に、個々のユーザの体型に合わせて自動的に撮像カメラ５の高さを補正することができる。
（３）ユーザによって腰部装着部７の取り付け位置が異なっても、装着時にその都度、手動で較正する必要がない。
（４）ユーザが装着し、投影像２６の形状を撮像カメラ５で撮像して段差を検出するシステムにおいて、画面フレーム３１と投影像２６との位置相関を測定することにより、姿勢が毎回変わっても、３次元ジャイロなどの姿勢センサや３軸モータなどを用いて光源装置４と撮像カメラ５を較正することができる。
【００３８】
（変形例１）
先に説明した実施の形態では、光源装置４と撮像カメラ５の角度が固定されているため、例えば、身長の高いユーザが装着型ロボット１を装着した場合、交点２５（図２（ａ））が歩行基準面よりも上となり、投影像オフセットｘ２が形成されない（即ち、投影像２６の下端が画面フレーム３１の下端からはみ出す）場合がある。
このため、変形例１では、撮像カメラ５の撮像方向を可変とし、投影像２６の下端が画面フレーム３１からはみ出す場合に、撮像カメラ５の撮像方向を補正して、投影像２６が画面フレーム３１の内部に位置するように調節する。
【００３９】
図４（ａ）は、変形例１で撮像カメラ５の高さを検出する方法を説明するための図であり、図４（ｂ）は、撮像カメラ５で撮像された投影像２６を示した図である。
図４（ａ）、（ｂ）に示したように、カメラ位置２２と光源位置２１の距離を光源カメラ間距離ｙ３（ｙ３は既知とする）、照射光の下端がｙ軸と成す角を光源角度α２、画面フレーム３１の下端を形成する線とｙ軸のなす角をα１とする。また、θ１＝９０°−α１、θ２＝９０°−α２、とする。
このように設定すると次の式が成り立つ。
【００４０】
ｙ１＝ｔａｎθ１・ｙ３／（ｔａｎθ２−ｔａｎθ１） …（３）
ｘ１＝ｙ３／ｔａｎθ２ …（４）
【００４１】
ｘ２は、画像データから取得することができ、また、式（２）が成り立つから、ｙ２は、次の式（５）、又は式（６）で表すことができ、θ１、θ２が分かれば、式（５）、又は式（６）によりカメラ高さｙ２を計算することができる。
【００４２】
ｙ２＝ｔａｎθ１・ｙ３／（ｔａｎθ２−ｔａｎθ１）×（ｙ３／ｔａｎθ２−ｘ２）／（ｙ３／ｔａｎθ２）
＝ｙ１×（ｘ１−ｘ２） …（５）
＝ｔａｎθ１・（ｙ３−ｘ２ｔａｎθ２）／（ｔａｎθ２−ｔａｎθ１） …（６）
【００４３】
図５は、本変形例で装着型ロボット１がカメラ高さｙ２を求める手順を説明するためのフローチャートである。
変形例１では、撮像ユニット９が撮像カメラ５の撮像方向のピッチ角を調節するアクチュエータを備えているものとする。
【００４４】
まず、ユーザが装着型ロボット１を装着して直立し、装着型ロボット１を操作してカメラ高さｙ２の計測を開始させる。
すると、ＣＰＵは、３軸センサ３から腰部装着部７のヨー角、ピッチ角、及びロール角の角度を取得してＲＡＭに記憶する（ステップ４０）。
次に、ＣＰＵは、歩行基準面に対して光源装置４の方向が図４（ａ）で規定されている方向となるように３軸アクチュエータ６で撮像ユニット９を駆動して照射方向を補正する（ステップ４５）。
【００４５】
次に、ＣＰＵは、光源装置４をオンにして歩行基準面に所定の形状パターンの光を照射させる（ステップ５０）。
次に、ＣＰＵは、撮像カメラ５を駆動して投影像２６を撮像し、画像データをＲＡＭに記憶する（ステップ５５）。
【００４６】
次に、ＣＰＵは、ＲＡＭに記憶した画像データを解析し、投影像２６の上端と下端が画面フレーム３１の内部に存在するか否か、即ち、上端から下端までが画面フレーム３１に入っているか否かを判断する（ステップ６０）。
ここで、投影像オフセットｘ２が０より大きい所定値以上の場合に下端が画面フレーム３１の内部に存在すると判断するように構成してもよい。
【００４７】
なお、カメラ高さｙ２を計算するためには、投影像２６の下端が画面フレーム３１に入っていればよく、上端は画面フレーム３１に入っている必要はないが、ここでは、後に段差を画像認識する場合に備えて、上端と下端が画面フレーム３１に入っていることを条件とした。
【００４８】
投影像２６の上端と下端が画面フレーム３１にない場合（ステップ６０；Ｎ）、ＣＰＵは、撮像カメラ５のピッチ角を変更し（ステップ６５）、ステップ５５に戻る。
より詳細には、ＣＰＵは、投影像２６の上端、下端のうち、画面フレーム３１の内部に存在しない方に、撮像カメラ５のピッチ角を所定角度だけ変化させる。
なお、撮像カメラ５のロール角は、３軸アクチュエータ６で撮像ユニット９を駆動することにより補正されている。
【００４９】
一方、投影像２６の上端と下端が画面フレーム３１に入っている場合（ステップ６０；Ｙ）、ＣＰＵは、ＲＡＭに記憶したヨー角、ピッチ角、及びロール角と、更に、３軸アクチュエータ６の駆動角度から光源角度α２を算出してＲＡＭに格納する（ステップ７０）。
３軸センサ３の角度により歩行基準面に対する腰部装着部７の配置が分かり、３軸センサ３の駆動角度から腰部装着部７に対する光源装置４の配置が分かるため、これらの値からα２を算出することができる。
【００５０】
次に、ＣＰＵは、撮像カメラ５のピッチ角の駆動角度を取得してカメラ角度α１を計算し、ＲＡＭに記憶する（ステップ７５）。
３軸センサ３の角度により歩行基準面に対する腰部装着部７の配置が分かり、３軸センサ３の駆動角度から腰部装着部７に対する撮像ユニット９の配置が分かり、撮像カメラ５の駆動角度から撮像ユニット９に対する撮像方向が分かるため、これらの値からカメラ角度α１を算出することができる。
【００５１】
次に、ＣＰＵは、ＲＡＭに記憶したカメラ角度α１、光源角度α２を読み出し、これらを９０°から減算することによりθ１、θ２を算出してＲＡＭに記憶する（ステップ８０）。
次に、ＣＰＵは、予めパラメータとして記憶されている光源カメラ間距離ｙ３を記憶装置から読み出し、また、ＲＡＭからθ１、θ２を読み出し、これらを式（３）に代入して交点位置ｙ１を算出してＲＡＭに記憶する（ステップ８５）。
【００５２】
次に、ＣＰＵは、光源カメラ間距離ｙ３を記憶装置から読み出し、θ２をＲＡＭから読み出し、これらを式（４）に代入して照射オフセットｘ１を算出してＲＡＭに記憶する（ステップ９０）。
次に、ＣＰＵは、ＲＡＭから画像データを読み出し、画面フレーム３１の下端から投影像２６の下端までのピクセル数を数えて投影像オフセットｘ２を取得する（ステップ９５）。
【００５３】
次に、ＣＰＵは、ＲＡＭから交点位置ｙ１、照射オフセットｘ１、投影像オフセットｘ２を読み出して式（５）に代入し、カメラ高さｙ２を算出してＲＡＭに記憶する（ステップ１００）。あるいは、θ１、θ２、ｙ３、ｘ２を式（６）に代入してもよい。
そして、ＣＰＵは、カメラ高さｙ２をＲＡＭから読み出して、記憶装置にパラメータとして格納する。
【００５４】
以上では、撮像ユニット９に対し、撮像カメラ５のピッチ角を調節可能としたが、撮像カメラ５を撮像ユニット９に固定し、光源装置４のピッチ角を変更するように構成してもよい。
あるいは、撮像カメラ５と光源装置４の双方のピッチ角を変更するように構成することもできる。
【００５５】
以上に説明した変形例１により、次のような効果を得ることができる。
（１）投影像２６が画面フレーム３１の内部にない場合に、投影像２６が画面フレーム３１の内部に位置するように自動補正することができる。
（２）腰部の低いユーザから腰部の高いユーザまで、幅広いユーザに対応することができる。
（３）歩行によるユーザの腰部の上下運動に追随してカメラ高さｙ２を自動補正する場合、上下運動の範囲で投影像２６が画面フレーム３１の内部に存在するように投影像２６の位置を設定することができる。
【００５６】
（変形例２）
図６（ａ）、（ｂ）は、変形例２を説明するための図である。
先に説明した実施の形態や変形例１では、画面フレーム３１の下端と投影像２６の下端の距離を投影像オフセットｘ２としたが、変形例２では、カメラ位置２２の位置を光源位置２１の上側とし、画面フレーム３１の上端と投影像２６の上端の距離を投影像オフセットｘ２とする。
このように設定した投影像オフセットｘ２からも光源高さｙ２を計算することができ、かつ、光源カメラ間距離ｙ３をｙ２に加えることによりカメラ高さを算出することが可能である。
【００５７】
（変形例３）
カメラ高さによって投影像２６の長径が変化するため、実施の形態、変形例１、及び変形例２において、図６（ｃ）に示したように、投影像２６の下端側の下端位置３４、及び上端側の上端位置３３からカメラ高さを計算することも可能である。
【００５８】
以上、実施の形態、変形例１〜３において、カメラ高さの検出機能を装着型ロボット１に装備する場合について説明したが、これは、装着型ロボット１に限定するものではなく、画像認識装置を設置する場合に広く適用することができる。
例えば、車両に画像認識装置を設置する場合、撮像カメラ５を所定位置に所定姿勢で正確に取り付けるのは時間と労力を要する。特に、車両周辺の障害物までの距離や、駐車スペース等を認識する場合に、画像認識装置を設置する基準高さｈが予め決められていて、基準面（道路等）から画像認識装置までの高さが正確に基準高さｈとなるように取り付ける必要がある。このような、正確な基準高さｈの位置に画像認識装置を取り付ける作業に時間や労力が掛かることになる。
そこで、説明した各実施形態の画像認識装置を使用し、投影像２６と画面フレーム３１の相関から撮像カメラ５の高さｙ２を正確に測定したり、撮像カメラ５等の角度を調節することで、測定した正確な高さｙ２を基準高さｈに換算することが可能になる。
このように本実施形態の画像認識装置によれば、正確なカメラ高さを自動的に測定し基準高さｈに変換することができるので、おおよその位置・姿勢で画像認識装置（撮像カメラ５等）を取り付ければ充分であり、取り付け作業を効率化することが可能である。
【００５９】
以上に説明した、実施の形態、及び変形例１〜３により、次の構成を得ることができる。
装着型ロボット１が備える画像認識装置は、光源装置４によって所定の形状パターンの光を照射して歩行基準面上に投影像２６を投影し、これを撮像カメラ５によって撮像するため、所定パターンの光を光源から所定の照射方向に照射して、当該光による像を基準面に投影する投影手段と、所定の撮像方向に向けたカメラによって、前記投影された像を撮像する撮像手段を備えている。
また、装着型ロボット１が備える画像認識装置は、光源位置２１とカメラ位置２２の位置関係や画面フレーム３１（撮像領域）における投影像２６の位置関係を用いてカメラ高さｙ２を計測するため、前記光源と前記カメラの配置関係、及び前記カメラで撮像された撮像領域における前記像の位置を用いて、前記基準面に対する前記カメラの高さを取得するカメラ高さ取得手段を備えている（第１の構成）。
【００６０】
装着型ロボット１が備える画像認識装置は、例えば、画面フレーム３１の下端と投影像２６の下端の距離を用いてカメラ高さｙ２を計測するため、前記カメラ高さ取得手段は、前記撮像領域の端部から前記像までの距離を用いて前記カメラの高さを取得している（第２の構成）。
【００６１】
変形例１の装着型ロボット１の備える画像認識装置は、撮像カメラ５、又は光源装置４の少なくとも一方の方向を変更して、画面フレーム３１の内側に投影像２６が位置するように較正するため、前記端部が前記撮像領域にない場合、前記端部が前記撮像領域に位置するように前記照射方向、又は前記撮像方向のうちの少なくとも一方を変更する方向変更手段を備えている（第３の構成）。
【００６２】
装着型ロボット１は、第１の構成〜第３の構成で得られたカメラ高さｙ２を用いて、段差などの障害物を検出してユーザの歩行を制御するため、前記画像認識装置による認識結果を用いて歩行制御を行う歩行制御手段を備えている。
【００６３】
また、ＥＣＵ１６の記憶装置には、所定パターンの光を光源から所定の照射方向に照射して、当該光による像を基準面に投影する投影機能と、所定の撮像方向に向けたカメラによって、前記投影された像を撮像する撮像機能と、前記光源と前記カメラの配置関係、及び前記カメラで撮像された撮像領域における前記像の位置を用いて、前記基準面に対する前記カメラの高さを取得するカメラ高さ取得機能と、をコンピュータで実現する画像認識プログラムが格納されている。
【符号の説明】
【００６４】
１ 装着型ロボット
２ 歩行アシスト部
３ ３軸センサ
４ 光源装置
５ 撮像カメラ
６ ３軸アクチュエータ
７ 腰部装着部
８ 連結部
９ 撮像ユニット
１５ 装着ロボットシステム
１６ ＥＣＵ
２１ 光源位置
２２ カメラ位置
２５ 交点
２６ 投影像
２８、２９ 光軸
３１ 画面フレーム
３３ 上端位置
３４ 下端位置
【技術分野】
【０００１】
本発明は、画像認識装置、装着型ロボット、及び画像認識プログラムに関し、例えば、カメラの基準高さを設定するものに関する。
【背景技術】
【０００２】
近年、カメラで被写体を撮影して画像解析し、その結果を用いて機械制御を行うことが行われている。
そのような技術の一例として、特許文献１の「ロボット」がある。
この技術は、ロボットの周囲に円環状のパターン光を投光して撮像し、当該撮像した画像に基づいて障害物（段差など）を検出するものである。
ところで、画像解析で周囲の障害物の高さを検出する場合、パラメータとしてカメラの高さが必要である。
そのため、従来は、カメラの高さを予め測定して記憶媒体に記憶するなどしていた。
【０００３】
しかし、カメラを固定した状態で使用する用途の場合は、カメラの高さを予め計測して記憶させればよいが、例えば、カメラの位置が変更される場合や、新規にカメラを取り付ける場合には、その都度カメラの位置を手動で計測してパラメータとして入力する必要があり、運用が効率的でないという問題があった。
例えば、装着型ロボットにカメラを設置して段差を検出させる場合、装着者によって身長差があり、装着者が変更となるたびにカメラの高さを手動で計測して入力するのは効率的でなかった。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−３２４２９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、画像認識用のカメラの高さを自動的に検出することを目的とする。
【課題を解決するための手段】
【０００６】
（１）請求項１記載の発明では、所定パターンの光を光源から所定の照射方向に照射して、当該光による像を基準面に投影する投影手段と、所定の撮像方向に向けたカメラによって、前記投影された像を撮像する撮像手段と、前記光源と前記カメラの配置関係、及び前記カメラで撮像された撮像領域における前記像の位置を用いて、前記基準面に対する前記カメラの高さを取得するカメラ高さ取得手段と、を具備したことを特徴とする画像認識装置を提供する。
（２）請求項２記載の発明では、前記カメラ高さ取得手段は、前記撮像領域の端部から前記像までの距離を用いて前記カメラの高さを取得することを特徴とする請求項１に記載の画像認識装置を提供する。
（３）請求項３記載の発明では、前記端部が前記撮像領域にない場合、前記端部が前記撮像領域に位置するように前記照射方向、又は前記撮像方向のうちの少なくとも一方を変更する方向変更手段を具備したことを特徴とする請求項１、又は請求項２に記載の画像認識装置を提供する。
（４）請求項４記載の発明では、請求項１、請求項２、又は請求項３に記載の画像認識装置と、前記画像認識装置による認識結果を用いて歩行制御を行う歩行制御手段と、を具備したことを特徴とする装着型ロボットを提供する。
（５）請求項５記載の発明では、所定パターンの光を光源から所定の照射方向に照射して、当該光による像を基準面に投影する投影機能と、所定の撮像方向に向けたカメラによって、前記投影された像を撮像する撮像機能と、前記光源と前記カメラの配置関係、及び前記カメラで撮像された撮像領域における前記像の位置を用いて、前記基準面に対する前記カメラの高さを取得するカメラ高さ取得機能と、をコンピュータで実現する画像認識プログラムを提供する。
【発明の効果】
【０００７】
本発明によれば、撮像領域における所定パターンの光の像の位置を用いることにより、画像認識用のカメラの高さを自動的に検出することができる。
【図面の簡単な説明】
【０００８】
【図１】装着型ロボットを説明するための図である。
【図２】撮像カメラの高さを検出する方法を説明するための図である。
【図３】カメラ高さｙ２を求める手順を説明するためのフローチャートである。
【図４】変形例１で撮像カメラの高さを検出する方法を説明するための図である。
【図５】変形例１でカメラ高さｙ２を求める手順を説明するためのフローチャートである。
【図６】変形例２、３を説明するための図である。
【発明を実施するための形態】
【０００９】
（１）実施形態の概要
図２（ａ）に示したように、カメラ位置２２には、前方斜め下に向けた画像認識装置用の撮像カメラ５が設置されており、その上方の光源位置２１には、撮像カメラ５の画面フレーム３１の内部に投影像２６を投影する光源装置４が設置されている。
装着型ロボット１（図１（ａ））に搭載された画像認識装置は、画面フレーム３１の下端と投影像２６の下端との距離である投影像オフセットｘ２を画像データで計測し、投影像オフセットｘ２とカメラ高さｙ２を対応させた対応データマップや、あるいは計算により、カメラ高さｙ２を取得する。
このようにして得られたカメラ高さｙ２は、パラメータとして記憶装置に記憶され、画像認識装置で段差などを認識するのに使用される。
【００１０】
（２）実施形態の詳細
本実施の形態では、一例として、画像認識装置を装着型ロボットに設置する場合について説明する。
図１（ａ）は、装着型ロボット１の装着状態を示した図である。
装着型ロボット１は、ユーザの腰部及び下肢に装着し、ユーザの歩行を支援（アシスト）するものである。なお、例えば、上半身、下半身に装着して全身の動作をアシストするものであってもよい。
【００１１】
装着型ロボット１は、腰部装着部７、歩行アシスト部２、連結部８、３軸センサ３、３軸アクチュエータ６、撮像カメラ５、光源装置４、及び撮像カメラ５と光源装置４を保持する撮像ユニット９などから構成されている。
腰部装着部７は、装着型ロボット１をユーザの腰部に固定する固定装置である。腰部装着部７は、ユーザの腰部と一体となって移動する。
また、腰部装着部７は、図示しない歩行アクチュエータを備えており、ユーザの歩行動作に従って連結部８を前後方向などに駆動する。
【００１２】
連結部８は、腰部装着部７と歩行アシスト部２を連結している。
歩行アシスト部２は、ユーザの下肢に装着され、歩行アクチュエータにより前後に駆動されてユーザの歩行運動を支援する。
なお、腰部装着部７、連結部８、歩行アシスト部２による歩行支援は、一例であって、更に多関節の駆動機構によって歩行支援するなど、各種の形態が可能である。
【００１３】
３軸センサ３は、腰部装着部７に設置され、腰部装着部７の姿勢などを検知する。３軸センサ３は、例えば、３次元ジャイロによる３軸角速度検出機能や３軸角加速度検出機能などを備えており、ｘ軸方向（前進方向）、ｙ方向（鉛直方向）ｚ方向（体側方向）、の周りの回転角度、角速度、角加速度などを検知することができる。
なお、ｘ軸の周りの角度をロール角、ｙ軸の周りの角度をヨー角、ｚ軸の周りの角度をピッチ角とする。
【００１４】
３軸アクチュエータ６は、例えば、球体モータで構成されており、撮像カメラ５と光源装置４が設置された撮像ユニット９のロール角、ヨー角、ピッチ角を変化させる。
撮像ユニット９には、光源装置４と撮像カメラ５が固定されており、３軸アクチュエータ６を駆動すると、光源装置４の照射方向（光源装置４の光軸の方向）と撮像カメラ５の撮像方向（撮像カメラ５の光軸の方向）は、相対角度を保ったまま、ロール角、ヨー角、ピッチ角を変化させる。
【００１５】
後述するように、撮像カメラ５の高さを検出する場合、撮像ユニット９を所定の角度で歩行基準面（地面や床面など、ユーザが歩行する面）に向ける必要があるが、ユーザが装着型ロボット１を装着した場合に、装着状態によって撮像ユニット９が傾くため、３軸アクチュエータ６によってこれを補正する。
【００１６】
光源装置４は、例えば、レーザ、赤外光、可視光などの光を所定の形状パターンで照射する。本実施の形態では、光源装置４は、照射方向に垂直な面に対して円形となる形状パターンで光を照射するものとするが、矩形形状、十字、点、十字など各種の形状が可能である。
【００１７】
撮像カメラ５は、被写体を結像するための光学系と、結像した被写体を電気信号に変換するＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）を備えた、赤外光カメラ、可視光カメラなどで構成され、光源装置４が歩行基準面に照射した投影像を撮像（撮影）する。
光源装置４が所定の形状パターンで照射した光による投影像は、照射方向と歩行基準面の成す角度や、歩行基準面に存在する障害物（段差など）により円形から変形した形状となるが、この形状を解析することにより歩行基準面の状態や障害物を検知することができる。
【００１８】
撮像ユニット９は、光源装置４と撮像カメラ５が固定されており、３軸アクチュエータ６によって腰部装着部７に対するロール角、ヨー角、ピッチ角が変化する。
即ち、撮像ユニット９を３軸アクチュエータ６で駆動することにより、光源装置４と撮像カメラ５の相対的な位置を固定したまま、光源装置４と３軸アクチュエータ６の腰部装着部７に対するロール角、ヨー角、ピッチ角を変化させることができる。
【００１９】
図１（ｂ）は、装着型ロボット１に設置された装着ロボットシステム１５を説明するための図である。
装着ロボットシステム１５は、歩行支援機能を発揮するように装着型ロボット１を制御する電子制御システムである。
なお、この図では、撮像カメラ５の高さを検知するのに用いる部分を示しており、歩行支援を行うのに用いる部分は省略してある。
【００２０】
ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）１６は、図示しないＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、記憶装置、各種インターフェースなどを備えた電子制御ユニットであり、装着型ロボット１の各部を電子制御する。
【００２１】
ＣＰＵは、記憶媒体に記憶された各種コンピュータプログラムを実行し、撮像カメラ５の高さを計算するほか、階段やエスカレータの段差を認識したり、歩行アクチュエータを駆動して歩行支援を行ったりする。
ＣＰＵは、光源装置４、撮像カメラ５、３軸アクチュエータ６、３軸センサ３とインターフェースを介して接続しており、光源装置４からの照射をオンオフしたり、撮像カメラ５から撮像データを取得したり、３軸アクチュエータ６を駆動したり、３軸センサ３から検出値を取得したりする。
【００２２】
ＲＯＭは、読み取り専用のメモリであって、ＣＰＵが使用する基本的なプログラムやパラメータなどを記憶している。
ＲＡＭは、読み書きが可能なメモリであって、ＣＰＵが演算処理などを行う際のワーキングメモリを提供する。本実施の形態では、撮像カメラ５の撮像データや３軸センサ３の検出値を記憶したり、撮像カメラ５の高さを計算するためのワーキングメモリを提供する。
【００２３】
記憶装置は、例えば、ハードディスクやＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）などで構成された大容量の記憶媒体を備えており、撮像カメラ５の高さを検出するためのプログラムや、光源装置４の投影像を解析して階段やエスカレータなどの段差を認識するためのプログラム、歩行支援を行うためのプログラムなどの各種プログラムや、段差認識の画像認識などに使用する撮像カメラ５の高さなどのパラメータなどを記憶している。
【００２４】
図２（ａ）は、撮像カメラ５の高さを検出する方法を説明するための図である。
この図では、ユーザが直立した状態で、ユーザの足下の位置を原点とし、歩行基準面をｘ軸（ユーザの前進方向を正とする）、ユーザの頭上方向をｙ軸としている。
光源装置４の基準となる位置を光源位置２１とし、撮像カメラ５の基準となる位置をカメラ位置２２とし、カメラ位置２２の歩行基準面からの高さをｙ２とする。
光源位置２１は、カメラ位置２２の鉛直上方にあり、光源位置２１から歩行基準面に照射された投影像２６（投影物）の全体が撮像カメラ５の画面フレーム３１内に存在するようになっている。
なお、光源装置４の光軸２８と撮像カメラ５の光軸２９は何れもｘｙ平面内にあるものとする。
【００２５】
カメラ位置２２から、照射光の下端までの距離を照射オフセットｘ１とし、カメラの画面フレーム３１の下端から投影像２６の下端までの距離を投影像オフセットｘ２とする。なお、ユーザに近い側を下端、ユーザから遠い側を上端とし、以下同様とする。
また、照射光の下端の延長線と、画面フレーム３１の下端の延長線の交点２５からカメラ位置２２までの距離を交点位置ｙ１とする。
換言すると、交点２５は、歩行基準面が存在しない場合に、照射光の下端と画面フレーム３１の下端が一致する点である。
【００２６】
図２（ｂ）は、撮像カメラ５で撮像された投影像２６の一例を示した図である。
光源装置４は、円形断面の光を照射するが、歩行基準面に対して斜め前に照射されるため、投影像２６は、ユーザの前進方向を長軸とする楕円形となる。
撮像カメラ５の画面フレーム３１は、ユーザの前進方向を短辺、ユーザの体側方向を長辺とする矩形形状を有しており、下端から投影像２６までの距離が投影像オフセットｘ２となる。
【００２７】
以上のように光源装置４、撮像カメラ５、及び歩行基準面を配置すると、次の式（１）に係る比例式が成り立つ。
【００２８】
ｙ１：（ｙ１−ｙ２）＝ｘ１：ｘ２ …（１）
【００２９】
これから式（２）が成り立つ。
【００３０】
ｙ２＝ｙ１（ｘ１−ｘ２）／ｘ１ …（２）
【００３１】
ここで、照射オフセットｘ１は、固定値で予め分かっており、ｘ２は、撮像された画像ピクセル数から求めることができる。また、光源装置４の照射方向と撮像カメラ５の撮像方向は固定されているため、ｘ２とｙ１は、１対１の対応関係があり、ｙ１は、ｘ２の関数となる。そのため、ｙ２は、ｘ２の関数となる。
そこで、本実施の形態では、予めｙ２とｘ２の対応データマップを作成して記憶装置に記憶しておき、これを用いてｘ２からｙ２を求めることとした。
【００３２】
図３は、装着型ロボット１がカメラ高さｙ２を求める手順を説明するためのフローチャートである。
以下の処理は、ＥＣＵ１６の備えるＣＰＵが所定のプログラムに従って行うものである。
まず、ユーザが装着型ロボット１を装着して直立し、装着型ロボット１を操作してカメラ高さｙ２の計測を開始させる。
【００３３】
すると、ＣＰＵは、３軸センサ３から腰部装着部７のヨー角、ピッチ角、及びロール角の角度を取得してＲＡＭに格納する（ステップ５）。
次に、ＣＰＵは、ＲＡＭに記憶したこれら角度から歩行基準面に対する腰部装着部７の傾きを計算し、歩行基準面に対して光源装置４、及び撮像カメラ５の方向が図２（ａ）で規定されている方向となるように３軸アクチュエータ６で撮像ユニット９を駆動して照射方向、及び撮像方向を補正する（ステップ１０）。
【００３４】
次に、ＣＰＵは、光源装置４をオンして、所定の形状パターンの光を照射させる（ステップ１５）。
次に、ＣＰＵは、撮像カメラ５を駆動して歩行基準面に投影された投影像２６を撮像し、画像データをＲＡＭに記憶する（ステップ２０）。
次に、ＣＰＵは、ＲＡＭから画像データを読み出し、画面フレーム３１の下端から投影像２６の下端までのピクセル数を数えて投影像オフセットｘ２を取得してＲＡＭに記憶する（ステップ２５）。
【００３５】
次に、ＣＰＵは、記憶装置に記憶してある対応データマップでＲＡＭに記憶した投影像オフセットｘ２を検索し、検索されたｘ２に対応するカメラ高さｙ２を取得する（ステップ３０）。
次に、ＣＰＵは、カメラ高さｙ２を記憶装置にパラメータとして記憶する。
【００３６】
以上では、対応データマップによりカメラ高さｙ２を求めたが、後述の変形例１で示すように計算で求めることもできる。
また、本実施の形態では、ユーザが直立している状態でカメラ高さｙ２を測定したが、カメラ高さｙ２をリアルタイムで連続して行うことにより、歩行によるユーザの腰部の上下運動に追随してカメラ高さｙ２を補正することもできる。
【００３７】
以上に説明した実施の形態により、次のような効果を得ることができる。
（１）画像認識用の撮像カメラ５の設置高さを自動的に検出することができる。
（２）装着型ロボット１を複数のユーザが装着する場合に、個々のユーザの体型に合わせて自動的に撮像カメラ５の高さを補正することができる。
（３）ユーザによって腰部装着部７の取り付け位置が異なっても、装着時にその都度、手動で較正する必要がない。
（４）ユーザが装着し、投影像２６の形状を撮像カメラ５で撮像して段差を検出するシステムにおいて、画面フレーム３１と投影像２６との位置相関を測定することにより、姿勢が毎回変わっても、３次元ジャイロなどの姿勢センサや３軸モータなどを用いて光源装置４と撮像カメラ５を較正することができる。
【００３８】
（変形例１）
先に説明した実施の形態では、光源装置４と撮像カメラ５の角度が固定されているため、例えば、身長の高いユーザが装着型ロボット１を装着した場合、交点２５（図２（ａ））が歩行基準面よりも上となり、投影像オフセットｘ２が形成されない（即ち、投影像２６の下端が画面フレーム３１の下端からはみ出す）場合がある。
このため、変形例１では、撮像カメラ５の撮像方向を可変とし、投影像２６の下端が画面フレーム３１からはみ出す場合に、撮像カメラ５の撮像方向を補正して、投影像２６が画面フレーム３１の内部に位置するように調節する。
【００３９】
図４（ａ）は、変形例１で撮像カメラ５の高さを検出する方法を説明するための図であり、図４（ｂ）は、撮像カメラ５で撮像された投影像２６を示した図である。
図４（ａ）、（ｂ）に示したように、カメラ位置２２と光源位置２１の距離を光源カメラ間距離ｙ３（ｙ３は既知とする）、照射光の下端がｙ軸と成す角を光源角度α２、画面フレーム３１の下端を形成する線とｙ軸のなす角をα１とする。また、θ１＝９０°−α１、θ２＝９０°−α２、とする。
このように設定すると次の式が成り立つ。
【００４０】
ｙ１＝ｔａｎθ１・ｙ３／（ｔａｎθ２−ｔａｎθ１） …（３）
ｘ１＝ｙ３／ｔａｎθ２ …（４）
【００４１】
ｘ２は、画像データから取得することができ、また、式（２）が成り立つから、ｙ２は、次の式（５）、又は式（６）で表すことができ、θ１、θ２が分かれば、式（５）、又は式（６）によりカメラ高さｙ２を計算することができる。
【００４２】
ｙ２＝ｔａｎθ１・ｙ３／（ｔａｎθ２−ｔａｎθ１）×（ｙ３／ｔａｎθ２−ｘ２）／（ｙ３／ｔａｎθ２）
＝ｙ１×（ｘ１−ｘ２） …（５）
＝ｔａｎθ１・（ｙ３−ｘ２ｔａｎθ２）／（ｔａｎθ２−ｔａｎθ１） …（６）
【００４３】
図５は、本変形例で装着型ロボット１がカメラ高さｙ２を求める手順を説明するためのフローチャートである。
変形例１では、撮像ユニット９が撮像カメラ５の撮像方向のピッチ角を調節するアクチュエータを備えているものとする。
【００４４】
まず、ユーザが装着型ロボット１を装着して直立し、装着型ロボット１を操作してカメラ高さｙ２の計測を開始させる。
すると、ＣＰＵは、３軸センサ３から腰部装着部７のヨー角、ピッチ角、及びロール角の角度を取得してＲＡＭに記憶する（ステップ４０）。
次に、ＣＰＵは、歩行基準面に対して光源装置４の方向が図４（ａ）で規定されている方向となるように３軸アクチュエータ６で撮像ユニット９を駆動して照射方向を補正する（ステップ４５）。
【００４５】
次に、ＣＰＵは、光源装置４をオンにして歩行基準面に所定の形状パターンの光を照射させる（ステップ５０）。
次に、ＣＰＵは、撮像カメラ５を駆動して投影像２６を撮像し、画像データをＲＡＭに記憶する（ステップ５５）。
【００４６】
次に、ＣＰＵは、ＲＡＭに記憶した画像データを解析し、投影像２６の上端と下端が画面フレーム３１の内部に存在するか否か、即ち、上端から下端までが画面フレーム３１に入っているか否かを判断する（ステップ６０）。
ここで、投影像オフセットｘ２が０より大きい所定値以上の場合に下端が画面フレーム３１の内部に存在すると判断するように構成してもよい。
【００４７】
なお、カメラ高さｙ２を計算するためには、投影像２６の下端が画面フレーム３１に入っていればよく、上端は画面フレーム３１に入っている必要はないが、ここでは、後に段差を画像認識する場合に備えて、上端と下端が画面フレーム３１に入っていることを条件とした。
【００４８】
投影像２６の上端と下端が画面フレーム３１にない場合（ステップ６０；Ｎ）、ＣＰＵは、撮像カメラ５のピッチ角を変更し（ステップ６５）、ステップ５５に戻る。
より詳細には、ＣＰＵは、投影像２６の上端、下端のうち、画面フレーム３１の内部に存在しない方に、撮像カメラ５のピッチ角を所定角度だけ変化させる。
なお、撮像カメラ５のロール角は、３軸アクチュエータ６で撮像ユニット９を駆動することにより補正されている。
【００４９】
一方、投影像２６の上端と下端が画面フレーム３１に入っている場合（ステップ６０；Ｙ）、ＣＰＵは、ＲＡＭに記憶したヨー角、ピッチ角、及びロール角と、更に、３軸アクチュエータ６の駆動角度から光源角度α２を算出してＲＡＭに格納する（ステップ７０）。
３軸センサ３の角度により歩行基準面に対する腰部装着部７の配置が分かり、３軸センサ３の駆動角度から腰部装着部７に対する光源装置４の配置が分かるため、これらの値からα２を算出することができる。
【００５０】
次に、ＣＰＵは、撮像カメラ５のピッチ角の駆動角度を取得してカメラ角度α１を計算し、ＲＡＭに記憶する（ステップ７５）。
３軸センサ３の角度により歩行基準面に対する腰部装着部７の配置が分かり、３軸センサ３の駆動角度から腰部装着部７に対する撮像ユニット９の配置が分かり、撮像カメラ５の駆動角度から撮像ユニット９に対する撮像方向が分かるため、これらの値からカメラ角度α１を算出することができる。
【００５１】
次に、ＣＰＵは、ＲＡＭに記憶したカメラ角度α１、光源角度α２を読み出し、これらを９０°から減算することによりθ１、θ２を算出してＲＡＭに記憶する（ステップ８０）。
次に、ＣＰＵは、予めパラメータとして記憶されている光源カメラ間距離ｙ３を記憶装置から読み出し、また、ＲＡＭからθ１、θ２を読み出し、これらを式（３）に代入して交点位置ｙ１を算出してＲＡＭに記憶する（ステップ８５）。
【００５２】
次に、ＣＰＵは、光源カメラ間距離ｙ３を記憶装置から読み出し、θ２をＲＡＭから読み出し、これらを式（４）に代入して照射オフセットｘ１を算出してＲＡＭに記憶する（ステップ９０）。
次に、ＣＰＵは、ＲＡＭから画像データを読み出し、画面フレーム３１の下端から投影像２６の下端までのピクセル数を数えて投影像オフセットｘ２を取得する（ステップ９５）。
【００５３】
次に、ＣＰＵは、ＲＡＭから交点位置ｙ１、照射オフセットｘ１、投影像オフセットｘ２を読み出して式（５）に代入し、カメラ高さｙ２を算出してＲＡＭに記憶する（ステップ１００）。あるいは、θ１、θ２、ｙ３、ｘ２を式（６）に代入してもよい。
そして、ＣＰＵは、カメラ高さｙ２をＲＡＭから読み出して、記憶装置にパラメータとして格納する。
【００５４】
以上では、撮像ユニット９に対し、撮像カメラ５のピッチ角を調節可能としたが、撮像カメラ５を撮像ユニット９に固定し、光源装置４のピッチ角を変更するように構成してもよい。
あるいは、撮像カメラ５と光源装置４の双方のピッチ角を変更するように構成することもできる。
【００５５】
以上に説明した変形例１により、次のような効果を得ることができる。
（１）投影像２６が画面フレーム３１の内部にない場合に、投影像２６が画面フレーム３１の内部に位置するように自動補正することができる。
（２）腰部の低いユーザから腰部の高いユーザまで、幅広いユーザに対応することができる。
（３）歩行によるユーザの腰部の上下運動に追随してカメラ高さｙ２を自動補正する場合、上下運動の範囲で投影像２６が画面フレーム３１の内部に存在するように投影像２６の位置を設定することができる。
【００５６】
（変形例２）
図６（ａ）、（ｂ）は、変形例２を説明するための図である。
先に説明した実施の形態や変形例１では、画面フレーム３１の下端と投影像２６の下端の距離を投影像オフセットｘ２としたが、変形例２では、カメラ位置２２の位置を光源位置２１の上側とし、画面フレーム３１の上端と投影像２６の上端の距離を投影像オフセットｘ２とする。
このように設定した投影像オフセットｘ２からも光源高さｙ２を計算することができ、かつ、光源カメラ間距離ｙ３をｙ２に加えることによりカメラ高さを算出することが可能である。
【００５７】
（変形例３）
カメラ高さによって投影像２６の長径が変化するため、実施の形態、変形例１、及び変形例２において、図６（ｃ）に示したように、投影像２６の下端側の下端位置３４、及び上端側の上端位置３３からカメラ高さを計算することも可能である。
【００５８】
以上、実施の形態、変形例１〜３において、カメラ高さの検出機能を装着型ロボット１に装備する場合について説明したが、これは、装着型ロボット１に限定するものではなく、画像認識装置を設置する場合に広く適用することができる。
例えば、車両に画像認識装置を設置する場合、撮像カメラ５を所定位置に所定姿勢で正確に取り付けるのは時間と労力を要する。特に、車両周辺の障害物までの距離や、駐車スペース等を認識する場合に、画像認識装置を設置する基準高さｈが予め決められていて、基準面（道路等）から画像認識装置までの高さが正確に基準高さｈとなるように取り付ける必要がある。このような、正確な基準高さｈの位置に画像認識装置を取り付ける作業に時間や労力が掛かることになる。
そこで、説明した各実施形態の画像認識装置を使用し、投影像２６と画面フレーム３１の相関から撮像カメラ５の高さｙ２を正確に測定したり、撮像カメラ５等の角度を調節することで、測定した正確な高さｙ２を基準高さｈに換算することが可能になる。
このように本実施形態の画像認識装置によれば、正確なカメラ高さを自動的に測定し基準高さｈに変換することができるので、おおよその位置・姿勢で画像認識装置（撮像カメラ５等）を取り付ければ充分であり、取り付け作業を効率化することが可能である。
【００５９】
以上に説明した、実施の形態、及び変形例１〜３により、次の構成を得ることができる。
装着型ロボット１が備える画像認識装置は、光源装置４によって所定の形状パターンの光を照射して歩行基準面上に投影像２６を投影し、これを撮像カメラ５によって撮像するため、所定パターンの光を光源から所定の照射方向に照射して、当該光による像を基準面に投影する投影手段と、所定の撮像方向に向けたカメラによって、前記投影された像を撮像する撮像手段を備えている。
また、装着型ロボット１が備える画像認識装置は、光源位置２１とカメラ位置２２の位置関係や画面フレーム３１（撮像領域）における投影像２６の位置関係を用いてカメラ高さｙ２を計測するため、前記光源と前記カメラの配置関係、及び前記カメラで撮像された撮像領域における前記像の位置を用いて、前記基準面に対する前記カメラの高さを取得するカメラ高さ取得手段を備えている（第１の構成）。
【００６０】
装着型ロボット１が備える画像認識装置は、例えば、画面フレーム３１の下端と投影像２６の下端の距離を用いてカメラ高さｙ２を計測するため、前記カメラ高さ取得手段は、前記撮像領域の端部から前記像までの距離を用いて前記カメラの高さを取得している（第２の構成）。
【００６１】
変形例１の装着型ロボット１の備える画像認識装置は、撮像カメラ５、又は光源装置４の少なくとも一方の方向を変更して、画面フレーム３１の内側に投影像２６が位置するように較正するため、前記端部が前記撮像領域にない場合、前記端部が前記撮像領域に位置するように前記照射方向、又は前記撮像方向のうちの少なくとも一方を変更する方向変更手段を備えている（第３の構成）。
【００６２】
装着型ロボット１は、第１の構成〜第３の構成で得られたカメラ高さｙ２を用いて、段差などの障害物を検出してユーザの歩行を制御するため、前記画像認識装置による認識結果を用いて歩行制御を行う歩行制御手段を備えている。
【００６３】
また、ＥＣＵ１６の記憶装置には、所定パターンの光を光源から所定の照射方向に照射して、当該光による像を基準面に投影する投影機能と、所定の撮像方向に向けたカメラによって、前記投影された像を撮像する撮像機能と、前記光源と前記カメラの配置関係、及び前記カメラで撮像された撮像領域における前記像の位置を用いて、前記基準面に対する前記カメラの高さを取得するカメラ高さ取得機能と、をコンピュータで実現する画像認識プログラムが格納されている。
【符号の説明】
【００６４】
１ 装着型ロボット
２ 歩行アシスト部
３ ３軸センサ
４ 光源装置
５ 撮像カメラ
６ ３軸アクチュエータ
７ 腰部装着部
８ 連結部
９ 撮像ユニット
１５ 装着ロボットシステム
１６ ＥＣＵ
２１ 光源位置
２２ カメラ位置
２５ 交点
２６ 投影像
２８、２９ 光軸
３１ 画面フレーム
３３ 上端位置
３４ 下端位置
【特許請求の範囲】
【請求項１】
所定パターンの光を光源から所定の照射方向に照射して、当該光による像を基準面に投影する投影手段と、
所定の撮像方向に向けたカメラによって、前記投影された像を撮像する撮像手段と、
前記光源と前記カメラの配置関係、及び前記カメラで撮像された撮像領域における前記像の位置を用いて、前記基準面に対する前記カメラの高さを取得するカメラ高さ取得手段と、
を具備したことを特徴とする画像認識装置。
【請求項２】
前記カメラ高さ取得手段は、前記撮像領域の端部から前記像までの距離を用いて前記カメラの高さを取得することを特徴とする請求項１に記載の画像認識装置。
【請求項３】
前記端部が前記撮像領域にない場合、前記端部が前記撮像領域に位置するように前記照射方向、又は前記撮像方向のうちの少なくとも一方を変更する方向変更手段を具備したことを特徴とする請求項１、又は請求項２に記載の画像認識装置。
【請求項４】
請求項１、請求項２、又は請求項３に記載の画像認識装置と、
前記画像認識装置による認識結果を用いて歩行制御を行う歩行制御手段と、
を具備したことを特徴とする装着型ロボット。
【請求項５】
所定パターンの光を光源から所定の照射方向に照射して、当該光による像を基準面に投影する投影機能と、
所定の撮像方向に向けたカメラによって、前記投影された像を撮像する撮像機能と、
前記光源と前記カメラの配置関係、及び前記カメラで撮像された撮像領域における前記像の位置を用いて、前記基準面に対する前記カメラの高さを取得するカメラ高さ取得機能と、
をコンピュータで実現する画像認識プログラム。
【請求項１】
所定パターンの光を光源から所定の照射方向に照射して、当該光による像を基準面に投影する投影手段と、
所定の撮像方向に向けたカメラによって、前記投影された像を撮像する撮像手段と、
前記光源と前記カメラの配置関係、及び前記カメラで撮像された撮像領域における前記像の位置を用いて、前記基準面に対する前記カメラの高さを取得するカメラ高さ取得手段と、
を具備したことを特徴とする画像認識装置。
【請求項２】
前記カメラ高さ取得手段は、前記撮像領域の端部から前記像までの距離を用いて前記カメラの高さを取得することを特徴とする請求項１に記載の画像認識装置。
【請求項３】
前記端部が前記撮像領域にない場合、前記端部が前記撮像領域に位置するように前記照射方向、又は前記撮像方向のうちの少なくとも一方を変更する方向変更手段を具備したことを特徴とする請求項１、又は請求項２に記載の画像認識装置。
【請求項４】
請求項１、請求項２、又は請求項３に記載の画像認識装置と、
前記画像認識装置による認識結果を用いて歩行制御を行う歩行制御手段と、
を具備したことを特徴とする装着型ロボット。
【請求項５】
所定パターンの光を光源から所定の照射方向に照射して、当該光による像を基準面に投影する投影機能と、
所定の撮像方向に向けたカメラによって、前記投影された像を撮像する撮像機能と、
前記光源と前記カメラの配置関係、及び前記カメラで撮像された撮像領域における前記像の位置を用いて、前記基準面に対する前記カメラの高さを取得するカメラ高さ取得機能と、
をコンピュータで実現する画像認識プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１２−１１７８３３（Ｐ２０１２−１１７８３３Ａ）
【公開日】平成２４年６月２１日（２０１２．６．２１）
【国際特許分類】
【出願番号】特願２０１０−２６５１８９（Ｐ２０１０−２６５１８９）
【出願日】平成２２年１１月２９日（２０１０．１１．２９）
【出願人】（５９１２６１５０９）株式会社エクォス・リサーチ (1,360)
【Ｆターム（参考）】
【公開日】平成２４年６月２１日（２０１２．６．２１）
【国際特許分類】
【出願日】平成２２年１１月２９日（２０１０．１１．２９）
【出願人】（５９１２６１５０９）株式会社エクォス・リサーチ (1,360)
【Ｆターム（参考）】
[ Back to top ]