視覚情報処理装置および適用システム

【課題】
アズビルト３Ｄ−ＣＡＤデータをリアルタイムで自動生成して利用することができる視覚情報処理装置及びその応用システムを提供する。
【解決手段】
移動可能な撮像装置の画像情報を入力とし、入力画像を処理して移動空間に存在する物体のＣＡＤデータを自動的に生成する機能と自動的に更新する機能を持たせる。また、ＣＡＤデータの探索指令信号を入力とし、その指令信号に基づきＣＡＤデータを探索する機能と、探索したＣＡＤデータの情報を出力する機能を持たせる。更に、その視覚情報処理装置をロボット制御装置などと組み合わせて自律制御型の各種自動機械を構成する。

【特許請求の範囲】
【請求項１】
移動可能な撮像装置で物体を撮影して得た画像情報を入力して前記物体のＣＡＤデータを生成する画像情報処理装置と、生成したＣＡＤデータを記憶する記憶装置を備えた視覚情報処理装置において、
前記画像情報処理装置は、生成した新生ＣＡＤデータが既に生成されている既成ＣＡＤデータの更新対象となるかどうかを判別する更新対象判別処理機能と、更新対象となる既成ＣＡＤデータと新生ＣＡＤデータの精度を比較するＣＡＤデータ精度比較処理機能と、新生ＣＡＤデータの精度が更新対象となる既成ＣＡＤデータの精度よりも高いときには該既成ＣＡＤデータを新生ＣＡＤデータで更新するＣＡＤデータ更新処理機能を備え、
新生ＣＡＤデータを生成する機能は、同時刻に取り込んだ複数の撮像装置の画像情報内の特徴点の対応付けを画像情報の特徴部位から行いステレオ計測して、ステレオ計測された点の中で安定な少なくとも３点をトラッキング追従させることにより撮像装置の移動による画像情報内の対応点を関係付けするようにして３次元の座標データを求める方法を実行することによって実現することを特徴とする視覚情報処理装置。
【請求項２】
移動可能な撮像装置で物体を撮影して得た画像情報を入力して前記物体のＣＡＤデータを生成する画像情報処理装置と、生成したＣＡＤデータを記憶する記憶装置を備えた視覚情報処理装置において、
前記画像情報処理装置は、ＣＡＤデータの輪郭線と実際の線を区別するようにし、ＣＡＤデータを生成する機能は、同時刻に取り込んだ複数の撮像装置の画像情報内の特徴点の対応付けを画像情報の特徴部位から行いステレオ計測して、ステレオ計測された点の中で安定な少なくとも３点をトラッキング追従させることにより撮像装置の移動による画像情報内の対応点を関係付けするようにして３次元の座標データを求める方法を実行することによって実現することを特徴とする視覚情報処理装置。
【請求項３】
移動可能な撮像装置で物体を撮影して得た画像情報を入力して前記物体のＣＡＤデータを生成する画像情報処理装置と、生成したＣＡＤデータを記憶する記憶装置を備えた視覚情報処理装置において、
前記画像情報処理装置は、ＣＡＤデータに該ＣＡＤデータを生成した時間に関する情報をもたせるように構成し、ＣＡＤデータを生成する機能は、同時刻に取り込んだ複数の撮像装置の画像情報内の特徴点の対応付けを画像情報の特徴部位から行いステレオ計測して、ステレオ計測された点の中で安定な少なくとも３点をトラッキング追従させることにより撮像装置の移動による画像情報内の対応点を関係付けするようにして３次元の座標データを求める方法を実行することによって実現することを特徴とする視覚情報処理装置。
【請求項４】
移動する物体により画像情報内の特徴点位置が変化する、あるいは撮像装置が移動するために画像情報内の特徴点位置が変化する、あるいは複数の撮像装置で撮影することにより各撮像装置から得られる画像情報内での特徴点の位置が変化する特徴点の対応付けを行う対応点の探索は、撮像装置から得られる画像情報を特徴点を結ぶ色境界線分から構成される２次元のＣＡＤデータに変換して、色境界線分が区分する少なくとも背景領域を除く領域内の特徴部位の類似度を比較して高いものを対応点候補として絞り込むようにしたことを特徴とする視覚情報処理装置。
【請求項５】
請求項４において、比較する特徴部位の類似度は、対応点候補から引いた他の特徴点までのベクトルの類似度、あるいはベクトルの類似度とベクトル先端の特徴点の有する色情報の類似度を用い類似度が高いものを対応点として絞り込む方法と組み合わせるようにしたことを特徴とする視覚情報処理装置。
【請求項６】
請求項４または５において、色境界線分の抽出は、輝度信号などの画像情報の変曲点の繋がりを色境界線分として行うようにしたことを特徴とする視覚画像処理装置。
【請求項７】
移動可能な撮像装置で物体を撮影して得た画像情報を入力して前記物体のＣＡＤデータを生成する画像情報処理装置と、生成したＣＡＤデータを記憶する記憶装置を備えた視覚情報処理装置において、
前記画像情報処理装置は、生成した新生ＣＡＤデータが既に生成されている既成ＣＡＤデータの更新対象となるかどうかを判別する更新対象判別処理機能と、更新対象となる既成ＣＡＤデータと新生ＣＡＤデータの精度を比較するＣＡＤデータ精度比較処理機能と、新生ＣＡＤデータの精度が更新対象となる既成ＣＡＤデータの精度よりも高いときには該既成ＣＡＤデータを新生ＣＡＤデータで更新するＣＡＤデータ更新処理機能を備え、
撮像装置から得られる画像情報を直接にあるいは間接的に取り込んで該画像情報内の特徴点を抽出する方法は、特徴点として線分の特徴点と、閉ループ図形の特徴点の両方を特徴点として抽出するようにしたことを特徴とする視覚情報処理装置。
【請求項８】
移動可能な撮像装置で物体を撮影して得た画像情報を入力して前記物体のＣＡＤデータを生成する画像情報処理装置と、生成したＣＡＤデータを記憶する記憶装置を備えた視覚情報処理装置において、
前記画像情報処理装置は、生成した新生ＣＡＤデータが既に生成されている既成ＣＡＤデータの更新対象となるかどうかを判別する更新対象判別処理機能と、更新対象となる既成ＣＡＤデータと新生ＣＡＤデータの精度を比較するＣＡＤデータ精度比較処理機能と、新生ＣＡＤデータの精度が更新対象となる既成ＣＡＤデータの精度よりも高いときには該既成ＣＡＤデータを新生ＣＡＤデータで更新するＣＡＤデータ更新処理機能を備え、
ＣＡＤデータに対応付けて撮像装置のカメラの撮影位置と画像情報（テクスチャ情報）を記録するようにしたことを特徴とする視覚情報処理装置。
【請求項９】
移動可能な撮像装置で物体を撮影して得た画像情報を入力して前記物体のＣＡＤデータを生成する画像情報処理装置と、生成したＣＡＤデータを記憶する記憶装置を備えた視覚情報処理装置において、
前記画像情報処理装置は、生成した新生ＣＡＤデータが既に生成されている既成ＣＡＤデータの更新対象となるかどうかを判別する更新対象判別処理機能と、更新対象となる既成ＣＡＤデータと新生ＣＡＤデータの精度を比較するＣＡＤデータ精度比較処理機能と、新生ＣＡＤデータの精度が更新対象となる既成ＣＡＤデータの精度よりも高いときには該既成ＣＡＤデータを新生ＣＡＤデータで更新するＣＡＤデータ更新処理機能を備え、
移動する撮像装置の位置または姿勢あるいはその両方を求める機能と、求めた位置情報または姿勢情報あるいはその両方を出力する機能を有することを特徴とする視覚情報処理装置。
【請求項１０】
請求項１〜９の１項において、前記画像情報処理装置は、ＣＡＤデータの探索指令信号を入力とし、その指令信号に基づきＣＡＤデータを探索する探索機能と、探索したＣＡＤデータの情報を出力する機能を有することを特徴とする視覚情報処理装置。
【請求項１１】
請求項１０において、３次元ＣＡＤデータを生成する範囲を指定する指令情報の入力インターフェースを有することを特徴とする視覚情報処理装置。
【請求項１２】
請求項１０または１１において、ＣＡＤデータの探索指令情報に２次元の探索指令を有することを特徴とする視覚情報処理装置。
【請求項１３】
請求項１０〜１２の１項において、探索機能は、探索する２次元あるいは３次元のＣＡＤデータの対応点候補から引いた他の特徴点までのベクトルの類似度、あるいはベクトルの類似度とベクトル先端の特徴点の有する色情報の類似度を用い類似度が高いものを対応点として絞り込む方法と組み合わせて実現するようにしたことを特徴とする視覚情報処理装置。
【請求項１４】
請求項１０〜１３の１項において、あらかじめ少なくとも３次元ＣＡＤデータの部品形状と各部品との結合条件をデータベースとして設けておき、探索時に当該データベースの情報より部品の結合条件の所定の規則に従って部品の結合条件を変えて探索ＣＡＤデータを生成して探索することを特徴とする視覚情報処理装置。
【請求項１５】
請求項１０〜１４の１項において、探索した物体に対する判断機能とその判断機能を使用するための指令情報を入力するインターフェースと判断結果の情報を出力するインターフェースを有することを特徴とする視覚情報処理装置。
【請求項１６】
移動検査装置において、
移動環境の３次元データをあらかじめ有する、あるいは移動しながら移動環境の３次元データを生成する手段と、移動する検査装置の位置または姿勢あるいはその両方を求める機能手段と、３次元ＣＡＤデータの中の撮像装置の位置情報より特定する検査対象部位に相当する３次元ＣＡＤデータの部位と対応付けして検査結果のデータを記録する機能手段を備えたことを特徴とする移動検査装置。
【請求項１７】
請求項１６において、あらかじめ移動検査装置の計画移動経路を設定する機能と、あらかじめ設定した計画移動経路と実際の移動経路の誤差を３次元ＣＡＤデータの中での撮像装置の位置情報より求める機能とその誤差を小さくするように移動検査装置の移動制御をおこなうためのルールを設定する機能とその移動制御のルールに基づき移動検査装置の移動制御を実行する制御部を設けたことを特徴とする移動検査装置。
【請求項１８】
撮像装置の画像情報を入力とし入力画像を処理して移動空間に存在する物体のＣＡＤデータを生成する視覚情報処理装置を備え、ロボットの動作する環境の３次元ＣＡＤデータを生成してＣＡＤデータの中のロボットの現在位置を特定する手段と、ロボットからの各種センサ信号よりロボットの現在の姿勢、動作状態を特定する手段と、前記ロボットの動作する環境の３次元ＣＡＤデータと前記ＣＡＤデータの中のロボットの現在位置と前記ロボットの現在の姿勢、動作状態をロボットのシミュレーションモデルへ反映する手段と、ロボットの動作をシミュレーションする手段と、そのシミュレーション手段に移動計画に基づくロボットの動作指令信号を入力する手段と、シミュレーション結果が所定の評価レベルになったか否かを判断する手段と、シミュレーション結果が所定の評価レベルに至らなかった場合にシミュレーション結果に基づきロボットへの動作指令信号を修正する手段とを設けて、所定の条件において最も評価レベルが良好なロボットへの動作指令信号をロボットへ出力するようにしたことを特徴とするロボットの制御装置。
【請求項１９】
請求項１８に記載した制御装置を備えたことを特徴とするロボット。
【請求項２０】
請求項１〜１７の１項に記載した視覚情報処理装置を備えたことを特徴とするマニピュレータ，移動ロボット，文字読み取り装置，物体認識装置，計測装置，ＣＡＤデータ生成装置，ナビゲーション装置，検査装置，ピッキング装置，自律制御型ロボット，監視装置，自動車，船，飛行機などのシステム。
【請求項２１】
１つまたは複数の端末から送られてくる情報を情報処理センタで統括監視する監視サービス提供システムにおいて、
ユーザからのリクエストにより監視対象ユーザを探索し、監視中は監視対象ユーザを追跡し、視対象監ユーザおよびその周辺を連続して監視するようにしたことを特徴とする監視サービス提供システム。
【請求項２２】
１台あるいは複数の端末から送られてくる情報をセンタで統括監視する監視サービス提供システムにおいて、
各端末には所定の期間の所定の情報を時刻と対応つけて記録しておく機能を設け、ユーザーからのリクエストにより所定の端末の所定の時刻の記録データを取り出せるようにしたことを特徴とする監視サービス提供スシステム。
【請求項２３】
前記請求項２１または２２において、監視中はユーザ周辺の人に監視サービス中であることを知らせる状態表現手段を設けることを特徴とした監視サービス提供システム。
【請求項２４】
前記請求項２１〜２３の１項において、監視中にユーザへ知らせる状況が発生した場合にはユーザあるいはユーザとその周辺の人にその情報を提供する手段を設けたことを特徴とする監視サービス提供システム。
【請求項２５】
センサ情報を取得するための端末装置において、あらかじめ複数箇所にセンサの設置ポートを設けておき、端末を組み立てるときに１セットあるいは複数セットのセンサを所定の個所の設置ポートに接続できる構成とすることを特徴としたセンサ情報を取得するための端末装置。

【図１】