布製品識別装置および布製品把持システム
【課題】容易且つ高精度で、布製品を識別できる布製品識別装置、および、該布製品識別装置を備えた布製品把持システムを得る。
【解決手段】布製品把持システム１００は、第１載置台４０Ａに置かれる布製品を把持した後にその把持した布製品を展開して第２載置台４０Ｂに静置するものであって、主に、布製品処理ロボット１０と、カメラ１６、第２載置台４０Ｂ、および制御部３０の一部（判定部）を含む布製品識別装置５０と、から構成される。判定部の主要部である布製品判定ソフトウェアは、カメラ１６で撮像して得た画像データの一部と、布製品の局所的な特徴部分ごとに予め設定した局所テンプレート画像データのそれぞれとが照合するか否か、画像データに照合した局所テンプレート画像データ同士の位置関係が予め設定した位置関係になっているか否かを判定する。
【解決手段】布製品把持システム１００は、第１載置台４０Ａに置かれる布製品を把持した後にその把持した布製品を展開して第２載置台４０Ｂに静置するものであって、主に、布製品処理ロボット１０と、カメラ１６、第２載置台４０Ｂ、および制御部３０の一部（判定部）を含む布製品識別装置５０と、から構成される。判定部の主要部である布製品判定ソフトウェアは、カメラ１６で撮像して得た画像データの一部と、布製品の局所的な特徴部分ごとに予め設定した局所テンプレート画像データのそれぞれとが照合するか否か、画像データに照合した局所テンプレート画像データ同士の位置関係が予め設定した位置関係になっているか否かを判定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、衣類、タオル、シーツ等の布製品の自動識別装置および自動把持システムに関する。
【背景技術】
【０００２】
近年、アパレル業界や、クリーニング業界、リネンサプライ業界、福祉業界、医療業界等から、布製品のハンドリング、例えば、布製品の搬送や、布製品の積み重ね、布製品の折り畳み等を全て自動で行うことが可能なロボットの開発を待ち望む声が聞かれる。
【０００３】
ところで、このような布製品の全自動ハンドリングを実現させるためには、先ず、個々の布製品を識別する技術を確立する必要がある。ここで、物を認識する技術については、現在までに様々な提案がなされている。
【０００４】
例えば、下記特許文献１において、領域を指定するという負担をユーザに課すことなく、加工処理が施されて部分的に絵柄の変化した画像から加工前の元画像を精度よく判定したり検索したりするために、加工処理が施された画像と加工前の元画像との間の画像類似度を高い値として算出することができる画像類似度算出システム、画像検索システム、画像類似度算出方法および画像類似度算出用プログラムが提案されている。
【０００５】
また、下記特許文献２においては、入力パターンの変動に対して頑健な識別が可能であり、誤識別が生じる可能性を低減させながら、より処理コストの少ないパターン認識を行うことが可能なパターン識別方法及びその装置、そのプログラムが提案されている。
【０００６】
また、下記特許文献３においては、重み情報付きマスクパターンを用いて、サーチ画像上の任意の位置で変動照合が必要かどうか判定でき、無駄なテンプレート変動による照合処理を削減でき、高速化が図れる画像のマッチング処理方法が提案されている。
【０００７】
また、下記特許文献４においては、抽出対象となるパターンの境界が不明確である場合においても、抽出対象となるパターンを精度良く抽出することが可能なパターン抽出装置が提案されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】国際公開第２００５／０８６０９２号
【特許文献２】特開２００７−０１１５７２号公報
【特許文献３】特開２００８−２９３０７３号公報
【特許文献４】特開２００５−３０２０５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、上記特許文献１〜４のものにおいては、変形しやすい衣類、シーツ類などの布製品を高精度で識別することは困難であった。
【００１０】
そこで、本発明の目的は、容易且つ高精度で、布製品を識別できる布製品識別装置、および、該布製品識別装置を備えた布製品把持システムを提供することである。
【課題を解決するための手段】
【００１１】
（１） 一局面に従う布製品識別装置は、布製品を撮像し、前記布製品の画像データを得る撮像部と、前記画像データの一部と、前記布製品の局所的な特徴部分ごとに予め設定した局所テンプレート画像データのそれぞれとが照合するか否か、且つ、前記画像データに照合した前記局所テンプレート画像データ同士の位置関係が予め設定した位置関係になっているか否かを判定する判定部と、を備えているものである。
【００１２】
上記（１）の構成によれば、布製品の特徴部分（例えば、衣類の襟、袖など）を認識するだけでなく、布製品の特徴部分同士の位置関係（例えば、衣類の襟と袖との位置関係）まで認識することが可能となることから、どの種類の布製品かを容易且つ高精度で識別することができる。また、仮に、無造作におかれた布製品に対しても、同様に、どの種類の布製品かを容易且つ高精度で識別することができる。
【００１３】
（２） 上記（１）の布製品識別装置においては、前記判定部において、前記判定の前に、前記画像データと、前記特徴部分を含む全体に又は大局的な特徴部分ごとに、予め設定した大局テンプレート画像データのそれぞれとが照合するか否か判定するものであってもよい。
【００１４】
上記（２）の構成によれば、判定部において、上記（１）での判定の前に、布製品の全体又は大局的な特徴部分についての判定をするので、どの種類の布製品かをさらに高精度で識別することができる。また、局所テンプレート画像データは、布製品の全体又は大局的な特徴部分を含む大局テンプレート画像データから分割して作成しておくので、局所テンプレート画像データの位置関係が入れ替わることや、隣接する局所テンプレート画像データの位置が互いに反転して認識されることがない。その結果として、布製品の局所的な特徴部分について認識する場合は、局所テンプレート画像データ同士の位置関係を指定した状態で、布製品の局所的な特徴部分について認識することが可能となることから、どの種類の布製品かをさらに高精度で識別することができる。
【００１５】
（３） 上記（２）の布製品識別装置においては、前記判定部において、前記画像データと前記局所テンプレート画像データとの照合判定を、前記画像データと前記大局テンプレート画像データとの照合領域内で実行することが好ましい。
【００１６】
布製品の局所的な特徴部分は、当然、布製品の全体又は大局的な特徴部分に含まれている。したがって、上記（３）の構成のように、判定部における判定において、局所テンプレート画像データを用いて照合する際の領域を、布製品の画像データと、大局テンプレート画像データとの照合領域に限定しておけば、誤認識を減らすことができる。その結果として、どの種類の布製品かをより迅速かつ高精度で識別することができる布製品識別装置を提供できる。
【００１７】
（４） 上記（１）又は（２）の布製品識別装置においては、前記判定部において、前記判定の前に、前記画像データと、予め前記布製品の輪郭形状を帯状に画像処理して得ておいた輪郭形状テンプレート画像データとが照合するか否か判定するものであってもよい。
【００１８】
上記（４）の構成によれば、形が変り易い布製品について、該布製品における帯状の輪郭形状を輪郭形状テンプレート画像データとして予め用意しておき、該輪郭形状テンプレート画像データと撮像して得た画像データとを照合し、上記（１）又は（２）の構成における各判定の前処理をしておくことで、どの種類の布製品かをより容易且つより高精度で識別することができる。特に、輪郭形状テンプレート画像データにおいては、細い線状の輪郭形状のテンプレート画像データを用いる場合に比べて、輪郭が曖昧になることから、高精度でどの種類の布製品かを識別することができる。また、輪郭形状テンプレート画像データにおいて、輪郭形状以外の部分を表示しないようにしておくことで、布製品に柄が付されている場合でも、柄を消すことができる場合があり、複雑な柄があったとしても影響を最小限にすることができ、高精度でどの種類の布製品かを識別することができる。
【００１９】
（５） 他の局面に従う布製品把持システムにおいては、上記（１）〜（４）のうちいずれか１つの布製品識別装置と、前記布製品を把持できるものであるとともに、前記布製品を落下させる又は広げることが可能な把持装置と、を備えているものである。
【００２０】
上記（５）の構成によれば、布製品識別装置によって布製品の特徴部分を容易且つ高精度で判別できているので、把持装置によって布製品の特徴部分を掴む、又は、布製品の特徴部分を基点として特定した他の位置を掴むことが容易となる。したがって、把持装置によって、布製品を置き直す又は布製品を広げることなどの操作を円滑に行うことが可能な布製品把持システムを提供できる。
【００２１】
（６） 上記（５）の布製品把持システムにおいては、前記把持装置によって前記布製品を把持し、所定位置において前記布製品を落下又は広げた後、前記判定部が、前記判定を実行するものであってもよい。
【００２２】
上記（６）の構成によれば、初期状態からの実行だけでなく、判定部による判定が一度実行された後に、布製品を置き直して、判定部による判定を再実行することも可能であることから、どの種類の布製品かの識別を再実行し、布製品の識別精度をさらに向上させることが可能である。
【図面の簡単な説明】
【００２３】
【図１】本発明の実施の形態に係る布製品把持システムの外観斜視図である。
【図２】本発明の実施の形態に係るコンピュータにおけるテンプレート画像データの生成処理の流れを示すフローチャートである。
【図３】本発明の実施の形態に係るテンプレート画像データの生成処理によって生成された大局テンプレート画像データ、局所テンプレート画像データの一例を示す写真である。
【図４】本発明の実施の形態に係るテンプレート画像データの生成処理によって生成された大局テンプレート画像データ、局所テンプレート画像データの他例を示す写真である。
【図５】本発明の実施の形態に係るコンピュータにおける輪郭形状テンプレート画像データの生成処理の流れを示すフローチャートである。
【図６】本発明の実施の形態に係るマスク画像データを生成する処理によって生成されたマスク画像データの一例を示す写真である。
【図７】本発明の実施の形態に係るコンピュータにおける布製品識別処理の流れを示すフローチャートである。
【図８】本発明の実施の形態に係るコンピュータにおけるテンプレートマッチング処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００２４】
以下、図１〜図８を参照して、本発明の実施の形態に係る布製品把持システムについて説明する。
【００２５】
本発明の実施の形態に係る布製品把持システム１００は、図１に示されるように、第１載置台４０Ａに置かれる布製品を把持した後にその把持した布製品を展開して第２載置台４０Ｂに静置するものであって、主に、布製品処理ロボット（把持装置）１０と、第２載置台４０Ｂ、および制御部３０の一部（判定部）を含む布製品識別装置５０と、から構成される。
【００２６】
以下、布製品処理ロボット１０、布製品識別装置５０についてそれぞれ詳述していく。
【００２７】
＜布製品処理ロボット＞
図１に示すように、布製品処理ロボット１０は、ロボットハンド２０、ロボットアーム１５、カメラ（撮像部）１６および制御部３０の一部からなる。図１においては、布製品処理ロボット１０を一対（２個）設けてあり、布製品処理ロボット１０の間に第１載置台４０Ａおよび第２載置台４０Ｂが設けられている。
【００２８】
図１に示すように、ロボットハンド２０は、ロボットアーム１５の先端側部分に回動自在に取り付けられている。したがって、ロボットアーム１５は、ロボットハンド２０を３次元空間内で自由自在に動かすことができる。また、カメラ１６は、ロボットアーム１５の上部からロボットハンド２０近傍を撮像できるように設けられている。
【００２９】
制御部３０は、カメラ１６により撮像されたデータに基づいて、ロボットアーム１５およびロボットハンド２０の動作を制御する。
【００３０】
＜布製品識別装置＞
布製品識別装置５０は、図１に示されるように、主に、第２載置台４０Ｂおよび制御部３０の一部（判定部）から構成される。なお、以下、第２載置台４０Ｂおよび制御部３０の一部（判定部）についてそれぞれ詳述していくが、制御部３０については、判定部以外の構成も説明する。
【００３１】
（１）第２載置台
第２載置台４０Ｂは、図１に示されるように、上部面に天板として設けられ、光線を透過するとともに布製品を載置可能な平面部４１と、平面部４１を固定支持する枠部材４２と、を有しているものである。
【００３２】
（２）制御部
制御部３０は、図１に示されるように、主に、本体、ディスプレイ、キーボードおよびマウスから構成されている。
【００３３】
本体は、マザーボードや、ＣＰＵ、メインメモリ、ハードディスク、ＵＳＢインターフェイスボードやＲＳ−２３２Ｃインターフェイスボード等を備えている。そして、ハードディスクには距離決定ソフトウェアや、布製品処理ロボット制御ソフトウェア、テンプレート画像データ生成ソフトウェア、布製品判定ソフトウェア（判定部の主要部）等のソフトウェアがインストールされており、これらのソフトウェアはＣＰＵやメインメモリ等によって実行される。
【００３４】
（距離決定ソフトウェアによる処理）
制御部３０は、２つのカメラ１６において同時に画像が生成されると、距離決定ソフトウェアにより、カメラ１６からそれらの画像のデータを収集する。次に、この制御部３０では、距離決定ソフトウェアにより、両面像の画素の対応関係がデータ化される。続いて、この制御部３０では、ステレオカメラ機能と画素対応関係データとに基づいて画像中の二次元画像座標点までの距離が求められる。その後、カメラモジュールにおいて、両面像中から最も似通った対象物を、画素間を横に移動しながら対応付けしていく。そして、全ての画素について検索が完了すると、画像中の対象物までの距離が求められる。
【００３５】
なお、このような手法は当業者に公知の手法であるため、これ以上詳細な説明は行わない。
【００３６】
（布製品処理ロボット制御ソフトウェアによる処理）
制御部３０では、布製品処理ロボット制御ソフトウェアにより、布製品の把持箇所が決定され、布製品処理ロボット１０の布製品の把持処理から布製品の静置処理までの一連の動作を実現する制御信号が生成され、その制御信号が逐次、布製品処理ロボット１０に送信される。
【００３７】
（テンプレート画像データ生成ソフトウェアによる処理）
制御部３０では、テンプレート画像データ生成ソフトウェアにより、後述する布製品判定ソフトウェアによる処理に用いる各種のテンプレート画像データの生成処理を行う。以下、図２〜図５を用いつつ、各種のテンプレート画像データの生成処理について説明する。
【００３８】
まず、カメラ１６を用いて、展開した各種の布製品（Ｔシャツ、ズボン、シーツなど）の全体を撮像し、布製品の全体画像データを予め制御部３０のハードディスク内に格納しておく。そして、図２に示したように、格納されている布製品の全体画像データのそれぞれを呼び出して（ステップＳ１）、各布製品の全体及び各布製品の大局的な特徴部分ごとに大局テンプレート画像データを生成する（ステップＳ２）とともに、各布製品の局所的な特徴部分ごとに局所テンプレート画像データを生成する（ステップＳ３）。
【００３９】
ここで、大局テンプレート画像データ、局所テンプレート画像データの一例を挙げる。布製品全体の大局テンプレート画像データとしては、例えば、図３（ａ）に示したような布製品（いわゆるＴシャツ）の画像データが挙げられる。布製品の大局テンプレート画像データとしては、図３（ｂ）に示したように、図３（ａ）の画像データを４分割したうち、布製品の特徴部分（ここでは、Ｔシャツの袖、襟など）が含まれる上半分の２つのそれぞれ（画像データＡ１、Ｂ１）が挙げられる。なお、他の布製品の部分と誤認識が生じやすい下半分の２つの画像データは、採用していない。布製品の局所テンプレート画像データとしては、図３（ｃ）に示したように、図３（ｂ）の画像データそれぞれを４分割したうち、内側の２つを除いた画面データのそれぞれ（画像データＡ１ａ、Ａ１ｂ、Ａ１ｃ、Ｂ１ａ、Ｂ１ｂ、Ｂ１ｃ）が挙げられる。なお、該内側の２つの画像データは、特徴となる部分が少なく、他の布製品の部分と類似する形状を有しており、誤認識が生じやすくなるため、採用していない。
【００４０】
また、他の布製品について、以下のような大局テンプレート画像データ、局所テンプレート画像データの例がある。例えば、布製品全体の大局テンプレート画像データとしては、図４（ａ）に示したような布製品（いわゆるズボン）の画像データが挙げられる。布製品の大局テンプレート画像データとしては、図４（ｂ）に示したように、図４（ａ）の画像データを左右半分ずつに分割したもののそれぞれ（画像データＡ２、Ｂ２）が挙げられる。布製品の局所テンプレート画像データとしては、図４（ｃ）に示したように、図４（ｂ）の画像データのうち、腰周り部分を取り出して得た画面データのそれぞれ（画像データＡ２ａ、Ｂ２ａ）、裾部分を取り出して得た画面データのそれぞれ（画像データＡ２ｂ、Ｂ２ｂ）が挙げられる。
【００４１】
次に、上述した大局テンプレート画像データごとに、テンプレートマッチングの前処理の一つとして、精画像データ及び粗画像データを生成する（ステップＳ４）。具体的には、精画像を生成する場合、大局テンプレート画像データごとに、カラー画像からグレー画像に変換する。また、粗画像を生成する場合、大局的なテンプレート画像データごとに、カラー画像からグレー画像に変換するとともに、最大濃度値検出によってぼかした画像に加工し、曖昧な画像を生成する。なお、グレー画像に変換するのは、カラー画像から情報量を減らすためであるので、最初からグレー画像である場合には、行う必要がないのは言うまでもない。なお、各局所テンプレート画像データにおいても、大局テンプレート画像データに対して行った同様の処理を行って、精画像データ及び粗画像データを生成する。
【００４２】
続いて、生成した精画像データ及び粗画像データにおける精画像及び粗画像はコントラストになっているので、情報量を減らすために白及び黒だけの二値画像に変換して、二値画像データを生成する処理を行う（ステップＳ５）。以下の処理については、二値画像に変換した精画像データ及び粗画像データそれぞれについて行う。
【００４３】
次に、布製品ＣＬの輪郭形状が帯状となっている輪郭形状テンプレート画像データの生成処理を行う（ステップＳ６）。ここで、図５を用いて、輪郭形状テンプレート画像データの生成処理について詳述する。
【００４４】
まず、画像から必要な部分だけを残すために、二値画像内の白の領域を物体としてラベリング処理を行う（領域の番号付け）（ステップＰ１）。特に、画像データを白の領域が大きい順に並べながらラベリングを行う。ここで、最大領域を有した画像データが布製品全体の画像になるので、この最大領域を有した画像データをラベル画像データとして抽出する。
【００４５】
次に、抽出したラベル画像データにおける画像の輪郭を追跡し、画像の輪郭だけを残した画像に加工して、輪郭画像データを生成する処理を行う（ステップＰ２）。
【００４６】
続いて、輪郭画像データにおける輪郭画像の輪郭を外側に膨張させ、膨張輪郭画像データを生成する（ステップＰ３）。
【００４７】
続いて、ラベル画像データにおける画像を内側に収縮させ、収縮ラベル画像データを生成する（ステップＰ４）。
【００４８】
続いて、排他的論理和による処理画像データを生成する（ステップＰ５）。具体的には、ステップＰ３で生成した膨張輪郭画像データと、ステップＰ４で生成した収縮ラベル画像データとの差分処理を行って得た画像の輪郭を外側及び内側へ均等に膨張させた画像データを得る。該画像データの画像から白の領域のみ抜き取りをする。
【００４９】
続いて、マスク画像データを生成する処理を行う（ステップＰ６）。具体的には、ステップＳ５で生成した二値画像データにおける画像に、ステップＰ５で生成した画像データにおける画像を重ね合わせてマスク画像処理し、マスク画像データを生成する。例えば、図６（ａ）の画像を有したマスク画像データから、図６（ｂ）に示したようなマスク画像を生成し、該マスク画像を有したマスク画像データを生成する。なお、このようにして得た大局テンプレート画像データ及び局所テンプレート画像データのマスク画像データを、後述するテンプレートマッチングに用いるテンプレート画像データとする。
【００５０】
次に、回転テンプレート画像データを生成する処理を行う（図２：ステップＳ７）。具体的には、マスク画像データのそれぞれについて、画像中央を中心として１°ずつ回転させ３６０枚の画像を作成し、各画像について回転テンプレート画像データを生成し、テンプレート画像データ生成ソフトウェアによる処理を終了する。なお、テンプレート画像データ生成ソフトウェアによる処理の終了後、各回転テンプレート画像データは、制御部３０に含まれる画像処理ボード（図示せず）に転送され、データ登録を行う。
【００５１】
（布製品判定ソフトウェアによる処理）
制御部３０では、布製品判定ソフトウェア（判定部の主要部）により、どの種類の布製品であるかを識別する処理（布製品識別処理）を行う。以下、図７、図８を用いつつ、布製品識別処理について説明する。
【００５２】
先ず、布製品処理ロボット１０によって第２載置台４０Ｂの平面部４１上に載置された布製品ＣＬを撮像する処理を行うように、カメラ１６を制御するための制御信号が生成され、その制御信号がカメラ１６に送信され、カメラ１６が布製品ＣＬを撮像し、布製品ＣＬの画像データを生成する（ステップＱ１）。
【００５３】
次に、布製品ＣＬを撮像して得た画像データと、画像処理ボード（図示せず）に登録されているテンプレート画像データとのマッチング処理（テンプレートマッチング処理）を行う（ステップＱ２）。ここで、テンプレートマッチング処理について、図８を用いて説明する。
【００５４】
先ず、布製品ＣＬを撮像して得た画像データの全領域に対して、上述の回転テンプレート画像データのうち大局テンプレート画像データに係るもの全てとの照合処理（画像データの照合１）を行う（ステップＲ１）。次に、照合処理中に、布製品ＣＬを撮像して得た画像データと回転テンプレート画像データとの相関データ、回転テンプレート画像データの角度データ、照合処理で得た領域の位置データ、布製品ＣＬを撮像して得た画像データと回転テンプレート画像データとの画像濃度差データ、布製品ＣＬを撮像して得た画像データと回転テンプレート画像データとの面積差のデータなどのマッチングデータ（照合データ）を取得し（ステップＲ２）、取得したデータから最も大きい相関画像を有した最大相関画像データを抽出する（ステップＲ３）。
【００５５】
次に、上述の最大相関画像データから、局所領域の探索範囲を限定する探索領域の指定処理を行う（ステップＲ４）。なお、最大相関画像データは大局テンプレート画像データの一つでもあるが、局所テンプレート画像データは大局テンプレート画像データから生成しているので、大局テンプレート画像データを基に局所領域の探索範囲を限定することが可能である。ここでは、最大相関画像データの画像の座標位置を中心として、最大相関画像データの画像より少し広い範囲を局所領域の探索範囲として指定する。また、局所テンプレート画像データは大局テンプレート画像データを分割して生成したものであるので、局所テンプレート画像データ同士の位置関係が反転したり入れ替わったりすることはないので、探索位置を限定する。
【００５６】
続いて、上述の最大相関画像データの画像の角度データを基に、角度の指定処理を行う（ステップＲ５）。ここでは、上述の最大相関画像データにおける画像角度データから±１０°を探索範囲として指定する。
【００５７】
続いて、布製品ＣＬを撮像して得た画像データの画像領域のうちステップＲ４、Ｒ５によって絞り込んだ領域に対して、上述の最大相関画像データの画像領域内の局所テンプレート画像データに係るもの全てとの照合処理（画像データの照合２）を行って、（ステップＲ６）、上述の最大相関画像データよりも相関の高い最高相関画像データを抽出する（ステップＲ７）。
【００５８】
次に、下記（２）の条件式による判定が正解かどうか判定する（図７：ステップＱ３）。具体的には、同じ領域内で生成された大局テンプレート画像データと局所テンプレート画像データとを用いて、条件式（２）にそれぞれを係数として当てはめ、認識率を算出する。正解でないと判定された場合（ステップＱ３：Ｎｏ）、布製品ＣＬの画像データから得た輪郭データから、布製品ＣＬの角部を探索して布製品処理ロボット１０によって把持し、布製品ＣＬを展開した上で、ステップＱ２に戻り、再度、テンプレートマッチング処理を行って、正解であると判定されるまで処理を繰り返す。下記（２）の条件式による判定が正解である場合（ステップＱ３：Ｙｅｓ）、その結果から、どの布製品であるかを識別することができるとともに、布製品のどの部分であるかまで判定される。正解判定後、布製品識別処理は終了する。なお、下記（２）の条件式における「ｒｇ」は、布製品ＣＬを撮像して得た画像データの画像領域の全体又は大局領域と、大局テンプレート画像データとの相関値である。また、「ｒｓ」は、布製品ＣＬを撮像して得た画像データの画像領域の局所領域と、局所テンプレート画像データとの相関値である。「ｒｓ１
ｍａｘ」は、布製品ＣＬを撮像して得た画像データの画像領域の局所領域と、局所テンプレート画像データとの最高相関値である。「ｒｓ２ ｍａｘ」は、前述の最高相関値に次いで高い相関値のことである。
【００５９】
J＝[α×ｒｇ+β×(ｒｓ１ ｍａｘ∈(ｒｓ)+ｒｓ２ ｍａｘ∈(ｒｓ))／２]／（α＋β） （２）
（α＝∈Ｍ１ β＝∈Ｍ２ Ｊ≧∈Ｍ３）
【００６０】
なお、上述の布製品判定ソフトウェアによる布製品識別処理が終了した後、布製品ＣＬを所定の場所に移動させるために、布製品把持システム１００における布製品処理ロボット１０の動作を制御する。具体的には、以下のように制御する。
【００６１】
まず、上記動作制御の前に、予め上述の大局テンプレート画像データ及び局所テンプレート画像データごとに、布製品処理ロボット１０のロボットハンド２０で把持する位置を決めておく。次に、上述の布製品識別処理によって認識された位置データから領域を指定し、第２載置台４０Ｂの平面部４１上に載置された布製品ＣＬの輪郭データを取得する。取得した輪郭データから把持する位置を指定し、制御信号を送信して、一方のロボットハンド２０に布製品を把持させる。一方のロボットハンド２０で把持した状態で、さらに布製品ＣＬの輪郭をたどり、他方のロボットハンド２０で把持するための最適な位置を、上述のテンプレートマッチング処理によって検出する。該検出後、制御信号を送信して、他方のロボットハンド２０で把持し、布製品ＣＬを所定の場所に所定の方向へ向けて移動させる。
【００６２】
＜布製品識別装置を備えた布製品把持システムの特徴＞
本発明の実施の形態に係る布製品把持システム１００は、以下のような特徴を有した布製品識別装置５０を備えたものである。すなわち、布製品識別装置５０は、布製品ＣＬの特徴部分（例えば、衣類の襟、袖など）を認識するだけでなく、布製品ＣＬの特徴部分同士の位置関係（例えば、衣類の襟と袖との位置関係）まで認識することが可能となることから、どの種類の布製品かを容易且つ高精度で識別することができる。また、仮に、無造作におかれた布製品ＣＬに対しても、同様に、どの種類の布製品かを容易且つ高精度で識別することができる。
【００６３】
また、布製品識別装置５０は、制御部３０内の布製品判定ソフトウェア（判定部の主要部）において、撮像して得た画像データの一部と、布製品ＣＬの局所的な特徴部分ごとに予め設定した局所テンプレート画像データのそれぞれとが照合するか否か、且つ、画像データに照合した局所テンプレート画像データ同士の位置関係が予め設定した位置関係になっているか否か判定する前に、布製品ＣＬの全体又は大局的な特徴部分についての判定をすることで、どの種類の布製品かをさらに高精度で識別することができるものである。また、局所テンプレート画像データは、布製品ＣＬの全体又は大局的な特徴部分を含む大局テンプレート画像データから分割して作成しておくので、局所テンプレート画像データの位置関係が入れ替わることや、隣接する局所テンプレート画像データの位置が互いに反転して認識されることがない。その結果として、布製品ＣＬの局所的な特徴部分について認識する場合は、局所テンプレート画像データ同士の位置関係を指定した状態で、布製品ＣＬの局所的な特徴部分について認識することが可能となることから、どの種類の布製品かをさらに高精度で識別することができる。
【００６４】
また、布製品ＣＬの局所的な特徴部分は、当然、布製品ＣＬの全体又は大局的な特徴部分に含まれている。したがって、制御部３０内の布製品判定ソフトウェア（判定部の主要部）における判定において、局所テンプレート画像データを用いて照合する際の領域を、布製品の画像データと、大局テンプレート画像データとの照合領域に限定しておくので、誤認識を減らすことができる。その結果として、どの種類の布製品かをより迅速かつ高精度で識別することができる布製品識別装置５０を提供できる。
【００６５】
また、形が変り易い布製品ＣＬについて、布製品ＣＬにおける帯状の輪郭形状を輪郭形状テンプレート画像データとして予め用意しておき、該輪郭形状テンプレート画像データと撮像して得た画像データとを照合し、布製品判定ソフトウェア（判定部の主要部）における各判定の前処理をしておくことで、どの種類の布製品かをより容易且つより高精度で識別することができる。特に、輪郭形状テンプレート画像データにおいては、細い線状の輪郭形状のテンプレート画像データを用いる場合に比べて、輪郭が曖昧になることから、高精度でどの種類の布製品かを識別することができる。また、輪郭形状テンプレート画像データにおいて、輪郭形状以外の部分を表示しないようにしておくことで、布製品ＣＬに柄が付されている場合でも、柄を消すことができる場合があり、複雑な柄があったとしても影響を最小限にすることができ、高精度でどの種類の布製品かを識別することができる。
【００６６】
本発明の実施の形態に係る布製品把持システム１００では、布製品識別装置５０によって布製品の特徴部分を容易且つ高精度で判別できているので、布製品処理ロボット１０（把持装置）によって布製品ＣＬの特徴部分を掴む、又は、布製品ＣＬの特徴部分を基点として特定した他の位置を掴むことが容易となる。したがって、布製品処理ロボット１０（把持装置）によって、布製品ＣＬを置き直す又は布製品ＣＬを広げることなどの操作を円滑に行うことが可能な布製品把持システム１００を提供できる。
【００６７】
また、布製品把持システム１００においては、布製品処理ロボット１０（把持装置）によって布製品ＣＬを把持し、所定位置において布製品ＣＬを落下又は広げた後、布製品判定ソフトウェア（判定部の主要部）が、各判定を実行するものである。これにより、初期状態からの実行だけでなく、布製品判定ソフトウェア（判定部の主要部）による各判定が一度実行された後に、布製品ＣＬを置き直して、各判定を再実行することも可能であることから、どの種類の布製品かの識別を再実行し、布製品の識別精度をさらに向上させることが可能である。
【００６８】
＜変形例＞
なお、本発明は、特許請求の範囲を逸脱しない範囲で設計変更できるものであり、上記実施形態に限定されるものではない。例えば、下記の変形例がある。
【００６９】
（Ａ） 上記実施の形態に係る布製品識別装置５０における各ソフトウェアによる処理の順序は、本発明の趣旨を変えない範囲で適宜変更されてもよい。
【００７０】
（Ｂ） 上記実施の形態においては、カメラ１６を用いたが、布製品ＣＬの把持をするだけであるなら、カメラ１６の代わりに、布製品ＣＬの位置を認識するとともに該位置の情報を、制御部３０に送信可能なセンサーを用いてもよい。
【符号の説明】
【００７１】
１０ 布製品処理ロボット
１５ ロボットアーム
１６ カメラ
２０ ロボットハンド
３０ 制御部
４０Ａ 第１載置台
４０Ｂ 第２載置台
４１ 平面部
４２ 枠部材
５０ 布製品識別装置
１００ 布製品把持システム
【技術分野】
【０００１】
本発明は、衣類、タオル、シーツ等の布製品の自動識別装置および自動把持システムに関する。
【背景技術】
【０００２】
近年、アパレル業界や、クリーニング業界、リネンサプライ業界、福祉業界、医療業界等から、布製品のハンドリング、例えば、布製品の搬送や、布製品の積み重ね、布製品の折り畳み等を全て自動で行うことが可能なロボットの開発を待ち望む声が聞かれる。
【０００３】
ところで、このような布製品の全自動ハンドリングを実現させるためには、先ず、個々の布製品を識別する技術を確立する必要がある。ここで、物を認識する技術については、現在までに様々な提案がなされている。
【０００４】
例えば、下記特許文献１において、領域を指定するという負担をユーザに課すことなく、加工処理が施されて部分的に絵柄の変化した画像から加工前の元画像を精度よく判定したり検索したりするために、加工処理が施された画像と加工前の元画像との間の画像類似度を高い値として算出することができる画像類似度算出システム、画像検索システム、画像類似度算出方法および画像類似度算出用プログラムが提案されている。
【０００５】
また、下記特許文献２においては、入力パターンの変動に対して頑健な識別が可能であり、誤識別が生じる可能性を低減させながら、より処理コストの少ないパターン認識を行うことが可能なパターン識別方法及びその装置、そのプログラムが提案されている。
【０００６】
また、下記特許文献３においては、重み情報付きマスクパターンを用いて、サーチ画像上の任意の位置で変動照合が必要かどうか判定でき、無駄なテンプレート変動による照合処理を削減でき、高速化が図れる画像のマッチング処理方法が提案されている。
【０００７】
また、下記特許文献４においては、抽出対象となるパターンの境界が不明確である場合においても、抽出対象となるパターンを精度良く抽出することが可能なパターン抽出装置が提案されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】国際公開第２００５／０８６０９２号
【特許文献２】特開２００７−０１１５７２号公報
【特許文献３】特開２００８−２９３０７３号公報
【特許文献４】特開２００５−３０２０５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、上記特許文献１〜４のものにおいては、変形しやすい衣類、シーツ類などの布製品を高精度で識別することは困難であった。
【００１０】
そこで、本発明の目的は、容易且つ高精度で、布製品を識別できる布製品識別装置、および、該布製品識別装置を備えた布製品把持システムを提供することである。
【課題を解決するための手段】
【００１１】
（１） 一局面に従う布製品識別装置は、布製品を撮像し、前記布製品の画像データを得る撮像部と、前記画像データの一部と、前記布製品の局所的な特徴部分ごとに予め設定した局所テンプレート画像データのそれぞれとが照合するか否か、且つ、前記画像データに照合した前記局所テンプレート画像データ同士の位置関係が予め設定した位置関係になっているか否かを判定する判定部と、を備えているものである。
【００１２】
上記（１）の構成によれば、布製品の特徴部分（例えば、衣類の襟、袖など）を認識するだけでなく、布製品の特徴部分同士の位置関係（例えば、衣類の襟と袖との位置関係）まで認識することが可能となることから、どの種類の布製品かを容易且つ高精度で識別することができる。また、仮に、無造作におかれた布製品に対しても、同様に、どの種類の布製品かを容易且つ高精度で識別することができる。
【００１３】
（２） 上記（１）の布製品識別装置においては、前記判定部において、前記判定の前に、前記画像データと、前記特徴部分を含む全体に又は大局的な特徴部分ごとに、予め設定した大局テンプレート画像データのそれぞれとが照合するか否か判定するものであってもよい。
【００１４】
上記（２）の構成によれば、判定部において、上記（１）での判定の前に、布製品の全体又は大局的な特徴部分についての判定をするので、どの種類の布製品かをさらに高精度で識別することができる。また、局所テンプレート画像データは、布製品の全体又は大局的な特徴部分を含む大局テンプレート画像データから分割して作成しておくので、局所テンプレート画像データの位置関係が入れ替わることや、隣接する局所テンプレート画像データの位置が互いに反転して認識されることがない。その結果として、布製品の局所的な特徴部分について認識する場合は、局所テンプレート画像データ同士の位置関係を指定した状態で、布製品の局所的な特徴部分について認識することが可能となることから、どの種類の布製品かをさらに高精度で識別することができる。
【００１５】
（３） 上記（２）の布製品識別装置においては、前記判定部において、前記画像データと前記局所テンプレート画像データとの照合判定を、前記画像データと前記大局テンプレート画像データとの照合領域内で実行することが好ましい。
【００１６】
布製品の局所的な特徴部分は、当然、布製品の全体又は大局的な特徴部分に含まれている。したがって、上記（３）の構成のように、判定部における判定において、局所テンプレート画像データを用いて照合する際の領域を、布製品の画像データと、大局テンプレート画像データとの照合領域に限定しておけば、誤認識を減らすことができる。その結果として、どの種類の布製品かをより迅速かつ高精度で識別することができる布製品識別装置を提供できる。
【００１７】
（４） 上記（１）又は（２）の布製品識別装置においては、前記判定部において、前記判定の前に、前記画像データと、予め前記布製品の輪郭形状を帯状に画像処理して得ておいた輪郭形状テンプレート画像データとが照合するか否か判定するものであってもよい。
【００１８】
上記（４）の構成によれば、形が変り易い布製品について、該布製品における帯状の輪郭形状を輪郭形状テンプレート画像データとして予め用意しておき、該輪郭形状テンプレート画像データと撮像して得た画像データとを照合し、上記（１）又は（２）の構成における各判定の前処理をしておくことで、どの種類の布製品かをより容易且つより高精度で識別することができる。特に、輪郭形状テンプレート画像データにおいては、細い線状の輪郭形状のテンプレート画像データを用いる場合に比べて、輪郭が曖昧になることから、高精度でどの種類の布製品かを識別することができる。また、輪郭形状テンプレート画像データにおいて、輪郭形状以外の部分を表示しないようにしておくことで、布製品に柄が付されている場合でも、柄を消すことができる場合があり、複雑な柄があったとしても影響を最小限にすることができ、高精度でどの種類の布製品かを識別することができる。
【００１９】
（５） 他の局面に従う布製品把持システムにおいては、上記（１）〜（４）のうちいずれか１つの布製品識別装置と、前記布製品を把持できるものであるとともに、前記布製品を落下させる又は広げることが可能な把持装置と、を備えているものである。
【００２０】
上記（５）の構成によれば、布製品識別装置によって布製品の特徴部分を容易且つ高精度で判別できているので、把持装置によって布製品の特徴部分を掴む、又は、布製品の特徴部分を基点として特定した他の位置を掴むことが容易となる。したがって、把持装置によって、布製品を置き直す又は布製品を広げることなどの操作を円滑に行うことが可能な布製品把持システムを提供できる。
【００２１】
（６） 上記（５）の布製品把持システムにおいては、前記把持装置によって前記布製品を把持し、所定位置において前記布製品を落下又は広げた後、前記判定部が、前記判定を実行するものであってもよい。
【００２２】
上記（６）の構成によれば、初期状態からの実行だけでなく、判定部による判定が一度実行された後に、布製品を置き直して、判定部による判定を再実行することも可能であることから、どの種類の布製品かの識別を再実行し、布製品の識別精度をさらに向上させることが可能である。
【図面の簡単な説明】
【００２３】
【図１】本発明の実施の形態に係る布製品把持システムの外観斜視図である。
【図２】本発明の実施の形態に係るコンピュータにおけるテンプレート画像データの生成処理の流れを示すフローチャートである。
【図３】本発明の実施の形態に係るテンプレート画像データの生成処理によって生成された大局テンプレート画像データ、局所テンプレート画像データの一例を示す写真である。
【図４】本発明の実施の形態に係るテンプレート画像データの生成処理によって生成された大局テンプレート画像データ、局所テンプレート画像データの他例を示す写真である。
【図５】本発明の実施の形態に係るコンピュータにおける輪郭形状テンプレート画像データの生成処理の流れを示すフローチャートである。
【図６】本発明の実施の形態に係るマスク画像データを生成する処理によって生成されたマスク画像データの一例を示す写真である。
【図７】本発明の実施の形態に係るコンピュータにおける布製品識別処理の流れを示すフローチャートである。
【図８】本発明の実施の形態に係るコンピュータにおけるテンプレートマッチング処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００２４】
以下、図１〜図８を参照して、本発明の実施の形態に係る布製品把持システムについて説明する。
【００２５】
本発明の実施の形態に係る布製品把持システム１００は、図１に示されるように、第１載置台４０Ａに置かれる布製品を把持した後にその把持した布製品を展開して第２載置台４０Ｂに静置するものであって、主に、布製品処理ロボット（把持装置）１０と、第２載置台４０Ｂ、および制御部３０の一部（判定部）を含む布製品識別装置５０と、から構成される。
【００２６】
以下、布製品処理ロボット１０、布製品識別装置５０についてそれぞれ詳述していく。
【００２７】
＜布製品処理ロボット＞
図１に示すように、布製品処理ロボット１０は、ロボットハンド２０、ロボットアーム１５、カメラ（撮像部）１６および制御部３０の一部からなる。図１においては、布製品処理ロボット１０を一対（２個）設けてあり、布製品処理ロボット１０の間に第１載置台４０Ａおよび第２載置台４０Ｂが設けられている。
【００２８】
図１に示すように、ロボットハンド２０は、ロボットアーム１５の先端側部分に回動自在に取り付けられている。したがって、ロボットアーム１５は、ロボットハンド２０を３次元空間内で自由自在に動かすことができる。また、カメラ１６は、ロボットアーム１５の上部からロボットハンド２０近傍を撮像できるように設けられている。
【００２９】
制御部３０は、カメラ１６により撮像されたデータに基づいて、ロボットアーム１５およびロボットハンド２０の動作を制御する。
【００３０】
＜布製品識別装置＞
布製品識別装置５０は、図１に示されるように、主に、第２載置台４０Ｂおよび制御部３０の一部（判定部）から構成される。なお、以下、第２載置台４０Ｂおよび制御部３０の一部（判定部）についてそれぞれ詳述していくが、制御部３０については、判定部以外の構成も説明する。
【００３１】
（１）第２載置台
第２載置台４０Ｂは、図１に示されるように、上部面に天板として設けられ、光線を透過するとともに布製品を載置可能な平面部４１と、平面部４１を固定支持する枠部材４２と、を有しているものである。
【００３２】
（２）制御部
制御部３０は、図１に示されるように、主に、本体、ディスプレイ、キーボードおよびマウスから構成されている。
【００３３】
本体は、マザーボードや、ＣＰＵ、メインメモリ、ハードディスク、ＵＳＢインターフェイスボードやＲＳ−２３２Ｃインターフェイスボード等を備えている。そして、ハードディスクには距離決定ソフトウェアや、布製品処理ロボット制御ソフトウェア、テンプレート画像データ生成ソフトウェア、布製品判定ソフトウェア（判定部の主要部）等のソフトウェアがインストールされており、これらのソフトウェアはＣＰＵやメインメモリ等によって実行される。
【００３４】
（距離決定ソフトウェアによる処理）
制御部３０は、２つのカメラ１６において同時に画像が生成されると、距離決定ソフトウェアにより、カメラ１６からそれらの画像のデータを収集する。次に、この制御部３０では、距離決定ソフトウェアにより、両面像の画素の対応関係がデータ化される。続いて、この制御部３０では、ステレオカメラ機能と画素対応関係データとに基づいて画像中の二次元画像座標点までの距離が求められる。その後、カメラモジュールにおいて、両面像中から最も似通った対象物を、画素間を横に移動しながら対応付けしていく。そして、全ての画素について検索が完了すると、画像中の対象物までの距離が求められる。
【００３５】
なお、このような手法は当業者に公知の手法であるため、これ以上詳細な説明は行わない。
【００３６】
（布製品処理ロボット制御ソフトウェアによる処理）
制御部３０では、布製品処理ロボット制御ソフトウェアにより、布製品の把持箇所が決定され、布製品処理ロボット１０の布製品の把持処理から布製品の静置処理までの一連の動作を実現する制御信号が生成され、その制御信号が逐次、布製品処理ロボット１０に送信される。
【００３７】
（テンプレート画像データ生成ソフトウェアによる処理）
制御部３０では、テンプレート画像データ生成ソフトウェアにより、後述する布製品判定ソフトウェアによる処理に用いる各種のテンプレート画像データの生成処理を行う。以下、図２〜図５を用いつつ、各種のテンプレート画像データの生成処理について説明する。
【００３８】
まず、カメラ１６を用いて、展開した各種の布製品（Ｔシャツ、ズボン、シーツなど）の全体を撮像し、布製品の全体画像データを予め制御部３０のハードディスク内に格納しておく。そして、図２に示したように、格納されている布製品の全体画像データのそれぞれを呼び出して（ステップＳ１）、各布製品の全体及び各布製品の大局的な特徴部分ごとに大局テンプレート画像データを生成する（ステップＳ２）とともに、各布製品の局所的な特徴部分ごとに局所テンプレート画像データを生成する（ステップＳ３）。
【００３９】
ここで、大局テンプレート画像データ、局所テンプレート画像データの一例を挙げる。布製品全体の大局テンプレート画像データとしては、例えば、図３（ａ）に示したような布製品（いわゆるＴシャツ）の画像データが挙げられる。布製品の大局テンプレート画像データとしては、図３（ｂ）に示したように、図３（ａ）の画像データを４分割したうち、布製品の特徴部分（ここでは、Ｔシャツの袖、襟など）が含まれる上半分の２つのそれぞれ（画像データＡ１、Ｂ１）が挙げられる。なお、他の布製品の部分と誤認識が生じやすい下半分の２つの画像データは、採用していない。布製品の局所テンプレート画像データとしては、図３（ｃ）に示したように、図３（ｂ）の画像データそれぞれを４分割したうち、内側の２つを除いた画面データのそれぞれ（画像データＡ１ａ、Ａ１ｂ、Ａ１ｃ、Ｂ１ａ、Ｂ１ｂ、Ｂ１ｃ）が挙げられる。なお、該内側の２つの画像データは、特徴となる部分が少なく、他の布製品の部分と類似する形状を有しており、誤認識が生じやすくなるため、採用していない。
【００４０】
また、他の布製品について、以下のような大局テンプレート画像データ、局所テンプレート画像データの例がある。例えば、布製品全体の大局テンプレート画像データとしては、図４（ａ）に示したような布製品（いわゆるズボン）の画像データが挙げられる。布製品の大局テンプレート画像データとしては、図４（ｂ）に示したように、図４（ａ）の画像データを左右半分ずつに分割したもののそれぞれ（画像データＡ２、Ｂ２）が挙げられる。布製品の局所テンプレート画像データとしては、図４（ｃ）に示したように、図４（ｂ）の画像データのうち、腰周り部分を取り出して得た画面データのそれぞれ（画像データＡ２ａ、Ｂ２ａ）、裾部分を取り出して得た画面データのそれぞれ（画像データＡ２ｂ、Ｂ２ｂ）が挙げられる。
【００４１】
次に、上述した大局テンプレート画像データごとに、テンプレートマッチングの前処理の一つとして、精画像データ及び粗画像データを生成する（ステップＳ４）。具体的には、精画像を生成する場合、大局テンプレート画像データごとに、カラー画像からグレー画像に変換する。また、粗画像を生成する場合、大局的なテンプレート画像データごとに、カラー画像からグレー画像に変換するとともに、最大濃度値検出によってぼかした画像に加工し、曖昧な画像を生成する。なお、グレー画像に変換するのは、カラー画像から情報量を減らすためであるので、最初からグレー画像である場合には、行う必要がないのは言うまでもない。なお、各局所テンプレート画像データにおいても、大局テンプレート画像データに対して行った同様の処理を行って、精画像データ及び粗画像データを生成する。
【００４２】
続いて、生成した精画像データ及び粗画像データにおける精画像及び粗画像はコントラストになっているので、情報量を減らすために白及び黒だけの二値画像に変換して、二値画像データを生成する処理を行う（ステップＳ５）。以下の処理については、二値画像に変換した精画像データ及び粗画像データそれぞれについて行う。
【００４３】
次に、布製品ＣＬの輪郭形状が帯状となっている輪郭形状テンプレート画像データの生成処理を行う（ステップＳ６）。ここで、図５を用いて、輪郭形状テンプレート画像データの生成処理について詳述する。
【００４４】
まず、画像から必要な部分だけを残すために、二値画像内の白の領域を物体としてラベリング処理を行う（領域の番号付け）（ステップＰ１）。特に、画像データを白の領域が大きい順に並べながらラベリングを行う。ここで、最大領域を有した画像データが布製品全体の画像になるので、この最大領域を有した画像データをラベル画像データとして抽出する。
【００４５】
次に、抽出したラベル画像データにおける画像の輪郭を追跡し、画像の輪郭だけを残した画像に加工して、輪郭画像データを生成する処理を行う（ステップＰ２）。
【００４６】
続いて、輪郭画像データにおける輪郭画像の輪郭を外側に膨張させ、膨張輪郭画像データを生成する（ステップＰ３）。
【００４７】
続いて、ラベル画像データにおける画像を内側に収縮させ、収縮ラベル画像データを生成する（ステップＰ４）。
【００４８】
続いて、排他的論理和による処理画像データを生成する（ステップＰ５）。具体的には、ステップＰ３で生成した膨張輪郭画像データと、ステップＰ４で生成した収縮ラベル画像データとの差分処理を行って得た画像の輪郭を外側及び内側へ均等に膨張させた画像データを得る。該画像データの画像から白の領域のみ抜き取りをする。
【００４９】
続いて、マスク画像データを生成する処理を行う（ステップＰ６）。具体的には、ステップＳ５で生成した二値画像データにおける画像に、ステップＰ５で生成した画像データにおける画像を重ね合わせてマスク画像処理し、マスク画像データを生成する。例えば、図６（ａ）の画像を有したマスク画像データから、図６（ｂ）に示したようなマスク画像を生成し、該マスク画像を有したマスク画像データを生成する。なお、このようにして得た大局テンプレート画像データ及び局所テンプレート画像データのマスク画像データを、後述するテンプレートマッチングに用いるテンプレート画像データとする。
【００５０】
次に、回転テンプレート画像データを生成する処理を行う（図２：ステップＳ７）。具体的には、マスク画像データのそれぞれについて、画像中央を中心として１°ずつ回転させ３６０枚の画像を作成し、各画像について回転テンプレート画像データを生成し、テンプレート画像データ生成ソフトウェアによる処理を終了する。なお、テンプレート画像データ生成ソフトウェアによる処理の終了後、各回転テンプレート画像データは、制御部３０に含まれる画像処理ボード（図示せず）に転送され、データ登録を行う。
【００５１】
（布製品判定ソフトウェアによる処理）
制御部３０では、布製品判定ソフトウェア（判定部の主要部）により、どの種類の布製品であるかを識別する処理（布製品識別処理）を行う。以下、図７、図８を用いつつ、布製品識別処理について説明する。
【００５２】
先ず、布製品処理ロボット１０によって第２載置台４０Ｂの平面部４１上に載置された布製品ＣＬを撮像する処理を行うように、カメラ１６を制御するための制御信号が生成され、その制御信号がカメラ１６に送信され、カメラ１６が布製品ＣＬを撮像し、布製品ＣＬの画像データを生成する（ステップＱ１）。
【００５３】
次に、布製品ＣＬを撮像して得た画像データと、画像処理ボード（図示せず）に登録されているテンプレート画像データとのマッチング処理（テンプレートマッチング処理）を行う（ステップＱ２）。ここで、テンプレートマッチング処理について、図８を用いて説明する。
【００５４】
先ず、布製品ＣＬを撮像して得た画像データの全領域に対して、上述の回転テンプレート画像データのうち大局テンプレート画像データに係るもの全てとの照合処理（画像データの照合１）を行う（ステップＲ１）。次に、照合処理中に、布製品ＣＬを撮像して得た画像データと回転テンプレート画像データとの相関データ、回転テンプレート画像データの角度データ、照合処理で得た領域の位置データ、布製品ＣＬを撮像して得た画像データと回転テンプレート画像データとの画像濃度差データ、布製品ＣＬを撮像して得た画像データと回転テンプレート画像データとの面積差のデータなどのマッチングデータ（照合データ）を取得し（ステップＲ２）、取得したデータから最も大きい相関画像を有した最大相関画像データを抽出する（ステップＲ３）。
【００５５】
次に、上述の最大相関画像データから、局所領域の探索範囲を限定する探索領域の指定処理を行う（ステップＲ４）。なお、最大相関画像データは大局テンプレート画像データの一つでもあるが、局所テンプレート画像データは大局テンプレート画像データから生成しているので、大局テンプレート画像データを基に局所領域の探索範囲を限定することが可能である。ここでは、最大相関画像データの画像の座標位置を中心として、最大相関画像データの画像より少し広い範囲を局所領域の探索範囲として指定する。また、局所テンプレート画像データは大局テンプレート画像データを分割して生成したものであるので、局所テンプレート画像データ同士の位置関係が反転したり入れ替わったりすることはないので、探索位置を限定する。
【００５６】
続いて、上述の最大相関画像データの画像の角度データを基に、角度の指定処理を行う（ステップＲ５）。ここでは、上述の最大相関画像データにおける画像角度データから±１０°を探索範囲として指定する。
【００５７】
続いて、布製品ＣＬを撮像して得た画像データの画像領域のうちステップＲ４、Ｒ５によって絞り込んだ領域に対して、上述の最大相関画像データの画像領域内の局所テンプレート画像データに係るもの全てとの照合処理（画像データの照合２）を行って、（ステップＲ６）、上述の最大相関画像データよりも相関の高い最高相関画像データを抽出する（ステップＲ７）。
【００５８】
次に、下記（２）の条件式による判定が正解かどうか判定する（図７：ステップＱ３）。具体的には、同じ領域内で生成された大局テンプレート画像データと局所テンプレート画像データとを用いて、条件式（２）にそれぞれを係数として当てはめ、認識率を算出する。正解でないと判定された場合（ステップＱ３：Ｎｏ）、布製品ＣＬの画像データから得た輪郭データから、布製品ＣＬの角部を探索して布製品処理ロボット１０によって把持し、布製品ＣＬを展開した上で、ステップＱ２に戻り、再度、テンプレートマッチング処理を行って、正解であると判定されるまで処理を繰り返す。下記（２）の条件式による判定が正解である場合（ステップＱ３：Ｙｅｓ）、その結果から、どの布製品であるかを識別することができるとともに、布製品のどの部分であるかまで判定される。正解判定後、布製品識別処理は終了する。なお、下記（２）の条件式における「ｒｇ」は、布製品ＣＬを撮像して得た画像データの画像領域の全体又は大局領域と、大局テンプレート画像データとの相関値である。また、「ｒｓ」は、布製品ＣＬを撮像して得た画像データの画像領域の局所領域と、局所テンプレート画像データとの相関値である。「ｒｓ１
ｍａｘ」は、布製品ＣＬを撮像して得た画像データの画像領域の局所領域と、局所テンプレート画像データとの最高相関値である。「ｒｓ２ ｍａｘ」は、前述の最高相関値に次いで高い相関値のことである。
【００５９】
J＝[α×ｒｇ+β×(ｒｓ１ ｍａｘ∈(ｒｓ)+ｒｓ２ ｍａｘ∈(ｒｓ))／２]／（α＋β） （２）
（α＝∈Ｍ１ β＝∈Ｍ２ Ｊ≧∈Ｍ３）
【００６０】
なお、上述の布製品判定ソフトウェアによる布製品識別処理が終了した後、布製品ＣＬを所定の場所に移動させるために、布製品把持システム１００における布製品処理ロボット１０の動作を制御する。具体的には、以下のように制御する。
【００６１】
まず、上記動作制御の前に、予め上述の大局テンプレート画像データ及び局所テンプレート画像データごとに、布製品処理ロボット１０のロボットハンド２０で把持する位置を決めておく。次に、上述の布製品識別処理によって認識された位置データから領域を指定し、第２載置台４０Ｂの平面部４１上に載置された布製品ＣＬの輪郭データを取得する。取得した輪郭データから把持する位置を指定し、制御信号を送信して、一方のロボットハンド２０に布製品を把持させる。一方のロボットハンド２０で把持した状態で、さらに布製品ＣＬの輪郭をたどり、他方のロボットハンド２０で把持するための最適な位置を、上述のテンプレートマッチング処理によって検出する。該検出後、制御信号を送信して、他方のロボットハンド２０で把持し、布製品ＣＬを所定の場所に所定の方向へ向けて移動させる。
【００６２】
＜布製品識別装置を備えた布製品把持システムの特徴＞
本発明の実施の形態に係る布製品把持システム１００は、以下のような特徴を有した布製品識別装置５０を備えたものである。すなわち、布製品識別装置５０は、布製品ＣＬの特徴部分（例えば、衣類の襟、袖など）を認識するだけでなく、布製品ＣＬの特徴部分同士の位置関係（例えば、衣類の襟と袖との位置関係）まで認識することが可能となることから、どの種類の布製品かを容易且つ高精度で識別することができる。また、仮に、無造作におかれた布製品ＣＬに対しても、同様に、どの種類の布製品かを容易且つ高精度で識別することができる。
【００６３】
また、布製品識別装置５０は、制御部３０内の布製品判定ソフトウェア（判定部の主要部）において、撮像して得た画像データの一部と、布製品ＣＬの局所的な特徴部分ごとに予め設定した局所テンプレート画像データのそれぞれとが照合するか否か、且つ、画像データに照合した局所テンプレート画像データ同士の位置関係が予め設定した位置関係になっているか否か判定する前に、布製品ＣＬの全体又は大局的な特徴部分についての判定をすることで、どの種類の布製品かをさらに高精度で識別することができるものである。また、局所テンプレート画像データは、布製品ＣＬの全体又は大局的な特徴部分を含む大局テンプレート画像データから分割して作成しておくので、局所テンプレート画像データの位置関係が入れ替わることや、隣接する局所テンプレート画像データの位置が互いに反転して認識されることがない。その結果として、布製品ＣＬの局所的な特徴部分について認識する場合は、局所テンプレート画像データ同士の位置関係を指定した状態で、布製品ＣＬの局所的な特徴部分について認識することが可能となることから、どの種類の布製品かをさらに高精度で識別することができる。
【００６４】
また、布製品ＣＬの局所的な特徴部分は、当然、布製品ＣＬの全体又は大局的な特徴部分に含まれている。したがって、制御部３０内の布製品判定ソフトウェア（判定部の主要部）における判定において、局所テンプレート画像データを用いて照合する際の領域を、布製品の画像データと、大局テンプレート画像データとの照合領域に限定しておくので、誤認識を減らすことができる。その結果として、どの種類の布製品かをより迅速かつ高精度で識別することができる布製品識別装置５０を提供できる。
【００６５】
また、形が変り易い布製品ＣＬについて、布製品ＣＬにおける帯状の輪郭形状を輪郭形状テンプレート画像データとして予め用意しておき、該輪郭形状テンプレート画像データと撮像して得た画像データとを照合し、布製品判定ソフトウェア（判定部の主要部）における各判定の前処理をしておくことで、どの種類の布製品かをより容易且つより高精度で識別することができる。特に、輪郭形状テンプレート画像データにおいては、細い線状の輪郭形状のテンプレート画像データを用いる場合に比べて、輪郭が曖昧になることから、高精度でどの種類の布製品かを識別することができる。また、輪郭形状テンプレート画像データにおいて、輪郭形状以外の部分を表示しないようにしておくことで、布製品ＣＬに柄が付されている場合でも、柄を消すことができる場合があり、複雑な柄があったとしても影響を最小限にすることができ、高精度でどの種類の布製品かを識別することができる。
【００６６】
本発明の実施の形態に係る布製品把持システム１００では、布製品識別装置５０によって布製品の特徴部分を容易且つ高精度で判別できているので、布製品処理ロボット１０（把持装置）によって布製品ＣＬの特徴部分を掴む、又は、布製品ＣＬの特徴部分を基点として特定した他の位置を掴むことが容易となる。したがって、布製品処理ロボット１０（把持装置）によって、布製品ＣＬを置き直す又は布製品ＣＬを広げることなどの操作を円滑に行うことが可能な布製品把持システム１００を提供できる。
【００６７】
また、布製品把持システム１００においては、布製品処理ロボット１０（把持装置）によって布製品ＣＬを把持し、所定位置において布製品ＣＬを落下又は広げた後、布製品判定ソフトウェア（判定部の主要部）が、各判定を実行するものである。これにより、初期状態からの実行だけでなく、布製品判定ソフトウェア（判定部の主要部）による各判定が一度実行された後に、布製品ＣＬを置き直して、各判定を再実行することも可能であることから、どの種類の布製品かの識別を再実行し、布製品の識別精度をさらに向上させることが可能である。
【００６８】
＜変形例＞
なお、本発明は、特許請求の範囲を逸脱しない範囲で設計変更できるものであり、上記実施形態に限定されるものではない。例えば、下記の変形例がある。
【００６９】
（Ａ） 上記実施の形態に係る布製品識別装置５０における各ソフトウェアによる処理の順序は、本発明の趣旨を変えない範囲で適宜変更されてもよい。
【００７０】
（Ｂ） 上記実施の形態においては、カメラ１６を用いたが、布製品ＣＬの把持をするだけであるなら、カメラ１６の代わりに、布製品ＣＬの位置を認識するとともに該位置の情報を、制御部３０に送信可能なセンサーを用いてもよい。
【符号の説明】
【００７１】
１０ 布製品処理ロボット
１５ ロボットアーム
１６ カメラ
２０ ロボットハンド
３０ 制御部
４０Ａ 第１載置台
４０Ｂ 第２載置台
４１ 平面部
４２ 枠部材
５０ 布製品識別装置
１００ 布製品把持システム
【特許請求の範囲】
【請求項１】
布製品を撮像し、前記布製品の画像データを得る撮像部と、
前記画像データの一部と、前記布製品の局所的な特徴部分ごとに予め設定した局所テンプレート画像データのそれぞれとが照合するか否か、且つ、前記画像データに照合した前記局所テンプレート画像データ同士の位置関係が予め設定した位置関係になっているか否かを判定する判定部と、を備えていることを特徴とする布製品識別装置。
【請求項２】
前記判定部において、前記判定の前に、前記画像データと、前記特徴部分を含む全体に又は大局的な特徴部分ごとに、予め設定した大局テンプレート画像データのそれぞれとが照合するか否か判定することを特徴とする請求項１に記載の布製品識別装置。
【請求項３】
前記判定部において、前記画像データと前記局所テンプレート画像データとの照合判定を、前記画像データと前記大局テンプレート画像データとの照合領域内で実行することを特徴とする請求項２に記載の布製品識別装置。
【請求項４】
前記判定部において、前記判定の前に、前記画像データと、予め前記布製品の輪郭形状を帯状に画像処理して得ておいた輪郭形状テンプレート画像データとが照合するか否か判定することを特徴とする請求項１又は２に記載の布製品識別装置。
【請求項５】
請求項１〜４のいずれか１項に記載の布製品識別装置と、
前記布製品を把持できるものであるとともに、前記布製品を落下させる又は広げることが可能な把持装置と、を備えていることを特徴とする布製品把持システム。
【請求項６】
前記把持装置によって前記布製品を把持し、前記布製品を落下又は広げた後、前記判定部が、前記判定を実行することを特徴とする請求項５に記載の布製品把持システム。
【請求項１】
布製品を撮像し、前記布製品の画像データを得る撮像部と、
前記画像データの一部と、前記布製品の局所的な特徴部分ごとに予め設定した局所テンプレート画像データのそれぞれとが照合するか否か、且つ、前記画像データに照合した前記局所テンプレート画像データ同士の位置関係が予め設定した位置関係になっているか否かを判定する判定部と、を備えていることを特徴とする布製品識別装置。
【請求項２】
前記判定部において、前記判定の前に、前記画像データと、前記特徴部分を含む全体に又は大局的な特徴部分ごとに、予め設定した大局テンプレート画像データのそれぞれとが照合するか否か判定することを特徴とする請求項１に記載の布製品識別装置。
【請求項３】
前記判定部において、前記画像データと前記局所テンプレート画像データとの照合判定を、前記画像データと前記大局テンプレート画像データとの照合領域内で実行することを特徴とする請求項２に記載の布製品識別装置。
【請求項４】
前記判定部において、前記判定の前に、前記画像データと、予め前記布製品の輪郭形状を帯状に画像処理して得ておいた輪郭形状テンプレート画像データとが照合するか否か判定することを特徴とする請求項１又は２に記載の布製品識別装置。
【請求項５】
請求項１〜４のいずれか１項に記載の布製品識別装置と、
前記布製品を把持できるものであるとともに、前記布製品を落下させる又は広げることが可能な把持装置と、を備えていることを特徴とする布製品把持システム。
【請求項６】
前記把持装置によって前記布製品を把持し、前記布製品を落下又は広げた後、前記判定部が、前記判定を実行することを特徴とする請求項５に記載の布製品把持システム。
【図１】
【図２】
【図５】
【図７】
【図８】
【図３】
【図４】
【図６】
【図２】
【図５】
【図７】
【図８】
【図３】
【図４】
【図６】
【公開番号】特開２０１１−１２３７７５（Ｐ２０１１−１２３７７５Ａ）
【公開日】平成２３年６月２３日（２０１１．６．２３）
【国際特許分類】
【出願番号】特願２００９−２８２２９９（Ｐ２００９−２８２２９９）
【出願日】平成２１年１２月１１日（２００９．１２．１１）
【出願人】（３９１０５９３９９）株式会社アイ．エス．テイ (102)
【Ｆターム（参考）】
【公開日】平成２３年６月２３日（２０１１．６．２３）
【国際特許分類】
【出願日】平成２１年１２月１１日（２００９．１２．１１）
【出願人】（３９１０５９３９９）株式会社アイ．エス．テイ (102)
【Ｆターム（参考）】
[ Back to top ]