物品認識装置、物品認識システム、プログラムおよび物品認識方法
【課題】 表面に光沢がある複数の物品をステレオカメラを用いて認識する。
【解決手段】 認識対象の複数の物品からなる物品群を撮像する第１および第２カメラを備えたステレオカメラを制御するカメラ制御部と、物品群を互いに異なる方向から照明する第１ないし第３照明装置を制御する照明制御部と、第１ないし第３照明装置のうちの何れか１つを順次点灯させて、ステレオカメラによってそれぞれ撮像された一対の２次元画像からなる第１ないし第３画像対を取得する撮像処理部と、第１ないし第３画像対に含まれる少なくとも１つの２次元画像から物品をそれぞれ含む領域を抽出する抽出処理部と、領域ごとに、第１ないし第３画像対のうち第１および第２カメラ間の受光量の差が所定値以下である画像対に基づいて物品の３次元画像を生成する３次元化処理部と、３次元画像に基づいて物品を認識して位置・姿勢情報を算出する認識処理部と、を有する。
【解決手段】 認識対象の複数の物品からなる物品群を撮像する第１および第２カメラを備えたステレオカメラを制御するカメラ制御部と、物品群を互いに異なる方向から照明する第１ないし第３照明装置を制御する照明制御部と、第１ないし第３照明装置のうちの何れか１つを順次点灯させて、ステレオカメラによってそれぞれ撮像された一対の２次元画像からなる第１ないし第３画像対を取得する撮像処理部と、第１ないし第３画像対に含まれる少なくとも１つの２次元画像から物品をそれぞれ含む領域を抽出する抽出処理部と、領域ごとに、第１ないし第３画像対のうち第１および第２カメラ間の受光量の差が所定値以下である画像対に基づいて物品の３次元画像を生成する３次元化処理部と、３次元画像に基づいて物品を認識して位置・姿勢情報を算出する認識処理部と、を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物品認識装置、物品認識システム、プログラム、および物品認識方法に関する。
【背景技術】
【０００２】
近年、工場の製造ラインなどにおいて様々な産業用ロボットが用いられている。特に、（垂直）多関節ロボットは、人間の腕に近い構造をしているため、種々の作業を人間に代わって行うことができる。
例えば、特許文献１では、カメラによって撮像された物品（ワーク）の画像から把持可能な特定部位を検出し、当該特定部位をロボットハンドによって把持してピックアップするピッキング装置が開示されている。また、例えば、特許文献２では、ワークの認識方法として、相対位置が異なる２つのカメラを備えたステレオカメラによって認識対象のワーク群を撮影し、撮像された一対の２次元画像（画像対）を用いて３次元的な位置や姿勢を決定する方法が開示されている。
このようにして、ステレオカメラによって撮像された画像を３次元化してワークを認識し、得られたワークの位置・姿勢情報をピッキング装置などのロボットの制御に用いることができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平７−３１９５２５号公報
【特許文献２】特開平２−３０９２０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、製造ラインなどで取り扱われるワークは、ワーク全体や表面に金属や樹脂などの光沢材料を用いたものも多く、ワークの表面で反射光がカメラに入射する場合がある。例えば、特許文献１の図２や特許文献２の図１に示されているように、カメラおよび照明装置がともにワーク群の上方に配置され、ワークが山積みまたはバラ積みされてランダムな姿勢をとっている場合、照明光をカメラの方向に正反射するワークも存在し得る。
そして、ワークの認識にステレオカメラを用いる場合、正反射された反射光が一方のカメラに入射すると、撮像された画像対の一方のみに照明装置が映り込み、得られるワークの情報が画像間で大きく異なってしまうため、３次元化が困難な場合がある。また、例えば、各ワークを一定の姿勢で整列させて取り扱う製造ラインの場合であっても、認識対象のワークが複数存在する場合には、ワークの位置によって照明光がカメラの方向に正反射される場合がある。
【課題を解決するための手段】
【０００５】
前述した課題を解決する主たる本発明は、認識対象の複数の物品からなる物品群を撮像する第１および第２のカメラを備えたステレオカメラを制御するカメラ制御部と、前記物品群を互いに異なる方向から照明する第１ないし第３の照明装置を制御する照明制御部と、前記第１ないし第３の照明装置のうちの何れか１つを順次点灯させて、前記ステレオカメラによってそれぞれ撮像された一対の２次元画像からなる第１ないし第３の画像対を取得する撮像処理部と、前記第１ないし第３の画像対に含まれる少なくとも１つの２次元画像から前記物品をそれぞれ含む領域を抽出する抽出処理部と、前記領域ごとに、前記第１ないし第３の画像対のうち前記第１および第２のカメラ間の受光量の差が所定値以下である画像対に基づいて前記物品の３次元画像を生成する３次元化処理部と、前記３次元画像に基づいて前記物品を認識して位置・姿勢情報を算出する認識処理部と、を有することを特徴とする物品認識装置である。
【０００６】
本発明の他の特徴については、添付図面及び本明細書の記載により明らかとなる。
【発明の効果】
【０００７】
本発明によれば、表面に光沢がある複数の物品をステレオカメラを用いて認識することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施形態における物品認識装置の構成を示すブロック図である。
【図２】本発明の一実施形態における物品認識装置を備えた物品認識システム全体の構成の概略を示すブロック図である。
【図３】ステレオカメラ２、および照明装置Ｌ１ないしＬ３の位置関係を示す平面図である。
【図４】ワークの形状の一例を示す斜視図である。
【図５】撮像処理部１１の機能（ワーク撮像処理）をコンピュータに実現させるためのプログラムの動作を説明するフローチャートである。
【図６】ワーク撮像処理おける、カメラおよび照明装置と撮像される画像との関係を示す図である。
【図７】抽出処理部１４、３次元化処理部１５、および認識処理部１６の機能（ワーク認識処理）をコンピュータに実現させるためのプログラムの動作を説明するフローチャートである。
【図８】抽出処理部１４が画像Ｉ１１を用いて各ワークを抽出する処理の一例を説明する図である。
【図９】照明装置Ｌ１を点灯した場合にワークＷ２で正反射された反射光がカメラＣ１に入射する位置関係の一例を示す図である。
【図１０】照明装置Ｌ２を点灯した場合にワークＷ２で正反射された反射光がカメラＣ２に入射する位置関係の一例を示す図である。
【図１１】図９および図１０に示した位置関係において、照明装置Ｌ３を点灯した場合にワークＷ２で正反射される反射光の一例を示す図である。
【図１２】図９ないし図１１に示した位置関係において、ワークＷ２を含む領域におけるカメラＣ１およびＣ２の受光量の一例を示す図である。
【発明を実施するための形態】
【０００９】
本明細書および添付図面の記載により、少なくとも以下の事項が明らかとなる。
【００１０】
＝＝＝物品認識システム全体の構成の概略＝＝＝
以下、図２ないし図４を参照して、後述する本発明の一実施形態における物品認識装置を備えた物品認識システム全体の構成の概略について説明する。なお、図３は、ステレオカメラ２、および照明装置Ｌ１ないしＬ３の位置関係を、ステレオカメラ２側（図２において上側）から見た図である。
【００１１】
図２に示されている物品認識システムは、物品認識装置１、ステレオカメラ２、および照明装置Ｌ１ないしＬ３を含んで構成され、一例として、表面に光沢がある８つのワークＷｎ（１≦ｎ≦８）を認識対象とする。また、ステレオカメラ２、および照明装置Ｌ１ないしＬ３は、ワーク群を収納するトレイ９が据え置かれる作業台などの上方に配置されている。なお、各ワークＷｎは、例えば図４に示す形状をしており、トレイ９内でランダムな姿勢をとっているものとする。
【００１２】
ステレオカメラ２は、ワーク群に対する相対位置が異なるカメラＣ１およびＣ２（第１および第２のカメラ）を備え、カメラＣ１およびＣ２からそれぞれ出力される一対の（２次元）画像Ｉｍ１およびＩｍ２は、物品認識装置１に入力されている。そして、物品認識装置１からは、認識した各ワークＷｎの位置・姿勢情報Ｔ［Ｗｎ］が出力されている。さらに、物品認識装置１は、各カメラおよび各照明装置を制御するための制御信号ＳＣ１、ＳＣ２、およびＳＬ１ないしＳＬ３も出力している。
【００１３】
照明装置Ｌ１ないしＬ３（第１ないし第３の照明装置）は、それぞれ、トレイ９内のワーク群を周囲からリング状に一様に照明することができるリング照明装置であり、一例として、性応答性が良いＬＥＤ（Light Emitting Diode：発光ダイオード）がリング状に配列されて構成されている。また、照明装置Ｌ１ないしＬ３は、ワーク群を互いに異なる方向から照明することができるよう、互いに異なる高さに配置されている。
【００１４】
なお、図２および図３においては、照明装置Ｌ１ないしＬ３は、下段に配置されているものほど径が大きくなっているが、これに限定されるものではない。照明装置Ｌ１ないしＬ３は、ワーク群を照明する際に、互いに陰にならず（照明光を遮らず）、互いに異なる方向から照明するように配置することができれば、同一サイズであってもよい。
【００１５】
＝＝＝物品認識装置の構成＝＝＝
以下、図１を参照して、本発明の一実施形態における物品認識装置の構成について説明する。
【００１６】
図１に示されている物品認識装置１は、撮像処理部１１、カメラ制御部１２、照明制御部１３、抽出処理部１４、３次元化処理部１５、認識処理部１６、および記憶部１７を含んで構成されている。
【００１７】
撮像処理部１１には、画像Ｉｍ１およびＩｍ２が入力され、当該画像対は、撮像処理部１１から抽出処理部１４に入力されている。また、撮像処理部１１からカメラ制御部１２には撮像指令信号ＩＭＧが入力され、カメラ制御部１２からは、制御信号ＳＣ１およびＳＣ２が出力されている。さらに、撮像処理部１１から照明制御部１３には照明選択信号ＳＥＬが入力され、照明制御部１３からは、制御信号ＳＬ１ないしＳＬ３が出力されている。
【００１８】
抽出処理部１４から３次元化処理部１５には、ワークＷｎを含む領域画像Ｉｍ１［Ｗｎ］およびＩｍ２［Ｗｎ］が入力され、３次元化処理部１５から出力されるワークＷｎの３次元画像（情報）Ｉｍ３［Ｗｎ］は、認識処理部１６に入力されている。また、記憶部１７から認識処理部１６には、ワークの形状を表す３次元モデルＭＤＬが入力され、認識処理部１６からは、ワークＷｎの位置・姿勢情報Ｔ［Ｗｎ］が出力されている。
【００１９】
＝＝＝物品認識装置の動作＝＝＝
以下、図５ないし図１２を適宜参照して、本実施形態における物品認識装置の動作について説明する。
【００２０】
物品認識装置１のうち、撮像処理部１１、抽出処理部１４、３次元化処理部１５、および認識処理部１６の機能は、例えば、カメラ制御部１２、照明制御部１３、および記憶部１７を備えるコンピュータによって実現することができる。図５および図７は、撮像処理部１１、抽出処理部１４、３次元化処理部１５、および認識処理部１６に相当する機能をコンピュータに実現させるためのプログラムの動作を示している。
【００２１】
図５には、撮像処理部１１に相当する機能（ワーク撮像処理）が示されている。ワーク撮像処理が開始されると（Ｓ１１）、各照明装置Ｌｍ（１≦ｍ≦３）に対して、Ｓ１２およびＳ１３の処理が行われる（ループ処理１）。
【００２２】
ループ処理１においては、まず、照明装置Ｌｍを選択し、当該照明装置Ｌｍを示す照明選択信号ＳＥＬ（＝ｍ）を照明制御部１３に入力する。そして、照明制御部１３の制御によって、照明装置Ｌｍを点灯させ、他の照明装置を消灯させる（Ｓ１２）。
【００２３】
次に、照明装置Ｌｍを点灯させた状態で、撮像指令信号ＩＭＧをカメラ制御部１２に入力する。そして、カメラ制御部１２の制御によって、カメラＣ１およびＣ２にトレイ９内のワーク群を撮影させ、撮像された画像Ｉｍ１およびＩｍ２を取得する（Ｓ１３）。
【００２４】
そして、Ｓ１２およびＳ１３のループ処理１を各照明装置Ｌｍに対して行い、照明装置Ｌ１ないしＬ３のうちの何れか１つを順次点灯させて撮像された画像対をそれぞれ取得することによって、６つの画像（３つの画像対）を取得することができ、ワーク撮像処理を終了する（Ｓ１４）。なお、図６に示すように、ワーク撮像処理によって、照明装置Ｌ１を点灯させて撮像された画像Ｉ１１およびＩ１２（第１の画像対）、照明装置Ｌ２を点灯させて撮像された画像Ｉ２１およびＩ２２（第２の画像対）、照明装置Ｌ３を点灯させて撮像された画像Ｉ３１およびＩ３２（第３の画像対）が取得される。
【００２５】
図７には、抽出処理部１４、３次元化処理部１５、および認識処理部１６に相当する機能（ワーク認識処理）が示されている。ワーク認識処理が開始されると（Ｓ２１）、まず、ワーク撮像処理で取得した６つの画像のうちの少なくとも１つ（例えば画像Ｉ１１）を用いて各ワークＷｎを抽出する（Ｓ２２）。
【００２６】
具体的には、例えば、画像Ｉ１１から各ワークＷｎのエッジを抽出し、図８に示すように、各ワークＷｎを含む領域を抽出して領域画像Ｉ１１［Ｗｎ］を生成する。なお、トレイ９内でワーク同士が重なり合っている場合や接触している場合など、領域画像の一部が重複している場合もある。また、領域画像Ｉ１１［Ｗｎ］は、図８のように画像Ｉ１１をトリミングしたものではなく、例えば、画像Ｉ１１においてワークＷｎ以外の部分をマスキングしたものであってもよい。
【００２７】
次に、各ワークＷｎ（１≦ｎ≦８）に対して、Ｓ２３ないしＳ２９の処理が行われる（ループ処理２）。以下においては、一例として、ワークＷ２（ｎ＝２）に対する処理について説明する。
【００２８】
ループ処理２においては、まず、ｍ＝１として（Ｓ２３）、照明装置Ｌ１を点灯させて撮像された画像Ｉ１１およびＩ１２を選択し、当該画像対からそれぞれワークＷ２を含む領域画像Ｉ１１［Ｗ２］およびＩ１２［Ｗ２］を生成する（Ｓ２４）。したがって、Ｓ２２ないしＳ２４の処理は、抽出処理部１４に相当する機能を実現する。
【００２９】
具体的には、Ｓ２２の処理と同様に、例えば、画像Ｉ１１およびＩ１２からそれぞれワークＷ２を含む領域を抽出し、ワークＷ２以外の部分をトリミングまたはマスキングして領域画像Ｉ１１［Ｗ２］およびＩ１２［Ｗ２］を生成する。なお、後述するＳ２８の処理において対応点検索および３次元化を行うため、ワークＷ２を含む領域は、画像Ｉ１１およびＩ１２において同じ位置およびサイズで抽出する。
【００３０】
次に、領域画像Ｉ１１［Ｗ２］およびＩ１２［Ｗ２］において、カメラＣ１およびＣ２間の受光量差ＤＬを求め、所定の閾値Ｄｔｈと比較する（Ｓ２５）。具体的には、例えば、各領域画像に含まれる画素の平均輝度や、各領域画像におけるエピポーラ線上の輝度の変化に基づいて受光量差ＤＬを求めることができる。
【００３１】
ここで、一例として、カメラＣ１、Ｃ２、照明装置Ｌ１ないしＬ３、およびワークＷ２が図９ないし図１１のような位置関係となっている場合、図９に示すように、照明装置Ｌ１からの照明光がワークＷ２の表面で正反射された反射光は、カメラＣ１に入射する。したがって、領域画像Ｉ１１［Ｗ２］においては、ワークＷ２の表面に照明装置Ｌ１が映り込み、領域画像Ｉ１２［Ｗ２］においては、当該映り込みが発生しない。そのため、例えば図１２のｍ＝１の場合に示すように、これらの領域画像における輝度（カメラの受光量）は大きく異なる。
【００３２】
このように、一方の領域画像に照明装置Ｌ１が映り込み、受光量差ＤＬが閾値Ｄｔｈより大きい場合（Ｓ２５：ＮＯ）には、次に、ｍ＝２として（Ｓ２７）、照明装置Ｌ２を点灯させて撮像された画像Ｉ２１およびＩ２２を選択する。そして、当該画像対からそれぞれワークＷ２を含む領域画像Ｉ２１［Ｗ２］およびＩ２２［Ｗ２］を生成する（Ｓ２４）。
【００３３】
照明装置Ｌ２を点灯させた場合、図１０に示すように、照明装置Ｌ２からの照明光がワークＷ２の表面で正反射された反射光は、カメラＣ２に入射する。したがって、領域画像Ｉ２２［Ｗ２］においては、ワークＷ２の表面に照明装置Ｌ２が映り込み、領域画像Ｉ２１［Ｗ２］においては、当該映り込みが発生しない。そのため、例えば図１２のｍ＝２の場合に示すように、これらの領域画像における輝度は大きく異なる。
【００３４】
このように、一方の領域画像に照明装置Ｌ２が映り込み、受光量差ＤＬが閾値Ｄｔｈより大きい場合（Ｓ２５：ＮＯ）には、次に、ｍ＝３として（Ｓ２７）、照明装置Ｌ３を点灯させて撮像された画像Ｉ３１およびＩ３２を選択する。そして、当該画像対からそれぞれワークＷ２を含む領域画像Ｉ３１［Ｗ２］およびＩ３２［Ｗ２］を生成する（Ｓ２４）。
【００３５】
照明装置Ｌ３を点灯させた場合、図１１に示すように、照明装置Ｌ３からの照明光がワークＷ２の表面で正反射された反射光は、カメラＣ１およびＣ２のいずれにも入射しない。したがって、領域画像Ｉ３１［Ｗ２］およびＩ３２［Ｗ２］のいずれにおいてもワークＷ２の表面における照明装置Ｌ２の映り込みが発生しない。そのため、例えば図１２のｍ＝３の場合に示すように、これらの領域画像における輝度は同程度となる。
【００３６】
このように、いずれの領域画像においても照明装置Ｌ３の映り込みが発生せず、受光量差ＤＬが閾値Ｄｔｈ以下である場合（Ｓ２５：ＹＥＳ）には、領域画像Ｉ３１［Ｗ２］およびＩ３２［Ｗ２］を用いて対応点検索および３次元化を行う（Ｓ２８）。具体的には、例えば図１２に示すように、領域画像Ｉ３１［Ｗ２］のエピポーラ線ＥＰ１上の注目点ＡおよびＢに対して、領域画像Ｉ３２［Ｗ２］のエピポーラ線ＥＰ２上で対応点Ａ’およびＢ’をそれぞれ検索する。そして、得られた画像間の視差に基づいてワークＷ２の３次元画像Ｉ３３［Ｗ２］を生成する。
【００３７】
以上のように、照明装置Ｌ１ないしＬ３をそれぞれ点灯させた場合の一対の領域画像のうち、照明装置の映り込みがなく、ＤＬ≦Ｄｔｈとなる領域画像Ｉ３１［Ｗ２］およびＩ３２［Ｗ２］に基づいてワークＷ２の３次元画像Ｉ３３［Ｗ２］を生成する。したがって、Ｓ２５ないしＳ２８の処理は、３次元化処理部１５に相当する機能を実現する。
【００３８】
ここで、本実施形態の物品認識システムは、ワーク群を互いに異なる方向から照明する３つの照明装置Ｌ１ないしＬ３を備えている。そのため、例えば図９および図１０に示したように、一方の領域画像に映り込みが発生する照明装置とカメラとの組み合わせが存在する場合であっても、例えば図１１に示したように、いずれの領域画像においても映り込みが発生しない照明装置が少なくとも１つ存在する。なお、Ｓ２６の処理は、照明装置Ｌ１ないしＬ３のいずれを点灯させた場合においても一方の領域画像に映り込みが発生している場合（Ｓ２６：ＹＥＳ）の例外処理であり、必須のものではない。
【００３９】
次に、生成されたワークＷ２の３次元画像Ｉ３３［Ｗ２］を、記憶部１７に記憶されている３次元モデルＭＤＬと照合して、ワークＷ２を認識し、位置・姿勢情報Ｔ［Ｗ２］を算出する（Ｓ２９）。したがって、当該Ｓ９の処理は、制御部１７に相当する機能を実現する。
【００４０】
そして、Ｓ２３ないしＳ２９のループ処理２を各ワークＷｎに対して行うことによって、ワークＷ１ないしＷ８をすべて認識して、それぞれ位置・姿勢情報Ｔ［Ｗ１］ないしＴ［Ｗ８］を算出することができ、処理を終了する（Ｓ３０）。
【００４１】
前述したように、物品認識装置１において、ワーク（物品）群を互いに異なる方向から照明する照明装置Ｌ１ないしＬ３のうちの何れか１つを順次点灯させて撮像された画像対をそれぞれ取得することによって、照明装置の映り込みがなく、カメラＣ１およびＣ２間の受光量差ＤＬが所定の閾値Ｄｔｈ以下である少なくとも一対の領域画像を得ることができ、当該一対の領域画像を用いて生成される３次元画像に基づいて、表面に光沢があるワークＷｎ（１≦ｎ≦８）をステレオカメラ２を用いて認識することができる。
【００４２】
また、一対の領域画像を用いて生成された３次元画像をワークの形状を表す３次元モデルＭＤＬと照合することによって、ワークＷｎを認識し、位置・姿勢情報Ｔ［Ｗｎ］を算出することができる。
【００４３】
また、各領域画像に含まれる画素の平均輝度や、各領域画像におけるエピポーラ線上の輝度の変化に基づいて受光量差ＤＬを求めることによって、当該受光量差ＤＬを閾値Ｄｔｈと比較して照明装置の映り込みがない一対の領域画像を選択し、３次元画像の生成に用いることができる。
【００４４】
また、図２および図３に示した物品認識システムにおいて、照明制御部１３の制御によって照明装置Ｌ１ないしＬ３を点灯または消灯させ、カメラ制御部１２の制御によってカメラＣ１およびＣ２にワーク群を撮影させることによって、ワーク群を互いに異なる方向から照明して撮像された画像対をそれぞれ取得することができる。
【００４５】
また、照明装置Ｌ１ないしＬ３として、ワーク群を周囲からリング状に一様に照明するリング照明装置を用いて、互いに異なる高さに配置することによって、ワーク群を互いに異なる方向から照明することができる。
【００４６】
また、物品認識装置１の少なくとも撮像処理部１１、抽出処理部１４、３次元化処理部１５、および認識処理部１６に相当する機能をコンピュータに実現させるためのプログラムにおいて、ワーク群を互いに異なる方向から照明する照明装置Ｌ１ないしＬ３のうちの何れか１つを順次点灯させて撮像された画像対をそれぞれ取得することによって、照明装置の映り込みがない一対の領域画像を用いて生成される３次元画像に基づいて、表面に光沢があるワークＷｎをステレオカメラ２を用いて認識することができる。
【００４７】
また、照明装置Ｌ１ないしＬ３を点灯または消灯させて、ワーク群を互いに異なる方向から照明し、ステレオカメラ２によってそれぞれ撮影させることによって、照明装置の映り込みがない少なくとも一対の領域画像を得ることができ、当該一対の領域画像を用いて生成される３次元画像に基づいて、表面に光沢があるワークＷｎを認識することができる。
【００４８】
なお、上記実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得るとともに、本発明にはその等価物も含まれる。
【００４９】
上記実施形態では、物品認識システムは、２つのカメラＣ１およびＣ２を備えたステレオカメラ２、および３つの照明装置Ｌ１ないしＬ３を備えているが、これに限定されるものではない。例えば、３つ以上のカメラを備え、認識対象のワークの位置などに応じて適宜選択した２つのカメラによって撮像された一対の２次元画像を出力するステレオカメラを用いることもできる。また、例えば、３つ以上のカメラによって撮像されたｋ個（ｋ≧３）の２次元画像（画像セット）に基づいてワークの３次元画像を生成してもよい。そして、この場合には、（ｋ＋１）個の照明装置を用いることによって、照明装置の映り込みがない少なくとも１組の画像セットを得ることができる。
【符号の説明】
【００５０】
１ 物品認識装置
２ ステレオカメラ
９ トレイ
１１ 撮像処理部
１２ カメラ制御部
１３ 照明制御部
１４ 抽出処理部
１５ ３次元化処理部
１６ 認識処理部
１７ 記憶部
Ｃ１、Ｃ２ カメラ
Ｌ１〜Ｌ３ 照明装置
Ｗ１〜Ｗ８ ワーク
【技術分野】
【０００１】
本発明は、物品認識装置、物品認識システム、プログラム、および物品認識方法に関する。
【背景技術】
【０００２】
近年、工場の製造ラインなどにおいて様々な産業用ロボットが用いられている。特に、（垂直）多関節ロボットは、人間の腕に近い構造をしているため、種々の作業を人間に代わって行うことができる。
例えば、特許文献１では、カメラによって撮像された物品（ワーク）の画像から把持可能な特定部位を検出し、当該特定部位をロボットハンドによって把持してピックアップするピッキング装置が開示されている。また、例えば、特許文献２では、ワークの認識方法として、相対位置が異なる２つのカメラを備えたステレオカメラによって認識対象のワーク群を撮影し、撮像された一対の２次元画像（画像対）を用いて３次元的な位置や姿勢を決定する方法が開示されている。
このようにして、ステレオカメラによって撮像された画像を３次元化してワークを認識し、得られたワークの位置・姿勢情報をピッキング装置などのロボットの制御に用いることができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平７−３１９５２５号公報
【特許文献２】特開平２−３０９２０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、製造ラインなどで取り扱われるワークは、ワーク全体や表面に金属や樹脂などの光沢材料を用いたものも多く、ワークの表面で反射光がカメラに入射する場合がある。例えば、特許文献１の図２や特許文献２の図１に示されているように、カメラおよび照明装置がともにワーク群の上方に配置され、ワークが山積みまたはバラ積みされてランダムな姿勢をとっている場合、照明光をカメラの方向に正反射するワークも存在し得る。
そして、ワークの認識にステレオカメラを用いる場合、正反射された反射光が一方のカメラに入射すると、撮像された画像対の一方のみに照明装置が映り込み、得られるワークの情報が画像間で大きく異なってしまうため、３次元化が困難な場合がある。また、例えば、各ワークを一定の姿勢で整列させて取り扱う製造ラインの場合であっても、認識対象のワークが複数存在する場合には、ワークの位置によって照明光がカメラの方向に正反射される場合がある。
【課題を解決するための手段】
【０００５】
前述した課題を解決する主たる本発明は、認識対象の複数の物品からなる物品群を撮像する第１および第２のカメラを備えたステレオカメラを制御するカメラ制御部と、前記物品群を互いに異なる方向から照明する第１ないし第３の照明装置を制御する照明制御部と、前記第１ないし第３の照明装置のうちの何れか１つを順次点灯させて、前記ステレオカメラによってそれぞれ撮像された一対の２次元画像からなる第１ないし第３の画像対を取得する撮像処理部と、前記第１ないし第３の画像対に含まれる少なくとも１つの２次元画像から前記物品をそれぞれ含む領域を抽出する抽出処理部と、前記領域ごとに、前記第１ないし第３の画像対のうち前記第１および第２のカメラ間の受光量の差が所定値以下である画像対に基づいて前記物品の３次元画像を生成する３次元化処理部と、前記３次元画像に基づいて前記物品を認識して位置・姿勢情報を算出する認識処理部と、を有することを特徴とする物品認識装置である。
【０００６】
本発明の他の特徴については、添付図面及び本明細書の記載により明らかとなる。
【発明の効果】
【０００７】
本発明によれば、表面に光沢がある複数の物品をステレオカメラを用いて認識することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施形態における物品認識装置の構成を示すブロック図である。
【図２】本発明の一実施形態における物品認識装置を備えた物品認識システム全体の構成の概略を示すブロック図である。
【図３】ステレオカメラ２、および照明装置Ｌ１ないしＬ３の位置関係を示す平面図である。
【図４】ワークの形状の一例を示す斜視図である。
【図５】撮像処理部１１の機能（ワーク撮像処理）をコンピュータに実現させるためのプログラムの動作を説明するフローチャートである。
【図６】ワーク撮像処理おける、カメラおよび照明装置と撮像される画像との関係を示す図である。
【図７】抽出処理部１４、３次元化処理部１５、および認識処理部１６の機能（ワーク認識処理）をコンピュータに実現させるためのプログラムの動作を説明するフローチャートである。
【図８】抽出処理部１４が画像Ｉ１１を用いて各ワークを抽出する処理の一例を説明する図である。
【図９】照明装置Ｌ１を点灯した場合にワークＷ２で正反射された反射光がカメラＣ１に入射する位置関係の一例を示す図である。
【図１０】照明装置Ｌ２を点灯した場合にワークＷ２で正反射された反射光がカメラＣ２に入射する位置関係の一例を示す図である。
【図１１】図９および図１０に示した位置関係において、照明装置Ｌ３を点灯した場合にワークＷ２で正反射される反射光の一例を示す図である。
【図１２】図９ないし図１１に示した位置関係において、ワークＷ２を含む領域におけるカメラＣ１およびＣ２の受光量の一例を示す図である。
【発明を実施するための形態】
【０００９】
本明細書および添付図面の記載により、少なくとも以下の事項が明らかとなる。
【００１０】
＝＝＝物品認識システム全体の構成の概略＝＝＝
以下、図２ないし図４を参照して、後述する本発明の一実施形態における物品認識装置を備えた物品認識システム全体の構成の概略について説明する。なお、図３は、ステレオカメラ２、および照明装置Ｌ１ないしＬ３の位置関係を、ステレオカメラ２側（図２において上側）から見た図である。
【００１１】
図２に示されている物品認識システムは、物品認識装置１、ステレオカメラ２、および照明装置Ｌ１ないしＬ３を含んで構成され、一例として、表面に光沢がある８つのワークＷｎ（１≦ｎ≦８）を認識対象とする。また、ステレオカメラ２、および照明装置Ｌ１ないしＬ３は、ワーク群を収納するトレイ９が据え置かれる作業台などの上方に配置されている。なお、各ワークＷｎは、例えば図４に示す形状をしており、トレイ９内でランダムな姿勢をとっているものとする。
【００１２】
ステレオカメラ２は、ワーク群に対する相対位置が異なるカメラＣ１およびＣ２（第１および第２のカメラ）を備え、カメラＣ１およびＣ２からそれぞれ出力される一対の（２次元）画像Ｉｍ１およびＩｍ２は、物品認識装置１に入力されている。そして、物品認識装置１からは、認識した各ワークＷｎの位置・姿勢情報Ｔ［Ｗｎ］が出力されている。さらに、物品認識装置１は、各カメラおよび各照明装置を制御するための制御信号ＳＣ１、ＳＣ２、およびＳＬ１ないしＳＬ３も出力している。
【００１３】
照明装置Ｌ１ないしＬ３（第１ないし第３の照明装置）は、それぞれ、トレイ９内のワーク群を周囲からリング状に一様に照明することができるリング照明装置であり、一例として、性応答性が良いＬＥＤ（Light Emitting Diode：発光ダイオード）がリング状に配列されて構成されている。また、照明装置Ｌ１ないしＬ３は、ワーク群を互いに異なる方向から照明することができるよう、互いに異なる高さに配置されている。
【００１４】
なお、図２および図３においては、照明装置Ｌ１ないしＬ３は、下段に配置されているものほど径が大きくなっているが、これに限定されるものではない。照明装置Ｌ１ないしＬ３は、ワーク群を照明する際に、互いに陰にならず（照明光を遮らず）、互いに異なる方向から照明するように配置することができれば、同一サイズであってもよい。
【００１５】
＝＝＝物品認識装置の構成＝＝＝
以下、図１を参照して、本発明の一実施形態における物品認識装置の構成について説明する。
【００１６】
図１に示されている物品認識装置１は、撮像処理部１１、カメラ制御部１２、照明制御部１３、抽出処理部１４、３次元化処理部１５、認識処理部１６、および記憶部１７を含んで構成されている。
【００１７】
撮像処理部１１には、画像Ｉｍ１およびＩｍ２が入力され、当該画像対は、撮像処理部１１から抽出処理部１４に入力されている。また、撮像処理部１１からカメラ制御部１２には撮像指令信号ＩＭＧが入力され、カメラ制御部１２からは、制御信号ＳＣ１およびＳＣ２が出力されている。さらに、撮像処理部１１から照明制御部１３には照明選択信号ＳＥＬが入力され、照明制御部１３からは、制御信号ＳＬ１ないしＳＬ３が出力されている。
【００１８】
抽出処理部１４から３次元化処理部１５には、ワークＷｎを含む領域画像Ｉｍ１［Ｗｎ］およびＩｍ２［Ｗｎ］が入力され、３次元化処理部１５から出力されるワークＷｎの３次元画像（情報）Ｉｍ３［Ｗｎ］は、認識処理部１６に入力されている。また、記憶部１７から認識処理部１６には、ワークの形状を表す３次元モデルＭＤＬが入力され、認識処理部１６からは、ワークＷｎの位置・姿勢情報Ｔ［Ｗｎ］が出力されている。
【００１９】
＝＝＝物品認識装置の動作＝＝＝
以下、図５ないし図１２を適宜参照して、本実施形態における物品認識装置の動作について説明する。
【００２０】
物品認識装置１のうち、撮像処理部１１、抽出処理部１４、３次元化処理部１５、および認識処理部１６の機能は、例えば、カメラ制御部１２、照明制御部１３、および記憶部１７を備えるコンピュータによって実現することができる。図５および図７は、撮像処理部１１、抽出処理部１４、３次元化処理部１５、および認識処理部１６に相当する機能をコンピュータに実現させるためのプログラムの動作を示している。
【００２１】
図５には、撮像処理部１１に相当する機能（ワーク撮像処理）が示されている。ワーク撮像処理が開始されると（Ｓ１１）、各照明装置Ｌｍ（１≦ｍ≦３）に対して、Ｓ１２およびＳ１３の処理が行われる（ループ処理１）。
【００２２】
ループ処理１においては、まず、照明装置Ｌｍを選択し、当該照明装置Ｌｍを示す照明選択信号ＳＥＬ（＝ｍ）を照明制御部１３に入力する。そして、照明制御部１３の制御によって、照明装置Ｌｍを点灯させ、他の照明装置を消灯させる（Ｓ１２）。
【００２３】
次に、照明装置Ｌｍを点灯させた状態で、撮像指令信号ＩＭＧをカメラ制御部１２に入力する。そして、カメラ制御部１２の制御によって、カメラＣ１およびＣ２にトレイ９内のワーク群を撮影させ、撮像された画像Ｉｍ１およびＩｍ２を取得する（Ｓ１３）。
【００２４】
そして、Ｓ１２およびＳ１３のループ処理１を各照明装置Ｌｍに対して行い、照明装置Ｌ１ないしＬ３のうちの何れか１つを順次点灯させて撮像された画像対をそれぞれ取得することによって、６つの画像（３つの画像対）を取得することができ、ワーク撮像処理を終了する（Ｓ１４）。なお、図６に示すように、ワーク撮像処理によって、照明装置Ｌ１を点灯させて撮像された画像Ｉ１１およびＩ１２（第１の画像対）、照明装置Ｌ２を点灯させて撮像された画像Ｉ２１およびＩ２２（第２の画像対）、照明装置Ｌ３を点灯させて撮像された画像Ｉ３１およびＩ３２（第３の画像対）が取得される。
【００２５】
図７には、抽出処理部１４、３次元化処理部１５、および認識処理部１６に相当する機能（ワーク認識処理）が示されている。ワーク認識処理が開始されると（Ｓ２１）、まず、ワーク撮像処理で取得した６つの画像のうちの少なくとも１つ（例えば画像Ｉ１１）を用いて各ワークＷｎを抽出する（Ｓ２２）。
【００２６】
具体的には、例えば、画像Ｉ１１から各ワークＷｎのエッジを抽出し、図８に示すように、各ワークＷｎを含む領域を抽出して領域画像Ｉ１１［Ｗｎ］を生成する。なお、トレイ９内でワーク同士が重なり合っている場合や接触している場合など、領域画像の一部が重複している場合もある。また、領域画像Ｉ１１［Ｗｎ］は、図８のように画像Ｉ１１をトリミングしたものではなく、例えば、画像Ｉ１１においてワークＷｎ以外の部分をマスキングしたものであってもよい。
【００２７】
次に、各ワークＷｎ（１≦ｎ≦８）に対して、Ｓ２３ないしＳ２９の処理が行われる（ループ処理２）。以下においては、一例として、ワークＷ２（ｎ＝２）に対する処理について説明する。
【００２８】
ループ処理２においては、まず、ｍ＝１として（Ｓ２３）、照明装置Ｌ１を点灯させて撮像された画像Ｉ１１およびＩ１２を選択し、当該画像対からそれぞれワークＷ２を含む領域画像Ｉ１１［Ｗ２］およびＩ１２［Ｗ２］を生成する（Ｓ２４）。したがって、Ｓ２２ないしＳ２４の処理は、抽出処理部１４に相当する機能を実現する。
【００２９】
具体的には、Ｓ２２の処理と同様に、例えば、画像Ｉ１１およびＩ１２からそれぞれワークＷ２を含む領域を抽出し、ワークＷ２以外の部分をトリミングまたはマスキングして領域画像Ｉ１１［Ｗ２］およびＩ１２［Ｗ２］を生成する。なお、後述するＳ２８の処理において対応点検索および３次元化を行うため、ワークＷ２を含む領域は、画像Ｉ１１およびＩ１２において同じ位置およびサイズで抽出する。
【００３０】
次に、領域画像Ｉ１１［Ｗ２］およびＩ１２［Ｗ２］において、カメラＣ１およびＣ２間の受光量差ＤＬを求め、所定の閾値Ｄｔｈと比較する（Ｓ２５）。具体的には、例えば、各領域画像に含まれる画素の平均輝度や、各領域画像におけるエピポーラ線上の輝度の変化に基づいて受光量差ＤＬを求めることができる。
【００３１】
ここで、一例として、カメラＣ１、Ｃ２、照明装置Ｌ１ないしＬ３、およびワークＷ２が図９ないし図１１のような位置関係となっている場合、図９に示すように、照明装置Ｌ１からの照明光がワークＷ２の表面で正反射された反射光は、カメラＣ１に入射する。したがって、領域画像Ｉ１１［Ｗ２］においては、ワークＷ２の表面に照明装置Ｌ１が映り込み、領域画像Ｉ１２［Ｗ２］においては、当該映り込みが発生しない。そのため、例えば図１２のｍ＝１の場合に示すように、これらの領域画像における輝度（カメラの受光量）は大きく異なる。
【００３２】
このように、一方の領域画像に照明装置Ｌ１が映り込み、受光量差ＤＬが閾値Ｄｔｈより大きい場合（Ｓ２５：ＮＯ）には、次に、ｍ＝２として（Ｓ２７）、照明装置Ｌ２を点灯させて撮像された画像Ｉ２１およびＩ２２を選択する。そして、当該画像対からそれぞれワークＷ２を含む領域画像Ｉ２１［Ｗ２］およびＩ２２［Ｗ２］を生成する（Ｓ２４）。
【００３３】
照明装置Ｌ２を点灯させた場合、図１０に示すように、照明装置Ｌ２からの照明光がワークＷ２の表面で正反射された反射光は、カメラＣ２に入射する。したがって、領域画像Ｉ２２［Ｗ２］においては、ワークＷ２の表面に照明装置Ｌ２が映り込み、領域画像Ｉ２１［Ｗ２］においては、当該映り込みが発生しない。そのため、例えば図１２のｍ＝２の場合に示すように、これらの領域画像における輝度は大きく異なる。
【００３４】
このように、一方の領域画像に照明装置Ｌ２が映り込み、受光量差ＤＬが閾値Ｄｔｈより大きい場合（Ｓ２５：ＮＯ）には、次に、ｍ＝３として（Ｓ２７）、照明装置Ｌ３を点灯させて撮像された画像Ｉ３１およびＩ３２を選択する。そして、当該画像対からそれぞれワークＷ２を含む領域画像Ｉ３１［Ｗ２］およびＩ３２［Ｗ２］を生成する（Ｓ２４）。
【００３５】
照明装置Ｌ３を点灯させた場合、図１１に示すように、照明装置Ｌ３からの照明光がワークＷ２の表面で正反射された反射光は、カメラＣ１およびＣ２のいずれにも入射しない。したがって、領域画像Ｉ３１［Ｗ２］およびＩ３２［Ｗ２］のいずれにおいてもワークＷ２の表面における照明装置Ｌ２の映り込みが発生しない。そのため、例えば図１２のｍ＝３の場合に示すように、これらの領域画像における輝度は同程度となる。
【００３６】
このように、いずれの領域画像においても照明装置Ｌ３の映り込みが発生せず、受光量差ＤＬが閾値Ｄｔｈ以下である場合（Ｓ２５：ＹＥＳ）には、領域画像Ｉ３１［Ｗ２］およびＩ３２［Ｗ２］を用いて対応点検索および３次元化を行う（Ｓ２８）。具体的には、例えば図１２に示すように、領域画像Ｉ３１［Ｗ２］のエピポーラ線ＥＰ１上の注目点ＡおよびＢに対して、領域画像Ｉ３２［Ｗ２］のエピポーラ線ＥＰ２上で対応点Ａ’およびＢ’をそれぞれ検索する。そして、得られた画像間の視差に基づいてワークＷ２の３次元画像Ｉ３３［Ｗ２］を生成する。
【００３７】
以上のように、照明装置Ｌ１ないしＬ３をそれぞれ点灯させた場合の一対の領域画像のうち、照明装置の映り込みがなく、ＤＬ≦Ｄｔｈとなる領域画像Ｉ３１［Ｗ２］およびＩ３２［Ｗ２］に基づいてワークＷ２の３次元画像Ｉ３３［Ｗ２］を生成する。したがって、Ｓ２５ないしＳ２８の処理は、３次元化処理部１５に相当する機能を実現する。
【００３８】
ここで、本実施形態の物品認識システムは、ワーク群を互いに異なる方向から照明する３つの照明装置Ｌ１ないしＬ３を備えている。そのため、例えば図９および図１０に示したように、一方の領域画像に映り込みが発生する照明装置とカメラとの組み合わせが存在する場合であっても、例えば図１１に示したように、いずれの領域画像においても映り込みが発生しない照明装置が少なくとも１つ存在する。なお、Ｓ２６の処理は、照明装置Ｌ１ないしＬ３のいずれを点灯させた場合においても一方の領域画像に映り込みが発生している場合（Ｓ２６：ＹＥＳ）の例外処理であり、必須のものではない。
【００３９】
次に、生成されたワークＷ２の３次元画像Ｉ３３［Ｗ２］を、記憶部１７に記憶されている３次元モデルＭＤＬと照合して、ワークＷ２を認識し、位置・姿勢情報Ｔ［Ｗ２］を算出する（Ｓ２９）。したがって、当該Ｓ９の処理は、制御部１７に相当する機能を実現する。
【００４０】
そして、Ｓ２３ないしＳ２９のループ処理２を各ワークＷｎに対して行うことによって、ワークＷ１ないしＷ８をすべて認識して、それぞれ位置・姿勢情報Ｔ［Ｗ１］ないしＴ［Ｗ８］を算出することができ、処理を終了する（Ｓ３０）。
【００４１】
前述したように、物品認識装置１において、ワーク（物品）群を互いに異なる方向から照明する照明装置Ｌ１ないしＬ３のうちの何れか１つを順次点灯させて撮像された画像対をそれぞれ取得することによって、照明装置の映り込みがなく、カメラＣ１およびＣ２間の受光量差ＤＬが所定の閾値Ｄｔｈ以下である少なくとも一対の領域画像を得ることができ、当該一対の領域画像を用いて生成される３次元画像に基づいて、表面に光沢があるワークＷｎ（１≦ｎ≦８）をステレオカメラ２を用いて認識することができる。
【００４２】
また、一対の領域画像を用いて生成された３次元画像をワークの形状を表す３次元モデルＭＤＬと照合することによって、ワークＷｎを認識し、位置・姿勢情報Ｔ［Ｗｎ］を算出することができる。
【００４３】
また、各領域画像に含まれる画素の平均輝度や、各領域画像におけるエピポーラ線上の輝度の変化に基づいて受光量差ＤＬを求めることによって、当該受光量差ＤＬを閾値Ｄｔｈと比較して照明装置の映り込みがない一対の領域画像を選択し、３次元画像の生成に用いることができる。
【００４４】
また、図２および図３に示した物品認識システムにおいて、照明制御部１３の制御によって照明装置Ｌ１ないしＬ３を点灯または消灯させ、カメラ制御部１２の制御によってカメラＣ１およびＣ２にワーク群を撮影させることによって、ワーク群を互いに異なる方向から照明して撮像された画像対をそれぞれ取得することができる。
【００４５】
また、照明装置Ｌ１ないしＬ３として、ワーク群を周囲からリング状に一様に照明するリング照明装置を用いて、互いに異なる高さに配置することによって、ワーク群を互いに異なる方向から照明することができる。
【００４６】
また、物品認識装置１の少なくとも撮像処理部１１、抽出処理部１４、３次元化処理部１５、および認識処理部１６に相当する機能をコンピュータに実現させるためのプログラムにおいて、ワーク群を互いに異なる方向から照明する照明装置Ｌ１ないしＬ３のうちの何れか１つを順次点灯させて撮像された画像対をそれぞれ取得することによって、照明装置の映り込みがない一対の領域画像を用いて生成される３次元画像に基づいて、表面に光沢があるワークＷｎをステレオカメラ２を用いて認識することができる。
【００４７】
また、照明装置Ｌ１ないしＬ３を点灯または消灯させて、ワーク群を互いに異なる方向から照明し、ステレオカメラ２によってそれぞれ撮影させることによって、照明装置の映り込みがない少なくとも一対の領域画像を得ることができ、当該一対の領域画像を用いて生成される３次元画像に基づいて、表面に光沢があるワークＷｎを認識することができる。
【００４８】
なお、上記実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得るとともに、本発明にはその等価物も含まれる。
【００４９】
上記実施形態では、物品認識システムは、２つのカメラＣ１およびＣ２を備えたステレオカメラ２、および３つの照明装置Ｌ１ないしＬ３を備えているが、これに限定されるものではない。例えば、３つ以上のカメラを備え、認識対象のワークの位置などに応じて適宜選択した２つのカメラによって撮像された一対の２次元画像を出力するステレオカメラを用いることもできる。また、例えば、３つ以上のカメラによって撮像されたｋ個（ｋ≧３）の２次元画像（画像セット）に基づいてワークの３次元画像を生成してもよい。そして、この場合には、（ｋ＋１）個の照明装置を用いることによって、照明装置の映り込みがない少なくとも１組の画像セットを得ることができる。
【符号の説明】
【００５０】
１ 物品認識装置
２ ステレオカメラ
９ トレイ
１１ 撮像処理部
１２ カメラ制御部
１３ 照明制御部
１４ 抽出処理部
１５ ３次元化処理部
１６ 認識処理部
１７ 記憶部
Ｃ１、Ｃ２ カメラ
Ｌ１〜Ｌ３ 照明装置
Ｗ１〜Ｗ８ ワーク
【特許請求の範囲】
【請求項１】
認識対象の複数の物品からなる物品群を撮像する第１および第２のカメラを備えたステレオカメラを制御するカメラ制御部と、
前記物品群を互いに異なる方向から照明する第１ないし第３の照明装置を制御する照明制御部と、
前記第１ないし第３の照明装置のうちの何れか１つを順次点灯させて、前記ステレオカメラによってそれぞれ撮像された一対の２次元画像からなる第１ないし第３の画像対を取得する撮像処理部と、
前記第１ないし第３の画像対に含まれる少なくとも１つの２次元画像から前記物品をそれぞれ含む領域を抽出する抽出処理部と、
前記領域ごとに、前記第１ないし第３の画像対のうち前記第１および第２のカメラ間の受光量の差が所定値以下である画像対に基づいて前記物品の３次元画像を生成する３次元化処理部と、
前記３次元画像に基づいて前記物品を認識して位置・姿勢情報を算出する認識処理部と、
を有することを特徴とする物品認識装置。
【請求項２】
前記物品の形状を表す３次元モデルが記憶されている記憶部をさらに有し、
前記認識処理部は、前記３次元画像を前記３次元モデルと照合して前記位置・姿勢情報を算出することを特徴とする請求項１に記載の物品認識装置。
【請求項３】
前記３次元化処理部は、前記一対の２次元画像にそれぞれ含まれる画素の輝度に基づいて前記受光量の差を求めることを特徴とする請求項１または請求項２に記載の物品認識装置。
【請求項４】
請求項１ないし請求項３の何れかに記載の物品認識装置と、
前記カメラ制御部の制御によって前記物品群を撮影して前記一対の２次元画像を出力する前記ステレオカメラと、
前記照明制御部の制御によって前記物品群を照明する前記第１ないし第３の照明装置と、
を備えることを特徴とする物品認識システム。
【請求項５】
前記第１ないし第３の照明装置は、互いに異なる高さから前記物品群をリング状に照明するリング照明装置であることを特徴とする請求項４に記載の物品認識システム。
【請求項６】
認識対象の複数の物品からなる物品群を撮像する第１および第２のカメラを備えたステレオカメラを制御するカメラ制御部と、
前記物品群を互いに異なる方向から照明する第１ないし第３の照明装置を制御する照明制御部と、
を備えるコンピュータに、
前記第１ないし第３の照明装置のうちの何れか１つを順次点灯させて、前記ステレオカメラによってそれぞれ撮像された一対の２次元画像からなる第１ないし第３の画像対を取得する機能と、
前記第１ないし第３の画像対に含まれる少なくとも１つの２次元画像から前記物品をそれぞれ含む領域を抽出する機能と、
前記領域ごとに、前記第１ないし第３の画像対のうち前記第１および第２のカメラ間の受光量の差が所定値以下である画像対に基づいて前記物品の３次元画像を生成する機能と、
前記３次元画像に基づいて前記物品を認識して位置・姿勢情報を算出する機能と、
を実現させるためのプログラム。
【請求項７】
認識対象の複数の物品からなる物品群を互いに異なる方向から照明する第１ないし第３の照明装置のうちの何れか１つを順次点灯させて、前記物品群を撮像する第１および第２のカメラを備えたステレオカメラによってそれぞれ撮像された一対の２次元画像からなる第１ないし第３の画像対を取得し、
前記第１ないし第３の画像対に含まれる少なくとも１つの２次元画像から前記物品をそれぞれ含む領域を抽出し、
前記領域ごとに、前記第１ないし第３の画像対のうち前記第１および第２のカメラ間の受光量の差が所定値以下である画像対に基づいて前記物品の３次元画像を生成し、
前記３次元画像に基づいて前記物品を認識して位置・姿勢情報を算出することを特徴とする物品認識方法。
【請求項１】
認識対象の複数の物品からなる物品群を撮像する第１および第２のカメラを備えたステレオカメラを制御するカメラ制御部と、
前記物品群を互いに異なる方向から照明する第１ないし第３の照明装置を制御する照明制御部と、
前記第１ないし第３の照明装置のうちの何れか１つを順次点灯させて、前記ステレオカメラによってそれぞれ撮像された一対の２次元画像からなる第１ないし第３の画像対を取得する撮像処理部と、
前記第１ないし第３の画像対に含まれる少なくとも１つの２次元画像から前記物品をそれぞれ含む領域を抽出する抽出処理部と、
前記領域ごとに、前記第１ないし第３の画像対のうち前記第１および第２のカメラ間の受光量の差が所定値以下である画像対に基づいて前記物品の３次元画像を生成する３次元化処理部と、
前記３次元画像に基づいて前記物品を認識して位置・姿勢情報を算出する認識処理部と、
を有することを特徴とする物品認識装置。
【請求項２】
前記物品の形状を表す３次元モデルが記憶されている記憶部をさらに有し、
前記認識処理部は、前記３次元画像を前記３次元モデルと照合して前記位置・姿勢情報を算出することを特徴とする請求項１に記載の物品認識装置。
【請求項３】
前記３次元化処理部は、前記一対の２次元画像にそれぞれ含まれる画素の輝度に基づいて前記受光量の差を求めることを特徴とする請求項１または請求項２に記載の物品認識装置。
【請求項４】
請求項１ないし請求項３の何れかに記載の物品認識装置と、
前記カメラ制御部の制御によって前記物品群を撮影して前記一対の２次元画像を出力する前記ステレオカメラと、
前記照明制御部の制御によって前記物品群を照明する前記第１ないし第３の照明装置と、
を備えることを特徴とする物品認識システム。
【請求項５】
前記第１ないし第３の照明装置は、互いに異なる高さから前記物品群をリング状に照明するリング照明装置であることを特徴とする請求項４に記載の物品認識システム。
【請求項６】
認識対象の複数の物品からなる物品群を撮像する第１および第２のカメラを備えたステレオカメラを制御するカメラ制御部と、
前記物品群を互いに異なる方向から照明する第１ないし第３の照明装置を制御する照明制御部と、
を備えるコンピュータに、
前記第１ないし第３の照明装置のうちの何れか１つを順次点灯させて、前記ステレオカメラによってそれぞれ撮像された一対の２次元画像からなる第１ないし第３の画像対を取得する機能と、
前記第１ないし第３の画像対に含まれる少なくとも１つの２次元画像から前記物品をそれぞれ含む領域を抽出する機能と、
前記領域ごとに、前記第１ないし第３の画像対のうち前記第１および第２のカメラ間の受光量の差が所定値以下である画像対に基づいて前記物品の３次元画像を生成する機能と、
前記３次元画像に基づいて前記物品を認識して位置・姿勢情報を算出する機能と、
を実現させるためのプログラム。
【請求項７】
認識対象の複数の物品からなる物品群を互いに異なる方向から照明する第１ないし第３の照明装置のうちの何れか１つを順次点灯させて、前記物品群を撮像する第１および第２のカメラを備えたステレオカメラによってそれぞれ撮像された一対の２次元画像からなる第１ないし第３の画像対を取得し、
前記第１ないし第３の画像対に含まれる少なくとも１つの２次元画像から前記物品をそれぞれ含む領域を抽出し、
前記領域ごとに、前記第１ないし第３の画像対のうち前記第１および第２のカメラ間の受光量の差が所定値以下である画像対に基づいて前記物品の３次元画像を生成し、
前記３次元画像に基づいて前記物品を認識して位置・姿勢情報を算出することを特徴とする物品認識方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１２−２５１８６６（Ｐ２０１２−２５１８６６Ａ）
【公開日】平成２４年１２月２０日（２０１２．１２．２０）
【国際特許分類】
【出願番号】特願２０１１−１２４４２１（Ｐ２０１１−１２４４２１）
【出願日】平成２３年６月２日（２０１１．６．２）
【出願人】（０００００５２３４）富士電機株式会社 (3,146)
【Ｆターム（参考）】
【公開日】平成２４年１２月２０日（２０１２．１２．２０）
【国際特許分類】
【出願日】平成２３年６月２日（２０１１．６．２）
【出願人】（０００００５２３４）富士電機株式会社 (3,146)
【Ｆターム（参考）】
[ Back to top ]