袋入り製品の位置検出方法及びその装置
【課題】袋入り製品の袋歪みに影響されずにケース内の袋入り製品を認識して、その位置を短時間で検出することが可能な袋入り製品の位置検出方法及びその装置を提供する。
【解決手段】袋入り製品の位置検出装置１０は、表面に模様が記載された収納袋に物品を封入した袋入り製品の群から抽出した複数のサンプルの表面に現れる模様のサンプル画像１２の輝度分布特徴を求める学習手段１３と、袋入り製品がケース内に並べられた状態を撮影したカメラ画像１５から切出した複数の分割画像１６の中から、輝度分布特徴に似た類似輝度分割画像を求め、類似輝度分割画像のカメラ画像１５内での位置に基づいて袋入り製品のケース内での製品位置を求める認識手段１７とを有する。
【解決手段】袋入り製品の位置検出装置１０は、表面に模様が記載された収納袋に物品を封入した袋入り製品の群から抽出した複数のサンプルの表面に現れる模様のサンプル画像１２の輝度分布特徴を求める学習手段１３と、袋入り製品がケース内に並べられた状態を撮影したカメラ画像１５から切出した複数の分割画像１６の中から、輝度分布特徴に似た類似輝度分割画像を求め、類似輝度分割画像のカメラ画像１５内での位置に基づいて袋入り製品のケース内での製品位置を求める認識手段１７とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、袋入り製品がケース内に並べられた状態のカメラ画像を、予め取得しておいた袋入り製品のサンプル画像（テンプレート画像ともいう）と照合することにより、ケース内に並べられた袋入り製品の位置を検出する袋入り製品の位置検出方法及びその装置に関する。
【背景技術】
【０００２】
ロボットで製品の仕分けを行う際のロボットの視覚を担うロボットビジョンにおいては、カメラで撮影した画像から製品の位置を認識することが必要となる。製品の位置を認識する方法（位置検出機能）として、箱入り製品に対しては、箱表面に存在する記載された模様のカメラ画像を１つのサンプル画像と照合する、例えば非特許文献１のPatMax（コグネックス株式会社商標登録）等の多数の画像処理手法が実用化されている。一方、袋入り製品では、袋が膨れたり、しわが存在したりして、袋表面に存在する識別対象物が歪んでいる。このため、袋入り製品の袋表面の識別対象物のカメラ画像に対して、識別対象物の歪み補正を行ってから、袋に歪みのない状態での袋表面の識別対象物の画像であるサンプル画像と照合する、例えば非特許文献２のPatFlex（コグネックス株式会社商標登録）という画像処理手法が使用されている。
また、複数のサンプル画像を予め画像データとして記憶しておき、識別対象物の認識を行う方法も提案されている。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】[平成２２年３月９日検索]、インターネット＜URL：//www.incom.co.jp/productnavi-pdf/WEB200710/GD-00040868-01.pdf＞
【非特許文献２】[平成２２年３月９日検索]、インターネット＜URL：//www.incom.co.jp/productnavi-pdf/WEB20044/GD-0010594-01.pdf＞
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、PatFlexという画像処理手法では、袋の膨れ方、袋のしわの状態等が異なると、袋表面の識別対象物の歪み状態も変化するため、歪み補正して得られる識別対象物の画像は歪みの程度に応じて変化する可能性がある。このため、歪み補正後の識別対象物の画像を、袋に歪みのない状態での袋表面の識別対象物の画像、すなわち、１つのサンプル画像で照合する場合、同一の識別対象物として認識されない可能性が高い、更に歪み補正の処理時間が長くなるという問題がある。また、複数のサンプル画像を用いて識別対象物の認識を行う場合、サンプル画像用の記憶容量が大きくなると共に、１つのサンプル画像で照合する場合と比較して、照合に要する時間が長くなるという問題がある。
【０００５】
本発明はかかる事情に鑑みてなされたもので、袋入り製品の袋歪みに影響されずにケース内に並べられた袋入り製品を認識して、その位置を短時間で検出することが可能な袋入り製品の位置検出方法及びその装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
前記目的に沿う第１の発明に係る袋入り製品の位置検出方法は、表面に模様が記載された収納袋に物品を封入した袋入り製品の群から抽出した複数のサンプルの表面に現れる前記模様のサンプル画像の輝度分布特徴を求める学習過程と、
前記袋入り製品がケース内に並べられた状態を撮影したカメラ画像から切出した複数の分割画像の中から、前記輝度分布特徴に似た類似輝度分布を有する類似輝度分割画像を求め、該類似輝度分割画像の前記カメラ画像内での位置に基づいて前記袋入り製品の前記ケース内での製品位置を求める認識過程とを有する。
【０００７】
第１の発明に係る袋入り製品の位置検出方法において、前記サンプル画像は、前記ケース内を前記複数のサンプルで満たした状態の画像から該各サンプルの前記模様の部分を切出して作成した複数の原画像と、該各原画像をその中心に対してそれぞれ一定の角度だけ回転して得た複数の回転画像から構成することが好ましい。
【０００８】
第１の発明に係る袋入り製品の位置検出方法において、前記分割画像を、前記カメラ画像内で、前記サンプル画像と同一のフレームサイズからなる走査単位を、該カメラ画像中で予め決めた部位を起点とし１画素ずつ順次走査しながら切出して作成することが好ましい。
【０００９】
第１の発明に係る袋入り製品の位置検出方法において、前記学習過程は、前記サンプル画像毎に、該サンプル画像の輝度分布を構成するＭ個の画素の濃度値を画素番号順に並べて得られるＭ次元空間のサンプル濃度値ベクトルを求め、該サンプル濃度値ベクトルの平均サンプル濃度値ベクトルを算出するＧ１工程と、
前記各サンプル濃度値ベクトルを、前記Ｍ次元空間より低次元のＬ次元空間の固有ベクトルの線形結合と前記平均サンプル濃度値ベクトルの和で近似する際の、該固有ベクトル及び線形結合係数から構成されるサンプル特徴ベクトルをそれぞれ求めるＧ２工程と、
前記平均サンプル濃度値ベクトル、前記固有ベクトル、及び前記サンプル特徴ベクトルから構成され前記輝度分布特徴を定量的に示す画像データベースを作成するＧ３工程とを有することが好ましい。
【００１０】
第１の発明に係る袋入り製品の位置検出方法において、前記固有ベクトルは、複数の前記サンプル濃度値ベクトルから構成される濃度値行列から求めた分散共分散行列の固有値の中から、大きい順にＬ個だけ選んだものにそれぞれ対応する固有ベクトルで構成することが好ましい。
【００１１】
第１の発明に係る袋入り製品の位置検出方法において、前記Ｌは、前記固有値を大きい方から順次足し合せた部分和を該固有値の総和で除した累積寄与率が、０．８未満の範囲で最大となる場合の足し合せた前記固有値の個数とすることができる。
【００１２】
第１の発明に係る袋入り製品の位置検出方法において、前記認識過程は、前記分割画像毎に、該分割画像の輝度分布を構成するＭ個の画素の濃度値を画素番号順に並べて得られるＭ次元空間の濃度値ベクトルをそれぞれ求め、該各濃度値ベクトルを前記固有ベクトルの線形結合と前記平均サンプル濃度値ベクトルの和で近似した際にそれぞれ決まる線形結合係数から構成される特徴ベクトルを求めるＲ１工程と、
前記分割画像毎に、前記特徴ベクトルと前記各サンプル特徴ベクトルとの間の距離を算出し、前記分割画像の輝度分布と前記輝度分布特徴との類似を定量的に示す類似度とするＲ２工程と、
前記各サンプル特徴ベクトル毎に求めた前記類似度を、前記分割画像を切出した分割画像番号順に並べて類似度分布を作成し、該各類似度分布の類似度極小となる前記分割画像番号から構成される画像番号群内のひとつの該分割画像番号の前記分割画像を前記類似輝度分割画像とすると共に、該類似輝度分割画像の該分割画像番号から該類似輝度分割画像の前記カメラ画像内での位置を求めるＲ３工程と、
前記類似輝度分割画像の前記カメラ画像内での位置に基づいて、前記袋入り製品の前記ケース内での製品位置を求めるＲ４工程とを有することが好ましい。
ここで、前記類似輝度分割画像は、前記画像番号群内の前記各分割画像番号の平均番号又は該平均番号に最も近い番号に対応する該分割画像番号の前記分割画像とすることができる。
【００１３】
前記目的に沿う第２の発明に係る袋入り製品の位置検出装置は、表面に模様が記載された収納袋に物品を封入した袋入り製品の群から抽出した複数のサンプルの表面に現れる前記模様のサンプル画像の輝度分布特徴を求める学習手段と、
前記袋入り製品がケース内に並べられた状態を撮影したカメラ画像から切出した複数の分割画像の中から、前記輝度分布特徴に似た類似輝度分布を有する類似輝度分割画像を求め、該類似輝度分割画像の前記カメラ画像内での位置に基づいて前記袋入り製品の前記ケース内での製品位置を求める認識手段とを有する。
【００１４】
第２の発明に係る袋入り製品の位置検出装置において、前記学習手段は、前記ケース内を前記複数のサンプルで満たした状態の画像から該各サンプルの前記模様の部分を切出して作成した複数の原画像、及び該各原画像をその中心に対してそれぞれ一定の角度だけ回転して得た複数の回転画像から前記サンプル画像を構成するサンプル画像作成部と、
前記サンプル画像毎に、該サンプル画像の輝度分布を構成するＭ個の画素の濃度値を画素番号順に並べて得られるＭ次元空間のサンプル濃度値ベクトルを求める前記サンプル画像の輝度分布作成部と、
前記各サンプル濃度値ベクトルを、前記Ｍ次元空間より低次元のＬ次元空間の固有ベクトルの線形結合で近似する際の前記固有ベクトル及び線形結合係数から構成されるサンプル特徴ベクトルをそれぞれ求め、前記輝度分布特徴を定量的に示す画像データベースを構築して保存する学習データ記憶部とを備えていることが好ましい。
【００１５】
第２の発明に係る袋入り製品の位置検出装置において、前記認識手段は、前記カメラ画像内で、該カメラ画像中で予め決めた部位を起点とし、前記サンプル画像と同一のフレームサイズからなる走査単位を１画素ずつ順次走査しながら切出して前記分割画像を作成する分割画像作成部と、
前記分割画像毎に、該分割画像の輝度分布を構成するＭ個の画素の濃度値を画素番号順に並べて得られるＭ次元空間の濃度値ベクトルをそれぞれ求める前記分割画像の輝度分布作成部と、
前記各濃度値ベクトルを、前記固有ベクトルの線形結合で近似した際にそれぞれ決まる線形結合係数から構成される特徴ベクトルを求め、該特徴ベクトルと前記各サンプル特徴ベクトルとの間の距離を算出し、前記分割画像の輝度分布と前記輝度分布特徴との類似を定量的に示す類似度とする類似度計算部と、
前記各サンプル特徴ベクトル毎に求めた前記類似度を、前記分割画像を切出した分割画像番号順に並べて類似度分布を作成し、該各類似度分布の類似度極小となる前記分割画像番号から構成される画像番号群内のひとつの該分割画像番号の前記分割画像を前記類似輝度分割画像とし、該類似輝度分割画像の該分割画像番号から該類似輝度分割画像の前記カメラ画像内での位置を求める認識部と、
前記類似輝度分割画像の前記カメラ画像内での位置に基づいて、前記袋入り製品の前記ケース内での製品位置を算出する検出部とを備えていることが好ましい。
【発明の効果】
【００１６】
第１の発明に係る袋入り製品の位置検出方法及び第２の発明に係る袋入り製品の位置検出装置においては、袋入り製品の表面に現れる模様の特徴を輝度分布の特徴として捉えることにより、袋入り製品の袋歪みに影響されずにケース内に並べられた袋入り製品の模様を認識することが可能になる。その結果、例えば、ロボットで袋入り製品の仕分け作業を行う際に、ロボットピッキングにおける正確な位置決めを行うことができる。
【００１７】
第１の発明に係る袋入り製品の位置検出方法において、サンプル画像を、ケース内を複数のサンプルで満たした状態の画像から各サンプルの模様の部分を切出して作成した複数の原画像と、各原画像をその中心に対してそれぞれ一定の角度だけ回転して得た複数の回転画像から構成する場合、サンプルの個性の違い（例えば、サンプルの姿勢、サンプル周辺の見え方、サンプルの収納袋の膨らみ、しわ、折れ等の収納袋の歪み、サンプル表面での光の反射具合、サンプル表面に生じた影、サンプル同士の重なり）を反映するサンプル画像を効率的に収集することができる。
【００１８】
第１の発明に係る袋入り製品の位置検出方法において、分割画像を、カメラ画像内で、サンプル画像と同一のフレームサイズからなる走査単位を、カメラ画像中で予め決めた部位を起点とし１画素ずつ順次走査しながら切出して作成する場合、分割画像からサンプル画像の輝度分布特徴に似た類似パターンを直接探索することができる。
【００１９】
第１の発明に係る袋入り製品の位置検出方法において、各サンプル濃度値ベクトルを、Ｍ次元空間より低次元のＬ次元空間の固有ベクトルの線形結合と平均サンプル濃度値ベクトルの和で近似することで、画像データベースの容量を少なくすることができると共に、サンプル画像の輝度分布特徴に似た類似パターンを探索するのに要する時間を短縮することができる。また、サンプル画像の輝度分布特徴を、平均サンプル濃度値ベクトル、固有ベクトル、及びサンプル特徴ベクトルを備えた画像データベースとすることで、袋入り製品のケース内に並べる様式が変更になっても、収納袋の表面に記載された模様が変わっても、画像データベースの内容を変更するだけで対応することが可能になる。
第２の発明に係る袋入り製品の位置検出装置において、各サンプル濃度値ベクトルを、Ｍ次元空間より低次元のＬ次元空間の固有ベクトルの線形結合で近似することで、画像データベースの容量を少なくすることができると共に、サンプル画像の輝度分布特徴に似た類似パターンを探索するのに要する時間を短縮することができる。また、サンプル画像の輝度分布特徴を定量的に示す画像データベースを用いることで、袋入り製品のケース内に並べる様式が変更になっても、収納袋の表面に記載された模様が変わっても、画像データベースの内容を変更するだけで対応することが可能になる。
【００２０】
第１の発明に係る袋入り製品の位置検出方法において、固有ベクトルを、複数のサンプル濃度値ベクトルから構成される濃度値行列から求めた分散共分散行列の固有値の中から、大きい順にＬ個だけ選んだものにそれぞれ対応する固有ベクトルで構成すると共に、Ｌ個を、固有値を大きい方から順次足し合せた部分和を固有値の総和で除した累積寄与率が、０．８未満の範囲で最大となる場合の足し合せた固有値の個数とすることにより、Ｍ次元空間のサンプル濃度値ベクトルを、Ｌ次元空間の固有ベクトルの線形結合と平均サンプル濃度値ベクトルの和でよく近似することができる。
【００２１】
第１の発明に係る袋入り製品の位置検出方法及び第２の発明に係る袋入り製品の位置検出装置において、各分割画像毎に、その特徴ベクトルと各サンプル特徴ベクトルとの間の距離を算出して分割画像の輝度分布と輝度分布特徴との類似を定量的に示す類似度を求め、各サンプル特徴ベクトル毎に求めた類似度を、分割画像を切出した分割画像番号順に並べて類似度分布を作成し、各類似度分布の類似度極小となる分割画像番号から構成される画像番号群内のひとつの分割画像番号の分割画像を類似輝度分割画像とし、類似輝度分割画像の分割画像番号から類似輝度分割画像のカメラ画像内での位置を求める場合、袋入り製品のケース内での製品位置を簡便かつ短時間で決定することができる。
【図面の簡単な説明】
【００２２】
【図１】本発明の一実施の形態に係る袋入り製品の位置検出装置の説明図である。
【図２】原画像の説明図である。
【図３】サンプル画像を構成を示す説明図である。
【図４】カメラ画像と分割画像の説明図である。
【図５】本発明の一実施の形態に係る袋入り製品の位置検出装置を用いた袋入り製品の位置検出方法の説明図である。
【図６】サンプル濃度値ベクトルの説明図である。
【図７】濃度値行列から求めた分散共分散行列の固有値を大きさの順に並べたグラフである。
【図８】累積寄与率と固有値の個数の関係を示すグラフである。
【図９】類似度分布の一部を示すグラフである。
【発明を実施するための形態】
【００２３】
続いて、添付した図面を参照しつつ、本発明を具体化した実施の形態につき説明し、本発明の理解に供する。
図１〜図４に示すように、本発明の一実施の形態に係る袋入り製品の位置検出装置１０は、
表面に模様が記載された収納袋に物品を封入した袋入り製品の群から抽出した複数のサンプルの表面に現れる模様を、撮像手段の一例であるカメラ１１を介して得たサンプル画像１２の輝度分布特徴を求める学習手段１３と、袋入り製品がケース内に並べられた状態を撮像手段の一例であるカメラ１４で撮影したカメラ画像１５から切出した複数の分割画像１６の中から、輝度分布特徴に似た類似輝度分布を有する類似輝度分割画像を求め、類似輝度分割画像のカメラ画像１５内での位置に基づいて袋入り製品のケース内での製品位置を求める認識手段１７とを有している。なお、カメラ１１とカメラ１４は、１台のカメラで兼用することもできる。以下、詳細に設刑する。
【００２４】
学習手段１３は、図２、図３に示すように、ケース内をＰ個（図２では１６個）のサンプルで満たした状態のサンプル全体画像１８から、各サンプルの模様の部分を切出して、Ｐ個の原画像１９を作成する原画像作成機能と、各原画像１９をその中心に対してそれぞれ一定の角度だけ回転して得た、Ｑ個（図３では４８個）の回転画像２０を作成する回転画像作成機能と、Ｐ個の原画像１９とＱ個の回転画像２０からＮ（＝Ｐ＋Ｑ）個のサンプル画像１２を構成するサンプル画像作成機能とを備えたサンプル画像作成部２１を有している。ここで、図３に示すように、各回転画像２０は、例えば、各原画像１９をその中心の回りにそれぞれ、９０度、１８０度、及び２７０度だけ回転したものである。
【００２５】
また、学習手段１３は、Ｎ個のサンプル画像１２について、各サンプル画像１２毎に、サンプル画像１２の輝度分布を構成するＭ個の画素の濃度値をそれぞれ求め、各濃度値を画素番号順に並べて、サンプル画像１２の輝度分布を示すＭ次元空間のサンプル濃度値ベクトルｘｋ（ｋ＝１〜Ｎ）を形成する濃度値ベクトル演算機能を備えた輝度分布作成部２２を有している。なお、輝度分布作成部２２は、コンピュータに濃度値ベクトル演算機能を発現するプログラムを搭載させることにより形成する。
【００２６】
更に、学習手段１３は、Ｎ個のサンプル濃度値ベクトルｘｋの平均サンプル濃度値ベクトル［ｘ］を算出する第１の機能と、各サンプル濃度値ベクトルｘｋを、Ｍ次元空間より低次元のＬ次元空間の固有ベクトルａｋの線形結合と平均サンプル濃度値ベクトル［ｘ］の和で近似する場合の、Ｌ次元空間の固有ベクトルａｋを求める第２の機能と、各サンプル濃度値ベクトルｘｋを固有ベクトルａｋの線形結合でそれぞれ近似する場合の線形結合係数を求めて、線形結合係数から構成されるサンプル特徴ベクトルＣｋを求める第３の機能と、平均サンプル濃度値ベクトル［ｘ］、固有ベクトルａｋ、及び前記サンプル特徴ベクトルＣｋをサンプル画像１２の輝度分布特徴を定量的に示す画像データベースとして保存する第４の機能とを備えた学習データ記憶部２３を有している。なお、学習データ記憶部２３は、コンピュータに第１〜第４の機能を発現するプログラムを搭載させることにより形成する。
【００２７】
認識手段１７は、図４に示すように、カメラ画像１５内で、カメラ画像１５中で予め決めた部位、例えば、カメラ画像１５の左上端を起点とし、サンプル画像１２と同一のフレームサイズからなる走査単位を１画素ずつ順次走査して総数Ｖ個の分割画像１６を切出し、分割画像を１６切出した順に並べる画像処理機能を備えた分割画像作成部２４を有している。なお、分割画像作成部２４は、コンピュータに画像処理機能を発現するプログラムを搭載させることにより形成する。
【００２８】
また、認識手段１７は、分割画像１６毎に、分割画像１６の輝度分布を構成するＭ個の画素の濃度値をそれぞれ求め、各濃度値を画素番号順に並べて分割画像１６の輝度分布を示すＭ次元空間の濃度値ベクトルｘをそれぞれ求める濃度値ベクトル演算機能を備えた輝度分布作成部２５を有している。なお、輝度分布作成部２５は、コンピュータに濃度値ベクトル演算機能を発現するプログラムを搭載させることにより形成する。
【００２９】
更に、認識手段１７は、各濃度値ベクトルｘを、固有ベクトルａｋの線形結合と平均サンプル濃度値ベクトル［ｘ］の和で近似した際にそれぞれ決まる線形結合係数から構成される特徴ベクトルＣを求める第１の演算機能と、特徴ベクトルＣと各サンプル特徴ベクトルＣｋとの間の距離を算出し、分割画像１６の輝度分布とサンプル画像１２の輝度分布特徴との類似程度を定量的に示す類似度を算出する第２の演算機能を備えた類似度計算部２６と、各サンプル特徴ベクトルＣｋ毎に求めた類似度を、分割画像１６を切出した分割画像番号順に並べて類似度分布を作成し、各類似度分布の類似度極小となる分割画像番号から構成される画像番号群内のひとつの分割画像番号の分割画像１６を類似輝度分割画像とし、類似輝度分割画像の分割画像番号から類似輝度分割画像のカメラ画像１５内での位置を求める類似パターン探索機能を備えた認識部２７と、類似輝度分割画像のカメラ画像１５内での位置に基づいて、袋入り製品のケース内での製品位置を算出する位置演算機能を備えた検出部２８とを有している。なお、類似度計算部２６は第１、第２の演算機能を発現するプログラムを、認識部２７は類似パターン探索機能を発現するプログラムを、及び検出部２８は位置演算機能を発現するプログラムを、それぞれコンピュータに搭載させることにより形成する。
【００３０】
続いて、本発明の一実施の形態に係る袋入り製品の位置検出装置１０を使用した袋入り製品の位置検出方法について説明する。
図５に示すように、袋入り製品の位置検出装置１０を使用した袋入り製品の位置検出方法は、表面に模様が記載された収納袋に物品を封入した袋入り製品の群から抽出した複数のサンプルの表面に現れる模様に対して作成したＮ個のサンプル画像１２の輝度分布特徴を求める学習過程と、袋入り製品がケース内に並べられた状態を撮影したカメラ画像１５から切出した複数の分割画像１６の中から、輝度分布特徴に似た類似輝度分布を有する類似輝度分割画像を求め、類似輝度分割画像のカメラ画像１５内での位置に基づいて袋入り製品のケース内での製品位置を求める認識過程とを有する。以下、詳細に説明する。
【００３１】
サンプル画像１２の輝度分布特徴を対象とすることで、サンプルの個性の違い、例えば、ケース内におけるサンプルの姿勢の違い、サンプル周囲の状況の違い、サンプルの収納袋の膨らみ、しわ、折れ等の収納袋の歪みの違い、サンプル表面での光の反射具合の違い、サンプル表面に生じた影の違い、サンプル同士の重なり具合の違いにより、模様の見え方（画像の状況）が変化しても、模様の状態を確実に捉えることができる。また、Ｎ個のサンプル画像１２を、ケース内を複数のサンプルで満たした状態のサンプル全体画像１８から各サンプルの模様の部分を切出して作成したＰ個の原画像１９と、各原画像１９をその中心に対してそれぞれ一定の角度だけ回転して得たＱ個の回転画像２０から構成することにより、サンプルの個性の違いを反映するサンプル画像１２を効率的に収集することができる。
【００３２】
学習過程は、サンプル画像１２毎に、サンプル画像１２の輝度分布を構成するＭ個の画素の濃度値を画素番号順に並べて得られるＭ次元空間のサンプル濃度値ベクトルｘｋを求め、サンプル濃度値ベクトルｘｋの平均サンプル濃度値ベクトル［ｘ］を算出するＧ１工程と、各サンプル濃度値ベクトルｘｋを、Ｍ次元空間より低次元のＬ次元空間の固有ベクトルａｋの線形結合と平均サンプル濃度値ベクトル［ｘ］の和で近似する際の、固有ベクトルａｋ及び線形結合係数から構成されるサンプル特徴ベクトルＣｋをそれぞれ求めるＧ２工程と、平均サンプル濃度値ベクトル［ｘ］、固有ベクトルａｋ、及びサンプル特徴ベクトルＣｋから構成される画像データベースを作成するＧ３工程とを有している。
【００３３】
Ｇ１工程では、図６（Ａ）に示すように、Ｎ個のサンプル画像１２は、それぞれ縦画素数Ｈ（例えば１００画素）、横画素数Ｗ（例えば１００画素）を有しているので、例えば、ｋ（ｋ＝１〜Ｎ）番目のサンプル画像１２では、輝度分布を示す２次元配列されたＭ（Ｈ×Ｗ）個の画素がそれぞれ有する０〜２５５階調の濃度値ｘｋ１、ｘｋ２、・・・、ｘｋＭを、図６（Ｂ）に示すように、画素番号順に並べてＭ次元空間のサンプル濃度値ベクトルｘｋ＝（ｘｋ１、ｘｋ２、・・・、ｘｋＭ）Ｔ（ｋ＝１、２、・・・、Ｎ）を求める。ここで、２次元配列されたｊ行ｉ列の画素の濃度値は、１次元化した場合はｉ＋Ｗ×ｊ番目に記載される。そして、縦、横画素数がそれぞれ１００の場合、サンプル濃度値ベクトルｘｋの次元は１００００次元となる。次いで、各サンプル画像１２のサンプル濃度値ベクトルｘｋの総和ｘ１＋ｘ２＋・・・＋ｘＮを計算し、総和ｘ１＋ｘ２＋・・・＋ｘＮをｘｋの総数（Ｎ）で除した（ｘ１＋ｘ２＋・・・＋ｘＮ）／Ｎを平均サンプル濃度値ベクトル［ｘ］とする。
【００３４】
Ｇ２工程では、先ず、Ｎ個のサンプル濃度値ベクトルｘｋから構成される濃度値行列Ｘから分散共分散行列Ｓを
S＝（１／N）Σ（ｘｋ−［ｘ］)（ｘｋ−［ｘ］)Ｔ（ｋ＝１〜Ｎ）
により求める。次に、分散共分散行列Ｓ、分散共分散行列Ｓの固有値λｉ、及び固有ベクトルａｉ（ｉ＝１〜Ｍ）の間にはＳａｉ＝λｉａｉの関係が成り立つので、
｜Ｓ−λｉＩ｜＝０ （Ｉは単位行列）
の方程式を解いて固有値λｉ、固有ベクトルａｉをそれぞれ求める。
したがって、サンプル濃度値ベクトルｘｋは、Ｃ１ａ１＋Ｃ２ａ２＋・・・＋ＣＭａＭ＋［ｘ］のように、固有ベクトルａｉの線形結合で記載される。なお、線形結合係数Ｃｉは、固有ベクトルａｉと、サンプル濃度値ベクトルｘｋ及び平均サンプル濃度値ベクトル［ｘ］の差ベクトル（ｘｋ−［ｘ］）との内積、すなわち、
Ｃｉ＝ａｉＴ・（ｘｋ−［ｘ］）
により求める。
【００３５】
次いで、分散共分散行列Ｓの固有値λｉの中から、大きい順にＬ個だけ選んだものにそれぞれ対応する固有ベクトルでＬ次元空間の固有ベクトルａｋを構成する。ここで、Ｌ次元空間の固有ベクトルａｋの決定は、以下のようにして行う。
先ず、分散共分散行列Ｓの固有値λｉを大きい順（λ１≧λ２≧λ３≧・・・λＭ）に並べ、固有値λ１から固有値λｉまでを順次足し合わせた固有値部分和（λ１＋λ２＋λ３＋・・・＋λＬ）を、固有値総和（λ１＋λ２＋λ３＋・・・＋λＭ）で除した累積寄与率が、例えば０．８未満の範囲で、最大となるような固有値λＬを求める。そして、固有値λＬの順位番号の数が、固有ベクトルａｋの張る空間の次元（固有ベクトルの個数）となる。また、分散共分散行列Ｓの固有値λｉの中から、大きい順にＬ番目まで選んだ各固有値λｉにそれぞれ対応する固有ベクトルａ１、ａ２、・・・、ａＬが、Ｌ次元空間を構成する固有ベクトルａｋとなる。更に、サンプル濃度値ベクトルｘｋを、Ｃ１ａ１＋Ｃ２ａ２＋・・・＋ＣＬａＬ＋・・・＋ＣＭａＭ＋［ｘ］と記載した場合の、各固有ベクトルａ１、ａ２、・・・、ａＬにそれぞれ対応する線形結合係数Ｃｉが、サンプル濃度値ベクトルｘｋを固有ベクトルａｋの線形結合と平均サンプル濃度値ベクトル［ｘ］の和で近似する際の、固有ベクトルａｋの線形結合係数となる。
【００３６】
このように、Ｌ次元空間を構成する固有ベクトルａｋを、Ｍ次元空間の固有ベクトルａ１、ａ２、・・・、ａＭの上位Ｌ番目までの固有ベクトルを用いて構成するので、Ｍ次元空間のサンプル濃度値ベクトルｘｋを、低次元のＬ次元空間の固有ベクトルａｋの線形結合と平均サンプル濃度値ベクトル［ｘ］の和で近似することができる。例えば、サンプル画像１２の個数が６４個、各サンプル画像１２を構成する画素数が１００００個の場合、サンプル画像１２に対して、１００００次元のサンプル濃度値ベクトルｘｋを求め、濃度値行列Ｘから分散共分散行列Ｓを求めて分散共分散行列Ｓの固有値λｉを求め、上位１６個の固有値をプロットすると、図７に示すようになる。図７から、有為な固有値は上位１５個まであることが分かる。更に、図８に、上位１６個までの固有値λｉについて求めた累積寄与率を示す。図８から、累積寄与率が０．８未満の範囲で最大となる場合の足し合せる固有値の個数は７となり、上位７個の固有値に対応する固有ベクトルａｋで、サンプル画像１２のサンプル濃度値ベクトルｘｋを十分に構成できることになる。
【００３７】
Ｇ３工程では、Ｇ３工程で得られた平均サンプル濃度値ベクトル［ｘ］、固有ベクトルａｋ、及びサンプル特徴ベクトルＣｋを、Ｎ個のサンプル画像１２の輝度分布特徴を定量的に示す画像データベースとして記憶する。ここで、サンプル画像１２の輝度分布特徴を画像データベースとして学習データ記憶部２３に記憶することにより、製品の品種が異なっても、共通する模様があれば、品種の異なる袋入り製品のサンプルの画像を学習することで、一つの画像データベースで対応できる。
【００３８】
認識過程は、分割画像１６毎に、分割画像１６の輝度分布を構成するＭ個の画素の濃度値を画素番号順に並べて得られるＭ次元空間の濃度値ベクトルｘをそれぞれ求め、各濃度値ベクトルｘを固有ベクトルａｋの線形結合と平均サンプル濃度値ベクトル［ｘ］の和で近似した際にそれぞれ決まる線形結合係数から構成される特徴ベクトルＣを求めるＲ１工程と、分割画像１６毎に、特徴ベクトルＣと各サンプル特徴ベクトルＣｋとの間の距離を算出し、分割画像１６の輝度分布と輝度分布特徴との類似を定量的に示す類似度とするＲ２工程と、各サンプル特徴ベクトルＣｋ毎に求めた類似度を、分割画像１６を切出した分割画像番号順に並べて類似度分布を作成し、各類似度分布の類似度極小となる分割画像番号から構成される画像番号群内のひとつの分割画像番号の分割画像１６を類似輝度分割画像とすると共に、類似輝度分割画像の分割画像番号から類似輝度分割画像のカメラ画像１５内での位置を求めるＲ３工程と、類似輝度分割画像のカメラ画像１５内での位置に基づいて、袋入り製品のケース内での製品位置を求めるＲ４工程とを有する。
【００３９】
Ｒ１工程では、カメラ画像１５内で、カメラ画像１５中で予め決めた部位、例えば、カメラ画像１５の左上端を起点とし、サンプル画像１２と同一のフレームサイズからなる走査単位を１画素ずつ順次走査して分割画像１６を切出す。これによって、サンプル画像１２と分割画像１６は同一のフレームサイズのため、分割画像１６からサンプル画像１２の輝度分布特徴に似た類似パターンを直接探索することができる。次いで、縦画素数Ｈ（例えば１００画素）、横画素数Ｗ（例えば１００画素）の分割画像１６毎に、分割画像１６の輝度分布を示す２次元配列されたＭ（Ｈ×Ｗ）個の画素がそれぞれ有する濃度値（０〜２５５階調）を画素番号順に並べて、Ｍ次元空間の濃度値ベクトルｘをそれぞれ形成する。
【００４０】
そして、各濃度値ベクトルｘを、画像データベースのデータとして保存している固有ベクトルａｋを用いた線形結合と平均サンプル濃度値ベクトル［ｘ］との和、すなわち、
ｘ≒Ｃ１ａ１＋Ｃ２ａ２＋・・・＋ＣＬａＬ＋［ｘ］
で近似した際に決まる線形結合係数Ｃｉから構成される特徴ベクトルＣ＝（Ｃ１、Ｃ２、・・・、ＣＬ）Ｔを求める。なお、Ｃｉは、固有ベクトルａｉと、
濃度値ベクトルｘ及び平均サンプル濃度値ベクトル［ｘ］の差ベクトル（ｘ−［ｘ］）との内積、すなわち、
Ｃｉ＝ａｉＴ・（ｘ−［ｘ］）
により求める。
【００４１】
Ｒ２工程では、分割画像１６毎に、特徴ベクトルＣと各サンプル特徴ベクトルＣｋ（ｋ＝１〜Ｎ）との間の距離ｄｋを算出し、算出した距離ｄｋを、分割画像１６の輝度分布と輝度分布特徴との類似を定量的に示す類似度とする。ここで、距離ｄｋは、
｛（Ｃｋ１−Ｃ１）２+（Ｃｋ１−Ｃ１）２・・・＋（ＣｋＬ−ＣＬ）２｝１／２
として求める。
【００４２】
Ｒ３工程では、各サンプル特徴ベクトルＣｋ毎に求めた類似度（距離ｄｋ）を、分割画像１６を切出した分割画像番号順に並べて類似度分布を作成する。類似度分布には、図９に示すように、類似度が最小となる点が存在する。類似度（距離ｄｋ）が最小となることは、特徴ベクトルＣとサンプル特徴ベクトルＣｋの差が小さいこと、すなわち、分割画像１６の輝度分布が、ｋ番目のサンプル画像１２の輝度分布特徴と似ていることを示している。したがって、各サンプル特徴ベクトルＣｋ毎に求めた類似度分布の類似度極小となる分割画像番号から構成される画像番号群内のひとつの分割画像番号の分割画像１６を類似輝度分割画像とする。ここで、類似輝度分割画像は、例えば、画像番号群を構成する各分割画像番号の番号の算術平均値と同値の番号に対応する分割画像番号の分割画像１６とすることができる。なお、算術平均値が非整数の場合は、算術平均値に最も近い整数と同値の番号に対応する分割画像番号の分割画像１６とする。そして、類似輝度分割画像に相当する分割画像１６の分割画像番号、走査単位（１画素）、及びカメラ画像１５の起点（左上端）から、類似輝度分割画像を示す分割画像１６のカメラ画像１５内での位置が求まる。
【００４３】
Ｒ４工程では、カメラ１４で袋入り製品がケース内に並べられた状態を撮影してカメラ画像１５を得た際の撮影条件から、カメラ画像１５内の起点が袋入り製品が収納されたケース内のどの点に対応するかの定量的な対応関係を求める。次いで、類似輝度分割画像を示す分割画像１６のカメラ画像１５内の位置が判明しているので、類似輝度分割画像を示す分割画像１６のケース内での位置を求める。そして、類似輝度分割画像を示す分割画像１６のケース内での位置には、袋入り製品の表面に現れる模様が存在するので、すなわち、袋入り製品のケース内での製品位置とすることができる。
なお、カメラ画像１５内の起点を原点とするカメラ座標系における製品位置の座標（ＸＣ１，ＹＣ１）は、カメラ座標系の原点を（ＸＣ０，ＹＣ０）、ロボット座標系の原点を（ＸＲ０，ＹＲ０）とすると、ロボット座標系の製品位置の座標（ＸＲ１，ＹＲ１）に、
ＸＲ１＝（ＸＣ０−ＸＲ０）＋ＸＣ１
ＹＲ１＝（ＹＣ０−ＹＲ０）＋ＹＣ１
の変換式を用いて座標変換できる。これにより、求めた製品位置（ＸＲ１，ＹＲ１）を用いてロボットによるピッキング仕分け作業を行うことができる。
【００４４】
以上、本発明を、実施の形態を参照して説明してきたが、本発明は何ら上記した実施の形態に記載した構成に限定されるものではなく、特許請求の範囲に記載されている事項の範囲内で考えられるその他の実施の形態や変形例も含むものである。
【符号の説明】
【００４５】
１０：袋入り製品の位置検出装置、１１：カメラ、１２：サンプル画像、１３：学習手段、１４：カメラ、１５：カメラ画像、１６：分割画像、１７：認識手段、１８：サンプル全体画像、１９：原画像、２０：回転画像、２１：サンプル画像作成部、２２：輝度分布作成部、２３：学習データ記憶部、２４：分割画像作成部、２５：輝度分布作成部、２６：類似度計算部、２７：認識部、２８：検出部
【技術分野】
【０００１】
本発明は、袋入り製品がケース内に並べられた状態のカメラ画像を、予め取得しておいた袋入り製品のサンプル画像（テンプレート画像ともいう）と照合することにより、ケース内に並べられた袋入り製品の位置を検出する袋入り製品の位置検出方法及びその装置に関する。
【背景技術】
【０００２】
ロボットで製品の仕分けを行う際のロボットの視覚を担うロボットビジョンにおいては、カメラで撮影した画像から製品の位置を認識することが必要となる。製品の位置を認識する方法（位置検出機能）として、箱入り製品に対しては、箱表面に存在する記載された模様のカメラ画像を１つのサンプル画像と照合する、例えば非特許文献１のPatMax（コグネックス株式会社商標登録）等の多数の画像処理手法が実用化されている。一方、袋入り製品では、袋が膨れたり、しわが存在したりして、袋表面に存在する識別対象物が歪んでいる。このため、袋入り製品の袋表面の識別対象物のカメラ画像に対して、識別対象物の歪み補正を行ってから、袋に歪みのない状態での袋表面の識別対象物の画像であるサンプル画像と照合する、例えば非特許文献２のPatFlex（コグネックス株式会社商標登録）という画像処理手法が使用されている。
また、複数のサンプル画像を予め画像データとして記憶しておき、識別対象物の認識を行う方法も提案されている。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】[平成２２年３月９日検索]、インターネット＜URL：//www.incom.co.jp/productnavi-pdf/WEB200710/GD-00040868-01.pdf＞
【非特許文献２】[平成２２年３月９日検索]、インターネット＜URL：//www.incom.co.jp/productnavi-pdf/WEB20044/GD-0010594-01.pdf＞
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、PatFlexという画像処理手法では、袋の膨れ方、袋のしわの状態等が異なると、袋表面の識別対象物の歪み状態も変化するため、歪み補正して得られる識別対象物の画像は歪みの程度に応じて変化する可能性がある。このため、歪み補正後の識別対象物の画像を、袋に歪みのない状態での袋表面の識別対象物の画像、すなわち、１つのサンプル画像で照合する場合、同一の識別対象物として認識されない可能性が高い、更に歪み補正の処理時間が長くなるという問題がある。また、複数のサンプル画像を用いて識別対象物の認識を行う場合、サンプル画像用の記憶容量が大きくなると共に、１つのサンプル画像で照合する場合と比較して、照合に要する時間が長くなるという問題がある。
【０００５】
本発明はかかる事情に鑑みてなされたもので、袋入り製品の袋歪みに影響されずにケース内に並べられた袋入り製品を認識して、その位置を短時間で検出することが可能な袋入り製品の位置検出方法及びその装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
前記目的に沿う第１の発明に係る袋入り製品の位置検出方法は、表面に模様が記載された収納袋に物品を封入した袋入り製品の群から抽出した複数のサンプルの表面に現れる前記模様のサンプル画像の輝度分布特徴を求める学習過程と、
前記袋入り製品がケース内に並べられた状態を撮影したカメラ画像から切出した複数の分割画像の中から、前記輝度分布特徴に似た類似輝度分布を有する類似輝度分割画像を求め、該類似輝度分割画像の前記カメラ画像内での位置に基づいて前記袋入り製品の前記ケース内での製品位置を求める認識過程とを有する。
【０００７】
第１の発明に係る袋入り製品の位置検出方法において、前記サンプル画像は、前記ケース内を前記複数のサンプルで満たした状態の画像から該各サンプルの前記模様の部分を切出して作成した複数の原画像と、該各原画像をその中心に対してそれぞれ一定の角度だけ回転して得た複数の回転画像から構成することが好ましい。
【０００８】
第１の発明に係る袋入り製品の位置検出方法において、前記分割画像を、前記カメラ画像内で、前記サンプル画像と同一のフレームサイズからなる走査単位を、該カメラ画像中で予め決めた部位を起点とし１画素ずつ順次走査しながら切出して作成することが好ましい。
【０００９】
第１の発明に係る袋入り製品の位置検出方法において、前記学習過程は、前記サンプル画像毎に、該サンプル画像の輝度分布を構成するＭ個の画素の濃度値を画素番号順に並べて得られるＭ次元空間のサンプル濃度値ベクトルを求め、該サンプル濃度値ベクトルの平均サンプル濃度値ベクトルを算出するＧ１工程と、
前記各サンプル濃度値ベクトルを、前記Ｍ次元空間より低次元のＬ次元空間の固有ベクトルの線形結合と前記平均サンプル濃度値ベクトルの和で近似する際の、該固有ベクトル及び線形結合係数から構成されるサンプル特徴ベクトルをそれぞれ求めるＧ２工程と、
前記平均サンプル濃度値ベクトル、前記固有ベクトル、及び前記サンプル特徴ベクトルから構成され前記輝度分布特徴を定量的に示す画像データベースを作成するＧ３工程とを有することが好ましい。
【００１０】
第１の発明に係る袋入り製品の位置検出方法において、前記固有ベクトルは、複数の前記サンプル濃度値ベクトルから構成される濃度値行列から求めた分散共分散行列の固有値の中から、大きい順にＬ個だけ選んだものにそれぞれ対応する固有ベクトルで構成することが好ましい。
【００１１】
第１の発明に係る袋入り製品の位置検出方法において、前記Ｌは、前記固有値を大きい方から順次足し合せた部分和を該固有値の総和で除した累積寄与率が、０．８未満の範囲で最大となる場合の足し合せた前記固有値の個数とすることができる。
【００１２】
第１の発明に係る袋入り製品の位置検出方法において、前記認識過程は、前記分割画像毎に、該分割画像の輝度分布を構成するＭ個の画素の濃度値を画素番号順に並べて得られるＭ次元空間の濃度値ベクトルをそれぞれ求め、該各濃度値ベクトルを前記固有ベクトルの線形結合と前記平均サンプル濃度値ベクトルの和で近似した際にそれぞれ決まる線形結合係数から構成される特徴ベクトルを求めるＲ１工程と、
前記分割画像毎に、前記特徴ベクトルと前記各サンプル特徴ベクトルとの間の距離を算出し、前記分割画像の輝度分布と前記輝度分布特徴との類似を定量的に示す類似度とするＲ２工程と、
前記各サンプル特徴ベクトル毎に求めた前記類似度を、前記分割画像を切出した分割画像番号順に並べて類似度分布を作成し、該各類似度分布の類似度極小となる前記分割画像番号から構成される画像番号群内のひとつの該分割画像番号の前記分割画像を前記類似輝度分割画像とすると共に、該類似輝度分割画像の該分割画像番号から該類似輝度分割画像の前記カメラ画像内での位置を求めるＲ３工程と、
前記類似輝度分割画像の前記カメラ画像内での位置に基づいて、前記袋入り製品の前記ケース内での製品位置を求めるＲ４工程とを有することが好ましい。
ここで、前記類似輝度分割画像は、前記画像番号群内の前記各分割画像番号の平均番号又は該平均番号に最も近い番号に対応する該分割画像番号の前記分割画像とすることができる。
【００１３】
前記目的に沿う第２の発明に係る袋入り製品の位置検出装置は、表面に模様が記載された収納袋に物品を封入した袋入り製品の群から抽出した複数のサンプルの表面に現れる前記模様のサンプル画像の輝度分布特徴を求める学習手段と、
前記袋入り製品がケース内に並べられた状態を撮影したカメラ画像から切出した複数の分割画像の中から、前記輝度分布特徴に似た類似輝度分布を有する類似輝度分割画像を求め、該類似輝度分割画像の前記カメラ画像内での位置に基づいて前記袋入り製品の前記ケース内での製品位置を求める認識手段とを有する。
【００１４】
第２の発明に係る袋入り製品の位置検出装置において、前記学習手段は、前記ケース内を前記複数のサンプルで満たした状態の画像から該各サンプルの前記模様の部分を切出して作成した複数の原画像、及び該各原画像をその中心に対してそれぞれ一定の角度だけ回転して得た複数の回転画像から前記サンプル画像を構成するサンプル画像作成部と、
前記サンプル画像毎に、該サンプル画像の輝度分布を構成するＭ個の画素の濃度値を画素番号順に並べて得られるＭ次元空間のサンプル濃度値ベクトルを求める前記サンプル画像の輝度分布作成部と、
前記各サンプル濃度値ベクトルを、前記Ｍ次元空間より低次元のＬ次元空間の固有ベクトルの線形結合で近似する際の前記固有ベクトル及び線形結合係数から構成されるサンプル特徴ベクトルをそれぞれ求め、前記輝度分布特徴を定量的に示す画像データベースを構築して保存する学習データ記憶部とを備えていることが好ましい。
【００１５】
第２の発明に係る袋入り製品の位置検出装置において、前記認識手段は、前記カメラ画像内で、該カメラ画像中で予め決めた部位を起点とし、前記サンプル画像と同一のフレームサイズからなる走査単位を１画素ずつ順次走査しながら切出して前記分割画像を作成する分割画像作成部と、
前記分割画像毎に、該分割画像の輝度分布を構成するＭ個の画素の濃度値を画素番号順に並べて得られるＭ次元空間の濃度値ベクトルをそれぞれ求める前記分割画像の輝度分布作成部と、
前記各濃度値ベクトルを、前記固有ベクトルの線形結合で近似した際にそれぞれ決まる線形結合係数から構成される特徴ベクトルを求め、該特徴ベクトルと前記各サンプル特徴ベクトルとの間の距離を算出し、前記分割画像の輝度分布と前記輝度分布特徴との類似を定量的に示す類似度とする類似度計算部と、
前記各サンプル特徴ベクトル毎に求めた前記類似度を、前記分割画像を切出した分割画像番号順に並べて類似度分布を作成し、該各類似度分布の類似度極小となる前記分割画像番号から構成される画像番号群内のひとつの該分割画像番号の前記分割画像を前記類似輝度分割画像とし、該類似輝度分割画像の該分割画像番号から該類似輝度分割画像の前記カメラ画像内での位置を求める認識部と、
前記類似輝度分割画像の前記カメラ画像内での位置に基づいて、前記袋入り製品の前記ケース内での製品位置を算出する検出部とを備えていることが好ましい。
【発明の効果】
【００１６】
第１の発明に係る袋入り製品の位置検出方法及び第２の発明に係る袋入り製品の位置検出装置においては、袋入り製品の表面に現れる模様の特徴を輝度分布の特徴として捉えることにより、袋入り製品の袋歪みに影響されずにケース内に並べられた袋入り製品の模様を認識することが可能になる。その結果、例えば、ロボットで袋入り製品の仕分け作業を行う際に、ロボットピッキングにおける正確な位置決めを行うことができる。
【００１７】
第１の発明に係る袋入り製品の位置検出方法において、サンプル画像を、ケース内を複数のサンプルで満たした状態の画像から各サンプルの模様の部分を切出して作成した複数の原画像と、各原画像をその中心に対してそれぞれ一定の角度だけ回転して得た複数の回転画像から構成する場合、サンプルの個性の違い（例えば、サンプルの姿勢、サンプル周辺の見え方、サンプルの収納袋の膨らみ、しわ、折れ等の収納袋の歪み、サンプル表面での光の反射具合、サンプル表面に生じた影、サンプル同士の重なり）を反映するサンプル画像を効率的に収集することができる。
【００１８】
第１の発明に係る袋入り製品の位置検出方法において、分割画像を、カメラ画像内で、サンプル画像と同一のフレームサイズからなる走査単位を、カメラ画像中で予め決めた部位を起点とし１画素ずつ順次走査しながら切出して作成する場合、分割画像からサンプル画像の輝度分布特徴に似た類似パターンを直接探索することができる。
【００１９】
第１の発明に係る袋入り製品の位置検出方法において、各サンプル濃度値ベクトルを、Ｍ次元空間より低次元のＬ次元空間の固有ベクトルの線形結合と平均サンプル濃度値ベクトルの和で近似することで、画像データベースの容量を少なくすることができると共に、サンプル画像の輝度分布特徴に似た類似パターンを探索するのに要する時間を短縮することができる。また、サンプル画像の輝度分布特徴を、平均サンプル濃度値ベクトル、固有ベクトル、及びサンプル特徴ベクトルを備えた画像データベースとすることで、袋入り製品のケース内に並べる様式が変更になっても、収納袋の表面に記載された模様が変わっても、画像データベースの内容を変更するだけで対応することが可能になる。
第２の発明に係る袋入り製品の位置検出装置において、各サンプル濃度値ベクトルを、Ｍ次元空間より低次元のＬ次元空間の固有ベクトルの線形結合で近似することで、画像データベースの容量を少なくすることができると共に、サンプル画像の輝度分布特徴に似た類似パターンを探索するのに要する時間を短縮することができる。また、サンプル画像の輝度分布特徴を定量的に示す画像データベースを用いることで、袋入り製品のケース内に並べる様式が変更になっても、収納袋の表面に記載された模様が変わっても、画像データベースの内容を変更するだけで対応することが可能になる。
【００２０】
第１の発明に係る袋入り製品の位置検出方法において、固有ベクトルを、複数のサンプル濃度値ベクトルから構成される濃度値行列から求めた分散共分散行列の固有値の中から、大きい順にＬ個だけ選んだものにそれぞれ対応する固有ベクトルで構成すると共に、Ｌ個を、固有値を大きい方から順次足し合せた部分和を固有値の総和で除した累積寄与率が、０．８未満の範囲で最大となる場合の足し合せた固有値の個数とすることにより、Ｍ次元空間のサンプル濃度値ベクトルを、Ｌ次元空間の固有ベクトルの線形結合と平均サンプル濃度値ベクトルの和でよく近似することができる。
【００２１】
第１の発明に係る袋入り製品の位置検出方法及び第２の発明に係る袋入り製品の位置検出装置において、各分割画像毎に、その特徴ベクトルと各サンプル特徴ベクトルとの間の距離を算出して分割画像の輝度分布と輝度分布特徴との類似を定量的に示す類似度を求め、各サンプル特徴ベクトル毎に求めた類似度を、分割画像を切出した分割画像番号順に並べて類似度分布を作成し、各類似度分布の類似度極小となる分割画像番号から構成される画像番号群内のひとつの分割画像番号の分割画像を類似輝度分割画像とし、類似輝度分割画像の分割画像番号から類似輝度分割画像のカメラ画像内での位置を求める場合、袋入り製品のケース内での製品位置を簡便かつ短時間で決定することができる。
【図面の簡単な説明】
【００２２】
【図１】本発明の一実施の形態に係る袋入り製品の位置検出装置の説明図である。
【図２】原画像の説明図である。
【図３】サンプル画像を構成を示す説明図である。
【図４】カメラ画像と分割画像の説明図である。
【図５】本発明の一実施の形態に係る袋入り製品の位置検出装置を用いた袋入り製品の位置検出方法の説明図である。
【図６】サンプル濃度値ベクトルの説明図である。
【図７】濃度値行列から求めた分散共分散行列の固有値を大きさの順に並べたグラフである。
【図８】累積寄与率と固有値の個数の関係を示すグラフである。
【図９】類似度分布の一部を示すグラフである。
【発明を実施するための形態】
【００２３】
続いて、添付した図面を参照しつつ、本発明を具体化した実施の形態につき説明し、本発明の理解に供する。
図１〜図４に示すように、本発明の一実施の形態に係る袋入り製品の位置検出装置１０は、
表面に模様が記載された収納袋に物品を封入した袋入り製品の群から抽出した複数のサンプルの表面に現れる模様を、撮像手段の一例であるカメラ１１を介して得たサンプル画像１２の輝度分布特徴を求める学習手段１３と、袋入り製品がケース内に並べられた状態を撮像手段の一例であるカメラ１４で撮影したカメラ画像１５から切出した複数の分割画像１６の中から、輝度分布特徴に似た類似輝度分布を有する類似輝度分割画像を求め、類似輝度分割画像のカメラ画像１５内での位置に基づいて袋入り製品のケース内での製品位置を求める認識手段１７とを有している。なお、カメラ１１とカメラ１４は、１台のカメラで兼用することもできる。以下、詳細に設刑する。
【００２４】
学習手段１３は、図２、図３に示すように、ケース内をＰ個（図２では１６個）のサンプルで満たした状態のサンプル全体画像１８から、各サンプルの模様の部分を切出して、Ｐ個の原画像１９を作成する原画像作成機能と、各原画像１９をその中心に対してそれぞれ一定の角度だけ回転して得た、Ｑ個（図３では４８個）の回転画像２０を作成する回転画像作成機能と、Ｐ個の原画像１９とＱ個の回転画像２０からＮ（＝Ｐ＋Ｑ）個のサンプル画像１２を構成するサンプル画像作成機能とを備えたサンプル画像作成部２１を有している。ここで、図３に示すように、各回転画像２０は、例えば、各原画像１９をその中心の回りにそれぞれ、９０度、１８０度、及び２７０度だけ回転したものである。
【００２５】
また、学習手段１３は、Ｎ個のサンプル画像１２について、各サンプル画像１２毎に、サンプル画像１２の輝度分布を構成するＭ個の画素の濃度値をそれぞれ求め、各濃度値を画素番号順に並べて、サンプル画像１２の輝度分布を示すＭ次元空間のサンプル濃度値ベクトルｘｋ（ｋ＝１〜Ｎ）を形成する濃度値ベクトル演算機能を備えた輝度分布作成部２２を有している。なお、輝度分布作成部２２は、コンピュータに濃度値ベクトル演算機能を発現するプログラムを搭載させることにより形成する。
【００２６】
更に、学習手段１３は、Ｎ個のサンプル濃度値ベクトルｘｋの平均サンプル濃度値ベクトル［ｘ］を算出する第１の機能と、各サンプル濃度値ベクトルｘｋを、Ｍ次元空間より低次元のＬ次元空間の固有ベクトルａｋの線形結合と平均サンプル濃度値ベクトル［ｘ］の和で近似する場合の、Ｌ次元空間の固有ベクトルａｋを求める第２の機能と、各サンプル濃度値ベクトルｘｋを固有ベクトルａｋの線形結合でそれぞれ近似する場合の線形結合係数を求めて、線形結合係数から構成されるサンプル特徴ベクトルＣｋを求める第３の機能と、平均サンプル濃度値ベクトル［ｘ］、固有ベクトルａｋ、及び前記サンプル特徴ベクトルＣｋをサンプル画像１２の輝度分布特徴を定量的に示す画像データベースとして保存する第４の機能とを備えた学習データ記憶部２３を有している。なお、学習データ記憶部２３は、コンピュータに第１〜第４の機能を発現するプログラムを搭載させることにより形成する。
【００２７】
認識手段１７は、図４に示すように、カメラ画像１５内で、カメラ画像１５中で予め決めた部位、例えば、カメラ画像１５の左上端を起点とし、サンプル画像１２と同一のフレームサイズからなる走査単位を１画素ずつ順次走査して総数Ｖ個の分割画像１６を切出し、分割画像を１６切出した順に並べる画像処理機能を備えた分割画像作成部２４を有している。なお、分割画像作成部２４は、コンピュータに画像処理機能を発現するプログラムを搭載させることにより形成する。
【００２８】
また、認識手段１７は、分割画像１６毎に、分割画像１６の輝度分布を構成するＭ個の画素の濃度値をそれぞれ求め、各濃度値を画素番号順に並べて分割画像１６の輝度分布を示すＭ次元空間の濃度値ベクトルｘをそれぞれ求める濃度値ベクトル演算機能を備えた輝度分布作成部２５を有している。なお、輝度分布作成部２５は、コンピュータに濃度値ベクトル演算機能を発現するプログラムを搭載させることにより形成する。
【００２９】
更に、認識手段１７は、各濃度値ベクトルｘを、固有ベクトルａｋの線形結合と平均サンプル濃度値ベクトル［ｘ］の和で近似した際にそれぞれ決まる線形結合係数から構成される特徴ベクトルＣを求める第１の演算機能と、特徴ベクトルＣと各サンプル特徴ベクトルＣｋとの間の距離を算出し、分割画像１６の輝度分布とサンプル画像１２の輝度分布特徴との類似程度を定量的に示す類似度を算出する第２の演算機能を備えた類似度計算部２６と、各サンプル特徴ベクトルＣｋ毎に求めた類似度を、分割画像１６を切出した分割画像番号順に並べて類似度分布を作成し、各類似度分布の類似度極小となる分割画像番号から構成される画像番号群内のひとつの分割画像番号の分割画像１６を類似輝度分割画像とし、類似輝度分割画像の分割画像番号から類似輝度分割画像のカメラ画像１５内での位置を求める類似パターン探索機能を備えた認識部２７と、類似輝度分割画像のカメラ画像１５内での位置に基づいて、袋入り製品のケース内での製品位置を算出する位置演算機能を備えた検出部２８とを有している。なお、類似度計算部２６は第１、第２の演算機能を発現するプログラムを、認識部２７は類似パターン探索機能を発現するプログラムを、及び検出部２８は位置演算機能を発現するプログラムを、それぞれコンピュータに搭載させることにより形成する。
【００３０】
続いて、本発明の一実施の形態に係る袋入り製品の位置検出装置１０を使用した袋入り製品の位置検出方法について説明する。
図５に示すように、袋入り製品の位置検出装置１０を使用した袋入り製品の位置検出方法は、表面に模様が記載された収納袋に物品を封入した袋入り製品の群から抽出した複数のサンプルの表面に現れる模様に対して作成したＮ個のサンプル画像１２の輝度分布特徴を求める学習過程と、袋入り製品がケース内に並べられた状態を撮影したカメラ画像１５から切出した複数の分割画像１６の中から、輝度分布特徴に似た類似輝度分布を有する類似輝度分割画像を求め、類似輝度分割画像のカメラ画像１５内での位置に基づいて袋入り製品のケース内での製品位置を求める認識過程とを有する。以下、詳細に説明する。
【００３１】
サンプル画像１２の輝度分布特徴を対象とすることで、サンプルの個性の違い、例えば、ケース内におけるサンプルの姿勢の違い、サンプル周囲の状況の違い、サンプルの収納袋の膨らみ、しわ、折れ等の収納袋の歪みの違い、サンプル表面での光の反射具合の違い、サンプル表面に生じた影の違い、サンプル同士の重なり具合の違いにより、模様の見え方（画像の状況）が変化しても、模様の状態を確実に捉えることができる。また、Ｎ個のサンプル画像１２を、ケース内を複数のサンプルで満たした状態のサンプル全体画像１８から各サンプルの模様の部分を切出して作成したＰ個の原画像１９と、各原画像１９をその中心に対してそれぞれ一定の角度だけ回転して得たＱ個の回転画像２０から構成することにより、サンプルの個性の違いを反映するサンプル画像１２を効率的に収集することができる。
【００３２】
学習過程は、サンプル画像１２毎に、サンプル画像１２の輝度分布を構成するＭ個の画素の濃度値を画素番号順に並べて得られるＭ次元空間のサンプル濃度値ベクトルｘｋを求め、サンプル濃度値ベクトルｘｋの平均サンプル濃度値ベクトル［ｘ］を算出するＧ１工程と、各サンプル濃度値ベクトルｘｋを、Ｍ次元空間より低次元のＬ次元空間の固有ベクトルａｋの線形結合と平均サンプル濃度値ベクトル［ｘ］の和で近似する際の、固有ベクトルａｋ及び線形結合係数から構成されるサンプル特徴ベクトルＣｋをそれぞれ求めるＧ２工程と、平均サンプル濃度値ベクトル［ｘ］、固有ベクトルａｋ、及びサンプル特徴ベクトルＣｋから構成される画像データベースを作成するＧ３工程とを有している。
【００３３】
Ｇ１工程では、図６（Ａ）に示すように、Ｎ個のサンプル画像１２は、それぞれ縦画素数Ｈ（例えば１００画素）、横画素数Ｗ（例えば１００画素）を有しているので、例えば、ｋ（ｋ＝１〜Ｎ）番目のサンプル画像１２では、輝度分布を示す２次元配列されたＭ（Ｈ×Ｗ）個の画素がそれぞれ有する０〜２５５階調の濃度値ｘｋ１、ｘｋ２、・・・、ｘｋＭを、図６（Ｂ）に示すように、画素番号順に並べてＭ次元空間のサンプル濃度値ベクトルｘｋ＝（ｘｋ１、ｘｋ２、・・・、ｘｋＭ）Ｔ（ｋ＝１、２、・・・、Ｎ）を求める。ここで、２次元配列されたｊ行ｉ列の画素の濃度値は、１次元化した場合はｉ＋Ｗ×ｊ番目に記載される。そして、縦、横画素数がそれぞれ１００の場合、サンプル濃度値ベクトルｘｋの次元は１００００次元となる。次いで、各サンプル画像１２のサンプル濃度値ベクトルｘｋの総和ｘ１＋ｘ２＋・・・＋ｘＮを計算し、総和ｘ１＋ｘ２＋・・・＋ｘＮをｘｋの総数（Ｎ）で除した（ｘ１＋ｘ２＋・・・＋ｘＮ）／Ｎを平均サンプル濃度値ベクトル［ｘ］とする。
【００３４】
Ｇ２工程では、先ず、Ｎ個のサンプル濃度値ベクトルｘｋから構成される濃度値行列Ｘから分散共分散行列Ｓを
S＝（１／N）Σ（ｘｋ−［ｘ］)（ｘｋ−［ｘ］)Ｔ（ｋ＝１〜Ｎ）
により求める。次に、分散共分散行列Ｓ、分散共分散行列Ｓの固有値λｉ、及び固有ベクトルａｉ（ｉ＝１〜Ｍ）の間にはＳａｉ＝λｉａｉの関係が成り立つので、
｜Ｓ−λｉＩ｜＝０ （Ｉは単位行列）
の方程式を解いて固有値λｉ、固有ベクトルａｉをそれぞれ求める。
したがって、サンプル濃度値ベクトルｘｋは、Ｃ１ａ１＋Ｃ２ａ２＋・・・＋ＣＭａＭ＋［ｘ］のように、固有ベクトルａｉの線形結合で記載される。なお、線形結合係数Ｃｉは、固有ベクトルａｉと、サンプル濃度値ベクトルｘｋ及び平均サンプル濃度値ベクトル［ｘ］の差ベクトル（ｘｋ−［ｘ］）との内積、すなわち、
Ｃｉ＝ａｉＴ・（ｘｋ−［ｘ］）
により求める。
【００３５】
次いで、分散共分散行列Ｓの固有値λｉの中から、大きい順にＬ個だけ選んだものにそれぞれ対応する固有ベクトルでＬ次元空間の固有ベクトルａｋを構成する。ここで、Ｌ次元空間の固有ベクトルａｋの決定は、以下のようにして行う。
先ず、分散共分散行列Ｓの固有値λｉを大きい順（λ１≧λ２≧λ３≧・・・λＭ）に並べ、固有値λ１から固有値λｉまでを順次足し合わせた固有値部分和（λ１＋λ２＋λ３＋・・・＋λＬ）を、固有値総和（λ１＋λ２＋λ３＋・・・＋λＭ）で除した累積寄与率が、例えば０．８未満の範囲で、最大となるような固有値λＬを求める。そして、固有値λＬの順位番号の数が、固有ベクトルａｋの張る空間の次元（固有ベクトルの個数）となる。また、分散共分散行列Ｓの固有値λｉの中から、大きい順にＬ番目まで選んだ各固有値λｉにそれぞれ対応する固有ベクトルａ１、ａ２、・・・、ａＬが、Ｌ次元空間を構成する固有ベクトルａｋとなる。更に、サンプル濃度値ベクトルｘｋを、Ｃ１ａ１＋Ｃ２ａ２＋・・・＋ＣＬａＬ＋・・・＋ＣＭａＭ＋［ｘ］と記載した場合の、各固有ベクトルａ１、ａ２、・・・、ａＬにそれぞれ対応する線形結合係数Ｃｉが、サンプル濃度値ベクトルｘｋを固有ベクトルａｋの線形結合と平均サンプル濃度値ベクトル［ｘ］の和で近似する際の、固有ベクトルａｋの線形結合係数となる。
【００３６】
このように、Ｌ次元空間を構成する固有ベクトルａｋを、Ｍ次元空間の固有ベクトルａ１、ａ２、・・・、ａＭの上位Ｌ番目までの固有ベクトルを用いて構成するので、Ｍ次元空間のサンプル濃度値ベクトルｘｋを、低次元のＬ次元空間の固有ベクトルａｋの線形結合と平均サンプル濃度値ベクトル［ｘ］の和で近似することができる。例えば、サンプル画像１２の個数が６４個、各サンプル画像１２を構成する画素数が１００００個の場合、サンプル画像１２に対して、１００００次元のサンプル濃度値ベクトルｘｋを求め、濃度値行列Ｘから分散共分散行列Ｓを求めて分散共分散行列Ｓの固有値λｉを求め、上位１６個の固有値をプロットすると、図７に示すようになる。図７から、有為な固有値は上位１５個まであることが分かる。更に、図８に、上位１６個までの固有値λｉについて求めた累積寄与率を示す。図８から、累積寄与率が０．８未満の範囲で最大となる場合の足し合せる固有値の個数は７となり、上位７個の固有値に対応する固有ベクトルａｋで、サンプル画像１２のサンプル濃度値ベクトルｘｋを十分に構成できることになる。
【００３７】
Ｇ３工程では、Ｇ３工程で得られた平均サンプル濃度値ベクトル［ｘ］、固有ベクトルａｋ、及びサンプル特徴ベクトルＣｋを、Ｎ個のサンプル画像１２の輝度分布特徴を定量的に示す画像データベースとして記憶する。ここで、サンプル画像１２の輝度分布特徴を画像データベースとして学習データ記憶部２３に記憶することにより、製品の品種が異なっても、共通する模様があれば、品種の異なる袋入り製品のサンプルの画像を学習することで、一つの画像データベースで対応できる。
【００３８】
認識過程は、分割画像１６毎に、分割画像１６の輝度分布を構成するＭ個の画素の濃度値を画素番号順に並べて得られるＭ次元空間の濃度値ベクトルｘをそれぞれ求め、各濃度値ベクトルｘを固有ベクトルａｋの線形結合と平均サンプル濃度値ベクトル［ｘ］の和で近似した際にそれぞれ決まる線形結合係数から構成される特徴ベクトルＣを求めるＲ１工程と、分割画像１６毎に、特徴ベクトルＣと各サンプル特徴ベクトルＣｋとの間の距離を算出し、分割画像１６の輝度分布と輝度分布特徴との類似を定量的に示す類似度とするＲ２工程と、各サンプル特徴ベクトルＣｋ毎に求めた類似度を、分割画像１６を切出した分割画像番号順に並べて類似度分布を作成し、各類似度分布の類似度極小となる分割画像番号から構成される画像番号群内のひとつの分割画像番号の分割画像１６を類似輝度分割画像とすると共に、類似輝度分割画像の分割画像番号から類似輝度分割画像のカメラ画像１５内での位置を求めるＲ３工程と、類似輝度分割画像のカメラ画像１５内での位置に基づいて、袋入り製品のケース内での製品位置を求めるＲ４工程とを有する。
【００３９】
Ｒ１工程では、カメラ画像１５内で、カメラ画像１５中で予め決めた部位、例えば、カメラ画像１５の左上端を起点とし、サンプル画像１２と同一のフレームサイズからなる走査単位を１画素ずつ順次走査して分割画像１６を切出す。これによって、サンプル画像１２と分割画像１６は同一のフレームサイズのため、分割画像１６からサンプル画像１２の輝度分布特徴に似た類似パターンを直接探索することができる。次いで、縦画素数Ｈ（例えば１００画素）、横画素数Ｗ（例えば１００画素）の分割画像１６毎に、分割画像１６の輝度分布を示す２次元配列されたＭ（Ｈ×Ｗ）個の画素がそれぞれ有する濃度値（０〜２５５階調）を画素番号順に並べて、Ｍ次元空間の濃度値ベクトルｘをそれぞれ形成する。
【００４０】
そして、各濃度値ベクトルｘを、画像データベースのデータとして保存している固有ベクトルａｋを用いた線形結合と平均サンプル濃度値ベクトル［ｘ］との和、すなわち、
ｘ≒Ｃ１ａ１＋Ｃ２ａ２＋・・・＋ＣＬａＬ＋［ｘ］
で近似した際に決まる線形結合係数Ｃｉから構成される特徴ベクトルＣ＝（Ｃ１、Ｃ２、・・・、ＣＬ）Ｔを求める。なお、Ｃｉは、固有ベクトルａｉと、
濃度値ベクトルｘ及び平均サンプル濃度値ベクトル［ｘ］の差ベクトル（ｘ−［ｘ］）との内積、すなわち、
Ｃｉ＝ａｉＴ・（ｘ−［ｘ］）
により求める。
【００４１】
Ｒ２工程では、分割画像１６毎に、特徴ベクトルＣと各サンプル特徴ベクトルＣｋ（ｋ＝１〜Ｎ）との間の距離ｄｋを算出し、算出した距離ｄｋを、分割画像１６の輝度分布と輝度分布特徴との類似を定量的に示す類似度とする。ここで、距離ｄｋは、
｛（Ｃｋ１−Ｃ１）２+（Ｃｋ１−Ｃ１）２・・・＋（ＣｋＬ−ＣＬ）２｝１／２
として求める。
【００４２】
Ｒ３工程では、各サンプル特徴ベクトルＣｋ毎に求めた類似度（距離ｄｋ）を、分割画像１６を切出した分割画像番号順に並べて類似度分布を作成する。類似度分布には、図９に示すように、類似度が最小となる点が存在する。類似度（距離ｄｋ）が最小となることは、特徴ベクトルＣとサンプル特徴ベクトルＣｋの差が小さいこと、すなわち、分割画像１６の輝度分布が、ｋ番目のサンプル画像１２の輝度分布特徴と似ていることを示している。したがって、各サンプル特徴ベクトルＣｋ毎に求めた類似度分布の類似度極小となる分割画像番号から構成される画像番号群内のひとつの分割画像番号の分割画像１６を類似輝度分割画像とする。ここで、類似輝度分割画像は、例えば、画像番号群を構成する各分割画像番号の番号の算術平均値と同値の番号に対応する分割画像番号の分割画像１６とすることができる。なお、算術平均値が非整数の場合は、算術平均値に最も近い整数と同値の番号に対応する分割画像番号の分割画像１６とする。そして、類似輝度分割画像に相当する分割画像１６の分割画像番号、走査単位（１画素）、及びカメラ画像１５の起点（左上端）から、類似輝度分割画像を示す分割画像１６のカメラ画像１５内での位置が求まる。
【００４３】
Ｒ４工程では、カメラ１４で袋入り製品がケース内に並べられた状態を撮影してカメラ画像１５を得た際の撮影条件から、カメラ画像１５内の起点が袋入り製品が収納されたケース内のどの点に対応するかの定量的な対応関係を求める。次いで、類似輝度分割画像を示す分割画像１６のカメラ画像１５内の位置が判明しているので、類似輝度分割画像を示す分割画像１６のケース内での位置を求める。そして、類似輝度分割画像を示す分割画像１６のケース内での位置には、袋入り製品の表面に現れる模様が存在するので、すなわち、袋入り製品のケース内での製品位置とすることができる。
なお、カメラ画像１５内の起点を原点とするカメラ座標系における製品位置の座標（ＸＣ１，ＹＣ１）は、カメラ座標系の原点を（ＸＣ０，ＹＣ０）、ロボット座標系の原点を（ＸＲ０，ＹＲ０）とすると、ロボット座標系の製品位置の座標（ＸＲ１，ＹＲ１）に、
ＸＲ１＝（ＸＣ０−ＸＲ０）＋ＸＣ１
ＹＲ１＝（ＹＣ０−ＹＲ０）＋ＹＣ１
の変換式を用いて座標変換できる。これにより、求めた製品位置（ＸＲ１，ＹＲ１）を用いてロボットによるピッキング仕分け作業を行うことができる。
【００４４】
以上、本発明を、実施の形態を参照して説明してきたが、本発明は何ら上記した実施の形態に記載した構成に限定されるものではなく、特許請求の範囲に記載されている事項の範囲内で考えられるその他の実施の形態や変形例も含むものである。
【符号の説明】
【００４５】
１０：袋入り製品の位置検出装置、１１：カメラ、１２：サンプル画像、１３：学習手段、１４：カメラ、１５：カメラ画像、１６：分割画像、１７：認識手段、１８：サンプル全体画像、１９：原画像、２０：回転画像、２１：サンプル画像作成部、２２：輝度分布作成部、２３：学習データ記憶部、２４：分割画像作成部、２５：輝度分布作成部、２６：類似度計算部、２７：認識部、２８：検出部
【特許請求の範囲】
【請求項１】
表面に模様が記載された収納袋に物品を封入した袋入り製品の群から抽出した複数のサンプルの表面に現れる前記模様のサンプル画像の輝度分布特徴を求める学習過程と、
前記袋入り製品がケース内に並べられた状態を撮影したカメラ画像から切出した複数の分割画像の中から、前記輝度分布特徴に似た類似輝度分布を有する類似輝度分割画像を求め、該類似輝度分割画像の前記カメラ画像内での位置に基づいて前記袋入り製品の前記ケース内での製品位置を求める認識過程とを有することを特徴とする袋入り製品の位置検出方法。
【請求項２】
請求項１記載の袋入り製品の位置検出方法において、前記サンプル画像は、前記ケース内を前記複数のサンプルで満たした状態の画像から該各サンプルの前記模様の部分を切出して作成した複数の原画像と、該各原画像をその中心に対してそれぞれ一定の角度だけ回転して得た複数の回転画像から構成することを特徴とする袋入り製品の位置検出方法。
【請求項３】
請求項１又は２記載の袋入り製品の位置検出方法において、前記分割画像を、前記カメラ画像内で、前記サンプル画像と同一のフレームサイズからなる走査単位を、該カメラ画像中で予め決めた部位を起点とし１画素ずつ順次走査しながら切出して作成することを特徴とする袋入り製品の位置検出方法。
【請求項４】
請求項１〜３のいずれか１項に記載の袋入り製品の位置検出方法において、前記学習過程は、前記サンプル画像毎に、該サンプル画像の輝度分布を構成するＭ個の画素の濃度値を画素番号順に並べて得られるＭ次元空間のサンプル濃度値ベクトルを求め、該サンプル濃度値ベクトルの平均サンプル濃度値ベクトルを算出するＧ１工程と、
前記各サンプル濃度値ベクトルを、前記Ｍ次元空間より低次元のＬ次元空間の固有ベクトルの線形結合と前記平均サンプル濃度値ベクトルの和で近似する際の、該固有ベクトル及び線形結合係数から構成されるサンプル特徴ベクトルをそれぞれ求めるＧ２工程と、
前記平均サンプル濃度値ベクトル、前記固有ベクトル、及び前記サンプル特徴ベクトルから構成され前記輝度分布特徴を定量的に示す画像データベースを作成するＧ３工程とを有することを特徴とする袋入り製品の位置検出方法。
【請求項５】
請求項４記載の袋入り製品の位置検出方法において、前記固有ベクトルは、複数の前記サンプル濃度値ベクトルから構成される濃度値行列から求めた分散共分散行列の固有値の中から、大きい順にＬ個だけ選んだものにそれぞれ対応する固有ベクトルで構成することを特徴とする袋入り製品の位置検出方法。
【請求項６】
請求項５記載の袋入り製品の位置検出方法において、前記Ｌは、前記固有値を大きい方から順次足し合せた部分和を該固有値の総和で除した累積寄与率が、０．８未満の範囲で最大となる場合の足し合せた前記固有値の個数であることを特徴とする袋入り製品の位置検出方法。
【請求項７】
請求項４〜６のいずれか１項に記載の袋入り製品の位置検出方法において、前記認識過程は、前記分割画像毎に、該分割画像の輝度分布を構成するＭ個の画素の濃度値を画素番号順に並べて得られるＭ次元空間の濃度値ベクトルをそれぞれ求め、該各濃度値ベクトルを前記固有ベクトルの線形結合と前記平均サンプル濃度値ベクトルの和で近似した際にそれぞれ決まる線形結合係数から構成される特徴ベクトルを求めるＲ１工程と、
前記分割画像毎に、前記特徴ベクトルと前記各サンプル特徴ベクトルとの間の距離を算出し、前記分割画像の輝度分布と前記輝度分布特徴との類似を定量的に示す類似度とするＲ２工程と、
前記各サンプル特徴ベクトル毎に求めた前記類似度を、前記分割画像を切出した分割画像番号順に並べて類似度分布を作成し、該各類似度分布の類似度極小となる前記分割画像番号から構成される画像番号群内のひとつの該分割画像番号の前記分割画像を前記類似輝度分割画像とすると共に、該類似輝度分割画像の該分割画像番号から該類似輝度分割画像の前記カメラ画像内での位置を求めるＲ３工程と、
前記類似輝度分割画像の前記カメラ画像内での位置に基づいて、前記袋入り製品の前記ケース内での製品位置を求めるＲ４工程とを有することを特徴とする袋入り製品の位置検出方法。
【請求項８】
請求項７記載の袋入り製品の位置検出方法において、前記類似輝度分割画像は、前記画像番号群内の前記各分割画像番号の平均番号又は該平均番号に最も近い番号に対応する該分割画像番号の前記分割画像であることを特徴とする袋入り製品の位置検出方法。
【請求項９】
表面に模様が記載された収納袋に物品を封入した袋入り製品の群から抽出した複数のサンプルの表面に現れる前記模様のサンプル画像の輝度分布特徴を求める学習手段と、
前記袋入り製品がケース内に並べられた状態を撮影したカメラ画像から切出した複数の分割画像の中から、前記輝度分布特徴に似た類似輝度分布を有する類似輝度分割画像を求め、該類似輝度分割画像の前記カメラ画像内での位置に基づいて前記袋入り製品の前記ケース内での製品位置を求める認識手段とを有することを特徴とする袋入り製品の位置検出装置。
【請求項１０】
請求項９記載の袋入り製品の位置検出装置において、前記学習手段は、前記ケース内を前記複数のサンプルで満たした状態の画像から該各サンプルの前記模様の部分を切出して作成した複数の原画像、及び該各原画像をその中心に対してそれぞれ一定の角度だけ回転して得た複数の回転画像から前記サンプル画像を構成するサンプル画像作成部と、
前記サンプル画像毎に、該サンプル画像の輝度分布を構成するＭ個の画素の濃度値を画素番号順に並べて得られるＭ次元空間のサンプル濃度値ベクトルを求める前記サンプル画像の輝度分布作成部と、
前記各サンプル濃度値ベクトルを、前記Ｍ次元空間より低次元のＬ次元空間の固有ベクトルの線形結合で近似する際の前記固有ベクトル及び線形結合係数から構成されるサンプル特徴ベクトルをそれぞれ求め、前記輝度分布特徴を定量的に示す画像データベースを構築して保存する学習データ記憶部とを備えていることを特徴とする袋入り製品の位置検出装置。
【請求項１１】
請求項１０記載の袋入り製品の位置検出装置において、前記認識手段は、前記カメラ画像内で、該カメラ画像中で予め決めた部位を起点とし、前記サンプル画像と同一のフレームサイズからなる走査単位を１画素ずつ順次走査しながら切出して前記分割画像を作成する分割画像作成部と、
前記分割画像毎に、該分割画像の輝度分布を構成するＭ個の画素の濃度値を画素番号順に並べて得られるＭ次元空間の濃度値ベクトルをそれぞれ求める前記分割画像の輝度分布作成部と、
前記各濃度値ベクトルを、前記固有ベクトルの線形結合で近似した際にそれぞれ決まる線形結合係数から構成される特徴ベクトルを求め、該特徴ベクトルと前記各サンプル特徴ベクトルとの間の距離を算出し、前記分割画像の輝度分布と前記輝度分布特徴との類似を定量的に示す類似度とする類似度計算部と、
前記各サンプル特徴ベクトル毎に求めた前記類似度を、前記分割画像を切出した分割画像番号順に並べて類似度分布を作成し、該各類似度分布の類似度極小となる前記分割画像番号から構成される画像番号群内のひとつの該分割画像番号の前記分割画像を前記類似輝度分割画像とし、該類似輝度分割画像の該分割画像番号から該類似輝度分割画像の前記カメラ画像内での位置を求める認識部と、
前記類似輝度分割画像の前記カメラ画像内での位置に基づいて、前記袋入り製品の前記ケース内での製品位置を算出する検出部とを備えていることを特徴とする袋入り製品の位置検出装置。
【請求項１】
表面に模様が記載された収納袋に物品を封入した袋入り製品の群から抽出した複数のサンプルの表面に現れる前記模様のサンプル画像の輝度分布特徴を求める学習過程と、
前記袋入り製品がケース内に並べられた状態を撮影したカメラ画像から切出した複数の分割画像の中から、前記輝度分布特徴に似た類似輝度分布を有する類似輝度分割画像を求め、該類似輝度分割画像の前記カメラ画像内での位置に基づいて前記袋入り製品の前記ケース内での製品位置を求める認識過程とを有することを特徴とする袋入り製品の位置検出方法。
【請求項２】
請求項１記載の袋入り製品の位置検出方法において、前記サンプル画像は、前記ケース内を前記複数のサンプルで満たした状態の画像から該各サンプルの前記模様の部分を切出して作成した複数の原画像と、該各原画像をその中心に対してそれぞれ一定の角度だけ回転して得た複数の回転画像から構成することを特徴とする袋入り製品の位置検出方法。
【請求項３】
請求項１又は２記載の袋入り製品の位置検出方法において、前記分割画像を、前記カメラ画像内で、前記サンプル画像と同一のフレームサイズからなる走査単位を、該カメラ画像中で予め決めた部位を起点とし１画素ずつ順次走査しながら切出して作成することを特徴とする袋入り製品の位置検出方法。
【請求項４】
請求項１〜３のいずれか１項に記載の袋入り製品の位置検出方法において、前記学習過程は、前記サンプル画像毎に、該サンプル画像の輝度分布を構成するＭ個の画素の濃度値を画素番号順に並べて得られるＭ次元空間のサンプル濃度値ベクトルを求め、該サンプル濃度値ベクトルの平均サンプル濃度値ベクトルを算出するＧ１工程と、
前記各サンプル濃度値ベクトルを、前記Ｍ次元空間より低次元のＬ次元空間の固有ベクトルの線形結合と前記平均サンプル濃度値ベクトルの和で近似する際の、該固有ベクトル及び線形結合係数から構成されるサンプル特徴ベクトルをそれぞれ求めるＧ２工程と、
前記平均サンプル濃度値ベクトル、前記固有ベクトル、及び前記サンプル特徴ベクトルから構成され前記輝度分布特徴を定量的に示す画像データベースを作成するＧ３工程とを有することを特徴とする袋入り製品の位置検出方法。
【請求項５】
請求項４記載の袋入り製品の位置検出方法において、前記固有ベクトルは、複数の前記サンプル濃度値ベクトルから構成される濃度値行列から求めた分散共分散行列の固有値の中から、大きい順にＬ個だけ選んだものにそれぞれ対応する固有ベクトルで構成することを特徴とする袋入り製品の位置検出方法。
【請求項６】
請求項５記載の袋入り製品の位置検出方法において、前記Ｌは、前記固有値を大きい方から順次足し合せた部分和を該固有値の総和で除した累積寄与率が、０．８未満の範囲で最大となる場合の足し合せた前記固有値の個数であることを特徴とする袋入り製品の位置検出方法。
【請求項７】
請求項４〜６のいずれか１項に記載の袋入り製品の位置検出方法において、前記認識過程は、前記分割画像毎に、該分割画像の輝度分布を構成するＭ個の画素の濃度値を画素番号順に並べて得られるＭ次元空間の濃度値ベクトルをそれぞれ求め、該各濃度値ベクトルを前記固有ベクトルの線形結合と前記平均サンプル濃度値ベクトルの和で近似した際にそれぞれ決まる線形結合係数から構成される特徴ベクトルを求めるＲ１工程と、
前記分割画像毎に、前記特徴ベクトルと前記各サンプル特徴ベクトルとの間の距離を算出し、前記分割画像の輝度分布と前記輝度分布特徴との類似を定量的に示す類似度とするＲ２工程と、
前記各サンプル特徴ベクトル毎に求めた前記類似度を、前記分割画像を切出した分割画像番号順に並べて類似度分布を作成し、該各類似度分布の類似度極小となる前記分割画像番号から構成される画像番号群内のひとつの該分割画像番号の前記分割画像を前記類似輝度分割画像とすると共に、該類似輝度分割画像の該分割画像番号から該類似輝度分割画像の前記カメラ画像内での位置を求めるＲ３工程と、
前記類似輝度分割画像の前記カメラ画像内での位置に基づいて、前記袋入り製品の前記ケース内での製品位置を求めるＲ４工程とを有することを特徴とする袋入り製品の位置検出方法。
【請求項８】
請求項７記載の袋入り製品の位置検出方法において、前記類似輝度分割画像は、前記画像番号群内の前記各分割画像番号の平均番号又は該平均番号に最も近い番号に対応する該分割画像番号の前記分割画像であることを特徴とする袋入り製品の位置検出方法。
【請求項９】
表面に模様が記載された収納袋に物品を封入した袋入り製品の群から抽出した複数のサンプルの表面に現れる前記模様のサンプル画像の輝度分布特徴を求める学習手段と、
前記袋入り製品がケース内に並べられた状態を撮影したカメラ画像から切出した複数の分割画像の中から、前記輝度分布特徴に似た類似輝度分布を有する類似輝度分割画像を求め、該類似輝度分割画像の前記カメラ画像内での位置に基づいて前記袋入り製品の前記ケース内での製品位置を求める認識手段とを有することを特徴とする袋入り製品の位置検出装置。
【請求項１０】
請求項９記載の袋入り製品の位置検出装置において、前記学習手段は、前記ケース内を前記複数のサンプルで満たした状態の画像から該各サンプルの前記模様の部分を切出して作成した複数の原画像、及び該各原画像をその中心に対してそれぞれ一定の角度だけ回転して得た複数の回転画像から前記サンプル画像を構成するサンプル画像作成部と、
前記サンプル画像毎に、該サンプル画像の輝度分布を構成するＭ個の画素の濃度値を画素番号順に並べて得られるＭ次元空間のサンプル濃度値ベクトルを求める前記サンプル画像の輝度分布作成部と、
前記各サンプル濃度値ベクトルを、前記Ｍ次元空間より低次元のＬ次元空間の固有ベクトルの線形結合で近似する際の前記固有ベクトル及び線形結合係数から構成されるサンプル特徴ベクトルをそれぞれ求め、前記輝度分布特徴を定量的に示す画像データベースを構築して保存する学習データ記憶部とを備えていることを特徴とする袋入り製品の位置検出装置。
【請求項１１】
請求項１０記載の袋入り製品の位置検出装置において、前記認識手段は、前記カメラ画像内で、該カメラ画像中で予め決めた部位を起点とし、前記サンプル画像と同一のフレームサイズからなる走査単位を１画素ずつ順次走査しながら切出して前記分割画像を作成する分割画像作成部と、
前記分割画像毎に、該分割画像の輝度分布を構成するＭ個の画素の濃度値を画素番号順に並べて得られるＭ次元空間の濃度値ベクトルをそれぞれ求める前記分割画像の輝度分布作成部と、
前記各濃度値ベクトルを、前記固有ベクトルの線形結合で近似した際にそれぞれ決まる線形結合係数から構成される特徴ベクトルを求め、該特徴ベクトルと前記各サンプル特徴ベクトルとの間の距離を算出し、前記分割画像の輝度分布と前記輝度分布特徴との類似を定量的に示す類似度とする類似度計算部と、
前記各サンプル特徴ベクトル毎に求めた前記類似度を、前記分割画像を切出した分割画像番号順に並べて類似度分布を作成し、該各類似度分布の類似度極小となる前記分割画像番号から構成される画像番号群内のひとつの該分割画像番号の前記分割画像を前記類似輝度分割画像とし、該類似輝度分割画像の該分割画像番号から該類似輝度分割画像の前記カメラ画像内での位置を求める認識部と、
前記類似輝度分割画像の前記カメラ画像内での位置に基づいて、前記袋入り製品の前記ケース内での製品位置を算出する検出部とを備えていることを特徴とする袋入り製品の位置検出装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１１−１９８２６９（Ｐ２０１１−１９８２６９Ａ）
【公開日】平成２３年１０月６日（２０１１．１０．６）
【国際特許分類】
【出願番号】特願２０１０−６６６３５（Ｐ２０１０−６６６３５）
【出願日】平成２２年３月２３日（２０１０．３．２３）
【出願人】（０００１９６７０５）西部電機株式会社 (80)
【Ｆターム（参考）】
【公開日】平成２３年１０月６日（２０１１．１０．６）
【国際特許分類】
【出願日】平成２２年３月２３日（２０１０．３．２３）
【出願人】（０００１９６７０５）西部電機株式会社 (80)
【Ｆターム（参考）】
[ Back to top ]