いりこ等の選別方法とその装置
【課題】「いりこ」などの複数の種類からなる被選別材を、人手を使用せずに同一種類の被選別材ごとに効率よく、短時間で、しかも選別時に被選別材を傷めたり、崩したりせずに選別する方法と選別する装置を提供する。
【解決手段】被選別材が隣接配置されたベルトコンベヤ１２〜１７と、被選別材の有無を感知する第１センサ２１と、被選別材が最上位置へ達したことを感知する第２センサ２２とを備え、複数種類の被選別材群を１または２以上の被選別材に分離する分離装置１と、画像フレーム内の画像をカラー画像としてをＰＣに取り込み、いりこの魚種を判別する識別手段とを備えている。
【解決手段】被選別材が隣接配置されたベルトコンベヤ１２〜１７と、被選別材の有無を感知する第１センサ２１と、被選別材が最上位置へ達したことを感知する第２センサ２２とを備え、複数種類の被選別材群を１または２以上の被選別材に分離する分離装置１と、画像フレーム内の画像をカラー画像としてをＰＣに取り込み、いりこの魚種を判別する識別手段とを備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、例えば魚種の異なる複数種の小魚からなる「いりこ(煮干し）」を、同一魚種のいりこごとに選別したり選別対象以外の異魚種や雑種を排除したりするための選別方法とその装置に関するもので、被選別材は「いりこ」に限らず、「種子」、「鮮魚」、「青果物」などがある。
【背景技術】
【０００２】
いりこの選別作業は、水揚げされ、塩ゆでされたのち、乾燥して半乾き状態の「いりこ」を篩機にかけて大きさで分類したのち、分類済みの「いりこ」を大きさ順に選別台上に投入し、そこで手作業により同一種類ごとに選別している。いりこには、周知のように、真鰯、潤目鰯、片口鰯、黍魚子（きびなご）、ほおたれ鰯などの複数の魚種（図４（ａ）参照）がある。
【０００３】
しかし、いりこの人手による選別には、熟練を要するために５〜７年の経験が必要であり、しかも作業に時間が掛かっており、作業が長時間に及び重労働である。また、後継者の育成にも長期間を有することから、作業人員の不足を招いている。さらに、いりこの選別が正確に行われず、異なる魚種が混在したり雑魚が混在したりする場合、いりこの商品価値が著しく低下する。加えて、人手による作業の場合でも、選別前のいりこにあっては、通常、幾層にも積み重なったうえに絡み合った状態(ビン状態）であるため、１匹ずつ傷つけないよう分離したり取り出したりすることが難しい。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
そこで、本発明は「いりこ」などの複数の種類からなる被選別材を、人手を使用せずに同一種類の被選別材ごとに効率よく、短時間で、しかも選別時に被選別材を傷めたり、崩したりせずに選別する方法と選別する装置を提供することを課題としている。
【課題を解決するための手段】
【０００５】
上記の課題を解決するために本発明に係るいりこ等の選別方法は、複数種類の「いりこ」などが混在した被選別材群を同一の種類ごとに選別したり選別対象以外の異種類を排除したりするための選別方法であって、走行方向に向け上向きに傾斜させ、順番に搬送可能に縦列させた複数台のベルトコンベヤのうち第１のベルトコンベヤのベルト上に複数種類の被選別材群を載置してベルトの走行を開始し、少なくとも１つの被選別材が最上位置に達し第２のベルトコンベヤのベルト上に落下すると、前記第１のベルトの走行を中止し、第２のベルトコンベヤのベルトの走行を開始させ、同ベルト上に落下した少なくとも１つの被選別材が最上位置へ達し第３のベルトコンベヤのベルト上に落下すると、同ベルトの走行を中止し、第１のベルトコンベヤのベルトおよび第３のベルトコンベヤのベルトの走行を開始するという操作を、少なくとも第３のベルトコンベヤ、望ましくは第５以降のベルトコンベヤまで繰り返し行って被選別材群を１つもしくは２つ以上の被選別材に分離する工程と、１つもしくは２つ以上に分離された被選別材が同一種類であると後述の識別工程で判別されたときには、その種類に対応する選別ボックスに振り分ける一方、２つ以上に分離された被選別材が異なる種類であると後述の識別工程で判別されたときには、前記分離工程へ環流する工程と、前記分離工程で分離された被選別材が１つの場合には、同被選別材をカメラで撮影した画像をあらかじめ設定した閾値にて２値化し、２次元高速フーリエ変換を用いて周波数解析処理し、被選別材が被選別材の種類ごとのテンプレートを非線形識別が可能な複層構造の階層型ニューラルネットワークで構成し、非線形テンプレートを用いたマッチング処理を行うことにより前記２値化画像から被選別材の種類を識別する工程あるいは、
前記分離工程で分離された被選別材が２つ以上の場合には、同被選別材をカメラで撮影した画像をあらかじめ設定した閾値にて２値化し、この２値化画像において８−近傍収縮処理を行ったのち、ラベリング処理を用いて被選別材部分にラベル番号を付与するとともに、ラベル領域内の中心位置を求め、この中心位置情報を用いて画像中の１つの被選別材を抽出する工程、２次元高速フーリエ変換（以下、２ＤＦＦＴともいう）を用いて周波数解析処理する工程および被選別材が被選別材の種類ごとのテンプレートを非線形識別が可能な複層構造の階層型ニューラルネットワークで構成し、非線形テンプレートを用いたマッチング処理を行うことにより前記２値化画像から被選別材の種類を識別する工程とからなることを特徴とする。
【０００６】
上記の構成を有する本発明のいりこ等の選別方法によれば、最初に多数のいりこ群などの被選別材群を１つ〜２つかつ３つ程度に分離したのちに被選別材の種類を識別するので、ビン状に絡まり易い被選別材を分離し、識別すべき被選別材の個数を最小限に減らせて識別を容易に且つ識別時間を短縮できる。また、分離後に被選別材が接近した状態でも、８−近傍収縮処理を行って抽出するので、識別を確実に行える。さらに、２次元高速フーリエ変換により入力画像データを周波数成分に変換し、画像データの特徴点を容易に把握できるようにしたので、被選別材の位置ずれや回転に対しても不変な情報を得られる。そのうえで被選別材の種類をニューラルネットワークで判別するので、識別対象が特にいりこのように自然物で、ある程度の形状、色合い模様の変動などによる入力情報の変動に影響されやすいものでも、正しく識別できる。
【０００７】
上記の課題を解決するために本発明に係るいりこ等の選別装置（請求項２）は、複数種類の「いりこ」などが混在した被選別材群を同一の種類ごとに選別したり選別対象以外の異種類を排除したりするための選別装置であって、走行方向に沿って上向きに傾斜させ、ベルト上に載置される被選別材の有無を検知しベルトの走行を開始させる第１センサと、ベルト上の被選別材が最上位置に達したことを検知しベルトの走行を停止させるか・停止させたのち逆転させる第２センサとをそれぞれ備えた複数台のベルトコンベヤを、隣接するコンベヤベルト間で被選別材が乗り移り可能に隣接させて配列してなる複数種類の被選別材群を１もしくは２以上の被選別材に分離する装置と、１つもしくは２つ以上に分離された被選別材が同一種類であると後述の識別手段で判別されたときには、その種類に対応する選別ボックスに振り分ける一方、２つ以上に分離された被選別材が異なる種類であると後述の識別手段で判別されたときには、上記分離装置の入り口に被選別材群を環流する振り分け手段と、前記分離する手段で分離された被選別材が１つの場合には、同被選別材をカメラで撮影した画像をあらかじめ設定した閾値にて２値化し、２次元高速フーリエ変換を用いて周波数解析処理し、被選別材が被選別材の種類ごとのテンプレートを非線形識別が可能な複層構造の階層型ニューラルネットワークで構成し、非線形テンプレートを用いたマッチング処理を行うことにより前記２値化画像から被選別材の種類を識別する手段および前記分離工程で分離された被選別材が２つ以上の場合には、同被選別材をカメラで撮影した画像をあらかじめ設定した閾値にて２値化し、この２値化画像において８−近傍収縮処理を行ったのち、ラベリング処理を用いて被選別材部分にラベル番号を付与するとともに、ラベル領域内の中心位置を求め、この中心位置情報を用いて画像中の１つの被選別材を抽出する手段、２次元高速フーリエ変換を用いて周波数解析処理する手段および被選別材が被選別材の種類ごとのテンプレートを非線形識別が可能な複層構造の階層型ニューラルネットワークで構成し、非線形テンプレートを用いたマッチング処理を行うことにより前記２値化画像から被選別材の種類を識別する手段とを備えることを特徴とする。
【０００８】
上記の構成を有するいりこ等の選別装置によれば、請求項１に記載の選別方法を実施でき、しかも同選別方法について上記に記載の作用効果と同様の作用効果を奏するほか、複数台のベルトコンベヤを組み合わせて分離するので、装置の構造が比較的簡単で、いりこのように分離時に損傷しやすいものでも、損傷を最小限に抑えて確実に分離させることができる。
【０００９】
また、上記の課題を解決するために本発明に係るいりこ等の選別装置（請求項３）は、被選別材が順次乗り移り可能に隣接配置された複数台の上向きに傾斜したベルトコンベヤと、各ベルトコンベヤのベルト下部上において被選別材の有無を感知するとともに被選別材を感知するとベルトの回転の開始を指令する第１センサと、各ベルトコンベヤのベルト上の被選別材が最上位置へ達したことを感知するとベルトの回転の停止を指令する第２センサとを備え、入り乱れたりバラ積みで絡み合ったりした状態の複数種類の被選別材群を１または２以上の被選別材に分離する分離装置と、前記分離装置で分離された被選別材を撮影するカメラと、前記カメラにより撮影した画像フレーム内に被選別材が１の場合および被選別材が２以上であって下記の判別手段により全ての被選別材が同一種類であると判別された場合に、被選別材を対応する種類の選別ボックスに振り分ける手段と、前記カメラにより撮影した画像フレーム内に被選別材が２以上であって下記の判別手段により被選別材が異なる種類であると判別された場合に、前記分離装置へ戻す環流手段と、前記画像フレーム内の画像をカラー画像としてパーソナルコンピュータに取り込み、閾値を用いて２値化を行い、モノクロ画像に変換したのち、８近傍収縮処理を施し、ラベリングを行い、続いて、中心位置を求めてビルネア（bilnear）法を用いて縮小し、切り出しを行い、切り出した画像を、被選別材と背景とを区別できる閾値を用いて２値化し、背景を黒で塗りつぶし、２次元高速フーリエ変換を用いて前記モノクロ画像の周波数成分を算出し、周波数成分を同心円状にブロック化を行い、同一番号のブロックを加算して平均化したものを正規化することにより、ニューラルネットワークへ入力する値を算出し、この入力値をニューラルネットワークへ入力し、被選別材の種類を識別する手段とを備えることを特徴とする。
【００１０】
上記の構成を有するいりこ等の選別装置によれば、上記請求項２に記載の選別装置とほぼ同様の作用効果がある。
【発明の効果】
【００１１】
本発明に係るいりこ等の選別方法と同装置には、次のような優れた効果がある。すなわち、
・従来、人手で行われているいりこなどの選別作業を機械(システム）化して効率よく短時間で確実に行え、作業の省力化と高精度化を図れ、雑魚や異魚種の混入が起こりにくく商品価値を向上できる。
【００１２】
・分離後に被選別材が接近した状態でも、８−近傍収縮処理を行って抽出するので、識別を確実に行える。
【００１３】
・２次元高速フーリエ変換により入力画像データを周波数成分に変換し、画像データの特徴点を容易に把握できるようにしたので、被選別材の位置ずれや回転に対しても不変な情報を得られ、そのうえで被選別材の種類をニューラルネットワークで判別するので、識別対象が特にいりこのように自然物で、ある程度の形状、色合い模様の変動などによる入力情報の変動に影響されやすいものでも、正しく識別できる。
【００１４】
・複数台のベルトコンベヤを組み合わせて分離するので、相違の構造が比較的簡単で、いりこのように分離時に損傷しやすいものでも、損傷を最小限に抑えて確実に分離させられる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明に係るいりこ等の選別装置と選別方法について実施の形態を図面に基づいて説明する。
【００１６】
図１は被選別材がいりこである場合の選別方法の実施例を示すフローチャートである。図２（ａ）は選別装置の一構成部材としてのいりこ分離装置を示す側面図、図２（ｂ）は１台のベルトコンベヤを拡大して示す側面図である。
【００１７】
本実施例では、図４（ａ）に示すように真鰯、潤目鰯、片口鰯、黍魚子（きびなご）およびほおたれ鰯の５種類のいりこを選別対象とする。
【００１８】
そこで、図１に示すように、
１）選別対象のいりこを目視にて同一魚種ごとに複数匹（例えば、１０匹）ずつ選んだのち、同一魚種のいりこごとに、ＵＳＢ接続のデジタルカメラで撮影し、画像データによる魚種パターンをニューラルネットワーク(以下、ＮＮという）に入力して学習登録する。
【００１９】
本実施例に係る選別装置１は識別手段１０を備えており、その識別手段１０はいりこの全体形状、色合いおよび側線パターンに基づき魚種を判別するテンプレートをＮＮで構成し、非線形テンプレートを用いたマッチング処理を行う。ＮＮの構造は、非線形識別が可能な最小構成の３層構造の階層型とする。いりこは形状が安定しないので、最終的には色合いおよび側線パターンが一致すれば、魚種が同一であると判別する。また、ＮＮの構成法については、出力層に選別パターンに対し目的ユニット(例えば、真鰯にのみ反応するユニット）と目的外ユニット(例えば、真鰯以外に反応するユニット）の２つを設定し、反応値の大小関係で最終判定を実施するものとする。具体的には、真鰯のみに反応するユニットの反応値が真鰯以外に反応するユニットの反応値より大きければ、選別対象のいりこの魚種は真鰯であると判別される。
【００２０】
２）分離・選別対象としてのいりこ群Ｓをビン状態のまま、分離装置１（図２）へ投入する。
【００２１】
３）分離装置１を作動して、いりこを１匹ずつ若しくは２匹以上に分離する。
【００２２】
４−１）２匹以上に分離されたいりこをデジタルカメラ３で撮影し、撮影された画像から１匹ずつのいりこを抽出する。
【００２３】
４−２）分離あるいは抽出された１匹ずつのいりこを、後述するようにＮＮによって魚種を識別する。
【００２４】
５）識別した結果、１匹若しくは同一魚種からなる２匹以上のいりこは、魚種に対応する選別（種類別）ボックスへ振り分ける。
【００２５】
６）識別した結果、異なる魚種からなる２匹以上のいりこを、上記２）の分離前のいりこ群Ｓへ戻すか、分離装置１の入り口へ再度投入するかし、いわゆる環流を行う。
【００２６】
いりこの選別に際し、ビン状態の「いりこ」群から個々の魚種を特定するには、抽出処理が必要になる。また、抽出するには、いりこを分離する必要がある。このために開発した分離装置１は、図２に示すように、本例では、１台の搬送用リブ付き傾斜ベルトコンベヤ１２と５台の分離用傾斜ベルトコンベヤ１３〜１７とから構成されている。各ベルトコンベヤ１２〜１７の駆動はそれぞれ独立させ、正転駆動・逆転駆動・停止の制御はマイコンボードで行うようにしている。搬送用ベルトコンベヤ１２には、いりこ群Ｓを投入するためのホッパー１８が配設され、ホッパー１８にいりこ群Ｓを投入し、無端のリブ付きベルト１２ａの走行を開始すると、いりこ群Ｓが上方へ運ばれる。
【００２７】
各分離用ベルトコンベヤ１３〜１７は、それぞれベルト１３ａ〜１７ａの走行方向に向けやや上向きに傾斜しており、被搬送物（いりこ）Ｓを順番に隣接する次のベルトコンベヤのベルト上に移乗できるように一定の間隔を保って相互に平行に配列（縦列）されている。各分離用ベルトコンベヤ１３〜１７は搬送用ベルトコンベヤ１２とともにＤＣモータ１９により減速ギヤ２０を介して無端ベルト１３ａ〜１７ａを走行させる構造であるが、ベルト走行方向の中間位置と最上位置とにそれぞれ近赤外線センサ２１・２２が取り付けられている。中間位置の第１センサ２１は無端ベルト上の下端に向けられ、無端ベルト上のいりこを感知すると、ＤＣモータ１９を駆動して無端ベルト１３ａの走行（回転）を開始させる。一方、最上位置の第２センサ２２はいりこを感知すると、無端ベルト１３ａの走行を停止させる。例えば、搬送用ベルトコンベヤ１２のベルト１２ａの最上位置から複数匹のいりこが落下して次のコンベヤベルト１３ａの下端部に乗り移ったと仮定する。乗り移った復数匹のいりこは、ベルト１３ａの走行に伴って上方へ移動する。そして、最上位置へ移動すると、第２センサ２２により感知されてベルト１３ａの走行が停止し、１匹〜２・３匹のいりこが次のコンベヤベルト１４のベルト１４ａの下端部上に落下する。以下、順にコンベヤベルト１４、１５、１６のベルトが回転し、第５のコンベヤベルト１７のベルト１７ａ上にいりこが落下すると、ベルト１７ａが所定距離だけ走行し、いりこＳがベルト１７ａの走行方向のほぼ中間位置まで移動する。
【００２８】
各無端ベルト１２ａ〜１７ａはゴムなどの弾性体からなるために、いりこが落下しても損傷せず、またベルト走行時にいりこＳが回転するのが防止される。相互に隣接するベルトコンベヤ１２〜１６は一方のベルトコンベヤ（例えば、１３）でベルトの回転が停止すると、他方のベルトコンベヤ（たとえば、１４）ではベルトの回転を開始するようにマイコンボードが制御するので、本例の５台のベルトコンベヤは１台おきにベルト１２ａ〜１６ａが回転することになる。このようにして、多数匹のいりこ群Ｓは１匹〜２・３匹程度に分離された状態で第５のベルトコンベヤ１７のベルト１７ａ上に載置されることになる。
【００２９】
第５のベルトコンベヤ１７の上方には、照明器具２およびデジタルカメラ３がレンズをベルトコンベヤ１７のベルト１７ａの走行方向のほぼ中間位置に向けて配備されている。第５のベルトコンベヤ１７では、センサ２１がいりこの存在を感知すると、ベルト１７ａの回転を開始させるが、いりこが中間位置に来ると、ベルト１７ａの回転が停止する。そこで、ベルト１７ａ上のいりこがデジタルカメラ３により撮影される。
【００３０】
撮影されたいりこの画像はパーソナルコンピュータ(以下、ＰＣともいう）へ送られ、閾値により２値化され、背景を黒色とした白い画像に変換処理される。そして、変換処理された画像データをニューラルネットワーク（以下、ＮＮという）の入力に適する数値に変換するために、２次元高速フーリエ変換（以下、２ＤＦＦＴともいう）を用いて周波数解析処理し、その２次元データを同心円状にブロック化を行う。図３（ｆ）に示す同一番号のブロックを加算平均化し、正規化を行い、入力層の各ユニット(以下、細胞またはニューロ素子ともいう）に入力するスラブ値とする。また、２ＤＦＦＴから得られる成分の有効領域が６４×６４であるため、スラブ値は６４個とする。
【００３１】
本例では、３階層構造の演算部は、入力層（６４ニューロ素子）、隠れ層（３５ニューロ素子）および出力層（５ニューロ素子）の３層からなっており、入力層では２ＤＦＦＴから得られる成分の有効領域ごとに演算処理されたスラブ値を対応するニュ−ロ素子に入力する。隠れ層は、本例では３５個のニュ−ロ素子からなり、入力層の情報を伝搬演算して出力層に伝達する役割を果たしている。この隠れ層が多くなればそれだけ、入力層のスラブ値の変動に対しても不変に各パタ−ンの各々に分離演算できる。出力層には、識別すべき「いりこ」の種類ごとに１対１にて対応するように５個のニュ−ロ素子が設けられている。そして、学習により完成したニュ−ロ素子間の重み係数による出力ニューロ素子値を出力ニューロ素子の数個分を算出する。
【００３２】
一部繰り返しになるが、ＮＮを用いたいりこの魚種を識別（判別）する方法について、以下に詳しく説明する。
【００３３】
1) 本例では、ＵＳＢ接続のデジタルカメラによる撮影済みＲＧＢカラー画像をＰＣに取り込む（図３（ａ））。
【００３４】
2) 閾値を用いて２値化を行い、モノクロ画像に変換する（図３（ｂ））。
【００３５】
（Ｒ×０．３３＋Ｇ×０．３３＋Ｂ×０．３３）／３＝Ｘ
3) ８近傍収縮処理（左右・上下・斜めの各近傍を収縮処理）を行い、重なった状態の被選別材（いりこ）を分離し、ラベリングを行う。続いて、中心位置を求めて１２８×１２８（２のｎ乗×２のｎ乗）にビルニア（bilnear）法を用いて縮小し、切り出しを行う（図３（ｃ））。
【００３６】
4) 切り出した画像を、いりこと背景とを区別できる閾値を用いて２値化し、背景を黒（０×００）で塗りつぶす（図３（ｄ））。
【００３７】
5) 下記の数式による２次元ＦＦＴを用いて、上記5)のモノクロ画像(128×
128pixel）の周波数成分を算出する（図３（ｅ））。
【００３８】
6) 図３（ｆ）に示すように配置された周波数成分を同心円状にブロック化を行い、同一番号のブロックを加算して平均化したものを正規化することにより、ＮＮへ入力する値を求める。
【００３９】
例えば、図３（ｆ）の「１」のところだけを加算して平均を取った値が、ＮＮの入力要素の１つとなる。Σx(i)/12(i=1,2,…12)
その他の入力要素も同様な算出形式で、Σx(i)/M(i=1,2,…M) ただし、Mは同心円状の同じ番号の数
つまり、０・１・２・３・４・５・………６２・６３・６４
こうして作成した入力値をＮＮへ入力し、いりこの魚種を識別する（図３（ｇ））。
【００４０】
ここで、識別手段１０の基本構成についてさらに詳しく説明する。図５は識別手段１０の基本構成を示す説明図である。図５中の各々のニューロテンプレートがいりこの魚種を個々に識別するものとなる。その識別過程はいりこの画像が前処理である２ＤＦＦＴで処理され、ＮＮへの入力値であるスラブ値が算出される。この場合は６４個の値が入力される。次に、それぞれのニューロテンプレートにこの値が入力され、ＮＮの前向き計算が実施される。個々のニューロテンプレートは個々のいりこの魚種を識別するかそれ以外という判断のみを実施する。たとえば、真鰯の画像が入力された場合、第１番目のニューロテンプレートｉが真
鰯用であるとすると、このニューロテンプレートｉの出力層のユニット（細胞）
には、真鰯を示すユニット（目的パターン）と、真鰯以外を示すユニット(目的外パターン）の２つのユニットが設定されている。
【００４１】
したがって、目的とする正しい真鰯の画像を入力されたので、このニューロテンプレートｉの出力層のユニットが下記の関係を示すことになる。
【００４２】
出力ユニットの反応値（真鰯を示すユニット）＞ 出力ユニットの反応値（真鰯以外を示すユニット）………（１）
他のニューロテンプレートii〜ｖも同様に潤目鰯、片口鰯、黍魚子（きびなご）
およびほおたれ鰯など、それぞれを唯一識別する設定となっている。ただし、それ以外のニューロテンプレートにも同じ真鰯の画像を入力し、以下の関係を満たすかを確認する。
すなわち、
出力ユニットの反応値（潤目を示すユニット）＜ 出力ユニットの反応値（それ以外を示すユニット）……（２）
出力ユニットの反応値（片口を示すユニット）＜ 出力ユニットの反応値（それ以外を示すユニット）……（３）
出力ユニットの反応値（きびなごを示すユニット）＜ 出力ユニットの反応値（それ以外を示すユニット）……（４）
出力ユニットの反応値（ほうたれを示すユニット）＜ 出力ユニットの反応値（それ以外を示すユニット）……（５）
つまり、真鰯のニューロテンプレートiで真鰯であることを確認し、かつ、潤目
鰯、片口鰯、黍魚子（きびなご）およびほおたれ鰯を唯一識別するニューロテンプレートii〜ｖで、潤目鰯でもなく、片口鰯でもなく、黍魚子（きびなご）でも
なく、ほおたれ鰯でもないことを確かめ、最終判断を下すのである。
このＮＮによるテンプレートマッチングにより精度の高い識別が実現できる。ただし、図６に示すように従来のＮＮの出力層にそれぞれのいりこの魚種に対応するユニットをそのまま設定し、一回のＮＮ計算のみでいりこの魚種を確定する方法も本選別装置１の識別手段１０に適用し、プログラムシステムとしては選別装置１の起動時に選択可能としている。
【００４３】
こうして、コンベヤベルト１７ａ上のいりこの魚種が識別されるが、いりこが１匹の場合および２匹以上でも全てのいりこの魚種が同一の場合には、コンベヤベルト１７ａが最上位置まで回転したのち、魚種に対応した選別ボックス（図示せず）に振り分け装置（図示せず）によって振り分けられる。
【００４４】
一方、いりこが２匹以上で、魚種が異なる場合には、振り分け装置（図示せず）により、再び分離装置１へ戻されて分離作業が繰り返し行われることになる。分離作業が繰り返される場合、最終的にはほとんどいりこは１匹ずつに分離されるので、魚種に対応する選別ボックスへ振り分けられる。
【００４５】
ところで、本発明の実施例に係るいりこの選別装置については、選別対象としてのいりこの全ての魚種についてあらかじめデジタルカメラで撮影され、画像データに基づいた魚種に関するデータ（魚種パターン）がＮＮを用いて学習登録されている。そして、画像データのうち、特にいりこの全体形状、色合い、側線パターンなどの魚種を識別する上で重要な特徴的模様（パターン）に関するデータが図３に示すように２次元高速フーリエ変換を用いて周波数解析処理され、入力パターン（スラブ値）としてＮＮの入力層に入力され、記憶されている。そして、分離装置１で通常、１匹ないし２・３匹のいりこに分離され、デジタルカメラ３で撮影された画像データが図３の動作フローに沿って同様に変換処理され、作成された入力パターンが入力層→隠れ層→出力層へ伝達・処理され、出力層から出力値（出力パターン）が出力される。この出力値は、それまでの学習によって得られた重み係数に基づくもので、本例の場合には、いりこの魚種が何であるかが出力される。
【００４６】
また、ＮＮにおいて、いりこの魚種パターンにつき逆に正しい出力値が与えられると、出力層→隠れ層→入力層の順で伝達・処理され、各層間の重み係数について学習がなされるが、この重み係数の学習は、実際の出力値と正しい出力値との差が減るように、入力ニューロ素子・隠れニューロ素子・出力ニューロ素子のニューロ素子間における結合の強さを変化・収束させることである。
【００４７】
詳しくは、ＮＮ学習に関し、ＮＮの構成は階層型の３層ＮＮを用いており、学習方法として改良型誤差逆伝搬法を採用している。この改良型誤差逆搬法とは、下記の数１で表される学習アルゴリズムである。
【数１】
【００４８】
ここで、Ｗは重み、ｔは学習回数、δは一般化誤差、Ｏはニューラル素子(細胞・ユニット)の出力値、ηは学習定数、αは慣性定数、βは振動定数を示す。
【００４９】
そして、対象とする被選別材としてのいりこの魚種パターンと、あらかじめ学習登録された複数種類の魚種パターンとが比較され、対象とするいりこの各魚種パターンが全体的に把握され、学習した魚種パターンと比較されることによって、より正確に魚種を識別できるようにしている。
【００５０】
上記に本発明のいりこの選別装置について一実施例を挙げて説明したが、下記のように実施することができる。すなわち、
・複数の魚種からなるいりこ群を同一魚種ごとに選別するだけでなく、雑魚が混じったいりこ群から雑魚だけを排除することにも使用できる。
【００５１】
・選別対象は魚類に限定されず、被選別材の片面あるいは前面だけを選別したり監視したりする装置にも適用できる。
【図面の簡単な説明】
【００５２】
【図１】被選別材がいりこである場合の選別方法の実施例を示すフローチャートである。
【図２】図２（ａ）は選別装置の一構成部材としてのいりこ分離装置を示す側面図、図２（ｂ）は１台のベルトコンベヤを拡大して示す側面図である。
【図３−ａ】（ａ）〜（ｃ）はいりこの選別動作フローを順に示す説明図である。
【図３−ｂ】（ｄ）〜（ｇ）はいりこの選別動作フローを順に示す説明図である。
【図４】図４（ａ）はいりこの魚種（５種類）を示す正面図、図４（ｂ）は同一種類ごとに選別した状態を示す正面図である。
【図５】選別手段(判別手段）の基本構成を示す説明図である。
【図６】従来のＮＮでの識別構成を示す説明図である。
【符号の説明】
【００５３】
１ 分離装置
２ 照明器具
３ デジタルカメラ
１０ 識別手段
１２ 搬送用傾斜ベルトコンベヤ
１３〜１７ 分離用傾斜ベルトコンベヤ
１２ａ〜１７ａ コンベヤベルト
１８ ホッパー
１９ ＤＣモータ
２０ 減速ギヤ
２１・２２ センサ
【技術分野】
【０００１】
この発明は、例えば魚種の異なる複数種の小魚からなる「いりこ(煮干し）」を、同一魚種のいりこごとに選別したり選別対象以外の異魚種や雑種を排除したりするための選別方法とその装置に関するもので、被選別材は「いりこ」に限らず、「種子」、「鮮魚」、「青果物」などがある。
【背景技術】
【０００２】
いりこの選別作業は、水揚げされ、塩ゆでされたのち、乾燥して半乾き状態の「いりこ」を篩機にかけて大きさで分類したのち、分類済みの「いりこ」を大きさ順に選別台上に投入し、そこで手作業により同一種類ごとに選別している。いりこには、周知のように、真鰯、潤目鰯、片口鰯、黍魚子（きびなご）、ほおたれ鰯などの複数の魚種（図４（ａ）参照）がある。
【０００３】
しかし、いりこの人手による選別には、熟練を要するために５〜７年の経験が必要であり、しかも作業に時間が掛かっており、作業が長時間に及び重労働である。また、後継者の育成にも長期間を有することから、作業人員の不足を招いている。さらに、いりこの選別が正確に行われず、異なる魚種が混在したり雑魚が混在したりする場合、いりこの商品価値が著しく低下する。加えて、人手による作業の場合でも、選別前のいりこにあっては、通常、幾層にも積み重なったうえに絡み合った状態(ビン状態）であるため、１匹ずつ傷つけないよう分離したり取り出したりすることが難しい。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
そこで、本発明は「いりこ」などの複数の種類からなる被選別材を、人手を使用せずに同一種類の被選別材ごとに効率よく、短時間で、しかも選別時に被選別材を傷めたり、崩したりせずに選別する方法と選別する装置を提供することを課題としている。
【課題を解決するための手段】
【０００５】
上記の課題を解決するために本発明に係るいりこ等の選別方法は、複数種類の「いりこ」などが混在した被選別材群を同一の種類ごとに選別したり選別対象以外の異種類を排除したりするための選別方法であって、走行方向に向け上向きに傾斜させ、順番に搬送可能に縦列させた複数台のベルトコンベヤのうち第１のベルトコンベヤのベルト上に複数種類の被選別材群を載置してベルトの走行を開始し、少なくとも１つの被選別材が最上位置に達し第２のベルトコンベヤのベルト上に落下すると、前記第１のベルトの走行を中止し、第２のベルトコンベヤのベルトの走行を開始させ、同ベルト上に落下した少なくとも１つの被選別材が最上位置へ達し第３のベルトコンベヤのベルト上に落下すると、同ベルトの走行を中止し、第１のベルトコンベヤのベルトおよび第３のベルトコンベヤのベルトの走行を開始するという操作を、少なくとも第３のベルトコンベヤ、望ましくは第５以降のベルトコンベヤまで繰り返し行って被選別材群を１つもしくは２つ以上の被選別材に分離する工程と、１つもしくは２つ以上に分離された被選別材が同一種類であると後述の識別工程で判別されたときには、その種類に対応する選別ボックスに振り分ける一方、２つ以上に分離された被選別材が異なる種類であると後述の識別工程で判別されたときには、前記分離工程へ環流する工程と、前記分離工程で分離された被選別材が１つの場合には、同被選別材をカメラで撮影した画像をあらかじめ設定した閾値にて２値化し、２次元高速フーリエ変換を用いて周波数解析処理し、被選別材が被選別材の種類ごとのテンプレートを非線形識別が可能な複層構造の階層型ニューラルネットワークで構成し、非線形テンプレートを用いたマッチング処理を行うことにより前記２値化画像から被選別材の種類を識別する工程あるいは、
前記分離工程で分離された被選別材が２つ以上の場合には、同被選別材をカメラで撮影した画像をあらかじめ設定した閾値にて２値化し、この２値化画像において８−近傍収縮処理を行ったのち、ラベリング処理を用いて被選別材部分にラベル番号を付与するとともに、ラベル領域内の中心位置を求め、この中心位置情報を用いて画像中の１つの被選別材を抽出する工程、２次元高速フーリエ変換（以下、２ＤＦＦＴともいう）を用いて周波数解析処理する工程および被選別材が被選別材の種類ごとのテンプレートを非線形識別が可能な複層構造の階層型ニューラルネットワークで構成し、非線形テンプレートを用いたマッチング処理を行うことにより前記２値化画像から被選別材の種類を識別する工程とからなることを特徴とする。
【０００６】
上記の構成を有する本発明のいりこ等の選別方法によれば、最初に多数のいりこ群などの被選別材群を１つ〜２つかつ３つ程度に分離したのちに被選別材の種類を識別するので、ビン状に絡まり易い被選別材を分離し、識別すべき被選別材の個数を最小限に減らせて識別を容易に且つ識別時間を短縮できる。また、分離後に被選別材が接近した状態でも、８−近傍収縮処理を行って抽出するので、識別を確実に行える。さらに、２次元高速フーリエ変換により入力画像データを周波数成分に変換し、画像データの特徴点を容易に把握できるようにしたので、被選別材の位置ずれや回転に対しても不変な情報を得られる。そのうえで被選別材の種類をニューラルネットワークで判別するので、識別対象が特にいりこのように自然物で、ある程度の形状、色合い模様の変動などによる入力情報の変動に影響されやすいものでも、正しく識別できる。
【０００７】
上記の課題を解決するために本発明に係るいりこ等の選別装置（請求項２）は、複数種類の「いりこ」などが混在した被選別材群を同一の種類ごとに選別したり選別対象以外の異種類を排除したりするための選別装置であって、走行方向に沿って上向きに傾斜させ、ベルト上に載置される被選別材の有無を検知しベルトの走行を開始させる第１センサと、ベルト上の被選別材が最上位置に達したことを検知しベルトの走行を停止させるか・停止させたのち逆転させる第２センサとをそれぞれ備えた複数台のベルトコンベヤを、隣接するコンベヤベルト間で被選別材が乗り移り可能に隣接させて配列してなる複数種類の被選別材群を１もしくは２以上の被選別材に分離する装置と、１つもしくは２つ以上に分離された被選別材が同一種類であると後述の識別手段で判別されたときには、その種類に対応する選別ボックスに振り分ける一方、２つ以上に分離された被選別材が異なる種類であると後述の識別手段で判別されたときには、上記分離装置の入り口に被選別材群を環流する振り分け手段と、前記分離する手段で分離された被選別材が１つの場合には、同被選別材をカメラで撮影した画像をあらかじめ設定した閾値にて２値化し、２次元高速フーリエ変換を用いて周波数解析処理し、被選別材が被選別材の種類ごとのテンプレートを非線形識別が可能な複層構造の階層型ニューラルネットワークで構成し、非線形テンプレートを用いたマッチング処理を行うことにより前記２値化画像から被選別材の種類を識別する手段および前記分離工程で分離された被選別材が２つ以上の場合には、同被選別材をカメラで撮影した画像をあらかじめ設定した閾値にて２値化し、この２値化画像において８−近傍収縮処理を行ったのち、ラベリング処理を用いて被選別材部分にラベル番号を付与するとともに、ラベル領域内の中心位置を求め、この中心位置情報を用いて画像中の１つの被選別材を抽出する手段、２次元高速フーリエ変換を用いて周波数解析処理する手段および被選別材が被選別材の種類ごとのテンプレートを非線形識別が可能な複層構造の階層型ニューラルネットワークで構成し、非線形テンプレートを用いたマッチング処理を行うことにより前記２値化画像から被選別材の種類を識別する手段とを備えることを特徴とする。
【０００８】
上記の構成を有するいりこ等の選別装置によれば、請求項１に記載の選別方法を実施でき、しかも同選別方法について上記に記載の作用効果と同様の作用効果を奏するほか、複数台のベルトコンベヤを組み合わせて分離するので、装置の構造が比較的簡単で、いりこのように分離時に損傷しやすいものでも、損傷を最小限に抑えて確実に分離させることができる。
【０００９】
また、上記の課題を解決するために本発明に係るいりこ等の選別装置（請求項３）は、被選別材が順次乗り移り可能に隣接配置された複数台の上向きに傾斜したベルトコンベヤと、各ベルトコンベヤのベルト下部上において被選別材の有無を感知するとともに被選別材を感知するとベルトの回転の開始を指令する第１センサと、各ベルトコンベヤのベルト上の被選別材が最上位置へ達したことを感知するとベルトの回転の停止を指令する第２センサとを備え、入り乱れたりバラ積みで絡み合ったりした状態の複数種類の被選別材群を１または２以上の被選別材に分離する分離装置と、前記分離装置で分離された被選別材を撮影するカメラと、前記カメラにより撮影した画像フレーム内に被選別材が１の場合および被選別材が２以上であって下記の判別手段により全ての被選別材が同一種類であると判別された場合に、被選別材を対応する種類の選別ボックスに振り分ける手段と、前記カメラにより撮影した画像フレーム内に被選別材が２以上であって下記の判別手段により被選別材が異なる種類であると判別された場合に、前記分離装置へ戻す環流手段と、前記画像フレーム内の画像をカラー画像としてパーソナルコンピュータに取り込み、閾値を用いて２値化を行い、モノクロ画像に変換したのち、８近傍収縮処理を施し、ラベリングを行い、続いて、中心位置を求めてビルネア（bilnear）法を用いて縮小し、切り出しを行い、切り出した画像を、被選別材と背景とを区別できる閾値を用いて２値化し、背景を黒で塗りつぶし、２次元高速フーリエ変換を用いて前記モノクロ画像の周波数成分を算出し、周波数成分を同心円状にブロック化を行い、同一番号のブロックを加算して平均化したものを正規化することにより、ニューラルネットワークへ入力する値を算出し、この入力値をニューラルネットワークへ入力し、被選別材の種類を識別する手段とを備えることを特徴とする。
【００１０】
上記の構成を有するいりこ等の選別装置によれば、上記請求項２に記載の選別装置とほぼ同様の作用効果がある。
【発明の効果】
【００１１】
本発明に係るいりこ等の選別方法と同装置には、次のような優れた効果がある。すなわち、
・従来、人手で行われているいりこなどの選別作業を機械(システム）化して効率よく短時間で確実に行え、作業の省力化と高精度化を図れ、雑魚や異魚種の混入が起こりにくく商品価値を向上できる。
【００１２】
・分離後に被選別材が接近した状態でも、８−近傍収縮処理を行って抽出するので、識別を確実に行える。
【００１３】
・２次元高速フーリエ変換により入力画像データを周波数成分に変換し、画像データの特徴点を容易に把握できるようにしたので、被選別材の位置ずれや回転に対しても不変な情報を得られ、そのうえで被選別材の種類をニューラルネットワークで判別するので、識別対象が特にいりこのように自然物で、ある程度の形状、色合い模様の変動などによる入力情報の変動に影響されやすいものでも、正しく識別できる。
【００１４】
・複数台のベルトコンベヤを組み合わせて分離するので、相違の構造が比較的簡単で、いりこのように分離時に損傷しやすいものでも、損傷を最小限に抑えて確実に分離させられる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明に係るいりこ等の選別装置と選別方法について実施の形態を図面に基づいて説明する。
【００１６】
図１は被選別材がいりこである場合の選別方法の実施例を示すフローチャートである。図２（ａ）は選別装置の一構成部材としてのいりこ分離装置を示す側面図、図２（ｂ）は１台のベルトコンベヤを拡大して示す側面図である。
【００１７】
本実施例では、図４（ａ）に示すように真鰯、潤目鰯、片口鰯、黍魚子（きびなご）およびほおたれ鰯の５種類のいりこを選別対象とする。
【００１８】
そこで、図１に示すように、
１）選別対象のいりこを目視にて同一魚種ごとに複数匹（例えば、１０匹）ずつ選んだのち、同一魚種のいりこごとに、ＵＳＢ接続のデジタルカメラで撮影し、画像データによる魚種パターンをニューラルネットワーク(以下、ＮＮという）に入力して学習登録する。
【００１９】
本実施例に係る選別装置１は識別手段１０を備えており、その識別手段１０はいりこの全体形状、色合いおよび側線パターンに基づき魚種を判別するテンプレートをＮＮで構成し、非線形テンプレートを用いたマッチング処理を行う。ＮＮの構造は、非線形識別が可能な最小構成の３層構造の階層型とする。いりこは形状が安定しないので、最終的には色合いおよび側線パターンが一致すれば、魚種が同一であると判別する。また、ＮＮの構成法については、出力層に選別パターンに対し目的ユニット(例えば、真鰯にのみ反応するユニット）と目的外ユニット(例えば、真鰯以外に反応するユニット）の２つを設定し、反応値の大小関係で最終判定を実施するものとする。具体的には、真鰯のみに反応するユニットの反応値が真鰯以外に反応するユニットの反応値より大きければ、選別対象のいりこの魚種は真鰯であると判別される。
【００２０】
２）分離・選別対象としてのいりこ群Ｓをビン状態のまま、分離装置１（図２）へ投入する。
【００２１】
３）分離装置１を作動して、いりこを１匹ずつ若しくは２匹以上に分離する。
【００２２】
４−１）２匹以上に分離されたいりこをデジタルカメラ３で撮影し、撮影された画像から１匹ずつのいりこを抽出する。
【００２３】
４−２）分離あるいは抽出された１匹ずつのいりこを、後述するようにＮＮによって魚種を識別する。
【００２４】
５）識別した結果、１匹若しくは同一魚種からなる２匹以上のいりこは、魚種に対応する選別（種類別）ボックスへ振り分ける。
【００２５】
６）識別した結果、異なる魚種からなる２匹以上のいりこを、上記２）の分離前のいりこ群Ｓへ戻すか、分離装置１の入り口へ再度投入するかし、いわゆる環流を行う。
【００２６】
いりこの選別に際し、ビン状態の「いりこ」群から個々の魚種を特定するには、抽出処理が必要になる。また、抽出するには、いりこを分離する必要がある。このために開発した分離装置１は、図２に示すように、本例では、１台の搬送用リブ付き傾斜ベルトコンベヤ１２と５台の分離用傾斜ベルトコンベヤ１３〜１７とから構成されている。各ベルトコンベヤ１２〜１７の駆動はそれぞれ独立させ、正転駆動・逆転駆動・停止の制御はマイコンボードで行うようにしている。搬送用ベルトコンベヤ１２には、いりこ群Ｓを投入するためのホッパー１８が配設され、ホッパー１８にいりこ群Ｓを投入し、無端のリブ付きベルト１２ａの走行を開始すると、いりこ群Ｓが上方へ運ばれる。
【００２７】
各分離用ベルトコンベヤ１３〜１７は、それぞれベルト１３ａ〜１７ａの走行方向に向けやや上向きに傾斜しており、被搬送物（いりこ）Ｓを順番に隣接する次のベルトコンベヤのベルト上に移乗できるように一定の間隔を保って相互に平行に配列（縦列）されている。各分離用ベルトコンベヤ１３〜１７は搬送用ベルトコンベヤ１２とともにＤＣモータ１９により減速ギヤ２０を介して無端ベルト１３ａ〜１７ａを走行させる構造であるが、ベルト走行方向の中間位置と最上位置とにそれぞれ近赤外線センサ２１・２２が取り付けられている。中間位置の第１センサ２１は無端ベルト上の下端に向けられ、無端ベルト上のいりこを感知すると、ＤＣモータ１９を駆動して無端ベルト１３ａの走行（回転）を開始させる。一方、最上位置の第２センサ２２はいりこを感知すると、無端ベルト１３ａの走行を停止させる。例えば、搬送用ベルトコンベヤ１２のベルト１２ａの最上位置から複数匹のいりこが落下して次のコンベヤベルト１３ａの下端部に乗り移ったと仮定する。乗り移った復数匹のいりこは、ベルト１３ａの走行に伴って上方へ移動する。そして、最上位置へ移動すると、第２センサ２２により感知されてベルト１３ａの走行が停止し、１匹〜２・３匹のいりこが次のコンベヤベルト１４のベルト１４ａの下端部上に落下する。以下、順にコンベヤベルト１４、１５、１６のベルトが回転し、第５のコンベヤベルト１７のベルト１７ａ上にいりこが落下すると、ベルト１７ａが所定距離だけ走行し、いりこＳがベルト１７ａの走行方向のほぼ中間位置まで移動する。
【００２８】
各無端ベルト１２ａ〜１７ａはゴムなどの弾性体からなるために、いりこが落下しても損傷せず、またベルト走行時にいりこＳが回転するのが防止される。相互に隣接するベルトコンベヤ１２〜１６は一方のベルトコンベヤ（例えば、１３）でベルトの回転が停止すると、他方のベルトコンベヤ（たとえば、１４）ではベルトの回転を開始するようにマイコンボードが制御するので、本例の５台のベルトコンベヤは１台おきにベルト１２ａ〜１６ａが回転することになる。このようにして、多数匹のいりこ群Ｓは１匹〜２・３匹程度に分離された状態で第５のベルトコンベヤ１７のベルト１７ａ上に載置されることになる。
【００２９】
第５のベルトコンベヤ１７の上方には、照明器具２およびデジタルカメラ３がレンズをベルトコンベヤ１７のベルト１７ａの走行方向のほぼ中間位置に向けて配備されている。第５のベルトコンベヤ１７では、センサ２１がいりこの存在を感知すると、ベルト１７ａの回転を開始させるが、いりこが中間位置に来ると、ベルト１７ａの回転が停止する。そこで、ベルト１７ａ上のいりこがデジタルカメラ３により撮影される。
【００３０】
撮影されたいりこの画像はパーソナルコンピュータ(以下、ＰＣともいう）へ送られ、閾値により２値化され、背景を黒色とした白い画像に変換処理される。そして、変換処理された画像データをニューラルネットワーク（以下、ＮＮという）の入力に適する数値に変換するために、２次元高速フーリエ変換（以下、２ＤＦＦＴともいう）を用いて周波数解析処理し、その２次元データを同心円状にブロック化を行う。図３（ｆ）に示す同一番号のブロックを加算平均化し、正規化を行い、入力層の各ユニット(以下、細胞またはニューロ素子ともいう）に入力するスラブ値とする。また、２ＤＦＦＴから得られる成分の有効領域が６４×６４であるため、スラブ値は６４個とする。
【００３１】
本例では、３階層構造の演算部は、入力層（６４ニューロ素子）、隠れ層（３５ニューロ素子）および出力層（５ニューロ素子）の３層からなっており、入力層では２ＤＦＦＴから得られる成分の有効領域ごとに演算処理されたスラブ値を対応するニュ−ロ素子に入力する。隠れ層は、本例では３５個のニュ−ロ素子からなり、入力層の情報を伝搬演算して出力層に伝達する役割を果たしている。この隠れ層が多くなればそれだけ、入力層のスラブ値の変動に対しても不変に各パタ−ンの各々に分離演算できる。出力層には、識別すべき「いりこ」の種類ごとに１対１にて対応するように５個のニュ−ロ素子が設けられている。そして、学習により完成したニュ−ロ素子間の重み係数による出力ニューロ素子値を出力ニューロ素子の数個分を算出する。
【００３２】
一部繰り返しになるが、ＮＮを用いたいりこの魚種を識別（判別）する方法について、以下に詳しく説明する。
【００３３】
1) 本例では、ＵＳＢ接続のデジタルカメラによる撮影済みＲＧＢカラー画像をＰＣに取り込む（図３（ａ））。
【００３４】
2) 閾値を用いて２値化を行い、モノクロ画像に変換する（図３（ｂ））。
【００３５】
（Ｒ×０．３３＋Ｇ×０．３３＋Ｂ×０．３３）／３＝Ｘ
3) ８近傍収縮処理（左右・上下・斜めの各近傍を収縮処理）を行い、重なった状態の被選別材（いりこ）を分離し、ラベリングを行う。続いて、中心位置を求めて１２８×１２８（２のｎ乗×２のｎ乗）にビルニア（bilnear）法を用いて縮小し、切り出しを行う（図３（ｃ））。
【００３６】
4) 切り出した画像を、いりこと背景とを区別できる閾値を用いて２値化し、背景を黒（０×００）で塗りつぶす（図３（ｄ））。
【００３７】
5) 下記の数式による２次元ＦＦＴを用いて、上記5)のモノクロ画像(128×
128pixel）の周波数成分を算出する（図３（ｅ））。
【００３８】
6) 図３（ｆ）に示すように配置された周波数成分を同心円状にブロック化を行い、同一番号のブロックを加算して平均化したものを正規化することにより、ＮＮへ入力する値を求める。
【００３９】
例えば、図３（ｆ）の「１」のところだけを加算して平均を取った値が、ＮＮの入力要素の１つとなる。Σx(i)/12(i=1,2,…12)
その他の入力要素も同様な算出形式で、Σx(i)/M(i=1,2,…M) ただし、Mは同心円状の同じ番号の数
つまり、０・１・２・３・４・５・………６２・６３・６４
こうして作成した入力値をＮＮへ入力し、いりこの魚種を識別する（図３（ｇ））。
【００４０】
ここで、識別手段１０の基本構成についてさらに詳しく説明する。図５は識別手段１０の基本構成を示す説明図である。図５中の各々のニューロテンプレートがいりこの魚種を個々に識別するものとなる。その識別過程はいりこの画像が前処理である２ＤＦＦＴで処理され、ＮＮへの入力値であるスラブ値が算出される。この場合は６４個の値が入力される。次に、それぞれのニューロテンプレートにこの値が入力され、ＮＮの前向き計算が実施される。個々のニューロテンプレートは個々のいりこの魚種を識別するかそれ以外という判断のみを実施する。たとえば、真鰯の画像が入力された場合、第１番目のニューロテンプレートｉが真
鰯用であるとすると、このニューロテンプレートｉの出力層のユニット（細胞）
には、真鰯を示すユニット（目的パターン）と、真鰯以外を示すユニット(目的外パターン）の２つのユニットが設定されている。
【００４１】
したがって、目的とする正しい真鰯の画像を入力されたので、このニューロテンプレートｉの出力層のユニットが下記の関係を示すことになる。
【００４２】
出力ユニットの反応値（真鰯を示すユニット）＞ 出力ユニットの反応値（真鰯以外を示すユニット）………（１）
他のニューロテンプレートii〜ｖも同様に潤目鰯、片口鰯、黍魚子（きびなご）
およびほおたれ鰯など、それぞれを唯一識別する設定となっている。ただし、それ以外のニューロテンプレートにも同じ真鰯の画像を入力し、以下の関係を満たすかを確認する。
すなわち、
出力ユニットの反応値（潤目を示すユニット）＜ 出力ユニットの反応値（それ以外を示すユニット）……（２）
出力ユニットの反応値（片口を示すユニット）＜ 出力ユニットの反応値（それ以外を示すユニット）……（３）
出力ユニットの反応値（きびなごを示すユニット）＜ 出力ユニットの反応値（それ以外を示すユニット）……（４）
出力ユニットの反応値（ほうたれを示すユニット）＜ 出力ユニットの反応値（それ以外を示すユニット）……（５）
つまり、真鰯のニューロテンプレートiで真鰯であることを確認し、かつ、潤目
鰯、片口鰯、黍魚子（きびなご）およびほおたれ鰯を唯一識別するニューロテンプレートii〜ｖで、潤目鰯でもなく、片口鰯でもなく、黍魚子（きびなご）でも
なく、ほおたれ鰯でもないことを確かめ、最終判断を下すのである。
このＮＮによるテンプレートマッチングにより精度の高い識別が実現できる。ただし、図６に示すように従来のＮＮの出力層にそれぞれのいりこの魚種に対応するユニットをそのまま設定し、一回のＮＮ計算のみでいりこの魚種を確定する方法も本選別装置１の識別手段１０に適用し、プログラムシステムとしては選別装置１の起動時に選択可能としている。
【００４３】
こうして、コンベヤベルト１７ａ上のいりこの魚種が識別されるが、いりこが１匹の場合および２匹以上でも全てのいりこの魚種が同一の場合には、コンベヤベルト１７ａが最上位置まで回転したのち、魚種に対応した選別ボックス（図示せず）に振り分け装置（図示せず）によって振り分けられる。
【００４４】
一方、いりこが２匹以上で、魚種が異なる場合には、振り分け装置（図示せず）により、再び分離装置１へ戻されて分離作業が繰り返し行われることになる。分離作業が繰り返される場合、最終的にはほとんどいりこは１匹ずつに分離されるので、魚種に対応する選別ボックスへ振り分けられる。
【００４５】
ところで、本発明の実施例に係るいりこの選別装置については、選別対象としてのいりこの全ての魚種についてあらかじめデジタルカメラで撮影され、画像データに基づいた魚種に関するデータ（魚種パターン）がＮＮを用いて学習登録されている。そして、画像データのうち、特にいりこの全体形状、色合い、側線パターンなどの魚種を識別する上で重要な特徴的模様（パターン）に関するデータが図３に示すように２次元高速フーリエ変換を用いて周波数解析処理され、入力パターン（スラブ値）としてＮＮの入力層に入力され、記憶されている。そして、分離装置１で通常、１匹ないし２・３匹のいりこに分離され、デジタルカメラ３で撮影された画像データが図３の動作フローに沿って同様に変換処理され、作成された入力パターンが入力層→隠れ層→出力層へ伝達・処理され、出力層から出力値（出力パターン）が出力される。この出力値は、それまでの学習によって得られた重み係数に基づくもので、本例の場合には、いりこの魚種が何であるかが出力される。
【００４６】
また、ＮＮにおいて、いりこの魚種パターンにつき逆に正しい出力値が与えられると、出力層→隠れ層→入力層の順で伝達・処理され、各層間の重み係数について学習がなされるが、この重み係数の学習は、実際の出力値と正しい出力値との差が減るように、入力ニューロ素子・隠れニューロ素子・出力ニューロ素子のニューロ素子間における結合の強さを変化・収束させることである。
【００４７】
詳しくは、ＮＮ学習に関し、ＮＮの構成は階層型の３層ＮＮを用いており、学習方法として改良型誤差逆伝搬法を採用している。この改良型誤差逆搬法とは、下記の数１で表される学習アルゴリズムである。
【数１】
【００４８】
ここで、Ｗは重み、ｔは学習回数、δは一般化誤差、Ｏはニューラル素子(細胞・ユニット)の出力値、ηは学習定数、αは慣性定数、βは振動定数を示す。
【００４９】
そして、対象とする被選別材としてのいりこの魚種パターンと、あらかじめ学習登録された複数種類の魚種パターンとが比較され、対象とするいりこの各魚種パターンが全体的に把握され、学習した魚種パターンと比較されることによって、より正確に魚種を識別できるようにしている。
【００５０】
上記に本発明のいりこの選別装置について一実施例を挙げて説明したが、下記のように実施することができる。すなわち、
・複数の魚種からなるいりこ群を同一魚種ごとに選別するだけでなく、雑魚が混じったいりこ群から雑魚だけを排除することにも使用できる。
【００５１】
・選別対象は魚類に限定されず、被選別材の片面あるいは前面だけを選別したり監視したりする装置にも適用できる。
【図面の簡単な説明】
【００５２】
【図１】被選別材がいりこである場合の選別方法の実施例を示すフローチャートである。
【図２】図２（ａ）は選別装置の一構成部材としてのいりこ分離装置を示す側面図、図２（ｂ）は１台のベルトコンベヤを拡大して示す側面図である。
【図３−ａ】（ａ）〜（ｃ）はいりこの選別動作フローを順に示す説明図である。
【図３−ｂ】（ｄ）〜（ｇ）はいりこの選別動作フローを順に示す説明図である。
【図４】図４（ａ）はいりこの魚種（５種類）を示す正面図、図４（ｂ）は同一種類ごとに選別した状態を示す正面図である。
【図５】選別手段(判別手段）の基本構成を示す説明図である。
【図６】従来のＮＮでの識別構成を示す説明図である。
【符号の説明】
【００５３】
１ 分離装置
２ 照明器具
３ デジタルカメラ
１０ 識別手段
１２ 搬送用傾斜ベルトコンベヤ
１３〜１７ 分離用傾斜ベルトコンベヤ
１２ａ〜１７ａ コンベヤベルト
１８ ホッパー
１９ ＤＣモータ
２０ 減速ギヤ
２１・２２ センサ
【特許請求の範囲】
【請求項１】
複数種類のいりこなどが混在した被選別材群を同一の種類ごとに選別したり選別対象以外の異種類を排除したりするための選別方法であって、
走行方向に向け上向きに傾斜させ、順番に搬送可能に縦列させた複数台のベルトコンベヤのうち第１のベルトコンベヤのベルト上に複数種類の被選別材群を載置してベルトの走行を開始し、少なくとも１つの被選別材が最上位置に達し第２のベルトコンベヤのベルト上に落下すると、前記第１のベルトの走行を中止し、第２のベルトコンベヤのベルトの走行を開始させ、同ベルト上に落下した少なくとも１つの被選別材が最上位置へ達し第３のベルトコンベヤのベルト上に落下すると、同ベルトの走行を中止し、第１のベルトコンベヤのベルトおよび第３のベルトコンベヤのベルトの走行を開始するという操作を、少なくとも第３のベルトコンベヤ、望ましくは第５以降のベルトコンベヤまで繰り返し行って被選別材群を１つもしくは２つ以上の被選別材に分離する工程と、
１つもしくは２つ以上に分離された被選別材が同一種類であると後述の識別工程で判別されたときには、その種類に対応する選別ボックスに振り分ける一方、２つ以上に分離された被選別材が異なる種類であると後述の識別工程で判別されたときには、前記分離工程へ環流する工程と、
前記分離工程で分離された被選別材が１つの場合には、同被選別材をカメラで撮影した画像をあらかじめ設定した閾値にて２値化し、２次元高速フーリエ変換を用いて周波数解析処理し、被選別材が被選別材の種類ごとのテンプレートを非線形識別が可能な複層構造の階層型ニューラルネットワークで構成し、非線形テンプレートを用いたマッチング処理を行うことにより前記２値化画像から被選別材の種類を識別する工程あるいは、
前記分離工程で分離された被選別材が２つ以上の場合には、同被選別材をカメラで撮影した画像をあらかじめ設定した閾値にて２値化し、この２値化画像において８−近傍収縮処理を行ったのち、ラベリング処理を用いて被選別材部分にラベル番号を付与するとともに、ラベル領域内の中心位置を求め、この中心位置情報を用いて画像中の１つの被選別材を抽出する工程、２次元高速フーリエ変換を用いて周波数解析処理する工程および被選別材が被選別材の種類ごとのテンプレートを非線形識別が可能な複層構造の階層型ニューラルネットワークで構成し、非線形テンプレートを用いたマッチング処理を行うことにより前記２値化画像から被選別材の種類を識別する工程とからなること
を特徴とするいりこ等の選別方法。
【請求項２】
複数種類のいりこなどが混在した被選別材群を同一の種類ごとに選別したり選別対象以外の異種類を排除したりするための選別装置であって、
走行方向に沿って上向きに傾斜させ、ベルト上に載置される被選別材の有無を検知しベルトの走行を開始させる第１センサと、ベルト上の被選別材が最上位置に達したことを検知しベルトの走行を停止させるか・停止させたのち逆転させる第２センサとをそれぞれ備えた複数台のベルトコンベヤを、隣接するコンベヤベルト間で被選別材が乗り移り可能に隣接させて配列してなる複数種類の被選別材群を１もしくは２以上の被選別材に分離する装置と、
１つもしくは２つ以上に分離された被選別材が同一種類であると後述の識別手段で判別されたときには、その種類に対応する選別ボックスに振り分ける一方、２つ以上に分離された被選別材が異なる種類であると後述の識別手段で判別されたときには、上記分離装置の入り口に被選別材群を環流する振り分け手段と、
前記分離する手段で分離された被選別材が１つの場合には、同被選別材をカメラで撮影した画像をあらかじめ設定した閾値にて２値化し、２次元高速フーリエ変換を用いて周波数解析処理し、被選別材が被選別材の種類ごとのテンプレートを非線形識別が可能な複層構造の階層型ニューラルネットワークで構成し、非線形テンプレートを用いたマッチング処理を行うことにより前記２値化画像から被選別材の種類を識別する手段および、
前記分離工程で分離された被選別材が２つ以上の場合には、同被選別材をカメラで撮影した画像をあらかじめ設定した閾値にて２値化し、この２値化画像において８−近傍収縮処理を行ったのち、ラベリング処理を用いて被選別材部分にラベル番号を付与するとともに、ラベル領域内の中心位置を求め、この中心位置情報を用いて画像中の１つの被選別材を抽出する手段、２次元高速フーリエ変換を用いて周波数解析処理する手段および被選別材が被選別材の種類ごとのテンプレートを非線形識別が可能な複層構造の階層型ニューラルネットワークで構成し、非線形テンプレートを用いたマッチング処理を行うことにより前記２値化画像から被選別材の種類を識別する手段とを備えること
を特徴とするいりこ等の選別装置。
【請求項３】
被選別材が順次乗り移り可能に隣接配置された複数台の上向きに傾斜したベルトコンベヤと、各ベルトコンベヤのベルト下部上において被選別材の有無を感知するとともに被選別材を感知するとベルトの回転の開始を指令する第１センサと、各ベルトコンベヤのベルト上の被選別材が最上位置へ達したことを感知するとベルトの回転の停止を指令する第２センサとを備え、入り乱れたりバラ積みで絡み合ったりした状態の複数種類の被選別材群を１または２以上の被選別材に分離する分離装置と、
前記分離装置で分離された被選別材を撮影するカメラと、
前記カメラにより撮影した画像フレーム内に被選別材が１の場合および被選別材が２以上であって下記の判別手段により全ての被選別材が同一種類であると判別された場合に、被選別材を対応する種類の選別ボックスに振り分ける手段と、
前記カメラにより撮影した画像フレーム内に被選別材が２以上であって下記の判別手段により被選別材が異なる種類であると判別された場合に、前記分離装置へ戻す環流手段と、
前記画像フレーム内の画像をカラー画像としてパーソナルコンピュータに取り込み、閾値を用いて２値化を行い、モノクロ画像に変換したのち、８−近傍収縮処理を施し、ラベリングを行い、続いて、中心位置を求めてビルネア（bilnear）法を用いて縮小し、切り出しを行い、切り出した画像を、被選別材と背景とを区別できる閾値を用いて２値化し、背景を黒で塗りつぶし、２次元高速フーリエ変換を用いて前記モノクロ画像の周波数成分を算出し、周波数成分を同心円状にブロック化を行い、同一番号のブロックを加算して平均化したものを正規化することにより、ニューラルネットワークへ入力する値を算出し、この入力値をニューラルネットワークへ入力し、被選別材の種類を識別する識別手段とを備えること
を特徴とするいりこ等の選別装置。
【請求項１】
複数種類のいりこなどが混在した被選別材群を同一の種類ごとに選別したり選別対象以外の異種類を排除したりするための選別方法であって、
走行方向に向け上向きに傾斜させ、順番に搬送可能に縦列させた複数台のベルトコンベヤのうち第１のベルトコンベヤのベルト上に複数種類の被選別材群を載置してベルトの走行を開始し、少なくとも１つの被選別材が最上位置に達し第２のベルトコンベヤのベルト上に落下すると、前記第１のベルトの走行を中止し、第２のベルトコンベヤのベルトの走行を開始させ、同ベルト上に落下した少なくとも１つの被選別材が最上位置へ達し第３のベルトコンベヤのベルト上に落下すると、同ベルトの走行を中止し、第１のベルトコンベヤのベルトおよび第３のベルトコンベヤのベルトの走行を開始するという操作を、少なくとも第３のベルトコンベヤ、望ましくは第５以降のベルトコンベヤまで繰り返し行って被選別材群を１つもしくは２つ以上の被選別材に分離する工程と、
１つもしくは２つ以上に分離された被選別材が同一種類であると後述の識別工程で判別されたときには、その種類に対応する選別ボックスに振り分ける一方、２つ以上に分離された被選別材が異なる種類であると後述の識別工程で判別されたときには、前記分離工程へ環流する工程と、
前記分離工程で分離された被選別材が１つの場合には、同被選別材をカメラで撮影した画像をあらかじめ設定した閾値にて２値化し、２次元高速フーリエ変換を用いて周波数解析処理し、被選別材が被選別材の種類ごとのテンプレートを非線形識別が可能な複層構造の階層型ニューラルネットワークで構成し、非線形テンプレートを用いたマッチング処理を行うことにより前記２値化画像から被選別材の種類を識別する工程あるいは、
前記分離工程で分離された被選別材が２つ以上の場合には、同被選別材をカメラで撮影した画像をあらかじめ設定した閾値にて２値化し、この２値化画像において８−近傍収縮処理を行ったのち、ラベリング処理を用いて被選別材部分にラベル番号を付与するとともに、ラベル領域内の中心位置を求め、この中心位置情報を用いて画像中の１つの被選別材を抽出する工程、２次元高速フーリエ変換を用いて周波数解析処理する工程および被選別材が被選別材の種類ごとのテンプレートを非線形識別が可能な複層構造の階層型ニューラルネットワークで構成し、非線形テンプレートを用いたマッチング処理を行うことにより前記２値化画像から被選別材の種類を識別する工程とからなること
を特徴とするいりこ等の選別方法。
【請求項２】
複数種類のいりこなどが混在した被選別材群を同一の種類ごとに選別したり選別対象以外の異種類を排除したりするための選別装置であって、
走行方向に沿って上向きに傾斜させ、ベルト上に載置される被選別材の有無を検知しベルトの走行を開始させる第１センサと、ベルト上の被選別材が最上位置に達したことを検知しベルトの走行を停止させるか・停止させたのち逆転させる第２センサとをそれぞれ備えた複数台のベルトコンベヤを、隣接するコンベヤベルト間で被選別材が乗り移り可能に隣接させて配列してなる複数種類の被選別材群を１もしくは２以上の被選別材に分離する装置と、
１つもしくは２つ以上に分離された被選別材が同一種類であると後述の識別手段で判別されたときには、その種類に対応する選別ボックスに振り分ける一方、２つ以上に分離された被選別材が異なる種類であると後述の識別手段で判別されたときには、上記分離装置の入り口に被選別材群を環流する振り分け手段と、
前記分離する手段で分離された被選別材が１つの場合には、同被選別材をカメラで撮影した画像をあらかじめ設定した閾値にて２値化し、２次元高速フーリエ変換を用いて周波数解析処理し、被選別材が被選別材の種類ごとのテンプレートを非線形識別が可能な複層構造の階層型ニューラルネットワークで構成し、非線形テンプレートを用いたマッチング処理を行うことにより前記２値化画像から被選別材の種類を識別する手段および、
前記分離工程で分離された被選別材が２つ以上の場合には、同被選別材をカメラで撮影した画像をあらかじめ設定した閾値にて２値化し、この２値化画像において８−近傍収縮処理を行ったのち、ラベリング処理を用いて被選別材部分にラベル番号を付与するとともに、ラベル領域内の中心位置を求め、この中心位置情報を用いて画像中の１つの被選別材を抽出する手段、２次元高速フーリエ変換を用いて周波数解析処理する手段および被選別材が被選別材の種類ごとのテンプレートを非線形識別が可能な複層構造の階層型ニューラルネットワークで構成し、非線形テンプレートを用いたマッチング処理を行うことにより前記２値化画像から被選別材の種類を識別する手段とを備えること
を特徴とするいりこ等の選別装置。
【請求項３】
被選別材が順次乗り移り可能に隣接配置された複数台の上向きに傾斜したベルトコンベヤと、各ベルトコンベヤのベルト下部上において被選別材の有無を感知するとともに被選別材を感知するとベルトの回転の開始を指令する第１センサと、各ベルトコンベヤのベルト上の被選別材が最上位置へ達したことを感知するとベルトの回転の停止を指令する第２センサとを備え、入り乱れたりバラ積みで絡み合ったりした状態の複数種類の被選別材群を１または２以上の被選別材に分離する分離装置と、
前記分離装置で分離された被選別材を撮影するカメラと、
前記カメラにより撮影した画像フレーム内に被選別材が１の場合および被選別材が２以上であって下記の判別手段により全ての被選別材が同一種類であると判別された場合に、被選別材を対応する種類の選別ボックスに振り分ける手段と、
前記カメラにより撮影した画像フレーム内に被選別材が２以上であって下記の判別手段により被選別材が異なる種類であると判別された場合に、前記分離装置へ戻す環流手段と、
前記画像フレーム内の画像をカラー画像としてパーソナルコンピュータに取り込み、閾値を用いて２値化を行い、モノクロ画像に変換したのち、８−近傍収縮処理を施し、ラベリングを行い、続いて、中心位置を求めてビルネア（bilnear）法を用いて縮小し、切り出しを行い、切り出した画像を、被選別材と背景とを区別できる閾値を用いて２値化し、背景を黒で塗りつぶし、２次元高速フーリエ変換を用いて前記モノクロ画像の周波数成分を算出し、周波数成分を同心円状にブロック化を行い、同一番号のブロックを加算して平均化したものを正規化することにより、ニューラルネットワークへ入力する値を算出し、この入力値をニューラルネットワークへ入力し、被選別材の種類を識別する識別手段とを備えること
を特徴とするいりこ等の選別装置。
【図１】
【図２】
【図３−ａ】
【図３−ｂ】
【図５】
【図６】
【図４】
【図２】
【図３−ａ】
【図３−ｂ】
【図５】
【図６】
【図４】
【公開番号】特開２００７−１３６４３０（Ｐ２００７−１３６４３０Ａ）
【公開日】平成１９年６月７日（２００７．６．７）
【国際特許分類】
【出願番号】特願２００５−３３７５２８（Ｐ２００５−３３７５２８）
【出願日】平成１７年１１月２２日（２００５．１１．２２）
【出願人】（５９７１５４９６６）学校法人高知工科大学 (141)
【Ｆターム（参考）】
【公開日】平成１９年６月７日（２００７．６．７）
【国際特許分類】
【出願日】平成１７年１１月２２日（２００５．１１．２２）
【出願人】（５９７１５４９６６）学校法人高知工科大学 (141)
【Ｆターム（参考）】
[ Back to top ]