回転楕円体及び球面体の全面画像検査装置
【課題】
画像処理による等階級の選別は、選別対象の外観を選別規準としているので選別対象の全面を検査する必要があるところ、選別対象は搬送部の一部をなすコンベアの上に乗せられた状態であるので、搬送部と選別対象の接触部の撮像が行えないことが問題となっていた。また、選別対象が山積み状態となっておれば、適切に画像処理を行うことができないので分離されていなければならない。従来は人手で行っていた選別作業を自動化して、省力化の要請があった。
【解決手段】
独立駆動される複数台のＶ型ベルトコンベアと保持機構を組み合わせることにより、多様な形状寸法を有する選別対象において、複数種類の選別対象に対応することができ、山積み状態の選別対象の分離を促して、撮像部までに選別対象を１個に分離して、識別部でのニューロネットワーク等を利用した全面画像処理により、選別作業の自動化を図った。
画像処理による等階級の選別は、選別対象の外観を選別規準としているので選別対象の全面を検査する必要があるところ、選別対象は搬送部の一部をなすコンベアの上に乗せられた状態であるので、搬送部と選別対象の接触部の撮像が行えないことが問題となっていた。また、選別対象が山積み状態となっておれば、適切に画像処理を行うことができないので分離されていなければならない。従来は人手で行っていた選別作業を自動化して、省力化の要請があった。
【解決手段】
独立駆動される複数台のＶ型ベルトコンベアと保持機構を組み合わせることにより、多様な形状寸法を有する選別対象において、複数種類の選別対象に対応することができ、山積み状態の選別対象の分離を促して、撮像部までに選別対象を１個に分離して、識別部でのニューロネットワーク等を利用した全面画像処理により、選別作業の自動化を図った。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンベア等の搬送手段により運ばれる検査対象物を複数のカメラで撮像して、その撮像画像に基づき検査対象物の外観検査を行なう装置に関する。
【背景技術】
【０００２】
現在、青果物市場では、商品価値を向上させる目的により、青果物の等階級の均一化が重要視されている。そのため、各農家および地域では、青果物商品のブランド化を目的として、等階級を均一化する努力が行われている。一方、青果物の選別に用いられている選別機は重量を選別規準としたものがほとんどであり、形状やキズ等の選別作業は、長時間に渡り複数人で目視により、等階級規格表と比較、照合し選別を行っている。
【０００３】
等階級規格表では、重量の選別基準はグラム数により明確に定義されている。しかし、形状やキズ等に対する選別基準は、それぞれの不良を示した写真との比較であるため、明確な選別基準が示されていない。そのため、選別基準の個人差により選別基準の均一化が困難となっており、商品価値の低下が問題となっている。さらに、手作業での選別作業は、青果物の全面を確認しなければならないことから、長時間の作業が必要であるため、作業員への負担となっている。
【０００４】
一部に搬送手段にベルトコンベア、識別手段に画像処理を用いて、農産物の等階級の選別作業を自動化する装置の開発が行われている（例えば、特許文献１）。
【０００５】
具体的例として、青果物のおもて面を撮像後にローラーで挟み込み、青果物の反転を行い、接触部を撮像する手法（例えば、特許文献２）や、コンベアとコンベアの間を青果物が移動する際に、接触部を撮像する手法（例えば、特許文献３）や、吸着パッドを用いて選別対象を持ち上げ、搬送部と青果物の接触部を撮像する手法（例えば、特許文献４）などの開発が試みられている。
【０００６】
上記の従来技術においては、選別対象として青果物が取上り上げられているが、選別対象として青果物以外に、例えば、水産加工物や工業製品等もあるし、真珠のような宝飾品等もあり、画像処理による選別の自動化が行われている（例えば、特許文献５，非特許文献１）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平１１−１３２７３９号公報
【特許文献２】特開２０００−０８４４９５号公報
【特許文献３】特開２０００−２３７６９６号公報
【特許文献４】特開２００１−００４３４２号公報
【特許文献５】特開平５−３５８４８号公報
【非特許文献】
【０００８】
【非特許文献１】“ニューラルネットワークを用いたいりこ選別システムの選別部の開発”、システム制御情報学会第49回研究発表公演論文集、pp515-516、2005
【発明の概要】
【発明が解決しようとする課題】
【０００９】
上記の特許文献および非特許文献に示す手法は、選別対象（例えば青果物）の寸法および形状により、使用できる手法が限られるため、複数の種類の選別対象に対応できないという問題がある。
【００１０】
更には、画像処理による等階級の選別は、選別対象の大きさやキズ、形状等の外観を選別規準としており、キズや色ムラに関しては、表面の一部に現れることが多いため、選別対象の全面を検査する必要があるところ、選別対象は搬送手段の一部をなすコンベアの上に乗せられた状態であるので、コンベアと選別対象の接触部（選別対象の底部）の撮像が行えないことが問題となっていた。
【００１１】
この問題を解決する手段として、吸着パッドを用いて選別対象を持ち上げ、コンベアと選別対象の接触部を撮像する手法（特許文献４）が提案されているが、この手法は、上方および水平方向の撮像を行った後に、コンベアとの接触部の撮像を行うため、選別対象全面の撮像および識別を行うのに時間がかかるという問題がある。
【００１２】
また、選別作業の効率化を図るために、大量の選別対象が搬送手段に投入され、識別手段まで搬送されるが、大量の選別対象が山積み状態となっておれば、適切に識別及び選別処理を行うことができない。適切な画像処理を行うためには、選別対象の一つ一つが分離されていなければならない。
【００１３】
さらに現在、選別作業が人手により行われているので、作業員の個人差により選別基準の均一化が困難である。また、作業員に長時間の作業を強いることになるので、選別作業の自動化が求められている。
【００１４】
本発明は、上記課題を解決するために、搬送手段に山積みに投入された選別対象を分離して、搬送手段との接触部を含めて一つ一つの選別対象の全面撮像を行うことにより、従来人手で行っていた選別作業の自動化を行うことにより、省力化を図ると共に、選別基準の均一化を図ろうとするものである。
【課題を解決するための手段】
【００１５】
上記課題を解決するために本発明に係る回転楕円体及び球面体の全面画像検査装置は、回転楕円体又は球面体選別対象を搬送する搬送部と、前記搬送部に続き、前記選別対象を保持する保持機構と、前記選別対象を撮像する複数のカメラを有する撮像部と、前記撮像部で撮像された前記選別対象の複数の画像を識別判定する識別部とを備えた回転楕円体及び球面体の全面画像検査装置であって、
前記搬送部は、２台の平ベルトコンベアをベルト走行方向断面がＶ字となるように傾け組み合わせたＶ型コンベアを複数有していて、複数の前記Ｖ型コンベアは、それぞれ独立した駆動機構を有し、搬送方向上流から下流にかけて、それぞれ段を順に下げて配置され、かつ、それぞれの前記Ｖ型コンベアは前記選別対象を上方に搬送するように傾斜をもって設置されており、前記保持機構は、前記選別対象を搬送保持するための複数の紐様保持部を有しており、前記Ｖ型コンベアとは独立して駆動され、前記紐様保持部の始端部が前記搬送部の最下段のＶ型コンベアの終端部に配置されている。（請求項１）
【００１６】
この構成によれば、搬送部にＶ型コンベヤを用いているため、選択対象を搬送させる過程においてＶ字頂点付近で選択対象を１つ１つに分離しやく、また、Ｖ型コンベヤが選別対象が順次乗り移り可能に隣接配置されているため、前段から次段のＶ型コンベヤに乗り移る際にも選別対象が分離されていく。また、搬送部を構成するＶ型コンベアの台数は、選択対象が１つ１つ分離して保持機構へ搬送されるよう、３台以上とすることが好ましい。なお、Ｖ型コンベアの最適な台数は選別対象の諸元（形状寸法等）や検査装置としての仕様等から定まるものであり、ケースバイケースにより異なる。一般に、Ｖ型コンベアの台数が増えれば選別対象の分離が進むがその分費用が増大する。また、各Ｖ型コンベアの長さ及び幅は選別対象の諸元（形状寸法等）や全面画像検査装置の仕様等により最適な値が定まる。
【００１７】
各Ｖ型コンベアはそれぞれ段を順に下げてずらし、具体的には次段のＶ型コンベヤの始端部が、前段のＶ型コンベヤの終端部から段を下げて配置されているので、選別対象は各Ｖ型コンベアを順に降りつつ乗り移りながら上流から下流に向けて順次搬送される。Ｖ型コンベアの乗り移りの際に選別対象の分離が進む。なお、上流とはベルト走行方向における搬送部の始端方（選別対象投入部側）をいい、下流とは搬送部の終端方（保持機構側）をいう。
【００１８】
各Ｖ型コンベアは独立した駆動機構を有しているのでその搬送速度はＶ型コンベア毎に調整が可能である。速度に差を持たせれば、選別対象の分離に有利に作用することがある。
【００１９】
複数のＶ型コンベアは水平面に対して傾斜をもって設置されているので、選別対象を上流から下流に向けて、上方に搬送する。
【００２０】
保持機構はＶ型コンベアとは独立して駆動されるのでその搬送速度はＶ型コンベアとは異なる速度に設定することができる。
【００２１】
紐様保持部には紐や糸、縄などを用いることができ、選別対象に応じてその径を変えることができる。選別対象が重ければ太い方が好ましいが、一般的に細い方が撮像に都合がよい。また、後述するが紐様保持に光透過性のもの（例えば、透明な糸等）を使用すれば、選別対象の撮像の妨げにならず都合がよい。紐様保持部は選別対象をその上部に保持する都合から少なくとも２本から成っている。２本の紐様保持部のほぼ中間に、２本の紐様保持部よりも低い位置に第３の紐様保持部を設けてもよい。このようにすれば、選別対象は３点支持となり姿勢が安定するし、選別対象が２本の紐様保持部間の距離より小さい場合でも、選別対象を保持することが可能となる。２本ないしは３本の紐様保持部により選別対象を保持するので、紐様保持部が撮像の邪魔になり難く、選別対象の下方からも容易に撮像することが可能となる。
【００２２】
識別部における識別判定は、選別対象をあらかじめ定めたカテゴリーに識別して、識別結果に基づいて合否等の判定を行う。
【００２３】
ここに選別対象としては、主にその形状が回転楕円体または球面体が好ましく、例えば青果物や農産物、水産物等の天然由来の物品であってもよく、また、工業製品や真珠等の宝飾品であってもよい。回転楕円体または球面体は重力の影響を受けて転がりやすいため、本発明の上方に傾斜したＶ型コンベヤの場合、選別対象の分離を促進できる。
【００２４】
本発明に係る回転楕円体及び球面体の全面画像検査装置において、前記紐様保持部が光透過性を有していることが好ましい。（請求項２）
【００２５】
この構成によれば、紐様保持部を光透過性のものとすれば、紐様保持部が撮像の邪魔になりづらく、選別対象の下方からも容易に撮像することができる。また、より好ましくは、紐様保持部に比較的細い透明の糸やテグスを用いることで、さらに撮像の邪魔にならず判定精度が増す。
【００２６】
本発明に係る回転楕円体及び球面体の全面画像検査装置において、前記カメラの台数が６台であり、前記複数の画像が前記選別対象の異なる６方向から撮像されてなる。（請求項３）
【００２７】
この構成によれば、選別対象を異なる６方向から撮像した映像が識別処理すべき画像として得られる。６台のカメラを直交座標系を構成するように設置すれば、選別対象物の６面図が得られる。
【００２８】
撮像に際して好ましくは、撮像環境が間接照明により照明されている。直接照明は選別対象においてハレーション等の望まない鏡面反射があり、傷等の判定において判定誤差を生じることがある。
【００２９】
本発明に係る回転楕円体及び球面体の全面画像検査装置において、前記選別対象が前記保持機構の所定の位置に到達したことを検出する撮像位置検出手段と、前記撮像位置検出手段からの指令を受けて前記選別対象を前記カメラにより同時に撮像する同期撮像機構を有する。（請求項４）
【００３０】
この構成によれば、予め定められた、撮像するのに適した位置に選別対象が到達すれば、それを検出して選別対象を停止させて複数のカメラで同期撮像する。選別対象が移動中に同期撮像してもよいが移動中に撮像すれば撮像処理速度が増し、全面画像検査装置の稼働率が向上するが映像が若干不鮮明となる。ここに同期撮像とは同じタイミングで選別対象をカメラで撮影することである。
【００３１】
撮像位置検出手段として、保持機構にある選別対象をモニタして、選別対象がない場合の画像と比較して、選別対象が撮像位置に到着したと判定する。画像に比較によらず、タイマ等を用いて時間的に検出してもよい。また、選別対象の色相用の色フィルタを用いて撮像した画像により判定してもよい。
【００３２】
本発明に係る回転楕円体及び球面体の全面画像検査装置において、少なくとも最上段を除く前記各Ｖ型コンベヤの始端部、及び最下段のＶ型コンベヤの終端部に、光学センサを取り付け、前記光学センサにより前記選別対象が前段から次段のＶ型コンベヤへ搬送され、又は最下段のＶ型コンベヤから前記保持機構へ搬送されたことを検知した場合に、前段又は最下段のＶ型コンベヤの搬送を一定時間停止する手段、もしくは、前記光学センサにより前記選別対象が前段から次段のＶ型コンベヤへ搬送され、又は最下段のＶ型コンベヤから前記保持機構へ搬送されたことを検知した場合に、前段又は最下段のＶ型コンベヤの搬送を一定時間逆送させる手段、を備えてもよい。（請求項５）
【００３３】
この構成によれば、選別対象が前段のＶ型コンベヤから次段のＶ型コンベヤに乗り移ったか否かを光学センサにより検知することができる。また、光学センサは、各Ｖ型コンベヤの始端部付近や最下段のＶ型コンベヤの終端部付近のベルト幅方向両側に配置する。なお、光学センサはこれらに直接取り付けてもよいし、別途配置していてもよい。
【００３４】
そして、次段のＶ型コンベヤに選択対象が乗り移ったことを光学センサにより検知した場合に、前段のＶ型コンベヤを停止または逆送させることで、選択対象の分離をより効率よく達成できる。また、選択対象が前記した回転楕円体または球面体である場合には、前段のＶ型コンベヤを停止すれば重力によって後方に転がり選択対象の分離が効率よくできるし、選択対象が転がりづらい角形であるような場合には、前段のＶ型コンベヤを逆走させることで、選択対象の分離を促進できる。
【００３５】
本発明に係る回転楕円体及び球面体の全面画像検査装置において、前記Ｖ型コンベアを構成する２台の前記平ベルトコンベアの送り速度が、それぞれ異なる速度であることが好ましい。（請求項６）
【００３６】
この構成によれば、Ｖ型コンベアは２台の平ベルトコンベアをＶ字型に組み合わせたものであり、１対（説明の都合上、以下左右と称す）の平ベルトコンベアで１台のＶ型コンベアを構成する。平ベルトコンベアの送り速度は左右それぞれに独立して調整するようにしてもよいし、リンク機構やカム機構を利用して送り速度に差を持たせてもよい。ここに左右の平ベルトコンベアの送り方向は同じであってその速度が異なる場合もあるし、一方が動いており他方が停止している場合や、いずれか一方が逆方向に動いていてもよい。平ベルトコンベアの送り速度を左右で差をもたせることにより選別対象が山積みのまま搬送されるのを防止して、選別対象を分離するのに効果がある。
【００３７】
本発明に係る回転楕円体及び球面体の全面画像検査装置において、前記搬送部の上流側に前記選別対象を投入する投入部が設けられていて、前記投入部に微振動を与えるディザーを備えている。（請求項７）
【００３８】
この構成によれば、微振動を発生するディザーが投入部本体に設けられていてもよく、また、投入部の出口部分にシュートを兼ねたディザーを設けてもよい。ディザーは選別対象を搬送部に送り出すのに好都合に作用するとともに選別対象の山済み防止に役立つ。シュートを兼ねたディザーは山済み防止板として作用する。
【００３９】
本発明に係る回転楕円体及び球面体の全面画像検査装置において、前記Ｖ型コンベアにおいて上流段のＶ型コンベアの幅が下流段のＶ型コンベアの幅より狭くない。（請求項８）
【００４０】
この構成によれば、投入部に最も近いＶ型コンベアを便宜上第１段とし、下流に向けて順次第２段、第３段とすれば、好ましくは第１段のＶ型コンベアの幅は第２段よりも狭く、第２段のＶ型コンベアの幅は第３段と同じか狭い。Ｖ型コンベアが４台以上になった場合も同様に、前段のコンベアの幅は次段のコンベアの幅よりも広いか同じである。Ｖ型コンベアの幅は前述したように、選別対象の特性と全面画像検査装置の仕様等から定まる。
【００４１】
本発明に係る回転楕円体及び球面体の全面画像検査装置において、前記画像を二値化する手段と、当該二値化手段により得られる二値化画像の輪郭内の画素数から前記選別対象の大きさを判定する大きさ判定手段を有し、さらに、前記二値化画像から前記選別対象の輪郭に外接する外接長方形を求める手段と、当該外接長方形の縦横比から前記選別対象の形状を判定する形状判定手段とを有する。（請求項９）
【００４２】
この構成によれば、輪郭とは二値化画像で得られる閉じた領域であり、その輪郭の内部に包含される画素数を選別対象の大きさとする。また、上記輪郭に外接する長方形を近似して得られる長方形の縦横比を選別対象の形状とする。
【００４３】
本発明に係る回転楕円体及び球面体の全面画像検査装置において、前記画像の画素からブロブを算出する手段と、当該ブロブ内の画素数を傷等の大きさとして前記選別対象の表面状態を判定する傷等判定手段を備えている。（請求項１０）
【００４４】
この構成によれば、ブロブはある値の範囲をもった画素の集まりであり、孤立点解析により塊となった二次元形状の検出を行なう。ブロブの判定は例えばグレースケール値の範囲を指定して行なうことができ、その範囲は適宜変更が可能となっている。傷等判定機構では、選別対象表面に存在する傷や汚れを識別判定することが可能となる。
【００４５】
本発明に係る回転楕円体及び球面体の全面画像検査装置において、前記選別対象の画像を入力とするニューラルネットワークにおいて、選別規格により定められた画像を教師情報として使用して、学習によりニューラルネットワーク内の結合係数を求め、前記結合係数を用いて前記選別対象の日焼けもしくは色ムラの度合いを算出する学習識別手段を有する。（請求項１１）
【００４６】
この構成によれば、選別対象についてその“日焼け”もしくは“色ムラ”についての選別規格が別途定められており、この選別規格の代表点を教師情報として用いて、ニューラルネットワークの結合係数を逐次補正により求める。本発明の全面画像検査装置は、いわゆる教師付き学習によるニューラルネットワークを用いた識別機構を有している。したがって、ニューラルネット枠の出力は日焼けもしくは色ムラについてそれぞれニューラルネットワークを有していて、日焼けと色ムラについてそれぞれ識別結果を出力する。これらの識別結果に対して閾値を設けてその大小により合否判定を行なってもよい。
【００４７】
本発明に係る回転楕円体及び球面体の全面画像検査装置において、前記投入部と、前記搬送部と、前記保持機構と、前記撮像部および前記識別部並びに前記識別部における判定結果に基づき前記選別対象を選別する選別部と、を有する基本ユニットを１または複数備える。（請求項１２）
【００４８】
基本ユニットの数は、選別処理能力により定まる。
【００４９】
本発明に係る回転楕円体及び球面体の全面画像検査装置において、前記搬送部もしくは前記保持機構から外れた前記選別対象および前記保持機構において分離していない前記選別対象を回収する回収手段と、前記回収手段により集められた選別対象を前記投入部に投入する環流ラインを有する。（請求項１３）
【００５０】
この構成によれば、１つ１つに分離していない選別対象や搬送部や保持機構から外れた選別対象は人手を介さず回収手段により回収を行い、回収された選別対象を投入部に還流ラインを用いて還流させるので人手の軽減を図ることができる。回収手段としてはホッパーとシュートを組み合わせたものが考えられる。また、還流ラインはベルトコンベアで構成してもよい。回収手段で回収された選別対象は還流ラインを経由して自動的に投入部に運ばれるようにしてもよい。
【００５１】
本発明に係る回転楕円体及び球面体の全面画像検査装置において、前記撮像部が複数の指向性を実現する光学フィルタと複数の光源の組み合わせを備える。（請求項１４）
【００５２】
この構成によれば、指向性を実現する光学フィルタは、フィルタを通過する光の方向が限定され、カメラに入る乱反射光の影響を低減するのに役立つ。また、光源としては好ましくはＬＥＤランプであってもよい。他の形式の光源であってもよい。これら、複数の光源と光学フィルタの適当な組み合わせと配置により、全体的に均一な間接照明を得ることができる。間接照明はコンピュータ処理に適した画像を得るために重要な役割を果たす。
【００５３】
本発明に係る回転楕円体及び球面体の全面画像検査装置において、前記選別対象が、ピーマンやレモンなどの青果物であってもよい。（請求項１５）
【発明の効果】
【００５４】
本発明は、以上に説明した構成を有し、Ｖ型ベルトコンベアと保持機構を組み合わせることにより、多様な形状寸法を有する選別対象において、複数種類の選別対象に対応することができる。３台以上の独立駆動されるＶ型ベルトコンベアと独自の保持機構の採用により、山積み状態の選別対象の分離を促して、撮像部までに選別対象を１個に分離して、搬送部との接触部を含めて一つ一つの選別対象の全面撮像を行うことにより、従来人手で行っていた選別作業の省力化を図り、選別作業の均一化を図ることができる。
【図面の簡単な説明】
【００５５】
【図１】回転楕円体及び球表面の全面画像検査装置の基本的構成を示す系統図である。
【図２】Ｖ型ベルトコンベアからなる搬送部の外観を示す平面図である。
【図３】Ｖ型ベルトコンベアの開き角度を示す図である。
【図４】Ｖ型ベルトコンベアで構成される搬送部の概要を示す斜視図である。
【図５】搬送部の設置状態を示す、平面図および立面図である。
【図６】保持機構を含む搬送部全体を示す組み立て図である。
【図７】保持機構を含む搬送部の全体構成を示す系統図である。
【図８】保持機構の平面図である。
【図９】補間テグスを備えた保持機構の説明図である。
【図１０】撮像部におけるＷｅｂカメラ位置を示す図面である。
【図１１】識別部の構成および接続を示す図面である。
【図１２】システム全体の動作フローを示すフローチャートである。
【図１３】独立駆動系である搬送部の動作手順を示すフローチャートである。
【図１４】識別部のサーバ用ＰＣの動作手順を示すフローチャートである。
【図１５】画像処理手順を示す図面である。
【図１６】ニューラルネットワークによる識別システムの構成を示す図である。
【発明を実施するための形態】
【００５６】
以下、本発明に係る実施形態を図面に従って説明する。
【００５７】
本発明の説明の都合上、選別対象として青果物である赤ピーマンを取り上げたが、選別対象は青果物に限らず、一般に、回転楕円体または球面体であればよく、工業製品や真珠などの宝飾品であってもよく、本発明は以下に述べる実施形態に限定されるものではない。
【００５８】
（全面画像検査装置の構成について）
説明に際して、先ず、機器構成を中心にして説明を行い、機器構成の説明後に各構成機器の動作説明を行ない、最後に本発明の産業上の利用可能性について触れる。
【００５９】
図1に本発明に係る回転楕円体および球面体の全面画像検査装置（以下、全面画像検査装置と称す）の基本的構成を示す。全面画像検査装置８は、搬送部２、撮像部４、および識別部５をその構成要素として備えている。搬送部２の前段には選別対象９を投入するための投入部１が設けられている。撮像装置４と識別部５とは撮像信号線１０で結ばれており、撮像部４で撮像した選別対象９の画像を識別部５に送信する。
【００６０】
また、選別部６は撮像部４の後段に位置していて、識別部５とは選別信号線１１で結ばれており、識別部５での判定結果を選別部６に送信する。
【００６１】
搬送部２は、独立駆動系とすることにより、選別対象９を撮像部４までに1個に分離して搬送する。搬送部２は光学センサを用いた自動運転が行われている。撮像部４では、選別対象９の全面検査を行うため、６台のWebカメラを用いて６面同時撮像を行う。光源には、選別対象９の鏡面反射を抑制するため、拡散フィルタを取り付けた拡散板付きＬＥＤ光源を用いる。識別部５では、画像処理を施すことにより、選別対象９の大きさ、形状、およびキズの識別を行う。
【００６２】
搬送部２、撮像部４および識別部６の詳細について、以下順次説明する。
【００６３】
搬送部２の構成について、図２から図７を用いて詳述する。図２はＶ型ベルトコンベア２１からなる搬送部２の外観を示す平面図である。Ｖ型ベルトコンベア２１は図３に示すように２台の平ベルトコンベア２０をＶ字型に組み合わせたものである。一対の平ベルトコンベア２０の搬送面をなす角度θ１を例えば１００度とし、平ベルトコンベア２０の搬送面が水平面に対してなす角度θ２を例えば４０度に傾斜するように設定されている。このため、Ｖ型ベルトコンベア２１で搬送される選別対象９は、平ベルトコンベア２０で形成されるＶ溝の底部で、一対の平ベルトコンベア２０により支持される。
【００６４】
選別対象９が赤ピーマンのような回転楕円体である場合、２台の平ベルトコンベア２０をＶ字型に組み合わせることにより、選別対象９を長手方向にそろえることが可能となり、後工程で生じる撮像や画像処理において幸便となる。
【００６５】
角度θ１および角度θ２は、選別対象９の形状等の特性によって変わるものであり、必ずしもそれぞれ１００度と４０度に限定されるものではない。たとえば、角形の工業製品であれば、角度θ１を９０度とし、θ２を４５度とすれば、選別対象９と平ベルトコンベア２０の搬送面との接触面積を大きく取ることができ搬送に幸便である。
【００６６】
図４に選別対象９のＶ型ベルトコンベア上の搬送状況を斜視図で示す。
【００６７】
図２に示すように、搬送部２は上述したＶ型ベルトコンベア２１を３台直列につないで構成を有している。すなわち、投入部１に近い第１段Ｖ型コンベア２５の終端部２５ｂが段差を持って第２段Ｖ型コンベア２６の始端部２６ａに配置され、第２段Ｖ型コンベア２６の終端部２６ｂが段差を持って第３段Ｖ型コンベア２７の始端部２７ａに配置される。第３段Ｖ型コンベア２７の終始端部２７ｂは搬送部２の一部をなす保持機構３に接続される。保持機構３の詳細については後述する。
【００６８】
図５はＶ型ベルトコンベア２１の組み立て状態を示す系統図であり、図５の上の図が平面図、下の図が立面図となっている。
【００６９】
Ｖ型ベルトコンベア２０は図５の下の図に示すように傾斜をもって設置されており、各段のＶ型コンベア２５、２６、２７はそれぞれコンベア駆動機構２９ａ、２９ｂ、２９ｃにより独立してギアードモータ（図示しない）により駆動されるようになっている。すなわちコンベア駆動機構２９ａ、２９ｂ、２９ｃはそれぞれ独立した別個の駆動機構を有していて、図示しない制御装置により個別に駆動制御される。
【００７０】
第１段Ｖ型コンベア２５の始端部２５ａから第３段Ｖ型コンベア２７の終端部２７ｂに向けて選別対象９が上方へ移動しながら搬送される。選別対象９が青果物の場合、Ｖ型コンベア２５、２６、２７は傾斜角度が２０度から３０度の範囲で調整可能となっている。選別対象９が赤ピーマンの場合は好ましくは３０度に設置されている。
【００７１】
このように上方に向かって傾斜をもってＶ型コンベア２５、２６、２７が設置されているので、投入部２から大量に選別対象９が搬送部２に投入された場合、塊状となった選別対象９が搬送過程で崩落して、選別対象９の分離が促進される。
【００７２】
したがってＶ型コンベア２５、２６、２７の傾斜角度は、選別対象９の形状や表面特性等に応じて適宜に定められるものであり、回転楕円体及び球表面の全面画像検査装置においては、概ね１０度乃至４５度が適切な範囲である。
【００７３】
図５及び図６に示すように、各Ｖ型コンベア２５、２６、２７には光学センサ３２、３３、３４がその終端部２５ｂ、２６ｂ、２７ｂ近傍に、搬送方向とは直交する方向に設けられていて、光学センサ３２、３３、３４の信号は図示しない制御装置に接続されていて、Ｖ型コンベア２５、２６、２７の運転停止の制御を行う。光学センサ３２、３３、３４はＬＥＤを発行素子に用いた透過型のセンサであって、発光素子の反対側の受光素子と協働して、その間にある物体の有無を検出する。光学センサは反射型であってもよい。反射型のセンサは発光素子の反対側に反射板を置き、発光素子と同じユニットに配した受光素子により、物体の有無の検出を行う。光学センサの代わりに他のタイプの近接スイッチ（例えば、リミットスイッチを用いたもの）を用いてもよい。
【００７４】
第２段Ｖ型コンベア２６の幅は、第１段Ｖ型コンベア２５の幅より狭くなっており、第３段Ｖ型コンベア２７の幅は、第２段Ｖ型コンベア２６よりも狭くなっている。これは、第１段Ｖ型コンベア２５に投入された塊状となった選別対象９が、搬送されるにつれて山積み状態を崩すのに有利に働く。
【００７５】
本実施形態においては、Ｖ型コンベアの幅の減少割合は各３０％としている。どの程度狭くするかは選別対象９の形状、特性等に応じて最適な値は適宜変わるものであり、第３段Ｖ型コンベア２７の幅は第２段Ｖ型コンベア２６の幅の７０％以上が最適となることがあるし、第２段Ｖ型コンベア２６と第３段Ｖ型コンベア２７の幅にほとんど差を設けないことが好ましいこともある。
【００７６】
投入部１にはディザー装置１３を備えてもよい（図５参照）。係るディザー装置１３は例えば電歪振動子もしくは圧電素子により構成されていて、電圧を印加することにより微振動を発生させるものであってもよい。選別対象９が塊状になるのを防止すると共に、選別対象９の搬送部２への送り出しのためのフィーダーとして作用する。
【００７７】
投入部１の本体にディザー装置１３を設ける代わりに、山積み防止板１４を投入部１の出口もしくは搬送部２入り口に設けてもよい（図６参照）。山積み防止板１４は、電歪振動子もしくは圧電素子により、電圧を印加することにより微振動を発生するものであってもよい。なお、図６は投入部１と保持機構３を含む搬送部２の組み立て状態を示す系統図であり、図６の上の図が平面図、下の図が立面図となっている。
【００７８】
３段のＶ型コンベア２５、２６、２７の上流には保持機構３が設けられている。すなわち図６に示すように、第３段Ｖ型コンベア２７の終端部２７ｂに保持機構３が段差をもって配置されている。そして、保持機構３は主としてプーリー４３、プーリー駆動装置４４とテグス４１から構成されていて、第３段Ｖ型コンベア２７を搬送されてきた選別対象９は、保持機構３に乗り移るようになっている（図７参照）。つまり保持機構３は、平行にかつ水平に張られた２本のテグス４１と、このテグス４１を懸架して回転駆動する１組のプーリー４３とから成る。２本のテグス４１の間隔は選別対象９の短手方向の寸法よりも小さく、適度の間隔をもって張られているので、選別対象９がテグス４１上に安定して位置するようになっている。本実施形態においてテグス４１間の距離は、選別対象９である赤ピーマンの代表寸法から２５ｍｍとしたがこれに限定されるものでない。
【００７９】
なお、各テグス４１は、図６に示すように、それぞれ３つのプーリー４３により懸架駆動されていて、各プーリー４３はプーリー駆動装置４４により同期して駆動されるので、２本のテグス４１は同じ速度で駆動され、選別対象９を第３段Ｖ型コンベア２７から離れる方向に搬送する。なお、プーリー駆動機構４４はコンベア駆動機構２９とはそれぞれ独立した別個の駆動機構を有していて、図示しない制御装置により個別に駆動制御される。図示しない制御装置はプーリー駆動機構４４と各コンベア駆動機構２９について、好ましくは共通であってもよい。制御装置を共通化すれば設備を簡素化することができる。図８に保持機構３の平面図を示す。選別対象９は図８の下から上に向けて搬送される。本実施形態において保持糸として、釣り糸として使用されるテグス４１を採用したが、選別対象９の撮像を行う際に、全面撮像に支障がないものであればよく、光透過性のある糸が好ましい。光透過性がなくても、径が十分小さくて選別対象９を搬送できる強度を有していてプーリー４３との粘着性のあるものであってもよい。光透過性がなくても細い糸であれば、選別対象９によっては画像処理上の問題がない場合もあるからである。
【００８０】
保持機構３において、選別対象９が２本のテグス４１の上に保持されているので、選別対象９の底面を下方から撮像するのに適した構造となっている。つまり、２本の光透過性のある糸で選別対象９が支えられているので、撮像を妨げるものがないからである。
【００８１】
図９に示すように、２本のテグス４１の間に補間テグス４５を設けてもよい。図９は補間テグス４５を設けた場合の保持機構３における選別対象９とテグス４１、補助テグス４５との位置関係を示す平面図（ａ）と立面図（ｂ）である。補間テグス４５を設ければ、両脇の２本のテグス４１と協働して選別対象９を３点支持することができる。３点支持すれば選別対象９の姿勢が安定して撮像が容易になり、撮像をスムーズ行うことができる。また、選別対象９が本実施形態のような回転楕円体である場合は、その長手方向が搬送方向に揃い後工程で生じる画像処理が容易となる。また、図９（ａ）に示すように選別対象９ｂが別途定めた規格よりも若干小さい場合であっても、当該保持機構３により搬送することが可能となり、本全面画像検査装置８において選別を行うことができる。
【００８２】
なお、２本のテグス４１を駆動するプーリー４３はプーリー駆動軸４２を介してプーリー駆動装置４４により同軸的に駆動され、プーリー駆動装置４４により駆動されない残りのプーリー４３はテグス４１を懸架する。一方、小型プーリー４７はプーリー駆動軸４２には結合されておらず、補間テグス４５の動きに応じて遊転する。
【００８３】
保持機構３は撮像部４の中に設置されている（図１参照）。撮像部４には６台のＷｅｂカメラ５１と８台のＬＥＤ光源５３及び８台の拡散フィルタ５５が設置されている。一対のＬＥＤ光源５３と拡散フィルタ５５とは協働して１つの間接光源を形成する。ＬＥＤ光源５３からの光は拡散フィルタ５５で分散されて、選別対象９に間接照明を与える。拡散フィルタ５５は光を拡散させるものであればよく、例えばガラス若しくは合成樹脂からなる断面が鋸歯状の板部材であってよい。間接光源は選別対象９の表面において鏡面反射を起こすことを防ぐので、選別対象９の傷等の表面上の瑕疵を識別判定する際に適している。
【００８４】
本実施形態においては、６台のWebカメラ５１のうち４台は、図１０（ａ）に示すように、選別対象９の側部周囲に搬送方向からみて水平面から４５°ずらして９０°毎に配置して、残りの２台は、図１０（ｂ）に示すように選別対象９の前後に、搬送方向に対して多少の角度をもたせて、６台のＷｅｂカメラ５１が直交座標系を構成するように配置してある。そして、６台のＷｅｂカメラ５１により、保持機構３上に保持された選別対象９の全面の撮像を行う。
【００８５】
なおWebカメラ５１にはELECOM社製のUCAM-E1L30MNWH（最大解像度:６４０×４８０ピクセル、受像素子：１／４インチ、３０万画素ＣＣＤセンサ、量子化：２４ｂｉｔ／ｐｉｘｅｌ、分解能：０．３ｍｍ／ｐｉｘｅｌ）を用いた。また、間接光源として、拡散板付きLED光源ELPA社製のPM-L200（W）を８台用いた。
【００８６】
次に識別部６の構成について図１１を用いて説明する。識別部６は、サーバ用パーソナルコンピュータ９２（以下ＰＣと称す）が１台およびクライアント用ＰＣ９１が２台により構成される。
【００８７】
識別部６では、６台のＷｅｂカメラ５１がＵＳＢインターフェースを介して、サーバ用ＰＣ９２とクライアント用ＰＣ９１とに接続されている。つまり、ＰＣ１台につき２台のＷｅｂカメラ５１が接続されており、撮像部４で撮像された画像をクライアント用ＰＣ９１からサーバ用ＰＣ９２に通信ライン９３を介して転送を行い、撮像された６枚の画像を用いて、サーバ用ＰＣ９２にて選別対象９の大きさ、形状およびキズの識別並びに日焼けや色ムラの識別を行う。
【００８８】
本発明に係る全面画像検査装置８において、搬送部２もしくは保持機構３から外れた選別対象９若しくは保持機構３において分離していない選別対象９を回収する回収手段（図示しない）を保持機構３の後段に設けて、回収手段（図示しない）により集められた選別対象９を投入部１に搬送する環流ライン（図示しない）を設けてもよい。
【００８９】
このように還流ラインを設ければ、１つ１つに分離していない選別対象９や搬送部２や保持機構３から外れた選別対象９は人手を介さず回収を行い、回収された選別対象９を投入部１に還流させるので人手の軽減を図ることができる。回収手段としてはホッパーとシュートを組み合わせたものが考えられる。また、還流ラインはベルトコンベアで構成してもよい。回収手段で回収された選別対象９は還流ラインを経由して自動的に投入部１に運ばれるようにしてもよい。
【００９０】
（全面画像検査装置の全体動作について）
以上、本発明に係る全面画像検査装置８の基本的構成、搬送部２、撮像部４、および識別部５を中心に説明した。次にこれらの動作について説明を行う。先ず、本発明に係る全面画像検査装置８の全体フローを図１２のフローチャートを用いて説明する。
【００９１】
１）複数個の選別対象９が投入部１から搬送部２に投入される。
【００９２】
２）３）投入された選別対象９は、独立駆動される３台のＶ型コンベア２５、２６、２７と保持機構３のテグス４１により１個に分離して撮像部４まで運ばれる。搬送部２の動作（２）３））については別途詳述する。
【００９３】
４）テグス４１の送りにより選別対象９が保持機構３（撮像部４内にある）のほぼ中間位置にくると選別対象９は停止して、保持機構３に保持された選別対象９は、６台のＷｅｂカメラ５１により６方向から同時に撮像される。
【００９４】
５）撮像された６枚の画像は識別部５のサーバ用ＰＣ９２とクライアント用ＰＣ９１に送られて、６枚の画像が揃った段階で識別部５のサーバ用ＰＣ９２にて選別対象９の大きさ、形状、キズに対する識別を行う。
【００９５】
６）更に、６枚の画像は、識別部５のサーバ用ＰＣ９２にてニューラルネットワークを利用したテンプレートマッチングにより、“日焼け”と“色ムラ”について識別を行う。識別部５の動作（５）６））については別途詳述する。
【００９６】
７）識別部５における判定結果に基づき、識別部５の下流にある選別部６がその合否判定にしたがって選別を行う。合格の判定を受けて選別部６で選別された選別対象は出荷ラインに流れる。一方、不合格となった選別対象は選別部６から、図示しない還流ラインを経由して投入部１に搬送される。
【００９７】
（搬送部２の動作の詳細について）
保持機構３を含む搬送部２の運転手順を図１３を用いて説明する。これら運転手順は図示しない制御装置によりコンピュータ制御される。
【００９８】
はじめに、すべてのＶ型コンベア２５、２６、２７およびテグス４１を搬送方向に回転（正回転）させる。次に、光学センサ１（３２）が反応した場合、選別対象９が第２段Ｖ型コンベア２６に搬送されたと認識し、第１段Ｖ型コンベア２５を停止させる。しかし、光学センサ１（３２）がt1秒間反応し続けた場合は、第１段Ｖ型コンベア２５を再度t2秒間正回転させる。
【００９９】
次に、光学センサ２（３３）が反応した場合は、選別対象９が第３段Ｖ型コンベア２７に搬送されたと認識し、第２段Ｖ型コンベア２６を停止させる。しかし、光学センサ２（３３）がt1秒間反応し続けた場合は、第２段Ｖ型コンベア２６を再度t2秒間正回転させる。ここにt1、t2、xの値は、選別対象９により適宜、変更調整されうるものである。
【０１００】
次に、光学センサ３（３４）が反応した場合、選別対象９がテグス４１に搬送されたと認識し、第３段Ｖ型コンベア２７を停止させる。次に、テグス４１が１秒間正回転をさせた後、撮像を行うためにテグス４１の中間位置にて１秒間停止させる。最後に、再びテグス４１を正回転させて、選別対象９を排出する。また、すべての光学センサ３２、３３、３４が１秒間反応しない場合は、自動的に搬送を停止させる。これらの値に限定されるものではなく、選別対象９により適宜、変更調整されうるものである。
【０１０１】
次に、搬送部２の動作を選別対象９との関係で説明する。
【０１０２】
選別対象９が互いに隣接した状態では正常な検査が行えないため、選別対象９を撮像部４までに１個に分離する必要がある。そこで、搬送部２では３台のＶ型ベルトコンベア２０およびテグス４１をそれぞれ独立かつ連動して駆動する独立駆動系を用いた。以下に独立駆動系について具体的に説明する。
【０１０３】
投入された選別対象９は山積み状態となっているが、３台のＶ型コンベア２５、２６、２７と保持機構３のテグス４１により撮像部４まで運ばれる。Ｖ型ベルトコンベア２１を構成する２台の平ベルトコンベア２０はそれぞれ別個に制御される。すなわち２台の平ベルトコンベア２０が同一方向に同一速度で駆動される“順送りモード”と平ベルトコンベア２０が異なった速度で駆動される“山崩しモード”とがあり、山崩しモードには送り方向は同じで速度を変えるモード、送り方向を違えるモードおよび一方の平ベルトコンベアを停止させるモード等がある。図示しない制御装置においてプラグラム制御により、適宜、“順送りモード”と“山崩しモード”とを繰り返して、選別対象９を上方に搬送する。
【０１０４】
さらに、Ｖ型ベルトコンベア２１が上向きの傾斜をもって設置されているので、選別対象９に積み重なっている選別対象９は搬送時に反搬送方向に崩落するので、選別対象９の山崩し（分離）に有利に働く。
【０１０５】
また、Ｖ型コンベア２５、２６、２７と保持機構３はそれぞれ段差をもって接続されているので、次段に乗り移る際の落下により選別対象９は分離される。
【０１０６】
さらに、Ｖ型コンベア２５、２６、２７と保持機構３はそれぞれ独立して駆動されるので、その送り速度は別個に調整可能となっている。第２段Ｖ型コンベア２６の送り速度を第１段Ｖ型コンベア２５の送り速度よりも速くすることが好ましい。送り速度を上げることにより、第２段Ｖ型コンベア２６に落下した選別対象９の塊は崩壊する。同様に、第３段Ｖ型コンベア２７の送り速度を第２段Ｖ型コンベア２６の送り速度よりも速くすることが好ましい。これにより選別対象９の分離は促進される。更に、保持機構３のテグス４１の送り速度を第３段Ｖ型コンベア２７の送り速度よりも速くすることが好ましく、同様の作用効果が期待でき、選別対象９の分離が促進される。
【０１０７】
搬送コンベアがＶ字型をしているので選別対象９はＶ型ベルトコンベア２１の底部にその向きを長手方向そろえて搬送される。
【０１０８】
選別対象９が分離されて、長手方向にそろえて撮像されるので、識別部での画像処理が簡便になり識別能力も高くなる。分離されていない選別対象の識別は困難な場合が多いからである。
【０１０９】
（撮像部４の動作の詳細について）
Ｗｅｂカメラ５１は常時撮像部５をモニタしており、選別対象９が保持機構３に存在しない場合の画像との差分をとることにより、選別対象９が撮像位置に到着したと判定して、保持機構３の送りを停止して、静止状態で６台のＷｅｂカメラ５１により選別対象９の６面を同時撮像する。クライアント用ＰＣ９１で撮像した画像は、サーバ用ＰＣ９２へＬＡＮを経由して転送される。
【０１１０】
なお撮像位置の判定は、２秒毎に１回撮像したモニタ画像に対して行い、連続して選別対象９を検知した場合に選別対象９が撮像位置に到着したと判定する。撮像は保持機構３を停止させることなく、選別対象９の移動中に行ってもよい。選別対象９の移動中に撮像を行えば、全面画像検査装置の稼働率が向上する。
【０１１１】
モニタ画像の差分をとる際に、画像の色情報を用いれば識別対象が赤ピーマンか青ピーマンかの判定も可能となる。赤ピーマンの色情報を用いて、モニタ画像の色相が連続して赤ピーマンの色情報と一致した場合に、選別対象９が撮像位置に搬送されたと認識してもよい。この場合は、撮像位置の判定だけではなく、選別対象９の種別の判定も行うことになる。
【０１１２】
選別対象９の種別があらかじめ特定されている場合は、光学センサ３（３４）が選別対象９を検知してから所定の時間経過をタイマで計測して、撮像位置と判定してもよい。なお、撮像位置は保持機構３のほぼ中間位置になるように計画されている。
【０１１３】
（識別部５の動作の詳細について）
以下に、識別部での検査手順（動作）を示す。
【０１１４】
本実施形態では、赤ピーマン６面の撮像画像６枚それぞれに対して以下の処理を実施することにより、外観品質検査を実行する。ここで、識別部４におけるサーバ用ＰＣ９２で実行される選別対象９の各画像に対する検査処理のフローチャートを図１４に示すと共に、画像処理の流れを図１５に示す。
【０１１５】
１）クライアント用ＰＣ９１で撮像した画像と合わせて６面（６枚）の撮像画像が揃うのを待つ。
【０１１６】
２）撮像済みRGBカラー画像をCIE 1976 (L*, a*, b*) カラー画像に変換する。
【０１１７】
３）赤ピーマンのテンプレート色（ここでは赤色）とのユークリッド距離が予め定めた閾値以下となる領域（ピーマン領域）のみ「１」とする２値化を行い、モノクロ画像に変換する。
【０１１８】
４）左右・上下・斜めの各近傍に対して８近傍収縮膨張処理を施して、ノイズ除去を行う。
【０１１９】
５）ラベリング処理により画素値「１」からなる各連結領域の面積を算出し、面積が予め定めた閾値以上となる連結領域を抽出することにより、ピーマン領域の抽出を行う。その後、以下に述べる大きさ、形状、及び黒いキズに対するそれぞれの判定処理を行う。
【０１２０】
６）大きさ判定は、上記５）により算出されたピーマン領域の面積が規格に基づき定めた閾値以上の場合を「大」と判定し、それ以外の場合を「小」と判定することにより行う。
【０１２１】
７）形状判定は、まずピーマン領域と接する長方形の中で、その面積が最小となるものを検出することにより、長方形近似を行う。
【０１２２】
８）次に、近似された長方形において、長辺÷短辺が規格に基づき定めた閾値以上のときのみ「良品」と判定し、それ以外の場合を「形状不良」と判定することにより、形状判定を行う。
【０１２３】
９）キズ判定は、まず撮像済みRGBカラー画像をR値のみからなるグレースケール画像に変換し、予め定めた閾値以下の領域（黒いキズ領域）のみを「１」とする２値化を行うことにより得られたモノクロ画像と、上記５）により抽出されたピーマン領域のみ画素値「１」とするモノクロ画像とに論理積演算を行い、キズ画像を得る。
【０１２４】
１０）次に、キズ画像にラベリング処理を施し画素値「１」の連結領域の面積を算出し、面積が規格に基づき定めた閾値以下のときのみ「良品」と判定し、それ以外の場合を「キズ不良」と判定することにより、キズ判定を行う。
【０１２５】
以上により得られた各画像の判定結果に対して、６枚すべての画像の判定結果を以下のとおり統合することにより、最終的な検査結果とする。
【０１２６】
大きさ判定については、１つでも「小」と判定した画像がある場合を「小」とし、それ以外の場合を「大」とする。形状判定については、１つでも「形状不良」と判定した画像がある場合を「形状不良」とする。また、キズ判定についても、１つでも「キズ不良」と判定した画像がある場合を「キズ不良」とする。最後に、「形状不良」若しくは「キズ不良」の何れでもない場合に限り、「良品」と判定する。
【０１２７】
次に、ニューラルネットワーク（以下、ＮＮという）を利用したテンプレートマッチングによる、“日焼け”と“色ムラ”の識別について説明を行う。ＮＮは、人の目で判断した実際の日焼けや熟れ班などの曖昧な不良状況を識別するのに適している。
【０１２８】
撮像された赤ピーマンの画像はサーバ用ＰＣ９２へ送られ、６枚の画像が識別部５のサーバ用ＰＣ９２に揃うのを待って、予め定めた閾値により２値化され、背景を黒色とした白い画像に変換処理される（図１４の１）、２）、３）と共通の処理が施される）。そして、二値化変換処理された画像データをニューラルネットワークの入力に適する数値に変換するために、２次元高速フーリエ変換（以下、２ＤＦＦＴともいう）を用いて周波数解析処理し、加算平均して求めた値で正規化を行い、入力層の各ユニット(ニューロ素子ともいう）に入力するスラブ値とする。また、２ＤＦＦＴから得られる成分の有効領域が６４×６４であるため、スラブ値は６４個とする。
【０１２９】
本実施形態では、ＮＮは３階層構造を有していて、３階層構造の演算部は、入力層（６４ニューロ素子）、隠れ層（３５ニューロ素子）および出力層（１ニューロ素子）の３層からなっている。入力層では２ＤＦＦＴから得られる成分の有効領域ごとに演算処理されたスラブ値を対応するニュ−ロ素子に入力する。隠れ層は、本例では３５個のニュ−ロ素子からなり、入力層の情報を伝搬演算して出力層に伝達する役割を果たしている。この隠れ層が多くなればそれだけ、入力層のスラブ値の変動に対しても不変に各パタ−ンの各々に分離演算できる。出力層には、識別すべき「赤ピーマンの品質」の種類ごとに１対１にて対応するように各１個のニュ−ロ素子が設けられている。そして、学習により完成したニュ−ロ素子間の重み係数による出力ニューロ素子についてその反応値を出力ニューロ素子の数個分（ここでは１個）を算出する。
【０１３０】
ここで、識別部５におけるＮＮの基本構成を図１６に示す。図１６中の各ニューロテンプレートが赤ピーマンの特定の品質である“日焼け”と“色ムラ”であり、これらを個々に識別するものとなる。その識別過程は赤ピーマンの画像が前処理である２ＤＦＦＴ処理され、ＮＮへの入力値であるスラブ値が算出される。この場合は６４個の値が入力される。次に、それぞれのニューロテンプレートにこの値が入力され、ＮＮの前向き計算が実施される。
【０１３１】
等級規格に則った（正しい）日焼け画像が入力された場合、日焼けニューロテンプレートの出力層のユニットの反応値はその最大値に近い値となる。反応値のスケールは任意であってもよいが、ここでは判定の便のため、出力層の計算結果にシグモイド関数を適用して０〜１の実数に正規化して出力する。
【０１３２】
同様に、色ムラニューロテンプレートの出力層についても、正しい日焼け画像が入力された場合に１に近い値を出力し、正しくない日焼け画像に対してはその度合いに応じて１より小さい値を出力する。
【０１３３】
このＮＮによるテンプレートマッチングにより精度の高い識別判定が実現できる。
【０１３４】
ところで、本発明の実施形態に係る赤ピーマンの全面画像検査装置において、選別対象９である赤ピーマンについてあらかじめデジタルカメラで撮影された画像データに基づいた品質に関するデータがＮＮを用いて学習登録されている。そして、画像データのうち、特に赤ピーマンの品質を識別する上で重要な特徴的模様（パターン）に関するデータが２次元高速フーリエ変換を用いて周波数解析処理され、入力パターン（スラブ値）としてＮＮの入力層に入力され、記憶されている。そして、撮像部４のＷｅｂカメラ５１で撮像された画像データが上述した手順により順次変換処理されＮＮへの入力パターンが作成される。作成された入力パターンは入力層→隠れ層→出力層へ伝達・処理され、出力層から出力である反応値が出力される。この出力値は、それまでの学習によって得られた重み係数に基づくもので、本例の場合には、赤ピーマンの品質の規格に対する適合度が出力される。この反応値に対して、規格に基づき定めた閾値で合否判定を行い、最終的な識別判定結果とする。
【０１３５】
また、ＮＮにおいて、赤ピーマンの品質パターンにつき、逆に規格に則った正しい画像に対して正しい出力値が与えられると、出力層→隠れ層→入力層の順で伝達・処理され、各層間の重み係数について学習がなされるが、この重み係数の学習は、実際の出力値と正しい出力値との差が減るように、入力ニューロ素子・隠れニューロ素子・出力ニューロ素子のニューロ素子間における結合の強さを変化・収束させることにより行う。
詳しくは、ＮＮ学習に関し、ＮＮの構成は階層型の３層ＮＮを用いており、学習方法として改良型誤差逆伝搬法を採用している。この改良型誤差逆搬法とは、下記の数１で表される学習アルゴリズムである。
【０１３６】
【数１】
ここに、Ｗは重み、ｔは学習回数、δは一般化誤差、Ｏはニューラル素子の出力値、ηは学習定数、αは慣性定数、βは振動定数を示す。
【産業上の利用可能性】
【０１３７】
本発明の全面画像検査装置によれば回転楕円体及び球体の全面画像を検査することにより、青果物の検査の自動化を図ることができる。また、工業製品や宝飾品の全面画像検査にも用いることができる。
【符号の説明】
【０１３８】
１ 投入部
２ 搬送部
３ 保持機構
４ 撮像部
５ 識別部
６ 選別部
８ 全面画像検査装置（基本ユニット）
９ 選別対象
１０ 撮像信号線
１１ 選別信号線
１２ 投入口
１３ ディザー装置
１４ 山積み防止板
１５ 回収手段
１６ 還流ライン
２０ 平ベルトコンベア
２１ Ｖ型ベルトコンベア
２５ 第１段Ｖ型コンベア
２６ 第２段Ｖ型コンベア
２７ 第３段Ｖ型コンベア
２９ コンベア駆動機構
３２ 光学センサ１
３３ 光学センサ２
３４ 光学センサ３
４１ テグス
４２ プーリー駆動軸
４３ プーリー
４４ プーリー駆動機構
４５ 補間テグス
４７ 小型プーリー
５１ Webカメラ
５３ ＬＥＤ光源
５５ 拡散フィルタ
９１ クライアント用ＰＣ
９２ サーバー用ＰＣ
９３ 通信ライン
９４ USBインターフェース
【技術分野】
【０００１】
本発明は、コンベア等の搬送手段により運ばれる検査対象物を複数のカメラで撮像して、その撮像画像に基づき検査対象物の外観検査を行なう装置に関する。
【背景技術】
【０００２】
現在、青果物市場では、商品価値を向上させる目的により、青果物の等階級の均一化が重要視されている。そのため、各農家および地域では、青果物商品のブランド化を目的として、等階級を均一化する努力が行われている。一方、青果物の選別に用いられている選別機は重量を選別規準としたものがほとんどであり、形状やキズ等の選別作業は、長時間に渡り複数人で目視により、等階級規格表と比較、照合し選別を行っている。
【０００３】
等階級規格表では、重量の選別基準はグラム数により明確に定義されている。しかし、形状やキズ等に対する選別基準は、それぞれの不良を示した写真との比較であるため、明確な選別基準が示されていない。そのため、選別基準の個人差により選別基準の均一化が困難となっており、商品価値の低下が問題となっている。さらに、手作業での選別作業は、青果物の全面を確認しなければならないことから、長時間の作業が必要であるため、作業員への負担となっている。
【０００４】
一部に搬送手段にベルトコンベア、識別手段に画像処理を用いて、農産物の等階級の選別作業を自動化する装置の開発が行われている（例えば、特許文献１）。
【０００５】
具体的例として、青果物のおもて面を撮像後にローラーで挟み込み、青果物の反転を行い、接触部を撮像する手法（例えば、特許文献２）や、コンベアとコンベアの間を青果物が移動する際に、接触部を撮像する手法（例えば、特許文献３）や、吸着パッドを用いて選別対象を持ち上げ、搬送部と青果物の接触部を撮像する手法（例えば、特許文献４）などの開発が試みられている。
【０００６】
上記の従来技術においては、選別対象として青果物が取上り上げられているが、選別対象として青果物以外に、例えば、水産加工物や工業製品等もあるし、真珠のような宝飾品等もあり、画像処理による選別の自動化が行われている（例えば、特許文献５，非特許文献１）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平１１−１３２７３９号公報
【特許文献２】特開２０００−０８４４９５号公報
【特許文献３】特開２０００−２３７６９６号公報
【特許文献４】特開２００１−００４３４２号公報
【特許文献５】特開平５−３５８４８号公報
【非特許文献】
【０００８】
【非特許文献１】“ニューラルネットワークを用いたいりこ選別システムの選別部の開発”、システム制御情報学会第49回研究発表公演論文集、pp515-516、2005
【発明の概要】
【発明が解決しようとする課題】
【０００９】
上記の特許文献および非特許文献に示す手法は、選別対象（例えば青果物）の寸法および形状により、使用できる手法が限られるため、複数の種類の選別対象に対応できないという問題がある。
【００１０】
更には、画像処理による等階級の選別は、選別対象の大きさやキズ、形状等の外観を選別規準としており、キズや色ムラに関しては、表面の一部に現れることが多いため、選別対象の全面を検査する必要があるところ、選別対象は搬送手段の一部をなすコンベアの上に乗せられた状態であるので、コンベアと選別対象の接触部（選別対象の底部）の撮像が行えないことが問題となっていた。
【００１１】
この問題を解決する手段として、吸着パッドを用いて選別対象を持ち上げ、コンベアと選別対象の接触部を撮像する手法（特許文献４）が提案されているが、この手法は、上方および水平方向の撮像を行った後に、コンベアとの接触部の撮像を行うため、選別対象全面の撮像および識別を行うのに時間がかかるという問題がある。
【００１２】
また、選別作業の効率化を図るために、大量の選別対象が搬送手段に投入され、識別手段まで搬送されるが、大量の選別対象が山積み状態となっておれば、適切に識別及び選別処理を行うことができない。適切な画像処理を行うためには、選別対象の一つ一つが分離されていなければならない。
【００１３】
さらに現在、選別作業が人手により行われているので、作業員の個人差により選別基準の均一化が困難である。また、作業員に長時間の作業を強いることになるので、選別作業の自動化が求められている。
【００１４】
本発明は、上記課題を解決するために、搬送手段に山積みに投入された選別対象を分離して、搬送手段との接触部を含めて一つ一つの選別対象の全面撮像を行うことにより、従来人手で行っていた選別作業の自動化を行うことにより、省力化を図ると共に、選別基準の均一化を図ろうとするものである。
【課題を解決するための手段】
【００１５】
上記課題を解決するために本発明に係る回転楕円体及び球面体の全面画像検査装置は、回転楕円体又は球面体選別対象を搬送する搬送部と、前記搬送部に続き、前記選別対象を保持する保持機構と、前記選別対象を撮像する複数のカメラを有する撮像部と、前記撮像部で撮像された前記選別対象の複数の画像を識別判定する識別部とを備えた回転楕円体及び球面体の全面画像検査装置であって、
前記搬送部は、２台の平ベルトコンベアをベルト走行方向断面がＶ字となるように傾け組み合わせたＶ型コンベアを複数有していて、複数の前記Ｖ型コンベアは、それぞれ独立した駆動機構を有し、搬送方向上流から下流にかけて、それぞれ段を順に下げて配置され、かつ、それぞれの前記Ｖ型コンベアは前記選別対象を上方に搬送するように傾斜をもって設置されており、前記保持機構は、前記選別対象を搬送保持するための複数の紐様保持部を有しており、前記Ｖ型コンベアとは独立して駆動され、前記紐様保持部の始端部が前記搬送部の最下段のＶ型コンベアの終端部に配置されている。（請求項１）
【００１６】
この構成によれば、搬送部にＶ型コンベヤを用いているため、選択対象を搬送させる過程においてＶ字頂点付近で選択対象を１つ１つに分離しやく、また、Ｖ型コンベヤが選別対象が順次乗り移り可能に隣接配置されているため、前段から次段のＶ型コンベヤに乗り移る際にも選別対象が分離されていく。また、搬送部を構成するＶ型コンベアの台数は、選択対象が１つ１つ分離して保持機構へ搬送されるよう、３台以上とすることが好ましい。なお、Ｖ型コンベアの最適な台数は選別対象の諸元（形状寸法等）や検査装置としての仕様等から定まるものであり、ケースバイケースにより異なる。一般に、Ｖ型コンベアの台数が増えれば選別対象の分離が進むがその分費用が増大する。また、各Ｖ型コンベアの長さ及び幅は選別対象の諸元（形状寸法等）や全面画像検査装置の仕様等により最適な値が定まる。
【００１７】
各Ｖ型コンベアはそれぞれ段を順に下げてずらし、具体的には次段のＶ型コンベヤの始端部が、前段のＶ型コンベヤの終端部から段を下げて配置されているので、選別対象は各Ｖ型コンベアを順に降りつつ乗り移りながら上流から下流に向けて順次搬送される。Ｖ型コンベアの乗り移りの際に選別対象の分離が進む。なお、上流とはベルト走行方向における搬送部の始端方（選別対象投入部側）をいい、下流とは搬送部の終端方（保持機構側）をいう。
【００１８】
各Ｖ型コンベアは独立した駆動機構を有しているのでその搬送速度はＶ型コンベア毎に調整が可能である。速度に差を持たせれば、選別対象の分離に有利に作用することがある。
【００１９】
複数のＶ型コンベアは水平面に対して傾斜をもって設置されているので、選別対象を上流から下流に向けて、上方に搬送する。
【００２０】
保持機構はＶ型コンベアとは独立して駆動されるのでその搬送速度はＶ型コンベアとは異なる速度に設定することができる。
【００２１】
紐様保持部には紐や糸、縄などを用いることができ、選別対象に応じてその径を変えることができる。選別対象が重ければ太い方が好ましいが、一般的に細い方が撮像に都合がよい。また、後述するが紐様保持に光透過性のもの（例えば、透明な糸等）を使用すれば、選別対象の撮像の妨げにならず都合がよい。紐様保持部は選別対象をその上部に保持する都合から少なくとも２本から成っている。２本の紐様保持部のほぼ中間に、２本の紐様保持部よりも低い位置に第３の紐様保持部を設けてもよい。このようにすれば、選別対象は３点支持となり姿勢が安定するし、選別対象が２本の紐様保持部間の距離より小さい場合でも、選別対象を保持することが可能となる。２本ないしは３本の紐様保持部により選別対象を保持するので、紐様保持部が撮像の邪魔になり難く、選別対象の下方からも容易に撮像することが可能となる。
【００２２】
識別部における識別判定は、選別対象をあらかじめ定めたカテゴリーに識別して、識別結果に基づいて合否等の判定を行う。
【００２３】
ここに選別対象としては、主にその形状が回転楕円体または球面体が好ましく、例えば青果物や農産物、水産物等の天然由来の物品であってもよく、また、工業製品や真珠等の宝飾品であってもよい。回転楕円体または球面体は重力の影響を受けて転がりやすいため、本発明の上方に傾斜したＶ型コンベヤの場合、選別対象の分離を促進できる。
【００２４】
本発明に係る回転楕円体及び球面体の全面画像検査装置において、前記紐様保持部が光透過性を有していることが好ましい。（請求項２）
【００２５】
この構成によれば、紐様保持部を光透過性のものとすれば、紐様保持部が撮像の邪魔になりづらく、選別対象の下方からも容易に撮像することができる。また、より好ましくは、紐様保持部に比較的細い透明の糸やテグスを用いることで、さらに撮像の邪魔にならず判定精度が増す。
【００２６】
本発明に係る回転楕円体及び球面体の全面画像検査装置において、前記カメラの台数が６台であり、前記複数の画像が前記選別対象の異なる６方向から撮像されてなる。（請求項３）
【００２７】
この構成によれば、選別対象を異なる６方向から撮像した映像が識別処理すべき画像として得られる。６台のカメラを直交座標系を構成するように設置すれば、選別対象物の６面図が得られる。
【００２８】
撮像に際して好ましくは、撮像環境が間接照明により照明されている。直接照明は選別対象においてハレーション等の望まない鏡面反射があり、傷等の判定において判定誤差を生じることがある。
【００２９】
本発明に係る回転楕円体及び球面体の全面画像検査装置において、前記選別対象が前記保持機構の所定の位置に到達したことを検出する撮像位置検出手段と、前記撮像位置検出手段からの指令を受けて前記選別対象を前記カメラにより同時に撮像する同期撮像機構を有する。（請求項４）
【００３０】
この構成によれば、予め定められた、撮像するのに適した位置に選別対象が到達すれば、それを検出して選別対象を停止させて複数のカメラで同期撮像する。選別対象が移動中に同期撮像してもよいが移動中に撮像すれば撮像処理速度が増し、全面画像検査装置の稼働率が向上するが映像が若干不鮮明となる。ここに同期撮像とは同じタイミングで選別対象をカメラで撮影することである。
【００３１】
撮像位置検出手段として、保持機構にある選別対象をモニタして、選別対象がない場合の画像と比較して、選別対象が撮像位置に到着したと判定する。画像に比較によらず、タイマ等を用いて時間的に検出してもよい。また、選別対象の色相用の色フィルタを用いて撮像した画像により判定してもよい。
【００３２】
本発明に係る回転楕円体及び球面体の全面画像検査装置において、少なくとも最上段を除く前記各Ｖ型コンベヤの始端部、及び最下段のＶ型コンベヤの終端部に、光学センサを取り付け、前記光学センサにより前記選別対象が前段から次段のＶ型コンベヤへ搬送され、又は最下段のＶ型コンベヤから前記保持機構へ搬送されたことを検知した場合に、前段又は最下段のＶ型コンベヤの搬送を一定時間停止する手段、もしくは、前記光学センサにより前記選別対象が前段から次段のＶ型コンベヤへ搬送され、又は最下段のＶ型コンベヤから前記保持機構へ搬送されたことを検知した場合に、前段又は最下段のＶ型コンベヤの搬送を一定時間逆送させる手段、を備えてもよい。（請求項５）
【００３３】
この構成によれば、選別対象が前段のＶ型コンベヤから次段のＶ型コンベヤに乗り移ったか否かを光学センサにより検知することができる。また、光学センサは、各Ｖ型コンベヤの始端部付近や最下段のＶ型コンベヤの終端部付近のベルト幅方向両側に配置する。なお、光学センサはこれらに直接取り付けてもよいし、別途配置していてもよい。
【００３４】
そして、次段のＶ型コンベヤに選択対象が乗り移ったことを光学センサにより検知した場合に、前段のＶ型コンベヤを停止または逆送させることで、選択対象の分離をより効率よく達成できる。また、選択対象が前記した回転楕円体または球面体である場合には、前段のＶ型コンベヤを停止すれば重力によって後方に転がり選択対象の分離が効率よくできるし、選択対象が転がりづらい角形であるような場合には、前段のＶ型コンベヤを逆走させることで、選択対象の分離を促進できる。
【００３５】
本発明に係る回転楕円体及び球面体の全面画像検査装置において、前記Ｖ型コンベアを構成する２台の前記平ベルトコンベアの送り速度が、それぞれ異なる速度であることが好ましい。（請求項６）
【００３６】
この構成によれば、Ｖ型コンベアは２台の平ベルトコンベアをＶ字型に組み合わせたものであり、１対（説明の都合上、以下左右と称す）の平ベルトコンベアで１台のＶ型コンベアを構成する。平ベルトコンベアの送り速度は左右それぞれに独立して調整するようにしてもよいし、リンク機構やカム機構を利用して送り速度に差を持たせてもよい。ここに左右の平ベルトコンベアの送り方向は同じであってその速度が異なる場合もあるし、一方が動いており他方が停止している場合や、いずれか一方が逆方向に動いていてもよい。平ベルトコンベアの送り速度を左右で差をもたせることにより選別対象が山積みのまま搬送されるのを防止して、選別対象を分離するのに効果がある。
【００３７】
本発明に係る回転楕円体及び球面体の全面画像検査装置において、前記搬送部の上流側に前記選別対象を投入する投入部が設けられていて、前記投入部に微振動を与えるディザーを備えている。（請求項７）
【００３８】
この構成によれば、微振動を発生するディザーが投入部本体に設けられていてもよく、また、投入部の出口部分にシュートを兼ねたディザーを設けてもよい。ディザーは選別対象を搬送部に送り出すのに好都合に作用するとともに選別対象の山済み防止に役立つ。シュートを兼ねたディザーは山済み防止板として作用する。
【００３９】
本発明に係る回転楕円体及び球面体の全面画像検査装置において、前記Ｖ型コンベアにおいて上流段のＶ型コンベアの幅が下流段のＶ型コンベアの幅より狭くない。（請求項８）
【００４０】
この構成によれば、投入部に最も近いＶ型コンベアを便宜上第１段とし、下流に向けて順次第２段、第３段とすれば、好ましくは第１段のＶ型コンベアの幅は第２段よりも狭く、第２段のＶ型コンベアの幅は第３段と同じか狭い。Ｖ型コンベアが４台以上になった場合も同様に、前段のコンベアの幅は次段のコンベアの幅よりも広いか同じである。Ｖ型コンベアの幅は前述したように、選別対象の特性と全面画像検査装置の仕様等から定まる。
【００４１】
本発明に係る回転楕円体及び球面体の全面画像検査装置において、前記画像を二値化する手段と、当該二値化手段により得られる二値化画像の輪郭内の画素数から前記選別対象の大きさを判定する大きさ判定手段を有し、さらに、前記二値化画像から前記選別対象の輪郭に外接する外接長方形を求める手段と、当該外接長方形の縦横比から前記選別対象の形状を判定する形状判定手段とを有する。（請求項９）
【００４２】
この構成によれば、輪郭とは二値化画像で得られる閉じた領域であり、その輪郭の内部に包含される画素数を選別対象の大きさとする。また、上記輪郭に外接する長方形を近似して得られる長方形の縦横比を選別対象の形状とする。
【００４３】
本発明に係る回転楕円体及び球面体の全面画像検査装置において、前記画像の画素からブロブを算出する手段と、当該ブロブ内の画素数を傷等の大きさとして前記選別対象の表面状態を判定する傷等判定手段を備えている。（請求項１０）
【００４４】
この構成によれば、ブロブはある値の範囲をもった画素の集まりであり、孤立点解析により塊となった二次元形状の検出を行なう。ブロブの判定は例えばグレースケール値の範囲を指定して行なうことができ、その範囲は適宜変更が可能となっている。傷等判定機構では、選別対象表面に存在する傷や汚れを識別判定することが可能となる。
【００４５】
本発明に係る回転楕円体及び球面体の全面画像検査装置において、前記選別対象の画像を入力とするニューラルネットワークにおいて、選別規格により定められた画像を教師情報として使用して、学習によりニューラルネットワーク内の結合係数を求め、前記結合係数を用いて前記選別対象の日焼けもしくは色ムラの度合いを算出する学習識別手段を有する。（請求項１１）
【００４６】
この構成によれば、選別対象についてその“日焼け”もしくは“色ムラ”についての選別規格が別途定められており、この選別規格の代表点を教師情報として用いて、ニューラルネットワークの結合係数を逐次補正により求める。本発明の全面画像検査装置は、いわゆる教師付き学習によるニューラルネットワークを用いた識別機構を有している。したがって、ニューラルネット枠の出力は日焼けもしくは色ムラについてそれぞれニューラルネットワークを有していて、日焼けと色ムラについてそれぞれ識別結果を出力する。これらの識別結果に対して閾値を設けてその大小により合否判定を行なってもよい。
【００４７】
本発明に係る回転楕円体及び球面体の全面画像検査装置において、前記投入部と、前記搬送部と、前記保持機構と、前記撮像部および前記識別部並びに前記識別部における判定結果に基づき前記選別対象を選別する選別部と、を有する基本ユニットを１または複数備える。（請求項１２）
【００４８】
基本ユニットの数は、選別処理能力により定まる。
【００４９】
本発明に係る回転楕円体及び球面体の全面画像検査装置において、前記搬送部もしくは前記保持機構から外れた前記選別対象および前記保持機構において分離していない前記選別対象を回収する回収手段と、前記回収手段により集められた選別対象を前記投入部に投入する環流ラインを有する。（請求項１３）
【００５０】
この構成によれば、１つ１つに分離していない選別対象や搬送部や保持機構から外れた選別対象は人手を介さず回収手段により回収を行い、回収された選別対象を投入部に還流ラインを用いて還流させるので人手の軽減を図ることができる。回収手段としてはホッパーとシュートを組み合わせたものが考えられる。また、還流ラインはベルトコンベアで構成してもよい。回収手段で回収された選別対象は還流ラインを経由して自動的に投入部に運ばれるようにしてもよい。
【００５１】
本発明に係る回転楕円体及び球面体の全面画像検査装置において、前記撮像部が複数の指向性を実現する光学フィルタと複数の光源の組み合わせを備える。（請求項１４）
【００５２】
この構成によれば、指向性を実現する光学フィルタは、フィルタを通過する光の方向が限定され、カメラに入る乱反射光の影響を低減するのに役立つ。また、光源としては好ましくはＬＥＤランプであってもよい。他の形式の光源であってもよい。これら、複数の光源と光学フィルタの適当な組み合わせと配置により、全体的に均一な間接照明を得ることができる。間接照明はコンピュータ処理に適した画像を得るために重要な役割を果たす。
【００５３】
本発明に係る回転楕円体及び球面体の全面画像検査装置において、前記選別対象が、ピーマンやレモンなどの青果物であってもよい。（請求項１５）
【発明の効果】
【００５４】
本発明は、以上に説明した構成を有し、Ｖ型ベルトコンベアと保持機構を組み合わせることにより、多様な形状寸法を有する選別対象において、複数種類の選別対象に対応することができる。３台以上の独立駆動されるＶ型ベルトコンベアと独自の保持機構の採用により、山積み状態の選別対象の分離を促して、撮像部までに選別対象を１個に分離して、搬送部との接触部を含めて一つ一つの選別対象の全面撮像を行うことにより、従来人手で行っていた選別作業の省力化を図り、選別作業の均一化を図ることができる。
【図面の簡単な説明】
【００５５】
【図１】回転楕円体及び球表面の全面画像検査装置の基本的構成を示す系統図である。
【図２】Ｖ型ベルトコンベアからなる搬送部の外観を示す平面図である。
【図３】Ｖ型ベルトコンベアの開き角度を示す図である。
【図４】Ｖ型ベルトコンベアで構成される搬送部の概要を示す斜視図である。
【図５】搬送部の設置状態を示す、平面図および立面図である。
【図６】保持機構を含む搬送部全体を示す組み立て図である。
【図７】保持機構を含む搬送部の全体構成を示す系統図である。
【図８】保持機構の平面図である。
【図９】補間テグスを備えた保持機構の説明図である。
【図１０】撮像部におけるＷｅｂカメラ位置を示す図面である。
【図１１】識別部の構成および接続を示す図面である。
【図１２】システム全体の動作フローを示すフローチャートである。
【図１３】独立駆動系である搬送部の動作手順を示すフローチャートである。
【図１４】識別部のサーバ用ＰＣの動作手順を示すフローチャートである。
【図１５】画像処理手順を示す図面である。
【図１６】ニューラルネットワークによる識別システムの構成を示す図である。
【発明を実施するための形態】
【００５６】
以下、本発明に係る実施形態を図面に従って説明する。
【００５７】
本発明の説明の都合上、選別対象として青果物である赤ピーマンを取り上げたが、選別対象は青果物に限らず、一般に、回転楕円体または球面体であればよく、工業製品や真珠などの宝飾品であってもよく、本発明は以下に述べる実施形態に限定されるものではない。
【００５８】
（全面画像検査装置の構成について）
説明に際して、先ず、機器構成を中心にして説明を行い、機器構成の説明後に各構成機器の動作説明を行ない、最後に本発明の産業上の利用可能性について触れる。
【００５９】
図1に本発明に係る回転楕円体および球面体の全面画像検査装置（以下、全面画像検査装置と称す）の基本的構成を示す。全面画像検査装置８は、搬送部２、撮像部４、および識別部５をその構成要素として備えている。搬送部２の前段には選別対象９を投入するための投入部１が設けられている。撮像装置４と識別部５とは撮像信号線１０で結ばれており、撮像部４で撮像した選別対象９の画像を識別部５に送信する。
【００６０】
また、選別部６は撮像部４の後段に位置していて、識別部５とは選別信号線１１で結ばれており、識別部５での判定結果を選別部６に送信する。
【００６１】
搬送部２は、独立駆動系とすることにより、選別対象９を撮像部４までに1個に分離して搬送する。搬送部２は光学センサを用いた自動運転が行われている。撮像部４では、選別対象９の全面検査を行うため、６台のWebカメラを用いて６面同時撮像を行う。光源には、選別対象９の鏡面反射を抑制するため、拡散フィルタを取り付けた拡散板付きＬＥＤ光源を用いる。識別部５では、画像処理を施すことにより、選別対象９の大きさ、形状、およびキズの識別を行う。
【００６２】
搬送部２、撮像部４および識別部６の詳細について、以下順次説明する。
【００６３】
搬送部２の構成について、図２から図７を用いて詳述する。図２はＶ型ベルトコンベア２１からなる搬送部２の外観を示す平面図である。Ｖ型ベルトコンベア２１は図３に示すように２台の平ベルトコンベア２０をＶ字型に組み合わせたものである。一対の平ベルトコンベア２０の搬送面をなす角度θ１を例えば１００度とし、平ベルトコンベア２０の搬送面が水平面に対してなす角度θ２を例えば４０度に傾斜するように設定されている。このため、Ｖ型ベルトコンベア２１で搬送される選別対象９は、平ベルトコンベア２０で形成されるＶ溝の底部で、一対の平ベルトコンベア２０により支持される。
【００６４】
選別対象９が赤ピーマンのような回転楕円体である場合、２台の平ベルトコンベア２０をＶ字型に組み合わせることにより、選別対象９を長手方向にそろえることが可能となり、後工程で生じる撮像や画像処理において幸便となる。
【００６５】
角度θ１および角度θ２は、選別対象９の形状等の特性によって変わるものであり、必ずしもそれぞれ１００度と４０度に限定されるものではない。たとえば、角形の工業製品であれば、角度θ１を９０度とし、θ２を４５度とすれば、選別対象９と平ベルトコンベア２０の搬送面との接触面積を大きく取ることができ搬送に幸便である。
【００６６】
図４に選別対象９のＶ型ベルトコンベア上の搬送状況を斜視図で示す。
【００６７】
図２に示すように、搬送部２は上述したＶ型ベルトコンベア２１を３台直列につないで構成を有している。すなわち、投入部１に近い第１段Ｖ型コンベア２５の終端部２５ｂが段差を持って第２段Ｖ型コンベア２６の始端部２６ａに配置され、第２段Ｖ型コンベア２６の終端部２６ｂが段差を持って第３段Ｖ型コンベア２７の始端部２７ａに配置される。第３段Ｖ型コンベア２７の終始端部２７ｂは搬送部２の一部をなす保持機構３に接続される。保持機構３の詳細については後述する。
【００６８】
図５はＶ型ベルトコンベア２１の組み立て状態を示す系統図であり、図５の上の図が平面図、下の図が立面図となっている。
【００６９】
Ｖ型ベルトコンベア２０は図５の下の図に示すように傾斜をもって設置されており、各段のＶ型コンベア２５、２６、２７はそれぞれコンベア駆動機構２９ａ、２９ｂ、２９ｃにより独立してギアードモータ（図示しない）により駆動されるようになっている。すなわちコンベア駆動機構２９ａ、２９ｂ、２９ｃはそれぞれ独立した別個の駆動機構を有していて、図示しない制御装置により個別に駆動制御される。
【００７０】
第１段Ｖ型コンベア２５の始端部２５ａから第３段Ｖ型コンベア２７の終端部２７ｂに向けて選別対象９が上方へ移動しながら搬送される。選別対象９が青果物の場合、Ｖ型コンベア２５、２６、２７は傾斜角度が２０度から３０度の範囲で調整可能となっている。選別対象９が赤ピーマンの場合は好ましくは３０度に設置されている。
【００７１】
このように上方に向かって傾斜をもってＶ型コンベア２５、２６、２７が設置されているので、投入部２から大量に選別対象９が搬送部２に投入された場合、塊状となった選別対象９が搬送過程で崩落して、選別対象９の分離が促進される。
【００７２】
したがってＶ型コンベア２５、２６、２７の傾斜角度は、選別対象９の形状や表面特性等に応じて適宜に定められるものであり、回転楕円体及び球表面の全面画像検査装置においては、概ね１０度乃至４５度が適切な範囲である。
【００７３】
図５及び図６に示すように、各Ｖ型コンベア２５、２６、２７には光学センサ３２、３３、３４がその終端部２５ｂ、２６ｂ、２７ｂ近傍に、搬送方向とは直交する方向に設けられていて、光学センサ３２、３３、３４の信号は図示しない制御装置に接続されていて、Ｖ型コンベア２５、２６、２７の運転停止の制御を行う。光学センサ３２、３３、３４はＬＥＤを発行素子に用いた透過型のセンサであって、発光素子の反対側の受光素子と協働して、その間にある物体の有無を検出する。光学センサは反射型であってもよい。反射型のセンサは発光素子の反対側に反射板を置き、発光素子と同じユニットに配した受光素子により、物体の有無の検出を行う。光学センサの代わりに他のタイプの近接スイッチ（例えば、リミットスイッチを用いたもの）を用いてもよい。
【００７４】
第２段Ｖ型コンベア２６の幅は、第１段Ｖ型コンベア２５の幅より狭くなっており、第３段Ｖ型コンベア２７の幅は、第２段Ｖ型コンベア２６よりも狭くなっている。これは、第１段Ｖ型コンベア２５に投入された塊状となった選別対象９が、搬送されるにつれて山積み状態を崩すのに有利に働く。
【００７５】
本実施形態においては、Ｖ型コンベアの幅の減少割合は各３０％としている。どの程度狭くするかは選別対象９の形状、特性等に応じて最適な値は適宜変わるものであり、第３段Ｖ型コンベア２７の幅は第２段Ｖ型コンベア２６の幅の７０％以上が最適となることがあるし、第２段Ｖ型コンベア２６と第３段Ｖ型コンベア２７の幅にほとんど差を設けないことが好ましいこともある。
【００７６】
投入部１にはディザー装置１３を備えてもよい（図５参照）。係るディザー装置１３は例えば電歪振動子もしくは圧電素子により構成されていて、電圧を印加することにより微振動を発生させるものであってもよい。選別対象９が塊状になるのを防止すると共に、選別対象９の搬送部２への送り出しのためのフィーダーとして作用する。
【００７７】
投入部１の本体にディザー装置１３を設ける代わりに、山積み防止板１４を投入部１の出口もしくは搬送部２入り口に設けてもよい（図６参照）。山積み防止板１４は、電歪振動子もしくは圧電素子により、電圧を印加することにより微振動を発生するものであってもよい。なお、図６は投入部１と保持機構３を含む搬送部２の組み立て状態を示す系統図であり、図６の上の図が平面図、下の図が立面図となっている。
【００７８】
３段のＶ型コンベア２５、２６、２７の上流には保持機構３が設けられている。すなわち図６に示すように、第３段Ｖ型コンベア２７の終端部２７ｂに保持機構３が段差をもって配置されている。そして、保持機構３は主としてプーリー４３、プーリー駆動装置４４とテグス４１から構成されていて、第３段Ｖ型コンベア２７を搬送されてきた選別対象９は、保持機構３に乗り移るようになっている（図７参照）。つまり保持機構３は、平行にかつ水平に張られた２本のテグス４１と、このテグス４１を懸架して回転駆動する１組のプーリー４３とから成る。２本のテグス４１の間隔は選別対象９の短手方向の寸法よりも小さく、適度の間隔をもって張られているので、選別対象９がテグス４１上に安定して位置するようになっている。本実施形態においてテグス４１間の距離は、選別対象９である赤ピーマンの代表寸法から２５ｍｍとしたがこれに限定されるものでない。
【００７９】
なお、各テグス４１は、図６に示すように、それぞれ３つのプーリー４３により懸架駆動されていて、各プーリー４３はプーリー駆動装置４４により同期して駆動されるので、２本のテグス４１は同じ速度で駆動され、選別対象９を第３段Ｖ型コンベア２７から離れる方向に搬送する。なお、プーリー駆動機構４４はコンベア駆動機構２９とはそれぞれ独立した別個の駆動機構を有していて、図示しない制御装置により個別に駆動制御される。図示しない制御装置はプーリー駆動機構４４と各コンベア駆動機構２９について、好ましくは共通であってもよい。制御装置を共通化すれば設備を簡素化することができる。図８に保持機構３の平面図を示す。選別対象９は図８の下から上に向けて搬送される。本実施形態において保持糸として、釣り糸として使用されるテグス４１を採用したが、選別対象９の撮像を行う際に、全面撮像に支障がないものであればよく、光透過性のある糸が好ましい。光透過性がなくても、径が十分小さくて選別対象９を搬送できる強度を有していてプーリー４３との粘着性のあるものであってもよい。光透過性がなくても細い糸であれば、選別対象９によっては画像処理上の問題がない場合もあるからである。
【００８０】
保持機構３において、選別対象９が２本のテグス４１の上に保持されているので、選別対象９の底面を下方から撮像するのに適した構造となっている。つまり、２本の光透過性のある糸で選別対象９が支えられているので、撮像を妨げるものがないからである。
【００８１】
図９に示すように、２本のテグス４１の間に補間テグス４５を設けてもよい。図９は補間テグス４５を設けた場合の保持機構３における選別対象９とテグス４１、補助テグス４５との位置関係を示す平面図（ａ）と立面図（ｂ）である。補間テグス４５を設ければ、両脇の２本のテグス４１と協働して選別対象９を３点支持することができる。３点支持すれば選別対象９の姿勢が安定して撮像が容易になり、撮像をスムーズ行うことができる。また、選別対象９が本実施形態のような回転楕円体である場合は、その長手方向が搬送方向に揃い後工程で生じる画像処理が容易となる。また、図９（ａ）に示すように選別対象９ｂが別途定めた規格よりも若干小さい場合であっても、当該保持機構３により搬送することが可能となり、本全面画像検査装置８において選別を行うことができる。
【００８２】
なお、２本のテグス４１を駆動するプーリー４３はプーリー駆動軸４２を介してプーリー駆動装置４４により同軸的に駆動され、プーリー駆動装置４４により駆動されない残りのプーリー４３はテグス４１を懸架する。一方、小型プーリー４７はプーリー駆動軸４２には結合されておらず、補間テグス４５の動きに応じて遊転する。
【００８３】
保持機構３は撮像部４の中に設置されている（図１参照）。撮像部４には６台のＷｅｂカメラ５１と８台のＬＥＤ光源５３及び８台の拡散フィルタ５５が設置されている。一対のＬＥＤ光源５３と拡散フィルタ５５とは協働して１つの間接光源を形成する。ＬＥＤ光源５３からの光は拡散フィルタ５５で分散されて、選別対象９に間接照明を与える。拡散フィルタ５５は光を拡散させるものであればよく、例えばガラス若しくは合成樹脂からなる断面が鋸歯状の板部材であってよい。間接光源は選別対象９の表面において鏡面反射を起こすことを防ぐので、選別対象９の傷等の表面上の瑕疵を識別判定する際に適している。
【００８４】
本実施形態においては、６台のWebカメラ５１のうち４台は、図１０（ａ）に示すように、選別対象９の側部周囲に搬送方向からみて水平面から４５°ずらして９０°毎に配置して、残りの２台は、図１０（ｂ）に示すように選別対象９の前後に、搬送方向に対して多少の角度をもたせて、６台のＷｅｂカメラ５１が直交座標系を構成するように配置してある。そして、６台のＷｅｂカメラ５１により、保持機構３上に保持された選別対象９の全面の撮像を行う。
【００８５】
なおWebカメラ５１にはELECOM社製のUCAM-E1L30MNWH（最大解像度:６４０×４８０ピクセル、受像素子：１／４インチ、３０万画素ＣＣＤセンサ、量子化：２４ｂｉｔ／ｐｉｘｅｌ、分解能：０．３ｍｍ／ｐｉｘｅｌ）を用いた。また、間接光源として、拡散板付きLED光源ELPA社製のPM-L200（W）を８台用いた。
【００８６】
次に識別部６の構成について図１１を用いて説明する。識別部６は、サーバ用パーソナルコンピュータ９２（以下ＰＣと称す）が１台およびクライアント用ＰＣ９１が２台により構成される。
【００８７】
識別部６では、６台のＷｅｂカメラ５１がＵＳＢインターフェースを介して、サーバ用ＰＣ９２とクライアント用ＰＣ９１とに接続されている。つまり、ＰＣ１台につき２台のＷｅｂカメラ５１が接続されており、撮像部４で撮像された画像をクライアント用ＰＣ９１からサーバ用ＰＣ９２に通信ライン９３を介して転送を行い、撮像された６枚の画像を用いて、サーバ用ＰＣ９２にて選別対象９の大きさ、形状およびキズの識別並びに日焼けや色ムラの識別を行う。
【００８８】
本発明に係る全面画像検査装置８において、搬送部２もしくは保持機構３から外れた選別対象９若しくは保持機構３において分離していない選別対象９を回収する回収手段（図示しない）を保持機構３の後段に設けて、回収手段（図示しない）により集められた選別対象９を投入部１に搬送する環流ライン（図示しない）を設けてもよい。
【００８９】
このように還流ラインを設ければ、１つ１つに分離していない選別対象９や搬送部２や保持機構３から外れた選別対象９は人手を介さず回収を行い、回収された選別対象９を投入部１に還流させるので人手の軽減を図ることができる。回収手段としてはホッパーとシュートを組み合わせたものが考えられる。また、還流ラインはベルトコンベアで構成してもよい。回収手段で回収された選別対象９は還流ラインを経由して自動的に投入部１に運ばれるようにしてもよい。
【００９０】
（全面画像検査装置の全体動作について）
以上、本発明に係る全面画像検査装置８の基本的構成、搬送部２、撮像部４、および識別部５を中心に説明した。次にこれらの動作について説明を行う。先ず、本発明に係る全面画像検査装置８の全体フローを図１２のフローチャートを用いて説明する。
【００９１】
１）複数個の選別対象９が投入部１から搬送部２に投入される。
【００９２】
２）３）投入された選別対象９は、独立駆動される３台のＶ型コンベア２５、２６、２７と保持機構３のテグス４１により１個に分離して撮像部４まで運ばれる。搬送部２の動作（２）３））については別途詳述する。
【００９３】
４）テグス４１の送りにより選別対象９が保持機構３（撮像部４内にある）のほぼ中間位置にくると選別対象９は停止して、保持機構３に保持された選別対象９は、６台のＷｅｂカメラ５１により６方向から同時に撮像される。
【００９４】
５）撮像された６枚の画像は識別部５のサーバ用ＰＣ９２とクライアント用ＰＣ９１に送られて、６枚の画像が揃った段階で識別部５のサーバ用ＰＣ９２にて選別対象９の大きさ、形状、キズに対する識別を行う。
【００９５】
６）更に、６枚の画像は、識別部５のサーバ用ＰＣ９２にてニューラルネットワークを利用したテンプレートマッチングにより、“日焼け”と“色ムラ”について識別を行う。識別部５の動作（５）６））については別途詳述する。
【００９６】
７）識別部５における判定結果に基づき、識別部５の下流にある選別部６がその合否判定にしたがって選別を行う。合格の判定を受けて選別部６で選別された選別対象は出荷ラインに流れる。一方、不合格となった選別対象は選別部６から、図示しない還流ラインを経由して投入部１に搬送される。
【００９７】
（搬送部２の動作の詳細について）
保持機構３を含む搬送部２の運転手順を図１３を用いて説明する。これら運転手順は図示しない制御装置によりコンピュータ制御される。
【００９８】
はじめに、すべてのＶ型コンベア２５、２６、２７およびテグス４１を搬送方向に回転（正回転）させる。次に、光学センサ１（３２）が反応した場合、選別対象９が第２段Ｖ型コンベア２６に搬送されたと認識し、第１段Ｖ型コンベア２５を停止させる。しかし、光学センサ１（３２）がt1秒間反応し続けた場合は、第１段Ｖ型コンベア２５を再度t2秒間正回転させる。
【００９９】
次に、光学センサ２（３３）が反応した場合は、選別対象９が第３段Ｖ型コンベア２７に搬送されたと認識し、第２段Ｖ型コンベア２６を停止させる。しかし、光学センサ２（３３）がt1秒間反応し続けた場合は、第２段Ｖ型コンベア２６を再度t2秒間正回転させる。ここにt1、t2、xの値は、選別対象９により適宜、変更調整されうるものである。
【０１００】
次に、光学センサ３（３４）が反応した場合、選別対象９がテグス４１に搬送されたと認識し、第３段Ｖ型コンベア２７を停止させる。次に、テグス４１が１秒間正回転をさせた後、撮像を行うためにテグス４１の中間位置にて１秒間停止させる。最後に、再びテグス４１を正回転させて、選別対象９を排出する。また、すべての光学センサ３２、３３、３４が１秒間反応しない場合は、自動的に搬送を停止させる。これらの値に限定されるものではなく、選別対象９により適宜、変更調整されうるものである。
【０１０１】
次に、搬送部２の動作を選別対象９との関係で説明する。
【０１０２】
選別対象９が互いに隣接した状態では正常な検査が行えないため、選別対象９を撮像部４までに１個に分離する必要がある。そこで、搬送部２では３台のＶ型ベルトコンベア２０およびテグス４１をそれぞれ独立かつ連動して駆動する独立駆動系を用いた。以下に独立駆動系について具体的に説明する。
【０１０３】
投入された選別対象９は山積み状態となっているが、３台のＶ型コンベア２５、２６、２７と保持機構３のテグス４１により撮像部４まで運ばれる。Ｖ型ベルトコンベア２１を構成する２台の平ベルトコンベア２０はそれぞれ別個に制御される。すなわち２台の平ベルトコンベア２０が同一方向に同一速度で駆動される“順送りモード”と平ベルトコンベア２０が異なった速度で駆動される“山崩しモード”とがあり、山崩しモードには送り方向は同じで速度を変えるモード、送り方向を違えるモードおよび一方の平ベルトコンベアを停止させるモード等がある。図示しない制御装置においてプラグラム制御により、適宜、“順送りモード”と“山崩しモード”とを繰り返して、選別対象９を上方に搬送する。
【０１０４】
さらに、Ｖ型ベルトコンベア２１が上向きの傾斜をもって設置されているので、選別対象９に積み重なっている選別対象９は搬送時に反搬送方向に崩落するので、選別対象９の山崩し（分離）に有利に働く。
【０１０５】
また、Ｖ型コンベア２５、２６、２７と保持機構３はそれぞれ段差をもって接続されているので、次段に乗り移る際の落下により選別対象９は分離される。
【０１０６】
さらに、Ｖ型コンベア２５、２６、２７と保持機構３はそれぞれ独立して駆動されるので、その送り速度は別個に調整可能となっている。第２段Ｖ型コンベア２６の送り速度を第１段Ｖ型コンベア２５の送り速度よりも速くすることが好ましい。送り速度を上げることにより、第２段Ｖ型コンベア２６に落下した選別対象９の塊は崩壊する。同様に、第３段Ｖ型コンベア２７の送り速度を第２段Ｖ型コンベア２６の送り速度よりも速くすることが好ましい。これにより選別対象９の分離は促進される。更に、保持機構３のテグス４１の送り速度を第３段Ｖ型コンベア２７の送り速度よりも速くすることが好ましく、同様の作用効果が期待でき、選別対象９の分離が促進される。
【０１０７】
搬送コンベアがＶ字型をしているので選別対象９はＶ型ベルトコンベア２１の底部にその向きを長手方向そろえて搬送される。
【０１０８】
選別対象９が分離されて、長手方向にそろえて撮像されるので、識別部での画像処理が簡便になり識別能力も高くなる。分離されていない選別対象の識別は困難な場合が多いからである。
【０１０９】
（撮像部４の動作の詳細について）
Ｗｅｂカメラ５１は常時撮像部５をモニタしており、選別対象９が保持機構３に存在しない場合の画像との差分をとることにより、選別対象９が撮像位置に到着したと判定して、保持機構３の送りを停止して、静止状態で６台のＷｅｂカメラ５１により選別対象９の６面を同時撮像する。クライアント用ＰＣ９１で撮像した画像は、サーバ用ＰＣ９２へＬＡＮを経由して転送される。
【０１１０】
なお撮像位置の判定は、２秒毎に１回撮像したモニタ画像に対して行い、連続して選別対象９を検知した場合に選別対象９が撮像位置に到着したと判定する。撮像は保持機構３を停止させることなく、選別対象９の移動中に行ってもよい。選別対象９の移動中に撮像を行えば、全面画像検査装置の稼働率が向上する。
【０１１１】
モニタ画像の差分をとる際に、画像の色情報を用いれば識別対象が赤ピーマンか青ピーマンかの判定も可能となる。赤ピーマンの色情報を用いて、モニタ画像の色相が連続して赤ピーマンの色情報と一致した場合に、選別対象９が撮像位置に搬送されたと認識してもよい。この場合は、撮像位置の判定だけではなく、選別対象９の種別の判定も行うことになる。
【０１１２】
選別対象９の種別があらかじめ特定されている場合は、光学センサ３（３４）が選別対象９を検知してから所定の時間経過をタイマで計測して、撮像位置と判定してもよい。なお、撮像位置は保持機構３のほぼ中間位置になるように計画されている。
【０１１３】
（識別部５の動作の詳細について）
以下に、識別部での検査手順（動作）を示す。
【０１１４】
本実施形態では、赤ピーマン６面の撮像画像６枚それぞれに対して以下の処理を実施することにより、外観品質検査を実行する。ここで、識別部４におけるサーバ用ＰＣ９２で実行される選別対象９の各画像に対する検査処理のフローチャートを図１４に示すと共に、画像処理の流れを図１５に示す。
【０１１５】
１）クライアント用ＰＣ９１で撮像した画像と合わせて６面（６枚）の撮像画像が揃うのを待つ。
【０１１６】
２）撮像済みRGBカラー画像をCIE 1976 (L*, a*, b*) カラー画像に変換する。
【０１１７】
３）赤ピーマンのテンプレート色（ここでは赤色）とのユークリッド距離が予め定めた閾値以下となる領域（ピーマン領域）のみ「１」とする２値化を行い、モノクロ画像に変換する。
【０１１８】
４）左右・上下・斜めの各近傍に対して８近傍収縮膨張処理を施して、ノイズ除去を行う。
【０１１９】
５）ラベリング処理により画素値「１」からなる各連結領域の面積を算出し、面積が予め定めた閾値以上となる連結領域を抽出することにより、ピーマン領域の抽出を行う。その後、以下に述べる大きさ、形状、及び黒いキズに対するそれぞれの判定処理を行う。
【０１２０】
６）大きさ判定は、上記５）により算出されたピーマン領域の面積が規格に基づき定めた閾値以上の場合を「大」と判定し、それ以外の場合を「小」と判定することにより行う。
【０１２１】
７）形状判定は、まずピーマン領域と接する長方形の中で、その面積が最小となるものを検出することにより、長方形近似を行う。
【０１２２】
８）次に、近似された長方形において、長辺÷短辺が規格に基づき定めた閾値以上のときのみ「良品」と判定し、それ以外の場合を「形状不良」と判定することにより、形状判定を行う。
【０１２３】
９）キズ判定は、まず撮像済みRGBカラー画像をR値のみからなるグレースケール画像に変換し、予め定めた閾値以下の領域（黒いキズ領域）のみを「１」とする２値化を行うことにより得られたモノクロ画像と、上記５）により抽出されたピーマン領域のみ画素値「１」とするモノクロ画像とに論理積演算を行い、キズ画像を得る。
【０１２４】
１０）次に、キズ画像にラベリング処理を施し画素値「１」の連結領域の面積を算出し、面積が規格に基づき定めた閾値以下のときのみ「良品」と判定し、それ以外の場合を「キズ不良」と判定することにより、キズ判定を行う。
【０１２５】
以上により得られた各画像の判定結果に対して、６枚すべての画像の判定結果を以下のとおり統合することにより、最終的な検査結果とする。
【０１２６】
大きさ判定については、１つでも「小」と判定した画像がある場合を「小」とし、それ以外の場合を「大」とする。形状判定については、１つでも「形状不良」と判定した画像がある場合を「形状不良」とする。また、キズ判定についても、１つでも「キズ不良」と判定した画像がある場合を「キズ不良」とする。最後に、「形状不良」若しくは「キズ不良」の何れでもない場合に限り、「良品」と判定する。
【０１２７】
次に、ニューラルネットワーク（以下、ＮＮという）を利用したテンプレートマッチングによる、“日焼け”と“色ムラ”の識別について説明を行う。ＮＮは、人の目で判断した実際の日焼けや熟れ班などの曖昧な不良状況を識別するのに適している。
【０１２８】
撮像された赤ピーマンの画像はサーバ用ＰＣ９２へ送られ、６枚の画像が識別部５のサーバ用ＰＣ９２に揃うのを待って、予め定めた閾値により２値化され、背景を黒色とした白い画像に変換処理される（図１４の１）、２）、３）と共通の処理が施される）。そして、二値化変換処理された画像データをニューラルネットワークの入力に適する数値に変換するために、２次元高速フーリエ変換（以下、２ＤＦＦＴともいう）を用いて周波数解析処理し、加算平均して求めた値で正規化を行い、入力層の各ユニット(ニューロ素子ともいう）に入力するスラブ値とする。また、２ＤＦＦＴから得られる成分の有効領域が６４×６４であるため、スラブ値は６４個とする。
【０１２９】
本実施形態では、ＮＮは３階層構造を有していて、３階層構造の演算部は、入力層（６４ニューロ素子）、隠れ層（３５ニューロ素子）および出力層（１ニューロ素子）の３層からなっている。入力層では２ＤＦＦＴから得られる成分の有効領域ごとに演算処理されたスラブ値を対応するニュ−ロ素子に入力する。隠れ層は、本例では３５個のニュ−ロ素子からなり、入力層の情報を伝搬演算して出力層に伝達する役割を果たしている。この隠れ層が多くなればそれだけ、入力層のスラブ値の変動に対しても不変に各パタ−ンの各々に分離演算できる。出力層には、識別すべき「赤ピーマンの品質」の種類ごとに１対１にて対応するように各１個のニュ−ロ素子が設けられている。そして、学習により完成したニュ−ロ素子間の重み係数による出力ニューロ素子についてその反応値を出力ニューロ素子の数個分（ここでは１個）を算出する。
【０１３０】
ここで、識別部５におけるＮＮの基本構成を図１６に示す。図１６中の各ニューロテンプレートが赤ピーマンの特定の品質である“日焼け”と“色ムラ”であり、これらを個々に識別するものとなる。その識別過程は赤ピーマンの画像が前処理である２ＤＦＦＴ処理され、ＮＮへの入力値であるスラブ値が算出される。この場合は６４個の値が入力される。次に、それぞれのニューロテンプレートにこの値が入力され、ＮＮの前向き計算が実施される。
【０１３１】
等級規格に則った（正しい）日焼け画像が入力された場合、日焼けニューロテンプレートの出力層のユニットの反応値はその最大値に近い値となる。反応値のスケールは任意であってもよいが、ここでは判定の便のため、出力層の計算結果にシグモイド関数を適用して０〜１の実数に正規化して出力する。
【０１３２】
同様に、色ムラニューロテンプレートの出力層についても、正しい日焼け画像が入力された場合に１に近い値を出力し、正しくない日焼け画像に対してはその度合いに応じて１より小さい値を出力する。
【０１３３】
このＮＮによるテンプレートマッチングにより精度の高い識別判定が実現できる。
【０１３４】
ところで、本発明の実施形態に係る赤ピーマンの全面画像検査装置において、選別対象９である赤ピーマンについてあらかじめデジタルカメラで撮影された画像データに基づいた品質に関するデータがＮＮを用いて学習登録されている。そして、画像データのうち、特に赤ピーマンの品質を識別する上で重要な特徴的模様（パターン）に関するデータが２次元高速フーリエ変換を用いて周波数解析処理され、入力パターン（スラブ値）としてＮＮの入力層に入力され、記憶されている。そして、撮像部４のＷｅｂカメラ５１で撮像された画像データが上述した手順により順次変換処理されＮＮへの入力パターンが作成される。作成された入力パターンは入力層→隠れ層→出力層へ伝達・処理され、出力層から出力である反応値が出力される。この出力値は、それまでの学習によって得られた重み係数に基づくもので、本例の場合には、赤ピーマンの品質の規格に対する適合度が出力される。この反応値に対して、規格に基づき定めた閾値で合否判定を行い、最終的な識別判定結果とする。
【０１３５】
また、ＮＮにおいて、赤ピーマンの品質パターンにつき、逆に規格に則った正しい画像に対して正しい出力値が与えられると、出力層→隠れ層→入力層の順で伝達・処理され、各層間の重み係数について学習がなされるが、この重み係数の学習は、実際の出力値と正しい出力値との差が減るように、入力ニューロ素子・隠れニューロ素子・出力ニューロ素子のニューロ素子間における結合の強さを変化・収束させることにより行う。
詳しくは、ＮＮ学習に関し、ＮＮの構成は階層型の３層ＮＮを用いており、学習方法として改良型誤差逆伝搬法を採用している。この改良型誤差逆搬法とは、下記の数１で表される学習アルゴリズムである。
【０１３６】
【数１】
ここに、Ｗは重み、ｔは学習回数、δは一般化誤差、Ｏはニューラル素子の出力値、ηは学習定数、αは慣性定数、βは振動定数を示す。
【産業上の利用可能性】
【０１３７】
本発明の全面画像検査装置によれば回転楕円体及び球体の全面画像を検査することにより、青果物の検査の自動化を図ることができる。また、工業製品や宝飾品の全面画像検査にも用いることができる。
【符号の説明】
【０１３８】
１ 投入部
２ 搬送部
３ 保持機構
４ 撮像部
５ 識別部
６ 選別部
８ 全面画像検査装置（基本ユニット）
９ 選別対象
１０ 撮像信号線
１１ 選別信号線
１２ 投入口
１３ ディザー装置
１４ 山積み防止板
１５ 回収手段
１６ 還流ライン
２０ 平ベルトコンベア
２１ Ｖ型ベルトコンベア
２５ 第１段Ｖ型コンベア
２６ 第２段Ｖ型コンベア
２７ 第３段Ｖ型コンベア
２９ コンベア駆動機構
３２ 光学センサ１
３３ 光学センサ２
３４ 光学センサ３
４１ テグス
４２ プーリー駆動軸
４３ プーリー
４４ プーリー駆動機構
４５ 補間テグス
４７ 小型プーリー
５１ Webカメラ
５３ ＬＥＤ光源
５５ 拡散フィルタ
９１ クライアント用ＰＣ
９２ サーバー用ＰＣ
９３ 通信ライン
９４ USBインターフェース
【特許請求の範囲】
【請求項１】
回転楕円体又は球面体の選別対象を搬送する搬送部と、
前記搬送部に続き、前記選別対象を保持する保持機構と、
前記選別対象を撮像する複数のカメラを有する撮像部と、
前記撮像部で撮像された前記選別対象の複数の画像を識別判定する識別部とを備えた回転楕円体及び球面体の全面画像検査装置であって、
前記搬送部は、２台の平ベルトコンベアをベルト走行方向断面がＶ字となるように傾け組み合わせたＶ型コンベアを複数有していて、
複数の前記Ｖ型コンベアは、それぞれ独立した駆動機構を有し、搬送方向上流から下流にかけて、それぞれ段を順に下げて配置され、かつ、それぞれの前記Ｖ型コンベアは前記選別対象を上方に搬送するように傾斜をもって設置されており、
前記保持機構は、前記選別対象を搬送保持するための複数の紐様保持部を有し、前記Ｖ型コンベアとは独立して駆動され、前記紐様保持部の始端部が前記搬送部の最下段のＶ型コンベアの終端部に配置されている回転楕円体及び球面体の全面画像検査装置。
【請求項２】
前記紐様保持部が光透過性を有する請求項１に記載の回転楕円体及び球面体の全面画像検査装置。
【請求項３】
前記カメラの台数が６台であり、前記複数の画像が前記選別対象を異なる６方向から撮像されてなる請求項１又は請求項２に記載の回転楕円体及び球面体の全面画像検査装置。
【請求項４】
前記選別対象が前記保持機構の所定の位置に到達したことを検出する撮像位置検出手段と、前記撮像位置検出手段からの指令を受けて前記選別対象を前記カメラにより同時に撮像する同期撮像機構を有する請求項１〜３のいずれか１項に記載の回転楕円体及び球面体の全面画像検査装置。
【請求項５】
少なくとも最上段を除く前記各Ｖ型コンベヤの始端部、及び最下段のＶ型コンベヤの終端部に、光学センサを取り付け、
前記光学センサにより前記選別対象が前段から次段のＶ型コンベヤへ搬送され、又は最下段のＶ型コンベヤから前記保持機構へ搬送されたことを検知した場合に、前段又は最下段のＶ型コンベヤの搬送を一定時間停止する手段、
もしくは、前記光学センサにより前記選別対象が前段から次段のＶ型コンベヤへ搬送され、又は最下段のＶ型コンベヤから前記保持機構へ搬送されたことを検知した場合に、前段又は最下段のＶ型コンベヤの搬送を一定時間逆送させる手段、
を備えた請求項１〜４のいずれか１項に記載の選別対象の全面検査装置。
【請求項６】
前記Ｖ型コンベアを構成する２台の前記平ベルトコンベアの送り速度が、それぞれ異なる速度である請求項１〜５のいずれか１項に記載の回転楕円体及び球面体の全面画像検査装置。
【請求項７】
前記搬送部の上流側に前記選別対象を投入する投入部が設けられていて、前記投入部に微振動を与えるディザーを備えた請求項１〜６のいずれか１項に記載の回転楕円体及び球面体の全面画像検査装置。
【請求項８】
前記Ｖ型コンベアにおいて上流段のＶ型コンベアの幅が下流段のＶ型コンベアの幅より狭くない請求項１〜７のいずれか１項に記載の回転楕円体及び球面体の全面画像検査装置。
【請求項９】
前記画像を二値化する手段と、
当該二値化手段により得られる二値化画像の輪郭内の画素数から前記選別対象の大きさを判定する大きさ判定手段と、
前記二値化画像から前記選別対象の輪郭に外接する外接長方形を求める手段と、
当該外接長方形の縦横比から前記選別対象の形状を判定する形状判定手段とを有する請求項１〜８のいずれか１項に記載の回転楕円体及び球面体の全面画像検査装置。
【請求項１０】
前記画像の画素からブロブを算出する手段と、
当該ブロブ内の画素数を傷等の大きさとして前記選別対象の表面状態を判定する傷等判定手段とを備えた請求項１〜９のいずれか１項に記載の回転楕円体及び球面体の全面画像検査装置。
【請求項１１】
前記選別対象の画像を入力とするニューラルネットワークにおいて、選別規格により定められた画像を教師情報として使用して、学習によりニューラルネットワーク内の結合係数を求め、前記結合係数を用いて前記選別対象の日焼けもしくは色ムラの度合いを算出する学習識別手段を有する請求項１〜１０のいずれか１項に記載の回転楕円体及び球面体の全面画像検査装置。
【請求項１２】
前記投入部と、前記搬送部と、前記保持機構と、前記撮像部および前記識別部並びに前記識別部における判定結果に基づき前記選別対象を選別する選別部と、を有する基本ユニットを１または複数備えた請求項１〜１１のいずれか１項に記載の回転楕円体及び球面体の全面画像検査装置。
【請求項１３】
前記搬送部もしくは前記保持機構から外れた選別対象、および前記保持機構において分離していない選別対象、を回収する回収手段と、前記回収手段により集められた前記選別対象を前記投入部に投入する環流ラインを有する請求項１〜１２のいずれか１項に記載の回転楕円体及び球面体の全面画像検査装置。
【請求項１４】
前記撮像部が複数の指向性を実現する光学フィルタと複数の光源の組み合わせを備えた請求項１〜１３のいずれか１項に記載の回転楕円体及び球面体の全面画像検査装置。
【請求項１５】
前記選別対象が、ピーマンやレモンなどの青果物である請求項１〜１４のいずれか１項に記載の回転楕円体及び球面体の全面画像装置。
【請求項１】
回転楕円体又は球面体の選別対象を搬送する搬送部と、
前記搬送部に続き、前記選別対象を保持する保持機構と、
前記選別対象を撮像する複数のカメラを有する撮像部と、
前記撮像部で撮像された前記選別対象の複数の画像を識別判定する識別部とを備えた回転楕円体及び球面体の全面画像検査装置であって、
前記搬送部は、２台の平ベルトコンベアをベルト走行方向断面がＶ字となるように傾け組み合わせたＶ型コンベアを複数有していて、
複数の前記Ｖ型コンベアは、それぞれ独立した駆動機構を有し、搬送方向上流から下流にかけて、それぞれ段を順に下げて配置され、かつ、それぞれの前記Ｖ型コンベアは前記選別対象を上方に搬送するように傾斜をもって設置されており、
前記保持機構は、前記選別対象を搬送保持するための複数の紐様保持部を有し、前記Ｖ型コンベアとは独立して駆動され、前記紐様保持部の始端部が前記搬送部の最下段のＶ型コンベアの終端部に配置されている回転楕円体及び球面体の全面画像検査装置。
【請求項２】
前記紐様保持部が光透過性を有する請求項１に記載の回転楕円体及び球面体の全面画像検査装置。
【請求項３】
前記カメラの台数が６台であり、前記複数の画像が前記選別対象を異なる６方向から撮像されてなる請求項１又は請求項２に記載の回転楕円体及び球面体の全面画像検査装置。
【請求項４】
前記選別対象が前記保持機構の所定の位置に到達したことを検出する撮像位置検出手段と、前記撮像位置検出手段からの指令を受けて前記選別対象を前記カメラにより同時に撮像する同期撮像機構を有する請求項１〜３のいずれか１項に記載の回転楕円体及び球面体の全面画像検査装置。
【請求項５】
少なくとも最上段を除く前記各Ｖ型コンベヤの始端部、及び最下段のＶ型コンベヤの終端部に、光学センサを取り付け、
前記光学センサにより前記選別対象が前段から次段のＶ型コンベヤへ搬送され、又は最下段のＶ型コンベヤから前記保持機構へ搬送されたことを検知した場合に、前段又は最下段のＶ型コンベヤの搬送を一定時間停止する手段、
もしくは、前記光学センサにより前記選別対象が前段から次段のＶ型コンベヤへ搬送され、又は最下段のＶ型コンベヤから前記保持機構へ搬送されたことを検知した場合に、前段又は最下段のＶ型コンベヤの搬送を一定時間逆送させる手段、
を備えた請求項１〜４のいずれか１項に記載の選別対象の全面検査装置。
【請求項６】
前記Ｖ型コンベアを構成する２台の前記平ベルトコンベアの送り速度が、それぞれ異なる速度である請求項１〜５のいずれか１項に記載の回転楕円体及び球面体の全面画像検査装置。
【請求項７】
前記搬送部の上流側に前記選別対象を投入する投入部が設けられていて、前記投入部に微振動を与えるディザーを備えた請求項１〜６のいずれか１項に記載の回転楕円体及び球面体の全面画像検査装置。
【請求項８】
前記Ｖ型コンベアにおいて上流段のＶ型コンベアの幅が下流段のＶ型コンベアの幅より狭くない請求項１〜７のいずれか１項に記載の回転楕円体及び球面体の全面画像検査装置。
【請求項９】
前記画像を二値化する手段と、
当該二値化手段により得られる二値化画像の輪郭内の画素数から前記選別対象の大きさを判定する大きさ判定手段と、
前記二値化画像から前記選別対象の輪郭に外接する外接長方形を求める手段と、
当該外接長方形の縦横比から前記選別対象の形状を判定する形状判定手段とを有する請求項１〜８のいずれか１項に記載の回転楕円体及び球面体の全面画像検査装置。
【請求項１０】
前記画像の画素からブロブを算出する手段と、
当該ブロブ内の画素数を傷等の大きさとして前記選別対象の表面状態を判定する傷等判定手段とを備えた請求項１〜９のいずれか１項に記載の回転楕円体及び球面体の全面画像検査装置。
【請求項１１】
前記選別対象の画像を入力とするニューラルネットワークにおいて、選別規格により定められた画像を教師情報として使用して、学習によりニューラルネットワーク内の結合係数を求め、前記結合係数を用いて前記選別対象の日焼けもしくは色ムラの度合いを算出する学習識別手段を有する請求項１〜１０のいずれか１項に記載の回転楕円体及び球面体の全面画像検査装置。
【請求項１２】
前記投入部と、前記搬送部と、前記保持機構と、前記撮像部および前記識別部並びに前記識別部における判定結果に基づき前記選別対象を選別する選別部と、を有する基本ユニットを１または複数備えた請求項１〜１１のいずれか１項に記載の回転楕円体及び球面体の全面画像検査装置。
【請求項１３】
前記搬送部もしくは前記保持機構から外れた選別対象、および前記保持機構において分離していない選別対象、を回収する回収手段と、前記回収手段により集められた前記選別対象を前記投入部に投入する環流ラインを有する請求項１〜１２のいずれか１項に記載の回転楕円体及び球面体の全面画像検査装置。
【請求項１４】
前記撮像部が複数の指向性を実現する光学フィルタと複数の光源の組み合わせを備えた請求項１〜１３のいずれか１項に記載の回転楕円体及び球面体の全面画像検査装置。
【請求項１５】
前記選別対象が、ピーマンやレモンなどの青果物である請求項１〜１４のいずれか１項に記載の回転楕円体及び球面体の全面画像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１６】
【図７】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１６】
【図７】
【図１５】
【公開番号】特開２０１１−２４０２５７（Ｐ２０１１−２４０２５７Ａ）
【公開日】平成２３年１２月１日（２０１１．１２．１）
【国際特許分類】
【出願番号】特願２０１０−１１４６６０（Ｐ２０１０−１１４６６０）
【出願日】平成２２年５月１８日（２０１０．５．１８）
【特許番号】特許第４６４９６２８号（Ｐ４６４９６２８）
【特許公報発行日】平成２３年３月１６日（２０１１．３．１６）
【出願人】（５０９０９３０２６）公立大学法人高知工科大学 (95)
【Ｆターム（参考）】
【公開日】平成２３年１２月１日（２０１１．１２．１）
【国際特許分類】
【出願日】平成２２年５月１８日（２０１０．５．１８）
【特許番号】特許第４６４９６２８号（Ｐ４６４９６２８）
【特許公報発行日】平成２３年３月１６日（２０１１．３．１６）
【出願人】（５０９０９３０２６）公立大学法人高知工科大学 (95)
【Ｆターム（参考）】
[ Back to top ]