画像処理装置および画像処理方法
【課題】多品種に対応可能で、任意の複数台のカメラからの画像を、任意のカメラ制御アルゴリズムと画像処理アルゴリズムにより高速に処理可能な画像処理装置を実現する。
【解決手段】コンピュータのバスに接続された画像処理ボードは、ハードウェア領域を書き換え可能な画像処理用半導体素子と、カメラ制御用半導体素子を備える。また、複数の画像処理回路を記憶させておく画像処理回路用メモリと、複数のカメラ制御回路を記憶させておくカメラ制御回路用メモリを備え、それぞれの半導体素子と回路用メモリは信号伝送可能状態にあり、コンピュータからの入力信号により回路用メモリから任意の回路を選択し、半導体素子を再構成するための回路用メモリ制御部とを備える。選択されたカメラ制御回路により制御されたカメラからの撮像画像に対して、選択された画像処理回路により構成される画像処理用半導体素子において、任意の画像処理をハード処理する。
【解決手段】コンピュータのバスに接続された画像処理ボードは、ハードウェア領域を書き換え可能な画像処理用半導体素子と、カメラ制御用半導体素子を備える。また、複数の画像処理回路を記憶させておく画像処理回路用メモリと、複数のカメラ制御回路を記憶させておくカメラ制御回路用メモリを備え、それぞれの半導体素子と回路用メモリは信号伝送可能状態にあり、コンピュータからの入力信号により回路用メモリから任意の回路を選択し、半導体素子を再構成するための回路用メモリ制御部とを備える。選択されたカメラ制御回路により制御されたカメラからの撮像画像に対して、選択された画像処理回路により構成される画像処理用半導体素子において、任意の画像処理をハード処理する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、欠陥、汚れ、異物等の検査装置に用いる画像処理装置および画像処理方法に関するものである。
【背景技術】
【０００２】
近年、半導体、液晶、電子部品市場の拡大により、製造段階での効率的な検査需要が高い。電子部品の他には、紙、シート関連に加え、食品、薬品、化粧品等の分野へも応用され始めている。特に、食品の生産現場においては、異物混入事故や虚偽表示の社会問題に対応するため、品質管理を実現する精度の高い検査、画像処理技術が求められている。
【０００３】
一方、近年の生産技術の向上などにより、製造ラインの搬送速度は年々速くなっており、ラインに組み込まれる検査装置に対しても、十分に追従するだけの処理速度が要求される。
また、半導体などは年々小型化・高集積化されると予想され、高解像度な検査による微小欠陥、微小異物の検出も求められる。
【０００４】
更に、食品などは、パッケージの欠陥や汚れ、ラベルの文字識別、食物内部の異物など、多岐に渡る場合も有り、複数箇所に設置されたカメラからの画像による総合的な製品検査が必要となる。
【０００５】
食品検査の例として、飲料容器であるペットボトルの検査がある。ペットボトルは、容積の違いや形状の複雑さによる検査範囲の違いや、内部の液種の違いなど多種であり、検査の項目としては、キャップ部、ラベルのズレ・破れ、入り味量、浮遊異物、沈殿異物などが多岐に渡る。このように、産業用画像処理検査装置においては多入力で高解像度の画像の高速処理の実現が望まれる。
【０００６】
従来、従来特開２００５−２８３２８０では、自動車用ガラスや磁気ディスク用基板等の、板状ガラス欠陥検出等のための画像処理装置であり、複数台のカメラからの撮像画像を、一部の処理をハードウェアで行うことにより高速化している。また、特開２００１−３４９８４０では、複数台のカメラと1台の制御装置により、複数台のカメラの切り替えを自動で行って、検査が必要な箇所に設置されたカメラを制御している。
【０００７】
【特許文献１】特開２００５−２８３２８０
【特許文献２】特開２００１−３４９８４０
【発明の開示】
【発明が解決しようとする課題】
【０００８】
従来の検査装置では、１台のコンピュータやスタンドアロン型画像処理装置によって、カメラの画像をＣＰＵ等によってソフトウェアで画像処理を実行していた。低解像度のアナログ画像であれば上記ソフト処理も可能であるが、高解像度の画像では高速処理することは困難であった。従って、多方向からの検査や、多点検査において、複数台のカメラから入力される高解像度の撮像画像を処理する場合は、複数個のコンピュータが必要となっていた。
【０００９】
特に、ペットボトル飲料検査の外観検査や内部の異物検査においては、前述したように多岐に渡る検査項目を要しているため、多くのカメラを設置する必要がある。また、多種多様な形状、液種を検査対象とするため、検査対象によって撮影するカメラ台数・設置場所、検査範囲、撮影タイミング、カメラの撮影条件、処理する画像処理アルゴリズムなどが異なってくる。ペットボトル飲料の製造ラインは、頻繁に品種が変更されるため、カメラの設置場所、カメラの撮影条件や画像処理アルゴリズム等を人間の手により変更する必要があり、煩雑な労力を伴っていた。
【００１０】
上記特許文献２（２００１−２４９８４０）の自動検査装置は、複数台のカメラで同一検査対象物の異なった位置を撮影している。そして１台のカメラに１台の画像処理装置が接続されて専用の処理アルゴリズムで画像処理されており、検査対象物が種々変化した場合のカメラの制御や、画像処理アルゴリズムの変更については考慮されていない。更に、１台のカメラに専用の画像処理装置を必要とし、装置全体のコストアップという問題がある。
【００１１】
一般に、カメラからの画像を高速に処理するためには演算処理速度自体を大きくする必要がある。従来の画像処理装置はソフトウェア処理による逐次処理が多く、画像処理のような多くの演算を処理する上で長時間を要した。この処理をコンピュータ内のＣＰＵで行う場合は、ＣＰＵが画像処理に占有されて他の処理ができず、また、速度はＣＰＵの性能に依存してしまうことや、コンピュータのＯＳの不安定さなどを考慮すると長時間の検査には不向きであった。
【００１２】
これに対して、高速処理が可能な特定用途向けＬＳＩであるＡＳＩＣ（Application Specific Integrated Circuit）を用いたハードウェア化が考えられる。しかし、ＡＳＩＣは開発工程が長く、製造用マスクを製作するため少量生産の場合は１個あたりの費用が大きく、また、設計が難しく、設計ミスの場合に回路の書き換えが不可能であり、やり直しの費用と時間が非常に大きい。また、別のアルゴリズムを行いたい場合などに、回路情報を再構成することが出来ないため、初めから設計する必要があり、柔軟性に乏しかった。
【００１３】
ＡＳＩＣに対して、同様にハードウェア処理を実行することが出来て、ユーザ側で内部のアルゴリズムを書き換え可能なデバイスとしてＦＰＧＡ（Field Programmable Gate Array）やＰＬＤ（Programmable Logic Device）がある。一度ハードウェア化を行った後でも、別の回路情報により再構成することが可能である。書き換えが可能であることにより、設計ミスに対してやり直しが効くことや、何度でも実機での検証が可能であり、別の回路情報を再構成する際にも容易に変更が可能である。
【００１４】
特許文献１（特開２００５−２８３２８０）に記載された画像処理装置および画像処理方法は、ＦＰＧＡを用いて画像処理を行っている。しかし、画像処理はシェーディング補正などの前処理を行っているが、その他の２値化処理、ラベリング処理等の画像処理はＣＰＵによりソフトウェア処理のため、処理速度が遅いという問題がある。
【００１５】
また、上記文献はカメラ台数を増やす際の対応が容易としているが、４台のカメラに対して専用の画像処理ボードを用意しており、カメラコントローラも専用となっているため、検査対象物が種々変化した場合のカメラの制御については、考慮されていない。
【００１６】
本発明の目的は、検査対象物の種別が頻繁に変わっても検査対象物へのカメラの対応が容易で、カメラでの撮影画像の処理を高速に行える画像処理装置および画像処理方法を提供することにある。
【課題を解決するための手段】
【００１７】
請求項１〜請求項３に記載の画像処理装置は、検査対象物をカメラで撮像してその画像から欠陥、汚れ、異物等を検査するための画像装置であって、メインメモリ、バスを有するコンピュータと、前記バスに接続された画像処理ボードを備え、前記画像処理ボードは、1台もしくは複数台のカメラを制御するカメラ制御用半導体素子と、このカメラ制御用半導体素子から受けた画像を処理する画像処理用半導体素子と、この処理された画像を記憶する画像用メモリを有し、前記コンピュータは、前記カメラ制御用半導体素子と画像処理用半導体素子をそれぞれ検査対象物の種別に対応したカメラ制御回路と画像処理回路とに書き換え処理を行い、前記画像処理ボードは、書き換えられた前記カメラ制御用半導体素子と画像処理用半導体素子によりカメラの制御と、制御されたカメラからの画像を処理することを特徴とする。
【００１８】
ここで、前記画像処理ボードは、更に、検査対象物の種別に対応した複数の画像処理回路を記憶した画像処理回路用メモリと、前記コンピュータからの信号により前記回路の中から検査対象物に対応した回路を選択して、この回路を前記画像処理用半導体素子に書き換え処理する画像処理回路用メモリ制御部を有する。
【００１９】
また、前記画像処理ボードは、更に、検査対象物の種別に対応した複数のカメラ制御回路を記憶するカメラ制御回路用メモリと、前記コンピュータからの信号により前記回路の中から検査対象物に対応したカメラ制御回路を選択して、この回路を前記カメラ制御用半導体素子に書き換え処理するカメラ制御回路用メモリ制御部を有する。
【００２０】
これによれば、コンピュータからの信号により、画像処理回路用メモリに含まれる複数の画像処理回路の中から、任意の画像処理アルゴリズムを選択することで、多種多様のアルゴリズムの処理が可能となり、頻繁に変わる検査対象の多品種に画像処理を容易に対応できる。また、更に、コンピュータからの信号により、カメラ制御回路用メモリに含まれる複数のカメラ制御回路の中から、任意のカメラ制御回路を選択することで、検査対象の多品種に対応し得る撮影条件等の設定が容易となり、製造ライン上での品種変更による条件設定を簡便化することが出来る。
【００２１】
請求項４記載の画像処理装置は、選択された画像処理回路が、撮像された画像に対して、検査対象物の種別に対応した膨張・収縮処理、パターンマッチング処理、ラベリング処理、２値化処理、補正処理、特徴量抽出処理等を実行するアルゴリズムを有する。
【００２２】
これによれば、選択された画像処理回路で書き換えられた画像処理用半導体素子上において画像処理の大部分をハードウェア処理出来るため、高速処理が可能となる。
【００２３】
請求項５による画像処理装置は、選択されたカメラ制御回路が検査対象物の種別に対応したカメラの選択、撮影タイミング等を制御するアルゴリズムを有する。
【００２４】
これによれば、頻繁に変わる品種に応じて、撮影するカメラ台数やそれぞれのカメラの撮影タイミング等を容易に制御することができる。
【００２５】
請求項６による画像処理装置は、前記複数台のカメラが、設置される場所によって、感度、絞り、シャッタースピード等のカメラ条件が異なることを特徴とする。
【００２６】
これによれば、それぞれカメラ条件の異なるカメラを複数の場所に設置することで、最適なカメラ条件を持つカメラを前記カメラ制御回路により選択することにより、検査対象物の品種変更の際にカメラ条件を容易に変更することが出来る。
【００２７】
請求項７による画像処理装置は、前記半導体素子がＦＰＧＡもしくは、ＰＬＤからなることを特徴とする。ここで、ＦＰＧＡとは「Field Programmable Gate Array」、ＰＬＤとは「Programmable Logic Device」のことで、両者とも内部回路を書き換え可能な集積回路のことである。ＦＰＧＡＰＬＤの内部回路は、ＶＨＤＬもしくはＶｅｒｉｌｏｇ−ＨＤＬと呼ばれるハードウェア言語を用いて回路情報を作成し、コンパイルしたデータをボード上のコンフィギュレーションデバイスにダウンロードした後、ＦＰＧＡやＰＬＤへデータをコンフィギュレーションする（デバイス内に回路情報を構築すること）ことで構成される。これにより、ユーザは任意の画像処理アルゴリズムを選択することで、検査対象物の品種によって多種の画像処理を実行できるため柔軟性が向上する。
【００２８】
請求項８による画像処理装置は、前記カメラと前記画像処理装置間のカメラ画像入出力インターフェースは、デジタル画像入出力が可能なカメラリンクであることを特徴とする。
ここで、カメラリンクとは産業用デジタルカメラと画像入力ボード又は画像処理ボードを接続する規格であり、デジタルデータ信号伝送手段であるＬＶＤＳ規格（Low Voltage differential signaling）を使用しているため、一般的に多く普及しているＮＴＳＣ（National Television Standards Committee）、ＩＥＥＥ１３９４（Institute of Electrical and Electronic Engineers 1394）などと比較して接続線数が少なく高速伝送が可能となり、高解像度の画像を高速に伝送することが出来る。これにより、装置全体として、複数台のカメラからの高解像度画像の高速画像転送が可能となる。
【発明の効果】
【００２９】
本発明によれば、検査対象物の欠陥、汚れ、異物等のカメラによる検査において、多品種に対応可能で、製造ライン上での検査対象物の品種変更に対しての撮影条件設定が簡便であり、検査対象物に対応させた任意の複数台のカメラからの高解像度画像を対応する、任意の画像処理アルゴリズムにより処理でき、しかも高速に処理可能な画像処理装置が実現できる。
【発明を実施するための最良の形態】
【００３０】
図1は、本発明の画像処理装置に係る実施形態の全体構成図である。１は、ＳＤＲＡＭ等のメインメモリ２と、高速データ伝送バス３等を備えたコンピュータである。バス３はＰＣＩ−ｅｘｐｒｅｓｓ、ＰＣＩ−Ｘ等からなり、メインメモリ２と画像処理ボード４の他に、図示しないＣＰＵ、表示器、キーボード、プリンタ等を接続している。
【００３１】
画像処理ボード４にはカメラ制御用半導体素子９、画像処理用半導体素子６、画像用メモリ６が設けられる。画像処理用半導体素子６には、この素子６を制御するための画像処理回路用メモリ７と画像処理回路用メモリ制御部８が接続されている。カメラ制御用半導体素子９には、この素子９を制御するためのカメラ制御回路用メモリ１０とカメラ制御回路用メモリ制御部１１が接続されている。
【００３２】
上記半導体素子６、９は、共にＦＰＧＡ（Field Programmable Gate Array）、またはＰＬＤ（Programmable Logic Device）から構成される。メモリ５はＳＤＲＡＭからなり、メモリ７、１０はフラッシュメモリまたはＥＥＰＲＯＭからなる。
【００３３】
１４は撮像部で、製造ライン上で移動する検査対象物１３の適宜な位置に配置された複数のカメラ１２を備える。１８は前記コンピュータ１内に設けられたカメラＩ／Ｏで、複数のカメラ１２に接続されており、ＬＶＤ（low voltage differential signaling）や、カメラリンク等のデジタル信号入出力インターフェース（カメラ画像入出力インターフェース）である。
【００３４】
カメラ制御用半導体素子９と画像処理用半導体素子６は、上述のようにＦＰＧＡまたはＰＬＤであり、内部のハードアルゴリズムが外部から書き換えられる。ＦＰＧＡやＰＬＤの内部回路は、ＶＨＤＬもしくはＶｅｒｉｌｏｇ−ＨＤＬと呼ばれるハードウェア言語を用いて回路情報を作成し、コンパイルしたデータをボード上のコンフィギュレーションデバイスにダウンロードした後、ＦＰＧＡやＰＬＤへデータをコンフィギュレーションする（デバイス内に回路情報を構築すること）ことで構成される。
【００３５】
カメラ制御回路用メモリ１０には、各検査対象物に対応した特有のアルゴリズムからなるカメラ制御回路をデータの形で複数個記憶しており、コンピュータ１によるカメラ制御回路用メモリ制御部１１の書き替え命令により、複数のカメラ制御回路から検査対象物に対応した所定のカメラ制御回路選択し、半導体素子９が書き替えられる。
【００３６】
画像処理回路用メモリ７には、各検査対象物に対応した特有のアルゴリズムからなる画像処理回路をデータの形で複数個記憶しており、コンピュータ１による画像処理回路用メモリ制御部８の書き替え命令により、複数の画像処理回路から検査対象物に対応した所定の画像処理回路を選択し、半導体素子６が書き替えられる。上記書き替えに際しては、上記両半導体素子６、９は、常に同一検査対象物に対応した画像処理回路とカメラ制御回路とに、組として書き替えられる。
【００３７】
具体的には、画像処理回路及びカメラ制御回路の選択は、検査対象物が決まった段階で検査作業の前に、ユーザによりコンピュータ内のＧＵＩ（graphical user interface）などによって行われる。図２にＧＵＩの一例を、図３に画像処理回路及びカメラ制御回路の書き替え処理の流れを示す。
【００３８】
図２でコンピュータ１の表示器のＧＵＩ上で検査対象物の品種（お茶）、容積（５００ｍｌ）、形状（円筒、凹凸無し）などを選択して、書き替えボタンを選択する。この選択により、書き替えるための画像処理回路及びカメラ制御回路が自動で選択され、その信号を画像処理回路用メモリ制御部８及びカメラ制御回路用メモリ制御部１１に送信する。メモリ制御部８と１１は、それぞれ画像処理回路用メモリ７及びカメラ制御用メモリ１０に書き替え命令を実行し、各メモリ７と１０は複数記憶した回路データの中から、検査対象物（お茶、容積５００ｍｌ、形状：円筒、凹凸無し）に対応した画像処理回路及びカメラ制御回路とを組として選択して、それぞれの半導体素子６と９への書き替え処理を実行する。
【００３９】
前記のようにして選択されたカメラ制御回路で再構成されたカメラ制御用半導体素子９は、検査対象物の撮像に先立ち、この対象物に対応した（特有の）検査を要する箇所に設置された所定のカメラ１２を選択し、検査箇所、撮影タイミング、シャッタースピード、感度等の撮影条件を制御する。この制御は半導体素子９の回路でハード処理のため高速になされる。この条件での制御により撮像された画像はカメラ制御用半導体素子９から画像処理用半導体素子６に転送される。
【００４０】
画像処理用半導体素子６は、前記で撮像された検査対象物に対応した（特有の）画像処理回路で再構成されているので、転送された画像に対してハードにより画像処理を高速に行う。画像処理は、検査対象物に応じて、膨張・収縮処理、パターンマッチング処理、ラベリング処理、２値化処理、補正処理、特徴量抽出処理等を実行する。
【００４１】
処理された画像データを画像用メモリ５に記憶させる。さらにバス３を通じてコンピュータ１内のメインメモリ２へＤＭＡ転送され、コンピュータ１により画像の良否を検査する。ＤＭＡ転送とは、「Direct Memory Access」のことで、コンピュータのＣＰＵを介さずに各装置から高速にメモリへ転送する方式である。
【００４２】
次に、具体的に図１における撮像部１４を、ペットボトル飲料の検査へ応用した場合の例を説明する。
【００４３】
図４は図１における撮像部１４の一例を示す図である。図４（１）でコンベア１５ａに載せられたペットボトル１６が搬送方向に流れ、その周りに８台のカメラ１２ａ〜１２ｈが設置してある。コンベア１５ａは、ペットボトル１６の側面等の検査用にペットボトル１６を搬送するが、コンベア１５ｂは、ペットボトル１６の側面を両側から保持（挟持）することで、ペットボトル底面の検査を可能としている。ここで、コンベアのモータ、画像処理装置や照明、欠陥や異物が検出された際のペットボトル排出機などの、周辺機器を簡略化して示す。図４（２）はコンベア１５の下流方向から見た図であり、ペットボトル１６、コンベア及びカメラの配置関係を示す。
【００４４】
図５はそれぞれのカメラで撮像した検査用の画像の示す。各カメラ１２についての撮像動作の詳細を説明すると、カメラ１２ａ〜１２ｃはペットボトル１６の片側側面の範囲を撮影するカメラである。特にカメラ１２ａ〜１２ｂは、ラベルが貼られる前の段階では浮遊異物１６ｅの検査のための撮像を行い、ラベルが貼られた後の段階ではラベルの位置・破れ・文字１６ｆなどの検査のための撮像を行う。カメラ１２ｃはキャップ部周辺の範囲を側面から撮影し、キャップのズレ１６ｇ、ブリッジ切れ１６ｈ、キャップの文字・異種キャップ１６ｊ、液体が封入された後であれば入り味量１６ｉや、沈殿物１６ｋなどの検査のための撮像を行う。
【００４５】
また、ペットボトルのもう他側の側面を撮影するために、カメラ１２ｄ〜１２ｆが設置されている。これらのカメラは、基本的にはカメラ１２ａ〜１２ｃと同等の撮像を行うが、浮遊異物１６ｅ検査に関しては、液種が不透明な種類であってカメラ１２ａ〜１２ｂ側では撮影出来ない場合（ボトルの中で浮遊物がカメラ１２ａ〜１２ｂ側から見えない。）、反対側のカメラ１２ｄ〜１２ｅにより撮影することで全範囲の浮遊異物を検査することが可能となる。液種が透明な種類であって、透過によりカメラ１２ａ〜１２ｂで全範囲が撮像可能であれば、カメラ１２ｄ〜１２ｅの撮影は行わない。
【００４６】
また、ラベル検査用の撮像に関しては、図６（１）のようにボトルの一部分を覆うような範囲にラベル１７が貼られたペットボトルに対しては、カメラ１２ｂ、カメラ１２ｅでのラベルの撮影を行い、図６（２）のようにボトルの殆どの範囲を覆うような範囲にラベル１７が貼られたペットボトルに対しては、カメラ１２ａ〜１２ｂ、カメラ１２ｄ〜１２ｅでのラベルの撮影を行う。
【００４７】
また、カメラ１２ｇはペットボトル１６の上面を撮影するカメラであり、キャップの文字、異種キャップなどの検査のための撮像を行い、カメラ１２ｈはペットボトルの底面を撮影するカメラであり、沈殿異物などの検査のためのものである。
【００４８】
このように、検査対象物、即ちラベルの有無、ラベルの貼られた範囲、液種、液体の封入前後によって、撮影するカメラ台数や画像処理回路（アルゴリズム）が変化する。従って、画像処理装置内は、品種に応じて、検査する必要がある箇所に設置されたカメラの選択を含む、カメラの制御をするためのカメラ制御回路（アルゴリズム）により、カメラ制御用半導体素子９が事前にカメラ制御回路用メモリ制御部によって書き替えてある。
【００４９】
また、それぞれの箇所に設置されたカメラにおいて行う必要がある、検査対象物、即ちラベルの有無、ラベルの貼られた範囲、液種、液体の封入前後によって、特定される検査内容の画像処理回路が画像処理回路用メモリ制御部８により、事前に画像処理用半導体素子６内に書き替えてある。
【００５０】
図７は、図1において側面に設置されたカメラを４台設置した例である。容積が最小であるペットボトル１６ａに関しては、カメラ１２ｉにより、ラベルが貼られる前の段階では浮遊異物検査、ラベルが貼られた後の段階ではラベルの位置・破れ・文字などの検査のための撮像が可能であり、カメラ１２ｊによりキャップのズレ、ブリッジ切れや、液体が封入された後であれば入り味量などの検査のための撮像が可能である。この時、カメラ１２ｋ〜１２ｌによる撮影は行わない。
【００５１】
容積が通常であるペットボトル１６ｂに関しては、カメラ１２ｉ〜１２ｊにより、ラベルが貼られる前の段階では浮遊異物検査、ラベルが貼られた後の段階ではラベルの位置・破れ・文字などの検査のための撮像が可能であり、カメラ１２ｋによりキャップのズレ、ブリッジ切れや、液体が封入された後であれば入り味量などの検査のための撮像が可能である。この時、カメラ１２ｌによる撮影は行わない。
【００５２】
容積が最大であるペットボトル１６ｃに関しては、カメラ１２ｉ〜１２ｋにより、ラベルが貼られる前の段階では浮遊異物検査、ラベルが貼られた後の段階ではラベルの位置・破れ・文字などの検査のための撮像が可能であり、カメラ１２ｌによりキャップのズレ、ブリッジ切れや、液体が封入された後であれば入り味量などの検査のための撮像が可能である。
【００５３】
このように、検査対象物、即ちペットボトルの容積によって、撮影するカメラ台数やカメラの制御と画像処理の所定アルゴリズムが必要となる。画像処理装置内では、ボトルの容積に応じて、検査する必要がある箇所に設置されたカメラの選択を含むカメラを制御するカメラ制御回路のアルゴリズムが、事前にカメラ制御用メモリ制御部１１によりカメラ制御用半導体素子９に書き替えられている。
【００５４】
また、画像処理装置内では、検査対象物、即ちペットボトルの容積によって特定される検査のための画像処理回路のアルゴリズムが、画像処理回路用メモリ制御部８により画像処理用半導体素子６に書き替えられている。よって、カメラの位置を物理的に移動することなく、容積の異なるペットボトルの検査が可能である。
【００５５】
図８は沈殿異物検査を例として、カメラの絞り、レンズなどが異なるカメラを設置した検査装置の側面図である。通常、これらのカメラパラメータは、検査対象物の品種によって最適な値に変更する必要がある。特に液種によっては、照明光から透過する光量に差があり画像の明るさに影響を与えてしまう。また、同じ品種でも周りの光学的環境に左右され、微妙な調整が必要となる。
【００５６】
それぞれカメラの絞り、レンズが異なるカメラ１２ｍ、カメラ１２ｎ、カメラ１２ｏを設置することで、それぞれのカメラからは異なった画像が得られ、カメラ制御用半導体素子９がその中から最適な画像を撮影可能なカメラを選択し、その画像のみを処理することが可能である。
【００５７】
このように、検査対象物の品種によって撮像画像に差が表れ、最適なカメラの絞り、レンズが異なってくる。従って、画像処理装置内は、検査対象物の品種や環境に応じてカメラの絞り、レンズを、カメラの選択によって実現している。具体的には、カメラ制御用メモリ制御部１１により、カメラ制御用半導体素子９内が、カメラ制御回路に書き替えられている。よって、カメラの絞り、レンズを人間の手により変更することなく、多種のペットボトルの検査が可能である。
【００５８】
図９にコンベア両側のカメラを増やした例を示す。コンベア１５ａの矢印で示す搬送方向に対して直角に設置されたカメラ１２ｐ、１２ｑと、カメラ１２ｐの両隣に新たにカメラ１２ｒ〜１２ｓを、カメラ１２ｑの両隣に新たにカメラ１２ｔ〜１２ｕを設置した例である。ペットボトルの形状は、メーカにより様々であり、複雑な形状を有するものもある。例として図１０に複雑な形状のペットボトル１６ｄを示す。このような場合、コンベア１５ａの搬送方向に対して直角に設置されたカメラだけでは撮影できない範囲が生じるため、カメラ１２ｒ〜１２ｕのような位置にカメラを設置することで、全範囲が撮影可能となる。
【００５９】
このように検査対象物となるペットボトルの形状によって、撮影可能範囲に差が出てくる。従って、画像処理装置内は、ペットボトルの形状に応じてカメラを選択して、それを制御するため、カメラ制御用メモリ制御部１１により、カメラ制御用半導体素子９内が、ペットボトルの形状に合わせたカメラ制御回路に書き替えられている。よって、人間の手によりカメラを新たに設置したりすることなく、多種のペットボトル形状の検査が可能である。
【図面の簡単な説明】
【００６０】
【図１】本発明を適用する画像処理装置の一実施例を示す全体構成図。
【図２】図１におけるＧＵＩの説明図。
【図３】回路の書き替え処理の説明図。
【図４】図１における撮像部のペットボトル検査の一例を示す図。
【図５】各カメラの撮像画像例と検査項目例を示す図。
【図６】ラベルの大きさが異なるペットボトルの例を示す図。
【図７】容積が異なるペットボトルと撮像するカメラの例を示す図。
【図８】沈殿異物検査の例を示す図。
【図９】コンベア両側のカメラを増やした例を示す図。
【図１０】複雑な形状のペットボトルを示す図。
【符号の説明】
【００６１】
１…コンピュータ、２…メインメモリ、３…バス、４…画像処理ボード、５…画像用メモリ、６…画像処理用半導体素子、７…画像処理回路用メモリ、８…画像処理回路用メモリ制御部、９…カメラ制御用半導体素子、１０…カメラ制御回路用メモリ、１１…カメラ制御回路用メモリ制御部、１２…カメラ、１３…検査対象物、１４…撮像部、１５…コンベア、１６…ペットボトル、１７…ラベル、１８…カメラ画像入出力インターフェース。
【技術分野】
【０００１】
本発明は、欠陥、汚れ、異物等の検査装置に用いる画像処理装置および画像処理方法に関するものである。
【背景技術】
【０００２】
近年、半導体、液晶、電子部品市場の拡大により、製造段階での効率的な検査需要が高い。電子部品の他には、紙、シート関連に加え、食品、薬品、化粧品等の分野へも応用され始めている。特に、食品の生産現場においては、異物混入事故や虚偽表示の社会問題に対応するため、品質管理を実現する精度の高い検査、画像処理技術が求められている。
【０００３】
一方、近年の生産技術の向上などにより、製造ラインの搬送速度は年々速くなっており、ラインに組み込まれる検査装置に対しても、十分に追従するだけの処理速度が要求される。
また、半導体などは年々小型化・高集積化されると予想され、高解像度な検査による微小欠陥、微小異物の検出も求められる。
【０００４】
更に、食品などは、パッケージの欠陥や汚れ、ラベルの文字識別、食物内部の異物など、多岐に渡る場合も有り、複数箇所に設置されたカメラからの画像による総合的な製品検査が必要となる。
【０００５】
食品検査の例として、飲料容器であるペットボトルの検査がある。ペットボトルは、容積の違いや形状の複雑さによる検査範囲の違いや、内部の液種の違いなど多種であり、検査の項目としては、キャップ部、ラベルのズレ・破れ、入り味量、浮遊異物、沈殿異物などが多岐に渡る。このように、産業用画像処理検査装置においては多入力で高解像度の画像の高速処理の実現が望まれる。
【０００６】
従来、従来特開２００５−２８３２８０では、自動車用ガラスや磁気ディスク用基板等の、板状ガラス欠陥検出等のための画像処理装置であり、複数台のカメラからの撮像画像を、一部の処理をハードウェアで行うことにより高速化している。また、特開２００１−３４９８４０では、複数台のカメラと1台の制御装置により、複数台のカメラの切り替えを自動で行って、検査が必要な箇所に設置されたカメラを制御している。
【０００７】
【特許文献１】特開２００５−２８３２８０
【特許文献２】特開２００１−３４９８４０
【発明の開示】
【発明が解決しようとする課題】
【０００８】
従来の検査装置では、１台のコンピュータやスタンドアロン型画像処理装置によって、カメラの画像をＣＰＵ等によってソフトウェアで画像処理を実行していた。低解像度のアナログ画像であれば上記ソフト処理も可能であるが、高解像度の画像では高速処理することは困難であった。従って、多方向からの検査や、多点検査において、複数台のカメラから入力される高解像度の撮像画像を処理する場合は、複数個のコンピュータが必要となっていた。
【０００９】
特に、ペットボトル飲料検査の外観検査や内部の異物検査においては、前述したように多岐に渡る検査項目を要しているため、多くのカメラを設置する必要がある。また、多種多様な形状、液種を検査対象とするため、検査対象によって撮影するカメラ台数・設置場所、検査範囲、撮影タイミング、カメラの撮影条件、処理する画像処理アルゴリズムなどが異なってくる。ペットボトル飲料の製造ラインは、頻繁に品種が変更されるため、カメラの設置場所、カメラの撮影条件や画像処理アルゴリズム等を人間の手により変更する必要があり、煩雑な労力を伴っていた。
【００１０】
上記特許文献２（２００１−２４９８４０）の自動検査装置は、複数台のカメラで同一検査対象物の異なった位置を撮影している。そして１台のカメラに１台の画像処理装置が接続されて専用の処理アルゴリズムで画像処理されており、検査対象物が種々変化した場合のカメラの制御や、画像処理アルゴリズムの変更については考慮されていない。更に、１台のカメラに専用の画像処理装置を必要とし、装置全体のコストアップという問題がある。
【００１１】
一般に、カメラからの画像を高速に処理するためには演算処理速度自体を大きくする必要がある。従来の画像処理装置はソフトウェア処理による逐次処理が多く、画像処理のような多くの演算を処理する上で長時間を要した。この処理をコンピュータ内のＣＰＵで行う場合は、ＣＰＵが画像処理に占有されて他の処理ができず、また、速度はＣＰＵの性能に依存してしまうことや、コンピュータのＯＳの不安定さなどを考慮すると長時間の検査には不向きであった。
【００１２】
これに対して、高速処理が可能な特定用途向けＬＳＩであるＡＳＩＣ（Application Specific Integrated Circuit）を用いたハードウェア化が考えられる。しかし、ＡＳＩＣは開発工程が長く、製造用マスクを製作するため少量生産の場合は１個あたりの費用が大きく、また、設計が難しく、設計ミスの場合に回路の書き換えが不可能であり、やり直しの費用と時間が非常に大きい。また、別のアルゴリズムを行いたい場合などに、回路情報を再構成することが出来ないため、初めから設計する必要があり、柔軟性に乏しかった。
【００１３】
ＡＳＩＣに対して、同様にハードウェア処理を実行することが出来て、ユーザ側で内部のアルゴリズムを書き換え可能なデバイスとしてＦＰＧＡ（Field Programmable Gate Array）やＰＬＤ（Programmable Logic Device）がある。一度ハードウェア化を行った後でも、別の回路情報により再構成することが可能である。書き換えが可能であることにより、設計ミスに対してやり直しが効くことや、何度でも実機での検証が可能であり、別の回路情報を再構成する際にも容易に変更が可能である。
【００１４】
特許文献１（特開２００５−２８３２８０）に記載された画像処理装置および画像処理方法は、ＦＰＧＡを用いて画像処理を行っている。しかし、画像処理はシェーディング補正などの前処理を行っているが、その他の２値化処理、ラベリング処理等の画像処理はＣＰＵによりソフトウェア処理のため、処理速度が遅いという問題がある。
【００１５】
また、上記文献はカメラ台数を増やす際の対応が容易としているが、４台のカメラに対して専用の画像処理ボードを用意しており、カメラコントローラも専用となっているため、検査対象物が種々変化した場合のカメラの制御については、考慮されていない。
【００１６】
本発明の目的は、検査対象物の種別が頻繁に変わっても検査対象物へのカメラの対応が容易で、カメラでの撮影画像の処理を高速に行える画像処理装置および画像処理方法を提供することにある。
【課題を解決するための手段】
【００１７】
請求項１〜請求項３に記載の画像処理装置は、検査対象物をカメラで撮像してその画像から欠陥、汚れ、異物等を検査するための画像装置であって、メインメモリ、バスを有するコンピュータと、前記バスに接続された画像処理ボードを備え、前記画像処理ボードは、1台もしくは複数台のカメラを制御するカメラ制御用半導体素子と、このカメラ制御用半導体素子から受けた画像を処理する画像処理用半導体素子と、この処理された画像を記憶する画像用メモリを有し、前記コンピュータは、前記カメラ制御用半導体素子と画像処理用半導体素子をそれぞれ検査対象物の種別に対応したカメラ制御回路と画像処理回路とに書き換え処理を行い、前記画像処理ボードは、書き換えられた前記カメラ制御用半導体素子と画像処理用半導体素子によりカメラの制御と、制御されたカメラからの画像を処理することを特徴とする。
【００１８】
ここで、前記画像処理ボードは、更に、検査対象物の種別に対応した複数の画像処理回路を記憶した画像処理回路用メモリと、前記コンピュータからの信号により前記回路の中から検査対象物に対応した回路を選択して、この回路を前記画像処理用半導体素子に書き換え処理する画像処理回路用メモリ制御部を有する。
【００１９】
また、前記画像処理ボードは、更に、検査対象物の種別に対応した複数のカメラ制御回路を記憶するカメラ制御回路用メモリと、前記コンピュータからの信号により前記回路の中から検査対象物に対応したカメラ制御回路を選択して、この回路を前記カメラ制御用半導体素子に書き換え処理するカメラ制御回路用メモリ制御部を有する。
【００２０】
これによれば、コンピュータからの信号により、画像処理回路用メモリに含まれる複数の画像処理回路の中から、任意の画像処理アルゴリズムを選択することで、多種多様のアルゴリズムの処理が可能となり、頻繁に変わる検査対象の多品種に画像処理を容易に対応できる。また、更に、コンピュータからの信号により、カメラ制御回路用メモリに含まれる複数のカメラ制御回路の中から、任意のカメラ制御回路を選択することで、検査対象の多品種に対応し得る撮影条件等の設定が容易となり、製造ライン上での品種変更による条件設定を簡便化することが出来る。
【００２１】
請求項４記載の画像処理装置は、選択された画像処理回路が、撮像された画像に対して、検査対象物の種別に対応した膨張・収縮処理、パターンマッチング処理、ラベリング処理、２値化処理、補正処理、特徴量抽出処理等を実行するアルゴリズムを有する。
【００２２】
これによれば、選択された画像処理回路で書き換えられた画像処理用半導体素子上において画像処理の大部分をハードウェア処理出来るため、高速処理が可能となる。
【００２３】
請求項５による画像処理装置は、選択されたカメラ制御回路が検査対象物の種別に対応したカメラの選択、撮影タイミング等を制御するアルゴリズムを有する。
【００２４】
これによれば、頻繁に変わる品種に応じて、撮影するカメラ台数やそれぞれのカメラの撮影タイミング等を容易に制御することができる。
【００２５】
請求項６による画像処理装置は、前記複数台のカメラが、設置される場所によって、感度、絞り、シャッタースピード等のカメラ条件が異なることを特徴とする。
【００２６】
これによれば、それぞれカメラ条件の異なるカメラを複数の場所に設置することで、最適なカメラ条件を持つカメラを前記カメラ制御回路により選択することにより、検査対象物の品種変更の際にカメラ条件を容易に変更することが出来る。
【００２７】
請求項７による画像処理装置は、前記半導体素子がＦＰＧＡもしくは、ＰＬＤからなることを特徴とする。ここで、ＦＰＧＡとは「Field Programmable Gate Array」、ＰＬＤとは「Programmable Logic Device」のことで、両者とも内部回路を書き換え可能な集積回路のことである。ＦＰＧＡＰＬＤの内部回路は、ＶＨＤＬもしくはＶｅｒｉｌｏｇ−ＨＤＬと呼ばれるハードウェア言語を用いて回路情報を作成し、コンパイルしたデータをボード上のコンフィギュレーションデバイスにダウンロードした後、ＦＰＧＡやＰＬＤへデータをコンフィギュレーションする（デバイス内に回路情報を構築すること）ことで構成される。これにより、ユーザは任意の画像処理アルゴリズムを選択することで、検査対象物の品種によって多種の画像処理を実行できるため柔軟性が向上する。
【００２８】
請求項８による画像処理装置は、前記カメラと前記画像処理装置間のカメラ画像入出力インターフェースは、デジタル画像入出力が可能なカメラリンクであることを特徴とする。
ここで、カメラリンクとは産業用デジタルカメラと画像入力ボード又は画像処理ボードを接続する規格であり、デジタルデータ信号伝送手段であるＬＶＤＳ規格（Low Voltage differential signaling）を使用しているため、一般的に多く普及しているＮＴＳＣ（National Television Standards Committee）、ＩＥＥＥ１３９４（Institute of Electrical and Electronic Engineers 1394）などと比較して接続線数が少なく高速伝送が可能となり、高解像度の画像を高速に伝送することが出来る。これにより、装置全体として、複数台のカメラからの高解像度画像の高速画像転送が可能となる。
【発明の効果】
【００２９】
本発明によれば、検査対象物の欠陥、汚れ、異物等のカメラによる検査において、多品種に対応可能で、製造ライン上での検査対象物の品種変更に対しての撮影条件設定が簡便であり、検査対象物に対応させた任意の複数台のカメラからの高解像度画像を対応する、任意の画像処理アルゴリズムにより処理でき、しかも高速に処理可能な画像処理装置が実現できる。
【発明を実施するための最良の形態】
【００３０】
図1は、本発明の画像処理装置に係る実施形態の全体構成図である。１は、ＳＤＲＡＭ等のメインメモリ２と、高速データ伝送バス３等を備えたコンピュータである。バス３はＰＣＩ−ｅｘｐｒｅｓｓ、ＰＣＩ−Ｘ等からなり、メインメモリ２と画像処理ボード４の他に、図示しないＣＰＵ、表示器、キーボード、プリンタ等を接続している。
【００３１】
画像処理ボード４にはカメラ制御用半導体素子９、画像処理用半導体素子６、画像用メモリ６が設けられる。画像処理用半導体素子６には、この素子６を制御するための画像処理回路用メモリ７と画像処理回路用メモリ制御部８が接続されている。カメラ制御用半導体素子９には、この素子９を制御するためのカメラ制御回路用メモリ１０とカメラ制御回路用メモリ制御部１１が接続されている。
【００３２】
上記半導体素子６、９は、共にＦＰＧＡ（Field Programmable Gate Array）、またはＰＬＤ（Programmable Logic Device）から構成される。メモリ５はＳＤＲＡＭからなり、メモリ７、１０はフラッシュメモリまたはＥＥＰＲＯＭからなる。
【００３３】
１４は撮像部で、製造ライン上で移動する検査対象物１３の適宜な位置に配置された複数のカメラ１２を備える。１８は前記コンピュータ１内に設けられたカメラＩ／Ｏで、複数のカメラ１２に接続されており、ＬＶＤ（low voltage differential signaling）や、カメラリンク等のデジタル信号入出力インターフェース（カメラ画像入出力インターフェース）である。
【００３４】
カメラ制御用半導体素子９と画像処理用半導体素子６は、上述のようにＦＰＧＡまたはＰＬＤであり、内部のハードアルゴリズムが外部から書き換えられる。ＦＰＧＡやＰＬＤの内部回路は、ＶＨＤＬもしくはＶｅｒｉｌｏｇ−ＨＤＬと呼ばれるハードウェア言語を用いて回路情報を作成し、コンパイルしたデータをボード上のコンフィギュレーションデバイスにダウンロードした後、ＦＰＧＡやＰＬＤへデータをコンフィギュレーションする（デバイス内に回路情報を構築すること）ことで構成される。
【００３５】
カメラ制御回路用メモリ１０には、各検査対象物に対応した特有のアルゴリズムからなるカメラ制御回路をデータの形で複数個記憶しており、コンピュータ１によるカメラ制御回路用メモリ制御部１１の書き替え命令により、複数のカメラ制御回路から検査対象物に対応した所定のカメラ制御回路選択し、半導体素子９が書き替えられる。
【００３６】
画像処理回路用メモリ７には、各検査対象物に対応した特有のアルゴリズムからなる画像処理回路をデータの形で複数個記憶しており、コンピュータ１による画像処理回路用メモリ制御部８の書き替え命令により、複数の画像処理回路から検査対象物に対応した所定の画像処理回路を選択し、半導体素子６が書き替えられる。上記書き替えに際しては、上記両半導体素子６、９は、常に同一検査対象物に対応した画像処理回路とカメラ制御回路とに、組として書き替えられる。
【００３７】
具体的には、画像処理回路及びカメラ制御回路の選択は、検査対象物が決まった段階で検査作業の前に、ユーザによりコンピュータ内のＧＵＩ（graphical user interface）などによって行われる。図２にＧＵＩの一例を、図３に画像処理回路及びカメラ制御回路の書き替え処理の流れを示す。
【００３８】
図２でコンピュータ１の表示器のＧＵＩ上で検査対象物の品種（お茶）、容積（５００ｍｌ）、形状（円筒、凹凸無し）などを選択して、書き替えボタンを選択する。この選択により、書き替えるための画像処理回路及びカメラ制御回路が自動で選択され、その信号を画像処理回路用メモリ制御部８及びカメラ制御回路用メモリ制御部１１に送信する。メモリ制御部８と１１は、それぞれ画像処理回路用メモリ７及びカメラ制御用メモリ１０に書き替え命令を実行し、各メモリ７と１０は複数記憶した回路データの中から、検査対象物（お茶、容積５００ｍｌ、形状：円筒、凹凸無し）に対応した画像処理回路及びカメラ制御回路とを組として選択して、それぞれの半導体素子６と９への書き替え処理を実行する。
【００３９】
前記のようにして選択されたカメラ制御回路で再構成されたカメラ制御用半導体素子９は、検査対象物の撮像に先立ち、この対象物に対応した（特有の）検査を要する箇所に設置された所定のカメラ１２を選択し、検査箇所、撮影タイミング、シャッタースピード、感度等の撮影条件を制御する。この制御は半導体素子９の回路でハード処理のため高速になされる。この条件での制御により撮像された画像はカメラ制御用半導体素子９から画像処理用半導体素子６に転送される。
【００４０】
画像処理用半導体素子６は、前記で撮像された検査対象物に対応した（特有の）画像処理回路で再構成されているので、転送された画像に対してハードにより画像処理を高速に行う。画像処理は、検査対象物に応じて、膨張・収縮処理、パターンマッチング処理、ラベリング処理、２値化処理、補正処理、特徴量抽出処理等を実行する。
【００４１】
処理された画像データを画像用メモリ５に記憶させる。さらにバス３を通じてコンピュータ１内のメインメモリ２へＤＭＡ転送され、コンピュータ１により画像の良否を検査する。ＤＭＡ転送とは、「Direct Memory Access」のことで、コンピュータのＣＰＵを介さずに各装置から高速にメモリへ転送する方式である。
【００４２】
次に、具体的に図１における撮像部１４を、ペットボトル飲料の検査へ応用した場合の例を説明する。
【００４３】
図４は図１における撮像部１４の一例を示す図である。図４（１）でコンベア１５ａに載せられたペットボトル１６が搬送方向に流れ、その周りに８台のカメラ１２ａ〜１２ｈが設置してある。コンベア１５ａは、ペットボトル１６の側面等の検査用にペットボトル１６を搬送するが、コンベア１５ｂは、ペットボトル１６の側面を両側から保持（挟持）することで、ペットボトル底面の検査を可能としている。ここで、コンベアのモータ、画像処理装置や照明、欠陥や異物が検出された際のペットボトル排出機などの、周辺機器を簡略化して示す。図４（２）はコンベア１５の下流方向から見た図であり、ペットボトル１６、コンベア及びカメラの配置関係を示す。
【００４４】
図５はそれぞれのカメラで撮像した検査用の画像の示す。各カメラ１２についての撮像動作の詳細を説明すると、カメラ１２ａ〜１２ｃはペットボトル１６の片側側面の範囲を撮影するカメラである。特にカメラ１２ａ〜１２ｂは、ラベルが貼られる前の段階では浮遊異物１６ｅの検査のための撮像を行い、ラベルが貼られた後の段階ではラベルの位置・破れ・文字１６ｆなどの検査のための撮像を行う。カメラ１２ｃはキャップ部周辺の範囲を側面から撮影し、キャップのズレ１６ｇ、ブリッジ切れ１６ｈ、キャップの文字・異種キャップ１６ｊ、液体が封入された後であれば入り味量１６ｉや、沈殿物１６ｋなどの検査のための撮像を行う。
【００４５】
また、ペットボトルのもう他側の側面を撮影するために、カメラ１２ｄ〜１２ｆが設置されている。これらのカメラは、基本的にはカメラ１２ａ〜１２ｃと同等の撮像を行うが、浮遊異物１６ｅ検査に関しては、液種が不透明な種類であってカメラ１２ａ〜１２ｂ側では撮影出来ない場合（ボトルの中で浮遊物がカメラ１２ａ〜１２ｂ側から見えない。）、反対側のカメラ１２ｄ〜１２ｅにより撮影することで全範囲の浮遊異物を検査することが可能となる。液種が透明な種類であって、透過によりカメラ１２ａ〜１２ｂで全範囲が撮像可能であれば、カメラ１２ｄ〜１２ｅの撮影は行わない。
【００４６】
また、ラベル検査用の撮像に関しては、図６（１）のようにボトルの一部分を覆うような範囲にラベル１７が貼られたペットボトルに対しては、カメラ１２ｂ、カメラ１２ｅでのラベルの撮影を行い、図６（２）のようにボトルの殆どの範囲を覆うような範囲にラベル１７が貼られたペットボトルに対しては、カメラ１２ａ〜１２ｂ、カメラ１２ｄ〜１２ｅでのラベルの撮影を行う。
【００４７】
また、カメラ１２ｇはペットボトル１６の上面を撮影するカメラであり、キャップの文字、異種キャップなどの検査のための撮像を行い、カメラ１２ｈはペットボトルの底面を撮影するカメラであり、沈殿異物などの検査のためのものである。
【００４８】
このように、検査対象物、即ちラベルの有無、ラベルの貼られた範囲、液種、液体の封入前後によって、撮影するカメラ台数や画像処理回路（アルゴリズム）が変化する。従って、画像処理装置内は、品種に応じて、検査する必要がある箇所に設置されたカメラの選択を含む、カメラの制御をするためのカメラ制御回路（アルゴリズム）により、カメラ制御用半導体素子９が事前にカメラ制御回路用メモリ制御部によって書き替えてある。
【００４９】
また、それぞれの箇所に設置されたカメラにおいて行う必要がある、検査対象物、即ちラベルの有無、ラベルの貼られた範囲、液種、液体の封入前後によって、特定される検査内容の画像処理回路が画像処理回路用メモリ制御部８により、事前に画像処理用半導体素子６内に書き替えてある。
【００５０】
図７は、図1において側面に設置されたカメラを４台設置した例である。容積が最小であるペットボトル１６ａに関しては、カメラ１２ｉにより、ラベルが貼られる前の段階では浮遊異物検査、ラベルが貼られた後の段階ではラベルの位置・破れ・文字などの検査のための撮像が可能であり、カメラ１２ｊによりキャップのズレ、ブリッジ切れや、液体が封入された後であれば入り味量などの検査のための撮像が可能である。この時、カメラ１２ｋ〜１２ｌによる撮影は行わない。
【００５１】
容積が通常であるペットボトル１６ｂに関しては、カメラ１２ｉ〜１２ｊにより、ラベルが貼られる前の段階では浮遊異物検査、ラベルが貼られた後の段階ではラベルの位置・破れ・文字などの検査のための撮像が可能であり、カメラ１２ｋによりキャップのズレ、ブリッジ切れや、液体が封入された後であれば入り味量などの検査のための撮像が可能である。この時、カメラ１２ｌによる撮影は行わない。
【００５２】
容積が最大であるペットボトル１６ｃに関しては、カメラ１２ｉ〜１２ｋにより、ラベルが貼られる前の段階では浮遊異物検査、ラベルが貼られた後の段階ではラベルの位置・破れ・文字などの検査のための撮像が可能であり、カメラ１２ｌによりキャップのズレ、ブリッジ切れや、液体が封入された後であれば入り味量などの検査のための撮像が可能である。
【００５３】
このように、検査対象物、即ちペットボトルの容積によって、撮影するカメラ台数やカメラの制御と画像処理の所定アルゴリズムが必要となる。画像処理装置内では、ボトルの容積に応じて、検査する必要がある箇所に設置されたカメラの選択を含むカメラを制御するカメラ制御回路のアルゴリズムが、事前にカメラ制御用メモリ制御部１１によりカメラ制御用半導体素子９に書き替えられている。
【００５４】
また、画像処理装置内では、検査対象物、即ちペットボトルの容積によって特定される検査のための画像処理回路のアルゴリズムが、画像処理回路用メモリ制御部８により画像処理用半導体素子６に書き替えられている。よって、カメラの位置を物理的に移動することなく、容積の異なるペットボトルの検査が可能である。
【００５５】
図８は沈殿異物検査を例として、カメラの絞り、レンズなどが異なるカメラを設置した検査装置の側面図である。通常、これらのカメラパラメータは、検査対象物の品種によって最適な値に変更する必要がある。特に液種によっては、照明光から透過する光量に差があり画像の明るさに影響を与えてしまう。また、同じ品種でも周りの光学的環境に左右され、微妙な調整が必要となる。
【００５６】
それぞれカメラの絞り、レンズが異なるカメラ１２ｍ、カメラ１２ｎ、カメラ１２ｏを設置することで、それぞれのカメラからは異なった画像が得られ、カメラ制御用半導体素子９がその中から最適な画像を撮影可能なカメラを選択し、その画像のみを処理することが可能である。
【００５７】
このように、検査対象物の品種によって撮像画像に差が表れ、最適なカメラの絞り、レンズが異なってくる。従って、画像処理装置内は、検査対象物の品種や環境に応じてカメラの絞り、レンズを、カメラの選択によって実現している。具体的には、カメラ制御用メモリ制御部１１により、カメラ制御用半導体素子９内が、カメラ制御回路に書き替えられている。よって、カメラの絞り、レンズを人間の手により変更することなく、多種のペットボトルの検査が可能である。
【００５８】
図９にコンベア両側のカメラを増やした例を示す。コンベア１５ａの矢印で示す搬送方向に対して直角に設置されたカメラ１２ｐ、１２ｑと、カメラ１２ｐの両隣に新たにカメラ１２ｒ〜１２ｓを、カメラ１２ｑの両隣に新たにカメラ１２ｔ〜１２ｕを設置した例である。ペットボトルの形状は、メーカにより様々であり、複雑な形状を有するものもある。例として図１０に複雑な形状のペットボトル１６ｄを示す。このような場合、コンベア１５ａの搬送方向に対して直角に設置されたカメラだけでは撮影できない範囲が生じるため、カメラ１２ｒ〜１２ｕのような位置にカメラを設置することで、全範囲が撮影可能となる。
【００５９】
このように検査対象物となるペットボトルの形状によって、撮影可能範囲に差が出てくる。従って、画像処理装置内は、ペットボトルの形状に応じてカメラを選択して、それを制御するため、カメラ制御用メモリ制御部１１により、カメラ制御用半導体素子９内が、ペットボトルの形状に合わせたカメラ制御回路に書き替えられている。よって、人間の手によりカメラを新たに設置したりすることなく、多種のペットボトル形状の検査が可能である。
【図面の簡単な説明】
【００６０】
【図１】本発明を適用する画像処理装置の一実施例を示す全体構成図。
【図２】図１におけるＧＵＩの説明図。
【図３】回路の書き替え処理の説明図。
【図４】図１における撮像部のペットボトル検査の一例を示す図。
【図５】各カメラの撮像画像例と検査項目例を示す図。
【図６】ラベルの大きさが異なるペットボトルの例を示す図。
【図７】容積が異なるペットボトルと撮像するカメラの例を示す図。
【図８】沈殿異物検査の例を示す図。
【図９】コンベア両側のカメラを増やした例を示す図。
【図１０】複雑な形状のペットボトルを示す図。
【符号の説明】
【００６１】
１…コンピュータ、２…メインメモリ、３…バス、４…画像処理ボード、５…画像用メモリ、６…画像処理用半導体素子、７…画像処理回路用メモリ、８…画像処理回路用メモリ制御部、９…カメラ制御用半導体素子、１０…カメラ制御回路用メモリ、１１…カメラ制御回路用メモリ制御部、１２…カメラ、１３…検査対象物、１４…撮像部、１５…コンベア、１６…ペットボトル、１７…ラベル、１８…カメラ画像入出力インターフェース。
【特許請求の範囲】
【請求項１】
検査対象物をカメラで撮像してその画像から欠陥、汚れ、異物等を検査するための画像装置であって、メインメモリ、バスを有するコンピュータと、前記バスに接続された画像処理ボードを備え、
前記画像処理ボードは、1台もしくは複数台のカメラを制御するカメラ制御用半導体素子と、このカメラ制御用半導体素子から受けた画像を処理する画像処理用半導体素子と、この処理された画像を記憶する画像用メモリを有し、
前記コンピュータは、前記カメラ制御用半導体素子と画像処理用半導体素子をそれぞれ検査対象物の種別に対応したカメラ制御回路と画像処理回路とに書き換え処理を行い、前記画像処理ボードは、書き換えられた前記カメラ制御用半導体素子と画像処理用半導体素子によりカメラの制御と、制御されたカメラの画像を処理することを特徴とするが画像処理装置。
【請求項２】
前記画像処理ボードは、更に、検査対象物の種別に対応した複数の画像処理回路を記憶した画像処理回路用メモリと、前記コンピュータからの信号により前記複数回路の中から検査対象物に対応した画像処理回路を選択して、この回路を前記画像処理用半導体素子に書き換え処理する画像処理回路用メモリ制御部を有することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記画像処理ボードは、更に、検査対象物の種別に対応した複数のカメラ制御回路を記憶したカメラ制御回路用メモリと、前記コンピュータからの信号により前記複数回路の中から検査対象物に対応したカメラ制御回路を選択して、この回路を前記カメラ制御用半導体素子に書き換え処理するカメラ制御回路用メモリ制御部を有することを特徴とする請求項１、請求項２のいずれかに記載の画像処理装置。
【請求項４】
前記画像処理回路は、撮像された画像に対して、検査対象物の種別に対応した膨張・収縮処理、パターンマッチング処理、ラベリング処理、２値化処理、補正処理、特徴量抽出処理等を実行するアルゴリズムを有することを特徴とする請求項１、請求項２、請求項３のいずれかに記載の画像処理装置。
【請求項５】
前記カメラ制御回路は、検査対象物の種別に対応したカメラの選択、撮影タイミング等を制御するアルゴリズムを有することを特徴とする請求項１、請求項２、請求項３、請求項４のいずれかに記載の画像処理装置。
【請求項６】
前記複数台のカメラは、設置される場所によって、感度、絞り、シャッタースピード等のカメラ条件が異なることを特徴とする請求項１、請求項２、請求項３、請求項４、請求項５のいずれかに記載の画像処理装置。
【請求項７】
前記カメラ制御用半導体素子と画像処理用半導体素子はＦＰＧＡもしくは、ＰＬＤからなることを特徴とする請求項１、請求項２、請求項３のいずれかに記載の画像処理装置。
【請求項８】
前記カメラと前記コンピュータ間のカメラ画像入出力インターフェースは、デジタル画像入出力が可能なカメラリンクであることを特徴とする請求項１、請求項２、請求項３、請求項５、請求項６のいずれかに記載の画像処理装置。
【請求項９】
検査対象物をカメラで撮像してその画像から欠陥、汚れ、異物等を検査するための画像処理方法であって、メインメモリおよびバスを有するコンピュータと、前記バスに接続された画像処理ボードであって、1台もしくは複数台のカメラを制御するカメラ制御用半導体素子およびカメラ制御用半導体素子から受けた画像を処理する画像処理用半導体素子を有する前記画像処理ボードを備え、
前記コンピュータにより、前記カメラ制御用半導体素子と画像処理用半導体素子をそれぞれ検査対象物の種別に対応した制御回路と画像処理回路とに書き換え処理し、
次いで、前記書き換えられた前記カメラ制御用半導体素子により検査対象物の種別に対応してカメラを制御し、前記書き換えられた画像処理用半導体素子によりカメラ画像を検査対象物の種別に対応して画像処理することを特徴とする画像処理方法。
【請求項１０】
前記画像処理ボードは、更に、検査対象物の種別に対応した複数の画像処理回路を記憶した画像処理回路用メモリと、このメモリを制御する画像処理回路用メモリ制御部を有し、前記コンピュータからの信号により前記複数の画像処理回路の中から検査対象物の種別に対応した回路を選択して、前記画像処理用半導体素子を書き換え処理することを特徴とする請求項９記載の画像処理方法。
【請求項１１】
前記画像処理ボードは、更に、検査対象物の種別に対応した複数のカメラ制御回路を記憶したカメラ制御回路用メモリと、このメモリを制御するカメラ制御回路用メモリ制御部を有し、前記コンピュータからの信号により前記複数のカメラ制御回路の中から検査対象物の種別に対応した回路を選択して、前記カメラ制御用半導体素子を書き換え処理することを特徴とする請求項９、請求項１０のいずれかに記載の画像処理方法。
【請求項１２】
前記画像処理回路は、撮像された画像に対して、検査対象物の種別に対応した膨張・収縮処理、パターンマッチング処理、ラベリング処理、２値化処理、補正処理、特徴量抽出処理等を実行することを特徴とする請求項９、請求項１０、請求項１１のいずれかに記載の画像処理方法。
【請求項１３】
検査対象物をカメラで撮像してその画像から欠陥、汚れ、異物等を検査するための画像処理方法であって、メインメモリ、バスを備えたコンピュータと、バスに接続された画像処理ボードとを備え、画像処理ボードは、1台もしくは複数台のカメラからの撮像画像を記憶する画像用メモリと、ハードウェア領域を書き換え可能な画像処理用半導体素子と、ハードウェア領域を書き換え可能なカメラ制御用半導体素子と、検査対象物の種別に対応した複数の画像処理回路を記憶する画像処理回路用メモリと、このメモリを制御する画像処理回路用メモリ制御部と、検査対象物の種別に対応した複数のカメラ制御回路を記憶するカメラ制御回路用メモリと、このメモリを制御するカメラ制御回路用メモリ制御部を有し、
前記コンピュータからの入力信号により、前記画像処理回路用メモリから検査対象物の種別に対応した任意の画像処理回路を選択して書き換え可能な前記画像処理用半導体素子を再構成すると共に、前記カメラ制御回路用メモリから検査対象物の種別に対応した任意のカメラ制御回路を選択して書き換え可能な前記カメラ制御用半導体素子を再構成し、次いで、選択された画像処理回路により構成される前記画像処理用半導体素子において、選択されたカメラ制御回路により制御された任意の複数台のカメラからの複数の撮像画像に対して、選択された画像処理回路により画像処理することを特徴とする画像処理方法。
【請求項１】
検査対象物をカメラで撮像してその画像から欠陥、汚れ、異物等を検査するための画像装置であって、メインメモリ、バスを有するコンピュータと、前記バスに接続された画像処理ボードを備え、
前記画像処理ボードは、1台もしくは複数台のカメラを制御するカメラ制御用半導体素子と、このカメラ制御用半導体素子から受けた画像を処理する画像処理用半導体素子と、この処理された画像を記憶する画像用メモリを有し、
前記コンピュータは、前記カメラ制御用半導体素子と画像処理用半導体素子をそれぞれ検査対象物の種別に対応したカメラ制御回路と画像処理回路とに書き換え処理を行い、前記画像処理ボードは、書き換えられた前記カメラ制御用半導体素子と画像処理用半導体素子によりカメラの制御と、制御されたカメラの画像を処理することを特徴とするが画像処理装置。
【請求項２】
前記画像処理ボードは、更に、検査対象物の種別に対応した複数の画像処理回路を記憶した画像処理回路用メモリと、前記コンピュータからの信号により前記複数回路の中から検査対象物に対応した画像処理回路を選択して、この回路を前記画像処理用半導体素子に書き換え処理する画像処理回路用メモリ制御部を有することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記画像処理ボードは、更に、検査対象物の種別に対応した複数のカメラ制御回路を記憶したカメラ制御回路用メモリと、前記コンピュータからの信号により前記複数回路の中から検査対象物に対応したカメラ制御回路を選択して、この回路を前記カメラ制御用半導体素子に書き換え処理するカメラ制御回路用メモリ制御部を有することを特徴とする請求項１、請求項２のいずれかに記載の画像処理装置。
【請求項４】
前記画像処理回路は、撮像された画像に対して、検査対象物の種別に対応した膨張・収縮処理、パターンマッチング処理、ラベリング処理、２値化処理、補正処理、特徴量抽出処理等を実行するアルゴリズムを有することを特徴とする請求項１、請求項２、請求項３のいずれかに記載の画像処理装置。
【請求項５】
前記カメラ制御回路は、検査対象物の種別に対応したカメラの選択、撮影タイミング等を制御するアルゴリズムを有することを特徴とする請求項１、請求項２、請求項３、請求項４のいずれかに記載の画像処理装置。
【請求項６】
前記複数台のカメラは、設置される場所によって、感度、絞り、シャッタースピード等のカメラ条件が異なることを特徴とする請求項１、請求項２、請求項３、請求項４、請求項５のいずれかに記載の画像処理装置。
【請求項７】
前記カメラ制御用半導体素子と画像処理用半導体素子はＦＰＧＡもしくは、ＰＬＤからなることを特徴とする請求項１、請求項２、請求項３のいずれかに記載の画像処理装置。
【請求項８】
前記カメラと前記コンピュータ間のカメラ画像入出力インターフェースは、デジタル画像入出力が可能なカメラリンクであることを特徴とする請求項１、請求項２、請求項３、請求項５、請求項６のいずれかに記載の画像処理装置。
【請求項９】
検査対象物をカメラで撮像してその画像から欠陥、汚れ、異物等を検査するための画像処理方法であって、メインメモリおよびバスを有するコンピュータと、前記バスに接続された画像処理ボードであって、1台もしくは複数台のカメラを制御するカメラ制御用半導体素子およびカメラ制御用半導体素子から受けた画像を処理する画像処理用半導体素子を有する前記画像処理ボードを備え、
前記コンピュータにより、前記カメラ制御用半導体素子と画像処理用半導体素子をそれぞれ検査対象物の種別に対応した制御回路と画像処理回路とに書き換え処理し、
次いで、前記書き換えられた前記カメラ制御用半導体素子により検査対象物の種別に対応してカメラを制御し、前記書き換えられた画像処理用半導体素子によりカメラ画像を検査対象物の種別に対応して画像処理することを特徴とする画像処理方法。
【請求項１０】
前記画像処理ボードは、更に、検査対象物の種別に対応した複数の画像処理回路を記憶した画像処理回路用メモリと、このメモリを制御する画像処理回路用メモリ制御部を有し、前記コンピュータからの信号により前記複数の画像処理回路の中から検査対象物の種別に対応した回路を選択して、前記画像処理用半導体素子を書き換え処理することを特徴とする請求項９記載の画像処理方法。
【請求項１１】
前記画像処理ボードは、更に、検査対象物の種別に対応した複数のカメラ制御回路を記憶したカメラ制御回路用メモリと、このメモリを制御するカメラ制御回路用メモリ制御部を有し、前記コンピュータからの信号により前記複数のカメラ制御回路の中から検査対象物の種別に対応した回路を選択して、前記カメラ制御用半導体素子を書き換え処理することを特徴とする請求項９、請求項１０のいずれかに記載の画像処理方法。
【請求項１２】
前記画像処理回路は、撮像された画像に対して、検査対象物の種別に対応した膨張・収縮処理、パターンマッチング処理、ラベリング処理、２値化処理、補正処理、特徴量抽出処理等を実行することを特徴とする請求項９、請求項１０、請求項１１のいずれかに記載の画像処理方法。
【請求項１３】
検査対象物をカメラで撮像してその画像から欠陥、汚れ、異物等を検査するための画像処理方法であって、メインメモリ、バスを備えたコンピュータと、バスに接続された画像処理ボードとを備え、画像処理ボードは、1台もしくは複数台のカメラからの撮像画像を記憶する画像用メモリと、ハードウェア領域を書き換え可能な画像処理用半導体素子と、ハードウェア領域を書き換え可能なカメラ制御用半導体素子と、検査対象物の種別に対応した複数の画像処理回路を記憶する画像処理回路用メモリと、このメモリを制御する画像処理回路用メモリ制御部と、検査対象物の種別に対応した複数のカメラ制御回路を記憶するカメラ制御回路用メモリと、このメモリを制御するカメラ制御回路用メモリ制御部を有し、
前記コンピュータからの入力信号により、前記画像処理回路用メモリから検査対象物の種別に対応した任意の画像処理回路を選択して書き換え可能な前記画像処理用半導体素子を再構成すると共に、前記カメラ制御回路用メモリから検査対象物の種別に対応した任意のカメラ制御回路を選択して書き換え可能な前記カメラ制御用半導体素子を再構成し、次いで、選択された画像処理回路により構成される前記画像処理用半導体素子において、選択されたカメラ制御回路により制御された任意の複数台のカメラからの複数の撮像画像に対して、選択された画像処理回路により画像処理することを特徴とする画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２００８−２８７５０６（Ｐ２００８−２８７５０６Ａ）
【公開日】平成２０年１１月２７日（２００８．１１．２７）
【国際特許分類】
【出願番号】特願２００７−１３１８６４（Ｐ２００７−１３１８６４）
【出願日】平成１９年５月１７日（２００７．５．１７）
【出願人】（０００００５４５２）株式会社日立プラントテクノロジー (1,767)
【Ｆターム（参考）】
【公開日】平成２０年１１月２７日（２００８．１１．２７）
【国際特許分類】
【出願日】平成１９年５月１７日（２００７．５．１７）
【出願人】（０００００５４５２）株式会社日立プラントテクノロジー (1,767)
【Ｆターム（参考）】
[ Back to top ]