画像処理装置
【課題】カメラで撮像した画像を処理する画像処理装置において、検査処理の高速化を図ると共に、対象物の画像処理の判定データと撮像画像の画像データの整合性を高める。
【解決手段】画像処理装置１は、撮像装置２により撮像された対象物の画像データに画像番号を付加し画像処理部４と画像表示部５に分岐転送する画像分岐部３１と、この画像データの画像検査の判定データに画像番号を付加して画像表示演算部５２に伝送する画像処理演算部４２と、この画像データを表示画像として記憶する表示画像保持部５４とを備える。画像表示演算部５２は、判定データの画像番号と同じ番号の画像データを表示画像保持部５４で検索し、この画像データに判定データを重畳して表示出力を行う。これにより、画像処理と画像表示の並列処理による検査処理の高速化が図れると共に、判定データと撮像画像の画像データとを確実に整合して表示出力することができる。
【解決手段】画像処理装置１は、撮像装置２により撮像された対象物の画像データに画像番号を付加し画像処理部４と画像表示部５に分岐転送する画像分岐部３１と、この画像データの画像検査の判定データに画像番号を付加して画像表示演算部５２に伝送する画像処理演算部４２と、この画像データを表示画像として記憶する表示画像保持部５４とを備える。画像表示演算部５２は、判定データの画像番号と同じ番号の画像データを表示画像保持部５４で検索し、この画像データに判定データを重畳して表示出力を行う。これにより、画像処理と画像表示の並列処理による検査処理の高速化が図れると共に、判定データと撮像画像の画像データとを確実に整合して表示出力することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラで撮像した対象物の画像データを画像処理して、対象物の外観検査等の製品検査を行うために用いられる画像処理装置に関する。
【背景技術】
【０００２】
従来から、この種の画像検査装置は、製品の製造工程などにおいて、部品等の品種の識別、異種部品の混入検出、組立て作業や製品検査の自動化のため、対象物をカメラで撮像し、対象物の面積、形状、位置など、画像データの特徴を測定・認識することで、良品、不良品の判定に用いられている。このような検査において、検査対象物の微細化、検査の高精度化、及び広い視野検査の要望などに伴って、例えば、２００万画素等の高精度カメラが必要とされている。しかし、このような高精度カメラの画像データは、そのデータ容量（例えば、２００万画素のカラー画像で約５．８Ｇバイト）が極めて大きくなるため、画像処理装置のアクセスするデータの増加や、演算処理そのもののスピードの低下、及び処理ブロック間のデータ転送のスループットの限界に伴うバススピード不足などにより、検査処理速度全体の低下を招く。
【０００３】
従来の画像処理システムとして、例えば、特許文献１に示されるように、カメラからの画像データを記憶する第１のＶＲＡＭ（ＶＩＤＥＯ ＲＡＭ）と、これに接続された第１のＣＰＵ及びメインメモリとから成る画像処理装置と、前記と同様の画像データを記憶する第２のＶＲＡＭと、これに接続された第２のＣＰＵ及びメインメモリからなる画像出力処理部とを備え、第１のＣＰＵによる画像処理により外観検査測定を行う一方、並行して第２のＣＰＵによる画像データの出力処理を行い、画像処理を高速化するものが知られている。しかしながら、このシステムでは、画像処理部と通信部にそれぞれ画像データの同じ容量の記憶領域を設け、これらの記憶領域に１対１に同じ画像番号を付与し、この領域に付けた画像番号のみで画像処理の判定データと表示画像の画像データをリンクさせるので、画像処理部と通信部において、同じだけの画像メモリ量を必要とした。このため、カメラの高画質化に伴い撮像画像の画素数が増えて画像データの容量が大きくなると、画像メモリ量をますます多く必要とする。また、連写して画像を撮像し、画像処理は連写回数だけ行い、画像表示は連写した画像のうちの１つしか行わない、処理側と表示側で非同期的に動作が実行（独立した実行）される場合においては、記憶領域の画像番号が同じでも処理側と、表示側で記憶された画像がリンクしなくなり、２つの記憶領域間の対による管理が困難となる。
【０００４】
また、特許文献２に示されるように、画像処理検査装置として、ＴＶカメラからの画像データを蓄積し、検査処理を行うための処理用画像データメモリと、表示を行うための表示用画像データメモリとをそれぞれ複数画面分有し、これらの処理用画像データメモリと表示用画像データメモリとを順次、かつサイクリックに切換えて画像の処理と表示を行うものが知られている。しかしながら、この画像処理検査装置では、処理用画像データメモリ及び表示用画像データメモリにそれぞれ複数画面分のメモリを用いるので、多くの画像メモリを必要とすると共に、これらのメモリを切換えるための複数のスイッチを必要とするため、回路構成が複雑化し、コストアップとなっていた。
【０００５】
また、特許文献３に示されるように、画像情報を格納する画像記憶装置と、処理する画像情報を記憶する画像処理用メモリと、記憶された画像情報の画像処理を行う画像処理部とを備えて画像処理を高速化する画像処理装置が知られている。しかし、この画像処理装置は、画像処理のみに複数の矩形領域の識別番号と、この矩形領域を格納した画像記憶装置の記憶単位のアドレスとの対応表を備えて処理するため、処理画像と表示画像との整合性を取ることが難しかった。
【特許文献１】特開２００３−９８０９８号公報
【特許文献２】特開平１０−３２８１０号公報
【特許文献３】特開平９−２５９２６２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は、上記の問題を解決するものであり、対象物の画像処理において、検査処理の高速化を図ると共に、表示画像の画像データと画像処理の判定データとを確実に整合して表示できる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために請求項１の発明は、対象物を撮像する撮像装置と、この撮像装置により撮像された画像データを後続の画像処理部と画像表示部に送出する撮像処理部と、前記撮像処理部からの画像データを画像処理する画像処理部と、前記画像データによる画像を表示する画像表示部と、を備えた画像処理装置であって、前記撮像処理部は、前記撮像装置から出力される画像データを一時格納し、この画像データを分岐して前記画像処理部及び画像表示部に順次転送する画像分岐部と、この画像分岐部の指示により画像番号を発生し、この画像番号を前記画像分岐部に転送する画像番号発生部と、を備え、前記画像処理部は、前記画像分岐部から転送される画像データを格納する演算用記憶部と、この演算用記憶部に格納された画像データを用いて画像検査のための画像処理を実行し、この画像処理の判定データを出力する画像処理演算部と、を備え、前記画像表示部は、前記画像分岐部から転送される画像データと画像番号を格納する表示用記憶部と、この表示用記憶部に格納された画像データを表示処理し、その表示処理結果を外部表示機器に出力する画像表示演算部と、を備え、前記画像分岐部は、分岐する画像データの画像に画像番号を付加して前記画像処理部と画像表示部に分岐転送し、前記画像処理演算部は、前記画像番号を前記画像処理の判定データに付加して前記画像表示演算部に転送し、前記表示用記憶部は、前記画像分岐部より分岐転送された画像番号の付加された画像データを記憶し、前記画像表示演算部は、前記画像処理演算部から転送された判定データに付加された画像番号を前記表示用記憶部に格納された画像データ中の画像番号と検索比較し、同一画像番号が検出された場合に、前記表示用記憶部に格納された該同一番号の画像データを画像表示するものである。
【０００８】
請求項２の発明は、請求項１に記載の画像処理装置において、前記画像表示部は、前記分岐転送された画像データの画像番号とその画像の格納位置を記憶する画像番号保持部をさらに備え、前記画像番号保持部は、前記画像データの画像番号を保持すると共に、この画像データの表示画像を保存する記憶場所を決定してこの表示画像を前記表示用記憶部に転送格納し、前記画像表示演算部は、前記画像処理演算部からの判定データに付加された画像番号を前記画像番号保持部で検索し、前記表示用記憶部に格納されている前記判定データの画像番号に対応する表示画像の格納位置を取得するものである。
【０００９】
請求項３の発明は、請求項１又は請求項２に記載の画像処理装置において、前記撮像処理部は、前記画像処理演算部から予め指定される画像の水平方向のライン数を保持し、前記画像分岐部からの画像データのライン数をカウントし、前記指定されたライン数の画像データを前記画像処理部に転送する転送ライン計数部をさらに備え、前記画像処理演算部は、前記転送ライン計数部から前記指定されたライン数の画像処理に必要な画像データの転送を受けると、画像処理を実行するものである。
【００１０】
請求項４の発明は、請求項２に記載の画像処理装置において、前記画像番号保持部は、前記画像分岐部からの画像データを前記表示用記憶部の記憶領域に格納すると、この記憶領域が格納済みであることを示すロック情報を記憶するロック情報記憶回路を備えると共に、このロック情報記憶回路に記憶されたロック情報に基づき前記画線分岐部から転送される画像データをロック状態でない前記表示用記憶部の記憶領域に格納するものである。
【００１１】
請求項５の発明は、請求項４に記載の画像処理装置において、前記画像表示演算部は、前記表示用記憶部の記憶領域に記憶された画像データの画像表示を実行した後、前記記憶領域が上書き可能になるように前記ロック情報記憶回路のロック情報を修正するものである。
【００１２】
請求項６の発明は、請求項４又は請求項５に記載の画像処理装置において、前記撮像処理部は、前記撮像装置からの画像データの入力信号を受け付けなくするための入力信号キャンセル回路をさらに備え、前記画像表示部は、前記画像番号保持部から前記画像分岐部へ撮像制御信号を伝達する撮像制御回路をさらに備え、前記ロック情報記憶回路が、前記表示用記憶部の全記憶領域がロック状態になったことを示すと、前記撮像制御回路は前記画像分岐部に撮像制御信号を送り、前記画像分岐部は、この撮像制御信号に基づき入力信号キャンセル信号を前記入力信号キャンセル回路に送り、この入力信号キャンセル回路により前記撮像処理部が入力信号を無視し、撮像された画像データの撮り込みを実行しないものである。
【発明の効果】
【００１３】
請求項１の発明によれば、画像処理部と画像表示部との並列処理で検査処理を高速化できると共に、画像処理部側の処理の判定データと画像表示部側の表示の画像データとをリンクさせることができるので、画像番号の検索により、常に、表示の画像データと処理の判定データとを確実に整合して表示出力することができる。また、画像処理側と画像表示側とを独立して非同期実行させた場合でも、画像番号検索により、処理結果と表示画像とを整合させて表示出力することができる。また、画像処理部は、少なくとも画像番号の付加された画像処理の判定データを保存しておけば、画像表示部で表示画像を検索できるので、画像表示部と対に同じ画像データを保持する必要がなく、必要な画像メモリを少なくできる。
【００１４】
請求項２の発明によれば、画像番号検索を行うデータ管理構造の単純な画像番号保持部を備えたことにより、画像表示演算部に影響を与えることなく検索が行え、表示画像の高速検索が可能となる。また、画像番号保持部は、データ管理構造の単純であるので、ハード化が容易であり、このハード化によりさらに検索を高速化できる。
【００１５】
請求項３の発明によれば、全体画像ではなく、必要なライン数の部分画像のみを画像処理するので、画像処理を高速化することができる。また、画像表示部には、画像全体が転送されるため、画像処理の高速化にもかかわらず処理結果と整合して画像全体を表示することができる。
【００１６】
請求項４の発明によれば、表示用記憶部におけるロック状態の領域が明確になるので、表示用記憶部に記憶されている表示画像への上書きを防止することができる。
【００１７】
請求項５の発明によれば、表示用記憶部におけるロック状態の記憶領域を上書き可能にできるので、表示用記憶部の記憶可能領域が増え、表示画像を確実に記憶し、表示出力させることができる。
【００１８】
請求項６の発明によれば、ロック状態になると撮像処理部において、撮像装置からの入力信号の取り込みを中止させることができるので、画像処理のみが先行することを防ぐことができ、処理結果とこれに対応する表示画像の整合性を保つことができる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の第１の実施形態に係る画像処理装置について図１、図２を参照して説明する。本実施形態の画像処理装置１は、製品製造ラインでの製品を検査対象とするもので、検査対象を撮像するカメラの撮像装置２、この撮像装置２からの画像データを後続の画像処理部４と画像表示部５に送る撮像処理部３、この撮像処理部３からの画像データの検査画像を画像処理する画像処理部４、前記画像データによる全体画像を表示処理する画像表示部５、画像処理部４の出力が接続される外部機器６、画像表示部５の出力を表示する外部表示機器７、及び撮像開始信号を発生する外部信号発生装置８を備えている。外部機器６は、画像処理部４に制御信号を送るプログラマブルコントローラ（以下、ＰＬＣという）などの制御装置からなり、外部表示機器７は、変換画像を表示するディスプレイ装置であり、外部信号発生装置８は、パソコンなどの制御信号を発生できる制御機器である。また、この画像処理装置１は、例えば、製造ラインなどの検査工程において、検査対象物の撮像画像の画像処理に基く、形状、面積、位置などの画像データの特徴の測定、認識、検査等に使用されるものである。
【００２０】
撮像処理部３は、撮像装置２から出力される映像信号の画像データを一時格納し、この格納された画像データを２つに分岐し順次転送して出力する画像分岐部３１と、この画像分岐部３１の指示により画像番号を発生し、この画像番号を画像分岐部３１に転送する画像番号発生部３２と、外部信号発生装置８からの撮像開始信号を受付け、撮像装置２に撮像開始信号を送る入力信号受付部３３と、を備える。画像分岐部３１は、分岐する画像データの画像に画像番号発生部３２で発生させた同じ画像番号を付加して画像処理部４と画像表示部５にそれぞれ分岐転送する。
【００２１】
また、撮像処理部３は、ハード構成として、フィールド・プログラマブル・ゲートアレイ（以下、ＦＰＧＡという）（図示なし）で形成され、このＦＰＧＡにより画像分岐部３１、画像番号発生部３２、入力信号受付部３３を構成する。このＦＰＧＡは、基本的には映像信号を画像メモリに格納し、ＣＰＵの演算に適したデジタル量に変換したのち、必要な各種デジタル信号処理を行う。そして、例えば、取り込んだ画像に管理するための番号を付加した映像信号を画像処理部４と画像表示部５へ分岐して転送するハードウェア回路、各種データを記憶するランダムアクセスメモリ（以下、ＲＡＭという）のデータにアクセスするインターフェース回路、ＲＡＭデータを他のＲＡＭに転送するバス制御回路、ダイレクトメモリアクセス回路、及び入力信号を受け付けるデータの入出力（Ｉ／Ｏ）等を有している（以上、図示なし）。また、これらの処理は、ディジタル・シグナル・プロセッサ（ＤＳＰ）などの高速プロセッサを使ってソフト的に実施することも可能である。ここでは、画像分岐部３１からのデータ分岐においてタイムラグが発生するため、実用上問題とならない範囲のタイムラグでＦＰＧＡによるハード構成により、画像データの同時分岐を実現している。このＦＰＧＡは、自己の動作を制御するレジスタであるＦＰＧＡレジスタ３４を保持する。
【００２２】
画像処理部４は、撮像処理部３の画像分岐部３１から転送される画像データを格納する演算用記憶部４１と、この演算用記憶部４１に格納された画像データを用いて画像検査のための画像処理を実行し、その画像処理結果を外部機器６に出力する画像処理演算部４２とを備える。また、演算用記憶部４１は、ＲＡＭで構成され、ＣＰＵの動作を規定するプログラム及びデータ、ＦＰＧＡから得られる生画像／変換画像を格納する。また、画像処理演算部４２は、ＣＰＵで構成され、外部機器６を使用するユーザ、又は外部機器６となるプログラマブルコントローラ（以下、ＰＬＣという）などの制御装置からの指示により、ＦＰＧＡのＦＰＧＡレジスタの条件設定、ＲＡＭ内のプログラムに従った画像処理等を実行する。そして、この画像処理演算部４２における画像演算は、例えば、対象物の外観検査等において、予め用意されたテンプレート画像とのパターンマッチングを行い、その一致度で判定等を行い、製品の良品、不良品を区別し、その画像検査処理の判定データを外部機器６に出力すると共に、この判定データを画像表示部５の画像表示演算部５２に送る。この判定データは、画像処理における検査結果データとして、判定結果以外にも検査処理結果の画像データ等を含むことができる。
【００２３】
画像表示部５は、画像分岐部３１から転送される画像番号が付加された全体画像の画像データを格納する表示用記憶部５１と、この表示用記憶部５１に格納された画像データを画像表示処理する画像表示演算部５２と、この画像表示演算部５２からの表示処理結果を外部表示機器に出力する画像表示出力部５３とを備え、表示用記憶部５１は、判定データに対応する表示画像の全体画像データを保持する表示画像保持部５４を有する。表示用記憶部５１は、ＲＡＭで構成され、グラフィック表示処理ＩＣであるグラフィックスプロセッシングユニット（以下、ＧＰＵという）におけるグラフィック表示処理の動作を規定するデータ、ＦＰＧＡから得られる生画像及び変換画像、さらにオーバーレイなどを施した表示画像を格納する。表示用記憶部５１は、判定データに対応する表示画像の全体画像データを保持する表示画像保持部５４と、画像分岐部３１から転送さた画像番号が記憶されると共に表示画像保持部５４に記憶された画像データを管理するためのＦＰＧＡによる管理レジスタ５５と、を備える。表示画像保持部５４は、ＲＡＭで構成され、各画像データを記憶する画像記憶領域５６を有する。画像表示演算部５２は、ＧＰＵ又は高速描画ができるＤＳＰなどから構成され、機能的には、画像に対し文字やメニューなどのオーバーレイ、画像の拡大及び縮小等を実行する。
【００２４】
上記のように構成された画像処理装置１の動作手順について、図３のフローチャートを参照して説明する。先ず、入力信号受付部３３は、外部信号発生装置８からの撮像開始信号である外部信号を受信すると、入力信号受付部３３内に設けられたノイズキャンセル回路（図示なし）で、外部信号に含まれる不要ノイズを低減した後（Ｓ１）、外部信号を受理し（Ｓ２）、撮像装置２に撮像開始のカメラトリガを与える（Ｓ３）。このカメラトリガにより撮像装置２で撮像された検査対象の画像データは、画像分岐部３１に入力されて（Ｓ４）一時格納されると共に、その画像がカウントされて、画像データの中の各画像に画像番号発生部３２で発生させた撮像順のシリアル番号が順次付加された後（Ｓ５）、２つに分岐されて画像処理部４と画像表示部５にバス転送される（Ｓ６）。これにより、画像処理部４と画像表示部５において、ともに同じ画像番号を持った画像データが両者間で同期して入力される。
【００２５】
画像処理部４は、この転送された画像番号が付加された画像データを演算用記憶部４１に格納し、画像処理演算部４２がこの格納された画像データを用いて画像検査のための画像処理を実行する（Ｓ７）。この画像処理演算部４２における画像処理では、予め用意されたテンプレート画像とのパターンマッチングを行いその一致度により良否を判定し、検査対象の画像検査を行う。さらに、画像処理演算部４２は、この画像データの検査処理の判定データを外部機器６を出力すると共に、この判定データに対して処理された画像データの画像番号を付加し、結果に応じたグラフィック表示データを含む結果表示データを生成し（Ｓ８）、この結果表示データを含む判定データがどの画像データの判定データに対応するかを明確にして画像表示部５の画像表示演算部５２に転送する。
【００２６】
画像表示部５において、表示用記憶部５１は、転送されてきた画像データより画像番号を取得し（Ｓ９）、この画像番号を管理レジスタ５５に保存する（Ｓ１０）。管理レジスタ５５は、画像データの表示画像を保存する画像保存アドレスを算出し（Ｓ１１）、表示画像保持部５４に、この表示画像を保存する（Ｓ１２）。画像表示演算部５２は、画像処理演算部４２から転送された判定データに付加された画像番号を表示画像保持部５４に記憶された画像データ中の画像番号と検索比較し（Ｓ１３）、同一画像番号が検出された場合に、表示用記憶部５１に記憶された同一番号の画像データの画像格納アドレスを算出し（Ｓ１４）、抽出した画像データに画像検査の判定データをオーバーレイして出力する。そして、このオ−バーレイされた画像は、画像表示出力部５３に画像表示される（Ｓ１５）。
【００２７】
ここで、撮像された画像データにおける画像表示される画像データと画像検査の判定データの整合について説明する。撮像装置２で撮像された画像データＡ１は、画像分岐部３１で画像番号（例えば、画像０）が付加された２つの同じ画像データのＡ２、Ａ３に分岐されて、それぞれ画像処理部４と画像表示部５に転送されされる。先ず、画像処理部４に転送された画像番号付きの画像データＡ２（画像０）は、画像処理演算部４２で演算処理されて検査され、その検査結果の判定データＡ４（結果０）は、入力された画像データＡ２（画像０）と同じ画像番号が付加されて画像表示演算部５２に転送される。他方、画像表示部５に転送された画像データＡ３（画像０）は、図２に示すように、管理レジスタ５５により画像データＡ３の画像番号に対応する同じ管理番号で管理されて、表示画像保持部５４の画像記憶領域５６に記憶され、表示画像として保持される。従って、画像処理演算部４２からの判定データＡ４（結果０）の画像番号と、同じ画像番号の画像データＡ５（画像０）を検索して、この画像データＡ５（画像０）と判定データＡ４（結果０）を整合させ、両データをオーバーラップさせて画像データＡ６として画像表示出力部５３に出力することができる。
【００２８】
この整合された表示画像の画像データと判定データのオーバレイ表示により、撮像された検査対象物の全体画像のどこに欠陥があるかを即座に、明確に視認することができる。また、たとえ、２系統に分かれた並列処理において、画像処理プロセス及び画像記憶プロセスの途中で時間的ずれが生じたとしても、画像表示を行う最終表示においては、表示の画像データとその判定データとを整合させて表示することができる。また、表示画像の画像データの検索は画像番号だけで行うので、画像処理部４の演算用記憶部４１では、少なくとも画像番号付きの判定データのみ記憶すればよく、表示用記憶部５１のように記憶容量の大きい画像データの記憶を必要としないので、メモリ容量をさらに少なくすることができる。
【００２９】
本実施形態によれば、画像分岐部３１で画像データに画像番号を付加したことにより、画像処理部４側の画像処理の判定データと画像表示部５側の表示画像の画像データをデータ的にリンクさせることができるので、常に、表示画像の画像データと画像処理の判定データとを整合して表示出力することができる。
【００３０】
また、データバスの２重化により、画像処理部と画像表示部を並列処理できるので、表示による画像処理速度の低下を防ぎ、画像処理速度を最速に保つことができる。また、検査画像と検査結果の両方を同時に表示することができ目視による検査結果の視認性を向上することができる。
【００３１】
また、画像処理部４側と画像表示部５側とを非同期実行（独立した実行）させるような場合において、処理側と表示側は、１対１の対の画像データを保持しない場合が生じるが、このような場合でも、画像番号管理により、処理結果と表示画像とを整合させて表示出力することができる。また、逆に、この非同期実行を行った場合は、１対１の画像記憶に制限されることなく、必要な画像のみを記憶すればよいので、記憶メモリを低減することができ、かつ、独立して選択的に画像処理できるので、さらに高速検査処理が可能となる。
【００３２】
次に、本発明の第２の実施形態に係る画像処理装置１について、図４を参照して説明する。本実施形態の画像処理装置１は、前記実施形態と基本的には同じ構成を成し、画像表示部５は、画像分岐部３１からの画像データの画像番号とその画像データの格納位置のみを記憶し、画像データの表示画像を表示画像保持部５４に転送する画像番号保持部５７をさらに備えている。この画像番号保持部５７は、ＲＡＭで構成され、ＦＰＧＡで構成されるＦＩＦＯ（Ｆｉｒｓｔ ｉｎ Ｆｉｒｓｔ ｏｕｔ）バッファ及び転送回路を備え、画像番号を保持し、この画像番号を管理するＦＰＧＡによる管理レジスタ５８を有している。
【００３３】
画像番号保持部５７は、画像分岐部３１からの画像データの中の画像番号を保持すると共に、全体画像の表示画像を保存する記憶場所を決定し、この表示画像をＦＩＦＯバッファと転送回路により表示画像保持部５４の格納位置に順次転送する。また、画像表示演算部５２は、画像処理演算部４２からの判定データに付加された画像番号と同じ画像番号を画像番号保持部５７において検索し、この検索により表示画像保持部５４における同じ画像番号の画像データの格納位置を検出し、この検出された格納中の画像データを画像表示出力部５３に出力する。
【００３４】
画像表示部５における画像データの管理について、図５を参照して説明する。画像番号保持部５７は、管理レジスタ５８を備える。この管理レジスタ５８は、基本的には、前記管理レジスタ５５と同じ機能を持ち、画像データを画像番号と同じ番号の管理番号を備えて管理する。従って、画像番号保持部５７において、画像処理演算部４２からの判定データの画像番号と、画像番号保持部５７の画像番号とを比較して、一致する画像番号を管理番号から検索することができ、前記実施形態と同様に、この検索された管理番号により表示画像保持部５４から表示画像の画像データを随時出力することができる。
【００３５】
ここで、本実施形態の画像処理装置１の動作手順について、図６のフローチャートを参照して説明する。図６において、上述の図３のＳ９〜Ｓ１１、及びＳ１３、Ｓ１４がＳ９Ａ〜Ｓ１１Ａ、及び、及びＳ１３Ａ、Ｓ１４Ａに変った点を除いては同等である。画像番号保持部５７は、画像分岐部３１より転送されてきた画像データより画像番号を取得し（Ｓ９Ａ）、画像データから画像番号を切り離して画像番号を管理レジスタ５８に保持し（Ｓ１０Ａ）、管理レジスタ５８は、画像データの表示画像を保存する表示画像保持部５４の画像保存アドレスを算出し（Ｓ１１Ａ）、この表示画像を表示画像保持部５４に保存する（Ｓ１２）。また、画像番号保持部５７は、画像処理演算部４２からの判定データを画像表示演算部５２から受けると、その判定データの画像番号を管理レジスタ５８の管理番号データから検索し（Ｓ１３Ａ）、検出された管理番号データから表示画像保持部５４の画像格納アドレスを算出し（Ｓ１４Ａ）、表示画像保持部５４に記憶されている表示画像の画像データと判定データとを整合し、これらをオーバーラップして画像表示出力部５３に表示する（Ｓ１５）。
【００３６】
本実施形態によれば、画像番号保持部５７において画像番号と画像データの格納位置のみを記憶して画像検索するので、画像番号保持部５７のデータ管理構造が簡単になり、検索を容易に行える。このため、画像表示演算部５２で画像検索を行う場合に比べ、画像表示演算部５２と独立して検索動作を行えるので、高速検索が可能となる。また、このデータ管理構造の単純化によりハード化が容易になり、これによりさらに検索を高速化できる。
【００３７】
次に、本発明の第３の実施形態に係る画像処理装置１について、図７を参照して説明する。この画像処理装置１は、前記第２の実施形態と基本的に同じ構成を成し、予め指定された画像の水平方向のライン数の範囲を保持し、画像分岐部３１から転送されたライン数をカウントする転送ライン計数部３５をさらに備える。この転送ライン計数部３５は、指定された範囲のライン数を画像処理部４に順次転送し、指定された範囲のライン数に達したとき、画像データの全体画面が転送されなくても画像処理部４で画像処理を実行するものである。
【００３８】
本実施形態の画像処理装置１は、撮像処理部３の画像分岐部３１から転送される画像データの水平方向のライン数を数えて画像処理部４に転送する転送ライン計数部３５を備える。この転送ライン計数部３５は、ＦＰＧＡで構成され、画像処理演算部４２から予め指定されたライン数の範囲のライン番号を保持し、撮像された画像データのライン数をカウントして指定された範囲のライン数の画像データのみを画像処理部４に転送し演算用記憶部４１で記憶する。そして、指定された範囲のライン数の画像データを転送し終わると、画像処理演算部４２は、全画像が転送されなくても転送された指定のライン数の画像データの画像処理を実行する。
【００３９】
転送ライン計数部３５は、画像分岐部３１から転送される画像番号付きの画像データを図８に示すように、水平方向の走査ラインを１ライン目から順次カウントする。そして、指定されたライン数の範囲（ここでは、画像処理領域のＬ３からＬ７の範囲とする）における最初のラインＬ３が入力されると画像処理部４に転送を始め、画像処理領域の最後のラインＬ７までの転送が完了すると画像データの転送を止める。そして、この画像処理領域範囲の計５ラインのみが転送され、演算用記憶部４１に記憶されると、画像処理演算部４２は、全体画像の全ライン（１画面分）が転送されなくても演算用記憶部４１に記憶された指定された画像処理領域の画像の画像処理を行う。これにより、画像処理演算部４２は、通常、画像分岐部３１から転送される画像データの１画面分が演算用記憶部４１に記憶されてから、全体画像の画像処理を始めるのに対して、本実施形態では、必要な画像処理領域だけの部分画像の処理で済むので画像処理の領域が減り、画像処理をさらに高速化することができる。
【００４０】
本実施形態によれば、画像処理部４は、画像処埋に必要な画像データのライン数の画像転送を受けると、画像データの全体画像が転送されなくても画像処理を実行するので、画像処理の高速化ができ、外部機器に対して検査画像の高速応答が可能である。これにより、検査対象の画像が高解像の撮像画像による高容量画像であっても検査に必要な部分画像のみを抽出することにより、検査画像容量を少なくできるので、画像処理部４における画像処理の演算量を低減でき、データバスのスループットを大きくすることなく、高速の画像処理が可能となる。また、画像表示出力部５３には、判定データに付加された画像番号により検索される全体画像と判定データが表示されるので、部分画像を画像処理するにもかかわらず、検査対象の全体画像表示が可能となり、全体画像における画像検査の状態を視覚的に分かり易くでき、視認性を向上することができる。
【００４１】
次に、本発明の第４の実施形態に係る画像処理装置１について、図９参照して説明する。この画像処理装置１は、前記第３の実施形態と基本的には同じ構成を成し、画像番号保持部５７は、画像分岐部３１からの画像データを表示用記憶部５１の表示画像保持部５４の記憶領域に格納すると、この記憶領域が格納済みであることを示すロック情報を記憶するロック情報記憶回路５９を備える。
【００４２】
画像番号保持部５７は、画像分岐部３１からの画像データを表示画像保持部５４の記憶領域に格納すると、この記憶領域が格納済みであることを示すロック情報を記憶するＦＰＧＡで形成されるロック情報記憶回路５９を備える。また、画像番号保持部５７は、ロック情報記憶回路５９に記憶されたロック情報に基づき、画像分岐部３１から転送される画像データを表示画像保持部５４のロック状態でない記憶領域に格納する。
【００４３】
表示画像のロック機構を図１０（ａ）、（ｂ）を参照して説明する。図１０（ａ）は、管理レジスタ５８の構成を示し、管理レジスタ５８は、ロック状態を判別するロックレジスタのロックフラグ５８ｘと管理する画像データの画像番号５８ｙで構成される。このロックフラグ５８ｘは、ロック状態を１で表し、非ロック状態を０で表し、デジタル信号の１ｂｉｔで表示される。画像番号５８ｙは、画像データに付加される画像番号を示す。また、図１０（ｂ）に示すように、管理レジスタ５８は、格納された各画像データ毎のロックフラグ５８ｘと画像番号５８ｙを持つ画像番号の番号別管理レジスタ５８ａ、５８ｂ・・・５８ｎを有する。図１０（ｂ）において、画像表示部５に画像番号０の画像データ（画像０）が入力されると、管理レジスタ５８は、先ず、最初の管理番号０の番号別管理レジスタ５８ａのロックレジスタの状態をチェックし、ここでは、ロックフラグが１であるので、ロック状態と判断し、次の番号の番号別管理レジスタ５８ｂのロック状態をチェックする。この番号別管理レジスタ５８ｂでは、ロックフラグが０であるので、非ロック状態と判断されるので、画像データ（画像０）は、番号別管理レジスタ５８ｂで管理され、この画像データの表示画像は、表示画像保持部５４の管理番号１に対応する画像記憶領域５６（画像１）に記憶される。
【００４４】
本実施形態によれば、画像番号保持部５７は、ロック情報を記憶するロック情報記憶回路５９により、表示画像保持部５４の画像記憶領域５６のロック状態を知ることができ、画像データを記憶済みの記憶領域に重ねて格納することを阻止できるので、表示画像保持部５４における表示画像への上書きを防止することができる。
【００４５】
次に、本発明の第５の実施形態に係る画像処理装置１について、図１１を参照して説明する。この画像処理装置１は、前記第４の実施形態と基本的には同じ構成を成し、画像表示演算部５２が、表示画像保持部５４の画像記憶領域５６に記憶された画像データの画像表示を実行した後に、この画像記憶領域５６が上書き可能となるようにロック情報記憶回路５９のロック情報を修正する。
【００４６】
画像表示演算部５２は、画像処理演算部４２からの判定データの画像番号により表示画像保持部５４に記憶されている画像データを検索して、この表示画像の画像データに判定データをオーバーレイして次段の画像表示出力部５３に出力した後、ロック情報を記憶するロック情報記憶回路５９のロック情報を修正する。即ち、管理レジスタ５８のロックレジスタのロックフラグを０にして、ロックを外す。このロックが外れることにより、管理レジスタ５８の管理番号に対応して記憶されている表示画像保持部５４の画像記憶領域５６は上書き可能となる。
【００４７】
本実施形態によれば、画像表示演算部５２が画像表示を実行した後、ロック情報記憶回路５９のロック情報を修正することにより、表示画像保持部５４の画像記憶領域５６に記憶されている表示済みの画像データに上書きすることが可能となる。これにより、新しい画像データを古い表示済みの画像に上書きできるので、メモリを効率よく使用することができ、新しい画像データを確実に記憶し出力させることができる。
【００４８】
次に、本発明の第６の実施形態に係る画像処理装置１について、図１２を参照して説明する。この画像処理装置１では、前記第５の実施形態と基本的には同じ構成を成し、画像表示部５は画像番号保持部５７から画像分岐部３１へ撮像制御信号を伝達する撮像制御回路６０を、入力信号受付部３３は撮像処理部３が画像データの入力信号を受け付けなくするための入力信号キャンセル回路３６を、それぞれさらに備え、画像記憶領域５６の全領域がロック状態になったとき、撮像処理部３が画像データの入力信号を受付けず、撮像動作を実行しないようにした。
【００４９】
上記の構成において、ロック情報記憶回路５９が、画像記憶領域５６の全領域がロック状態になったことを示すと、即ち、画像番号保持部５７の管理レジスタ５８のロックフラグ５８ｘ（図１０参照）が全て‘１’となり、その全域ロックの情報が画像番号保持部５７から撮像制御回路６０に伝達される。この撮像制御回路６０は、画像分岐部３１に撮像制御信号を送り、画像分岐部３１は、この撮像制御信号に基づき入力信号キャンセル信号を入力信号キャンセル回路３６に送る。そして、この入力信号キャンセル回路３６は、入力信号キャンセル信号により入力信号受付部３３が画像データの入力信号を無視して、新しい画像の受付を禁止し、これにより撮像処理部３が撮像動作を実行しないようにする。
【００５０】
本実施形態によれば、画像番号保持部５７の管理レジスタ５８において、ロック情報記憶回路５９のロック情報により、撮像制御回路６０が画像分岐部３１に撮像制御信号を送り、この撮像制御信号により入力信号キャンセル回路３６において、入力信号受付け部３３における新しい撮像信号の受付を停止することができる。これにより、画像記憶領域５６の記憶画像に新しい画像が上書きされることを防止することができ、記憶されている画像の表示を確実に行うことができる。また、表示用記憶部５１の画像記憶領域５６がすべてロック状態となって、新しい画像を記憶できない状態において、画像処理部４の画像処理のみが先行することを防ぐことができるので、画像処理の判定データと表示画像の画像データとの整合性を常に保つことができる。
【００５１】
上述した各種実施形態によれば、画像分岐部３１が、カメラ等の撮像装置２からの検査対象の画像データの各画像に予め画像番号を付与して、画像処理を行う画像処理部４と全体画像を表示する画像表示部５に分岐転送し、表示用記憶部５１が画像番号付きの画像データを記憶し、画像処理演算部４２が、画像処理の判定データに同じ画像番号を付加して画像表示演算部５２に転送することにより、画像表示演算部５２において、この判定データの画像番号を基に、表示の画像データを表示用記憶部５１から簡単に迅速に検索でき、この画像データと判定データを確実に整合して表示することができる。この整合性により、画像処理部４は、画像表示部５に記憶される画像データと同じだけの画像データを記憶する必要はなく、少なくとも画像番号の付加された画像処理の判定データのみを記憶すればよい。従って、画像処理部４における必要な画像メモリを少なくでき、カメラの高画質化に伴い画像容量が増加した場合において、画像メモリの増加を抑制して記憶メモリを低減することができる。
【００５２】
また、画像処理部と画像表示部を並列処理できるので、表示による画像処理速度の低下を防ぎ、画像処理速度を最速に保つことができる。また、画像表示部には、全体画像に表示画像に検査処理の判定データをオーバーレイして表示できるため、検査処理が部分画像であっても、検査対象の視認性を高めることができる。
【００５３】
なお、本発明は、上記実施形態等に限られるものでなく、さらに適宜に変更することができる。例えば、撮像装置は、外付けカメラでなく、内蔵カメラで構成することも可能であり、磁気共鳴、サーモグラフィなどその他の画像を出力する装置を用いてもよい。また、外部機器と外部信号発生装置は一体化してもよい。
【図面の簡単な説明】
【００５４】
【図１】本発明の第１の実施形態に係る画像処理装置の構成図。
【図２】上記画像処理装置における表示画像と画像番号の分離構成を説明する図。
【図３】上記画像処理装置の動作手順を示すフローチャート。
【図４】本発明の第２の実施形態に係る画像処理装置の構成図。
【図５】上記画像処理装置における表示画像と画像番号の分離構成を説明する図。
【図６】上記画像処理装置の動作手順を示すフローチャート。
【図７】本発明の第３の実施形態に係る画像処理装置の構成図。
【図８】上記画像処理装置における部分画像の画像処理領域を説明する図。
【図９】本発明の第４の実施形態に係る画像処理装置の構成図。
【図１０】（ａ）は上記画像処理装置の管理レジスタの構成を示す図、（ｂ）は管理レジスタによる表示画像のロック機構を説明する図。
【図１１】本発明の第５の実施形態に係る画像処理装置のロック解除機構を説明する図。
【図１２】本発明の第６の実施形態に係る画像処理装置の構成図。
【符号の説明】
【００５５】
１ 画像処理装置
２ 撮像装置
３ 撮像処理部
４ 画像処理部
５ 画像表示部
６ 外部機器
７ 外部表示機器
８ 外部信号発生装置
３１ 画像分岐部
３２ 画像番号発生部
３３ 入力信号受付部
３５ 転送ライン計数部
３６ 入力信号キャンセル回路
４１ 演算用記憶部
４２ 画像処理演算部
５１ 表示用記憶部
５２ 画像表示演算部
５７ 画像番号保持部
５９ ロック情報記憶回路
６０ 撮像制御回路
【技術分野】
【０００１】
本発明は、カメラで撮像した対象物の画像データを画像処理して、対象物の外観検査等の製品検査を行うために用いられる画像処理装置に関する。
【背景技術】
【０００２】
従来から、この種の画像検査装置は、製品の製造工程などにおいて、部品等の品種の識別、異種部品の混入検出、組立て作業や製品検査の自動化のため、対象物をカメラで撮像し、対象物の面積、形状、位置など、画像データの特徴を測定・認識することで、良品、不良品の判定に用いられている。このような検査において、検査対象物の微細化、検査の高精度化、及び広い視野検査の要望などに伴って、例えば、２００万画素等の高精度カメラが必要とされている。しかし、このような高精度カメラの画像データは、そのデータ容量（例えば、２００万画素のカラー画像で約５．８Ｇバイト）が極めて大きくなるため、画像処理装置のアクセスするデータの増加や、演算処理そのもののスピードの低下、及び処理ブロック間のデータ転送のスループットの限界に伴うバススピード不足などにより、検査処理速度全体の低下を招く。
【０００３】
従来の画像処理システムとして、例えば、特許文献１に示されるように、カメラからの画像データを記憶する第１のＶＲＡＭ（ＶＩＤＥＯ ＲＡＭ）と、これに接続された第１のＣＰＵ及びメインメモリとから成る画像処理装置と、前記と同様の画像データを記憶する第２のＶＲＡＭと、これに接続された第２のＣＰＵ及びメインメモリからなる画像出力処理部とを備え、第１のＣＰＵによる画像処理により外観検査測定を行う一方、並行して第２のＣＰＵによる画像データの出力処理を行い、画像処理を高速化するものが知られている。しかしながら、このシステムでは、画像処理部と通信部にそれぞれ画像データの同じ容量の記憶領域を設け、これらの記憶領域に１対１に同じ画像番号を付与し、この領域に付けた画像番号のみで画像処理の判定データと表示画像の画像データをリンクさせるので、画像処理部と通信部において、同じだけの画像メモリ量を必要とした。このため、カメラの高画質化に伴い撮像画像の画素数が増えて画像データの容量が大きくなると、画像メモリ量をますます多く必要とする。また、連写して画像を撮像し、画像処理は連写回数だけ行い、画像表示は連写した画像のうちの１つしか行わない、処理側と表示側で非同期的に動作が実行（独立した実行）される場合においては、記憶領域の画像番号が同じでも処理側と、表示側で記憶された画像がリンクしなくなり、２つの記憶領域間の対による管理が困難となる。
【０００４】
また、特許文献２に示されるように、画像処理検査装置として、ＴＶカメラからの画像データを蓄積し、検査処理を行うための処理用画像データメモリと、表示を行うための表示用画像データメモリとをそれぞれ複数画面分有し、これらの処理用画像データメモリと表示用画像データメモリとを順次、かつサイクリックに切換えて画像の処理と表示を行うものが知られている。しかしながら、この画像処理検査装置では、処理用画像データメモリ及び表示用画像データメモリにそれぞれ複数画面分のメモリを用いるので、多くの画像メモリを必要とすると共に、これらのメモリを切換えるための複数のスイッチを必要とするため、回路構成が複雑化し、コストアップとなっていた。
【０００５】
また、特許文献３に示されるように、画像情報を格納する画像記憶装置と、処理する画像情報を記憶する画像処理用メモリと、記憶された画像情報の画像処理を行う画像処理部とを備えて画像処理を高速化する画像処理装置が知られている。しかし、この画像処理装置は、画像処理のみに複数の矩形領域の識別番号と、この矩形領域を格納した画像記憶装置の記憶単位のアドレスとの対応表を備えて処理するため、処理画像と表示画像との整合性を取ることが難しかった。
【特許文献１】特開２００３−９８０９８号公報
【特許文献２】特開平１０−３２８１０号公報
【特許文献３】特開平９−２５９２６２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は、上記の問題を解決するものであり、対象物の画像処理において、検査処理の高速化を図ると共に、表示画像の画像データと画像処理の判定データとを確実に整合して表示できる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために請求項１の発明は、対象物を撮像する撮像装置と、この撮像装置により撮像された画像データを後続の画像処理部と画像表示部に送出する撮像処理部と、前記撮像処理部からの画像データを画像処理する画像処理部と、前記画像データによる画像を表示する画像表示部と、を備えた画像処理装置であって、前記撮像処理部は、前記撮像装置から出力される画像データを一時格納し、この画像データを分岐して前記画像処理部及び画像表示部に順次転送する画像分岐部と、この画像分岐部の指示により画像番号を発生し、この画像番号を前記画像分岐部に転送する画像番号発生部と、を備え、前記画像処理部は、前記画像分岐部から転送される画像データを格納する演算用記憶部と、この演算用記憶部に格納された画像データを用いて画像検査のための画像処理を実行し、この画像処理の判定データを出力する画像処理演算部と、を備え、前記画像表示部は、前記画像分岐部から転送される画像データと画像番号を格納する表示用記憶部と、この表示用記憶部に格納された画像データを表示処理し、その表示処理結果を外部表示機器に出力する画像表示演算部と、を備え、前記画像分岐部は、分岐する画像データの画像に画像番号を付加して前記画像処理部と画像表示部に分岐転送し、前記画像処理演算部は、前記画像番号を前記画像処理の判定データに付加して前記画像表示演算部に転送し、前記表示用記憶部は、前記画像分岐部より分岐転送された画像番号の付加された画像データを記憶し、前記画像表示演算部は、前記画像処理演算部から転送された判定データに付加された画像番号を前記表示用記憶部に格納された画像データ中の画像番号と検索比較し、同一画像番号が検出された場合に、前記表示用記憶部に格納された該同一番号の画像データを画像表示するものである。
【０００８】
請求項２の発明は、請求項１に記載の画像処理装置において、前記画像表示部は、前記分岐転送された画像データの画像番号とその画像の格納位置を記憶する画像番号保持部をさらに備え、前記画像番号保持部は、前記画像データの画像番号を保持すると共に、この画像データの表示画像を保存する記憶場所を決定してこの表示画像を前記表示用記憶部に転送格納し、前記画像表示演算部は、前記画像処理演算部からの判定データに付加された画像番号を前記画像番号保持部で検索し、前記表示用記憶部に格納されている前記判定データの画像番号に対応する表示画像の格納位置を取得するものである。
【０００９】
請求項３の発明は、請求項１又は請求項２に記載の画像処理装置において、前記撮像処理部は、前記画像処理演算部から予め指定される画像の水平方向のライン数を保持し、前記画像分岐部からの画像データのライン数をカウントし、前記指定されたライン数の画像データを前記画像処理部に転送する転送ライン計数部をさらに備え、前記画像処理演算部は、前記転送ライン計数部から前記指定されたライン数の画像処理に必要な画像データの転送を受けると、画像処理を実行するものである。
【００１０】
請求項４の発明は、請求項２に記載の画像処理装置において、前記画像番号保持部は、前記画像分岐部からの画像データを前記表示用記憶部の記憶領域に格納すると、この記憶領域が格納済みであることを示すロック情報を記憶するロック情報記憶回路を備えると共に、このロック情報記憶回路に記憶されたロック情報に基づき前記画線分岐部から転送される画像データをロック状態でない前記表示用記憶部の記憶領域に格納するものである。
【００１１】
請求項５の発明は、請求項４に記載の画像処理装置において、前記画像表示演算部は、前記表示用記憶部の記憶領域に記憶された画像データの画像表示を実行した後、前記記憶領域が上書き可能になるように前記ロック情報記憶回路のロック情報を修正するものである。
【００１２】
請求項６の発明は、請求項４又は請求項５に記載の画像処理装置において、前記撮像処理部は、前記撮像装置からの画像データの入力信号を受け付けなくするための入力信号キャンセル回路をさらに備え、前記画像表示部は、前記画像番号保持部から前記画像分岐部へ撮像制御信号を伝達する撮像制御回路をさらに備え、前記ロック情報記憶回路が、前記表示用記憶部の全記憶領域がロック状態になったことを示すと、前記撮像制御回路は前記画像分岐部に撮像制御信号を送り、前記画像分岐部は、この撮像制御信号に基づき入力信号キャンセル信号を前記入力信号キャンセル回路に送り、この入力信号キャンセル回路により前記撮像処理部が入力信号を無視し、撮像された画像データの撮り込みを実行しないものである。
【発明の効果】
【００１３】
請求項１の発明によれば、画像処理部と画像表示部との並列処理で検査処理を高速化できると共に、画像処理部側の処理の判定データと画像表示部側の表示の画像データとをリンクさせることができるので、画像番号の検索により、常に、表示の画像データと処理の判定データとを確実に整合して表示出力することができる。また、画像処理側と画像表示側とを独立して非同期実行させた場合でも、画像番号検索により、処理結果と表示画像とを整合させて表示出力することができる。また、画像処理部は、少なくとも画像番号の付加された画像処理の判定データを保存しておけば、画像表示部で表示画像を検索できるので、画像表示部と対に同じ画像データを保持する必要がなく、必要な画像メモリを少なくできる。
【００１４】
請求項２の発明によれば、画像番号検索を行うデータ管理構造の単純な画像番号保持部を備えたことにより、画像表示演算部に影響を与えることなく検索が行え、表示画像の高速検索が可能となる。また、画像番号保持部は、データ管理構造の単純であるので、ハード化が容易であり、このハード化によりさらに検索を高速化できる。
【００１５】
請求項３の発明によれば、全体画像ではなく、必要なライン数の部分画像のみを画像処理するので、画像処理を高速化することができる。また、画像表示部には、画像全体が転送されるため、画像処理の高速化にもかかわらず処理結果と整合して画像全体を表示することができる。
【００１６】
請求項４の発明によれば、表示用記憶部におけるロック状態の領域が明確になるので、表示用記憶部に記憶されている表示画像への上書きを防止することができる。
【００１７】
請求項５の発明によれば、表示用記憶部におけるロック状態の記憶領域を上書き可能にできるので、表示用記憶部の記憶可能領域が増え、表示画像を確実に記憶し、表示出力させることができる。
【００１８】
請求項６の発明によれば、ロック状態になると撮像処理部において、撮像装置からの入力信号の取り込みを中止させることができるので、画像処理のみが先行することを防ぐことができ、処理結果とこれに対応する表示画像の整合性を保つことができる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の第１の実施形態に係る画像処理装置について図１、図２を参照して説明する。本実施形態の画像処理装置１は、製品製造ラインでの製品を検査対象とするもので、検査対象を撮像するカメラの撮像装置２、この撮像装置２からの画像データを後続の画像処理部４と画像表示部５に送る撮像処理部３、この撮像処理部３からの画像データの検査画像を画像処理する画像処理部４、前記画像データによる全体画像を表示処理する画像表示部５、画像処理部４の出力が接続される外部機器６、画像表示部５の出力を表示する外部表示機器７、及び撮像開始信号を発生する外部信号発生装置８を備えている。外部機器６は、画像処理部４に制御信号を送るプログラマブルコントローラ（以下、ＰＬＣという）などの制御装置からなり、外部表示機器７は、変換画像を表示するディスプレイ装置であり、外部信号発生装置８は、パソコンなどの制御信号を発生できる制御機器である。また、この画像処理装置１は、例えば、製造ラインなどの検査工程において、検査対象物の撮像画像の画像処理に基く、形状、面積、位置などの画像データの特徴の測定、認識、検査等に使用されるものである。
【００２０】
撮像処理部３は、撮像装置２から出力される映像信号の画像データを一時格納し、この格納された画像データを２つに分岐し順次転送して出力する画像分岐部３１と、この画像分岐部３１の指示により画像番号を発生し、この画像番号を画像分岐部３１に転送する画像番号発生部３２と、外部信号発生装置８からの撮像開始信号を受付け、撮像装置２に撮像開始信号を送る入力信号受付部３３と、を備える。画像分岐部３１は、分岐する画像データの画像に画像番号発生部３２で発生させた同じ画像番号を付加して画像処理部４と画像表示部５にそれぞれ分岐転送する。
【００２１】
また、撮像処理部３は、ハード構成として、フィールド・プログラマブル・ゲートアレイ（以下、ＦＰＧＡという）（図示なし）で形成され、このＦＰＧＡにより画像分岐部３１、画像番号発生部３２、入力信号受付部３３を構成する。このＦＰＧＡは、基本的には映像信号を画像メモリに格納し、ＣＰＵの演算に適したデジタル量に変換したのち、必要な各種デジタル信号処理を行う。そして、例えば、取り込んだ画像に管理するための番号を付加した映像信号を画像処理部４と画像表示部５へ分岐して転送するハードウェア回路、各種データを記憶するランダムアクセスメモリ（以下、ＲＡＭという）のデータにアクセスするインターフェース回路、ＲＡＭデータを他のＲＡＭに転送するバス制御回路、ダイレクトメモリアクセス回路、及び入力信号を受け付けるデータの入出力（Ｉ／Ｏ）等を有している（以上、図示なし）。また、これらの処理は、ディジタル・シグナル・プロセッサ（ＤＳＰ）などの高速プロセッサを使ってソフト的に実施することも可能である。ここでは、画像分岐部３１からのデータ分岐においてタイムラグが発生するため、実用上問題とならない範囲のタイムラグでＦＰＧＡによるハード構成により、画像データの同時分岐を実現している。このＦＰＧＡは、自己の動作を制御するレジスタであるＦＰＧＡレジスタ３４を保持する。
【００２２】
画像処理部４は、撮像処理部３の画像分岐部３１から転送される画像データを格納する演算用記憶部４１と、この演算用記憶部４１に格納された画像データを用いて画像検査のための画像処理を実行し、その画像処理結果を外部機器６に出力する画像処理演算部４２とを備える。また、演算用記憶部４１は、ＲＡＭで構成され、ＣＰＵの動作を規定するプログラム及びデータ、ＦＰＧＡから得られる生画像／変換画像を格納する。また、画像処理演算部４２は、ＣＰＵで構成され、外部機器６を使用するユーザ、又は外部機器６となるプログラマブルコントローラ（以下、ＰＬＣという）などの制御装置からの指示により、ＦＰＧＡのＦＰＧＡレジスタの条件設定、ＲＡＭ内のプログラムに従った画像処理等を実行する。そして、この画像処理演算部４２における画像演算は、例えば、対象物の外観検査等において、予め用意されたテンプレート画像とのパターンマッチングを行い、その一致度で判定等を行い、製品の良品、不良品を区別し、その画像検査処理の判定データを外部機器６に出力すると共に、この判定データを画像表示部５の画像表示演算部５２に送る。この判定データは、画像処理における検査結果データとして、判定結果以外にも検査処理結果の画像データ等を含むことができる。
【００２３】
画像表示部５は、画像分岐部３１から転送される画像番号が付加された全体画像の画像データを格納する表示用記憶部５１と、この表示用記憶部５１に格納された画像データを画像表示処理する画像表示演算部５２と、この画像表示演算部５２からの表示処理結果を外部表示機器に出力する画像表示出力部５３とを備え、表示用記憶部５１は、判定データに対応する表示画像の全体画像データを保持する表示画像保持部５４を有する。表示用記憶部５１は、ＲＡＭで構成され、グラフィック表示処理ＩＣであるグラフィックスプロセッシングユニット（以下、ＧＰＵという）におけるグラフィック表示処理の動作を規定するデータ、ＦＰＧＡから得られる生画像及び変換画像、さらにオーバーレイなどを施した表示画像を格納する。表示用記憶部５１は、判定データに対応する表示画像の全体画像データを保持する表示画像保持部５４と、画像分岐部３１から転送さた画像番号が記憶されると共に表示画像保持部５４に記憶された画像データを管理するためのＦＰＧＡによる管理レジスタ５５と、を備える。表示画像保持部５４は、ＲＡＭで構成され、各画像データを記憶する画像記憶領域５６を有する。画像表示演算部５２は、ＧＰＵ又は高速描画ができるＤＳＰなどから構成され、機能的には、画像に対し文字やメニューなどのオーバーレイ、画像の拡大及び縮小等を実行する。
【００２４】
上記のように構成された画像処理装置１の動作手順について、図３のフローチャートを参照して説明する。先ず、入力信号受付部３３は、外部信号発生装置８からの撮像開始信号である外部信号を受信すると、入力信号受付部３３内に設けられたノイズキャンセル回路（図示なし）で、外部信号に含まれる不要ノイズを低減した後（Ｓ１）、外部信号を受理し（Ｓ２）、撮像装置２に撮像開始のカメラトリガを与える（Ｓ３）。このカメラトリガにより撮像装置２で撮像された検査対象の画像データは、画像分岐部３１に入力されて（Ｓ４）一時格納されると共に、その画像がカウントされて、画像データの中の各画像に画像番号発生部３２で発生させた撮像順のシリアル番号が順次付加された後（Ｓ５）、２つに分岐されて画像処理部４と画像表示部５にバス転送される（Ｓ６）。これにより、画像処理部４と画像表示部５において、ともに同じ画像番号を持った画像データが両者間で同期して入力される。
【００２５】
画像処理部４は、この転送された画像番号が付加された画像データを演算用記憶部４１に格納し、画像処理演算部４２がこの格納された画像データを用いて画像検査のための画像処理を実行する（Ｓ７）。この画像処理演算部４２における画像処理では、予め用意されたテンプレート画像とのパターンマッチングを行いその一致度により良否を判定し、検査対象の画像検査を行う。さらに、画像処理演算部４２は、この画像データの検査処理の判定データを外部機器６を出力すると共に、この判定データに対して処理された画像データの画像番号を付加し、結果に応じたグラフィック表示データを含む結果表示データを生成し（Ｓ８）、この結果表示データを含む判定データがどの画像データの判定データに対応するかを明確にして画像表示部５の画像表示演算部５２に転送する。
【００２６】
画像表示部５において、表示用記憶部５１は、転送されてきた画像データより画像番号を取得し（Ｓ９）、この画像番号を管理レジスタ５５に保存する（Ｓ１０）。管理レジスタ５５は、画像データの表示画像を保存する画像保存アドレスを算出し（Ｓ１１）、表示画像保持部５４に、この表示画像を保存する（Ｓ１２）。画像表示演算部５２は、画像処理演算部４２から転送された判定データに付加された画像番号を表示画像保持部５４に記憶された画像データ中の画像番号と検索比較し（Ｓ１３）、同一画像番号が検出された場合に、表示用記憶部５１に記憶された同一番号の画像データの画像格納アドレスを算出し（Ｓ１４）、抽出した画像データに画像検査の判定データをオーバーレイして出力する。そして、このオ−バーレイされた画像は、画像表示出力部５３に画像表示される（Ｓ１５）。
【００２７】
ここで、撮像された画像データにおける画像表示される画像データと画像検査の判定データの整合について説明する。撮像装置２で撮像された画像データＡ１は、画像分岐部３１で画像番号（例えば、画像０）が付加された２つの同じ画像データのＡ２、Ａ３に分岐されて、それぞれ画像処理部４と画像表示部５に転送されされる。先ず、画像処理部４に転送された画像番号付きの画像データＡ２（画像０）は、画像処理演算部４２で演算処理されて検査され、その検査結果の判定データＡ４（結果０）は、入力された画像データＡ２（画像０）と同じ画像番号が付加されて画像表示演算部５２に転送される。他方、画像表示部５に転送された画像データＡ３（画像０）は、図２に示すように、管理レジスタ５５により画像データＡ３の画像番号に対応する同じ管理番号で管理されて、表示画像保持部５４の画像記憶領域５６に記憶され、表示画像として保持される。従って、画像処理演算部４２からの判定データＡ４（結果０）の画像番号と、同じ画像番号の画像データＡ５（画像０）を検索して、この画像データＡ５（画像０）と判定データＡ４（結果０）を整合させ、両データをオーバーラップさせて画像データＡ６として画像表示出力部５３に出力することができる。
【００２８】
この整合された表示画像の画像データと判定データのオーバレイ表示により、撮像された検査対象物の全体画像のどこに欠陥があるかを即座に、明確に視認することができる。また、たとえ、２系統に分かれた並列処理において、画像処理プロセス及び画像記憶プロセスの途中で時間的ずれが生じたとしても、画像表示を行う最終表示においては、表示の画像データとその判定データとを整合させて表示することができる。また、表示画像の画像データの検索は画像番号だけで行うので、画像処理部４の演算用記憶部４１では、少なくとも画像番号付きの判定データのみ記憶すればよく、表示用記憶部５１のように記憶容量の大きい画像データの記憶を必要としないので、メモリ容量をさらに少なくすることができる。
【００２９】
本実施形態によれば、画像分岐部３１で画像データに画像番号を付加したことにより、画像処理部４側の画像処理の判定データと画像表示部５側の表示画像の画像データをデータ的にリンクさせることができるので、常に、表示画像の画像データと画像処理の判定データとを整合して表示出力することができる。
【００３０】
また、データバスの２重化により、画像処理部と画像表示部を並列処理できるので、表示による画像処理速度の低下を防ぎ、画像処理速度を最速に保つことができる。また、検査画像と検査結果の両方を同時に表示することができ目視による検査結果の視認性を向上することができる。
【００３１】
また、画像処理部４側と画像表示部５側とを非同期実行（独立した実行）させるような場合において、処理側と表示側は、１対１の対の画像データを保持しない場合が生じるが、このような場合でも、画像番号管理により、処理結果と表示画像とを整合させて表示出力することができる。また、逆に、この非同期実行を行った場合は、１対１の画像記憶に制限されることなく、必要な画像のみを記憶すればよいので、記憶メモリを低減することができ、かつ、独立して選択的に画像処理できるので、さらに高速検査処理が可能となる。
【００３２】
次に、本発明の第２の実施形態に係る画像処理装置１について、図４を参照して説明する。本実施形態の画像処理装置１は、前記実施形態と基本的には同じ構成を成し、画像表示部５は、画像分岐部３１からの画像データの画像番号とその画像データの格納位置のみを記憶し、画像データの表示画像を表示画像保持部５４に転送する画像番号保持部５７をさらに備えている。この画像番号保持部５７は、ＲＡＭで構成され、ＦＰＧＡで構成されるＦＩＦＯ（Ｆｉｒｓｔ ｉｎ Ｆｉｒｓｔ ｏｕｔ）バッファ及び転送回路を備え、画像番号を保持し、この画像番号を管理するＦＰＧＡによる管理レジスタ５８を有している。
【００３３】
画像番号保持部５７は、画像分岐部３１からの画像データの中の画像番号を保持すると共に、全体画像の表示画像を保存する記憶場所を決定し、この表示画像をＦＩＦＯバッファと転送回路により表示画像保持部５４の格納位置に順次転送する。また、画像表示演算部５２は、画像処理演算部４２からの判定データに付加された画像番号と同じ画像番号を画像番号保持部５７において検索し、この検索により表示画像保持部５４における同じ画像番号の画像データの格納位置を検出し、この検出された格納中の画像データを画像表示出力部５３に出力する。
【００３４】
画像表示部５における画像データの管理について、図５を参照して説明する。画像番号保持部５７は、管理レジスタ５８を備える。この管理レジスタ５８は、基本的には、前記管理レジスタ５５と同じ機能を持ち、画像データを画像番号と同じ番号の管理番号を備えて管理する。従って、画像番号保持部５７において、画像処理演算部４２からの判定データの画像番号と、画像番号保持部５７の画像番号とを比較して、一致する画像番号を管理番号から検索することができ、前記実施形態と同様に、この検索された管理番号により表示画像保持部５４から表示画像の画像データを随時出力することができる。
【００３５】
ここで、本実施形態の画像処理装置１の動作手順について、図６のフローチャートを参照して説明する。図６において、上述の図３のＳ９〜Ｓ１１、及びＳ１３、Ｓ１４がＳ９Ａ〜Ｓ１１Ａ、及び、及びＳ１３Ａ、Ｓ１４Ａに変った点を除いては同等である。画像番号保持部５７は、画像分岐部３１より転送されてきた画像データより画像番号を取得し（Ｓ９Ａ）、画像データから画像番号を切り離して画像番号を管理レジスタ５８に保持し（Ｓ１０Ａ）、管理レジスタ５８は、画像データの表示画像を保存する表示画像保持部５４の画像保存アドレスを算出し（Ｓ１１Ａ）、この表示画像を表示画像保持部５４に保存する（Ｓ１２）。また、画像番号保持部５７は、画像処理演算部４２からの判定データを画像表示演算部５２から受けると、その判定データの画像番号を管理レジスタ５８の管理番号データから検索し（Ｓ１３Ａ）、検出された管理番号データから表示画像保持部５４の画像格納アドレスを算出し（Ｓ１４Ａ）、表示画像保持部５４に記憶されている表示画像の画像データと判定データとを整合し、これらをオーバーラップして画像表示出力部５３に表示する（Ｓ１５）。
【００３６】
本実施形態によれば、画像番号保持部５７において画像番号と画像データの格納位置のみを記憶して画像検索するので、画像番号保持部５７のデータ管理構造が簡単になり、検索を容易に行える。このため、画像表示演算部５２で画像検索を行う場合に比べ、画像表示演算部５２と独立して検索動作を行えるので、高速検索が可能となる。また、このデータ管理構造の単純化によりハード化が容易になり、これによりさらに検索を高速化できる。
【００３７】
次に、本発明の第３の実施形態に係る画像処理装置１について、図７を参照して説明する。この画像処理装置１は、前記第２の実施形態と基本的に同じ構成を成し、予め指定された画像の水平方向のライン数の範囲を保持し、画像分岐部３１から転送されたライン数をカウントする転送ライン計数部３５をさらに備える。この転送ライン計数部３５は、指定された範囲のライン数を画像処理部４に順次転送し、指定された範囲のライン数に達したとき、画像データの全体画面が転送されなくても画像処理部４で画像処理を実行するものである。
【００３８】
本実施形態の画像処理装置１は、撮像処理部３の画像分岐部３１から転送される画像データの水平方向のライン数を数えて画像処理部４に転送する転送ライン計数部３５を備える。この転送ライン計数部３５は、ＦＰＧＡで構成され、画像処理演算部４２から予め指定されたライン数の範囲のライン番号を保持し、撮像された画像データのライン数をカウントして指定された範囲のライン数の画像データのみを画像処理部４に転送し演算用記憶部４１で記憶する。そして、指定された範囲のライン数の画像データを転送し終わると、画像処理演算部４２は、全画像が転送されなくても転送された指定のライン数の画像データの画像処理を実行する。
【００３９】
転送ライン計数部３５は、画像分岐部３１から転送される画像番号付きの画像データを図８に示すように、水平方向の走査ラインを１ライン目から順次カウントする。そして、指定されたライン数の範囲（ここでは、画像処理領域のＬ３からＬ７の範囲とする）における最初のラインＬ３が入力されると画像処理部４に転送を始め、画像処理領域の最後のラインＬ７までの転送が完了すると画像データの転送を止める。そして、この画像処理領域範囲の計５ラインのみが転送され、演算用記憶部４１に記憶されると、画像処理演算部４２は、全体画像の全ライン（１画面分）が転送されなくても演算用記憶部４１に記憶された指定された画像処理領域の画像の画像処理を行う。これにより、画像処理演算部４２は、通常、画像分岐部３１から転送される画像データの１画面分が演算用記憶部４１に記憶されてから、全体画像の画像処理を始めるのに対して、本実施形態では、必要な画像処理領域だけの部分画像の処理で済むので画像処理の領域が減り、画像処理をさらに高速化することができる。
【００４０】
本実施形態によれば、画像処理部４は、画像処埋に必要な画像データのライン数の画像転送を受けると、画像データの全体画像が転送されなくても画像処理を実行するので、画像処理の高速化ができ、外部機器に対して検査画像の高速応答が可能である。これにより、検査対象の画像が高解像の撮像画像による高容量画像であっても検査に必要な部分画像のみを抽出することにより、検査画像容量を少なくできるので、画像処理部４における画像処理の演算量を低減でき、データバスのスループットを大きくすることなく、高速の画像処理が可能となる。また、画像表示出力部５３には、判定データに付加された画像番号により検索される全体画像と判定データが表示されるので、部分画像を画像処理するにもかかわらず、検査対象の全体画像表示が可能となり、全体画像における画像検査の状態を視覚的に分かり易くでき、視認性を向上することができる。
【００４１】
次に、本発明の第４の実施形態に係る画像処理装置１について、図９参照して説明する。この画像処理装置１は、前記第３の実施形態と基本的には同じ構成を成し、画像番号保持部５７は、画像分岐部３１からの画像データを表示用記憶部５１の表示画像保持部５４の記憶領域に格納すると、この記憶領域が格納済みであることを示すロック情報を記憶するロック情報記憶回路５９を備える。
【００４２】
画像番号保持部５７は、画像分岐部３１からの画像データを表示画像保持部５４の記憶領域に格納すると、この記憶領域が格納済みであることを示すロック情報を記憶するＦＰＧＡで形成されるロック情報記憶回路５９を備える。また、画像番号保持部５７は、ロック情報記憶回路５９に記憶されたロック情報に基づき、画像分岐部３１から転送される画像データを表示画像保持部５４のロック状態でない記憶領域に格納する。
【００４３】
表示画像のロック機構を図１０（ａ）、（ｂ）を参照して説明する。図１０（ａ）は、管理レジスタ５８の構成を示し、管理レジスタ５８は、ロック状態を判別するロックレジスタのロックフラグ５８ｘと管理する画像データの画像番号５８ｙで構成される。このロックフラグ５８ｘは、ロック状態を１で表し、非ロック状態を０で表し、デジタル信号の１ｂｉｔで表示される。画像番号５８ｙは、画像データに付加される画像番号を示す。また、図１０（ｂ）に示すように、管理レジスタ５８は、格納された各画像データ毎のロックフラグ５８ｘと画像番号５８ｙを持つ画像番号の番号別管理レジスタ５８ａ、５８ｂ・・・５８ｎを有する。図１０（ｂ）において、画像表示部５に画像番号０の画像データ（画像０）が入力されると、管理レジスタ５８は、先ず、最初の管理番号０の番号別管理レジスタ５８ａのロックレジスタの状態をチェックし、ここでは、ロックフラグが１であるので、ロック状態と判断し、次の番号の番号別管理レジスタ５８ｂのロック状態をチェックする。この番号別管理レジスタ５８ｂでは、ロックフラグが０であるので、非ロック状態と判断されるので、画像データ（画像０）は、番号別管理レジスタ５８ｂで管理され、この画像データの表示画像は、表示画像保持部５４の管理番号１に対応する画像記憶領域５６（画像１）に記憶される。
【００４４】
本実施形態によれば、画像番号保持部５７は、ロック情報を記憶するロック情報記憶回路５９により、表示画像保持部５４の画像記憶領域５６のロック状態を知ることができ、画像データを記憶済みの記憶領域に重ねて格納することを阻止できるので、表示画像保持部５４における表示画像への上書きを防止することができる。
【００４５】
次に、本発明の第５の実施形態に係る画像処理装置１について、図１１を参照して説明する。この画像処理装置１は、前記第４の実施形態と基本的には同じ構成を成し、画像表示演算部５２が、表示画像保持部５４の画像記憶領域５６に記憶された画像データの画像表示を実行した後に、この画像記憶領域５６が上書き可能となるようにロック情報記憶回路５９のロック情報を修正する。
【００４６】
画像表示演算部５２は、画像処理演算部４２からの判定データの画像番号により表示画像保持部５４に記憶されている画像データを検索して、この表示画像の画像データに判定データをオーバーレイして次段の画像表示出力部５３に出力した後、ロック情報を記憶するロック情報記憶回路５９のロック情報を修正する。即ち、管理レジスタ５８のロックレジスタのロックフラグを０にして、ロックを外す。このロックが外れることにより、管理レジスタ５８の管理番号に対応して記憶されている表示画像保持部５４の画像記憶領域５６は上書き可能となる。
【００４７】
本実施形態によれば、画像表示演算部５２が画像表示を実行した後、ロック情報記憶回路５９のロック情報を修正することにより、表示画像保持部５４の画像記憶領域５６に記憶されている表示済みの画像データに上書きすることが可能となる。これにより、新しい画像データを古い表示済みの画像に上書きできるので、メモリを効率よく使用することができ、新しい画像データを確実に記憶し出力させることができる。
【００４８】
次に、本発明の第６の実施形態に係る画像処理装置１について、図１２を参照して説明する。この画像処理装置１では、前記第５の実施形態と基本的には同じ構成を成し、画像表示部５は画像番号保持部５７から画像分岐部３１へ撮像制御信号を伝達する撮像制御回路６０を、入力信号受付部３３は撮像処理部３が画像データの入力信号を受け付けなくするための入力信号キャンセル回路３６を、それぞれさらに備え、画像記憶領域５６の全領域がロック状態になったとき、撮像処理部３が画像データの入力信号を受付けず、撮像動作を実行しないようにした。
【００４９】
上記の構成において、ロック情報記憶回路５９が、画像記憶領域５６の全領域がロック状態になったことを示すと、即ち、画像番号保持部５７の管理レジスタ５８のロックフラグ５８ｘ（図１０参照）が全て‘１’となり、その全域ロックの情報が画像番号保持部５７から撮像制御回路６０に伝達される。この撮像制御回路６０は、画像分岐部３１に撮像制御信号を送り、画像分岐部３１は、この撮像制御信号に基づき入力信号キャンセル信号を入力信号キャンセル回路３６に送る。そして、この入力信号キャンセル回路３６は、入力信号キャンセル信号により入力信号受付部３３が画像データの入力信号を無視して、新しい画像の受付を禁止し、これにより撮像処理部３が撮像動作を実行しないようにする。
【００５０】
本実施形態によれば、画像番号保持部５７の管理レジスタ５８において、ロック情報記憶回路５９のロック情報により、撮像制御回路６０が画像分岐部３１に撮像制御信号を送り、この撮像制御信号により入力信号キャンセル回路３６において、入力信号受付け部３３における新しい撮像信号の受付を停止することができる。これにより、画像記憶領域５６の記憶画像に新しい画像が上書きされることを防止することができ、記憶されている画像の表示を確実に行うことができる。また、表示用記憶部５１の画像記憶領域５６がすべてロック状態となって、新しい画像を記憶できない状態において、画像処理部４の画像処理のみが先行することを防ぐことができるので、画像処理の判定データと表示画像の画像データとの整合性を常に保つことができる。
【００５１】
上述した各種実施形態によれば、画像分岐部３１が、カメラ等の撮像装置２からの検査対象の画像データの各画像に予め画像番号を付与して、画像処理を行う画像処理部４と全体画像を表示する画像表示部５に分岐転送し、表示用記憶部５１が画像番号付きの画像データを記憶し、画像処理演算部４２が、画像処理の判定データに同じ画像番号を付加して画像表示演算部５２に転送することにより、画像表示演算部５２において、この判定データの画像番号を基に、表示の画像データを表示用記憶部５１から簡単に迅速に検索でき、この画像データと判定データを確実に整合して表示することができる。この整合性により、画像処理部４は、画像表示部５に記憶される画像データと同じだけの画像データを記憶する必要はなく、少なくとも画像番号の付加された画像処理の判定データのみを記憶すればよい。従って、画像処理部４における必要な画像メモリを少なくでき、カメラの高画質化に伴い画像容量が増加した場合において、画像メモリの増加を抑制して記憶メモリを低減することができる。
【００５２】
また、画像処理部と画像表示部を並列処理できるので、表示による画像処理速度の低下を防ぎ、画像処理速度を最速に保つことができる。また、画像表示部には、全体画像に表示画像に検査処理の判定データをオーバーレイして表示できるため、検査処理が部分画像であっても、検査対象の視認性を高めることができる。
【００５３】
なお、本発明は、上記実施形態等に限られるものでなく、さらに適宜に変更することができる。例えば、撮像装置は、外付けカメラでなく、内蔵カメラで構成することも可能であり、磁気共鳴、サーモグラフィなどその他の画像を出力する装置を用いてもよい。また、外部機器と外部信号発生装置は一体化してもよい。
【図面の簡単な説明】
【００５４】
【図１】本発明の第１の実施形態に係る画像処理装置の構成図。
【図２】上記画像処理装置における表示画像と画像番号の分離構成を説明する図。
【図３】上記画像処理装置の動作手順を示すフローチャート。
【図４】本発明の第２の実施形態に係る画像処理装置の構成図。
【図５】上記画像処理装置における表示画像と画像番号の分離構成を説明する図。
【図６】上記画像処理装置の動作手順を示すフローチャート。
【図７】本発明の第３の実施形態に係る画像処理装置の構成図。
【図８】上記画像処理装置における部分画像の画像処理領域を説明する図。
【図９】本発明の第４の実施形態に係る画像処理装置の構成図。
【図１０】（ａ）は上記画像処理装置の管理レジスタの構成を示す図、（ｂ）は管理レジスタによる表示画像のロック機構を説明する図。
【図１１】本発明の第５の実施形態に係る画像処理装置のロック解除機構を説明する図。
【図１２】本発明の第６の実施形態に係る画像処理装置の構成図。
【符号の説明】
【００５５】
１ 画像処理装置
２ 撮像装置
３ 撮像処理部
４ 画像処理部
５ 画像表示部
６ 外部機器
７ 外部表示機器
８ 外部信号発生装置
３１ 画像分岐部
３２ 画像番号発生部
３３ 入力信号受付部
３５ 転送ライン計数部
３６ 入力信号キャンセル回路
４１ 演算用記憶部
４２ 画像処理演算部
５１ 表示用記憶部
５２ 画像表示演算部
５７ 画像番号保持部
５９ ロック情報記憶回路
６０ 撮像制御回路
【特許請求の範囲】
【請求項１】
対象物を撮像する撮像装置と、この撮像装置により撮像された画像データを後続の画像処理部と画像表示部に送出する撮像処理部と、前記撮像処理部からの画像データを画像処理する画像処理部と、前記画像データによる画像を表示する画像表示部と、を備えた画像処理装置であって、
前記撮像処理部は、前記撮像装置から出力される画像データを一時格納し、この画像データを分岐して前記画像処理部及び画像表示部に順次転送する画像分岐部と、この画像分岐部の指示により画像番号を発生し、この画像番号を前記画像分岐部に転送する画像番号発生部と、を備え、
前記画像処理部は、前記画像分岐部から転送される画像データを格納する演算用記憶部と、この演算用記憶部に格納された画像データを用いて画像検査のための画像処理を実行し、この画像処理の判定データを出力する画像処理演算部と、を備え、
前記画像表示部は、前記画像分岐部から転送される画像データと画像番号を格納する表示用記憶部と、この表示用記憶部に格納された画像データを表示処理し、その表示処理結果を外部表示機器に出力する画像表示演算部と、を備え、
前記画像分岐部は、分岐する画像データの画像に画像番号を付加して前記画像処理部と画像表示部に分岐転送し、
前記画像処理演算部は、前記画像番号を前記画像処理の判定データに付加して前記画像表示演算部に転送し、
前記表示用記憶部は、前記画像分岐部より分岐転送された画像番号の付加された画像データを記憶し、
前記画像表示演算部は、前記画像処理演算部から転送された判定データに付加された画像番号を前記表示用記憶部に格納された画像データ中の画像番号と検索比較し、同一画像番号が検出された場合に、前記表示用記憶部に格納された該同一番号の画像データを画像表示することを特徴とする画像処理装置。
【請求項２】
前記画像表示部は、前記分岐転送された画像データの画像番号とその画像の格納位置を記憶する画像番号保持部をさらに備え、
前記画像番号保持部は、前記画像データの画像番号を保持すると共に、この画像データの表示画像を保存する記憶場所を決定してこの表示画像を前記表示用記憶部に転送格納し、
前記画像表示演算部は、前記画像処理演算部からの判定データに付加された画像番号を前記画像番号保持部で検索し、前記表示用記憶部に格納されている前記判定データの画像番号に対応する表示画像の格納位置を取得することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記撮像処理部は、前記画像処理演算部から予め指定される画像の水平方向のライン数を保持し、前記画像分岐部からの画像データのライン数をカウントし、前記指定されたライン数の画像データを前記画像処理部に転送する転送ライン計数部をさらに備え、
前記画像処理演算部は、前記転送ライン計数部から前記指定されたライン数の画像処理に必要な画像データの転送を受けると、画像処理を実行することを特徴とする請求項１又は請求項２に記載の画像処理装置。
【請求項４】
前記画像番号保持部は、前記画像分岐部からの画像データを前記表示用記憶部の記憶領域に格納すると、この記憶領域が格納済みであることを示すロック情報を記憶するロック情報記憶回路を備えると共に、このロック情報記憶回路に記憶されたロック情報に基づき前記画像分岐部から転送される画像データをロック状態でない前記表示用記憶部の記憶領域に格納することを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記画像表示演算部は、前記表示用記憶部の記憶領域に記憶された画像データの画像表示を実行した後、前記記憶領域が上書き可能になるように前記ロック情報記憶回路のロック情報を修正することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記撮像処理部は、前記撮像装置からの画像データの入力信号を受け付けなくするための入力信号キャンセル回路をさらに備え、
前記画像表示部は、前記画像番号保持部から前記画像分岐部へ撮像制御信号を伝達する撮像制御回路をさらに備え、
前記ロック情報記憶回路が、前記表示用記憶部の全記憶領域がロック状態になったことを示すと、前記撮像制御回路は前記画像分岐部に撮像制御信号を送り、前記画像分岐部は、この撮像制御信号に基づき入力信号キャンセル信号を前記入力信号キャンセル回路に送り、この入力信号キャンセル回路により前記撮像処理部が入力信号を無視し、撮像された画像データの撮り込みを実行しないことを特徴とする請求項４又は請求項５に記載の画像処理装置。
【請求項１】
対象物を撮像する撮像装置と、この撮像装置により撮像された画像データを後続の画像処理部と画像表示部に送出する撮像処理部と、前記撮像処理部からの画像データを画像処理する画像処理部と、前記画像データによる画像を表示する画像表示部と、を備えた画像処理装置であって、
前記撮像処理部は、前記撮像装置から出力される画像データを一時格納し、この画像データを分岐して前記画像処理部及び画像表示部に順次転送する画像分岐部と、この画像分岐部の指示により画像番号を発生し、この画像番号を前記画像分岐部に転送する画像番号発生部と、を備え、
前記画像処理部は、前記画像分岐部から転送される画像データを格納する演算用記憶部と、この演算用記憶部に格納された画像データを用いて画像検査のための画像処理を実行し、この画像処理の判定データを出力する画像処理演算部と、を備え、
前記画像表示部は、前記画像分岐部から転送される画像データと画像番号を格納する表示用記憶部と、この表示用記憶部に格納された画像データを表示処理し、その表示処理結果を外部表示機器に出力する画像表示演算部と、を備え、
前記画像分岐部は、分岐する画像データの画像に画像番号を付加して前記画像処理部と画像表示部に分岐転送し、
前記画像処理演算部は、前記画像番号を前記画像処理の判定データに付加して前記画像表示演算部に転送し、
前記表示用記憶部は、前記画像分岐部より分岐転送された画像番号の付加された画像データを記憶し、
前記画像表示演算部は、前記画像処理演算部から転送された判定データに付加された画像番号を前記表示用記憶部に格納された画像データ中の画像番号と検索比較し、同一画像番号が検出された場合に、前記表示用記憶部に格納された該同一番号の画像データを画像表示することを特徴とする画像処理装置。
【請求項２】
前記画像表示部は、前記分岐転送された画像データの画像番号とその画像の格納位置を記憶する画像番号保持部をさらに備え、
前記画像番号保持部は、前記画像データの画像番号を保持すると共に、この画像データの表示画像を保存する記憶場所を決定してこの表示画像を前記表示用記憶部に転送格納し、
前記画像表示演算部は、前記画像処理演算部からの判定データに付加された画像番号を前記画像番号保持部で検索し、前記表示用記憶部に格納されている前記判定データの画像番号に対応する表示画像の格納位置を取得することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記撮像処理部は、前記画像処理演算部から予め指定される画像の水平方向のライン数を保持し、前記画像分岐部からの画像データのライン数をカウントし、前記指定されたライン数の画像データを前記画像処理部に転送する転送ライン計数部をさらに備え、
前記画像処理演算部は、前記転送ライン計数部から前記指定されたライン数の画像処理に必要な画像データの転送を受けると、画像処理を実行することを特徴とする請求項１又は請求項２に記載の画像処理装置。
【請求項４】
前記画像番号保持部は、前記画像分岐部からの画像データを前記表示用記憶部の記憶領域に格納すると、この記憶領域が格納済みであることを示すロック情報を記憶するロック情報記憶回路を備えると共に、このロック情報記憶回路に記憶されたロック情報に基づき前記画像分岐部から転送される画像データをロック状態でない前記表示用記憶部の記憶領域に格納することを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記画像表示演算部は、前記表示用記憶部の記憶領域に記憶された画像データの画像表示を実行した後、前記記憶領域が上書き可能になるように前記ロック情報記憶回路のロック情報を修正することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記撮像処理部は、前記撮像装置からの画像データの入力信号を受け付けなくするための入力信号キャンセル回路をさらに備え、
前記画像表示部は、前記画像番号保持部から前記画像分岐部へ撮像制御信号を伝達する撮像制御回路をさらに備え、
前記ロック情報記憶回路が、前記表示用記憶部の全記憶領域がロック状態になったことを示すと、前記撮像制御回路は前記画像分岐部に撮像制御信号を送り、前記画像分岐部は、この撮像制御信号に基づき入力信号キャンセル信号を前記入力信号キャンセル回路に送り、この入力信号キャンセル回路により前記撮像処理部が入力信号を無視し、撮像された画像データの撮り込みを実行しないことを特徴とする請求項４又は請求項５に記載の画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２００８−４６６９６（Ｐ２００８−４６６９６Ａ）
【公開日】平成２０年２月２８日（２００８．２．２８）
【国際特許分類】
【出願番号】特願２００６−２１９０８３（Ｐ２００６−２１９０８３）
【出願日】平成１８年８月１１日（２００６．８．１１）
【出願人】（０００００５８３２）松下電工株式会社 (17,916)
【Ｆターム（参考）】
【公開日】平成２０年２月２８日（２００８．２．２８）
【国際特許分類】
【出願日】平成１８年８月１１日（２００６．８．１１）
【出願人】（０００００５８３２）松下電工株式会社 (17,916)
【Ｆターム（参考）】
[ Back to top ]