画像処理装置のディスプレイ表示方法。
【課題】 オペレータが必要とする画像を柔軟に表示することのできる画像処理装置のディスプレイ表示方法を提供する。
【解決手段】 ディスプレイ１３の画像表示部１４が横並びに、第１、第２の表示領域１４ａ、１４ｂに分割され、第１表示領域１４ａに取込画像が表示され、第２の表示領域１４ｂにＮＧ画像が表示される。オペレータは、取込画像によって検査状態を確認しつつ、ＮＧが発生した状態を確認することが可能になる。ＮＧ画像はオペレータの表示切換指示がない限り更新されない。
【解決手段】 ディスプレイ１３の画像表示部１４が横並びに、第１、第２の表示領域１４ａ、１４ｂに分割され、第１表示領域１４ａに取込画像が表示され、第２の表示領域１４ｂにＮＧ画像が表示される。オペレータは、取込画像によって検査状態を確認しつつ、ＮＧが発生した状態を確認することが可能になる。ＮＧ画像はオペレータの表示切換指示がない限り更新されない。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置のディスプレイ表示方法に関する。
【背景技術】
【０００２】
ＩＣ（集積回路）、電子部品等の様々な製品の製造過程や製造後の検査、例えば、製品のサイズの計測、傷や汚れの有無等の検査に画像処理装置が用いられている（例えば特許文献１、２）。
【０００３】
図１８に従来の一般的な画像処理装置の概略構成を示す。同図に示すように、画像処理装置１は、ＣＣＤ等の個体撮像素子を含むカメラ２と、画像処理等の各種演算やカメラ２等の周辺機器の制御を行う画像処理装置本体３と、ＰＣ本体３に接続されたディスプレイ４とを備えており、画像処理装置本体３内の記憶装置（図示せず）には、カメラ２が撮像した取込画像、欠陥検査等において欠陥（ＮＧ）であるか否かを規定する適正範囲つまり画像処理装置本体が判定条件に合致していると判断したＯＫ画像からオペレータが典型的なＯＫ画像であるとして登録した登録画像（基準画像）、過去に判定条件から逸脱していると判断されたＮＧ画像等が保存されている。
【０００４】
そして、オペレータが、画像処理にあたって検査項目を設定する場合、各種パラメータを設定する場合、取込画像等を解析する場合、また、検査状況等を監視する場合には、ディスプレイ４に所望の画像を表示させたうえで設定、解析、監視等を行うように構成されている。従来、ディスプレイ４で表示可能な画面は、取込画像、登録画像（基準画像）、保存画像（ＮＧ画像を含む）の中から状況に応じて選択されていた。
【０００５】
図１９はディスプレイ４の表示例を示すものであり、同図の（ａ）は単独の画像を表示した場合を示し、同図の（ｂ）は２枚の画像を縦に並んで表示した場合を示し、同図の（ｃ）は２枚の画像を横並びに表示した場合を示す。より詳しくは、同図の（ａ）は、取込画像、登録画像、保存画像（ＮＧ画像を含む）から選択された画像が表示される様子を示している。また、同図の（ｂ）、（ｃ）は、複数台のカメラ２を同時に使用する場合に、ディスプレイ４の表示領域を分割し、別のカメラ２から取り込まれた２枚の取込画像がディスプレイ４に並んで表示される様子を示している。
【特許文献１】特開２００３−９４５９５号公報
【特許文献２】特開２００３−９８１１４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、従来の画像処理装置においては、ディスプレイ４の表示態様が限定的であり、各種設定・解析等の際に、ディスプレイ４上には、取込画像、登録画像、保存画像（ＮＧ画像を含む）から選択された単一の画像が表示されるか、もしくは、複数台のカメラ２から取り込んだ取込画像が、分割した表示領域の夫々に表示されるだけであった。
【０００７】
本発明の目的は、画像処理装置の利便性を高めるために、各種設定、画像処理装置を用いた各種解析等の際に、オペレータが必要とする画像を柔軟に表示することのできる画像処理装置のディスプレイ表示方法を提供することにある。
【課題を解決するための手段】
【０００８】
かかる技術的課題は、本発明の第１の観点によれば、
ワークを撮像するためのカメラから取り込んだ取込画像を処理する画像処理装置本体に接続されたディスプレイの表示方法であって、
前記ディスプレイの画像表示部を少なくとも第１、第２の２つの表示領域に分割し、
前記第1表示領域に前記取込画像、前記画像処理装置本体が判定条件に合致していると判断したＯＫ画像、又はオペレータが設定したＯＫ画像のいずれか一つを登録画像として表示し、
前記第２表示領域に、前記画像処理装置本体が判定条件から逸脱していると判断したＮＧ画像を表示することを特徴とする画像処理装置のディスプレイ表示方法を提供することにより達成される。
【０００９】
この発明によれば、オペレータは、取込画像又は登録画像（基準画像）とＮＧ画像とを一度に見比べることできるため、ＮＧが発生した状態を確認することが可能になる。
【００１０】
上記の技術的課題は、本発明の第２の観点によれば、
ワークを撮像するためのカメラと、該カメラから取り込んだ画像を処理する画像処理装置本体と、該画像処理装置本体に接続されたディスプレイとを有し、前記カメラから取り込んだ取込画像と、予め登録した基準画像と対比することにより前記ワークの良否を判断する画像処理装置のディスプレイ表示方法であって、
前記ディスプレイの画像表示部を少なくとも第１、第２の２つの表示領域に分割し、
前記第１表示領域に、前記カメラから取り込んだ最新の取込画像又は前記画像処理装置本体が判定条件から逸脱していると判断したＮＧ画像を表示し、
前記第２表示領域に、過去の取込画像又はＮＧ画像を表示することを特徴とする画像処理装置のディスプレイ表示方法を提供することにより達成される。
【００１１】
この発明によれば、オペレータは、最新の取込画像又はＮＧ画像と、過去の取込画像又はＮＧ画像とを一度に見比べることができるため、例えばＮＧが発生したときにその発生の傾向を判断するのが容易になる。
【００１２】
上記の技術的課題は、本発明の第３の観点によれば、
ワークを撮像するための複数のカメラと、これら複数のカメラから取り込んだ取込画像を処理する画像処理装置本体と、該画像処理装置本体に接続されたディスプレイとを有する画像処理装置のディスプレイ表示方法であって、
前記ディスプレイの画像表示部を縦横に複数の表示領域に分割し、
横列又は縦列毎に異なるカメラの取込画像を時系列に表示することを特徴とする画像処理装置のディスプレイ表示方法を提供することにより達成される。
【００１３】
この発明によれば、複数のカメラに関する時系列な表示を見ることにより、各カメラによる検査状況を各カメラ毎に切り替えて表示することなく直ちに確認することができる。
【００１４】
かかる技術的課題は、本発明の第４の観点によれば、
ワークを撮像するためのカメラと、該カメラから取り込んだ取込画像を処理する画像処理装置本体と、該画像処理装置本体に接続されたディスプレイとを有する画像処理装置のディスプレイ表示方法であって、
前記ディスプレイの画像表示部を少なくとも第１、第２の２つの表示領域に分割し、
前記第１表示領域に、前記カメラから取り込んだ取込画像を表示し、
前記第２表示領域に、前記カメラから取り込んだ取込画像を画像処理した処理後の画像を表示することを特徴とする画像処理装置のディスプレイ表示方法を提供することにより達成される。
【００１５】
この発明によれば、画像処理前後の画像を直接的に対比して見ることができるため、画像処理の設定が容易になる。
【００１６】
かかる技術的課題は、本発明の第５の観点によれば、
ワークを撮像するためのカメラと、該カメラから取り込んだ取込画像を処理する画像処理装置本体と、該画像処理装置本体に接続されたディスプレイとを有する画像処理装置のディスプレイ表示方法であって、
前記ディスプレイの画像表示部を少なくとも第１〜第３の３つの表示領域に分割し、
前記第１表示領域に、前記カメラから取り込んだ取込画像を表示し、
前記第２表示領域に、前記カメラから取り込んだ取込画像を第１の処理方法により画像処理した処理後の画像を表示し、
前記第３表示領域に、前記カメラから取り込んだ取込画像を前記第１の処理方法とは異なる第２の処理方法により画像処理した処理後の画像を表示することを特徴とする画像処理装置のディスプレイ表示方法を提供することにより達成される。
【００１７】
この発明によれば、複数の処理方法により処理した画像を直接的に対比して見ることができるため、例えば異なる設定でフィルター処理した複数の画像を表示して、好ましいフィルター処理の画像に基づいてフィルター処理の設定を行うことでフィルター処理の最適な設定が容易になる。
【発明を実施するための最良の形態】
【００１８】
以下、図面を参照しながら、本発明の実施形態について詳細に説明する。図１に、本実施の形態に係る画像処理装置１０の概略構成を示す。同図に示すように、画像処理装置１０は、ワークを撮像するための単数又は複数のカメラ１１、画像処理を行うＰＣ本体１２、画像を表示するためのディスプレイ１３を備えている。
【００１９】
ＰＣ本体１２は、画像処理を含む種々の演算を行うための演算部１５、ディスプレイ１３に画像を表示する際の制御を行う表示制御部１４、基準画像や撮像画像など画像データを格納する記憶部１６を備えている。
【００２０】
ディスプレイ１３は、オペレータが検査項目やパラメータを設定する際に、また、取込画像等の解析、検査状況の監視等を行う際に必要な画像を表示することができ、必要に応じて、ディスプレイ１３の画面を複数に分割して、取込画像、基準画像、保存画像（ＮＧ画像を含む）から、適宜必要な画像を複数枚表示することができる。
【００２１】
（１）第１表示態様（取込画像とＮＧ画像）（図２）
第１表示態様では、図２に示すディスプレイ１３の画像表示部１４が横並びに２つに分割され、第１の表示領域１４ａにカメラ１１からリアルタイムな取込画像が表示され、一方、第２の表示領域１４ｂにＮＧ画像が表示される。この第２の表示領域１４ｂに表示されるＮＧ画像は、画像処理装置１０にて設定されている画像処理設定基準に対して、その基準を満たしていない、つまり画像処理装置本体の処理の結果、ＮＧレベルの画像判断されたものを、例えば事前にオフラインまたはトライアルの画像処理で設定してもよいし、またはライン稼動開始時であれば、この第２の表示領域１４ｂには何も表示せず、ライン稼動中での画像処理装置本体の処理の結果ＮＧと判断された画像が現れた時点で、そのＮＧと判断された画像を自動的に第２の表示領域１４ｂに表示するようにしてもよい。第１の表示領域１４ａに第１の表示領域１４ａに表示の取込画像は、カメラの撮像（画像の取込み）毎に更新される。取込画像の中にＮＧ画像も含まれ、ＮＧが発生したときには、第２の表示領域１４ｂのＮＧ画像が更新されるが、オペレータが表示の切換指示しない限り、この更新を行わないようにしてもよい。
【００２２】
従来のディスプレイ表示方法では、オペレータがＮＧ画像の表示を選択すると、ディスプレイ１３上にはＮＧ画像のみが表示され、取込画像を確認することができなかった。しかし、第１表示態様のように、取込画像とＮＧ画像とが並んで表示されているため、オペレータは、取込画像によって検査状態を確認しつつ、ＮＧが発生した状態を確認することが可能になる。また、ＮＧが発生する毎にＮＧ画像を更新した場合には、オペレータが気付いたときには、既に別のＮＧ画像が表示されていた、という状況が考えれるが、オペレータが許可しない限り、第２の表示領域１４ｂのＮＧ画像を更新しない場合には、オペレータが知らないうちに別のＮＧ画像に切り替わることがないため、ＮＧが発生した状況をオペレータが確認することができる。
【００２３】
（２）第２表示態様（登録画像とＮＧ画像）（図３）
第２表示態様は、上述した第１表示態様の変形例でもある。第２表示態様では、図３に示すように、第1の表示領域１４ａに登録画像（基準画像）が表示され、第２の表示領域１４ｂにＮＧ画像が表示される。
【００２４】
画像処理装置１０において、この第２表示態様を活用する場合として、少なくとも２つの場合が考えられる。第１の場合としては、前述した第1表示態様（図２）と同様に、画像処理装置１０を実際に稼動している状況においてＮＧ画像を適切に表示して、オペレータに認識させるケースである。この場合においては、この第１の表示領域１４ａに表示される登録画像（基準画像）としては、画像処理装置１０に設定されている画像処理設定基準に対して、その基準を満たしている、つまり画像処理装置本体１２の処理の結果、「ＯＫ」と判断されたＯＫ画像を画像処理装置１０に一旦保存記憶し、その中からオペレータが最も適切と思われる画像を抽出、選択することにより登録画像（基準画像）を設定し、これを第１の表示領域１４ａに表示するのがよい。
【００２５】
変形例として画像処理装置１０が設置されたラインの稼動開始時以降において画像処理装置１０の処理結果、「ＯＫ」と判断された最新画像を登録画像（基準画像）として更新しながら、第１の表示領域１４ａに表示するようにしてもよい。他の態様として、登録画像（基準画像）として採用するＯＫ画像に関し、画像処理装置による処理結果によりＯＫと判断されたＯＫ画像でなく、単にカメラ１１から取り込んだ画像の中から、オペレータの判断によって、ＯＫ画像にふさわしいと判断した画像を登録画像（基準画像）として設定し、これを第１の表示領域１４ａに表示するようにしてもよい。
【００２６】
一方、第２の表示領域１４ｂに表示されるＮＧ画像は、ライン稼動開始時はこの第２の表示領域１４ｂには何も表示させず、ライン稼動中での画像処理装置本体１２の処理の結果、「ＮＧ」と判断された画像が出現した時点で、そのＮＧと判断された画像を自動的に第２の表示領域１４ｂに表示するようにしてもよい。また、更にこの第２の表示領域１４ｂに表示されるＮＧ画像は、画像処理装置１０がＮＧと判断した時点でリアルタイムに第２の表示領域１４ｂに表示した後、画像処理装置１０が設置されているライン設備またはオペレータが、画像処理装置１０によるＮＧ画像という判断に対して適切な処理（例えば、ＮＧ画像となったワークをＮＧ品としてライン外へ排出する等の対応）を行なったという信号が画像処理装置本体１２に入力されたときに、それまで第２の表示領域に表示されていたＮＧ画像を消去し、次回のＮＧ画像が抽出されるまで、何も表示しないようにしてもよい。
【００２７】
図４は、カメラ１１から取り込んだ画像の中からオペレータが選択したＯＫ画像に対して、オペレータが設定している画像処理項目を実行し、画像のＯＫ，ＮＧを判定するための判定条件（項目）と、それに対するこのＯＫ画像そのものの値を表示している一例である。すなわち、図示の例は、基板内にある特定の部品のＸ、Ｙ方向の位置、傾き許容角度ならびに、図面上白枠に見えるサーチエリアにある部品の、登録基準画像に対する相関値を設定するようになっているものである。この図４では、オペレータが選択した画像は、その右に示した実測値「Ｘ基準位置：225.0」、「Ｙ基準位置：221.0」、「傾き許容角度：0.0」、ならびに「相関値：100％」であることが分かる。従って、このＯＫ画像を基準画像として設定して、画像処理装置１０のよる判定を行う場合は、上述する各項目における上限値及び下限値、つまり「ｘ上限値」「ｘ下限値」「ｙ上限値」「ｙ下限値」「角度上限値」「角度下限値」「相関上限値」「相関下限値」を、自動的に、例えば実測値に対して±１０％のレンジで自動設定させて、これを判定条件とすることもできるが、図４に示すように、オペーレータが各項目の実測値の上下に各々ブランク表示される上限値及び下限値のボックスに所望の値を入力することにより、判定条件の範囲を設定するようにしてもよい。
【００２８】
第２表示態様を活用する第２の場合としては、画像処理装置１０の処理判定基準となる種々の画像処理パラメータの設定を行なうケースである。この場合は、第１、第２の表示領域１４ａ、１４ｂに夫々表示される登録画像（基準画像）、ＮＧ画像は、画像処理装置１０にて設定されている画像処理設定基準に対して、その基準を満たしている、つまり画像処理装置本体の処理の結果、「ＯＫ」であると判断されたＯＫ画像を画像処理装置１０に一旦保存記憶したＯＫ画像と、同様に、画像処理設定基準に対して、その基準を満たしていない、つまり画像処理装置本体の処理の結果、「ＮＧ」であると判断されたＮＧ画像を画像処理装置１０に一旦保存記憶したＮＧ画像の中からオペレータが最も適切と思われる画像を選択して、これらの画像を「ＯＫ画像」「ＮＧ画像」の基準画像として登録すると共に第１、第２の表示領域１４ａ、１４ｂに表示させる。また、別の方法としては、ＯＫ画像とＮＧ画像の識別を画像処理装置本体１０に委ねるのではなく、カメラ１１から取り込まれ且つ画像処理装置１０に記憶されている画像の中からオペレータが「ＯＫ画像」「ＮＧ画像」を直接的に選択して、これら基準画像として登録すると共に第１、第２の表示領域１４ａ、１４ｂに表示させるようにしてもよい。
【００２９】
上述のＮＧ画像を判断する画像処理装置１０内での判定基準は、上述した図４に例示のように、オペレータが画像処理装置１０に対して設定する種々の画像処理パラメータによって設定するものであるが、この設定方法としては、画像処理装置１０にオペレータが直接種々の画像処理パラメータを設定する方法と、上記実施例において基準画像として登録するためにユーザによって選択された画像に関する画像処理に関する判定結果を判定基準とする方法がある。なお、前述した第１表示態様（図２）において、第２表示領域１４ｂに表示されたＮＧ画像に基づいて画像処理装置１０にオペレータが直接種々の画像処理パラメータを設定する方法と、第１表示態様（図２）で第２表示領域１４ｂに表示するＮＧ画像を設定するために選択された画像に関する画像処理に関する判定結果を判定基準とする方法がある。
【００３０】
従来のディスプレイ表示では、画像処理装置が欠陥のある画像として自動で判断する際の判定基準となるパラメータの設定において、一種類の画像しか表示できかったため、オペレータは、登録画像のみを参照しながら、若しくは表示画像をＮＧ画像に切り換えてＮＧ画像のみを参照しながらパラメータの設定を行っていた。これに対して、この第２表示態様によれば、登録画像（基準画像）とＮＧ画像とが同時に表示されるため、オペレータは、図４にフローチャートで示すように、登録画像及びＮＧ画像を同時に確認しながら、ＮＧの状態を考慮してパラメータの設定ができ、適切なパラメータの設定が容易になる。また、基準画像として設定したＯＫ画像やＮＧ画像の画像処理に関するデータに基づいて判定基準となる数値をマニュアル入力又は自動入力することで、表示した登録画像（基準画像）のデータを流用した画像処理装置１０の判定条件を設定することができる。
【００３１】
図５、図６は基準画像の登録に関する手順を示すフローチャートである。オペレータは取込画像から適当な画像、例えば典型的なＯＫ画像を選択して登録することにより、この登録画像が上述した第１表示領域１４ａに表示される。
【００３２】
例えば、色抽出をする場合、従来であれば、登録画像のみを表示させてパラメータ等の設定を行っていたが、実際に検査を実施すると、照明等の外乱の影響や、検査対象物のばらつきにより、ＯＫとすべき被対象物をＮＧと誤検知してしまう場合があった。これに対して、第２表示態様（図３）によれば、色抽出の設定の際に、登録画像と共にＮＧ画像が表示されるため、オペレータが両画像を参照しながら最適なパラメータを設定することができ、高精度の色抽出処理を実現できる。
【００３３】
また、画像処理の計測領域を設定する場合、従来であれば、登録画像のみを表示させて計測領域の設定を行っていたため、被対象物のばらつき等により、ＯＫとすべき被対象物がＮＧと誤検知されてしまう場合があったが、第２表示態様によれば、検査領域の設定の際に、登録画像と同時にＮＧ画像を表示することで、オペレータは両画像を参照しながら最適な計測領域を設定することができる。
【００３４】
（３）第３表示態様（取込画像の時系列表示）（図７）
第３表示態様では、図７に示すように、最新画像を表示する第１表示領域１４ａの隣に、上下に例えば３つに分割された第２〜第４の表示領域１４ｂ〜１４ｄを有し、これら第２〜第４の表示領域１４ｂ〜１４ｄには、順次、一つ前の取込画像、二つ前の取込画像、三つ前の取込画像を表示することができる。なお、第１〜第４の表示領域１４ａ〜１４ｄの領域の大きさが同じであってもよい。
【００３５】
もちろん、時系列に表示する取込画像の枚数つまり第２〜第４の表示領域１４ｂ〜１４ｄの数は任意に設定できるようにすることが好ましい。また、どの時点の取込画像を表示するかも任意に設定可能であるのが好ましい。
【００３６】
この第３表示態様によれば、画像処理装置の検査を監視する場合にメリットがある。従来は、取込画像の最新画像のみがディスプレイ１３上に表示されるため、オペレータは、現在の検査状況しか確認できなかった。これに対して、本表示方法３では、時系列的に複数の取込画像が表示されるので、オペレータが様々な状況を把握しやすくなる。例えば、ＮＧが発生している時には、そのＮＧが突発的に発生したのか、徐々に発生したのか等を把握することができる。また、撮像のための照明が劣化したことによって、ＮＧが発生している場合は、取込画像の照度が徐々に暗くなっていることで把握することができる。
【００３７】
（４）第４表示態様（取込画像、ＮＧ画像、登録画像）（図８）
第４表示形態では、図８に示すように、取込画像を表示する第１表示領域１４ａの隣に、上下に２つに分割された第２、第３の表示領域１４ｂ、１４ｃを有し、これら第２、第３の表示領域１４ｂ、１４ｃには、ＮＧ画像、登録（基準）画像を表示することができる。第２表示領域１４ｂのＮＧ画像は、ＮＧが発生してもオペレータが表示の切換指示しない限り、この更新を行わないようにするのが好ましい。
【００３８】
画像処理の設定を行う際、設定内容を調整する際、検査ラインの状況を確認する際に、そのような状況で検査結果がＮＧになったかを確認できることが重要となる。従来のように取込画像だけを表示した場合、この取込画像の中にＮＧ画像も含まれていることから、ＮＧが発生しても、次の取込みによって表示画像が更新されてしまうことから、オペレータが気付いたときには既に異なる画像が表示されてしまっていた、という状況が発生したときには、オペレータはＮＧの発生状況などの確認ができない。
【００３９】
これに対して、第４表示態様によれば、ＮＧ画像の他に、オペレータが典型的なＯＫ画像であるとして登録した基準画像（登録画像）が表示されるため、図９のフローチャートから理解できるように、これらを対比することによりＮＧの原因や設定の適否を確認することが容易となる。また、第１表示領域１４ａに取込画像を表示するようにしてあるため、この取込画像は、取込み毎に更新されることから、オペレータは機器が正しく動作しているか否かを知ることができる。
【００４０】
（５）第５表示態様（ＮＧ画像の時系列表示）（図１０）
第５表示態様は、上述した第３表示態様（図７）と同様に、第１表示領域１４ａの隣に、上下に例えば３つに分割された第２〜第４の表示領域１４ｂ〜１４ｄを有している。これら第１〜第４の表示領域１４ａ〜１４ｄの領域の大きさは同じであってもよい。
【００４１】
この第４表示態様にあっては、第１〜第４の表示領域１４ａ〜１４ｄに、ＮＧ画像が時系列で表示される。すなわち、第１表示領域１４ａに最新のＮＧ画像が表示され、その右隣の第２〜第４の表示領域１４ｂ〜１４ｄには、順次、一つ前のＮＧ画像、二つ前のＮＧ画像、三つ前のＮＧ画像が表示される。もちろん、上記第３表示態様と同様に、表示するＮＧ画像の枚数や、どの時点のＮＧ画像を表示するかは設定により変更可能であるのが好ましい。
【００４２】
この表示方法４によれば、オペレータが、複数のＮＧ画像を一度に確認することができ、ＮＧが発生している状況に、何らかの傾向があるかどうかを判断することができる。また、ＮＧ画像を表示しながら現在の取込画像を確認することができる。
【００４３】
（６）第６表示態様（複数のカメラ毎の取込画像の時系列表示）（図１１）
第６表示態様では、画像表示部１４が縦横に複数に分割され、第１横列１４e〜第４横列１４ｈには、第１〜第４のカメラ１１からの時系列の取込画像が表示される。
【００４４】
すなわち、この第６表示態様にあっては、図１１に示すように画像表示部１４が４×４の１６分割され、各行に各カメラが割り振られ、各列に左側から順に、時系列の画像つまり最新画像、一つ前の画像、二つ前の画像、三つ前の画像が割り振られている。つまり、第１横列１４ｅには、左から右に向けて順に、第１カメラ１１からの最新の取込画像、一つ前の取込画像、二つ前の取込画像、三つ前の取込画像が表示される。第２横列１４ｆには第２カメラ１１からの取込画像が表示され、第３横列１４ｇには第３カメラ１１からの取込画像が表示され、第４横列１４ｈには第４カメラ１１からの取込画像が表示される。もちろん、表示する取込画像の枚数や、表示するカメラの選択は、適宜変更可能である。また、左から順に第１縦列に第１カメラ１１に関する取込画像を時系列に表示し、その右隣の第２縦列に第２カメラ１１に関する取込画像を時系列に表示し、その右隣の第３縦列に第３カメラ１１に関する取込画像を時系列に表示するようにしてもよい。
【００４５】
この第６表示態様にれば、上記第３表示態様と同様の効果を奏すると共に、更に、複数台のカメラ１１の取込画像が時系列に表示されるため、オペレータは、複数のカメラの検査状況を一度に確認することが可能になる。したがって、オペレータは、検査状況を確認するカメラを切り換える必要がなくなるので、効率的に検査状況を把握することができる。
【００４６】
第６表示態様の変形例として、図１２に付加した斜線は、ＮＧが発生した取込画像を強調表示していることを図面上で明らかにしている。強調表示の具体例として、画像が赤色の枠で囲まれる（ＯＫ画像は青色の枠で囲む）。強調表示の他の例としてはＮＧ画像を点滅表示させるようにしてもよい。これによれば、ＮＧが発生した取込画像を、瞬時に認識することができ、検査状況の監視を効率良く行うことができる。
【００４７】
なお、この変形例は、第６表示態様に限定的に適用されるのではなく、取込画像を複数枚表示する表示態様の全てに適用することができる。例えば、第３表示態様（図７）において、ＮＧが発生した画像を強調表示するようしてもよい。
【００４８】
（７）第７表示態様（取込画像とその処理画像）（図１３）
第７表示態様では、図１３に示すように、左右隣り合わの２つの表示領域１４ａ、１４ｂを有し、第１表示領域１４ａでは、取込画像をそのまま表示することを取込画像のスルー表示が行われ、第２表示領域１４ｂでは、取込画像を画像処理した後の処理画像表示が行われる。
【００４９】
従来は、オペレータが画像処理装置１０に対して表示の切換指示を出すことで、スルー表示モードと処理画像表示モードとを切り替えていたが、第６表示態様のように、左右隣り合わせで、取込画像と処理画像とが同時に表示されるため、従来のように表示モードを切り換える手間が必要でないため効率的である。また、オペレータは、取込画像と処理画像を直接見比べることができるため、所望の処理画像を得るための設定、例えば、画像処理に際して最適な前処理の設定が容易になる。
【００５０】
この第７表示態様の変形例として、図１４に示すように、第２表示領域１４ｂを上下に例えば３分割して、上から第１前処理パターン（前処理１）の処理画像、第２前処理パターン（前処理２）の処理画像、第３前処理パターン（前処理３）の処理画像を表示するようにしてもよい。この変形例によれば、前処理として複数の異なるフィルター処理パターンが設定可能である場合に、これらの前処理１〜３を施した後の画像を表示することにより、フィルタ処理後のそれぞれの画像をオペレータが確認し、好ましい画像に基づいてフィルター設定を行うことによって、最適の前処理を設定することが容易になる。この変形例においても、各画像を表示する位置や、大きさ、枚数は適宜変更可能であるのが好ましい。
【００５１】
以上、本実施の形態に係る表示方法について、それぞれ詳細に説明したが、続いて、これらの表示態様を設定する際の処理について、図１５に示すフローチャート及び図１６、図１７のダイアログの表示例に従って説明する。
【００５２】
オペレータは、設定画面のオプション設定を選択することで図１６に示すダイアログを開くことができる。このダイアログ（図１６）では、ディスプレイ１３に表示方法の設定では、「画面分割種別の選択」、「表示カメラの選択」、「表示ウィンドウ番号」、「表示画像選択」の項目が表示される。
【００５３】
図１５のステップＳ１０で「画面分割種別の選択」が選択すると、図１７に例示するように種々の画面分割例が表示され、オペレータは任意の画面分割例を選択することができる。
【００５４】
同様に、ステップＳ１１（図１５）で「表示カメラの選択」を選択することにより、どのカメラの画像を表示するかの設定を行うことができる。また、ステップＳ１２で「表示ウィンドウ番号」を選択することにより、どのウィンドウの表示を行うかの設定を行うことができる。また、ステップＳ１３で「表示画面選択」を選択することにより、どのような画像を表示するかの設定を行うことができる。例えば、使用するカメラがカラーカメラであれば、カラー画像、カラー２値化画像、カラーグレー画像を選択することができ、モノクロカメラであれば、グレー画像、グレー２値化画像を選択することができる。
【００５５】
以上、様々な表示態様を説明したが、上述した実施の形態によれば、画像処理装置のディスプレイ１３に表示される画像は、オペレータが状況に応じて適宜選択することが可能である。よって、画像処理装置における各種検査等の処理を行う際に、適切な設定が可能となり、また、処理状況を確実に把握できる等のメリットがある。
【００５６】
なお、例えば、複数の画像を表示する際、ＮＧ画像には、ＮＧが発生したことが一目で分かるように、「ＮＧ」の文字を画像上に重畳表示させたり、ＮＧが発生した計測領域の線の色を変更（例えば赤色等）して表示させたりするように構成しても良い。また、ＮＧ画像を含む画面全体の背景色を変更するように構成してもよい。このように、ＮＧ画像を強調して表示するようにすれば、オペレータが、瞬時にＮＧが発生したこと、及びその状況に把握することが可能になる。
【図面の簡単な説明】
【００５７】
【図１】実施例の画像処理装置の全体構成を概略的に示す図である。
【図２】第１表示態様を説明するための図である。
【図３】第２表示態様を説明するための図である。
【図４】表示する登録画面（基準画面）の画像処理の実測値に基づいて画像処理装置の判定条件を設定する具体例を説明するための図である。
【図５】登録（基準）画像とＮＧ画像とを同時に見ながらパラメータの設定を行う手順を示すフローチャートである。
【図６】基準画像の登録に関する手順を示すフローチャートである。
【図７】第３表示態様を説明するための図である。
【図８】第４表示態様を説明するための図である。
【図９】取込画像とＮＧ画像とを同時に表示する場合、ＮＧ画像の更新をオペレータの操作に委ねることにより、ＮＧの原因を確認して設定を変更する場合の手順を示すフローチャートである。
【図１０】第５表示態様を説明するための図である。
【図１１】第６表示態様を説明するための図である。
【図１２】第６表示態様の変形例を説明するための図である。
【図１３】第７表示態様を説明するための図である。
【図１４】第７表示態様の変形例を説明するための図である。
【図１５】表示態様の設定手順を説明するためのフローチャートである。
【図１６】表示態様を設定に用いられる選択画面の一例を示す図である。
【図１７】選択可能な画面分割のパターンを説明するための図である。
【図１８】従来の画像処理装置の全体構成を概略的に示す図である。
【図１９】従来の表示態様を説明するための図である。
【符号の説明】
【００５８】
１０ 画像処理装置
１１ カメラ
１２ ＰＣ本体
１３ ディスプレイ
【技術分野】
【０００１】
本発明は、画像処理装置のディスプレイ表示方法に関する。
【背景技術】
【０００２】
ＩＣ（集積回路）、電子部品等の様々な製品の製造過程や製造後の検査、例えば、製品のサイズの計測、傷や汚れの有無等の検査に画像処理装置が用いられている（例えば特許文献１、２）。
【０００３】
図１８に従来の一般的な画像処理装置の概略構成を示す。同図に示すように、画像処理装置１は、ＣＣＤ等の個体撮像素子を含むカメラ２と、画像処理等の各種演算やカメラ２等の周辺機器の制御を行う画像処理装置本体３と、ＰＣ本体３に接続されたディスプレイ４とを備えており、画像処理装置本体３内の記憶装置（図示せず）には、カメラ２が撮像した取込画像、欠陥検査等において欠陥（ＮＧ）であるか否かを規定する適正範囲つまり画像処理装置本体が判定条件に合致していると判断したＯＫ画像からオペレータが典型的なＯＫ画像であるとして登録した登録画像（基準画像）、過去に判定条件から逸脱していると判断されたＮＧ画像等が保存されている。
【０００４】
そして、オペレータが、画像処理にあたって検査項目を設定する場合、各種パラメータを設定する場合、取込画像等を解析する場合、また、検査状況等を監視する場合には、ディスプレイ４に所望の画像を表示させたうえで設定、解析、監視等を行うように構成されている。従来、ディスプレイ４で表示可能な画面は、取込画像、登録画像（基準画像）、保存画像（ＮＧ画像を含む）の中から状況に応じて選択されていた。
【０００５】
図１９はディスプレイ４の表示例を示すものであり、同図の（ａ）は単独の画像を表示した場合を示し、同図の（ｂ）は２枚の画像を縦に並んで表示した場合を示し、同図の（ｃ）は２枚の画像を横並びに表示した場合を示す。より詳しくは、同図の（ａ）は、取込画像、登録画像、保存画像（ＮＧ画像を含む）から選択された画像が表示される様子を示している。また、同図の（ｂ）、（ｃ）は、複数台のカメラ２を同時に使用する場合に、ディスプレイ４の表示領域を分割し、別のカメラ２から取り込まれた２枚の取込画像がディスプレイ４に並んで表示される様子を示している。
【特許文献１】特開２００３−９４５９５号公報
【特許文献２】特開２００３−９８１１４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、従来の画像処理装置においては、ディスプレイ４の表示態様が限定的であり、各種設定・解析等の際に、ディスプレイ４上には、取込画像、登録画像、保存画像（ＮＧ画像を含む）から選択された単一の画像が表示されるか、もしくは、複数台のカメラ２から取り込んだ取込画像が、分割した表示領域の夫々に表示されるだけであった。
【０００７】
本発明の目的は、画像処理装置の利便性を高めるために、各種設定、画像処理装置を用いた各種解析等の際に、オペレータが必要とする画像を柔軟に表示することのできる画像処理装置のディスプレイ表示方法を提供することにある。
【課題を解決するための手段】
【０００８】
かかる技術的課題は、本発明の第１の観点によれば、
ワークを撮像するためのカメラから取り込んだ取込画像を処理する画像処理装置本体に接続されたディスプレイの表示方法であって、
前記ディスプレイの画像表示部を少なくとも第１、第２の２つの表示領域に分割し、
前記第1表示領域に前記取込画像、前記画像処理装置本体が判定条件に合致していると判断したＯＫ画像、又はオペレータが設定したＯＫ画像のいずれか一つを登録画像として表示し、
前記第２表示領域に、前記画像処理装置本体が判定条件から逸脱していると判断したＮＧ画像を表示することを特徴とする画像処理装置のディスプレイ表示方法を提供することにより達成される。
【０００９】
この発明によれば、オペレータは、取込画像又は登録画像（基準画像）とＮＧ画像とを一度に見比べることできるため、ＮＧが発生した状態を確認することが可能になる。
【００１０】
上記の技術的課題は、本発明の第２の観点によれば、
ワークを撮像するためのカメラと、該カメラから取り込んだ画像を処理する画像処理装置本体と、該画像処理装置本体に接続されたディスプレイとを有し、前記カメラから取り込んだ取込画像と、予め登録した基準画像と対比することにより前記ワークの良否を判断する画像処理装置のディスプレイ表示方法であって、
前記ディスプレイの画像表示部を少なくとも第１、第２の２つの表示領域に分割し、
前記第１表示領域に、前記カメラから取り込んだ最新の取込画像又は前記画像処理装置本体が判定条件から逸脱していると判断したＮＧ画像を表示し、
前記第２表示領域に、過去の取込画像又はＮＧ画像を表示することを特徴とする画像処理装置のディスプレイ表示方法を提供することにより達成される。
【００１１】
この発明によれば、オペレータは、最新の取込画像又はＮＧ画像と、過去の取込画像又はＮＧ画像とを一度に見比べることができるため、例えばＮＧが発生したときにその発生の傾向を判断するのが容易になる。
【００１２】
上記の技術的課題は、本発明の第３の観点によれば、
ワークを撮像するための複数のカメラと、これら複数のカメラから取り込んだ取込画像を処理する画像処理装置本体と、該画像処理装置本体に接続されたディスプレイとを有する画像処理装置のディスプレイ表示方法であって、
前記ディスプレイの画像表示部を縦横に複数の表示領域に分割し、
横列又は縦列毎に異なるカメラの取込画像を時系列に表示することを特徴とする画像処理装置のディスプレイ表示方法を提供することにより達成される。
【００１３】
この発明によれば、複数のカメラに関する時系列な表示を見ることにより、各カメラによる検査状況を各カメラ毎に切り替えて表示することなく直ちに確認することができる。
【００１４】
かかる技術的課題は、本発明の第４の観点によれば、
ワークを撮像するためのカメラと、該カメラから取り込んだ取込画像を処理する画像処理装置本体と、該画像処理装置本体に接続されたディスプレイとを有する画像処理装置のディスプレイ表示方法であって、
前記ディスプレイの画像表示部を少なくとも第１、第２の２つの表示領域に分割し、
前記第１表示領域に、前記カメラから取り込んだ取込画像を表示し、
前記第２表示領域に、前記カメラから取り込んだ取込画像を画像処理した処理後の画像を表示することを特徴とする画像処理装置のディスプレイ表示方法を提供することにより達成される。
【００１５】
この発明によれば、画像処理前後の画像を直接的に対比して見ることができるため、画像処理の設定が容易になる。
【００１６】
かかる技術的課題は、本発明の第５の観点によれば、
ワークを撮像するためのカメラと、該カメラから取り込んだ取込画像を処理する画像処理装置本体と、該画像処理装置本体に接続されたディスプレイとを有する画像処理装置のディスプレイ表示方法であって、
前記ディスプレイの画像表示部を少なくとも第１〜第３の３つの表示領域に分割し、
前記第１表示領域に、前記カメラから取り込んだ取込画像を表示し、
前記第２表示領域に、前記カメラから取り込んだ取込画像を第１の処理方法により画像処理した処理後の画像を表示し、
前記第３表示領域に、前記カメラから取り込んだ取込画像を前記第１の処理方法とは異なる第２の処理方法により画像処理した処理後の画像を表示することを特徴とする画像処理装置のディスプレイ表示方法を提供することにより達成される。
【００１７】
この発明によれば、複数の処理方法により処理した画像を直接的に対比して見ることができるため、例えば異なる設定でフィルター処理した複数の画像を表示して、好ましいフィルター処理の画像に基づいてフィルター処理の設定を行うことでフィルター処理の最適な設定が容易になる。
【発明を実施するための最良の形態】
【００１８】
以下、図面を参照しながら、本発明の実施形態について詳細に説明する。図１に、本実施の形態に係る画像処理装置１０の概略構成を示す。同図に示すように、画像処理装置１０は、ワークを撮像するための単数又は複数のカメラ１１、画像処理を行うＰＣ本体１２、画像を表示するためのディスプレイ１３を備えている。
【００１９】
ＰＣ本体１２は、画像処理を含む種々の演算を行うための演算部１５、ディスプレイ１３に画像を表示する際の制御を行う表示制御部１４、基準画像や撮像画像など画像データを格納する記憶部１６を備えている。
【００２０】
ディスプレイ１３は、オペレータが検査項目やパラメータを設定する際に、また、取込画像等の解析、検査状況の監視等を行う際に必要な画像を表示することができ、必要に応じて、ディスプレイ１３の画面を複数に分割して、取込画像、基準画像、保存画像（ＮＧ画像を含む）から、適宜必要な画像を複数枚表示することができる。
【００２１】
（１）第１表示態様（取込画像とＮＧ画像）（図２）
第１表示態様では、図２に示すディスプレイ１３の画像表示部１４が横並びに２つに分割され、第１の表示領域１４ａにカメラ１１からリアルタイムな取込画像が表示され、一方、第２の表示領域１４ｂにＮＧ画像が表示される。この第２の表示領域１４ｂに表示されるＮＧ画像は、画像処理装置１０にて設定されている画像処理設定基準に対して、その基準を満たしていない、つまり画像処理装置本体の処理の結果、ＮＧレベルの画像判断されたものを、例えば事前にオフラインまたはトライアルの画像処理で設定してもよいし、またはライン稼動開始時であれば、この第２の表示領域１４ｂには何も表示せず、ライン稼動中での画像処理装置本体の処理の結果ＮＧと判断された画像が現れた時点で、そのＮＧと判断された画像を自動的に第２の表示領域１４ｂに表示するようにしてもよい。第１の表示領域１４ａに第１の表示領域１４ａに表示の取込画像は、カメラの撮像（画像の取込み）毎に更新される。取込画像の中にＮＧ画像も含まれ、ＮＧが発生したときには、第２の表示領域１４ｂのＮＧ画像が更新されるが、オペレータが表示の切換指示しない限り、この更新を行わないようにしてもよい。
【００２２】
従来のディスプレイ表示方法では、オペレータがＮＧ画像の表示を選択すると、ディスプレイ１３上にはＮＧ画像のみが表示され、取込画像を確認することができなかった。しかし、第１表示態様のように、取込画像とＮＧ画像とが並んで表示されているため、オペレータは、取込画像によって検査状態を確認しつつ、ＮＧが発生した状態を確認することが可能になる。また、ＮＧが発生する毎にＮＧ画像を更新した場合には、オペレータが気付いたときには、既に別のＮＧ画像が表示されていた、という状況が考えれるが、オペレータが許可しない限り、第２の表示領域１４ｂのＮＧ画像を更新しない場合には、オペレータが知らないうちに別のＮＧ画像に切り替わることがないため、ＮＧが発生した状況をオペレータが確認することができる。
【００２３】
（２）第２表示態様（登録画像とＮＧ画像）（図３）
第２表示態様は、上述した第１表示態様の変形例でもある。第２表示態様では、図３に示すように、第1の表示領域１４ａに登録画像（基準画像）が表示され、第２の表示領域１４ｂにＮＧ画像が表示される。
【００２４】
画像処理装置１０において、この第２表示態様を活用する場合として、少なくとも２つの場合が考えられる。第１の場合としては、前述した第1表示態様（図２）と同様に、画像処理装置１０を実際に稼動している状況においてＮＧ画像を適切に表示して、オペレータに認識させるケースである。この場合においては、この第１の表示領域１４ａに表示される登録画像（基準画像）としては、画像処理装置１０に設定されている画像処理設定基準に対して、その基準を満たしている、つまり画像処理装置本体１２の処理の結果、「ＯＫ」と判断されたＯＫ画像を画像処理装置１０に一旦保存記憶し、その中からオペレータが最も適切と思われる画像を抽出、選択することにより登録画像（基準画像）を設定し、これを第１の表示領域１４ａに表示するのがよい。
【００２５】
変形例として画像処理装置１０が設置されたラインの稼動開始時以降において画像処理装置１０の処理結果、「ＯＫ」と判断された最新画像を登録画像（基準画像）として更新しながら、第１の表示領域１４ａに表示するようにしてもよい。他の態様として、登録画像（基準画像）として採用するＯＫ画像に関し、画像処理装置による処理結果によりＯＫと判断されたＯＫ画像でなく、単にカメラ１１から取り込んだ画像の中から、オペレータの判断によって、ＯＫ画像にふさわしいと判断した画像を登録画像（基準画像）として設定し、これを第１の表示領域１４ａに表示するようにしてもよい。
【００２６】
一方、第２の表示領域１４ｂに表示されるＮＧ画像は、ライン稼動開始時はこの第２の表示領域１４ｂには何も表示させず、ライン稼動中での画像処理装置本体１２の処理の結果、「ＮＧ」と判断された画像が出現した時点で、そのＮＧと判断された画像を自動的に第２の表示領域１４ｂに表示するようにしてもよい。また、更にこの第２の表示領域１４ｂに表示されるＮＧ画像は、画像処理装置１０がＮＧと判断した時点でリアルタイムに第２の表示領域１４ｂに表示した後、画像処理装置１０が設置されているライン設備またはオペレータが、画像処理装置１０によるＮＧ画像という判断に対して適切な処理（例えば、ＮＧ画像となったワークをＮＧ品としてライン外へ排出する等の対応）を行なったという信号が画像処理装置本体１２に入力されたときに、それまで第２の表示領域に表示されていたＮＧ画像を消去し、次回のＮＧ画像が抽出されるまで、何も表示しないようにしてもよい。
【００２７】
図４は、カメラ１１から取り込んだ画像の中からオペレータが選択したＯＫ画像に対して、オペレータが設定している画像処理項目を実行し、画像のＯＫ，ＮＧを判定するための判定条件（項目）と、それに対するこのＯＫ画像そのものの値を表示している一例である。すなわち、図示の例は、基板内にある特定の部品のＸ、Ｙ方向の位置、傾き許容角度ならびに、図面上白枠に見えるサーチエリアにある部品の、登録基準画像に対する相関値を設定するようになっているものである。この図４では、オペレータが選択した画像は、その右に示した実測値「Ｘ基準位置：225.0」、「Ｙ基準位置：221.0」、「傾き許容角度：0.0」、ならびに「相関値：100％」であることが分かる。従って、このＯＫ画像を基準画像として設定して、画像処理装置１０のよる判定を行う場合は、上述する各項目における上限値及び下限値、つまり「ｘ上限値」「ｘ下限値」「ｙ上限値」「ｙ下限値」「角度上限値」「角度下限値」「相関上限値」「相関下限値」を、自動的に、例えば実測値に対して±１０％のレンジで自動設定させて、これを判定条件とすることもできるが、図４に示すように、オペーレータが各項目の実測値の上下に各々ブランク表示される上限値及び下限値のボックスに所望の値を入力することにより、判定条件の範囲を設定するようにしてもよい。
【００２８】
第２表示態様を活用する第２の場合としては、画像処理装置１０の処理判定基準となる種々の画像処理パラメータの設定を行なうケースである。この場合は、第１、第２の表示領域１４ａ、１４ｂに夫々表示される登録画像（基準画像）、ＮＧ画像は、画像処理装置１０にて設定されている画像処理設定基準に対して、その基準を満たしている、つまり画像処理装置本体の処理の結果、「ＯＫ」であると判断されたＯＫ画像を画像処理装置１０に一旦保存記憶したＯＫ画像と、同様に、画像処理設定基準に対して、その基準を満たしていない、つまり画像処理装置本体の処理の結果、「ＮＧ」であると判断されたＮＧ画像を画像処理装置１０に一旦保存記憶したＮＧ画像の中からオペレータが最も適切と思われる画像を選択して、これらの画像を「ＯＫ画像」「ＮＧ画像」の基準画像として登録すると共に第１、第２の表示領域１４ａ、１４ｂに表示させる。また、別の方法としては、ＯＫ画像とＮＧ画像の識別を画像処理装置本体１０に委ねるのではなく、カメラ１１から取り込まれ且つ画像処理装置１０に記憶されている画像の中からオペレータが「ＯＫ画像」「ＮＧ画像」を直接的に選択して、これら基準画像として登録すると共に第１、第２の表示領域１４ａ、１４ｂに表示させるようにしてもよい。
【００２９】
上述のＮＧ画像を判断する画像処理装置１０内での判定基準は、上述した図４に例示のように、オペレータが画像処理装置１０に対して設定する種々の画像処理パラメータによって設定するものであるが、この設定方法としては、画像処理装置１０にオペレータが直接種々の画像処理パラメータを設定する方法と、上記実施例において基準画像として登録するためにユーザによって選択された画像に関する画像処理に関する判定結果を判定基準とする方法がある。なお、前述した第１表示態様（図２）において、第２表示領域１４ｂに表示されたＮＧ画像に基づいて画像処理装置１０にオペレータが直接種々の画像処理パラメータを設定する方法と、第１表示態様（図２）で第２表示領域１４ｂに表示するＮＧ画像を設定するために選択された画像に関する画像処理に関する判定結果を判定基準とする方法がある。
【００３０】
従来のディスプレイ表示では、画像処理装置が欠陥のある画像として自動で判断する際の判定基準となるパラメータの設定において、一種類の画像しか表示できかったため、オペレータは、登録画像のみを参照しながら、若しくは表示画像をＮＧ画像に切り換えてＮＧ画像のみを参照しながらパラメータの設定を行っていた。これに対して、この第２表示態様によれば、登録画像（基準画像）とＮＧ画像とが同時に表示されるため、オペレータは、図４にフローチャートで示すように、登録画像及びＮＧ画像を同時に確認しながら、ＮＧの状態を考慮してパラメータの設定ができ、適切なパラメータの設定が容易になる。また、基準画像として設定したＯＫ画像やＮＧ画像の画像処理に関するデータに基づいて判定基準となる数値をマニュアル入力又は自動入力することで、表示した登録画像（基準画像）のデータを流用した画像処理装置１０の判定条件を設定することができる。
【００３１】
図５、図６は基準画像の登録に関する手順を示すフローチャートである。オペレータは取込画像から適当な画像、例えば典型的なＯＫ画像を選択して登録することにより、この登録画像が上述した第１表示領域１４ａに表示される。
【００３２】
例えば、色抽出をする場合、従来であれば、登録画像のみを表示させてパラメータ等の設定を行っていたが、実際に検査を実施すると、照明等の外乱の影響や、検査対象物のばらつきにより、ＯＫとすべき被対象物をＮＧと誤検知してしまう場合があった。これに対して、第２表示態様（図３）によれば、色抽出の設定の際に、登録画像と共にＮＧ画像が表示されるため、オペレータが両画像を参照しながら最適なパラメータを設定することができ、高精度の色抽出処理を実現できる。
【００３３】
また、画像処理の計測領域を設定する場合、従来であれば、登録画像のみを表示させて計測領域の設定を行っていたため、被対象物のばらつき等により、ＯＫとすべき被対象物がＮＧと誤検知されてしまう場合があったが、第２表示態様によれば、検査領域の設定の際に、登録画像と同時にＮＧ画像を表示することで、オペレータは両画像を参照しながら最適な計測領域を設定することができる。
【００３４】
（３）第３表示態様（取込画像の時系列表示）（図７）
第３表示態様では、図７に示すように、最新画像を表示する第１表示領域１４ａの隣に、上下に例えば３つに分割された第２〜第４の表示領域１４ｂ〜１４ｄを有し、これら第２〜第４の表示領域１４ｂ〜１４ｄには、順次、一つ前の取込画像、二つ前の取込画像、三つ前の取込画像を表示することができる。なお、第１〜第４の表示領域１４ａ〜１４ｄの領域の大きさが同じであってもよい。
【００３５】
もちろん、時系列に表示する取込画像の枚数つまり第２〜第４の表示領域１４ｂ〜１４ｄの数は任意に設定できるようにすることが好ましい。また、どの時点の取込画像を表示するかも任意に設定可能であるのが好ましい。
【００３６】
この第３表示態様によれば、画像処理装置の検査を監視する場合にメリットがある。従来は、取込画像の最新画像のみがディスプレイ１３上に表示されるため、オペレータは、現在の検査状況しか確認できなかった。これに対して、本表示方法３では、時系列的に複数の取込画像が表示されるので、オペレータが様々な状況を把握しやすくなる。例えば、ＮＧが発生している時には、そのＮＧが突発的に発生したのか、徐々に発生したのか等を把握することができる。また、撮像のための照明が劣化したことによって、ＮＧが発生している場合は、取込画像の照度が徐々に暗くなっていることで把握することができる。
【００３７】
（４）第４表示態様（取込画像、ＮＧ画像、登録画像）（図８）
第４表示形態では、図８に示すように、取込画像を表示する第１表示領域１４ａの隣に、上下に２つに分割された第２、第３の表示領域１４ｂ、１４ｃを有し、これら第２、第３の表示領域１４ｂ、１４ｃには、ＮＧ画像、登録（基準）画像を表示することができる。第２表示領域１４ｂのＮＧ画像は、ＮＧが発生してもオペレータが表示の切換指示しない限り、この更新を行わないようにするのが好ましい。
【００３８】
画像処理の設定を行う際、設定内容を調整する際、検査ラインの状況を確認する際に、そのような状況で検査結果がＮＧになったかを確認できることが重要となる。従来のように取込画像だけを表示した場合、この取込画像の中にＮＧ画像も含まれていることから、ＮＧが発生しても、次の取込みによって表示画像が更新されてしまうことから、オペレータが気付いたときには既に異なる画像が表示されてしまっていた、という状況が発生したときには、オペレータはＮＧの発生状況などの確認ができない。
【００３９】
これに対して、第４表示態様によれば、ＮＧ画像の他に、オペレータが典型的なＯＫ画像であるとして登録した基準画像（登録画像）が表示されるため、図９のフローチャートから理解できるように、これらを対比することによりＮＧの原因や設定の適否を確認することが容易となる。また、第１表示領域１４ａに取込画像を表示するようにしてあるため、この取込画像は、取込み毎に更新されることから、オペレータは機器が正しく動作しているか否かを知ることができる。
【００４０】
（５）第５表示態様（ＮＧ画像の時系列表示）（図１０）
第５表示態様は、上述した第３表示態様（図７）と同様に、第１表示領域１４ａの隣に、上下に例えば３つに分割された第２〜第４の表示領域１４ｂ〜１４ｄを有している。これら第１〜第４の表示領域１４ａ〜１４ｄの領域の大きさは同じであってもよい。
【００４１】
この第４表示態様にあっては、第１〜第４の表示領域１４ａ〜１４ｄに、ＮＧ画像が時系列で表示される。すなわち、第１表示領域１４ａに最新のＮＧ画像が表示され、その右隣の第２〜第４の表示領域１４ｂ〜１４ｄには、順次、一つ前のＮＧ画像、二つ前のＮＧ画像、三つ前のＮＧ画像が表示される。もちろん、上記第３表示態様と同様に、表示するＮＧ画像の枚数や、どの時点のＮＧ画像を表示するかは設定により変更可能であるのが好ましい。
【００４２】
この表示方法４によれば、オペレータが、複数のＮＧ画像を一度に確認することができ、ＮＧが発生している状況に、何らかの傾向があるかどうかを判断することができる。また、ＮＧ画像を表示しながら現在の取込画像を確認することができる。
【００４３】
（６）第６表示態様（複数のカメラ毎の取込画像の時系列表示）（図１１）
第６表示態様では、画像表示部１４が縦横に複数に分割され、第１横列１４e〜第４横列１４ｈには、第１〜第４のカメラ１１からの時系列の取込画像が表示される。
【００４４】
すなわち、この第６表示態様にあっては、図１１に示すように画像表示部１４が４×４の１６分割され、各行に各カメラが割り振られ、各列に左側から順に、時系列の画像つまり最新画像、一つ前の画像、二つ前の画像、三つ前の画像が割り振られている。つまり、第１横列１４ｅには、左から右に向けて順に、第１カメラ１１からの最新の取込画像、一つ前の取込画像、二つ前の取込画像、三つ前の取込画像が表示される。第２横列１４ｆには第２カメラ１１からの取込画像が表示され、第３横列１４ｇには第３カメラ１１からの取込画像が表示され、第４横列１４ｈには第４カメラ１１からの取込画像が表示される。もちろん、表示する取込画像の枚数や、表示するカメラの選択は、適宜変更可能である。また、左から順に第１縦列に第１カメラ１１に関する取込画像を時系列に表示し、その右隣の第２縦列に第２カメラ１１に関する取込画像を時系列に表示し、その右隣の第３縦列に第３カメラ１１に関する取込画像を時系列に表示するようにしてもよい。
【００４５】
この第６表示態様にれば、上記第３表示態様と同様の効果を奏すると共に、更に、複数台のカメラ１１の取込画像が時系列に表示されるため、オペレータは、複数のカメラの検査状況を一度に確認することが可能になる。したがって、オペレータは、検査状況を確認するカメラを切り換える必要がなくなるので、効率的に検査状況を把握することができる。
【００４６】
第６表示態様の変形例として、図１２に付加した斜線は、ＮＧが発生した取込画像を強調表示していることを図面上で明らかにしている。強調表示の具体例として、画像が赤色の枠で囲まれる（ＯＫ画像は青色の枠で囲む）。強調表示の他の例としてはＮＧ画像を点滅表示させるようにしてもよい。これによれば、ＮＧが発生した取込画像を、瞬時に認識することができ、検査状況の監視を効率良く行うことができる。
【００４７】
なお、この変形例は、第６表示態様に限定的に適用されるのではなく、取込画像を複数枚表示する表示態様の全てに適用することができる。例えば、第３表示態様（図７）において、ＮＧが発生した画像を強調表示するようしてもよい。
【００４８】
（７）第７表示態様（取込画像とその処理画像）（図１３）
第７表示態様では、図１３に示すように、左右隣り合わの２つの表示領域１４ａ、１４ｂを有し、第１表示領域１４ａでは、取込画像をそのまま表示することを取込画像のスルー表示が行われ、第２表示領域１４ｂでは、取込画像を画像処理した後の処理画像表示が行われる。
【００４９】
従来は、オペレータが画像処理装置１０に対して表示の切換指示を出すことで、スルー表示モードと処理画像表示モードとを切り替えていたが、第６表示態様のように、左右隣り合わせで、取込画像と処理画像とが同時に表示されるため、従来のように表示モードを切り換える手間が必要でないため効率的である。また、オペレータは、取込画像と処理画像を直接見比べることができるため、所望の処理画像を得るための設定、例えば、画像処理に際して最適な前処理の設定が容易になる。
【００５０】
この第７表示態様の変形例として、図１４に示すように、第２表示領域１４ｂを上下に例えば３分割して、上から第１前処理パターン（前処理１）の処理画像、第２前処理パターン（前処理２）の処理画像、第３前処理パターン（前処理３）の処理画像を表示するようにしてもよい。この変形例によれば、前処理として複数の異なるフィルター処理パターンが設定可能である場合に、これらの前処理１〜３を施した後の画像を表示することにより、フィルタ処理後のそれぞれの画像をオペレータが確認し、好ましい画像に基づいてフィルター設定を行うことによって、最適の前処理を設定することが容易になる。この変形例においても、各画像を表示する位置や、大きさ、枚数は適宜変更可能であるのが好ましい。
【００５１】
以上、本実施の形態に係る表示方法について、それぞれ詳細に説明したが、続いて、これらの表示態様を設定する際の処理について、図１５に示すフローチャート及び図１６、図１７のダイアログの表示例に従って説明する。
【００５２】
オペレータは、設定画面のオプション設定を選択することで図１６に示すダイアログを開くことができる。このダイアログ（図１６）では、ディスプレイ１３に表示方法の設定では、「画面分割種別の選択」、「表示カメラの選択」、「表示ウィンドウ番号」、「表示画像選択」の項目が表示される。
【００５３】
図１５のステップＳ１０で「画面分割種別の選択」が選択すると、図１７に例示するように種々の画面分割例が表示され、オペレータは任意の画面分割例を選択することができる。
【００５４】
同様に、ステップＳ１１（図１５）で「表示カメラの選択」を選択することにより、どのカメラの画像を表示するかの設定を行うことができる。また、ステップＳ１２で「表示ウィンドウ番号」を選択することにより、どのウィンドウの表示を行うかの設定を行うことができる。また、ステップＳ１３で「表示画面選択」を選択することにより、どのような画像を表示するかの設定を行うことができる。例えば、使用するカメラがカラーカメラであれば、カラー画像、カラー２値化画像、カラーグレー画像を選択することができ、モノクロカメラであれば、グレー画像、グレー２値化画像を選択することができる。
【００５５】
以上、様々な表示態様を説明したが、上述した実施の形態によれば、画像処理装置のディスプレイ１３に表示される画像は、オペレータが状況に応じて適宜選択することが可能である。よって、画像処理装置における各種検査等の処理を行う際に、適切な設定が可能となり、また、処理状況を確実に把握できる等のメリットがある。
【００５６】
なお、例えば、複数の画像を表示する際、ＮＧ画像には、ＮＧが発生したことが一目で分かるように、「ＮＧ」の文字を画像上に重畳表示させたり、ＮＧが発生した計測領域の線の色を変更（例えば赤色等）して表示させたりするように構成しても良い。また、ＮＧ画像を含む画面全体の背景色を変更するように構成してもよい。このように、ＮＧ画像を強調して表示するようにすれば、オペレータが、瞬時にＮＧが発生したこと、及びその状況に把握することが可能になる。
【図面の簡単な説明】
【００５７】
【図１】実施例の画像処理装置の全体構成を概略的に示す図である。
【図２】第１表示態様を説明するための図である。
【図３】第２表示態様を説明するための図である。
【図４】表示する登録画面（基準画面）の画像処理の実測値に基づいて画像処理装置の判定条件を設定する具体例を説明するための図である。
【図５】登録（基準）画像とＮＧ画像とを同時に見ながらパラメータの設定を行う手順を示すフローチャートである。
【図６】基準画像の登録に関する手順を示すフローチャートである。
【図７】第３表示態様を説明するための図である。
【図８】第４表示態様を説明するための図である。
【図９】取込画像とＮＧ画像とを同時に表示する場合、ＮＧ画像の更新をオペレータの操作に委ねることにより、ＮＧの原因を確認して設定を変更する場合の手順を示すフローチャートである。
【図１０】第５表示態様を説明するための図である。
【図１１】第６表示態様を説明するための図である。
【図１２】第６表示態様の変形例を説明するための図である。
【図１３】第７表示態様を説明するための図である。
【図１４】第７表示態様の変形例を説明するための図である。
【図１５】表示態様の設定手順を説明するためのフローチャートである。
【図１６】表示態様を設定に用いられる選択画面の一例を示す図である。
【図１７】選択可能な画面分割のパターンを説明するための図である。
【図１８】従来の画像処理装置の全体構成を概略的に示す図である。
【図１９】従来の表示態様を説明するための図である。
【符号の説明】
【００５８】
１０ 画像処理装置
１１ カメラ
１２ ＰＣ本体
１３ ディスプレイ
【特許請求の範囲】
【請求項１】
ワークを撮像するためのカメラから取り込んだ取込画像を処理する画像処理装置本体に接続されたディスプレイの表示方法であって、
前記ディスプレイの画像表示部を少なくとも第１、第２の２つの表示領域に分割し、
前記第1表示領域に前記取込画像、前記画像処理装置本体が判定条件に合致していると判断したＯＫ画像、又はオペレータが設定したＯＫ画像のいずれか一つを登録画像として表示し、
前記第２表示領域に、前記画像処理装置本体が判定条件から逸脱していると判断したＮＧ画像を表示することを特徴とする画像処理装置のディスプレイ表示方法。
【請求項２】
前記第２表示領域に表示されるＮＧ画像が、前記第1表示領域に設定されるＯＫ画像を基準として画像処理装置本体に設定された判定条件から逸脱したものである、請求項１に記載の画像処理装置のディスプレイ表示方法。
【請求項３】
前記ＯＫ画像が、オペレータによって設定されるものである、請求項２に記載の画像処理装置のディスプレイ表示方法。
【請求項４】
ワークを撮像するためのカメラと、該カメラから取り込んだ画像を処理する画像処理装置本体と、該画像処理装置本体に接続されたディスプレイとを有し、前記カメラから取り込んだ取込画像と、予め登録した基準画像と対比することにより前記ワークの良否を判断する画像処理装置のディスプレイ表示方法であって、
前記ディスプレイの画像表示部を少なくとも第１、第２の２つの表示領域に分割し、
前記第１表示領域に、前記カメラから取り込んだ最新の取込画像又は前記画像処理装置本体が判定条件から逸脱していると判断したＮＧ画像を表示し、
前記第２表示領域に、過去の取込画像又はＮＧ画像を表示することを特徴とする画像処理装置のディスプレイ表示方法。
【請求項５】
前記第１表示領域に表示されるＮＧ画像が、前記第２表示領域に設定されるＮＧ画像を基準として画像処理装置本体に設定された判定条件から逸脱したものである、請求項４に記載の画像処理装置のディスプレイ表示方法。
【請求項６】
ワークを撮像するための複数のカメラと、これら複数のカメラから取り込んだ取込画像を処理する画像処理装置本体と、該画像処理装置本体に接続されたディスプレイとを有する画像処理装置のディスプレイ表示方法であって、
前記ディスプレイの画像表示部を縦横に複数の表示領域に分割し、
横列又は縦列毎に異なるカメラの取込画像を時系列に表示することを特徴とする画像処理装置のディスプレイ表示方法。
【請求項７】
ワークを撮像するためのカメラと、該カメラから取り込んだ取込画像を処理する画像処理装置本体と、該画像処理装置本体に接続されたディスプレイとを有する画像処理装置のディスプレイ表示方法であって、
前記ディスプレイの画像表示部を少なくとも第１、第２の２つの表示領域に分割し、
前記第１表示領域に、前記カメラから取り込んだ取込画像を表示し、
前記第２表示領域に、前記カメラから取り込んだ取込画像を画像処理した処理後の画像を表示することを特徴とする画像処理装置のディスプレイ表示方法。
【請求項８】
ワークを撮像するためのカメラと、該カメラから取り込んだ取込画像を処理する画像処理装置本体と、該画像処理装置本体に接続されたディスプレイとを有する画像処理装置のディスプレイ表示方法であって、
前記ディスプレイの画像表示部を少なくとも第１〜第３の３つの表示領域に分割し、
前記第１表示領域に、前記カメラから取り込んだ取込画像を表示し、
前記第２表示領域に、前記カメラから取り込んだ取込画像を第１の処理方法により画像処理した処理後の画像を表示し、
前記第３表示領域に、前記カメラから取り込んだ取込画像を前記第１の処理方法とは異なる第２の処理方法により画像処理した処理後の画像を表示することを特徴とする画像処理装置のディスプレイ表示方法。
【請求項１】
ワークを撮像するためのカメラから取り込んだ取込画像を処理する画像処理装置本体に接続されたディスプレイの表示方法であって、
前記ディスプレイの画像表示部を少なくとも第１、第２の２つの表示領域に分割し、
前記第1表示領域に前記取込画像、前記画像処理装置本体が判定条件に合致していると判断したＯＫ画像、又はオペレータが設定したＯＫ画像のいずれか一つを登録画像として表示し、
前記第２表示領域に、前記画像処理装置本体が判定条件から逸脱していると判断したＮＧ画像を表示することを特徴とする画像処理装置のディスプレイ表示方法。
【請求項２】
前記第２表示領域に表示されるＮＧ画像が、前記第1表示領域に設定されるＯＫ画像を基準として画像処理装置本体に設定された判定条件から逸脱したものである、請求項１に記載の画像処理装置のディスプレイ表示方法。
【請求項３】
前記ＯＫ画像が、オペレータによって設定されるものである、請求項２に記載の画像処理装置のディスプレイ表示方法。
【請求項４】
ワークを撮像するためのカメラと、該カメラから取り込んだ画像を処理する画像処理装置本体と、該画像処理装置本体に接続されたディスプレイとを有し、前記カメラから取り込んだ取込画像と、予め登録した基準画像と対比することにより前記ワークの良否を判断する画像処理装置のディスプレイ表示方法であって、
前記ディスプレイの画像表示部を少なくとも第１、第２の２つの表示領域に分割し、
前記第１表示領域に、前記カメラから取り込んだ最新の取込画像又は前記画像処理装置本体が判定条件から逸脱していると判断したＮＧ画像を表示し、
前記第２表示領域に、過去の取込画像又はＮＧ画像を表示することを特徴とする画像処理装置のディスプレイ表示方法。
【請求項５】
前記第１表示領域に表示されるＮＧ画像が、前記第２表示領域に設定されるＮＧ画像を基準として画像処理装置本体に設定された判定条件から逸脱したものである、請求項４に記載の画像処理装置のディスプレイ表示方法。
【請求項６】
ワークを撮像するための複数のカメラと、これら複数のカメラから取り込んだ取込画像を処理する画像処理装置本体と、該画像処理装置本体に接続されたディスプレイとを有する画像処理装置のディスプレイ表示方法であって、
前記ディスプレイの画像表示部を縦横に複数の表示領域に分割し、
横列又は縦列毎に異なるカメラの取込画像を時系列に表示することを特徴とする画像処理装置のディスプレイ表示方法。
【請求項７】
ワークを撮像するためのカメラと、該カメラから取り込んだ取込画像を処理する画像処理装置本体と、該画像処理装置本体に接続されたディスプレイとを有する画像処理装置のディスプレイ表示方法であって、
前記ディスプレイの画像表示部を少なくとも第１、第２の２つの表示領域に分割し、
前記第１表示領域に、前記カメラから取り込んだ取込画像を表示し、
前記第２表示領域に、前記カメラから取り込んだ取込画像を画像処理した処理後の画像を表示することを特徴とする画像処理装置のディスプレイ表示方法。
【請求項８】
ワークを撮像するためのカメラと、該カメラから取り込んだ取込画像を処理する画像処理装置本体と、該画像処理装置本体に接続されたディスプレイとを有する画像処理装置のディスプレイ表示方法であって、
前記ディスプレイの画像表示部を少なくとも第１〜第３の３つの表示領域に分割し、
前記第１表示領域に、前記カメラから取り込んだ取込画像を表示し、
前記第２表示領域に、前記カメラから取り込んだ取込画像を第１の処理方法により画像処理した処理後の画像を表示し、
前記第３表示領域に、前記カメラから取り込んだ取込画像を前記第１の処理方法とは異なる第２の処理方法により画像処理した処理後の画像を表示することを特徴とする画像処理装置のディスプレイ表示方法。
【図１】
【図２】
【図３】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図４】
【図２】
【図３】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図４】
【公開番号】特開２００６−７８３８１（Ｐ２００６−７８３８１Ａ）
【公開日】平成１８年３月２３日（２００６．３．２３）
【国際特許分類】
【出願番号】特願２００４−２６３７２０（Ｐ２００４−２６３７２０）
【出願日】平成１６年９月１０日（２００４．９．１０）
【出願人】（０００１２９２５３）株式会社キーエンス (681)
【Ｆターム（参考）】
【公開日】平成１８年３月２３日（２００６．３．２３）
【国際特許分類】
【出願日】平成１６年９月１０日（２００４．９．１０）
【出願人】（０００１２９２５３）株式会社キーエンス (681)
【Ｆターム（参考）】
[ Back to top ]