欠陥検出方法
【課題】検査対象となる部品が複雑な形状を有する部品であったり複数種類の欠陥を有する部品であったりしても、短時間で精度良く欠陥を検出することができる欠陥検出方法を提供すること。
【解決手段】熟練作業者による動作・視線の動きを計測する工程（Ｓ１０）と、熟練作業者の知見に基づいて作成される重要度マップを準備する工程（Ｓ２０）と、計測された動作・視線の動きを検査システムに模擬させながら連続的な複数の撮像画像（動画像）を取得する工程（Ｓ３０）と、取得された動画像に基づいて特徴量を算出する工程（Ｓ４０）と、重要度マップおよび算出された特徴量に基づいて欠陥候補部位が存在するか否かを検査する工程（Ｓ５０）と、欠陥候補部位についての動画像の再取得を行う工程（Ｓ６０）と、取得された動画像に基づいて特徴量を算出する工程（Ｓ７０）と、算出された特徴量に基づいて欠陥の定量値化を行う工程（Ｓ８０）とを含む方法。
【解決手段】熟練作業者による動作・視線の動きを計測する工程（Ｓ１０）と、熟練作業者の知見に基づいて作成される重要度マップを準備する工程（Ｓ２０）と、計測された動作・視線の動きを検査システムに模擬させながら連続的な複数の撮像画像（動画像）を取得する工程（Ｓ３０）と、取得された動画像に基づいて特徴量を算出する工程（Ｓ４０）と、重要度マップおよび算出された特徴量に基づいて欠陥候補部位が存在するか否かを検査する工程（Ｓ５０）と、欠陥候補部位についての動画像の再取得を行う工程（Ｓ６０）と、取得された動画像に基づいて特徴量を算出する工程（Ｓ７０）と、算出された特徴量に基づいて欠陥の定量値化を行う工程（Ｓ８０）とを含む方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば鋳造部品等の品質検査に用いられる欠陥検出方法に関する。
【背景技術】
【０００２】
従来、例えば鋳造部品や鍛造部品等の表面欠陥を検出するための技術として、検査対象となる部品（ワーク）の表面について取得した撮像画像に所定の画像処理等を施すことで欠陥を検出する等、撮像画像に基づいて欠陥を検出する方法がある（例えば、特許文献１参照。）。特許文献１には、ワークの撮像画像に対して、ガウス平均化処理等の前処理を行った後、サンプル部品を撮像することにより得られる参照用画像を用いる統計的な処理や比較処理等の欠陥検出処理を行う方法が開示されている。
【０００３】
特許文献１に開示されている方法は、ワークの形状が単純で、ある特定の種類に欠陥が限定される場合においては有効であると考えられる。しかし、ワークが複雑形状物であり、複数種類の欠陥を有する場合においては、特許文献１を含む従来の技術では、次のような理由から対応が困難であると考えられる。
【０００４】
即ち、従来の技術においては、欠陥の検査に用いられる撮像画像が、単一方向（所定の方向）から撮像された静止画像である。このため、従来の技術によれば、撮像画像から得られる情報量が少なく、例えば微小な欠陥等の、欠陥部分以外の部分との判別が難しい欠陥の検出が困難である。このように欠陥の検出が困難な場合としては、例えば、鋳造部品の鋳肌面等といった粗材面において、表面の粗さ（凹凸度合い）の範囲内にある微細なキズが欠陥として存在する場合がある。かかる場合、粗材面の凹凸と欠陥とが混同され、欠陥の検出が困難となる。
【０００５】
また、従来の技術においては、ワークの表面における欠陥が存在する部位および良品部位（欠陥が存在する部位以外の部位）に対して一律的な検査が行われることから、処理に膨大な時間がかかるという問題がある。即ち、従来の技術によれば、ワークの全面について一律的な検査が行われることから、欠陥の分類に必要な情報について、本来は余分な情報である良品部位に関する情報までも取得されることになる。このため、従来の技術では、所定の検査工程における限られた作業時間内でのワークの全面についての検査（欠陥の分類）の実現は困難である。
【０００６】
以上のような理由から、複雑な形状を有する鋳造部品等については、人による目視検査によって品質が保証されているのが現状である。しかし、人による目視検査では、作業者の熟練度等によって信頼性にバラツキが生じることや人員の確保等の問題がある。そこで、例えば特許文献２に開示されているように、熟練作業者の動作をロボットに教示する技術がある。かかる技術を、鋳造部品等の品質検査のための欠陥の検出に応用することが考えられる。
【０００７】
しかし、鋳造部品等の品質検査の検査員としての熟練作業者の所作には、ワークを動かすための腕等の動作に加え、ワークに存在する欠陥を検出するための視線の動きも含まれる。さらに、検査員としての熟練作業者の動作や視線の動きには、熟練作業者の経験等に基づく意図が反映される。このため、検査員としての熟練作業者の作業を、従来から存在する熟練作業者の動作をロボットに教示する技術によって実現することは困難である。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００４−１７０３７４号公報
【特許文献２】特開平６−２５０７３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
本発明は、上記のような問題点に鑑みてなされたものであり、その解決しようとする課題は、検査対象となる部品が複雑な形状を有する部品であったり複数種類の欠陥を有する部品であったりしても、短時間で精度良く欠陥を検出することができる欠陥検出方法を提供することにある。
【課題を解決するための手段】
【００１０】
本発明の解決しようとする課題は以上の如くであり、次にこの課題を解決するための手段を説明する。
【００１１】
即ち、請求項１においては、検査対象部品の表面の欠陥を検出するための欠陥検出方法であって、熟練作業者による検査対象部品の表面の欠陥の目視検査にともなう検査対象部品を動かすための検査動作および検査対象部品に対する視線の動きを計測する作業計測工程と、熟練作業者が知見として有する検査対象部品における欠陥が発生する部位、発生する欠陥の種類、欠陥の重要度を含む内容に基づいて作成される情報群である重要度マップを準備する工程と、前記作業計測工程にて計測された前記検査動作および前記視線の動きを、検査対象部品の表面を撮像するための撮像手段および検査対象部品と前記撮像手段との相対的な位置関係を変化させる移動手段を含む構成に模擬させながら、前記撮像手段によって検査対象部品の表面についての前記視線の動きに沿う複数の視点から撮像される連続的な複数の撮像画像を取得する第一の画像取得工程と、該第一の画像取得工程にて取得された前記連続的な複数の撮像画像に基づいて、検査対象部品の表面に存在する欠陥の特徴を示す量である特徴量を算出する第一の特徴量算出工程と、前記重要度マップおよび前記第一の特徴量算出工程にて算出された前記特徴量に基づいて、検査対象部品の表面における前記連続的な複数の撮像画像に対応する領域に欠陥に該当する可能性を有する部位である欠陥候補部位が存在するか否かを検査する第一の検査工程と、該第一の検査工程により前記欠陥候補部位が存在するとの検査結果が得られた場合、前記移動手段によって前記撮像手段を前記連続的な複数の撮像画像に対応する領域に移動させ、前記撮像手段によって前記連続的な複数の撮像画像に対応する領域について前記重要度マップに基づいて欠陥の内容に応じて変化させられる複数の視点から撮像される複数の撮像画像を取得する第二の画像取得工程と、該第二の画像取得工程にて取得された前記複数の撮像画像に基づいて、前記特徴量を算出する第二の特徴量算出工程と、前記第二の特徴量算出工程にて算出された前記特徴量に基づいて、前記欠陥候補部位についての欠陥の定量値化を行う第二の検査工程と、を含むものである。
【００１２】
請求項２においては、前記第一の画像取得工程は、前記複数の視点のそれぞれにおいて、角度が異なる三方向から前記連続的な複数の撮像画像を撮像し、かつ、前記第二の画像取得工程は、前記複数の視点のそれぞれにおいて、角度が異なる三方向から前記連続的な複数の撮像画像を撮像するものである。
【００１３】
請求項３においては、前記第一の画像取得工程は、前記重要度マップによって規定される前記連続的な複数の撮像画像に対応する領域の重要度に応じて、該領域において角度が異なる三方向から撮像する前記連続的な複数の撮像画像の解像度を変更するものである。
【００１４】
請求項４においては、前記第一の特徴量算出工程および前記第二の特徴量算出工程は、良品の表面について、前記領域の重要度に応じて解像度を変更して撮像した撮像画像を、該撮像画像の解像度に応じた複数の単位ブロックに分割し、該単位ブロックの撮像画像を形成する画素の数量である次元数ｈの次元を有し、かつ、各画素の輝度値をスカラーとする前記良品についての特徴量であるｈ次元の良品ベクトルを算出する工程と、検査対象部品の表面について、前記領域の重要度に応じて解像度を変更して撮像した撮像画像を、該撮像画像の解像度に応じた複数の単位ブロックに分割し、該単位ブロックの撮像画像を形成する画素の数量である次元数ｈの次元を有し、かつ、各画素の輝度値をスカラーとする前記検査対象部品についての特徴量であるｈ次元の入力ベクトルを算出する工程と、を備え、前記第一の検査工程は、前記良品ベクトルと前記入力ベクトルを比較して、前記検査対象部品の欠陥の有無を判断する工程、を備えるものである。
【００１５】
請求項５においては、前記良品ベクトルを算出する工程は、主成分分析の手法によって、前記ｈ次元の良品ベクトルを、三次元の良品ベクトルとして次元数を削減して算出し、前記入力ベクトルを算出する工程は、主成分分析の手法によって、前記ｈ次元の入力ベクトルを、三次元の入力ベクトルとして次元数を削減して算出するものである。
【発明の効果】
【００１６】
本発明の効果として、以下に示すような効果を奏する。
即ち、請求項１に記載の発明によれば、検査対象となる部品が複雑な形状を有する部品であったり複数種類の欠陥を有する部品であったりしても、短時間で精度良く欠陥を検出することができる。
【００１７】
請求項２に記載の発明によれば、欠陥部位の形状に左右されることなく、精度良く欠陥を検出することができる。
【００１８】
請求項３に記載の発明によれば、欠陥部位の形状に左右されることなく、短時間で精度良く欠陥を検出することができる。
【００１９】
請求項４に記載の発明によれば、欠陥部位の形状に左右されることなく、より精度良く欠陥を検出することができる。
【００２０】
請求項５に記載の発明によれば、欠陥部位の形状に左右されることなく、より短時間で、かつ、より精度良く欠陥を検出することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の一実施形態に係る欠陥検出方法を示すフロー図。
【図２】検査員による検査作業の計測風景を示す図。
【図３】検査員による検査作業における視野映像の一例を示す図。
【図４】本発明の一実施形態に係る検査システムの構成を示す図。
【図５】ワークの被検査面における視点経路を示す図。
【図６】検査員による検査作業における指差点と注視点との関係性についての説明図。
【図７】本発明の一実施形態に係る検査処理の一例を示すフロー図。
【図８】同じく良品の特徴量を算出するための処理の一例を示すフロー図。
【図９】本発明の一実施形態に係る改良した検査システムの構成を示す図。
【図１０】欠陥の形状の差異による欠陥部位の輝度の差異を説明する模式図、（ａ）急峻な凹形状を有する欠陥の場合、（ｂ）緩やかな凹形状を有する欠陥（角度α１）の場合。
【図１１】緩やかな凹形状を有する欠陥の姿勢の差異による欠陥部位の輝度の変化を説明する模式図、（ａ）角度α２の場合、（ｂ）角度α３の場合。
【図１２】本発明の一実施形態に係る改良した欠陥検出方法を示すフロー図。
【図１３】取得した画像の態様を説明する模式図、（ａ）三方向から取得した動画像を示す模式図、（ｂ）ブロック分割した検査画像を示す模式図、（ｃ）単位ブロックの検査画像を示す模式図。
【図１４】良品ベクトルの算出方法を示すフロー図。
【図１５】良品ベクトル（入力ベクトル）を示す模式図、（ａ）ｈ次元の場合、（ｂ）三次元の場合。
【図１６】入力ベクトルの算出方法を示すフロー図。
【図１７】入力ベクトルの再算出方法を示すフロー図。
【図１８】本発明の一実施形態に係る改良した欠陥検出方法における特徴量（角度θ）を示す模式図。
【発明を実施するための形態】
【００２２】
本発明に係る欠陥検出方法は、検査対象部品においてどこの部位にどのような特徴の欠陥が発生するか等の、日々の生産活動の中で培われた熟練作業者（熟練検査員）の知識を利用するとともに、熟練作業者の認知に基づく検査メカニズムを機械化する（機械に模擬させる）ことで、機械による動作の過程で得られる複数視点の画像（動画像）に基づいて欠陥の検査を行うものである。ここで、熟練作業者とは、検査対象部品の検査ライン等において検査対象部品について検出すべき欠陥を十分な速さ・確からしさをもって漏れなく検出することができる技術・知見を有する者である。
そして、本発明に係る欠陥検出方法は、複数視点の画像（動画像）に基づく欠陥の検査として、欠陥候補の部位を検出するための検査と、検出した欠陥候補の部位についての詳細な検査とによる二段階の検査（２ｓｔｅｐ検査）を行うことで、欠陥の検出精度の向上や検査時間の短縮化を図ろうとするものである。以下、本発明の実施の形態を説明する。
【００２３】
本実施形態に係る欠陥検出方法は、例えば自動車エンジンを構成するシリンダヘッド等の鋳造部品を検査対象部品（以下「ワーク」という。）とし、ワークの表面の欠陥（以下単に「欠陥」という。）を検出するためのものである。
【００２４】
本実施形態に係る欠陥検出方法では、まず、ワークの欠陥の検査において、熟練作業者は検査作業としてどのようにワークを動かしながら（どのような動作で）、ワークに対してどのような視線（視点）の軌跡をえがきながら（どのような視線（視点）の動きで）検査をしているかが計測される。つまり、ワークの検査における熟練作業者の検査作業の定量値化が行われる。
【００２５】
したがって、図１に示すように、本実施形態に係る欠陥検出方法においては、まず、熟練作業者の動作（検査動作）および視線の動きの計測が行われる（Ｓ１０）。つまり、図２に示すように、熟練作業者である検査員１によるワーク２の欠陥の検査において、検査員１の動作および視線の動きが計測される。
【００２６】
検査員１の動作の計測は、例えば公知のモーションキャプチャを行うための三次元位置計測装置が用いられて行われる。モーションキャプチャ技術においては、例えば人の身体における所定の箇所にデータ取得のための複数のマーカが取り付けられる。そして、マーカが取り付けられた人の動作がカメラによって撮影されることで、人の動作にともなうマーカの三次元座標における位置（動き）が計測される。これにより、人の動作が三次元座標におけるマーカの位置データとして取得される。
【００２７】
ワーク２の欠陥の検査における検査員１の動作としては、ワーク２を動かすための腕および手首の動きと、動かすワーク２の目視にともなう頭の動きとが主要な動きとなる。また、ここで計測される検査員１の動作には、検査員１により動かされるワーク２の動きが含まれる。
【００２８】
そこで、本実施形態では、モーションキャプチャにより、検査員１の動作として、検査員１の頭、両肘、両手首、およびワーク２の位置が計測される。つまり、図２に示すように、検査員１の頭、両肘、および両手首の各部位、ならびにワーク２における所定の部位に、データ取得のためのマーカ３が取り付けられ、モーションキャプチャが行われる。これにより、検査員１の動作が、三次元座標における各マーカ３の位置データとして取得される。なお、検査員１の動作を計測するための技術は、検査員１およびワーク２の各部位の三次元座標における位置を計測することができるものであれば特に限定されない。
【００２９】
また、検査員１の視線の動きの計測は、例えば公知のアイマークレコーダ（視線計測装置）が用いられて行われる。アイマークレコーダは、人の視野に相当する映像を撮影し、その視野映像上に、人の眼球画像から解析された視線の位置（アイマーク）を合成して表示・記録する装置である。つまり、アイマークレコーダにより、人の視線の動きが視野映像上のアイマークの位置データとして取得される。
【００３０】
そこで、本実施形態では、図２に示すように、検査員１の視野画像を取得するためのカメラ（視野カメラ）と検査員１の眼球画像を取得するためのカメラ（アイカメラ）とを有するカメラユニット４が、検査員１の眼の位置に合わせて装着される。そして、図３に示すように、カメラユニット４の視野カメラにより取得される視野映像５上における検査員１のアイマーク６が、検査員１のワーク２に対する注視点として、カメラユニット４のアイカメラにより取得される眼球画像に基づいて計測される。これにより、検査員１の視線の動きが、検査員１の視野画像上におけるアイマーク６の位置データとして取得される。なお、検査員１の視線の動きを計測するための技術としては、検査員１のワーク２に対する注視点の位置を計測することができるものであれば特に限定されない。
【００３１】
このように、本実施形態においては、検査員１の動作および視線の動きの計測が行われる本ステップＳ１０が、検査員１によるワーク２の欠陥の目視検査にともなうワーク２を動かすための検査動作およびワーク２に対する視線の動きを計測する作業計測工程に相当する。
【００３２】
本工程で計測された検査員１の動作および視線の動きは、本実施形態に係る欠陥検出方法を行うための検査システム（以下「本検査システム」という。）において、各部の動きに反映される。つまり、本工程により、本検査システムの動かし方のベースが取得される。また、本工程における検査員１の動作および視線の動きの計測は、複数人の検査員１について行われてもよい。この場合、例えば複数人分の計測データが平均化されることで、検査員１による一連の動作および視線の動きとして計測される。
【００３３】
図１に示すように、本実施形態に係る欠陥検出方法においては、次に、重要度マップの作成が行われる（Ｓ２０）。ここで、重要度マップとは、欠陥がどこの部位に発生するか（欠陥の発生部位）、どのような形状（特徴）の欠陥が発生するか（欠陥の種類）、欠陥のランク（優先順位）、欠陥の補修の可否等の、ワーク２で生じる欠陥についての内容が、所定のマップ（表）としてまとめられた情報群である。重要度マップを構成する欠陥についての内容は、熟練作業者としての検査員１が有する知見（事前知識）に基づく。
【００３４】
即ち、ワーク２においては、様々な部位で様々な種類の欠陥が発生し、欠陥の種類等に応じたランク等も存在する。こうしたワーク２で生じる欠陥についての内容は、熟練作業者である検査員１が知見として有する。したがって、重要度マップの作成に際しては、検査員１へのヒヤリング（インタビュー）により、検査員１が知見として有する、欠陥の発生部位等のワーク２で生じる欠陥についての内容が取得される。つまり、重要度マップは、検査員１が日々の生産活動の中で培った知見に基づく検査員１の検査意図が形式化されたものである。
【００３５】
このように、本実施形態においては、重要度マップの作成が行われる本ステップＳ２０が、検査員１が知見として有するワーク２における欠陥が発生する部位、発生する欠陥の種類、欠陥の重要度を含む内容に基づいて作成される情報群である重要度マップを準備する工程に相当する。
【００３６】
本工程で準備される重要度マップは、ワーク２の製造環境や製造条件等により逐次更新される。また、本工程における重要度マップの作成は、複数人の検査員１の知見に基づいて行われてもよい。この場合、例えば複数人分の知見が集約されることで、代表的な一つの重要度マップが作成される。
【００３７】
ここで、本検査システムについて説明する。図４に示すように、本検査システムは、ワーク２を移動させるためのロボット７と、ワーク２の表面を撮像するためのカメラ８とを備える。また、本検査システムにおいては、カメラ８によるワーク２の表面の撮像に際してワーク２の表面を照らす照明９が備えられる。
【００３８】
ロボット７は、ベース部７ａと、ベース部７ａ上に設けられるアーム部７ｂとを有し、様々な位置および角度に姿勢制御されるフレキシブルなロボットアーム（多関節ロボット）として構成される。ロボット７は、アーム部７ｂの先端部に設けられる支持台７ｃ上にワーク２を支持する。支持台７ｃの支持面には、ワーク２を位置決めするための位置決めピン７ｄが設けられている。つまり、ワーク２は、ロボット７において支持台７ｃ上に位置決めピン７ｄによって位置決めされた状態で支持され、ロボット７の動作によってロボット７の可動範囲において三次元方向に移動および姿勢変更可能とされる。
【００３９】
カメラ８は、ワーク２の表面を撮像するための撮像手段であり、例えばＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の撮像素子により構成される。カメラ８は、本検査システムが備える支持体１０により支持される。カメラ８は、ロボット７に支持されるワーク２の表面を撮像することができる所定の姿勢で支持される。なお、カメラ８とともに本検査システムの光学系（撮像系）を構成する照明９は、カメラ８と同様に支持体１０により、ロボット７に支持されるワーク２の表面を照らすことができる所定の姿勢で支持される。このように、本検査システムにおいては、光学系を構成するカメラ８および照明９は固定された状態で設けられる。
【００４０】
以上のようにロボット７およびカメラ８を含む構成としての本検査システムにおいて、前述したように計測されたワーク２の欠陥の検査における検査員１の動作および視線の動きが模擬させられる。即ち、本検査システムにおいては、ロボット７の動作により移動するワーク２と撮像視点が定位置となるカメラ８との相対的な位置関係の変化において、あらかじめ計測された検査員１の動作および視線の動きが模擬される。
【００４１】
本検査システムによるワーク２の検査は、ワーク２に対する所定の方向ごとに行われる。つまり、ワーク２がその外形形状において検出対象である欠陥が存在する複数の面を有する場合、ワーク２が有する面ごとに欠陥の検査が行われる。そこで、本検査システムにより、ワーク２において検査対象となるある所定の面（以下「被検査面２ａ」とする。）の検査が行われる場合について説明する。
【００４２】
図５に示すように、ワーク２の被検査面２ａにおいては、ワーク２の形状等に基づく複数の検査ポイント１１（破線で囲まれる部分参照）が存在する。検査ポイント１１は、被検査面２ａにおいて所定の種類の欠陥が生じやすい部分（領域）であり、検査員１が被検査面２ａの検査において注視するポイントである。したがって、被検査面２ａに存在する検査ポイント１１は、重要度マップの内容に含まれる。
【００４３】
検査員１は、被検査面２ａの検査において、被検査面２ａに存在する全ての検査ポイント１１を検査するため、少なくとも全ての検査ポイント１１を網羅するように視線を動かす。そして、検査員１の視線の動向としては、被検査面２ａにおいて効率的に全ての検査ポイント１１を通過する所定の経路に沿うものとなる。つまり、図５に示すように、検査員１は、被検査面２ａの検査において、全ての検査ポイント１１を通過する所定の視線経路１２に沿って視線を動かす。
【００４４】
そこで、本検査システムにおいては、被検査面２ａに対するカメラ８の撮像視点が検査員１による視線経路１２に沿うように、ロボット７によってワーク２が動かされる。つまり、ロボット７の動作によって移動するカメラ８の撮像視点により、視線経路１２に沿う軌跡がえがかれる。視線経路１２に沿うカメラ８の撮像視点の移動経路の設定に際しては、重要度マップの情報が適宜参照される。
【００４５】
本実施形態では、カメラ８のピント面の変動が少なくなるように、ワーク２（被検査面２ａ）とカメラ８との距離（相対的な位置）が略一定とされる。これは、熟練作業者である検査員１による被検査面２ａの検査にともなう動作においては、検査員１の頭と被検査面２ａとの距離（相対的な位置）がほぼ変動しないという測定結果が得られていることに基づく。
【００４６】
そして、本検査システムにおいては、被検査面２ａの検査において、視線経路１２の一部に、例えば、図５に示すように、被検査面２ａの横方向（長手方向、図５における左右方向）に沿う経路が含まれる場合、ロボット７の動作による被検査面２ａの横方向についてのワーク２の平行移動の範囲（撮像視点の移動範囲）は、計測された検査員１の動作のうち、検査員１の頭の動き（左右の首振り角度）から算出される。また、被検査面２ａにおける視線経路１２に沿う撮像視点の動きは、あらかじめ計測された検査員１の視線の動きに基づいて生成される。
【００４７】
検査員１の検査作業の定量値化を図るためにあらかじめ計測された検査員１の動作および視線の動きは、次のような手順で本検査システムにおける機械検査フローに変換され、検査員１の認知に基づく検査メカニズムの機械化が図られる。即ち、まず、あらかじめ計測された検査員１の動作および視線の動きに基づいて、検査員１の検査作業および意図（検査意図）を反映した検査フローが生成される。
【００４８】
検査員１の検査フローの生成においては、はじめに、あらかじめ計測された検査員１の動作および視線の動きについてのデータが解析されることで、検査員１の動作および視線の動きの特徴が、所定の量（数値）として抽出される。これにより、検査員１の動作および視線の動きの傾向が定量値化される。次に、検査員１の動作および視線の動きのフローである検査作業フローが生成される。そして、重要度マップに基づいて検査員１の意図のフローである判断フローが生成される。ここで生成される判断フローは、検査員１の認知に基づく検査メカニズムに基づくフローとなる。
【００４９】
そして、検査員１の検査フローとして生成された検査作業フローおよび判断フローが、本検査システムにおける機械検査フローに変換される。つまり、検査作業フローに基づき、本検査システムの各部の動きについてのフローである動作フローが生成される。また、判断フローに基づき、本検査システムの画像処理についてのフローである画像処理フローが生成される。このように本検査システムにおける動作フローおよび画像処理フローが生成されることで、あらかじめ計測された検査員１の動作および視線の動きの、本検査システムにおける機械検査フローへの変換（検査メカニズムの機械化）が完了する。
【００５０】
なお、本検査システムにおいては、ロボット７の動作によってワーク２とカメラ８との相対的な位置関係を変化させる構成が採用されているが、このワーク２とカメラ８との位置関係を変化させるための構成は特に限定されない。つまり、本検査システムは、ワーク２とカメラ８との相対的な位置関係を変化させる移動手段としてロボット７を備えるが、かかる移動手段としてカメラ８側を移動させる構成を備えるものであってもよい。
【００５１】
以上のような本検査システムにおいて、あらかじめ準備された重要度マップが用いられ、ワーク２の欠陥を検出するための検査（以下単に「ワーク２の検査」という。）が行われる。ワーク２の検査は、ワーク２を移動させるロボット７とカメラ８とを含む構成により取得される複数の視点からの撮像画像（動画像）に基づき、かかる動画像が処理されることにより算出される特徴量が用いられて行われる。
【００５２】
そして、ワーク２の検査としては、ワーク２（被検査面２ａ）の任意の部位について動画像の取得および特徴量の算出を行うことで、欠陥に該当する可能性を有する欠陥候補の部位（欠陥として疑わしい部位、以下「欠陥候補部位」という。）を検出する一段階目の検査と、欠陥候補部位についての動画像の取得および特徴量の算出を行うことによる詳細な検査である二段階目の検査とが行われる。
【００５３】
したがって、ワーク２の検査においては、図１に示すように、一段階目の検査として、任意の部位についての動画像の取得（Ｓ３０）、取得した動画像の処理による特徴量の算出（Ｓ４０）、および算出した特徴量に基づく欠陥候補部位の有無の検査（Ｓ５０）が行われる。そして、二段階目の検査として、欠陥候補部位についての動画像の取得（Ｓ６０）、取得した動画像の処理による特徴量の算出（Ｓ７０）、および算出した特徴量に基づく欠陥の定量値化（Ｓ８０）が行われる。これらステップＳ３０〜Ｓ８０を含むワーク２の検査の方法の一例である具体的な一連の処理（以下「本検査処理例」という。）について、図７に示すフロー図に従って説明する。
【００５４】
図７に示すように、本検査処理例においては、まず、検査動画像の取込みが行われる（Ｓ１１０）。つまり、本検査システムにおいて検査動画像が取得され、取得された検査動画像が処理対象としてシステム内に取り込まれる。検査動画像は、ワーク２の被検査面２ａにおいて検査員１による視線経路１２に沿って撮像視点を移動させるカメラ８により、視線経路１２の任意の部位（区間）において所定の時間間隔で撮像される複数の視点からの連続的な複数の撮像画像（動画像）である。
【００５５】
即ち、前述したように、本検査システムにおいては、被検査面２ａに対するカメラ８の撮像視点は、ロボット７の動作によって移動する。ここで、カメラ８は、その撮像視点を視線経路１２に沿って移動させながら、所定の時間間隔で撮像画像を連続的に撮像する。そこで、このようなカメラ８によって撮像される連続的な複数の撮像画像のうちの一部、つまり視線経路１２の任意の部位（区間）で取得される複数の撮像画像が、本検査処理例において検査動画像とされる。
【００５６】
本検査処理例では、検査動画像として数十フレームの検査画像（撮像画像）が取得される。本検査処理例において検査動画像として取得される検査画像のフレーム数は、検査員１による次のような検査作業の内容に基づく。
【００５７】
図３に示すように、検査員１によるワーク２の被検査面２ａの検査においては、検査員１は、視線経路１２に沿って注視点１６（アイマーク６参照）を動かすとともに、指差しを行う。つまり、検査員１は、被検査面２ａの検査において、検査員１の指差しによって指される位置である指差点１３を視線経路１２に沿って移動させながら、注視点１６を視線経路１２に沿って移動させる。
【００５８】
そして、検査員１による検査作業の傾向としては、視線経路１２において、指差点１３よりも前（進行方向の前）に、注視点１６が位置する。つまり、検査員１による検査作業においては、視線経路１２に沿って移動する注視点１６に対して、指差点１３が視線経路１２に沿って後を追う態様となる。言い換えると、検査員１は、視線経路１２に沿って指差点１３を移動させるとともに、指差点１３よりも視線経路１２に沿う前側を見ながら検査を行う。このような検査員１の動作態様において、検査員１が欠陥候補部位を見つけた場合、その欠陥候補部位に注視点１６が滞留し、指差点１３が注視点１６に追い付く。
【００５９】
したがって、検査員１による検査作業における指差点１３と注視点１６との関係性から、検査員１は、視線経路１２における指差点１３と注視点１６との間の部分である間隔部分１２ａ（破線部分参照）を参照しながら検査を行っているといえる。つまり、検査員１は、検査作業において、視線経路１２の間隔部分１２ａを、欠陥候補部位を検出する際の参照部分としている。
【００６０】
図６（ａ）に、検査員１による指差点１３と注視点１６との関係の一計測例を示す。図６（ａ）に示すグラフにおいて、横軸は時間（撮像画像のフレーム数）を表し、縦軸は指差点１３および注視点１６の変位を表す。また、図６（ａ）において、グラフＧ１が指差点１３についてのグラフであり、グラフＧ２が注視点１６についてのグラフである。
【００６１】
図６（ａ）のグラフからわかるように、指差点１３の位置は、注視点１６の位置に対して全般的に視線経路１２における進行方向の後側（図６（ａ）のグラフにおいて下側）に位置する。そして、本計測例においては、図６（ａ）に示すように、所定の変位ｄ１における指差点１３と注視点１６とのフレーム数の差ΔＴが数十フレームである。この数十フレームという値は、図６（ｂ）に示すように、本検査システムにおいてカメラ８による連続的な検査画像１４の撮像が数十回／秒で行われる場合において数百ミリ秒の時間に相当する。
【００６２】
そこで、本検査処理例においては、任意の部位について連続的に取得される数十フレーム分の検査画像１４が、検査員１による欠陥候補部位の検出に際しての参照部分に対応する動画像である検査動画像として取得される。つまり、本検査処理例においては、数十フレーム分の検査画像１４が、指差点１３と注視点１６との位置関係に基づき、検査員１が欠陥候補部位があるか否かを判断している情報量に相当する動画像として取得される。ただし、検査動画像として取得される連続的な撮像画像のフレーム数（時間間隔）は、被検査面２ａにおけるカメラ８の撮像視点の移動速度や、カメラ８による撮像画像の取得速度（回／秒）等に応じて適宜設定される。
【００６３】
このように、本検査処理例において、検査動画像の取込みが行われる本ステップＳ１１０が、ワーク２の検査において複数の視点からの撮像画像（動画像）の取得が行われるステップＳ３０に対応する（図１参照）。
【００６４】
そして、本実施形態においては、複数の視点からの撮像画像（動画像）の取得が行われる本ステップＳ３０が、上記ステップＳ１０にて計測された検査動作および視線の動きを、カメラ８およびロボット７を含む構成に模擬させながら、カメラ８によってワーク２の表面（被検査面２ａ）についての視線の動き（視線経路１２）に沿う複数の視点から撮像される連続的な複数の撮像画像（検査動画像）を取得する第一の画像取得工程に相当する。
【００６５】
本検査処理例において取得された検査動画像は、動画像処理による特徴量の算出に用いられる。つまり、本検査処理例においては、本検査システムに取り込まれた検査動画像の動画像処理が行われることにより、検査動画像についての特徴量が算出される。
【００６６】
ここで、動画像についての特徴量とは、動画像に対応する部位の面積、円形度、周囲長、直径、扁平度等の幾何学的な特徴（どのような形状か）を示す量であり、動画像データから所定の画像処理により抽出される。ワーク２の検査においては、動画像についての特徴量が、ワーク２の表面に存在する欠陥の特徴を示す量として用いられる。
【００６７】
本検査処理例においては、動画像についての特徴量は、画像処理として一般化ハフ変換（ＧＨＴ；Ｇｅｎｅｒａｌｉｚｅｄ Ｈｏｕｇｈ Ｔｒａｎｓｆｏｒｍ）およびＣＨＬＡＣ特徴（ＣＨＬＡＣ；Ｃｕｂｉｃ Ｈｉｇｈｅｒ−ｏｒｄｅｒ Ｌｏｃａｌ Ａｕｔｏ Ｃｏｒｒｅｌａｔｉｏｎ、立体高次局所自己相関特徴）が用いられて算出される。
【００６８】
一般化ハフ変換とは、直線や円等のパラメータで表現できる図形の検出等に用いられるハフ変換（Ｈｏｕｇｈ Ｔｒａｎｓｆｏｒｍ）においてパラメータの取り方を変えることで、ハフ変換が任意の図形に適用できるように拡張されたアルゴリズムである。一般化ハフ変換によれば、所定の画像中に存在する任意の検出したい形状部分の位置・大きさ・角度等が検出される。
【００６９】
また、ＣＨＬＡＣ特徴とは、高次局所自己相関特徴が時間軸方向へ拡張されたものであり、時空間中の近傍点の相関を抽出する特徴量である。ＣＨＬＡＣ特徴は、その好ましい性質として、積分特徴であることからデータ内の対象における位置によらないという位置不変性と、対象における全体の値が個別の値の和になるという対象に対する加法性とを有する。ＣＨＬＡＣ特徴は、連続的な複数の撮像画像（動画像）について画像間の関係性（つながり）を示す特徴量であることから、動画像における三次元形状の認識に用いられる。
【００７０】
したがって、図７に示すように、本検査処理例においては、検査動画像として取り込まれた数十フレームの各検査画像１４について一般化ハフ変換（ＧＨＴ）が行われることで（Ｓ１２０）、各検査画像１４の基準特徴量の算出が行われる（Ｓ１３０）。ここで、検査画像についての基準特徴量とは、検査動画像についての特徴量を生成するための各検査画像１４について算出される値であり、一般化ハフ変換において設定されるパラメータによって検出されるべき欠陥の種類（形状等）に応じて算出される。
【００７１】
そして、各検査画像１４について算出された基準特徴量から、ＣＨＬＡＣ特徴として、数十フレームの検査画像１４としての検査動画像についての特徴量が算出される（Ｓ１４０）。つまり、本検査システムにおいて取り込まれた数十フレーム分のフレームデータ（動画像データ）に基づき、ＣＨＬＡＣ特徴が用いられ、検査動画像の特徴量が抽出される。ここでは、検査動画像の特徴量として複数の特徴量が算出される。複数の特徴量によれば、例えば時間軸が用いられることで三次元における所定の空間が定義される。
【００７２】
このように、本検査処理例において、一般化ハフ変換およびＣＨＬＡＣ特徴によって検査動画像についての特徴量の算出が行われるステップＳ１２０〜Ｓ１４０が、ワーク２の検査において動画像処理による特徴量の算出が行われるステップＳ４０に対応する（図１参照）。
【００７３】
そして、本実施形態においては、動画像処理による特徴量の算出が行われるステップＳ４０が、上記ステップＳ３０にて取得された検査動画像（数十フレーム）に基づいて、ワーク２の表面に存在する欠陥の特徴を示す量である特徴量を算出する第一の特徴量算出工程に相当する。
【００７４】
本検査処理例において算出された検査動画像の特徴量は、検査動画像において欠陥候補部位が存在するか否かの判断に用いられる。かかる判断においては、良品（ワーク２と同様の部品であって欠陥が存在しないことが既知の部品）について得られる動画像（以下「良品動画像」という。）の特徴量が、検査動画像の特徴量に対する比較対象（判断基準）として用いられる。つまり、良品動画像の特徴量に基づいて欠陥候補部位についての所定の閾値が設定され、検査動画像の特徴量または特徴量に基づく値（閾値に対応する値）が閾値以上であるか否かにより、欠陥候補部位があるか否かの判断が行われる。本検査処理例において、良品動画像の特徴量は、次のようにして求められる。
【００７５】
本検査処理例における良品動画像の特徴量を求めるための一連の処理（以下「良品処理」という。）について、図８に示すフロー図を用いて説明する。良品動画像の特徴量は、検査動画像の特徴量と同様の手法により用いられる。つまり、検査動画像の特徴量を求めるための処理において、検査動画像の代わりに良品動画像（ワーク２の代わりに良品）が処理対象となることで、良品動画像の特徴量が求められる。また、良品処理においては、精度向上等の観点から、複数（Ｎ個）の良品についてのデータが取得され、それらの平均が求められる。
【００７６】
即ち、図８に示すように、良品処理においては、良品動画像として数十フレームの良品画像（撮像画像）が取得される（Ｓ３１０）。ここで取得される良品動画像は、良品において、検査動画像が取得されるワーク２の被検査面２ａにおける視線経路１２に沿う部位に対応する部位について取得される、視線経路１２に沿って撮像視点を移動させるカメラ８により所定の時間間隔で撮像される複数の視点からの連続的な複数の撮像画像（動画像）である。
【００７７】
次に、取得された良品動画像の動画像処理が行われることにより、良品動画像についての特徴量が算出される。つまり、良品処理においては、良品動画像として取り込まれた数十フレームの各良品画像について一般化ハフ変換（ＧＨＴ）が行われることで（Ｓ３２０）、各良品画像の基準特徴量の算出が行われる（Ｓ３３０）。そして、各良品画像について算出された基準特徴量から、ＣＨＬＡＣ特徴を用いた基準空間の生成が行われる（Ｓ３４０）。ここで、基準空間とは、前述したようにＣＨＬＡＣ特徴として算出される良品動画像についての複数の特徴量によって定義される三次元における所定の空間である。このような基準空間を生成するための処理（Ｓ３１０〜Ｓ３４０）が、Ｎ個の良品（良品動画像）について行われる（Ｓ３５０）。
【００７８】
そして、Ｎ個の良品動画像について取得されたデータに基づき、Ｎ個の良品動画像についての平均特徴量が算出され（Ｓ３６０）、Ｎ個の良品動画像についての平均基準空間の生成が行われる（Ｓ３７０）。ここで行われる特徴量および基準空間についての平均処理としては、例えば特徴量の種類等に応じて、単純平均（相加平均）のほか適宜の平均処理が用いられる。
【００７９】
このように良品動画像の特徴量として生成された平均基準空間に基づいて、欠陥候補部位についての所定の閾値が設定される。ここで設定される欠陥候補部位についての閾値は、前述したように算出された検査動画像の特徴量に対する比較対象（判断基準）である。
【００８０】
即ち、前記のとおり検査動画像の特徴量として算出される複数の特徴量が、同じく複数の特徴量によって定義される平均基準空間と比較されることで、欠陥候補部位があるか否かの判断が行われる。したがって、欠陥候補部位についての閾値としては、検査動画像の特徴量として算出される各特徴量等に対応する値が設定される。そして、検査動画像の特徴量について、少なくともある特徴量（または特徴量に基づく値）が、対応する閾値以上である場合、欠陥候補部位があると判断される。
【００８１】
概念的には、複数の特徴量が用いられて定義される三次元における所定の空間において、欠陥候補部位に該当しないＯＫの領域として平均基準空間が規定される。そして、検査動画像の特徴量として算出される複数の特徴量が所定の空間にプロットされることで、平均基準空間内であればＯＫ（欠陥候補部位なし）、平均基準空間外であればＮＧ（欠陥候補部位あり）という判断が行われる。
【００８２】
一方、検査動画像の特徴量が閾値以上でない場合、検査動画像の取込み（Ｓ１１０）、特徴量の算出（Ｓ１２０〜Ｓ１４０）、および欠陥候補部位についての判断（Ｓ１５０）が行われる。つまり、これら欠陥候補部位を検出するための一連の処理（Ｓ１１０〜Ｓ１５０）が、欠陥候補部位が検出されるまで行われる。
【００８３】
ここで、ステップＳ１１０においては、視線経路１２に沿って連続的に取得された前回の数十フレーム分の検査画像１４に対して、視線経路１２に沿う次の数十フレーム分の検査画像１４、あるいは前回に取得された数十フレームと一部が重複する数十フレーム（同じフレーム数）分の検査画像１４が順次取り込まれる。このような特徴量に基づく欠陥候補部位の判断においては、例えば欠陥候補部位についての閾値の設定等に際して、重要度マップの情報が適宜参照される。
【００８４】
このように、本検査処理例において、検査動画像の特徴量が閾値以上であるか否かの判断、つまり欠陥候補部位があるか否かの判断が行われるステップＳ１５０が、ワーク２の検査において欠陥候補部位の有無の検査が行われるステップＳ５０に対応する（図１参照）。
【００８５】
そして、本実施形態においては、欠陥候補部位の有無の検査が行われるステップＳ５０が、重要度マップおよび上記ステップＳ４０にて算出された特徴量に基づいて、検査動画像に対応する領域に欠陥候補部位が存在するか否かを検査する第一の検査工程に相当する。
【００８６】
以上のように、一段階目の検査として欠陥候補部位の検出が行われた後、二段階目の検査として、欠陥候補部位についての詳細な検査が行われる。即ち、本検査処理例における上記ステップＳ１５０にて、欠陥候補部位があると判断された場合、欠陥候補部位についての詳細検査のため、カメラ８の撮像視点が欠陥候補部位に移動する（Ｓ２１０）。
【００８７】
したがって、本検査システムでは、欠陥候補部位についての詳細検査に際し、ロボット７の動作により視線経路１２に沿って移動するカメラ８の撮像視点が、欠陥候補部位があると判断された検査動画像（数十フレーム）に対応する領域に戻るように移動する。つまり、欠陥候補部位についての詳細検査に際しては、欠陥候補部位があるとの判断が前述した本検査システムにおける動作フローにフィードバックされ、カメラ８の撮像視点が欠陥候補部位の位置まで戻る。
【００８８】
そして、カメラ８の撮像視点が欠陥候補部位まで戻った状態で、再び検査動画像の取込みが行われる（Ｓ２２０）。ここで取得される検査動画像は、欠陥候補部位についての詳細検査のためのものであるため、例えば欠陥候補部位を検出するために取得される検査動画像（上記ステップＳ１１０参照）よりも多くの検査画像（フレーム数）による検査動画像が取得される。
【００８９】
また、再度の検査動画像（数十フレーム）の取得においては、本検査システムにおいて、カメラ８による撮像角度やズーム（焦点距離）等の変更によって撮像視点が適宜変更され、欠陥候補部位を検出するための検査動画像の取得との比較において多様な撮像画像が取得される。そして、このようなカメラ８の撮像視点の変更には、重要度マップの情報が参照される。つまり、重要度マップに含まれる欠陥の種類に応じて、カメラ８の撮像視点が変更される。
【００９０】
このように、本検査処理例において、撮像視点の欠陥候補部位への移動、および再度の検査動画像の取得が行われるステップＳ２１０およびＳ２２０が、ワーク２の検査において欠陥候補部位についての複数の視点からの撮像画像の再取得が行われるステップＳ６０に対応する（図１参照）。
【００９１】
そして、本実施形態においては、欠陥候補部位についての複数の視点からの撮像画像の再取得が行われるステップＳ６０が、上記ステップＳ５０により欠陥候補部位が存在するとの検査結果が得られた場合、ロボット７によってカメラ８（の撮像視点）を検査動画像に対応する領域に移動させ、カメラ８によって検査動画像に対応する領域について重要度マップに基づいて欠陥の内容に応じて変化させられる複数の視点から撮像される複数の撮像画像（検査動画像）を取得する第二の画像取得工程に相当する。
【００９２】
本検査処理例において再度取得された検査動画像は、欠陥候補部位の検出のための検査動画像と同様にして、動画像処理による特徴量の算出に用いられる。即ち、本検査処理例においては、検査動画像として取り込まれた数十フレームの各検査画像について一般化ハフ変換（ＧＨＴ）が行われることで（Ｓ２３０）、各検査画像の基準特徴量の算出が行われる（Ｓ２４０）。そして、各検査画像について算出された基準特徴量から、ＣＨＬＡＣ特徴を用いた特徴量の算出が行われる（Ｓ２５０）。
【００９３】
このように、本検査処理例において、一般化ハフ変換およびＣＨＬＡＣ特徴によって再度取得された検査動画像についての特徴量の算出が行われるステップＳ２３０〜Ｓ２５０が、ワーク２の検査において動画像処理による特徴量の算出が行われるステップＳ７０に対応する（図１参照）。
【００９４】
そして、本実施形態においては、動画像処理による特徴量の算出が行われるステップＳ７０が、上記ステップＳ６０にて取得された検査動画像に基づいて、特徴量を算出する第二の特徴量算出工程に相当する。
【００９５】
図７に示すように、本検査処理例においては、検査動画像について算出された特徴量に基づいて、欠陥領域の表示（欠陥識別）が行われる（Ｓ２６０）。欠陥領域の表示としては、検査動画像の特徴量に基づいて、欠陥候補部位として検出された欠陥について、その領域指定や大きさや種類等の欠陥の内容が所定の数値として表される。つまり、検査動画像の特徴量が用いられ、数値の大きさ等により欠陥の識別（検出）を行うための欠陥の定量値化が図られる。このような欠陥領域の表示においては、重要度マップの情報が適宜参照される。
【００９６】
このように、本検査処理例において、欠陥領域の表示（欠陥識別）が行われるステップＳ２６０が、ワーク２の検査において欠陥の定量化が行われるステップＳ８０に対応する（図１参照）。
【００９７】
そして、本実施形態においては、欠陥の定量化が行われるステップＳ８０が、上記ステップＳ７０にて算出された検査動画像の特徴量に基づいて、欠陥候補部位についての欠陥の定量値化を行う第二の検査工程に相当する。
【００９８】
以上のような一連の流れによる欠陥の検査が、ワーク２が有する複数の被検査面２ａごとに、検査動画像を取得するカメラ８の撮像視点が少なくとも視線経路１２に沿って一通り移動するまで行われる。そして、ロボット７によってワーク２が動かされることで、ワーク２の全面についての検査が実施される。
【００９９】
以上のように、本検査処理例を用いて説明した本実施形態に係るワーク２の検査は、検査員１により実際に行われる二段階の検査（２ｓｔｅｐ検査）を本検査システムによって模擬したものとなる。即ち、本検査処理例において、撮像視点の欠陥候補部位への移動（戻り動作）（Ｓ２１０）は、検査員１による検査作業における注視点１６の戻り（欠陥候補部位への戻り）を再現したものである。また、本検査処理例において、撮像視点が欠陥候補部位に戻って行われる詳細な検査（Ｓ２２０〜Ｓ２６０）は、検査員１による検査作業において検査員１が欠陥候補部位に注視点を滞留させ、かかる部位についての詳細な検査を行う動作を再現したものである。
【０１００】
本実施形態の欠陥検出方法によれば、検査対象となる部品が複雑な形状を有する部品であったり複数種類の欠陥を有する部品であったりしても、短時間で精度良く欠陥を検出することができる。
【０１０１】
即ち、本実施形態の欠陥検出方法においては、欠陥を検出するための情報を得るための画像処理が、従来のように単一方向の静止画像ではなく複数視点の画像（動画像）について行われる。このため、例えば微小な欠陥等の、欠陥部分以外の部分との判別が難しい欠陥であっても精度良く検出することができる。
【０１０２】
また、本実施形態の欠陥検出方法によれば、欠陥候補部位を検出するための検査と欠陥候補部位についての詳細な検査とによる二段階の検査が行われることから、ワーク２が有する欠陥に応じて、欠陥候補部位の検査に重点的に時間をかけることができる。これにより、欠陥の検出に際して効率的な検査を行うことができ、時間の短縮化を図ることができる。
【０１０３】
そして、本実施形態の欠陥検出方法は、本検査システムにおいて、熟練作業者である検査員１の検査のメカニズム（どのような情報を、どのように取得し、どのように判断しているか）に基づいて検査員１の作業中の意図と動作を同期させることで、検査員１の作業を実現させたものである。これにより、複雑形状部品が有する欠陥や複数種類の欠陥の検出が可能となる。
【０１０４】
以上のような本実施形態に係る欠陥検出方法が用いられることにより、部品の品質向上およびコストの低減を図ることができる。具体的には、本実施形態に係る欠陥検出方法においては、欠陥の定量値化が行われるため、定量値によって部品の製造条件と欠陥不良との紐付けを行うことができ、良品条件の適正化を図ることができる。これにより、部品の不良率を低減させることができ、部品の外観品質の向上を図ることができる。また、本実施形態の欠陥検出方法によれば、鋳造部品等の目視検査工程の省人化を図ることができるので、労務費の観点からコストの低減を図ることができる。
【０１０５】
以上の実施形態により説明した本発明に係る欠陥検出方法は、例えば自動車エンジンを構成するシリンダヘッド、シリンダブロック、クランクシャフト、ギア等の各種の鋳造部品や鍛造部品等を対象として、キズ、欠肉、湯じわ、割れ等の、目視検査が行われる欠陥の検出に適用することができる。
【０１０６】
次に、本発明に係る前述の欠陥検出方法をさらに改良した実施態様について説明する。
これまでに説明した本発明に係る欠陥検出方法では、欠陥部位の形状によっては欠陥を検出することができない場合があった。
【０１０７】
図１０（ａ）に示す如く、欠陥部位の形状が急峻な凹形状である場合には、被検査面２ａに対してどの方向から照明光を照射しても、欠陥部位の底部には照明光が到達しにくいため、欠陥部位の輝度が周囲の輝度に比して低くなる。このため、欠陥部位の輝度の差異によって欠陥を検出することが可能である。
【０１０８】
一方、図１０（ｂ）に示す如く、欠陥部位の形状が緩やかな凹形状である場合には、被検査面２ａに対して例えば垂直方向の照明光を照射すると、欠陥部位の輝度は周囲の輝度に対してほとんど差異が生じないため、輝度の差異によって欠陥を検出することが困難である。
【０１０９】
そこで、欠陥部位の形状が緩やかな凹形状である場合には、図１１（ａ）（ｂ）に示す如く、被検査面２ａに対して垂直でない角度を有する方向から照明光を照射すれば、欠陥部位の外周縁部に影を生じさせることができ、これにより周囲の輝度に対して輝度が低くなる部位を形成できる。このため、複数の方向から照明光を照射しつつ、その照明光の照射方向と同じ視野方向から検査動画像を取得すれば、緩やかな凹形状を有する欠陥であっても、輝度の差異によって欠陥部位の有無や欠陥部位の範囲を検出することが可能になる。
【０１１０】
そこで、本発明の改良した実施態様では、被検査面２ａに対して角度の異なる三方向から照明光を照射しつつ、その照明光の照射方向と同じ視野方向から検査動画像を取得することによって、欠陥部位の形状に左右されることなく、確実に欠陥を検出することができるように改良がなされている。
以下、本発明の欠陥検出方法を改良した実施態様について、具体的に説明する。
【０１１１】
まず、本発明に係る欠陥検出方法を改良した実施態様における検査システムについて説明する。
図９に示すように、本実施態様における検査システムは、改良前の実施態様と同様に、ワーク２を移動させるためのロボット７と、ワーク２の表面を撮像するためのカメラ１８と、カメラ１８によるワーク２の表面の撮像に際してワーク２の表面を照らす照明１９を備えている。またカメラ１８は、本検査システムが備える支持体１０により支持されている。
そして、本発明に係る欠陥検出方法を改良した実施態様では、カメラ１８と照明１９の位置関係や照明１９の種類が、改良前の実施態様に比して異なっている点に特徴を有している。
【０１１２】
本実施態様における照明１９の発光部位はリング状の態様を有しており、カメラ１８は、リング状の照明１９に形成された中空部を通してワーク２の被検査面２ａを視野に捉えることができる。そして、このような構成により、ワーク２に対して、照明１９によって、常にカメラ１８の視野方向に照明光を照射することができる構成としている。
【０１１３】
また、ワーク２の姿勢は、ロボット７によって自在に変化させることができるため、ワーク２に対して、カメラ１８の視野方向に照明光を照射しつつ、ワーク２の姿勢（即ち、カメラ１８の視野方向に対する角度）を様々に変化させながら、カメラ１８によって検査動画像を撮像することができる構成としている。
【０１１４】
尚、本実施態様では、カメラ１８が支持体１０に固定される態様の検査システムを例示しているが、本発明に係る欠陥検出方法に適用する検査システムの構成をこれに限定するものではなく、例えば、カメラ１８が支持体１０に対して、自在に姿勢を変更できるように支持される態様とし、ワーク２とカメラ１８の両方の姿勢を自在に変更できる検査システムの構成とすることも可能である。
【０１１５】
次に、改良した欠陥検出方法について、図１２〜図１７を用いて説明する。
図１２に示す如く、本実施態様に係る改良した欠陥検出方法では、改良前の欠陥検出方法と同様に、まず、熟練作業員の動作・視線の動きの計測を行って（Ｓ４１０）、その計測結果に基づいて、重要度マップを予め作成しておく（Ｓ４２０）。
【０１１６】
次に、前述した本実施態様の検査システムにより、角度を変更した三方向の視点（視野方向）からの検査動画像を取得する（Ｓ４３０）。
本実施態様では、ロボット７によって、被検査面２ａが水平方向と成す角度が、角度α１（＝０°、図１０（ｂ）参照）、α２（図１１（ａ）参照）、α３（図１１（ｂ）参照）となるように、ワーク２の姿勢を変化させることによって、カメラ１８および照明１９によって、三方向の異なる角度（視野方向）の検査動画像を取得する構成としている。
【０１１７】
図１３（ａ）に示す如く、本実施態様のように、三方向の異なる角度の検査動画像を取得すると、改良前の欠陥検出方法において取得する検査動画像（図６（ｂ）参照）に比して約３倍のデータ量の検査動画像を取得することになる。このため、改良した欠陥検出方法では、改良前の欠陥検出方法に比して、データ処理に要する時間が長期化してしまうという問題が生じる。
【０１１８】
そこで、本実施態様では、データ処理量の増加を抑制する手法を採用している。
具体的には、重要度マップにおいて設定される撮像エリア（即ち、検査ポイント１１・１１・・・（図５参照））の重要度に応じて、当該検査ポイント１１における検査動画像を取得する際の解像度を変更するようにしている。
つまり、重要度が高い検査ポイント１１に対しては、高解像度の検査動画像を取得し、重要度が低い検査ポイント１１に対しては、低解像度の検査動画像を取得するようにしている。
これにより、三方向の異なる角度の検査動画像を取得した場合のデータ量を大幅に縮小することが可能になり、改良前の欠陥検出方法に比して、データ処理に要する時間が長期化してしまうという問題を解消することができる。
【０１１９】
即ち、本発明に係る欠陥検出方法を改良した本実施態様は、第一の画像取得工程たる（Ｓ４３０）においては、重要度マップによって規定される連続的な複数の撮像画像である検査画像１４・１４・・・に対応する領域たる検査ポイント１１の重要度に応じて、該検査ポイント１１において角度が異なる三方向から撮像する検査画像１４・１４・・・の解像度を変更するものである。
これにより、欠陥部位の形状に左右されることなく、短時間で精度良く欠陥を検出することができる。
【０１２０】
次に、図１２に示す如く、三方向の視点（視野方向）から取得した検査動画像を画像処理して、特徴点を算出する（Ｓ４４０）。そして、算出した特徴点に基づいて、欠陥候補部位の有無を検査（判断）する（Ｓ４５０）。
本実施態様では、検査動画像から入力ベクトルＩＮを特徴点として算出している。そして、良品の動画像から良品ベクトルＯＫを算出し、良品ベクトルＯＫに対してなす入力ベクトルＩＮの空間角度が、予め定めた閾値以内であるか否かを検出することによって、欠陥候補部位の有無を検査（判断）している。
【０１２１】
ここで、三方向の視点（視野方向）から取得した検査動画像の画像処理方法（（即ち、入力ベクトルＩＮ、良品ベクトルＯＫの算出方法）以下、複数視点画像処理方法と記載する）について説明する。複数視点画像処理方法（Ｓ４４０）は、図１４および図１６に示すように、良品ベクトルＯＫを算出する工程（Ｓ４４１）と、入力ベクトルＩＮを算出する工程（Ｓ４４２）から構成される。
【０１２２】
まず、良品ベクトルＯＫの算出する工程（Ｓ４４１）について、図１３〜図１５を用いて説明する。
図１４に示す如く、本検査システムが備えるデータ処理装置（図示せず）に、三方向の視点（視野方向）から取得した良品動画像を取り込み（Ｓ４４１−１）、検査ポイント１１の重要度（即ち、解像度）に応じた分割数で、良品動画像をブロックに分割する（Ｓ４４１−２）。図１３（ｂ）に示す如く、ある検査ポイント１１における検査画像１４を、その検査ポイント１１の重要度に応じて、例えば、格子状に９個（３×３）のブロックに分割する。あるいは、これよりも重要度が高い検査画像１４に対しては、さらに多くの数のブロック（例えば、２５個（５×５）のブロック）に分割する。
【０１２３】
尚、本実施態様では、ブロックを格子状に９個（３×３）や２５個（５×５）に分割する態様を例示しているが、本発明に係る欠陥検出方法における、ブロック分割の態様をこれに限定するものではなく、格子状以外の分割態様としたり、９個や２５個以外の分割数としたりすることが可能である。
【０１２４】
そして、図１３（ｃ）に示すように、この単位ブロック（例えば、ｉ＝１のブロック）が、Ｍ行Ｎ列（即ち、Ｍ×Ｎ個）の画素からなる良品画像となるように画像の解像度やブロックの分割数を設定する。尚ここで、Ｍ×Ｎ＝ｈと規定する。そして、図１５（ａ）に示すように、ｈ個の画素のそれぞれの輝度値（濃度値）をスカラーとして、ｈ次元の良品ベクトルＯＫを生成する。
【０１２５】
ここで、ｈ次元の良品ベクトルＯＫをそのままデータ処理して算出しようとすると、データ処理量が膨大となってしまい、良品ベクトルＯＫの算出に多大な時間を要してしまうという問題が生じる。
そこで、本実施態様では、ｈ次元の良品ベクトルＯＫに対して主成分分析の手法を適用することにより、良品ベクトルＯＫの次元数を削減して、その後、データ処理を行うようにしている。
【０１２６】
具体的には、図１５（ａ）に示すようなｈ次元の良品ベクトルＯＫに対して主成分分析の手法を適用し、良品ベクトルＯＫを、図１５（ｂ）で示すような第一主成分、第二主成分、第三主成分の各固有ベクトルの和として三次元で表すように変換し、データ処理量の削減を図っている（Ｓ４４１−３）。
ここでいう主成分分析の手法とは、多くの量的変数が存在する場合に、それらの間の相関構造を考慮して、低い次元の合成変数（主成分）に変換し、データが有している情報をより解釈しやすくするための手法である。
【０１２７】
そして、図１４に示す如く、このブロック分割（Ｓ４４１−２）〜主成分分析（Ｓ４４１−３）までの処理を、三方向のデータ（即ち、角度α１〜α３で取得した各検査画像１４・１４・・・）全てについて行うまで、継続してデータ処理を行う（Ｓ４４１−４）。また、算出した良品ベクトルＯＫの個数が予め定めておいた個数Ｎに達するまで、（Ｓ４４１−１）〜（Ｓ４４１−４）のデータ処理を継続して行う（Ｓ４４１−５）。
【０１２８】
そして、最終的に、良品ベクトルＯＫがＮ個算出されると、このＮ個の良品ベクトルＯＫの平均ベクトルを算出し（Ｓ４４１−６）、この平均ベクトルを基準とするベクトル空間を形成する（Ｓ４４１−７）。
以上により、良品ベクトルＯＫに係る特徴量の算出（即ち、良品ベクトルＯＫの算出する工程（Ｓ４４１））を完了する。
【０１２９】
次に、入力ベクトルＩＮを算出する工程（Ｓ４４２）について、図１３〜図１８を用いて説明する。
図１６に示す如く、本検査システムが備えるデータ処理装置（図示せず）に、三方向の視点（視野方向）から取得した検査動画像を取り込み（Ｓ４４２−１）、検査ポイント１１の重要度（即ち、解像度）に応じた分割数で、良品動画像をブロックに分割（図１３（ｂ）参照）する（Ｓ４４２−２）。
【０１３０】
これにより、良品ベクトルＯＫと同様、図１３（ｃ）に示すように、この単位ブロック（例えば、ｉ＝１のブロック）が、Ｍ行Ｎ列（即ち、Ｍ×Ｎ個）の画素からなる検査画像となるように画像の解像度やブロックの分割数を設定する。尚ここで、Ｍ×Ｎ＝ｈと規定する。そして、ｈ個の画素のそれぞれの輝度値（濃度値）をスカラーとして、図１５（ａ）に示すようなｈ次元の入力ベクトルＩＮを生成する。
【０１３１】
ここで、ｈ次元の入力ベクトルＩＮに対しても主成分分析の手法を適用し（図１５（ａ）（ｂ）参照）、入力ベクトルＩＮを、第一主成分、第二主成分、第三主成分の各固有ベクトルの和として三次元で表すように変換し、データ処理量の削減を図っている（Ｓ４４２−３）。
【０１３２】
即ち、本発明に係る欠陥検出方法を改良した本実施態様は、良品についての特徴量である良品ベクトルＯＫを算出する工程（Ｓ４４１）は、主成分分析の手法によって、ｈ次元の良品ベクトルＯＫを、三次元の良品ベクトルＯＫとして次元数を削減して算出し（Ｓ４４１−３）、検査対象部品たるワーク２についての特徴量である入力ベクトルＩＮを算出する工程（Ｓ４４２）は、主成分分析の手法によって、ｈ次元の入力ベクトルＩＮを、三次元の入力ベクトルＩＮとして次元数を削減して算出するものである（Ｓ４４２−３）。
これにより、欠陥部位の形状に左右されることなく、より短時間で、かつ、より精度良く欠陥を検出することができる。
【０１３３】
次に、図１８に示す如く、予め算出しておいた良品ベクトルＯＫの良品範囲における平均ベクトルに対する入力ベクトルＩＮがなす角度θを算出する（Ｓ４４２−４）。
この角度は、以下に示す数式１によって算出される。ここで、Ｋは分割ブロック数、ｉはブロック番号（１〜（Ｋ−１）の整数）を示している。
【０１３４】
【数１】
【０１３５】
そして、このブロック分割（Ｓ４４２−２）〜平均ベクトルとの角度θの算出（Ｓ４４２−４）までの処理を、三方向のデータ（即ち、角度α１〜α３で取得した各検査画像１４・１４・・・）全てについて行うまで、継続してデータ処理を行う（Ｓ４４２−５）。そして、三方向のデータ全てについて、角度θの算出が完了した後に、算出した三方向の角度θの和を算出する（Ｓ４４２−６）。
以上により、入力ベクトルＩＮに係る特徴量の算出（即ち、入力ベクトルＩＮの算出する工程（Ｓ４４２））を完了する。
【０１３６】
そして、図１２および図１６に示す如く、三方向の角度θの和が予め定めておいた閾値の範囲内にあるか否かによって、欠陥候補部位の有無を検査（判断）する（Ｓ４５０）。
【０１３７】
ここで、三方向の角度θの和が予め定めておいた閾値の範囲外である（即ち、欠陥候補部位が存在する）場合には、その欠陥候補部位に対して、複数の視点からの検査動画像の再取得を行う（Ｓ４６０）。尚、第二の画像取得工程たる（Ｓ４６０）においても、重要度マップによって規定される欠陥候補部位に対応する検査ポイント１１の重要度に応じて、該検査ポイント１１において角度が異なる三方向から撮像する検査画像１４・１４・・・の解像度を変更しつつ、検査動画像を取得している。
そして、入力ベクトルＩＮを再度算出する工程（Ｓ４７０）に移行する。
【０１３８】
次に、図１７に示す如く、入力ベクトルＩＮを再度算出する工程（Ｓ４７０）では、本検査システムが備えるデータ処理装置（図示せず）に、（Ｓ４６０）において三方向の視点（視野方向）から再度取得した検査動画像を取り込み（Ｓ４７０−１）、検査ポイント１１の重要度（即ち、解像度）に応じた分割数で、良品動画像をブロックに分割（図１３（ｂ）参照）する（Ｓ４７０−２）。
【０１３９】
これにより、図１５（ａ）に示すようなｈ次元の入力ベクトルＩＮを再度生成し、このｈ次元の入力ベクトルＩＮに対して、再度主成分分析の手法を適用し（図１５（ａ）（ｂ）参照）、入力ベクトルＩＮを、第一主成分、第二主成分、第三主成分の各固有ベクトルの和として三次元で表すように変換し、データ処理量の削減を図っている（Ｓ４７０−３）。
【０１４０】
次に、図１８に示す如く、予め算出しておいた良品ベクトルＯＫの良品範囲における平均ベクトルに対する入力ベクトルＩＮがなす角度θを再度算出する（Ｓ４７０−４）。
【０１４１】
そして、このブロック分割（Ｓ４７０−２）〜平均ベクトルとの角度θの算出（Ｓ４７０−４）までの処理を、三方向のデータ（即ち、角度α１〜α３で取得した各検査画像１４・１４・・・）全てについて行うまで、継続してデータ処理を行う（Ｓ４７０−５）。そして、三方向のデータ全てについて、角度θの算出が完了した後に、算出した三方向の角度θの和を再度算出する（Ｓ４７０−６）。
以上により、入力ベクトルＩＮに係る特徴量の再算出（即ち、入力ベクトルＩＮを再度算出する工程（Ｓ４７０））を完了する。
【０１４２】
そして、図１２および図１７に示す如く、再度算出した三方向の角度θの和によって、検出した欠陥を定量値化する（Ｓ４８０）。
以上により、改良した本発明に係る欠陥検出方法による一連の処理を完了する。
【０１４３】
即ち、本発明に係る欠陥検出方法を改良した本実施態様は、第一の画像取得工程たる（Ｓ４３０）においては、複数の視点たる各検査ポイント１１・１１・・・のそれぞれにおいて、角度が異なる三方向から（即ち、ワーク２の姿勢が角度α１〜α３である状態で）連続的な複数の撮像画像たる検査画像１４・１４・・・を撮像し、かつ、第二の画像取得工程たる（Ｓ４６０）においては、複数の視点たる各検査ポイント１１・１１・・・のそれぞれにおいて、角度が異なる三方向から（即ち、ワーク２の姿勢が角度α１〜α３である状態で）連続的な複数の撮像画像たる検査画像１４・１４・・・を撮像するものである。
これにより、欠陥部位の形状に左右されることなく、精度良く欠陥を検出することができる。
【０１４４】
また、本発明に係る欠陥検出方法を改良した本実施態様は、第一の特徴量算出工程である（Ｓ４４０）および第二の特徴量算出工程である（Ｓ４７０）においては、良品の表面について、検査ポイント１１の重要度に応じて解像度を変更して撮像した検査画像１４を、該検査画像１４の解像度に応じた複数の単位ブロックに分割し、該単位ブロックの検査画像１４を形成する画素の数量である次元数ｈの次元を有し、かつ、各画素の輝度値をスカラーとする良品についての特徴量であるｈ次元の良品ベクトルＯＫを算出する工程（Ｓ４４１−２）と、検査対象部品たるワーク２の被検査面２ａについて、検査ポイント１１の重要度に応じて解像度を変更して撮像した検査画像１４を、該検査画像１４の解像度に応じた複数の単位ブロックに分割し、該単位ブロックの検査画像１４を形成する画素の数量である次元数ｈの次元を有し、かつ、各画素の輝度値をスカラーとするワーク２についての特徴量であるｈ次元の入力ベクトルＩＮを算出する工程（Ｓ４４２−２）と、を備え、第一の検査工程である（Ｓ４５０）は、良品ベクトルＯＫと入力ベクトルＩＮを比較して、ワーク２の欠陥の有無を判断する工程、を備えるものである。
これにより、欠陥部位の形状に左右されることなく、より精度良く欠陥を検出することができる。
【符号の説明】
【０１４５】
１ 検査員（熟練作業者）
２ ワーク（検査対象部品）
７ ロボット（移動手段）
８ カメラ（撮像手段）
１８ カメラ（改良した実施態様）
１９ 照明（改良した実施態様）
【技術分野】
【０００１】
本発明は、例えば鋳造部品等の品質検査に用いられる欠陥検出方法に関する。
【背景技術】
【０００２】
従来、例えば鋳造部品や鍛造部品等の表面欠陥を検出するための技術として、検査対象となる部品（ワーク）の表面について取得した撮像画像に所定の画像処理等を施すことで欠陥を検出する等、撮像画像に基づいて欠陥を検出する方法がある（例えば、特許文献１参照。）。特許文献１には、ワークの撮像画像に対して、ガウス平均化処理等の前処理を行った後、サンプル部品を撮像することにより得られる参照用画像を用いる統計的な処理や比較処理等の欠陥検出処理を行う方法が開示されている。
【０００３】
特許文献１に開示されている方法は、ワークの形状が単純で、ある特定の種類に欠陥が限定される場合においては有効であると考えられる。しかし、ワークが複雑形状物であり、複数種類の欠陥を有する場合においては、特許文献１を含む従来の技術では、次のような理由から対応が困難であると考えられる。
【０００４】
即ち、従来の技術においては、欠陥の検査に用いられる撮像画像が、単一方向（所定の方向）から撮像された静止画像である。このため、従来の技術によれば、撮像画像から得られる情報量が少なく、例えば微小な欠陥等の、欠陥部分以外の部分との判別が難しい欠陥の検出が困難である。このように欠陥の検出が困難な場合としては、例えば、鋳造部品の鋳肌面等といった粗材面において、表面の粗さ（凹凸度合い）の範囲内にある微細なキズが欠陥として存在する場合がある。かかる場合、粗材面の凹凸と欠陥とが混同され、欠陥の検出が困難となる。
【０００５】
また、従来の技術においては、ワークの表面における欠陥が存在する部位および良品部位（欠陥が存在する部位以外の部位）に対して一律的な検査が行われることから、処理に膨大な時間がかかるという問題がある。即ち、従来の技術によれば、ワークの全面について一律的な検査が行われることから、欠陥の分類に必要な情報について、本来は余分な情報である良品部位に関する情報までも取得されることになる。このため、従来の技術では、所定の検査工程における限られた作業時間内でのワークの全面についての検査（欠陥の分類）の実現は困難である。
【０００６】
以上のような理由から、複雑な形状を有する鋳造部品等については、人による目視検査によって品質が保証されているのが現状である。しかし、人による目視検査では、作業者の熟練度等によって信頼性にバラツキが生じることや人員の確保等の問題がある。そこで、例えば特許文献２に開示されているように、熟練作業者の動作をロボットに教示する技術がある。かかる技術を、鋳造部品等の品質検査のための欠陥の検出に応用することが考えられる。
【０００７】
しかし、鋳造部品等の品質検査の検査員としての熟練作業者の所作には、ワークを動かすための腕等の動作に加え、ワークに存在する欠陥を検出するための視線の動きも含まれる。さらに、検査員としての熟練作業者の動作や視線の動きには、熟練作業者の経験等に基づく意図が反映される。このため、検査員としての熟練作業者の作業を、従来から存在する熟練作業者の動作をロボットに教示する技術によって実現することは困難である。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００４−１７０３７４号公報
【特許文献２】特開平６−２５０７３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
本発明は、上記のような問題点に鑑みてなされたものであり、その解決しようとする課題は、検査対象となる部品が複雑な形状を有する部品であったり複数種類の欠陥を有する部品であったりしても、短時間で精度良く欠陥を検出することができる欠陥検出方法を提供することにある。
【課題を解決するための手段】
【００１０】
本発明の解決しようとする課題は以上の如くであり、次にこの課題を解決するための手段を説明する。
【００１１】
即ち、請求項１においては、検査対象部品の表面の欠陥を検出するための欠陥検出方法であって、熟練作業者による検査対象部品の表面の欠陥の目視検査にともなう検査対象部品を動かすための検査動作および検査対象部品に対する視線の動きを計測する作業計測工程と、熟練作業者が知見として有する検査対象部品における欠陥が発生する部位、発生する欠陥の種類、欠陥の重要度を含む内容に基づいて作成される情報群である重要度マップを準備する工程と、前記作業計測工程にて計測された前記検査動作および前記視線の動きを、検査対象部品の表面を撮像するための撮像手段および検査対象部品と前記撮像手段との相対的な位置関係を変化させる移動手段を含む構成に模擬させながら、前記撮像手段によって検査対象部品の表面についての前記視線の動きに沿う複数の視点から撮像される連続的な複数の撮像画像を取得する第一の画像取得工程と、該第一の画像取得工程にて取得された前記連続的な複数の撮像画像に基づいて、検査対象部品の表面に存在する欠陥の特徴を示す量である特徴量を算出する第一の特徴量算出工程と、前記重要度マップおよび前記第一の特徴量算出工程にて算出された前記特徴量に基づいて、検査対象部品の表面における前記連続的な複数の撮像画像に対応する領域に欠陥に該当する可能性を有する部位である欠陥候補部位が存在するか否かを検査する第一の検査工程と、該第一の検査工程により前記欠陥候補部位が存在するとの検査結果が得られた場合、前記移動手段によって前記撮像手段を前記連続的な複数の撮像画像に対応する領域に移動させ、前記撮像手段によって前記連続的な複数の撮像画像に対応する領域について前記重要度マップに基づいて欠陥の内容に応じて変化させられる複数の視点から撮像される複数の撮像画像を取得する第二の画像取得工程と、該第二の画像取得工程にて取得された前記複数の撮像画像に基づいて、前記特徴量を算出する第二の特徴量算出工程と、前記第二の特徴量算出工程にて算出された前記特徴量に基づいて、前記欠陥候補部位についての欠陥の定量値化を行う第二の検査工程と、を含むものである。
【００１２】
請求項２においては、前記第一の画像取得工程は、前記複数の視点のそれぞれにおいて、角度が異なる三方向から前記連続的な複数の撮像画像を撮像し、かつ、前記第二の画像取得工程は、前記複数の視点のそれぞれにおいて、角度が異なる三方向から前記連続的な複数の撮像画像を撮像するものである。
【００１３】
請求項３においては、前記第一の画像取得工程は、前記重要度マップによって規定される前記連続的な複数の撮像画像に対応する領域の重要度に応じて、該領域において角度が異なる三方向から撮像する前記連続的な複数の撮像画像の解像度を変更するものである。
【００１４】
請求項４においては、前記第一の特徴量算出工程および前記第二の特徴量算出工程は、良品の表面について、前記領域の重要度に応じて解像度を変更して撮像した撮像画像を、該撮像画像の解像度に応じた複数の単位ブロックに分割し、該単位ブロックの撮像画像を形成する画素の数量である次元数ｈの次元を有し、かつ、各画素の輝度値をスカラーとする前記良品についての特徴量であるｈ次元の良品ベクトルを算出する工程と、検査対象部品の表面について、前記領域の重要度に応じて解像度を変更して撮像した撮像画像を、該撮像画像の解像度に応じた複数の単位ブロックに分割し、該単位ブロックの撮像画像を形成する画素の数量である次元数ｈの次元を有し、かつ、各画素の輝度値をスカラーとする前記検査対象部品についての特徴量であるｈ次元の入力ベクトルを算出する工程と、を備え、前記第一の検査工程は、前記良品ベクトルと前記入力ベクトルを比較して、前記検査対象部品の欠陥の有無を判断する工程、を備えるものである。
【００１５】
請求項５においては、前記良品ベクトルを算出する工程は、主成分分析の手法によって、前記ｈ次元の良品ベクトルを、三次元の良品ベクトルとして次元数を削減して算出し、前記入力ベクトルを算出する工程は、主成分分析の手法によって、前記ｈ次元の入力ベクトルを、三次元の入力ベクトルとして次元数を削減して算出するものである。
【発明の効果】
【００１６】
本発明の効果として、以下に示すような効果を奏する。
即ち、請求項１に記載の発明によれば、検査対象となる部品が複雑な形状を有する部品であったり複数種類の欠陥を有する部品であったりしても、短時間で精度良く欠陥を検出することができる。
【００１７】
請求項２に記載の発明によれば、欠陥部位の形状に左右されることなく、精度良く欠陥を検出することができる。
【００１８】
請求項３に記載の発明によれば、欠陥部位の形状に左右されることなく、短時間で精度良く欠陥を検出することができる。
【００１９】
請求項４に記載の発明によれば、欠陥部位の形状に左右されることなく、より精度良く欠陥を検出することができる。
【００２０】
請求項５に記載の発明によれば、欠陥部位の形状に左右されることなく、より短時間で、かつ、より精度良く欠陥を検出することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の一実施形態に係る欠陥検出方法を示すフロー図。
【図２】検査員による検査作業の計測風景を示す図。
【図３】検査員による検査作業における視野映像の一例を示す図。
【図４】本発明の一実施形態に係る検査システムの構成を示す図。
【図５】ワークの被検査面における視点経路を示す図。
【図６】検査員による検査作業における指差点と注視点との関係性についての説明図。
【図７】本発明の一実施形態に係る検査処理の一例を示すフロー図。
【図８】同じく良品の特徴量を算出するための処理の一例を示すフロー図。
【図９】本発明の一実施形態に係る改良した検査システムの構成を示す図。
【図１０】欠陥の形状の差異による欠陥部位の輝度の差異を説明する模式図、（ａ）急峻な凹形状を有する欠陥の場合、（ｂ）緩やかな凹形状を有する欠陥（角度α１）の場合。
【図１１】緩やかな凹形状を有する欠陥の姿勢の差異による欠陥部位の輝度の変化を説明する模式図、（ａ）角度α２の場合、（ｂ）角度α３の場合。
【図１２】本発明の一実施形態に係る改良した欠陥検出方法を示すフロー図。
【図１３】取得した画像の態様を説明する模式図、（ａ）三方向から取得した動画像を示す模式図、（ｂ）ブロック分割した検査画像を示す模式図、（ｃ）単位ブロックの検査画像を示す模式図。
【図１４】良品ベクトルの算出方法を示すフロー図。
【図１５】良品ベクトル（入力ベクトル）を示す模式図、（ａ）ｈ次元の場合、（ｂ）三次元の場合。
【図１６】入力ベクトルの算出方法を示すフロー図。
【図１７】入力ベクトルの再算出方法を示すフロー図。
【図１８】本発明の一実施形態に係る改良した欠陥検出方法における特徴量（角度θ）を示す模式図。
【発明を実施するための形態】
【００２２】
本発明に係る欠陥検出方法は、検査対象部品においてどこの部位にどのような特徴の欠陥が発生するか等の、日々の生産活動の中で培われた熟練作業者（熟練検査員）の知識を利用するとともに、熟練作業者の認知に基づく検査メカニズムを機械化する（機械に模擬させる）ことで、機械による動作の過程で得られる複数視点の画像（動画像）に基づいて欠陥の検査を行うものである。ここで、熟練作業者とは、検査対象部品の検査ライン等において検査対象部品について検出すべき欠陥を十分な速さ・確からしさをもって漏れなく検出することができる技術・知見を有する者である。
そして、本発明に係る欠陥検出方法は、複数視点の画像（動画像）に基づく欠陥の検査として、欠陥候補の部位を検出するための検査と、検出した欠陥候補の部位についての詳細な検査とによる二段階の検査（２ｓｔｅｐ検査）を行うことで、欠陥の検出精度の向上や検査時間の短縮化を図ろうとするものである。以下、本発明の実施の形態を説明する。
【００２３】
本実施形態に係る欠陥検出方法は、例えば自動車エンジンを構成するシリンダヘッド等の鋳造部品を検査対象部品（以下「ワーク」という。）とし、ワークの表面の欠陥（以下単に「欠陥」という。）を検出するためのものである。
【００２４】
本実施形態に係る欠陥検出方法では、まず、ワークの欠陥の検査において、熟練作業者は検査作業としてどのようにワークを動かしながら（どのような動作で）、ワークに対してどのような視線（視点）の軌跡をえがきながら（どのような視線（視点）の動きで）検査をしているかが計測される。つまり、ワークの検査における熟練作業者の検査作業の定量値化が行われる。
【００２５】
したがって、図１に示すように、本実施形態に係る欠陥検出方法においては、まず、熟練作業者の動作（検査動作）および視線の動きの計測が行われる（Ｓ１０）。つまり、図２に示すように、熟練作業者である検査員１によるワーク２の欠陥の検査において、検査員１の動作および視線の動きが計測される。
【００２６】
検査員１の動作の計測は、例えば公知のモーションキャプチャを行うための三次元位置計測装置が用いられて行われる。モーションキャプチャ技術においては、例えば人の身体における所定の箇所にデータ取得のための複数のマーカが取り付けられる。そして、マーカが取り付けられた人の動作がカメラによって撮影されることで、人の動作にともなうマーカの三次元座標における位置（動き）が計測される。これにより、人の動作が三次元座標におけるマーカの位置データとして取得される。
【００２７】
ワーク２の欠陥の検査における検査員１の動作としては、ワーク２を動かすための腕および手首の動きと、動かすワーク２の目視にともなう頭の動きとが主要な動きとなる。また、ここで計測される検査員１の動作には、検査員１により動かされるワーク２の動きが含まれる。
【００２８】
そこで、本実施形態では、モーションキャプチャにより、検査員１の動作として、検査員１の頭、両肘、両手首、およびワーク２の位置が計測される。つまり、図２に示すように、検査員１の頭、両肘、および両手首の各部位、ならびにワーク２における所定の部位に、データ取得のためのマーカ３が取り付けられ、モーションキャプチャが行われる。これにより、検査員１の動作が、三次元座標における各マーカ３の位置データとして取得される。なお、検査員１の動作を計測するための技術は、検査員１およびワーク２の各部位の三次元座標における位置を計測することができるものであれば特に限定されない。
【００２９】
また、検査員１の視線の動きの計測は、例えば公知のアイマークレコーダ（視線計測装置）が用いられて行われる。アイマークレコーダは、人の視野に相当する映像を撮影し、その視野映像上に、人の眼球画像から解析された視線の位置（アイマーク）を合成して表示・記録する装置である。つまり、アイマークレコーダにより、人の視線の動きが視野映像上のアイマークの位置データとして取得される。
【００３０】
そこで、本実施形態では、図２に示すように、検査員１の視野画像を取得するためのカメラ（視野カメラ）と検査員１の眼球画像を取得するためのカメラ（アイカメラ）とを有するカメラユニット４が、検査員１の眼の位置に合わせて装着される。そして、図３に示すように、カメラユニット４の視野カメラにより取得される視野映像５上における検査員１のアイマーク６が、検査員１のワーク２に対する注視点として、カメラユニット４のアイカメラにより取得される眼球画像に基づいて計測される。これにより、検査員１の視線の動きが、検査員１の視野画像上におけるアイマーク６の位置データとして取得される。なお、検査員１の視線の動きを計測するための技術としては、検査員１のワーク２に対する注視点の位置を計測することができるものであれば特に限定されない。
【００３１】
このように、本実施形態においては、検査員１の動作および視線の動きの計測が行われる本ステップＳ１０が、検査員１によるワーク２の欠陥の目視検査にともなうワーク２を動かすための検査動作およびワーク２に対する視線の動きを計測する作業計測工程に相当する。
【００３２】
本工程で計測された検査員１の動作および視線の動きは、本実施形態に係る欠陥検出方法を行うための検査システム（以下「本検査システム」という。）において、各部の動きに反映される。つまり、本工程により、本検査システムの動かし方のベースが取得される。また、本工程における検査員１の動作および視線の動きの計測は、複数人の検査員１について行われてもよい。この場合、例えば複数人分の計測データが平均化されることで、検査員１による一連の動作および視線の動きとして計測される。
【００３３】
図１に示すように、本実施形態に係る欠陥検出方法においては、次に、重要度マップの作成が行われる（Ｓ２０）。ここで、重要度マップとは、欠陥がどこの部位に発生するか（欠陥の発生部位）、どのような形状（特徴）の欠陥が発生するか（欠陥の種類）、欠陥のランク（優先順位）、欠陥の補修の可否等の、ワーク２で生じる欠陥についての内容が、所定のマップ（表）としてまとめられた情報群である。重要度マップを構成する欠陥についての内容は、熟練作業者としての検査員１が有する知見（事前知識）に基づく。
【００３４】
即ち、ワーク２においては、様々な部位で様々な種類の欠陥が発生し、欠陥の種類等に応じたランク等も存在する。こうしたワーク２で生じる欠陥についての内容は、熟練作業者である検査員１が知見として有する。したがって、重要度マップの作成に際しては、検査員１へのヒヤリング（インタビュー）により、検査員１が知見として有する、欠陥の発生部位等のワーク２で生じる欠陥についての内容が取得される。つまり、重要度マップは、検査員１が日々の生産活動の中で培った知見に基づく検査員１の検査意図が形式化されたものである。
【００３５】
このように、本実施形態においては、重要度マップの作成が行われる本ステップＳ２０が、検査員１が知見として有するワーク２における欠陥が発生する部位、発生する欠陥の種類、欠陥の重要度を含む内容に基づいて作成される情報群である重要度マップを準備する工程に相当する。
【００３６】
本工程で準備される重要度マップは、ワーク２の製造環境や製造条件等により逐次更新される。また、本工程における重要度マップの作成は、複数人の検査員１の知見に基づいて行われてもよい。この場合、例えば複数人分の知見が集約されることで、代表的な一つの重要度マップが作成される。
【００３７】
ここで、本検査システムについて説明する。図４に示すように、本検査システムは、ワーク２を移動させるためのロボット７と、ワーク２の表面を撮像するためのカメラ８とを備える。また、本検査システムにおいては、カメラ８によるワーク２の表面の撮像に際してワーク２の表面を照らす照明９が備えられる。
【００３８】
ロボット７は、ベース部７ａと、ベース部７ａ上に設けられるアーム部７ｂとを有し、様々な位置および角度に姿勢制御されるフレキシブルなロボットアーム（多関節ロボット）として構成される。ロボット７は、アーム部７ｂの先端部に設けられる支持台７ｃ上にワーク２を支持する。支持台７ｃの支持面には、ワーク２を位置決めするための位置決めピン７ｄが設けられている。つまり、ワーク２は、ロボット７において支持台７ｃ上に位置決めピン７ｄによって位置決めされた状態で支持され、ロボット７の動作によってロボット７の可動範囲において三次元方向に移動および姿勢変更可能とされる。
【００３９】
カメラ８は、ワーク２の表面を撮像するための撮像手段であり、例えばＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の撮像素子により構成される。カメラ８は、本検査システムが備える支持体１０により支持される。カメラ８は、ロボット７に支持されるワーク２の表面を撮像することができる所定の姿勢で支持される。なお、カメラ８とともに本検査システムの光学系（撮像系）を構成する照明９は、カメラ８と同様に支持体１０により、ロボット７に支持されるワーク２の表面を照らすことができる所定の姿勢で支持される。このように、本検査システムにおいては、光学系を構成するカメラ８および照明９は固定された状態で設けられる。
【００４０】
以上のようにロボット７およびカメラ８を含む構成としての本検査システムにおいて、前述したように計測されたワーク２の欠陥の検査における検査員１の動作および視線の動きが模擬させられる。即ち、本検査システムにおいては、ロボット７の動作により移動するワーク２と撮像視点が定位置となるカメラ８との相対的な位置関係の変化において、あらかじめ計測された検査員１の動作および視線の動きが模擬される。
【００４１】
本検査システムによるワーク２の検査は、ワーク２に対する所定の方向ごとに行われる。つまり、ワーク２がその外形形状において検出対象である欠陥が存在する複数の面を有する場合、ワーク２が有する面ごとに欠陥の検査が行われる。そこで、本検査システムにより、ワーク２において検査対象となるある所定の面（以下「被検査面２ａ」とする。）の検査が行われる場合について説明する。
【００４２】
図５に示すように、ワーク２の被検査面２ａにおいては、ワーク２の形状等に基づく複数の検査ポイント１１（破線で囲まれる部分参照）が存在する。検査ポイント１１は、被検査面２ａにおいて所定の種類の欠陥が生じやすい部分（領域）であり、検査員１が被検査面２ａの検査において注視するポイントである。したがって、被検査面２ａに存在する検査ポイント１１は、重要度マップの内容に含まれる。
【００４３】
検査員１は、被検査面２ａの検査において、被検査面２ａに存在する全ての検査ポイント１１を検査するため、少なくとも全ての検査ポイント１１を網羅するように視線を動かす。そして、検査員１の視線の動向としては、被検査面２ａにおいて効率的に全ての検査ポイント１１を通過する所定の経路に沿うものとなる。つまり、図５に示すように、検査員１は、被検査面２ａの検査において、全ての検査ポイント１１を通過する所定の視線経路１２に沿って視線を動かす。
【００４４】
そこで、本検査システムにおいては、被検査面２ａに対するカメラ８の撮像視点が検査員１による視線経路１２に沿うように、ロボット７によってワーク２が動かされる。つまり、ロボット７の動作によって移動するカメラ８の撮像視点により、視線経路１２に沿う軌跡がえがかれる。視線経路１２に沿うカメラ８の撮像視点の移動経路の設定に際しては、重要度マップの情報が適宜参照される。
【００４５】
本実施形態では、カメラ８のピント面の変動が少なくなるように、ワーク２（被検査面２ａ）とカメラ８との距離（相対的な位置）が略一定とされる。これは、熟練作業者である検査員１による被検査面２ａの検査にともなう動作においては、検査員１の頭と被検査面２ａとの距離（相対的な位置）がほぼ変動しないという測定結果が得られていることに基づく。
【００４６】
そして、本検査システムにおいては、被検査面２ａの検査において、視線経路１２の一部に、例えば、図５に示すように、被検査面２ａの横方向（長手方向、図５における左右方向）に沿う経路が含まれる場合、ロボット７の動作による被検査面２ａの横方向についてのワーク２の平行移動の範囲（撮像視点の移動範囲）は、計測された検査員１の動作のうち、検査員１の頭の動き（左右の首振り角度）から算出される。また、被検査面２ａにおける視線経路１２に沿う撮像視点の動きは、あらかじめ計測された検査員１の視線の動きに基づいて生成される。
【００４７】
検査員１の検査作業の定量値化を図るためにあらかじめ計測された検査員１の動作および視線の動きは、次のような手順で本検査システムにおける機械検査フローに変換され、検査員１の認知に基づく検査メカニズムの機械化が図られる。即ち、まず、あらかじめ計測された検査員１の動作および視線の動きに基づいて、検査員１の検査作業および意図（検査意図）を反映した検査フローが生成される。
【００４８】
検査員１の検査フローの生成においては、はじめに、あらかじめ計測された検査員１の動作および視線の動きについてのデータが解析されることで、検査員１の動作および視線の動きの特徴が、所定の量（数値）として抽出される。これにより、検査員１の動作および視線の動きの傾向が定量値化される。次に、検査員１の動作および視線の動きのフローである検査作業フローが生成される。そして、重要度マップに基づいて検査員１の意図のフローである判断フローが生成される。ここで生成される判断フローは、検査員１の認知に基づく検査メカニズムに基づくフローとなる。
【００４９】
そして、検査員１の検査フローとして生成された検査作業フローおよび判断フローが、本検査システムにおける機械検査フローに変換される。つまり、検査作業フローに基づき、本検査システムの各部の動きについてのフローである動作フローが生成される。また、判断フローに基づき、本検査システムの画像処理についてのフローである画像処理フローが生成される。このように本検査システムにおける動作フローおよび画像処理フローが生成されることで、あらかじめ計測された検査員１の動作および視線の動きの、本検査システムにおける機械検査フローへの変換（検査メカニズムの機械化）が完了する。
【００５０】
なお、本検査システムにおいては、ロボット７の動作によってワーク２とカメラ８との相対的な位置関係を変化させる構成が採用されているが、このワーク２とカメラ８との位置関係を変化させるための構成は特に限定されない。つまり、本検査システムは、ワーク２とカメラ８との相対的な位置関係を変化させる移動手段としてロボット７を備えるが、かかる移動手段としてカメラ８側を移動させる構成を備えるものであってもよい。
【００５１】
以上のような本検査システムにおいて、あらかじめ準備された重要度マップが用いられ、ワーク２の欠陥を検出するための検査（以下単に「ワーク２の検査」という。）が行われる。ワーク２の検査は、ワーク２を移動させるロボット７とカメラ８とを含む構成により取得される複数の視点からの撮像画像（動画像）に基づき、かかる動画像が処理されることにより算出される特徴量が用いられて行われる。
【００５２】
そして、ワーク２の検査としては、ワーク２（被検査面２ａ）の任意の部位について動画像の取得および特徴量の算出を行うことで、欠陥に該当する可能性を有する欠陥候補の部位（欠陥として疑わしい部位、以下「欠陥候補部位」という。）を検出する一段階目の検査と、欠陥候補部位についての動画像の取得および特徴量の算出を行うことによる詳細な検査である二段階目の検査とが行われる。
【００５３】
したがって、ワーク２の検査においては、図１に示すように、一段階目の検査として、任意の部位についての動画像の取得（Ｓ３０）、取得した動画像の処理による特徴量の算出（Ｓ４０）、および算出した特徴量に基づく欠陥候補部位の有無の検査（Ｓ５０）が行われる。そして、二段階目の検査として、欠陥候補部位についての動画像の取得（Ｓ６０）、取得した動画像の処理による特徴量の算出（Ｓ７０）、および算出した特徴量に基づく欠陥の定量値化（Ｓ８０）が行われる。これらステップＳ３０〜Ｓ８０を含むワーク２の検査の方法の一例である具体的な一連の処理（以下「本検査処理例」という。）について、図７に示すフロー図に従って説明する。
【００５４】
図７に示すように、本検査処理例においては、まず、検査動画像の取込みが行われる（Ｓ１１０）。つまり、本検査システムにおいて検査動画像が取得され、取得された検査動画像が処理対象としてシステム内に取り込まれる。検査動画像は、ワーク２の被検査面２ａにおいて検査員１による視線経路１２に沿って撮像視点を移動させるカメラ８により、視線経路１２の任意の部位（区間）において所定の時間間隔で撮像される複数の視点からの連続的な複数の撮像画像（動画像）である。
【００５５】
即ち、前述したように、本検査システムにおいては、被検査面２ａに対するカメラ８の撮像視点は、ロボット７の動作によって移動する。ここで、カメラ８は、その撮像視点を視線経路１２に沿って移動させながら、所定の時間間隔で撮像画像を連続的に撮像する。そこで、このようなカメラ８によって撮像される連続的な複数の撮像画像のうちの一部、つまり視線経路１２の任意の部位（区間）で取得される複数の撮像画像が、本検査処理例において検査動画像とされる。
【００５６】
本検査処理例では、検査動画像として数十フレームの検査画像（撮像画像）が取得される。本検査処理例において検査動画像として取得される検査画像のフレーム数は、検査員１による次のような検査作業の内容に基づく。
【００５７】
図３に示すように、検査員１によるワーク２の被検査面２ａの検査においては、検査員１は、視線経路１２に沿って注視点１６（アイマーク６参照）を動かすとともに、指差しを行う。つまり、検査員１は、被検査面２ａの検査において、検査員１の指差しによって指される位置である指差点１３を視線経路１２に沿って移動させながら、注視点１６を視線経路１２に沿って移動させる。
【００５８】
そして、検査員１による検査作業の傾向としては、視線経路１２において、指差点１３よりも前（進行方向の前）に、注視点１６が位置する。つまり、検査員１による検査作業においては、視線経路１２に沿って移動する注視点１６に対して、指差点１３が視線経路１２に沿って後を追う態様となる。言い換えると、検査員１は、視線経路１２に沿って指差点１３を移動させるとともに、指差点１３よりも視線経路１２に沿う前側を見ながら検査を行う。このような検査員１の動作態様において、検査員１が欠陥候補部位を見つけた場合、その欠陥候補部位に注視点１６が滞留し、指差点１３が注視点１６に追い付く。
【００５９】
したがって、検査員１による検査作業における指差点１３と注視点１６との関係性から、検査員１は、視線経路１２における指差点１３と注視点１６との間の部分である間隔部分１２ａ（破線部分参照）を参照しながら検査を行っているといえる。つまり、検査員１は、検査作業において、視線経路１２の間隔部分１２ａを、欠陥候補部位を検出する際の参照部分としている。
【００６０】
図６（ａ）に、検査員１による指差点１３と注視点１６との関係の一計測例を示す。図６（ａ）に示すグラフにおいて、横軸は時間（撮像画像のフレーム数）を表し、縦軸は指差点１３および注視点１６の変位を表す。また、図６（ａ）において、グラフＧ１が指差点１３についてのグラフであり、グラフＧ２が注視点１６についてのグラフである。
【００６１】
図６（ａ）のグラフからわかるように、指差点１３の位置は、注視点１６の位置に対して全般的に視線経路１２における進行方向の後側（図６（ａ）のグラフにおいて下側）に位置する。そして、本計測例においては、図６（ａ）に示すように、所定の変位ｄ１における指差点１３と注視点１６とのフレーム数の差ΔＴが数十フレームである。この数十フレームという値は、図６（ｂ）に示すように、本検査システムにおいてカメラ８による連続的な検査画像１４の撮像が数十回／秒で行われる場合において数百ミリ秒の時間に相当する。
【００６２】
そこで、本検査処理例においては、任意の部位について連続的に取得される数十フレーム分の検査画像１４が、検査員１による欠陥候補部位の検出に際しての参照部分に対応する動画像である検査動画像として取得される。つまり、本検査処理例においては、数十フレーム分の検査画像１４が、指差点１３と注視点１６との位置関係に基づき、検査員１が欠陥候補部位があるか否かを判断している情報量に相当する動画像として取得される。ただし、検査動画像として取得される連続的な撮像画像のフレーム数（時間間隔）は、被検査面２ａにおけるカメラ８の撮像視点の移動速度や、カメラ８による撮像画像の取得速度（回／秒）等に応じて適宜設定される。
【００６３】
このように、本検査処理例において、検査動画像の取込みが行われる本ステップＳ１１０が、ワーク２の検査において複数の視点からの撮像画像（動画像）の取得が行われるステップＳ３０に対応する（図１参照）。
【００６４】
そして、本実施形態においては、複数の視点からの撮像画像（動画像）の取得が行われる本ステップＳ３０が、上記ステップＳ１０にて計測された検査動作および視線の動きを、カメラ８およびロボット７を含む構成に模擬させながら、カメラ８によってワーク２の表面（被検査面２ａ）についての視線の動き（視線経路１２）に沿う複数の視点から撮像される連続的な複数の撮像画像（検査動画像）を取得する第一の画像取得工程に相当する。
【００６５】
本検査処理例において取得された検査動画像は、動画像処理による特徴量の算出に用いられる。つまり、本検査処理例においては、本検査システムに取り込まれた検査動画像の動画像処理が行われることにより、検査動画像についての特徴量が算出される。
【００６６】
ここで、動画像についての特徴量とは、動画像に対応する部位の面積、円形度、周囲長、直径、扁平度等の幾何学的な特徴（どのような形状か）を示す量であり、動画像データから所定の画像処理により抽出される。ワーク２の検査においては、動画像についての特徴量が、ワーク２の表面に存在する欠陥の特徴を示す量として用いられる。
【００６７】
本検査処理例においては、動画像についての特徴量は、画像処理として一般化ハフ変換（ＧＨＴ；Ｇｅｎｅｒａｌｉｚｅｄ Ｈｏｕｇｈ Ｔｒａｎｓｆｏｒｍ）およびＣＨＬＡＣ特徴（ＣＨＬＡＣ；Ｃｕｂｉｃ Ｈｉｇｈｅｒ−ｏｒｄｅｒ Ｌｏｃａｌ Ａｕｔｏ Ｃｏｒｒｅｌａｔｉｏｎ、立体高次局所自己相関特徴）が用いられて算出される。
【００６８】
一般化ハフ変換とは、直線や円等のパラメータで表現できる図形の検出等に用いられるハフ変換（Ｈｏｕｇｈ Ｔｒａｎｓｆｏｒｍ）においてパラメータの取り方を変えることで、ハフ変換が任意の図形に適用できるように拡張されたアルゴリズムである。一般化ハフ変換によれば、所定の画像中に存在する任意の検出したい形状部分の位置・大きさ・角度等が検出される。
【００６９】
また、ＣＨＬＡＣ特徴とは、高次局所自己相関特徴が時間軸方向へ拡張されたものであり、時空間中の近傍点の相関を抽出する特徴量である。ＣＨＬＡＣ特徴は、その好ましい性質として、積分特徴であることからデータ内の対象における位置によらないという位置不変性と、対象における全体の値が個別の値の和になるという対象に対する加法性とを有する。ＣＨＬＡＣ特徴は、連続的な複数の撮像画像（動画像）について画像間の関係性（つながり）を示す特徴量であることから、動画像における三次元形状の認識に用いられる。
【００７０】
したがって、図７に示すように、本検査処理例においては、検査動画像として取り込まれた数十フレームの各検査画像１４について一般化ハフ変換（ＧＨＴ）が行われることで（Ｓ１２０）、各検査画像１４の基準特徴量の算出が行われる（Ｓ１３０）。ここで、検査画像についての基準特徴量とは、検査動画像についての特徴量を生成するための各検査画像１４について算出される値であり、一般化ハフ変換において設定されるパラメータによって検出されるべき欠陥の種類（形状等）に応じて算出される。
【００７１】
そして、各検査画像１４について算出された基準特徴量から、ＣＨＬＡＣ特徴として、数十フレームの検査画像１４としての検査動画像についての特徴量が算出される（Ｓ１４０）。つまり、本検査システムにおいて取り込まれた数十フレーム分のフレームデータ（動画像データ）に基づき、ＣＨＬＡＣ特徴が用いられ、検査動画像の特徴量が抽出される。ここでは、検査動画像の特徴量として複数の特徴量が算出される。複数の特徴量によれば、例えば時間軸が用いられることで三次元における所定の空間が定義される。
【００７２】
このように、本検査処理例において、一般化ハフ変換およびＣＨＬＡＣ特徴によって検査動画像についての特徴量の算出が行われるステップＳ１２０〜Ｓ１４０が、ワーク２の検査において動画像処理による特徴量の算出が行われるステップＳ４０に対応する（図１参照）。
【００７３】
そして、本実施形態においては、動画像処理による特徴量の算出が行われるステップＳ４０が、上記ステップＳ３０にて取得された検査動画像（数十フレーム）に基づいて、ワーク２の表面に存在する欠陥の特徴を示す量である特徴量を算出する第一の特徴量算出工程に相当する。
【００７４】
本検査処理例において算出された検査動画像の特徴量は、検査動画像において欠陥候補部位が存在するか否かの判断に用いられる。かかる判断においては、良品（ワーク２と同様の部品であって欠陥が存在しないことが既知の部品）について得られる動画像（以下「良品動画像」という。）の特徴量が、検査動画像の特徴量に対する比較対象（判断基準）として用いられる。つまり、良品動画像の特徴量に基づいて欠陥候補部位についての所定の閾値が設定され、検査動画像の特徴量または特徴量に基づく値（閾値に対応する値）が閾値以上であるか否かにより、欠陥候補部位があるか否かの判断が行われる。本検査処理例において、良品動画像の特徴量は、次のようにして求められる。
【００７５】
本検査処理例における良品動画像の特徴量を求めるための一連の処理（以下「良品処理」という。）について、図８に示すフロー図を用いて説明する。良品動画像の特徴量は、検査動画像の特徴量と同様の手法により用いられる。つまり、検査動画像の特徴量を求めるための処理において、検査動画像の代わりに良品動画像（ワーク２の代わりに良品）が処理対象となることで、良品動画像の特徴量が求められる。また、良品処理においては、精度向上等の観点から、複数（Ｎ個）の良品についてのデータが取得され、それらの平均が求められる。
【００７６】
即ち、図８に示すように、良品処理においては、良品動画像として数十フレームの良品画像（撮像画像）が取得される（Ｓ３１０）。ここで取得される良品動画像は、良品において、検査動画像が取得されるワーク２の被検査面２ａにおける視線経路１２に沿う部位に対応する部位について取得される、視線経路１２に沿って撮像視点を移動させるカメラ８により所定の時間間隔で撮像される複数の視点からの連続的な複数の撮像画像（動画像）である。
【００７７】
次に、取得された良品動画像の動画像処理が行われることにより、良品動画像についての特徴量が算出される。つまり、良品処理においては、良品動画像として取り込まれた数十フレームの各良品画像について一般化ハフ変換（ＧＨＴ）が行われることで（Ｓ３２０）、各良品画像の基準特徴量の算出が行われる（Ｓ３３０）。そして、各良品画像について算出された基準特徴量から、ＣＨＬＡＣ特徴を用いた基準空間の生成が行われる（Ｓ３４０）。ここで、基準空間とは、前述したようにＣＨＬＡＣ特徴として算出される良品動画像についての複数の特徴量によって定義される三次元における所定の空間である。このような基準空間を生成するための処理（Ｓ３１０〜Ｓ３４０）が、Ｎ個の良品（良品動画像）について行われる（Ｓ３５０）。
【００７８】
そして、Ｎ個の良品動画像について取得されたデータに基づき、Ｎ個の良品動画像についての平均特徴量が算出され（Ｓ３６０）、Ｎ個の良品動画像についての平均基準空間の生成が行われる（Ｓ３７０）。ここで行われる特徴量および基準空間についての平均処理としては、例えば特徴量の種類等に応じて、単純平均（相加平均）のほか適宜の平均処理が用いられる。
【００７９】
このように良品動画像の特徴量として生成された平均基準空間に基づいて、欠陥候補部位についての所定の閾値が設定される。ここで設定される欠陥候補部位についての閾値は、前述したように算出された検査動画像の特徴量に対する比較対象（判断基準）である。
【００８０】
即ち、前記のとおり検査動画像の特徴量として算出される複数の特徴量が、同じく複数の特徴量によって定義される平均基準空間と比較されることで、欠陥候補部位があるか否かの判断が行われる。したがって、欠陥候補部位についての閾値としては、検査動画像の特徴量として算出される各特徴量等に対応する値が設定される。そして、検査動画像の特徴量について、少なくともある特徴量（または特徴量に基づく値）が、対応する閾値以上である場合、欠陥候補部位があると判断される。
【００８１】
概念的には、複数の特徴量が用いられて定義される三次元における所定の空間において、欠陥候補部位に該当しないＯＫの領域として平均基準空間が規定される。そして、検査動画像の特徴量として算出される複数の特徴量が所定の空間にプロットされることで、平均基準空間内であればＯＫ（欠陥候補部位なし）、平均基準空間外であればＮＧ（欠陥候補部位あり）という判断が行われる。
【００８２】
一方、検査動画像の特徴量が閾値以上でない場合、検査動画像の取込み（Ｓ１１０）、特徴量の算出（Ｓ１２０〜Ｓ１４０）、および欠陥候補部位についての判断（Ｓ１５０）が行われる。つまり、これら欠陥候補部位を検出するための一連の処理（Ｓ１１０〜Ｓ１５０）が、欠陥候補部位が検出されるまで行われる。
【００８３】
ここで、ステップＳ１１０においては、視線経路１２に沿って連続的に取得された前回の数十フレーム分の検査画像１４に対して、視線経路１２に沿う次の数十フレーム分の検査画像１４、あるいは前回に取得された数十フレームと一部が重複する数十フレーム（同じフレーム数）分の検査画像１４が順次取り込まれる。このような特徴量に基づく欠陥候補部位の判断においては、例えば欠陥候補部位についての閾値の設定等に際して、重要度マップの情報が適宜参照される。
【００８４】
このように、本検査処理例において、検査動画像の特徴量が閾値以上であるか否かの判断、つまり欠陥候補部位があるか否かの判断が行われるステップＳ１５０が、ワーク２の検査において欠陥候補部位の有無の検査が行われるステップＳ５０に対応する（図１参照）。
【００８５】
そして、本実施形態においては、欠陥候補部位の有無の検査が行われるステップＳ５０が、重要度マップおよび上記ステップＳ４０にて算出された特徴量に基づいて、検査動画像に対応する領域に欠陥候補部位が存在するか否かを検査する第一の検査工程に相当する。
【００８６】
以上のように、一段階目の検査として欠陥候補部位の検出が行われた後、二段階目の検査として、欠陥候補部位についての詳細な検査が行われる。即ち、本検査処理例における上記ステップＳ１５０にて、欠陥候補部位があると判断された場合、欠陥候補部位についての詳細検査のため、カメラ８の撮像視点が欠陥候補部位に移動する（Ｓ２１０）。
【００８７】
したがって、本検査システムでは、欠陥候補部位についての詳細検査に際し、ロボット７の動作により視線経路１２に沿って移動するカメラ８の撮像視点が、欠陥候補部位があると判断された検査動画像（数十フレーム）に対応する領域に戻るように移動する。つまり、欠陥候補部位についての詳細検査に際しては、欠陥候補部位があるとの判断が前述した本検査システムにおける動作フローにフィードバックされ、カメラ８の撮像視点が欠陥候補部位の位置まで戻る。
【００８８】
そして、カメラ８の撮像視点が欠陥候補部位まで戻った状態で、再び検査動画像の取込みが行われる（Ｓ２２０）。ここで取得される検査動画像は、欠陥候補部位についての詳細検査のためのものであるため、例えば欠陥候補部位を検出するために取得される検査動画像（上記ステップＳ１１０参照）よりも多くの検査画像（フレーム数）による検査動画像が取得される。
【００８９】
また、再度の検査動画像（数十フレーム）の取得においては、本検査システムにおいて、カメラ８による撮像角度やズーム（焦点距離）等の変更によって撮像視点が適宜変更され、欠陥候補部位を検出するための検査動画像の取得との比較において多様な撮像画像が取得される。そして、このようなカメラ８の撮像視点の変更には、重要度マップの情報が参照される。つまり、重要度マップに含まれる欠陥の種類に応じて、カメラ８の撮像視点が変更される。
【００９０】
このように、本検査処理例において、撮像視点の欠陥候補部位への移動、および再度の検査動画像の取得が行われるステップＳ２１０およびＳ２２０が、ワーク２の検査において欠陥候補部位についての複数の視点からの撮像画像の再取得が行われるステップＳ６０に対応する（図１参照）。
【００９１】
そして、本実施形態においては、欠陥候補部位についての複数の視点からの撮像画像の再取得が行われるステップＳ６０が、上記ステップＳ５０により欠陥候補部位が存在するとの検査結果が得られた場合、ロボット７によってカメラ８（の撮像視点）を検査動画像に対応する領域に移動させ、カメラ８によって検査動画像に対応する領域について重要度マップに基づいて欠陥の内容に応じて変化させられる複数の視点から撮像される複数の撮像画像（検査動画像）を取得する第二の画像取得工程に相当する。
【００９２】
本検査処理例において再度取得された検査動画像は、欠陥候補部位の検出のための検査動画像と同様にして、動画像処理による特徴量の算出に用いられる。即ち、本検査処理例においては、検査動画像として取り込まれた数十フレームの各検査画像について一般化ハフ変換（ＧＨＴ）が行われることで（Ｓ２３０）、各検査画像の基準特徴量の算出が行われる（Ｓ２４０）。そして、各検査画像について算出された基準特徴量から、ＣＨＬＡＣ特徴を用いた特徴量の算出が行われる（Ｓ２５０）。
【００９３】
このように、本検査処理例において、一般化ハフ変換およびＣＨＬＡＣ特徴によって再度取得された検査動画像についての特徴量の算出が行われるステップＳ２３０〜Ｓ２５０が、ワーク２の検査において動画像処理による特徴量の算出が行われるステップＳ７０に対応する（図１参照）。
【００９４】
そして、本実施形態においては、動画像処理による特徴量の算出が行われるステップＳ７０が、上記ステップＳ６０にて取得された検査動画像に基づいて、特徴量を算出する第二の特徴量算出工程に相当する。
【００９５】
図７に示すように、本検査処理例においては、検査動画像について算出された特徴量に基づいて、欠陥領域の表示（欠陥識別）が行われる（Ｓ２６０）。欠陥領域の表示としては、検査動画像の特徴量に基づいて、欠陥候補部位として検出された欠陥について、その領域指定や大きさや種類等の欠陥の内容が所定の数値として表される。つまり、検査動画像の特徴量が用いられ、数値の大きさ等により欠陥の識別（検出）を行うための欠陥の定量値化が図られる。このような欠陥領域の表示においては、重要度マップの情報が適宜参照される。
【００９６】
このように、本検査処理例において、欠陥領域の表示（欠陥識別）が行われるステップＳ２６０が、ワーク２の検査において欠陥の定量化が行われるステップＳ８０に対応する（図１参照）。
【００９７】
そして、本実施形態においては、欠陥の定量化が行われるステップＳ８０が、上記ステップＳ７０にて算出された検査動画像の特徴量に基づいて、欠陥候補部位についての欠陥の定量値化を行う第二の検査工程に相当する。
【００９８】
以上のような一連の流れによる欠陥の検査が、ワーク２が有する複数の被検査面２ａごとに、検査動画像を取得するカメラ８の撮像視点が少なくとも視線経路１２に沿って一通り移動するまで行われる。そして、ロボット７によってワーク２が動かされることで、ワーク２の全面についての検査が実施される。
【００９９】
以上のように、本検査処理例を用いて説明した本実施形態に係るワーク２の検査は、検査員１により実際に行われる二段階の検査（２ｓｔｅｐ検査）を本検査システムによって模擬したものとなる。即ち、本検査処理例において、撮像視点の欠陥候補部位への移動（戻り動作）（Ｓ２１０）は、検査員１による検査作業における注視点１６の戻り（欠陥候補部位への戻り）を再現したものである。また、本検査処理例において、撮像視点が欠陥候補部位に戻って行われる詳細な検査（Ｓ２２０〜Ｓ２６０）は、検査員１による検査作業において検査員１が欠陥候補部位に注視点を滞留させ、かかる部位についての詳細な検査を行う動作を再現したものである。
【０１００】
本実施形態の欠陥検出方法によれば、検査対象となる部品が複雑な形状を有する部品であったり複数種類の欠陥を有する部品であったりしても、短時間で精度良く欠陥を検出することができる。
【０１０１】
即ち、本実施形態の欠陥検出方法においては、欠陥を検出するための情報を得るための画像処理が、従来のように単一方向の静止画像ではなく複数視点の画像（動画像）について行われる。このため、例えば微小な欠陥等の、欠陥部分以外の部分との判別が難しい欠陥であっても精度良く検出することができる。
【０１０２】
また、本実施形態の欠陥検出方法によれば、欠陥候補部位を検出するための検査と欠陥候補部位についての詳細な検査とによる二段階の検査が行われることから、ワーク２が有する欠陥に応じて、欠陥候補部位の検査に重点的に時間をかけることができる。これにより、欠陥の検出に際して効率的な検査を行うことができ、時間の短縮化を図ることができる。
【０１０３】
そして、本実施形態の欠陥検出方法は、本検査システムにおいて、熟練作業者である検査員１の検査のメカニズム（どのような情報を、どのように取得し、どのように判断しているか）に基づいて検査員１の作業中の意図と動作を同期させることで、検査員１の作業を実現させたものである。これにより、複雑形状部品が有する欠陥や複数種類の欠陥の検出が可能となる。
【０１０４】
以上のような本実施形態に係る欠陥検出方法が用いられることにより、部品の品質向上およびコストの低減を図ることができる。具体的には、本実施形態に係る欠陥検出方法においては、欠陥の定量値化が行われるため、定量値によって部品の製造条件と欠陥不良との紐付けを行うことができ、良品条件の適正化を図ることができる。これにより、部品の不良率を低減させることができ、部品の外観品質の向上を図ることができる。また、本実施形態の欠陥検出方法によれば、鋳造部品等の目視検査工程の省人化を図ることができるので、労務費の観点からコストの低減を図ることができる。
【０１０５】
以上の実施形態により説明した本発明に係る欠陥検出方法は、例えば自動車エンジンを構成するシリンダヘッド、シリンダブロック、クランクシャフト、ギア等の各種の鋳造部品や鍛造部品等を対象として、キズ、欠肉、湯じわ、割れ等の、目視検査が行われる欠陥の検出に適用することができる。
【０１０６】
次に、本発明に係る前述の欠陥検出方法をさらに改良した実施態様について説明する。
これまでに説明した本発明に係る欠陥検出方法では、欠陥部位の形状によっては欠陥を検出することができない場合があった。
【０１０７】
図１０（ａ）に示す如く、欠陥部位の形状が急峻な凹形状である場合には、被検査面２ａに対してどの方向から照明光を照射しても、欠陥部位の底部には照明光が到達しにくいため、欠陥部位の輝度が周囲の輝度に比して低くなる。このため、欠陥部位の輝度の差異によって欠陥を検出することが可能である。
【０１０８】
一方、図１０（ｂ）に示す如く、欠陥部位の形状が緩やかな凹形状である場合には、被検査面２ａに対して例えば垂直方向の照明光を照射すると、欠陥部位の輝度は周囲の輝度に対してほとんど差異が生じないため、輝度の差異によって欠陥を検出することが困難である。
【０１０９】
そこで、欠陥部位の形状が緩やかな凹形状である場合には、図１１（ａ）（ｂ）に示す如く、被検査面２ａに対して垂直でない角度を有する方向から照明光を照射すれば、欠陥部位の外周縁部に影を生じさせることができ、これにより周囲の輝度に対して輝度が低くなる部位を形成できる。このため、複数の方向から照明光を照射しつつ、その照明光の照射方向と同じ視野方向から検査動画像を取得すれば、緩やかな凹形状を有する欠陥であっても、輝度の差異によって欠陥部位の有無や欠陥部位の範囲を検出することが可能になる。
【０１１０】
そこで、本発明の改良した実施態様では、被検査面２ａに対して角度の異なる三方向から照明光を照射しつつ、その照明光の照射方向と同じ視野方向から検査動画像を取得することによって、欠陥部位の形状に左右されることなく、確実に欠陥を検出することができるように改良がなされている。
以下、本発明の欠陥検出方法を改良した実施態様について、具体的に説明する。
【０１１１】
まず、本発明に係る欠陥検出方法を改良した実施態様における検査システムについて説明する。
図９に示すように、本実施態様における検査システムは、改良前の実施態様と同様に、ワーク２を移動させるためのロボット７と、ワーク２の表面を撮像するためのカメラ１８と、カメラ１８によるワーク２の表面の撮像に際してワーク２の表面を照らす照明１９を備えている。またカメラ１８は、本検査システムが備える支持体１０により支持されている。
そして、本発明に係る欠陥検出方法を改良した実施態様では、カメラ１８と照明１９の位置関係や照明１９の種類が、改良前の実施態様に比して異なっている点に特徴を有している。
【０１１２】
本実施態様における照明１９の発光部位はリング状の態様を有しており、カメラ１８は、リング状の照明１９に形成された中空部を通してワーク２の被検査面２ａを視野に捉えることができる。そして、このような構成により、ワーク２に対して、照明１９によって、常にカメラ１８の視野方向に照明光を照射することができる構成としている。
【０１１３】
また、ワーク２の姿勢は、ロボット７によって自在に変化させることができるため、ワーク２に対して、カメラ１８の視野方向に照明光を照射しつつ、ワーク２の姿勢（即ち、カメラ１８の視野方向に対する角度）を様々に変化させながら、カメラ１８によって検査動画像を撮像することができる構成としている。
【０１１４】
尚、本実施態様では、カメラ１８が支持体１０に固定される態様の検査システムを例示しているが、本発明に係る欠陥検出方法に適用する検査システムの構成をこれに限定するものではなく、例えば、カメラ１８が支持体１０に対して、自在に姿勢を変更できるように支持される態様とし、ワーク２とカメラ１８の両方の姿勢を自在に変更できる検査システムの構成とすることも可能である。
【０１１５】
次に、改良した欠陥検出方法について、図１２〜図１７を用いて説明する。
図１２に示す如く、本実施態様に係る改良した欠陥検出方法では、改良前の欠陥検出方法と同様に、まず、熟練作業員の動作・視線の動きの計測を行って（Ｓ４１０）、その計測結果に基づいて、重要度マップを予め作成しておく（Ｓ４２０）。
【０１１６】
次に、前述した本実施態様の検査システムにより、角度を変更した三方向の視点（視野方向）からの検査動画像を取得する（Ｓ４３０）。
本実施態様では、ロボット７によって、被検査面２ａが水平方向と成す角度が、角度α１（＝０°、図１０（ｂ）参照）、α２（図１１（ａ）参照）、α３（図１１（ｂ）参照）となるように、ワーク２の姿勢を変化させることによって、カメラ１８および照明１９によって、三方向の異なる角度（視野方向）の検査動画像を取得する構成としている。
【０１１７】
図１３（ａ）に示す如く、本実施態様のように、三方向の異なる角度の検査動画像を取得すると、改良前の欠陥検出方法において取得する検査動画像（図６（ｂ）参照）に比して約３倍のデータ量の検査動画像を取得することになる。このため、改良した欠陥検出方法では、改良前の欠陥検出方法に比して、データ処理に要する時間が長期化してしまうという問題が生じる。
【０１１８】
そこで、本実施態様では、データ処理量の増加を抑制する手法を採用している。
具体的には、重要度マップにおいて設定される撮像エリア（即ち、検査ポイント１１・１１・・・（図５参照））の重要度に応じて、当該検査ポイント１１における検査動画像を取得する際の解像度を変更するようにしている。
つまり、重要度が高い検査ポイント１１に対しては、高解像度の検査動画像を取得し、重要度が低い検査ポイント１１に対しては、低解像度の検査動画像を取得するようにしている。
これにより、三方向の異なる角度の検査動画像を取得した場合のデータ量を大幅に縮小することが可能になり、改良前の欠陥検出方法に比して、データ処理に要する時間が長期化してしまうという問題を解消することができる。
【０１１９】
即ち、本発明に係る欠陥検出方法を改良した本実施態様は、第一の画像取得工程たる（Ｓ４３０）においては、重要度マップによって規定される連続的な複数の撮像画像である検査画像１４・１４・・・に対応する領域たる検査ポイント１１の重要度に応じて、該検査ポイント１１において角度が異なる三方向から撮像する検査画像１４・１４・・・の解像度を変更するものである。
これにより、欠陥部位の形状に左右されることなく、短時間で精度良く欠陥を検出することができる。
【０１２０】
次に、図１２に示す如く、三方向の視点（視野方向）から取得した検査動画像を画像処理して、特徴点を算出する（Ｓ４４０）。そして、算出した特徴点に基づいて、欠陥候補部位の有無を検査（判断）する（Ｓ４５０）。
本実施態様では、検査動画像から入力ベクトルＩＮを特徴点として算出している。そして、良品の動画像から良品ベクトルＯＫを算出し、良品ベクトルＯＫに対してなす入力ベクトルＩＮの空間角度が、予め定めた閾値以内であるか否かを検出することによって、欠陥候補部位の有無を検査（判断）している。
【０１２１】
ここで、三方向の視点（視野方向）から取得した検査動画像の画像処理方法（（即ち、入力ベクトルＩＮ、良品ベクトルＯＫの算出方法）以下、複数視点画像処理方法と記載する）について説明する。複数視点画像処理方法（Ｓ４４０）は、図１４および図１６に示すように、良品ベクトルＯＫを算出する工程（Ｓ４４１）と、入力ベクトルＩＮを算出する工程（Ｓ４４２）から構成される。
【０１２２】
まず、良品ベクトルＯＫの算出する工程（Ｓ４４１）について、図１３〜図１５を用いて説明する。
図１４に示す如く、本検査システムが備えるデータ処理装置（図示せず）に、三方向の視点（視野方向）から取得した良品動画像を取り込み（Ｓ４４１−１）、検査ポイント１１の重要度（即ち、解像度）に応じた分割数で、良品動画像をブロックに分割する（Ｓ４４１−２）。図１３（ｂ）に示す如く、ある検査ポイント１１における検査画像１４を、その検査ポイント１１の重要度に応じて、例えば、格子状に９個（３×３）のブロックに分割する。あるいは、これよりも重要度が高い検査画像１４に対しては、さらに多くの数のブロック（例えば、２５個（５×５）のブロック）に分割する。
【０１２３】
尚、本実施態様では、ブロックを格子状に９個（３×３）や２５個（５×５）に分割する態様を例示しているが、本発明に係る欠陥検出方法における、ブロック分割の態様をこれに限定するものではなく、格子状以外の分割態様としたり、９個や２５個以外の分割数としたりすることが可能である。
【０１２４】
そして、図１３（ｃ）に示すように、この単位ブロック（例えば、ｉ＝１のブロック）が、Ｍ行Ｎ列（即ち、Ｍ×Ｎ個）の画素からなる良品画像となるように画像の解像度やブロックの分割数を設定する。尚ここで、Ｍ×Ｎ＝ｈと規定する。そして、図１５（ａ）に示すように、ｈ個の画素のそれぞれの輝度値（濃度値）をスカラーとして、ｈ次元の良品ベクトルＯＫを生成する。
【０１２５】
ここで、ｈ次元の良品ベクトルＯＫをそのままデータ処理して算出しようとすると、データ処理量が膨大となってしまい、良品ベクトルＯＫの算出に多大な時間を要してしまうという問題が生じる。
そこで、本実施態様では、ｈ次元の良品ベクトルＯＫに対して主成分分析の手法を適用することにより、良品ベクトルＯＫの次元数を削減して、その後、データ処理を行うようにしている。
【０１２６】
具体的には、図１５（ａ）に示すようなｈ次元の良品ベクトルＯＫに対して主成分分析の手法を適用し、良品ベクトルＯＫを、図１５（ｂ）で示すような第一主成分、第二主成分、第三主成分の各固有ベクトルの和として三次元で表すように変換し、データ処理量の削減を図っている（Ｓ４４１−３）。
ここでいう主成分分析の手法とは、多くの量的変数が存在する場合に、それらの間の相関構造を考慮して、低い次元の合成変数（主成分）に変換し、データが有している情報をより解釈しやすくするための手法である。
【０１２７】
そして、図１４に示す如く、このブロック分割（Ｓ４４１−２）〜主成分分析（Ｓ４４１−３）までの処理を、三方向のデータ（即ち、角度α１〜α３で取得した各検査画像１４・１４・・・）全てについて行うまで、継続してデータ処理を行う（Ｓ４４１−４）。また、算出した良品ベクトルＯＫの個数が予め定めておいた個数Ｎに達するまで、（Ｓ４４１−１）〜（Ｓ４４１−４）のデータ処理を継続して行う（Ｓ４４１−５）。
【０１２８】
そして、最終的に、良品ベクトルＯＫがＮ個算出されると、このＮ個の良品ベクトルＯＫの平均ベクトルを算出し（Ｓ４４１−６）、この平均ベクトルを基準とするベクトル空間を形成する（Ｓ４４１−７）。
以上により、良品ベクトルＯＫに係る特徴量の算出（即ち、良品ベクトルＯＫの算出する工程（Ｓ４４１））を完了する。
【０１２９】
次に、入力ベクトルＩＮを算出する工程（Ｓ４４２）について、図１３〜図１８を用いて説明する。
図１６に示す如く、本検査システムが備えるデータ処理装置（図示せず）に、三方向の視点（視野方向）から取得した検査動画像を取り込み（Ｓ４４２−１）、検査ポイント１１の重要度（即ち、解像度）に応じた分割数で、良品動画像をブロックに分割（図１３（ｂ）参照）する（Ｓ４４２−２）。
【０１３０】
これにより、良品ベクトルＯＫと同様、図１３（ｃ）に示すように、この単位ブロック（例えば、ｉ＝１のブロック）が、Ｍ行Ｎ列（即ち、Ｍ×Ｎ個）の画素からなる検査画像となるように画像の解像度やブロックの分割数を設定する。尚ここで、Ｍ×Ｎ＝ｈと規定する。そして、ｈ個の画素のそれぞれの輝度値（濃度値）をスカラーとして、図１５（ａ）に示すようなｈ次元の入力ベクトルＩＮを生成する。
【０１３１】
ここで、ｈ次元の入力ベクトルＩＮに対しても主成分分析の手法を適用し（図１５（ａ）（ｂ）参照）、入力ベクトルＩＮを、第一主成分、第二主成分、第三主成分の各固有ベクトルの和として三次元で表すように変換し、データ処理量の削減を図っている（Ｓ４４２−３）。
【０１３２】
即ち、本発明に係る欠陥検出方法を改良した本実施態様は、良品についての特徴量である良品ベクトルＯＫを算出する工程（Ｓ４４１）は、主成分分析の手法によって、ｈ次元の良品ベクトルＯＫを、三次元の良品ベクトルＯＫとして次元数を削減して算出し（Ｓ４４１−３）、検査対象部品たるワーク２についての特徴量である入力ベクトルＩＮを算出する工程（Ｓ４４２）は、主成分分析の手法によって、ｈ次元の入力ベクトルＩＮを、三次元の入力ベクトルＩＮとして次元数を削減して算出するものである（Ｓ４４２−３）。
これにより、欠陥部位の形状に左右されることなく、より短時間で、かつ、より精度良く欠陥を検出することができる。
【０１３３】
次に、図１８に示す如く、予め算出しておいた良品ベクトルＯＫの良品範囲における平均ベクトルに対する入力ベクトルＩＮがなす角度θを算出する（Ｓ４４２−４）。
この角度は、以下に示す数式１によって算出される。ここで、Ｋは分割ブロック数、ｉはブロック番号（１〜（Ｋ−１）の整数）を示している。
【０１３４】
【数１】
【０１３５】
そして、このブロック分割（Ｓ４４２−２）〜平均ベクトルとの角度θの算出（Ｓ４４２−４）までの処理を、三方向のデータ（即ち、角度α１〜α３で取得した各検査画像１４・１４・・・）全てについて行うまで、継続してデータ処理を行う（Ｓ４４２−５）。そして、三方向のデータ全てについて、角度θの算出が完了した後に、算出した三方向の角度θの和を算出する（Ｓ４４２−６）。
以上により、入力ベクトルＩＮに係る特徴量の算出（即ち、入力ベクトルＩＮの算出する工程（Ｓ４４２））を完了する。
【０１３６】
そして、図１２および図１６に示す如く、三方向の角度θの和が予め定めておいた閾値の範囲内にあるか否かによって、欠陥候補部位の有無を検査（判断）する（Ｓ４５０）。
【０１３７】
ここで、三方向の角度θの和が予め定めておいた閾値の範囲外である（即ち、欠陥候補部位が存在する）場合には、その欠陥候補部位に対して、複数の視点からの検査動画像の再取得を行う（Ｓ４６０）。尚、第二の画像取得工程たる（Ｓ４６０）においても、重要度マップによって規定される欠陥候補部位に対応する検査ポイント１１の重要度に応じて、該検査ポイント１１において角度が異なる三方向から撮像する検査画像１４・１４・・・の解像度を変更しつつ、検査動画像を取得している。
そして、入力ベクトルＩＮを再度算出する工程（Ｓ４７０）に移行する。
【０１３８】
次に、図１７に示す如く、入力ベクトルＩＮを再度算出する工程（Ｓ４７０）では、本検査システムが備えるデータ処理装置（図示せず）に、（Ｓ４６０）において三方向の視点（視野方向）から再度取得した検査動画像を取り込み（Ｓ４７０−１）、検査ポイント１１の重要度（即ち、解像度）に応じた分割数で、良品動画像をブロックに分割（図１３（ｂ）参照）する（Ｓ４７０−２）。
【０１３９】
これにより、図１５（ａ）に示すようなｈ次元の入力ベクトルＩＮを再度生成し、このｈ次元の入力ベクトルＩＮに対して、再度主成分分析の手法を適用し（図１５（ａ）（ｂ）参照）、入力ベクトルＩＮを、第一主成分、第二主成分、第三主成分の各固有ベクトルの和として三次元で表すように変換し、データ処理量の削減を図っている（Ｓ４７０−３）。
【０１４０】
次に、図１８に示す如く、予め算出しておいた良品ベクトルＯＫの良品範囲における平均ベクトルに対する入力ベクトルＩＮがなす角度θを再度算出する（Ｓ４７０−４）。
【０１４１】
そして、このブロック分割（Ｓ４７０−２）〜平均ベクトルとの角度θの算出（Ｓ４７０−４）までの処理を、三方向のデータ（即ち、角度α１〜α３で取得した各検査画像１４・１４・・・）全てについて行うまで、継続してデータ処理を行う（Ｓ４７０−５）。そして、三方向のデータ全てについて、角度θの算出が完了した後に、算出した三方向の角度θの和を再度算出する（Ｓ４７０−６）。
以上により、入力ベクトルＩＮに係る特徴量の再算出（即ち、入力ベクトルＩＮを再度算出する工程（Ｓ４７０））を完了する。
【０１４２】
そして、図１２および図１７に示す如く、再度算出した三方向の角度θの和によって、検出した欠陥を定量値化する（Ｓ４８０）。
以上により、改良した本発明に係る欠陥検出方法による一連の処理を完了する。
【０１４３】
即ち、本発明に係る欠陥検出方法を改良した本実施態様は、第一の画像取得工程たる（Ｓ４３０）においては、複数の視点たる各検査ポイント１１・１１・・・のそれぞれにおいて、角度が異なる三方向から（即ち、ワーク２の姿勢が角度α１〜α３である状態で）連続的な複数の撮像画像たる検査画像１４・１４・・・を撮像し、かつ、第二の画像取得工程たる（Ｓ４６０）においては、複数の視点たる各検査ポイント１１・１１・・・のそれぞれにおいて、角度が異なる三方向から（即ち、ワーク２の姿勢が角度α１〜α３である状態で）連続的な複数の撮像画像たる検査画像１４・１４・・・を撮像するものである。
これにより、欠陥部位の形状に左右されることなく、精度良く欠陥を検出することができる。
【０１４４】
また、本発明に係る欠陥検出方法を改良した本実施態様は、第一の特徴量算出工程である（Ｓ４４０）および第二の特徴量算出工程である（Ｓ４７０）においては、良品の表面について、検査ポイント１１の重要度に応じて解像度を変更して撮像した検査画像１４を、該検査画像１４の解像度に応じた複数の単位ブロックに分割し、該単位ブロックの検査画像１４を形成する画素の数量である次元数ｈの次元を有し、かつ、各画素の輝度値をスカラーとする良品についての特徴量であるｈ次元の良品ベクトルＯＫを算出する工程（Ｓ４４１−２）と、検査対象部品たるワーク２の被検査面２ａについて、検査ポイント１１の重要度に応じて解像度を変更して撮像した検査画像１４を、該検査画像１４の解像度に応じた複数の単位ブロックに分割し、該単位ブロックの検査画像１４を形成する画素の数量である次元数ｈの次元を有し、かつ、各画素の輝度値をスカラーとするワーク２についての特徴量であるｈ次元の入力ベクトルＩＮを算出する工程（Ｓ４４２−２）と、を備え、第一の検査工程である（Ｓ４５０）は、良品ベクトルＯＫと入力ベクトルＩＮを比較して、ワーク２の欠陥の有無を判断する工程、を備えるものである。
これにより、欠陥部位の形状に左右されることなく、より精度良く欠陥を検出することができる。
【符号の説明】
【０１４５】
１ 検査員（熟練作業者）
２ ワーク（検査対象部品）
７ ロボット（移動手段）
８ カメラ（撮像手段）
１８ カメラ（改良した実施態様）
１９ 照明（改良した実施態様）
【特許請求の範囲】
【請求項１】
検査対象部品の表面の欠陥を検出するための欠陥検出方法であって、
熟練作業者による検査対象部品の表面の欠陥の目視検査にともなう検査対象部品を動かすための検査動作および検査対象部品に対する視線の動きを計測する作業計測工程と、
熟練作業者が知見として有する検査対象部品における欠陥が発生する部位、発生する欠陥の種類、欠陥の重要度を含む内容に基づいて作成される情報群である重要度マップを準備する工程と、
前記作業計測工程にて計測された前記検査動作および前記視線の動きを、検査対象部品の表面を撮像するための撮像手段および検査対象部品と前記撮像手段との相対的な位置関係を変化させる移動手段を含む構成に模擬させながら、前記撮像手段によって検査対象部品の表面についての前記視線の動きに沿う複数の視点から撮像される連続的な複数の撮像画像を取得する第一の画像取得工程と、
該第一の画像取得工程にて取得された前記連続的な複数の撮像画像に基づいて、検査対象部品の表面に存在する欠陥の特徴を示す量である特徴量を算出する第一の特徴量算出工程と、
前記重要度マップおよび前記第一の特徴量算出工程にて算出された前記特徴量に基づいて、検査対象部品の表面における前記連続的な複数の撮像画像に対応する領域に欠陥に該当する可能性を有する部位である欠陥候補部位が存在するか否かを検査する第一の検査工程と、
該第一の検査工程により前記欠陥候補部位が存在するとの検査結果が得られた場合、前記移動手段によって前記撮像手段を前記連続的な複数の撮像画像に対応する領域に移動させ、前記撮像手段によって前記連続的な複数の撮像画像に対応する領域について前記重要度マップに基づいて欠陥の内容に応じて変化させられる複数の視点から撮像される複数の撮像画像を取得する第二の画像取得工程と、
該第二の画像取得工程にて取得された前記複数の撮像画像に基づいて、前記特徴量を算出する第二の特徴量算出工程と、
前記第二の特徴量算出工程にて算出された前記特徴量に基づいて、前記欠陥候補部位についての欠陥の定量値化を行う第二の検査工程と、
を含むことを特徴とする欠陥検出方法。
【請求項２】
前記第一の画像取得工程は、
前記複数の視点のそれぞれにおいて、
角度が異なる三方向から前記連続的な複数の撮像画像を撮像し、かつ、
前記第二の画像取得工程は、
前記複数の視点のそれぞれにおいて、
角度が異なる三方向から前記連続的な複数の撮像画像を撮像する、
ことを特徴とする請求項１に記載の欠陥検出方法。
【請求項３】
前記第一の画像取得工程は、
前記重要度マップによって規定される前記連続的な複数の撮像画像に対応する領域の重要度に応じて、
該領域において角度が異なる三方向から撮像する前記連続的な複数の撮像画像の解像度を変更する、
ことを特徴とする請求項２に記載の欠陥検出方法。
【請求項４】
前記第一の特徴量算出工程および前記第二の特徴量算出工程は、
良品の表面について、
前記領域の重要度に応じて解像度を変更して撮像した撮像画像を、
該撮像画像の解像度に応じた複数の単位ブロックに分割し、
該単位ブロックの撮像画像を形成する画素の数量である次元数ｈの次元を有し、かつ、
各画素の輝度値をスカラーとする前記良品についての特徴量であるｈ次元の良品ベクトルを算出する工程と、
検査対象部品の表面について、
前記領域の重要度に応じて解像度を変更して撮像した撮像画像を、
該撮像画像の解像度に応じた複数の単位ブロックに分割し、
該単位ブロックの撮像画像を形成する画素の数量である次元数ｈの次元を有し、かつ、
各画素の輝度値をスカラーとする前記検査対象部品についての特徴量であるｈ次元の入力ベクトルを算出する工程と、
を備え、
前記第一の検査工程は、
前記良品ベクトルと前記入力ベクトルを比較して、前記検査対象部品の欠陥の有無を判断する工程、
を備える、
ことを特徴とする請求項３に記載の欠陥検出方法。
【請求項５】
前記良品ベクトルを算出する工程は、
主成分分析の手法によって、
前記ｈ次元の良品ベクトルを、三次元の良品ベクトルとして次元数を削減して算出し、
前記入力ベクトルを算出する工程は、
主成分分析の手法によって、
前記ｈ次元の入力ベクトルを、三次元の入力ベクトルとして次元数を削減して算出する、
ことを特徴とする請求項４に記載の欠陥検出方法。
【請求項１】
検査対象部品の表面の欠陥を検出するための欠陥検出方法であって、
熟練作業者による検査対象部品の表面の欠陥の目視検査にともなう検査対象部品を動かすための検査動作および検査対象部品に対する視線の動きを計測する作業計測工程と、
熟練作業者が知見として有する検査対象部品における欠陥が発生する部位、発生する欠陥の種類、欠陥の重要度を含む内容に基づいて作成される情報群である重要度マップを準備する工程と、
前記作業計測工程にて計測された前記検査動作および前記視線の動きを、検査対象部品の表面を撮像するための撮像手段および検査対象部品と前記撮像手段との相対的な位置関係を変化させる移動手段を含む構成に模擬させながら、前記撮像手段によって検査対象部品の表面についての前記視線の動きに沿う複数の視点から撮像される連続的な複数の撮像画像を取得する第一の画像取得工程と、
該第一の画像取得工程にて取得された前記連続的な複数の撮像画像に基づいて、検査対象部品の表面に存在する欠陥の特徴を示す量である特徴量を算出する第一の特徴量算出工程と、
前記重要度マップおよび前記第一の特徴量算出工程にて算出された前記特徴量に基づいて、検査対象部品の表面における前記連続的な複数の撮像画像に対応する領域に欠陥に該当する可能性を有する部位である欠陥候補部位が存在するか否かを検査する第一の検査工程と、
該第一の検査工程により前記欠陥候補部位が存在するとの検査結果が得られた場合、前記移動手段によって前記撮像手段を前記連続的な複数の撮像画像に対応する領域に移動させ、前記撮像手段によって前記連続的な複数の撮像画像に対応する領域について前記重要度マップに基づいて欠陥の内容に応じて変化させられる複数の視点から撮像される複数の撮像画像を取得する第二の画像取得工程と、
該第二の画像取得工程にて取得された前記複数の撮像画像に基づいて、前記特徴量を算出する第二の特徴量算出工程と、
前記第二の特徴量算出工程にて算出された前記特徴量に基づいて、前記欠陥候補部位についての欠陥の定量値化を行う第二の検査工程と、
を含むことを特徴とする欠陥検出方法。
【請求項２】
前記第一の画像取得工程は、
前記複数の視点のそれぞれにおいて、
角度が異なる三方向から前記連続的な複数の撮像画像を撮像し、かつ、
前記第二の画像取得工程は、
前記複数の視点のそれぞれにおいて、
角度が異なる三方向から前記連続的な複数の撮像画像を撮像する、
ことを特徴とする請求項１に記載の欠陥検出方法。
【請求項３】
前記第一の画像取得工程は、
前記重要度マップによって規定される前記連続的な複数の撮像画像に対応する領域の重要度に応じて、
該領域において角度が異なる三方向から撮像する前記連続的な複数の撮像画像の解像度を変更する、
ことを特徴とする請求項２に記載の欠陥検出方法。
【請求項４】
前記第一の特徴量算出工程および前記第二の特徴量算出工程は、
良品の表面について、
前記領域の重要度に応じて解像度を変更して撮像した撮像画像を、
該撮像画像の解像度に応じた複数の単位ブロックに分割し、
該単位ブロックの撮像画像を形成する画素の数量である次元数ｈの次元を有し、かつ、
各画素の輝度値をスカラーとする前記良品についての特徴量であるｈ次元の良品ベクトルを算出する工程と、
検査対象部品の表面について、
前記領域の重要度に応じて解像度を変更して撮像した撮像画像を、
該撮像画像の解像度に応じた複数の単位ブロックに分割し、
該単位ブロックの撮像画像を形成する画素の数量である次元数ｈの次元を有し、かつ、
各画素の輝度値をスカラーとする前記検査対象部品についての特徴量であるｈ次元の入力ベクトルを算出する工程と、
を備え、
前記第一の検査工程は、
前記良品ベクトルと前記入力ベクトルを比較して、前記検査対象部品の欠陥の有無を判断する工程、
を備える、
ことを特徴とする請求項３に記載の欠陥検出方法。
【請求項５】
前記良品ベクトルを算出する工程は、
主成分分析の手法によって、
前記ｈ次元の良品ベクトルを、三次元の良品ベクトルとして次元数を削減して算出し、
前記入力ベクトルを算出する工程は、
主成分分析の手法によって、
前記ｈ次元の入力ベクトルを、三次元の入力ベクトルとして次元数を削減して算出する、
ことを特徴とする請求項４に記載の欠陥検出方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２０１０−２２３９３２（Ｐ２０１０−２２３９３２Ａ）
【公開日】平成２２年１０月７日（２０１０．１０．７）
【国際特許分類】
【出願番号】特願２００９−１９１３６７（Ｐ２００９−１９１３６７）
【出願日】平成２１年８月２０日（２００９．８．２０）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
【公開日】平成２２年１０月７日（２０１０．１０．７）
【国際特許分類】
【出願日】平成２１年８月２０日（２００９．８．２０）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
[ Back to top ]