画像処理装置、画像処理方法及びコンピュータプログラム
【課題】表面の凹凸、輪郭線近傍の欠陥等の存在を高い精度で検出することができ、良品判定を確実に行うことができる画像処理装置、画像処理方法、及びコンピュータプログラムを提供する。
【解決手段】撮像手段で撮像された、良品に関する複数の第一の多値画像を取得し、取得した第一の多値画像の画素ごとに、撮像手段からの距離を濃淡値に変換した第一の距離画像を生成する。生成した第一の距離画像の画素ごとの濃淡値の、良品判定を行うための分布範囲を算出する。判定対象物に関する第二の多値画像を取得し、取得した第二の多値画像の画素ごとに、撮像手段からの距離を濃淡値に変換した第二の距離画像を生成する。生成した第二の距離画像の画素ごとの濃淡値が対応する分布範囲に含まれているか否かを判断する。
【解決手段】撮像手段で撮像された、良品に関する複数の第一の多値画像を取得し、取得した第一の多値画像の画素ごとに、撮像手段からの距離を濃淡値に変換した第一の距離画像を生成する。生成した第一の距離画像の画素ごとの濃淡値の、良品判定を行うための分布範囲を算出する。判定対象物に関する第二の多値画像を取得し、取得した第二の多値画像の画素ごとに、撮像手段からの距離を濃淡値に変換した第二の距離画像を生成する。生成した第二の距離画像の画素ごとの濃淡値が対応する分布範囲に含まれているか否かを判断する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、判定対象物を撮像して取得した多値画像及び撮像手段からの距離を濃淡値に変換した距離画像を、基準となる多値画像及び距離画像と比較する画像処理装置、画像処理方法、及びコンピュータプログラムに関する。
【背景技術】
【０００２】
従来、判定対象物を撮像して取得した多値画像を、基準となる多値画像と単純に比較することにより、判定対象物が良品であるか否かを判定する方法が開発されている。しかし、両画像を単純に比較するだけでは、良品自体の形状ばらつき、計算誤差、ノイズ等による画素値変動を考慮することができず、良品であるにもかかわらず良品ではないと誤って判定する等、正しく良品判定を行うことができないおそれがある等の問題があった。
【０００３】
斯かる問題を解決するために、例えば特許文献１では、複数の良品に関する多値画像を準備しておき、それらの平均画像、標準偏差画像を求めることで、安定した良品判定を可能としている。具体的には、複数の良品に関する多値画像について位置合わせを行った後、同一座標の画素ごとに画素値の平均値及び標準偏差を算出する。判定対象物の多値画像について良品に関する多値（平均）画像との間で位置合わせを行った後、同一座標の画素ごとに、平均値との差分値を算出し、標準偏差に基づいて定義した閾値画像と画素ごとに比較することにより、良品判定を行っている。
【０００４】
このようにすることで、良品自体の形状ばらつき、計算誤差、ノイズ等による画素値変動分を画素ごとの画素値のばらつき度合に応じて効果的に排除することができるとともに、画素ごとに良品であると判定する範囲が相違することから、良品の部位ごとに適切な良品判定の閾値を設定することができる。したがって、より高い精度で良品判定を行うことが可能となっている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−２６５６６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、特許文献１に開示されている画像処理方法では、濃淡値の差異として表れにくい判定対象物表面の凹凸を検出することができない。したがって、色の相違、表面の凹凸の相違が良品の分布範囲に含まれているにもかかわらず、判定対象物を載置した位置のばらつき等により光の当たり方が変化し、濃淡値の差異が実際より大きく検出されることで、良品ではないと誤って判定されるおそれがあった。
【０００７】
また、三次元形状の差異を判断するべく、判定対象物の三次元形状を測定した三次元データと、判定対象物の三次元ＣＡＤデータとを比較することも考えられる。しかし、実測値として正確な三次元データを取得する必要があり、多くの方向から計測した複数の計測データで三次元データを構成する等、良品であるか否かを判定するまでに相当の時間を要し、しかも装置自体が高価となる。
【０００８】
さらに、欠陥が輪郭線の近傍に生じている場合、輪郭線近傍では画素値の標準偏差が大きいことから欠陥として認識することが困難であり、欠陥の存在を検出する感度が低くなってしまうという問題点があった。輪郭線の近傍にて画素値の標準偏差が大きくなるのは、判定対象物を載置した位置のばらつき、撮像位置の相違、良品自体の形状ばらつき等に起因する。
【０００９】
本発明は上記事情に鑑みてなされたものであり、表面の凹凸、輪郭線近傍の欠陥等の存在を高い精度で検出することができ、良品判定を確実に行うことができる画像処理装置、画像処理方法、及びコンピュータプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために第１発明に係る画像処理装置は、判定対象物を撮像した多値画像を、良品に関する多値画像群と比較して良品判定を行う画像処理装置において、撮像手段で撮像された、良品に関する複数の第一の多値画像を取得する良品画像取得手段と、取得した第一の多値画像の画素ごとに、前記撮像手段からの距離を濃淡値に変換した第一の距離画像を生成する良品距離画像生成手段と、生成した第一の距離画像の画素ごとの濃淡値の、良品判定を行うための分布範囲を算出する分布範囲算出手段と、判定対象物に関する第二の多値画像を取得する多値画像取得手段と、取得した第二の多値画像の画素ごとに、前記撮像手段からの距離を濃淡値に変換した第二の距離画像を生成する対象距離画像生成手段と、生成した前記第二の距離画像の画素ごとの濃淡値が対応する前記分布範囲に含まれているか否かを判断する判断手段とを備えることを特徴とする。
【００１１】
また、第２発明に係る画像処理装置は、第１発明において、複数の前記撮像手段を備え、前記良品距離画像生成手段又は前記対象距離画像生成手段は、複数の前記撮像手段で撮像された複数の前記第一の多値画像又は前記第二の多値画像に基づいて前記第一の距離画像又は前記第二の距離画像を生成するようにしてあることを特徴とする。
【００１２】
また、第３発明に係る画像処理装置は、第１発明において、前記撮像手段と、判定対象物に対して光を照射する光照射手段とを備え、前記良品距離画像生成手段又は前記対象距離画像生成手段は、前記撮像手段で撮像された前記第一の多値画像又は前記第二の多値画像、及び照射した光に基づいて前記第一の距離画像又は前記第二の距離画像を生成するようにしてあることを特徴とする。
【００１３】
また、第４発明に係る画像処理装置は、第１乃至第３発明のいずれか１つにおいて、前記第一の多値画像の画素ごとに、色成分に関する画素値を特徴量として抽出する第一の特徴量抽出手段と、前記第一の多値画像又は前記第一の距離画像の画素ごとに、異なる二方向におけるエッジ強度を特徴量として抽出する第二の特徴量抽出手段とを少なくとも含む複数の特徴量抽出手段のうち、少なくとも１つの特徴量抽出手段の選択を受け付ける選択受付手段を備え、前記分布範囲算出手段は、選択を受け付けた特徴量抽出手段により抽出した特徴量に基づいて、前記分布範囲を算出するようにしてあり、前記判断手段は、前記第二の多値画像又は前記第二の距離画像の画素ごとに、選択を受け付けた特徴量抽出手段により特徴量を抽出し、抽出した特徴量が対応する前記分布範囲に含まれているか否かを判断するようにしてあることを特徴とする。
【００１４】
また、第５発明に係る画像処理装置は、第４発明において、前記第一の特徴量抽出手段の選択を受け付けた場合、前記分布範囲算出手段は、前記第一の多値画像の画素ごとに、色成分に関する画素値の平均値を算出する画素平均値算出手段と、算出した色成分に関する画素値の平均値に基づいて、前記第一の多値画像の画素ごとに、色成分それぞれを座標軸とする多次元空間における画素値の分布範囲を算出する画素値分布範囲算出手段とを有し、前記判断手段は、前記第二の多値画像の画素ごとに、色成分に関する画素値を算出して、色成分それぞれを座標軸とする多次元空間における画素値の分布範囲に含まれているか否かを判断するようにしてあり、前記第二の特徴量抽出手段の選択を受け付けた場合、前記分布範囲算出手段は、前記第一の多値画像又は前記第一の距離画像の画素ごとに、異なる二方向におけるエッジ強度を算出する方向別エッジ強度算出手段と、算出したエッジ強度に基づいて、前記第一の多値画像又は前記第一の距離画像の画素ごとに、異なる二方向におけるエッジ強度の平均値を算出するエッジ強度平均値算出手段と、算出した平均値を中心として、前記第一の多値画像又は前記第一の距離画像の画素ごとに、異なる二方向におけるエッジ強度の相互相関分布範囲を算出するエッジ強度分布範囲算出手段とを有し、前記判断手段は、前記第二の多値画像又は前記第二の距離画像の画素ごとに、異なる二方向におけるエッジ強度を算出して、算出したエッジ強度が対応する前記相互相関分布範囲に含まれているか否かを判断するようにしてあることを特徴とする。
【００１５】
また、第６発明に係る画像処理装置は、第５発明において、前記方向別エッジ強度算出手段は、前記エッジ強度を互いに直交する二方向にて算出するようにしてあることを特徴とする。
【００１６】
また、第７発明に係る画像処理装置は、第６発明において、前記方向別エッジ強度算出手段は、前記エッジ強度を二次元画像における行方向と列方向との二方向にて算出するようにしてあることを特徴とする。
【００１７】
また、第８発明に係る画像処理装置は、第５乃至第７発明のいずれか１つにおいて、前記エッジ強度分布範囲算出手段は、仮想的な楕円領域として前記相互相関分布範囲を算出するようにしてあることを特徴とする。
【００１８】
また、第９発明に係る画像処理装置は、第１乃至第８発明のいずれか１つにおいて、前記第一の多値画像と前記第二の多値画像との位置合わせ又は前記第一の距離画像と前記第二の距離画像との位置合わせを行う位置調整手段を備えることを特徴とする。
【００１９】
また、第１０発明に係る画像処理装置は、第１乃至第９発明のいずれか１つにおいて、前記選択受付手段が、複数の特徴量抽出手段の選択を受け付けた場合であって、前記判断手段が、選択を受け付けた特徴量抽出手段で抽出された特徴量のうち、いずれかの特徴量がそれぞれの特徴量に対応する前記分布範囲に含まれていないと判断したとき、前記判定対象物は良品ではないと判定するようにしてあることを特徴とする。
【００２０】
次に、上記目的を達成するために第１１発明に係る画像処理方法は、判定対象物を撮像した多値画像を、良品に関する多値画像群と比較して良品判定を行う画像処理装置で実行することが可能な画像処理方法において、撮像手段で撮像された、良品に関する複数の第一の多値画像を取得するステップと、取得した第一の多値画像の画素ごとに、前記撮像手段からの距離を濃淡値に変換した第一の距離画像を生成するステップと、生成した第一の距離画像の画素ごとの濃淡値の、良品判定を行うための分布範囲を算出するステップと、判定対象物に関する第二の多値画像を取得するステップと、取得した第二の多値画像の画素ごとに、前記撮像手段からの距離を濃淡値に変換した第二の距離画像を生成するステップと、生成した前記第二の距離画像の画素ごとの濃淡値が対応する前記分布範囲に含まれているか否かを判断するステップとを含むことを特徴とする。
【００２１】
次に、上記目的を達成するために第１２発明に係るコンピュータプログラムは、判定対象物を撮像した多値画像を、良品に関する多値画像群と比較して良品判定を行う画像処理装置で実行することが可能なコンピュータプログラムにおいて、前記画像処理装置を、撮像手段で撮像された、良品に関する複数の第一の多値画像を取得する良品画像取得手段、取得した第一の多値画像の画素ごとに、前記撮像手段からの距離を濃淡値に変換した第一の距離画像を生成する良品距離画像生成手段、生成した第一の距離画像の画素ごとの濃淡値の、良品判定を行うための分布範囲を算出する分布範囲算出手段、判定対象物に関する第二の多値画像を取得する多値画像取得手段、取得した第二の多値画像の画素ごとに、前記撮像手段からの距離を濃淡値に変換した第二の距離画像を生成する対象距離画像生成手段、及び生成した前記第二の距離画像の画素ごとの濃淡値が対応する前記分布範囲に含まれているか否かを判断する判断手段として機能させることを特徴とする。
【００２２】
第１発明、第１１発明及び第１２発明では、撮像手段で撮像された、良品に関する複数の第一の多値画像を取得し、取得した第一の多値画像の画素ごとに、撮像手段からの距離を濃淡値に変換した第一の距離画像を生成する。生成した第一の距離画像の画素ごとの濃淡値の、良品判定を行うための分布範囲を算出する。判定対象物に関する第二の多値画像を取得し、取得した第二の多値画像の画素ごとに、撮像手段からの距離を濃淡値に変換した第二の距離画像を生成し、生成した第二の距離画像の画素ごとの濃淡値が対応する分布範囲に含まれているか否かを判断する。第二の距離画像に基づいて、良品であるか否かを判断するので、従来の方法では検出することが困難である判定対象物表面の凹凸を検出することができ、判定対象物を載置した位置のばらつき等により光の当たり方が変化した場合であっても、良品ではないと誤って判定される可能性を低減することが可能となる。
【００２３】
第２発明では、複数の撮像手段を備え、複数の撮像手段で撮像された複数の第一の多値画像又は第二の多値画像に基づいて第一の距離画像又は第二の距離画像を生成する。複数の撮像手段を備えることにより、複数の多値画像を取得することができ、ステレオ計測法等のいわゆるパッシブ方式にて距離画像を生成することができる。
【００２４】
第３発明では、撮像手段と、判定対象物に対して光を照射する光照射手段とを備え、撮像手段で撮像された第一の多値画像又は第二の多値画像、及び照射した光に基づいて第一の距離画像又は第二の距離画像を生成する。これにより、高さ方向の距離を計測するために光を能動的に照射することができ、光切断法、パターン投影法等のいわゆるアクティブ方式にて距離画像を生成することができる。
【００２５】
第４発明では、第一の多値画像の画素ごとに、色成分に関する画素値を特徴量として抽出する第一の特徴量抽出手段と、第一の多値画像又は第一の距離画像の画素ごとに、それぞれ異なる二方向におけるエッジ強度を特徴量として抽出する第二の特徴量抽出手段とを少なくとも含む複数の特徴量抽出手段のうち、少なくとも１つの特徴量抽出手段の選択を受け付ける。選択を受け付けた特徴量抽出手段により抽出した特徴量に基づいて分布範囲を算出し、第二の多値画像又は第二の距離画像の画素ごとに、選択を受け付けた特徴量抽出手段により特徴量を抽出し、抽出した特徴量が対応する分布範囲に含まれているか否かを判断する。第二の多値画像又は第二の距離画像の性状に応じて、特徴量抽出手段を選択することができるので、適切な特徴量を選択することにより、欠陥が輪郭線近傍に生じている場合であっても欠陥の存在を検出することができ、色の相違についても高い感度で検出することが可能となる。例えば選択を受け付けた特徴量が色成分に関する画素値である場合、色の相違による濃淡のばらつきの存在を検出することができ、選択を受け付けた特徴量が異なる二方向におけるエッジ強度である場合、輪郭線近傍の欠陥の存在を検出することができる。
【００２６】
第５発明では、第一の特徴量抽出手段の選択を受け付けた場合、第一の多値画像の画素ごとに、色成分に関する画素値の平均値を算出し、算出した色成分に関する画素値の平均値に基づいて、第一の多値画像の画素ごとに、色成分それぞれを座標軸とする多次元空間における画素値の分布範囲を算出する。第二の多値画像の画素ごとに、色成分に関する画素値を算出して、色成分それぞれを座標軸とする多次元空間における画素値の分布範囲に含まれているか否かを判断する。第二の特徴量抽出手段の選択を受け付けた場合、第一の多値画像又は第一の距離画像の画素ごとに、異なる二方向におけるエッジ強度を算出し、算出したエッジ強度に基づいて、第一の多値画像又は第一の距離画像の画素ごとに、異なる二方向におけるエッジ強度の平均値を算出し、算出した平均値を中心として、第一の多値画像又は第一の距離画像の画素ごとに、異なる二方向におけるエッジ強度の相互相関分布範囲を算出する。第二の多値画像又は第二の距離画像の画素ごとに、異なる二方向におけるエッジ強度を算出して、算出したエッジ強度が対応する相互相関分布範囲に含まれているか否かを判断する。これにより、選択を受け付けた特徴量が色成分に関する画素値である場合、算出した画素値の分布範囲に含まれているか否かにより色の相違を検出することができ、選択を受け付けた特徴量が異なる二方向におけるエッジ強度である場合、算出したエッジ強度の相互相関分布範囲に含まれているか否かにより、輪郭線近傍の欠陥の存在を検出することができる。
【００２７】
第６発明では、エッジ強度を互いに直交する二方向にて算出することにより、相互相関分布範囲の算出が容易となり、演算処理負荷を軽減することが可能となる。
【００２８】
第７発明では、エッジ強度を二次元画像における行方向と列方向との二方向にて算出することにより、さらに相互相関分布範囲の算出が容易となり、演算処理負荷をより軽減することが可能となる。
【００２９】
第８発明では、仮想的な楕円領域として相互相関分布範囲を算出することにより、第二の多値画像又は第二の距離画像の画素ごとに算出した異なる二方向におけるエッジ強度が、相互相関分布範囲に含まれているか否かをより容易に判断することが可能となる。
【００３０】
第９発明では、第一の多値画像と第二の多値画像との位置合わせ又は第一の距離画像と第二の距離画像との位置合わせを行うことにより、第二の多値画像又は第二の距離画像の画素ごとに算出した異なる二方向におけるエッジ強度が、相互相関分布範囲に含まれているか否かをより正確に判断することが可能となる。
【００３１】
第１０発明では、複数の特徴量抽出手段の選択を受け付けた場合であって、選択を受け付けた特徴量抽出手段で抽出された特徴量のうち、いずれかの特徴量がそれぞれの特徴量に対応する分布範囲に含まれていないと判断したとき、判定対象物は良品ではないと判定する。これにより、従来は不適切な特徴量に基づいて、本来良品ではない判定対象物を誤って良品であると判定していた場合であっても、適切な特徴量に基づいて良品ではないと正しく判定することが可能となる。
【発明の効果】
【００３２】
本発明によれば、第二の距離画像に基づいて、良品であるか否かを判断するので、従来の方法では検出することが困難である判定対象物表面の凹凸を検出することができ、判定対象物を載置した位置のばらつき等により光の当たり方が変化した場合であっても、良品ではないと誤って判定される可能性を低減することが可能となる。
【図面の簡単な説明】
【００３３】
【図１】本発明の実施の形態１に係る画像処理装置の構成を模式的に示すブロック図である。
【図２】本発明の実施の形態１に係る画像処理装置の一構成例を示す機能ブロック図である。
【図３】本発明の実施の形態１に係る距離画像を説明するための斜視図及び距離画像の例示図である。
【図４】本発明の実施の形態１に係る画像処理装置の主制御部の良品情報収集処理の手順を示すフローチャートである。
【図５】本発明の実施の形態１に係る画像処理装置の主制御部の良品判定処理の手順を示すフローチャートである。
【図６】本発明の実施の形態２に係る画像処理装置の一構成例を示す機能ブロック図である。
【図７】本発明の実施の形態２に係る画像処理装置の主制御部の良品情報収集処理の手順を示すフローチャートである。
【図８】本発明の実施の形態２に係る画像処理装置の主制御部の良品判定処理の手順を示すフローチャートである。
【図９】本発明の実施の形態２に係る画像処理装置の第一の特徴量抽出手段の選択を受け付けた場合の分布範囲算出手段の機能ブロック図である。
【図１０】本発明の実施の形態２に係る画像処理装置の第一の特徴量抽出手段の選択を受け付けた場合の、画素値の分布範囲を示す例示図である。
【図１１】本発明の実施の形態２に係る画像処理装置の主制御部の、第一の特徴量抽出手段の選択を受け付けた場合の、分布範囲算出処理の手順を示すフローチャートである。
【図１２】本発明の実施の形態２に係る画像処理装置の第二の特徴量抽出手段の選択を受け付けた場合の分布範囲算出手段の機能ブロック図である。
【図１３】本発明の実施の形態２に係る画像処理装置の所定の画素ごとの異なる二方向におけるエッジ強度の相互相関分布範囲の例示図である。
【図１４】本発明の実施の形態２に係る画像処理装置の主制御部の、第二の特徴量抽出手段の選択を受け付けた場合の、分布範囲算出処理の手順を示すフローチャートである。
【図１５】本発明の実施の形態２に係る画像処理装置の主制御部の、第二の特徴量抽出手段の選択を受け付けた場合の、良品判定処理の手順を示すフローチャートである。
【発明を実施するための形態】
【００３４】
以下、本発明の実施の形態に係る画像処理装置について、図面を参照して説明する。なお、参照する図面を通じて、同一又は同様の構成又は機能を有する要素については、同一又は同様の符号を付して、詳細な説明を省略する。
【００３５】
（実施の形態１）
図１は、本発明の実施の形態１に係る画像処理装置の構成を模式的に示すブロック図である。図１に示すように本実施の形態１に係る画像処理装置２は、判定対象物又は良品の多値画像を撮像する撮像手段であるカメラ１、判定対象物又は良品にレーザ光を照射するライト９及び撮像された多値画像、生成された距離画像又は演算処理の途上で生成された画像を表示する画像表示手段である表示装置３に接続されている。
【００３６】
画像処理装置２は、少なくともＣＰＵ（中央演算装置）、ＬＳＩ等で構成された主制御部２１、メモリ２２、記憶手段２３、入力手段２４、出力手段２５、通信手段２６、補助記憶手段２７及び上述したハードウェアを接続する内部バス２８で構成されている。主制御部２１は、内部バス２８を介して画像処理装置２の上述したようなハードウェア各部と接続されており、上述したハードウェア各部の動作を制御するとともに、記憶手段２３に記憶されているコンピュータプログラム５に従って、種々のソフトウェア的機能を実行する。メモリ２２は、ＳＲＡＭ、ＳＤＲＡＭ等の揮発性メモリで構成され、コンピュータプログラム５の実行時にロードモジュールが展開され、コンピュータプログラム５の実行時に発生する一時的なデータ等を記憶する。
【００３７】
記憶手段２３は、内蔵される固定型記憶装置（ハードディスク、フラッシュメモリ）、ＲＯＭ等で構成されている。記憶手段２３に記憶されているコンピュータプログラム５は、プログラム及びデータ等の情報を記録したＤＶＤ、ＣＤ−ＲＯＭ、フラッシュメモリ等の可搬型記録媒体４から、補助記憶手段２７によりダウンロードされ、実行時には記憶手段２３からメモリ２２へ展開して実行される。もちろん、通信手段２６を介して外部のコンピュータからダウンロードされたコンピュータプログラムであっても良い。
【００３８】
記憶手段２３は、取得した良品に関する複数の多値画像に関する多値画像データを記憶しておく良品画像データ記憶部２３１と、良品画像データ記憶部２３１に記憶してある良品に関する複数の多値画像データに基づいて、画素ごとに濃淡値の分布範囲に関する情報（分布範囲情報）を記憶する分布範囲情報記憶部２３２とを備えている。判定対象物の特徴量が、分布範囲情報記憶部２３２に記憶してある分布範囲情報に基づいて特定される分布範囲に含まれているか否かの判断に応じて、判定対象物が良品であるか否かを判定する。
【００３９】
通信手段２６は内部バス２８に接続されており、インターネット、ＬＡＮ、ＷＡＮ等の外部のネットワークに接続されることにより、外部のコンピュータ等とデータ送受信を行うことが可能となっている。すなわち、上述した記憶手段２３は、画像処理装置２に内蔵される構成に限定されるものではなく、通信手段２６を介して接続されている外部のサーバコンピュータ等に設置されているハードディスク等の外部記録媒体であっても良い。
【００４０】
入力手段２４は、キーボード及びマウス等のデータ入力媒体の他、液晶パネル等と一体となったタッチパネル等の入力情報を取得する装置全般を含む広い概念である。出力手段２５は、レーザプリンタ、ドットプリンタ等の印刷装置等を意味する。
【００４１】
カメラ（撮像手段）１は、ＣＣＤ撮像素子を備えたＣＣＤカメラ等である。表示装置３は、ＣＲＴ、液晶パネル等を有する表示装置である。また、ライト（光照射手段）９は、判定対象物及び良品に対してレーザ光を照射し、例えば正弦波縞パターンの位相をずらして撮像した複数の多値画像を取得することができる。
【００４２】
なお、一基のカメラ１と一基のライト９とを用いる構成に限定されるものではなく、カメラ１を複数用いても良い。複数のカメラ１、１、・・・により取得した複数の多値画像に基づいてステレオ計測法等を用いることにより、カメラ１から判定対象物までの距離を求め、距離画像を生成することができるからである。
【００４３】
また、カメラ１、表示装置３、ライト９等は、画像処理装置２と一体化されていても良いし、分離されていても良い。
【００４４】
外部制御機器６は、通信手段２６を介して接続されている制御機器であり、例えばＰＬＣ（プログラマブルロジックコントローラ）等が相当する。ここで外部制御機器６とは、画像処理装置２による画像処理結果に応じて後処理を実行する機器全般を意味している。
【００４５】
図２は、本発明の実施の形態１に係る画像処理装置２の一構成例を示す機能ブロック図である。図２において、本実施の形態１に係る画像処理装置２は、カメラ１と、ライト９と、画像処理装置２の処理を実行する画像処理部７と、記憶手段２３と、画像表示部８とから構成される。
【００４６】
カメラ１は、例えばディジタルカメラであり、判定対象物として例えばフィルム表面を撮像し多値画像を取得して画像処理部７へ出力する。また、ライト９から光を照射することにより、判定対象物又は良品の表面に縞パターンを投影する。カメラ１は、投影された縞パターンを撮像する。画像処理装置２は、カメラ１により撮像された縞パターンを縞パターン画像として取得して、縞パターンの位相解析を実行することにより距離画像を生成し、記憶装置２３に記憶する。なお、ライト９の光照射制御は、例えば主制御部２１により行うことができる。
【００４７】
画像処理部７は、良品画像取得手段７１と、良品距離画像生成手段７２と、分布範囲算出手段７３と、多値画像取得手段７４と、対象距離画像生成手段７５と、位置調整手段７６と、判断手段７７とを含む。また、画像処理部７は、主制御部２１、メモリ２２、外部Ｉ／Ｆ等を含んで構成され、良品画像取得手段７１、良品距離画像生成手段７２、分布範囲算出手段７３、多値画像取得手段７４、対象距離画像生成手段７５、位置調整手段７６及び判断手段７７の処理動作を制御する。
【００４８】
記憶手段２３は、画像メモリとして機能し、カメラ１で撮像した多値画像に関する多値画像データ、ライト９から光を照射することにより投影された縞パターンをカメラ１で撮像した縞パターン画像に基づいて生成した距離画像に関する距離画像データ、及び画像処理部７において位置合わせ、平均値算出等の各種処理を行った後の画像データを随時記憶する。画像データとしてではなく、画素ごとの画素値データとして記憶しても良い。
【００４９】
画像表示部８は、コンピュータ用のモニタ等の表示装置３で構成される。画像表示部８は、良品判定の対象となる判定対象物を撮像した多値画像、良品であるか否かの判定結果を、表示装置３の表示画面上に表示させる。すなわち多値画像表示手段８１は、画像処理部７の指示に応じた多値画像を表示装置３の表示画面上に表示させ、判定結果表示手段８２は、判定対象物が良品であるか否かの判定結果を表示装置３の表示画面上に表示させる。
【００５０】
次に、画像処理部７の各構成について説明する。
【００５１】
良品画像取得手段７１は、カメラ１で撮像した、良品に関する複数の多値画像（第一の多値画像）を取得する。すなわち、良品に関する多値画像を複数取得しておくことにより、取得した多値画像の画素ごとに複数の特徴量を抽出することができる。取得した多値画像に関する多値画像データは、記憶手段２３の良品画像データ記憶部２３１に記憶される。
【００５２】
良品距離画像生成手段７２は、ライト９から光を照射することにより投影された縞パターンをカメラ１で撮像した縞パターン画像に基づいて、縞パターンの位相解析を実行することにより、良品の表面からカメラ１までの距離に応じて画素ごとに濃淡値を特定した良品距離画像（第一の距離画像）を生成する。図３は、本発明の実施の形態１に係る距離画像を説明するための斜視図及び距離画像の例示図である。
【００５３】
図３（ａ）は、本発明の実施の形態１に係る距離画像を説明するための斜視図である。図３（ａ）の例では、半径の異なる２つの円柱を重ね合わせた形状を有するワーク３０１の上方にカメラ１を設置してある。ワーク３０１の最上面Ｓ１とカメラ１との距離をＬ１、ワーク３０１の中段面Ｓ２とカメラ１との距離をＬ２、ワーク３０１の載置面Ｓ３とカメラ１との距離をＬ３とし、ワークの高さＨを（Ｌ３−Ｌ１）とする。
【００５４】
図３（ｂ）は、本発明の実施の形態１に係る距離画像の例示図である。図３（ｂ）に示すように、ワーク３０１の最上面Ｓ１が最も濃く（例えば黒色）、ワーク３０１の載置面Ｓ３が最も薄く（例えば白色）、ワーク３０１の中段面Ｓ２が中間色（例えば灰色）となっている。すなわち、ワーク３０１とカメラ１との間の距離Ｌ１、Ｌ２、Ｌ３に応じて、最上面Ｓ１、中段面Ｓ２、載置面Ｓ３の順に各画素の濃淡値が小さくなる距離画像を生成することができる。
【００５５】
なお、距離画像の生成方法は、大別すると２つの方式に分類される。一方は、画像を取得するために特段の光照射手段を用いることなく撮像した画像を用いて生成するパッシブ方式であり、他方は、高さ方向の距離を計測するために光を能動的に照射して生成するアクティブ方式である。本実施の形態１では、ライト９から光を照射して生成するアクティブ方式を採用している。
【００５６】
二基のカメラを用いるステレオ計測法は、パッシブ方式の代表例である。ステレオ計測法は、二基のカメラを所定の位置に配置するだけで距離画像を生成することができる。
【００５７】
一方、アクティブ方式では、光切断法、パターン投影法が代表例として挙げられる。光切断法は、一基のカメラと一基のライト（光照射手段）とを用いて、ワークに対して線状のレーザ光を照射し、ワーク表面の形状に応じた光の像の歪具合に基づいて、ワークの三次元形状を復元する。
【００５８】
パターン投影法は、ワークに投影された所定パターン（例えば縞パターン）の形状、位相等をずらして撮像した複数の多値画像を解析することで、ワークの三次元形状を復元する。本実施の形態１では、正弦波縞パターンの位相をずらして少なくとも三枚の多値画像を撮像し、画素ごとに正弦波の位相を求め、ワークの三次元形状を求める位相シフト法を用いている。
【００５９】
もちろん、これに限定されるものではなく、２つの規則的なパターンが合成される場合に生じる一種の空間周波数のうなり現象を利用して、ワークの三次元形状を復元するモアレポトグラフィ法を用いても良いし、光レーダ法、合焦点法、共焦点法、白色光干渉法等であっても良い。
【００６０】
図２に戻って、分布範囲算出手段７３は、生成した距離画像の画素ごとの濃淡値の、良品判定を行うための分布範囲を算出する。算出した分布範囲に関する情報は、分布範囲の境界を示す関数式、座標値、閾値等として、記憶手段２３の分布範囲情報記憶部２３２に記憶される。
【００６１】
多値画像取得手段７４は、カメラ１で撮像した、判定対象物に関する多値画像（第二の多値画像）を取得する。対象距離画像生成手段７５は、ライト９から光を照射することにより投影された縞パターンをカメラ１で撮像した縞パターン画像に基づいて、縞パターンの位相解析を実行することにより、判定対象物の表面からカメラ１までの距離に応じて画素ごとの濃淡値を特定した対象距離画像（第二の距離画像）を生成する。良品距離画像の生成方法は、良品距離画像生成手段７２と同様である。
【００６２】
位置調整手段７６は、生成した判定対象物に関する対象距離画像と、良品に関する良品距離画像との位置合わせを行う。具体的には、良品に関する複数の良品距離画像の平均画像を算出しておき、平均画像との間で位置合わせを行う。距離画像間で位置合わせを行う手段は、周知の技術であれば特に限定されるものではない。例えば、パターンマッチングにより双方の距離画像の特徴点の位置を検出し、一致していると判断することが可能な上限値及び下限値を用いて位置合わせを行っても良い。また、正規化相関等を算出することにより双方の距離画像の一致度を算出し、一致度が所定値より大きくなるよう位置合わせを行っても良い。もちろん、双方の距離画像の輪郭線、面積、重心等を一致させるよう位置合わせを行っても良い。
【００６３】
なお、本実施の形態では、位置調整手段７６は、生成した判定対象物に関する対象距離画像と、良品に関する良品距離画像との位置合わせを行っているが、特にこれに限定されるものではなく、例えば良品に関する複数の良品距離画像の平均画像を算出する際に複数の良品距離画像間で位置合わせを行っても良い。良品に関する複数の良品距離画像の平均画像を算出する際に複数の良品距離画像間で位置合わせを行う場合、位置調整手段７６により位置合わせを行っても良いし、別途、良品距離画像間位置調整手段等を設けて行っても良い。
【００６４】
判断手段７７は、生成した判定対象物に関する対象距離画像の画素ごとの濃淡値が、算出してある良品に関する良品距離画像の画素ごとの濃淡値の分布範囲に含まれているか否かを判断する。判定対象物に関する対象距離画像の画素ごとの濃淡値が分布範囲に含まれていると判断した場合には、判定対象物が良品であると判定し、含まれていないと判断した場合には、判定対象物が良品ではないと判定する。
【００６５】
図４は、本発明の実施の形態１に係る画像処理装置２の主制御部２１の良品情報収集処理の手順を示すフローチャートである。画像処理装置２の主制御部２１は、カメラ１で撮像した、良品に関する複数の多値画像（第一の多値画像）を取得する（ステップＳ４０１）。主制御部２１は、取得した多値画像群の多値画像データを、記憶手段２３の良品画像データ記憶部２３１に記憶する（ステップＳ４０２）。
【００６６】
主制御部２１は、複数の良品に関して、ライト９から光を照射することにより投影された縞パターンをカメラ１で撮像した縞パターン画像を取得し（ステップＳ４０３）、縞パターンの位相解析を実行することにより、良品の表面からカメラ１までの距離に応じて画素ごとに濃淡値を特定した複数の良品距離画像を生成する（ステップＳ４０４）。主制御部２１は、生成した良品距離画像群の距離画像データを、記憶手段２３に記憶する（ステップＳ４０５）。
【００６７】
主制御部２１は、生成した良品距離画像に基づいて、良品判定を行うための分布範囲を算出する（ステップＳ４０６）。主制御部２１は、算出した分布範囲に関する情報を、分布範囲の境界を示す関数式、座標値、閾値等として、記憶手段２３の分布範囲情報記憶部２３２に記憶する（ステップＳ４０７）。なお、良品判定を行うための分布範囲を算出する場合、複数の良品距離画像間で位置合わせを行っても良い。
【００６８】
図５は、本発明の実施の形態１に係る画像処理装置２の主制御部２１の良品判定処理の手順を示すフローチャートである。画像処理装置２の主制御部２１は、カメラ１で撮像した、判定対象物に関する多値画像（第二の多値画像）を取得する（ステップＳ５０１）。主制御部２１は、ライト９から光を照射することにより投影された縞パターンをカメラ１で撮像した縞パターン画像を取得し（ステップＳ５０２）、縞パターンの位相解析を実行することにより、判定対象物の表面からカメラ１までの距離に応じて画素ごとに濃淡値を特定した対象距離画像を生成する（ステップＳ５０３）。
【００６９】
主制御部２１は、生成した判定対象物に関する対象距離画像と、良品に関する良品距離画像との位置合わせを行う（ステップＳ５０４）。具体的には、良品に関する複数の良品距離画像の平均距離画像を算出しておき、平均距離画像との間で位置合わせを行う。距離画像間で位置合わせを行う手段は、周知の技術であれば特に限定されるものではない。例えば、パターンマッチングにより双方の距離画像の特徴点の位置を検出し、一致していると判断することが可能な上限値及び下限値を用いて位置合わせを行っても良い。また、正規化相関等を算出することにより双方の距離画像の一致度を算出し、一致度が所定値より大きくなるよう位置合わせを行っても良い。もちろん、双方の距離画像の輪郭線、面積、重心等を一致させるよう位置合わせを行っても良い。
【００７０】
主制御部２１は、生成した判定対象物に関する対象距離画像の画素ごとの濃淡値が、算出してある良品に関する良品距離画像の画素ごとの濃淡値の分布範囲に含まれているか否かを判断する（ステップＳ５０５）。主制御部２１が、判定対象物に関する対象距離画像の画素ごとの濃淡値が分布範囲に含まれていると判断した場合（ステップＳ５０５：ＹＥＳ）、主制御部２１は、判定対象物が良品であると判定し、判定対象物が良品である旨を示す情報を判定結果として、表示装置３の表示画面上に表示する（ステップＳ５０６）。
【００７１】
主制御部２１が、判定対象物に関する対象距離画像の画素ごとの濃淡値が分布範囲に含まれていないと判断した場合（ステップＳ５０５：ＮＯ）、主制御部２１は、判定対象物が良品ではないと判定し、判定対象物が良品ではない旨を示す情報を判定結果として、表示装置３の表示画面上に表示する（ステップＳ５０７）。
【００７２】
以上のように本実施の形態１によれば、第二の距離画像に基づいて、良品であるか否かを判断するので、従来の方法では検出することが困難である判定対象物表面の凹凸を検出することができ、判定対象物を載置した位置のばらつき等により光の当たり方が変化した場合であっても、良品ではないと誤って判定される可能性を低減することが可能となる。
【００７３】
（実施の形態２）
本発明の実施の形態２に係る画像処理装置の構成は、実施の形態１と同様であることから、同一の符号を付することにより詳細な説明を省略する。本実施の形態２は、複数の特徴量抽出手段を有し、取得した多値画像又は生成した距離画像それぞれの特徴量を抽出することにより、良品であるか否かを判断する点で、実施の形態１とは相違する。
【００７４】
図６は、本発明の実施の形態２に係る画像処理装置２の一構成例を示す機能ブロック図である。図６において、本実施の形態２に係る画像処理装置２は、実施の形態１と同様、カメラ１と、ライト９と、画像処理装置２の処理を実行する画像処理部７と、記憶手段２３と、画像表示部８とから構成される。
【００７５】
カメラ１は、例えばディジタルカメラであり、判定対象物として例えばフィルム表面を撮像し多値画像を取得して画像処理部７へ出力する。また、ライト９から光を照射することにより、判定対象物又は良品の表面に縞パターンを投影する。カメラ１は、投影された縞パターンを撮像する。画像処理装置２は、カメラ１により撮像された縞パターンを縞パターン画像として取得して、縞パターンの位相解析を実行することにより距離画像を生成し、記憶装置２３に記憶する。
【００７６】
画像処理部７は、良品画像取得手段７１と、良品距離画像生成手段７２と、選択受付手段７８と、特徴量抽出手段７９（選択特徴量抽出手段７９ｃ）と、分布範囲算出手段７３と、多値画像取得手段７４と、対象距離画像生成手段７５と、位置調整手段７６と、判断手段７７とを含む。また、画像処理部７は、主制御部２１、メモリ２２、外部Ｉ／Ｆ等を含んで構成され、良品画像取得手段７１、良品距離画像生成手段７２、選択受付手段７８、特徴量抽出手段７９（選択特徴量抽出手段７９ｃ）、分布範囲算出手段７３、多値画像取得手段７４、対象距離画像生成手段７５、位置調整手段７６、及び判断手段７７の処理動作を制御する。
【００７７】
記憶手段２３は、画像メモリとして機能し、カメラ１により撮像した多値画像に関する多値画像データ、ライト９から光を照射することにより投影された縞パターンをカメラ１で撮像した縞パターン画像に基づいて生成した距離画像に関する距離画像データ、及び画像処理部７において位置合わせ、平均値算出等の各種処理を行った後の画像データを随時記憶する。画像データとしてではなく、画素ごとの画素値データとして記憶しても良い。
【００７８】
画像表示部８は、コンピュータ用のモニタ等の表示装置３で構成される。画像表示部８は、良品判定の対象となる判定対象物を撮像した多値画像、良品であるか否かの判定結果を、表示装置３の表示画面上に表示させる。すなわち多値画像表示手段８１は、画像処理部７の指示に応じた多値画像を表示装置３の表示画面上に表示させ、判定結果表示手段８２は、判定対象物が良品であるか否かの判定結果を表示装置３の表示画面上に表示させる。
【００７９】
次に、画像処理部７の各構成について説明する。
【００８０】
良品画像取得手段７１は、カメラ１で撮像した、良品に関する複数の多値画像（第一の多値画像）を取得する。すなわち、良品に関する多値画像を複数取得しておくことにより、取得した多値画像の画素ごとに複数の特徴量を抽出することができる。取得した多値画像に関する多値画像データは、記憶手段２３の良品画像データ記憶部２３１に記憶される。
【００８１】
良品距離画像生成手段７２は、ライト９から光を照射することにより投影された縞パターンをカメラ１で撮像した縞パターン画像に基づいて、縞パターンの位相解析を実行することにより、良品の表面からカメラ１までの距離に応じて画素ごとに濃淡値を特定した良品距離画像（第一の距離画像）を生成する。
【００８２】
選択受付手段７８は、特徴量を抽出する複数の特徴量抽出手段のうち、少なくとも１つの特徴量抽出手段の選択を受け付ける。すなわち、本実施の形態２では、後述する第一の特徴量抽出手段７９ａ又は第二の特徴量抽出手段７９ｂの選択を受け付ける。なお、第一の特徴量抽出手段７９ａ又は第二の特徴量抽出手段７９ｂのいずれか１つの選択を受け付けても良いし、両方の選択を受け付けても良い。また、その他の特徴量抽出手段を含めた複数の特徴量抽出手段の中から選択を受け付けても良いことは言うまでもない。
【００８３】
特徴量抽出手段７９は、第一の特徴量抽出手段７９ａと第二の特徴量抽出手段７９ｂとを備えている。第一の特徴量抽出手段７９ａは、取得した多値画像又は生成した距離画像の画素ごとに、色成分に関する画素値を特徴量として抽出する。第二の特徴量抽出手段７９ｂは、取得した多値画像又は生成した距離画像の画素ごとに、異なる二方向におけるエッジ強度を特徴量として抽出する。特徴量が色成分に関する画素値である場合、色の相違を検出することができ、特徴量が異なる二方向におけるエッジ強度である場合、輪郭線近傍の欠陥の存在を検出することができる。
【００８４】
分布範囲算出手段７３は、選択を受け付けた特徴量抽出手段７９により抽出した特徴量に基づいて、良品判定を行うための分布範囲を算出する。第一の特徴量抽出手段７９ａの選択を受け付けた場合には、分布範囲算出手段７３ａにより、第二の特徴量抽出手段７９ｂの選択を受け付けた場合には、分布範囲算出手段７３ｂにより、それぞれ分布範囲を算出する。算出した分布範囲に関する情報は、分布範囲の境界を示す関数式、座標値、閾値等として、記憶手段２３の分布範囲情報記憶部２３２に記憶される。
【００８５】
多値画像取得手段７４は、カメラ１で撮像した、判定対象物に関する多値画像（第二の多値画像）を取得する。対象距離画像生成手段７５は、ライト９から光を照射することにより投影された縞パターンをカメラ１で撮像した縞パターン画像に基づいて、縞パターンの位相解析を実行することにより、判定対象物の表面からカメラ１までの距離に応じて画素ごとに濃淡値を特定した対象距離画像（第二の距離画像）を生成する。対象距離画像の生成方法は、良品距離画像生成手段７２と同様である。
【００８６】
位置調整手段７６は、判定対象物に関する多値画像と、良品に関する多値画像との位置合わせ、及び生成した判定対象物に関する対象距離画像と、良品に関する良品距離画像との位置合わせを行う。具体的には、良品に関する複数の多値画像又は良品距離画像の平均画像を算出しておき、平均画像との間で位置合わせを行う。多値画像間又は距離画像間で位置合わせを行う手段は、周知の技術であれば特に限定されるものではない。例えば、パターンマッチングにより双方の多値画像又は距離画像の特徴点の位置を検出し、一致していると判断することが可能な上限値及び下限値を用いて位置合わせを行っても良い。また、正規化相関等を算出することにより双方の多値画像又は距離画像の一致度を算出し、一致度が所定値より大きくなるよう位置合わせを行っても良い。もちろん、双方の多値画像又は距離画像の輪郭線、面積、重心等を一致させるよう位置合わせを行っても良い。
【００８７】
選択特徴量抽出手段７９ｃは、取得した判定対象物に関する多値画像又は生成した対象距離画像の画素ごとに、選択受付手段７８にて選択を受け付けた特徴量抽出手段７９と同じ特徴量抽出手段により特徴量を抽出する。例えば、第一の特徴量抽出手段７９ａの選択を受け付けた場合、判定対象物に関する多値画像又は対象距離画像の画素ごとに、色成分に関する画素値を特徴量として抽出し、第二の特徴量抽出手段７９ｂの選択を受け付けた場合、判定対象物に関する多値画像又は対象距離画像の画素ごとに、異なる二方向におけるエッジ強度を特徴量として抽出する。
【００８８】
判断手段７７は、取得した判定対象物に関する多値画像又は生成した対象距離画像の画素ごとに、選択を受け付けた特徴量抽出手段７９により対応する特徴量を抽出し、抽出した特徴量が、算出してある良品に関する多値画像又は良品距離画像の、同じ特徴量の分布範囲に含まれているか否かを判断する。抽出した特徴量がすべて分布範囲に含まれていると判断した場合には、判定対象物が良品であると判定し、１つでも含まれていないと判断した場合には、判定対象物が良品ではないと判定する。
【００８９】
図７は、本発明の実施の形態２に係る画像処理装置２の主制御部２１の良品情報収集処理の手順を示すフローチャートである。画像処理装置２の主制御部２１は、カメラ１で撮像した、良品に関する複数の多値画像（第一の多値画像）を取得する（ステップＳ７０１）。主制御部２１は、取得した多値画像群の多値画像データを、記憶手段２３の良品画像データ記憶部２３１に記憶する（ステップＳ７０２）。
【００９０】
主制御部２１は、複数の良品に関して、ライト９から光を照射することにより投影された縞パターンをカメラ１で撮像した縞パターン画像を取得し（ステップＳ７０３）、縞パターンの位相解析を実行することにより、良品の表面からカメラ１までの距離に応じて画素ごとの濃淡値を特定した複数の良品距離画像を生成する（ステップＳ７０４）。主制御部２１は、生成した良品距離画像群の距離画像データを、記憶手段２３に記憶する（ステップＳ７０５）。
【００９１】
主制御部２１は、多値画像又は良品距離画像から特徴量を抽出する特徴量抽出手段７９の選択を受け付ける（ステップＳ７０６）。選択対象となる特徴量抽出手段７９は、取得した多値画像又は生成した良品距離画像の画素ごとに、色成分に関する画素値を特徴量として抽出する第一の特徴量抽出手段７９ａ、及び取得した多値画像又は生成した良品距離画像の画素ごとに、異なる二方向におけるエッジ強度を特徴量として抽出する第二の特徴量抽出手段７９ｂである。なお、選択を受け付ける特徴量抽出手段７９は一つであっても良いし、複数であっても良い。
【００９２】
主制御部２１は、選択を受け付けた特徴量抽出手段７９により、多値画像又は良品距離画像の画素ごとに特徴量を抽出し（ステップＳ７０７）、良品判定を行うための分布範囲を抽出した特徴量ごとに算出する（ステップＳ７０８ａ、Ｓ７０８ｂ）。選択を受け付けた特徴量抽出手段７９が一つである場合には、例えばステップＳ７０８ａのみにより、選択を受け付けた特徴量抽出手段７９が二つである場合には、ステップＳ７０８ａ、Ｓ７０８ｂにより、それぞれに対応する分布範囲を、抽出した特徴量ごとに算出する。主制御部２１は、算出した分布範囲に関する情報を、分布範囲の境界を示す関数式、座標値、閾値等として、記憶手段２３の分布範囲情報記憶部２３２に記憶する（ステップＳ７０９）。
【００９３】
図８は、本発明の実施の形態２に係る画像処理装置２の主制御部２１の良品判定処理の手順を示すフローチャートである。画像処理装置２の主制御部２１は、カメラ１で撮像した、判定対象物に関する多値画像（第二の多値画像）を取得する（ステップＳ８０１）。主制御部２１は、取得した判定対象物に関する多値画像と、良品に関する多値画像（第一の多値画像）との位置合わせを行う（ステップＳ８０２）。具体的には、良品に関する複数の多値画像の平均画像を算出しておき、平均画像との間で位置合わせを行う。
【００９４】
主制御部２１は、ライト９から光を照射することにより投影された縞パターンをカメラ１で撮像した縞パターン画像を取得し（ステップＳ８０３）、縞パターンの位相解析を実行することにより、判定対象物の表面からカメラ１までの距離に応じて画素ごとに濃淡値を特定した対象距離画像を生成する（ステップＳ８０４）。
【００９５】
主制御部２１は、生成した判定対象物に関する対象距離画像と、良品に関する良品距離画像との位置合わせを行う（ステップＳ８０５）。具体的には、良品に関する複数の良品距離画像の平均距離画像を算出しておき、平均距離画像との間で位置合わせを行う。
【００９６】
主制御部２１は、取得した判定対象物に関する多値画像又は生成した対象距離画像の画素ごとに、選択を受け付けた特徴量抽出手段７９により特徴量を抽出する（ステップＳ８０６）。例えば、特徴量抽出手段７９として色成分に関する画素値を抽出する第一の特徴量抽出手段７９ａの選択を受け付けた場合には、判定対象物に関する多値画像又は対象距離画像の画素ごとに、色成分に関する画素値を特徴量として抽出し、異なる二方向におけるエッジ強度を抽出する第二の特徴量抽出手段７９ｂの選択を受け付けた場合には、判定対象物に関する多値画像又は対象距離画像の画素ごとに、異なる二方向におけるエッジ強度を特徴量として抽出する。
【００９７】
主制御部２１は、多値画像又は対象距離画像の画素ごとに抽出した特徴量が、算出してある良品に関する多値画像又は良品距離画像の同じ特徴量に対応する分布範囲に含まれているか否かを判断する（ステップＳ８０７）。主制御部２１が、抽出した多値画像又は対象距離画像の特徴量がすべて分布範囲に含まれていると判断した場合（ステップＳ８０７：ＹＥＳ）、主制御部２１は、判定対象物が良品であると判定し、判定対象物が良品である旨を示す情報を判定結果として、表示装置３の表示画面上に表示する（ステップＳ８０８）。
【００９８】
主制御部２１が、抽出した多値画像又は対象距離画像の特徴量が１つでも分布範囲に含まれていないと判断した場合（ステップＳ８０７：ＮＯ）、主制御部２１は、判定対象物が良品ではないと判定し、判定対象物が良品ではない旨を示す情報を判定結果として、表示装置３の表示画面上に表示する（ステップＳ８０９）。なお、特徴量抽出手段７９の選択を複数受け付けた場合には、選択を受け付けた特徴量抽出手段７９により抽出された特徴量を用いた良品判定の判定結果のうち、一つでも良品ではないと判定された場合には、判定対象物が良品ではないと判定すれば良い。
【００９９】
また、上述したステップＳ８０６では、取得した判定対象物に関する多値画像又は生成した対象距離画像の画素ごとに、選択を受け付けた特徴量抽出手段７９により特徴量を抽出しているが、例えば取得した判定対象物に関する多値画像と生成した対象距離画像との双方について、画素ごとに選択を受け付けた特徴量抽出手段７９により特徴量を抽出することもできる。つまり、取得した判定対象物に関する多値画像の画素ごとに、選択を受け付けた特徴量抽出手段７９により特徴量を抽出するとともに、生成した対象距離画像の画素ごとに、選択を受け付けた特徴量抽出手段７９により特徴量を抽出することも可能である（特徴量は同じであっても異なっていても良い）。そして、取得した判定対象物に関する多値画像と生成した対象距離画像とのそれぞれについて、特徴量が分布範囲に含まれているか否かを判断し、取得した判定対象物に関する多値画像に着目したときの第一の良品判定及び生成した対象距離画像に着目したときの第二の良品判定を行う。例えば、いずれの良品判定においても特徴量が分布範囲に含まれていると判断した場合には、最終的に良品であると判定し、いずれか一方の良品判定において特徴量が分布範囲に含まれていないと判断した場合には、最終的に不良品であると判定する。このように、分布範囲算出手段７３は、生成した距離画像だけでなく、多値画像の画素ごとの濃淡値の、良品判定を行うための分布範囲を算出しても良く、多値画像の画素ごとの濃淡値が、算出してある良品に関する良品多値画像の画素ごとの濃淡値の分布範囲に含まれているか否かを判断しても良い。なお、最終的に良品であると判定する条件のユーザ設定を受け付ける受付手段（マウス、モニタ等）を設けても良い。
【０１００】
ここで、第一の特徴量抽出手段７９ａの選択を受け付けた場合、すなわち抽出される特徴量が、色成分に関する画素値である場合には、良品に関する多値画像又は良品距離画像の画素ごとの色成分に関する画素値の平均値を算出し、算出した色成分に関する画素値の平均値に基づいて、良品に関する多値画像又は良品距離画像の画素ごとに画素値の分布範囲を算出する。図９は、本発明の実施の形態２に係る画像処理装置２の第一の特徴量抽出手段７９ａの選択を受け付けた場合の分布範囲算出手段７３ａの機能ブロック図である。
【０１０１】
図９に示すように、分布範囲算出手段７３ａは、画素平均値算出手段７３１、画素値分布範囲算出手段７３２を含む。画像処理部７の主制御部２１は、画素平均値算出手段７３１、画素値分布範囲算出手段７３２の処理動作を制御する。
【０１０２】
画素平均値算出手段７３１は、取得した良品に関する多値画像又は生成した良品距離画像の画素ごとに、色成分に関する画素値、例えば濃淡値の平均値を算出する。画素値分布範囲算出手段７３２は、算出した色成分に関する画素値、例えば濃淡値の平均値に基づいて、良品に関する多値画像又は良品距離画像の画素ごとに色成分それぞれを座標軸とする多次元空間における画素値の分布範囲を算出する。
【０１０３】
例えば、Ｒ成分、Ｇ成分、Ｂ成分それぞれを座標軸とした三次元座標系を想定する。単純にＲ成分、Ｇ成分、Ｂ成分に関する画素値の平均値をそれぞれ算出して、各成分の画素値の分布範囲を算出して良品判定を行う方法では、色成分に基づいて正しく判定することができない場合が生じうる。
【０１０４】
例えば良品が白に近似する色から濃いグレイまでを含む色、すなわちＲ成分の画素値が３０〜２４０、Ｇ成分の画素値が３０〜２４０、Ｂ成分の画素値が３０〜２４０に分布する場合、赤に近い色の判定対象物、例えばＲ成分の画素値が２００、Ｇ成分の画素値が５０、Ｂ成分の画素値が１００である判定対象物については、明らかに良品ではないにもかかわらず、各成分に関する画素値の分布範囲に含まれていると判断されるおそれがある。したがって、Ｒ成分、Ｇ成分、Ｂ成分について個別に判断するのではなく、Ｒ成分、Ｇ成分、Ｂ成分を座標軸とした仮想三次元空間における画素値の分布範囲に含まれているか否かに応じて良品であるか否かを判定する。
【０１０５】
図１０は、本発明の実施の形態２に係る画像処理装置２の第一の特徴量抽出手段７９ａの選択を受け付けた場合の、画素値の分布範囲を示す例示図である。図１０では、複数の良品に関する多値画像又は良品距離画像に基づいて、各色成分の画素値をＲ成分、Ｇ成分、Ｂ成分を互いに直交する座標軸とした三次元空間に点６０、６０、・・・としてプロットしている。そして、各色成分の画素値の平均値Ａｖを算出して、算出した平均値Ａｖを中心として、三次元空間に良品判定を行うための分布範囲６１を算出している。
【０１０６】
例えば判定対象物の多値画像又は対象距離画像の画素ごとの各色成分に関する画素値をプロットした点６２、６３では、点６３の方が平均値Ａｖから離れている。しかし、点６３は分布範囲６１内であるのに対し、点６２は分布範囲６１の外側にプロットされている。したがって、点６３としてプロットされた判定対象物は良品であると判定され、点６２としてプロットされた判定対象物は良品ではないと判定される。
【０１０７】
分布範囲６１の算出方法は特に限定されるものではない。例えば空間距離であるユークリッド距離を用いても良いし、マハラノビス距離を用いても良い。以下、マハラノビス距離を用いる場合について説明する。
【０１０８】
まず、画素ごとの色成分に関する画素値のマハラノビス距離ＤM は、三次元座標軸、すなわち図１０の例ではＲ軸方向、Ｇ軸方向及びＢ軸方向における画素ごとの画素ベクトルｘ（ｒ、ｇ、ｂ）の平均値をそれぞれ平均値ベクトルμi （ｒバー、ｇバー、ｂバー）、分散共分散行列の逆行列をΣi-1 とした場合、ベクトル行列式を用いて（式１）のように算出することができる。
【０１０９】
【数１】
【０１１０】
（式１）において、λj は固有値であり、ベクトルφj は固有値λj に対応した固有ベクトルである。すなわち（式１）で算出するマハラノビス距離ＤM は、点ｘ（ｒ、ｇ、ｂ）と分布範囲６１の重心（平均値）との距離を、固有ベクトルφj 方向成分に分解し、固有ベクトルφj 方向成分を分散λj で正規化した距離と言える。なお、（式１）におけるｉは分布の区別を示しており、上述した計算では分布範囲６１が１つであることから特段の意味を有してはいない。
【０１１１】
仮想三次元空間であることから、（式１）において、ｎ＝３であり、固有値λj 、固有ベクトルφj はそれぞれ３個であり、固有ベクトルφj も三次元の行列となる。すなわち、分散共分散行列Σi は、（式２）のように表すことができる。
【０１１２】
【数２】
【０１１３】
（式２）において、Ｖは分散を表しており、Ｒ成分、Ｇ成分、Ｂ成分それぞれの分散は（式３）により求めることができる。
【０１１４】
【数３】
【０１１５】
また、（式２）において、Ｃｏｖは共分散を表しており、Ｒ成分とＧ成分との共分散、Ｒ成分とＢ成分との共分散、Ｇ成分とＢ成分との共分散は、それぞれ（式４）により求めることができる。
【０１１６】
【数４】
【０１１７】
（式４）の分母及び分子にｎを乗算して変形することで、（式５）を得る。
【０１１８】
【数５】
【０１１９】
（式５）から、良品に関する多値画像又は良品距離画像に基づいて、画素ごとに、色成分に関する画素値の総和（平均値）、色成分に関する画素値の二乗和、及び二組ずつの色成分の画素値を乗算した値の総和を算出することにより、分散共分散行列Σi を求めることができることがわかる。色成分に関する画素値の総和（平均値）、色成分に関する画素値の二乗和、及び二組ずつの色成分の画素値を乗算した値の総和は、良品画像データ記憶部２３１に記憶しておき、良品であると判定する分布範囲６１を算出する。
【０１２０】
次に、判定対象物に関する多値画像又は距離画像の画素ごとの色成分に関する画素値について、（式１）で算出されるマハラノビス距離ＤM 、すなわち分布範囲６１の重心から色成分に関する画素値までの距離を、分布範囲６１の重心から色成分に関する画素値に向かう方向における分布範囲６１の境界と重心との距離で正規化した値が、所定値より大きい場合には、画素値は分布範囲６１に含まれていない。したがって、色が良品範囲を超えて変化したことを示しているので、良品ではないと判定することができる。
【０１２１】
別の判定方法として、例えば仮想的な楕円球のような形状の範囲（以下、楕円球範囲）の重心から判定対象物に関する多値画像又は対象距離画像の画素ごとの画素値までの距離であるユークリッド距離を算出し、算出したユークリッド距離が、楕円球範囲の重心から判定対象物に関する多値画像又は対象距離画像の画素ごとの画素値に向かう方向における楕円球範囲の境界と重心との距離に基づく所定値より小さいか否かで相互相関分布範囲に含まれているか否かを判断する。ユークリッド距離を用いることにより、分布広がりの大小により感度が大きく変化することなく良品として判定される相互相関分布範囲から外れている度合いを算出することが可能となる。
【０１２２】
また、分布範囲６１を楕円球範囲に限定する必要はなく、分布範囲６１を内接する直方体形状の範囲を仮想的に算出しても良い。
【０１２３】
図１１は、本発明の実施の形態２に係る画像処理装置２の主制御部２１の、第一の特徴量抽出手段７９ａの選択を受け付けた場合の、分布範囲算出処理の手順を示すフローチャートである。斯かる処理は、図７のステップＳ７０８ａに相当する。
【０１２４】
図１１において、画像処理装置２の主制御部２１は、良品に関する複数の多値画像又は良品距離画像に基づいて算出して、良品画像データ記憶部２３１に記憶してある、多値画像又は良品距離画像の画素ごとの色成分に関する画素値の総和（平均値）、色成分に関する画素値の二乗和、及び二組ずつの色成分に関する画素値を乗算した値の総和を読み出し（ステップＳ１１０１）、画素ごとの色成分に関する画素値の分散共分散行列Σiを作成する（ステップＳ１１０２）。すなわち、（式２）に示す分散共分散行列Σi を作成する。
【０１２５】
主制御部２１は、分散共分散行列Σi の固有値λj 、固有ベクトルφj を算出し（ステップＳ１１０３）、分布範囲に関する分布範囲情報として分布範囲情報記憶部２３２へ記憶する（ステップＳ１１０４）。
【０１２６】
そして、図８のステップＳ８０７における分布範囲に含まれているか否かの判断は、取得した判定対象物に関する多値画像又は生成した対象距離画像の画素ごとの特徴量として、色成分に関する画素値を算出し、（式１）にて算出することができるマハラノビス距離ＤM が所定値よりも大きい場合には分布範囲６１に含まれていないと判断し、良品ではないと判定することができる。
【０１２７】
次に、第二の特徴量抽出手段７９ｂの選択を受け付けた場合、すなわち抽出される特徴量が、異なる二方向におけるエッジ強度である場合には、良品に関する多値画像又は距離画像の画素ごとの異なる二方向におけるエッジ強度の平均値を算出し、算出した平均値を中心として、良品に関する多値画像又は良品距離画像の画素ごとに、異なる二方向にエッジ強度の相互相関分布範囲を算出する。図１２は、本発明の実施の形態２に係る画像処理装置２の第二の特徴量抽出手段７９ｂの選択を受け付けた場合の分布範囲算出手段７３ｂの機能ブロック図である。
【０１２８】
図１２に示すように、分布範囲算出手段７３ｂは、方向別エッジ強度算出手段７３４、エッジ強度平均値算出手段７３５、及びエッジ強度分布範囲算出手段７３６を含む。画像処理部７の主制御部２１は、方向別エッジ強度算出手段７３４、エッジ強度平均値算出手段７３５、及びエッジ強度分布範囲算出手段７３６の処理動作を制御する。
【０１２９】
方向別エッジ強度算出手段７３４は、取得した良品に関する多値画像又は生成した良品距離画像の画素ごとの異なる二方向におけるエッジ強度を算出する。エッジ強度を算出する方向は特に限定されるものではないが、本実施の形態２では、異なる二方向である二次元画像の行方向及び列方向について、それぞれエッジ強度を算出する。具体的にはソーベルフィルタで用いる３×３のウインドウテンプレートを用いて、行方向及び列方向のエッジ強度を算出すれば良い。
【０１３０】
エッジ強度平均値算出手段７３５は、算出した画素ごとの異なる二方向におけるエッジ強度に基づいて、良品に関する多値画像又は良品距離画像の画素ごとに、異なる二方向におけるエッジ強度の平均値を算出する。
【０１３１】
エッジ強度分布範囲算出手段７３６は、算出した平均値を中心として、良品に関する多値画像又は良品距離画像の画素ごとに、異なる二方向におけるエッジ強度の相互相関分布範囲を算出する。
【０１３２】
図１３は、本発明の実施の形態２に係る画像処理装置２の所定の画素ごとの異なる二方向におけるエッジ強度の相互相関分布範囲の例示図である。図１３では、二次元画像における行方向のエッジ強度ｅｘをＸ軸、列方向のエッジ強度ｅｙをＹ軸としている。
【０１３３】
エッジ強度平均値算出手段７３５により、良品に関する多値画像又は良品距離画像の画素ごとに、二次元画像における行方向のエッジ強度ｅｘの平均値及び列方向のエッジ強度ｅｙの平均値が算出されているので、良品に関する多値画像又は良品距離画像の画素ごとのエッジ強度の平均値ベクトルＥAVE は、エッジ角度θを傾斜角とする直線上に位置する。そして、例えば取得した複数の良品に関する多値画像（第一の多値画像）又は生成した複数の良品に関する良品距離画像（第一の距離画像）の画素ごとのエッジ強度のばらつきが大きい場合であって、エッジ方向がほぼ揃っているときには、良品に関する多値画像又は良品距離画像のエッジ強度の平均値ベクトルＥAVE を長軸及び短軸が交差する点を中心とした仮想的な楕円領域として相互相関分布領域９１を算出する。したがって、判定対象物に関する多値画像又は対象距離画像の画素ごとのエッジ強度を算出して、同一の画素について、二次元画像における行方向のエッジ強度ｅｘ及び列方向のエッジ強度ｅｙをプロットしたエッジ点９２が、相互相関分布範囲９１に含まれているか否かを判断することにより、判定対象物が良品であるか否かを判定することができる。
【０１３４】
相互相関分布範囲９１の算出方法は特に限定されるものではない。例えば空間距離であるユークリッド距離を用いても良いし、マハラノビス距離を用いても良い。以下、マハラノビス距離を用いる場合について説明する。
【０１３５】
この場合、図６に示す判断手段７７の距離算出手段７０は、分布範囲の重心、例えば図１３の例では仮想的な楕円領域である相互相関分布範囲９１の重心（中心点）から判定対象物に関する多値画像又は対象距離画像の画素ごとのエッジ点（特徴量）までの距離を、重心からエッジ点（特徴量）に向かう方向における相互相関分布範囲９１の境界と重心との距離で正規化したマハラノビス距離を算出する。
【０１３６】
画素ごとのエッジ強度のマハラノビス距離ＤM
は、異なる二方向、すなわち図１３の例ではＸ軸方向及びＹ軸方向における画素ごとのエッジ強度ベクトルｘ（ｅx 、ｅy ）の平均値をそれぞれ平均値ベクトルμi （ｅx バー、ｅy バー）、分散共分散行列の逆行列をΣi-1 とした場合、ベクトル行列式を用いて（式６）のように算出することができる。
【０１３７】
【数６】
【０１３８】
（式６）において、λj は固有値であり、ベクトルφj は固有値λj に対応した固有ベクトルである。すなわち（式６）で算出するマハラノビス距離ＤM は、点ｘ（ｅx 、ｅy ）と相互相関分布範囲９１の重心（平均値）との距離を、固有ベクトルφj 方向成分に分解し、固有ベクトルφj 方向成分を分散λj で正規化した距離と言える。なお、（式６）におけるｉは分布の区別を示しており、上述した計算では相互相関分布範囲９１が１つであることから特段の意味を有してはいない。
【０１３９】
図１０とは異なり、異なる二方向の二次元空間であることから、（式６）において、ｎ＝２であり、固有値λj 、固有ベクトルφj はそれぞれ２個であり、固有ベクトルφj も二次元の行列となる。すなわち、分散共分散行列Σi は、（式７）のように表すことができる。
【０１４０】
【数７】
【０１４１】
（式７）において、Ｖは分散を表しており、Ｘ軸方向のエッジ強度、Ｙ軸方向のエッジ強度それぞれの分散は（式８）により求めることができる。
【０１４２】
【数８】
【０１４３】
また、（式７）において、Ｃｏｖは共分散を表しており、Ｘ軸方向のエッジ強度とＹ軸方向のエッジ強度との共分散は、（式９）により求めることができる。
【０１４４】
【数９】
【０１４５】
（式９）から、良品に関する多値画像又は良品距離画像に基づいて、画素ごとに、異なる二方向におけるエッジ強度の総和（平均値）、異なる二方向におけるエッジ強度の二乗和、及び異なる二方向におけるエッジ強度を互いに乗算した値の総和を算出することにより、分散共分散行列Σi を求めることができることがわかる。異なる二方向におけるエッジ強度の総和（平均値）、異なる二方向におけるエッジ強度の二乗和、及び異なる二方向におけるエッジ強度を互いに乗算した値の総和は、良品画像データ記憶部２３１に記憶しておき、良品であると判定する相互相関分布範囲９１を算出する。
【０１４６】
次に、判定対象物に関する多値画像又は対象距離画像の画素ごとの異なる二方向（Ｘ軸方向及びＹ軸方向）におけるエッジ強度について、（式６）で算出されるマハラノビス距離ＤM 、すなわち相互相関分布範囲９１の重心からエッジ点（特徴量）までの距離を、相互相関分布範囲９１の重心からエッジ点（特徴量）に向かう方向における相互相関分布範囲９１の境界と重心との距離で正規化した値が、所定値より大きい場合には、エッジ点は相互相関分布範囲９１に含まれていない。したがって、エッジ角度が良品範囲を超えて変動したことを示しているので輪郭線の形状が大きく変化したと判断することができ、良品ではないと判定することができる。
【０１４７】
図１４は、本発明の実施の形態２に係る画像処理装置２の主制御部２１の、第二の特徴量抽出手段７９ｂの選択を受け付けた場合の、分布範囲算出処理の手順を示すフローチャートである。斯かる処理は、図７のステップＳ７０８ｂに相当する。
【０１４８】
図１４において、画像処理装置２の主制御部２１は、良品に関する多値画像又は良品距離画像に基づいて算出して記憶してある、多値画像又は良品距離画像の画素ごとの異なる二方向におけるエッジ強度の総和（平均値）、異なる二方向におけるエッジ強度の二乗和、及び異なる二方向におけるエッジ強度を互いに乗算した値の総和を読み出し（ステップＳ１４０１）、画素ごとの異なる二方向におけるエッジ強度の分散共分散行列Σiを作成する（ステップＳ１４０２）。
【０１４９】
主制御部２１は、分散共分散行列Σi の固有値λj 、固有ベクトルφj を算出し（ステップＳ１４０３）、相互相関分布範囲に関する分布範囲情報として分布範囲情報記憶部２３２へ記憶する（ステップＳ１４０４）。
【０１５０】
そして、図８のステップＳ８０７における分布範囲に含まれているか否かの判断は、取得した判定対象物に関する多値画像又は生成した対象距離画像の画素ごとの特徴量として、異なる二方向におけるエッジ強度を算出し、（式６）にて算出することができるマハラノビス距離ＤM が所定値よりも大きい場合には相互相関分布範囲９１に含まれていないと判断し、良品ではないと判定することができる。
【０１５１】
図１５は、本発明の実施の形態２に係る画像処理装置２の主制御部２１の、第二の特徴量抽出手段７９ｂの選択を受け付けた場合の、良品判定処理の手順を示すフローチャートである。画像処理装置２の主制御部２１は、カメラ１で撮像した、判定対象物に関する多値画像を取得する（ステップＳ１５０１）。主制御部２１は、取得した判定対象物に関する多値画像と、良品に関する多値画像との位置合わせを行う（ステップＳ１５０２）。具体的には、良品に関する複数の多値画像の平均画像を算出しておき、平均画像との間で位置合わせを行う。多値画像間で位置合わせを行う手段は、周知の技術であれば特に限定されるものではない。
【０１５２】
主制御部２１は、ライト９から光を照射することにより投影された縞パターンをカメラ１で撮像した縞パターン画像を取得し（ステップＳ１５０３）、縞パターンの位相解析を実行することにより、判定対象物の表面からカメラ１までの距離に応じて画素ごとに濃淡値を特定した対象距離画像を生成する（ステップＳ１５０４）。
【０１５３】
主制御部２１は、生成した判定対象物に関する対象距離画像と、良品に関する良品距離画像との位置合わせを行う（ステップＳ１５０５）。具体的には、良品に関する複数の良品距離画像の平均距離画像を算出しておき、平均距離画像との間で位置合わせを行う。
【０１５４】
主制御部２１は、取得した判定対象物に関する多値画像又は生成した対象距離画像の画素ごとに、異なる二方向におけるエッジ強度を算出する（ステップＳ１５０６）。エッジ強度を算出する方向は特に限定されるものではないが、上述した方法と同様、異なる二方向である二次元画像における列方向及び行方向について、それぞれエッジ強度を算出する。
【０１５５】
主制御部２１は、算出した判定対象物に関する多値画像又は対象距離画像の画素ごとのエッジ強度が、算出した良品に関する多値画像又は良品距離画像の画素ごとのエッジ強度の相互相関分布範囲に含まれているか否かを判断する（ステップＳ１５０７）。主制御部２１が、算出したエッジ強度がすべて相互相関分布範囲に含まれていると判断した場合（ステップＳ１５０７：ＹＥＳ）、主制御部２１は、判定対象物が良品であると判定し、判定対象物が良品である旨を示す情報を判定結果として、表示装置３の表示画面上に表示する（ステップＳ１５０８）。主制御部２１が、算出したエッジ強度が１つでも相互相関分布範囲に含まれていないと判断した場合（ステップＳ１５０７：ＮＯ）、主制御部２１は、判定対象物が良品ではないと判定し、判定対象物が良品ではない旨を示す情報を判定結果として、表示装置３の表示画面上に表示する（ステップＳ１５０９）。
【０１５６】
なお、上述した実施の形態２では、相互相関分布範囲が、仮想的な楕円領域である場合について説明しているが、特に楕円領域に限定されるものではない。
【０１５７】
以上のように本実施の形態２によれば、取得した判定対象物に関する多値画像（第二の多値画像）又は対象距離画像（第二の距離画像）の性状に応じて、良品であるか否かを判定する基礎となる特徴量を抽出する手段を少なくとも一つ選択することができるので、適切な特徴量抽出手段７９を選択することにより、欠陥が輪郭線近傍に生じている場合であっても欠陥の存在を検出することができ、色の相違についても高い感度で検出することが可能となる。例えば選択を受け付けた特徴量抽出手段７９が、色成分に関する画素値を特徴量として抽出する場合、色の相違による濃淡のばらつきの存在を検出することができ、選択を受け付けた特徴量抽出手段７９が異なる二方向におけるエッジ強度を特徴量として抽出する場合、輪郭線近傍の欠陥の存在を検出することができる。
【０１５８】
なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨の範囲内であれば多種の変更、改良等が可能である。異なる二方向を二次元画像の行方向及び列方向としているが、特に限定されるものではなく、互いに直交する二方向であれば足り、色成分についてもＲ成分、Ｇ成分、Ｂ成分だけではなく、シアン成分、マゼンタ成分、イエロー成分であっても良い。
【符号の説明】
【０１５９】
１ カメラ（撮像手段）
２ 画像処理装置
３ 表示装置（画像表示手段）
４ 可搬型記録媒体
５ コンピュータプログラム
６ 外部制御機器
７ 画像処理部
８ 画像表示部
９ ライト（光照射手段）
２１ 主制御部
２２ メモリ
２３ 記憶手段
２４ 入力手段
２５ 出力手段
２６ 通信手段
２７ 補助記憶手段
２８ 内部バス
【技術分野】
【０００１】
本発明は、判定対象物を撮像して取得した多値画像及び撮像手段からの距離を濃淡値に変換した距離画像を、基準となる多値画像及び距離画像と比較する画像処理装置、画像処理方法、及びコンピュータプログラムに関する。
【背景技術】
【０００２】
従来、判定対象物を撮像して取得した多値画像を、基準となる多値画像と単純に比較することにより、判定対象物が良品であるか否かを判定する方法が開発されている。しかし、両画像を単純に比較するだけでは、良品自体の形状ばらつき、計算誤差、ノイズ等による画素値変動を考慮することができず、良品であるにもかかわらず良品ではないと誤って判定する等、正しく良品判定を行うことができないおそれがある等の問題があった。
【０００３】
斯かる問題を解決するために、例えば特許文献１では、複数の良品に関する多値画像を準備しておき、それらの平均画像、標準偏差画像を求めることで、安定した良品判定を可能としている。具体的には、複数の良品に関する多値画像について位置合わせを行った後、同一座標の画素ごとに画素値の平均値及び標準偏差を算出する。判定対象物の多値画像について良品に関する多値（平均）画像との間で位置合わせを行った後、同一座標の画素ごとに、平均値との差分値を算出し、標準偏差に基づいて定義した閾値画像と画素ごとに比較することにより、良品判定を行っている。
【０００４】
このようにすることで、良品自体の形状ばらつき、計算誤差、ノイズ等による画素値変動分を画素ごとの画素値のばらつき度合に応じて効果的に排除することができるとともに、画素ごとに良品であると判定する範囲が相違することから、良品の部位ごとに適切な良品判定の閾値を設定することができる。したがって、より高い精度で良品判定を行うことが可能となっている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−２６５６６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、特許文献１に開示されている画像処理方法では、濃淡値の差異として表れにくい判定対象物表面の凹凸を検出することができない。したがって、色の相違、表面の凹凸の相違が良品の分布範囲に含まれているにもかかわらず、判定対象物を載置した位置のばらつき等により光の当たり方が変化し、濃淡値の差異が実際より大きく検出されることで、良品ではないと誤って判定されるおそれがあった。
【０００７】
また、三次元形状の差異を判断するべく、判定対象物の三次元形状を測定した三次元データと、判定対象物の三次元ＣＡＤデータとを比較することも考えられる。しかし、実測値として正確な三次元データを取得する必要があり、多くの方向から計測した複数の計測データで三次元データを構成する等、良品であるか否かを判定するまでに相当の時間を要し、しかも装置自体が高価となる。
【０００８】
さらに、欠陥が輪郭線の近傍に生じている場合、輪郭線近傍では画素値の標準偏差が大きいことから欠陥として認識することが困難であり、欠陥の存在を検出する感度が低くなってしまうという問題点があった。輪郭線の近傍にて画素値の標準偏差が大きくなるのは、判定対象物を載置した位置のばらつき、撮像位置の相違、良品自体の形状ばらつき等に起因する。
【０００９】
本発明は上記事情に鑑みてなされたものであり、表面の凹凸、輪郭線近傍の欠陥等の存在を高い精度で検出することができ、良品判定を確実に行うことができる画像処理装置、画像処理方法、及びコンピュータプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために第１発明に係る画像処理装置は、判定対象物を撮像した多値画像を、良品に関する多値画像群と比較して良品判定を行う画像処理装置において、撮像手段で撮像された、良品に関する複数の第一の多値画像を取得する良品画像取得手段と、取得した第一の多値画像の画素ごとに、前記撮像手段からの距離を濃淡値に変換した第一の距離画像を生成する良品距離画像生成手段と、生成した第一の距離画像の画素ごとの濃淡値の、良品判定を行うための分布範囲を算出する分布範囲算出手段と、判定対象物に関する第二の多値画像を取得する多値画像取得手段と、取得した第二の多値画像の画素ごとに、前記撮像手段からの距離を濃淡値に変換した第二の距離画像を生成する対象距離画像生成手段と、生成した前記第二の距離画像の画素ごとの濃淡値が対応する前記分布範囲に含まれているか否かを判断する判断手段とを備えることを特徴とする。
【００１１】
また、第２発明に係る画像処理装置は、第１発明において、複数の前記撮像手段を備え、前記良品距離画像生成手段又は前記対象距離画像生成手段は、複数の前記撮像手段で撮像された複数の前記第一の多値画像又は前記第二の多値画像に基づいて前記第一の距離画像又は前記第二の距離画像を生成するようにしてあることを特徴とする。
【００１２】
また、第３発明に係る画像処理装置は、第１発明において、前記撮像手段と、判定対象物に対して光を照射する光照射手段とを備え、前記良品距離画像生成手段又は前記対象距離画像生成手段は、前記撮像手段で撮像された前記第一の多値画像又は前記第二の多値画像、及び照射した光に基づいて前記第一の距離画像又は前記第二の距離画像を生成するようにしてあることを特徴とする。
【００１３】
また、第４発明に係る画像処理装置は、第１乃至第３発明のいずれか１つにおいて、前記第一の多値画像の画素ごとに、色成分に関する画素値を特徴量として抽出する第一の特徴量抽出手段と、前記第一の多値画像又は前記第一の距離画像の画素ごとに、異なる二方向におけるエッジ強度を特徴量として抽出する第二の特徴量抽出手段とを少なくとも含む複数の特徴量抽出手段のうち、少なくとも１つの特徴量抽出手段の選択を受け付ける選択受付手段を備え、前記分布範囲算出手段は、選択を受け付けた特徴量抽出手段により抽出した特徴量に基づいて、前記分布範囲を算出するようにしてあり、前記判断手段は、前記第二の多値画像又は前記第二の距離画像の画素ごとに、選択を受け付けた特徴量抽出手段により特徴量を抽出し、抽出した特徴量が対応する前記分布範囲に含まれているか否かを判断するようにしてあることを特徴とする。
【００１４】
また、第５発明に係る画像処理装置は、第４発明において、前記第一の特徴量抽出手段の選択を受け付けた場合、前記分布範囲算出手段は、前記第一の多値画像の画素ごとに、色成分に関する画素値の平均値を算出する画素平均値算出手段と、算出した色成分に関する画素値の平均値に基づいて、前記第一の多値画像の画素ごとに、色成分それぞれを座標軸とする多次元空間における画素値の分布範囲を算出する画素値分布範囲算出手段とを有し、前記判断手段は、前記第二の多値画像の画素ごとに、色成分に関する画素値を算出して、色成分それぞれを座標軸とする多次元空間における画素値の分布範囲に含まれているか否かを判断するようにしてあり、前記第二の特徴量抽出手段の選択を受け付けた場合、前記分布範囲算出手段は、前記第一の多値画像又は前記第一の距離画像の画素ごとに、異なる二方向におけるエッジ強度を算出する方向別エッジ強度算出手段と、算出したエッジ強度に基づいて、前記第一の多値画像又は前記第一の距離画像の画素ごとに、異なる二方向におけるエッジ強度の平均値を算出するエッジ強度平均値算出手段と、算出した平均値を中心として、前記第一の多値画像又は前記第一の距離画像の画素ごとに、異なる二方向におけるエッジ強度の相互相関分布範囲を算出するエッジ強度分布範囲算出手段とを有し、前記判断手段は、前記第二の多値画像又は前記第二の距離画像の画素ごとに、異なる二方向におけるエッジ強度を算出して、算出したエッジ強度が対応する前記相互相関分布範囲に含まれているか否かを判断するようにしてあることを特徴とする。
【００１５】
また、第６発明に係る画像処理装置は、第５発明において、前記方向別エッジ強度算出手段は、前記エッジ強度を互いに直交する二方向にて算出するようにしてあることを特徴とする。
【００１６】
また、第７発明に係る画像処理装置は、第６発明において、前記方向別エッジ強度算出手段は、前記エッジ強度を二次元画像における行方向と列方向との二方向にて算出するようにしてあることを特徴とする。
【００１７】
また、第８発明に係る画像処理装置は、第５乃至第７発明のいずれか１つにおいて、前記エッジ強度分布範囲算出手段は、仮想的な楕円領域として前記相互相関分布範囲を算出するようにしてあることを特徴とする。
【００１８】
また、第９発明に係る画像処理装置は、第１乃至第８発明のいずれか１つにおいて、前記第一の多値画像と前記第二の多値画像との位置合わせ又は前記第一の距離画像と前記第二の距離画像との位置合わせを行う位置調整手段を備えることを特徴とする。
【００１９】
また、第１０発明に係る画像処理装置は、第１乃至第９発明のいずれか１つにおいて、前記選択受付手段が、複数の特徴量抽出手段の選択を受け付けた場合であって、前記判断手段が、選択を受け付けた特徴量抽出手段で抽出された特徴量のうち、いずれかの特徴量がそれぞれの特徴量に対応する前記分布範囲に含まれていないと判断したとき、前記判定対象物は良品ではないと判定するようにしてあることを特徴とする。
【００２０】
次に、上記目的を達成するために第１１発明に係る画像処理方法は、判定対象物を撮像した多値画像を、良品に関する多値画像群と比較して良品判定を行う画像処理装置で実行することが可能な画像処理方法において、撮像手段で撮像された、良品に関する複数の第一の多値画像を取得するステップと、取得した第一の多値画像の画素ごとに、前記撮像手段からの距離を濃淡値に変換した第一の距離画像を生成するステップと、生成した第一の距離画像の画素ごとの濃淡値の、良品判定を行うための分布範囲を算出するステップと、判定対象物に関する第二の多値画像を取得するステップと、取得した第二の多値画像の画素ごとに、前記撮像手段からの距離を濃淡値に変換した第二の距離画像を生成するステップと、生成した前記第二の距離画像の画素ごとの濃淡値が対応する前記分布範囲に含まれているか否かを判断するステップとを含むことを特徴とする。
【００２１】
次に、上記目的を達成するために第１２発明に係るコンピュータプログラムは、判定対象物を撮像した多値画像を、良品に関する多値画像群と比較して良品判定を行う画像処理装置で実行することが可能なコンピュータプログラムにおいて、前記画像処理装置を、撮像手段で撮像された、良品に関する複数の第一の多値画像を取得する良品画像取得手段、取得した第一の多値画像の画素ごとに、前記撮像手段からの距離を濃淡値に変換した第一の距離画像を生成する良品距離画像生成手段、生成した第一の距離画像の画素ごとの濃淡値の、良品判定を行うための分布範囲を算出する分布範囲算出手段、判定対象物に関する第二の多値画像を取得する多値画像取得手段、取得した第二の多値画像の画素ごとに、前記撮像手段からの距離を濃淡値に変換した第二の距離画像を生成する対象距離画像生成手段、及び生成した前記第二の距離画像の画素ごとの濃淡値が対応する前記分布範囲に含まれているか否かを判断する判断手段として機能させることを特徴とする。
【００２２】
第１発明、第１１発明及び第１２発明では、撮像手段で撮像された、良品に関する複数の第一の多値画像を取得し、取得した第一の多値画像の画素ごとに、撮像手段からの距離を濃淡値に変換した第一の距離画像を生成する。生成した第一の距離画像の画素ごとの濃淡値の、良品判定を行うための分布範囲を算出する。判定対象物に関する第二の多値画像を取得し、取得した第二の多値画像の画素ごとに、撮像手段からの距離を濃淡値に変換した第二の距離画像を生成し、生成した第二の距離画像の画素ごとの濃淡値が対応する分布範囲に含まれているか否かを判断する。第二の距離画像に基づいて、良品であるか否かを判断するので、従来の方法では検出することが困難である判定対象物表面の凹凸を検出することができ、判定対象物を載置した位置のばらつき等により光の当たり方が変化した場合であっても、良品ではないと誤って判定される可能性を低減することが可能となる。
【００２３】
第２発明では、複数の撮像手段を備え、複数の撮像手段で撮像された複数の第一の多値画像又は第二の多値画像に基づいて第一の距離画像又は第二の距離画像を生成する。複数の撮像手段を備えることにより、複数の多値画像を取得することができ、ステレオ計測法等のいわゆるパッシブ方式にて距離画像を生成することができる。
【００２４】
第３発明では、撮像手段と、判定対象物に対して光を照射する光照射手段とを備え、撮像手段で撮像された第一の多値画像又は第二の多値画像、及び照射した光に基づいて第一の距離画像又は第二の距離画像を生成する。これにより、高さ方向の距離を計測するために光を能動的に照射することができ、光切断法、パターン投影法等のいわゆるアクティブ方式にて距離画像を生成することができる。
【００２５】
第４発明では、第一の多値画像の画素ごとに、色成分に関する画素値を特徴量として抽出する第一の特徴量抽出手段と、第一の多値画像又は第一の距離画像の画素ごとに、それぞれ異なる二方向におけるエッジ強度を特徴量として抽出する第二の特徴量抽出手段とを少なくとも含む複数の特徴量抽出手段のうち、少なくとも１つの特徴量抽出手段の選択を受け付ける。選択を受け付けた特徴量抽出手段により抽出した特徴量に基づいて分布範囲を算出し、第二の多値画像又は第二の距離画像の画素ごとに、選択を受け付けた特徴量抽出手段により特徴量を抽出し、抽出した特徴量が対応する分布範囲に含まれているか否かを判断する。第二の多値画像又は第二の距離画像の性状に応じて、特徴量抽出手段を選択することができるので、適切な特徴量を選択することにより、欠陥が輪郭線近傍に生じている場合であっても欠陥の存在を検出することができ、色の相違についても高い感度で検出することが可能となる。例えば選択を受け付けた特徴量が色成分に関する画素値である場合、色の相違による濃淡のばらつきの存在を検出することができ、選択を受け付けた特徴量が異なる二方向におけるエッジ強度である場合、輪郭線近傍の欠陥の存在を検出することができる。
【００２６】
第５発明では、第一の特徴量抽出手段の選択を受け付けた場合、第一の多値画像の画素ごとに、色成分に関する画素値の平均値を算出し、算出した色成分に関する画素値の平均値に基づいて、第一の多値画像の画素ごとに、色成分それぞれを座標軸とする多次元空間における画素値の分布範囲を算出する。第二の多値画像の画素ごとに、色成分に関する画素値を算出して、色成分それぞれを座標軸とする多次元空間における画素値の分布範囲に含まれているか否かを判断する。第二の特徴量抽出手段の選択を受け付けた場合、第一の多値画像又は第一の距離画像の画素ごとに、異なる二方向におけるエッジ強度を算出し、算出したエッジ強度に基づいて、第一の多値画像又は第一の距離画像の画素ごとに、異なる二方向におけるエッジ強度の平均値を算出し、算出した平均値を中心として、第一の多値画像又は第一の距離画像の画素ごとに、異なる二方向におけるエッジ強度の相互相関分布範囲を算出する。第二の多値画像又は第二の距離画像の画素ごとに、異なる二方向におけるエッジ強度を算出して、算出したエッジ強度が対応する相互相関分布範囲に含まれているか否かを判断する。これにより、選択を受け付けた特徴量が色成分に関する画素値である場合、算出した画素値の分布範囲に含まれているか否かにより色の相違を検出することができ、選択を受け付けた特徴量が異なる二方向におけるエッジ強度である場合、算出したエッジ強度の相互相関分布範囲に含まれているか否かにより、輪郭線近傍の欠陥の存在を検出することができる。
【００２７】
第６発明では、エッジ強度を互いに直交する二方向にて算出することにより、相互相関分布範囲の算出が容易となり、演算処理負荷を軽減することが可能となる。
【００２８】
第７発明では、エッジ強度を二次元画像における行方向と列方向との二方向にて算出することにより、さらに相互相関分布範囲の算出が容易となり、演算処理負荷をより軽減することが可能となる。
【００２９】
第８発明では、仮想的な楕円領域として相互相関分布範囲を算出することにより、第二の多値画像又は第二の距離画像の画素ごとに算出した異なる二方向におけるエッジ強度が、相互相関分布範囲に含まれているか否かをより容易に判断することが可能となる。
【００３０】
第９発明では、第一の多値画像と第二の多値画像との位置合わせ又は第一の距離画像と第二の距離画像との位置合わせを行うことにより、第二の多値画像又は第二の距離画像の画素ごとに算出した異なる二方向におけるエッジ強度が、相互相関分布範囲に含まれているか否かをより正確に判断することが可能となる。
【００３１】
第１０発明では、複数の特徴量抽出手段の選択を受け付けた場合であって、選択を受け付けた特徴量抽出手段で抽出された特徴量のうち、いずれかの特徴量がそれぞれの特徴量に対応する分布範囲に含まれていないと判断したとき、判定対象物は良品ではないと判定する。これにより、従来は不適切な特徴量に基づいて、本来良品ではない判定対象物を誤って良品であると判定していた場合であっても、適切な特徴量に基づいて良品ではないと正しく判定することが可能となる。
【発明の効果】
【００３２】
本発明によれば、第二の距離画像に基づいて、良品であるか否かを判断するので、従来の方法では検出することが困難である判定対象物表面の凹凸を検出することができ、判定対象物を載置した位置のばらつき等により光の当たり方が変化した場合であっても、良品ではないと誤って判定される可能性を低減することが可能となる。
【図面の簡単な説明】
【００３３】
【図１】本発明の実施の形態１に係る画像処理装置の構成を模式的に示すブロック図である。
【図２】本発明の実施の形態１に係る画像処理装置の一構成例を示す機能ブロック図である。
【図３】本発明の実施の形態１に係る距離画像を説明するための斜視図及び距離画像の例示図である。
【図４】本発明の実施の形態１に係る画像処理装置の主制御部の良品情報収集処理の手順を示すフローチャートである。
【図５】本発明の実施の形態１に係る画像処理装置の主制御部の良品判定処理の手順を示すフローチャートである。
【図６】本発明の実施の形態２に係る画像処理装置の一構成例を示す機能ブロック図である。
【図７】本発明の実施の形態２に係る画像処理装置の主制御部の良品情報収集処理の手順を示すフローチャートである。
【図８】本発明の実施の形態２に係る画像処理装置の主制御部の良品判定処理の手順を示すフローチャートである。
【図９】本発明の実施の形態２に係る画像処理装置の第一の特徴量抽出手段の選択を受け付けた場合の分布範囲算出手段の機能ブロック図である。
【図１０】本発明の実施の形態２に係る画像処理装置の第一の特徴量抽出手段の選択を受け付けた場合の、画素値の分布範囲を示す例示図である。
【図１１】本発明の実施の形態２に係る画像処理装置の主制御部の、第一の特徴量抽出手段の選択を受け付けた場合の、分布範囲算出処理の手順を示すフローチャートである。
【図１２】本発明の実施の形態２に係る画像処理装置の第二の特徴量抽出手段の選択を受け付けた場合の分布範囲算出手段の機能ブロック図である。
【図１３】本発明の実施の形態２に係る画像処理装置の所定の画素ごとの異なる二方向におけるエッジ強度の相互相関分布範囲の例示図である。
【図１４】本発明の実施の形態２に係る画像処理装置の主制御部の、第二の特徴量抽出手段の選択を受け付けた場合の、分布範囲算出処理の手順を示すフローチャートである。
【図１５】本発明の実施の形態２に係る画像処理装置の主制御部の、第二の特徴量抽出手段の選択を受け付けた場合の、良品判定処理の手順を示すフローチャートである。
【発明を実施するための形態】
【００３４】
以下、本発明の実施の形態に係る画像処理装置について、図面を参照して説明する。なお、参照する図面を通じて、同一又は同様の構成又は機能を有する要素については、同一又は同様の符号を付して、詳細な説明を省略する。
【００３５】
（実施の形態１）
図１は、本発明の実施の形態１に係る画像処理装置の構成を模式的に示すブロック図である。図１に示すように本実施の形態１に係る画像処理装置２は、判定対象物又は良品の多値画像を撮像する撮像手段であるカメラ１、判定対象物又は良品にレーザ光を照射するライト９及び撮像された多値画像、生成された距離画像又は演算処理の途上で生成された画像を表示する画像表示手段である表示装置３に接続されている。
【００３６】
画像処理装置２は、少なくともＣＰＵ（中央演算装置）、ＬＳＩ等で構成された主制御部２１、メモリ２２、記憶手段２３、入力手段２４、出力手段２５、通信手段２６、補助記憶手段２７及び上述したハードウェアを接続する内部バス２８で構成されている。主制御部２１は、内部バス２８を介して画像処理装置２の上述したようなハードウェア各部と接続されており、上述したハードウェア各部の動作を制御するとともに、記憶手段２３に記憶されているコンピュータプログラム５に従って、種々のソフトウェア的機能を実行する。メモリ２２は、ＳＲＡＭ、ＳＤＲＡＭ等の揮発性メモリで構成され、コンピュータプログラム５の実行時にロードモジュールが展開され、コンピュータプログラム５の実行時に発生する一時的なデータ等を記憶する。
【００３７】
記憶手段２３は、内蔵される固定型記憶装置（ハードディスク、フラッシュメモリ）、ＲＯＭ等で構成されている。記憶手段２３に記憶されているコンピュータプログラム５は、プログラム及びデータ等の情報を記録したＤＶＤ、ＣＤ−ＲＯＭ、フラッシュメモリ等の可搬型記録媒体４から、補助記憶手段２７によりダウンロードされ、実行時には記憶手段２３からメモリ２２へ展開して実行される。もちろん、通信手段２６を介して外部のコンピュータからダウンロードされたコンピュータプログラムであっても良い。
【００３８】
記憶手段２３は、取得した良品に関する複数の多値画像に関する多値画像データを記憶しておく良品画像データ記憶部２３１と、良品画像データ記憶部２３１に記憶してある良品に関する複数の多値画像データに基づいて、画素ごとに濃淡値の分布範囲に関する情報（分布範囲情報）を記憶する分布範囲情報記憶部２３２とを備えている。判定対象物の特徴量が、分布範囲情報記憶部２３２に記憶してある分布範囲情報に基づいて特定される分布範囲に含まれているか否かの判断に応じて、判定対象物が良品であるか否かを判定する。
【００３９】
通信手段２６は内部バス２８に接続されており、インターネット、ＬＡＮ、ＷＡＮ等の外部のネットワークに接続されることにより、外部のコンピュータ等とデータ送受信を行うことが可能となっている。すなわち、上述した記憶手段２３は、画像処理装置２に内蔵される構成に限定されるものではなく、通信手段２６を介して接続されている外部のサーバコンピュータ等に設置されているハードディスク等の外部記録媒体であっても良い。
【００４０】
入力手段２４は、キーボード及びマウス等のデータ入力媒体の他、液晶パネル等と一体となったタッチパネル等の入力情報を取得する装置全般を含む広い概念である。出力手段２５は、レーザプリンタ、ドットプリンタ等の印刷装置等を意味する。
【００４１】
カメラ（撮像手段）１は、ＣＣＤ撮像素子を備えたＣＣＤカメラ等である。表示装置３は、ＣＲＴ、液晶パネル等を有する表示装置である。また、ライト（光照射手段）９は、判定対象物及び良品に対してレーザ光を照射し、例えば正弦波縞パターンの位相をずらして撮像した複数の多値画像を取得することができる。
【００４２】
なお、一基のカメラ１と一基のライト９とを用いる構成に限定されるものではなく、カメラ１を複数用いても良い。複数のカメラ１、１、・・・により取得した複数の多値画像に基づいてステレオ計測法等を用いることにより、カメラ１から判定対象物までの距離を求め、距離画像を生成することができるからである。
【００４３】
また、カメラ１、表示装置３、ライト９等は、画像処理装置２と一体化されていても良いし、分離されていても良い。
【００４４】
外部制御機器６は、通信手段２６を介して接続されている制御機器であり、例えばＰＬＣ（プログラマブルロジックコントローラ）等が相当する。ここで外部制御機器６とは、画像処理装置２による画像処理結果に応じて後処理を実行する機器全般を意味している。
【００４５】
図２は、本発明の実施の形態１に係る画像処理装置２の一構成例を示す機能ブロック図である。図２において、本実施の形態１に係る画像処理装置２は、カメラ１と、ライト９と、画像処理装置２の処理を実行する画像処理部７と、記憶手段２３と、画像表示部８とから構成される。
【００４６】
カメラ１は、例えばディジタルカメラであり、判定対象物として例えばフィルム表面を撮像し多値画像を取得して画像処理部７へ出力する。また、ライト９から光を照射することにより、判定対象物又は良品の表面に縞パターンを投影する。カメラ１は、投影された縞パターンを撮像する。画像処理装置２は、カメラ１により撮像された縞パターンを縞パターン画像として取得して、縞パターンの位相解析を実行することにより距離画像を生成し、記憶装置２３に記憶する。なお、ライト９の光照射制御は、例えば主制御部２１により行うことができる。
【００４７】
画像処理部７は、良品画像取得手段７１と、良品距離画像生成手段７２と、分布範囲算出手段７３と、多値画像取得手段７４と、対象距離画像生成手段７５と、位置調整手段７６と、判断手段７７とを含む。また、画像処理部７は、主制御部２１、メモリ２２、外部Ｉ／Ｆ等を含んで構成され、良品画像取得手段７１、良品距離画像生成手段７２、分布範囲算出手段７３、多値画像取得手段７４、対象距離画像生成手段７５、位置調整手段７６及び判断手段７７の処理動作を制御する。
【００４８】
記憶手段２３は、画像メモリとして機能し、カメラ１で撮像した多値画像に関する多値画像データ、ライト９から光を照射することにより投影された縞パターンをカメラ１で撮像した縞パターン画像に基づいて生成した距離画像に関する距離画像データ、及び画像処理部７において位置合わせ、平均値算出等の各種処理を行った後の画像データを随時記憶する。画像データとしてではなく、画素ごとの画素値データとして記憶しても良い。
【００４９】
画像表示部８は、コンピュータ用のモニタ等の表示装置３で構成される。画像表示部８は、良品判定の対象となる判定対象物を撮像した多値画像、良品であるか否かの判定結果を、表示装置３の表示画面上に表示させる。すなわち多値画像表示手段８１は、画像処理部７の指示に応じた多値画像を表示装置３の表示画面上に表示させ、判定結果表示手段８２は、判定対象物が良品であるか否かの判定結果を表示装置３の表示画面上に表示させる。
【００５０】
次に、画像処理部７の各構成について説明する。
【００５１】
良品画像取得手段７１は、カメラ１で撮像した、良品に関する複数の多値画像（第一の多値画像）を取得する。すなわち、良品に関する多値画像を複数取得しておくことにより、取得した多値画像の画素ごとに複数の特徴量を抽出することができる。取得した多値画像に関する多値画像データは、記憶手段２３の良品画像データ記憶部２３１に記憶される。
【００５２】
良品距離画像生成手段７２は、ライト９から光を照射することにより投影された縞パターンをカメラ１で撮像した縞パターン画像に基づいて、縞パターンの位相解析を実行することにより、良品の表面からカメラ１までの距離に応じて画素ごとに濃淡値を特定した良品距離画像（第一の距離画像）を生成する。図３は、本発明の実施の形態１に係る距離画像を説明するための斜視図及び距離画像の例示図である。
【００５３】
図３（ａ）は、本発明の実施の形態１に係る距離画像を説明するための斜視図である。図３（ａ）の例では、半径の異なる２つの円柱を重ね合わせた形状を有するワーク３０１の上方にカメラ１を設置してある。ワーク３０１の最上面Ｓ１とカメラ１との距離をＬ１、ワーク３０１の中段面Ｓ２とカメラ１との距離をＬ２、ワーク３０１の載置面Ｓ３とカメラ１との距離をＬ３とし、ワークの高さＨを（Ｌ３−Ｌ１）とする。
【００５４】
図３（ｂ）は、本発明の実施の形態１に係る距離画像の例示図である。図３（ｂ）に示すように、ワーク３０１の最上面Ｓ１が最も濃く（例えば黒色）、ワーク３０１の載置面Ｓ３が最も薄く（例えば白色）、ワーク３０１の中段面Ｓ２が中間色（例えば灰色）となっている。すなわち、ワーク３０１とカメラ１との間の距離Ｌ１、Ｌ２、Ｌ３に応じて、最上面Ｓ１、中段面Ｓ２、載置面Ｓ３の順に各画素の濃淡値が小さくなる距離画像を生成することができる。
【００５５】
なお、距離画像の生成方法は、大別すると２つの方式に分類される。一方は、画像を取得するために特段の光照射手段を用いることなく撮像した画像を用いて生成するパッシブ方式であり、他方は、高さ方向の距離を計測するために光を能動的に照射して生成するアクティブ方式である。本実施の形態１では、ライト９から光を照射して生成するアクティブ方式を採用している。
【００５６】
二基のカメラを用いるステレオ計測法は、パッシブ方式の代表例である。ステレオ計測法は、二基のカメラを所定の位置に配置するだけで距離画像を生成することができる。
【００５７】
一方、アクティブ方式では、光切断法、パターン投影法が代表例として挙げられる。光切断法は、一基のカメラと一基のライト（光照射手段）とを用いて、ワークに対して線状のレーザ光を照射し、ワーク表面の形状に応じた光の像の歪具合に基づいて、ワークの三次元形状を復元する。
【００５８】
パターン投影法は、ワークに投影された所定パターン（例えば縞パターン）の形状、位相等をずらして撮像した複数の多値画像を解析することで、ワークの三次元形状を復元する。本実施の形態１では、正弦波縞パターンの位相をずらして少なくとも三枚の多値画像を撮像し、画素ごとに正弦波の位相を求め、ワークの三次元形状を求める位相シフト法を用いている。
【００５９】
もちろん、これに限定されるものではなく、２つの規則的なパターンが合成される場合に生じる一種の空間周波数のうなり現象を利用して、ワークの三次元形状を復元するモアレポトグラフィ法を用いても良いし、光レーダ法、合焦点法、共焦点法、白色光干渉法等であっても良い。
【００６０】
図２に戻って、分布範囲算出手段７３は、生成した距離画像の画素ごとの濃淡値の、良品判定を行うための分布範囲を算出する。算出した分布範囲に関する情報は、分布範囲の境界を示す関数式、座標値、閾値等として、記憶手段２３の分布範囲情報記憶部２３２に記憶される。
【００６１】
多値画像取得手段７４は、カメラ１で撮像した、判定対象物に関する多値画像（第二の多値画像）を取得する。対象距離画像生成手段７５は、ライト９から光を照射することにより投影された縞パターンをカメラ１で撮像した縞パターン画像に基づいて、縞パターンの位相解析を実行することにより、判定対象物の表面からカメラ１までの距離に応じて画素ごとの濃淡値を特定した対象距離画像（第二の距離画像）を生成する。良品距離画像の生成方法は、良品距離画像生成手段７２と同様である。
【００６２】
位置調整手段７６は、生成した判定対象物に関する対象距離画像と、良品に関する良品距離画像との位置合わせを行う。具体的には、良品に関する複数の良品距離画像の平均画像を算出しておき、平均画像との間で位置合わせを行う。距離画像間で位置合わせを行う手段は、周知の技術であれば特に限定されるものではない。例えば、パターンマッチングにより双方の距離画像の特徴点の位置を検出し、一致していると判断することが可能な上限値及び下限値を用いて位置合わせを行っても良い。また、正規化相関等を算出することにより双方の距離画像の一致度を算出し、一致度が所定値より大きくなるよう位置合わせを行っても良い。もちろん、双方の距離画像の輪郭線、面積、重心等を一致させるよう位置合わせを行っても良い。
【００６３】
なお、本実施の形態では、位置調整手段７６は、生成した判定対象物に関する対象距離画像と、良品に関する良品距離画像との位置合わせを行っているが、特にこれに限定されるものではなく、例えば良品に関する複数の良品距離画像の平均画像を算出する際に複数の良品距離画像間で位置合わせを行っても良い。良品に関する複数の良品距離画像の平均画像を算出する際に複数の良品距離画像間で位置合わせを行う場合、位置調整手段７６により位置合わせを行っても良いし、別途、良品距離画像間位置調整手段等を設けて行っても良い。
【００６４】
判断手段７７は、生成した判定対象物に関する対象距離画像の画素ごとの濃淡値が、算出してある良品に関する良品距離画像の画素ごとの濃淡値の分布範囲に含まれているか否かを判断する。判定対象物に関する対象距離画像の画素ごとの濃淡値が分布範囲に含まれていると判断した場合には、判定対象物が良品であると判定し、含まれていないと判断した場合には、判定対象物が良品ではないと判定する。
【００６５】
図４は、本発明の実施の形態１に係る画像処理装置２の主制御部２１の良品情報収集処理の手順を示すフローチャートである。画像処理装置２の主制御部２１は、カメラ１で撮像した、良品に関する複数の多値画像（第一の多値画像）を取得する（ステップＳ４０１）。主制御部２１は、取得した多値画像群の多値画像データを、記憶手段２３の良品画像データ記憶部２３１に記憶する（ステップＳ４０２）。
【００６６】
主制御部２１は、複数の良品に関して、ライト９から光を照射することにより投影された縞パターンをカメラ１で撮像した縞パターン画像を取得し（ステップＳ４０３）、縞パターンの位相解析を実行することにより、良品の表面からカメラ１までの距離に応じて画素ごとに濃淡値を特定した複数の良品距離画像を生成する（ステップＳ４０４）。主制御部２１は、生成した良品距離画像群の距離画像データを、記憶手段２３に記憶する（ステップＳ４０５）。
【００６７】
主制御部２１は、生成した良品距離画像に基づいて、良品判定を行うための分布範囲を算出する（ステップＳ４０６）。主制御部２１は、算出した分布範囲に関する情報を、分布範囲の境界を示す関数式、座標値、閾値等として、記憶手段２３の分布範囲情報記憶部２３２に記憶する（ステップＳ４０７）。なお、良品判定を行うための分布範囲を算出する場合、複数の良品距離画像間で位置合わせを行っても良い。
【００６８】
図５は、本発明の実施の形態１に係る画像処理装置２の主制御部２１の良品判定処理の手順を示すフローチャートである。画像処理装置２の主制御部２１は、カメラ１で撮像した、判定対象物に関する多値画像（第二の多値画像）を取得する（ステップＳ５０１）。主制御部２１は、ライト９から光を照射することにより投影された縞パターンをカメラ１で撮像した縞パターン画像を取得し（ステップＳ５０２）、縞パターンの位相解析を実行することにより、判定対象物の表面からカメラ１までの距離に応じて画素ごとに濃淡値を特定した対象距離画像を生成する（ステップＳ５０３）。
【００６９】
主制御部２１は、生成した判定対象物に関する対象距離画像と、良品に関する良品距離画像との位置合わせを行う（ステップＳ５０４）。具体的には、良品に関する複数の良品距離画像の平均距離画像を算出しておき、平均距離画像との間で位置合わせを行う。距離画像間で位置合わせを行う手段は、周知の技術であれば特に限定されるものではない。例えば、パターンマッチングにより双方の距離画像の特徴点の位置を検出し、一致していると判断することが可能な上限値及び下限値を用いて位置合わせを行っても良い。また、正規化相関等を算出することにより双方の距離画像の一致度を算出し、一致度が所定値より大きくなるよう位置合わせを行っても良い。もちろん、双方の距離画像の輪郭線、面積、重心等を一致させるよう位置合わせを行っても良い。
【００７０】
主制御部２１は、生成した判定対象物に関する対象距離画像の画素ごとの濃淡値が、算出してある良品に関する良品距離画像の画素ごとの濃淡値の分布範囲に含まれているか否かを判断する（ステップＳ５０５）。主制御部２１が、判定対象物に関する対象距離画像の画素ごとの濃淡値が分布範囲に含まれていると判断した場合（ステップＳ５０５：ＹＥＳ）、主制御部２１は、判定対象物が良品であると判定し、判定対象物が良品である旨を示す情報を判定結果として、表示装置３の表示画面上に表示する（ステップＳ５０６）。
【００７１】
主制御部２１が、判定対象物に関する対象距離画像の画素ごとの濃淡値が分布範囲に含まれていないと判断した場合（ステップＳ５０５：ＮＯ）、主制御部２１は、判定対象物が良品ではないと判定し、判定対象物が良品ではない旨を示す情報を判定結果として、表示装置３の表示画面上に表示する（ステップＳ５０７）。
【００７２】
以上のように本実施の形態１によれば、第二の距離画像に基づいて、良品であるか否かを判断するので、従来の方法では検出することが困難である判定対象物表面の凹凸を検出することができ、判定対象物を載置した位置のばらつき等により光の当たり方が変化した場合であっても、良品ではないと誤って判定される可能性を低減することが可能となる。
【００７３】
（実施の形態２）
本発明の実施の形態２に係る画像処理装置の構成は、実施の形態１と同様であることから、同一の符号を付することにより詳細な説明を省略する。本実施の形態２は、複数の特徴量抽出手段を有し、取得した多値画像又は生成した距離画像それぞれの特徴量を抽出することにより、良品であるか否かを判断する点で、実施の形態１とは相違する。
【００７４】
図６は、本発明の実施の形態２に係る画像処理装置２の一構成例を示す機能ブロック図である。図６において、本実施の形態２に係る画像処理装置２は、実施の形態１と同様、カメラ１と、ライト９と、画像処理装置２の処理を実行する画像処理部７と、記憶手段２３と、画像表示部８とから構成される。
【００７５】
カメラ１は、例えばディジタルカメラであり、判定対象物として例えばフィルム表面を撮像し多値画像を取得して画像処理部７へ出力する。また、ライト９から光を照射することにより、判定対象物又は良品の表面に縞パターンを投影する。カメラ１は、投影された縞パターンを撮像する。画像処理装置２は、カメラ１により撮像された縞パターンを縞パターン画像として取得して、縞パターンの位相解析を実行することにより距離画像を生成し、記憶装置２３に記憶する。
【００７６】
画像処理部７は、良品画像取得手段７１と、良品距離画像生成手段７２と、選択受付手段７８と、特徴量抽出手段７９（選択特徴量抽出手段７９ｃ）と、分布範囲算出手段７３と、多値画像取得手段７４と、対象距離画像生成手段７５と、位置調整手段７６と、判断手段７７とを含む。また、画像処理部７は、主制御部２１、メモリ２２、外部Ｉ／Ｆ等を含んで構成され、良品画像取得手段７１、良品距離画像生成手段７２、選択受付手段７８、特徴量抽出手段７９（選択特徴量抽出手段７９ｃ）、分布範囲算出手段７３、多値画像取得手段７４、対象距離画像生成手段７５、位置調整手段７６、及び判断手段７７の処理動作を制御する。
【００７７】
記憶手段２３は、画像メモリとして機能し、カメラ１により撮像した多値画像に関する多値画像データ、ライト９から光を照射することにより投影された縞パターンをカメラ１で撮像した縞パターン画像に基づいて生成した距離画像に関する距離画像データ、及び画像処理部７において位置合わせ、平均値算出等の各種処理を行った後の画像データを随時記憶する。画像データとしてではなく、画素ごとの画素値データとして記憶しても良い。
【００７８】
画像表示部８は、コンピュータ用のモニタ等の表示装置３で構成される。画像表示部８は、良品判定の対象となる判定対象物を撮像した多値画像、良品であるか否かの判定結果を、表示装置３の表示画面上に表示させる。すなわち多値画像表示手段８１は、画像処理部７の指示に応じた多値画像を表示装置３の表示画面上に表示させ、判定結果表示手段８２は、判定対象物が良品であるか否かの判定結果を表示装置３の表示画面上に表示させる。
【００７９】
次に、画像処理部７の各構成について説明する。
【００８０】
良品画像取得手段７１は、カメラ１で撮像した、良品に関する複数の多値画像（第一の多値画像）を取得する。すなわち、良品に関する多値画像を複数取得しておくことにより、取得した多値画像の画素ごとに複数の特徴量を抽出することができる。取得した多値画像に関する多値画像データは、記憶手段２３の良品画像データ記憶部２３１に記憶される。
【００８１】
良品距離画像生成手段７２は、ライト９から光を照射することにより投影された縞パターンをカメラ１で撮像した縞パターン画像に基づいて、縞パターンの位相解析を実行することにより、良品の表面からカメラ１までの距離に応じて画素ごとに濃淡値を特定した良品距離画像（第一の距離画像）を生成する。
【００８２】
選択受付手段７８は、特徴量を抽出する複数の特徴量抽出手段のうち、少なくとも１つの特徴量抽出手段の選択を受け付ける。すなわち、本実施の形態２では、後述する第一の特徴量抽出手段７９ａ又は第二の特徴量抽出手段７９ｂの選択を受け付ける。なお、第一の特徴量抽出手段７９ａ又は第二の特徴量抽出手段７９ｂのいずれか１つの選択を受け付けても良いし、両方の選択を受け付けても良い。また、その他の特徴量抽出手段を含めた複数の特徴量抽出手段の中から選択を受け付けても良いことは言うまでもない。
【００８３】
特徴量抽出手段７９は、第一の特徴量抽出手段７９ａと第二の特徴量抽出手段７９ｂとを備えている。第一の特徴量抽出手段７９ａは、取得した多値画像又は生成した距離画像の画素ごとに、色成分に関する画素値を特徴量として抽出する。第二の特徴量抽出手段７９ｂは、取得した多値画像又は生成した距離画像の画素ごとに、異なる二方向におけるエッジ強度を特徴量として抽出する。特徴量が色成分に関する画素値である場合、色の相違を検出することができ、特徴量が異なる二方向におけるエッジ強度である場合、輪郭線近傍の欠陥の存在を検出することができる。
【００８４】
分布範囲算出手段７３は、選択を受け付けた特徴量抽出手段７９により抽出した特徴量に基づいて、良品判定を行うための分布範囲を算出する。第一の特徴量抽出手段７９ａの選択を受け付けた場合には、分布範囲算出手段７３ａにより、第二の特徴量抽出手段７９ｂの選択を受け付けた場合には、分布範囲算出手段７３ｂにより、それぞれ分布範囲を算出する。算出した分布範囲に関する情報は、分布範囲の境界を示す関数式、座標値、閾値等として、記憶手段２３の分布範囲情報記憶部２３２に記憶される。
【００８５】
多値画像取得手段７４は、カメラ１で撮像した、判定対象物に関する多値画像（第二の多値画像）を取得する。対象距離画像生成手段７５は、ライト９から光を照射することにより投影された縞パターンをカメラ１で撮像した縞パターン画像に基づいて、縞パターンの位相解析を実行することにより、判定対象物の表面からカメラ１までの距離に応じて画素ごとに濃淡値を特定した対象距離画像（第二の距離画像）を生成する。対象距離画像の生成方法は、良品距離画像生成手段７２と同様である。
【００８６】
位置調整手段７６は、判定対象物に関する多値画像と、良品に関する多値画像との位置合わせ、及び生成した判定対象物に関する対象距離画像と、良品に関する良品距離画像との位置合わせを行う。具体的には、良品に関する複数の多値画像又は良品距離画像の平均画像を算出しておき、平均画像との間で位置合わせを行う。多値画像間又は距離画像間で位置合わせを行う手段は、周知の技術であれば特に限定されるものではない。例えば、パターンマッチングにより双方の多値画像又は距離画像の特徴点の位置を検出し、一致していると判断することが可能な上限値及び下限値を用いて位置合わせを行っても良い。また、正規化相関等を算出することにより双方の多値画像又は距離画像の一致度を算出し、一致度が所定値より大きくなるよう位置合わせを行っても良い。もちろん、双方の多値画像又は距離画像の輪郭線、面積、重心等を一致させるよう位置合わせを行っても良い。
【００８７】
選択特徴量抽出手段７９ｃは、取得した判定対象物に関する多値画像又は生成した対象距離画像の画素ごとに、選択受付手段７８にて選択を受け付けた特徴量抽出手段７９と同じ特徴量抽出手段により特徴量を抽出する。例えば、第一の特徴量抽出手段７９ａの選択を受け付けた場合、判定対象物に関する多値画像又は対象距離画像の画素ごとに、色成分に関する画素値を特徴量として抽出し、第二の特徴量抽出手段７９ｂの選択を受け付けた場合、判定対象物に関する多値画像又は対象距離画像の画素ごとに、異なる二方向におけるエッジ強度を特徴量として抽出する。
【００８８】
判断手段７７は、取得した判定対象物に関する多値画像又は生成した対象距離画像の画素ごとに、選択を受け付けた特徴量抽出手段７９により対応する特徴量を抽出し、抽出した特徴量が、算出してある良品に関する多値画像又は良品距離画像の、同じ特徴量の分布範囲に含まれているか否かを判断する。抽出した特徴量がすべて分布範囲に含まれていると判断した場合には、判定対象物が良品であると判定し、１つでも含まれていないと判断した場合には、判定対象物が良品ではないと判定する。
【００８９】
図７は、本発明の実施の形態２に係る画像処理装置２の主制御部２１の良品情報収集処理の手順を示すフローチャートである。画像処理装置２の主制御部２１は、カメラ１で撮像した、良品に関する複数の多値画像（第一の多値画像）を取得する（ステップＳ７０１）。主制御部２１は、取得した多値画像群の多値画像データを、記憶手段２３の良品画像データ記憶部２３１に記憶する（ステップＳ７０２）。
【００９０】
主制御部２１は、複数の良品に関して、ライト９から光を照射することにより投影された縞パターンをカメラ１で撮像した縞パターン画像を取得し（ステップＳ７０３）、縞パターンの位相解析を実行することにより、良品の表面からカメラ１までの距離に応じて画素ごとの濃淡値を特定した複数の良品距離画像を生成する（ステップＳ７０４）。主制御部２１は、生成した良品距離画像群の距離画像データを、記憶手段２３に記憶する（ステップＳ７０５）。
【００９１】
主制御部２１は、多値画像又は良品距離画像から特徴量を抽出する特徴量抽出手段７９の選択を受け付ける（ステップＳ７０６）。選択対象となる特徴量抽出手段７９は、取得した多値画像又は生成した良品距離画像の画素ごとに、色成分に関する画素値を特徴量として抽出する第一の特徴量抽出手段７９ａ、及び取得した多値画像又は生成した良品距離画像の画素ごとに、異なる二方向におけるエッジ強度を特徴量として抽出する第二の特徴量抽出手段７９ｂである。なお、選択を受け付ける特徴量抽出手段７９は一つであっても良いし、複数であっても良い。
【００９２】
主制御部２１は、選択を受け付けた特徴量抽出手段７９により、多値画像又は良品距離画像の画素ごとに特徴量を抽出し（ステップＳ７０７）、良品判定を行うための分布範囲を抽出した特徴量ごとに算出する（ステップＳ７０８ａ、Ｓ７０８ｂ）。選択を受け付けた特徴量抽出手段７９が一つである場合には、例えばステップＳ７０８ａのみにより、選択を受け付けた特徴量抽出手段７９が二つである場合には、ステップＳ７０８ａ、Ｓ７０８ｂにより、それぞれに対応する分布範囲を、抽出した特徴量ごとに算出する。主制御部２１は、算出した分布範囲に関する情報を、分布範囲の境界を示す関数式、座標値、閾値等として、記憶手段２３の分布範囲情報記憶部２３２に記憶する（ステップＳ７０９）。
【００９３】
図８は、本発明の実施の形態２に係る画像処理装置２の主制御部２１の良品判定処理の手順を示すフローチャートである。画像処理装置２の主制御部２１は、カメラ１で撮像した、判定対象物に関する多値画像（第二の多値画像）を取得する（ステップＳ８０１）。主制御部２１は、取得した判定対象物に関する多値画像と、良品に関する多値画像（第一の多値画像）との位置合わせを行う（ステップＳ８０２）。具体的には、良品に関する複数の多値画像の平均画像を算出しておき、平均画像との間で位置合わせを行う。
【００９４】
主制御部２１は、ライト９から光を照射することにより投影された縞パターンをカメラ１で撮像した縞パターン画像を取得し（ステップＳ８０３）、縞パターンの位相解析を実行することにより、判定対象物の表面からカメラ１までの距離に応じて画素ごとに濃淡値を特定した対象距離画像を生成する（ステップＳ８０４）。
【００９５】
主制御部２１は、生成した判定対象物に関する対象距離画像と、良品に関する良品距離画像との位置合わせを行う（ステップＳ８０５）。具体的には、良品に関する複数の良品距離画像の平均距離画像を算出しておき、平均距離画像との間で位置合わせを行う。
【００９６】
主制御部２１は、取得した判定対象物に関する多値画像又は生成した対象距離画像の画素ごとに、選択を受け付けた特徴量抽出手段７９により特徴量を抽出する（ステップＳ８０６）。例えば、特徴量抽出手段７９として色成分に関する画素値を抽出する第一の特徴量抽出手段７９ａの選択を受け付けた場合には、判定対象物に関する多値画像又は対象距離画像の画素ごとに、色成分に関する画素値を特徴量として抽出し、異なる二方向におけるエッジ強度を抽出する第二の特徴量抽出手段７９ｂの選択を受け付けた場合には、判定対象物に関する多値画像又は対象距離画像の画素ごとに、異なる二方向におけるエッジ強度を特徴量として抽出する。
【００９７】
主制御部２１は、多値画像又は対象距離画像の画素ごとに抽出した特徴量が、算出してある良品に関する多値画像又は良品距離画像の同じ特徴量に対応する分布範囲に含まれているか否かを判断する（ステップＳ８０７）。主制御部２１が、抽出した多値画像又は対象距離画像の特徴量がすべて分布範囲に含まれていると判断した場合（ステップＳ８０７：ＹＥＳ）、主制御部２１は、判定対象物が良品であると判定し、判定対象物が良品である旨を示す情報を判定結果として、表示装置３の表示画面上に表示する（ステップＳ８０８）。
【００９８】
主制御部２１が、抽出した多値画像又は対象距離画像の特徴量が１つでも分布範囲に含まれていないと判断した場合（ステップＳ８０７：ＮＯ）、主制御部２１は、判定対象物が良品ではないと判定し、判定対象物が良品ではない旨を示す情報を判定結果として、表示装置３の表示画面上に表示する（ステップＳ８０９）。なお、特徴量抽出手段７９の選択を複数受け付けた場合には、選択を受け付けた特徴量抽出手段７９により抽出された特徴量を用いた良品判定の判定結果のうち、一つでも良品ではないと判定された場合には、判定対象物が良品ではないと判定すれば良い。
【００９９】
また、上述したステップＳ８０６では、取得した判定対象物に関する多値画像又は生成した対象距離画像の画素ごとに、選択を受け付けた特徴量抽出手段７９により特徴量を抽出しているが、例えば取得した判定対象物に関する多値画像と生成した対象距離画像との双方について、画素ごとに選択を受け付けた特徴量抽出手段７９により特徴量を抽出することもできる。つまり、取得した判定対象物に関する多値画像の画素ごとに、選択を受け付けた特徴量抽出手段７９により特徴量を抽出するとともに、生成した対象距離画像の画素ごとに、選択を受け付けた特徴量抽出手段７９により特徴量を抽出することも可能である（特徴量は同じであっても異なっていても良い）。そして、取得した判定対象物に関する多値画像と生成した対象距離画像とのそれぞれについて、特徴量が分布範囲に含まれているか否かを判断し、取得した判定対象物に関する多値画像に着目したときの第一の良品判定及び生成した対象距離画像に着目したときの第二の良品判定を行う。例えば、いずれの良品判定においても特徴量が分布範囲に含まれていると判断した場合には、最終的に良品であると判定し、いずれか一方の良品判定において特徴量が分布範囲に含まれていないと判断した場合には、最終的に不良品であると判定する。このように、分布範囲算出手段７３は、生成した距離画像だけでなく、多値画像の画素ごとの濃淡値の、良品判定を行うための分布範囲を算出しても良く、多値画像の画素ごとの濃淡値が、算出してある良品に関する良品多値画像の画素ごとの濃淡値の分布範囲に含まれているか否かを判断しても良い。なお、最終的に良品であると判定する条件のユーザ設定を受け付ける受付手段（マウス、モニタ等）を設けても良い。
【０１００】
ここで、第一の特徴量抽出手段７９ａの選択を受け付けた場合、すなわち抽出される特徴量が、色成分に関する画素値である場合には、良品に関する多値画像又は良品距離画像の画素ごとの色成分に関する画素値の平均値を算出し、算出した色成分に関する画素値の平均値に基づいて、良品に関する多値画像又は良品距離画像の画素ごとに画素値の分布範囲を算出する。図９は、本発明の実施の形態２に係る画像処理装置２の第一の特徴量抽出手段７９ａの選択を受け付けた場合の分布範囲算出手段７３ａの機能ブロック図である。
【０１０１】
図９に示すように、分布範囲算出手段７３ａは、画素平均値算出手段７３１、画素値分布範囲算出手段７３２を含む。画像処理部７の主制御部２１は、画素平均値算出手段７３１、画素値分布範囲算出手段７３２の処理動作を制御する。
【０１０２】
画素平均値算出手段７３１は、取得した良品に関する多値画像又は生成した良品距離画像の画素ごとに、色成分に関する画素値、例えば濃淡値の平均値を算出する。画素値分布範囲算出手段７３２は、算出した色成分に関する画素値、例えば濃淡値の平均値に基づいて、良品に関する多値画像又は良品距離画像の画素ごとに色成分それぞれを座標軸とする多次元空間における画素値の分布範囲を算出する。
【０１０３】
例えば、Ｒ成分、Ｇ成分、Ｂ成分それぞれを座標軸とした三次元座標系を想定する。単純にＲ成分、Ｇ成分、Ｂ成分に関する画素値の平均値をそれぞれ算出して、各成分の画素値の分布範囲を算出して良品判定を行う方法では、色成分に基づいて正しく判定することができない場合が生じうる。
【０１０４】
例えば良品が白に近似する色から濃いグレイまでを含む色、すなわちＲ成分の画素値が３０〜２４０、Ｇ成分の画素値が３０〜２４０、Ｂ成分の画素値が３０〜２４０に分布する場合、赤に近い色の判定対象物、例えばＲ成分の画素値が２００、Ｇ成分の画素値が５０、Ｂ成分の画素値が１００である判定対象物については、明らかに良品ではないにもかかわらず、各成分に関する画素値の分布範囲に含まれていると判断されるおそれがある。したがって、Ｒ成分、Ｇ成分、Ｂ成分について個別に判断するのではなく、Ｒ成分、Ｇ成分、Ｂ成分を座標軸とした仮想三次元空間における画素値の分布範囲に含まれているか否かに応じて良品であるか否かを判定する。
【０１０５】
図１０は、本発明の実施の形態２に係る画像処理装置２の第一の特徴量抽出手段７９ａの選択を受け付けた場合の、画素値の分布範囲を示す例示図である。図１０では、複数の良品に関する多値画像又は良品距離画像に基づいて、各色成分の画素値をＲ成分、Ｇ成分、Ｂ成分を互いに直交する座標軸とした三次元空間に点６０、６０、・・・としてプロットしている。そして、各色成分の画素値の平均値Ａｖを算出して、算出した平均値Ａｖを中心として、三次元空間に良品判定を行うための分布範囲６１を算出している。
【０１０６】
例えば判定対象物の多値画像又は対象距離画像の画素ごとの各色成分に関する画素値をプロットした点６２、６３では、点６３の方が平均値Ａｖから離れている。しかし、点６３は分布範囲６１内であるのに対し、点６２は分布範囲６１の外側にプロットされている。したがって、点６３としてプロットされた判定対象物は良品であると判定され、点６２としてプロットされた判定対象物は良品ではないと判定される。
【０１０７】
分布範囲６１の算出方法は特に限定されるものではない。例えば空間距離であるユークリッド距離を用いても良いし、マハラノビス距離を用いても良い。以下、マハラノビス距離を用いる場合について説明する。
【０１０８】
まず、画素ごとの色成分に関する画素値のマハラノビス距離ＤM は、三次元座標軸、すなわち図１０の例ではＲ軸方向、Ｇ軸方向及びＢ軸方向における画素ごとの画素ベクトルｘ（ｒ、ｇ、ｂ）の平均値をそれぞれ平均値ベクトルμi （ｒバー、ｇバー、ｂバー）、分散共分散行列の逆行列をΣi-1 とした場合、ベクトル行列式を用いて（式１）のように算出することができる。
【０１０９】
【数１】
【０１１０】
（式１）において、λj は固有値であり、ベクトルφj は固有値λj に対応した固有ベクトルである。すなわち（式１）で算出するマハラノビス距離ＤM は、点ｘ（ｒ、ｇ、ｂ）と分布範囲６１の重心（平均値）との距離を、固有ベクトルφj 方向成分に分解し、固有ベクトルφj 方向成分を分散λj で正規化した距離と言える。なお、（式１）におけるｉは分布の区別を示しており、上述した計算では分布範囲６１が１つであることから特段の意味を有してはいない。
【０１１１】
仮想三次元空間であることから、（式１）において、ｎ＝３であり、固有値λj 、固有ベクトルφj はそれぞれ３個であり、固有ベクトルφj も三次元の行列となる。すなわち、分散共分散行列Σi は、（式２）のように表すことができる。
【０１１２】
【数２】
【０１１３】
（式２）において、Ｖは分散を表しており、Ｒ成分、Ｇ成分、Ｂ成分それぞれの分散は（式３）により求めることができる。
【０１１４】
【数３】
【０１１５】
また、（式２）において、Ｃｏｖは共分散を表しており、Ｒ成分とＧ成分との共分散、Ｒ成分とＢ成分との共分散、Ｇ成分とＢ成分との共分散は、それぞれ（式４）により求めることができる。
【０１１６】
【数４】
【０１１７】
（式４）の分母及び分子にｎを乗算して変形することで、（式５）を得る。
【０１１８】
【数５】
【０１１９】
（式５）から、良品に関する多値画像又は良品距離画像に基づいて、画素ごとに、色成分に関する画素値の総和（平均値）、色成分に関する画素値の二乗和、及び二組ずつの色成分の画素値を乗算した値の総和を算出することにより、分散共分散行列Σi を求めることができることがわかる。色成分に関する画素値の総和（平均値）、色成分に関する画素値の二乗和、及び二組ずつの色成分の画素値を乗算した値の総和は、良品画像データ記憶部２３１に記憶しておき、良品であると判定する分布範囲６１を算出する。
【０１２０】
次に、判定対象物に関する多値画像又は距離画像の画素ごとの色成分に関する画素値について、（式１）で算出されるマハラノビス距離ＤM 、すなわち分布範囲６１の重心から色成分に関する画素値までの距離を、分布範囲６１の重心から色成分に関する画素値に向かう方向における分布範囲６１の境界と重心との距離で正規化した値が、所定値より大きい場合には、画素値は分布範囲６１に含まれていない。したがって、色が良品範囲を超えて変化したことを示しているので、良品ではないと判定することができる。
【０１２１】
別の判定方法として、例えば仮想的な楕円球のような形状の範囲（以下、楕円球範囲）の重心から判定対象物に関する多値画像又は対象距離画像の画素ごとの画素値までの距離であるユークリッド距離を算出し、算出したユークリッド距離が、楕円球範囲の重心から判定対象物に関する多値画像又は対象距離画像の画素ごとの画素値に向かう方向における楕円球範囲の境界と重心との距離に基づく所定値より小さいか否かで相互相関分布範囲に含まれているか否かを判断する。ユークリッド距離を用いることにより、分布広がりの大小により感度が大きく変化することなく良品として判定される相互相関分布範囲から外れている度合いを算出することが可能となる。
【０１２２】
また、分布範囲６１を楕円球範囲に限定する必要はなく、分布範囲６１を内接する直方体形状の範囲を仮想的に算出しても良い。
【０１２３】
図１１は、本発明の実施の形態２に係る画像処理装置２の主制御部２１の、第一の特徴量抽出手段７９ａの選択を受け付けた場合の、分布範囲算出処理の手順を示すフローチャートである。斯かる処理は、図７のステップＳ７０８ａに相当する。
【０１２４】
図１１において、画像処理装置２の主制御部２１は、良品に関する複数の多値画像又は良品距離画像に基づいて算出して、良品画像データ記憶部２３１に記憶してある、多値画像又は良品距離画像の画素ごとの色成分に関する画素値の総和（平均値）、色成分に関する画素値の二乗和、及び二組ずつの色成分に関する画素値を乗算した値の総和を読み出し（ステップＳ１１０１）、画素ごとの色成分に関する画素値の分散共分散行列Σiを作成する（ステップＳ１１０２）。すなわち、（式２）に示す分散共分散行列Σi を作成する。
【０１２５】
主制御部２１は、分散共分散行列Σi の固有値λj 、固有ベクトルφj を算出し（ステップＳ１１０３）、分布範囲に関する分布範囲情報として分布範囲情報記憶部２３２へ記憶する（ステップＳ１１０４）。
【０１２６】
そして、図８のステップＳ８０７における分布範囲に含まれているか否かの判断は、取得した判定対象物に関する多値画像又は生成した対象距離画像の画素ごとの特徴量として、色成分に関する画素値を算出し、（式１）にて算出することができるマハラノビス距離ＤM が所定値よりも大きい場合には分布範囲６１に含まれていないと判断し、良品ではないと判定することができる。
【０１２７】
次に、第二の特徴量抽出手段７９ｂの選択を受け付けた場合、すなわち抽出される特徴量が、異なる二方向におけるエッジ強度である場合には、良品に関する多値画像又は距離画像の画素ごとの異なる二方向におけるエッジ強度の平均値を算出し、算出した平均値を中心として、良品に関する多値画像又は良品距離画像の画素ごとに、異なる二方向にエッジ強度の相互相関分布範囲を算出する。図１２は、本発明の実施の形態２に係る画像処理装置２の第二の特徴量抽出手段７９ｂの選択を受け付けた場合の分布範囲算出手段７３ｂの機能ブロック図である。
【０１２８】
図１２に示すように、分布範囲算出手段７３ｂは、方向別エッジ強度算出手段７３４、エッジ強度平均値算出手段７３５、及びエッジ強度分布範囲算出手段７３６を含む。画像処理部７の主制御部２１は、方向別エッジ強度算出手段７３４、エッジ強度平均値算出手段７３５、及びエッジ強度分布範囲算出手段７３６の処理動作を制御する。
【０１２９】
方向別エッジ強度算出手段７３４は、取得した良品に関する多値画像又は生成した良品距離画像の画素ごとの異なる二方向におけるエッジ強度を算出する。エッジ強度を算出する方向は特に限定されるものではないが、本実施の形態２では、異なる二方向である二次元画像の行方向及び列方向について、それぞれエッジ強度を算出する。具体的にはソーベルフィルタで用いる３×３のウインドウテンプレートを用いて、行方向及び列方向のエッジ強度を算出すれば良い。
【０１３０】
エッジ強度平均値算出手段７３５は、算出した画素ごとの異なる二方向におけるエッジ強度に基づいて、良品に関する多値画像又は良品距離画像の画素ごとに、異なる二方向におけるエッジ強度の平均値を算出する。
【０１３１】
エッジ強度分布範囲算出手段７３６は、算出した平均値を中心として、良品に関する多値画像又は良品距離画像の画素ごとに、異なる二方向におけるエッジ強度の相互相関分布範囲を算出する。
【０１３２】
図１３は、本発明の実施の形態２に係る画像処理装置２の所定の画素ごとの異なる二方向におけるエッジ強度の相互相関分布範囲の例示図である。図１３では、二次元画像における行方向のエッジ強度ｅｘをＸ軸、列方向のエッジ強度ｅｙをＹ軸としている。
【０１３３】
エッジ強度平均値算出手段７３５により、良品に関する多値画像又は良品距離画像の画素ごとに、二次元画像における行方向のエッジ強度ｅｘの平均値及び列方向のエッジ強度ｅｙの平均値が算出されているので、良品に関する多値画像又は良品距離画像の画素ごとのエッジ強度の平均値ベクトルＥAVE は、エッジ角度θを傾斜角とする直線上に位置する。そして、例えば取得した複数の良品に関する多値画像（第一の多値画像）又は生成した複数の良品に関する良品距離画像（第一の距離画像）の画素ごとのエッジ強度のばらつきが大きい場合であって、エッジ方向がほぼ揃っているときには、良品に関する多値画像又は良品距離画像のエッジ強度の平均値ベクトルＥAVE を長軸及び短軸が交差する点を中心とした仮想的な楕円領域として相互相関分布領域９１を算出する。したがって、判定対象物に関する多値画像又は対象距離画像の画素ごとのエッジ強度を算出して、同一の画素について、二次元画像における行方向のエッジ強度ｅｘ及び列方向のエッジ強度ｅｙをプロットしたエッジ点９２が、相互相関分布範囲９１に含まれているか否かを判断することにより、判定対象物が良品であるか否かを判定することができる。
【０１３４】
相互相関分布範囲９１の算出方法は特に限定されるものではない。例えば空間距離であるユークリッド距離を用いても良いし、マハラノビス距離を用いても良い。以下、マハラノビス距離を用いる場合について説明する。
【０１３５】
この場合、図６に示す判断手段７７の距離算出手段７０は、分布範囲の重心、例えば図１３の例では仮想的な楕円領域である相互相関分布範囲９１の重心（中心点）から判定対象物に関する多値画像又は対象距離画像の画素ごとのエッジ点（特徴量）までの距離を、重心からエッジ点（特徴量）に向かう方向における相互相関分布範囲９１の境界と重心との距離で正規化したマハラノビス距離を算出する。
【０１３６】
画素ごとのエッジ強度のマハラノビス距離ＤM
は、異なる二方向、すなわち図１３の例ではＸ軸方向及びＹ軸方向における画素ごとのエッジ強度ベクトルｘ（ｅx 、ｅy ）の平均値をそれぞれ平均値ベクトルμi （ｅx バー、ｅy バー）、分散共分散行列の逆行列をΣi-1 とした場合、ベクトル行列式を用いて（式６）のように算出することができる。
【０１３７】
【数６】
【０１３８】
（式６）において、λj は固有値であり、ベクトルφj は固有値λj に対応した固有ベクトルである。すなわち（式６）で算出するマハラノビス距離ＤM は、点ｘ（ｅx 、ｅy ）と相互相関分布範囲９１の重心（平均値）との距離を、固有ベクトルφj 方向成分に分解し、固有ベクトルφj 方向成分を分散λj で正規化した距離と言える。なお、（式６）におけるｉは分布の区別を示しており、上述した計算では相互相関分布範囲９１が１つであることから特段の意味を有してはいない。
【０１３９】
図１０とは異なり、異なる二方向の二次元空間であることから、（式６）において、ｎ＝２であり、固有値λj 、固有ベクトルφj はそれぞれ２個であり、固有ベクトルφj も二次元の行列となる。すなわち、分散共分散行列Σi は、（式７）のように表すことができる。
【０１４０】
【数７】
【０１４１】
（式７）において、Ｖは分散を表しており、Ｘ軸方向のエッジ強度、Ｙ軸方向のエッジ強度それぞれの分散は（式８）により求めることができる。
【０１４２】
【数８】
【０１４３】
また、（式７）において、Ｃｏｖは共分散を表しており、Ｘ軸方向のエッジ強度とＹ軸方向のエッジ強度との共分散は、（式９）により求めることができる。
【０１４４】
【数９】
【０１４５】
（式９）から、良品に関する多値画像又は良品距離画像に基づいて、画素ごとに、異なる二方向におけるエッジ強度の総和（平均値）、異なる二方向におけるエッジ強度の二乗和、及び異なる二方向におけるエッジ強度を互いに乗算した値の総和を算出することにより、分散共分散行列Σi を求めることができることがわかる。異なる二方向におけるエッジ強度の総和（平均値）、異なる二方向におけるエッジ強度の二乗和、及び異なる二方向におけるエッジ強度を互いに乗算した値の総和は、良品画像データ記憶部２３１に記憶しておき、良品であると判定する相互相関分布範囲９１を算出する。
【０１４６】
次に、判定対象物に関する多値画像又は対象距離画像の画素ごとの異なる二方向（Ｘ軸方向及びＹ軸方向）におけるエッジ強度について、（式６）で算出されるマハラノビス距離ＤM 、すなわち相互相関分布範囲９１の重心からエッジ点（特徴量）までの距離を、相互相関分布範囲９１の重心からエッジ点（特徴量）に向かう方向における相互相関分布範囲９１の境界と重心との距離で正規化した値が、所定値より大きい場合には、エッジ点は相互相関分布範囲９１に含まれていない。したがって、エッジ角度が良品範囲を超えて変動したことを示しているので輪郭線の形状が大きく変化したと判断することができ、良品ではないと判定することができる。
【０１４７】
図１４は、本発明の実施の形態２に係る画像処理装置２の主制御部２１の、第二の特徴量抽出手段７９ｂの選択を受け付けた場合の、分布範囲算出処理の手順を示すフローチャートである。斯かる処理は、図７のステップＳ７０８ｂに相当する。
【０１４８】
図１４において、画像処理装置２の主制御部２１は、良品に関する多値画像又は良品距離画像に基づいて算出して記憶してある、多値画像又は良品距離画像の画素ごとの異なる二方向におけるエッジ強度の総和（平均値）、異なる二方向におけるエッジ強度の二乗和、及び異なる二方向におけるエッジ強度を互いに乗算した値の総和を読み出し（ステップＳ１４０１）、画素ごとの異なる二方向におけるエッジ強度の分散共分散行列Σiを作成する（ステップＳ１４０２）。
【０１４９】
主制御部２１は、分散共分散行列Σi の固有値λj 、固有ベクトルφj を算出し（ステップＳ１４０３）、相互相関分布範囲に関する分布範囲情報として分布範囲情報記憶部２３２へ記憶する（ステップＳ１４０４）。
【０１５０】
そして、図８のステップＳ８０７における分布範囲に含まれているか否かの判断は、取得した判定対象物に関する多値画像又は生成した対象距離画像の画素ごとの特徴量として、異なる二方向におけるエッジ強度を算出し、（式６）にて算出することができるマハラノビス距離ＤM が所定値よりも大きい場合には相互相関分布範囲９１に含まれていないと判断し、良品ではないと判定することができる。
【０１５１】
図１５は、本発明の実施の形態２に係る画像処理装置２の主制御部２１の、第二の特徴量抽出手段７９ｂの選択を受け付けた場合の、良品判定処理の手順を示すフローチャートである。画像処理装置２の主制御部２１は、カメラ１で撮像した、判定対象物に関する多値画像を取得する（ステップＳ１５０１）。主制御部２１は、取得した判定対象物に関する多値画像と、良品に関する多値画像との位置合わせを行う（ステップＳ１５０２）。具体的には、良品に関する複数の多値画像の平均画像を算出しておき、平均画像との間で位置合わせを行う。多値画像間で位置合わせを行う手段は、周知の技術であれば特に限定されるものではない。
【０１５２】
主制御部２１は、ライト９から光を照射することにより投影された縞パターンをカメラ１で撮像した縞パターン画像を取得し（ステップＳ１５０３）、縞パターンの位相解析を実行することにより、判定対象物の表面からカメラ１までの距離に応じて画素ごとに濃淡値を特定した対象距離画像を生成する（ステップＳ１５０４）。
【０１５３】
主制御部２１は、生成した判定対象物に関する対象距離画像と、良品に関する良品距離画像との位置合わせを行う（ステップＳ１５０５）。具体的には、良品に関する複数の良品距離画像の平均距離画像を算出しておき、平均距離画像との間で位置合わせを行う。
【０１５４】
主制御部２１は、取得した判定対象物に関する多値画像又は生成した対象距離画像の画素ごとに、異なる二方向におけるエッジ強度を算出する（ステップＳ１５０６）。エッジ強度を算出する方向は特に限定されるものではないが、上述した方法と同様、異なる二方向である二次元画像における列方向及び行方向について、それぞれエッジ強度を算出する。
【０１５５】
主制御部２１は、算出した判定対象物に関する多値画像又は対象距離画像の画素ごとのエッジ強度が、算出した良品に関する多値画像又は良品距離画像の画素ごとのエッジ強度の相互相関分布範囲に含まれているか否かを判断する（ステップＳ１５０７）。主制御部２１が、算出したエッジ強度がすべて相互相関分布範囲に含まれていると判断した場合（ステップＳ１５０７：ＹＥＳ）、主制御部２１は、判定対象物が良品であると判定し、判定対象物が良品である旨を示す情報を判定結果として、表示装置３の表示画面上に表示する（ステップＳ１５０８）。主制御部２１が、算出したエッジ強度が１つでも相互相関分布範囲に含まれていないと判断した場合（ステップＳ１５０７：ＮＯ）、主制御部２１は、判定対象物が良品ではないと判定し、判定対象物が良品ではない旨を示す情報を判定結果として、表示装置３の表示画面上に表示する（ステップＳ１５０９）。
【０１５６】
なお、上述した実施の形態２では、相互相関分布範囲が、仮想的な楕円領域である場合について説明しているが、特に楕円領域に限定されるものではない。
【０１５７】
以上のように本実施の形態２によれば、取得した判定対象物に関する多値画像（第二の多値画像）又は対象距離画像（第二の距離画像）の性状に応じて、良品であるか否かを判定する基礎となる特徴量を抽出する手段を少なくとも一つ選択することができるので、適切な特徴量抽出手段７９を選択することにより、欠陥が輪郭線近傍に生じている場合であっても欠陥の存在を検出することができ、色の相違についても高い感度で検出することが可能となる。例えば選択を受け付けた特徴量抽出手段７９が、色成分に関する画素値を特徴量として抽出する場合、色の相違による濃淡のばらつきの存在を検出することができ、選択を受け付けた特徴量抽出手段７９が異なる二方向におけるエッジ強度を特徴量として抽出する場合、輪郭線近傍の欠陥の存在を検出することができる。
【０１５８】
なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨の範囲内であれば多種の変更、改良等が可能である。異なる二方向を二次元画像の行方向及び列方向としているが、特に限定されるものではなく、互いに直交する二方向であれば足り、色成分についてもＲ成分、Ｇ成分、Ｂ成分だけではなく、シアン成分、マゼンタ成分、イエロー成分であっても良い。
【符号の説明】
【０１５９】
１ カメラ（撮像手段）
２ 画像処理装置
３ 表示装置（画像表示手段）
４ 可搬型記録媒体
５ コンピュータプログラム
６ 外部制御機器
７ 画像処理部
８ 画像表示部
９ ライト（光照射手段）
２１ 主制御部
２２ メモリ
２３ 記憶手段
２４ 入力手段
２５ 出力手段
２６ 通信手段
２７ 補助記憶手段
２８ 内部バス
【特許請求の範囲】
【請求項１】
判定対象物を撮像した多値画像を、良品に関する多値画像群と比較して良品判定を行う画像処理装置において、
撮像手段で撮像された、良品に関する複数の第一の多値画像を取得する良品画像取得手段と、
取得した第一の多値画像の画素ごとに、前記撮像手段からの距離を濃淡値に変換した第一の距離画像を生成する良品距離画像生成手段と、
生成した第一の距離画像の画素ごとの濃淡値の、良品判定を行うための分布範囲を算出する分布範囲算出手段と、
判定対象物に関する第二の多値画像を取得する多値画像取得手段と、
取得した第二の多値画像の画素ごとに、前記撮像手段からの距離を濃淡値に変換した第二の距離画像を生成する対象距離画像生成手段と、
生成した前記第二の距離画像の画素ごとの濃淡値が対応する前記分布範囲に含まれているか否かを判断する判断手段と
を備えることを特徴とする画像処理装置。
【請求項２】
複数の前記撮像手段を備え、前記良品距離画像生成手段又は前記対象距離画像生成手段は、複数の前記撮像手段で撮像された複数の前記第一の多値画像又は前記第二の多値画像に基づいて前記第一の距離画像又は前記第二の距離画像を生成するようにしてあることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記撮像手段と、判定対象物に対して光を照射する光照射手段とを備え、前記良品距離画像生成手段又は前記対象距離画像生成手段は、前記撮像手段で撮像された前記第一の多値画像又は前記第二の多値画像、及び照射した光に基づいて前記第一の距離画像又は前記第二の距離画像を生成するようにしてあることを特徴とする請求項１記載の画像処理装置。
【請求項４】
前記第一の多値画像の画素ごとに、色成分に関する画素値を特徴量として抽出する第一の特徴量抽出手段と、前記第一の多値画像又は前記第一の距離画像の画素ごとに、異なる二方向におけるエッジ強度を特徴量として抽出する第二の特徴量抽出手段とを少なくとも含む複数の特徴量抽出手段のうち、少なくとも１つの特徴量抽出手段の選択を受け付ける選択受付手段を備え、
前記分布範囲算出手段は、選択を受け付けた特徴量抽出手段により抽出した特徴量に基づいて、前記分布範囲を算出するようにしてあり、
前記判断手段は、前記第二の多値画像又は前記第二の距離画像の画素ごとに、選択を受け付けた特徴量抽出手段により特徴量を抽出し、抽出した特徴量が対応する前記分布範囲に含まれているか否かを判断するようにしてあることを特徴とする請求項１乃至３のいずれか一項に記載の画像処理装置。
【請求項５】
前記第一の特徴量抽出手段の選択を受け付けた場合、前記分布範囲算出手段は、
前記第一の多値画像の画素ごとに、色成分に関する画素値の平均値を算出する画素平均値算出手段と、
算出した色成分に関する画素値の平均値に基づいて、前記第一の多値画像の画素ごとに、色成分それぞれを座標軸とする多次元空間における画素値の分布範囲を算出する画素値分布範囲算出手段と
を有し、
前記判断手段は、前記第二の多値画像の画素ごとに、色成分に関する画素値を算出して、色成分それぞれを座標軸とする多次元空間における画素値の分布範囲に含まれているか否かを判断するようにしてあり、
前記第二の特徴量抽出手段の選択を受け付けた場合、前記分布範囲算出手段は、
前記第一の多値画像又は前記第一の距離画像の画素ごとに、異なる二方向におけるエッジ強度を算出する方向別エッジ強度算出手段と、
算出したエッジ強度に基づいて、前記第一の多値画像又は前記第一の距離画像の画素ごとに、異なる二方向におけるエッジ強度の平均値を算出するエッジ強度平均値算出手段と、
算出した平均値を中心として、前記第一の多値画像又は前記第一の距離画像の画素ごとに、異なる二方向におけるエッジ強度の相互相関分布範囲を算出するエッジ強度分布範囲算出手段と
を有し、
前記判断手段は、前記第二の多値画像又は前記第二の距離画像の画素ごとに、異なる二方向におけるエッジ強度を算出して、算出したエッジ強度が対応する前記相互相関分布範囲に含まれているか否かを判断するようにしてあることを特徴とする請求項４記載の画像処理装置。
【請求項６】
前記方向別エッジ強度算出手段は、前記エッジ強度を互いに直交する二方向にて算出するようにしてあることを特徴とする請求項５記載の画像処理装置。
【請求項７】
前記方向別エッジ強度算出手段は、前記エッジ強度を二次元画像における行方向と列方向との二方向にて算出するようにしてあることを特徴とする請求項６記載の画像処理装置。
【請求項８】
前記エッジ強度分布範囲算出手段は、仮想的な楕円領域として前記相互相関分布範囲を算出するようにしてあることを特徴とする請求項５乃至７のいずれか一項に記載の画像処理装置。
【請求項９】
前記第一の多値画像と前記第二の多値画像との位置合わせ又は前記第一の距離画像と前記第二の距離画像との位置合わせを行う位置調整手段を備えることを特徴とする請求項１乃至８のいずれか一項に記載の画像処理装置。
【請求項１０】
前記選択受付手段が、複数の特徴量抽出手段の選択を受け付けた場合であって、前記判断手段が、選択を受け付けた特徴量抽出手段で抽出された特徴量のうち、いずれかの特徴量がそれぞれの特徴量に対応する前記分布範囲に含まれていないと判断したとき、前記判定対象物は良品ではないと判定するようにしてあることを特徴とする請求項１乃至９のいずれか一項に記載の画像処理装置。
【請求項１１】
判定対象物を撮像した多値画像を、良品に関する多値画像群と比較して良品判定を行う画像処理装置で実行することが可能な画像処理方法において、
撮像手段で撮像された、良品に関する複数の第一の多値画像を取得するステップと、
取得した第一の多値画像の画素ごとに、前記撮像手段からの距離を濃淡値に変換した第一の距離画像を生成するステップと、
生成した第一の距離画像の画素ごとの濃淡値の、良品判定を行うための分布範囲を算出するステップと、
判定対象物に関する第二の多値画像を取得するステップと、
取得した第二の多値画像の画素ごとに、前記撮像手段からの距離を濃淡値に変換した第二の距離画像を生成するステップと、
生成した前記第二の距離画像の画素ごとの濃淡値が対応する前記分布範囲に含まれているか否かを判断するステップと
を含むことを特徴とする画像処理方法。
【請求項１２】
判定対象物を撮像した多値画像を、良品に関する多値画像群と比較して良品判定を行う画像処理装置で実行することが可能なコンピュータプログラムにおいて、
前記画像処理装置を、
撮像手段で撮像された、良品に関する複数の第一の多値画像を取得する良品画像取得手段、
取得した第一の多値画像の画素ごとに、前記撮像手段からの距離を濃淡値に変換した第一の距離画像を生成する良品距離画像生成手段、
生成した第一の距離画像の画素ごとの濃淡値の、良品判定を行うための分布範囲を算出する分布範囲算出手段、
判定対象物に関する第二の多値画像を取得する多値画像取得手段、
取得した第二の多値画像の画素ごとに、前記撮像手段からの距離を濃淡値に変換した第二の距離画像を生成する対象距離画像生成手段、及び
生成した前記第二の距離画像の画素ごとの濃淡値が対応する前記分布範囲に含まれているか否かを判断する判断手段
として機能させることを特徴とするコンピュータプログラム。
【請求項１】
判定対象物を撮像した多値画像を、良品に関する多値画像群と比較して良品判定を行う画像処理装置において、
撮像手段で撮像された、良品に関する複数の第一の多値画像を取得する良品画像取得手段と、
取得した第一の多値画像の画素ごとに、前記撮像手段からの距離を濃淡値に変換した第一の距離画像を生成する良品距離画像生成手段と、
生成した第一の距離画像の画素ごとの濃淡値の、良品判定を行うための分布範囲を算出する分布範囲算出手段と、
判定対象物に関する第二の多値画像を取得する多値画像取得手段と、
取得した第二の多値画像の画素ごとに、前記撮像手段からの距離を濃淡値に変換した第二の距離画像を生成する対象距離画像生成手段と、
生成した前記第二の距離画像の画素ごとの濃淡値が対応する前記分布範囲に含まれているか否かを判断する判断手段と
を備えることを特徴とする画像処理装置。
【請求項２】
複数の前記撮像手段を備え、前記良品距離画像生成手段又は前記対象距離画像生成手段は、複数の前記撮像手段で撮像された複数の前記第一の多値画像又は前記第二の多値画像に基づいて前記第一の距離画像又は前記第二の距離画像を生成するようにしてあることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記撮像手段と、判定対象物に対して光を照射する光照射手段とを備え、前記良品距離画像生成手段又は前記対象距離画像生成手段は、前記撮像手段で撮像された前記第一の多値画像又は前記第二の多値画像、及び照射した光に基づいて前記第一の距離画像又は前記第二の距離画像を生成するようにしてあることを特徴とする請求項１記載の画像処理装置。
【請求項４】
前記第一の多値画像の画素ごとに、色成分に関する画素値を特徴量として抽出する第一の特徴量抽出手段と、前記第一の多値画像又は前記第一の距離画像の画素ごとに、異なる二方向におけるエッジ強度を特徴量として抽出する第二の特徴量抽出手段とを少なくとも含む複数の特徴量抽出手段のうち、少なくとも１つの特徴量抽出手段の選択を受け付ける選択受付手段を備え、
前記分布範囲算出手段は、選択を受け付けた特徴量抽出手段により抽出した特徴量に基づいて、前記分布範囲を算出するようにしてあり、
前記判断手段は、前記第二の多値画像又は前記第二の距離画像の画素ごとに、選択を受け付けた特徴量抽出手段により特徴量を抽出し、抽出した特徴量が対応する前記分布範囲に含まれているか否かを判断するようにしてあることを特徴とする請求項１乃至３のいずれか一項に記載の画像処理装置。
【請求項５】
前記第一の特徴量抽出手段の選択を受け付けた場合、前記分布範囲算出手段は、
前記第一の多値画像の画素ごとに、色成分に関する画素値の平均値を算出する画素平均値算出手段と、
算出した色成分に関する画素値の平均値に基づいて、前記第一の多値画像の画素ごとに、色成分それぞれを座標軸とする多次元空間における画素値の分布範囲を算出する画素値分布範囲算出手段と
を有し、
前記判断手段は、前記第二の多値画像の画素ごとに、色成分に関する画素値を算出して、色成分それぞれを座標軸とする多次元空間における画素値の分布範囲に含まれているか否かを判断するようにしてあり、
前記第二の特徴量抽出手段の選択を受け付けた場合、前記分布範囲算出手段は、
前記第一の多値画像又は前記第一の距離画像の画素ごとに、異なる二方向におけるエッジ強度を算出する方向別エッジ強度算出手段と、
算出したエッジ強度に基づいて、前記第一の多値画像又は前記第一の距離画像の画素ごとに、異なる二方向におけるエッジ強度の平均値を算出するエッジ強度平均値算出手段と、
算出した平均値を中心として、前記第一の多値画像又は前記第一の距離画像の画素ごとに、異なる二方向におけるエッジ強度の相互相関分布範囲を算出するエッジ強度分布範囲算出手段と
を有し、
前記判断手段は、前記第二の多値画像又は前記第二の距離画像の画素ごとに、異なる二方向におけるエッジ強度を算出して、算出したエッジ強度が対応する前記相互相関分布範囲に含まれているか否かを判断するようにしてあることを特徴とする請求項４記載の画像処理装置。
【請求項６】
前記方向別エッジ強度算出手段は、前記エッジ強度を互いに直交する二方向にて算出するようにしてあることを特徴とする請求項５記載の画像処理装置。
【請求項７】
前記方向別エッジ強度算出手段は、前記エッジ強度を二次元画像における行方向と列方向との二方向にて算出するようにしてあることを特徴とする請求項６記載の画像処理装置。
【請求項８】
前記エッジ強度分布範囲算出手段は、仮想的な楕円領域として前記相互相関分布範囲を算出するようにしてあることを特徴とする請求項５乃至７のいずれか一項に記載の画像処理装置。
【請求項９】
前記第一の多値画像と前記第二の多値画像との位置合わせ又は前記第一の距離画像と前記第二の距離画像との位置合わせを行う位置調整手段を備えることを特徴とする請求項１乃至８のいずれか一項に記載の画像処理装置。
【請求項１０】
前記選択受付手段が、複数の特徴量抽出手段の選択を受け付けた場合であって、前記判断手段が、選択を受け付けた特徴量抽出手段で抽出された特徴量のうち、いずれかの特徴量がそれぞれの特徴量に対応する前記分布範囲に含まれていないと判断したとき、前記判定対象物は良品ではないと判定するようにしてあることを特徴とする請求項１乃至９のいずれか一項に記載の画像処理装置。
【請求項１１】
判定対象物を撮像した多値画像を、良品に関する多値画像群と比較して良品判定を行う画像処理装置で実行することが可能な画像処理方法において、
撮像手段で撮像された、良品に関する複数の第一の多値画像を取得するステップと、
取得した第一の多値画像の画素ごとに、前記撮像手段からの距離を濃淡値に変換した第一の距離画像を生成するステップと、
生成した第一の距離画像の画素ごとの濃淡値の、良品判定を行うための分布範囲を算出するステップと、
判定対象物に関する第二の多値画像を取得するステップと、
取得した第二の多値画像の画素ごとに、前記撮像手段からの距離を濃淡値に変換した第二の距離画像を生成するステップと、
生成した前記第二の距離画像の画素ごとの濃淡値が対応する前記分布範囲に含まれているか否かを判断するステップと
を含むことを特徴とする画像処理方法。
【請求項１２】
判定対象物を撮像した多値画像を、良品に関する多値画像群と比較して良品判定を行う画像処理装置で実行することが可能なコンピュータプログラムにおいて、
前記画像処理装置を、
撮像手段で撮像された、良品に関する複数の第一の多値画像を取得する良品画像取得手段、
取得した第一の多値画像の画素ごとに、前記撮像手段からの距離を濃淡値に変換した第一の距離画像を生成する良品距離画像生成手段、
生成した第一の距離画像の画素ごとの濃淡値の、良品判定を行うための分布範囲を算出する分布範囲算出手段、
判定対象物に関する第二の多値画像を取得する多値画像取得手段、
取得した第二の多値画像の画素ごとに、前記撮像手段からの距離を濃淡値に変換した第二の距離画像を生成する対象距離画像生成手段、及び
生成した前記第二の距離画像の画素ごとの濃淡値が対応する前記分布範囲に含まれているか否かを判断する判断手段
として機能させることを特徴とするコンピュータプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１２−２１９１９（Ｐ２０１２−２１９１９Ａ）
【公開日】平成２４年２月２日（２０１２．２．２）
【国際特許分類】
【出願番号】特願２０１０−１６１１２５（Ｐ２０１０−１６１１２５）
【出願日】平成２２年７月１６日（２０１０．７．１６）
【出願人】（０００１２９２５３）株式会社キーエンス (681)
【Ｆターム（参考）】
【公開日】平成２４年２月２日（２０１２．２．２）
【国際特許分類】
【出願日】平成２２年７月１６日（２０１０．７．１６）
【出願人】（０００１２９２５３）株式会社キーエンス (681)
【Ｆターム（参考）】
[ Back to top ]