焦点ズレ検出装置、焦点ズレ検出方法およびプログラム
【課題】探傷中においても撮像装置の焦点ズレを検知することができ、判定精度の劣化による不良品の流出等を防止する焦点ズレ検出装置を提供する。
【解決手段】本発明の焦点ズレ検出装置は、搬送される被検査体の表面を撮像装置により撮像した画像データに基づいて、表面欠陥を検査する表面欠陥検査装置において、撮像装置の焦点ズレを検出する。かかる焦点ズレ検出装置は、画像データの画像信号を２次元配列された周波数成分に変換する変換演算を行う演算部と、画像データの周波数成分の２次元配列を、所定の規則に基づいて、１次元配列に変換する配列変換部と、１次元配列に変換された周波数成分の一部によって形成される波形の傾きに基づいて、撮像装置の焦点ズレの有無を判定する焦点ズレ判定部と、を備えることを特徴とする。
【解決手段】本発明の焦点ズレ検出装置は、搬送される被検査体の表面を撮像装置により撮像した画像データに基づいて、表面欠陥を検査する表面欠陥検査装置において、撮像装置の焦点ズレを検出する。かかる焦点ズレ検出装置は、画像データの画像信号を２次元配列された周波数成分に変換する変換演算を行う演算部と、画像データの周波数成分の２次元配列を、所定の規則に基づいて、１次元配列に変換する配列変換部と、１次元配列に変換された周波数成分の一部によって形成される波形の傾きに基づいて、撮像装置の焦点ズレの有無を判定する焦点ズレ判定部と、を備えることを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、焦点ズレ検出装置、焦点ズレ検出方法およびプログラムに関し、特に、搬送される被検査体の欠陥を検出するために表面を撮像する撮像装置の光学系への適用に好適な技術に関する。
【背景技術】
【０００２】
従来から、被検査体の表面の欠陥を検査するための技術（探傷処理）は種々のものが知られている。例えば、撮像装置を用いて被検査体の表面を撮像して画像データを取得して、取得した画像データの輝度を平均化した値と元の画像データの輝度との差分を計算し、当該差分と閾値との比較結果に基づいて欠陥を検出する方法等が実施されている。
【０００３】
このような被検査体の表面の探傷を行う表面欠陥検査装置では、撮像装置により撮像された画像から欠陥を検出するため、高い精度で欠陥を検出するには撮像装置の光学系の焦点を被検査体の表面に合わせておくことが重要である。しかし、表面欠陥検査装置における機械的な振動によって撮像装置のレンズが合焦点位置（撮像装置の焦点が被検査体の表面に合致するときのレンズ位置）からずれてしまったり、メンテナンス等の際に撮像装置を移動させてしまったりすることによって、撮像装置のレンズ位置を合焦点位置から移動させてしまうことがある。このため、撮像装置の焦点が合っているか否かを確認し、焦点がずれている場合には撮像装置の焦点調整作業を行う必要がある。
【０００４】
このように、撮像装置の焦点が合っているか否かを検出する装置として、例えば特許文献１には、所定の検査パターンを用いて、隣接画素の差分の絶対値の合計と画素の平均値との比に基づいて、定期的にカメラの焦点が合っているか否かを判断する光学的検査装置が開示されている。また、特許文献２には、オートフォーカスカメラ装置において、隣接画素の差分絶対値の合計を用いて算出された最大点に基づいて、カメラ装置の焦点を合わせる方法が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００２−３１８３４３号公報
【特許文献２】特開平０６−１１３１８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記特許文献１は同一の検査パターンに対して評価値を算出し、上記特許文献２は同一被写体について評価値を算出して、合焦の程度を判定している。しかし、鉄鋼圧延ライン等における通常探傷中においては、搬送される被検査体の表面を撮像する。この場合、同一の被写体を撮影することはないため、上記特許文献１、２のような評価値を用いることはできない。これは、評価対象とする画像データが変化すると評価値が大きく変化してしまうので、異なる画像データ間では評価値を比較することができないからである。したがって、これらの方法では探傷中においては撮像装置の焦点がずれてもこれを検知することができない。このため、振動等により、時間の経過とともに撮像装置のずれが増大する場合には、表面欠陥検査装置の検出精度が劣化してしまい、不良品を流出させてしまう。
【０００７】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、探傷中においても撮像装置の焦点ズレを検知することができ、判定精度の劣化による不良品の流出等を防止することが可能な、新規かつ改良された焦点ズレ検出装置、焦点ズレ検出方法およびプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明のある観点によれば、搬送される被検査体の表面を撮像装置により撮像した画像データに基づいて、表面欠陥を検査する表面欠陥検査装置において、撮像装置の焦点ズレを検出する焦点ズレ検出装置が提供される。かかる焦点ズレ検出装置は、画像データの画像信号を２次元配列された周波数成分に変換する変換演算を行う演算部と、画像データの周波数成分の２次元配列を、所定の規則に基づいて、１次元配列に変換する配列変換部と、１次元配列に変換された周波数成分の一部によって形成される波形の傾きに基づいて、撮像装置の焦点ズレの有無を判定する焦点ズレ判定部と、を備えることを特徴とする。
【０００９】
本発明の焦点ズレ検出装置は、撮像装置によって撮像した画像データの画像信号を２次元配列された周波数成分に変換し、さらに当該周波数成分を所定の規則に基づいて１次元配列に変換したデータに基づいて、撮像装置の焦点ズレの有無を判定する。これにより、焦点ズレの程度を評価するための画像データが変化する場合であっても、撮像装置の焦点ズレを検出することができる。
【００１０】
ここで、演算部は、画像データを所定サイズのブロックに分割する画像分割部と、画像データを分割して生成された各ブロックを、離散コサイン変換を用いて２次元配列された周波数成分に変換し、２次元配列された周波数成分毎に、各ブロックの２次元配列された周波数成分の絶対値を加算して全ブロックに対する平均をとることにより平均周波数成分絶対値を算出するＤＣＴ演算部と、をさらに備えてもよい。
【００１１】
配列変換部は、２次元配列された周波数成分に変換された画像データを、低い周波数成分から高い周波数成分の順に読み取り、１次元配列に変換してもよい。
【００１２】
例えば、配列変換部は、２次元配列された周波数成分に変換された画像データを、ジグザグスキャンすることにより、１次元配列に変換することができる。
【００１３】
また、配列変換部は、画像データの２次元配列から１次元配列へ変換するときの周波数成分の読み取り順序で、画像データの平均周波数成分絶対値の対数値を配列して、傾きを算出するための波形を形成してもよい。
【００１４】
焦点ズレ判定部は、１次元配列に変換された周波数成分のうち、低い周波数成分を用いて形成される波形の傾きを算出してもよい。
【００１５】
また、焦点ズレ判定部は、画像データの２次元配列から１次元配列へ変換するときに、直流の周波数成分を除いて、波形の傾きを算出してもよい。
【００１６】
焦点ズレ判定部は、傾きの絶対値が所定の閾値より小さいとき、撮像装置の焦点ズレ無しと判定し、傾きの絶対値が所定の閾値以上のとき、撮像装置の焦点ズレ有りと判定することができる。
【００１７】
焦点ズレ判定部は、周波数成分を直線近似することにより、波形の傾きを算出することができる。
【００１８】
また、上記課題を解決するために、本発明の別の観点によれば、搬送される被検査体の表面を撮像装置により撮像した画像データに基づいて、表面欠陥を検査する表面欠陥検査装置の、撮像装置の焦点ズレを検出する焦点ズレ検出方法が提供される。かかる焦点ズレ検出方法では、画像データの画像信号を２次元配列された周波数成分に変換する変換演算を行う演算ステップと、画像データの周波数成分の２次元配列を、所定の規則に基づいて、１次元配列に変換する配列変換ステップと、１次元配列に変換された周波数成分の一部によって形成される波形の傾きに基づいて、撮像装置の焦点ズレの有無を判定する焦点ズレ判定ステップと、を含むことを特徴とする。
【００１９】
さらに、上記課題を解決するために、本発明の別の観点によれば、コンピュータに上記の焦点ズレ検出装置として機能させるためのプログラムが提供される。かかるプログラムは、コンピュータが備える記憶装置に格納され、コンピュータが備えるＣＰＵに読み込まれて実行されることにより、そのコンピュータを上記の焦点ズレ検出装置として機能させる。また、当該プログラムが記録された、コンピュータで読み取り可能な記録媒体も提供される。記録媒体は、例えば磁気ディスクや光ディスクなどである。
【発明の効果】
【００２０】
以上説明したように本発明によれば、探傷中においても撮像装置の焦点ズレを検知することができ、判定精度の劣化による不良品の流出等を防止することが可能な焦点ズレ検出装置、焦点ズレ検出方法およびプログラムを提供することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の実施形態に係る欠陥検査処理を適用する典型的な鉄鋼圧延ラインを示す説明図である。
【図２】欠陥検査処理を示すフローチャートである。
【図３】同実施形態に係る画像処理装置の焦点ズレ検出手段の機能構成を示すブロック図である。
【図４】焦点ズレ検出手段による焦点ズレ検出方法を示すフローチャートである。
【図５】焦点ズレ検出手段による焦点ズレ検出方法を示す説明図である。
【図６】ＤＣＴ演算部による２次元離散コサイン変換を用いたＤＣＴ係数の算出処理を示す説明図である。
【図７】直線近似に用いたデータ数を変化させたときの、焦点ズレ判定部により算出された直線の傾きと焦点ズレの程度との関係とを示すグラフである。
【図８】原画データに対するインデックスとＤＣＴ係数の絶対値の平均の対数との関係を示す波形と当該波形を直線近似して得られた直線とを表すグラフと、検証対象である画像とを示す説明図である。
【図９】焦点ズレの程度が「１」である画像データに対するインデックスとＤＣＴ係数の絶対値の平均の対数との関係を示す波形と当該波形を直線近似して得られた直線とを表すグラフと、検証対象である画像とを示す説明図である。
【図１０】焦点ズレの程度が「２」である画像データに対するインデックスとＤＣＴ係数の絶対値の平均の対数との関係を示す波形と当該波形を直線近似して得られた直線とを表すグラフと、検証対象である画像とを示す説明図である。
【図１１】同実施形態に係る画像処理装置の一ハードウェア構成例を示すブロック図である。
【発明を実施するための形態】
【００２２】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２３】
＜１．鉄鋼圧延ラインにおける欠陥検査の概要＞
［鉄鋼圧延ラインの概略構成］
まず、図１を参照して、本発明の実施形態に係る欠陥検査処理を適用する鉄鋼圧延ラインの概略構成について説明する。なお、図１は、本実施形態に係る欠陥検査処理を適用する典型的な鉄鋼圧延ラインを示す説明図である。
【００２４】
鉄鋼圧延ラインは、ラインの始点である巻出しリール１０と、終点である巻取りリール５０と、これらのリール間で被検査体である鋼板２０を進行させる搬送ロール３０と、圧延処理を行う圧延ロール４０とからなる。圧延ロール４０と巻取りリール５０との間には、鋼板２０の表面に光を出射するための照明６０および鋼板２０の表面を撮像するための撮像手段であるカメラ７０が配置されている。カメラ７０は、照明６０から出射され、鋼板９０の表面において反射した光がカメラ７０に入力するように設けられている。また、カメラ７０は、被検査体である鋼板２０の表面との相対的な位置が常に一定となるように設けられている。カメラ７０は、画像メモリ８０に接続されており、撮像した画像を画像メモリ８０へ出力する。また、欠陥検査処理を行う画像処理装置９０には、画像メモリ８０と表示装置１００とが接続されている。
【００２５】
巻出しリール１０から送出された帯状の鋼板２０は、搬送ロール３０によって図１の矢印方向に進められて圧延機４０で圧延処理された後、巻取りリール５０により巻き取られる。一方、鋼板２０の表面の欠陥検査は、圧延処理された鋼板２０に照明６０を用いて光を当て、その表面をカメラ７０で撮像した画像データに基づき行われる。撮像された画像データは、各画素の輝度を記録したものであり、画像はその集合体として表示される。画像データは、画像メモリ８０に記憶され、画像処理装置９０において欠陥検査処理した後、検査結果が表示装置１００に表示される。
【００２６】
［欠陥検査処理の概要］
次いで、図２に基づいて、画像処理装置９０により行われる欠陥検査処理の手順について説明する。なお、図２は、欠陥検査処理を示すフローチャートである。
【００２７】
まず、画像処理装置９０は、画像メモリ８０に記憶された被検査体表面の画像データを取り込むと（ステップＳ１０）、シェーディング補正等により画像データの輝度の正規化処理を行う（ステップＳ２０）。正規化処理は、照明むらを補正することを目的として、欠陥のない画像データとの減算、または欠陥のない画像データを分母とする除算で行われる。代替的に、取り込んだ画像データをローパスフィルタにより平滑化して輝度のムラ成分のみを取り出し、減算または除算を行うことで正規化処理してもよい。正規化処理における減算または除算は、画素毎に行われる。正規化処理が減算による場合には、正規化基準値が０となり、除算による場合には正規化基準値は１となる。このような正規化処理を行うことにより、輝度正規化画像データを取得することができる。
【００２８】
次いで、画像処理装置９０は、輝度正規化画像データを所定の閾値に基づいて二値化し、二値化画像データを取得する（ステップＳ３０）。所定の閾値は、鋼板の表面上の疵部分と健全部分での輝度の違いから疵サンプル等で実験的に設定された、疵とみなす部分を特定するための値である。画像処理装置９０は、輝度正規化画像データの各画素について、正規化された輝度が所定の閾値範囲を超える場合には疵候補有りとし、正規化された輝度が所定の閾値範囲内に収まる場合には疵候補無しと判定する。これにより、輝度正規化画像データから、各画素が疵候補有り、または疵候補無しのいずれかを示す値を有する二値化画像データが生成される。
【００２９】
さらに、画像処理装置９０は、二値化画像データに対し、隣接している疵候補有りの部分を１つのグループとして扱い、離間している疵候補有りのグループをそれぞれ異なるものと扱うために、ラベリング処理を行う（ステップＳ４０）。ラベリング処理は、各グループに対してラベル番号を順に割り当てる処理である。画像処理装置９０は、二値化画像データから互いに隣接している疵候補有りの二値化画像の画素を１つの欠陥グループとして扱い、離間している各欠陥グループに対して連続したラベル番号を順に付していく。ラベル番号は、例えば、画像の左から右、上から下の優先順序で付すようにしてもよい。これにより、二値化画像データから、欠陥グループ毎にラベル番号が付されたラベル画像データが生成される。
【００３０】
その後、画像処理装置９０は、ラベル画像データから欠陥の特徴を抽出する（ステップＳ５０）。欠陥の特徴としては、例えば疵の大きさや形状がある。この場合、欠陥グループの面積や存在領域をラベル画像データから抽出すればよく、例えばラベリング画像に基づく方法を用いて同一ラベル番号の画素数をカウントする等の方法を用いてもよい。
【００３１】
次いで、欠陥の特徴抽出により得られた特徴量に基づいて、欠陥の判定が行われる（ステップＳ６０）。欠陥の判定には、例えば樹枝状理論やニューラルネットワーク等を用いることができる。判定される欠陥種別としては、例えば鋼板の欠陥の場合には、へげ（Ｓｃａｂ）、ブローホール（ＢｌｏｗＨｏｌｅ）、スリバー（Ｓｌｉｖｅｒ）、スキンインクルージョン（Ｓｋｉｎ Ｉｎｃｌｕｓｉｏｎ）、スケール（Ｓｃａｌｅ）、ガウジ（Ｇｏｕｇｅ）等がある。
【００３２】
画像処理装置９０は、欠陥を判定すると、欠陥種別等を示す判定結果を表示装置１００に表示させる（ステップＳ７０）。判定結果の出力先は、印字装置やディスク記録装置等のように何らかの媒体への出力装置であってもよいし、解析装置や送信装置等のようにさらに別処理を行うための装置等であってもよい。
【００３３】
このように、鉄鋼圧延ラインにて搬送される鋼板２０をカメラ７０によって撮像した画像データを用いて、鋼板２０の表面に生じた疵等の欠陥を検出することができる。
【００３４】
＜２．表面検査処理＞
鉄鋼圧延ラインにて搬送されている鋼板２０の表面に対する欠陥検査処理は、カメラ７０により撮像した画像データに基づいて行われるため、画像データのピントがずれていると疵等を検出することができなくなり、欠陥の判定の精度が低下する。そうすると、欠陥が存在するにも関わらずこれを検出できない可能性もあり、不良品の流出を招くことになる。そこで、本実施形態に係る画像処理装置９０は、カメラ７０のレンズ位置が合焦点位置からずれたことを検知する焦点ズレ検出手段を備える。以下、図３〜図７に基づいて、画像処理装置９０の焦点ズレ検出手段と、これによる焦点ズレ検出方法について詳細に説明していく。
【００３５】
［焦点ズレ検出手段の構成］
まず、図３に基づいて、本実施形態に係る画像処理装置９０の焦点ズレ検出手段について説明する。図３は、本実施形態に係る画像処理装置９０の焦点ズレ検出手段の機能構成を示すブロック図である。なお、図３では、画像処理装置９０における焦点ズレ検出手段を構成する要素のみを記載しており、上述した欠陥検査処理等を行う要素については記載を省略している。
【００３６】
焦点ズレ検出手段は、図３に示すように、画像取込部９１と、画像分割部９２と、ＤＣＴ演算部９３と、配列変換部９４と、焦点ズレ判定部９５と、出力部９６とから構成される。本実施形態では、画像分割部９２、ＤＣＴ演算部９３、および配列変換部９４により、画像データの２次元空間周波数分布を、離散コサイン変換（ＤＣＴ；Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）を用いて１次元に配列する処理が行われる。
【００３７】
画像取込部９１は、画像メモリ８０（図１参照）より、カメラ７０のレンズ位置が合焦点位置からずれているか否かを判定するために用いる画像データを取り込む。画像メモリ８０には、カメラ７０が撮像した画像データが記憶されている。画像取込部９１は、所定のタイミングで画像メモリ８０に記憶された画像データを取り込み、取り込んだ画像データを画像分割部９２へ出力する。画像データの取り込みタイミングは、例えば焦点ズレ判定処理を開始するタイミング等とすることができる。
【００３８】
画像分割部９２は、画像データを、ｎ×ｎ個（ｎは正の整数）の画素からなる複数のブロックに分割する。この際、画像分割部９２は、各ブロックが重複しないように画像データの分割位置を決定する。画像分割部９２は、画像データの分割位置を決定すると、ＤＣＴ演算部９３に対して離散コサイン変換処理の実行を指示する。
【００３９】
ＤＣＴ演算部９３は、画像データを分割して生成される各ブロックについて、離散コサイン変換を用いて、２次元配列された周波数成分であるＤＣＴ係数を算出する。離散コサイン変換は、画像信号を空間周波数成分へ変換する一手法であり、信号圧縮処理に広く利用されている。ＤＣＴ演算部９３は、画像データの各ブロックについて、各画素の情報である画像信号から、２次元離散コサイン変換の基底ベクトルを用いて、ｎ×ｎ個のＤＣＴ係数を算出する。そして、ＤＣＴ演算部９３は、各ブロックのＤＣＴ係数の絶対値をとり、ｎ×ｎ個の周波数成分について、ＤＣＴ係数の絶対値から全ブロックの平均を算出することにより、平均周波数成分絶対値として平均ＤＣＴ係数絶対値を得る。ＤＣＴ演算部９３は、画像データの平均ＤＣＴ係数絶対値を算出すると、配列変換部９４に対して２次元空間周波数分布を１次元配列に変換する配列変換処理の実行を指示する。
【００４０】
配列変換部９４は、画像データの２次元空間周波数分布を１次元配列に変換する。配列変換部９４は、２次元配列された平均ＤＣＴ係数絶対値を、所定の規則にしたがって１次元配列に配列し直す。所定の規則としては、例えば、低い周波数成分から高い周波数成分へとジグザグ状にスキャンするジグザグスキャンを用いることができる。ジグザグスキャンにより２次元配列を１次元配列に変換することで、隣接するデータ間の周波数成分の変化量を小さくできるので、１次元配列に変換して得られるデータの波形の形状を滑らかにすることができる。
【００４１】
また、配列変換部９４は、画像データの２次元空間周波数分布を１次元配列に変換した後、各周波数成分のスキャン順序を表すインデックスと、平均ＤＣＴ係数絶対値の対数をとった値（平均ＤＣＴ係数対数値）との関係を表すグラフを作成する。配列変換部９４は、グラフを作成すると、焦点ズレ判定部９５に対して焦点ズレ判定処理の実行を指示する。
【００４２】
焦点ズレ判定部９５は、配列変換部９４により作成されたグラフに基づき、カメラ７０のレンズ位置が合焦位置からずれているか否かを判定する。焦点ズレ判定部９５は、配列変換部９４により作成されたグラフより、所定の範囲内の周波数成分のデータを用いてグラフを直線近似する。直線近似には、例えば、最小二乗法等の一般的な手法を用いることができる。そして、焦点ズレ判定部９５は、グラフを直線近似して得た直線の傾きの絶対値と所定の閾値とを比較して、その大小関係に基づきカメラ７０のレンズ位置がずれているか否かを判定し、判定結果を出力部９６へ出力する。
【００４３】
出力部９６は、焦点ズレ判定部９５から入力された判定結果を、ユーザに通知するために表示装置１００へ出力する。出力部９６は、画像メモリ８０から取り込んだ画像データや、配列変換部９４により作成されたグラフ等の情報も表示装置１００へ出力して、表示させることができる。
【００４４】
以上、本実施形態に係る画像処理装置１００の焦点ズレ検出手段の構成について説明した。
【００４５】
［焦点ズレ検出方法］
次に、図４〜図７に基づいて、画像処理装置９０の焦点ズレ検出手段による焦点ズレ検出方法について説明する。なお、図４は、焦点ズレ検出手段による焦点ズレ検出方法を示すフローチャートである。図５は、焦点ズレ検出手段による焦点ズレ検出方法を示す説明図である。図６は、ＤＣＴ演算部９３による２次元離散コサイン変換を用いたＤＣＴ係数の算出処理を示す説明図である。図７は、直線近似に用いたデータ数を変化させたときの、焦点ズレ判定部９５により算出された直線の傾きと焦点ズレの程度との関係とを示すグラフである。
【００４６】
焦点ズレ検出手段による焦点ズレ検出方法では、図４に示すように、まず、画像取込部９１により、画像メモリ８０から画像データを画像処理装置９０内へ取り込む（ステップＳ１００）。画像メモリ８０には、カメラ７０により撮像された画像のフレーム画像または切り出し画像が画像データとして記憶されている。画像データの取り込みは、例えば焦点ズレ判定処理を開始するタイミングで行ってもよく、画像データが画像メモリ８０に記録されたタイミングで行ってもよい。
【００４７】
画像メモリ８０から画像が取り込まれると、画像分割部９２により、画像データの分割が行われる（ステップＳ１０２）。かかるステップでは、画像分割部９２は、画像データを、各ブロックが重複（ラップ）しないように、ｎ×ｎ個の画素からなるブロックに分割する。例えば、図５に示すように、画像データを、８×８個の画素からなるブロックに分割する場合、６４０×４８０個の画素からなる画像データは８０×６０、すなわち４８００ブロックに分割される。
【００４８】
画像データの分割位置が決定されると、ＤＣＴ演算部９３は、画像データの各ブロックについて、離散コサイン変換を行う（ステップＳ１０４）。ＤＣＴ演算部９３は、図６に示す２次元離散コサイン変換の基底ベクトルを用いて変換処理を行い、ＤＣＴ係数を算出する。２次元離散コサイン変換では、ｎ×ｎ画素からなる１つのブロックについて、２次元離散コサイン変換の基底ベクトルとの内積を算出する。かかる内積の値がＤＣＴ係数となる。このとき、基底ベクトルの各基底は、ブロックのサイズと同一のサイズ（すなわち、ｎ×ｎ）を有している。離散コサイン変換は、直交変換であるため、変換後の係数もｎ×ｎ個であり、したがって、１つのブロックに対して、ｎ×ｎ個のＤＣＴ係数が算出されることになる。例えば図５に示すように、８×８個の画素からなるブロックに対して６４個のＤＣＴ係数が算出される。ここで、（０，０）成分は直流成分であり、他の成分は交流成分である。このように、ＤＣＴ演算部９３は、画像データの各ブロックについて、ＤＣＴ係数を算出する。
【００４９】
次いで、ＤＣＴ演算部９３は、各ブロックのＤＣＴ係数の絶対値を算出し（ステップＳ１０６）、さらに全ブロックのＤＣＴ係数の絶対値の平均を算出する（ステップＳ１０８）。ＤＣＴ演算部９３は、各ブロックについてそれぞれ算出されたｎ×ｎ個のＤＣＴ係数について絶対値をとる。そして、ＤＣＴ演算部９３は、画像データの全ブロックについて同一の周波数成分におけるＤＣＴ係数の絶対値を加算して平均をとり、平均ＤＣＴ係数を算出する。例えば、各ブロックのＤＣＴ係数のうち、（０，０）成分の絶対値をとって加算し、当該加算値を全ブロック数で除算することにより、（０，０）成分における平均ＤＣＴ係数絶対値を算出することができる。そして、ＤＣＴ演算部９３は、各ブロックのＤＣＴ係数の絶対値を算出し、最終的に、ｎ×ｎ個の全ブロックの平均ＤＣＴ係数絶対値を算出する。
【００５０】
その後、配列変換部９４により、ｎ×ｎ個の全ブロックの平均ＤＣＴ係数絶対値は一列に並べられ、１次元配列とされる（ステップＳ１１０）。２次元配列から１次元配列への並べ替えは、例えば図５に示すように、ジグザグスキャンにより行われる。ジグザグスキャンでは、ｎ×ｎに配列された平均ＤＣＴ係数絶対値を、低い周波数成分（左上）から高い周波数成分（右下）に向かって順に一列に並べ、１次元配列とする。このとき、ジグザグスキャンによる周波数成分の読み取り順序を１から順に付したものをインデックスとする。
【００５１】
そして、配列変換部９４は、インデックスを横軸にとり、平均ＤＣＴ係数絶対値の対数（平均ＤＣＴ係数対数値）を縦軸にとったグラフを作成する（ステップＳ１１２）。かかるグラフより、周波数成分の変化に基づく平均ＤＣＴ係数絶対値の変化を認識することができる。人工的に生成した格子状パターン等でない限り、このグラフの波形は、図５に示すように、インデックスの値が大きくなる、すなわち低い周波数成分から高い周波数成分に向かうにつれて、平均ＤＣＴ係数対数値は徐々に小さくなる傾向があるものとなる。
【００５２】
次いで、焦点ズレ判定部９５は、カメラ７０のレンズ位置が合焦点位置からずれていないか判定するため、配列変換部９４により作成されたグラフの傾きを算出する（ステップＳ１１４）。グラフの傾きは、例えば最小二乗法等の直線近似手法により求めることができる。ここで、グラフの傾きは、グラフを構成するｎ×ｎ個のデータのうち、低い周波数成分のデータを用いて算出される。
【００５３】
直線近似に用いるデータ数は、カメラ７０のずれを認識することのできる直線の傾きを取得可能な個数とし、最大データ数を全データ数の１／２〜１／３程度とするのがよい。一般に、画像の代表的な特徴は低い周波数成分（すなわち、インデックスの値の小さいデータ）に含まれており、周波数成分の高い（すなわち、インデックスの値が大きい）成分はもともと値が小さい上に画像毎の変動が大きい。このため、インデックスの値が大きいデータを含めると直線の傾きのばらつきが増大し、ズレ量の推定精度が悪化する。
【００５４】
例えば、８×８個（６４個）のデータからなるグラフにおいては、低い周波数成分のデータから３０個より少ないデータを用いるのがよい。図７に、直線近似に用いるデータ数を変化させたときの、グラフの傾きとレンズ位置の合焦点位置からのずれの程度（焦点ズレの程度）との関係を示す。全データ数は６４個である。ここで、焦点ズレの程度は、カメラ７０が撮像した画像データのピントのずれの程度を定量的に表現したものであり、値が大きいほどピントのずれが大きい状態を示す。焦点ズレの程度「０」は、レンズ位置が合焦点位置からずれていない状態とする。
【００５５】
図７に示すように、直線近似に用いるデータ数によって、焦点ズレの程度とグラフの傾きとの関係が変化する。例えば、直線近似に用いるデータ数が１０個である場合には、焦点ズレの程度が大きくなるにつれてグラフの傾きの絶対値が大きくなる傾向にある。これに対して、直線近似に用いるデータ数が２０個以上となると、グラフの傾きの絶対値は焦点ズレの程度が大きくなるにつれて大きくなるが、さらに焦点ズレの程度が大きくなるとグラフの傾きの絶対値は再び小さくなる。したがって、焦点ズレ検出手段により検出したい焦点ズレの程度に応じて、直線近似に用いるデータ数を決定するのがよい。
【００５６】
例えば、焦点ズレの程度が「２」となった場合を検出したい場合には、グラフの傾きの絶対値が、焦点ズレの程度が大きくなるにつれて、レンズ位置に合焦点位置からのずれがない状態（焦点ズレの程度が「０」）におけるグラフの傾きの絶対値よりも大きくなるデータ数とする。図７の例では、直線近似に用いるデータ数は３０個より少ない値を設定すればよい。
【００５７】
また、インデックスが１であるデータ、すなわち直流成分（０，０）のデータは直線近似するデータから除くようにする。これは、直流成分（０，０）のデータにはレンズ位置のずれに関する情報は含まれていないためであり、かかるデータを直線近似に用いるデータから除外することで、カメラ７０のレンズ位置のずれを精度よく検出できるようにしている。
【００５８】
ステップＳ１１４でグラフの傾きの絶対値を算出すると、焦点ズレ判定部９５は、その傾きの絶対値が所定の閾値Ｔｈよりも小さいか否かを判定する（ステップＳ１１６）。本実施形態における焦点ズレ検出方法は、図７のグラフに現れているような、焦点ズレの程度が大きくなるにつれて直線の傾きの絶対値が大きくなる傾向を利用して、カメラ７０のレンズ位置のずれが生じているか否かを判定する。所定の閾値Ｔｈには、例えば、焦点ズレの生じていない場合のグラフの傾きの絶対値と、焦点ズレが生じている場合の画像データから算出されたグラフの傾きの絶対値との中間値とすることができる。あるいは、焦点ズレ判定処理に用いる画像データとして、許容可能な判定精度における画像データに基づいて算出したグラフの傾きの絶対値としてもよい。
【００５９】
本実施形態では、ステップＳ１１４で算出されたグラフの傾きが負の値であることから、この傾きの絶対値を用いて焦点ズレ判定処理を行う。したがって、焦点ズレの程度が大きくなるにつれてグラフの傾きの絶対値は大きくなる。これより、グラフの傾きの絶対値が閾値Ｔｈより小さい場合には疵検出の精度への影響は許容範囲内であると判定し、通常の探傷処理を継続する（ステップＳ１１８）。
【００６０】
一方、傾きの絶対値が閾値Ｔｈ以上となった場合には、焦点ズレ判定部９５は、鋼板２０の表面の疵検出の精度に影響する程、カメラ７０のレンズ位置にずれが生じていると判定し、表示装置１００に対して異常通知を行う（ステップＳ１２０）。表示装置１００には、例えば、カメラ７０のレンズ位置が合焦点位置からずれている可能性がある旨のメッセージ等が表示される。ユーザは、表示装置１００のメッセージを確認すると、カメラ７０のレンズ位置の調整を行い、画像のピントのずれを解消する。このように、通常探傷中にカメラ７０のレンズ位置のずれが生じた場合を検知して、疵検出の判定精度の低下による不良品の流出を防止することができる。
【００６１】
＜３．シミュレーション結果＞
上述した本実施形態に係る焦点ズレ検出手段を備える画像処理装置９０による、カメラ７０のレンズ位置のずれの検出の効果を検証するためのシミュレーションを実施した。かかるシミュレーションでは、焦点ズレの生じていないカメラ７０により撮像した画像データ（原画データ）に対してローパスフィルタ処理を行い、擬似的にピントのずれの生じた画像データを生成した。そして、原画データおよび生成された画像データについて、焦点ズレ検出方法を用いて２次元配列から１次元配列に周波数成分を配列してグラフを作成し、そのグラフの傾きを算出した。
【００６２】
シミュレーション結果を図８〜図１０に示す。図８〜図１０には、各画像データに対するインデックスと平均ＤＣＴ係数対数値との関係を示す波形と、当該波形を直線近似して得られた直線とを表すグラフと、検証対象である画像とを示している。図８は原画データ（すなわち、焦点ズレのない状態）について、図９は焦点ズレの程度が「１」である画像データについて、図１０は焦点ズレの程度が「２」である画像データについての検証結果を示している。本シミュレーションにおいては、全６４個のデータのうち、ジグザグスキャンのインデックスが２〜２０のデータを用いて直線近似した。
【００６３】
焦点ズレのない状態では、図８に示すように、インデックスと平均ＤＣＴ係数対数値との関係を示す波形を直線近似して得られたグラフの傾きは、約−０．０１であった。同様に、焦点ズレの程度が「１」の画像データについて算出すると、図９に示すように、グラフの傾きは約−０．０２５６であった。焦点ズレの程度が「２」の画像データについて算出すると、図１０に示すように、グラフの傾きは約−０．０５３８であった。
【００６４】
かかるシミュレーションでは、焦点ズレの発生の有無の判定に用いる画像データが変化すると、画像処理装置９０により算出されたグラフの傾きは、焦点ズレが生じていない場合の傾きから、焦点ズレの程度が大きくなるにつれて徐々に小さくなり（絶対値としては大きくなる）、約２倍程度変化することがわかる。これより、焦点ズレを検出するグラフの傾きの閾値Ｔｈを、例えば−０．０２と設定することができる。一般には、閾値Ｔｈは、焦点ズレが生じていない場合の原画データに基づいて算出されたグラフの傾きと、焦点ズレが生じている場合の画像データに基づいて算出されたグラフの傾きとの中間値を用いればよい。
【００６５】
このように、ピントにずれが生じている画像データの２次元空間周波数分布をジグザグスキャンにより１次元配列に変換し、１次元配列されたデータのうち低い周波数部分のデータを用いて直線近似して算出されたグラフの傾きにより、焦点ズレの程度を判定することが可能であることが分かる。したがって、本実施形態に係る画像処理装置９０を用いることで、カメラ７０のレンズ位置のずれの発生の有無を検出することができる。
【００６６】
＜４．ハードウェア構成例＞
上述した本実施形態に係る画像処理装置９０は、例えばコンピュータ等の情報処理装置２００により実現することができる。かかる情報処理装置２００は、例えば図１１に示すように、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３と、バス２０４と、インタフェース２０５と、入力装置２０６と、出力装置２０７と、ストレージ装置２０８と、通信装置２０９とを備える。
【００６７】
ＣＰＵ２０１は、演算処理装置および制御装置として機能し、各種プログラムに従って画像処理装置９０内の動作全般を制御する。また、ＣＰＵ２０１は、マイクロプロセッサであってもよい。ＲＯＭ２０２は、ＣＰＵ２０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ２０３は、ＣＰＵ２０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはバス２０４により相互に接続されている。バス２０４は、入力装置２０６、出力装置２０７、ストレージ装置２０８、および通信装置２０９を相互に接続するインタフェース２０５と接続されている。
【００６８】
入力装置２０６は、マウス、キーボード、タッチパネル、ボタン、マイク、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ２０１に出力する入力制御回路などから構成されている。
【００６９】
出力装置２０７は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置およびランプなどの表示装置を含む。さらに、出力装置２０７は、スピーカおよびヘッドホンなどの音声出力装置を含む。
【００７０】
ストレージ装置２０８は、画像処理装置９０の記憶部の一例として構成されたデータ格納用の装置であり、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）で構成される。ストレージ装置２０８は、例えばハードディスクを駆動し、ＣＰＵ２０１が実行するプログラムや各種データを格納している。また、通信装置２０９は、例えば、通信網２１０に接続するための通信デバイス等で構成された通信インタフェースである。通信装置２０９としては、例えば、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）対応通信装置や、ワイヤレスＵＳＢ対応通信装置、有線による通信を行う通信装置等を用いることができる。
【００７１】
なお、かかる情報処理装置２００は、例えば、当該情報処理装置２００に内蔵、あるいは外付けされる記憶媒体用リーダライタを備えることもできる。記憶媒体用リーダライタは、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体に記録されている情報を読み出して、ＲＡＭ２０３に出力する。また、情報処理装置２００は、外部機器と接続されるインタフェースを備えることもでき、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）などによりデータ伝送可能な外部機器との接続口として用いることができる。
【００７２】
また、上述した本実施形態に係る画像処理装置９０の焦点ズレ検出方法は、それぞれ専用のハードウェアにより実行させてもよいが、ソフトウェアにより実行させてもよい。一連の処理をソフトウェアにより行う場合、例えば、汎用または専用のコンピュータにプログラムを実行させることにより、上記の一連の処理を実現することができる。
【００７３】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【００７４】
例えば、上記実施形態では、画像データの２次元周波数分布を、離散コサイン変換を用いて表したが、本発明はかかる例に限定されない。例えば、離散フーリエ変換を用いて、画像データの２次元周波数分布を表現してもよい。
【００７５】
また、上記実施形態では、カメラ７０により撮像した画像は、一旦画像メモリ８０に記録され、画像処理装置９０は当該画像メモリ８０にアクセスして画像データを取得したが、本発明はかかる例に限定されない。例えば、画像メモリ８０は画像処理装置９０内に設けられていてもよく、カメラ７０から画像データが画像処理装置９０に入力され、画像メモリ８０に一旦記憶した後、焦点ズレ判定処理を実施するタイミングで画像メモリ８０から画像データを読み出すようにしてもよい。また、画像メモリ８０を介さずに、カメラ７０により撮像した画像データを直接画像処理装置９０に出力するようにしてもよい。
【００７６】
さらに、上記実施形態では、欠陥検査処理により検出された異常の通知は、表示装置１００を用いて行ったが、本発明はかかる例に限定されない。例えば、スピーカ等の音声出力装置等により、異常が検知されたメッセージをユーザに通知するようにしてもよい。
【符号の説明】
【００７７】
１０ 巻出しリール
２０ 鋼板
３０ 搬送ロール
４０ 圧延ロール
５０ 巻取りリール
６０ 照明
７０ カメラ
８０ 画像メモリ
９０ 画像処理装置
９１ 画像取込部
９２ 画像分割部
９３ ＤＣＴ演算部
９４ 配列変換部
９５ 焦点ズレ判定部
９６ 出力部
１００ 表示装置
【技術分野】
【０００１】
本発明は、焦点ズレ検出装置、焦点ズレ検出方法およびプログラムに関し、特に、搬送される被検査体の欠陥を検出するために表面を撮像する撮像装置の光学系への適用に好適な技術に関する。
【背景技術】
【０００２】
従来から、被検査体の表面の欠陥を検査するための技術（探傷処理）は種々のものが知られている。例えば、撮像装置を用いて被検査体の表面を撮像して画像データを取得して、取得した画像データの輝度を平均化した値と元の画像データの輝度との差分を計算し、当該差分と閾値との比較結果に基づいて欠陥を検出する方法等が実施されている。
【０００３】
このような被検査体の表面の探傷を行う表面欠陥検査装置では、撮像装置により撮像された画像から欠陥を検出するため、高い精度で欠陥を検出するには撮像装置の光学系の焦点を被検査体の表面に合わせておくことが重要である。しかし、表面欠陥検査装置における機械的な振動によって撮像装置のレンズが合焦点位置（撮像装置の焦点が被検査体の表面に合致するときのレンズ位置）からずれてしまったり、メンテナンス等の際に撮像装置を移動させてしまったりすることによって、撮像装置のレンズ位置を合焦点位置から移動させてしまうことがある。このため、撮像装置の焦点が合っているか否かを確認し、焦点がずれている場合には撮像装置の焦点調整作業を行う必要がある。
【０００４】
このように、撮像装置の焦点が合っているか否かを検出する装置として、例えば特許文献１には、所定の検査パターンを用いて、隣接画素の差分の絶対値の合計と画素の平均値との比に基づいて、定期的にカメラの焦点が合っているか否かを判断する光学的検査装置が開示されている。また、特許文献２には、オートフォーカスカメラ装置において、隣接画素の差分絶対値の合計を用いて算出された最大点に基づいて、カメラ装置の焦点を合わせる方法が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００２−３１８３４３号公報
【特許文献２】特開平０６−１１３１８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記特許文献１は同一の検査パターンに対して評価値を算出し、上記特許文献２は同一被写体について評価値を算出して、合焦の程度を判定している。しかし、鉄鋼圧延ライン等における通常探傷中においては、搬送される被検査体の表面を撮像する。この場合、同一の被写体を撮影することはないため、上記特許文献１、２のような評価値を用いることはできない。これは、評価対象とする画像データが変化すると評価値が大きく変化してしまうので、異なる画像データ間では評価値を比較することができないからである。したがって、これらの方法では探傷中においては撮像装置の焦点がずれてもこれを検知することができない。このため、振動等により、時間の経過とともに撮像装置のずれが増大する場合には、表面欠陥検査装置の検出精度が劣化してしまい、不良品を流出させてしまう。
【０００７】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、探傷中においても撮像装置の焦点ズレを検知することができ、判定精度の劣化による不良品の流出等を防止することが可能な、新規かつ改良された焦点ズレ検出装置、焦点ズレ検出方法およびプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明のある観点によれば、搬送される被検査体の表面を撮像装置により撮像した画像データに基づいて、表面欠陥を検査する表面欠陥検査装置において、撮像装置の焦点ズレを検出する焦点ズレ検出装置が提供される。かかる焦点ズレ検出装置は、画像データの画像信号を２次元配列された周波数成分に変換する変換演算を行う演算部と、画像データの周波数成分の２次元配列を、所定の規則に基づいて、１次元配列に変換する配列変換部と、１次元配列に変換された周波数成分の一部によって形成される波形の傾きに基づいて、撮像装置の焦点ズレの有無を判定する焦点ズレ判定部と、を備えることを特徴とする。
【０００９】
本発明の焦点ズレ検出装置は、撮像装置によって撮像した画像データの画像信号を２次元配列された周波数成分に変換し、さらに当該周波数成分を所定の規則に基づいて１次元配列に変換したデータに基づいて、撮像装置の焦点ズレの有無を判定する。これにより、焦点ズレの程度を評価するための画像データが変化する場合であっても、撮像装置の焦点ズレを検出することができる。
【００１０】
ここで、演算部は、画像データを所定サイズのブロックに分割する画像分割部と、画像データを分割して生成された各ブロックを、離散コサイン変換を用いて２次元配列された周波数成分に変換し、２次元配列された周波数成分毎に、各ブロックの２次元配列された周波数成分の絶対値を加算して全ブロックに対する平均をとることにより平均周波数成分絶対値を算出するＤＣＴ演算部と、をさらに備えてもよい。
【００１１】
配列変換部は、２次元配列された周波数成分に変換された画像データを、低い周波数成分から高い周波数成分の順に読み取り、１次元配列に変換してもよい。
【００１２】
例えば、配列変換部は、２次元配列された周波数成分に変換された画像データを、ジグザグスキャンすることにより、１次元配列に変換することができる。
【００１３】
また、配列変換部は、画像データの２次元配列から１次元配列へ変換するときの周波数成分の読み取り順序で、画像データの平均周波数成分絶対値の対数値を配列して、傾きを算出するための波形を形成してもよい。
【００１４】
焦点ズレ判定部は、１次元配列に変換された周波数成分のうち、低い周波数成分を用いて形成される波形の傾きを算出してもよい。
【００１５】
また、焦点ズレ判定部は、画像データの２次元配列から１次元配列へ変換するときに、直流の周波数成分を除いて、波形の傾きを算出してもよい。
【００１６】
焦点ズレ判定部は、傾きの絶対値が所定の閾値より小さいとき、撮像装置の焦点ズレ無しと判定し、傾きの絶対値が所定の閾値以上のとき、撮像装置の焦点ズレ有りと判定することができる。
【００１７】
焦点ズレ判定部は、周波数成分を直線近似することにより、波形の傾きを算出することができる。
【００１８】
また、上記課題を解決するために、本発明の別の観点によれば、搬送される被検査体の表面を撮像装置により撮像した画像データに基づいて、表面欠陥を検査する表面欠陥検査装置の、撮像装置の焦点ズレを検出する焦点ズレ検出方法が提供される。かかる焦点ズレ検出方法では、画像データの画像信号を２次元配列された周波数成分に変換する変換演算を行う演算ステップと、画像データの周波数成分の２次元配列を、所定の規則に基づいて、１次元配列に変換する配列変換ステップと、１次元配列に変換された周波数成分の一部によって形成される波形の傾きに基づいて、撮像装置の焦点ズレの有無を判定する焦点ズレ判定ステップと、を含むことを特徴とする。
【００１９】
さらに、上記課題を解決するために、本発明の別の観点によれば、コンピュータに上記の焦点ズレ検出装置として機能させるためのプログラムが提供される。かかるプログラムは、コンピュータが備える記憶装置に格納され、コンピュータが備えるＣＰＵに読み込まれて実行されることにより、そのコンピュータを上記の焦点ズレ検出装置として機能させる。また、当該プログラムが記録された、コンピュータで読み取り可能な記録媒体も提供される。記録媒体は、例えば磁気ディスクや光ディスクなどである。
【発明の効果】
【００２０】
以上説明したように本発明によれば、探傷中においても撮像装置の焦点ズレを検知することができ、判定精度の劣化による不良品の流出等を防止することが可能な焦点ズレ検出装置、焦点ズレ検出方法およびプログラムを提供することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の実施形態に係る欠陥検査処理を適用する典型的な鉄鋼圧延ラインを示す説明図である。
【図２】欠陥検査処理を示すフローチャートである。
【図３】同実施形態に係る画像処理装置の焦点ズレ検出手段の機能構成を示すブロック図である。
【図４】焦点ズレ検出手段による焦点ズレ検出方法を示すフローチャートである。
【図５】焦点ズレ検出手段による焦点ズレ検出方法を示す説明図である。
【図６】ＤＣＴ演算部による２次元離散コサイン変換を用いたＤＣＴ係数の算出処理を示す説明図である。
【図７】直線近似に用いたデータ数を変化させたときの、焦点ズレ判定部により算出された直線の傾きと焦点ズレの程度との関係とを示すグラフである。
【図８】原画データに対するインデックスとＤＣＴ係数の絶対値の平均の対数との関係を示す波形と当該波形を直線近似して得られた直線とを表すグラフと、検証対象である画像とを示す説明図である。
【図９】焦点ズレの程度が「１」である画像データに対するインデックスとＤＣＴ係数の絶対値の平均の対数との関係を示す波形と当該波形を直線近似して得られた直線とを表すグラフと、検証対象である画像とを示す説明図である。
【図１０】焦点ズレの程度が「２」である画像データに対するインデックスとＤＣＴ係数の絶対値の平均の対数との関係を示す波形と当該波形を直線近似して得られた直線とを表すグラフと、検証対象である画像とを示す説明図である。
【図１１】同実施形態に係る画像処理装置の一ハードウェア構成例を示すブロック図である。
【発明を実施するための形態】
【００２２】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２３】
＜１．鉄鋼圧延ラインにおける欠陥検査の概要＞
［鉄鋼圧延ラインの概略構成］
まず、図１を参照して、本発明の実施形態に係る欠陥検査処理を適用する鉄鋼圧延ラインの概略構成について説明する。なお、図１は、本実施形態に係る欠陥検査処理を適用する典型的な鉄鋼圧延ラインを示す説明図である。
【００２４】
鉄鋼圧延ラインは、ラインの始点である巻出しリール１０と、終点である巻取りリール５０と、これらのリール間で被検査体である鋼板２０を進行させる搬送ロール３０と、圧延処理を行う圧延ロール４０とからなる。圧延ロール４０と巻取りリール５０との間には、鋼板２０の表面に光を出射するための照明６０および鋼板２０の表面を撮像するための撮像手段であるカメラ７０が配置されている。カメラ７０は、照明６０から出射され、鋼板９０の表面において反射した光がカメラ７０に入力するように設けられている。また、カメラ７０は、被検査体である鋼板２０の表面との相対的な位置が常に一定となるように設けられている。カメラ７０は、画像メモリ８０に接続されており、撮像した画像を画像メモリ８０へ出力する。また、欠陥検査処理を行う画像処理装置９０には、画像メモリ８０と表示装置１００とが接続されている。
【００２５】
巻出しリール１０から送出された帯状の鋼板２０は、搬送ロール３０によって図１の矢印方向に進められて圧延機４０で圧延処理された後、巻取りリール５０により巻き取られる。一方、鋼板２０の表面の欠陥検査は、圧延処理された鋼板２０に照明６０を用いて光を当て、その表面をカメラ７０で撮像した画像データに基づき行われる。撮像された画像データは、各画素の輝度を記録したものであり、画像はその集合体として表示される。画像データは、画像メモリ８０に記憶され、画像処理装置９０において欠陥検査処理した後、検査結果が表示装置１００に表示される。
【００２６】
［欠陥検査処理の概要］
次いで、図２に基づいて、画像処理装置９０により行われる欠陥検査処理の手順について説明する。なお、図２は、欠陥検査処理を示すフローチャートである。
【００２７】
まず、画像処理装置９０は、画像メモリ８０に記憶された被検査体表面の画像データを取り込むと（ステップＳ１０）、シェーディング補正等により画像データの輝度の正規化処理を行う（ステップＳ２０）。正規化処理は、照明むらを補正することを目的として、欠陥のない画像データとの減算、または欠陥のない画像データを分母とする除算で行われる。代替的に、取り込んだ画像データをローパスフィルタにより平滑化して輝度のムラ成分のみを取り出し、減算または除算を行うことで正規化処理してもよい。正規化処理における減算または除算は、画素毎に行われる。正規化処理が減算による場合には、正規化基準値が０となり、除算による場合には正規化基準値は１となる。このような正規化処理を行うことにより、輝度正規化画像データを取得することができる。
【００２８】
次いで、画像処理装置９０は、輝度正規化画像データを所定の閾値に基づいて二値化し、二値化画像データを取得する（ステップＳ３０）。所定の閾値は、鋼板の表面上の疵部分と健全部分での輝度の違いから疵サンプル等で実験的に設定された、疵とみなす部分を特定するための値である。画像処理装置９０は、輝度正規化画像データの各画素について、正規化された輝度が所定の閾値範囲を超える場合には疵候補有りとし、正規化された輝度が所定の閾値範囲内に収まる場合には疵候補無しと判定する。これにより、輝度正規化画像データから、各画素が疵候補有り、または疵候補無しのいずれかを示す値を有する二値化画像データが生成される。
【００２９】
さらに、画像処理装置９０は、二値化画像データに対し、隣接している疵候補有りの部分を１つのグループとして扱い、離間している疵候補有りのグループをそれぞれ異なるものと扱うために、ラベリング処理を行う（ステップＳ４０）。ラベリング処理は、各グループに対してラベル番号を順に割り当てる処理である。画像処理装置９０は、二値化画像データから互いに隣接している疵候補有りの二値化画像の画素を１つの欠陥グループとして扱い、離間している各欠陥グループに対して連続したラベル番号を順に付していく。ラベル番号は、例えば、画像の左から右、上から下の優先順序で付すようにしてもよい。これにより、二値化画像データから、欠陥グループ毎にラベル番号が付されたラベル画像データが生成される。
【００３０】
その後、画像処理装置９０は、ラベル画像データから欠陥の特徴を抽出する（ステップＳ５０）。欠陥の特徴としては、例えば疵の大きさや形状がある。この場合、欠陥グループの面積や存在領域をラベル画像データから抽出すればよく、例えばラベリング画像に基づく方法を用いて同一ラベル番号の画素数をカウントする等の方法を用いてもよい。
【００３１】
次いで、欠陥の特徴抽出により得られた特徴量に基づいて、欠陥の判定が行われる（ステップＳ６０）。欠陥の判定には、例えば樹枝状理論やニューラルネットワーク等を用いることができる。判定される欠陥種別としては、例えば鋼板の欠陥の場合には、へげ（Ｓｃａｂ）、ブローホール（ＢｌｏｗＨｏｌｅ）、スリバー（Ｓｌｉｖｅｒ）、スキンインクルージョン（Ｓｋｉｎ Ｉｎｃｌｕｓｉｏｎ）、スケール（Ｓｃａｌｅ）、ガウジ（Ｇｏｕｇｅ）等がある。
【００３２】
画像処理装置９０は、欠陥を判定すると、欠陥種別等を示す判定結果を表示装置１００に表示させる（ステップＳ７０）。判定結果の出力先は、印字装置やディスク記録装置等のように何らかの媒体への出力装置であってもよいし、解析装置や送信装置等のようにさらに別処理を行うための装置等であってもよい。
【００３３】
このように、鉄鋼圧延ラインにて搬送される鋼板２０をカメラ７０によって撮像した画像データを用いて、鋼板２０の表面に生じた疵等の欠陥を検出することができる。
【００３４】
＜２．表面検査処理＞
鉄鋼圧延ラインにて搬送されている鋼板２０の表面に対する欠陥検査処理は、カメラ７０により撮像した画像データに基づいて行われるため、画像データのピントがずれていると疵等を検出することができなくなり、欠陥の判定の精度が低下する。そうすると、欠陥が存在するにも関わらずこれを検出できない可能性もあり、不良品の流出を招くことになる。そこで、本実施形態に係る画像処理装置９０は、カメラ７０のレンズ位置が合焦点位置からずれたことを検知する焦点ズレ検出手段を備える。以下、図３〜図７に基づいて、画像処理装置９０の焦点ズレ検出手段と、これによる焦点ズレ検出方法について詳細に説明していく。
【００３５】
［焦点ズレ検出手段の構成］
まず、図３に基づいて、本実施形態に係る画像処理装置９０の焦点ズレ検出手段について説明する。図３は、本実施形態に係る画像処理装置９０の焦点ズレ検出手段の機能構成を示すブロック図である。なお、図３では、画像処理装置９０における焦点ズレ検出手段を構成する要素のみを記載しており、上述した欠陥検査処理等を行う要素については記載を省略している。
【００３６】
焦点ズレ検出手段は、図３に示すように、画像取込部９１と、画像分割部９２と、ＤＣＴ演算部９３と、配列変換部９４と、焦点ズレ判定部９５と、出力部９６とから構成される。本実施形態では、画像分割部９２、ＤＣＴ演算部９３、および配列変換部９４により、画像データの２次元空間周波数分布を、離散コサイン変換（ＤＣＴ；Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）を用いて１次元に配列する処理が行われる。
【００３７】
画像取込部９１は、画像メモリ８０（図１参照）より、カメラ７０のレンズ位置が合焦点位置からずれているか否かを判定するために用いる画像データを取り込む。画像メモリ８０には、カメラ７０が撮像した画像データが記憶されている。画像取込部９１は、所定のタイミングで画像メモリ８０に記憶された画像データを取り込み、取り込んだ画像データを画像分割部９２へ出力する。画像データの取り込みタイミングは、例えば焦点ズレ判定処理を開始するタイミング等とすることができる。
【００３８】
画像分割部９２は、画像データを、ｎ×ｎ個（ｎは正の整数）の画素からなる複数のブロックに分割する。この際、画像分割部９２は、各ブロックが重複しないように画像データの分割位置を決定する。画像分割部９２は、画像データの分割位置を決定すると、ＤＣＴ演算部９３に対して離散コサイン変換処理の実行を指示する。
【００３９】
ＤＣＴ演算部９３は、画像データを分割して生成される各ブロックについて、離散コサイン変換を用いて、２次元配列された周波数成分であるＤＣＴ係数を算出する。離散コサイン変換は、画像信号を空間周波数成分へ変換する一手法であり、信号圧縮処理に広く利用されている。ＤＣＴ演算部９３は、画像データの各ブロックについて、各画素の情報である画像信号から、２次元離散コサイン変換の基底ベクトルを用いて、ｎ×ｎ個のＤＣＴ係数を算出する。そして、ＤＣＴ演算部９３は、各ブロックのＤＣＴ係数の絶対値をとり、ｎ×ｎ個の周波数成分について、ＤＣＴ係数の絶対値から全ブロックの平均を算出することにより、平均周波数成分絶対値として平均ＤＣＴ係数絶対値を得る。ＤＣＴ演算部９３は、画像データの平均ＤＣＴ係数絶対値を算出すると、配列変換部９４に対して２次元空間周波数分布を１次元配列に変換する配列変換処理の実行を指示する。
【００４０】
配列変換部９４は、画像データの２次元空間周波数分布を１次元配列に変換する。配列変換部９４は、２次元配列された平均ＤＣＴ係数絶対値を、所定の規則にしたがって１次元配列に配列し直す。所定の規則としては、例えば、低い周波数成分から高い周波数成分へとジグザグ状にスキャンするジグザグスキャンを用いることができる。ジグザグスキャンにより２次元配列を１次元配列に変換することで、隣接するデータ間の周波数成分の変化量を小さくできるので、１次元配列に変換して得られるデータの波形の形状を滑らかにすることができる。
【００４１】
また、配列変換部９４は、画像データの２次元空間周波数分布を１次元配列に変換した後、各周波数成分のスキャン順序を表すインデックスと、平均ＤＣＴ係数絶対値の対数をとった値（平均ＤＣＴ係数対数値）との関係を表すグラフを作成する。配列変換部９４は、グラフを作成すると、焦点ズレ判定部９５に対して焦点ズレ判定処理の実行を指示する。
【００４２】
焦点ズレ判定部９５は、配列変換部９４により作成されたグラフに基づき、カメラ７０のレンズ位置が合焦位置からずれているか否かを判定する。焦点ズレ判定部９５は、配列変換部９４により作成されたグラフより、所定の範囲内の周波数成分のデータを用いてグラフを直線近似する。直線近似には、例えば、最小二乗法等の一般的な手法を用いることができる。そして、焦点ズレ判定部９５は、グラフを直線近似して得た直線の傾きの絶対値と所定の閾値とを比較して、その大小関係に基づきカメラ７０のレンズ位置がずれているか否かを判定し、判定結果を出力部９６へ出力する。
【００４３】
出力部９６は、焦点ズレ判定部９５から入力された判定結果を、ユーザに通知するために表示装置１００へ出力する。出力部９６は、画像メモリ８０から取り込んだ画像データや、配列変換部９４により作成されたグラフ等の情報も表示装置１００へ出力して、表示させることができる。
【００４４】
以上、本実施形態に係る画像処理装置１００の焦点ズレ検出手段の構成について説明した。
【００４５】
［焦点ズレ検出方法］
次に、図４〜図７に基づいて、画像処理装置９０の焦点ズレ検出手段による焦点ズレ検出方法について説明する。なお、図４は、焦点ズレ検出手段による焦点ズレ検出方法を示すフローチャートである。図５は、焦点ズレ検出手段による焦点ズレ検出方法を示す説明図である。図６は、ＤＣＴ演算部９３による２次元離散コサイン変換を用いたＤＣＴ係数の算出処理を示す説明図である。図７は、直線近似に用いたデータ数を変化させたときの、焦点ズレ判定部９５により算出された直線の傾きと焦点ズレの程度との関係とを示すグラフである。
【００４６】
焦点ズレ検出手段による焦点ズレ検出方法では、図４に示すように、まず、画像取込部９１により、画像メモリ８０から画像データを画像処理装置９０内へ取り込む（ステップＳ１００）。画像メモリ８０には、カメラ７０により撮像された画像のフレーム画像または切り出し画像が画像データとして記憶されている。画像データの取り込みは、例えば焦点ズレ判定処理を開始するタイミングで行ってもよく、画像データが画像メモリ８０に記録されたタイミングで行ってもよい。
【００４７】
画像メモリ８０から画像が取り込まれると、画像分割部９２により、画像データの分割が行われる（ステップＳ１０２）。かかるステップでは、画像分割部９２は、画像データを、各ブロックが重複（ラップ）しないように、ｎ×ｎ個の画素からなるブロックに分割する。例えば、図５に示すように、画像データを、８×８個の画素からなるブロックに分割する場合、６４０×４８０個の画素からなる画像データは８０×６０、すなわち４８００ブロックに分割される。
【００４８】
画像データの分割位置が決定されると、ＤＣＴ演算部９３は、画像データの各ブロックについて、離散コサイン変換を行う（ステップＳ１０４）。ＤＣＴ演算部９３は、図６に示す２次元離散コサイン変換の基底ベクトルを用いて変換処理を行い、ＤＣＴ係数を算出する。２次元離散コサイン変換では、ｎ×ｎ画素からなる１つのブロックについて、２次元離散コサイン変換の基底ベクトルとの内積を算出する。かかる内積の値がＤＣＴ係数となる。このとき、基底ベクトルの各基底は、ブロックのサイズと同一のサイズ（すなわち、ｎ×ｎ）を有している。離散コサイン変換は、直交変換であるため、変換後の係数もｎ×ｎ個であり、したがって、１つのブロックに対して、ｎ×ｎ個のＤＣＴ係数が算出されることになる。例えば図５に示すように、８×８個の画素からなるブロックに対して６４個のＤＣＴ係数が算出される。ここで、（０，０）成分は直流成分であり、他の成分は交流成分である。このように、ＤＣＴ演算部９３は、画像データの各ブロックについて、ＤＣＴ係数を算出する。
【００４９】
次いで、ＤＣＴ演算部９３は、各ブロックのＤＣＴ係数の絶対値を算出し（ステップＳ１０６）、さらに全ブロックのＤＣＴ係数の絶対値の平均を算出する（ステップＳ１０８）。ＤＣＴ演算部９３は、各ブロックについてそれぞれ算出されたｎ×ｎ個のＤＣＴ係数について絶対値をとる。そして、ＤＣＴ演算部９３は、画像データの全ブロックについて同一の周波数成分におけるＤＣＴ係数の絶対値を加算して平均をとり、平均ＤＣＴ係数を算出する。例えば、各ブロックのＤＣＴ係数のうち、（０，０）成分の絶対値をとって加算し、当該加算値を全ブロック数で除算することにより、（０，０）成分における平均ＤＣＴ係数絶対値を算出することができる。そして、ＤＣＴ演算部９３は、各ブロックのＤＣＴ係数の絶対値を算出し、最終的に、ｎ×ｎ個の全ブロックの平均ＤＣＴ係数絶対値を算出する。
【００５０】
その後、配列変換部９４により、ｎ×ｎ個の全ブロックの平均ＤＣＴ係数絶対値は一列に並べられ、１次元配列とされる（ステップＳ１１０）。２次元配列から１次元配列への並べ替えは、例えば図５に示すように、ジグザグスキャンにより行われる。ジグザグスキャンでは、ｎ×ｎに配列された平均ＤＣＴ係数絶対値を、低い周波数成分（左上）から高い周波数成分（右下）に向かって順に一列に並べ、１次元配列とする。このとき、ジグザグスキャンによる周波数成分の読み取り順序を１から順に付したものをインデックスとする。
【００５１】
そして、配列変換部９４は、インデックスを横軸にとり、平均ＤＣＴ係数絶対値の対数（平均ＤＣＴ係数対数値）を縦軸にとったグラフを作成する（ステップＳ１１２）。かかるグラフより、周波数成分の変化に基づく平均ＤＣＴ係数絶対値の変化を認識することができる。人工的に生成した格子状パターン等でない限り、このグラフの波形は、図５に示すように、インデックスの値が大きくなる、すなわち低い周波数成分から高い周波数成分に向かうにつれて、平均ＤＣＴ係数対数値は徐々に小さくなる傾向があるものとなる。
【００５２】
次いで、焦点ズレ判定部９５は、カメラ７０のレンズ位置が合焦点位置からずれていないか判定するため、配列変換部９４により作成されたグラフの傾きを算出する（ステップＳ１１４）。グラフの傾きは、例えば最小二乗法等の直線近似手法により求めることができる。ここで、グラフの傾きは、グラフを構成するｎ×ｎ個のデータのうち、低い周波数成分のデータを用いて算出される。
【００５３】
直線近似に用いるデータ数は、カメラ７０のずれを認識することのできる直線の傾きを取得可能な個数とし、最大データ数を全データ数の１／２〜１／３程度とするのがよい。一般に、画像の代表的な特徴は低い周波数成分（すなわち、インデックスの値の小さいデータ）に含まれており、周波数成分の高い（すなわち、インデックスの値が大きい）成分はもともと値が小さい上に画像毎の変動が大きい。このため、インデックスの値が大きいデータを含めると直線の傾きのばらつきが増大し、ズレ量の推定精度が悪化する。
【００５４】
例えば、８×８個（６４個）のデータからなるグラフにおいては、低い周波数成分のデータから３０個より少ないデータを用いるのがよい。図７に、直線近似に用いるデータ数を変化させたときの、グラフの傾きとレンズ位置の合焦点位置からのずれの程度（焦点ズレの程度）との関係を示す。全データ数は６４個である。ここで、焦点ズレの程度は、カメラ７０が撮像した画像データのピントのずれの程度を定量的に表現したものであり、値が大きいほどピントのずれが大きい状態を示す。焦点ズレの程度「０」は、レンズ位置が合焦点位置からずれていない状態とする。
【００５５】
図７に示すように、直線近似に用いるデータ数によって、焦点ズレの程度とグラフの傾きとの関係が変化する。例えば、直線近似に用いるデータ数が１０個である場合には、焦点ズレの程度が大きくなるにつれてグラフの傾きの絶対値が大きくなる傾向にある。これに対して、直線近似に用いるデータ数が２０個以上となると、グラフの傾きの絶対値は焦点ズレの程度が大きくなるにつれて大きくなるが、さらに焦点ズレの程度が大きくなるとグラフの傾きの絶対値は再び小さくなる。したがって、焦点ズレ検出手段により検出したい焦点ズレの程度に応じて、直線近似に用いるデータ数を決定するのがよい。
【００５６】
例えば、焦点ズレの程度が「２」となった場合を検出したい場合には、グラフの傾きの絶対値が、焦点ズレの程度が大きくなるにつれて、レンズ位置に合焦点位置からのずれがない状態（焦点ズレの程度が「０」）におけるグラフの傾きの絶対値よりも大きくなるデータ数とする。図７の例では、直線近似に用いるデータ数は３０個より少ない値を設定すればよい。
【００５７】
また、インデックスが１であるデータ、すなわち直流成分（０，０）のデータは直線近似するデータから除くようにする。これは、直流成分（０，０）のデータにはレンズ位置のずれに関する情報は含まれていないためであり、かかるデータを直線近似に用いるデータから除外することで、カメラ７０のレンズ位置のずれを精度よく検出できるようにしている。
【００５８】
ステップＳ１１４でグラフの傾きの絶対値を算出すると、焦点ズレ判定部９５は、その傾きの絶対値が所定の閾値Ｔｈよりも小さいか否かを判定する（ステップＳ１１６）。本実施形態における焦点ズレ検出方法は、図７のグラフに現れているような、焦点ズレの程度が大きくなるにつれて直線の傾きの絶対値が大きくなる傾向を利用して、カメラ７０のレンズ位置のずれが生じているか否かを判定する。所定の閾値Ｔｈには、例えば、焦点ズレの生じていない場合のグラフの傾きの絶対値と、焦点ズレが生じている場合の画像データから算出されたグラフの傾きの絶対値との中間値とすることができる。あるいは、焦点ズレ判定処理に用いる画像データとして、許容可能な判定精度における画像データに基づいて算出したグラフの傾きの絶対値としてもよい。
【００５９】
本実施形態では、ステップＳ１１４で算出されたグラフの傾きが負の値であることから、この傾きの絶対値を用いて焦点ズレ判定処理を行う。したがって、焦点ズレの程度が大きくなるにつれてグラフの傾きの絶対値は大きくなる。これより、グラフの傾きの絶対値が閾値Ｔｈより小さい場合には疵検出の精度への影響は許容範囲内であると判定し、通常の探傷処理を継続する（ステップＳ１１８）。
【００６０】
一方、傾きの絶対値が閾値Ｔｈ以上となった場合には、焦点ズレ判定部９５は、鋼板２０の表面の疵検出の精度に影響する程、カメラ７０のレンズ位置にずれが生じていると判定し、表示装置１００に対して異常通知を行う（ステップＳ１２０）。表示装置１００には、例えば、カメラ７０のレンズ位置が合焦点位置からずれている可能性がある旨のメッセージ等が表示される。ユーザは、表示装置１００のメッセージを確認すると、カメラ７０のレンズ位置の調整を行い、画像のピントのずれを解消する。このように、通常探傷中にカメラ７０のレンズ位置のずれが生じた場合を検知して、疵検出の判定精度の低下による不良品の流出を防止することができる。
【００６１】
＜３．シミュレーション結果＞
上述した本実施形態に係る焦点ズレ検出手段を備える画像処理装置９０による、カメラ７０のレンズ位置のずれの検出の効果を検証するためのシミュレーションを実施した。かかるシミュレーションでは、焦点ズレの生じていないカメラ７０により撮像した画像データ（原画データ）に対してローパスフィルタ処理を行い、擬似的にピントのずれの生じた画像データを生成した。そして、原画データおよび生成された画像データについて、焦点ズレ検出方法を用いて２次元配列から１次元配列に周波数成分を配列してグラフを作成し、そのグラフの傾きを算出した。
【００６２】
シミュレーション結果を図８〜図１０に示す。図８〜図１０には、各画像データに対するインデックスと平均ＤＣＴ係数対数値との関係を示す波形と、当該波形を直線近似して得られた直線とを表すグラフと、検証対象である画像とを示している。図８は原画データ（すなわち、焦点ズレのない状態）について、図９は焦点ズレの程度が「１」である画像データについて、図１０は焦点ズレの程度が「２」である画像データについての検証結果を示している。本シミュレーションにおいては、全６４個のデータのうち、ジグザグスキャンのインデックスが２〜２０のデータを用いて直線近似した。
【００６３】
焦点ズレのない状態では、図８に示すように、インデックスと平均ＤＣＴ係数対数値との関係を示す波形を直線近似して得られたグラフの傾きは、約−０．０１であった。同様に、焦点ズレの程度が「１」の画像データについて算出すると、図９に示すように、グラフの傾きは約−０．０２５６であった。焦点ズレの程度が「２」の画像データについて算出すると、図１０に示すように、グラフの傾きは約−０．０５３８であった。
【００６４】
かかるシミュレーションでは、焦点ズレの発生の有無の判定に用いる画像データが変化すると、画像処理装置９０により算出されたグラフの傾きは、焦点ズレが生じていない場合の傾きから、焦点ズレの程度が大きくなるにつれて徐々に小さくなり（絶対値としては大きくなる）、約２倍程度変化することがわかる。これより、焦点ズレを検出するグラフの傾きの閾値Ｔｈを、例えば−０．０２と設定することができる。一般には、閾値Ｔｈは、焦点ズレが生じていない場合の原画データに基づいて算出されたグラフの傾きと、焦点ズレが生じている場合の画像データに基づいて算出されたグラフの傾きとの中間値を用いればよい。
【００６５】
このように、ピントにずれが生じている画像データの２次元空間周波数分布をジグザグスキャンにより１次元配列に変換し、１次元配列されたデータのうち低い周波数部分のデータを用いて直線近似して算出されたグラフの傾きにより、焦点ズレの程度を判定することが可能であることが分かる。したがって、本実施形態に係る画像処理装置９０を用いることで、カメラ７０のレンズ位置のずれの発生の有無を検出することができる。
【００６６】
＜４．ハードウェア構成例＞
上述した本実施形態に係る画像処理装置９０は、例えばコンピュータ等の情報処理装置２００により実現することができる。かかる情報処理装置２００は、例えば図１１に示すように、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３と、バス２０４と、インタフェース２０５と、入力装置２０６と、出力装置２０７と、ストレージ装置２０８と、通信装置２０９とを備える。
【００６７】
ＣＰＵ２０１は、演算処理装置および制御装置として機能し、各種プログラムに従って画像処理装置９０内の動作全般を制御する。また、ＣＰＵ２０１は、マイクロプロセッサであってもよい。ＲＯＭ２０２は、ＣＰＵ２０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ２０３は、ＣＰＵ２０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはバス２０４により相互に接続されている。バス２０４は、入力装置２０６、出力装置２０７、ストレージ装置２０８、および通信装置２０９を相互に接続するインタフェース２０５と接続されている。
【００６８】
入力装置２０６は、マウス、キーボード、タッチパネル、ボタン、マイク、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ２０１に出力する入力制御回路などから構成されている。
【００６９】
出力装置２０７は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置およびランプなどの表示装置を含む。さらに、出力装置２０７は、スピーカおよびヘッドホンなどの音声出力装置を含む。
【００７０】
ストレージ装置２０８は、画像処理装置９０の記憶部の一例として構成されたデータ格納用の装置であり、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）で構成される。ストレージ装置２０８は、例えばハードディスクを駆動し、ＣＰＵ２０１が実行するプログラムや各種データを格納している。また、通信装置２０９は、例えば、通信網２１０に接続するための通信デバイス等で構成された通信インタフェースである。通信装置２０９としては、例えば、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）対応通信装置や、ワイヤレスＵＳＢ対応通信装置、有線による通信を行う通信装置等を用いることができる。
【００７１】
なお、かかる情報処理装置２００は、例えば、当該情報処理装置２００に内蔵、あるいは外付けされる記憶媒体用リーダライタを備えることもできる。記憶媒体用リーダライタは、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体に記録されている情報を読み出して、ＲＡＭ２０３に出力する。また、情報処理装置２００は、外部機器と接続されるインタフェースを備えることもでき、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）などによりデータ伝送可能な外部機器との接続口として用いることができる。
【００７２】
また、上述した本実施形態に係る画像処理装置９０の焦点ズレ検出方法は、それぞれ専用のハードウェアにより実行させてもよいが、ソフトウェアにより実行させてもよい。一連の処理をソフトウェアにより行う場合、例えば、汎用または専用のコンピュータにプログラムを実行させることにより、上記の一連の処理を実現することができる。
【００７３】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【００７４】
例えば、上記実施形態では、画像データの２次元周波数分布を、離散コサイン変換を用いて表したが、本発明はかかる例に限定されない。例えば、離散フーリエ変換を用いて、画像データの２次元周波数分布を表現してもよい。
【００７５】
また、上記実施形態では、カメラ７０により撮像した画像は、一旦画像メモリ８０に記録され、画像処理装置９０は当該画像メモリ８０にアクセスして画像データを取得したが、本発明はかかる例に限定されない。例えば、画像メモリ８０は画像処理装置９０内に設けられていてもよく、カメラ７０から画像データが画像処理装置９０に入力され、画像メモリ８０に一旦記憶した後、焦点ズレ判定処理を実施するタイミングで画像メモリ８０から画像データを読み出すようにしてもよい。また、画像メモリ８０を介さずに、カメラ７０により撮像した画像データを直接画像処理装置９０に出力するようにしてもよい。
【００７６】
さらに、上記実施形態では、欠陥検査処理により検出された異常の通知は、表示装置１００を用いて行ったが、本発明はかかる例に限定されない。例えば、スピーカ等の音声出力装置等により、異常が検知されたメッセージをユーザに通知するようにしてもよい。
【符号の説明】
【００７７】
１０ 巻出しリール
２０ 鋼板
３０ 搬送ロール
４０ 圧延ロール
５０ 巻取りリール
６０ 照明
７０ カメラ
８０ 画像メモリ
９０ 画像処理装置
９１ 画像取込部
９２ 画像分割部
９３ ＤＣＴ演算部
９４ 配列変換部
９５ 焦点ズレ判定部
９６ 出力部
１００ 表示装置
【特許請求の範囲】
【請求項１】
搬送される被検査体の表面を撮像装置により撮像した画像データに基づいて、表面欠陥を検査する表面欠陥検査装置において、前記撮像装置の焦点ズレを検出する焦点ズレ検出装置であって、
前記画像データの画像信号を２次元配列された周波数成分に変換する変換演算を行う演算部と、
前記画像データの周波数成分の２次元配列を、所定の規則に基づいて、１次元配列に変換する配列変換部と、
前記１次元配列に変換された周波数成分の一部によって形成される波形の傾きに基づいて、前記撮像装置の焦点ズレの有無を判定する焦点ズレ判定部と、
を備えることを特徴とする、焦点ズレ検出装置。
【請求項２】
前記演算部は、
前記画像データを所定サイズのブロックに分割する画像分割部と、
前記画像データを分割して生成された前記各ブロックを、離散コサイン変換を用いて２次元配列された周波数成分に変換し、前記２次元配列された周波数成分毎に、前記各ブロックの２次元配列された周波数成分の絶対値を加算して全ブロックに対する平均をとることにより平均周波数成分絶対値を算出するＤＣＴ演算部と、
をさらに備えることを特徴とする、請求項１に記載の焦点ズレ検出装置。
【請求項３】
前記配列変換部は、２次元配列された周波数成分に変換された前記画像データを、低い周波数成分から高い周波数成分の順に読み取り、１次元配列に変換することを特徴とする、請求項２に記載の焦点ズレ検出装置。
【請求項４】
前記配列変換部は、２次元配列された周波数成分に変換された前記画像データを、ジグザグスキャンすることにより、１次元配列に変換することを特徴とする、請求項３に記載の焦点ズレ検出装置。
【請求項５】
前記配列変換部は、前記画像データの２次元配列から１次元配列へ変換するときの周波数成分の読み取り順序で、前記画像データの平均周波数成分絶対値の対数値を配列して、前記傾きを算出するための波形を形成することを特徴とする、請求項４に記載の焦点ズレ検出装置。
【請求項６】
前記焦点ズレ判定部は、前記１次元配列に変換された周波数成分のうち、低い周波数成分を用いて形成される波形の傾きを算出することを特徴とする、請求項３〜５のいずれか１項に記載の焦点ズレ検出装置。
【請求項７】
前記焦点ズレ判定部は、前記画像データの２次元配列から１次元配列へ変換するときに、直流の周波数成分を除いて、前記波形の傾きを算出することを特徴とする、請求項３〜６のいずれか１項に記載の焦点ズレ検出装置。
【請求項８】
前記焦点ズレ判定部は、
前記傾きの絶対値が所定の閾値より小さいとき、前記撮像装置の焦点ズレ無しと判定し、
前記傾きの絶対値が所定の閾値以上のとき、前記撮像装置の焦点ズレ有りと判定することを特徴とする、請求項１〜７のいずれか１項に記載の焦点ズレ検出装置。
【請求項９】
前記焦点ズレ判定部は、前記周波数成分を直線近似することにより、前記波形の傾きを算出する、請求項１〜８のいずれか１項に記載の焦点ズレ検出装置。
【請求項１０】
搬送される被検査体の表面を撮像装置により撮像した画像データに基づいて、表面欠陥を検査する表面欠陥検査装置の、前記撮像装置の焦点ズレを検出する焦点ズレ検出方法であって、
前記画像データの画像信号を２次元配列された周波数成分に変換する変換演算を行う演算ステップと、
前記画像データの周波数成分の２次元配列を、所定の規則に基づいて、１次元配列に変換する配列変換ステップと、
前記１次元配列に変換された周波数成分の一部によって形成される波形の傾きに基づいて、前記撮像装置の焦点ズレの有無を判定する焦点ズレ判定ステップと、
を含むことを特徴とする、焦点ズレ検出方法。
【請求項１１】
コンピュータを、
搬送される被検査体の表面を撮像装置により撮像した画像データに基づいて表面欠陥を検査する表面欠陥検査装置の、前記撮像装置により撮像した画像データの画像信号を２次元配列された周波数成分に変換する変換演算を行う演算手段と、
前記画像データの周波数成分の２次元配列を、所定の規則に基づいて、１次元配列に変換する配列変換手段と、
前記１次元配列に変換された周波数成分の一部によって形成される波形の傾きに基づいて、前記撮像装置の焦点ズレの有無を判定する焦点ズレ判定手段と、
を備えることを特徴とする、焦点ズレ検出装置として機能させるためのプログラム。
【請求項１】
搬送される被検査体の表面を撮像装置により撮像した画像データに基づいて、表面欠陥を検査する表面欠陥検査装置において、前記撮像装置の焦点ズレを検出する焦点ズレ検出装置であって、
前記画像データの画像信号を２次元配列された周波数成分に変換する変換演算を行う演算部と、
前記画像データの周波数成分の２次元配列を、所定の規則に基づいて、１次元配列に変換する配列変換部と、
前記１次元配列に変換された周波数成分の一部によって形成される波形の傾きに基づいて、前記撮像装置の焦点ズレの有無を判定する焦点ズレ判定部と、
を備えることを特徴とする、焦点ズレ検出装置。
【請求項２】
前記演算部は、
前記画像データを所定サイズのブロックに分割する画像分割部と、
前記画像データを分割して生成された前記各ブロックを、離散コサイン変換を用いて２次元配列された周波数成分に変換し、前記２次元配列された周波数成分毎に、前記各ブロックの２次元配列された周波数成分の絶対値を加算して全ブロックに対する平均をとることにより平均周波数成分絶対値を算出するＤＣＴ演算部と、
をさらに備えることを特徴とする、請求項１に記載の焦点ズレ検出装置。
【請求項３】
前記配列変換部は、２次元配列された周波数成分に変換された前記画像データを、低い周波数成分から高い周波数成分の順に読み取り、１次元配列に変換することを特徴とする、請求項２に記載の焦点ズレ検出装置。
【請求項４】
前記配列変換部は、２次元配列された周波数成分に変換された前記画像データを、ジグザグスキャンすることにより、１次元配列に変換することを特徴とする、請求項３に記載の焦点ズレ検出装置。
【請求項５】
前記配列変換部は、前記画像データの２次元配列から１次元配列へ変換するときの周波数成分の読み取り順序で、前記画像データの平均周波数成分絶対値の対数値を配列して、前記傾きを算出するための波形を形成することを特徴とする、請求項４に記載の焦点ズレ検出装置。
【請求項６】
前記焦点ズレ判定部は、前記１次元配列に変換された周波数成分のうち、低い周波数成分を用いて形成される波形の傾きを算出することを特徴とする、請求項３〜５のいずれか１項に記載の焦点ズレ検出装置。
【請求項７】
前記焦点ズレ判定部は、前記画像データの２次元配列から１次元配列へ変換するときに、直流の周波数成分を除いて、前記波形の傾きを算出することを特徴とする、請求項３〜６のいずれか１項に記載の焦点ズレ検出装置。
【請求項８】
前記焦点ズレ判定部は、
前記傾きの絶対値が所定の閾値より小さいとき、前記撮像装置の焦点ズレ無しと判定し、
前記傾きの絶対値が所定の閾値以上のとき、前記撮像装置の焦点ズレ有りと判定することを特徴とする、請求項１〜７のいずれか１項に記載の焦点ズレ検出装置。
【請求項９】
前記焦点ズレ判定部は、前記周波数成分を直線近似することにより、前記波形の傾きを算出する、請求項１〜８のいずれか１項に記載の焦点ズレ検出装置。
【請求項１０】
搬送される被検査体の表面を撮像装置により撮像した画像データに基づいて、表面欠陥を検査する表面欠陥検査装置の、前記撮像装置の焦点ズレを検出する焦点ズレ検出方法であって、
前記画像データの画像信号を２次元配列された周波数成分に変換する変換演算を行う演算ステップと、
前記画像データの周波数成分の２次元配列を、所定の規則に基づいて、１次元配列に変換する配列変換ステップと、
前記１次元配列に変換された周波数成分の一部によって形成される波形の傾きに基づいて、前記撮像装置の焦点ズレの有無を判定する焦点ズレ判定ステップと、
を含むことを特徴とする、焦点ズレ検出方法。
【請求項１１】
コンピュータを、
搬送される被検査体の表面を撮像装置により撮像した画像データに基づいて表面欠陥を検査する表面欠陥検査装置の、前記撮像装置により撮像した画像データの画像信号を２次元配列された周波数成分に変換する変換演算を行う演算手段と、
前記画像データの周波数成分の２次元配列を、所定の規則に基づいて、１次元配列に変換する配列変換手段と、
前記１次元配列に変換された周波数成分の一部によって形成される波形の傾きに基づいて、前記撮像装置の焦点ズレの有無を判定する焦点ズレ判定手段と、
を備えることを特徴とする、焦点ズレ検出装置として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図１１】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図１１】
【図８】
【図９】
【図１０】
【公開番号】特開２０１１−２２０８２８（Ｐ２０１１−２２０８２８Ａ）
【公開日】平成２３年１１月４日（２０１１．１１．４）
【国際特許分類】
【出願番号】特願２０１０−９０２８４（Ｐ２０１０−９０２８４）
【出願日】平成２２年４月９日（２０１０．４．９）
【出願人】（０００００６６５５）新日本製鐵株式会社 (6,474)
【Ｆターム（参考）】
【公開日】平成２３年１１月４日（２０１１．１１．４）
【国際特許分類】
【出願日】平成２２年４月９日（２０１０．４．９）
【出願人】（０００００６６５５）新日本製鐵株式会社 (6,474)
【Ｆターム（参考）】
[ Back to top ]