欠損画像の補間方法及びこれを用いたタイヤ表面の検査方法
【課題】撮像画像の欠損部分を高速に補間する補間方法と、この補間方法により補間された撮像画像に基づいてタイヤ表面の検査を行う検査方法を提供する。
【解決手段】撮像画像に含まれる欠損画像をインペインティング処理して補間する欠損画像の補間方法であって、撮像画像から欠損画像を検出する欠損画像検出ステップと、欠損画像を構成する画素が閾値以下の画素数となるまで画素を間引きして縮小画像を生成する縮小画像生成ステップと、縮小画像をインペインティング処理して縮小画像の画素の輝度を補間する画像補間ステップと、画像補間ステップにより補間された縮小画像の画素の輝度を一つ前の大きさの画像に置換する画像更新ステップとを含み、縮小画像生成ステップにより生成される縮小画像が元の欠損画像の大きさとなるまで画像補間ステップ及び画像更新ステップを繰り返すようにした。
【解決手段】撮像画像に含まれる欠損画像をインペインティング処理して補間する欠損画像の補間方法であって、撮像画像から欠損画像を検出する欠損画像検出ステップと、欠損画像を構成する画素が閾値以下の画素数となるまで画素を間引きして縮小画像を生成する縮小画像生成ステップと、縮小画像をインペインティング処理して縮小画像の画素の輝度を補間する画像補間ステップと、画像補間ステップにより補間された縮小画像の画素の輝度を一つ前の大きさの画像に置換する画像更新ステップとを含み、縮小画像生成ステップにより生成される縮小画像が元の欠損画像の大きさとなるまで画像補間ステップ及び画像更新ステップを繰り返すようにした。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像画像の欠損部分を高速に補間する補間方法と、この補間方法により補間された撮像画像に基づいてタイヤ表面の検査を行うタイヤ表面の検査方法に関する。
【背景技術】
【０００２】
従来、カメラやビデオ等により撮像された撮像画像における失われた領域又は損傷した領域を判読可能に再現したいときに、その領域の欠損部分の画像を回復する補間技術が知られている。
補間技術として、例えば、非特許文献１に示すようなインペインティング法と呼ばれる方法により補間する方法がある。
インペインティング法は、もともと経年劣化によって生じた絵画等の美術品の傷やひび割れを修復するための技術を指すが、画像処理においては画像の欠落部分を周囲の画素の情報からそれとはわからないように復元する技術のことで、傷や欠損がある写真や絵画をスキャナやカメラによりディジタル形式で取得し、得られたディジタル画像を用いて写真や絵画の傷もしくは欠損部分を補間するようにしている。具体的には、写真や絵画をディジタル画像として取得して、欠損部分もしくは修復部分を教示することで、この領域がインペインティング法により補間され、修復後のディジタル画像が得られる。
インペインティング法による処理の流れとしては、
（１）欠損画像検出部により、撮像画像を構成する画素すべてについて画素毎に隣接する画素との輝度の変化を判定し、この輝度の変化があらかじめ設定された閾値よりも大きいときに欠損部分を構成する画素として検出する（欠損画像検出処理）。
（２）欠損部分を構成する画素として検出された画素をフラグ付けして記憶し、仮補間部により欠損画像を包囲する画素の輝度の平均値で補間する（仮補間処理）。
（３）仮補間された欠損部分を、インペインティング法に基づいて輝度を計算する補間輝度計算部により、欠損部分を包囲する画素と仮の輝度が補間された画素とに基づいて仮補間された欠損部分の輝度を計算し、この計算された輝度を輝度補正部によりフィルター処理して新たな輝度に補正して、欠損部分の輝度を更新する。
そして、輝度の計算、補正、更新を繰り返し行い、欠損部分の画素が最適値となったときに上記計算を終了し、欠損部分を構成する画素の輝度の補間が完了する。
【０００３】
しかしながら、従来のインペインティング法によれば補間完了後の画像は比較的自然な画像として看取できるものの、補間する欠損部分の画素の輝度を計算するときに、最適と思われる画像となるまで欠損部分の画素の輝度を繰り返し計算する必要があるため、欠損部分の補間にかかる時間が不明であり、欠損部分の大きさが大きい場合には、補間に要する時間が膨大となる。そして、この時間効率の悪さが、例えばタイヤ表面を検査する検査装置等の時間効率性が重視される機器への応用についての障壁となるため、正確性のみならず時間効率をも重視する機器へのインペインティング法の導入は困難であった。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特表２００８−５４１９０４号公報
【非特許文献】
【０００５】
【非特許文献１】Ｔｏｎｙ Ｆ．Ｃｈａｎ等 ＩＥＥＥ ＴＲＡＮＳＡＣＴＩＯＮＳ ＯＮ ＩＭＡＧＥ ＰＲＯＣＥＳＳＩＮＧ，ＶＯＬ．１０，ＮＯ２，ｐ２３１−ｐ２４１，ＦＥＢＲＵＡＲＹ２００１
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、上記課題を解決するため、撮像画像の欠損部分を高速に補間する補間方法と、この補間方法により補間された撮像画像に基づいてタイヤ表面の検査を行う検査方法を提供する。
【課題を解決するための手段】
【０００７】
本発明の第１の形態として、撮像画像に含まれる欠損画像をインペインティング処理して補間する欠損画像の補間方法であって、撮像画像から欠損画像を検出する欠損画像検出ステップと、欠損画像を構成する画素が閾値以下の画素数となるまで画素を間引きして縮小画像を生成する縮小画像生成ステップと、縮小画像をインペインティング処理して縮小画像の画素の輝度を補間する画像補間ステップと、画像補間ステップにより補間された縮小画像の画素の輝度を一つ前の大きさの画像に置換する画像更新ステップとを含むようにした。
本発明によれば、少ない画素によって構成される縮小画像にインペインティング処理して縮小画像を補間し、補間された画素の輝度を一つ前の大きさの画像に置換し、この画像の置換された画素以外の画素をインペインティング処理で補間すれば良いので、画像の補間に要する時間が短縮されるようになる。
【０００８】
本発明の第２の形態として、縮小画像生成ステップにより生成される縮小画像が元の欠損画像の大きさとなるまで画像補間ステップ及び画像更新ステップを繰り返すようにした。
本発明によれば、元の欠損画像の大きさまで補間するようにしたことで、各縮小画像のインペインティング処理において補間する画素数が少なくて済むので、一度に欠損画像をインペインティング処理する場合よりも補間に要する時間を大幅に短縮することができる。
【０００９】
本発明の第３の形態として、縮小画像生成ステップは欠損画像を構成する画素を一つ置きに間引くようにした。
本発明によれば、欠損画像を構成する画素が平均的に間引かれることで、欠損画像が効率よく縮小され、縮小された画素をインペインティング法で補間するときに、短時間で補間することができる。
【００１０】
本発明の第４の形態として、縮小画像生成ステップは欠損画像をチェッカーボード状に間引くようにした。
本発明によれば、欠損画像を構成する画素がチェッカーボード状に間引かれることで、インペンティング法で補間された画素を間引きされる一つ前の間引き画像の元の位置に補間したときに、これからインペンティング法で補間される画素が、既知の画素で包囲されるので、精度の良い補間をすることができる。
【００１１】
本発明の第５の形態として、縮小画像生成ステップは欠損画像を構成する画素のうち、輝度が閾値よりも大きな画素を間引くようにした。
本発明によれば、欠損画像に含まれる著しく輝度が異なる画素を間引くことで、補間される欠損画像が平均化されるので、インペインティング法で画素の輝度を補間するときに要する時間を短縮することができる。
【００１２】
本発明の第６の形態として、タイヤ表面を撮像して得られた検査画像を画像処理してタイヤ表面のキズの有無を判定するタイヤ表面の検査方法であって、検査画像に含まれる欠損画像を検出する欠損画像検出ステップと、欠損画像を構成する画素が閾値以下の画素数となるまで画素を間引きして縮小画像を生成する縮小画像生成ステップと、縮小画像をインペインティング処理して縮小画像の画素の輝度を補間する画像補間ステップと、画像補間ステップにより補間された縮小画像の画素の輝度を一つ前の大きさの画像に補間する画像更新ステップとを含み、縮小画像生成ステップにより生成される縮小画像が元の欠損画像の大きさとなるまで画像補間ステップ及び画像更新ステップを繰り返し行い、元の欠損画像の大きさまで戻された検査画像を構成する画素の輝度に基づいてタイヤ表面を検査するようにした。
本発明によれば、タイヤ表面の検査画像の欠損画像を構成する画素を間引いて縮小画像を生成し、この縮小画像を構成する画素の輝度をインペインティング法で補間し、この補間された画素の輝度を一つ前の大きさの縮小画像に補間することを繰り返して欠損画像を補間しているため、欠損画像の補間において少ない画素数の画像がインペインティング法で補間されるので、欠損画像を補間するのに要する時間を短縮できるため、タイヤ表面の検査効率を向上させることができる。
【００１３】
なお、上記発明の概要は、本発明の必要な特徴のすべてを列挙したものではなく、これらの特徴群のサブコンビネーションもまた発明となり得る。また、以下、発明の実施形態を通じて本発明を詳説するが、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明される特徴の組み合わせの全てが発明の解決手段に必須であるとは限らず、選択的に採用される構成又は工程をも含むものである。
【図面の簡単な説明】
【００１４】
【図１】本発明に係る画像処理装置のブロック図。
【図２】本発明に係る欠損画像を縮小画像に変換する間引き及び置換の概念図。
【図３】本発明に係るＴＶインペインティング法における係数を求める画素の関係図。
【図４】本発明に係る補間処理手段のフローチャート。
【図５】本発明に係る欠損画像を含む撮像画像及びこれを補間した補間画像。
【図６】本発明に係る欠損画像の処理にかかる時間を調べた比較表。
【図７】本発明に係る画像処理装置をタイヤ表面の検査装置に組み込んだ場合のブロック図。
【図８】本発明に係る間引きの他の形態図。
【発明を実施するための形態】
【００１５】
実施形態
図１は、本発明に係る欠損画像を補間する画像処理装置１のブロック図を示す。画像処理装置１は、カメラ２によって撮像された撮像画像Ｐ０を処理する前処理手段３と補間処理手段４とを備える。
前処理手段３は、カメラ２によって撮像された撮像画像Ｐ０が入力される画像入力部５と、入力された撮像画像Ｐ０における画像のキズや汚れ等の欠損部分を検出して欠損画像Ｐ１を生成する欠損画像検出部６と、欠損画像Ｐ１を構成する画素の画素数や欠損画像Ｐ１の幅や高さの画素数等をあらかじめ設定された閾値αと比較し、閾値αよりも小さいときには後述の補間処理手段４の画像補間部１０に欠損画像Ｐ１を出力し、閾値αよりも大きいときには縮小画像生成部８に欠損画像Ｐ１を出力する欠損画像サイズ判定部７とを有する。
【００１６】
補間処理手段４は、縮小画像生成部８と、縮小画像サイズ判定部９と、画像補間部１０と、画像レベル判定部１１と、画像更新部１１とを備える。
縮小画像生成部８は、欠損画像Ｐ１を構成する画素を間引き処理することにより欠損画像Ｐ１を縮小画像Ｐ２として縮小する。以下、間引き処理の概要について説明する。
【００１７】
図２（ａ），（ｂ）は、欠損画像Ｐ１の画素に対する間引き処理の概念図である。同図において、Ｅは欠損画素、Ｆは欠損画素の周囲を包囲する正常な画素を示す。
欠損画像Ｐ１の縮小は、欠損画像Ｐ１を構成する画素を一つ置きに省くことにより実行される。具体的には、図２（ａ）に示すように、欠損画像Ｐ１が６×６の複数の正方形の欠損画素Ｅにより構成されていると仮定した場合、複数存在する欠損画素Ｅの位置をＥ１（ｉ，ｊ）のように表すと（但し、ｉ，ｊはそれぞれ０，１，２・・・７の範囲である。）、欠損画素Ｐ１の間引き処理は、欠損画素Ｅの位置Ｅ１（１，１）を基準として高さ方向Ｈに一つ置きに省き、図２（ａ）中のｉが２，４，６の行、即ち位置Ｅ１（２，ｊ）と位置Ｅ１（４，ｊ）と位置Ｅ１（６，ｊ）の行を全て省き、次に、欠損画素Ｅの位置Ｅ１（１，１）を基準として幅方向Ｗに一つ置きに省き、図２（ａ）中のｊが２，４，６の列、即ち位置Ｅ１（ｉ，２）と位置Ｅ１（ｉ，４）と位置Ｅ１（ｉ，６）の列を全て省くことにより行われる。
この間引き処理によって残る欠損画素Ｅは、位置Ｅ１（１，１），位置Ｅ１（１，３），位置Ｅ１（１，５），位置Ｅ１（３，１），位置Ｅ１（３，３），位置Ｅ１（３，５），位置Ｅ１（５，１），位置Ｅ１（５，３），位置Ｅ１（５，５）となり、これら欠損画素Ｅにより、縮小された縮小画像Ｐ２を構成する。
具体的には、図２（ｂ）に示すように、位置Ｅ１（１，１）→位置Ｅ２（１，１），位置Ｅ１（１，３）→位置Ｅ２（１，２），位置Ｅ１（１，５）→位置Ｅ２（１，３），位置Ｅ１（３，１）→位置Ｅ２（２，１），位置Ｅ１（３，３）→位置Ｅ２（２，２），位置Ｅ１（３，５）→位置Ｅ２（２，３），位置Ｅ１（５，１）→位置Ｅ２（３，１），位置Ｅ１（５，３）→位置Ｅ２（３，２），位置Ｅ１（５，５）→位置Ｅ２（３，３）となるように、間引き処理によって省かれた欠損画素Ｅを埋めるように欠損画像Ｐ１が縮小画像Ｐ２に縮小される。
なお、上記例では、欠損画素ＥのＥ１（１，１）を基準にして高さ方向、幅方向に順に省くとして説明したが、省く順序、基準位置については適宜設定すれば良い。
【００１８】
縮小画像サイズ判定部９は、縮小画像生成部８により縮小された縮小画像Ｐ２が、所定の大きさ以下であるかを判定する。
具体的には、縮小画像Ｐ２を構成する総画素数（３×３）が、あらかじめ設定された閾値βよりも小さいときには、画像補間部１０に縮小画像Ｐ２を出力し、閾値βよりも大きいときには、縮小画像生成部８に対して縮小画像Ｐ２をさらに縮小させるべく出力する。つまり、縮小画像生成部８による間引き処理は複数回実行されることがある。
なお、縮小画像サイズ判定部９による判定は、総画素数を用いた判定のみならず、例えば幅方向の画素数（３）又は高さ方向の画素数（３）のみによって閾値βと比較判定する構成としてもよい。
【００１９】
画像補間部１０は、縮小画像Ｐ２を構成する欠損画素Ｅを包囲する正常画素Ｆの輝度に基づいて縮小画像Ｐ２の補間処理を行う。補間処理には、ＴＶインペインティング法と呼ばれる画像処理手法が採用される。以下、ＴＶインペインティング法について概説する。
ＴＶインペインティング法は、以下の式１に基づいて縮小画像Ｐ２の補間処理を行う。
上記式１は、輝度落ちした欠損画素Ｅと輝度落ちした欠損画素Ｅを包囲する正常画素Ｆが持つ輝度のエネルギーを計算する式で、式１のＪを最小化する輝度ｕは、次の式２に示すオイラー−ラグランジェ方程式を満たす必要がある。
さらに、欠損画素Ｅの輝度ｕを求めるにあたり、式２は、以下の式３に示す時間発展方程式に置き換えられ、その定常状態として最適な輝度ｕを決定する。
なお、式１，式２，式３において各変数は以下に示す意味を持つ。
ｕ：補完すべき欠損画素Ｅの最適な輝度の値を示す。
λ：バランス係数。
Ω：補間する欠損画素Ｅを中心に隣接する正常画素Ｆを含む画像領域、又は、輝度落ちした欠損画像Ｐ＊全体を示す画像領域。
ｕ0：式３の計算にあたり欠損画素Ｅに付与される輝度の初期値。
｜∇ｕ｜：エッジの傾き、即ち、補間する欠損画素Ｅを中心とした隣接する欠損画素Ｅ又は正常画素Ｆとの輝度の勾配の最大値。
上記式１において、右辺第１項目は、欠損画像Ｐ１及び縮小画像Ｐ＊の欠損画素Ｅを補間するときに不自然な画像を排除するための項であり、右辺第２項目は、補間する輝度uの最適値が元の撮像画像Ｐ０から逸脱し過ぎないようにするために制約を与える項である。
また、上記式３を解いて欠損画素Ｅの補間すべき輝度ｕを計算するために、欠損画素Ｅの輝度に初期条件及び境界条件を設定する必要があり、具体的には以下のように設定される。
初期条件は、一般的に元の画像の輝度を推定した値が輝度落ちした画素に挿入されるか、若しくは、タイヤ表面を撮像した場合には黒を示す値の０又は白を示す値の２５５が挿入される。本例では、推定した値として、輝度落ち画素を包囲する外側２画素の輝度の平均値を輝度落ちした画素に初期値として仮補間する。ここで、輝度落ちした欠損画素Ｅを包囲する外側２画素とは、図２（ａ），（ｂ）に示すように、輝度落ちした欠損画素Ｅを包囲する正常画素Ｆと、正常画素Ｆをさらに包囲する図示しない正常画素Ｇとである。
このＴＶインペインティング法により、輝度落ちした画素に最適な輝度を計算するときに、輝度落ちした画素において、計算により補間される輝度の標準偏差値σが、単調増加した後に平衡状態とすることができる。
また、境界条件には、例えば、輝度落ち画素を包囲する正常画素Ｆの輝度が与えられる。
【００２０】
ＴＶインペインティング法では、上記式３を数値的に解くために、これを以下の式４〜式７に示す離散式に変形する。離散化された式４は、輝度落ちした領域に仮補間された輝度ｕをディジタルフィルターによって輝度ｖに更新する式と考えることができる。式４を繰り返し適用することにより、補間される輝度を最適な値に近づけることができる。
上記式５〜式７により式４の係数を計算した後に、すべての画素についての輝度ｖαを求め、輝度落ちとして検出された全ての画素に挿入されるｖαの標準偏差値σが平衡状態となり、この平衡状態が所定回数、例えば、５回以上繰り返されたときに計算を終了させて、このときに計算された輝度ｖαが縮小画像Ｐ２を構成する欠損画素Ｅ毎に補間される。
【００２１】
上記式３を離散式に変形した式４〜式７をプログラムすることにより、欠損画像Ｐ１及び縮小画像Ｐ＊の欠損画素Ｅに最適な輝度を挿入することができる。
なお、ＴＶインペインティング法において、補間すべき解を提供する方程式がエネルギー最小の原理に基づいて解かれることを考えると、例えば、有限体積法等により積分型の離散方程式を構成し、かつ、求める解がビット表記された輝度を表していることから、繰り返し計算前に解をビットシフトさせて整数型にして、共役勾配法により繰り返し計算を行うことで解を得るようにしても良く、上記式３〜式７の微分方程式から補間する画素を計算する方法については適宜決めれば良い。
上記インペインティング処理により欠損画素Ｅの輝度が補間された縮小画像Ｐ＊は、画像レベル判定部１１に出力される。
【００２２】
画像レベル判定部１１では、画像補間部１０で補間された縮小画像Ｐ＊が縮小画像Ｐ２以下の大きさの画像であるかの判定を行い、縮小画像Ｐ＊が縮小画像Ｐ２以下の大きさであるときは後述の画像更新部１２に縮小画像Ｐ＊を出力する。縮小画像Ｐ＊が縮小画像Ｐ２よりも大きい、即ち、欠損画像Ｐ１であるときは、欠損画像Ｐ１を画像表示装置１３に出力するとともに補間された欠損画像Ｐ１がモニタ１４に表示される。
【００２３】
画像更新部１２は、画像レベル判定部１１の判定に基づき画像補間部１０により補間された縮小画像Ｐ＊を構成する欠損画素Ｅを間引き処理前の縮小画像Ｐ＊−１に置換し、置換した縮小画像Ｐ＊−１を画像補間部１０に出力する。
具体的には、図２（ｂ），（ｃ）に示すように、補間された縮小画像Ｐ＊の欠損画素Ｅを間引き前の縮小画像Ｐ＊−１の元の位置に置換して、縮小画像Ｐ＊−１を更新する。つまり、縮小画像生成部８で実行される間引き処理の逆の処理が行われ、Ｅ２（１，１）→Ｅ１（１，１），Ｅ２（１，２）→Ｅ１（１，３），Ｅ２（１，３）→Ｅ１（１，５），Ｅ２（２，１）→Ｅ１（３，１），Ｅ２（２，２）→Ｅ１（３，３），Ｅ２（２，３）→Ｅ１（３，５），Ｅ２（３，１）→Ｅ１（５，１），Ｅ２（３，２）→Ｅ１（５，３），Ｅ２（３，３）→Ｅ１（５，５）のように縮小画像Ｐ＊の画素の輝度を縮小画像Ｐ＊−１の画素の輝度として置換し、得られた縮小画像Ｐ＊−１を画像補間部１０に出力する。
これにより、縮小画像Ｐ＊−１を構成する欠損画素Ｅの一部が既知の輝度に置換されるため、画像補間部１０では、縮小画像Ｐ＊−１の置換されていない欠損画素Ｅに対してのみ計算すれば良いので、補間処理にかかる時間を短縮することができる。
【００２４】
図４は、画像処理装置１の補間処理手段４のフローチャートを示し、同図を用いて撮像画像Ｐ０に含まれる欠損画像Ｐ１の補間処理について説明する。
カメラ２によって撮像された撮像画像Ｐ０が前処理手段３の画像入力部５に入力されるとともに、画像表示装置１３と接続するモニタ１４に表示される。画像入力部５に入力された撮像画像Ｐ０は、欠損画像検出部６に出力され、欠損画像Ｐ１がどの程度の大きさか、即ち、欠損画像Ｐ１を構成する総画素数がカウントされる。欠損領域の大きさが検出された欠損画像Ｐ１は、欠損画像サイズ判定部７にその画素数が出力され、欠損画像サイズ判定部７が記憶する閾値αと比較される。この場合の閾値αは、欠損領域検出部６が検出した欠損画像Ｐ１を構成する画素数に対応するように設定され、例えば、５画素以下等として適当な画素数が設定される。
なお、欠損画像Ｐ１を構成する総画素数をカウントするとしたが、欠損画像Ｐ１の幅の最大値や高さの最大値を閾値αとして設定しても良い。
欠損画像サイズ判定部７において、欠損画像Ｐ１が上記閾値αよりも小さいときには欠損画像Ｐ１が補間処理手段４の画像補間部１０に出力され、欠損画像Ｐ１が上記閾値αよりも大きいときには欠損画像Ｐ１は、補間処理手段４の縮小画像生成部８に出力される。
【００２５】
図４に示すように、補間処理手段４では、次の処理により欠損画像Ｐ１を補間する。
まず縮小画像生成ステップ１０１により、欠損画像Ｐ１の大きさが幅方向Ｗ及び高さ方向Ｈにおいて画素数が１/２となるように縮小される。即ち、欠損画像Ｐ１の幅方向Ｗ及び高さ方向Ｈにそれぞれ欠損画素Ｅを一つおきに間引くことで、欠損画像Ｐ１が面積にして１/４の大きさの縮小画像Ｐ２に縮小され、欠損画像サイズ判定ステップ１０２に移行する。
欠損画像サイズ判定ステップ１０２では、処理画像Ｐ１を構成する欠損画素Ｅの画素数をカウントして、あらかじめ記憶する画素数を示す閾値βと比較して、縮小画像Ｐ１を構成する画素数が閾値β以下のときには画像補間ステップＳ１０３に移行し、閾値β以上のときには縮小画像生成ステップ１０１に戻る。
即ち、縮小画像生成ステップ１０１では、撮像画像Ｐ０の欠損画像Ｐ１の欠損画素Ｅを一つおきに間引いて、欠損画像Ｐ１を幅，高さともに１/２にした縮小画像Ｐ２として生成し、この縮小画像Ｐ２を欠損画像サイズ判定ステップ１０２で、縮小画像Ｐ２を構成する画素数と縮小画像Ｐ＊の大きさ（画素数）を規定する閾値βとを比較し、縮小画像Ｐ２の画素数が閾値βよりも大きいときには、縮小画像生成ステップ１０１に戻り、縮小画像Ｐ２をさらに縮小して縮小画像Ｐ３を生成し、欠損画像サイズ判定ステップＳ１０２で縮小画像Ｐ３の画素数と閾値βとを比較し、縮小画像Ｐ３が閾値βよりも大きいときには縮小画像生成ステップ１０２に戻ることを繰り返し実行し、閾値βよりも小さい縮小画像Ｐminとなるまで実行し、縮小画像Ｐminが閾値βよりも小さくなったときに画像補間ステップＳ１０３に進む。
【００２６】
画像補間ステップ１０３では、まず縮小画像Ｐminを上述したＴＶインペインティング法により欠損画素Ｅの輝度を補間した後に、この縮小画像Ｐminを画像レベル判定ステップ１０４に出力する。
画像レベル判定ステップ１０４では、縮小画像Ｐ＊が縮小画像Ｐ２以下かどうかを判定し、縮小画像Ｐ＊が縮小画像Ｐ２以下のとき、即ち、縮小画像Ｐmin→Ｐmin-1→・・・→Ｐ＊→・・・→Ｐ２のときには、画像更新ステップ１０５に進み、欠損画像Ｐ１のときには補間処理を終了する。
この補間された欠損画像Ｐ１は撮像画像Ｐ０の欠損領域と結合されて、補間後の撮像画像Ｐ０′として画像表示装置１３に出力され、モニタ１４に表示される。
画像更新ステップ１０５では、縮小画像Ｐminを構成する欠損画素Ｅの輝度を一つ前の大きさの縮小画像Ｐmin-1の元の位置に既知の輝度として置換し、縮小画像Ｐmin-1の更新を行う。
【００２７】
以上説明したように、本発明の補間方法によれば、撮像画像Ｐ０に含まれる欠損画像Ｐ１を縮小して、最も小さい縮小画像Ｐminをインペインティング法により補間した後に、次に小さい縮小画像Ｐmin-1の各画素の元の位置に戻して置換することで縮小画像Ｐmin-1を更新し、この画素が更新された縮小画像Ｐmin-1の補間された画素以外の欠損画素Ｅをインペインティング法により補間することで、各縮小画像Ｐ＊が未知の欠損画素Ｅが少ない状態でインペインティング法により補間されるので、従来のように直接欠損画像Ｐ１の全体をインペインティング法により補間するときと比べて補間にかかる時間が短縮できるようになった。
【００２８】
図５（ａ）は、カメラ２により３２０×２４０画素のサイズで撮像したカラーの撮像画像Ｐ０を２５６階調のグレースケールで図示したもので、撮像画像Ｐ０には５０×５５画素の欠損画像Ｐ１を含んでいる。図５（ｂ）は、本発明に係る画像補間方法により補間された画像、図５（ｃ）は、従来のＴＶインペインティング法により補間された画像を示す。
図６の表は、図５（ａ）の欠損画像Ｐ１を従来のＴＶインペインティング法により補間したときの処理時間と、本発明に係る画像補間方法により補間したときの処理時間とを比較した表である。
処理時間を比較するための画像の補間は、以下の実験環境により行った。
ＨＰｘｗ６４００Ｗｏｒｋｓｔａｔｉｏｎ
ＣＰＵ：Ｉｎｔｅｌ Ｘｅｏｎ ５１１０（１．６ＧＨｚ）
メモリ：１．０ＧＢ
ＯＳ：Ｗｉｎｄｏｗｓ ＸＰ（Ｐｒｏｆｅｓｓｉｏｎａｌ）ＳＰ２（登録商標第３３３３５８８号等）
シミュレーションにはＭＡＴＬＡＢ Ｒ２００８ａ（登録商標第２６５１４１８号）を使用した。
図５（ｂ），（ｃ）に示すように、補間後の処理画像にはほとんど差異が見られないが、図６の表によれば、補間に必要とする処理時間には約５０倍以上の差が生じることが分かった。
本実施例における画像補間方法によれば、まず、５０×５５画素の欠損画像Ｐ１が、幅方向Ｗ及び高さ方向Ｈにそれぞれ一つ置きに画素が間引かれて２５×２８画素の縮小画像Ｐ２に縮小され、次に１３×１４画素の縮小画像Ｐ３に縮小され、次に７×７画素の縮小画像Ｐ４に縮小され、次に４×４画素の縮小画像Ｐ５に縮小される。
まず、縮小画像Ｐ５がＴＶインペインティング法で補間され、縮小画像Ｐ５の補間された欠損画素Ｅが、縮小画像Ｐ４の間引かれる前の元の位置に補間され、この縮小画像Ｐ４の補間された画素以外の欠損画素ＥがＴＶインペインティング法で補間される。以下縮小画像Ｐ２が欠損画像Ｐ１になるまで補間を繰り返し行い撮像画像Ｐ０の欠損画像Ｐ１が補間される。
図６の表において、各縮小画像Ｐ５〜Ｐ０の処理に要した時間を示し、最も小さい縮小画像Ｐ５では０．７秒で補間が終了し、縮小画像Ｐ４では１．２２秒で補間が終了し、縮小画像Ｐ３では１．８０秒で補間が終了し、縮小画像Ｐ２では３．６９秒で補間が終了し、欠損画像Ｐ１では１８．２４秒の処理時間を要し、合計で２５．６５秒で５０×５５画素の欠損画素Ｐ１全体の補間が終了している。
一方、従来のように欠損画像Ｐ１を直接ＴＶインペインティング法で補間処理したものは、１４６４．２９秒を要し、本発明のＦａｓｔＴＶインペインティング法の約５０倍以上の時間が必要となっている。
このことから、本発明の補間方法であるＦａｓｔＴＶインペインティング法は、欠損画像の補間処理速度を向上させる上で有効であることがわかる。
【００２９】
上記実施形態では、撮像画像Ｐ０において欠損画像Ｐ１が１つのときについて説明したが、撮像画像Ｐ０に欠損画像Ｐ１が複数存在するときには、各欠損画像Ｐ１に対して個別に適用するようにすれば良い。
即ち、図１に示す前処理手段３の欠損領域検出部６において検出された複数の欠損画像Ｐ１に対して、欠損画像サイズ判定部７で閾値α以上の欠損画像Ｐ１に対しては、それぞれ、図４に示すフローチャートに従って補間処理を行い、閾値α以下の欠損画像Ｐ１に対しては、画像補間部１０にジャンプしてＴＶインペインティング法により欠損画素Ｅの補間をすれば良い。
このように補間処理することにより、欠損画像Ｐ１全体に対して一度にＴＶインペインティング法を適用しないので、撮像画像Ｐ０における複数の欠損画像Ｐ１を短時間で補間処理できるようになる。
【００３０】
上記構成の画像処理装置１は、画像処理により外観の検査を行う検査装置、例えば、タイヤ表面の検査装置に組み込むことができる。
図７は、タイヤ表面の検査装置２０に本発明の画像処理装置１を組み込んだ場合のブロック図を示す。同図において、検査装置２０は、タイヤ表面を撮像する撮像手段２１と、検査判定手段２２と、本発明にかかる画像処理装置１と画像表示装置１３とモニタ１４とを備える。なお、検査装置において画像処理装置１と画像表示装置１３とモニタ１４については上記実施形態と同一構成のため説明は省略する。
撮像手段２１は、例えば、タイヤ表面にスリット光を照射する投光器と、タイヤ表面のスリット光を撮像するエリアカメラ等によって構成され、タイヤ表面に対してスリット光を相対的に移動させて撮像することで、検査するタイヤ表面の検査画像が取得される。この検査画像は、画像処理装置１の前処理手段３の画像入力部５に入力され、欠損領域検出部６で検査画像に輝度落ちした欠損領域が検出されたときには、この欠損領域を欠損画像Ｐ１として欠損画像サイズ判定部７に出力する。なお、欠損画像Ｐ１が検出されないときには、検査画像は後述の検査判定手段２２に直接出力される。
欠損画像サイズ判定部７において閾値α以上の画素数により構成される欠損画像Ｐ１は、縮小画像生成部８に出力され、欠損画像Ｐ１の間引きが行われ、縮小画像Ｐ２が生成される。この縮小画像Ｐ２は、縮小画像サイズ判定部９に出力され、閾値β以下の画素数であるかの判定がなされ、縮小画像Ｐ２を構成する画素数が、閾値β以上のときは縮小画像生成部８で縮小画像Ｐ２を縮小し、閾値β以下となるまで、縮小画像Ｐ＊の生成と縮小画像サイズ判定が繰り返される。閾値β以下の画素数となった縮小画像Ｐminは、画像補間部１０に出力され、ＴＶインペインティング法により欠損画素Ｅに輝度が補間される。輝度が補間された縮小画像Ｐminを構成する画素は、縮小画像Ｐminよりも一つ大きな、つまり間引きされる前の縮小画像Ｐmin-1の元の画素の位置に輝度が置換される。輝度が置換された縮小画像Ｐmin-1は、補間されていない欠損画素ＥのみＴＶインペインティング法により補間される。この輝度の補間，置換の工程を縮小画像Ｐ２が得られるまで実施したのち、縮小画像Ｐ２の画素の輝度を欠損画像Ｐ１に置換し、欠損画像Ｐ１をＴＶインペインティング法により補間することで検査画像の欠損領域が補間される。
補間された検査画像は、検査判定手段２２に出力され、検査判定手段２２の検査判定部でタイヤ表面の良否が検出される。例えば、補間された検査画像Ｐ０′において凹部や凸部からなるキズを構成する画素の輝度が所定の閾値の範囲外のときに成型不良有りと判定され、閾値の範囲内のときには成型不良無しとしてタイヤ表面の検査の良否が判定される。
検査判定手段２２による検査結果は、画像表示装置１３に出力され、その結果とともに検査画像Ｐ０′がモニタ１４に表示される。
このように構成することで、本発明のタイヤ表面の検査装置２０によれば、検査装置の物理的な構成を増やすことなく、タイヤ表面の検査をほぼ自動で行うことができるようになり、撮像した検査画像の輝度落ちした欠損画像Ｐ１の画素を間引いて欠損画像Ｐ１を多段に渡り縮小し、少ない画素数で欠損画素ＥをＴＶインペインティング法により補間することで、検査にかかる処理時間を短縮し、検査効率を向上させることができる。
なお、上記実施形態において、本発明の補間方法をタイヤ表面の検査装置に組み込んだ一例を示したがこれに限らず、画像を用いて検査する検査装置であれば本発明の補間方法を組み込むことで飛躍的に画像の補間処理速度を向上させることができるので、検査効率を向上させることができる。
【００３１】
上記実施形態の説明において、縮小画像生成部８において幅方向Ｗ，高さ方向Ｈに一つ置きに間引いて欠損画像Ｐ１を縮小するとして説明したが、間引き方法についてはこれに限らず、図８に示すように、チェッカーボード状に間引いても良い。
また、欠損画像を構成する画素の輝度が閾値よりも大きな画素を間引くようにしても良い。このように構成することで、補間される欠損画像が平均化されるので、インペインティング法で画素の輝度を補間するときに要する時間を短縮することができる。
【符号の説明】
【００３２】
１ 画像処理装置、２ カメラ、３ 前処理手段、４ 補間処理手段、
６ 欠損画像検出部、７ 欠損画像サイズ判定部、８ 縮小画像生成部、
９ 縮小画像サイズ判定部、１０ 画像補間部、１１ 画像レベル判定部、
１２ 画像更新部、Ｅ 欠損画素、Ｆ 正常画素、
Ｐ０ 撮像画像、Ｐ１ 欠損画像、Ｐ＊ 縮小画像、α；β 閾値。
【技術分野】
【０００１】
本発明は、撮像画像の欠損部分を高速に補間する補間方法と、この補間方法により補間された撮像画像に基づいてタイヤ表面の検査を行うタイヤ表面の検査方法に関する。
【背景技術】
【０００２】
従来、カメラやビデオ等により撮像された撮像画像における失われた領域又は損傷した領域を判読可能に再現したいときに、その領域の欠損部分の画像を回復する補間技術が知られている。
補間技術として、例えば、非特許文献１に示すようなインペインティング法と呼ばれる方法により補間する方法がある。
インペインティング法は、もともと経年劣化によって生じた絵画等の美術品の傷やひび割れを修復するための技術を指すが、画像処理においては画像の欠落部分を周囲の画素の情報からそれとはわからないように復元する技術のことで、傷や欠損がある写真や絵画をスキャナやカメラによりディジタル形式で取得し、得られたディジタル画像を用いて写真や絵画の傷もしくは欠損部分を補間するようにしている。具体的には、写真や絵画をディジタル画像として取得して、欠損部分もしくは修復部分を教示することで、この領域がインペインティング法により補間され、修復後のディジタル画像が得られる。
インペインティング法による処理の流れとしては、
（１）欠損画像検出部により、撮像画像を構成する画素すべてについて画素毎に隣接する画素との輝度の変化を判定し、この輝度の変化があらかじめ設定された閾値よりも大きいときに欠損部分を構成する画素として検出する（欠損画像検出処理）。
（２）欠損部分を構成する画素として検出された画素をフラグ付けして記憶し、仮補間部により欠損画像を包囲する画素の輝度の平均値で補間する（仮補間処理）。
（３）仮補間された欠損部分を、インペインティング法に基づいて輝度を計算する補間輝度計算部により、欠損部分を包囲する画素と仮の輝度が補間された画素とに基づいて仮補間された欠損部分の輝度を計算し、この計算された輝度を輝度補正部によりフィルター処理して新たな輝度に補正して、欠損部分の輝度を更新する。
そして、輝度の計算、補正、更新を繰り返し行い、欠損部分の画素が最適値となったときに上記計算を終了し、欠損部分を構成する画素の輝度の補間が完了する。
【０００３】
しかしながら、従来のインペインティング法によれば補間完了後の画像は比較的自然な画像として看取できるものの、補間する欠損部分の画素の輝度を計算するときに、最適と思われる画像となるまで欠損部分の画素の輝度を繰り返し計算する必要があるため、欠損部分の補間にかかる時間が不明であり、欠損部分の大きさが大きい場合には、補間に要する時間が膨大となる。そして、この時間効率の悪さが、例えばタイヤ表面を検査する検査装置等の時間効率性が重視される機器への応用についての障壁となるため、正確性のみならず時間効率をも重視する機器へのインペインティング法の導入は困難であった。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特表２００８−５４１９０４号公報
【非特許文献】
【０００５】
【非特許文献１】Ｔｏｎｙ Ｆ．Ｃｈａｎ等 ＩＥＥＥ ＴＲＡＮＳＡＣＴＩＯＮＳ ＯＮ ＩＭＡＧＥ ＰＲＯＣＥＳＳＩＮＧ，ＶＯＬ．１０，ＮＯ２，ｐ２３１−ｐ２４１，ＦＥＢＲＵＡＲＹ２００１
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、上記課題を解決するため、撮像画像の欠損部分を高速に補間する補間方法と、この補間方法により補間された撮像画像に基づいてタイヤ表面の検査を行う検査方法を提供する。
【課題を解決するための手段】
【０００７】
本発明の第１の形態として、撮像画像に含まれる欠損画像をインペインティング処理して補間する欠損画像の補間方法であって、撮像画像から欠損画像を検出する欠損画像検出ステップと、欠損画像を構成する画素が閾値以下の画素数となるまで画素を間引きして縮小画像を生成する縮小画像生成ステップと、縮小画像をインペインティング処理して縮小画像の画素の輝度を補間する画像補間ステップと、画像補間ステップにより補間された縮小画像の画素の輝度を一つ前の大きさの画像に置換する画像更新ステップとを含むようにした。
本発明によれば、少ない画素によって構成される縮小画像にインペインティング処理して縮小画像を補間し、補間された画素の輝度を一つ前の大きさの画像に置換し、この画像の置換された画素以外の画素をインペインティング処理で補間すれば良いので、画像の補間に要する時間が短縮されるようになる。
【０００８】
本発明の第２の形態として、縮小画像生成ステップにより生成される縮小画像が元の欠損画像の大きさとなるまで画像補間ステップ及び画像更新ステップを繰り返すようにした。
本発明によれば、元の欠損画像の大きさまで補間するようにしたことで、各縮小画像のインペインティング処理において補間する画素数が少なくて済むので、一度に欠損画像をインペインティング処理する場合よりも補間に要する時間を大幅に短縮することができる。
【０００９】
本発明の第３の形態として、縮小画像生成ステップは欠損画像を構成する画素を一つ置きに間引くようにした。
本発明によれば、欠損画像を構成する画素が平均的に間引かれることで、欠損画像が効率よく縮小され、縮小された画素をインペインティング法で補間するときに、短時間で補間することができる。
【００１０】
本発明の第４の形態として、縮小画像生成ステップは欠損画像をチェッカーボード状に間引くようにした。
本発明によれば、欠損画像を構成する画素がチェッカーボード状に間引かれることで、インペンティング法で補間された画素を間引きされる一つ前の間引き画像の元の位置に補間したときに、これからインペンティング法で補間される画素が、既知の画素で包囲されるので、精度の良い補間をすることができる。
【００１１】
本発明の第５の形態として、縮小画像生成ステップは欠損画像を構成する画素のうち、輝度が閾値よりも大きな画素を間引くようにした。
本発明によれば、欠損画像に含まれる著しく輝度が異なる画素を間引くことで、補間される欠損画像が平均化されるので、インペインティング法で画素の輝度を補間するときに要する時間を短縮することができる。
【００１２】
本発明の第６の形態として、タイヤ表面を撮像して得られた検査画像を画像処理してタイヤ表面のキズの有無を判定するタイヤ表面の検査方法であって、検査画像に含まれる欠損画像を検出する欠損画像検出ステップと、欠損画像を構成する画素が閾値以下の画素数となるまで画素を間引きして縮小画像を生成する縮小画像生成ステップと、縮小画像をインペインティング処理して縮小画像の画素の輝度を補間する画像補間ステップと、画像補間ステップにより補間された縮小画像の画素の輝度を一つ前の大きさの画像に補間する画像更新ステップとを含み、縮小画像生成ステップにより生成される縮小画像が元の欠損画像の大きさとなるまで画像補間ステップ及び画像更新ステップを繰り返し行い、元の欠損画像の大きさまで戻された検査画像を構成する画素の輝度に基づいてタイヤ表面を検査するようにした。
本発明によれば、タイヤ表面の検査画像の欠損画像を構成する画素を間引いて縮小画像を生成し、この縮小画像を構成する画素の輝度をインペインティング法で補間し、この補間された画素の輝度を一つ前の大きさの縮小画像に補間することを繰り返して欠損画像を補間しているため、欠損画像の補間において少ない画素数の画像がインペインティング法で補間されるので、欠損画像を補間するのに要する時間を短縮できるため、タイヤ表面の検査効率を向上させることができる。
【００１３】
なお、上記発明の概要は、本発明の必要な特徴のすべてを列挙したものではなく、これらの特徴群のサブコンビネーションもまた発明となり得る。また、以下、発明の実施形態を通じて本発明を詳説するが、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明される特徴の組み合わせの全てが発明の解決手段に必須であるとは限らず、選択的に採用される構成又は工程をも含むものである。
【図面の簡単な説明】
【００１４】
【図１】本発明に係る画像処理装置のブロック図。
【図２】本発明に係る欠損画像を縮小画像に変換する間引き及び置換の概念図。
【図３】本発明に係るＴＶインペインティング法における係数を求める画素の関係図。
【図４】本発明に係る補間処理手段のフローチャート。
【図５】本発明に係る欠損画像を含む撮像画像及びこれを補間した補間画像。
【図６】本発明に係る欠損画像の処理にかかる時間を調べた比較表。
【図７】本発明に係る画像処理装置をタイヤ表面の検査装置に組み込んだ場合のブロック図。
【図８】本発明に係る間引きの他の形態図。
【発明を実施するための形態】
【００１５】
実施形態
図１は、本発明に係る欠損画像を補間する画像処理装置１のブロック図を示す。画像処理装置１は、カメラ２によって撮像された撮像画像Ｐ０を処理する前処理手段３と補間処理手段４とを備える。
前処理手段３は、カメラ２によって撮像された撮像画像Ｐ０が入力される画像入力部５と、入力された撮像画像Ｐ０における画像のキズや汚れ等の欠損部分を検出して欠損画像Ｐ１を生成する欠損画像検出部６と、欠損画像Ｐ１を構成する画素の画素数や欠損画像Ｐ１の幅や高さの画素数等をあらかじめ設定された閾値αと比較し、閾値αよりも小さいときには後述の補間処理手段４の画像補間部１０に欠損画像Ｐ１を出力し、閾値αよりも大きいときには縮小画像生成部８に欠損画像Ｐ１を出力する欠損画像サイズ判定部７とを有する。
【００１６】
補間処理手段４は、縮小画像生成部８と、縮小画像サイズ判定部９と、画像補間部１０と、画像レベル判定部１１と、画像更新部１１とを備える。
縮小画像生成部８は、欠損画像Ｐ１を構成する画素を間引き処理することにより欠損画像Ｐ１を縮小画像Ｐ２として縮小する。以下、間引き処理の概要について説明する。
【００１７】
図２（ａ），（ｂ）は、欠損画像Ｐ１の画素に対する間引き処理の概念図である。同図において、Ｅは欠損画素、Ｆは欠損画素の周囲を包囲する正常な画素を示す。
欠損画像Ｐ１の縮小は、欠損画像Ｐ１を構成する画素を一つ置きに省くことにより実行される。具体的には、図２（ａ）に示すように、欠損画像Ｐ１が６×６の複数の正方形の欠損画素Ｅにより構成されていると仮定した場合、複数存在する欠損画素Ｅの位置をＥ１（ｉ，ｊ）のように表すと（但し、ｉ，ｊはそれぞれ０，１，２・・・７の範囲である。）、欠損画素Ｐ１の間引き処理は、欠損画素Ｅの位置Ｅ１（１，１）を基準として高さ方向Ｈに一つ置きに省き、図２（ａ）中のｉが２，４，６の行、即ち位置Ｅ１（２，ｊ）と位置Ｅ１（４，ｊ）と位置Ｅ１（６，ｊ）の行を全て省き、次に、欠損画素Ｅの位置Ｅ１（１，１）を基準として幅方向Ｗに一つ置きに省き、図２（ａ）中のｊが２，４，６の列、即ち位置Ｅ１（ｉ，２）と位置Ｅ１（ｉ，４）と位置Ｅ１（ｉ，６）の列を全て省くことにより行われる。
この間引き処理によって残る欠損画素Ｅは、位置Ｅ１（１，１），位置Ｅ１（１，３），位置Ｅ１（１，５），位置Ｅ１（３，１），位置Ｅ１（３，３），位置Ｅ１（３，５），位置Ｅ１（５，１），位置Ｅ１（５，３），位置Ｅ１（５，５）となり、これら欠損画素Ｅにより、縮小された縮小画像Ｐ２を構成する。
具体的には、図２（ｂ）に示すように、位置Ｅ１（１，１）→位置Ｅ２（１，１），位置Ｅ１（１，３）→位置Ｅ２（１，２），位置Ｅ１（１，５）→位置Ｅ２（１，３），位置Ｅ１（３，１）→位置Ｅ２（２，１），位置Ｅ１（３，３）→位置Ｅ２（２，２），位置Ｅ１（３，５）→位置Ｅ２（２，３），位置Ｅ１（５，１）→位置Ｅ２（３，１），位置Ｅ１（５，３）→位置Ｅ２（３，２），位置Ｅ１（５，５）→位置Ｅ２（３，３）となるように、間引き処理によって省かれた欠損画素Ｅを埋めるように欠損画像Ｐ１が縮小画像Ｐ２に縮小される。
なお、上記例では、欠損画素ＥのＥ１（１，１）を基準にして高さ方向、幅方向に順に省くとして説明したが、省く順序、基準位置については適宜設定すれば良い。
【００１８】
縮小画像サイズ判定部９は、縮小画像生成部８により縮小された縮小画像Ｐ２が、所定の大きさ以下であるかを判定する。
具体的には、縮小画像Ｐ２を構成する総画素数（３×３）が、あらかじめ設定された閾値βよりも小さいときには、画像補間部１０に縮小画像Ｐ２を出力し、閾値βよりも大きいときには、縮小画像生成部８に対して縮小画像Ｐ２をさらに縮小させるべく出力する。つまり、縮小画像生成部８による間引き処理は複数回実行されることがある。
なお、縮小画像サイズ判定部９による判定は、総画素数を用いた判定のみならず、例えば幅方向の画素数（３）又は高さ方向の画素数（３）のみによって閾値βと比較判定する構成としてもよい。
【００１９】
画像補間部１０は、縮小画像Ｐ２を構成する欠損画素Ｅを包囲する正常画素Ｆの輝度に基づいて縮小画像Ｐ２の補間処理を行う。補間処理には、ＴＶインペインティング法と呼ばれる画像処理手法が採用される。以下、ＴＶインペインティング法について概説する。
ＴＶインペインティング法は、以下の式１に基づいて縮小画像Ｐ２の補間処理を行う。
上記式１は、輝度落ちした欠損画素Ｅと輝度落ちした欠損画素Ｅを包囲する正常画素Ｆが持つ輝度のエネルギーを計算する式で、式１のＪを最小化する輝度ｕは、次の式２に示すオイラー−ラグランジェ方程式を満たす必要がある。
さらに、欠損画素Ｅの輝度ｕを求めるにあたり、式２は、以下の式３に示す時間発展方程式に置き換えられ、その定常状態として最適な輝度ｕを決定する。
なお、式１，式２，式３において各変数は以下に示す意味を持つ。
ｕ：補完すべき欠損画素Ｅの最適な輝度の値を示す。
λ：バランス係数。
Ω：補間する欠損画素Ｅを中心に隣接する正常画素Ｆを含む画像領域、又は、輝度落ちした欠損画像Ｐ＊全体を示す画像領域。
ｕ0：式３の計算にあたり欠損画素Ｅに付与される輝度の初期値。
｜∇ｕ｜：エッジの傾き、即ち、補間する欠損画素Ｅを中心とした隣接する欠損画素Ｅ又は正常画素Ｆとの輝度の勾配の最大値。
上記式１において、右辺第１項目は、欠損画像Ｐ１及び縮小画像Ｐ＊の欠損画素Ｅを補間するときに不自然な画像を排除するための項であり、右辺第２項目は、補間する輝度uの最適値が元の撮像画像Ｐ０から逸脱し過ぎないようにするために制約を与える項である。
また、上記式３を解いて欠損画素Ｅの補間すべき輝度ｕを計算するために、欠損画素Ｅの輝度に初期条件及び境界条件を設定する必要があり、具体的には以下のように設定される。
初期条件は、一般的に元の画像の輝度を推定した値が輝度落ちした画素に挿入されるか、若しくは、タイヤ表面を撮像した場合には黒を示す値の０又は白を示す値の２５５が挿入される。本例では、推定した値として、輝度落ち画素を包囲する外側２画素の輝度の平均値を輝度落ちした画素に初期値として仮補間する。ここで、輝度落ちした欠損画素Ｅを包囲する外側２画素とは、図２（ａ），（ｂ）に示すように、輝度落ちした欠損画素Ｅを包囲する正常画素Ｆと、正常画素Ｆをさらに包囲する図示しない正常画素Ｇとである。
このＴＶインペインティング法により、輝度落ちした画素に最適な輝度を計算するときに、輝度落ちした画素において、計算により補間される輝度の標準偏差値σが、単調増加した後に平衡状態とすることができる。
また、境界条件には、例えば、輝度落ち画素を包囲する正常画素Ｆの輝度が与えられる。
【００２０】
ＴＶインペインティング法では、上記式３を数値的に解くために、これを以下の式４〜式７に示す離散式に変形する。離散化された式４は、輝度落ちした領域に仮補間された輝度ｕをディジタルフィルターによって輝度ｖに更新する式と考えることができる。式４を繰り返し適用することにより、補間される輝度を最適な値に近づけることができる。
上記式５〜式７により式４の係数を計算した後に、すべての画素についての輝度ｖαを求め、輝度落ちとして検出された全ての画素に挿入されるｖαの標準偏差値σが平衡状態となり、この平衡状態が所定回数、例えば、５回以上繰り返されたときに計算を終了させて、このときに計算された輝度ｖαが縮小画像Ｐ２を構成する欠損画素Ｅ毎に補間される。
【００２１】
上記式３を離散式に変形した式４〜式７をプログラムすることにより、欠損画像Ｐ１及び縮小画像Ｐ＊の欠損画素Ｅに最適な輝度を挿入することができる。
なお、ＴＶインペインティング法において、補間すべき解を提供する方程式がエネルギー最小の原理に基づいて解かれることを考えると、例えば、有限体積法等により積分型の離散方程式を構成し、かつ、求める解がビット表記された輝度を表していることから、繰り返し計算前に解をビットシフトさせて整数型にして、共役勾配法により繰り返し計算を行うことで解を得るようにしても良く、上記式３〜式７の微分方程式から補間する画素を計算する方法については適宜決めれば良い。
上記インペインティング処理により欠損画素Ｅの輝度が補間された縮小画像Ｐ＊は、画像レベル判定部１１に出力される。
【００２２】
画像レベル判定部１１では、画像補間部１０で補間された縮小画像Ｐ＊が縮小画像Ｐ２以下の大きさの画像であるかの判定を行い、縮小画像Ｐ＊が縮小画像Ｐ２以下の大きさであるときは後述の画像更新部１２に縮小画像Ｐ＊を出力する。縮小画像Ｐ＊が縮小画像Ｐ２よりも大きい、即ち、欠損画像Ｐ１であるときは、欠損画像Ｐ１を画像表示装置１３に出力するとともに補間された欠損画像Ｐ１がモニタ１４に表示される。
【００２３】
画像更新部１２は、画像レベル判定部１１の判定に基づき画像補間部１０により補間された縮小画像Ｐ＊を構成する欠損画素Ｅを間引き処理前の縮小画像Ｐ＊−１に置換し、置換した縮小画像Ｐ＊−１を画像補間部１０に出力する。
具体的には、図２（ｂ），（ｃ）に示すように、補間された縮小画像Ｐ＊の欠損画素Ｅを間引き前の縮小画像Ｐ＊−１の元の位置に置換して、縮小画像Ｐ＊−１を更新する。つまり、縮小画像生成部８で実行される間引き処理の逆の処理が行われ、Ｅ２（１，１）→Ｅ１（１，１），Ｅ２（１，２）→Ｅ１（１，３），Ｅ２（１，３）→Ｅ１（１，５），Ｅ２（２，１）→Ｅ１（３，１），Ｅ２（２，２）→Ｅ１（３，３），Ｅ２（２，３）→Ｅ１（３，５），Ｅ２（３，１）→Ｅ１（５，１），Ｅ２（３，２）→Ｅ１（５，３），Ｅ２（３，３）→Ｅ１（５，５）のように縮小画像Ｐ＊の画素の輝度を縮小画像Ｐ＊−１の画素の輝度として置換し、得られた縮小画像Ｐ＊−１を画像補間部１０に出力する。
これにより、縮小画像Ｐ＊−１を構成する欠損画素Ｅの一部が既知の輝度に置換されるため、画像補間部１０では、縮小画像Ｐ＊−１の置換されていない欠損画素Ｅに対してのみ計算すれば良いので、補間処理にかかる時間を短縮することができる。
【００２４】
図４は、画像処理装置１の補間処理手段４のフローチャートを示し、同図を用いて撮像画像Ｐ０に含まれる欠損画像Ｐ１の補間処理について説明する。
カメラ２によって撮像された撮像画像Ｐ０が前処理手段３の画像入力部５に入力されるとともに、画像表示装置１３と接続するモニタ１４に表示される。画像入力部５に入力された撮像画像Ｐ０は、欠損画像検出部６に出力され、欠損画像Ｐ１がどの程度の大きさか、即ち、欠損画像Ｐ１を構成する総画素数がカウントされる。欠損領域の大きさが検出された欠損画像Ｐ１は、欠損画像サイズ判定部７にその画素数が出力され、欠損画像サイズ判定部７が記憶する閾値αと比較される。この場合の閾値αは、欠損領域検出部６が検出した欠損画像Ｐ１を構成する画素数に対応するように設定され、例えば、５画素以下等として適当な画素数が設定される。
なお、欠損画像Ｐ１を構成する総画素数をカウントするとしたが、欠損画像Ｐ１の幅の最大値や高さの最大値を閾値αとして設定しても良い。
欠損画像サイズ判定部７において、欠損画像Ｐ１が上記閾値αよりも小さいときには欠損画像Ｐ１が補間処理手段４の画像補間部１０に出力され、欠損画像Ｐ１が上記閾値αよりも大きいときには欠損画像Ｐ１は、補間処理手段４の縮小画像生成部８に出力される。
【００２５】
図４に示すように、補間処理手段４では、次の処理により欠損画像Ｐ１を補間する。
まず縮小画像生成ステップ１０１により、欠損画像Ｐ１の大きさが幅方向Ｗ及び高さ方向Ｈにおいて画素数が１/２となるように縮小される。即ち、欠損画像Ｐ１の幅方向Ｗ及び高さ方向Ｈにそれぞれ欠損画素Ｅを一つおきに間引くことで、欠損画像Ｐ１が面積にして１/４の大きさの縮小画像Ｐ２に縮小され、欠損画像サイズ判定ステップ１０２に移行する。
欠損画像サイズ判定ステップ１０２では、処理画像Ｐ１を構成する欠損画素Ｅの画素数をカウントして、あらかじめ記憶する画素数を示す閾値βと比較して、縮小画像Ｐ１を構成する画素数が閾値β以下のときには画像補間ステップＳ１０３に移行し、閾値β以上のときには縮小画像生成ステップ１０１に戻る。
即ち、縮小画像生成ステップ１０１では、撮像画像Ｐ０の欠損画像Ｐ１の欠損画素Ｅを一つおきに間引いて、欠損画像Ｐ１を幅，高さともに１/２にした縮小画像Ｐ２として生成し、この縮小画像Ｐ２を欠損画像サイズ判定ステップ１０２で、縮小画像Ｐ２を構成する画素数と縮小画像Ｐ＊の大きさ（画素数）を規定する閾値βとを比較し、縮小画像Ｐ２の画素数が閾値βよりも大きいときには、縮小画像生成ステップ１０１に戻り、縮小画像Ｐ２をさらに縮小して縮小画像Ｐ３を生成し、欠損画像サイズ判定ステップＳ１０２で縮小画像Ｐ３の画素数と閾値βとを比較し、縮小画像Ｐ３が閾値βよりも大きいときには縮小画像生成ステップ１０２に戻ることを繰り返し実行し、閾値βよりも小さい縮小画像Ｐminとなるまで実行し、縮小画像Ｐminが閾値βよりも小さくなったときに画像補間ステップＳ１０３に進む。
【００２６】
画像補間ステップ１０３では、まず縮小画像Ｐminを上述したＴＶインペインティング法により欠損画素Ｅの輝度を補間した後に、この縮小画像Ｐminを画像レベル判定ステップ１０４に出力する。
画像レベル判定ステップ１０４では、縮小画像Ｐ＊が縮小画像Ｐ２以下かどうかを判定し、縮小画像Ｐ＊が縮小画像Ｐ２以下のとき、即ち、縮小画像Ｐmin→Ｐmin-1→・・・→Ｐ＊→・・・→Ｐ２のときには、画像更新ステップ１０５に進み、欠損画像Ｐ１のときには補間処理を終了する。
この補間された欠損画像Ｐ１は撮像画像Ｐ０の欠損領域と結合されて、補間後の撮像画像Ｐ０′として画像表示装置１３に出力され、モニタ１４に表示される。
画像更新ステップ１０５では、縮小画像Ｐminを構成する欠損画素Ｅの輝度を一つ前の大きさの縮小画像Ｐmin-1の元の位置に既知の輝度として置換し、縮小画像Ｐmin-1の更新を行う。
【００２７】
以上説明したように、本発明の補間方法によれば、撮像画像Ｐ０に含まれる欠損画像Ｐ１を縮小して、最も小さい縮小画像Ｐminをインペインティング法により補間した後に、次に小さい縮小画像Ｐmin-1の各画素の元の位置に戻して置換することで縮小画像Ｐmin-1を更新し、この画素が更新された縮小画像Ｐmin-1の補間された画素以外の欠損画素Ｅをインペインティング法により補間することで、各縮小画像Ｐ＊が未知の欠損画素Ｅが少ない状態でインペインティング法により補間されるので、従来のように直接欠損画像Ｐ１の全体をインペインティング法により補間するときと比べて補間にかかる時間が短縮できるようになった。
【００２８】
図５（ａ）は、カメラ２により３２０×２４０画素のサイズで撮像したカラーの撮像画像Ｐ０を２５６階調のグレースケールで図示したもので、撮像画像Ｐ０には５０×５５画素の欠損画像Ｐ１を含んでいる。図５（ｂ）は、本発明に係る画像補間方法により補間された画像、図５（ｃ）は、従来のＴＶインペインティング法により補間された画像を示す。
図６の表は、図５（ａ）の欠損画像Ｐ１を従来のＴＶインペインティング法により補間したときの処理時間と、本発明に係る画像補間方法により補間したときの処理時間とを比較した表である。
処理時間を比較するための画像の補間は、以下の実験環境により行った。
ＨＰｘｗ６４００Ｗｏｒｋｓｔａｔｉｏｎ
ＣＰＵ：Ｉｎｔｅｌ Ｘｅｏｎ ５１１０（１．６ＧＨｚ）
メモリ：１．０ＧＢ
ＯＳ：Ｗｉｎｄｏｗｓ ＸＰ（Ｐｒｏｆｅｓｓｉｏｎａｌ）ＳＰ２（登録商標第３３３３５８８号等）
シミュレーションにはＭＡＴＬＡＢ Ｒ２００８ａ（登録商標第２６５１４１８号）を使用した。
図５（ｂ），（ｃ）に示すように、補間後の処理画像にはほとんど差異が見られないが、図６の表によれば、補間に必要とする処理時間には約５０倍以上の差が生じることが分かった。
本実施例における画像補間方法によれば、まず、５０×５５画素の欠損画像Ｐ１が、幅方向Ｗ及び高さ方向Ｈにそれぞれ一つ置きに画素が間引かれて２５×２８画素の縮小画像Ｐ２に縮小され、次に１３×１４画素の縮小画像Ｐ３に縮小され、次に７×７画素の縮小画像Ｐ４に縮小され、次に４×４画素の縮小画像Ｐ５に縮小される。
まず、縮小画像Ｐ５がＴＶインペインティング法で補間され、縮小画像Ｐ５の補間された欠損画素Ｅが、縮小画像Ｐ４の間引かれる前の元の位置に補間され、この縮小画像Ｐ４の補間された画素以外の欠損画素ＥがＴＶインペインティング法で補間される。以下縮小画像Ｐ２が欠損画像Ｐ１になるまで補間を繰り返し行い撮像画像Ｐ０の欠損画像Ｐ１が補間される。
図６の表において、各縮小画像Ｐ５〜Ｐ０の処理に要した時間を示し、最も小さい縮小画像Ｐ５では０．７秒で補間が終了し、縮小画像Ｐ４では１．２２秒で補間が終了し、縮小画像Ｐ３では１．８０秒で補間が終了し、縮小画像Ｐ２では３．６９秒で補間が終了し、欠損画像Ｐ１では１８．２４秒の処理時間を要し、合計で２５．６５秒で５０×５５画素の欠損画素Ｐ１全体の補間が終了している。
一方、従来のように欠損画像Ｐ１を直接ＴＶインペインティング法で補間処理したものは、１４６４．２９秒を要し、本発明のＦａｓｔＴＶインペインティング法の約５０倍以上の時間が必要となっている。
このことから、本発明の補間方法であるＦａｓｔＴＶインペインティング法は、欠損画像の補間処理速度を向上させる上で有効であることがわかる。
【００２９】
上記実施形態では、撮像画像Ｐ０において欠損画像Ｐ１が１つのときについて説明したが、撮像画像Ｐ０に欠損画像Ｐ１が複数存在するときには、各欠損画像Ｐ１に対して個別に適用するようにすれば良い。
即ち、図１に示す前処理手段３の欠損領域検出部６において検出された複数の欠損画像Ｐ１に対して、欠損画像サイズ判定部７で閾値α以上の欠損画像Ｐ１に対しては、それぞれ、図４に示すフローチャートに従って補間処理を行い、閾値α以下の欠損画像Ｐ１に対しては、画像補間部１０にジャンプしてＴＶインペインティング法により欠損画素Ｅの補間をすれば良い。
このように補間処理することにより、欠損画像Ｐ１全体に対して一度にＴＶインペインティング法を適用しないので、撮像画像Ｐ０における複数の欠損画像Ｐ１を短時間で補間処理できるようになる。
【００３０】
上記構成の画像処理装置１は、画像処理により外観の検査を行う検査装置、例えば、タイヤ表面の検査装置に組み込むことができる。
図７は、タイヤ表面の検査装置２０に本発明の画像処理装置１を組み込んだ場合のブロック図を示す。同図において、検査装置２０は、タイヤ表面を撮像する撮像手段２１と、検査判定手段２２と、本発明にかかる画像処理装置１と画像表示装置１３とモニタ１４とを備える。なお、検査装置において画像処理装置１と画像表示装置１３とモニタ１４については上記実施形態と同一構成のため説明は省略する。
撮像手段２１は、例えば、タイヤ表面にスリット光を照射する投光器と、タイヤ表面のスリット光を撮像するエリアカメラ等によって構成され、タイヤ表面に対してスリット光を相対的に移動させて撮像することで、検査するタイヤ表面の検査画像が取得される。この検査画像は、画像処理装置１の前処理手段３の画像入力部５に入力され、欠損領域検出部６で検査画像に輝度落ちした欠損領域が検出されたときには、この欠損領域を欠損画像Ｐ１として欠損画像サイズ判定部７に出力する。なお、欠損画像Ｐ１が検出されないときには、検査画像は後述の検査判定手段２２に直接出力される。
欠損画像サイズ判定部７において閾値α以上の画素数により構成される欠損画像Ｐ１は、縮小画像生成部８に出力され、欠損画像Ｐ１の間引きが行われ、縮小画像Ｐ２が生成される。この縮小画像Ｐ２は、縮小画像サイズ判定部９に出力され、閾値β以下の画素数であるかの判定がなされ、縮小画像Ｐ２を構成する画素数が、閾値β以上のときは縮小画像生成部８で縮小画像Ｐ２を縮小し、閾値β以下となるまで、縮小画像Ｐ＊の生成と縮小画像サイズ判定が繰り返される。閾値β以下の画素数となった縮小画像Ｐminは、画像補間部１０に出力され、ＴＶインペインティング法により欠損画素Ｅに輝度が補間される。輝度が補間された縮小画像Ｐminを構成する画素は、縮小画像Ｐminよりも一つ大きな、つまり間引きされる前の縮小画像Ｐmin-1の元の画素の位置に輝度が置換される。輝度が置換された縮小画像Ｐmin-1は、補間されていない欠損画素ＥのみＴＶインペインティング法により補間される。この輝度の補間，置換の工程を縮小画像Ｐ２が得られるまで実施したのち、縮小画像Ｐ２の画素の輝度を欠損画像Ｐ１に置換し、欠損画像Ｐ１をＴＶインペインティング法により補間することで検査画像の欠損領域が補間される。
補間された検査画像は、検査判定手段２２に出力され、検査判定手段２２の検査判定部でタイヤ表面の良否が検出される。例えば、補間された検査画像Ｐ０′において凹部や凸部からなるキズを構成する画素の輝度が所定の閾値の範囲外のときに成型不良有りと判定され、閾値の範囲内のときには成型不良無しとしてタイヤ表面の検査の良否が判定される。
検査判定手段２２による検査結果は、画像表示装置１３に出力され、その結果とともに検査画像Ｐ０′がモニタ１４に表示される。
このように構成することで、本発明のタイヤ表面の検査装置２０によれば、検査装置の物理的な構成を増やすことなく、タイヤ表面の検査をほぼ自動で行うことができるようになり、撮像した検査画像の輝度落ちした欠損画像Ｐ１の画素を間引いて欠損画像Ｐ１を多段に渡り縮小し、少ない画素数で欠損画素ＥをＴＶインペインティング法により補間することで、検査にかかる処理時間を短縮し、検査効率を向上させることができる。
なお、上記実施形態において、本発明の補間方法をタイヤ表面の検査装置に組み込んだ一例を示したがこれに限らず、画像を用いて検査する検査装置であれば本発明の補間方法を組み込むことで飛躍的に画像の補間処理速度を向上させることができるので、検査効率を向上させることができる。
【００３１】
上記実施形態の説明において、縮小画像生成部８において幅方向Ｗ，高さ方向Ｈに一つ置きに間引いて欠損画像Ｐ１を縮小するとして説明したが、間引き方法についてはこれに限らず、図８に示すように、チェッカーボード状に間引いても良い。
また、欠損画像を構成する画素の輝度が閾値よりも大きな画素を間引くようにしても良い。このように構成することで、補間される欠損画像が平均化されるので、インペインティング法で画素の輝度を補間するときに要する時間を短縮することができる。
【符号の説明】
【００３２】
１ 画像処理装置、２ カメラ、３ 前処理手段、４ 補間処理手段、
６ 欠損画像検出部、７ 欠損画像サイズ判定部、８ 縮小画像生成部、
９ 縮小画像サイズ判定部、１０ 画像補間部、１１ 画像レベル判定部、
１２ 画像更新部、Ｅ 欠損画素、Ｆ 正常画素、
Ｐ０ 撮像画像、Ｐ１ 欠損画像、Ｐ＊ 縮小画像、α；β 閾値。
【特許請求の範囲】
【請求項１】
撮像画像に含まれる欠損画像をインペインティング処理して補間する欠損画像の補間方法であって、
前記撮像画像から欠損画像を検出する欠損画像検出ステップと、
前記欠損画像を構成する画素が閾値以下の画素数となるまで前記画素を間引きして縮小画像を生成する縮小画像生成ステップと、
前記縮小画像をインペインティング処理して前記縮小画像の画素の輝度を補間する画像補間ステップと、
前記画像補間ステップにより補間された前記縮小画像の画素の輝度を一つ前の大きさの画像に置換する画像更新ステップとを含むことを特徴とする欠損画像の補間方法。
【請求項２】
前記縮小画像生成ステップにより生成される縮小画像が元の欠損画像の大きさとなるまで前記画像補間ステップ及び前記画像更新ステップを繰り返すことを特徴とする請求項１に記載の欠損画像の補間方法。
【請求項３】
前記縮小画像生成ステップは、前記欠損画像を構成する画素を一つ置きに間引くことを特徴とする請求項１又は請求項２に記載の欠損画像の補間方法。
【請求項４】
前記縮小画像生成ステップは、前記欠損画像をチェッカーボード状に間引くことを特徴とする請求項１又は請求項２に記載の欠損画像の補間方法。
【請求項５】
前記縮小画像生成ステップは、前記欠損画像を構成する画素のうち、輝度が閾値よりも大きな画素を間引くことを特徴とする請求項１乃至請求項４いずれかに記載の欠損画像の補間方法。
【請求項６】
タイヤ表面を撮像して得られた検査画像を画像処理してタイヤ表面のキズの有無を判定するタイヤ表面の検査方法であって、
前記検査画像に含まれる欠損画像を検出する欠損画像検出ステップと、
前記欠損画像を構成する画素が閾値以下の画素数となるまで前記画素を間引きして縮小画像を生成する縮小画像生成ステップと、
前記縮小画像をインペインティング処理して前記縮小画像の画素の輝度を補間する画像補間ステップと、
前記画像補間ステップにより補間された前記縮小画像の画素の輝度を一つ前の大きさの画像に置換する画像更新ステップとを含み、
前記縮小画像生成ステップにより生成される縮小画像が元の欠損画像の大きさとなるまで前記画像補間ステップ及び前記画像更新ステップを繰り返し行い、元の欠損画像の大きさまで戻された前記検査画像を構成する画素の輝度に基づいてタイヤ表面を検査することを特徴とするタイヤ表面の検査方法。
【請求項１】
撮像画像に含まれる欠損画像をインペインティング処理して補間する欠損画像の補間方法であって、
前記撮像画像から欠損画像を検出する欠損画像検出ステップと、
前記欠損画像を構成する画素が閾値以下の画素数となるまで前記画素を間引きして縮小画像を生成する縮小画像生成ステップと、
前記縮小画像をインペインティング処理して前記縮小画像の画素の輝度を補間する画像補間ステップと、
前記画像補間ステップにより補間された前記縮小画像の画素の輝度を一つ前の大きさの画像に置換する画像更新ステップとを含むことを特徴とする欠損画像の補間方法。
【請求項２】
前記縮小画像生成ステップにより生成される縮小画像が元の欠損画像の大きさとなるまで前記画像補間ステップ及び前記画像更新ステップを繰り返すことを特徴とする請求項１に記載の欠損画像の補間方法。
【請求項３】
前記縮小画像生成ステップは、前記欠損画像を構成する画素を一つ置きに間引くことを特徴とする請求項１又は請求項２に記載の欠損画像の補間方法。
【請求項４】
前記縮小画像生成ステップは、前記欠損画像をチェッカーボード状に間引くことを特徴とする請求項１又は請求項２に記載の欠損画像の補間方法。
【請求項５】
前記縮小画像生成ステップは、前記欠損画像を構成する画素のうち、輝度が閾値よりも大きな画素を間引くことを特徴とする請求項１乃至請求項４いずれかに記載の欠損画像の補間方法。
【請求項６】
タイヤ表面を撮像して得られた検査画像を画像処理してタイヤ表面のキズの有無を判定するタイヤ表面の検査方法であって、
前記検査画像に含まれる欠損画像を検出する欠損画像検出ステップと、
前記欠損画像を構成する画素が閾値以下の画素数となるまで前記画素を間引きして縮小画像を生成する縮小画像生成ステップと、
前記縮小画像をインペインティング処理して前記縮小画像の画素の輝度を補間する画像補間ステップと、
前記画像補間ステップにより補間された前記縮小画像の画素の輝度を一つ前の大きさの画像に置換する画像更新ステップとを含み、
前記縮小画像生成ステップにより生成される縮小画像が元の欠損画像の大きさとなるまで前記画像補間ステップ及び前記画像更新ステップを繰り返し行い、元の欠損画像の大きさまで戻された前記検査画像を構成する画素の輝度に基づいてタイヤ表面を検査することを特徴とするタイヤ表面の検査方法。
【図１】
【図２】
【図３】
【図４】
【図６】
【図７】
【図８】
【図５】
【図２】
【図３】
【図４】
【図６】
【図７】
【図８】
【図５】
【公開番号】特開２０１１−８１５７６（Ｐ２０１１−８１５７６Ａ）
【公開日】平成２３年４月２１日（２０１１．４．２１）
【国際特許分類】
【出願番号】特願２００９−２３２９００（Ｐ２００９−２３２９００）
【出願日】平成２１年１０月６日（２００９．１０．６）
【出願人】（０００００５２７８）株式会社ブリヂストン (11,469)
【Ｆターム（参考）】
【公開日】平成２３年４月２１日（２０１１．４．２１）
【国際特許分類】
【出願日】平成２１年１０月６日（２００９．１０．６）
【出願人】（０００００５２７８）株式会社ブリヂストン (11,469)
【Ｆターム（参考）】
[ Back to top ]