画像認識処理方法、画像認識処理装置及びボタン画像認識処理装置
【課題】撮像対象物の形状によらず撮像対象物を判別可能とする画像認識処理方法を提供する。
【解決手段】規則的な模様（背景２ａ）が施された平面を有する背景部材２と、背景２ａの範囲内にあるボタンＢを背景２ａごと撮像するカメラ３とを用いてカメラ３によって撮像された画像からボタンＢを認識する画像認識処理方法において、撮像画像において背景２ａの規則的な模様を有しない範囲をボタンＢとして判別する。
【解決手段】規則的な模様（背景２ａ）が施された平面を有する背景部材２と、背景２ａの範囲内にあるボタンＢを背景２ａごと撮像するカメラ３とを用いてカメラ３によって撮像された画像からボタンＢを認識する画像認識処理方法において、撮像画像において背景２ａの規則的な模様を有しない範囲をボタンＢとして判別する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラで撮像対象物を撮像して当該撮像対象物を認識する画像認識処理方法、画像認識処理装置及びボタン画像認識処理装置に関する。
【背景技術】
【０００２】
ボタン付けミシンにより穴付きボタンを布等の被縫製物に縫い付ける場合、針がボタンの穴部を貫通して縫いつけるため、ボタンの位置、とりわけボタンの穴部の位置を被縫製物に対して正確に配置する必要がある。このため、ボタンの穴部の位置及び穴部同士の間隔に対応したピンを有する搬送部材を設け、ボタンの穴部をこのピンに差し込んだ状態でミシン縫合部に搬送することでボタンの穴部の位置を位置決めする方法が行われていた。
しかし、この方法によると、ボタンの表面に文字等の模様を配したボタンを模様が布地に対して所定の方向を向くように供給する場合に、模様の形成方向や位置が判別できないためボタンが所望の方向を向くように供給できないといった問題がある。
【０００３】
このため、表面に模様を配したボタンをカメラ等で撮像し、撮像画像からボタンの向きを判別してボタンの位置を補正させる方法が行われるようになった（例えば特許文献１）。
また、撮像対象物を明確に抽出するための技術として、背景を縞模様とするとともに、縞模様を形成する二色のうち少なくとも一色を撮像対象物と大きく異なる色とすることにより好適に撮像対象物を撮像する方法が知られている（例えば特許文献２）。
【特許文献１】特公平２−２３１９７号公報
【特許文献２】特開平９−５４８９２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載された方法、すなわち撮像画像によるボタンの向きの判別では、ボタンの撮像時にボタンとボタンが置かれた土台部の上面の色とが酷似していると、画像処理におけるボタンと土台部との判別がつきにくく、好適にボタンが検出できないといった問題がある。
また、ボタンの向きの判別はできてもボタンの穴部の位置を正しく検出することはできないといった問題点があった。このため、ボタンの位置決めが正確にできないとともに、ボタンの穴部の形成に不良があった場合に検出できないといった問題点があった。
さらに、模様を有しない一般的なボタンを利用することができず、汎用性に乏しいものとなった。
また、特許文献２の技術を利用したとしても、透過性を有するボタンの場合、背景とボタンとの濃度の急変部分が生じず、ボタンの外周の形状が確実に抽出できないといった問題点があった。
【０００５】
本発明は、上述の問題点に鑑み、撮像対象物の形状によらず撮像対象物を判別可能な画像認識処理方法、画像認識処理装置及びミシンのボタン画像認識処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
請求項１記載の発明は、既知の規則的な模様が付された平面を有し、当該平面が背景とされる背景部材と、前記模様が付された平面の範囲内にある撮像対象物を前記背景ごと撮像するカメラと、を用いて前記カメラによって撮像された画像から前記撮像対象物を認識する画像認識処理方法において、前記撮像画像において前記背景の規則的な模様を有しない範囲を前記撮像対象物として判別する判別工程を含むことを特徴とする。
【０００７】
請求項２記載の発明は、請求項１に記載の画像認識処理方法において、前記カメラは、前記背景にピントを合わせて前記撮像画像を撮像することを特徴とする。
【０００８】
請求項３記載の発明は、請求項１又は２に記載の画像認識処理方法において、前記撮像対象物として判別された画像の範囲から前記撮像画像の前記撮像対象物があらかじめ設定された前記撮像対象物の特徴を有するかどうかを判別する特徴判別工程を含むことを特徴とする。
請求項３における「撮像対象物の特徴」とは、撮像対象物の色、撮像対象物に施された文字や模様等の装飾、撮像対象物の立体形状による撮像時の画像の濃淡パターン等である。
【０００９】
請求項４記載の発明は、請求項３に記載の画像認識処理方法において、前記特徴判別工程では、前回以前の撮像対象物の撮像画像から取得された前記撮像対象物の特徴となる画像を利用することを特徴とする。
【００１０】
請求項５記載の発明は、既知の規則的な模様が付された平面を有し、当該平面が背景とされる背景部材と、前記模様が付された平面の範囲内にある撮像対象物を前記背景ごと撮像するカメラとを備え、前記カメラによって撮像された画像から前記撮像対象物を認識する画像認識処理装置において、前記撮像画像において前記背景の規則的な模様を有しない範囲を前記撮像対象物として判別する判別手段を備えることを特徴とする。
【００１１】
請求項６記載の発明は、請求項５に記載の画像認識処理装置において、前記カメラは、前記背景にピントを合わせて前記撮像画像を撮像することを特徴とする。
【００１２】
請求項７記載の発明は、請求項５又は６に記載の画像認識処理装置において、前記撮像対象物として判別された画像の範囲から前記撮像画像の前記撮像対象物があらかじめ設定された前記撮像対象物の特徴を有するかどうかを判別する特徴判別手段を備えることを特徴とする。
請求項７における「撮像対象物の特徴」とは、撮像対象物の色、撮像対象物に施された文字や模様等の装飾、撮像対象物の立体形状による撮像時の画像の濃淡パターン等である。
【００１３】
請求項８記載の発明は、請求項７に記載の画像認識処理装置において、前回以前の撮像対象物の撮像画像から前記撮像対象物の特徴となる画像を取得する特徴取得手段を備えることを特徴とする。
【００１４】
請求項９記載の発明は、既知の規則的な模様が付された平面を有し、当該平面が背景とされる背景部材と、前記模様が付された平面の範囲内にある衣類のボタンを前記背景ごと撮像するカメラとを備え、前記カメラによって撮像された画像から前記ボタンを認識するボタン画像認識処理装置において、前記撮像画像において前記背景の規則的な模様を有しない範囲を前記ボタンとして判別する判別手段を備えることを特徴とする。
【００１５】
請求項１０記載の発明は、請求項９に記載のボタン画像認識処理装置において、前記カメラは、前記背景にピントを合わせて前記撮像画像を撮像することを特徴とする。
【００１６】
請求項１１記載の発明は、請求項９又は１０に記載のボタン画像認識処理装置において、前記ボタンとして判別された画像の範囲からあらかじめ設定された前記ボタンの特徴を有するかどうかを判別する特徴判別手段を備えることを特徴とする。
請求項１１における「ボタンの特徴」とは、ボタンの色、ボタンに施された文字や模様等の装飾、ボタンの立体形状による撮像時の画像の濃淡パターン等である。
【００１７】
請求項１２記載の発明は、請求項１１に記載のボタン画像認識処理装置において、前回以前のボタンの撮像画像から前記ボタンの特徴となる画像を取得する特徴取得手段を備えることを特徴とする。
【００１８】
請求項１３記載の発明は、請求項１１又は１２に記載のボタン画像認識処理装置において、前記特徴判別手段は、あらかじめ設定された少なくとも前記ボタンの表あるいは裏のいずれか一方を撮像した場合の画像の濃淡パターンデータから、前記ボタンの表裏を判別することを特徴とする。
【発明の効果】
【００１９】
請求項１記載の発明によれば、判別工程において背景の規則的な模様を有しない範囲を撮像対象物として判別する。つまり、撮像画像から背景の規則的な模様を有する範囲を除外した部分を撮像対象物として判別する。このとき、撮像対象物の形状、色、模様その他の特徴が背景の規則的な模様と混同を生じる恐れがある場合は、背景の模様の規則性を変更することで対応が可能となる。例えば撮像対象物が縞模様である場合は、縞の形成方向が異なる縞模様や、縞の形成間隔や各縞模様の幅が異なる縞模様、或いは市松模様とする等が考えられる。よって、撮像対象物の形状、色、模様その他の特徴に関らず背景の規則的な模様を有するか否かのみで撮像対象物を判別することが可能となる。よって、より好適に撮像対象物を判別できる。
従来は、背景の縞に沿って濃度変化を観察し、濃度変化を大きく生じた箇所を背景と撮像対象物との境界と認識すると共に、二色の縞のそれぞれについて濃度変化を見るので、撮像対象物が縞のいずれか一方の色彩に濃度が近い場合でも他方の色彩により境界を検出することが可能である。しかしながら、表面の色彩の濃度に変化を生じている場合や表面に凹凸や穴がある場合や透明素材などのように、表面の途中部分で濃度変化を生じているような撮像対象物の場合には、縞の色彩の濃度に近似する箇所ではそれが背景なのか撮像対象物の一部なのかを識別することができない。しかしながら、本願発明では、規則的な背景のパターンに従っているかにより識別を行うので、例え、撮像画像に背景と濃度が近い部分が存在したとしても、その前後の部分を含めて背景のパターンと一致しない限り誤認を生じない。
例えば、撮像対象物の内側に穴部等の背景が覗く貫通部が設けられている場合、当該貫通部の内側は背景の規則的な模様が覗くことにより背景として判別され、撮像対象物とはみなされなくなる。つまり、撮像対象物の内側に貫通部が設けられている場合に、当該貫通部が正しく判別される。よって、従来技術のように撮像対象物の内側に設けられた穴部（例えばボタンの穴部等）を抽出できないといった問題点を解消でき、より好適に撮像対象物の形状を判別することが可能となる。よって、より一層好適に撮像対象物を判別できる。
さらに、撮像対象物が透過性を有する場合であっても、背景が撮像対象物を透過することで屈折を生じる場合であれば、屈折を生じた部分は背景の規則性を失うので背景として判別されることがなく、撮像対象物と判別される。よって、透過性を有する撮像対象物の場合、背景と撮像対象物との濃度の急変部分が生じず、撮像対象物の外周の形状が抽出できないことがあるといった従来技術の問題点を解消できる。よって、より一層好適に撮像対象物を判別できる。
【００２０】
請求項２記載の発明によれば、カメラのピントを背景に合わせるので、撮像対象物の厚さや高さに関らず背景を常に好適に撮像可能となる。よって、より好適に背景の規則的な模様を判別可能となり、背景と撮像対象物との誤認の可能性を大幅に低減することが可能となる。よって、より一層好適に撮像対象物を判別できる。
【００２１】
請求項３記載の発明によれば、特徴判別工程において、撮像対象物として判別された画像の範囲から当該画像の撮像対象物があらかじめ設定された撮像対象物の特徴を有するかどうかを判別する。つまり、まず画像に対して背景の規則的な模様を有する範囲を除外する処理を行って撮像対象物の範囲を判別した後に、当該撮像対象物の範囲についてあらかじめ設定された撮像対象物の特徴を有するかどうかを判別する。これによって、あらかじめ設定された撮像対象物の特徴を有する範囲を画像全体から探す場合に比べ、特徴の有無の判別範囲を画像から背景が除外された撮像対象物の範囲に限定することができる。よって、特徴の有無の判別処理負荷を軽減し、処理時間を短縮することができる。
また、撮像対象物の色、撮像対象物に施された文字や模様等の装飾、撮像対象物の立体形状による撮像時の画像の濃淡パターン等といった撮像対象物の特徴について、撮像画像の撮像対象物があらかじめ設定された当該特徴を有するかどうかを判別する。よって、色違いの撮像対象物、装飾内容の異なる撮像対象物、文字や模様等の向きが異なる撮像対象物及び立体形状の特徴が異なる撮像対象物等の判別を行うことが可能となる。よって、従来技術において、撮像対象物に施された文字や模様等の装飾の向きを判別できないといった問題点を解消でき、撮像対象物の特徴をより詳細に判別できる。
【００２２】
請求項４記載の発明によれば、特徴判別工程では、前回以前の撮像対象物の撮像画像から取得された前記撮像対象物の特徴となる画像を利用する。従って、撮像対象物の特徴を設定するための専用の情報やデータ等を別途設ける必要がなくなる。よって、撮像対象物の特徴の設定の手間を大幅に軽減することが可能となる。
【００２３】
請求項５記載の発明によれば、判別手段が背景の規則的な模様を有しない範囲を撮像対象物として判別する。つまり、撮像画像から背景の規則的な模様を有する範囲を除外した部分を撮像対象物として判別する。このとき、撮像対象物の形状、色、模様その他の特徴が背景の規則的な模様と混同を生じる恐れがある場合は、背景の模様の規則性を変更することで対応が可能となる。例えば撮像対象物が縞模様である場合は、縞の形成方向が異なる縞模様や、縞の形成間隔や各縞模様の幅が異なる縞模様、或いは市松模様とする等が考えられる。よって、撮像対象物の形状、色、模様その他の特徴に関らず背景の規則的な模様を有するか否かのみで撮像対象物を判別することが可能となる。よって、より好適に撮像対象物を判別可能な画像認識処理装置を提供できる。
従来は、背景の縞に沿って濃度変化を観察し、濃度変化を大きく生じた箇所を背景と撮像対象物との境界と認識すると共に、二色の縞のそれぞれについて濃度変化を見るので、撮像対象物が縞のいずれか一方の色彩に濃度が近い場合でも他方の色彩により境界を検出することが可能である。しかしながら、表面の色彩の濃度に変化を生じている場合や表面に凹凸や穴がある場合や透明素材などのように、表面の途中部分で濃度変化を生じているような撮像対象物の場合には、縞の色彩の濃度に近似する箇所ではそれが背景なのか撮像対象物の一部なのかを識別することができない。しかしながら、本願発明では、規則的な背景のパターンに従っているかにより識別を行うので、例え、撮像画像に背景と濃度が近い部分が存在したとしても、その前後の部分を含めて背景のパターンと一致しない限り誤認を生じない。
例えば、撮像対象物の内側に穴部等の背景が覗く貫通部が設けられている場合、当該貫通部の内側は背景の規則的な模様が覗くことにより背景として判別され、撮像対象物とはみなされなくなる。つまり、撮像対象物の内側に貫通部が設けられている場合に、当該貫通部が正しく判別される。よって、従来技術のように撮像対象物の内側に設けられた穴部（例えばボタンの穴部等）を抽出できないといった問題点を解消でき、より好適に撮像対象物の形状を判別することが可能となる。よって、より一層好適に撮像対象物を判別可能な画像認識処理装置を提供できる。
さらに、撮像対象物が透過性を有する場合であっても、背景が撮像対象物を透過することで屈折を生じる場合であれば、屈折を生じた部分は背景の規則性を失うので背景として判別されることがなく、撮像対象物と判別される。よって、透過性を有する撮像対象物の場合、背景と撮像対象物との濃度の急変部分が生じず、撮像対象物の外周の形状が抽出できないことがあるといった従来技術の問題点を解消できる。よって、より一層好適に撮像対象物を判別可能な画像認識処理装置を提供できる。
【００２４】
請求項６記載の発明によれば、カメラのピントを背景に合わせるので、撮像対象物の厚さや高さに関らず背景を常に好適に撮像可能となる。よって、より好適に背景の規則的な模様を判別可能となり、背景と撮像対象物との誤認の可能性を大幅に低減することが可能となる。よって、より一層好適に撮像対象物を判別可能な画像認識処理装置を提供できる。
【００２５】
請求項７記載の発明によれば、特徴判別手段が撮像対象物として判別された画像の範囲から当該画像の撮像対象物があらかじめ設定された撮像対象物の特徴を有するかどうかを判別する。つまり、まず画像に対して背景の規則的な模様を有する範囲を除外する処理を行って撮像対象物の範囲を判別した後に、当該撮像対象物の範囲についてあらかじめ設定された撮像対象物の特徴を有するかどうかを判別する。これによって、あらかじめ設定された撮像対象物の特徴を有する範囲を画像全体から探す場合に比べ、特徴の有無の判別範囲を画像から背景が除外された撮像対象物の範囲に限定することができる。よって、特徴の有無の判別処理負荷を軽減し、処理時間を短縮することができる。
また、撮像対象物の色、撮像対象物に施された文字や模様等の装飾、撮像対象物の立体形状による撮像時の画像の濃淡パターン等といった撮像対象物の特徴について、撮像画像の撮像対象物があらかじめ設定された当該特徴を有するかどうかを判別する。よって、色違いの撮像対象物、装飾内容の異なる撮像対象物、文字や模様等の向きが異なる撮像対象物及び立体形状の特徴が異なる撮像対象物等の判別を行うことが可能となる。よって、従来技術において、撮像対象物に施された文字や模様等の装飾の向きを判別できないといった問題点を解消でき、撮像対象物の特徴をより詳細に判別可能な画像認識処理装置を提供できる。
【００２６】
請求項８記載の発明によれば、特徴判別手段が、前回以前の撮像対象物の撮像画像から取得された前記撮像対象物の特徴となる画像を利用する。従って、撮像対象物の特徴を設定するための専用の情報やデータ等を別途設ける必要がなくなる。よって、撮像対象物の特徴の設定の手間を大幅に軽減することが可能となる。
【００２７】
請求項９記載の発明によれば、判別手段が背景の規則的な模様を有しない範囲をボタンとして判別する。つまり、撮像画像から背景の規則的な模様を有する範囲を除外した部分をボタンとして判別する。このとき、ボタンの形状、色、模様その他の特徴が背景の規則的な模様と混同を生じる恐れがある場合は、背景の模様の規則性を変更することで対応が可能となる。例えばボタンが縞模様である場合は、縞の形成方向が異なる縞模様や、縞の形成間隔や各縞模様の幅が異なる縞模様、或いは市松模様とする等が考えられる。よって、ボタンの形状、色、模様その他の特徴に関らず背景の規則的な模様を有するか否かのみでボタンを判別することが可能となる。よって、より好適にボタンを判別可能な画像認識処理装置を提供できる。
従来は、背景の縞に沿って濃度変化を観察し、濃度変化を大きく生じた箇所を背景とボタンとの境界と認識すると共に、二色の縞のそれぞれについて濃度変化を見るので、ボタンが縞のいずれか一方の色彩に濃度が近い場合でも他方の色彩により境界を検出することが可能である。しかしながら、表面の色彩の濃度に変化を生じている場合や表面に凹凸や穴がある場合や透明素材などのように、表面の途中部分で濃度変化を生じているような撮像対象物の場合には、縞の色彩の濃度に近似する箇所ではそれが背景なのかボタンの一部なのかを識別することができない。しかしながら、本願発明では、規則的な背景のパターンに従っているかにより識別を行うので、例え、撮像画像に背景と濃度が近い部分が存在したとしても、その前後の部分を含めて背景のパターンと一致しない限り誤認を生じない。
例えば、上述の特徴によりボタンの内側に設けられた穴部が正しく判別される。よって、ボタンの内側に設けられた穴部を抽出できないといった従来技術の問題点を解消でき、より好適にボタンの穴部の形状や位置や穴部同士の間隔を判別することが可能となる。よって、好適にボタンの向きを判別可能なボタン画像認識処理装置を提供できる。
さらに、ボタンが透過性を有する場合であっても、背景がボタンを透過することで屈折を生じる場合であれば、屈折を生じた部分は背景の規則性を失うので背景として判別されることがなく、ボタンと判別される。よって、透過性を有するボタンの場合、背景とボタンとの濃度の急変部分が生じず、ボタンの外周の形状が抽出できないことがあるといった従来技術の問題点を解消できる。よって、より一層好適にボタンを判別可能なボタン画像認識処理装置を提供できる。
【００２８】
請求項１０記載の発明によれば、カメラのピントを背景に合わせるので、ボタンの厚さに関らず背景を常に好適に撮像可能となる。よって、より好適に背景の規則的な模様を判別可能となり、背景とボタンとの誤認の可能性を大幅に低減することが可能となる。よって、より一層好適にボタンを判別可能な画像認識処理装置を提供できる。
【００２９】
請求項１１記載の発明によれば、特徴判別手段がボタンとして判別された画像の範囲から当該画像のボタンがあらかじめ設定されたボタンの特徴を有するかどうかを判別する。つまり、まず画像に対して背景の規則的な模様を有する範囲を除外する処理を行ってボタンの範囲を判別した後に、当該ボタンの範囲についてあらかじめ設定されたボタンの特徴を有するかどうかを判別する。これによって、あらかじめ設定されたボタンの特徴を有する範囲を画像全体から探す場合に比べ、特徴の有無の判別範囲を画像から背景が除外されたボタンの範囲に限定することができる。よって、特徴の有無の判別処理負荷を軽減し、処理時間を短縮することができる。
また、ボタンの色、ボタンに施された文字や模様等の装飾、ボタンの立体形状による撮像時の画像の濃淡パターン等といったボタンの特徴について、撮像画像のボタンがあらかじめ設定された当該特徴を有するかどうかを判別する。よって、色違いのボタン、装飾内容の異なるボタン、文字や模様等の向きが異なるボタン及び立体形状の特徴が異なるボタン等の判別を行うことが可能となる。よって、従来技術において、ボタンに施された文字や模様等の装飾の向きを判別できないといった問題点を解消でき、ボタンの特徴をより詳細に判別可能なミシンのボタン画像認識処理装置を提供できる。
【００３０】
請求項１２記載の発明によれば、特徴判別手段が前回以前のボタンの撮像画像から取得された前記ボタンの特徴となる画像を利用する。従って、ボタンの特徴を設定するための専用の情報やデータ等を別途設ける必要がなくなる。よって、ボタンの特徴の設定の手間を大幅に軽減することが可能となる。
【００３１】
請求項１３記載の発明によれば、特徴取得手段があらかじめ設定された少なくとも前記ボタンの表あるいは裏のいずれか一方を撮像した場合の画像の濃淡パターンデータから、前記ボタンの表裏を判別する。この場合、ボタンの表を撮像した場合の画像の濃淡パターンデータと、ボタンの裏を撮像した場合の画像の濃淡パターンデータとは異なるものであり、特徴判別手段はボタンの表と裏の画像の濃淡パターンデータの違いによりボタンの表裏を判別する。例えばあらかじめ設定された画像の濃淡パターンデータがボタンの表を撮像した場合の画像の濃淡パターンデータの場合は、特徴判別手段は当該濃淡パターンデータと撮像画像のボタンの濃淡パターンデータとが一致すればボタンは表であると判別し、異なれば裏であると判別する。これによって、ボタンが本来意図した置き方に対して裏返しになっていないかどうかを判別することが可能となる。よって、例えば縫い付け前に特徴判別手段によるボタンの表裏判定を行うことで、誤ってボタンを裏返した状態で縫い付けてしまうといった事態をなくすことができ、縫い品質が大幅に向上する。
【発明を実施するための最良の形態】
【００３２】
（本発明による画像認識処理方法を用いるボタン画像認識処理装置の概要）
以下、図を参照して本発明の実施の形態を詳細に説明する。
本発明による画像認識処理方法及び画像認識処理装置は、カメラで撮像対象物を背景ごと撮像して当該撮像対象物を認識する画像認識処理方法及びボタン画像認識処理装置である。また、本発明によるボタン画像認識処理装置１は、カメラでボタンを背景ごと撮像してボタンの大きさ、位置、表裏、色及び向きといった各種の特徴を認識するボタン画像認識処理装置である。ボタン画像認識処理装置１は、例えばボタン付けミシンにおいて被縫製物の上方でボタンを保持するボタン把持具（図示略）にボタンを供給する周知のボタン供給装置において、ボタン把持具に供給されるボタンの大きさ、位置、表裏、色及び向きといった各種の特徴をボタンの供給前に認識する処理に用いられる。ボタン画像認識処理装置１はあらかじめ設定されたボタンの特徴がある場合、上述の各種特徴のうちいずれかがあらかじめ設定されたボタンの特徴と異なるボタンを認識した場合にエラーを出力する。これによって、縫製作業に用いるボタンの特徴についてあらかじめ設定をしていれば、あらかじめ設定された特徴にそぐわないボタンが誤って供給されることがなくなり、またボタンの向きが誤って供給されることを防止する。よって、ボタンの縫い付け品質が向上する。特に、ボタン自体正常であるが、ボタンの位置、向き、表裏といったボタンのセットの問題がある場合に、認識した結果をボタン供給装置の位置補正機構などに出力することにより、ミシンの正しい位置にボタンを供給することができる。
【００３３】
（ミシンのボタン画像認識処理装置の全体構成）
以下に記載するボタン画像認識処理装置１（図１参照）は、本発明によるミシンのボタン画像認識処理装置の一形態であり、ボタンＢを背景２ａごと撮像した画像からボタンＢを判別する画像認識処理装置である。
図１はボタン画像認識処理装置１の構成を示すブロック図である。
ボタン画像認識処理装置１は、既知の規則的な模様が付された平面を有し、当該平面が背景２ａとされる背景部材２と、背景２ａが付された平面の範囲内にある撮像対象物（ボタンＢ）を背景２ａごと撮像するカメラ３と、ボタンＢを光で照らす照明４と、ボタン画像認識処理装置１の各種情報を表示するモニタ５と、ボタン画像認識処理装置１の各部を制御するとともにカメラ３が撮像した画像からボタンＢの認識処理を行う画像処理装置１０と、を備えている。
【００３４】
図２はボタンＢと背景部材２の背景２ａとの関係の一例を示す上面図である。なお、図２（ａ）は整形不良がなく、かつ、所定の大きさのボタンＢが正しい向きで背景２ａのほぼ中央に置かれた場合、図２（ｂ）はボタンがない場合、図２（ｃ）は所定の大きさよりも大きいボタンＢＡが置かれた場合、図２（ｄ）はボタンＢの位置が背景２ａの中央からずれて置かれた場合、図２（ｅ）はボタンＢの一部が欠けているボタンＢＢが置かれた場合、図２（ｆ）は所定の大きさよりも小さいボタンＢＣが置かれた場合、図２（ｇ）はボタンＢの複数の穴部Ｂａの位置関係が図２（ａ）に示す当該位置関係に対して傾いている場合、図２（ｈ）は穴部の一部が誤った位置に形成されたボタンＢＤが置かれた場合、図２（ｉ）は穴部の一部が形成されていないボタンＢＥが置かれた場合の説明図である。
図１及び図２に示すように、背景部材２は、既知の規則的な模様が付された平面を有し、当該平面が背景２ａとされる。当該縞模様は等幅の白黒の縞模様であり、カメラ３に撮像された場合それぞれの縞が一定の幅（画素にして５画素分）の幅となるよう設けられている。また、図２に示すように、背景２ａの上面にボタンＢを乗せた状態で背景２ａ及びボタンＢを上方から見た場合、ボタンＢに覆われないボタンＢの外周より外側と穴部Ｂａ部分から背景２ａが覗いて見える。このとき、背景２ａはボタンＢを上から見た場合の範囲を十分にカバーでき、かつ、ボタンＢを背景２ａの中央においた場合にボタンＢの周囲に背景２ａが所定の幅以上覗いて見える広さを有するよう設けられている。
【００３５】
カメラ３は、背景２ａの上方に位置するよう設けられて、ボタンＢを背景２ａごと撮像する。このとき、カメラ３のピントを背景２ａに合わせて撮像する。カメラ３によって撮像された画像は画像処理装置１０へ入力される。
なお、カメラ３による画像は白黒であってもカラーであってもよいが、本実施の形態では白黒の画像を用いている。また、カメラ３から画像処理装置１０へ入力される画像はアナログの画像である。
【００３６】
照明４は、背景２ａ及びボタンＢに光を照射する。照明４は光量を調節可能であり、カメラ３によるボタンＢの撮像の際にカメラ３が受像する光量を適正に調節することができる。撮像の際には、方向、光量などが予め定められた一定の条件となるように照射が行われる。
モニタ５は、画像処理装置１０から各種の情報が出力されて表示される。モニタ５に表示される内容については後述する。但し、周囲の外光による反射光によりカメラ３により撮像画像が背景２とボタンＢとを認識可能であれば、必ずしも照明を画像処理装置１０に設ける必要はない。また、図１において、照明４が斜光照明となっているが落斜照明でも良い。
【００３７】
（画像処理装置）
画像処理装置１０は、ボタン画像認識処理装置１の各部を制御するとともにデジタル画像データＤからボタンＢを認識する処理を行う。画像処理装置１０は、カメラ３から入力されたアナログの画像をデジタル画像データＤへと変換するＡ／Ｄコンバータ１１と、画像認識処理装置１の各種の処理及び制御を行うＣＰＵ１２と、ＣＰＵ１２が行う処理において各種のプログラム及びデータを格納する領域として機能するＲＡＭ１３と、ＣＰＵ１２が行う処理において呼び出される各種プログラム及びデータを書き換え不能に記憶するＲＯＭ１４と、ＣＰＵ１２が行う処理において呼び出される各種プログラム及びデータを書き換え可能に記憶するＥＥＰＲＯＭ１５と、を備えている。また、図示しないが、画像処理装置１０には画像処理装置への各種設定を行う操作パネルが接続されている。
【００３８】
Ａ／Ｄコンバータ１１は、カメラ３から入力されたアナログの画像を複数の画素によるデジタル画像データＤへと変換してＣＰＵ１２へ出力する。デジタル画像データＤのそれぞれの画素は、一つの濃度値（輝度）を有する（図４参照）。
ＣＰＵ１２は、ＲＯＭ１４又はＥＥＰＲＯＭ１５から各種のプログラム及びデータを呼び出し、処理することでボタン画像認識処理装置１の各種の処理及び制御を行う。また、ＣＰＵ１２は、Ａ／Ｄコンバータ１１から入力されたデジタル画像データＤからボタンＢを判別する各種の処理を行う。ＣＰＵ１２は、ＲＯＭ１４から各種のプログラムを呼び出して順次実行することにより上述のボタンＢの判別処理を行う。このとき、デジタル画像データＤはＲＡＭ１３又はＥＥＰＲＯＭ１５に記憶される。
【００３９】
なお、画像処理装置１０は背景２ａの縞模様を既知のパターンとして保有しており、当該縞模様のパターンデータＨはＥＥＰＲＯＭ１５に記憶されている。また、ＥＥＰＲＯＭ１５はボタンの外周チェックデータ１５ｏ、穴部チェックデータ１５ｐ、濃淡チェックデータ１５ｑ及び方向チェックデータ１５ｒを記憶するための領域及び容量を有している。また、ＥＥＰＲＯＭ１５はあらかじめ外周チェックデータ１５ｏ、穴部チェックデータ１５ｐ、濃淡チェックデータ１５ｑ及び方向チェックデータ１５ｒのいずれか又は複数を既知のパターンとして保有していてもよい。ボタンＢの外周チェックデータ１５ｏ、穴部チェックデータ１５ｐ、濃淡チェックデータ１５ｑ及び方向チェックデータ１５ｒの詳細については後述する。
【００４０】
図３はＲＯＭ１４に記憶された各種プログラム及びＥＥＰＲＯＭ１５に記憶された各種データを示す説明図である。図３（ａ）はＲＯＭ１４に記憶された各種プログラムを、図３（ｂ）はＥＥＰＲＯＭ１５に記憶された各種プログラムを示す。
また、ＲＯＭ１４は、後述する撮像プログラム１４ａと、画質改善プログラム１４ｂと、背景情報判別プログラム１４ｃと、対象物有無チェックプログラム１４ｄと、背景輪郭チェックプログラム１４ｅと、外形情報取得プログラム１４ｆと、対象物エラーチェックプログラム１４ｇと、対象物内情報取得プログラム１４ｈと、対象物内エラーチェックプログラム１４ｉと、表裏判定プログラム１４ｊと、方向判定プログラム１４ｌとを記憶している。ＣＰＵ１２は、処理に応じてこれらのプログラムのいずれかを呼び出して実行することでカメラ３による画像からボタンＢの認識処理を行う。以降、ＣＰＵ１２が各プログラムを実行した場合の処理内容について詳説する。
【００４１】
まず、撮像プログラム１４ａについて詳説する。ＣＰＵ１２は、撮像プログラム１４ａを実行することで、カメラ３を制御してカメラ３にボタンＢを背景２ａごと撮像させ、当該撮影によって得られたアナログ画像をＡ／Ｄコンバータ１１を介してデジタル画像データＤに変換してＲＡＭ１３に記憶させる処理を行う。このとき、撮像された画像をモニタ５に表示させてもよい。なお、当該デジタル画像データＤは長方形あるいは正方形の白黒の多値画像データ（グレースケール）である。
また、ＣＰＵ１２は、画質改善プログラム１４ｂを実行することで、撮像プログラム１４ａによってＲＡＭ１３に記憶されたデジタル画像データＤのノイズを除去する処理を行う。なお、デジタル画像データＤのノイズ除去の方法については周知の技術であるので詳細は省略する。
【００４２】
次に、背景情報判別プログラム１４ｃについて詳説する。ＣＰＵ１２は、背景情報判別プログラム１４ｃを実行することで、デジタル画像データＤから背景の部分を認識する処理を行う。以下、当該処理について詳説する。
図４はデジタル画像データＤの一部を拡大した説明図である。なお、デジタル画像データＤの周囲に付された数値はデジタル画像データＤの画素の位置を説明するための指標である。
ＣＰＵ１２は、背景２ａの白黒の縞と直交する方向（図４の縦方向）について、背景２ａの白黒の縞の幅が所定の画素数ずつ交互に並んでいるかどうかを判別する。即ち、撮像範囲の画素の縦方向に沿って各画素の輝度を読み出して、白黒の横縞を撮像することにより得られるべきパターン通りかを撮像範囲の全ての列について判定する。白黒の横縞の場合、背景２ａであれば、所定画素数ごとに白と黒とが切り替わる変化を示すパターンが得られるはずである。このとき、背景２ａの白黒の縞の幅がデジタル画像データＤ上で縦方向に何画素分の幅となるのかはパターンデータＨとしてあらかじめ設定されＥＥＰＲＯＭ１５に記憶されており、図４においては当該幅が５画素分である場合を示している。また、「黒」、「白」と判定する輝度の範囲も予め設定されＥＥＰＲＯＭ１５に記憶されている。ＣＰＵ１２は、各列毎に上から５画素ずつ各画素の輝度を取得し、５画素とも背景２ａの縞模様に則した輝度であるかどうかを判定する。つまり、図４に示すデジタル画像データＤの場合、上から１〜５番目の画素は全部「黒」を示す輝度であるか、６〜１０番目の画素は全部「白」を示す輝度であるか、といったように順に５画素ずつ判定する。５画素とも背景に則した輝度である場合、ＣＰＵ１２はその５画素を背景２ａとして判別し、そうでなかった場合、その部分は背景でない、即ち撮像対象物であるボタンＢが写っている画像の範囲であると判別される。図４には、カメラにより撮像されたボタンＢの形状に対応する画素部分で「灰色」（図４の斑点部分）を示す輝度が取得されているようすが示されているが、ＣＰＵ１２による判別処理は縦方向に５画素単位で判別処理が行われるので、背景２ａとボタンＢとが判別される縦方向の画素の最小単位は５画素となり、実際のカメラの分解能よりも５倍荒い分解能で背景２ａとボタンＢとが区切られる。例えば、背景２ａとボタンＢとの境界は、図４における二点鎖線Ｐのように認識される。なお、誤差を考慮して、５画素に対して±αの許容幅を設けても良い（例えば、α＝１の場合、５画素中４画素が背景２ａと同じ輝度であれば、中に一つだけ異なる色彩が混じっていても背景と見なす処理が行われる）。
なお、撮像範囲の端縁部分は、単位模様が途中から撮像されている場合もあるので、繰り返しの単位模様が一度認識された位置から判別処理を開始するのが望ましい。
【００４３】
図５は、背景２ａとボタンＢとの境界線を示す説明図である。なお、図５（ａ）は背景情報判別プログラム１４ｃの判別によるボタンＢの上半分の境界線Ｌ１を示す図、図５（ｂ）は背景情報判別プログラム１４ｃの判別によるボタンＢの下半分の境界線Ｌ２を示す図、図５（ｃ）は後述する外形情報取得プログラム１４ｆによって合成されたボタンＢの外周データＬを示す説明図である。
ＣＰＵ１２は、まず１列目において一番上の画素から下方へ順次５画素単位で背景２ａとボタンＢとの判別を行い、ボタンＢとして判別される範囲が見つかるまで背景２ａとボタンＢとの判別を行う。ボタンＢとして判別される範囲が見つかった場合はそれより下方の範囲はボタンＢが存在するものとしてその時点でその列の判定は終了して次の列に移行し、ボタンＢとして判別される範囲が見つからなかった場合は当該列の最後の画素まで判別が終わった時点で次の列の１番目から下方へ順次５画素単位で背景とボタンＢとの判別を行い、以後繰り返す。その後、最後の列の判別が完了した時点で、図５（ａ）に示すように、背景２ａとボタンＢとが判別された境界線Ｌ１を境として背景２ａとボタンＢとの範囲の判別が行われる。その後、１列目において縦方向の一番下の画素から上方へ順次５画素単位で背景とボタンＢとの判別を行い、ボタンＢとして判別される範囲が見つかるまで背景とボタンＢとの判別を行う。ボタンＢとして判別される範囲が見つかった場合はそれより上方の範囲はボタンＢが存在するものとしてその時点でその列の判定は終了して次の列に移行し、ボタンＢとして判別される範囲が見つからなかった場合は当該列の画素における一番上の画素まで判別が終わった時点で次の列の一番下から上方へ順次５画素単位で背景とボタンＢとの判別を行い、以後繰り返す。このとき、下方から順次背景とボタンＢとの判別を行う処理については、上方から順次背景とボタンＢとの判別を行った結果、全て背景であると判別された列については判別処理を省略してもよい。この結果、図５（ｂ）に示すように、境界線Ｌ２を境として背景２ａとボタンＢとの範囲の判別が行われる。
なお、上記判別処理においては、判別時間を短縮するために、下方または上方へ向かう列毎の判別処理において、ボタンＢとして判別される範囲が見つかった場合はそれ以降のその列の範囲はボタンＢが存在するものとしてその列の画素の判別を省略しているが、この処理では、時間が短縮できる代わりに、ボタンＢの形状に一部欠損がある場合に、その欠損を判別できない可能性があるので、時間は短縮できないが、一番上の画素から一番下の画素まで、あるいは、一番下の画素から一番上の画素まで、ボタンＢの画素の検出の有無に関わらず省略すること無しに、全画素の判別を行っても良い。
【００４４】
なお、ボタンＢが透過性を有する場合、背景２ａの縞模様はボタンＢを透過するが、背景２ａがボタンＢを透過する過程において屈折が生じるような場合は、当該屈折によって背景２ａの規則性が失われるので、その部分は背景２ａとして判別されず、ボタンＢとして判別される。
【００４５】
次に、対象物有無チェックプログラム１４ｄについて詳説する。ＣＰＵ１２は、対象物有無チェックプログラム１４ｄを実行することで、背景情報判別プログラム１４ｃの実行によって背景２ａとして判別された範囲がデジタル画像データＤ全体であるかどうかを判定することで、背景２ａにボタンＢが乗っているかをチェックする。デジタル画像データＤ全体が背景として判別された場合、つまりボタンＢとして判別された範囲がデジタル画像データＤ上にまったくない場合、背景２ａの上面にボタンＢが乗っていないこととなる。よって、ＣＰＵ１２はボタンＢがない旨を示すエラーを出力する。一方、デジタル画像データＤ全体が背景として判別されていなかった場合、背景２ａの上面にボタンＢが乗っていることで背景２ａが遮られる部分ができ、背景２ａと判別されなかった範囲がボタンＢとして判別されたとみなされる。よってＣＰＵ１２はボタンＢがある旨を示す出力を行う。これによって図２（ｂ）に示すように、ボタンが置かれていない場合のデジタル画像データＤを判別できる。
【００４６】
次に、背景輪郭チェックプログラム１４ｅについて詳説する。ＣＰＵ１２は、背景輪郭チェックプログラム１４ｅを実行することで、ボタンＢが連続する所定範囲の背景２ａに囲まれるように配置されていること、すなわち輪郭部分の全方位に渡って所定−画素数分の連続する背景２ａがあるかどうかを判定する。即ち、背景輪郭チェックプログラム１４ｅは、ボタンＢが背景２ａからはみ出すように置かれていないか、あるいはボタンＢが背景２ａの中央から大幅に外れた位置に置かれていないかをチェックする。ＣＰＵ１２は、図４に示す画像データＤにおいてそれぞれ１〜１０の数値で示す上端から連続する１０画素分の行（画素の横の並び）及び左端から連続する１０画素分の列（画素の縦の並び）の範囲及び図示しないデジタル画像データＤの下端及び右端から連続する１０画素分の範囲が全て背景２ａとして判別されているかどうかをチェックする。すなわち、ＣＰＵ１２は、画像データＤの上下左右の端縁から連続する１０画素分の範囲（所定範囲）が全て背景２ａとして判別されるか否かにより、ボタンＢが背景２ａからはみ出すように置かれていないか、あるいはボタンＢが背景２ａの中央から大幅に外れた位置に置かれていないかをチェックする。当該範囲が全て背景として判別されていない場合、即ちボタンＢとして判別された範囲が当該範囲に含まれていた場合、ボタンＢは背景２ａからはみ出すように置かれているか、あるいははみ出ないまでも背景２ａの中央から大幅にずれた位置に置かれていると判定される。よって、背景輪郭チェックプログラム１４ｅはボタンＢが背景２ａからはみ出ているか、あるいは背景２ａの中央から大幅にずれた位置に置かれている旨を示すエラーを出力する。一方、当該範囲が全て背景として判別されていた場合、ボタンＢは背景２ａからはみ出たり、背景２ａの中央から大幅にずれた位置に置かれたりすることなく、凡そ正しい位置に置かれていると判定される。よって、ＣＰＵ１２はボタンＢが正しい位置に置かれている旨を示す出力を行う。これによって図２（ｃ）に示すようにボタンＢＡの大きさが大きいために背景２ａの輪郭の一部を覆っている場合や、図２（ｄ）に示すようにボタンＢの置かれている位置が背景２ａの中央からずれている場合のデジタル画像データＤを判別できる。
なお、上述においては１０画素分をデジタル画像データＤの輪郭として処理しているが、上述と異なる画素数を輪郭として設定可能であることは言うまでもない。
また、上述においてはデジタル画像データＤの上下左右のそれぞれの側縁から連続する１０画素分の背景２ａを示す画素が判別されない場合に、ボタンＢの背景２ａからのはみ出しやボタンＢの背景２ａの中央から大幅のズレをチェックしているが、単に、デジタル画像データＤの全体にわたって、縦方向と横方向それぞれについて１０画素連続して背景２ａとして判別できない部分が存在する場合に、同様の判定を行っても良い。
また、背景情報判別プログラム１４ｃにより取得した境界線の画像データＤ中の位置によって、同様の判定を行っても良い。
【００４７】
次に、外形情報取得プログラム１４ｆについて詳説する。ＣＰＵ１２は、外形情報取得プログラム１４ｆを実行することで、背景情報取得プログラム１４ｃによってボタンＢとして判別された範囲の外周を示すデータ（外周データ）を合成する。具体的には、図５（ｃ）に示すように、境界線Ｌ１と境界線Ｌ２とを合成して境界線Ｌ１の内側であって、かつ、境界線Ｌ２の内側である範囲をボタンＢの範囲としてみなし、その範囲を取り巻く境界線Ｌ１、Ｌ２の一部分を連結してボタンＢの外周データＬとする。
また、後述する自動チェックモードがＯＮの場合は、ＣＰＵ１２は外周データをＥＥＰＲＯＭ１５に記憶する。
【００４８】
次に、対象物エラーチェックプログラム１４ｇについて詳説する。ＣＰＵ１２は、対象物エラーチェックプログラム１４ｇを実行することで、ボタンＢの外周チェックデータがあらかじめ記憶されていた場合に、外形情報取得プログラム１４ｆの実行によって取得されたボタンＢの外周データと外周チェックデータ１５ｏとを比較する。
図６は外周チェックデータ１５ｏと外周データＬとの関係を示す説明図である。外周チェックデータ１５ｏは、図６に示すボタンＢの外周の境界線が位置すべき画素の範囲Ｆ１を示すデータであり、上述のようにＥＥＰＲＯＭ１５に記憶されている。ＣＰＵ１２は、外周データＬの示すボタンＢの外周の位置が全て範囲Ｆ１内に含まれるかどうかの判定を行う。これによって、図２（ｅ）に示すようにボタンＢの一部が欠けているボタンＢＢが置かれた場合や、図２（ｆ）に示すように所定の大きさよりも小さいボタンＢＣが置かれた場合、また背景２ａに対してボタンＢが大きく位置ズレを生じて配置されている場合のデジタル画像データＤを判別できる。
【００４９】
上述の比較処理により、ＣＰＵ１２はデジタル画像データＤに写ったボタンＢの外周の形状及びボタンＢの大きさが外周チェックデータ１５ｏに設定されたボタンと合致するかどうか判定する。このとき、ボタンＢの外周データが外周チェックデータ１５ｏに合致しないと判定された場合、ＣＰＵ１２はボタンＢの形状、配置あるいは大きさが異常である旨を示すエラーを出力する。一方、ボタンＢの外周データが外周チェックデータ１５ｏに合致すると判定された場合、ＣＰＵ１２はボタンＢの形状、配置及び大きさに問題がない旨を示す出力を行う。これによって、ボタンＢの形状があらかじめ設定された外周チェックデータ１５ｏと一致しない場合のデジタル画像データＤを判別できる。
【００５０】
次に、対象物内情報取得プログラム１４ｈについて詳説する。ＣＰＵ１２は、対象物内情報取得プログラム１４ｈを実行することにより、ボタンＢとして判別された範囲内において背景２ａとボタンＢとの判別を行い、その後ボタンＢの穴部の周囲を示すデータ（穴部データ）及び背景情報判別プログラム１４ｃによってボタンＢとして判別された範囲から穴部Ｂａを除いた範囲の各画素の輝度を示す濃淡パターンデータを取得する処理を行う。
図７はボタンＢの一つの穴部Ｂａの周囲を拡大視したデジタル画像データＤの一部を示す説明図である。ボタンＢとして判別された範囲内における背景２ａとボタンＢとの判別処理については、上述の背景情報判別プログラム１４ｃの処理と同様の仕組みで行う。具体的には、ボタンＢの外周が位置する最も若い数値（最も左側）の列から順番に各列の一番上の画素から順次５画素単位で背景２ａとボタンＢとの判別処理を行う。このとき、ボタンＢの範囲内で背景２ａとして判別された範囲は、ボタンＢの穴部Ｂａとして判別される。つまり、図７に示すように、二点鎖線Ｑ１の内側が穴部Ｂａとして判別され、二点鎖線Ｑ１は穴部Ｂａのうちひとつの輪郭を示す。
なお、対象物内情報取得プログラム１４ｈによる背景２ａとボタンＢとの判別処理範囲はあらかじめ設定した所定の範囲内に限ることも可能である。例えば、図２に示すボタンＢの穴部Ｂａが設けられているおおよその位置があらかじめ特定できる場合には、穴部Ｂａが設けられている位置に対応する画素の位置及びその周辺を所定の範囲として設定することで、背景２ａとボタンＢとの判別処理を行う範囲を少なくして処理時間を短縮することが可能となる。
よって、ＣＰＵ１２は、上述の背景情報判別プログラム１４ｃ、外形情報取得プログラム１４ｆ及び対象物内情報取得プログラム１４ｈを実行することで、背景２ａの規則性（例えば５画素ずつの縞模様）を有する模様から背景２ａを判別し、背景２ａと判別されなかった部分をボタンＢと判定する処理を行う「判別手段」として機能する。
上述の背景２ａとボタンＢとの判別処理が終わると、ＣＰＵ１２は、全ての穴部Ｂａの輪郭の位置を穴部データとして取得すると共に、前述したボタンの外周データＬと穴部データとに基づいて全撮像範囲の撮像データからボタンＢの範囲内であって穴部を除いた範囲を抽出し、穴部を除いたボタンＢの正面上の濃淡パターンデータを取得する。なお、穴部データには独立した穴部の数も併せて取得される。
なお、以降の対象物内に関わる処理では、穴部データに基づいて、デジタル画像データＤまたはデジタル画像データＤから取得した情報に対して、必要に応じて対象物の向きが正しくなるように、画像データＤまたは対応する情報を変換する方向変換処理を行う。
【００５１】
次に、対象物内エラーチェックプログラム１４ｉについて詳説する。ＣＰＵ１２は、対象物内エラーチェックプログラム１４ｉを実行することで、ＥＥＰＲＯＭ１５に穴部チェックデータ１５ｐがあらかじめ記憶されていた場合、対象物内情報取得プログラム１４ｈによって取得された穴部データと穴部チェックデータ１５ｐとを比較する処理を行う。
図８は穴部チェックデータ１５ｐと穴部データとの関係を示す説明図である。穴部チェックデータ１５ｐは、図８に示すボタンＢの穴部の輪郭が位置すべき範囲Ｆ２を示すと共に、独立したＦ２の範囲の数即ちボタンの穴部の数をチェックするデータであり、上述のようにＥＥＰＲＯＭ１５に記憶されている。ＣＰＵ１２は、穴部データの示すボタンＢの穴部Ｂａの輪郭Ｑが全て範囲Ｆ２内に含まれるかどうかの判定を行うと共に、穴部データに含まれる独立した穴部の数と穴部チェックデータの独立したＦ２の範囲の数とを比較する。これによって、図２（ｇ）に示すようにボタンＢの複数の穴部の位置関係が正しい位置関係に対して傾いている場合、図２（ｈ）に示すようにボタンの穴部の一部が誤って形成されたボタンＢＤ及び図２（ｉ）に示すようにボタンの穴部の一部が形成されていないボタンＢＥのデジタル画像データＤを判別できる。
【００５２】
上述の比較処理により、ＣＰＵ１２はデジタル画像データＤに写ったボタンＢの穴部Ｂａの大きさ、位置及び数が穴部チェックデータ１５ｐと合致するかどうか判定する。デジタル画像データＤ穴部データと穴部チェックデータ１５ｐとが合致しないと判定された場合、ＣＰＵ１２はボタンＢの穴部Ｂａに異常がある旨を示すエラーを出力する。一方、デジタル画像データＤ穴部データと穴部チェックデータ１５ｐとが合致すると判定された場合、ＣＰＵ１２はボタンＢの穴部Ｂａに問題がない旨を示す出力を行う。
【００５３】
次に、表裏判定プログラム１４ｊについて詳説する。ＣＰＵ１２は、表裏判定プログラム１４ｊを実行することで、ＥＥＰＲＯＭ１５に濃淡チェックデータ１５ｑがあらかじめ記憶されていた場合に、対象物内情報取得プログラム１４ｈによって取得されたボタンＢとして判別された範囲の画像の濃淡パターンデータからボタンＢの表裏を判定する。
図９はボタンＢの表裏の一例を示す説明図である。なお、図９（ａ）はボタンの表を、図９（ｂ）はボタンの裏を示す。
図９（ａ）に示すように、ボタンＢの表に段差Ｂｂが設けられている場合、段差Ｂｂとその外周部Ｂｃとの間で画像の濃淡差が生じる。一方、図９（ｂ）に示すようにボタンＢの裏には段差がないので、表の場合のような濃淡差は生じない。また、濃淡チェックデータ１５ｑはボタンの表及び裏をそれぞれ撮像した場合の画像の濃淡を示すデータであり、そのデータ構造は対象物内情報取得プログラム１４ｈによって取得された濃淡パターンデータと同様、穴を除いたボタン画像の各画素の輝度を示す濃淡パターンデータである。つまり、ＣＰＵ１２は対象物内情報取得プログラム１４ｈで得られた濃淡パターンデータとボタンＢの表側（裏側）を表すデータ（表パターン）として予め設定されていた濃淡チェックデータ１５ｑとを比較し、デジタル画像データＤに写ったボタンＢの表裏を判定する。
【００５４】
当該判定は、濃淡チェックデータ１５ｑを基準とした近似値判定処理を行う。具体的には、濃淡チェックデータ１５ｑの各画素と濃淡パターンの各画素についてそれぞれ濃度を数値化し、対応する位置の画素の濃度について濃淡チェックデータ１５ｑの濃度の数値に対して濃淡パターンの濃度の数値が所定の近似値の範囲内であるかどうかをチェックする。このとき、一定以上の割合の画素が近似値以内であれば合致したものとみなし、そうでなければ合致しないものとみなす。
よって、ＣＰＵ１２は近似値判定処理において濃淡パターンが濃淡チェックデータ１５ｑの表パターンに合致した場合、即ち表向きであると判定した場合は問題がない旨を示す出力を行う。一方、濃淡パターンと表パターンとが合致しなかった場合、ＣＰＵ１２はさらに濃淡パターンと濃淡チェックデータ１５ｑに含まれる裏を撮像した場合のデータ（裏パターン）とを比較する。このとき、濃淡パターンと裏パターンとが合致した場合、即ちデジタル画像データＤに写ったボタンＢが裏向きであると判定した場合にボタンが裏向きである旨を示すエラーを出力する。また、濃淡パターンが表パターン及び裏パターンのいずれにも一致しなかった場合は、ボタンＢは濃淡チェックデータ１５ｑに設定されたボタンの表でも裏でもない濃淡パターンを示すボタン、即ちボタンの色、文字や模様等の装飾又は立体構造等の特徴が異なることによって撮像時の濃淡パターンが異なる種類のボタンであると考えられる。よって、ＣＰＵ１２はボタンＢが異なる種類のボタンであると判別し、ボタンの種類が異なる旨のエラーを出力する。これによって、ボタンの色、文字や模様等の装飾又は立体構造等の特徴が異なるボタンを判別することが可能となる。
よって、ＣＰＵ１２は、表裏判定プログラム１４ｊを実行することによりデジタル画像データＤに撮像されたボタンＢの濃淡パターンデータがあらかじめ設定された濃淡チェックデータ１５ｑ即ちボタンの特徴によって撮像時に生じる濃淡パターンを有するかを判別する「特徴判別手段」として機能する。なお、表裏判定において用いる画像は、表裏判定が可能であれば、ボタンの表面または裏面の一部の画像でも良いことは勿論である。
【００５５】
なお、ボタンが段差Ｂｂのように回転しても一定の形状ではないような表面上の特徴を有する場合には、表裏判定プログラム１４ｊによる表裏判定に替えて以下の方向判定プログラム１４ｌによる方向判定を行っても良い。
次に、方向判定プログラム１４ｌについて詳説する。ＣＰＵ１２は、方向判定プログラム１４ｌを実行することで、ＥＥＰＲＯＭ１５に方向チェックデータ１５ｒがあらかじめ設定されていた場合に、対象物内情報取得プログラム１４ｈの実行によって取得されたボタンＢとして判別された範囲の画像の濃淡パターンデータからボタンＢがあらかじめ設定されたボタンＢの向きであるかどうかを判定する。
【００５６】
図１０は方向判定プログラム１４ｌによるボタンＢの判定領域の一例を示す説明図である。図１０（ａ）はボタンＢに文字Ａがプリントされている場合の方向判定を行う際の判定領域Ｂ１の一例を示す説明図、図１０（ｂ）は方向チェックデータ１５ｒであるｂ１の一例を示す説明図である。
例えば、図１０（ａ）に示すように、ボタンＢに文字Ａがプリントされている場合、ＣＰＵ１２は、文字Ａの向きを判定するための判定領域Ｂ１を設定して当該領域内の画像の濃淡パターンデータをそれぞれ取得する。次に、方向判定プログラム１４ｌはあらかじめ設定された文字Ａの正しい方向を示す方向チェックデータ１５ｒをＥＥＰＲＯＭ１５から呼び出して、上述のＢ１から取得した画像の濃淡パターンデータとそれぞれ比較する。なお、方向チェックデータ１５ｒは、図１０（ｂ）に示すように、ボタンとして判定される範囲内においてボタンの方向を判定するためのｂ１に示す一部分のみに限定した濃淡パターンデータである。当該比較は、デジタル画像データＤに対し、方向チェックデータ１５ｒを基準として方向チェックデータ１５ｒに対応する位置のボタンＢの画像の濃淡パターンの近似値判定処理を行う。このとき、図１０（ａ）と図１０（ｂ）の対応関係のように、Ｂ１とｂ１が一致した場合、ＣＰＵ１２はボタンＢの方向が正しい方向であると判定し、ボタンＢに問題がない旨を示す出力を行う。一方、Ｂ１とｂ１が一致しなかった場合、ボタンＢの方向が異なっていると判定し、デジタル画像データＤまたは方向チェックデータ１５ｒを回転させ、両者が一致した場合には、その回転方向と回転角度とを外部に出力し、デジタル画像データＤまたは方向チェックデータ１５ｒのいずれか一方を３６０°回転させても一致しない場合には、エラーを出力する。
【００５７】
なお、上述の判定領域Ｂ１の位置、領域の広さ、形状及びあらかじめ設定される濃淡パターンｂ１はあくまで一例であり、ボタンＢの方向判定の基準となる模様その他の特徴によって個別に設定可能である。また、方向チェックデータ１５ｒはボタンＢに施された文字Ａの濃淡パターンに限らず、濃淡パターンの比較処理によってボタンＢの方向を判別できる特徴であれば何でもよい。
よって、ＣＰＵ１２は、方向判定プログラム１４ｌを実行することによりデジタル画像データＤに撮像されたボタンＢの濃淡パターンがあらかじめ設定されたボタンの特徴によって撮像時に生じる濃淡パターンを有するかを判別する「特徴判別手段」として機能する。
【００５８】
（自動チェックモード）
次に、自動チェックモードについて説明する。自動チェックモードは、外形情報取得プログラム１５ｆによって取得されたボタンＢの外周データを外周チェックデータ１５ｏとしてＥＥＰＲＯＭ１５に記憶し、対象物内情報取得プログラム１４ｈによって取得された穴部データを穴部チェックデータ１５ｐとして、濃淡パターンデータを濃淡チェックデータ１５ｑとして記憶する画像処理装置１０の設定である。つまり、自動チェックモードを用いることで、カメラ３によって撮像されたボタンＢの画像を元に外周チェックデータ１５ｏ、穴部チェックデータ１５ｐ及び濃淡パターンデータを設定可能となる。なお、外周データＬから外周チェックデータ１５ｏを設定する場合、外周データＬが示す外周の位置を基準とした閾値の範囲を別途設定しておく必要がある。つまり、ＣＰＵ１２は外周データＬが示すボタンの外周の形状を中心線として、設定された閾値の範囲の誤差を持った範囲データを外周チェックデータ１５ｏとしてＥＥＰＲＯＭ１５に記憶する。また、穴部データから穴部チェックデータ１５ｐを設定する場合も同様に穴部データが示す穴部の輪郭を基準とした閾値の範囲を別途設定しておく必要がある。つまり、ＣＰＵ１２は穴部データが示すボタンの穴部の形状を中心線として、設定された閾値の範囲の誤差を持った範囲データを穴部チェックデータ１５ｐとしてＥＥＰＲＯＭ１５に記憶する。このとき、穴部チェックデータ１５ｐには独立した穴部の数も併せて記憶される。また、濃淡パターン設定時は、取得された濃淡パターンが表の画像の濃淡（表パターン）であるか、裏の画像の濃淡（裏パターン）であるかを別途設定する必要がある。自動チェックモードの設定は図示しない操作パネルによってＯＮ／ＯＦＦの切替が可能である。
よって、ＣＰＵ１２は、対象物内情報取得プログラム１４ｈを実行することで以前に撮像されたボタンの撮像画像であるデジタル画像データＤからボタンＢの特徴を示すボタンＢの画像の濃淡パターンを取得して設定する「特徴取得手段」として機能する。
【００５９】
なお、自動チェックモードは、最近のボタンＢのデジタル画像データＤを逐次記憶するようにしてもよいし、最初に記憶されたボタンＢのデジタル画像データＤを以後継続して用いるようにしてもよい。また、ひとつのデジタル画像データＤに限らず、数回分の撮像によって得られたボタンＢのデジタル画像データＤに基づく平均値（画素の位置又は画素の濃度値）を算出して記憶し、当該平均値を用いるようにしてもよい。
また、自動チェックモードの実行時でも、背景輪郭チェックプログラム１４ｅ、対象物エラーチェックプログラム１４ｇ、対象物内エラーチェックプログラム１４ｉの実行時にエラー判定がなされた場合には、その時の撮像によるデジタル画像データＤに基づく外周チェックデータ１５ｏ、穴部チェックデータ１５ｐ及び濃淡パターンの設定は行わないように処理することが望ましい。表裏判定プログラム１４ｊにより表面以外の判定がされた場合も同様である。
また、自動チェックモードにおいて取得された濃淡パターンの一部を用いて方向チェックデータ１５ｒとするよう設定可能にしてもよい。
【００６０】
（ミシンのボタン画像認識処理装置の動作）
次に、ミシンのボタン画像認識処理装置１の動作について詳説する。図１１及び図１２はミシンのボタン画像認識処理装置１の動作を示すフロー図である。なお、図１１はステップＳ１からステップＳ１０までを、図１２はステップＳ１１からステップＳ２１までを示す。
まず、ＣＰＵ１２が撮像プログラム１４ａを実行することにより、カメラ３によってボタンＢが背景２ａごと撮像され、そのデジタル画像データＤがＲＡＭ１２に記憶される（ステップ１）。次に、ＣＰＵ１２は画質改善プログラム１４ｂを実行してデジタル画像データＤのノイズ除去処理を行う（ステップＳ２）。
【００６１】
次に、ＣＰＵ１２は背景情報判別プログラム１４ｃを実行してデジタル画像データＤの背景２ａとボタンＢとの判別を行う（ステップＳ３（判別工程））。次に、ＣＰＵ１２は対象物有無チェックプログラム１４ｄを実行してステップＳ３において背景２ａと判別された範囲がデジタル画像データＤ全体であるかどうかの判定を行う（ステップＳ４）。デジタル画像データＤが全て背景２ａであった場合（ステップＳ４：ＹＥＳ）、エラーを出力する（ステップＳ２０）。デジタル画像データＤが全て背景２ａではなかった場合（ステップＳ４：ＮＯ）、ＣＰＵ１２は背景輪郭チェックプログラム１４ｅを実行して輪郭に所定の画素数分の連続する背景２ａがあるか否かにより、ボタンＢが連続する所定範囲の背景２ａに囲まれて配置されているかを判定する（ステップＳ５）。輪郭に所定の画素数分の連続する背景２ａとして判別されなかった部分が含まれていた場合（ステップＳ５：ＮＯ）、エラーを出力する（ステップＳ２０）。輪郭が全て所定の画素数分の連続する背景２ａとして判別されていた場合（ステップＳ５：ＹＥＳ）、ＣＰＵ１２は外形情報取得プログラム１４ｆを実行してボタンＢの外周データを取得する（ステップＳ６）。
【００６２】
次に、ＣＰＵ１２は外周チェックデータ１５ｏがＥＥＰＲＯＭ１５に記憶されているかどうか判定する（ステップＳ７）。外周チェックデータ１５ｏがあらかじめ記憶されている場合（ステップＳ７：ＹＥＳ）、ＣＰＵ１２は対象物エラーチェックプログラム１４ｇを実行してステップＳ６で得られたボタンＢの外周データが外周チェックデータ１５ｏに合致するかどうか判定する（ステップＳ８）。合致しない場合（ステップＳ８：ＮＯ）、エラーを出力する（ステップＳ２０）。合致する場合（ステップＳ８：ＹＥＳ）、ＣＰＵ１２は自動チェックモードがＯＮであるかどうか判定する（ステップＳ９）。自動チェックモードがＯＦＦの場合（ステップＳ９：ＮＯ）、ＣＰＵ１２は対象物内情報取得プログラム１４ｈを実行して範囲内において背景２ａとボタンＢとの判別を行い（判別工程）、ボタンＢの穴部データ及び濃淡パターンを取得する（ステップＳ１１）。自動チェックモードがＯＮの場合（ステップＳ９：ＹＥＳ）、ステップＳ６において取得されたボタンＢの外周データを次のボタンＢの撮像以降で使用される外周チェックデータ１５ｏとしてＥＥＰＲＯＭ１５に記憶し（ステップＳ１０）、その後上述のステップＳ１１の処理を行う。なお、ステップＳ７において外周チェックデータ１５ｏが記憶されていない場合（ステップＳ７：ＮＯ）、ステップＳ９の処理に移行する。
【００６３】
次に、ＣＰＵ１２はＥＥＰＲＯＭ１５に穴部チェックデータ１５ｐが記憶されているかどうか判定する（ステップＳ１２）。穴部チェックデータ１５ｐが記憶されている場合（ステップＳ１２：ＹＥＳ）、ＣＰＵ１２は対象物内エラーチェックプログラム１４ｉを実行してステップＳ１１で得られたボタンＢの穴部データが穴部チェックデータ１５ｐに合致するかどうか判定する（ステップＳ１３）。合致しない場合（ステップＳ１３：ＮＯ）、エラーを出力する（ステップＳ２０）。合致する場合（ステップＳ１３：ＹＥＳ）、ＣＰＵ１２は自動チェックモードがＯＮであるかどうか判定する（ステップＳ１４）。自動チェックモードがＯＦＦの場合（ステップＳ１４：ＮＯ）、ＣＰＵ１２はＥＥＰＲＯＭ１５に濃淡チェックデータ１５ｑが記憶されているかどうか判定する（ステップＳ１６）。自動チェックモードがＯＮの場合（ステップＳ１４：ＹＥＳ）、ステップＳ１１において取得されたボタンＢの穴部データを次のボタンＢの撮像以降で使用される穴部チェックデータ１５ｐとして記憶し、濃淡パターンデータを次のボタンＢの撮像以降で使用される濃淡チェックデータ１５ｑとしてＥＥＰＲＯＭ１５に記憶し（ステップＳ１５（特徴取得工程））、その後上述のステップＳ１６の処理を行う。なお、ステップＳ１２において穴部チェックデータ１５ｐが記憶されていない場合（ステップＳ１２：ＮＯ）、ステップＳ１４の処理に移行する。
【００６４】
ステップＳ１６において濃淡チェックデータ１５ｑが記憶されている場合（ステップＳ１６：ＹＥＳ）、ＣＰＵ１２は表裏判定プログラム１４ｊを実行してステップＳ１１で得られた濃淡パターンとＥＥＰＲＯＭ１５の濃淡チェックデータ１５ｑの表パターンとからボタンＢが表向きであるかどうか判別する（ステップＳ１７（特徴判別工程））。ステップＳ１７においてボタンＢが表ではないと判定された場合（ステップＳ１７：ＮＯ）、ＣＰＵ１２は濃淡パターンとＥＥＰＲＯＭ１５の濃淡チェックデータ１５ｑの裏パターンとからボタンＢが裏向きであるかどうか判別する（ステップＳ１８（特徴判別工程））。ステップ１８においてボタンが裏と判定された場合（ステップＳ１８：ＹＥＳ）、ボタンが裏である旨のエラーを出力する（ステップＳ２０）。ステップＳ１８においてボタンが裏でない、即ち表パターンとも裏パターンとも合致しない場合（ステップＳ１８：ＮＯ）、ボタンが異なる種類であると判別され（ステップＳ１９）、ボタンの種類が異なる旨のエラーを出力する（ステップＳ２０）。
【００６５】
ステップＳ４〜１８において何らかのエラー出力が行われるか（ステップＳ２０）、あるいはステップＳ１７においてボタンＢが表向きと判定された場合、モニタ５にボタンＢの判定結果が表示される（ステップＳ２１）。なお、モニタ５に表示されるボタンＢの判定結果は、エラーの有無を示す情報でもよいし、エラーの種別を示す情報でもよい。また、撮像されたデジタル画像データＤを表示してもよい。
また、ボタン画像認識処理装置がボタン供給装置に搭載されている場合には、ステップＳ１７でボタンが表向きと判定された場合に、ミシンへの供給が行われることとなる。
【００６６】
（本実施の形態によるボタン画像認識処理装置の作用効果）
上述の実施の形態によれば、ＣＰＵ１２が背景情報判別プログラム１４ｃ及び対象物内情報取得プログラム１４ｈを実行することで実施される判別工程において背景２ａの規則的な白黒の縞模様を有しない範囲をボタンＢとして判別する。このとき、背景２ａのパターン（例えば縦方向に５画素ずつ白黒の縞模様があるパターン）に従っているかにより識別を行うので、例えボタンＢに背景２ａと濃度が近い部分が存在したとしても、その前後の部分を含めて背景のパターンと一致しない限り誤認を生じない。また、ボタンの模様や凹凸とボタンの穴との識別も正確に行うことが可能である。よって、ボタンＢの形状、色、模様その他の特徴に関らず背景の規則的な模様を有するか否かのみでボタンＢを判別することが可能となる。よって、より好適にボタンＢを判別できる。
また、ボタンＢの穴部Ｂａは、背景２ａの規則的な模様が覗くことにより背景２ａとして判別される。よって、従来技術のように撮像対象物の内側に設けられた穴部（例えばボタンの穴部等）を抽出できないといった問題点を解消でき、より好適にボタンＢの形状を判別することが可能となる。よって、より一層好適にボタンＢを判別できる。
さらに、ボタンＢが透過性を有する場合であっても、背景２ａがボタンＢを透過することで屈折を生じる場合であれば、屈折を生じた部分は背景２ａの規則性を失うので背景２ａとして判別されず、ボタンＢとして判別される。よって、透過性を有する撮像対象物の場合、背景と撮像対象物との濃度の急変部分が生じず、撮像対象物の外周の形状が抽出できないことがあるといった従来技術の問題点を解消できる。よって、より一層好適にボタンＢを判別できる。
【００６７】
さらに、カメラ３のピントを背景２ａに合わせるので、ボタンの厚みや立体構造に関らず背景２ａを常に好適に撮像可能となる。よって、より好適に背景２ａの規則的な模様を判別可能となり、背景２ａとボタンＢとの誤認の可能性を大幅に低減することが可能となる。よって、より一層好適にボタンＢを判別できる。
【００６８】
さらに、ＣＰＵ１２が表裏判定プログラム１４ｊ及び方向判定プログラム１４ｌを実行することで実施される特徴判別工程において、ボタンＢとして判別された画像の範囲の濃淡パターンからあらかじめ設定された濃淡チェックデータ１５ｑあるいは方向チェックデータ１５ｒと合致するかどうかを判別する。つまり、まずデジタル画像データＤから背景２ａとして判別される範囲を除外してボタンＢとして判別される範囲を特定した後、ボタンＢの範囲の濃淡パターンに対して濃淡チェックデータ１５ｑと合致するかどうかを判別する。これによって、濃淡チェックデータ１５ｑと合致するする範囲をデジタル画像データＤの全体から探す場合に比べ、比較処理の範囲をボタンＢとして判別された範囲に限定することができる。よって、比較処理の負荷を軽減し、処理時間を短縮することができる。
【００６９】
また、ＣＰＵ１２が表裏判定プログラム１４ｊを実行することで、ボタンの表を撮像した場合の画像の濃淡チェックデータ１５ｑとデジタル画像データＤのボタンＢの濃淡パターンとから、ボタンＢの表裏を判別する。これによって、ボタンＢが裏向きになっていないかどうかを判別することが可能となる。従って、例えば縫い付け前にボタンＢの表裏判定を行うことで、誤ってボタンＢを裏返した状態で縫い付けてしまうといった事態をなくすことができ、縫い品質が大幅に向上する。
さらに、ＣＰＵ１２が方向判定プログラム１４ｌを実行することで、ボタンＢの向きを判別する。これによって、撮像対象物に施された文字や模様等の装飾の向きを判別できないといった従来技術の問題点を解消でき、撮像対象物の特徴をより詳細に判別できる。
【００７０】
さらに、自動チェックモードがＯＮの場合、ＣＰＵ１２が背景情報判別プログラム１２ｃ及び対象物内情報取得プログラム１４ｈを実行することにより実施される特徴取得工程において、デジタル画像データＤのボタンＢの範囲からボタンＢの外周データ、穴部データ及び濃淡パターンを取得して、外周チェックデータ１５ｏ、穴部チェックデータ１５ｐ及び濃淡チェックデータ１５ｑとして設定する。よって、ボタンＢを正しく撮像した場合のデジタル画像データＤを以後の外周チェックデータ１５ｏ、穴部チェックデータ１５ｐ及び濃淡チェックデータ１５ｑとして利用することが可能となる。従って、外周チェックデータ１５ｏ、穴部チェックデータ１５ｐ及び濃淡チェックデータ１５ｑを設定するための専用の情報やデータ等を別途設ける必要がなくなる。よって、外周チェックデータ１５ｏ、穴部チェックデータ１５ｐ及び濃淡チェックデータ１５ｑの設定の手間を大幅に軽減することが可能となる。
【００７１】
（その他）
なお、上述の実施の形態ではミシンのボタン画像認識処理装置について記載しているが、ボタン画像認識処理装置１と同様の特徴を有する構成及びその動作の工程によってミシンのボタン以外の画像認識処理を行うことも可能である。
【００７２】
また、上述の実施の形態における背景部材２の背景２ａは縞模様に限定されない。
図１３は、実施の形態における背景２ａとは異なる規則性を有する背景の一例を示す説明図である。なお、図１３（ａ）は規則的なチェック模様の背景２ｂ、図１３（ｂ）は規則的な斜めの縞模様の背景２ｃの説明図である。
例えば、図１３（ａ），（ｂ）に示すように、規則性を有する背景であれば背景として判別されない範囲を撮像対象物（例えばボタン）として判別可能である。この場合、パターンデータＨにも図１３（ａ），（ｂ）に対応するデータを記憶させておく必要がある。なお、規則性を有する模様であれば他の模様でもよいことは言うまでもない。
また、背景２ａを判別する際の方向に関しては、上述の実施の形態では、縦方向であるが、使用する模様の形状によっては、横方向や斜め方向でも良い。
【００７３】
また、上述の実施の形態ではカメラ３の撮像画像を白黒の多値画像（グレースケール）としているが、カラー画像でもよい。その場合、濃淡パターンはカラーパターン、濃淡チェックデータ１５ｑはあらかじめ設定されたカラーパターンデータとして比較処理を行う。
また、上述の実施の形態ではカメラ３によって撮像されたアナログ画像をＡ／Ｄコンバータ１１でデジタル画像データＤに変換しているが、カメラ３をＣＣＤイメージセンサやＣＭＯＳイメージセンサ等を用いたデジタルカメラとして直接デジタル画像データＤをＣＰＵ１２に出力し、Ａ／Ｄコンバータ１１を省略してもよい。
また、上述の実施の形態における背景２ａの縞模様の規則性の基準となる画素数（５画素）や、背景の輪郭の画素数（１０画素）といった各数値設定はあくまで一例であり、他の数値設定を用いてもよいことは言うまでもない。また、背景２ａの縞模様の規則性の閾値を一意の値（５画素）ではなく、一定の数値範囲内（例えば４〜６画素）としてもよい。
また、背景に用いる模様の濃淡の度合いや形状及び濃淡部分の割合等は、規則的であれば、種々利用可能である。
また、本発明においては、撮像対象物の判別において撮像画像の背景の規則性を有する範囲とそうでない範囲の区別ができればよく、背景の規則性を有する範囲の判別処理方法は上述の実施の形態に限定されない。例えば、デジタル画像データＤをフーリエ変換して、背景模様の周波数成分を特定の値として他の部分の周波数成分と区別した上で、フーリエ逆変換した画像から背景模様と対称物の画像のそれぞれを２値画像として抽出し、エッジ検出やラベリングなどの既存の画像認識方法で位置情報を取得しても良い。
【図面の簡単な説明】
【００７４】
【図１】ボタン画像認識処理装置の構成を示すブロック図である。
【図２】ボタンと背景部材の背景２ａとの関係の一例を示す上面図である。なお、図２（ａ）は整形不良がなく、かつ、所定の大きさのボタンが正しい向きで背景のほぼ中央に置かれた場合、図２（ｂ）はボタンがない場合、図２（ｃ）は所定の大きさよりも大きいボタンが置かれた場合、図２（ｄ）はボタンの位置が背景の中央からずれて置かれた場合、図２（ｅ）はボタンの一部が欠けている場合、図２（ｆ）は所定の大きさよりも小さいボタンが置かれた場合、図２（ｇ）はボタンの複数の穴部の位置関係が図２（ａ）に示す当該位置関係に対して傾いている場合、図２（ｈ）は穴部の一部が誤った位置に形成されたボタンが置かれた場合、図２（ｉ）は穴部の一部が形成されていないボタンが置かれた場合の説明図である。
【図３】ＲＯＭに記憶された各種プログラム及びＥＥＰＲＯＭに記憶された各種データを示す説明図である。図３（ａ）はＲＯＭ１４に記憶された各種プログラムを、図３（ｂ）はＥＥＰＲＯＭ１５に記憶された各種プログラムを示す。
【図４】デジタル画像データの一部を拡大した説明図である。なお、デジタル画像データの周囲に付された数値はデジタル画像データの画素の位置を説明するための指標である。
【図５】背景とボタンとの境界線を示す説明図である。なお、図５（ａ）は背景情報判別プログラムの判別によるボタンの上半分の境界線を示す図、図５（ｂ）は背景情報判別プログラムの判別によるボタンの下半分の境界線を示す図、図５（ｃ）は外形情報取得プログラムによって合成されたボタンの外周データを示す説明図である。
【図６】外周チェックデータと外周データとの関係を示す説明図である。
【図７】ボタンの穴部のうちひとつが含まれるデジタル画像データの一部を示す説明図である。
【図８】穴部チェックデータと穴部データとの関係を示す説明図である。
【図９】ボタンの表裏の一例を示す説明図である。なお、図９（ａ）はボタンの表を、図９（ｂ）はボタンの裏を示す。
【図１０】方向判定プログラム１４ｌによるボタンＢの判定領域の一例を示す説明図である。図１０（ａ）はボタンＢに文字Ａがプリントされている場合の方向判定を行う際の判定領域Ｂ１の一例を示す説明図、図１０（ｂ）は方向チェックデータ１５ｒであるｂ１の一例を示す説明図である。
【図１１】ミシンのボタン画像認識処理装置の動作を示すフロー図のうち、ステップＳ１からステップＳ１１までを示すフロー図である。
【図１２】ミシンのボタン画像認識処理装置の動作を示すフロー図のうち、ステップＳ１２からステップＳ２１までを示すフロー図である。
【図１３】実施の形態における背景とは異なる規則性を有する背景の一例を示す説明図である。なお、図１３（ａ）は規則的なチェック模様の背景、図１３（ｂ）は規則的な斜めの縞模様の背景の説明図である。
【符号の説明】
【００７５】
２ 背景部材
２ａ 背景
３ カメラ
１０ 画像処理装置
１１ Ａ／Ｄコンバータ
１２ ＣＰＵ
１４ ＲＯＭ
１５ ＥＥＰＲＯＭ
Ｂ ボタン
【技術分野】
【０００１】
本発明は、カメラで撮像対象物を撮像して当該撮像対象物を認識する画像認識処理方法、画像認識処理装置及びボタン画像認識処理装置に関する。
【背景技術】
【０００２】
ボタン付けミシンにより穴付きボタンを布等の被縫製物に縫い付ける場合、針がボタンの穴部を貫通して縫いつけるため、ボタンの位置、とりわけボタンの穴部の位置を被縫製物に対して正確に配置する必要がある。このため、ボタンの穴部の位置及び穴部同士の間隔に対応したピンを有する搬送部材を設け、ボタンの穴部をこのピンに差し込んだ状態でミシン縫合部に搬送することでボタンの穴部の位置を位置決めする方法が行われていた。
しかし、この方法によると、ボタンの表面に文字等の模様を配したボタンを模様が布地に対して所定の方向を向くように供給する場合に、模様の形成方向や位置が判別できないためボタンが所望の方向を向くように供給できないといった問題がある。
【０００３】
このため、表面に模様を配したボタンをカメラ等で撮像し、撮像画像からボタンの向きを判別してボタンの位置を補正させる方法が行われるようになった（例えば特許文献１）。
また、撮像対象物を明確に抽出するための技術として、背景を縞模様とするとともに、縞模様を形成する二色のうち少なくとも一色を撮像対象物と大きく異なる色とすることにより好適に撮像対象物を撮像する方法が知られている（例えば特許文献２）。
【特許文献１】特公平２−２３１９７号公報
【特許文献２】特開平９−５４８９２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載された方法、すなわち撮像画像によるボタンの向きの判別では、ボタンの撮像時にボタンとボタンが置かれた土台部の上面の色とが酷似していると、画像処理におけるボタンと土台部との判別がつきにくく、好適にボタンが検出できないといった問題がある。
また、ボタンの向きの判別はできてもボタンの穴部の位置を正しく検出することはできないといった問題点があった。このため、ボタンの位置決めが正確にできないとともに、ボタンの穴部の形成に不良があった場合に検出できないといった問題点があった。
さらに、模様を有しない一般的なボタンを利用することができず、汎用性に乏しいものとなった。
また、特許文献２の技術を利用したとしても、透過性を有するボタンの場合、背景とボタンとの濃度の急変部分が生じず、ボタンの外周の形状が確実に抽出できないといった問題点があった。
【０００５】
本発明は、上述の問題点に鑑み、撮像対象物の形状によらず撮像対象物を判別可能な画像認識処理方法、画像認識処理装置及びミシンのボタン画像認識処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
請求項１記載の発明は、既知の規則的な模様が付された平面を有し、当該平面が背景とされる背景部材と、前記模様が付された平面の範囲内にある撮像対象物を前記背景ごと撮像するカメラと、を用いて前記カメラによって撮像された画像から前記撮像対象物を認識する画像認識処理方法において、前記撮像画像において前記背景の規則的な模様を有しない範囲を前記撮像対象物として判別する判別工程を含むことを特徴とする。
【０００７】
請求項２記載の発明は、請求項１に記載の画像認識処理方法において、前記カメラは、前記背景にピントを合わせて前記撮像画像を撮像することを特徴とする。
【０００８】
請求項３記載の発明は、請求項１又は２に記載の画像認識処理方法において、前記撮像対象物として判別された画像の範囲から前記撮像画像の前記撮像対象物があらかじめ設定された前記撮像対象物の特徴を有するかどうかを判別する特徴判別工程を含むことを特徴とする。
請求項３における「撮像対象物の特徴」とは、撮像対象物の色、撮像対象物に施された文字や模様等の装飾、撮像対象物の立体形状による撮像時の画像の濃淡パターン等である。
【０００９】
請求項４記載の発明は、請求項３に記載の画像認識処理方法において、前記特徴判別工程では、前回以前の撮像対象物の撮像画像から取得された前記撮像対象物の特徴となる画像を利用することを特徴とする。
【００１０】
請求項５記載の発明は、既知の規則的な模様が付された平面を有し、当該平面が背景とされる背景部材と、前記模様が付された平面の範囲内にある撮像対象物を前記背景ごと撮像するカメラとを備え、前記カメラによって撮像された画像から前記撮像対象物を認識する画像認識処理装置において、前記撮像画像において前記背景の規則的な模様を有しない範囲を前記撮像対象物として判別する判別手段を備えることを特徴とする。
【００１１】
請求項６記載の発明は、請求項５に記載の画像認識処理装置において、前記カメラは、前記背景にピントを合わせて前記撮像画像を撮像することを特徴とする。
【００１２】
請求項７記載の発明は、請求項５又は６に記載の画像認識処理装置において、前記撮像対象物として判別された画像の範囲から前記撮像画像の前記撮像対象物があらかじめ設定された前記撮像対象物の特徴を有するかどうかを判別する特徴判別手段を備えることを特徴とする。
請求項７における「撮像対象物の特徴」とは、撮像対象物の色、撮像対象物に施された文字や模様等の装飾、撮像対象物の立体形状による撮像時の画像の濃淡パターン等である。
【００１３】
請求項８記載の発明は、請求項７に記載の画像認識処理装置において、前回以前の撮像対象物の撮像画像から前記撮像対象物の特徴となる画像を取得する特徴取得手段を備えることを特徴とする。
【００１４】
請求項９記載の発明は、既知の規則的な模様が付された平面を有し、当該平面が背景とされる背景部材と、前記模様が付された平面の範囲内にある衣類のボタンを前記背景ごと撮像するカメラとを備え、前記カメラによって撮像された画像から前記ボタンを認識するボタン画像認識処理装置において、前記撮像画像において前記背景の規則的な模様を有しない範囲を前記ボタンとして判別する判別手段を備えることを特徴とする。
【００１５】
請求項１０記載の発明は、請求項９に記載のボタン画像認識処理装置において、前記カメラは、前記背景にピントを合わせて前記撮像画像を撮像することを特徴とする。
【００１６】
請求項１１記載の発明は、請求項９又は１０に記載のボタン画像認識処理装置において、前記ボタンとして判別された画像の範囲からあらかじめ設定された前記ボタンの特徴を有するかどうかを判別する特徴判別手段を備えることを特徴とする。
請求項１１における「ボタンの特徴」とは、ボタンの色、ボタンに施された文字や模様等の装飾、ボタンの立体形状による撮像時の画像の濃淡パターン等である。
【００１７】
請求項１２記載の発明は、請求項１１に記載のボタン画像認識処理装置において、前回以前のボタンの撮像画像から前記ボタンの特徴となる画像を取得する特徴取得手段を備えることを特徴とする。
【００１８】
請求項１３記載の発明は、請求項１１又は１２に記載のボタン画像認識処理装置において、前記特徴判別手段は、あらかじめ設定された少なくとも前記ボタンの表あるいは裏のいずれか一方を撮像した場合の画像の濃淡パターンデータから、前記ボタンの表裏を判別することを特徴とする。
【発明の効果】
【００１９】
請求項１記載の発明によれば、判別工程において背景の規則的な模様を有しない範囲を撮像対象物として判別する。つまり、撮像画像から背景の規則的な模様を有する範囲を除外した部分を撮像対象物として判別する。このとき、撮像対象物の形状、色、模様その他の特徴が背景の規則的な模様と混同を生じる恐れがある場合は、背景の模様の規則性を変更することで対応が可能となる。例えば撮像対象物が縞模様である場合は、縞の形成方向が異なる縞模様や、縞の形成間隔や各縞模様の幅が異なる縞模様、或いは市松模様とする等が考えられる。よって、撮像対象物の形状、色、模様その他の特徴に関らず背景の規則的な模様を有するか否かのみで撮像対象物を判別することが可能となる。よって、より好適に撮像対象物を判別できる。
従来は、背景の縞に沿って濃度変化を観察し、濃度変化を大きく生じた箇所を背景と撮像対象物との境界と認識すると共に、二色の縞のそれぞれについて濃度変化を見るので、撮像対象物が縞のいずれか一方の色彩に濃度が近い場合でも他方の色彩により境界を検出することが可能である。しかしながら、表面の色彩の濃度に変化を生じている場合や表面に凹凸や穴がある場合や透明素材などのように、表面の途中部分で濃度変化を生じているような撮像対象物の場合には、縞の色彩の濃度に近似する箇所ではそれが背景なのか撮像対象物の一部なのかを識別することができない。しかしながら、本願発明では、規則的な背景のパターンに従っているかにより識別を行うので、例え、撮像画像に背景と濃度が近い部分が存在したとしても、その前後の部分を含めて背景のパターンと一致しない限り誤認を生じない。
例えば、撮像対象物の内側に穴部等の背景が覗く貫通部が設けられている場合、当該貫通部の内側は背景の規則的な模様が覗くことにより背景として判別され、撮像対象物とはみなされなくなる。つまり、撮像対象物の内側に貫通部が設けられている場合に、当該貫通部が正しく判別される。よって、従来技術のように撮像対象物の内側に設けられた穴部（例えばボタンの穴部等）を抽出できないといった問題点を解消でき、より好適に撮像対象物の形状を判別することが可能となる。よって、より一層好適に撮像対象物を判別できる。
さらに、撮像対象物が透過性を有する場合であっても、背景が撮像対象物を透過することで屈折を生じる場合であれば、屈折を生じた部分は背景の規則性を失うので背景として判別されることがなく、撮像対象物と判別される。よって、透過性を有する撮像対象物の場合、背景と撮像対象物との濃度の急変部分が生じず、撮像対象物の外周の形状が抽出できないことがあるといった従来技術の問題点を解消できる。よって、より一層好適に撮像対象物を判別できる。
【００２０】
請求項２記載の発明によれば、カメラのピントを背景に合わせるので、撮像対象物の厚さや高さに関らず背景を常に好適に撮像可能となる。よって、より好適に背景の規則的な模様を判別可能となり、背景と撮像対象物との誤認の可能性を大幅に低減することが可能となる。よって、より一層好適に撮像対象物を判別できる。
【００２１】
請求項３記載の発明によれば、特徴判別工程において、撮像対象物として判別された画像の範囲から当該画像の撮像対象物があらかじめ設定された撮像対象物の特徴を有するかどうかを判別する。つまり、まず画像に対して背景の規則的な模様を有する範囲を除外する処理を行って撮像対象物の範囲を判別した後に、当該撮像対象物の範囲についてあらかじめ設定された撮像対象物の特徴を有するかどうかを判別する。これによって、あらかじめ設定された撮像対象物の特徴を有する範囲を画像全体から探す場合に比べ、特徴の有無の判別範囲を画像から背景が除外された撮像対象物の範囲に限定することができる。よって、特徴の有無の判別処理負荷を軽減し、処理時間を短縮することができる。
また、撮像対象物の色、撮像対象物に施された文字や模様等の装飾、撮像対象物の立体形状による撮像時の画像の濃淡パターン等といった撮像対象物の特徴について、撮像画像の撮像対象物があらかじめ設定された当該特徴を有するかどうかを判別する。よって、色違いの撮像対象物、装飾内容の異なる撮像対象物、文字や模様等の向きが異なる撮像対象物及び立体形状の特徴が異なる撮像対象物等の判別を行うことが可能となる。よって、従来技術において、撮像対象物に施された文字や模様等の装飾の向きを判別できないといった問題点を解消でき、撮像対象物の特徴をより詳細に判別できる。
【００２２】
請求項４記載の発明によれば、特徴判別工程では、前回以前の撮像対象物の撮像画像から取得された前記撮像対象物の特徴となる画像を利用する。従って、撮像対象物の特徴を設定するための専用の情報やデータ等を別途設ける必要がなくなる。よって、撮像対象物の特徴の設定の手間を大幅に軽減することが可能となる。
【００２３】
請求項５記載の発明によれば、判別手段が背景の規則的な模様を有しない範囲を撮像対象物として判別する。つまり、撮像画像から背景の規則的な模様を有する範囲を除外した部分を撮像対象物として判別する。このとき、撮像対象物の形状、色、模様その他の特徴が背景の規則的な模様と混同を生じる恐れがある場合は、背景の模様の規則性を変更することで対応が可能となる。例えば撮像対象物が縞模様である場合は、縞の形成方向が異なる縞模様や、縞の形成間隔や各縞模様の幅が異なる縞模様、或いは市松模様とする等が考えられる。よって、撮像対象物の形状、色、模様その他の特徴に関らず背景の規則的な模様を有するか否かのみで撮像対象物を判別することが可能となる。よって、より好適に撮像対象物を判別可能な画像認識処理装置を提供できる。
従来は、背景の縞に沿って濃度変化を観察し、濃度変化を大きく生じた箇所を背景と撮像対象物との境界と認識すると共に、二色の縞のそれぞれについて濃度変化を見るので、撮像対象物が縞のいずれか一方の色彩に濃度が近い場合でも他方の色彩により境界を検出することが可能である。しかしながら、表面の色彩の濃度に変化を生じている場合や表面に凹凸や穴がある場合や透明素材などのように、表面の途中部分で濃度変化を生じているような撮像対象物の場合には、縞の色彩の濃度に近似する箇所ではそれが背景なのか撮像対象物の一部なのかを識別することができない。しかしながら、本願発明では、規則的な背景のパターンに従っているかにより識別を行うので、例え、撮像画像に背景と濃度が近い部分が存在したとしても、その前後の部分を含めて背景のパターンと一致しない限り誤認を生じない。
例えば、撮像対象物の内側に穴部等の背景が覗く貫通部が設けられている場合、当該貫通部の内側は背景の規則的な模様が覗くことにより背景として判別され、撮像対象物とはみなされなくなる。つまり、撮像対象物の内側に貫通部が設けられている場合に、当該貫通部が正しく判別される。よって、従来技術のように撮像対象物の内側に設けられた穴部（例えばボタンの穴部等）を抽出できないといった問題点を解消でき、より好適に撮像対象物の形状を判別することが可能となる。よって、より一層好適に撮像対象物を判別可能な画像認識処理装置を提供できる。
さらに、撮像対象物が透過性を有する場合であっても、背景が撮像対象物を透過することで屈折を生じる場合であれば、屈折を生じた部分は背景の規則性を失うので背景として判別されることがなく、撮像対象物と判別される。よって、透過性を有する撮像対象物の場合、背景と撮像対象物との濃度の急変部分が生じず、撮像対象物の外周の形状が抽出できないことがあるといった従来技術の問題点を解消できる。よって、より一層好適に撮像対象物を判別可能な画像認識処理装置を提供できる。
【００２４】
請求項６記載の発明によれば、カメラのピントを背景に合わせるので、撮像対象物の厚さや高さに関らず背景を常に好適に撮像可能となる。よって、より好適に背景の規則的な模様を判別可能となり、背景と撮像対象物との誤認の可能性を大幅に低減することが可能となる。よって、より一層好適に撮像対象物を判別可能な画像認識処理装置を提供できる。
【００２５】
請求項７記載の発明によれば、特徴判別手段が撮像対象物として判別された画像の範囲から当該画像の撮像対象物があらかじめ設定された撮像対象物の特徴を有するかどうかを判別する。つまり、まず画像に対して背景の規則的な模様を有する範囲を除外する処理を行って撮像対象物の範囲を判別した後に、当該撮像対象物の範囲についてあらかじめ設定された撮像対象物の特徴を有するかどうかを判別する。これによって、あらかじめ設定された撮像対象物の特徴を有する範囲を画像全体から探す場合に比べ、特徴の有無の判別範囲を画像から背景が除外された撮像対象物の範囲に限定することができる。よって、特徴の有無の判別処理負荷を軽減し、処理時間を短縮することができる。
また、撮像対象物の色、撮像対象物に施された文字や模様等の装飾、撮像対象物の立体形状による撮像時の画像の濃淡パターン等といった撮像対象物の特徴について、撮像画像の撮像対象物があらかじめ設定された当該特徴を有するかどうかを判別する。よって、色違いの撮像対象物、装飾内容の異なる撮像対象物、文字や模様等の向きが異なる撮像対象物及び立体形状の特徴が異なる撮像対象物等の判別を行うことが可能となる。よって、従来技術において、撮像対象物に施された文字や模様等の装飾の向きを判別できないといった問題点を解消でき、撮像対象物の特徴をより詳細に判別可能な画像認識処理装置を提供できる。
【００２６】
請求項８記載の発明によれば、特徴判別手段が、前回以前の撮像対象物の撮像画像から取得された前記撮像対象物の特徴となる画像を利用する。従って、撮像対象物の特徴を設定するための専用の情報やデータ等を別途設ける必要がなくなる。よって、撮像対象物の特徴の設定の手間を大幅に軽減することが可能となる。
【００２７】
請求項９記載の発明によれば、判別手段が背景の規則的な模様を有しない範囲をボタンとして判別する。つまり、撮像画像から背景の規則的な模様を有する範囲を除外した部分をボタンとして判別する。このとき、ボタンの形状、色、模様その他の特徴が背景の規則的な模様と混同を生じる恐れがある場合は、背景の模様の規則性を変更することで対応が可能となる。例えばボタンが縞模様である場合は、縞の形成方向が異なる縞模様や、縞の形成間隔や各縞模様の幅が異なる縞模様、或いは市松模様とする等が考えられる。よって、ボタンの形状、色、模様その他の特徴に関らず背景の規則的な模様を有するか否かのみでボタンを判別することが可能となる。よって、より好適にボタンを判別可能な画像認識処理装置を提供できる。
従来は、背景の縞に沿って濃度変化を観察し、濃度変化を大きく生じた箇所を背景とボタンとの境界と認識すると共に、二色の縞のそれぞれについて濃度変化を見るので、ボタンが縞のいずれか一方の色彩に濃度が近い場合でも他方の色彩により境界を検出することが可能である。しかしながら、表面の色彩の濃度に変化を生じている場合や表面に凹凸や穴がある場合や透明素材などのように、表面の途中部分で濃度変化を生じているような撮像対象物の場合には、縞の色彩の濃度に近似する箇所ではそれが背景なのかボタンの一部なのかを識別することができない。しかしながら、本願発明では、規則的な背景のパターンに従っているかにより識別を行うので、例え、撮像画像に背景と濃度が近い部分が存在したとしても、その前後の部分を含めて背景のパターンと一致しない限り誤認を生じない。
例えば、上述の特徴によりボタンの内側に設けられた穴部が正しく判別される。よって、ボタンの内側に設けられた穴部を抽出できないといった従来技術の問題点を解消でき、より好適にボタンの穴部の形状や位置や穴部同士の間隔を判別することが可能となる。よって、好適にボタンの向きを判別可能なボタン画像認識処理装置を提供できる。
さらに、ボタンが透過性を有する場合であっても、背景がボタンを透過することで屈折を生じる場合であれば、屈折を生じた部分は背景の規則性を失うので背景として判別されることがなく、ボタンと判別される。よって、透過性を有するボタンの場合、背景とボタンとの濃度の急変部分が生じず、ボタンの外周の形状が抽出できないことがあるといった従来技術の問題点を解消できる。よって、より一層好適にボタンを判別可能なボタン画像認識処理装置を提供できる。
【００２８】
請求項１０記載の発明によれば、カメラのピントを背景に合わせるので、ボタンの厚さに関らず背景を常に好適に撮像可能となる。よって、より好適に背景の規則的な模様を判別可能となり、背景とボタンとの誤認の可能性を大幅に低減することが可能となる。よって、より一層好適にボタンを判別可能な画像認識処理装置を提供できる。
【００２９】
請求項１１記載の発明によれば、特徴判別手段がボタンとして判別された画像の範囲から当該画像のボタンがあらかじめ設定されたボタンの特徴を有するかどうかを判別する。つまり、まず画像に対して背景の規則的な模様を有する範囲を除外する処理を行ってボタンの範囲を判別した後に、当該ボタンの範囲についてあらかじめ設定されたボタンの特徴を有するかどうかを判別する。これによって、あらかじめ設定されたボタンの特徴を有する範囲を画像全体から探す場合に比べ、特徴の有無の判別範囲を画像から背景が除外されたボタンの範囲に限定することができる。よって、特徴の有無の判別処理負荷を軽減し、処理時間を短縮することができる。
また、ボタンの色、ボタンに施された文字や模様等の装飾、ボタンの立体形状による撮像時の画像の濃淡パターン等といったボタンの特徴について、撮像画像のボタンがあらかじめ設定された当該特徴を有するかどうかを判別する。よって、色違いのボタン、装飾内容の異なるボタン、文字や模様等の向きが異なるボタン及び立体形状の特徴が異なるボタン等の判別を行うことが可能となる。よって、従来技術において、ボタンに施された文字や模様等の装飾の向きを判別できないといった問題点を解消でき、ボタンの特徴をより詳細に判別可能なミシンのボタン画像認識処理装置を提供できる。
【００３０】
請求項１２記載の発明によれば、特徴判別手段が前回以前のボタンの撮像画像から取得された前記ボタンの特徴となる画像を利用する。従って、ボタンの特徴を設定するための専用の情報やデータ等を別途設ける必要がなくなる。よって、ボタンの特徴の設定の手間を大幅に軽減することが可能となる。
【００３１】
請求項１３記載の発明によれば、特徴取得手段があらかじめ設定された少なくとも前記ボタンの表あるいは裏のいずれか一方を撮像した場合の画像の濃淡パターンデータから、前記ボタンの表裏を判別する。この場合、ボタンの表を撮像した場合の画像の濃淡パターンデータと、ボタンの裏を撮像した場合の画像の濃淡パターンデータとは異なるものであり、特徴判別手段はボタンの表と裏の画像の濃淡パターンデータの違いによりボタンの表裏を判別する。例えばあらかじめ設定された画像の濃淡パターンデータがボタンの表を撮像した場合の画像の濃淡パターンデータの場合は、特徴判別手段は当該濃淡パターンデータと撮像画像のボタンの濃淡パターンデータとが一致すればボタンは表であると判別し、異なれば裏であると判別する。これによって、ボタンが本来意図した置き方に対して裏返しになっていないかどうかを判別することが可能となる。よって、例えば縫い付け前に特徴判別手段によるボタンの表裏判定を行うことで、誤ってボタンを裏返した状態で縫い付けてしまうといった事態をなくすことができ、縫い品質が大幅に向上する。
【発明を実施するための最良の形態】
【００３２】
（本発明による画像認識処理方法を用いるボタン画像認識処理装置の概要）
以下、図を参照して本発明の実施の形態を詳細に説明する。
本発明による画像認識処理方法及び画像認識処理装置は、カメラで撮像対象物を背景ごと撮像して当該撮像対象物を認識する画像認識処理方法及びボタン画像認識処理装置である。また、本発明によるボタン画像認識処理装置１は、カメラでボタンを背景ごと撮像してボタンの大きさ、位置、表裏、色及び向きといった各種の特徴を認識するボタン画像認識処理装置である。ボタン画像認識処理装置１は、例えばボタン付けミシンにおいて被縫製物の上方でボタンを保持するボタン把持具（図示略）にボタンを供給する周知のボタン供給装置において、ボタン把持具に供給されるボタンの大きさ、位置、表裏、色及び向きといった各種の特徴をボタンの供給前に認識する処理に用いられる。ボタン画像認識処理装置１はあらかじめ設定されたボタンの特徴がある場合、上述の各種特徴のうちいずれかがあらかじめ設定されたボタンの特徴と異なるボタンを認識した場合にエラーを出力する。これによって、縫製作業に用いるボタンの特徴についてあらかじめ設定をしていれば、あらかじめ設定された特徴にそぐわないボタンが誤って供給されることがなくなり、またボタンの向きが誤って供給されることを防止する。よって、ボタンの縫い付け品質が向上する。特に、ボタン自体正常であるが、ボタンの位置、向き、表裏といったボタンのセットの問題がある場合に、認識した結果をボタン供給装置の位置補正機構などに出力することにより、ミシンの正しい位置にボタンを供給することができる。
【００３３】
（ミシンのボタン画像認識処理装置の全体構成）
以下に記載するボタン画像認識処理装置１（図１参照）は、本発明によるミシンのボタン画像認識処理装置の一形態であり、ボタンＢを背景２ａごと撮像した画像からボタンＢを判別する画像認識処理装置である。
図１はボタン画像認識処理装置１の構成を示すブロック図である。
ボタン画像認識処理装置１は、既知の規則的な模様が付された平面を有し、当該平面が背景２ａとされる背景部材２と、背景２ａが付された平面の範囲内にある撮像対象物（ボタンＢ）を背景２ａごと撮像するカメラ３と、ボタンＢを光で照らす照明４と、ボタン画像認識処理装置１の各種情報を表示するモニタ５と、ボタン画像認識処理装置１の各部を制御するとともにカメラ３が撮像した画像からボタンＢの認識処理を行う画像処理装置１０と、を備えている。
【００３４】
図２はボタンＢと背景部材２の背景２ａとの関係の一例を示す上面図である。なお、図２（ａ）は整形不良がなく、かつ、所定の大きさのボタンＢが正しい向きで背景２ａのほぼ中央に置かれた場合、図２（ｂ）はボタンがない場合、図２（ｃ）は所定の大きさよりも大きいボタンＢＡが置かれた場合、図２（ｄ）はボタンＢの位置が背景２ａの中央からずれて置かれた場合、図２（ｅ）はボタンＢの一部が欠けているボタンＢＢが置かれた場合、図２（ｆ）は所定の大きさよりも小さいボタンＢＣが置かれた場合、図２（ｇ）はボタンＢの複数の穴部Ｂａの位置関係が図２（ａ）に示す当該位置関係に対して傾いている場合、図２（ｈ）は穴部の一部が誤った位置に形成されたボタンＢＤが置かれた場合、図２（ｉ）は穴部の一部が形成されていないボタンＢＥが置かれた場合の説明図である。
図１及び図２に示すように、背景部材２は、既知の規則的な模様が付された平面を有し、当該平面が背景２ａとされる。当該縞模様は等幅の白黒の縞模様であり、カメラ３に撮像された場合それぞれの縞が一定の幅（画素にして５画素分）の幅となるよう設けられている。また、図２に示すように、背景２ａの上面にボタンＢを乗せた状態で背景２ａ及びボタンＢを上方から見た場合、ボタンＢに覆われないボタンＢの外周より外側と穴部Ｂａ部分から背景２ａが覗いて見える。このとき、背景２ａはボタンＢを上から見た場合の範囲を十分にカバーでき、かつ、ボタンＢを背景２ａの中央においた場合にボタンＢの周囲に背景２ａが所定の幅以上覗いて見える広さを有するよう設けられている。
【００３５】
カメラ３は、背景２ａの上方に位置するよう設けられて、ボタンＢを背景２ａごと撮像する。このとき、カメラ３のピントを背景２ａに合わせて撮像する。カメラ３によって撮像された画像は画像処理装置１０へ入力される。
なお、カメラ３による画像は白黒であってもカラーであってもよいが、本実施の形態では白黒の画像を用いている。また、カメラ３から画像処理装置１０へ入力される画像はアナログの画像である。
【００３６】
照明４は、背景２ａ及びボタンＢに光を照射する。照明４は光量を調節可能であり、カメラ３によるボタンＢの撮像の際にカメラ３が受像する光量を適正に調節することができる。撮像の際には、方向、光量などが予め定められた一定の条件となるように照射が行われる。
モニタ５は、画像処理装置１０から各種の情報が出力されて表示される。モニタ５に表示される内容については後述する。但し、周囲の外光による反射光によりカメラ３により撮像画像が背景２とボタンＢとを認識可能であれば、必ずしも照明を画像処理装置１０に設ける必要はない。また、図１において、照明４が斜光照明となっているが落斜照明でも良い。
【００３７】
（画像処理装置）
画像処理装置１０は、ボタン画像認識処理装置１の各部を制御するとともにデジタル画像データＤからボタンＢを認識する処理を行う。画像処理装置１０は、カメラ３から入力されたアナログの画像をデジタル画像データＤへと変換するＡ／Ｄコンバータ１１と、画像認識処理装置１の各種の処理及び制御を行うＣＰＵ１２と、ＣＰＵ１２が行う処理において各種のプログラム及びデータを格納する領域として機能するＲＡＭ１３と、ＣＰＵ１２が行う処理において呼び出される各種プログラム及びデータを書き換え不能に記憶するＲＯＭ１４と、ＣＰＵ１２が行う処理において呼び出される各種プログラム及びデータを書き換え可能に記憶するＥＥＰＲＯＭ１５と、を備えている。また、図示しないが、画像処理装置１０には画像処理装置への各種設定を行う操作パネルが接続されている。
【００３８】
Ａ／Ｄコンバータ１１は、カメラ３から入力されたアナログの画像を複数の画素によるデジタル画像データＤへと変換してＣＰＵ１２へ出力する。デジタル画像データＤのそれぞれの画素は、一つの濃度値（輝度）を有する（図４参照）。
ＣＰＵ１２は、ＲＯＭ１４又はＥＥＰＲＯＭ１５から各種のプログラム及びデータを呼び出し、処理することでボタン画像認識処理装置１の各種の処理及び制御を行う。また、ＣＰＵ１２は、Ａ／Ｄコンバータ１１から入力されたデジタル画像データＤからボタンＢを判別する各種の処理を行う。ＣＰＵ１２は、ＲＯＭ１４から各種のプログラムを呼び出して順次実行することにより上述のボタンＢの判別処理を行う。このとき、デジタル画像データＤはＲＡＭ１３又はＥＥＰＲＯＭ１５に記憶される。
【００３９】
なお、画像処理装置１０は背景２ａの縞模様を既知のパターンとして保有しており、当該縞模様のパターンデータＨはＥＥＰＲＯＭ１５に記憶されている。また、ＥＥＰＲＯＭ１５はボタンの外周チェックデータ１５ｏ、穴部チェックデータ１５ｐ、濃淡チェックデータ１５ｑ及び方向チェックデータ１５ｒを記憶するための領域及び容量を有している。また、ＥＥＰＲＯＭ１５はあらかじめ外周チェックデータ１５ｏ、穴部チェックデータ１５ｐ、濃淡チェックデータ１５ｑ及び方向チェックデータ１５ｒのいずれか又は複数を既知のパターンとして保有していてもよい。ボタンＢの外周チェックデータ１５ｏ、穴部チェックデータ１５ｐ、濃淡チェックデータ１５ｑ及び方向チェックデータ１５ｒの詳細については後述する。
【００４０】
図３はＲＯＭ１４に記憶された各種プログラム及びＥＥＰＲＯＭ１５に記憶された各種データを示す説明図である。図３（ａ）はＲＯＭ１４に記憶された各種プログラムを、図３（ｂ）はＥＥＰＲＯＭ１５に記憶された各種プログラムを示す。
また、ＲＯＭ１４は、後述する撮像プログラム１４ａと、画質改善プログラム１４ｂと、背景情報判別プログラム１４ｃと、対象物有無チェックプログラム１４ｄと、背景輪郭チェックプログラム１４ｅと、外形情報取得プログラム１４ｆと、対象物エラーチェックプログラム１４ｇと、対象物内情報取得プログラム１４ｈと、対象物内エラーチェックプログラム１４ｉと、表裏判定プログラム１４ｊと、方向判定プログラム１４ｌとを記憶している。ＣＰＵ１２は、処理に応じてこれらのプログラムのいずれかを呼び出して実行することでカメラ３による画像からボタンＢの認識処理を行う。以降、ＣＰＵ１２が各プログラムを実行した場合の処理内容について詳説する。
【００４１】
まず、撮像プログラム１４ａについて詳説する。ＣＰＵ１２は、撮像プログラム１４ａを実行することで、カメラ３を制御してカメラ３にボタンＢを背景２ａごと撮像させ、当該撮影によって得られたアナログ画像をＡ／Ｄコンバータ１１を介してデジタル画像データＤに変換してＲＡＭ１３に記憶させる処理を行う。このとき、撮像された画像をモニタ５に表示させてもよい。なお、当該デジタル画像データＤは長方形あるいは正方形の白黒の多値画像データ（グレースケール）である。
また、ＣＰＵ１２は、画質改善プログラム１４ｂを実行することで、撮像プログラム１４ａによってＲＡＭ１３に記憶されたデジタル画像データＤのノイズを除去する処理を行う。なお、デジタル画像データＤのノイズ除去の方法については周知の技術であるので詳細は省略する。
【００４２】
次に、背景情報判別プログラム１４ｃについて詳説する。ＣＰＵ１２は、背景情報判別プログラム１４ｃを実行することで、デジタル画像データＤから背景の部分を認識する処理を行う。以下、当該処理について詳説する。
図４はデジタル画像データＤの一部を拡大した説明図である。なお、デジタル画像データＤの周囲に付された数値はデジタル画像データＤの画素の位置を説明するための指標である。
ＣＰＵ１２は、背景２ａの白黒の縞と直交する方向（図４の縦方向）について、背景２ａの白黒の縞の幅が所定の画素数ずつ交互に並んでいるかどうかを判別する。即ち、撮像範囲の画素の縦方向に沿って各画素の輝度を読み出して、白黒の横縞を撮像することにより得られるべきパターン通りかを撮像範囲の全ての列について判定する。白黒の横縞の場合、背景２ａであれば、所定画素数ごとに白と黒とが切り替わる変化を示すパターンが得られるはずである。このとき、背景２ａの白黒の縞の幅がデジタル画像データＤ上で縦方向に何画素分の幅となるのかはパターンデータＨとしてあらかじめ設定されＥＥＰＲＯＭ１５に記憶されており、図４においては当該幅が５画素分である場合を示している。また、「黒」、「白」と判定する輝度の範囲も予め設定されＥＥＰＲＯＭ１５に記憶されている。ＣＰＵ１２は、各列毎に上から５画素ずつ各画素の輝度を取得し、５画素とも背景２ａの縞模様に則した輝度であるかどうかを判定する。つまり、図４に示すデジタル画像データＤの場合、上から１〜５番目の画素は全部「黒」を示す輝度であるか、６〜１０番目の画素は全部「白」を示す輝度であるか、といったように順に５画素ずつ判定する。５画素とも背景に則した輝度である場合、ＣＰＵ１２はその５画素を背景２ａとして判別し、そうでなかった場合、その部分は背景でない、即ち撮像対象物であるボタンＢが写っている画像の範囲であると判別される。図４には、カメラにより撮像されたボタンＢの形状に対応する画素部分で「灰色」（図４の斑点部分）を示す輝度が取得されているようすが示されているが、ＣＰＵ１２による判別処理は縦方向に５画素単位で判別処理が行われるので、背景２ａとボタンＢとが判別される縦方向の画素の最小単位は５画素となり、実際のカメラの分解能よりも５倍荒い分解能で背景２ａとボタンＢとが区切られる。例えば、背景２ａとボタンＢとの境界は、図４における二点鎖線Ｐのように認識される。なお、誤差を考慮して、５画素に対して±αの許容幅を設けても良い（例えば、α＝１の場合、５画素中４画素が背景２ａと同じ輝度であれば、中に一つだけ異なる色彩が混じっていても背景と見なす処理が行われる）。
なお、撮像範囲の端縁部分は、単位模様が途中から撮像されている場合もあるので、繰り返しの単位模様が一度認識された位置から判別処理を開始するのが望ましい。
【００４３】
図５は、背景２ａとボタンＢとの境界線を示す説明図である。なお、図５（ａ）は背景情報判別プログラム１４ｃの判別によるボタンＢの上半分の境界線Ｌ１を示す図、図５（ｂ）は背景情報判別プログラム１４ｃの判別によるボタンＢの下半分の境界線Ｌ２を示す図、図５（ｃ）は後述する外形情報取得プログラム１４ｆによって合成されたボタンＢの外周データＬを示す説明図である。
ＣＰＵ１２は、まず１列目において一番上の画素から下方へ順次５画素単位で背景２ａとボタンＢとの判別を行い、ボタンＢとして判別される範囲が見つかるまで背景２ａとボタンＢとの判別を行う。ボタンＢとして判別される範囲が見つかった場合はそれより下方の範囲はボタンＢが存在するものとしてその時点でその列の判定は終了して次の列に移行し、ボタンＢとして判別される範囲が見つからなかった場合は当該列の最後の画素まで判別が終わった時点で次の列の１番目から下方へ順次５画素単位で背景とボタンＢとの判別を行い、以後繰り返す。その後、最後の列の判別が完了した時点で、図５（ａ）に示すように、背景２ａとボタンＢとが判別された境界線Ｌ１を境として背景２ａとボタンＢとの範囲の判別が行われる。その後、１列目において縦方向の一番下の画素から上方へ順次５画素単位で背景とボタンＢとの判別を行い、ボタンＢとして判別される範囲が見つかるまで背景とボタンＢとの判別を行う。ボタンＢとして判別される範囲が見つかった場合はそれより上方の範囲はボタンＢが存在するものとしてその時点でその列の判定は終了して次の列に移行し、ボタンＢとして判別される範囲が見つからなかった場合は当該列の画素における一番上の画素まで判別が終わった時点で次の列の一番下から上方へ順次５画素単位で背景とボタンＢとの判別を行い、以後繰り返す。このとき、下方から順次背景とボタンＢとの判別を行う処理については、上方から順次背景とボタンＢとの判別を行った結果、全て背景であると判別された列については判別処理を省略してもよい。この結果、図５（ｂ）に示すように、境界線Ｌ２を境として背景２ａとボタンＢとの範囲の判別が行われる。
なお、上記判別処理においては、判別時間を短縮するために、下方または上方へ向かう列毎の判別処理において、ボタンＢとして判別される範囲が見つかった場合はそれ以降のその列の範囲はボタンＢが存在するものとしてその列の画素の判別を省略しているが、この処理では、時間が短縮できる代わりに、ボタンＢの形状に一部欠損がある場合に、その欠損を判別できない可能性があるので、時間は短縮できないが、一番上の画素から一番下の画素まで、あるいは、一番下の画素から一番上の画素まで、ボタンＢの画素の検出の有無に関わらず省略すること無しに、全画素の判別を行っても良い。
【００４４】
なお、ボタンＢが透過性を有する場合、背景２ａの縞模様はボタンＢを透過するが、背景２ａがボタンＢを透過する過程において屈折が生じるような場合は、当該屈折によって背景２ａの規則性が失われるので、その部分は背景２ａとして判別されず、ボタンＢとして判別される。
【００４５】
次に、対象物有無チェックプログラム１４ｄについて詳説する。ＣＰＵ１２は、対象物有無チェックプログラム１４ｄを実行することで、背景情報判別プログラム１４ｃの実行によって背景２ａとして判別された範囲がデジタル画像データＤ全体であるかどうかを判定することで、背景２ａにボタンＢが乗っているかをチェックする。デジタル画像データＤ全体が背景として判別された場合、つまりボタンＢとして判別された範囲がデジタル画像データＤ上にまったくない場合、背景２ａの上面にボタンＢが乗っていないこととなる。よって、ＣＰＵ１２はボタンＢがない旨を示すエラーを出力する。一方、デジタル画像データＤ全体が背景として判別されていなかった場合、背景２ａの上面にボタンＢが乗っていることで背景２ａが遮られる部分ができ、背景２ａと判別されなかった範囲がボタンＢとして判別されたとみなされる。よってＣＰＵ１２はボタンＢがある旨を示す出力を行う。これによって図２（ｂ）に示すように、ボタンが置かれていない場合のデジタル画像データＤを判別できる。
【００４６】
次に、背景輪郭チェックプログラム１４ｅについて詳説する。ＣＰＵ１２は、背景輪郭チェックプログラム１４ｅを実行することで、ボタンＢが連続する所定範囲の背景２ａに囲まれるように配置されていること、すなわち輪郭部分の全方位に渡って所定−画素数分の連続する背景２ａがあるかどうかを判定する。即ち、背景輪郭チェックプログラム１４ｅは、ボタンＢが背景２ａからはみ出すように置かれていないか、あるいはボタンＢが背景２ａの中央から大幅に外れた位置に置かれていないかをチェックする。ＣＰＵ１２は、図４に示す画像データＤにおいてそれぞれ１〜１０の数値で示す上端から連続する１０画素分の行（画素の横の並び）及び左端から連続する１０画素分の列（画素の縦の並び）の範囲及び図示しないデジタル画像データＤの下端及び右端から連続する１０画素分の範囲が全て背景２ａとして判別されているかどうかをチェックする。すなわち、ＣＰＵ１２は、画像データＤの上下左右の端縁から連続する１０画素分の範囲（所定範囲）が全て背景２ａとして判別されるか否かにより、ボタンＢが背景２ａからはみ出すように置かれていないか、あるいはボタンＢが背景２ａの中央から大幅に外れた位置に置かれていないかをチェックする。当該範囲が全て背景として判別されていない場合、即ちボタンＢとして判別された範囲が当該範囲に含まれていた場合、ボタンＢは背景２ａからはみ出すように置かれているか、あるいははみ出ないまでも背景２ａの中央から大幅にずれた位置に置かれていると判定される。よって、背景輪郭チェックプログラム１４ｅはボタンＢが背景２ａからはみ出ているか、あるいは背景２ａの中央から大幅にずれた位置に置かれている旨を示すエラーを出力する。一方、当該範囲が全て背景として判別されていた場合、ボタンＢは背景２ａからはみ出たり、背景２ａの中央から大幅にずれた位置に置かれたりすることなく、凡そ正しい位置に置かれていると判定される。よって、ＣＰＵ１２はボタンＢが正しい位置に置かれている旨を示す出力を行う。これによって図２（ｃ）に示すようにボタンＢＡの大きさが大きいために背景２ａの輪郭の一部を覆っている場合や、図２（ｄ）に示すようにボタンＢの置かれている位置が背景２ａの中央からずれている場合のデジタル画像データＤを判別できる。
なお、上述においては１０画素分をデジタル画像データＤの輪郭として処理しているが、上述と異なる画素数を輪郭として設定可能であることは言うまでもない。
また、上述においてはデジタル画像データＤの上下左右のそれぞれの側縁から連続する１０画素分の背景２ａを示す画素が判別されない場合に、ボタンＢの背景２ａからのはみ出しやボタンＢの背景２ａの中央から大幅のズレをチェックしているが、単に、デジタル画像データＤの全体にわたって、縦方向と横方向それぞれについて１０画素連続して背景２ａとして判別できない部分が存在する場合に、同様の判定を行っても良い。
また、背景情報判別プログラム１４ｃにより取得した境界線の画像データＤ中の位置によって、同様の判定を行っても良い。
【００４７】
次に、外形情報取得プログラム１４ｆについて詳説する。ＣＰＵ１２は、外形情報取得プログラム１４ｆを実行することで、背景情報取得プログラム１４ｃによってボタンＢとして判別された範囲の外周を示すデータ（外周データ）を合成する。具体的には、図５（ｃ）に示すように、境界線Ｌ１と境界線Ｌ２とを合成して境界線Ｌ１の内側であって、かつ、境界線Ｌ２の内側である範囲をボタンＢの範囲としてみなし、その範囲を取り巻く境界線Ｌ１、Ｌ２の一部分を連結してボタンＢの外周データＬとする。
また、後述する自動チェックモードがＯＮの場合は、ＣＰＵ１２は外周データをＥＥＰＲＯＭ１５に記憶する。
【００４８】
次に、対象物エラーチェックプログラム１４ｇについて詳説する。ＣＰＵ１２は、対象物エラーチェックプログラム１４ｇを実行することで、ボタンＢの外周チェックデータがあらかじめ記憶されていた場合に、外形情報取得プログラム１４ｆの実行によって取得されたボタンＢの外周データと外周チェックデータ１５ｏとを比較する。
図６は外周チェックデータ１５ｏと外周データＬとの関係を示す説明図である。外周チェックデータ１５ｏは、図６に示すボタンＢの外周の境界線が位置すべき画素の範囲Ｆ１を示すデータであり、上述のようにＥＥＰＲＯＭ１５に記憶されている。ＣＰＵ１２は、外周データＬの示すボタンＢの外周の位置が全て範囲Ｆ１内に含まれるかどうかの判定を行う。これによって、図２（ｅ）に示すようにボタンＢの一部が欠けているボタンＢＢが置かれた場合や、図２（ｆ）に示すように所定の大きさよりも小さいボタンＢＣが置かれた場合、また背景２ａに対してボタンＢが大きく位置ズレを生じて配置されている場合のデジタル画像データＤを判別できる。
【００４９】
上述の比較処理により、ＣＰＵ１２はデジタル画像データＤに写ったボタンＢの外周の形状及びボタンＢの大きさが外周チェックデータ１５ｏに設定されたボタンと合致するかどうか判定する。このとき、ボタンＢの外周データが外周チェックデータ１５ｏに合致しないと判定された場合、ＣＰＵ１２はボタンＢの形状、配置あるいは大きさが異常である旨を示すエラーを出力する。一方、ボタンＢの外周データが外周チェックデータ１５ｏに合致すると判定された場合、ＣＰＵ１２はボタンＢの形状、配置及び大きさに問題がない旨を示す出力を行う。これによって、ボタンＢの形状があらかじめ設定された外周チェックデータ１５ｏと一致しない場合のデジタル画像データＤを判別できる。
【００５０】
次に、対象物内情報取得プログラム１４ｈについて詳説する。ＣＰＵ１２は、対象物内情報取得プログラム１４ｈを実行することにより、ボタンＢとして判別された範囲内において背景２ａとボタンＢとの判別を行い、その後ボタンＢの穴部の周囲を示すデータ（穴部データ）及び背景情報判別プログラム１４ｃによってボタンＢとして判別された範囲から穴部Ｂａを除いた範囲の各画素の輝度を示す濃淡パターンデータを取得する処理を行う。
図７はボタンＢの一つの穴部Ｂａの周囲を拡大視したデジタル画像データＤの一部を示す説明図である。ボタンＢとして判別された範囲内における背景２ａとボタンＢとの判別処理については、上述の背景情報判別プログラム１４ｃの処理と同様の仕組みで行う。具体的には、ボタンＢの外周が位置する最も若い数値（最も左側）の列から順番に各列の一番上の画素から順次５画素単位で背景２ａとボタンＢとの判別処理を行う。このとき、ボタンＢの範囲内で背景２ａとして判別された範囲は、ボタンＢの穴部Ｂａとして判別される。つまり、図７に示すように、二点鎖線Ｑ１の内側が穴部Ｂａとして判別され、二点鎖線Ｑ１は穴部Ｂａのうちひとつの輪郭を示す。
なお、対象物内情報取得プログラム１４ｈによる背景２ａとボタンＢとの判別処理範囲はあらかじめ設定した所定の範囲内に限ることも可能である。例えば、図２に示すボタンＢの穴部Ｂａが設けられているおおよその位置があらかじめ特定できる場合には、穴部Ｂａが設けられている位置に対応する画素の位置及びその周辺を所定の範囲として設定することで、背景２ａとボタンＢとの判別処理を行う範囲を少なくして処理時間を短縮することが可能となる。
よって、ＣＰＵ１２は、上述の背景情報判別プログラム１４ｃ、外形情報取得プログラム１４ｆ及び対象物内情報取得プログラム１４ｈを実行することで、背景２ａの規則性（例えば５画素ずつの縞模様）を有する模様から背景２ａを判別し、背景２ａと判別されなかった部分をボタンＢと判定する処理を行う「判別手段」として機能する。
上述の背景２ａとボタンＢとの判別処理が終わると、ＣＰＵ１２は、全ての穴部Ｂａの輪郭の位置を穴部データとして取得すると共に、前述したボタンの外周データＬと穴部データとに基づいて全撮像範囲の撮像データからボタンＢの範囲内であって穴部を除いた範囲を抽出し、穴部を除いたボタンＢの正面上の濃淡パターンデータを取得する。なお、穴部データには独立した穴部の数も併せて取得される。
なお、以降の対象物内に関わる処理では、穴部データに基づいて、デジタル画像データＤまたはデジタル画像データＤから取得した情報に対して、必要に応じて対象物の向きが正しくなるように、画像データＤまたは対応する情報を変換する方向変換処理を行う。
【００５１】
次に、対象物内エラーチェックプログラム１４ｉについて詳説する。ＣＰＵ１２は、対象物内エラーチェックプログラム１４ｉを実行することで、ＥＥＰＲＯＭ１５に穴部チェックデータ１５ｐがあらかじめ記憶されていた場合、対象物内情報取得プログラム１４ｈによって取得された穴部データと穴部チェックデータ１５ｐとを比較する処理を行う。
図８は穴部チェックデータ１５ｐと穴部データとの関係を示す説明図である。穴部チェックデータ１５ｐは、図８に示すボタンＢの穴部の輪郭が位置すべき範囲Ｆ２を示すと共に、独立したＦ２の範囲の数即ちボタンの穴部の数をチェックするデータであり、上述のようにＥＥＰＲＯＭ１５に記憶されている。ＣＰＵ１２は、穴部データの示すボタンＢの穴部Ｂａの輪郭Ｑが全て範囲Ｆ２内に含まれるかどうかの判定を行うと共に、穴部データに含まれる独立した穴部の数と穴部チェックデータの独立したＦ２の範囲の数とを比較する。これによって、図２（ｇ）に示すようにボタンＢの複数の穴部の位置関係が正しい位置関係に対して傾いている場合、図２（ｈ）に示すようにボタンの穴部の一部が誤って形成されたボタンＢＤ及び図２（ｉ）に示すようにボタンの穴部の一部が形成されていないボタンＢＥのデジタル画像データＤを判別できる。
【００５２】
上述の比較処理により、ＣＰＵ１２はデジタル画像データＤに写ったボタンＢの穴部Ｂａの大きさ、位置及び数が穴部チェックデータ１５ｐと合致するかどうか判定する。デジタル画像データＤ穴部データと穴部チェックデータ１５ｐとが合致しないと判定された場合、ＣＰＵ１２はボタンＢの穴部Ｂａに異常がある旨を示すエラーを出力する。一方、デジタル画像データＤ穴部データと穴部チェックデータ１５ｐとが合致すると判定された場合、ＣＰＵ１２はボタンＢの穴部Ｂａに問題がない旨を示す出力を行う。
【００５３】
次に、表裏判定プログラム１４ｊについて詳説する。ＣＰＵ１２は、表裏判定プログラム１４ｊを実行することで、ＥＥＰＲＯＭ１５に濃淡チェックデータ１５ｑがあらかじめ記憶されていた場合に、対象物内情報取得プログラム１４ｈによって取得されたボタンＢとして判別された範囲の画像の濃淡パターンデータからボタンＢの表裏を判定する。
図９はボタンＢの表裏の一例を示す説明図である。なお、図９（ａ）はボタンの表を、図９（ｂ）はボタンの裏を示す。
図９（ａ）に示すように、ボタンＢの表に段差Ｂｂが設けられている場合、段差Ｂｂとその外周部Ｂｃとの間で画像の濃淡差が生じる。一方、図９（ｂ）に示すようにボタンＢの裏には段差がないので、表の場合のような濃淡差は生じない。また、濃淡チェックデータ１５ｑはボタンの表及び裏をそれぞれ撮像した場合の画像の濃淡を示すデータであり、そのデータ構造は対象物内情報取得プログラム１４ｈによって取得された濃淡パターンデータと同様、穴を除いたボタン画像の各画素の輝度を示す濃淡パターンデータである。つまり、ＣＰＵ１２は対象物内情報取得プログラム１４ｈで得られた濃淡パターンデータとボタンＢの表側（裏側）を表すデータ（表パターン）として予め設定されていた濃淡チェックデータ１５ｑとを比較し、デジタル画像データＤに写ったボタンＢの表裏を判定する。
【００５４】
当該判定は、濃淡チェックデータ１５ｑを基準とした近似値判定処理を行う。具体的には、濃淡チェックデータ１５ｑの各画素と濃淡パターンの各画素についてそれぞれ濃度を数値化し、対応する位置の画素の濃度について濃淡チェックデータ１５ｑの濃度の数値に対して濃淡パターンの濃度の数値が所定の近似値の範囲内であるかどうかをチェックする。このとき、一定以上の割合の画素が近似値以内であれば合致したものとみなし、そうでなければ合致しないものとみなす。
よって、ＣＰＵ１２は近似値判定処理において濃淡パターンが濃淡チェックデータ１５ｑの表パターンに合致した場合、即ち表向きであると判定した場合は問題がない旨を示す出力を行う。一方、濃淡パターンと表パターンとが合致しなかった場合、ＣＰＵ１２はさらに濃淡パターンと濃淡チェックデータ１５ｑに含まれる裏を撮像した場合のデータ（裏パターン）とを比較する。このとき、濃淡パターンと裏パターンとが合致した場合、即ちデジタル画像データＤに写ったボタンＢが裏向きであると判定した場合にボタンが裏向きである旨を示すエラーを出力する。また、濃淡パターンが表パターン及び裏パターンのいずれにも一致しなかった場合は、ボタンＢは濃淡チェックデータ１５ｑに設定されたボタンの表でも裏でもない濃淡パターンを示すボタン、即ちボタンの色、文字や模様等の装飾又は立体構造等の特徴が異なることによって撮像時の濃淡パターンが異なる種類のボタンであると考えられる。よって、ＣＰＵ１２はボタンＢが異なる種類のボタンであると判別し、ボタンの種類が異なる旨のエラーを出力する。これによって、ボタンの色、文字や模様等の装飾又は立体構造等の特徴が異なるボタンを判別することが可能となる。
よって、ＣＰＵ１２は、表裏判定プログラム１４ｊを実行することによりデジタル画像データＤに撮像されたボタンＢの濃淡パターンデータがあらかじめ設定された濃淡チェックデータ１５ｑ即ちボタンの特徴によって撮像時に生じる濃淡パターンを有するかを判別する「特徴判別手段」として機能する。なお、表裏判定において用いる画像は、表裏判定が可能であれば、ボタンの表面または裏面の一部の画像でも良いことは勿論である。
【００５５】
なお、ボタンが段差Ｂｂのように回転しても一定の形状ではないような表面上の特徴を有する場合には、表裏判定プログラム１４ｊによる表裏判定に替えて以下の方向判定プログラム１４ｌによる方向判定を行っても良い。
次に、方向判定プログラム１４ｌについて詳説する。ＣＰＵ１２は、方向判定プログラム１４ｌを実行することで、ＥＥＰＲＯＭ１５に方向チェックデータ１５ｒがあらかじめ設定されていた場合に、対象物内情報取得プログラム１４ｈの実行によって取得されたボタンＢとして判別された範囲の画像の濃淡パターンデータからボタンＢがあらかじめ設定されたボタンＢの向きであるかどうかを判定する。
【００５６】
図１０は方向判定プログラム１４ｌによるボタンＢの判定領域の一例を示す説明図である。図１０（ａ）はボタンＢに文字Ａがプリントされている場合の方向判定を行う際の判定領域Ｂ１の一例を示す説明図、図１０（ｂ）は方向チェックデータ１５ｒであるｂ１の一例を示す説明図である。
例えば、図１０（ａ）に示すように、ボタンＢに文字Ａがプリントされている場合、ＣＰＵ１２は、文字Ａの向きを判定するための判定領域Ｂ１を設定して当該領域内の画像の濃淡パターンデータをそれぞれ取得する。次に、方向判定プログラム１４ｌはあらかじめ設定された文字Ａの正しい方向を示す方向チェックデータ１５ｒをＥＥＰＲＯＭ１５から呼び出して、上述のＢ１から取得した画像の濃淡パターンデータとそれぞれ比較する。なお、方向チェックデータ１５ｒは、図１０（ｂ）に示すように、ボタンとして判定される範囲内においてボタンの方向を判定するためのｂ１に示す一部分のみに限定した濃淡パターンデータである。当該比較は、デジタル画像データＤに対し、方向チェックデータ１５ｒを基準として方向チェックデータ１５ｒに対応する位置のボタンＢの画像の濃淡パターンの近似値判定処理を行う。このとき、図１０（ａ）と図１０（ｂ）の対応関係のように、Ｂ１とｂ１が一致した場合、ＣＰＵ１２はボタンＢの方向が正しい方向であると判定し、ボタンＢに問題がない旨を示す出力を行う。一方、Ｂ１とｂ１が一致しなかった場合、ボタンＢの方向が異なっていると判定し、デジタル画像データＤまたは方向チェックデータ１５ｒを回転させ、両者が一致した場合には、その回転方向と回転角度とを外部に出力し、デジタル画像データＤまたは方向チェックデータ１５ｒのいずれか一方を３６０°回転させても一致しない場合には、エラーを出力する。
【００５７】
なお、上述の判定領域Ｂ１の位置、領域の広さ、形状及びあらかじめ設定される濃淡パターンｂ１はあくまで一例であり、ボタンＢの方向判定の基準となる模様その他の特徴によって個別に設定可能である。また、方向チェックデータ１５ｒはボタンＢに施された文字Ａの濃淡パターンに限らず、濃淡パターンの比較処理によってボタンＢの方向を判別できる特徴であれば何でもよい。
よって、ＣＰＵ１２は、方向判定プログラム１４ｌを実行することによりデジタル画像データＤに撮像されたボタンＢの濃淡パターンがあらかじめ設定されたボタンの特徴によって撮像時に生じる濃淡パターンを有するかを判別する「特徴判別手段」として機能する。
【００５８】
（自動チェックモード）
次に、自動チェックモードについて説明する。自動チェックモードは、外形情報取得プログラム１５ｆによって取得されたボタンＢの外周データを外周チェックデータ１５ｏとしてＥＥＰＲＯＭ１５に記憶し、対象物内情報取得プログラム１４ｈによって取得された穴部データを穴部チェックデータ１５ｐとして、濃淡パターンデータを濃淡チェックデータ１５ｑとして記憶する画像処理装置１０の設定である。つまり、自動チェックモードを用いることで、カメラ３によって撮像されたボタンＢの画像を元に外周チェックデータ１５ｏ、穴部チェックデータ１５ｐ及び濃淡パターンデータを設定可能となる。なお、外周データＬから外周チェックデータ１５ｏを設定する場合、外周データＬが示す外周の位置を基準とした閾値の範囲を別途設定しておく必要がある。つまり、ＣＰＵ１２は外周データＬが示すボタンの外周の形状を中心線として、設定された閾値の範囲の誤差を持った範囲データを外周チェックデータ１５ｏとしてＥＥＰＲＯＭ１５に記憶する。また、穴部データから穴部チェックデータ１５ｐを設定する場合も同様に穴部データが示す穴部の輪郭を基準とした閾値の範囲を別途設定しておく必要がある。つまり、ＣＰＵ１２は穴部データが示すボタンの穴部の形状を中心線として、設定された閾値の範囲の誤差を持った範囲データを穴部チェックデータ１５ｐとしてＥＥＰＲＯＭ１５に記憶する。このとき、穴部チェックデータ１５ｐには独立した穴部の数も併せて記憶される。また、濃淡パターン設定時は、取得された濃淡パターンが表の画像の濃淡（表パターン）であるか、裏の画像の濃淡（裏パターン）であるかを別途設定する必要がある。自動チェックモードの設定は図示しない操作パネルによってＯＮ／ＯＦＦの切替が可能である。
よって、ＣＰＵ１２は、対象物内情報取得プログラム１４ｈを実行することで以前に撮像されたボタンの撮像画像であるデジタル画像データＤからボタンＢの特徴を示すボタンＢの画像の濃淡パターンを取得して設定する「特徴取得手段」として機能する。
【００５９】
なお、自動チェックモードは、最近のボタンＢのデジタル画像データＤを逐次記憶するようにしてもよいし、最初に記憶されたボタンＢのデジタル画像データＤを以後継続して用いるようにしてもよい。また、ひとつのデジタル画像データＤに限らず、数回分の撮像によって得られたボタンＢのデジタル画像データＤに基づく平均値（画素の位置又は画素の濃度値）を算出して記憶し、当該平均値を用いるようにしてもよい。
また、自動チェックモードの実行時でも、背景輪郭チェックプログラム１４ｅ、対象物エラーチェックプログラム１４ｇ、対象物内エラーチェックプログラム１４ｉの実行時にエラー判定がなされた場合には、その時の撮像によるデジタル画像データＤに基づく外周チェックデータ１５ｏ、穴部チェックデータ１５ｐ及び濃淡パターンの設定は行わないように処理することが望ましい。表裏判定プログラム１４ｊにより表面以外の判定がされた場合も同様である。
また、自動チェックモードにおいて取得された濃淡パターンの一部を用いて方向チェックデータ１５ｒとするよう設定可能にしてもよい。
【００６０】
（ミシンのボタン画像認識処理装置の動作）
次に、ミシンのボタン画像認識処理装置１の動作について詳説する。図１１及び図１２はミシンのボタン画像認識処理装置１の動作を示すフロー図である。なお、図１１はステップＳ１からステップＳ１０までを、図１２はステップＳ１１からステップＳ２１までを示す。
まず、ＣＰＵ１２が撮像プログラム１４ａを実行することにより、カメラ３によってボタンＢが背景２ａごと撮像され、そのデジタル画像データＤがＲＡＭ１２に記憶される（ステップ１）。次に、ＣＰＵ１２は画質改善プログラム１４ｂを実行してデジタル画像データＤのノイズ除去処理を行う（ステップＳ２）。
【００６１】
次に、ＣＰＵ１２は背景情報判別プログラム１４ｃを実行してデジタル画像データＤの背景２ａとボタンＢとの判別を行う（ステップＳ３（判別工程））。次に、ＣＰＵ１２は対象物有無チェックプログラム１４ｄを実行してステップＳ３において背景２ａと判別された範囲がデジタル画像データＤ全体であるかどうかの判定を行う（ステップＳ４）。デジタル画像データＤが全て背景２ａであった場合（ステップＳ４：ＹＥＳ）、エラーを出力する（ステップＳ２０）。デジタル画像データＤが全て背景２ａではなかった場合（ステップＳ４：ＮＯ）、ＣＰＵ１２は背景輪郭チェックプログラム１４ｅを実行して輪郭に所定の画素数分の連続する背景２ａがあるか否かにより、ボタンＢが連続する所定範囲の背景２ａに囲まれて配置されているかを判定する（ステップＳ５）。輪郭に所定の画素数分の連続する背景２ａとして判別されなかった部分が含まれていた場合（ステップＳ５：ＮＯ）、エラーを出力する（ステップＳ２０）。輪郭が全て所定の画素数分の連続する背景２ａとして判別されていた場合（ステップＳ５：ＹＥＳ）、ＣＰＵ１２は外形情報取得プログラム１４ｆを実行してボタンＢの外周データを取得する（ステップＳ６）。
【００６２】
次に、ＣＰＵ１２は外周チェックデータ１５ｏがＥＥＰＲＯＭ１５に記憶されているかどうか判定する（ステップＳ７）。外周チェックデータ１５ｏがあらかじめ記憶されている場合（ステップＳ７：ＹＥＳ）、ＣＰＵ１２は対象物エラーチェックプログラム１４ｇを実行してステップＳ６で得られたボタンＢの外周データが外周チェックデータ１５ｏに合致するかどうか判定する（ステップＳ８）。合致しない場合（ステップＳ８：ＮＯ）、エラーを出力する（ステップＳ２０）。合致する場合（ステップＳ８：ＹＥＳ）、ＣＰＵ１２は自動チェックモードがＯＮであるかどうか判定する（ステップＳ９）。自動チェックモードがＯＦＦの場合（ステップＳ９：ＮＯ）、ＣＰＵ１２は対象物内情報取得プログラム１４ｈを実行して範囲内において背景２ａとボタンＢとの判別を行い（判別工程）、ボタンＢの穴部データ及び濃淡パターンを取得する（ステップＳ１１）。自動チェックモードがＯＮの場合（ステップＳ９：ＹＥＳ）、ステップＳ６において取得されたボタンＢの外周データを次のボタンＢの撮像以降で使用される外周チェックデータ１５ｏとしてＥＥＰＲＯＭ１５に記憶し（ステップＳ１０）、その後上述のステップＳ１１の処理を行う。なお、ステップＳ７において外周チェックデータ１５ｏが記憶されていない場合（ステップＳ７：ＮＯ）、ステップＳ９の処理に移行する。
【００６３】
次に、ＣＰＵ１２はＥＥＰＲＯＭ１５に穴部チェックデータ１５ｐが記憶されているかどうか判定する（ステップＳ１２）。穴部チェックデータ１５ｐが記憶されている場合（ステップＳ１２：ＹＥＳ）、ＣＰＵ１２は対象物内エラーチェックプログラム１４ｉを実行してステップＳ１１で得られたボタンＢの穴部データが穴部チェックデータ１５ｐに合致するかどうか判定する（ステップＳ１３）。合致しない場合（ステップＳ１３：ＮＯ）、エラーを出力する（ステップＳ２０）。合致する場合（ステップＳ１３：ＹＥＳ）、ＣＰＵ１２は自動チェックモードがＯＮであるかどうか判定する（ステップＳ１４）。自動チェックモードがＯＦＦの場合（ステップＳ１４：ＮＯ）、ＣＰＵ１２はＥＥＰＲＯＭ１５に濃淡チェックデータ１５ｑが記憶されているかどうか判定する（ステップＳ１６）。自動チェックモードがＯＮの場合（ステップＳ１４：ＹＥＳ）、ステップＳ１１において取得されたボタンＢの穴部データを次のボタンＢの撮像以降で使用される穴部チェックデータ１５ｐとして記憶し、濃淡パターンデータを次のボタンＢの撮像以降で使用される濃淡チェックデータ１５ｑとしてＥＥＰＲＯＭ１５に記憶し（ステップＳ１５（特徴取得工程））、その後上述のステップＳ１６の処理を行う。なお、ステップＳ１２において穴部チェックデータ１５ｐが記憶されていない場合（ステップＳ１２：ＮＯ）、ステップＳ１４の処理に移行する。
【００６４】
ステップＳ１６において濃淡チェックデータ１５ｑが記憶されている場合（ステップＳ１６：ＹＥＳ）、ＣＰＵ１２は表裏判定プログラム１４ｊを実行してステップＳ１１で得られた濃淡パターンとＥＥＰＲＯＭ１５の濃淡チェックデータ１５ｑの表パターンとからボタンＢが表向きであるかどうか判別する（ステップＳ１７（特徴判別工程））。ステップＳ１７においてボタンＢが表ではないと判定された場合（ステップＳ１７：ＮＯ）、ＣＰＵ１２は濃淡パターンとＥＥＰＲＯＭ１５の濃淡チェックデータ１５ｑの裏パターンとからボタンＢが裏向きであるかどうか判別する（ステップＳ１８（特徴判別工程））。ステップ１８においてボタンが裏と判定された場合（ステップＳ１８：ＹＥＳ）、ボタンが裏である旨のエラーを出力する（ステップＳ２０）。ステップＳ１８においてボタンが裏でない、即ち表パターンとも裏パターンとも合致しない場合（ステップＳ１８：ＮＯ）、ボタンが異なる種類であると判別され（ステップＳ１９）、ボタンの種類が異なる旨のエラーを出力する（ステップＳ２０）。
【００６５】
ステップＳ４〜１８において何らかのエラー出力が行われるか（ステップＳ２０）、あるいはステップＳ１７においてボタンＢが表向きと判定された場合、モニタ５にボタンＢの判定結果が表示される（ステップＳ２１）。なお、モニタ５に表示されるボタンＢの判定結果は、エラーの有無を示す情報でもよいし、エラーの種別を示す情報でもよい。また、撮像されたデジタル画像データＤを表示してもよい。
また、ボタン画像認識処理装置がボタン供給装置に搭載されている場合には、ステップＳ１７でボタンが表向きと判定された場合に、ミシンへの供給が行われることとなる。
【００６６】
（本実施の形態によるボタン画像認識処理装置の作用効果）
上述の実施の形態によれば、ＣＰＵ１２が背景情報判別プログラム１４ｃ及び対象物内情報取得プログラム１４ｈを実行することで実施される判別工程において背景２ａの規則的な白黒の縞模様を有しない範囲をボタンＢとして判別する。このとき、背景２ａのパターン（例えば縦方向に５画素ずつ白黒の縞模様があるパターン）に従っているかにより識別を行うので、例えボタンＢに背景２ａと濃度が近い部分が存在したとしても、その前後の部分を含めて背景のパターンと一致しない限り誤認を生じない。また、ボタンの模様や凹凸とボタンの穴との識別も正確に行うことが可能である。よって、ボタンＢの形状、色、模様その他の特徴に関らず背景の規則的な模様を有するか否かのみでボタンＢを判別することが可能となる。よって、より好適にボタンＢを判別できる。
また、ボタンＢの穴部Ｂａは、背景２ａの規則的な模様が覗くことにより背景２ａとして判別される。よって、従来技術のように撮像対象物の内側に設けられた穴部（例えばボタンの穴部等）を抽出できないといった問題点を解消でき、より好適にボタンＢの形状を判別することが可能となる。よって、より一層好適にボタンＢを判別できる。
さらに、ボタンＢが透過性を有する場合であっても、背景２ａがボタンＢを透過することで屈折を生じる場合であれば、屈折を生じた部分は背景２ａの規則性を失うので背景２ａとして判別されず、ボタンＢとして判別される。よって、透過性を有する撮像対象物の場合、背景と撮像対象物との濃度の急変部分が生じず、撮像対象物の外周の形状が抽出できないことがあるといった従来技術の問題点を解消できる。よって、より一層好適にボタンＢを判別できる。
【００６７】
さらに、カメラ３のピントを背景２ａに合わせるので、ボタンの厚みや立体構造に関らず背景２ａを常に好適に撮像可能となる。よって、より好適に背景２ａの規則的な模様を判別可能となり、背景２ａとボタンＢとの誤認の可能性を大幅に低減することが可能となる。よって、より一層好適にボタンＢを判別できる。
【００６８】
さらに、ＣＰＵ１２が表裏判定プログラム１４ｊ及び方向判定プログラム１４ｌを実行することで実施される特徴判別工程において、ボタンＢとして判別された画像の範囲の濃淡パターンからあらかじめ設定された濃淡チェックデータ１５ｑあるいは方向チェックデータ１５ｒと合致するかどうかを判別する。つまり、まずデジタル画像データＤから背景２ａとして判別される範囲を除外してボタンＢとして判別される範囲を特定した後、ボタンＢの範囲の濃淡パターンに対して濃淡チェックデータ１５ｑと合致するかどうかを判別する。これによって、濃淡チェックデータ１５ｑと合致するする範囲をデジタル画像データＤの全体から探す場合に比べ、比較処理の範囲をボタンＢとして判別された範囲に限定することができる。よって、比較処理の負荷を軽減し、処理時間を短縮することができる。
【００６９】
また、ＣＰＵ１２が表裏判定プログラム１４ｊを実行することで、ボタンの表を撮像した場合の画像の濃淡チェックデータ１５ｑとデジタル画像データＤのボタンＢの濃淡パターンとから、ボタンＢの表裏を判別する。これによって、ボタンＢが裏向きになっていないかどうかを判別することが可能となる。従って、例えば縫い付け前にボタンＢの表裏判定を行うことで、誤ってボタンＢを裏返した状態で縫い付けてしまうといった事態をなくすことができ、縫い品質が大幅に向上する。
さらに、ＣＰＵ１２が方向判定プログラム１４ｌを実行することで、ボタンＢの向きを判別する。これによって、撮像対象物に施された文字や模様等の装飾の向きを判別できないといった従来技術の問題点を解消でき、撮像対象物の特徴をより詳細に判別できる。
【００７０】
さらに、自動チェックモードがＯＮの場合、ＣＰＵ１２が背景情報判別プログラム１２ｃ及び対象物内情報取得プログラム１４ｈを実行することにより実施される特徴取得工程において、デジタル画像データＤのボタンＢの範囲からボタンＢの外周データ、穴部データ及び濃淡パターンを取得して、外周チェックデータ１５ｏ、穴部チェックデータ１５ｐ及び濃淡チェックデータ１５ｑとして設定する。よって、ボタンＢを正しく撮像した場合のデジタル画像データＤを以後の外周チェックデータ１５ｏ、穴部チェックデータ１５ｐ及び濃淡チェックデータ１５ｑとして利用することが可能となる。従って、外周チェックデータ１５ｏ、穴部チェックデータ１５ｐ及び濃淡チェックデータ１５ｑを設定するための専用の情報やデータ等を別途設ける必要がなくなる。よって、外周チェックデータ１５ｏ、穴部チェックデータ１５ｐ及び濃淡チェックデータ１５ｑの設定の手間を大幅に軽減することが可能となる。
【００７１】
（その他）
なお、上述の実施の形態ではミシンのボタン画像認識処理装置について記載しているが、ボタン画像認識処理装置１と同様の特徴を有する構成及びその動作の工程によってミシンのボタン以外の画像認識処理を行うことも可能である。
【００７２】
また、上述の実施の形態における背景部材２の背景２ａは縞模様に限定されない。
図１３は、実施の形態における背景２ａとは異なる規則性を有する背景の一例を示す説明図である。なお、図１３（ａ）は規則的なチェック模様の背景２ｂ、図１３（ｂ）は規則的な斜めの縞模様の背景２ｃの説明図である。
例えば、図１３（ａ），（ｂ）に示すように、規則性を有する背景であれば背景として判別されない範囲を撮像対象物（例えばボタン）として判別可能である。この場合、パターンデータＨにも図１３（ａ），（ｂ）に対応するデータを記憶させておく必要がある。なお、規則性を有する模様であれば他の模様でもよいことは言うまでもない。
また、背景２ａを判別する際の方向に関しては、上述の実施の形態では、縦方向であるが、使用する模様の形状によっては、横方向や斜め方向でも良い。
【００７３】
また、上述の実施の形態ではカメラ３の撮像画像を白黒の多値画像（グレースケール）としているが、カラー画像でもよい。その場合、濃淡パターンはカラーパターン、濃淡チェックデータ１５ｑはあらかじめ設定されたカラーパターンデータとして比較処理を行う。
また、上述の実施の形態ではカメラ３によって撮像されたアナログ画像をＡ／Ｄコンバータ１１でデジタル画像データＤに変換しているが、カメラ３をＣＣＤイメージセンサやＣＭＯＳイメージセンサ等を用いたデジタルカメラとして直接デジタル画像データＤをＣＰＵ１２に出力し、Ａ／Ｄコンバータ１１を省略してもよい。
また、上述の実施の形態における背景２ａの縞模様の規則性の基準となる画素数（５画素）や、背景の輪郭の画素数（１０画素）といった各数値設定はあくまで一例であり、他の数値設定を用いてもよいことは言うまでもない。また、背景２ａの縞模様の規則性の閾値を一意の値（５画素）ではなく、一定の数値範囲内（例えば４〜６画素）としてもよい。
また、背景に用いる模様の濃淡の度合いや形状及び濃淡部分の割合等は、規則的であれば、種々利用可能である。
また、本発明においては、撮像対象物の判別において撮像画像の背景の規則性を有する範囲とそうでない範囲の区別ができればよく、背景の規則性を有する範囲の判別処理方法は上述の実施の形態に限定されない。例えば、デジタル画像データＤをフーリエ変換して、背景模様の周波数成分を特定の値として他の部分の周波数成分と区別した上で、フーリエ逆変換した画像から背景模様と対称物の画像のそれぞれを２値画像として抽出し、エッジ検出やラベリングなどの既存の画像認識方法で位置情報を取得しても良い。
【図面の簡単な説明】
【００７４】
【図１】ボタン画像認識処理装置の構成を示すブロック図である。
【図２】ボタンと背景部材の背景２ａとの関係の一例を示す上面図である。なお、図２（ａ）は整形不良がなく、かつ、所定の大きさのボタンが正しい向きで背景のほぼ中央に置かれた場合、図２（ｂ）はボタンがない場合、図２（ｃ）は所定の大きさよりも大きいボタンが置かれた場合、図２（ｄ）はボタンの位置が背景の中央からずれて置かれた場合、図２（ｅ）はボタンの一部が欠けている場合、図２（ｆ）は所定の大きさよりも小さいボタンが置かれた場合、図２（ｇ）はボタンの複数の穴部の位置関係が図２（ａ）に示す当該位置関係に対して傾いている場合、図２（ｈ）は穴部の一部が誤った位置に形成されたボタンが置かれた場合、図２（ｉ）は穴部の一部が形成されていないボタンが置かれた場合の説明図である。
【図３】ＲＯＭに記憶された各種プログラム及びＥＥＰＲＯＭに記憶された各種データを示す説明図である。図３（ａ）はＲＯＭ１４に記憶された各種プログラムを、図３（ｂ）はＥＥＰＲＯＭ１５に記憶された各種プログラムを示す。
【図４】デジタル画像データの一部を拡大した説明図である。なお、デジタル画像データの周囲に付された数値はデジタル画像データの画素の位置を説明するための指標である。
【図５】背景とボタンとの境界線を示す説明図である。なお、図５（ａ）は背景情報判別プログラムの判別によるボタンの上半分の境界線を示す図、図５（ｂ）は背景情報判別プログラムの判別によるボタンの下半分の境界線を示す図、図５（ｃ）は外形情報取得プログラムによって合成されたボタンの外周データを示す説明図である。
【図６】外周チェックデータと外周データとの関係を示す説明図である。
【図７】ボタンの穴部のうちひとつが含まれるデジタル画像データの一部を示す説明図である。
【図８】穴部チェックデータと穴部データとの関係を示す説明図である。
【図９】ボタンの表裏の一例を示す説明図である。なお、図９（ａ）はボタンの表を、図９（ｂ）はボタンの裏を示す。
【図１０】方向判定プログラム１４ｌによるボタンＢの判定領域の一例を示す説明図である。図１０（ａ）はボタンＢに文字Ａがプリントされている場合の方向判定を行う際の判定領域Ｂ１の一例を示す説明図、図１０（ｂ）は方向チェックデータ１５ｒであるｂ１の一例を示す説明図である。
【図１１】ミシンのボタン画像認識処理装置の動作を示すフロー図のうち、ステップＳ１からステップＳ１１までを示すフロー図である。
【図１２】ミシンのボタン画像認識処理装置の動作を示すフロー図のうち、ステップＳ１２からステップＳ２１までを示すフロー図である。
【図１３】実施の形態における背景とは異なる規則性を有する背景の一例を示す説明図である。なお、図１３（ａ）は規則的なチェック模様の背景、図１３（ｂ）は規則的な斜めの縞模様の背景の説明図である。
【符号の説明】
【００７５】
２ 背景部材
２ａ 背景
３ カメラ
１０ 画像処理装置
１１ Ａ／Ｄコンバータ
１２ ＣＰＵ
１４ ＲＯＭ
１５ ＥＥＰＲＯＭ
Ｂ ボタン
【特許請求の範囲】
【請求項１】
既知の規則的な模様が付された平面を有し、当該平面が背景とされる背景部材と、前記模様が付された平面の範囲内にある撮像対象物を前記背景ごと撮像するカメラと、を用いて前記カメラによって撮像された画像から前記撮像対象物を認識する画像認識処理方法において、
前記撮像画像において前記背景の規則的な模様を有しない範囲を前記撮像対象物として判別する判別工程を含むことを特徴とする画像認識処理方法。
【請求項２】
前記カメラは、前記背景にピントを合わせて前記撮像画像を撮像することを特徴とする請求項１に記載の画像認識処理方法。
【請求項３】
前記撮像対象物として判別された画像の範囲からあらかじめ設定された前記撮像対象物の特徴を有するかどうかを判別する特徴判別工程を含むことを特徴とする請求項１又は２に記載の画像認識処理方法。
【請求項４】
前記特徴判別工程では、前回以前の撮像対象物の撮像画像から取得された前記撮像対象物の特徴となる画像を利用することを特徴とする請求項３に記載の画像認識処理方法。
【請求項５】
既知の規則的な模様が付された平面を有し、当該平面が背景とされる背景部材と、前記模様が付された平面の範囲内にある撮像対象物を前記背景ごと撮像するカメラとを備え、前記カメラによって撮像された画像から前記撮像対象物を認識する画像認識処理装置において、
前記撮像画像において前記背景の規則的な模様を有しない範囲を前記撮像対象物として判別する判別手段を備えることを特徴とする画像認識処理装置。
【請求項６】
前記カメラは、前記背景にピントを合わせて前記撮像画像を撮像することを特徴とする請求項５に記載の画像認識処理装置。
【請求項７】
前記撮像対象物として判別された画像の範囲からあらかじめ設定された前記撮像対象物の特徴を有するかどうかを判別する特徴判別手段を備えることを特徴とする請求項５又は６に記載の画像認識処理装置。
【請求項８】
前回以前の撮像対象物の撮像画像から前記撮像対象物の特徴となる画像を取得する特徴取得手段を備えることを特徴とする請求項７に記載の画像認識処理装置。
【請求項９】
既知の規則的な模様が付された平面を有し、当該平面が背景とされる背景部材と、前記模様が付された平面の範囲内にある衣類のボタンを前記背景ごと撮像するカメラとを備え、前記カメラによって撮像された画像から前記ボタンを認識するボタン画像認識処理装置において、
前記撮像画像において前記背景の規則的な模様を有しない範囲を前記ボタンとして判別する判別手段を備えることを特徴とするボタン画像認識処理装置。
【請求項１０】
前記カメラは、前記背景にピントを合わせて前記撮像画像を撮像することを特徴とする請求項９に記載のボタン画像認識処理装置。
【請求項１１】
前記ボタンとして判別された画像の範囲からあらかじめ設定された前記ボタンの特徴を有するかどうかを判別する特徴判別手段を備えることを特徴とする請求項９又は１０に記載のボタン画像認識処理装置。
【請求項１２】
前回以前のボタンの撮像画像から前記ボタンの特徴となる画像を取得する特徴取得手段を備えることを特徴とする請求項１１に記載のボタン画像認識処理装置。
【請求項１３】
前記特徴判別手段は、あらかじめ設定された少なくとも前記ボタンの表あるいは裏のいずれか一方を撮像した場合の画像の濃淡パターンデータから、前記ボタンの表裏を判別することを特徴とする請求項１１又は１２に記載のボタン画像認識処理装置。
【請求項１】
既知の規則的な模様が付された平面を有し、当該平面が背景とされる背景部材と、前記模様が付された平面の範囲内にある撮像対象物を前記背景ごと撮像するカメラと、を用いて前記カメラによって撮像された画像から前記撮像対象物を認識する画像認識処理方法において、
前記撮像画像において前記背景の規則的な模様を有しない範囲を前記撮像対象物として判別する判別工程を含むことを特徴とする画像認識処理方法。
【請求項２】
前記カメラは、前記背景にピントを合わせて前記撮像画像を撮像することを特徴とする請求項１に記載の画像認識処理方法。
【請求項３】
前記撮像対象物として判別された画像の範囲からあらかじめ設定された前記撮像対象物の特徴を有するかどうかを判別する特徴判別工程を含むことを特徴とする請求項１又は２に記載の画像認識処理方法。
【請求項４】
前記特徴判別工程では、前回以前の撮像対象物の撮像画像から取得された前記撮像対象物の特徴となる画像を利用することを特徴とする請求項３に記載の画像認識処理方法。
【請求項５】
既知の規則的な模様が付された平面を有し、当該平面が背景とされる背景部材と、前記模様が付された平面の範囲内にある撮像対象物を前記背景ごと撮像するカメラとを備え、前記カメラによって撮像された画像から前記撮像対象物を認識する画像認識処理装置において、
前記撮像画像において前記背景の規則的な模様を有しない範囲を前記撮像対象物として判別する判別手段を備えることを特徴とする画像認識処理装置。
【請求項６】
前記カメラは、前記背景にピントを合わせて前記撮像画像を撮像することを特徴とする請求項５に記載の画像認識処理装置。
【請求項７】
前記撮像対象物として判別された画像の範囲からあらかじめ設定された前記撮像対象物の特徴を有するかどうかを判別する特徴判別手段を備えることを特徴とする請求項５又は６に記載の画像認識処理装置。
【請求項８】
前回以前の撮像対象物の撮像画像から前記撮像対象物の特徴となる画像を取得する特徴取得手段を備えることを特徴とする請求項７に記載の画像認識処理装置。
【請求項９】
既知の規則的な模様が付された平面を有し、当該平面が背景とされる背景部材と、前記模様が付された平面の範囲内にある衣類のボタンを前記背景ごと撮像するカメラとを備え、前記カメラによって撮像された画像から前記ボタンを認識するボタン画像認識処理装置において、
前記撮像画像において前記背景の規則的な模様を有しない範囲を前記ボタンとして判別する判別手段を備えることを特徴とするボタン画像認識処理装置。
【請求項１０】
前記カメラは、前記背景にピントを合わせて前記撮像画像を撮像することを特徴とする請求項９に記載のボタン画像認識処理装置。
【請求項１１】
前記ボタンとして判別された画像の範囲からあらかじめ設定された前記ボタンの特徴を有するかどうかを判別する特徴判別手段を備えることを特徴とする請求項９又は１０に記載のボタン画像認識処理装置。
【請求項１２】
前回以前のボタンの撮像画像から前記ボタンの特徴となる画像を取得する特徴取得手段を備えることを特徴とする請求項１１に記載のボタン画像認識処理装置。
【請求項１３】
前記特徴判別手段は、あらかじめ設定された少なくとも前記ボタンの表あるいは裏のいずれか一方を撮像した場合の画像の濃淡パターンデータから、前記ボタンの表裏を判別することを特徴とする請求項１１又は１２に記載のボタン画像認識処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２００９−３０１４６４（Ｐ２００９−３０１４６４Ａ）
【公開日】平成２１年１２月２４日（２００９．１２．２４）
【国際特許分類】
【出願番号】特願２００８−１５７６０３（Ｐ２００８−１５７６０３）
【出願日】平成２０年６月１７日（２００８．６．１７）
【出願人】（０００００３３９９）ＪＵＫＩ株式会社 (1,557)
【Ｆターム（参考）】
【公開日】平成２１年１２月２４日（２００９．１２．２４）
【国際特許分類】
【出願日】平成２０年６月１７日（２００８．６．１７）
【出願人】（０００００３３９９）ＪＵＫＩ株式会社 (1,557)
【Ｆターム（参考）】
[ Back to top ]