作業支援装置、作業支援プログラムおよび作業支援方法
【課題】部品の実装作業が完了したかを正確に判定する。
【解決手段】画像取得部２１は、部品３を実装する実装領域２ａと、実装領域２ａの周囲領域２ｂとをそれぞれ撮像した撮像画像をカメラ１０から取得する。判定部２２は、画像取得部２１が取得した実装領域２ａの撮像画像についての特徴量Ａ２と、部品実装作業前における実装領域２ａの画像についての特徴量Ａ１との類似度ＳＡが第１のしきい値より大きく、かつ、画像取得部２１が取得した周囲領域２ｂの撮像画像についての特徴量Ｂ２と、部品実装作業前における周囲領域２ｂの画像についての特徴量Ｂ１との類似度ＳＢが第２のしきい値より小さい場合に、実装領域２ａに対する部品の実装作業が完了したと判定する。
【解決手段】画像取得部２１は、部品３を実装する実装領域２ａと、実装領域２ａの周囲領域２ｂとをそれぞれ撮像した撮像画像をカメラ１０から取得する。判定部２２は、画像取得部２１が取得した実装領域２ａの撮像画像についての特徴量Ａ２と、部品実装作業前における実装領域２ａの画像についての特徴量Ａ１との類似度ＳＡが第１のしきい値より大きく、かつ、画像取得部２１が取得した周囲領域２ｂの撮像画像についての特徴量Ｂ２と、部品実装作業前における周囲領域２ｂの画像についての特徴量Ｂ１との類似度ＳＢが第２のしきい値より小さい場合に、実装領域２ａに対する部品の実装作業が完了したと判定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、作業支援装置、作業支援プログラムおよび作業支援方法に関する。
【背景技術】
【０００２】
人による物の生産方式として、セル生産方式が知られている。セル生産方式では、１人の作業者が複数の作業工程が受け持つことから、作業者は、これら複数の作業工程を作業手順書などを基に理解して作業を進める必要がある。作業手順書を参照しながら作業を進めることは、作業効率を低下させる要因になり、また、作業工程を暗記することは作業者にとって大きな負担になる。
【０００３】
このような問題に対して、製品の組立工程や作業手順情報などを、作業者が視認するモニタに表示することで、作業を支援するという方法がある。また、他の作業支援方法として、部品箱に指示ランプとセンサとを設けておき、部品箱から部品が取り出されたことをセンサが検出すると、次の作業で使用する部品箱を指示ランプを用いて作業者に指示するという方法もある。
【０００４】
さらに、製造工程に関連する技術の例として、部品の実装領域を撮像した画像をモデル値と照合することで、実装領域に正しい部品が実装されたかを判定するものがある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平６−８３８４０号公報
【特許文献２】特開２００６−１６７８２９号公報
【特許文献３】特開２００４−２６００３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
前述した組立作業の支援方法により、作業者は、作業中に作業手順書を参照する必要がなくなり、また、作業手順を暗記する必要もなくなる。しかしながら、作業者に作業の手順を知らせるだけでは、部品の取り付け作業が完了したかを判断できない。また、部品の実装領域を撮像した画像をモデル値と照合する方法では、部品の実装領域とカメラとの間に部品が存在することは検出できるものの、その部品の実装作業が本当に完了したのかを正確に検出できないという問題がある。
【０００７】
また、このように部品の取り付け作業が完了したかを正確に検出できないという問題は、上記のセル生産方式に限らず、ライン生産方式などの人手による他の生産方式においても発生する。
【０００８】
本発明はこのような課題に鑑みてなされたものであり、部品の実装作業が完了したかを正確に判定できるようにした作業支援装置、作業支援プログラムおよび作業支援方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、画像取得部と、判定部とを有する作業支援装置が提供される。この作業支援装置において、画像取得部は、部品を実装する実装領域と、実装領域の周囲領域とをそれぞれ撮像した撮像画像を、撮像装置から取得する。判定部は、画像取得部が取得した実装領域の撮像画像についての第１の特徴量と、部品の実装作業前における実装領域の画像についての第２の特徴量との類似度が第１のしきい値より大きく、かつ、画像取得部が取得した周囲領域の撮像画像についての第３の特徴量と、部品の実装作業前における周囲領域の画像についての第４の特徴量との類似度が第２のしきい値より小さい場合に、実装領域に対する部品の実装作業が完了したと判定する。
【００１０】
また、上記課題を解決するために、上記の作業支援装置と同様の処理をコンピュータに実行させる作業支援プログラムが提供される。
さらに、上記課題を解決するために、上記の作業支援装置と同様の処理を実行する作業支援方法が提供される。
【発明の効果】
【００１１】
上記の作業支援装置、作業支援プログラムおよび作業支援方法によれば、実装領域に対する部品の実装作業が完了したかを正確に判定できるようになる。
【図面の簡単な説明】
【００１２】
【図１】第１の実施の形態に係る作業支援システムの構成例を示す図である。
【図２】部品実装作業の例を示す図である。
【図３】第２の実施の形態に係る作業支援システムのシステム構成例を示す図である。
【図４】制御装置のハードウェア構成例を示す図である。
【図５】制御装置が備える処理機能の例を示すブロック図である。
【図６】プリント基板における部品の実装領域とその周辺領域の各例を示す図である。
【図７】部品ＤＢに登録される情報の例を示す図である。
【図８】初期画像の表示例を示す図である。
【図９】部品の実装作業中における案内画像の表示例を示す図である。
【図１０】制御装置における作業支援処理全体の手順の例を示すフローチャートである。
【図１１】部品の実装作業前における特徴量取得処理の手順の例を示すフローチャートである。
【図１２】部品の実装判定処理の手順の例を示すフローチャートである。
【図１３】可動部を有する部品に対応する周囲領域の一例を示す図である。
【図１４】第３の実施の形態における制御装置の処理機能を示すブロック図である。
【図１５】第３の実施の形態において部品ＤＢに登録される情報の例を示す図である。
【図１６】第３の実施の形態における部品の実装判定処理の手順の例を示すフローチャートである。
【図１７】第４の実施の形態において部品ＤＢに登録される情報の例を示す図である。
【図１８】第４の実施の形態の制御装置における作業支援処理全体の手順の例を示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下、実施の形態について図面を参照して説明する。
〔第１の実施の形態〕
図１は、第１の実施の形態に係る作業支援システムの構成例を示す図である。図１に示す作業支援システム１は、カメラ（撮像装置）１０と、作業支援装置２０とを含む。
【００１４】
カメラ１０は、実装対象物２において部品３が実装される部品実装面を撮像し、撮像画像を作業支援装置２０に供給する。作業支援装置２０は、カメラ１０によって撮像された画像を基に、実装対象物２に対する部品３の実装作業が完了したかを判定することで、実装対象物２に対する部品３の実装作業を支援する。作業支援装置２０は、画像取得部２１と、判定部２２とを備える。なお、画像取得部２１および判定部２２の処理は、例えば、作業支援装置２０が備えるＣＰＵ（Central Processing Unit）が所定のプログラムを実行することで実現される。
【００１５】
画像取得部２１は、カメラ１０から、少なくとも、部品３が実装される実装領域２ａの撮像画像と、実装領域２ａの周囲領域２ｂの撮像画像とを取得する。ここで、実装領域２ａは、例えば、部品３が実装対象物２に実装された状態において、カメラ１０から見て部品３が配置された領域を包含するように設定される。一例として、実装領域２ａは、部品３が実装対象物２に実装された状態において、カメラ１０から見た部品３の外縁部に接するように設定される。一方、周囲領域２ｂは、例えば、実装領域２ａを一定幅だけ拡大した領域のうち、実装領域２ａを除く領域として設定される。
【００１６】
判定部２２は、画像取得部２１によって取得された実装領域２ａおよび周囲領域２ｂの各撮像画像の変化を観察することにより、実装領域２ａに対する部品３の実装作業が完了したかを判定する。より具体的には、判定部２２は、部品３の実装作業前における実装領域２ａおよび周囲領域２ｂの各撮像画像を画像取得部２１から取得し、実装領域２ａの撮像画像についての特徴量Ａ１と、周囲領域２ｂの撮像画像についての特徴量Ｂ１とを求める。さらに、判定部２２は、部品３の実装作業中における実装領域２ａおよび周囲領域２ｂの各撮像画像と画像取得部２１から取得し、実装領域２ａの撮像画像についての特徴量Ａ２と、周囲領域２ｂの撮像画像についての特徴量Ｂ２とを求める。
【００１７】
そして、判定部２２は、特徴量Ａ１と特徴量Ａ２との類似度ＳＡと、特徴量Ｂ１と特徴量Ｂ２との類似度ＳＢとを求めて、次の式（１）および式（２）の両方が成立したときに、実装領域２ａに対する部品３の実装作業が完了したと判定する。なお、式（１）、式（２）において、ＴｈＡ，ＴｈＢは、ともにあらかじめ決められた判定しきい値である。
ＳＡ＜ＴｈＡ ・・・（１）
ＳＢ＞ＴｈＢ ・・・（２）
なお、判定部２２は、カメラ１０から取得した撮像画像を基に特徴量Ａ１，Ｂ１を求めるのではなく、記憶部（図示せず）にあらかじめ記憶された特徴量Ａ１，Ｂ１を用いて、部品実装作業が完了したかを判定してもよい。
【００１８】
ここで、図２は、部品実装作業の例を示す図である。
図２における「状態１」は、作業者が実装対象物２に対して部品３を実装する作業の途中の状態を示す。また、図２における「状態２」は、実装対象物２に対する部品３の実装作業が完了した状態を示す。
【００１９】
上記の式（１）の条件は、カメラ１０から見た実装領域２ａの方向に部品３が配置されたことを検出する条件である。ただし、例えば図２の状態１のように、部品３が実装領域２ａの近くに配置されているものの、実装領域２ａに対する部品３の実装作業が完了していない状態であっても、式（１）の条件を満たす可能性がある。
【００２０】
一方、図２の状態１のように、部品３の実装作業が未完了の状態では、部品３は作業者の手によって保持されている場合が多い。あるいは、部品３が実装対象物２に接触しているものの、部品３の実装作業が未完了の状態では、位置合わせなどを行う作業者の手が部品３に触れている場合が多い。これらのケースのように、部品３に作業者の手が触れている場合には、実装領域２ａに対応する周囲領域２ｂを撮像した画像には、作業者の手が映り込む可能性が高い。
【００２１】
逆に、部品３の実装作業が完了すると、図２の状態２のように、作業者の手は実装領域２ａから遠ざかり、周囲領域２ｂの外側に離れる。このとき、カメラ１０が周囲領域２ｂを撮像した画像には、作業者の手が映らなくなる。上記の式（２）は、周囲領域２ｂに、作業者の手などの物体が写り込んでいないことを検出する条件である。このような式（２）の条件と上記の式（１）の条件の両方を満たした場合に部品の実装作業が完了したと判定することで、作業の完了を正確に判定できるようになる。
【００２２】
ところで、上記の式（１）、式（２）における判定しきい値ＴｈＡ，ＴｈＢは、例えば、実装対象物２への部品実装作業前において、次のように求められる。部品３が実装されていない実装領域２ａの画像についての特徴量Ａ１＿０と、部品実装完了後における実装領域２ａの画像についての特徴量Ａ２＿０とから、特徴量Ａ１＿０と特徴量Ａ２＿０との類似度を求める。そして、求めた類似度に１以上の所定の係数を乗算した値を、判定しきい値ＴｈＡとする。また、部品３の実装前における周囲領域２ｂの画像についての特徴量Ｂ１＿０と、周囲領域２ｂの一部を手などで隠した状態で周囲領域２ｂを撮像した画像についての特徴量Ｂ２＿０とから、特徴量Ｂ１＿０と特徴量Ｂ２＿０との類似度を求める。そして、求めた類似度に１未満の所定の係数を乗算した値を、判定しきい値ＴｈＢとする。ここで、上記の各係数は、例えば、被写体に対する照明の状態、あるいは、カメラ１１０やプリント基板４１０の位置ズレなどによって生じる類似度のブレを吸収するものである。
【００２３】
また、実装領域２ａおよび周囲領域２ｂの各画像についての特徴量としては、例えば、各領域の画像データを用いることができる。この場合、２つの画像の類似度を計算する方法としては、各種の相関演算の方法を用いることができる。相関演算の一例としては、比較する２つの画像データにおけるそれぞれ同一座標の画素値の差の二乗和を求め、求めた二乗和の平方根Ｘ１を求めるともに、全画素についての画素値の最大値の二乗和を求め、求めた二乗和の平方根Ｘ２を求めて、平方根Ｘ１を平方根Ｘ２で除算する方法などがある。
【００２４】
また、実装領域２ａおよび周囲領域２ｂの各画像についての特徴量としては、例えば、各画像内の全画素の画素値の平均値を用いることもできる。例えば、各領域の画像において、全画素についての画素値のＲ（Red）成分の平均値と、全画素についての画素値のＧ（Green）成分の平均値と、全画素についての画素値のＢ（Blue）成分の平均値とを加算し、その加算値を３で除算したものを特徴量とする。
【００２５】
この場合、特徴量同士の類似度は、特徴量の差分を基に求めることもできる。例えば、部品実装前における実装領域２ａおよび周囲領域２ｂの特徴量をそれぞれＡ１＿１，Ｂ１＿１、部品実装作業の完了後における実装領域２ａおよび周囲領域２ｂの特徴量をそれぞれＡ２＿１，Ｂ２＿２とすると、判定部２２は、次の式（３）および式（４）の両方が成立したときに、実装領域に対する部品の実装作業が完了したと判定する。なお、式（３）、式（４）において、ＴｈＡ＿１，ＴｈＢ＿１は、ともにあらかじめ決められた判定しきい値である。
｜Ａ２＿１−Ａ１＿１｜＞ＴｈＡ＿１ ・・・（３）
｜Ｂ２＿１−Ｂ１＿１｜＜ＴｈＢ＿１ ・・・（４）
〔第２の実施の形態〕
次に、第２の実施の形態として、プリント基板に対して部品を実装する作業を支援する作業支援システムについて説明する。
【００２６】
図３は、第２の実施の形態に係る作業支援システムのシステム構成例を示す図である。図３に示す作業支援システム１００は、カメラ１１０、モニタ１２０および制御装置２００を含む。
【００２７】
カメラ１１０は、作業台４００に載置されたプリント基板４１０における部品４１１の実装面を撮像する。なお、図３では１つの部品４１１を示しているが、実際にはプリント基板４１０には複数の部品が実装される。作業台４００では、１人または複数の作業者によって、プリント基板４１０に対して複数の部品が順番に実装される。なお、プリント基板４１０は、例えば、作業台４００に設けられた固定機構によって作業台４００に固定されてもよい。
【００２８】
モニタ１２０には、作業者に対して部品実装作業を案内する各種の案内画像が表示される。モニタ１２０としては、例えば、ＬＣＤ（Liquid Crystal Display）、ＣＲＴ（cathode-ray tube）などを使用することができる。また、案内画像を表示する他の表示デバイスとして、例えば、プロジェクタ、ヘッドマウントディスプレイなどを使用することもできる。
【００２９】
制御装置２００は、カメラ１１０が撮像した画像を基に、モニタ１２０に表示する案内画像を制御する。ここで、モニタ１２０に表示される案内画像は、少なくとも、プリント基板４１０に実装される部品ごとに用意される。そして、制御装置２００は、カメラ１１０によって撮像された画像を基に、プリント基板４１０に対して部品が実装されたか否かを部品ごとに判定し、１つの部品の実装が完了したと判定すると、モニタ１２０に表示させる案内画像を、次に実装すべき部品に対応する案内画像に切り替える。
【００３０】
図４は、制御装置のハードウェア構成例を示す図である。
制御装置２００は、例えば、図４に示すようなコンピュータとして実現される。制御装置２００は、ＣＰＵ２０１によって装置全体が制御されている。ＣＰＵ２０１には、バス２０９を介して、ＲＡＭ（Random Access Memory）２０２および複数の周辺機器が接続されている。
【００３１】
ＲＡＭ２０２は、制御装置２００の主記憶装置として使用される。ＲＡＭ２０２には、ＣＰＵ２０１に実行させるＯＳ（Operating System）プログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、ＲＡＭ２０２には、ＣＰＵ２０１による処理に必要な各種データが格納される。
【００３２】
バス２０９に接続されている周辺機器としては、ＨＤＤ（Hard Disk Drive）２０３、グラフィックＩ／Ｆ（インタフェース）２０４、入力Ｉ／Ｆ２０５、光学ドライブ装置２０６、ネットワークＩ／Ｆ２０７および通信Ｉ／Ｆ２０８がある。
【００３３】
ＨＤＤ２０３は、内蔵した磁気ディスクに対して、磁気的にデータの書き込みおよび読み出しを行う。ＨＤＤ２０３は、制御装置２００の二次記憶装置として使用される。ＨＤＤ２０３には、ＯＳプログラム、アプリケーションプログラム、および各種データが格納される。なお、二次記憶装置としては、フラッシュメモリなどの半導体記憶装置を使用することもできる。
【００３４】
グラフィックＩ／Ｆ２０４には、モニタ１２０が接続されている。グラフィックＩ／Ｆ２０４は、ＣＰＵ２０１からの命令に従って、前述した案内画像などの各種の画像をモニタ１２０に表示させる。
【００３５】
入力Ｉ／Ｆ２０５には、例えば、キーボード２０５ａおよびマウス２０５ｂが接続されている。入力Ｉ／Ｆ２０５は、キーボード２０５ａやマウス２０５ｂからの出力信号をＣＰＵ２０１に送信する。なお、マウス２０５ｂは、ポインティングデバイスの一例であり、他のポインティングデバイスを使用することもできる。他のポインティングデバイスとしては、タッチパネル、タブレット、タッチパッド、トラックボールなどがある。
【００３６】
光学ドライブ装置２０６は、レーザ光などを利用して、光ディスク２０６ａに記録されたデータの読み取りを行う。光ディスク２０６ａは、光の反射によって読み取り可能なようにデータが記録された可搬型の記録媒体である。光ディスク２０６ａには、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（Rewritable）などがある。
【００３７】
ネットワークＩ／Ｆ２０７は、ネットワーク２０７ａに接続された他の装置との間でデータを送受信する。
通信Ｉ／Ｆ２０７は、カメラ１１０から出力された撮像画像信号を受信して、ＣＰＵ２０１に出力する。なお、カメラ１１０は、撮像画像信号をデジタル信号に変換して出力するものとするが、撮像画像信号のデジタル変換機能を通信Ｉ／Ｆ２０８が備えていてもよい。
【００３８】
図５は、制御装置が備える処理機能の例を示すブロック図である。
制御装置２００は、実装判定部２１０、作業管理部２２０および表示制御部２３０を備える。実装判定部２１０、作業管理部２２０および表示制御部２３０の処理は、例えば、制御装置２００が備えるＣＰＵが所定のプログラムを実行することで実現される。また、制御装置２００のＨＤＤ２０３には、基板画像ＤＢ（データベース）２４０、部品ＤＢ２５０、および案内画像ＤＢ２６０が記憶される。
【００３９】
実装判定部２１０は、作業管理部２２０による制御の下で、カメラ１１０による撮像画像を基に、プリント基板４１０に対する部品の実装が完了したかを部品ごとに判定する。実装判定部２１０は、部品の実装完了を判定する際に、基板画像ＤＢ２４０と部品ＤＢ２５０を参照する。実装判定部２１０は、部品の実装が完了したと判定すると、部品の実装完了を通知する完了信号を作業管理部２２０に出力する。
【００４０】
作業管理部２２０は、部品ＤＢ２５０に登録された情報を基に、プリント基板４１０に対する部品の実装順序を認識し、認識した実装順序に従って、実装判定部２１０および表示制御部２３０の処理を制御する。作業管理部２２０は、実装判定部２１０から完了信号を受信すると、次に実装する部品に対応する案内画像をモニタ１２０に表示させるように表示制御部２３０に要求するとともに、実装判定部２１０に対して、次に実装する部品についての実装作業が完了したかを判定させる。
【００４１】
表示制御部２３０は、作業管理部２２０からの要求に応じて、次に実装する部品に対応する案内画像のデータを案内画像ＤＢ２６０から読み込み、読み込んだデータに基づく案内画像をモニタ１２０に表示させる。
【００４２】
基板画像ＤＢ２４０には、プリント基板の部品実装面についての画像データが、プリント基板ごとに登録される。この基板画像ＤＢ２４０に登録される画像データは、すべての部品が実装される前におけるプリント基板の部品実装面を撮像することで得られたものである。基板画像ＤＢ２４０に登録された画像データは、実装判定部２１０が、作業台４００に載置されたプリント基板の位置をテンプレートマッチングによって判定する際に、テンプレートとして利用される。また、基板画像ＤＢ２４０では、プリント基板ごとに基板ＩＤが付与され、プリント基板の部品実装面についての画像データが、基板ＩＤに対応付けて登録される。
【００４３】
部品ＤＢ２５０には、プリント基板に実装される部品に関する情報が、プリント基板ごとに登録される。後述するように、部品に関する情報としては、例えば、プリント基板における実装領域の位置を示す情報、部品に対応する案内画像のデータを識別する情報などが登録される。なお、部品ＤＢ２５０に登録される情報については、図６において詳しく説明する。
【００４４】
案内画像ＤＢ２６０には、部品ごとの案内画像のデータが登録される。案内画像のデータは、プリント基板を識別する基板ＩＤと、部品を識別する部品ＩＤとの組合せごとに付与された案内画像ＩＤに対応付けて登録される。
【００４５】
ここで、図６は、プリント基板における部品の実装領域とその周辺領域の各例を示す図である。
この図６は、プリント基板４１０における部品実装面を、プリント基板４１０に垂直な方向から見た場合を示す。このような視線方向は、カメラ１１０がプリント基板４１０を撮像する方向と同じである。また、図６において、「状態１１」は、プリント基板４１０に対して部品４１１を実装する前の状態を示し、「状態１２」は、プリント基板４１０に対して部品４１１を実装した後の状態を示す。
【００４６】
制御装置２００では、プリント基板４１０において部品が実装される領域を示す位置情報が、部品ごとに部品ＤＢ２５０にあらかじめ登録される。図６では、部品４１１が実装される実装領域４２１が、部品４１１が配置される領域の外縁部に接する矩形領域として示されている。この図６の例のように、本実施の形態では、実装領域として、部品が配置される領域の外縁部に接する矩形領域が設定されるものとする。また、本実施の形態では、実装領域を示す位置情報の例として、実装領域に対応する矩形領域における４つの頂点の座標情報が、部品ＤＢ２５０に登録される。ただし、これら４つの頂点の各座標情報は、プリント基板４１０上の所定位置を基準とした相対座標とされる。
【００４７】
さらに、図６では、実装領域４２１に対応する周囲領域４２２を、網掛けを付与して示している。図６の周囲領域４２２は、対応する実装領域４２１を一定幅だけ拡大した領域のうち、実装領域４２１を除いた領域である。この図６の例のように、本実施の形態では、対応する実装領域を一定幅だけ拡大した領域のうち実装領域を除く領域を、周囲領域とする。
【００４８】
また、本実施の形態では、周囲領域についての位置情報として、周囲領域の外縁部における４つの頂点の座標情報と、これら４つの頂点を持つ矩形領域内に存在する矩形状の内空領域（すなわち、実装領域）の４つの頂点の座標情報とが、部品ＤＢ２５０に登録されるものとする。ただし、これら８つの頂点の各座標情報は、プリント基板４１０上の所定位置を基準とした相対座標とされる。なお、周囲領域における内空領域の座標情報は、部品ＤＢ２５０への登録が省略されて、実装領域の座標情報で兼用されてもよい。
【００４９】
図７は、部品ＤＢに登録される情報の例を示す図である。
部品ＤＢ２５０には、プリント基板を識別する基板ＩＤごとに、レコード２５１が設けられる。１つのレコード２５１には、そのレコード２５１に登録された基板ＩＤに対応するプリント基板に実装される部品の部品ＩＤが、実装順に登録されている。さらに、各部品ＩＤには、その部品ＩＤに対応する部品の実装領域および周囲領域についての位置情報と、その部品の実装作業を案内する案内画像を識別する案内画像ＩＤとが対応付けて登録されている。
【００５０】
実装領域の位置情報は、図６で説明したように、矩形である実装領域における４つの頂点の座標である。また、周囲領域の位置情報は、図６で説明したように、周囲領域の外縁部における４つの頂点の座標である。ここで、実際の周囲領域は、周囲領域の位置情報として登録された４点の座標に基づく矩形領域から、実装領域の位置情報として登録された４点の座標に基づく矩形領域を除いた領域となる。なお、実装領域および周囲領域の各位置情報として登録される座標は、対応するプリント基板上の所定位置を基準とした相対座標である。案内画像ＩＤは、案内画像ＤＢ２６０に登録された画像データのうちの１つを示すものである。
【００５１】
以下、図５に戻り、実装判定部２１０の内部構成について説明する。実装判定部２１０は、画像取り込み部２１１、基板位置判定部２１２、実装領域算出部２１３、周囲領域算出部２１４、特徴量算出部２１５，２１６および判定処理部２１７を備える。
【００５２】
画像取り込み部２１１は、カメラ１１０によって撮像された画像のデータを取り込む。画像取り込み部２１１は、１つのプリント基板に対する部品の実装作業前に撮像画像データを取り込み、その後に部品の実装作業が開始されると、撮像画像データを例えば１／３０秒などの一定時間ごとに取り込む。画像取り込み部２１１は、取り込んだ撮像画像データを、例えばＲＡＭ２０２に対して、一時的に格納する。
【００５３】
基板位置判定部２１２は、画像取り込み部２１１によって取り込まれた撮像画像データに基づく撮像画像から、プリント基板が映った領域（以下、基板領域と呼ぶ）を判定する。基板位置判定部２１２は、実装作業対象のプリント基板の基板画像データを基板画像ＤＢ２４０から読み込む。そして、基板位置判定部２１２は、読み込んだ基板画像データをテンプレートとして用い、画像取り込み部２１１によって取り込まれた撮像画像データとのテンプレートマッチングを行うことで、基板領域を判定する。なお、プリント基板の領域判定方法の他の例としては、ＳＩＦＴ（Scale-Invariant Feature Transform）を用いたマッチング方法などを使用することもできる。
【００５４】
実装領域算出部２１３は、基板位置判定部２１２によって判定された基板領域の位置情報と、部品ＤＢ２５０から読み込んだ部品の実装領域の位置情報とを基に、撮像画像における実装領域の位置情報を算出し、特徴量算出部２１５，２１６に出力する。
【００５５】
周囲領域算出部２１４は、基板位置判定部２１２によって判定された基板領域の位置情報と、部品ＤＢ２５０から読み込んだ周囲領域の位置情報とを基に、撮像画像における周囲領域の位置情報を算出し、特徴量算出部２１６に出力する。なお、周囲領域算出部２１４は、周囲領域に対応する実装領域の位置情報を基に、周囲領域の位置情報を演算によって求めてもよい。
【００５６】
特徴量算出部２１５は、画像取り込み部２１１によって取り込まれた撮像画像データのうち、実装領域算出部２１３からの位置情報に基づく実装領域の画像データを、実装領域の特徴量として判定処理部２１７に出力する。特徴量算出部２１５は、部品の実装作業前に画像取り込み部２１１によって取り込まれた撮像画像データに基づく実装領域の特徴量Ａ１＿２を、判定処理部２１７に出力する。その後、特徴量算出部２１５は、部品の実装作業中に画像取り込み部２１１によって一定時間ごとに取り込まれた撮像画像データに基づく実装領域の特徴量Ａ２＿２を、判定処理部２１７に順次出力する。
【００５７】
特徴量算出部２１６は、画像取り込み部２１１によって取り込まれた撮像画像データのうち、周囲領域算出部２１４からの位置情報に基づく周囲領域の画像データを、周囲領域の特徴量として判定処理部２１７に出力する。特徴量算出部２１６は、部品の実装作業前に画像取り込み部２１１によって取り込まれた撮像画像データに基づく周囲領域の特徴量Ｂ１＿２を、判定処理部２１７に出力する。その後、特徴量算出部２１６は、部品の実装作業中に画像取り込み部２１１によって一定時間ごとに取り込まれた撮像画像データに基づく周囲領域の特徴量Ｂ２＿２を、判定処理部２１７に順次出力する。
【００５８】
判定処理部２１７は、特徴量算出部２１５からそれぞれ出力された、部品実装作業前における実装領域の特徴量Ａ１＿２と部品実装作業中における実装領域の特徴量Ａ２＿２との類似度ＳＡ＿２を算出する。さらに、判定処理部２１７は、特徴量算出部２１６からそれぞれ出力された、部品実装作業前における周囲領域の特徴量Ｂ１＿２と部品実装作業中における周囲領域の特徴量Ｂ２＿２との類似度ＳＢ＿２を算出する。
【００５９】
そして、判定処理部２１７は、次の式（５）および式（６）の両方が成立したときに、実装領域に対する部品の実装作業が完了したと判定し、部品実装作業が完了したことを示す完了信号を作業管理部２２０に出力する。なお、式（５）、式（６）に記載した判定しきい値ＴｈＡ＿２，ＴｈＢ＿２は、ともに制御装置２００のＨＤＤ２０３にあらかじめ登録される。
ＳＡ＿２＜ＴｈＡ＿２ ・・・（５）
ＳＢ＿２＞ＴｈＢ＿２ ・・・（６）
次に、表示制御部２３０の要求に応じてモニタ１２０に表示される案内画像の例について説明する。図８は、初期画像の表示例を示す図である。
【００６０】
あるプリント基板に対して部品を実装する作業が開始される際には、表示制御部２３０は、例えば図８に示すような初期画像Ｐ１をモニタ１２０に表示させる。図８に示す初期画像Ｐ１は、作業台４００に対してプリント基板を置くように、作業者に案内するための画像である。なお、初期画像Ｐ１のデータは、案内画像ＤＢ２６０にあらかじめ登録される。また、初期画像Ｐ１は、例えば、すべてのプリント基板に対して共通とされる。
【００６１】
図９は、部品の実装作業中における案内画像の表示例を示す図である。
プリント基板に対する部品の実装作業が開始されると、表示制御部２３０は、次に実装する部品に対応する案内画像をモニタ１２０に表示させる。図９に示す案内画像Ｐ２には、例えば、実装対象のプリント基板４３１の画像や、プリント基板４３１における部品の実装位置を示す枠線４３２、実装する部品の画像４３３の画像、部品の実装作業手順や注意点などを示す文字情報４３４などが表示されている。
【００６２】
次に、制御装置２００の処理について、フローチャートを用いて説明する。まず、図１０は、制御装置における作業支援処理全体の手順の例を示すフローチャートである。この図１０の処理は、例えば、作業者の入力操作などにより、作業管理部２２０に対して部品実装対象のプリント基板が選択されたときに開始される。
【００６３】
［ステップＳ１１］作業管理部２２０は、変数Ｎを１に設定する。
［ステップＳ１２］作業管理部２２０は、表示制御部２３０に対して、図８に示したような初期画像の表示を要求する。要求を受け付けた表示制御部２３０は、案内画像ＤＢ２６０から初期画像のデータを読み込み、読み込んだ初期画像のデータをグラフィックＩ／Ｆ２０４に出力することで、モニタ１２０に初期画像を表示させる。
【００６４】
［ステップＳ１３］実装判定部２１０は、作業管理部２２０による制御の下で、実装作業前における特徴量取得処理を実行する。この処理では、カメラ１１０から取り込んだ撮像画像データを基に、実装作業前における実装領域の特徴量Ａ１＿２および周囲領域の特徴量Ｂ１＿２が部品ごとに算出される。算出された部品ごとの特徴量Ａ１＿２，Ｂ１＿２は、例えばＲＡＭ２０２に一時的に格納される。
【００６５】
なお、特徴量Ａ１＿２，Ｂ１＿２がＨＤＤ２０３にあらかじめ記憶されている場合には、このステップＳ１３の処理は省略される。
［ステップＳ１４］作業管理部２２０は、部品ＤＢ２５０から、部品実装対象のプリント基板の基板ＩＤに対応するエントリを選択し、選択したエントリに登録されたＮ番目の部品についての部品ＩＤを読み込む。また、作業管理部２２０は、選択したエントリにおいてＮ番目の部品に対応付けられた案内画像ＩＤを読み込む。
【００６６】
［ステップＳ１５］作業管理部２２０は、表示制御部２３０に対して、ステップＳ１４で読み込んだ案内画像ＩＤを出力して、案内画像の表示を要求する。表示制御部２３０は、案内画像ＤＢ２６０から、作業管理部２２０から出力された案内画像ＩＤに対応付けられた画像データを読み込み、読み込んだ案内画像のデータをグラフィックＩ／Ｆ２０４に出力することで、モニタ１２０に案内画像を表示させる。
【００６７】
［ステップＳ１６］実装判定部２１０は、作業管理部２２０による制御の下で、実装領域に対する部品の実装作業が完了したかを判定する。実装判定部２１０の判定処理部２１７は、部品の実装作業が完了したと判定すると、作業管理部２２０に対して完了信号を出力する。
【００６８】
［ステップＳ１７］作業管理部２２０は、変数Ｎに１を加算する。
［ステップＳ１８］作業管理部２２０は、変数Ｎの値が最大値を超えたかを判定する。この最大値とは、ステップＳ１４で選択したエントリに登録された部品ＩＤの数であり、この数は、プリント基板に対して実装する部品の数に相当する。
【００６９】
変数Ｎの値が最大値以下である場合、作業管理部２２０は、ステップＳ１４の処理を実行する。一方、変数Ｎの値が最大値を超えた場合、作業管理部２２０は、作業支援処理を終了する。
【００７０】
図１１は、部品の実装作業前における特徴量取得処理の手順の例を示すフローチャートである。この図１１の処理は、図１０のステップＳ１３の処理に対応する。
［ステップＳ２１］作業管理部２２０は、画像取り込み部２１１に対して、撮像画像データの取り込みを要求する。要求を受けた画像取り込み部２１１は、カメラ１１０から出力された撮像画像データを取り込み、例えばＲＡＭ２０２に格納する。
【００７１】
［ステップＳ２２］作業管理部２２０は、部品の実装対象のプリント基板の基板ＩＤを基板位置判定部２１２に通知して、基板位置の判定処理を要求する。基板位置判定部２１２は、作業管理部２２０から通知された基板ＩＤに対応する基板画像のデータを基板画像ＤＢ２４０から読み込む。そして、基板位置判定部２１２は、読み込んだ基板画像データをテンプレートとして用い、ステップＳ２１でＲＡＭ２０２に格納された撮像画像データとのテンプレートマッチングを行うことで、基板領域を判定する。
【００７２】
［ステップＳ２３］ステップＳ２２の処理によって基板領域が検出された場合、基板位置判定部２１２は、作業管理部２２０に対して基板領域が検出されたことを通知するとともに、撮像画像における基板領域の位置情報を算出する。このとき算出される位置情報は、例えば、撮像画像における基板領域の外縁部の４つの頂点の座標である。
【００７３】
一方、ステップＳ２２の処理によって基板領域が検出されなかった場合、基板位置判定部２１２は、基板領域が検出されなかったことを作業管理部２２０に通知する。この場合、ステップＳ２１の処理が再度実行され、通知を受けた作業管理部２２０は、画像取り込み部２１１に対して、新たな撮像画像データの取り込みを要求する。
【００７４】
［ステップＳ２４］作業管理部２２０は、変数Ｍを１に設定する。
［ステップＳ２５］作業管理部２２０は、部品ＤＢ２５０から、部品実装対象のプリント基板の基板ＩＤに対応するエントリを選択し、選択したエントリにおいてＭ番目に登録された部品ＩＤを読み込む。
【００７５】
［ステップＳ２６］作業管理部２２０は、部品実装対象のプリント基板の基板ＩＤと、ステップＳ２５で部品ＤＢ２５０から読み込んだ部品ＩＤとを、実装領域算出部２１３に通知する。実装領域算出部２１３は、作業管理部２２０から通知された基板ＩＤおよび部品ＩＤに対応付けられた実装領域の位置情報を、部品ＤＢ２５０から読み込む。実装領域算出部２１３は、部品ＤＢ２５０から読み込んだ実装領域の位置情報と、ステップＳ２３において基板位置判定部２１２が算出した基板領域の位置情報とを基に、撮像画像における実装領域の位置情報を算出する。このとき算出される位置情報は、例えば、矩形である実装領域の４つの頂点についての撮像画像における座標である。
【００７６】
［ステップＳ２７］特徴量算出部２１５は、ステップＳ２１で画像取り込み部２１１によって取り込まれた撮像画像データから、ステップＳ２６で算出された位置情報に基づく実装領域の画像データを算出する。特徴量算出部２１５は、算出した実装領域の画像データを、特徴量Ａ１＿２としてＲＡＭ２０２に格納する。
【００７７】
［ステップＳ２８］作業管理部２２０は、部品実装対象のプリント基板の基板ＩＤと、ステップＳ２５で部品ＤＢ２５０から読み込んだ部品ＩＤとを、周囲領域算出部２１４に通知する。周囲領域算出部２１４は、作業管理部２２０から通知された基板ＩＤおよび部品ＩＤに対応付けられた周囲領域の位置情報を、部品ＤＢ２５０から読み込む。周囲領域算出部２１４は、部品ＤＢ２５０から読み込んだ周囲領域の位置情報と、ステップＳ２３において基板位置判定部２１２が算出した基板領域の位置情報とを基に、撮像画像における周囲領域の位置情報を算出する。
【００７８】
このとき算出される位置情報は、例えば、矩形である周囲領域の外縁部の４つの頂点についての撮像画像における座標と、周囲領域が備える矩形状の内空領域の４つの頂点についての撮像画像における座標である。なお、周囲領域算出部２１４は、撮像画像における内空領域の座標として、ステップＳ２６で実装領域算出部２１３によって算出された、撮像画像における実装領域の座標を出力してもよい。
【００７９】
［ステップＳ２９］特徴量算出部２１６は、ステップＳ２１で画像取り込み部２１１によって取り込まれた撮像画像データから、ステップＳ２８で算出された位置情報に基づく周囲領域の画像データを算出する。特徴量算出部２１６は、算出した周囲領域の画像データを、特徴量Ｂ１＿２としてＲＡＭ２０２に格納する。
【００８０】
［ステップＳ３０］作業管理部２２０は、変数Ｍに１を加算する。
［ステップＳ３１］作業管理部２２０は、変数Ｍの値が最大値を超えたかを判定する。この最大値とは、ステップＳ２５で選択したエントリに登録された部品ＩＤの数であり、この数は、プリント基板に対して実装する部品の数に相当する。
【００８１】
変数Ｍの値が最大値以下である場合、作業管理部２２０は、ステップＳ２５の処理を実行して、部品ＤＢ２５０のエントリに次に登録された部品ＩＤを読み込む。一方、変数Ｍの値が最大値を超えた場合、作業管理部２２０は、図１０のステップＳ１４の処理を実行する。
【００８２】
以上の図１１の処理では、ステップＳ２５〜Ｓ２９の処理が、プリント基板に実装する部品の数だけ繰り返されることで、プリント基板に実装する部品のそれぞれに対応する特徴量Ａ１＿２，Ｂ１＿２が、ＲＡＭ２０２に格納される。
【００８３】
なお、上記の図１１の処理において、ステップＳ２６，Ｓ２７の処理と、ステップＳ２８，Ｓ２９の処理については、処理順が逆であってもよいし、あるいは、これらの処理が並列に実行されてもよい。
【００８４】
図１２は、部品の実装判定処理の手順の例を示すフローチャートである。この図１２の処理は、図１０のステップＳ１６の処理に対応する。
［ステップＳ４１］作業管理部２２０は、画像取り込み部２１１に対して、撮像画像データの取り込みを要求する。要求を受けた画像取り込み部２１１は、カメラ１１０から出力された撮像画像データを取り込み、例えばＲＡＭ２０２に格納する。
【００８５】
［ステップＳ４２］作業管理部２２０は、部品の実装対象のプリント基板の基板ＩＤを基板位置判定部２１２に通知して、基板位置の判定処理を要求する。基板位置判定部２１２は、作業管理部２２０から通知された基板ＩＤに対応する基板画像のデータを基板画像ＤＢ２４０から読み込む。そして、基板位置判定部２１２は、読み込んだ基板画像データをテンプレートとして用い、ステップＳ４１でＲＡＭ２０２に格納された撮像画像データとのテンプレートマッチングを行うことで、基板領域を判定する。
【００８６】
なお、テンプレートとして使用する基板画像データとしては、例えば、図１１のステップＳ２２で読み込み済みの基板画像データを使用してもよい。
［ステップＳ４３］ステップＳ４２の処理によって基板領域が検出された場合、基板位置判定部２１２は、作業管理部２２０に対して基板領域が検出されたことを通知するとともに、撮像画像における基板領域の位置情報を算出する。このとき算出される位置情報は、例えば、撮像画像における基板領域の外縁部の４つの頂点の座標である。
【００８７】
一方、ステップＳ４２の処理によって基板領域が検出されなかった場合、基板位置判定部２１２は、基板領域が検出されなかったことを作業管理部２２０に通知する。この場合、ステップＳ４１の処理が再度実行され、通知を受けた作業管理部２２０は、画像取り込み部２１１に対して、新たな撮像画像データの取り込みを要求する。
【００８８】
なお、例えば、部品実装対象のプリント基板が作業台４００に固定されている場合には、ステップＳ４２，Ｓ４３の処理を省略することができる。この場合、以下の処理では、ステップＳ４３で基板領域が検出された場合に算出される位置情報として、図１１のステップＳ２３で基板領域が検出された場合に算出された位置情報が使用される。
【００８９】
［ステップＳ４４］作業管理部２２０は、部品ＤＢ２５０から、部品実装対象のプリント基板の基板ＩＤに対応するエントリを選択し、選択したエントリにおいてＮ番目に登録された部品ＩＤを読み込む。
【００９０】
［ステップＳ４５］作業管理部２２０は、部品実装対象のプリント基板の基板ＩＤと、ステップＳ４４で部品ＤＢ２５０から読み込んだ部品ＩＤとを、実装領域算出部２１３に通知する。実装領域算出部２１３は、作業管理部２２０から通知された基板ＩＤおよび部品ＩＤに対応付けられた実装領域の位置情報を、部品ＤＢ２５０から読み込む。実装領域算出部２１３は、部品ＤＢ２５０から読み込んだ実装領域の位置情報と、ステップＳ４３において基板位置判定部２１２が算出した基板領域の位置情報とを基に、撮像画像における実装領域の位置情報を算出する。このとき算出される位置情報は、例えば、矩形である実装領域の４つの頂点についての撮像画像における座標である。
【００９１】
［ステップＳ４６］特徴量算出部２１５は、ステップＳ４１で画像取り込み部２１１によって取り込まれた撮像画像データから、ステップＳ４５で算出された位置情報に基づく実装領域の画像データを算出する。特徴量算出部２１５は、算出した実装領域の画像データを、特徴量Ａ２＿２としてＲＡＭ２０２に格納する。
【００９２】
［ステップＳ４７］作業管理部２２０は、部品実装対象のプリント基板の基板ＩＤと、ステップＳ４４で部品ＤＢ２５０から読み込んだ部品ＩＤとを、周囲領域算出部２１４に通知する。周囲領域算出部２１４は、作業管理部２２０から通知された基板ＩＤおよび部品ＩＤに対応付けられた周囲領域の位置情報を、部品ＤＢ２５０から読み込む。周囲領域算出部２１４は、部品ＤＢ２５０から読み込んだ周囲領域の位置情報と、ステップＳ４３において基板位置判定部２１２が算出した基板領域の位置情報とを基に、撮像画像における周囲領域の位置情報を算出する。
【００９３】
このとき算出される位置情報は、例えば、矩形である周囲領域の外縁部の４つの頂点についての撮像画像における座標と、周囲領域が備える矩形状の内空領域の４つの頂点についての撮像画像における座標である。なお、周囲領域算出部２１４は、撮像画像における内空領域の座標として、図１１のステップＳ２６で実装領域算出部２１３によって算出された、撮像画像における実装領域の座標を出力してもよい。
【００９４】
［ステップＳ４８］特徴量算出部２１６は、ステップＳ４１で画像取り込み部２１１によって取り込まれた撮像画像データから、ステップＳ４７で算出された位置情報に基づく周囲領域の画像データを算出する。特徴量算出部２１６は、算出した周囲領域の画像データを、特徴量Ｂ２＿２としてＲＡＭ２０２に格納する。
【００９５】
［ステップＳ４９］判定処理部２１７は、ステップＳ４６で算出された実装領域の特徴量Ａ２＿２と、図１０のステップＳ１３で算出された実装領域の特徴量Ａ１＿２のうちＮ番目の部品に対応する特徴量Ａ１＿２との類似度ＳＡ＿２を算出する。また、判定処理部２１７は、ステップＳ４８で算出された周囲領域の特徴量Ｂ２＿２と、図１０のステップＳ１３で算出された周囲領域の特徴量Ｂ１＿２のうちＮ番目の部品に対応する特徴量Ｂ１＿２との類似度ＳＢ＿２を算出する。
【００９６】
［ステップＳ５０］判定処理部２１７は、ステップＳ４９で算出した類似度ＳＡ＿２，ＳＢ＿２が、上記の式（５）および式（６）の両方を満たすかを判定する。式（５）および式（６）の各条件が満たされている場合、判定処理部２１７は、作業管理部２２０に対して完了信号を出力する。完了信号を受信した作業管理部２２０は、部品の実装判定処理を終了して、図１０のステップＳ１７の処理を実行する。
【００９７】
一方、式（５）および式（６）の各条件のうち１つでも満たされていない場合、判定処理部２１７は、例えば、完了信号を出力しない。作業管理部２２０は、ステップＳ４１で画像取り込み部２１１に対して撮像画像データの取り込みを要求してから、一定時間（例えば１／３０秒）だけ、判定処理部２１７から完了信号が出力されるかを監視する。そして、作業管理部２２０は、一定時間内に完了信号を受信しない場合に、ステップＳ４１に進んで、画像取り込み部２１１に対して新たな撮像画像データの取り込みを要求する。
【００９８】
以上説明した第２の実施の形態では、式（５）の条件だけでなく式（６）の条件も加味して、部品の実装作業が完了したかが判定されるので、実装作業が完了したことを高精度に判定することができる。それぞれの部品の実装作業が完了したことが高精度に判定されて、次に実装する部品についての案内画像がモニタ１２０に表示されるようになるので、作業者による実装作業の正確性が向上し、実装作業を効率化することができる。
【００９９】
なお、上記の第２の実施の形態では、矩形状の実装領域を囲む所定幅の領域を周囲領域に設定したが、部品によっては、例えば、可動部を有するものがある。ここで、図１３を用いて、可動部を有する部品についての周囲領域の設定方法について補足説明する。
【０１００】
図１３は、可動部を有する部品に対応する周囲領域の一例を示す図である。
図１３に示す部品４４０は、非可動部４４１と可動部４４２とを有する。例えば、可動部４４２はフラットケーブルであり、非可動部４４１はフラットケーブルのコネクタである。この部品４４０をプリント基板４１０に実装したとき、可動部４４２は、図１３中において斜線で示した可動領域４５１の範囲で移動し得るものとする。
【０１０１】
このように可動部４４２を有する部品４４０については、例えば、前述の特徴量Ａ１＿２，Ａ２＿２の算出対象となる実装領域として、非可動部４４１が配置される領域を設定する。この場合、特徴量Ｂ１＿２，Ｂ２＿２の算出対象となる周囲領域としては、実装領域の周囲における一定幅の領域４５２（図１３において網掛けで示した領域）から、可動領域４５１を除いた領域を設定すればよい。これにより、制御装置２００は、上記の式（５）および式（６）の条件をそのまま使用して、実装作業が完了したかを判定することができる。
【０１０２】
領域４５２から除外する可動領域４５１としては、例えば、可動部４４２が実際に移動し得る領域を包含するような矩形領域を設定することができる。この場合、部品ＤＢ２５０に登録される、部品４４０に対応する周囲領域の位置情報としては、領域４５２の外縁部における４つの頂点の座標と、領域４５２の内側の内空領域（すなわち、部品４４０についての実装領域）における４つの頂点の座標と、矩形状に設定した可動領域４５１における４つの頂点の座標とが登録されればよい。
【０１０３】
〔第３の実施の形態〕
上記の第２の実施の形態では、式（５）の条件により、実装領域における特徴量が大きく変化したかを判定した。これに対して、別の方法として、実装領域に実装される部品の特徴量を制御装置２００にあらかじめ登録しておき、実装領域を撮像した画像の特徴量が部品の特徴量に近づいたかを判定してもよい。
【０１０４】
実装領域に実装された部品をカメラ１１０から撮像した画像に基づく特徴量をＣとし、特徴量Ｃと、実装作業中における実装領域の特徴量Ａ２＿２との類似度をＳＣとすると、第３の実施の形態における制御装置は、前述の式（５）および式（６）に加えて、次の式（７）の条件を満たした場合に、実装領域に対する部品の実装作業が完了したと判定する。なお、ＴｈＣは、所定の判定しきい値である。
ＳＣ＞ＴｈＣ ・・・（７）
以下、第３の実施の形態に係る作業支援システムについて、第２の実施の形態と異なる部分についてのみ説明する。まず、図１４は、第３の実施の形態における制御装置の処理機能を示すブロック図である。なお、この図１４では、図５に対応する要素には同じ符号を付して示している。
【０１０５】
図１４に示す制御装置２００のＨＤＤ２０３には、部品実装作業の完了判定時に使用するしきい値として、しきい値Ｔｈ＿Ａ，Ｔｈ＿Ｂに加えて式（７）に示したしきい値ＴｈＣも、あらかじめ登録される。また、制御装置２００のＨＤＤ２０３に登録される部品ＤＢ２５０には、次の図１５に示す情報が登録される。
【０１０６】
図１５は、第３の実施の形態において部品ＤＢに登録される情報の例を示す図である。
部品ＤＢ２５０には、第２の実施の形態と同様に、プリント基板の基板ＩＤごとにレコード２５１が設けられる。また、第２の実施の形態と同様に、各レコード２５１には、部品ＩＤが部品の実装順に従って登録され、部品ＩＤのそれぞれに対応付けて、実装領域の位置情報、周囲領域の位置情報、および案内画像ＩＤが登録される。
【０１０７】
さらに、本実施の形態では、各レコード２５１には、部品ＩＤのそれぞれに対応付けて、部品の実装作業前における実装領域の特徴量Ａ１＿２と、部品の実装作業前における周囲領域の特徴量Ｂ１＿２と、実装領域に実装した部品についての特徴量Ｃとが登録される。
【０１０８】
図１４に戻り、判定処理部２１７は、特徴量算出部２１５から出力された部品実装作業中における実装領域の特徴量Ａ２＿２と、部品ＤＢ２５０から読み出した部品実装作業前における実装領域の特徴量Ａ１＿２との類似度ＳＡ＿２を算出する。また、判定処理部２１７は、特徴量算出部２１６から出力された部品実装作業中における周囲領域の特徴量Ｂ２＿２と、部品ＤＢ２５０から読み出した部品実装作業前における周囲領域の特徴量Ｂ１＿２との類似度ＳＢ＿２を算出する。さらに、判定処理部２１７は、特徴量算出部２１５から出力された部品実装作業中における実装領域の特徴量Ａ２＿２と、部品ＤＢ２５０から読み出した部品についての特徴量Ｃとの類似度ＳＣを算出する。そして、判定処理部２１７は、式（５）、式（６）および式（７）がすべて成立したときに、実装領域に対する部品の実装作業が完了したと判定し、部品実装作業が完了したことを示す完了信号を作業管理部２２０に出力する。
【０１０９】
次に、第３の実施の形態における制御装置２００の処理について説明する。第３の実施の形態における制御装置２００による作業支援処理全体の処理手順は、図１０に示した処理手順のうち、ステップＳ１３を除いたものとなる。また、ステップＳ１６での詳細な処理手順は、次の図１６のようになる。
【０１１０】
図１６は、第３の実施の形態における部品の実装判定処理の手順の例を示すフローチャートである。この図１６では、図１２と同じ処理については同じステップ番号を付して示している。図１６の処理は、図１２におけるステップＳ４９，Ｓ５０の処理に代わって、次のＳ４９ａ，Ｓ５０ａの処理を実行するようにしたものである。
【０１１１】
［ステップＳ４９ａ］作業管理部２２０は、部品実装対象のプリント基板の基板ＩＤと、ステップＳ４４で部品ＤＢ２５０から読み込んだ部品ＩＤとを、判定処理部２１７に通知する。判定処理部２１７は、作業管理部２２０から通知された基板ＩＤおよび部品ＩＤに対応付けられた特徴量Ａ１＿２，Ｂ１＿２，Ｃを、部品ＤＢ２５０から読み込む。
【０１１２】
判定処理部２１７は、ステップＳ４６で算出された実装領域の特徴量Ａ２＿２と、部品ＤＢ２５０から読み込んだ特徴量Ａ１＿２との類似度ＳＡ＿２を算出する。また、判定処理部２１７は、ステップＳ４８で算出された周囲領域の特徴量Ｂ２＿２と、部品ＤＢ２５０から読み込んだ特徴量Ｂ１＿２との類似度ＳＢ＿２を算出する。さらに、判定処理部２１７は、ステップＳ４６で算出された実装領域の特徴量Ａ２＿２と、部品ＤＢ２５０から読み込んだ特徴量Ｃとの類似度ＳＣを算出する。
【０１１３】
［ステップＳ５０ａ］判定処理部２１７は、ステップＳ４９ａで算出した類似度ＳＡ＿１，ＳＡ＿２，ＳＣが、上記の式（５）、式（６）および式（７）の各条件をすべて満たすかを判定する。式（５）、式（６）および式（７）の各条件が満たされている場合、判定処理部２１７は、作業管理部２２０に対して完了信号を出力する。完了信号を受信した作業管理部２２０は、部品の実装判定処理を終了して、図１０のステップＳ１７の処理を実行する。
【０１１４】
一方、式（５）、式（６）および式（７）の各条件のうち１つでも満たされていない場合、判定処理部２１７は、例えば、完了信号を出力しない。作業管理部２２０は、ステップＳ４１で画像取り込み部２１１に対して撮像画像データの取り込みを要求してから、一定時間（例えば１／３０秒）だけ、判定処理部２１７から完了信号が出力されるかを監視する。そして、作業管理部２２０は、一定時間内に完了信号を受信しない場合に、ステップＳ４１に進んで、画像取り込み部２１１に対して新たな撮像画像データの取り込みを要求する。
【０１１５】
以上の第３の実施の形態では、式（５）および式（６）に加えて式（７）の条件を満たす場合に部品の実装作業が完了したと判定することで、その判定精度を向上させることができる。
【０１１６】
なお、上記の第３の実施の形態では、部品の実装作業前における実装領域の特徴量Ａ１＿２および周囲領域の特徴量Ｂ１＿２を、部品ＤＢ２５０にあらかじめ用意した。しかしながら、これらの特徴量Ａ１＿２，Ｂ１＿２を、第２の実施の形態と同様に、全部品の実装作業前における撮像画像を基に算出してもよい。
【０１１７】
また、上記の第３の実施の形態では、式（５）、式（６）および式（７）の各条件をすべて満たしたときに部品の実装作業が完了したと判定した。しかしながら、他の例として、類似度ＳＡ＿２の算出を行わないようにし、式（６）および式（７）の各条件を両方満たした場合に部品の実装作業が完了したと判定するようにしてもよい。
【０１１８】
〔第４の実施の形態〕
部品の実装作業においては、ある部品についての実装領域または周囲領域の少なくとも一部の上に、さらに別の部品を実装するという場合があり得る。例えば、プリント基板上にＬＳＩ（Large Scale Integration）チップを実装した後、そのＬＳＩチップの上に冷却ファンを取り付ける場合などが考えられる。
【０１１９】
新たな部品を、それ以前に実装した部品に対応する実装領域または周囲領域の少なくとも一部の上にさらに実装する作業が完了したかを判定する際に、全部品の実装作業前に撮像した画像を基に算出した特徴量Ａ１＿２，Ｂ１＿２を用いてしまうと、実装作業が完了したかを正しく判定できない。なぜなら、新たな部品に対応する実装領域または周囲領域の特徴量は、それ以前に実装した部品の少なくとも一部の領域が配設されたことで、全部品の実装作業前とは異なる値になっているからである。
【０１２０】
そこで、以下の第４の実施の形態では、制御装置は、新たな部品を実装する直前に、その部品の実装領域または周囲領域が、それ以前に実装した部品の実装領域と重複するかを判定し、重複すると判定した場合に、新たな部品に対応する実装領域および周囲領域を撮像し直して、特徴量Ａ１＿２，Ｂ１＿２をあらためて算出する。
【０１２１】
以下、第４の実施の形態における制御装置の構成について、図５を用いて説明する。第２の実施の形態における制御装置２００と異なる点は、部品ＤＢ２５０に登録される情報と、この登録情報に基づく、作業管理部２２０による実装判定部２１０に対する制御処理手順である。
【０１２２】
図１７は、第４の実施の形態において部品ＤＢに登録される情報の例を示す図である。
部品ＤＢ２５０には、第２の実施の形態と同様に、プリント基板の基板ＩＤごとにレコード２５１が設けられる。また、第２の実施の形態と同様に、各レコード２５１には、部品ＩＤが部品の実装順に従って登録され、部品ＩＤのそれぞれに対応付けて、実装領域の位置情報、周囲領域の位置情報、および案内画像ＩＤが登録される。
【０１２３】
さらに、本実施の形態では、各レコード２５１には、部品ＩＤのそれぞれに対応付けて、領域重複フラグが登録される。領域重複フラグは、このフラグに対応付けられた部品の実装領域または周囲領域の少なくとも一方が、それ以前に実装されるいずれかの部品についての実装領域の少なくとも一部と重複するかを示すものである。領域重複フラグは、領域が重複する場合には「１」とされ、領域が重複しない場合には「０」とされる。
【０１２４】
図１８は、第４の実施の形態の制御装置における作業支援処理全体の手順の例を示すフローチャートである。なお、この図１８では、図１０と同じ処理については同じステップ番号を付して示している。図１８の処理は、図１０のステップＳ１４とステップＳ１５との間に、ステップＳ６１，Ｓ６２の処理が追加されたものである。
【０１２５】
［ステップＳ６１］作業管理部２２０は、部品ＤＢ２５０における、部品実装対象のプリント基板の基板ＩＤに対応するエントリから、ステップＳ１４で読み込んだ部品ＩＤに対応付けられた領域重複フラグを読み込む。読み込んだ領域重複フラグが「１」である場合、作業管理部２２０は、ステップＳ６２の処理を実行する。一方、読み込んだ領域重複フラグが「０」である場合、作業管理部２２０は、ステップＳ１５の処理を実行する。
【０１２６】
［ステップＳ６２］作業管理部２２０は、画像取り込み部２１１に新たな撮像画像データの取り込みを要求し、実装判定部２１０に、Ｎ番目の部品に対応する特徴量Ａ１＿２，Ｂ１＿２を算出させる。特徴量Ａ１＿２，Ｂ１＿２の算出手順は、図１１のステップＳ２６〜Ｓ２９で変数Ｍを変数Ｎに置き換えた場合と同様である。また、特徴量算出部２１５，２１６は、新たに算出した特徴量Ａ１＿２，Ｂ１＿２によって、図１８のステップＳ１３の処理においてＲＡＭ２０２に格納した、Ｎ番目の部品に対応する特徴量Ａ１＿２，Ｂ１＿２を更新する。
【０１２７】
なお、ステップＳ６１では、領域重複フラグを参照する代わりに、Ｎ番目の部品に対応する実装領域または周囲領域の少なくとも一部が、それ以前に実装された部品に対応する実装領域に重複するかが、計算によって判定されてもよい。この場合、作業管理部２２０は、部品ＤＢ２５０に登録された実装領域および周囲領域の各位置情報に基づき、Ｎ番目の部品に対応する実装領域または周囲領域と、１番目から（Ｎ−１）番目までの各部品に対応する実装領域とを比較する。そして、作業管理部２２０は、比較した少なくとも１つの領域の組合せにおいて領域同士が重複していた場合に、ステップＳ６２の処理を実行する。なお、このように計算によって領域の重複を判定する場合には、Ｎ＝１のときにはステップＳ６１，Ｓ６２を実行しないようにしてもよい。
【０１２８】
以上の処理により、新たに実装する部品に対応する実装領域または周囲領域の少なくとも一部が、それ以前に実装された部品に対応する実装領域と重複する場合でも、新たな部品の実装作業が完了したかを正確に判定できるようになる。
【０１２９】
なお、図１８の処理において、ステップＳ１３の処理を実行せずに、特徴量Ａ１＿２、Ｂ１＿２として部品ＤＢ２５０に登録された値を使用する場合であっても、ステップＳ６１，Ｓ６２を追加することが可能である。例えば、図１８の処理を、ステップＳ１３を除去するとともに、ステップＳ１６の処理を図１６のように変形することができる。この場合、図１６のステップＳ４９ａでは、処理対象の部品に対応付けられた領域重複フラグが「１」である場合には、直前のステップＳ６２で算出した特徴量Ａ１＿２，Ｂ１＿２が使用されればよい。
【０１３０】
なお、上記の各実施の形態における作業支援装置および制御装置の処理機能は、コンピュータによって実現することができる。その場合、作業支援装置および制御装置が有すべき機能の処理内容を記述したプログラムが提供され、そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記憶装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。磁気記憶装置には、ハードディスク装置（ＨＤＤ）、フレキシブルディスク（ＦＤ）、磁気テープなどがある。光ディスクには、ＤＶＤ、ＤＶＤ−ＲＡＭ、ＣＤ−ＲＯＭ／ＲＷなどがある。光磁気記録媒体には、ＭＯ（Magneto-Optical disk）などがある。
【０１３１】
プログラムを流通させる場合には、例えば、そのプログラムが記録されたＤＶＤ、ＣＤ−ＲＯＭなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。
【０１３２】
プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムまたはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、ネットワークを介して接続されたサーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。
【０１３３】
以上の各実施の形態に関し、さらに以下の付記を開示する。
（付記１） 部品を実装する実装領域と、前記実装領域の周囲領域とをそれぞれ撮像した撮像画像を撮像装置から取得する画像取得部と、
前記画像取得部が取得した前記実装領域の撮像画像についての第１の特徴量と、部品の実装作業前における前記実装領域の画像についての第２の特徴量との類似度が第１のしきい値より大きく、かつ、前記画像取得部が取得した前記周囲領域の撮像画像についての第３の特徴量と、部品の実装作業前における前記周囲領域の画像についての第４の特徴量との類似度が第２のしきい値より小さい場合に、前記実装領域に対する部品の実装作業が完了したと判定する判定部と、
を有することを特徴とする作業支援装置。
【０１３４】
（付記２） １つの実装対象物に対して複数の部品を実装する実装作業の順序と、前記複数の部品のそれぞれに対応する前記実装領域の位置とを記憶する部品情報記憶部をさらに有し、
前記判定部は、前記複数の部品のうち第１の部品を当該第１の部品に対応する前記実装領域に実装する作業が完了したと判定すると、前記部品情報記憶部に記憶された情報に基づいて、次に実装すべき第２の部品に対応する前記実装領域を判別して、前記第２の部品に対応する前記実装領域および前記周囲領域の各撮像画像を前記画像取得部に取得させ、前記画像取得部が取得した前記第２の部品に対応する前記実装領域の撮像画像についての前記第１の特徴量と、前記第２の部品に対応する前記実装領域の画像についての前記第２の特徴量との類似度が前記第１のしきい値より大きく、かつ、前記画像取得部が取得した前記第２の部品に対応する前記周囲領域の撮像画像についての前記第３の特徴量と、前記第２の部品に対応する前記周囲領域の画像についての前記第４の特徴量との類似度が前記第２のしきい値より小さい場合に、前記第２の部品を当該第２の部品に対応する前記実装領域に実装する作業が完了したと判定する、
ことを特徴とする付記１記載の作業支援装置。
【０１３５】
（付記３） 前記部品情報記憶部には、前記複数の部品のそれぞれについての実装作業手順を案内する案内画像の情報が記憶され、
前記作業支援装置は、さらに、前記判定部が前記第１の部品の実装作業が完了したと判定すると、前記部品情報記憶部に記憶された前記第２の部品に対応する前記案内画像の情報に基づいて当該案内画像を表示部に表示させる表示制御部を有する、
ことを特徴とする付記２記載の作業支援装置。
【０１３６】
（付記４） 前記判定部は、前記部品情報記憶部に記憶された情報に基づいて前記第２の部品に対応する前記実装領域を判別したとき、当該第２の部品に対応する前記実装領域または前記周囲領域の少なくとも一部が、当該第２の部品の実装作業開始前に前記実装対象物に実装される他のいずれかの部品に対応する前記実装領域と重複する場合には、前記第２の部品に対応する前記実装領域および前記周囲領域の各撮像画像を前記画像取得部に取得させ、新たに取得された前記実装領域および前記周囲領域の撮像画像のそれぞれについての特徴量を、前記第２の部品に対応する前記第２の特徴量および前記第４の特徴量として一時記憶部に格納し、その後に前記画像取得部が前記撮像装置から取得した撮像画像から得られた前記第１の特徴量および前記第３の特徴量と、前記一時記憶部に格納された前記第２の特徴量および前記第４の特徴量とを基に、前記第２の部品の実装作業が完了したかを判定することを特徴とする付記２または３記載の作業支援装置。
【０１３７】
（付記５） 前記実装領域として、実装される部品における非可動部の領域が設定され、前記周囲領域として、前記非可動部の領域の周囲のうち、実装される部品の可動部が可動する領域を除く領域が設定されることを特徴とする付記１〜４のいずれか１つに記載の作業支援装置。
【０１３８】
（付記６） 前記判定部は、前記第１の特徴量と、記憶部にあらかじめ記憶された、部品の実装作業完了後における前記実装領域の画像についての第５の特徴量との類似度が第３のしきい値より小さいことを判定することで、前記第１の特徴量と前記第２の特徴量との類似度が前記第１のしきい値より大きいことを判定することを特徴とする付記１記載の作業支援装置。
【０１３９】
（付記７） 前記判定部は、前記第１の特徴量と前記第２の特徴量との類似度が前記第１のしきい値より大きく、かつ、前記第１の特徴量と、記憶部にあらかじめ記憶された、部品の実装作業完了後における前記実装領域の画像についての第５の特徴量との類似度が第３のしきい値より小さく、かつ、前記第３の特徴量と前記第４の特徴量との類似度が前記第２のしきい値より小さい場合に、前記実装領域に対する部品の実装作業が完了したと判定することを特徴とする付記１記載の作業支援装置。
【０１４０】
（付記８） コンピュータに、
部品を実装する実装領域と、前記実装領域の周囲領域とをそれぞれ撮像した撮像画像を撮像装置から取得し、
前記撮像装置から取得した前記実装領域の撮像画像についての第１の特徴量と、部品の実装作業前における前記実装領域の画像についての第２の特徴量との類似度が第１のしきい値より大きく、かつ、前記撮像装置から取得した前記周囲領域の撮像画像についての第３の特徴量と、部品の実装作業前における前記周囲領域の画像についての第４の特徴量との類似度が第２のしきい値より小さい場合に、前記実装領域に対する部品の実装作業が完了したと判定する、
処理を実行させることを特徴とする作業支援プログラム。
【０１４１】
（付記９） １つの実装対象物に対して実装する複数の部品のうち第１の部品を当該第１の部品に対応する前記実装領域に実装する作業が完了したと判定すると、前記複数の部品を実装する実装作業の順序と、前記複数の部品のそれぞれに対応する前記実装領域の位置とが記憶された部品情報記憶部を参照し、次に実装すべき第２の部品に対応する前記実装領域を判別して、前記第２の部品に対応する前記実装領域および前記周囲領域の各撮像画像を前記撮像装置から取得し、前記撮像装置から取得した前記第２の部品に対応する前記実装領域の撮像画像についての前記第１の特徴量と、前記第２の部品に対応する前記実装領域の画像についての前記第２の特徴量との類似度が前記第１のしきい値より大きく、かつ、前記撮像装置から取得した前記第２の部品に対応する前記周囲領域の撮像画像についての前記第３の特徴量と、前記第２の部品に対応する前記周囲領域の画像についての前記第４の特徴量との類似度が前記第２のしきい値より小さい場合に、前記第２の部品を当該第２の部品に対応する前記実装領域に実装する作業が完了したと判定することを特徴とする付記８記載の作業支援プログラム。
【０１４２】
（付記１０） 前記部品情報記憶部には、前記複数の部品のそれぞれについての実装作業手順を案内する案内画像の情報が記憶され、
前記第１の部品の実装作業が完了したと判定すると、前記部品情報記憶部に記憶された前記第２の部品に対応する前記案内画像の情報に基づいて当該案内画像を表示部に表示させる、
ことを特徴とする付記９記載の作業支援プログラム。
【０１４３】
（付記１１） 前記部品情報記憶部に記憶された情報に基づいて前記第２の部品に対応する前記実装領域を判別したとき、当該第２の部品に対応する前記実装領域または前記周囲領域の少なくとも一部が、当該第２の部品の実装作業開始前に前記実装対象物に実装される他のいずれかの部品に対応する前記実装領域と重複する場合には、前記第２の部品に対応する前記実装領域および前記周囲領域の各撮像画像を前記撮像装置から新たに取得し、新たに取得された前記実装領域および前記周囲領域の撮像画像のそれぞれについての特徴量を、前記第２の部品に対応する前記第２の特徴量および前記第４の特徴量として一時記憶部に格納し、その後に前記撮像装置から取得した撮像画像から得られた前記第１の特徴量および前記第３の特徴量と、前記一時記憶部に格納された前記第２の特徴量および前記第４の特徴量とを基に、前記第２の部品の実装作業が完了したかを判定することを特徴とする付記９または１０記載の作業支援プログラム。
【０１４４】
（付記１２） 前記実装領域として、実装される部品における非可動部の領域が設定され、前記周囲領域として、前記非可動部の領域の周囲のうち、実装される部品の可動部が可動する領域を除く領域が設定されることを特徴とする付記８〜１１のいずれか１つに記載の作業支援プログラム。
【０１４５】
（付記１３） 前記実装領域に対する部品の実装作業が完了したかを判定する処理では、前記第１の特徴量と、記憶部にあらかじめ記憶された、部品の実装作業完了後における前記実装領域の画像についての第５の特徴量との類似度が第３のしきい値より小さいことを判定することで、前記第１の特徴量と前記第２の特徴量との類似度が前記第１のしきい値より大きいことを判定することを特徴とする付記８記載の作業支援プログラム。
【０１４６】
（付記１４） 前記実装領域に対する部品の実装作業が完了したかを判定する処理では、前記第１の特徴量と前記第２の特徴量との類似度が前記第１のしきい値より大きく、かつ、前記第１の特徴量と、記憶部にあらかじめ記憶された、部品の実装作業完了後における前記実装領域の画像についての第５の特徴量との類似度が第３のしきい値より小さく、かつ、前記第３の特徴量と前記第４の特徴量との類似度が前記第２のしきい値より小さい場合に、前記実装領域に対する部品の実装作業が完了したと判定することを特徴とする付記８記載の作業支援プログラム。
【０１４７】
（付記１５） 作業支援装置が、
部品を実装する実装領域と、前記実装領域の周囲領域とをそれぞれ撮像した撮像画像を撮像装置から取得し、
前記撮像装置から取得した前記実装領域の撮像画像についての第１の特徴量と、部品の実装作業前における前記実装領域の画像についての第２の特徴量との類似度が第１のしきい値より大きく、かつ、前記撮像装置から取得した前記周囲領域の撮像画像についての第３の特徴量と、部品の実装作業前における前記周囲領域の画像についての第４の特徴量との類似度が第２のしきい値より小さい場合に、前記実装領域に対する部品の実装作業が完了したと判定する、
ことを特徴とする作業支援方法。
【０１４８】
（付記１６） １つの実装対象物に対して実装する複数の部品のうち第１の部品を当該第１の部品に対応する前記実装領域に実装する作業が完了したと判定すると、前記複数の部品を実装する実装作業の順序と、前記複数の部品のそれぞれに対応する前記実装領域の位置とが記憶された部品情報記憶部を参照し、次に実装すべき第２の部品に対応する前記実装領域を判別して、前記第２の部品に対応する前記実装領域および前記周囲領域の各撮像画像を前記撮像装置から取得し、前記撮像装置から取得した前記第２の部品に対応する前記実装領域の撮像画像についての前記第１の特徴量と、前記第２の部品に対応する前記実装領域の画像についての前記第２の特徴量との類似度が前記第１のしきい値より大きく、かつ、前記撮像装置から取得した前記第２の部品に対応する前記周囲領域の撮像画像についての前記第３の特徴量と、前記第２の部品に対応する前記周囲領域の画像についての前記第４の特徴量との類似度が前記第２のしきい値より小さい場合に、前記第２の部品を当該第２の部品に対応する前記実装領域に実装する作業が完了したと判定することを特徴とする付記１５記載の作業支援方法。
【０１４９】
（付記１７） 前記部品情報記憶部には、前記複数の部品のそれぞれについての実装作業手順を案内する案内画像の情報が記憶され、
前記第１の部品の実装作業が完了したと判定すると、前記部品情報記憶部に記憶された前記第２の部品に対応する前記案内画像の情報に基づいて当該案内画像を表示部に表示させる、
ことを特徴とする付記１６記載の作業支援方法。
【０１５０】
（付記１８） 前記部品情報記憶部に記憶された情報に基づいて前記第２の部品に対応する前記実装領域を判別したとき、当該第２の部品に対応する前記実装領域または前記周囲領域の少なくとも一部が、当該第２の部品の実装作業開始前に前記実装対象物に実装される他のいずれかの部品に対応する前記実装領域と重複する場合には、前記第２の部品に対応する前記実装領域および前記周囲領域の各撮像画像を前記撮像装置から新たに取得し、新たに取得された前記実装領域および前記周囲領域の撮像画像のそれぞれについての特徴量を、前記第２の部品に対応する前記第２の特徴量および前記第４の特徴量として一時記憶部に格納し、その後に前記撮像装置から取得した撮像画像から得られた前記第１の特徴量および前記第３の特徴量と、前記一時記憶部に格納された前記第２の特徴量および前記第４の特徴量とを基に、前記第２の部品の実装作業が完了したかを判定することを特徴とする付記１６または１７記載の作業支援方法。
【０１５１】
（付記１９） 前記実装領域に対する部品の実装作業が完了したかを判定する処理では、前記第１の特徴量と、記憶部にあらかじめ記憶された、部品の実装作業完了後における前記実装領域の画像についての第５の特徴量との類似度が第３のしきい値より小さいことを判定することで、前記第１の特徴量と前記第２の特徴量との類似度が前記第１のしきい値より大きいことを判定することを特徴とする付記１５記載の作業支援方法。
【０１５２】
（付記２０） 前記実装領域に対する部品の実装作業が完了したかを判定する処理では、前記第１の特徴量と前記第２の特徴量との類似度が前記第１のしきい値より大きく、かつ、前記第１の特徴量と、記憶部にあらかじめ記憶された、部品の実装作業完了後における前記実装領域の画像についての第５の特徴量との類似度が第３のしきい値より小さく、かつ、前記第３の特徴量と前記第４の特徴量との類似度が前記第２のしきい値より小さい場合に、前記実装領域に対する部品の実装作業が完了したと判定することを特徴とする付記１５記載の作業支援方法。
【符号の説明】
【０１５３】
１ 作業支援システム
２ 実装対象物
２ａ 実装領域
２ｂ 周囲領域
３ 部品
１０ カメラ
２０ 作業支援装置
２１ 画像取得部
２２ 判定部
【技術分野】
【０００１】
本発明は、作業支援装置、作業支援プログラムおよび作業支援方法に関する。
【背景技術】
【０００２】
人による物の生産方式として、セル生産方式が知られている。セル生産方式では、１人の作業者が複数の作業工程が受け持つことから、作業者は、これら複数の作業工程を作業手順書などを基に理解して作業を進める必要がある。作業手順書を参照しながら作業を進めることは、作業効率を低下させる要因になり、また、作業工程を暗記することは作業者にとって大きな負担になる。
【０００３】
このような問題に対して、製品の組立工程や作業手順情報などを、作業者が視認するモニタに表示することで、作業を支援するという方法がある。また、他の作業支援方法として、部品箱に指示ランプとセンサとを設けておき、部品箱から部品が取り出されたことをセンサが検出すると、次の作業で使用する部品箱を指示ランプを用いて作業者に指示するという方法もある。
【０００４】
さらに、製造工程に関連する技術の例として、部品の実装領域を撮像した画像をモデル値と照合することで、実装領域に正しい部品が実装されたかを判定するものがある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平６−８３８４０号公報
【特許文献２】特開２００６−１６７８２９号公報
【特許文献３】特開２００４−２６００３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
前述した組立作業の支援方法により、作業者は、作業中に作業手順書を参照する必要がなくなり、また、作業手順を暗記する必要もなくなる。しかしながら、作業者に作業の手順を知らせるだけでは、部品の取り付け作業が完了したかを判断できない。また、部品の実装領域を撮像した画像をモデル値と照合する方法では、部品の実装領域とカメラとの間に部品が存在することは検出できるものの、その部品の実装作業が本当に完了したのかを正確に検出できないという問題がある。
【０００７】
また、このように部品の取り付け作業が完了したかを正確に検出できないという問題は、上記のセル生産方式に限らず、ライン生産方式などの人手による他の生産方式においても発生する。
【０００８】
本発明はこのような課題に鑑みてなされたものであり、部品の実装作業が完了したかを正確に判定できるようにした作業支援装置、作業支援プログラムおよび作業支援方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、画像取得部と、判定部とを有する作業支援装置が提供される。この作業支援装置において、画像取得部は、部品を実装する実装領域と、実装領域の周囲領域とをそれぞれ撮像した撮像画像を、撮像装置から取得する。判定部は、画像取得部が取得した実装領域の撮像画像についての第１の特徴量と、部品の実装作業前における実装領域の画像についての第２の特徴量との類似度が第１のしきい値より大きく、かつ、画像取得部が取得した周囲領域の撮像画像についての第３の特徴量と、部品の実装作業前における周囲領域の画像についての第４の特徴量との類似度が第２のしきい値より小さい場合に、実装領域に対する部品の実装作業が完了したと判定する。
【００１０】
また、上記課題を解決するために、上記の作業支援装置と同様の処理をコンピュータに実行させる作業支援プログラムが提供される。
さらに、上記課題を解決するために、上記の作業支援装置と同様の処理を実行する作業支援方法が提供される。
【発明の効果】
【００１１】
上記の作業支援装置、作業支援プログラムおよび作業支援方法によれば、実装領域に対する部品の実装作業が完了したかを正確に判定できるようになる。
【図面の簡単な説明】
【００１２】
【図１】第１の実施の形態に係る作業支援システムの構成例を示す図である。
【図２】部品実装作業の例を示す図である。
【図３】第２の実施の形態に係る作業支援システムのシステム構成例を示す図である。
【図４】制御装置のハードウェア構成例を示す図である。
【図５】制御装置が備える処理機能の例を示すブロック図である。
【図６】プリント基板における部品の実装領域とその周辺領域の各例を示す図である。
【図７】部品ＤＢに登録される情報の例を示す図である。
【図８】初期画像の表示例を示す図である。
【図９】部品の実装作業中における案内画像の表示例を示す図である。
【図１０】制御装置における作業支援処理全体の手順の例を示すフローチャートである。
【図１１】部品の実装作業前における特徴量取得処理の手順の例を示すフローチャートである。
【図１２】部品の実装判定処理の手順の例を示すフローチャートである。
【図１３】可動部を有する部品に対応する周囲領域の一例を示す図である。
【図１４】第３の実施の形態における制御装置の処理機能を示すブロック図である。
【図１５】第３の実施の形態において部品ＤＢに登録される情報の例を示す図である。
【図１６】第３の実施の形態における部品の実装判定処理の手順の例を示すフローチャートである。
【図１７】第４の実施の形態において部品ＤＢに登録される情報の例を示す図である。
【図１８】第４の実施の形態の制御装置における作業支援処理全体の手順の例を示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下、実施の形態について図面を参照して説明する。
〔第１の実施の形態〕
図１は、第１の実施の形態に係る作業支援システムの構成例を示す図である。図１に示す作業支援システム１は、カメラ（撮像装置）１０と、作業支援装置２０とを含む。
【００１４】
カメラ１０は、実装対象物２において部品３が実装される部品実装面を撮像し、撮像画像を作業支援装置２０に供給する。作業支援装置２０は、カメラ１０によって撮像された画像を基に、実装対象物２に対する部品３の実装作業が完了したかを判定することで、実装対象物２に対する部品３の実装作業を支援する。作業支援装置２０は、画像取得部２１と、判定部２２とを備える。なお、画像取得部２１および判定部２２の処理は、例えば、作業支援装置２０が備えるＣＰＵ（Central Processing Unit）が所定のプログラムを実行することで実現される。
【００１５】
画像取得部２１は、カメラ１０から、少なくとも、部品３が実装される実装領域２ａの撮像画像と、実装領域２ａの周囲領域２ｂの撮像画像とを取得する。ここで、実装領域２ａは、例えば、部品３が実装対象物２に実装された状態において、カメラ１０から見て部品３が配置された領域を包含するように設定される。一例として、実装領域２ａは、部品３が実装対象物２に実装された状態において、カメラ１０から見た部品３の外縁部に接するように設定される。一方、周囲領域２ｂは、例えば、実装領域２ａを一定幅だけ拡大した領域のうち、実装領域２ａを除く領域として設定される。
【００１６】
判定部２２は、画像取得部２１によって取得された実装領域２ａおよび周囲領域２ｂの各撮像画像の変化を観察することにより、実装領域２ａに対する部品３の実装作業が完了したかを判定する。より具体的には、判定部２２は、部品３の実装作業前における実装領域２ａおよび周囲領域２ｂの各撮像画像を画像取得部２１から取得し、実装領域２ａの撮像画像についての特徴量Ａ１と、周囲領域２ｂの撮像画像についての特徴量Ｂ１とを求める。さらに、判定部２２は、部品３の実装作業中における実装領域２ａおよび周囲領域２ｂの各撮像画像と画像取得部２１から取得し、実装領域２ａの撮像画像についての特徴量Ａ２と、周囲領域２ｂの撮像画像についての特徴量Ｂ２とを求める。
【００１７】
そして、判定部２２は、特徴量Ａ１と特徴量Ａ２との類似度ＳＡと、特徴量Ｂ１と特徴量Ｂ２との類似度ＳＢとを求めて、次の式（１）および式（２）の両方が成立したときに、実装領域２ａに対する部品３の実装作業が完了したと判定する。なお、式（１）、式（２）において、ＴｈＡ，ＴｈＢは、ともにあらかじめ決められた判定しきい値である。
ＳＡ＜ＴｈＡ ・・・（１）
ＳＢ＞ＴｈＢ ・・・（２）
なお、判定部２２は、カメラ１０から取得した撮像画像を基に特徴量Ａ１，Ｂ１を求めるのではなく、記憶部（図示せず）にあらかじめ記憶された特徴量Ａ１，Ｂ１を用いて、部品実装作業が完了したかを判定してもよい。
【００１８】
ここで、図２は、部品実装作業の例を示す図である。
図２における「状態１」は、作業者が実装対象物２に対して部品３を実装する作業の途中の状態を示す。また、図２における「状態２」は、実装対象物２に対する部品３の実装作業が完了した状態を示す。
【００１９】
上記の式（１）の条件は、カメラ１０から見た実装領域２ａの方向に部品３が配置されたことを検出する条件である。ただし、例えば図２の状態１のように、部品３が実装領域２ａの近くに配置されているものの、実装領域２ａに対する部品３の実装作業が完了していない状態であっても、式（１）の条件を満たす可能性がある。
【００２０】
一方、図２の状態１のように、部品３の実装作業が未完了の状態では、部品３は作業者の手によって保持されている場合が多い。あるいは、部品３が実装対象物２に接触しているものの、部品３の実装作業が未完了の状態では、位置合わせなどを行う作業者の手が部品３に触れている場合が多い。これらのケースのように、部品３に作業者の手が触れている場合には、実装領域２ａに対応する周囲領域２ｂを撮像した画像には、作業者の手が映り込む可能性が高い。
【００２１】
逆に、部品３の実装作業が完了すると、図２の状態２のように、作業者の手は実装領域２ａから遠ざかり、周囲領域２ｂの外側に離れる。このとき、カメラ１０が周囲領域２ｂを撮像した画像には、作業者の手が映らなくなる。上記の式（２）は、周囲領域２ｂに、作業者の手などの物体が写り込んでいないことを検出する条件である。このような式（２）の条件と上記の式（１）の条件の両方を満たした場合に部品の実装作業が完了したと判定することで、作業の完了を正確に判定できるようになる。
【００２２】
ところで、上記の式（１）、式（２）における判定しきい値ＴｈＡ，ＴｈＢは、例えば、実装対象物２への部品実装作業前において、次のように求められる。部品３が実装されていない実装領域２ａの画像についての特徴量Ａ１＿０と、部品実装完了後における実装領域２ａの画像についての特徴量Ａ２＿０とから、特徴量Ａ１＿０と特徴量Ａ２＿０との類似度を求める。そして、求めた類似度に１以上の所定の係数を乗算した値を、判定しきい値ＴｈＡとする。また、部品３の実装前における周囲領域２ｂの画像についての特徴量Ｂ１＿０と、周囲領域２ｂの一部を手などで隠した状態で周囲領域２ｂを撮像した画像についての特徴量Ｂ２＿０とから、特徴量Ｂ１＿０と特徴量Ｂ２＿０との類似度を求める。そして、求めた類似度に１未満の所定の係数を乗算した値を、判定しきい値ＴｈＢとする。ここで、上記の各係数は、例えば、被写体に対する照明の状態、あるいは、カメラ１１０やプリント基板４１０の位置ズレなどによって生じる類似度のブレを吸収するものである。
【００２３】
また、実装領域２ａおよび周囲領域２ｂの各画像についての特徴量としては、例えば、各領域の画像データを用いることができる。この場合、２つの画像の類似度を計算する方法としては、各種の相関演算の方法を用いることができる。相関演算の一例としては、比較する２つの画像データにおけるそれぞれ同一座標の画素値の差の二乗和を求め、求めた二乗和の平方根Ｘ１を求めるともに、全画素についての画素値の最大値の二乗和を求め、求めた二乗和の平方根Ｘ２を求めて、平方根Ｘ１を平方根Ｘ２で除算する方法などがある。
【００２４】
また、実装領域２ａおよび周囲領域２ｂの各画像についての特徴量としては、例えば、各画像内の全画素の画素値の平均値を用いることもできる。例えば、各領域の画像において、全画素についての画素値のＲ（Red）成分の平均値と、全画素についての画素値のＧ（Green）成分の平均値と、全画素についての画素値のＢ（Blue）成分の平均値とを加算し、その加算値を３で除算したものを特徴量とする。
【００２５】
この場合、特徴量同士の類似度は、特徴量の差分を基に求めることもできる。例えば、部品実装前における実装領域２ａおよび周囲領域２ｂの特徴量をそれぞれＡ１＿１，Ｂ１＿１、部品実装作業の完了後における実装領域２ａおよび周囲領域２ｂの特徴量をそれぞれＡ２＿１，Ｂ２＿２とすると、判定部２２は、次の式（３）および式（４）の両方が成立したときに、実装領域に対する部品の実装作業が完了したと判定する。なお、式（３）、式（４）において、ＴｈＡ＿１，ＴｈＢ＿１は、ともにあらかじめ決められた判定しきい値である。
｜Ａ２＿１−Ａ１＿１｜＞ＴｈＡ＿１ ・・・（３）
｜Ｂ２＿１−Ｂ１＿１｜＜ＴｈＢ＿１ ・・・（４）
〔第２の実施の形態〕
次に、第２の実施の形態として、プリント基板に対して部品を実装する作業を支援する作業支援システムについて説明する。
【００２６】
図３は、第２の実施の形態に係る作業支援システムのシステム構成例を示す図である。図３に示す作業支援システム１００は、カメラ１１０、モニタ１２０および制御装置２００を含む。
【００２７】
カメラ１１０は、作業台４００に載置されたプリント基板４１０における部品４１１の実装面を撮像する。なお、図３では１つの部品４１１を示しているが、実際にはプリント基板４１０には複数の部品が実装される。作業台４００では、１人または複数の作業者によって、プリント基板４１０に対して複数の部品が順番に実装される。なお、プリント基板４１０は、例えば、作業台４００に設けられた固定機構によって作業台４００に固定されてもよい。
【００２８】
モニタ１２０には、作業者に対して部品実装作業を案内する各種の案内画像が表示される。モニタ１２０としては、例えば、ＬＣＤ（Liquid Crystal Display）、ＣＲＴ（cathode-ray tube）などを使用することができる。また、案内画像を表示する他の表示デバイスとして、例えば、プロジェクタ、ヘッドマウントディスプレイなどを使用することもできる。
【００２９】
制御装置２００は、カメラ１１０が撮像した画像を基に、モニタ１２０に表示する案内画像を制御する。ここで、モニタ１２０に表示される案内画像は、少なくとも、プリント基板４１０に実装される部品ごとに用意される。そして、制御装置２００は、カメラ１１０によって撮像された画像を基に、プリント基板４１０に対して部品が実装されたか否かを部品ごとに判定し、１つの部品の実装が完了したと判定すると、モニタ１２０に表示させる案内画像を、次に実装すべき部品に対応する案内画像に切り替える。
【００３０】
図４は、制御装置のハードウェア構成例を示す図である。
制御装置２００は、例えば、図４に示すようなコンピュータとして実現される。制御装置２００は、ＣＰＵ２０１によって装置全体が制御されている。ＣＰＵ２０１には、バス２０９を介して、ＲＡＭ（Random Access Memory）２０２および複数の周辺機器が接続されている。
【００３１】
ＲＡＭ２０２は、制御装置２００の主記憶装置として使用される。ＲＡＭ２０２には、ＣＰＵ２０１に実行させるＯＳ（Operating System）プログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、ＲＡＭ２０２には、ＣＰＵ２０１による処理に必要な各種データが格納される。
【００３２】
バス２０９に接続されている周辺機器としては、ＨＤＤ（Hard Disk Drive）２０３、グラフィックＩ／Ｆ（インタフェース）２０４、入力Ｉ／Ｆ２０５、光学ドライブ装置２０６、ネットワークＩ／Ｆ２０７および通信Ｉ／Ｆ２０８がある。
【００３３】
ＨＤＤ２０３は、内蔵した磁気ディスクに対して、磁気的にデータの書き込みおよび読み出しを行う。ＨＤＤ２０３は、制御装置２００の二次記憶装置として使用される。ＨＤＤ２０３には、ＯＳプログラム、アプリケーションプログラム、および各種データが格納される。なお、二次記憶装置としては、フラッシュメモリなどの半導体記憶装置を使用することもできる。
【００３４】
グラフィックＩ／Ｆ２０４には、モニタ１２０が接続されている。グラフィックＩ／Ｆ２０４は、ＣＰＵ２０１からの命令に従って、前述した案内画像などの各種の画像をモニタ１２０に表示させる。
【００３５】
入力Ｉ／Ｆ２０５には、例えば、キーボード２０５ａおよびマウス２０５ｂが接続されている。入力Ｉ／Ｆ２０５は、キーボード２０５ａやマウス２０５ｂからの出力信号をＣＰＵ２０１に送信する。なお、マウス２０５ｂは、ポインティングデバイスの一例であり、他のポインティングデバイスを使用することもできる。他のポインティングデバイスとしては、タッチパネル、タブレット、タッチパッド、トラックボールなどがある。
【００３６】
光学ドライブ装置２０６は、レーザ光などを利用して、光ディスク２０６ａに記録されたデータの読み取りを行う。光ディスク２０６ａは、光の反射によって読み取り可能なようにデータが記録された可搬型の記録媒体である。光ディスク２０６ａには、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（Rewritable）などがある。
【００３７】
ネットワークＩ／Ｆ２０７は、ネットワーク２０７ａに接続された他の装置との間でデータを送受信する。
通信Ｉ／Ｆ２０７は、カメラ１１０から出力された撮像画像信号を受信して、ＣＰＵ２０１に出力する。なお、カメラ１１０は、撮像画像信号をデジタル信号に変換して出力するものとするが、撮像画像信号のデジタル変換機能を通信Ｉ／Ｆ２０８が備えていてもよい。
【００３８】
図５は、制御装置が備える処理機能の例を示すブロック図である。
制御装置２００は、実装判定部２１０、作業管理部２２０および表示制御部２３０を備える。実装判定部２１０、作業管理部２２０および表示制御部２３０の処理は、例えば、制御装置２００が備えるＣＰＵが所定のプログラムを実行することで実現される。また、制御装置２００のＨＤＤ２０３には、基板画像ＤＢ（データベース）２４０、部品ＤＢ２５０、および案内画像ＤＢ２６０が記憶される。
【００３９】
実装判定部２１０は、作業管理部２２０による制御の下で、カメラ１１０による撮像画像を基に、プリント基板４１０に対する部品の実装が完了したかを部品ごとに判定する。実装判定部２１０は、部品の実装完了を判定する際に、基板画像ＤＢ２４０と部品ＤＢ２５０を参照する。実装判定部２１０は、部品の実装が完了したと判定すると、部品の実装完了を通知する完了信号を作業管理部２２０に出力する。
【００４０】
作業管理部２２０は、部品ＤＢ２５０に登録された情報を基に、プリント基板４１０に対する部品の実装順序を認識し、認識した実装順序に従って、実装判定部２１０および表示制御部２３０の処理を制御する。作業管理部２２０は、実装判定部２１０から完了信号を受信すると、次に実装する部品に対応する案内画像をモニタ１２０に表示させるように表示制御部２３０に要求するとともに、実装判定部２１０に対して、次に実装する部品についての実装作業が完了したかを判定させる。
【００４１】
表示制御部２３０は、作業管理部２２０からの要求に応じて、次に実装する部品に対応する案内画像のデータを案内画像ＤＢ２６０から読み込み、読み込んだデータに基づく案内画像をモニタ１２０に表示させる。
【００４２】
基板画像ＤＢ２４０には、プリント基板の部品実装面についての画像データが、プリント基板ごとに登録される。この基板画像ＤＢ２４０に登録される画像データは、すべての部品が実装される前におけるプリント基板の部品実装面を撮像することで得られたものである。基板画像ＤＢ２４０に登録された画像データは、実装判定部２１０が、作業台４００に載置されたプリント基板の位置をテンプレートマッチングによって判定する際に、テンプレートとして利用される。また、基板画像ＤＢ２４０では、プリント基板ごとに基板ＩＤが付与され、プリント基板の部品実装面についての画像データが、基板ＩＤに対応付けて登録される。
【００４３】
部品ＤＢ２５０には、プリント基板に実装される部品に関する情報が、プリント基板ごとに登録される。後述するように、部品に関する情報としては、例えば、プリント基板における実装領域の位置を示す情報、部品に対応する案内画像のデータを識別する情報などが登録される。なお、部品ＤＢ２５０に登録される情報については、図６において詳しく説明する。
【００４４】
案内画像ＤＢ２６０には、部品ごとの案内画像のデータが登録される。案内画像のデータは、プリント基板を識別する基板ＩＤと、部品を識別する部品ＩＤとの組合せごとに付与された案内画像ＩＤに対応付けて登録される。
【００４５】
ここで、図６は、プリント基板における部品の実装領域とその周辺領域の各例を示す図である。
この図６は、プリント基板４１０における部品実装面を、プリント基板４１０に垂直な方向から見た場合を示す。このような視線方向は、カメラ１１０がプリント基板４１０を撮像する方向と同じである。また、図６において、「状態１１」は、プリント基板４１０に対して部品４１１を実装する前の状態を示し、「状態１２」は、プリント基板４１０に対して部品４１１を実装した後の状態を示す。
【００４６】
制御装置２００では、プリント基板４１０において部品が実装される領域を示す位置情報が、部品ごとに部品ＤＢ２５０にあらかじめ登録される。図６では、部品４１１が実装される実装領域４２１が、部品４１１が配置される領域の外縁部に接する矩形領域として示されている。この図６の例のように、本実施の形態では、実装領域として、部品が配置される領域の外縁部に接する矩形領域が設定されるものとする。また、本実施の形態では、実装領域を示す位置情報の例として、実装領域に対応する矩形領域における４つの頂点の座標情報が、部品ＤＢ２５０に登録される。ただし、これら４つの頂点の各座標情報は、プリント基板４１０上の所定位置を基準とした相対座標とされる。
【００４７】
さらに、図６では、実装領域４２１に対応する周囲領域４２２を、網掛けを付与して示している。図６の周囲領域４２２は、対応する実装領域４２１を一定幅だけ拡大した領域のうち、実装領域４２１を除いた領域である。この図６の例のように、本実施の形態では、対応する実装領域を一定幅だけ拡大した領域のうち実装領域を除く領域を、周囲領域とする。
【００４８】
また、本実施の形態では、周囲領域についての位置情報として、周囲領域の外縁部における４つの頂点の座標情報と、これら４つの頂点を持つ矩形領域内に存在する矩形状の内空領域（すなわち、実装領域）の４つの頂点の座標情報とが、部品ＤＢ２５０に登録されるものとする。ただし、これら８つの頂点の各座標情報は、プリント基板４１０上の所定位置を基準とした相対座標とされる。なお、周囲領域における内空領域の座標情報は、部品ＤＢ２５０への登録が省略されて、実装領域の座標情報で兼用されてもよい。
【００４９】
図７は、部品ＤＢに登録される情報の例を示す図である。
部品ＤＢ２５０には、プリント基板を識別する基板ＩＤごとに、レコード２５１が設けられる。１つのレコード２５１には、そのレコード２５１に登録された基板ＩＤに対応するプリント基板に実装される部品の部品ＩＤが、実装順に登録されている。さらに、各部品ＩＤには、その部品ＩＤに対応する部品の実装領域および周囲領域についての位置情報と、その部品の実装作業を案内する案内画像を識別する案内画像ＩＤとが対応付けて登録されている。
【００５０】
実装領域の位置情報は、図６で説明したように、矩形である実装領域における４つの頂点の座標である。また、周囲領域の位置情報は、図６で説明したように、周囲領域の外縁部における４つの頂点の座標である。ここで、実際の周囲領域は、周囲領域の位置情報として登録された４点の座標に基づく矩形領域から、実装領域の位置情報として登録された４点の座標に基づく矩形領域を除いた領域となる。なお、実装領域および周囲領域の各位置情報として登録される座標は、対応するプリント基板上の所定位置を基準とした相対座標である。案内画像ＩＤは、案内画像ＤＢ２６０に登録された画像データのうちの１つを示すものである。
【００５１】
以下、図５に戻り、実装判定部２１０の内部構成について説明する。実装判定部２１０は、画像取り込み部２１１、基板位置判定部２１２、実装領域算出部２１３、周囲領域算出部２１４、特徴量算出部２１５，２１６および判定処理部２１７を備える。
【００５２】
画像取り込み部２１１は、カメラ１１０によって撮像された画像のデータを取り込む。画像取り込み部２１１は、１つのプリント基板に対する部品の実装作業前に撮像画像データを取り込み、その後に部品の実装作業が開始されると、撮像画像データを例えば１／３０秒などの一定時間ごとに取り込む。画像取り込み部２１１は、取り込んだ撮像画像データを、例えばＲＡＭ２０２に対して、一時的に格納する。
【００５３】
基板位置判定部２１２は、画像取り込み部２１１によって取り込まれた撮像画像データに基づく撮像画像から、プリント基板が映った領域（以下、基板領域と呼ぶ）を判定する。基板位置判定部２１２は、実装作業対象のプリント基板の基板画像データを基板画像ＤＢ２４０から読み込む。そして、基板位置判定部２１２は、読み込んだ基板画像データをテンプレートとして用い、画像取り込み部２１１によって取り込まれた撮像画像データとのテンプレートマッチングを行うことで、基板領域を判定する。なお、プリント基板の領域判定方法の他の例としては、ＳＩＦＴ（Scale-Invariant Feature Transform）を用いたマッチング方法などを使用することもできる。
【００５４】
実装領域算出部２１３は、基板位置判定部２１２によって判定された基板領域の位置情報と、部品ＤＢ２５０から読み込んだ部品の実装領域の位置情報とを基に、撮像画像における実装領域の位置情報を算出し、特徴量算出部２１５，２１６に出力する。
【００５５】
周囲領域算出部２１４は、基板位置判定部２１２によって判定された基板領域の位置情報と、部品ＤＢ２５０から読み込んだ周囲領域の位置情報とを基に、撮像画像における周囲領域の位置情報を算出し、特徴量算出部２１６に出力する。なお、周囲領域算出部２１４は、周囲領域に対応する実装領域の位置情報を基に、周囲領域の位置情報を演算によって求めてもよい。
【００５６】
特徴量算出部２１５は、画像取り込み部２１１によって取り込まれた撮像画像データのうち、実装領域算出部２１３からの位置情報に基づく実装領域の画像データを、実装領域の特徴量として判定処理部２１７に出力する。特徴量算出部２１５は、部品の実装作業前に画像取り込み部２１１によって取り込まれた撮像画像データに基づく実装領域の特徴量Ａ１＿２を、判定処理部２１７に出力する。その後、特徴量算出部２１５は、部品の実装作業中に画像取り込み部２１１によって一定時間ごとに取り込まれた撮像画像データに基づく実装領域の特徴量Ａ２＿２を、判定処理部２１７に順次出力する。
【００５７】
特徴量算出部２１６は、画像取り込み部２１１によって取り込まれた撮像画像データのうち、周囲領域算出部２１４からの位置情報に基づく周囲領域の画像データを、周囲領域の特徴量として判定処理部２１７に出力する。特徴量算出部２１６は、部品の実装作業前に画像取り込み部２１１によって取り込まれた撮像画像データに基づく周囲領域の特徴量Ｂ１＿２を、判定処理部２１７に出力する。その後、特徴量算出部２１６は、部品の実装作業中に画像取り込み部２１１によって一定時間ごとに取り込まれた撮像画像データに基づく周囲領域の特徴量Ｂ２＿２を、判定処理部２１７に順次出力する。
【００５８】
判定処理部２１７は、特徴量算出部２１５からそれぞれ出力された、部品実装作業前における実装領域の特徴量Ａ１＿２と部品実装作業中における実装領域の特徴量Ａ２＿２との類似度ＳＡ＿２を算出する。さらに、判定処理部２１７は、特徴量算出部２１６からそれぞれ出力された、部品実装作業前における周囲領域の特徴量Ｂ１＿２と部品実装作業中における周囲領域の特徴量Ｂ２＿２との類似度ＳＢ＿２を算出する。
【００５９】
そして、判定処理部２１７は、次の式（５）および式（６）の両方が成立したときに、実装領域に対する部品の実装作業が完了したと判定し、部品実装作業が完了したことを示す完了信号を作業管理部２２０に出力する。なお、式（５）、式（６）に記載した判定しきい値ＴｈＡ＿２，ＴｈＢ＿２は、ともに制御装置２００のＨＤＤ２０３にあらかじめ登録される。
ＳＡ＿２＜ＴｈＡ＿２ ・・・（５）
ＳＢ＿２＞ＴｈＢ＿２ ・・・（６）
次に、表示制御部２３０の要求に応じてモニタ１２０に表示される案内画像の例について説明する。図８は、初期画像の表示例を示す図である。
【００６０】
あるプリント基板に対して部品を実装する作業が開始される際には、表示制御部２３０は、例えば図８に示すような初期画像Ｐ１をモニタ１２０に表示させる。図８に示す初期画像Ｐ１は、作業台４００に対してプリント基板を置くように、作業者に案内するための画像である。なお、初期画像Ｐ１のデータは、案内画像ＤＢ２６０にあらかじめ登録される。また、初期画像Ｐ１は、例えば、すべてのプリント基板に対して共通とされる。
【００６１】
図９は、部品の実装作業中における案内画像の表示例を示す図である。
プリント基板に対する部品の実装作業が開始されると、表示制御部２３０は、次に実装する部品に対応する案内画像をモニタ１２０に表示させる。図９に示す案内画像Ｐ２には、例えば、実装対象のプリント基板４３１の画像や、プリント基板４３１における部品の実装位置を示す枠線４３２、実装する部品の画像４３３の画像、部品の実装作業手順や注意点などを示す文字情報４３４などが表示されている。
【００６２】
次に、制御装置２００の処理について、フローチャートを用いて説明する。まず、図１０は、制御装置における作業支援処理全体の手順の例を示すフローチャートである。この図１０の処理は、例えば、作業者の入力操作などにより、作業管理部２２０に対して部品実装対象のプリント基板が選択されたときに開始される。
【００６３】
［ステップＳ１１］作業管理部２２０は、変数Ｎを１に設定する。
［ステップＳ１２］作業管理部２２０は、表示制御部２３０に対して、図８に示したような初期画像の表示を要求する。要求を受け付けた表示制御部２３０は、案内画像ＤＢ２６０から初期画像のデータを読み込み、読み込んだ初期画像のデータをグラフィックＩ／Ｆ２０４に出力することで、モニタ１２０に初期画像を表示させる。
【００６４】
［ステップＳ１３］実装判定部２１０は、作業管理部２２０による制御の下で、実装作業前における特徴量取得処理を実行する。この処理では、カメラ１１０から取り込んだ撮像画像データを基に、実装作業前における実装領域の特徴量Ａ１＿２および周囲領域の特徴量Ｂ１＿２が部品ごとに算出される。算出された部品ごとの特徴量Ａ１＿２，Ｂ１＿２は、例えばＲＡＭ２０２に一時的に格納される。
【００６５】
なお、特徴量Ａ１＿２，Ｂ１＿２がＨＤＤ２０３にあらかじめ記憶されている場合には、このステップＳ１３の処理は省略される。
［ステップＳ１４］作業管理部２２０は、部品ＤＢ２５０から、部品実装対象のプリント基板の基板ＩＤに対応するエントリを選択し、選択したエントリに登録されたＮ番目の部品についての部品ＩＤを読み込む。また、作業管理部２２０は、選択したエントリにおいてＮ番目の部品に対応付けられた案内画像ＩＤを読み込む。
【００６６】
［ステップＳ１５］作業管理部２２０は、表示制御部２３０に対して、ステップＳ１４で読み込んだ案内画像ＩＤを出力して、案内画像の表示を要求する。表示制御部２３０は、案内画像ＤＢ２６０から、作業管理部２２０から出力された案内画像ＩＤに対応付けられた画像データを読み込み、読み込んだ案内画像のデータをグラフィックＩ／Ｆ２０４に出力することで、モニタ１２０に案内画像を表示させる。
【００６７】
［ステップＳ１６］実装判定部２１０は、作業管理部２２０による制御の下で、実装領域に対する部品の実装作業が完了したかを判定する。実装判定部２１０の判定処理部２１７は、部品の実装作業が完了したと判定すると、作業管理部２２０に対して完了信号を出力する。
【００６８】
［ステップＳ１７］作業管理部２２０は、変数Ｎに１を加算する。
［ステップＳ１８］作業管理部２２０は、変数Ｎの値が最大値を超えたかを判定する。この最大値とは、ステップＳ１４で選択したエントリに登録された部品ＩＤの数であり、この数は、プリント基板に対して実装する部品の数に相当する。
【００６９】
変数Ｎの値が最大値以下である場合、作業管理部２２０は、ステップＳ１４の処理を実行する。一方、変数Ｎの値が最大値を超えた場合、作業管理部２２０は、作業支援処理を終了する。
【００７０】
図１１は、部品の実装作業前における特徴量取得処理の手順の例を示すフローチャートである。この図１１の処理は、図１０のステップＳ１３の処理に対応する。
［ステップＳ２１］作業管理部２２０は、画像取り込み部２１１に対して、撮像画像データの取り込みを要求する。要求を受けた画像取り込み部２１１は、カメラ１１０から出力された撮像画像データを取り込み、例えばＲＡＭ２０２に格納する。
【００７１】
［ステップＳ２２］作業管理部２２０は、部品の実装対象のプリント基板の基板ＩＤを基板位置判定部２１２に通知して、基板位置の判定処理を要求する。基板位置判定部２１２は、作業管理部２２０から通知された基板ＩＤに対応する基板画像のデータを基板画像ＤＢ２４０から読み込む。そして、基板位置判定部２１２は、読み込んだ基板画像データをテンプレートとして用い、ステップＳ２１でＲＡＭ２０２に格納された撮像画像データとのテンプレートマッチングを行うことで、基板領域を判定する。
【００７２】
［ステップＳ２３］ステップＳ２２の処理によって基板領域が検出された場合、基板位置判定部２１２は、作業管理部２２０に対して基板領域が検出されたことを通知するとともに、撮像画像における基板領域の位置情報を算出する。このとき算出される位置情報は、例えば、撮像画像における基板領域の外縁部の４つの頂点の座標である。
【００７３】
一方、ステップＳ２２の処理によって基板領域が検出されなかった場合、基板位置判定部２１２は、基板領域が検出されなかったことを作業管理部２２０に通知する。この場合、ステップＳ２１の処理が再度実行され、通知を受けた作業管理部２２０は、画像取り込み部２１１に対して、新たな撮像画像データの取り込みを要求する。
【００７４】
［ステップＳ２４］作業管理部２２０は、変数Ｍを１に設定する。
［ステップＳ２５］作業管理部２２０は、部品ＤＢ２５０から、部品実装対象のプリント基板の基板ＩＤに対応するエントリを選択し、選択したエントリにおいてＭ番目に登録された部品ＩＤを読み込む。
【００７５】
［ステップＳ２６］作業管理部２２０は、部品実装対象のプリント基板の基板ＩＤと、ステップＳ２５で部品ＤＢ２５０から読み込んだ部品ＩＤとを、実装領域算出部２１３に通知する。実装領域算出部２１３は、作業管理部２２０から通知された基板ＩＤおよび部品ＩＤに対応付けられた実装領域の位置情報を、部品ＤＢ２５０から読み込む。実装領域算出部２１３は、部品ＤＢ２５０から読み込んだ実装領域の位置情報と、ステップＳ２３において基板位置判定部２１２が算出した基板領域の位置情報とを基に、撮像画像における実装領域の位置情報を算出する。このとき算出される位置情報は、例えば、矩形である実装領域の４つの頂点についての撮像画像における座標である。
【００７６】
［ステップＳ２７］特徴量算出部２１５は、ステップＳ２１で画像取り込み部２１１によって取り込まれた撮像画像データから、ステップＳ２６で算出された位置情報に基づく実装領域の画像データを算出する。特徴量算出部２１５は、算出した実装領域の画像データを、特徴量Ａ１＿２としてＲＡＭ２０２に格納する。
【００７７】
［ステップＳ２８］作業管理部２２０は、部品実装対象のプリント基板の基板ＩＤと、ステップＳ２５で部品ＤＢ２５０から読み込んだ部品ＩＤとを、周囲領域算出部２１４に通知する。周囲領域算出部２１４は、作業管理部２２０から通知された基板ＩＤおよび部品ＩＤに対応付けられた周囲領域の位置情報を、部品ＤＢ２５０から読み込む。周囲領域算出部２１４は、部品ＤＢ２５０から読み込んだ周囲領域の位置情報と、ステップＳ２３において基板位置判定部２１２が算出した基板領域の位置情報とを基に、撮像画像における周囲領域の位置情報を算出する。
【００７８】
このとき算出される位置情報は、例えば、矩形である周囲領域の外縁部の４つの頂点についての撮像画像における座標と、周囲領域が備える矩形状の内空領域の４つの頂点についての撮像画像における座標である。なお、周囲領域算出部２１４は、撮像画像における内空領域の座標として、ステップＳ２６で実装領域算出部２１３によって算出された、撮像画像における実装領域の座標を出力してもよい。
【００７９】
［ステップＳ２９］特徴量算出部２１６は、ステップＳ２１で画像取り込み部２１１によって取り込まれた撮像画像データから、ステップＳ２８で算出された位置情報に基づく周囲領域の画像データを算出する。特徴量算出部２１６は、算出した周囲領域の画像データを、特徴量Ｂ１＿２としてＲＡＭ２０２に格納する。
【００８０】
［ステップＳ３０］作業管理部２２０は、変数Ｍに１を加算する。
［ステップＳ３１］作業管理部２２０は、変数Ｍの値が最大値を超えたかを判定する。この最大値とは、ステップＳ２５で選択したエントリに登録された部品ＩＤの数であり、この数は、プリント基板に対して実装する部品の数に相当する。
【００８１】
変数Ｍの値が最大値以下である場合、作業管理部２２０は、ステップＳ２５の処理を実行して、部品ＤＢ２５０のエントリに次に登録された部品ＩＤを読み込む。一方、変数Ｍの値が最大値を超えた場合、作業管理部２２０は、図１０のステップＳ１４の処理を実行する。
【００８２】
以上の図１１の処理では、ステップＳ２５〜Ｓ２９の処理が、プリント基板に実装する部品の数だけ繰り返されることで、プリント基板に実装する部品のそれぞれに対応する特徴量Ａ１＿２，Ｂ１＿２が、ＲＡＭ２０２に格納される。
【００８３】
なお、上記の図１１の処理において、ステップＳ２６，Ｓ２７の処理と、ステップＳ２８，Ｓ２９の処理については、処理順が逆であってもよいし、あるいは、これらの処理が並列に実行されてもよい。
【００８４】
図１２は、部品の実装判定処理の手順の例を示すフローチャートである。この図１２の処理は、図１０のステップＳ１６の処理に対応する。
［ステップＳ４１］作業管理部２２０は、画像取り込み部２１１に対して、撮像画像データの取り込みを要求する。要求を受けた画像取り込み部２１１は、カメラ１１０から出力された撮像画像データを取り込み、例えばＲＡＭ２０２に格納する。
【００８５】
［ステップＳ４２］作業管理部２２０は、部品の実装対象のプリント基板の基板ＩＤを基板位置判定部２１２に通知して、基板位置の判定処理を要求する。基板位置判定部２１２は、作業管理部２２０から通知された基板ＩＤに対応する基板画像のデータを基板画像ＤＢ２４０から読み込む。そして、基板位置判定部２１２は、読み込んだ基板画像データをテンプレートとして用い、ステップＳ４１でＲＡＭ２０２に格納された撮像画像データとのテンプレートマッチングを行うことで、基板領域を判定する。
【００８６】
なお、テンプレートとして使用する基板画像データとしては、例えば、図１１のステップＳ２２で読み込み済みの基板画像データを使用してもよい。
［ステップＳ４３］ステップＳ４２の処理によって基板領域が検出された場合、基板位置判定部２１２は、作業管理部２２０に対して基板領域が検出されたことを通知するとともに、撮像画像における基板領域の位置情報を算出する。このとき算出される位置情報は、例えば、撮像画像における基板領域の外縁部の４つの頂点の座標である。
【００８７】
一方、ステップＳ４２の処理によって基板領域が検出されなかった場合、基板位置判定部２１２は、基板領域が検出されなかったことを作業管理部２２０に通知する。この場合、ステップＳ４１の処理が再度実行され、通知を受けた作業管理部２２０は、画像取り込み部２１１に対して、新たな撮像画像データの取り込みを要求する。
【００８８】
なお、例えば、部品実装対象のプリント基板が作業台４００に固定されている場合には、ステップＳ４２，Ｓ４３の処理を省略することができる。この場合、以下の処理では、ステップＳ４３で基板領域が検出された場合に算出される位置情報として、図１１のステップＳ２３で基板領域が検出された場合に算出された位置情報が使用される。
【００８９】
［ステップＳ４４］作業管理部２２０は、部品ＤＢ２５０から、部品実装対象のプリント基板の基板ＩＤに対応するエントリを選択し、選択したエントリにおいてＮ番目に登録された部品ＩＤを読み込む。
【００９０】
［ステップＳ４５］作業管理部２２０は、部品実装対象のプリント基板の基板ＩＤと、ステップＳ４４で部品ＤＢ２５０から読み込んだ部品ＩＤとを、実装領域算出部２１３に通知する。実装領域算出部２１３は、作業管理部２２０から通知された基板ＩＤおよび部品ＩＤに対応付けられた実装領域の位置情報を、部品ＤＢ２５０から読み込む。実装領域算出部２１３は、部品ＤＢ２５０から読み込んだ実装領域の位置情報と、ステップＳ４３において基板位置判定部２１２が算出した基板領域の位置情報とを基に、撮像画像における実装領域の位置情報を算出する。このとき算出される位置情報は、例えば、矩形である実装領域の４つの頂点についての撮像画像における座標である。
【００９１】
［ステップＳ４６］特徴量算出部２１５は、ステップＳ４１で画像取り込み部２１１によって取り込まれた撮像画像データから、ステップＳ４５で算出された位置情報に基づく実装領域の画像データを算出する。特徴量算出部２１５は、算出した実装領域の画像データを、特徴量Ａ２＿２としてＲＡＭ２０２に格納する。
【００９２】
［ステップＳ４７］作業管理部２２０は、部品実装対象のプリント基板の基板ＩＤと、ステップＳ４４で部品ＤＢ２５０から読み込んだ部品ＩＤとを、周囲領域算出部２１４に通知する。周囲領域算出部２１４は、作業管理部２２０から通知された基板ＩＤおよび部品ＩＤに対応付けられた周囲領域の位置情報を、部品ＤＢ２５０から読み込む。周囲領域算出部２１４は、部品ＤＢ２５０から読み込んだ周囲領域の位置情報と、ステップＳ４３において基板位置判定部２１２が算出した基板領域の位置情報とを基に、撮像画像における周囲領域の位置情報を算出する。
【００９３】
このとき算出される位置情報は、例えば、矩形である周囲領域の外縁部の４つの頂点についての撮像画像における座標と、周囲領域が備える矩形状の内空領域の４つの頂点についての撮像画像における座標である。なお、周囲領域算出部２１４は、撮像画像における内空領域の座標として、図１１のステップＳ２６で実装領域算出部２１３によって算出された、撮像画像における実装領域の座標を出力してもよい。
【００９４】
［ステップＳ４８］特徴量算出部２１６は、ステップＳ４１で画像取り込み部２１１によって取り込まれた撮像画像データから、ステップＳ４７で算出された位置情報に基づく周囲領域の画像データを算出する。特徴量算出部２１６は、算出した周囲領域の画像データを、特徴量Ｂ２＿２としてＲＡＭ２０２に格納する。
【００９５】
［ステップＳ４９］判定処理部２１７は、ステップＳ４６で算出された実装領域の特徴量Ａ２＿２と、図１０のステップＳ１３で算出された実装領域の特徴量Ａ１＿２のうちＮ番目の部品に対応する特徴量Ａ１＿２との類似度ＳＡ＿２を算出する。また、判定処理部２１７は、ステップＳ４８で算出された周囲領域の特徴量Ｂ２＿２と、図１０のステップＳ１３で算出された周囲領域の特徴量Ｂ１＿２のうちＮ番目の部品に対応する特徴量Ｂ１＿２との類似度ＳＢ＿２を算出する。
【００９６】
［ステップＳ５０］判定処理部２１７は、ステップＳ４９で算出した類似度ＳＡ＿２，ＳＢ＿２が、上記の式（５）および式（６）の両方を満たすかを判定する。式（５）および式（６）の各条件が満たされている場合、判定処理部２１７は、作業管理部２２０に対して完了信号を出力する。完了信号を受信した作業管理部２２０は、部品の実装判定処理を終了して、図１０のステップＳ１７の処理を実行する。
【００９７】
一方、式（５）および式（６）の各条件のうち１つでも満たされていない場合、判定処理部２１７は、例えば、完了信号を出力しない。作業管理部２２０は、ステップＳ４１で画像取り込み部２１１に対して撮像画像データの取り込みを要求してから、一定時間（例えば１／３０秒）だけ、判定処理部２１７から完了信号が出力されるかを監視する。そして、作業管理部２２０は、一定時間内に完了信号を受信しない場合に、ステップＳ４１に進んで、画像取り込み部２１１に対して新たな撮像画像データの取り込みを要求する。
【００９８】
以上説明した第２の実施の形態では、式（５）の条件だけでなく式（６）の条件も加味して、部品の実装作業が完了したかが判定されるので、実装作業が完了したことを高精度に判定することができる。それぞれの部品の実装作業が完了したことが高精度に判定されて、次に実装する部品についての案内画像がモニタ１２０に表示されるようになるので、作業者による実装作業の正確性が向上し、実装作業を効率化することができる。
【００９９】
なお、上記の第２の実施の形態では、矩形状の実装領域を囲む所定幅の領域を周囲領域に設定したが、部品によっては、例えば、可動部を有するものがある。ここで、図１３を用いて、可動部を有する部品についての周囲領域の設定方法について補足説明する。
【０１００】
図１３は、可動部を有する部品に対応する周囲領域の一例を示す図である。
図１３に示す部品４４０は、非可動部４４１と可動部４４２とを有する。例えば、可動部４４２はフラットケーブルであり、非可動部４４１はフラットケーブルのコネクタである。この部品４４０をプリント基板４１０に実装したとき、可動部４４２は、図１３中において斜線で示した可動領域４５１の範囲で移動し得るものとする。
【０１０１】
このように可動部４４２を有する部品４４０については、例えば、前述の特徴量Ａ１＿２，Ａ２＿２の算出対象となる実装領域として、非可動部４４１が配置される領域を設定する。この場合、特徴量Ｂ１＿２，Ｂ２＿２の算出対象となる周囲領域としては、実装領域の周囲における一定幅の領域４５２（図１３において網掛けで示した領域）から、可動領域４５１を除いた領域を設定すればよい。これにより、制御装置２００は、上記の式（５）および式（６）の条件をそのまま使用して、実装作業が完了したかを判定することができる。
【０１０２】
領域４５２から除外する可動領域４５１としては、例えば、可動部４４２が実際に移動し得る領域を包含するような矩形領域を設定することができる。この場合、部品ＤＢ２５０に登録される、部品４４０に対応する周囲領域の位置情報としては、領域４５２の外縁部における４つの頂点の座標と、領域４５２の内側の内空領域（すなわち、部品４４０についての実装領域）における４つの頂点の座標と、矩形状に設定した可動領域４５１における４つの頂点の座標とが登録されればよい。
【０１０３】
〔第３の実施の形態〕
上記の第２の実施の形態では、式（５）の条件により、実装領域における特徴量が大きく変化したかを判定した。これに対して、別の方法として、実装領域に実装される部品の特徴量を制御装置２００にあらかじめ登録しておき、実装領域を撮像した画像の特徴量が部品の特徴量に近づいたかを判定してもよい。
【０１０４】
実装領域に実装された部品をカメラ１１０から撮像した画像に基づく特徴量をＣとし、特徴量Ｃと、実装作業中における実装領域の特徴量Ａ２＿２との類似度をＳＣとすると、第３の実施の形態における制御装置は、前述の式（５）および式（６）に加えて、次の式（７）の条件を満たした場合に、実装領域に対する部品の実装作業が完了したと判定する。なお、ＴｈＣは、所定の判定しきい値である。
ＳＣ＞ＴｈＣ ・・・（７）
以下、第３の実施の形態に係る作業支援システムについて、第２の実施の形態と異なる部分についてのみ説明する。まず、図１４は、第３の実施の形態における制御装置の処理機能を示すブロック図である。なお、この図１４では、図５に対応する要素には同じ符号を付して示している。
【０１０５】
図１４に示す制御装置２００のＨＤＤ２０３には、部品実装作業の完了判定時に使用するしきい値として、しきい値Ｔｈ＿Ａ，Ｔｈ＿Ｂに加えて式（７）に示したしきい値ＴｈＣも、あらかじめ登録される。また、制御装置２００のＨＤＤ２０３に登録される部品ＤＢ２５０には、次の図１５に示す情報が登録される。
【０１０６】
図１５は、第３の実施の形態において部品ＤＢに登録される情報の例を示す図である。
部品ＤＢ２５０には、第２の実施の形態と同様に、プリント基板の基板ＩＤごとにレコード２５１が設けられる。また、第２の実施の形態と同様に、各レコード２５１には、部品ＩＤが部品の実装順に従って登録され、部品ＩＤのそれぞれに対応付けて、実装領域の位置情報、周囲領域の位置情報、および案内画像ＩＤが登録される。
【０１０７】
さらに、本実施の形態では、各レコード２５１には、部品ＩＤのそれぞれに対応付けて、部品の実装作業前における実装領域の特徴量Ａ１＿２と、部品の実装作業前における周囲領域の特徴量Ｂ１＿２と、実装領域に実装した部品についての特徴量Ｃとが登録される。
【０１０８】
図１４に戻り、判定処理部２１７は、特徴量算出部２１５から出力された部品実装作業中における実装領域の特徴量Ａ２＿２と、部品ＤＢ２５０から読み出した部品実装作業前における実装領域の特徴量Ａ１＿２との類似度ＳＡ＿２を算出する。また、判定処理部２１７は、特徴量算出部２１６から出力された部品実装作業中における周囲領域の特徴量Ｂ２＿２と、部品ＤＢ２５０から読み出した部品実装作業前における周囲領域の特徴量Ｂ１＿２との類似度ＳＢ＿２を算出する。さらに、判定処理部２１７は、特徴量算出部２１５から出力された部品実装作業中における実装領域の特徴量Ａ２＿２と、部品ＤＢ２５０から読み出した部品についての特徴量Ｃとの類似度ＳＣを算出する。そして、判定処理部２１７は、式（５）、式（６）および式（７）がすべて成立したときに、実装領域に対する部品の実装作業が完了したと判定し、部品実装作業が完了したことを示す完了信号を作業管理部２２０に出力する。
【０１０９】
次に、第３の実施の形態における制御装置２００の処理について説明する。第３の実施の形態における制御装置２００による作業支援処理全体の処理手順は、図１０に示した処理手順のうち、ステップＳ１３を除いたものとなる。また、ステップＳ１６での詳細な処理手順は、次の図１６のようになる。
【０１１０】
図１６は、第３の実施の形態における部品の実装判定処理の手順の例を示すフローチャートである。この図１６では、図１２と同じ処理については同じステップ番号を付して示している。図１６の処理は、図１２におけるステップＳ４９，Ｓ５０の処理に代わって、次のＳ４９ａ，Ｓ５０ａの処理を実行するようにしたものである。
【０１１１】
［ステップＳ４９ａ］作業管理部２２０は、部品実装対象のプリント基板の基板ＩＤと、ステップＳ４４で部品ＤＢ２５０から読み込んだ部品ＩＤとを、判定処理部２１７に通知する。判定処理部２１７は、作業管理部２２０から通知された基板ＩＤおよび部品ＩＤに対応付けられた特徴量Ａ１＿２，Ｂ１＿２，Ｃを、部品ＤＢ２５０から読み込む。
【０１１２】
判定処理部２１７は、ステップＳ４６で算出された実装領域の特徴量Ａ２＿２と、部品ＤＢ２５０から読み込んだ特徴量Ａ１＿２との類似度ＳＡ＿２を算出する。また、判定処理部２１７は、ステップＳ４８で算出された周囲領域の特徴量Ｂ２＿２と、部品ＤＢ２５０から読み込んだ特徴量Ｂ１＿２との類似度ＳＢ＿２を算出する。さらに、判定処理部２１７は、ステップＳ４６で算出された実装領域の特徴量Ａ２＿２と、部品ＤＢ２５０から読み込んだ特徴量Ｃとの類似度ＳＣを算出する。
【０１１３】
［ステップＳ５０ａ］判定処理部２１７は、ステップＳ４９ａで算出した類似度ＳＡ＿１，ＳＡ＿２，ＳＣが、上記の式（５）、式（６）および式（７）の各条件をすべて満たすかを判定する。式（５）、式（６）および式（７）の各条件が満たされている場合、判定処理部２１７は、作業管理部２２０に対して完了信号を出力する。完了信号を受信した作業管理部２２０は、部品の実装判定処理を終了して、図１０のステップＳ１７の処理を実行する。
【０１１４】
一方、式（５）、式（６）および式（７）の各条件のうち１つでも満たされていない場合、判定処理部２１７は、例えば、完了信号を出力しない。作業管理部２２０は、ステップＳ４１で画像取り込み部２１１に対して撮像画像データの取り込みを要求してから、一定時間（例えば１／３０秒）だけ、判定処理部２１７から完了信号が出力されるかを監視する。そして、作業管理部２２０は、一定時間内に完了信号を受信しない場合に、ステップＳ４１に進んで、画像取り込み部２１１に対して新たな撮像画像データの取り込みを要求する。
【０１１５】
以上の第３の実施の形態では、式（５）および式（６）に加えて式（７）の条件を満たす場合に部品の実装作業が完了したと判定することで、その判定精度を向上させることができる。
【０１１６】
なお、上記の第３の実施の形態では、部品の実装作業前における実装領域の特徴量Ａ１＿２および周囲領域の特徴量Ｂ１＿２を、部品ＤＢ２５０にあらかじめ用意した。しかしながら、これらの特徴量Ａ１＿２，Ｂ１＿２を、第２の実施の形態と同様に、全部品の実装作業前における撮像画像を基に算出してもよい。
【０１１７】
また、上記の第３の実施の形態では、式（５）、式（６）および式（７）の各条件をすべて満たしたときに部品の実装作業が完了したと判定した。しかしながら、他の例として、類似度ＳＡ＿２の算出を行わないようにし、式（６）および式（７）の各条件を両方満たした場合に部品の実装作業が完了したと判定するようにしてもよい。
【０１１８】
〔第４の実施の形態〕
部品の実装作業においては、ある部品についての実装領域または周囲領域の少なくとも一部の上に、さらに別の部品を実装するという場合があり得る。例えば、プリント基板上にＬＳＩ（Large Scale Integration）チップを実装した後、そのＬＳＩチップの上に冷却ファンを取り付ける場合などが考えられる。
【０１１９】
新たな部品を、それ以前に実装した部品に対応する実装領域または周囲領域の少なくとも一部の上にさらに実装する作業が完了したかを判定する際に、全部品の実装作業前に撮像した画像を基に算出した特徴量Ａ１＿２，Ｂ１＿２を用いてしまうと、実装作業が完了したかを正しく判定できない。なぜなら、新たな部品に対応する実装領域または周囲領域の特徴量は、それ以前に実装した部品の少なくとも一部の領域が配設されたことで、全部品の実装作業前とは異なる値になっているからである。
【０１２０】
そこで、以下の第４の実施の形態では、制御装置は、新たな部品を実装する直前に、その部品の実装領域または周囲領域が、それ以前に実装した部品の実装領域と重複するかを判定し、重複すると判定した場合に、新たな部品に対応する実装領域および周囲領域を撮像し直して、特徴量Ａ１＿２，Ｂ１＿２をあらためて算出する。
【０１２１】
以下、第４の実施の形態における制御装置の構成について、図５を用いて説明する。第２の実施の形態における制御装置２００と異なる点は、部品ＤＢ２５０に登録される情報と、この登録情報に基づく、作業管理部２２０による実装判定部２１０に対する制御処理手順である。
【０１２２】
図１７は、第４の実施の形態において部品ＤＢに登録される情報の例を示す図である。
部品ＤＢ２５０には、第２の実施の形態と同様に、プリント基板の基板ＩＤごとにレコード２５１が設けられる。また、第２の実施の形態と同様に、各レコード２５１には、部品ＩＤが部品の実装順に従って登録され、部品ＩＤのそれぞれに対応付けて、実装領域の位置情報、周囲領域の位置情報、および案内画像ＩＤが登録される。
【０１２３】
さらに、本実施の形態では、各レコード２５１には、部品ＩＤのそれぞれに対応付けて、領域重複フラグが登録される。領域重複フラグは、このフラグに対応付けられた部品の実装領域または周囲領域の少なくとも一方が、それ以前に実装されるいずれかの部品についての実装領域の少なくとも一部と重複するかを示すものである。領域重複フラグは、領域が重複する場合には「１」とされ、領域が重複しない場合には「０」とされる。
【０１２４】
図１８は、第４の実施の形態の制御装置における作業支援処理全体の手順の例を示すフローチャートである。なお、この図１８では、図１０と同じ処理については同じステップ番号を付して示している。図１８の処理は、図１０のステップＳ１４とステップＳ１５との間に、ステップＳ６１，Ｓ６２の処理が追加されたものである。
【０１２５】
［ステップＳ６１］作業管理部２２０は、部品ＤＢ２５０における、部品実装対象のプリント基板の基板ＩＤに対応するエントリから、ステップＳ１４で読み込んだ部品ＩＤに対応付けられた領域重複フラグを読み込む。読み込んだ領域重複フラグが「１」である場合、作業管理部２２０は、ステップＳ６２の処理を実行する。一方、読み込んだ領域重複フラグが「０」である場合、作業管理部２２０は、ステップＳ１５の処理を実行する。
【０１２６】
［ステップＳ６２］作業管理部２２０は、画像取り込み部２１１に新たな撮像画像データの取り込みを要求し、実装判定部２１０に、Ｎ番目の部品に対応する特徴量Ａ１＿２，Ｂ１＿２を算出させる。特徴量Ａ１＿２，Ｂ１＿２の算出手順は、図１１のステップＳ２６〜Ｓ２９で変数Ｍを変数Ｎに置き換えた場合と同様である。また、特徴量算出部２１５，２１６は、新たに算出した特徴量Ａ１＿２，Ｂ１＿２によって、図１８のステップＳ１３の処理においてＲＡＭ２０２に格納した、Ｎ番目の部品に対応する特徴量Ａ１＿２，Ｂ１＿２を更新する。
【０１２７】
なお、ステップＳ６１では、領域重複フラグを参照する代わりに、Ｎ番目の部品に対応する実装領域または周囲領域の少なくとも一部が、それ以前に実装された部品に対応する実装領域に重複するかが、計算によって判定されてもよい。この場合、作業管理部２２０は、部品ＤＢ２５０に登録された実装領域および周囲領域の各位置情報に基づき、Ｎ番目の部品に対応する実装領域または周囲領域と、１番目から（Ｎ−１）番目までの各部品に対応する実装領域とを比較する。そして、作業管理部２２０は、比較した少なくとも１つの領域の組合せにおいて領域同士が重複していた場合に、ステップＳ６２の処理を実行する。なお、このように計算によって領域の重複を判定する場合には、Ｎ＝１のときにはステップＳ６１，Ｓ６２を実行しないようにしてもよい。
【０１２８】
以上の処理により、新たに実装する部品に対応する実装領域または周囲領域の少なくとも一部が、それ以前に実装された部品に対応する実装領域と重複する場合でも、新たな部品の実装作業が完了したかを正確に判定できるようになる。
【０１２９】
なお、図１８の処理において、ステップＳ１３の処理を実行せずに、特徴量Ａ１＿２、Ｂ１＿２として部品ＤＢ２５０に登録された値を使用する場合であっても、ステップＳ６１，Ｓ６２を追加することが可能である。例えば、図１８の処理を、ステップＳ１３を除去するとともに、ステップＳ１６の処理を図１６のように変形することができる。この場合、図１６のステップＳ４９ａでは、処理対象の部品に対応付けられた領域重複フラグが「１」である場合には、直前のステップＳ６２で算出した特徴量Ａ１＿２，Ｂ１＿２が使用されればよい。
【０１３０】
なお、上記の各実施の形態における作業支援装置および制御装置の処理機能は、コンピュータによって実現することができる。その場合、作業支援装置および制御装置が有すべき機能の処理内容を記述したプログラムが提供され、そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記憶装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。磁気記憶装置には、ハードディスク装置（ＨＤＤ）、フレキシブルディスク（ＦＤ）、磁気テープなどがある。光ディスクには、ＤＶＤ、ＤＶＤ−ＲＡＭ、ＣＤ−ＲＯＭ／ＲＷなどがある。光磁気記録媒体には、ＭＯ（Magneto-Optical disk）などがある。
【０１３１】
プログラムを流通させる場合には、例えば、そのプログラムが記録されたＤＶＤ、ＣＤ−ＲＯＭなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。
【０１３２】
プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムまたはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、ネットワークを介して接続されたサーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。
【０１３３】
以上の各実施の形態に関し、さらに以下の付記を開示する。
（付記１） 部品を実装する実装領域と、前記実装領域の周囲領域とをそれぞれ撮像した撮像画像を撮像装置から取得する画像取得部と、
前記画像取得部が取得した前記実装領域の撮像画像についての第１の特徴量と、部品の実装作業前における前記実装領域の画像についての第２の特徴量との類似度が第１のしきい値より大きく、かつ、前記画像取得部が取得した前記周囲領域の撮像画像についての第３の特徴量と、部品の実装作業前における前記周囲領域の画像についての第４の特徴量との類似度が第２のしきい値より小さい場合に、前記実装領域に対する部品の実装作業が完了したと判定する判定部と、
を有することを特徴とする作業支援装置。
【０１３４】
（付記２） １つの実装対象物に対して複数の部品を実装する実装作業の順序と、前記複数の部品のそれぞれに対応する前記実装領域の位置とを記憶する部品情報記憶部をさらに有し、
前記判定部は、前記複数の部品のうち第１の部品を当該第１の部品に対応する前記実装領域に実装する作業が完了したと判定すると、前記部品情報記憶部に記憶された情報に基づいて、次に実装すべき第２の部品に対応する前記実装領域を判別して、前記第２の部品に対応する前記実装領域および前記周囲領域の各撮像画像を前記画像取得部に取得させ、前記画像取得部が取得した前記第２の部品に対応する前記実装領域の撮像画像についての前記第１の特徴量と、前記第２の部品に対応する前記実装領域の画像についての前記第２の特徴量との類似度が前記第１のしきい値より大きく、かつ、前記画像取得部が取得した前記第２の部品に対応する前記周囲領域の撮像画像についての前記第３の特徴量と、前記第２の部品に対応する前記周囲領域の画像についての前記第４の特徴量との類似度が前記第２のしきい値より小さい場合に、前記第２の部品を当該第２の部品に対応する前記実装領域に実装する作業が完了したと判定する、
ことを特徴とする付記１記載の作業支援装置。
【０１３５】
（付記３） 前記部品情報記憶部には、前記複数の部品のそれぞれについての実装作業手順を案内する案内画像の情報が記憶され、
前記作業支援装置は、さらに、前記判定部が前記第１の部品の実装作業が完了したと判定すると、前記部品情報記憶部に記憶された前記第２の部品に対応する前記案内画像の情報に基づいて当該案内画像を表示部に表示させる表示制御部を有する、
ことを特徴とする付記２記載の作業支援装置。
【０１３６】
（付記４） 前記判定部は、前記部品情報記憶部に記憶された情報に基づいて前記第２の部品に対応する前記実装領域を判別したとき、当該第２の部品に対応する前記実装領域または前記周囲領域の少なくとも一部が、当該第２の部品の実装作業開始前に前記実装対象物に実装される他のいずれかの部品に対応する前記実装領域と重複する場合には、前記第２の部品に対応する前記実装領域および前記周囲領域の各撮像画像を前記画像取得部に取得させ、新たに取得された前記実装領域および前記周囲領域の撮像画像のそれぞれについての特徴量を、前記第２の部品に対応する前記第２の特徴量および前記第４の特徴量として一時記憶部に格納し、その後に前記画像取得部が前記撮像装置から取得した撮像画像から得られた前記第１の特徴量および前記第３の特徴量と、前記一時記憶部に格納された前記第２の特徴量および前記第４の特徴量とを基に、前記第２の部品の実装作業が完了したかを判定することを特徴とする付記２または３記載の作業支援装置。
【０１３７】
（付記５） 前記実装領域として、実装される部品における非可動部の領域が設定され、前記周囲領域として、前記非可動部の領域の周囲のうち、実装される部品の可動部が可動する領域を除く領域が設定されることを特徴とする付記１〜４のいずれか１つに記載の作業支援装置。
【０１３８】
（付記６） 前記判定部は、前記第１の特徴量と、記憶部にあらかじめ記憶された、部品の実装作業完了後における前記実装領域の画像についての第５の特徴量との類似度が第３のしきい値より小さいことを判定することで、前記第１の特徴量と前記第２の特徴量との類似度が前記第１のしきい値より大きいことを判定することを特徴とする付記１記載の作業支援装置。
【０１３９】
（付記７） 前記判定部は、前記第１の特徴量と前記第２の特徴量との類似度が前記第１のしきい値より大きく、かつ、前記第１の特徴量と、記憶部にあらかじめ記憶された、部品の実装作業完了後における前記実装領域の画像についての第５の特徴量との類似度が第３のしきい値より小さく、かつ、前記第３の特徴量と前記第４の特徴量との類似度が前記第２のしきい値より小さい場合に、前記実装領域に対する部品の実装作業が完了したと判定することを特徴とする付記１記載の作業支援装置。
【０１４０】
（付記８） コンピュータに、
部品を実装する実装領域と、前記実装領域の周囲領域とをそれぞれ撮像した撮像画像を撮像装置から取得し、
前記撮像装置から取得した前記実装領域の撮像画像についての第１の特徴量と、部品の実装作業前における前記実装領域の画像についての第２の特徴量との類似度が第１のしきい値より大きく、かつ、前記撮像装置から取得した前記周囲領域の撮像画像についての第３の特徴量と、部品の実装作業前における前記周囲領域の画像についての第４の特徴量との類似度が第２のしきい値より小さい場合に、前記実装領域に対する部品の実装作業が完了したと判定する、
処理を実行させることを特徴とする作業支援プログラム。
【０１４１】
（付記９） １つの実装対象物に対して実装する複数の部品のうち第１の部品を当該第１の部品に対応する前記実装領域に実装する作業が完了したと判定すると、前記複数の部品を実装する実装作業の順序と、前記複数の部品のそれぞれに対応する前記実装領域の位置とが記憶された部品情報記憶部を参照し、次に実装すべき第２の部品に対応する前記実装領域を判別して、前記第２の部品に対応する前記実装領域および前記周囲領域の各撮像画像を前記撮像装置から取得し、前記撮像装置から取得した前記第２の部品に対応する前記実装領域の撮像画像についての前記第１の特徴量と、前記第２の部品に対応する前記実装領域の画像についての前記第２の特徴量との類似度が前記第１のしきい値より大きく、かつ、前記撮像装置から取得した前記第２の部品に対応する前記周囲領域の撮像画像についての前記第３の特徴量と、前記第２の部品に対応する前記周囲領域の画像についての前記第４の特徴量との類似度が前記第２のしきい値より小さい場合に、前記第２の部品を当該第２の部品に対応する前記実装領域に実装する作業が完了したと判定することを特徴とする付記８記載の作業支援プログラム。
【０１４２】
（付記１０） 前記部品情報記憶部には、前記複数の部品のそれぞれについての実装作業手順を案内する案内画像の情報が記憶され、
前記第１の部品の実装作業が完了したと判定すると、前記部品情報記憶部に記憶された前記第２の部品に対応する前記案内画像の情報に基づいて当該案内画像を表示部に表示させる、
ことを特徴とする付記９記載の作業支援プログラム。
【０１４３】
（付記１１） 前記部品情報記憶部に記憶された情報に基づいて前記第２の部品に対応する前記実装領域を判別したとき、当該第２の部品に対応する前記実装領域または前記周囲領域の少なくとも一部が、当該第２の部品の実装作業開始前に前記実装対象物に実装される他のいずれかの部品に対応する前記実装領域と重複する場合には、前記第２の部品に対応する前記実装領域および前記周囲領域の各撮像画像を前記撮像装置から新たに取得し、新たに取得された前記実装領域および前記周囲領域の撮像画像のそれぞれについての特徴量を、前記第２の部品に対応する前記第２の特徴量および前記第４の特徴量として一時記憶部に格納し、その後に前記撮像装置から取得した撮像画像から得られた前記第１の特徴量および前記第３の特徴量と、前記一時記憶部に格納された前記第２の特徴量および前記第４の特徴量とを基に、前記第２の部品の実装作業が完了したかを判定することを特徴とする付記９または１０記載の作業支援プログラム。
【０１４４】
（付記１２） 前記実装領域として、実装される部品における非可動部の領域が設定され、前記周囲領域として、前記非可動部の領域の周囲のうち、実装される部品の可動部が可動する領域を除く領域が設定されることを特徴とする付記８〜１１のいずれか１つに記載の作業支援プログラム。
【０１４５】
（付記１３） 前記実装領域に対する部品の実装作業が完了したかを判定する処理では、前記第１の特徴量と、記憶部にあらかじめ記憶された、部品の実装作業完了後における前記実装領域の画像についての第５の特徴量との類似度が第３のしきい値より小さいことを判定することで、前記第１の特徴量と前記第２の特徴量との類似度が前記第１のしきい値より大きいことを判定することを特徴とする付記８記載の作業支援プログラム。
【０１４６】
（付記１４） 前記実装領域に対する部品の実装作業が完了したかを判定する処理では、前記第１の特徴量と前記第２の特徴量との類似度が前記第１のしきい値より大きく、かつ、前記第１の特徴量と、記憶部にあらかじめ記憶された、部品の実装作業完了後における前記実装領域の画像についての第５の特徴量との類似度が第３のしきい値より小さく、かつ、前記第３の特徴量と前記第４の特徴量との類似度が前記第２のしきい値より小さい場合に、前記実装領域に対する部品の実装作業が完了したと判定することを特徴とする付記８記載の作業支援プログラム。
【０１４７】
（付記１５） 作業支援装置が、
部品を実装する実装領域と、前記実装領域の周囲領域とをそれぞれ撮像した撮像画像を撮像装置から取得し、
前記撮像装置から取得した前記実装領域の撮像画像についての第１の特徴量と、部品の実装作業前における前記実装領域の画像についての第２の特徴量との類似度が第１のしきい値より大きく、かつ、前記撮像装置から取得した前記周囲領域の撮像画像についての第３の特徴量と、部品の実装作業前における前記周囲領域の画像についての第４の特徴量との類似度が第２のしきい値より小さい場合に、前記実装領域に対する部品の実装作業が完了したと判定する、
ことを特徴とする作業支援方法。
【０１４８】
（付記１６） １つの実装対象物に対して実装する複数の部品のうち第１の部品を当該第１の部品に対応する前記実装領域に実装する作業が完了したと判定すると、前記複数の部品を実装する実装作業の順序と、前記複数の部品のそれぞれに対応する前記実装領域の位置とが記憶された部品情報記憶部を参照し、次に実装すべき第２の部品に対応する前記実装領域を判別して、前記第２の部品に対応する前記実装領域および前記周囲領域の各撮像画像を前記撮像装置から取得し、前記撮像装置から取得した前記第２の部品に対応する前記実装領域の撮像画像についての前記第１の特徴量と、前記第２の部品に対応する前記実装領域の画像についての前記第２の特徴量との類似度が前記第１のしきい値より大きく、かつ、前記撮像装置から取得した前記第２の部品に対応する前記周囲領域の撮像画像についての前記第３の特徴量と、前記第２の部品に対応する前記周囲領域の画像についての前記第４の特徴量との類似度が前記第２のしきい値より小さい場合に、前記第２の部品を当該第２の部品に対応する前記実装領域に実装する作業が完了したと判定することを特徴とする付記１５記載の作業支援方法。
【０１４９】
（付記１７） 前記部品情報記憶部には、前記複数の部品のそれぞれについての実装作業手順を案内する案内画像の情報が記憶され、
前記第１の部品の実装作業が完了したと判定すると、前記部品情報記憶部に記憶された前記第２の部品に対応する前記案内画像の情報に基づいて当該案内画像を表示部に表示させる、
ことを特徴とする付記１６記載の作業支援方法。
【０１５０】
（付記１８） 前記部品情報記憶部に記憶された情報に基づいて前記第２の部品に対応する前記実装領域を判別したとき、当該第２の部品に対応する前記実装領域または前記周囲領域の少なくとも一部が、当該第２の部品の実装作業開始前に前記実装対象物に実装される他のいずれかの部品に対応する前記実装領域と重複する場合には、前記第２の部品に対応する前記実装領域および前記周囲領域の各撮像画像を前記撮像装置から新たに取得し、新たに取得された前記実装領域および前記周囲領域の撮像画像のそれぞれについての特徴量を、前記第２の部品に対応する前記第２の特徴量および前記第４の特徴量として一時記憶部に格納し、その後に前記撮像装置から取得した撮像画像から得られた前記第１の特徴量および前記第３の特徴量と、前記一時記憶部に格納された前記第２の特徴量および前記第４の特徴量とを基に、前記第２の部品の実装作業が完了したかを判定することを特徴とする付記１６または１７記載の作業支援方法。
【０１５１】
（付記１９） 前記実装領域に対する部品の実装作業が完了したかを判定する処理では、前記第１の特徴量と、記憶部にあらかじめ記憶された、部品の実装作業完了後における前記実装領域の画像についての第５の特徴量との類似度が第３のしきい値より小さいことを判定することで、前記第１の特徴量と前記第２の特徴量との類似度が前記第１のしきい値より大きいことを判定することを特徴とする付記１５記載の作業支援方法。
【０１５２】
（付記２０） 前記実装領域に対する部品の実装作業が完了したかを判定する処理では、前記第１の特徴量と前記第２の特徴量との類似度が前記第１のしきい値より大きく、かつ、前記第１の特徴量と、記憶部にあらかじめ記憶された、部品の実装作業完了後における前記実装領域の画像についての第５の特徴量との類似度が第３のしきい値より小さく、かつ、前記第３の特徴量と前記第４の特徴量との類似度が前記第２のしきい値より小さい場合に、前記実装領域に対する部品の実装作業が完了したと判定することを特徴とする付記１５記載の作業支援方法。
【符号の説明】
【０１５３】
１ 作業支援システム
２ 実装対象物
２ａ 実装領域
２ｂ 周囲領域
３ 部品
１０ カメラ
２０ 作業支援装置
２１ 画像取得部
２２ 判定部
【特許請求の範囲】
【請求項１】
部品を実装する実装領域と、前記実装領域の周囲領域とをそれぞれ撮像した撮像画像を撮像装置から取得する画像取得部と、
前記画像取得部が取得した前記実装領域の撮像画像についての第１の特徴量と、部品の実装作業前における前記実装領域の画像についての第２の特徴量との類似度が第１のしきい値より大きく、かつ、前記画像取得部が取得した前記周囲領域の撮像画像についての第３の特徴量と、部品の実装作業前における前記周囲領域の画像についての第４の特徴量との類似度が第２のしきい値より小さい場合に、前記実装領域に対する部品の実装作業が完了したと判定する判定部と、
を有することを特徴とする作業支援装置。
【請求項２】
１つの実装対象物に対して複数の部品を実装する実装作業の順序と、前記複数の部品のそれぞれに対応する前記実装領域の位置とを記憶する部品情報記憶部をさらに有し、
前記判定部は、前記複数の部品のうち第１の部品を当該第１の部品に対応する前記実装領域に実装する作業が完了したと判定すると、前記部品情報記憶部に記憶された情報に基づいて、次に実装すべき第２の部品に対応する前記実装領域を判別して、前記第２の部品に対応する前記実装領域および前記周囲領域の各撮像画像を前記画像取得部に取得させ、前記画像取得部が取得した前記第２の部品に対応する前記実装領域の撮像画像についての前記第１の特徴量と、前記第２の部品に対応する前記実装領域の画像についての前記第２の特徴量との類似度が前記第１のしきい値より大きく、かつ、前記画像取得部が取得した前記第２の部品に対応する前記周囲領域の撮像画像についての前記第３の特徴量と、前記第２の部品に対応する前記周囲領域の画像についての前記第４の特徴量との類似度が前記第２のしきい値より小さい場合に、前記第２の部品を当該第２の部品に対応する前記実装領域に実装する作業が完了したと判定する、
ことを特徴とする請求項１記載の作業支援装置。
【請求項３】
前記部品情報記憶部には、前記複数の部品のそれぞれについての実装作業手順を案内する案内画像の情報が記憶され、
前記作業支援装置は、さらに、前記判定部が前記第１の部品の実装作業が完了したと判定すると、前記部品情報記憶部に記憶された前記第２の部品に対応する前記案内画像の情報に基づいて当該案内画像を表示部に表示させる表示制御部を有する、
ことを特徴とする請求項２記載の作業支援装置。
【請求項４】
前記判定部は、前記部品情報記憶部に記憶された情報に基づいて前記第２の部品に対応する前記実装領域を判別したとき、当該第２の部品に対応する前記実装領域または前記周囲領域の少なくとも一部が、当該第２の部品の実装作業開始前に前記実装対象物に実装される他のいずれかの部品に対応する前記実装領域と重複する場合には、前記第２の部品に対応する前記実装領域および前記周囲領域の各撮像画像を前記画像取得部に取得させ、新たに取得された前記実装領域および前記周囲領域の撮像画像のそれぞれについての特徴量を、前記第２の部品に対応する前記第２の特徴量および前記第４の特徴量として一時記憶部に格納し、その後に前記画像取得部が前記撮像装置から取得した撮像画像から得られた前記第１の特徴量および前記第３の特徴量と、前記一時記憶部に格納された前記第２の特徴量および前記第４の特徴量とを基に、前記第２の部品の実装作業が完了したかを判定することを特徴とする請求項２または３記載の作業支援装置。
【請求項５】
前記実装領域として、実装される部品における非可動部の領域が設定され、前記周囲領域として、前記非可動部の領域の周囲のうち、実装される部品の可動部が可動する領域を除く領域が設定されることを特徴とする請求項１〜４のいずれか１項に記載の作業支援装置。
【請求項６】
前記判定部は、前記第１の特徴量と、記憶部にあらかじめ記憶された、部品の実装作業完了後における前記実装領域の画像についての第５の特徴量との類似度が第３のしきい値より小さいことを判定することで、前記第１の特徴量と前記第２の特徴量との類似度が前記第１のしきい値より大きいことを判定することを特徴とする請求項１記載の作業支援装置。
【請求項７】
前記判定部は、前記第１の特徴量と前記第２の特徴量との類似度が前記第１のしきい値より大きく、かつ、前記第１の特徴量と、記憶部にあらかじめ記憶された、部品の実装作業完了後における前記実装領域の画像についての第５の特徴量との類似度が第３のしきい値より小さく、かつ、前記第３の特徴量と前記第４の特徴量との類似度が前記第２のしきい値より小さい場合に、前記実装領域に対する部品の実装作業が完了したと判定することを特徴とする請求項１記載の作業支援装置。
【請求項８】
コンピュータに、
部品を実装する実装領域と、前記実装領域の周囲領域とをそれぞれ撮像した撮像画像を撮像装置から取得し、
前記撮像装置から取得した前記実装領域の撮像画像についての第１の特徴量と、部品の実装作業前における前記実装領域の画像についての第２の特徴量との類似度が第１のしきい値より大きく、かつ、前記撮像装置から取得した前記周囲領域の撮像画像についての第３の特徴量と、部品の実装作業前における前記周囲領域の画像についての第４の特徴量との類似度が第２のしきい値より小さい場合に、前記実装領域に対する部品の実装作業が完了したと判定する、
処理を実行させることを特徴とする作業支援プログラム。
【請求項９】
作業支援装置が、
部品を実装する実装領域と、前記実装領域の周囲領域とをそれぞれ撮像した撮像画像を撮像装置から取得し、
前記撮像装置から取得した前記実装領域の撮像画像についての第１の特徴量と、部品の実装作業前における前記実装領域の画像についての第２の特徴量との類似度が第１のしきい値より大きく、かつ、前記撮像装置から取得した前記周囲領域の撮像画像についての第３の特徴量と、部品の実装作業前における前記周囲領域の画像についての第４の特徴量との類似度が第２のしきい値より小さい場合に、前記実装領域に対する部品の実装作業が完了したと判定する、
ことを特徴とする作業支援方法。
【請求項１】
部品を実装する実装領域と、前記実装領域の周囲領域とをそれぞれ撮像した撮像画像を撮像装置から取得する画像取得部と、
前記画像取得部が取得した前記実装領域の撮像画像についての第１の特徴量と、部品の実装作業前における前記実装領域の画像についての第２の特徴量との類似度が第１のしきい値より大きく、かつ、前記画像取得部が取得した前記周囲領域の撮像画像についての第３の特徴量と、部品の実装作業前における前記周囲領域の画像についての第４の特徴量との類似度が第２のしきい値より小さい場合に、前記実装領域に対する部品の実装作業が完了したと判定する判定部と、
を有することを特徴とする作業支援装置。
【請求項２】
１つの実装対象物に対して複数の部品を実装する実装作業の順序と、前記複数の部品のそれぞれに対応する前記実装領域の位置とを記憶する部品情報記憶部をさらに有し、
前記判定部は、前記複数の部品のうち第１の部品を当該第１の部品に対応する前記実装領域に実装する作業が完了したと判定すると、前記部品情報記憶部に記憶された情報に基づいて、次に実装すべき第２の部品に対応する前記実装領域を判別して、前記第２の部品に対応する前記実装領域および前記周囲領域の各撮像画像を前記画像取得部に取得させ、前記画像取得部が取得した前記第２の部品に対応する前記実装領域の撮像画像についての前記第１の特徴量と、前記第２の部品に対応する前記実装領域の画像についての前記第２の特徴量との類似度が前記第１のしきい値より大きく、かつ、前記画像取得部が取得した前記第２の部品に対応する前記周囲領域の撮像画像についての前記第３の特徴量と、前記第２の部品に対応する前記周囲領域の画像についての前記第４の特徴量との類似度が前記第２のしきい値より小さい場合に、前記第２の部品を当該第２の部品に対応する前記実装領域に実装する作業が完了したと判定する、
ことを特徴とする請求項１記載の作業支援装置。
【請求項３】
前記部品情報記憶部には、前記複数の部品のそれぞれについての実装作業手順を案内する案内画像の情報が記憶され、
前記作業支援装置は、さらに、前記判定部が前記第１の部品の実装作業が完了したと判定すると、前記部品情報記憶部に記憶された前記第２の部品に対応する前記案内画像の情報に基づいて当該案内画像を表示部に表示させる表示制御部を有する、
ことを特徴とする請求項２記載の作業支援装置。
【請求項４】
前記判定部は、前記部品情報記憶部に記憶された情報に基づいて前記第２の部品に対応する前記実装領域を判別したとき、当該第２の部品に対応する前記実装領域または前記周囲領域の少なくとも一部が、当該第２の部品の実装作業開始前に前記実装対象物に実装される他のいずれかの部品に対応する前記実装領域と重複する場合には、前記第２の部品に対応する前記実装領域および前記周囲領域の各撮像画像を前記画像取得部に取得させ、新たに取得された前記実装領域および前記周囲領域の撮像画像のそれぞれについての特徴量を、前記第２の部品に対応する前記第２の特徴量および前記第４の特徴量として一時記憶部に格納し、その後に前記画像取得部が前記撮像装置から取得した撮像画像から得られた前記第１の特徴量および前記第３の特徴量と、前記一時記憶部に格納された前記第２の特徴量および前記第４の特徴量とを基に、前記第２の部品の実装作業が完了したかを判定することを特徴とする請求項２または３記載の作業支援装置。
【請求項５】
前記実装領域として、実装される部品における非可動部の領域が設定され、前記周囲領域として、前記非可動部の領域の周囲のうち、実装される部品の可動部が可動する領域を除く領域が設定されることを特徴とする請求項１〜４のいずれか１項に記載の作業支援装置。
【請求項６】
前記判定部は、前記第１の特徴量と、記憶部にあらかじめ記憶された、部品の実装作業完了後における前記実装領域の画像についての第５の特徴量との類似度が第３のしきい値より小さいことを判定することで、前記第１の特徴量と前記第２の特徴量との類似度が前記第１のしきい値より大きいことを判定することを特徴とする請求項１記載の作業支援装置。
【請求項７】
前記判定部は、前記第１の特徴量と前記第２の特徴量との類似度が前記第１のしきい値より大きく、かつ、前記第１の特徴量と、記憶部にあらかじめ記憶された、部品の実装作業完了後における前記実装領域の画像についての第５の特徴量との類似度が第３のしきい値より小さく、かつ、前記第３の特徴量と前記第４の特徴量との類似度が前記第２のしきい値より小さい場合に、前記実装領域に対する部品の実装作業が完了したと判定することを特徴とする請求項１記載の作業支援装置。
【請求項８】
コンピュータに、
部品を実装する実装領域と、前記実装領域の周囲領域とをそれぞれ撮像した撮像画像を撮像装置から取得し、
前記撮像装置から取得した前記実装領域の撮像画像についての第１の特徴量と、部品の実装作業前における前記実装領域の画像についての第２の特徴量との類似度が第１のしきい値より大きく、かつ、前記撮像装置から取得した前記周囲領域の撮像画像についての第３の特徴量と、部品の実装作業前における前記周囲領域の画像についての第４の特徴量との類似度が第２のしきい値より小さい場合に、前記実装領域に対する部品の実装作業が完了したと判定する、
処理を実行させることを特徴とする作業支援プログラム。
【請求項９】
作業支援装置が、
部品を実装する実装領域と、前記実装領域の周囲領域とをそれぞれ撮像した撮像画像を撮像装置から取得し、
前記撮像装置から取得した前記実装領域の撮像画像についての第１の特徴量と、部品の実装作業前における前記実装領域の画像についての第２の特徴量との類似度が第１のしきい値より大きく、かつ、前記撮像装置から取得した前記周囲領域の撮像画像についての第３の特徴量と、部品の実装作業前における前記周囲領域の画像についての第４の特徴量との類似度が第２のしきい値より小さい場合に、前記実装領域に対する部品の実装作業が完了したと判定する、
ことを特徴とする作業支援方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２０１２−１６００７６（Ｐ２０１２−１６００７６Ａ）
【公開日】平成２４年８月２３日（２０１２．８．２３）
【国際特許分類】
【出願番号】特願２０１１−２０００４（Ｐ２０１１−２０００４）
【出願日】平成２３年２月１日（２０１１．２．１）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成２４年８月２３日（２０１２．８．２３）
【国際特許分類】
【出願日】平成２３年２月１日（２０１１．２．１）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]