立体計測装置
【課題】ワークの立体形状を正確に計測する。
【解決手段】立体計測システムは、ワーク１１００を撮像するカメラ１００と、ワーク１１００を照明するストロボ２００と、カメラ１００の電子シャッターに同期してストロボ２００を発光させてワーク１１００を撮像するように制御する制御回路と、撮像された画像データを画像処理する画像処理コンピュータとを含む。画像処理コンピュータは、撮像された画像データに対して、明度の不均一を補正するシェーディング補正回路と、補正された画像データに対して、カメラ１００からワーク１１００までの距離に応じた明度の違いに基づいて、ワーク１１００の特徴量を算出する算出回路と、算出された特徴量に基づいて、ワーク１１００の位置情報を作成する作成回路とを含む。
【解決手段】立体計測システムは、ワーク１１００を撮像するカメラ１００と、ワーク１１００を照明するストロボ２００と、カメラ１００の電子シャッターに同期してストロボ２００を発光させてワーク１１００を撮像するように制御する制御回路と、撮像された画像データを画像処理する画像処理コンピュータとを含む。画像処理コンピュータは、撮像された画像データに対して、明度の不均一を補正するシェーディング補正回路と、補正された画像データに対して、カメラ１００からワーク１１００までの距離に応じた明度の違いに基づいて、ワーク１１００の特徴量を算出する算出回路と、算出された特徴量に基づいて、ワーク１１００の位置情報を作成する作成回路とを含む。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、立体を計測する技術に関し、特に、パレットに積み上げられたダンボール箱などのワークの位置を立体的に認識する技術に関する。
【０００２】
【従来の技術】
最近、産業用ロボットの用途の１つとして、パレットの上にワークである段ボール箱を予め定められた順序に従って積み上げるパレタイズ作業がある。特にワークが重い場合に、大きな省力効果を発現する。このようにしてパレタイズされたパレットからワークを取出すデパレタイズ作業にも、産業用ロボットが使用されている。パレットに積み上げられたワークは、トラックなどによる搬送途中においてワークがずれることがある。そのため、デパレタイズ時には、ワークの高さ、位置を正確に把握しないと、デパレタイズロボットが正確にワークをハンドリングできない。
【０００３】
特開平７−２９１４５０号公報は、パレタイズされているワークの中から最上段にあるワークの選出を迅速に実行するパレタイズシステムを開示する。この公報に開示されたパレタイジングシステムは、任意に積み上げられたワークを斜め上方から照明する第１の照明装置と、ワークの上方から照明する第２の照明装置と、第１および第２の照明装置を操作して画像処理に適した照明を実現する照明制御装置と、第１のステレオカメラ装置と、第２のステレオカメラ装置と、第１および第２のステレオカメラ装置を制御するカメラ制御装置と、ステレオカメラにより撮像された画像データを処理して最上位に位置するワークを選択して、マッチング処理を実行して、ワークの種類、姿勢および把持位置を算出して、ロボットコントローラに出力する画像処理装置とを含む。
【０００４】
この公報に開示されたパレタイジングシステムによると、第１の照明装置および第２の照明装置を照明制御装置により操作して、第１の照明装置はパレットに積み上げられている上部のワークを照明して、第２の照明装置はパレットに積み上げられている下部のワークを照明する。第１のステレオカメラ装置および第２のステレオカメラ装置をカメラ制御装置により操作して、照明されているワークを撮像する。このようにして得られた画像を画像処理装置に入力して画像解析を行ない、最上部に位置するワークを選出する。その後、マッチング処理を行ない選出されたワークの種類、姿勢および把持位置を決定する。このワークの種類、姿勢および把持位置は、ロボットコントローラに入力されてロボットハンドの操作量が算出される。ロボットコントローラは、この操作量によりロボットハンドを操作してワークをデパレタイズする。これにより、第１の照明装置および第２の照明装置を操作して画像処理がしやすい状態にワークを照明しているので、最上位に位置するワークを選出することが簡易にできる。その結果、デパレタイズ作業における作業能率を著しく向上させることができる。
【０００５】
【発明が解決しようとする課題】
しかしながら、上述の公報に開示されたシステムでは、デパレタイズの対象である、ワークを撮像する照明装置が２台、ワークを撮像するカメラが２台必要になる。そのため、システムの装備が大掛かりになるとともにシステムが高価格になる。さらに、２台の照明装置によっては、ワークの周囲からの外乱光によりワークを均一に照明できないなどにより、画像処理装置におけるデータ処理の結果に誤差が生じるおそれがある。
【０００６】
本発明は、上述の課題を解決するためになされたものであって、外乱光による影響に強く、設備コストを抑制して、正確に対象物の立体形状を計測できる立体計測装置を提供することである。
【０００７】
【課題を解決するための手段】
第１の発明に係る立体計測装置は、対象物を撮像するための撮像手段と、対象物を照明するストロボ照明装置と、ストロボ照明装置の発光に同期させて撮像手段により対象物を撮像するように、撮像手段とストロボ照明装置とを制御するための制御手段と、撮像手段に接続され、撮像された対象物を表わす画像データに対して、画像処理を行なうための処理手段とを含む。処理手段は、画像データに対して、色の強度の不均一を補正するための補正手段と、補正された画像データに対して、撮像手段から対象物までの距離に応じた色の強度の違いに基づいて、対象物の特徴量を算出するための算出手段と、算出された特徴量に基づいて、対象物の位置情報を作成するための作成手段とを含む。
【０００８】
第１の発明によると、制御手段は、ストロボ装置の発光に同期させて、撮像手段の１つであるカメラの電子シャッターをオンにして対象物を撮像する。補正手段は、対象物が撮像された画像データにおける色の強度の１つである明度の不均一をシェーディング補正などにより補正する。この補正により、ストロボ装置から同じ距離にある対象物は同じ明度を有することになる。算出手段は、たとえば、ストロボ装置から対象物までの距離に応じた明度のしきい値を用いて、この補正された画像データを二値化処理して、検出したい高さの対象物のみを抽出して、抽出された対象物の面積などを表わす特徴量を算出する。作成手段は、対象物の特徴量に基づいて、対象物の端点の座標情報などを作成する。これにより、ストロボ装置から発光された光は、ストロボ装置からの距離の二乗に逆比例する明るさであるという性質に基づいて、検出したい距離にある対象物を、画像データを二値化処理することにより抽出することができる。この二値化処理の前に、明るさの不均一は補正されているので、二値化処理により検出したい対象物の全体を抽出することができる。その結果、外乱光による影響に強く、設備コストを抑制して、正確に対象物の立体形状を計測できる立体計測装置を提供することができる。なお、色の強度とは、ＲＧＢの個別の強度、それらの強度から換算できる明度、色相、彩度等の変換量の強度、ＲＧＢの個別の強度を適宜組み合わせた強度、特定の色彩の強度などを含む。
【０００９】
第２の発明に係る立体計測装置は、第１の発明の構成に加えて、算出手段は、補正された画像データに対して、撮像手段から対象物までの距離に応じた色の強度の違いに対応するしきい値により画像データを二値化処理して、色の強度が異なる領域を抽出して、抽出された領域に基づいて、対象物の特徴量を算出するための手段を含む。
【００１０】
第２の発明によると、算出手段は、ストロボ装置から対象物までの距離に応じた色の強度の１つである明度のしきい値を用いて、この補正された画像データを二値化処理して、検出したい高さの対象物のみを抽出して、抽出された対象物の面積などを表わす特徴量を算出することができる。二値化処理により検出したい対象物の全体を抽出するため、正確に対象物の立体形状を計測できる。
【００１１】
第３の発明に係る立体計測装置は、第２の発明の構成に加えて、算出手段は、対象物の特徴量として、抽出された領域の面積および領域のフィレ径を算出するための手段を含む。
【００１２】
第３の発明によると、検出したい対象物を表わす領域の面積および領域のフィレ径が算出される。この面積やフィレ径に基づいて、必要な位置情報を作成することができる。
【００１３】
第４の発明に係る立体計測装置は、第３の発明の構成に加えて、作成手段は、面積およびフィレ径に基づいて、対象物の座標情報および傾き情報を作成するための手段を含む。
【００１４】
第４の発明によると、面積およびフィレ径に基づいて、対象物の座標情報および傾き情報を作成できる。
【００１５】
第５の発明に係る立体計測装置は、第１の発明の構成に加えて、対象物は直方体の形状を有し、ストロボ照明装置は、撮像手段の近傍の位置であって、直方体の上面の一辺に対して斜め方向の位置から対象物を照明するものである。
【００１６】
第５の発明によると、直方体の斜め上方の位置からストロボ装置が発光する。このとき、直方体の周囲には斜め上方からのストロボ装置の光により少なくとも２辺の陰ができる。この陰は、線分として撮像される。この線分を表わす画像情報に基づいて、より正確な対象物の位置情報を作成することができる。
【００１７】
第６の発明に係る立体計測装置は、第５の発明の構成に加えて、算出手段は、補正された画像データに対して、撮像手段から対象物までの距離に応じた色の強度の違いに対応するしきい値により画像データを二値化処理して、色の強度が異なる領域を抽出して、抽出された領域の中から対象物である直方体の上面の二辺の陰を選択して、選択された陰に基づいて、対象物の特徴量を算出するための手段を含む。
【００１８】
第６の発明によると、色の強度の１つである明度の小さい、直方体の上面の二辺の陰の部分を選択して、陰の部分を表わす線分の長さに基づいて対象物の位置情報を作成する。線分の情報は、領域の情報よりもより正確に対象物の外形を表わしているので、より正確に対象物の位置情報を作成できる。
【００１９】
第７の発明に係る立体計測装置は、第６の発明の構成に加えて、算出手段は、対象物の特徴量として、選択された二辺の陰の長さおよび傾きを算出するための手段を含む。
【００２０】
第７の発明によると、色の強度の１つである明度の小さい、直方体の上面の二辺の陰の部分を選択して、二辺の陰を表わす線分の長さおよび傾きに基づいて対象物の位置情報をより正確に作成できる。
【００２１】
第８の発明に係る立体計測装置は、第７の発明の構成に加えて、作成手段は、算出された二辺の陰の長さおよび傾きに基づいて、対象物の座標情報および傾き情報を作成するための手段を含む。
【００２２】
第８の発明によると、二辺の陰の長さおよび傾きに基づいて、対象物の座標情報および傾き情報をより正確に作成できる。
【００２３】
第９の発明に係る立体計測装置は、第１〜第８のいずれかのの発明の構成に加えて、処理手段に接続され、算出された位置情報をデパレタイジング用ロボットのコントローラに出力するための出力手段をさらに含む。
【００２４】
第９の発明によると、出力手段は、算出された対象物の位置情報をデパレタイジング用ロボットのコントローラに出力する。これにより、デパレタイジング用ロボットのコントローラは、正確な対象物の位置情報に基づいてロボットを制御して、対象物をハンドリングすることができる。
【００２５】
【発明の実施の形態】
以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがってそれらについての詳細な説明は繰返さない。
【００２６】
＜第１の実施の形態＞
図１に、デパレタイズシステムに用いられる、本実施の形態に係る立体計測システムの全体構成図を示す。このデパレタイズシステムは、複数のワーク１１００、１１１０が積載されたパレット１０００から、各ワークをロボットを用いてデパレタイズする。本実施の形態に係る立体計測システムは、パレット１０００上に載置されたワークについての立体計測データを、デパレタイズシステムのロボットに送信する。ロボットは受信した立体計測データに基づいて、ワークをハンドリングして、デパレタイズする。
【００２７】
ロボットからの指示により、パレット１０００の上方からカメラ１００により２次元画像が撮像される。このカメラ１００は、電子シャッターを有する、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）カメラである。このとき、ストロボ２００は、カメラ１００の電子シャッターに同期して発光する。このカメラ１００は、モノクロであってもカラーであってもよい。また、このカメラ１００は、ＮＴＳＣ等の標準方式またはプログレッシブ方式であってもよい。
【００２８】
図１および図２に示すように、カメラ１００は、パレット１０００の中央の鉛直上方に設けられる。カメラ１００で撮像される２次元領域は、パレット１０００全体を十分に撮像できる大きさである。ストロボ２００は、カメラ１００とは異なり、パレット１０００の斜め上方に設けられる。カメラ１００とストロボ２００との距離は、撮像した画像の明度のばらつきができるだけ少なくなるように設定されている。また。ストロボ２００の角度は、カメラ１００の視野に対して約４５度の角度である。これらの位置関係を満足するように、カメラ１００とストロボ２００とを、ロボットのハンド部分に設置される。特に、距離の２乗に明るさが反比例することを利用しているので、常に作業対象最上段に相当する面を撮像する点で、ロボットのハンド部分に取付けることが有利である。なお、本発明は、カメラ１００とストロボ２００とがハンド部分に設置されるものに限定されない。カメラ１００とストロボ２００とは、ハンド部分と別置きであってもよい。また、カメラ１００で撮像される２次元領域が、パレット１０００全体を十分に撮像できない大きさである場合には、複数の領域に分割するようにしてもよい。
【００２９】
カメラ１００は、画像処理コンピュータに接続され、画像処理コンピュータから受信した撮像信号に基づいて、ワーク１１００がない状態であって、ワーク１１００の外面と同じ材質および色のテストワークを、ストロボ２００を発光させた状態およびパレット１０００に載置されたワーク１１００を、ストロボ２００を発光させた状態で、２次元領域を撮像する。カメラ１００により撮像された画像データは、画像処理コンピュータにより画像処理が実行され、ワークの位置情報が作成される。テストワークを撮像した画像データは、シェーディング補正の基準データである。作業対象段の上面を撮像する距離に、テストワークとして鏡面反射の少ない色紙を設置する。このとき、テストワークの表面の色は、白色であっもよいが、ワーク１１００に近い色紙を使用すると、明るさの補正の値にさらに補正することがなくなる。
【００３０】
図３に、画像処理コンピュータの一例であるコンピュータシステムの外観を示す。図３を参照して、このコンピュータシステム３００は、ＦＤ（Ｆｌｅｘｉｂｌｅ Ｄｉｓｋ）駆動装置３０６およびＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）駆動装置３０８を備えたコンピュータ３０２と、モニタ３０４と、キーボード３１０と、マウス３１２とを含む。
【００３１】
図４に、このコンピュータシステム３００の構成をブロック図形式で示す。図４に示すように、コンピュータ３０２は、上記したＦＤ駆動装置３０６およびＣＤ−ＲＯＭ駆動装置３０８に加えて、相互にバスで接続されたＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３２０と、メモリ３２２と、固定ディスク３２４と、ロボットコントローラに接続され、ロボットコントローラと通信するためのロボットコントローラインターフェイス３２６と、ストロボ２００に接続され、ストロボ２００に発光指示を表わす同期信号を送信するためのストロボ同期信号インターフェイス３２８と、カメラ１００に接続され、カメラ１００と通信するためのカメラインターフェイス３３０とを含む。ＦＤ駆動装置３０６にはＦＤ３１６がセットされる。ＣＤ−ＲＯＭ駆動装置３０８にはＣＤ−ＲＯＭ３１８がセットされる。
【００３２】
画像処理する機能は、コンピュータハードウェアとＣＰＵ３２０により実行されるソフトウェアとにより実現される。一般的にこうしたソフトウェアは、ＦＤ３１６、ＣＤ−ＲＯＭ３１８などの記録媒体に格納されて流通し、ＦＤ駆動装置３０６またはＣＤ−ＲＯＭ駆動装置３０８などにより記録媒体から読取られて固定ディスク３２４に一旦格納される。さらに固定ディスク３２４からメモリ３２２に読出されて、ＣＰＵ３２０により実行される。
【００３３】
これらのコンピュータのハードウェア自体は一般的なものである。コンピュータは、ＣＰＵ３２０を含む制御回路、記憶回路、入力回路、出力回路およびＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）を含み、プログラムを実行する環境を備えたものである。本発明は、このようなコンピュータに、画像処理機能を実現させるプログラムであるものを含む。したがって画像処理に関わる本発明の最も本質的な部分は、ＦＤ、ＣＤ−ＲＯＭ、メモリカード、固定ディスクなどの記録媒体に記録されたプログラムおよびこのプログラムが記録された記録媒体であるものを含む。
【００３４】
なお、図３および図４に示したコンピュータ自体の動作は周知であるので、ここではその詳細な説明は繰返さない。
【００３５】
図５を参照して、カメラの視野領域に撮像されたワーク１１２０に対する水平フィレ径と垂直フィレ径について説明する。なお、視野領域に対してＸ軸とＹ軸とを図５に示すように設定する。ワーク１１２０に対して水平フィレ径は、Ｙ軸方向無限遠方点からワーク１１２０に平行な光を照射したときにＸ軸に投影される長さである。ワーク１１２０に対する垂直フィレ径は、Ｘ軸無限遠方点から平行な光を照射した場合にＹ軸に投影される長さである。
【００３６】
図６を参照して、カメラ１００の視野領域に撮像されたワーク１１２０の４つの端点と、水平フィレ径および垂直フィレ径の関係について説明する。図６に示すように、ワーク１１２０は、「第１の点」、「第２の点」、「第３の点」および「第４の点」の４つの点により構成され、ワークの傾き角度はＸ軸に対する傾き（θ）を示す。「第１の点」のＸ座標は水平フィレ径の最小Ｘ座標に、「第１の点」のＹ座標は同一Ｘ座標で最大のＹ座標に、「第２の点」のＸ座標は水平フィレ径の最大Ｘ座標に、「第２の点」のＹ座標は同一Ｘ座標で最小のＹ座標に、「第３の点」のＹ座標は垂直フィレ径の最小Ｙ座標に、「第３の点」のＸ座標は同一Ｙ座標で最小のＸ座標に、「第４の点」のＹ座標は垂直フィレ径の最大Ｙ座標に、「第４の点」のＸ座標は同一Ｙ座標で最大のＸ座標に、それぞれ対応する。
【００３７】
図７を参照して、シェーディング補正値を求めるための基準画像の中央部のプロファイルについて説明する。図７は、たとえば、パレット１０００上にワーク１１００を載置することなく、ワーク１１００と同じ材質同じ色の平板をパレットに載置して、ストロボ装置２００を発光させて撮像した場合のＲＧＢ成分のデータを表わす。横軸に、図５に示すＸ軸方向の座標を示す。波形４００は、赤成分を、波形４０２は緑成分を、波形４０４は青成分を表わす。図７に示すように、どの色成分においても、パレット１０００の中央部付近の明度が高く、周辺に行くに従ってその明度が落ちる。これは、ストロボ２００が点光源であることに起因する。
【００３８】
図８を参照して、基準画像にシェーディング補正をかけた場合の中央部のプロファイルについて説明する。図８に示すように、図７に示す基準画像にシェーディング補正をすると、Ｒ成分、Ｇ成分およびＢ成分ともに、Ｘ軸方向の座標にかかわらずフラットな波形となる。波形４１０は、赤成分を、波形４１２は緑成分を、波形４１４は青成分を示す。このようにして、図７に示す基準画像から算出されたシェーディング補正値を用いて、シェーディング補正をすることにより、図８に示すようなフラットな波形に補正することができる。すなわち、Ｘ軸方向の座標によらず明るさが均一になることを示す。
【００３９】
図９および図１０を参照して、図７および図８を用いて説明したシェーディング補正を、実際の画像データに適用した場合を説明する。図９に赤成分のシェーディング補正前の波形を、図１０に赤成分のシェーディング補正後の波形を示す。図９に示す波形部分４２０、波形部分４２２および波形部分４２４に示されるように、Ｘ軸の中央付近から周辺に離れるに従って、明るさが低下している。それに対して、シェーディング補正を行なうと、図１０に示すように、波形部分４２０は波形部分４３０に、波形部分４２２は波形部分４３２に、波形部分４２４は波形部分４３４に補正され、Ｘ軸方向の座標によらず明るさが均一に補正される。
【００４０】
図１１を参照して、シェーディング補正後の波形と、実際のパレット１０００上のワークの状態との関係について説明する。図１１の上部には、パレット１０００に載置された５つのワーク１１３０を示す。なお、このワーク１１３０は、その一部に黒っぽい文字が印刷がされた印刷部１１３２を含む。また、中央部を示すＸ軸を線分４４０で示す。図１１の下部には、シェーディング補正された赤成分の波形を示す。波形部分４４２は、最も暗いパレット１０００の部分を、波形部分４４４は、上から２段目のワーク１１３０の上面の部分を、波形部分４４６は、最上段のワーク１１３０の明るい部分を、波形部分４４８は最上段のワーク１１３０の暗い印刷部１１３２を、波形部分４５０は最上段のワーク１１３０の明るい部分を、波形部分４５２は、上から２段目のワーク１１３０の明るい部分を、波形部分４５４は最も暗いパレット１０００の部分にそれぞれ対応している。図１１に示すように、波形部分４４４および波形部分４５２は、上から２段目のワーク１１３０の上面部分を、波形部分４４６および波形部分４５０は最上段のワーク１１３０の明るい部分を示している。このように、シェーディング補正された後の画像データを中央部を表わす線分４４０で走査した場合、点光源であるストロボ装置２００の影響を受けず、ストロボ装置２００から同じ距離にある最上段のワーク１１３０は同じ明るさのレベルの波形を有することになる。
【００４１】
図１２を参照して、本実施の形態に係る立体計測システムの画像処理コンピュータ３００のＣＰＵ３２０で実行されるプログラムの制御構造について説明する。
【００４２】
ＣＰＵ３２０は、予め予備処理を行なう。この予備処理において、前述の説明のように、対象物であるワークがない状態において、ストロボ２００を発光させて撮像した画像に基づいて、シェーディング補正値を算出し、算出されたシェーディング補正値を固定ディスク３２４に記憶する。
【００４３】
ステップ（以下、ステップをＳと略す。）１０４にて、ＣＰＵ３２０は、ロボットからの撮像指示があると、カメラ１００の電子シャッターに同期させてストロボを発光させる。このとき、ストロボ同期信号インターフェイス３２８を介して、ストロボ装置２００に、制御信号が送信される。Ｓ１０６にて、ＣＰＵ３２０は、原画像をフレームメモリに記憶する。Ｓ１０８にて、ＣＰＵ３２０は、原画像をシェーディング補正する。このシェーディング補正により、前述したように、明るさの平準化処理が行なわれる。
【００４４】
Ｓ１１０にて、ＣＰＵ３２０は、原画像を二値化処理する。このとき二値化処理に用いられるしきい値は、最上段の対象物の上面が抽出できるように設定される。また、この二値化処理に用いられるしきい値は、予め固定ディスク３２４に記憶されている。Ｓ１１２にて、ＣＰＵ３２０は、明るい閉曲面の領域（方形領域）を抽出する。このとき、ＣＰＵ３２０は、Ｎ個の方形領域を抽出したものと想定する。
【００４５】
Ｓ１１４にて、ＣＰＵ３２０は、変数Ｉを初期化（Ｉ＝１）する。Ｓ１１６にて、ＣＰＵ３２０は、Ｉ番目の閉曲面領域（方形領域）の面積、水平フィレ径および垂直フィレ径を算出する。Ｓ１１８にて、ＣＰＵ３２０は、Ｉ番目の閉曲面領域（方形領域）の面積Ｓ（Ｉ）が許容範囲内にあるか否か、水平フィレ径ＨＦ（Ｉ）が許容範囲内にあるか否かおよび垂直フィレ径ＶＦ（Ｉ）が許容範囲内にあるか否かを判断する。面積、水平フィレ径および垂直フィレ径のいずれもが許容範囲内にあると（Ｓ１１８にてＹＥＳ）、処理はＳ１２４に移される。もしそうでないと（Ｓ１１８にてＮＯ）、処理はＳ１２０へ移される。面積の許容範囲の下限をＳ１、上限をＳ２、フィレ径の許容範囲の下限をＦ１、上限をＦ２とする。
【００４６】
Ｓ１２０にて、ＣＰＵ３２０は、変数Ｉに１を加算する。Ｓ１２２にて、ＣＰＵ３２０は、変数Ｉが抽出された方形領域の数Ｎよりも大きいか否かを判断する。変数ＩがＮよりも大きい場合には（Ｓ１２２にてＹＥＳ）、この処理を終了する。もしそうでないと（Ｓ１２２にてＮＯ）、処理はＳ１１６へ戻され、次の閉曲面領域（方形領域）について処理が行なわれる。
【００４７】
Ｓ１２４にて、ＣＰＵ３２０は、Ｉ番目の閉曲面領域（方形領域）の四隅の４点の座標を算出する。Ｓ１２６にて、ＣＰＵ３２０は、四隅の４点の座標に基づいて、傾き角度および重心座標を算出する。
【００４８】
なお、Ｓ１２６で算出された傾き角度、重心座標などは、ロボットコントローラインターフェイス３２６を介して、画像処理コンピュータ３００からロボットコントローラへ送信される。このようなデータを受信したロボットコントローラは、ロボットに対し最上段のワーク１１００がハンドリングできるように、ロボットに座標を指示する。
【００４９】
以上のような構造およびフローチャートに基づく、本実施の形態に係る立体計測システムの動作について説明する。
【００５０】
まずパレット１０００が所定の位置に到着するまでに、画像処理コンピュータ３００において予備処理が実行される。このとき、シェーディング補正値が算出され固定ディスク３２４に記憶される。
【００５１】
ロボットからの撮像指示があると、ストロボ同期信号インターフェイス３２８を介して、ストロボ装置２００に対して制御信号が送信され、カメラの電子シャッタに同期させてストロボを発光させる（Ｓ１０４）。
【００５２】
カメラ１００により撮像された原画像がフレームメモリに記憶され（Ｓ１０６）、原画像がシェーディング補正される（Ｓ１０８）。このとき、図１３に示すようなワーク１１３０およびワーク１１４０が載置されたパレットを撮像した場合について説明する。図１４に最上段のワーク１１４０の原画像を模式的に表わした図を示す。図１４に示すようにワーク１１４０は、ストロボ装置２００の位置に対応する部分が最も明るく、その位置から離れるに従って暗くなるような画像データとなっている。この図１４で模式的に示した画像データにシェーディング処理を施すと（Ｓ１０８）、図１５に示すようにワーク１１４０の上面の明るさが平準化される。
【００５３】
シェーディング補正された原画像の二値化処理が行なわれ、上段ワークの上面が抽出される（Ｓ１１０）。このときの画像データを図１６に示す。明るい方形領域が抽出され、抽出されたＮ個の方形領域のそれぞれについて、面積、水平フィレ径および垂直フィレ径が算出される（Ｓ１１６）。これらの面積、水平フィレ径および垂直フィレ径が、それぞれ予め定められた許容範囲内にあると、その閉曲面領域（方形領域）が検出対象のワーク１１４０の上面であると判断されて（Ｓ１１８にてＹＥＳ）、４点の座標が算出される（Ｓ１２４）。この時点でワークが検出される。このときの状態を図１８に示す。なお、図１７には、ノイズ除去画像を示す。このノイズ除去画像は、二値化画像（図１６）に対してＳ１１４〜Ｓ１２２の処理を行なうことにより、次段のノイズが除去された図である。その後、ワーク１１４０の四隅の４点の座標に基づいて、傾き角度および重心座標が算出される（Ｓ１２６）。また、図１９〜図２１に、最上段に２つのワークがある場合の画像を示す。図１９に二値化後の画像データを、図２０にノイズ除去後の画像データを示す。さらに、図２１に、ワークを検出した時の画像データを示す。
【００５４】
その後、算出された傾き角度、中心座標については、ロボットコントローラインターフェイス３２６を介して、ロボットコントローラに送信される。
【００５５】
以上のようにして、本実施の形態に係る立体計測システムによると、１台のカメラと１台のストロボ装置とを用いて、ストロボ装置から発光された光は、ストロボ装置からの距離の二乗に逆比例する明るさであるという性質に基づいて、検出したい距離にあるワークを、画像データを二値化処理することにより抽出することができる。さらに、この二値化処理の前には、明るさの不均一は、シェーディング補正により補正されているため、二値化処理により検出したいワークの上面の全体を抽出することができる。その結果、ストロボを用いるため外乱光による影響に強く、設備コストを抑制して、正確に対象物の立体形状を計測できる。
【００５６】
＜第２の実施の形態＞
以下、本発明の第２の実施の形態に係る立体計測システムについて説明する。なお、以下に示す第２の実施の形態に係る立体計測システムのハードウェア構成は、前述の第１の実施の形態に係る立体計測システムのハードウェア構成と同じである。したがって、それらについての詳細な説明はここでは繰返さない。
【００５７】
本実施の形態に係る立体計測システムは、前述の第１の実施の形態に係る立体計測システムとは検出対象であるワークの抽出方法が異なる。本実施の形態に係る立体計測システムにおいては、ストロボ装置２００により斜め上方から発光された光により発生するワーク１１００の上面の２辺の陰を用いることにより、ワークの位置座標を作成する。
【００５８】
本実施の形態に係る立体計測システムは、ワークの概略位置が判明している場合に実施可能であって、陰はシャープな直線になるため、第１の実施の形態の立体計測システムに比べて、より高い位置精度が得られる場合が多い。流通過程でワークの概略位置が既知の場合、本実施の形態に係る立体計測システムが使用できる。この場合、第１の実施の形態に係る立体計測システムにおける精度をより向上させることができる。
【００５９】
図２２に、最上段にワーク１１００が１つしかない場合のカメラ１００の視野領域における陰の状態を示す。図２２に示すように、ワーク１１００の陰は、「第１の点」から「第２の点」に至る線分と、「第２の点」から「第３の点」に至る線分の２つの線分から構成される。ロボットから指示されたワークの概略重心からＹ軸に向かって（Ｘ軸と平行に）引いた線分と陰を表わす線分との交点を「第０の点」とする。すなわち、図２２に示すように、「第０の点」は、「第１の点」と「第２の点」とから構成される線分上にある。また、視野領域よりも狭く、二辺の陰の線分を含む有効領域が設定される。この有効領域は、視野領域の中心を、その中心として、ワーク１１００のサイズより３０％程度大きい領域が設定される。なお、このように設定される前提としては、視野領域の中央近傍に、ワーク１１００が来るようなカメラ１００とパレット１１００との位置関係が設定される。
【００６０】
図２３に、最上段において、隣接するワークとの隙間が陰になる場合の状態を示す。ワーク１１００の陰である「第１の点」と「第２の点」とを結ぶ線分および「第２の点」と「第３の点」とを結ぶ線分の他に、隣接するワークとの隙間の陰が撮像されている。
【００６１】
図２４を参照して、本実施の形態に係る立体計測システムの画像処理コンピュータ３００のＣＰＵ３２０で実行されるプログラムの制御構造について説明する。なお、図２４に示すフローチャートの中で、前述の図１２に示したフローチャートと同じ処理については同じステップ番号を付してある。それらについての処理も同じである。したがって、それらについての詳細な説明はここでは繰返さない。
【００６２】
Ｓ２００にて、ＣＰＵ３２０は、原画像を二値化処理し、最上段の対象物であるワーク１１００の上面の二辺の陰を抽出する。Ｓ２０２にて、ＣＰＵ３２０は、有効領域を設定する。この有効領域は、前述の図２２および図２３に示した領域である。Ｓ２０４にて、ＣＰＵ３２０は、白黒反転して、陰を白色（輝度２５５）に設定する。なお、このカメラ１００の解像度は８ビットであると想定する。
【００６３】
Ｓ１１９にて、Ｉ番目の閉曲面領域（方形領域）の面積Ｓ（Ｉ）がしきい値Ｓよりも大きいか否か、水平フィレ径ＨＦ（Ｉ）がしきい値ＨＦよりも大きいか否か、および垂直フィレ径ＶＦ（Ｉ）がしきい値ＶＦよりも大きいか否かを判断する。面積、水平フィレ径および垂直フィレ径のいずれもがしきい値よりも大きいと（Ｓ１１９にてＹＥＳ）、処理はＳ２１０に移される。もしそうでないと（Ｓ１１９にてＮＯ）、処理はＳ１２０へ移される。
【００６４】
Ｓ２１０にて、ＣＰＵ３２０は、白黒反転して、陰を黒色（輝度０）に設定する。Ｓ３００にて、ＣＰＵ３２０は、端点算出処理を行なう。このＳ３００における端点算出処理は、図２５を用いて詳述する。
【００６５】
図２５を参照して、端点算出処理について説明する。
Ｓ３０４にて、ＣＰＵ３２０は、ロボットから指示されたワークの概略重心からＸ軸に平行に左側の陰を探索して、陰との交点を「第０の点」とする。Ｓ４００にて、ＣＰＵ３２０は、「第０の点」に基づく、下側の端点である「第２の点」の探索処理を行なう。このＳ４００における処理の詳細については後述する。
【００６６】
Ｓ５００にて、ＣＰＵ３２０は、「第０の点」に基づく、上側の端点である「第１の点」の探索処理を行なう。このＳ５００の処理の詳細については後述する。
【００６７】
Ｓ６００にて、ＣＰＵ３２０は、「第２の点」に基づく、「第１の点」の対角である「第３の点」の探索処理を行なう。このＳ６００における処理の詳細については後述する。
【００６８】
Ｓ３０６にて、ＣＰＵ３２０は、「第１の点」、「第２の点」および「第３の点」に基づいて、傾き角度を算出する。Ｓ３０８にて、ＣＰＵ３２０は、対象物であるワーク１１００の仕様から、残りの端点の座標を算出して、重心座標を算出する。
【００６９】
図２６を参照して、Ｓ４００における探索処理の詳細について説明する。
Ｓ４０２にて、ＣＰＵ３２０は、「第０の点」での陰の傾きＫを算出する。
【００７０】
Ｓ４０４にて、ＣＰＵ３２０は、変数Ｊを初期化（Ｊ＝１）する。Ｓ４０６にて、ＣＰＵ３２０は、「第０の点」のＪ行下のピクセルを左から右にスキャンして、最初に見つかった輝度が０の点を、Ｊ行下の陰の点として算出する。Ｓ４０８にて、ＣＰＵ３２０は、Ｊ行下の陰の点の傾きを算出する。
【００７１】
Ｓ４１０にて、ＣＰＵ３２０は、算出した傾きが（Ｋ−α）と（Ｋ＋α）の間にあるか否かを判断する。なお、αは、予め定められた定数である。算出した傾きが、（Ｋ−α）と（Ｋ＋α）の間にあると（Ｓ４２０にてＹＥＳ）、処理はＳ４１２へ移される。もしそうでないと（Ｓ４１０にてＮＯ）、処理はＳ４１４へ移される。
【００７２】
Ｓ４１４にて、ＣＰＵ３２０は、変数Ｊに１を加算し、処理をＳ４０６へ戻す。
【００７３】
Ｓ４１４にて、ＣＰＵ３２０は、「第０の点」から（Ｊ−１）行下の点を、下側の端点である「第２の点」とする。
【００７４】
図２７を参照して、Ｓ５００の探索処理について説明する。
Ｓ５０２にて、ＣＰＵ３２０は、「第０の点」と「第２の点」との陰の傾き径を算出する。
【００７５】
Ｓ５０４にて、ＣＰＵ３２０は、変数Ｊを初期化（Ｊ＝１）する。
Ｓ５０６にて、ＣＰＵ３２０は、「第０の点」のＪ行上のピクセルを右から左にスキャンして、最初に見つかった輝度が０の点を、Ｊ行上の陰の点として算出する。
【００７６】
Ｓ５０８にて、ＣＰＵ３２０は、Ｊ行上の陰の点が検出できたか否かを判断する。Ｊ行上の陰の点が算出できると（Ｓ５０８にてＹＥＳ）、処理はＳ５１０へ移される。もしそうでないと（Ｓ５０８にてＮＯ）、処理はＳ５１６へ移される。
【００７７】
Ｓ５１０にて、ＣＰＵ３２０は、Ｊ行上の陰の点の傾きを算出する。Ｓ５１２にて、ＣＰＵ３２０は、算出した傾きが、（Ｋ−α）と（Ｋ＋α）の間にあるか否かを判断する。算出した傾きが、（Ｋ−α）と（Ｋ＋α）の間にある場合には（Ｓ５１２にてＹＥＳ）、処理はＳ５１４へ移される。もしそうでないと（Ｓ５１２にてＮＯ）、処理はＳ５１６へ移される。
【００７８】
Ｓ５１４にて、ＣＰＵ３２０は、変数Ｊに１を加算し、処理をＳ５０６へ戻す。
【００７９】
Ｓ５１６にて、ＣＰＵ３２０は、「第０の点」から（Ｊ−１）行上の点を、上側の端点である「第１の点」とする。
【００８０】
図２８を参照して、Ｓ６００の探索処理について説明する。
Ｓ６０２にて、ＣＰＵ３２０は、「第２の点」での陰の傾きＫを算出する。
【００８１】
Ｓ６０４にて、ＣＰＵ３２０は、変数Ｊを初期化（Ｊ＝１）する。Ｓ６０６にて、ＣＰＵ３２０は、「第２の点」のＪ行右のピクセルを上から下にスキャンして、最初に見つかった輝度が０の点を、Ｊ列右の陰の点として算出する。
【００８２】
Ｓ６０８にて、ＣＰＵ３２０は、Ｊ列右の陰の点が算出できたか否かを判断する。Ｊ列右の陰の点が算出できると（Ｓ６０８にてＹＥＳ）、処理はＳ６１０へ移される。もしそうでないと（Ｓ６０８にてＮＯ）、処理はＳ６１６へ移される。
【００８３】
Ｓ６１０にて、ＣＰＵ３２０は、Ｊ列右の陰の点の傾きを算出する。Ｓ６１２にて、ＣＰＵ３２０は、算出した傾きが、（Ｋ−α）と（Ｋ＋α）の間にあるか否かを判断する。算出した傾きが（Ｋ−α）と（Ｋ＋α）間にある場合には（Ｓ６１２にてＹＥＳ）、処理はＳ６１４へ移される。もしそうでないと（Ｓ６１２にてＮＯ）、処理はＳ６１６へ移される。
【００８４】
Ｓ６１４にて、ＣＰＵ３２０は、変数Ｊに１を加算し、処理をＳ６０６へ戻す。
【００８５】
Ｓ６１６にて、ＣＰＵ３２０は、「第２の点」から（Ｊ−１）列右の点を、「第１の点」の対角の端点である「第３の点」とする。
【００８６】
以上のような構造およびフローチャートに基づく本実施の形態に係る立体計測システムの動作について説明する。なお、以下に示す動作の説明の中で、前述の第１の実施の形態に係る立体計測システムの動作と同じ動作についての詳細な説明は、ここでは繰返さない。
【００８７】
シェーディング補正値を算出する予備処理が行われた後（Ｓ１００）、ストロボ発光に同期させて、カメラ１００の電子シャッターがオンされて、ワークが撮像される（Ｓ１０４）。原画像を表わすデータがフレームメモリに記憶され（Ｓ１０６）、原画像がシェーディング補正される（Ｓ１０８）。原画像が二値化処理され、最上段の対象物であるワークの陰が抽出される（Ｓ２００）。有効領域が設定された後（Ｓ２０２）、白黒反転して陰が白色になるように設定される（Ｓ２０４）。明るい閉曲面領域が抽出されて、それぞれの閉曲面領域（方形領域）における面積、水平フィレ径および垂直フィレ径が算出され、面積、水平フィレ径および垂直フィレ径のそれぞれが予め定められたしきい値よりも大きいと（Ｓ１１９にてＹＥＳ）、端点算出処理が実行される（Ｓ３００）。なお、Ｓ１１４からＳ１２２までの処理が行われることにより最上段のワークの表面の模様等が除去される。
【００８８】
端点算出処理においては、ロボットから指示されたワークの概略重心から陰が探索され、「第０の点」が算出される（Ｓ３０４）。「第０の点に基づく、下側の端点である「第２の点」が探索される（Ｓ４００）。「第０の点に基づく、上側の端点である「第１の点」の探索が行なわれる（Ｓ５００）。「第２の点」に基づく、「第１の点」の対角である「第３の点」の探索処理が行なわれる（Ｓ６００）。これにより、第１の点、第２の点、第３の点の探索処理が行なわれ、ワーク１１００の端点４つのうちの３点が算出される。「第１の点」、「第２の点」および「第３の点」に基づいて、傾き角度が算出され（Ｓ３０６）、対象物の使用から、残りの端点（「第４の点」）の座標を算出して、重心座標が算出される（Ｓ３０８）。
【００８９】
図２９〜図３６に、本実施の形態に係る立体計測システムの画像データの例を示す。図２９および図３３に二値化後の画像データを、図３０および図３４にノイズ除去後の画像データを示す。さらに、図３１および図３５に端点を検出した際の画像データを、図３２および図３６にワークを検出したときの画像データを示す。図３０および図３４に示すようにワーク１１００の左側と下側に陰が撮像され、この陰に基づいて端点が検出される。
【００９０】
以上のようにして、本実施の形態に係る立体計測システムによると、ワークの上面の二辺の陰の部分を表わす線分の長さなどに基づいて対象物であるワークの位置情報が作成される。線分の情報は、領域の情報よりもより正確に対象物であるワークの外形を表わしているので、より正確に対象物であるワークの位置情報を作成することができる。
【００９１】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る立体計測システムの外観図である。
【図２】図１の立体計測システムを上方から見た平面図である。
【図３】本発明の第１の実施に形態に係る画像処理コンピュータの外観図である。
【図４】図３に示すコンピュータシステムの制御ブロック図である。
【図５】視野領域におけるフィレ径を説明するための図である。
【図６】視野領域におけるワークの端点を説明するための図である。
【図７】シェーディング補正値を求めるための基準画像の中央部のプロファイルである。
【図８】基準画像にシェーディング補正を実行した場合の中央部のプロファイルである。
【図９】実画像におけるシェーディング補正前の状態を示す図である。
【図１０】実画像におけるシェーディング補正後の状態を示す図である。
【図１１】実画像とシェーディング補正後の画像データとの関係を示す図である。
【図１２】本発明の第１の実施に形態に係る画像処理コンピュータで実行されるプログラムの制御構造を示すフローチャートである。
【図１３】シェーディング補正の状態を説明するための図（その１）である。
【図１４】シェーディング補正の状態を説明するための図（その２）である。
【図１５】シェーディング補正の状態を説明するための図（その３）である。
【図１６】本発明の第１の実施に形態に係る画像処理コンピュータでの処理の状態を示す図（その１）である。
【図１７】本発明の第１の実施に形態に係る画像処理コンピュータでの処理の状態を示す図（その２）である。
【図１８】本発明の第１の実施に形態に係る画像処理コンピュータでの処理の状態を示す図（その３）である。
【図１９】本発明の第１の実施に形態に係る画像処理コンピュータでの処理の状態を示す図（その４）である。
【図２０】本発明の第１の実施に形態に係る画像処理コンピュータでの処理の状態を示す図（その５）である。
【図２１】本発明の第１の実施に形態に係る画像処理コンピュータでの処理の状態を示す図（その６）である。
【図２２】本発明の第２の実施の形態に係る視野領域におけるワークの陰を説明するための図（その１）である。
【図２３】本発明の第２の実施の形態に係る視野領域におけるワークの陰を説明するための図（その２）である。
【図２４】本発明の第２の実施に形態に係る画像処理コンピュータで実行されるプログラムの制御構造を示すフローチャートである。
【図２５】図２１に示す端点算出処理の制御構造を示すフローチャートである。
【図２６】図２５に示す「第０の点」に基づく「第２の点」の探索処理の制御構造を示すフローチャートである。
【図２７】図２５に示す「第０の点」に基づく「第１の点」の探索処理の制御構造を示すフローチャートである。
【図２８】図２５に示す「第２の点」に基づく「第３の点」の探索処理の制御構造を示すフローチャートである。
【図２９】本発明の第２の実施に形態に係る画像処理コンピュータでの処理の状態を示す図（その１）である。
【図３０】本発明の第２の実施に形態に係る画像処理コンピュータでの処理の状態を示す図（その２）である。
【図３１】本発明の第２の実施に形態に係る画像処理コンピュータでの処理の状態を示す図（その３）である。
【図３２】本発明の第２の実施に形態に係る画像処理コンピュータでの処理の状態を示す図（その４）である。
【図３３】本発明の第２の実施に形態に係る画像処理コンピュータでの処理の状態を示す図（その５）である。
【図３４】本発明の第２の実施に形態に係る画像処理コンピュータでの処理の状態を示す図（その６）である。
【図３５】本発明の第２の実施に形態に係る画像処理コンピュータでの処理の状態を示す図（その７）である。
【図３６】本発明の第２の実施に形態に係る画像処理コンピュータでの処理の状態を示す図（その８）である。
【符号の説明】
１００ カメラ、２００ ストロボ、３００ コンピュータシステム、３０２コンピュータ、３０４ モニタ、３０６ ＦＤ駆動装置、３０８ ＣＤ−ＲＯＭ駆動装置、３１０ キーボード、３１２ マウス、３２６ ロボットコントローラインターフェイス、３２８ ストロボ同期信号インターフェイス、３３０ カメラインターフェイス、１０００ パレット、１１００、１１１０、１１２０、１１３０、１１４０ ワーク、１１３２ 暗い印刷部。
【０００１】
【発明の属する技術分野】
本発明は、立体を計測する技術に関し、特に、パレットに積み上げられたダンボール箱などのワークの位置を立体的に認識する技術に関する。
【０００２】
【従来の技術】
最近、産業用ロボットの用途の１つとして、パレットの上にワークである段ボール箱を予め定められた順序に従って積み上げるパレタイズ作業がある。特にワークが重い場合に、大きな省力効果を発現する。このようにしてパレタイズされたパレットからワークを取出すデパレタイズ作業にも、産業用ロボットが使用されている。パレットに積み上げられたワークは、トラックなどによる搬送途中においてワークがずれることがある。そのため、デパレタイズ時には、ワークの高さ、位置を正確に把握しないと、デパレタイズロボットが正確にワークをハンドリングできない。
【０００３】
特開平７−２９１４５０号公報は、パレタイズされているワークの中から最上段にあるワークの選出を迅速に実行するパレタイズシステムを開示する。この公報に開示されたパレタイジングシステムは、任意に積み上げられたワークを斜め上方から照明する第１の照明装置と、ワークの上方から照明する第２の照明装置と、第１および第２の照明装置を操作して画像処理に適した照明を実現する照明制御装置と、第１のステレオカメラ装置と、第２のステレオカメラ装置と、第１および第２のステレオカメラ装置を制御するカメラ制御装置と、ステレオカメラにより撮像された画像データを処理して最上位に位置するワークを選択して、マッチング処理を実行して、ワークの種類、姿勢および把持位置を算出して、ロボットコントローラに出力する画像処理装置とを含む。
【０００４】
この公報に開示されたパレタイジングシステムによると、第１の照明装置および第２の照明装置を照明制御装置により操作して、第１の照明装置はパレットに積み上げられている上部のワークを照明して、第２の照明装置はパレットに積み上げられている下部のワークを照明する。第１のステレオカメラ装置および第２のステレオカメラ装置をカメラ制御装置により操作して、照明されているワークを撮像する。このようにして得られた画像を画像処理装置に入力して画像解析を行ない、最上部に位置するワークを選出する。その後、マッチング処理を行ない選出されたワークの種類、姿勢および把持位置を決定する。このワークの種類、姿勢および把持位置は、ロボットコントローラに入力されてロボットハンドの操作量が算出される。ロボットコントローラは、この操作量によりロボットハンドを操作してワークをデパレタイズする。これにより、第１の照明装置および第２の照明装置を操作して画像処理がしやすい状態にワークを照明しているので、最上位に位置するワークを選出することが簡易にできる。その結果、デパレタイズ作業における作業能率を著しく向上させることができる。
【０００５】
【発明が解決しようとする課題】
しかしながら、上述の公報に開示されたシステムでは、デパレタイズの対象である、ワークを撮像する照明装置が２台、ワークを撮像するカメラが２台必要になる。そのため、システムの装備が大掛かりになるとともにシステムが高価格になる。さらに、２台の照明装置によっては、ワークの周囲からの外乱光によりワークを均一に照明できないなどにより、画像処理装置におけるデータ処理の結果に誤差が生じるおそれがある。
【０００６】
本発明は、上述の課題を解決するためになされたものであって、外乱光による影響に強く、設備コストを抑制して、正確に対象物の立体形状を計測できる立体計測装置を提供することである。
【０００７】
【課題を解決するための手段】
第１の発明に係る立体計測装置は、対象物を撮像するための撮像手段と、対象物を照明するストロボ照明装置と、ストロボ照明装置の発光に同期させて撮像手段により対象物を撮像するように、撮像手段とストロボ照明装置とを制御するための制御手段と、撮像手段に接続され、撮像された対象物を表わす画像データに対して、画像処理を行なうための処理手段とを含む。処理手段は、画像データに対して、色の強度の不均一を補正するための補正手段と、補正された画像データに対して、撮像手段から対象物までの距離に応じた色の強度の違いに基づいて、対象物の特徴量を算出するための算出手段と、算出された特徴量に基づいて、対象物の位置情報を作成するための作成手段とを含む。
【０００８】
第１の発明によると、制御手段は、ストロボ装置の発光に同期させて、撮像手段の１つであるカメラの電子シャッターをオンにして対象物を撮像する。補正手段は、対象物が撮像された画像データにおける色の強度の１つである明度の不均一をシェーディング補正などにより補正する。この補正により、ストロボ装置から同じ距離にある対象物は同じ明度を有することになる。算出手段は、たとえば、ストロボ装置から対象物までの距離に応じた明度のしきい値を用いて、この補正された画像データを二値化処理して、検出したい高さの対象物のみを抽出して、抽出された対象物の面積などを表わす特徴量を算出する。作成手段は、対象物の特徴量に基づいて、対象物の端点の座標情報などを作成する。これにより、ストロボ装置から発光された光は、ストロボ装置からの距離の二乗に逆比例する明るさであるという性質に基づいて、検出したい距離にある対象物を、画像データを二値化処理することにより抽出することができる。この二値化処理の前に、明るさの不均一は補正されているので、二値化処理により検出したい対象物の全体を抽出することができる。その結果、外乱光による影響に強く、設備コストを抑制して、正確に対象物の立体形状を計測できる立体計測装置を提供することができる。なお、色の強度とは、ＲＧＢの個別の強度、それらの強度から換算できる明度、色相、彩度等の変換量の強度、ＲＧＢの個別の強度を適宜組み合わせた強度、特定の色彩の強度などを含む。
【０００９】
第２の発明に係る立体計測装置は、第１の発明の構成に加えて、算出手段は、補正された画像データに対して、撮像手段から対象物までの距離に応じた色の強度の違いに対応するしきい値により画像データを二値化処理して、色の強度が異なる領域を抽出して、抽出された領域に基づいて、対象物の特徴量を算出するための手段を含む。
【００１０】
第２の発明によると、算出手段は、ストロボ装置から対象物までの距離に応じた色の強度の１つである明度のしきい値を用いて、この補正された画像データを二値化処理して、検出したい高さの対象物のみを抽出して、抽出された対象物の面積などを表わす特徴量を算出することができる。二値化処理により検出したい対象物の全体を抽出するため、正確に対象物の立体形状を計測できる。
【００１１】
第３の発明に係る立体計測装置は、第２の発明の構成に加えて、算出手段は、対象物の特徴量として、抽出された領域の面積および領域のフィレ径を算出するための手段を含む。
【００１２】
第３の発明によると、検出したい対象物を表わす領域の面積および領域のフィレ径が算出される。この面積やフィレ径に基づいて、必要な位置情報を作成することができる。
【００１３】
第４の発明に係る立体計測装置は、第３の発明の構成に加えて、作成手段は、面積およびフィレ径に基づいて、対象物の座標情報および傾き情報を作成するための手段を含む。
【００１４】
第４の発明によると、面積およびフィレ径に基づいて、対象物の座標情報および傾き情報を作成できる。
【００１５】
第５の発明に係る立体計測装置は、第１の発明の構成に加えて、対象物は直方体の形状を有し、ストロボ照明装置は、撮像手段の近傍の位置であって、直方体の上面の一辺に対して斜め方向の位置から対象物を照明するものである。
【００１６】
第５の発明によると、直方体の斜め上方の位置からストロボ装置が発光する。このとき、直方体の周囲には斜め上方からのストロボ装置の光により少なくとも２辺の陰ができる。この陰は、線分として撮像される。この線分を表わす画像情報に基づいて、より正確な対象物の位置情報を作成することができる。
【００１７】
第６の発明に係る立体計測装置は、第５の発明の構成に加えて、算出手段は、補正された画像データに対して、撮像手段から対象物までの距離に応じた色の強度の違いに対応するしきい値により画像データを二値化処理して、色の強度が異なる領域を抽出して、抽出された領域の中から対象物である直方体の上面の二辺の陰を選択して、選択された陰に基づいて、対象物の特徴量を算出するための手段を含む。
【００１８】
第６の発明によると、色の強度の１つである明度の小さい、直方体の上面の二辺の陰の部分を選択して、陰の部分を表わす線分の長さに基づいて対象物の位置情報を作成する。線分の情報は、領域の情報よりもより正確に対象物の外形を表わしているので、より正確に対象物の位置情報を作成できる。
【００１９】
第７の発明に係る立体計測装置は、第６の発明の構成に加えて、算出手段は、対象物の特徴量として、選択された二辺の陰の長さおよび傾きを算出するための手段を含む。
【００２０】
第７の発明によると、色の強度の１つである明度の小さい、直方体の上面の二辺の陰の部分を選択して、二辺の陰を表わす線分の長さおよび傾きに基づいて対象物の位置情報をより正確に作成できる。
【００２１】
第８の発明に係る立体計測装置は、第７の発明の構成に加えて、作成手段は、算出された二辺の陰の長さおよび傾きに基づいて、対象物の座標情報および傾き情報を作成するための手段を含む。
【００２２】
第８の発明によると、二辺の陰の長さおよび傾きに基づいて、対象物の座標情報および傾き情報をより正確に作成できる。
【００２３】
第９の発明に係る立体計測装置は、第１〜第８のいずれかのの発明の構成に加えて、処理手段に接続され、算出された位置情報をデパレタイジング用ロボットのコントローラに出力するための出力手段をさらに含む。
【００２４】
第９の発明によると、出力手段は、算出された対象物の位置情報をデパレタイジング用ロボットのコントローラに出力する。これにより、デパレタイジング用ロボットのコントローラは、正確な対象物の位置情報に基づいてロボットを制御して、対象物をハンドリングすることができる。
【００２５】
【発明の実施の形態】
以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがってそれらについての詳細な説明は繰返さない。
【００２６】
＜第１の実施の形態＞
図１に、デパレタイズシステムに用いられる、本実施の形態に係る立体計測システムの全体構成図を示す。このデパレタイズシステムは、複数のワーク１１００、１１１０が積載されたパレット１０００から、各ワークをロボットを用いてデパレタイズする。本実施の形態に係る立体計測システムは、パレット１０００上に載置されたワークについての立体計測データを、デパレタイズシステムのロボットに送信する。ロボットは受信した立体計測データに基づいて、ワークをハンドリングして、デパレタイズする。
【００２７】
ロボットからの指示により、パレット１０００の上方からカメラ１００により２次元画像が撮像される。このカメラ１００は、電子シャッターを有する、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）カメラである。このとき、ストロボ２００は、カメラ１００の電子シャッターに同期して発光する。このカメラ１００は、モノクロであってもカラーであってもよい。また、このカメラ１００は、ＮＴＳＣ等の標準方式またはプログレッシブ方式であってもよい。
【００２８】
図１および図２に示すように、カメラ１００は、パレット１０００の中央の鉛直上方に設けられる。カメラ１００で撮像される２次元領域は、パレット１０００全体を十分に撮像できる大きさである。ストロボ２００は、カメラ１００とは異なり、パレット１０００の斜め上方に設けられる。カメラ１００とストロボ２００との距離は、撮像した画像の明度のばらつきができるだけ少なくなるように設定されている。また。ストロボ２００の角度は、カメラ１００の視野に対して約４５度の角度である。これらの位置関係を満足するように、カメラ１００とストロボ２００とを、ロボットのハンド部分に設置される。特に、距離の２乗に明るさが反比例することを利用しているので、常に作業対象最上段に相当する面を撮像する点で、ロボットのハンド部分に取付けることが有利である。なお、本発明は、カメラ１００とストロボ２００とがハンド部分に設置されるものに限定されない。カメラ１００とストロボ２００とは、ハンド部分と別置きであってもよい。また、カメラ１００で撮像される２次元領域が、パレット１０００全体を十分に撮像できない大きさである場合には、複数の領域に分割するようにしてもよい。
【００２９】
カメラ１００は、画像処理コンピュータに接続され、画像処理コンピュータから受信した撮像信号に基づいて、ワーク１１００がない状態であって、ワーク１１００の外面と同じ材質および色のテストワークを、ストロボ２００を発光させた状態およびパレット１０００に載置されたワーク１１００を、ストロボ２００を発光させた状態で、２次元領域を撮像する。カメラ１００により撮像された画像データは、画像処理コンピュータにより画像処理が実行され、ワークの位置情報が作成される。テストワークを撮像した画像データは、シェーディング補正の基準データである。作業対象段の上面を撮像する距離に、テストワークとして鏡面反射の少ない色紙を設置する。このとき、テストワークの表面の色は、白色であっもよいが、ワーク１１００に近い色紙を使用すると、明るさの補正の値にさらに補正することがなくなる。
【００３０】
図３に、画像処理コンピュータの一例であるコンピュータシステムの外観を示す。図３を参照して、このコンピュータシステム３００は、ＦＤ（Ｆｌｅｘｉｂｌｅ Ｄｉｓｋ）駆動装置３０６およびＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）駆動装置３０８を備えたコンピュータ３０２と、モニタ３０４と、キーボード３１０と、マウス３１２とを含む。
【００３１】
図４に、このコンピュータシステム３００の構成をブロック図形式で示す。図４に示すように、コンピュータ３０２は、上記したＦＤ駆動装置３０６およびＣＤ−ＲＯＭ駆動装置３０８に加えて、相互にバスで接続されたＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３２０と、メモリ３２２と、固定ディスク３２４と、ロボットコントローラに接続され、ロボットコントローラと通信するためのロボットコントローラインターフェイス３２６と、ストロボ２００に接続され、ストロボ２００に発光指示を表わす同期信号を送信するためのストロボ同期信号インターフェイス３２８と、カメラ１００に接続され、カメラ１００と通信するためのカメラインターフェイス３３０とを含む。ＦＤ駆動装置３０６にはＦＤ３１６がセットされる。ＣＤ−ＲＯＭ駆動装置３０８にはＣＤ−ＲＯＭ３１８がセットされる。
【００３２】
画像処理する機能は、コンピュータハードウェアとＣＰＵ３２０により実行されるソフトウェアとにより実現される。一般的にこうしたソフトウェアは、ＦＤ３１６、ＣＤ−ＲＯＭ３１８などの記録媒体に格納されて流通し、ＦＤ駆動装置３０６またはＣＤ−ＲＯＭ駆動装置３０８などにより記録媒体から読取られて固定ディスク３２４に一旦格納される。さらに固定ディスク３２４からメモリ３２２に読出されて、ＣＰＵ３２０により実行される。
【００３３】
これらのコンピュータのハードウェア自体は一般的なものである。コンピュータは、ＣＰＵ３２０を含む制御回路、記憶回路、入力回路、出力回路およびＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）を含み、プログラムを実行する環境を備えたものである。本発明は、このようなコンピュータに、画像処理機能を実現させるプログラムであるものを含む。したがって画像処理に関わる本発明の最も本質的な部分は、ＦＤ、ＣＤ−ＲＯＭ、メモリカード、固定ディスクなどの記録媒体に記録されたプログラムおよびこのプログラムが記録された記録媒体であるものを含む。
【００３４】
なお、図３および図４に示したコンピュータ自体の動作は周知であるので、ここではその詳細な説明は繰返さない。
【００３５】
図５を参照して、カメラの視野領域に撮像されたワーク１１２０に対する水平フィレ径と垂直フィレ径について説明する。なお、視野領域に対してＸ軸とＹ軸とを図５に示すように設定する。ワーク１１２０に対して水平フィレ径は、Ｙ軸方向無限遠方点からワーク１１２０に平行な光を照射したときにＸ軸に投影される長さである。ワーク１１２０に対する垂直フィレ径は、Ｘ軸無限遠方点から平行な光を照射した場合にＹ軸に投影される長さである。
【００３６】
図６を参照して、カメラ１００の視野領域に撮像されたワーク１１２０の４つの端点と、水平フィレ径および垂直フィレ径の関係について説明する。図６に示すように、ワーク１１２０は、「第１の点」、「第２の点」、「第３の点」および「第４の点」の４つの点により構成され、ワークの傾き角度はＸ軸に対する傾き（θ）を示す。「第１の点」のＸ座標は水平フィレ径の最小Ｘ座標に、「第１の点」のＹ座標は同一Ｘ座標で最大のＹ座標に、「第２の点」のＸ座標は水平フィレ径の最大Ｘ座標に、「第２の点」のＹ座標は同一Ｘ座標で最小のＹ座標に、「第３の点」のＹ座標は垂直フィレ径の最小Ｙ座標に、「第３の点」のＸ座標は同一Ｙ座標で最小のＸ座標に、「第４の点」のＹ座標は垂直フィレ径の最大Ｙ座標に、「第４の点」のＸ座標は同一Ｙ座標で最大のＸ座標に、それぞれ対応する。
【００３７】
図７を参照して、シェーディング補正値を求めるための基準画像の中央部のプロファイルについて説明する。図７は、たとえば、パレット１０００上にワーク１１００を載置することなく、ワーク１１００と同じ材質同じ色の平板をパレットに載置して、ストロボ装置２００を発光させて撮像した場合のＲＧＢ成分のデータを表わす。横軸に、図５に示すＸ軸方向の座標を示す。波形４００は、赤成分を、波形４０２は緑成分を、波形４０４は青成分を表わす。図７に示すように、どの色成分においても、パレット１０００の中央部付近の明度が高く、周辺に行くに従ってその明度が落ちる。これは、ストロボ２００が点光源であることに起因する。
【００３８】
図８を参照して、基準画像にシェーディング補正をかけた場合の中央部のプロファイルについて説明する。図８に示すように、図７に示す基準画像にシェーディング補正をすると、Ｒ成分、Ｇ成分およびＢ成分ともに、Ｘ軸方向の座標にかかわらずフラットな波形となる。波形４１０は、赤成分を、波形４１２は緑成分を、波形４１４は青成分を示す。このようにして、図７に示す基準画像から算出されたシェーディング補正値を用いて、シェーディング補正をすることにより、図８に示すようなフラットな波形に補正することができる。すなわち、Ｘ軸方向の座標によらず明るさが均一になることを示す。
【００３９】
図９および図１０を参照して、図７および図８を用いて説明したシェーディング補正を、実際の画像データに適用した場合を説明する。図９に赤成分のシェーディング補正前の波形を、図１０に赤成分のシェーディング補正後の波形を示す。図９に示す波形部分４２０、波形部分４２２および波形部分４２４に示されるように、Ｘ軸の中央付近から周辺に離れるに従って、明るさが低下している。それに対して、シェーディング補正を行なうと、図１０に示すように、波形部分４２０は波形部分４３０に、波形部分４２２は波形部分４３２に、波形部分４２４は波形部分４３４に補正され、Ｘ軸方向の座標によらず明るさが均一に補正される。
【００４０】
図１１を参照して、シェーディング補正後の波形と、実際のパレット１０００上のワークの状態との関係について説明する。図１１の上部には、パレット１０００に載置された５つのワーク１１３０を示す。なお、このワーク１１３０は、その一部に黒っぽい文字が印刷がされた印刷部１１３２を含む。また、中央部を示すＸ軸を線分４４０で示す。図１１の下部には、シェーディング補正された赤成分の波形を示す。波形部分４４２は、最も暗いパレット１０００の部分を、波形部分４４４は、上から２段目のワーク１１３０の上面の部分を、波形部分４４６は、最上段のワーク１１３０の明るい部分を、波形部分４４８は最上段のワーク１１３０の暗い印刷部１１３２を、波形部分４５０は最上段のワーク１１３０の明るい部分を、波形部分４５２は、上から２段目のワーク１１３０の明るい部分を、波形部分４５４は最も暗いパレット１０００の部分にそれぞれ対応している。図１１に示すように、波形部分４４４および波形部分４５２は、上から２段目のワーク１１３０の上面部分を、波形部分４４６および波形部分４５０は最上段のワーク１１３０の明るい部分を示している。このように、シェーディング補正された後の画像データを中央部を表わす線分４４０で走査した場合、点光源であるストロボ装置２００の影響を受けず、ストロボ装置２００から同じ距離にある最上段のワーク１１３０は同じ明るさのレベルの波形を有することになる。
【００４１】
図１２を参照して、本実施の形態に係る立体計測システムの画像処理コンピュータ３００のＣＰＵ３２０で実行されるプログラムの制御構造について説明する。
【００４２】
ＣＰＵ３２０は、予め予備処理を行なう。この予備処理において、前述の説明のように、対象物であるワークがない状態において、ストロボ２００を発光させて撮像した画像に基づいて、シェーディング補正値を算出し、算出されたシェーディング補正値を固定ディスク３２４に記憶する。
【００４３】
ステップ（以下、ステップをＳと略す。）１０４にて、ＣＰＵ３２０は、ロボットからの撮像指示があると、カメラ１００の電子シャッターに同期させてストロボを発光させる。このとき、ストロボ同期信号インターフェイス３２８を介して、ストロボ装置２００に、制御信号が送信される。Ｓ１０６にて、ＣＰＵ３２０は、原画像をフレームメモリに記憶する。Ｓ１０８にて、ＣＰＵ３２０は、原画像をシェーディング補正する。このシェーディング補正により、前述したように、明るさの平準化処理が行なわれる。
【００４４】
Ｓ１１０にて、ＣＰＵ３２０は、原画像を二値化処理する。このとき二値化処理に用いられるしきい値は、最上段の対象物の上面が抽出できるように設定される。また、この二値化処理に用いられるしきい値は、予め固定ディスク３２４に記憶されている。Ｓ１１２にて、ＣＰＵ３２０は、明るい閉曲面の領域（方形領域）を抽出する。このとき、ＣＰＵ３２０は、Ｎ個の方形領域を抽出したものと想定する。
【００４５】
Ｓ１１４にて、ＣＰＵ３２０は、変数Ｉを初期化（Ｉ＝１）する。Ｓ１１６にて、ＣＰＵ３２０は、Ｉ番目の閉曲面領域（方形領域）の面積、水平フィレ径および垂直フィレ径を算出する。Ｓ１１８にて、ＣＰＵ３２０は、Ｉ番目の閉曲面領域（方形領域）の面積Ｓ（Ｉ）が許容範囲内にあるか否か、水平フィレ径ＨＦ（Ｉ）が許容範囲内にあるか否かおよび垂直フィレ径ＶＦ（Ｉ）が許容範囲内にあるか否かを判断する。面積、水平フィレ径および垂直フィレ径のいずれもが許容範囲内にあると（Ｓ１１８にてＹＥＳ）、処理はＳ１２４に移される。もしそうでないと（Ｓ１１８にてＮＯ）、処理はＳ１２０へ移される。面積の許容範囲の下限をＳ１、上限をＳ２、フィレ径の許容範囲の下限をＦ１、上限をＦ２とする。
【００４６】
Ｓ１２０にて、ＣＰＵ３２０は、変数Ｉに１を加算する。Ｓ１２２にて、ＣＰＵ３２０は、変数Ｉが抽出された方形領域の数Ｎよりも大きいか否かを判断する。変数ＩがＮよりも大きい場合には（Ｓ１２２にてＹＥＳ）、この処理を終了する。もしそうでないと（Ｓ１２２にてＮＯ）、処理はＳ１１６へ戻され、次の閉曲面領域（方形領域）について処理が行なわれる。
【００４７】
Ｓ１２４にて、ＣＰＵ３２０は、Ｉ番目の閉曲面領域（方形領域）の四隅の４点の座標を算出する。Ｓ１２６にて、ＣＰＵ３２０は、四隅の４点の座標に基づいて、傾き角度および重心座標を算出する。
【００４８】
なお、Ｓ１２６で算出された傾き角度、重心座標などは、ロボットコントローラインターフェイス３２６を介して、画像処理コンピュータ３００からロボットコントローラへ送信される。このようなデータを受信したロボットコントローラは、ロボットに対し最上段のワーク１１００がハンドリングできるように、ロボットに座標を指示する。
【００４９】
以上のような構造およびフローチャートに基づく、本実施の形態に係る立体計測システムの動作について説明する。
【００５０】
まずパレット１０００が所定の位置に到着するまでに、画像処理コンピュータ３００において予備処理が実行される。このとき、シェーディング補正値が算出され固定ディスク３２４に記憶される。
【００５１】
ロボットからの撮像指示があると、ストロボ同期信号インターフェイス３２８を介して、ストロボ装置２００に対して制御信号が送信され、カメラの電子シャッタに同期させてストロボを発光させる（Ｓ１０４）。
【００５２】
カメラ１００により撮像された原画像がフレームメモリに記憶され（Ｓ１０６）、原画像がシェーディング補正される（Ｓ１０８）。このとき、図１３に示すようなワーク１１３０およびワーク１１４０が載置されたパレットを撮像した場合について説明する。図１４に最上段のワーク１１４０の原画像を模式的に表わした図を示す。図１４に示すようにワーク１１４０は、ストロボ装置２００の位置に対応する部分が最も明るく、その位置から離れるに従って暗くなるような画像データとなっている。この図１４で模式的に示した画像データにシェーディング処理を施すと（Ｓ１０８）、図１５に示すようにワーク１１４０の上面の明るさが平準化される。
【００５３】
シェーディング補正された原画像の二値化処理が行なわれ、上段ワークの上面が抽出される（Ｓ１１０）。このときの画像データを図１６に示す。明るい方形領域が抽出され、抽出されたＮ個の方形領域のそれぞれについて、面積、水平フィレ径および垂直フィレ径が算出される（Ｓ１１６）。これらの面積、水平フィレ径および垂直フィレ径が、それぞれ予め定められた許容範囲内にあると、その閉曲面領域（方形領域）が検出対象のワーク１１４０の上面であると判断されて（Ｓ１１８にてＹＥＳ）、４点の座標が算出される（Ｓ１２４）。この時点でワークが検出される。このときの状態を図１８に示す。なお、図１７には、ノイズ除去画像を示す。このノイズ除去画像は、二値化画像（図１６）に対してＳ１１４〜Ｓ１２２の処理を行なうことにより、次段のノイズが除去された図である。その後、ワーク１１４０の四隅の４点の座標に基づいて、傾き角度および重心座標が算出される（Ｓ１２６）。また、図１９〜図２１に、最上段に２つのワークがある場合の画像を示す。図１９に二値化後の画像データを、図２０にノイズ除去後の画像データを示す。さらに、図２１に、ワークを検出した時の画像データを示す。
【００５４】
その後、算出された傾き角度、中心座標については、ロボットコントローラインターフェイス３２６を介して、ロボットコントローラに送信される。
【００５５】
以上のようにして、本実施の形態に係る立体計測システムによると、１台のカメラと１台のストロボ装置とを用いて、ストロボ装置から発光された光は、ストロボ装置からの距離の二乗に逆比例する明るさであるという性質に基づいて、検出したい距離にあるワークを、画像データを二値化処理することにより抽出することができる。さらに、この二値化処理の前には、明るさの不均一は、シェーディング補正により補正されているため、二値化処理により検出したいワークの上面の全体を抽出することができる。その結果、ストロボを用いるため外乱光による影響に強く、設備コストを抑制して、正確に対象物の立体形状を計測できる。
【００５６】
＜第２の実施の形態＞
以下、本発明の第２の実施の形態に係る立体計測システムについて説明する。なお、以下に示す第２の実施の形態に係る立体計測システムのハードウェア構成は、前述の第１の実施の形態に係る立体計測システムのハードウェア構成と同じである。したがって、それらについての詳細な説明はここでは繰返さない。
【００５７】
本実施の形態に係る立体計測システムは、前述の第１の実施の形態に係る立体計測システムとは検出対象であるワークの抽出方法が異なる。本実施の形態に係る立体計測システムにおいては、ストロボ装置２００により斜め上方から発光された光により発生するワーク１１００の上面の２辺の陰を用いることにより、ワークの位置座標を作成する。
【００５８】
本実施の形態に係る立体計測システムは、ワークの概略位置が判明している場合に実施可能であって、陰はシャープな直線になるため、第１の実施の形態の立体計測システムに比べて、より高い位置精度が得られる場合が多い。流通過程でワークの概略位置が既知の場合、本実施の形態に係る立体計測システムが使用できる。この場合、第１の実施の形態に係る立体計測システムにおける精度をより向上させることができる。
【００５９】
図２２に、最上段にワーク１１００が１つしかない場合のカメラ１００の視野領域における陰の状態を示す。図２２に示すように、ワーク１１００の陰は、「第１の点」から「第２の点」に至る線分と、「第２の点」から「第３の点」に至る線分の２つの線分から構成される。ロボットから指示されたワークの概略重心からＹ軸に向かって（Ｘ軸と平行に）引いた線分と陰を表わす線分との交点を「第０の点」とする。すなわち、図２２に示すように、「第０の点」は、「第１の点」と「第２の点」とから構成される線分上にある。また、視野領域よりも狭く、二辺の陰の線分を含む有効領域が設定される。この有効領域は、視野領域の中心を、その中心として、ワーク１１００のサイズより３０％程度大きい領域が設定される。なお、このように設定される前提としては、視野領域の中央近傍に、ワーク１１００が来るようなカメラ１００とパレット１１００との位置関係が設定される。
【００６０】
図２３に、最上段において、隣接するワークとの隙間が陰になる場合の状態を示す。ワーク１１００の陰である「第１の点」と「第２の点」とを結ぶ線分および「第２の点」と「第３の点」とを結ぶ線分の他に、隣接するワークとの隙間の陰が撮像されている。
【００６１】
図２４を参照して、本実施の形態に係る立体計測システムの画像処理コンピュータ３００のＣＰＵ３２０で実行されるプログラムの制御構造について説明する。なお、図２４に示すフローチャートの中で、前述の図１２に示したフローチャートと同じ処理については同じステップ番号を付してある。それらについての処理も同じである。したがって、それらについての詳細な説明はここでは繰返さない。
【００６２】
Ｓ２００にて、ＣＰＵ３２０は、原画像を二値化処理し、最上段の対象物であるワーク１１００の上面の二辺の陰を抽出する。Ｓ２０２にて、ＣＰＵ３２０は、有効領域を設定する。この有効領域は、前述の図２２および図２３に示した領域である。Ｓ２０４にて、ＣＰＵ３２０は、白黒反転して、陰を白色（輝度２５５）に設定する。なお、このカメラ１００の解像度は８ビットであると想定する。
【００６３】
Ｓ１１９にて、Ｉ番目の閉曲面領域（方形領域）の面積Ｓ（Ｉ）がしきい値Ｓよりも大きいか否か、水平フィレ径ＨＦ（Ｉ）がしきい値ＨＦよりも大きいか否か、および垂直フィレ径ＶＦ（Ｉ）がしきい値ＶＦよりも大きいか否かを判断する。面積、水平フィレ径および垂直フィレ径のいずれもがしきい値よりも大きいと（Ｓ１１９にてＹＥＳ）、処理はＳ２１０に移される。もしそうでないと（Ｓ１１９にてＮＯ）、処理はＳ１２０へ移される。
【００６４】
Ｓ２１０にて、ＣＰＵ３２０は、白黒反転して、陰を黒色（輝度０）に設定する。Ｓ３００にて、ＣＰＵ３２０は、端点算出処理を行なう。このＳ３００における端点算出処理は、図２５を用いて詳述する。
【００６５】
図２５を参照して、端点算出処理について説明する。
Ｓ３０４にて、ＣＰＵ３２０は、ロボットから指示されたワークの概略重心からＸ軸に平行に左側の陰を探索して、陰との交点を「第０の点」とする。Ｓ４００にて、ＣＰＵ３２０は、「第０の点」に基づく、下側の端点である「第２の点」の探索処理を行なう。このＳ４００における処理の詳細については後述する。
【００６６】
Ｓ５００にて、ＣＰＵ３２０は、「第０の点」に基づく、上側の端点である「第１の点」の探索処理を行なう。このＳ５００の処理の詳細については後述する。
【００６７】
Ｓ６００にて、ＣＰＵ３２０は、「第２の点」に基づく、「第１の点」の対角である「第３の点」の探索処理を行なう。このＳ６００における処理の詳細については後述する。
【００６８】
Ｓ３０６にて、ＣＰＵ３２０は、「第１の点」、「第２の点」および「第３の点」に基づいて、傾き角度を算出する。Ｓ３０８にて、ＣＰＵ３２０は、対象物であるワーク１１００の仕様から、残りの端点の座標を算出して、重心座標を算出する。
【００６９】
図２６を参照して、Ｓ４００における探索処理の詳細について説明する。
Ｓ４０２にて、ＣＰＵ３２０は、「第０の点」での陰の傾きＫを算出する。
【００７０】
Ｓ４０４にて、ＣＰＵ３２０は、変数Ｊを初期化（Ｊ＝１）する。Ｓ４０６にて、ＣＰＵ３２０は、「第０の点」のＪ行下のピクセルを左から右にスキャンして、最初に見つかった輝度が０の点を、Ｊ行下の陰の点として算出する。Ｓ４０８にて、ＣＰＵ３２０は、Ｊ行下の陰の点の傾きを算出する。
【００７１】
Ｓ４１０にて、ＣＰＵ３２０は、算出した傾きが（Ｋ−α）と（Ｋ＋α）の間にあるか否かを判断する。なお、αは、予め定められた定数である。算出した傾きが、（Ｋ−α）と（Ｋ＋α）の間にあると（Ｓ４２０にてＹＥＳ）、処理はＳ４１２へ移される。もしそうでないと（Ｓ４１０にてＮＯ）、処理はＳ４１４へ移される。
【００７２】
Ｓ４１４にて、ＣＰＵ３２０は、変数Ｊに１を加算し、処理をＳ４０６へ戻す。
【００７３】
Ｓ４１４にて、ＣＰＵ３２０は、「第０の点」から（Ｊ−１）行下の点を、下側の端点である「第２の点」とする。
【００７４】
図２７を参照して、Ｓ５００の探索処理について説明する。
Ｓ５０２にて、ＣＰＵ３２０は、「第０の点」と「第２の点」との陰の傾き径を算出する。
【００７５】
Ｓ５０４にて、ＣＰＵ３２０は、変数Ｊを初期化（Ｊ＝１）する。
Ｓ５０６にて、ＣＰＵ３２０は、「第０の点」のＪ行上のピクセルを右から左にスキャンして、最初に見つかった輝度が０の点を、Ｊ行上の陰の点として算出する。
【００７６】
Ｓ５０８にて、ＣＰＵ３２０は、Ｊ行上の陰の点が検出できたか否かを判断する。Ｊ行上の陰の点が算出できると（Ｓ５０８にてＹＥＳ）、処理はＳ５１０へ移される。もしそうでないと（Ｓ５０８にてＮＯ）、処理はＳ５１６へ移される。
【００７７】
Ｓ５１０にて、ＣＰＵ３２０は、Ｊ行上の陰の点の傾きを算出する。Ｓ５１２にて、ＣＰＵ３２０は、算出した傾きが、（Ｋ−α）と（Ｋ＋α）の間にあるか否かを判断する。算出した傾きが、（Ｋ−α）と（Ｋ＋α）の間にある場合には（Ｓ５１２にてＹＥＳ）、処理はＳ５１４へ移される。もしそうでないと（Ｓ５１２にてＮＯ）、処理はＳ５１６へ移される。
【００７８】
Ｓ５１４にて、ＣＰＵ３２０は、変数Ｊに１を加算し、処理をＳ５０６へ戻す。
【００７９】
Ｓ５１６にて、ＣＰＵ３２０は、「第０の点」から（Ｊ−１）行上の点を、上側の端点である「第１の点」とする。
【００８０】
図２８を参照して、Ｓ６００の探索処理について説明する。
Ｓ６０２にて、ＣＰＵ３２０は、「第２の点」での陰の傾きＫを算出する。
【００８１】
Ｓ６０４にて、ＣＰＵ３２０は、変数Ｊを初期化（Ｊ＝１）する。Ｓ６０６にて、ＣＰＵ３２０は、「第２の点」のＪ行右のピクセルを上から下にスキャンして、最初に見つかった輝度が０の点を、Ｊ列右の陰の点として算出する。
【００８２】
Ｓ６０８にて、ＣＰＵ３２０は、Ｊ列右の陰の点が算出できたか否かを判断する。Ｊ列右の陰の点が算出できると（Ｓ６０８にてＹＥＳ）、処理はＳ６１０へ移される。もしそうでないと（Ｓ６０８にてＮＯ）、処理はＳ６１６へ移される。
【００８３】
Ｓ６１０にて、ＣＰＵ３２０は、Ｊ列右の陰の点の傾きを算出する。Ｓ６１２にて、ＣＰＵ３２０は、算出した傾きが、（Ｋ−α）と（Ｋ＋α）の間にあるか否かを判断する。算出した傾きが（Ｋ−α）と（Ｋ＋α）間にある場合には（Ｓ６１２にてＹＥＳ）、処理はＳ６１４へ移される。もしそうでないと（Ｓ６１２にてＮＯ）、処理はＳ６１６へ移される。
【００８４】
Ｓ６１４にて、ＣＰＵ３２０は、変数Ｊに１を加算し、処理をＳ６０６へ戻す。
【００８５】
Ｓ６１６にて、ＣＰＵ３２０は、「第２の点」から（Ｊ−１）列右の点を、「第１の点」の対角の端点である「第３の点」とする。
【００８６】
以上のような構造およびフローチャートに基づく本実施の形態に係る立体計測システムの動作について説明する。なお、以下に示す動作の説明の中で、前述の第１の実施の形態に係る立体計測システムの動作と同じ動作についての詳細な説明は、ここでは繰返さない。
【００８７】
シェーディング補正値を算出する予備処理が行われた後（Ｓ１００）、ストロボ発光に同期させて、カメラ１００の電子シャッターがオンされて、ワークが撮像される（Ｓ１０４）。原画像を表わすデータがフレームメモリに記憶され（Ｓ１０６）、原画像がシェーディング補正される（Ｓ１０８）。原画像が二値化処理され、最上段の対象物であるワークの陰が抽出される（Ｓ２００）。有効領域が設定された後（Ｓ２０２）、白黒反転して陰が白色になるように設定される（Ｓ２０４）。明るい閉曲面領域が抽出されて、それぞれの閉曲面領域（方形領域）における面積、水平フィレ径および垂直フィレ径が算出され、面積、水平フィレ径および垂直フィレ径のそれぞれが予め定められたしきい値よりも大きいと（Ｓ１１９にてＹＥＳ）、端点算出処理が実行される（Ｓ３００）。なお、Ｓ１１４からＳ１２２までの処理が行われることにより最上段のワークの表面の模様等が除去される。
【００８８】
端点算出処理においては、ロボットから指示されたワークの概略重心から陰が探索され、「第０の点」が算出される（Ｓ３０４）。「第０の点に基づく、下側の端点である「第２の点」が探索される（Ｓ４００）。「第０の点に基づく、上側の端点である「第１の点」の探索が行なわれる（Ｓ５００）。「第２の点」に基づく、「第１の点」の対角である「第３の点」の探索処理が行なわれる（Ｓ６００）。これにより、第１の点、第２の点、第３の点の探索処理が行なわれ、ワーク１１００の端点４つのうちの３点が算出される。「第１の点」、「第２の点」および「第３の点」に基づいて、傾き角度が算出され（Ｓ３０６）、対象物の使用から、残りの端点（「第４の点」）の座標を算出して、重心座標が算出される（Ｓ３０８）。
【００８９】
図２９〜図３６に、本実施の形態に係る立体計測システムの画像データの例を示す。図２９および図３３に二値化後の画像データを、図３０および図３４にノイズ除去後の画像データを示す。さらに、図３１および図３５に端点を検出した際の画像データを、図３２および図３６にワークを検出したときの画像データを示す。図３０および図３４に示すようにワーク１１００の左側と下側に陰が撮像され、この陰に基づいて端点が検出される。
【００９０】
以上のようにして、本実施の形態に係る立体計測システムによると、ワークの上面の二辺の陰の部分を表わす線分の長さなどに基づいて対象物であるワークの位置情報が作成される。線分の情報は、領域の情報よりもより正確に対象物であるワークの外形を表わしているので、より正確に対象物であるワークの位置情報を作成することができる。
【００９１】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る立体計測システムの外観図である。
【図２】図１の立体計測システムを上方から見た平面図である。
【図３】本発明の第１の実施に形態に係る画像処理コンピュータの外観図である。
【図４】図３に示すコンピュータシステムの制御ブロック図である。
【図５】視野領域におけるフィレ径を説明するための図である。
【図６】視野領域におけるワークの端点を説明するための図である。
【図７】シェーディング補正値を求めるための基準画像の中央部のプロファイルである。
【図８】基準画像にシェーディング補正を実行した場合の中央部のプロファイルである。
【図９】実画像におけるシェーディング補正前の状態を示す図である。
【図１０】実画像におけるシェーディング補正後の状態を示す図である。
【図１１】実画像とシェーディング補正後の画像データとの関係を示す図である。
【図１２】本発明の第１の実施に形態に係る画像処理コンピュータで実行されるプログラムの制御構造を示すフローチャートである。
【図１３】シェーディング補正の状態を説明するための図（その１）である。
【図１４】シェーディング補正の状態を説明するための図（その２）である。
【図１５】シェーディング補正の状態を説明するための図（その３）である。
【図１６】本発明の第１の実施に形態に係る画像処理コンピュータでの処理の状態を示す図（その１）である。
【図１７】本発明の第１の実施に形態に係る画像処理コンピュータでの処理の状態を示す図（その２）である。
【図１８】本発明の第１の実施に形態に係る画像処理コンピュータでの処理の状態を示す図（その３）である。
【図１９】本発明の第１の実施に形態に係る画像処理コンピュータでの処理の状態を示す図（その４）である。
【図２０】本発明の第１の実施に形態に係る画像処理コンピュータでの処理の状態を示す図（その５）である。
【図２１】本発明の第１の実施に形態に係る画像処理コンピュータでの処理の状態を示す図（その６）である。
【図２２】本発明の第２の実施の形態に係る視野領域におけるワークの陰を説明するための図（その１）である。
【図２３】本発明の第２の実施の形態に係る視野領域におけるワークの陰を説明するための図（その２）である。
【図２４】本発明の第２の実施に形態に係る画像処理コンピュータで実行されるプログラムの制御構造を示すフローチャートである。
【図２５】図２１に示す端点算出処理の制御構造を示すフローチャートである。
【図２６】図２５に示す「第０の点」に基づく「第２の点」の探索処理の制御構造を示すフローチャートである。
【図２７】図２５に示す「第０の点」に基づく「第１の点」の探索処理の制御構造を示すフローチャートである。
【図２８】図２５に示す「第２の点」に基づく「第３の点」の探索処理の制御構造を示すフローチャートである。
【図２９】本発明の第２の実施に形態に係る画像処理コンピュータでの処理の状態を示す図（その１）である。
【図３０】本発明の第２の実施に形態に係る画像処理コンピュータでの処理の状態を示す図（その２）である。
【図３１】本発明の第２の実施に形態に係る画像処理コンピュータでの処理の状態を示す図（その３）である。
【図３２】本発明の第２の実施に形態に係る画像処理コンピュータでの処理の状態を示す図（その４）である。
【図３３】本発明の第２の実施に形態に係る画像処理コンピュータでの処理の状態を示す図（その５）である。
【図３４】本発明の第２の実施に形態に係る画像処理コンピュータでの処理の状態を示す図（その６）である。
【図３５】本発明の第２の実施に形態に係る画像処理コンピュータでの処理の状態を示す図（その７）である。
【図３６】本発明の第２の実施に形態に係る画像処理コンピュータでの処理の状態を示す図（その８）である。
【符号の説明】
１００ カメラ、２００ ストロボ、３００ コンピュータシステム、３０２コンピュータ、３０４ モニタ、３０６ ＦＤ駆動装置、３０８ ＣＤ−ＲＯＭ駆動装置、３１０ キーボード、３１２ マウス、３２６ ロボットコントローラインターフェイス、３２８ ストロボ同期信号インターフェイス、３３０ カメラインターフェイス、１０００ パレット、１１００、１１１０、１１２０、１１３０、１１４０ ワーク、１１３２ 暗い印刷部。
【特許請求の範囲】
【請求項１】
対象物を撮像するための撮像手段と、
前記対象物を照明するストロボ照明装置と、
前記ストロボ照明装置の発光に同期させて前記撮像手段により前記対象物を撮像するように、前記撮像手段と前記ストロボ照明装置とを制御するための制御手段と、
前記撮像手段に接続され、撮像された対象物を表わす画像データに対して、画像処理を行なうための処理手段とを含み、
前記処理手段は、
前記画像データに対して、色の強度の不均一を補正するための補正手段と、
前記補正された画像データに対して、前記撮像手段から前記対象物までの距離に応じた色の強度の違いに基づいて、前記対象物の特徴量を算出するための算出手段と、
前記算出された特徴量に基づいて、前記対象物の位置情報を作成するための作成手段とを含む、立体計測装置。
【請求項２】
前記算出手段は、前記補正された画像データに対して、前記撮像手段から前記対象物までの距離に応じた色の強度の違いに対応するしきい値により前記画像データを二値化処理して、色の強度が異なる領域を抽出して、前記抽出された領域に基づいて、前記対象物の特徴量を算出するための手段を含む、請求項１に記載の立体計測装置。
【請求項３】
前記算出手段は、前記対象物の特徴量として、前記抽出された領域の面積および前記領域のフィレ径を算出するための手段を含む、請求項２に記載の立体計測装置。
【請求項４】
前記作成手段は、前記面積および前記フィレ径に基づいて、前記対象物の座標情報および傾き情報を作成するための手段を含む、請求項３に記載の立体計測装置。
【請求項５】
対象物は直方体の形状を有し、
前記ストロボ照明装置は、前記撮像手段の近傍の位置であって、前記直方体の上面の一辺に対して斜め方向の位置から前記対象物を照明する、請求項１に記載の立体計測装置。
【請求項６】
前記算出手段は、前記補正された画像データに対して、前記撮像手段から前記対象物までの距離に応じた色の強度の違いに対応するしきい値により前記画像データを二値化処理して、色の強度が異なる領域を抽出して、前記抽出された領域の中から前記対象物である直方体の上面の二辺の陰を選択して、前記選択された陰に基づいて、前記対象物の特徴量を算出するための手段を含む、請求項５に記載の立体計測装置。
【請求項７】
前記算出手段は、前記対象物の特徴量として、前記選択された二辺の陰の長さおよび傾きを算出するための手段を含む、請求項６に記載の立体計測装置。
【請求項８】
前記作成手段は、前記算出された二辺の陰の長さおよび傾きに基づいて、前記対象物の座標情報および傾き情報を作成するための手段を含む、請求項７に記載の立体計測装置。
【請求項９】
前記処理手段に接続され、前記算出された位置情報をデパレタイジング用ロボットのコントローラに出力するための出力手段をさらに含む、請求項１〜８のいずれかに記載の立体計測装置。
【請求項１】
対象物を撮像するための撮像手段と、
前記対象物を照明するストロボ照明装置と、
前記ストロボ照明装置の発光に同期させて前記撮像手段により前記対象物を撮像するように、前記撮像手段と前記ストロボ照明装置とを制御するための制御手段と、
前記撮像手段に接続され、撮像された対象物を表わす画像データに対して、画像処理を行なうための処理手段とを含み、
前記処理手段は、
前記画像データに対して、色の強度の不均一を補正するための補正手段と、
前記補正された画像データに対して、前記撮像手段から前記対象物までの距離に応じた色の強度の違いに基づいて、前記対象物の特徴量を算出するための算出手段と、
前記算出された特徴量に基づいて、前記対象物の位置情報を作成するための作成手段とを含む、立体計測装置。
【請求項２】
前記算出手段は、前記補正された画像データに対して、前記撮像手段から前記対象物までの距離に応じた色の強度の違いに対応するしきい値により前記画像データを二値化処理して、色の強度が異なる領域を抽出して、前記抽出された領域に基づいて、前記対象物の特徴量を算出するための手段を含む、請求項１に記載の立体計測装置。
【請求項３】
前記算出手段は、前記対象物の特徴量として、前記抽出された領域の面積および前記領域のフィレ径を算出するための手段を含む、請求項２に記載の立体計測装置。
【請求項４】
前記作成手段は、前記面積および前記フィレ径に基づいて、前記対象物の座標情報および傾き情報を作成するための手段を含む、請求項３に記載の立体計測装置。
【請求項５】
対象物は直方体の形状を有し、
前記ストロボ照明装置は、前記撮像手段の近傍の位置であって、前記直方体の上面の一辺に対して斜め方向の位置から前記対象物を照明する、請求項１に記載の立体計測装置。
【請求項６】
前記算出手段は、前記補正された画像データに対して、前記撮像手段から前記対象物までの距離に応じた色の強度の違いに対応するしきい値により前記画像データを二値化処理して、色の強度が異なる領域を抽出して、前記抽出された領域の中から前記対象物である直方体の上面の二辺の陰を選択して、前記選択された陰に基づいて、前記対象物の特徴量を算出するための手段を含む、請求項５に記載の立体計測装置。
【請求項７】
前記算出手段は、前記対象物の特徴量として、前記選択された二辺の陰の長さおよび傾きを算出するための手段を含む、請求項６に記載の立体計測装置。
【請求項８】
前記作成手段は、前記算出された二辺の陰の長さおよび傾きに基づいて、前記対象物の座標情報および傾き情報を作成するための手段を含む、請求項７に記載の立体計測装置。
【請求項９】
前記処理手段に接続され、前記算出された位置情報をデパレタイジング用ロボットのコントローラに出力するための出力手段をさらに含む、請求項１〜８のいずれかに記載の立体計測装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【公開番号】特開２００４−１２１４３（Ｐ２００４−１２１４３Ａ）
【公開日】平成１６年１月１５日（２００４．１．１５）
【国際特許分類】
【出願番号】特願２００２−１６１８５４（Ｐ２００２−１６１８５４）
【出願日】平成１４年６月３日（２００２．６．３）
【出願人】（３９８００５１２４）株式会社テクノ ソフト システムニクス (3)
【出願人】（００００００９５２）カネボウ株式会社 (120)
【Ｆターム（参考）】
【公開日】平成１６年１月１５日（２００４．１．１５）
【国際特許分類】
【出願日】平成１４年６月３日（２００２．６．３）
【出願人】（３９８００５１２４）株式会社テクノ ソフト システムニクス (3)
【出願人】（００００００９５２）カネボウ株式会社 (120)
【Ｆターム（参考）】
[ Back to top ]