画像情報生成装置及び画像情報生成方法。
【課題】安価に構成することができ、使用することができる状況の制約が少なく、２次元画像情報及び３次元情報の両方を高速に生成することができる画像情報生成装置を提供する。
【解決手段】処理選択部２６０は、投影用光源２０４を消灯させ照明用光源２１４を点灯させているフレームＦＬ１，ＦＬ３，ＦＬ５，・・・にカメラ２２４に第１の撮像を行わせ生成させた画像信号をデジタル化した第１の画像データＤ１，Ｄ３，Ｄ５，・・・を投影可否判定部２７０に処理させ、照明用光源２１４を消灯させ投影用光源２０４を点灯させているフレームＦＬ２，ＦＬ４，ＦＬ６，・・・にカメラ２２４に第２の撮像を行わせ生成させた画像信号をデジタル化した第２の画像データＤ２，Ｄ４，Ｄ６，・・・を３次元情報生成部２６２に処理させる。３次元情報生成部２６２は、半導体ウエハＷに関する３次元情報を画像データＤ２，Ｄ４，Ｄ６，・・・から生成する。
【解決手段】処理選択部２６０は、投影用光源２０４を消灯させ照明用光源２１４を点灯させているフレームＦＬ１，ＦＬ３，ＦＬ５，・・・にカメラ２２４に第１の撮像を行わせ生成させた画像信号をデジタル化した第１の画像データＤ１，Ｄ３，Ｄ５，・・・を投影可否判定部２７０に処理させ、照明用光源２１４を消灯させ投影用光源２０４を点灯させているフレームＦＬ２，ＦＬ４，ＦＬ６，・・・にカメラ２２４に第２の撮像を行わせ生成させた画像信号をデジタル化した第２の画像データＤ２，Ｄ４，Ｄ６，・・・を３次元情報生成部２６２に処理させる。３次元情報生成部２６２は、半導体ウエハＷに関する３次元情報を画像データＤ２，Ｄ４，Ｄ６，・・・から生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、２次元画像情報及び３次元情報の両方を生成する画像情報生成装置及び画像情報生成方法に関する。
【背景技術】
【０００２】
産業用ロボットその他のロボットを知能化するためには、視覚情報を生成する視覚システムをロボットに導入することが重要である。特に、平面的な２次元画像情報だけでなく対象物までの距離等の立体的な３次元情報も生成することができる視覚システムをロボットに導入すれば、ロボットの自律性を大きく向上することができる。このことは、対象物を把持するという基本的な動作であっても、対象物までの距離等の３次元情報が必須となることからも明らかである。
【０００３】
２次元画像情報だけでなく３次元情報も生成する視覚システムは、一般的には、間隔を置いて設置した２台のカメラの各々が生成した２個の２次元画像情報から視差を特定し、当該視差から３次元情報を導出する。しかし、このような視覚システムは、２台のカメラを必要とするために高価であり、ロボットへの導入は進んでいない。
【０００４】
そこで、１台のカメラで２次元画像情報及び３次元情報の両方を生成することができる視覚システムが求められている。
【０００５】
特許文献１は、そのような視覚システムの一例であって、自動車の前方に向けて１台のカメラを下方に傾けて設置し、対象物までの距離によって対象物が映っている位置が上下方向に移動することを利用して対象物までの距離の情報を生成する視覚システムを開示している。
【０００６】
一方、特許文献２も、そのような視覚システムの一例であって、ズーミングをすることができる１台のカメラを設置し、対象物までの距離によってカメラをズーミングしたときの対象物が映っている位置の移動量が変化することを利用して対象物までの距離の情報を生成する視覚システムを開示している。
【０００７】
【特許文献１】特開２００６−３１３１３号公報
【特許文献２】特開２００４−２３９７９１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかし、特許文献１に開示されている視覚システムは、平坦な路面を走行する自動車と自動車との車間距離を検知する場合のような限られた状況では役に立つが、使用するロボットの知能化が期待されるような複雑な作業において対象物までの距離の情報を生成する場合等のような複雑な状況ではあまり役に立たない。特に、カメラの仰角を固定しなければならないことは、使用することができる状況を制約してしまう。
【０００９】
また、特許文献２に開示されている視覚システムは、ズーミングのための光学系の駆動に時間がかかるので、対象物までの距離の情報を高速に生成することは困難である。
【００１０】
本発明は、これらの問題を解決するためになされたもので、安価に構成することができ、使用することができる状況の制約が少なく、２次元画像情報及び３次元情報の両方を高速に生成することができる視覚システム等の画像情報生成装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記課題を解決するため、請求項１の発明は、２次元画像情報及び３次元情報の両方を生成する画像情報生成装置であって、撮像を行い２次元画像情報を生成する撮像部と、平行光を照射し幾何パターンを投影する投影用光源と、前記撮像部が生成した２次元画像情報のうちの前記投影用光源が投影した幾何パターンに関する部分から３次元情報を生成する３次元情報生成部と、前記投影用光源の点灯及び前記撮像部の撮像のタイミングを制御する制御部と、前記撮像部が生成した２次元画像情報に対する処理を選択する処理選択部と、を備え、前記制御部は、前記投影用光源を点灯させていないときに前記撮像部に第１の撮像を行わせて第１の２次元画像情報を生成させ、前記投影用光源を点灯させているときに前記撮像部に第２の撮像を行わせて第２の２次元画像情報を生成させ、前記処理選択部は、第２の２次元画像情報を前記３次元情報生成部に処理させる。
【００１２】
請求項２の発明は、請求項１に記載の画像情報生成装置において、前記撮像部の撮像範囲を照明する照明光を照射する照明用光源、をさらに備え、前記制御部は、前記照明用光源の点灯を制御し、前記撮像部に第１の撮像を行わせるときに前記照明用光源を点灯させる。
【００１３】
請求項３の発明は、請求項１又は請求項２に記載の画像情報生成装置において、前記投影用光源は、発光ダイオードと、前記発光ダイオードが発光した拡散光を平行光に変換する光学系と、を備える。
【００１４】
請求項４の発明は、請求項１ないし請求項３のいずれかに記載の画像情報生成装置において、前記３次元情報生成部は、第２の２次元画像情報に係る２次元画像に映っている幾何パターンの基準箇所の間の長さに基づいて前記撮像部から幾何パターンの被投影物までの距離の情報を生成する。
【００１５】
請求項５の発明は、請求項１ないし請求項３のいずれかに記載の画像情報生成装置において、前記３次元情報生成部は、第２の２次元画像情報に係る２次元画像に映っている幾何パターンの形状のひずみに基づいて幾何パターンの被投影物の姿勢の情報を生成する。
【００１６】
請求項６の発明は、請求項１ないし請求項５のいずれかに記載の画像情報生成装置において、第１の２次元画像情報のうちの特定の形状を有する対象物が映っている部分を特定し、特定した部分に映っている対象物に前記投影用光源が幾何パターンを投影することができるか否かを判定する投影可否判定部と、をさらに備え、前記処理選択部は、第１の２次元画像情報を前記投影可否判定部に処理させ、特定の形状を有する対象物に幾何パターンを投影することができると前記投影可否判定部が判定した場合に、第２の２次元画像情報を前記３次元情報生成部に処理させる。
【００１７】
請求項７の発明は、２次元画像情報及び３次元情報の両方を生成する画像情報生成方法であって、(a)第１の撮像を行い第１の２次元画像情報を生成する工程と、(b)前記工程(a)において撮像を行っていないときに平行光を照射し幾何パターンを投影する工程と、(c)前記工程(b)において幾何パターンを投影しているときに第２の撮像を行い第２の２次元画像情報を生成する工程と、(d)前記工程(c)において生成された第２の２次元画像情報のうちの前記工程(b)において投影された幾何パターンが映っている部分から３次元情報を生成する工程と、を備える。
【発明の効果】
【００１８】
請求項１ないし請求項７の発明によれば、２次元画像情報を生成する撮像部が１台あれば２次元画像情報及び３次元情報の両方を生成することができるので、２次元画像情報及び３次元情報の両方を出力する画像情報生成装置を安価に構成することができる。また、請求項１の発明によれば、幾何パターンを投影することができれば２次元画像情報及び３次元情報の両方を生成することができるので、使用することができる状況の制約を少なくすることができる。さらに、請求項１の発明によれば、光学系の駆動が不要であるので、２次元画像情報及び３次元情報の両方を高速に生成することができる。
【００１９】
請求項２の発明によれば、第１の撮像を行うときに照明光が照射されるので、第１の２次元画像情報が環境光の影響を受けにくくなる。
【００２０】
請求項３の発明によれば、発光ダイオードの応答が高速であるので、投影用光源の点灯と消灯とを高速で切り替えることができ、２次元画像情報の生成と３次元情報の生成とを高速に切り替えることができる。また、発光ダイオードは理想的な点光源に近いので、簡単な光学系で拡散光を平行光に変換することができる。
【００２１】
請求項４の発明によれば、撮像部から被投影物までの距離を簡単な計算で算出することができるので、撮像部から被投影物までの距離を高速に導出することができる。
【００２２】
請求項５の発明によれば、被投影物の姿勢を簡単な計算で算出することができるので、被投影物の姿勢を高速に導出することができる。
【００２３】
請求項６の発明によれば、対象物に幾何パターンを投影することができない場合には３次元情報を生成する処理を行わないので、不要な３次元情報を生成することを防ぐことができる。
【発明を実施するための最良の形態】
【００２４】
＜１ 産業用ロボット１の構成＞
図１は、本発明の望ましい実施形態に係る産業用ロボット１の模式図である。産業用ロボット１は、前工程から半導体ウエハＷを受け取ってキャリアにロードするとともに、キャリアから半導体ウエハＷをアンロードして後工程に受け渡す。ただし、このことは、本発明に係る画像情報生成装置及び画像情報生成方法の導入先が産業用ロボット１に制限されることを意味しない。したがって、他の種類の産業用ロボットや産業用ロボット以外のロボットに本発明に係る画像情報生成装置及び画像情報生成方法を導入しても良いし、ロボットの範疇に含まれない装置に本発明に係る画像情報生成装置及び画像情報生成方法を導入しても良い。
【００２５】
図１に示すように、産業用ロボット１は、処理の対象となる半導体ウエハＷを把持するロボットハンド１０２と、ロボットハンド１０２の位置及び姿勢を変化させるロボットアーム１１６と、ロボットハンド１０２及びロボットアーム１１６を制御するロボット制御装置１３２と、ロボットハンド１０２の前方に関する２次元画像情報及び３次元情報を生成する画像情報生成装置となる視覚システム２０２とを備える。
【００２６】
｛ロボットハンド１０２｝
ロボットハンド１０２は、関節１０６を軸としてアーム１２２に対して回転するフィンガ１０４と、関節１０８を軸としてアーム１２２に対して回転するフィンガ１１０と、フィンガ１０４，１１０を回転させるモータ１１２とを備える。ロボットハンド１０２は、ロボット制御装置１３２から与えられた制御信号に応じてモータ１１２にフィンガ１０４，１１０を回転させることにより、フィンガ１０４，１１０を開閉し、フィンガ１０４，１１０の間にある半導体ウエハＷを把持又は解放する。もちろん、ロボットハンド１０２は、制御信号に応じて半導体ウエハＷを把持又は解放することができれば、どのような形式のものであってもよい。
【００２７】
｛ロボットアーム１１６｝
ロボットアーム１１６は、関節１２０を軸としてベース１３０に対して回転するアーム１１８と、関節１２４を軸としてアーム１１８に対して回転するアーム１２２と、アーム１１８を回転させるモータ１２６と、アーム１２２を回転させるモータ１２８とを備える。ロボットアーム１１６は、ロボット制御装置１３２から与えられた制御信号に応じてモータ１２６にアーム１１８を回転させ、モータ１２８にアーム１２２を回転させることにより、ロボットハンド１０２の位置及び姿勢を変化させる。もちろん、ロボットアーム１１６は、制御信号に応じてロボットハンド１０２の位置及び姿勢を変化させることができれば、どのような形式のものであってもよい。
【００２８】
｛ロボット制御装置１３２｝
図２は、ロボット制御装置１３２ののハードウエアの構成を示すブロック図である。
【００２９】
図２に示すように、ロボット制御装置１３２は、ＣＰＵ１３４とメモリ１３６とハードディスクドライブ１３８とを備えるコンピュータである。ロボット制御装置１３２は、ハードディスクドライブ１３８からメモリ１３６にロードされたロボット制御プログラム１４６にしたがってモータ１１２，１２６，１２８に制御信号を出力し、ロボットハンド１０２及びロボットアーム１１６を制御する。これにより、産業用ロボット１は、作業空間ＷＳにおいて半導体ウエハＷを把持し搬送する。また、ロボット制御装置１３２は、画像処理装置２３２から転送されてきた２次元画像情報及び３次元情報から半導体ウエハＷを把持するために必要なフィンガ１０４，１１０及びアーム１１８，１２０の回転量を算出し、当該回転量を得るために必要な制御信号をモータ１１２，１２６，１２８に出力する。ロボット制御装置１３２からモータ１１２，１２６，１２８への制御信号の出力は、入出力インターフェース１４０を介して行われ、画像処理装置２３２からロボット制御装置１３２への２次元画像情報及び３次元情報の転送は、通信インターフェース１４２を介して行われる。ＣＰＵ１３４、メモリ１３６、ハードディスクドライブ１３８、入出力インターフェース１４０及び通信インターフェース１４２は、内部バス１４４に接続され、相互にデータのやり取りをすることができる。
【００３０】
｛視覚システム２０２｝
視覚システム２０２は、ロボットハンド１０２の前方を撮像して２次元画像情報を生成する。加えて、視覚システム２０２は、ロボットハンド１０２の前方にある半導体ウエハＷに幾何パターンＧＰを投影し、幾何パターンＧＰの撮像結果から半導体ウエハＷの位置及び姿勢に関する３次元画像情報を生成する。以下では、この視覚システム２０２について詳細に説明する。
【００３１】
＜２ 視覚システム２０２の構成＞
図１に示すように、視覚システム２０２は、幾何パターンＧＰを投影する投影用光源２０４と、作業空間ＷＳを照明する照明用光源２１４と、投影用光源２０４及び照明用光源２１４の各々が備える後述するＬＥＤ（発光ダイオード）２０６，２１６に発光用の電力を供給するＬＥＤドライバ２２０とを備える。また、視覚システム２０２は、ロボットハンド１０２の前方を撮像して２次元画像情報を含む画像信号を生成するカメラ２２４と、カメラ２２４が生成した画像信号を処理する画像処理装置２３２とを備える。
【００３２】
｛投影用光源２０４｝
図３は、投影用光源２０４の模式図である。図３は、投影用光源２０４の断面図となっている。
【００３３】
投影用光源２０４は、ＬＥＤ２０６と、ＬＥＤ２０６が発光した拡散光を平行光に変換する光学系２０８と、投影すべき幾何パターンＧＰの明部を照らす光束が通過する部分が透過部となっており残余の部分が遮蔽部となっているマスク２１０とを備える。これにより、投影用光源２０４は、平行光を照射し、被投影物までの距離にかかわらず大きさが一定の幾何パターンＧＰを半導体ウエハＷに投影する。なお、投影用光源２０４の発光源にＬＥＤ２０６を使用することは必須ではなく、白熱電球、蛍光灯等も使用することができる。ただし、発光源にＬＥＤ２０６を使用することには、ＬＥＤ２０６の応答が高速であるので、投影用光源２０４の点灯と消灯とを高速で切り替えることができ、後述する２次元画像情報の生成と３次元情報の生成とを高速に切り替えることができるという利点がある。また、ＬＥＤ２０６は理想的な点光源に近いので、簡単な光学系で拡散光を平行光に変換することができるという利点もある。
【００３４】
「平行光」は、投影用光源２０４からの距離による幾何パターンＧＰの大きさの変化が視覚システム２０２により生成される３次元情報の精度に実質的な影響を与えない程度の平行性を有していれば足りる。このことの意義は、ロボットハンド１０２の位置決め及び姿勢決めの精度以上の精度を３次元情報に求めることは無意味であることを考慮すれば明らかである。
【００３５】
幾何パターンＧＰは、幾何パターンＧＰが映っている２次元画像において長さを測定すべき場所を特定する少なくとも２個の基準箇所を含むことが必要である。「少なくとも２個の基準箇所」には、例えば、点と点、点と線、線と線等がある。「点」は、線と線との交点を含み、「線」は、暗部と明部との境界線も含むと解すべきである。
【００３６】
さらに、幾何パターンＧＰは、画像処理装置２３２により認識することが容易であることが望ましい。そのような幾何パターンＧＰには、例えば、図４（ａ）に示すような、帯形状の明部ＢＲ１と同一の帯形状の暗部ＤＡ１とを１方向に交互に配置したストライプ（縞模様）ＳＴ、図４（ｂ）に示すような、正方形形状の明部ＢＲ２と同一の正方形形状の暗部ＤＡ２とを直行する２方向に交互に配置したチェック（市松模様）ＣＨ等がある。なお、以下では、幾何パターンＧＰがストライプＳＴであり、暗部ＢＲ１と明部ＤＡ１との境界線ＢＤＬ３を「基準箇所」として用いるものとして説明を進める。
【００３７】
投影用光源２０４は、アーム１２２の先端に固定され、ロボットハンド１０２の前方に向かって平行光を照射する。これにより、投影用光源２０４は、カメラ２２４の撮像範囲の中央部に向かって平行光を照射し、カメラ２２４の撮像範囲の中央部に存在する半導体ウエハＷにストライプＳＴを投影する。
【００３８】
ロボットアーム１１６が半導体ウエハＷを把持するときには、アーム１２２の前方に半導体ウエハＷが存在するので、投影用光源２０４が照射する平行光の光束は細くても足りる。したがって、アーム１２２の先端に内蔵することができる程度に投影用光源２０４を小型化することができる。
【００３９】
｛照明用光源２１４｝
照明用光源２１４は、拡散光を発光するＬＥＤ２１６を備える。なお、照明用光源２１４の発光源にＬＥＤ２１６を使用することは必須ではなく、白熱電球、蛍光灯等も使用することができる。ただし、発光源にＬＥＤ２１６を使用することには、ＬＥＤ２１６の応答が高速であるので、照明用光源２１４の点灯と消灯とを高速で切り替えることができ、２次元画像情報の生成と３次元情報の生成とを高速に切り替えることができるという利点がある。
【００４０】
照明用光源２１４は、ロボットハンド１０２及びロボットアーム１１６から分離して固定され、作業空間ＷＳに向かって拡散光を発光する。これにより、照明用光源２１４は、カメラ２２４の撮像範囲に向かって略均一な照明光を照射する。
【００４１】
「略均一な照明光」は、カメラ２２４の撮像範囲の全体が明瞭に映された２次元画像を得ることができる程度の均一性を有していれば足りる。これにより、後述する第１の撮像を行うときにカメラ２２４の撮像範囲に照明光が照射されるので、視覚システム２０２が生成する２次元画像情報が環境光の影響を受けにくくなる。ただし、カメラ２２４の撮像範囲の全体が明瞭に映された２次元画像を環境光だけで得ることができるならば、照明用光源２１４を省略することもできる。
【００４２】
｛ＬＥＤドライバ２２０｝
図５は、投影用光源２０４及び照明用光源２１４の点灯並びにカメラ２２４の撮像のタイミングを説明するタイムチャートである。
【００４３】
ＬＥＤドライバ２２０は、カメラ２２４から入力された同期信号に同期してＬＥＤ２０６，２１６に発光用の電力を交互に供給し、投影用光源２０４及び照明用光源２１４を交互に点灯させる。これにより、ＬＥＤドライバ２２０は、図５（ａ）に示すように、一定の周期で繰り返されるフレームＦＬ１，ＦＬ２，ＦＬ３，ＦＬ４，ＦＬ５，ＦＬ６，・・・のうちの偶数番目のフレームＦＬ２，ＦＬ４，ＦＬ６，・・・に投影用光源２０４を点灯させ、奇数番目のフレームＦＬ１，ＦＬ３，ＦＬ５，・・・に投影用光源２０４を消灯させる。一方、ＬＥＤドライバ２２０は、図５（ｂ）に示すように、奇数番目のフレームＦＬ１，ＦＬ３，ＦＬ５，・・・に照明用光源２１４を点灯させ、偶数番目のフレームＦＬ２，ＦＬ４，ＦＬ６，・・・に照明用光源２１４を消灯させる。フレームＦＬ１，ＦＬ２，ＦＬ３，ＦＬ４，ＦＬ５，ＦＬ６，・・・の長さは、典型的には１／３０秒程度であるが、発光源として応答の速いＬＥＤ２０６，２１６を使用しているならば、１／６０秒や１／２００秒に高速化することもできる。
【００４４】
なお、図５（ａ）及び図５（ｂ）に示すように投影用光源２０４の点灯時間と照明用光源２１２の点灯時間とを同じにすることは必須ではなく、投影用光源２０４の点灯時間と照明用光源２１２の点灯時間とを異ならせてもよい。例えば、図６（ａ）及び図６（ｂ）に示すように、ｎを自然数として、３ｎ番目のフレームＦＬ３，ＦＬ６，・・・に投影用光源２０４を点灯させ、３ｎ−２番目及び３ｎ−１番目のフレームＦＬ１，ＦＬ２，ＦＬ４，ＦＬ５，・・・に照明用光源２１４を点灯させるようにしてもよい。
【００４５】
また、投影用光源２０４が照射する光を照明用光源２１４が照射する光よりも強くし、照明用光源２１４が半導体ウエハＷに照明光を照射している状態で投影用光源２０４が半導体ウエハＷに幾何パターンＧＰを投影しても幾何パターンＧＰをカメラ２２４が明瞭に映すことができるようにすれば、図７（ａ）及び図７（ｂ）に示すように、照明用光源２１４を常時点灯したまま、投影用光源２０４を偶数番目のフレームＦＬ２，ＦＬ４，ＦＬ６，・・・に点灯させ、奇数番目のフレームＦＬ１，ＦＬ３，ＦＬ５，・・・に消灯させるようにしてもよい。
【００４６】
｛カメラ２２４｝
図８は、カメラ２２４のブロック図である。図８に示すように、カメラ２２４は、撮像のタイミングを制御する同期信号を発生する同期信号発生器２２６と、同期信号発生器２２６から入力された同期信号に同期して撮像を行い画像信号を出力する撮像センサ２２８とを備える。これにより、カメラ２２４は、図５（ｃ）、図６（ｃ）及び図７（ｃ）に示すように、フレームＦＬ１，ＦＬ２，ＦＬ３，ＦＬ４，ＦＬ５、ＦＬ６，・・・に撮像を行い、図５（ｄ）、図６（ｄ）及び図７（ｄ）に示すように、撮像より１フレーム遅れたＦＬ２，ＦＬ３，ＦＬ４，ＦＬ５、ＦＬ６，・・・に撮像により得られた画像信号を出力する。
【００４７】
｛画像処理装置２３２｝
図９は、画像処理装置２３２のハードウエアの構成を示すブロック図である。図９に示すように、画像処理装置２３２は、ＣＰＵ２３４とメモリ２３６とハードディスクドライブ２３８とを備えるコンピュータである。画像処理装置２３２は、ハードディスクドライブ２３８からメモリ２３６にロードされた画像処理プログラム２５８にしたがってカメラ２２４から入力された画像信号を処理する。なお、ロボット制御装置１３２と画像処理装置２３２とを別々のコンピュータとすることは必須ではなく、１台のコンピュータにロボット制御装置１３２及び画像処理装置２３２の両方の機能を持たせてもよい。また、画像処理装置２３２の全部又は一部の機能を専用のハードウエアによって実現してもよい。
【００４８】
また、画像処理装置２３２は、カメラ２２４から入力されたアナログの画像信号をデジタルの画像データに変換するＡ／Ｄコンバータ２４０と、画像データを記憶するフレームメモリ２４２とを備える。
【００４９】
さらに、画像処理装置２３２は、ユーザインターフェースとして、操作者の操作を受け付けるキーボード２４６及びマウス２４８並びに情報を表示するモニタ２５０を備える。キーボード２４６及びマウス２４８はＣＰＵ２２３４に接続される。ＣＰＵ２３４は、キーボード２４６及びマウス２４８に対して行われた操作に応じた処理を行う。また、モニタ２５０は、ビデオボード２５２に接続されており、ＣＰＵ２３４から与えられた描画命令にしたがって、２次元画像情報や３次元情報その他の情報を表示する。画像処理装置２３２からロボット制御装置１３２への２次元画像情報及び３次元情報の転送は、通信インターフェース２５４を介して行われる。ＣＰＵ２３４、メモリ２３６、ハードディスクドライブ２３８、Ａ／Ｄコンバータ２４０、フレームメモリ２４２、ビデオボード２５２及び通信インターフェース２５４は、内部バス２５６に接続され、相互にデータのやり取りをすることができる。
【００５０】
｛画像処理装置２３２における画像処理｝
図１０は、画像処理装置２３２が画像処理プログラム２５８を実行することにより実現される機能を示すブロック図である。
【００５１】
図１０に示すように、画像処理装置２３２は、機能的にいって、２次元画像情報を含む画像データに対する処理を選択する処理選択部２６０と、対象物である半導体ウエハＷに関する３次元情報を生成する３次元情報生成部２６２と、半導体ウエハＷに投影用光源２０４がストライプＳＴを投影することができるか否かを判定する投影可否判定部２７０とを備える。
【００５２】
｛処理選択部２６０｝
ＬＥＤドライバ２２０及び同期信号発生器２２が図５に示すタイミングの制御を行う場合、Ａ／Ｄコンバータ２４０を介してカメラ２２４から取り込んだ画像データは、投影用光源２０４を消灯させ照明用光源２１４を点灯させているフレームＦＬ１，ＦＬ３，ＦＬ５，・・・にカメラ２２４に第１の撮像を行わせ生成させた画像信号をデジタル化した第１の画像データＤ１，Ｄ３，Ｄ５，・・・と、照明用光源２１４を消灯させ投影用光源２０４を点灯させているフレームＦＬ２，ＦＬ４，ＦＬ６，・・・にカメラ２２４に第２の撮像を行わせ生成させた画像信号をデジタル化した第２の画像データＤ２，Ｄ４，Ｄ６，・・・との２種類に分類される。もちろん、図６に示すタイミングの制御を行う場合、画像データは、投影用光源２０４を消灯させ照明用光源２１４を点灯させているフレームＦＬ１，ＦＬ２，ＦＬ４，ＦＬ５，・・・にカメラ２２４に第１の撮像を行わせ生成させた画像信号をデジタル化した第１の画像データＤ１，Ｄ２，Ｄ４，Ｄ５・・・と、照明用光源２１４を消灯させ投影用光源２０４を点灯させているフレームＦＬ３，ＦＬ６，・・・にカメラ２２４に第２の撮像を行わせ生成させた画像信号をデジタル化した第２の画像データＤ３，Ｄ６，・・・との２種類に分類される。また、図７に示すタイミングの制御を行う場合、画像データは、投影用光源２０４を消灯させているフレームＦＬ１，ＦＬ３，ＦＬ５，・・・にカメラ２２４に第１の撮像を行わせ生成させた画像信号をデジタル化した第１の画像データＤ１，Ｄ３，Ｄ５，・・・と、投影用光源２０４を点灯させているフレームＦＬ２，ＦＬ４，ＦＬ６，・・・にカメラ２２４に第２の撮像を行わせ生成させた画像信号をデジタル化した第２の画像データＤ２，Ｄ４，Ｄ６，・・・との２種類に分類される。
【００５３】
以下では、これらのタイミングの制御のうち、図５に示すタイミングの制御を行う場合を例として画像処理装置２３２における画像処理について説明するが、図６又は図７に示すタイミングの制御を行う場合も第１の画像データ及び第２の画像データを同様に処理することができる。
【００５４】
処理選択部２６０は、画像データＤ１，Ｄ２，Ｄ３，Ｄ４，Ｄ５，Ｄ６，・・・のうち、第１の画像データＤ１，Ｄ３，Ｄ５，・・・を投影可否判定部２７０に処理させ、第２の画像データＤ２，Ｄ４，Ｄ６，・・・を３次元情報生成部２６２に処理させる。これにより、視覚システム２０２は、２次元画像情報を生成するカメラ２２４が１台あれば２次元画像情報及び３次元情報の両方を生成することができる。このことは、２次元画像情報及び３次元情報の両方を生成する視覚システム２０２を安価に構成することに寄与する。
【００５５】
ただし、処理選択部２６０は、半導体ウエハＷに投影用光源２０４がストライプＳＴを投影することができると判定した旨の情報（以下では、「投影可能情報」という）が投影可否判定部２７０から入力された場合にのみ、第２の画像データＤ２，Ｄ４，Ｄ６，・・・を３次元情報生成部２６２に処理させる。これにより、視覚システム２０２は、半導体ウエハＷにストライプＳＴを投影することができない場合には３次元情報を生成する処理を行わないので、不要な３次元情報を生成することを防ぐことができる。
【００５６】
｛３次元情報生成部２６２｝
３次元情報生成部２６２は、第２の画像データＤ２，Ｄ４，Ｄ６，・・・に係る２次元画像からエッジを抽出するエッジ抽出部２６４と、エッジ抽出部２６４が抽出したエッジからストライプＳＴの明部ＢＲ１と暗部ＤＡ１との境界線ＢＤＬ３を検出する境界線検出部２６６と、複数の境界線ＢＤＬ３の幾何学的な関係から半導体ウエハＷに関する３次元情報を演算する３次元情報演算部２６８とを備える。
【００５７】
エッジ抽出部２６４は、微分フィルタを用いる方法等によりエッジを抽出する。
【００５８】
境界線検出部２６６は、テンプレートマッチングやハフ変換を用いる方法等により境界線を検出する。
【００５９】
３次元情報演算部２６８は、半導体ウエハＷに関する３次元情報として、半導体ウエハＷの位置をあらわす距離Ｄ及び半導体ウエハＷの姿勢をあらわすパン角θを導出する。距離Ｄは、カメラ２２４から半導体ウエハＷまでの距離をあらわしているが、産業用ロボット１では、ロボットハンド１０２及びカメラ２２４の両方がアーム１２２に固定されているので、カメラ２２４から半導体ウエハＷまでの距離Ｄがわかればロボットハンド１０２から半導体ウエハＷまでの距離も算出することができる。また、パン角θは、図１１（ａ）に示すように、光軸ＯＡに対するストライプＳＴの配列方向ＳＴＡへの半導体ウエハＷの傾き、すなわち、光軸ＯＡと半導体ウエハＷの主面とが垂直な状態からの半導体ウエハＷの配列方向ＳＴＡへの傾きをあらわしている。
【００６０】
なお、以下では、カメラ１０２の光軸と投影用光源２０４の光軸とのずれは無視できるほど小さいものとするとして、距離Ｄ及びパン角θの算出例について説明する。
【００６１】
図１２は、ストライプＳＴが投影された半導体ウエハＷが映っている２次元画像ＩＭＧ１，ＩＭＧ２を示す図である。図１２（ａ）に示すように、２次元画像ＩＭＧ１において境界線ＢＤＬ１が平行となっており、隣接する境界線ＢＤＬ１の間隔が一定である場合は、３次元情報演算部２６８は、半導体ウエアＷが光軸ＯＡに対して傾いていない、すなわち、θ＝０であると判断して、式（１）にしたがって、ストライプ幅Ｘｂに基づいて距離Ｄを算出する。
【００６２】
【数１】
【００６３】
ここで、２次元画像ＩＭＧ１におけるストライプ幅Ｘａ，Ｘｂは、図１２（ａ）に示すように、２次元画像ＩＭＧ１に映っているストライプＳＴの一の境界線ＢＤＬ１１とその２つ隣りの他の境界線ＢＤＬ１２との間の長さを画素数であらわたものであって、ストライプ幅Ｘａはキャリブレーション時に取得され、ストライプ幅Ｘｂは測定時に取得される。また、距離Ｌは、キャリブレーション時に取得されたカメラ２２４からストライプＳＴの被投影物までの距離である。なお、２つ隣りの境界線との間隔をストライプ幅Ｘａ，Ｘｂとすることは必須ではなく、隣接する境界線又は３つ以上隣の境界線との間隔をストライプ幅Ｘａ，Ｘｂとしてもよい。
【００６４】
このように、２次元画像ＩＭＧ１におけるストライプ幅Ｘｂに基づいて距離Ｄを簡単な計算で算出することができるのは、ストライプＳＴが平行光によって投影されるため、距離Ｄにかかわらず半導体ウエハＷに投影されるストライプＳＴの大きさが変化せず、距離Ｄが離れるほど２次元画像ＩＭＧ１におけるストライプ幅Ｘｂが小さくなることを利用している。言うまでもなく、このような簡単な計算による距離Ｄの算出は、距離Ｄを高速に導出することに寄与する。
【００６５】
また、図１２（ｂ）に示すように、２次元画像ＩＭＧ２において境界線ＢＤＬ２が平行となっているが、隣接する境界線ＢＤＬ１の間隔が一定でない場合は、３次元情報演算部２６８は、半導体ウエアＷが光軸ＯＡに対して傾いている、すなわち、θ≠０であると判断して、式（２）にしたがって、ストライプ幅Ｘｂ１，Ｘｂ２に基づいて距離Ｄを算出し、式（３）にしたがって、ストライプＳＴの形状のひずみに基づいてパン角θを算出する。ここで、「形状のひずみ」とは、投影用光源２０４の光軸と垂直な被投影面に投影されたストライプＳＴと相似な形状からのずれを意味する。
【００６６】
【数２】
【００６７】
ここで、２次元画像ＩＭＧ２におけるストライプ幅Ｘｂ１，Ｘｂ２は、図１２（ｂ）に示すように、２次元画像ＩＭＧ２に映っているストライプＳＴの境界線ＢＤＬ２１とその２つ隣りの他の境界線ＢＤＬ２２，ＢＤＬ２３との間の長さを画素数であらわたものであって、測定時に取得される。また、ストライプ幅ＳＴＷは、図４（ａ）に示すように、投影用光源２０４の光軸と垂直な被投影面に投影されたストライプＳＴにおける境界線ＢＤＬ３１とその２つ隣りの他の境界線ＢＤＬ３２との間隔である。このストライプ幅ＳＴＷは、マスク２１０の透過部の幅によって決まる。
【００６８】
なお、ここでは、半導体ウエハＷの姿勢としてパン角θのみを算出する例を示したが、幾何パターンＧＰとしてチェックＣＨを使用したり、ストライプＳＴの向きを一時的に９０°回転したりすれば、同様の方法によりチルト角φも算出することができる。ここでいうチルト角φは、図１１（ｂ）に示すように、光軸ＯＡに対するストライプＳＴの配列方向ＳＴＡと垂直な方向への半導体ウエハＷの傾きをあらわしている。
【００６９】
｛投影可否判定部２７０｝
投影可否判定部２７０は、２次元画像情報のうちの半導体ウエハＷが映っている部分を特定し、特定した部分に映っている半導体ウエハＷに投影用光源２０４がストライプＳＴを投影することができるか否かを判定する。さらに、投影可否判定部２７０は、半導体ウエハＷに投影用光源２０４がストライプＳＴを投影することができると判定した場合に、その旨を示す投影可能情報を処理選択部２６０に出力する。
【００７０】
半導体ウエハＷに関する部分を特定する方法は制限されないが、以下では、半導体ウエハＷが特定の形状を有していることを利用してテンプレートマッチングを用いて特定する方法を説明する。
【００７１】
図１０に示すように、投影可否判定部２７０は、第１の画像データＤ１，Ｄ３，Ｄ５，・・・に係る２次元画像からエッジを抽出するエッジ抽出部２７２と、エッジ抽出部２７２が抽出したエッジから半導体ウエハＷの輪郭を検出する半導体ウエハ検出部２７４と、半導体ウエハ検出部２７４が検出した半導体ウエハＷの位置が基準範囲内に含まれているか否かを判定する位置判定部２７６とを備える。
【００７２】
エッジ抽出部２７２は、微分フィルタを用いる方法等によりエッジを抽出する。これにより、例えば、例えば、図１３（ａ）に示すような円板形状の物体及び矩形板形状の物体ＯＢ３が映っている２次元画像ＩＭＧ３からエッジを抽出をすると、図１３（ｂ）に示すような円形及び矩形のエッジＥＤ４が抽出された２次元画像ＩＭＧ４が得られる。
【００７３】
半導体ウエハ検出部２７４は、エッジ抽出部２７２が抽出したエッジからあらかじめ登録されているテンプレートと類似した形状を有するエッジを検出する。したがって、半導体ウエハＷの輪郭形状をテンプレートとして登録しておけば、半導体ウエハ検出部２７４は、半導体ウエハＷを検出し、２次元画像において半導体ウエハＷが映っている位置を特定することができる。例えば、半導体ウエハＷが円板であれば、円をテンプレートとして登録しておけばよい。もちろん、検出能力を向上するため、テンプレートをアフィン変換して変形する等の周知の画像処理技術を採用してもよい。
【００７４】
位置判定部２７６は、半導体ウエハ検出部２７４が特定した２次元画像において半導体ウエハＷが映っている位置に基づいて、投影用光源２０４が半導体ウエハＷにストライプＳＴを投影することができるか否かを判定する。より具体的には、位置判定部２７６は、２次元画像の中央部に半導体ウエハＷが映っていれば、投影用光源２０４が半導体ウエハＷにストライプＳＴを投影することができると判定する。もちろん、２次元画像の中央部を基準とする判定は、カメラ２２４の光軸ＯＡと投影用光源２０４の光軸とのずれを無視できる場合にのみ採用することができるものであるので、ずれを無視することができない場合は、ずれを考慮して基準を設定する。
【００７５】
｛知覚システム２０２の利点｝
このような知覚システム２０２によれば、ストライプＳＴを投影することができれば２次元画像情報及び３次元情報の両方を生成することができるので、使用することができる状況の制約を少なくすることができる。特に、知覚システム２０２は、大きさが異なる複数の半導体ウエハＷが混在する場合でも２次元画像情報及び３次元情報の両方を高速に生成することができる。また、このような知覚システム２０２によれば、光学系の駆動が不要であるので、２次元画像情報及び３次元情報の両方を高速に生成することができる。
【００７６】
＜３ 視覚システム２０２のキャリブレーション＞
視覚システム２０２に精度の高い３次元情報を生成させ、産業用ロボット１を正確に動作させるためには、事前に視覚システム２０２のキャリブレーションを行い、距離Ｌ及びストライプ間隔Ｘａを視覚システム２０２に登録する必要がある。
【００７７】
視覚システム２０２のキャリブレーションにあたっては、まず、ロボットハンド１０２の前方にストライプＳＴの被投影物をカメラ２２４の光軸ＯＡと被投影面とが垂直になるように設置し、カメラ２２４から当該被投影面までの距離Ｌを計る。次に、カメラ２２４に撮像を行わせ、カメラ２２４から取り込んだ画像データに係る２次元画像をモニタ２５０に表示させて、２次元画像におけるストライプ間隔Ｘａを数える。
【００７８】
そして、このようにして得た距離Ｌ及びストライプ間隔Ｘａをキーボード２４６から画像処理装置２３２に入力しメモリ２３６に記憶させることにより、視覚システム２０２は精度の高い３次元情報を生成することができるようになる。
【００７９】
＜４ 産業用ロボット１の動作＞
図１４は、視覚システム２０２が２次元情報及び３次元情報を生成するときの産業用ロボット１の単位測定動作を説明するフローチャートであり、図１７は、当該単位測定動作を繰り返すことによる実現される、半導体ウエハＷの把持のための産業用ロボット１の動体予測動作を説明するフローチャートである。また、図１５は、投影用光源２０４及びカメラ２２４と半導体ウエハＷとの位置関係を示す模式図であり、図１６は、画像処理装置２３２が取り込んだ画像データに係る２次元画像ＩＭＧ５，ＩＭＧ６を示す図である。
【００８０】
｛産業用ロボット１の単位測定動作｝
図１４に示すように、産業用ロボット１が単位測定動作を開始すると、まず、奇数番目のフレームＦＬｐに照明用光源２１４が点灯するとともに（ステップＳ１０１）、カメラ２２４が第１の撮像を行いストライプＳＴが映っていない第１の２次元画像情報を含む画像信号を生成する（ステップＳ１０２）。
【００８１】
続いて、処理選択部２６０がステップＳ１０１において第１の撮像を行うことにより画像処理装置２３２に取り込まれた第１の画像データＤｐを投影可否判定部２７０に処理させ、投影可否判定部２７０が半導体ウエハＷにストライプＳＴを投影することができるか否かを判定する（ステップＳ１０３）。このとき、図１５（ａ）に示すように、半導体ウエハＷがカメラ２２４の前方正面になく、図１６（ａ）に示すように２次元画像ＩＭＧ５の周辺部に半導体ウエハＷが映っている場合は、投影可否判定部２７０は、半導体ウエハＷにストライプＳＴを投影することができないと判定して（ステップＳ１０３で"NO"）、ロボット制御装置１３２にロボットアーム１１６を動作させて投影用光源２０４のストライプの投影先及びカメラ２２４の撮像範囲をずらす（ステップＳ１０４）。そして、視覚システム２０２は、ステップＳ１０４の終了後に再びステップＳ１０１を実行する。このようなステップＳ１０１〜Ｓ１０４のループ処理によれば、半導体ウエハＷにストライプＳＴを投影することができるようになるまでロボットアーム１１６が動作するので、投影用光源２０４及びカメラ２２４と半導体ウエハＷとの当初の位置関係にかかわらず、半導体ウエハＷにストライプＳＴを投影することができるようになる。
【００８２】
一方，図１５（ｂ）に示すように、半導体ウエハＷがカメラ２２４の前方正面にあり、図１６（ｂ）に示すように２次元画像ＩＭＧ５の中央部に半導体ウエハＷが映っている場合は、投影可否判定部２７０は、半導体ウエハＷにストライプＳＴを投影することができると判定して（ステップＳ１０３で"YES"）、投影可能情報を処理選択部２６０に与える（ステップＳ１０５）。
【００８３】
続いて、奇数番目のフレームＦＬｑに投影用光源２０４が点灯するとともに（ステップＳ１０６）、カメラ２２４が第２の撮像を行いストライプＳＴが映っている第２の２次元画像情報を含む画像信号を生成する（ステップＳ１０７）。このステップＳ１０６〜Ｓ１０７を実行するフレームＦＬｑは、ステップＳ１０１〜Ｓ１０２を実行したフレームＦＬｐの後のフレームであることは当然であるが、必ずしもフレームＦＬｐの次のフレームである必要はない。したがって、フレームＦＬｐとフレームＦＬｑとの間に処理が行われない空フレームが挿入されることがありうる。なお、この空フレームにおいて投影用光源２０４や照明用光源２０６の点灯を一時的に中止して、視覚システム２０２の消費電力を抑制するようにしてもよい。
【００８４】
次に、投影可能情報を与えられた処理選択部２６０がステップＳ１０７において第２の撮像を行うことにより画像処理装置２３２に取り込まれた第２の画像データＤｑを３次元情報生成部２７０に処理させ、３次元情報生成部２７０が半導体ウエハＷに関する３次元情報を生成する（ステップＳ１０８）。
【００８５】
このように視覚システム２０２がステップＳ１０２において生成した２次元画像情報及びステップＳ１０８において生成した３次元情報は、産業用ロボット２０２の制御に使用される。なお、これらの２次元画像情報及び３次元情報をモニタ２５０に表示するようにしてもよい。
【００８６】
｛産業用ロボット１の動体予測動作｝
図１７に示すように、産業用ロボット１は、動体予測動作を行う場合、まず、第１の単位測定動作（ステップＳ１１１）及び第２の単位測定動作（ステップＳ１１２）を順次実行する。このとき、第１の単位測定動作が終了した後に第２の単位測定動作を開始してもよいが、第１の単位測定動作が終了する前に第２の単位測定動作を開始してもよい。
【００８７】
第１の単位測定動作及び第２の単位測定動作が終了した後、ロボット制御装置１３２は、第１の単位測定動作及び第２の単位測定動作により得られた３次元情報から半導体ウエハＷの位置及び姿勢を予測する（ステップＳ１１３）。すなわち、ロボット制御装置１３２は、式（４）に従って時刻ｔにおける距離Ｄ（ｔ）を算出し、式（５）に従って時刻ｔにおけるパン角θを算出する。
【００８８】
【数３】
【００８９】
ここで、距離Ｄ１及びパン角θ１は、第１の単位測定動作により得られた距離及びパン角であり、時刻ｔ１は、第１の単位測定動作においてカメラ２２４が撮像を行った時刻である。同様に、距離Ｄ２及びパン角θ２は、第２の単位測定動作により得られた距離及びパン角であり、時刻ｔ２は、第２の単位測定動作においてカメラ２２４が撮像を行った時刻である。
【００９０】
なお、式（４）及び式（５）のような１次の外挿ではなく２次以上の高次の外挿を行ってもよい。また、３個以上の距離及びパン角を外挿して時刻ｔにおける距離Ｄ（ｔ）及びパン角θ（ｔ）を算出してもよい。
【００９１】
時刻ｔにおける距離Ｄ（ｔ）及びパン角θ（ｔ）の予測が終了すると、ロボット制御装置１は、当該予測の結果に基づいて制御信号をモータ１１２，１２６，１２８に出力し、半導体ウエハＷを把持する（ステップＳ１１４）。
【００９２】
これにより、産業用ロボットＷは、半導体ウエハＷの動きを予測して把持することになる。
【００９３】
この発明は詳細に説明されたが、上記した説明は、すべての局面において、例示であって、この発明がそれに限定されるものではない。例示されていない無数の変形例が、この発明の範囲から外れることなく想定され得るものと解される。
【図面の簡単な説明】
【００９４】
【図１】望ましい実施形態に係る産業用ロボットの模式図である。
【図２】ロボット制御装置のハードウエアの構成を示すブロック図である。
【図３】投影用光源の模式図である。
【図４】幾何パターンを示す図である。
【図５】カメラの撮像並びに投影用光源及び照明用光源の点灯のタイミングを説明するタイムチャートである。
【図６】カメラの撮像並びに投影用光源及び照明用光源の点灯のタイミングを説明するタイムチャートである。
【図７】カメラの撮像並びに投影用光源及び照明用光源の点灯のタイミングを説明するタイムチャートである。
【図８】カメラのブロック図である。
【図９】画像処理装置のハードウエアの構成を示すブロック図である。
【図１０】画像処理装置の機能を示すブロック図である。
【図１１】半導体ウエハの姿勢をあらわすパン角θ及びチルト角φを説明する模式図である。
【図１２】ストライプが投影された半導体ウエハが映っている２次元画像を示す図である。
【図１３】エッジを抽出する前後の２次元画像を示す図である。
【図１４】産業用ロボットの単位測定動作を説明するフローチャートである。
【図１５】投影用光源及びカメラと半導体ウエハとの位置関係を示す模式図である。
【図１６】画像処理装置２３２が取り込んだ画像データに係る２次元画像を示す図である。
【図１７】産業用ロボットの動体予測動作を説明するフローチャートである。
【符号の説明】
【００９５】
１ 産業用ロボット
２０２ 視覚システム
２０４ 投影用光源
２０６ 発光ダイオード
２０８ 光学系
２１４ 照明用光源
２２０ ＬＥＤドライバ
２２４ カメラ
２２６ 同期信号発生器
２３２ 画像処理装置
２６０ 処理選択部
２６２ ３次元情報生成部
２７０ 投影可否判定部
Ｗ 半導体ウエハ
ＧＰ 幾何パターン
ＳＴ ストライプ
【技術分野】
【０００１】
本発明は、２次元画像情報及び３次元情報の両方を生成する画像情報生成装置及び画像情報生成方法に関する。
【背景技術】
【０００２】
産業用ロボットその他のロボットを知能化するためには、視覚情報を生成する視覚システムをロボットに導入することが重要である。特に、平面的な２次元画像情報だけでなく対象物までの距離等の立体的な３次元情報も生成することができる視覚システムをロボットに導入すれば、ロボットの自律性を大きく向上することができる。このことは、対象物を把持するという基本的な動作であっても、対象物までの距離等の３次元情報が必須となることからも明らかである。
【０００３】
２次元画像情報だけでなく３次元情報も生成する視覚システムは、一般的には、間隔を置いて設置した２台のカメラの各々が生成した２個の２次元画像情報から視差を特定し、当該視差から３次元情報を導出する。しかし、このような視覚システムは、２台のカメラを必要とするために高価であり、ロボットへの導入は進んでいない。
【０００４】
そこで、１台のカメラで２次元画像情報及び３次元情報の両方を生成することができる視覚システムが求められている。
【０００５】
特許文献１は、そのような視覚システムの一例であって、自動車の前方に向けて１台のカメラを下方に傾けて設置し、対象物までの距離によって対象物が映っている位置が上下方向に移動することを利用して対象物までの距離の情報を生成する視覚システムを開示している。
【０００６】
一方、特許文献２も、そのような視覚システムの一例であって、ズーミングをすることができる１台のカメラを設置し、対象物までの距離によってカメラをズーミングしたときの対象物が映っている位置の移動量が変化することを利用して対象物までの距離の情報を生成する視覚システムを開示している。
【０００７】
【特許文献１】特開２００６−３１３１３号公報
【特許文献２】特開２００４−２３９７９１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかし、特許文献１に開示されている視覚システムは、平坦な路面を走行する自動車と自動車との車間距離を検知する場合のような限られた状況では役に立つが、使用するロボットの知能化が期待されるような複雑な作業において対象物までの距離の情報を生成する場合等のような複雑な状況ではあまり役に立たない。特に、カメラの仰角を固定しなければならないことは、使用することができる状況を制約してしまう。
【０００９】
また、特許文献２に開示されている視覚システムは、ズーミングのための光学系の駆動に時間がかかるので、対象物までの距離の情報を高速に生成することは困難である。
【００１０】
本発明は、これらの問題を解決するためになされたもので、安価に構成することができ、使用することができる状況の制約が少なく、２次元画像情報及び３次元情報の両方を高速に生成することができる視覚システム等の画像情報生成装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記課題を解決するため、請求項１の発明は、２次元画像情報及び３次元情報の両方を生成する画像情報生成装置であって、撮像を行い２次元画像情報を生成する撮像部と、平行光を照射し幾何パターンを投影する投影用光源と、前記撮像部が生成した２次元画像情報のうちの前記投影用光源が投影した幾何パターンに関する部分から３次元情報を生成する３次元情報生成部と、前記投影用光源の点灯及び前記撮像部の撮像のタイミングを制御する制御部と、前記撮像部が生成した２次元画像情報に対する処理を選択する処理選択部と、を備え、前記制御部は、前記投影用光源を点灯させていないときに前記撮像部に第１の撮像を行わせて第１の２次元画像情報を生成させ、前記投影用光源を点灯させているときに前記撮像部に第２の撮像を行わせて第２の２次元画像情報を生成させ、前記処理選択部は、第２の２次元画像情報を前記３次元情報生成部に処理させる。
【００１２】
請求項２の発明は、請求項１に記載の画像情報生成装置において、前記撮像部の撮像範囲を照明する照明光を照射する照明用光源、をさらに備え、前記制御部は、前記照明用光源の点灯を制御し、前記撮像部に第１の撮像を行わせるときに前記照明用光源を点灯させる。
【００１３】
請求項３の発明は、請求項１又は請求項２に記載の画像情報生成装置において、前記投影用光源は、発光ダイオードと、前記発光ダイオードが発光した拡散光を平行光に変換する光学系と、を備える。
【００１４】
請求項４の発明は、請求項１ないし請求項３のいずれかに記載の画像情報生成装置において、前記３次元情報生成部は、第２の２次元画像情報に係る２次元画像に映っている幾何パターンの基準箇所の間の長さに基づいて前記撮像部から幾何パターンの被投影物までの距離の情報を生成する。
【００１５】
請求項５の発明は、請求項１ないし請求項３のいずれかに記載の画像情報生成装置において、前記３次元情報生成部は、第２の２次元画像情報に係る２次元画像に映っている幾何パターンの形状のひずみに基づいて幾何パターンの被投影物の姿勢の情報を生成する。
【００１６】
請求項６の発明は、請求項１ないし請求項５のいずれかに記載の画像情報生成装置において、第１の２次元画像情報のうちの特定の形状を有する対象物が映っている部分を特定し、特定した部分に映っている対象物に前記投影用光源が幾何パターンを投影することができるか否かを判定する投影可否判定部と、をさらに備え、前記処理選択部は、第１の２次元画像情報を前記投影可否判定部に処理させ、特定の形状を有する対象物に幾何パターンを投影することができると前記投影可否判定部が判定した場合に、第２の２次元画像情報を前記３次元情報生成部に処理させる。
【００１７】
請求項７の発明は、２次元画像情報及び３次元情報の両方を生成する画像情報生成方法であって、(a)第１の撮像を行い第１の２次元画像情報を生成する工程と、(b)前記工程(a)において撮像を行っていないときに平行光を照射し幾何パターンを投影する工程と、(c)前記工程(b)において幾何パターンを投影しているときに第２の撮像を行い第２の２次元画像情報を生成する工程と、(d)前記工程(c)において生成された第２の２次元画像情報のうちの前記工程(b)において投影された幾何パターンが映っている部分から３次元情報を生成する工程と、を備える。
【発明の効果】
【００１８】
請求項１ないし請求項７の発明によれば、２次元画像情報を生成する撮像部が１台あれば２次元画像情報及び３次元情報の両方を生成することができるので、２次元画像情報及び３次元情報の両方を出力する画像情報生成装置を安価に構成することができる。また、請求項１の発明によれば、幾何パターンを投影することができれば２次元画像情報及び３次元情報の両方を生成することができるので、使用することができる状況の制約を少なくすることができる。さらに、請求項１の発明によれば、光学系の駆動が不要であるので、２次元画像情報及び３次元情報の両方を高速に生成することができる。
【００１９】
請求項２の発明によれば、第１の撮像を行うときに照明光が照射されるので、第１の２次元画像情報が環境光の影響を受けにくくなる。
【００２０】
請求項３の発明によれば、発光ダイオードの応答が高速であるので、投影用光源の点灯と消灯とを高速で切り替えることができ、２次元画像情報の生成と３次元情報の生成とを高速に切り替えることができる。また、発光ダイオードは理想的な点光源に近いので、簡単な光学系で拡散光を平行光に変換することができる。
【００２１】
請求項４の発明によれば、撮像部から被投影物までの距離を簡単な計算で算出することができるので、撮像部から被投影物までの距離を高速に導出することができる。
【００２２】
請求項５の発明によれば、被投影物の姿勢を簡単な計算で算出することができるので、被投影物の姿勢を高速に導出することができる。
【００２３】
請求項６の発明によれば、対象物に幾何パターンを投影することができない場合には３次元情報を生成する処理を行わないので、不要な３次元情報を生成することを防ぐことができる。
【発明を実施するための最良の形態】
【００２４】
＜１ 産業用ロボット１の構成＞
図１は、本発明の望ましい実施形態に係る産業用ロボット１の模式図である。産業用ロボット１は、前工程から半導体ウエハＷを受け取ってキャリアにロードするとともに、キャリアから半導体ウエハＷをアンロードして後工程に受け渡す。ただし、このことは、本発明に係る画像情報生成装置及び画像情報生成方法の導入先が産業用ロボット１に制限されることを意味しない。したがって、他の種類の産業用ロボットや産業用ロボット以外のロボットに本発明に係る画像情報生成装置及び画像情報生成方法を導入しても良いし、ロボットの範疇に含まれない装置に本発明に係る画像情報生成装置及び画像情報生成方法を導入しても良い。
【００２５】
図１に示すように、産業用ロボット１は、処理の対象となる半導体ウエハＷを把持するロボットハンド１０２と、ロボットハンド１０２の位置及び姿勢を変化させるロボットアーム１１６と、ロボットハンド１０２及びロボットアーム１１６を制御するロボット制御装置１３２と、ロボットハンド１０２の前方に関する２次元画像情報及び３次元情報を生成する画像情報生成装置となる視覚システム２０２とを備える。
【００２６】
｛ロボットハンド１０２｝
ロボットハンド１０２は、関節１０６を軸としてアーム１２２に対して回転するフィンガ１０４と、関節１０８を軸としてアーム１２２に対して回転するフィンガ１１０と、フィンガ１０４，１１０を回転させるモータ１１２とを備える。ロボットハンド１０２は、ロボット制御装置１３２から与えられた制御信号に応じてモータ１１２にフィンガ１０４，１１０を回転させることにより、フィンガ１０４，１１０を開閉し、フィンガ１０４，１１０の間にある半導体ウエハＷを把持又は解放する。もちろん、ロボットハンド１０２は、制御信号に応じて半導体ウエハＷを把持又は解放することができれば、どのような形式のものであってもよい。
【００２７】
｛ロボットアーム１１６｝
ロボットアーム１１６は、関節１２０を軸としてベース１３０に対して回転するアーム１１８と、関節１２４を軸としてアーム１１８に対して回転するアーム１２２と、アーム１１８を回転させるモータ１２６と、アーム１２２を回転させるモータ１２８とを備える。ロボットアーム１１６は、ロボット制御装置１３２から与えられた制御信号に応じてモータ１２６にアーム１１８を回転させ、モータ１２８にアーム１２２を回転させることにより、ロボットハンド１０２の位置及び姿勢を変化させる。もちろん、ロボットアーム１１６は、制御信号に応じてロボットハンド１０２の位置及び姿勢を変化させることができれば、どのような形式のものであってもよい。
【００２８】
｛ロボット制御装置１３２｝
図２は、ロボット制御装置１３２ののハードウエアの構成を示すブロック図である。
【００２９】
図２に示すように、ロボット制御装置１３２は、ＣＰＵ１３４とメモリ１３６とハードディスクドライブ１３８とを備えるコンピュータである。ロボット制御装置１３２は、ハードディスクドライブ１３８からメモリ１３６にロードされたロボット制御プログラム１４６にしたがってモータ１１２，１２６，１２８に制御信号を出力し、ロボットハンド１０２及びロボットアーム１１６を制御する。これにより、産業用ロボット１は、作業空間ＷＳにおいて半導体ウエハＷを把持し搬送する。また、ロボット制御装置１３２は、画像処理装置２３２から転送されてきた２次元画像情報及び３次元情報から半導体ウエハＷを把持するために必要なフィンガ１０４，１１０及びアーム１１８，１２０の回転量を算出し、当該回転量を得るために必要な制御信号をモータ１１２，１２６，１２８に出力する。ロボット制御装置１３２からモータ１１２，１２６，１２８への制御信号の出力は、入出力インターフェース１４０を介して行われ、画像処理装置２３２からロボット制御装置１３２への２次元画像情報及び３次元情報の転送は、通信インターフェース１４２を介して行われる。ＣＰＵ１３４、メモリ１３６、ハードディスクドライブ１３８、入出力インターフェース１４０及び通信インターフェース１４２は、内部バス１４４に接続され、相互にデータのやり取りをすることができる。
【００３０】
｛視覚システム２０２｝
視覚システム２０２は、ロボットハンド１０２の前方を撮像して２次元画像情報を生成する。加えて、視覚システム２０２は、ロボットハンド１０２の前方にある半導体ウエハＷに幾何パターンＧＰを投影し、幾何パターンＧＰの撮像結果から半導体ウエハＷの位置及び姿勢に関する３次元画像情報を生成する。以下では、この視覚システム２０２について詳細に説明する。
【００３１】
＜２ 視覚システム２０２の構成＞
図１に示すように、視覚システム２０２は、幾何パターンＧＰを投影する投影用光源２０４と、作業空間ＷＳを照明する照明用光源２１４と、投影用光源２０４及び照明用光源２１４の各々が備える後述するＬＥＤ（発光ダイオード）２０６，２１６に発光用の電力を供給するＬＥＤドライバ２２０とを備える。また、視覚システム２０２は、ロボットハンド１０２の前方を撮像して２次元画像情報を含む画像信号を生成するカメラ２２４と、カメラ２２４が生成した画像信号を処理する画像処理装置２３２とを備える。
【００３２】
｛投影用光源２０４｝
図３は、投影用光源２０４の模式図である。図３は、投影用光源２０４の断面図となっている。
【００３３】
投影用光源２０４は、ＬＥＤ２０６と、ＬＥＤ２０６が発光した拡散光を平行光に変換する光学系２０８と、投影すべき幾何パターンＧＰの明部を照らす光束が通過する部分が透過部となっており残余の部分が遮蔽部となっているマスク２１０とを備える。これにより、投影用光源２０４は、平行光を照射し、被投影物までの距離にかかわらず大きさが一定の幾何パターンＧＰを半導体ウエハＷに投影する。なお、投影用光源２０４の発光源にＬＥＤ２０６を使用することは必須ではなく、白熱電球、蛍光灯等も使用することができる。ただし、発光源にＬＥＤ２０６を使用することには、ＬＥＤ２０６の応答が高速であるので、投影用光源２０４の点灯と消灯とを高速で切り替えることができ、後述する２次元画像情報の生成と３次元情報の生成とを高速に切り替えることができるという利点がある。また、ＬＥＤ２０６は理想的な点光源に近いので、簡単な光学系で拡散光を平行光に変換することができるという利点もある。
【００３４】
「平行光」は、投影用光源２０４からの距離による幾何パターンＧＰの大きさの変化が視覚システム２０２により生成される３次元情報の精度に実質的な影響を与えない程度の平行性を有していれば足りる。このことの意義は、ロボットハンド１０２の位置決め及び姿勢決めの精度以上の精度を３次元情報に求めることは無意味であることを考慮すれば明らかである。
【００３５】
幾何パターンＧＰは、幾何パターンＧＰが映っている２次元画像において長さを測定すべき場所を特定する少なくとも２個の基準箇所を含むことが必要である。「少なくとも２個の基準箇所」には、例えば、点と点、点と線、線と線等がある。「点」は、線と線との交点を含み、「線」は、暗部と明部との境界線も含むと解すべきである。
【００３６】
さらに、幾何パターンＧＰは、画像処理装置２３２により認識することが容易であることが望ましい。そのような幾何パターンＧＰには、例えば、図４（ａ）に示すような、帯形状の明部ＢＲ１と同一の帯形状の暗部ＤＡ１とを１方向に交互に配置したストライプ（縞模様）ＳＴ、図４（ｂ）に示すような、正方形形状の明部ＢＲ２と同一の正方形形状の暗部ＤＡ２とを直行する２方向に交互に配置したチェック（市松模様）ＣＨ等がある。なお、以下では、幾何パターンＧＰがストライプＳＴであり、暗部ＢＲ１と明部ＤＡ１との境界線ＢＤＬ３を「基準箇所」として用いるものとして説明を進める。
【００３７】
投影用光源２０４は、アーム１２２の先端に固定され、ロボットハンド１０２の前方に向かって平行光を照射する。これにより、投影用光源２０４は、カメラ２２４の撮像範囲の中央部に向かって平行光を照射し、カメラ２２４の撮像範囲の中央部に存在する半導体ウエハＷにストライプＳＴを投影する。
【００３８】
ロボットアーム１１６が半導体ウエハＷを把持するときには、アーム１２２の前方に半導体ウエハＷが存在するので、投影用光源２０４が照射する平行光の光束は細くても足りる。したがって、アーム１２２の先端に内蔵することができる程度に投影用光源２０４を小型化することができる。
【００３９】
｛照明用光源２１４｝
照明用光源２１４は、拡散光を発光するＬＥＤ２１６を備える。なお、照明用光源２１４の発光源にＬＥＤ２１６を使用することは必須ではなく、白熱電球、蛍光灯等も使用することができる。ただし、発光源にＬＥＤ２１６を使用することには、ＬＥＤ２１６の応答が高速であるので、照明用光源２１４の点灯と消灯とを高速で切り替えることができ、２次元画像情報の生成と３次元情報の生成とを高速に切り替えることができるという利点がある。
【００４０】
照明用光源２１４は、ロボットハンド１０２及びロボットアーム１１６から分離して固定され、作業空間ＷＳに向かって拡散光を発光する。これにより、照明用光源２１４は、カメラ２２４の撮像範囲に向かって略均一な照明光を照射する。
【００４１】
「略均一な照明光」は、カメラ２２４の撮像範囲の全体が明瞭に映された２次元画像を得ることができる程度の均一性を有していれば足りる。これにより、後述する第１の撮像を行うときにカメラ２２４の撮像範囲に照明光が照射されるので、視覚システム２０２が生成する２次元画像情報が環境光の影響を受けにくくなる。ただし、カメラ２２４の撮像範囲の全体が明瞭に映された２次元画像を環境光だけで得ることができるならば、照明用光源２１４を省略することもできる。
【００４２】
｛ＬＥＤドライバ２２０｝
図５は、投影用光源２０４及び照明用光源２１４の点灯並びにカメラ２２４の撮像のタイミングを説明するタイムチャートである。
【００４３】
ＬＥＤドライバ２２０は、カメラ２２４から入力された同期信号に同期してＬＥＤ２０６，２１６に発光用の電力を交互に供給し、投影用光源２０４及び照明用光源２１４を交互に点灯させる。これにより、ＬＥＤドライバ２２０は、図５（ａ）に示すように、一定の周期で繰り返されるフレームＦＬ１，ＦＬ２，ＦＬ３，ＦＬ４，ＦＬ５，ＦＬ６，・・・のうちの偶数番目のフレームＦＬ２，ＦＬ４，ＦＬ６，・・・に投影用光源２０４を点灯させ、奇数番目のフレームＦＬ１，ＦＬ３，ＦＬ５，・・・に投影用光源２０４を消灯させる。一方、ＬＥＤドライバ２２０は、図５（ｂ）に示すように、奇数番目のフレームＦＬ１，ＦＬ３，ＦＬ５，・・・に照明用光源２１４を点灯させ、偶数番目のフレームＦＬ２，ＦＬ４，ＦＬ６，・・・に照明用光源２１４を消灯させる。フレームＦＬ１，ＦＬ２，ＦＬ３，ＦＬ４，ＦＬ５，ＦＬ６，・・・の長さは、典型的には１／３０秒程度であるが、発光源として応答の速いＬＥＤ２０６，２１６を使用しているならば、１／６０秒や１／２００秒に高速化することもできる。
【００４４】
なお、図５（ａ）及び図５（ｂ）に示すように投影用光源２０４の点灯時間と照明用光源２１２の点灯時間とを同じにすることは必須ではなく、投影用光源２０４の点灯時間と照明用光源２１２の点灯時間とを異ならせてもよい。例えば、図６（ａ）及び図６（ｂ）に示すように、ｎを自然数として、３ｎ番目のフレームＦＬ３，ＦＬ６，・・・に投影用光源２０４を点灯させ、３ｎ−２番目及び３ｎ−１番目のフレームＦＬ１，ＦＬ２，ＦＬ４，ＦＬ５，・・・に照明用光源２１４を点灯させるようにしてもよい。
【００４５】
また、投影用光源２０４が照射する光を照明用光源２１４が照射する光よりも強くし、照明用光源２１４が半導体ウエハＷに照明光を照射している状態で投影用光源２０４が半導体ウエハＷに幾何パターンＧＰを投影しても幾何パターンＧＰをカメラ２２４が明瞭に映すことができるようにすれば、図７（ａ）及び図７（ｂ）に示すように、照明用光源２１４を常時点灯したまま、投影用光源２０４を偶数番目のフレームＦＬ２，ＦＬ４，ＦＬ６，・・・に点灯させ、奇数番目のフレームＦＬ１，ＦＬ３，ＦＬ５，・・・に消灯させるようにしてもよい。
【００４６】
｛カメラ２２４｝
図８は、カメラ２２４のブロック図である。図８に示すように、カメラ２２４は、撮像のタイミングを制御する同期信号を発生する同期信号発生器２２６と、同期信号発生器２２６から入力された同期信号に同期して撮像を行い画像信号を出力する撮像センサ２２８とを備える。これにより、カメラ２２４は、図５（ｃ）、図６（ｃ）及び図７（ｃ）に示すように、フレームＦＬ１，ＦＬ２，ＦＬ３，ＦＬ４，ＦＬ５、ＦＬ６，・・・に撮像を行い、図５（ｄ）、図６（ｄ）及び図７（ｄ）に示すように、撮像より１フレーム遅れたＦＬ２，ＦＬ３，ＦＬ４，ＦＬ５、ＦＬ６，・・・に撮像により得られた画像信号を出力する。
【００４７】
｛画像処理装置２３２｝
図９は、画像処理装置２３２のハードウエアの構成を示すブロック図である。図９に示すように、画像処理装置２３２は、ＣＰＵ２３４とメモリ２３６とハードディスクドライブ２３８とを備えるコンピュータである。画像処理装置２３２は、ハードディスクドライブ２３８からメモリ２３６にロードされた画像処理プログラム２５８にしたがってカメラ２２４から入力された画像信号を処理する。なお、ロボット制御装置１３２と画像処理装置２３２とを別々のコンピュータとすることは必須ではなく、１台のコンピュータにロボット制御装置１３２及び画像処理装置２３２の両方の機能を持たせてもよい。また、画像処理装置２３２の全部又は一部の機能を専用のハードウエアによって実現してもよい。
【００４８】
また、画像処理装置２３２は、カメラ２２４から入力されたアナログの画像信号をデジタルの画像データに変換するＡ／Ｄコンバータ２４０と、画像データを記憶するフレームメモリ２４２とを備える。
【００４９】
さらに、画像処理装置２３２は、ユーザインターフェースとして、操作者の操作を受け付けるキーボード２４６及びマウス２４８並びに情報を表示するモニタ２５０を備える。キーボード２４６及びマウス２４８はＣＰＵ２２３４に接続される。ＣＰＵ２３４は、キーボード２４６及びマウス２４８に対して行われた操作に応じた処理を行う。また、モニタ２５０は、ビデオボード２５２に接続されており、ＣＰＵ２３４から与えられた描画命令にしたがって、２次元画像情報や３次元情報その他の情報を表示する。画像処理装置２３２からロボット制御装置１３２への２次元画像情報及び３次元情報の転送は、通信インターフェース２５４を介して行われる。ＣＰＵ２３４、メモリ２３６、ハードディスクドライブ２３８、Ａ／Ｄコンバータ２４０、フレームメモリ２４２、ビデオボード２５２及び通信インターフェース２５４は、内部バス２５６に接続され、相互にデータのやり取りをすることができる。
【００５０】
｛画像処理装置２３２における画像処理｝
図１０は、画像処理装置２３２が画像処理プログラム２５８を実行することにより実現される機能を示すブロック図である。
【００５１】
図１０に示すように、画像処理装置２３２は、機能的にいって、２次元画像情報を含む画像データに対する処理を選択する処理選択部２６０と、対象物である半導体ウエハＷに関する３次元情報を生成する３次元情報生成部２６２と、半導体ウエハＷに投影用光源２０４がストライプＳＴを投影することができるか否かを判定する投影可否判定部２７０とを備える。
【００５２】
｛処理選択部２６０｝
ＬＥＤドライバ２２０及び同期信号発生器２２が図５に示すタイミングの制御を行う場合、Ａ／Ｄコンバータ２４０を介してカメラ２２４から取り込んだ画像データは、投影用光源２０４を消灯させ照明用光源２１４を点灯させているフレームＦＬ１，ＦＬ３，ＦＬ５，・・・にカメラ２２４に第１の撮像を行わせ生成させた画像信号をデジタル化した第１の画像データＤ１，Ｄ３，Ｄ５，・・・と、照明用光源２１４を消灯させ投影用光源２０４を点灯させているフレームＦＬ２，ＦＬ４，ＦＬ６，・・・にカメラ２２４に第２の撮像を行わせ生成させた画像信号をデジタル化した第２の画像データＤ２，Ｄ４，Ｄ６，・・・との２種類に分類される。もちろん、図６に示すタイミングの制御を行う場合、画像データは、投影用光源２０４を消灯させ照明用光源２１４を点灯させているフレームＦＬ１，ＦＬ２，ＦＬ４，ＦＬ５，・・・にカメラ２２４に第１の撮像を行わせ生成させた画像信号をデジタル化した第１の画像データＤ１，Ｄ２，Ｄ４，Ｄ５・・・と、照明用光源２１４を消灯させ投影用光源２０４を点灯させているフレームＦＬ３，ＦＬ６，・・・にカメラ２２４に第２の撮像を行わせ生成させた画像信号をデジタル化した第２の画像データＤ３，Ｄ６，・・・との２種類に分類される。また、図７に示すタイミングの制御を行う場合、画像データは、投影用光源２０４を消灯させているフレームＦＬ１，ＦＬ３，ＦＬ５，・・・にカメラ２２４に第１の撮像を行わせ生成させた画像信号をデジタル化した第１の画像データＤ１，Ｄ３，Ｄ５，・・・と、投影用光源２０４を点灯させているフレームＦＬ２，ＦＬ４，ＦＬ６，・・・にカメラ２２４に第２の撮像を行わせ生成させた画像信号をデジタル化した第２の画像データＤ２，Ｄ４，Ｄ６，・・・との２種類に分類される。
【００５３】
以下では、これらのタイミングの制御のうち、図５に示すタイミングの制御を行う場合を例として画像処理装置２３２における画像処理について説明するが、図６又は図７に示すタイミングの制御を行う場合も第１の画像データ及び第２の画像データを同様に処理することができる。
【００５４】
処理選択部２６０は、画像データＤ１，Ｄ２，Ｄ３，Ｄ４，Ｄ５，Ｄ６，・・・のうち、第１の画像データＤ１，Ｄ３，Ｄ５，・・・を投影可否判定部２７０に処理させ、第２の画像データＤ２，Ｄ４，Ｄ６，・・・を３次元情報生成部２６２に処理させる。これにより、視覚システム２０２は、２次元画像情報を生成するカメラ２２４が１台あれば２次元画像情報及び３次元情報の両方を生成することができる。このことは、２次元画像情報及び３次元情報の両方を生成する視覚システム２０２を安価に構成することに寄与する。
【００５５】
ただし、処理選択部２６０は、半導体ウエハＷに投影用光源２０４がストライプＳＴを投影することができると判定した旨の情報（以下では、「投影可能情報」という）が投影可否判定部２７０から入力された場合にのみ、第２の画像データＤ２，Ｄ４，Ｄ６，・・・を３次元情報生成部２６２に処理させる。これにより、視覚システム２０２は、半導体ウエハＷにストライプＳＴを投影することができない場合には３次元情報を生成する処理を行わないので、不要な３次元情報を生成することを防ぐことができる。
【００５６】
｛３次元情報生成部２６２｝
３次元情報生成部２６２は、第２の画像データＤ２，Ｄ４，Ｄ６，・・・に係る２次元画像からエッジを抽出するエッジ抽出部２６４と、エッジ抽出部２６４が抽出したエッジからストライプＳＴの明部ＢＲ１と暗部ＤＡ１との境界線ＢＤＬ３を検出する境界線検出部２６６と、複数の境界線ＢＤＬ３の幾何学的な関係から半導体ウエハＷに関する３次元情報を演算する３次元情報演算部２６８とを備える。
【００５７】
エッジ抽出部２６４は、微分フィルタを用いる方法等によりエッジを抽出する。
【００５８】
境界線検出部２６６は、テンプレートマッチングやハフ変換を用いる方法等により境界線を検出する。
【００５９】
３次元情報演算部２６８は、半導体ウエハＷに関する３次元情報として、半導体ウエハＷの位置をあらわす距離Ｄ及び半導体ウエハＷの姿勢をあらわすパン角θを導出する。距離Ｄは、カメラ２２４から半導体ウエハＷまでの距離をあらわしているが、産業用ロボット１では、ロボットハンド１０２及びカメラ２２４の両方がアーム１２２に固定されているので、カメラ２２４から半導体ウエハＷまでの距離Ｄがわかればロボットハンド１０２から半導体ウエハＷまでの距離も算出することができる。また、パン角θは、図１１（ａ）に示すように、光軸ＯＡに対するストライプＳＴの配列方向ＳＴＡへの半導体ウエハＷの傾き、すなわち、光軸ＯＡと半導体ウエハＷの主面とが垂直な状態からの半導体ウエハＷの配列方向ＳＴＡへの傾きをあらわしている。
【００６０】
なお、以下では、カメラ１０２の光軸と投影用光源２０４の光軸とのずれは無視できるほど小さいものとするとして、距離Ｄ及びパン角θの算出例について説明する。
【００６１】
図１２は、ストライプＳＴが投影された半導体ウエハＷが映っている２次元画像ＩＭＧ１，ＩＭＧ２を示す図である。図１２（ａ）に示すように、２次元画像ＩＭＧ１において境界線ＢＤＬ１が平行となっており、隣接する境界線ＢＤＬ１の間隔が一定である場合は、３次元情報演算部２６８は、半導体ウエアＷが光軸ＯＡに対して傾いていない、すなわち、θ＝０であると判断して、式（１）にしたがって、ストライプ幅Ｘｂに基づいて距離Ｄを算出する。
【００６２】
【数１】
【００６３】
ここで、２次元画像ＩＭＧ１におけるストライプ幅Ｘａ，Ｘｂは、図１２（ａ）に示すように、２次元画像ＩＭＧ１に映っているストライプＳＴの一の境界線ＢＤＬ１１とその２つ隣りの他の境界線ＢＤＬ１２との間の長さを画素数であらわたものであって、ストライプ幅Ｘａはキャリブレーション時に取得され、ストライプ幅Ｘｂは測定時に取得される。また、距離Ｌは、キャリブレーション時に取得されたカメラ２２４からストライプＳＴの被投影物までの距離である。なお、２つ隣りの境界線との間隔をストライプ幅Ｘａ，Ｘｂとすることは必須ではなく、隣接する境界線又は３つ以上隣の境界線との間隔をストライプ幅Ｘａ，Ｘｂとしてもよい。
【００６４】
このように、２次元画像ＩＭＧ１におけるストライプ幅Ｘｂに基づいて距離Ｄを簡単な計算で算出することができるのは、ストライプＳＴが平行光によって投影されるため、距離Ｄにかかわらず半導体ウエハＷに投影されるストライプＳＴの大きさが変化せず、距離Ｄが離れるほど２次元画像ＩＭＧ１におけるストライプ幅Ｘｂが小さくなることを利用している。言うまでもなく、このような簡単な計算による距離Ｄの算出は、距離Ｄを高速に導出することに寄与する。
【００６５】
また、図１２（ｂ）に示すように、２次元画像ＩＭＧ２において境界線ＢＤＬ２が平行となっているが、隣接する境界線ＢＤＬ１の間隔が一定でない場合は、３次元情報演算部２６８は、半導体ウエアＷが光軸ＯＡに対して傾いている、すなわち、θ≠０であると判断して、式（２）にしたがって、ストライプ幅Ｘｂ１，Ｘｂ２に基づいて距離Ｄを算出し、式（３）にしたがって、ストライプＳＴの形状のひずみに基づいてパン角θを算出する。ここで、「形状のひずみ」とは、投影用光源２０４の光軸と垂直な被投影面に投影されたストライプＳＴと相似な形状からのずれを意味する。
【００６６】
【数２】
【００６７】
ここで、２次元画像ＩＭＧ２におけるストライプ幅Ｘｂ１，Ｘｂ２は、図１２（ｂ）に示すように、２次元画像ＩＭＧ２に映っているストライプＳＴの境界線ＢＤＬ２１とその２つ隣りの他の境界線ＢＤＬ２２，ＢＤＬ２３との間の長さを画素数であらわたものであって、測定時に取得される。また、ストライプ幅ＳＴＷは、図４（ａ）に示すように、投影用光源２０４の光軸と垂直な被投影面に投影されたストライプＳＴにおける境界線ＢＤＬ３１とその２つ隣りの他の境界線ＢＤＬ３２との間隔である。このストライプ幅ＳＴＷは、マスク２１０の透過部の幅によって決まる。
【００６８】
なお、ここでは、半導体ウエハＷの姿勢としてパン角θのみを算出する例を示したが、幾何パターンＧＰとしてチェックＣＨを使用したり、ストライプＳＴの向きを一時的に９０°回転したりすれば、同様の方法によりチルト角φも算出することができる。ここでいうチルト角φは、図１１（ｂ）に示すように、光軸ＯＡに対するストライプＳＴの配列方向ＳＴＡと垂直な方向への半導体ウエハＷの傾きをあらわしている。
【００６９】
｛投影可否判定部２７０｝
投影可否判定部２７０は、２次元画像情報のうちの半導体ウエハＷが映っている部分を特定し、特定した部分に映っている半導体ウエハＷに投影用光源２０４がストライプＳＴを投影することができるか否かを判定する。さらに、投影可否判定部２７０は、半導体ウエハＷに投影用光源２０４がストライプＳＴを投影することができると判定した場合に、その旨を示す投影可能情報を処理選択部２６０に出力する。
【００７０】
半導体ウエハＷに関する部分を特定する方法は制限されないが、以下では、半導体ウエハＷが特定の形状を有していることを利用してテンプレートマッチングを用いて特定する方法を説明する。
【００７１】
図１０に示すように、投影可否判定部２７０は、第１の画像データＤ１，Ｄ３，Ｄ５，・・・に係る２次元画像からエッジを抽出するエッジ抽出部２７２と、エッジ抽出部２７２が抽出したエッジから半導体ウエハＷの輪郭を検出する半導体ウエハ検出部２７４と、半導体ウエハ検出部２７４が検出した半導体ウエハＷの位置が基準範囲内に含まれているか否かを判定する位置判定部２７６とを備える。
【００７２】
エッジ抽出部２７２は、微分フィルタを用いる方法等によりエッジを抽出する。これにより、例えば、例えば、図１３（ａ）に示すような円板形状の物体及び矩形板形状の物体ＯＢ３が映っている２次元画像ＩＭＧ３からエッジを抽出をすると、図１３（ｂ）に示すような円形及び矩形のエッジＥＤ４が抽出された２次元画像ＩＭＧ４が得られる。
【００７３】
半導体ウエハ検出部２７４は、エッジ抽出部２７２が抽出したエッジからあらかじめ登録されているテンプレートと類似した形状を有するエッジを検出する。したがって、半導体ウエハＷの輪郭形状をテンプレートとして登録しておけば、半導体ウエハ検出部２７４は、半導体ウエハＷを検出し、２次元画像において半導体ウエハＷが映っている位置を特定することができる。例えば、半導体ウエハＷが円板であれば、円をテンプレートとして登録しておけばよい。もちろん、検出能力を向上するため、テンプレートをアフィン変換して変形する等の周知の画像処理技術を採用してもよい。
【００７４】
位置判定部２７６は、半導体ウエハ検出部２７４が特定した２次元画像において半導体ウエハＷが映っている位置に基づいて、投影用光源２０４が半導体ウエハＷにストライプＳＴを投影することができるか否かを判定する。より具体的には、位置判定部２７６は、２次元画像の中央部に半導体ウエハＷが映っていれば、投影用光源２０４が半導体ウエハＷにストライプＳＴを投影することができると判定する。もちろん、２次元画像の中央部を基準とする判定は、カメラ２２４の光軸ＯＡと投影用光源２０４の光軸とのずれを無視できる場合にのみ採用することができるものであるので、ずれを無視することができない場合は、ずれを考慮して基準を設定する。
【００７５】
｛知覚システム２０２の利点｝
このような知覚システム２０２によれば、ストライプＳＴを投影することができれば２次元画像情報及び３次元情報の両方を生成することができるので、使用することができる状況の制約を少なくすることができる。特に、知覚システム２０２は、大きさが異なる複数の半導体ウエハＷが混在する場合でも２次元画像情報及び３次元情報の両方を高速に生成することができる。また、このような知覚システム２０２によれば、光学系の駆動が不要であるので、２次元画像情報及び３次元情報の両方を高速に生成することができる。
【００７６】
＜３ 視覚システム２０２のキャリブレーション＞
視覚システム２０２に精度の高い３次元情報を生成させ、産業用ロボット１を正確に動作させるためには、事前に視覚システム２０２のキャリブレーションを行い、距離Ｌ及びストライプ間隔Ｘａを視覚システム２０２に登録する必要がある。
【００７７】
視覚システム２０２のキャリブレーションにあたっては、まず、ロボットハンド１０２の前方にストライプＳＴの被投影物をカメラ２２４の光軸ＯＡと被投影面とが垂直になるように設置し、カメラ２２４から当該被投影面までの距離Ｌを計る。次に、カメラ２２４に撮像を行わせ、カメラ２２４から取り込んだ画像データに係る２次元画像をモニタ２５０に表示させて、２次元画像におけるストライプ間隔Ｘａを数える。
【００７８】
そして、このようにして得た距離Ｌ及びストライプ間隔Ｘａをキーボード２４６から画像処理装置２３２に入力しメモリ２３６に記憶させることにより、視覚システム２０２は精度の高い３次元情報を生成することができるようになる。
【００７９】
＜４ 産業用ロボット１の動作＞
図１４は、視覚システム２０２が２次元情報及び３次元情報を生成するときの産業用ロボット１の単位測定動作を説明するフローチャートであり、図１７は、当該単位測定動作を繰り返すことによる実現される、半導体ウエハＷの把持のための産業用ロボット１の動体予測動作を説明するフローチャートである。また、図１５は、投影用光源２０４及びカメラ２２４と半導体ウエハＷとの位置関係を示す模式図であり、図１６は、画像処理装置２３２が取り込んだ画像データに係る２次元画像ＩＭＧ５，ＩＭＧ６を示す図である。
【００８０】
｛産業用ロボット１の単位測定動作｝
図１４に示すように、産業用ロボット１が単位測定動作を開始すると、まず、奇数番目のフレームＦＬｐに照明用光源２１４が点灯するとともに（ステップＳ１０１）、カメラ２２４が第１の撮像を行いストライプＳＴが映っていない第１の２次元画像情報を含む画像信号を生成する（ステップＳ１０２）。
【００８１】
続いて、処理選択部２６０がステップＳ１０１において第１の撮像を行うことにより画像処理装置２３２に取り込まれた第１の画像データＤｐを投影可否判定部２７０に処理させ、投影可否判定部２７０が半導体ウエハＷにストライプＳＴを投影することができるか否かを判定する（ステップＳ１０３）。このとき、図１５（ａ）に示すように、半導体ウエハＷがカメラ２２４の前方正面になく、図１６（ａ）に示すように２次元画像ＩＭＧ５の周辺部に半導体ウエハＷが映っている場合は、投影可否判定部２７０は、半導体ウエハＷにストライプＳＴを投影することができないと判定して（ステップＳ１０３で"NO"）、ロボット制御装置１３２にロボットアーム１１６を動作させて投影用光源２０４のストライプの投影先及びカメラ２２４の撮像範囲をずらす（ステップＳ１０４）。そして、視覚システム２０２は、ステップＳ１０４の終了後に再びステップＳ１０１を実行する。このようなステップＳ１０１〜Ｓ１０４のループ処理によれば、半導体ウエハＷにストライプＳＴを投影することができるようになるまでロボットアーム１１６が動作するので、投影用光源２０４及びカメラ２２４と半導体ウエハＷとの当初の位置関係にかかわらず、半導体ウエハＷにストライプＳＴを投影することができるようになる。
【００８２】
一方，図１５（ｂ）に示すように、半導体ウエハＷがカメラ２２４の前方正面にあり、図１６（ｂ）に示すように２次元画像ＩＭＧ５の中央部に半導体ウエハＷが映っている場合は、投影可否判定部２７０は、半導体ウエハＷにストライプＳＴを投影することができると判定して（ステップＳ１０３で"YES"）、投影可能情報を処理選択部２６０に与える（ステップＳ１０５）。
【００８３】
続いて、奇数番目のフレームＦＬｑに投影用光源２０４が点灯するとともに（ステップＳ１０６）、カメラ２２４が第２の撮像を行いストライプＳＴが映っている第２の２次元画像情報を含む画像信号を生成する（ステップＳ１０７）。このステップＳ１０６〜Ｓ１０７を実行するフレームＦＬｑは、ステップＳ１０１〜Ｓ１０２を実行したフレームＦＬｐの後のフレームであることは当然であるが、必ずしもフレームＦＬｐの次のフレームである必要はない。したがって、フレームＦＬｐとフレームＦＬｑとの間に処理が行われない空フレームが挿入されることがありうる。なお、この空フレームにおいて投影用光源２０４や照明用光源２０６の点灯を一時的に中止して、視覚システム２０２の消費電力を抑制するようにしてもよい。
【００８４】
次に、投影可能情報を与えられた処理選択部２６０がステップＳ１０７において第２の撮像を行うことにより画像処理装置２３２に取り込まれた第２の画像データＤｑを３次元情報生成部２７０に処理させ、３次元情報生成部２７０が半導体ウエハＷに関する３次元情報を生成する（ステップＳ１０８）。
【００８５】
このように視覚システム２０２がステップＳ１０２において生成した２次元画像情報及びステップＳ１０８において生成した３次元情報は、産業用ロボット２０２の制御に使用される。なお、これらの２次元画像情報及び３次元情報をモニタ２５０に表示するようにしてもよい。
【００８６】
｛産業用ロボット１の動体予測動作｝
図１７に示すように、産業用ロボット１は、動体予測動作を行う場合、まず、第１の単位測定動作（ステップＳ１１１）及び第２の単位測定動作（ステップＳ１１２）を順次実行する。このとき、第１の単位測定動作が終了した後に第２の単位測定動作を開始してもよいが、第１の単位測定動作が終了する前に第２の単位測定動作を開始してもよい。
【００８７】
第１の単位測定動作及び第２の単位測定動作が終了した後、ロボット制御装置１３２は、第１の単位測定動作及び第２の単位測定動作により得られた３次元情報から半導体ウエハＷの位置及び姿勢を予測する（ステップＳ１１３）。すなわち、ロボット制御装置１３２は、式（４）に従って時刻ｔにおける距離Ｄ（ｔ）を算出し、式（５）に従って時刻ｔにおけるパン角θを算出する。
【００８８】
【数３】
【００８９】
ここで、距離Ｄ１及びパン角θ１は、第１の単位測定動作により得られた距離及びパン角であり、時刻ｔ１は、第１の単位測定動作においてカメラ２２４が撮像を行った時刻である。同様に、距離Ｄ２及びパン角θ２は、第２の単位測定動作により得られた距離及びパン角であり、時刻ｔ２は、第２の単位測定動作においてカメラ２２４が撮像を行った時刻である。
【００９０】
なお、式（４）及び式（５）のような１次の外挿ではなく２次以上の高次の外挿を行ってもよい。また、３個以上の距離及びパン角を外挿して時刻ｔにおける距離Ｄ（ｔ）及びパン角θ（ｔ）を算出してもよい。
【００９１】
時刻ｔにおける距離Ｄ（ｔ）及びパン角θ（ｔ）の予測が終了すると、ロボット制御装置１は、当該予測の結果に基づいて制御信号をモータ１１２，１２６，１２８に出力し、半導体ウエハＷを把持する（ステップＳ１１４）。
【００９２】
これにより、産業用ロボットＷは、半導体ウエハＷの動きを予測して把持することになる。
【００９３】
この発明は詳細に説明されたが、上記した説明は、すべての局面において、例示であって、この発明がそれに限定されるものではない。例示されていない無数の変形例が、この発明の範囲から外れることなく想定され得るものと解される。
【図面の簡単な説明】
【００９４】
【図１】望ましい実施形態に係る産業用ロボットの模式図である。
【図２】ロボット制御装置のハードウエアの構成を示すブロック図である。
【図３】投影用光源の模式図である。
【図４】幾何パターンを示す図である。
【図５】カメラの撮像並びに投影用光源及び照明用光源の点灯のタイミングを説明するタイムチャートである。
【図６】カメラの撮像並びに投影用光源及び照明用光源の点灯のタイミングを説明するタイムチャートである。
【図７】カメラの撮像並びに投影用光源及び照明用光源の点灯のタイミングを説明するタイムチャートである。
【図８】カメラのブロック図である。
【図９】画像処理装置のハードウエアの構成を示すブロック図である。
【図１０】画像処理装置の機能を示すブロック図である。
【図１１】半導体ウエハの姿勢をあらわすパン角θ及びチルト角φを説明する模式図である。
【図１２】ストライプが投影された半導体ウエハが映っている２次元画像を示す図である。
【図１３】エッジを抽出する前後の２次元画像を示す図である。
【図１４】産業用ロボットの単位測定動作を説明するフローチャートである。
【図１５】投影用光源及びカメラと半導体ウエハとの位置関係を示す模式図である。
【図１６】画像処理装置２３２が取り込んだ画像データに係る２次元画像を示す図である。
【図１７】産業用ロボットの動体予測動作を説明するフローチャートである。
【符号の説明】
【００９５】
１ 産業用ロボット
２０２ 視覚システム
２０４ 投影用光源
２０６ 発光ダイオード
２０８ 光学系
２１４ 照明用光源
２２０ ＬＥＤドライバ
２２４ カメラ
２２６ 同期信号発生器
２３２ 画像処理装置
２６０ 処理選択部
２６２ ３次元情報生成部
２７０ 投影可否判定部
Ｗ 半導体ウエハ
ＧＰ 幾何パターン
ＳＴ ストライプ
【特許請求の範囲】
【請求項１】
２次元画像情報及び３次元情報の両方を生成する画像情報生成装置であって、
撮像を行い２次元画像情報を生成する撮像部と、
平行光を照射し幾何パターンを投影する投影用光源と、
前記撮像部が生成した２次元画像情報のうちの前記投影用光源が投影した幾何パターンに関する部分から３次元情報を生成する３次元情報生成部と、
前記投影用光源の点灯及び前記撮像部の撮像のタイミングを制御する制御部と、
前記撮像部が生成した２次元画像情報に対する処理を選択する処理選択部と、
を備え、
前記制御部は、
前記投影用光源を点灯させていないときに前記撮像部に第１の撮像を行わせて第１の２次元画像情報を生成させ、前記投影用光源を点灯させているときに前記撮像部に第２の撮像を行わせて第２の２次元画像情報を生成させ、
前記処理選択部は、
第２の２次元画像情報を前記３次元情報生成部に処理させる、
画像情報生成装置。
【請求項２】
請求項１に記載の画像情報生成装置において、
前記撮像部の撮像範囲を照明する照明光を照射する照明用光源、
をさらに備え、
前記制御部は、
前記照明用光源の点灯を制御し、
前記撮像部に第１の撮像を行わせるときに前記照明用光源を点灯させる、
画像情報生成装置。
【請求項３】
請求項１又は請求項２に記載の画像情報生成装置において、
前記投影用光源は、
発光ダイオードと、
前記発光ダイオードが発光した拡散光を平行光に変換する光学系と、
を備える画像情報生成装置。
【請求項４】
請求項１ないし請求項３のいずれかに記載の画像情報生成装置において、
前記３次元情報生成部は、
第２の２次元画像情報に係る２次元画像に映っている幾何パターンの基準箇所の間の長さに基づいて前記撮像部から幾何パターンの被投影物までの距離の情報を生成する、
画像情報生成装置。
【請求項５】
請求項１ないし請求項３のいずれかに記載の画像情報生成装置において、
前記３次元情報生成部は、
第２の２次元画像情報に係る２次元画像に映っている幾何パターンの形状のひずみに基づいて幾何パターンの被投影物の姿勢の情報を生成する、
画像情報生成装置。
【請求項６】
請求項１ないし請求項５のいずれかに記載の画像情報生成装置において、
第１の２次元画像情報のうちの特定の形状を有する対象物が映っている部分を特定し、特定した部分に映っている対象物に前記投影用光源が幾何パターンを投影することができるか否かを判定する投影可否判定部と、
をさらに備え、
前記処理選択部は、
第１の２次元画像情報を前記投影可否判定部に処理させ、
特定の形状を有する対象物に幾何パターンを投影することができると前記投影可否判定部が判定した場合に、第２の２次元画像情報を前記３次元情報生成部に処理させる、
画像情報生成装置。
【請求項７】
２次元画像情報及び３次元情報の両方を生成する画像情報生成方法であって、
(a) 第１の撮像を行い第１の２次元画像情報を生成する工程と、
(b) 前記工程(a)において撮像を行っていないときに平行光を照射し幾何パターンを投影する工程と、
(c) 前記工程(b)において幾何パターンを投影しているときに第２の撮像を行い第２の２次元画像情報を生成する工程と、
(d) 前記工程(c)において生成された第２の２次元画像情報のうちの前記工程(b)において投影された幾何パターンが映っている部分から３次元情報を生成する工程と、
を備える画像情報生成方法。
【請求項１】
２次元画像情報及び３次元情報の両方を生成する画像情報生成装置であって、
撮像を行い２次元画像情報を生成する撮像部と、
平行光を照射し幾何パターンを投影する投影用光源と、
前記撮像部が生成した２次元画像情報のうちの前記投影用光源が投影した幾何パターンに関する部分から３次元情報を生成する３次元情報生成部と、
前記投影用光源の点灯及び前記撮像部の撮像のタイミングを制御する制御部と、
前記撮像部が生成した２次元画像情報に対する処理を選択する処理選択部と、
を備え、
前記制御部は、
前記投影用光源を点灯させていないときに前記撮像部に第１の撮像を行わせて第１の２次元画像情報を生成させ、前記投影用光源を点灯させているときに前記撮像部に第２の撮像を行わせて第２の２次元画像情報を生成させ、
前記処理選択部は、
第２の２次元画像情報を前記３次元情報生成部に処理させる、
画像情報生成装置。
【請求項２】
請求項１に記載の画像情報生成装置において、
前記撮像部の撮像範囲を照明する照明光を照射する照明用光源、
をさらに備え、
前記制御部は、
前記照明用光源の点灯を制御し、
前記撮像部に第１の撮像を行わせるときに前記照明用光源を点灯させる、
画像情報生成装置。
【請求項３】
請求項１又は請求項２に記載の画像情報生成装置において、
前記投影用光源は、
発光ダイオードと、
前記発光ダイオードが発光した拡散光を平行光に変換する光学系と、
を備える画像情報生成装置。
【請求項４】
請求項１ないし請求項３のいずれかに記載の画像情報生成装置において、
前記３次元情報生成部は、
第２の２次元画像情報に係る２次元画像に映っている幾何パターンの基準箇所の間の長さに基づいて前記撮像部から幾何パターンの被投影物までの距離の情報を生成する、
画像情報生成装置。
【請求項５】
請求項１ないし請求項３のいずれかに記載の画像情報生成装置において、
前記３次元情報生成部は、
第２の２次元画像情報に係る２次元画像に映っている幾何パターンの形状のひずみに基づいて幾何パターンの被投影物の姿勢の情報を生成する、
画像情報生成装置。
【請求項６】
請求項１ないし請求項５のいずれかに記載の画像情報生成装置において、
第１の２次元画像情報のうちの特定の形状を有する対象物が映っている部分を特定し、特定した部分に映っている対象物に前記投影用光源が幾何パターンを投影することができるか否かを判定する投影可否判定部と、
をさらに備え、
前記処理選択部は、
第１の２次元画像情報を前記投影可否判定部に処理させ、
特定の形状を有する対象物に幾何パターンを投影することができると前記投影可否判定部が判定した場合に、第２の２次元画像情報を前記３次元情報生成部に処理させる、
画像情報生成装置。
【請求項７】
２次元画像情報及び３次元情報の両方を生成する画像情報生成方法であって、
(a) 第１の撮像を行い第１の２次元画像情報を生成する工程と、
(b) 前記工程(a)において撮像を行っていないときに平行光を照射し幾何パターンを投影する工程と、
(c) 前記工程(b)において幾何パターンを投影しているときに第２の撮像を行い第２の２次元画像情報を生成する工程と、
(d) 前記工程(c)において生成された第２の２次元画像情報のうちの前記工程(b)において投影された幾何パターンが映っている部分から３次元情報を生成する工程と、
を備える画像情報生成方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２００９−１８６４０４（Ｐ２００９−１８６４０４Ａ）
【公開日】平成２１年８月２０日（２００９．８．２０）
【国際特許分類】
【出願番号】特願２００８−２８６８９（Ｐ２００８−２８６８９）
【出願日】平成２０年２月８日（２００８．２．８）
【出願人】（０００２０７５５１）大日本スクリーン製造株式会社 (2,640)
【Ｆターム（参考）】
【公開日】平成２１年８月２０日（２００９．８．２０）
【国際特許分類】
【出願日】平成２０年２月８日（２００８．２．８）
【出願人】（０００２０７５５１）大日本スクリーン製造株式会社 (2,640)
【Ｆターム（参考）】
[ Back to top ]