計測システム、画像補正方法、及びコンピュータプログラム
【課題】照明系及び撮像系の双方の測定対象物との位置関係が可変である場合の撮像画像による３次元計測を正確に行う。
【解決手段】照明系１０１の偏角、撮像系１０２の偏角を考慮して輝度を補正した場合に想定される空間変調器上の輝度分布（照明系１０１と撮像系１０２の双方を考慮した輝度分布補正値）を生成する。この輝度分布補正値と、位置関係に起因しない静的な輝度分布補正値とから、３次元計測システムにおける輝度分布の補正値を生成し、この輝度分布の補正値に基づいて、照明パターン画像の階調変換をし、階調変換した照明パターン画像に従った照明を行う。また、動径の情報と、測定対象物１０３の反射率とを基に、３次元システムの光量減衰率を求め、この３次元システムの光量減衰率と、基準とする光量減衰率との比較結果から、光源の強度を調整する。
【解決手段】照明系１０１の偏角、撮像系１０２の偏角を考慮して輝度を補正した場合に想定される空間変調器上の輝度分布（照明系１０１と撮像系１０２の双方を考慮した輝度分布補正値）を生成する。この輝度分布補正値と、位置関係に起因しない静的な輝度分布補正値とから、３次元計測システムにおける輝度分布の補正値を生成し、この輝度分布の補正値に基づいて、照明パターン画像の階調変換をし、階調変換した照明パターン画像に従った照明を行う。また、動径の情報と、測定対象物１０３の反射率とを基に、３次元システムの光量減衰率を求め、この３次元システムの光量減衰率と、基準とする光量減衰率との比較結果から、光源の強度を調整する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、計測システム、画像補正方法、及びコンピュータプログラムに関し、特に、撮像画像を用いて３次元計測を行うために用いて好適なものである。
【背景技術】
【０００２】
マシンビジョン分野における重要な技術要素として３次元計測技術がある。３次元計測技術の一手法では、まず、測定対象物に対して２次元パターン光を照射することによって得られるパターン投影像をカメラで撮像する。次に、２次元パターンの周期性を手掛かりに、２次元の撮像画像をコンピュータで解析して測定対象物の距離情報を得る。この距離情報は、測定対象物のカメラからの距離や、表面凹凸等、測定対象物の奥行き方向の距離である。測定対象物の幅方向及び高さ方向の情報は、２次元の撮像画像から得ることができるため、この時点で３次元空間情報が得られる。そして、２次元の撮像画像と、距離情報と、予め保持している測定対象物のモデル情報とを用いて３次元モデルフィッティングを行い、測定対象物の位置、姿勢、及び３次元形状を計測する。
【０００３】
測定対象物の奥行き方向の距離情報を得るために２次元パターン光を用いる手法は、パターン投影法と呼ばれる。一般に、パターン投影法では、エッジパターン又は正弦波パターンを測定対象物に照射する。エッジパターンとは、簡単には白黒等の２値階調の縞が規則的に連続して並んだ離散的パターンであり、正弦波パターンとは、簡単には連続的に階調を変化させてグラデーションにより正弦波を表現する連続的パターンである。２次元パターン光を測定対象物に照射すると、測定対象物の表面の凹凸や形状に依存してパターンの不連続や歪みが観測できる。エッジパターンでは、この不連続がエッジの位置ずれに相当し、正弦波パターンでは、この歪みが位相ずれに相当する。エッジパターンでは、三角測量の原理を利用してエッジの位置ずれから、測定対象物の奥行き方向の距離を推定する。そのため、エッジ位置がどこかを正確に認識するエッジ認識の精度は、測定対象物の奥行き方向の距離の精度に影響を与える。同様に正弦波パターンでも、三角測量の原理を利用して位相ずれから奥行き方向の距離を推定する。そのため、位相、すなわち階調を正確に認識する階調認識の精度は、測定対象物の奥行き方向の距離の精度に影響を与える。
【０００４】
エッジ認識では、２値階調の輝度差、又は輝度変化の過程からエッジ位置を認識する。エッジ部分の階調が反転する過渡的な領域では輝度が連続的に変化していると考えられる。２次元パターン光の意図しない輝度変化は、この過渡的な輝度の変化の経路や階調が飽和する位置を無秩序に変化させる。そのため、２次元パターン光の意図しない輝度変化（所謂輝度むら）が生じ、これによりエッジ認識の精度が低下する。同様の論理により、２次元パターンの輝度変化（所謂輝度むら）は階調認識の精度を低下させる。
このような２次元パターンの輝度変化（所謂輝度むら）を抑制するための技術として特許文献１に記載の技術がある。特許文献１では、検査面の側方に照明装置を設置して照明する場合、検査面が均一面であっても反射光強度、及びＣＣＤ出力が均一にならないという課題に対し、照明装置の出射端と検査面両端との距離の比を用いて照明光の出射強度比を変更するようにしている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平０６−２４２０２０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載の技術は、照明装置が検査面に対して可変な配置であるのに対し、ＣＣＤカメラは検査面に対して正対した固定配置となる構成が前提である。このように特許文献１に記載の技術では、ＣＣＤカメラが固定されているため、オクルージョン（occlusion）、照明装置の空間位置に起因する光量不足や画像劣化等に対してロバスト（robust）でない。同様に前提とする構成からの帰結として、照明系の位置関係に起因する輝度変化を補正するのには有効であるが、撮像系の位置関係に起因する輝度変化には寄与しない。
本発明は、このような問題点に鑑みてなされたものであり、照明系及び撮像系の双方の測定対象物との位置関係が可変である場合の撮像画像による３次元計測を正確に行うことができるようにすることを目的とする。
【課題を解決するための手段】
【０００７】
本発明の計測システムは、測定対象物に照明光を照射する照明手段と、前記照明手段の動作を制御する照明制御手段と、測定対象物からの反射光または透過光を撮像する撮像手段と、前記撮像手段の動作を制御する撮像制御手段と、前記照明手段および前記撮像手段の、前記測定対象物との位置関係を示す位置関係情報を取得する取得手段と、前記位置関係情報に基づき、前記照明手段による照明光と、前記撮像手段で撮像された画像とのうち、少なくともいずれか一方の輝度を補正して、前記撮像手段で撮像された前記測定対象物の画像の輝度変化を補正する補正手段と、を有し、前記測定対象物と前記照明手段と前記撮像手段とのうち、少なくとも二つの位置が可変であることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、照明手段、撮像手段、及び測定対象物の位置に関する情報に基づき、照明手段による照明光と、撮像手段で撮像された画像とのうち、少なくともいずれか一方の輝度を補正して、撮像手段で得られた測定対象物の画像の輝度変化を補正する。したがって、測定対象物、照明手段、及び撮像手段の位置関係を考慮して測定対象物の画像の輝度変化を補正することができる。よって、照明系及び撮像系の双方の測定対象物との位置関係が可変である場合の撮像画像による３次元計測を正確に行うことが可能になる。
【図面の簡単な説明】
【０００９】
【図１】第１の実施形態の３次元計測システムの概略構成を示す図である。
【図２】３次元計測システムの機能ブロックを示す図である。
【図３】２次元パターン光を概念的に示す図である。
【図４】３次元計測システムの処理を説明するフローチャートである。
【図５】照明本体部の構成の一例を示す図である。
【図６】照明制御部の機能ブロックを示す図である。
【図７】輝度補正をする際に用いられる位置関係情報を説明する図である。
【図８】照明系と撮像系の光軸の検査面への射影像が一致する場合の輝度分布の補正を説明する図である。
【図９】照明系と撮像系の光軸の検査面への射影像が一致しない場合の輝度分布の補正を説明する図である。
【図１０】輝度分布と輝度強度との両方を含めた照明パターン画像の輝度補正の一例を説明する図である。
【図１１】輝度補正部の機能ブロックを示す図である。
【図１２】図４の輝度補正処理を説明するフローチャートである。
【図１３】図１２の輝度分布補正値生成処理を説明するフローチャートである。
【図１４】階調変換で発生するダイナミックレンジの低下を補う処理を説明する図である。
【図１５】第２の実施形態の３次元計測システムの処理を説明するフローチャートである。
【図１６】撮像制御部の機能ブロックを示す図である。
【図１７】輝度補正部の機能ブロックの一例を示す図である。
【図１８】照明系で輝度補正を階調に着目して説明するフローチャートである。
【図１９】照明系で輝度補正を行う場合のデータを示す図である。
【図２０】撮像系での局所的な輝度補正を概念的に説明する図である。
【図２１】第３の実施形態の処理の流れを説明する図である。
【図２２】照明制御部の機能ブロックを示す図である。
【図２３】撮像制御部の機能ブロックを示す図である。
【図２４】輝度補正処理の一例を説明するフローチャートである。
【図２５】第４の実施形態の３次元計測システムの概略構成を示す図である。
【図２６】３次元計測システムの機能ブロックを示す図である。
【図２７】３次元計測システムの処理の流れを説明する図である。
【発明を実施するための形態】
【００１０】
（第１の実施形態）
まず、本発明の第１の実施形態を、図面を参照しながら説明する。
図１は、３次元計測システムの概略構成の一例を示す図である。この３次元計測システムは、例えば、工場の製造ライン等でロボットハンドが、部品の選別や組み立て等の作業が行えるように、対象となる部品の３次元計測を行う計測システムである。３次元計測システムは、大別すると、照明系１０１と撮像系１０２とを有する。
照明系１０１は、測定対象物１０３に２次元パターン光を照射する。照明系１０１には小型のプロジェクタ等が用いられる。撮像系１０２は、測定対象物１０３上に投影された２次元パターン光の画像を撮像する。撮像系１０２には、ＣＣＤカメラやＣＭＯＳカメラが用いられる。照明系１０１及び撮像系１０２は、ロボットアームに搭載できる小型で軽量なものが望ましい。測定対象物１０３は３次元計測の測定対象物であり、ここでは部品の選別や組み立ての対象となる部品である。ここで、照明系１０１と撮像系１０２と測定対象物１０３とのうち、少なくとも２つは空間位置が可変である。図１では、測定対象物１０３が拡散反射物体や鏡面物体であることを想定しているが、測定対象物１０３は２次元パターン光が透過する透明な物体でもよい。その場合、撮像系１０２は、透過光を撮像する位置に配置される。作業用のロボットハンドは図示していないが、作業領域の省スペース化を行う場合、作業用のロボットハンドと、照明系１０１や撮像系１０２を搭載したロボットアームとが一体で構成されることが望ましい。また、図１では、照明系１０１と撮像系１０２のそれぞれでロボットアームをもつ構成としているが、１つのロボットアームに照明系１０１と撮像系１０２を搭載する構成でもよい。
【００１１】
図２は、３次元計測システムの機能ブロックの一例を示す図である。３次元計測システムは、照明本体部２０１、照明制御部２０２、撮像本体部２０３、撮像制御部２０４、３次元撮像処理部２０５、３次元計測処理部２０６、制御部２０７、及び位置関係情報取得部２０８を備えて構成される。
照明本体部２０１は、測定対象物１０３に向けて２次元パターン光を照射する。具体的に照明本体部２０１は、パターン投影法に基づき、空間符号化法で用いられるエッジパターンや、位相シフト法で用いられる正弦波パターンを測定対象物１０３に投射する。パターン投影法については図３を用いて後述する。照明本体部２０１は、光源２０９、照明光学系２１０、空間変調器２１１、及び投影光学系２１２を備えて構成される。光源２０９としてはＬＥＤやＬＤ等が用いられる。空間変調器２１１としてはＴＦＴ液晶パネル、ＬＣＯＳパネル、走査型ＭＥＭＳデバイス等が用いられる。照明制御部２０２は、照明パターン画像（照明に使用される２次元パターン画像）の制御や、照明本体部２０１の制御等を行う。具体的に照明制御部２０２は、外部から入力された、照明パターン画像の輝度補正（画像補正）や、当該照明パターン画像に対応した光源２０９や空間変調器２１１（パネル）の駆動制御等を行う。照明パターン画像のデータは、外部入力以外に、内部ロジックで生成しても、内部メモリから読み出して生成してもよい。撮像本体部２０３は、測定対象物１０３で反射された２次元パターン光を撮像する。実際に撮像される２次元パターン光には、測定対象物１０３の形状や表面の凹凸の影響でパターンのエッジずれや位相ずれが発生している。撮像本体部２０３は、撮像デバイス２１３及び撮像光学系２１４を備えて構成される。撮像デバイス２１３としてはＣＣＤやＣＭＯＳ等のイメージ・センサが用いられる。ここでは、測定対象物１０３として拡散反射物体や鏡面物体を想定しているが、測定対象物１０３は、２次元パターン光が透過する透明な物体でもよい。撮像制御部２０４は、撮像本体部２０３の制御を行う。具体的に撮像制御部２０４は、撮像デバイス２１３の動作制御や、シャッタースピード、フレームレート、ＲＯＩ（Region Of Interest）等の動作タイミングの制御等を行う。３次元撮像処理部２０５は、撮像された２次元パターン光を基に、測定対象物１０３の距離情報を取得する。具体的に３次元撮像処理部２０５は、パターン投影法を利用して、測定対象物１０３の奥行き方向の距離を計測する。撮像された２次元パターン光の幅方向及び高さ方向の距離情報と、測定対象物１０３の奥行き方向の距離情報との双方を考慮することにより、測定対象物１０３の３次元の情報が得られる。３次元計測処理部２０６は、測定対象物１０３の位置、姿勢、及び３次元形状を計測する。３次元計測処理部２０６は、３次元撮像処理部２０５で計測した「測定対象物１０３の奥行き方向の距離」と、「２次元パターン光に基づく画像」とを基にモデルフィッティングを行い、測定対象物１０３の位置、姿勢、及び３次元形状を計測する。計測された測定対象物１０３の３次元形状、位置、及び姿勢の情報は、部品のピッキングや組み立てを行うためのロボットハンドの制御に用いられる。制御部２０７は、照明制御部２０２と撮像制御部２０４とを統合制御する。具体的に制御部２０７は、照明と撮像の同期制御機能や、照明系１０１・撮像系１０２の位置関係情報を、輝度補正の情報として用いるための伝送機能等を有する。このように本実施形態では、照明系１０１で輝度補正を実施する構成を想定しているため、位置関係情報取得部２０８からの照明系１０１・撮像系１０２の位置関係情報は照明制御部２０２に送られる。位置関係情報取得部２０８は、ロボットアームが保持する位置関係情報を基に、測定対象物１０３の位置関係情報と、照明系１０１・撮像系１０２の位置関係情報を取得する。絶対座標におけるロボットアームの位置・姿勢は、ロボットアームのキャリブレーションにより取得できる。絶対座標の基準位置は任意に設定でき、その座標系により３次元計測システムのワークエリア内の座標が特定できれば良い。照明本体部２０１及び撮像本体部２０３はロボットアームに固定搭載されているため、ロボットアームの位置・姿勢が分かれば、照明本体部２０１及び撮像本体部２０３の位置・姿勢を算出できる。また、測定対象物１０３の絶対座標における位置も３次元計測システムのキャリブレーションにより取得できる。照明系１０１・撮像系１０２の位置関係情報は、任意に設定した絶対座標における位置・姿勢のことである。測定対象物１０３の位置関係情報は、その絶対座標における位置のことである。さらに、位置関係情報の別の形態として、測定対象物１０３を基準位置とした表現とすることもできる。すなわち、照明系１０１・撮像系１０２の位置関係情報を、測定対象物１０３を原点とした球座標系における動径情報・偏角情報として表現することもできる。本実施形態では、このようにして位置関係情報を表現する場合を例に挙げて説明する（詳細は図７を用いて後述する）。照明系１０１・撮像系１０２の位置関係情報は、制御部２０７を介して照明制御部２０２の輝度補正で用いられる。以上の機能ブロックにより、測定対象物１０３の３次元計測が実現できる。
【００１２】
図３は、３次元計測技術で用いられる２次元パターン光の一例を概念的に示す図である。測定対象物１０３の奥行き方向の距離情報を得るために２次元パターン光を用いる手法は、パターン投影法と呼ばれる。一般に、パターン投影法では、複数のエッジパターン又は同一位相の正弦波パターンを投影する。図３（ａ）は２値階調で表現したエッジパターンの一例、図３（ｂ）は正弦波パターンの一例である。２次元パターン光を測定対象物１０３に照射すると、測定対象物１０３の表面の凹凸や形状に依存してパターンの不連続や歪みが観測できる。図３（ａ）に示すエッジパターン３０１では、この不連続がエッジずれに相当し、図３（ｂ）に示す正弦波パターン３０２では、この歪みが位相ずれに相当する。エッジパターン３０１を用いた場合には、三角測量の原理を利用して、エッジずれから、測定対象物１０３の奥行き方向の距離を推定する。この推定には、空間符号化法が用いられる。推定の際には、白黒パターンを２値情報として符号化する。符号化方法が異なる（すなわち、白黒パターンの並びが異なる）投影像を複数回撮像し、それらのエッジ情報から測定対象物１０３の奥行きの距離を推定する。正弦波パターン３０２を用いた場合にも同様に、三角測量の原理を利用して、位相ずれから、測定対象物１０３の奥行き方向の距離を推定する。この推定には、位相シフト法が用いられ、正弦波パターン３０２の位相をシフトさせた投影像を複数回撮像し、それらの位相情報から測定対象物１０３の奥行き方向の距離を推定する。測定対象物１０３の奥行き方向の距離の算出に際し、空間符号化法を用いた場合にはエッジ情報が用いられ、位相シフト法を用いた場合には位相情報が用いられる。そのため、測定対象物１０３の奥行き方向の距離の精度は、エッジ情報、位相情報の精度に大きく影響する。３次元撮像処理部２０５が行うエッジ認識では、２値階調の輝度差、又は２値階調間の輝度の変化の過程からエッジ位置を認識する。３次元撮像処理部２０５が行う位相認識では、位相の連続的な変化を認識する。位相の連続的変化とは輝度の連続的な変化、すなわち階調の変化である。エッジパターン３０１のエッジ精度、正弦波パターン３０２の階調精度は、輝度変化に対して敏感であり、測定対象物１０３の奥行き方向の距離の精度に影響を与える重要なパラメータである。
【００１３】
図４は、３次元計測システムの処理の一例を説明するフローチャートである。
ステップＳ４０１では、制御部２０７は、照明系１０１を制御する照明制御部２０２と、撮像系１０２を制御する撮像制御部２０４とのそれぞれに対して通信の確立を行う。
次に、ステップＳ４０２では、照明系１０１・撮像系１０２の位置関係情報のキャリブレーションが行われる。位置関係情報取得部２０８からの照明系１０１・撮像系１０２の位置関係情報が、制御部２０７を介して照明制御部２０２へ送信される。ここで送信される位置関係情報は、ステップＳ４０３の輝度補正処理で用いられる。この位置関係情報の精度は、照明制御部２０２で行われる輝度補正の精度に影響を与える。このため、３次元計測処理時に用いる位置関係情報と同一の位置関係情報を用いてキャリブレーションを行うのが望ましい。しかしながら、キャリブレーション時と３次元計測時とで照明系１０１・撮像系１０２それぞれの位置関係情報が異なる場合、例えば、ロボットアームを動作させながら３次元計測処理を行う場合には、動き予測を加味した位置関係情報を用いるのが望ましい。
【００１４】
次に、ステップＳ４０３では、照明制御部２０２は、照明系１０１・撮像系１０２の位置関係情報を基に、照明パターン画像の輝度補正を行う。輝度補正処理については、図７から図１３を用いて後述する。
次に、ステップＳ４０４では、照明本体部２０１は、測定対象物１０３に２次元パターン光を照射する。空間符号化法では、複数のエッジパターン３０１の２次元パターン光が照射され、位相シフト法では、同一位相の正弦波パターン３０２の２次元パターン光が照射される（図３を参照）。
次に、ステップＳ４０５では、撮像本体部２０３は、測定対象物１０３から拡散反射された２次元パターン光を撮像する。実際に撮像される２次元パターン光には、測定対象物１０３の形状や表面の凹凸の影響で、パターンのエッジずれや位相ずれが発生している。
次に、ステップＳ４０６では、３次元撮像処理部２０５は、３次元撮像処理を行う。具体的に３次元撮像処理部２０５は、パターン投影法を利用して、撮像された２次元パターン光から、測定対象物１０３の奥行き方向の距離を取得する。３次元撮像処理部２０５は、２次元パターン光の画像の幅方向と高さ方向の情報と合わせて、このステップＳ４０６で測定対象物１０３の３次元情報を取得する。
次に、ステップＳ４０７では、３次元撮像処理部２０５は、３次元情報を更新する。空間符号化法でも位相シフト法でも複数枚の２次元パターン光を撮像して３次元情報を取得する。このステップＳ４０７では、２次元パターン光の画像が１枚得られる毎に３次元情報を更新する。空間符号化法を用いた場合には、符号パターンの異なる複数の画像を用いてステップＳ４０３〜Ｓ４０７のループを繰り返す。このステップＳ４０７では、符号パターン毎の３次元撮像処理の結果を使って３次元情報が更新される。このループ処理を繰り返す（ループの回数を増やす）ことで（すなわち、符号パターンの異なる複数の画像からの３次元撮像処理の結果を使うことで）、３次元計測の精度を向上させることができる。
次に、ステップＳ４０８では、３次元撮像処理部２０５は、３次元情報の取得が完了したか否かを判断する。実際には、空間符号化法でも、位相シフト法でも予め撮影枚数が決められており、その撮影枚数に対応する回数だけステップＳ４０３〜Ｓ４０７のループを繰り返す。３次元情報の取得が完了したら、ステップＳ４０９へ進む。
ステップＳ４０９では、３次元計測処理部２０６は、３次元計測処理を行う。具体的に３次元計測処理部２０６は、３次元撮像処理部２０５で計測された、測定対象物１０３の奥行き方向の距離と、２次元パターン光の画像とを基にモデルフィッティングを行い、測定対象物１０３の位置、姿勢、及び３次元形状を計測する。
以上、図４で説明した処理を経て計測された「測定対象物１０３の３次元形状、位置、及び姿勢」の情報は、ロボットハンドによる部品ピッキングや組み立てを行うための制御に用いられる。
【００１５】
図５は、３次元計測システムの照明本体部２０１の他の構成の一例を示す図である。図２では、反射型パネルを用いた照明本体部２０１を示したが、図５では、透過型パネルを用いた照明本体部２０１を示し、光の伝播経路に着目したときの物理構成を簡単に説明する。
照明本体部２０１は、光源５０１、拡散板５０２、空間変調器５０３、偏光板５０４ａ、５０４ｂ、及びレンズ群５０５を備えて構成される。光源５０１は、複数のＬＥＤやＬＤ等を用いて構成される。拡散板５０２は、光源５０１からの発光面のむらを抑制して輝度を面内で均一に保つ役割を果たす。空間変調器５０３は、透過型のＴＦＴ液晶パネル等を用いて構成される。空間変調器５０３で２次元パターン光の照明パターン画像を表現する。このため、ＴＦＴ液晶パネルの解像度、画素サイズ、画素ピッチ等が２次元パターン光の精度に影響を与える。偏光板５０４ａ、５０４ｂは、空間変調器５０３（透過型のＴＦＴ液晶パネル）の前後で偏光状態の制御を行う。レンズ群５０５は、２次元パターン光のＭＴＦ、被写界深度特性、ディストーション等のパラメータに影響を与えるものである。
【００１６】
図６は、３次元計測システムの照明系１０１の照明制御部２０２の機能ブロックの一例を示す図である。照明制御部２０２は、画像入力部６０２、輝度補正部６０３、空間変調器駆動部６０４、及び光源駆動部６０５を備えて構成される。
画像入力部６０２は、照明制御部２０２に入力される照明パターン画像のフォーマットをインタフェースに合わせて変更する。計測精度や計測速度の向上を考えると高い解像度や高いフレームレートが必要となる。このため、画像入力部６０２は、大容量伝送に対応したインタフェースであることが望ましい。インタフェースとしては、ＵＳＢやＩＥＥＥ１３９４のメタル線、Gigabit Ethernet（登録商標）等の光ファイバが使用される。輝度補正部６０３は、照明パターン画像の輝度変化を補正する。輝度補正部６０３には、制御部２０７から、照明系１０１・撮像系１０２の位置関係情報（後述する動径情報や偏角情報）が入力される。輝度補正部６０３は、これらの情報を基に照明パターン画像の輝度補正を行う。輝度補正には、概略、照明パターンの階調変換（輝度分布の補正）と、光源５０１の強度変換（輝度強度の補正）とが含まれる。輝度補正された照明パターン画像は空間変調器駆動部６０４へ出力され、光源５０１の強度を変調する光源変調信号は光源駆動部６０５へ出力される。輝度補正の詳細は図７〜図１３を用いて後述する。空間変調器駆動部６０４は、空間変調器５０３の駆動を制御する。空間変調器駆動部６０４は、輝度補正部６０３からの「照明パターン画像を表す画像信号」を基に、空間変調器５０３の駆動信号を生成する。また、光源５０１の駆動を時間制御する場合、空間変調器駆動部６０４は、そのためのＰＷＭ信号等のトリガー信号を生成して光源駆動部６０５に出力する。光源駆動部６０５は、光源５０１の駆動を制御する。具体的に光源駆動部６０５は、輝度補正部６０３からの光源変調信号を基に強度を変調した駆動信号を生成する。また、光源駆動を時間制御する場合、光源駆動部６０５は、ＰＷＭ信号を基に駆動信号を生成する。光源５０１にはＬＤやＬＥＤが用いられるが、光出力制御を安定させるためや、デバイスの破壊を避けるために、光源５０１を定電流駆動することが多い。
【００１７】
図７は、輝度補正をする際に用いられる位置関係情報を説明する図である。図７では、測定対象物１０３が拡散反射物体や鏡面物体であることを想定しているが、測定対象物１０３は、２次元パターン光が透過する透明な物体でも良い。２次元パターン光が透過する透明な物体を測定対象物１０３として用いた場合には、今後の説明において反射率を透過率と読み替えることになる。
ここでは、照明系１０１・撮像系１０２の位置関係情報を、測定対象物１０３が配置される測定面７０１を基準位置とした相対的な位置関係情報として表現する。照明系１０１の光軸と測定面７０１とが交わる点を原点とした球座標系を考えると、動径ｌ１、偏角φ、θ１を用いることにより照明系１０１の位置と姿勢とが表される。同様に、撮像系１０２の光軸と測定面７０１とが交わる点を原点とした球座標系を考えると、動径ｌ２、偏角φ、θ２を用いることにより撮像系１０２の位置と姿勢とが表される。照明系１０１と撮像系１０２とは同じ測定対象物１０３を照射・撮像するため、照明系１０１の光軸と測定面７０１とが交わる点と、撮像系１０２の光軸と測定面７０１とが交わる点とは略一致している。輝度補正のために用いられる照明系１０１の位置関係情報は、動径ｌ１、偏角φ、θ１であり、撮像系１０２の位置関係とは、動径ｌ２、偏角φ、θ２である。動径ｌ１、ｌ２は、輝度強度を補正するパラメータとして用い、偏角φ、θ１、θ２は、輝度分布を補正するパラメータとして用いられる。
本実施形態では、以上のパラメータ（動径ｌ１、ｌ２、偏角φ、θ１、θ２）からなる位置関係情報を用いて３次元計測システムの輝度補正を実施する。
【００１８】
図８及び図９は、輝度分布の補正を説明する図である。ここでは、輝度分布の補正の説明に特化するため、測定面７０１の反射率を１００％と仮定し、輝度強度の影響を排除することを前提とする。輝度分布の補正において用いられるパラメータは偏角φ、θ１、θ２であるので、輝度分布の補正と、輝度強度の補正とは分離して考えることができる。
図８は、照明系１０１と撮像系１０２の光軸の測定面７０１への射影像が一致する場合の輝度分布の補正の一例を説明する図である。具体的に図８（ａ）は、輝度分布が補正される様子の一例を示す図である。また、図８（ｂ）は、照明系１０１、撮像系１０２、及び測定面７０１の位置関係を示す図である。また、図８（ｃ）は、輝度補正した照明パターン画像の任意の１ラインにおける輝度の分布（傾斜）の一例を示す図である。この場合、位置関係情報は、φ＝０°、ｌ１＝ｌ２と仮定できる。輝度分布８０１は、θ２＝０°と仮定して照明系１０１の偏角θ１だけを考慮して補正した場合に想定される空間変調器５０３上の輝度分布である。図中の矢印は、輝度の高低差を示したものであり、その矢印の向きは輝度の高いほうから低いほうへ向かう方向を示している。この場合、照明系１０１の測定面７０１に近い側の端の輝度を低く、遠い側の端の輝度を高くする。これにより、撮像系１０２で撮像される照明パターン画像は均一な輝度となる。同様の考え方で、輝度分布８０２は、θ１＝０°と仮定して撮像系１０２の偏角θ２だけを考慮して補正した場合に想定される空間変調器５０３上の輝度分布である。この場合には、撮像系１０２の測定面７０１に近い側に相当する空間変調器５０３の端の輝度を低く、遠い側に相当する空間変調器５０３の端の輝度を高くする。輝度分布８０３は、照明系１０１と撮像系１０２の両者の偏角θ１、θ２を考慮して輝度補正した場合に想定される空間変調器５０３上の輝度分布である。輝度分布８０３は、輝度分布８０１、８０２の分布状態を掛け合わせたものとなる。
照明パターン画像の各ラインにおける輝度の傾斜は、照明系１０１（照明手段）及び撮像系１０２（撮像手段）の角度特性に合わせて変化させる。照明系１０１の出射光強度の角度特性が偏角θ１の変化に対して直線的に変化する場合、照明パターン画像の各ラインにおける輝度の傾斜を線形補間により求めることができる。また、撮像系１０２の受光強度の角度特性が偏角θ２の変化に対して直線的に変化する場合にも、照明パターン画像の各ラインにおける輝度の傾斜を線形補間により求めることができる。図８では、照明系１０１の出射光強度の角度特性と、撮像系１０２の受光強度の角度特性とが同じ変化率で直線的に変化する。この場合の輝度は、「（ｌ１×sin｜θ１−θ２｜−ｄ）／（ｌ１×sin｜θ１−θ２｜＋ｄ）」（ｌ１＝ｌ２）に比例した傾斜となる。
【００１９】
図９は、照明系１０１と撮像系１０２の光軸の測定面７０１への射影像が一致しない場合の輝度分布の補正の一例を説明する図である。具体的に図９（ａ）は、輝度分布が補正される様子の一例を示す図である。また、図９（ｂ）は、輝度補正した照明パターン画像の任意の１ラインにおける輝度の分布（傾斜）の一例を示す図である。この場合、位置関係情報は、φ≠０°、ｌ１＝ｌ２と仮定できる。図８では、輝度分布がある端面に対して垂直な方向、又は平行な方向に変化する場合を説明したが、図９では、輝度分布が端面に対して斜め方向に変化する場合を示すだけであり、本質的な考え方は図８で説明したものと変わらない。輝度分布８０４、８０５、８０６は、それぞれ輝度分布８０１、８０２、８０３に対応し、φ≠０のために輝度分布８０４〜８０６が端面に対して斜め方向に変化することを表している。
【００２０】
図１０は、輝度分布と輝度強度との両方を含めた照明パターン画像の輝度補正の一例を説明する図である。具体的に図１０（ａ）は、輝度分布が補正される様子の一例を示す図である。また、図１０（ｂ）は、輝度補正した照明パターン画像の任意の１ラインにおける輝度の分布（傾斜）の一例を示す図である。図１０では、図８及び図９で説明した輝度分布の補正に、輝度強度の補正による影響を加味したものを示している。輝度強度の補正において用いられるパラメータは動径ｌ１、ｌ２であるので、輝度分布の補正と、輝度強度の補正とは分離して考えることができる。
輝度分布９０１は、φ＝０°、θ１＝θ２＝０°と仮定し、動径と、測定対象物１０３の反射率とを考慮して補正した場合に想定される空間変調器５０３上の輝度分布であり、一定値である。ここでは、照明系１０１と撮像系１０２とは互いに物理的に干渉しないものと仮定している。また、図中の矢印は輝度の高低差を示したものであり、その矢印の向きは輝度の高いほうから低いほうへ向かう方向を示している。輝度強度の補正には、例えば、照明系１０１の動径ｌ１の２乗に逆比例する単位面積当たりの光量減衰率と、測定対象物１０３の反射率と、撮像系１０２の動径ｌ２の２乗に逆比例する単位面積あたりの光量減衰率とを掛け合わせた値が用いられる。この値（システムの光量減衰率）と、基準とする光量減衰率とを比較して、その比率を基に輝度強度が制御される。輝度分布９０２は、偏角を基に補正した輝度分布を表しており、図８の輝度分布８０３、図９の輝度分布８０６に相当する。輝度分布９０３は、照明系１０１・撮像系１０２の位置関係情報と、測定対象物１０３の反射率とを考慮して補正した場合に想定される空間変調器５０３上の輝度分布である。輝度分布９０３は、輝度分布９０１、９０２の輝度状態を掛け合わせたものとなる。
輝度強度の補正は、照明系１０１、及び撮像系１０２の距離特性に合わせて変化させる。照明系１０１の出射光強度の距離特性が動径ｌ１の変化に対して２乗で逆比例し、撮像系１０２の受光強度の角度特性が動径ｌ２の変化に対して２乗で逆比例する場合、輝度強度の補正は「（ｌ１2／Ｌ１2）×（ｌ２2／Ｌ２2）」に比例した変化となる。
ここで、Ｌ１、Ｌ２は、基準とする光量減衰率を求める際の動径ｌ１、ｌ２のそれぞれの基準長さである。
【００２１】
図１１は、輝度補正部６０３の機能ブロックの一例を示す図である。輝度補正部６０３は、階調変換部１００１、位置関係情報格納部１００２、動径情報処理部１００３、偏角情報処理部１００４、輝度補正値生成処理部１００５、静的輝度補正値格納部１００６、階調データ格納部１００７及び光源変調信号生成部１００８を備える。
階調変換部１００１は、輝度補正部６０３に入力された照明パターン画像の階調を変換して階調変換を行う。階調データ格納部１００７は、全ての画素に対応する補正値が登録された階調テーブルを保持している。階調変換部１００１は、この階調テーブルを読み出して階調変換を行う。または、階調変換部１００１は、階調データ格納部１００７の階調テーブルと、最近傍近似、線形補間、３次補間、高次の曲線補間等のアルゴリズムとを用いて階調変換してもよい。このようにする場合、メモリ容量を抑えるために階調テーブルには数画素おきでの階調が格納されており、階調変換部１００１は、各種アルゴリズムを用いて全ての画素の階調を数値演算で算出する。解法変換の精度、メモリ量、演算量等の組合せを考慮して、階調テーブルとアルゴリズムを決定することになる。ここで、階調テーブルは、図１０の輝度分布９０３で概念的に示した輝度変化の状態を階調変化に置き換えたものである。空間変調器駆動部６０４へは、階調変換された照明パターン画像が出力される。位置関係情報格納部１００２は、輝度補正部６０３に入力された位置関係情報を格納する。具体的に位置関係情報格納部１００２には、照明系１０１・撮像系１０２の動径ｌ１、ｌ２、偏角φ、θ１、θ２の情報が格納される。動径ｌ１、ｌ２の情報は動径情報処理部１００３が、偏角φ、θ１、θ２の情報は偏角情報処理部１００４がそれぞれ読み出して処理に利用する。動径情報処理部１００３は、動径ｌ１、ｌ２の情報と、測定対象物１０３の反射率とを基に、輝度強度補正値を算出する。測定対象物１０３の反射率として、測定対象物の材質等から判断した値を予め格納しておき、動径情報処理部１００３は、それを読み出して用いる。動径情報処理部１００３は、まず、動径ｌ１の２乗に逆比例する単位面積当たりの光量減衰率と、測定対象物１０３の反射率と、動径ｌ２の２乗に逆比例する単位面積あたりの光量減衰率とを掛け合わせた値（システムの光量減衰率）を算出する。そして、動径情報処理部１００３は、この３次元システムの光量減衰率と、基準とする光量減衰率とを比較してその比率を基に輝度強度補正値を算出する。動径情報処理部１００３は、この比較の結果、前者が大きい場合には明るくなるように輝度強度を上げる制御を行い、後者が大きい場合には暗くなるように輝度強度を下げる制御を行う。輝度強度補正値は全ての画素に共通な一定の値である。偏角情報処理部１００４は、偏角φ、θ１、θ２の情報を基に輝度分布補正値を算出する。偏角情報処理部１００４は、偏角θ１、θ２から輝度分布の変化量を算出し（図８を参照）、偏角φから輝度分布の面内の傾き量（図９を参照）を算出する。偏角θ１、θ２が９０°に近ければ輝度分布の変化量は小さくなり、０°に近ければ大きくなる。偏角情報処理部１００４は、これらから輝度分布補正値を算出する。輝度分布補正値は全ての画素に対応する補正値をもつテーブルである。メモリ容量を抑えるために、輝度分布補正値のテーブルを、数画素おきでの補正値からなるテーブルとし、各種アルゴリズムを用いて全ての画素の補正値を数値演算で算出するようにしてもよい。輝度補正値生成処理部１００５は、階調データ格納部１００７に格納する階調テーブルを生成する。輝度補正値生成処理部１００５は、まず、偏角情報処理部１００４で算出された輝度分布補正値と、静的輝度補正値格納部１００６に格納されている静的輝度補正値とを掛け合わせて輝度分布補正値を生成する。そして、輝度補正値生成処理部１００５は、輝度ベースで求められた輝度補正値を、パターン画像の階調を考慮して階調ベースからなる階調テーブルに変換する。例えば、パターン画像の階調が８ビットであれば、階調テーブルも８ビットをベースに生成する。ここで生成される階調テーブルは、全ての画素に対応する補正値が登録されたテーブルである。前述のように、メモリ容量を抑えるために、階調テーブルを、数画素おきでの補正値からなるテーブルとし、各種アルゴリズムを用いて全ての画素の補正値を数値演算で算出するようにしてもよい。静的輝度補正値格納部１００６は、位置関係情報に起因しない静的な輝度変化を補正するためのテーブルを格納する。位置関係情報に起因しない静的な輝度変化とは、時間的に不変の輝度変化である。この輝度変化は、光源５０１の発光デバイスの輝度のばらつきや、照明光学系の拡散板５０２や偏光板５０４における輝度むらや、空間変調器５０３の透過率の空間ばらつきや、投影光学系の偏光板５０４やレンズ群５０５における輝度むら等に基づくものである。光源変調信号生成部１００８は、動径情報処理部１００３からの輝度強度補正値を基に光源５０１の強度を変調する光源変調信号を生成する。光源変調信号は光源駆動部６０５へ出力される。さらに、光源変調信号生成部１００８は、輝度補正値生成処理部１００５からの制御信号を受けて、階調変換で発生するダイナミックレンジの低下を補う処理を行う。この処理の詳細は図１４を用いて後述する。
偏角情報処理部１００４、輝度補正値生成処理部１００５で取り扱うテーブルに関しては、予め保持しているルック・アップ・テーブルを用いる構成としてもよい。全ての画素の補正値を算出するか、数画素毎の補正値と数値演算とにより補正値を算出するか、ルック・アップ・テーブルを用いるかは、使用できるメモリ容量や求められる補正精度から適正な構成を選ぶことができる。
【００２２】
図１２は、図４のステップＳ４０３の輝度補正処理の一例を説明するフローチャートである。
ステップＳ１１０１では、位置関係情報格納部１００２は、位置関係情報を取得する。図２に示した位置関係情報取得部２０８で取得、処理した「測定対象物１０３の位置関係情報、照明系１０１・撮像系１０２の位置関係情報」が位置関係情報格納部１００２に格納される。位置関係情報とは、具体的には、照明系１０１・撮像系１０２の動径ｌ１、ｌ２、偏角φ、θ１、θ２の情報である。
ステップＳ１１０２では、偏角情報処理部１００４は、輝度分布補正値を生成する。偏角情報処理部１００４は、ステップＳ１１０１で取得された「照明系１０１・撮像系１０２の動径ｌ１、ｌ２、偏角φ、θ１、θ２の情報」を利用して、位置関係情報に起因する輝度分布補正値を生成する。輝度分布補正値は全ての画素に対応する補正値をもつテーブルであり、偏角φ、θ１、θ２に依存して動的に変化する。
ステップＳ１１０３では、輝度補正値生成処理部１００５は、位置関係情報に起因しない静的な輝度変化の影響を、ステップＳ１１０２で算出された輝度分布補正値に加味する。具体的に輝度補正値生成処理部１００５は、静的輝度補正値格納部１００６が保持している静的輝度補正値が登録されたテーブルを、輝度分布補正値（テーブル）に掛け合わせる。このステップＳ１１０３で、３次元計測システムにおける輝度分布の補正値が生成される。
ステップＳ１１０４では、輝度補正値生成処理部１００５及び階調変換部１００１は、照明パターン画像に対して階調変換を実施する。具体的に輝度補正値生成処理部１００５は、ステップＳ１１０２で生成された輝度分布補正値（テーブル）を基に、階調変換を行うための階調テーブルを生成して階調データ格納部１００７に格納する。この階調テーブルを生成する簡単な手法としては、輝度変化により輝度が最も暗くなる画素の輝度値が最大輝度値となるようにその他の画素の階調を変換する。この場合、輝度のダイナミックレンジが小さくなってしまうが、図１４を用いて後述する手法によりダイナミックレンジを確保する処理が行われる。そして、階調変換部１００１は、階調データ格納部１００７から階調テーブルを読み出して階調変換を行う。このステップＳ１１０４での処理結果は、空間変調器５０３での実際の照明パターン画像の階調変換として達成される。
ステップＳ１１０５では、動径情報処理部１００３は、測定対象物１０３の反射率を考慮した輝度強度補正値を生成する。具体的に動径情報処理部１００３は、ステップＳ１１０１で取得された「照明系１０１と撮像系１０２の動径ｌ１、ｌ２の情報」を利用して、測定対象物１０３の反射率と位置関係情報とに起因する輝度強度補正値を生成する。輝度強度補正値は全ての画素に共通な一定値であり、動径ｌ１、ｌ２に依存して動的に変化する。このステップＳ１１０５で、３次元計測システムにおける輝度強度の補正値が生成される。
ステップＳ１１０６では、光源変調信号生成部１００８は、光源変調信号の生成を実施する。具体的に光源変調信号生成部１００８は、動径情報処理部１００３で生成された輝度強度補正値を基に、光源変調信号生成部１００８が光源強度を変調するための光源変調信号を生成する。撮像系１０２が測定面７０１からの反射光を撮像する際に、光源５０１の強度が一定となるように光源５０１の強度変調を行う。また、図１４を用いて後述するが、輝度分布の補正に対するダイナミックレンジの低下を補う処理も実施する。このステップＳ１１０６での処理結果は、光源５０１での実際の２次元パターン光の強度変調として達成される。
以上の処理により、照明系１０１が、２次元パターン光の輝度補正を実現することができる。
【００２３】
図１３は、図１２のステップＳ１１０２の輝度分布補正値生成処理の一例を説明するフローチャートである。具体的に図１３（ａ）は、偏角φ、θ１、θ２をそれぞれ独立に用いて輝度分布補正値を生成する際の処理を説明するフローチャートである。図１３（ａ）では、図８及び図９を用いて説明したのと同じ流れで処理が行われる。
ステップＳ１２０１では、偏角情報処理部１００４は、照明系１０１の偏角情報から第１の輝度分布を生成する。具体的に偏角情報処理部１００４は、偏角φ、θ１から、全ての画素に対応する補正値をもつテーブルである第１の輝度分布を生成する。第１の輝度分布は、概念としては、図８に示した輝度分布８０１や図９に示した輝度分布８０４に対応する。
次に、ステップＳ１２０２では、偏角情報処理部１００４は、撮像系１０２の偏角情報から第２の輝度分布を生成する。具体的に偏角情報処理部１００４は、偏角φとθ２から、全ての画素に対応する補正値をもつテーブルである第２の輝度分布を生成する。第２の輝度分布は、概念としては、図８に示した輝度分布８０２や図９に示した輝度分布８０５に対応する。
次に、ステップＳ１２０３では、偏角情報処理部１００４は、第１の輝度分布と第２の輝度分布とから輝度分布補正値を生成する。輝度分布補正値（テーブル）は、概念としては、図８に示した輝度分布８０３や図９に示した輝度分布８０６に対応する。
以上の処理により、偏角情報から輝度分布補正値が生成できる。
【００２４】
図１３（ｂ）は、偏角φと、偏角θ１とθ２との差分とからなる２つのパラメータ（差分情報）を用いて輝度分布補正値を生成する際の処理を説明するフローチャートである。図１３（ｂ）のフローチャートは、照明系１０１及び撮像系１０２の輝度分布に対する角度特性が同一である場合に適用できる。例えば、図８に示したように、照明系１０１の出射光強度の角度特性、撮像系１０２の受光強度の角度特性が同じ変化率で直線的に変化する場合に図１３（ｂ）のフローチャートを適用できる。
ステップＳ１２０４では、位置関係情報取得部２０８は、照明系１０１・撮像系１０２の偏角情報θ１、θ２から、角度差θ１−θ２を取得する。この角度差θ１−θ２には大きさだけでなく向きの情報が含まれ、この向きは輝度変化量の向きを規定するものである。この処理により、偏角情報のパラメータを２つに減らすことができる。
次に、ステップＳ１２０５では、偏角情報処理部１００４は、偏角φ、角度差θ１−θ２から輝度分布補正値を取得する。角度差θ１−θ２の大きさから輝度の変化量、角度差θ１−θ２の向きからその輝度の変化の方向を規定できる。偏角情報処理部１００４は、この角度差θ１−θ２と偏角φとを合わせて輝度分布補正値を生成する。
以上の処理ステップにより、２つのパラメータからなる偏角情報から輝度分布補正値が生成できる。この処理では、位置関係情報取得部２０８でパラメータを減らすことができるため、処理速度・メモリ容量の面で有利である。
【００２５】
図１４は、階調変換で発生するダイナミックレンジの低下を補う処理を説明する図である。具体的に図１４（ａ）は、空間変調器５０３の制御のみで輝度分布の補正を行った場合を示す図であり、図１４（ｂ）は、空間変調器５０３と光源５０１の制御とを組み合わせて輝度分布補正を行った場合を示す図である。
図１４（ａ）の横軸は任意の１ライン、縦軸は横軸の画素に対応する測定面７０１での輝度の大きさと階調である。輝度分布補正の簡単な手法としては、輝度変化により輝度が最も暗くなる画素の輝度値を最大輝度値としてその他の画素の階調を変換する方法がある。図１４（ａ）の任意の１ラインの両端の画素が輝度変化により輝度が最も暗くなる画素に対応し、この画素が達成できる最大輝度値、すなわち階調が「２４０」の時の輝度値をこのラインの最大輝度値とする。両端の画素以外の画素は、階調「２４０」を超えない範囲内で階調変換が行われる。この場合、最大輝度値が階調「２４０」のときの輝度値となるため、ダイナミックレンジが低下する。ここでは説明の簡略化のため任意１ラインを取り上げたが、実際には、照明パターン画像を構成する全ての画素を対象としてこのような処理を行う。
【００２６】
同様に、図１４（ｂ）の横軸は任意の１ライン、縦軸は横軸の画素に対応する測定面７０１での輝度の大きさと階調である。図１４（ａ）と図１４（ｂ）の輝度のスケールは一致している。図１４（ｂ）では、低下したダイナミックレンジを補うように光源５０１の輝度を上げる。図１４（ａ）と異なり、最大輝度値のレベルを変化させないため、ダイナミックレンジを確保できる。ダイナミックレンジの低下を補う光源５０１の輝度の大きさは、輝度補正値生成処理部１００５で生成できる。輝度補正値生成処理部１００５では輝度ベースの輝度補正値が得られるため、そこでの最大輝度補正値と最小輝度補正値の差分が光源５０１で補う輝度の大きさとなる。
図１４（ｂ）では、ダイナミックレンジを低下させない程度に、最大輝度補正値と最小輝度補正値との差分だけ光源５０１の輝度を上げるための手法を説明した。しかしながら、動径の情報に基づいて輝度強度の補正を正確に行うという観点からは、輝度分布補正における基準輝度値と最大補正輝度値との差分を光源５０１で補う手法が適している。輝度補正値生成処理部１００５では、図８（ｃ）の任意の１ラインでの輝度の傾斜のグラフで示した輝度分布の増減割合（０．８〜１．２）が把握できる。輝度を変化させない基準輝度値と最大輝度補正値との差分が光源５０１で補う輝度の大きさとなる。ここでの基準輝度値とは該グラフでの輝度補正変化分が「１．０」にあたるところの輝度値であり、最大輝度補正値とは該グラフでの輝度補正変化分が「１．２」にあたるところの輝度値である。
以上のように、照明系１０１で輝度補正を実施する際には、空間変調器５０３の制御と光源５０１の制御とを組み合わせることができ、ダイナミックレンジを確保したパターン照明が実現できる。特に、空間符号化においては、２値階調の輝度差、又は２値階調間の輝度変化の過程からエッジ位置を認識する。そのため、ダイナミックレンジを広くして２値階調の輝度差をなるべく大きく確保できれば、エッジ位置の認識精度も向上する。このように、照明系１０１で輝度補正を実施する利点として、ダイナミックレンジを確保でき、特に空間符号化法におけるエッジ認識精度が向上する点が挙げられる。
【００２７】
以上のように本実施形態では、照明系１０１の偏角φ、θ１、撮像系１０２の偏角φ、θ２を考慮して輝度を補正した場合に想定される空間変調器５０３上の輝度分布（照明系１０１と撮像系１０２の双方を考慮した輝度分布補正値）を生成する。この輝度分布補正値と、位置関係に起因しない静的な輝度分布補正値とから、３次元計測システムにおける輝度分布の補正値を生成し、この輝度分布の補正値に基づいて、照明パターン画像の階調変換をし、階調変換した照明パターン画像に従った照明を行う。また、動径ｌ１、ｌ２の情報と、測定対象物１０３の反射率とを基に、３次元システムの光量減衰率を求め、この３次元システムの光量減衰率と、基準とする光量減衰率との比較結果から、光源５０１の強度を調整する。したがって、照明系１０１や撮像系１０２が測定対象物１０３に対して可変となる場合でも、照明系１０１と測定対象物１０３との位置関係、撮像系１０２と測定対象物１０３との位置関係のそれぞれに起因する画像の輝度変化（所謂輝度むら）を同時に抑制できる。
また、空間変調器５０３の制御と光源５０１の制御とを組み合わせることができ、階調変換によるダイナミックレンジの低下を、光源５０１を用いて補うことができる。したがって、空間符号化法においてはダイナミックレンジを確保した照明が可能となり、精度の高いエッジ認識が実現できる。
尚、本実施形態は、照明系１０１と撮像系１０２とが自由に動けるシステムにおいて、照明系１０１及び撮像系１０２の、測定対象物１０３との位置関係を利用して輝度変化を補正していれば、パターン照明を用いる３次元計測以外にも適用できる。例えば、照明系と撮像系が可動である外観検査や欠陥検査等、均一照明を用いる画像取得システムへの適用も効果的である。
【００２８】
（第２の実施形態）
次に、本発明の第２の実施形態を説明する。前述した第１の実施形態では、照明系１０１で輝度補正を実施する場合を例に挙げて説明した。これに対し、本実施形態では、撮像系１０２で輝度補正を実施するようにする。このように、本実施形態と前述した第１の実施形態とでは、輝度補正を行う主体と、輝度補正を行うための処理の一部とが主として異なる。したがって、本実施形態の説明において、前述した第１の実施形態と同一の部分についての詳細な説明を省略する。例えば、図１に示した３次元計測システムの基本的な構成、図３に示した２次元パターン光は、第１の実施形態と同じである。
【００２９】
図２に示した３次元計測システムの機能ブロックのうち、照明制御部２０２、撮像制御部２０４、及び制御部２０７以外は、第１の実施形態と同様である。以下、本実施形態の照明制御部、撮像制御部、及び制御部が有する機能のうち、第１の本実施形態と異なる部分を中心に説明する。
照明制御部は、照明本体部２０１の制御を行う。第１の実施形態の照明制御部２０２は、照明パターン画像の輝度補正（階調変換）を行うが、本実施形態の照明制御部は、照明パターン画像の輝度補正（階調変換）を行わない。すなわち、照明制御部は、外部又は内部で生成した照明パターン画像に対応した光源２０９や空間変調器２１１（パネル）の駆動制御を行う。撮像制御部は、撮像本体部２０３の制御に加えて、撮像画像の処理を行う。具体的に撮像制御部は、撮像デバイス２１３の動作制御、シャッタースピード、フレームレート、ＲＯＩ等の動作タイミングの制御に加えて、撮像した２次元パターン光の画像の輝度補正（画像補正）等を行う。制御部は、照明制御部と撮像制御部とを統合制御する。具体的に制御部は、照明と撮像の同期制御機能や、照明系１０１・撮像系１０２の位置関係情報を、輝度補正のための情報として用いるための伝送機能等を有する。本実施形態では、撮像系１０２で輝度補正を実施するため、位置関係情報取得部２０８からの照明系１０１・撮像系１０２の位置関係情報は、照明制御部ではなく、撮像制御部に送られる。以上の機能ブロックにより、測定対象物１０３の３次元計測が実現できる。
【００３０】
図１５は、３次元計測システムの処理の一例を説明するフローチャートである。
ステップＳ１４０１では、照明系１０１を制御する照明制御部と、撮像系１０２を制御する撮像制御部とのそれぞれに対して通信の確立を行う。
次に、ステップＳ１４０２では、照明系１０１・撮像系１０２の位置関係情報のキャリブレーションが行われる。位置関係情報取得部２０８からの照明系１０１・撮像系１０２の位置関係情報が、制御部２０７を介して撮像制御部へ送信する。ここで送信された位置関係情報は、ステップＳ１４０５の撮像輝度補正処理で用いられる。
次に、ステップＳ１４０３では、照明本体部２０１は、測定対象物１０３に２次元パターン光を照射する。空間符号化法では、複数のエッジパターン３０１の２次元パターン光が照射され、位相シフト法では、同一位相の正弦波パターン３０２の２次元パターン光が照射される（図３を参照）。
次に、ステップＳ１４０４では、撮像本体部２０３は、測定対象物１０３から拡散反射された２次元パターン光を撮像する。実際に撮像される２次元パターン光には、測定対象物１０３の形状や表面の凹凸の影響で、パターンのエッジずれや位相ずれが発生している。
次に、ステップＳ１４０５では、撮像制御部は、撮像輝度補正処理を行う。ここでは、撮像制御部は、照明系１０１・撮像系１０２の位置関係情報を基に、２次元パターン光の画像の輝度補正を行う。輝度補正の概要は、第１の実施形態の図７〜図９を用いて説明したのと同様である。ただし、本実施形態では、撮像系１０２で輝度補正を実施する形態であるので、図８〜図１０に示した輝度分布８０３、８０６、９０３は、輝度変化が発生した２次元パターン光の画像に対する輝度補正の結果である、と解釈しなおす必要がある。
次に、ステップＳ１４０６では、３次元撮像処理部２０５は、パターン投影法を利用して、ステップＳ１４０５で輝度補正処理された２次元パターン光から、測定対象物１０３の奥行き方向の距離を取得する。３次元撮像処理部２０５は、２次元パターン光の画像の幅方向と高さ方向の情報と合わせて、このステップ１４０６で測定対象物１０３の３次元情報を取得する。
以降のステップＳ１４０７〜Ｓ１４０９は、図４のステップＳ４０７〜Ｓ４０９と同じである。すなわち、３次元撮像処理部２０５は、ステップＳ１４０７で、３次元情報を更新し、ステップＳ１４０８で、３次元情報の取得が完了したか否かを判断する。そして、３次元情報の取得が完了すると、３次元計測処理部２０６は、ステップＳ１４０９で、３次元計測処理を行う。
【００３１】
図１６は、３次元計測システムの撮像制御部２０４の機能ブロックの一例を示す図である。撮像制御部２０４は、Ｖドライバ１５０３、タイミングジェネレータ１５０４、ＣＤＳ／ＡＧＣ部１５０５、ＡＤ変換部１５０６、輝度補正部１５０７、及び画像出力部１５０８を備えて構成される。
Ｖドライバ１５０３は、撮像本体部２０３内の撮像デバイス２１３（撮像素子）の垂直駆動信号を生成する。タイミングジェネレータ１５０４は、撮像本体部２０３の駆動に関わる信号を生成する。Ｖドライバ１５０３とタイミングジェネレータ１５０４とにより撮像本体部２０３を駆動する。ＣＤＳ／ＡＧＣ部１５０５は、撮像本体部２０３からのアナログ信号に対しＣＤＳ（Correlated Double Sampling、相関２重サンプリング）、ＡＧＣ（Automatic Gain Control、自動ゲイン調整アンプ）を行う。ＡＤ変換部１５０６は、ＣＤＳ／ＡＧＣ部１５０５から出力されるアナログ信号をデジタル信号に変換する。輝度補正部１５０７は、２次元パターン光の画像の輝度補正を行う。輝度補正部１５０７には、制御部から、照明系１０１・撮像系１０２の位置関係情報（動径情報や偏角情報）が入力される。輝度補正部１５０７は、これらの情報を基に、２次元パターン光の画像の輝度補正を行う。輝度補正には、概略、２次元パターン光の画像のゲイン調整と、階調変換とが含まれる。輝度補正された２次元パターン光の画像は画像出力部１５０８へ出力される。輝度補正の詳細は図１７を用いて後述する。画像出力部１５０８は、２次元パターン光の画像のフォーマットをインタフェースに合わせて変更する。計測精度や計測速度の向上を考えると高い解像度や高いフレームレートが必要となる。このため、画像出力部１５０８は、大容量伝送に対応したインタフェースであることが望ましい。インタフェースとしては、ＵＳＢやＩＥＥＥ１３９４のメタル線、Gigabit Ethernet（登録商標）等の光ファイバが使用される。
【００３２】
図１７は、輝度補正部１５０７の機能ブロックの一例を示す図である。図１７に示す機能ブロックのうち、位置関係情報格納部１００２、動径情報処理部１００３、偏角情報処理部１００４、輝度補正値生成処理部１００５、静的輝度補正値格納部１００６、及び階調データ格納部１００７は第１の実施形態のものと同様である。
ゲイン調整部１６０１は、２次元パターン光の画像のゲインを調整する。このゲインの調整は、図１０を用いて説明した輝度強度の補正に相当する。ゲイン調整部１６０１は、動径情報処理部１００３からの輝度強度補正値を基に、２次元パターン光の画像のゲインを調整する。画像全体に均一なゲインを乗じるため、このゲインを調整する処理は、２次元パターン光の画像全体を明るくする、又は、暗くする処理となる。このとき、ゲイン調整部１６０１は、２次元パターン光の画像の階調よりも大きなビット数で演算を行い、階調精度を極力劣化させないようにするのが望ましい。ゲインが調整された２次元パターン光の画像は、階調変換部１６０２へ出力される。階調変換部１６０２は、２次元パターン光の画像の階調を変換する。階調変換部１６０２の処理は、第１の実施形態の階調変換部１００１と略同様であるが、本実施形態の階調変換部１６０２では、２次元パターン光の画像の階調よりも大きなビット数で演算を行うのが望ましい。階調精度を極力劣化させないようにするためである。階調変換された２次元パターン光の画像は、画像出力部１５０８へ出力される。この階調変換部１６０２により、前段での撮像系１０２での階調を、照明系１０１での階調よりも高くすることができ、量子化誤差の影響を極力抑制することができる。以上で説明した機能ブロックにより撮像系１０２での輝度補正が実現できる。
【００３３】
輝度補正部１５０７が行う処理を説明するフローチャートは、図１２に示したフローチャートと略同様であるが、一部が異なる。以下に、その異なる部分を説明する。
ステップＳ１１０４では、輝度補正値生成処理部１００５及び階調変換部１６０２は、２次元パターン光の画像に対して階調変換を行う。具体的に輝度補正値生成処理部１００５は、ステップＳ１１０２で生成された輝度分布補正値（テーブル）を基に、階調変換を行うための階調テーブルを生成する。そして、階調変換部１６０２は、階調データ格納部１００７から階調テーブルを読み出して階調変換を行う。このとき、階調変換部１６０２は、２次元パターン光の画像の階調よりも大きなビット数で演算を行い、階調精度を極力劣化させないようにするのが望ましい。
ステップＳ１１０６では、ゲイン調整部１６０１が、２次元パターン光の画像のゲインの調整を行うことになる。撮像系１０２が測定面７０１からの反射光を撮像した際の光源強度が一定となるように、２次元パターン光の画像のゲインの調整を行う。
以上の処理により、撮像系１０２での２次元パターン光の輝度補正を実現することができる。
尚、偏角φ、θ１、θ２の情報から輝度分布補正値の生成を説明するフローチャートは、図１３に示したものと同様である。
【００３４】
次に、本実施形態では、量子化誤差を抑制した階調表現を実現できることを説明する。第１の実施形態との相違点を明らかにするため、まず第１の実施形態の構成における量子化誤差について説明した後、本実施形態の優位点を述べる。
図１８は、照明系１０１で輝度補正の一例を階調に着目して説明するフローチャートである。図１８では、階調が変換される主要な部分を列挙し、その他の部分の図示を省略している。
ステップＳ１７０１では、画像入力部６０２が照明パターン画像のデータを入力する。この照明パターン画像のデータでは、例えば８ビット、２５５の階調が確保されている。ここでの階調は整数データである。次に、ステップＳ１７０２では、輝度補正部６０３は、照明系１０１での輝度補正（照明補正による階調圧縮）を実施する。例えば、階調を８０％圧縮した場合、輝度補正を実施した後のデータにおける最高輝度値の階調は２０４（＝２５５×０．８）となる（図１４（ａ）を参照）。ここでの階調は小数データである。次に、ステップＳ１７０３では、空間変調器５０３は、輝度補正（階調圧縮）した２次元パターン光の照明パターン画像での照明を行う。このときの照明パターン画像の階調は、階調圧縮時に生じた小数部分が四捨五入等で丸められて、整数データとして表現される。次に、ステップＳ１７０４では、撮像制御部２０４は、測定対象物１０３に照射された２次元パターン光の撮像画像を１０ビットでＡＤ変換する。このＡＤ変換を行ったデータにおける階調は、０から１０２３までで表現される小数データである。次に、ステップＳ１７０５では、撮像制御部２０４は、ＡＤ変換を行ったデータを、デジタルデータとして利用できる形式にフォーマット変換する。このフォーマット変換を行ったデータにおける階調は、例えば８ビットの整数データである。
【００３５】
図１９は、照明系１０１で輝度補正を行う場合のデータの一例を示す図である。具体的に図１９（ａ）は、図１８の各ステップで得られる階調データの一例を示す図である。図１９（ａ）では、ステップＳ１７０１で入力したデータのうち、階調が１２０から１３４までのときの階調データを切出して示している。図中（表中）の有効数字は任意であり、回路規模、処理精度、及び処理速度に応じて任意に設定できる。
図１９（ｂ）は、ステップＳ１７０１で入力したデータの階調を横軸、ステップＳ１７０５でフォーマット変換をしたデータの階調を縦軸として示した図である。図１９（ｂ）に示すように、ステップＳ１７０１で入力したデータの階調が「１２２」、「１２７」、「１３２」のときに量子化誤差が発生していることがわかる。
このような量子化誤差の発生要因は、照明系１０１での階調抑制と撮像系１０２でのＡＤ変換の精度である。照明系１０１で輝度補正を実施し、更に撮像系１０２でのＡＤ変換の精度が足りない場合には量子化誤差が発生する場合がある。これに対し、本実施形態のように撮像系１０２で輝度補正を実施する際には、照明系１０１での階調劣化がないために、撮像系１０２でのＡＤ変換の精度を節約できると共に、３次元計測システムにおける量子化誤差の発生を抑制できる。特に、位相シフト法においては、階調から位相位置を認識する。そのため、量子化誤差を極力抑制し、精度の良い階調が確保できれば、位相位置の認識精度も向上する。このように、撮像系１０２で輝度補正を実施する利点として、量子化誤差を抑制でき、特に位相シフト法における位相認識精度が向上する点が挙げられる。
【００３６】
図２０は、撮像系１０２での局所的な輝度補正を概念的に説明する図である。図１７に示した輝度補正部１５０７を３次元撮像処理部２０５に組み込むようにすれば、計測対象領域だけに補正処理を限定して行うことができ、処理の高速化が可能である。例えば、図２０に示すように、位相シフト法で撮像した２次元パターン光の画像のある局所領域だけを切出すことで、大幅な処理時間短縮が実現できる。
【００３７】
以上のように、撮像系１０２で輝度補正を実施しても、ダイナミックレンジを確保する以外の点で、前述した第１の実施形態と同様の効果を得ることができ、更に、量子化誤差の抑制が可能であるので、精度の高い階調認識が実現できる。また、計測対象領域だけに補正処理を限定することで処理の高速化を実現できる。
【００３８】
（第３の実施形態）
次に、本発明の第３の実施形態について説明する。前述した第１の実施形態では、照明系１０１で輝度補正を実施する場合を、第２の実施形態では、撮像系１０２で輝度補正を実施する場合を、それぞれ例に挙げて説明した。これに対し、本実施形態では、輝度補正の機能を分離して、照明系１０１で輝度強度の補正を行い、撮像系１０２で輝度分布の補正をそれぞれ実施する場合について説明する。このように、輝度補正を行う主体の一部と、輝度補正を行うための処理の一部とが主として異なる。したがって、本実施形態の説明において、前述した第１、第２の実施形態と同一の部分についての詳細な説明を省略する。例えば、図１に示した３次元計測システムの基本的な構成、図３に示した２次元パターン光は、第１の実施形態と同じである。
【００３９】
図２に示した３次元計測システムの機能ブロックのうち、照明制御部２０２、撮像制御部２０４、及び制御部２０７以外は、第１の実施形態と同様である。以下、本実施形態の照明制御部、撮像制御部、及び制御部が有する機能のうち、第１、第２の本実施形態と異なる部分を中心に説明する。
照明制御部は、照明パターン画像の制御や、照明本体部２０１の制御を行う。第１の実施形態の照明制御部２０２では、輝度強度の補正に加えて輝度分布の補正を行うようにしたが、本実施形態の照明制御部では、輝度分布の補正を行わずに、動径情報と偏角情報に基づいた輝度強度の補正を行うようにしている。撮像制御部は、撮像本体部２０３の制御に加えて、撮像画像の処理を行う。具体的に撮像制御部は、撮像デバイス２１３の動作制御、シャッタースピード、フレームレート、ＲＯＩ等の動作タイミングの制御に加えて、撮像した２次元パターン光の画像の輝度補正等を行う。第２の実施形態の撮像制御部では、輝度分布の補正（階調変換）に加えて、ゲインの調整を行うようにしたが、本実施形態の撮像制御部では、ゲインの調整を行わずに、輝度分布の補正を行う。制御部は、照明制御部と撮像制御部とを統合制御する。具体的に制御部は、照明と撮像の同期制御機能や、照明系１０１・撮像系１０２の位置関係情報を、輝度補正のための情報として用いるための伝送機能等を実現する。本実施形態では、照明系１０１と撮像系１０２の両者で輝度補正を実施する構成であるため、位置関係情報取得部２０８からの照明系１０１・撮像系１０２の位置関係情報は、照明制御部と撮像制御部の双方に送られる。照明制御部に送られる位置関係情報は、動径情報と偏角情報であり、撮像制御部に送られる位置関係情報は偏角情報である。以上の機能ブロックにより、測定対象物１０３の３次元計測が実現できる。
【００４０】
図２１は、３次元計測システムの処理の流れの一例を説明する図である。
ステップＳ１９０１では、制御部は、照明系１０１の通信を確立する。すなわち、制御部と照明制御部との通信が確立される。
次に、ステップＳ１９０２では、制御部は、撮像系１０２の通信を確立する。すなわち、制御部と撮像制御部との通信が確立される。
次に、ステップＳ１９０３では、照明系１０１の位置関係情報のキャリブレーションが行われる。位置関係情報取得部２０８からの位置関係情報を、制御部を介して照明制御部へ送信する。ここで送信された位置関係情報は、ステップＳ１９０５の照明輝度補正処理（照明系１０１での輝度強度の補正）で用いられる。この位置関係情報の精度は、照明制御部で行われる輝度補正の精度に影響を与える。
次に、ステップＳ１９０４では、撮像系１０２の位置関係情報のキャリブレーションが行われる。位置関係情報取得部２０８からの位置関係情報を、制御部を介して撮像制御部へ送信する。ここで送信された位置関係情報は、ステップＳ１９０６の撮像処理（撮像系１０２での輝度分布の補正）で用いられる。この位置関係情報は、ステップＳ１９０３で用いられる位置関係情報と同じものである。
次に、ステップＳ１９０５では、照明制御部は、制御部からのスタート信号を基に、輝度補正処理を行い、測定対象物１０３に対して輝度補正した２次元パターン光を照射する。照明輝度補正は、位置関係情報を基にした輝度強度補正である。ここで用いられる位置関係情報は、照明系１０１・撮像系１０２の動径ｌ１、ｌ２の情報（動径情報）、偏角φ、θ１、θ２の情報（偏角情報）である。この輝度補正処理の詳細については、図２２を用いて後述する。
次に、ステップＳ１９０６では、撮像制御部は、制御部からのスタート信号を基に、測定対象物１０３から拡散反射された２次元パターン光を撮像し、撮像輝度補正処理を行う。そして、３次元撮像処理部２０５は、３次元撮像処理を行う。撮像輝度補正は、位置関係情報を基に撮像制御部２０４で行う輝度分布の補正である。ここで用いられる位置関係情報は、照明系１０１・撮像系１０２の偏角φ、θ１、θ２の情報（偏角情報）である。３次元撮像処理部２０５は、パターン投影法を利用して、撮像された２次元パターン光の画像から測定対象物１０３の奥行き方向の距離を取得する。この測定対象物１０３の奥行き方向の距離の情報と、２次元パターン光の画像の幅方向と高さ方向の情報とに基づいて、測定対象物１０３の３次元情報を取得できる。制御部は、照明と撮像が同期して動作するように、タイミングを規定したスタート信号を発信する。
次に、ステップＳ１９０７では、３次元撮像処理部２０５は、３次元情報（位置情報）を更新する。空間符号化法でも位相シフト法でも複数枚の２次元パターン光を撮像して３次元情報を取得するが、このステップＳ１９０７において１枚毎に３次元情報を更新する。複数枚の２次元パターン光の画像を用いて、ステップＳ１９０５〜Ｓ１９０７のループを繰り返す（ループの回数を増やす）ことで、３次元計測の精度を向上させることができる。ステップＳ１９０８〜Ｓ１９１０は、それぞれステップＳ１９０５〜Ｓ１９０７と同様の処理ステップである。
次に、ステップＳ１９１１では、３次元情報の取得が終了する。３次元計測処理部２０６は、取得された３次元情報を基にモデルフィッティングを行い、測定対象物１０３の３次元形状、位置、及び姿勢を計測する。
【００４１】
図２２は、照明制御部の機能ブロックの一例を示す図である。具体的に図２２（ａ）は、照明制御部全体の機能ブロックを示す図であり、図２２（ｂ）は、照明制御部内の輝度補正部の機能ブロック図である。図２２において、第１の実施形態で示した図６、図１１と同じ機能の機能ブロックについては、図６、図１１に付した符号と同一の符号を付している。
輝度補正部２００１は、照明パターン画像の輝度変化を補正する。輝度補正部２００１には、制御部から照明系１０１・撮像系１０２の位置関係情報（動径情報及び偏角情報）が入力される。輝度補正部２００１は、これらの情報を基に照明パターン画像の輝度強度の補正を行う。輝度強度の補正とは光源５０１の強度変換である。輝度補正部２００１は、光源５０１の強度を変調する光源変調信号を光源駆動部６０５へ出力する。
本実施形態では、輝度分布の補正の手法として、輝度変化により輝度が最も暗くなる画素の輝度値を最大輝度値としてその他の画素の階調を変換する場合を想定する（図１４（ａ）を参照）。強度変調情報生成部２００２は、偏角情報処理部１００４から取得した輝度分布補正値を基に、輝度変化により輝度が最も暗くなる画素での階調と、最大階調との間の輝度差を取得する。図１４（ａ）に示した例では、任意の１ラインの両端の画素での階調「２４０」と最大階調「２５５」との輝度差がそれ（輝度差）に対応する。強度変調情報生成部２００２は、この輝度差を光源５０１の出力で補うための強度変調信号を光源変調信号生成部１００８へ出力する。この機能ブロックでの処理により、図１４（ｂ）で説明したダイナミックレンジの確保が可能となる。以上の機能ブロックにより、照明系１０１において、ダイナミックレンジを確保した輝度強度の補正が実現できる。
【００４２】
図２３は、撮像制御部の機能ブロックの一例を示す図である。具体的に図２３（ａ）は、撮像制御部全体の機能ブロックを示す図であり、図２３（ｂ）は、撮像制御部内の輝度補正部の機能ブロックを示す図である。図２２において、第２の実施形態で示した図１６、図１７と同じ機能の機能ブロックについては、図１６、図１７に付した符号と同じ符号を付している。
輝度補正部２１０１は、撮像された照明パターン画像の輝度変化を補正する。輝度補正部２１０１には、制御部から照明系１０１・撮像系１０２の位置関係情報（偏角情報）が入力される。輝度補正部２１０１は、この情報を基に照明パターン画像の輝度分布の補正を行う。輝度分布の補正とは、照明パターン画像の階調変換である。輝度補正部２１０１は、階調変換した照明パターン画像を画像出力部１５０８へ出力する。以上の機能ブロックにより、撮像系１０２において、輝度分布補正が実現できる。
【００４３】
図２４は、輝度補正処理の一例を説明するフローチャートである。具体的に図２４（ａ）は、照明系１０１で輝度強度を補正する処理を説明するフローチャートである。
ステップＳ２２０１では、位置関係情報格納部１００２は、位置関係情報取得部２０８で取得、処理した「測定対象物１０３の位置関係情報、照明系１０１・撮像系１０２の位置関係情報」を格納する。この処理は、図１２のステップＳ１１０１と同様の処理である。
次に、ステップＳ２２０２では、動径情報処理部１００３は、測定対象物１０３の反射率を考慮した輝度強度補正値を生成する。この処理は、図１２のステップＳ１１０５と同様の処理である。
次に、ステップＳ２２０３では、光源変調信号生成部１００８は、光源変調信号の生成を実施する。この処理は、図１２のステップＳ１１０６と同様の処理である。尚、本実施形態においても、強度変調情報生成部２００２で生成された強度変調信号に基づいてダイナミックレンジ低下を補う処理も実施する。このステップＳ２２０３での処理結果は、光源５０１での実際の２次元パターン光の強度変調として達成される。
以上の処理により、照明系１０１が、２次元パターン光の輝度強度の補正を実現することができる。
【００４４】
図２４（ｂ）は、撮像系１０２で輝度分布を補正する処理を説明するフローチャートである。
ステップＳ２２０４では、位置関係情報格納部１００２は、位置関係情報取得部２０８で取得、処理した「測定対象物１０３の位置関係情報、照明系１０１・撮像系１０２の位置関係情報」を格納する。ここでは、照明系１０１・撮像系１０２の偏角φ、θ１、θ２の情報が位置関係情報格納部１００２に格納される。
次に、ステップＳ２２０５では、偏角情報処理部１００４は、輝度分布補正値を生成する。この処理は、図１２のステップＳ１１０２（その詳細は図１３）と同様の処理である。
次に、ステップＳ２２０６では、輝度補正値生成処理部１００５は、位置関係情報に起因しない静的な輝度変化の影響を、ステップＳ２２０５で算出された輝度分布補正値に加味する。具体的に輝度補正値生成処理部１００５は、静的輝度補正値格納部１００６が保持している静的輝度補正値が登録されたテーブルを、輝度分布補正値（テーブル）に掛け合わせる。この処理は、図１２のステップＳ１１０３と同様の処理である。
次に、ステップＳ２２０７では、輝度補正値生成処理部１００５及び階調変換部１６０２は、照明パターン画像に対して階調変換を実施する。具体的に、輝度補正値生成処理部１００５は、ステップＳ２２０６で生成された輝度分布補正値（テーブル）を基に、階調変換を行うための階調テーブルを生成して階調データ格納部１００７に格納する。このとき輝度補正値生成処理部１００５は、照明パターン画像の階調よりも大きなビット数で演算を行い、階調精度を極力劣化させないようにするのが望ましい。そして、階調変換部１６０２は、階調データ格納部１００７から階調テーブルを読み出して階調変換を行う。
以上の処理により、撮像系１０２が、２次元パターン光の輝度分布の補正を実現することができる。
【００４５】
以上のように、照明系１０１で輝度強度の補正を行い、撮像系１０２で輝度分布の補正を行って、輝度補正の機能を分離することで、第１、第２の実施形態の双方の効果を得ることができる。すなわち、ダイナミックレンジを確保し、且つ、システムにおける量子化誤差の発生を抑制できる。ダイナミックレンジの確保は、空間符号化法におけるエッジ認識の精度の向上に寄与し、量子化誤差の抑制は、位相シフト法における階調認識の精度の向上に寄与する。本実施形態は、特に、空間符号化法と位相シフト法とを同時に実施するような３次元計測システムにおいて有効である。
【００４６】
（第４の実施形態）
次に、本発明の第４の実施形態について説明する。前述した第１〜第３の実施形態では、照明系１０１（照明手段）が１つである場合を例に挙げて説明した。これに対し、本実施形態では、３次元計測システムが照明系１０１を複数有する場合について説明する。このように本実施形態と前述した第１〜第３の実施形態とは、照明系１０１の数と、照明系１０１の数が異なることによる処理が主として異なる。したがって、本実施形態の説明において、前述した第１〜第３の実施形態と同一の部分についての詳細な説明を省略する。
【００４７】
図２５は、３次元計測システムの概略構成の一例を示す図である。図２５に示すように、本実施形態の３次元計測システムは、３つの照明系１０１Ａ、１０１Ｂ、１０１Ｃと、１つの撮像系１０２とを有する。本実施形態の３次元計測システムも、例えば、工場の製造ライン等でロボットハンドが、部品の選別や組み立て等の作業が行えるように、対象となる部品の３次元計測を行うシステムである。撮像系１０２との位置関係に基づいて、最も計測精度が得られると考えられる照明系１０１を１つ選択し、その照明系１０１と撮像系１０２との組み合せで３次元計測を実施する。そのため、複数の照明系１０１Ａ〜１０１Ｃは、同時に２次元パターン光を照射することがないように排他制御される。複数の照明系１０１Ａ〜１０１Ｃの１つを選択するための処理と、それら複数の照明系１０１Ａ〜１０１Ｃの排他制御を行う処理以外の処理は、第１〜第３の実施形態と同様である。尚、以下の説明では、第１の実施形態の構成を前提として説明を行う。
【００４８】
図２６は、３次元計測システムの機能ブロックの一例を示す図である。３次元計測システムは、照明系１０１Ａ〜１０１Ｃ、撮像系１０２、３次元撮像処理部２０５、３次元計測処理部２０６、位置関係情報取得部２０８、制御部２４０１、及び位置関係処理部２４０２を備えて構成される。図２６に示す機能ブロックのうち、撮像系１０２、３次元撮像処理部２０５、及び３次元計測処理部２０６は第１の実施形態のものと同様である。
照明系１０１Ａ〜１０１Ｃは、測定対象物１０３に向けて２次元パターン光を照射する。具体的に照明系１０１Ａ〜１０１Ｃは、パターン投影法に基づき、空間符号化法で用いられるエッジパターンや、位相シフト法で用いられる正弦波パターンを測定対象物１０３に投射する。照明系１０１Ａ〜１０１Ｃのそれぞれの構成は、図２、図５に示したものと同様である。撮像系１０２は、測定対象物１０３で反射された２次元パターン光を撮像する。撮像系１０２の構成は、図２に示したものと同様である。制御部２４０１は、照明系１０１Ａ〜１０１Ｃと撮像系１０２とを統合制御する。制御部２４０１は、照明と撮像の同期制御機能と、照明系１０１・撮像系１０２の位置関係情報を、輝度補正の情報として用いるための伝送機能に加え、照明系１０１Ａ〜１０１Ｃの排他制御機能等を有する。ここでは、第１の実施形態と同様に、照明系１０１で輝度補正を実施する構成を想定している。そのため、位置関係処理部２４０２からの照明系１０１・撮像系１０２の位置関係情報は、位置関係処理部２４０２で選択された照明系１０１Ａ〜１０１Ｃの何れかに送られる。位置関係処理部２４０２は、測定対象物１０３の位置関係情報と、照明系１０１Ａ〜１０１Ｃと撮像系１０２の位置関係情報とを計算処理して、３次元計測に用いる照明系１０１を選択する。本実施形態では、位置関係処理部２４０２は、測定対象物１０３と撮像系１０２の位置関係から、オクルージョンがなく、且つ、計測精度が得られる位置にある照明系１０１を選択する。ここで、計測精度が得られる位置とは、例えば、測定対象物１０３に対して撮像系１０２と共役な位置の近くである。図７においては、計測精度が得られる位置とは、φ≒０、θ１≒θ２、ｌ１≒ｌ２が成立する位置であり、理想的な条件の場合、照明系１０１、撮像系１０２、測定対象物１０３がこのような位置関係にある場合、位置関係に起因する輝度変化がほとんど発生しない。位置関係情報取得部２０８は、ロボットアームが保持する位置関係情報を基に、測定対象物１０３の位置関係情報と、照明系１０１と撮像系１０２の位置関係情報を取得する。位置関係情報の取得方法は第１の実施形態と同様であるが、本実施形態では、複数の照明系１０１Ａ〜１０１Ｃの位置関係情報を取得する。照明系１０１Ａ〜１０１Ｃと撮像系１０２の位置関係情報は、照明系の輝度補正で用いられる。以上の機能ブロックにより、測定対象物１０３の３次元計測が実現できる。
【００４９】
図２７は、３次元計測システムの処理の流れの一例を説明する図である。
ステップＳ２５０１では、制御部２４０１は、照明系１０１Ａ〜１０１Ｃの通信を確立する。すなわち、制御部２４０１と照明系１０１Ａ〜１０１Ｃとの通信が確立される。
次に、ステップＳ２５０２では、制御部２４０１は、撮像系１０２の通信を確立する。すなわち、制御部２４０１と撮像系１０２との通信が確立される。
次に、ステップＳ２５０３では、位置関係処理部２４０２は、複数の照明系１０１Ａ〜１０１Ｃと撮像系１０２の位置関係情報の解析処理を行う。位置関係処理部２４０２は、位置関係情報取得部２０８から位置関係情報を取得し、オクルージョンがなく、且つ、計測精度が得られる位置にある照明系１０１を１つ選択する。尚、ここでは、照明系１０１Ｂが、撮像系１０２及び測定対象物１０３に対してオクルージョンがなく、且つ、計測精度が得られる位置にあるとして説明を行う。
次に、ステップＳ２５０４では、照明系１０１Ｂの位置関係情報のキャリブレーションが行われる。位置関係処理部２４０２で選択された照明系１０１Ｂの位置関係情報は、制御部２４０１を介して照明系１０１Ｂへ送信される。ここで送信された位置関係情報は、ステップＳ２５０６の照明系１０１Ｂの輝度補正で用いられる。
次に、ステップＳ２５０５では、制御部２４０１は、該当する照明系１０１に対して照明停止処理を行う。ここでは、制御部２４０１は、照明系１０１Ａ、１０１Ｃに対して照明を行わない制御を行う。
次に、ステップＳ２５０６では、照明系１０１Ｂは、制御部２４０１からのスタート信号を基に輝度補正処理を行い、測定対象物１０３に対して輝度補正した２次元パターン光を照射する。照明の輝度補正には、位置関係情報を基に行う輝度強度の補正と輝度分布の補正とがある。ここで用いられる位置関係情報は、照明系１０１Ｂ・撮像系１０２それぞれの動径ｌ１、ｌ２、偏角φ、θ１、θ２の情報である。
尚、ここでは説明を簡単とするために、ステップＳ２５０５とステップＳ２５０６とが順次処理されるように図示されている。しかしながら、制御部２４０１から照明系１０１Ａ〜１０１Ｃへ並列に制御命令が送られて並列処理を行う方が、処理時間の短縮の観点から有利であるので好ましい。
次に、ステップＳ２５０７では、撮像系１０２は、制御部２４０１からのスタート信号を基に測定対象物１０３から拡散反射された２次元パターン光を撮像する。そして、３次元撮像処理部２０５は、３次元撮像処理部２０５は、パターン投影法を利用して、撮像された２次元パターン光の画像から測定対象物１０３の奥行き方向の距離を取得する。この測定対象物１０３の奥行き方向の距離の情報と、２次元パターン光の画像の幅方向と高さ方向の情報とに基づいて、測定対象物１０３の３次元情報を取得できる。制御部２４０１は照明と撮像が同期して動作するように、タイミングを規定したスタート信号を発信する。
次に、ステップＳ２５０８では、３次元撮像処理部２０５は、３次元情報（位置情報）を更新する。空間符号化法や位相シフト法で複数枚の２次元パターン光を撮像して３次元情報を取得する。このステップＳ２５０８では、２次元パターン光の画像が１枚得られる毎に３次元情報を更新する。このようにして複数枚の２次元パターン光の画像を用いて、ステップＳ２５０６〜Ｓ２５０８のループを繰り返す（ループの回数を増やす）ことで、３次元計測の精度を向上させることができる。
次に、ステップＳ２５０９では、３次元情報の取得が終了する。３次元計測処理部２０６は、取得された３次元情報を基にモデルフィッティングを行い、測定対象物１０３の３次元形状、位置、及び姿勢を計測する。
【００５０】
以上のように、撮像系１０２及び測定対象物１０３と照明系１０１Ａ〜１０１Ｃとの位置関係に基づいて、オクルージョンがなく、且つ、計測精度が得られる位置にある照明系１０１を１つ選択する。そして、選択した照明系１０１と、撮像系１０２とを用いて３次元計測を行った。したがって、輝度変化を更に効果的に抑制できる。
尚、本実施形態では、複数の照明系１０１と１つの撮像系１０２とが自由に動ける場合を例に挙げて説明したが、逆に１つの照明系１０１と複数の撮像系１０２とが自由に動けるようにしてもよい。すなわち、照明系１０１と撮像系１０２との少なくとも何れか一方を複数設け、照明系１０１、撮像系１０２、及び測定対象物１０３の位置関係から、照明系１０１と撮像系１０２との最適な組み合わせを選択していれば、照明系や撮像系の数は限定されない。また、輝度補正は、本実施形態で説明した照明系での輝度補正に限定されるものではない。第２の実施形態で説明したように撮像系で輝度補正を行う形態や、第３の実施形態で説明したように照明系で輝度強度の補正を行い撮像系で輝度分布の補正を行う形態であってもよい。
【００５１】
尚、前述した実施形態の各工程は、ネットワーク又は各種記憶媒体を介して取得したソフトウェア（コンピュータプログラム）をパソコン等の処理装置（ＣＰＵ、プロセッサ）にて実行することもできる。また、本発明の各工程を実行するコンピュータプログラム自体、及びそのコンピュータプログラムが記憶された記憶媒体を構成してもよい。
また、前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００５２】
１０１ 照明系、１０２ 撮像系、１０３ 測定対象物
【技術分野】
【０００１】
本発明は、計測システム、画像補正方法、及びコンピュータプログラムに関し、特に、撮像画像を用いて３次元計測を行うために用いて好適なものである。
【背景技術】
【０００２】
マシンビジョン分野における重要な技術要素として３次元計測技術がある。３次元計測技術の一手法では、まず、測定対象物に対して２次元パターン光を照射することによって得られるパターン投影像をカメラで撮像する。次に、２次元パターンの周期性を手掛かりに、２次元の撮像画像をコンピュータで解析して測定対象物の距離情報を得る。この距離情報は、測定対象物のカメラからの距離や、表面凹凸等、測定対象物の奥行き方向の距離である。測定対象物の幅方向及び高さ方向の情報は、２次元の撮像画像から得ることができるため、この時点で３次元空間情報が得られる。そして、２次元の撮像画像と、距離情報と、予め保持している測定対象物のモデル情報とを用いて３次元モデルフィッティングを行い、測定対象物の位置、姿勢、及び３次元形状を計測する。
【０００３】
測定対象物の奥行き方向の距離情報を得るために２次元パターン光を用いる手法は、パターン投影法と呼ばれる。一般に、パターン投影法では、エッジパターン又は正弦波パターンを測定対象物に照射する。エッジパターンとは、簡単には白黒等の２値階調の縞が規則的に連続して並んだ離散的パターンであり、正弦波パターンとは、簡単には連続的に階調を変化させてグラデーションにより正弦波を表現する連続的パターンである。２次元パターン光を測定対象物に照射すると、測定対象物の表面の凹凸や形状に依存してパターンの不連続や歪みが観測できる。エッジパターンでは、この不連続がエッジの位置ずれに相当し、正弦波パターンでは、この歪みが位相ずれに相当する。エッジパターンでは、三角測量の原理を利用してエッジの位置ずれから、測定対象物の奥行き方向の距離を推定する。そのため、エッジ位置がどこかを正確に認識するエッジ認識の精度は、測定対象物の奥行き方向の距離の精度に影響を与える。同様に正弦波パターンでも、三角測量の原理を利用して位相ずれから奥行き方向の距離を推定する。そのため、位相、すなわち階調を正確に認識する階調認識の精度は、測定対象物の奥行き方向の距離の精度に影響を与える。
【０００４】
エッジ認識では、２値階調の輝度差、又は輝度変化の過程からエッジ位置を認識する。エッジ部分の階調が反転する過渡的な領域では輝度が連続的に変化していると考えられる。２次元パターン光の意図しない輝度変化は、この過渡的な輝度の変化の経路や階調が飽和する位置を無秩序に変化させる。そのため、２次元パターン光の意図しない輝度変化（所謂輝度むら）が生じ、これによりエッジ認識の精度が低下する。同様の論理により、２次元パターンの輝度変化（所謂輝度むら）は階調認識の精度を低下させる。
このような２次元パターンの輝度変化（所謂輝度むら）を抑制するための技術として特許文献１に記載の技術がある。特許文献１では、検査面の側方に照明装置を設置して照明する場合、検査面が均一面であっても反射光強度、及びＣＣＤ出力が均一にならないという課題に対し、照明装置の出射端と検査面両端との距離の比を用いて照明光の出射強度比を変更するようにしている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平０６−２４２０２０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載の技術は、照明装置が検査面に対して可変な配置であるのに対し、ＣＣＤカメラは検査面に対して正対した固定配置となる構成が前提である。このように特許文献１に記載の技術では、ＣＣＤカメラが固定されているため、オクルージョン（occlusion）、照明装置の空間位置に起因する光量不足や画像劣化等に対してロバスト（robust）でない。同様に前提とする構成からの帰結として、照明系の位置関係に起因する輝度変化を補正するのには有効であるが、撮像系の位置関係に起因する輝度変化には寄与しない。
本発明は、このような問題点に鑑みてなされたものであり、照明系及び撮像系の双方の測定対象物との位置関係が可変である場合の撮像画像による３次元計測を正確に行うことができるようにすることを目的とする。
【課題を解決するための手段】
【０００７】
本発明の計測システムは、測定対象物に照明光を照射する照明手段と、前記照明手段の動作を制御する照明制御手段と、測定対象物からの反射光または透過光を撮像する撮像手段と、前記撮像手段の動作を制御する撮像制御手段と、前記照明手段および前記撮像手段の、前記測定対象物との位置関係を示す位置関係情報を取得する取得手段と、前記位置関係情報に基づき、前記照明手段による照明光と、前記撮像手段で撮像された画像とのうち、少なくともいずれか一方の輝度を補正して、前記撮像手段で撮像された前記測定対象物の画像の輝度変化を補正する補正手段と、を有し、前記測定対象物と前記照明手段と前記撮像手段とのうち、少なくとも二つの位置が可変であることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、照明手段、撮像手段、及び測定対象物の位置に関する情報に基づき、照明手段による照明光と、撮像手段で撮像された画像とのうち、少なくともいずれか一方の輝度を補正して、撮像手段で得られた測定対象物の画像の輝度変化を補正する。したがって、測定対象物、照明手段、及び撮像手段の位置関係を考慮して測定対象物の画像の輝度変化を補正することができる。よって、照明系及び撮像系の双方の測定対象物との位置関係が可変である場合の撮像画像による３次元計測を正確に行うことが可能になる。
【図面の簡単な説明】
【０００９】
【図１】第１の実施形態の３次元計測システムの概略構成を示す図である。
【図２】３次元計測システムの機能ブロックを示す図である。
【図３】２次元パターン光を概念的に示す図である。
【図４】３次元計測システムの処理を説明するフローチャートである。
【図５】照明本体部の構成の一例を示す図である。
【図６】照明制御部の機能ブロックを示す図である。
【図７】輝度補正をする際に用いられる位置関係情報を説明する図である。
【図８】照明系と撮像系の光軸の検査面への射影像が一致する場合の輝度分布の補正を説明する図である。
【図９】照明系と撮像系の光軸の検査面への射影像が一致しない場合の輝度分布の補正を説明する図である。
【図１０】輝度分布と輝度強度との両方を含めた照明パターン画像の輝度補正の一例を説明する図である。
【図１１】輝度補正部の機能ブロックを示す図である。
【図１２】図４の輝度補正処理を説明するフローチャートである。
【図１３】図１２の輝度分布補正値生成処理を説明するフローチャートである。
【図１４】階調変換で発生するダイナミックレンジの低下を補う処理を説明する図である。
【図１５】第２の実施形態の３次元計測システムの処理を説明するフローチャートである。
【図１６】撮像制御部の機能ブロックを示す図である。
【図１７】輝度補正部の機能ブロックの一例を示す図である。
【図１８】照明系で輝度補正を階調に着目して説明するフローチャートである。
【図１９】照明系で輝度補正を行う場合のデータを示す図である。
【図２０】撮像系での局所的な輝度補正を概念的に説明する図である。
【図２１】第３の実施形態の処理の流れを説明する図である。
【図２２】照明制御部の機能ブロックを示す図である。
【図２３】撮像制御部の機能ブロックを示す図である。
【図２４】輝度補正処理の一例を説明するフローチャートである。
【図２５】第４の実施形態の３次元計測システムの概略構成を示す図である。
【図２６】３次元計測システムの機能ブロックを示す図である。
【図２７】３次元計測システムの処理の流れを説明する図である。
【発明を実施するための形態】
【００１０】
（第１の実施形態）
まず、本発明の第１の実施形態を、図面を参照しながら説明する。
図１は、３次元計測システムの概略構成の一例を示す図である。この３次元計測システムは、例えば、工場の製造ライン等でロボットハンドが、部品の選別や組み立て等の作業が行えるように、対象となる部品の３次元計測を行う計測システムである。３次元計測システムは、大別すると、照明系１０１と撮像系１０２とを有する。
照明系１０１は、測定対象物１０３に２次元パターン光を照射する。照明系１０１には小型のプロジェクタ等が用いられる。撮像系１０２は、測定対象物１０３上に投影された２次元パターン光の画像を撮像する。撮像系１０２には、ＣＣＤカメラやＣＭＯＳカメラが用いられる。照明系１０１及び撮像系１０２は、ロボットアームに搭載できる小型で軽量なものが望ましい。測定対象物１０３は３次元計測の測定対象物であり、ここでは部品の選別や組み立ての対象となる部品である。ここで、照明系１０１と撮像系１０２と測定対象物１０３とのうち、少なくとも２つは空間位置が可変である。図１では、測定対象物１０３が拡散反射物体や鏡面物体であることを想定しているが、測定対象物１０３は２次元パターン光が透過する透明な物体でもよい。その場合、撮像系１０２は、透過光を撮像する位置に配置される。作業用のロボットハンドは図示していないが、作業領域の省スペース化を行う場合、作業用のロボットハンドと、照明系１０１や撮像系１０２を搭載したロボットアームとが一体で構成されることが望ましい。また、図１では、照明系１０１と撮像系１０２のそれぞれでロボットアームをもつ構成としているが、１つのロボットアームに照明系１０１と撮像系１０２を搭載する構成でもよい。
【００１１】
図２は、３次元計測システムの機能ブロックの一例を示す図である。３次元計測システムは、照明本体部２０１、照明制御部２０２、撮像本体部２０３、撮像制御部２０４、３次元撮像処理部２０５、３次元計測処理部２０６、制御部２０７、及び位置関係情報取得部２０８を備えて構成される。
照明本体部２０１は、測定対象物１０３に向けて２次元パターン光を照射する。具体的に照明本体部２０１は、パターン投影法に基づき、空間符号化法で用いられるエッジパターンや、位相シフト法で用いられる正弦波パターンを測定対象物１０３に投射する。パターン投影法については図３を用いて後述する。照明本体部２０１は、光源２０９、照明光学系２１０、空間変調器２１１、及び投影光学系２１２を備えて構成される。光源２０９としてはＬＥＤやＬＤ等が用いられる。空間変調器２１１としてはＴＦＴ液晶パネル、ＬＣＯＳパネル、走査型ＭＥＭＳデバイス等が用いられる。照明制御部２０２は、照明パターン画像（照明に使用される２次元パターン画像）の制御や、照明本体部２０１の制御等を行う。具体的に照明制御部２０２は、外部から入力された、照明パターン画像の輝度補正（画像補正）や、当該照明パターン画像に対応した光源２０９や空間変調器２１１（パネル）の駆動制御等を行う。照明パターン画像のデータは、外部入力以外に、内部ロジックで生成しても、内部メモリから読み出して生成してもよい。撮像本体部２０３は、測定対象物１０３で反射された２次元パターン光を撮像する。実際に撮像される２次元パターン光には、測定対象物１０３の形状や表面の凹凸の影響でパターンのエッジずれや位相ずれが発生している。撮像本体部２０３は、撮像デバイス２１３及び撮像光学系２１４を備えて構成される。撮像デバイス２１３としてはＣＣＤやＣＭＯＳ等のイメージ・センサが用いられる。ここでは、測定対象物１０３として拡散反射物体や鏡面物体を想定しているが、測定対象物１０３は、２次元パターン光が透過する透明な物体でもよい。撮像制御部２０４は、撮像本体部２０３の制御を行う。具体的に撮像制御部２０４は、撮像デバイス２１３の動作制御や、シャッタースピード、フレームレート、ＲＯＩ（Region Of Interest）等の動作タイミングの制御等を行う。３次元撮像処理部２０５は、撮像された２次元パターン光を基に、測定対象物１０３の距離情報を取得する。具体的に３次元撮像処理部２０５は、パターン投影法を利用して、測定対象物１０３の奥行き方向の距離を計測する。撮像された２次元パターン光の幅方向及び高さ方向の距離情報と、測定対象物１０３の奥行き方向の距離情報との双方を考慮することにより、測定対象物１０３の３次元の情報が得られる。３次元計測処理部２０６は、測定対象物１０３の位置、姿勢、及び３次元形状を計測する。３次元計測処理部２０６は、３次元撮像処理部２０５で計測した「測定対象物１０３の奥行き方向の距離」と、「２次元パターン光に基づく画像」とを基にモデルフィッティングを行い、測定対象物１０３の位置、姿勢、及び３次元形状を計測する。計測された測定対象物１０３の３次元形状、位置、及び姿勢の情報は、部品のピッキングや組み立てを行うためのロボットハンドの制御に用いられる。制御部２０７は、照明制御部２０２と撮像制御部２０４とを統合制御する。具体的に制御部２０７は、照明と撮像の同期制御機能や、照明系１０１・撮像系１０２の位置関係情報を、輝度補正の情報として用いるための伝送機能等を有する。このように本実施形態では、照明系１０１で輝度補正を実施する構成を想定しているため、位置関係情報取得部２０８からの照明系１０１・撮像系１０２の位置関係情報は照明制御部２０２に送られる。位置関係情報取得部２０８は、ロボットアームが保持する位置関係情報を基に、測定対象物１０３の位置関係情報と、照明系１０１・撮像系１０２の位置関係情報を取得する。絶対座標におけるロボットアームの位置・姿勢は、ロボットアームのキャリブレーションにより取得できる。絶対座標の基準位置は任意に設定でき、その座標系により３次元計測システムのワークエリア内の座標が特定できれば良い。照明本体部２０１及び撮像本体部２０３はロボットアームに固定搭載されているため、ロボットアームの位置・姿勢が分かれば、照明本体部２０１及び撮像本体部２０３の位置・姿勢を算出できる。また、測定対象物１０３の絶対座標における位置も３次元計測システムのキャリブレーションにより取得できる。照明系１０１・撮像系１０２の位置関係情報は、任意に設定した絶対座標における位置・姿勢のことである。測定対象物１０３の位置関係情報は、その絶対座標における位置のことである。さらに、位置関係情報の別の形態として、測定対象物１０３を基準位置とした表現とすることもできる。すなわち、照明系１０１・撮像系１０２の位置関係情報を、測定対象物１０３を原点とした球座標系における動径情報・偏角情報として表現することもできる。本実施形態では、このようにして位置関係情報を表現する場合を例に挙げて説明する（詳細は図７を用いて後述する）。照明系１０１・撮像系１０２の位置関係情報は、制御部２０７を介して照明制御部２０２の輝度補正で用いられる。以上の機能ブロックにより、測定対象物１０３の３次元計測が実現できる。
【００１２】
図３は、３次元計測技術で用いられる２次元パターン光の一例を概念的に示す図である。測定対象物１０３の奥行き方向の距離情報を得るために２次元パターン光を用いる手法は、パターン投影法と呼ばれる。一般に、パターン投影法では、複数のエッジパターン又は同一位相の正弦波パターンを投影する。図３（ａ）は２値階調で表現したエッジパターンの一例、図３（ｂ）は正弦波パターンの一例である。２次元パターン光を測定対象物１０３に照射すると、測定対象物１０３の表面の凹凸や形状に依存してパターンの不連続や歪みが観測できる。図３（ａ）に示すエッジパターン３０１では、この不連続がエッジずれに相当し、図３（ｂ）に示す正弦波パターン３０２では、この歪みが位相ずれに相当する。エッジパターン３０１を用いた場合には、三角測量の原理を利用して、エッジずれから、測定対象物１０３の奥行き方向の距離を推定する。この推定には、空間符号化法が用いられる。推定の際には、白黒パターンを２値情報として符号化する。符号化方法が異なる（すなわち、白黒パターンの並びが異なる）投影像を複数回撮像し、それらのエッジ情報から測定対象物１０３の奥行きの距離を推定する。正弦波パターン３０２を用いた場合にも同様に、三角測量の原理を利用して、位相ずれから、測定対象物１０３の奥行き方向の距離を推定する。この推定には、位相シフト法が用いられ、正弦波パターン３０２の位相をシフトさせた投影像を複数回撮像し、それらの位相情報から測定対象物１０３の奥行き方向の距離を推定する。測定対象物１０３の奥行き方向の距離の算出に際し、空間符号化法を用いた場合にはエッジ情報が用いられ、位相シフト法を用いた場合には位相情報が用いられる。そのため、測定対象物１０３の奥行き方向の距離の精度は、エッジ情報、位相情報の精度に大きく影響する。３次元撮像処理部２０５が行うエッジ認識では、２値階調の輝度差、又は２値階調間の輝度の変化の過程からエッジ位置を認識する。３次元撮像処理部２０５が行う位相認識では、位相の連続的な変化を認識する。位相の連続的変化とは輝度の連続的な変化、すなわち階調の変化である。エッジパターン３０１のエッジ精度、正弦波パターン３０２の階調精度は、輝度変化に対して敏感であり、測定対象物１０３の奥行き方向の距離の精度に影響を与える重要なパラメータである。
【００１３】
図４は、３次元計測システムの処理の一例を説明するフローチャートである。
ステップＳ４０１では、制御部２０７は、照明系１０１を制御する照明制御部２０２と、撮像系１０２を制御する撮像制御部２０４とのそれぞれに対して通信の確立を行う。
次に、ステップＳ４０２では、照明系１０１・撮像系１０２の位置関係情報のキャリブレーションが行われる。位置関係情報取得部２０８からの照明系１０１・撮像系１０２の位置関係情報が、制御部２０７を介して照明制御部２０２へ送信される。ここで送信される位置関係情報は、ステップＳ４０３の輝度補正処理で用いられる。この位置関係情報の精度は、照明制御部２０２で行われる輝度補正の精度に影響を与える。このため、３次元計測処理時に用いる位置関係情報と同一の位置関係情報を用いてキャリブレーションを行うのが望ましい。しかしながら、キャリブレーション時と３次元計測時とで照明系１０１・撮像系１０２それぞれの位置関係情報が異なる場合、例えば、ロボットアームを動作させながら３次元計測処理を行う場合には、動き予測を加味した位置関係情報を用いるのが望ましい。
【００１４】
次に、ステップＳ４０３では、照明制御部２０２は、照明系１０１・撮像系１０２の位置関係情報を基に、照明パターン画像の輝度補正を行う。輝度補正処理については、図７から図１３を用いて後述する。
次に、ステップＳ４０４では、照明本体部２０１は、測定対象物１０３に２次元パターン光を照射する。空間符号化法では、複数のエッジパターン３０１の２次元パターン光が照射され、位相シフト法では、同一位相の正弦波パターン３０２の２次元パターン光が照射される（図３を参照）。
次に、ステップＳ４０５では、撮像本体部２０３は、測定対象物１０３から拡散反射された２次元パターン光を撮像する。実際に撮像される２次元パターン光には、測定対象物１０３の形状や表面の凹凸の影響で、パターンのエッジずれや位相ずれが発生している。
次に、ステップＳ４０６では、３次元撮像処理部２０５は、３次元撮像処理を行う。具体的に３次元撮像処理部２０５は、パターン投影法を利用して、撮像された２次元パターン光から、測定対象物１０３の奥行き方向の距離を取得する。３次元撮像処理部２０５は、２次元パターン光の画像の幅方向と高さ方向の情報と合わせて、このステップＳ４０６で測定対象物１０３の３次元情報を取得する。
次に、ステップＳ４０７では、３次元撮像処理部２０５は、３次元情報を更新する。空間符号化法でも位相シフト法でも複数枚の２次元パターン光を撮像して３次元情報を取得する。このステップＳ４０７では、２次元パターン光の画像が１枚得られる毎に３次元情報を更新する。空間符号化法を用いた場合には、符号パターンの異なる複数の画像を用いてステップＳ４０３〜Ｓ４０７のループを繰り返す。このステップＳ４０７では、符号パターン毎の３次元撮像処理の結果を使って３次元情報が更新される。このループ処理を繰り返す（ループの回数を増やす）ことで（すなわち、符号パターンの異なる複数の画像からの３次元撮像処理の結果を使うことで）、３次元計測の精度を向上させることができる。
次に、ステップＳ４０８では、３次元撮像処理部２０５は、３次元情報の取得が完了したか否かを判断する。実際には、空間符号化法でも、位相シフト法でも予め撮影枚数が決められており、その撮影枚数に対応する回数だけステップＳ４０３〜Ｓ４０７のループを繰り返す。３次元情報の取得が完了したら、ステップＳ４０９へ進む。
ステップＳ４０９では、３次元計測処理部２０６は、３次元計測処理を行う。具体的に３次元計測処理部２０６は、３次元撮像処理部２０５で計測された、測定対象物１０３の奥行き方向の距離と、２次元パターン光の画像とを基にモデルフィッティングを行い、測定対象物１０３の位置、姿勢、及び３次元形状を計測する。
以上、図４で説明した処理を経て計測された「測定対象物１０３の３次元形状、位置、及び姿勢」の情報は、ロボットハンドによる部品ピッキングや組み立てを行うための制御に用いられる。
【００１５】
図５は、３次元計測システムの照明本体部２０１の他の構成の一例を示す図である。図２では、反射型パネルを用いた照明本体部２０１を示したが、図５では、透過型パネルを用いた照明本体部２０１を示し、光の伝播経路に着目したときの物理構成を簡単に説明する。
照明本体部２０１は、光源５０１、拡散板５０２、空間変調器５０３、偏光板５０４ａ、５０４ｂ、及びレンズ群５０５を備えて構成される。光源５０１は、複数のＬＥＤやＬＤ等を用いて構成される。拡散板５０２は、光源５０１からの発光面のむらを抑制して輝度を面内で均一に保つ役割を果たす。空間変調器５０３は、透過型のＴＦＴ液晶パネル等を用いて構成される。空間変調器５０３で２次元パターン光の照明パターン画像を表現する。このため、ＴＦＴ液晶パネルの解像度、画素サイズ、画素ピッチ等が２次元パターン光の精度に影響を与える。偏光板５０４ａ、５０４ｂは、空間変調器５０３（透過型のＴＦＴ液晶パネル）の前後で偏光状態の制御を行う。レンズ群５０５は、２次元パターン光のＭＴＦ、被写界深度特性、ディストーション等のパラメータに影響を与えるものである。
【００１６】
図６は、３次元計測システムの照明系１０１の照明制御部２０２の機能ブロックの一例を示す図である。照明制御部２０２は、画像入力部６０２、輝度補正部６０３、空間変調器駆動部６０４、及び光源駆動部６０５を備えて構成される。
画像入力部６０２は、照明制御部２０２に入力される照明パターン画像のフォーマットをインタフェースに合わせて変更する。計測精度や計測速度の向上を考えると高い解像度や高いフレームレートが必要となる。このため、画像入力部６０２は、大容量伝送に対応したインタフェースであることが望ましい。インタフェースとしては、ＵＳＢやＩＥＥＥ１３９４のメタル線、Gigabit Ethernet（登録商標）等の光ファイバが使用される。輝度補正部６０３は、照明パターン画像の輝度変化を補正する。輝度補正部６０３には、制御部２０７から、照明系１０１・撮像系１０２の位置関係情報（後述する動径情報や偏角情報）が入力される。輝度補正部６０３は、これらの情報を基に照明パターン画像の輝度補正を行う。輝度補正には、概略、照明パターンの階調変換（輝度分布の補正）と、光源５０１の強度変換（輝度強度の補正）とが含まれる。輝度補正された照明パターン画像は空間変調器駆動部６０４へ出力され、光源５０１の強度を変調する光源変調信号は光源駆動部６０５へ出力される。輝度補正の詳細は図７〜図１３を用いて後述する。空間変調器駆動部６０４は、空間変調器５０３の駆動を制御する。空間変調器駆動部６０４は、輝度補正部６０３からの「照明パターン画像を表す画像信号」を基に、空間変調器５０３の駆動信号を生成する。また、光源５０１の駆動を時間制御する場合、空間変調器駆動部６０４は、そのためのＰＷＭ信号等のトリガー信号を生成して光源駆動部６０５に出力する。光源駆動部６０５は、光源５０１の駆動を制御する。具体的に光源駆動部６０５は、輝度補正部６０３からの光源変調信号を基に強度を変調した駆動信号を生成する。また、光源駆動を時間制御する場合、光源駆動部６０５は、ＰＷＭ信号を基に駆動信号を生成する。光源５０１にはＬＤやＬＥＤが用いられるが、光出力制御を安定させるためや、デバイスの破壊を避けるために、光源５０１を定電流駆動することが多い。
【００１７】
図７は、輝度補正をする際に用いられる位置関係情報を説明する図である。図７では、測定対象物１０３が拡散反射物体や鏡面物体であることを想定しているが、測定対象物１０３は、２次元パターン光が透過する透明な物体でも良い。２次元パターン光が透過する透明な物体を測定対象物１０３として用いた場合には、今後の説明において反射率を透過率と読み替えることになる。
ここでは、照明系１０１・撮像系１０２の位置関係情報を、測定対象物１０３が配置される測定面７０１を基準位置とした相対的な位置関係情報として表現する。照明系１０１の光軸と測定面７０１とが交わる点を原点とした球座標系を考えると、動径ｌ１、偏角φ、θ１を用いることにより照明系１０１の位置と姿勢とが表される。同様に、撮像系１０２の光軸と測定面７０１とが交わる点を原点とした球座標系を考えると、動径ｌ２、偏角φ、θ２を用いることにより撮像系１０２の位置と姿勢とが表される。照明系１０１と撮像系１０２とは同じ測定対象物１０３を照射・撮像するため、照明系１０１の光軸と測定面７０１とが交わる点と、撮像系１０２の光軸と測定面７０１とが交わる点とは略一致している。輝度補正のために用いられる照明系１０１の位置関係情報は、動径ｌ１、偏角φ、θ１であり、撮像系１０２の位置関係とは、動径ｌ２、偏角φ、θ２である。動径ｌ１、ｌ２は、輝度強度を補正するパラメータとして用い、偏角φ、θ１、θ２は、輝度分布を補正するパラメータとして用いられる。
本実施形態では、以上のパラメータ（動径ｌ１、ｌ２、偏角φ、θ１、θ２）からなる位置関係情報を用いて３次元計測システムの輝度補正を実施する。
【００１８】
図８及び図９は、輝度分布の補正を説明する図である。ここでは、輝度分布の補正の説明に特化するため、測定面７０１の反射率を１００％と仮定し、輝度強度の影響を排除することを前提とする。輝度分布の補正において用いられるパラメータは偏角φ、θ１、θ２であるので、輝度分布の補正と、輝度強度の補正とは分離して考えることができる。
図８は、照明系１０１と撮像系１０２の光軸の測定面７０１への射影像が一致する場合の輝度分布の補正の一例を説明する図である。具体的に図８（ａ）は、輝度分布が補正される様子の一例を示す図である。また、図８（ｂ）は、照明系１０１、撮像系１０２、及び測定面７０１の位置関係を示す図である。また、図８（ｃ）は、輝度補正した照明パターン画像の任意の１ラインにおける輝度の分布（傾斜）の一例を示す図である。この場合、位置関係情報は、φ＝０°、ｌ１＝ｌ２と仮定できる。輝度分布８０１は、θ２＝０°と仮定して照明系１０１の偏角θ１だけを考慮して補正した場合に想定される空間変調器５０３上の輝度分布である。図中の矢印は、輝度の高低差を示したものであり、その矢印の向きは輝度の高いほうから低いほうへ向かう方向を示している。この場合、照明系１０１の測定面７０１に近い側の端の輝度を低く、遠い側の端の輝度を高くする。これにより、撮像系１０２で撮像される照明パターン画像は均一な輝度となる。同様の考え方で、輝度分布８０２は、θ１＝０°と仮定して撮像系１０２の偏角θ２だけを考慮して補正した場合に想定される空間変調器５０３上の輝度分布である。この場合には、撮像系１０２の測定面７０１に近い側に相当する空間変調器５０３の端の輝度を低く、遠い側に相当する空間変調器５０３の端の輝度を高くする。輝度分布８０３は、照明系１０１と撮像系１０２の両者の偏角θ１、θ２を考慮して輝度補正した場合に想定される空間変調器５０３上の輝度分布である。輝度分布８０３は、輝度分布８０１、８０２の分布状態を掛け合わせたものとなる。
照明パターン画像の各ラインにおける輝度の傾斜は、照明系１０１（照明手段）及び撮像系１０２（撮像手段）の角度特性に合わせて変化させる。照明系１０１の出射光強度の角度特性が偏角θ１の変化に対して直線的に変化する場合、照明パターン画像の各ラインにおける輝度の傾斜を線形補間により求めることができる。また、撮像系１０２の受光強度の角度特性が偏角θ２の変化に対して直線的に変化する場合にも、照明パターン画像の各ラインにおける輝度の傾斜を線形補間により求めることができる。図８では、照明系１０１の出射光強度の角度特性と、撮像系１０２の受光強度の角度特性とが同じ変化率で直線的に変化する。この場合の輝度は、「（ｌ１×sin｜θ１−θ２｜−ｄ）／（ｌ１×sin｜θ１−θ２｜＋ｄ）」（ｌ１＝ｌ２）に比例した傾斜となる。
【００１９】
図９は、照明系１０１と撮像系１０２の光軸の測定面７０１への射影像が一致しない場合の輝度分布の補正の一例を説明する図である。具体的に図９（ａ）は、輝度分布が補正される様子の一例を示す図である。また、図９（ｂ）は、輝度補正した照明パターン画像の任意の１ラインにおける輝度の分布（傾斜）の一例を示す図である。この場合、位置関係情報は、φ≠０°、ｌ１＝ｌ２と仮定できる。図８では、輝度分布がある端面に対して垂直な方向、又は平行な方向に変化する場合を説明したが、図９では、輝度分布が端面に対して斜め方向に変化する場合を示すだけであり、本質的な考え方は図８で説明したものと変わらない。輝度分布８０４、８０５、８０６は、それぞれ輝度分布８０１、８０２、８０３に対応し、φ≠０のために輝度分布８０４〜８０６が端面に対して斜め方向に変化することを表している。
【００２０】
図１０は、輝度分布と輝度強度との両方を含めた照明パターン画像の輝度補正の一例を説明する図である。具体的に図１０（ａ）は、輝度分布が補正される様子の一例を示す図である。また、図１０（ｂ）は、輝度補正した照明パターン画像の任意の１ラインにおける輝度の分布（傾斜）の一例を示す図である。図１０では、図８及び図９で説明した輝度分布の補正に、輝度強度の補正による影響を加味したものを示している。輝度強度の補正において用いられるパラメータは動径ｌ１、ｌ２であるので、輝度分布の補正と、輝度強度の補正とは分離して考えることができる。
輝度分布９０１は、φ＝０°、θ１＝θ２＝０°と仮定し、動径と、測定対象物１０３の反射率とを考慮して補正した場合に想定される空間変調器５０３上の輝度分布であり、一定値である。ここでは、照明系１０１と撮像系１０２とは互いに物理的に干渉しないものと仮定している。また、図中の矢印は輝度の高低差を示したものであり、その矢印の向きは輝度の高いほうから低いほうへ向かう方向を示している。輝度強度の補正には、例えば、照明系１０１の動径ｌ１の２乗に逆比例する単位面積当たりの光量減衰率と、測定対象物１０３の反射率と、撮像系１０２の動径ｌ２の２乗に逆比例する単位面積あたりの光量減衰率とを掛け合わせた値が用いられる。この値（システムの光量減衰率）と、基準とする光量減衰率とを比較して、その比率を基に輝度強度が制御される。輝度分布９０２は、偏角を基に補正した輝度分布を表しており、図８の輝度分布８０３、図９の輝度分布８０６に相当する。輝度分布９０３は、照明系１０１・撮像系１０２の位置関係情報と、測定対象物１０３の反射率とを考慮して補正した場合に想定される空間変調器５０３上の輝度分布である。輝度分布９０３は、輝度分布９０１、９０２の輝度状態を掛け合わせたものとなる。
輝度強度の補正は、照明系１０１、及び撮像系１０２の距離特性に合わせて変化させる。照明系１０１の出射光強度の距離特性が動径ｌ１の変化に対して２乗で逆比例し、撮像系１０２の受光強度の角度特性が動径ｌ２の変化に対して２乗で逆比例する場合、輝度強度の補正は「（ｌ１2／Ｌ１2）×（ｌ２2／Ｌ２2）」に比例した変化となる。
ここで、Ｌ１、Ｌ２は、基準とする光量減衰率を求める際の動径ｌ１、ｌ２のそれぞれの基準長さである。
【００２１】
図１１は、輝度補正部６０３の機能ブロックの一例を示す図である。輝度補正部６０３は、階調変換部１００１、位置関係情報格納部１００２、動径情報処理部１００３、偏角情報処理部１００４、輝度補正値生成処理部１００５、静的輝度補正値格納部１００６、階調データ格納部１００７及び光源変調信号生成部１００８を備える。
階調変換部１００１は、輝度補正部６０３に入力された照明パターン画像の階調を変換して階調変換を行う。階調データ格納部１００７は、全ての画素に対応する補正値が登録された階調テーブルを保持している。階調変換部１００１は、この階調テーブルを読み出して階調変換を行う。または、階調変換部１００１は、階調データ格納部１００７の階調テーブルと、最近傍近似、線形補間、３次補間、高次の曲線補間等のアルゴリズムとを用いて階調変換してもよい。このようにする場合、メモリ容量を抑えるために階調テーブルには数画素おきでの階調が格納されており、階調変換部１００１は、各種アルゴリズムを用いて全ての画素の階調を数値演算で算出する。解法変換の精度、メモリ量、演算量等の組合せを考慮して、階調テーブルとアルゴリズムを決定することになる。ここで、階調テーブルは、図１０の輝度分布９０３で概念的に示した輝度変化の状態を階調変化に置き換えたものである。空間変調器駆動部６０４へは、階調変換された照明パターン画像が出力される。位置関係情報格納部１００２は、輝度補正部６０３に入力された位置関係情報を格納する。具体的に位置関係情報格納部１００２には、照明系１０１・撮像系１０２の動径ｌ１、ｌ２、偏角φ、θ１、θ２の情報が格納される。動径ｌ１、ｌ２の情報は動径情報処理部１００３が、偏角φ、θ１、θ２の情報は偏角情報処理部１００４がそれぞれ読み出して処理に利用する。動径情報処理部１００３は、動径ｌ１、ｌ２の情報と、測定対象物１０３の反射率とを基に、輝度強度補正値を算出する。測定対象物１０３の反射率として、測定対象物の材質等から判断した値を予め格納しておき、動径情報処理部１００３は、それを読み出して用いる。動径情報処理部１００３は、まず、動径ｌ１の２乗に逆比例する単位面積当たりの光量減衰率と、測定対象物１０３の反射率と、動径ｌ２の２乗に逆比例する単位面積あたりの光量減衰率とを掛け合わせた値（システムの光量減衰率）を算出する。そして、動径情報処理部１００３は、この３次元システムの光量減衰率と、基準とする光量減衰率とを比較してその比率を基に輝度強度補正値を算出する。動径情報処理部１００３は、この比較の結果、前者が大きい場合には明るくなるように輝度強度を上げる制御を行い、後者が大きい場合には暗くなるように輝度強度を下げる制御を行う。輝度強度補正値は全ての画素に共通な一定の値である。偏角情報処理部１００４は、偏角φ、θ１、θ２の情報を基に輝度分布補正値を算出する。偏角情報処理部１００４は、偏角θ１、θ２から輝度分布の変化量を算出し（図８を参照）、偏角φから輝度分布の面内の傾き量（図９を参照）を算出する。偏角θ１、θ２が９０°に近ければ輝度分布の変化量は小さくなり、０°に近ければ大きくなる。偏角情報処理部１００４は、これらから輝度分布補正値を算出する。輝度分布補正値は全ての画素に対応する補正値をもつテーブルである。メモリ容量を抑えるために、輝度分布補正値のテーブルを、数画素おきでの補正値からなるテーブルとし、各種アルゴリズムを用いて全ての画素の補正値を数値演算で算出するようにしてもよい。輝度補正値生成処理部１００５は、階調データ格納部１００７に格納する階調テーブルを生成する。輝度補正値生成処理部１００５は、まず、偏角情報処理部１００４で算出された輝度分布補正値と、静的輝度補正値格納部１００６に格納されている静的輝度補正値とを掛け合わせて輝度分布補正値を生成する。そして、輝度補正値生成処理部１００５は、輝度ベースで求められた輝度補正値を、パターン画像の階調を考慮して階調ベースからなる階調テーブルに変換する。例えば、パターン画像の階調が８ビットであれば、階調テーブルも８ビットをベースに生成する。ここで生成される階調テーブルは、全ての画素に対応する補正値が登録されたテーブルである。前述のように、メモリ容量を抑えるために、階調テーブルを、数画素おきでの補正値からなるテーブルとし、各種アルゴリズムを用いて全ての画素の補正値を数値演算で算出するようにしてもよい。静的輝度補正値格納部１００６は、位置関係情報に起因しない静的な輝度変化を補正するためのテーブルを格納する。位置関係情報に起因しない静的な輝度変化とは、時間的に不変の輝度変化である。この輝度変化は、光源５０１の発光デバイスの輝度のばらつきや、照明光学系の拡散板５０２や偏光板５０４における輝度むらや、空間変調器５０３の透過率の空間ばらつきや、投影光学系の偏光板５０４やレンズ群５０５における輝度むら等に基づくものである。光源変調信号生成部１００８は、動径情報処理部１００３からの輝度強度補正値を基に光源５０１の強度を変調する光源変調信号を生成する。光源変調信号は光源駆動部６０５へ出力される。さらに、光源変調信号生成部１００８は、輝度補正値生成処理部１００５からの制御信号を受けて、階調変換で発生するダイナミックレンジの低下を補う処理を行う。この処理の詳細は図１４を用いて後述する。
偏角情報処理部１００４、輝度補正値生成処理部１００５で取り扱うテーブルに関しては、予め保持しているルック・アップ・テーブルを用いる構成としてもよい。全ての画素の補正値を算出するか、数画素毎の補正値と数値演算とにより補正値を算出するか、ルック・アップ・テーブルを用いるかは、使用できるメモリ容量や求められる補正精度から適正な構成を選ぶことができる。
【００２２】
図１２は、図４のステップＳ４０３の輝度補正処理の一例を説明するフローチャートである。
ステップＳ１１０１では、位置関係情報格納部１００２は、位置関係情報を取得する。図２に示した位置関係情報取得部２０８で取得、処理した「測定対象物１０３の位置関係情報、照明系１０１・撮像系１０２の位置関係情報」が位置関係情報格納部１００２に格納される。位置関係情報とは、具体的には、照明系１０１・撮像系１０２の動径ｌ１、ｌ２、偏角φ、θ１、θ２の情報である。
ステップＳ１１０２では、偏角情報処理部１００４は、輝度分布補正値を生成する。偏角情報処理部１００４は、ステップＳ１１０１で取得された「照明系１０１・撮像系１０２の動径ｌ１、ｌ２、偏角φ、θ１、θ２の情報」を利用して、位置関係情報に起因する輝度分布補正値を生成する。輝度分布補正値は全ての画素に対応する補正値をもつテーブルであり、偏角φ、θ１、θ２に依存して動的に変化する。
ステップＳ１１０３では、輝度補正値生成処理部１００５は、位置関係情報に起因しない静的な輝度変化の影響を、ステップＳ１１０２で算出された輝度分布補正値に加味する。具体的に輝度補正値生成処理部１００５は、静的輝度補正値格納部１００６が保持している静的輝度補正値が登録されたテーブルを、輝度分布補正値（テーブル）に掛け合わせる。このステップＳ１１０３で、３次元計測システムにおける輝度分布の補正値が生成される。
ステップＳ１１０４では、輝度補正値生成処理部１００５及び階調変換部１００１は、照明パターン画像に対して階調変換を実施する。具体的に輝度補正値生成処理部１００５は、ステップＳ１１０２で生成された輝度分布補正値（テーブル）を基に、階調変換を行うための階調テーブルを生成して階調データ格納部１００７に格納する。この階調テーブルを生成する簡単な手法としては、輝度変化により輝度が最も暗くなる画素の輝度値が最大輝度値となるようにその他の画素の階調を変換する。この場合、輝度のダイナミックレンジが小さくなってしまうが、図１４を用いて後述する手法によりダイナミックレンジを確保する処理が行われる。そして、階調変換部１００１は、階調データ格納部１００７から階調テーブルを読み出して階調変換を行う。このステップＳ１１０４での処理結果は、空間変調器５０３での実際の照明パターン画像の階調変換として達成される。
ステップＳ１１０５では、動径情報処理部１００３は、測定対象物１０３の反射率を考慮した輝度強度補正値を生成する。具体的に動径情報処理部１００３は、ステップＳ１１０１で取得された「照明系１０１と撮像系１０２の動径ｌ１、ｌ２の情報」を利用して、測定対象物１０３の反射率と位置関係情報とに起因する輝度強度補正値を生成する。輝度強度補正値は全ての画素に共通な一定値であり、動径ｌ１、ｌ２に依存して動的に変化する。このステップＳ１１０５で、３次元計測システムにおける輝度強度の補正値が生成される。
ステップＳ１１０６では、光源変調信号生成部１００８は、光源変調信号の生成を実施する。具体的に光源変調信号生成部１００８は、動径情報処理部１００３で生成された輝度強度補正値を基に、光源変調信号生成部１００８が光源強度を変調するための光源変調信号を生成する。撮像系１０２が測定面７０１からの反射光を撮像する際に、光源５０１の強度が一定となるように光源５０１の強度変調を行う。また、図１４を用いて後述するが、輝度分布の補正に対するダイナミックレンジの低下を補う処理も実施する。このステップＳ１１０６での処理結果は、光源５０１での実際の２次元パターン光の強度変調として達成される。
以上の処理により、照明系１０１が、２次元パターン光の輝度補正を実現することができる。
【００２３】
図１３は、図１２のステップＳ１１０２の輝度分布補正値生成処理の一例を説明するフローチャートである。具体的に図１３（ａ）は、偏角φ、θ１、θ２をそれぞれ独立に用いて輝度分布補正値を生成する際の処理を説明するフローチャートである。図１３（ａ）では、図８及び図９を用いて説明したのと同じ流れで処理が行われる。
ステップＳ１２０１では、偏角情報処理部１００４は、照明系１０１の偏角情報から第１の輝度分布を生成する。具体的に偏角情報処理部１００４は、偏角φ、θ１から、全ての画素に対応する補正値をもつテーブルである第１の輝度分布を生成する。第１の輝度分布は、概念としては、図８に示した輝度分布８０１や図９に示した輝度分布８０４に対応する。
次に、ステップＳ１２０２では、偏角情報処理部１００４は、撮像系１０２の偏角情報から第２の輝度分布を生成する。具体的に偏角情報処理部１００４は、偏角φとθ２から、全ての画素に対応する補正値をもつテーブルである第２の輝度分布を生成する。第２の輝度分布は、概念としては、図８に示した輝度分布８０２や図９に示した輝度分布８０５に対応する。
次に、ステップＳ１２０３では、偏角情報処理部１００４は、第１の輝度分布と第２の輝度分布とから輝度分布補正値を生成する。輝度分布補正値（テーブル）は、概念としては、図８に示した輝度分布８０３や図９に示した輝度分布８０６に対応する。
以上の処理により、偏角情報から輝度分布補正値が生成できる。
【００２４】
図１３（ｂ）は、偏角φと、偏角θ１とθ２との差分とからなる２つのパラメータ（差分情報）を用いて輝度分布補正値を生成する際の処理を説明するフローチャートである。図１３（ｂ）のフローチャートは、照明系１０１及び撮像系１０２の輝度分布に対する角度特性が同一である場合に適用できる。例えば、図８に示したように、照明系１０１の出射光強度の角度特性、撮像系１０２の受光強度の角度特性が同じ変化率で直線的に変化する場合に図１３（ｂ）のフローチャートを適用できる。
ステップＳ１２０４では、位置関係情報取得部２０８は、照明系１０１・撮像系１０２の偏角情報θ１、θ２から、角度差θ１−θ２を取得する。この角度差θ１−θ２には大きさだけでなく向きの情報が含まれ、この向きは輝度変化量の向きを規定するものである。この処理により、偏角情報のパラメータを２つに減らすことができる。
次に、ステップＳ１２０５では、偏角情報処理部１００４は、偏角φ、角度差θ１−θ２から輝度分布補正値を取得する。角度差θ１−θ２の大きさから輝度の変化量、角度差θ１−θ２の向きからその輝度の変化の方向を規定できる。偏角情報処理部１００４は、この角度差θ１−θ２と偏角φとを合わせて輝度分布補正値を生成する。
以上の処理ステップにより、２つのパラメータからなる偏角情報から輝度分布補正値が生成できる。この処理では、位置関係情報取得部２０８でパラメータを減らすことができるため、処理速度・メモリ容量の面で有利である。
【００２５】
図１４は、階調変換で発生するダイナミックレンジの低下を補う処理を説明する図である。具体的に図１４（ａ）は、空間変調器５０３の制御のみで輝度分布の補正を行った場合を示す図であり、図１４（ｂ）は、空間変調器５０３と光源５０１の制御とを組み合わせて輝度分布補正を行った場合を示す図である。
図１４（ａ）の横軸は任意の１ライン、縦軸は横軸の画素に対応する測定面７０１での輝度の大きさと階調である。輝度分布補正の簡単な手法としては、輝度変化により輝度が最も暗くなる画素の輝度値を最大輝度値としてその他の画素の階調を変換する方法がある。図１４（ａ）の任意の１ラインの両端の画素が輝度変化により輝度が最も暗くなる画素に対応し、この画素が達成できる最大輝度値、すなわち階調が「２４０」の時の輝度値をこのラインの最大輝度値とする。両端の画素以外の画素は、階調「２４０」を超えない範囲内で階調変換が行われる。この場合、最大輝度値が階調「２４０」のときの輝度値となるため、ダイナミックレンジが低下する。ここでは説明の簡略化のため任意１ラインを取り上げたが、実際には、照明パターン画像を構成する全ての画素を対象としてこのような処理を行う。
【００２６】
同様に、図１４（ｂ）の横軸は任意の１ライン、縦軸は横軸の画素に対応する測定面７０１での輝度の大きさと階調である。図１４（ａ）と図１４（ｂ）の輝度のスケールは一致している。図１４（ｂ）では、低下したダイナミックレンジを補うように光源５０１の輝度を上げる。図１４（ａ）と異なり、最大輝度値のレベルを変化させないため、ダイナミックレンジを確保できる。ダイナミックレンジの低下を補う光源５０１の輝度の大きさは、輝度補正値生成処理部１００５で生成できる。輝度補正値生成処理部１００５では輝度ベースの輝度補正値が得られるため、そこでの最大輝度補正値と最小輝度補正値の差分が光源５０１で補う輝度の大きさとなる。
図１４（ｂ）では、ダイナミックレンジを低下させない程度に、最大輝度補正値と最小輝度補正値との差分だけ光源５０１の輝度を上げるための手法を説明した。しかしながら、動径の情報に基づいて輝度強度の補正を正確に行うという観点からは、輝度分布補正における基準輝度値と最大補正輝度値との差分を光源５０１で補う手法が適している。輝度補正値生成処理部１００５では、図８（ｃ）の任意の１ラインでの輝度の傾斜のグラフで示した輝度分布の増減割合（０．８〜１．２）が把握できる。輝度を変化させない基準輝度値と最大輝度補正値との差分が光源５０１で補う輝度の大きさとなる。ここでの基準輝度値とは該グラフでの輝度補正変化分が「１．０」にあたるところの輝度値であり、最大輝度補正値とは該グラフでの輝度補正変化分が「１．２」にあたるところの輝度値である。
以上のように、照明系１０１で輝度補正を実施する際には、空間変調器５０３の制御と光源５０１の制御とを組み合わせることができ、ダイナミックレンジを確保したパターン照明が実現できる。特に、空間符号化においては、２値階調の輝度差、又は２値階調間の輝度変化の過程からエッジ位置を認識する。そのため、ダイナミックレンジを広くして２値階調の輝度差をなるべく大きく確保できれば、エッジ位置の認識精度も向上する。このように、照明系１０１で輝度補正を実施する利点として、ダイナミックレンジを確保でき、特に空間符号化法におけるエッジ認識精度が向上する点が挙げられる。
【００２７】
以上のように本実施形態では、照明系１０１の偏角φ、θ１、撮像系１０２の偏角φ、θ２を考慮して輝度を補正した場合に想定される空間変調器５０３上の輝度分布（照明系１０１と撮像系１０２の双方を考慮した輝度分布補正値）を生成する。この輝度分布補正値と、位置関係に起因しない静的な輝度分布補正値とから、３次元計測システムにおける輝度分布の補正値を生成し、この輝度分布の補正値に基づいて、照明パターン画像の階調変換をし、階調変換した照明パターン画像に従った照明を行う。また、動径ｌ１、ｌ２の情報と、測定対象物１０３の反射率とを基に、３次元システムの光量減衰率を求め、この３次元システムの光量減衰率と、基準とする光量減衰率との比較結果から、光源５０１の強度を調整する。したがって、照明系１０１や撮像系１０２が測定対象物１０３に対して可変となる場合でも、照明系１０１と測定対象物１０３との位置関係、撮像系１０２と測定対象物１０３との位置関係のそれぞれに起因する画像の輝度変化（所謂輝度むら）を同時に抑制できる。
また、空間変調器５０３の制御と光源５０１の制御とを組み合わせることができ、階調変換によるダイナミックレンジの低下を、光源５０１を用いて補うことができる。したがって、空間符号化法においてはダイナミックレンジを確保した照明が可能となり、精度の高いエッジ認識が実現できる。
尚、本実施形態は、照明系１０１と撮像系１０２とが自由に動けるシステムにおいて、照明系１０１及び撮像系１０２の、測定対象物１０３との位置関係を利用して輝度変化を補正していれば、パターン照明を用いる３次元計測以外にも適用できる。例えば、照明系と撮像系が可動である外観検査や欠陥検査等、均一照明を用いる画像取得システムへの適用も効果的である。
【００２８】
（第２の実施形態）
次に、本発明の第２の実施形態を説明する。前述した第１の実施形態では、照明系１０１で輝度補正を実施する場合を例に挙げて説明した。これに対し、本実施形態では、撮像系１０２で輝度補正を実施するようにする。このように、本実施形態と前述した第１の実施形態とでは、輝度補正を行う主体と、輝度補正を行うための処理の一部とが主として異なる。したがって、本実施形態の説明において、前述した第１の実施形態と同一の部分についての詳細な説明を省略する。例えば、図１に示した３次元計測システムの基本的な構成、図３に示した２次元パターン光は、第１の実施形態と同じである。
【００２９】
図２に示した３次元計測システムの機能ブロックのうち、照明制御部２０２、撮像制御部２０４、及び制御部２０７以外は、第１の実施形態と同様である。以下、本実施形態の照明制御部、撮像制御部、及び制御部が有する機能のうち、第１の本実施形態と異なる部分を中心に説明する。
照明制御部は、照明本体部２０１の制御を行う。第１の実施形態の照明制御部２０２は、照明パターン画像の輝度補正（階調変換）を行うが、本実施形態の照明制御部は、照明パターン画像の輝度補正（階調変換）を行わない。すなわち、照明制御部は、外部又は内部で生成した照明パターン画像に対応した光源２０９や空間変調器２１１（パネル）の駆動制御を行う。撮像制御部は、撮像本体部２０３の制御に加えて、撮像画像の処理を行う。具体的に撮像制御部は、撮像デバイス２１３の動作制御、シャッタースピード、フレームレート、ＲＯＩ等の動作タイミングの制御に加えて、撮像した２次元パターン光の画像の輝度補正（画像補正）等を行う。制御部は、照明制御部と撮像制御部とを統合制御する。具体的に制御部は、照明と撮像の同期制御機能や、照明系１０１・撮像系１０２の位置関係情報を、輝度補正のための情報として用いるための伝送機能等を有する。本実施形態では、撮像系１０２で輝度補正を実施するため、位置関係情報取得部２０８からの照明系１０１・撮像系１０２の位置関係情報は、照明制御部ではなく、撮像制御部に送られる。以上の機能ブロックにより、測定対象物１０３の３次元計測が実現できる。
【００３０】
図１５は、３次元計測システムの処理の一例を説明するフローチャートである。
ステップＳ１４０１では、照明系１０１を制御する照明制御部と、撮像系１０２を制御する撮像制御部とのそれぞれに対して通信の確立を行う。
次に、ステップＳ１４０２では、照明系１０１・撮像系１０２の位置関係情報のキャリブレーションが行われる。位置関係情報取得部２０８からの照明系１０１・撮像系１０２の位置関係情報が、制御部２０７を介して撮像制御部へ送信する。ここで送信された位置関係情報は、ステップＳ１４０５の撮像輝度補正処理で用いられる。
次に、ステップＳ１４０３では、照明本体部２０１は、測定対象物１０３に２次元パターン光を照射する。空間符号化法では、複数のエッジパターン３０１の２次元パターン光が照射され、位相シフト法では、同一位相の正弦波パターン３０２の２次元パターン光が照射される（図３を参照）。
次に、ステップＳ１４０４では、撮像本体部２０３は、測定対象物１０３から拡散反射された２次元パターン光を撮像する。実際に撮像される２次元パターン光には、測定対象物１０３の形状や表面の凹凸の影響で、パターンのエッジずれや位相ずれが発生している。
次に、ステップＳ１４０５では、撮像制御部は、撮像輝度補正処理を行う。ここでは、撮像制御部は、照明系１０１・撮像系１０２の位置関係情報を基に、２次元パターン光の画像の輝度補正を行う。輝度補正の概要は、第１の実施形態の図７〜図９を用いて説明したのと同様である。ただし、本実施形態では、撮像系１０２で輝度補正を実施する形態であるので、図８〜図１０に示した輝度分布８０３、８０６、９０３は、輝度変化が発生した２次元パターン光の画像に対する輝度補正の結果である、と解釈しなおす必要がある。
次に、ステップＳ１４０６では、３次元撮像処理部２０５は、パターン投影法を利用して、ステップＳ１４０５で輝度補正処理された２次元パターン光から、測定対象物１０３の奥行き方向の距離を取得する。３次元撮像処理部２０５は、２次元パターン光の画像の幅方向と高さ方向の情報と合わせて、このステップ１４０６で測定対象物１０３の３次元情報を取得する。
以降のステップＳ１４０７〜Ｓ１４０９は、図４のステップＳ４０７〜Ｓ４０９と同じである。すなわち、３次元撮像処理部２０５は、ステップＳ１４０７で、３次元情報を更新し、ステップＳ１４０８で、３次元情報の取得が完了したか否かを判断する。そして、３次元情報の取得が完了すると、３次元計測処理部２０６は、ステップＳ１４０９で、３次元計測処理を行う。
【００３１】
図１６は、３次元計測システムの撮像制御部２０４の機能ブロックの一例を示す図である。撮像制御部２０４は、Ｖドライバ１５０３、タイミングジェネレータ１５０４、ＣＤＳ／ＡＧＣ部１５０５、ＡＤ変換部１５０６、輝度補正部１５０７、及び画像出力部１５０８を備えて構成される。
Ｖドライバ１５０３は、撮像本体部２０３内の撮像デバイス２１３（撮像素子）の垂直駆動信号を生成する。タイミングジェネレータ１５０４は、撮像本体部２０３の駆動に関わる信号を生成する。Ｖドライバ１５０３とタイミングジェネレータ１５０４とにより撮像本体部２０３を駆動する。ＣＤＳ／ＡＧＣ部１５０５は、撮像本体部２０３からのアナログ信号に対しＣＤＳ（Correlated Double Sampling、相関２重サンプリング）、ＡＧＣ（Automatic Gain Control、自動ゲイン調整アンプ）を行う。ＡＤ変換部１５０６は、ＣＤＳ／ＡＧＣ部１５０５から出力されるアナログ信号をデジタル信号に変換する。輝度補正部１５０７は、２次元パターン光の画像の輝度補正を行う。輝度補正部１５０７には、制御部から、照明系１０１・撮像系１０２の位置関係情報（動径情報や偏角情報）が入力される。輝度補正部１５０７は、これらの情報を基に、２次元パターン光の画像の輝度補正を行う。輝度補正には、概略、２次元パターン光の画像のゲイン調整と、階調変換とが含まれる。輝度補正された２次元パターン光の画像は画像出力部１５０８へ出力される。輝度補正の詳細は図１７を用いて後述する。画像出力部１５０８は、２次元パターン光の画像のフォーマットをインタフェースに合わせて変更する。計測精度や計測速度の向上を考えると高い解像度や高いフレームレートが必要となる。このため、画像出力部１５０８は、大容量伝送に対応したインタフェースであることが望ましい。インタフェースとしては、ＵＳＢやＩＥＥＥ１３９４のメタル線、Gigabit Ethernet（登録商標）等の光ファイバが使用される。
【００３２】
図１７は、輝度補正部１５０７の機能ブロックの一例を示す図である。図１７に示す機能ブロックのうち、位置関係情報格納部１００２、動径情報処理部１００３、偏角情報処理部１００４、輝度補正値生成処理部１００５、静的輝度補正値格納部１００６、及び階調データ格納部１００７は第１の実施形態のものと同様である。
ゲイン調整部１６０１は、２次元パターン光の画像のゲインを調整する。このゲインの調整は、図１０を用いて説明した輝度強度の補正に相当する。ゲイン調整部１６０１は、動径情報処理部１００３からの輝度強度補正値を基に、２次元パターン光の画像のゲインを調整する。画像全体に均一なゲインを乗じるため、このゲインを調整する処理は、２次元パターン光の画像全体を明るくする、又は、暗くする処理となる。このとき、ゲイン調整部１６０１は、２次元パターン光の画像の階調よりも大きなビット数で演算を行い、階調精度を極力劣化させないようにするのが望ましい。ゲインが調整された２次元パターン光の画像は、階調変換部１６０２へ出力される。階調変換部１６０２は、２次元パターン光の画像の階調を変換する。階調変換部１６０２の処理は、第１の実施形態の階調変換部１００１と略同様であるが、本実施形態の階調変換部１６０２では、２次元パターン光の画像の階調よりも大きなビット数で演算を行うのが望ましい。階調精度を極力劣化させないようにするためである。階調変換された２次元パターン光の画像は、画像出力部１５０８へ出力される。この階調変換部１６０２により、前段での撮像系１０２での階調を、照明系１０１での階調よりも高くすることができ、量子化誤差の影響を極力抑制することができる。以上で説明した機能ブロックにより撮像系１０２での輝度補正が実現できる。
【００３３】
輝度補正部１５０７が行う処理を説明するフローチャートは、図１２に示したフローチャートと略同様であるが、一部が異なる。以下に、その異なる部分を説明する。
ステップＳ１１０４では、輝度補正値生成処理部１００５及び階調変換部１６０２は、２次元パターン光の画像に対して階調変換を行う。具体的に輝度補正値生成処理部１００５は、ステップＳ１１０２で生成された輝度分布補正値（テーブル）を基に、階調変換を行うための階調テーブルを生成する。そして、階調変換部１６０２は、階調データ格納部１００７から階調テーブルを読み出して階調変換を行う。このとき、階調変換部１６０２は、２次元パターン光の画像の階調よりも大きなビット数で演算を行い、階調精度を極力劣化させないようにするのが望ましい。
ステップＳ１１０６では、ゲイン調整部１６０１が、２次元パターン光の画像のゲインの調整を行うことになる。撮像系１０２が測定面７０１からの反射光を撮像した際の光源強度が一定となるように、２次元パターン光の画像のゲインの調整を行う。
以上の処理により、撮像系１０２での２次元パターン光の輝度補正を実現することができる。
尚、偏角φ、θ１、θ２の情報から輝度分布補正値の生成を説明するフローチャートは、図１３に示したものと同様である。
【００３４】
次に、本実施形態では、量子化誤差を抑制した階調表現を実現できることを説明する。第１の実施形態との相違点を明らかにするため、まず第１の実施形態の構成における量子化誤差について説明した後、本実施形態の優位点を述べる。
図１８は、照明系１０１で輝度補正の一例を階調に着目して説明するフローチャートである。図１８では、階調が変換される主要な部分を列挙し、その他の部分の図示を省略している。
ステップＳ１７０１では、画像入力部６０２が照明パターン画像のデータを入力する。この照明パターン画像のデータでは、例えば８ビット、２５５の階調が確保されている。ここでの階調は整数データである。次に、ステップＳ１７０２では、輝度補正部６０３は、照明系１０１での輝度補正（照明補正による階調圧縮）を実施する。例えば、階調を８０％圧縮した場合、輝度補正を実施した後のデータにおける最高輝度値の階調は２０４（＝２５５×０．８）となる（図１４（ａ）を参照）。ここでの階調は小数データである。次に、ステップＳ１７０３では、空間変調器５０３は、輝度補正（階調圧縮）した２次元パターン光の照明パターン画像での照明を行う。このときの照明パターン画像の階調は、階調圧縮時に生じた小数部分が四捨五入等で丸められて、整数データとして表現される。次に、ステップＳ１７０４では、撮像制御部２０４は、測定対象物１０３に照射された２次元パターン光の撮像画像を１０ビットでＡＤ変換する。このＡＤ変換を行ったデータにおける階調は、０から１０２３までで表現される小数データである。次に、ステップＳ１７０５では、撮像制御部２０４は、ＡＤ変換を行ったデータを、デジタルデータとして利用できる形式にフォーマット変換する。このフォーマット変換を行ったデータにおける階調は、例えば８ビットの整数データである。
【００３５】
図１９は、照明系１０１で輝度補正を行う場合のデータの一例を示す図である。具体的に図１９（ａ）は、図１８の各ステップで得られる階調データの一例を示す図である。図１９（ａ）では、ステップＳ１７０１で入力したデータのうち、階調が１２０から１３４までのときの階調データを切出して示している。図中（表中）の有効数字は任意であり、回路規模、処理精度、及び処理速度に応じて任意に設定できる。
図１９（ｂ）は、ステップＳ１７０１で入力したデータの階調を横軸、ステップＳ１７０５でフォーマット変換をしたデータの階調を縦軸として示した図である。図１９（ｂ）に示すように、ステップＳ１７０１で入力したデータの階調が「１２２」、「１２７」、「１３２」のときに量子化誤差が発生していることがわかる。
このような量子化誤差の発生要因は、照明系１０１での階調抑制と撮像系１０２でのＡＤ変換の精度である。照明系１０１で輝度補正を実施し、更に撮像系１０２でのＡＤ変換の精度が足りない場合には量子化誤差が発生する場合がある。これに対し、本実施形態のように撮像系１０２で輝度補正を実施する際には、照明系１０１での階調劣化がないために、撮像系１０２でのＡＤ変換の精度を節約できると共に、３次元計測システムにおける量子化誤差の発生を抑制できる。特に、位相シフト法においては、階調から位相位置を認識する。そのため、量子化誤差を極力抑制し、精度の良い階調が確保できれば、位相位置の認識精度も向上する。このように、撮像系１０２で輝度補正を実施する利点として、量子化誤差を抑制でき、特に位相シフト法における位相認識精度が向上する点が挙げられる。
【００３６】
図２０は、撮像系１０２での局所的な輝度補正を概念的に説明する図である。図１７に示した輝度補正部１５０７を３次元撮像処理部２０５に組み込むようにすれば、計測対象領域だけに補正処理を限定して行うことができ、処理の高速化が可能である。例えば、図２０に示すように、位相シフト法で撮像した２次元パターン光の画像のある局所領域だけを切出すことで、大幅な処理時間短縮が実現できる。
【００３７】
以上のように、撮像系１０２で輝度補正を実施しても、ダイナミックレンジを確保する以外の点で、前述した第１の実施形態と同様の効果を得ることができ、更に、量子化誤差の抑制が可能であるので、精度の高い階調認識が実現できる。また、計測対象領域だけに補正処理を限定することで処理の高速化を実現できる。
【００３８】
（第３の実施形態）
次に、本発明の第３の実施形態について説明する。前述した第１の実施形態では、照明系１０１で輝度補正を実施する場合を、第２の実施形態では、撮像系１０２で輝度補正を実施する場合を、それぞれ例に挙げて説明した。これに対し、本実施形態では、輝度補正の機能を分離して、照明系１０１で輝度強度の補正を行い、撮像系１０２で輝度分布の補正をそれぞれ実施する場合について説明する。このように、輝度補正を行う主体の一部と、輝度補正を行うための処理の一部とが主として異なる。したがって、本実施形態の説明において、前述した第１、第２の実施形態と同一の部分についての詳細な説明を省略する。例えば、図１に示した３次元計測システムの基本的な構成、図３に示した２次元パターン光は、第１の実施形態と同じである。
【００３９】
図２に示した３次元計測システムの機能ブロックのうち、照明制御部２０２、撮像制御部２０４、及び制御部２０７以外は、第１の実施形態と同様である。以下、本実施形態の照明制御部、撮像制御部、及び制御部が有する機能のうち、第１、第２の本実施形態と異なる部分を中心に説明する。
照明制御部は、照明パターン画像の制御や、照明本体部２０１の制御を行う。第１の実施形態の照明制御部２０２では、輝度強度の補正に加えて輝度分布の補正を行うようにしたが、本実施形態の照明制御部では、輝度分布の補正を行わずに、動径情報と偏角情報に基づいた輝度強度の補正を行うようにしている。撮像制御部は、撮像本体部２０３の制御に加えて、撮像画像の処理を行う。具体的に撮像制御部は、撮像デバイス２１３の動作制御、シャッタースピード、フレームレート、ＲＯＩ等の動作タイミングの制御に加えて、撮像した２次元パターン光の画像の輝度補正等を行う。第２の実施形態の撮像制御部では、輝度分布の補正（階調変換）に加えて、ゲインの調整を行うようにしたが、本実施形態の撮像制御部では、ゲインの調整を行わずに、輝度分布の補正を行う。制御部は、照明制御部と撮像制御部とを統合制御する。具体的に制御部は、照明と撮像の同期制御機能や、照明系１０１・撮像系１０２の位置関係情報を、輝度補正のための情報として用いるための伝送機能等を実現する。本実施形態では、照明系１０１と撮像系１０２の両者で輝度補正を実施する構成であるため、位置関係情報取得部２０８からの照明系１０１・撮像系１０２の位置関係情報は、照明制御部と撮像制御部の双方に送られる。照明制御部に送られる位置関係情報は、動径情報と偏角情報であり、撮像制御部に送られる位置関係情報は偏角情報である。以上の機能ブロックにより、測定対象物１０３の３次元計測が実現できる。
【００４０】
図２１は、３次元計測システムの処理の流れの一例を説明する図である。
ステップＳ１９０１では、制御部は、照明系１０１の通信を確立する。すなわち、制御部と照明制御部との通信が確立される。
次に、ステップＳ１９０２では、制御部は、撮像系１０２の通信を確立する。すなわち、制御部と撮像制御部との通信が確立される。
次に、ステップＳ１９０３では、照明系１０１の位置関係情報のキャリブレーションが行われる。位置関係情報取得部２０８からの位置関係情報を、制御部を介して照明制御部へ送信する。ここで送信された位置関係情報は、ステップＳ１９０５の照明輝度補正処理（照明系１０１での輝度強度の補正）で用いられる。この位置関係情報の精度は、照明制御部で行われる輝度補正の精度に影響を与える。
次に、ステップＳ１９０４では、撮像系１０２の位置関係情報のキャリブレーションが行われる。位置関係情報取得部２０８からの位置関係情報を、制御部を介して撮像制御部へ送信する。ここで送信された位置関係情報は、ステップＳ１９０６の撮像処理（撮像系１０２での輝度分布の補正）で用いられる。この位置関係情報は、ステップＳ１９０３で用いられる位置関係情報と同じものである。
次に、ステップＳ１９０５では、照明制御部は、制御部からのスタート信号を基に、輝度補正処理を行い、測定対象物１０３に対して輝度補正した２次元パターン光を照射する。照明輝度補正は、位置関係情報を基にした輝度強度補正である。ここで用いられる位置関係情報は、照明系１０１・撮像系１０２の動径ｌ１、ｌ２の情報（動径情報）、偏角φ、θ１、θ２の情報（偏角情報）である。この輝度補正処理の詳細については、図２２を用いて後述する。
次に、ステップＳ１９０６では、撮像制御部は、制御部からのスタート信号を基に、測定対象物１０３から拡散反射された２次元パターン光を撮像し、撮像輝度補正処理を行う。そして、３次元撮像処理部２０５は、３次元撮像処理を行う。撮像輝度補正は、位置関係情報を基に撮像制御部２０４で行う輝度分布の補正である。ここで用いられる位置関係情報は、照明系１０１・撮像系１０２の偏角φ、θ１、θ２の情報（偏角情報）である。３次元撮像処理部２０５は、パターン投影法を利用して、撮像された２次元パターン光の画像から測定対象物１０３の奥行き方向の距離を取得する。この測定対象物１０３の奥行き方向の距離の情報と、２次元パターン光の画像の幅方向と高さ方向の情報とに基づいて、測定対象物１０３の３次元情報を取得できる。制御部は、照明と撮像が同期して動作するように、タイミングを規定したスタート信号を発信する。
次に、ステップＳ１９０７では、３次元撮像処理部２０５は、３次元情報（位置情報）を更新する。空間符号化法でも位相シフト法でも複数枚の２次元パターン光を撮像して３次元情報を取得するが、このステップＳ１９０７において１枚毎に３次元情報を更新する。複数枚の２次元パターン光の画像を用いて、ステップＳ１９０５〜Ｓ１９０７のループを繰り返す（ループの回数を増やす）ことで、３次元計測の精度を向上させることができる。ステップＳ１９０８〜Ｓ１９１０は、それぞれステップＳ１９０５〜Ｓ１９０７と同様の処理ステップである。
次に、ステップＳ１９１１では、３次元情報の取得が終了する。３次元計測処理部２０６は、取得された３次元情報を基にモデルフィッティングを行い、測定対象物１０３の３次元形状、位置、及び姿勢を計測する。
【００４１】
図２２は、照明制御部の機能ブロックの一例を示す図である。具体的に図２２（ａ）は、照明制御部全体の機能ブロックを示す図であり、図２２（ｂ）は、照明制御部内の輝度補正部の機能ブロック図である。図２２において、第１の実施形態で示した図６、図１１と同じ機能の機能ブロックについては、図６、図１１に付した符号と同一の符号を付している。
輝度補正部２００１は、照明パターン画像の輝度変化を補正する。輝度補正部２００１には、制御部から照明系１０１・撮像系１０２の位置関係情報（動径情報及び偏角情報）が入力される。輝度補正部２００１は、これらの情報を基に照明パターン画像の輝度強度の補正を行う。輝度強度の補正とは光源５０１の強度変換である。輝度補正部２００１は、光源５０１の強度を変調する光源変調信号を光源駆動部６０５へ出力する。
本実施形態では、輝度分布の補正の手法として、輝度変化により輝度が最も暗くなる画素の輝度値を最大輝度値としてその他の画素の階調を変換する場合を想定する（図１４（ａ）を参照）。強度変調情報生成部２００２は、偏角情報処理部１００４から取得した輝度分布補正値を基に、輝度変化により輝度が最も暗くなる画素での階調と、最大階調との間の輝度差を取得する。図１４（ａ）に示した例では、任意の１ラインの両端の画素での階調「２４０」と最大階調「２５５」との輝度差がそれ（輝度差）に対応する。強度変調情報生成部２００２は、この輝度差を光源５０１の出力で補うための強度変調信号を光源変調信号生成部１００８へ出力する。この機能ブロックでの処理により、図１４（ｂ）で説明したダイナミックレンジの確保が可能となる。以上の機能ブロックにより、照明系１０１において、ダイナミックレンジを確保した輝度強度の補正が実現できる。
【００４２】
図２３は、撮像制御部の機能ブロックの一例を示す図である。具体的に図２３（ａ）は、撮像制御部全体の機能ブロックを示す図であり、図２３（ｂ）は、撮像制御部内の輝度補正部の機能ブロックを示す図である。図２２において、第２の実施形態で示した図１６、図１７と同じ機能の機能ブロックについては、図１６、図１７に付した符号と同じ符号を付している。
輝度補正部２１０１は、撮像された照明パターン画像の輝度変化を補正する。輝度補正部２１０１には、制御部から照明系１０１・撮像系１０２の位置関係情報（偏角情報）が入力される。輝度補正部２１０１は、この情報を基に照明パターン画像の輝度分布の補正を行う。輝度分布の補正とは、照明パターン画像の階調変換である。輝度補正部２１０１は、階調変換した照明パターン画像を画像出力部１５０８へ出力する。以上の機能ブロックにより、撮像系１０２において、輝度分布補正が実現できる。
【００４３】
図２４は、輝度補正処理の一例を説明するフローチャートである。具体的に図２４（ａ）は、照明系１０１で輝度強度を補正する処理を説明するフローチャートである。
ステップＳ２２０１では、位置関係情報格納部１００２は、位置関係情報取得部２０８で取得、処理した「測定対象物１０３の位置関係情報、照明系１０１・撮像系１０２の位置関係情報」を格納する。この処理は、図１２のステップＳ１１０１と同様の処理である。
次に、ステップＳ２２０２では、動径情報処理部１００３は、測定対象物１０３の反射率を考慮した輝度強度補正値を生成する。この処理は、図１２のステップＳ１１０５と同様の処理である。
次に、ステップＳ２２０３では、光源変調信号生成部１００８は、光源変調信号の生成を実施する。この処理は、図１２のステップＳ１１０６と同様の処理である。尚、本実施形態においても、強度変調情報生成部２００２で生成された強度変調信号に基づいてダイナミックレンジ低下を補う処理も実施する。このステップＳ２２０３での処理結果は、光源５０１での実際の２次元パターン光の強度変調として達成される。
以上の処理により、照明系１０１が、２次元パターン光の輝度強度の補正を実現することができる。
【００４４】
図２４（ｂ）は、撮像系１０２で輝度分布を補正する処理を説明するフローチャートである。
ステップＳ２２０４では、位置関係情報格納部１００２は、位置関係情報取得部２０８で取得、処理した「測定対象物１０３の位置関係情報、照明系１０１・撮像系１０２の位置関係情報」を格納する。ここでは、照明系１０１・撮像系１０２の偏角φ、θ１、θ２の情報が位置関係情報格納部１００２に格納される。
次に、ステップＳ２２０５では、偏角情報処理部１００４は、輝度分布補正値を生成する。この処理は、図１２のステップＳ１１０２（その詳細は図１３）と同様の処理である。
次に、ステップＳ２２０６では、輝度補正値生成処理部１００５は、位置関係情報に起因しない静的な輝度変化の影響を、ステップＳ２２０５で算出された輝度分布補正値に加味する。具体的に輝度補正値生成処理部１００５は、静的輝度補正値格納部１００６が保持している静的輝度補正値が登録されたテーブルを、輝度分布補正値（テーブル）に掛け合わせる。この処理は、図１２のステップＳ１１０３と同様の処理である。
次に、ステップＳ２２０７では、輝度補正値生成処理部１００５及び階調変換部１６０２は、照明パターン画像に対して階調変換を実施する。具体的に、輝度補正値生成処理部１００５は、ステップＳ２２０６で生成された輝度分布補正値（テーブル）を基に、階調変換を行うための階調テーブルを生成して階調データ格納部１００７に格納する。このとき輝度補正値生成処理部１００５は、照明パターン画像の階調よりも大きなビット数で演算を行い、階調精度を極力劣化させないようにするのが望ましい。そして、階調変換部１６０２は、階調データ格納部１００７から階調テーブルを読み出して階調変換を行う。
以上の処理により、撮像系１０２が、２次元パターン光の輝度分布の補正を実現することができる。
【００４５】
以上のように、照明系１０１で輝度強度の補正を行い、撮像系１０２で輝度分布の補正を行って、輝度補正の機能を分離することで、第１、第２の実施形態の双方の効果を得ることができる。すなわち、ダイナミックレンジを確保し、且つ、システムにおける量子化誤差の発生を抑制できる。ダイナミックレンジの確保は、空間符号化法におけるエッジ認識の精度の向上に寄与し、量子化誤差の抑制は、位相シフト法における階調認識の精度の向上に寄与する。本実施形態は、特に、空間符号化法と位相シフト法とを同時に実施するような３次元計測システムにおいて有効である。
【００４６】
（第４の実施形態）
次に、本発明の第４の実施形態について説明する。前述した第１〜第３の実施形態では、照明系１０１（照明手段）が１つである場合を例に挙げて説明した。これに対し、本実施形態では、３次元計測システムが照明系１０１を複数有する場合について説明する。このように本実施形態と前述した第１〜第３の実施形態とは、照明系１０１の数と、照明系１０１の数が異なることによる処理が主として異なる。したがって、本実施形態の説明において、前述した第１〜第３の実施形態と同一の部分についての詳細な説明を省略する。
【００４７】
図２５は、３次元計測システムの概略構成の一例を示す図である。図２５に示すように、本実施形態の３次元計測システムは、３つの照明系１０１Ａ、１０１Ｂ、１０１Ｃと、１つの撮像系１０２とを有する。本実施形態の３次元計測システムも、例えば、工場の製造ライン等でロボットハンドが、部品の選別や組み立て等の作業が行えるように、対象となる部品の３次元計測を行うシステムである。撮像系１０２との位置関係に基づいて、最も計測精度が得られると考えられる照明系１０１を１つ選択し、その照明系１０１と撮像系１０２との組み合せで３次元計測を実施する。そのため、複数の照明系１０１Ａ〜１０１Ｃは、同時に２次元パターン光を照射することがないように排他制御される。複数の照明系１０１Ａ〜１０１Ｃの１つを選択するための処理と、それら複数の照明系１０１Ａ〜１０１Ｃの排他制御を行う処理以外の処理は、第１〜第３の実施形態と同様である。尚、以下の説明では、第１の実施形態の構成を前提として説明を行う。
【００４８】
図２６は、３次元計測システムの機能ブロックの一例を示す図である。３次元計測システムは、照明系１０１Ａ〜１０１Ｃ、撮像系１０２、３次元撮像処理部２０５、３次元計測処理部２０６、位置関係情報取得部２０８、制御部２４０１、及び位置関係処理部２４０２を備えて構成される。図２６に示す機能ブロックのうち、撮像系１０２、３次元撮像処理部２０５、及び３次元計測処理部２０６は第１の実施形態のものと同様である。
照明系１０１Ａ〜１０１Ｃは、測定対象物１０３に向けて２次元パターン光を照射する。具体的に照明系１０１Ａ〜１０１Ｃは、パターン投影法に基づき、空間符号化法で用いられるエッジパターンや、位相シフト法で用いられる正弦波パターンを測定対象物１０３に投射する。照明系１０１Ａ〜１０１Ｃのそれぞれの構成は、図２、図５に示したものと同様である。撮像系１０２は、測定対象物１０３で反射された２次元パターン光を撮像する。撮像系１０２の構成は、図２に示したものと同様である。制御部２４０１は、照明系１０１Ａ〜１０１Ｃと撮像系１０２とを統合制御する。制御部２４０１は、照明と撮像の同期制御機能と、照明系１０１・撮像系１０２の位置関係情報を、輝度補正の情報として用いるための伝送機能に加え、照明系１０１Ａ〜１０１Ｃの排他制御機能等を有する。ここでは、第１の実施形態と同様に、照明系１０１で輝度補正を実施する構成を想定している。そのため、位置関係処理部２４０２からの照明系１０１・撮像系１０２の位置関係情報は、位置関係処理部２４０２で選択された照明系１０１Ａ〜１０１Ｃの何れかに送られる。位置関係処理部２４０２は、測定対象物１０３の位置関係情報と、照明系１０１Ａ〜１０１Ｃと撮像系１０２の位置関係情報とを計算処理して、３次元計測に用いる照明系１０１を選択する。本実施形態では、位置関係処理部２４０２は、測定対象物１０３と撮像系１０２の位置関係から、オクルージョンがなく、且つ、計測精度が得られる位置にある照明系１０１を選択する。ここで、計測精度が得られる位置とは、例えば、測定対象物１０３に対して撮像系１０２と共役な位置の近くである。図７においては、計測精度が得られる位置とは、φ≒０、θ１≒θ２、ｌ１≒ｌ２が成立する位置であり、理想的な条件の場合、照明系１０１、撮像系１０２、測定対象物１０３がこのような位置関係にある場合、位置関係に起因する輝度変化がほとんど発生しない。位置関係情報取得部２０８は、ロボットアームが保持する位置関係情報を基に、測定対象物１０３の位置関係情報と、照明系１０１と撮像系１０２の位置関係情報を取得する。位置関係情報の取得方法は第１の実施形態と同様であるが、本実施形態では、複数の照明系１０１Ａ〜１０１Ｃの位置関係情報を取得する。照明系１０１Ａ〜１０１Ｃと撮像系１０２の位置関係情報は、照明系の輝度補正で用いられる。以上の機能ブロックにより、測定対象物１０３の３次元計測が実現できる。
【００４９】
図２７は、３次元計測システムの処理の流れの一例を説明する図である。
ステップＳ２５０１では、制御部２４０１は、照明系１０１Ａ〜１０１Ｃの通信を確立する。すなわち、制御部２４０１と照明系１０１Ａ〜１０１Ｃとの通信が確立される。
次に、ステップＳ２５０２では、制御部２４０１は、撮像系１０２の通信を確立する。すなわち、制御部２４０１と撮像系１０２との通信が確立される。
次に、ステップＳ２５０３では、位置関係処理部２４０２は、複数の照明系１０１Ａ〜１０１Ｃと撮像系１０２の位置関係情報の解析処理を行う。位置関係処理部２４０２は、位置関係情報取得部２０８から位置関係情報を取得し、オクルージョンがなく、且つ、計測精度が得られる位置にある照明系１０１を１つ選択する。尚、ここでは、照明系１０１Ｂが、撮像系１０２及び測定対象物１０３に対してオクルージョンがなく、且つ、計測精度が得られる位置にあるとして説明を行う。
次に、ステップＳ２５０４では、照明系１０１Ｂの位置関係情報のキャリブレーションが行われる。位置関係処理部２４０２で選択された照明系１０１Ｂの位置関係情報は、制御部２４０１を介して照明系１０１Ｂへ送信される。ここで送信された位置関係情報は、ステップＳ２５０６の照明系１０１Ｂの輝度補正で用いられる。
次に、ステップＳ２５０５では、制御部２４０１は、該当する照明系１０１に対して照明停止処理を行う。ここでは、制御部２４０１は、照明系１０１Ａ、１０１Ｃに対して照明を行わない制御を行う。
次に、ステップＳ２５０６では、照明系１０１Ｂは、制御部２４０１からのスタート信号を基に輝度補正処理を行い、測定対象物１０３に対して輝度補正した２次元パターン光を照射する。照明の輝度補正には、位置関係情報を基に行う輝度強度の補正と輝度分布の補正とがある。ここで用いられる位置関係情報は、照明系１０１Ｂ・撮像系１０２それぞれの動径ｌ１、ｌ２、偏角φ、θ１、θ２の情報である。
尚、ここでは説明を簡単とするために、ステップＳ２５０５とステップＳ２５０６とが順次処理されるように図示されている。しかしながら、制御部２４０１から照明系１０１Ａ〜１０１Ｃへ並列に制御命令が送られて並列処理を行う方が、処理時間の短縮の観点から有利であるので好ましい。
次に、ステップＳ２５０７では、撮像系１０２は、制御部２４０１からのスタート信号を基に測定対象物１０３から拡散反射された２次元パターン光を撮像する。そして、３次元撮像処理部２０５は、３次元撮像処理部２０５は、パターン投影法を利用して、撮像された２次元パターン光の画像から測定対象物１０３の奥行き方向の距離を取得する。この測定対象物１０３の奥行き方向の距離の情報と、２次元パターン光の画像の幅方向と高さ方向の情報とに基づいて、測定対象物１０３の３次元情報を取得できる。制御部２４０１は照明と撮像が同期して動作するように、タイミングを規定したスタート信号を発信する。
次に、ステップＳ２５０８では、３次元撮像処理部２０５は、３次元情報（位置情報）を更新する。空間符号化法や位相シフト法で複数枚の２次元パターン光を撮像して３次元情報を取得する。このステップＳ２５０８では、２次元パターン光の画像が１枚得られる毎に３次元情報を更新する。このようにして複数枚の２次元パターン光の画像を用いて、ステップＳ２５０６〜Ｓ２５０８のループを繰り返す（ループの回数を増やす）ことで、３次元計測の精度を向上させることができる。
次に、ステップＳ２５０９では、３次元情報の取得が終了する。３次元計測処理部２０６は、取得された３次元情報を基にモデルフィッティングを行い、測定対象物１０３の３次元形状、位置、及び姿勢を計測する。
【００５０】
以上のように、撮像系１０２及び測定対象物１０３と照明系１０１Ａ〜１０１Ｃとの位置関係に基づいて、オクルージョンがなく、且つ、計測精度が得られる位置にある照明系１０１を１つ選択する。そして、選択した照明系１０１と、撮像系１０２とを用いて３次元計測を行った。したがって、輝度変化を更に効果的に抑制できる。
尚、本実施形態では、複数の照明系１０１と１つの撮像系１０２とが自由に動ける場合を例に挙げて説明したが、逆に１つの照明系１０１と複数の撮像系１０２とが自由に動けるようにしてもよい。すなわち、照明系１０１と撮像系１０２との少なくとも何れか一方を複数設け、照明系１０１、撮像系１０２、及び測定対象物１０３の位置関係から、照明系１０１と撮像系１０２との最適な組み合わせを選択していれば、照明系や撮像系の数は限定されない。また、輝度補正は、本実施形態で説明した照明系での輝度補正に限定されるものではない。第２の実施形態で説明したように撮像系で輝度補正を行う形態や、第３の実施形態で説明したように照明系で輝度強度の補正を行い撮像系で輝度分布の補正を行う形態であってもよい。
【００５１】
尚、前述した実施形態の各工程は、ネットワーク又は各種記憶媒体を介して取得したソフトウェア（コンピュータプログラム）をパソコン等の処理装置（ＣＰＵ、プロセッサ）にて実行することもできる。また、本発明の各工程を実行するコンピュータプログラム自体、及びそのコンピュータプログラムが記憶された記憶媒体を構成してもよい。
また、前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００５２】
１０１ 照明系、１０２ 撮像系、１０３ 測定対象物
【特許請求の範囲】
【請求項１】
測定対象物に照明光を照射する照明手段と、
前記照明手段の動作を制御する照明制御手段と、
測定対象物からの反射光または透過光を撮像する撮像手段と、
前記撮像手段の動作を制御する撮像制御手段と、
前記照明手段および前記撮像手段の、前記測定対象物との位置関係を示す位置関係情報を取得する取得手段と、
前記位置関係情報に基づき、前記照明手段による照明光と、前記撮像手段で撮像された画像とのうち、少なくともいずれか一方の輝度を補正して、前記撮像手段で撮像された前記測定対象物の画像の輝度変化を補正する補正手段と、を有し、
前記測定対象物と前記照明手段と前記撮像手段とのうち、少なくとも二つの位置が可変であることを特徴とする計測システム。
【請求項２】
前記補正手段は、前記照明手段による照明光と、前記撮像手段で撮像された画像とのうち、少なくともいずれか一方の輝度として、輝度強度を補正する輝度強度補正手段と、
前記照明手段による照明光と、前記撮像手段で撮像された画像とのうち、少なくともいずれか一方の輝度として、輝度分布を補正する輝度分布補正手段と、を有することを特徴とする請求項１に記載の計測システム。
【請求項３】
前記輝度強度補正手段は、前記位置関係情報と、前記測定対象物の反射率または透過率とに基づいて、前記位置関係情報に起因する輝度強度の補正値を生成し、生成した補正値に基づいて、前記照明手段による照明光と、前記撮像手段で撮像された画像とのうち、少なくともいずれか一方の輝度強度を補正することを特徴とする請求項２に記載の計測システム。
【請求項４】
前記輝度分布補正手段は、前記位置関係情報に起因する動的な輝度分布の補正値と、前記位置関係情報に起因しない静的な輝度分布の補正値とに基づいて、前記照明手段による照明光と、前記撮像手段で撮像された画像とのうち、少なくともいずれか一方の輝度分布を補正することを特徴とする請求項２又は３に記載の計測システム。
【請求項５】
前記照明制御手段または前記撮像制御手段が、前記輝度強度補正手段と前記輝度分布補正手段とを有することを特徴とする請求項２〜４の何れか１項に記載の計測システム。
【請求項６】
前記照明制御手段が、前記輝度強度補正手段を有し、
前記撮像制御手段が、前記輝度分布補正手段を有することを特徴とする請求項２〜４の何れか１項に記載の計測システム。
【請求項７】
前記輝度強度補正手段は、前記輝度分布補正手段による輝度分布の補正により低下した輝度のダイナミックレンジを補うように輝度強度を補正することを特徴とする請求項２〜６の何れか１項に記載の計測システム。
【請求項８】
前記照明手段と前記撮像手段との少なくとも何れか一方を複数有し、
前記位置関係情報に基づいて、前記照明手段と前記撮像手段とのうち、複数ある手段の１つを選択する選択手段を有し、
前記選択手段により照明手段が選択された場合には、当該照明手段が利用され、前記選択手段により撮像手段が選択された場合には、当該撮像手段が利用されるようにしたことを特徴とする請求項１〜７の何れか１項に記載の計測システム。
【請求項９】
測定対象物に照明光を照明手段により照射する照明ステップと、
前記照明手段の動作を制御する照明制御ステップと、
測定対象物からの反射光または透過光を撮像手段により撮像する撮像ステップと、
前記撮像手段の動作を制御する撮像制御ステップと、
前記照明手段および前記撮像手段の、前記測定対象物との位置関係を示す位置関係情報を取得する位置関係情報を取得する取得ステップと、
前記位置関係情報に基づき、前記照明手段による照明光と、前記撮像手段で撮像された画像とのうち、少なくともいずれか一方の輝度を補正して、前記撮像手段で撮像された前記測定対象物の画像の輝度変化を補正する補正ステップと、を有し、
前記測定対象物と前記照明手段と前記撮像手段とのうち、少なくとも二つの位置が可変であることを特徴とする画像補正方法。
【請求項１０】
測定対象物に照明光を照射する照明手段の動作を制御する照明制御ステップと、
測定対象物からの反射光または透過光を撮像する撮像手段の動作を制御する撮像制御ステップと、
前記照明手段および前記撮像手段の、前記測定対象物との位置関係を示す位置関係情報を取得する位置関係情報を取得する取得ステップと、
前記位置関係情報に基づき、前記照明手段による照明光と、前記撮像手段で撮像された画像とのうち、少なくともいずれか一方の輝度を補正して、前記撮像手段で撮像された前記測定対象物の画像の輝度変化を補正する補正ステップと、をコンピュータに実行させ、
前記測定対象物と前記照明手段と前記撮像手段とのうち、少なくとも二つの位置が可変であることを特徴とするコンピュータプログラム。
【請求項１】
測定対象物に照明光を照射する照明手段と、
前記照明手段の動作を制御する照明制御手段と、
測定対象物からの反射光または透過光を撮像する撮像手段と、
前記撮像手段の動作を制御する撮像制御手段と、
前記照明手段および前記撮像手段の、前記測定対象物との位置関係を示す位置関係情報を取得する取得手段と、
前記位置関係情報に基づき、前記照明手段による照明光と、前記撮像手段で撮像された画像とのうち、少なくともいずれか一方の輝度を補正して、前記撮像手段で撮像された前記測定対象物の画像の輝度変化を補正する補正手段と、を有し、
前記測定対象物と前記照明手段と前記撮像手段とのうち、少なくとも二つの位置が可変であることを特徴とする計測システム。
【請求項２】
前記補正手段は、前記照明手段による照明光と、前記撮像手段で撮像された画像とのうち、少なくともいずれか一方の輝度として、輝度強度を補正する輝度強度補正手段と、
前記照明手段による照明光と、前記撮像手段で撮像された画像とのうち、少なくともいずれか一方の輝度として、輝度分布を補正する輝度分布補正手段と、を有することを特徴とする請求項１に記載の計測システム。
【請求項３】
前記輝度強度補正手段は、前記位置関係情報と、前記測定対象物の反射率または透過率とに基づいて、前記位置関係情報に起因する輝度強度の補正値を生成し、生成した補正値に基づいて、前記照明手段による照明光と、前記撮像手段で撮像された画像とのうち、少なくともいずれか一方の輝度強度を補正することを特徴とする請求項２に記載の計測システム。
【請求項４】
前記輝度分布補正手段は、前記位置関係情報に起因する動的な輝度分布の補正値と、前記位置関係情報に起因しない静的な輝度分布の補正値とに基づいて、前記照明手段による照明光と、前記撮像手段で撮像された画像とのうち、少なくともいずれか一方の輝度分布を補正することを特徴とする請求項２又は３に記載の計測システム。
【請求項５】
前記照明制御手段または前記撮像制御手段が、前記輝度強度補正手段と前記輝度分布補正手段とを有することを特徴とする請求項２〜４の何れか１項に記載の計測システム。
【請求項６】
前記照明制御手段が、前記輝度強度補正手段を有し、
前記撮像制御手段が、前記輝度分布補正手段を有することを特徴とする請求項２〜４の何れか１項に記載の計測システム。
【請求項７】
前記輝度強度補正手段は、前記輝度分布補正手段による輝度分布の補正により低下した輝度のダイナミックレンジを補うように輝度強度を補正することを特徴とする請求項２〜６の何れか１項に記載の計測システム。
【請求項８】
前記照明手段と前記撮像手段との少なくとも何れか一方を複数有し、
前記位置関係情報に基づいて、前記照明手段と前記撮像手段とのうち、複数ある手段の１つを選択する選択手段を有し、
前記選択手段により照明手段が選択された場合には、当該照明手段が利用され、前記選択手段により撮像手段が選択された場合には、当該撮像手段が利用されるようにしたことを特徴とする請求項１〜７の何れか１項に記載の計測システム。
【請求項９】
測定対象物に照明光を照明手段により照射する照明ステップと、
前記照明手段の動作を制御する照明制御ステップと、
測定対象物からの反射光または透過光を撮像手段により撮像する撮像ステップと、
前記撮像手段の動作を制御する撮像制御ステップと、
前記照明手段および前記撮像手段の、前記測定対象物との位置関係を示す位置関係情報を取得する位置関係情報を取得する取得ステップと、
前記位置関係情報に基づき、前記照明手段による照明光と、前記撮像手段で撮像された画像とのうち、少なくともいずれか一方の輝度を補正して、前記撮像手段で撮像された前記測定対象物の画像の輝度変化を補正する補正ステップと、を有し、
前記測定対象物と前記照明手段と前記撮像手段とのうち、少なくとも二つの位置が可変であることを特徴とする画像補正方法。
【請求項１０】
測定対象物に照明光を照射する照明手段の動作を制御する照明制御ステップと、
測定対象物からの反射光または透過光を撮像する撮像手段の動作を制御する撮像制御ステップと、
前記照明手段および前記撮像手段の、前記測定対象物との位置関係を示す位置関係情報を取得する位置関係情報を取得する取得ステップと、
前記位置関係情報に基づき、前記照明手段による照明光と、前記撮像手段で撮像された画像とのうち、少なくともいずれか一方の輝度を補正して、前記撮像手段で撮像された前記測定対象物の画像の輝度変化を補正する補正ステップと、をコンピュータに実行させ、
前記測定対象物と前記照明手段と前記撮像手段とのうち、少なくとも二つの位置が可変であることを特徴とするコンピュータプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【公開番号】特開２０１１−１３７７５３（Ｐ２０１１−１３７７５３Ａ）
【公開日】平成２３年７月１４日（２０１１．７．１４）
【国際特許分類】
【出願番号】特願２００９−２９８７４６（Ｐ２００９−２９８７４６）
【出願日】平成２１年１２月２８日（２００９．１２．２８）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２３年７月１４日（２０１１．７．１４）
【国際特許分類】
【出願日】平成２１年１２月２８日（２００９．１２．２８）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]