照明装置及び該照明装置を用いた計測システム
【課題】コントラストの高いパターン投影を実現する。
【解決手段】計測装置と照明装置、撮像装置の位置関係を較正するキャリブレーションを行う（Ｓ１０１）。二次元パターン光の投影面内での輝度の不均一補正処理を行い（Ｓ１０２）、低下したピーク輝度を補償するための光源光量の調節を行う（Ｓ１０３）。計測対象物に二次元パターン光を投影し（Ｓ１０４）、反射された二次元パターン光を撮像装置で撮像する（Ｓ１０５）。撮像装置側の影響で生ずる二次元パターン光の輝度変化及びパターンエッジの位置ずれを、取得した二次元パターン画像に対し不均一補正処理を適用して補正する（Ｓ１０６）。補正処理した二次元パターン画像を基に、計測装置は計測対象物のそれぞれの測定点における奥行き方向の距離情報を取得して距離計測処理を行う（Ｓ１０７）。
【解決手段】計測装置と照明装置、撮像装置の位置関係を較正するキャリブレーションを行う（Ｓ１０１）。二次元パターン光の投影面内での輝度の不均一補正処理を行い（Ｓ１０２）、低下したピーク輝度を補償するための光源光量の調節を行う（Ｓ１０３）。計測対象物に二次元パターン光を投影し（Ｓ１０４）、反射された二次元パターン光を撮像装置で撮像する（Ｓ１０５）。撮像装置側の影響で生ずる二次元パターン光の輝度変化及びパターンエッジの位置ずれを、取得した二次元パターン画像に対し不均一補正処理を適用して補正する（Ｓ１０６）。補正処理した二次元パターン画像を基に、計測装置は計測対象物のそれぞれの測定点における奥行き方向の距離情報を取得して距離計測処理を行う（Ｓ１０７）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、三次元計測における二次元パターン光の輝度の不均一性を補正し、計測精度を向上させる照明装置及び該照明装置を用いた計測システムに関するものである。
【背景技術】
【０００２】
マシンビジョンの分野における重要な技術要素として三次元の計測技術が知られている。三次元計測技術の一手法として、例えば計測対象物に対して二次元のパターン光を投影し、得られるパターン投影像をカメラで撮像することがある。この場合に、二次元パターンの周期性を手掛かりに、取得した撮像画像をコンピュータで解析して計測対象物の距離情報を得る。ここで云う距離情報とは、計測対象物のカメラからの距離や表面の凹凸など、奥行き方向の距離を示すものである。幅、高さ方向の情報は二次元の撮像画像から得られるため、距離情報として取得した奥行き方向の情報と併せて三次元の空間情報が得られることになる。次いで、二次元の撮像画像と距離情報、及び予め保持している計測対象物のモデルデータを用いて、三次元のモデルフィッティングを行い、計測対象物の位置、姿勢、三次元形状を計測する。
【０００３】
このような技術は、例えば工場の製造ラインで動作するロボットアームによる部品のピッキングや自動組み立てなどに応用することができる。三次元計測技術を用いて部品の位置、姿勢、三次元形状を計測し、取得した情報を基にロボットアームを制御することで、ロボットアームによる部品ピッキングや組み立てを正確、かつ効率的に行うことができる。
【０００４】
計測対象物の形状計測及び計測対象物との距離計測を精度良く行うために、二次元パターン光を用いる手法はパターン投影法と呼ばれ、所定のパターンを投影するアクティブ照明技術として知られている。投影する二次元パターンには白黒二値の明暗の縞が規則的にかつ連続して並んだ離散パターンの他に、階調が滑らかに変化するグラデーションパターンがある。特に、距離計測においては、複数の二次元パターンを短時間に切換えて画像中のエッジ成分を得る空間符号化法（空間コード化法）が特許文献１に記載されている。
【０００５】
二次元パターン光を計測対象物に投影することで、計測対象物の表面凹凸や形状に対応したパターン形状の不連続点や歪みが観測できる。空間符号化法で用いられる二値パターンでは、この不連続点がエッジの位置ずれに相当する。空間符号化法では、三角測量の原理を利用してエッジの位置ずれから奥行き方向の距離を推定する。
【０００６】
二次元画像から形状計測や距離計測を行う構成において、一般的には照明装置で投影する二次元パターンの空間的な位置ずれや計測対象物の反射率・透過率を含めて撮像装置側の画像処理で輝度変化や光学系の収差によって生ずる画像歪みの影響を較正する。
【０００７】
投影するパターンの精度を決めるエッジの位置精度、コントラストは、静的には光源の構成、光源からの光を集める照明光学系、パターン画像を形成する表示デバイス、及び投影光学系に関わる結像の位置ずれや解像力低下に起因する光量低下によって劣化する。
【０００８】
特許文献２は計測目的とは異なるが、このような光学系の較正や照明系の投影面における輝度の不均一性を補正する手法が開示されている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００５−３４１０号公報
【特許文献２】特開２００３−１４３６２１号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら特許文献１では、較正の対象が光学系に限定され、表示デバイスや撮像デバイス及び光源構成に起因する計測誤差要因については考慮されていない。また、投光パターンと投影パターンを考慮して輝度を均一化させるための処理、及び光学系の歪曲収差であるずれ量の把握は、撮像された二次元画像を基に行われる構成となっている。
【００１１】
その結果、撮像装置側で得られた画像に対して補正が適用される構成となり、計測精度は取得した画像の解像度に依存し、より精度を求められる場合の制限事項となる。更には、把握された位置ずれ量や輝度を一様に均一化するための具体的な手段については開示されていない。
【００１２】
一般には、不均一性の補正処理は計測システムにおける撮像装置側で行われるが、計測対象物の反射率や透過率のレンジが広い場合には、撮像デバイスの持つダイナミックレンジの範囲で十分なコントラストを得ることが難しく、この点について考慮されていない。
【００１３】
特許文献２では、階調機能を利用した補正を行うために、輝度の均一性を補償した場合に、投影面内で最も輝度が低くなる部位に他の部位の輝度を合わせることが必要となる。その結果、投影面内のピーク輝度が下がり、計測に適用した場合に必要なコントラストが十分に得られない可能性がある。
【００１４】
また、輝度の均一性補償がピーク輝度に対してのみなされ、表示デバイスの各画素への入力信号が最低値となる黒レベルの均一性については言及されていない。空間符号化法においては、ネガポジ反転画像を基にエッジ位置の判定を行うため、ピーク輝度のみならず、黒レベルの輝度の均一性も補償の対象に入れることが精度向上の上では望ましい。
【００１５】
更には、補正の対象を空間的に固定された要因である液晶モジュールによる不均一性と時間的に変動する要因である投影対象であるスクリーンの視野角特性による不均一性とに分けてはいる。しかし、固定要因として想定される照明、投影の各光学系と表示デバイスとでは、輝度の変化がなだらかな光学系と隣接する画素間での関連が少ない。局所的には、不連続な変化が想定される表示デバイスの補正を、代表点を用いた補間処理による補正値の算出によって行うことは難しい。なお、補間処理を用いない場合は、補正値を格納するメモリの容量が肥大化することは云うまでもない。
【００１６】
本発明の目的は、上述の問題点を解消し、画素単位で輝度の不均一性を補正する際に、低下するピーク輝度を光源光量調節で補償することで、コントラストの高いパターン投影を実現する照明装置及び該照明装置を用いた計測システムを提供することにある。
【課題を解決するための手段】
【００１７】
上記目的を達成するための本発明に係る照明装置は、光源と、照明光学系と、二次元映像信号を画素のマトリクスによって形成し階調表現が可能な表示デバイスと、投影光学系とを備え、計測対象物に二次元パターン光を照射する照明装置であって、前記光源、照明光学系と投影光学系及び表示デバイスのうちの少なくとも１つに起因する照明時に生ずる投影面における画素間の輝度の不均一性を補正するための補正値を格納する記憶手段と、該記憶手段から取得した補正値に基づいて前記二次元映像信号を補正する補正処理手段と、前記補正処理手段による補正によって低下する投影面内のピーク輝度を補償する光源光量調節手段とを備えたことを特徴とする。
【００１８】
また本発明に係る照明装置を用いた計測システムは、光源・照明光学系・二次元映像信号を画素のマトリクスによって形成し階調表現が可能な表示デバイス・投影光学系とを備え計測対象物に二次元パターン光を照射する照明装置と、撮像光学系・撮像デバイス・該撮像デバイスからの映像入力信号から二次元画像を形成する画像処理部を備え計測対象物からの反射光又は透過光を撮像する撮像装置とから成る計測システムであって、前記照明装置の光源、照明光学系、投影光学系及び表示デバイスのうちの少なくとも１つに起因する照明時に生ずる投影面における画素間の輝度の不均一性と、前記撮像装置の撮像光学系及び撮像デバイスのうち少なくとも1つに起因する二次元画像における画素間の輝度の不均一性とを補正するための補正値を格納する記憶手段と、該記憶手段から取得した補正値に基づいて前記映像入力信号を補正する補正処理手段と、該補正処理手段によって低下する撮像画像内のピーク輝度を補償する光源光量調節手段とを備えたことを特徴とする。
【発明の効果】
【００１９】
本発明に係る照明装置及び該照明装置を用いた計測システムによれば、表示デバイスの階調表現機能を利用して、画素単位で輝度の不均一性を補正する際に低下する照射光量を、光源光量調節で補償することでコントラストの高いパターン投影を実現する。特に、空間符号化法パターン投影時には、ピーク輝度と黒レベルの双方の均一化を行い、高精度な計測を実現すると共に、不均一補正を少ないメモリ構成、回路規模で実現できる。
【図面の簡単な説明】
【００２０】
【図１】実施例１の三次元計測システムの構成図である。
【図２】三次元計測システムのブロック回路構成図である。
【図３】三次元計測処理の動作フローチャート図である。
【図４】照明ユニットの構成図である。
【図５】照明装置のブロック回路構成図である。
【図６】照明装置のハードウェア構成のブロック回路構成図である。
【図７】撮像装置のブロック回路構成図である。
【図８】照明装置内の不均一補正機構のブロック回路構成図である。
【図９】光源光量調節機構の説明図である。
【図１０】照明装置内の不均一補正処理の動作フローチャート図である。
【図１１】輝度補正機構のブロック回路構成図である。
【図１２】ラグランジュ補間曲線のグラフ図である。
【図１３】輝度補正処理の動作フローチャート図である。
【図１４】位置ずれ補正機構のブロック回路構成図である。
【図１５】位置ずれ補正処理の動作フローチャート図である。
【図１６】収差補正用テーブルの説明図である。
【図１７】座標変換処理の動作フローチャート図である。
【図１８】撮像装置内の不均一補正処理の動作フローチャート図である。
【図１９】実施例２の三次元計測システムのブロック回路構成図である。
【図２０】計測対象物対応の光源光量調節処理の動作フローチャート図である。
【図２１】照明装置のブロック回路構成図である。
【図２２】輝度補正機構のブロック回路構成図である。
【図２３】輝度補正処理の動作フローチャート図である。
【図２４】位置ずれ補正機構のブロック回路構成図である。
【図２５】位置ずれ補正処理の動作フローチャート図である。
【発明を実施するための形態】
【００２１】
本発明を図示の実施例に基づいて詳細に説明する。
【実施例１】
【００２２】
図１は実施例１における三次元計測システムの構成図である。本実施例１における三次元計測システムは、照明装置１、撮像装置２、及び後述する計測装置３から構成され、計測対象物Ｗの三次元形状や位置・姿勢を計測する。ここでは、工場の製造ラインなどで用いられるロボットハンドによる部品選別や自動組み立てなどの作業行程を想定し、部品選別や自動組み立ての対象となる計測対象物Ｗの三次元計測を行う。
【００２３】
照明装置１は計測対象物Ｗに二次元パターン光を投影するパターン投影機能を有し、小型のプロジェクタなどが用いられる。撮像装置２は計測対象物Ｗ上に投影された二次元パターン光による画像を撮像し、二次元画像の取得には、ＣＣＤやＣＭＯＳのイメージセンサが用いられる。なお、照明装置１、撮像装置２はロボットアームに搭載できる小型で軽量なものが望ましい。
【００２４】
本実施例では、計測対象物Ｗが拡散反射物体や鏡面物体であることを想定しているが、二次元パターン光が透過又は半透過する物体でもよく、その場合には撮像装置２は透過光を撮像する位置に配置することになる。作業用のロボットハンドは図示を省略しているが、作業領域の省スペース化が期待される場合は、計測用のロボットアーム上に照明装置１や撮像装置２が搭載され、一体化された構成とすることが望ましい。また、作業用のロボットアーム上に照明装置１と撮像装置２の双方が搭載される構成としてもよい。
【００２５】
図２は三次元計測システムのブロック回路構成図であり、照明装置１、撮像装置２、計測装置３から構成されている。照明装置１は計測対象物Ｗに対して、パターン投影法に基づいて空間符号化法で用いる二次元パターン光を投影する。照明装置１は照明ユニット１１を内蔵し、照明ユニット１１は光源ユニット１２、照明光学系１３、表示ユニット１４、投影光学系１５から成っている。また、不均一補正処理部１６の出力が表示ユニット１４、光源制御部１７に接続され、光源制御部１７の出力は光源ユニット１２に接続されている。
【００２６】
不均一補正処理部１６は照明装置１が投影する二次元パターン光の投影面での不均一性を補正する。計測装置３が生成する二次元パターン画像を不均一補正処理部１６で補正し、投影光学系１５を介して計測対象物Ｗに二次元パターン光を投影することを想定している。しかし、計測装置３等の外部からのデータ入力以外に、パターン内部ロジックで生成することや、予め定められたパターンを内部メモリから読み出して使用する構成としてもよい。光源制御部１７は不均一補正処理によって低下したピーク輝度を調節する。
【００２７】
撮像装置２は計測対象物Ｗを撮像する撮像光学系２１と撮像デバイス２２から成る撮像ユニット２３を有する。撮像デバイス２２の出力はＡＦＥ（アナログフロントエンド）２４、カメラ画像処理部２５を経て不均一補正処理部２６に接続されている。撮像装置２は計測対象物Ｗの反射光を二次元パターン光として、撮像することを想定しているが、透明、半透明な物体に対しては透過光であってもよい。
【００２８】
撮像装置２で撮像した二次元パターン光は計測対象物Ｗの形状や表面凹凸の影響でパターン光のエッジに対して位置ずれが生ずるので、計測装置３はこの位置ずれを基に距離計測を行う。
【００２９】
計測装置３において撮像装置２の不均一補正処理部２６の出力は距離計測処理部３１に接続され、距離計測処理部３１の出力は計測制御部３２に接続されている。計測制御部３２の出力はパターン画像生成部３３を経て、照明装置１の不均一補正処理部１６に接続されている。また、距離計測処理部３１の出力はロボットアームの制御信号を送信する三次元計測処理部３４にも接続され、記憶領域３５の出力が三次元計測処理部３４に接続されている。
【００３０】
距離計測処理部３１は撮像した二次元パターン光を基に計測対象物Ｗの距離情報を算出し、パターン投影法を利用して奥行き方向の距離を計測する。撮像した二次元パターン光の幅方向、高さ方向の距離情報と合わせて、計測対象物Ｗの三次元情報を得る。距離計測は撮像装置２で生成された撮像画像を基に行われるが、光学系の位置ずれを考慮する際に、位置ずれ補正までを適用した画像を用いる場合と、適用前画像と合わせて位置ずれ量をパラメータとして使用する２つの場合が想定される。
【００３１】
計測制御部３２は計測に必要な二次元パターン画像の生成指示や、ロボットアームが保持する位置関係情報を基に、計測対象物Ｗ、照明装置１、撮像装置２の位置関係を把握する位置関係情報取得を行う。照明装置１と撮像装置２の位置関係情報とは、任意に設定した絶対座標における位置・姿勢のことであり、計測対象物Ｗの位置関係情報とは、その絶対座標における位置のことである。絶対座標におけるロボットアームの位置・姿勢は、ロボットアームのキャリブレーションにより取得できる。絶対座標の基準位置は任意に設定でき、その座標系により三次元計測システムのワークエリア内の座標が特定できる。
【００３２】
パターン画像生成部３３は計測制御部３２からの指示によって、投影する二次元パターン画像を生成する。三次元計測処理部３４は計測対象物Ｗの三次元形状、位置及び姿勢計測を行う。距離計測処理部３１で計測した距離情報と二次元パターン画像を基にモデルフィッティングを行い、計測対象物Ｗの位置、姿勢を計測する。計測の結果得られた三次元形状、位置、姿勢の各情報は、部品のピッキングや自動組み立てを行うためのロボットアームの制御に用いられる。
【００３３】
記憶領域３５は三次元計測処理部３４でモデルフィッティングに用いるモデルデータを格納し、三次元ＣＡＤの設計データや予め複数方向から撮影した画像データから生成された三次元のモデル情報が格納されている。モデルデータは計測対象物Ｗに合わせて外部からデータを供給し、更新することが可能である。
【００３４】
照明装置１、撮像装置２は、ロボットアーム上に固定搭載されていることを想定しているため、ロボットアームの位置・姿勢が分かれば、照明装置１と撮像装置２の位置・姿勢が算出でき、計測装置３により計測対象物Ｗの高精度な三次元計測を実現できる。
【００３５】
図３は三次元計測処理の動作フローチャート図である。ステップＳ１０１では、計測装置３と照明装置１、撮像装置２との通信を確立し、双方の装置の位置関係を較正するキャリブレーションを行う。位置関係の精度は最終的な計測精度に影響を与えるため、三次元計測処理時に用いる位置関係情報と同一の位置関係情報を用いてキャリブレーションすることが望ましい。
【００３６】
しかし、キャリブレーション時と三次元計測時で照明装置１及び撮像装置２それぞれの位置関係が異なる場合、例えばロボットアームを動作させながら三次元計測処理を行う場合には、動き予測を加味した位置関係情報を用いることで対応する。
【００３７】
ステップＳ１０２では、照明装置１側が投影した二次元パターン光の投影面内での輝度の不均一性を補正するために、不均一補正処理を行う。ステップＳ１０３では、ステップＳ１０２で行った不均一補正処理によって低下したピーク輝度を補償するための光源光量の調節を行う。
【００３８】
ステップＳ１０４では、計測対象物Ｗに二次元パターン光を投影する。空間符号化法を用いる場合は複数枚の二値パターン画像を投影する。ステップＳ１０５では、計測対象物Ｗから反射された二次元パターン光を撮像装置２で撮像する。撮像する二次元パターン光は、計測対象物Ｗの形状や表面凹凸の影響でパターンのエッジずれが生じている。ステップＳ１０６では、撮像装置２側の影響で生ずる輝度変化及びパターンエッジの位置ずれを、取得した二次元パターン画像に対し撮像装置２の不均一補正処理を適用して補正する。
【００３９】
ステップＳ１０７では、ステップＳ１０６で補正処理した二次元パターン画像を基に、計測装置３は計測対象物Ｗのそれぞれの測定点における奥行き方向の距離情報を取得して距離計測処理を行う。二次元パターン画像の幅方向と高さ方向の情報と合わせて、このステップＳ１０７で計測対象物Ｗの三次元情報を取得する。
【００４０】
空間符号化法においては、縞の周期が異なる複数枚の画像を用いた画像の取得を行うことが一般的である。また、特徴量となるエッジ位置の取得には、２値パターンの周期が反転したネガポジ画像を合わせて使用することで計測を行う。これら複数の補正処理された撮像画像を基に奥行き方向の距離情報を取得する。
【００４１】
ステップＳ１０８では三次元計測処理部３４で三次元計測処理を行う。ステップＳ１０７で取得した奥行き方向の距離情報と二次元パターン画像を基に、既知の計測対象物Ｗのモデルデータを使用したモデルフィッティングを行い、計測対象物Ｗの位置、姿勢を計測する。また、この計測に合わせて、これまで取得、保持している三次元計測情報を更新する。
【００４２】
ステップＳ１０９では、取得・更新した三次元の計測情報をロボットのアーム制御で用いるため、三次元計測処理部３４から図示しないアーム制御を行う装置又は制御部に送信する。ステップＳ１１０では、計測処理を継続するか否かを判断する。ロボットアームの位置に変動がないなど、投影や撮像の条件を変えた画像取得が不要の場合を想定して、計測処理の継続が必要か否かを判断する。計測処理を継続する場合にはステップＳ１０２の照明装置１の不均一補正処理部１６による不均一補正処理に進み、継続しない場合には計測処理を終了する。
【００４３】
以上の処理プロセスにより、ロボットアームの制御に必要な三次元形状、位置、姿勢の各情報を取得し、部品ピッキングや自動組み立てを行うための制御が行われる。
【００４４】
図４は実施例１における照明ユニット１１の構成図であり、照明ユニット１１は光源ユニット１２、照明光学系１３、表示ユニット１４、投影光学系１５が順次に配列されて構成されている。
【００４５】
光源ユニット１２は単数又は複数のＬＥＤやＬＤなどで構成される光源デバイス４１と、光源デバイス４１を駆動するための光源駆動回路４２から構成されている。ＬＥＤやＬＤでは十分な光量が得られない場合には、ハロゲンランプや水銀ランプを光源として使用し、照明装置１内に内蔵又は外部光源装置から光ファイバなどで光を供給するなどの形態とすることもできる。
【００４６】
光源駆動回路４２は光源制御部１７からの指示に従い、光源変調信号を基に強度を変調した駆動信号を生成する。また、光源駆動を時間制御する場合には、ＰＷＭ信号を基に駆動信号を生成する。光源にＬＥＤやＬＤが用いた場合には、光出力制御を安定化やデバイス破壊を避けるために、定電流駆動が採用される。
【００４７】
照明光学系１３は拡散板４３、偏光板４４から成り、拡散板４３は光源デバイス４１からの光を均一化し、光源デバイス４１の発光面の輝度むらを抑制し、輝度を面内で均一に保つ役割を果たす。偏光板４４は空間変調器４５である透過型のＴＦＴ液晶パネルの前後で偏光状態の制御を行う。拡散板４３と偏光板４４によって照明光学系１３が構成されている。
【００４８】
表示ユニット１４は表示デバイスとしての空間変調器４５、空間変調器駆動回路４６から成る。空間変調器４５は二次元映像信号を画素のマトリクスによって形成され、階調処理が可能な透過型のＴＦＴ液晶パネルが使用され、空間変調器駆動回路４６により駆動されている。空間変調器４５で二次元パターン光のパターンを表現し、ＴＦＴ液晶パネルの解像度、画素サイズ、画素ピッチなどが二次元パターン光の精度に直接影響を与える。空間変調器４５としては、ＴＦＴ液晶パネル、ＬＣＯＳパネル、走査型のＭＥＭＳデバイスなどが用いられる。空間変調器４５は透過型に限定されるものではなく、ＭＥＭＳミラーを用いたＤＭＤや反射型のＬＣＯＳ等、光源からの光を反射して用いる構成であってもよい。
【００４９】
投影光学系１５は偏光板４７、投影レンズ４８から成り、投影される二次元パターン光の投影面周辺部でのＭＴＦの低下、被写界深度特性つまりぼけの特性、結像の位置ずれを生じさせるディストーションなどが、算出する距離精度に影響を与える要因となる。ここでは、投影レンズ４８は模式的に１枚のレンズで表しているが、実際には複数枚のレンズ群から構成されている。
【００５０】
図５は照明装置１のブロック回路構成図である。計測装置３からの入力を受信するパターン画像入力部５１の出力はセレクタ５２に接続され、不均一補正処理部１６を経て光源制御部１７、表示ユニット１４に接続されている。また、パターン画像生成部５３の出力がセレクタ５２に接続されている。更に、光源制御部１７はピーク輝度検出部５４、光源補正量算出部５５から構成されている。
【００５１】
パターン画像入力部５１は計測装置３から送信されるパターン画像を受信し、画像入力機能と合わせて、後述する補正処理が適用できるフォーマットへの変更機能をも有する。物理的な入力Ｉ／Ｆは計測に要する時間の規定、空間変調器４５の解像度（画素数）及び階調数に適したものが選択されることが望ましい。
【００５２】
セレクタ５２はパターン画像入力部５１を経由して得られる外部生成されたパターン画像と、パターン画像生成部５３で内部生成されるパターン画像の何れかを選択し、利用するシーンや投影するパターンによって切換えて使用することができる。
【００５３】
パターン画像生成部５３は表示ユニット１４で用いるパターン画像を内部で生成する。照明装置１では、外部からの画像入力受け付けの他に、予め定められたパターン光を照明装置１の内部で生成して、選択的に利用できるようにされている。
【００５４】
不均一補正処理部１６において、投影されるパターン画像のピーク輝度のばらつきと空間変調器４５自体に入力する信号値が０の場合の輝度である黒レベルのばらつきの双方を、空間変調器４５が持つ階調表現によって補正処理する。補正処理された投影用パターン画像のデータは、空間変調器駆動回路４６を経て空間変調器４５上の二次元マトリクスに対応した画素上で再現される。
【００５５】
光源制御部１７のピーク輝度検出部５４は不均一補正処理適用後のパターン画像内のピーク輝度を検出し、入力又は生成されたパターン画像のピーク輝度が不均一補正処理によって、どの程度低下したかを検出する。光源補正量算出部５５は低下したピーク輝度を光源ユニット１２の発光量を増加することで、補償する際に必要となる光源光量を算出する。その値を基に光源ユニット１２を発光し、照明光学系１３、空間変調器４５、及び投影光学系１５を経由して、最終的には計測対象物Ｗ上に二次元の投影パターンが結像される。
【００５６】
以上の構成及び処理プロセスによって、三次元計測における計測精度を向上する輝度むらやエッジの位置ずれが少ない二次元パターン光を、照明装置１から投影することができる。
【００５７】
図６は照明装置１のハードウェア構成を示すブロック回路構成図である。バス６１により、照明ユニット１１、ＲＡＭ６２、ＲＯＭ６３、ＣＰＵ６４、Ｉ／Ｆ６５、不均一補正ＬＳＩ６６が接続されている。
【００５８】
ＲＡＭ６２はＣＰＵ６４が各種の処理を行うために用いるワークエリアや、Ｉ／Ｆを介して外部の計測装置３から受信したデータを一時的に記憶するためのエリア等を有する。ＲＯＭ６３は照明装置１における各種制御をＣＰＵ６４に実行させるためのプログラムやデータの他、後述の不均一補正処理で用いる補正用テーブルの値が格納されている。
【００５９】
ＣＰＵ６４は照明装置１の初期設定を始め、各種デバイスの制御を行うプログラムを実行する。Ｉ／Ｆ６５は計測装置３のインタフェースである。不均一補正ＬＳＩ６６は後述する輝度補正処理及び位置ずれ補正処理機能を有し、専用集積回路であるＡＳＩＣを想定しているが、信号処理プロセッサであるＤＳＰによってソフト的に機能を記述し実現する構成でもよい。
【００６０】
計測対象物Ｗの奥行き方向の距離情報を得るために、二次元パターン光を用いる手法はパターン投影法と呼ばれる。このパターン投影法の内、ここで採用する空間符号化法では、周期と位相の異なる複数の二値パターンを投影する。投影するパターン光は、例えば白黒（濃淡）の２階調で表現した二値パターン、同様の二値パターンの白黒の周期が反転した二値パターンなどである。
【００６１】
この二次元パターン光を計測対象物Ｗに投影すると、計測対象物Ｗの表面凹凸や形状に依存してパターンの不連続点や歪みが観測できる。二値パターンでは、この不連続点がエッジの位置ずれに相当する。二値パターンを用いた場合には、三角測量の原理を利用してエッジの位置ずれから奥行き方向の距離を推定する。空間符号化法では、白黒パターンを二値情報として符号化する。符号化方法が異なる、つまり白黒パターンの並び（周期）が異なる投影像を複数回撮像し、それらの画像から計測対象物Ｗの奥行き方向の距離を推定する。
【００６２】
奥行き方向の距離を算出する際には、エッジの位置情報を用いるため、奥行き方向の距離精度は、撮像画像中のエッジの位置精度に大きく影響される。計測装置３の距離計測処理部３１で行われるエッジ位置の判定は、２階調の輝度差によって行われる。二値パターンのエッジ位置精度は、輝度の変化に対して敏感で、奥行き方向の距離を計測する際の精度に影響を与える重要なパラメータとなる。
【００６３】
エッジ位置の近傍の階調が反転する過渡的な領域では、輝度が連続的に変化していると考えられる。二次元パターン光の意図しない輝度変化、所謂輝度むらはこの過渡的な変化経路や階調が飽和する位置を無秩序に変化させる。そのため、この輝度変化はエッジ位置の判定精度を低下させ、即ち真値との誤差を拡大し、最終的には奥行き方向の距離精度を低下させることになる。
【００６４】
図７は撮像装置２のブロック回路構成図である。撮像装置２は前述したように撮像ユニット２３、ＡＦＥ２４、カメラ画像処理部２５、不均一補正処理部２６から成っている。撮像デバイス２２は二次元像を光電変換によって電気的な物理量に変え、ＣＣＤやＣＭＯＳのイメージセンサが用いられる。結像されたパターン画像は撮像デバイス２２内で光電変換され、最終的には電圧の情報となる。撮像画像としてカラー画像が所望される場合に、ここでは単板のイメージセンサの各画素にカラーフィルタが取り付けられたＢａｙｅｒ配列のセンサを想定している。
【００６５】
撮像ユニット２３の撮像デバイス２２の映像出力は、ＡＦＥ２４のＣＤＳ（二重相関サンプリング回路：Correlated double sampling）７１に接続されている。更に、撮像デバイスの映像出力はアナログアンプ７２、ＡＤ変換器７３を経てカメラ画像処理部２５に接続されている。また、ＡＦＥ２４において、タイミングジェネレータ７４の出力は、Ｈ／Ｖドライバ７５を経て撮像ユニット２３の撮像デバイス２２に接続され、更にタイミングジェネレータ７４の出力はカメラ画像処理部２５に接続されている。
【００６６】
ＣＤＳ７１は固定パターンのノイズを除去する。アナログアンプ７２はＣＤＳ７１でノイズ除去されたアナログ信号のゲインを調整する。ＡＤ変換器７３はアナログ信号をデジタル信号に変換する。最終段での出力が８ビットの場合に、通常は後段の処理を考慮して１０〜１６ビット程度に量子化されたデジタルデータに変換し出力する。変換されたセンサ出力データはＲＡＷデータと呼ばれ、ＲＡＷデータは後段のカメラ画像処理部２５で現像処理される。
【００６７】
タイミングジェネレータ７４は撮像デバイス２２のタイミング及び後段のカメラ画像処理部のタイミングを調整する信号を生成する。Ｈ／Ｖドライバ７５は撮像デバイス２２を駆動するための垂直同期信号及び水平同期信号を、センサ駆動に必要な電位に変換する。
【００６８】
カメラ画像処理部２５においては、ＡＦＥ２４のＡＤ変換器７３の出力のＲＡＭデータを黒補正部７６で受信する。黒補正部７６の出力は、ホワイトバランス補正部７７、デモザイキング処理部７８、γ補正部７９、デジタルフィルタ８０を経てＲＧＢデータとして、不均一補正処理部２６に送信されるようになっている。
【００６９】
黒補正部７６は単一画素処理の１つであり、光学的に遮光した黒補正データとＢａｙｅｒ配列の画素とで減算処理を行う。ホワイトバランス補正部７７は単一画素処理の１つであり、計測対象物Ｗを照明する照明の色温度によりＲＧＢのゲインを調整することによって、望ましい白色を再現する。具体的には、ホワイトバランス補正用データとの加算処理によって実現するが、単色の画像を取り扱う場合はこの処理は不要となる。
【００７０】
デモザイキング処理部７８はＢａｙｅｒ配列の画像データをＲＧＢ各色の全画素化を実現するための補間処理を行い、Ｂａｙｅｒ配列の各色フィルタで分解された画像に対して、周辺の同色や他色から注目画素の値を推測して補間処理する。ここでは、欠陥画素の補間処理も合わせて実現するが、撮像デバイス２２にカラーフィルタがなく単色の処理となる場合は、ホワイトバランス補正部７７と同様に処理は不要となる。
【００７１】
γ補正部７９は一般的な画像表示系の階調表現特性に合わせて、逆特性を加味する処理を実施する。高輝度部の階調圧縮や暗部処理によって、人間の視覚特性に合わせた階調変換を行う。本実施例では、マシンビジョンによる計測処理を目的とした画像取得のため、後段の計測処理に適した階調変換を行う。デジタルフィルタ８０は画像に含まれる高周波成分の抑制やノイズ除去及び解像感強調を実現する。
【００７２】
一般的なカメラ画像処理機能としては、ＲＧＢ信号をＹＣＣ等の輝度色差信号に変換する色空間変換や、大容量の画像データを圧縮する処理も含まれるが、本実施例ではＲＧＢデータを直接使用し、かつデータ圧縮を行わないものとする。また図示は省略しているが、撮像装置２の制御を行う撮像制御部が存在し、撮像デバイス２２の動作制御や、シャッタ速度、フレームレートやＲＯＩ（Region Of Interest）など動作タイミングの制御も合わせて行う。
【００７３】
不均一補正処理部２６においては、カメラ画像処理部２５から送信されたＲＧＢデータをバッファ８１で受信し、バッファ８１の出力は周辺減光補正処理部８２に接続されている。また、補正用テーブル８３の出力が周辺減光補正処理部８２、歪曲収差補正処理部８４に接続されている。周辺減光補正処理部８２の出力は歪曲収差補正処理部８４とセレクタ８５に並列して接続され、歪曲収差補正処理部８４の出力はセレクタ８５に接続されると共に、位置ずれ情報として計測装置３に出力されている。更に、セレクタ８５の出力は補正画像として計測装置３に出力されている。
【００７４】
バッファ８１はＲＧＢの色成分を持つ画素から成る画像データを格納する。周辺減光補正処理部８２は、撮像光学系２１の影響によって、撮像画像周辺部の光量（輝度値）が落ちることを補正する。歪曲収差補正処理部８４は同様に撮像光学系２１の影響によって周辺部の結像位置のずれを、撮像画像に対して補正処理する。ＲＧＢのカラー画像を取り扱う場合は、各色の歪曲収差である倍率色収差を補正する。
【００７５】
また、計測装置３内の距離計測処理部３１で、直接位置ずれを考慮した奥行き方向の距離計測を行う際に必要となる任意の画素の結像位置ずれ量を別途出力する。この結像位置ずれ量は歪曲収差補正の過程で算出される値である。
【００７６】
補正用テーブル８３は周辺減光補正処理部８２及び歪曲収差補正処理部８４で用いる空間的な固定変動値を補正値として格納している。設計値や工場出荷時の調整値を格納することを想定しているが、キャリブレーションによって取得した補正値の更新値を反映する構成としてもよい。
【００７７】
セレクタ８５は補正画像出力として、周辺減光補正処理適用後の画像か、歪曲収差補正処理を適用した画像の何れかを選択して出力する。
【００７８】
計測対象物Ｗからの反射光又は透過光であるパターン画像は、撮像デバイス２２面上に結像し二次元パターン画像として取得される。取得されたパターン画像は、ＡＦＥ２４を介してデジタルの画像に変換された後に、カメラ画像処理部２５でＲＧＢのカラー画像として再構成される。その後に、計測処理に適した輝度むらや結像位置ずれの少ない画像へと各種処理の適用によって補正され、補用後の画像が計測装置３に送られる。
【００７９】
以上の構成及び処理のプロセスによって、輝度むらや位置ずれの少ない二次元パターン画像を撮像装置２で取得、生成することができ、三次元計測における計測精度が向上する。
【００８０】
図８は照明装置１内の不均一補正機構のブロック回路構成図である。不均一補正処理部１６においては、画像バッファ９１は映像入力信号を受信し、その出力は輝度補正処理部９２を介して位置ずれ補正処理部９３、セレクタ９４及び光源制御部１７に接続されている。位置ずれ補正処理部９３の出力はセレクタ９４に接続され、表示ユニット１４に接続されている。
【００８１】
画像バッファ９１は画像データを格納し、輝度補正処理部９２は照明光学系１３、投影光学系１５、及び空間変調器４５で生ずる輝度の変化を補正し、投影面上での輝度むらを抑制する。
【００８２】
位置ずれ補正処理部９３は歪曲収差の影響によって生ずる投影面上での結像位置ずれを抑制する。セレクタ９４は補正処理されたパターン画像として、輝度補正処理適用後の画像と、輝度補正処理適用画像に対して更に位置ずれ補正処理を適用した後の画像の何れかを選択し出力する。
【００８３】
不均一補正処理部１６に入力された映像信号は、画像バッファ９１を介して輝度補正処理部９２に送られ、輝度むらの補正が実施される。入力信号への適用と合わせて光源光量調節用に補正値を送る。輝度補正後に、位置ずれ補正適用が必要な場合は補正処理を適用した後に表示ユニット１４に送られ、空間変調器４５上で画像を形成する。形成された画像は投影光学系１５を介して計測対象物Ｗに投影される。
【００８４】
図９は光源光量調節機構の説明図である。図９（ａ）は空間変調器４５上の輝度値を示し、階調制御を用いた輝度補正を適用した例、図９（ｂ）は投影面上の輝度を、光源光量調節による光量アップの制御を組み合わせた例を示している。
【００８５】
図９（ａ）の横軸は任意の１ラインの座標を、縦軸は横軸に示された画素に対応する空間変調器４５上での輝度値（階調値）を示している。（ｂ）の横軸は（ａ）に対応する任意の１ラインの座標を、縦軸は計測対象物Ｗの投影面上での輝度の大きさを示している。
【００８６】
輝度補正に際して、先ず１ライン中の輝度変化を確認し、同一の輝度が所望される値に対して、投影面上で最も輝度が小さくなる画素の輝度値を均一性が補償できる最大の輝度値として設定する。次に、最大の輝度値よりも投影面上では明るくなる画素に対して、投影面上で均一となるように前ステップで把握した最大の輝度値まで下げることによって、均一性を補償する。表示輝度の低下は空間変調器４５の持つ階調表現機能を用いて補償される。
【００８７】
ここでは、空間変調器４５が８ビットの階調を持つものと仮定する。空間変調器４５内では、８ビットの階調で表現できる最大値である２５５の値つまり図９（ａ）のＣで示される輝度値で二値パターンの内の輝度の高いパターンを形成する。投影面では各種光学系などの影響によって、（ｂ）のＣ’に示されるように１ラインの中では輝度が変化する。
【００８８】
この内、最も輝度が最も低下する画素位置の輝度を、空間変調器４５で表現できる最大輝度値つまり図９（ｂ）のＤ’として設定する。投影面上でＤ’の輝度を実現するためには、空間変調器４５上では（ａ）のＤのような輝度分布となる。中央部の輝度値を２５５（Ｃ）から２００（Ｅ）に下げることで投影面上では均一なラインを投影することが可能となる。
【００８９】
輝度変換による補正後の最大輝度値は、投影面上ではＦからＤ’へと下がるため、輝度のダイナミックレンジは低下する。ここでは説明の簡略化のため、任意の１ラインを取り上げたが、実際にはパターン画像を構成する全ての画素を対象とした処理を行う。
【００９０】
光源光量調節は投影面上で均一ながら低下した輝度Ｄ’を光源の光量をアップさせることで実現する。図９（ｂ）における輝度Ｄ’をＦに引き上げることがそれに相当する。低下した輝度のダイナミックレンジを補うために光源光量を増加し、本来空間変調器４５で表現可能な最大輝度値であるＣと同等の輝度Ｆを均一に投影させることができる。
【００９１】
ここまでは、最大輝度が均一となる補正の概念について説明したが、空間符号化法においては、黒レベルの均一性も重要となる。黒レベルの輝度分布も輝度の値は異なるものの、任意の１ラインの座標上ではばらつくことになる。このばらつきを抑制するために、今度は黒レベルのライン上で最も高い輝度に合わせて、低い輝度の値を階調表現によって上げることで均一性を補償する。
【００９２】
空間変調器４５で０として表現される黒レベルは、投影面上では図９（ｂ）のＧで表される輝度分布となる。これを投影面上で均一となるＨ’の値とする場合に、空間変調器４５上では（ａ）のＨの輝度分布を再現すればよい。そのとき、周辺部では輝度値を０からＩの値への引き上げることで、投影面上では均一なラインを投影することが可能となる。
【００９３】
輝度のダイナミックレンジはピーク輝度、黒レベル双方の補正処理によって図９（ｂ）のＪに示すように低下する傾向にある。しかし、光源光量の調節によって十分な輝度が確保される場合は、ピーク輝度と黒レベルＫの差であるコントラスト差であるダイナミックレンジはＬとなり、十分な値を確保することができる。また、照明装置１の電気系のノイズの影響を受け難い均一なパターンの投影により、位相が反転するパターンの交点であるエッジ位置の推定精度を上げることになる。
【００９４】
このように、照明装置１側で輝度補正を実施する際に、空間変調器４５の階調制御と光源光量制御の組み合わせが有効であることを説明した。その結果、ダイナミックレンジを確保した二次元パターン投影が実現でき、２階調の輝度差、又は２階調間の輝度変化の過程からエッジの位置を推定する空間符号化においては特に有効となる。更には、黒レベルの補正も合わせて行うことで、ノイズの影響を受け難くし、結果として距離計測精度の向上を実現することができる。
【００９５】
図１０は照明装置１内の不均一補正処理の動作フローチャート図である。ステップＳ２０１では、投影するパターンが単色か、複数色から成るカラーパターン画像かを判断する。単色の場合はステップＳ２０４に、カラーパターンの場合はステップＳ２０２にそれぞれ進む。
【００９６】
ステップＳ２０２では、構成される画素の情報を各色プレーン、色ごとに分離する。なお、ここではＲＧＢの三原色で分離しているが、補正用テーブル自体が他の色のずれ量を示す補正データである場合は、ＲＧＢ以外の色に分離する構成でもよい。
【００９７】
ステップＳ２０３では、照明光学系１３、投影光学系１５、空間変調器４５で生ずる輝度の変化を補正し、投影面上での輝度むらを抑制する輝度補正処理を行う。処理の詳細については図１３を用いて説明する。
【００９８】
ステップＳ２０４では、輝度補正処理に続いて位置ずれ補正処理を行うか否かを判断する。計測装置３内の距離計測処理部３１においては、補正処理適用後の画像を対象に距離計測を行う場合と、輝度補正処理のみ適用された画像と位置ずれの情報を基に距離計測を行う場合とが想定される。位置ずれ補正処理を行う場合はステップＳ２０５に、行わない場合には処理を終了する。
【００９９】
ステップＳ２０５では、歪曲収差の影響によって投影面上での結像位置ずれを抑制する位置ずれ補正処理を行った後に処理を終了する。処理の詳細については後述する。なお、カラーパターンの場合は色結合を行ってから処理を終了する。
【０１００】
図１１は輝度補正機構のブロック回路構成図である。不均一補正処理部１６の輝度補正処理部９２において、更新情報を受信する補正値更新部１０１の出力は輝度むら補正用テーブル１０２、補正値選択部１０３、補正値統合部１０４、補間処理部１０５を経て補正値算出部１０６に接続されている。また、輝度むら補正用テーブル１０７の出力は補正値選択部１０８を介して補正値統合部１０４に接続されている。補正値算出部１０６には局所変動補正用テーブル１０９の出力も接続されており、補正値算出部１０６の出力は補正処理部１１０に接続されると共に、ピーク輝度検出部５４に接続されている。補正処理部１１０には画像バッファ９１の出力も接続され、補正処理部１１０の出力は位置ずれ補正処理部９３に接続されている。
【０１０１】
補正値更新部１０１は光源ユニット１２の輝度むらの補正値を更新し、通常では光学系で生ずる輝度むらは固定値となる。しかし、光源デバイス４１が複数個で構成される場合は、光源光量を増大させる際に、選択する光源デバイス４１の個数変化や各光源デバイス４１の特性ばらつきが所望の光量において既定値からずれることが想定され、これらを考慮して補正値を更新する。黒レベル補正についても同様であり、以後の説明では省略する。
【０１０２】
参照テーブルである輝度むら補正用テーブル１０２は、光源ユニット１２及び照明光学系１３に関わる輝度むらを補正するための補正値を格納し、代表点の座標（画素のアドレス）に対応する変換後の輝度値を算出するための補正値を格納する。輝度むら補正用テーブル１０２はカラーパターンの場合に、容量削減のため特定色の変換後の輝度値又は輝度値を算出するための補正値と、特定色を除く他色はこの特定色を基準とした差分を格納している。カラー、単色何れの場合も容量削減のため、空間変調器４５の各画素に対応する輝度の補正値ではなく、サンプリングした特定の画素つまり代表点に対応した補正値を格納している。
【０１０３】
補正値選択部１０３は補正値を選択し、空間変調器４５の代表点を決定し、代表点上の変換されるべき輝度値（輝度の比の値）を輝度むら補正用テーブル１０２から読み出す。補正値選択部１０３では、代表点に対応する輝度変換値である補正値を読み出すことになる。
【０１０４】
補正値統合部１０４は補正値選択部１０３及び補正値選択部１０８で選択された補正値を統合し、光学系では連続した滑らかな輝度変化となることを利用して、後段の補間処理によって代表点間の各画素における補正値を算出する。
【０１０５】
補間処理部１０５は補正値統合部１０４で統合された補正値を基に、輝度変換によって補正される輝度値又は輝度値を算出するための補正値をラグランジュ（Lagrange）補間により演算する。ラグランジュ補間式を用いた補間演算の詳細については後述する。
【０１０６】
補正値算出部１０６はラグランジュ補間によって算出した各画素の補正値と局所変動補正用テーブル１０９から読み出した補正値を統合する。ここで得られた補正値を基に、入力されたパターン画像に対して補正処理を適用する。各画素の補正値はベースとなる入力データに対する割合として算出される。本来のピーク輝度がどの程度まで下がるかを判断するための値として、ピーク輝度検出部にも送る。
【０１０７】
輝度むら補正用テーブル１０７は投影光学系１５に関わる輝度むらを補正するための補正値を格納している。補正値選択部１０８は投影光学系１５の輝度むらを補正するための補正値を選択し、その読み出し方は補正値選択部１０３と同様である。
【０１０８】
局所変動補正用テーブル１０９は空間変調器４５の画素間の特性変動を補正するための補正値を格納している。空間変調器４５の画素間の変動は小さいものの、高精度の三次元計測を実現する上で無視し得ない値となる場合もある。空間変調器４５は光学系と異なり画素間の関連が薄いため、上述した代表点の指定とその間を補間処理によって補う構成は取ることができない。従って、空間変調器４５の全ての画素、又は特に値の異なる画素に対して、アドレス座標（ｘ，ｙ）と補正値をペアにして格納する構成としている。
【０１０９】
補正処理部１１０は補正値算出部１０６で得られた補正値を基に、入力されたパターン画像の輝度むらを補正する。補正値が入力値に対する比で表せる場合は、入力データに対して補正値を乗算し、最終的な輝度値を決定し、補正処理は全ての画素に対して適用される。
【０１１０】
このように輝度補正処理部９２では、光源ユニット１２、照明光学系１３、投影光学系１５の各補正値を統合し、ラグランジュ補間によって代表点以外の画素における輝度むら補正の補正値を演算する。その後に、局所変動補正用テーブル１０９の値と統合して最終的な各画素の輝度むらを補正するための補正量を得る。得られた補正量を基に、空間変調器４５の全画素に対して輝度むらの補正を適用することで、ピーク輝度、黒レベルとも計測対象物Ｗ上の投影面で均一となるパターン投影を行う。
【０１１１】
図１２はラグランジュ補間曲線のグラフ図である。図１２（ａ）はラグランジュ多項式の三次補間式で表される曲線の他、比較用の補間曲線及び直線を示している。軸上の補間点ｘは画素間隔で正規化した値であり、波線で示すＭは線形補間（一次補間）の直線、一点鎖線で示すＮは三次補間曲線の中でも尖鋭度の高いバイキュービック（bicubic）補間曲線、実線で示すＯは対象のラグランジュ補間曲線である。周囲の参照点と新たなポイントである補間点ｘにおける補間値ｙの関係式は、それぞれ次式の定義する数式で表される。なお、補間演算の概念については後述する。
【０１１２】
線形補間直線（リニア、周囲４点から直線補間）
［０≦ｘ≦１］ ｙ＝１−ｘ ・・・（１）
［１≦ｘ≦２］ ｙ＝０ ・・・（２）
バイキュービック補間曲線（周囲１６点から双三次補間）
［０≦ｘ≦１］ ｙ＝１−２ｘ2＋ｘ3 ・・・（３）
［１≦ｘ≦２］ ｙ＝４−８ｘ＋５ｘ2−ｘ3 ・・・（４）
ラグランジュ補間曲線（周囲１６点から双三次補間）
［０≦ｘ≦１］ ｙ＝(１／２)(ｘ−１)(ｘ＋１)(ｘ−１)
＝１−(１／２)ｘ−ｘ2＋(１／２)ｘ3 ・・・（５）
［１≦ｘ≦２］ ｙ＝−(１／６)(ｘ−３)(ｘ−２)(ｘ−１)
＝１−(１１／６)ｘ＋ｘ2−(１／６)ｘ3・・・（６）
【０１１３】
図１２に示すように、同じ双三次補間曲線であるバイキュービック補間曲線Ｎと比べて、ラグランジュ補間曲線Ｏは線形補間に近いカーブを描く曲線となっている。これは画像に対して、この補間曲線を適用した補間処理を行った場合には尖鋭度が低くなる、つまりぼけた画像になることを示し、バイキュービック補間曲線Ｎとして有名なｓｉｎｃ関数に近い軌跡を描く。
【０１１４】
図１２（ｂ）は画像に対して適用した際の尖鋭度と対象となる曲線と線形補間直線とに囲まれる部分の面積との関係を示している。ここでは、例としてバイキュービック補間曲線を示し、斜線で示すＰは各軸と線形補間直線とに囲まれる部分で、面積は０．５である。
【０１１５】
これに対してバイキュービック補間曲線Ｎは補間点ｘが１までの間では直線より上に、１と２の間では直線より下に軌跡を描く。このとき、０≦ｘ≦１の範囲で曲線と直線に囲まれる部分の面積をＱ、１≦ｘ≦２の範囲で曲線と直線に囲まれる部分の面積をＲとすると、それぞれの面積は各区間内の定積分として求めることができる。
【０１１６】
以下にバイキュービック補間曲線Ｎとラグランジュ補間曲線Ｏにおける面積の計算式とその値を示す。
【０１１７】
バイキュービック補間曲線（周囲１６点から双三次補間）
［０≦ｘ≦１］
【０１１８】
［１≦ｘ≦２］
【０１１９】
ラグランジュ補間曲線（周囲１６点から双三次補間）
［０≦ｘ≦１］
【０１２０】
［１≦ｘ≦２］
【０１２１】
この結果から分かるように、バイキュービック補間、ラグランジュ補間は、それぞれ面積ＱとＲは同じ面積となる。
【０１２２】
面積Ｑ及びＲの値が大きいほど、画像に対する補間処理においては尖鋭効果を生む結果となる。逆に、座標変換時の補間処理のように連続性が求められる処理においては、数値が大きいほど変換誤差が大きくなる傾向にある。何れの曲線、直線もｘ＝１に変曲点を持つが、三次曲線では比較的滑らかに繋がる。
【０１２３】
線形補間直線は変換誤差の点では理想的に見えるが、変曲点による不連続さによって変換誤差が局所的に大きくなる傾向がある。総じて、三次曲線を含めた変曲点を滑らかに繋ぐ、自由曲線の方が変換の誤差が小さくなる。
【０１２４】
以上２つの傾向により、変換誤差が小さくなるのは線形補間直線の値に近く、かつ変曲点において滑らかな繋がりを持つ曲線となる。この場合に、ラグランジュ補間曲線は理想的である。
【０１２５】
なお、他の三次補間曲線は尖鋭度及びｘ＝０のときの値によって、次のように分類できる。
【０１２６】
Bicubic,sinc： 尖鋭度 高、ｘ＝０のときｙ＝１
Lanczos，Hermit： 尖鋭度 中、ｘ＝０のときｙ＝１
Michell，Bell，B-Spline： 尖鋭度 小、ｘ＝０のときｙ≠１
【０１２７】
このように数ある補間曲線の内で、光学系の補間処理に用いて変換精度を最も小さくできる傾向を示す曲線は、ラグランジュ補間曲線である。
【０１２８】
シミュレーションの結果として、レンズの光学設計値を用いた各種補間曲線採用時の座標変換誤差を、代表点の間隔を変えたもので比較すると、次表のようになる。
【０１２９】
補間曲線（直線） 代表点間隔 変換誤差（１０-4画素間隔）
平均値 最大値
線形（リニア） ３２×３２ ３８９ １３９７
６４×６４ １６１３ ５２０４
バイキュービック ３２×３２ １２７６ ８１７４
６４×６４ ３１２６ １７８２６
スプライン ３２×３２ ７６ ２５３
６４×６４ ２９２ ９２９
ラグランジュ ３２×３２ ３ ３４
６４×６４ ３６ １６８
多項式（１２次） − ３９ １３９
【０１３０】
この表に示すように、サンプリング間隔である代表点の間隔を広げると、急激に変換精度が低下するのが通常であるが、ラグランジュ補間曲線においては、変換誤差を小さくした状態を維持していることが明らかである。ここでは比較対象として、１２次の係数を持つ多項式近似による結果も付記しているが、６４画素間隔、つまり通常使用できる範囲の４倍程度の間隔でも、この多項式近似と同程度の変換誤差を実現できる。
【０１３１】
このように、座標変換時の補間処理にラグランジュ補間曲線を採用することで、同一の代表点間隔であれば圧倒的に変換誤差を小さくすることが、また同一の変換誤差であれば代表点間隔を大きく広げることが可能である。その結果、補正用テーブルサイズの削減、即ちメモリ容量を大幅に少なくすることができると同時に、メモリアクセス頻度も少なくなることから、設計の自由度、回路規模の低減、ひいては消費電力を下げ、小型化に寄与することが可能となる。
【０１３２】
補間位置における新たな画素値を算出する補間処理として、三次補間の概念を説明する。ここでは画素値をアドレス座標として、後述する位置ずれ補正の座標変換を例とする。輝度変換の場合の画素値は輝度値又は輝度比となる。
【０１３３】
二次元座標系における表示中心座標（ｘ０，ｙ０）を原点とするレンズの歪曲収差情報、色収差情報及び解像度情報により、二次元座標系における各画素のそれぞれの位置における位置ずれ量を求める。即ち、座標変換処理は位置ずれ量だけ、補正するためのｘ軸方向、ｙ軸方向のそれぞれの座標変換量を画素毎に求める。
【０１３４】
座標変換した各画素各色の位置と色情報を基に、二次元座標系における各画素の本来の位置の画素データつまりＲＧＢの各値を補間演算によって求める。補間演算においては、補間画素Ｓの座標（ｓｘ，ｓｙ）を指定し、先ず参照点と補間画素との正規化された距離ｐｘとｐｙが求める。その後に、得られた距離ｐｘとｐｙを用いた重み係数を各座標（ｘ，ｙ）において求める。その際に使用する三次関数は、前述した各三次式による補間曲線となり、バイキュービック補間であれば、前述の式（３）及び式（４）、ラグランジュ補間であれば式（５）及び式（６）が該当する三次補間式となる。
【０１３５】
ｘ、ｙのそれぞれの座標に対して上記三次式にｐｘとｐｙの値を代入し、参照点の重み係数を算出する。なお、ｐｘとｐｙは正規化を行っており、例えば参照点である代表点の間隔が１６画素おきであれば、１６画素の距離で正規化を行うことになる。
【０１３６】
補間画素Ｓの周囲の点線で囲まれた部分が正規化された１の領域とすると、ｙとｙ＋１の軸及びｘとｘ＋１の軸上に存在する４つの参照点と補間画素との距離ｐｘ、ｐｙは、共に１よりも小さくなる。
【０１３７】
逆に、その周りの１２画素は１と２の間の値とする。最近傍４画素の重み付け係数演算の際に使用する三次式は、バイキュービック補間であれば式（３）に、ラグランジュ補間であれば式（５）となる。外周１２画素の重み付け係数演算の債に使用する三次式は、バイキュービック補間であれば式（４）に、ラグランジュ補間であれば式（６）となる。これらの重み係数をｘ方向、ｙ方向それぞれ求めた後に、参照点の画素値とこれらｘとｙの重み係数を掛け合わせたものを周囲１６画素で加算した値が、補間画素における新たな画素値となる。
【０１３８】
なお、ここでは色収差補正を前提に各色で座標を求め、補間演算を行うことを想定しているが、歪曲収差のみ、つまり歪みの補正を行う場合も同様である。その場合は各色を分離せず、１つの画素として補間演算処理を行うことになる。
【０１３９】
本実施例の特徴である輝度変換の場合は、変換する値が座標ではなく輝度の変化量となる。補正値としては位置ずれ量の代りに、低下する輝度値（差分）、低下後の輝度値（絶対値）、又は低下前後の輝度値の比を使用する。
【０１４０】
図１３は実施例１における輝度補正処理の動作フローチャート図である。ステップＳ３０１では、光源光量変動に伴って、光源ユニット１２で生ずる輝度むらの補正値を変更する必要があるか否かを判断する。変更する必要がある場合はステップＳ３０２に、必要がない場合はスキップしてステップＳ３０４にそれぞれ進む。
【０１４１】
ステップＳ３０２では、更新された光源ユニット１２で生ずる輝度むらの補正値を取得する。ステップＳ３０３では、ステップＳ３０２で取得した更新値によって、照明光学系１３で生ずる輝度むらの補正値と統合して補正値を更新する。
【０１４２】
ステップＳ３０４では、光源ユニット１２及び照明光学系１３に関わる輝度むらを補正するための補正値を選択する。空間変調器４５の全画素の中から代表点を決定し、代表点上の変換される輝度値（実際には輝度比や輝度差）である補正値を、参照テーブルである輝度むら補正用テーブル１０２から読み出す。
【０１４３】
ステップＳ３０５では、投影光学系１５に関わる輝度むらを補正するための補正値を選択する。なお、ステップＳ３０４とステップＳ３０５は処理の順番が入れ換わってもよい。
【０１４４】
ステップＳ３０６では、光源ユニット１２、照明光学系１３、及び投影光学系１５で生ずる輝度むらを補正するための各補正値を統合する。ステップＳ３０７では、統合された補正値を基に、ラグランジュ補間による補間演算によって輝度変換後の輝度値を算出するための補正値を得る。算出の基となる補正値は代表点のものであり、代表点の間に存在する各画素の補正値をラグランジュ補間によって演算する。
【０１４５】
ステップＳ３０８では、空間変調器４５の画素間の特性変動を補正するための補正値を格納した局所変動補正用テーブル１０９から補正値を取得する。
【０１４６】
ステップＳ３０９では、ラグランジュ補間によって算出した各画素の補正値と局所変動補正用テーブル１０９から読み出した補正値を統合する。ここで統合した補正値は、光源制御部１７内のピーク輝度検出部５４においても使用する。
【０１４７】
ステップＳ３１０では、ステップＳ３０９で得られた補正値を基に、入力されたパターン画像の輝度むらを補正する。例えば、補正値が輝度変換処理の適用時の輝度の比を表す場合は、入力データに対して補正値を乗算し、最終的な輝度値を決定する。この補正処理は全ての画素に対して適用される。
【０１４８】
図１４は位置ずれ補正機構のブロック回路構成図である。位置ずれ補正処理部９３において、収差補正用テーブル１１１の出力は補正値選択部１１２を経て座標値算出部１１３に接続されている。座標値算出部１１３の出力は画素補間処理部１１４に接続すると共に、位置ずれ量情報として出力している。また、画素補間処理部１１４には輝度補正処理部９２の出力も接続され、画素補間処理部１１４の出力はセレクタ９４に出力されている。
【０１４９】
収差補正用テーブル１１１は歪曲収差を補正するためのものであり、参照点の座標に対応する変換後の座標値を算出するための補正値を格納している。カラーパターンの場合には、容量削減のため特定色の変換後の座標と、特定色を除く他色はこの特定色を基準とした差分を格納しているものとする。カラー、単色何れの場合も容量削減のため、空間変調器４５の各画素に対応する輝度の補正値ではなく、サンプリングした特定の画素に対応した補正値を格納している。
【０１５０】
補正値選択部１１２は位置ずれ補正のための補正値を選択し、表示する画素の代表点を決定し、代表点が変換される座標を参照テーブルである収差補正用テーブル１１１から読み出す。補正値選択部１１２では、代表点の元座標と対応する変換座標を算出するための補正値を読み出す。
【０１５１】
座標値算出部１１３は補正値選択部１１２で選択された補正値を基に、変換後の座標を演算するラグランジュ補間し、座標値算出部１１３ではラグランジュ補間式を用いた補間演算によって変換後の各座標を求める。
【０１５２】
画素補間処理部１１４は座標値算出部１１３で得られた変換後の各座標と、入力画像の各画素それぞれの輝度値を基に、補間位置における新たな輝度情報を算出する。なお、ここで云う補間位置は、空間変調器４５面上の画素の位置を示す。
【０１５３】
図１５は位置ずれ補正処理の動作フローチャート図である。ステップＳ４０１では、構成される画素の情報を各色プレーン、色ごとに分離する。なお、ここではＲＧＢの三原色で分離しているが、補正用テーブル自体が他の色のずれ量を示す補正データである場合は、ＲＧＢ以外の色に分離する構成でもよい。色分離を必要としない単色画像の場合は処理をスキップする。ステップＳ４０２では、座標変換用の代表点の補正値を取得する。
【０１５４】
ステップＳ４０３では、各画素の結像点がどの位置にずれるのか、又は理想的な結像点に導くためにどこに画素を配置すればよいのかを示す変換後の座標を算出する。ここでも、これまでと同様に、三次補間式としてラクランジュ補間を想定している。座標変換の詳細については後述する。
【０１５５】
ステップＳ４０４では、補間処理に必要な入力画像内の参照画素の輝度値とステップＳ４０３で算出した変換後の座標を取得する。ステップＳ４０５では、ステップＳ４０４で得られた変換座標と参照画素が持つ画素情報を基に新たな補間位置における画素の値を画素補間によって再構成する。
【０１５６】
ステップＳ４０６では、色毎に座標変換、画素補間を行ってきた画素の色情報を基に、新たな画素の色情報の再結合を行う。単色画像の場合は処理をスキップする。
【０１５７】
撮像光学系では緑色の像に対して、赤色の像は外側に、青色の像は内側に結ぶ現象が起こり、白黒の被写体であってもその像のエッジに色滲み、つまり色ずれが生ずる。カラー画像の被写体であっても、境界領域等の色味が変わるエッジ部分では同様な色滲みが生ずる。
【０１５８】
実レンズにおける結像においては画像が歪み、色によって結像位置（倍率）が異なる現象が生ずる。単色における前者を歪曲収差と呼び、色の違いによる倍率の差を倍率色収差と呼ぶ。
【０１５９】
光の屈折は波長が短いほど顕著で、上述の凸レンズをイメージした撮像光学系では外側に赤色がずれるが、拡大光学系である表示光学系では逆に青色が外側にずれることになる。電子的な収差補正処理では、ずれ方向と逆方向にずれるように補正を行うことになる。例えば、投影光学系１５の収差補正であれば、青色を内側に、赤色を外側に配置するような画像を形成することで、光学系の収差と相殺して、瞳位置では各色のずれのない好ましい画像を得ることができる。
【０１６０】
図１６は収差補正用テーブルの説明図であり、収差補正用テーブル１１１には、変換前座標である参照位置のアドレスと変換後の座標アドレスの差分値が組として格納されている。参照するアドレスにより、所望の画素のＸＹ座標を指定することによって、基準色（本実施例ではＧ：緑）は変換後の座標を、基準色以外の他色（Ｒ：赤とＢ：青）については基準色との差分値（テーブル格納値）を得ることができる。Ｒの座標は格納されているＧとの差分値Ｔ（Ｇｘ―Ｒｘ）とＧの変換後の座標Ｇｘから、Ｂの座標は格納されているＧの差分値Ｕ（Ｂｘ―Ｇｘ）と同様に、Ｇの座標Ｇｘからそれぞれ求めることになる。
【０１６１】
本実施例では変換前の座標についても、テーブルとして構成する形態としているが、変換前の座標をメモリアクセス時のアドレスと対応付けることによって、変換前座標をメモリ領域にとる必要がなくなり、メモリサイズを更に削減することが可能である。
【０１６２】
図１７は座標変換処理の動作フローチャート図である。ステップＳ５０１では補間画素のアドレスとなる補間位置における座標を指定し、ステップＳ５０２では代表点である参照画素の座標を指定する。ここでは、参照画素の指定をステップＳ５０１より後段の処理としているが、ステップＳ５０１とステップＳ５０２では順番を入れ換えてもよい。
【０１６３】
ステップＳ５０３では、代表点である参照画素の変換後のアドレスを得るために必要な補正値を収差補正用テーブル１１１から取得する。ステップＳ５０４では、ステップＳ５０３で得られた収差補正用テーブル１１１に格納されている値、即ち歪曲収差であれば画素のずれを取得する。例えば、色収差であれば各色の変換後の座標を算出するための色ずれ量を基に、代表点である参照画素におけるそれぞれの色の変換後の座標を取得する。なお、格納されている収差補正用テーブル１１１で示される代表点は、各画素の代表値となる間引きされた画素であるため、その間の値は補間演算によって算出することになる。この補間演算にラグランジュ補間式の三次式までを適用する。
【０１６４】
ステップＳ５０５では、処理対象となる全画素に対して上記の座標変換処理を実行したかどうかを判断する。全画素に対して処理が終了している場合は座標変換処理を終了する。終了していない場合は先頭に戻って、対応する画素の収差を補正するための座標変換演算を繰り返し実行する。なお、画素補間処理の動作としては一般的な処理を用いる。
【０１６５】
一般的な処理では、新たに補間を行う位置である座標の近傍に参照画素を指定し、補間曲線又は直線に新たに補間を行う位置と参照画素との距離を代入して、各参照画素の重み係数を求める。そして、各参照画素の値と座標（ｘ，ｙ）における重み係数の積を加算し、補間画素の値を演算する。
【０１６６】
図１８は撮像装置２内の不均一補正処理の動作フローチャート図である。ステップＳ７０１では、構成される画素の情報を各色プレーン、色ごとに分離する。なお、ここではＲＧＢの三原色で分離しているが、補正用テーブル自体が他の色のずれ量を示す補正データである場合はＲＧＢ以外の色に分離する構成でもよい。色分離が必要のない単色画像の場合は処理をスキップする。
【０１６７】
ステップＳ７０２では、周辺減光補正用の補正値を取得する。変換後の輝度値又は変換後の輝度の値を示す比の値を補正値として取得する。ステップＳ７０３では、減光を考慮した輝度値の補正を行うための各点の補正値を代表点からのラグランジュ補間によって算出する。代表点のみの補正値を格納しているのはメモリ容量削減のためであり、代表点間の各画素の補正値を三次補間式であるラグランジュ補間による演算で算出する。ステップＳ７０４では、入力画像から参照画素の輝度値とステップＳ７０３で算出した変換後の輝度値を取得する。
【０１６８】
ステップＳ７０５では、ラグランジュ補間式等の三次補間式による補間演算処理によって画素の値である輝度値を算出する。ここではラグランジュ補間式を想定しているが、他の三次式でも支障はない。また、代表点の間隔が狭い場合は線形補間等で代用しても、或る程度の精度を実現することが可能である。
【０１６９】
ステップＳ７０６では、撮像光学系２１で生ずる歪曲収差の影響を補正するための位置ずれ補正処理を行う。処理の概要は図１５の動作フローチャート図と同様である。ステップＳ７０７では、位置ずれ補正まで適用した画像の出力が必要か否かを判断する。適用後の画像が必要な場合はステップＳ７０８に進み、周辺減光補正処理を適用しただけの画像でよい場合はステップＳ７０９に進む。ステップＳ７０８では、位置ずれ補正の適用を受けて、ステップＳ７０８で補正処理した位置ずれ補正処理適用画像を選択し出力する。
【０１７０】
ステップＳ７０９では、計測装置３内の距離計測処理部３１において使用する情報用に、ステップＳ７０６の補正処理過程で得られた位置ずれ情報を出力する。
【０１７１】
ステップＳ７１０では、距離計測処理部３１で使用する画像として、周辺減光補正処理のみ適用した画像を選択し出力する。ステップＳ７１１では、色毎に座標変換、画素補間を行ってきた画素の色情報を基に、新たな画素の色情報の再結合を行う。単色画像の場合はこの処理をスキップする。
【０１７２】
このように、照明ユニット１１内の構成要素である光源デバイス４１の階調表現機能を利用して、画素単位で輝度の不均一性を補正する際に低下する照射光量を光源光量調節で補償することで、コントラストの高いパターン投影を実現する。
【０１７３】
特に、空間符号化法パターンによる照明時の均一性をピーク輝度と黒レベル双方の均一化によって確保し、高精度な計測を実現すると共に、精度の良い不均一補正を少ないメモリ構成で、かつ比較的簡易な回路規模で実現することができる。
【実施例２】
【０１７４】
図１９以下は実施例２を示している。実施例１では撮像装置２の輝度むら補正、位置ずれ補正を撮像装置２内及び一部を計測装置３内で行っていたのに対して、実施例２では撮像系の各補正処理機能を照明装置側に統合し、撮像装置側は純粋に撮像機能に特化した構成としている。また、計測対象物Ｗの表面特性に応じた光源光量制御を加えている。
【０１７５】
図１９は実施例２の三次元計測システムのブロック回路構成図であり、実施例１の図２と対応し、同一の符号は同一の部材を示している。三次元計測システムは主として照明装置１’、撮像装置２’、計測装置３’から構成されている。照明装置１’において、不均一補正処理部１６と光源制御部１７の内容は実施例１と若干異なるが、構成要素としては殆ど変わりはない。
【０１７６】
不均一補正処理部１６は照明装置が投影する二次元パターン光の投影面での不均一性と撮像装置が取得する二次元パターン光の撮像画像中の不均一性とを合わせて補正する。光源制御部１７は不均一補正処理によって低下したピーク輝度の調節機能と、計測対象物Ｗからの反射光又は透過光の強度に合わせて光源光量を調節するための機能を併せ持っている。
【０１７７】
撮像装置２’は実施例１から不均一補正処理部２６が取り除かれた構成である以外は実施例１と同様である。
【０１７８】
計測装置３’は実施例１に対して、エッジ近傍輝度判定部１２１、撮像系不均一補正用テーブル１２２が追加されている。撮像装置２’のカメラ画像処理部２５の出力は、エッジ近傍輝度判定部１２１に接続され、エッジ近傍輝度判定部１２１の出力は照明装置１’に接続されている。また、撮像系不均一補正用テーブル１２２の出力は照明装置１’の不均一補正処理部１６に接続されている。
【０１７９】
エッジ近傍輝度判定部１２１は撮像装置２’で取得したパターン画像中から、エッジ位置近傍での輝度を把握し、照明装置１’の光源光量を調節する指示を与える。計測対象物Ｗを撮像した画像中のエッジ近傍部から、エッジ位置が正しく取得できる画像か否かを判断し、必要に応じて画像を取得するのに適した照明装置１’の光源光量を調節するための値を算出し指示を与える。
【０１８０】
撮像系不均一補正用テーブル１２２は計測システム中で使用する撮像装置２’に関わる不均一性を補正するための補正値を格納し、格納される値は任意に更新可能である。撮像装置２’を異なる性能、機能の装置と取り換える際に、補正値を予め取得できること、又はキャリブレーションによって補正値を計測前に取得できることが前提となるが、任意の撮像装置を選択し使用することが可能となる。計測対象物Ｗの表面特性や必要とされる計測精度に応じて、撮像装置２’を選択、交換することが可能となる。
【０１８１】
このような構成により、反射率や透明度が異なる計測対象物Ｗに対しても高精度な三次元計測を実現し、また任意の撮像装置２’をシステムに取り込むことができる。
【０１８２】
実施例２における三次元計測処理の動作は、実施例１の図３の三次元計測処理の動作フローに、光源光量調節、撮像系補正値の取得・更新処理を加え、光源光量の調節処理を変更したものである。以下では、光源光量調節の処理をＳ８０１とし、撮像系補正値取得・更新の処理をＳ８０３とし、光源光量調節の処理をＳ８０５として説明する。なお、ステップＳ８０１は図３におけるステップＳ１０１のキャリブレーション処理の直前に行い、ステップＳ８０３はステップＳ１０１のキャリブレーション処理の直後に行う。
【０１８３】
ステップＳ８０１では、プレ計測によって取得した撮像画像中のエッジ近傍輝度から、計測対象物Ｗの反射率又は透過率に応じた投影パターンの輝度を、光源光量の調節によって実現する。
【０１８４】
ステップＳ８０３では、撮像装置２’の不均一性を補正するための補正値を、計測装置３’から取得又は更新する。ステップＳ８０４では、ステップＳ８０３で取得した撮像系不均一補正値と照明装置１’の不均一性を補正するための補正値とを合わせて、計測システムとしての不均一補正を実施する。不均一補正が輝度変化補正と位置ずれ補正の各補正処理から成る点は実施例１と同様である。
【０１８５】
ステップＳ８０５では、ステップＳ８０４で行った不均一補正処理によって低下したピーク輝度を補償するための光源光量の調節を行う。また、エッジ位置が精度良く計測できるように、計測対象物Ｗからの反射光又は透過光の強度に合わせて光源光量を調節する。
【０１８６】
この処理プロセスにより、ロボットアームの制御に必要な三次元形状、位置、姿勢の各情報を取得し、部品ピッキングや自動組み立てを行うための制御に用いられる。特に、計測対象物Ｗの表面特性に応じて光源光量を調節する機能を追加したことと、撮像光学系２１の補正処理を照明装置１’側で共に実施する点が実施例１と異なる。
【０１８７】
表面特性に応じた光源光量調節は、計測対象を広げることに繋がると共に、最適な輝度を選択することで計測精度自体の向上にも繋がる。また、撮像系の補正処理を照明系側で共に実施することで、用途、精度に応じた撮像装置の選択自由度が広がると共に、撮像系のダイナミックレンジを計測精度に割り当てることで精度の向上に繋がる。
【０１８８】
図２０は計測対象物対応の光源光量調節処理の動作フローチャート図である。ステップＳ９０１では、計測対象物Ｗが未知な対象か、それとも既知の対象かを判断する。計測対象物Ｗが既知の場合はステップＳ９１２に、計測対象物Ｗが未知の場合はステップＳ９０２にそれぞれ進む。
【０１８９】
ステップＳ９０２では、計測対象物Ｗが未知であることを受けて、予め登録、設定されている規定の光源光量で二値パターンを照明装置１’により投影する。ステップＳ９０３では、投影された二値パターン画像を撮像装置２’で撮像する。ステップＳ９０４では、ステップＳ９０３で取得した撮像画像内のパターンの変化点近傍、即ちエッジ近傍における輝度の分布を取得、把握する。
【０１９０】
ステップＳ９０５では、ステップＳ９０４で取得した輝度分布情報から、ピーク輝度が所定値以上か、それとも下回るかを判断する。ピーク輝度が所定値と等しいか上回る場合はステップＳ９０６に、下回る場合はステップＳ９０８にそれぞれ進む。
【０１９１】
ステップＳ９０６では、エッジ近傍の所定領域内の輝度差が予め定められた所定値以上か、それとも下回るかを判断する。エッジ近傍の輝度差が所定値と等しいか上回る場合はステップＳ９０７に、下回る場合はステップＳ９１１にそれぞれ進む。
【０１９２】
ステップＳ９０７では、ピーク値が所定値以上でかつエッジ近傍の輝度差が所定値以上、つまりエッジ位置が十分に計測できる状況にあることを受けて、以後のキャリブレーション、本計測で使用する光源光量の値を現在使用している値で設定する。一度もループをしていない場合は、ステップＳ９０２で設定した規定値がそのまま設定値となる。
【０１９３】
ステップＳ９０８では、ピーク値輝度が所定値を下回ることを受けて、光源光量を上げる設定を行う。その後に、この値を用いてステップＳ９０２と同様の二値パターンを、今回新たに設定した値で制御した光量を用いて投影する。更に、ステップＳ９１０で投影パターンを撮像し、以下ステップＳ９０４からの処理を繰り返す。
【０１９４】
ステップＳ９１１では、ピーク値が所定値以上で、かつエッジ近傍の輝度差が所定値を下回ること、つまり光量が十分過ぎてハレーションを起こし、エッジ位置が計測できる状況にないことを受けて、光源光量を下げる設定を行う。その後の処理ステップＳ９０８以下は同様である。
【０１９５】
このように、プレ計測で撮像画像中のエッジ近傍の輝度分布を把握し、計測に適した光量なのかを事前に把握する。ステップＳ９１２では、計測対象物Ｗが既知であることを受けて、光源光量の基本値又は計測対象物Ｗに合った設定値を選択する。
【０１９６】
ステップＳ９１３では、ステップＳ９１２で選択された光源光量の設定値を照明装置１’に送信する。ステップＳ９１４では、送信された設定値を照明装置１’側で受信する。ステップＳ９１５では、受信した設定値を不均一補正処理が適用される前の基本光源光量として設定する。
【０１９７】
図２１は実施例２における照明装置１’のブロック回路構成図であり、実施例１の図５に対応している。また、図５と同一の符号は同一の部材を示している。撮像系補正値取得部１３１の出力は不均一補正処理部１６を介して、表示ユニット１４と光源制御部１７に接続されている。また、光源制御部１７には計測装置３’からの光量値を受信する計測対象物対応光量値取得部１３２が設けられ、この計測対象物対応光量値取得部１３２の出力は光源光量算出部１３３に接続され、更に光源ユニット１２に接続されている。更に、光源補正量算出部５５の出力が光源光量算出部１３３に接続されている。
【０１９８】
不均一補正処理部１６では、先に説明したように照明装置１’と撮像装置２’双方の不均一補正を照明装置１’側で実施し、照明装置１’内には撮像装置２’の輝度補正及び位置ずれ補正に必要な補正値を外部から取得するようにされている。
【０１９９】
撮像系補正値取得部１３１は不均一補正処理部１６で参照する撮像装置２’の不均一補正に使用する補正値を外部装置である計測装置３’から取得する。
【０２００】
計測対象物対応光量値取得部１３２は計測対象物Ｗの表面特性に合わせて、光源光量を変化させる基本となる光量値を外部装置である計測装置３’から取得する。計測対象物Ｗの反射率や透過率等表面特性に合わせた光源光量調節の考え方については、既に図２０で説明した通りである。
【０２０１】
光源光量算出部１３３は計測対象物対応光量値取得部１３２で取得した光源光量の基本設定値と、不均一補正処理によって低下する光源光量を補償するための光源補正量算出部５５で算出された補正値とを統合する。
【０２０２】
パターン画像入力部５１又はパターン画像生成部５３何れかの二次元パターン画像の選択をセレクタ５２で行う。不均一補正処理部１６で投影されるパターン画像のピーク輝度のばらつきと黒レベルのばらつきの双方を、空間変調器４５が持つ階調表現によって補正処理する。補正処理された投影用パターン画像データは、空間変調器駆動回路４６を経て、空間変調器４５上の二次元マトリクスに対応した画素上で再現される。
【０２０３】
不均一補正処理部１６で補正処理が適用された結果、低下することになるピーク輝度をピーク輝度検出部５４で検出、把握し、取得した値を基に光源光量を増大させるための補正量を光源補正量算出部５５で算出する。
【０２０４】
また、計測対象物Ｗの表面特性を考慮した光源光量の基本設定値を計測装置３’との連携によって把握、取得し、この値をベースに光源補正量算出部５５で算出された補正量と合わせて光源光量調節を行う。最終的に算出された調節値を基に、光源ユニット１２を発光させ、照明光学系１３、空間変調器４５及び投影光学系１５を経由して、計測対象物Ｗ上に二次元の投影パターンが結像される。
【０２０５】
以上の構成によって、三次元計測における計測精度を向上するために、輝度むらやエッジの位置ずれが少ない二次元パターン光を計測対象物Ｗに投影することができる。
【０２０６】
図２２は実施例２における輝度補正機構のブロック回路構成図であり、実施例１の図１１で説明した機能ブロックに対して、撮像光学系２１の補正値取得及び補正の統合処理が追加、変更された点が異なる。即ち、輝度補正処理部９２において、図１の補正値算出部１０６の代りに補正値算出部１４１が設けられ、補正値算出部１４１には撮像系局所変動補正用テーブル１４２、照明系局所変動補正用テーブル１４３の出力が接続されている。また、輝度むら補正用テーブル１４４の出力が補正値選択部１０８に接続されている。
【０２０７】
輝度補正処理部９２は不均一補正処理部１６の一部であり、照明装置１’及び撮像装置２’の撮像光学系２１及び表示、撮像デバイスに起因する輝度変化を補正する。位置ずれ補正処理部９３は投影光学系及び撮像光学系の歪曲収差の影響によって生ずる撮像面上での結像位置ずれを抑制する。
【０２０８】
輝度むら補正用テーブル１４４は撮像装置２’の撮像光学系２１に関わる輝度むらを補正するための補正値を格納している。
【０２０９】
補正値選択部１０８は投影光学系１５の輝度むらを補正するための補正値と、撮像光学系２１の輝度むらを補正するための補正値を対応する点上でそれぞれ選択する。撮像デバイス２２上の代表点を決定し、代表点上の変換されるべき輝度値（輝度の比の値）を参照テーブルである輝度むら補正用テーブル１０７、１４３から読み出す。補正値選択部１０８では、代表点に対応する輝度変換値である補正値を読み出すことになる。
【０２１０】
撮像系局所変動補正用テーブル１４２は撮像デバイス２２の各撮像画素間の特性変動を補正するための補正値を格納し、撮像デバイス２２の画素間の変動は小さいものの、高精度の三次元計測を実現する上で無視し得ない値となる場合もある。撮像デバイス２２の全ての画素、又は特に値の異なる画素に対して、アドレス座標（ｘ，ｙ）と補正値をペアにして格納する構成をとる。
【０２１１】
照明系局所変動補正用テーブル１４３は空間変調器４５の画素間の特性変動を補正するための補正値を格納し、構成については実施例１の図１１の局所変動補正用テーブル１０９と同様である。
【０２１２】
補正値算出部１４１はラグランジュ補間によって算出した各画素の補正値と、撮像光学系２１と照明光学系１３の各局所変動補正用テーブル１４２、１４３から読み出した補正値を統合する。ここで得られた補正値を基に、入力されたパターン画像に対して補正処理を適用する。本来のピーク輝度がどの程度まで下がるかを判断するための値として、ピーク輝度検出部５４にも送ることも実施例１と同様である。
【０２１３】
照明装置１’内の光源ユニット１２、照明光学系１３及び投影光学系１５の各補正値と、撮像装置２’内の撮像光学系２１の補正値とを統合し、ラグランジュ補間によって代表点以外の撮像面上の各画素における輝度むら補正の補正値を演算する。その後に、撮像光学系２１と照明光学系１３の各局所変動補正用テーブル１４２、１４３の値と統合して最終的な各画素の輝度むらを補正するための補正量を得る。得られた補正量を基に、空間変調器４５の全画素に対して輝度むらの補正を適用することで、計測対象物Ｗからの反射又は透過パターン光を撮像した撮像画像内でピーク輝度、黒レベルとも均一となるパターン像が得られる。
【０２１４】
図２３は輝度補正処理の動作フローチャート図である。なお、ステップＳ１００１〜Ｓ１００５、Ｓ１００７、Ｓ１００９、Ｓ１０１０の各ステップの処理内容は、実施例１の図１３の輝度補正処理の動作フローチャート図のステップＳ３０１〜Ｓ３０５、Ｓ３０７、Ｓ３０８、Ｓ３０９の処理内容と同様である。
【０２１５】
ステップＳ１００６では、撮像装置２’内の撮像光学系２１に関わる輝度むらを補正するための補正値を選択する。撮像デバイス２２の全画素の中から代表点を決定し、代表点上の変換される輝度値（実際には輝度比や輝度差）である補正値を参照テーブルである輝度むら補正用テーブル１４４から読み出す。ステップＳ３０４とステップＳ３０５及びステップＳ１００６は処理の順番が入れ換わってもよい。
【０２１６】
ステップＳ１００７では、照明装置１’内の光源ユニット１２、照明光学系１３、投影光学系１５、及び撮像装置２’内の撮像光学系２１で生ずる輝度むらを補正するための各補正値を統合する。
【０２１７】
ステップＳ１００９では、空間変調器４５の画素間の特性変動を補正するための補正値を格納した局所変動補正用テーブル１４３から補正値を取得する。処理自体は実施例１の図１３のステップＳ３０８と同様である。
【０２１８】
ステップＳ１０１０では、撮像デバイス２２の画素間の特性変動を補正するための補正値を格納した局所変動補正用テーブル１４２から補正値を取得する。
【０２１９】
ステップＳ１０１１では、ラグランジュ補間によって算出した光学系に関わる各画素の補正値と、撮像光学系２１と照明光学系１３を合わせた補正値算出部１４１から読み出した補正値を統合する。ここで統合した補正値は、光源制御部１７内のピーク輝度検出部５４においても使用する。
【０２２０】
図２４は実施例２における位置ずれ補正機構のブロック回路構成図であり、実施例１の図１４に対応している。位置ずれ補正処理部９３は、不均一補正処理部１６の一部であり、実施例１の図１４で説明した機能ブロックに対して、撮像光学系２１の補正値取得及び補正の統合処理が追加、変更された点が異なる。
【０２２１】
位置ずれ補正処理部９３において、照明系収差補正用テーブル１５１の出力は補正値選択部１１２に接続されている。補正値選択部１１２には撮像系収差補正用テーブル１５２の出力も接続され、補正値選択部１１２の出力は座標値算出部１１３に接続されている。座標値算出部１１３の出力は画素補間処理部１１４に接続されると共に、位置ずれ情報として外部に出力されている。
【０２２２】
また、画素補間処理部１１４には輝度補正処理部９２の出力が接続され、画素補間処理部１１４の出力はセレクタ９４に出力されている。
【０２２３】
照明系の収差補正用テーブル１５１は照明装置１’内の照明光学系１３で生ずる歪曲収差を補正するためのものである。参照点の座標に対応する変換後の座標値を算出するための補正値を格納する。カラーパターンの場合に、容量削減のため特定色の変換後の座標と、特定色を除く他色はこの特定色を基準とした差分を格納しているものとする。カラー、単色何れの場合も容量削減のため、空間変調器４５の各画素に対応する輝度の補正値ではなく、サンプリングした特定の画素に対応した補正値を格納しているものとする。
【０２２４】
撮像系収差補正用テーブル１５２は撮像装置２’内の撮像光学系２１で生ずる歪曲収差を補正するためのものである。参照点の座標に対応する変換後の座標値を算出するための補正値を格納するのは、照明系収差補正用テーブル１５１と同様である。撮像光学系２１の補正値は計測装置３’等から取得するが、計測前のキャリブレーションによって補正値を得る構成でもよい。
【０２２５】
補正値選択部１１２は位置ずれ補正のための補正値を選択し、選択は照明系と撮像系の各収差補正用テーブル１５１、１５２を対象とする。照明光学系１３に関しては、表示する画素の代表点を決定し、代表点が変換される座標を参照テーブルである照明系収差補正用テーブル１５１から読み出す。補正値選択部１１２では、代表点の元座標と対応する変換座標を算出するための補正値を読み出す。
【０２２６】
撮像光学系２１に関しては、撮像する画素の代表点を決定し、代表点が変換される座標を参照テーブルである撮像系収差補正用テーブル１５２から読み出す。その際に、最終的には撮像デバイス２２上での位置ずれを対象とするため、照明装置１’側で取り扱う投影面上の位置ずれは、撮像デバイス２２上での位置ずれに換算して補正値を統合処理する。
【０２２７】
図２５は実施例２における位置ずれ補正処理の動作フローチャート図である。ステップＳ１１０１、Ｓ１１０５〜Ｓ１１０８の処理内容は、実施例１の図１５の位置ずれ補正処理の動作フローチャート図のステップＳ４０１、Ｓ４０３〜Ｓ４０６と同様である。
【０２２８】
ステップＳ１１０２では、照明装置１’の位置ずれ補正に使用する座標変換用の代表点の補正値を取得する。ステップＳ１１０３では、撮像装置２’の位置ずれ補正に使用する座標変換用の代表点の補正値を取得する。ステップＳ１１０４では、ステップＳ１１０２及びステップＳ１１０３で取得した各補正値を統合し、撮像デバイス２２上の代表点における補正値（位置ずれ量）を算出する。
【０２２９】
以後のラグランジュ補間による座標値の算出、三次補間式に代表される補間演算による画素値の算出については図１５の位置ずれ補正と同様の処理によって行われる。
【０２３０】
このように、本実施例２によれば照明ユニット１１内の構成要素である表示ユニット１４の階調表現機能を利用して、撮像装置２’と照明装置１’の双方で生ずる輝度の不均一性を補正する。この際に、低下する照射光量を光源光量調節で補償することで、照明時にコントラストの高いパターン投影を実現する。
【０２３１】
特に、計測対象物Ｗに合わせて光源光量の基本設定値を変更する構成を取ることで、計測システムとしてのロバスト性、環境変動への対応力を上げることができる。また、撮像装置２’側の均一性も表示ユニット１４の輝度補正で実現するため、より撮像系のダイナミックレンジを他の処理、例えば距離計測処理に割り当てられることができ、その結果より高精度化を実現することが可能となる。
【０２３２】
実施例１、２では、輝度補正用テーブルの構成について特に言及しなかった。投影光学系１５、撮像光学系２１に関しては装置構成により一意的に決まるが、光源ユニット１２の構成やこの特性に応じて変化が予想される照明光学系１３については、光源光量調節や制御に応じてテーブルに格納されている補正値を更新する構成を説明した。照明光学系１３に関して想定できる補正値が予め定められている場合は、それぞれの補正値を収めた複数のテーブルを備え、その中から選択して使用する構成でもよい。
【０２３３】
同様に、実施例１、２では、光源光量調節や制御で使用する光量値や補正値をその都度更新して使用する構成として説明した。予め、変動の範囲が想定でき、離散的な代表値で十分補正が可能な場合には、調節値や設定値を複数備える構成とし、調節の条件に従って複数の値の中から選択して使用する構成でもよい。
【０２３４】
また実施例２では、撮像系の不均一補正処理を照明装置１’の内部で実施する構成としたが、計測システムを構成する他の装置でまとめて、又は分散して不均一補正処理が実施できることは云うまでもない。即ち、照明光学系１３の不均一補正処理の一部を撮像装置２’の内部で実施する構成や、照明光学系と撮像光学系２１を合わせた不均一補正処理の一部を、計測装置３’内で実施する構成がこれに該当する。
【０２３５】
更には、実施例１、２で説明してきた構成を互いに組み合わせて使用できることは云うまでもない。各実施例における様々な技術を適宜組み合わせて新たなシステムを構成することは、当業者であれば容易に相当し得るものであるので、このような様々な組み合わせによるシステムもまた、本発明の範疇内に属するものである。
【０２３６】
本発明においては、前述したフローチャート図の全部又は一部を実現するソフトウェアのプログラムコードを記録した記録媒体を、システム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータなどが記録媒体に格納されたプログラムコードを読み出し実行する。この場合に、記録媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
【０２３７】
また、コンピュータが読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づいて、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが、実際の処理の一部又は全部を行う。その処理によって、前述した実施例の機能が実現される場合も含まれることは云うまでもない。
【０２３８】
更に、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれたとする。その後に、そのプログラムコードの指示に基づいて、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【符号の説明】
【０２３９】
１、１’ 照明装置
２、２’ 撮像装置
３、３’ 計測装置
１１ 照明ユニット
１２ 光源ユニット
１３ 照明光学系
１４ 表示ユニット
１５ 投影光学系
２１ 撮像光学系
Ｗ 計測対象物
【技術分野】
【０００１】
本発明は、三次元計測における二次元パターン光の輝度の不均一性を補正し、計測精度を向上させる照明装置及び該照明装置を用いた計測システムに関するものである。
【背景技術】
【０００２】
マシンビジョンの分野における重要な技術要素として三次元の計測技術が知られている。三次元計測技術の一手法として、例えば計測対象物に対して二次元のパターン光を投影し、得られるパターン投影像をカメラで撮像することがある。この場合に、二次元パターンの周期性を手掛かりに、取得した撮像画像をコンピュータで解析して計測対象物の距離情報を得る。ここで云う距離情報とは、計測対象物のカメラからの距離や表面の凹凸など、奥行き方向の距離を示すものである。幅、高さ方向の情報は二次元の撮像画像から得られるため、距離情報として取得した奥行き方向の情報と併せて三次元の空間情報が得られることになる。次いで、二次元の撮像画像と距離情報、及び予め保持している計測対象物のモデルデータを用いて、三次元のモデルフィッティングを行い、計測対象物の位置、姿勢、三次元形状を計測する。
【０００３】
このような技術は、例えば工場の製造ラインで動作するロボットアームによる部品のピッキングや自動組み立てなどに応用することができる。三次元計測技術を用いて部品の位置、姿勢、三次元形状を計測し、取得した情報を基にロボットアームを制御することで、ロボットアームによる部品ピッキングや組み立てを正確、かつ効率的に行うことができる。
【０００４】
計測対象物の形状計測及び計測対象物との距離計測を精度良く行うために、二次元パターン光を用いる手法はパターン投影法と呼ばれ、所定のパターンを投影するアクティブ照明技術として知られている。投影する二次元パターンには白黒二値の明暗の縞が規則的にかつ連続して並んだ離散パターンの他に、階調が滑らかに変化するグラデーションパターンがある。特に、距離計測においては、複数の二次元パターンを短時間に切換えて画像中のエッジ成分を得る空間符号化法（空間コード化法）が特許文献１に記載されている。
【０００５】
二次元パターン光を計測対象物に投影することで、計測対象物の表面凹凸や形状に対応したパターン形状の不連続点や歪みが観測できる。空間符号化法で用いられる二値パターンでは、この不連続点がエッジの位置ずれに相当する。空間符号化法では、三角測量の原理を利用してエッジの位置ずれから奥行き方向の距離を推定する。
【０００６】
二次元画像から形状計測や距離計測を行う構成において、一般的には照明装置で投影する二次元パターンの空間的な位置ずれや計測対象物の反射率・透過率を含めて撮像装置側の画像処理で輝度変化や光学系の収差によって生ずる画像歪みの影響を較正する。
【０００７】
投影するパターンの精度を決めるエッジの位置精度、コントラストは、静的には光源の構成、光源からの光を集める照明光学系、パターン画像を形成する表示デバイス、及び投影光学系に関わる結像の位置ずれや解像力低下に起因する光量低下によって劣化する。
【０００８】
特許文献２は計測目的とは異なるが、このような光学系の較正や照明系の投影面における輝度の不均一性を補正する手法が開示されている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００５−３４１０号公報
【特許文献２】特開２００３−１４３６２１号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら特許文献１では、較正の対象が光学系に限定され、表示デバイスや撮像デバイス及び光源構成に起因する計測誤差要因については考慮されていない。また、投光パターンと投影パターンを考慮して輝度を均一化させるための処理、及び光学系の歪曲収差であるずれ量の把握は、撮像された二次元画像を基に行われる構成となっている。
【００１１】
その結果、撮像装置側で得られた画像に対して補正が適用される構成となり、計測精度は取得した画像の解像度に依存し、より精度を求められる場合の制限事項となる。更には、把握された位置ずれ量や輝度を一様に均一化するための具体的な手段については開示されていない。
【００１２】
一般には、不均一性の補正処理は計測システムにおける撮像装置側で行われるが、計測対象物の反射率や透過率のレンジが広い場合には、撮像デバイスの持つダイナミックレンジの範囲で十分なコントラストを得ることが難しく、この点について考慮されていない。
【００１３】
特許文献２では、階調機能を利用した補正を行うために、輝度の均一性を補償した場合に、投影面内で最も輝度が低くなる部位に他の部位の輝度を合わせることが必要となる。その結果、投影面内のピーク輝度が下がり、計測に適用した場合に必要なコントラストが十分に得られない可能性がある。
【００１４】
また、輝度の均一性補償がピーク輝度に対してのみなされ、表示デバイスの各画素への入力信号が最低値となる黒レベルの均一性については言及されていない。空間符号化法においては、ネガポジ反転画像を基にエッジ位置の判定を行うため、ピーク輝度のみならず、黒レベルの輝度の均一性も補償の対象に入れることが精度向上の上では望ましい。
【００１５】
更には、補正の対象を空間的に固定された要因である液晶モジュールによる不均一性と時間的に変動する要因である投影対象であるスクリーンの視野角特性による不均一性とに分けてはいる。しかし、固定要因として想定される照明、投影の各光学系と表示デバイスとでは、輝度の変化がなだらかな光学系と隣接する画素間での関連が少ない。局所的には、不連続な変化が想定される表示デバイスの補正を、代表点を用いた補間処理による補正値の算出によって行うことは難しい。なお、補間処理を用いない場合は、補正値を格納するメモリの容量が肥大化することは云うまでもない。
【００１６】
本発明の目的は、上述の問題点を解消し、画素単位で輝度の不均一性を補正する際に、低下するピーク輝度を光源光量調節で補償することで、コントラストの高いパターン投影を実現する照明装置及び該照明装置を用いた計測システムを提供することにある。
【課題を解決するための手段】
【００１７】
上記目的を達成するための本発明に係る照明装置は、光源と、照明光学系と、二次元映像信号を画素のマトリクスによって形成し階調表現が可能な表示デバイスと、投影光学系とを備え、計測対象物に二次元パターン光を照射する照明装置であって、前記光源、照明光学系と投影光学系及び表示デバイスのうちの少なくとも１つに起因する照明時に生ずる投影面における画素間の輝度の不均一性を補正するための補正値を格納する記憶手段と、該記憶手段から取得した補正値に基づいて前記二次元映像信号を補正する補正処理手段と、前記補正処理手段による補正によって低下する投影面内のピーク輝度を補償する光源光量調節手段とを備えたことを特徴とする。
【００１８】
また本発明に係る照明装置を用いた計測システムは、光源・照明光学系・二次元映像信号を画素のマトリクスによって形成し階調表現が可能な表示デバイス・投影光学系とを備え計測対象物に二次元パターン光を照射する照明装置と、撮像光学系・撮像デバイス・該撮像デバイスからの映像入力信号から二次元画像を形成する画像処理部を備え計測対象物からの反射光又は透過光を撮像する撮像装置とから成る計測システムであって、前記照明装置の光源、照明光学系、投影光学系及び表示デバイスのうちの少なくとも１つに起因する照明時に生ずる投影面における画素間の輝度の不均一性と、前記撮像装置の撮像光学系及び撮像デバイスのうち少なくとも1つに起因する二次元画像における画素間の輝度の不均一性とを補正するための補正値を格納する記憶手段と、該記憶手段から取得した補正値に基づいて前記映像入力信号を補正する補正処理手段と、該補正処理手段によって低下する撮像画像内のピーク輝度を補償する光源光量調節手段とを備えたことを特徴とする。
【発明の効果】
【００１９】
本発明に係る照明装置及び該照明装置を用いた計測システムによれば、表示デバイスの階調表現機能を利用して、画素単位で輝度の不均一性を補正する際に低下する照射光量を、光源光量調節で補償することでコントラストの高いパターン投影を実現する。特に、空間符号化法パターン投影時には、ピーク輝度と黒レベルの双方の均一化を行い、高精度な計測を実現すると共に、不均一補正を少ないメモリ構成、回路規模で実現できる。
【図面の簡単な説明】
【００２０】
【図１】実施例１の三次元計測システムの構成図である。
【図２】三次元計測システムのブロック回路構成図である。
【図３】三次元計測処理の動作フローチャート図である。
【図４】照明ユニットの構成図である。
【図５】照明装置のブロック回路構成図である。
【図６】照明装置のハードウェア構成のブロック回路構成図である。
【図７】撮像装置のブロック回路構成図である。
【図８】照明装置内の不均一補正機構のブロック回路構成図である。
【図９】光源光量調節機構の説明図である。
【図１０】照明装置内の不均一補正処理の動作フローチャート図である。
【図１１】輝度補正機構のブロック回路構成図である。
【図１２】ラグランジュ補間曲線のグラフ図である。
【図１３】輝度補正処理の動作フローチャート図である。
【図１４】位置ずれ補正機構のブロック回路構成図である。
【図１５】位置ずれ補正処理の動作フローチャート図である。
【図１６】収差補正用テーブルの説明図である。
【図１７】座標変換処理の動作フローチャート図である。
【図１８】撮像装置内の不均一補正処理の動作フローチャート図である。
【図１９】実施例２の三次元計測システムのブロック回路構成図である。
【図２０】計測対象物対応の光源光量調節処理の動作フローチャート図である。
【図２１】照明装置のブロック回路構成図である。
【図２２】輝度補正機構のブロック回路構成図である。
【図２３】輝度補正処理の動作フローチャート図である。
【図２４】位置ずれ補正機構のブロック回路構成図である。
【図２５】位置ずれ補正処理の動作フローチャート図である。
【発明を実施するための形態】
【００２１】
本発明を図示の実施例に基づいて詳細に説明する。
【実施例１】
【００２２】
図１は実施例１における三次元計測システムの構成図である。本実施例１における三次元計測システムは、照明装置１、撮像装置２、及び後述する計測装置３から構成され、計測対象物Ｗの三次元形状や位置・姿勢を計測する。ここでは、工場の製造ラインなどで用いられるロボットハンドによる部品選別や自動組み立てなどの作業行程を想定し、部品選別や自動組み立ての対象となる計測対象物Ｗの三次元計測を行う。
【００２３】
照明装置１は計測対象物Ｗに二次元パターン光を投影するパターン投影機能を有し、小型のプロジェクタなどが用いられる。撮像装置２は計測対象物Ｗ上に投影された二次元パターン光による画像を撮像し、二次元画像の取得には、ＣＣＤやＣＭＯＳのイメージセンサが用いられる。なお、照明装置１、撮像装置２はロボットアームに搭載できる小型で軽量なものが望ましい。
【００２４】
本実施例では、計測対象物Ｗが拡散反射物体や鏡面物体であることを想定しているが、二次元パターン光が透過又は半透過する物体でもよく、その場合には撮像装置２は透過光を撮像する位置に配置することになる。作業用のロボットハンドは図示を省略しているが、作業領域の省スペース化が期待される場合は、計測用のロボットアーム上に照明装置１や撮像装置２が搭載され、一体化された構成とすることが望ましい。また、作業用のロボットアーム上に照明装置１と撮像装置２の双方が搭載される構成としてもよい。
【００２５】
図２は三次元計測システムのブロック回路構成図であり、照明装置１、撮像装置２、計測装置３から構成されている。照明装置１は計測対象物Ｗに対して、パターン投影法に基づいて空間符号化法で用いる二次元パターン光を投影する。照明装置１は照明ユニット１１を内蔵し、照明ユニット１１は光源ユニット１２、照明光学系１３、表示ユニット１４、投影光学系１５から成っている。また、不均一補正処理部１６の出力が表示ユニット１４、光源制御部１７に接続され、光源制御部１７の出力は光源ユニット１２に接続されている。
【００２６】
不均一補正処理部１６は照明装置１が投影する二次元パターン光の投影面での不均一性を補正する。計測装置３が生成する二次元パターン画像を不均一補正処理部１６で補正し、投影光学系１５を介して計測対象物Ｗに二次元パターン光を投影することを想定している。しかし、計測装置３等の外部からのデータ入力以外に、パターン内部ロジックで生成することや、予め定められたパターンを内部メモリから読み出して使用する構成としてもよい。光源制御部１７は不均一補正処理によって低下したピーク輝度を調節する。
【００２７】
撮像装置２は計測対象物Ｗを撮像する撮像光学系２１と撮像デバイス２２から成る撮像ユニット２３を有する。撮像デバイス２２の出力はＡＦＥ（アナログフロントエンド）２４、カメラ画像処理部２５を経て不均一補正処理部２６に接続されている。撮像装置２は計測対象物Ｗの反射光を二次元パターン光として、撮像することを想定しているが、透明、半透明な物体に対しては透過光であってもよい。
【００２８】
撮像装置２で撮像した二次元パターン光は計測対象物Ｗの形状や表面凹凸の影響でパターン光のエッジに対して位置ずれが生ずるので、計測装置３はこの位置ずれを基に距離計測を行う。
【００２９】
計測装置３において撮像装置２の不均一補正処理部２６の出力は距離計測処理部３１に接続され、距離計測処理部３１の出力は計測制御部３２に接続されている。計測制御部３２の出力はパターン画像生成部３３を経て、照明装置１の不均一補正処理部１６に接続されている。また、距離計測処理部３１の出力はロボットアームの制御信号を送信する三次元計測処理部３４にも接続され、記憶領域３５の出力が三次元計測処理部３４に接続されている。
【００３０】
距離計測処理部３１は撮像した二次元パターン光を基に計測対象物Ｗの距離情報を算出し、パターン投影法を利用して奥行き方向の距離を計測する。撮像した二次元パターン光の幅方向、高さ方向の距離情報と合わせて、計測対象物Ｗの三次元情報を得る。距離計測は撮像装置２で生成された撮像画像を基に行われるが、光学系の位置ずれを考慮する際に、位置ずれ補正までを適用した画像を用いる場合と、適用前画像と合わせて位置ずれ量をパラメータとして使用する２つの場合が想定される。
【００３１】
計測制御部３２は計測に必要な二次元パターン画像の生成指示や、ロボットアームが保持する位置関係情報を基に、計測対象物Ｗ、照明装置１、撮像装置２の位置関係を把握する位置関係情報取得を行う。照明装置１と撮像装置２の位置関係情報とは、任意に設定した絶対座標における位置・姿勢のことであり、計測対象物Ｗの位置関係情報とは、その絶対座標における位置のことである。絶対座標におけるロボットアームの位置・姿勢は、ロボットアームのキャリブレーションにより取得できる。絶対座標の基準位置は任意に設定でき、その座標系により三次元計測システムのワークエリア内の座標が特定できる。
【００３２】
パターン画像生成部３３は計測制御部３２からの指示によって、投影する二次元パターン画像を生成する。三次元計測処理部３４は計測対象物Ｗの三次元形状、位置及び姿勢計測を行う。距離計測処理部３１で計測した距離情報と二次元パターン画像を基にモデルフィッティングを行い、計測対象物Ｗの位置、姿勢を計測する。計測の結果得られた三次元形状、位置、姿勢の各情報は、部品のピッキングや自動組み立てを行うためのロボットアームの制御に用いられる。
【００３３】
記憶領域３５は三次元計測処理部３４でモデルフィッティングに用いるモデルデータを格納し、三次元ＣＡＤの設計データや予め複数方向から撮影した画像データから生成された三次元のモデル情報が格納されている。モデルデータは計測対象物Ｗに合わせて外部からデータを供給し、更新することが可能である。
【００３４】
照明装置１、撮像装置２は、ロボットアーム上に固定搭載されていることを想定しているため、ロボットアームの位置・姿勢が分かれば、照明装置１と撮像装置２の位置・姿勢が算出でき、計測装置３により計測対象物Ｗの高精度な三次元計測を実現できる。
【００３５】
図３は三次元計測処理の動作フローチャート図である。ステップＳ１０１では、計測装置３と照明装置１、撮像装置２との通信を確立し、双方の装置の位置関係を較正するキャリブレーションを行う。位置関係の精度は最終的な計測精度に影響を与えるため、三次元計測処理時に用いる位置関係情報と同一の位置関係情報を用いてキャリブレーションすることが望ましい。
【００３６】
しかし、キャリブレーション時と三次元計測時で照明装置１及び撮像装置２それぞれの位置関係が異なる場合、例えばロボットアームを動作させながら三次元計測処理を行う場合には、動き予測を加味した位置関係情報を用いることで対応する。
【００３７】
ステップＳ１０２では、照明装置１側が投影した二次元パターン光の投影面内での輝度の不均一性を補正するために、不均一補正処理を行う。ステップＳ１０３では、ステップＳ１０２で行った不均一補正処理によって低下したピーク輝度を補償するための光源光量の調節を行う。
【００３８】
ステップＳ１０４では、計測対象物Ｗに二次元パターン光を投影する。空間符号化法を用いる場合は複数枚の二値パターン画像を投影する。ステップＳ１０５では、計測対象物Ｗから反射された二次元パターン光を撮像装置２で撮像する。撮像する二次元パターン光は、計測対象物Ｗの形状や表面凹凸の影響でパターンのエッジずれが生じている。ステップＳ１０６では、撮像装置２側の影響で生ずる輝度変化及びパターンエッジの位置ずれを、取得した二次元パターン画像に対し撮像装置２の不均一補正処理を適用して補正する。
【００３９】
ステップＳ１０７では、ステップＳ１０６で補正処理した二次元パターン画像を基に、計測装置３は計測対象物Ｗのそれぞれの測定点における奥行き方向の距離情報を取得して距離計測処理を行う。二次元パターン画像の幅方向と高さ方向の情報と合わせて、このステップＳ１０７で計測対象物Ｗの三次元情報を取得する。
【００４０】
空間符号化法においては、縞の周期が異なる複数枚の画像を用いた画像の取得を行うことが一般的である。また、特徴量となるエッジ位置の取得には、２値パターンの周期が反転したネガポジ画像を合わせて使用することで計測を行う。これら複数の補正処理された撮像画像を基に奥行き方向の距離情報を取得する。
【００４１】
ステップＳ１０８では三次元計測処理部３４で三次元計測処理を行う。ステップＳ１０７で取得した奥行き方向の距離情報と二次元パターン画像を基に、既知の計測対象物Ｗのモデルデータを使用したモデルフィッティングを行い、計測対象物Ｗの位置、姿勢を計測する。また、この計測に合わせて、これまで取得、保持している三次元計測情報を更新する。
【００４２】
ステップＳ１０９では、取得・更新した三次元の計測情報をロボットのアーム制御で用いるため、三次元計測処理部３４から図示しないアーム制御を行う装置又は制御部に送信する。ステップＳ１１０では、計測処理を継続するか否かを判断する。ロボットアームの位置に変動がないなど、投影や撮像の条件を変えた画像取得が不要の場合を想定して、計測処理の継続が必要か否かを判断する。計測処理を継続する場合にはステップＳ１０２の照明装置１の不均一補正処理部１６による不均一補正処理に進み、継続しない場合には計測処理を終了する。
【００４３】
以上の処理プロセスにより、ロボットアームの制御に必要な三次元形状、位置、姿勢の各情報を取得し、部品ピッキングや自動組み立てを行うための制御が行われる。
【００４４】
図４は実施例１における照明ユニット１１の構成図であり、照明ユニット１１は光源ユニット１２、照明光学系１３、表示ユニット１４、投影光学系１５が順次に配列されて構成されている。
【００４５】
光源ユニット１２は単数又は複数のＬＥＤやＬＤなどで構成される光源デバイス４１と、光源デバイス４１を駆動するための光源駆動回路４２から構成されている。ＬＥＤやＬＤでは十分な光量が得られない場合には、ハロゲンランプや水銀ランプを光源として使用し、照明装置１内に内蔵又は外部光源装置から光ファイバなどで光を供給するなどの形態とすることもできる。
【００４６】
光源駆動回路４２は光源制御部１７からの指示に従い、光源変調信号を基に強度を変調した駆動信号を生成する。また、光源駆動を時間制御する場合には、ＰＷＭ信号を基に駆動信号を生成する。光源にＬＥＤやＬＤが用いた場合には、光出力制御を安定化やデバイス破壊を避けるために、定電流駆動が採用される。
【００４７】
照明光学系１３は拡散板４３、偏光板４４から成り、拡散板４３は光源デバイス４１からの光を均一化し、光源デバイス４１の発光面の輝度むらを抑制し、輝度を面内で均一に保つ役割を果たす。偏光板４４は空間変調器４５である透過型のＴＦＴ液晶パネルの前後で偏光状態の制御を行う。拡散板４３と偏光板４４によって照明光学系１３が構成されている。
【００４８】
表示ユニット１４は表示デバイスとしての空間変調器４５、空間変調器駆動回路４６から成る。空間変調器４５は二次元映像信号を画素のマトリクスによって形成され、階調処理が可能な透過型のＴＦＴ液晶パネルが使用され、空間変調器駆動回路４６により駆動されている。空間変調器４５で二次元パターン光のパターンを表現し、ＴＦＴ液晶パネルの解像度、画素サイズ、画素ピッチなどが二次元パターン光の精度に直接影響を与える。空間変調器４５としては、ＴＦＴ液晶パネル、ＬＣＯＳパネル、走査型のＭＥＭＳデバイスなどが用いられる。空間変調器４５は透過型に限定されるものではなく、ＭＥＭＳミラーを用いたＤＭＤや反射型のＬＣＯＳ等、光源からの光を反射して用いる構成であってもよい。
【００４９】
投影光学系１５は偏光板４７、投影レンズ４８から成り、投影される二次元パターン光の投影面周辺部でのＭＴＦの低下、被写界深度特性つまりぼけの特性、結像の位置ずれを生じさせるディストーションなどが、算出する距離精度に影響を与える要因となる。ここでは、投影レンズ４８は模式的に１枚のレンズで表しているが、実際には複数枚のレンズ群から構成されている。
【００５０】
図５は照明装置１のブロック回路構成図である。計測装置３からの入力を受信するパターン画像入力部５１の出力はセレクタ５２に接続され、不均一補正処理部１６を経て光源制御部１７、表示ユニット１４に接続されている。また、パターン画像生成部５３の出力がセレクタ５２に接続されている。更に、光源制御部１７はピーク輝度検出部５４、光源補正量算出部５５から構成されている。
【００５１】
パターン画像入力部５１は計測装置３から送信されるパターン画像を受信し、画像入力機能と合わせて、後述する補正処理が適用できるフォーマットへの変更機能をも有する。物理的な入力Ｉ／Ｆは計測に要する時間の規定、空間変調器４５の解像度（画素数）及び階調数に適したものが選択されることが望ましい。
【００５２】
セレクタ５２はパターン画像入力部５１を経由して得られる外部生成されたパターン画像と、パターン画像生成部５３で内部生成されるパターン画像の何れかを選択し、利用するシーンや投影するパターンによって切換えて使用することができる。
【００５３】
パターン画像生成部５３は表示ユニット１４で用いるパターン画像を内部で生成する。照明装置１では、外部からの画像入力受け付けの他に、予め定められたパターン光を照明装置１の内部で生成して、選択的に利用できるようにされている。
【００５４】
不均一補正処理部１６において、投影されるパターン画像のピーク輝度のばらつきと空間変調器４５自体に入力する信号値が０の場合の輝度である黒レベルのばらつきの双方を、空間変調器４５が持つ階調表現によって補正処理する。補正処理された投影用パターン画像のデータは、空間変調器駆動回路４６を経て空間変調器４５上の二次元マトリクスに対応した画素上で再現される。
【００５５】
光源制御部１７のピーク輝度検出部５４は不均一補正処理適用後のパターン画像内のピーク輝度を検出し、入力又は生成されたパターン画像のピーク輝度が不均一補正処理によって、どの程度低下したかを検出する。光源補正量算出部５５は低下したピーク輝度を光源ユニット１２の発光量を増加することで、補償する際に必要となる光源光量を算出する。その値を基に光源ユニット１２を発光し、照明光学系１３、空間変調器４５、及び投影光学系１５を経由して、最終的には計測対象物Ｗ上に二次元の投影パターンが結像される。
【００５６】
以上の構成及び処理プロセスによって、三次元計測における計測精度を向上する輝度むらやエッジの位置ずれが少ない二次元パターン光を、照明装置１から投影することができる。
【００５７】
図６は照明装置１のハードウェア構成を示すブロック回路構成図である。バス６１により、照明ユニット１１、ＲＡＭ６２、ＲＯＭ６３、ＣＰＵ６４、Ｉ／Ｆ６５、不均一補正ＬＳＩ６６が接続されている。
【００５８】
ＲＡＭ６２はＣＰＵ６４が各種の処理を行うために用いるワークエリアや、Ｉ／Ｆを介して外部の計測装置３から受信したデータを一時的に記憶するためのエリア等を有する。ＲＯＭ６３は照明装置１における各種制御をＣＰＵ６４に実行させるためのプログラムやデータの他、後述の不均一補正処理で用いる補正用テーブルの値が格納されている。
【００５９】
ＣＰＵ６４は照明装置１の初期設定を始め、各種デバイスの制御を行うプログラムを実行する。Ｉ／Ｆ６５は計測装置３のインタフェースである。不均一補正ＬＳＩ６６は後述する輝度補正処理及び位置ずれ補正処理機能を有し、専用集積回路であるＡＳＩＣを想定しているが、信号処理プロセッサであるＤＳＰによってソフト的に機能を記述し実現する構成でもよい。
【００６０】
計測対象物Ｗの奥行き方向の距離情報を得るために、二次元パターン光を用いる手法はパターン投影法と呼ばれる。このパターン投影法の内、ここで採用する空間符号化法では、周期と位相の異なる複数の二値パターンを投影する。投影するパターン光は、例えば白黒（濃淡）の２階調で表現した二値パターン、同様の二値パターンの白黒の周期が反転した二値パターンなどである。
【００６１】
この二次元パターン光を計測対象物Ｗに投影すると、計測対象物Ｗの表面凹凸や形状に依存してパターンの不連続点や歪みが観測できる。二値パターンでは、この不連続点がエッジの位置ずれに相当する。二値パターンを用いた場合には、三角測量の原理を利用してエッジの位置ずれから奥行き方向の距離を推定する。空間符号化法では、白黒パターンを二値情報として符号化する。符号化方法が異なる、つまり白黒パターンの並び（周期）が異なる投影像を複数回撮像し、それらの画像から計測対象物Ｗの奥行き方向の距離を推定する。
【００６２】
奥行き方向の距離を算出する際には、エッジの位置情報を用いるため、奥行き方向の距離精度は、撮像画像中のエッジの位置精度に大きく影響される。計測装置３の距離計測処理部３１で行われるエッジ位置の判定は、２階調の輝度差によって行われる。二値パターンのエッジ位置精度は、輝度の変化に対して敏感で、奥行き方向の距離を計測する際の精度に影響を与える重要なパラメータとなる。
【００６３】
エッジ位置の近傍の階調が反転する過渡的な領域では、輝度が連続的に変化していると考えられる。二次元パターン光の意図しない輝度変化、所謂輝度むらはこの過渡的な変化経路や階調が飽和する位置を無秩序に変化させる。そのため、この輝度変化はエッジ位置の判定精度を低下させ、即ち真値との誤差を拡大し、最終的には奥行き方向の距離精度を低下させることになる。
【００６４】
図７は撮像装置２のブロック回路構成図である。撮像装置２は前述したように撮像ユニット２３、ＡＦＥ２４、カメラ画像処理部２５、不均一補正処理部２６から成っている。撮像デバイス２２は二次元像を光電変換によって電気的な物理量に変え、ＣＣＤやＣＭＯＳのイメージセンサが用いられる。結像されたパターン画像は撮像デバイス２２内で光電変換され、最終的には電圧の情報となる。撮像画像としてカラー画像が所望される場合に、ここでは単板のイメージセンサの各画素にカラーフィルタが取り付けられたＢａｙｅｒ配列のセンサを想定している。
【００６５】
撮像ユニット２３の撮像デバイス２２の映像出力は、ＡＦＥ２４のＣＤＳ（二重相関サンプリング回路：Correlated double sampling）７１に接続されている。更に、撮像デバイスの映像出力はアナログアンプ７２、ＡＤ変換器７３を経てカメラ画像処理部２５に接続されている。また、ＡＦＥ２４において、タイミングジェネレータ７４の出力は、Ｈ／Ｖドライバ７５を経て撮像ユニット２３の撮像デバイス２２に接続され、更にタイミングジェネレータ７４の出力はカメラ画像処理部２５に接続されている。
【００６６】
ＣＤＳ７１は固定パターンのノイズを除去する。アナログアンプ７２はＣＤＳ７１でノイズ除去されたアナログ信号のゲインを調整する。ＡＤ変換器７３はアナログ信号をデジタル信号に変換する。最終段での出力が８ビットの場合に、通常は後段の処理を考慮して１０〜１６ビット程度に量子化されたデジタルデータに変換し出力する。変換されたセンサ出力データはＲＡＷデータと呼ばれ、ＲＡＷデータは後段のカメラ画像処理部２５で現像処理される。
【００６７】
タイミングジェネレータ７４は撮像デバイス２２のタイミング及び後段のカメラ画像処理部のタイミングを調整する信号を生成する。Ｈ／Ｖドライバ７５は撮像デバイス２２を駆動するための垂直同期信号及び水平同期信号を、センサ駆動に必要な電位に変換する。
【００６８】
カメラ画像処理部２５においては、ＡＦＥ２４のＡＤ変換器７３の出力のＲＡＭデータを黒補正部７６で受信する。黒補正部７６の出力は、ホワイトバランス補正部７７、デモザイキング処理部７８、γ補正部７９、デジタルフィルタ８０を経てＲＧＢデータとして、不均一補正処理部２６に送信されるようになっている。
【００６９】
黒補正部７６は単一画素処理の１つであり、光学的に遮光した黒補正データとＢａｙｅｒ配列の画素とで減算処理を行う。ホワイトバランス補正部７７は単一画素処理の１つであり、計測対象物Ｗを照明する照明の色温度によりＲＧＢのゲインを調整することによって、望ましい白色を再現する。具体的には、ホワイトバランス補正用データとの加算処理によって実現するが、単色の画像を取り扱う場合はこの処理は不要となる。
【００７０】
デモザイキング処理部７８はＢａｙｅｒ配列の画像データをＲＧＢ各色の全画素化を実現するための補間処理を行い、Ｂａｙｅｒ配列の各色フィルタで分解された画像に対して、周辺の同色や他色から注目画素の値を推測して補間処理する。ここでは、欠陥画素の補間処理も合わせて実現するが、撮像デバイス２２にカラーフィルタがなく単色の処理となる場合は、ホワイトバランス補正部７７と同様に処理は不要となる。
【００７１】
γ補正部７９は一般的な画像表示系の階調表現特性に合わせて、逆特性を加味する処理を実施する。高輝度部の階調圧縮や暗部処理によって、人間の視覚特性に合わせた階調変換を行う。本実施例では、マシンビジョンによる計測処理を目的とした画像取得のため、後段の計測処理に適した階調変換を行う。デジタルフィルタ８０は画像に含まれる高周波成分の抑制やノイズ除去及び解像感強調を実現する。
【００７２】
一般的なカメラ画像処理機能としては、ＲＧＢ信号をＹＣＣ等の輝度色差信号に変換する色空間変換や、大容量の画像データを圧縮する処理も含まれるが、本実施例ではＲＧＢデータを直接使用し、かつデータ圧縮を行わないものとする。また図示は省略しているが、撮像装置２の制御を行う撮像制御部が存在し、撮像デバイス２２の動作制御や、シャッタ速度、フレームレートやＲＯＩ（Region Of Interest）など動作タイミングの制御も合わせて行う。
【００７３】
不均一補正処理部２６においては、カメラ画像処理部２５から送信されたＲＧＢデータをバッファ８１で受信し、バッファ８１の出力は周辺減光補正処理部８２に接続されている。また、補正用テーブル８３の出力が周辺減光補正処理部８２、歪曲収差補正処理部８４に接続されている。周辺減光補正処理部８２の出力は歪曲収差補正処理部８４とセレクタ８５に並列して接続され、歪曲収差補正処理部８４の出力はセレクタ８５に接続されると共に、位置ずれ情報として計測装置３に出力されている。更に、セレクタ８５の出力は補正画像として計測装置３に出力されている。
【００７４】
バッファ８１はＲＧＢの色成分を持つ画素から成る画像データを格納する。周辺減光補正処理部８２は、撮像光学系２１の影響によって、撮像画像周辺部の光量（輝度値）が落ちることを補正する。歪曲収差補正処理部８４は同様に撮像光学系２１の影響によって周辺部の結像位置のずれを、撮像画像に対して補正処理する。ＲＧＢのカラー画像を取り扱う場合は、各色の歪曲収差である倍率色収差を補正する。
【００７５】
また、計測装置３内の距離計測処理部３１で、直接位置ずれを考慮した奥行き方向の距離計測を行う際に必要となる任意の画素の結像位置ずれ量を別途出力する。この結像位置ずれ量は歪曲収差補正の過程で算出される値である。
【００７６】
補正用テーブル８３は周辺減光補正処理部８２及び歪曲収差補正処理部８４で用いる空間的な固定変動値を補正値として格納している。設計値や工場出荷時の調整値を格納することを想定しているが、キャリブレーションによって取得した補正値の更新値を反映する構成としてもよい。
【００７７】
セレクタ８５は補正画像出力として、周辺減光補正処理適用後の画像か、歪曲収差補正処理を適用した画像の何れかを選択して出力する。
【００７８】
計測対象物Ｗからの反射光又は透過光であるパターン画像は、撮像デバイス２２面上に結像し二次元パターン画像として取得される。取得されたパターン画像は、ＡＦＥ２４を介してデジタルの画像に変換された後に、カメラ画像処理部２５でＲＧＢのカラー画像として再構成される。その後に、計測処理に適した輝度むらや結像位置ずれの少ない画像へと各種処理の適用によって補正され、補用後の画像が計測装置３に送られる。
【００７９】
以上の構成及び処理のプロセスによって、輝度むらや位置ずれの少ない二次元パターン画像を撮像装置２で取得、生成することができ、三次元計測における計測精度が向上する。
【００８０】
図８は照明装置１内の不均一補正機構のブロック回路構成図である。不均一補正処理部１６においては、画像バッファ９１は映像入力信号を受信し、その出力は輝度補正処理部９２を介して位置ずれ補正処理部９３、セレクタ９４及び光源制御部１７に接続されている。位置ずれ補正処理部９３の出力はセレクタ９４に接続され、表示ユニット１４に接続されている。
【００８１】
画像バッファ９１は画像データを格納し、輝度補正処理部９２は照明光学系１３、投影光学系１５、及び空間変調器４５で生ずる輝度の変化を補正し、投影面上での輝度むらを抑制する。
【００８２】
位置ずれ補正処理部９３は歪曲収差の影響によって生ずる投影面上での結像位置ずれを抑制する。セレクタ９４は補正処理されたパターン画像として、輝度補正処理適用後の画像と、輝度補正処理適用画像に対して更に位置ずれ補正処理を適用した後の画像の何れかを選択し出力する。
【００８３】
不均一補正処理部１６に入力された映像信号は、画像バッファ９１を介して輝度補正処理部９２に送られ、輝度むらの補正が実施される。入力信号への適用と合わせて光源光量調節用に補正値を送る。輝度補正後に、位置ずれ補正適用が必要な場合は補正処理を適用した後に表示ユニット１４に送られ、空間変調器４５上で画像を形成する。形成された画像は投影光学系１５を介して計測対象物Ｗに投影される。
【００８４】
図９は光源光量調節機構の説明図である。図９（ａ）は空間変調器４５上の輝度値を示し、階調制御を用いた輝度補正を適用した例、図９（ｂ）は投影面上の輝度を、光源光量調節による光量アップの制御を組み合わせた例を示している。
【００８５】
図９（ａ）の横軸は任意の１ラインの座標を、縦軸は横軸に示された画素に対応する空間変調器４５上での輝度値（階調値）を示している。（ｂ）の横軸は（ａ）に対応する任意の１ラインの座標を、縦軸は計測対象物Ｗの投影面上での輝度の大きさを示している。
【００８６】
輝度補正に際して、先ず１ライン中の輝度変化を確認し、同一の輝度が所望される値に対して、投影面上で最も輝度が小さくなる画素の輝度値を均一性が補償できる最大の輝度値として設定する。次に、最大の輝度値よりも投影面上では明るくなる画素に対して、投影面上で均一となるように前ステップで把握した最大の輝度値まで下げることによって、均一性を補償する。表示輝度の低下は空間変調器４５の持つ階調表現機能を用いて補償される。
【００８７】
ここでは、空間変調器４５が８ビットの階調を持つものと仮定する。空間変調器４５内では、８ビットの階調で表現できる最大値である２５５の値つまり図９（ａ）のＣで示される輝度値で二値パターンの内の輝度の高いパターンを形成する。投影面では各種光学系などの影響によって、（ｂ）のＣ’に示されるように１ラインの中では輝度が変化する。
【００８８】
この内、最も輝度が最も低下する画素位置の輝度を、空間変調器４５で表現できる最大輝度値つまり図９（ｂ）のＤ’として設定する。投影面上でＤ’の輝度を実現するためには、空間変調器４５上では（ａ）のＤのような輝度分布となる。中央部の輝度値を２５５（Ｃ）から２００（Ｅ）に下げることで投影面上では均一なラインを投影することが可能となる。
【００８９】
輝度変換による補正後の最大輝度値は、投影面上ではＦからＤ’へと下がるため、輝度のダイナミックレンジは低下する。ここでは説明の簡略化のため、任意の１ラインを取り上げたが、実際にはパターン画像を構成する全ての画素を対象とした処理を行う。
【００９０】
光源光量調節は投影面上で均一ながら低下した輝度Ｄ’を光源の光量をアップさせることで実現する。図９（ｂ）における輝度Ｄ’をＦに引き上げることがそれに相当する。低下した輝度のダイナミックレンジを補うために光源光量を増加し、本来空間変調器４５で表現可能な最大輝度値であるＣと同等の輝度Ｆを均一に投影させることができる。
【００９１】
ここまでは、最大輝度が均一となる補正の概念について説明したが、空間符号化法においては、黒レベルの均一性も重要となる。黒レベルの輝度分布も輝度の値は異なるものの、任意の１ラインの座標上ではばらつくことになる。このばらつきを抑制するために、今度は黒レベルのライン上で最も高い輝度に合わせて、低い輝度の値を階調表現によって上げることで均一性を補償する。
【００９２】
空間変調器４５で０として表現される黒レベルは、投影面上では図９（ｂ）のＧで表される輝度分布となる。これを投影面上で均一となるＨ’の値とする場合に、空間変調器４５上では（ａ）のＨの輝度分布を再現すればよい。そのとき、周辺部では輝度値を０からＩの値への引き上げることで、投影面上では均一なラインを投影することが可能となる。
【００９３】
輝度のダイナミックレンジはピーク輝度、黒レベル双方の補正処理によって図９（ｂ）のＪに示すように低下する傾向にある。しかし、光源光量の調節によって十分な輝度が確保される場合は、ピーク輝度と黒レベルＫの差であるコントラスト差であるダイナミックレンジはＬとなり、十分な値を確保することができる。また、照明装置１の電気系のノイズの影響を受け難い均一なパターンの投影により、位相が反転するパターンの交点であるエッジ位置の推定精度を上げることになる。
【００９４】
このように、照明装置１側で輝度補正を実施する際に、空間変調器４５の階調制御と光源光量制御の組み合わせが有効であることを説明した。その結果、ダイナミックレンジを確保した二次元パターン投影が実現でき、２階調の輝度差、又は２階調間の輝度変化の過程からエッジの位置を推定する空間符号化においては特に有効となる。更には、黒レベルの補正も合わせて行うことで、ノイズの影響を受け難くし、結果として距離計測精度の向上を実現することができる。
【００９５】
図１０は照明装置１内の不均一補正処理の動作フローチャート図である。ステップＳ２０１では、投影するパターンが単色か、複数色から成るカラーパターン画像かを判断する。単色の場合はステップＳ２０４に、カラーパターンの場合はステップＳ２０２にそれぞれ進む。
【００９６】
ステップＳ２０２では、構成される画素の情報を各色プレーン、色ごとに分離する。なお、ここではＲＧＢの三原色で分離しているが、補正用テーブル自体が他の色のずれ量を示す補正データである場合は、ＲＧＢ以外の色に分離する構成でもよい。
【００９７】
ステップＳ２０３では、照明光学系１３、投影光学系１５、空間変調器４５で生ずる輝度の変化を補正し、投影面上での輝度むらを抑制する輝度補正処理を行う。処理の詳細については図１３を用いて説明する。
【００９８】
ステップＳ２０４では、輝度補正処理に続いて位置ずれ補正処理を行うか否かを判断する。計測装置３内の距離計測処理部３１においては、補正処理適用後の画像を対象に距離計測を行う場合と、輝度補正処理のみ適用された画像と位置ずれの情報を基に距離計測を行う場合とが想定される。位置ずれ補正処理を行う場合はステップＳ２０５に、行わない場合には処理を終了する。
【００９９】
ステップＳ２０５では、歪曲収差の影響によって投影面上での結像位置ずれを抑制する位置ずれ補正処理を行った後に処理を終了する。処理の詳細については後述する。なお、カラーパターンの場合は色結合を行ってから処理を終了する。
【０１００】
図１１は輝度補正機構のブロック回路構成図である。不均一補正処理部１６の輝度補正処理部９２において、更新情報を受信する補正値更新部１０１の出力は輝度むら補正用テーブル１０２、補正値選択部１０３、補正値統合部１０４、補間処理部１０５を経て補正値算出部１０６に接続されている。また、輝度むら補正用テーブル１０７の出力は補正値選択部１０８を介して補正値統合部１０４に接続されている。補正値算出部１０６には局所変動補正用テーブル１０９の出力も接続されており、補正値算出部１０６の出力は補正処理部１１０に接続されると共に、ピーク輝度検出部５４に接続されている。補正処理部１１０には画像バッファ９１の出力も接続され、補正処理部１１０の出力は位置ずれ補正処理部９３に接続されている。
【０１０１】
補正値更新部１０１は光源ユニット１２の輝度むらの補正値を更新し、通常では光学系で生ずる輝度むらは固定値となる。しかし、光源デバイス４１が複数個で構成される場合は、光源光量を増大させる際に、選択する光源デバイス４１の個数変化や各光源デバイス４１の特性ばらつきが所望の光量において既定値からずれることが想定され、これらを考慮して補正値を更新する。黒レベル補正についても同様であり、以後の説明では省略する。
【０１０２】
参照テーブルである輝度むら補正用テーブル１０２は、光源ユニット１２及び照明光学系１３に関わる輝度むらを補正するための補正値を格納し、代表点の座標（画素のアドレス）に対応する変換後の輝度値を算出するための補正値を格納する。輝度むら補正用テーブル１０２はカラーパターンの場合に、容量削減のため特定色の変換後の輝度値又は輝度値を算出するための補正値と、特定色を除く他色はこの特定色を基準とした差分を格納している。カラー、単色何れの場合も容量削減のため、空間変調器４５の各画素に対応する輝度の補正値ではなく、サンプリングした特定の画素つまり代表点に対応した補正値を格納している。
【０１０３】
補正値選択部１０３は補正値を選択し、空間変調器４５の代表点を決定し、代表点上の変換されるべき輝度値（輝度の比の値）を輝度むら補正用テーブル１０２から読み出す。補正値選択部１０３では、代表点に対応する輝度変換値である補正値を読み出すことになる。
【０１０４】
補正値統合部１０４は補正値選択部１０３及び補正値選択部１０８で選択された補正値を統合し、光学系では連続した滑らかな輝度変化となることを利用して、後段の補間処理によって代表点間の各画素における補正値を算出する。
【０１０５】
補間処理部１０５は補正値統合部１０４で統合された補正値を基に、輝度変換によって補正される輝度値又は輝度値を算出するための補正値をラグランジュ（Lagrange）補間により演算する。ラグランジュ補間式を用いた補間演算の詳細については後述する。
【０１０６】
補正値算出部１０６はラグランジュ補間によって算出した各画素の補正値と局所変動補正用テーブル１０９から読み出した補正値を統合する。ここで得られた補正値を基に、入力されたパターン画像に対して補正処理を適用する。各画素の補正値はベースとなる入力データに対する割合として算出される。本来のピーク輝度がどの程度まで下がるかを判断するための値として、ピーク輝度検出部にも送る。
【０１０７】
輝度むら補正用テーブル１０７は投影光学系１５に関わる輝度むらを補正するための補正値を格納している。補正値選択部１０８は投影光学系１５の輝度むらを補正するための補正値を選択し、その読み出し方は補正値選択部１０３と同様である。
【０１０８】
局所変動補正用テーブル１０９は空間変調器４５の画素間の特性変動を補正するための補正値を格納している。空間変調器４５の画素間の変動は小さいものの、高精度の三次元計測を実現する上で無視し得ない値となる場合もある。空間変調器４５は光学系と異なり画素間の関連が薄いため、上述した代表点の指定とその間を補間処理によって補う構成は取ることができない。従って、空間変調器４５の全ての画素、又は特に値の異なる画素に対して、アドレス座標（ｘ，ｙ）と補正値をペアにして格納する構成としている。
【０１０９】
補正処理部１１０は補正値算出部１０６で得られた補正値を基に、入力されたパターン画像の輝度むらを補正する。補正値が入力値に対する比で表せる場合は、入力データに対して補正値を乗算し、最終的な輝度値を決定し、補正処理は全ての画素に対して適用される。
【０１１０】
このように輝度補正処理部９２では、光源ユニット１２、照明光学系１３、投影光学系１５の各補正値を統合し、ラグランジュ補間によって代表点以外の画素における輝度むら補正の補正値を演算する。その後に、局所変動補正用テーブル１０９の値と統合して最終的な各画素の輝度むらを補正するための補正量を得る。得られた補正量を基に、空間変調器４５の全画素に対して輝度むらの補正を適用することで、ピーク輝度、黒レベルとも計測対象物Ｗ上の投影面で均一となるパターン投影を行う。
【０１１１】
図１２はラグランジュ補間曲線のグラフ図である。図１２（ａ）はラグランジュ多項式の三次補間式で表される曲線の他、比較用の補間曲線及び直線を示している。軸上の補間点ｘは画素間隔で正規化した値であり、波線で示すＭは線形補間（一次補間）の直線、一点鎖線で示すＮは三次補間曲線の中でも尖鋭度の高いバイキュービック（bicubic）補間曲線、実線で示すＯは対象のラグランジュ補間曲線である。周囲の参照点と新たなポイントである補間点ｘにおける補間値ｙの関係式は、それぞれ次式の定義する数式で表される。なお、補間演算の概念については後述する。
【０１１２】
線形補間直線（リニア、周囲４点から直線補間）
［０≦ｘ≦１］ ｙ＝１−ｘ ・・・（１）
［１≦ｘ≦２］ ｙ＝０ ・・・（２）
バイキュービック補間曲線（周囲１６点から双三次補間）
［０≦ｘ≦１］ ｙ＝１−２ｘ2＋ｘ3 ・・・（３）
［１≦ｘ≦２］ ｙ＝４−８ｘ＋５ｘ2−ｘ3 ・・・（４）
ラグランジュ補間曲線（周囲１６点から双三次補間）
［０≦ｘ≦１］ ｙ＝(１／２)(ｘ−１)(ｘ＋１)(ｘ−１)
＝１−(１／２)ｘ−ｘ2＋(１／２)ｘ3 ・・・（５）
［１≦ｘ≦２］ ｙ＝−(１／６)(ｘ−３)(ｘ−２)(ｘ−１)
＝１−(１１／６)ｘ＋ｘ2−(１／６)ｘ3・・・（６）
【０１１３】
図１２に示すように、同じ双三次補間曲線であるバイキュービック補間曲線Ｎと比べて、ラグランジュ補間曲線Ｏは線形補間に近いカーブを描く曲線となっている。これは画像に対して、この補間曲線を適用した補間処理を行った場合には尖鋭度が低くなる、つまりぼけた画像になることを示し、バイキュービック補間曲線Ｎとして有名なｓｉｎｃ関数に近い軌跡を描く。
【０１１４】
図１２（ｂ）は画像に対して適用した際の尖鋭度と対象となる曲線と線形補間直線とに囲まれる部分の面積との関係を示している。ここでは、例としてバイキュービック補間曲線を示し、斜線で示すＰは各軸と線形補間直線とに囲まれる部分で、面積は０．５である。
【０１１５】
これに対してバイキュービック補間曲線Ｎは補間点ｘが１までの間では直線より上に、１と２の間では直線より下に軌跡を描く。このとき、０≦ｘ≦１の範囲で曲線と直線に囲まれる部分の面積をＱ、１≦ｘ≦２の範囲で曲線と直線に囲まれる部分の面積をＲとすると、それぞれの面積は各区間内の定積分として求めることができる。
【０１１６】
以下にバイキュービック補間曲線Ｎとラグランジュ補間曲線Ｏにおける面積の計算式とその値を示す。
【０１１７】
バイキュービック補間曲線（周囲１６点から双三次補間）
［０≦ｘ≦１］
【０１１８】
［１≦ｘ≦２］
【０１１９】
ラグランジュ補間曲線（周囲１６点から双三次補間）
［０≦ｘ≦１］
【０１２０】
［１≦ｘ≦２］
【０１２１】
この結果から分かるように、バイキュービック補間、ラグランジュ補間は、それぞれ面積ＱとＲは同じ面積となる。
【０１２２】
面積Ｑ及びＲの値が大きいほど、画像に対する補間処理においては尖鋭効果を生む結果となる。逆に、座標変換時の補間処理のように連続性が求められる処理においては、数値が大きいほど変換誤差が大きくなる傾向にある。何れの曲線、直線もｘ＝１に変曲点を持つが、三次曲線では比較的滑らかに繋がる。
【０１２３】
線形補間直線は変換誤差の点では理想的に見えるが、変曲点による不連続さによって変換誤差が局所的に大きくなる傾向がある。総じて、三次曲線を含めた変曲点を滑らかに繋ぐ、自由曲線の方が変換の誤差が小さくなる。
【０１２４】
以上２つの傾向により、変換誤差が小さくなるのは線形補間直線の値に近く、かつ変曲点において滑らかな繋がりを持つ曲線となる。この場合に、ラグランジュ補間曲線は理想的である。
【０１２５】
なお、他の三次補間曲線は尖鋭度及びｘ＝０のときの値によって、次のように分類できる。
【０１２６】
Bicubic,sinc： 尖鋭度 高、ｘ＝０のときｙ＝１
Lanczos，Hermit： 尖鋭度 中、ｘ＝０のときｙ＝１
Michell，Bell，B-Spline： 尖鋭度 小、ｘ＝０のときｙ≠１
【０１２７】
このように数ある補間曲線の内で、光学系の補間処理に用いて変換精度を最も小さくできる傾向を示す曲線は、ラグランジュ補間曲線である。
【０１２８】
シミュレーションの結果として、レンズの光学設計値を用いた各種補間曲線採用時の座標変換誤差を、代表点の間隔を変えたもので比較すると、次表のようになる。
【０１２９】
補間曲線（直線） 代表点間隔 変換誤差（１０-4画素間隔）
平均値 最大値
線形（リニア） ３２×３２ ３８９ １３９７
６４×６４ １６１３ ５２０４
バイキュービック ３２×３２ １２７６ ８１７４
６４×６４ ３１２６ １７８２６
スプライン ３２×３２ ７６ ２５３
６４×６４ ２９２ ９２９
ラグランジュ ３２×３２ ３ ３４
６４×６４ ３６ １６８
多項式（１２次） − ３９ １３９
【０１３０】
この表に示すように、サンプリング間隔である代表点の間隔を広げると、急激に変換精度が低下するのが通常であるが、ラグランジュ補間曲線においては、変換誤差を小さくした状態を維持していることが明らかである。ここでは比較対象として、１２次の係数を持つ多項式近似による結果も付記しているが、６４画素間隔、つまり通常使用できる範囲の４倍程度の間隔でも、この多項式近似と同程度の変換誤差を実現できる。
【０１３１】
このように、座標変換時の補間処理にラグランジュ補間曲線を採用することで、同一の代表点間隔であれば圧倒的に変換誤差を小さくすることが、また同一の変換誤差であれば代表点間隔を大きく広げることが可能である。その結果、補正用テーブルサイズの削減、即ちメモリ容量を大幅に少なくすることができると同時に、メモリアクセス頻度も少なくなることから、設計の自由度、回路規模の低減、ひいては消費電力を下げ、小型化に寄与することが可能となる。
【０１３２】
補間位置における新たな画素値を算出する補間処理として、三次補間の概念を説明する。ここでは画素値をアドレス座標として、後述する位置ずれ補正の座標変換を例とする。輝度変換の場合の画素値は輝度値又は輝度比となる。
【０１３３】
二次元座標系における表示中心座標（ｘ０，ｙ０）を原点とするレンズの歪曲収差情報、色収差情報及び解像度情報により、二次元座標系における各画素のそれぞれの位置における位置ずれ量を求める。即ち、座標変換処理は位置ずれ量だけ、補正するためのｘ軸方向、ｙ軸方向のそれぞれの座標変換量を画素毎に求める。
【０１３４】
座標変換した各画素各色の位置と色情報を基に、二次元座標系における各画素の本来の位置の画素データつまりＲＧＢの各値を補間演算によって求める。補間演算においては、補間画素Ｓの座標（ｓｘ，ｓｙ）を指定し、先ず参照点と補間画素との正規化された距離ｐｘとｐｙが求める。その後に、得られた距離ｐｘとｐｙを用いた重み係数を各座標（ｘ，ｙ）において求める。その際に使用する三次関数は、前述した各三次式による補間曲線となり、バイキュービック補間であれば、前述の式（３）及び式（４）、ラグランジュ補間であれば式（５）及び式（６）が該当する三次補間式となる。
【０１３５】
ｘ、ｙのそれぞれの座標に対して上記三次式にｐｘとｐｙの値を代入し、参照点の重み係数を算出する。なお、ｐｘとｐｙは正規化を行っており、例えば参照点である代表点の間隔が１６画素おきであれば、１６画素の距離で正規化を行うことになる。
【０１３６】
補間画素Ｓの周囲の点線で囲まれた部分が正規化された１の領域とすると、ｙとｙ＋１の軸及びｘとｘ＋１の軸上に存在する４つの参照点と補間画素との距離ｐｘ、ｐｙは、共に１よりも小さくなる。
【０１３７】
逆に、その周りの１２画素は１と２の間の値とする。最近傍４画素の重み付け係数演算の際に使用する三次式は、バイキュービック補間であれば式（３）に、ラグランジュ補間であれば式（５）となる。外周１２画素の重み付け係数演算の債に使用する三次式は、バイキュービック補間であれば式（４）に、ラグランジュ補間であれば式（６）となる。これらの重み係数をｘ方向、ｙ方向それぞれ求めた後に、参照点の画素値とこれらｘとｙの重み係数を掛け合わせたものを周囲１６画素で加算した値が、補間画素における新たな画素値となる。
【０１３８】
なお、ここでは色収差補正を前提に各色で座標を求め、補間演算を行うことを想定しているが、歪曲収差のみ、つまり歪みの補正を行う場合も同様である。その場合は各色を分離せず、１つの画素として補間演算処理を行うことになる。
【０１３９】
本実施例の特徴である輝度変換の場合は、変換する値が座標ではなく輝度の変化量となる。補正値としては位置ずれ量の代りに、低下する輝度値（差分）、低下後の輝度値（絶対値）、又は低下前後の輝度値の比を使用する。
【０１４０】
図１３は実施例１における輝度補正処理の動作フローチャート図である。ステップＳ３０１では、光源光量変動に伴って、光源ユニット１２で生ずる輝度むらの補正値を変更する必要があるか否かを判断する。変更する必要がある場合はステップＳ３０２に、必要がない場合はスキップしてステップＳ３０４にそれぞれ進む。
【０１４１】
ステップＳ３０２では、更新された光源ユニット１２で生ずる輝度むらの補正値を取得する。ステップＳ３０３では、ステップＳ３０２で取得した更新値によって、照明光学系１３で生ずる輝度むらの補正値と統合して補正値を更新する。
【０１４２】
ステップＳ３０４では、光源ユニット１２及び照明光学系１３に関わる輝度むらを補正するための補正値を選択する。空間変調器４５の全画素の中から代表点を決定し、代表点上の変換される輝度値（実際には輝度比や輝度差）である補正値を、参照テーブルである輝度むら補正用テーブル１０２から読み出す。
【０１４３】
ステップＳ３０５では、投影光学系１５に関わる輝度むらを補正するための補正値を選択する。なお、ステップＳ３０４とステップＳ３０５は処理の順番が入れ換わってもよい。
【０１４４】
ステップＳ３０６では、光源ユニット１２、照明光学系１３、及び投影光学系１５で生ずる輝度むらを補正するための各補正値を統合する。ステップＳ３０７では、統合された補正値を基に、ラグランジュ補間による補間演算によって輝度変換後の輝度値を算出するための補正値を得る。算出の基となる補正値は代表点のものであり、代表点の間に存在する各画素の補正値をラグランジュ補間によって演算する。
【０１４５】
ステップＳ３０８では、空間変調器４５の画素間の特性変動を補正するための補正値を格納した局所変動補正用テーブル１０９から補正値を取得する。
【０１４６】
ステップＳ３０９では、ラグランジュ補間によって算出した各画素の補正値と局所変動補正用テーブル１０９から読み出した補正値を統合する。ここで統合した補正値は、光源制御部１７内のピーク輝度検出部５４においても使用する。
【０１４７】
ステップＳ３１０では、ステップＳ３０９で得られた補正値を基に、入力されたパターン画像の輝度むらを補正する。例えば、補正値が輝度変換処理の適用時の輝度の比を表す場合は、入力データに対して補正値を乗算し、最終的な輝度値を決定する。この補正処理は全ての画素に対して適用される。
【０１４８】
図１４は位置ずれ補正機構のブロック回路構成図である。位置ずれ補正処理部９３において、収差補正用テーブル１１１の出力は補正値選択部１１２を経て座標値算出部１１３に接続されている。座標値算出部１１３の出力は画素補間処理部１１４に接続すると共に、位置ずれ量情報として出力している。また、画素補間処理部１１４には輝度補正処理部９２の出力も接続され、画素補間処理部１１４の出力はセレクタ９４に出力されている。
【０１４９】
収差補正用テーブル１１１は歪曲収差を補正するためのものであり、参照点の座標に対応する変換後の座標値を算出するための補正値を格納している。カラーパターンの場合には、容量削減のため特定色の変換後の座標と、特定色を除く他色はこの特定色を基準とした差分を格納しているものとする。カラー、単色何れの場合も容量削減のため、空間変調器４５の各画素に対応する輝度の補正値ではなく、サンプリングした特定の画素に対応した補正値を格納している。
【０１５０】
補正値選択部１１２は位置ずれ補正のための補正値を選択し、表示する画素の代表点を決定し、代表点が変換される座標を参照テーブルである収差補正用テーブル１１１から読み出す。補正値選択部１１２では、代表点の元座標と対応する変換座標を算出するための補正値を読み出す。
【０１５１】
座標値算出部１１３は補正値選択部１１２で選択された補正値を基に、変換後の座標を演算するラグランジュ補間し、座標値算出部１１３ではラグランジュ補間式を用いた補間演算によって変換後の各座標を求める。
【０１５２】
画素補間処理部１１４は座標値算出部１１３で得られた変換後の各座標と、入力画像の各画素それぞれの輝度値を基に、補間位置における新たな輝度情報を算出する。なお、ここで云う補間位置は、空間変調器４５面上の画素の位置を示す。
【０１５３】
図１５は位置ずれ補正処理の動作フローチャート図である。ステップＳ４０１では、構成される画素の情報を各色プレーン、色ごとに分離する。なお、ここではＲＧＢの三原色で分離しているが、補正用テーブル自体が他の色のずれ量を示す補正データである場合は、ＲＧＢ以外の色に分離する構成でもよい。色分離を必要としない単色画像の場合は処理をスキップする。ステップＳ４０２では、座標変換用の代表点の補正値を取得する。
【０１５４】
ステップＳ４０３では、各画素の結像点がどの位置にずれるのか、又は理想的な結像点に導くためにどこに画素を配置すればよいのかを示す変換後の座標を算出する。ここでも、これまでと同様に、三次補間式としてラクランジュ補間を想定している。座標変換の詳細については後述する。
【０１５５】
ステップＳ４０４では、補間処理に必要な入力画像内の参照画素の輝度値とステップＳ４０３で算出した変換後の座標を取得する。ステップＳ４０５では、ステップＳ４０４で得られた変換座標と参照画素が持つ画素情報を基に新たな補間位置における画素の値を画素補間によって再構成する。
【０１５６】
ステップＳ４０６では、色毎に座標変換、画素補間を行ってきた画素の色情報を基に、新たな画素の色情報の再結合を行う。単色画像の場合は処理をスキップする。
【０１５７】
撮像光学系では緑色の像に対して、赤色の像は外側に、青色の像は内側に結ぶ現象が起こり、白黒の被写体であってもその像のエッジに色滲み、つまり色ずれが生ずる。カラー画像の被写体であっても、境界領域等の色味が変わるエッジ部分では同様な色滲みが生ずる。
【０１５８】
実レンズにおける結像においては画像が歪み、色によって結像位置（倍率）が異なる現象が生ずる。単色における前者を歪曲収差と呼び、色の違いによる倍率の差を倍率色収差と呼ぶ。
【０１５９】
光の屈折は波長が短いほど顕著で、上述の凸レンズをイメージした撮像光学系では外側に赤色がずれるが、拡大光学系である表示光学系では逆に青色が外側にずれることになる。電子的な収差補正処理では、ずれ方向と逆方向にずれるように補正を行うことになる。例えば、投影光学系１５の収差補正であれば、青色を内側に、赤色を外側に配置するような画像を形成することで、光学系の収差と相殺して、瞳位置では各色のずれのない好ましい画像を得ることができる。
【０１６０】
図１６は収差補正用テーブルの説明図であり、収差補正用テーブル１１１には、変換前座標である参照位置のアドレスと変換後の座標アドレスの差分値が組として格納されている。参照するアドレスにより、所望の画素のＸＹ座標を指定することによって、基準色（本実施例ではＧ：緑）は変換後の座標を、基準色以外の他色（Ｒ：赤とＢ：青）については基準色との差分値（テーブル格納値）を得ることができる。Ｒの座標は格納されているＧとの差分値Ｔ（Ｇｘ―Ｒｘ）とＧの変換後の座標Ｇｘから、Ｂの座標は格納されているＧの差分値Ｕ（Ｂｘ―Ｇｘ）と同様に、Ｇの座標Ｇｘからそれぞれ求めることになる。
【０１６１】
本実施例では変換前の座標についても、テーブルとして構成する形態としているが、変換前の座標をメモリアクセス時のアドレスと対応付けることによって、変換前座標をメモリ領域にとる必要がなくなり、メモリサイズを更に削減することが可能である。
【０１６２】
図１７は座標変換処理の動作フローチャート図である。ステップＳ５０１では補間画素のアドレスとなる補間位置における座標を指定し、ステップＳ５０２では代表点である参照画素の座標を指定する。ここでは、参照画素の指定をステップＳ５０１より後段の処理としているが、ステップＳ５０１とステップＳ５０２では順番を入れ換えてもよい。
【０１６３】
ステップＳ５０３では、代表点である参照画素の変換後のアドレスを得るために必要な補正値を収差補正用テーブル１１１から取得する。ステップＳ５０４では、ステップＳ５０３で得られた収差補正用テーブル１１１に格納されている値、即ち歪曲収差であれば画素のずれを取得する。例えば、色収差であれば各色の変換後の座標を算出するための色ずれ量を基に、代表点である参照画素におけるそれぞれの色の変換後の座標を取得する。なお、格納されている収差補正用テーブル１１１で示される代表点は、各画素の代表値となる間引きされた画素であるため、その間の値は補間演算によって算出することになる。この補間演算にラグランジュ補間式の三次式までを適用する。
【０１６４】
ステップＳ５０５では、処理対象となる全画素に対して上記の座標変換処理を実行したかどうかを判断する。全画素に対して処理が終了している場合は座標変換処理を終了する。終了していない場合は先頭に戻って、対応する画素の収差を補正するための座標変換演算を繰り返し実行する。なお、画素補間処理の動作としては一般的な処理を用いる。
【０１６５】
一般的な処理では、新たに補間を行う位置である座標の近傍に参照画素を指定し、補間曲線又は直線に新たに補間を行う位置と参照画素との距離を代入して、各参照画素の重み係数を求める。そして、各参照画素の値と座標（ｘ，ｙ）における重み係数の積を加算し、補間画素の値を演算する。
【０１６６】
図１８は撮像装置２内の不均一補正処理の動作フローチャート図である。ステップＳ７０１では、構成される画素の情報を各色プレーン、色ごとに分離する。なお、ここではＲＧＢの三原色で分離しているが、補正用テーブル自体が他の色のずれ量を示す補正データである場合はＲＧＢ以外の色に分離する構成でもよい。色分離が必要のない単色画像の場合は処理をスキップする。
【０１６７】
ステップＳ７０２では、周辺減光補正用の補正値を取得する。変換後の輝度値又は変換後の輝度の値を示す比の値を補正値として取得する。ステップＳ７０３では、減光を考慮した輝度値の補正を行うための各点の補正値を代表点からのラグランジュ補間によって算出する。代表点のみの補正値を格納しているのはメモリ容量削減のためであり、代表点間の各画素の補正値を三次補間式であるラグランジュ補間による演算で算出する。ステップＳ７０４では、入力画像から参照画素の輝度値とステップＳ７０３で算出した変換後の輝度値を取得する。
【０１６８】
ステップＳ７０５では、ラグランジュ補間式等の三次補間式による補間演算処理によって画素の値である輝度値を算出する。ここではラグランジュ補間式を想定しているが、他の三次式でも支障はない。また、代表点の間隔が狭い場合は線形補間等で代用しても、或る程度の精度を実現することが可能である。
【０１６９】
ステップＳ７０６では、撮像光学系２１で生ずる歪曲収差の影響を補正するための位置ずれ補正処理を行う。処理の概要は図１５の動作フローチャート図と同様である。ステップＳ７０７では、位置ずれ補正まで適用した画像の出力が必要か否かを判断する。適用後の画像が必要な場合はステップＳ７０８に進み、周辺減光補正処理を適用しただけの画像でよい場合はステップＳ７０９に進む。ステップＳ７０８では、位置ずれ補正の適用を受けて、ステップＳ７０８で補正処理した位置ずれ補正処理適用画像を選択し出力する。
【０１７０】
ステップＳ７０９では、計測装置３内の距離計測処理部３１において使用する情報用に、ステップＳ７０６の補正処理過程で得られた位置ずれ情報を出力する。
【０１７１】
ステップＳ７１０では、距離計測処理部３１で使用する画像として、周辺減光補正処理のみ適用した画像を選択し出力する。ステップＳ７１１では、色毎に座標変換、画素補間を行ってきた画素の色情報を基に、新たな画素の色情報の再結合を行う。単色画像の場合はこの処理をスキップする。
【０１７２】
このように、照明ユニット１１内の構成要素である光源デバイス４１の階調表現機能を利用して、画素単位で輝度の不均一性を補正する際に低下する照射光量を光源光量調節で補償することで、コントラストの高いパターン投影を実現する。
【０１７３】
特に、空間符号化法パターンによる照明時の均一性をピーク輝度と黒レベル双方の均一化によって確保し、高精度な計測を実現すると共に、精度の良い不均一補正を少ないメモリ構成で、かつ比較的簡易な回路規模で実現することができる。
【実施例２】
【０１７４】
図１９以下は実施例２を示している。実施例１では撮像装置２の輝度むら補正、位置ずれ補正を撮像装置２内及び一部を計測装置３内で行っていたのに対して、実施例２では撮像系の各補正処理機能を照明装置側に統合し、撮像装置側は純粋に撮像機能に特化した構成としている。また、計測対象物Ｗの表面特性に応じた光源光量制御を加えている。
【０１７５】
図１９は実施例２の三次元計測システムのブロック回路構成図であり、実施例１の図２と対応し、同一の符号は同一の部材を示している。三次元計測システムは主として照明装置１’、撮像装置２’、計測装置３’から構成されている。照明装置１’において、不均一補正処理部１６と光源制御部１７の内容は実施例１と若干異なるが、構成要素としては殆ど変わりはない。
【０１７６】
不均一補正処理部１６は照明装置が投影する二次元パターン光の投影面での不均一性と撮像装置が取得する二次元パターン光の撮像画像中の不均一性とを合わせて補正する。光源制御部１７は不均一補正処理によって低下したピーク輝度の調節機能と、計測対象物Ｗからの反射光又は透過光の強度に合わせて光源光量を調節するための機能を併せ持っている。
【０１７７】
撮像装置２’は実施例１から不均一補正処理部２６が取り除かれた構成である以外は実施例１と同様である。
【０１７８】
計測装置３’は実施例１に対して、エッジ近傍輝度判定部１２１、撮像系不均一補正用テーブル１２２が追加されている。撮像装置２’のカメラ画像処理部２５の出力は、エッジ近傍輝度判定部１２１に接続され、エッジ近傍輝度判定部１２１の出力は照明装置１’に接続されている。また、撮像系不均一補正用テーブル１２２の出力は照明装置１’の不均一補正処理部１６に接続されている。
【０１７９】
エッジ近傍輝度判定部１２１は撮像装置２’で取得したパターン画像中から、エッジ位置近傍での輝度を把握し、照明装置１’の光源光量を調節する指示を与える。計測対象物Ｗを撮像した画像中のエッジ近傍部から、エッジ位置が正しく取得できる画像か否かを判断し、必要に応じて画像を取得するのに適した照明装置１’の光源光量を調節するための値を算出し指示を与える。
【０１８０】
撮像系不均一補正用テーブル１２２は計測システム中で使用する撮像装置２’に関わる不均一性を補正するための補正値を格納し、格納される値は任意に更新可能である。撮像装置２’を異なる性能、機能の装置と取り換える際に、補正値を予め取得できること、又はキャリブレーションによって補正値を計測前に取得できることが前提となるが、任意の撮像装置を選択し使用することが可能となる。計測対象物Ｗの表面特性や必要とされる計測精度に応じて、撮像装置２’を選択、交換することが可能となる。
【０１８１】
このような構成により、反射率や透明度が異なる計測対象物Ｗに対しても高精度な三次元計測を実現し、また任意の撮像装置２’をシステムに取り込むことができる。
【０１８２】
実施例２における三次元計測処理の動作は、実施例１の図３の三次元計測処理の動作フローに、光源光量調節、撮像系補正値の取得・更新処理を加え、光源光量の調節処理を変更したものである。以下では、光源光量調節の処理をＳ８０１とし、撮像系補正値取得・更新の処理をＳ８０３とし、光源光量調節の処理をＳ８０５として説明する。なお、ステップＳ８０１は図３におけるステップＳ１０１のキャリブレーション処理の直前に行い、ステップＳ８０３はステップＳ１０１のキャリブレーション処理の直後に行う。
【０１８３】
ステップＳ８０１では、プレ計測によって取得した撮像画像中のエッジ近傍輝度から、計測対象物Ｗの反射率又は透過率に応じた投影パターンの輝度を、光源光量の調節によって実現する。
【０１８４】
ステップＳ８０３では、撮像装置２’の不均一性を補正するための補正値を、計測装置３’から取得又は更新する。ステップＳ８０４では、ステップＳ８０３で取得した撮像系不均一補正値と照明装置１’の不均一性を補正するための補正値とを合わせて、計測システムとしての不均一補正を実施する。不均一補正が輝度変化補正と位置ずれ補正の各補正処理から成る点は実施例１と同様である。
【０１８５】
ステップＳ８０５では、ステップＳ８０４で行った不均一補正処理によって低下したピーク輝度を補償するための光源光量の調節を行う。また、エッジ位置が精度良く計測できるように、計測対象物Ｗからの反射光又は透過光の強度に合わせて光源光量を調節する。
【０１８６】
この処理プロセスにより、ロボットアームの制御に必要な三次元形状、位置、姿勢の各情報を取得し、部品ピッキングや自動組み立てを行うための制御に用いられる。特に、計測対象物Ｗの表面特性に応じて光源光量を調節する機能を追加したことと、撮像光学系２１の補正処理を照明装置１’側で共に実施する点が実施例１と異なる。
【０１８７】
表面特性に応じた光源光量調節は、計測対象を広げることに繋がると共に、最適な輝度を選択することで計測精度自体の向上にも繋がる。また、撮像系の補正処理を照明系側で共に実施することで、用途、精度に応じた撮像装置の選択自由度が広がると共に、撮像系のダイナミックレンジを計測精度に割り当てることで精度の向上に繋がる。
【０１８８】
図２０は計測対象物対応の光源光量調節処理の動作フローチャート図である。ステップＳ９０１では、計測対象物Ｗが未知な対象か、それとも既知の対象かを判断する。計測対象物Ｗが既知の場合はステップＳ９１２に、計測対象物Ｗが未知の場合はステップＳ９０２にそれぞれ進む。
【０１８９】
ステップＳ９０２では、計測対象物Ｗが未知であることを受けて、予め登録、設定されている規定の光源光量で二値パターンを照明装置１’により投影する。ステップＳ９０３では、投影された二値パターン画像を撮像装置２’で撮像する。ステップＳ９０４では、ステップＳ９０３で取得した撮像画像内のパターンの変化点近傍、即ちエッジ近傍における輝度の分布を取得、把握する。
【０１９０】
ステップＳ９０５では、ステップＳ９０４で取得した輝度分布情報から、ピーク輝度が所定値以上か、それとも下回るかを判断する。ピーク輝度が所定値と等しいか上回る場合はステップＳ９０６に、下回る場合はステップＳ９０８にそれぞれ進む。
【０１９１】
ステップＳ９０６では、エッジ近傍の所定領域内の輝度差が予め定められた所定値以上か、それとも下回るかを判断する。エッジ近傍の輝度差が所定値と等しいか上回る場合はステップＳ９０７に、下回る場合はステップＳ９１１にそれぞれ進む。
【０１９２】
ステップＳ９０７では、ピーク値が所定値以上でかつエッジ近傍の輝度差が所定値以上、つまりエッジ位置が十分に計測できる状況にあることを受けて、以後のキャリブレーション、本計測で使用する光源光量の値を現在使用している値で設定する。一度もループをしていない場合は、ステップＳ９０２で設定した規定値がそのまま設定値となる。
【０１９３】
ステップＳ９０８では、ピーク値輝度が所定値を下回ることを受けて、光源光量を上げる設定を行う。その後に、この値を用いてステップＳ９０２と同様の二値パターンを、今回新たに設定した値で制御した光量を用いて投影する。更に、ステップＳ９１０で投影パターンを撮像し、以下ステップＳ９０４からの処理を繰り返す。
【０１９４】
ステップＳ９１１では、ピーク値が所定値以上で、かつエッジ近傍の輝度差が所定値を下回ること、つまり光量が十分過ぎてハレーションを起こし、エッジ位置が計測できる状況にないことを受けて、光源光量を下げる設定を行う。その後の処理ステップＳ９０８以下は同様である。
【０１９５】
このように、プレ計測で撮像画像中のエッジ近傍の輝度分布を把握し、計測に適した光量なのかを事前に把握する。ステップＳ９１２では、計測対象物Ｗが既知であることを受けて、光源光量の基本値又は計測対象物Ｗに合った設定値を選択する。
【０１９６】
ステップＳ９１３では、ステップＳ９１２で選択された光源光量の設定値を照明装置１’に送信する。ステップＳ９１４では、送信された設定値を照明装置１’側で受信する。ステップＳ９１５では、受信した設定値を不均一補正処理が適用される前の基本光源光量として設定する。
【０１９７】
図２１は実施例２における照明装置１’のブロック回路構成図であり、実施例１の図５に対応している。また、図５と同一の符号は同一の部材を示している。撮像系補正値取得部１３１の出力は不均一補正処理部１６を介して、表示ユニット１４と光源制御部１７に接続されている。また、光源制御部１７には計測装置３’からの光量値を受信する計測対象物対応光量値取得部１３２が設けられ、この計測対象物対応光量値取得部１３２の出力は光源光量算出部１３３に接続され、更に光源ユニット１２に接続されている。更に、光源補正量算出部５５の出力が光源光量算出部１３３に接続されている。
【０１９８】
不均一補正処理部１６では、先に説明したように照明装置１’と撮像装置２’双方の不均一補正を照明装置１’側で実施し、照明装置１’内には撮像装置２’の輝度補正及び位置ずれ補正に必要な補正値を外部から取得するようにされている。
【０１９９】
撮像系補正値取得部１３１は不均一補正処理部１６で参照する撮像装置２’の不均一補正に使用する補正値を外部装置である計測装置３’から取得する。
【０２００】
計測対象物対応光量値取得部１３２は計測対象物Ｗの表面特性に合わせて、光源光量を変化させる基本となる光量値を外部装置である計測装置３’から取得する。計測対象物Ｗの反射率や透過率等表面特性に合わせた光源光量調節の考え方については、既に図２０で説明した通りである。
【０２０１】
光源光量算出部１３３は計測対象物対応光量値取得部１３２で取得した光源光量の基本設定値と、不均一補正処理によって低下する光源光量を補償するための光源補正量算出部５５で算出された補正値とを統合する。
【０２０２】
パターン画像入力部５１又はパターン画像生成部５３何れかの二次元パターン画像の選択をセレクタ５２で行う。不均一補正処理部１６で投影されるパターン画像のピーク輝度のばらつきと黒レベルのばらつきの双方を、空間変調器４５が持つ階調表現によって補正処理する。補正処理された投影用パターン画像データは、空間変調器駆動回路４６を経て、空間変調器４５上の二次元マトリクスに対応した画素上で再現される。
【０２０３】
不均一補正処理部１６で補正処理が適用された結果、低下することになるピーク輝度をピーク輝度検出部５４で検出、把握し、取得した値を基に光源光量を増大させるための補正量を光源補正量算出部５５で算出する。
【０２０４】
また、計測対象物Ｗの表面特性を考慮した光源光量の基本設定値を計測装置３’との連携によって把握、取得し、この値をベースに光源補正量算出部５５で算出された補正量と合わせて光源光量調節を行う。最終的に算出された調節値を基に、光源ユニット１２を発光させ、照明光学系１３、空間変調器４５及び投影光学系１５を経由して、計測対象物Ｗ上に二次元の投影パターンが結像される。
【０２０５】
以上の構成によって、三次元計測における計測精度を向上するために、輝度むらやエッジの位置ずれが少ない二次元パターン光を計測対象物Ｗに投影することができる。
【０２０６】
図２２は実施例２における輝度補正機構のブロック回路構成図であり、実施例１の図１１で説明した機能ブロックに対して、撮像光学系２１の補正値取得及び補正の統合処理が追加、変更された点が異なる。即ち、輝度補正処理部９２において、図１の補正値算出部１０６の代りに補正値算出部１４１が設けられ、補正値算出部１４１には撮像系局所変動補正用テーブル１４２、照明系局所変動補正用テーブル１４３の出力が接続されている。また、輝度むら補正用テーブル１４４の出力が補正値選択部１０８に接続されている。
【０２０７】
輝度補正処理部９２は不均一補正処理部１６の一部であり、照明装置１’及び撮像装置２’の撮像光学系２１及び表示、撮像デバイスに起因する輝度変化を補正する。位置ずれ補正処理部９３は投影光学系及び撮像光学系の歪曲収差の影響によって生ずる撮像面上での結像位置ずれを抑制する。
【０２０８】
輝度むら補正用テーブル１４４は撮像装置２’の撮像光学系２１に関わる輝度むらを補正するための補正値を格納している。
【０２０９】
補正値選択部１０８は投影光学系１５の輝度むらを補正するための補正値と、撮像光学系２１の輝度むらを補正するための補正値を対応する点上でそれぞれ選択する。撮像デバイス２２上の代表点を決定し、代表点上の変換されるべき輝度値（輝度の比の値）を参照テーブルである輝度むら補正用テーブル１０７、１４３から読み出す。補正値選択部１０８では、代表点に対応する輝度変換値である補正値を読み出すことになる。
【０２１０】
撮像系局所変動補正用テーブル１４２は撮像デバイス２２の各撮像画素間の特性変動を補正するための補正値を格納し、撮像デバイス２２の画素間の変動は小さいものの、高精度の三次元計測を実現する上で無視し得ない値となる場合もある。撮像デバイス２２の全ての画素、又は特に値の異なる画素に対して、アドレス座標（ｘ，ｙ）と補正値をペアにして格納する構成をとる。
【０２１１】
照明系局所変動補正用テーブル１４３は空間変調器４５の画素間の特性変動を補正するための補正値を格納し、構成については実施例１の図１１の局所変動補正用テーブル１０９と同様である。
【０２１２】
補正値算出部１４１はラグランジュ補間によって算出した各画素の補正値と、撮像光学系２１と照明光学系１３の各局所変動補正用テーブル１４２、１４３から読み出した補正値を統合する。ここで得られた補正値を基に、入力されたパターン画像に対して補正処理を適用する。本来のピーク輝度がどの程度まで下がるかを判断するための値として、ピーク輝度検出部５４にも送ることも実施例１と同様である。
【０２１３】
照明装置１’内の光源ユニット１２、照明光学系１３及び投影光学系１５の各補正値と、撮像装置２’内の撮像光学系２１の補正値とを統合し、ラグランジュ補間によって代表点以外の撮像面上の各画素における輝度むら補正の補正値を演算する。その後に、撮像光学系２１と照明光学系１３の各局所変動補正用テーブル１４２、１４３の値と統合して最終的な各画素の輝度むらを補正するための補正量を得る。得られた補正量を基に、空間変調器４５の全画素に対して輝度むらの補正を適用することで、計測対象物Ｗからの反射又は透過パターン光を撮像した撮像画像内でピーク輝度、黒レベルとも均一となるパターン像が得られる。
【０２１４】
図２３は輝度補正処理の動作フローチャート図である。なお、ステップＳ１００１〜Ｓ１００５、Ｓ１００７、Ｓ１００９、Ｓ１０１０の各ステップの処理内容は、実施例１の図１３の輝度補正処理の動作フローチャート図のステップＳ３０１〜Ｓ３０５、Ｓ３０７、Ｓ３０８、Ｓ３０９の処理内容と同様である。
【０２１５】
ステップＳ１００６では、撮像装置２’内の撮像光学系２１に関わる輝度むらを補正するための補正値を選択する。撮像デバイス２２の全画素の中から代表点を決定し、代表点上の変換される輝度値（実際には輝度比や輝度差）である補正値を参照テーブルである輝度むら補正用テーブル１４４から読み出す。ステップＳ３０４とステップＳ３０５及びステップＳ１００６は処理の順番が入れ換わってもよい。
【０２１６】
ステップＳ１００７では、照明装置１’内の光源ユニット１２、照明光学系１３、投影光学系１５、及び撮像装置２’内の撮像光学系２１で生ずる輝度むらを補正するための各補正値を統合する。
【０２１７】
ステップＳ１００９では、空間変調器４５の画素間の特性変動を補正するための補正値を格納した局所変動補正用テーブル１４３から補正値を取得する。処理自体は実施例１の図１３のステップＳ３０８と同様である。
【０２１８】
ステップＳ１０１０では、撮像デバイス２２の画素間の特性変動を補正するための補正値を格納した局所変動補正用テーブル１４２から補正値を取得する。
【０２１９】
ステップＳ１０１１では、ラグランジュ補間によって算出した光学系に関わる各画素の補正値と、撮像光学系２１と照明光学系１３を合わせた補正値算出部１４１から読み出した補正値を統合する。ここで統合した補正値は、光源制御部１７内のピーク輝度検出部５４においても使用する。
【０２２０】
図２４は実施例２における位置ずれ補正機構のブロック回路構成図であり、実施例１の図１４に対応している。位置ずれ補正処理部９３は、不均一補正処理部１６の一部であり、実施例１の図１４で説明した機能ブロックに対して、撮像光学系２１の補正値取得及び補正の統合処理が追加、変更された点が異なる。
【０２２１】
位置ずれ補正処理部９３において、照明系収差補正用テーブル１５１の出力は補正値選択部１１２に接続されている。補正値選択部１１２には撮像系収差補正用テーブル１５２の出力も接続され、補正値選択部１１２の出力は座標値算出部１１３に接続されている。座標値算出部１１３の出力は画素補間処理部１１４に接続されると共に、位置ずれ情報として外部に出力されている。
【０２２２】
また、画素補間処理部１１４には輝度補正処理部９２の出力が接続され、画素補間処理部１１４の出力はセレクタ９４に出力されている。
【０２２３】
照明系の収差補正用テーブル１５１は照明装置１’内の照明光学系１３で生ずる歪曲収差を補正するためのものである。参照点の座標に対応する変換後の座標値を算出するための補正値を格納する。カラーパターンの場合に、容量削減のため特定色の変換後の座標と、特定色を除く他色はこの特定色を基準とした差分を格納しているものとする。カラー、単色何れの場合も容量削減のため、空間変調器４５の各画素に対応する輝度の補正値ではなく、サンプリングした特定の画素に対応した補正値を格納しているものとする。
【０２２４】
撮像系収差補正用テーブル１５２は撮像装置２’内の撮像光学系２１で生ずる歪曲収差を補正するためのものである。参照点の座標に対応する変換後の座標値を算出するための補正値を格納するのは、照明系収差補正用テーブル１５１と同様である。撮像光学系２１の補正値は計測装置３’等から取得するが、計測前のキャリブレーションによって補正値を得る構成でもよい。
【０２２５】
補正値選択部１１２は位置ずれ補正のための補正値を選択し、選択は照明系と撮像系の各収差補正用テーブル１５１、１５２を対象とする。照明光学系１３に関しては、表示する画素の代表点を決定し、代表点が変換される座標を参照テーブルである照明系収差補正用テーブル１５１から読み出す。補正値選択部１１２では、代表点の元座標と対応する変換座標を算出するための補正値を読み出す。
【０２２６】
撮像光学系２１に関しては、撮像する画素の代表点を決定し、代表点が変換される座標を参照テーブルである撮像系収差補正用テーブル１５２から読み出す。その際に、最終的には撮像デバイス２２上での位置ずれを対象とするため、照明装置１’側で取り扱う投影面上の位置ずれは、撮像デバイス２２上での位置ずれに換算して補正値を統合処理する。
【０２２７】
図２５は実施例２における位置ずれ補正処理の動作フローチャート図である。ステップＳ１１０１、Ｓ１１０５〜Ｓ１１０８の処理内容は、実施例１の図１５の位置ずれ補正処理の動作フローチャート図のステップＳ４０１、Ｓ４０３〜Ｓ４０６と同様である。
【０２２８】
ステップＳ１１０２では、照明装置１’の位置ずれ補正に使用する座標変換用の代表点の補正値を取得する。ステップＳ１１０３では、撮像装置２’の位置ずれ補正に使用する座標変換用の代表点の補正値を取得する。ステップＳ１１０４では、ステップＳ１１０２及びステップＳ１１０３で取得した各補正値を統合し、撮像デバイス２２上の代表点における補正値（位置ずれ量）を算出する。
【０２２９】
以後のラグランジュ補間による座標値の算出、三次補間式に代表される補間演算による画素値の算出については図１５の位置ずれ補正と同様の処理によって行われる。
【０２３０】
このように、本実施例２によれば照明ユニット１１内の構成要素である表示ユニット１４の階調表現機能を利用して、撮像装置２’と照明装置１’の双方で生ずる輝度の不均一性を補正する。この際に、低下する照射光量を光源光量調節で補償することで、照明時にコントラストの高いパターン投影を実現する。
【０２３１】
特に、計測対象物Ｗに合わせて光源光量の基本設定値を変更する構成を取ることで、計測システムとしてのロバスト性、環境変動への対応力を上げることができる。また、撮像装置２’側の均一性も表示ユニット１４の輝度補正で実現するため、より撮像系のダイナミックレンジを他の処理、例えば距離計測処理に割り当てられることができ、その結果より高精度化を実現することが可能となる。
【０２３２】
実施例１、２では、輝度補正用テーブルの構成について特に言及しなかった。投影光学系１５、撮像光学系２１に関しては装置構成により一意的に決まるが、光源ユニット１２の構成やこの特性に応じて変化が予想される照明光学系１３については、光源光量調節や制御に応じてテーブルに格納されている補正値を更新する構成を説明した。照明光学系１３に関して想定できる補正値が予め定められている場合は、それぞれの補正値を収めた複数のテーブルを備え、その中から選択して使用する構成でもよい。
【０２３３】
同様に、実施例１、２では、光源光量調節や制御で使用する光量値や補正値をその都度更新して使用する構成として説明した。予め、変動の範囲が想定でき、離散的な代表値で十分補正が可能な場合には、調節値や設定値を複数備える構成とし、調節の条件に従って複数の値の中から選択して使用する構成でもよい。
【０２３４】
また実施例２では、撮像系の不均一補正処理を照明装置１’の内部で実施する構成としたが、計測システムを構成する他の装置でまとめて、又は分散して不均一補正処理が実施できることは云うまでもない。即ち、照明光学系１３の不均一補正処理の一部を撮像装置２’の内部で実施する構成や、照明光学系と撮像光学系２１を合わせた不均一補正処理の一部を、計測装置３’内で実施する構成がこれに該当する。
【０２３５】
更には、実施例１、２で説明してきた構成を互いに組み合わせて使用できることは云うまでもない。各実施例における様々な技術を適宜組み合わせて新たなシステムを構成することは、当業者であれば容易に相当し得るものであるので、このような様々な組み合わせによるシステムもまた、本発明の範疇内に属するものである。
【０２３６】
本発明においては、前述したフローチャート図の全部又は一部を実現するソフトウェアのプログラムコードを記録した記録媒体を、システム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータなどが記録媒体に格納されたプログラムコードを読み出し実行する。この場合に、記録媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
【０２３７】
また、コンピュータが読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づいて、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが、実際の処理の一部又は全部を行う。その処理によって、前述した実施例の機能が実現される場合も含まれることは云うまでもない。
【０２３８】
更に、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれたとする。その後に、そのプログラムコードの指示に基づいて、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【符号の説明】
【０２３９】
１、１’ 照明装置
２、２’ 撮像装置
３、３’ 計測装置
１１ 照明ユニット
１２ 光源ユニット
１３ 照明光学系
１４ 表示ユニット
１５ 投影光学系
２１ 撮像光学系
Ｗ 計測対象物
【特許請求の範囲】
【請求項１】
光源と、照明光学系と、二次元映像信号を画素のマトリクスによって形成し階調表現が可能な表示デバイスと、投影光学系とを備え、計測対象物に二次元パターン光を照射する照明装置であって、
前記光源、照明光学系と投影光学系及び表示デバイスのうちの少なくとも１つに起因する照明時に生ずる投影面における画素間の輝度の不均一性を補正するための補正値を格納する記憶手段と、
該記憶手段から取得した補正値に基づいて前記二次元映像信号を補正する補正処理手段と、
前記補正処理手段による補正によって低下する投影面内のピーク輝度を補償する光源光量調節手段とを備えたことを特徴とする照明装置。
【請求項２】
前記不均一性を補正するための補正値に基づく補正は、前記投影面におけるピーク輝度と黒レベルの内、少なくともピーク輝度の均一性を補正する処理であることを特徴とする請求項１に記載の照明装置。
【請求項３】
前記不均一性を補正するための補正値に基づく補正は、投影面での結像位置ずれを補正し、輝度変化を補正する処理であることを特徴とする請求項１に記載の照明装置。
【請求項４】
前記不均一性を補正するための補正値に基づく補正は、前記表示デバイスに起因する局所的な変動を補正し、前記照明光学系、投影光学系と前記光源とに起因する変化を補間処理によって補正する処理であることを特徴とする請求項１に記載の照明装置。
【請求項５】
前記補間処理は、前記光源の輝度の制御によって変化する要因と、前記投影光学系により定まる要因とを分けて行う処理であることを特徴とする請求項４に記載の照明装置。
【請求項６】
前記不均一性の内、前記投影光学系で定まる要因は、投影面での結像位置ずれと周辺減光であることを特徴する請求項５に記載の照明装置。
【請求項７】
前記投影面での結像位置ずれの補正は、座標変換と画素補間のプロセスから成り、前記座標変換時の補間処理と前記画素補間の補間処理は共に三次の補間式を用いることを特徴とする請求項６に記載の照明装置。
【請求項８】
前記三次の補間式を用いた補間処理は、注目画素の近傍の１６点の座標値又は映像信号である画素値を用いることを特徴とする請求項７に記載の照明装置。
【請求項９】
前記三次の補間式において、補間点ｘに対する補間値ｙは次で定義する数式とすることを特徴とする請求項７に記載の照明装置。
［０≦ｘ≦１］ ｙ＝(１／２)(ｘ−２)(ｘ＋１)(ｘ−１)
［１≦ｘ≦２］ ｙ＝−(１／６)(ｘ−３)(ｘ−２)(ｘ−１)
【請求項１０】
光源・照明光学系・二次元映像信号を画素のマトリクスによって形成し階調表現が可能な表示デバイス・投影光学系とを備え計測対象物に二次元パターン光を照射する照明装置と、撮像光学系・撮像デバイス・該撮像デバイスからの映像入力信号から二次元画像を形成する画像処理部を備え計測対象物からの反射光又は透過光を撮像する撮像装置とから成る計測システムであって、
前記照明装置の光源、照明光学系、投影光学系及び表示デバイスのうちの少なくとも１つに起因する照明時に生ずる投影面における画素間の輝度の不均一性と、前記撮像装置の撮像光学系及び撮像デバイスのうち少なくとも1つに起因する二次元画像における画素間の輝度の不均一性とを補正するための補正値を格納する記憶手段と、
該記憶手段から取得した補正値に基づいて前記映像入力信号を補正する補正処理手段と、
該補正処理手段によって低下する撮像画像内のピーク輝度を補償する光源光量調節手段とを備えたことを特徴とする照明装置を用いた計測システム。
【請求項１１】
前記不均一性を補正するための補正値に基づく補正は、前記表示デバイスと前記撮像デバイスに起因する局所的な変動を補正し、前記照明光学系、投影光学系と前記光源とに起因する変化を補間処理によって補正する処理であることを特徴とする請求項１０に記載の照明装置を用いた計測システム。
【請求項１】
光源と、照明光学系と、二次元映像信号を画素のマトリクスによって形成し階調表現が可能な表示デバイスと、投影光学系とを備え、計測対象物に二次元パターン光を照射する照明装置であって、
前記光源、照明光学系と投影光学系及び表示デバイスのうちの少なくとも１つに起因する照明時に生ずる投影面における画素間の輝度の不均一性を補正するための補正値を格納する記憶手段と、
該記憶手段から取得した補正値に基づいて前記二次元映像信号を補正する補正処理手段と、
前記補正処理手段による補正によって低下する投影面内のピーク輝度を補償する光源光量調節手段とを備えたことを特徴とする照明装置。
【請求項２】
前記不均一性を補正するための補正値に基づく補正は、前記投影面におけるピーク輝度と黒レベルの内、少なくともピーク輝度の均一性を補正する処理であることを特徴とする請求項１に記載の照明装置。
【請求項３】
前記不均一性を補正するための補正値に基づく補正は、投影面での結像位置ずれを補正し、輝度変化を補正する処理であることを特徴とする請求項１に記載の照明装置。
【請求項４】
前記不均一性を補正するための補正値に基づく補正は、前記表示デバイスに起因する局所的な変動を補正し、前記照明光学系、投影光学系と前記光源とに起因する変化を補間処理によって補正する処理であることを特徴とする請求項１に記載の照明装置。
【請求項５】
前記補間処理は、前記光源の輝度の制御によって変化する要因と、前記投影光学系により定まる要因とを分けて行う処理であることを特徴とする請求項４に記載の照明装置。
【請求項６】
前記不均一性の内、前記投影光学系で定まる要因は、投影面での結像位置ずれと周辺減光であることを特徴する請求項５に記載の照明装置。
【請求項７】
前記投影面での結像位置ずれの補正は、座標変換と画素補間のプロセスから成り、前記座標変換時の補間処理と前記画素補間の補間処理は共に三次の補間式を用いることを特徴とする請求項６に記載の照明装置。
【請求項８】
前記三次の補間式を用いた補間処理は、注目画素の近傍の１６点の座標値又は映像信号である画素値を用いることを特徴とする請求項７に記載の照明装置。
【請求項９】
前記三次の補間式において、補間点ｘに対する補間値ｙは次で定義する数式とすることを特徴とする請求項７に記載の照明装置。
［０≦ｘ≦１］ ｙ＝(１／２)(ｘ−２)(ｘ＋１)(ｘ−１)
［１≦ｘ≦２］ ｙ＝−(１／６)(ｘ−３)(ｘ−２)(ｘ−１)
【請求項１０】
光源・照明光学系・二次元映像信号を画素のマトリクスによって形成し階調表現が可能な表示デバイス・投影光学系とを備え計測対象物に二次元パターン光を照射する照明装置と、撮像光学系・撮像デバイス・該撮像デバイスからの映像入力信号から二次元画像を形成する画像処理部を備え計測対象物からの反射光又は透過光を撮像する撮像装置とから成る計測システムであって、
前記照明装置の光源、照明光学系、投影光学系及び表示デバイスのうちの少なくとも１つに起因する照明時に生ずる投影面における画素間の輝度の不均一性と、前記撮像装置の撮像光学系及び撮像デバイスのうち少なくとも1つに起因する二次元画像における画素間の輝度の不均一性とを補正するための補正値を格納する記憶手段と、
該記憶手段から取得した補正値に基づいて前記映像入力信号を補正する補正処理手段と、
該補正処理手段によって低下する撮像画像内のピーク輝度を補償する光源光量調節手段とを備えたことを特徴とする照明装置を用いた計測システム。
【請求項１１】
前記不均一性を補正するための補正値に基づく補正は、前記表示デバイスと前記撮像デバイスに起因する局所的な変動を補正し、前記照明光学系、投影光学系と前記光源とに起因する変化を補間処理によって補正する処理であることを特徴とする請求項１０に記載の照明装置を用いた計測システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【公開番号】特開２０１１−１３７６９７（Ｐ２０１１−１３７６９７Ａ）
【公開日】平成２３年７月１４日（２０１１．７．１４）
【国際特許分類】
【出願番号】特願２００９−２９７２９４（Ｐ２００９−２９７２９４）
【出願日】平成２１年１２月２８日（２００９．１２．２８）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２３年７月１４日（２０１１．７．１４）
【国際特許分類】
【出願日】平成２１年１２月２８日（２００９．１２．２８）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]