３次元形状復元処理装置及び方法並びにそのプログラム
【課題】本発明は、死角領域をできるだけ少なくした対象物体全体の３次元形状データを得ることができる３次元形状復元処理装置及び方法並びにプログラムを提供することを目的とするものである。
【解決手段】対象物体Ｓに対して反射ミラー２４及び２５を介して撮像素子Ｄにより撮影を行う。反射ミラー２５を光軸Ａを中心とする円周Ｃ上に周回移動させて異なる角度位置から撮影を行い、各角度位置において焦点距離を変化させて撮影した複数の撮影画像の合焦領域に基づいて各角度位置の立体形状データを生成する。そして、立体形状データの死角領域を除去する編集処理を行った後、編集形状データを共通座標系に変換処理して統合することで死角領域の少ない３次元形状データを復元することができる。
【解決手段】対象物体Ｓに対して反射ミラー２４及び２５を介して撮像素子Ｄにより撮影を行う。反射ミラー２５を光軸Ａを中心とする円周Ｃ上に周回移動させて異なる角度位置から撮影を行い、各角度位置において焦点距離を変化させて撮影した複数の撮影画像の合焦領域に基づいて各角度位置の立体形状データを生成する。そして、立体形状データの死角領域を除去する編集処理を行った後、編集形状データを共通座標系に変換処理して統合することで死角領域の少ない３次元形状データを復元することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象物体を撮影した撮影画像に基づいて対象物体の３次元形状を復元する３次元形状復元処理装置及び方法並びにそのプログラムに関する。
【背景技術】
【０００２】
立体形状を有する対象物体を撮影する場合対象物体全体にピント（焦点）を合せることができないことから、対象物体に対する焦点距離を変化させた複数の撮影画像を用いた画像処理方法が提案されている。ここで、「焦点距離を変化させる」とは、対象物体と撮像レンズ系との間の距離又は撮像レンズ系と撮像素子との間の距離を変化させて撮像素子に結像する対象物体の像がぼけないようにピントを合せることを言い、焦点距離を変化させていくと撮影画像のピントの合った領域が対象物体との間の距離に応じて変化するようになる。
【０００３】
そのため、こうした画像処理方法では、各撮影画像のピントの合った領域の画像データを使用してピントの合った全体画像を合成したり、焦点距離に基づいてピントの合った領域の対象物体までの相対的な距離が算出できることから撮影画像の立体形状を復元することができる。ピントの合っている程度を示すパラメータとしては合焦度が用いられており、例えば、画像領域の空間周波数分布における高周波成分に基づいて合焦度を定義し、合焦度の大小により合焦領域を抽出することが行われている。
【０００４】
例えば、特許文献１では、空気と屈折率が異なるウエッジ基板ガラスを利用して合焦度の異なる対象物体像を同時に撮影し、これより測定対象の３次元形状を測定する方法が記載されている。また、特許文献２では、撮像レンズの光軸に対して斜めに設定した測定断面が合焦面となるように二次元撮像素子の受光面を設定して測定対象を走査することで測定対象の３次元形状を測定する方法が記載されている。また、特許文献３では、カメラの光軸に対し傾けた合焦面の回転により測定対象を走査する３次元物体形状測定方法において、回転軸を撮像レンズの前側焦点位置に設定して撮像システムを回転することで走査するようにした点が記載されている。
【０００５】
また、対象物体を立体的に観察するために、特許文献４では、光軸反射ミラーと対象物体の周囲を周回する周回反射ミラーを備え、両反射ミラーを回転させながら対象物体の周囲を撮影することで対象物体を立体的に観察することが可能となる点が記載されている。
【特許文献１】特開平１１−１３２７４８号公報
【特許文献２】特開平１１−３４４３２１号公報
【特許文献３】特開２００６−２４２９３０号公報
【特許文献４】特開平１１−２９５０５３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
従来の立体形状復元方法では、焦点距離を変化させることで撮影画像の合焦度に基づいて立体形状データを得ることができるが、対象物体の形状によっては撮影方向からみて死角領域が生じることがある。例えば、一般の光学顕微鏡のように、対象物体の載置面に垂直となるように撮像レンズの光軸が設定されていると、その方向から観察するだけでは対象物体全体の形状を観察することができず、対象物体の形状が見えない死角領域が生じるのは避けられない。特許文献４では、対象物体の周囲に周回反射ミラーを設けて対象物体全体を観察できるようにしているものの、立体形状データの作成に関しては検討されていない。
【０００７】
そこで、本発明は、死角領域をできるだけ少なくした対象物体全体の３次元形状データを得ることができる３次元形状復元処理装置及び方法並びにプログラムを提供することを目的とするものである。
【課題を解決するための手段】
【０００８】
本発明に係る３次元形状復元処理装置は、対象物体に対して焦点距離を変化させて撮影した複数の撮影画像からなる画像データを用いて対象物体の３次元形状を復元する３次元形状復元処理装置であって、対象物体に対してそれぞれ異なった角度位置から撮影して得られた複数の前記画像データを用いて各画像データの撮影画像の合焦度に基づいて立体形状データを生成する生成処理手段と、前記立体形状データに基づいて各画像データの角度位置に対応して生じる死角領域を判定するとともに当該死角領域のデータを除去して編集形状データを生成する編集処理手段と、各画像データの前記編集形状データを共通座標系に変換処理し統合することで対象物体の３次元形状データを生成する統合処理手段とを備えていることを特徴とする。さらに、前記撮影画像を撮影する撮影部と、前記対象物体に対する前記撮影部の撮影方向を変更して異なった角度位置から撮影可能とする走査部とを備えていることを特徴とする。さらに、前記編集処理手段は、３点により画定されて所定の大きさを有する複数の単位領域により画面を区分し各単位領域を画定する３点位置の前記立体形状データに基づいて決定される平面の法線ベクトルを算出するとともに画像データを撮影した角度位置に沿った撮影方向ベクトルと当該法線ベクトルとの間の角度が所定の閾値以上である場合に当該単位領域を死角領域と判定することを特徴とする。
【０００９】
本発明に係る３次元形状復元処理方法は、対象物体に対して焦点距離を変化させて撮影した複数の撮影画像からなる画像データを用いてコンピュータによって対象物体の３次元形状を復元する３次元形状復元処理方法であって、対象物体に対してそれぞれ異なった角度位置から撮影して得られた複数の前記画像データを用いて各画像データの撮影画像の合焦度に基づいて立体形状データを生成するステップと、前記立体形状データに基づいて各画像データの角度位置に対応して生じる死角領域を判定し当該死角領域のデータを除去して編集形状データを生成するステップと、各画像データの前記編集形状データを共通座標系に変換処理して統合することで３次元形状データを生成するステップとを前記コンピュータに実行させることを特徴とする。さらに、編集形状データを生成するステップにおいて、３点により画定されて所定の大きさを有する複数の単位領域により画面を区分し各単位領域を画定する３点位置の前記立体形状データに基づいて決定される平面の法線ベクトルを算出するとともに画像データを撮影した角度位置に沿った撮影方向ベクトルと当該法線ベクトルとの間の角度が所定の閾値以上である場合に当該単位領域を死角領域と判定することを特徴とする。
【００１０】
本発明に係るプログラムは、対象物体に対して焦点距離を変化させて撮影した複数の撮影画像からなる画像データを用いて対象物体の３次元形状を復元する３次元形状復元処理装置を機能させるためのプログラムであって、前記３次元形状復元処理装置を、対象物体に対してそれぞれ異なった角度位置から撮影して得られた複数の前記画像データを用いて各画像データの撮影画像の合焦度に基づいて立体形状データを生成する手段、前記立体形状データに基づいて各画像データの角度位置に対応して生じる死角領域を判定するとともに当該死角領域のデータを除去して編集形状データを生成する手段、各画像データの前記編集形状データを共通座標系に変換処理して統合することで３次元形状データを生成する手段、として機能させる。さらに、前記編集形状データを生成する手段は、３点により画定されて所定の大きさを有する複数の単位領域により画面を区分し各単位領域を画定する３点位置の前記立体形状データに基づいて決定される平面の法線ベクトルを算出するとともに画像データを撮影した角度位置に沿った撮影方向ベクトルと当該法線ベクトルとの間の角度が所定の閾値以上である場合に当該単位領域を死角領域と判定することを特徴とする。
【発明の効果】
【００１１】
本発明は、上記のような構成を有することで、対象物体に対してそれぞれ異なった角度位置から撮影して得られた複数の画像データを用いて３次元形状データを作成するので、死角領域をできるだけ少なくした対象物体の３次元形状を復元することができる。
【００１２】
すなわち、対象物体に対して異なった角度位置から撮影された複数の画像データは撮影方向が異なるためそれぞれ異なった領域が死角となることから、各画像データに基づいて生成された立体形状データから予め死角領域のデータを除去する編集を行った後編集された立体形状データを統合することで死角領域をできるだけ少なくした３次元形状を復元することが可能となる。そして、画像データを取得する際に、対象物体に対する角度位置を共通座標系に基づいて予め設定して撮影し、各画像データの立体形状データを統合する際にその共通座標系に変換処理して統合すれば、対象物体の３次元形状を精度よく復元することができる。
【００１３】
また、各画像データから生成された立体形状データから死角領域を除去する編集処理を行う場合に、３点により画定されて所定の大きさを有する複数の単位領域により画面を区分し各単位領域を画定する３点位置の立体形状データに基づいて決定される平面の法線ベクトルを算出するとともに画像データを撮影した角度位置に沿った撮影方向ベクトルと当該法線ベクトルとの間の角度が所定の閾値以上である場合に当該単位領域を死角領域と判定すれば、その単位領域では撮影方向に対して対象物体の形状が死角となっているか又は大きく傾斜した面になっているため、精度のよい立体形状データが得られていない可能性が高く、こうした死角領域を正確に判定して効率よく編集処理を行うことが可能となる。
【００１４】
また、撮影画像を撮影する撮影部と、対象物体に対する撮影部の撮影方向を変更して異なった角度位置から撮影可能とする走査部とを備えることで、１つの撮影部を用いて任意の角度位置から対象物体を効率よく撮影することができる。
【００１５】
なお、本明細書では、「焦点距離」及び「合焦度」については、背景技術で述べたように、従来技術と同様の意味で用いる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明に係る実施形態について詳しく説明する。なお、以下に説明する実施形態は、本発明を実施するにあたって好ましい具体例であるから、技術的に種々の限定がなされているが、本発明は、以下の説明において特に本発明を限定する旨明記されていない限り、これらの形態に限定されるものではない。
【００１７】
図１は、本発明に係る実施形態に関するシステム構成図を示しており、３次元形状復元処理装置１は、公知のコンピュータにアプリケーションソフトとしてインストールされた３次元形状復元処理プログラム１００を作動させてその機能が実現される。コンピュータの基本構成は公知のものであり、論理演算を処理するＣＰＵ１０、論理演算に必要なデータやプログラム等を一時的に記憶するＲＡＭ１１、論理演算を実行するためのプログラム等を記憶するＲＯＭ１２、アプリケーションソフトや各種画像情報を記憶する記憶部１３、処理結果を表示するディスプレイ１４、処理結果を出力するプリンタ１５、処理に必要なデータや指令を入力する入力部１６を備えており、これらを送受信用のバス１７で接続してデータの送受信を行う。
【００１８】
この例では、３次元形状復元処理装置１に撮影機構１８が接続されており、撮影機構１８では、後述するように対象物体に対してそれぞれ異なった角度位置から撮影して画像データを得ることができる。こうした画像データは、別体の撮影装置で予め撮影したものを装置に入力するようにしてもよく、撮影機構１８を別体とすることも可能である。そのため、３次元形状を復元する対象物体によっては、後述するように顕微鏡に設けられた撮影装置から得られた画像データを用いたり、屋内又は屋外でデジタルカメラやビデオカメラ等を利用して撮影された画像データを用いることで多様な大きさの対象物体に関して３次元形状の復元処理を行うことができる。この例では、撮影機構１８として顕微鏡を用いることを前提としている。
【００１９】
図２は、顕微鏡を用いた撮影機構１８の走査部に関する概略図である。顕微鏡Ｍには、図示しない２次元撮像素子及び結像光学系が設けられており、対象物体Ｓから反射された光が入射する開口部に走査部が取り付けられている。走査部は、取付フレーム２０の上部が調整ネジ２１により開口部に取り付けられており、取付フレーム２０の下部には回転リング２２がベアリング２３を介して回転可能に設けられている。回転リング２２は、顕微鏡Ｍの光学系の光軸に直交する平面において光軸を中心に回転するように設定されており、回転リング２２の位置調整は調整ネジ２１により行うことができる。また、回転リング２２は、図示せぬ駆動モータにより回転駆動されて任意の回転角度位置に設定することができるようになっている。
【００２０】
回転リング２２の底面には、第一反射部材である反射ミラー２４及び第二反射部材である反射ミラー２５が取付固定されている。反射ミラー２４は、回転リング２２の回転中心に向かって突出するように設けられてその反射面が光軸を斜めに横切るように設定されており、反射ミラー２５は、回転リングの底面に反射ミラー２４に対向するように設けられている。そして、反射ミラー２５は、その反射面が対象物体Ｓに向かうように調整ネジ２５ａにより調整され、反射ミラー２５の反射面により反射された光は反射ミラー２４の反射面により反射されて顕微鏡Ｍ内に入射するように設定されている。
【００２１】
図３は、撮影機構１８により対象物体Ｓを撮影する場合の動作制御に関する概略図である。顕微鏡Ｍ内には、受光素子が２次元配列された撮像面を有する撮像素子Ｄ及び結像光学系に含まれる対物レンズＬが配置されている。撮像素子Ｄは、その撮像面が光軸Ａと直交するように設定されており、撮像面の中心に光軸Ａが設定される。そして、走査部の反射ミラー２５が円周軌道Ｃ上を周回移動するように回転リング２２が回転駆動される。円周軌道Ｃは光軸Ａを中心として描かれる円上に設定されており、反射ミラー２４は光軸Ａを横切るように斜めに設けられているので、反射ミラー２５が周回移動するのに同期して反射ミラー２４も光軸を中心に回転するようになる。
【００２２】
したがって、反射ミラー２５の周回移動する任意の角度位置において、反射ミラー２５の反射面において反射された光は、常に反射ミラー２４の反射面に入射して撮像素子Ｄに向かって反射されるようになる。そして、光軸Ａ上の基準点Ｏからの光は、どの角度位置の反射ミラー２５に反射されても反射ミラー２４から光軸Ａに一致した光路に入射するようになっており、そのため、反射ミラー２５の角度位置が変化しても、基準点Ｏの像は常に撮像素子Ｄの同じ画素位置に結像するようになる。
【００２３】
撮像素子Ｄは、光軸Ａ方向に移動可能に設けられており、図示せぬ位置決め機構によって光軸Ａ方向の任意の位置に位置決めすることで結像光学系と撮像素子Ｄとの間の距離を変化させて焦点距離を変化させ、撮像面に結像する対象物体Ｓの撮影画像の合焦度を変化させる。そのため、焦点距離を変化させながら被写界深度に合せて複数回撮影することで、対象物体Ｓの全体を複数の領域に区分してそれぞれの領域で異なる合焦度を有する複数の撮影画像を得ることができる。なお、この例では、撮像素子Ｄを移動させて焦点距離を変化させるようにしているが、対象物体Ｓを載置したステージＧを光軸Ａ方向に移動させて焦点距離を変化させるようにしてもよい。
【００２４】
以上説明した例では、反射ミラーを周回移動させることで対象物体に対する撮影方向を変更して異なった角度位置から撮影するようにしているが、撮影部自体を周回移動させて撮影方向を変更するようにしてもよい。また、対象物体を載置したステージを回転させて撮影方向を変更して異なった角度位置から撮影することもできる。この場合には、ステージの回転軸に対して撮影に用いる結像光学系の光軸を傾斜した状態に設定し、ステージを回転させれば異なった角度位置で対象物体を撮影することができる。
【００２５】
図４は、３次元形状復元処理装置１に関する機能ブロック構成図である。制御部であるＣＰＵ１０は、生成処理部１０ａ、編集処理部１０ｂ、統合処理部１０ｃ及び撮影制御部１０ｄを備えている。撮影制御部１０ｄは、撮像素子Ｄを備えた撮影部１８ａを制御して対象物体の撮影画像を取得して記憶部１３の撮影画像ファイル１３ａに蓄積する。また、反射ミラー２４及び２５並びに回転リング２２を備えた走査部１８ｂを制御して反射ミラー２５の対象物体Ｓに対する角度位置を変化させる。反射ミラー２５の角度位置は、対象物体Ｓの形状に合せて設定すればよく、そして、反射ミラー２５が設定された角度位置において撮影部１８ａの撮像素子Ｄを移動制御して被写界深度に基づいて焦点距離を変化させ複数回撮影を行うように制御する。こうした撮影制御により、反射ミラー２５の各角度位置において対象物体Ｓの全体画像を区分した各領域に対して合焦度が異なる複数の撮影画像を得ることができる。
【００２６】
生成処理部１０ａは、取得された撮影画像を撮影画像ファイル１３ａから読み出して反射ミラー２５の角度位置における立体形状データを生成する。まず、各角度位置における複数の撮影画像からなる画像データを用いて、画像を構成する画素毎の輝度情報に基づいて各撮影画像の合焦度を決定する。合焦度の決定は、公知の方法を用いて行えばよく、例えば、撮影画像の輝度分布に関する空間周波数分布の高周波成分に基づいて合焦度を設定すればよい。そして、撮影画像の焦点距離に基づいて対象物体Ｓとの間の距離を算出し、決定された合焦度から形状データを求める。この場合、形状データは対象物体Ｓまでの距離を示すことから撮影方向に沿った対象物体の高さを示すようになる。したがって、このような形状データの測定を撮影画像全体について実行することで、その角度位置から撮影された対象物体Ｓの全体画像を構成する画素毎あるいは複数の画素からなるブロック毎の撮影方向に沿った対象物体表面の高さを示す立体形状データを得ることができる。
【００２７】
編集処理部１０ｂは、生成された各角度位置毎の立体形状データに基づいて各画像データの角度位置に対応して生じる死角領域を判定するとともに当該死角領域のデータを除去して編集形状データを生成する。この場合、死角領域は、その角度位置からは対象物体の形状が見えない死角部分の他にその角度位置から見ると対象物体の形状が大きく傾斜しているためにその形状が正確に把握できない部分も含まれる。
【００２８】
図５は、ある角度位置から対象物体Ｓを撮影する場合の模式図である。反射ミラー２５に入射する撮影方向に沿った撮影方向ベクトルＶｃ（実線の矢印で表記）を設定し、撮影領域に含まれる平面に対して法線ベクトル（点線の矢印で表記）を設定すると、ステージＧの上面である平面部分Ｇr1及びＧr2にはぞれぞれ法線ベクトルＮG1及びＮG2が設定され、対象物体Ｓの外面である平面部分Ｓr1及びＳr2にはぞれぞれ法線ベクトルＮS1及びＮS2が設定される。この例では、反射ミラー２５の角度位置から見ると、対象物体Ｓの外面である平面部分Ｓb及びステージＧの上面である平面部分Ｇb部分が死角となって撮影されない。そのため、撮影画面上では、この死角部分に仮想の平面部分Ｓrb（太い鎖線で表記）に対する法線ベクトルＮSbが設定される。
【００２９】
各平面部分での法線ベクトルと撮影方向ベクトルとの間の角度をみると、死角部分では両者の間の角度が大きくなることから、撮影方向ベクトルに対する平面部分の法線ベクトルの角度が所定値以上の場合にその平面部分を死角領域と判定してその平面部分の立体形状データを除去する編集処理を行えばよい。この場合、対象物体Ｓの表面が見えているものの撮影方向に対して傾斜が大きい平面についても形状が正確でない可能性が高いことから死角領域として除去する。例えば、撮影方向ベクトルに対する法線ベクトルの角度が７０度以上の場合に死角領域と判定して除去すればよい。
【００３０】
撮影方向ベクトルは、撮影した時の反射ミラー２５の角度位置から設定することができる。また、法線ベクトルは、図６に示すように、撮影画面Ｗを３点Ｐ１、Ｐ２及びＰ３により画定される所定の大きさの単位領域Ｒijに区分し、３点Ｐ１、Ｐ２及びＰ３の画素位置における立体形状データに基づいて単位領域Ｒijを構成する平面の法線ベクトルを算出することができる。したがって、単位領域毎に撮影方向ベクトルに対する法線ベクトルの角度を算出して死角領域か否か判定する。こうして撮影画面Ｗ全体のうち死角領域を判定し死角領域の不正確な立体形状データを除去して編集形状データを生成する編集処理を行う。
【００３１】
統合処理部１０ｃは、各画像データの編集形状データを基準点Ｏに基づいて設定された共通座標系に変換処理し変換処理された各編集形状データを統合して対象物体Ｓの３次元形状データを生成する。図７は、変換処理を行う場合の共通座標系に関する説明図である。撮像素子Ｄ上の撮影面に撮像素子座標系（Ｘ−Ｙ−Ｚ）を設定し、対象物体Ｓを載置するステージＧ上に基準点Ｏを原点とする共通座標系（ｘ−ｙ−ｚ）を設定する。
【００３２】
撮像素子座標系（Ｘ−Ｙ−Ｚ）は、Ｘ軸及びＹ軸が撮影面上に設定されＺ軸が撮影面と直交するように設定される。そして、撮影画面の画素位置はＸ座標及びＹ座標によって表され、画素位置における立体形状データはＺ座標によって表わされる。
【００３３】
また、共通座標系（ｘ−ｙ−ｚ）は、ｘ軸及びｙ軸がステージＧの上面に設定し、ｚ軸は基準点Ｏを通り光軸Ａと一致するように設定する。
【００３４】
反射ミラー２５の角度位置は、ｘ軸からの回転角度θ及び光軸（ｚ軸）からの傾き角度φにより特定される。回転角度θは、反射ミラー２５の反射面の中心点Ｍと基準点Ｏを結ぶ直線がｘｙ平面に投影した直線とｘ軸との間の角度であり、傾き角度φは、中心点Ｍと基準点Ｏを結ぶ直線とｚ軸との間の角度である。
【００３５】
図３に示すように、反射ミラー２５は、光軸（ｚ軸）に直交する平面内を光軸を中心に周回移動するため、傾き角度φは一定となり、回転角度θをθ0からθN-1までのＮ個の角度位置に回動させ、各回転角度位置において焦点距離を変化させながら撮影を行って複数の撮影画像を得る。この場合、各回転角度位置で撮影した場合、基準点Ｏは常に撮影面の中心位置に結像するように設定されている。
【００３６】
生成処理部１０ａ及び編集処理部１０ｂでの処理は、撮像素子座標系（Ｘ−Ｙ−Ｚ）に基づいて行われるため、編集処理によって生成された各角度位置における編集形状データを以下の変換式を用いて共通座標系（ｘ−ｙ−ｚ）に座標変換処理する。
【００３７】
【数１】
ここで、θは反射ミラー２５の回転角度で、φはその傾き角度、ｋはＺ軸方向のキャリブレーション係数、また（Ｃx，Ｃy，Ｃz）は、反射ミラー２５の回転に対する不動点である基準点Ｏを撮像素子座標系（Ｘ−Ｙ−Ｚ）から見た座標である。以上の変換式を用いてＮ個の角度位置における編集形状データを共通座標系（ｘ−ｙ−ｚ）に変換して配置することで、対象物体Ｓの３次元形状が復元できる。復元された３次元形状は、死角領域を除去した複数の立体形状を統合処理されているため死角領域をできるだけ少なくした精度の高い形状に復元されている。
【００３８】
座標変換に必要なパラメータθ、φ、ｋ及び（Ｃx，Ｃy，Ｃz）は、次のように求められる。例えば、回転角度θは、反射ミラー２５を周回移動させるステッピングモータを駆動制御するためのパルス数等から求めることができる。
【００３９】
θ以外のパラメータは、測定用の特殊なパターン面を利用し、パターン面の予め決められた測定点の軌跡を測定すると共に、そのパターン面について撮影した画像データに基づいて生成処理部１０ａの生成処理を行って求めることができる。
【００４０】
図８は測定用のパターンの一例である。図８は、立体形状の生成処理に適したテキスチャを有するパターン上に、軌跡の追跡に適した複数の測定点を配置したものである（この場合の測定点は４点表示されている）。反射ミラー２５を周回移動させながらこのパターンを撮影すると、各測定点は図９に示すような軌跡を描く（これは蝸牛線として知られている）。この軌跡を構成する各点を、適当に仮定した点（Ｃx，Ｃy）を中心として、対応する反射ミラー２５の回転角度θだけ回転すると、各軌跡は図１０に示すような楕円群（この場合は点数に等しい４つの楕円が得られる）に変換される。
【００４１】
ここで、中心と仮定した点（Ｃx，Ｃy）が、不動点である基準点Ｏに一致している場合には、図１０における楕円の長軸の長さｒ１と短軸の長さｒ２の比 ｒ２／ｒ１は、各楕円にわたって一定値となり、図１１に示すような楕円群が得られることが示される。そこで、比 ｒ２／ｒ１の分散が最小となる点（Ｃx，Ｃy）を探索して求めることにより、基準点の座標のＸおよびＹ成分（Ｃx，Ｃy）が求められる。
【００４２】
得られた楕円群は、静止した１点を反射ミラー２５から、すなわち斜め上方の円軌道から撮影した場合の軌跡に相当するため、反射ミラー２５の傾き角度φが大きいほど前記の楕円は扁平となり、比 ｒ２／ｒ１が大きくなる。反射ミラー２５の傾き角度φと比 ｒ２／ｒ１の関係は、
【００４３】
【数２】
よって与えられる。反射ミラー２５の傾き角度φは、この関係を用いて、得られた楕円の長軸と短軸の比 ｒ２／ｒ１から求められる。楕円の軌跡が複数得られている場合は、各楕円の比 ｒ２／ｒ１の平均値を用いればよい。
また、パラメータｋ及びＣzは、図８のパターン面に対して生成処理部１０ａによる生成処理で立体形状データを算出することによって求められる。図８のパターン面は平面でステージＧ上に載置されていることから、立体形状データは傾き角度φの平面となるように復元されなければならないが、Ｚ軸方向の高さはＸ及びＹ方向に対する相対値であって、キャリブレーションパラメータｋが正しくない場合には、平面の傾き角度がφに復元されない。そこで、復元された平面の傾き角度がφに一致するようにｋの値を調整することによって、パラメータｋの値が求められる。Ｃzについては、前記平面を得られたパラメータｋを用いて傾き角度がφに一致するように補正した後、基準点として得られている点（Ｃx，Ｃy）におけるこの平面のｚ座標を計測することにより求められる。
統合した３次元形状の一部が編集処理によって除去されたままとなっている場合には、その欠損領域が正確に撮影できる角度位置に反射ミラーを位置決めして、再度生成処理及び編集処理を行うことで欠損領域の編集形状データを生成し、座標変換を行って既に得られている対象物体の３次元形状に対して追加統合するようにすればよい。
また、測定誤差等のため、統合処理する際に同じ位置のデータが複数の編集形状データでずれた位置に変換された場合には、対象物体を構成する各点について、その近傍に予め決められたサイズの微小領域を設定し、その微小領域内に複数の点が存在する場合には、それらの平均値をとる等の処理を行って代表点１点に置き換える処理を行えばよい。
【００４４】
以上の例では、基準点Ｏが不動点であることを前提に説明したが、こうした不動点がない場合でも共通座標系への変換・統合処理を行うことは可能である。例えば、図３に示すような円周軌道を反射ミラー２５が移動しない場合や対象物体Ｓに対して固定の軌道からではない任意の位置から撮影する場合などでは不動点が存在しないため、２つの異なる角度位置毎に対象物体上の同一点に対応する画素位置を求め、求めた画素位置と撮影系の光学的配置（撮影を行う際の光軸の回転角度θ、傾き角度φ及びｘｙ平面との交点の座標）から（Ｃx，Ｃy，Ｃz）を計算して、撮影画像の合焦度に基づいて生成された立体形状データを数１に示す変換式により変換・統合処理すればよい。
【００４５】
図１２は、３次元形状復元処理に関するフローである。まず、撮影機構１８を駆動制御して反射ミラー２５のＮ個の角度位置において焦点距離を変化させながら対象物体を撮影して複数の撮影画像を得る（Ｓ１００）。図１３は、矩形状の対象物体を撮影した撮影画像に関する例を示している。横一列に１つの角度位置から焦点距離を変化させて撮影した複数の撮影画像を示しており、上下方向で角度位置が異なるように配列されている。焦点距離を変化させることで各点の合焦度が変化し、ピントの合った合焦領域が変化していくのがわかる。
【００４６】
次に、各角度位置における複数の撮影画像に基づいて合焦領域を抽出して立体形状データを生成する（Ｓ１０１）。図１４は、各角度位置において生成された立体形状データに基づいて復元された対象物体の画像であり、死角領域において立体形状データが不正確になるため画像が乱れているのがわかる。
【００４７】
そこで、生成された立体形状データの死角領域を除去した編集形状データを生成する編集処理を行う（Ｓ１０２）。上述したように単位領域を画定する３点位置の立体形状データに基づいて単位領域を構成する平面の法線ベクトルを算出して撮影方向ベクトルとの間の角度を求め、角度が所定値以上の単位領域を死角領域として除去する。図１５は、死角領域を除去した編集形状データに基づいて復元された対象物体の画像であり、画像の乱れた部分が正確に除去されているのがわかる。
【００４８】
次に、編集処理により生成された編集形状データを共通座標系に変換処理して統合し３次元形状データを生成する（Ｓ１０３）。そして、３次元形状データに欠損等がある場合には、追加修正等の処理を行う（Ｓ１０４）。
【００４９】
以上の処理により、死角をできるだけ少なくした３次元形状データを復元することができる。図１６は、３次元形状データに基づいて復元された対象物体を特定の方向から見た画像であり、様々な角度から対象物体の画像を復元した場合に死角領域の少ない画像として復元することができる。
【産業上の利用可能性】
【００５０】
以上説明した例では、本発明を顕微鏡に適用した場合について説明したが、屋内や屋外において様々な大きさや形状の対象物体についても対象物体の周囲から撮影することで３次元形状を復元することができ、様々な産業分野で要求される形状観測または測定装置として利用することが可能である。例えば、半導体集積回路の製造においてワイヤボンディング工程の検査、化学分野において結晶の３次元形状測定といった用途へ利用できる。
【図面の簡単な説明】
【００５１】
【図１】本発明に係る実施形態に関するシステム構成図である。
【図２】顕微鏡に取り付けられた撮影機構１８の走査部に関する概略図である。
【図３】撮影機構により対象物体を撮影する場合の動作制御に関する概略図である。
【図４】３次元形状復元処理装置に関する機能ブロック構成図である。
【図５】撮像素子Ｄによりある角度位置から対象物体Ｓを撮影する場合の模式図である。
【図６】撮影画像に設定される単位領域に関する説明図である。
【図７】変換処理を行う場合の共通座標系に関する説明図である。
【図８】測定用のパターンの一例を示す画像である。
【図９】パターンの測定点が反射ミラーの周回移動時に描く軌跡を示すグラフである。
【図１０】パターンの測定点が仮定点を中心に描く軌跡を示すグラフである。
【図１１】パターンの測定点が不動点を中心に描く軌跡を示すグラフである。
【図１２】３次元形状復元処理に関するフローである。
【図１３】各角度位置で撮影した撮影画像の一例である。
【図１４】各角度位置における立体形状データから復元された対象物体の画像の一例である。
【図１５】編集処理により除去された編集形状データから復元された対象物体の画像の一例である。
【図１６】統合された３次元形状データから復元された対象物体の画像の一例である。
【符号の説明】
【００５２】
１ ３次元形状復元処理装置
10 ＣＰＵ
11 ＲＡＭ
12 ＲＯＭ
13 記憶部
14 ディスプレイ
15 プリンタ
16 入力部
17 バス
18 撮影機構
22 回転リング
24 反射ミラー
25 反射ミラー
Ａ 光軸
Ｄ 撮像素子
Ｇ ステージ
Ｌ 対物レンズ
Ｓ 対象物体
【技術分野】
【０００１】
本発明は、対象物体を撮影した撮影画像に基づいて対象物体の３次元形状を復元する３次元形状復元処理装置及び方法並びにそのプログラムに関する。
【背景技術】
【０００２】
立体形状を有する対象物体を撮影する場合対象物体全体にピント（焦点）を合せることができないことから、対象物体に対する焦点距離を変化させた複数の撮影画像を用いた画像処理方法が提案されている。ここで、「焦点距離を変化させる」とは、対象物体と撮像レンズ系との間の距離又は撮像レンズ系と撮像素子との間の距離を変化させて撮像素子に結像する対象物体の像がぼけないようにピントを合せることを言い、焦点距離を変化させていくと撮影画像のピントの合った領域が対象物体との間の距離に応じて変化するようになる。
【０００３】
そのため、こうした画像処理方法では、各撮影画像のピントの合った領域の画像データを使用してピントの合った全体画像を合成したり、焦点距離に基づいてピントの合った領域の対象物体までの相対的な距離が算出できることから撮影画像の立体形状を復元することができる。ピントの合っている程度を示すパラメータとしては合焦度が用いられており、例えば、画像領域の空間周波数分布における高周波成分に基づいて合焦度を定義し、合焦度の大小により合焦領域を抽出することが行われている。
【０００４】
例えば、特許文献１では、空気と屈折率が異なるウエッジ基板ガラスを利用して合焦度の異なる対象物体像を同時に撮影し、これより測定対象の３次元形状を測定する方法が記載されている。また、特許文献２では、撮像レンズの光軸に対して斜めに設定した測定断面が合焦面となるように二次元撮像素子の受光面を設定して測定対象を走査することで測定対象の３次元形状を測定する方法が記載されている。また、特許文献３では、カメラの光軸に対し傾けた合焦面の回転により測定対象を走査する３次元物体形状測定方法において、回転軸を撮像レンズの前側焦点位置に設定して撮像システムを回転することで走査するようにした点が記載されている。
【０００５】
また、対象物体を立体的に観察するために、特許文献４では、光軸反射ミラーと対象物体の周囲を周回する周回反射ミラーを備え、両反射ミラーを回転させながら対象物体の周囲を撮影することで対象物体を立体的に観察することが可能となる点が記載されている。
【特許文献１】特開平１１−１３２７４８号公報
【特許文献２】特開平１１−３４４３２１号公報
【特許文献３】特開２００６−２４２９３０号公報
【特許文献４】特開平１１−２９５０５３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
従来の立体形状復元方法では、焦点距離を変化させることで撮影画像の合焦度に基づいて立体形状データを得ることができるが、対象物体の形状によっては撮影方向からみて死角領域が生じることがある。例えば、一般の光学顕微鏡のように、対象物体の載置面に垂直となるように撮像レンズの光軸が設定されていると、その方向から観察するだけでは対象物体全体の形状を観察することができず、対象物体の形状が見えない死角領域が生じるのは避けられない。特許文献４では、対象物体の周囲に周回反射ミラーを設けて対象物体全体を観察できるようにしているものの、立体形状データの作成に関しては検討されていない。
【０００７】
そこで、本発明は、死角領域をできるだけ少なくした対象物体全体の３次元形状データを得ることができる３次元形状復元処理装置及び方法並びにプログラムを提供することを目的とするものである。
【課題を解決するための手段】
【０００８】
本発明に係る３次元形状復元処理装置は、対象物体に対して焦点距離を変化させて撮影した複数の撮影画像からなる画像データを用いて対象物体の３次元形状を復元する３次元形状復元処理装置であって、対象物体に対してそれぞれ異なった角度位置から撮影して得られた複数の前記画像データを用いて各画像データの撮影画像の合焦度に基づいて立体形状データを生成する生成処理手段と、前記立体形状データに基づいて各画像データの角度位置に対応して生じる死角領域を判定するとともに当該死角領域のデータを除去して編集形状データを生成する編集処理手段と、各画像データの前記編集形状データを共通座標系に変換処理し統合することで対象物体の３次元形状データを生成する統合処理手段とを備えていることを特徴とする。さらに、前記撮影画像を撮影する撮影部と、前記対象物体に対する前記撮影部の撮影方向を変更して異なった角度位置から撮影可能とする走査部とを備えていることを特徴とする。さらに、前記編集処理手段は、３点により画定されて所定の大きさを有する複数の単位領域により画面を区分し各単位領域を画定する３点位置の前記立体形状データに基づいて決定される平面の法線ベクトルを算出するとともに画像データを撮影した角度位置に沿った撮影方向ベクトルと当該法線ベクトルとの間の角度が所定の閾値以上である場合に当該単位領域を死角領域と判定することを特徴とする。
【０００９】
本発明に係る３次元形状復元処理方法は、対象物体に対して焦点距離を変化させて撮影した複数の撮影画像からなる画像データを用いてコンピュータによって対象物体の３次元形状を復元する３次元形状復元処理方法であって、対象物体に対してそれぞれ異なった角度位置から撮影して得られた複数の前記画像データを用いて各画像データの撮影画像の合焦度に基づいて立体形状データを生成するステップと、前記立体形状データに基づいて各画像データの角度位置に対応して生じる死角領域を判定し当該死角領域のデータを除去して編集形状データを生成するステップと、各画像データの前記編集形状データを共通座標系に変換処理して統合することで３次元形状データを生成するステップとを前記コンピュータに実行させることを特徴とする。さらに、編集形状データを生成するステップにおいて、３点により画定されて所定の大きさを有する複数の単位領域により画面を区分し各単位領域を画定する３点位置の前記立体形状データに基づいて決定される平面の法線ベクトルを算出するとともに画像データを撮影した角度位置に沿った撮影方向ベクトルと当該法線ベクトルとの間の角度が所定の閾値以上である場合に当該単位領域を死角領域と判定することを特徴とする。
【００１０】
本発明に係るプログラムは、対象物体に対して焦点距離を変化させて撮影した複数の撮影画像からなる画像データを用いて対象物体の３次元形状を復元する３次元形状復元処理装置を機能させるためのプログラムであって、前記３次元形状復元処理装置を、対象物体に対してそれぞれ異なった角度位置から撮影して得られた複数の前記画像データを用いて各画像データの撮影画像の合焦度に基づいて立体形状データを生成する手段、前記立体形状データに基づいて各画像データの角度位置に対応して生じる死角領域を判定するとともに当該死角領域のデータを除去して編集形状データを生成する手段、各画像データの前記編集形状データを共通座標系に変換処理して統合することで３次元形状データを生成する手段、として機能させる。さらに、前記編集形状データを生成する手段は、３点により画定されて所定の大きさを有する複数の単位領域により画面を区分し各単位領域を画定する３点位置の前記立体形状データに基づいて決定される平面の法線ベクトルを算出するとともに画像データを撮影した角度位置に沿った撮影方向ベクトルと当該法線ベクトルとの間の角度が所定の閾値以上である場合に当該単位領域を死角領域と判定することを特徴とする。
【発明の効果】
【００１１】
本発明は、上記のような構成を有することで、対象物体に対してそれぞれ異なった角度位置から撮影して得られた複数の画像データを用いて３次元形状データを作成するので、死角領域をできるだけ少なくした対象物体の３次元形状を復元することができる。
【００１２】
すなわち、対象物体に対して異なった角度位置から撮影された複数の画像データは撮影方向が異なるためそれぞれ異なった領域が死角となることから、各画像データに基づいて生成された立体形状データから予め死角領域のデータを除去する編集を行った後編集された立体形状データを統合することで死角領域をできるだけ少なくした３次元形状を復元することが可能となる。そして、画像データを取得する際に、対象物体に対する角度位置を共通座標系に基づいて予め設定して撮影し、各画像データの立体形状データを統合する際にその共通座標系に変換処理して統合すれば、対象物体の３次元形状を精度よく復元することができる。
【００１３】
また、各画像データから生成された立体形状データから死角領域を除去する編集処理を行う場合に、３点により画定されて所定の大きさを有する複数の単位領域により画面を区分し各単位領域を画定する３点位置の立体形状データに基づいて決定される平面の法線ベクトルを算出するとともに画像データを撮影した角度位置に沿った撮影方向ベクトルと当該法線ベクトルとの間の角度が所定の閾値以上である場合に当該単位領域を死角領域と判定すれば、その単位領域では撮影方向に対して対象物体の形状が死角となっているか又は大きく傾斜した面になっているため、精度のよい立体形状データが得られていない可能性が高く、こうした死角領域を正確に判定して効率よく編集処理を行うことが可能となる。
【００１４】
また、撮影画像を撮影する撮影部と、対象物体に対する撮影部の撮影方向を変更して異なった角度位置から撮影可能とする走査部とを備えることで、１つの撮影部を用いて任意の角度位置から対象物体を効率よく撮影することができる。
【００１５】
なお、本明細書では、「焦点距離」及び「合焦度」については、背景技術で述べたように、従来技術と同様の意味で用いる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明に係る実施形態について詳しく説明する。なお、以下に説明する実施形態は、本発明を実施するにあたって好ましい具体例であるから、技術的に種々の限定がなされているが、本発明は、以下の説明において特に本発明を限定する旨明記されていない限り、これらの形態に限定されるものではない。
【００１７】
図１は、本発明に係る実施形態に関するシステム構成図を示しており、３次元形状復元処理装置１は、公知のコンピュータにアプリケーションソフトとしてインストールされた３次元形状復元処理プログラム１００を作動させてその機能が実現される。コンピュータの基本構成は公知のものであり、論理演算を処理するＣＰＵ１０、論理演算に必要なデータやプログラム等を一時的に記憶するＲＡＭ１１、論理演算を実行するためのプログラム等を記憶するＲＯＭ１２、アプリケーションソフトや各種画像情報を記憶する記憶部１３、処理結果を表示するディスプレイ１４、処理結果を出力するプリンタ１５、処理に必要なデータや指令を入力する入力部１６を備えており、これらを送受信用のバス１７で接続してデータの送受信を行う。
【００１８】
この例では、３次元形状復元処理装置１に撮影機構１８が接続されており、撮影機構１８では、後述するように対象物体に対してそれぞれ異なった角度位置から撮影して画像データを得ることができる。こうした画像データは、別体の撮影装置で予め撮影したものを装置に入力するようにしてもよく、撮影機構１８を別体とすることも可能である。そのため、３次元形状を復元する対象物体によっては、後述するように顕微鏡に設けられた撮影装置から得られた画像データを用いたり、屋内又は屋外でデジタルカメラやビデオカメラ等を利用して撮影された画像データを用いることで多様な大きさの対象物体に関して３次元形状の復元処理を行うことができる。この例では、撮影機構１８として顕微鏡を用いることを前提としている。
【００１９】
図２は、顕微鏡を用いた撮影機構１８の走査部に関する概略図である。顕微鏡Ｍには、図示しない２次元撮像素子及び結像光学系が設けられており、対象物体Ｓから反射された光が入射する開口部に走査部が取り付けられている。走査部は、取付フレーム２０の上部が調整ネジ２１により開口部に取り付けられており、取付フレーム２０の下部には回転リング２２がベアリング２３を介して回転可能に設けられている。回転リング２２は、顕微鏡Ｍの光学系の光軸に直交する平面において光軸を中心に回転するように設定されており、回転リング２２の位置調整は調整ネジ２１により行うことができる。また、回転リング２２は、図示せぬ駆動モータにより回転駆動されて任意の回転角度位置に設定することができるようになっている。
【００２０】
回転リング２２の底面には、第一反射部材である反射ミラー２４及び第二反射部材である反射ミラー２５が取付固定されている。反射ミラー２４は、回転リング２２の回転中心に向かって突出するように設けられてその反射面が光軸を斜めに横切るように設定されており、反射ミラー２５は、回転リングの底面に反射ミラー２４に対向するように設けられている。そして、反射ミラー２５は、その反射面が対象物体Ｓに向かうように調整ネジ２５ａにより調整され、反射ミラー２５の反射面により反射された光は反射ミラー２４の反射面により反射されて顕微鏡Ｍ内に入射するように設定されている。
【００２１】
図３は、撮影機構１８により対象物体Ｓを撮影する場合の動作制御に関する概略図である。顕微鏡Ｍ内には、受光素子が２次元配列された撮像面を有する撮像素子Ｄ及び結像光学系に含まれる対物レンズＬが配置されている。撮像素子Ｄは、その撮像面が光軸Ａと直交するように設定されており、撮像面の中心に光軸Ａが設定される。そして、走査部の反射ミラー２５が円周軌道Ｃ上を周回移動するように回転リング２２が回転駆動される。円周軌道Ｃは光軸Ａを中心として描かれる円上に設定されており、反射ミラー２４は光軸Ａを横切るように斜めに設けられているので、反射ミラー２５が周回移動するのに同期して反射ミラー２４も光軸を中心に回転するようになる。
【００２２】
したがって、反射ミラー２５の周回移動する任意の角度位置において、反射ミラー２５の反射面において反射された光は、常に反射ミラー２４の反射面に入射して撮像素子Ｄに向かって反射されるようになる。そして、光軸Ａ上の基準点Ｏからの光は、どの角度位置の反射ミラー２５に反射されても反射ミラー２４から光軸Ａに一致した光路に入射するようになっており、そのため、反射ミラー２５の角度位置が変化しても、基準点Ｏの像は常に撮像素子Ｄの同じ画素位置に結像するようになる。
【００２３】
撮像素子Ｄは、光軸Ａ方向に移動可能に設けられており、図示せぬ位置決め機構によって光軸Ａ方向の任意の位置に位置決めすることで結像光学系と撮像素子Ｄとの間の距離を変化させて焦点距離を変化させ、撮像面に結像する対象物体Ｓの撮影画像の合焦度を変化させる。そのため、焦点距離を変化させながら被写界深度に合せて複数回撮影することで、対象物体Ｓの全体を複数の領域に区分してそれぞれの領域で異なる合焦度を有する複数の撮影画像を得ることができる。なお、この例では、撮像素子Ｄを移動させて焦点距離を変化させるようにしているが、対象物体Ｓを載置したステージＧを光軸Ａ方向に移動させて焦点距離を変化させるようにしてもよい。
【００２４】
以上説明した例では、反射ミラーを周回移動させることで対象物体に対する撮影方向を変更して異なった角度位置から撮影するようにしているが、撮影部自体を周回移動させて撮影方向を変更するようにしてもよい。また、対象物体を載置したステージを回転させて撮影方向を変更して異なった角度位置から撮影することもできる。この場合には、ステージの回転軸に対して撮影に用いる結像光学系の光軸を傾斜した状態に設定し、ステージを回転させれば異なった角度位置で対象物体を撮影することができる。
【００２５】
図４は、３次元形状復元処理装置１に関する機能ブロック構成図である。制御部であるＣＰＵ１０は、生成処理部１０ａ、編集処理部１０ｂ、統合処理部１０ｃ及び撮影制御部１０ｄを備えている。撮影制御部１０ｄは、撮像素子Ｄを備えた撮影部１８ａを制御して対象物体の撮影画像を取得して記憶部１３の撮影画像ファイル１３ａに蓄積する。また、反射ミラー２４及び２５並びに回転リング２２を備えた走査部１８ｂを制御して反射ミラー２５の対象物体Ｓに対する角度位置を変化させる。反射ミラー２５の角度位置は、対象物体Ｓの形状に合せて設定すればよく、そして、反射ミラー２５が設定された角度位置において撮影部１８ａの撮像素子Ｄを移動制御して被写界深度に基づいて焦点距離を変化させ複数回撮影を行うように制御する。こうした撮影制御により、反射ミラー２５の各角度位置において対象物体Ｓの全体画像を区分した各領域に対して合焦度が異なる複数の撮影画像を得ることができる。
【００２６】
生成処理部１０ａは、取得された撮影画像を撮影画像ファイル１３ａから読み出して反射ミラー２５の角度位置における立体形状データを生成する。まず、各角度位置における複数の撮影画像からなる画像データを用いて、画像を構成する画素毎の輝度情報に基づいて各撮影画像の合焦度を決定する。合焦度の決定は、公知の方法を用いて行えばよく、例えば、撮影画像の輝度分布に関する空間周波数分布の高周波成分に基づいて合焦度を設定すればよい。そして、撮影画像の焦点距離に基づいて対象物体Ｓとの間の距離を算出し、決定された合焦度から形状データを求める。この場合、形状データは対象物体Ｓまでの距離を示すことから撮影方向に沿った対象物体の高さを示すようになる。したがって、このような形状データの測定を撮影画像全体について実行することで、その角度位置から撮影された対象物体Ｓの全体画像を構成する画素毎あるいは複数の画素からなるブロック毎の撮影方向に沿った対象物体表面の高さを示す立体形状データを得ることができる。
【００２７】
編集処理部１０ｂは、生成された各角度位置毎の立体形状データに基づいて各画像データの角度位置に対応して生じる死角領域を判定するとともに当該死角領域のデータを除去して編集形状データを生成する。この場合、死角領域は、その角度位置からは対象物体の形状が見えない死角部分の他にその角度位置から見ると対象物体の形状が大きく傾斜しているためにその形状が正確に把握できない部分も含まれる。
【００２８】
図５は、ある角度位置から対象物体Ｓを撮影する場合の模式図である。反射ミラー２５に入射する撮影方向に沿った撮影方向ベクトルＶｃ（実線の矢印で表記）を設定し、撮影領域に含まれる平面に対して法線ベクトル（点線の矢印で表記）を設定すると、ステージＧの上面である平面部分Ｇr1及びＧr2にはぞれぞれ法線ベクトルＮG1及びＮG2が設定され、対象物体Ｓの外面である平面部分Ｓr1及びＳr2にはぞれぞれ法線ベクトルＮS1及びＮS2が設定される。この例では、反射ミラー２５の角度位置から見ると、対象物体Ｓの外面である平面部分Ｓb及びステージＧの上面である平面部分Ｇb部分が死角となって撮影されない。そのため、撮影画面上では、この死角部分に仮想の平面部分Ｓrb（太い鎖線で表記）に対する法線ベクトルＮSbが設定される。
【００２９】
各平面部分での法線ベクトルと撮影方向ベクトルとの間の角度をみると、死角部分では両者の間の角度が大きくなることから、撮影方向ベクトルに対する平面部分の法線ベクトルの角度が所定値以上の場合にその平面部分を死角領域と判定してその平面部分の立体形状データを除去する編集処理を行えばよい。この場合、対象物体Ｓの表面が見えているものの撮影方向に対して傾斜が大きい平面についても形状が正確でない可能性が高いことから死角領域として除去する。例えば、撮影方向ベクトルに対する法線ベクトルの角度が７０度以上の場合に死角領域と判定して除去すればよい。
【００３０】
撮影方向ベクトルは、撮影した時の反射ミラー２５の角度位置から設定することができる。また、法線ベクトルは、図６に示すように、撮影画面Ｗを３点Ｐ１、Ｐ２及びＰ３により画定される所定の大きさの単位領域Ｒijに区分し、３点Ｐ１、Ｐ２及びＰ３の画素位置における立体形状データに基づいて単位領域Ｒijを構成する平面の法線ベクトルを算出することができる。したがって、単位領域毎に撮影方向ベクトルに対する法線ベクトルの角度を算出して死角領域か否か判定する。こうして撮影画面Ｗ全体のうち死角領域を判定し死角領域の不正確な立体形状データを除去して編集形状データを生成する編集処理を行う。
【００３１】
統合処理部１０ｃは、各画像データの編集形状データを基準点Ｏに基づいて設定された共通座標系に変換処理し変換処理された各編集形状データを統合して対象物体Ｓの３次元形状データを生成する。図７は、変換処理を行う場合の共通座標系に関する説明図である。撮像素子Ｄ上の撮影面に撮像素子座標系（Ｘ−Ｙ−Ｚ）を設定し、対象物体Ｓを載置するステージＧ上に基準点Ｏを原点とする共通座標系（ｘ−ｙ−ｚ）を設定する。
【００３２】
撮像素子座標系（Ｘ−Ｙ−Ｚ）は、Ｘ軸及びＹ軸が撮影面上に設定されＺ軸が撮影面と直交するように設定される。そして、撮影画面の画素位置はＸ座標及びＹ座標によって表され、画素位置における立体形状データはＺ座標によって表わされる。
【００３３】
また、共通座標系（ｘ−ｙ−ｚ）は、ｘ軸及びｙ軸がステージＧの上面に設定し、ｚ軸は基準点Ｏを通り光軸Ａと一致するように設定する。
【００３４】
反射ミラー２５の角度位置は、ｘ軸からの回転角度θ及び光軸（ｚ軸）からの傾き角度φにより特定される。回転角度θは、反射ミラー２５の反射面の中心点Ｍと基準点Ｏを結ぶ直線がｘｙ平面に投影した直線とｘ軸との間の角度であり、傾き角度φは、中心点Ｍと基準点Ｏを結ぶ直線とｚ軸との間の角度である。
【００３５】
図３に示すように、反射ミラー２５は、光軸（ｚ軸）に直交する平面内を光軸を中心に周回移動するため、傾き角度φは一定となり、回転角度θをθ0からθN-1までのＮ個の角度位置に回動させ、各回転角度位置において焦点距離を変化させながら撮影を行って複数の撮影画像を得る。この場合、各回転角度位置で撮影した場合、基準点Ｏは常に撮影面の中心位置に結像するように設定されている。
【００３６】
生成処理部１０ａ及び編集処理部１０ｂでの処理は、撮像素子座標系（Ｘ−Ｙ−Ｚ）に基づいて行われるため、編集処理によって生成された各角度位置における編集形状データを以下の変換式を用いて共通座標系（ｘ−ｙ−ｚ）に座標変換処理する。
【００３７】
【数１】
ここで、θは反射ミラー２５の回転角度で、φはその傾き角度、ｋはＺ軸方向のキャリブレーション係数、また（Ｃx，Ｃy，Ｃz）は、反射ミラー２５の回転に対する不動点である基準点Ｏを撮像素子座標系（Ｘ−Ｙ−Ｚ）から見た座標である。以上の変換式を用いてＮ個の角度位置における編集形状データを共通座標系（ｘ−ｙ−ｚ）に変換して配置することで、対象物体Ｓの３次元形状が復元できる。復元された３次元形状は、死角領域を除去した複数の立体形状を統合処理されているため死角領域をできるだけ少なくした精度の高い形状に復元されている。
【００３８】
座標変換に必要なパラメータθ、φ、ｋ及び（Ｃx，Ｃy，Ｃz）は、次のように求められる。例えば、回転角度θは、反射ミラー２５を周回移動させるステッピングモータを駆動制御するためのパルス数等から求めることができる。
【００３９】
θ以外のパラメータは、測定用の特殊なパターン面を利用し、パターン面の予め決められた測定点の軌跡を測定すると共に、そのパターン面について撮影した画像データに基づいて生成処理部１０ａの生成処理を行って求めることができる。
【００４０】
図８は測定用のパターンの一例である。図８は、立体形状の生成処理に適したテキスチャを有するパターン上に、軌跡の追跡に適した複数の測定点を配置したものである（この場合の測定点は４点表示されている）。反射ミラー２５を周回移動させながらこのパターンを撮影すると、各測定点は図９に示すような軌跡を描く（これは蝸牛線として知られている）。この軌跡を構成する各点を、適当に仮定した点（Ｃx，Ｃy）を中心として、対応する反射ミラー２５の回転角度θだけ回転すると、各軌跡は図１０に示すような楕円群（この場合は点数に等しい４つの楕円が得られる）に変換される。
【００４１】
ここで、中心と仮定した点（Ｃx，Ｃy）が、不動点である基準点Ｏに一致している場合には、図１０における楕円の長軸の長さｒ１と短軸の長さｒ２の比 ｒ２／ｒ１は、各楕円にわたって一定値となり、図１１に示すような楕円群が得られることが示される。そこで、比 ｒ２／ｒ１の分散が最小となる点（Ｃx，Ｃy）を探索して求めることにより、基準点の座標のＸおよびＹ成分（Ｃx，Ｃy）が求められる。
【００４２】
得られた楕円群は、静止した１点を反射ミラー２５から、すなわち斜め上方の円軌道から撮影した場合の軌跡に相当するため、反射ミラー２５の傾き角度φが大きいほど前記の楕円は扁平となり、比 ｒ２／ｒ１が大きくなる。反射ミラー２５の傾き角度φと比 ｒ２／ｒ１の関係は、
【００４３】
【数２】
よって与えられる。反射ミラー２５の傾き角度φは、この関係を用いて、得られた楕円の長軸と短軸の比 ｒ２／ｒ１から求められる。楕円の軌跡が複数得られている場合は、各楕円の比 ｒ２／ｒ１の平均値を用いればよい。
また、パラメータｋ及びＣzは、図８のパターン面に対して生成処理部１０ａによる生成処理で立体形状データを算出することによって求められる。図８のパターン面は平面でステージＧ上に載置されていることから、立体形状データは傾き角度φの平面となるように復元されなければならないが、Ｚ軸方向の高さはＸ及びＹ方向に対する相対値であって、キャリブレーションパラメータｋが正しくない場合には、平面の傾き角度がφに復元されない。そこで、復元された平面の傾き角度がφに一致するようにｋの値を調整することによって、パラメータｋの値が求められる。Ｃzについては、前記平面を得られたパラメータｋを用いて傾き角度がφに一致するように補正した後、基準点として得られている点（Ｃx，Ｃy）におけるこの平面のｚ座標を計測することにより求められる。
統合した３次元形状の一部が編集処理によって除去されたままとなっている場合には、その欠損領域が正確に撮影できる角度位置に反射ミラーを位置決めして、再度生成処理及び編集処理を行うことで欠損領域の編集形状データを生成し、座標変換を行って既に得られている対象物体の３次元形状に対して追加統合するようにすればよい。
また、測定誤差等のため、統合処理する際に同じ位置のデータが複数の編集形状データでずれた位置に変換された場合には、対象物体を構成する各点について、その近傍に予め決められたサイズの微小領域を設定し、その微小領域内に複数の点が存在する場合には、それらの平均値をとる等の処理を行って代表点１点に置き換える処理を行えばよい。
【００４４】
以上の例では、基準点Ｏが不動点であることを前提に説明したが、こうした不動点がない場合でも共通座標系への変換・統合処理を行うことは可能である。例えば、図３に示すような円周軌道を反射ミラー２５が移動しない場合や対象物体Ｓに対して固定の軌道からではない任意の位置から撮影する場合などでは不動点が存在しないため、２つの異なる角度位置毎に対象物体上の同一点に対応する画素位置を求め、求めた画素位置と撮影系の光学的配置（撮影を行う際の光軸の回転角度θ、傾き角度φ及びｘｙ平面との交点の座標）から（Ｃx，Ｃy，Ｃz）を計算して、撮影画像の合焦度に基づいて生成された立体形状データを数１に示す変換式により変換・統合処理すればよい。
【００４５】
図１２は、３次元形状復元処理に関するフローである。まず、撮影機構１８を駆動制御して反射ミラー２５のＮ個の角度位置において焦点距離を変化させながら対象物体を撮影して複数の撮影画像を得る（Ｓ１００）。図１３は、矩形状の対象物体を撮影した撮影画像に関する例を示している。横一列に１つの角度位置から焦点距離を変化させて撮影した複数の撮影画像を示しており、上下方向で角度位置が異なるように配列されている。焦点距離を変化させることで各点の合焦度が変化し、ピントの合った合焦領域が変化していくのがわかる。
【００４６】
次に、各角度位置における複数の撮影画像に基づいて合焦領域を抽出して立体形状データを生成する（Ｓ１０１）。図１４は、各角度位置において生成された立体形状データに基づいて復元された対象物体の画像であり、死角領域において立体形状データが不正確になるため画像が乱れているのがわかる。
【００４７】
そこで、生成された立体形状データの死角領域を除去した編集形状データを生成する編集処理を行う（Ｓ１０２）。上述したように単位領域を画定する３点位置の立体形状データに基づいて単位領域を構成する平面の法線ベクトルを算出して撮影方向ベクトルとの間の角度を求め、角度が所定値以上の単位領域を死角領域として除去する。図１５は、死角領域を除去した編集形状データに基づいて復元された対象物体の画像であり、画像の乱れた部分が正確に除去されているのがわかる。
【００４８】
次に、編集処理により生成された編集形状データを共通座標系に変換処理して統合し３次元形状データを生成する（Ｓ１０３）。そして、３次元形状データに欠損等がある場合には、追加修正等の処理を行う（Ｓ１０４）。
【００４９】
以上の処理により、死角をできるだけ少なくした３次元形状データを復元することができる。図１６は、３次元形状データに基づいて復元された対象物体を特定の方向から見た画像であり、様々な角度から対象物体の画像を復元した場合に死角領域の少ない画像として復元することができる。
【産業上の利用可能性】
【００５０】
以上説明した例では、本発明を顕微鏡に適用した場合について説明したが、屋内や屋外において様々な大きさや形状の対象物体についても対象物体の周囲から撮影することで３次元形状を復元することができ、様々な産業分野で要求される形状観測または測定装置として利用することが可能である。例えば、半導体集積回路の製造においてワイヤボンディング工程の検査、化学分野において結晶の３次元形状測定といった用途へ利用できる。
【図面の簡単な説明】
【００５１】
【図１】本発明に係る実施形態に関するシステム構成図である。
【図２】顕微鏡に取り付けられた撮影機構１８の走査部に関する概略図である。
【図３】撮影機構により対象物体を撮影する場合の動作制御に関する概略図である。
【図４】３次元形状復元処理装置に関する機能ブロック構成図である。
【図５】撮像素子Ｄによりある角度位置から対象物体Ｓを撮影する場合の模式図である。
【図６】撮影画像に設定される単位領域に関する説明図である。
【図７】変換処理を行う場合の共通座標系に関する説明図である。
【図８】測定用のパターンの一例を示す画像である。
【図９】パターンの測定点が反射ミラーの周回移動時に描く軌跡を示すグラフである。
【図１０】パターンの測定点が仮定点を中心に描く軌跡を示すグラフである。
【図１１】パターンの測定点が不動点を中心に描く軌跡を示すグラフである。
【図１２】３次元形状復元処理に関するフローである。
【図１３】各角度位置で撮影した撮影画像の一例である。
【図１４】各角度位置における立体形状データから復元された対象物体の画像の一例である。
【図１５】編集処理により除去された編集形状データから復元された対象物体の画像の一例である。
【図１６】統合された３次元形状データから復元された対象物体の画像の一例である。
【符号の説明】
【００５２】
１ ３次元形状復元処理装置
10 ＣＰＵ
11 ＲＡＭ
12 ＲＯＭ
13 記憶部
14 ディスプレイ
15 プリンタ
16 入力部
17 バス
18 撮影機構
22 回転リング
24 反射ミラー
25 反射ミラー
Ａ 光軸
Ｄ 撮像素子
Ｇ ステージ
Ｌ 対物レンズ
Ｓ 対象物体
【特許請求の範囲】
【請求項１】
対象物体に対して焦点距離を変化させて撮影した複数の撮影画像からなる画像データを用いて対象物体の３次元形状を復元する３次元形状復元処理装置であって、対象物体に対してそれぞれ異なった角度位置から撮影して得られた複数の前記画像データを用いて各画像データの撮影画像の合焦度に基づいて立体形状データを生成する生成処理手段と、前記立体形状データに基づいて各画像データの角度位置に対応して生じる死角領域を判定するとともに当該死角領域のデータを除去して編集形状データを生成する編集処理手段と、各画像データの前記編集形状データを共通座標系に変換処理して統合することで対象物体の３次元形状データを生成する統合処理手段とを備えていることを特徴とする３次元形状復元処理装置。
【請求項２】
前記撮影画像を撮影する撮影部と、前記対象物体に対する前記撮影部の撮影方向を変更して異なった角度位置から撮影可能とする走査部とを備えていることを特徴とする請求項１に記載の３次元形状復元処理装置。
【請求項３】
前記編集処理手段は、３点により画定されて所定の大きさを有する複数の単位領域により画面を区分し各単位領域を画定する３点位置の前記立体形状データに基づいて決定される平面の法線ベクトルを算出するとともに画像データを撮影した角度位置に沿った撮影方向ベクトルと当該法線ベクトルとの間の角度が所定の閾値以上である場合に当該単位領域を死角領域と判定することを特徴とする請求項１又は２に記載の３次元形状復元処理装置。
【請求項４】
対象物体に対して焦点距離を変化させて撮影した複数の撮影画像からなる画像データを用いてコンピュータによって対象物体の３次元形状を復元する３次元形状復元処理方法であって、
対象物体に対してそれぞれ異なった角度位置から撮影して得られた複数の前記画像データを用いて各画像データの撮影画像の合焦度に基づいて立体形状データを生成するステップと、
前記立体形状データに基づいて各画像データの角度位置に対応して生じる死角領域を判定し当該死角領域のデータを除去して編集形状データを生成するステップと、
各画像データの前記編集形状データを共通座標系に変換処理して統合することで３次元形状データを生成するステップと
を前記コンピュータに実行させることを特徴とする３次元形状復元処理方法。
【請求項５】
編集形状データを生成するステップにおいて、３点により画定されて所定の大きさを有する複数の単位領域により画面を区分し各単位領域を画定する３点位置の前記立体形状データに基づいて決定される平面の法線ベクトルを算出するとともに画像データを撮影した角度位置に沿った撮影方向ベクトルと当該法線ベクトルとの間の角度が所定の閾値以上である場合に当該単位領域を死角領域と判定することを特徴とする請求項４に記載の３次元形状復元処理方法。
【請求項６】
対象物体に対して焦点距離を変化させて撮影した複数の撮影画像からなる画像データを用いて対象物体の３次元形状を復元する３次元形状復元処理装置を機能させるためのプログラムであって、
前記３次元形状復元処理装置を、
対象物体に対してそれぞれ異なった角度位置から撮影して得られた複数の前記画像データを用いて各画像データの撮影画像の合焦度に基づいて立体形状データを生成する手段、
前記立体形状データに基づいて各画像データの角度位置に対応して生じる死角領域を判定するとともに当該死角領域のデータを除去して編集形状データを生成する手段、
各画像データの前記編集形状データを共通座標系に変換処理して統合することで３次元形状データを生成する手段、
として機能させるためのプログラム。
【請求項７】
前記編集形状データを生成する手段は、３点により画定されて所定の大きさを有する複数の単位領域により画面を区分し各単位領域を画定する３点位置の前記立体形状データに基づいて決定される平面の法線ベクトルを算出するとともに画像データを撮影した角度位置に沿った撮影方向ベクトルと当該法線ベクトルとの間の角度が所定の閾値以上である場合に当該単位領域を死角領域と判定することを特徴とする請求項６に記載のプログラム。
【請求項１】
対象物体に対して焦点距離を変化させて撮影した複数の撮影画像からなる画像データを用いて対象物体の３次元形状を復元する３次元形状復元処理装置であって、対象物体に対してそれぞれ異なった角度位置から撮影して得られた複数の前記画像データを用いて各画像データの撮影画像の合焦度に基づいて立体形状データを生成する生成処理手段と、前記立体形状データに基づいて各画像データの角度位置に対応して生じる死角領域を判定するとともに当該死角領域のデータを除去して編集形状データを生成する編集処理手段と、各画像データの前記編集形状データを共通座標系に変換処理して統合することで対象物体の３次元形状データを生成する統合処理手段とを備えていることを特徴とする３次元形状復元処理装置。
【請求項２】
前記撮影画像を撮影する撮影部と、前記対象物体に対する前記撮影部の撮影方向を変更して異なった角度位置から撮影可能とする走査部とを備えていることを特徴とする請求項１に記載の３次元形状復元処理装置。
【請求項３】
前記編集処理手段は、３点により画定されて所定の大きさを有する複数の単位領域により画面を区分し各単位領域を画定する３点位置の前記立体形状データに基づいて決定される平面の法線ベクトルを算出するとともに画像データを撮影した角度位置に沿った撮影方向ベクトルと当該法線ベクトルとの間の角度が所定の閾値以上である場合に当該単位領域を死角領域と判定することを特徴とする請求項１又は２に記載の３次元形状復元処理装置。
【請求項４】
対象物体に対して焦点距離を変化させて撮影した複数の撮影画像からなる画像データを用いてコンピュータによって対象物体の３次元形状を復元する３次元形状復元処理方法であって、
対象物体に対してそれぞれ異なった角度位置から撮影して得られた複数の前記画像データを用いて各画像データの撮影画像の合焦度に基づいて立体形状データを生成するステップと、
前記立体形状データに基づいて各画像データの角度位置に対応して生じる死角領域を判定し当該死角領域のデータを除去して編集形状データを生成するステップと、
各画像データの前記編集形状データを共通座標系に変換処理して統合することで３次元形状データを生成するステップと
を前記コンピュータに実行させることを特徴とする３次元形状復元処理方法。
【請求項５】
編集形状データを生成するステップにおいて、３点により画定されて所定の大きさを有する複数の単位領域により画面を区分し各単位領域を画定する３点位置の前記立体形状データに基づいて決定される平面の法線ベクトルを算出するとともに画像データを撮影した角度位置に沿った撮影方向ベクトルと当該法線ベクトルとの間の角度が所定の閾値以上である場合に当該単位領域を死角領域と判定することを特徴とする請求項４に記載の３次元形状復元処理方法。
【請求項６】
対象物体に対して焦点距離を変化させて撮影した複数の撮影画像からなる画像データを用いて対象物体の３次元形状を復元する３次元形状復元処理装置を機能させるためのプログラムであって、
前記３次元形状復元処理装置を、
対象物体に対してそれぞれ異なった角度位置から撮影して得られた複数の前記画像データを用いて各画像データの撮影画像の合焦度に基づいて立体形状データを生成する手段、
前記立体形状データに基づいて各画像データの角度位置に対応して生じる死角領域を判定するとともに当該死角領域のデータを除去して編集形状データを生成する手段、
各画像データの前記編集形状データを共通座標系に変換処理して統合することで３次元形状データを生成する手段、
として機能させるためのプログラム。
【請求項７】
前記編集形状データを生成する手段は、３点により画定されて所定の大きさを有する複数の単位領域により画面を区分し各単位領域を画定する３点位置の前記立体形状データに基づいて決定される平面の法線ベクトルを算出するとともに画像データを撮影した角度位置に沿った撮影方向ベクトルと当該法線ベクトルとの間の角度が所定の閾値以上である場合に当該単位領域を死角領域と判定することを特徴とする請求項６に記載のプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図１２】
【図８】
【図９】
【図１０】
【図１１】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図１２】
【図８】
【図９】
【図１０】
【図１１】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２００８−２７５５４２（Ｐ２００８−２７５５４２Ａ）
【公開日】平成２０年１１月１３日（２００８．１１．１３）
【国際特許分類】
【出願番号】特願２００７−１２１９２２（Ｐ２００７−１２１９２２）
【出願日】平成１９年５月２日（２００７．５．２）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 研究集会名 ２００６年映像メディア処理シンポジウム 主催者名 電子情報通信学会 画像工学研究専門委員会 開催日 平成１８年１１月８日〜１０日 発行者名 電子情報通信学会 画像工学研究専門委員会 刊行物名 映像メディア処理シンポジウム 第１１回シンポジウム資料 発行年月日 平成１８年１１月８日
【出願人】（５０４１４５３２０）国立大学法人福井大学 (287)
【出願人】（５９１０８８４５６）三谷商事株式会社 (2)
【Ｆターム（参考）】
【公開日】平成２０年１１月１３日（２００８．１１．１３）
【国際特許分類】
【出願日】平成１９年５月２日（２００７．５．２）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 研究集会名 ２００６年映像メディア処理シンポジウム 主催者名 電子情報通信学会 画像工学研究専門委員会 開催日 平成１８年１１月８日〜１０日 発行者名 電子情報通信学会 画像工学研究専門委員会 刊行物名 映像メディア処理シンポジウム 第１１回シンポジウム資料 発行年月日 平成１８年１１月８日
【出願人】（５０４１４５３２０）国立大学法人福井大学 (287)
【出願人】（５９１０８８４５６）三谷商事株式会社 (2)
【Ｆターム（参考）】
[ Back to top ]