対象物体の厚さの推定方法
【課題】人間が手に取って観察するような例えば茶碗類、布地・その他の類、又は透明層を持つ物体等の厚さの非接触計測は困難だったが、人間がその物体を観察することで感じる「厚さ」に近い厚さを、物体の観察面の画像情報から容易に推定できる、物体の厚さの推定方法を提供する。
【解決手段】ステレオ撮像が可能なステレオ撮像手段で、物体の面の両眼画像を撮影しマッチングを行い、両眼視差量の算出で得た情報に基づき、物体の面の厚さを推定する対象物体の厚さの推定方法で、好ましくは両眼画像は、複数の空間周波数帯域に分割して用い、又は、複数の視差角に対して撮像したものを用いる。
【解決手段】ステレオ撮像が可能なステレオ撮像手段で、物体の面の両眼画像を撮影しマッチングを行い、両眼視差量の算出で得た情報に基づき、物体の面の厚さを推定する対象物体の厚さの推定方法で、好ましくは両眼画像は、複数の空間周波数帯域に分割して用い、又は、複数の視差角に対して撮像したものを用いる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人間がその対象物体の面を観察することで“感じる（推定する）厚さ”に近い厚さを、対象物体の観察面の画像情報から推定する、対象物体の厚さの推定方法に関する。
【背景技術】
【０００２】
近年、デジタルカメラやセキュリティカメラ、あるいは携帯電話搭載カメラの爆発的普及に伴って、カメラデバイス技術や画像・映像処理技術が進歩し、現実感の高い画像や映像が比較的容易に入手できるようになってきた。
その結果、人間が対象物体を観察することによって感じることのできる“物体のそのものらしさ”−いわゆる質感− までをも再現可能な画像・映像技術の開発が求められるようになった。
【０００３】
ところで質感の一つに、（視覚以外の感覚の一つである触覚にも関連しそうだが、）衣類やインテリアに使用される皮革や布類などの素材の「厚み」感がある。
従来なら、例えば素材の「厚み」に関しては、繊維機械に代表される厚さ測定装置が開発されているが、これらは圧力センサー等のようにその素材に実際に接触する必要性のあるデバイス（以下では単に接触デバイスと称する）を利用して、厚さを直接的に計測する直接的手段である。
他方、その物体には実際に接触する必要が無い、例えば、ステレオカメラ等を用いたいわゆる三角測量技術に基づいてその物体の三次元構造を計測する技術も開発されており、例えば、貴重な建造物を計測して画像データとして保存するデジタル・アーカイブの分野、等で応用され役立っている。
ちなみに、文献技術として（必ずしも「厚み」に拘った技術ではないが）、例えば、自然光と同質の光線を用いつつ、正確な両眼視差情報の獲得により認識される良好な立体映像を形成可能と云う３次元表示装置に関する発明が有り特許文献１に記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−１４７７１８号公報
【非特許文献】
【０００５】
【非特許文献１】「ウェーブレットビギナーズガイド」、榊原 進 著、東京電機大学出版局、１９９５
【非特許文献２】「ウェーブレットと直交関数系」、Ｇ．Ｇ．ウォルター著、榊原 進，萬代 武史，芦野 隆一 訳、東京電機大学出版局、２００１
【非特許文献２】“Ｈｉｇｈ―Ａｃｃｕｒａｃｙ Ｓｕｂｐｉｘｅｌ Ｒｅｇｉｓｔｒａｔｉｏｎ Ｂａｓｅｄ ｏｎ Ｐｈａｓｅ―Ｏｎｌｙ Ｃｏｒｒｅｌａｔｉｏｎ”， Ｋ．Ｔａｋｉｔａ，Ｔ．Ａｏｋｉ，Ｔ．Ｈｉｇｕｃｈｉ ａｎｄ Ｋ．Ｋｏｂａｙａｓｈｉ， ＩＥＩＣＥ Ｔｒａｎｓ．Ｆｕｎｄａｍｅｎｔａｌｓ，Ｖｏｌ．Ｅ８６−Ａ，Ｎｏ．８，ｐｐ．１９２５−１９３４，Ａｕｇｕｓｔ ２００３．
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、従来の接触型の厚さ測定装置では実際にセンサーを対象物体に接触させる必要があり、取り扱いの困難な歴史的な文物やゼラチン質などのゲル状の軟物体や液状物体等には適用できない。一方、三次元構造計測技術は建造物等の比較的大きな対象物体には有効であるが、レーザー光の反射帰還を利用する都合上、正反射の強い物体、入り組んだ構造や肌理細かい凹凸をもったり細かい層構造をもったテクスチャなどには適用できない。
従って、人間が手に取って観察するような対象物体、例えば茶碗などの陶磁器や、布地・毛皮・織物、透明な層を持った物体などの厚さを非接触で計測することは未だ困難な問題であった。
【０００７】
本発明は、前記従来の技術の問題点に鑑み成されたもので、人間がその対象物体を観察することで感じる（推定する）「厚さ」に近い厚さを、対象物体に触れることには因らず、対象物体の観察面の画像情報から容易に推定できる、対象物体の厚さの推定方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
前記課題を解決するために提供する請求項１の発明は、ステレオ撮像が可能なステレオ撮像手段を用いて、対象物体の面の両眼画像を撮影し、該両眼画像のマッチングを行い両眼視差量を算出することで得た情報に基づいて、該対象物体の面に係る厚さを推定すること、を特徴とする対象物体の厚さの推定方法である。
尚、ここで両眼視差とは、ある対象を固視しているときの左眼の視軸（あるいは視線）と右眼の視軸（あるいは視線）の方向の差をいい、それぞれの眼の節点が対象に対して張る角度で表される。（「視覚情報処理ハンドブック」、日本視覚学会編、朝倉書店 より）
本発明では、非接触で対象物の厚さを推定するために、人間の眼の機構を参考にして両眼視差に着目し、それに相当する物理量を得るために撮像装置によるステレオ撮像法を応用して、画像処理の問題に定式化する。
【０００９】
請求項２の発明は、前記対象物体の面の両眼画像を、複数の空間周波数帯域に分割して用いること、を特徴とする請求項１に記載の対象物体の厚さの推定方法である。
【００１０】
請求項３の発明は、前記対象物体の面の両眼画像は、複数の視差角に対して撮像した両眼画像であること、を特徴とする請求項１又は２のいずれかに記載の対象物体の厚さの推定方法である。
である。
尚、ここで視差角とは、対象物の同一の点を左眼画像と右眼画像を撮像した際に生じる各視軸の角度の差分である。
【発明の効果】
【００１１】
本発明によれば、対象物体に実際に接触することに因らず、複数台の撮像装置により対象物体の画像を複数枚撮影するだけで、対象物体の厚みを概推定することが可能となる。
【００１２】
尚、もし対象物体の観察面の面積が大きい場合は、例えば、
（ａ）面積に応じて撮像装置の数を適宜増やすことで、撮像する点（ポジション）を多数に増やしたうえ係るステレオ撮像を実現し、各々の２台の撮像装置間で本発明の方法を適用することによって、面積の大きい対象物体に対してでも、（面積の大きくない対象物体の場合と）同様の効果を実現することが可能となる。
又は、（ｂ）面積に応じて撮像装置の移動距離を適宜増やすことで、撮像する点（ポジション）を多数に増やしたうえ係るステレオ撮像を実現し、各々の２台の撮像装置間で本発明の方法を適用することによって、面積の大きい対象物体に対してでも、（面積の大きくない対象物体の場合と）同様の効果を実現することが可能となる。
ここで（ａ）に関して述べる。本発明では、人間が比較的近距離で対象物を観察している場合を想定し、その場合の対象面の厚さを推定する有効な方法を提供する。対象面の面積は必然的に比較的小さなものになる。そのため、視距離が小さくて済むため、高解像度の撮像が可能になる。対象物の面の面積が大きくなると、面全体を撮像に収めることが困難になる。もし、光学的歪みを抑えながら（広角レンズを使わずに）面全体を収めるためには視距離を増す必要があり、そうすると、得られる撮像の解像度が低下してしまうことになる。そこで、高解像度撮像の得られる短い視距離で面を撮影するためには、面を細かく区切り、各部分毎に撮像することになる。その方法としては、多数の撮像装置を等間隔に並置して撮像する方法、および２台の撮像装置を各部分に応じて逐次平行移動しながら撮像する方法が考えられる。
尚、本発明をそのままスケールを拡大および縮小して適用することにより、より大きな厚みの推定およびより小さな厚みの推定を行なうことが可能である。（例えば、スケールを拡大する場合は、視距離・視差角を増大してより大きな面を撮像し、より低い周波数帯域の分析を行なって、より大きな厚さを推定することができる。逆に、スケールを縮小する場合は、視距離・視差各を縮小して、より小さな面をより高解像度で撮像し、より高い周波数帯域の分析を行なって、より小さな厚さを推定することができる。）
【００１３】
本発明によれば、観察する対象物体の面の人間が感じる厚さを推定することが可能であるが、この厚さは物理的な厚さ（例えば接触型の計測器で計測した計測値）に相関した物理量であると同時に、人が観察した際に感じ取る、いわゆる対象物体の主観的な厚さも反映している。従って、ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）において、様々な対象物体を描画する際に、本発明の方法を根拠とした視差操作を反映させることで、より現実感の高い表現が可能となる。
またこの他にも、本発明によれば、両眼立体視が可能な観察条件で、提示する画像や映像における対象物体の面に本発明の方法に基づいた周波数分布をもった両眼視差量を左右眼画像や左右眼映像に付与することにより、より現実感の高い表現が実現可能になる。
【図面の簡単な説明】
【００１４】
【図１】本発明に係る、２台の撮像装置でステレオ撮像する場合の配置の一例を示す説明図。
【図２】ウェーブレット変換・逆変換の概念を示す説明図。
【図３】本発明に係る実施例で、各種布地素材に対して求めた両眼視差量を、複数の空間解像度および複数の視差角に対してプロットして示す三次元グラフ。
【図４】本発明に係る、全体の処理フローを示す説明図。
【図５】本発明に係る、周波数分解処理の処理フローを示す説明図。
【図６】本発明に係る、重み係数設定処理の処理フローを示す説明図。
【図７】本発明に係る、周波数成分画像再構成処理の処理フローを示す説明図。
【図８】本発明に係る、対応点検出処理の処理フローを示す説明図。
【図９】本発明に係る実施例で、布地（シルク）の画像情報から周波数成分（１／４，１／１６，１／６４）を抽出して再構成した画像。
【図１０】本発明に係る実施例で、布地（ウール）の画像情報から周波数成分（１／４，１／１６，１／６４）を抽出して再構成した画像。
【図１１】本発明に係る実施例で、布地（パイル）の画像情報から周波数成分（１／４，１／１６，１／６４）を抽出して再構成した画像。
【図１２】本発明に係る実施例で、複数の視差角および複数の周波数成分に対して、布地（シルク）の両眼視差量を算出した結果を示す三次元グラフ。
【図１３】本発明に係る実施例で、複数の視差角および複数の周波数成分に対して、布地（ウール）の両眼視差量を算出した結果を示す三次元グラフ。
【図１４】本発明に係る実施例で、複数の視差角および複数の周波数成分に対して、布地（パイル）の両眼視差量を算出した結果を示す三次元グラフ。
【発明を実施するための形態】
【００１５】
以下、図面を参照して本発明を詳細に説明する。
図１は、本発明で必要とする２枚の画像（左眼画像および右眼画像）を撮像するための撮像環境の一例である。
対象物体を点Ｐの位置に、２台の撮像装置をそれぞれ点ＬおよびＲの位置に配置する。対象物体の面が凸状である場合、その上の位置は例えば点Ｐ’に移動する。その際、点Ｐ’を撮像するために２台の撮像装置はそれぞれ内側に輻輳する。両者の輻輳角の和が視差角となる。この視差角を様々に変化させて左目画像および右眼画像を撮像する。
尚、これはコンピュータ・ビジョン技術の分野では“輻輳ステレオ”という方法であるが、この他にも例えば撮像装置を平行に移動して撮像する“平行ステレオ”法を用いることも可能である。
【００１６】
周波数変換の方法について、従来は特に音響技術分野で多くの方法が考案されており、例えばフーリエ変換法やウェーブレット変換法などが代表的である。本発明では、（色々な周波数変換の方法を適宜利用することも可能だが）より好適な例として、空間的局在精度の高いウェーブレット変換法を適用する場合をここでは紹介する。
ウェーブレット変換は、ツースケール関係と正規直交系条件をみたす２種類の関数（スケーリング関数とウェーブレット関数）を用いて信号を分解・生成する方法である。ウェーブレット変換の基本的内容は、例えば「非特許文献１」などで説明されている。又、ウェーブレットを構成するための関数系に関しては、例えば「非特許文献２」で説明されている。
ウェーブレット関数の例としては、Ｄａｕｂｅｃｈｉｅｓウェーブレットや、カーディナル・スプライン・ウェーブレット、等がある。性質が素直で滑らかなウェーブレット関数は、本発明には好適である。
【００１７】
対象物体を撮像装置で撮像した画像から、画像の幅と高さが互いに等しく、その値が２のべき乗に等しい領域を抽出して処理画像とする。この画像に対して、所望のウェーブレット関数のスケーリング係数およびウェーブレット係数を用意して、ウェーブレット変換を行なう。図２に示すように、ウェーブレット変換を一回行なう毎に、周波数が半減するとともに、高周波成分と低周波成分に分解される。ここで、変換前の原画像の状態を分解レベル０、変換を一回適用した場合を分解レベル１、変換をｎ回繰り返した状態を分解レベルｎと呼ぶ。したがって、変換をｎ回まで繰り返した際、元の画像の空間周波数を最高周波数として、その１／２倍，１／４倍，・・・，１／２ｎ倍の周波数成分にそれぞれ分解される。
【００１８】
分解レベル
【００１９】
【数１】
【００２０】
の分解成分と分解レベル
【００２１】
【数２】
【００２２】
の分解成分との間には、以下の関係が成り立つ。
【００２３】
【数３】
【００２４】
【数４】
【００２５】
【数５】
【００２６】
これらの式は、原信号
【００２７】
【数６】
【００２８】
がフィルター：
【００２９】
【数７】
【００３０】
によって、解像度の一段階低い信号：
【００３１】
【数８】
【００３２】
とに分解できることを表している。ここで、関数
【００３３】
【数９】
【００３４】
はウェーブレット関数、また関数
【００３５】
【数１０】
【００３６】
はスケーリング関数と呼ばれる。
図３にＤａｕｂｅｃｈｉｅｓウェーブレット（１０次）のウェーブレット関数およびスケーリング関数の一例を示す。
【００３７】
画像の再構成方法について説明する。図２において、前記画像の分解方法とは逆方向に処理を進める。分解レベルｎの低周波画像および分解レベルｎのウェーブレット係数にウェーブレット逆変換を適用して分解レベルｎ−１の低周波画像が得られる。次に，分解レベルｎ−１の低周波画像とウェーブレット係数にウェーブレット逆変換を適用することにより分解レベルｎ−２の低周波画像が得られる。この操作を順次繰り返すことにより、分解レベル０の画像すなわち元の画像を再構成することができる。
【００３８】
次に、ある周波数帯域成分だけの画像を構成する。ウェーブレット変換によって周波数分解することにより、各分解レベル毎のウェーブレット係数が得られる。分解レベルはツースケール関係により、２のべき乗分の１の空間解像度に対応しており、例えば、分解レベルｉは、原画像の空間解像度の
【００３９】
【数１１】
【００４０】
倍の空間解像度に対応し、これは原画像の
【００４１】
【数１２】
【００４２】
倍の空間周波数成分に相当する。
【００４３】
そこで、注目する周波数成分、すなわち、注目する分解レベルのウェーブレット係数には１を乗じ、その他のウェーブレット係数には０を乗じて、前記画像の再構成方法を適用することにより、注目周波数成分だけで構成される画像が得られる。
【００４４】
【数１３】
【００４５】
対象物体を両眼視条件で撮像した２枚の画像（左眼画像および右眼画像）それぞれに対し、所望のウェーブレット関数で周波数変換を行い、複数の周波数成分に分解し、さらに各々の分解レベル、すなわち各周波数成分だけを再構成した周波数成分再構成画像を生成する。
図９から図１１に、本発明の方法でＤａｕｂｅｃｈｉｅｓ（１０次）のウェーブレットを用いて、シルク、ウールおよびパイルの周波数成分再構成画像の例を示す。分解レベルは２，４，６の３つを示してある。各素材の周波数分布の差違、および各成分の二次元配置が見て取れる。
【００４６】
次に、同じ分解レベルの左眼画像および右眼画像の各再構成画像間で、対応点探索を行う。対応点探索とは、対象物体上の同一点を左眼画像および右眼画像上で検出することである。
対応点探索の方法としてはいくつか考案されているが、本発明では、高いマッチング精度が必要であるため、高精度な方法を使用する。そのような方法としては、例えば「非特許文献３」の位相限定相関法がある。
【００４７】
非特許文献３に記載された技術は、左眼画像と右眼画像をフーリエ変換して、正規化相互パワースペクトルを求めることにより、両画像間の平行移動量を算出する手法である。高速フーリエ変換法を利用すれば簡易にかつ高速に計算可能であり、振幅情報を含まないため、光学的環境に依存せずに安定した検出が可能である。本発明では、前記各周波数レベルに分解・再構成した左眼画像および右眼画像の間で、各周波数分解レベル毎に位相限定相関法を適用して、平行移動量を算出し、これを両眼視差量とする。
【００４８】
前記の両眼視差量を算出する操作を視差角を一定の割合で変化させながら複数回行なうことにより、複数の視差角に対して対象物体の両眼視差量を求める。
【００４９】
次に、各周波数レベル毎に、各視差角に対する両眼視差量の変化の割合（これを以下では「変化率」と称する）を求める。変化率としては、例えば、視差角に対する両眼視差量の変化の傾きを、各周波数に対応する分解レベル毎に計算することによって求めることができるが、これに限定したものではない。
この変化率の求め方の一例として、両眼視差量の変化率は、各分解レベル毎に（各周波数成分毎に）視差角変化に対する変化を加算平均することにより、次式によって求められる。
【００５０】
【数１４】
【００５１】
ここで、
【００５２】
【数１５】
【００５３】
は周波数成分
【００５４】
【数１６】
【００５５】
に対する変化率、
【００５６】
【数１７】
【００５７】
は周波数成分
【００５８】
【数１８】
【００５９】
番目の視差角に対する両眼視差量、
【００６０】
【数１９】
【００６１】
は周波数成分
【００６２】
【数２０】
【００６３】
に対する
【００６４】
【数２１】
【００６５】
番目の視差角を表し、
【００６６】
【数２２】
【００６７】
は視差角のサンプリング数を表す。
【００６８】
あるいは、変化率の他の求め方の一例として、一つの周波数成分と一つの視差角に対して一つの変化率が求まるので、複数の周波数成分と複数の視差角に対する変化率をベクトルとして表し、これを特徴ベクトルとして構成してもよい。
【００６９】
【数２３】
【００７０】
ここで、
【００７１】
【数２４】
【００７２】
は周波数成分
【００７３】
【数２５】
【００７４】
に対する変化率、
【００７５】
【数２６】
【００７６】
は特徴ベクトルである。
この場合には、素材毎に当該特徴ベクトルを算出し、統計的解析手法、例えば多変量解析手法の判別手法を適用することにより、素材間の距離を算出する。当該距離に基づいて素材の厚みの大小を対応付けることにより、素材の面を人間が観察した場合に感じる厚さを推定することが可能となる。
【００７７】
本発明では一例として、前記変化率が一定の値以下であれば、奥行きあるいは厚みが小さいと、或は一定の値以上であれば奥行きあるいは厚みが大きいと判定する。前記一定の値は、ある程度用途に応じて適応的に決まり、例えば布地素材の厚みを分別する用途に対しては、対象とすべき布地の範囲（母集団）内で、実際に前記の方法により前記特徴ベクトルを算出し、変化率を求め、統計的指標に基づいて平均値・中央値・最頻値を採用したり、あるいは主観評価実験から統計的に処理した（判別分析など）結果決まる数値である。
本発明の処理の流れ（フロー・チャート）を図４から図８に示す。
【実施例】
【００７８】
また、本発明の処理結果の例として、実際にいくつかの布地に対して本発明の方法を適用して、Ｄａｕｂｅｃｈｉｅｓ（１０次）のウェーブレットを用いて、布地素材の厚みを求めた結果を示す。布地としては、厚さの異なるものとしてシルク・ウール・パイルの場合を示した。
【００７９】
図１２は各素材に対して本発明の方法で算出した両眼視差量を三次元グラフにプロットした結果である。ここで周波数成分は分解レベル１から６まで、すなわち空間解像度にして１／２，１／４，１／８，１／１６，１／３２，１／６４倍の６段階とし、視差角は１°から１°刻みで１０°までの１０段階とした。尚、照明光の入射角は５０°とした。
【００８０】
表１に周波数の分解レベル１，２，３における、シルク、ウール、及びパイルの各素材の変化率を本発明により算出した結果を示す。
【００８１】
【表１】
【００８２】
物理的厚さは、 「シルク」＜「ウール」＜「パイル」 の順に大きいが、算出した変化率も同様の順であることが確認できる。
【産業上の利用可能性】
【００８３】
本発明は、厚さの測定が困難な対象の厚さを、画像情報に基づいて（非接触で）容易に推定できることから、例えば、ロボット等が物体を把持しようとする際に力強さの加減を事前に調整したりとか、又は、ロボット等がある領域に踏み入ろうとする際に危険そうな領域を事前に察知しそこを避けて進行したり、等といったことを容易に可能ならしめる技術分野での応用が期待できる。
【符号の説明】
【００８４】
Ｌ ・・・２台の撮像装置の片方を配置する位置
Ｐ ・・・対象物体の位置を示す点
Ｐ’ ・・対象物体が移動した位置を示す点
Ｒ ・・・２台の撮像装置の他方を配置する位置
【技術分野】
【０００１】
本発明は、人間がその対象物体の面を観察することで“感じる（推定する）厚さ”に近い厚さを、対象物体の観察面の画像情報から推定する、対象物体の厚さの推定方法に関する。
【背景技術】
【０００２】
近年、デジタルカメラやセキュリティカメラ、あるいは携帯電話搭載カメラの爆発的普及に伴って、カメラデバイス技術や画像・映像処理技術が進歩し、現実感の高い画像や映像が比較的容易に入手できるようになってきた。
その結果、人間が対象物体を観察することによって感じることのできる“物体のそのものらしさ”−いわゆる質感− までをも再現可能な画像・映像技術の開発が求められるようになった。
【０００３】
ところで質感の一つに、（視覚以外の感覚の一つである触覚にも関連しそうだが、）衣類やインテリアに使用される皮革や布類などの素材の「厚み」感がある。
従来なら、例えば素材の「厚み」に関しては、繊維機械に代表される厚さ測定装置が開発されているが、これらは圧力センサー等のようにその素材に実際に接触する必要性のあるデバイス（以下では単に接触デバイスと称する）を利用して、厚さを直接的に計測する直接的手段である。
他方、その物体には実際に接触する必要が無い、例えば、ステレオカメラ等を用いたいわゆる三角測量技術に基づいてその物体の三次元構造を計測する技術も開発されており、例えば、貴重な建造物を計測して画像データとして保存するデジタル・アーカイブの分野、等で応用され役立っている。
ちなみに、文献技術として（必ずしも「厚み」に拘った技術ではないが）、例えば、自然光と同質の光線を用いつつ、正確な両眼視差情報の獲得により認識される良好な立体映像を形成可能と云う３次元表示装置に関する発明が有り特許文献１に記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−１４７７１８号公報
【非特許文献】
【０００５】
【非特許文献１】「ウェーブレットビギナーズガイド」、榊原 進 著、東京電機大学出版局、１９９５
【非特許文献２】「ウェーブレットと直交関数系」、Ｇ．Ｇ．ウォルター著、榊原 進，萬代 武史，芦野 隆一 訳、東京電機大学出版局、２００１
【非特許文献２】“Ｈｉｇｈ―Ａｃｃｕｒａｃｙ Ｓｕｂｐｉｘｅｌ Ｒｅｇｉｓｔｒａｔｉｏｎ Ｂａｓｅｄ ｏｎ Ｐｈａｓｅ―Ｏｎｌｙ Ｃｏｒｒｅｌａｔｉｏｎ”， Ｋ．Ｔａｋｉｔａ，Ｔ．Ａｏｋｉ，Ｔ．Ｈｉｇｕｃｈｉ ａｎｄ Ｋ．Ｋｏｂａｙａｓｈｉ， ＩＥＩＣＥ Ｔｒａｎｓ．Ｆｕｎｄａｍｅｎｔａｌｓ，Ｖｏｌ．Ｅ８６−Ａ，Ｎｏ．８，ｐｐ．１９２５−１９３４，Ａｕｇｕｓｔ ２００３．
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、従来の接触型の厚さ測定装置では実際にセンサーを対象物体に接触させる必要があり、取り扱いの困難な歴史的な文物やゼラチン質などのゲル状の軟物体や液状物体等には適用できない。一方、三次元構造計測技術は建造物等の比較的大きな対象物体には有効であるが、レーザー光の反射帰還を利用する都合上、正反射の強い物体、入り組んだ構造や肌理細かい凹凸をもったり細かい層構造をもったテクスチャなどには適用できない。
従って、人間が手に取って観察するような対象物体、例えば茶碗などの陶磁器や、布地・毛皮・織物、透明な層を持った物体などの厚さを非接触で計測することは未だ困難な問題であった。
【０００７】
本発明は、前記従来の技術の問題点に鑑み成されたもので、人間がその対象物体を観察することで感じる（推定する）「厚さ」に近い厚さを、対象物体に触れることには因らず、対象物体の観察面の画像情報から容易に推定できる、対象物体の厚さの推定方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
前記課題を解決するために提供する請求項１の発明は、ステレオ撮像が可能なステレオ撮像手段を用いて、対象物体の面の両眼画像を撮影し、該両眼画像のマッチングを行い両眼視差量を算出することで得た情報に基づいて、該対象物体の面に係る厚さを推定すること、を特徴とする対象物体の厚さの推定方法である。
尚、ここで両眼視差とは、ある対象を固視しているときの左眼の視軸（あるいは視線）と右眼の視軸（あるいは視線）の方向の差をいい、それぞれの眼の節点が対象に対して張る角度で表される。（「視覚情報処理ハンドブック」、日本視覚学会編、朝倉書店 より）
本発明では、非接触で対象物の厚さを推定するために、人間の眼の機構を参考にして両眼視差に着目し、それに相当する物理量を得るために撮像装置によるステレオ撮像法を応用して、画像処理の問題に定式化する。
【０００９】
請求項２の発明は、前記対象物体の面の両眼画像を、複数の空間周波数帯域に分割して用いること、を特徴とする請求項１に記載の対象物体の厚さの推定方法である。
【００１０】
請求項３の発明は、前記対象物体の面の両眼画像は、複数の視差角に対して撮像した両眼画像であること、を特徴とする請求項１又は２のいずれかに記載の対象物体の厚さの推定方法である。
である。
尚、ここで視差角とは、対象物の同一の点を左眼画像と右眼画像を撮像した際に生じる各視軸の角度の差分である。
【発明の効果】
【００１１】
本発明によれば、対象物体に実際に接触することに因らず、複数台の撮像装置により対象物体の画像を複数枚撮影するだけで、対象物体の厚みを概推定することが可能となる。
【００１２】
尚、もし対象物体の観察面の面積が大きい場合は、例えば、
（ａ）面積に応じて撮像装置の数を適宜増やすことで、撮像する点（ポジション）を多数に増やしたうえ係るステレオ撮像を実現し、各々の２台の撮像装置間で本発明の方法を適用することによって、面積の大きい対象物体に対してでも、（面積の大きくない対象物体の場合と）同様の効果を実現することが可能となる。
又は、（ｂ）面積に応じて撮像装置の移動距離を適宜増やすことで、撮像する点（ポジション）を多数に増やしたうえ係るステレオ撮像を実現し、各々の２台の撮像装置間で本発明の方法を適用することによって、面積の大きい対象物体に対してでも、（面積の大きくない対象物体の場合と）同様の効果を実現することが可能となる。
ここで（ａ）に関して述べる。本発明では、人間が比較的近距離で対象物を観察している場合を想定し、その場合の対象面の厚さを推定する有効な方法を提供する。対象面の面積は必然的に比較的小さなものになる。そのため、視距離が小さくて済むため、高解像度の撮像が可能になる。対象物の面の面積が大きくなると、面全体を撮像に収めることが困難になる。もし、光学的歪みを抑えながら（広角レンズを使わずに）面全体を収めるためには視距離を増す必要があり、そうすると、得られる撮像の解像度が低下してしまうことになる。そこで、高解像度撮像の得られる短い視距離で面を撮影するためには、面を細かく区切り、各部分毎に撮像することになる。その方法としては、多数の撮像装置を等間隔に並置して撮像する方法、および２台の撮像装置を各部分に応じて逐次平行移動しながら撮像する方法が考えられる。
尚、本発明をそのままスケールを拡大および縮小して適用することにより、より大きな厚みの推定およびより小さな厚みの推定を行なうことが可能である。（例えば、スケールを拡大する場合は、視距離・視差角を増大してより大きな面を撮像し、より低い周波数帯域の分析を行なって、より大きな厚さを推定することができる。逆に、スケールを縮小する場合は、視距離・視差各を縮小して、より小さな面をより高解像度で撮像し、より高い周波数帯域の分析を行なって、より小さな厚さを推定することができる。）
【００１３】
本発明によれば、観察する対象物体の面の人間が感じる厚さを推定することが可能であるが、この厚さは物理的な厚さ（例えば接触型の計測器で計測した計測値）に相関した物理量であると同時に、人が観察した際に感じ取る、いわゆる対象物体の主観的な厚さも反映している。従って、ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）において、様々な対象物体を描画する際に、本発明の方法を根拠とした視差操作を反映させることで、より現実感の高い表現が可能となる。
またこの他にも、本発明によれば、両眼立体視が可能な観察条件で、提示する画像や映像における対象物体の面に本発明の方法に基づいた周波数分布をもった両眼視差量を左右眼画像や左右眼映像に付与することにより、より現実感の高い表現が実現可能になる。
【図面の簡単な説明】
【００１４】
【図１】本発明に係る、２台の撮像装置でステレオ撮像する場合の配置の一例を示す説明図。
【図２】ウェーブレット変換・逆変換の概念を示す説明図。
【図３】本発明に係る実施例で、各種布地素材に対して求めた両眼視差量を、複数の空間解像度および複数の視差角に対してプロットして示す三次元グラフ。
【図４】本発明に係る、全体の処理フローを示す説明図。
【図５】本発明に係る、周波数分解処理の処理フローを示す説明図。
【図６】本発明に係る、重み係数設定処理の処理フローを示す説明図。
【図７】本発明に係る、周波数成分画像再構成処理の処理フローを示す説明図。
【図８】本発明に係る、対応点検出処理の処理フローを示す説明図。
【図９】本発明に係る実施例で、布地（シルク）の画像情報から周波数成分（１／４，１／１６，１／６４）を抽出して再構成した画像。
【図１０】本発明に係る実施例で、布地（ウール）の画像情報から周波数成分（１／４，１／１６，１／６４）を抽出して再構成した画像。
【図１１】本発明に係る実施例で、布地（パイル）の画像情報から周波数成分（１／４，１／１６，１／６４）を抽出して再構成した画像。
【図１２】本発明に係る実施例で、複数の視差角および複数の周波数成分に対して、布地（シルク）の両眼視差量を算出した結果を示す三次元グラフ。
【図１３】本発明に係る実施例で、複数の視差角および複数の周波数成分に対して、布地（ウール）の両眼視差量を算出した結果を示す三次元グラフ。
【図１４】本発明に係る実施例で、複数の視差角および複数の周波数成分に対して、布地（パイル）の両眼視差量を算出した結果を示す三次元グラフ。
【発明を実施するための形態】
【００１５】
以下、図面を参照して本発明を詳細に説明する。
図１は、本発明で必要とする２枚の画像（左眼画像および右眼画像）を撮像するための撮像環境の一例である。
対象物体を点Ｐの位置に、２台の撮像装置をそれぞれ点ＬおよびＲの位置に配置する。対象物体の面が凸状である場合、その上の位置は例えば点Ｐ’に移動する。その際、点Ｐ’を撮像するために２台の撮像装置はそれぞれ内側に輻輳する。両者の輻輳角の和が視差角となる。この視差角を様々に変化させて左目画像および右眼画像を撮像する。
尚、これはコンピュータ・ビジョン技術の分野では“輻輳ステレオ”という方法であるが、この他にも例えば撮像装置を平行に移動して撮像する“平行ステレオ”法を用いることも可能である。
【００１６】
周波数変換の方法について、従来は特に音響技術分野で多くの方法が考案されており、例えばフーリエ変換法やウェーブレット変換法などが代表的である。本発明では、（色々な周波数変換の方法を適宜利用することも可能だが）より好適な例として、空間的局在精度の高いウェーブレット変換法を適用する場合をここでは紹介する。
ウェーブレット変換は、ツースケール関係と正規直交系条件をみたす２種類の関数（スケーリング関数とウェーブレット関数）を用いて信号を分解・生成する方法である。ウェーブレット変換の基本的内容は、例えば「非特許文献１」などで説明されている。又、ウェーブレットを構成するための関数系に関しては、例えば「非特許文献２」で説明されている。
ウェーブレット関数の例としては、Ｄａｕｂｅｃｈｉｅｓウェーブレットや、カーディナル・スプライン・ウェーブレット、等がある。性質が素直で滑らかなウェーブレット関数は、本発明には好適である。
【００１７】
対象物体を撮像装置で撮像した画像から、画像の幅と高さが互いに等しく、その値が２のべき乗に等しい領域を抽出して処理画像とする。この画像に対して、所望のウェーブレット関数のスケーリング係数およびウェーブレット係数を用意して、ウェーブレット変換を行なう。図２に示すように、ウェーブレット変換を一回行なう毎に、周波数が半減するとともに、高周波成分と低周波成分に分解される。ここで、変換前の原画像の状態を分解レベル０、変換を一回適用した場合を分解レベル１、変換をｎ回繰り返した状態を分解レベルｎと呼ぶ。したがって、変換をｎ回まで繰り返した際、元の画像の空間周波数を最高周波数として、その１／２倍，１／４倍，・・・，１／２ｎ倍の周波数成分にそれぞれ分解される。
【００１８】
分解レベル
【００１９】
【数１】
【００２０】
の分解成分と分解レベル
【００２１】
【数２】
【００２２】
の分解成分との間には、以下の関係が成り立つ。
【００２３】
【数３】
【００２４】
【数４】
【００２５】
【数５】
【００２６】
これらの式は、原信号
【００２７】
【数６】
【００２８】
がフィルター：
【００２９】
【数７】
【００３０】
によって、解像度の一段階低い信号：
【００３１】
【数８】
【００３２】
とに分解できることを表している。ここで、関数
【００３３】
【数９】
【００３４】
はウェーブレット関数、また関数
【００３５】
【数１０】
【００３６】
はスケーリング関数と呼ばれる。
図３にＤａｕｂｅｃｈｉｅｓウェーブレット（１０次）のウェーブレット関数およびスケーリング関数の一例を示す。
【００３７】
画像の再構成方法について説明する。図２において、前記画像の分解方法とは逆方向に処理を進める。分解レベルｎの低周波画像および分解レベルｎのウェーブレット係数にウェーブレット逆変換を適用して分解レベルｎ−１の低周波画像が得られる。次に，分解レベルｎ−１の低周波画像とウェーブレット係数にウェーブレット逆変換を適用することにより分解レベルｎ−２の低周波画像が得られる。この操作を順次繰り返すことにより、分解レベル０の画像すなわち元の画像を再構成することができる。
【００３８】
次に、ある周波数帯域成分だけの画像を構成する。ウェーブレット変換によって周波数分解することにより、各分解レベル毎のウェーブレット係数が得られる。分解レベルはツースケール関係により、２のべき乗分の１の空間解像度に対応しており、例えば、分解レベルｉは、原画像の空間解像度の
【００３９】
【数１１】
【００４０】
倍の空間解像度に対応し、これは原画像の
【００４１】
【数１２】
【００４２】
倍の空間周波数成分に相当する。
【００４３】
そこで、注目する周波数成分、すなわち、注目する分解レベルのウェーブレット係数には１を乗じ、その他のウェーブレット係数には０を乗じて、前記画像の再構成方法を適用することにより、注目周波数成分だけで構成される画像が得られる。
【００４４】
【数１３】
【００４５】
対象物体を両眼視条件で撮像した２枚の画像（左眼画像および右眼画像）それぞれに対し、所望のウェーブレット関数で周波数変換を行い、複数の周波数成分に分解し、さらに各々の分解レベル、すなわち各周波数成分だけを再構成した周波数成分再構成画像を生成する。
図９から図１１に、本発明の方法でＤａｕｂｅｃｈｉｅｓ（１０次）のウェーブレットを用いて、シルク、ウールおよびパイルの周波数成分再構成画像の例を示す。分解レベルは２，４，６の３つを示してある。各素材の周波数分布の差違、および各成分の二次元配置が見て取れる。
【００４６】
次に、同じ分解レベルの左眼画像および右眼画像の各再構成画像間で、対応点探索を行う。対応点探索とは、対象物体上の同一点を左眼画像および右眼画像上で検出することである。
対応点探索の方法としてはいくつか考案されているが、本発明では、高いマッチング精度が必要であるため、高精度な方法を使用する。そのような方法としては、例えば「非特許文献３」の位相限定相関法がある。
【００４７】
非特許文献３に記載された技術は、左眼画像と右眼画像をフーリエ変換して、正規化相互パワースペクトルを求めることにより、両画像間の平行移動量を算出する手法である。高速フーリエ変換法を利用すれば簡易にかつ高速に計算可能であり、振幅情報を含まないため、光学的環境に依存せずに安定した検出が可能である。本発明では、前記各周波数レベルに分解・再構成した左眼画像および右眼画像の間で、各周波数分解レベル毎に位相限定相関法を適用して、平行移動量を算出し、これを両眼視差量とする。
【００４８】
前記の両眼視差量を算出する操作を視差角を一定の割合で変化させながら複数回行なうことにより、複数の視差角に対して対象物体の両眼視差量を求める。
【００４９】
次に、各周波数レベル毎に、各視差角に対する両眼視差量の変化の割合（これを以下では「変化率」と称する）を求める。変化率としては、例えば、視差角に対する両眼視差量の変化の傾きを、各周波数に対応する分解レベル毎に計算することによって求めることができるが、これに限定したものではない。
この変化率の求め方の一例として、両眼視差量の変化率は、各分解レベル毎に（各周波数成分毎に）視差角変化に対する変化を加算平均することにより、次式によって求められる。
【００５０】
【数１４】
【００５１】
ここで、
【００５２】
【数１５】
【００５３】
は周波数成分
【００５４】
【数１６】
【００５５】
に対する変化率、
【００５６】
【数１７】
【００５７】
は周波数成分
【００５８】
【数１８】
【００５９】
番目の視差角に対する両眼視差量、
【００６０】
【数１９】
【００６１】
は周波数成分
【００６２】
【数２０】
【００６３】
に対する
【００６４】
【数２１】
【００６５】
番目の視差角を表し、
【００６６】
【数２２】
【００６７】
は視差角のサンプリング数を表す。
【００６８】
あるいは、変化率の他の求め方の一例として、一つの周波数成分と一つの視差角に対して一つの変化率が求まるので、複数の周波数成分と複数の視差角に対する変化率をベクトルとして表し、これを特徴ベクトルとして構成してもよい。
【００６９】
【数２３】
【００７０】
ここで、
【００７１】
【数２４】
【００７２】
は周波数成分
【００７３】
【数２５】
【００７４】
に対する変化率、
【００７５】
【数２６】
【００７６】
は特徴ベクトルである。
この場合には、素材毎に当該特徴ベクトルを算出し、統計的解析手法、例えば多変量解析手法の判別手法を適用することにより、素材間の距離を算出する。当該距離に基づいて素材の厚みの大小を対応付けることにより、素材の面を人間が観察した場合に感じる厚さを推定することが可能となる。
【００７７】
本発明では一例として、前記変化率が一定の値以下であれば、奥行きあるいは厚みが小さいと、或は一定の値以上であれば奥行きあるいは厚みが大きいと判定する。前記一定の値は、ある程度用途に応じて適応的に決まり、例えば布地素材の厚みを分別する用途に対しては、対象とすべき布地の範囲（母集団）内で、実際に前記の方法により前記特徴ベクトルを算出し、変化率を求め、統計的指標に基づいて平均値・中央値・最頻値を採用したり、あるいは主観評価実験から統計的に処理した（判別分析など）結果決まる数値である。
本発明の処理の流れ（フロー・チャート）を図４から図８に示す。
【実施例】
【００７８】
また、本発明の処理結果の例として、実際にいくつかの布地に対して本発明の方法を適用して、Ｄａｕｂｅｃｈｉｅｓ（１０次）のウェーブレットを用いて、布地素材の厚みを求めた結果を示す。布地としては、厚さの異なるものとしてシルク・ウール・パイルの場合を示した。
【００７９】
図１２は各素材に対して本発明の方法で算出した両眼視差量を三次元グラフにプロットした結果である。ここで周波数成分は分解レベル１から６まで、すなわち空間解像度にして１／２，１／４，１／８，１／１６，１／３２，１／６４倍の６段階とし、視差角は１°から１°刻みで１０°までの１０段階とした。尚、照明光の入射角は５０°とした。
【００８０】
表１に周波数の分解レベル１，２，３における、シルク、ウール、及びパイルの各素材の変化率を本発明により算出した結果を示す。
【００８１】
【表１】
【００８２】
物理的厚さは、 「シルク」＜「ウール」＜「パイル」 の順に大きいが、算出した変化率も同様の順であることが確認できる。
【産業上の利用可能性】
【００８３】
本発明は、厚さの測定が困難な対象の厚さを、画像情報に基づいて（非接触で）容易に推定できることから、例えば、ロボット等が物体を把持しようとする際に力強さの加減を事前に調整したりとか、又は、ロボット等がある領域に踏み入ろうとする際に危険そうな領域を事前に察知しそこを避けて進行したり、等といったことを容易に可能ならしめる技術分野での応用が期待できる。
【符号の説明】
【００８４】
Ｌ ・・・２台の撮像装置の片方を配置する位置
Ｐ ・・・対象物体の位置を示す点
Ｐ’ ・・対象物体が移動した位置を示す点
Ｒ ・・・２台の撮像装置の他方を配置する位置
【特許請求の範囲】
【請求項１】
ステレオ撮像が可能なステレオ撮像手段を用いて、対象物体の面の両眼画像を撮影し、
該両眼画像のマッチングを行い両眼視差量を算出することで得た情報に基づいて、該対象物体の面に係る厚さを推定すること、を特徴とする対象物体の厚さの推定方法。
【請求項２】
前記対象物体の面の両眼画像を、複数の空間周波数帯域に分割して用いること、を特徴とする請求項１に記載の対象物体の厚さの推定方法。
【請求項３】
前記対象物体の面の両眼画像は、複数の視差角に対して撮像した両眼画像であること、を特徴とする請求項１又は２のいずれかに記載の対象物体の厚さの推定方法。
【請求項１】
ステレオ撮像が可能なステレオ撮像手段を用いて、対象物体の面の両眼画像を撮影し、
該両眼画像のマッチングを行い両眼視差量を算出することで得た情報に基づいて、該対象物体の面に係る厚さを推定すること、を特徴とする対象物体の厚さの推定方法。
【請求項２】
前記対象物体の面の両眼画像を、複数の空間周波数帯域に分割して用いること、を特徴とする請求項１に記載の対象物体の厚さの推定方法。
【請求項３】
前記対象物体の面の両眼画像は、複数の視差角に対して撮像した両眼画像であること、を特徴とする請求項１又は２のいずれかに記載の対象物体の厚さの推定方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１０−２１０５７３（Ｐ２０１０−２１０５７３Ａ）
【公開日】平成２２年９月２４日（２０１０．９．２４）
【国際特許分類】
【出願番号】特願２００９−５９６３０（Ｐ２００９−５９６３０）
【出願日】平成２１年３月１２日（２００９．３．１２）
【出願人】（０００００３１９３）凸版印刷株式会社 (10,630)
【Ｆターム（参考）】
【公開日】平成２２年９月２４日（２０１０．９．２４）
【国際特許分類】
【出願日】平成２１年３月１２日（２００９．３．１２）
【出願人】（０００００３１９３）凸版印刷株式会社 (10,630)
【Ｆターム（参考）】
[ Back to top ]