質感定量化装置及び質感定量化方法
【課題】 質感の定量化を結合変換相関演算（JTC）で実現する。
【解決手段】 質感定量化装置１は、レーザー光を出力するレーザ・ダイオード２と、対物レンズ３と、レーザー光を点光源とするピンホール部４と、波面位相の揃った平行光線とするコリメートレンズ５と、偏光子６と、ハーフミラー７と、検索ヒストグラム及び参照ヒストグラムとが並置された像を入力しこの像に基づいて空間光変調を行い、光像を生成する光像生成装置である空間光変調器８と、空間光変調器８からの光像をハーフミラー７、偏光子９を介して受け光学的にフーリエ変換して、フーリエ変換光像を形成するフーリエ変換レンズ１０と、フーリエ変換レンズ１０からのフーリエ変換光像を画像として検出するＣＭＯＳカメラ１１と、を有する光演算相関部１２と、相互相関スポットの強度に基づいて、検索ヒストグラムと参照ヒストグラムを照合し、質感の類似性を判断する質感定量化部１３とを備える。
【解決手段】 質感定量化装置１は、レーザー光を出力するレーザ・ダイオード２と、対物レンズ３と、レーザー光を点光源とするピンホール部４と、波面位相の揃った平行光線とするコリメートレンズ５と、偏光子６と、ハーフミラー７と、検索ヒストグラム及び参照ヒストグラムとが並置された像を入力しこの像に基づいて空間光変調を行い、光像を生成する光像生成装置である空間光変調器８と、空間光変調器８からの光像をハーフミラー７、偏光子９を介して受け光学的にフーリエ変換して、フーリエ変換光像を形成するフーリエ変換レンズ１０と、フーリエ変換レンズ１０からのフーリエ変換光像を画像として検出するＣＭＯＳカメラ１１と、を有する光演算相関部１２と、相互相関スポットの強度に基づいて、検索ヒストグラムと参照ヒストグラムを照合し、質感の類似性を判断する質感定量化部１３とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体表面の粗さ、光沢などに着目して、物体表面の質感を定量化する質感定量化装置及び質感定量化方法に関するものである。
【背景技術】
【０００２】
物体表面の粗さを測定する装置は種々提案されている。例えば、プローブを用いるフーリエ変換による表面測定方法（特許文献１）、受光装置を用いた鋼材の表面状態表示装置（特許文献２）、センサを用いたフーリエ変換による磁気テープなど面形状計測装置（特許文献３）、反射光を受光するヒストグラムによる帯状鋼板表面検査装置（特許文献４）、カメラを利用するヒストグラムによる塗膜層表面検査装置（特許文献５）、磁気記録媒体の表面粗さ解析装置（特許文献６）などがある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開昭５１−１４９０５２号公報
【特許文献２】特開昭５２−４９８５６号公報
【特許文献３】特開昭５９−１６８３０５号公報
【特許文献４】特開昭５９−１８０３４６号公報
【特許文献５】特開昭６２−１２８０６号公報
【特許文献６】特開平９−７９８３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の発明は、単に物体表面の粗さを測定するだけであり、光沢などの質感を定量化することが不可能であり、多面的な表面の解析が困難であった。
【０００５】
本発明は、以上の問題点を解決するためになされたものであり、物体表面の粗さ、光沢などの質感を定量化することを目的とする。
【課題を解決するための手段】
【０００６】
最近のロボットマーケットの発展にともない、人間と同様のロボットのための視覚プロセスシステムが研究されてきている。人の視覚認識は、リアルタイム処理と高精度認識からなる。リアルタイム処理は視覚で認識したデータと、参照データとを照合することで、物体の種類等を認識する。従来の方法では視覚的に目的物を識別するのに時間がかかるため、人のようなリアルタイム処理を行うためには、高速の画像識別の手法が必要とされている。高速の画像識別方法として、イメージマッチングによって、高速で、画像を識別することのできる、光学相関装置が多くの注目を集めている。光学相関装置を用いた画像識別は、計算機よりも演算速度が速く高速な画像識別が可能である。
【０００７】
光学相関装置を利用した画像識別の研究の多くは、指紋認証システム、顔認証システム、軍事追尾システムのために使用される形状識別に焦点を合わせていた。しかし、識別精度が低いという問題があり、人のように高精度に認識するためには、形状に加えて他の要素を加味する必要がある。画像は形状以外にも色彩、質感のような多くの情報を有しており、このような情報が視覚処理システムには重要である。形状、色彩、質感等によって高精度認識が可能となる。本発明は、そのうちの質感に関する識別技術発明である。ここで、質感とは物体表面の光学的作用である反射、透過、拡散に起因するものである。反射による物体の光沢（例えば、ダイヤモンド）、透過による物体の透明感（例えば、ガラス）、拡散によるざらざら感、やわらかさ（やすり、布）等を高精度認識するものである。
【０００８】
そこで、本発明の質感定量化装置は、結合変換相関法（JTC）を使用し、デジタルカメラ等の撮像装置により撮像された表面の画像が輝度ヒストグラムに変換され、このヒストグラムが、JTCの空間光変調器の上に表示され、円滑又は粗い表面などの種々の質感は、輝度ヒストグラムの形状を使用して定量化され、類似した参照の輝度ヒストグラムが選択される。このような結果から、質感の定量化がJTCを利用して実現したものである。
【０００９】
すなわち、請求項１に係る発明は、光源からの光を変調する空間光変調器と、前記空間光変調器からの変調光を受けフーリエ変換を行うフーリエ変換レンズと、前記フーリエ変換レンズからの光像を撮像するカメラと、を備え、前記空間光変調器に入力される入力画像の結合変換相関演算を行い、出力画像を生成する光演算相関部と、前記入力画像を、輝度ヒストグラムとして設定され検索対象となる検索ヒストグラムと、輝度ヒストグラムとして設定され照合のために予め作成される参照ヒストグラムとを並置したものとして設定し、前記入力画像を前記空間光変調器に出力し、前記結合変換相関演算によって得られた自己相関スポットと相互相関スポットを含む出力画像を前記カメラから取得し、前記相互相関スポットの強度に基づいて、前記検索ヒストグラムと前記参照ヒストグラムを照合し、質感の類似性を判断する質感定量化部と、を備えたことを特徴とする。
【００１０】
請求項２に係る発明は、前記入力画像を入力した前記空間光変調器により第１変調光を生成し、前記フーリエ変換レンズにより前記第１変調光のフーリエ変換を行って第１光像を生成し、前記第１光像を前記カメラで撮像して一次変換画像とし、前記空間光変調器に前記一次変換画像を出力し、前記空間光変調器で前記一次変換画像によって変調された第２変調光を生成し、前記フーリエ変換レンズにより前記第２変調光のフーリエ変換を行って第２光像を生成し、前記第２光像を前記カメラで撮像して前記出力画像とすることを特徴とする。
【００１１】
請求項３に係る発明は、前記光相関演算部は、第１空間光変調器と、前記第１空間光変調器からの第１変調光を受けフーリエ変換を行い第１光像を生成する第１フーリエ変換レンズと、前記第１フーリエ変換レンズからの第１光像を撮像し一次変換画像を生成する第１カメラと、前記第１カメラからの一次変換画像を入力し第２変調光を生成する第２空間光変調器と、該第２空間光変調器からの第２変調光を受けフーリエ変換を行い第２光像を生成する第２フーリエ変換レンズと、前記第２フーリエ変換レンズからの第２光像を撮像し前記出力画像を生成する第２カメラと、を備えたことを特徴とする。
【００１２】
請求項４に係る発明は、輝度ヒストグラムとして設定され質感の定量化の対象となる検索ヒストグラムと、輝度ヒストグラムとして設定され予め作成された参照ヒストグラムとが並置された入力画像を、空間光変調器に入力し、前記空間光変調器からの光をフーリエ変換レンズでフーリエ変換し第１光像を形成し、前記第１光像を撮像し一次変換画像を生成する第１相関演算ステップと、前記第１相関演算ステップで撮像された一次変換画像を空間光変調器に入力し、前記空間光変調器からの光をフーリエ変換レンズでフーリエ変換し第２光像を形成し、前記第２光像を撮像し、自己相関スポットと相互相関スポットを含む出力画像とする第２相関演算ステップと、前記出力画像の相互相関スポットの光学的な強度に基づいて、前記検索ヒストグラムと前記参照ヒストグラムを照合し、質感の類似性を判断する質感定量化ステップと、を備えたことを特徴とする。
上記した質感定量化装置及び質感定量化方法の具体的態様においては、定量化したい対象物の表層の撮像により画像を得て、輝度に関してヒストグラム化し、検索ヒストグラムを作成する。また一方、照合するためのデータベースとして参照ヒストグラムを予め設定しておく。そして、これらの検索ヒストグラム及び参照ヒストグラムとが並置された検索画像を用い結合変換相関演算器による光学的な相関演算を行い得られた相互相関スポットの強度から質感の類似性を判断している。このような構成によれば、質感に着目した質感検索を、充分な精度で、かつ高速に実行することが可能となる。
【００１３】
質感を示す輝度ヒストグラムについては、具体的には、横軸が輝度、縦軸が画素数である質感図上での質感分布を用いることができる。具体的には、画像上での強度分布（濃淡）を閾値で２値化してもよいし、あるいは、強度分布を線画化（輪郭化）したものでもよい。
【発明の効果】
【００１４】
請求項１の質感定量化装置、請求項４の質感定量化方法によれば、結合変換相関演算器を用いて、輝度ヒストグラムの形状に基づいて質感を識別するので、十分な精度で、かつ高速に実行することが可能となる。また、表面粗さや光沢などの解析が容易になる。
【００１５】
請求項２の質感定量化装置によれば、結合変換相関演算を同じ空間光変調器、同じフーリエ変換器を使用して行うので、光学系を小型化できる。
【００１６】
請求項３の質感定量化装置によれば、結合変換相関演算を別々の空間光変調器、フーリエ変換レンズを使用して行うので、相関演算処理時間を一層高速化できる。
【図面の簡単な説明】
【００１７】
【図１】本発明実施形態１の構成を概略的に示すブロック図である。
【図２】（ａ）は輝度ヒストグラム、（ｂ）はその歪み度と光沢との関係を示す説明図である。
【図３】歪み度を示す説明図である。
【図４】（ａ）は光沢を変化させたときのヒストグラム、（ｂ）は光沢を変化させたときの歪度の変化を示す図である。
【図５】（ａ）は光沢を変化させたときの輝度ヒストグラムと光沢の撮像画像、（ｂ）は粗さ変化させたときの輝度ヒストグラムと表面粗さの撮像画像である。
【図６】結合変換相関演算器の技術原理を示す説明図である。
【図７】質感識別方法を示す説明図である。
【図８】実験とシミュレーションを示す対比説明図である。
【図９】実験結果とシミュレーション結果（光沢の識別）を示すグラフである。
【図１０】図９のフィッテイング直線（光沢の識別）を示すグラフである。
【図１１】実験結果とシミュレーション結果（粗さの識別）を示すグラフである。
【図１２】図１０のフィッテイング曲線（粗さの識別）を示すグラフである。
【図１３】結合変換相関演算器とパソコンソフトウェアによる演算時間の比較を示すグラフである。
【図１４】実施形態２の構成を概略的に示すブロック図である。
【発明を実施するための形態】
【００１８】
以下、本発明による質感定量化装置及び質感定量化方法の好適な実施形態について図面を参照して詳細に説明する。
【００１９】
質感定量化装置１は、図１に示す通り、レーザー光を出力するレーザ・ダイオード２（ここでは、波長が５３２ｎｍ）と、倍率４０倍の対物レンズ３と、レーザー光を点光源とするピンホール部４と、波面位相の揃った平行光線とするコリメートレンズ５（ここでは焦点距離ｆ＝８０ｍｍ）と、偏光子６と、ハーフミラー７と、後述する質感定量化部１３から、検索ヒストグラム、及び、参照ヒストグラムとが並置された入力画像を入力し、これに基づいて空間光変調を行い、光像を生成する光像生成装置である空間光変調器８と、空間光変調器８からの変調光をハーフミラー７、偏光子９を介して受け光学的にフーリエ変換して、フーリエ変換された光像を形成するフーリエ変換レンズ１０（ここでは焦点距離ｆ＝１７０ｍｍ）と、フーリエ変換レンズ１０からの光像を出力画像として撮像するＣＭＯＳカメラ１１（ＣＣＤカメラでもよい）と、を有する光演算相関器として構成された光演算相関部１２を備えている。また、質感定量化装置１は、ディジタル処理部として構成され、輝度ヒストグラムとして設定され検索対象となる検索ヒストグラムと、輝度ヒストグラムとして設定され照合のために予め作成される参照ヒストグラムとを並置した入力画像を生成し、そして、検索ヒストグラムを複数の参照ヒストグラムと照合し検索する質感定量化部１３を有し構成されている。空間光変調器８はここでは液晶型空間光変調器である。質感定量化部１３に対しては、空間光変調器８は入力画面として機能し、ＣＭＯＳカメラ１１は出力画面として機能する。
【００２０】
質感定量化部１３は、具体的には、例えば、画像検索処理等の各種の処理を実行するＣＰＵと、処理動作に必要な各ソフトウェアプログラム等が記憶されるＲＯＭと、参照ヒストグラムに用いられる内部メモリまたは外部記憶装置などの記憶装置とを有して構成され、入力装置、表示装置、及び外部Ｉ／Ｆ等が接続される。入力装置は、質感定量化装置１における画像検索処理等の処理動作に必要な入力に用いられる入力手段である。このような入力装置としては、例えばキーボード、マウス、あるいは各種のボタン、スイッチなどが挙げられる。表示装置は、例えば液晶ディスプレイ等によって構成され、必要に応じて、画像検索処理に必要なデータや質感の表示、及び得られた画像検索結果の表示などに用いられる。
【００２１】
光演算相関部１２において、図１に示す通り、コヒーレントな光源であるレーザ・ダイオード２から５３２nm波長の光が出され、これが、対物レンズ３、ピンホール部４を通過し、コリメートレンズ５によりコリメートされる。このコリメートされた光は偏光子６、ハーフミラー７を通過する。空間光変調器８は、空間光変調器８の中心部からX方向に距離±ｄで参照ヒストグラム（図６では参照像ｂと記載）と検索ヒストグラム（図６では検索像ａと記載）とを入力画像として表示する。ハーフミラー７を通過した光は、空間変調器８で反射される際に、入力画像に応じて変調される。そして、空間光変調器８で変調された変調光は、ハーフミラー７、偏光子９を経て、フーリエ変換レンズ１０に至り、ここでフーリエ変換されて、第１光像を生成し、CMOSカメラ１１で一次変換画像（干渉縞）として撮像され、この一次変換画像は質感定量化部１３へ送信される。
【００２２】
つぎに、図１、図６に示す通り、質感定量化部１３から一次変換画像が空間光変調器８へ入力され、空間光変調器８上に入力画像として表示され、フーリエ変換レンズ１０で２回目のフーリエ変換を行い第２光像を生成し、CMOSカメラ１１で出力画像として撮像され、この出力画像は質感定量化部１３へ送信される。参照ヒストグラム及び検索ヒストグラムの相関は、CMOSカメラ９の中央部からX方向に距離±２ｄの点における、光学強度の関数として規定される。このようにして、輝度ヒストグラムとして設定された参照ヒストグラム及び検索ヒストグラムを利用して質感を認識する。ここで、光演算相関部１２は、光アナログ演算で画像間の相関（類似度）を求める装置で、光学系の小型化が必要であり、ＶＬＣ（マッチドフィルタ）とＪＴＣ（結合変換相関）とが考えられる。ＶＬＣは高速演算が可能であるが、光学調整の精度が必要であり、空間光変調器が２つ必要であり、光学系が大型化する。ＪＴＣは光学調整が容易であり、空間光変調器１つでも構成が可能であるので、光学系を小型化できる。このため、本実施形態においては、ＪＴＣ方式を採用している。光演算相関部１２は、１個の空間光変調器８と、１個のフーリエ変換レンズ１０と、１個のカメラ１１を備えるので、光学系を小型化できる。
【００２３】
この質感識別方法は質感情報を形状情報として抽出することに特徴がある。輝度ヒストグラムの形状に光沢情報を含んでいる。図２（ａ）に示す通り、輝度ヒストグラムは二次元画像であり、ｙ軸が画素数、ｘ軸が輝度（濃度）である。図２（ｂ）に示す通り、黒画面に描かれた山の歪み度が光沢に関係する。この歪み度は画素数の分布の左右対称性を示す尺度である。光沢がない場合、歪み度は０．４、光沢がある場合には歪み度は１．４である。歪み度が正に大きいほど光沢が増加する傾向にある。図３（ａ）に示す通り、左に裾が長い分布は歪み度が負であり、図３（ｂ）に示す通り、正規分布（左右対称）では歪み度は０であり、図３（ｃ）に示す通り、右に裾が長い分布は歪み度が正である。図４（ａ）は横軸が諧調（輝度）、縦軸が画素数であり、％は光沢の程度を示すものである（０％は光沢なし、１００％は光沢度が高い）。ただし、図４（ｂ）（光沢含有面積の割合（％）と歪み度との関係を示す）し示す通り、光沢の減少とともに、歪み度は単純には減少しないので、歪み度の値だけで光沢の度合いを判断することができない。輝度ヒストグラムの上部突起の形状等、他の形状要素も補足することにより、光沢の度合いを決定できる。
【００２４】
図５（ａ）に示す通り、光沢の変化に応じて、輝度ヒストグラムの形状が変化する。０％が光沢なしで、１００％が光沢の大きいものであり、その中間である２５％、５０％、７５％は光沢の程度を示すものである。光沢の識別には、表面が凹凸になった黒色の紙に光沢仕上げ塗料を塗ったものの表面画像を使用した。一方、図５（ｂ）に示す通り、粗さ（ざらざら感）の変化に応じても、輝度ヒストグラムの形状（裾の幅など）が変化する。粗さの識別には相違する粗さのサンド布の表面画像を使用した。サンド布の表面には研磨粒子が存在する。
【００２５】
図５（ｂ）において、単位面積当たりの研磨粒子の数（粒子個数／ｃｍ2）は、それぞれ、４０、６０、８０、１５０、２４０、４００であり、数値が大きいほど表面状態は滑らかであり、数値が少ないほど表面状態は粗くなる。
【００２６】
つぎに光演算相関部１２で行われる検索ヒストグラムａと参照ヒストグラムｂの相互相関演算を説明する。図６に示す通り、空間光変調器８の入力画面において、検索ヒストグラムａ（ｘ，ｙ）と、参照ヒストグラムｂ（ｘ，ｙ）とが間隔ｄを置いて併置され、焦点距離ｆを置いてフーリエ変換レンズ１０が配置され、フーリエ変換レンズ１０から焦点距離ｆを置いてＣＭＯＳカメラ１１の出力画面が配置される。入力画面の検索像と参照像は出力画面では干渉縞（一次変換画像）として出現する。つぎに、この干渉縞が、前記の入力画面に入力され、フーリエ変換レンズ１０でフーリエ変換されると、出力画面の中央に自己相関スポット、その左右に間隔２ｄを置いて相互相関スポットが表われ、これが出力画像となる。
【００２７】
図７に示す通り、輝度ヒストグラムの形状の類似度は相互相関スポットの光沢的な強度に依存する。このような理由から相互相関スポットにおける光学強度は質感の類似性と等価である。図８に示すものは、図６に示す干渉縞（一次変換画像）を実験とシミュレーション（ＦＦＴ計算）で求めてみた結果である。
【００２８】
図９に光演算相関部１２による実験と計算機によるシミュレーションを行って光沢の識別を行った場合の結果を示す。ここでは検索ヒストグラムとして１００％（最も光沢のあるもの）を用い、この検索ヒストグラムと、１００％、７５％、５０％、２５％、０％の参照ヒストグラムとを相関演算した。参照ヒストグラムと検索ヒストグラムに同じヒストグラムを使用した場合の相互相関スポットの光学強度を１００％として正規化した。実験とシミュレーションのいずれの場合にも、光沢を減少させてゆくと、光沢の類似性は低下することが分かった。実験は光演算相関部１２を用い、シミュレーションはソフトウェアで行うことで、相互相関スポットの光学強度を計算した。この結果、実験、シミュレーションのいずれでも、光沢の識別を輝度ヒストグラムの形状により行うことができた。図１０に示す通り、横軸を光沢を含む面積の割合（％）、縦軸を類似度とし、線形近似を用いてフィッテイング（光沢の識別）を行った。実験ではｙ＝０．９２ｘ＋１．４９、シミュレーションではｙ＝０．９１ｘ＋５．８２の一次関数となり、実験とシミュレーションの間の一次関数の比例定数割合は、０．９１／０．９２×１００＝９９％であり、比例定数の差は１％である。
【００２９】
図１１に、光演算相関部１２による実験と計算機によるシミュレーションを行って粗さの識別を行った場合の結果を示す。ここでは検索ヒストグラムとして４０個／ｃｍ2（最も粗いもの）を用い、この検索ヒストグラムと、４０，６０、８０、１５０、２４０、４００個／ｃｍ2の参照ヒストグラムとを相関演算した。参照ヒストグラムと検索ヒストグラムに同じヒストグラムを使用した場合の相互相関スポットの光学強度を１００％として正規化した。実験とシミュレーションのいずれの場合にも、表面が滑らかになると、粗さの類似性は低下することが分かった。シミュレーションはソフトウェアで行うことで、相互相関スポットの光学強度を計算した。この結果、実験、シミュレーションのいずれでも、粗さの識別を輝度ヒストグラムの形状により行うことができた。図１２に示す通り、横軸を単位面積あたりの研磨粒子の数（個／ｃｍ2）、縦軸を類似度となる累乗近似を用いてフィッテイング（粗さの識別）を行った。実験ではｙ＝３７４３Ｘ-0.98、シミュレーションではｙ＝３１１５Ｘ-0.92の指数関数となった。実験とシミュレーションの指数関数の比例定数割合は、３１１５／３７４３×１００＝８３％であり、比例定数の差は約１７％であり、実験とシミュレーションの指数関数の指数値割合は、０．９２／０．９８×１００＝９４％で、指数値の差は約６％である。
【００３０】
図１３に示す通り、実験の場合、光演算相関部１２を用いているので、演算時間は画像サイズにかかわらず一定であるが、シミュレーションの場合、計算機を用いているので、演算時間は画像サイズが大きくなるにつれて増大する。したがって、画像サイズが大きい場合、結合変換相関演算器である光演算相関部１２を用いる方が演算時間は短くなる。
【００３１】
ところで、図２（ａ）で説明した輝度ヒストグラムについては、まず、検索対象物の表層を撮像装置（カメラ、スキャナなど）により撮像し輝度ヒストグラムを生成し質感定量化部１３に記録する。輝度ヒストグラムの作成には、各種の手法がある。例えば、２値化では、輝度ヒストグラムの下側を白（「０」）にして、上側を黒（「１」）にした２値化処理、あるいは、エッジ化では、曲線を線描画で描き（「１」）、それ以外を「０」とする処理も可能である。また、一方、参照ヒストグラムは、光沢、表面粗さに応じて、予め作成した複数の輝度ヒストグラムをメモリに記憶しデータベース化し、質感定量化部１３に記録しておく。
【００３２】
また、ＪＴＣ法により光演算された出力画像では、ＪＴＣ法により、図７に示す通り、相互相関スポットが両サイドに分かれて出現し、真中には自己相関スポットが出現する。このパターンを検出することによって、相関値の高低を判断している。
【００３３】
ここで、自己相関スポットと相互相関スポットを得るためのＪＴＣ法を用いた光相関演算と等価な計算式を簡単に説明しておく。参照ヒストグラムと検索ヒストグラムをａ（x，y）、ｂ（x，y）とし、これらのヒストグラムをそれぞれ＋ｄ、−ｄだけ離して並置したものを入力画像ｆ（x，y）とする。ｘ，ｙは座標である。この入力画像ｆ（ｘ，ｙ）は、下記の式（１）
数１： ｆ（ｘ、ｙ）＝ａ（ｘ−ｄ、ｙ）＋ｂ（ｘ＋ｄ，ｙ）
によって表される。また、入力画像ｆ（x，y）をフーリエ変換した関数をＦ（Ｖx，Ｖy）とすれば、このＦ（ｋ）は下記の式（２）
【数２】
によって求められる。
【００３４】
この関数Ｆ（Ｖx，Ｖy）に対して、複素共役の関数を利用して｜Ｆ（Ｖｘ，Ｖｙ）｜2をとり、さらに、これを実空間上のパワースペクトルＰに変換すると、以下の式（３）が得られる。
【数３】
ここで、式（３）において、上付き記号★は共役複素数を示す。
【００３５】
また、この式（３）の右辺において、第１項、及び第２項は、相関ヒストグラムにおける自己相関スポットに対応している。また、第３項、及び第４項は、自己相関スポットから±２ｄ離れた相互相関スポットにそれぞれ対応している。
式（４）はパワースペクトルＰのフーリエ変換を示す。式中＊はコンボリューション、上付き★は共役複素数を示す。したがって、式（４）の第３項と第４項はａ，ｂの相関データとなる。自己相関スポットと相互相関スポットを出力画像とする。
【数４】
【００３６】
本実施形態で特徴的なことは物体の質感を粗さや光沢等に分けていることである。粗さや光沢等に分けることにより、相関値を取るための分離を行うことができる。光沢は、輝度ヒストグラムの上部の突起、或いは、歪み度など形状のアンバランスの度合い、例えば、明るい方に伸びている程度等の種々の形状要素を識別すると、光沢の程度がわかる。光沢の場合に輝度ヒストグラムの形状を捉えることで、光沢を認識することができる。一方、表面粗さも輝度ヒストグラムの形状（分布の幅等）によって変わる。例えば、分布幅が広がると、表面が粗くなる。こうした輝度ヒストグラムの形状パターンを輝度ヒストグラムの形状に基づいて予め登録しておけば、それとの相関度によって、高速にマッチングさせることができ、光沢量、表面粗さは定量化できる。
【００３７】
結合変換相関演算によって、高速に相互相関スポットを演算し、これを質感定量部１３で数値化する。数値化をするとデータベース側の方でそれに合っている輝度ヒストグラムが検索できる。
【００３８】
質感の類似性は、相互相関スポットの光学的な強度の大小と等価である。値が大きくなっていることは相関性が高いことを示す。例えば、複数の参照ヒストグラムを検索ヒストグラムとの類似度が高い順に並べるなど、画像検索を利用した様々な質感の取得が可能となる。データベースで定量化した参照ヒストグラムのパターンを複数用意しておき、その中で相互相関スポットの光学強度の一番大きなものを検索すればよい。図９〜図１２で示すシミュレーションは計算機で同じ演算をソフトウェアによって行い相関値を出したものである。ある意味では、それが真に近いものであり、実験値と近い結果がでている。
【００３９】
このように、元画像をそのまま用いるのではなく、それに対応する輝度ヒストグラムを参照するとともに、ＪＴＣ法による光相関演算を利用して質感の相関度を計測して画像検索を行う構成によれば、質感に着目した画像検索を、充分な精度で、かつ光演算によって高速に実行することが可能となる。
【００４０】
また、ＪＴＣを用いているので、光学系を小型化できる。例えば、光検出器の画素ピッチは細かいので（１．５μ程度）、レンズのｆ値を抑えられる。ただし、レーザ・ダイオード２の出力をある程度上げる必要がある。マッチドフィルタではレンズのｆ値が高く大型化され、光学調整に精度が必要である。
【００４１】
つぎに図１４を参照して実施形態２の質感定量化装置１０１を説明する。これは高速で、結合変換相関演算を行うためのパイプライン処理を行う実施形態である。実施形態１と共通する構成については１００番台として説明は援用する。偏光子は図示を略する。質感定量化装置１０１は光演算相関部１１２と、質感定量化部１１３とから構成される。図１４に示す通り、コヒーレントな光源であるレーザーダイオート１０２から５３２nm波長の光が出され、これが、対物レンズ１０３、ピンホール部１０４を通過し、コリメートレンズ１０５によりコリメートされる。このコリメートされた光は、ハーフミラー１０７ａ、１０７ｂを通過し、空間光変調器１０８ａの中心部からX方向に距離±ｄで表示された参照ヒストグラムと検索ヒストグラムとを照射する。この表示は質感定量化部１１３からの電気信号に基づいて行われる。そして、空間光変調器１０８ａで反射された光は、ハーフミラー１０７ｂを経て、フーリエ変換レンズ１１０ａに至り、フーリエ変換されて、CMOSカメラ１１１ａで撮像される。光学信号が入力パワースペクトルとしてCMOSカメラ１１１ａで記録され、記録データは、次段の空間光変調器１０８ｂへ出力される。また一方、ハーフミラー１０７ａで反射された光はハーフミラー１０７ｃ、１０７ｄを経て空間光変調器１０８ｂに送られる。そして、空間光変調器１０８ｂからの光はハーフミラー１０７ｄを経て、フーリエ変換レンズ１１０ｂに至り、２回目のフーリエ変換がされて、CMOSカメラ１１１ｂで撮像される。入力パワースペクトルとしてCMOSカメラ１１１ｂで撮像され、画像は、質感定量部１１３へ送信される。参照ヒストグラム及び検索ヒストグラムの相関性は、CMOSカメラ１１１ｂの中央部からX方向に距離±２ｄの点における、光学強度の関数として規定される。このようなパイプライン処理により実施形態１よりも装置は大型化するものの、実施形態１よりも高速な結合変換相関演算が可能となる。
【００４２】
なお、本発明は、上記の実施形態に何ら限定されるものではなく、本発明の技術的思想を逸脱しない範囲において、種々の改変等の実施形態を採り得る。たとえば、本実施形態では、光の反射による物体の光沢（例えば、ダイヤモンド）、光の拡散によるざらざら感、やわらかさ（やすり、布）等を高精度で認識するものであるが、これに限られずに、光の透過による物体の透明感（例えば、ガラス）等の各種の質感も対象とすることができる。
【産業上の利用可能性】
【００４３】
本発明は、結合変換相関演算を用いて表面粗さ、光沢などを高速で高精度に定量化するので、ロボットなどに利用可能である。
【符号の説明】
【００４４】
１，１０１…質感定量化装置
２,１０２…レーザ・ダイオード
３，１０３…対物レンズ
４，１０４…ピンホール部
５，１０５…コリメートレンズ
６…偏光子
７，１０７ａ、１０７ｂ，１０７ｃ，１０７ｄ…ハーフミラー
８，１０８ａ…空間光変調器
９…偏光子
１０，１１０ａ，１１０ｂ…フーリエ変換レンズ
１１，１１１ａ，１１１ｂ…ＣＭＯＳカメラ
１２，１１２…光演算相関部
１３，１１３…質感定量化部
【技術分野】
【０００１】
本発明は、物体表面の粗さ、光沢などに着目して、物体表面の質感を定量化する質感定量化装置及び質感定量化方法に関するものである。
【背景技術】
【０００２】
物体表面の粗さを測定する装置は種々提案されている。例えば、プローブを用いるフーリエ変換による表面測定方法（特許文献１）、受光装置を用いた鋼材の表面状態表示装置（特許文献２）、センサを用いたフーリエ変換による磁気テープなど面形状計測装置（特許文献３）、反射光を受光するヒストグラムによる帯状鋼板表面検査装置（特許文献４）、カメラを利用するヒストグラムによる塗膜層表面検査装置（特許文献５）、磁気記録媒体の表面粗さ解析装置（特許文献６）などがある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開昭５１−１４９０５２号公報
【特許文献２】特開昭５２−４９８５６号公報
【特許文献３】特開昭５９−１６８３０５号公報
【特許文献４】特開昭５９−１８０３４６号公報
【特許文献５】特開昭６２−１２８０６号公報
【特許文献６】特開平９−７９８３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の発明は、単に物体表面の粗さを測定するだけであり、光沢などの質感を定量化することが不可能であり、多面的な表面の解析が困難であった。
【０００５】
本発明は、以上の問題点を解決するためになされたものであり、物体表面の粗さ、光沢などの質感を定量化することを目的とする。
【課題を解決するための手段】
【０００６】
最近のロボットマーケットの発展にともない、人間と同様のロボットのための視覚プロセスシステムが研究されてきている。人の視覚認識は、リアルタイム処理と高精度認識からなる。リアルタイム処理は視覚で認識したデータと、参照データとを照合することで、物体の種類等を認識する。従来の方法では視覚的に目的物を識別するのに時間がかかるため、人のようなリアルタイム処理を行うためには、高速の画像識別の手法が必要とされている。高速の画像識別方法として、イメージマッチングによって、高速で、画像を識別することのできる、光学相関装置が多くの注目を集めている。光学相関装置を用いた画像識別は、計算機よりも演算速度が速く高速な画像識別が可能である。
【０００７】
光学相関装置を利用した画像識別の研究の多くは、指紋認証システム、顔認証システム、軍事追尾システムのために使用される形状識別に焦点を合わせていた。しかし、識別精度が低いという問題があり、人のように高精度に認識するためには、形状に加えて他の要素を加味する必要がある。画像は形状以外にも色彩、質感のような多くの情報を有しており、このような情報が視覚処理システムには重要である。形状、色彩、質感等によって高精度認識が可能となる。本発明は、そのうちの質感に関する識別技術発明である。ここで、質感とは物体表面の光学的作用である反射、透過、拡散に起因するものである。反射による物体の光沢（例えば、ダイヤモンド）、透過による物体の透明感（例えば、ガラス）、拡散によるざらざら感、やわらかさ（やすり、布）等を高精度認識するものである。
【０００８】
そこで、本発明の質感定量化装置は、結合変換相関法（JTC）を使用し、デジタルカメラ等の撮像装置により撮像された表面の画像が輝度ヒストグラムに変換され、このヒストグラムが、JTCの空間光変調器の上に表示され、円滑又は粗い表面などの種々の質感は、輝度ヒストグラムの形状を使用して定量化され、類似した参照の輝度ヒストグラムが選択される。このような結果から、質感の定量化がJTCを利用して実現したものである。
【０００９】
すなわち、請求項１に係る発明は、光源からの光を変調する空間光変調器と、前記空間光変調器からの変調光を受けフーリエ変換を行うフーリエ変換レンズと、前記フーリエ変換レンズからの光像を撮像するカメラと、を備え、前記空間光変調器に入力される入力画像の結合変換相関演算を行い、出力画像を生成する光演算相関部と、前記入力画像を、輝度ヒストグラムとして設定され検索対象となる検索ヒストグラムと、輝度ヒストグラムとして設定され照合のために予め作成される参照ヒストグラムとを並置したものとして設定し、前記入力画像を前記空間光変調器に出力し、前記結合変換相関演算によって得られた自己相関スポットと相互相関スポットを含む出力画像を前記カメラから取得し、前記相互相関スポットの強度に基づいて、前記検索ヒストグラムと前記参照ヒストグラムを照合し、質感の類似性を判断する質感定量化部と、を備えたことを特徴とする。
【００１０】
請求項２に係る発明は、前記入力画像を入力した前記空間光変調器により第１変調光を生成し、前記フーリエ変換レンズにより前記第１変調光のフーリエ変換を行って第１光像を生成し、前記第１光像を前記カメラで撮像して一次変換画像とし、前記空間光変調器に前記一次変換画像を出力し、前記空間光変調器で前記一次変換画像によって変調された第２変調光を生成し、前記フーリエ変換レンズにより前記第２変調光のフーリエ変換を行って第２光像を生成し、前記第２光像を前記カメラで撮像して前記出力画像とすることを特徴とする。
【００１１】
請求項３に係る発明は、前記光相関演算部は、第１空間光変調器と、前記第１空間光変調器からの第１変調光を受けフーリエ変換を行い第１光像を生成する第１フーリエ変換レンズと、前記第１フーリエ変換レンズからの第１光像を撮像し一次変換画像を生成する第１カメラと、前記第１カメラからの一次変換画像を入力し第２変調光を生成する第２空間光変調器と、該第２空間光変調器からの第２変調光を受けフーリエ変換を行い第２光像を生成する第２フーリエ変換レンズと、前記第２フーリエ変換レンズからの第２光像を撮像し前記出力画像を生成する第２カメラと、を備えたことを特徴とする。
【００１２】
請求項４に係る発明は、輝度ヒストグラムとして設定され質感の定量化の対象となる検索ヒストグラムと、輝度ヒストグラムとして設定され予め作成された参照ヒストグラムとが並置された入力画像を、空間光変調器に入力し、前記空間光変調器からの光をフーリエ変換レンズでフーリエ変換し第１光像を形成し、前記第１光像を撮像し一次変換画像を生成する第１相関演算ステップと、前記第１相関演算ステップで撮像された一次変換画像を空間光変調器に入力し、前記空間光変調器からの光をフーリエ変換レンズでフーリエ変換し第２光像を形成し、前記第２光像を撮像し、自己相関スポットと相互相関スポットを含む出力画像とする第２相関演算ステップと、前記出力画像の相互相関スポットの光学的な強度に基づいて、前記検索ヒストグラムと前記参照ヒストグラムを照合し、質感の類似性を判断する質感定量化ステップと、を備えたことを特徴とする。
上記した質感定量化装置及び質感定量化方法の具体的態様においては、定量化したい対象物の表層の撮像により画像を得て、輝度に関してヒストグラム化し、検索ヒストグラムを作成する。また一方、照合するためのデータベースとして参照ヒストグラムを予め設定しておく。そして、これらの検索ヒストグラム及び参照ヒストグラムとが並置された検索画像を用い結合変換相関演算器による光学的な相関演算を行い得られた相互相関スポットの強度から質感の類似性を判断している。このような構成によれば、質感に着目した質感検索を、充分な精度で、かつ高速に実行することが可能となる。
【００１３】
質感を示す輝度ヒストグラムについては、具体的には、横軸が輝度、縦軸が画素数である質感図上での質感分布を用いることができる。具体的には、画像上での強度分布（濃淡）を閾値で２値化してもよいし、あるいは、強度分布を線画化（輪郭化）したものでもよい。
【発明の効果】
【００１４】
請求項１の質感定量化装置、請求項４の質感定量化方法によれば、結合変換相関演算器を用いて、輝度ヒストグラムの形状に基づいて質感を識別するので、十分な精度で、かつ高速に実行することが可能となる。また、表面粗さや光沢などの解析が容易になる。
【００１５】
請求項２の質感定量化装置によれば、結合変換相関演算を同じ空間光変調器、同じフーリエ変換器を使用して行うので、光学系を小型化できる。
【００１６】
請求項３の質感定量化装置によれば、結合変換相関演算を別々の空間光変調器、フーリエ変換レンズを使用して行うので、相関演算処理時間を一層高速化できる。
【図面の簡単な説明】
【００１７】
【図１】本発明実施形態１の構成を概略的に示すブロック図である。
【図２】（ａ）は輝度ヒストグラム、（ｂ）はその歪み度と光沢との関係を示す説明図である。
【図３】歪み度を示す説明図である。
【図４】（ａ）は光沢を変化させたときのヒストグラム、（ｂ）は光沢を変化させたときの歪度の変化を示す図である。
【図５】（ａ）は光沢を変化させたときの輝度ヒストグラムと光沢の撮像画像、（ｂ）は粗さ変化させたときの輝度ヒストグラムと表面粗さの撮像画像である。
【図６】結合変換相関演算器の技術原理を示す説明図である。
【図７】質感識別方法を示す説明図である。
【図８】実験とシミュレーションを示す対比説明図である。
【図９】実験結果とシミュレーション結果（光沢の識別）を示すグラフである。
【図１０】図９のフィッテイング直線（光沢の識別）を示すグラフである。
【図１１】実験結果とシミュレーション結果（粗さの識別）を示すグラフである。
【図１２】図１０のフィッテイング曲線（粗さの識別）を示すグラフである。
【図１３】結合変換相関演算器とパソコンソフトウェアによる演算時間の比較を示すグラフである。
【図１４】実施形態２の構成を概略的に示すブロック図である。
【発明を実施するための形態】
【００１８】
以下、本発明による質感定量化装置及び質感定量化方法の好適な実施形態について図面を参照して詳細に説明する。
【００１９】
質感定量化装置１は、図１に示す通り、レーザー光を出力するレーザ・ダイオード２（ここでは、波長が５３２ｎｍ）と、倍率４０倍の対物レンズ３と、レーザー光を点光源とするピンホール部４と、波面位相の揃った平行光線とするコリメートレンズ５（ここでは焦点距離ｆ＝８０ｍｍ）と、偏光子６と、ハーフミラー７と、後述する質感定量化部１３から、検索ヒストグラム、及び、参照ヒストグラムとが並置された入力画像を入力し、これに基づいて空間光変調を行い、光像を生成する光像生成装置である空間光変調器８と、空間光変調器８からの変調光をハーフミラー７、偏光子９を介して受け光学的にフーリエ変換して、フーリエ変換された光像を形成するフーリエ変換レンズ１０（ここでは焦点距離ｆ＝１７０ｍｍ）と、フーリエ変換レンズ１０からの光像を出力画像として撮像するＣＭＯＳカメラ１１（ＣＣＤカメラでもよい）と、を有する光演算相関器として構成された光演算相関部１２を備えている。また、質感定量化装置１は、ディジタル処理部として構成され、輝度ヒストグラムとして設定され検索対象となる検索ヒストグラムと、輝度ヒストグラムとして設定され照合のために予め作成される参照ヒストグラムとを並置した入力画像を生成し、そして、検索ヒストグラムを複数の参照ヒストグラムと照合し検索する質感定量化部１３を有し構成されている。空間光変調器８はここでは液晶型空間光変調器である。質感定量化部１３に対しては、空間光変調器８は入力画面として機能し、ＣＭＯＳカメラ１１は出力画面として機能する。
【００２０】
質感定量化部１３は、具体的には、例えば、画像検索処理等の各種の処理を実行するＣＰＵと、処理動作に必要な各ソフトウェアプログラム等が記憶されるＲＯＭと、参照ヒストグラムに用いられる内部メモリまたは外部記憶装置などの記憶装置とを有して構成され、入力装置、表示装置、及び外部Ｉ／Ｆ等が接続される。入力装置は、質感定量化装置１における画像検索処理等の処理動作に必要な入力に用いられる入力手段である。このような入力装置としては、例えばキーボード、マウス、あるいは各種のボタン、スイッチなどが挙げられる。表示装置は、例えば液晶ディスプレイ等によって構成され、必要に応じて、画像検索処理に必要なデータや質感の表示、及び得られた画像検索結果の表示などに用いられる。
【００２１】
光演算相関部１２において、図１に示す通り、コヒーレントな光源であるレーザ・ダイオード２から５３２nm波長の光が出され、これが、対物レンズ３、ピンホール部４を通過し、コリメートレンズ５によりコリメートされる。このコリメートされた光は偏光子６、ハーフミラー７を通過する。空間光変調器８は、空間光変調器８の中心部からX方向に距離±ｄで参照ヒストグラム（図６では参照像ｂと記載）と検索ヒストグラム（図６では検索像ａと記載）とを入力画像として表示する。ハーフミラー７を通過した光は、空間変調器８で反射される際に、入力画像に応じて変調される。そして、空間光変調器８で変調された変調光は、ハーフミラー７、偏光子９を経て、フーリエ変換レンズ１０に至り、ここでフーリエ変換されて、第１光像を生成し、CMOSカメラ１１で一次変換画像（干渉縞）として撮像され、この一次変換画像は質感定量化部１３へ送信される。
【００２２】
つぎに、図１、図６に示す通り、質感定量化部１３から一次変換画像が空間光変調器８へ入力され、空間光変調器８上に入力画像として表示され、フーリエ変換レンズ１０で２回目のフーリエ変換を行い第２光像を生成し、CMOSカメラ１１で出力画像として撮像され、この出力画像は質感定量化部１３へ送信される。参照ヒストグラム及び検索ヒストグラムの相関は、CMOSカメラ９の中央部からX方向に距離±２ｄの点における、光学強度の関数として規定される。このようにして、輝度ヒストグラムとして設定された参照ヒストグラム及び検索ヒストグラムを利用して質感を認識する。ここで、光演算相関部１２は、光アナログ演算で画像間の相関（類似度）を求める装置で、光学系の小型化が必要であり、ＶＬＣ（マッチドフィルタ）とＪＴＣ（結合変換相関）とが考えられる。ＶＬＣは高速演算が可能であるが、光学調整の精度が必要であり、空間光変調器が２つ必要であり、光学系が大型化する。ＪＴＣは光学調整が容易であり、空間光変調器１つでも構成が可能であるので、光学系を小型化できる。このため、本実施形態においては、ＪＴＣ方式を採用している。光演算相関部１２は、１個の空間光変調器８と、１個のフーリエ変換レンズ１０と、１個のカメラ１１を備えるので、光学系を小型化できる。
【００２３】
この質感識別方法は質感情報を形状情報として抽出することに特徴がある。輝度ヒストグラムの形状に光沢情報を含んでいる。図２（ａ）に示す通り、輝度ヒストグラムは二次元画像であり、ｙ軸が画素数、ｘ軸が輝度（濃度）である。図２（ｂ）に示す通り、黒画面に描かれた山の歪み度が光沢に関係する。この歪み度は画素数の分布の左右対称性を示す尺度である。光沢がない場合、歪み度は０．４、光沢がある場合には歪み度は１．４である。歪み度が正に大きいほど光沢が増加する傾向にある。図３（ａ）に示す通り、左に裾が長い分布は歪み度が負であり、図３（ｂ）に示す通り、正規分布（左右対称）では歪み度は０であり、図３（ｃ）に示す通り、右に裾が長い分布は歪み度が正である。図４（ａ）は横軸が諧調（輝度）、縦軸が画素数であり、％は光沢の程度を示すものである（０％は光沢なし、１００％は光沢度が高い）。ただし、図４（ｂ）（光沢含有面積の割合（％）と歪み度との関係を示す）し示す通り、光沢の減少とともに、歪み度は単純には減少しないので、歪み度の値だけで光沢の度合いを判断することができない。輝度ヒストグラムの上部突起の形状等、他の形状要素も補足することにより、光沢の度合いを決定できる。
【００２４】
図５（ａ）に示す通り、光沢の変化に応じて、輝度ヒストグラムの形状が変化する。０％が光沢なしで、１００％が光沢の大きいものであり、その中間である２５％、５０％、７５％は光沢の程度を示すものである。光沢の識別には、表面が凹凸になった黒色の紙に光沢仕上げ塗料を塗ったものの表面画像を使用した。一方、図５（ｂ）に示す通り、粗さ（ざらざら感）の変化に応じても、輝度ヒストグラムの形状（裾の幅など）が変化する。粗さの識別には相違する粗さのサンド布の表面画像を使用した。サンド布の表面には研磨粒子が存在する。
【００２５】
図５（ｂ）において、単位面積当たりの研磨粒子の数（粒子個数／ｃｍ2）は、それぞれ、４０、６０、８０、１５０、２４０、４００であり、数値が大きいほど表面状態は滑らかであり、数値が少ないほど表面状態は粗くなる。
【００２６】
つぎに光演算相関部１２で行われる検索ヒストグラムａと参照ヒストグラムｂの相互相関演算を説明する。図６に示す通り、空間光変調器８の入力画面において、検索ヒストグラムａ（ｘ，ｙ）と、参照ヒストグラムｂ（ｘ，ｙ）とが間隔ｄを置いて併置され、焦点距離ｆを置いてフーリエ変換レンズ１０が配置され、フーリエ変換レンズ１０から焦点距離ｆを置いてＣＭＯＳカメラ１１の出力画面が配置される。入力画面の検索像と参照像は出力画面では干渉縞（一次変換画像）として出現する。つぎに、この干渉縞が、前記の入力画面に入力され、フーリエ変換レンズ１０でフーリエ変換されると、出力画面の中央に自己相関スポット、その左右に間隔２ｄを置いて相互相関スポットが表われ、これが出力画像となる。
【００２７】
図７に示す通り、輝度ヒストグラムの形状の類似度は相互相関スポットの光沢的な強度に依存する。このような理由から相互相関スポットにおける光学強度は質感の類似性と等価である。図８に示すものは、図６に示す干渉縞（一次変換画像）を実験とシミュレーション（ＦＦＴ計算）で求めてみた結果である。
【００２８】
図９に光演算相関部１２による実験と計算機によるシミュレーションを行って光沢の識別を行った場合の結果を示す。ここでは検索ヒストグラムとして１００％（最も光沢のあるもの）を用い、この検索ヒストグラムと、１００％、７５％、５０％、２５％、０％の参照ヒストグラムとを相関演算した。参照ヒストグラムと検索ヒストグラムに同じヒストグラムを使用した場合の相互相関スポットの光学強度を１００％として正規化した。実験とシミュレーションのいずれの場合にも、光沢を減少させてゆくと、光沢の類似性は低下することが分かった。実験は光演算相関部１２を用い、シミュレーションはソフトウェアで行うことで、相互相関スポットの光学強度を計算した。この結果、実験、シミュレーションのいずれでも、光沢の識別を輝度ヒストグラムの形状により行うことができた。図１０に示す通り、横軸を光沢を含む面積の割合（％）、縦軸を類似度とし、線形近似を用いてフィッテイング（光沢の識別）を行った。実験ではｙ＝０．９２ｘ＋１．４９、シミュレーションではｙ＝０．９１ｘ＋５．８２の一次関数となり、実験とシミュレーションの間の一次関数の比例定数割合は、０．９１／０．９２×１００＝９９％であり、比例定数の差は１％である。
【００２９】
図１１に、光演算相関部１２による実験と計算機によるシミュレーションを行って粗さの識別を行った場合の結果を示す。ここでは検索ヒストグラムとして４０個／ｃｍ2（最も粗いもの）を用い、この検索ヒストグラムと、４０，６０、８０、１５０、２４０、４００個／ｃｍ2の参照ヒストグラムとを相関演算した。参照ヒストグラムと検索ヒストグラムに同じヒストグラムを使用した場合の相互相関スポットの光学強度を１００％として正規化した。実験とシミュレーションのいずれの場合にも、表面が滑らかになると、粗さの類似性は低下することが分かった。シミュレーションはソフトウェアで行うことで、相互相関スポットの光学強度を計算した。この結果、実験、シミュレーションのいずれでも、粗さの識別を輝度ヒストグラムの形状により行うことができた。図１２に示す通り、横軸を単位面積あたりの研磨粒子の数（個／ｃｍ2）、縦軸を類似度となる累乗近似を用いてフィッテイング（粗さの識別）を行った。実験ではｙ＝３７４３Ｘ-0.98、シミュレーションではｙ＝３１１５Ｘ-0.92の指数関数となった。実験とシミュレーションの指数関数の比例定数割合は、３１１５／３７４３×１００＝８３％であり、比例定数の差は約１７％であり、実験とシミュレーションの指数関数の指数値割合は、０．９２／０．９８×１００＝９４％で、指数値の差は約６％である。
【００３０】
図１３に示す通り、実験の場合、光演算相関部１２を用いているので、演算時間は画像サイズにかかわらず一定であるが、シミュレーションの場合、計算機を用いているので、演算時間は画像サイズが大きくなるにつれて増大する。したがって、画像サイズが大きい場合、結合変換相関演算器である光演算相関部１２を用いる方が演算時間は短くなる。
【００３１】
ところで、図２（ａ）で説明した輝度ヒストグラムについては、まず、検索対象物の表層を撮像装置（カメラ、スキャナなど）により撮像し輝度ヒストグラムを生成し質感定量化部１３に記録する。輝度ヒストグラムの作成には、各種の手法がある。例えば、２値化では、輝度ヒストグラムの下側を白（「０」）にして、上側を黒（「１」）にした２値化処理、あるいは、エッジ化では、曲線を線描画で描き（「１」）、それ以外を「０」とする処理も可能である。また、一方、参照ヒストグラムは、光沢、表面粗さに応じて、予め作成した複数の輝度ヒストグラムをメモリに記憶しデータベース化し、質感定量化部１３に記録しておく。
【００３２】
また、ＪＴＣ法により光演算された出力画像では、ＪＴＣ法により、図７に示す通り、相互相関スポットが両サイドに分かれて出現し、真中には自己相関スポットが出現する。このパターンを検出することによって、相関値の高低を判断している。
【００３３】
ここで、自己相関スポットと相互相関スポットを得るためのＪＴＣ法を用いた光相関演算と等価な計算式を簡単に説明しておく。参照ヒストグラムと検索ヒストグラムをａ（x，y）、ｂ（x，y）とし、これらのヒストグラムをそれぞれ＋ｄ、−ｄだけ離して並置したものを入力画像ｆ（x，y）とする。ｘ，ｙは座標である。この入力画像ｆ（ｘ，ｙ）は、下記の式（１）
数１： ｆ（ｘ、ｙ）＝ａ（ｘ−ｄ、ｙ）＋ｂ（ｘ＋ｄ，ｙ）
によって表される。また、入力画像ｆ（x，y）をフーリエ変換した関数をＦ（Ｖx，Ｖy）とすれば、このＦ（ｋ）は下記の式（２）
【数２】
によって求められる。
【００３４】
この関数Ｆ（Ｖx，Ｖy）に対して、複素共役の関数を利用して｜Ｆ（Ｖｘ，Ｖｙ）｜2をとり、さらに、これを実空間上のパワースペクトルＰに変換すると、以下の式（３）が得られる。
【数３】
ここで、式（３）において、上付き記号★は共役複素数を示す。
【００３５】
また、この式（３）の右辺において、第１項、及び第２項は、相関ヒストグラムにおける自己相関スポットに対応している。また、第３項、及び第４項は、自己相関スポットから±２ｄ離れた相互相関スポットにそれぞれ対応している。
式（４）はパワースペクトルＰのフーリエ変換を示す。式中＊はコンボリューション、上付き★は共役複素数を示す。したがって、式（４）の第３項と第４項はａ，ｂの相関データとなる。自己相関スポットと相互相関スポットを出力画像とする。
【数４】
【００３６】
本実施形態で特徴的なことは物体の質感を粗さや光沢等に分けていることである。粗さや光沢等に分けることにより、相関値を取るための分離を行うことができる。光沢は、輝度ヒストグラムの上部の突起、或いは、歪み度など形状のアンバランスの度合い、例えば、明るい方に伸びている程度等の種々の形状要素を識別すると、光沢の程度がわかる。光沢の場合に輝度ヒストグラムの形状を捉えることで、光沢を認識することができる。一方、表面粗さも輝度ヒストグラムの形状（分布の幅等）によって変わる。例えば、分布幅が広がると、表面が粗くなる。こうした輝度ヒストグラムの形状パターンを輝度ヒストグラムの形状に基づいて予め登録しておけば、それとの相関度によって、高速にマッチングさせることができ、光沢量、表面粗さは定量化できる。
【００３７】
結合変換相関演算によって、高速に相互相関スポットを演算し、これを質感定量部１３で数値化する。数値化をするとデータベース側の方でそれに合っている輝度ヒストグラムが検索できる。
【００３８】
質感の類似性は、相互相関スポットの光学的な強度の大小と等価である。値が大きくなっていることは相関性が高いことを示す。例えば、複数の参照ヒストグラムを検索ヒストグラムとの類似度が高い順に並べるなど、画像検索を利用した様々な質感の取得が可能となる。データベースで定量化した参照ヒストグラムのパターンを複数用意しておき、その中で相互相関スポットの光学強度の一番大きなものを検索すればよい。図９〜図１２で示すシミュレーションは計算機で同じ演算をソフトウェアによって行い相関値を出したものである。ある意味では、それが真に近いものであり、実験値と近い結果がでている。
【００３９】
このように、元画像をそのまま用いるのではなく、それに対応する輝度ヒストグラムを参照するとともに、ＪＴＣ法による光相関演算を利用して質感の相関度を計測して画像検索を行う構成によれば、質感に着目した画像検索を、充分な精度で、かつ光演算によって高速に実行することが可能となる。
【００４０】
また、ＪＴＣを用いているので、光学系を小型化できる。例えば、光検出器の画素ピッチは細かいので（１．５μ程度）、レンズのｆ値を抑えられる。ただし、レーザ・ダイオード２の出力をある程度上げる必要がある。マッチドフィルタではレンズのｆ値が高く大型化され、光学調整に精度が必要である。
【００４１】
つぎに図１４を参照して実施形態２の質感定量化装置１０１を説明する。これは高速で、結合変換相関演算を行うためのパイプライン処理を行う実施形態である。実施形態１と共通する構成については１００番台として説明は援用する。偏光子は図示を略する。質感定量化装置１０１は光演算相関部１１２と、質感定量化部１１３とから構成される。図１４に示す通り、コヒーレントな光源であるレーザーダイオート１０２から５３２nm波長の光が出され、これが、対物レンズ１０３、ピンホール部１０４を通過し、コリメートレンズ１０５によりコリメートされる。このコリメートされた光は、ハーフミラー１０７ａ、１０７ｂを通過し、空間光変調器１０８ａの中心部からX方向に距離±ｄで表示された参照ヒストグラムと検索ヒストグラムとを照射する。この表示は質感定量化部１１３からの電気信号に基づいて行われる。そして、空間光変調器１０８ａで反射された光は、ハーフミラー１０７ｂを経て、フーリエ変換レンズ１１０ａに至り、フーリエ変換されて、CMOSカメラ１１１ａで撮像される。光学信号が入力パワースペクトルとしてCMOSカメラ１１１ａで記録され、記録データは、次段の空間光変調器１０８ｂへ出力される。また一方、ハーフミラー１０７ａで反射された光はハーフミラー１０７ｃ、１０７ｄを経て空間光変調器１０８ｂに送られる。そして、空間光変調器１０８ｂからの光はハーフミラー１０７ｄを経て、フーリエ変換レンズ１１０ｂに至り、２回目のフーリエ変換がされて、CMOSカメラ１１１ｂで撮像される。入力パワースペクトルとしてCMOSカメラ１１１ｂで撮像され、画像は、質感定量部１１３へ送信される。参照ヒストグラム及び検索ヒストグラムの相関性は、CMOSカメラ１１１ｂの中央部からX方向に距離±２ｄの点における、光学強度の関数として規定される。このようなパイプライン処理により実施形態１よりも装置は大型化するものの、実施形態１よりも高速な結合変換相関演算が可能となる。
【００４２】
なお、本発明は、上記の実施形態に何ら限定されるものではなく、本発明の技術的思想を逸脱しない範囲において、種々の改変等の実施形態を採り得る。たとえば、本実施形態では、光の反射による物体の光沢（例えば、ダイヤモンド）、光の拡散によるざらざら感、やわらかさ（やすり、布）等を高精度で認識するものであるが、これに限られずに、光の透過による物体の透明感（例えば、ガラス）等の各種の質感も対象とすることができる。
【産業上の利用可能性】
【００４３】
本発明は、結合変換相関演算を用いて表面粗さ、光沢などを高速で高精度に定量化するので、ロボットなどに利用可能である。
【符号の説明】
【００４４】
１，１０１…質感定量化装置
２,１０２…レーザ・ダイオード
３，１０３…対物レンズ
４，１０４…ピンホール部
５，１０５…コリメートレンズ
６…偏光子
７，１０７ａ、１０７ｂ，１０７ｃ，１０７ｄ…ハーフミラー
８，１０８ａ…空間光変調器
９…偏光子
１０，１１０ａ，１１０ｂ…フーリエ変換レンズ
１１，１１１ａ，１１１ｂ…ＣＭＯＳカメラ
１２，１１２…光演算相関部
１３，１１３…質感定量化部
【特許請求の範囲】
【請求項１】
光源からの光を変調する空間光変調器と、前記空間光変調器からの変調光を受けフーリエ変換を行うフーリエ変換レンズと、前記フーリエ変換レンズからの光像を撮像するカメラと、を備え、前記空間光変調器に入力される入力画像の結合変換相関演算を行い、出力画像を生成する光演算相関部と、
前記入力画像を、輝度ヒストグラムとして設定され検索対象となる検索ヒストグラムと、輝度ヒストグラムとして設定され照合のために予め作成される参照ヒストグラムとを並置したものとして設定し、前記入力画像を前記空間光変調器に出力し、前記結合変換相関演算によって得られた自己相関スポットと相互相関スポットを含む出力画像を前記カメラから取得し、前記相互相関スポットの強度に基づいて、前記検索ヒストグラムと前記参照ヒストグラムを照合し、質感の類似性を判断する質感定量化部と、
を備えたことを特徴とする質感定量化装置。
【請求項２】
前記入力画像を入力した前記空間光変調器により第１変調光を生成し、前記フーリエ変換レンズにより前記第１変調光のフーリエ変換を行って第１光像を生成し、前記第１光像を前記カメラで撮像して一次変換画像とし、前記空間光変調器に前記一次変換画像を出力し、前記空間光変調器で前記一次変換画像によって変調された第２変調光を生成し、前記フーリエ変換レンズにより前記第２変調光のフーリエ変換を行って第２光像を生成し、前記第２光像を前記カメラで撮像して前記出力画像とすることを特徴とする請求項１記載の質感定量化装置。
【請求項３】
前記光相関演算部は、第１空間光変調器と、前記第１空間光変調器からの第１変調光を受けフーリエ変換を行い第１光像を生成する第１フーリエ変換レンズと、前記第１フーリエ変換レンズからの第１光像を撮像し一次変換画像を生成する第１カメラと、前記第１カメラからの一次変換画像を入力し第２変調光を生成する第２空間光変調器と、該第２空間光変調器からの第２変調光を受けフーリエ変換を行い第２光像を生成する第２フーリエ変換レンズと、前記第２フーリエ変換レンズからの第２光像を撮像し前記出力画像を生成する第２カメラと、を備えたことを特徴とする請求項１記載の質感定量化装置。
【請求項４】
輝度ヒストグラムとして設定され質感の定量化の対象となる検索ヒストグラムと、輝度ヒストグラムとして設定され予め作成された参照ヒストグラムとが並置された入力画像を、空間光変調器に入力し、前記空間光変調器からの光をフーリエ変換レンズでフーリエ変換し第１光像を形成し、前記第１光像を撮像し一次変換画像を生成する第１相関演算ステップと、
前記第１相関演算ステップで撮像された一次変換画像を空間光変調器に入力し、前記空間光変調器からの光をフーリエ変換レンズでフーリエ変換し第２光像を形成し、前記第２光像を撮像し、自己相関スポットと相互相関スポットを含む出力画像とする第２相関演算ステップと、
前記出力画像の相互相関スポットの強度に基づいて、前記検索ヒストグラムと前記参照ヒストグラムを照合し、質感の類似性を判断する質感定量化ステップと、
を備えたことを特徴とする質感定量化方法。
【請求項１】
光源からの光を変調する空間光変調器と、前記空間光変調器からの変調光を受けフーリエ変換を行うフーリエ変換レンズと、前記フーリエ変換レンズからの光像を撮像するカメラと、を備え、前記空間光変調器に入力される入力画像の結合変換相関演算を行い、出力画像を生成する光演算相関部と、
前記入力画像を、輝度ヒストグラムとして設定され検索対象となる検索ヒストグラムと、輝度ヒストグラムとして設定され照合のために予め作成される参照ヒストグラムとを並置したものとして設定し、前記入力画像を前記空間光変調器に出力し、前記結合変換相関演算によって得られた自己相関スポットと相互相関スポットを含む出力画像を前記カメラから取得し、前記相互相関スポットの強度に基づいて、前記検索ヒストグラムと前記参照ヒストグラムを照合し、質感の類似性を判断する質感定量化部と、
を備えたことを特徴とする質感定量化装置。
【請求項２】
前記入力画像を入力した前記空間光変調器により第１変調光を生成し、前記フーリエ変換レンズにより前記第１変調光のフーリエ変換を行って第１光像を生成し、前記第１光像を前記カメラで撮像して一次変換画像とし、前記空間光変調器に前記一次変換画像を出力し、前記空間光変調器で前記一次変換画像によって変調された第２変調光を生成し、前記フーリエ変換レンズにより前記第２変調光のフーリエ変換を行って第２光像を生成し、前記第２光像を前記カメラで撮像して前記出力画像とすることを特徴とする請求項１記載の質感定量化装置。
【請求項３】
前記光相関演算部は、第１空間光変調器と、前記第１空間光変調器からの第１変調光を受けフーリエ変換を行い第１光像を生成する第１フーリエ変換レンズと、前記第１フーリエ変換レンズからの第１光像を撮像し一次変換画像を生成する第１カメラと、前記第１カメラからの一次変換画像を入力し第２変調光を生成する第２空間光変調器と、該第２空間光変調器からの第２変調光を受けフーリエ変換を行い第２光像を生成する第２フーリエ変換レンズと、前記第２フーリエ変換レンズからの第２光像を撮像し前記出力画像を生成する第２カメラと、を備えたことを特徴とする請求項１記載の質感定量化装置。
【請求項４】
輝度ヒストグラムとして設定され質感の定量化の対象となる検索ヒストグラムと、輝度ヒストグラムとして設定され予め作成された参照ヒストグラムとが並置された入力画像を、空間光変調器に入力し、前記空間光変調器からの光をフーリエ変換レンズでフーリエ変換し第１光像を形成し、前記第１光像を撮像し一次変換画像を生成する第１相関演算ステップと、
前記第１相関演算ステップで撮像された一次変換画像を空間光変調器に入力し、前記空間光変調器からの光をフーリエ変換レンズでフーリエ変換し第２光像を形成し、前記第２光像を撮像し、自己相関スポットと相互相関スポットを含む出力画像とする第２相関演算ステップと、
前記出力画像の相互相関スポットの強度に基づいて、前記検索ヒストグラムと前記参照ヒストグラムを照合し、質感の類似性を判断する質感定量化ステップと、
を備えたことを特徴とする質感定量化方法。
【図１】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１２−１２７８７１（Ｐ２０１２−１２７８７１Ａ）
【公開日】平成２４年７月５日（２０１２．７．５）
【国際特許分類】
【出願番号】特願２０１０−２８１００４（Ｐ２０１０−２８１００４）
【出願日】平成２２年１２月１６日（２０１０．１２．１６）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り ２０１０年８月３０日 ２０１０年秋季第７１回応用物理学会学術講演予稿集に発表、２０１０年９月１７日 ２０１０年秋季第７１回応用物理学会学術講演会において発表
【出願人】（３０４０２７３４９）国立大学法人豊橋技術科学大学 (391)
【出願人】（３０２０４７８８０）有限会社パパラボ (11)
【Ｆターム（参考）】
【公開日】平成２４年７月５日（２０１２．７．５）
【国際特許分類】
【出願日】平成２２年１２月１６日（２０１０．１２．１６）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り ２０１０年８月３０日 ２０１０年秋季第７１回応用物理学会学術講演予稿集に発表、２０１０年９月１７日 ２０１０年秋季第７１回応用物理学会学術講演会において発表
【出願人】（３０４０２７３４９）国立大学法人豊橋技術科学大学 (391)
【出願人】（３０２０４７８８０）有限会社パパラボ (11)
【Ｆターム（参考）】
[ Back to top ]