説明

スキャナ装置、画像質感向上装置、画像質感呈示装置、および画像質感呈示システム

【課題】多数の光源を必要としないため、構成が簡素であり、容易に操作可能なスキャナ装置を実現することにある。また、対象物から得られる画像を、触覚呈示手段、ユーザの手等によって遮られることがなく、高いリアリティをもって、凹凸形状の触感を擬似的に再現することが可能な画像質感呈示装置を実現することにある。
【解決手段】傾斜ステージ方式スキャナ1は、傾斜ステージ13上には、対象物100が載置される精密回転台14が備えられ、精密回転台14は、対象物100が載置される面に対して垂直方向を軸として回転する。また、視触覚呈示装置は、触覚デバイスとユーザの視点との間に、ディスプレイによって表示された画像を投影する整合装置を備えている。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、対象物に光を照射する光源と、対象物から反射される反射光を読み取ることにより画像データを取得する受光手段と、対象物への光入射角度を一方向に変化させるステージとを備えたスキャナ装置に関する。また、スキャナ装置と、スキャナ装置の動作を制御するとともに、スキャナ装置が取得した画像データから、対象物の質感を向上させた画像データを得る画像質感向上手段とを備えた画像質感向上装置に関する。
【0002】
また、本発明は、画像を表示する画像表示手段と、ユーザに画像の触覚情報を呈示する触覚呈示手段と、上記画像表示手段に表示される画像の凹凸形状を算出し、該凹凸形状と一致するように上記触覚呈示手段を制御する触覚呈示制御手段とを備えた画像質感呈示装置に関する。さらに、画像質感向上装置と、画像質感呈示装置とを備え、画像表示手段が、画像質感向上手段によって得られた、対象物の質感を向上させた画像データに基づいて画像を表示する画像質感呈示システムに関する。
【背景技術】
【0003】
従来、映画、テレビ等の映像メディアをはじめ、デジタルアーカイブ、オンラインショッピング等の様々な分野において、例えばコンピュータグラフィックスのように、仮想空間上に物体を表現する方法が用いられている。また、コンピュータグラフィックスの技術を用いて仮想環境を構築し、ユーザがあたかもその場にいるような臨場感あふれる体験を提供する技術(バーチャルリアリティ;仮想現実環境)は、都市工学、交通工学、医療、アミューズメント等の分野において活用されている。このため、実世界の物体と同じようなリアリティある仮想空間上の物体をコンピュータグラフィックスによって生成する技術の向上は、ますます重要になってきている。
【0004】
また、仮想空間上に表現された物体を、より実物に近いものとしてユーザに認識させるためには、視覚だけではなく、その他の感覚、とりわけ触覚に働きかける必要があると考えられている。このため、近年、コンピュータグラフィックスによる仮想空間上の物体に触れることが可能な触覚デバイスを使用することにより、視覚からではわからない対象物の柔軟性、重さ等を表現することが可能となっている。
【0005】
例えば、特許文献1〜3には、質感等の視覚情報を得る装置または方法が開示されている。
【0006】
特許文献1では、カメラ、CCD(Charge Coupled Devices)センサ等により入力される実画像情報を、赤外線やレーザ光を照射して測距するアクティブ方式、または、複数視点からの画像のマッチングから距離画像を得るパッシブ方式により入力される3次元情報を用いて、質感強調した画像に変換する画像質感強調装置が開示されている。具体的には、3次元形状に基づいて、勾配量または勾配量の変化を計算し、コントラストまたはシャープネスの制御を行うことによって、実画像の光沢を強調するとともに、凹凸を際立たせている。
【0007】
また、特許文献2では、ゴニオ・スペクトロ・メータを用いて計測された変角分光反射率から演算される、分光波長および変角にそれぞれ依存する2つの特徴量に基づいて、色と質感とを考慮した被塗装物の塗装色を再現する方法が開示されている。これにより、任意角度における光源および視点での質感または色情報を再現することができ、メタリック粒子感等を精度よく再現することが可能となる。
【0008】
しかしながら、特許文献1において、実画像を取得する実画像入力部と対象物との距離を測定することにより3次元情報を得ているため、対象物表面の微細な形状を高精細に復元するためには、精密に距離を測定する必要がある。従って、精度のよい質感情報を得るためには、上記距離の測定を精密に行う制御部を備えなくてはならないため、画像質感強調装置の簡素化を図ることはできない。
【0009】
なお、特許文献1では、金属、陶器等の光沢への対応、または、織物、紙類等の微細反射への対応等、対象となる素材に対応した質感処理を行うことが困難である。
【0010】
また、特許文献2では、鋼板等への塗布のために質感情報を得るものであるため、実画像を取得することによって質感情報を得る構成とはなっていない。
【0011】
さらに、ゴニオ・スペクトロ・メータは、対象の測定をスポット単位で行っており、質感に関係のないスペクトルデータも測定している。このため、1画素当たりの情報量は、数百バイトとなるため、高精細に大きな面積における質感および色情報を計測する場合には、画像処理に膨大な時間がかかってしまう虞がある。
【0012】
なお、ゴニオ・スペクトロ・フォトメータを用いているため、鋼板等の一様な反射特性をもつ素材に対する変角分光反射率を計測することは可能であるが、織物等の一様な反射特性を持たない素材に対しては計測することができない虞がある。
【0013】
ここで、特許文献3には、対象物の測定をスポット単位ではなく、面単位で行うことを可能としたマルチアングルスキャナが開示されている。具体的には、マルチアングルスキャナは、被写体で反射された反射光を読み取るラインCCDを備えており、読取り光学系の光軸に対して、少なくとも垂直を含む所望の対応角度に調整可能となるように傾動する傾動ステージを備えた構成となっている。
【0014】
また、触覚デバイスとしては、例えば、特許文献4〜6に開示されている。
【0015】
特許文献4では、画像情報に関連する触覚情報に対応する電流が流れる刺激電極が蜜に配置された触覚呈示部を備えた視触覚情報呈示装置が開示されている。また、特許文献5では、対象物が表示されている画面上にカーソルを配置し、触感呈示ボタンを押圧して該画面上をドラッグさせることにより、対象物の表面の触感を再現するポインティングデバイスを備えた触覚呈示装置が開示されている。さらに、特許文献6では、ディスプレイ上に、映像に対応した微小な凹凸や振動が呈示される触覚兼タッチパネルを備えた触覚情報伝達装置が開示されている。
【特許文献1】特開2002−329198号公報(2002年11月15日公開)
【特許文献2】特開平8−221560号公報(1996年8月30日公開)
【特許文献3】特開2005−331934号公報(2005年12月2日公開)
【特許文献4】特開2005−128891号公報(2005年5月19日公開)
【特許文献5】特開2001−306200号公報(2001年11月2日公開)
【特許文献6】特開2000−148393号公報(2000年5月26日公開)
【発明の開示】
【発明が解決しようとする課題】
【0016】
しかしながら、特許文献3では、傾動ステージは、傾動ステージ上の載置台が移動する方向と直交する方向、すなわち、読取り光学系の光軸方向を軸として傾動している。従って、この軸に対して垂直な面内の方向に対象物への光入射角度を変化させながら対象物のテクスチャ画像を取得することは可能であるが、垂直な面内の方向以外の方向、例えば、傾動ステージ上の載置台が移動する方向に垂直な面内の方向に対象物への光入射角度を変化させながらテクスチャ画像を取得することはできない。すなわち、上記傾動軸に対して垂直な面内の方向以外の方向に対象物への光入射角度を変化させながらテクスチャ画像を撮影することができない。
【0017】
このため、任意の方向に対象物への光入射角度を変化させながらテクスチャ画像を得ることができないため、例えば、BTF(Bidirectional Texture Function;双方向テクスチャ関数)計測等を行って質感情報を取得するために必要なテクスチャ画像データを充分に得ることができない。
【0018】
また、特許文献5に記載のポインティングデバイスは、対象物が表示されている画面を直接触れるわけではないので、ポインティングデバイスと対象物とが視線一致していない。このため、視線一致している触覚デバイスと比較して、対象物そのものに触れている感覚が損なわれる。
【0019】
さらに、特許文献4に記載の触覚呈示部、および、特許文献6に記載の触覚兼タッチパネルは、画像出力部に表示される対象物の画像と、ユーザの視点との間に備えられている。このため、ユーザが、対象物に擬似的に触れるために、触覚呈示部または触覚兼タッチパネルに手で触れた場合、ユーザの手等によって、対象物の画像が遮られてしまう虞がある。
【0020】
本発明は、上記の問題点を鑑みてなされたものであり、その目的は、多数の光源を必要としないため、構成が簡素であり、容易に操作可能なスキャナ装置を実現することにある。また、対象物から得られる画像を、触覚デバイス、ユーザの手等によって遮られることがなく、高いリアリティをもって、凹凸形状の触感を擬似的に再現することが可能な画像質感呈示装置を実現することにある。
【課題を解決するための手段】
【0021】
本発明に係るスキャナ装置は、上記課題を解決するため、対象物に光を照射する光源と、上記対象物から反射される反射光を読み取ることにより画像データを取得する受光手段と、上記対象物への光入射角度を一方向に変化させるように回動するステージとを備えたスキャナ装置であって、上記ステージ上には、上記対象物が載置される回転台が備えられ、上記回転台は、上記対象物が載置される面に対して垂直方向を軸として回転する。
【0022】
上記構成によれば、スキャナ装置は、ステージに、対象物が載置される面に対して垂直方向を軸として回転する回転台を備えている。ステージは、対象物への光入射角度を一方向に変化させるように回動するため、該ステージと回転台とによって、1つの固定された光源から照射される光を、対象物に対して任意の角度から入射させることが可能となる。
【0023】
これにより、画像データの取得を行う所望の角度に多数の光源を備えている構成、または、画像データの取得を行う所望の角度に光源を移動させる構成でない場合であっても、光入射角を複数の方向に異ならせた画像データを得ることが可能となる。従って、スキャナ装置の構成を簡素にし、スキャナ装置を容易に操作することが可能となる。
【0024】
上記受光手段は、ラインセンサであり、上記回転台は、上記ステージに平行で、かつ上記ラインセンサの長手方向に直交する方向に移動することが好ましい。
【0025】
上記構成によれば、上記回転台が、上記ステージに平行で、かつ上記ラインセンサの長手方向に直交する方向に移動することによって、ラインセンサが、上記対象物全体を走査することができる。これにより、対象物からラインとして取得した1次元的な画像データを結合させて2次元的な画像を取得することが可能となる。従って、通常のカメラを使用した場合よりも、高精細な画像データを取得することが可能となる。また、ラインセンサを移動させる必要がないため、対象物を回転させた場合であっても、画像データを取得することが可能となる。
【0026】
上記ステージは、上記ステージを回動させる第1の駆動手段と、上記回転台を回転させる第2の駆動手段とがさらに備えられていることが好ましい。
【0027】
上記構成によれば、スキャナ装置は、光入射角を複数の方向に異ならせた画像データを得るために、ステージを回動させる第1の駆動手段と、回転台を回転させる第2の駆動手段とを備えている。これにより、ステージおよび回転台の制御を自動で行うことが可能となるため、スキャナ装置をさらに容易に操作することが可能となる。
【0028】
本発明に係る画像質感向上装置は、上記記載のスキャナ装置と、上記スキャナ装置の動作を制御するとともに、該スキャナ装置が取得した、光入射方向の異なる複数枚の画像データから、上記対象物の質感を向上させた画像データを生成する画像質感向上手段とを備えることが好ましい。
【0029】
上記構成によれば、簡素化された構成のスキャナ装置で、操作容易に得られた対象物の画像データは、画像質感向上手段によって、対象物の質感を向上させた画像データに処理される。これにより、光入射角を複数の方向に異ならせた画像データから、高精細なテクスチャ画像データを再現することが可能となる。
【0030】
上記画像質感向上手段は、上記ステージおよび回転台の位置情報を格納する位置情報格納手段と、上記位置情報格納手段から位置情報を取得し、該位置情報に基づいて、上記第1および第2の駆動手段を制御する駆動制御手段と、上記第1および第2の駆動手段によって上記ステージおよび回転台が所望の位置まで移動すると、上記ラインセンサから画像データを取得し、取得した画像データから、上記対象物の質感を向上させた画像データを生成する画像処理手段とを備えることが好ましい。
【0031】
上記構成によれば、駆動制御手段は、画像データの取得を行う所望の角度である位置情報を、位置情報格納手段から取得し、該位置情報に基づいて駆動手段を制御することにより、スキャナ装置に備えられたステージおよび回転台を、画像データの取得を行う所望の角度に移動させる。ステージおよび回転台が所望の角度(位置)に設定されると、駆動制御手段は、ステージが走査することによって、ラインセンサが対象物の画像データを取得するように制御信号を出力する。取得された画像データは、画像処理手段に出力され、該画像処理手段によって、対象物の質感を向上させた画像データを生成する。
【0032】
これにより、スキャナ装置を画像質感向上手段によって制御することが可能となるため、スキャナ装置で得られた、光入射角を複数の方向に異ならせた画像データから、高精細なテクスチャ画像データを再現することが可能となる。また、高精細なテクスチャ画像データを再現させることが可能となるため、対象物表面の傷を検査することが可能となる。
【0033】
上記画像処理手段は、上記対象物から得られる、上記対象物上の位置および光入射角度に応じた反射率の変化を、上記ラインセンサによって得られた画像から計測するとともに、計測結果を画像データとして出力する第1の計測手段と、上記画像データの各画素毎に輝度と色度とを分離し、正規化された光の入射ベクトルと定数とからなる2次元多項式を用いて、各画素毎の輝度値を近似する第2の計測手段とを備えることが好ましい。
【0034】
上記構成によれば、画像データから、対象物上の位置および光入射角度に応じた反射率の変化を計測をし、この計測から得られた画像データに基づいて、画像データの各画素毎に輝度と色度とを分離し、正規化された光の入射ベクトルと定数とからなる2次元多項式を用いて計測することによって、画像データの各画素の輝度値を近似する。
【0035】
これにより、色度の値を調整することができ、各画素の最終的な色の再現処理を行うことができるため、高精細なテクスチャ画像データを得ることが可能となる。
【0036】
また、第2の計測手段は、定数からなる2次元多項式を用いているため、該定数の評価を行うことによって、第1の計測手段から出力された画像データのデータ量を圧縮することができるため、通常のPC等であっても、高速に画像データを処理することが可能となる。
【0037】
本発明に係る画像質感呈示装置は、上記課題を解決するため、対象物の画像を表示する画像表示手段と、ユーザに対し、上記対象物の触覚情報を上記画像に対応させて呈示する触覚呈示手段と、上記画像表示手段に表示される対象物の凹凸形状を表す凹凸形状データに基づいて、該凹凸形状と一致するように上記触覚呈示手段を制御する触覚呈示制御手段とを備えた画像質感呈示装置であって、上記触覚呈示手段とユーザの視点との間に、上記画像表示手段によって表示された画像を投影する投影手段を備えている。また、上記投影手段は、上記触覚呈示手段とユーザの視点との間に配置され、上記画像表示手段からの光をユーザの視点の方向に反射させるハーフミラーを含んでいることが好ましい。
【0038】
上記構成によれば、触覚呈示手段とユーザの視点との間に、画像表示手段から提供される画像を投影する投影手段を備えている。これにより、触覚呈示手段、ユーザの手等によって遮られることがなく、投影手段に投影された画像の任意の位置と、触覚呈示手段の位置とを(ユーザの視点から見て)重ね合わせることが可能となる。従って、ユーザに対して、画像表示手段に表示される画像に対応した対象物に、あたかも触っているように感じさせることができ、高いリアリティをもって、該対象物の凹凸形状の触感を擬似的に再現することが可能となる。
【0039】
光入射方向の異なる複数枚の画像データから、これら画像データの差分画像を生成し、該差分画像に基づいて上記凹凸形状データを算出する凹凸形状算出手段をさらに備えることが好ましい。
【0040】
上記構成によれば、凹凸形状算出手段は、対象物への光入射角を変化させながら取得した複数枚の画像データから、凹凸形状を算出する。これにより、対象物の凹凸形状を示す位置情報のデータ量を低減させることが可能となる。
【0041】
本発明に係る画像質感呈示システムは、上記記載の画像質感向上装置と、上記記載の画像質感呈示装置とを備え、上記画像質感呈示装置の画像表示手段は、上記画像質感向上装置の画像質感向上手段によって得られた、対象物の質感を向上させた画像データに基づいて画像を表示することが好ましい。
【0042】
上記構成によれば、画像質感向上装置によって得られた、対象物の質感を向上させた画像データに基づく画像が、画像質感呈示装置の画像表示手段に表示され、該画像が、投影手段に投影されることとなる。これにより、画像質感向上装置によって得られた、対象物の質感に対応した微細な凹凸形状に、擬似的に触れることが可能になる。従って、対象物を、視認することによる検査だけでなく、擬似的に触れることによる検査をすることが可能となる。また、上記構成によれば、高精細なテクスチャ画像を表示することが可能となる。
【発明の効果】
【0043】
本発明に係るスキャナ装置は、以上のように、対象物に光を照射する光源と、上記対象物から反射される反射光を読み取ることにより画像データを取得する受光手段と、上記対象物への光入射角度を一方向に変化させるように回動するステージとを備えたスキャナ装置であって、上記ステージ上には、上記対象物が載置される回転台が備えられ、上記回転台は、上記対象物が載置される面に対して垂直方向を軸として回転する。これにより、画像データの取得を行う所望の角度に多数の光源を備えている構成、または、画像データの取得を行う所望の角度に光源を移動させる構成でない場合であっても、光入射角を複数の方向に異ならせた画像データを得ることが可能となる。また、上記構成により、スキャナ装置の構成を簡素にし、スキャナ装置を容易に操作することが可能となる。
【0044】
また、本発明に係る画像質感呈示装置は、以上のように、対象物の画像を表示する画像表示手段と、ユーザに対し、上記対象物の触覚情報を上記画像に対応させて呈示する触覚呈示手段と、上記画像表示手段に表示される対象物の凹凸形状を表す凹凸形状データに基づいて、該凹凸形状と一致するように上記触覚呈示手段を制御する触覚呈示制御手段とを備えた画像質感呈示装置であって、上記触覚呈示手段とユーザの視点との間に、上記画像表示手段によって表示された画像を投影する投影手段を備えている。これにより、触覚呈示手段、ユーザの手等によって遮られることがなく、投影手段に投影された画像の任意の位置と、触覚呈示手段の位置とを(ユーザの視点から見て)重ね合わせることが可能となるため、ユーザに対して、画像表示手段に表示される画像に対応した対象物に、あたかも触っているように感じさせることができ、高いリアリティをもって、該対象物の凹凸形状の触感を擬似的に再現することが可能となる。
【発明を実施するための最良の形態】
【0045】
〔実施形態1〕
本発明の一実施形態について図1ないし図6に基づいて説明すると以下の通りである。
【0046】
図2は、実施形態1に係る傾斜ステージ方式スキャナの概略構成を示す斜視図である。
【0047】
本実施形態に係る傾斜ステージ方式スキャナ(スキャナ装置、画像質感向上装置)1は、図2に示されるように、ラインセンサ(受光手段)11と、光源12と、傾斜ステージ(ステージ)13と、精密回転台(回転台)14と、支持板15とを備えている。
【0048】
ラインセンサ11は、光学解像度400dpiのCCDセンサであり、精密回転台14に載置される油彩画等の対象物100から反射される反射光を読み取ることにより、対象物100の画像データを取得する。この画像データは、該画像データの質感を向上させるために、後述の画像処理部24に出力される。なお、図1に示されるように、精密回転台14には対象物100が載置されている。
【0049】
なお、ラインセンサ11を用いているが、これに限られたものではなく、通常のカメラでもよい。しかしながら、ラインセンサ11は、対象物100を走査して、対象物100からラインとして取得した1次元的な画像データを結合させて2次元的な画像を取得するため、一括で2次元的な画像を取得する通常のカメラを使用した場合よりも、高精細な画像を取得することが可能である。また、CCDセンサを使用した場合には、通常のカメラを使用した場合に生ずる周辺歪の問題も考慮する必要がない。
【0050】
光源12は、精密回転台14に載置される対象物100に走査光を照射するものである。これにより、ラインセンサ11は、対象物100から反射される反射光を読み取り、画像を取得することができる。また、光源12は、蛍光灯等の線光源であり、ラインセンサ11と平行に備えられている。なお、光源12は、対象物100を照射できる位置であればどこに固定されていてもよい。
【0051】
また、ラインセンサ11および光源12は、傾斜ステージ方式スキャナ1上であり、傾斜ステージ方式スキャナ1が載置されている面と平行な面で、傾斜ステージ方式スキャナ1に接触しない位置、例えば、傾斜ステージ方式スキャナ1上の天井に備えられている。
【0052】
傾斜ステージ13は、傾斜ステージ方式スキャナ1の下部両側に立設された1対の支持板15によって支持されており、精密回転台14と、輸送ベルト16とを備えている。
【0053】
精密回転台14は、対象物100が載置および固定される台であり、精密回転台14の中心から対象物100が載置される面に対して垂直な方向の回転軸aを中心として360°回転する。精密回転台14の機構については、後述する。
【0054】
支持板15は、傾斜ステージ13を支持している。具体的には、傾斜ステージ13の両側に突設させた支軸を、支持板15に設けた軸受に枢支させている。これにより、例えば図3に示されるように、傾斜ステージ13をラインセンサ11の長手方向を軸として傾動させることが可能となる。傾斜ステージ13の支軸は、ベルト、歯車等の伝動部を介して、モータ等の駆動装置(第1の駆動手段)と接続することにより、角度調整を自動で行うことができるようになっており、後述する駆動制御部(駆動制御手段、画像質感向上手段)22によって傾動を制御されている。なお、図2および図3では、伝動部および駆動装置の構成要素の図示は省略している。
【0055】
また、傾斜ステージ13の支軸を制御する構成は、これに限られたものではなく、傾斜ステージ13の角度調整を手動で行ってもよい。手動の場合には、ラインセンサ11の長手方向に直交する方向と光源12から照射される走査光とのなす角(経度方向の角度)、すなわち、傾斜ステージ13の水平面に対する傾斜角度を確認するために、例えば、表示板(図示しない)が付設されていてもよい。
【0056】
輸送ベルト16は、精密回転台14と平行に連結されており、精密回転台14を傾斜ステージ13の面において、ラインセンサ11の長手方向に直交する方向に所定の速度で移動させる。ラインセンサ11は、精密回転台14が移動する間に、精密回転台14に載置された対象物100の画像を取得する。
【0057】
図1は、精密回転台14が回転軸aの周りに回転する機構の概略を示す断面図である。
【0058】
駆動装置17は、回転軸aの方向に、精密回転台14に関してラインセンサ11とは反対の位置に備えられており、精密回転台14を回転軸aの周りに360°回転させる。駆動装置(第2の駆動手段)17は、モータ等を備える構成となっており、後述する駆動制御部22によって回転を制御されている。なお、駆動装置17は、これに限られたものではなく、手動で回転させる構成であってもよい。この場合には、回転角度を確認するために、例えば、表示板(図示しない)が付設されていてもよい。また、駆動装置17は、精密回転台14と、輸送ベルト16とに連結されている。
【0059】
上記より、傾斜ステージ13の支軸によって傾斜ステージ13を傾動させ、駆動装置17によって傾斜ステージ13に備えられた精密回転台14を回転軸aの周りに回転させることができる。これに連動して、精密回転台14に載置された対象物100を傾動させ、回転軸aの周りを回転させることができる。従って、光源12が固定されている場合であっても、対象物100を中心にドーム状に囲むように、多数の光源12を備えている構成、または、光源12を移動させる構成と同じ機能を持たせることが可能となる。
【0060】
従って、傾斜ステージ方式スキャナ1は、光源12を1つ固定して設けた構成であるものの、多数の光源12をドーム状に配置した構成と同様の画像データを得ることが可能である。従って、光源12をドーム状に配置した構成と比べ多数の光源を必要としないため、スキャナ装置の構成の簡素化を図ることができるとともに、該スキャナ装置を容易に操作することが可能となる。
【0061】
図4は、傾斜ステージ方式スキャナ1を用いて、入力された画像データのBTF計測を行う画像質感計測装置(画像質感向上装置)の構成を示すブロック図である。画像質感計測装置は、図2に示す傾斜ステージ方式スキャナ1と、制御・画像処理装置とで構成されている。なお、図2では、傾斜ステージ方式スキャナ1におけるラインセンサ11および駆動部(第1および第2の駆動手段)23を除く構成要素については、省略している。なお、精密回転台14には対象物100が載置されているものとする。
【0062】
制御・画像処理装置は、本実施形態では1つのPC(Personal Computer)で実現されており、位置情報テーブル(位置情報格納手段、画像質感向上手段)21と、駆動制御部22と、画像処理部(画像処理手段、画像質感向上手段)24と、画像出力部25とを備えている。
【0063】
位置情報テーブル21は、傾斜ステージ13を傾動させ、精密回転台14を回転させるために、傾斜ステージ13の傾斜角度と、精密回転台14の回転角度とが位置情報として格納されており、該位置情報を駆動制御部22に出力する。なお、位置情報テーブル21は、PCに備えられているROM(Read Only Memory)等のメモリに格納されている。
【0064】
駆動制御部22は、位置情報取得信号を位置情報テーブル21に出力することにより、位置情報テーブル21から画像データの取得を行うべき位置の位置情報を取得する。この位置情報に基づいて、傾斜ステージ13を傾動させ、精密回転台14を回転させるために、駆動部23に駆動制御信号を出力する。
【0065】
駆動部23は、傾斜ステージ13を傾動させる駆動装置と、精密回転台14を回転させる駆動装置17と、輸送ベルト16用の駆動装置(図示しない)とを含んでいる。駆動部23は、駆動制御信号に基づいて、所望の位置(角度)に傾斜ステージ13および精密回転台14を移動させる。これにより、画像データの取得を行うべき所望の位置に設定することができるため、画像データの取得を行うべき所望の角度で、光源12から照射される走査光を対象物100に入射させることが可能となる。
【0066】
駆動部23は、傾斜ステージ13および精密回転台14を移動させると、所望の位置への設定が完了したことを、設定完了信号として、駆動制御部22に出力する。
【0067】
なお、本実施形態では、位置情報として、経度方向の角度が、10°〜80°の範囲を10°毎、および、45°となるように設定されている。さらに、位置情報として、精密回転台14の回転方向(緯度方向)の角度が、0°〜300°の範囲を60°毎となるように設定されている。
【0068】
駆動制御部22は、駆動部23から設定完了信号が入力されると、ラインセンサ11および駆動部23に作動信号を出力する。
【0069】
ラインセンサ11は、作動信号が入力されると、この位置設定における対象物100の画像データの取得を開始する。また、駆動部23に作動信号が入力されると、輸送ベルト16用の駆動装置が作動し、ラインセンサ11の長手方向に直交する方向に精密回転台14を移動させる。これにより、この位置設定における画像データを取得することができる。この位置設定における画像データの取得が完了すると、ラインセンサ11は、駆動制御部22に取得完了信号を出力する。
【0070】
駆動制御部22は、取得完了信号が入力されると、別の位置から走査光が照射された場合の画像データを取得するために、位置情報取得信号を位置情報テーブル21に出力する。
【0071】
位置情報テーブル21は、位置情報取得信号が入力されると、位置情報を駆動制御部22に出力する。これにより、駆動部23は、傾斜ステージ13および精密回転台14を所望の位置に移動させるとともに、移動が完了すると、ラインセンサ11が対象物100を走査することによって、別の位置設定における画像データを取得する。
【0072】
これにより、光源12は、対象物100に対して54箇所から走査光を照射することができるため、ラインセンサ11は、54種類の画像データを取得することが可能となる。
【0073】
ラインセンサ11が54種類の画像データを取得すると、該画像データは、画像処理部24に出力される。
【0074】
画像処理部24は、得られた画像データの質感を高精細に再現する処理を、通常のPC等であっても高速に処理することができるように、BTF計測部(第1の計測手段)24aとPTM計測部(第2の計測手段)24bとを備えている。
【0075】
なお、駆動制御部22および画像処理部24とは、PCに備えられているCPU(Central Processing Unit)等の制御または処理される。
【0076】
BTF計測部24aは、得られた画像データのBTFを計測する。BTF計測では、変角分光計測におけるBRDF(Bidirectional Reflectance Distribution Function;双方向反射分布関数)計測では実現されなかった、対象物100の一定の面積から得られる、対象物100上の位置および光入射角度に応じた反射率の変化を、ラインセンサ11によって得られた画像データから計測する。本実施形態においては、BTFは、RGBの波長領域における6次元反射率分布を示す関数である。
【0077】
BTF計測を行ったデータは、画像データとしてPTM計測部24bに出力される。BTF計測部24aに入力される画像データの画素数は、対象物100が約20cm四方であるとき、3000×3000pixelとなる。また、RGBのダイナミックレンジをそれぞれ8bit(1byte)、BTF計測部24aで計測される画像データが54種類とすると、BTF計測部24aで計測された画像データのデータ量は、
54×3000×3000×3=1458000000byte
となる。このため、BTF計測を行った場合、約1.4Gbyteのデータ量をもつ画像データをレンダリングすることとなるため、通常のPC等では、高速に処理することは困難である。
【0078】
そこで、BTF計測部24aで計測された画像データを圧縮してレンダリングするために、該画像データは、PTM計測部24bに出力される。
【0079】
PTM計測部24bは、PTM(Polynomial Texture Mapping;多項式テクスチャマッピング)によって、上記画像データの圧縮およびレンダリングを行う。
【0080】
具体的には、視点と対象物100とを固定し、走査光の入射方向のみを変化させた場合、画素データの輝度値のみが変化し、色度は変化せずに一定であることが知られている。このため、画像データの任意座標(u,v)における画素の色(R,G,B)は、
R(u,v)=L(u,v)×Rn(u,v)
G(u,v)=L(u,v)×Gn(u,v)
B(u,v)=L(u,v)×Bn(u,v)
となり、各画素毎に輝度値Lと色度(Rn,Gn,Bn)に分離し、モデル化することができる。
【0081】
しかしながら、本実施形態では、画像データのサンプリング数が54種類と離散的であるため、位置情報データのない方向から走査光が照射された場合の画像データに対して色の再現処理を行うこと、すなわち、連続的に色の再現処理を行うことが困難である。
【0082】
そこで、BTF計測部24aで得られた画像データに対し、正規化された走査光の入射ベクトル(lu,lv)、定数ai(i=0〜5)を引数とした2次元多項式、
L(u,v;lu,lv)=
a0(u,v)lu+ a1(u, v)lv+a2(u, v)lulv
+a3(u,v)lu+a4(u, v)lv+a5(u,v)
を用いてモデル化することによって、各画素の輝度値Lの近似値を求めることができ、この近似値に基づいて色度(Rn,Gn,Bn)の値を調整することができる。これにより、各画素の最終的な色の再現処理を行うことが可能となる。
【0083】
また、上記モデル化された画像データの圧縮率を向上させるために、定数aiは、スケール変換処理等を行うことによって、8bitの整数データであることが好ましい。しかしながら、スケール変換処理を行った場合であっても、全ての定数aiを8bitにすることは困難である。
【0084】
このため、圧縮ファイルへの格納値ai´、スケール値λ、バイアス値Ωを用いることにより、定数aiは、
ai=λ(ai´−Ω)
で表され、8bitの範囲を超える場合であっても、8bit以内の格納値ai´で圧縮ファイルに格納されることになる。
【0085】
上記モデル化および定数aiの評価によって、表1に示されるように、BTF計測された画像データは、約88%圧縮することが可能である。この圧縮された画像データをレンダリング処理することになるため、通常のPC等を用いて高精細な質感を再現する場合であっても、高速に処理することが可能となる。
【0086】
【表1】

【0087】
PTM計測部24bで圧縮され、レンダリング処理された画像データは、画像出力部25を介して、ユーザに提供されることとなる。
【0088】
上記処理によって、対象物100から得られた画像データから、高精細なテクスチャ画像データを得ることが可能となる。なお、図5は、ラインセンサ11が取得した対象物100の画像を示しており、図6は、該画像から上記処理によって得られたテクスチャ画像を示すものである。図5と図6との比較から、上記処理によって得られたテクスチャ画像は、対象物100表面上の陰影などの質感が高精細に表現できていることが分かる。
【0089】
上記より、傾斜ステージ方式スキャナ1は、傾斜ステージ13が傾動するとともに、精密回転台14が回転軸aの周りを回転できる構成となっているため、BTF計測を行うために必要な画像データを、固定された1つの光源によって得ることができる。従って、光源を多数必要とした、または、光源を移動させることを必要とした、BTF計測のスキャナ装置を簡素化することができるとともに、該スキャナ装置を容易に操作することが可能となる。
【0090】
また、ラインセンサ11を用いているため、高精細なテクスチャ画像を画像出力部25に表示させることができる。これにより、傾斜ステージ方式スキャナ1を用いて、上記テクスチャ画像処理を行うことにより、精密なグラビアの凸版印刷における表面の傷などを検査することが可能となる。また、ラインセンサ11の解像度をさらに向上させることにより、半導体素子を作成するときの3次元マスクの検査を行うことが可能となる。
【0091】
なお、本実施形態では、A4サイズよりも少し小さい20cm四方の大きさの対象物100を用いているが、傾斜ステージ方式スキャナ1では、A3サイズの対象物の画像データであっても、高精細な質感を再現することが可能である。
【0092】
また、本実施形態に係る傾斜ステージ方式スキャナ1では、ラインセンサ11で得られた画像データは、その質感を向上させるために画像質感計測装置に出力されている。しかしながら、これに限られたものではなく、該画像データの出力をそのまま利用して、例えば、ユーザに対して、複数の光入射角度の変化による陰影の変化を示すようにしてもよい。
【0093】
〔実施形態2〕
本発明の他の実施形態について説明すれば、以下の通りである。なお、実施形態1と同一の機能を有する部材については、同一の符号を付記し、その説明は省略する。
【0094】
図7は、視触覚呈示装置(画像質感呈示装置)2の概略構成を示す説明図である。
【0095】
本実施形態に係る視触覚呈示装置2は、PC(触覚呈示制御手段、凹凸形状算出手段)31と、ディスプレイ(画像表示手段)32と、整合装置(投影手段)33と、触覚デバイス(触覚呈示手段)34とを備えている。
【0096】
PC31は、ディスプレイ32と触覚デバイス34とを制御している。具体的には、ディスプレイ32に画像として表示される対象物の凹凸形状を、該凹凸形状に一致するように、また、ディスプレイ32に表示される画像に対応するように、触覚デバイス34の操作部34aに反力として伝える。このため、PC31は、ディスプレイ32に画像として表示される対象物の凹凸形状に一致する反力に対応する制御信号を生成し、触覚デバイス34に出力する。
【0097】
画像データから画像データ内の対象物の凹凸形状を再現する方法として、連結した三角形の集合によるポリゴンでの近似が一般的である。ポリゴンを形成するための頂点の位置情報は、主にレーザ計測器等によって計測されるが、計測された位置情報のデータ量は膨大になってしまう。
【0098】
しかしながら、例えば、実施形態1に係る傾斜ステージ方式スキャナ1を用いて対象物100への光入射角度が異なる複数枚の画像データを取得する場合、すなわち、対象物100への光入射角度を変化させながら画像データを取得する場合には、ラインセンサ11で取得した2枚の画像データから、これら画像データの差分画像を生成することができる。これにより、上記差分画像からHeight Fieldによって、画像データ内の対象物100の凹凸形状を再現することができるため、位置情報のデータ量を低減させることが可能となる。
【0099】
Height Fieldは、2次元画像から3次元の凹凸形状を復元する手法であり、主に等高線地図等から地形の3次元形状を再現するために用いられている。なお、視触覚呈示装置2において、視覚特性および凹凸形状は、ユーザに対して表現物体のリアリティを増すために、視覚特性の補助的な役割を行うことが目的であるため、Height Fieldによって充分に凹凸形状を復元することが可能である。
【0100】
なお、Height Fieldによる具体的な凹凸形状の復元は、次に示すように行われる。
【0101】
まず、2枚の画像データから得られる差分画像を、任意の平面(例えば、x−y平面)に1×1の大きさで投影させる。次に、差分画像の濃淡(輝度値)を、0〜1の高さデータに変換する。このとき、高さデータは、輝度値L=1のときに最も高くなり、輝度値L=0のときに最も低くなる。この変換された高さデータに基づいて、差分画像を前記任意の平面(投影面)に垂直な方向の何れか(例えば、+z軸方向)に隆起させる。これにより、2枚の画像データから得られた差分画像によって、画像データ内の対象物表面の凹凸形状の復元を行うことができる。
【0102】
ディスプレイ32は、PC31から出力される画像データを表示する。ディスプレイ32には、高精細なテクスチャ画像を表示できるように、高精細TFTカラー液晶ディスプレイが使用されているが、これに限られたものではなく、テクスチャ画像を表示できるものであればよい。また、例えば、傾斜ステージ方式スキャナ1で得られたテクスチャ画像を用いる場合、画像出力部25に出力されているテクスチャ画像は、ディスプレイ32に表示されている。
【0103】
整合装置33は、ミラー33aとハーフミラー33bと備えており、ディスプレイ32に表示された画像と、触覚デバイス34の操作部34aとの位置を(ユーザの視点から見て)重ね合わせる。すなわち、整合装置33は、視覚情報と、仮想空間に構築された触覚情報とを結びつけている。
【0104】
ミラー33aは、ハーフミラー33bに反射される画像の上下左右方向と、ディスプレイ32に表示される画像の上下左右方向とを同一にする。ミラー33aは、ディスプレイ32からの光を反射させてハーフミラー33bに導く。
【0105】
ハーフミラー33bは、反射および透過の性質を併せ持つものであり、触覚デバイス34とユーザの視点との間に、ミラー33aを介して入射するディスプレイ32からの光がユーザの視点に向かって反射されるような方向に、斜めに傾けて備えられている。これにより、ハーフミラー33bに反射される、ミラー33aを介したディスプレイ32の画像が、触覚デバイス34、ユーザの手等によって遮られることなく、該画像の任意の位置と、触覚デバイス34の操作部34aの位置とを(ユーザの視点から見て)重ね合わせることが可能となる。
【0106】
触覚デバイス34は、ハーフミラー33bに関して、ユーザの視点とは反対の位置に備えられており、PC31によって制御されている。また、触覚デバイス34は、操作部34aを有している。
【0107】
操作部34aは、PC31によって生成された反力に対応する制御信号に基づいて、ディスプレイ32にテクスチャ画像として表示される、対象物表面の凹凸形状を再現するように反力を発生させる。これにより、ユーザは、操作部34aからの反力を指先で受けることにより、操作部34a表面(この場合にはペン先)で対象物表面の凹凸形状に触れているように感じることが可能となる。なお、操作部34aは、ペン形状をしているが、これに限られたものではなく、グローブ形状であってもよい。ハーフミラー33bにおけるユーザの視点とは反対側の空間は、外部から光が入らないようになっており、操作部34aにおける対象物に触れる部分(ペン先やグローブの先など)が光を発するようになっていることが好ましい。これにより、ディスプレイ32の画像に操作部34aの像が混じることを抑制することができる。また、ユーザが、対象物100の凹凸形状のどこを触っているかを認識し易くなる。
【0108】
従って、整合装置33によって、ハーフミラー33bに反射されたディスプレイ32の画像と、操作部34aのペン先の位置とを一致させることが可能になるとともに、操作部34aによって、該画像として表示される対象物の凹凸形状に触れているようにユーザが感じることが可能となる。これにより、ユーザに対して、ディスプレイ32に画像として表示される対象物に、あたかも触っているように感じさせることが可能である。
【0109】
また、例えば、傾斜ステージ方式スキャナ1を用いた場合、ラインセンサ11によって取得された、対象物100への光入射角度が異なる複数枚の画像データと、画像出力部25から出力された、対象物100のテクスチャ画像データとが、PC31に出力される。PC31は、テクスチャ画像データをディスプレイ32に出力するとともに、2枚の画像データから差分画像を生成することによって、画像データ内の対象物表面の凹凸形状の復元を行う。
【0110】
これにより、傾斜ステージ方式スキャナ1から得られたテクスチャ画像に対応した微細な凹凸形状に、擬似的に触れることが可能となる。これにより、精密なグラビアの凸版印刷等の検査を、検査者が、視認して検査するだけではなく、擬似的に触れることで検査することが可能となる。
【0111】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【産業上の利用可能性】
【0112】
本発明に係る画像質感計測装置および画像質感呈示装置は、特に、油彩画、古文書、紙類、石版、タイル等のほぼ平らで微細な凹凸を有する形状の対象物を、仮想環境で高精細に表現するために有効である。また、画像質感計測装置は、高精細なテクスチャ画像を得ることができるため、上記対象物の検査、または、半導体素子の3次元マスクの検査に用いるのに有効であり、画像質感呈示装置は、高精細なテクスチャ画像を用いることで、擬似的に触れることによる検査に用いるのに有効である。
【図面の簡単な説明】
【0113】
【図1】本実施形態1を示すものであり、傾斜ステージ方式スキャナの概略構成を示す断面図である。
【図2】図1に示される傾斜ステージ方式スキャナの概略構成を示す斜視図である。
【図3】図1に示される傾斜ステージ方式スキャナの傾斜ステージが傾動したときの、傾斜ステージ方式スキャナの概略構成を示す斜視図である。
【図4】図1に示される傾斜ステージ方式スキャナの動作と、対象物の画像データの処理とを示すブロック図である。
【図5】図1に示される傾斜ステージ方式スキャナが取得した画像データに基づく画像を示す写真である。
【図6】図1に示される傾斜ステージ方式スキャナが取得した画像データに、画像処理を行って得られたテクスチャ画像データに基づくテクスチャ画像を示す写真である。
【図7】本発明の実施形態2を示すものであり、触覚呈示装置の概略構成を示す説明図である。
【符号の説明】
【0114】
1 傾斜ステージ方式スキャナ(スキャナ装置、画像質感向上装置)
2 視触覚呈示装置(画像質感呈示装置)
11 ラインセンサ(受光手段)
12 光源
13 傾斜ステージ(ステージ)
14 精密回転台(回転台)
17 駆動装置(第2の駆動手段)
21 位置情報テーブル(位置情報格納手段、画像質感向上手段)
22 駆動制御部(駆動制御手段、画像質感向上手段)
23 駆動部(第1および第2の駆動手段)
24 画像処理部(画像処理手段、画像質感向上手段)
24a BTF計測部(第1の計測手段)
24b PTM計測部(第2の計測手段)
31 PC(触覚呈示制御手段、凹凸形状算出手段)
32 ディスプレイ(画像表示手段)
33 整合装置(投影手段)
33b ハーフミラー
34 触覚デバイス(触覚呈示手段)
100 対象物

【特許請求の範囲】
【請求項1】
対象物に光を照射する光源と、
上記対象物から反射される反射光を読み取ることにより画像データを取得する受光手段と、
上記対象物への光入射角度を一方向に変化させるように回動するステージとを備えたスキャナ装置であって、
上記ステージ上には、上記対象物が載置される回転台が備えられ、
上記回転台は、上記対象物が載置される面に対して垂直方向を軸として回転することを特徴とするスキャナ装置。
【請求項2】
上記受光手段は、ラインセンサであり、
上記回転台は、上記ステージに平行で、かつ上記ラインセンサの長手方向に直交する方向に移動することを特徴とする請求項1に記載のスキャナ装置。
【請求項3】
上記ステージを回動させる第1の駆動手段と、
上記回転台を回転させる第2の駆動手段とがさらに備えられていることを特徴とする請求項1または2に記載のスキャナ装置。
【請求項4】
請求項3に記載のスキャナ装置と、
上記スキャナ装置の動作を制御するとともに、該スキャナ装置が取得した、光入射方向の異なる複数枚の画像データから、上記対象物の質感を向上させた画像データを生成する画像質感向上手段とを備えることを特徴とする画像質感向上装置。
【請求項5】
上記画像質感向上手段は、
上記ステージおよび回転台の位置情報を格納する位置情報格納手段と、
上記位置情報格納手段から位置情報を取得し、該位置情報に基づいて、上記第1および第2の駆動手段を制御する駆動制御手段と、
上記第1および第2の駆動手段によって上記ステージおよび回転台が所望の位置まで移動すると、上記ラインセンサから画像データを取得し、取得した画像データから、上記対象物の質感を向上させた画像データを生成する画像処理手段とを備えることを特徴とする請求項4記載の画像質感向上装置。
【請求項6】
上記画像処理手段は、
上記対象物から得られる、上記対象物上の位置および光入射角度に応じた反射率の変化を、上記ラインセンサによって得られた画像から計測するとともに、計測結果を画像データとして出力する第1の計測手段と、
上記画像データの各画素毎に輝度と色度とを分離し、正規化された光の入射ベクトルと定数とからなる2次元多項式を用いて、各画素毎の輝度値を近似する第2の計測手段とを備えることを特徴とする請求項5に記載の画像質感向上装置。
【請求項7】
対象物の画像を表示する画像表示手段と、
ユーザに対し、上記対象物の触覚情報を上記画像に対応させて呈示する触覚呈示手段と、
上記画像表示手段に表示される対象物の凹凸形状を表す凹凸形状データに基づいて、該凹凸形状と一致するように上記触覚呈示手段を制御する触覚呈示制御手段とを備えた画像質感呈示装置であって、
上記触覚呈示手段とユーザの視点との間に、上記画像表示手段によって表示された画像を投影する投影手段を備えていることを特徴とする画像質感呈示装置。
【請求項8】
上記投影手段は、上記触覚呈示手段とユーザの視点との間に配置され、上記画像表示手段からの光をユーザの視点の方向に反射させるハーフミラーを含んでいることを特徴とする請求項7に記載の画像質感呈示装置。
【請求項9】
光入射方向の異なる複数枚の画像データから、これら画像データの差分画像を生成し、該差分画像に基づいて上記凹凸形状データを算出する凹凸形状算出手段をさらに備えることを特徴とする請求項7または8に記載の画像質感呈示装置。
【請求項10】
請求項4〜6の何れか1項に記載の画像質感向上装置と、
請求項7〜9の何れか1項に記載の画像質感呈示装置とを備え、
上記画像質感呈示装置の画像表示手段は、上記画像質感向上装置の画像質感向上手段によって得られた、対象物の質感を向上させた画像データに基づいて画像を表示することを特徴とする画像質感呈示システム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図7】
image rotate

【図5】
image rotate

【図6】
image rotate


【公開番号】特開2008−42581(P2008−42581A)
【公開日】平成20年2月21日(2008.2.21)
【国際特許分類】
【出願番号】特願2006−215064(P2006−215064)
【出願日】平成18年8月7日(2006.8.7)
【新規性喪失の例外の表示】特許法第30条第1項適用申請有り 平成18年2月13日 龍谷大学発行の「修士論文要旨集」に発表
【新規性喪失の例外の表示】特許法第30条第1項適用申請有り 2006年3月2日 社団法人 情報処理学会発行の「情報処理学会シンポジウムシリーズVol.2006,No.4 インタラクション2006論文集」に発表
【国等の委託研究の成果に係る記載事項】(出願人による申告)平成17年度独立行政法人情報通信研究機構「民間基盤技術研究促進制度/大容量グローバルネットワーク利用超高精細コンテンツ分散流通技術の研究開発」、産業活用再生特別措置法第30条の適用をうけるもの
【出願人】(597065329)学校法人 龍谷大学 (120)
【Fターム(参考)】