説明

微小操作のためのセンシング方式と操作方式およびそ の装置

【目的】 顕微鏡下での微妙なマイクロ操作に伴っておきる、顕微鏡の限られた観察視野による、立体形状把握の困難さと、顕微鏡下の機器操作における拡大画像に対する操作感覚と、実際に要求される微妙な操作間の人間感覚上のギャップを埋め、あたかも通常の物体を扱っているかのように、対象を観察し、操作するための手法を与える。
【構成】 多方位顕微光学系、その画像をステレオ処理し、3次元形状モデルを作成する3次元モデル形成部、3次元モデルをもとに右目、左目用に視差画像を生成する立体画像生成部、そこで作成された画像を人間の目前に表示し、立体画像を表示する画像表示装置、画像表示装置に取り付けられた頭の位置や顔の方向を計測する位置・姿勢センサー、人間の腕の動きを計測し反力を返すことのできるテレオペレーション用の操作部、人間の動作を解析し、その操作を縮小してマイクロオペレーション機器を操作するコントローラ部、そしてマイクロ力センサーを取り付けたマイクロオペレーション部から構成している。

【発明の詳細な説明】
【0001】
【発明の属する技術分野】産業分野の多様な局面で、微小な物体をハンドリングする必要が大幅に増大している。この例としては、マイクロマシンやカテーテルをはじめとする医療機器など各種装置の組立、植物生産での細胞分割、生物の卵細胞操作など、多数の例を挙げることが出来る。これまでこの様な分野では、多数の作業者が顕微鏡を覗きながら微小な切断や分離などの操作を行っていたが、顕微鏡で観察できる視野や視線方向が限られているため、特に3次元的な全体形状が把握しにくい、顕微鏡下の機器操作においては、顕微鏡で見ている拡大画像に比べて、非常に微妙な機器操作を要求され、日常操作の感覚と整合しない、などの問題があった。
【0002】
【発明が解決しようとする課題】本発明が解決しょうとする課題は、このような顕微鏡下での微妙なマイクロ操作に伴っておきる、顕微鏡の限られた観察視野による、立体形状把握の困難さと、顕微鏡下の機器操作における拡大画像に対する操作感覚と、実際に要求される微妙な操作間の人間感覚上のギャップを埋め、あたかも通常の物体を扱っているかのように、対象を観察し、操作するための手法を与えるものである。
【0003】
【課題を解決するための手段】上記のマイクロ操作上の問題点として、下記3点が挙げられる。
1)顕微鏡による撮像では、一方向から見た画像しか得られないため、全体的3次元形状が把握しにくい。
2)日常生活においては、人間の頭の操作にあわせて対象物を様々な角度から観察することができ、視差による立体画像認識と合わせて、連続画像からの3次元形状把握が可能であるが、顕微鏡画像では、頭の動きに合わせた連続画像を得ることはできないため、形状把握に違和感がある。
3)顕微鏡の拡大画像から感じる操作感覚と、実際に要求される手の微妙な操作の感覚が整合しないため、操作に違和感を感じる。
【0004】上記の問題点に対応するため、本発明では、以下のような手段を導入する。まず、1)の視線方向の限定に対しては、多方位マイクロ視覚光学系を開発し、多数の方向から微小対象物の画像を撮像、それを3次元画像認識処理することで、対象物の3次元形状を画像計測する。このとき、多方位から画像計測を行っていることで、限られた方向から見る場合の隠れ部分の画像も得ることができ、より完全に近い3次元形状を得ることができる。また、画像計測による3次元形状モデルの取得と併せて、物体表面の模様や色彩もモデルに付加しておく。これにより、物体のリアルに近い画像を再構成可能になる。この画像の再構成には、コンピュータグラフィックスの手法が用いられる。
【0005】2)の頭の動きに合わせた連続画像を得ることはできないため、形状把握に違和感を生じてしまう問題に対しては、磁気位置センサーなどにより頭の位置、方向を連続的に観測、それに合わせてコンピュータグラフィックスで生成する画像の視角を決定、画像表示することで、解決する。
【0006】また、3)の画像の拡大率と、機器操作の感覚が異なる点に関しては、テレオペレーション装置などを応用、人間の操作動作を、画像の拡大倍率に合わせて縮小、実際の機器操作を行うことで、あたかも日常生活で扱うサイズの物体であるかのように、対象物を操作することができる。
【0007】これら、各技術課題の解決に対し、1)については文献bit 誌1996年2月号pp.4-12 ”Virtualized Reality :仮想化された現実”に見られるソフトカメラに、多方向からの観察と、計算機の内部モデル構成による画像生成の例が述べられているが、扱われている対象は、マイクロオペレーションなどのための拡大画像生成ではない。さらに、人間の自然な立体把握のためには、視差画像の生成と同時に、頭の動きに合わせた連続画像生成を行う必要がある。
【0008】一方、計算機モデルの、頭の動きに合わせた連続画像表示によるモデル提示の例は文献精密工学会誌Vol.57,No.8,pp.1352-1355(1991)人工現実感によるキッチン体験システムに見られるバーチャルリアリティ応用による設計評価などがあるが、人間感覚との整合のためには、実際対象の操作のための画像計測による実モデルからの画像生成や、さらにその拡大縮小による提示が必要である。
【0009】テレオペレーションの研究は、文献ロボット工学ハンドブック、pp.723-729(オーム社、1990年)にあるように各所で見られるが、実際の操作のためには、その実画像のモデル化からの拡大提示画像との比率の一致による操作感覚との整合が必要である。さらにこれに拡大比率を考慮した力フィードバックを組み合わせることにより、人間にとって自然な操作感覚を与えることができる。
【0010】本発明は、上記のような技法をシステムに導入することにより、微妙な操作を要求される顕微鏡下でのマイクロ操作を、人間の日常感覚での自然な操作に近づけようとするものである。
【0011】
【発明の実施の形態】本発明の実施例の全体構成を第1図に示す。全体は、多方位顕微光学系、その画像をステレオ処理し、3次元形状モデルを作成する3次元モデル形成部、3次元モデルをもとに右目、左目用に視差画像を生成する立体画像生成部、そこで作成された画像を人間の目前に表示し、立体画像を表示する画像表示装置、画像表示装置に取り付けられた頭の位置や顔の方向を計測する位置・姿勢センサー、人間の腕の動きを計測し反力を返すことのできるテレオペレーション用の操作部、人間の動作を解析し、その操作を縮小してマイクロオペレーション機器を操作するコントローラ部、そしてマイクロ力センサーを取り付けたマイクロオペレーション部からなる。
【0012】第2図に多方位顕微光学系の構成の一例を示す。物体を載せるXYテーブル上に、半球状に多数設置された顕微光学系と、それに取り付けられたカラーカメラ群からなる。これらのカメラ群は、XYテーブル上の同一点を撮像しており、対象物体上の同一特徴点を見ているカメラが一般に複数台存在する。その様子を第3図に示す。第3図は、対象物体上のある1つの特徴点を撮像することのできるカメラ群の範囲を示しており、図中+の方向に取り付けた複数のカメラから、あらかじめ画像微分処理などで選択された特定の特徴点を撮像できることを示している。この様に複数のカメラから同一点が撮像できるときには、その中から適当な2台のカメラを選択、該当特徴点のステレオマッチングを行い、対応点についてステレオ画像処理を行うことで特徴点の空間座標を決定することができる。
【0013】この様にして、3次元モデル形成部においてステレオ画像処理することで、画面内の多数の特徴点に対して空間座標を決定することができる。この空間座標は、第4図に示すように模様の境界や物体の縁など特徴のある点のみで求まるので、求まった点をもとに同一平面を構成する3点の組み合わせを決定、物体外形形状を、多数の微小な空間3角形で覆い尽くす。この様子を第5図に示す。このとき、それまでの処理結果では物体外形を記述する空間3角形が求まらないとき、それを補う方向のカメラの組み合わせを選んでステレオ画像処理を行うことにより、対象物体の完全な形状記述を目指す。
【0014】この様に対象外形を空間3角形の組み合わせで表すことで、対象の計算機モデルを表現している。そして、この空間3角形毎に、それが見えるカラーTVカメラから、その内部の色彩や模様を記録することで、対象物体の実物に近い計算機モデルを構成することができる。立体画像生成部では、先に作成された模様付き3次元計算機モデルを元に、人間の左右の目に合わせた画像を別々に生成し、それを別々に左右の目に画像表示部で提示することで、人間に立体画像を知覚させる。この様な立体画像表示装置としては、ヘッドマウントディスプレーが知られている。
【0015】表示画像の生成に当たっては、モデルを人間の前方どの位置に、どの程度の拡大率で提示するか、そのとき、見ている人間の頭の位置と顔の方向が重要なパラメータである。ここでは、人間の前方、どの位置にするかは、第6図に示すようなシステム構成を考えた場合、ほぼ空間的に固定して考えることができる。物体の拡大率は任意で、オペレータが設定可能であるが、たとえば拡大後の画像サイズで100〜200mm程度と考えれば、100倍程度であろう。規定位置に100倍程度に拡大して仮想的に物体を置くことにし、つぎに観察者の頭の位置と顔の方向が分かれば、画像を生成できる。ここでは、磁気位置センサーなどをヘッドマウントディスプレーに取り付け、頭の位置、方向を計測する事にする。磁気位置センサーは文献バーチャルリアリティ応用戦略、pp.29-31(オーム社、1992年)などに述べられているように、頭の3次元的空間位置と、空間内の方向を調べることができる。この位置と方向を元に、3次元計算機モデルで記述された対象が拡大され、所定の位置に仮想的に物体が置かれているものとして、ヘッドマウントディスプレーの左右の画面にそれぞれに見えるはずの画像を生成することで、人間に立体画像を知覚させる。さらに、頭の動きに合わせて実時間で3次元計算機モデルからの画像生成を繰り返すことにより、頭の動きに合わせた連続画像生成を行うことができる。この動画像生成では、再度ステレオ画像処理により模様付き3次元モデルを再構成する必要はない。
【0016】ところで、この画像にあわせての操作では、テレオペレーションで開発された技術が適用できる。たとえば文献バーチャルテック・ラボp.10(工業調査会、1992年)では、第7図のような操作機器が紹介されている。この装置では、人間の腕の動きを、空間位置と姿勢について詳細に計測することができる。本発明では、この手の動きをマイクロオペレーション機器コントローラに送る。コントローラでは、この腕の動作を、画像表示での拡大率に合わせて縮小し、対象物体を操作するオペレーション機構の動作とする。この具体的動作に当たっては、物体操作に使うナイフやピンセットなどを想定し、その拡大モデルを持っているものとして立体画像表示部に表示し、それを操作しているものとしてハンドリングする。
【0017】
【発明の効果】このとき、マイクロオペレーション機器側では、微小なピンセットやナイフが実際に操作されるが、テレオペレーション部では、それを手に持っているものとしてモデル化され、表示画像中に示される。この微小なピンセットやナイフに微小な反力を検出する力センサーを付加しておき、反力分を画像の拡大率に合わせて増幅してテレオペレーション操作部にフィードバックすることで、感覚的にも自然な操作を行うことが出来る。また、この反力フィードバックは、物体操作の上でも操作の確認の上で、自然な動作を実現できる。
【図面の簡単な説明】
【図1】本発明の全体構成
【図2】多方向顕微光学系
【図3】特微点撮像可能方位分布
【図4】空間位置決定した特微点分布
【図5】対象物体表面形状の3角形記述
【図6】マイクロオペレーション装置の構成例
【図7】テレオペレーション操作部

【特許請求の範囲】
【請求項1】複数の顕微鏡光学系とカメラを多方向から対象を観察するように取り付けた撮像系、それら撮像系からの画像を処理し3次元形状モデルを作成する画像処理系、人間の眼前に映像を投影する映像表示系、画像処理系によって生成されたモデルとセンサーによって検出された頭の位置や姿勢をもとに、3次元画像を生成する作画系から構成される装置において、微小な対象を、生成されたモデルをもとに任意の倍率で人間の眼前に表示する事を特徴とする、微小操作のための画像操作方式およびその装置。
【請求項2】請求項1に述べた構成及び画像操作方式に加えて、人間の頭の位置や角度を検出するセンサーを付加し、微小な対象を、生成されたモデルをもとに任意の倍率で人間の眼前に表示する際に、対象の拡大画像が実体として眼前にあるものとして、人間の頭の動きに併せて任意の方向と倍率で画像を再構成し表示することで、人間の操作感覚にあった画像表示を実現する事を特徴とする、微小操作のための画像操作方式およびその装置。
【請求項3】請求項1、2に述べた構成および画像操作方式に加えて、人間の手の動作を縮小して伝える遠隔操縦装置を付加した構成を持つ微小操作装置ににおいて、動作縮小の倍率を画像の表示倍率に基づいて決定することで、表示された画像と遠隔操作の感覚を一致させたことを特徴とする、微小操作の為の操作方式およびその装置。
【請求項4】請求項3に述べた構成および方式に加えて、微小操作先端部に微小力センサーを付加した構成を持ち、そこで検出した力を増強し操作側に伝える事で、あたかも人間の眼前にあるかのように表示された操作対象を、人間の日常取り扱う感覚強度に似せて扱うことの出来る微小物体操作方式、およびその装置。

【図1】
image rotate


【図2】
image rotate


【図3】
image rotate


【図4】
image rotate


【図5】
image rotate


【図6】
image rotate


【図7】
image rotate


【公開番号】特開2000−52289(P2000−52289A)
【公開日】平成12年2月22日(2000.2.22)
【国際特許分類】
【出願番号】特願平10−232329
【出願日】平成10年8月3日(1998.8.3)
【出願人】(593080401)香川大学長 (2)
【出願人】(000148759)株式会社タダノ (419)
【出願人】(390000594)隆祥産業株式会社 (64)
【出願人】(591114641)株式会社ヒューテック (19)
【出願人】(000180313)四国計測工業株式会社 (13)