説明

サージカルガイド装置及びドリルの位置決め方法

【課題】ドリルの先端を目視でき、ドリルの穿孔方向に誤差が生じにくく、また、冷却水を十分に供給して、歯槽骨の冷却を充分に行うことが可能で、直径の異なる数種類のドリルに対応する。
【解決手段】サージカルガイド装置は、患者の残存歯部に装着されたマウスピースに取付けられた第1のAR認識用マーカを含む患者の口腔内の映像を撮影するカメラと、ディスプレイとを有する撮影表示装置と、撮影表示装置と接続され、カメラが撮影中の患者の口腔内の映像内の第1のAR認識用マーカの位置及び姿勢に基づいて、シミュレーションしたフィクスチャーの埋入位置及び埋入方向を示す3次元的位置情報を、カメラが撮影中の患者の口腔内の映像に重畳してディスプレイに表示するAR画像処理装置と、を備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、インプラントのフィクスチャーを患者の歯槽骨の所定の位置及び方向へ正確に埋入するために用いる、埋入孔の穿孔位置及び穿孔方向を患者の口腔内でガイドするサージカルガイド装置及びこれを用いたドリルの位置決め方法に関する。
【背景技術】
【0002】
インプラント治療に使用されるデンタルインプラント(以下、単に「インプラント」という。)は、歯を喪失した歯槽骨に埋入されるフィクスチャー(インプラント体、例えばチタン製)と、フィクスチャーに接続されて支台となるアバットメントと、アバットメントに装着される上部構造(人工歯冠)とによって構成されている。このインプラントを使用するインプラント治療においては、フィクスチャーを埋入するための埋入孔を患者の歯槽骨の所定の位置及び方向へドリルで正確に穿孔することが肝要となっている(例えば、特許文献1参照)。
【0003】
インプラント治療には、補綴主導型(トップダウントリートメント)と外科主導型の2種類がある。
補綴主導型のインプラント治療においては、患者の歯及び顎のモックアップ(実物大の石膏模型)を作製し、対合歯との咬合関係や歯列の状態から判断して、補綴的(機能的・審美的)に最適と思われる上部構造の形態及び位置を決める。
そして決定した上部構造の形態及び位置に基づいて、フィクスチャーの埋入位置及び埋入方向を決定する。
外科主導型のインプラント治療においては、患者の歯槽骨の解剖学的形状(歯槽骨の幅、厚みや密度及び神経の走行等)から判断して、外科的に最適と思われる所にフィクスチャーの埋入位置及び埋入方向を決定する。
【0004】
現在においては、フィクスチャーの埋入位置及び埋入方向について、CT(コンピュータ断層撮影装置)撮影により取得したCT画像データと、シミュレーションソフトウェアと、を使用することにより、補綴と外科の両面から検討を加えることで、補綴的にも外科的にも妥当なフィクスチャーの埋入位置及び埋入方向を決定することが可能である。
また、CT撮影時に造影剤入りのテンプレートを使用することにより、シミュレーションしたフィクスチャーの埋入位置及び埋入方向を、モックアップ上に植立したワイヤの植立位置及び植立方向で示すことも可能である。
【0005】
しかし、フィクスチャーを埋入する埋入孔を患者の歯槽骨にドリルで穿孔するには、患者の口腔内でのドリルの3次元的な位置決めが必要となるため、シミュレーションソフトウェアの画面やモックアップ上に植立されたワイヤを参酌しながら、フリーハンドで患者の歯槽骨の所定の位置及び方向へドリルで正確に埋入孔を穿孔することは極めて困難である。
このため様々な治具、すなわちサージカルガイドが考案されている。
【0006】
その代表的なものは、患者の歯槽骨の所定の位置及び方向へドリルをガイドする案内孔を有する金属製のガイドリングを使用したサージカルガイドである。このサージカルガイドを患者の口腔内に装着し、ガイドリングの案内孔にドリルを通して、案内孔に倣ってドリルを進入させることで、患者の歯槽骨の所定の位置及び方向へ正確に埋入孔を穿孔することが可能となる。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開2001−170080号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかしながら、上述の、ガイドリングを使用したサージカルガイドには、以下のような問題があった。
(1)サージカルガイドを患者の口腔内に装着すると、術野がサージカルガイドで覆われて見えないため、術者は、ドリルの先端が歯槽骨を削っている部分を目視することができず、不安な状態で施術することとなる、
(2)ドリルとガイドリングの案内孔との間には、適度な間隙(あそび)が必要であるが、埋入孔の深さに比べ、ガイドリングの厚さが薄いため、この間隙(あそび)によってドリルの穿孔方向に誤差を生じ、埋入孔が所定の位置及び方向から少なからずずれてしまうおそれがある、
(3)切削中の歯槽骨が、ガイドリング、及びガイドリングを保持する周縁部によって覆われ、さらにドリルによってガイドリングの案内孔が塞がれて、歯槽骨周辺には閉空間が形成されるため、切削中の歯槽骨に対して、十分な冷却水を供給することが困難となり、歯槽骨の冷却が充分にできないおそれがある、
(4)フィクスチャーを埋入するための埋入孔を穿孔するには、直径が小さなパイロットドリルから始まって、段階的に直径がより大きな数種類のドリルを使用することになるため、それぞれのドリルの直径に合わせたガイドリングを設けた数種類のサージカルガイドが必要となり、その分、コストがかさむ。
【0009】
そこで、本発明の目的は、ドリルの先端を目視することができ、ドリルの穿孔(進行)方向に誤差を生じにくく、また、冷却水を十分に供給して歯槽骨の冷却を充分に行うことが可能で、しかも、1つで直径の異なる数種類のドリルに対応することが可能なサージカルガイド装置及びこれを使用したドリルの位置決め方法を提供することにある。
【課題を解決するための手段】
【0010】
請求項1に係る発明(サージカルガイド装置)は、患者の口腔内に設けられた第1のAR認識用マーカを含む患者の口腔内の映像を撮影するカメラとディスプレイとを有する撮影表示装置と、前記撮影表示装置と接続され、前記カメラが撮影中の患者の口腔内の映像内の前記第1のAR認識用マーカの位置及び姿勢に基づいて、シミュレーションしたフィクスチャーの埋入位置及び埋入方向を示す3次元的位置情報を、前記カメラが撮像中の患者の口腔内の映像に重畳して前記ディスプレイに表示するAR画像処理装置と、を備える、ことを特徴とする。
ここで、ARとはAugmented Reality、すなわち拡張現実の略称で、映像という現実情報に3次元的位置情報などの仮想情報を付加して情報の質や量を拡張することを意味する。
【0011】
請求項2に係る発明は、請求項1に係るサージカルガイド装置において、患者の残存歯部及び患者の口腔内を模したモックアップの前記残存歯部に着脱自在なマウスピースと、前記マウスピースに取り付けられた前記第1のAR認識用マーカと、を有するマーカ部材を備える、ことを特徴とする。
【0012】
請求項3に係る発明は、請求項2に係るサージカルガイド装置において、前記マーカ部材の前記マウスピースにはX線造影剤を使用した、平面状もしくは立体的な校正用マーカが複数箇所設けられている、ことを特徴とする。
【0013】
請求項4に係る発明は、請求項1ないし3のいずれか1項に係るサージカルガイド装置において、前記シミュレーションしたフィクスチャーの埋入位置及び埋入方向を示す3次元的位置情報は、シミュレーションしたフィクスチャーの立体的イメージ画像で表示される、ことを特徴とする。
【0014】
請求項5に係る発明は、請求項4に係るサージカルガイド装置において、前記シミュレーションしたフィクスチャーの埋入位置及び埋入方向を示す3次元的位置情報は、前記フィクスチャーの立体的イメージ画像に前記フィクスチャーの中心軸のイメージ画像を追加した画像で表示され、前記中心軸のイメージ画像は前記フィクスチャーの立体的イメージ画像とは異なる色で表示される、ことを特徴とする。
【0015】
請求項6に係る発明は、請求項1ないし5のいずれか1項に係るサージカルガイド装置において、前記マウスピースには、前記第1のAR認識用マーカが複数個所に取り付けられており、複数個所に取り付けられた前記第1のAR認識用マーカのうち、いずれか1つは術中において、前記カメラの撮影画像フレーム内に含まれるように配置されている、ことを特徴とする。
【0016】
請求項7に係る発明は、請求項1ないし6のいずれか1項に係るサージカルガイド装置において、前記AR画像処理装置は、ARソフトウェアがインストールされたコンピュータハードウェアを備え、前記シミュレーションしたフィクスチャーの埋入位置及び埋入方向を示す3次元的位置情報を含む立体画像を3Dオブジェクトとして取り込んで、前記第1のAR認識用マーカの位置及び姿勢に基づいて前記表示を行う、ことを特徴とする。
ここで、ARソフトウェアとは、3Dオブジェクトとして取り込んだ立体画像を、前記カメラが撮影中の映像内の前記第1のAR認識用マーカの位置及び姿勢に基づいて座標変換して、前記第1のAR認識用マーカとの3次元的位置関係を保ちながら、前記カメラが撮影中の映像にリアルタイムで重畳して前記ディスプレイに表示するソフトウェアである。
【0017】
請求項8に係る発明は、請求項7に係るサージカルガイド装置において、前記フィクスチャーの埋入孔を穿孔するドリルが装着されたコントラヘッドに第2のAR認識用マーカが取り付けられており、前記ARソフトウェアに前記ドリルの形状と一致した立体的イメージ画像を3Dオブジェクトとして取り込んで、前記カメラが撮影中の前記ドリルの映像に、前記ドリルの形状と一致した立体的イメージ画像を重畳して表示する、ことを特徴とする。
【0018】
請求項9に係る発明は、請求項3ないし8のいずれか1項に係るサージカルガイド装置において、前記AR画像処理装置は、前記校正用マーカが複数箇所設けられた前記マーカ部材を患者の残存歯部に装着してCT撮影した患者のCT画像データをシミュレーションソフトウェアに読み込んで、前記シミュレーションソフトウェア上でフィクスチャー埋入シミュレーションを実行して得られた、シミュレーションしたフィクスチャーの立体的イメージ画像と、前記シミュレーションソフトウェアでボリュームレンダリングされた患者の歯槽骨の立体的CT画像との合成画像を3Dオブジェクトとして取り込む、ことを特徴とする。
【0019】
請求項10に係る発明は、請求項1ないし8のいずれか1項に係るサージカルガイド装置において、前記AR画像処理装置は、シミュレーションしたフィクスチャーの埋入位置及び埋入方向を示すワイヤが植立された患者の口腔内を模したモックアップを使用し、前記ARソフトウェアに追加してインストールされた3Dペイントソフトウェアにより、前記ワイヤと3次元的に完全に一致した立体的イメージ画像を3Dオブジェクトとして取り込む、ことを特徴とする。
ここで、3Dペイントソフトウェアとは、前記ARソフトウェアに機能を追加するもので、3次元空間にペイントマーカを用いて描画した3次元の描画軌跡を3Dオブジェクトとして取り込み、その3次元の描画軌跡を、前記カメラが撮影中の映像内の第1のAR認識用マーカとの3次元的位置関係を保ちながら、前記カメラが撮影中の映像にリアルタイムで重畳して前記ディスプレイに表示するソフトウェアである。
【0020】
請求項11に係る発明は、請求項1ないし10のいずれか1項に係るサージカルガイド装置において、前記ディスプレイが、前記カメラと一体に構成されたヘッドマウント型のディスプレイである、ことを特徴とする。
【0021】
請求項12に係る発明は、請求項11に係るサージカルガイド装置において、前記ヘッドマウント型のディスプレイに光学透過型のディスプレイを使用し、患者の口腔内の透過像に前記シミュレーションしたフィクスチャーの埋入位置及び埋入方向を示す3次元的位置情報を重畳表示する、ことを特徴とする。
【0022】
請求項13に係る発明は、請求項1ないし10のいずれか1項に係るサージカルガイド装置において、前記ディスプレイが、前記カメラから独立したディスプレイである、ことを特徴とする。
【0023】
請求項14に係る発明は、請求項1ないし13のいずれか1項に係るサージカルガイド装置において、前記第1のAR認識用マーカとして、予め登録した平面状もしくは立体的画像を使用する、ことを特徴とする。
【0024】
請求項15に係る発明は、請求項1ないし14のいずれか1項に係るサージカルガイド装置において、前記ARソフトウェアは、前記カメラが撮影している映像から3次元の空間構造を認識して記憶することが可能である、ことを特徴とする。
【0025】
請求項16に係る発明は、請求項2ないし11のいずれか1項に係るサージカルガイド装置を使用した、インプラントのフィクスチャーを患者の歯槽骨に埋入するための埋入孔をドリルで穿孔する際のドリルの位置決め方法において、前記シミュレーションしたフィクスチャーの埋入位置及び埋入方向を示す3次元的位置情報を含む立体画像を3Dオブジェクトとして前記AR画像処理装置に取り込む工程と、前記カメラで、患者の残存歯部に装着されたマウスピースに取付けられた第1のAR認識用マーカを含む患者の口腔内の映像を撮影し、前記カメラが撮影中の患者の口腔内の映像内の前記第1のAR認識用マーカの位置及び姿勢に基づいて、前記シミュレーションしたフィクスチャーの埋入位置及び埋入方向を示す3次元的位置情報を、前記カメラが撮像中の患者の口腔内の映像に重畳して前記ディスプレイに表示する工程と、を備える、ことを特徴とする。
【0026】
請求項17に係る発明は、請求項9に係るサージカルガイド装置を使用した、インプラントのフィクスチャーを患者の歯槽骨に埋入するための埋入孔をドリルで穿孔する際のドリルの位置決め方法において、前記合成画像のデータを前記AR画像処理装置にインストールされたARソフトウェアが取り込み可能な形式にデータ変換して、前記合成画像を3Dオブジェクトとして前記ARソフトウェアに取り込む、合成画像取り込み工程と、前記モックアップの残存歯部に前記マーカ部材を装着し、前記ARソフトウェアにより、前記カメラが撮影中のモックアップの映像に前記合成画像を重畳して表示して、前記映像内の前記校正用マーカと前記合成画像内の校正用マーカのX線画像とが3次元的に完全に一致するように、前記マーカ部材のマウスピースに取り付けられた前記第1のAR認識用マーカの位置及び姿勢を調整して固定する、画像位置校正工程と、患者の残存歯部に前記マーカ部材を装着し、前記ARソフトウェアにより、前記カメラが撮影中の患者の口腔内の映像に前記合成画像を重畳して表示して、前記合成画像内のシミュレーションしたフィクスチャーの立体的イメージ画像をガイドとして前記ドリルの位置決めを行う、ドリル位置決め工程と、を備える、ことを特徴とする。
【0027】
請求項18に係る発明は、請求項10に係るサージカルガイド装置を使用した、インプラントのフィクスチャーを患者の歯槽骨に埋入するための埋入孔をドリルで穿孔する際のドリルの位置決め方法において、前記ワイヤが植立されたモックアップの残存歯部に前記マーカ部材を装着し、前記3Dペイントソフトウェアのペイントマーカを用いて前記ワイヤの基端から先端までなぞることにより、前記ワイヤと3次元的に完全に一致した立体的イメージ画像を3Dオブジェクトとして前記3Dペイントソフトウェアに取り込む、ワイヤ画像取り込み工程と、患者の残存歯部に前記マーカ部材を装着し、前記3Dペイントソフトウェアにより、前記カメラが撮影中の患者の口腔内の映像に前記ワイヤに一致した立体的イメージ画像を重畳して表示して、前記ワイヤに一致した立体的イメージ画像をガイドとしてドリルの位置決めを行う、ドリル位置決め工程と、を備える、ことを特徴とする。
【発明の効果】
【0028】
請求項1の発明によれば、ディスプレイに、シミュレーションしたフィクスチャーの埋入位置及び埋入方向を示す3次元的位置情報が、カメラが撮影中の患者の口腔内の映像に重畳して表示されるので、ドリルの先端を目視することができ、ドリルの穿孔(進行)方向に誤差を生じにくく、また、冷却水を十分に供給して歯槽骨の冷却を充分に行うことが可能で、しかも、1つで複数のフィクスチャーに対応し、かつ直径の異なる数種類のドリルにも対応することが可能なサージカルガイド装置を提供することができる。
【0029】
請求項2の発明によれば、患者の残存歯部を第1のAR認識用マーカの固定源とすることができる。
【0030】
請求項3の発明によれば、請求項9の示すサージカルガイド装置および請求項17に示すドリルの位置決め方法が可能となる。
【0031】
請求項4の発明によれば、コンピュータ上でシミュレーションした時と同じフィクスチャーの立体的イメージ画像をガイドにすることができる。
【0032】
請求項5の発明によれば、シミュレーションしたフィクスチャーの立体的イメージ画像の中心軸にドリルの軸を一致させることが容易になる。
【0033】
請求項6の発明によれば、予めマウスピースの複数個所に第1のAR認識用マーカを取り付けておくことで、いずれかの第1のAR認識用マーカをカメラの撮影画像フレーム内に残すことが可能となり、3Dオブジェクトが表示されなくなってしまうことを防ぐことができる。
【0034】
請求項7の発明によれば、請求項16に示すドリルの位置決め方法が可能となる。
【0035】
請求項8の発明によれば、シミュレーションしたフィクスチャーの立体的イメージ画像の中心軸にドリルの軸を一致させることがさらに容易になる。
【0036】
請求項9の発明によれば、シミュレーションしたフィクスチャーの立体的イメージ画像と、シミュレーションソフトウェアでボリュームレンダリングされた患者の歯槽骨の立体的CT画像との合成画像を使用して、請求項17に示すドリルの位置決め方法が可能となる。
【0037】
さらに、シミュレーションされたフィクスチャーの埋入位置についての補綴的検証をモックアップ上で行うことも可能となる。
また、下顎管や上顎洞といった外科的に重要な指標を患者の口腔内の映像に重畳して表示することも可能となる。
【0038】
請求項10の発明によれば、シミュレーションしたフィクスチャーの埋入位置及び埋入方向を示すワイヤが植立された患者の口腔内を模したモックアップを使用して、請求項18に示すドリルの位置決め方法が可能となる。
【0039】
請求項11の発明によれば、術者は術野から視点を移動させることなく手術を行うことができる。
【0040】
請求項12の発明によれば、術者はカメラを通した映像ではなく、ディスプレイの透過像で術野を見ることが可能になる。
【0041】
請求項13の発明によれば、術者以外の手術スタッフにも手術の様子が確認できるようになる。
【0042】
請求項14の発明によれば、マウスピースもしくは残存歯そのものを第1のAR認識用マーカとして使用することができるようになる。
【0043】
請求項15の発明によれば、第1のAR認識用マーカがカメラの撮影画像フレームから外れても、3Dオブジェクトを表示し続けることができるようになる。
【0044】
請求項16の発明によれば、カメラが撮像中の患者の口腔内の映像に重畳してディスプレイに表示されたシミュレーションしたフィクスチャーの埋入位置及び埋入方向を示す三次元的位置情報をガイドとしてドリルの位置決めを行うことができる。
【0045】
請求項17の発明によれば、シミュレーションしたフィクスチャーの立体的イメージ画像をガイドとしてドリルの位置決めを行うことができる。
【0046】
請求項18の発明によれば、シミュレーションしたフィクスチャーの埋入位置及び埋入方向を示すワイヤに一致した立体的イメージ画像をガイドとしてドリルの位置決めを行うことができる。
【図面の簡単な説明】
【0047】
【図1】インプラントの説明図である。
【図2】モックアップ(石膏模型)の残存歯部にマーカ部材を装着した状態を示す説明図である。
【図3】第1実施形態のサージカルガイド装置の概要構成ブロック図である。
【図4】(a),(b)は、第1実施形態における穿孔時の説明図である。
【図5】第2実施形態のサージカルガイド装置の概要構成ブロック図である。
【図6】(a),(b)は、第2実施形態における穿孔時の説明図である。
【図7】歯槽骨の立体的CT画像である。
【発明を実施するための形態】
【0048】
以下、本発明の好適な実施形態を図面に基づき詳述する。
【0049】
[概要]
まずは、具体的な説明に先立ち、インプラントについて説明する。
図1は、インプラントの説明図である。
歯(不図示)が抜けた後には、柔らかい海綿骨60と硬い皮質骨61とからなる歯槽骨62と、これを覆う粘膜63とが残る。インプラント70は、歯槽骨62に埋入孔Hをあけて埋入したフィクスチャー71と、フィクスチャー71に接続されて支台となるアバットメント72と、アバットメント72に装着される上部構造73とによって構成されている。
【0050】
図2は、モックアップ30(石膏模型)の残存歯部にマーカ部材11Aを装着した状態を示す説明図である。
モックアップ30は、図2に示すように、患者の口腔内から型取り(印象)して作製した上顎の実寸大の石膏模型である。
図2に示す例では、右上の奥歯(大臼歯)が抜けた状態を示している。奥歯が抜けた部分には、CT撮影により取得した患者のCT画像データをシミュレーションソフトウェアに読み込んで、補綴と外科の両面から検討を加えながらフィクスチャー埋入シミュレーションを実行し、決定したフィクスチャー71の埋入位置及び埋入方向を示すワイヤWが植立されている。このワイヤWの植立位置及び植立方向は、例えば、以下のようにして決定される。
【0051】
CT撮影により取得した患者のCT画像データをシミュレーションソフトウェアに読み込んでシミュレーションしたフィクスチャー71(図1参照)の埋入位置及び埋入方向と、造影剤入りのCT撮影用テンプレートとの相互の3次元的位置関係をシミュレーションソフトウェアの画面上で計測し、この3次元的位置関係に基づいて造影剤入りのCT撮影用テンプレートにフィクスチャー71の埋入位置及び埋入方向を示すマークを付ける。これをモックアップ30に装着し、このマークをガイドとしてモックアップ30上に直径1mm程度、深さ10mm程度の孔(ワイヤ植立用孔)を開け、当該孔にワイヤWを植立する。
これにより、シミュレーションしたフィクスチャー71の埋入位置及び埋入方向を、換言すれば、埋入孔Hの穿孔位置及び穿孔方向を、モックアップ30上のワイヤWの植立位置及び植立方向として示すことができる。
[1]第1実施形態
まず、シミュレーションしたフィクスチャーの立体的イメージ画像とシミュレーションソフトウェアでボリュームレンダリングされた患者の歯槽骨の立体的CT画像との合成画像を用いる第1実施形態について説明する。
【0052】
[1.1]構造
図3は、第1実施形態のサージカルガイド装置10の概要構成説明図である。
第1実施形態に係るサージカルガイド装置10は、図3に示すように、大別すると、マーカ部材11と、撮影表示装置14と、AR画像処理装置15と、を備えている。
マーカ部材11は、患者の残存歯部及び患者の口腔内を模したモックアップ30の残存歯部に着脱自在なレジン若しくはポリカーボネイト製のマウスピースMと、このマウスピースMに複数箇所設けられたX線造影剤を用いた校正用マーカKと、このマウスピースMに取り付けられた第1のAR認識用マーカMK1と、を備えている。
撮影表示装置14は、カメラ12と、このカメラ12と一体に構成されたヘッドマウント型のディスプレイ13と、を備えている。
AR画像処理装置15は、撮影表示装置14と接続され、ARソフトウェアがインストールされたコンピュータハードウェアとして構成されている。
【0053】
ここで、ARソフトウェアとは、3Dオブジェクトとして取り込んだ立体画像を、カメラ12が撮影中の映像内の第1のAR認識用マーカMK1の位置及び姿勢に基づいて座標変換して、この第1のAR認識用マーカMK1との3次元的位置関係を保ちながら、カメラ12が撮影中の映像にリアルタイムで重畳してディスプレイ13に表示するソフトウェアである。
【0054】
[1.2]操作手順
次に、第1実施形態に係るサージカルガイド装置10の操作手順について説明する。
(1)マーカ部材11を患者の残存歯部に装着してCT撮影を行い、CT画像データを取得する。
(2)得られたCT画像データをシミュレーションソフトウェアに読み込んでフィクスチャー埋入シミュレーションを実行し、シミュレーションしたフィクスチャーの立体的イメージ画像Fと、シミュレーションソフトウェアでボリュームレンダリングされた患者の歯槽骨の立体的CT画像Bとの合成画像Gのデータを得る(図7参照)。
(3)合成画像Gのデータを、AR画像処理装置15にインストールされたARソフトウェアが取り込み可能な形式G’ (不図示)にデータ変換する。
(4)合成画像G’ を3DオブジェクトとしてAR画像処理装置15にインストールされたARソフトウェアに取り込む(合成画像G’ を第1のAR認識用マーカMK1の座標系に取り込む。)。
(5)モックアップ30の残存歯部にマーカ部材11を装着してカメラ12でマーカ部材11が装着されたモックアップ30を撮影し、ARソフトウェアにより、カメラ12が撮影中のモックアップ30の映像に患者の歯槽骨の立体的CT画像Bを重畳してディスプレイ13に表示する。
(6)モックアップ30の映像内の校正用マーカKと患者の歯槽骨の立体的CT画像B内の校正用マーカKのX線画像KB(不図示)とが3次元的に完全に一致する(3次元的なずれが所定誤差範囲内となる)ように、マウスピースMに取り付けられた第1のAR認識用マーカMK1の位置及び姿勢を調整してマウスピースMに固定する。
以上により前準備は完了である。つづいて実際に患者の歯槽骨に穿孔を行う手順を示す。
図4は、穿孔時の説明図である。
(7)図4(a)に示すように、患者の残存歯部にマーカ部材11を装着してカメラ12でマーカ部材11が装着された患者の口腔内を撮影し、図4(b)に示すように、ARソフトウェアにより、カメラ12が撮影中の患者の口腔内の映像にシミュレーションしたフィクスチャーの立体的イメージ画像Fを重畳した表示画像13Vをディスプレイ13に表示する。
【0055】
ここで、ARソフトウェアの処理内容を具体的に示すと、以下のようになる。
(ステップ1)第1のAR認識用マーカMK1のパターンの取り込み。
(ステップ2)第1のAR認識用マーカMK1の座標系への3Dオブジェクト(本実施形態では合成画像G’)の取り込み。
(ステップ3)カメラ12による映像の取得とディスプレイ13への表示。
(ステップ4)カメラ12による映像内の第1のAR認識用マーカMK1のパターンの認識(抽出)と比較。
(ステップ5)カメラ12による映像内の第1のAR認識用マーカMK1の3次元的位置及び姿勢の計算。
(ステップ6)カメラ12による映像内の第1のAR認識用マーカMK1の座標系へ座標変換するための変換行列式の計算。
(ステップ7)カメラ12による映像内の第1のAR認識用マーカMK1の座標系への3Dオブジェクトの描画とディスプレイ13に表示中の映像への重畳表示。
(8)術者は、患者の口腔内の映像に重畳して表示された、シミュレーションしたフィクスチャーの立体的イメージ画像Fをガイドとしてドリル21の位置決めを行う。
(9)術者は、上述のドリル21の位置決めに従ってドリリングを開始し埋入孔Hを穿孔する。
上記の手順により、術者は、患者の歯槽骨の所定の(シミュレーションしたフィクスチャーの)位置及び方向へドリル21で正確に埋入孔Hを穿孔することができる。
【0056】
以上の説明においては、説明の簡略化のため、マーカ部材11に1つのAR認識用第1のAR認識用マーカMK1を取り付けた場合を説明したが、第1のAR認識用マーカMK1がカメラ12の撮影画像フレームから外れると、3Dオブジェクト(本実施形態では合成画像G’)が表示されなくなってしまうこととなる。そこで、予めマウスピースMの複数個所に第1のAR認識用マーカMK1を取り付けておくことで、いずれかの第1のAR認識用マーカMK1をカメラ12の撮影画像フレーム内に残すことが可能となり、これを防ぐことができる。
【0057】
また、以上の説明では、フィクスチャーの立体的イメージ画像Fについてのみ説明したが、シミュレーションしたフィクスチャーの立体的イメージ画像Fに、その中心軸のイメージ画像Zを異なる色で追加するようにしてもよい。
これにより、シミュレーションしたフィクスチャーの立体的イメージ画像Fの中心軸にドリル21の軸を一致させることが容易になる。
【0058】
また、ドリル21を装着したコントラヘッド20に第2のAR認識用マーカMK2を取り付け、ARソフトウェアにドリル21の形状に一致した立体的イメージ画像Dを3Dオブジェクトとして取り込んで、カメラ12が撮影しているドリル21の映像にドリル21の形状に一致した立体的イメージ画像Dを重畳して表示するようにしてもよい。
これにより、シミュレーションしたフィクスチャーの立体的イメージ画像Fの中心軸にドリル21の軸を一致させることがさらに容易になる。
【0059】
また、以上の説明では、校正用マーカKは、平面的な形状であるものとしていたが、凹凸のある立体で構成することも可能である。
これにより画像位置校正が正確かつ容易になる。
【0060】
また、ヘッドマウント型のディスプレイ13として光学透過型のディスプレイを使用し、患者の口腔内の透過像にシミュレーションしたフィクスチャーの立体的イメージ画像Fを重畳表示するようにしてもよい。尚、この場合には、カメラ12が撮影している患者の口腔内の映像と術者が見ている透過像とを完全に一致させるキャリブレーション機構が必要となる。具体的には、カメラ12の撮影画像に相当する視野が、人間が注視していないときに肉眼で視認できる視野に一番近い画角(例えば、35mm判一眼レフカメラにおける単焦点50mmレンズの画角)となるように設定し、当該撮影画像中のオブジェクト(例えば、マウスピースMもしくは残存歯)を認識して、それらの位置及び向きから視認方向を検出して、リアルタイムにカメラ12が撮影している患者の口腔内の映像と術者が見ている透過像とを完全に一致させるようにすればよい。
これにより、術者はカメラ12を通した映像ではなく、ディスプレイの透過像で術野を見ることが可能になる。
【0061】
以上では、カメラ12と一体のヘッドマウント型のディスプレイ13を使用する例を説明したが、これに代えて、カメラ12とは独立したディスプレイに表示するようにしてもよい。
これにより、術者以外の手術スタッフにも手術の様子が確認できるようになる。
【0062】
従来型の第1のAR認識用マーカMK1の代わりに、予め登録した平面状もしくは立体的画像を第1のAR認識用マーカとして使用するようにしてもよい。
これにより、マウスピースMもしくは残存歯そのものを第1のAR認識用マーカとして使用することができるようになる。
【0063】
ARソフトウェアとして、カメラ12が撮影している映像から3次元の空間構造を認識して記憶することが可能なものを使用するようにしてもよい。
これにより、第1のAR認識用マーカMK1がカメラ12の撮影画像フレームから外れても、3Dオブジェクト(本実施形態では合成画像G’)を表示し続けることができるようになる。
【0064】
[2]第2実施形態
次にシミュレーションしたフィクスチャーの埋入位置及び埋入方向を示すワイヤが稙立されたモックアップを用いる第2実施形態について説明する。
【0065】
[2.1]構造
図5は、第2実施形態のサージカルガイド装置10Aの概要構成説明図である。
第2実施形態に係るサージカルガイド装置10Aは、図5に示すように、大別すると、マーカ部材11Aと、撮影表示装置14と、AR画像処理装置15Aと、を備えている。
マーカ部材11Aは、患者の残存歯部及び患者の口腔内を模したモックアップ30の残存歯部に着脱自在なレジン若しくはポリカーボネイト製のマウスピースMと、このマウスピースMに取り付けられた第1のAR認識用マーカMK1と、を備えている。
撮影表示装置14は、カメラ12と、このカメラ12と一体に構成されたヘッドマウント型のディスプレイ13と、を備えている。
AR画像処理装置15Aは、撮影表示装置14と接続され、3DペイントソフトウェアがARソフトウェアに追加してインストールされたコンピュータハードウェアとして構成されている。
【0066】
ここで、3Dペイントソフトウェアとは、ARソフトウェアに機能を追加するもので、3次元空間にペイントマーカP(不図示)を用いて描画した3次元の描画軌跡Sを3Dオブジェクトとして取り込み、その3次元の描画軌跡Sを、カメラ12が撮影中の映像内の第1のAR認識用マーカMK1との3次元的位置関係を保ちながら、カメラ12が撮影中の映像にリアルタイムで重畳してディスプレイ13に表示するソフトウェアである。
【0067】
[2.2]操作手順
次に第2実施形態に係るサージカルガイド装置10Aの操作手順について説明する。
(1)シミュレーションしたフィクスチャーの埋入位置及び埋入方向を示すワイヤWが稙立されたモックアップ30の残存歯部にマーカ部材11Aを装着する。
(2)AR画像処理装置15Aにインストールされた3DペイントソフトウェアのペイントマーカPを用いてワイヤWの基端から先端までなぞることにより、ワイヤWと3次元的に完全に一致した立体的イメージ画像Lを3Dオブジェクトとして3Dペイントソフトウェアに取り込む(ワイヤWに一致した立体的イメージ画像Lを第1のAR認識用マーカMK1の座標系に取り込む。)。
【0068】
図6は、穿孔時の説明図である。
(3)図6(a)に示すように、患者の残存歯部にマーカ部材11Aを装着してカメラ12でマーカ部材11Aが装着された患者の口腔内を撮影し、図6(b)に示すように、3Dペイントソフトウェアにより、カメラ12が撮影中の患者の口腔内の映像にワイヤWに一致した立体的イメージ画像Lを重畳した表示画像13Vをディスプレイ13に表示する。
ここで、3Dペイントソフトウェアの処理内容を具体的に示すと、以下のようになる。(ステップ1)第1のAR認識用マーカMK1及びペイントマーカPのパターンの取り込み。
(ステップ2)カメラ12による映像の取得とディスプレイ13への表示。
(ステップ3)カメラ12による映像内の第1のAR認識用マーカMK1及びペイントマーカPのパターンの認識(抽出)と比較。
(ステップ4)カメラ12による映像内の第1のAR認識用マーカMK1の3次元的位置及び姿勢の計算
【0069】
(ステップ5)カメラ12による映像内のペイントマーカPの軌跡Sの3次元的位置及び姿勢の計算。
(ステップ6)第1のAR認識用マーカMK1に対する軌跡Sの3次元的位置及び姿勢の計算と記憶(軌跡Sを3Dオブジェクトとして第1のAR認識用マーカMK1の座標系に取り込む)。
(ステップ7)カメラ12による映像内の第1のAR認識用マーカMK1の座標系へ座標変換するため変換行列式の計算。
(ステップ8)カメラ12による映像内の第1のAR認識用マーカMK1の座標系への軌跡Sの描画とディスプレイ13に表示中の映像への重畳表示。
【0070】
(4)術者は、患者の口腔内の映像に重畳して表示された、ワイヤWに一致した立体的イメージ画像Lをガイドとしてドリル21の位置決めを行う。
(5)術者は、上述のドリル21の位置決めに従ってドリリングを開始し埋入孔Hを穿孔する。
上記の手順により、本第2実施形態においても、術者は、患者の歯槽骨の所定の(シミュレーションしたフィクスチャーの)位置及び方向へドリル21で正確に埋入孔Hを穿孔することができる。
【0071】
[3]実施形態の効果
第1実施形態1及び第2実施形態2によれば、以下のような効果が得られる。
[3.1]患者の口腔内にはマーカ部材11(または11A)が残存歯部に装着されるだけなので、術野を覆うものが何もないので手術の邪魔にならない。また、患者の開口量もサージカルガイド装置を使用しない場合と変わらない。
[3.2]ドリル21の先端を目視することが可能なのでドリル21の穿孔位置及び穿孔方向に誤差が生じないようにドリリングの方向を正確にコントロールすることができる。また、冷却水の注水も容易である。
【0072】
[3.3]サージカルガイド装置10(または10A)とドリル21が接触しないので、遊離端症例でもサージカルガイド装置10(または10A)が不安定になることもなく、フラップ法とフラップレス法の両方に対応できる。
[3.4]1つのサージカル装置10(または10A)で複数のフィクスチャーに対応可能で、しかも直径の異なる数種類のドリルにも対応できる。またピエゾなどドリル以外の器具にも対応できる。
[3.5]シミュレーションしたフィクスチャーの埋入位置及び埋入方向についての補綴的検証をモックアップ30上で行うことが可能である。
[3.6]下顎管や上顎洞といった外科的に重要な指標を術中の口腔内の映像に重畳して表示することが可能である。
[3.7]以上の説明では、シミュレーションソフトウェアと、ARソフトウェアとは、別体のものとしていたが、シミュレーションソフトウェアとARソフトウェアと、を統合することにより、透明なモックアップ上でシミュレーションを行うことも可能となる。
【符号の説明】
【0073】
10,10A サージカルガイド装置
11,11A マーカ部材
12 カメラ
13 ディスプレイ
13V 表示画面
14 撮影表示装置
15,15A AR画像処理装置
20 コントラヘッド
21 ドリル
30 モックアップ
D ドリル21に一致した立体的イメージ画像
F シミュレーションしたフィクスチャーの立体的イメージ画像
H 埋入孔
K 校正用マーカ
KB 校正用マーカKのX線画像
L ワイヤに一致した立体的イメージ画像
M マウスピース
MK1 第1のAR認識用マーカ
MK2 第2のAR認識用マーカ
Z Fの中心軸のイメージ画像


【特許請求の範囲】
【請求項1】
患者の口腔内に設けられた第1のAR認識用マーカを含む患者の口腔内の映像を撮影するカメラとディスプレイとを有する撮影表示装置と、
前記撮影表示装置と接続され、前記カメラが撮影中の患者の口腔内の映像内の前記第1のAR認識用マーカの位置及び姿勢に基づいて、シミュレーションしたフィクスチャーの埋入位置及び埋入方向を示す3次元的位置情報を、前記カメラが撮像中の患者の口腔内の映像に重畳して前記ディスプレイに表示するAR画像処理装置と、を備える、
ことを特徴とするサージカルガイド装置。
【請求項2】
患者の残存歯部及び患者の口腔内を模したモックアップの前記残存歯部に着脱自在なマウスピースと、前記マウスピースに取り付けられた前記第1のAR認識用マーカと、を有するマーカ部材を備える、
ことを特徴とする請求項1に記載のサージカルガイド装置。
【請求項3】
前記マーカ部材の前記マウスピースにはX線造影剤を使用した、平面状もしくは立体的な校正用マーカが複数箇所設けられている、
ことを特徴とする請求項2に記載のサージカルガイド装置。
【請求項4】
前記シミュレーションしたフィクスチャーの埋入位置及び埋入方向を示す3次元的位置情報は、シミュレーションしたフィクスチャーの立体的イメージ画像で表示される、
ことを特徴とする請求項1ないし3のいずれか1項に記載のサージカルガイド装置。
【請求項5】
前記シミュレーションしたフィクスチャーの埋入位置及び埋入方向を示す3次元的位置情報は、前記フィクスチャーの立体的イメージ画像に前記フィクスチャーの中心軸のイメージ画像を追加した画像で表示され、前記中心軸のイメージ画像は前記フィクスチャーの立体的イメージ画像とは異なる色で表示される、
ことを特徴とする請求項4に記載のサージカルガイド装置。
【請求項6】
前記マウスピースには、前記第1のAR認識用マーカが複数個所に取り付けられており、複数個所に取り付けられた前記第1のAR認識用マーカのうち、いずれか1つは術中において、前記カメラの撮影画像フレーム内に含まれるように配置されている、
ことを特徴とする請求項1ないし5のいずれか1項に記載のサージカルガイド装置。
【請求項7】
前記AR画像処理装置は、ARソフトウェアがインストールされたコンピュータハードウェアを備え、前記シミュレーションしたフィクスチャーの埋入位置及び埋入方向を示す3次元的位置情報を含む立体画像を3Dオブジェクトとして取り込んで、前記第1のAR認識用マーカの位置及び姿勢に基づいて前記表示を行う、
ことを特徴とする請求項1ないし6のいずれか1項に記載のサージカルガイド装置。
【請求項8】
前記フィクスチャーの埋入孔を穿孔するドリルが装着されたコントラヘッドに第2のAR認識用マーカが取り付けられており、
前記ARソフトウェアに前記ドリルの形状と一致した立体的イメージ画像を3Dオブジェクトとして取り込んで、前記カメラが撮影中の前記ドリルの映像に、前記ドリルの形状と一致した立体的イメージ画像を重畳して表示する、
ことを特徴とする請求項7に記載のサージカルガイド装置。
【請求項9】
前記AR画像処理装置は、前記校正用マーカが複数箇所設けられた前記マーカ部材を患者の残存歯部に装着してCT撮影した患者のCT画像データをシミュレーションソフトウェアに読み込んで、前記シミュレーションソフトウェア上でフィクスチャー埋入シミュレーションを実行して得られた、シミュレーションしたフィクスチャーの立体的イメージ画像と、前記シミュレーションソフトウェアでボリュームレンダリングされた患者の歯槽骨の立体的CT画像との合成画像を3Dオブジェクトとして取り込む、
ことを特徴とする請求項3ないし8のいずれか1項に記載のサージカルガイド装置。
【請求項10】
前記AR画像処理装置は、シミュレーションしたフィクスチャーの埋入位置及び埋入方向を示すワイヤが植立された患者の口腔内を模したモックアップを使用し、前記ARソフトウェアに追加してインストールされた3Dペイントソフトウェアにより、前記ワイヤと3次元的に完全に一致した立体的イメージ画像を3Dオブジェクトとして取り込む、
ことを特徴とする請求項1ないし8のいずれか1項に記載のサージカルガイド装置。
【請求項11】
前記ディスプレイが、前記カメラと一体に構成されたヘッドマウント型のディスプレイである、
ことを特徴とする請求項1ないし10のいずれか1項に記載のサージカルガイド装置。
【請求項12】
請求項11と請求項12を入れ替えました
前記ヘッドマウント型のディスプレイに光学透過型のディスプレイを使用し、患者の口腔内の透過像に前記シミュレーションしたフィクスチャーの埋入位置及び埋入方向を示す3次元的位置情報を重畳表示する、
ことを特徴とする請求項11に記載のサージカルガイド装置。
【請求項13】
前記ディスプレイが、前記カメラから独立したディスプレイである、
ことを特徴とする請求項1ないし10のいずれか1項に記載のサージカルガイド装置。
【請求項14】
前記第1のAR認識用マーカとして、予め登録した平面状もしくは立体的画像を使用する、
ことを特徴とする請求項1ないし13のいずれか1項に記載のサージカルガイド装置。
【請求項15】
前記ARソフトウェアは、前記カメラが撮影している映像から3次元の空間構造を認識して記憶することが可能である、
ことを特徴とする請求項1ないし14のいずれか1項に記載のサージカルガイド装置。
【請求項16】
請求項2ないし11のいずれか1項に記載のサージカルガイド装置を使用した、インプラントのフィクスチャーを患者の歯槽骨に埋入するための埋入孔をドリルで穿孔する際のドリルの位置決め方法において、
前記シミュレーションしたフィクスチャーの埋入位置及び埋入方向を示す3次元的位置情報を含む立体画像を3Dオブジェクトとして前記AR画像処理装置に取り込む工程と、
前記カメラで、患者の残存歯部に装着されたマウスピースに取付けられた第1のAR認識用マーカを含む患者の口腔内の映像を撮影し、前記カメラが撮影中の患者の口腔内の映像内の前記第1のAR認識用マーカの位置及び姿勢に基づいて、前記シミュレーションしたフィクスチャーの埋入位置及び埋入方向を示す3次元的位置情報を、前記カメラが撮像中の患者の口腔内の映像に重畳して前記ディスプレイに表示する工程と、を備える、
ことを特徴とするドリルの位置決め方法。
【請求項17】
請求項9に記載のサージカルガイド装置を使用した、インプラントのフィクスチャーを患者の歯槽骨に埋入するための埋入孔をドリルで穿孔する際のドリルの位置決め方法において、
前記合成画像のデータを前記AR画像処理装置にインストールされたARソフトウェアが取り込み可能な形式にデータ変換して、前記合成画像を3Dオブジェクトとして前記ARソフトウェアに取り込む、合成画像取り込み工程と、
前記モックアップの残存歯部に前記マーカ部材を装着し、前記ARソフトウェアにより、前記カメラが撮影中のモックアップの映像に前記合成画像を重畳して表示して、前記映像内の前記校正用マーカと前記合成画像内の校正用マーカのX線画像とが3次元的に完全に一致するように、前記マーカ部材のマウスピースに取り付けられた前記第1のAR認識用マーカの位置及び姿勢を調整して固定する、画像位置校正工程と、
患者の残存歯部に前記マーカ部材を装着し、前記ARソフトウェアにより、前記カメラが撮影中の患者の口腔内の映像に前記合成画像を重畳して表示して、前記合成画像内のシミュレーションしたフィクスチャーの立体的イメージ画像をガイドとして前記ドリルの位置決めを行う、ドリル位置決め工程と、を備える、
ことを特徴とするドリルの位置決め方法。
【請求項18】
請求項10に記載のサージカルガイド装置を使用した、インプラントのフィクスチャーを患者の歯槽骨に埋入するための埋入孔をドリルで穿孔する際のドリルの位置決め方法において、
前記ワイヤが植立されたモックアップの残存歯部に前記マーカ部材を装着し、前記3Dペイントソフトウェアのペイントマーカを用いて前記ワイヤの基端から先端までなぞることにより、前記ワイヤと3次元的に完全に一致した立体的イメージ画像を3Dオブジェクトとして前記3Dペイントソフトウェアに取り込む、ワイヤ画像取り込み工程と、
患者の残存歯部に前記マーカ部材を装着し、前記3Dペイントソフトウェアにより、前記カメラが撮影中の患者の口腔内の映像に前記ワイヤに一致した立体的イメージ画像を重畳して表示して、前記ワイヤに一致した立体的イメージ画像をガイドとしてドリルの位置決めを行う、ドリル位置決め工程と、を備える、
ことを特徴とするドリルの位置決め方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate