口腔内撮影表示システム
【課題】
手持ち型の口腔内カメラを用いて、側面歯列のパノラマ画像を形成する。得られた側面歯列のパノラマ画像により歯及び歯肉の状態を正確に把握すると共に、患者にわかりやすい歯科診療を提案する。
【解決手段】
歯列の側面を連写撮影して画像列を形成する連写画像列形成手段、前記連写画像列形成手段で形成された画像列を部分的な歯列画像として、全体合成の中心となる画像から合成して複数の部分歯列画像を形成する側面歯列画像形成手段、前記側面歯列画像形成手段で形成された複数の部分歯列画像間で全体合成の中心となる画像から放射状に合成して全体の歯列を形成する側面歯列画像合成手段を具備する。
手持ち型の口腔内カメラを用いて、側面歯列のパノラマ画像を形成する。得られた側面歯列のパノラマ画像により歯及び歯肉の状態を正確に把握すると共に、患者にわかりやすい歯科診療を提案する。
【解決手段】
歯列の側面を連写撮影して画像列を形成する連写画像列形成手段、前記連写画像列形成手段で形成された画像列を部分的な歯列画像として、全体合成の中心となる画像から合成して複数の部分歯列画像を形成する側面歯列画像形成手段、前記側面歯列画像形成手段で形成された複数の部分歯列画像間で全体合成の中心となる画像から放射状に合成して全体の歯列を形成する側面歯列画像合成手段を具備する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、口腔内全般を撮影し、パノラマ表示するシステムに関するものである。
【背景技術】
【0002】
口腔内撮影用のカメラは、カメラの高分解能化、小型化、低価格化等から虫歯治療、インプラント治療等における患者の治療への理解と同意を得る為の使用や、口腔内状態の記録等に利用はされており、個々の患部を撮影する他、歯列側面全体を撮影し診察や治療に用いる場合がある。
歯列の撮影は、歯列が複雑に湾曲している為に、上前歯部、下前歯部、右上臼歯部、右下臼歯部、左上臼歯部、左下臼歯部に分けて撮像して複数の画像を形成する場合が多い。
歯列画像は、歯列残存歯数および虫歯の状態と修復物の状況を判別したり、画像内の歯肉の腫れから歯肉炎の発症部位を特定するような診察用画像として用いられたりするが、複数の画像を用いて歯列を表示する場合は、それぞれの画像が、口腔内のどの部位かを容易には認識しにくい。
口腔内の実画像でパノラマ画像を得る手法は、例えば国際公開を2007/063980号公報に、歯列アーチホーム概形相似仮想形曲線に近似した形状を持つフレームを形成してその側面に撮像装置を配置したものによって、歯列全体を撮影し、これをステレオ形式撮影とすることで、立体3次元のパノラマ画像を得ることが記載されている。
【0003】
確かに、立体状で歯列の画像を撮影することができるが、アーチホーム概刑相似仮想形曲線を備えたフレームの形成を要する点で簡易的な測定手法とは言い難い面がある。
特開2005-144171には、撮影部位に照準用レーザダイオード光を照射する構成が記載され、口腔内という狭い空間で目的部位を的確に撮影することが記載されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2001−212161号公報
【特許文献2】特開2005−144171号公報
【特許文献3】国際公開WO2007/063980公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
画像表示による口腔内の観察は、数多く提案されているが、結局従来の単発的で局所的な治療システム上での、患者への情報提供にとどまるものであり、口腔内の歯及び歯肉等の口腔内全般の健全化を図るべ為の撮影画像を提供するシステムにまでは到達していない。
歯列の特に歯側面のパノラマ画像を得るには、国際公開WO2007/063980公報でも示されているように、歯列アーチホーム概形相似仮想形曲線に近似した形状を持つフレームのような、固定可能な型枠を用意する必要がある等、手持ち式の口腔内カメラによる試みは、未だ提案されるに至っていない。
【課題を解決するための手段】
【0006】
上記に鑑み本発明は、歯列の側面を連写撮影して画像列を形成する連写画像列形成手段、前記連写画像列形成手段で形成された画像列を部分的な歯列画像として、全体合成の中心となる画像から合成して複数の部分歯列画像を形成する側面歯列画像形成手段、前記側面歯列画像形成手段で形成された複数の部分歯列画像間で全体合成の中心となる画像に基づいて連結合成して全体の歯列を形成する側面歯列画像合成手段を具備することで、手持ち型の口腔内カメラを用いて明瞭なパノラマ歯列が形成でき、更にX線パノラマ歯列画像、仮想矯正又は仮想審美着色したパノラマ歯列とを併設して表示したり、重ね合わせて表示することで、歯科における診療範囲を広げることを可能とする。
【0007】
本発明で示す画像は、最終的にデジタル画像を示すものであって、動画、静止画いずれを用いても良い。
本発明における「全体合成の中心となる画像」とは、例えば、2つの部分パノラマ画像を合成する場合の両者に共通する画像を示す。「全体」には、最終的な全体パノラマ歯列画像だけを示すのではなく、例えば、3つ以上の部分歯列画像を形成した場合であって、最初に2つの部分パノラマ歯列画像を合成して得られた合成途中のパノラマ歯列画像も含まれる。「全体合成の中心となる画像から合成して」とは、例えば、前歯の表面の中央の一つの歯の一部が中央にくる画像から、奥歯方向の歯列を連写して得られた複数の静止画像を合成して左側部分歯列パノラマ画像と右側部分歯列パノラマ画像を形成することを意味する。「連結合成」とは、例えば、左側部分歯列パノラマ画像と、右側部分歯列パノラマ画像とで、両者に共通する部位で合成したり、連結可能な部位に基づいて接続したりして合成することを意味する。
【0008】
本発明は、合成の中心となる部分を含む画像にマークを設定する場合があるが、このマークとは、例えば、唾液、水等で容易に溶解せず、細長い長方形状のもの、短い長方形状を有し、例えば裏面に接着剤、粘着剤等が塗布されたシールであって、剥がすことが可能な付着物を示す。
又、付着物に限らず、色を落とすことが可能で、明確に撮影しやすい、緑、赤等の着色されたペンによりマークを歯に描いても良い。
マークを配置する部位は、上歯と下の歯にかかる様に配置されることが好ましいが、例えば、上顎、下顎いずれか一方のみ撮影する場合は、撮影する方のみ配置しても良い。 マークを配置する歯列上の所定の位置とは、例えば、カメラの撮影方向や、持ち方などを変えることで、撮影が中断したり、動きが静止する位置であって、合成の中心となる画像を示す。
【0009】
撮影画像上で認識しやすい色(緑、青等)、形状で形成されればよく、材質、色、は適宜選択される。また、3次元画像を得る場合は、特徴のある立体性を備えたものを用いても良い。マークは、歯の表面に表示され、撮影された画像に明確に位置表示がされるものであればよいことから例えば、歯表面に投影される寸法が既知の形状を持つレーザー照準光を照射する照射手段を設ける場合や、スポットライトのように、照明距離と照射される光の面積が対応関係にある照射手段を口腔内カメラから歯に向けて照射可能に配置するものであってもよい。
マークは、少なくとも、マークが所定の位置に撮影された画像から合成が始まれば良く、撮影方向は、奥歯からである必要はない場合もある。撮影方向と合成方向は、必ずしも逆でなくても良く、合成時マークが所定の位置に表示された画像から左右へ部分合成し、最終的にマークが所定の位置に表示された画像に基づいて全体合成が行われれば良い場合もある。 合成を開始するマークの所定の位置とは、例えば、マークが撮影画像の中心に来た場合が例示されるが、これに限らず、部分合成と全体合成において、合成が容易にな部位であれば良い。
【0010】
マークは、例えば、歯の裏側側面等、歯列の右、中央、左の3つの側面について部分合成する場合は、右側面と中央側面の中間の歯、及び中央側面と右側面の歯の2つ必要となる場合もあり、複数のマークが付されても良い場合もある。本発明の、歯列の側面とは、表側だけでなく、裏側、咬合面を含む場合もある。連写は、毎秒30枚以下を自動的に撮影することを示す。
場所を変えて撮影された画像の合成は、公知のパノラマ合成手法であり、合成する際の手法は、既存の手法を選択的に用いればよく、単純合成法、単純列挙法、ブロックマッチング法、及びLucas-Kanade法等のオプティカルフロー推定法等の自動又は手動の合成方法が利用可能であるが、事前にアフィン変換等の画像調整手段で、画像間の共通部分に基づいて、傾き、倍率等を調整することが好ましい。
本発明における特徴部位とは、部分歯列パノラマ画像を結合する際の結合位置を示す線状、点状、図形状、又は立体状のものであって、例えば、2つの側面パノラマ画像を合成する場合は、中央の前歯と前歯の境界線が示されるが、これに限らず、前歯一つ、特徴がある歯や歯肉の先端等の部位も含まれる。
【0011】
口腔内とは、歯、歯列、歯肉、歯槽骨、口唇、硬口蓋、軟口蓋、口蓋垂等の領域が例示される。
画像化とは、コンピュータのモニター(ディスプレイ)装置、携帯電話表示部へ出力表示可能な画像データに変換することの他、用紙に印字・印刷された状態等の2次元的又は3次元的な表示がされた状態を示す。
本発明は、反射鏡を利用するため比較的照射光の光路が長く、指向角に基づく広がりを具えたLED等の照準光源を用いることで、撮影位置と撮影範囲を明確にすることができる。
【0012】
更に、本発明は、縦横に動く口腔内カメラの姿勢をジャイロセンサによって本体の角度情報を測定し、この本体の角度から鏡の角度を導き出し、どのような状態にあるかを把握する。撮影状態から画像の姿勢を調整することで、縦横に移動するカメラの状態にかかわらず、常に見やすい状態の画像が表示されることを実現した。
本発明では、角速度センサ(ジャイロセンサ)、加速度センサ等の位置センサを用いる。具体的には、角速度を出力するレートジャイロ、角度を出力するレート積分ジャイロ、姿勢ジャイロ、MEMS(micro electro mechanical systems)タイプその他機械式、光学式等の角速度センサ、ピエゾ抵抗タイプ、静電容量タイプ、熱検知タイプのMEMSセンサ等の加速度センサが例示される。
本発明における照準光の色は、照明光の色と識別できる色であれば良く、照明光が白色であれば、照準光は赤色、緑色等が例示される。又、照準光の照射のタイミングは、使用者が撮影を開始する直前のタイミングが好ましいが、撮影中、短時間の照射であってもよい場合もある。
【0013】
更に本発明は、簡易的に口腔内歯列側面におけるパノラマ実画像が形成できることから、撮影されたパノラマX線画像を取り込み、重ね合わせたり、例えば歯ごとのX線画像をパノラマ実画像と併設したり、重ね合わせて表示することで、歯科従事者、患者にわかりやすい臨床データを形成することができる。
この実画像と、X線画像の重ね合わせ、併置等を表示手段上でおこなうことで、患者の治療に対するより一層の理解を実現することも可能となる。
【発明の効果】
【0014】
本発明は、一部又は全部の歯列について、実画像による明瞭なパノラマ的表示を手持ち状態で撮影することができる口腔内カメラを用いて簡易に可能とし、更に場合によっては、X線画像を、重ねたり、併記したりして表示することができることから、当該表示を用いて患者に対し、わかりやすい診療説明を行うことができる。
【図面の簡単な説明】
【0015】
【図1】図1は本発明の一実施例を示す図である。
【図2】図2は、実施例を説明する為の図である。
【図3】図3は、実施例を説明する為の図である。
【図4】図4は、実施例を説明する為の図である。
【図5】図5は、本発明の他の実施例を示す図である。
【図6】図6は、実施例を説明する為の図である。
【図7】図7は、実施例を説明する為の図である。
【図8】図8は、実施例を説明する為の図である。
【図9】図9は本発明の一実施例を示す図である。
【図10】図10は、実施例を説明する為の図である。
【図11】図11は、実施例を説明する為の図である。
【図12】図12は、実施例を説明する為の図である。
【図13】図13は、本発明の他の実施例を示す図である。
【発明を実施するための形態】
【0016】
本発明は、歯列を連写撮影して、パノラマ合成による部分パノラマ画像と、これら部分的なパノラマ画像を合成して全体のパノラマ歯列を形成する手法であって、好ましくは合成部にマークを配置する構成により、手持ちカメラによる歯列パノラマ画像を容易に形成することを可能とする。
歯列の側面方向を撮影してパノラマ歯列画像を形成する際、カメラが反射鏡を用いる場合は、例えば、頬肉と歯側面に挟まれた状態で、奥歯から前歯方向へ撮影していくことが好ましい。所定の位置で、向きを変えて、反対の奥歯から前歯方向へ撮影していく。
撮影は、カメラのシャッターボタンを押すと、所定の間隔で静止画を形成する連写撮影が例示されるが、静止画を毎秒30枚程度撮影するデジタル動画を形成する手法で、連続撮影された静止画を形成しても良いが、毎秒20枚以下で撮影されることが好ましい場合もある。
連写は、少なくとも画像間に共通部位がある静止画画像が形成されればよいことから、より低スピードで、場所をずらしながらシャッターを自動又は手動で切って連写画像を形成しても良い場合もある。
手持ちのカメラによる奥歯撮影の場合、撮影距離を確保する為、カメラを用いて頬肉を押し広げる操作を行いながら撮影する場合が多いが、その場合、頬肉を押し広げる分カメラは手ぶれ等の揺動が少なく、安定した状態に近いと言い得るが、前歯に移行する際、このような押し広げる操作から解放され、カメラが手ぶれ等で急激に揺動する場合があるが、本発明では、歯肉と歯、歯と歯の境界の検出を行うことで、基準部位を形成し、この基準に併せるようにして、揺動画像の補整を行い、結合する手法取り得る場合もある。
【実施例1】
【0017】
次に本発明の実施例を図面を参照して詳細に説明する。
更に図1から図5に歯を噛み合わせた状態でパノラマ状の歯列を明瞭に合成を行って形成するパノラマ歯列画像形成手法の一例を示す。
図1でしめす様にカメラにより、左奥から撮影した画像を中央付近まで撮影をし、口腔内カメラの向きを変えて、右奥から中央付近くらいまで連写撮影する手法がとられるが、この場合、一度カメラの方向を変える為に撮影状態が中断することから、左右の歯列画像の合成が正確にできず、ずれてしまうことが多い。
又、手動によるカメラの移動撮影は、例えば、奥歯の撮影の場合、口腔内内面の頬肉と歯側面間に配置され、この頬肉を押しのける様な状態で口腔内カメラを移動させたり、歯側面との接触状態が形成される等するため、頬肉、歯側面が口腔内カメラの反射鏡や、カメラの撮影部位を支える状態となるが、前歯方向へ口腔内カメラを移動させると、頬肉による圧迫等から解放されて、手持ち状態となり撮影するカメラの位置が不安定となり、画像が乱れやすくなる。特にカメラと被写体である歯側面との距離が変動したり撮影向きにぶれが出たりして、被写体である歯の大きさが変動したり画像に歪みが生じる場合がある。
【0018】
図1で示した反射鏡を用いた口腔内カメラ101は、図9、図10で示す構成が例示され、モジュール状のCCDカメラ、C−MOSカメラの周辺に光源用LEDを複数配列した構成であって、反射鏡を介して、口腔内に光源用LEDによる照明を行うとともに、口腔内の歯列等の画像を連写的に得るものであり、奥歯から安定して撮影できるものであるが、これに限るものではなく、反射鏡を用いない直接撮影用のカメラであっても良い場合もある。
ここで用いる口腔内カメラ101は、平面状の反射鏡102(図9のA10K)を備えた反射鏡ユニット103(図9のA10)を、CCDカメラ、C−MOSカメラなどの撮像器と発光ダイオードを撮像器の周囲に4〜8個程度配置した照明器を組み合わせた撮影ユニット105(図9のA14)を先端に備えた本体104(図9のA11)の先端に交換可能として装着使用する構成をそなえたものが例示される。
撮影ユニット105は、静止画を例えば毎秒10枚から30枚の範囲で画像が得られる様に撮影する連写手法を用いて静止画デジタル画像を出力するものが例示される。
【0019】
連写撮影を始めるまでに、あらかじめ上下の歯を噛み合わせた状態の歯列100aの中央付近にマークMLを付しておく、マークMLは、着色されたシールの一時的付着、色を落とすことが可能な着色ペンによる記載、等、カメラ撮影により画像に鮮明に表示できるものが好ましい。マークMLを例えば歯列の中心付近に付す際の中心付近とは、左右の歯列を連写撮影した後、合成する際の基準となる場所を示すものであって、その他、撮影した画像の中央付近で、画像処理上特徴となる部位を検出し、その部位をマーク画像上に設定するものであってもよい。マークMLは、上歯と下歯にかかる様に配置することが好ましい。
この連写動作を、例えば口腔内カメラ101の反射鏡102を奥歯から前歯方向に向かって撮影する為に、106aの状態から106b、106cの様に歯面に沿って、好ましくは歯列面から同じ距離だけ離して、本体104を手で持ち、反射鏡102を動かして撮影する。
【0020】
IGは、補正用表示部であり、歯表面に剥離可能な状態で付着される貼付部材に、画像補正用の例えば井桁、四角、三角、碁盤の目、その他の図形であって、画像の歪み、カメラと歯側面間の距離に基づく、画像の大小等の補正が可能な表示であればよく、又補正用表示部IGの色も緑色、その他、画像処理において識別可能な色彩を付したものであれば緑色に限るものではない。
この貼付部材は、例えば、図1、図3で示す様に歯の中央であって、マークMLを付した歯の表面に貼り付けても良く、又貼り付ける歯は、一つの歯に限らず、複数の歯に貼付部材を貼り付けて撮影してもよく、その他の歯であって、口腔内で、その他の支えがなく、手動で歯を撮影する部位へ付してもよい場合もある。
補正用表示部IGを歯表面に付する手段は、マークMLと同様の手法を用いれば良く、表示が唾液等で、溶けたり、滲んだりしないものを用いることが例示され 左歯列一部パノラマ画像と右歯列一部パノラマ画像を、両者に共通して撮影された補正用表示部IGに基づいて、両画像歪みや大きさを補正して、結合する際は好適である。
【0021】
尚、左歯列と中央歯列及び右歯列と3つに分割した一部パノラマ画像を結合する際は、それぞれの一部パノラマ画像列の共通な歯に補正用表示部IGを設けても良い。
撮影された個々の静止画における補正も、例えば、連写して得られる画像内で、基準となる補正用表示部IGに基づくか、又は、撮影された画像群の中で補正用表示部IGが撮影されているものの一つをブロックマッチング法やテンプレートマッチング法等で検出してこれを基準とし、他の画像で撮影された補正用表示部IGを検出した後、基準画像と比較して、歪み、傾き、大きさの差等を検出し、拡大、縮小、回転、移動調整をするアフィン変換を用いた補正を行っても良い。手動による揺動が避けられない撮影の際、補正用表示部IGを歯に付することによって、安定したパノラマ歯列画像形成の為の合成が可能となる。アフィン変換は、好ましい一例であって、その他、同様の画像操作が可能な調整手法を用いてもよい場合もある。
【0022】
このような補正用表示部IGを用いた画像の補正は、例えば、Zhangの方法(IEEE.Transactions on pattern Analysis and Machine Intelligence,22(11);1330-1334,2000)等のカメラ画像のキャリブレーションで用いられる手法を用いても良い。
又、補正用表示部IGは、撮影状態、アフィン変換等の処理により必須でない場合もある。
図1(b)は実際、奥歯から連写した際の一回の撮影範囲を略図的にしめしたものである。
106a→106b→106c→106d→106e→106f→106gの様に口腔内カメラ101の反射鏡部分を経時的に移動させながら、静止画による連写画像を得る。 口腔内カメラ101は先端に所定の角度をもった反射鏡102を備えた構成よりなる為、歯列面を図中、左奥歯から撮影していくとすると、中央付近で、本体104の向きを変えて、図中、右奥歯から順に撮影することから、図1で示す106eから106gの面を撮影した後、口腔内カメラ101を反転させて、右奥歯からの撮影が開始する。
連写のスピードは、本体104を手動で動かすため、手ぶれ等の揺動の影響を考慮して、毎秒20枚から30枚程度として多めに撮影し、手ぶれ、ピンぼけした画像を削除する余裕をもった連写撮影することが好ましい。
【0023】
この連写は、マークMLが撮影画面又は反射鏡の中央に来る迄撮影することが好ましいが、それをある程度経過した部位まで行い、その後、撮影された画像を取捨選択してもよい場合もある。
手動によるカメラ操作の為、合成の前に、各画像の共通部位に基づいてアフィン変換を行い、画像の状態を整えた方が好ましい場合がある。
例えば、合成の最初の中心となる画像を基準に比較画像に対してブロックマッチング法で共通する複数の点を検出する。この共通する複数の点に基づいて次の画像をアフィン変換する。例えば、共通部分における基準画像の画素座標(xa、ya)、に対応する次の画像の画素座標(xb、yb)を複数選んで、次式に代入して係数値a〜fの値を得る。
係数値を次式に代入した状態で、次の画像をアフィン変換していき画像を整理した後、又は画像を整えながら、パノラマ合成を行っても良い。
【0024】
【数1】
このように歯列100aの図中左奥から正面付近まで、連写して得た画像の一部を図2に示し、図1と併用して当該実施例に基づく口腔内カメラの撮影動作を説明する。
図2(a)から(e)は、図1(b)で示す歯列の撮影画像データにおける中心付近107cから107e付近の連写撮影をした際の撮影画像データ列の一例である。
尚、口腔内カメラは、反射鏡102を利用して歯列画像を得ていることから、撮影画像は、左右が反転するが、わかりやすくする為に、反転していない状態で図2及び図4に示した。
【0025】
図2の(a)は、図1(b)の106c付近を撮影し、図2(b)は、106d付近、図2(c)は、106e付近、図2(d)は、106f付近、そして図2(e)は、106g付近を撮影した画像である。尚、手動で撮影するため、撮影画像が常に同じ状態で撮影することができない場合が多い。従って、画像が斜めになっている場合などは、他の歯の状態と例えば重なり合う部分で、アフィン変換を用いて整える補正をすることが好ましく、図2は、補正後の図を示している。
補正の際、一つの基準となる部位として、マークMLの他、反射鏡102が撮影された反射鏡面にあらかじめ設定される垂直中心線CL、水平中央線HLを用いてもよい。
【0026】
垂直中心線CL、水平中央線HLは、必ずしも画像に表示されるものではなく、また反射鏡の縁部に垂直中心線、水平中央線の始点と終点に該当する部位にそれぞれ突起等の目印を付けておく程度であってもよく、この目印に基づいて仮想的に表示される場合もある。 また、撮影用CCDカメラのレンズによる歪みをソフトウェア補正する処理をあわせて行っても良い。
RMは、鏡の輪郭であり、実際の撮影された画像は、輪郭RM内で円形状の画像となるが、範囲説明をしやすくするために、四角の画像で表示した。
撮影される画像が手持ちであるため、歯とカメラとの間の距離が異なる場合があるが、この場合は、マークMLと垂直中心線CLとが略一致した画像を基準として、その他の撮影画像の大きさを補正しても良い。
尚、反射鏡102の先端部を歯の面に軽く接触させながら、連写撮影を行うことで、得られる画像を安定させることができる場合がある。
【0027】
図1で示すように、正面から左側の奥歯に本体104の反射鏡102を配置して、その後正面方向へ移動させて連写し、例えば図2(a)〜(e)の画像を取得する。
この場合、反射鏡102の垂直中心線(CL)にマークMLが一致したタイミングで撮影取得した画像図2(c)までを、合成用画像として採用する。図2(d)以降を用いると合成時、ずれの原因となる場合があるので、合成には使用しない方が好ましい。
画像10(c)を基準の画像とすべくマークMLを基準に、必要に応じ、画像の傾きなどを補正する、すなわち、マークMLの長辺及び短辺を基準に画像を補正して基準画像としてもよい。
【0028】
一合成操作例を以下に説明する。
合成に採用される画像を図2(f)以降に示した。図2(f)が図2(c)に示す画像に相当し、図2(g)は、図2(b)に相当し、図2(e)は、図2(a)に相当する。 図2(f)でしめす画像106eと図2(g)で示す画像106dとを、画像106eを基準として画像106dの画像の形状が一致又は近似する共通部分に基づいて重ね合わせて合成する。
図2(f)を基準として、重ね合わせた場合、図2(g)の左方面にはみ出た部分を201aで示す。201aは、奥歯方向の画像となる。
次に、図2(g)で示した合成画像と、図2(a)で示した画像106cとを、図2(g)の合成画像を基準として、形状等が共通する部分で目視により、又は画像処理手法により重ね合わせる。重ね合わせた画像であって、図2(g)から左方向へはみ出した部分を201bで示した。
201bは、奥歯方向の画像となる。
この動作を次に隣接する画像間で行い、更に次の隣接する画像と共通部分で重ねあわせることで、マークが所定の位置にある画像から奥歯方向へパノラマ画像的に合成して左側歯列を形成する。
【0029】
その他、図2(f)で示す中心画像にはみ出した部分201a、201b・・・・をつなぎ合わせて左半分のパノラマ画像を形成する手法が例示できる。
また、はみ出した部分の検出は、例えば、図2(c)の100eと図2(b)の100dとの間ではみ出した部分を抽出し更に、図2(b)の100dと図2(a)の100cとの間ではみ出した部分を抽出し、更に次の隣接する画像間ではみ出した部分を集めて、最後に基準画像図を10(f)として、このはみ出した部分をつなぎ合わせて、パノラマ画像を形成してもよい。はみ出した部分の画像は、中央よりの画像を基準として、その上から隣接する画像を重ね合わせることが好ましい場合もある。
尚、完全に重ね合わせて一致または近似しない場合であっても、マーカ部分が共通して存在する場合は、その部分を重ね合わせて同様の合成をおこなってもよい。尚、手動であるため、得られる静止画像ごとに遠近感や、傾きが相違する場合がある。この場合は、アフィン変換等を用いて自動的に補正したり、任意に拡大縮小して調整するものが好ましい。
【0030】
合成した状態を図5(a)に示す。図5(a)で示すように左半分のパノラマ歯列画像を形成することができる。
次に図3(a)で示すように上下かみ合わせた状態の歯列100aの右奥に本体103dの反射鏡102を配置した状態で、歯列100a表面をなるべく一定の距離を保ちながら、301a→301b→301cと中心となる前歯へ近づく方向で静止画による連写撮影を行う。
図3(b)に撮影される静止画像と歯列100aとの位置関係を略図的に示した。
使用者は、口腔内カメラ101を手で持ちながら、302a→302b→302c→302d→302e→302f→302g→302hの方向へ移動させて撮影し、連写的に静止画像を取得する。本実施例は、手持ち型であるため、撮影画像が左右、奥行き方向で傾いたり、ずれたりするが、アフィン変換、その他の輪郭抽出手段を利用して、連写して得られる隣接する画像間に存在する共通部分に基づいて回転、移動を行って画像の調整を行う工程を設けても良い。
【0031】
図3(a)でしめす口腔内カメラ101は図1のものをそのまま使用しているため、同一の番号を付して説明を省略した。
図4(a)から(e)は、図3(b)の302aから302fの範囲で代表的な画像を示した。
図4と図2との間で共通する構成については、図2で示した符号と同一の符号を付した。
図4において、図4(a)は、図3(b)の302dの画像付近を示し、図4(b)は、図3(b)の302eの画像付近を示し、図4(c)は、図3(b)の302fの画像付近を示す。
図4(d)は、図3(b)の302gの画像付近を示し、図4(e)は、図3(b)の302hの画像付近を示す。
【0032】
尚、図4(d)及び(e)は、垂直中心線CLとマークMLが一致した後、さらに左方向へ反射鏡102を移動させた際の写真画像であり、これらの画像を採用すると左右方向から撮影された画像の重ね合わせの部分が多くなり画像のずれが生じることから、これを採用せず、図4(a)から(c)を採用する。
この中で、マークMLと垂直中心線CLが一致した画像(図4(c)の302f)を基準にしたものを図4(f)に示す。次に図4(b)で示す画像302eと302fの共通する部位を重ね合わせる。
画像302fを基準にして画像302eをその上から形状が一致又は近似する範囲で重ね合わせた状態ではみ出した部分が401aである。
次に、この重ね合わせた画像と図4(b)で示す画像401bを、重ね合わせた画像を基準にパターンマッチング法等を用いてその上から形状が一致又は略一致する部位で重ね合わせる。
【0033】
重ね合わせた状態ではみ出した部分が401bである。このように隣接する画像を重ね合わせて向かって右側の歯列を形成する。その他の合成方法として、基準画像106eと画像401a及び401bを図5(b)で示すように合成するものであってもよい場合もある。
尚、前後の画像を重ね合わせた際、多少のずれがある場合は、重ね合わせた箇所のいずれか一方を削除しても良い場合もある。
以上の手順で、連写静止画を合成していき、左歯列の画像を合成した際の中心画像106eと右歯列の画像を合成した際の中心画像301cを重ねあわせ、一致、略一致させることで、図5(c)で示すパノラマ歯列303を形成する。歯列全体のパノラマ画像を図5(d)に示した。b101は、左側部分パノラマ歯列、b102は、右側部分パノラマ歯列である。
【0034】
中央の歯に設定した補正用表示部IG、マークMKは、画像から汎用のグラフィックソフトウェアを利用して消去する処理を行うことが好ましい。画像処理における消去、付加は、例えば、画素値の調整によるものであり、例えば、マークの消去の場合は、マーク周辺であって、隣接する画像上の歯の輝度値を検出し、この検出された輝度値に置き換える処理によって消去したり、予め設定された輝度値に変換しても良い。
重ね合わせは、例えば、中央の歯と歯の境界部分(KL)に基づいて、左右のパノラマ歯列を接続合成することが好ましい。尚、歯と歯の境界は、上顎、下顎で異なる場合に対応するために、上顎又は下顎の歯の境界部分を境界として用いて、合成してもよく、その際の合成は、上顎のみのパノラマ歯列と下顎のパノラマ歯列を、それぞれ合成して、最後に上顎と下顎を合成しても良い場合もある。境界部分検出は、下述する2次元フーリエ変換処理における輪郭抽出処理や、境界値を強調する色成分値を抽出する手法が例示され、境界値は、上顎又は下顎の歯と歯の境界、又は咬合時の咬合した状態での上顎と下顎の両者を通過する境界などが例示される。
【0035】
図5(d)は、右側部分パノラマ歯列b101と左側部分パノラマ歯列b102からそれぞれ境界KLを抽出し、この境界KLで連結結合した場合の図を示したものであるが、その他、マーク等に基づいて重ね合わせたり、部分パノラマ歯列の片方の画像に置き換えても良い場合もある。 また、例えばあらかじめ図5で示す中心画像106eと中心画像301cは必ずしも重ね合わせる必要はなく、どちらかの中心画像CGGを採用すればよい場合もある。
その場合、例えば中心画像106eを採用した場合、中心画像106eに基づいて画像401aから奥歯までの画像に対しアフィン変換を行ったり、401a、401bの大きさ等を多少修正する場合もあり、中心画像301cを採用した場合は、201a、201bの大きさを修正する場合もある。このように、各画像間のはみ出した部分をつなぎあわせる手法の他、はみ出した部分を抽出せず、そのまま共通部分で重ね合わせていく場合は、中心画像同士を大きさを調整しながら重ね合わせをする場合もある。
このように、中心画像から、左右の歯列を合成して、左側合成歯列と右側合成歯列とし、これらをそれぞれの中心画像に基づいて合成することで、ずれを抑えたパノラマ歯列を形成可能とする。
【0036】
中心画像に基づく合成は、例えば、中心の歯と歯の接触ライン(エッジ)を特徴部位として左側合成歯列と右側合成歯列を結合することが好ましい場合もある。尚、マークは必ずしも中心の歯に付される必要が無く、撮影の際、カメラの方向を変えるタイミングで撮影される歯の部位等である場合もあり、その他の目的等でマークの位置は適宜選択される。 特徴部位もマークと同様、画像合成時に位置あわせ可能な部位であれば、特に限定されない。
また、あらかじめ被写体である歯列にマークを付すか、画像からマークに相当する部位を設定することで、より正確な合成が可能となる。
尚、以上の動作説明は、グラフィックソフトウェアを用いて、コンピュータモニター上に表示された複数の画像を、目視とマウス操作によるコピーペースト、ドラッグアンドドロップ、画像の縮小拡大、傾き補正等の操作に基づいて行った場合、公知の自動パノラマ写真合成用ソフトウェア(Photoshop Elements 7(商標)(アドビ社製)、Photo Stitch(商標)(キャノン社製)等も利用できる場合がある。
【0037】
3次元パノラマ歯列画像の作成
歯列は、咬合平面に対して弓状に湾曲した形状であり、その全体を現実的に把握する場合は、2次元によるパノラマ表示では、個々の歯の様子はわかるが、平面状に歯が並んでいる状態で表示されるため、3次元的な把握は不十分であることから、3次元的に表示できる手法が好ましい。
次に実画像による3次元パノラマ画像を形成する実施例を図6に示し説明する。
図6は、3次元パノラマ歯列画像形成手段を説明する為のブロック図である。
501は、撮影データ入力手段であり、図7で示すような、カメラを複数備えたステレオ画像撮影用のカメラを接続して、カメラの個数と同じ枚数の画像を同時に形成する手段である。
撮影データ入力手段501は、一枚ごとにシャッタを押す様式と、一回シャッタを押すことで複数の写真を撮影する連写的に撮影可能とした構成を備えており、複数の対の静止画像を連続して出力する場合もある。
【0038】
502は、補正手段であり、レンズ形状による歪み、手ぶれ等の補正、遠近距離の補正等を行う為の手段であり、いわゆるキャリブレーション手段といった公知の手法をもちいて構成されるものである。
補正手段502は、同時に撮影された画像のそれぞれに校正が施されるものであり、歪みが大きい、周辺部を削除することもある。
503は、共通点検出手段であり、例えば一対の画像の共通点を検出するための手段である。共通点検出手段503は、片方の画像の一画素又はひとまとまりの画素の輝度値を基準用輝度値とし、他の画像の一画素又は、ひとまとまりの画素の輝度値を用いて、例えば、輝度差の総和(SAD)、輝度差の二乗和(SSD)値をとりその最小値又は最大値により一致する部分又はサブピクセル推定により推定された部分を共通点として出力するものである。
【0039】
より具体的には、例えば、新井元基 他, 画像のブロックマッチングにおける相関関数とサブピクセル指定方式の最適化,社団法人 情報処理学会 研究報告,2004,P33-40に示される構成やその他の公知手法を利用しても良い。
504は、ワールド座標変換手段であり、得られた共通点の各画像の座標を、全体的に共通な3次元座標に変換する手段である。
ワールド座標変換手段504は、例えば、三角法、8点アルゴリズム法、三角測量法等、算術的手法によりコンピュータ処理で行われ、前記共通点検出手段503で得られた共通点のそれぞれ写真画像の座標値から視差値や、カメラの特性(内部パラメータであるレンズの焦点距離、画像中心、画素サイズ、及び外部パラメータである2つのカメラの位置、及び姿勢)から、ワールド座標(X、Y、Z)を形成出力するものである。
例えば、それぞれ異なるカメラの内部パラメータ及び外部パラメータからなる透視投影行列P1、P2、それぞれ撮影した画像の共通点Mのローカル座標(u1、v1)及び(u2,v2)から一般的に知られている式(1)に基づいて、ワールド座標(X、Y、Z)が求められる。
【0040】
【数2】
カメラの内部パラメータ、外部パラメータを用いて透視投影行列を求めるか、各静止画像から得られる複数の共通点のローカル座標等から透視投影行列P1、P2及びω1、ω2を求めて、式(1)にもとづいてワールド座標を得る方法等に関しては、例えば、電子情報通信学会誌 Vol.92、No.6,2009,463-468に記載されている手法等の公知手法が好適に用いられる。
その他3次元座標を得る手法としては、接写手法とともに例えば、歯科材料・器械 Vol.19No.3333-338(2000)等に記載されているが、これに限らず、その他一般的な手法をとり得る。
【0041】
505は、3次元画像形成手段であり、例えばコンピュータ上に仮想的に形成された3次元座標空間に、当該ワールド座標データを表示し、この座標データを直線、又は曲線で結んでいって表示するワイヤーフレーム模型を形成しても良く、更に線で囲まれた部分に仮想面データを貼り付けていくことで、よりリアルなパノラマ3次元データが得られる。 3次元パノラマ状の歯列データを立体座標上で、立体化することで、湾曲状の歯列が表示される様にしてもよい
506は、表示手段であり、コンピュータ用のモニター、プリンタ、等で形成され、通常のコンピュータモニター上に仮想3次元画像として表示されても良く、更に、湾曲したパノラマ状歯列画像を2次元に投影する等して表示しても良い。
図7は、2つのカメラを先端に備えたプローブ状の3次元計測用のプローブ600の一例を示す。
601は、撮像部Aであり、中心にレンズ601aが配置され、いわゆるカメラモジュール形態を有する。
602は、撮像部Bであり、中心にレンズ602aが配置され、いわゆるカメラモジュール形態を有する。
603は、照明光照射部であり、好ましくは撮像部A601、撮像部B602の周囲に設けられており、支持部材606内部に形成された発光手段605が発した光を、光導路604を介して被写体である歯の表面を照射する部分である。照明光照射部603は、より均一な照明が行われるような形状であることが好ましく、図7に示された形状に特定されるものではない。
【0042】
603aは、指示用光源であり、撮影面を示す為のものであって、スポットライト的な出力をおこなう部分であり、周辺を黒い円筒体で覆った、赤色、青色、白色等のLEDが用いられる。スポットライト的な光であるため、距離によって、照射面の面積が異なることから、光の円を一定に保ちながらプローブ600を移動させることで一定の距離でのプローブの移動を可能とする。
604は、光導路であり、支持部材606内部に形成され、表面は、アルミ、銀等の薄膜などの光反射部材で被覆されていることが好ましい。
605は、発光手段であり、支持部材606内に装着され、白色LED、その他の光源が例示される。本実施例では、ストロボの様な断続的フラッシュ駆動や、連続的な照明駆動等が行われても良い。
606は、支持部材であり、例えば、軽量で硬質なプラスチック材で成型され、先端に、撮像部等が配置され、棒状で、口腔内の奥まで挿入しやすいような形状を有する。
【0043】
607は、操作用スイッチであり、シャッタ操作等を行うものである。その数は、操作仕様や目的に応じて設定されれば良く任意の構成であればよい。
シャッタとして使用する場合は、押している間所定の間隔で連続的にシャッター駆動を行うような仕様も取り得る。
608は、把持部であり、支持部材606と一体的に構成されており、軽量で、丈夫なプラスチック材等で成型されることが好ましい。
609は、外部電源と接続、外部データ処理装置等との接続をするための電気リード線であり、USB接続コネクタを利用したケーブルが利用されても良い。
また、光源がストロボ的な発光であって、連写データをカメラ内部で一時的に記憶できる場合や、Zigbee(登録商標)、無線通信用のフロントエンド回路を用いて無線接続を場合等は不要になる場合もある。
【0044】
図6及び図7で示した本実施例の動作について説明する。
図6の撮影データ入力手段501において使用者は、図7で示す把持部608をもって、図1で示す様に上下の歯が噛みあわされた状態で支持部材606の先端の撮像部A601と撮像部B602を被写体部位に近づけ、指示用光源603aが指示するスポットライトの大きさ、位置を見ながら、操作用スイッチ607を押して連写動作を開始する。
連写動作でなく、撮影ごとにシャッタ用の操作用スイッチ607を押しても良い場合もあるが手ぶれ等を防ぐ為に押す動作を少なくする連写が好ましい。
この押した状態で、図1(a)と同じ位置まで撮影し、次に図3(a)と同様の状態で、同じ位置まで撮影する。
図8に一回の連写撮影で得られた画像群の中で対となる画像を示す。尚、口腔内で、歯の表面形状をより精度よく計測する場合は、近接した状態での撮影が好ましく、カメラの焦点距離も接写可能な状態で設定されることが好ましい。
これら撮影された画像は、図6の補正手段502でレンズの曲面によって生じる歪みや、傾き等が校正(キャリブレーション)されて共通点検出手段503へ出力される。
3次元処理を行う際、図2、図4で示すように中心付近から左右方向へ合成することを考慮して中心から行うことが好ましいが、特にこの手法に限定されるものでもない。
図8(a)は、歯の正面であって、中心に近い場所を撮制した画像であり、図7のプローブ600を構成要件とする撮影データ入力手段501で撮影されて得られたデータでもある。
【0045】
701aは、撮像部B602の画像であり、702aは、撮像部A601の画像である。この画像にそれぞれ中心点を同じ部分とした座標を付与し、例えば撮像部B602が撮影した図8(a)の画像701aの任意の点A(x1、y1)を設定してこれと同じ位置を示す点A’(x2、y2)を探す。点Aを例えば一つの画素のブロックとして、平均輝度値を求める。図8(a)の画像データ702aの点A’と想定される位置の近傍から、点Aと同じサイズの画素ブロックを求め両者の輝度値の差の総和又は二乗和をとり、次第に、点A’方向へ、同様の演算を行いながら移動しながら。一致度評価曲線を形成する。
一致度評価曲線上で、この差分値の総和又は差の二乗和が、一番小さくなった部分、又は一番大きくなった部分を点A’として設定するサブピクセル推定手法が好ましいが共通点を得る手法であれば特にこれに特定されるものではない。
次に701aの点Aのとなりの画素ブロックについて同様の操作を行い、画像702a上から共通の点を検出する。この操作を繰り返し行い。画像701aと702aのオクルージョンの範囲を除いた共通範囲703aにおいて共通点の座標を求める。
この場合も新たに付加したマークMLの位置を中心に共通点座標を形成することが精度の高い共通点を得ることを可能とする。
【0046】
またこのブロックを小さくすることにより、精度が高い状態で、共通点が検出できるが処理時間が長くなる為ブロックの大きさ等は適宜選択される。
次に、図6のワールド座標変換手段504において、例えばこの共通点を複数点とって計測した座標値から、視差、焦点距離等撮影器固有のパラメータ及び1式に基づいて3次元ワールド座標系に変換する。この具体的な手法は、上述した文献等に示された通常の方法が好適に採用される。
図8(a)の一対の画像から共通点を求めた後、次の図8(b)で示す画像対701b、702bを用いてオクルージョンの範囲を除いた共通範囲703bを3次元のワールド座標に変換する。3次元ワールド座標となった状態で例えば図8(d)に示すワイーヤーフレーム状に成形したものを作成する。
図8(d)の3A(X、Y、Z)は、図8(a)A(x1,y1)とA’(x2、y2)に基づいて(1)式を利用して変換した3次元ワールド座標である。
【0047】
更に図8(c)で示す画像対701c、702cのオクルージョン範囲を除いた共通範囲703cの各共通点の3次元ワールド座標を求める。
次に図6で示す3次元画像形成手段505において、
ワールド座標に変換された図8(a)から求められた3次元座標と図8(b)を平面的な重ね合わせでなく仮想3次元座標空間で重ねあわせる。
この重ね合わせた画像に更に図8(c)で示した3次元ワールド座標を重ね合わせる。
この重ね合わせは、仮想の3次元空間での重ね合わせであれば、これら3次元ワールド座標化したデータに基づいてコンピュータモニター上に例えば図8(d)で示すようなワイヤーフレーム状の歯列を仮想的にそれぞれ表示し、目視でマウス等コンピュータインターフェースを操作してそれぞれを重ねあわせるようにしておこなうことができるが、重ね合わせの精度を高める場合は、比較する3次元数値のどちらかを基準として、差分比較等により一番差分が小さい状態となるような合成が好ましい場合もある。ブロックマッチグによるサブピクセル推定手法で、共通点を得ても良い。
【0048】
図8(a)から(c)は、正面に向かって右側の歯列の3次元ワールド座標化したデータに基づく歯列を形成したが、次に左側の歯列の3次元ワールド座標化を行う。
ワールド座標化は、上述した公知の手法を用いればよく、例えば、2つの画像に基づく3次元座標を取得した後、共通の座標であるワールド座標への変換を行ったものでも良い。
左右の歯列の3次元ワールド座標を取得した後、コンピュータの3次元仮想表示、又は座標値の数値的重ね合わせによる近似的一致により結合していけばよい場合もある。
その場合、マーク部分の3次元座標データを基準に重ねることが好ましく、当該手法によれば、2次元のみならず3次元座標でも、ずれの無いパノラマ歯列表示が図6で示す表示手段506によって可能となる。
重ね合わせは、同じ形状部分のデータ数値での重ね合わせであって、一致しない場合は、両者の座標値の平均をとりながら重ね合わせていく手法、画面上で画像をドラッグアンドドロップの手動手法で、コンピュータマウスを操作しながら重ね合わせた後、座標値を求める方法等が例示される。
【0049】
尚、互いに共通した部位をもつ画像であっても、撮影状況から、補正後も、重なり具合が悪い関係にある画像の場合は、共通する画像の内どちらか選択すれば良く、パノラマ画像を作成する為に必要な重ならない部分側の画像を用いても良い場合もある。
ワールド座標に基づいた三次元化による合成により、全歯列をいわゆる入れ歯風の3次元形状に表示することが可能となる。
2次元の歯側面のパノラマデジタル画像表示、及び3次元の歯側面のパノラマデジタル画像表示は、患者にとって自らの全体の歯列状態を容易に理解することができる様になることから、例えば、2次元パノラマ歯列データ、3次元パノラマ歯列データのそれぞれについて、矯正シミュレーション処理、仮想ホワイトニング処理を施して仮想歯列を形成した状態の画像をコンピュータモニター上に併置して、患者に治療の効果等を実感させる態様を形成しても良い。
【0050】
矯正シミュレーション処理とは、例えば、2次元パノラマ歯列画像であれば、あらかじめ歯一つの様々な形状のデータベースを部位に応じて作成し、2次元パノラマ歯列画像上のそれぞれの歯の画像に対し、矯正歯科医がグラフィックソフトウェア上でコンピュータマウスを操作してコピーペーストを行って、形成した仮想矯正パノラマ歯列を形成する手段を示す。
パノラマ3次元歯列画像の場合は、既に3次元座標が設定されていることから、既存のCADソフトウェア上で、矯正歯科医等がパノラマ3次元歯列画像の3次元座標調整を行って、仮想矯正3次元パノラマ歯列を形成する手段が例示される。これらの矯正パノラマ表示手法は、例示であり、その他の手法を取り入れてもよい。
自らのパノラマ2次元及び3次元歯列画像に対する仮想ホワイトニング処理後の仮想表示も、歯科医がグラフィックソフトウェア上のこれらの画像に対し、色データの調整を行ったものを、併記してもよい。このように仮想矯正、仮想着色処理を、患者自らのパノラマ歯列に行ったものを画面上に併設することで、患者は治療の理解を深めることが可能となる。
【0051】
照準光照射手段
図9は、本発明の一実施例を示す図である。
A10は、反射鏡ユニットであり、硬質のプラスチック製等で形成され、先端に所定の角度(例えば45度)で設置された反射鏡A10Kを設け、後端に撮影ユニットA14の外周と接続可能な円筒状の装着部A10Sが形成され、その間は、開放された形状となっている。
装着部A10Sと撮影ユニットA14との接続は、押し込む形で形成され、離脱も、引き離すだけで可能とする程度で足り、回転防止の為、両者に凹凸を設けたり、楕円形等の非対称形状にしたりしても良い。
A11は、本体であり、プラスチック、樹脂で形成され、口径が大きいボールペンのような円筒状で手で持ちやすい形状を具備し、先端に撮影ユニットA14が突出するように配置され、後端には、外部処理装置と接続する為のケーブルA15が接続する。
A12は、反射鏡ユニットA10の先端に所定の角度で配置された反射鏡A10Kを歯科医、歯科衛生士等が直接見て観察する際の観察方向である。
【0052】
A13は、照準光照射面であり、照準用光源A142から出力された照準光が反射鏡A10Kで反射して歯面を照らし出している際の照準光の照射面の一例である。
照準用光源A142の位置は任意であり、撮影画像の範囲を決定できる位置であれば、他の位置でも良く、その部位は、例えば、反射鏡ユニットA10の先端部であって、撮影範囲を照明する部位であってもよい。この場合は、光路が短くなるため、指向角度が多少広くても撮影画像の範囲を照明できる場合もある。
図9(c)に撮影ユニットA14を拡大した状態を示した。
A141は、照明用光源であり、広域な指向角度をもつ、LED又はレンズとLEDの組み合わせが例示される。 照明用光源A141は、撮影部材A143の周辺に複数配置されている。
A142は、照準用光源であり、指向角度が小さいLEDや、レンズとLEDの組み合わせによって、照射面に所定の広がりをもつことが可能な出力を行うものが例示される。
【0053】
又、指向角度が小さい光源の場合は、複数所定の間隔をあけて配置されることが好ましい。
A143は、撮影部材であり、CCD、CMOSのカメラで構成され、画素数は、より多いものが好ましい。
A15は、外部画像表示機器と接続するためのケーブルであり、USBケーブルのような汎用ケーブルの他、専用のケーブルで形成されても良い。
A16a、A16bは、第1操作ボタン、第操作ボタンであり、プッシュ式、プル式、又は回転式等で構成され、それぞれのボタンの中で、第1操作ボタンA16aを押すと所定時間、照準用光源A142が発光し、反射鏡A10Kを介して要部を一定時間だけ照らす。
一定時間とは、利用者が、少なくとも口腔内の要部を照らす照準光を認識できる時間であって、好ましくは、撮影のタイミング、例えば第1操作ボタンA16a等が押されるまでである。
撮影時は、静止画像に異なる配色の照明部が形成される為、観察の妨げになる点で好ましくないが、観察の妨げにならない場合は、特に照準用光を消す必要がなく、点滅させて、利用者に認識させるものであっても良い。この照準光の照射面積を維持させながら口腔内の歯列側面を撮影することで、反射鏡と歯の距離を一定にすることも可能である。
【0054】
次に図9で示す実施例の動作を説明する。
撮影ユニットA14の撮影部材A143の周辺の装着された照明用光源A141の照明出力は、反射鏡A10Kを介して口腔内の歯AH1を照明する。A14Lが照準光光路である。
その他、照明用光源も反射鏡A10Kを介して照射され、照明光面内の一部が照準光照射面A13が形成された状態となっている。
撮影部材A143は、照らし出された口腔内の部位を、反射鏡A10Kを介して入力し、ケーブルA15を介して、外部モニター装置により表示する。
歯科医師等の利用者は、外部モニター装置で表示される画像で、撮影位置を把握できるが、診療時間を短くする場合や、治療が含まれる場合等は、デンタルミラーと同様の使用がされる場合が多く、観察方向がA12で示す様に撮影画像と異なる状態となる場合があるが、その際は、例えば第1操作ボタンA16aを押す。第1操作ボタンA16aが押されると、照準用光源A142が発光し、発光は、所定の時間、好ましくは撮影開始前まで、行われ、観察者が。観察位置と、撮影位置を確認する程度の強さで発光する。
【0055】
観察者は、撮影位置と観察位置を一致させるため反射鏡A10Kの移動を行い、再度第1操作ボタンA16aを押すことで、撮影位置と観察位置の調整を行う。
位置決めが終了すると、再度第1操作ボタンA16a又は第2操作ボタンA16bを押すことで静止画又は動画の記録が行われる。上述した第1操作ボタンA16aと第2操作ボタンA16bの操作内容は、例示であり、場合により適宜選択されるものである。
その一例を図9(b)に示した。
A17は、画像の一例であり、撮影目的とする歯AH1が撮影されている。照準光の照射範囲は、照準光照射面A13で示す円の範囲であり、撮影を目的する要部のおよそ全部が含まれている。
照準光照射面A13の範囲は、本体A11及び反射鏡ユニットA10の組み合わせが、歯H1に対して上下に動くことにより変化することから、使用者は、本体A11及び反射鏡ユニットA10を上下させて、調整すればよく、撮影範囲よりも大きくなったり小さくなったりするが、撮影範囲の要部からずれることが無く、又点光源よりも、撮影範囲の要部を十分に示す。
以上の操作により、撮影面と観察面が調整され、正確な静止画又は動画の記録が行われる。
【0056】
図9(a)で示す本体A11を持ち、口腔内の観察部位に対し、反射鏡A10Kを目的とする部位を捉えるように縦横に移動させて観察撮影する。
口腔内カメラは、口腔内の上顎、又は下顎の狭く深い部位等に挿入され、反射鏡の撮影範囲は、広範囲にわたると共に反射鏡が逆さの状態で口腔内が撮影されたり。斜め状態、横向きなどでも撮影されたりすることから、撮影画像も、傾いたり、逆さになったりする場合がある。
図1、図3で示す様に口腔内カメラの反射鏡を奥歯から前歯にかけて移動させながら撮影する場合も、手動であるが為にカメラ及び反射鏡は、傾いたり回転したりする場合があり、得られる画像も同様に傾いたり、回転したりする。
この状態に撮影状態を位置センサによって、検出し、画像が上下反対の状態や、斜めの状態に対してこれをカメラの理想的な動きである水平移動状態で撮影した際に得られる画像に補整する画像補整手段を具えることで、カメラが多少回転や傾いた状態であっても、得られる画像が姿勢制御された画像となる手段を図10から図12に示し説明する。
【0057】
撮影画像修正手段
図10は、本発明の一実施例を説明する為に用いられる口腔内カメラの一例であり、一部を断面図として示した。
A21は、把持用の筐体であり、内部空間を具えた円柱状を有し、先端にカメラとカメラの周辺に形成された照明用光源とからなる楕円筒状の撮影ユニットA23が筐体A21より突出した状態で接続し、後端に外部表示装置と連結する為のケーブルA26が接続する。
照明ユニットの一例を図10に示した。
A22は、反射鏡ユニットであり、先端に所定角度で配置された反射鏡A22Hが装着され、後端には、撮影ユニットA23の周辺を覆うように装着可能な円筒状の装着部A22Sが形成され、その他は開放された状態となっている。
A24は、回路基板であり、筐体A21内部に装着され、画像処理用IC等が実装されている。A25a、A25bは、位置センサであり、回路基板に実装されたICチップ状を有する。位置センサの個数、実装部位は一例であり、センサの種類によっては、実装されない場合もある。
位置センサA25a、A25bは、加速度センサ、角速度センサ等、口腔内カメラが広範囲な移動状態を取り得ることから、角度によって、計測不能な状態にならないセンサ素子が採用される。位置センサの個数を2つとして示したが、例示であって、軸の数に応じて、チップの数が変化したり、3軸用のユニットがあれば、一つである場合もある。
加速度センサ及び角速度センサは3軸のセンサが例示され、位置センサの個数も軸の数等で調整される場合もある。
【0058】
位置センサA25a、A25b・・のx軸、y軸、z軸は、例えば図12で示す軸が例示される。
位置センサA25a、A25bを角速度センサ(ジャイロセンサ)とした場合、角速度センサは、例えば、それぞれx軸周りの移動による角度の変化量、y軸周りの移動による角度の変化量、及びz軸周りの移動による角度の変化量をそれぞれ出力する。
角速度センサの場合は、x軸、y軸及びz軸の初期状態を任意に設定した状態で、それぞれの軸の変化量を加算していき、カメラの撮影状態を検出する。
これに対し、 加速度センサは、それぞれのx軸方向の加速度成分、y軸方向の加速度成分、z軸方向の加速度成分を出力する。更にこれらの加速度成分の合成ベクトルが姿勢ベクトルを出力し、静止状態にある時は、それぞれ重力加速度ベクトルを示す。 この姿勢ベクトルから、カメラの撮影状態が得られる。
例えば加速度センサは、静止時、重力加速度ベクトルA451の状態を姿勢ベクトルとして出力する為、この状態でのx軸方向、y軸方向、z軸方向のベクトルを基準姿勢としてその後角速度センサを用いてそれぞれの軸の回転変化量を加算等の演算をしていく手法等が利用できることから、
【0059】
加速度センサと角速度センサを両方組み合わせることで、カメラの様々な状態を検出してもよい。
図11は、位置センサを用いて画像表示状態を補整する手段の一例を示すブロック図である。当該ブロック図でしめす構成は、コンピュータ処理であれば、プログラムで実行される部分を持つものであってもよい。
A31は、撮影手段であり、図10の撮影ユニットA23の中心に配置されたカメラで動画、静止画を撮影する手段を示す。
A32は、画像補整手段であり、画像記録メモリ、CPU等で構成され、撮影手段A31で得られた画像を一時記録し、位置検出手段A34のカメラ角度情報に基づいて、画像を回転させ見やすい状態の画像データを形成する。
例えば、撮影ユニットA23が撮影し、モニターに映し出す画像の基準姿勢を定め、その基準姿勢に対し、筐体A21を動かすことで、基準姿勢画像が回転した場合において、 例えば角速度センサ等がそれぞれの軸での角速度から、回転角度の変化量を検出し、その回転角度変化量分を引いた角度だけ、画像を回転させて表示させることで、見やすい画像が形成可能となる。
【0060】
尚、図12でしめすy軸周りの回転のみで、画像の補整が可能な場合もある。
反射鏡で反射させた口腔内の像を撮影する場合、撮影ユニットA23のカメラは、常に反射鏡方向を向いている為、画像が回転するのは、図12でしめすy軸座標を中心にした筐体の回転に伴う回転が主となるためである。
従って、少なくとも、本体A11及び反射鏡ユニットA10がx軸、y軸及びz軸方向に変化した状態で、xz平面に映し出される画像を画像表示部において、一定の方向を向く状態に補整されることが好ましい場合もある。
33は、画像表示手段であり、コンピュータのモニター、その他専用のモニターが示され、画像補整手段A32の出力画像が表示されるものであれば良い。
【0061】
A34は、位置検出手段であり、図10の位置センサA25a、A25b等で構成され、具体的には、角速度を出力するレートジャイロ、角度を出力するレート積分ジャイロ、姿勢ジャイロ、MEMSタイプその他機械式、光学式等の角速度センサ、ピエゾ抵抗タイプ、静電容量タイプ、熱検知タイプのMEMSセンサ等の加速度センサが利用可能である。
次に図11の動作を図10、図12を用いて説明する。
図12でしめす座標軸は、一つの位置センサが3軸に対応する場合を示すものであり、位置センサがそれぞれ1軸、2軸等で対応する場合は、位置センサの部位毎に対応する座標軸が設定される。
図10でしめす筐体A21を持ち、反射鏡A22Hを口腔内に挿入して目的とする部位を撮影する。その際、筐体A21上に取り付けられたスイッチを操作するなどして初期姿勢状態を記録する。所期姿勢状態における座標の一例を図12のA410で示した。
位置センサの設置により座標軸が形成される。本実施例では、A421がx軸、A431がy軸、A441がz軸とした。
【0062】
尚、A451は、重力加速度ベクトルであり、加速度センサの静止時の合成された姿勢ベクトルの一例である。従って重力加速度ベクトルは、加速度センサを用いないときは利用できない場合がある。
口腔内カメラが例えば、奥歯の側面を撮影する為に直立に近い状態での座標を示す。
A422は、x軸であり、A432は、y軸、A442はz軸を示し、加速度センサを用いた場合、A452は、重力加速度ベクトルを示すことができる。
口腔内の目的とする部位へ、反射鏡22Hを移動させる。動き方の一例を図12でしめす。反射鏡22H及び筐体で構成される口腔内カメラは、A411、A412、A413で示す様な縦横に移動し、撮影手段A31は、それぞれの状態での口腔内画像を静止画、動画で撮影して画像補整手段A32に出力する。
【0063】
位置検出手段A34は、例えば、初期姿勢情報をx、y、z方向のそれぞれに対して画像補整手段A32に出力する。尚、本実施例のように、反射鏡の画像を表示する構成の場合、カメラは反射鏡方向に向いている為、カメラ画像が反転したり見づらい状態となるのは、y軸周りの回転に要因があることが多いことから、1軸タイプの位置センサのみを利用してもよい場合もある。画像補整手段A32は、この初期姿勢情報と画像とを対応づけて、画像表示手段A33に出力し、表示させる。
図12で示す様に口腔内カメラをA411、A412、A413の様に動かして、口腔内を撮影する場合、撮影手段A31は、それぞれの姿勢に応じた画像を出力する。y軸を中心にカメラが回転すると、画像は、逆さに撮影され、撮影状態に対応した画像が出力される。
【0064】
位置検出手段A34は、位置センサA25a、A25b(例えばジャイロセンサーの場合)からそれぞれ、x軸、y軸、z軸周りでの角速度を検出し、この角速度からx軸周りの角度の変化量(Δθyz)、y軸周りの角度の変化量(Δθxz)、及びz軸周りの角度の変化量(Δθxy)を検出する。
これらの変化量を画像補整手段A32へ出力する。画像補整手段A32は、撮影手段A31から入力された画像データと、位置検出手段34から出力された位置情報に基づいて、例えば、角度の変化量に基づいて画像を回転させて、最初の画像の状態に戻す。
従って、画像表示手段A33は、同じ口腔内対象物をカメラを回転させて動画、静止画で撮影しても、画像は、常に最初の設定状態のままで表示内容画像が変化する表示をすることができる。
【0065】
歯肉と歯の境界検出手段
本発明は、歯と歯肉の境界を明確に設定検出可能とするための構成を含む。
口腔内カメラの画像は、暗く狭い空間を照明をあてながら撮影する箇所が多いため、例えば、図1、図3で示すコンピュータ画像処理によるパノラマ画像を形成する手段として、画像間の共通部分を検出する場合や、患者への歯科治療の説明を行う場合等は、歯肉と歯の境など、近似的な色合や唾液の影響等のため、識別困難な場合がある。
そこで、実画像の歯の輪郭を抽出する輪郭抽出手段、と実画像を成分色に変換して、歯及び歯肉の形状を明確にする色成分画像変換手段、前記色成分画像変換手段で変換された画像と、輪郭抽出画像を合成した合成画像形成手段からなる組み合わせ構成により歯と歯肉の輪郭を歯の汚れや、照明が十分でない場所でも、抽出可能とした。
輪郭抽出手段は、例えば位相限定相関法で用いられる画像に対し2次元フーリエ変換を行う手段と、当該フーリエ変換後、画像の濃淡の変化を示す周波数領域における位相信号のみを検出して逆フーリエ変換を行う手段で構成される。その他、Z変換系、ラプラス変換系の利用も可能な場合がある。
【0066】
色成分画像変換手段は、例えば、RGB表色系、La*b*表色系、HSV表色系、XYZ表色系、xyY表色系、L*u*v*表色系、マンセル表色系、オストワルト表色系、NCS (Natural Color System) 、DIN表色系等の表色系で示される成分色に分解した画像を形成し、この中から、形状が明確に見える成分色を選択して、その成分色に基づいた画像を形成する手段、又は表色系を問わずその成分色を合成して、より形状が明確に見える成分色を形成して当該成分色に基づく画像を形成する手段である。当該選択は、予め口腔内画像にたいして適した成分色を測定して決定することが好ましいが、例えば La*b*表色系、のL成分画像、a*成分画像、又はb*成分画像のいずれか1つと、HSV表色系のH(色相(Hue))成分画像、S(彩度(Saturation・Chroma))成分画像、V(明度(Brightness・Lightness・Value))成分画像、のいずれか1つとを組み合わせて合成することが示され、異なる表色系の成分色同士の合成が好ましい場合がある。成分色の選択又は組み合わせ合成は、形状が明確に見える成分色への変換又は、複数成分色の合成をおこなうものであれば良い。
【0067】
尚、成分画像とは、成分を強調する画像を例えばプログラム上の成分値を示す数値を調整して得られたもの等を含むものである。
又、形状が明確に認識可能な成分画像を選択する他に、人がよりその境界を認識できる色の組み合わせを用いて着色する。例えばR(赤色)成分画像を歯肉に適用し、G(緑色)成分画像を歯に適用することが示される。
又、ここで示す成分色とは、画像から検出したものだけではなく、境界を明確にする色を用いて新たに着色しても良い場合もある。
そして、合成画像形成手段は、前記輪郭抽出手段で得られた輪郭画像と、色成分画像変換手段で得られた画像を、例えばクロマキー手法のように、輪郭画像の輪郭部分以外を同色系として、色成分画像を透過する等して合成する。又、当該合成後、色成分画像を更に強調するため、人が目視的、又は機械的に、より境界がより区別されるべく歯肉部を赤色系に変色又は濃く強調させ、歯を緑色に変色又は濃く強調させたりする手段を用いても良い。尚、色成分によっては、歯肉色を赤色に、歯色を緑色に変換するものがあれば、その色成分画像に変換してもよい。これらの手段は、いずれもコンピュータソフトウェアにより実現されることが好ましいが、ゲートアレイ、PLD (Programmable Logic Device)等のカスタム、セミカスタムICによって構成される場合もある。
【0068】
次に図13で示す実施例について説明する。
2901は、画像入力手段であり、例えば口腔内カメラで撮影された静止画像を入力する手段である。画像入力手段で入力された静止画画像は、フィルタ手段2102に出力される。2902は、フィルタ手段であり、アンシャープフィルタなどのエッジ強調フィルタで示されるが、その他、画像の濃淡を強調するフィルタを用いてもよい場合がある。
フィルタ手段2902でフィルタ処理が行われた画像は、輪郭抽出手段2903及び成分色画像変換手段2904へ出力される。
2903は、輪郭抽出手段であり、2次元フーリエ変換手段、位相信号検出手段、及び逆フーリエ変換手段よりなるが、これらの手段は、open−CV(インテル社製)のようなソフトウェアライブラリ中にあるプログラムモジュールを組み合わせて実行するものが例示される。
2904は、成分色画像変換手段であり、上述した様に、La*b*表色系、HSV表色系のa*成分色やb*成分色、H成分色S成分色V成分色に変換した画像を形成する手段と、これら成分色を合成する成分色合成手段からなり、色合いが変化するが、歯及び歯肉の形状が明確な画像が形成される。更に、この色合いの変化により、歯の汚れ、虫歯の発見も可能となる場合がある。
【0069】
輪郭抽出手段2903で得られた輪郭画像と、成分色画像変換手段2904で成分色画像に変換された画像は、合成表示手段2905へ出力される。
2905は、合成表示手段であり、輪郭抽出手段2903の出力した輪郭画像と、成分色画像変換手段の出力成分色画像を合成する。 この合成は、例えば、輪郭画像の輪郭以外を同系色化し、この同系色を透明化して、背景映像となる成分色画像と合成するものである。合成された画像は、コンピュータモニター上に表示される。
これら一連の合成処理により歯肉と歯の境界が鮮明な画像を得ることができる場合がある。又、図5で示す左右の歯列をマークMLがおおよそ画像の中心にくる画像同士(例えば画像906eと画像301c)を合成又は結合する際の目安として例えば中心の2つの歯の境界KLを検出する際、本実施例は好適に用いられる。又、フーリエ変換により位相信号を検出して得られる輪郭画像と実画像をそのまま合成してもよい。また成分色画像のみを用いても形状が明確になる画像が得られることから、成分色画像検出手段で得られた画像のみでも歯肉と歯の境界が明確になる画像が得られる。このような歯と歯肉の境界が明確になった画像は、各種合成作業用の目印として利用されたり、患者への説明用、歯科治療用に用いることができる。
【産業上の利用可能性】
【0070】
本発明は、歯科診療における口腔内健全化を図るべく、患者に口腔内情報を見やすい形式で提供することで、患者の口腔内情報を新たにすることができる歯科システムを提案するものであり、歯科医療分野において有効に利用される。
【符号の説明】
【0071】
101 口腔内カメラ
102 反射鏡
103 反射鏡ユニット
104 本体
105 撮影ユニット
ML マーク
IG 補正用表示部
RM 輪郭
【技術分野】
【0001】
本発明は、口腔内全般を撮影し、パノラマ表示するシステムに関するものである。
【背景技術】
【0002】
口腔内撮影用のカメラは、カメラの高分解能化、小型化、低価格化等から虫歯治療、インプラント治療等における患者の治療への理解と同意を得る為の使用や、口腔内状態の記録等に利用はされており、個々の患部を撮影する他、歯列側面全体を撮影し診察や治療に用いる場合がある。
歯列の撮影は、歯列が複雑に湾曲している為に、上前歯部、下前歯部、右上臼歯部、右下臼歯部、左上臼歯部、左下臼歯部に分けて撮像して複数の画像を形成する場合が多い。
歯列画像は、歯列残存歯数および虫歯の状態と修復物の状況を判別したり、画像内の歯肉の腫れから歯肉炎の発症部位を特定するような診察用画像として用いられたりするが、複数の画像を用いて歯列を表示する場合は、それぞれの画像が、口腔内のどの部位かを容易には認識しにくい。
口腔内の実画像でパノラマ画像を得る手法は、例えば国際公開を2007/063980号公報に、歯列アーチホーム概形相似仮想形曲線に近似した形状を持つフレームを形成してその側面に撮像装置を配置したものによって、歯列全体を撮影し、これをステレオ形式撮影とすることで、立体3次元のパノラマ画像を得ることが記載されている。
【0003】
確かに、立体状で歯列の画像を撮影することができるが、アーチホーム概刑相似仮想形曲線を備えたフレームの形成を要する点で簡易的な測定手法とは言い難い面がある。
特開2005-144171には、撮影部位に照準用レーザダイオード光を照射する構成が記載され、口腔内という狭い空間で目的部位を的確に撮影することが記載されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2001−212161号公報
【特許文献2】特開2005−144171号公報
【特許文献3】国際公開WO2007/063980公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
画像表示による口腔内の観察は、数多く提案されているが、結局従来の単発的で局所的な治療システム上での、患者への情報提供にとどまるものであり、口腔内の歯及び歯肉等の口腔内全般の健全化を図るべ為の撮影画像を提供するシステムにまでは到達していない。
歯列の特に歯側面のパノラマ画像を得るには、国際公開WO2007/063980公報でも示されているように、歯列アーチホーム概形相似仮想形曲線に近似した形状を持つフレームのような、固定可能な型枠を用意する必要がある等、手持ち式の口腔内カメラによる試みは、未だ提案されるに至っていない。
【課題を解決するための手段】
【0006】
上記に鑑み本発明は、歯列の側面を連写撮影して画像列を形成する連写画像列形成手段、前記連写画像列形成手段で形成された画像列を部分的な歯列画像として、全体合成の中心となる画像から合成して複数の部分歯列画像を形成する側面歯列画像形成手段、前記側面歯列画像形成手段で形成された複数の部分歯列画像間で全体合成の中心となる画像に基づいて連結合成して全体の歯列を形成する側面歯列画像合成手段を具備することで、手持ち型の口腔内カメラを用いて明瞭なパノラマ歯列が形成でき、更にX線パノラマ歯列画像、仮想矯正又は仮想審美着色したパノラマ歯列とを併設して表示したり、重ね合わせて表示することで、歯科における診療範囲を広げることを可能とする。
【0007】
本発明で示す画像は、最終的にデジタル画像を示すものであって、動画、静止画いずれを用いても良い。
本発明における「全体合成の中心となる画像」とは、例えば、2つの部分パノラマ画像を合成する場合の両者に共通する画像を示す。「全体」には、最終的な全体パノラマ歯列画像だけを示すのではなく、例えば、3つ以上の部分歯列画像を形成した場合であって、最初に2つの部分パノラマ歯列画像を合成して得られた合成途中のパノラマ歯列画像も含まれる。「全体合成の中心となる画像から合成して」とは、例えば、前歯の表面の中央の一つの歯の一部が中央にくる画像から、奥歯方向の歯列を連写して得られた複数の静止画像を合成して左側部分歯列パノラマ画像と右側部分歯列パノラマ画像を形成することを意味する。「連結合成」とは、例えば、左側部分歯列パノラマ画像と、右側部分歯列パノラマ画像とで、両者に共通する部位で合成したり、連結可能な部位に基づいて接続したりして合成することを意味する。
【0008】
本発明は、合成の中心となる部分を含む画像にマークを設定する場合があるが、このマークとは、例えば、唾液、水等で容易に溶解せず、細長い長方形状のもの、短い長方形状を有し、例えば裏面に接着剤、粘着剤等が塗布されたシールであって、剥がすことが可能な付着物を示す。
又、付着物に限らず、色を落とすことが可能で、明確に撮影しやすい、緑、赤等の着色されたペンによりマークを歯に描いても良い。
マークを配置する部位は、上歯と下の歯にかかる様に配置されることが好ましいが、例えば、上顎、下顎いずれか一方のみ撮影する場合は、撮影する方のみ配置しても良い。 マークを配置する歯列上の所定の位置とは、例えば、カメラの撮影方向や、持ち方などを変えることで、撮影が中断したり、動きが静止する位置であって、合成の中心となる画像を示す。
【0009】
撮影画像上で認識しやすい色(緑、青等)、形状で形成されればよく、材質、色、は適宜選択される。また、3次元画像を得る場合は、特徴のある立体性を備えたものを用いても良い。マークは、歯の表面に表示され、撮影された画像に明確に位置表示がされるものであればよいことから例えば、歯表面に投影される寸法が既知の形状を持つレーザー照準光を照射する照射手段を設ける場合や、スポットライトのように、照明距離と照射される光の面積が対応関係にある照射手段を口腔内カメラから歯に向けて照射可能に配置するものであってもよい。
マークは、少なくとも、マークが所定の位置に撮影された画像から合成が始まれば良く、撮影方向は、奥歯からである必要はない場合もある。撮影方向と合成方向は、必ずしも逆でなくても良く、合成時マークが所定の位置に表示された画像から左右へ部分合成し、最終的にマークが所定の位置に表示された画像に基づいて全体合成が行われれば良い場合もある。 合成を開始するマークの所定の位置とは、例えば、マークが撮影画像の中心に来た場合が例示されるが、これに限らず、部分合成と全体合成において、合成が容易にな部位であれば良い。
【0010】
マークは、例えば、歯の裏側側面等、歯列の右、中央、左の3つの側面について部分合成する場合は、右側面と中央側面の中間の歯、及び中央側面と右側面の歯の2つ必要となる場合もあり、複数のマークが付されても良い場合もある。本発明の、歯列の側面とは、表側だけでなく、裏側、咬合面を含む場合もある。連写は、毎秒30枚以下を自動的に撮影することを示す。
場所を変えて撮影された画像の合成は、公知のパノラマ合成手法であり、合成する際の手法は、既存の手法を選択的に用いればよく、単純合成法、単純列挙法、ブロックマッチング法、及びLucas-Kanade法等のオプティカルフロー推定法等の自動又は手動の合成方法が利用可能であるが、事前にアフィン変換等の画像調整手段で、画像間の共通部分に基づいて、傾き、倍率等を調整することが好ましい。
本発明における特徴部位とは、部分歯列パノラマ画像を結合する際の結合位置を示す線状、点状、図形状、又は立体状のものであって、例えば、2つの側面パノラマ画像を合成する場合は、中央の前歯と前歯の境界線が示されるが、これに限らず、前歯一つ、特徴がある歯や歯肉の先端等の部位も含まれる。
【0011】
口腔内とは、歯、歯列、歯肉、歯槽骨、口唇、硬口蓋、軟口蓋、口蓋垂等の領域が例示される。
画像化とは、コンピュータのモニター(ディスプレイ)装置、携帯電話表示部へ出力表示可能な画像データに変換することの他、用紙に印字・印刷された状態等の2次元的又は3次元的な表示がされた状態を示す。
本発明は、反射鏡を利用するため比較的照射光の光路が長く、指向角に基づく広がりを具えたLED等の照準光源を用いることで、撮影位置と撮影範囲を明確にすることができる。
【0012】
更に、本発明は、縦横に動く口腔内カメラの姿勢をジャイロセンサによって本体の角度情報を測定し、この本体の角度から鏡の角度を導き出し、どのような状態にあるかを把握する。撮影状態から画像の姿勢を調整することで、縦横に移動するカメラの状態にかかわらず、常に見やすい状態の画像が表示されることを実現した。
本発明では、角速度センサ(ジャイロセンサ)、加速度センサ等の位置センサを用いる。具体的には、角速度を出力するレートジャイロ、角度を出力するレート積分ジャイロ、姿勢ジャイロ、MEMS(micro electro mechanical systems)タイプその他機械式、光学式等の角速度センサ、ピエゾ抵抗タイプ、静電容量タイプ、熱検知タイプのMEMSセンサ等の加速度センサが例示される。
本発明における照準光の色は、照明光の色と識別できる色であれば良く、照明光が白色であれば、照準光は赤色、緑色等が例示される。又、照準光の照射のタイミングは、使用者が撮影を開始する直前のタイミングが好ましいが、撮影中、短時間の照射であってもよい場合もある。
【0013】
更に本発明は、簡易的に口腔内歯列側面におけるパノラマ実画像が形成できることから、撮影されたパノラマX線画像を取り込み、重ね合わせたり、例えば歯ごとのX線画像をパノラマ実画像と併設したり、重ね合わせて表示することで、歯科従事者、患者にわかりやすい臨床データを形成することができる。
この実画像と、X線画像の重ね合わせ、併置等を表示手段上でおこなうことで、患者の治療に対するより一層の理解を実現することも可能となる。
【発明の効果】
【0014】
本発明は、一部又は全部の歯列について、実画像による明瞭なパノラマ的表示を手持ち状態で撮影することができる口腔内カメラを用いて簡易に可能とし、更に場合によっては、X線画像を、重ねたり、併記したりして表示することができることから、当該表示を用いて患者に対し、わかりやすい診療説明を行うことができる。
【図面の簡単な説明】
【0015】
【図1】図1は本発明の一実施例を示す図である。
【図2】図2は、実施例を説明する為の図である。
【図3】図3は、実施例を説明する為の図である。
【図4】図4は、実施例を説明する為の図である。
【図5】図5は、本発明の他の実施例を示す図である。
【図6】図6は、実施例を説明する為の図である。
【図7】図7は、実施例を説明する為の図である。
【図8】図8は、実施例を説明する為の図である。
【図9】図9は本発明の一実施例を示す図である。
【図10】図10は、実施例を説明する為の図である。
【図11】図11は、実施例を説明する為の図である。
【図12】図12は、実施例を説明する為の図である。
【図13】図13は、本発明の他の実施例を示す図である。
【発明を実施するための形態】
【0016】
本発明は、歯列を連写撮影して、パノラマ合成による部分パノラマ画像と、これら部分的なパノラマ画像を合成して全体のパノラマ歯列を形成する手法であって、好ましくは合成部にマークを配置する構成により、手持ちカメラによる歯列パノラマ画像を容易に形成することを可能とする。
歯列の側面方向を撮影してパノラマ歯列画像を形成する際、カメラが反射鏡を用いる場合は、例えば、頬肉と歯側面に挟まれた状態で、奥歯から前歯方向へ撮影していくことが好ましい。所定の位置で、向きを変えて、反対の奥歯から前歯方向へ撮影していく。
撮影は、カメラのシャッターボタンを押すと、所定の間隔で静止画を形成する連写撮影が例示されるが、静止画を毎秒30枚程度撮影するデジタル動画を形成する手法で、連続撮影された静止画を形成しても良いが、毎秒20枚以下で撮影されることが好ましい場合もある。
連写は、少なくとも画像間に共通部位がある静止画画像が形成されればよいことから、より低スピードで、場所をずらしながらシャッターを自動又は手動で切って連写画像を形成しても良い場合もある。
手持ちのカメラによる奥歯撮影の場合、撮影距離を確保する為、カメラを用いて頬肉を押し広げる操作を行いながら撮影する場合が多いが、その場合、頬肉を押し広げる分カメラは手ぶれ等の揺動が少なく、安定した状態に近いと言い得るが、前歯に移行する際、このような押し広げる操作から解放され、カメラが手ぶれ等で急激に揺動する場合があるが、本発明では、歯肉と歯、歯と歯の境界の検出を行うことで、基準部位を形成し、この基準に併せるようにして、揺動画像の補整を行い、結合する手法取り得る場合もある。
【実施例1】
【0017】
次に本発明の実施例を図面を参照して詳細に説明する。
更に図1から図5に歯を噛み合わせた状態でパノラマ状の歯列を明瞭に合成を行って形成するパノラマ歯列画像形成手法の一例を示す。
図1でしめす様にカメラにより、左奥から撮影した画像を中央付近まで撮影をし、口腔内カメラの向きを変えて、右奥から中央付近くらいまで連写撮影する手法がとられるが、この場合、一度カメラの方向を変える為に撮影状態が中断することから、左右の歯列画像の合成が正確にできず、ずれてしまうことが多い。
又、手動によるカメラの移動撮影は、例えば、奥歯の撮影の場合、口腔内内面の頬肉と歯側面間に配置され、この頬肉を押しのける様な状態で口腔内カメラを移動させたり、歯側面との接触状態が形成される等するため、頬肉、歯側面が口腔内カメラの反射鏡や、カメラの撮影部位を支える状態となるが、前歯方向へ口腔内カメラを移動させると、頬肉による圧迫等から解放されて、手持ち状態となり撮影するカメラの位置が不安定となり、画像が乱れやすくなる。特にカメラと被写体である歯側面との距離が変動したり撮影向きにぶれが出たりして、被写体である歯の大きさが変動したり画像に歪みが生じる場合がある。
【0018】
図1で示した反射鏡を用いた口腔内カメラ101は、図9、図10で示す構成が例示され、モジュール状のCCDカメラ、C−MOSカメラの周辺に光源用LEDを複数配列した構成であって、反射鏡を介して、口腔内に光源用LEDによる照明を行うとともに、口腔内の歯列等の画像を連写的に得るものであり、奥歯から安定して撮影できるものであるが、これに限るものではなく、反射鏡を用いない直接撮影用のカメラであっても良い場合もある。
ここで用いる口腔内カメラ101は、平面状の反射鏡102(図9のA10K)を備えた反射鏡ユニット103(図9のA10)を、CCDカメラ、C−MOSカメラなどの撮像器と発光ダイオードを撮像器の周囲に4〜8個程度配置した照明器を組み合わせた撮影ユニット105(図9のA14)を先端に備えた本体104(図9のA11)の先端に交換可能として装着使用する構成をそなえたものが例示される。
撮影ユニット105は、静止画を例えば毎秒10枚から30枚の範囲で画像が得られる様に撮影する連写手法を用いて静止画デジタル画像を出力するものが例示される。
【0019】
連写撮影を始めるまでに、あらかじめ上下の歯を噛み合わせた状態の歯列100aの中央付近にマークMLを付しておく、マークMLは、着色されたシールの一時的付着、色を落とすことが可能な着色ペンによる記載、等、カメラ撮影により画像に鮮明に表示できるものが好ましい。マークMLを例えば歯列の中心付近に付す際の中心付近とは、左右の歯列を連写撮影した後、合成する際の基準となる場所を示すものであって、その他、撮影した画像の中央付近で、画像処理上特徴となる部位を検出し、その部位をマーク画像上に設定するものであってもよい。マークMLは、上歯と下歯にかかる様に配置することが好ましい。
この連写動作を、例えば口腔内カメラ101の反射鏡102を奥歯から前歯方向に向かって撮影する為に、106aの状態から106b、106cの様に歯面に沿って、好ましくは歯列面から同じ距離だけ離して、本体104を手で持ち、反射鏡102を動かして撮影する。
【0020】
IGは、補正用表示部であり、歯表面に剥離可能な状態で付着される貼付部材に、画像補正用の例えば井桁、四角、三角、碁盤の目、その他の図形であって、画像の歪み、カメラと歯側面間の距離に基づく、画像の大小等の補正が可能な表示であればよく、又補正用表示部IGの色も緑色、その他、画像処理において識別可能な色彩を付したものであれば緑色に限るものではない。
この貼付部材は、例えば、図1、図3で示す様に歯の中央であって、マークMLを付した歯の表面に貼り付けても良く、又貼り付ける歯は、一つの歯に限らず、複数の歯に貼付部材を貼り付けて撮影してもよく、その他の歯であって、口腔内で、その他の支えがなく、手動で歯を撮影する部位へ付してもよい場合もある。
補正用表示部IGを歯表面に付する手段は、マークMLと同様の手法を用いれば良く、表示が唾液等で、溶けたり、滲んだりしないものを用いることが例示され 左歯列一部パノラマ画像と右歯列一部パノラマ画像を、両者に共通して撮影された補正用表示部IGに基づいて、両画像歪みや大きさを補正して、結合する際は好適である。
【0021】
尚、左歯列と中央歯列及び右歯列と3つに分割した一部パノラマ画像を結合する際は、それぞれの一部パノラマ画像列の共通な歯に補正用表示部IGを設けても良い。
撮影された個々の静止画における補正も、例えば、連写して得られる画像内で、基準となる補正用表示部IGに基づくか、又は、撮影された画像群の中で補正用表示部IGが撮影されているものの一つをブロックマッチング法やテンプレートマッチング法等で検出してこれを基準とし、他の画像で撮影された補正用表示部IGを検出した後、基準画像と比較して、歪み、傾き、大きさの差等を検出し、拡大、縮小、回転、移動調整をするアフィン変換を用いた補正を行っても良い。手動による揺動が避けられない撮影の際、補正用表示部IGを歯に付することによって、安定したパノラマ歯列画像形成の為の合成が可能となる。アフィン変換は、好ましい一例であって、その他、同様の画像操作が可能な調整手法を用いてもよい場合もある。
【0022】
このような補正用表示部IGを用いた画像の補正は、例えば、Zhangの方法(IEEE.Transactions on pattern Analysis and Machine Intelligence,22(11);1330-1334,2000)等のカメラ画像のキャリブレーションで用いられる手法を用いても良い。
又、補正用表示部IGは、撮影状態、アフィン変換等の処理により必須でない場合もある。
図1(b)は実際、奥歯から連写した際の一回の撮影範囲を略図的にしめしたものである。
106a→106b→106c→106d→106e→106f→106gの様に口腔内カメラ101の反射鏡部分を経時的に移動させながら、静止画による連写画像を得る。 口腔内カメラ101は先端に所定の角度をもった反射鏡102を備えた構成よりなる為、歯列面を図中、左奥歯から撮影していくとすると、中央付近で、本体104の向きを変えて、図中、右奥歯から順に撮影することから、図1で示す106eから106gの面を撮影した後、口腔内カメラ101を反転させて、右奥歯からの撮影が開始する。
連写のスピードは、本体104を手動で動かすため、手ぶれ等の揺動の影響を考慮して、毎秒20枚から30枚程度として多めに撮影し、手ぶれ、ピンぼけした画像を削除する余裕をもった連写撮影することが好ましい。
【0023】
この連写は、マークMLが撮影画面又は反射鏡の中央に来る迄撮影することが好ましいが、それをある程度経過した部位まで行い、その後、撮影された画像を取捨選択してもよい場合もある。
手動によるカメラ操作の為、合成の前に、各画像の共通部位に基づいてアフィン変換を行い、画像の状態を整えた方が好ましい場合がある。
例えば、合成の最初の中心となる画像を基準に比較画像に対してブロックマッチング法で共通する複数の点を検出する。この共通する複数の点に基づいて次の画像をアフィン変換する。例えば、共通部分における基準画像の画素座標(xa、ya)、に対応する次の画像の画素座標(xb、yb)を複数選んで、次式に代入して係数値a〜fの値を得る。
係数値を次式に代入した状態で、次の画像をアフィン変換していき画像を整理した後、又は画像を整えながら、パノラマ合成を行っても良い。
【0024】
【数1】
このように歯列100aの図中左奥から正面付近まで、連写して得た画像の一部を図2に示し、図1と併用して当該実施例に基づく口腔内カメラの撮影動作を説明する。
図2(a)から(e)は、図1(b)で示す歯列の撮影画像データにおける中心付近107cから107e付近の連写撮影をした際の撮影画像データ列の一例である。
尚、口腔内カメラは、反射鏡102を利用して歯列画像を得ていることから、撮影画像は、左右が反転するが、わかりやすくする為に、反転していない状態で図2及び図4に示した。
【0025】
図2の(a)は、図1(b)の106c付近を撮影し、図2(b)は、106d付近、図2(c)は、106e付近、図2(d)は、106f付近、そして図2(e)は、106g付近を撮影した画像である。尚、手動で撮影するため、撮影画像が常に同じ状態で撮影することができない場合が多い。従って、画像が斜めになっている場合などは、他の歯の状態と例えば重なり合う部分で、アフィン変換を用いて整える補正をすることが好ましく、図2は、補正後の図を示している。
補正の際、一つの基準となる部位として、マークMLの他、反射鏡102が撮影された反射鏡面にあらかじめ設定される垂直中心線CL、水平中央線HLを用いてもよい。
【0026】
垂直中心線CL、水平中央線HLは、必ずしも画像に表示されるものではなく、また反射鏡の縁部に垂直中心線、水平中央線の始点と終点に該当する部位にそれぞれ突起等の目印を付けておく程度であってもよく、この目印に基づいて仮想的に表示される場合もある。 また、撮影用CCDカメラのレンズによる歪みをソフトウェア補正する処理をあわせて行っても良い。
RMは、鏡の輪郭であり、実際の撮影された画像は、輪郭RM内で円形状の画像となるが、範囲説明をしやすくするために、四角の画像で表示した。
撮影される画像が手持ちであるため、歯とカメラとの間の距離が異なる場合があるが、この場合は、マークMLと垂直中心線CLとが略一致した画像を基準として、その他の撮影画像の大きさを補正しても良い。
尚、反射鏡102の先端部を歯の面に軽く接触させながら、連写撮影を行うことで、得られる画像を安定させることができる場合がある。
【0027】
図1で示すように、正面から左側の奥歯に本体104の反射鏡102を配置して、その後正面方向へ移動させて連写し、例えば図2(a)〜(e)の画像を取得する。
この場合、反射鏡102の垂直中心線(CL)にマークMLが一致したタイミングで撮影取得した画像図2(c)までを、合成用画像として採用する。図2(d)以降を用いると合成時、ずれの原因となる場合があるので、合成には使用しない方が好ましい。
画像10(c)を基準の画像とすべくマークMLを基準に、必要に応じ、画像の傾きなどを補正する、すなわち、マークMLの長辺及び短辺を基準に画像を補正して基準画像としてもよい。
【0028】
一合成操作例を以下に説明する。
合成に採用される画像を図2(f)以降に示した。図2(f)が図2(c)に示す画像に相当し、図2(g)は、図2(b)に相当し、図2(e)は、図2(a)に相当する。 図2(f)でしめす画像106eと図2(g)で示す画像106dとを、画像106eを基準として画像106dの画像の形状が一致又は近似する共通部分に基づいて重ね合わせて合成する。
図2(f)を基準として、重ね合わせた場合、図2(g)の左方面にはみ出た部分を201aで示す。201aは、奥歯方向の画像となる。
次に、図2(g)で示した合成画像と、図2(a)で示した画像106cとを、図2(g)の合成画像を基準として、形状等が共通する部分で目視により、又は画像処理手法により重ね合わせる。重ね合わせた画像であって、図2(g)から左方向へはみ出した部分を201bで示した。
201bは、奥歯方向の画像となる。
この動作を次に隣接する画像間で行い、更に次の隣接する画像と共通部分で重ねあわせることで、マークが所定の位置にある画像から奥歯方向へパノラマ画像的に合成して左側歯列を形成する。
【0029】
その他、図2(f)で示す中心画像にはみ出した部分201a、201b・・・・をつなぎ合わせて左半分のパノラマ画像を形成する手法が例示できる。
また、はみ出した部分の検出は、例えば、図2(c)の100eと図2(b)の100dとの間ではみ出した部分を抽出し更に、図2(b)の100dと図2(a)の100cとの間ではみ出した部分を抽出し、更に次の隣接する画像間ではみ出した部分を集めて、最後に基準画像図を10(f)として、このはみ出した部分をつなぎ合わせて、パノラマ画像を形成してもよい。はみ出した部分の画像は、中央よりの画像を基準として、その上から隣接する画像を重ね合わせることが好ましい場合もある。
尚、完全に重ね合わせて一致または近似しない場合であっても、マーカ部分が共通して存在する場合は、その部分を重ね合わせて同様の合成をおこなってもよい。尚、手動であるため、得られる静止画像ごとに遠近感や、傾きが相違する場合がある。この場合は、アフィン変換等を用いて自動的に補正したり、任意に拡大縮小して調整するものが好ましい。
【0030】
合成した状態を図5(a)に示す。図5(a)で示すように左半分のパノラマ歯列画像を形成することができる。
次に図3(a)で示すように上下かみ合わせた状態の歯列100aの右奥に本体103dの反射鏡102を配置した状態で、歯列100a表面をなるべく一定の距離を保ちながら、301a→301b→301cと中心となる前歯へ近づく方向で静止画による連写撮影を行う。
図3(b)に撮影される静止画像と歯列100aとの位置関係を略図的に示した。
使用者は、口腔内カメラ101を手で持ちながら、302a→302b→302c→302d→302e→302f→302g→302hの方向へ移動させて撮影し、連写的に静止画像を取得する。本実施例は、手持ち型であるため、撮影画像が左右、奥行き方向で傾いたり、ずれたりするが、アフィン変換、その他の輪郭抽出手段を利用して、連写して得られる隣接する画像間に存在する共通部分に基づいて回転、移動を行って画像の調整を行う工程を設けても良い。
【0031】
図3(a)でしめす口腔内カメラ101は図1のものをそのまま使用しているため、同一の番号を付して説明を省略した。
図4(a)から(e)は、図3(b)の302aから302fの範囲で代表的な画像を示した。
図4と図2との間で共通する構成については、図2で示した符号と同一の符号を付した。
図4において、図4(a)は、図3(b)の302dの画像付近を示し、図4(b)は、図3(b)の302eの画像付近を示し、図4(c)は、図3(b)の302fの画像付近を示す。
図4(d)は、図3(b)の302gの画像付近を示し、図4(e)は、図3(b)の302hの画像付近を示す。
【0032】
尚、図4(d)及び(e)は、垂直中心線CLとマークMLが一致した後、さらに左方向へ反射鏡102を移動させた際の写真画像であり、これらの画像を採用すると左右方向から撮影された画像の重ね合わせの部分が多くなり画像のずれが生じることから、これを採用せず、図4(a)から(c)を採用する。
この中で、マークMLと垂直中心線CLが一致した画像(図4(c)の302f)を基準にしたものを図4(f)に示す。次に図4(b)で示す画像302eと302fの共通する部位を重ね合わせる。
画像302fを基準にして画像302eをその上から形状が一致又は近似する範囲で重ね合わせた状態ではみ出した部分が401aである。
次に、この重ね合わせた画像と図4(b)で示す画像401bを、重ね合わせた画像を基準にパターンマッチング法等を用いてその上から形状が一致又は略一致する部位で重ね合わせる。
【0033】
重ね合わせた状態ではみ出した部分が401bである。このように隣接する画像を重ね合わせて向かって右側の歯列を形成する。その他の合成方法として、基準画像106eと画像401a及び401bを図5(b)で示すように合成するものであってもよい場合もある。
尚、前後の画像を重ね合わせた際、多少のずれがある場合は、重ね合わせた箇所のいずれか一方を削除しても良い場合もある。
以上の手順で、連写静止画を合成していき、左歯列の画像を合成した際の中心画像106eと右歯列の画像を合成した際の中心画像301cを重ねあわせ、一致、略一致させることで、図5(c)で示すパノラマ歯列303を形成する。歯列全体のパノラマ画像を図5(d)に示した。b101は、左側部分パノラマ歯列、b102は、右側部分パノラマ歯列である。
【0034】
中央の歯に設定した補正用表示部IG、マークMKは、画像から汎用のグラフィックソフトウェアを利用して消去する処理を行うことが好ましい。画像処理における消去、付加は、例えば、画素値の調整によるものであり、例えば、マークの消去の場合は、マーク周辺であって、隣接する画像上の歯の輝度値を検出し、この検出された輝度値に置き換える処理によって消去したり、予め設定された輝度値に変換しても良い。
重ね合わせは、例えば、中央の歯と歯の境界部分(KL)に基づいて、左右のパノラマ歯列を接続合成することが好ましい。尚、歯と歯の境界は、上顎、下顎で異なる場合に対応するために、上顎又は下顎の歯の境界部分を境界として用いて、合成してもよく、その際の合成は、上顎のみのパノラマ歯列と下顎のパノラマ歯列を、それぞれ合成して、最後に上顎と下顎を合成しても良い場合もある。境界部分検出は、下述する2次元フーリエ変換処理における輪郭抽出処理や、境界値を強調する色成分値を抽出する手法が例示され、境界値は、上顎又は下顎の歯と歯の境界、又は咬合時の咬合した状態での上顎と下顎の両者を通過する境界などが例示される。
【0035】
図5(d)は、右側部分パノラマ歯列b101と左側部分パノラマ歯列b102からそれぞれ境界KLを抽出し、この境界KLで連結結合した場合の図を示したものであるが、その他、マーク等に基づいて重ね合わせたり、部分パノラマ歯列の片方の画像に置き換えても良い場合もある。 また、例えばあらかじめ図5で示す中心画像106eと中心画像301cは必ずしも重ね合わせる必要はなく、どちらかの中心画像CGGを採用すればよい場合もある。
その場合、例えば中心画像106eを採用した場合、中心画像106eに基づいて画像401aから奥歯までの画像に対しアフィン変換を行ったり、401a、401bの大きさ等を多少修正する場合もあり、中心画像301cを採用した場合は、201a、201bの大きさを修正する場合もある。このように、各画像間のはみ出した部分をつなぎあわせる手法の他、はみ出した部分を抽出せず、そのまま共通部分で重ね合わせていく場合は、中心画像同士を大きさを調整しながら重ね合わせをする場合もある。
このように、中心画像から、左右の歯列を合成して、左側合成歯列と右側合成歯列とし、これらをそれぞれの中心画像に基づいて合成することで、ずれを抑えたパノラマ歯列を形成可能とする。
【0036】
中心画像に基づく合成は、例えば、中心の歯と歯の接触ライン(エッジ)を特徴部位として左側合成歯列と右側合成歯列を結合することが好ましい場合もある。尚、マークは必ずしも中心の歯に付される必要が無く、撮影の際、カメラの方向を変えるタイミングで撮影される歯の部位等である場合もあり、その他の目的等でマークの位置は適宜選択される。 特徴部位もマークと同様、画像合成時に位置あわせ可能な部位であれば、特に限定されない。
また、あらかじめ被写体である歯列にマークを付すか、画像からマークに相当する部位を設定することで、より正確な合成が可能となる。
尚、以上の動作説明は、グラフィックソフトウェアを用いて、コンピュータモニター上に表示された複数の画像を、目視とマウス操作によるコピーペースト、ドラッグアンドドロップ、画像の縮小拡大、傾き補正等の操作に基づいて行った場合、公知の自動パノラマ写真合成用ソフトウェア(Photoshop Elements 7(商標)(アドビ社製)、Photo Stitch(商標)(キャノン社製)等も利用できる場合がある。
【0037】
3次元パノラマ歯列画像の作成
歯列は、咬合平面に対して弓状に湾曲した形状であり、その全体を現実的に把握する場合は、2次元によるパノラマ表示では、個々の歯の様子はわかるが、平面状に歯が並んでいる状態で表示されるため、3次元的な把握は不十分であることから、3次元的に表示できる手法が好ましい。
次に実画像による3次元パノラマ画像を形成する実施例を図6に示し説明する。
図6は、3次元パノラマ歯列画像形成手段を説明する為のブロック図である。
501は、撮影データ入力手段であり、図7で示すような、カメラを複数備えたステレオ画像撮影用のカメラを接続して、カメラの個数と同じ枚数の画像を同時に形成する手段である。
撮影データ入力手段501は、一枚ごとにシャッタを押す様式と、一回シャッタを押すことで複数の写真を撮影する連写的に撮影可能とした構成を備えており、複数の対の静止画像を連続して出力する場合もある。
【0038】
502は、補正手段であり、レンズ形状による歪み、手ぶれ等の補正、遠近距離の補正等を行う為の手段であり、いわゆるキャリブレーション手段といった公知の手法をもちいて構成されるものである。
補正手段502は、同時に撮影された画像のそれぞれに校正が施されるものであり、歪みが大きい、周辺部を削除することもある。
503は、共通点検出手段であり、例えば一対の画像の共通点を検出するための手段である。共通点検出手段503は、片方の画像の一画素又はひとまとまりの画素の輝度値を基準用輝度値とし、他の画像の一画素又は、ひとまとまりの画素の輝度値を用いて、例えば、輝度差の総和(SAD)、輝度差の二乗和(SSD)値をとりその最小値又は最大値により一致する部分又はサブピクセル推定により推定された部分を共通点として出力するものである。
【0039】
より具体的には、例えば、新井元基 他, 画像のブロックマッチングにおける相関関数とサブピクセル指定方式の最適化,社団法人 情報処理学会 研究報告,2004,P33-40に示される構成やその他の公知手法を利用しても良い。
504は、ワールド座標変換手段であり、得られた共通点の各画像の座標を、全体的に共通な3次元座標に変換する手段である。
ワールド座標変換手段504は、例えば、三角法、8点アルゴリズム法、三角測量法等、算術的手法によりコンピュータ処理で行われ、前記共通点検出手段503で得られた共通点のそれぞれ写真画像の座標値から視差値や、カメラの特性(内部パラメータであるレンズの焦点距離、画像中心、画素サイズ、及び外部パラメータである2つのカメラの位置、及び姿勢)から、ワールド座標(X、Y、Z)を形成出力するものである。
例えば、それぞれ異なるカメラの内部パラメータ及び外部パラメータからなる透視投影行列P1、P2、それぞれ撮影した画像の共通点Mのローカル座標(u1、v1)及び(u2,v2)から一般的に知られている式(1)に基づいて、ワールド座標(X、Y、Z)が求められる。
【0040】
【数2】
カメラの内部パラメータ、外部パラメータを用いて透視投影行列を求めるか、各静止画像から得られる複数の共通点のローカル座標等から透視投影行列P1、P2及びω1、ω2を求めて、式(1)にもとづいてワールド座標を得る方法等に関しては、例えば、電子情報通信学会誌 Vol.92、No.6,2009,463-468に記載されている手法等の公知手法が好適に用いられる。
その他3次元座標を得る手法としては、接写手法とともに例えば、歯科材料・器械 Vol.19No.3333-338(2000)等に記載されているが、これに限らず、その他一般的な手法をとり得る。
【0041】
505は、3次元画像形成手段であり、例えばコンピュータ上に仮想的に形成された3次元座標空間に、当該ワールド座標データを表示し、この座標データを直線、又は曲線で結んでいって表示するワイヤーフレーム模型を形成しても良く、更に線で囲まれた部分に仮想面データを貼り付けていくことで、よりリアルなパノラマ3次元データが得られる。 3次元パノラマ状の歯列データを立体座標上で、立体化することで、湾曲状の歯列が表示される様にしてもよい
506は、表示手段であり、コンピュータ用のモニター、プリンタ、等で形成され、通常のコンピュータモニター上に仮想3次元画像として表示されても良く、更に、湾曲したパノラマ状歯列画像を2次元に投影する等して表示しても良い。
図7は、2つのカメラを先端に備えたプローブ状の3次元計測用のプローブ600の一例を示す。
601は、撮像部Aであり、中心にレンズ601aが配置され、いわゆるカメラモジュール形態を有する。
602は、撮像部Bであり、中心にレンズ602aが配置され、いわゆるカメラモジュール形態を有する。
603は、照明光照射部であり、好ましくは撮像部A601、撮像部B602の周囲に設けられており、支持部材606内部に形成された発光手段605が発した光を、光導路604を介して被写体である歯の表面を照射する部分である。照明光照射部603は、より均一な照明が行われるような形状であることが好ましく、図7に示された形状に特定されるものではない。
【0042】
603aは、指示用光源であり、撮影面を示す為のものであって、スポットライト的な出力をおこなう部分であり、周辺を黒い円筒体で覆った、赤色、青色、白色等のLEDが用いられる。スポットライト的な光であるため、距離によって、照射面の面積が異なることから、光の円を一定に保ちながらプローブ600を移動させることで一定の距離でのプローブの移動を可能とする。
604は、光導路であり、支持部材606内部に形成され、表面は、アルミ、銀等の薄膜などの光反射部材で被覆されていることが好ましい。
605は、発光手段であり、支持部材606内に装着され、白色LED、その他の光源が例示される。本実施例では、ストロボの様な断続的フラッシュ駆動や、連続的な照明駆動等が行われても良い。
606は、支持部材であり、例えば、軽量で硬質なプラスチック材で成型され、先端に、撮像部等が配置され、棒状で、口腔内の奥まで挿入しやすいような形状を有する。
【0043】
607は、操作用スイッチであり、シャッタ操作等を行うものである。その数は、操作仕様や目的に応じて設定されれば良く任意の構成であればよい。
シャッタとして使用する場合は、押している間所定の間隔で連続的にシャッター駆動を行うような仕様も取り得る。
608は、把持部であり、支持部材606と一体的に構成されており、軽量で、丈夫なプラスチック材等で成型されることが好ましい。
609は、外部電源と接続、外部データ処理装置等との接続をするための電気リード線であり、USB接続コネクタを利用したケーブルが利用されても良い。
また、光源がストロボ的な発光であって、連写データをカメラ内部で一時的に記憶できる場合や、Zigbee(登録商標)、無線通信用のフロントエンド回路を用いて無線接続を場合等は不要になる場合もある。
【0044】
図6及び図7で示した本実施例の動作について説明する。
図6の撮影データ入力手段501において使用者は、図7で示す把持部608をもって、図1で示す様に上下の歯が噛みあわされた状態で支持部材606の先端の撮像部A601と撮像部B602を被写体部位に近づけ、指示用光源603aが指示するスポットライトの大きさ、位置を見ながら、操作用スイッチ607を押して連写動作を開始する。
連写動作でなく、撮影ごとにシャッタ用の操作用スイッチ607を押しても良い場合もあるが手ぶれ等を防ぐ為に押す動作を少なくする連写が好ましい。
この押した状態で、図1(a)と同じ位置まで撮影し、次に図3(a)と同様の状態で、同じ位置まで撮影する。
図8に一回の連写撮影で得られた画像群の中で対となる画像を示す。尚、口腔内で、歯の表面形状をより精度よく計測する場合は、近接した状態での撮影が好ましく、カメラの焦点距離も接写可能な状態で設定されることが好ましい。
これら撮影された画像は、図6の補正手段502でレンズの曲面によって生じる歪みや、傾き等が校正(キャリブレーション)されて共通点検出手段503へ出力される。
3次元処理を行う際、図2、図4で示すように中心付近から左右方向へ合成することを考慮して中心から行うことが好ましいが、特にこの手法に限定されるものでもない。
図8(a)は、歯の正面であって、中心に近い場所を撮制した画像であり、図7のプローブ600を構成要件とする撮影データ入力手段501で撮影されて得られたデータでもある。
【0045】
701aは、撮像部B602の画像であり、702aは、撮像部A601の画像である。この画像にそれぞれ中心点を同じ部分とした座標を付与し、例えば撮像部B602が撮影した図8(a)の画像701aの任意の点A(x1、y1)を設定してこれと同じ位置を示す点A’(x2、y2)を探す。点Aを例えば一つの画素のブロックとして、平均輝度値を求める。図8(a)の画像データ702aの点A’と想定される位置の近傍から、点Aと同じサイズの画素ブロックを求め両者の輝度値の差の総和又は二乗和をとり、次第に、点A’方向へ、同様の演算を行いながら移動しながら。一致度評価曲線を形成する。
一致度評価曲線上で、この差分値の総和又は差の二乗和が、一番小さくなった部分、又は一番大きくなった部分を点A’として設定するサブピクセル推定手法が好ましいが共通点を得る手法であれば特にこれに特定されるものではない。
次に701aの点Aのとなりの画素ブロックについて同様の操作を行い、画像702a上から共通の点を検出する。この操作を繰り返し行い。画像701aと702aのオクルージョンの範囲を除いた共通範囲703aにおいて共通点の座標を求める。
この場合も新たに付加したマークMLの位置を中心に共通点座標を形成することが精度の高い共通点を得ることを可能とする。
【0046】
またこのブロックを小さくすることにより、精度が高い状態で、共通点が検出できるが処理時間が長くなる為ブロックの大きさ等は適宜選択される。
次に、図6のワールド座標変換手段504において、例えばこの共通点を複数点とって計測した座標値から、視差、焦点距離等撮影器固有のパラメータ及び1式に基づいて3次元ワールド座標系に変換する。この具体的な手法は、上述した文献等に示された通常の方法が好適に採用される。
図8(a)の一対の画像から共通点を求めた後、次の図8(b)で示す画像対701b、702bを用いてオクルージョンの範囲を除いた共通範囲703bを3次元のワールド座標に変換する。3次元ワールド座標となった状態で例えば図8(d)に示すワイーヤーフレーム状に成形したものを作成する。
図8(d)の3A(X、Y、Z)は、図8(a)A(x1,y1)とA’(x2、y2)に基づいて(1)式を利用して変換した3次元ワールド座標である。
【0047】
更に図8(c)で示す画像対701c、702cのオクルージョン範囲を除いた共通範囲703cの各共通点の3次元ワールド座標を求める。
次に図6で示す3次元画像形成手段505において、
ワールド座標に変換された図8(a)から求められた3次元座標と図8(b)を平面的な重ね合わせでなく仮想3次元座標空間で重ねあわせる。
この重ね合わせた画像に更に図8(c)で示した3次元ワールド座標を重ね合わせる。
この重ね合わせは、仮想の3次元空間での重ね合わせであれば、これら3次元ワールド座標化したデータに基づいてコンピュータモニター上に例えば図8(d)で示すようなワイヤーフレーム状の歯列を仮想的にそれぞれ表示し、目視でマウス等コンピュータインターフェースを操作してそれぞれを重ねあわせるようにしておこなうことができるが、重ね合わせの精度を高める場合は、比較する3次元数値のどちらかを基準として、差分比較等により一番差分が小さい状態となるような合成が好ましい場合もある。ブロックマッチグによるサブピクセル推定手法で、共通点を得ても良い。
【0048】
図8(a)から(c)は、正面に向かって右側の歯列の3次元ワールド座標化したデータに基づく歯列を形成したが、次に左側の歯列の3次元ワールド座標化を行う。
ワールド座標化は、上述した公知の手法を用いればよく、例えば、2つの画像に基づく3次元座標を取得した後、共通の座標であるワールド座標への変換を行ったものでも良い。
左右の歯列の3次元ワールド座標を取得した後、コンピュータの3次元仮想表示、又は座標値の数値的重ね合わせによる近似的一致により結合していけばよい場合もある。
その場合、マーク部分の3次元座標データを基準に重ねることが好ましく、当該手法によれば、2次元のみならず3次元座標でも、ずれの無いパノラマ歯列表示が図6で示す表示手段506によって可能となる。
重ね合わせは、同じ形状部分のデータ数値での重ね合わせであって、一致しない場合は、両者の座標値の平均をとりながら重ね合わせていく手法、画面上で画像をドラッグアンドドロップの手動手法で、コンピュータマウスを操作しながら重ね合わせた後、座標値を求める方法等が例示される。
【0049】
尚、互いに共通した部位をもつ画像であっても、撮影状況から、補正後も、重なり具合が悪い関係にある画像の場合は、共通する画像の内どちらか選択すれば良く、パノラマ画像を作成する為に必要な重ならない部分側の画像を用いても良い場合もある。
ワールド座標に基づいた三次元化による合成により、全歯列をいわゆる入れ歯風の3次元形状に表示することが可能となる。
2次元の歯側面のパノラマデジタル画像表示、及び3次元の歯側面のパノラマデジタル画像表示は、患者にとって自らの全体の歯列状態を容易に理解することができる様になることから、例えば、2次元パノラマ歯列データ、3次元パノラマ歯列データのそれぞれについて、矯正シミュレーション処理、仮想ホワイトニング処理を施して仮想歯列を形成した状態の画像をコンピュータモニター上に併置して、患者に治療の効果等を実感させる態様を形成しても良い。
【0050】
矯正シミュレーション処理とは、例えば、2次元パノラマ歯列画像であれば、あらかじめ歯一つの様々な形状のデータベースを部位に応じて作成し、2次元パノラマ歯列画像上のそれぞれの歯の画像に対し、矯正歯科医がグラフィックソフトウェア上でコンピュータマウスを操作してコピーペーストを行って、形成した仮想矯正パノラマ歯列を形成する手段を示す。
パノラマ3次元歯列画像の場合は、既に3次元座標が設定されていることから、既存のCADソフトウェア上で、矯正歯科医等がパノラマ3次元歯列画像の3次元座標調整を行って、仮想矯正3次元パノラマ歯列を形成する手段が例示される。これらの矯正パノラマ表示手法は、例示であり、その他の手法を取り入れてもよい。
自らのパノラマ2次元及び3次元歯列画像に対する仮想ホワイトニング処理後の仮想表示も、歯科医がグラフィックソフトウェア上のこれらの画像に対し、色データの調整を行ったものを、併記してもよい。このように仮想矯正、仮想着色処理を、患者自らのパノラマ歯列に行ったものを画面上に併設することで、患者は治療の理解を深めることが可能となる。
【0051】
照準光照射手段
図9は、本発明の一実施例を示す図である。
A10は、反射鏡ユニットであり、硬質のプラスチック製等で形成され、先端に所定の角度(例えば45度)で設置された反射鏡A10Kを設け、後端に撮影ユニットA14の外周と接続可能な円筒状の装着部A10Sが形成され、その間は、開放された形状となっている。
装着部A10Sと撮影ユニットA14との接続は、押し込む形で形成され、離脱も、引き離すだけで可能とする程度で足り、回転防止の為、両者に凹凸を設けたり、楕円形等の非対称形状にしたりしても良い。
A11は、本体であり、プラスチック、樹脂で形成され、口径が大きいボールペンのような円筒状で手で持ちやすい形状を具備し、先端に撮影ユニットA14が突出するように配置され、後端には、外部処理装置と接続する為のケーブルA15が接続する。
A12は、反射鏡ユニットA10の先端に所定の角度で配置された反射鏡A10Kを歯科医、歯科衛生士等が直接見て観察する際の観察方向である。
【0052】
A13は、照準光照射面であり、照準用光源A142から出力された照準光が反射鏡A10Kで反射して歯面を照らし出している際の照準光の照射面の一例である。
照準用光源A142の位置は任意であり、撮影画像の範囲を決定できる位置であれば、他の位置でも良く、その部位は、例えば、反射鏡ユニットA10の先端部であって、撮影範囲を照明する部位であってもよい。この場合は、光路が短くなるため、指向角度が多少広くても撮影画像の範囲を照明できる場合もある。
図9(c)に撮影ユニットA14を拡大した状態を示した。
A141は、照明用光源であり、広域な指向角度をもつ、LED又はレンズとLEDの組み合わせが例示される。 照明用光源A141は、撮影部材A143の周辺に複数配置されている。
A142は、照準用光源であり、指向角度が小さいLEDや、レンズとLEDの組み合わせによって、照射面に所定の広がりをもつことが可能な出力を行うものが例示される。
【0053】
又、指向角度が小さい光源の場合は、複数所定の間隔をあけて配置されることが好ましい。
A143は、撮影部材であり、CCD、CMOSのカメラで構成され、画素数は、より多いものが好ましい。
A15は、外部画像表示機器と接続するためのケーブルであり、USBケーブルのような汎用ケーブルの他、専用のケーブルで形成されても良い。
A16a、A16bは、第1操作ボタン、第操作ボタンであり、プッシュ式、プル式、又は回転式等で構成され、それぞれのボタンの中で、第1操作ボタンA16aを押すと所定時間、照準用光源A142が発光し、反射鏡A10Kを介して要部を一定時間だけ照らす。
一定時間とは、利用者が、少なくとも口腔内の要部を照らす照準光を認識できる時間であって、好ましくは、撮影のタイミング、例えば第1操作ボタンA16a等が押されるまでである。
撮影時は、静止画像に異なる配色の照明部が形成される為、観察の妨げになる点で好ましくないが、観察の妨げにならない場合は、特に照準用光を消す必要がなく、点滅させて、利用者に認識させるものであっても良い。この照準光の照射面積を維持させながら口腔内の歯列側面を撮影することで、反射鏡と歯の距離を一定にすることも可能である。
【0054】
次に図9で示す実施例の動作を説明する。
撮影ユニットA14の撮影部材A143の周辺の装着された照明用光源A141の照明出力は、反射鏡A10Kを介して口腔内の歯AH1を照明する。A14Lが照準光光路である。
その他、照明用光源も反射鏡A10Kを介して照射され、照明光面内の一部が照準光照射面A13が形成された状態となっている。
撮影部材A143は、照らし出された口腔内の部位を、反射鏡A10Kを介して入力し、ケーブルA15を介して、外部モニター装置により表示する。
歯科医師等の利用者は、外部モニター装置で表示される画像で、撮影位置を把握できるが、診療時間を短くする場合や、治療が含まれる場合等は、デンタルミラーと同様の使用がされる場合が多く、観察方向がA12で示す様に撮影画像と異なる状態となる場合があるが、その際は、例えば第1操作ボタンA16aを押す。第1操作ボタンA16aが押されると、照準用光源A142が発光し、発光は、所定の時間、好ましくは撮影開始前まで、行われ、観察者が。観察位置と、撮影位置を確認する程度の強さで発光する。
【0055】
観察者は、撮影位置と観察位置を一致させるため反射鏡A10Kの移動を行い、再度第1操作ボタンA16aを押すことで、撮影位置と観察位置の調整を行う。
位置決めが終了すると、再度第1操作ボタンA16a又は第2操作ボタンA16bを押すことで静止画又は動画の記録が行われる。上述した第1操作ボタンA16aと第2操作ボタンA16bの操作内容は、例示であり、場合により適宜選択されるものである。
その一例を図9(b)に示した。
A17は、画像の一例であり、撮影目的とする歯AH1が撮影されている。照準光の照射範囲は、照準光照射面A13で示す円の範囲であり、撮影を目的する要部のおよそ全部が含まれている。
照準光照射面A13の範囲は、本体A11及び反射鏡ユニットA10の組み合わせが、歯H1に対して上下に動くことにより変化することから、使用者は、本体A11及び反射鏡ユニットA10を上下させて、調整すればよく、撮影範囲よりも大きくなったり小さくなったりするが、撮影範囲の要部からずれることが無く、又点光源よりも、撮影範囲の要部を十分に示す。
以上の操作により、撮影面と観察面が調整され、正確な静止画又は動画の記録が行われる。
【0056】
図9(a)で示す本体A11を持ち、口腔内の観察部位に対し、反射鏡A10Kを目的とする部位を捉えるように縦横に移動させて観察撮影する。
口腔内カメラは、口腔内の上顎、又は下顎の狭く深い部位等に挿入され、反射鏡の撮影範囲は、広範囲にわたると共に反射鏡が逆さの状態で口腔内が撮影されたり。斜め状態、横向きなどでも撮影されたりすることから、撮影画像も、傾いたり、逆さになったりする場合がある。
図1、図3で示す様に口腔内カメラの反射鏡を奥歯から前歯にかけて移動させながら撮影する場合も、手動であるが為にカメラ及び反射鏡は、傾いたり回転したりする場合があり、得られる画像も同様に傾いたり、回転したりする。
この状態に撮影状態を位置センサによって、検出し、画像が上下反対の状態や、斜めの状態に対してこれをカメラの理想的な動きである水平移動状態で撮影した際に得られる画像に補整する画像補整手段を具えることで、カメラが多少回転や傾いた状態であっても、得られる画像が姿勢制御された画像となる手段を図10から図12に示し説明する。
【0057】
撮影画像修正手段
図10は、本発明の一実施例を説明する為に用いられる口腔内カメラの一例であり、一部を断面図として示した。
A21は、把持用の筐体であり、内部空間を具えた円柱状を有し、先端にカメラとカメラの周辺に形成された照明用光源とからなる楕円筒状の撮影ユニットA23が筐体A21より突出した状態で接続し、後端に外部表示装置と連結する為のケーブルA26が接続する。
照明ユニットの一例を図10に示した。
A22は、反射鏡ユニットであり、先端に所定角度で配置された反射鏡A22Hが装着され、後端には、撮影ユニットA23の周辺を覆うように装着可能な円筒状の装着部A22Sが形成され、その他は開放された状態となっている。
A24は、回路基板であり、筐体A21内部に装着され、画像処理用IC等が実装されている。A25a、A25bは、位置センサであり、回路基板に実装されたICチップ状を有する。位置センサの個数、実装部位は一例であり、センサの種類によっては、実装されない場合もある。
位置センサA25a、A25bは、加速度センサ、角速度センサ等、口腔内カメラが広範囲な移動状態を取り得ることから、角度によって、計測不能な状態にならないセンサ素子が採用される。位置センサの個数を2つとして示したが、例示であって、軸の数に応じて、チップの数が変化したり、3軸用のユニットがあれば、一つである場合もある。
加速度センサ及び角速度センサは3軸のセンサが例示され、位置センサの個数も軸の数等で調整される場合もある。
【0058】
位置センサA25a、A25b・・のx軸、y軸、z軸は、例えば図12で示す軸が例示される。
位置センサA25a、A25bを角速度センサ(ジャイロセンサ)とした場合、角速度センサは、例えば、それぞれx軸周りの移動による角度の変化量、y軸周りの移動による角度の変化量、及びz軸周りの移動による角度の変化量をそれぞれ出力する。
角速度センサの場合は、x軸、y軸及びz軸の初期状態を任意に設定した状態で、それぞれの軸の変化量を加算していき、カメラの撮影状態を検出する。
これに対し、 加速度センサは、それぞれのx軸方向の加速度成分、y軸方向の加速度成分、z軸方向の加速度成分を出力する。更にこれらの加速度成分の合成ベクトルが姿勢ベクトルを出力し、静止状態にある時は、それぞれ重力加速度ベクトルを示す。 この姿勢ベクトルから、カメラの撮影状態が得られる。
例えば加速度センサは、静止時、重力加速度ベクトルA451の状態を姿勢ベクトルとして出力する為、この状態でのx軸方向、y軸方向、z軸方向のベクトルを基準姿勢としてその後角速度センサを用いてそれぞれの軸の回転変化量を加算等の演算をしていく手法等が利用できることから、
【0059】
加速度センサと角速度センサを両方組み合わせることで、カメラの様々な状態を検出してもよい。
図11は、位置センサを用いて画像表示状態を補整する手段の一例を示すブロック図である。当該ブロック図でしめす構成は、コンピュータ処理であれば、プログラムで実行される部分を持つものであってもよい。
A31は、撮影手段であり、図10の撮影ユニットA23の中心に配置されたカメラで動画、静止画を撮影する手段を示す。
A32は、画像補整手段であり、画像記録メモリ、CPU等で構成され、撮影手段A31で得られた画像を一時記録し、位置検出手段A34のカメラ角度情報に基づいて、画像を回転させ見やすい状態の画像データを形成する。
例えば、撮影ユニットA23が撮影し、モニターに映し出す画像の基準姿勢を定め、その基準姿勢に対し、筐体A21を動かすことで、基準姿勢画像が回転した場合において、 例えば角速度センサ等がそれぞれの軸での角速度から、回転角度の変化量を検出し、その回転角度変化量分を引いた角度だけ、画像を回転させて表示させることで、見やすい画像が形成可能となる。
【0060】
尚、図12でしめすy軸周りの回転のみで、画像の補整が可能な場合もある。
反射鏡で反射させた口腔内の像を撮影する場合、撮影ユニットA23のカメラは、常に反射鏡方向を向いている為、画像が回転するのは、図12でしめすy軸座標を中心にした筐体の回転に伴う回転が主となるためである。
従って、少なくとも、本体A11及び反射鏡ユニットA10がx軸、y軸及びz軸方向に変化した状態で、xz平面に映し出される画像を画像表示部において、一定の方向を向く状態に補整されることが好ましい場合もある。
33は、画像表示手段であり、コンピュータのモニター、その他専用のモニターが示され、画像補整手段A32の出力画像が表示されるものであれば良い。
【0061】
A34は、位置検出手段であり、図10の位置センサA25a、A25b等で構成され、具体的には、角速度を出力するレートジャイロ、角度を出力するレート積分ジャイロ、姿勢ジャイロ、MEMSタイプその他機械式、光学式等の角速度センサ、ピエゾ抵抗タイプ、静電容量タイプ、熱検知タイプのMEMSセンサ等の加速度センサが利用可能である。
次に図11の動作を図10、図12を用いて説明する。
図12でしめす座標軸は、一つの位置センサが3軸に対応する場合を示すものであり、位置センサがそれぞれ1軸、2軸等で対応する場合は、位置センサの部位毎に対応する座標軸が設定される。
図10でしめす筐体A21を持ち、反射鏡A22Hを口腔内に挿入して目的とする部位を撮影する。その際、筐体A21上に取り付けられたスイッチを操作するなどして初期姿勢状態を記録する。所期姿勢状態における座標の一例を図12のA410で示した。
位置センサの設置により座標軸が形成される。本実施例では、A421がx軸、A431がy軸、A441がz軸とした。
【0062】
尚、A451は、重力加速度ベクトルであり、加速度センサの静止時の合成された姿勢ベクトルの一例である。従って重力加速度ベクトルは、加速度センサを用いないときは利用できない場合がある。
口腔内カメラが例えば、奥歯の側面を撮影する為に直立に近い状態での座標を示す。
A422は、x軸であり、A432は、y軸、A442はz軸を示し、加速度センサを用いた場合、A452は、重力加速度ベクトルを示すことができる。
口腔内の目的とする部位へ、反射鏡22Hを移動させる。動き方の一例を図12でしめす。反射鏡22H及び筐体で構成される口腔内カメラは、A411、A412、A413で示す様な縦横に移動し、撮影手段A31は、それぞれの状態での口腔内画像を静止画、動画で撮影して画像補整手段A32に出力する。
【0063】
位置検出手段A34は、例えば、初期姿勢情報をx、y、z方向のそれぞれに対して画像補整手段A32に出力する。尚、本実施例のように、反射鏡の画像を表示する構成の場合、カメラは反射鏡方向に向いている為、カメラ画像が反転したり見づらい状態となるのは、y軸周りの回転に要因があることが多いことから、1軸タイプの位置センサのみを利用してもよい場合もある。画像補整手段A32は、この初期姿勢情報と画像とを対応づけて、画像表示手段A33に出力し、表示させる。
図12で示す様に口腔内カメラをA411、A412、A413の様に動かして、口腔内を撮影する場合、撮影手段A31は、それぞれの姿勢に応じた画像を出力する。y軸を中心にカメラが回転すると、画像は、逆さに撮影され、撮影状態に対応した画像が出力される。
【0064】
位置検出手段A34は、位置センサA25a、A25b(例えばジャイロセンサーの場合)からそれぞれ、x軸、y軸、z軸周りでの角速度を検出し、この角速度からx軸周りの角度の変化量(Δθyz)、y軸周りの角度の変化量(Δθxz)、及びz軸周りの角度の変化量(Δθxy)を検出する。
これらの変化量を画像補整手段A32へ出力する。画像補整手段A32は、撮影手段A31から入力された画像データと、位置検出手段34から出力された位置情報に基づいて、例えば、角度の変化量に基づいて画像を回転させて、最初の画像の状態に戻す。
従って、画像表示手段A33は、同じ口腔内対象物をカメラを回転させて動画、静止画で撮影しても、画像は、常に最初の設定状態のままで表示内容画像が変化する表示をすることができる。
【0065】
歯肉と歯の境界検出手段
本発明は、歯と歯肉の境界を明確に設定検出可能とするための構成を含む。
口腔内カメラの画像は、暗く狭い空間を照明をあてながら撮影する箇所が多いため、例えば、図1、図3で示すコンピュータ画像処理によるパノラマ画像を形成する手段として、画像間の共通部分を検出する場合や、患者への歯科治療の説明を行う場合等は、歯肉と歯の境など、近似的な色合や唾液の影響等のため、識別困難な場合がある。
そこで、実画像の歯の輪郭を抽出する輪郭抽出手段、と実画像を成分色に変換して、歯及び歯肉の形状を明確にする色成分画像変換手段、前記色成分画像変換手段で変換された画像と、輪郭抽出画像を合成した合成画像形成手段からなる組み合わせ構成により歯と歯肉の輪郭を歯の汚れや、照明が十分でない場所でも、抽出可能とした。
輪郭抽出手段は、例えば位相限定相関法で用いられる画像に対し2次元フーリエ変換を行う手段と、当該フーリエ変換後、画像の濃淡の変化を示す周波数領域における位相信号のみを検出して逆フーリエ変換を行う手段で構成される。その他、Z変換系、ラプラス変換系の利用も可能な場合がある。
【0066】
色成分画像変換手段は、例えば、RGB表色系、La*b*表色系、HSV表色系、XYZ表色系、xyY表色系、L*u*v*表色系、マンセル表色系、オストワルト表色系、NCS (Natural Color System) 、DIN表色系等の表色系で示される成分色に分解した画像を形成し、この中から、形状が明確に見える成分色を選択して、その成分色に基づいた画像を形成する手段、又は表色系を問わずその成分色を合成して、より形状が明確に見える成分色を形成して当該成分色に基づく画像を形成する手段である。当該選択は、予め口腔内画像にたいして適した成分色を測定して決定することが好ましいが、例えば La*b*表色系、のL成分画像、a*成分画像、又はb*成分画像のいずれか1つと、HSV表色系のH(色相(Hue))成分画像、S(彩度(Saturation・Chroma))成分画像、V(明度(Brightness・Lightness・Value))成分画像、のいずれか1つとを組み合わせて合成することが示され、異なる表色系の成分色同士の合成が好ましい場合がある。成分色の選択又は組み合わせ合成は、形状が明確に見える成分色への変換又は、複数成分色の合成をおこなうものであれば良い。
【0067】
尚、成分画像とは、成分を強調する画像を例えばプログラム上の成分値を示す数値を調整して得られたもの等を含むものである。
又、形状が明確に認識可能な成分画像を選択する他に、人がよりその境界を認識できる色の組み合わせを用いて着色する。例えばR(赤色)成分画像を歯肉に適用し、G(緑色)成分画像を歯に適用することが示される。
又、ここで示す成分色とは、画像から検出したものだけではなく、境界を明確にする色を用いて新たに着色しても良い場合もある。
そして、合成画像形成手段は、前記輪郭抽出手段で得られた輪郭画像と、色成分画像変換手段で得られた画像を、例えばクロマキー手法のように、輪郭画像の輪郭部分以外を同色系として、色成分画像を透過する等して合成する。又、当該合成後、色成分画像を更に強調するため、人が目視的、又は機械的に、より境界がより区別されるべく歯肉部を赤色系に変色又は濃く強調させ、歯を緑色に変色又は濃く強調させたりする手段を用いても良い。尚、色成分によっては、歯肉色を赤色に、歯色を緑色に変換するものがあれば、その色成分画像に変換してもよい。これらの手段は、いずれもコンピュータソフトウェアにより実現されることが好ましいが、ゲートアレイ、PLD (Programmable Logic Device)等のカスタム、セミカスタムICによって構成される場合もある。
【0068】
次に図13で示す実施例について説明する。
2901は、画像入力手段であり、例えば口腔内カメラで撮影された静止画像を入力する手段である。画像入力手段で入力された静止画画像は、フィルタ手段2102に出力される。2902は、フィルタ手段であり、アンシャープフィルタなどのエッジ強調フィルタで示されるが、その他、画像の濃淡を強調するフィルタを用いてもよい場合がある。
フィルタ手段2902でフィルタ処理が行われた画像は、輪郭抽出手段2903及び成分色画像変換手段2904へ出力される。
2903は、輪郭抽出手段であり、2次元フーリエ変換手段、位相信号検出手段、及び逆フーリエ変換手段よりなるが、これらの手段は、open−CV(インテル社製)のようなソフトウェアライブラリ中にあるプログラムモジュールを組み合わせて実行するものが例示される。
2904は、成分色画像変換手段であり、上述した様に、La*b*表色系、HSV表色系のa*成分色やb*成分色、H成分色S成分色V成分色に変換した画像を形成する手段と、これら成分色を合成する成分色合成手段からなり、色合いが変化するが、歯及び歯肉の形状が明確な画像が形成される。更に、この色合いの変化により、歯の汚れ、虫歯の発見も可能となる場合がある。
【0069】
輪郭抽出手段2903で得られた輪郭画像と、成分色画像変換手段2904で成分色画像に変換された画像は、合成表示手段2905へ出力される。
2905は、合成表示手段であり、輪郭抽出手段2903の出力した輪郭画像と、成分色画像変換手段の出力成分色画像を合成する。 この合成は、例えば、輪郭画像の輪郭以外を同系色化し、この同系色を透明化して、背景映像となる成分色画像と合成するものである。合成された画像は、コンピュータモニター上に表示される。
これら一連の合成処理により歯肉と歯の境界が鮮明な画像を得ることができる場合がある。又、図5で示す左右の歯列をマークMLがおおよそ画像の中心にくる画像同士(例えば画像906eと画像301c)を合成又は結合する際の目安として例えば中心の2つの歯の境界KLを検出する際、本実施例は好適に用いられる。又、フーリエ変換により位相信号を検出して得られる輪郭画像と実画像をそのまま合成してもよい。また成分色画像のみを用いても形状が明確になる画像が得られることから、成分色画像検出手段で得られた画像のみでも歯肉と歯の境界が明確になる画像が得られる。このような歯と歯肉の境界が明確になった画像は、各種合成作業用の目印として利用されたり、患者への説明用、歯科治療用に用いることができる。
【産業上の利用可能性】
【0070】
本発明は、歯科診療における口腔内健全化を図るべく、患者に口腔内情報を見やすい形式で提供することで、患者の口腔内情報を新たにすることができる歯科システムを提案するものであり、歯科医療分野において有効に利用される。
【符号の説明】
【0071】
101 口腔内カメラ
102 反射鏡
103 反射鏡ユニット
104 本体
105 撮影ユニット
ML マーク
IG 補正用表示部
RM 輪郭
【特許請求の範囲】
【請求項1】
歯列の側面を連写撮影して画像列を形成する連写画像列形成手段、前記連写画像列形成手段で形成された画像列を部分的な歯列画像として全体合成の中心となる画像から合成して複数の部分歯列画像を形成する側面歯列画像形成手段、前記側面歯列画像形成手段で形成された複数の部分歯列画像間で全体合成の中心となる画像に基づいて連結合成して全体の歯列を形成する側面歯列画像合成手段よりなる口腔内撮影表示システム。
【請求項2】
歯列上の所定の位置に撮影画像上認識可能なマークを設定するマーク設定手段、歯列の一方の側面及び他方の側面について連写画像列を形成する連写画像列形成手段、前記一方の側面の連写画像列及び前記他方の側面の連写画像列のそれぞれについて、マークが所定の位置にくる画像から合成することで、一方の側面歯列画像及び他方の側面歯列画像をそれぞれ形成する側面歯列画像形成手段、
前記一方の側面歯列画像と前記他方の側面歯列画像を、前記マークが所定の位置にある静止画像中の歯列上の特徴部位に基づいて連結合成する側面歯列画像合成手段を具備する請求項1に記載の口腔内撮影表示システム。
【請求項3】
前記側面歯列画像に対応する歯のX線画像を表示するX線画像表示手段、前記側面歯列画像に対応する歯の仮想矯正又は仮想審美着色した歯列を表示する仮想歯列表示手段を有する請求項1に記載の口腔内撮影表示システム。
【請求項7】
前記口腔内を画像化する手持ち型の撮影手段、前記撮影手段には、撮影部位を指示する照明光を照射する照射手段を具備する請求項1に記載の口腔内撮影表示システム。
【請求項1】
歯列の側面を連写撮影して画像列を形成する連写画像列形成手段、前記連写画像列形成手段で形成された画像列を部分的な歯列画像として全体合成の中心となる画像から合成して複数の部分歯列画像を形成する側面歯列画像形成手段、前記側面歯列画像形成手段で形成された複数の部分歯列画像間で全体合成の中心となる画像に基づいて連結合成して全体の歯列を形成する側面歯列画像合成手段よりなる口腔内撮影表示システム。
【請求項2】
歯列上の所定の位置に撮影画像上認識可能なマークを設定するマーク設定手段、歯列の一方の側面及び他方の側面について連写画像列を形成する連写画像列形成手段、前記一方の側面の連写画像列及び前記他方の側面の連写画像列のそれぞれについて、マークが所定の位置にくる画像から合成することで、一方の側面歯列画像及び他方の側面歯列画像をそれぞれ形成する側面歯列画像形成手段、
前記一方の側面歯列画像と前記他方の側面歯列画像を、前記マークが所定の位置にある静止画像中の歯列上の特徴部位に基づいて連結合成する側面歯列画像合成手段を具備する請求項1に記載の口腔内撮影表示システム。
【請求項3】
前記側面歯列画像に対応する歯のX線画像を表示するX線画像表示手段、前記側面歯列画像に対応する歯の仮想矯正又は仮想審美着色した歯列を表示する仮想歯列表示手段を有する請求項1に記載の口腔内撮影表示システム。
【請求項7】
前記口腔内を画像化する手持ち型の撮影手段、前記撮影手段には、撮影部位を指示する照明光を照射する照射手段を具備する請求項1に記載の口腔内撮影表示システム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【公開番号】特開2012−157692(P2012−157692A)
【公開日】平成24年8月23日(2012.8.23)
【国際特許分類】
【出願番号】特願2012−2553(P2012−2553)
【出願日】平成24年1月10日(2012.1.10)
【出願人】(000126757)株式会社アドバンス (60)
【Fターム(参考)】
【公開日】平成24年8月23日(2012.8.23)
【国際特許分類】
【出願日】平成24年1月10日(2012.1.10)
【出願人】(000126757)株式会社アドバンス (60)
【Fターム(参考)】
[ Back to top ]