回転状態検出方法および装置
【課題】術具の回転状態を一目で把握でき、術具の操作を容易にするとともに、安全性を向上する。
【解決手段】医療用内視鏡システムの挿入手段３には、内視鏡レンズ６を設けた内視鏡挿入部２'と、術具部４を設けた可撓伝達部１'を内挿し、可撓伝達部１'の他端には術具部４を操作する操作端１を設けている。可撓伝達部１'の術具側には三角形など連続した模様のマーカ５が周方向に１回り分、設けてある。内視鏡２は術具部４の画像と共にマーカ画像を読み取り、画像処理装置８はマーカ画像を画像処理して基準位置からの回転角を求め、その回転角に応じた矢印を術具画像に付与して表示する。術具部４の可撓伝達部１'に捩れが生じても、一目で術具の動作方向を認識できるので、操作が容易になる。
【解決手段】医療用内視鏡システムの挿入手段３には、内視鏡レンズ６を設けた内視鏡挿入部２'と、術具部４を設けた可撓伝達部１'を内挿し、可撓伝達部１'の他端には術具部４を操作する操作端１を設けている。可撓伝達部１'の術具側には三角形など連続した模様のマーカ５が周方向に１回り分、設けてある。内視鏡２は術具部４の画像と共にマーカ画像を読み取り、画像処理装置８はマーカ画像を画像処理して基準位置からの回転角を求め、その回転角に応じた矢印を術具画像に付与して表示する。術具部４の可撓伝達部１'に捩れが生じても、一目で術具の動作方向を認識できるので、操作が容易になる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像で捉えた物体の回転状態を検出する方法に関し、特に術者の手元操作端と術具との回転状態に捩れが生じている場合に、画面上の術具の回転状態と操作端の回転方向を対応付ける回転状態検出方式に関する。
【背景技術】
【０００２】
臨床現場で用いる医療用マニュピュレータの従来技術として、特許文献１に示すように、ワイヤ駆動方式関節部を持つ手術具について、手元操作部とハンドル部を上、下動作することにより先端関節部を下、上動作させ、また手元操作部とハンドル部を左、右動作することにより先端関節部を右、左動作させ、操作部を開、閉動作させることにより先端関節部を開、閉動作させて、位置及び姿勢を操作される多自由度鉗子に対して擬似的操作を可能とする機構の記載がある。
【０００３】
医師が内視鏡画面を見ながら手術をする場合、手元で医療器具の操作端を動かしながら画面に映る術具を操作するときに、手元の操作方向に対して、画面内で術具がどちらに動くか分からないときがある。その理由は、術具の挿入手段が軟性（可撓性）の場合、操作端と術具の間に捩れを生じているためで、内視鏡にリジッドに固定されている撮像手段と術具の間の相対的な関係は、入口部分である操作端（医者の手元）と出口部分である術具とで異なってしまう。このため、医者は、画面に映る術具を動かしてその動作方向を確認し、操作方向と動作方向の関係を把握する作業を行っている。
【０００４】
しかし、手術中に確認のため術具を動かしたりすると、捩れ具合が変わってしまい、再び思うような方向に動かせなくなってしまう場合がある。また、術具の動きを確認するための動作は、術野が狭い場合に周囲に接触する危険があるので高い技量が必要となり、安全性の面からも改善が求められている。
【０００５】
特許文献２では、医者が手元で容易に内視鏡の視野方向に望む位置に移動できるようにする内視鏡下外科手術装置が開示されている。ここでは、体内に挿入する処置具（把持鉗子）に色マーカを設け、画面上で色マーカが検出されると、その現在位置から画面中心位置に色マーカを移動させる移動量を求め、アクチュェータ回路を制御する。
【０００６】
【特許文献１】特開２００６−６１３６４号公報
【特許文献２】特開平１０−１１８０１５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかし、特許文献２の例では、不連続な色マーカの位置から移動量を求めるため、検出できる角度も間欠的になる。
【０００８】
本発明の目的は、上記従来技術の問題点を克服し、物体（術具）の回転角度を簡単かつ連続的に検知し、画面上における物体の回転方向と操作端の操作方向とを対応付けるようにした回転状態検出方法及び装置を提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成する本発明は、操作部の操作量を伝達部により術具部に伝えるとともに、術野における術具部の動作を撮影する撮像手段を用いて前記術具部の回転状態を検出する方法であって、前記伝達部の前記術具部側に設けられ周方向に連続する模様を備えたマーカを有し、前記撮像手段で前記マーカを撮像したマーカ画像情報を取り込んで画像処理し、前記マーカの回転角を求めることで前記術具部の回転状態を検出することを特徴とする。ここで、マーカ画像情報とは前記マーカを撮像したマーカ画像の電子情報であり、以下では単にマーカ画像という。
【００１０】
前記マーカは、前記連続模様の領域を区切る境界線の少なくとも一つが、周方向に対して軸方向の位置が連続的に変化する直線もしくは曲線である。また、前記マーカは、前記連続模様の領域を区切る一方の境界線が直線と、この境界線に対して他方の境界線は軸方向の位置が連続的に変化する直線もしくは曲線とを有し、これらの境界線により前記マーカは多角形もしくは曲線図形を含み、前記マーカは前記境界線を挟んで軸方向に色の特徴量が異なる。また、前記マーカは前記伝達部の軸方向に複数の前記連続模様の領域を有していてよい。
【００１１】
さらに前記マーカ画像情報を画像処理して前記マーカ画像情報におけるマーカ表示領域の奥行き方向の中心を示す計測ラインを求め、この計測ラインに沿って前記軸方向に区切られている領域の軸方向位置の比率を求め、この比率に該当する前記マーカ上の周方向位置から回転角を求める。
【００１２】
ここで述べるマーカの奥行き方向とは、前記術具部が設けられている先端側の方向となる。たとえば撮像手段のレンズ近辺から患部がある術野にむかって医療器具が延ばされるため、医療器具の先端側は画面の奥方向（撮像手段のレンズから遠ざかる方向）に伸びる。そこで、医療器具（前記伝達部）に取り付けたマーカにおいて、術具部に近い方をマーカ画像の奥行き方向と記述する。また、マーカ画像の奥行き方向の中心を示す計測ラインとは、画面奥に伸びる医療器具を軸方向に対して垂直に切った断面の中心点を連続に繋げた直線である。
【００１３】
前記マーカは前記連続模様の領域を区切る境界線を挟んで青色と緑色の領域を有していて、前記比率は青色領域と緑色領域の比率である。ここで、青色と表現しているのは青味が強い色を意味し、同様に緑色は緑味が強い色を意味している。いずれも単一の色を特定しているものではなく、相対的に識別できる色であればよい。
【００１４】
前記比率に該当する回転角が２つある場合に、前記マーカ画像情報におけるマーカ表示領域の横軸と前記計測ラインが交わる交点と、前記区切られた１つの領域の面の重心と前記交点を結ぶ延長線を求め、前記計測ラインと前記横軸がなす角度と前記延長線と前記横軸のなす角度に基づいて回転角を選択する。
【００１５】
本発明の回転状態検出方法では、マーカと動作方向の相対角度および計測ラインで計測された角度を元に前記術具部の動作方向を示す指示画像を生成し、前記撮像手段の撮像画像における術具部表示領域に付して表示する。ここで、マーカと動作方向の相対角度とは、動作方向Ｍｘとマーカが０度を示す模様の位置との間の相対角度である。マーカを伝達部に貼り付けるときには、動作方向がマーカの０度になるような関係に貼り付けるが、Ｍｘとは別の動作方向Ｍｙが存在し、二つの動作方向が直交している場合は動作方向Ｍｙはマーカの９０度の位置となる。このとき、マーカと動作方向Ｍｙの相対角度は９０度である。たとえば、計測ラインで計測した見た目の角度が１００度であるとすると、動作方向Ｍｙは差分の１０度だけ計測ラインの方向からずれていることになるので、この分だけ回転させた矢印を表示させる。一方、動作方向Ｍｘは９０度ずれていることになるので、動作方向Ｍｘを示す矢印は計測ラインの方向から９０度ずらして表示することになる。
【００１６】
本発明のより具体的な方法は、操作部の操作方向を伝達部により術具部に伝えるとともに、術野における前記術具部の動作を撮像する撮像手段を用いて前記術具部の回転状態を検出する方法であって、前記伝達部の前記術具部側に設けられ特徴量の異なる領域がそれぞれ周方向に連続する連続模様を備えたマーカを前記伝達部は有し、前記撮像手段で前記マーカを撮像したマーカ画像情報を取り込んで画像処理し、前記マーカの回転角を求めて前記術具部の回転状態を検出する場合に、取り込んだマーカ画像情報におけるマーカ表示領域の歪を補正して補正画像情報を生成し、この補正画像情報をフィルタリング手段によってマーカ画像の特徴量を基に前記マーカと背景との分離および前記マーカの模様の分離を行って抽出したマーカ画像領域の境界情報を抽出し、該境界情報からアフィン変換行列を作成し、該アフィン変換行列を用いてマーカの正面から見たマーカ画像領域に補正し、該補正されたマーカ画像領域の中心を通る計測ライン上で前記特徴量の異なる領域の長さの比率を求め、該比率に応じた角度を術具部の回転角として求めることを特徴とする。前記特徴量の異なる領域は、青色と緑色で配色された領域であり、前記フィルタリング手段は、前記補正画像をＲ（赤の画像）、Ｇ（緑の画像）、Ｂ（青の画像）に分割し、分割した画像に対し画素毎にＧとＢの和からＲを差し引く合成処理を行って緑色領域と青色領域の組によるマーカ領域を抽出することを特徴とする。あるいは、前記特徴量の異なる領域は、異なる蛍光色素で塗り分けられた領域であり、前記フィルタリング手段は前記蛍光色素の励起波長もしくは蛍光波長のみを抽出することで、前記蛍光色素の領域およびマーカ領域を抽出することを特徴とする。
【００１７】
本発明の回転状態検出装置は、術野における作業をする術具と、その操作部と、操作部の操作方向を術具部に伝える伝達部と、術野における術具部の動作を観察する撮像手段と、該撮像手段により術具部の回転状態を検出する装置であって、前記伝達部の術具部側の周方向に設けられた連続模様のマーカと、前記撮像手段で取り込んだマーカ画像を画像処理し、マーカの回転角を求める画像処理装置を備え、マーカの回転角を求めることで術具部の回転状態を検出することを特徴とする。
【００１８】
前記画像処理装置は、術具部とマーカの画像を取り込む画像取り込み手段と、取り込んだ画像の歪を補正する画像補正手段と、補正された画像をマーカの特徴量によって，マーカと背景との分離およびマーカの模様の分離を行ってマーカ領域を抽出するフィルタリング手段と、抽出したマーカ領域のエッジを抽出し、該エッジからアフィン変換行列を作成し、該アフィン変換行列を用いてマーカの正面から見たマーカ画像に拡大補正し、前記マーカが第１の色と第２の色の連続模様による組の場合に、前記拡大補正されたマーカ画像の中心を通る計測ライン上で第１の色領域と第２の色領域の長さの比率を求め、該比率に応じた角度を術具部の回転角として求める角度検出手段を備えることを特徴とする
前記フィルタリング手段は前記第１の色が緑、前記第２の色が青の場合に、前記補正された画像をＲ（赤の画像）、Ｇ（緑の画像）、Ｂ（青の画像）に分割し、分割した画像に対し画素毎にＧとＢの和からＲを差し引く合成処理を行って緑色領域と青色領域の組によるマーカ領域を抽出することを特徴とする。
【００１９】
ここで，Ｒ，Ｇ，Ｂ画像とは、元のカラー画像の各画素が赤（Ｒ），緑（Ｇ），青（Ｂ）の３色のパラメータから色が定義されており、その色パラメータのＲ成分（赤のパラメータ）だけを抽出して、この値をグレー値としたグレー画像がＲ画像である。Ｇ画像、Ｂ画像も同様である。Ｇ＋Ｂ−Ｒの合成処理とは、各グレー画像のグレー値のパラメータについて、前記合成処理で算出した値で表現したグレー画像を生成することである。
【００２０】
本発明の回転状態検出装置は、前記マーカと動作方向の相対角度および計測ラインで計測された角度を元に前記術具部の動作方向を示す矢印などの画像を生成し、前記術具部の画像に付して表示する表示情報生成手段を有する。
【００２１】
前記撮像手段は内視鏡であり、前記術具部は医者によって操作部が操作されて術具部による治療が行なわれる鉗子、電気メスなどの医療用器具，あるいは前記内視鏡よりも細い内視鏡であり、前記伝達部は捩れを生じる可能性のある可撓伝達部であることを特徴とする。
【００２２】
なお、術具部の動作方向の表示に代えて、手術の記録のために検出した術具部の回転角をその時々の術野の画像とともに記録したり、医療器具の自動制御にフィードバックするようにしてもよい。
【発明の効果】
【００２３】
本発明によれば、操作端と被操作端との間に捩れのある伝達部（たとえば軟性術具）の回転状態が、画面上で術具部の動作方向として示されるので、術具部の回転状態を一目で把握することができ、術具部の操作が容易になるとともに、安全性が向上できる効果がある。
【発明を実施するための最良の形態】
【００２４】
以下、本発明の一実施例について、親内視鏡内部で術具（手術器具）が捩れを生じる場合のある医療用内視鏡システムを例に説明する。ここで述べている親内視鏡とは、内視鏡のもつ挿入チャネルにさらに細径の内視鏡を挿入できる内視鏡であり、その相対関係から細径の内視鏡を子内視鏡，子内視鏡を挿入している内視鏡を親内視鏡などと呼ぶものの総称である。つまり、内視鏡の挿入チャネルに更に内視鏡を挿入することも可能な医療器具挿入具であり、子内視鏡の代わりに柔軟性があり、かつ外径が挿入チャネルの内径よりも細い医療器具を挿入することができるものである。また、親内視鏡のレンズ面と挿入チャネルの出口の位置関係が固定されているが、必ずしも同じ方向を向いていなくてもかまわない。つまり、親内視鏡から所定の角度で斜め方向に医療器具が出るように関係付けられていてもかまわない。患部の状態や治療内容に応じて親内視鏡と術具の角度を変えることで治療の作業のしやすさが向上する効果が期待できる。また、親内視鏡が無く、通常の内視鏡と、医療器具がそれぞれ別々に挿入されていてもかまわない。
【００２５】
図１は、一実施例による医療用内視鏡システムの全体構成図である。挿入手段３には、内視鏡レンズ（内視鏡の先端部分）６を設けた内視鏡２の挿入部２'と、術具部４を設けた可撓伝達部１'を内挿している。挿入手段３が無く、内視鏡２の挿入部２'と、術具部４を設けた可撓伝達部１'が別々に体内に挿入される構成であってもよい。挿入手段３があることで、患部まで術具部４を安全に導くことができる。体表近くの広い範囲で治療をしたい場合は挿入手段３を用いない構成とすることで、術具部を挿入手段３に制限されることなく自由に動かせる利点がある。可撓伝達部１'の他端には術者が術具部４を操作する医療器具の操作端１が設けられている。可撓伝達部１'の術具部側にはマーカ５を設けている。
【００２６】
図６Ａ、Ｂ、Ｃは可撓伝達部の先端部に設けられるマーカの展開図の一例である。図の上方が術具部の先端方向である。マーカ５は、マーカシートの四角領域を、マーカシートの横幅に対して高さ方向が連続的に変化する関数で表される直線や曲線で分割している連続模様を持つ。この分割の仕方の例をＡからＣで示している。
【００２７】
図６Ａの展開図で示すマーカ５は、マーカシート５０の四角形の領域（例えば５３ｂと５４ｂを組み合わせてなる領域）を、三角形の頂角のような折れ線で領域５３ｂと領域５４ｂにより分割した形状である。以降５１から５４の添え字のアルファベットが付いているものについて、アルファベットで識別する必要のない説明では、全てを代表して添え字なしの５１，５２，５３，５４で表現する。
【００２８】
図６Ｂの展開図で示すマーカ５は、マーカシート５０の四角領域を直線で領域５３と領域５４に分割した形状である。
【００２９】
図６Ａ、図６Ｂの展開図に示すように、マーカの境界線は三角形もしくは五角形、あるいは四角形の図形となる。さらに、特定の角度範囲の精度を上げるために、該当部の勾配を大きくした任意の多角形の図形としてもよい。
【００３０】
図６Ｃの展開図で示すマーカ５は、マーカシート５０の四角領域を三角関数で領域５３と領域５４に分割した形状である。
【００３１】
これら以外に、二次曲線などで分割する形状であっても以下に示す方法において同様の処理が可能である。
【００３２】
これ以降、代表例として図６Ａの場合で説明する。領域５３と領域５４は、フィルタリング手段でそれぞれ分離抽出可能な特徴量を持つ色で配色する。例えば、フィルタリング手段が色の特徴量を抽出する手段であれば、領域５３と領域５４を異なる色で塗り分ける。あるいは、フィルタリング手段が特定の蛍光塗料の波長を抽出する手段であれば、領域５３と領域５４は異なる波長の蛍光塗料で塗り分ける。この例のように、領域５３と領域５４の塗りわけはフィルタリング手段にあわせて行うが、ここでは、その一例として領域５３は緑色、領域５４は青色として説明する。
【００３３】
マーカの領域５３、５４の三角形のような形状はその底辺が横幅一杯で３６０度になるように作成され、マーカシート５０は可撓伝達部１'（術具の柄とも言う）の円周方向に１回りで貼り付けている。
【００３４】
マーカ５は、円筒状の弾性部材に印刷して術具の柄に嵌装したり、術具の柄に直接印刷してもよい。貼り付け固定する手段であれば、従来から所有する術具にマーカを貼り付けるだけで治療中の角度を検出することが可能となる。この場合、マーカの横幅を変化させたバリエーションを用意して術具の直径に合ったものを貼り付ければよい。弾性部材へ印刷したマーカは、術具の柄の直径が多少かわっても、ぴったりとマーカを固定することが可能であるため、対応する術具の直径にあわせて用意するバリエーションは貼り付ける物よりも少なくてすむ。さらに直接印刷したものは、術具とマーカとの間でズレが生じることがないため、経時的な安定が得られる。
【００３５】
マーカの領域５３，５４は本実施例の図６Ａで示す例では五角形に形成されている。つまり、三角形のような頂角をもつ模様の下に所定幅（たとえば１ｍｍ）の帯が設けられてある。この帯は、後述する青と緑の比を計算する場合に、頂点及び谷の部分の一方の長さが０になってしまうことを避けるためのゲタ部分であり、計算不可能な不連続点の発生を防ぐためのものである。また、本当に０なのか否かが区別しがたい状況を回避することもできる。
【００３６】
マーカは軸方向に、５２aから５２ｂで一組、５２ｂから５２ｃで一組、５２ｃから５３dで一組で、原理的には一組でも角度計算は可能である。マーカは画面奥になるほど縮小されて表示されるためデータの誤差が大きくなる。よって、術具の奥行きが変化しても、できるだけ手前の組で角度計算するのがよい。しかし、手術中などに血などでマーカが汚れている場合は、次に近い組を利用して角度計算できるメリットがあり、汚れに対するロバスト性が向上する。
【００３７】
マーカとマーカの間には、所定幅の帯５１a、５１ｂ、５１ｃ、５１ｄ、帯５２a、５２ｂ、５２ｃ、５２ｄが設けてあり、この帯は角度を検出する際の開始ラインを示すランドマークである。
【００３８】
図７はマーカを術具の柄に貼り付けた状態を内視鏡で観察した一例である。この図は画像補正手段１０による歪補正後の画像で、術具の柄（可撓伝達部）がその長手方向の軸心を回転軸として回転した場合に、貼り付けられたマークの見え方が変わることを（a）−（d）に示している。つまり、可撓伝達部１'に捩れがある場合に、実際のマーカ４の画像は捩れた後の見た目の角度を示す。
【００３９】
図８は１組のマーカの四角領域を示した展開図である。図６の３組のマークの１つを代表した図で、青色の五角形の領域３４と緑色の領域３３が対応して１組の連続模様を形成する。青色の領域３４の横幅は術具の柄の円周の長さ同一で、回転角度で表すと３６０度分の長さとなる。横軸をθとし、領域３４の左端を０度とすると、任意のθでの斜線（五角形の底辺（長さ０の軸上）からの長さ（高さ））は数式によって表すことができる。領域３４と対応する上部の領域３３は、円周上に巻かれたマーカ５を軸周りに１８０度回転させた位置で見れば緑色の領域３３が五角形を成す構成となる。
【００４０】
医療器具の術具部４は先端で治療行為を行う鉗子、電機メス、剪刀などを持つ治療器具のほか、内視鏡や撮像手段などの観察器具も含まれる。内視鏡２は患部を含む術野を観察するとともに、術野にある術具部４とマーカ５を観察する。
【００４１】
画像コントローラ７は、内視鏡２と接続されて内視鏡画像を取得し、モニタ４０に出力する。画像処理装置８は、入力された内視鏡画像を解析し、画面に映し出されているマーカ画像を読み取り、術具部４（可撓伝達部１'のマーカ貼付部）の回転角度を算出する。さらに、検出した回転角度をモニタ４０に出力し、術具の回転状態を情報表示する。
【００４２】
図２は画像処理装置の機能ブロック図で、処理の流れも示している。画像処理装置８は画像コントローラ７からのマーカを含む元画像を取り込む画像取り込み手段９、元画像の輝度や色のむら、元画像の歪みを補正する画像補正手段１０、元画像をマーカの特徴量を抽出し，背景とマーカ領域と模様を分離する画像フィルタリング手段１１を有している。この分離された画像を元にマーカ画像を抽出し、マーカ画像の中心ラインが読み取れる見た目の角度（回転角度）を検出する角度検出手段１２、見た目の角度から術具部４の動作方向を示す矢印などを形成する情報生成手段１３、術具部と矢印の画像を合成して出力する表示情報出力手段１４、検出した回転角度を記録するデータ記録手段１５を有している。
【００４３】
マーカ５が緑色の領域５３と青色の領域５４に塗り分けられている場合，画像フィルタリング手段は各画素のＲ（赤）Ｇ（緑）Ｂ（青）の３つの特徴量で３つの画像に分割する。
【００４４】
ＲＧＢ分解以外のフィルタリング手法としては、色素による吸収バンド帯の違いを利用したバンドパスフィルタを用いた手法や，マーカが蛍光色素を含む場合はその蛍光色素の蛍光波長に合わせて蛍光領域を分離・抽出する手法やレンズ面に透過波長を選択するフィルタを物理的に取り付ける手法、投光する光の波長を変化させて内視鏡画像のＲＧＢのパラメータを予め補正し、マーカ領域を特定しやすくする手法などがあり、このような手段によってもマーカの特徴を抽出して背景から分離することができる。いずれも、体内に無い特徴量をマーカにほどこし、その特徴量を効果的に抽出するフィルタリングを行うことが可能であるため、マーカと体内臓器との識別およびマーカ模様の識別を行いやすい利点がある。以降は、マーカ５が緑色の領域５３と青色の領域５４に塗り分けられている場合を前提として、ＲＧＢ分解によるフィルタリングを実施する場合の詳細を説明する。
【００４５】
３つの画像（Ｒ，Ｇ，Ｂ）からマーカ領域を特定、抽出し、マーカ領域の軸中心に設定した検出ラインに沿ってマーカのエッジを検出し、青と緑のエッジ比率から画面に表示されるマーカの中心ラインが示す角度（θ）を検出する角度検出手段１２を有している。さらに、画面に表示されるマーカの中心ラインが示す角度に基づいて、術具部４の動作方向を示す矢印などを重ねた画像を生成し、モニタ４０に出力する表示情報出力段１４、医療行為を記録するデータ記録手段１５を備えている。角度の情報については、画面から見た角度情報だけではなく、それを元に、特定の方向から見た角度に変換してデータ記録を行うなどの利用をしてもよい。
【００４６】
図３は画像補正手段の機能ブロック図で、処理の流れも示している。画像補正手段１０は前処理を行うためのもので、マーカを含む元画像の輝度ムラを補正し均一な明るさにする輝度補正手段１６、画面全体が何らかの色にシフトしている場合、画面の色を補正する色補正手段１７、画像の歪みを補正する歪補正手段１８を有し、取り込んだ元画像をこれら前処理によって補正するもので、いずれも周知の手段である。
【００４７】
色補正手段１７は、画面全体が特定の色にシフトしている場合にバランスを補正する手段で、事前に色のシフト状態をチェックし、そのパラメータを取得しておく。処理中（プログラムの稼動中）はこのパラメータに基づいて色の補正が行なわれる。
【００４８】
歪補正手段１８は、レンズの形状に依存して画像が湾曲して表示されるのを補正するもので、事前に格子模様などを撮影して歪み具合を計測して歪み補正のパラメータを取得する。処理中はこのパラメータを用いて画像を変換するので、歪み補正後の画像では、直線は直線として表示される。
【００４９】
前処理された元画像は、画像フィルタリング手段１１に入力する。ここでは、各画素のＲＧＢ各々のパラメータを用いて、元画像をＲ、Ｇ、Ｂ画像に分割する。Ｇ画像は三角パターン３３（領域３３）を強調した画像、Ｂ画像は三角パターン３４（領域３４）を強調した画像、Ｒ画像は背景となる体内を強調した画像である。
【００５０】
図４は角度検出手段の機能ブロック図で、処理の流れも示している。マーカ領域抽出手段１９は、画像フィルタリング手段１１によって分割されたＲＧＢ画像に対し、Ｇ画像とＢ画像を加算し、Ｒ画像を減算する合成処理を行い、これによってマーカ領域を特定して抽出する。
【００５１】
エッジ抽出手段２０は、抽出されたマーカのエッジである直線成分を抽出し、その直線の傾きを計算し、エッジの２直線の交点を計算する。画像に映されている内視鏡は画面奥に向かう姿勢なので、術具部（マーカ）の先端ほど小さく表示される。拡大率補正手段２１は、この交点部分が撮像手段の正面になるようにアフィン変換を行い、正面から見た画像にマーカ画像を変換する。マーカ読取手段２２は、マーカ画像の軸の中心にエッジ検出ラインを設定し、このラインに沿って明暗が変わる位置にマーカ内エッジを検出する。
【００５２】
角度算出手段２３は、マーカ内エッジから青色と緑色の長さを読み取りその比率を計算する。この比率から読み取られる角度は、画面に映る術具の中心ラインから読み取れる見た目の角度θである。
【００５３】
マーカは術具部の動作方向に対して，予め決められた条件で取り付けられる。つまり、術具部４の首振り方向がイ，ロとある場合（図示なし）、首振り方向イがマーカの０度と一致するように貼り付ける、などの条件である。このとき、マーカの０度の位置が基準となって、回転角度が記述される。
【００５４】
計測によって検出される回転角度（見た目の角度）θはマーカの０度から計測した量となるが、前回検出したときのデータの差分を得ることで、経時的な相対的回転角度θ’を計算することもできる。
【００５５】
ここで、θに依存した青と緑の長さは（１）、（２）式で表される。実施例の角度計算に用いたマーカの軸方向サイズは、開始ラインの高さは１ｍｍ，三角形の頂点の高さが５ｍｍでこのうち帯の高さが１ｍｍである。
０＜θ＜１８０度のとき、
緑の長さ＝５−４θ／１８０、青の長さ＝１＋４θ／１８０ …（１）
１８０度＜θ＜３６０度のとき、
緑の長さ＝−３＋４θ／１８０、青の長さ＝９−４θ／１８０ …（２）
なお、θ＝０度のとき、緑の長さ＝５、青の長さ＝１、θ＝１８０度のとき、緑の長さ＝１、青の長さ＝５である。
【００５６】
またＲａ＝緑の長さ÷青の長さとすると、Ｒａ＝５ならばθ＝０、Ｒａ＝０．２ならばθ＝１８０度となる。それ以外の場合は０＜θ＜１８０度、あるいは１８０＜θ＜３６０度となる。現在の角度がどちらに含まれるかの判別法は後述するが、それぞれにおいてＲａからθを算出するには、式（１）式（２）を元に、（３）、（４）式の関係となる。
０＜θ＜１８０のとき、
θ＝１８０（５−Ｒa）／（４（１＋Ｒa）） …（３）
１８０＜θ＜３６０のとき、
θ＝５４０（１＋３Ｒa）／（４（１＋Ｒa）） …（４）
ところで、マーカの計測点が斜面であれば、同じ青緑比に２つの解が存在する。図９はマーカの２つの斜面で同じ青緑比となるケースを示す説明図である。図のグラフで、任意の角度θ（たとえばθａ）における青色の高さ（たとえば０〜点３５の長さ）をその延長上である四角形領域の高さから差し引くと、五角形の領域３３の緑色の高さが分かる。このときの、緑色と青色の高さ（長さ）比率が分かれば、任意の回転角度θを逆算できる。
【００５７】
図９で、軸周方向回転角θに対する青緑長さの比が同一になるθａ、θａ'が存在する。θａは０〜１８０度の間、θａ’は１８０度〜３６０度の間である。このように、同一角度となる計測点３５、３６の有る斜面の選択方法は次のように行なわれる。
【００５８】
図１０は緑を基準として選択する場合の説明図で、以下の（１）〜（５）の手順で斜面の一方が選択される。
（１）青と緑の境界を抽出する計測ライン（術具４または可撓挿入部１'の中心線）と画面横軸のなす角度をφとする。
（２）計測ラインと画面横軸の交点ｐを求める．
（３）緑領域の面の重心ｇを計算する。
（４）ｇとｐを結ぶ直線が画面横軸となす角度φ’の大きさを計測ラインのなす角度φと比較する。
（５）φ’＞φのとき、青色五角形の右斜面（１８０度＜θ＜３６０度）、φ＞φ’のとき、青色五角形の左斜面（０度＜θ＜180度）、φ＝φ’のとき、計測ラインが頂点を通っている（θ＝０もしくは１８０度）ので、緑と青の比から０と１８０度を識別する。
【００５９】
図５は情報生成手段の機能ブロック図と処理の流れを示している。情報生成手段１３は角度検出手段１２で検出したデータを基に、データの記録や情報の表示など、目的に合わせた処理を行う。
【００６０】
情報利用による処理振り分け手段３０は、検出した角度の利用の仕方で基準からの角度補正手段２４と表示画像補正手段２５に以後の処理を振り分ける。ここで、回転角度とは、基準の姿勢を決めて、その姿勢を初期姿勢とし、術具がこの初期姿勢からどのくらい回転しているかを回転角度と定義する。
【００６１】
角度補正手段２４は、見た目の角度と初期姿勢との差分を計算して、初期姿勢からの変化量（回転角度）をデータ記録手段１５に記録する。画面に映る中心ラインの角度情報を保存する場合は、角度補正手段２４を通さず、そのままデータ記録手段１５で記録する。この回転角度は操作端側にフィードバックされて、軟性鉗子マニュピュレータなどの自動制御に用いることも可能である。
【００６２】
表示画像補正手段２５は、一例として動作方向を矢印で示す場合を説明する。回転角度が０（初期姿勢）の場合に表示する矢印の向き（正方向）は予め決めてあり、この初期の矢印の向きから、術具部の回転角度の量だけ向きをずらして矢印を表示する。
【００６３】
画面に映る術具部の中心ライン（計測ライン）から読み取れる角度情報（見た目の角度）の場合、表示画像補正手段２５はその中心ラインを回転の軸として、表示する矢印を角度情報の分だけ回転させる。情報生成手段２６はその回転後の矢印を生成し、画像合成手段２７はこの矢印が所定の位置となるように内視鏡画像と合成し、表示情報出力手段１４に出力し、モニタ４０に表示する。これにより、術具部４がどちらの方向に動くかを画面上の矢印を見ることで、一目で分かるように表示できる。なお、角度情報としては矢印のほかに、マーク、アイコンなどによってもよい。
【００６４】
次に、一実施例による回転状態検出方法の手順を説明する。図１１、図１２、図１３は画像処理装置８による回転角度の検出手順を示すフローチャートである。また図１４〜図１７は各処理の結果を示す説明図である。
【００６５】
ステップｓ１０１は、画像補正手段１０から画像フィルタリング手段１１に対する出力処理である。図１４のマーカ画像のうち、（a）の補正画像が出力される。
【００６６】
ステップｓ１０２は、画像フィルタリング手段１１による作業で、補正画像はＲ、Ｇ、Ｂの画像に分解される。図１４（ｂ）、（ｃ）、（ｄ）はそれぞれＲ画像６１、Ｇ画像６２、Ｂ画像６３で、Ｒ画像、Ｇ画像、Ｂ画像はそれぞれ元のカラー画像の画素が持っていた赤，緑，青のパラメータをそのままグレー値とした画像である。
【００６７】
ステップｓ１０３以降が角度検出手段１２による作業である。まず、Ｒ画像、Ｇ画像、Ｂ画像により、Ｇ画像とＢ画像の和からＲ画像を差し引く（Ｇ＋Ｂ−Ｒ）の合成処理を経てマーカ画像６４が抽出される。これによって、図１５（ａ）のように、マーカ画像のみを浮き上がらせて抽出する。
【００６８】
ステップｓ１０４では、マーカ領域周囲の境界線を抽出し（図１５（ｂ））、曲線と直線に分解し、その中から直線のみを抽出し（図１５（ｃ））、長い直線２本６６，６７を選ぶ（ｓ１０５）。ステップｓ１０６は、抽出した直線の傾きを計算し、ステップｓ１０７で２直線の延長線（点線）６８，６９の交点座標を計算する（図１５（ｄ）の点Ｃ）。
【００６９】
ステップｓ１０８は、２本の直線の傾きの平均値ｃ（平均値ｃを傾きｃと呼ぶことにする）を計算し、ステップｓ１０９では、点Ｃを通り、傾きｃの直線（図１５（ｄ）の直線７０）を生成し、これを中心ラインとする。
【００７０】
ステップｓ１１０では、２本の直線６６，６７の両端の座標（４点）を取得し、ステップｓ１１１では、２本の直線の１本を選び、その直線の手前側（術具の手前方向）の点ａ１を選び（図１６（ａ））、ステップｓ１１２では点ａ１と中心ライン７０の距離Ｌを算出する。ステップｓ１１３では、点ａ１に対し中心ライン７０を挟んだ対象点（点Ａ２）と、点ａ３に対し中心ライン７０を挟んで等距離にある線対称な対象点（点ａ４'）を作成し、ステップｓ１１４では、点ａ１を含む直線６６の他方の端点（ａ３）を通り、中心ライン７０に直交するライン上で、中心ラインから距離Ｌだけ離れた点Ａ３を作成し、ステップｓ１１５では、点Ａ３に対し中心ライン７０を挟んだ対象点（Ａ４）を作成する（図１６（ｂ））。
【００７１】
ステップｓ１１６ではアフィン変換行列の作成を行う。点ａ１，Ａ２，ａ３、ａ４’を変換前の４点、点ａ１、Ａ２、Ａ３、Ａ４を変換後の４点として、変換前の４点が変換後の４点になるようなアフィン変換回転行列を作成する。
【００７２】
ステップｓ１１７では、アフィン変換行列を用いてマーカの画像を変換する。図１７に変換後の画像を示す。この例は、図１４（ｃ）の画像をアフィン変換行列によって変換したものである。図１４では術具部の先端側になるに従い縮小されていたマーカ模様が、図１７では根元側から先端側まで等しい拡大率となるように、画像を３次元的に回転変換した結果を示している。
【００７３】
ステップｓ１１８では、アフィン変換後のマーカ領域と中心ラインとの和領域を求め、エッジ検出ライン７２を作成している。ステップｓ１１９では、エッジ検出ライン７２に沿って、マーカ模様のエッジを検出する。検出されたエッジは、図１７にエッジ検出ライン７２上の×印で示している。
【００７４】
ステップｓ１２０では、青緑比率を計算する。マーカ模様のエッジとして検出された×印の手前側から見て、２個目（７３）と３個目（７４）の間の距離が青色領域の長さであり、３個目（７４）と４個目（７５）の距離が緑領域の長さである。緑色領域の長さを青色領域の長さで割った比率をＲa（緑／青）とする。ここで、マーカに用いられる青色と緑色の比率は逆であってもよく、予め決めておけばよい。
【００７５】
ステップｓ１２１は、上述したマーカの２つの斜面の選択に係る処理である。まず、図１７で距離を計測した緑色領域７７に注目し、緑色領域のうち、見えている緑色領域７７の重心（ｇ）７６を計測する。重心７６は中心ライン７２の右側にあり、青領域の三角形部分の斜辺が右下がりになっている部分が見えていると判断できる。中心ラインと画面横軸の交点ｐがなす角度φ（図１０）と、重心ｇと交点ｐを結ぶ直線がなす角度φ’（図１０）の大きさを比較することで、上述したように選択する斜面を決定できる。
【００７６】
ステップｓ１２２は、青緑の比率Ｒaと選択した斜面の傾きから、画面に映る術具柄の中心ラインに沿った角度情報を算出する。
【００７７】
図１８は情報生成手段の処理を示すフローチャート、図１９、図２０は各処理の結果を示す説明図である。情報生成手段１３は術具部４の動作方向を示す画像を生成する。ここでは、動作方向を矢印で示す例を説明する。
【００７８】
ｓ２０１では、ｓ１０３（図１１）で抽出したマーカ領域から円弧成分を抽出する。図１９（ａ）の円弧成分６４から（ｂ）の円弧８２を抽出する。ｓ２０２では、抽出した円弧成分に対し楕円フィッティングを行う。すなわち、楕円の円弧の一部がｓ２０１で抽出した円弧８２と一致する楕円パラメータが、図１９（ｃ）の８３のように特定される。
【００７９】
ｓ２０３では、図１９（ｃ）のように、楕円の中心点ａ５を通る楕円の長軸と短軸と、円弧８２との交点ａ６，ａ７，ａ８，ａ９を抽出する。短軸は中心ライン７０の方向と一致する。
【００８０】
ｓ２０４では、点ａ５から点ａ７までの距離Ｌ２を取得する。ｓ２０５では、中心点（ａ５）から短軸方向に向かい、距離Ｌ２の位置にある点Ａ６，Ａ８の座標を取得する。ｓ２０６では、点ａ６，ａ７，ａ８，ａ９を変換前の４点、点Ａ６，ａ７，Ａ８，ａ９を変換後４点として、変換前の４点を変換後の４点になるような回転行列（アフィン変換行列）を作成する。変換後は、中心点から各点までの距離が等しい円の形状となる（図２０の円８４）。
【００８１】
ｓ２０７では、変換後の円上で、中心ラインの示す角度から、動作方向を示す矢印の向きを特定する。具体的に説明すると、マーカを医療器具に設けるときに、マーカが示すどの角度の位置が動作方向であるかを予め決め、医療器具が首振り動作Ｍｘ、首振り動作Ｍｙを行うとする。動作Ｍｘを行う方向がマーカ上で示されるθｘ（度）の位置、動作Ｍｙを行う方向がマーカ上で示されるθｙ（度）の位置になっているとすると、ＭｙとＭｘの動作方向が直交していれば、θｘ（度）とθｙ（度）の間隔は９０度となる。医療器具に応じて、ＭｙとＭｘの間隔が直交でなければ、おのずとθｘ（度）とθｙ（度）の間隔は動作方向にあわせた値となる。
【００８２】
たとえば、中心ラインが示す角度がθａ'(度)と算出され、動作方向Ｍｘ，Ｍｙを示すθｘ（度）とθｙ（度）も分かっているとする。そこで、θｘ（度）、θｙ（度）の角度に向けて矢印を表すためには、中心ラインからθｘ（度）とθａ'(度)の差だけ矢印を回転させればよい。θｙ（度）を示す矢印も同様である。そこで、図２０に示すように、円の中心から伸びる矢印を、中心ラインが示す方向から、θｘ（度）とθａ'(度)の差だけ円の中心点回りに回転させて矢印８６を表示する。
【００８３】
ｓ２０８では、ｓ２０７で作成したθｘ（度）と、θｙ（度）を示す矢印は、円の形状８４に重ねて作成したものであるので、円８４を元の楕円８３に戻す行列を用いて、矢印をアフィン変換する。変換後の矢印は８６'となる。この変換のための行列はｓ２０６で作成した楕円から円へ変換する行列の逆行列である。以上が情報生成手段２６の処理作業である。実際に表示をさせるにはマーカ画像との画像合成が必要になる。
【００８４】
ｓ２０９では、逆変換後の矢印を内視鏡画像上の所定の位置に表示する（図２１（ｂ）の矢印８０、８１）。
【００８５】
図２１は医療器具の操作部と内視鏡画面の様子を示す説明図である。医療器具の操作部は、図２１（ａ）に示すように、互いに直交する軸の方向７８と方向７９に術具部４を動かすことができる（特許文献１参照）。これに合わせて、先端の術具部４も２方向に首振りをできるが、画面上ではどちらに首を振るか分からない場合がある。そこで、方向７８の正方向（反時計回り）を図示の矢印方向、方向７９の正方向（反時計回り）を図示の矢印方向と予め設定し、それぞれ正方向に動かしたときに術具がどの方向に首を振るかを、図２１（ｂ）のように画面上に矢印８０、８１で表示する。
【００８６】
矢印のデザインや表示位置は図示のものに限られない。移動後の姿勢をＣＧにより薄く重ね合わせてもよく、操作者の好みに随時変更が可能である。また表示するタイミングは、常時表示してもよいし、操作者が必要とするときにフットスイッチ等によって表示させてもよい。
【００８７】
本実施例では、情報生成手段１３及び表示情報出力手段１４によって、これらの表示を行うので、操作部と術具の間に捩れがある場合でも、操作によって動く方向を、実際に医療器具を動かさなくても画面上の情報として把握することができる。
本実施例で示した図６Ａのマーカの展開図を用いた場合、青領域と緑領域の比率から該当する回転角度が二つあるため、上述のように、これを絞り込むためのステップが必要となる。これに対して図６Ｂのマーカの展開図を用いると、青領域と緑領域の比率から該当する回転角度は一つであるため、図６Ａで必要となった絞込みのためのステップは必要なくなり、処理速度が向上する。
【００８８】
また、図６Ａのマーカの展開図は青領域と緑領域を直線で区切っているため、術具の回転角度に応じた青領域と緑領域の比率が変化する割合は常に一定である。これに対して図６Ｃのマーカの展開図を用いると、青領域と緑領域を三角関数で区切っているため、上記比率が緩やかに変化する範囲と急激に変化する範囲が存在する。急激に変化する範囲では、回転角度に対する青領域と緑領域の変化が大きくなるため、回転角度の検出精度が高くなる。よって、術具の回転角度の検出精度を高めたい範囲にあわせてマーカを貼り付けることで、精度が必要な範囲においては、図６Ａのマーカを用いるよりも、高い精度で回転角度を検出することができる効果がある。
【００８９】
図６Ａから図６Ｃのいずれのマーカでも、領域の境界が途切れることなく連続しているため、術具の回転角度を全ての範囲において連続的に検出することが可能である。
【００９０】
本実施例では、マーカを青領域と緑領域で配色したが、これは画像をＲＧＢのパラメータで識別するときに、体内に多い赤と区別しやすい利点がある。これとは別に、二つの領域を異なる波長の蛍光塗料で配色する方法では、特定の波長を検出するフィルタリングによって、体内の色などに関係なく、蛍光領域のみを抽出できる利点がある。
【産業上の利用可能性】
【００９１】
上記実施例においては、主に医療用軟性鉗子の制御を例にしているがこれに限られるものではない。工業用ロボットのマニュピュレータや配管等の検査・作業ロボットなどの作業端を、軟性術部を介して操作端から操作する場合に広く適用できることは言うまでもない。
【図面の簡単な説明】
【００９２】
【図１】本発明の一実施例による医療用内視鏡システムの全体構成図。
【図２】一実施例による画像処理装置の機能ブロック図。
【図３】画像補正手段の機能ブロック図。
【図４】角度検出手段の機能ブロック図。
【図５】情報生成手段の機能ブロック図。
【図６Ａ】マーカの展開図（三角形の頂点を含む領域分割）。
【図６Ｂ】マーカの展開図（斜めの直線による領域分割）。
【図６Ｃ】マーカの展開図（三角関数の曲線による領域分割）。
【図７】マーカを術具の柄に貼り付けた状態を内視鏡で観察した場合の説明図。
【図８】１組のマーカの展開図。
【図９】マーカの２つの斜面で同じ青緑比となるケースを示す説明図。
【図１０】斜面の選択方法を示す説明図。
【図１１】画像処理手段による回転角度の検出手順を示すフローチャート（その１）。
【図１２】画像処理手段による回転角度の検出手順を示すフローチャート（その２）。
【図１３】画像処理手段による回転角度の検出手順を示すフローチャート（その３）。
【図１４】マーカ画像とＲＧＢ画像の説明図。
【図１５】マーカ領域の直線分抽出の説明図。
【図１６】アフィン変換行列作成の説明図。
【図１７】アフィン変換後のマーカの拡大図。
【図１８】表示画像生成処理を示すフローチャート。
【図１９】表示画像生成処理の結果を示す説明図（その１）。
【図２０】表示画像生成処理の結果を示す説明図（その２）。
【図２１】医療器具の操作部と内視鏡画面の様子を示す説明図。
【符号の説明】
【００９３】
１…医療器具の操作部、１'…可撓伝達部、２…内視鏡、２'…内視鏡挿入部、３…挿入手段、４…術具部、５…マーカ、６…内視鏡レンズ、７…画像コントローラ、８…画像処理装置、９…画像取り込み手段、１０…画像補正手段、１１…画像フィルタリング手段、１２…角度検出手段、１３…情報生成手段、１４…表示情報出力手段、１５…データ記録手段、１６…輝度補正手段、１７…色補正手段、１８…歪み補正手段、１９…マーカ領域抽出手段、２０…エッジ抽出手段、２１…拡大率補正手段、２２…マーカ読取手段、２３…角度算出手段、２４…基準からの角度補正手段、２５…表示画像補正手段、２６…表示画像作成手段、２７…画像合成手段、３０…処理振り分け手段、４０…モニタ、５０…マーカシート。
【技術分野】
【０００１】
本発明は画像で捉えた物体の回転状態を検出する方法に関し、特に術者の手元操作端と術具との回転状態に捩れが生じている場合に、画面上の術具の回転状態と操作端の回転方向を対応付ける回転状態検出方式に関する。
【背景技術】
【０００２】
臨床現場で用いる医療用マニュピュレータの従来技術として、特許文献１に示すように、ワイヤ駆動方式関節部を持つ手術具について、手元操作部とハンドル部を上、下動作することにより先端関節部を下、上動作させ、また手元操作部とハンドル部を左、右動作することにより先端関節部を右、左動作させ、操作部を開、閉動作させることにより先端関節部を開、閉動作させて、位置及び姿勢を操作される多自由度鉗子に対して擬似的操作を可能とする機構の記載がある。
【０００３】
医師が内視鏡画面を見ながら手術をする場合、手元で医療器具の操作端を動かしながら画面に映る術具を操作するときに、手元の操作方向に対して、画面内で術具がどちらに動くか分からないときがある。その理由は、術具の挿入手段が軟性（可撓性）の場合、操作端と術具の間に捩れを生じているためで、内視鏡にリジッドに固定されている撮像手段と術具の間の相対的な関係は、入口部分である操作端（医者の手元）と出口部分である術具とで異なってしまう。このため、医者は、画面に映る術具を動かしてその動作方向を確認し、操作方向と動作方向の関係を把握する作業を行っている。
【０００４】
しかし、手術中に確認のため術具を動かしたりすると、捩れ具合が変わってしまい、再び思うような方向に動かせなくなってしまう場合がある。また、術具の動きを確認するための動作は、術野が狭い場合に周囲に接触する危険があるので高い技量が必要となり、安全性の面からも改善が求められている。
【０００５】
特許文献２では、医者が手元で容易に内視鏡の視野方向に望む位置に移動できるようにする内視鏡下外科手術装置が開示されている。ここでは、体内に挿入する処置具（把持鉗子）に色マーカを設け、画面上で色マーカが検出されると、その現在位置から画面中心位置に色マーカを移動させる移動量を求め、アクチュェータ回路を制御する。
【０００６】
【特許文献１】特開２００６−６１３６４号公報
【特許文献２】特開平１０−１１８０１５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかし、特許文献２の例では、不連続な色マーカの位置から移動量を求めるため、検出できる角度も間欠的になる。
【０００８】
本発明の目的は、上記従来技術の問題点を克服し、物体（術具）の回転角度を簡単かつ連続的に検知し、画面上における物体の回転方向と操作端の操作方向とを対応付けるようにした回転状態検出方法及び装置を提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成する本発明は、操作部の操作量を伝達部により術具部に伝えるとともに、術野における術具部の動作を撮影する撮像手段を用いて前記術具部の回転状態を検出する方法であって、前記伝達部の前記術具部側に設けられ周方向に連続する模様を備えたマーカを有し、前記撮像手段で前記マーカを撮像したマーカ画像情報を取り込んで画像処理し、前記マーカの回転角を求めることで前記術具部の回転状態を検出することを特徴とする。ここで、マーカ画像情報とは前記マーカを撮像したマーカ画像の電子情報であり、以下では単にマーカ画像という。
【００１０】
前記マーカは、前記連続模様の領域を区切る境界線の少なくとも一つが、周方向に対して軸方向の位置が連続的に変化する直線もしくは曲線である。また、前記マーカは、前記連続模様の領域を区切る一方の境界線が直線と、この境界線に対して他方の境界線は軸方向の位置が連続的に変化する直線もしくは曲線とを有し、これらの境界線により前記マーカは多角形もしくは曲線図形を含み、前記マーカは前記境界線を挟んで軸方向に色の特徴量が異なる。また、前記マーカは前記伝達部の軸方向に複数の前記連続模様の領域を有していてよい。
【００１１】
さらに前記マーカ画像情報を画像処理して前記マーカ画像情報におけるマーカ表示領域の奥行き方向の中心を示す計測ラインを求め、この計測ラインに沿って前記軸方向に区切られている領域の軸方向位置の比率を求め、この比率に該当する前記マーカ上の周方向位置から回転角を求める。
【００１２】
ここで述べるマーカの奥行き方向とは、前記術具部が設けられている先端側の方向となる。たとえば撮像手段のレンズ近辺から患部がある術野にむかって医療器具が延ばされるため、医療器具の先端側は画面の奥方向（撮像手段のレンズから遠ざかる方向）に伸びる。そこで、医療器具（前記伝達部）に取り付けたマーカにおいて、術具部に近い方をマーカ画像の奥行き方向と記述する。また、マーカ画像の奥行き方向の中心を示す計測ラインとは、画面奥に伸びる医療器具を軸方向に対して垂直に切った断面の中心点を連続に繋げた直線である。
【００１３】
前記マーカは前記連続模様の領域を区切る境界線を挟んで青色と緑色の領域を有していて、前記比率は青色領域と緑色領域の比率である。ここで、青色と表現しているのは青味が強い色を意味し、同様に緑色は緑味が強い色を意味している。いずれも単一の色を特定しているものではなく、相対的に識別できる色であればよい。
【００１４】
前記比率に該当する回転角が２つある場合に、前記マーカ画像情報におけるマーカ表示領域の横軸と前記計測ラインが交わる交点と、前記区切られた１つの領域の面の重心と前記交点を結ぶ延長線を求め、前記計測ラインと前記横軸がなす角度と前記延長線と前記横軸のなす角度に基づいて回転角を選択する。
【００１５】
本発明の回転状態検出方法では、マーカと動作方向の相対角度および計測ラインで計測された角度を元に前記術具部の動作方向を示す指示画像を生成し、前記撮像手段の撮像画像における術具部表示領域に付して表示する。ここで、マーカと動作方向の相対角度とは、動作方向Ｍｘとマーカが０度を示す模様の位置との間の相対角度である。マーカを伝達部に貼り付けるときには、動作方向がマーカの０度になるような関係に貼り付けるが、Ｍｘとは別の動作方向Ｍｙが存在し、二つの動作方向が直交している場合は動作方向Ｍｙはマーカの９０度の位置となる。このとき、マーカと動作方向Ｍｙの相対角度は９０度である。たとえば、計測ラインで計測した見た目の角度が１００度であるとすると、動作方向Ｍｙは差分の１０度だけ計測ラインの方向からずれていることになるので、この分だけ回転させた矢印を表示させる。一方、動作方向Ｍｘは９０度ずれていることになるので、動作方向Ｍｘを示す矢印は計測ラインの方向から９０度ずらして表示することになる。
【００１６】
本発明のより具体的な方法は、操作部の操作方向を伝達部により術具部に伝えるとともに、術野における前記術具部の動作を撮像する撮像手段を用いて前記術具部の回転状態を検出する方法であって、前記伝達部の前記術具部側に設けられ特徴量の異なる領域がそれぞれ周方向に連続する連続模様を備えたマーカを前記伝達部は有し、前記撮像手段で前記マーカを撮像したマーカ画像情報を取り込んで画像処理し、前記マーカの回転角を求めて前記術具部の回転状態を検出する場合に、取り込んだマーカ画像情報におけるマーカ表示領域の歪を補正して補正画像情報を生成し、この補正画像情報をフィルタリング手段によってマーカ画像の特徴量を基に前記マーカと背景との分離および前記マーカの模様の分離を行って抽出したマーカ画像領域の境界情報を抽出し、該境界情報からアフィン変換行列を作成し、該アフィン変換行列を用いてマーカの正面から見たマーカ画像領域に補正し、該補正されたマーカ画像領域の中心を通る計測ライン上で前記特徴量の異なる領域の長さの比率を求め、該比率に応じた角度を術具部の回転角として求めることを特徴とする。前記特徴量の異なる領域は、青色と緑色で配色された領域であり、前記フィルタリング手段は、前記補正画像をＲ（赤の画像）、Ｇ（緑の画像）、Ｂ（青の画像）に分割し、分割した画像に対し画素毎にＧとＢの和からＲを差し引く合成処理を行って緑色領域と青色領域の組によるマーカ領域を抽出することを特徴とする。あるいは、前記特徴量の異なる領域は、異なる蛍光色素で塗り分けられた領域であり、前記フィルタリング手段は前記蛍光色素の励起波長もしくは蛍光波長のみを抽出することで、前記蛍光色素の領域およびマーカ領域を抽出することを特徴とする。
【００１７】
本発明の回転状態検出装置は、術野における作業をする術具と、その操作部と、操作部の操作方向を術具部に伝える伝達部と、術野における術具部の動作を観察する撮像手段と、該撮像手段により術具部の回転状態を検出する装置であって、前記伝達部の術具部側の周方向に設けられた連続模様のマーカと、前記撮像手段で取り込んだマーカ画像を画像処理し、マーカの回転角を求める画像処理装置を備え、マーカの回転角を求めることで術具部の回転状態を検出することを特徴とする。
【００１８】
前記画像処理装置は、術具部とマーカの画像を取り込む画像取り込み手段と、取り込んだ画像の歪を補正する画像補正手段と、補正された画像をマーカの特徴量によって，マーカと背景との分離およびマーカの模様の分離を行ってマーカ領域を抽出するフィルタリング手段と、抽出したマーカ領域のエッジを抽出し、該エッジからアフィン変換行列を作成し、該アフィン変換行列を用いてマーカの正面から見たマーカ画像に拡大補正し、前記マーカが第１の色と第２の色の連続模様による組の場合に、前記拡大補正されたマーカ画像の中心を通る計測ライン上で第１の色領域と第２の色領域の長さの比率を求め、該比率に応じた角度を術具部の回転角として求める角度検出手段を備えることを特徴とする
前記フィルタリング手段は前記第１の色が緑、前記第２の色が青の場合に、前記補正された画像をＲ（赤の画像）、Ｇ（緑の画像）、Ｂ（青の画像）に分割し、分割した画像に対し画素毎にＧとＢの和からＲを差し引く合成処理を行って緑色領域と青色領域の組によるマーカ領域を抽出することを特徴とする。
【００１９】
ここで，Ｒ，Ｇ，Ｂ画像とは、元のカラー画像の各画素が赤（Ｒ），緑（Ｇ），青（Ｂ）の３色のパラメータから色が定義されており、その色パラメータのＲ成分（赤のパラメータ）だけを抽出して、この値をグレー値としたグレー画像がＲ画像である。Ｇ画像、Ｂ画像も同様である。Ｇ＋Ｂ−Ｒの合成処理とは、各グレー画像のグレー値のパラメータについて、前記合成処理で算出した値で表現したグレー画像を生成することである。
【００２０】
本発明の回転状態検出装置は、前記マーカと動作方向の相対角度および計測ラインで計測された角度を元に前記術具部の動作方向を示す矢印などの画像を生成し、前記術具部の画像に付して表示する表示情報生成手段を有する。
【００２１】
前記撮像手段は内視鏡であり、前記術具部は医者によって操作部が操作されて術具部による治療が行なわれる鉗子、電気メスなどの医療用器具，あるいは前記内視鏡よりも細い内視鏡であり、前記伝達部は捩れを生じる可能性のある可撓伝達部であることを特徴とする。
【００２２】
なお、術具部の動作方向の表示に代えて、手術の記録のために検出した術具部の回転角をその時々の術野の画像とともに記録したり、医療器具の自動制御にフィードバックするようにしてもよい。
【発明の効果】
【００２３】
本発明によれば、操作端と被操作端との間に捩れのある伝達部（たとえば軟性術具）の回転状態が、画面上で術具部の動作方向として示されるので、術具部の回転状態を一目で把握することができ、術具部の操作が容易になるとともに、安全性が向上できる効果がある。
【発明を実施するための最良の形態】
【００２４】
以下、本発明の一実施例について、親内視鏡内部で術具（手術器具）が捩れを生じる場合のある医療用内視鏡システムを例に説明する。ここで述べている親内視鏡とは、内視鏡のもつ挿入チャネルにさらに細径の内視鏡を挿入できる内視鏡であり、その相対関係から細径の内視鏡を子内視鏡，子内視鏡を挿入している内視鏡を親内視鏡などと呼ぶものの総称である。つまり、内視鏡の挿入チャネルに更に内視鏡を挿入することも可能な医療器具挿入具であり、子内視鏡の代わりに柔軟性があり、かつ外径が挿入チャネルの内径よりも細い医療器具を挿入することができるものである。また、親内視鏡のレンズ面と挿入チャネルの出口の位置関係が固定されているが、必ずしも同じ方向を向いていなくてもかまわない。つまり、親内視鏡から所定の角度で斜め方向に医療器具が出るように関係付けられていてもかまわない。患部の状態や治療内容に応じて親内視鏡と術具の角度を変えることで治療の作業のしやすさが向上する効果が期待できる。また、親内視鏡が無く、通常の内視鏡と、医療器具がそれぞれ別々に挿入されていてもかまわない。
【００２５】
図１は、一実施例による医療用内視鏡システムの全体構成図である。挿入手段３には、内視鏡レンズ（内視鏡の先端部分）６を設けた内視鏡２の挿入部２'と、術具部４を設けた可撓伝達部１'を内挿している。挿入手段３が無く、内視鏡２の挿入部２'と、術具部４を設けた可撓伝達部１'が別々に体内に挿入される構成であってもよい。挿入手段３があることで、患部まで術具部４を安全に導くことができる。体表近くの広い範囲で治療をしたい場合は挿入手段３を用いない構成とすることで、術具部を挿入手段３に制限されることなく自由に動かせる利点がある。可撓伝達部１'の他端には術者が術具部４を操作する医療器具の操作端１が設けられている。可撓伝達部１'の術具部側にはマーカ５を設けている。
【００２６】
図６Ａ、Ｂ、Ｃは可撓伝達部の先端部に設けられるマーカの展開図の一例である。図の上方が術具部の先端方向である。マーカ５は、マーカシートの四角領域を、マーカシートの横幅に対して高さ方向が連続的に変化する関数で表される直線や曲線で分割している連続模様を持つ。この分割の仕方の例をＡからＣで示している。
【００２７】
図６Ａの展開図で示すマーカ５は、マーカシート５０の四角形の領域（例えば５３ｂと５４ｂを組み合わせてなる領域）を、三角形の頂角のような折れ線で領域５３ｂと領域５４ｂにより分割した形状である。以降５１から５４の添え字のアルファベットが付いているものについて、アルファベットで識別する必要のない説明では、全てを代表して添え字なしの５１，５２，５３，５４で表現する。
【００２８】
図６Ｂの展開図で示すマーカ５は、マーカシート５０の四角領域を直線で領域５３と領域５４に分割した形状である。
【００２９】
図６Ａ、図６Ｂの展開図に示すように、マーカの境界線は三角形もしくは五角形、あるいは四角形の図形となる。さらに、特定の角度範囲の精度を上げるために、該当部の勾配を大きくした任意の多角形の図形としてもよい。
【００３０】
図６Ｃの展開図で示すマーカ５は、マーカシート５０の四角領域を三角関数で領域５３と領域５４に分割した形状である。
【００３１】
これら以外に、二次曲線などで分割する形状であっても以下に示す方法において同様の処理が可能である。
【００３２】
これ以降、代表例として図６Ａの場合で説明する。領域５３と領域５４は、フィルタリング手段でそれぞれ分離抽出可能な特徴量を持つ色で配色する。例えば、フィルタリング手段が色の特徴量を抽出する手段であれば、領域５３と領域５４を異なる色で塗り分ける。あるいは、フィルタリング手段が特定の蛍光塗料の波長を抽出する手段であれば、領域５３と領域５４は異なる波長の蛍光塗料で塗り分ける。この例のように、領域５３と領域５４の塗りわけはフィルタリング手段にあわせて行うが、ここでは、その一例として領域５３は緑色、領域５４は青色として説明する。
【００３３】
マーカの領域５３、５４の三角形のような形状はその底辺が横幅一杯で３６０度になるように作成され、マーカシート５０は可撓伝達部１'（術具の柄とも言う）の円周方向に１回りで貼り付けている。
【００３４】
マーカ５は、円筒状の弾性部材に印刷して術具の柄に嵌装したり、術具の柄に直接印刷してもよい。貼り付け固定する手段であれば、従来から所有する術具にマーカを貼り付けるだけで治療中の角度を検出することが可能となる。この場合、マーカの横幅を変化させたバリエーションを用意して術具の直径に合ったものを貼り付ければよい。弾性部材へ印刷したマーカは、術具の柄の直径が多少かわっても、ぴったりとマーカを固定することが可能であるため、対応する術具の直径にあわせて用意するバリエーションは貼り付ける物よりも少なくてすむ。さらに直接印刷したものは、術具とマーカとの間でズレが生じることがないため、経時的な安定が得られる。
【００３５】
マーカの領域５３，５４は本実施例の図６Ａで示す例では五角形に形成されている。つまり、三角形のような頂角をもつ模様の下に所定幅（たとえば１ｍｍ）の帯が設けられてある。この帯は、後述する青と緑の比を計算する場合に、頂点及び谷の部分の一方の長さが０になってしまうことを避けるためのゲタ部分であり、計算不可能な不連続点の発生を防ぐためのものである。また、本当に０なのか否かが区別しがたい状況を回避することもできる。
【００３６】
マーカは軸方向に、５２aから５２ｂで一組、５２ｂから５２ｃで一組、５２ｃから５３dで一組で、原理的には一組でも角度計算は可能である。マーカは画面奥になるほど縮小されて表示されるためデータの誤差が大きくなる。よって、術具の奥行きが変化しても、できるだけ手前の組で角度計算するのがよい。しかし、手術中などに血などでマーカが汚れている場合は、次に近い組を利用して角度計算できるメリットがあり、汚れに対するロバスト性が向上する。
【００３７】
マーカとマーカの間には、所定幅の帯５１a、５１ｂ、５１ｃ、５１ｄ、帯５２a、５２ｂ、５２ｃ、５２ｄが設けてあり、この帯は角度を検出する際の開始ラインを示すランドマークである。
【００３８】
図７はマーカを術具の柄に貼り付けた状態を内視鏡で観察した一例である。この図は画像補正手段１０による歪補正後の画像で、術具の柄（可撓伝達部）がその長手方向の軸心を回転軸として回転した場合に、貼り付けられたマークの見え方が変わることを（a）−（d）に示している。つまり、可撓伝達部１'に捩れがある場合に、実際のマーカ４の画像は捩れた後の見た目の角度を示す。
【００３９】
図８は１組のマーカの四角領域を示した展開図である。図６の３組のマークの１つを代表した図で、青色の五角形の領域３４と緑色の領域３３が対応して１組の連続模様を形成する。青色の領域３４の横幅は術具の柄の円周の長さ同一で、回転角度で表すと３６０度分の長さとなる。横軸をθとし、領域３４の左端を０度とすると、任意のθでの斜線（五角形の底辺（長さ０の軸上）からの長さ（高さ））は数式によって表すことができる。領域３４と対応する上部の領域３３は、円周上に巻かれたマーカ５を軸周りに１８０度回転させた位置で見れば緑色の領域３３が五角形を成す構成となる。
【００４０】
医療器具の術具部４は先端で治療行為を行う鉗子、電機メス、剪刀などを持つ治療器具のほか、内視鏡や撮像手段などの観察器具も含まれる。内視鏡２は患部を含む術野を観察するとともに、術野にある術具部４とマーカ５を観察する。
【００４１】
画像コントローラ７は、内視鏡２と接続されて内視鏡画像を取得し、モニタ４０に出力する。画像処理装置８は、入力された内視鏡画像を解析し、画面に映し出されているマーカ画像を読み取り、術具部４（可撓伝達部１'のマーカ貼付部）の回転角度を算出する。さらに、検出した回転角度をモニタ４０に出力し、術具の回転状態を情報表示する。
【００４２】
図２は画像処理装置の機能ブロック図で、処理の流れも示している。画像処理装置８は画像コントローラ７からのマーカを含む元画像を取り込む画像取り込み手段９、元画像の輝度や色のむら、元画像の歪みを補正する画像補正手段１０、元画像をマーカの特徴量を抽出し，背景とマーカ領域と模様を分離する画像フィルタリング手段１１を有している。この分離された画像を元にマーカ画像を抽出し、マーカ画像の中心ラインが読み取れる見た目の角度（回転角度）を検出する角度検出手段１２、見た目の角度から術具部４の動作方向を示す矢印などを形成する情報生成手段１３、術具部と矢印の画像を合成して出力する表示情報出力手段１４、検出した回転角度を記録するデータ記録手段１５を有している。
【００４３】
マーカ５が緑色の領域５３と青色の領域５４に塗り分けられている場合，画像フィルタリング手段は各画素のＲ（赤）Ｇ（緑）Ｂ（青）の３つの特徴量で３つの画像に分割する。
【００４４】
ＲＧＢ分解以外のフィルタリング手法としては、色素による吸収バンド帯の違いを利用したバンドパスフィルタを用いた手法や，マーカが蛍光色素を含む場合はその蛍光色素の蛍光波長に合わせて蛍光領域を分離・抽出する手法やレンズ面に透過波長を選択するフィルタを物理的に取り付ける手法、投光する光の波長を変化させて内視鏡画像のＲＧＢのパラメータを予め補正し、マーカ領域を特定しやすくする手法などがあり、このような手段によってもマーカの特徴を抽出して背景から分離することができる。いずれも、体内に無い特徴量をマーカにほどこし、その特徴量を効果的に抽出するフィルタリングを行うことが可能であるため、マーカと体内臓器との識別およびマーカ模様の識別を行いやすい利点がある。以降は、マーカ５が緑色の領域５３と青色の領域５４に塗り分けられている場合を前提として、ＲＧＢ分解によるフィルタリングを実施する場合の詳細を説明する。
【００４５】
３つの画像（Ｒ，Ｇ，Ｂ）からマーカ領域を特定、抽出し、マーカ領域の軸中心に設定した検出ラインに沿ってマーカのエッジを検出し、青と緑のエッジ比率から画面に表示されるマーカの中心ラインが示す角度（θ）を検出する角度検出手段１２を有している。さらに、画面に表示されるマーカの中心ラインが示す角度に基づいて、術具部４の動作方向を示す矢印などを重ねた画像を生成し、モニタ４０に出力する表示情報出力段１４、医療行為を記録するデータ記録手段１５を備えている。角度の情報については、画面から見た角度情報だけではなく、それを元に、特定の方向から見た角度に変換してデータ記録を行うなどの利用をしてもよい。
【００４６】
図３は画像補正手段の機能ブロック図で、処理の流れも示している。画像補正手段１０は前処理を行うためのもので、マーカを含む元画像の輝度ムラを補正し均一な明るさにする輝度補正手段１６、画面全体が何らかの色にシフトしている場合、画面の色を補正する色補正手段１７、画像の歪みを補正する歪補正手段１８を有し、取り込んだ元画像をこれら前処理によって補正するもので、いずれも周知の手段である。
【００４７】
色補正手段１７は、画面全体が特定の色にシフトしている場合にバランスを補正する手段で、事前に色のシフト状態をチェックし、そのパラメータを取得しておく。処理中（プログラムの稼動中）はこのパラメータに基づいて色の補正が行なわれる。
【００４８】
歪補正手段１８は、レンズの形状に依存して画像が湾曲して表示されるのを補正するもので、事前に格子模様などを撮影して歪み具合を計測して歪み補正のパラメータを取得する。処理中はこのパラメータを用いて画像を変換するので、歪み補正後の画像では、直線は直線として表示される。
【００４９】
前処理された元画像は、画像フィルタリング手段１１に入力する。ここでは、各画素のＲＧＢ各々のパラメータを用いて、元画像をＲ、Ｇ、Ｂ画像に分割する。Ｇ画像は三角パターン３３（領域３３）を強調した画像、Ｂ画像は三角パターン３４（領域３４）を強調した画像、Ｒ画像は背景となる体内を強調した画像である。
【００５０】
図４は角度検出手段の機能ブロック図で、処理の流れも示している。マーカ領域抽出手段１９は、画像フィルタリング手段１１によって分割されたＲＧＢ画像に対し、Ｇ画像とＢ画像を加算し、Ｒ画像を減算する合成処理を行い、これによってマーカ領域を特定して抽出する。
【００５１】
エッジ抽出手段２０は、抽出されたマーカのエッジである直線成分を抽出し、その直線の傾きを計算し、エッジの２直線の交点を計算する。画像に映されている内視鏡は画面奥に向かう姿勢なので、術具部（マーカ）の先端ほど小さく表示される。拡大率補正手段２１は、この交点部分が撮像手段の正面になるようにアフィン変換を行い、正面から見た画像にマーカ画像を変換する。マーカ読取手段２２は、マーカ画像の軸の中心にエッジ検出ラインを設定し、このラインに沿って明暗が変わる位置にマーカ内エッジを検出する。
【００５２】
角度算出手段２３は、マーカ内エッジから青色と緑色の長さを読み取りその比率を計算する。この比率から読み取られる角度は、画面に映る術具の中心ラインから読み取れる見た目の角度θである。
【００５３】
マーカは術具部の動作方向に対して，予め決められた条件で取り付けられる。つまり、術具部４の首振り方向がイ，ロとある場合（図示なし）、首振り方向イがマーカの０度と一致するように貼り付ける、などの条件である。このとき、マーカの０度の位置が基準となって、回転角度が記述される。
【００５４】
計測によって検出される回転角度（見た目の角度）θはマーカの０度から計測した量となるが、前回検出したときのデータの差分を得ることで、経時的な相対的回転角度θ’を計算することもできる。
【００５５】
ここで、θに依存した青と緑の長さは（１）、（２）式で表される。実施例の角度計算に用いたマーカの軸方向サイズは、開始ラインの高さは１ｍｍ，三角形の頂点の高さが５ｍｍでこのうち帯の高さが１ｍｍである。
０＜θ＜１８０度のとき、
緑の長さ＝５−４θ／１８０、青の長さ＝１＋４θ／１８０ …（１）
１８０度＜θ＜３６０度のとき、
緑の長さ＝−３＋４θ／１８０、青の長さ＝９−４θ／１８０ …（２）
なお、θ＝０度のとき、緑の長さ＝５、青の長さ＝１、θ＝１８０度のとき、緑の長さ＝１、青の長さ＝５である。
【００５６】
またＲａ＝緑の長さ÷青の長さとすると、Ｒａ＝５ならばθ＝０、Ｒａ＝０．２ならばθ＝１８０度となる。それ以外の場合は０＜θ＜１８０度、あるいは１８０＜θ＜３６０度となる。現在の角度がどちらに含まれるかの判別法は後述するが、それぞれにおいてＲａからθを算出するには、式（１）式（２）を元に、（３）、（４）式の関係となる。
０＜θ＜１８０のとき、
θ＝１８０（５−Ｒa）／（４（１＋Ｒa）） …（３）
１８０＜θ＜３６０のとき、
θ＝５４０（１＋３Ｒa）／（４（１＋Ｒa）） …（４）
ところで、マーカの計測点が斜面であれば、同じ青緑比に２つの解が存在する。図９はマーカの２つの斜面で同じ青緑比となるケースを示す説明図である。図のグラフで、任意の角度θ（たとえばθａ）における青色の高さ（たとえば０〜点３５の長さ）をその延長上である四角形領域の高さから差し引くと、五角形の領域３３の緑色の高さが分かる。このときの、緑色と青色の高さ（長さ）比率が分かれば、任意の回転角度θを逆算できる。
【００５７】
図９で、軸周方向回転角θに対する青緑長さの比が同一になるθａ、θａ'が存在する。θａは０〜１８０度の間、θａ’は１８０度〜３６０度の間である。このように、同一角度となる計測点３５、３６の有る斜面の選択方法は次のように行なわれる。
【００５８】
図１０は緑を基準として選択する場合の説明図で、以下の（１）〜（５）の手順で斜面の一方が選択される。
（１）青と緑の境界を抽出する計測ライン（術具４または可撓挿入部１'の中心線）と画面横軸のなす角度をφとする。
（２）計測ラインと画面横軸の交点ｐを求める．
（３）緑領域の面の重心ｇを計算する。
（４）ｇとｐを結ぶ直線が画面横軸となす角度φ’の大きさを計測ラインのなす角度φと比較する。
（５）φ’＞φのとき、青色五角形の右斜面（１８０度＜θ＜３６０度）、φ＞φ’のとき、青色五角形の左斜面（０度＜θ＜180度）、φ＝φ’のとき、計測ラインが頂点を通っている（θ＝０もしくは１８０度）ので、緑と青の比から０と１８０度を識別する。
【００５９】
図５は情報生成手段の機能ブロック図と処理の流れを示している。情報生成手段１３は角度検出手段１２で検出したデータを基に、データの記録や情報の表示など、目的に合わせた処理を行う。
【００６０】
情報利用による処理振り分け手段３０は、検出した角度の利用の仕方で基準からの角度補正手段２４と表示画像補正手段２５に以後の処理を振り分ける。ここで、回転角度とは、基準の姿勢を決めて、その姿勢を初期姿勢とし、術具がこの初期姿勢からどのくらい回転しているかを回転角度と定義する。
【００６１】
角度補正手段２４は、見た目の角度と初期姿勢との差分を計算して、初期姿勢からの変化量（回転角度）をデータ記録手段１５に記録する。画面に映る中心ラインの角度情報を保存する場合は、角度補正手段２４を通さず、そのままデータ記録手段１５で記録する。この回転角度は操作端側にフィードバックされて、軟性鉗子マニュピュレータなどの自動制御に用いることも可能である。
【００６２】
表示画像補正手段２５は、一例として動作方向を矢印で示す場合を説明する。回転角度が０（初期姿勢）の場合に表示する矢印の向き（正方向）は予め決めてあり、この初期の矢印の向きから、術具部の回転角度の量だけ向きをずらして矢印を表示する。
【００６３】
画面に映る術具部の中心ライン（計測ライン）から読み取れる角度情報（見た目の角度）の場合、表示画像補正手段２５はその中心ラインを回転の軸として、表示する矢印を角度情報の分だけ回転させる。情報生成手段２６はその回転後の矢印を生成し、画像合成手段２７はこの矢印が所定の位置となるように内視鏡画像と合成し、表示情報出力手段１４に出力し、モニタ４０に表示する。これにより、術具部４がどちらの方向に動くかを画面上の矢印を見ることで、一目で分かるように表示できる。なお、角度情報としては矢印のほかに、マーク、アイコンなどによってもよい。
【００６４】
次に、一実施例による回転状態検出方法の手順を説明する。図１１、図１２、図１３は画像処理装置８による回転角度の検出手順を示すフローチャートである。また図１４〜図１７は各処理の結果を示す説明図である。
【００６５】
ステップｓ１０１は、画像補正手段１０から画像フィルタリング手段１１に対する出力処理である。図１４のマーカ画像のうち、（a）の補正画像が出力される。
【００６６】
ステップｓ１０２は、画像フィルタリング手段１１による作業で、補正画像はＲ、Ｇ、Ｂの画像に分解される。図１４（ｂ）、（ｃ）、（ｄ）はそれぞれＲ画像６１、Ｇ画像６２、Ｂ画像６３で、Ｒ画像、Ｇ画像、Ｂ画像はそれぞれ元のカラー画像の画素が持っていた赤，緑，青のパラメータをそのままグレー値とした画像である。
【００６７】
ステップｓ１０３以降が角度検出手段１２による作業である。まず、Ｒ画像、Ｇ画像、Ｂ画像により、Ｇ画像とＢ画像の和からＲ画像を差し引く（Ｇ＋Ｂ−Ｒ）の合成処理を経てマーカ画像６４が抽出される。これによって、図１５（ａ）のように、マーカ画像のみを浮き上がらせて抽出する。
【００６８】
ステップｓ１０４では、マーカ領域周囲の境界線を抽出し（図１５（ｂ））、曲線と直線に分解し、その中から直線のみを抽出し（図１５（ｃ））、長い直線２本６６，６７を選ぶ（ｓ１０５）。ステップｓ１０６は、抽出した直線の傾きを計算し、ステップｓ１０７で２直線の延長線（点線）６８，６９の交点座標を計算する（図１５（ｄ）の点Ｃ）。
【００６９】
ステップｓ１０８は、２本の直線の傾きの平均値ｃ（平均値ｃを傾きｃと呼ぶことにする）を計算し、ステップｓ１０９では、点Ｃを通り、傾きｃの直線（図１５（ｄ）の直線７０）を生成し、これを中心ラインとする。
【００７０】
ステップｓ１１０では、２本の直線６６，６７の両端の座標（４点）を取得し、ステップｓ１１１では、２本の直線の１本を選び、その直線の手前側（術具の手前方向）の点ａ１を選び（図１６（ａ））、ステップｓ１１２では点ａ１と中心ライン７０の距離Ｌを算出する。ステップｓ１１３では、点ａ１に対し中心ライン７０を挟んだ対象点（点Ａ２）と、点ａ３に対し中心ライン７０を挟んで等距離にある線対称な対象点（点ａ４'）を作成し、ステップｓ１１４では、点ａ１を含む直線６６の他方の端点（ａ３）を通り、中心ライン７０に直交するライン上で、中心ラインから距離Ｌだけ離れた点Ａ３を作成し、ステップｓ１１５では、点Ａ３に対し中心ライン７０を挟んだ対象点（Ａ４）を作成する（図１６（ｂ））。
【００７１】
ステップｓ１１６ではアフィン変換行列の作成を行う。点ａ１，Ａ２，ａ３、ａ４’を変換前の４点、点ａ１、Ａ２、Ａ３、Ａ４を変換後の４点として、変換前の４点が変換後の４点になるようなアフィン変換回転行列を作成する。
【００７２】
ステップｓ１１７では、アフィン変換行列を用いてマーカの画像を変換する。図１７に変換後の画像を示す。この例は、図１４（ｃ）の画像をアフィン変換行列によって変換したものである。図１４では術具部の先端側になるに従い縮小されていたマーカ模様が、図１７では根元側から先端側まで等しい拡大率となるように、画像を３次元的に回転変換した結果を示している。
【００７３】
ステップｓ１１８では、アフィン変換後のマーカ領域と中心ラインとの和領域を求め、エッジ検出ライン７２を作成している。ステップｓ１１９では、エッジ検出ライン７２に沿って、マーカ模様のエッジを検出する。検出されたエッジは、図１７にエッジ検出ライン７２上の×印で示している。
【００７４】
ステップｓ１２０では、青緑比率を計算する。マーカ模様のエッジとして検出された×印の手前側から見て、２個目（７３）と３個目（７４）の間の距離が青色領域の長さであり、３個目（７４）と４個目（７５）の距離が緑領域の長さである。緑色領域の長さを青色領域の長さで割った比率をＲa（緑／青）とする。ここで、マーカに用いられる青色と緑色の比率は逆であってもよく、予め決めておけばよい。
【００７５】
ステップｓ１２１は、上述したマーカの２つの斜面の選択に係る処理である。まず、図１７で距離を計測した緑色領域７７に注目し、緑色領域のうち、見えている緑色領域７７の重心（ｇ）７６を計測する。重心７６は中心ライン７２の右側にあり、青領域の三角形部分の斜辺が右下がりになっている部分が見えていると判断できる。中心ラインと画面横軸の交点ｐがなす角度φ（図１０）と、重心ｇと交点ｐを結ぶ直線がなす角度φ’（図１０）の大きさを比較することで、上述したように選択する斜面を決定できる。
【００７６】
ステップｓ１２２は、青緑の比率Ｒaと選択した斜面の傾きから、画面に映る術具柄の中心ラインに沿った角度情報を算出する。
【００７７】
図１８は情報生成手段の処理を示すフローチャート、図１９、図２０は各処理の結果を示す説明図である。情報生成手段１３は術具部４の動作方向を示す画像を生成する。ここでは、動作方向を矢印で示す例を説明する。
【００７８】
ｓ２０１では、ｓ１０３（図１１）で抽出したマーカ領域から円弧成分を抽出する。図１９（ａ）の円弧成分６４から（ｂ）の円弧８２を抽出する。ｓ２０２では、抽出した円弧成分に対し楕円フィッティングを行う。すなわち、楕円の円弧の一部がｓ２０１で抽出した円弧８２と一致する楕円パラメータが、図１９（ｃ）の８３のように特定される。
【００７９】
ｓ２０３では、図１９（ｃ）のように、楕円の中心点ａ５を通る楕円の長軸と短軸と、円弧８２との交点ａ６，ａ７，ａ８，ａ９を抽出する。短軸は中心ライン７０の方向と一致する。
【００８０】
ｓ２０４では、点ａ５から点ａ７までの距離Ｌ２を取得する。ｓ２０５では、中心点（ａ５）から短軸方向に向かい、距離Ｌ２の位置にある点Ａ６，Ａ８の座標を取得する。ｓ２０６では、点ａ６，ａ７，ａ８，ａ９を変換前の４点、点Ａ６，ａ７，Ａ８，ａ９を変換後４点として、変換前の４点を変換後の４点になるような回転行列（アフィン変換行列）を作成する。変換後は、中心点から各点までの距離が等しい円の形状となる（図２０の円８４）。
【００８１】
ｓ２０７では、変換後の円上で、中心ラインの示す角度から、動作方向を示す矢印の向きを特定する。具体的に説明すると、マーカを医療器具に設けるときに、マーカが示すどの角度の位置が動作方向であるかを予め決め、医療器具が首振り動作Ｍｘ、首振り動作Ｍｙを行うとする。動作Ｍｘを行う方向がマーカ上で示されるθｘ（度）の位置、動作Ｍｙを行う方向がマーカ上で示されるθｙ（度）の位置になっているとすると、ＭｙとＭｘの動作方向が直交していれば、θｘ（度）とθｙ（度）の間隔は９０度となる。医療器具に応じて、ＭｙとＭｘの間隔が直交でなければ、おのずとθｘ（度）とθｙ（度）の間隔は動作方向にあわせた値となる。
【００８２】
たとえば、中心ラインが示す角度がθａ'(度)と算出され、動作方向Ｍｘ，Ｍｙを示すθｘ（度）とθｙ（度）も分かっているとする。そこで、θｘ（度）、θｙ（度）の角度に向けて矢印を表すためには、中心ラインからθｘ（度）とθａ'(度)の差だけ矢印を回転させればよい。θｙ（度）を示す矢印も同様である。そこで、図２０に示すように、円の中心から伸びる矢印を、中心ラインが示す方向から、θｘ（度）とθａ'(度)の差だけ円の中心点回りに回転させて矢印８６を表示する。
【００８３】
ｓ２０８では、ｓ２０７で作成したθｘ（度）と、θｙ（度）を示す矢印は、円の形状８４に重ねて作成したものであるので、円８４を元の楕円８３に戻す行列を用いて、矢印をアフィン変換する。変換後の矢印は８６'となる。この変換のための行列はｓ２０６で作成した楕円から円へ変換する行列の逆行列である。以上が情報生成手段２６の処理作業である。実際に表示をさせるにはマーカ画像との画像合成が必要になる。
【００８４】
ｓ２０９では、逆変換後の矢印を内視鏡画像上の所定の位置に表示する（図２１（ｂ）の矢印８０、８１）。
【００８５】
図２１は医療器具の操作部と内視鏡画面の様子を示す説明図である。医療器具の操作部は、図２１（ａ）に示すように、互いに直交する軸の方向７８と方向７９に術具部４を動かすことができる（特許文献１参照）。これに合わせて、先端の術具部４も２方向に首振りをできるが、画面上ではどちらに首を振るか分からない場合がある。そこで、方向７８の正方向（反時計回り）を図示の矢印方向、方向７９の正方向（反時計回り）を図示の矢印方向と予め設定し、それぞれ正方向に動かしたときに術具がどの方向に首を振るかを、図２１（ｂ）のように画面上に矢印８０、８１で表示する。
【００８６】
矢印のデザインや表示位置は図示のものに限られない。移動後の姿勢をＣＧにより薄く重ね合わせてもよく、操作者の好みに随時変更が可能である。また表示するタイミングは、常時表示してもよいし、操作者が必要とするときにフットスイッチ等によって表示させてもよい。
【００８７】
本実施例では、情報生成手段１３及び表示情報出力手段１４によって、これらの表示を行うので、操作部と術具の間に捩れがある場合でも、操作によって動く方向を、実際に医療器具を動かさなくても画面上の情報として把握することができる。
本実施例で示した図６Ａのマーカの展開図を用いた場合、青領域と緑領域の比率から該当する回転角度が二つあるため、上述のように、これを絞り込むためのステップが必要となる。これに対して図６Ｂのマーカの展開図を用いると、青領域と緑領域の比率から該当する回転角度は一つであるため、図６Ａで必要となった絞込みのためのステップは必要なくなり、処理速度が向上する。
【００８８】
また、図６Ａのマーカの展開図は青領域と緑領域を直線で区切っているため、術具の回転角度に応じた青領域と緑領域の比率が変化する割合は常に一定である。これに対して図６Ｃのマーカの展開図を用いると、青領域と緑領域を三角関数で区切っているため、上記比率が緩やかに変化する範囲と急激に変化する範囲が存在する。急激に変化する範囲では、回転角度に対する青領域と緑領域の変化が大きくなるため、回転角度の検出精度が高くなる。よって、術具の回転角度の検出精度を高めたい範囲にあわせてマーカを貼り付けることで、精度が必要な範囲においては、図６Ａのマーカを用いるよりも、高い精度で回転角度を検出することができる効果がある。
【００８９】
図６Ａから図６Ｃのいずれのマーカでも、領域の境界が途切れることなく連続しているため、術具の回転角度を全ての範囲において連続的に検出することが可能である。
【００９０】
本実施例では、マーカを青領域と緑領域で配色したが、これは画像をＲＧＢのパラメータで識別するときに、体内に多い赤と区別しやすい利点がある。これとは別に、二つの領域を異なる波長の蛍光塗料で配色する方法では、特定の波長を検出するフィルタリングによって、体内の色などに関係なく、蛍光領域のみを抽出できる利点がある。
【産業上の利用可能性】
【００９１】
上記実施例においては、主に医療用軟性鉗子の制御を例にしているがこれに限られるものではない。工業用ロボットのマニュピュレータや配管等の検査・作業ロボットなどの作業端を、軟性術部を介して操作端から操作する場合に広く適用できることは言うまでもない。
【図面の簡単な説明】
【００９２】
【図１】本発明の一実施例による医療用内視鏡システムの全体構成図。
【図２】一実施例による画像処理装置の機能ブロック図。
【図３】画像補正手段の機能ブロック図。
【図４】角度検出手段の機能ブロック図。
【図５】情報生成手段の機能ブロック図。
【図６Ａ】マーカの展開図（三角形の頂点を含む領域分割）。
【図６Ｂ】マーカの展開図（斜めの直線による領域分割）。
【図６Ｃ】マーカの展開図（三角関数の曲線による領域分割）。
【図７】マーカを術具の柄に貼り付けた状態を内視鏡で観察した場合の説明図。
【図８】１組のマーカの展開図。
【図９】マーカの２つの斜面で同じ青緑比となるケースを示す説明図。
【図１０】斜面の選択方法を示す説明図。
【図１１】画像処理手段による回転角度の検出手順を示すフローチャート（その１）。
【図１２】画像処理手段による回転角度の検出手順を示すフローチャート（その２）。
【図１３】画像処理手段による回転角度の検出手順を示すフローチャート（その３）。
【図１４】マーカ画像とＲＧＢ画像の説明図。
【図１５】マーカ領域の直線分抽出の説明図。
【図１６】アフィン変換行列作成の説明図。
【図１７】アフィン変換後のマーカの拡大図。
【図１８】表示画像生成処理を示すフローチャート。
【図１９】表示画像生成処理の結果を示す説明図（その１）。
【図２０】表示画像生成処理の結果を示す説明図（その２）。
【図２１】医療器具の操作部と内視鏡画面の様子を示す説明図。
【符号の説明】
【００９３】
１…医療器具の操作部、１'…可撓伝達部、２…内視鏡、２'…内視鏡挿入部、３…挿入手段、４…術具部、５…マーカ、６…内視鏡レンズ、７…画像コントローラ、８…画像処理装置、９…画像取り込み手段、１０…画像補正手段、１１…画像フィルタリング手段、１２…角度検出手段、１３…情報生成手段、１４…表示情報出力手段、１５…データ記録手段、１６…輝度補正手段、１７…色補正手段、１８…歪み補正手段、１９…マーカ領域抽出手段、２０…エッジ抽出手段、２１…拡大率補正手段、２２…マーカ読取手段、２３…角度算出手段、２４…基準からの角度補正手段、２５…表示画像補正手段、２６…表示画像作成手段、２７…画像合成手段、３０…処理振り分け手段、４０…モニタ、５０…マーカシート。
【特許請求の範囲】
【請求項１】
操作部の操作量を伝達部により術具部に伝えるとともに、術野における術具部の動作を撮影する撮像手段を用いて前記術具部の回転状態を検出する方法であって、
前記伝達部の前記術具部側に設けられ周方向に連続する連続模様を備えたマーカを有し、前記撮像手段で前記マーカを撮像したマーカ画像情報を取り込んで画像処理し、前記マーカの回転角を求めることで前記術具部の回転状態を検出することを特徴とする回転状態検出方法。
【請求項２】
請求項１において、前記マーカは、前記連続模様の領域を区切る境界線の少なくとも一つが、周方向に対して軸方向の位置が連続的に変化する直線もしくは曲線である回転状態検出方法。
【請求項３】
請求項１において、前記マーカは、前記連続模様の領域を区切る一方の境界線が直線と、この境界線に対して他方の境界線は軸方向の位置が連続的に変化する直線もしくは曲線とを有し、これらの境界線により前記マーカは多角形もしくは曲線図形を含み、前記マーカは前記境界線を挟んで軸方向に色の特徴量が異なる回転状態検出方法。
【請求項４】
請求項２または３において、前記マーカ画像情報を画像処理して前記マーカ画像情報におけるマーカ表示領域の奥行き方向の中心を示す計測ラインを求め、この計測ラインに沿って前記軸方向に区切られている領域の比率を求め、この比率に該当する前記マーカ上の周方向位置から回転角を求める回転状態検出方法。
【請求項５】
請求項４において、前記マーカは前記連続模様の領域を区切る境界線を挟んで青色と緑色の領域を有していて、前記比率は青色領域と緑色領域の比率である回転状態検出方法。
【請求項６】
請求項２または３において、前記マーカは前記伝達部の軸方向に複数の前記連続模様の領域を有している回転状態検出方法。
【請求項７】
請求項４において、前記比率に該当する回転角が２つある場合に、前記マーカ画像情報におけるマーカ表示領域の横軸と前記計測ラインが交わる交点と、前記区切られた１つの領域の面の重心と前記交点を結ぶ延長線を求め、前記計測ラインと前記横軸がなす角度と前記延長線と前記横軸のなす角度に基づいて回転角を選択する回転状態検出方法。
【請求項８】
請求項７において、マーカと動作方向の相対角度および計測ラインで計測された角度を元に前記術具部の動作方向を示す指示画像を生成し、前記撮像手段の撮像画像における術具部表示領域に付して表示する回転状態検出方法。
【請求項９】
操作部の操作方向を伝達部により術具部に伝えるとともに、術野における前記術具部の動作を撮像する撮像手段を用いて前記術具部の回転状態を検出する方法であって、
前記伝達部の前記術具部側に設けられ特徴量の異なる領域がそれぞれ周方向に連続する連続模様を備えたマーカを有し、前記撮像手段で前記マーカを撮像したマーカ画像情報を取り込んで画像処理し、前記マーカの回転角を求めて前記術具部の回転状態を検出する場合に、
取り込んだマーカ画像情報におけるマーカ表示領域の歪を補正して補正画像情報を生成し、この補正画像情報をフィルタリング手段によってマーカ画像の特徴量を基に前記マーカと背景との分離および前記マーカの模様の分離を行って抽出したマーカ画像領域の境界情報を抽出し、該境界情報からアフィン変換行列を作成し、該アフィン変換行列を用いてマーカの正面から見たマーカ画像領域に補正し、該補正されたマーカ画像領域の中心を通る計測ライン上で前記特徴量の異なる領域の長さの比率を求め、該比率に応じた角度を術具部の回転角として求めることを特徴とする回転状態検出方法。
【請求項１０】
請求項９において、前記特徴量の異なる領域は、青色と緑色で配色された領域であり、前記フィルタリング手段は、前記補正画像をＲ（赤の画像）、Ｇ（緑の画像）、Ｂ（青の画像）に分割し、分割した画像に対し画素毎にＧとＢの和からＲを差し引く合成処理を行って緑色領域と青色領域の組によるマーカ領域を抽出することを特徴とする回転状態検出方法。
【請求項１１】
請求項９において、前記特徴量の異なる領域は、異なる蛍光色素で塗り分けられた領域であり、前記フィルタリング手段は前記蛍光色素の励起波長もしくは蛍光波長のみを抽出することで、前記蛍光色素の領域およびマーカ領域を抽出することを特徴とする回転状態検出方法。
【請求項１２】
術野における作業をする術具と、その操作部と、操作部の操作方向を術具部に伝える伝達部と、術野における術具部の動作を観察する撮像手段と、該撮像手段により術具部の回転状態を検出する装置であって、
前記伝達部の術具部側の周方向に設けられた連続模様のマーカと、前記撮像手段で取り込んだマーカ画像を画像処理し、マーカの回転角を求める画像処理装置を備え、マーカの回転角を求めることで術具部の回転状態を検出することを特徴とする回転状態検出装置。
【請求項１３】
請求項１２において、前記画像処理装置は、術具部とマーカの画像を取り込む画像取り込み手段と、取り込んだ画像の歪を補正する画像補正手段と、補正された画像をマーカの特徴量によって，マーカと背景との分離およびマーカの模様の分離を行ってマーカ領域を抽出するフィルタリング手段と、抽出したマーカ領域のエッジを抽出し、該エッジからアフィン変換行列を作成し、該アフィン変換行列を用いてマーカの正面から見たマーカ画像に拡大補正し、前記マーカが第１の色と第２の色の連続模様による組の場合に、前記拡大補正されたマーカ画像の中心を通る計測ライン上で第１の色領域と第２の色領域の長さの比率を求め、該比率に応じた角度を術具部の回転角として求める角度検出手段を備えることを特徴とする回転状態検出装置。
【請求項１４】
請求項１３において、前記フィルタリング手段は前記第１の色が緑、前記第２の色が青の場合に、前記補正された画像をＲ（赤の画像）、Ｇ（緑の画像）、Ｂ（青の画像）に分割し、分割した画像に対し画素毎にＧとＢの和からＲを差し引く合成処理を行って緑色領域と青色領域の組によるマーカ領域を抽出することを特徴とする回転状態検出装置。
【請求項１５】
請求項１２において、前記マーカと動作方向の相対角度および計測ラインで計測された角度を元に前記術具部の動作方向を示す矢印などの画像を生成し、前記術具部の画像に付して表示する表示情報生成手段を有することを特徴とする回転状態検出装置。
【請求項１６】
請求項１２において、前記撮像手段は内視鏡であり、前記術具部は医者によって操作部が操作されて術具部による治療が行なわれる鉗子、電気メスなどの医療用器具，あるいは前記内視鏡よりも細い内視鏡であり、前記伝達部は捩れを生じる可能性のある可撓伝達部であることを特徴とする回転状態検出装置。
【請求項１】
操作部の操作量を伝達部により術具部に伝えるとともに、術野における術具部の動作を撮影する撮像手段を用いて前記術具部の回転状態を検出する方法であって、
前記伝達部の前記術具部側に設けられ周方向に連続する連続模様を備えたマーカを有し、前記撮像手段で前記マーカを撮像したマーカ画像情報を取り込んで画像処理し、前記マーカの回転角を求めることで前記術具部の回転状態を検出することを特徴とする回転状態検出方法。
【請求項２】
請求項１において、前記マーカは、前記連続模様の領域を区切る境界線の少なくとも一つが、周方向に対して軸方向の位置が連続的に変化する直線もしくは曲線である回転状態検出方法。
【請求項３】
請求項１において、前記マーカは、前記連続模様の領域を区切る一方の境界線が直線と、この境界線に対して他方の境界線は軸方向の位置が連続的に変化する直線もしくは曲線とを有し、これらの境界線により前記マーカは多角形もしくは曲線図形を含み、前記マーカは前記境界線を挟んで軸方向に色の特徴量が異なる回転状態検出方法。
【請求項４】
請求項２または３において、前記マーカ画像情報を画像処理して前記マーカ画像情報におけるマーカ表示領域の奥行き方向の中心を示す計測ラインを求め、この計測ラインに沿って前記軸方向に区切られている領域の比率を求め、この比率に該当する前記マーカ上の周方向位置から回転角を求める回転状態検出方法。
【請求項５】
請求項４において、前記マーカは前記連続模様の領域を区切る境界線を挟んで青色と緑色の領域を有していて、前記比率は青色領域と緑色領域の比率である回転状態検出方法。
【請求項６】
請求項２または３において、前記マーカは前記伝達部の軸方向に複数の前記連続模様の領域を有している回転状態検出方法。
【請求項７】
請求項４において、前記比率に該当する回転角が２つある場合に、前記マーカ画像情報におけるマーカ表示領域の横軸と前記計測ラインが交わる交点と、前記区切られた１つの領域の面の重心と前記交点を結ぶ延長線を求め、前記計測ラインと前記横軸がなす角度と前記延長線と前記横軸のなす角度に基づいて回転角を選択する回転状態検出方法。
【請求項８】
請求項７において、マーカと動作方向の相対角度および計測ラインで計測された角度を元に前記術具部の動作方向を示す指示画像を生成し、前記撮像手段の撮像画像における術具部表示領域に付して表示する回転状態検出方法。
【請求項９】
操作部の操作方向を伝達部により術具部に伝えるとともに、術野における前記術具部の動作を撮像する撮像手段を用いて前記術具部の回転状態を検出する方法であって、
前記伝達部の前記術具部側に設けられ特徴量の異なる領域がそれぞれ周方向に連続する連続模様を備えたマーカを有し、前記撮像手段で前記マーカを撮像したマーカ画像情報を取り込んで画像処理し、前記マーカの回転角を求めて前記術具部の回転状態を検出する場合に、
取り込んだマーカ画像情報におけるマーカ表示領域の歪を補正して補正画像情報を生成し、この補正画像情報をフィルタリング手段によってマーカ画像の特徴量を基に前記マーカと背景との分離および前記マーカの模様の分離を行って抽出したマーカ画像領域の境界情報を抽出し、該境界情報からアフィン変換行列を作成し、該アフィン変換行列を用いてマーカの正面から見たマーカ画像領域に補正し、該補正されたマーカ画像領域の中心を通る計測ライン上で前記特徴量の異なる領域の長さの比率を求め、該比率に応じた角度を術具部の回転角として求めることを特徴とする回転状態検出方法。
【請求項１０】
請求項９において、前記特徴量の異なる領域は、青色と緑色で配色された領域であり、前記フィルタリング手段は、前記補正画像をＲ（赤の画像）、Ｇ（緑の画像）、Ｂ（青の画像）に分割し、分割した画像に対し画素毎にＧとＢの和からＲを差し引く合成処理を行って緑色領域と青色領域の組によるマーカ領域を抽出することを特徴とする回転状態検出方法。
【請求項１１】
請求項９において、前記特徴量の異なる領域は、異なる蛍光色素で塗り分けられた領域であり、前記フィルタリング手段は前記蛍光色素の励起波長もしくは蛍光波長のみを抽出することで、前記蛍光色素の領域およびマーカ領域を抽出することを特徴とする回転状態検出方法。
【請求項１２】
術野における作業をする術具と、その操作部と、操作部の操作方向を術具部に伝える伝達部と、術野における術具部の動作を観察する撮像手段と、該撮像手段により術具部の回転状態を検出する装置であって、
前記伝達部の術具部側の周方向に設けられた連続模様のマーカと、前記撮像手段で取り込んだマーカ画像を画像処理し、マーカの回転角を求める画像処理装置を備え、マーカの回転角を求めることで術具部の回転状態を検出することを特徴とする回転状態検出装置。
【請求項１３】
請求項１２において、前記画像処理装置は、術具部とマーカの画像を取り込む画像取り込み手段と、取り込んだ画像の歪を補正する画像補正手段と、補正された画像をマーカの特徴量によって，マーカと背景との分離およびマーカの模様の分離を行ってマーカ領域を抽出するフィルタリング手段と、抽出したマーカ領域のエッジを抽出し、該エッジからアフィン変換行列を作成し、該アフィン変換行列を用いてマーカの正面から見たマーカ画像に拡大補正し、前記マーカが第１の色と第２の色の連続模様による組の場合に、前記拡大補正されたマーカ画像の中心を通る計測ライン上で第１の色領域と第２の色領域の長さの比率を求め、該比率に応じた角度を術具部の回転角として求める角度検出手段を備えることを特徴とする回転状態検出装置。
【請求項１４】
請求項１３において、前記フィルタリング手段は前記第１の色が緑、前記第２の色が青の場合に、前記補正された画像をＲ（赤の画像）、Ｇ（緑の画像）、Ｂ（青の画像）に分割し、分割した画像に対し画素毎にＧとＢの和からＲを差し引く合成処理を行って緑色領域と青色領域の組によるマーカ領域を抽出することを特徴とする回転状態検出装置。
【請求項１５】
請求項１２において、前記マーカと動作方向の相対角度および計測ラインで計測された角度を元に前記術具部の動作方向を示す矢印などの画像を生成し、前記術具部の画像に付して表示する表示情報生成手段を有することを特徴とする回転状態検出装置。
【請求項１６】
請求項１２において、前記撮像手段は内視鏡であり、前記術具部は医者によって操作部が操作されて術具部による治療が行なわれる鉗子、電気メスなどの医療用器具，あるいは前記内視鏡よりも細い内視鏡であり、前記伝達部は捩れを生じる可能性のある可撓伝達部であることを特徴とする回転状態検出装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６Ａ】
【図６Ｂ】
【図６Ｃ】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６Ａ】
【図６Ｂ】
【図６Ｃ】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２００９−２０１６８２（Ｐ２００９−２０１６８２Ａ）
【公開日】平成２１年９月１０日（２００９．９．１０）
【国際特許分類】
【出願番号】特願２００８−４６６３４（Ｐ２００８−４６６３４）
【出願日】平成２０年２月２７日（２００８．２．２７）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【出願人】（５９０００１４５２）国立がんセンター総長 (80)
【Ｆターム（参考）】
【公開日】平成２１年９月１０日（２００９．９．１０）
【国際特許分類】
【出願日】平成２０年２月２７日（２００８．２．２７）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【出願人】（５９０００１４５２）国立がんセンター総長 (80)
【Ｆターム（参考）】
[ Back to top ]