内視鏡の挿入方向の検出方法
【発明の詳細な説明】
［産業上の利用分野］
本発明は、内視鏡の挿入方向の検出方法に係り、特に、医学的検査のために行う大腸に対する内視鏡の自動挿入に適した内視鏡の挿入方向の検出方法に関する。
［従来の技術と発明が解決しようとする課題］
近年、体腔内に細長の挿入部を挿入することにより、体腔内臓器等を観察したり、必要に応じ処置具をチャンネル内に挿通した処置具を用いて各種治療処置のできる内視鏡が広く利用されている。
ところで、従来の内視鏡検査では、医師が内視鏡像を観察することにより、内視鏡（挿入部）の進行方向を判断して、内視鏡を挿入していた。
しかしながら、大腸検査における内視鏡の挿入には、高度な技術と熟練を要していた。
本発明は、上記事情に鑑みてなされたものであり、簡単に、内視鏡の挿入方向を検出することのできる内視鏡の挿入方向の検出方法を提供することを目的としている。
［課題を解決するための手段］
本発明による内視鏡の挿入方向の検出方法は、コンピュータに入力された原画像の特徴量の変化率の勾配を、予め設定した基準値と比較してその勾配の変化が所定以上あるところを不連続点として抽出し対象画像を形成するステップと、前記対象画像を複数の領域に分割し、この分割された各々の領域の画像に対して修正ハフ変換を用いて線セグメント候補を抽出するステップと、前記線セグメント候補に対し、予め設定した線セグメント判断基準に基づいた知覚的グループ分けを行って最適な線セグメント候補を抽出するステップと、前記最適線セグメント情報を子ノードとして複数の子ノードの線セグメント数の和を親ノードの縞セグメントとするステップと、前記ステップを繰り返して最多線セグメントを有する子ノードを順次選択するステップと、前記ステップで得られた小領域を線セグメントの開始セグメントとして連結するステップと、前記連結された線セグメントのパターン情報に基づき、奥側に位置する方向の候補を選択して内視鏡の挿入方向を決定するステップと、をコンピュータで実行するものである。
［作用］
本発明では、コンピュータに入力された原画像の特徴量の変化率の勾配を、予め設定した基準値と比較してその勾配の変化が所定以上あるところを不連続点として抽出して対象画像を形成し、この形成された対象画像を複数の領域に分割してこの分割された各々の領域の画像に対して修正ハフ変換を用いて線セグメント候補を抽出し、この抽出された線セグメント候補に対し、予め設定した線セグメント判断基準に基づいた知覚的グループ分けを行て最適な線セグメント候補を抽出し、さらにこの最適線セグメント情報を子ノードとして複数の子ノードの線セグメント数の和を親ノードの縞セグメントとすることを繰り返して最多線セグメントを有する子ノードを順次選択し、その結果得られた小領域を線セグメントの開始セグメントとして連結し、この連結された線セグメントのパターン情報に基づいて奥側に位置する方向の候補を選択して内視鏡の挿入方向を決定する。
［実施例］
以下、図面を参照して本発明の実施例を説明する。
まず、第２図ないし第７図を参照して、本発明の概要を説明する。
第２図は大腸への内視鏡の挿入を示す説明図、第３図は内視鏡挿入部の先端部を示す斜視図、第４図は大腸の屈曲部分への内視鏡の挿入を示す説明図、第５図は第４図R>図の状態における内視鏡像を示す説明図、第６図は大腸の直線部分への内視鏡の挿入を示す説明図、第７図は第６図６図の状態における内視鏡像を示す説明図である。
第２図に示すように、内視鏡（ファイバスコープ）１は、細長で可撓性を有する挿入部２を備え、この挿入部２の後端に太径の操作部２が連設されている。前記操作部３からは、側方に、可撓性を有するユニバーサルコード４が延設され、このユニバーサルコード４の先端部に、コネクタ５が設けられている。このコネクタ５は、光源装置６に接続されるようになっている。また、前記操作部３の後端部には、接眼部８が設けられている。
第３図に示すように、前記挿入部２の先端側には、硬性の先端部11及びこの先端部11に隣接する後方側に湾曲可能な湾曲部12が順次設けられている。また、前記操作部３には、図示しない湾曲操作ノブが設けられ、この湾曲操作ノブを回動操作することによって、前記湾曲部12を上下／左右方向に湾曲できるようになっている。
前記先端部11には、照明光学系の照明レンズ15と観察光学系の対物レンズ16とが、略同一方向に向けられて配設されている。前記照明レンズ15の後端部には、例えばファイババンドルからなる図示しないライトガイドが連設されている。このライトガイドは、前記挿入部2,操作部３及びユニバーサルコード４内に挿通されて、前記コネクタ５に接続されている。そして、このコネクタ５を前記光源装置６に接続すると、この光源装置６内のランプ6aから出射された照明光が、前記ライトガイドの入射端に入射するようになっている。この照明光は、前記ライトガイドによって、先端部11に導かれ先端面から出射され、前記照明レンズ15を通して被写体に照射されるようになっている。尚、第３図中、符号17は、照明光の照明範囲を示している。
一方、前記対物レンズ16の結像位置には、例えばファイババンドルからなる図示しないイメージガイドの先端面が配置されている。このイメージガイドは、前記挿入部２内に挿通されて、前記接眼部８まで延設されている。そして、前記対物レンズ16によって結像された被写体像は、前記イメージガイドによって、前記接眼部８に導かれ、この接眼部８から図示しない接眼レンズを介して観察されるようになっている。尚、第３図中、符号18は、観察光学系の視野範囲を示している。
ところで、内視鏡１の照明光学系と観察光学系とは、第３図に示すように、近接して存在し、且つ略同一方向を向いている。
一方、大腸内壁には、環状のヒダ（HAUSTRAまたはFOLDとも呼ばれる。）が存在し、内視鏡医の多くは、この環状のヒダの見え方により内視鏡の挿入方向を判断している。つまり、これらのヒダのリングの中心は、内視鏡の挿入方向を判断する上で優れた目安になる。このことを、第４図ないし第７図を参照して説明する。
尚、第５図及び第７図において、符号21,22,23は、大腸内壁に存在するヒダを示す。
第４図は、内視鏡１の挿入部２を、大腸20の上方に屈曲した部分へ挿入する場合を示している。この場合、第５図５図に示すように、ヒダは、上方に偏って存在する。従って、この場合には、内視鏡１の先端部11を、上方向に湾曲させ、上方向に挿入部２を挿入して行けば良い。
また、第６図は、内視鏡１の挿入部２を、大腸20の直線状の部分へ挿入する場合を示している。この場合、第７図７図に示すように、ヒダは、上下または左右に偏りなく存在する。従って、この場合には、内視鏡１の挿入部２を、まっすぐそのまま挿入して行けば良い。
このように、本発明の内視鏡の挿入方向の検出方法は、内視鏡像において内壁に存在するヒダの形状を抽出し、このヒダの形状に基づいて内視鏡の挿入方向を検出する方法である。
次に、第１図及び第８図ないし第31図を参照して、本発明の一実施例を説明する。
第１図は本発明の一実施例の方法を示すフローチャート、第８図はファイバスコープと外付けテレビカメラを用いた内視鏡装置の例を示す説明図、第９図はビデオスコープを用いた内視鏡装置の例を示す説明図、第10図は第１ステップにおける空間フィルタリングの使用を説明するための図、第11図（ａ）はｘ方向の勾配を求める加重マトリクスを示す説明図、第11図（ｂ）はｙ方向の勾配を求める加重マトリクスを示す説明図、第12図は第１ステップで得られた画像を８×８画素の小方形に分割した状態を示す説明図、第13図は８×８画素の小方形を示す説明図、第14図は８×８画素の小領域にあるヒダの線セグメントを示す説明図、第15図は修正Hough変換をする為に外周にアドレスを付けた８×８画素の小方形を示す説明図、第16図は直線を修正Hough変換して得られた配列要素を示す説明図、第17図は直線を修正Hough変換した配列要素と、各配列要素に対応する直線上に存在するエッジポイントの数の一例を示す説明図、第18図はエッジポイントの数の多い直線を示す表、第19図は小方形内のラインセグメントを示す説明図、第20図はエッジの方位によるグループ分けを示す表、第21図は連続性によるグループ分けを示す表、第22図は連続性によるグループ分けを説明するための小方形上のエッジポイントを示す説明図、第23図はPerceptual groupingの結果の一例を示す表、第24図はピラミッド型４重ツリー構造を示す説明図、第25図は第４ステップを示すフローチャート、第26図（ａ）ないし（ｄ）は線セグメントの連結の際に次にサーチする小方型を示す説明図、第27図（ｃ）ないし（ｄ）はヒダの形状から挿入方向を決定する方法を示す説明図、第28図はリングの重心を求めるステップを示すフローチャート、第29図はヒダの楕円を示す説明図、第30図はリングの重心のｙ座標を求めるステップを示す説明図、第31図はリングの重心のｘ座標を求めるステップを示す説明図である。
本実施例の内視鏡の挿入方向の検出方法は、例えば、第８図または第９図に示す内視鏡装置に適用される。
第８図に示す内視鏡装置は、光源装置６によって照明光が供給されるファイバスコープ１と、このファイバスコープ１の接眼部８に取付けられた外付けテレビカメラ30とを備えている。前記ファイバスコープ１の構成は、第２図に示すものと同様であり、説明を省略する。前記外付けテレビカメラ30は、例えば、前記接眼部８からの光を結像する図示しない結像レンズと、この結像レンズの結像面に配設された図示しない固体撮像素子を備えている。また、この外付けテレビカメラ30は、前記固体撮像素子を駆動すると共に、この固体撮像素子の出力信号を映像信号処理する信号処理装置31に接続されるようになっている。前記信号処理装置31から出力される映像信号は、モニタ32に入力されると共に、A/D変換器33によってデジタル量に変換された後、電子計算機35に入力され、この電子計算機35内の図示しないメモリ内に取り込まれるようになっている。そして、前記モニタ32に、内視鏡像が表示されると共に、前記電子計算機35によって、本実施例における内視鏡の挿入方向の検出方法が実行される。
また、第９図に示す内視鏡装置は、ファイバスコープ１及び外付けテレビカメラ30の代わりに、ビデオスコープ41を備えている。このビデオスコープ41は、前記ファイバスコープ１と同様に、細長で可撓性の挿入部２と、この挿入部２の後端に連設された操作部３とを備えている。前記操作部３からは、側方に、可撓性を有するユニバーサルコード42が延設され、このユニバーサルコード42の先端部に、コネクタ43が設けられている。このコネクタ43は、光源装置６と映像信号処理回路46とを内蔵した制御装置45に接続されるようになっている。前記ビデオスコープ41の挿入部２の先端部では、対物レンズの結像位置に、図示しない固体撮像素子が配設されている。この固体撮像素子は、前記挿入部2,操作部３及びユニバーサルコード42内に挿通された信号線、及び前記コネクタ43を介して、前記制御装置45内の映像信号処理回路46に接続されるようになっている。尚、前記ビデオスコープ41の照明光学系は、ファイバスコープ１と同様であり、ライトガイドの入射端には、前記制御装置45内の光源装置６のランプ6aから出射された照明光が入射されるようになっている。前記固体撮像素子は、前記映像信号処理回路46によって駆動されると共に、この固体撮像素子の出力信号は、前記映像信号回路46で信号処理されるようになっている。この映像信号処理回路46から出力される映像信号は、ファイバスコープ１を用いた内視鏡装置の場合と同様に、モニタ32に入力されると共に、A/D変換器33によってデジタル量に変換された後、電子計算機35に入力され、この電子計算機35内の図示しないメモリ内に取り込まれるようになっている。そして、前記モニタ32に、内視鏡像が表示されると共に、前記電子計算機35によって、本実施例における内視鏡の挿入方向の検出方法が実行される。
次に、本実施例の内視鏡の挿入方向の検出方法について説明する。
本実施例の内視鏡の挿入方向の検出方法は、第１図のフローチャートに示すように、電子計算機35に取り込まれた原画における不連続点を抽出する第１ステップS1と、前記第１ステップS1で得られた画像を複数の画像に分割し、この分割画像の各々から修正ハフ（Modified Hough）変換（以下、修正Hough変換と記す。）を用いて線セグメント（線分）の候補を抽出する第２ステップS2と、前記第２ステップS2で得られた線セグメントの候補に対してパーセプチュアル グルーピング（知覚的グループ分け、以下、Perceptual groupingと記す。）を行い、分割画像の各々から最適な線セグメントを抽出する第３ステップS3と、前記第３ステップS3で得られた線セグメントを連結する第４ステップS4と、前記第４ステップS4の結果から挿入方向を決定する第５ステップS5とからなる。
まず、第10図及び第11図を参照して、第１ステップについて説明する。
不連続点を抽出する当っては、赤の強度，緑の強度及び青の強度からなる色に着目しても良いし、グレイレベル（gray level,濃度あるいは明度）に着目しても良いが、本実施例では、グレイレベルに着目する場合を例にとり説明する。また、原画の画素（ピクセルとも呼ぶ。）数は、512×512、グレイレベルは256階調とする。
グレイレベルに着目し、不連続点を抽出するということは、空間座標上でグレイレベルの変化率（勾配）を検査し、グレイレベルが変化するところを抽出することである。これは、グレイレベルに着目したエッジ検出である。
前記エッジ検出の手法としては、例えば加重マトリクスを用いた空間フィルタリング（spatial filtering）があり、本実施例では、これを用いている。
第10図を参照して、３×３画素からなる加重マトリクスを用いた場合を例にとり、空間フィルタリングについて説明する。第10図において、P1（xi,yi）は、入力画像P1の座標（xi,yi）の画素のグレイレベルを示す。同様に、P2（xi,yi）は、出力画像P2の座標（xi,yi）の画素の勾配を示す。
まず、入力画像P1（xi,yi）の３×３近傍を取り出し、この３×３近傍の各画素の値と、別に用意された３×３要素からなる加重マトリクスの対応する各要素の値との積を計算し、９個の積の和を求め、これをP2（xi,yi）とする。
この演算を、入力画像の各画素に対して順次施していくことにより、空間フィルタリングを施した出力画像P2が得られる。
ところで、第11図（ａ）に示す加重マトリクスを使うことにより、ｘ方向の勾配（グレイレベルの変化率）gxが得られる。同様に、第11図（ｂ）に示す加重マトリクスを使うことにより、ｙ方向の勾配（グレイレベルの変化率）gyが得られる。ある画素における勾配の絶対値は、下記の（１−１）式で与えられるが、本実施例においては、極めて正確である必要もないため、演算処理の簡略化のために、（１−２）式で近似しても良い。
ｇ＝|gx|＋|gy| ……（１−２）
ただし、ｇは不連続性の強さを表わす。
尚、第11図（ａ），第11図（ｂ）に示す加重マトリクスを使った場合の座標（xi,yi）の画素のgx,gyは、具体的には、下記の（１−３）式，（１−４）式で与えられる。
また、エッジの方向は、次の（１−５）式で与えられる。
θ＝arctan（gy/gx） ……（１−５）
ここで、（１−１）式または（１−２）式で求めたｇを、予め定めた基準値grと比較し、基準値gr以上のエッジポイントを残す。
基準値grを大きな値に設定することにより、残すエッジポイントの数を絞りこむことも考えられるが、基準値grをあまり大きな値に設定すると、本来必要なエッジポイントを排除してしまう危険があるため、grは、低めに設定することが大切である。全てのエッジポイントの80％程度を残すように基準値grを設定することが望ましい。全てのエッジポイントのｇの分散を求めた上で、80％程度のエッジポイントが残るようにgrを設定しても良い。
このように、ｇの値がある程度小さなものを使い、後にPerceptual groupingを行うことにより、ノイズ等の影響を受けることなく、重要なエッジポイントを抽出することが可能になる。また、これが、本実施例の特徴の一つである。
次に、第12図ないし第19図を参照して、第２ステップについて説明する。
まず、第12図に示すように、第１ステップで得られた出力画像P2（xi,yi）を、８×８画素程度の小方形に分割し、修正Hough変換を行う。原画像が、512×512画素から成っている場合には、64×64の画像に分割することになる。尚、本実施例では、一例として、８×８画素の小方形として分割しているが、求める精度により、４×４画素でも良いし、16×16画素及びその他でも良いことは言うまでもない。
出力画像P2（xi,yi）と、切り出した８×８画素の小方形を第12図と第13図に示す。尚、第14図に示すように、４×４〜16×16画素の小方形を切り出したとき、その小方形中のヒダは、略直線とみなすことができる。
まず、修正Hough変換について、簡単に説明する。
第13図は、普通よく用いられるx,y座標系で表現してあるが、修正Hough変換を行う為に、第15図に示すように、８×８画素の小方形の外周に、アドレスを付ける。
このようにすると、８×８画素の小方形上の直線は、スタートアドレス（Ｓ）と、エンドアドレス（Ｅ）を指示することで、定義することができる。例えば、第15図に破線で示した直線は、スタートアドレス＝3,エンドアドレス＝20の直線として定義することができる。
一方、８×８画素の小方形上に描くことができる直線の種類は、（32×32）/2＝512である。（32×32）を1/2にしている理由は、小方形上の直線がベクトルではない為である。つまり、スタートアドレス＝3,エンドアドレス＝20の直線と、スタートアドレス＝20,エンドアドレス＝３の直線は、同一とみなすことができる為である。
従って、全ての直線は、第16図の配列要素の一つに対応する。
そして、配列要素上の１つの配列に対応する直線上に、幾つかのエッジポイントがあるかを配列要素上に表現すると、例えば、第15図に破線で示した直線は、スタートアドレスが３で、エンドアドレスが20の直線であり、その直線上には、４つのエッジポイントがあるので、第16図のように表現される。
このような方針に沿って、修正Hough変換をすると、実際には、第17図に示すような結果が得られる。すでに述べたことであるが、配列要素の１つ（第17図のサイの目一つ）は、１本の直線に対応し、配列要素内の数字（以下、vote（ボウト，票）と記す。）は、その直線上に存在するエッジポイントの数を示している。
直線上に存在するエッジポイントの数が多いほど、その直線が求めようとしている直線である可能性が高い。
従って、voteの数の多い方から、５つ程度を、ラインセグメントの候補として抽出する。この抽出したラインは、第17図では○印を付してあると共に、一覧表にして第18図に示している。
尚、ここで、voteの数の一番大きなものを抽出し、それを求めるラインセグメントとするという考え方もあるが、そのようにしてしまうと、誤ったラインセグメントを抽出してしまう危険がある。例えば、第19図に示すような場合である。この図では、（ａ）が抽出したいラインセグメントであるにかかわらず、単にvoteの数だけで判断すると、誤って（ｂ）のラインセグメントを抽出してしまうことになる。
上記のような危険を回避する為に、ここでは、５つ程度の配列要素にまで絞り込んでおいて、最終的には、Perceptual groupingを行って、最適なラインセグメントを抽出する。
次に、第20図ないし第23図を参照して、第３ステップのPerceptual groupingについて説明する。
本実施例では、下記の３項目に着目し、Perceptual groupingを行っているが、下記３項目以外に、勾配の大きさ（Edge Magnitude）に着目しても良いし、色に着目しても良い。
1.エッジの方位（Edge Orientation（エッジ オリエンテイション））
（エッジポイントについて）
基準±22.5゜2.グレイレベル（Gray level）
（画素について）
基準±４レベル3.連続性（Continuity（コンティニュアティ））
（エッジポイントについて）
基準±１画素の距離 上記３項目の各々について、以下に説明する。
第17図の場合を例に取ると、第17図の５つのラインの各々について、以下の処理を行う。
1.エッジの方位 第18図のライン（Line）４すなわち配列要素（16,4）を例にとれば、第20図に示すように、９個のエッジポイントを、第１ステップで求めたエッジの方向θの小さい順に並べる。そして、45゜（±22.5゜）より大きなギャップのある所でグループ分けを行う。第20図に示す例では、８番目のエッジポイントと９番目のエッジポイントのθの差が、62゜−35゜＝27゜（＞22.5゜）
となり、ここで、グループ分けされる。
2.グレイレベル 上記エッジの方位の場合と同様に、エッジポイントに相当する箇所のグレイレベルを、小さい順に並べ、グレイレベルのギャップが４より大きい所で、グループ分けを行う。
3.連続性 エッジポイントのｘ座標,y座標に注目し、第21図に示すように、ｘ座標の小さい順に並べる。ｘ座標が同じものついては、ｙ座標の大きい順に並べる。そして、ｘ座標の差Δｘ＞１またはｙ座標の差Δｙ＞１のところで、グループ分けを行う。第21図の例では、４番目のエッジポイントと５番目のエッジポイントのｙ座標の差が２であり、ここでグループ分けされる。このように、ｘ座標とｙ座標の両方に着目することにより、直線がｘ軸またはｙ軸に対して極端に立っていたり、寝ていても、確実に不連続点を抽出し、グループ分けを行うことができる。例えば、第22図は、第21図の例における各エッジポイントを、ｘ軸,y軸座標上にプロットしたものであるが、このような場合、ｘ座標にだけ着目していると、直線が不連続であることを検出できない。
以上の３つの作業を行うことにより、一般的に、例えば、第23図に示すような結果が得られる。
ここで、例えば、最適なラインセグメントを抽出する為の条件として、連続性∩（グレイレベル）∩（エッジの方位）
……（１）
の論理式を適用すれば、第23図示すように、Ａ〜Ｆの６つのグループにグループ分けすることができる。第23図の例では、グループＡが一番多くのエッジポイントを有し、そのエッジポイントの数は６である。
尚、最適なラインセグメントを抽出する為の条件としては、（１）の論理式に限らず、例えば、次の（２）の論理式を用いても良い。
連続性∩（グレイレベル∪エッジの方位） ……（２）
他の配列要素についても同様のことを行い、その中で、一番多くのエッジポイントを持つグループを抽出する。そして、そのグループが、８×８画素の小方形における抽出すべきラインセグメントである。
このようにして、第３ステップで、８×８画素からなる64×64個の小領域の線セグメントを抽出することができた。（もちろん、線セグメントの存在しない小領域も多数ある。）尚、小領域に分割することにより、複数のコンピュータによる並列処理が可能となり、演算時間の短縮ができるという利点がある。尚、複数の専用ICを使って並列処理を行っても良い。
尚、勾配の大きさ（Edge Magnitude）や、色に着目する場合も同様に、エッジポイントを、勾配の大きさや色の順に並べ、所定以上のギャップがある所でグループ分けを行えば良い。
次に、第24図ないし第26図を参照して、第４ステップについて説明する。
この第４ステップでは、第３ステップで得られた線セグメントを連結して行く。これは、エッジの追跡または連結と呼ばれる。
エッジの追跡を行うに当っては、どの線セグメントから探索を始めるかが重要である。本実施例では、エッジの追跡に当って、ピラミッド型４重ツリー構造を利用している。以下、第24図及び第25図を参照して、このピラミッド型４重ツリー構造を利用して、ヒダのカープを得る手順について説明する。
まず、第24図に示すように、８×８画素からなる小領域をリーフ ノード（leaf node）（またはリーフ（leaf）とも呼ぶ）として、ピラミッド型４重ツリー構造（pyramid quadtree structure）を作成する。すなわち、第25図において、ステップS41で、８×８画素の小領域をリーフ ノードとし、ステップS42で、４つの子（son）ノードの線セグメントの数の和を親（father）ノードの線セグメント数とし、n/2×n/2画素の画像を得る。そして、画素数が１か否かを判定するステップS43を経て、ステップS42を、ルート（root）（またはルートノード（root node）とも呼ぶ）に達するまで繰り返す。このようにして作成されたピラミッド型４重ツリー構造では、親ノードは、その子ノードの有する線セグメントの数を保持している。尚、第24図において、各ノードの近傍に付けた数字は、線セグメントの数を示している。
次に、スタート線セグメントを発見するために、ツリーは、ルートから下方に探索される。すなわち、ステップS44で、４つの子ノードのうち最多線セグメントを有する子ノードを選ぶという作業が繰り返される。第24図に示すように、リーフの段階で、線セグメントを有する複数のリーフが存在する場合、どの線セグメントを開始線セグメントとしても良い。
次に、ステップS45で、ステップS44で求めた線セグメントを、スタート線セグメントとして、線セグメントを連結して行く。
この線セグメントの連結を行う作業を、第26図（ａ）ないし（ｄ）を参照して説明する。
第26図（ａ）に示すように、小領域1,2の順に線セグメントが連結された場合、次のサーチ方向は、図中の矢印方向である。従って、この場合、a,b,cの小領域がチェックされる。
同様に、第26図（ｂ）に示すように、小領域1,2の順に線セグメントが連結された場合、次のサーチ方向は、図中の矢印方向であり、この場合、a,b,cの小領域がチェックされる。
第26図（ｃ）に示すように、小領域1,2,3の順に線セグメントが連結された場合、a,b,cの小領域をチェックするが、ａとｃの両方に線セグメントが存在する場合、ａとｃの線セグメントの向きをチェックし、スムーズな連結となる方を選ぶ。第26図（ｃ）の場合、ｃの小領域の線セグメントが選ばれる。
また、第26図（ｄ）に示すように、小領域1,2の順に線セグメントを連結してきて、a,b,cの小領域に線セグメントが存在しない場合は、d,e,f,g,h,i,jの小領域を検査する。何故ならば、ａの線セグメントが何らかの理由で消滅したと考えた場合の次のサーチは、d,e,fとなり、同様に、ｂの線セグメントが消滅したと考えた場合の次のサーチは、f,g,hとなり、ｃの線セグメントが消滅したと考えた場合の次のサーチは、h,i,jとなるからである。
また、線セグメントを連結する場合、連結される２つの線セグメントの成す角度が±45゜以内となるものに限定しても良い。
また、線セグメントが連結される度に、４重ツリー（quad tree）上の数値は、訂正される。すなわち、連結された線セグメントに相当するリーフの値を１→０に変更する。併せて、それより上位の親ノードの値も訂正される。
また、線セグメントの連結は、両方向について行われる。
このようにしてカーブが得られたら、ステップS46で、第４ステップを終結するか否かを判定し、終結しない場合には、再び、ステップS41以降のステップを繰り返すことにより、別のカーブを得ることができる。
次に、第27図ないし第31図を参照して、第５ステップについて説明する。
この第５ステップでは、第４ステップで求められたヒダの形状により、挿入方向を判断，決定する。
求められるヒダの形状としては、例えば、第27図（ａ）〜（ｄ）に示すようなパターンがあり、それぞれ、以下で説明する方法で挿入方向を決定する。
第27図（ａ）は、図中＊印で示す交差点（または分岐点）を有する２つのカーブ（ヒダ）C1,C2が得られた場合を示し、この場合は、図中＊印で示す点における線セグメントの向きを判定することにより、どちらのヒダが奥にあるかを判断する。第27図（ａ）の場合は、カーブC2が奥にある。そして、奥にあるカーブの中心（ａ点）を挿入方向とする。尚、このようなカーブが得られる場合としては、内視鏡を挿入した大腸等の管腔が湾曲しているため、奥側のヒダの一部が隠れている場合が考えられる。
第27図（ｂ）に示す方法は、得られたカーブ上の５箇所程度のポイントからそれぞれ放射状に垂線を立て、その放射状の線の交点の集中する箇所を挿入方向とするものである。
第27図（ｃ）に示す方法は、得られたカーブが一部が欠けたリング状である場合に、得られたカーブの両端を連結し、それによって得られるリングの重心を挿入方向とするものである。
第27図（ｄ）に示す方法は、得られたカーブが所々で切れている場合に、一番近いカーブを連結して行き、得られたリングの重心を挿入方向とするものである。
尚、第27図（ｂ）〜（ｄ）に示す方法では、使用するカーブまたはリングは、任意であるが、最も大きいカーブまたはリングを用いても良いし、予め大きい方からｎ番目のリングを用いるということにしておいても良い。
重心は、例えば、第28図に示すような手順で求めることができる。
まず、ステップS51で、ヒダの円または楕円の中に含まれる画素数を求め、第29図に示すように、その数をＮとする。尚、画素数ではなく、第２ステップで用いた小方形の数で代用しても良い。
次に、ステップS52で、第30図において矢印で示すように、上からｘ軸方向にヒダの円形または楕円形に含まれる画素数を数えて行き、その数がN/2になるまで、カウントする。そして、N/2になったときのｙ座標の値をy0とすると、このy0が求める重心のｙ座標である。
同様に、ステップS53で、第31図において矢印で示すように、左側からｙ軸方向にヒダの円形または楕円形に含まれる画素数を数えて行き、その数がN/2になるまで、カウントする。そして、N/2になったときのｘ座標の値をx0とすると、このx0が求める重心のｘ座標である。
そして、ステップS54で、ヒダの重心は、（x0,y0）として求められる。
尚、ヒダの形状は、円または楕円として説明したが、これに限定されない。
尚、内視鏡を挿入していくと、それに伴ってヒダの形状は変化していく。従って、常に、大きい方から数えてｎ番目のヒダの重心を求め、それを挿入方向と判断しても良いし、大きい方から数えて、ｎ番目のヒダの重心とｎ＋ｍ番目のヒダの重心の平均値を求め、それを挿入方向と判断するようにしても良い。また、一番内側のヒダの重心を挿入方向としても良いし、複数のヒダの重心のうちの最も多くの重心がある方向を挿入方向としても良い。
尚、第４図に示すように、大腸20が湾曲している場合、第５図に示すように、ヒダによって、ヒダの重心が異なる、第５図の場合は、内側のヒダの重心ほど、上側、すなわち挿入方向側にある。この重心の変位量は、湾曲量が大きいほど大きくなる。従って、複数のヒダの重心の変位量から大腸20の湾曲量を検出することもできる。
このように、本実施例によれば、第１ステップないし第４ステップによってヒダの形状を求め、このヒダの形状に基づいて、第５ステップで、内視鏡の挿入方向を判断することにより、簡単に、内視鏡の挿入方向を検出することができる。
また、第１ステップで内視鏡画像中の不連続点（エッジポイント）を抽出する際に、基準値を低めに設定し、勾配ｇの値がある程度小さなものも残しておくことにより、ノイズ等の影響を受けることなく、必要な不連続点（エッジポイント）を抽出することが可能になる。
また、第２ステップにおいて、修正Hough変換を利用して、線セグメントの候補を抽出する際や、第３ステップにおいて、Perceptual groupingを行い、分割画像の各々から最適な線セグメントを抽出する際に、内視鏡画像を小領域に分割することにより、複数のコンピュータによる並列処理が可能になり、演算時間の短縮ができる。
また、第４ステップにおいて、スタート線セグメントを抽出するに当り、ピラミッド型４重ツリー構造を利用しているので、処理時間を著しく短縮することができる。
尚、本実施例では、第１ステップにおいて不連続点を抽出する当って、グレイレベルに着目しているが、前述のように色に着目しても良い。
色に着目した場合、例えば、色相や彩度の変化率を検査し、色相や彩度が変化するところを抽出するようにしても良い。
例えば、原画からCIE−RGB表色系の三原色成分（三刺激値）R,G,Bが得られる場合、色相θは、以下の（２−１）式を用いて、（２−２）式で表すことができる。
θ＝θ１（ｇ≧ｂ），θ＝２π−θ１（ｇ＜ｂ）
……（２−２）
ただし、ｒ＝R/（Ｒ＋Ｇ＋Ｂ）
ｇ＝G/（Ｒ＋Ｇ＋Ｂ）
ｂ＝B/（Ｒ＋Ｇ＋Ｂ）
また、彩度Ｓは、（２−３）式で表すことができる。
Ｓ＝１−3min（r,g,b） ……（２−３）
尚、min（r,g,b）は、r,g,bの最小値を示す。
このように、原画の画素ごとに、色相や彩度を数値化すると、グレイレベルに着目した場合と同様に空間フィルタリング等によって、色相や彩度が変化するところを抽出することができる。そして、グレイレベルに着目した場合と同様に、第２ステップないし第５ステップを行うことにより、色に着目してヒダを抽出することができる。
また、原画がNTSC信号で与えられる場合には、クロミナンス信号の位相から色相を得ることができ、クロミナンス信号の振幅から彩度を得ることができる。
また、特定の色成分の値に着目しても良い。
尚、本発明の方法によって検出された内視鏡の挿入方向に対し、内視鏡操作者が、湾曲操作により、内視鏡を挿入しても良いし、装置によって自動的に先端部を向け、挿入しても良い。
［発明の効果］
以上説明したように本発明によれば、簡単に、内視鏡の挿入方向を検出することができるという効果がある。
【図面の簡単な説明】
第１図ないし第31図は本発明の一つ実施例に係り、第１図は本発明の一実施例の方法を示すフローチャート、第２図２図は大腸への内視鏡の挿入を示す説明図、第３図は内視鏡挿入部の先端部を示す斜視図、第４図は大腸の屈曲部分への内視鏡の挿入を示す説明図、第５図は第４図の状態における内視鏡像を示す説明図、第６図は大腸の直線部分への内視鏡の挿入を示す説明図、第７図は第６図の状態における内視鏡像を示す説明図、第８図はファイバスコープと外付けテレビカメラを用いた内視鏡装置の例を示す説明図、第９図はビデオスコープを用いた内視鏡装置の例を示す説明図、第10図は第１ステップにおける空間フィルタリングの使用を説明するための図、第11図（ａ）はｘ方向の勾配を求める加重マトリクスを示す説明図、第11図（ｂ）はｙ方向の勾配を求める加重マトリクスを示す説明図、第12図は第１ステップで得られた画像を８×８画素の小方形に分割した状態を示す説明図、第13図は８×８画素の小方形を示す説明図、第14図は８×８画素の小領域にあるヒダの線セグメントを示す説明図、第15図は修正Hough変換をする為に外周にアドレスを付けた８×８画素の小方形を示す説明図、第16図は直線を修正Hough変換して得られる配列要素を示す説明図、第17図は直線を修正Hough変換した配列要素と、各配列要素に対応する直線上に存在するエッジポイントの数の一例を示す説明図、第18図はエッジポイントの数の多い直線を示す表、第19図は小方形内のラインセグメントを示す説明図、第20図はエッジの方位によるグループ分けを示す表、第21図は連続性によるグループ分けを示す表、第22図は連続性によるグループ分けを説明するための小方形上のエッジポイントを示す説明図、第23図はPerceptual groupingの結果の一例を示す表、第24図はピラミッド型４重ツリー構造を示す説明図、第25図は第４ステップを示すフローチャート、第26図（ａ）ないし（ｄ）は線セグメントの連結の際に次にサーチする小方形を示す説明図、第27図（ａ）ないし（ｄ）はヒダの形状から挿入方向を決定する方法を示す説明図、第28図はリングの重心を求めるステップを示すフローチャート、第29図はヒダの楕円を示す説明図、第30図はリングの重心のｙ座標を求めるステップを示す説明図、第31図はリングの重心のｘ座標を求めるステップを示す説明図である。
１……内視鏡、２……挿入部
20……大腸
［産業上の利用分野］
本発明は、内視鏡の挿入方向の検出方法に係り、特に、医学的検査のために行う大腸に対する内視鏡の自動挿入に適した内視鏡の挿入方向の検出方法に関する。
［従来の技術と発明が解決しようとする課題］
近年、体腔内に細長の挿入部を挿入することにより、体腔内臓器等を観察したり、必要に応じ処置具をチャンネル内に挿通した処置具を用いて各種治療処置のできる内視鏡が広く利用されている。
ところで、従来の内視鏡検査では、医師が内視鏡像を観察することにより、内視鏡（挿入部）の進行方向を判断して、内視鏡を挿入していた。
しかしながら、大腸検査における内視鏡の挿入には、高度な技術と熟練を要していた。
本発明は、上記事情に鑑みてなされたものであり、簡単に、内視鏡の挿入方向を検出することのできる内視鏡の挿入方向の検出方法を提供することを目的としている。
［課題を解決するための手段］
本発明による内視鏡の挿入方向の検出方法は、コンピュータに入力された原画像の特徴量の変化率の勾配を、予め設定した基準値と比較してその勾配の変化が所定以上あるところを不連続点として抽出し対象画像を形成するステップと、前記対象画像を複数の領域に分割し、この分割された各々の領域の画像に対して修正ハフ変換を用いて線セグメント候補を抽出するステップと、前記線セグメント候補に対し、予め設定した線セグメント判断基準に基づいた知覚的グループ分けを行って最適な線セグメント候補を抽出するステップと、前記最適線セグメント情報を子ノードとして複数の子ノードの線セグメント数の和を親ノードの縞セグメントとするステップと、前記ステップを繰り返して最多線セグメントを有する子ノードを順次選択するステップと、前記ステップで得られた小領域を線セグメントの開始セグメントとして連結するステップと、前記連結された線セグメントのパターン情報に基づき、奥側に位置する方向の候補を選択して内視鏡の挿入方向を決定するステップと、をコンピュータで実行するものである。
［作用］
本発明では、コンピュータに入力された原画像の特徴量の変化率の勾配を、予め設定した基準値と比較してその勾配の変化が所定以上あるところを不連続点として抽出して対象画像を形成し、この形成された対象画像を複数の領域に分割してこの分割された各々の領域の画像に対して修正ハフ変換を用いて線セグメント候補を抽出し、この抽出された線セグメント候補に対し、予め設定した線セグメント判断基準に基づいた知覚的グループ分けを行て最適な線セグメント候補を抽出し、さらにこの最適線セグメント情報を子ノードとして複数の子ノードの線セグメント数の和を親ノードの縞セグメントとすることを繰り返して最多線セグメントを有する子ノードを順次選択し、その結果得られた小領域を線セグメントの開始セグメントとして連結し、この連結された線セグメントのパターン情報に基づいて奥側に位置する方向の候補を選択して内視鏡の挿入方向を決定する。
［実施例］
以下、図面を参照して本発明の実施例を説明する。
まず、第２図ないし第７図を参照して、本発明の概要を説明する。
第２図は大腸への内視鏡の挿入を示す説明図、第３図は内視鏡挿入部の先端部を示す斜視図、第４図は大腸の屈曲部分への内視鏡の挿入を示す説明図、第５図は第４図R>図の状態における内視鏡像を示す説明図、第６図は大腸の直線部分への内視鏡の挿入を示す説明図、第７図は第６図６図の状態における内視鏡像を示す説明図である。
第２図に示すように、内視鏡（ファイバスコープ）１は、細長で可撓性を有する挿入部２を備え、この挿入部２の後端に太径の操作部２が連設されている。前記操作部３からは、側方に、可撓性を有するユニバーサルコード４が延設され、このユニバーサルコード４の先端部に、コネクタ５が設けられている。このコネクタ５は、光源装置６に接続されるようになっている。また、前記操作部３の後端部には、接眼部８が設けられている。
第３図に示すように、前記挿入部２の先端側には、硬性の先端部11及びこの先端部11に隣接する後方側に湾曲可能な湾曲部12が順次設けられている。また、前記操作部３には、図示しない湾曲操作ノブが設けられ、この湾曲操作ノブを回動操作することによって、前記湾曲部12を上下／左右方向に湾曲できるようになっている。
前記先端部11には、照明光学系の照明レンズ15と観察光学系の対物レンズ16とが、略同一方向に向けられて配設されている。前記照明レンズ15の後端部には、例えばファイババンドルからなる図示しないライトガイドが連設されている。このライトガイドは、前記挿入部2,操作部３及びユニバーサルコード４内に挿通されて、前記コネクタ５に接続されている。そして、このコネクタ５を前記光源装置６に接続すると、この光源装置６内のランプ6aから出射された照明光が、前記ライトガイドの入射端に入射するようになっている。この照明光は、前記ライトガイドによって、先端部11に導かれ先端面から出射され、前記照明レンズ15を通して被写体に照射されるようになっている。尚、第３図中、符号17は、照明光の照明範囲を示している。
一方、前記対物レンズ16の結像位置には、例えばファイババンドルからなる図示しないイメージガイドの先端面が配置されている。このイメージガイドは、前記挿入部２内に挿通されて、前記接眼部８まで延設されている。そして、前記対物レンズ16によって結像された被写体像は、前記イメージガイドによって、前記接眼部８に導かれ、この接眼部８から図示しない接眼レンズを介して観察されるようになっている。尚、第３図中、符号18は、観察光学系の視野範囲を示している。
ところで、内視鏡１の照明光学系と観察光学系とは、第３図に示すように、近接して存在し、且つ略同一方向を向いている。
一方、大腸内壁には、環状のヒダ（HAUSTRAまたはFOLDとも呼ばれる。）が存在し、内視鏡医の多くは、この環状のヒダの見え方により内視鏡の挿入方向を判断している。つまり、これらのヒダのリングの中心は、内視鏡の挿入方向を判断する上で優れた目安になる。このことを、第４図ないし第７図を参照して説明する。
尚、第５図及び第７図において、符号21,22,23は、大腸内壁に存在するヒダを示す。
第４図は、内視鏡１の挿入部２を、大腸20の上方に屈曲した部分へ挿入する場合を示している。この場合、第５図５図に示すように、ヒダは、上方に偏って存在する。従って、この場合には、内視鏡１の先端部11を、上方向に湾曲させ、上方向に挿入部２を挿入して行けば良い。
また、第６図は、内視鏡１の挿入部２を、大腸20の直線状の部分へ挿入する場合を示している。この場合、第７図７図に示すように、ヒダは、上下または左右に偏りなく存在する。従って、この場合には、内視鏡１の挿入部２を、まっすぐそのまま挿入して行けば良い。
このように、本発明の内視鏡の挿入方向の検出方法は、内視鏡像において内壁に存在するヒダの形状を抽出し、このヒダの形状に基づいて内視鏡の挿入方向を検出する方法である。
次に、第１図及び第８図ないし第31図を参照して、本発明の一実施例を説明する。
第１図は本発明の一実施例の方法を示すフローチャート、第８図はファイバスコープと外付けテレビカメラを用いた内視鏡装置の例を示す説明図、第９図はビデオスコープを用いた内視鏡装置の例を示す説明図、第10図は第１ステップにおける空間フィルタリングの使用を説明するための図、第11図（ａ）はｘ方向の勾配を求める加重マトリクスを示す説明図、第11図（ｂ）はｙ方向の勾配を求める加重マトリクスを示す説明図、第12図は第１ステップで得られた画像を８×８画素の小方形に分割した状態を示す説明図、第13図は８×８画素の小方形を示す説明図、第14図は８×８画素の小領域にあるヒダの線セグメントを示す説明図、第15図は修正Hough変換をする為に外周にアドレスを付けた８×８画素の小方形を示す説明図、第16図は直線を修正Hough変換して得られた配列要素を示す説明図、第17図は直線を修正Hough変換した配列要素と、各配列要素に対応する直線上に存在するエッジポイントの数の一例を示す説明図、第18図はエッジポイントの数の多い直線を示す表、第19図は小方形内のラインセグメントを示す説明図、第20図はエッジの方位によるグループ分けを示す表、第21図は連続性によるグループ分けを示す表、第22図は連続性によるグループ分けを説明するための小方形上のエッジポイントを示す説明図、第23図はPerceptual groupingの結果の一例を示す表、第24図はピラミッド型４重ツリー構造を示す説明図、第25図は第４ステップを示すフローチャート、第26図（ａ）ないし（ｄ）は線セグメントの連結の際に次にサーチする小方型を示す説明図、第27図（ｃ）ないし（ｄ）はヒダの形状から挿入方向を決定する方法を示す説明図、第28図はリングの重心を求めるステップを示すフローチャート、第29図はヒダの楕円を示す説明図、第30図はリングの重心のｙ座標を求めるステップを示す説明図、第31図はリングの重心のｘ座標を求めるステップを示す説明図である。
本実施例の内視鏡の挿入方向の検出方法は、例えば、第８図または第９図に示す内視鏡装置に適用される。
第８図に示す内視鏡装置は、光源装置６によって照明光が供給されるファイバスコープ１と、このファイバスコープ１の接眼部８に取付けられた外付けテレビカメラ30とを備えている。前記ファイバスコープ１の構成は、第２図に示すものと同様であり、説明を省略する。前記外付けテレビカメラ30は、例えば、前記接眼部８からの光を結像する図示しない結像レンズと、この結像レンズの結像面に配設された図示しない固体撮像素子を備えている。また、この外付けテレビカメラ30は、前記固体撮像素子を駆動すると共に、この固体撮像素子の出力信号を映像信号処理する信号処理装置31に接続されるようになっている。前記信号処理装置31から出力される映像信号は、モニタ32に入力されると共に、A/D変換器33によってデジタル量に変換された後、電子計算機35に入力され、この電子計算機35内の図示しないメモリ内に取り込まれるようになっている。そして、前記モニタ32に、内視鏡像が表示されると共に、前記電子計算機35によって、本実施例における内視鏡の挿入方向の検出方法が実行される。
また、第９図に示す内視鏡装置は、ファイバスコープ１及び外付けテレビカメラ30の代わりに、ビデオスコープ41を備えている。このビデオスコープ41は、前記ファイバスコープ１と同様に、細長で可撓性の挿入部２と、この挿入部２の後端に連設された操作部３とを備えている。前記操作部３からは、側方に、可撓性を有するユニバーサルコード42が延設され、このユニバーサルコード42の先端部に、コネクタ43が設けられている。このコネクタ43は、光源装置６と映像信号処理回路46とを内蔵した制御装置45に接続されるようになっている。前記ビデオスコープ41の挿入部２の先端部では、対物レンズの結像位置に、図示しない固体撮像素子が配設されている。この固体撮像素子は、前記挿入部2,操作部３及びユニバーサルコード42内に挿通された信号線、及び前記コネクタ43を介して、前記制御装置45内の映像信号処理回路46に接続されるようになっている。尚、前記ビデオスコープ41の照明光学系は、ファイバスコープ１と同様であり、ライトガイドの入射端には、前記制御装置45内の光源装置６のランプ6aから出射された照明光が入射されるようになっている。前記固体撮像素子は、前記映像信号処理回路46によって駆動されると共に、この固体撮像素子の出力信号は、前記映像信号回路46で信号処理されるようになっている。この映像信号処理回路46から出力される映像信号は、ファイバスコープ１を用いた内視鏡装置の場合と同様に、モニタ32に入力されると共に、A/D変換器33によってデジタル量に変換された後、電子計算機35に入力され、この電子計算機35内の図示しないメモリ内に取り込まれるようになっている。そして、前記モニタ32に、内視鏡像が表示されると共に、前記電子計算機35によって、本実施例における内視鏡の挿入方向の検出方法が実行される。
次に、本実施例の内視鏡の挿入方向の検出方法について説明する。
本実施例の内視鏡の挿入方向の検出方法は、第１図のフローチャートに示すように、電子計算機35に取り込まれた原画における不連続点を抽出する第１ステップS1と、前記第１ステップS1で得られた画像を複数の画像に分割し、この分割画像の各々から修正ハフ（Modified Hough）変換（以下、修正Hough変換と記す。）を用いて線セグメント（線分）の候補を抽出する第２ステップS2と、前記第２ステップS2で得られた線セグメントの候補に対してパーセプチュアル グルーピング（知覚的グループ分け、以下、Perceptual groupingと記す。）を行い、分割画像の各々から最適な線セグメントを抽出する第３ステップS3と、前記第３ステップS3で得られた線セグメントを連結する第４ステップS4と、前記第４ステップS4の結果から挿入方向を決定する第５ステップS5とからなる。
まず、第10図及び第11図を参照して、第１ステップについて説明する。
不連続点を抽出する当っては、赤の強度，緑の強度及び青の強度からなる色に着目しても良いし、グレイレベル（gray level,濃度あるいは明度）に着目しても良いが、本実施例では、グレイレベルに着目する場合を例にとり説明する。また、原画の画素（ピクセルとも呼ぶ。）数は、512×512、グレイレベルは256階調とする。
グレイレベルに着目し、不連続点を抽出するということは、空間座標上でグレイレベルの変化率（勾配）を検査し、グレイレベルが変化するところを抽出することである。これは、グレイレベルに着目したエッジ検出である。
前記エッジ検出の手法としては、例えば加重マトリクスを用いた空間フィルタリング（spatial filtering）があり、本実施例では、これを用いている。
第10図を参照して、３×３画素からなる加重マトリクスを用いた場合を例にとり、空間フィルタリングについて説明する。第10図において、P1（xi,yi）は、入力画像P1の座標（xi,yi）の画素のグレイレベルを示す。同様に、P2（xi,yi）は、出力画像P2の座標（xi,yi）の画素の勾配を示す。
まず、入力画像P1（xi,yi）の３×３近傍を取り出し、この３×３近傍の各画素の値と、別に用意された３×３要素からなる加重マトリクスの対応する各要素の値との積を計算し、９個の積の和を求め、これをP2（xi,yi）とする。
この演算を、入力画像の各画素に対して順次施していくことにより、空間フィルタリングを施した出力画像P2が得られる。
ところで、第11図（ａ）に示す加重マトリクスを使うことにより、ｘ方向の勾配（グレイレベルの変化率）gxが得られる。同様に、第11図（ｂ）に示す加重マトリクスを使うことにより、ｙ方向の勾配（グレイレベルの変化率）gyが得られる。ある画素における勾配の絶対値は、下記の（１−１）式で与えられるが、本実施例においては、極めて正確である必要もないため、演算処理の簡略化のために、（１−２）式で近似しても良い。
ｇ＝|gx|＋|gy| ……（１−２）
ただし、ｇは不連続性の強さを表わす。
尚、第11図（ａ），第11図（ｂ）に示す加重マトリクスを使った場合の座標（xi,yi）の画素のgx,gyは、具体的には、下記の（１−３）式，（１−４）式で与えられる。
また、エッジの方向は、次の（１−５）式で与えられる。
θ＝arctan（gy/gx） ……（１−５）
ここで、（１−１）式または（１−２）式で求めたｇを、予め定めた基準値grと比較し、基準値gr以上のエッジポイントを残す。
基準値grを大きな値に設定することにより、残すエッジポイントの数を絞りこむことも考えられるが、基準値grをあまり大きな値に設定すると、本来必要なエッジポイントを排除してしまう危険があるため、grは、低めに設定することが大切である。全てのエッジポイントの80％程度を残すように基準値grを設定することが望ましい。全てのエッジポイントのｇの分散を求めた上で、80％程度のエッジポイントが残るようにgrを設定しても良い。
このように、ｇの値がある程度小さなものを使い、後にPerceptual groupingを行うことにより、ノイズ等の影響を受けることなく、重要なエッジポイントを抽出することが可能になる。また、これが、本実施例の特徴の一つである。
次に、第12図ないし第19図を参照して、第２ステップについて説明する。
まず、第12図に示すように、第１ステップで得られた出力画像P2（xi,yi）を、８×８画素程度の小方形に分割し、修正Hough変換を行う。原画像が、512×512画素から成っている場合には、64×64の画像に分割することになる。尚、本実施例では、一例として、８×８画素の小方形として分割しているが、求める精度により、４×４画素でも良いし、16×16画素及びその他でも良いことは言うまでもない。
出力画像P2（xi,yi）と、切り出した８×８画素の小方形を第12図と第13図に示す。尚、第14図に示すように、４×４〜16×16画素の小方形を切り出したとき、その小方形中のヒダは、略直線とみなすことができる。
まず、修正Hough変換について、簡単に説明する。
第13図は、普通よく用いられるx,y座標系で表現してあるが、修正Hough変換を行う為に、第15図に示すように、８×８画素の小方形の外周に、アドレスを付ける。
このようにすると、８×８画素の小方形上の直線は、スタートアドレス（Ｓ）と、エンドアドレス（Ｅ）を指示することで、定義することができる。例えば、第15図に破線で示した直線は、スタートアドレス＝3,エンドアドレス＝20の直線として定義することができる。
一方、８×８画素の小方形上に描くことができる直線の種類は、（32×32）/2＝512である。（32×32）を1/2にしている理由は、小方形上の直線がベクトルではない為である。つまり、スタートアドレス＝3,エンドアドレス＝20の直線と、スタートアドレス＝20,エンドアドレス＝３の直線は、同一とみなすことができる為である。
従って、全ての直線は、第16図の配列要素の一つに対応する。
そして、配列要素上の１つの配列に対応する直線上に、幾つかのエッジポイントがあるかを配列要素上に表現すると、例えば、第15図に破線で示した直線は、スタートアドレスが３で、エンドアドレスが20の直線であり、その直線上には、４つのエッジポイントがあるので、第16図のように表現される。
このような方針に沿って、修正Hough変換をすると、実際には、第17図に示すような結果が得られる。すでに述べたことであるが、配列要素の１つ（第17図のサイの目一つ）は、１本の直線に対応し、配列要素内の数字（以下、vote（ボウト，票）と記す。）は、その直線上に存在するエッジポイントの数を示している。
直線上に存在するエッジポイントの数が多いほど、その直線が求めようとしている直線である可能性が高い。
従って、voteの数の多い方から、５つ程度を、ラインセグメントの候補として抽出する。この抽出したラインは、第17図では○印を付してあると共に、一覧表にして第18図に示している。
尚、ここで、voteの数の一番大きなものを抽出し、それを求めるラインセグメントとするという考え方もあるが、そのようにしてしまうと、誤ったラインセグメントを抽出してしまう危険がある。例えば、第19図に示すような場合である。この図では、（ａ）が抽出したいラインセグメントであるにかかわらず、単にvoteの数だけで判断すると、誤って（ｂ）のラインセグメントを抽出してしまうことになる。
上記のような危険を回避する為に、ここでは、５つ程度の配列要素にまで絞り込んでおいて、最終的には、Perceptual groupingを行って、最適なラインセグメントを抽出する。
次に、第20図ないし第23図を参照して、第３ステップのPerceptual groupingについて説明する。
本実施例では、下記の３項目に着目し、Perceptual groupingを行っているが、下記３項目以外に、勾配の大きさ（Edge Magnitude）に着目しても良いし、色に着目しても良い。
1.エッジの方位（Edge Orientation（エッジ オリエンテイション））
（エッジポイントについて）
基準±22.5゜2.グレイレベル（Gray level）
（画素について）
基準±４レベル3.連続性（Continuity（コンティニュアティ））
（エッジポイントについて）
基準±１画素の距離 上記３項目の各々について、以下に説明する。
第17図の場合を例に取ると、第17図の５つのラインの各々について、以下の処理を行う。
1.エッジの方位 第18図のライン（Line）４すなわち配列要素（16,4）を例にとれば、第20図に示すように、９個のエッジポイントを、第１ステップで求めたエッジの方向θの小さい順に並べる。そして、45゜（±22.5゜）より大きなギャップのある所でグループ分けを行う。第20図に示す例では、８番目のエッジポイントと９番目のエッジポイントのθの差が、62゜−35゜＝27゜（＞22.5゜）
となり、ここで、グループ分けされる。
2.グレイレベル 上記エッジの方位の場合と同様に、エッジポイントに相当する箇所のグレイレベルを、小さい順に並べ、グレイレベルのギャップが４より大きい所で、グループ分けを行う。
3.連続性 エッジポイントのｘ座標,y座標に注目し、第21図に示すように、ｘ座標の小さい順に並べる。ｘ座標が同じものついては、ｙ座標の大きい順に並べる。そして、ｘ座標の差Δｘ＞１またはｙ座標の差Δｙ＞１のところで、グループ分けを行う。第21図の例では、４番目のエッジポイントと５番目のエッジポイントのｙ座標の差が２であり、ここでグループ分けされる。このように、ｘ座標とｙ座標の両方に着目することにより、直線がｘ軸またはｙ軸に対して極端に立っていたり、寝ていても、確実に不連続点を抽出し、グループ分けを行うことができる。例えば、第22図は、第21図の例における各エッジポイントを、ｘ軸,y軸座標上にプロットしたものであるが、このような場合、ｘ座標にだけ着目していると、直線が不連続であることを検出できない。
以上の３つの作業を行うことにより、一般的に、例えば、第23図に示すような結果が得られる。
ここで、例えば、最適なラインセグメントを抽出する為の条件として、連続性∩（グレイレベル）∩（エッジの方位）
……（１）
の論理式を適用すれば、第23図示すように、Ａ〜Ｆの６つのグループにグループ分けすることができる。第23図の例では、グループＡが一番多くのエッジポイントを有し、そのエッジポイントの数は６である。
尚、最適なラインセグメントを抽出する為の条件としては、（１）の論理式に限らず、例えば、次の（２）の論理式を用いても良い。
連続性∩（グレイレベル∪エッジの方位） ……（２）
他の配列要素についても同様のことを行い、その中で、一番多くのエッジポイントを持つグループを抽出する。そして、そのグループが、８×８画素の小方形における抽出すべきラインセグメントである。
このようにして、第３ステップで、８×８画素からなる64×64個の小領域の線セグメントを抽出することができた。（もちろん、線セグメントの存在しない小領域も多数ある。）尚、小領域に分割することにより、複数のコンピュータによる並列処理が可能となり、演算時間の短縮ができるという利点がある。尚、複数の専用ICを使って並列処理を行っても良い。
尚、勾配の大きさ（Edge Magnitude）や、色に着目する場合も同様に、エッジポイントを、勾配の大きさや色の順に並べ、所定以上のギャップがある所でグループ分けを行えば良い。
次に、第24図ないし第26図を参照して、第４ステップについて説明する。
この第４ステップでは、第３ステップで得られた線セグメントを連結して行く。これは、エッジの追跡または連結と呼ばれる。
エッジの追跡を行うに当っては、どの線セグメントから探索を始めるかが重要である。本実施例では、エッジの追跡に当って、ピラミッド型４重ツリー構造を利用している。以下、第24図及び第25図を参照して、このピラミッド型４重ツリー構造を利用して、ヒダのカープを得る手順について説明する。
まず、第24図に示すように、８×８画素からなる小領域をリーフ ノード（leaf node）（またはリーフ（leaf）とも呼ぶ）として、ピラミッド型４重ツリー構造（pyramid quadtree structure）を作成する。すなわち、第25図において、ステップS41で、８×８画素の小領域をリーフ ノードとし、ステップS42で、４つの子（son）ノードの線セグメントの数の和を親（father）ノードの線セグメント数とし、n/2×n/2画素の画像を得る。そして、画素数が１か否かを判定するステップS43を経て、ステップS42を、ルート（root）（またはルートノード（root node）とも呼ぶ）に達するまで繰り返す。このようにして作成されたピラミッド型４重ツリー構造では、親ノードは、その子ノードの有する線セグメントの数を保持している。尚、第24図において、各ノードの近傍に付けた数字は、線セグメントの数を示している。
次に、スタート線セグメントを発見するために、ツリーは、ルートから下方に探索される。すなわち、ステップS44で、４つの子ノードのうち最多線セグメントを有する子ノードを選ぶという作業が繰り返される。第24図に示すように、リーフの段階で、線セグメントを有する複数のリーフが存在する場合、どの線セグメントを開始線セグメントとしても良い。
次に、ステップS45で、ステップS44で求めた線セグメントを、スタート線セグメントとして、線セグメントを連結して行く。
この線セグメントの連結を行う作業を、第26図（ａ）ないし（ｄ）を参照して説明する。
第26図（ａ）に示すように、小領域1,2の順に線セグメントが連結された場合、次のサーチ方向は、図中の矢印方向である。従って、この場合、a,b,cの小領域がチェックされる。
同様に、第26図（ｂ）に示すように、小領域1,2の順に線セグメントが連結された場合、次のサーチ方向は、図中の矢印方向であり、この場合、a,b,cの小領域がチェックされる。
第26図（ｃ）に示すように、小領域1,2,3の順に線セグメントが連結された場合、a,b,cの小領域をチェックするが、ａとｃの両方に線セグメントが存在する場合、ａとｃの線セグメントの向きをチェックし、スムーズな連結となる方を選ぶ。第26図（ｃ）の場合、ｃの小領域の線セグメントが選ばれる。
また、第26図（ｄ）に示すように、小領域1,2の順に線セグメントを連結してきて、a,b,cの小領域に線セグメントが存在しない場合は、d,e,f,g,h,i,jの小領域を検査する。何故ならば、ａの線セグメントが何らかの理由で消滅したと考えた場合の次のサーチは、d,e,fとなり、同様に、ｂの線セグメントが消滅したと考えた場合の次のサーチは、f,g,hとなり、ｃの線セグメントが消滅したと考えた場合の次のサーチは、h,i,jとなるからである。
また、線セグメントを連結する場合、連結される２つの線セグメントの成す角度が±45゜以内となるものに限定しても良い。
また、線セグメントが連結される度に、４重ツリー（quad tree）上の数値は、訂正される。すなわち、連結された線セグメントに相当するリーフの値を１→０に変更する。併せて、それより上位の親ノードの値も訂正される。
また、線セグメントの連結は、両方向について行われる。
このようにしてカーブが得られたら、ステップS46で、第４ステップを終結するか否かを判定し、終結しない場合には、再び、ステップS41以降のステップを繰り返すことにより、別のカーブを得ることができる。
次に、第27図ないし第31図を参照して、第５ステップについて説明する。
この第５ステップでは、第４ステップで求められたヒダの形状により、挿入方向を判断，決定する。
求められるヒダの形状としては、例えば、第27図（ａ）〜（ｄ）に示すようなパターンがあり、それぞれ、以下で説明する方法で挿入方向を決定する。
第27図（ａ）は、図中＊印で示す交差点（または分岐点）を有する２つのカーブ（ヒダ）C1,C2が得られた場合を示し、この場合は、図中＊印で示す点における線セグメントの向きを判定することにより、どちらのヒダが奥にあるかを判断する。第27図（ａ）の場合は、カーブC2が奥にある。そして、奥にあるカーブの中心（ａ点）を挿入方向とする。尚、このようなカーブが得られる場合としては、内視鏡を挿入した大腸等の管腔が湾曲しているため、奥側のヒダの一部が隠れている場合が考えられる。
第27図（ｂ）に示す方法は、得られたカーブ上の５箇所程度のポイントからそれぞれ放射状に垂線を立て、その放射状の線の交点の集中する箇所を挿入方向とするものである。
第27図（ｃ）に示す方法は、得られたカーブが一部が欠けたリング状である場合に、得られたカーブの両端を連結し、それによって得られるリングの重心を挿入方向とするものである。
第27図（ｄ）に示す方法は、得られたカーブが所々で切れている場合に、一番近いカーブを連結して行き、得られたリングの重心を挿入方向とするものである。
尚、第27図（ｂ）〜（ｄ）に示す方法では、使用するカーブまたはリングは、任意であるが、最も大きいカーブまたはリングを用いても良いし、予め大きい方からｎ番目のリングを用いるということにしておいても良い。
重心は、例えば、第28図に示すような手順で求めることができる。
まず、ステップS51で、ヒダの円または楕円の中に含まれる画素数を求め、第29図に示すように、その数をＮとする。尚、画素数ではなく、第２ステップで用いた小方形の数で代用しても良い。
次に、ステップS52で、第30図において矢印で示すように、上からｘ軸方向にヒダの円形または楕円形に含まれる画素数を数えて行き、その数がN/2になるまで、カウントする。そして、N/2になったときのｙ座標の値をy0とすると、このy0が求める重心のｙ座標である。
同様に、ステップS53で、第31図において矢印で示すように、左側からｙ軸方向にヒダの円形または楕円形に含まれる画素数を数えて行き、その数がN/2になるまで、カウントする。そして、N/2になったときのｘ座標の値をx0とすると、このx0が求める重心のｘ座標である。
そして、ステップS54で、ヒダの重心は、（x0,y0）として求められる。
尚、ヒダの形状は、円または楕円として説明したが、これに限定されない。
尚、内視鏡を挿入していくと、それに伴ってヒダの形状は変化していく。従って、常に、大きい方から数えてｎ番目のヒダの重心を求め、それを挿入方向と判断しても良いし、大きい方から数えて、ｎ番目のヒダの重心とｎ＋ｍ番目のヒダの重心の平均値を求め、それを挿入方向と判断するようにしても良い。また、一番内側のヒダの重心を挿入方向としても良いし、複数のヒダの重心のうちの最も多くの重心がある方向を挿入方向としても良い。
尚、第４図に示すように、大腸20が湾曲している場合、第５図に示すように、ヒダによって、ヒダの重心が異なる、第５図の場合は、内側のヒダの重心ほど、上側、すなわち挿入方向側にある。この重心の変位量は、湾曲量が大きいほど大きくなる。従って、複数のヒダの重心の変位量から大腸20の湾曲量を検出することもできる。
このように、本実施例によれば、第１ステップないし第４ステップによってヒダの形状を求め、このヒダの形状に基づいて、第５ステップで、内視鏡の挿入方向を判断することにより、簡単に、内視鏡の挿入方向を検出することができる。
また、第１ステップで内視鏡画像中の不連続点（エッジポイント）を抽出する際に、基準値を低めに設定し、勾配ｇの値がある程度小さなものも残しておくことにより、ノイズ等の影響を受けることなく、必要な不連続点（エッジポイント）を抽出することが可能になる。
また、第２ステップにおいて、修正Hough変換を利用して、線セグメントの候補を抽出する際や、第３ステップにおいて、Perceptual groupingを行い、分割画像の各々から最適な線セグメントを抽出する際に、内視鏡画像を小領域に分割することにより、複数のコンピュータによる並列処理が可能になり、演算時間の短縮ができる。
また、第４ステップにおいて、スタート線セグメントを抽出するに当り、ピラミッド型４重ツリー構造を利用しているので、処理時間を著しく短縮することができる。
尚、本実施例では、第１ステップにおいて不連続点を抽出する当って、グレイレベルに着目しているが、前述のように色に着目しても良い。
色に着目した場合、例えば、色相や彩度の変化率を検査し、色相や彩度が変化するところを抽出するようにしても良い。
例えば、原画からCIE−RGB表色系の三原色成分（三刺激値）R,G,Bが得られる場合、色相θは、以下の（２−１）式を用いて、（２−２）式で表すことができる。
θ＝θ１（ｇ≧ｂ），θ＝２π−θ１（ｇ＜ｂ）
……（２−２）
ただし、ｒ＝R/（Ｒ＋Ｇ＋Ｂ）
ｇ＝G/（Ｒ＋Ｇ＋Ｂ）
ｂ＝B/（Ｒ＋Ｇ＋Ｂ）
また、彩度Ｓは、（２−３）式で表すことができる。
Ｓ＝１−3min（r,g,b） ……（２−３）
尚、min（r,g,b）は、r,g,bの最小値を示す。
このように、原画の画素ごとに、色相や彩度を数値化すると、グレイレベルに着目した場合と同様に空間フィルタリング等によって、色相や彩度が変化するところを抽出することができる。そして、グレイレベルに着目した場合と同様に、第２ステップないし第５ステップを行うことにより、色に着目してヒダを抽出することができる。
また、原画がNTSC信号で与えられる場合には、クロミナンス信号の位相から色相を得ることができ、クロミナンス信号の振幅から彩度を得ることができる。
また、特定の色成分の値に着目しても良い。
尚、本発明の方法によって検出された内視鏡の挿入方向に対し、内視鏡操作者が、湾曲操作により、内視鏡を挿入しても良いし、装置によって自動的に先端部を向け、挿入しても良い。
［発明の効果］
以上説明したように本発明によれば、簡単に、内視鏡の挿入方向を検出することができるという効果がある。
【図面の簡単な説明】
第１図ないし第31図は本発明の一つ実施例に係り、第１図は本発明の一実施例の方法を示すフローチャート、第２図２図は大腸への内視鏡の挿入を示す説明図、第３図は内視鏡挿入部の先端部を示す斜視図、第４図は大腸の屈曲部分への内視鏡の挿入を示す説明図、第５図は第４図の状態における内視鏡像を示す説明図、第６図は大腸の直線部分への内視鏡の挿入を示す説明図、第７図は第６図の状態における内視鏡像を示す説明図、第８図はファイバスコープと外付けテレビカメラを用いた内視鏡装置の例を示す説明図、第９図はビデオスコープを用いた内視鏡装置の例を示す説明図、第10図は第１ステップにおける空間フィルタリングの使用を説明するための図、第11図（ａ）はｘ方向の勾配を求める加重マトリクスを示す説明図、第11図（ｂ）はｙ方向の勾配を求める加重マトリクスを示す説明図、第12図は第１ステップで得られた画像を８×８画素の小方形に分割した状態を示す説明図、第13図は８×８画素の小方形を示す説明図、第14図は８×８画素の小領域にあるヒダの線セグメントを示す説明図、第15図は修正Hough変換をする為に外周にアドレスを付けた８×８画素の小方形を示す説明図、第16図は直線を修正Hough変換して得られる配列要素を示す説明図、第17図は直線を修正Hough変換した配列要素と、各配列要素に対応する直線上に存在するエッジポイントの数の一例を示す説明図、第18図はエッジポイントの数の多い直線を示す表、第19図は小方形内のラインセグメントを示す説明図、第20図はエッジの方位によるグループ分けを示す表、第21図は連続性によるグループ分けを示す表、第22図は連続性によるグループ分けを説明するための小方形上のエッジポイントを示す説明図、第23図はPerceptual groupingの結果の一例を示す表、第24図はピラミッド型４重ツリー構造を示す説明図、第25図は第４ステップを示すフローチャート、第26図（ａ）ないし（ｄ）は線セグメントの連結の際に次にサーチする小方形を示す説明図、第27図（ａ）ないし（ｄ）はヒダの形状から挿入方向を決定する方法を示す説明図、第28図はリングの重心を求めるステップを示すフローチャート、第29図はヒダの楕円を示す説明図、第30図はリングの重心のｙ座標を求めるステップを示す説明図、第31図はリングの重心のｘ座標を求めるステップを示す説明図である。
１……内視鏡、２……挿入部
20……大腸
【特許請求の範囲】
【請求項１】コンピュータに入力された原画像の特徴量の変化率の勾配を、予め設定した基準値と比較してその勾配の変化が所定以上あるところを不連続点として抽出し対象画像を形成するステップと、前記対象画像を複数の領域に分割し、この分割された各々の領域の画像に対して修正ハフ変換を用いて線セグメント候補を抽出するステップと、前記線セグメント候補に対し、予め設定した線セグメント判断基準に基づいた知覚的グループ分けを行って最適な線セグメント候補を抽出するステップと、前記最適線セグメント情報を子ノードとして複数の子ノードの線セグメント数の和を親ノードの縞セグメントとするステップと、前記ステップを繰り返して最多線セグメントを有する子ノードを順次選択するステップと、前記ステップで得られた小領域を線セグメントの開始セグメントとして連結するステップと、前記連結された線セグメントのパターン情報に基づき、奥側に位置する方向の候補を選択して内視鏡の挿入方向を決定するステップと、をコンピュータで実行することを特徴とする内視鏡の挿入方向の検出方法。
【請求項１】コンピュータに入力された原画像の特徴量の変化率の勾配を、予め設定した基準値と比較してその勾配の変化が所定以上あるところを不連続点として抽出し対象画像を形成するステップと、前記対象画像を複数の領域に分割し、この分割された各々の領域の画像に対して修正ハフ変換を用いて線セグメント候補を抽出するステップと、前記線セグメント候補に対し、予め設定した線セグメント判断基準に基づいた知覚的グループ分けを行って最適な線セグメント候補を抽出するステップと、前記最適線セグメント情報を子ノードとして複数の子ノードの線セグメント数の和を親ノードの縞セグメントとするステップと、前記ステップを繰り返して最多線セグメントを有する子ノードを順次選択するステップと、前記ステップで得られた小領域を線セグメントの開始セグメントとして連結するステップと、前記連結された線セグメントのパターン情報に基づき、奥側に位置する方向の候補を選択して内視鏡の挿入方向を決定するステップと、をコンピュータで実行することを特徴とする内視鏡の挿入方向の検出方法。
【第２図】
【第３図】
【第４図】
【第５図】
【第６図】
【第７図】
【第１１図（ａ）】
【第１１図（ｂ）】
【第１図】
【第１２図】
【第１３図】
【第１４図】
【第１８図】
【第２０図】
【第２６図（ａ）】
【第２６図（ｂ）】
【第８図】
【第９図】
【第１５図】
【第２１図】
【第２６図（ｃ）】
【第２６図（ｄ）】
【第１０図】
【第１６図】
【第１７図】
【第２２図】
【第２７図（ａ）】
【第２７図（ｂ）】
【第２７図（ｃ）】
【第１９図】
【第２３図】
【第２４図】
【第２７図（ｄ）】
【第２９図】
【第３０図】
【第３１図】
【第２５図】
【第２８図】
【第３図】
【第４図】
【第５図】
【第６図】
【第７図】
【第１１図（ａ）】
【第１１図（ｂ）】
【第１図】
【第１２図】
【第１３図】
【第１４図】
【第１８図】
【第２０図】
【第２６図（ａ）】
【第２６図（ｂ）】
【第８図】
【第９図】
【第１５図】
【第２１図】
【第２６図（ｃ）】
【第２６図（ｄ）】
【第１０図】
【第１６図】
【第１７図】
【第２２図】
【第２７図（ａ）】
【第２７図（ｂ）】
【第２７図（ｃ）】
【第１９図】
【第２３図】
【第２４図】
【第２７図（ｄ）】
【第２９図】
【第３０図】
【第３１図】
【第２５図】
【第２８図】
【特許番号】第２６８０１１１号
【登録日】平成９年（１９９７）８月１日
【発行日】平成９年（１９９７）１１月１９日
【国際特許分類】
【出願番号】特願平１−５５８１４
【出願日】平成１年（１９８９）３月７日
【公開番号】特開平２−１８２２３１
【公開日】平成２年（１９９０）７月１６日
【前置審査】 前置審査
【出願人】（９９９９９９９９９）オリンパス光学工業株式会社
【参考文献】
【文献】特開 昭４６−７７４３（ＪＰ，Ａ）
【文献】特開 昭５７−８４４２１（ＪＰ，Ａ）
【登録日】平成９年（１９９７）８月１日
【発行日】平成９年（１９９７）１１月１９日
【国際特許分類】
【出願日】平成１年（１９８９）３月７日
【公開番号】特開平２−１８２２３１
【公開日】平成２年（１９９０）７月１６日
【前置審査】 前置審査
【出願人】（９９９９９９９９９）オリンパス光学工業株式会社
【参考文献】
【文献】特開 昭４６−７７４３（ＪＰ，Ａ）
【文献】特開 昭５７−８４４２１（ＪＰ，Ａ）
[ Back to top ]