柵状欠陥検出装置および柵状血管検出方法
【課題】動画データ等の多量の画像データからバレット食道等の注目する性状の判定を効率良く行うことができる柵状欠陥検出装置を提供する。
【解決手段】食道内の粘膜表面を撮像した医用画像から線構造を抽出する線構造抽出手段と、前記線構造の持つ形状特徴量から胃側となる各終端を算出する終端算出手段と、前記形状特徴量から抽出された線構造が柵状血管であるか否かを判定する柵状血管判定手段と、を具備することを特徴とする。
【解決手段】食道内の粘膜表面を撮像した医用画像から線構造を抽出する線構造抽出手段と、前記線構造の持つ形状特徴量から胃側となる各終端を算出する終端算出手段と、前記形状特徴量から抽出された線構造が柵状血管であるか否かを判定する柵状血管判定手段と、を具備することを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、生体に対する多量の画像データから注目する性状の判定を効率良く行う柵状欠陥検出装置および柵状血管検出方法に関する。
【背景技術】
【０００２】
従来より、内視鏡を用いた内視鏡検査においては、内視鏡装置或いは内視鏡観察装置により撮像された生体内の画像データは、ＣＲＴなどの表示装置上に即時表示されるとともに、外部に動画像データとして蓄積され、医師は検査中または検査後に動画像または動画像内のフレーム画像を静止画像として閲覧して診断を行う場合が一般的に行われる。
【０００３】
また近年、飲み込み型のカプセル内視鏡が使用される状況にある。
【０００４】
例えば、特開２００４−６４５号公報に開示されているように、カプセル内視鏡によって体内で撮像された画像データは、順次無線通信により外部に動画像データとして蓄積され、医師は動画または動画像内のフレーム画像を静止画像として閲覧して診断を行う。
【０００５】
また、特開２００４−１８８０２６号公報に開示されているように、静止画像に対して画像解析処理を適用し、その解析結果を内視鏡画像上または別の表示領域上に表示する装置がある。
【０００６】
この画像解析結果を利用することにより、医師は主観によらない、ＩＨｂ、血管解析などの画像解析値という客観的な判定基準の下に診断を下すことが可能となる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００４−６４５号公報
【特許文献２】特開２００４−１８８０２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかし医師による内視鏡検査後の動画像の閲覧またはカプセル内視鏡による動画像の閲覧において、動画像に含まれるフレーム画像の枚数は膨大であるため、病変として疑わしき部位の撮像個所を動画像の中から見つけ出すとともに、その個所のフレーム画像を１枚１枚抽出して画像解析処理を適用し、各々の画像解析結果を下にして診断を下すことは、非常に労力を必要とする作業となる。
【０００９】
このような問題に対して、前記の静止画像に対する画像解析装置を応用し、動画像に含まれる全てのフレーム画像に対して、一括して同一の画像解析処理を適用し、その結果を記憶するシステムを実現することは可能である。
【００１０】
しかし、全てのフレーム画像に対して一括して同一の画像解析処理を適用するため、処理時間が増大し、処理結果を得るまでに長時間待たなければならない。また、パラメータを変更して画像解析処理を適用するような場合にも、適切な処理結果を得るまでに長時間かかる。また、適切な解析処理結果を得るまでに記憶することが必要となるデータ量も増大する欠点がある。
【００１１】
また、内視鏡装置による食道検査のスクリーニングにおいては、バレット粘膜或いはバレット食道の有無などが調べられる。バレット粘膜は、食道と胃の接続部としての胃食道接合部において、逆流性食道炎等の影響により食道を形成する扁平上皮が胃の粘膜に置換されたもので、円柱上皮とも呼ばれる。このバレット粘膜が正常な粘膜境界から３ｃｍ以上、食道管腔断面に対して全周性に生じた場合にバレット食道という疾患として診断される。
【００１２】
バレット食道は、特に欧米人において増加しており、高い確率で腺癌が発生することから大きな問題となっているため、バレット粘膜の早期発見が非常に重要なものとなっている。
【００１３】
このため、バレット食道やバレット粘膜等の生体特徴量を客観的に判定して、術者にその判定結果を提供できる医用画像処理装置が望まれる状況にある。
【００１４】
（発明の目的）
本発明は、上述した点に鑑みてなされたもので、動画データ等の多量の画像データからバレット食道等の注目する性状の判定を効率良く行うことができる柵状欠陥検出装置および柵状血管検出方法を提供することを目的とする。
【課題を解決するための手段】
【００１５】
本発明の柵状血管検出装置は、食道内の粘膜表面を撮像した医用画像から線構造を抽出する線構造抽出手段と、前記線構造の持つ形状特徴量から胃側となる各終端を算出する終端算出手段と、前記形状特徴量から抽出された線構造が柵状血管であるか否かを判定する柵状血管判定手段と、を具備することを特徴とする。
【００１６】
本発明の柵状血管検出方法は、生体粘膜表面を撮像した医用画像を入力する第１のステップと、前記医用画像から線構造を抽出する第２のステップと、前記線構造の持つ形状特徴量を算出する第３のステップと、前記形状特徴量から粘膜構造が柵状血管であるか否かを判定する第４のステップと、を具備することを特徴とする。
【発明の効果】
【００１７】
本発明によれば、多量の画像データの場合にもバレット食道等の注目する性状の判定を効率良く行うことができる。
【図面の簡単な説明】
【００１８】
【図１】図１は本発明の実施例１を備えた内視鏡システムの全体構成を示すブロック図。
【図２】図２は内視鏡の経口的な挿入により内視鏡検査される上部消化管の各部を模式的に示す図。
【図３】図３は食道と胃の境界付近を撮像した内視鏡画像の例を示す図。
【図４】図４は本実施例の画像処理装置の主要部の機能的な構成を示す図。
【図５】図５は画像記憶部に記憶される動画像データがそれぞれ静止画像データの集まりとして記憶されていることを示す図。
【図６】図６は解析情報記憶部に格納される解析結果や処理プログラム記憶部に格納される情報等を示す図。
【図７】図７は内視鏡画像と共に解析結果を表示したモニタ表示例を示す図。
【図８】図８は本実施例によるバレット食道の性状判定を行う処理手順のフローチャート図。
【図９】図９は胃食道接合部の検出処理を行う処理手順を使用或いは生成される画像等の情報と共に示すフローチャート図。
【図１０】図１０は柵状血管端点境界等を示す図。
【図１１】図１１は図９における柵状血管抽出処理の詳細を示すフローチャート図。
【図１２】図１２は図１１の処理を行う際の動作説明用の画像例を示す図。
【図１３】図１３は図１０におけるバレット粘膜判定処理の詳細を示すフローチャート図。
【図１４】図１４は図９の変形例のフローチャート図。
【図１５】図１５は図１４等の動作説明に用いる画像例を示す図。
【図１６】図１６は図１４におけるバレット粘膜判定処理の詳細を示すフローチャート図。
【図１７】図１７は本発明の実施例２の画像処理装置の主要部の機能的な構成を示す図。
【図１８】図１８は本実施例によるバレット食道の性状判定を行う処理手順のフローチャート図。
【図１９】図１９は噴門検出処理を行う処理手順を使用或いは生成される画像等の情報と共に示すフローチャート図。
【図２０】図２０は図１９の動作説明図。
【図２１】図２１は図１９の集中度算出処理の詳細を示すフローチャート図。
【図２２】図２２は図１９の閉口噴門判定処理を示すフローチャート図。
【図２３】図２３は変形例における噴門検出処理を行う処理手順を使用或いは生成される画像等の情報と共に示すフローチャート図。
【図２４】図２４は図２３及び図２５の動作説明図。
【図２５】図２３におけるエッジ成分生成角度算出処理の詳細を示すフローチャート図。
【図２６】図２６は図２３の開口噴門判定処理を示すフローチャート図。
【図２７】図２７は本発明の実施例２の画像処理装置の主要部の機能的な構成を示す図。
【図２８】図２８は本実施例によるバレット食道の性状判定を行う処理手順のフローチャート図。
【図２９】図２９は変形例によるバレット食道の性状判定を行う処理手順のフローチャート図。
【発明を実施するための最良の形態】
【００１９】
以下、図面を参照して本発明の実施例を説明する。
【実施例１】
【００２０】
図１から図１６は本発明の実施例１に係り、図１は本発明の実施例１を備えた内視鏡システムの全体構成を示し、図２は内視鏡の経口的な挿入により内視鏡検査される上部消化管の各部を模式的に示し、図３は食道と胃の境界付近を撮像した内視鏡画像の例を示し、図４は本実施例における画像処理装置の機能的な構成を示し、図５は画像記憶部に記憶される動画像データがそれぞれ静止画像データの集まりとして記憶されていることを示す。
【００２１】
図６は解析情報記憶部に格納される解析結果や処理プログラム記憶部に格納される情報等を示し、図７は、内視鏡画像と共に解析結果を表示したモニタ表示例を示し、図８は本実施例によるバレット食道の性状判定を行う処理手順のフローチャートを示し、図９は胃食道接合部の検出処理を行う処理手順を使用或いは生成される画像等の情報とともに示す。
【００２２】
図１０は柵状血管端点境界等を示し、図１１は図９における柵状血管抽出処理のフローチャートを示し、図１２は図１１の処理を行う際の動作説明用の画像例を示し、図１３は図１０におけるバレット粘膜判定処理のフローチャートを示し、図１４は図９の変形例のフローチャートを示し、図１５は図１４等の動作説明に用いる画像例を示し、図１６は図１４におけるバレット粘膜判定処理のフローチャートを示す。
図１に示す内視鏡システム１は、内視鏡観察装置２と、この内視鏡観察装置２により得られた画像に対して画像処理を行うパーソナルコンピュータ等により構成される医用画像処理装置（以下、単に画像処理装置と略記）３と、この画像処理装置３により画像処理された画像を表示するモニタ４とから構成される。
【００２３】
内視鏡観察装置２は、体腔内に挿入され、体内を撮像する体内撮像装置を形成する内視鏡６と、この内視鏡６に照明光を供給する光源装置７と、内視鏡６の撮像手段に対する信号処理を行うカメラコントロールユニット（ＣＣＵと略記）８と、このＣＣＵ８から出力される映像信号が入力されることにより、撮像素子で撮像した内視鏡画像を表示するモニタ９とを有する。
内視鏡６は、体腔内に挿入される挿入部１１とこの挿入部１１の後端に設けられた操作部１２とを有する。また挿入部１１内には照明光を伝送するライトガイド１３が挿通されている。
【００２４】
このライトガイド１３の後端は、光源装置７に接続される。そして、この光源装置７から供給される照明光をライトガイド１３により伝送し、挿入部１１の先端部１４に設けた照明窓に取り付けられた先端面から（伝送した照明光を）出射し、患部等の被写体を照明する。
照明窓に隣接する観察窓に取り付けた対物レンズ１５と、この対物レンズ１５の結像位置に配置された固体撮像素子しての例えば電荷結合素子（ＣＣＤと略記）１６とにより撮像装置１７が設けてある。そして、このＣＣＤ１６の撮像面に結像された光学像は、このＣＣＤ１６により光電変換される。
このＣＣＤ１６は、信号線を介してＣＣＵ８と接続され、このＣＣＵ８からのＣＣＤ駆動信号が印加されることにより、ＣＣＤ１６は光電変換した画像信号を出力する。この画像信号は、ＣＣＵ８内の映像処理回路により信号処理され、映像信号に変換される。この映像信号はモニタ９に出力され、モニタ９の表示面には、内視鏡画像が表示される。この映像信号は、画像処理装置３にも入力される。
【００２５】
本実施例では、内視鏡６は、口部からその挿入部１１の先端部１４が挿入され、食道から胃の境界付近まで挿入されて、その境界付近に検出対象粘膜となる食道の通常の粘膜（具体的には扁平上皮）が変性して胃の粘膜部分の性状を呈するようになった粘膜としてのバレット粘膜が存在するか否かの内視鏡検査を行うような場合に使用される。
この場合、体内の生体粘膜表面を撮像した内視鏡画像に対応する映像信号は、画像処理装置３にも入力され、その映像信号に対して以下に説明するような画像処理方法により、バレット粘膜の存在或いはバレット食道という疾患に達した状態であるか否かの検出（判定）処理を行う。
【００２６】
この画像処理装置３は、内視鏡観察装置２から入力される内視鏡画像に対応する映像信号が入力される画像入力部２１と、この画像入力部２１から入力された画像データに対する画像処理を行う中央演算処理装置としてのＣＰＵ２２と、このＣＰＵ２２により画像処理を実行させる処理プログラム（制御プログラム）を記憶する処理プログラム記憶部２３とを有する。
また、この画像処理装置３は、画像入力部２１から入力される画像データ等を記憶する画像記憶部２４と、ＣＰＵ２２により処理された解析情報等を記憶する解析情報記憶部２５と、ＣＰＵ２２により処理された画像データ及び解析情報等を記憶装置インタフェース２６を介して記憶する記憶装置としてのハードディスク２７と、ＣＰＵ２２により処理された画像データ等を表示するための表示処理を行う表示処理部２８と、ユーザが画像処理のパラメータ等のデータ入力や指示操作を行うキーボードなどからなる入力操作部２９とを有する。
【００２７】
そして、この表示処理部２８により生成された映像信号は、表示モニタ４に出力され、この表示モニタ４の表示面には画像処理された処理画像が表示される。なお、画像入力部２１、ＣＰＵ２２、処理プログラム記憶部２３、画像記憶部２４、解析情報記憶部２５、記憶装置インタフェース２６、表示処理部２８、入力操作部２９は、データバス３０を介して互いに接続されている。
本実施例では検査あるいは診断対象部位として、食道と胃の接合部周辺部であり、内視鏡６により得られた画像に対して画像解析を行うことにより、この周辺部にバレット食道の可能性の部位が存在するかの性状判定を行う。
【００２８】
このため、内視鏡６の挿入部１１をその先端側から患者の口内に挿入して撮像を行う。図２は、内視鏡６を患者の体腔内に経口的に挿入した際に、内視鏡先端が位置する体腔部位を表す図である。内視鏡６の先端部１４は、口３１内に挿入されることにより、食道入口３２から食道３３内に進入し、その途中で上皮境界３４、胃食道接合部３５を経て胃３６側に進み、さらに噴門３７を経て胃３６内部に至る。
内視鏡６を挿入する操作を行うことにより、上記の順に撮像された動画像データが取得される。このようにして取得された動画像データは、画像記憶部２４に記憶され、その動画像データを構成する静止画像のフレーム画像に対して画像解析を行う。
図３は、食道３３と胃３６の境界近辺において撮像される内視鏡画像の概略図である。この内視鏡画像において、噴門３７は、胃内部への入口であって開閉する。
この噴門３７の外側に略放射状に走行する柵状血管３８は、食道３３側のみに存在し、食道３３の管腔に沿って縦に伸びる血管である。
【００２９】
また、食道３３側の粘膜組織と胃３６側の粘膜組織の境界としての上皮境界（一点鎖線で図示）３９から噴門へは赤みの強い粘膜色調であり（分布する上皮は円柱上皮と呼ばれる）、その逆方向は白味のかった粘膜色調である（分布する上皮は扁平上皮と呼ばれる）ことから、内視鏡観察によって上皮境界を判別することが可能である。
柵状血管３８の端点を結んだ線（破線で図示）は、内視鏡観察では容易には識別しにくい境界線であり（実際に線が存在するわけではない）、これは胃食道接合部３５と呼ばれ、胃３６と食道３３の組織上の境界となる。
正常な場合には、上皮境界３９は胃食道接合部３５付近にあるが、逆流性食道炎等の影響により食道３３を形成する扁平上皮が胃３６の粘膜（円柱上皮或いはバレット粘膜）に置換されると、この上皮境界３９が食道３３側にせり上がる。
【００３０】
そして、このバレット粘膜が正常な粘膜境界から３ｃｍ以上、食道管腔断面に対して全周性に生じた場合にバレット食道という疾患と診断される。
図４は、画像処理装置３の主要部における機能的な構成を示す。
内視鏡６により撮像されて画像処理装置３に入力された動画の画像データは、画像記憶（画像記録）手段としての画像記憶部２４に動画像データＶｍ１，Ｖｍ２、…等のようにして記憶される。
この場合、動画像データＶｍ１、Ｖｍ２、…は、静止画像を経時的に蓄積したデータ構造である。このため、各動画像データＶｍ１、Ｖｍ２、…は、例えば図５に示すようにフレーム番号が０、１、…、ＭＡＸ＿ＣＯＵＮＴの静止画像データＶｓ０、Ｖｓ１、…、ＶｓＭ（ここで、Ｍ＝ＭＡＸ＿ＣＯＵＮＴ）のように割り当てられて画像記憶部２４に記憶されている。
【００３１】
また、同時に画像記憶部２４に記憶されたフレーム時間も記憶される。なお、静止画像データは、ＪＰＧ等による圧縮した画像データで記憶しても良い。
そして、画像処理が開始すると、画像記憶部２４から読み出された例えば動画像データＶｍ１における指定されたフレーム番号の範囲の静止画像データが、ＣＰＵ２２及び処理プログラムにより、ソフトウェアで構成される画像抽出ブロック４１に抽出される。
そして、抽出された各静止画像データが順次、画像解析ブロック４２と表示処理ブロック４３とに送られる。
画像解析ブロック４２は、上皮境界を検出する上皮境界検出ブロック４４と、胃食道接合部を検出する胃食道接合部検出ブロック４５と、バレット食道か否かを判定するバレット食道判定ブロック４６とを備えている。
【００３２】
上皮境界検出ブロック４４は、例えば、画像中の粘膜色調の相違をエッジとして検出することにより、画像内に存在する上皮境界線を点列として検出する。
胃食道接合部検出ブロック４５は、例えば、柵状血管の端点を結んだ線を点列として検出する（その検出方法の詳細は、後述する）。
バレット食道判定ブロック４６は、上皮境界の形状、扁平上皮の縞状残存、上皮境界の胃食道接合部との距離、距離の標準偏差、距離の最大値・最小値などの特徴量を算出し、撮像された対象部位がバレット食道であるか否かを判定する。
このバレット食道判定ブロック４６により判定された判定結果の情報は、解析情報記憶部２５に記憶されると共に、表示処理ブロック４３に送られ、画像抽出ブロック４１を経てモニタ４に表示される静止画像中に、画像解析ブロック４２による解析による判定結果の情報が表示される。
【００３３】
図６（Ａ）は、解析情報記憶部２５に記憶される解析結果の例を示し、図６（Ｂ）は、処理プログラム記憶部２３により解析処理を行う際に使用されたり、或いは設定される情報例を示す。
また、図７は、モニタ４に判定結果の情報を、その解析が行われた静止画像中に表示した表示例を示す。
本実施例では、図８を参照して説明するように、動画像データからバレット食道を含む静止画像データがあるか否かの性状判定する場合、バレット食道の性状判定を行おうとする判定対象部位を撮像した画像よりも時間的に前或いは後（略同時の場合もある）に撮像された第１の特徴（量）を備えた基準部位（本実施例では胃食道接合部）を撮像しているか否かの判定処理を行う。
【００３４】
そして、その判定処理によりその基準部位を撮像していると判定した場合に、そのフレームより後方側或いは前方側のフレームの静止画像に対して第２の特徴（量）（本実施例では上皮境界の特徴）を検出し、第２の特徴の検出結果に基づき、バレット食道の判定を行うような画像処理手錠とすることにより、性状判定対象となるバレット食道の性状判定を効率良く行うようにしていることが特徴となっている。
このような画像解析処理を行うことにより、第１の特徴を備えていない画像に対しては、第２の特徴を検出する処理等を省くことができるようにして、目的とする性状判定対象に対する性状判定結果を短時間に効率良く得られるようにして、多量の画像データの場合にも対応できるようにしている。
次に本実施例の画像処理装置３による動作を図８のフローチャートを参照して説明する。
【００３５】
処理プログラムに沿った処理を行うＣＰＵ２２に対して、ユーザは入力操作部２９から動画像データのファイル名を指定すると、ＣＰＵ２２は、指定された動画像データの最大フレーム数を画像記憶部２４から読み出して、図６（Ｂ）に示すように最大フレーム数を表すパラメータＭＡＸ＿ＣＯＵＮＴに代入し、処理プログラムに沿った処理をスタートする。
最初のステップＳ１において、ＣＰＵ２２は、フレーム番号変数ＣＯＵＮＴの初期設定、つまりＣＯＵＮＴ＝０に設定する。
次のステップＳ２においてＣＰＵ２２は、フレーム番号変数ＣＯＵＮＴとＭＡＸ＿ＣＯＵＮＴとを比較し、ＣＯＵＮＴ＞ ＭＡＸ＿ＣＯＵＮＴであればこの処理を終了する。
【００３６】
このステップＳ２の判定が逆の場合、つまり、ＣＯＵＮＴ≦ ＭＡＸ＿ＣＯＵＮＴの場合には、ステップＳ３に進み、このステップＳ３において画像抽出ブロック４１は、フレーム番号＝ＣＯＵＮＴの画像を抽出する。
そして次のステップＳ４において胃食道接合部検出ブロック４５は、そのフレーム番号の画像から第１の特徴を検出する処理として、本実施例では胃食道接合部検出の処理を行う。
検出処理の結果、胃食道接合部３５を示す線の点列が得られるか否かにより、ステップＳ５に示すように胃食道接合部３５が存在するか否かの判定を行う。
そして、このステップＳ５において、胃食道接合部３５が存在しないと判定した場合には、次のステップＳ６に進み、フレーム番号変数ＣＯＵＮＴの値を１つ加算してステップＳ２に戻り、ステップＳ２からステップＳ６の処理を繰り返す。
【００３７】
一方、ステップＳ５において、胃食道接合部３５が存在すると判定した場合には、ステップＳ７の第２の特徴を検出して、その検出結果に基づいて性状判定対象となるバレット食道か否かの性状判定処理側の処理に移る。
このステップＳ７において、バレット食道の判定処理を開始するために、変数Ｎの設定、具体的には変数Ｎ＝０の設定をする。
そして次のステップＳ８において、所定の定数ＭＡＸ＿Ｎ、より具体的にはバレット食道か否かの判定処理を行おうとする最大のフレーム番号とを比較する。そして、比較結果がＮ＞ＭＡＸ＿Ｎであれば、この処理を終了する。本実施例では、このように予め設定された最大のフレーム番号より後のフレーム番号のものに対してはバレット食道か否かの判定を行わないようにしている。
【００３８】
一方、ステップＳ８の比較結果が逆の場合、つまり、Ｎ≦ＭＡＸ＿Ｎの場合には、ステップＳ９に進み、このステップＳ９において画像抽出ブロック４１は、フレーム番号＝ＣＯＵＮＴ＋Ｎの画像を抽出する。すなわち、胃食道接合部３５を検出した画像から時間的にＮフレーム経過した画像を抽出する（この時点では、Ｎは初期設定された０の状態であるため、最初は胃食道接合部３５が検出された画像からバレット食道の判定処理を行うようになり、以後の処理から分かるように時間的に後に撮像された画像に対して順次バレット食道か否かの判定処理が行われることになる）。
そして、ステップＳ１０において胃食道接合部検出ブロック４５は、そのフレーム番号の画像から胃食道接合部３５の検出処理を行う。
【００３９】
そして次のステップＳ１１において、上皮境界検出ブロック４４は、そのフレーム番号の画像から第２の特徴の検出処理としての上皮境界３４の検出処理を行う。なお、上皮境界３４を検出する処理は、例えば特願２００４−３６０３１９号における図４のステップＳ１からＳ４までの処理により上皮境界３４を検出する。食道側の扁平上皮と胃側の円柱上皮とは、上述したように色調が異なるので、内視鏡画像データに対してエッジ処理、細線化処理を行った後、生成された境界の点列を結ぶことにより、上皮境界３４を算出（検出）することができる。
次のステップＳ１２においてバレット食道判定ブロック４６は、ステップＳ１０において検出した胃食道接合部３５を示す線の点列と、ステップＳ１１において検出した上皮境界３４を示す線の点列とを使用して、撮像された画像中の性状判定対象となる部位がバレット食道であるか否かを判定する。
【００４０】
具体的には、後述する図１３のバレット粘膜の判定処理の所で説明する処理により、バレット食道か否かを判定することができる。
そして、このバレット食道判定ブロック４６は、ステップＳ１３においてバレット食道か否かの判定結果とフレーム番号を表示処理ブロック４３に渡す。表示処理ブロック４３は、指定されたフレーム番号の示す画像データを、その内部の図示しないバッファ内から抽出し、その画像データ上に判定結果を重畳する。そして、その画像データは、モニタ４に送られ、表示面にその画像が判定結果と共に表示される。
例えばバレット食道と判定した場合には、図６（Ｂ）に示すように、この判定対象の画像中に、例えば”バレット食道の疑いあり”と表示する。
このステップＳ１３の処理の後、次のステップＳ１４において変数Ｎが、１つ増大された後、ステップＳ８に戻る。そして、ステップＳ８からステップＳ１４までの処理が繰り返される。このようにして、変数Ｎがその最大値ＭＡＸ＿Ｎを超えるとこの処理を終了する。
【００４１】
このような構成及び処理を行う本実施例によれば、撮像された内視鏡画像の動画データを構成する解析対象となる静止画データに対して、バレット食道か否かの画像解析を行う場合、バレット食道の判定を行う部位の周辺部に存在する柵状血管の端点となる胃食道接合部３５の特徴を有する画像を検出する処理を撮像順に行う。そして、その処理によりその特徴を有する画像以降の画像に対してバレット食道の性状判定に必要となる上皮境界３４の特徴の検出処理及びその検出結果と胃食道接合部３５との位置関係等からバレット食道か否かを判定するようにしているので、効率良くバレット食道等か否かを判定することができる。
また、以下で説明するようにバレット食道とそのバレット食道の疾患に至る前症状としてのバレット粘膜（バレット上皮）の判定も行うことができるので、早期治療等に適した判定を行うことができる。
【００４２】
また、本実施例では、バレット食道か否かの性状判定を行う最大フレーム番号を予め設定して、その最大フレーム番号より後のフレーム番号の画像に対しては、バレット食道か否かの性状判定を行わないようにしているので、バレット食道か否かの性状判定を行う必要のない画像に対して時間を費やすことを防止することもできる。
つまり、図２に示すように食道３３内を口３１側から順次撮像し、胃３６の内部、つまり噴門３７の内部まで撮像したような場合には、胃内部側の画像に対してはバレット食道か否かの性状判定を行う必要のない画像となる。このような場合には、その画像のフレーム番号をＭＡＸ＿Ｎと設定しておくことにより、バレット食道か否かの性状判定を行わないようにすることができる。
【００４３】
次に胃食道接合部３５の検出処理を図９から図１３を参照して説明する。なお、以下では、胃食道接合部３５を検出した後、さらに上皮境界３４の検出及びバレット粘膜判定処理まで行う画像解析処理の場合で説明する。この画像解析処理は、バレット粘膜か否かを適切に判定する装置及び方法を提供することを目的とし、このような画像解析処理を行うことにより、バレット粘膜か否かを適切に判定することができる。
この場合の処理手順及び生成されるデータなどを図９に示す。図９における左側が処理内容を示し、その右側の枠内が使用されたり、生成される画像等の情報を示す。
【００４４】
画像解析の処理がスタートすると、最初のステップＳ２１において、処理対象画像に対してエッジ抽出処理が行われる。このエッジ抽出処理は、例えばＲＧＢ画像におけるＧの色成分画像に対してバンドパスフィルタを適用することによりエッジ画像を生成する。
バンドパスフィルタによるエッジ抽出手法は公知の技術である。また、処理対象画像より、輝度成分を用いてエッジ画像を生成しても良い。血管のエッジだけでなく他の形状（輪郭）のエッジが抽出される場合、処理対象画像のＲ成分に対してバンドパスフィルタを適用して抽出される形状のエッジを除外すると、血管のエッジのみを抽出することができる。
なお、図８のステップＳ４の胃食道検出処理に該当する処理部分は、図９におけるステップＳ２１からステップＳ２６までを用いる。
【００４５】
図９における次のステップＳ２２において、エッジ画像に対して２値化処理を行い、２値化画像を生成する。本実施例における２値化処理は、エッジ画像の各画素の画素値と規定の閾値との大小比較により、２値化画像の各画素を０または１に決定する。
次のステップＳ２３において、２値化画像に対して公知の細線化手法を適用して、細線化処理して細線化画像を生成する。
次のステップＳ２４において、この細線化画像に対して、食道３３に特有な柵状血管を抽出する柵状血管抽出処理を行い、抽出した柵状血管情報を保存する。この処理のフローチャートを図１１に示す（この説明は後述）。
【００４６】
次のステップＳ２５において、上記柵状血管抽出処理において保存した柵状血管の端点座標を取得し、端点座標点列を線分で結ぶ境界線生成処理を行い、境界線情報を生成（取得）する。この処理により生成される境界線情報、より具体的には柵状血管端点境界を図１０（Ａ）に示す。
次のステップＳ２６において、上記境界線画像生成処理により取得した境界線情報（柵状血管端点境界）と、あらかじめ取得しておいた暗部と上皮境界３４とを含む画像を生成する。この画像を図１０（Ｂ）に示す。
次のステップＳ２７において、あらかじめ取得しておいた扁平上皮と円柱上皮の上皮境界３４との位置関係から、バレット食道ないしはバレット粘膜であるか否かを判定するバレット食道判定処理を行う。その処理の詳細は、図１３を参照して後述する。
【００４７】
このようにして、バレット食道ないしはバレット粘膜の判定を行い、その判定結果を表示してこの処理を終了する。
次に図１１を参照して、図９のステップＳ２４の柵状血管抽出処理を説明する。
この柵状血管抽出処理がスタートすると、最初のステップＳ３１において、細線化画像から未処理の線分を取得する。その場合の画像例を図１２（Ａ）に示す。
次のステップＳ３２において、線分の画素数を線分長Ｌとして算出する。そして、次のステップＳ３３において、算出した線分長Ｌを所定の閾値ｔｈｒｅ１と比較してその大小を判定する。この判定処理において、Ｌ＞ｔｈｅｒ１であれば次のステップＳ３４に進み、Ｌ≦ｔｈｅｒ１であればその線分は柵状血管ではないと判定してステップＳ４１に移る。本実施例においては、例えばｔｈｅｒ１＝５０としている。
【００４８】
ステップＳ３４において線分の分岐・交差点数Ｃ、屈折点数Ｂを算出し、ステップＳ３５において所定の閾値εとの大小を判定する。Ｃ≦ＣｔｈかつＢ＜εであれば次のステップＳ３６に進み、Ｃ＞ＣｔｈまたはＢ≧εであればその線分は、抽出対象とする柵状血管ではなく、樹枝状血管と判定してステップＳ４１に移る。本実施例においてはＣｔｈ＝０，ε＝３とした。
【００４９】
ステップＳ３６において線分の２端点のうち、あらかじめ取得しておいた画像暗部により近い方の端点を取得し、ステップＳ３７において端点と暗部中心を結ぶベクトルｖを算出する。
次のステップＳ３８においてベクトルｖと、線分終点及び始点とを結んだ直線の成す角θを算出する。そして次のステップＳ３９において、算出した角θと所定の閾値ｔｈｒｅ２との大小を判定する。
【００５０】
そしてステップＳ３９の判定処理において、θ＜ｔｈｒｅ２（例えば図１２（Ｂ）におけるθ１）であれば次のステップＳ４０に進み、逆にθ≧ｔｈｒｅ２（例えば図１２（Ｂ）におけるθ２）であればその線分は、柵状血管ではないと判定してステップＳ４１に移る。本実施例においてはｔｈｒｅ２＝４５°とした。
ステップＳ４０においてステップＳ３１にて抽出した線分に対して、ステップＳ３９の判定条件を満たすものを柵状血管と判定し、柵状血管情報としてその線分に関する情報（前述の線分長Ｌ、線分の分岐・交差点数Ｃ、屈折点数Ｂ、線分の座標点列、端点の座標、角θ）を保存する。このようにして、図１２（Ｃ）に示すように柵状血管を抽出することができる。
【００５１】
なお、ステップＳ４１において、未処理の線分の有無を判定し、未処理線分があればステップＳ３１へのループ処理を実施し、未処理の線分がなければこの処理を終了する。
なお、ステップＳ３６〜ステップＳ３９において、マッチドフィルタを用いて暗部方向に伸びる血管のみを抽出しても良い。
次に図１３を参照して、図９のステップＳ２８のバレット粘膜判定処理を説明する。 ステップＳ５１において、前述の境界線画像生成処理により生成した境界線画像を取得する。これは図１０（Ｂ）となる。
次のステップＳ５２において、この画像全体を所定の本数、つまりＮ本の放射線で分割する。例えばＮ＝８として分割した場合を図１０（Ｃ）で示している。
次のステップＳ５３において、ｉ本目の放射線［ｉ］を示す変数ｉを初期値１に設定する。
【００５２】
そして、次のステップＳ５４において、ｉ本目の放射線［ｉ］と上皮境界３４が交わる点Ｐ１、ｉ本目の放射線［ｉ］と形成した境界が交わる点Ｐ２を算出する。点Ｐ１及び点Ｐ２を算出した画像を図１０（Ｃ）上に示している。
次のステップＳ５５において、点Ｐ１、及びＰ２間の距離Ｑ［ｉ］を算出する。
次のステップＳ５６において、すべての放射線について処理を行ったか否かを判定する。つまり、ｉが放射線数Ｎか否かを判定し、Ｎに達しない場合にはステップＳ５７においてｉを１つ増大した後、ステップＳ５４に戻り、同様の処理を実施し、すべての放射線について実施済みであればステップＳ５８に進む。
このようにして、全ての放射線、つまりＮ個において点Ｐ１−Ｐ２間の距離Ｑ［ｉ］を算出したら、ステップＳ５８において、そのＮ個の距離Ｑ［ｉ］を用いて分散σを算出する。
【００５３】
次のステップＳ５９において、分散σと所定の閾値ｔｈｒｅ３との大小を判定する。そして、σ＞ｔｈｒｅ３であればステップＳ６０に進み、逆にσ≦ｔｈｒｅ３であれば、その画像はバレット粘膜の所見ではないと判定してこの処理を終了する。本実施例においてはｔｈｒｅ３＝５とした。
ステップＳ６０において、ステップＳ５１において取得した画像に対して、ステップＳ５９の判定条件を満たす場合には、バレット粘膜の所見の画像であると判定し、その判定結果を表示や告知及び保存等してこの処理を終了する。
図９から図１３に示した処理に従ってバレット粘膜（バレット上皮）か否かを判定することにより、精度のよい判定を行うことができる。
【００５４】
つまり、このような処理においては、胃食道接合部３５と上皮境界３４とをそれぞれ検出して、その検出結果からバレット粘膜か否かを判定するようにしているので、適切かつ精度の良い判定を行うことができる。
なお、図１３の処理の一部を以下のように変更して、画像中における食道３３の半径（或いは直径）を算出（推定）し、その半径の値として既知の統計値を採用することにより、バレット粘膜からバレット食道を含めた定量的に近い判定を行うようにしても良い。
図１３における例えばステップＳ５５とＳ５６との間に暗部中央Ｏ−点Ｐ１（或いは暗部中央Ｏ−点Ｐ２）との距離（説明を明確にするためにＲ［ｉ］とする）も算出する処理を行う。
【００５５】
そして、ステップＳ５６の判定処理を経て全ての放射線［ｉ］に対して、点Ｐ１−Ｐ２間の距離Ｑ［ｉ］と共に、距離Ｒ［ｉ］も算出する。その後、図１３のステップＳ５８の距離Ｑ［ｉ］の分散σを算出する代わりに、上記距離Ｒ［ｉ］の平均値Ｒａｖを算出して、その平均値Ｒａｖｅを食道３３における上皮境界３４付近における半径の評価値（推定値）とする。
通常の成人或いは患者と体型が類似した人の場合の食道３３の統計上の半径値Ｒｓ（ｃｍ）を予めメモリ等に格納しておき、上記平均値Ｒａｖとして半径値Ｒｓを用いて上記点Ｐ１−Ｐ２間の距離Ｑ［ｉ］の平均値を評価する。
そして、その距離Ｑ［ｉ］の平均値が３．０ｃｍ以上か否かを判定して、３．０ｃｍ以上の場合にはバレット食道と判定する。
【００５６】
また、距離Ｑ［ｉ］の平均値が、例えば１．５ｃｍ程度の場合にはバレット粘膜がかなり進行した状態と判定する。また、距離Ｑ［ｉ］の平均値が、例えば０．５ｃｍ程度の場合のようにバレット粘膜化した初期症状が現れている等の判定を行うようにすることもできる。
このように本変形例によれば、定量的に近い状態でバレット食道か否かを判定できると共に、バレット粘膜の場合にもその症状の進行の程度を定量的に判定することができ、その判定結果を表示などすることにより、早期の治療を行い易くできるる。
また、図９によるバレット粘膜判定処理の代わりに、図１４に示す変形例のフローチャートのように行っても良い。
【００５７】
本変形例における前述の処理のフローチャートとの変更点は、図９におけるステップＳ２５の血管端点抽出処理、ステップＳ２６の境界線生成処理、ステップＳ２７の境界線画象生成処理に替わって、図１４に示すようにステップＳ６１の上皮境界柵状血管画像生成処理を行う。この処理により生成した上皮境界柵状血管画像を用いてステップＳ６２のバレット粘膜判定処理を行うようにしている。
ステップＳ６１の上皮境界柵状血管画像生成処理においては、上述した柵状血管抽出処理において取得した柵状血管と、あらかじめ取得しておいた暗部と上皮境界線を含む上皮境界柵状血管画像を図１５（Ａ）に示すように生成する。
そして次のステップ６２において、前のステップＳ６１で生成した上皮境界柵状血管画像を用いてバレット粘膜判定処理を行う。このバレット粘膜判定処理のフローチャートを図１６に示す。
【００５８】
図１６に示すように最初のステップＳ６３において、あらかじめ取得しておいた上皮境界３４、柵状血管を含む画像を取得する。
次のステップＳ６４において、上皮境界線と交差する柵状血管数Ｊを初期化、つまりＪ＝０に設定しておく。
次のステップＳ６５においてＱ本の柵状血管から処理対象血管を取得する。さらに次のステップＳ６６において、処理対象血管が上皮境界３４と交わるか否かを判定する。交わる場合は、次のステップＳ６７に進んで柵状血管数Ｊに１を加算し、交わらない場合はステップＳ６５の処理に戻り、次の処理対象血管を取得して同じ処理を繰り返す。
ステップＳ６７を行った後、次のステップＳ６８においてすべての柵状血管について処理を行ったか否かを判定し、未処理の柵状血管があればステップＳ６５に戻り、同じ処理を繰り返し、逆に全ての柵状血管について実施済みであれば、次のステップＳ６９に進む。
【００５９】
このようにして、上皮境界３４と交わる柵状血管数Ｊを算出した画像例を図１５（Ｂ）に示す。この図１５（Ｂ）の場合には、柵状血管の数Ｑが７で、その内６（＝Ｊ）本が上皮境界３４と交わっている。
ステップＳ６９において、Ｊ／Ｑと所定の閾値ｔｈｒｅ４との大小を判定する。そして、Ｊ／Ｑ＞ｔｈｒｅ４であれば次のステップＳ７０に進み、逆にＪ／Ｑ≦ｔｈｒｅ４であれば、その画像はバレット粘膜の所見ではないと判定してこの処理を終了する。本実施例においてはｔｈｒｅ４＝０．５としている。
ステップＳ７０において、ステップＳ６３において取得した画像がステップＳ６６及びステップＳ６９の判定条件を満たす場合にはバレット粘膜の所見の画像であると判定し、モニタ４に表示する等して、この処理を終了する。
【００６０】
本変形例では、上皮境界３４の内側に柵状血管の端点がどの程度存在するかによりバレット粘膜か否かを判定できる。
以上説明したように本実施例によれば、内視鏡画像の動画データを構成する多量の静止画データに対して、バレット食道か否かの解析を行う場合、バレット食道の判定を行う部位の周辺部に存在する第１の特徴部位としての柵状血管の胃側端点となる胃食道接合部３５の特徴を有する画像を検出する処理を行い、その処理により検出された画像の後の画像に対して、第２の特徴部位としての上皮境界３４の検出処理等を行って、バレット食道か否かを判定するようにしているので、効率良くバレット食道等か否かの性状判定することができる。従って、手作業による抽出作業の労力を軽減することができる効果が得られる。
【００６１】
また、上記のように最初にその特徴を検出される第１の特徴部位として設定されている胃食道接合部３５は、バレット食道の性状判定にも利用されるので、その特徴の検出が有効に利用できる。
また、バレット食道の疾患に至る前症状のバレット粘膜（バレット上皮）の判定も行うことができるので、早期治療等に適した判定を行うことができる。
また、バレット食道か否かの判定を行う必要のない画像に対してはその処理を行わないようにすることもできる。
なお、本実施例では動画データを使用して説明しているが、１検査において連続する複数の静止画データに対して適用してもよい（他の実施例等にも同様に適用できる）。
【実施例２】
【００６２】
次に本発明の実施例２を図１７から図２６を参照して説明する。上述した実施例１においては、バレット食道か否かの判定を行うために、最初に胃食道接合部３５の検出処理を行うことにより、胃食道接合部３５を含む画像を検出するようにしていた。
胃食道接合部３５の検出処理は、検出処理の負担が重いので、処理速度が遅くなり、処理速度の改善、検出速度の改善の余地がある。胃食道接合部３５の検出よりも処理速度を速くでき、検出精度が高いと見込まれる生体部位の検出処理として、噴門検出処理が考えられる。
本実施例では、この点に着目して処理速度等を向上するものである。
本実施例の画像処理装置のハードウェアの構成は実施例１と同様に図１を採用できる。また、本実施例の処理プログラムによりＣＰＵ２２により構成される機能的な構成を、図１７に示す。図１７に示す構成は、図４の構成にける画像解析ブロック４２内に、さらに噴門検出ブロック４７を備えた構成である。
【００６３】
本実施例による処理のフローチャートを図１８に示す。このフローチャートによりバレット食道の判定を行い、判定結果を表示等する。
上記噴門検出ブロック４７は、例えば、暗部の検出と、検出した暗部の形状及び暗部のエッジ近辺における明度変化の急峻の度合いから画像データ内に存在する噴門３７を検出する。その詳細は、図１９により後述する。
図１８に示す処理手順は、図８のフローチャートの処理手順において、ステップＳ４の胃食道接合部３５の検出処理の代わりに、ステップＳ４′の噴門３７の検出処理を行い、かつステップＳ４の後のステップＳ５の胃食道接合部３５の存在の判定処理の代わりにステップＳ５′の噴門３７の存在の判定処理を行う変更となっている。
【００６４】
また、図８の処理手順において、ステップＳ９のフレーム番号＝ＣＯＵＮＴ＋Ｎの画像を抽出する代わりに、図１８のステップＳ９′に示すようにフレーム画像＝ＣＯＵＮＴ−Ｎの画像を抽出する。
すなわち、実施例１においては、胃食道接合部３５は、バレット食道を判定する部位周辺部であるため、画像中にその部位が検出されるようになった状態から時間的に後の画像を調べることにより、その部位周辺部により接近した画像が得られるため、内視鏡６の先端部１４を挿入しながら撮像を行う場合の撮像条件に対応するものとなっていた。
これに対して、図２から分かるように、噴門３７は、胃食道接合部３５や上皮境界３４を通り過ぎ、胃内部に入る入り口となる部位であるため、この噴門検出がされた画像から時間的にＮフレーム分遡ったフレーム画像を抽出することになる。そして、この画像からより以前に撮像した画像に遡る向きで順次バレット食道か否かの判定を行う。
【００６５】
本実施例によれば、胃食道接合部３５の検出よりも検出処理の負担が軽い噴門３７を検出した後、その噴門３７が検出された画像に基づいてバレット食道の判定処理を行うようにしているので、バレット食道の判定をより短時間に行うことができるようになる。
従って、より効率良くバレット食道の判定処理側に移行でき、より短時間に実施例１と同様の効果を得ることができる。
【００６６】
次に図１９から図２２を参照して噴門３７の検出処理を説明する。図１９は閉じた場合の閉口噴門検出を行う処理フロ−を使用するデータ或いは生成されるデータと共に示す。
【００６７】
噴門３７の検出処理が開始すると、ステップＳ７１に示すように処理対象画像に対してエッジ検出処理を行い、エッジ画像を生成する。
このエッジ抽出処理は、本実施例では、Ｒの色成分画像に対してバンドパスフィルタを適用することによりエッジ画像を生成する。
バンドパスフィルタによるエッジ抽出手法は公知の技術である。また、処理対象画像より、輝度成分を用いてエッジ画像を生成しても良い。
【００６８】
次のステップＳ７２において、エッジ画像に対して２値化処理を行い、２値化画像を生成する。本実施例における２値化処理は、エッジ画像の各画素の画素値と規定の閾値との大小比較により、２値化画像の各画素を０または１に決定する。
次のステップＳ７３において、２値化画像に対して公知の細線化手法を適用して、細線化処理して細線化画像を生成する。生成された細線化画像例を図２０（Ａ）に示す。
次のステップＳ７４において、この細線化画像における全ての細線における分岐・交差点を算出する分岐・交差点算出処理を行う。図２０（Ｂ）は図２０（Ａ）の細線化画像に対して算出された分岐・交差点の例を示す。この図２０（Ｂ）では、分岐・交差点の数Ｈｃが５の場合を示している。
【００６９】
このステップＳ７４の分岐・交差点算出処理により算出された分岐・交差点の座標を分岐・交差点情報として保存する。
次のステップＳ７５において、上記分岐・交差点の座標値から分岐・交差点の集中度を算出する集中度算出処理を行い、集中度情報を算出する。
【００７０】
この集中度算出処理を図２１のフローチャートにより説明する。最初のステップＳ７７において、上述したＮｃ個の分岐・交差点の座標値を取得する。次のステップＳ７８において、Ｎｃ個の分岐・交差点のｘ座標値の分散σｘ、ｙ座標値の分散σｙとして、両分散σｘ、σｙを算出する。そして、次のステップＳ７９において、算出した両分散σｘ、σｙを集中度情報として保存してこの処理を終了する。
なお、この集中度算出処理における分散を求める代わりに、標準偏差、又は変動係数、又はＮｃ個の分岐・交差点の重心からの距離の平均値等を求め、それを集中度情報としても良い。
図１９に戻り、ステップＳ７５による集中度算出処理により算出された集中度情報を用いて、次のステップＳ７６において閉口噴門判定処理を行う。
【００７１】
この閉口噴門判定処理は図２２のステップＳ７６ａに示すように分岐・交差点数Ｎｃと集中度情報（σｘ、σｙ）とがそれぞれ所定の閾値ｔｈｒｅ＿Ｎとｔｈｒｅ＿ｘ、ｔｈｒｅ＿ｙとの大小関係をそれぞれ比較して判定を行う。
そして、ステップＳ７６ａにおけるＮｃ＞ｔｈｒｅ＿Ｎ、かつσｘ＜ｔｈｒｅ＿ｘ、かつσｙ＜ｔｈｒｅ＿ｙの条件を満たすと判定した場合には、ステップＳ７６ｂに示すように閉口噴門３７と判定する。一方、ステップＳ７６ａの条件を満たさないと判定した場合、つまりＮｃ≦ｔｈｒｅ＿Ｎ、或いはσｘ≧ｔｈｒｅ＿ｘ、或いはσｙ≧ｔｈｒｅ＿ｙとなる場合には、ステップＳ７６ｃに示すように閉口噴門３７でないと判定する。
このようにして噴門判定処理を行った後、図１９に示す噴門検出の処理を終了する。
このようにして噴門３７を検出することができる。
【００７２】
以上のべたように本実施例によれば、最初に噴門３７を検出する処理を行い、噴門３７が検出された場合には時間的にさかのぼる画像に対して判定対象となるバレット食道を判定する処理を行うようにしているので、多量の画像データの場合に対しても効率良くバレット食道の判定を行うことができる。
また、実施例１で説明したようにバレット食道の判定を行う場合、バレット粘膜の判定を行うこともでき、この判定により早期の治療を行うのに有効となる。
また、図２３は変形例における噴門検出のフローチャート処理を示す。
本変形例は、図１９に示した処理フローチャートにおいて、ステップＳ７４の分岐・交差点算出処理、及び次のステップＳ７５の集中度算出処理の代わりに開口噴門を検出することを目的としたステップＳ８１のエッジ成分生成角度算出処理を行い、このエッジ成分生成角度算出処理により算出された生成角度情報を基にステップＳ８２の開口噴門を検出（判定）する開口噴門判定処理を行うようにしている。
【００７３】
図２３に示す処理は、図１９におけるステップＳ７１からステップＳ７３までは同じである。
ステップＳ７１に示すように処理対象画像に対してエッジ抽出処理を行い、エッジ画像を生成し、さらにエッジ画像に対してステップＳ７２の２値化処理を行い、２値化画像を生成し、さらにステップＳ７３の細線化処理により図２４（Ａ）に示す細線化画像を生成する。
次に、暗部を含む画像に対して予め画像暗部を抽出するために暗部抽出の閾値を用いた暗部２値化処理を画像を、上記細線化処理で取得した細線化画像に重畳した図２４（Ｂ）に示す画像に対して、ステップＳ８１のエッジ成分生成角度算出処理を行い、大きなエッジ角度の生成角度情報を算出する。
【００７４】
そして、ステップＳ８２の開口噴門判定処理により開口噴門か否かの判定を行う。
図２５は、図２３のステップＳ８１のエッジ成分生成角度算出処理の詳細を示すフローチャートである。
最初のステップＳ８３において、画像中の暗部の特徴点を１点選択する。本実施例では、例えば暗部の重心点を算出している。
次のステップＳ８４において、この算出した重心点或いは中心点等の特徴点を中心として画像を、放射状の線により周方向に複数個、例えばＭ個の領域に分割する。
次のステップＳ８５において、上述した図２４（Ａ）に示す細線化画像における細線の内から、１本の線分ｉを抽出（取得）する。
【００７５】
次のステップＳ８６において、抽出した線分ｉが存在する角度θ［ｉ］を算出する。つまり、線分ｉが存在する領域数Ｎｉをカウントし、そのカウントにより線分ｉが存在する角度θ［ｉ］をθ［ｉ］＝Ｎｉ×（３６０／Ｍ）°より算出する。
このようにして算出した例を図２４（Ｃ）に示す。図２４（Ｃ）では線分ｉが０°の分割線の領域から２７０°の分割線の領域までの領域数Ｎｉが６の場合を示している。
次のステップＳ８７において、未処理の線分の有無を判定し、未処理の線分があればステップＳ８５に戻り、未処理の線分を取得して同様の処理を行う。
一方、未処理の線分が無い場合には、このエッジ成分生成角度算出の処理を終了する。
【００７６】
図２３に戻り、ステップＳ８１のエッジ成分生成角度算出処理により生成した角度θ［ｉ］の角度情報を用いて次のステップＳ８２の開口噴門判定処理により、開口する噴門か否かの判定を行う。
【００７７】
この開口噴門判定処理は、例えば図２６のステップＳ８２ａに示すように角度θ［ｉ］が所定の閾値ｔｈｒｅ５とで大小関係の判定をする。つまり、θ［ｉ］＞ｔｈｒｅ５の条件を満たすか否かの判定を行う。そして、θ［ｉ］＞ｔｈｒｅ５の条件を満たす場合には、ステップＳ８２ｂに示すように開口噴門のエッジであると判定し、逆にこの条件を満たさない場合には、開口噴門のエッジでないと判定する。このようにして、噴門を検出する処理を終了する。
このようにして開口する噴門を検出することができる。
そして、噴門を検出した画像からバレット食道を検出する処理を行うことにより、効率良くバレット食道などの判定を行うことができる。
【実施例３】
【００７８】
次に図２７から図２９を参照して本発明の実施例３を説明する。本実施例の画像処理装置のハードウェアの構成は実施例１と同様であり、図１を採用できる。また、本実施例における処理プログラムを実行するＣＰＵ２２により構成される主要部の機能的な構成を図２７に示す。図２７に示す構成は、図４の構成における画像解析ブロック４２内に、さらに処理継続判定ブロック４８を備えた構成である。
この処理継続判定ブロック４８は、上皮境界検出ブロック４４が検出した上皮境界線の点列の有無を判定し、判定結果に応じて画像解析ブロック４２の動作を制御する。
本実施例による処理手順のフローチャートを図２８に示す。このフローチャートによりバレット食道の判定を行い、その判定結果を表示等する。
【００７９】
図２８に示すフローチャートによる処理方法は、実施例１における図８の処理手順において、胃食道接合部３５を検出する処理の代わりに、より簡単な処理で検出することができる上皮境界３４を検出する処理を行う。
まず、上皮境界３４が検出される画像を検索し、上皮境界３４が検出される画像を検索できたらバレット食道の判定を行う処理側に移る。
以下、図２８のフローチャートを参照してその処理手順を説明する。なお、最初のステップＳ１からＳ３までは、図８のフローチャートの場合と同じ処理であるため、その説明を省略する。
【００８０】
ステップＳ３のフレーム番号がＣＯＵＮＴの画像を抽出して、次のステップＳ９１の上皮境界３４の検出処理を行う。
そして、検出処理された上皮境界３４に対して、次のステップＳ９２において処理継続判定ブロック４８は、ステップＳ９１により上皮境界３４を示す線の点列が得られるか否かの判定により、上皮境界３４の存在の有無の判定を行う。
このステップＳ９２の判定により、上皮境界３４が存在しないと判定した場合には、ステップＳ６に進み、フレーム番号変数ＣＯＵＮＴの値を１つ増分してステップＳ２に戻り、ステップＳ２からステップＳ９２までの処理、つまり上皮境界３４を検出する解析動作を継続する。
【００８１】
一方、ステップＳ９２の判定により、上皮境界３４が存在すると判定した場合には、上皮境界３４を検出する解析動作から、ステップＳ９３側に移り、バレット食道を判定する解析動作に移る。
【００８２】
このステップＳ９３において、胃食道接合部検出ブロック４５は、そのフレーム番号の画像から胃食道接合部３５の検出処理を行う。
この胃食道接合部３５の検出処理を行った後、次のステップＳ９４において、バレット食道判定ブロック４６は、ステップＳ９３において検出した胃食道接合部３５を示す線の点列とステップＳ９１において検出した上皮境界３４を示す線の点列とを使用して、撮像された画像中の対象部位がバレット食道であるか否かを判定する。
そして、バレット食道であると判定した場合には、バレット食道判定ブロック４６は、ステップＳ９５においてその判定結果とフレーム番号を表示処理ブロック４３に渡す。この表示処理ブロック４３は、指定されたフレーム番号の画像をバッファ内から抽出し、その画像データ上に判定結果を重畳する。例えば、図７に示すように表示する。
【００８３】
次のステップＳ９６において、ＣＯＵＮＴを１増分する。そして、次のステップＳ９７において、次のフレーム番号（＝ＣＯＵＮＴ）の画像を新規に取得する。そしてその画像に対して上皮境界３４の検出処理を行う。
次のステップＳ９８において、前の検出処理により上皮境界３４が存在するか否かの判定を行う。
【００８４】
このステップＳ９８において、処理継続判定ブロック４８は、前のステップＳ９７により上皮境界３４を示す線の点列が得られるか否かの判定により、上皮境界３４の存在の有無の判定を行う。
このステップＳ９８の判定により、上皮境界３４が存在しないと判定した場合には、ステップＳ９３からステップＳ９８の処理ループ、つまりバレット食道判定処理側の解析処理の動作から抜けて、この処理を終了する。
【００８５】
一方、上皮境界３４が存在すると判定した場合には、ステップＳ９３に戻り、胃食道接合部３５を検出する処理を行ってバレット食道の判定処理を継続して行う。このようにして、上皮境界３４の存在が検出される場合には上記処理ループ内の処理を繰り返し、上皮境界３４の存在が検出されなくなるとこの処理を終了することになる。
このように動作する本実施例によれば、最初に上皮境界３４の検出処理を行い、この検出処理により上皮境界３４が検出された画像からバレット食道の存在の有無を判定する処理側に移り、この処理側において再び上皮境界３４の存在が検出されなくなると、この処理を終了するようにしているので、バレット食道の判定を効率良く行うことができる。
【００８６】
つまり、本実施例によれば、処理継続判定手段を設け、バレット食道の性状判定に必要な上皮境界３４の周辺部の画像のみを検出すると共に、その画像中に上皮境界３４が検出されなくなると、バレット食道の判定処理を終了する制御を行うようにているので、手間をかけることを必要としないで、バレット食道の判定処理に必要な画像を抽出して、バレット食道の判定処理を行うことができる。
つまり、実施例１の場合よりもさらにバレット食道の判定処理を短時間かつ、手間をかけないで行うことができる。
【００８７】
なお、本実施例では、フレーム画像から上皮境界３４を検出後、フレーム画像が連続する時間的に後方のフレーム画像を、次の上皮境界検出の対象画像としているが、時間的に撮像する方向等に応じて時間的に前方に遡ってフレーム画像を取得して検出対象画像としてもよい。
また、連続するフレーム画像の取得間隔をＮ（ここで、Ｎは１、２、３、…の自然数）とし、ステップＳ９７においてＣＯＵＮＴ←ＣＯＵＮＴ＋Ｎに増分して、次の取得フレーム画像を指定するようにしてもよい。
次に本実施例の変形例を説明する。１枚１枚の画像毎にバレット食道であるか否かの判定をすると、画像データに含まれるノイズ、ハレーション、光量経時変化、シェーディング等の影響により、本来バレット食道を撮像しているにもかかわらず、バレット食道ではない、と誤った判定をしてしまう可能性がある。
【００８８】
そこで本変形例では図２９に示す処理手順により改善している。図２９に示すフローチャートによる処理手順は、図２８の処理手順において、ステップＳ１からステップＳ９４までは同じ処理である（但し図２９ではさらにフレーム番号の変数Ｎｂを用いるため、この変数ＮｂをステップＳ１で０に初期化している）。
図２８ではステップＳ９４の判定結果から次のステップＳ９５において判定結果を表示するようにしていたが、本変形例ではステップＳ９４の判定処理の後、次のフレーム番号に変えて上皮境界３４の検出処理や胃食道接合部３５の検出処理等を行ってバレット食道の判定処理を行う。
このようにして、上皮境界３４が存在しない画像になった場合にはそれまでバレット食道か否かの判定を行った全ての判定結果からバレット食道か否かを総合的に判定し、その判定結果を表示するようにしたものである。
【００８９】
以下、図２９を参照して処理手順を説明する。なお、ステップＳ１からＳ９４までは図２８と同じ（但し、上記のようにステップＳ１において、もう１つのフレーム番号の変数Ｎｂも０に初期化する）であるため、その説明を省略する。
ステップＳ９４において、ステップＳ９２による上皮境界３４の存在する位置とステップＳ９３による胃食道接合部３５の検出処理とによりバレット食道か否かを判定する。そして、そのバレット食道の判定結果は一旦蓄積しておき、次のステップＳ１０１によりフレーム番号Ｎｂの変数を１つ増分する。そして、次のステップＳ１０２において、このＮｂを１つ大きくしたフレーム番号ＣＯＵＮＴ＋Ｎｂの画像を抽出する。
【００９０】
次のステップＳ１０３において上皮境界３４の検出処理を行う。この検出処理の後、次のステップＳ１０４において、上皮境界３４が存在するか否かの判定を行い、存在する場合にはステップＳ９３に戻り、胃食道接合部３５の検出処理を行って同様にバレット食道か否かの判定等の処理を行う。
一方、上皮境界３４が存在しないと判定した場合には、ステップＳ１０５に移り、ステップＳ９３からステップＳ１０４までの処理により取得したバレット食道の判定結果を全て取得する。
そして、次のステップＳ１０６において、これら全てのバレット食道の判定結果から総合的にバレット食道か否かの判定を行う。そして、次のステップＳ１０７において、総合的な判定結果を画像に重畳して表示し、この処理を終了する。
【００９１】
バレット食道判定ブロック４６は、ステップＳ１０６における総合的にバレット食道か否かの判定を以下のように行う。
例えばバレット食道と判定した画像の枚数Ｎａと、バレット食道か否かの判定を行った画像枚数Ｎｂとの比率Ｎａ／Ｎｂを算出する。バレット食道判定ブロック４６は、この比率Ｎａ／Ｎｂが０．８よりも大きい場合には、撮像対象がバレット食道であると判定し、ステップＳ１０７にて、バレット食道判定に使用したＮｂ枚すべての画像に対して”バレット食道の疑いあり”との情報を重畳するようにする。
このように処理動作を行う本変形例によれば、実施例３と同様の効果を有すると共に、さらに複数枚の画像それぞれにおいてバレット食道か否かの判定した結果の情報を用いてさらに総合的に判定するようにしているので、バレット食道か否かをより信頼性の高い状態で判定することができる。
【００９２】
なお、上述の説明では、細長の挿入部を有する内視鏡６を体内に挿入して撮像した内視鏡画像の場合に対して画像処理する場合で説明したが、口から飲み込むことにより体内を撮像するカプセル型内視鏡により撮像された内視鏡画像の場合にも同様に適用できる。
カプセル型内視鏡の場合には、通常一定間隔などで連続的に静止画像を撮像する体内撮像装置となる。また、この場合には、口から飲み込まれると後戻りすることなく食道３３、胃、小腸、大腸へと移動しながら撮像を行う。このような場合にも、本発明は適用可能である。
また、本発明は上述した各実施例等を部分的等で組み合わせて構成される実施例の場合も含む。
【００９３】
［付記］１．請求項１において、前記性状判定手段は、前記判定結果を行った画像上に前記判定結果を重畳して出力する。 ２．請求項１において、前記性状判定手段は、前記第２の生体特徴検出手段による検出結果により前記判定結果を出力すると共に、前記判定結果が複数得られた場合には、複数の判定結果に基づいて総合的な判定結果を出力する。 ３．請求項１において、前記性状判定手段は、食道内の疾患としてのバレット食道の性状判定を行うバレット食道判定手段である。 ４．請求項１において、前記性状判定手段は、食道内の疾患としてのバレット食道の性状判定と、バレット食道の疾患に至る前のバレット粘膜の存在を判定するバレット判定手段である。
【００９４】
５．請求項１において、前記性状判定手段は、食道内の胃食道接合部よりも食道側の粘膜が胃側粘膜としての円柱上皮に変性したバレット粘膜の存在を判定するバレット粘膜判定手段である。
【００９５】
６．請求項１において、前記第１の生体特徴検出手段は、食道内における胃と食道の境界としての胃食道接合部、若しくは食道側の扁平上皮と胃側の円柱上皮との境界となる上皮境界、若しくは食道から胃の入り口となる噴門とのいずれかを検出する。 ７．付記３又は４において、前記第１又は第２の生体特徴検出手段は、前記バレット食道の性状判定に利用する部位或いは粘膜境界を検出する。 ８．付記７において、前記部位或いは粘膜境界は、胃食道接合部若しくは上皮境界である。
【００９６】
９．請求項１において、前記第２の生体特徴検出手段は、食道内における胃と食道の境界としての胃食道接合部、若しくは食道側の扁平上皮と胃側の円柱上皮との境界となる上皮境界を検出する。
【００９７】
１０．付記３において、前記バレット食道判定手段は、胃食道接合部と上皮境界の検出結果に基づいてバレット食道の性状判定を行う。 １１．付記４において、前記バレット判定手段は、胃食道接合部と上皮境界の検出結果に基づいてバレット食道ないしはバレット粘膜の性状判定を行う。 １２．付記１０又は１１において、前記胃食道接合部を検出するために柵状血管を検出する柵状血管検出手段を有する。 １３．付記６において、前記第１の生体特徴検出手段は、前記噴門として閉口する噴門又は開口する噴門を検出する。 １４．請求項１において、前記動画像データ又は静止画像データは、挿入部を有する内視鏡又は口から飲み込まれるカプセル型内視鏡により生成される。
【００９８】
１５．体内撮像装置によって撮像された体内の動画像データ又は連続的に撮像された複数枚の静止画像データからフレーム画像データを抽出処理する画像抽出処理ステップと、
前記画像抽出処理ステップにより抽出したフレーム画像データを画像解析し、画像解析結果を出力する処理を行う画像解析処理ステップと、
を備え、
前記画像解析処理ステップは、
第１の生体特徴を検出する処理を行う第１の生体特徴検出処理ステップと、
前記第１の生体特徴検出処理ステップの検出結果に基づき、前記第１の生体特徴検出処理ステップで検出に使用した画像よりも時間的に前方または後方に撮像されたフレーム画像に対して、第２の生体特徴を検出する処理を行う第２の生体特徴検出処理ステップと、
前記第２の生体特徴検出処理ステップの検出結果に基づき、生体の性状を判定して判定結果を出力する処理を行う性状判定処理ステップと、
を備えることを特徴とする医用画像処理方法。
【００９９】
１６．付記１５において、前記第２の生体特徴検出処理ステップは、前記第１の生体特徴検出処理ステップの検出結果に基づき、所定枚数のフレーム画像を取得して、該フレーム画像に対して第２の生体特徴の検出処理を行う。 １７．付記１５において、前記第２の生体特徴検出処理ステップは、前記第１の生体特徴検出処理ステップの検出結果に基づき、
前記第１の生体特徴検出処理ステップが処理したフレーム画像よりも時間的に前方または後方に撮像されたフレーム画像を順次取得し、
取得したフレーム画像に対して前記第１の生体特徴検出処理ステップを適用したときの検出結果に基づきフレ−ム画像の取得を中断する。
【０１００】
１８．付記１５において、前記性状判定処理ステップは、前記判定結果を行った画像上に前記判定結果を重畳して出力する。 １９．付記１５において、前記性状判定処理ステップは、前記第２の生体特徴検出処理ステップによる検出結果により前記判定結果を出力すると共に、前記判定結果が複数得られた場合には、複数の判定結果に基づいて総合的な判定結果を出力する。 ２０．付記１５において、前記性状判定処理ステップは、食道内の疾患としてのバレット食道の性状判定を行うバレット食道判定処理ステップである。 ２１．付記１５において、前記性状判定処理ステップは、食道内の疾患としてのバレット食道の性状判定と、バレット食道の疾患に至る前のバレット粘膜の存在を判定するバレット判定処理ステップである。
【０１０１】
２２．付記１５において、前記性状判定処理ステップは、食道内の胃食道接合部よりも食道側の粘膜が胃側粘膜としての円柱上皮に変性したバレット粘膜の存在を判定するバレット粘膜判定処理ステップである。 ２３．付記１５において、前記第１の生体特徴検出処理ステップは、食道内における胃と食道の境界としての胃食道接合部、若しくは食道側の扁平上皮と胃側の円柱上皮との境界となる上皮境界、若しくは食道から胃の入り口となる噴門とのいずれかを検出する。
【０１０２】
２４．食道内の粘膜表面を撮像した医用画像から線構造を抽出する線構造抽出手段と、
前記線構造の持つ形状特徴量から胃側となる各終端を算出する終端算出手段と、
前記形状特徴量から抽出された線構造が柵状血管であるか否かを判定する柵状血管判定手段と、
を具備することを特徴とする柵状血管検出装置。 ２５．生体粘膜表面を撮像した医用画像を入力する第１のステップと、
前記医用画像から線構造を抽出する第２のステップと、
前記線構造の持つ形状特徴量を算出する第３のステップと、
前記形状特徴量から粘膜構造が柵状血管であるか否かを判定する第４のステップと、
を具備することを特徴とする柵状血管の検出方法。 ２６．付記２４において、前記形状特徴量として分岐・交差点、生成角度としたことを特徴とする。
【０１０３】
（付記２４〜２６の背景）
従来、バレット食道或いはバレット粘膜の判定を行う有効な装置或いは方法が無かった。
このため、バレット食道或いはバレット粘膜の判定を行う有効な装置或いは方法を提供することを目的として、付記２４〜２６の構成にした。 （付記２４〜２６の効果）
胃と食道との境界の胃食道接合部となる柵状血管の胃側の終端を検出するようにしているので、上皮境界の検出結果とからバレット食道或いはバレット粘膜の判定を適切に行うことができる。
【０１０４】
２７．食道内の粘膜表面を撮像した医用画像から上皮境界と胃食道接合部とを検出する上皮境界＆胃食道接合部検出手段と、
検出された前記上皮境界及び胃食道接合部からバレット粘膜ないしはバレット食道の存在を判定するバレット判定手段と、
を備えたことを特徴とするバレット検出装置。 ２８．食道内の粘膜表面を撮像した医用画像から上皮境界と胃食道接合部とを検出する処理を行う上皮境界＆胃食道接合部検出ステップと、
検出された前記上皮境界及び胃食道接合部からバレット粘膜ないしはバレット食道の存在の判定処理をするバレット判定処理ステップと、
を備えたことを特徴とするバレット検出方法。
【０１０５】
（付記２７、２８の背景）
従来、バレット食道或いはバレット粘膜の判定を行う有効な装置或いは方法が無かった。
このため、バレット食道或いはバレット粘膜の判定を行う有効な装置或いは方法を提供することを目的として、付記２７、２８の構成にした。 （付記２７、２８の効果）
胃と食道との境界の胃食道接合部と、上皮境界の検出を行い、これらの検出結果からバレット食道或いはバレット粘膜の判定を適切に行うことができる。
【産業上の利用可能性】
【０１０６】
食道内部等を撮像した多量の内視鏡の画像データから食道バレット等の場合の性状を判定するためにその部位周辺部の胃食道接合部、上皮境界等の第１の特徴を検出する処理を、その存在が判定されるまで順次フレーム番号を変えて繰り返し、その特徴を有すると判定された画像からそれ以降の画像に対しては判定対象となる食道バレット等の第２の特徴を検出する検出処理に移行する。このような処理を行うことにより、最初から第２の特徴の検出処理及びその判定処理を行う場合よりも効率的な処理を行えるようにした。
【符号の説明】
【０１０７】
１…内視鏡システム
２…内視鏡観察装置
３…画像処理装置
４…モニタ
６…内視鏡
７…光源装置
８…ＣＣＵ
１１…挿入部
１４…先端部
１６…ＣＣＤ
１７…撮像装置
２１…画像入力部
２２…ＣＰＵ
２２ａ…幾何学的画像変換手段
２２ｂ…展開図出力手段
２２ｃ…上皮境界検出手段
２２ｄ…上皮境界解析手段
２３…処理プログラム記憶部
２４…画像記憶部
２５…解析情報記憶部
２７…ハードディスク
２８…表示処理部
２９…入力操作部
３３…食道
３４…上皮境界
３５…胃食道接合部
３６…胃
３７…噴門
３８…柵状血管
３９…上皮境界
４１…画像抽出ブロック
４２…画像解析ブロック
４３…表示処理ブロック
４４…上皮境界検出ブロック
４５…胃食道接合部検出ブロック
４６…バレット食道判定ブロック
４７…噴門検出ブロック
【技術分野】
【０００１】
本発明は、生体に対する多量の画像データから注目する性状の判定を効率良く行う柵状欠陥検出装置および柵状血管検出方法に関する。
【背景技術】
【０００２】
従来より、内視鏡を用いた内視鏡検査においては、内視鏡装置或いは内視鏡観察装置により撮像された生体内の画像データは、ＣＲＴなどの表示装置上に即時表示されるとともに、外部に動画像データとして蓄積され、医師は検査中または検査後に動画像または動画像内のフレーム画像を静止画像として閲覧して診断を行う場合が一般的に行われる。
【０００３】
また近年、飲み込み型のカプセル内視鏡が使用される状況にある。
【０００４】
例えば、特開２００４−６４５号公報に開示されているように、カプセル内視鏡によって体内で撮像された画像データは、順次無線通信により外部に動画像データとして蓄積され、医師は動画または動画像内のフレーム画像を静止画像として閲覧して診断を行う。
【０００５】
また、特開２００４−１８８０２６号公報に開示されているように、静止画像に対して画像解析処理を適用し、その解析結果を内視鏡画像上または別の表示領域上に表示する装置がある。
【０００６】
この画像解析結果を利用することにより、医師は主観によらない、ＩＨｂ、血管解析などの画像解析値という客観的な判定基準の下に診断を下すことが可能となる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００４−６４５号公報
【特許文献２】特開２００４−１８８０２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかし医師による内視鏡検査後の動画像の閲覧またはカプセル内視鏡による動画像の閲覧において、動画像に含まれるフレーム画像の枚数は膨大であるため、病変として疑わしき部位の撮像個所を動画像の中から見つけ出すとともに、その個所のフレーム画像を１枚１枚抽出して画像解析処理を適用し、各々の画像解析結果を下にして診断を下すことは、非常に労力を必要とする作業となる。
【０００９】
このような問題に対して、前記の静止画像に対する画像解析装置を応用し、動画像に含まれる全てのフレーム画像に対して、一括して同一の画像解析処理を適用し、その結果を記憶するシステムを実現することは可能である。
【００１０】
しかし、全てのフレーム画像に対して一括して同一の画像解析処理を適用するため、処理時間が増大し、処理結果を得るまでに長時間待たなければならない。また、パラメータを変更して画像解析処理を適用するような場合にも、適切な処理結果を得るまでに長時間かかる。また、適切な解析処理結果を得るまでに記憶することが必要となるデータ量も増大する欠点がある。
【００１１】
また、内視鏡装置による食道検査のスクリーニングにおいては、バレット粘膜或いはバレット食道の有無などが調べられる。バレット粘膜は、食道と胃の接続部としての胃食道接合部において、逆流性食道炎等の影響により食道を形成する扁平上皮が胃の粘膜に置換されたもので、円柱上皮とも呼ばれる。このバレット粘膜が正常な粘膜境界から３ｃｍ以上、食道管腔断面に対して全周性に生じた場合にバレット食道という疾患として診断される。
【００１２】
バレット食道は、特に欧米人において増加しており、高い確率で腺癌が発生することから大きな問題となっているため、バレット粘膜の早期発見が非常に重要なものとなっている。
【００１３】
このため、バレット食道やバレット粘膜等の生体特徴量を客観的に判定して、術者にその判定結果を提供できる医用画像処理装置が望まれる状況にある。
【００１４】
（発明の目的）
本発明は、上述した点に鑑みてなされたもので、動画データ等の多量の画像データからバレット食道等の注目する性状の判定を効率良く行うことができる柵状欠陥検出装置および柵状血管検出方法を提供することを目的とする。
【課題を解決するための手段】
【００１５】
本発明の柵状血管検出装置は、食道内の粘膜表面を撮像した医用画像から線構造を抽出する線構造抽出手段と、前記線構造の持つ形状特徴量から胃側となる各終端を算出する終端算出手段と、前記形状特徴量から抽出された線構造が柵状血管であるか否かを判定する柵状血管判定手段と、を具備することを特徴とする。
【００１６】
本発明の柵状血管検出方法は、生体粘膜表面を撮像した医用画像を入力する第１のステップと、前記医用画像から線構造を抽出する第２のステップと、前記線構造の持つ形状特徴量を算出する第３のステップと、前記形状特徴量から粘膜構造が柵状血管であるか否かを判定する第４のステップと、を具備することを特徴とする。
【発明の効果】
【００１７】
本発明によれば、多量の画像データの場合にもバレット食道等の注目する性状の判定を効率良く行うことができる。
【図面の簡単な説明】
【００１８】
【図１】図１は本発明の実施例１を備えた内視鏡システムの全体構成を示すブロック図。
【図２】図２は内視鏡の経口的な挿入により内視鏡検査される上部消化管の各部を模式的に示す図。
【図３】図３は食道と胃の境界付近を撮像した内視鏡画像の例を示す図。
【図４】図４は本実施例の画像処理装置の主要部の機能的な構成を示す図。
【図５】図５は画像記憶部に記憶される動画像データがそれぞれ静止画像データの集まりとして記憶されていることを示す図。
【図６】図６は解析情報記憶部に格納される解析結果や処理プログラム記憶部に格納される情報等を示す図。
【図７】図７は内視鏡画像と共に解析結果を表示したモニタ表示例を示す図。
【図８】図８は本実施例によるバレット食道の性状判定を行う処理手順のフローチャート図。
【図９】図９は胃食道接合部の検出処理を行う処理手順を使用或いは生成される画像等の情報と共に示すフローチャート図。
【図１０】図１０は柵状血管端点境界等を示す図。
【図１１】図１１は図９における柵状血管抽出処理の詳細を示すフローチャート図。
【図１２】図１２は図１１の処理を行う際の動作説明用の画像例を示す図。
【図１３】図１３は図１０におけるバレット粘膜判定処理の詳細を示すフローチャート図。
【図１４】図１４は図９の変形例のフローチャート図。
【図１５】図１５は図１４等の動作説明に用いる画像例を示す図。
【図１６】図１６は図１４におけるバレット粘膜判定処理の詳細を示すフローチャート図。
【図１７】図１７は本発明の実施例２の画像処理装置の主要部の機能的な構成を示す図。
【図１８】図１８は本実施例によるバレット食道の性状判定を行う処理手順のフローチャート図。
【図１９】図１９は噴門検出処理を行う処理手順を使用或いは生成される画像等の情報と共に示すフローチャート図。
【図２０】図２０は図１９の動作説明図。
【図２１】図２１は図１９の集中度算出処理の詳細を示すフローチャート図。
【図２２】図２２は図１９の閉口噴門判定処理を示すフローチャート図。
【図２３】図２３は変形例における噴門検出処理を行う処理手順を使用或いは生成される画像等の情報と共に示すフローチャート図。
【図２４】図２４は図２３及び図２５の動作説明図。
【図２５】図２３におけるエッジ成分生成角度算出処理の詳細を示すフローチャート図。
【図２６】図２６は図２３の開口噴門判定処理を示すフローチャート図。
【図２７】図２７は本発明の実施例２の画像処理装置の主要部の機能的な構成を示す図。
【図２８】図２８は本実施例によるバレット食道の性状判定を行う処理手順のフローチャート図。
【図２９】図２９は変形例によるバレット食道の性状判定を行う処理手順のフローチャート図。
【発明を実施するための最良の形態】
【００１９】
以下、図面を参照して本発明の実施例を説明する。
【実施例１】
【００２０】
図１から図１６は本発明の実施例１に係り、図１は本発明の実施例１を備えた内視鏡システムの全体構成を示し、図２は内視鏡の経口的な挿入により内視鏡検査される上部消化管の各部を模式的に示し、図３は食道と胃の境界付近を撮像した内視鏡画像の例を示し、図４は本実施例における画像処理装置の機能的な構成を示し、図５は画像記憶部に記憶される動画像データがそれぞれ静止画像データの集まりとして記憶されていることを示す。
【００２１】
図６は解析情報記憶部に格納される解析結果や処理プログラム記憶部に格納される情報等を示し、図７は、内視鏡画像と共に解析結果を表示したモニタ表示例を示し、図８は本実施例によるバレット食道の性状判定を行う処理手順のフローチャートを示し、図９は胃食道接合部の検出処理を行う処理手順を使用或いは生成される画像等の情報とともに示す。
【００２２】
図１０は柵状血管端点境界等を示し、図１１は図９における柵状血管抽出処理のフローチャートを示し、図１２は図１１の処理を行う際の動作説明用の画像例を示し、図１３は図１０におけるバレット粘膜判定処理のフローチャートを示し、図１４は図９の変形例のフローチャートを示し、図１５は図１４等の動作説明に用いる画像例を示し、図１６は図１４におけるバレット粘膜判定処理のフローチャートを示す。
図１に示す内視鏡システム１は、内視鏡観察装置２と、この内視鏡観察装置２により得られた画像に対して画像処理を行うパーソナルコンピュータ等により構成される医用画像処理装置（以下、単に画像処理装置と略記）３と、この画像処理装置３により画像処理された画像を表示するモニタ４とから構成される。
【００２３】
内視鏡観察装置２は、体腔内に挿入され、体内を撮像する体内撮像装置を形成する内視鏡６と、この内視鏡６に照明光を供給する光源装置７と、内視鏡６の撮像手段に対する信号処理を行うカメラコントロールユニット（ＣＣＵと略記）８と、このＣＣＵ８から出力される映像信号が入力されることにより、撮像素子で撮像した内視鏡画像を表示するモニタ９とを有する。
内視鏡６は、体腔内に挿入される挿入部１１とこの挿入部１１の後端に設けられた操作部１２とを有する。また挿入部１１内には照明光を伝送するライトガイド１３が挿通されている。
【００２４】
このライトガイド１３の後端は、光源装置７に接続される。そして、この光源装置７から供給される照明光をライトガイド１３により伝送し、挿入部１１の先端部１４に設けた照明窓に取り付けられた先端面から（伝送した照明光を）出射し、患部等の被写体を照明する。
照明窓に隣接する観察窓に取り付けた対物レンズ１５と、この対物レンズ１５の結像位置に配置された固体撮像素子しての例えば電荷結合素子（ＣＣＤと略記）１６とにより撮像装置１７が設けてある。そして、このＣＣＤ１６の撮像面に結像された光学像は、このＣＣＤ１６により光電変換される。
このＣＣＤ１６は、信号線を介してＣＣＵ８と接続され、このＣＣＵ８からのＣＣＤ駆動信号が印加されることにより、ＣＣＤ１６は光電変換した画像信号を出力する。この画像信号は、ＣＣＵ８内の映像処理回路により信号処理され、映像信号に変換される。この映像信号はモニタ９に出力され、モニタ９の表示面には、内視鏡画像が表示される。この映像信号は、画像処理装置３にも入力される。
【００２５】
本実施例では、内視鏡６は、口部からその挿入部１１の先端部１４が挿入され、食道から胃の境界付近まで挿入されて、その境界付近に検出対象粘膜となる食道の通常の粘膜（具体的には扁平上皮）が変性して胃の粘膜部分の性状を呈するようになった粘膜としてのバレット粘膜が存在するか否かの内視鏡検査を行うような場合に使用される。
この場合、体内の生体粘膜表面を撮像した内視鏡画像に対応する映像信号は、画像処理装置３にも入力され、その映像信号に対して以下に説明するような画像処理方法により、バレット粘膜の存在或いはバレット食道という疾患に達した状態であるか否かの検出（判定）処理を行う。
【００２６】
この画像処理装置３は、内視鏡観察装置２から入力される内視鏡画像に対応する映像信号が入力される画像入力部２１と、この画像入力部２１から入力された画像データに対する画像処理を行う中央演算処理装置としてのＣＰＵ２２と、このＣＰＵ２２により画像処理を実行させる処理プログラム（制御プログラム）を記憶する処理プログラム記憶部２３とを有する。
また、この画像処理装置３は、画像入力部２１から入力される画像データ等を記憶する画像記憶部２４と、ＣＰＵ２２により処理された解析情報等を記憶する解析情報記憶部２５と、ＣＰＵ２２により処理された画像データ及び解析情報等を記憶装置インタフェース２６を介して記憶する記憶装置としてのハードディスク２７と、ＣＰＵ２２により処理された画像データ等を表示するための表示処理を行う表示処理部２８と、ユーザが画像処理のパラメータ等のデータ入力や指示操作を行うキーボードなどからなる入力操作部２９とを有する。
【００２７】
そして、この表示処理部２８により生成された映像信号は、表示モニタ４に出力され、この表示モニタ４の表示面には画像処理された処理画像が表示される。なお、画像入力部２１、ＣＰＵ２２、処理プログラム記憶部２３、画像記憶部２４、解析情報記憶部２５、記憶装置インタフェース２６、表示処理部２８、入力操作部２９は、データバス３０を介して互いに接続されている。
本実施例では検査あるいは診断対象部位として、食道と胃の接合部周辺部であり、内視鏡６により得られた画像に対して画像解析を行うことにより、この周辺部にバレット食道の可能性の部位が存在するかの性状判定を行う。
【００２８】
このため、内視鏡６の挿入部１１をその先端側から患者の口内に挿入して撮像を行う。図２は、内視鏡６を患者の体腔内に経口的に挿入した際に、内視鏡先端が位置する体腔部位を表す図である。内視鏡６の先端部１４は、口３１内に挿入されることにより、食道入口３２から食道３３内に進入し、その途中で上皮境界３４、胃食道接合部３５を経て胃３６側に進み、さらに噴門３７を経て胃３６内部に至る。
内視鏡６を挿入する操作を行うことにより、上記の順に撮像された動画像データが取得される。このようにして取得された動画像データは、画像記憶部２４に記憶され、その動画像データを構成する静止画像のフレーム画像に対して画像解析を行う。
図３は、食道３３と胃３６の境界近辺において撮像される内視鏡画像の概略図である。この内視鏡画像において、噴門３７は、胃内部への入口であって開閉する。
この噴門３７の外側に略放射状に走行する柵状血管３８は、食道３３側のみに存在し、食道３３の管腔に沿って縦に伸びる血管である。
【００２９】
また、食道３３側の粘膜組織と胃３６側の粘膜組織の境界としての上皮境界（一点鎖線で図示）３９から噴門へは赤みの強い粘膜色調であり（分布する上皮は円柱上皮と呼ばれる）、その逆方向は白味のかった粘膜色調である（分布する上皮は扁平上皮と呼ばれる）ことから、内視鏡観察によって上皮境界を判別することが可能である。
柵状血管３８の端点を結んだ線（破線で図示）は、内視鏡観察では容易には識別しにくい境界線であり（実際に線が存在するわけではない）、これは胃食道接合部３５と呼ばれ、胃３６と食道３３の組織上の境界となる。
正常な場合には、上皮境界３９は胃食道接合部３５付近にあるが、逆流性食道炎等の影響により食道３３を形成する扁平上皮が胃３６の粘膜（円柱上皮或いはバレット粘膜）に置換されると、この上皮境界３９が食道３３側にせり上がる。
【００３０】
そして、このバレット粘膜が正常な粘膜境界から３ｃｍ以上、食道管腔断面に対して全周性に生じた場合にバレット食道という疾患と診断される。
図４は、画像処理装置３の主要部における機能的な構成を示す。
内視鏡６により撮像されて画像処理装置３に入力された動画の画像データは、画像記憶（画像記録）手段としての画像記憶部２４に動画像データＶｍ１，Ｖｍ２、…等のようにして記憶される。
この場合、動画像データＶｍ１、Ｖｍ２、…は、静止画像を経時的に蓄積したデータ構造である。このため、各動画像データＶｍ１、Ｖｍ２、…は、例えば図５に示すようにフレーム番号が０、１、…、ＭＡＸ＿ＣＯＵＮＴの静止画像データＶｓ０、Ｖｓ１、…、ＶｓＭ（ここで、Ｍ＝ＭＡＸ＿ＣＯＵＮＴ）のように割り当てられて画像記憶部２４に記憶されている。
【００３１】
また、同時に画像記憶部２４に記憶されたフレーム時間も記憶される。なお、静止画像データは、ＪＰＧ等による圧縮した画像データで記憶しても良い。
そして、画像処理が開始すると、画像記憶部２４から読み出された例えば動画像データＶｍ１における指定されたフレーム番号の範囲の静止画像データが、ＣＰＵ２２及び処理プログラムにより、ソフトウェアで構成される画像抽出ブロック４１に抽出される。
そして、抽出された各静止画像データが順次、画像解析ブロック４２と表示処理ブロック４３とに送られる。
画像解析ブロック４２は、上皮境界を検出する上皮境界検出ブロック４４と、胃食道接合部を検出する胃食道接合部検出ブロック４５と、バレット食道か否かを判定するバレット食道判定ブロック４６とを備えている。
【００３２】
上皮境界検出ブロック４４は、例えば、画像中の粘膜色調の相違をエッジとして検出することにより、画像内に存在する上皮境界線を点列として検出する。
胃食道接合部検出ブロック４５は、例えば、柵状血管の端点を結んだ線を点列として検出する（その検出方法の詳細は、後述する）。
バレット食道判定ブロック４６は、上皮境界の形状、扁平上皮の縞状残存、上皮境界の胃食道接合部との距離、距離の標準偏差、距離の最大値・最小値などの特徴量を算出し、撮像された対象部位がバレット食道であるか否かを判定する。
このバレット食道判定ブロック４６により判定された判定結果の情報は、解析情報記憶部２５に記憶されると共に、表示処理ブロック４３に送られ、画像抽出ブロック４１を経てモニタ４に表示される静止画像中に、画像解析ブロック４２による解析による判定結果の情報が表示される。
【００３３】
図６（Ａ）は、解析情報記憶部２５に記憶される解析結果の例を示し、図６（Ｂ）は、処理プログラム記憶部２３により解析処理を行う際に使用されたり、或いは設定される情報例を示す。
また、図７は、モニタ４に判定結果の情報を、その解析が行われた静止画像中に表示した表示例を示す。
本実施例では、図８を参照して説明するように、動画像データからバレット食道を含む静止画像データがあるか否かの性状判定する場合、バレット食道の性状判定を行おうとする判定対象部位を撮像した画像よりも時間的に前或いは後（略同時の場合もある）に撮像された第１の特徴（量）を備えた基準部位（本実施例では胃食道接合部）を撮像しているか否かの判定処理を行う。
【００３４】
そして、その判定処理によりその基準部位を撮像していると判定した場合に、そのフレームより後方側或いは前方側のフレームの静止画像に対して第２の特徴（量）（本実施例では上皮境界の特徴）を検出し、第２の特徴の検出結果に基づき、バレット食道の判定を行うような画像処理手錠とすることにより、性状判定対象となるバレット食道の性状判定を効率良く行うようにしていることが特徴となっている。
このような画像解析処理を行うことにより、第１の特徴を備えていない画像に対しては、第２の特徴を検出する処理等を省くことができるようにして、目的とする性状判定対象に対する性状判定結果を短時間に効率良く得られるようにして、多量の画像データの場合にも対応できるようにしている。
次に本実施例の画像処理装置３による動作を図８のフローチャートを参照して説明する。
【００３５】
処理プログラムに沿った処理を行うＣＰＵ２２に対して、ユーザは入力操作部２９から動画像データのファイル名を指定すると、ＣＰＵ２２は、指定された動画像データの最大フレーム数を画像記憶部２４から読み出して、図６（Ｂ）に示すように最大フレーム数を表すパラメータＭＡＸ＿ＣＯＵＮＴに代入し、処理プログラムに沿った処理をスタートする。
最初のステップＳ１において、ＣＰＵ２２は、フレーム番号変数ＣＯＵＮＴの初期設定、つまりＣＯＵＮＴ＝０に設定する。
次のステップＳ２においてＣＰＵ２２は、フレーム番号変数ＣＯＵＮＴとＭＡＸ＿ＣＯＵＮＴとを比較し、ＣＯＵＮＴ＞ ＭＡＸ＿ＣＯＵＮＴであればこの処理を終了する。
【００３６】
このステップＳ２の判定が逆の場合、つまり、ＣＯＵＮＴ≦ ＭＡＸ＿ＣＯＵＮＴの場合には、ステップＳ３に進み、このステップＳ３において画像抽出ブロック４１は、フレーム番号＝ＣＯＵＮＴの画像を抽出する。
そして次のステップＳ４において胃食道接合部検出ブロック４５は、そのフレーム番号の画像から第１の特徴を検出する処理として、本実施例では胃食道接合部検出の処理を行う。
検出処理の結果、胃食道接合部３５を示す線の点列が得られるか否かにより、ステップＳ５に示すように胃食道接合部３５が存在するか否かの判定を行う。
そして、このステップＳ５において、胃食道接合部３５が存在しないと判定した場合には、次のステップＳ６に進み、フレーム番号変数ＣＯＵＮＴの値を１つ加算してステップＳ２に戻り、ステップＳ２からステップＳ６の処理を繰り返す。
【００３７】
一方、ステップＳ５において、胃食道接合部３５が存在すると判定した場合には、ステップＳ７の第２の特徴を検出して、その検出結果に基づいて性状判定対象となるバレット食道か否かの性状判定処理側の処理に移る。
このステップＳ７において、バレット食道の判定処理を開始するために、変数Ｎの設定、具体的には変数Ｎ＝０の設定をする。
そして次のステップＳ８において、所定の定数ＭＡＸ＿Ｎ、より具体的にはバレット食道か否かの判定処理を行おうとする最大のフレーム番号とを比較する。そして、比較結果がＮ＞ＭＡＸ＿Ｎであれば、この処理を終了する。本実施例では、このように予め設定された最大のフレーム番号より後のフレーム番号のものに対してはバレット食道か否かの判定を行わないようにしている。
【００３８】
一方、ステップＳ８の比較結果が逆の場合、つまり、Ｎ≦ＭＡＸ＿Ｎの場合には、ステップＳ９に進み、このステップＳ９において画像抽出ブロック４１は、フレーム番号＝ＣＯＵＮＴ＋Ｎの画像を抽出する。すなわち、胃食道接合部３５を検出した画像から時間的にＮフレーム経過した画像を抽出する（この時点では、Ｎは初期設定された０の状態であるため、最初は胃食道接合部３５が検出された画像からバレット食道の判定処理を行うようになり、以後の処理から分かるように時間的に後に撮像された画像に対して順次バレット食道か否かの判定処理が行われることになる）。
そして、ステップＳ１０において胃食道接合部検出ブロック４５は、そのフレーム番号の画像から胃食道接合部３５の検出処理を行う。
【００３９】
そして次のステップＳ１１において、上皮境界検出ブロック４４は、そのフレーム番号の画像から第２の特徴の検出処理としての上皮境界３４の検出処理を行う。なお、上皮境界３４を検出する処理は、例えば特願２００４−３６０３１９号における図４のステップＳ１からＳ４までの処理により上皮境界３４を検出する。食道側の扁平上皮と胃側の円柱上皮とは、上述したように色調が異なるので、内視鏡画像データに対してエッジ処理、細線化処理を行った後、生成された境界の点列を結ぶことにより、上皮境界３４を算出（検出）することができる。
次のステップＳ１２においてバレット食道判定ブロック４６は、ステップＳ１０において検出した胃食道接合部３５を示す線の点列と、ステップＳ１１において検出した上皮境界３４を示す線の点列とを使用して、撮像された画像中の性状判定対象となる部位がバレット食道であるか否かを判定する。
【００４０】
具体的には、後述する図１３のバレット粘膜の判定処理の所で説明する処理により、バレット食道か否かを判定することができる。
そして、このバレット食道判定ブロック４６は、ステップＳ１３においてバレット食道か否かの判定結果とフレーム番号を表示処理ブロック４３に渡す。表示処理ブロック４３は、指定されたフレーム番号の示す画像データを、その内部の図示しないバッファ内から抽出し、その画像データ上に判定結果を重畳する。そして、その画像データは、モニタ４に送られ、表示面にその画像が判定結果と共に表示される。
例えばバレット食道と判定した場合には、図６（Ｂ）に示すように、この判定対象の画像中に、例えば”バレット食道の疑いあり”と表示する。
このステップＳ１３の処理の後、次のステップＳ１４において変数Ｎが、１つ増大された後、ステップＳ８に戻る。そして、ステップＳ８からステップＳ１４までの処理が繰り返される。このようにして、変数Ｎがその最大値ＭＡＸ＿Ｎを超えるとこの処理を終了する。
【００４１】
このような構成及び処理を行う本実施例によれば、撮像された内視鏡画像の動画データを構成する解析対象となる静止画データに対して、バレット食道か否かの画像解析を行う場合、バレット食道の判定を行う部位の周辺部に存在する柵状血管の端点となる胃食道接合部３５の特徴を有する画像を検出する処理を撮像順に行う。そして、その処理によりその特徴を有する画像以降の画像に対してバレット食道の性状判定に必要となる上皮境界３４の特徴の検出処理及びその検出結果と胃食道接合部３５との位置関係等からバレット食道か否かを判定するようにしているので、効率良くバレット食道等か否かを判定することができる。
また、以下で説明するようにバレット食道とそのバレット食道の疾患に至る前症状としてのバレット粘膜（バレット上皮）の判定も行うことができるので、早期治療等に適した判定を行うことができる。
【００４２】
また、本実施例では、バレット食道か否かの性状判定を行う最大フレーム番号を予め設定して、その最大フレーム番号より後のフレーム番号の画像に対しては、バレット食道か否かの性状判定を行わないようにしているので、バレット食道か否かの性状判定を行う必要のない画像に対して時間を費やすことを防止することもできる。
つまり、図２に示すように食道３３内を口３１側から順次撮像し、胃３６の内部、つまり噴門３７の内部まで撮像したような場合には、胃内部側の画像に対してはバレット食道か否かの性状判定を行う必要のない画像となる。このような場合には、その画像のフレーム番号をＭＡＸ＿Ｎと設定しておくことにより、バレット食道か否かの性状判定を行わないようにすることができる。
【００４３】
次に胃食道接合部３５の検出処理を図９から図１３を参照して説明する。なお、以下では、胃食道接合部３５を検出した後、さらに上皮境界３４の検出及びバレット粘膜判定処理まで行う画像解析処理の場合で説明する。この画像解析処理は、バレット粘膜か否かを適切に判定する装置及び方法を提供することを目的とし、このような画像解析処理を行うことにより、バレット粘膜か否かを適切に判定することができる。
この場合の処理手順及び生成されるデータなどを図９に示す。図９における左側が処理内容を示し、その右側の枠内が使用されたり、生成される画像等の情報を示す。
【００４４】
画像解析の処理がスタートすると、最初のステップＳ２１において、処理対象画像に対してエッジ抽出処理が行われる。このエッジ抽出処理は、例えばＲＧＢ画像におけるＧの色成分画像に対してバンドパスフィルタを適用することによりエッジ画像を生成する。
バンドパスフィルタによるエッジ抽出手法は公知の技術である。また、処理対象画像より、輝度成分を用いてエッジ画像を生成しても良い。血管のエッジだけでなく他の形状（輪郭）のエッジが抽出される場合、処理対象画像のＲ成分に対してバンドパスフィルタを適用して抽出される形状のエッジを除外すると、血管のエッジのみを抽出することができる。
なお、図８のステップＳ４の胃食道検出処理に該当する処理部分は、図９におけるステップＳ２１からステップＳ２６までを用いる。
【００４５】
図９における次のステップＳ２２において、エッジ画像に対して２値化処理を行い、２値化画像を生成する。本実施例における２値化処理は、エッジ画像の各画素の画素値と規定の閾値との大小比較により、２値化画像の各画素を０または１に決定する。
次のステップＳ２３において、２値化画像に対して公知の細線化手法を適用して、細線化処理して細線化画像を生成する。
次のステップＳ２４において、この細線化画像に対して、食道３３に特有な柵状血管を抽出する柵状血管抽出処理を行い、抽出した柵状血管情報を保存する。この処理のフローチャートを図１１に示す（この説明は後述）。
【００４６】
次のステップＳ２５において、上記柵状血管抽出処理において保存した柵状血管の端点座標を取得し、端点座標点列を線分で結ぶ境界線生成処理を行い、境界線情報を生成（取得）する。この処理により生成される境界線情報、より具体的には柵状血管端点境界を図１０（Ａ）に示す。
次のステップＳ２６において、上記境界線画像生成処理により取得した境界線情報（柵状血管端点境界）と、あらかじめ取得しておいた暗部と上皮境界３４とを含む画像を生成する。この画像を図１０（Ｂ）に示す。
次のステップＳ２７において、あらかじめ取得しておいた扁平上皮と円柱上皮の上皮境界３４との位置関係から、バレット食道ないしはバレット粘膜であるか否かを判定するバレット食道判定処理を行う。その処理の詳細は、図１３を参照して後述する。
【００４７】
このようにして、バレット食道ないしはバレット粘膜の判定を行い、その判定結果を表示してこの処理を終了する。
次に図１１を参照して、図９のステップＳ２４の柵状血管抽出処理を説明する。
この柵状血管抽出処理がスタートすると、最初のステップＳ３１において、細線化画像から未処理の線分を取得する。その場合の画像例を図１２（Ａ）に示す。
次のステップＳ３２において、線分の画素数を線分長Ｌとして算出する。そして、次のステップＳ３３において、算出した線分長Ｌを所定の閾値ｔｈｒｅ１と比較してその大小を判定する。この判定処理において、Ｌ＞ｔｈｅｒ１であれば次のステップＳ３４に進み、Ｌ≦ｔｈｅｒ１であればその線分は柵状血管ではないと判定してステップＳ４１に移る。本実施例においては、例えばｔｈｅｒ１＝５０としている。
【００４８】
ステップＳ３４において線分の分岐・交差点数Ｃ、屈折点数Ｂを算出し、ステップＳ３５において所定の閾値εとの大小を判定する。Ｃ≦ＣｔｈかつＢ＜εであれば次のステップＳ３６に進み、Ｃ＞ＣｔｈまたはＢ≧εであればその線分は、抽出対象とする柵状血管ではなく、樹枝状血管と判定してステップＳ４１に移る。本実施例においてはＣｔｈ＝０，ε＝３とした。
【００４９】
ステップＳ３６において線分の２端点のうち、あらかじめ取得しておいた画像暗部により近い方の端点を取得し、ステップＳ３７において端点と暗部中心を結ぶベクトルｖを算出する。
次のステップＳ３８においてベクトルｖと、線分終点及び始点とを結んだ直線の成す角θを算出する。そして次のステップＳ３９において、算出した角θと所定の閾値ｔｈｒｅ２との大小を判定する。
【００５０】
そしてステップＳ３９の判定処理において、θ＜ｔｈｒｅ２（例えば図１２（Ｂ）におけるθ１）であれば次のステップＳ４０に進み、逆にθ≧ｔｈｒｅ２（例えば図１２（Ｂ）におけるθ２）であればその線分は、柵状血管ではないと判定してステップＳ４１に移る。本実施例においてはｔｈｒｅ２＝４５°とした。
ステップＳ４０においてステップＳ３１にて抽出した線分に対して、ステップＳ３９の判定条件を満たすものを柵状血管と判定し、柵状血管情報としてその線分に関する情報（前述の線分長Ｌ、線分の分岐・交差点数Ｃ、屈折点数Ｂ、線分の座標点列、端点の座標、角θ）を保存する。このようにして、図１２（Ｃ）に示すように柵状血管を抽出することができる。
【００５１】
なお、ステップＳ４１において、未処理の線分の有無を判定し、未処理線分があればステップＳ３１へのループ処理を実施し、未処理の線分がなければこの処理を終了する。
なお、ステップＳ３６〜ステップＳ３９において、マッチドフィルタを用いて暗部方向に伸びる血管のみを抽出しても良い。
次に図１３を参照して、図９のステップＳ２８のバレット粘膜判定処理を説明する。 ステップＳ５１において、前述の境界線画像生成処理により生成した境界線画像を取得する。これは図１０（Ｂ）となる。
次のステップＳ５２において、この画像全体を所定の本数、つまりＮ本の放射線で分割する。例えばＮ＝８として分割した場合を図１０（Ｃ）で示している。
次のステップＳ５３において、ｉ本目の放射線［ｉ］を示す変数ｉを初期値１に設定する。
【００５２】
そして、次のステップＳ５４において、ｉ本目の放射線［ｉ］と上皮境界３４が交わる点Ｐ１、ｉ本目の放射線［ｉ］と形成した境界が交わる点Ｐ２を算出する。点Ｐ１及び点Ｐ２を算出した画像を図１０（Ｃ）上に示している。
次のステップＳ５５において、点Ｐ１、及びＰ２間の距離Ｑ［ｉ］を算出する。
次のステップＳ５６において、すべての放射線について処理を行ったか否かを判定する。つまり、ｉが放射線数Ｎか否かを判定し、Ｎに達しない場合にはステップＳ５７においてｉを１つ増大した後、ステップＳ５４に戻り、同様の処理を実施し、すべての放射線について実施済みであればステップＳ５８に進む。
このようにして、全ての放射線、つまりＮ個において点Ｐ１−Ｐ２間の距離Ｑ［ｉ］を算出したら、ステップＳ５８において、そのＮ個の距離Ｑ［ｉ］を用いて分散σを算出する。
【００５３】
次のステップＳ５９において、分散σと所定の閾値ｔｈｒｅ３との大小を判定する。そして、σ＞ｔｈｒｅ３であればステップＳ６０に進み、逆にσ≦ｔｈｒｅ３であれば、その画像はバレット粘膜の所見ではないと判定してこの処理を終了する。本実施例においてはｔｈｒｅ３＝５とした。
ステップＳ６０において、ステップＳ５１において取得した画像に対して、ステップＳ５９の判定条件を満たす場合には、バレット粘膜の所見の画像であると判定し、その判定結果を表示や告知及び保存等してこの処理を終了する。
図９から図１３に示した処理に従ってバレット粘膜（バレット上皮）か否かを判定することにより、精度のよい判定を行うことができる。
【００５４】
つまり、このような処理においては、胃食道接合部３５と上皮境界３４とをそれぞれ検出して、その検出結果からバレット粘膜か否かを判定するようにしているので、適切かつ精度の良い判定を行うことができる。
なお、図１３の処理の一部を以下のように変更して、画像中における食道３３の半径（或いは直径）を算出（推定）し、その半径の値として既知の統計値を採用することにより、バレット粘膜からバレット食道を含めた定量的に近い判定を行うようにしても良い。
図１３における例えばステップＳ５５とＳ５６との間に暗部中央Ｏ−点Ｐ１（或いは暗部中央Ｏ−点Ｐ２）との距離（説明を明確にするためにＲ［ｉ］とする）も算出する処理を行う。
【００５５】
そして、ステップＳ５６の判定処理を経て全ての放射線［ｉ］に対して、点Ｐ１−Ｐ２間の距離Ｑ［ｉ］と共に、距離Ｒ［ｉ］も算出する。その後、図１３のステップＳ５８の距離Ｑ［ｉ］の分散σを算出する代わりに、上記距離Ｒ［ｉ］の平均値Ｒａｖを算出して、その平均値Ｒａｖｅを食道３３における上皮境界３４付近における半径の評価値（推定値）とする。
通常の成人或いは患者と体型が類似した人の場合の食道３３の統計上の半径値Ｒｓ（ｃｍ）を予めメモリ等に格納しておき、上記平均値Ｒａｖとして半径値Ｒｓを用いて上記点Ｐ１−Ｐ２間の距離Ｑ［ｉ］の平均値を評価する。
そして、その距離Ｑ［ｉ］の平均値が３．０ｃｍ以上か否かを判定して、３．０ｃｍ以上の場合にはバレット食道と判定する。
【００５６】
また、距離Ｑ［ｉ］の平均値が、例えば１．５ｃｍ程度の場合にはバレット粘膜がかなり進行した状態と判定する。また、距離Ｑ［ｉ］の平均値が、例えば０．５ｃｍ程度の場合のようにバレット粘膜化した初期症状が現れている等の判定を行うようにすることもできる。
このように本変形例によれば、定量的に近い状態でバレット食道か否かを判定できると共に、バレット粘膜の場合にもその症状の進行の程度を定量的に判定することができ、その判定結果を表示などすることにより、早期の治療を行い易くできるる。
また、図９によるバレット粘膜判定処理の代わりに、図１４に示す変形例のフローチャートのように行っても良い。
【００５７】
本変形例における前述の処理のフローチャートとの変更点は、図９におけるステップＳ２５の血管端点抽出処理、ステップＳ２６の境界線生成処理、ステップＳ２７の境界線画象生成処理に替わって、図１４に示すようにステップＳ６１の上皮境界柵状血管画像生成処理を行う。この処理により生成した上皮境界柵状血管画像を用いてステップＳ６２のバレット粘膜判定処理を行うようにしている。
ステップＳ６１の上皮境界柵状血管画像生成処理においては、上述した柵状血管抽出処理において取得した柵状血管と、あらかじめ取得しておいた暗部と上皮境界線を含む上皮境界柵状血管画像を図１５（Ａ）に示すように生成する。
そして次のステップ６２において、前のステップＳ６１で生成した上皮境界柵状血管画像を用いてバレット粘膜判定処理を行う。このバレット粘膜判定処理のフローチャートを図１６に示す。
【００５８】
図１６に示すように最初のステップＳ６３において、あらかじめ取得しておいた上皮境界３４、柵状血管を含む画像を取得する。
次のステップＳ６４において、上皮境界線と交差する柵状血管数Ｊを初期化、つまりＪ＝０に設定しておく。
次のステップＳ６５においてＱ本の柵状血管から処理対象血管を取得する。さらに次のステップＳ６６において、処理対象血管が上皮境界３４と交わるか否かを判定する。交わる場合は、次のステップＳ６７に進んで柵状血管数Ｊに１を加算し、交わらない場合はステップＳ６５の処理に戻り、次の処理対象血管を取得して同じ処理を繰り返す。
ステップＳ６７を行った後、次のステップＳ６８においてすべての柵状血管について処理を行ったか否かを判定し、未処理の柵状血管があればステップＳ６５に戻り、同じ処理を繰り返し、逆に全ての柵状血管について実施済みであれば、次のステップＳ６９に進む。
【００５９】
このようにして、上皮境界３４と交わる柵状血管数Ｊを算出した画像例を図１５（Ｂ）に示す。この図１５（Ｂ）の場合には、柵状血管の数Ｑが７で、その内６（＝Ｊ）本が上皮境界３４と交わっている。
ステップＳ６９において、Ｊ／Ｑと所定の閾値ｔｈｒｅ４との大小を判定する。そして、Ｊ／Ｑ＞ｔｈｒｅ４であれば次のステップＳ７０に進み、逆にＪ／Ｑ≦ｔｈｒｅ４であれば、その画像はバレット粘膜の所見ではないと判定してこの処理を終了する。本実施例においてはｔｈｒｅ４＝０．５としている。
ステップＳ７０において、ステップＳ６３において取得した画像がステップＳ６６及びステップＳ６９の判定条件を満たす場合にはバレット粘膜の所見の画像であると判定し、モニタ４に表示する等して、この処理を終了する。
【００６０】
本変形例では、上皮境界３４の内側に柵状血管の端点がどの程度存在するかによりバレット粘膜か否かを判定できる。
以上説明したように本実施例によれば、内視鏡画像の動画データを構成する多量の静止画データに対して、バレット食道か否かの解析を行う場合、バレット食道の判定を行う部位の周辺部に存在する第１の特徴部位としての柵状血管の胃側端点となる胃食道接合部３５の特徴を有する画像を検出する処理を行い、その処理により検出された画像の後の画像に対して、第２の特徴部位としての上皮境界３４の検出処理等を行って、バレット食道か否かを判定するようにしているので、効率良くバレット食道等か否かの性状判定することができる。従って、手作業による抽出作業の労力を軽減することができる効果が得られる。
【００６１】
また、上記のように最初にその特徴を検出される第１の特徴部位として設定されている胃食道接合部３５は、バレット食道の性状判定にも利用されるので、その特徴の検出が有効に利用できる。
また、バレット食道の疾患に至る前症状のバレット粘膜（バレット上皮）の判定も行うことができるので、早期治療等に適した判定を行うことができる。
また、バレット食道か否かの判定を行う必要のない画像に対してはその処理を行わないようにすることもできる。
なお、本実施例では動画データを使用して説明しているが、１検査において連続する複数の静止画データに対して適用してもよい（他の実施例等にも同様に適用できる）。
【実施例２】
【００６２】
次に本発明の実施例２を図１７から図２６を参照して説明する。上述した実施例１においては、バレット食道か否かの判定を行うために、最初に胃食道接合部３５の検出処理を行うことにより、胃食道接合部３５を含む画像を検出するようにしていた。
胃食道接合部３５の検出処理は、検出処理の負担が重いので、処理速度が遅くなり、処理速度の改善、検出速度の改善の余地がある。胃食道接合部３５の検出よりも処理速度を速くでき、検出精度が高いと見込まれる生体部位の検出処理として、噴門検出処理が考えられる。
本実施例では、この点に着目して処理速度等を向上するものである。
本実施例の画像処理装置のハードウェアの構成は実施例１と同様に図１を採用できる。また、本実施例の処理プログラムによりＣＰＵ２２により構成される機能的な構成を、図１７に示す。図１７に示す構成は、図４の構成にける画像解析ブロック４２内に、さらに噴門検出ブロック４７を備えた構成である。
【００６３】
本実施例による処理のフローチャートを図１８に示す。このフローチャートによりバレット食道の判定を行い、判定結果を表示等する。
上記噴門検出ブロック４７は、例えば、暗部の検出と、検出した暗部の形状及び暗部のエッジ近辺における明度変化の急峻の度合いから画像データ内に存在する噴門３７を検出する。その詳細は、図１９により後述する。
図１８に示す処理手順は、図８のフローチャートの処理手順において、ステップＳ４の胃食道接合部３５の検出処理の代わりに、ステップＳ４′の噴門３７の検出処理を行い、かつステップＳ４の後のステップＳ５の胃食道接合部３５の存在の判定処理の代わりにステップＳ５′の噴門３７の存在の判定処理を行う変更となっている。
【００６４】
また、図８の処理手順において、ステップＳ９のフレーム番号＝ＣＯＵＮＴ＋Ｎの画像を抽出する代わりに、図１８のステップＳ９′に示すようにフレーム画像＝ＣＯＵＮＴ−Ｎの画像を抽出する。
すなわち、実施例１においては、胃食道接合部３５は、バレット食道を判定する部位周辺部であるため、画像中にその部位が検出されるようになった状態から時間的に後の画像を調べることにより、その部位周辺部により接近した画像が得られるため、内視鏡６の先端部１４を挿入しながら撮像を行う場合の撮像条件に対応するものとなっていた。
これに対して、図２から分かるように、噴門３７は、胃食道接合部３５や上皮境界３４を通り過ぎ、胃内部に入る入り口となる部位であるため、この噴門検出がされた画像から時間的にＮフレーム分遡ったフレーム画像を抽出することになる。そして、この画像からより以前に撮像した画像に遡る向きで順次バレット食道か否かの判定を行う。
【００６５】
本実施例によれば、胃食道接合部３５の検出よりも検出処理の負担が軽い噴門３７を検出した後、その噴門３７が検出された画像に基づいてバレット食道の判定処理を行うようにしているので、バレット食道の判定をより短時間に行うことができるようになる。
従って、より効率良くバレット食道の判定処理側に移行でき、より短時間に実施例１と同様の効果を得ることができる。
【００６６】
次に図１９から図２２を参照して噴門３７の検出処理を説明する。図１９は閉じた場合の閉口噴門検出を行う処理フロ−を使用するデータ或いは生成されるデータと共に示す。
【００６７】
噴門３７の検出処理が開始すると、ステップＳ７１に示すように処理対象画像に対してエッジ検出処理を行い、エッジ画像を生成する。
このエッジ抽出処理は、本実施例では、Ｒの色成分画像に対してバンドパスフィルタを適用することによりエッジ画像を生成する。
バンドパスフィルタによるエッジ抽出手法は公知の技術である。また、処理対象画像より、輝度成分を用いてエッジ画像を生成しても良い。
【００６８】
次のステップＳ７２において、エッジ画像に対して２値化処理を行い、２値化画像を生成する。本実施例における２値化処理は、エッジ画像の各画素の画素値と規定の閾値との大小比較により、２値化画像の各画素を０または１に決定する。
次のステップＳ７３において、２値化画像に対して公知の細線化手法を適用して、細線化処理して細線化画像を生成する。生成された細線化画像例を図２０（Ａ）に示す。
次のステップＳ７４において、この細線化画像における全ての細線における分岐・交差点を算出する分岐・交差点算出処理を行う。図２０（Ｂ）は図２０（Ａ）の細線化画像に対して算出された分岐・交差点の例を示す。この図２０（Ｂ）では、分岐・交差点の数Ｈｃが５の場合を示している。
【００６９】
このステップＳ７４の分岐・交差点算出処理により算出された分岐・交差点の座標を分岐・交差点情報として保存する。
次のステップＳ７５において、上記分岐・交差点の座標値から分岐・交差点の集中度を算出する集中度算出処理を行い、集中度情報を算出する。
【００７０】
この集中度算出処理を図２１のフローチャートにより説明する。最初のステップＳ７７において、上述したＮｃ個の分岐・交差点の座標値を取得する。次のステップＳ７８において、Ｎｃ個の分岐・交差点のｘ座標値の分散σｘ、ｙ座標値の分散σｙとして、両分散σｘ、σｙを算出する。そして、次のステップＳ７９において、算出した両分散σｘ、σｙを集中度情報として保存してこの処理を終了する。
なお、この集中度算出処理における分散を求める代わりに、標準偏差、又は変動係数、又はＮｃ個の分岐・交差点の重心からの距離の平均値等を求め、それを集中度情報としても良い。
図１９に戻り、ステップＳ７５による集中度算出処理により算出された集中度情報を用いて、次のステップＳ７６において閉口噴門判定処理を行う。
【００７１】
この閉口噴門判定処理は図２２のステップＳ７６ａに示すように分岐・交差点数Ｎｃと集中度情報（σｘ、σｙ）とがそれぞれ所定の閾値ｔｈｒｅ＿Ｎとｔｈｒｅ＿ｘ、ｔｈｒｅ＿ｙとの大小関係をそれぞれ比較して判定を行う。
そして、ステップＳ７６ａにおけるＮｃ＞ｔｈｒｅ＿Ｎ、かつσｘ＜ｔｈｒｅ＿ｘ、かつσｙ＜ｔｈｒｅ＿ｙの条件を満たすと判定した場合には、ステップＳ７６ｂに示すように閉口噴門３７と判定する。一方、ステップＳ７６ａの条件を満たさないと判定した場合、つまりＮｃ≦ｔｈｒｅ＿Ｎ、或いはσｘ≧ｔｈｒｅ＿ｘ、或いはσｙ≧ｔｈｒｅ＿ｙとなる場合には、ステップＳ７６ｃに示すように閉口噴門３７でないと判定する。
このようにして噴門判定処理を行った後、図１９に示す噴門検出の処理を終了する。
このようにして噴門３７を検出することができる。
【００７２】
以上のべたように本実施例によれば、最初に噴門３７を検出する処理を行い、噴門３７が検出された場合には時間的にさかのぼる画像に対して判定対象となるバレット食道を判定する処理を行うようにしているので、多量の画像データの場合に対しても効率良くバレット食道の判定を行うことができる。
また、実施例１で説明したようにバレット食道の判定を行う場合、バレット粘膜の判定を行うこともでき、この判定により早期の治療を行うのに有効となる。
また、図２３は変形例における噴門検出のフローチャート処理を示す。
本変形例は、図１９に示した処理フローチャートにおいて、ステップＳ７４の分岐・交差点算出処理、及び次のステップＳ７５の集中度算出処理の代わりに開口噴門を検出することを目的としたステップＳ８１のエッジ成分生成角度算出処理を行い、このエッジ成分生成角度算出処理により算出された生成角度情報を基にステップＳ８２の開口噴門を検出（判定）する開口噴門判定処理を行うようにしている。
【００７３】
図２３に示す処理は、図１９におけるステップＳ７１からステップＳ７３までは同じである。
ステップＳ７１に示すように処理対象画像に対してエッジ抽出処理を行い、エッジ画像を生成し、さらにエッジ画像に対してステップＳ７２の２値化処理を行い、２値化画像を生成し、さらにステップＳ７３の細線化処理により図２４（Ａ）に示す細線化画像を生成する。
次に、暗部を含む画像に対して予め画像暗部を抽出するために暗部抽出の閾値を用いた暗部２値化処理を画像を、上記細線化処理で取得した細線化画像に重畳した図２４（Ｂ）に示す画像に対して、ステップＳ８１のエッジ成分生成角度算出処理を行い、大きなエッジ角度の生成角度情報を算出する。
【００７４】
そして、ステップＳ８２の開口噴門判定処理により開口噴門か否かの判定を行う。
図２５は、図２３のステップＳ８１のエッジ成分生成角度算出処理の詳細を示すフローチャートである。
最初のステップＳ８３において、画像中の暗部の特徴点を１点選択する。本実施例では、例えば暗部の重心点を算出している。
次のステップＳ８４において、この算出した重心点或いは中心点等の特徴点を中心として画像を、放射状の線により周方向に複数個、例えばＭ個の領域に分割する。
次のステップＳ８５において、上述した図２４（Ａ）に示す細線化画像における細線の内から、１本の線分ｉを抽出（取得）する。
【００７５】
次のステップＳ８６において、抽出した線分ｉが存在する角度θ［ｉ］を算出する。つまり、線分ｉが存在する領域数Ｎｉをカウントし、そのカウントにより線分ｉが存在する角度θ［ｉ］をθ［ｉ］＝Ｎｉ×（３６０／Ｍ）°より算出する。
このようにして算出した例を図２４（Ｃ）に示す。図２４（Ｃ）では線分ｉが０°の分割線の領域から２７０°の分割線の領域までの領域数Ｎｉが６の場合を示している。
次のステップＳ８７において、未処理の線分の有無を判定し、未処理の線分があればステップＳ８５に戻り、未処理の線分を取得して同様の処理を行う。
一方、未処理の線分が無い場合には、このエッジ成分生成角度算出の処理を終了する。
【００７６】
図２３に戻り、ステップＳ８１のエッジ成分生成角度算出処理により生成した角度θ［ｉ］の角度情報を用いて次のステップＳ８２の開口噴門判定処理により、開口する噴門か否かの判定を行う。
【００７７】
この開口噴門判定処理は、例えば図２６のステップＳ８２ａに示すように角度θ［ｉ］が所定の閾値ｔｈｒｅ５とで大小関係の判定をする。つまり、θ［ｉ］＞ｔｈｒｅ５の条件を満たすか否かの判定を行う。そして、θ［ｉ］＞ｔｈｒｅ５の条件を満たす場合には、ステップＳ８２ｂに示すように開口噴門のエッジであると判定し、逆にこの条件を満たさない場合には、開口噴門のエッジでないと判定する。このようにして、噴門を検出する処理を終了する。
このようにして開口する噴門を検出することができる。
そして、噴門を検出した画像からバレット食道を検出する処理を行うことにより、効率良くバレット食道などの判定を行うことができる。
【実施例３】
【００７８】
次に図２７から図２９を参照して本発明の実施例３を説明する。本実施例の画像処理装置のハードウェアの構成は実施例１と同様であり、図１を採用できる。また、本実施例における処理プログラムを実行するＣＰＵ２２により構成される主要部の機能的な構成を図２７に示す。図２７に示す構成は、図４の構成における画像解析ブロック４２内に、さらに処理継続判定ブロック４８を備えた構成である。
この処理継続判定ブロック４８は、上皮境界検出ブロック４４が検出した上皮境界線の点列の有無を判定し、判定結果に応じて画像解析ブロック４２の動作を制御する。
本実施例による処理手順のフローチャートを図２８に示す。このフローチャートによりバレット食道の判定を行い、その判定結果を表示等する。
【００７９】
図２８に示すフローチャートによる処理方法は、実施例１における図８の処理手順において、胃食道接合部３５を検出する処理の代わりに、より簡単な処理で検出することができる上皮境界３４を検出する処理を行う。
まず、上皮境界３４が検出される画像を検索し、上皮境界３４が検出される画像を検索できたらバレット食道の判定を行う処理側に移る。
以下、図２８のフローチャートを参照してその処理手順を説明する。なお、最初のステップＳ１からＳ３までは、図８のフローチャートの場合と同じ処理であるため、その説明を省略する。
【００８０】
ステップＳ３のフレーム番号がＣＯＵＮＴの画像を抽出して、次のステップＳ９１の上皮境界３４の検出処理を行う。
そして、検出処理された上皮境界３４に対して、次のステップＳ９２において処理継続判定ブロック４８は、ステップＳ９１により上皮境界３４を示す線の点列が得られるか否かの判定により、上皮境界３４の存在の有無の判定を行う。
このステップＳ９２の判定により、上皮境界３４が存在しないと判定した場合には、ステップＳ６に進み、フレーム番号変数ＣＯＵＮＴの値を１つ増分してステップＳ２に戻り、ステップＳ２からステップＳ９２までの処理、つまり上皮境界３４を検出する解析動作を継続する。
【００８１】
一方、ステップＳ９２の判定により、上皮境界３４が存在すると判定した場合には、上皮境界３４を検出する解析動作から、ステップＳ９３側に移り、バレット食道を判定する解析動作に移る。
【００８２】
このステップＳ９３において、胃食道接合部検出ブロック４５は、そのフレーム番号の画像から胃食道接合部３５の検出処理を行う。
この胃食道接合部３５の検出処理を行った後、次のステップＳ９４において、バレット食道判定ブロック４６は、ステップＳ９３において検出した胃食道接合部３５を示す線の点列とステップＳ９１において検出した上皮境界３４を示す線の点列とを使用して、撮像された画像中の対象部位がバレット食道であるか否かを判定する。
そして、バレット食道であると判定した場合には、バレット食道判定ブロック４６は、ステップＳ９５においてその判定結果とフレーム番号を表示処理ブロック４３に渡す。この表示処理ブロック４３は、指定されたフレーム番号の画像をバッファ内から抽出し、その画像データ上に判定結果を重畳する。例えば、図７に示すように表示する。
【００８３】
次のステップＳ９６において、ＣＯＵＮＴを１増分する。そして、次のステップＳ９７において、次のフレーム番号（＝ＣＯＵＮＴ）の画像を新規に取得する。そしてその画像に対して上皮境界３４の検出処理を行う。
次のステップＳ９８において、前の検出処理により上皮境界３４が存在するか否かの判定を行う。
【００８４】
このステップＳ９８において、処理継続判定ブロック４８は、前のステップＳ９７により上皮境界３４を示す線の点列が得られるか否かの判定により、上皮境界３４の存在の有無の判定を行う。
このステップＳ９８の判定により、上皮境界３４が存在しないと判定した場合には、ステップＳ９３からステップＳ９８の処理ループ、つまりバレット食道判定処理側の解析処理の動作から抜けて、この処理を終了する。
【００８５】
一方、上皮境界３４が存在すると判定した場合には、ステップＳ９３に戻り、胃食道接合部３５を検出する処理を行ってバレット食道の判定処理を継続して行う。このようにして、上皮境界３４の存在が検出される場合には上記処理ループ内の処理を繰り返し、上皮境界３４の存在が検出されなくなるとこの処理を終了することになる。
このように動作する本実施例によれば、最初に上皮境界３４の検出処理を行い、この検出処理により上皮境界３４が検出された画像からバレット食道の存在の有無を判定する処理側に移り、この処理側において再び上皮境界３４の存在が検出されなくなると、この処理を終了するようにしているので、バレット食道の判定を効率良く行うことができる。
【００８６】
つまり、本実施例によれば、処理継続判定手段を設け、バレット食道の性状判定に必要な上皮境界３４の周辺部の画像のみを検出すると共に、その画像中に上皮境界３４が検出されなくなると、バレット食道の判定処理を終了する制御を行うようにているので、手間をかけることを必要としないで、バレット食道の判定処理に必要な画像を抽出して、バレット食道の判定処理を行うことができる。
つまり、実施例１の場合よりもさらにバレット食道の判定処理を短時間かつ、手間をかけないで行うことができる。
【００８７】
なお、本実施例では、フレーム画像から上皮境界３４を検出後、フレーム画像が連続する時間的に後方のフレーム画像を、次の上皮境界検出の対象画像としているが、時間的に撮像する方向等に応じて時間的に前方に遡ってフレーム画像を取得して検出対象画像としてもよい。
また、連続するフレーム画像の取得間隔をＮ（ここで、Ｎは１、２、３、…の自然数）とし、ステップＳ９７においてＣＯＵＮＴ←ＣＯＵＮＴ＋Ｎに増分して、次の取得フレーム画像を指定するようにしてもよい。
次に本実施例の変形例を説明する。１枚１枚の画像毎にバレット食道であるか否かの判定をすると、画像データに含まれるノイズ、ハレーション、光量経時変化、シェーディング等の影響により、本来バレット食道を撮像しているにもかかわらず、バレット食道ではない、と誤った判定をしてしまう可能性がある。
【００８８】
そこで本変形例では図２９に示す処理手順により改善している。図２９に示すフローチャートによる処理手順は、図２８の処理手順において、ステップＳ１からステップＳ９４までは同じ処理である（但し図２９ではさらにフレーム番号の変数Ｎｂを用いるため、この変数ＮｂをステップＳ１で０に初期化している）。
図２８ではステップＳ９４の判定結果から次のステップＳ９５において判定結果を表示するようにしていたが、本変形例ではステップＳ９４の判定処理の後、次のフレーム番号に変えて上皮境界３４の検出処理や胃食道接合部３５の検出処理等を行ってバレット食道の判定処理を行う。
このようにして、上皮境界３４が存在しない画像になった場合にはそれまでバレット食道か否かの判定を行った全ての判定結果からバレット食道か否かを総合的に判定し、その判定結果を表示するようにしたものである。
【００８９】
以下、図２９を参照して処理手順を説明する。なお、ステップＳ１からＳ９４までは図２８と同じ（但し、上記のようにステップＳ１において、もう１つのフレーム番号の変数Ｎｂも０に初期化する）であるため、その説明を省略する。
ステップＳ９４において、ステップＳ９２による上皮境界３４の存在する位置とステップＳ９３による胃食道接合部３５の検出処理とによりバレット食道か否かを判定する。そして、そのバレット食道の判定結果は一旦蓄積しておき、次のステップＳ１０１によりフレーム番号Ｎｂの変数を１つ増分する。そして、次のステップＳ１０２において、このＮｂを１つ大きくしたフレーム番号ＣＯＵＮＴ＋Ｎｂの画像を抽出する。
【００９０】
次のステップＳ１０３において上皮境界３４の検出処理を行う。この検出処理の後、次のステップＳ１０４において、上皮境界３４が存在するか否かの判定を行い、存在する場合にはステップＳ９３に戻り、胃食道接合部３５の検出処理を行って同様にバレット食道か否かの判定等の処理を行う。
一方、上皮境界３４が存在しないと判定した場合には、ステップＳ１０５に移り、ステップＳ９３からステップＳ１０４までの処理により取得したバレット食道の判定結果を全て取得する。
そして、次のステップＳ１０６において、これら全てのバレット食道の判定結果から総合的にバレット食道か否かの判定を行う。そして、次のステップＳ１０７において、総合的な判定結果を画像に重畳して表示し、この処理を終了する。
【００９１】
バレット食道判定ブロック４６は、ステップＳ１０６における総合的にバレット食道か否かの判定を以下のように行う。
例えばバレット食道と判定した画像の枚数Ｎａと、バレット食道か否かの判定を行った画像枚数Ｎｂとの比率Ｎａ／Ｎｂを算出する。バレット食道判定ブロック４６は、この比率Ｎａ／Ｎｂが０．８よりも大きい場合には、撮像対象がバレット食道であると判定し、ステップＳ１０７にて、バレット食道判定に使用したＮｂ枚すべての画像に対して”バレット食道の疑いあり”との情報を重畳するようにする。
このように処理動作を行う本変形例によれば、実施例３と同様の効果を有すると共に、さらに複数枚の画像それぞれにおいてバレット食道か否かの判定した結果の情報を用いてさらに総合的に判定するようにしているので、バレット食道か否かをより信頼性の高い状態で判定することができる。
【００９２】
なお、上述の説明では、細長の挿入部を有する内視鏡６を体内に挿入して撮像した内視鏡画像の場合に対して画像処理する場合で説明したが、口から飲み込むことにより体内を撮像するカプセル型内視鏡により撮像された内視鏡画像の場合にも同様に適用できる。
カプセル型内視鏡の場合には、通常一定間隔などで連続的に静止画像を撮像する体内撮像装置となる。また、この場合には、口から飲み込まれると後戻りすることなく食道３３、胃、小腸、大腸へと移動しながら撮像を行う。このような場合にも、本発明は適用可能である。
また、本発明は上述した各実施例等を部分的等で組み合わせて構成される実施例の場合も含む。
【００９３】
［付記］１．請求項１において、前記性状判定手段は、前記判定結果を行った画像上に前記判定結果を重畳して出力する。 ２．請求項１において、前記性状判定手段は、前記第２の生体特徴検出手段による検出結果により前記判定結果を出力すると共に、前記判定結果が複数得られた場合には、複数の判定結果に基づいて総合的な判定結果を出力する。 ３．請求項１において、前記性状判定手段は、食道内の疾患としてのバレット食道の性状判定を行うバレット食道判定手段である。 ４．請求項１において、前記性状判定手段は、食道内の疾患としてのバレット食道の性状判定と、バレット食道の疾患に至る前のバレット粘膜の存在を判定するバレット判定手段である。
【００９４】
５．請求項１において、前記性状判定手段は、食道内の胃食道接合部よりも食道側の粘膜が胃側粘膜としての円柱上皮に変性したバレット粘膜の存在を判定するバレット粘膜判定手段である。
【００９５】
６．請求項１において、前記第１の生体特徴検出手段は、食道内における胃と食道の境界としての胃食道接合部、若しくは食道側の扁平上皮と胃側の円柱上皮との境界となる上皮境界、若しくは食道から胃の入り口となる噴門とのいずれかを検出する。 ７．付記３又は４において、前記第１又は第２の生体特徴検出手段は、前記バレット食道の性状判定に利用する部位或いは粘膜境界を検出する。 ８．付記７において、前記部位或いは粘膜境界は、胃食道接合部若しくは上皮境界である。
【００９６】
９．請求項１において、前記第２の生体特徴検出手段は、食道内における胃と食道の境界としての胃食道接合部、若しくは食道側の扁平上皮と胃側の円柱上皮との境界となる上皮境界を検出する。
【００９７】
１０．付記３において、前記バレット食道判定手段は、胃食道接合部と上皮境界の検出結果に基づいてバレット食道の性状判定を行う。 １１．付記４において、前記バレット判定手段は、胃食道接合部と上皮境界の検出結果に基づいてバレット食道ないしはバレット粘膜の性状判定を行う。 １２．付記１０又は１１において、前記胃食道接合部を検出するために柵状血管を検出する柵状血管検出手段を有する。 １３．付記６において、前記第１の生体特徴検出手段は、前記噴門として閉口する噴門又は開口する噴門を検出する。 １４．請求項１において、前記動画像データ又は静止画像データは、挿入部を有する内視鏡又は口から飲み込まれるカプセル型内視鏡により生成される。
【００９８】
１５．体内撮像装置によって撮像された体内の動画像データ又は連続的に撮像された複数枚の静止画像データからフレーム画像データを抽出処理する画像抽出処理ステップと、
前記画像抽出処理ステップにより抽出したフレーム画像データを画像解析し、画像解析結果を出力する処理を行う画像解析処理ステップと、
を備え、
前記画像解析処理ステップは、
第１の生体特徴を検出する処理を行う第１の生体特徴検出処理ステップと、
前記第１の生体特徴検出処理ステップの検出結果に基づき、前記第１の生体特徴検出処理ステップで検出に使用した画像よりも時間的に前方または後方に撮像されたフレーム画像に対して、第２の生体特徴を検出する処理を行う第２の生体特徴検出処理ステップと、
前記第２の生体特徴検出処理ステップの検出結果に基づき、生体の性状を判定して判定結果を出力する処理を行う性状判定処理ステップと、
を備えることを特徴とする医用画像処理方法。
【００９９】
１６．付記１５において、前記第２の生体特徴検出処理ステップは、前記第１の生体特徴検出処理ステップの検出結果に基づき、所定枚数のフレーム画像を取得して、該フレーム画像に対して第２の生体特徴の検出処理を行う。 １７．付記１５において、前記第２の生体特徴検出処理ステップは、前記第１の生体特徴検出処理ステップの検出結果に基づき、
前記第１の生体特徴検出処理ステップが処理したフレーム画像よりも時間的に前方または後方に撮像されたフレーム画像を順次取得し、
取得したフレーム画像に対して前記第１の生体特徴検出処理ステップを適用したときの検出結果に基づきフレ−ム画像の取得を中断する。
【０１００】
１８．付記１５において、前記性状判定処理ステップは、前記判定結果を行った画像上に前記判定結果を重畳して出力する。 １９．付記１５において、前記性状判定処理ステップは、前記第２の生体特徴検出処理ステップによる検出結果により前記判定結果を出力すると共に、前記判定結果が複数得られた場合には、複数の判定結果に基づいて総合的な判定結果を出力する。 ２０．付記１５において、前記性状判定処理ステップは、食道内の疾患としてのバレット食道の性状判定を行うバレット食道判定処理ステップである。 ２１．付記１５において、前記性状判定処理ステップは、食道内の疾患としてのバレット食道の性状判定と、バレット食道の疾患に至る前のバレット粘膜の存在を判定するバレット判定処理ステップである。
【０１０１】
２２．付記１５において、前記性状判定処理ステップは、食道内の胃食道接合部よりも食道側の粘膜が胃側粘膜としての円柱上皮に変性したバレット粘膜の存在を判定するバレット粘膜判定処理ステップである。 ２３．付記１５において、前記第１の生体特徴検出処理ステップは、食道内における胃と食道の境界としての胃食道接合部、若しくは食道側の扁平上皮と胃側の円柱上皮との境界となる上皮境界、若しくは食道から胃の入り口となる噴門とのいずれかを検出する。
【０１０２】
２４．食道内の粘膜表面を撮像した医用画像から線構造を抽出する線構造抽出手段と、
前記線構造の持つ形状特徴量から胃側となる各終端を算出する終端算出手段と、
前記形状特徴量から抽出された線構造が柵状血管であるか否かを判定する柵状血管判定手段と、
を具備することを特徴とする柵状血管検出装置。 ２５．生体粘膜表面を撮像した医用画像を入力する第１のステップと、
前記医用画像から線構造を抽出する第２のステップと、
前記線構造の持つ形状特徴量を算出する第３のステップと、
前記形状特徴量から粘膜構造が柵状血管であるか否かを判定する第４のステップと、
を具備することを特徴とする柵状血管の検出方法。 ２６．付記２４において、前記形状特徴量として分岐・交差点、生成角度としたことを特徴とする。
【０１０３】
（付記２４〜２６の背景）
従来、バレット食道或いはバレット粘膜の判定を行う有効な装置或いは方法が無かった。
このため、バレット食道或いはバレット粘膜の判定を行う有効な装置或いは方法を提供することを目的として、付記２４〜２６の構成にした。 （付記２４〜２６の効果）
胃と食道との境界の胃食道接合部となる柵状血管の胃側の終端を検出するようにしているので、上皮境界の検出結果とからバレット食道或いはバレット粘膜の判定を適切に行うことができる。
【０１０４】
２７．食道内の粘膜表面を撮像した医用画像から上皮境界と胃食道接合部とを検出する上皮境界＆胃食道接合部検出手段と、
検出された前記上皮境界及び胃食道接合部からバレット粘膜ないしはバレット食道の存在を判定するバレット判定手段と、
を備えたことを特徴とするバレット検出装置。 ２８．食道内の粘膜表面を撮像した医用画像から上皮境界と胃食道接合部とを検出する処理を行う上皮境界＆胃食道接合部検出ステップと、
検出された前記上皮境界及び胃食道接合部からバレット粘膜ないしはバレット食道の存在の判定処理をするバレット判定処理ステップと、
を備えたことを特徴とするバレット検出方法。
【０１０５】
（付記２７、２８の背景）
従来、バレット食道或いはバレット粘膜の判定を行う有効な装置或いは方法が無かった。
このため、バレット食道或いはバレット粘膜の判定を行う有効な装置或いは方法を提供することを目的として、付記２７、２８の構成にした。 （付記２７、２８の効果）
胃と食道との境界の胃食道接合部と、上皮境界の検出を行い、これらの検出結果からバレット食道或いはバレット粘膜の判定を適切に行うことができる。
【産業上の利用可能性】
【０１０６】
食道内部等を撮像した多量の内視鏡の画像データから食道バレット等の場合の性状を判定するためにその部位周辺部の胃食道接合部、上皮境界等の第１の特徴を検出する処理を、その存在が判定されるまで順次フレーム番号を変えて繰り返し、その特徴を有すると判定された画像からそれ以降の画像に対しては判定対象となる食道バレット等の第２の特徴を検出する検出処理に移行する。このような処理を行うことにより、最初から第２の特徴の検出処理及びその判定処理を行う場合よりも効率的な処理を行えるようにした。
【符号の説明】
【０１０７】
１…内視鏡システム
２…内視鏡観察装置
３…画像処理装置
４…モニタ
６…内視鏡
７…光源装置
８…ＣＣＵ
１１…挿入部
１４…先端部
１６…ＣＣＤ
１７…撮像装置
２１…画像入力部
２２…ＣＰＵ
２２ａ…幾何学的画像変換手段
２２ｂ…展開図出力手段
２２ｃ…上皮境界検出手段
２２ｄ…上皮境界解析手段
２３…処理プログラム記憶部
２４…画像記憶部
２５…解析情報記憶部
２７…ハードディスク
２８…表示処理部
２９…入力操作部
３３…食道
３４…上皮境界
３５…胃食道接合部
３６…胃
３７…噴門
３８…柵状血管
３９…上皮境界
４１…画像抽出ブロック
４２…画像解析ブロック
４３…表示処理ブロック
４４…上皮境界検出ブロック
４５…胃食道接合部検出ブロック
４６…バレット食道判定ブロック
４７…噴門検出ブロック
【特許請求の範囲】
【請求項１】
食道内の粘膜表面を撮像した医用画像から線構造を抽出する線構造抽出手段と、
前記線構造の持つ形状特徴量から胃側となる各終端を算出する終端算出手段と、
前記形状特徴量から抽出された線構造が柵状血管であるか否かを判定する柵状血管判定手段と、
を具備することを特徴とする柵状血管検出装置。
【請求項２】
前記形状特徴量が、分岐・交差点、生成角度であることを特徴とする請求項１に記載の柵状血管検出装置。
【請求項３】
生体粘膜表面を撮像した医用画像を入力する第１のステップと、
前記医用画像から線構造を抽出する第２のステップと、
前記線構造の持つ形状特徴量を算出する第３のステップと、
前記形状特徴量から粘膜構造が柵状血管であるか否かを判定する第４のステップと、
を具備することを特徴とする柵状血管の検出方法。
【請求項１】
食道内の粘膜表面を撮像した医用画像から線構造を抽出する線構造抽出手段と、
前記線構造の持つ形状特徴量から胃側となる各終端を算出する終端算出手段と、
前記形状特徴量から抽出された線構造が柵状血管であるか否かを判定する柵状血管判定手段と、
を具備することを特徴とする柵状血管検出装置。
【請求項２】
前記形状特徴量が、分岐・交差点、生成角度であることを特徴とする請求項１に記載の柵状血管検出装置。
【請求項３】
生体粘膜表面を撮像した医用画像を入力する第１のステップと、
前記医用画像から線構造を抽出する第２のステップと、
前記線構造の持つ形状特徴量を算出する第３のステップと、
前記形状特徴量から粘膜構造が柵状血管であるか否かを判定する第４のステップと、
を具備することを特徴とする柵状血管の検出方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【公開番号】特開２０１１−１６７５２９（Ｐ２０１１−１６７５２９Ａ）
【公開日】平成２３年９月１日（２０１１．９．１）
【国際特許分類】
【出願番号】特願２０１１−８７５６１（Ｐ２０１１−８７５６１）
【出願日】平成２３年４月１１日（２０１１．４．１１）
【分割の表示】特願２００５−３８１１６（Ｐ２００５−３８１１６）の分割
【原出願日】平成１７年２月１５日（２００５．２．１５）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２３年９月１日（２０１１．９．１）
【国際特許分類】
【出願日】平成２３年４月１１日（２０１１．４．１１）
【分割の表示】特願２００５−３８１１６（Ｐ２００５−３８１１６）の分割
【原出願日】平成１７年２月１５日（２００５．２．１５）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]