画像処理方法、画像処理装置及びプログラム
【課題】ユーザによる観察の効率化をはかることができるような画像処理方法、画像処理装置及びプログラムを提供する。
【解決手段】本発明の画像処理方法は、撮像機能を有する医療機器により撮像された画像を入力する画像入力ステップと、前記画像を複数の領域に分割する領域分割ステップと、
前記複数の領域各々から特徴量を算出する特徴量算出ステップと、前記特徴量に基づき、前記複数の領域各々を分類する領域分類ステップとを有する画像処理方法であって、前記領域分類ステップは、前記複数の領域各々が生体粘膜表面を撮像した領域であるか否かに基づいて分類を行う。
【解決手段】本発明の画像処理方法は、撮像機能を有する医療機器により撮像された画像を入力する画像入力ステップと、前記画像を複数の領域に分割する領域分割ステップと、
前記複数の領域各々から特徴量を算出する特徴量算出ステップと、前記特徴量に基づき、前記複数の領域各々を分類する領域分類ステップとを有する画像処理方法であって、前記領域分類ステップは、前記複数の領域各々が生体粘膜表面を撮像した領域であるか否かに基づいて分類を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理方法、画像処理装置及びプログラムに関し、特に、生体粘膜表面の像が良好に撮像されていない画像を除外することができる画像処理方法、画像処理装置及びプログラムに関するものである。
【背景技術】
【０００２】
従来、医療分野において、Ｘ線、ＣＴ、ＭＲＩ、超音波観測装置及び内視鏡装置等の画像撮像機器を用いた観察が広く行われている。このような画像撮像機器のうち、内視鏡装置は、例えば、生体としての体腔内に挿入される細長の挿入部を有し、該挿入部の先端部に配置された対物光学系により結像した体腔内の像を固体撮像素子等の撮像手段により撮像して撮像信号として出力し、該撮像信号に基づいてモニタ等の表示手段に体腔内の像の画像を表示するという作用及び構成を有する。そして、ユーザは、モニタ等の表示手段に表示された体腔内の像の画像に基づき、例えば、体腔内における臓器等の観察を行う。また、内視鏡装置は、消化管粘膜の像を直接的に撮像することが可能である。そのため、ユーザは、例えば、粘膜の色調、病変の形状及び粘膜表面の微細な構造等の様々な所見を総合的に観察することができる。
【０００３】
そして、近年、前述したような内視鏡装置と略同様の有用性が期待できる画像撮像機器として、例えば、カプセル型内視鏡装置が提案されている。一般的に、カプセル型内視鏡装置は、被検者が口から飲み込むことにより体腔内に配置され、撮像した該体腔内の像を撮像信号として外部に送信するカプセル型内視鏡と、送信された該撮像信号を体腔外で受信した後、受信した該撮像信号を蓄積するレシーバと、レシーバに蓄積された撮像信号に基づく体腔内の像の画像を観察するための観察装置とから構成される。
【０００４】
カプセル型内視鏡装置を構成するカプセル型内視鏡は、消化管の蠕動運動により進むため、例えば、口から体腔内に入れられた後、肛門から排出されるまで数時間程度の時間がかかることが一般的である。そして、カプセル型内視鏡は、体腔内に入れられた後、排出されるまでの間、レシーバに対して撮像信号を略常時出力し続けるため、例えば、数時間分の動画像における、レシーバに蓄積されたフレーム画像としての静止画像の枚数は膨大なものとなる。そのため、ユーザによる観察の効率化という点において、例えば、蓄積された画像のうち、出血部位等の病変部位が含まれる所定の画像を検出するような画像処理方法が行われた上において、該所定の画像以外の画像を表示または記憶しないという処理が行われることにより、画像のデータ量が削減されるような提案が望まれている。
【０００５】
前述したような画像処理方法としては、例えば、特許文献１に記載されているようなものがある。特許文献１に記載されている、生体内での比色分析の異常を検出するための方法は、正常粘膜と出血部位との色調の違いに着目し、色調を特徴量と設定した特徴空間における各平均値からの距離に基づき、画像の分割領域毎に出血部位の検出を行う方法、すなわち、病変部位としての出血部位が含まれる所定の画像を検出するための方法を有する画像処理方法である。
【０００６】
【特許文献１】ＰＣＴ ＷＯ ０２／０７３５０７ Ａ２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかし、特許文献１に記載されている画像処理方法においては、以下に記すような課題がある。
【０００８】
一般に、消化管においては、常に生体粘膜表面の像のみの撮像が行われている訳ではなく、例えば、便、泡、粘液または食物残渣等の異物の像と、生体粘膜表面の像とが混在した状態において撮像が行われている。そのため、前述したような異物の存在を考慮していない特許文献１に記載されている画像処理方法においては、例えば、該異物により正常粘膜を出血部位と誤検出してしまう可能性、及び該異物の像が大部分を占めるような画像を検出する可能性が考えられる。その結果、ユーザによる観察の効率化をはかることができないという課題が生じている。
【０００９】
本発明は、前述した点に鑑みてなされたものであり、例えば、生体粘膜表面の像としての胃粘膜及び絨毛の像と、異物の像としての便及び泡の像とを画像の小領域毎に識別して分類することにより、画像の小領域の多くを異物の像が占めるような、生体粘膜表面の像が良好に撮像されていない画像を、観察不要の画像として容易に除外することができ、さらに、前記分類結果に基づいて撮像された臓器を特定することができ、その結果、ユーザによる観察の効率化をはかることのできる画像処理方法、画像処理装置及びプログラムを提供することを目的としている。
【００１０】
また、本発明は、生体粘膜表面の像として分類された各々の領域に対し、さらに、例えば、前記各々の領域が有する特徴量に基づき、正常な粘膜の像と病変部位の像と分類するような画像処理方法を用いることにより、病変部位の検出精度を高めることができる画像処理方法、画像処理装置及びプログラムを提供することを目的としている。
【課題を解決するための手段】
【００１１】
本発明における第１の画像処理方法は、撮像機能を有する医療機器により撮像された画像を入力する画像入力ステップと、 前記画像を複数の領域に分割する領域分割ステップと、 前記複数の領域各々から特徴量を算出する特徴量算出ステップと、前記特徴量に基づき、前記複数の領域各々を分類する領域分類ステップとを有する画像処理方法であって、前記領域分類ステップは、前記複数の領域各々が生体粘膜表面を撮像した領域であるか否かに基づいて分類を行うことを特徴とする。
【００１２】
本発明における第２の画像処理方法は、撮像機能を有する医療機器により撮像された画像を入力する画像入力ステップと、前記画像を複数の領域に分割する領域分割ステップと、前記複数の領域各々から特徴量を算出する特徴量算出ステップと、前記特徴量に基づき、前記複数の領域各々を分類する領域分類ステップとを有する画像処理方法であって、前記領域分類ステップは、生体粘膜表面を撮像した領域と、生体内に存在する異物を撮像した領域と、前記生体粘膜表面及び前記異物のどちらにも該当しない領域とのいずれかに前記複数の領域各々を分類することを特徴とする。
【００１３】
本発明における第３の画像処理方法は、撮像機能を有する医療機器により撮像された画像を入力する画像入力ステップと、前記画像を複数の領域に分割する領域分割ステップと、前記複数の領域各々から特徴量を算出する特徴量算出ステップと、前記特徴量に基づき、前記複数の領域各々を、複数の異なるクラスのうち、いずれか一のクラスに分類する領域分類ステップと、前記複数の異なるクラスにおいて、前記画像上に混在することを許可しない排他クラスの組み合わせを設定する排他クラス設定ステップと、前記排他クラスの組み合わせのうち、いずれのクラスを優先するかを設定する優先クラス設定ステップとを有する画像処理方法であって、前記領域分類ステップは、前記排他クラス設定ステップで設定された排他クラスの組み合わせのいずれかのクラスに分類された領域が存在する場合、前記領域を前記優先クラス設定ステップにおいて設定されたクラスに分類することを特徴とする。
【００１４】
本発明における第４の画像処理方法は、前記第１乃至第３の画像処理方法において、さらに、前記領域分類ステップにおける前記複数の領域各々の分類結果に基づき、前記画像が生体粘膜表面を撮像したか否かを判定する判定ステップを有することを特徴とする。
【００１５】
本発明における第５の画像処理方法は、前記第４の画像処理方法において、前記判定ステップは、前記領域分類ステップにおける前記複数の領域各々の分類結果に基づき、生体粘膜表面の像であると分類された領域が前記画像において十分大きな割合を占めた場合に、前記画像を生体粘膜表面を撮像した画像であると判定することを特徴とする。
【００１６】
本発明における第６の画像処理方法は、撮像機能を有する医療機器により撮像された画像を入力する画像入力ステップと、前記画像を複数の領域に分割する領域分割ステップと、前記複数の領域各々から特徴量を算出する特徴量算出ステップと、前記特徴量に基づき、前記複数の領域各々を分類する領域分類ステップと、前記領域分類ステップにおける分類結果に基づき、前記医療機器が撮像した臓器を推定する撮像臓器推定ステップとからなることを特徴とする。
【００１７】
本発明における第１の画像処理装置は、撮像機能を有する医療機器により撮像された画像を入力する画像入力手段と、前記画像が生体粘膜を十分に撮像した像であるか否かを判定する判定手段とを有する画像処理装置であって、前記画像処理装置は、前記判定手段における判定結果に基づき、表示手段に対する前記画像の出力制御を行う画像表示制御手段、または、記憶手段に対する前記画像の出力制御を行う画像記憶制御手段のうち、少なくともいずれか一方を有することを特徴とする。
【００１８】
本発明における第２の画像処理装置は、前記第１の画像処理装置において、前記画像表示制御手段は、前記判定手段が生体粘膜を十分に撮像した像ではないと判定した画像を、前記表示手段に表示させないような制御を行うことを特徴とする。
【００１９】
本発明における第３の画像処理装置は、前記第１または第２の画像処理装置において、前記画像記憶制御手段は、前記判定手段が生体粘膜を十分に撮像した像ではないと判定した画像を、前記記憶手段に記憶しないような制御を行うことを特徴とする。
【００２０】
本発明における第４の画像処理装置は、前記第１乃至第３の画像処理装置において、前記画像記憶制御手段は、前記記憶手段に記憶された画像のうち、前記判定手段が生体粘膜を十分に撮像した像ではないと判定した画像を、前記記憶手段から削除するような制御を行うことを特徴とする。
【００２１】
本発明における第５の画像処理装置は、撮像機能を有する医療機器により撮像された複数の画像を入力する画像入力手段と、前記画像を記憶する記憶手段と、前記画像を表示する表示手段と、前記画像の中から病変の存在が疑われる画像を検出する検出手段と、前記画像に対して領域を設定する領域設定手段と、前記領域設定手段により設定された領域が生体粘膜を撮像した領域であるか否かを判定する領域判定手段と、前記領域判定手段における判定結果に基づき、前記検出手段による検出結果が正しいか否かを判定する検出結果判定手段とを有することを特徴とする。
【００２２】
本発明における第６の画像処理装置は、前記第５の画像処理装置において、前記検出手段は、前記領域設定手段により前記画像に対して設定された領域のうち、病変の存在が疑われる領域を検出し、前記検出結果判定手段は、前記検出手段により検出された前記領域が前記領域判定手段において生体粘膜を撮像した領域であると判定された場合に、前記検出手段による検出結果が正しいと判定することを特徴とする。
【００２３】
本発明における第７の画像処理装置は、時間的に連続して撮像された複数の医用画像を入力する画像入力手段と、前記医用画像を記憶する記憶手段と、前記医用画像を表示する表示手段と、前記医用画像に対して領域を設定する領域設定手段と、前記領域設定手段により設定された各領域において、撮像対象を判定する判定手段と、前記判定手段に基づき前記医用画像に撮像されている臓器を特定する特定手段と、前記特定手段における特定結果を表示する特定結果表示手段とを備えたことを特徴とする。
【００２４】
本発明における第８の画像処理装置は、前記第７の画像処理装置において、前記判定手段は、前記各領域の撮像対象として生体粘膜であるか否か及びその種類を判定することを特徴とする。
【００２５】
本発明における第１のプログラムは、コンピュータに、撮像機能を有する医療機器により撮像された画像を入力する画像入力ステップと、前記画像を複数の領域に分割する領域分割ステップと、前記複数の領域各々から特徴量を算出する特徴量算出ステップと、前記特徴量に基づき、前記複数の領域各々を分類する領域分類ステップとを実行させるためのプログラムであって、前記領域分類ステップは、前記複数の領域各々が生体粘膜表面を撮像した領域であるか否かに基づいて分類を行うことを特徴とする。
【００２６】
本発明における第２のプログラムは、コンピュータに、撮像機能を有する医療機器により撮像された画像を入力する画像入力ステップと、前記画像を複数の領域に分割する領域分割ステップと、前記複数の領域各々から特徴量を算出する特徴量算出ステップと、前記特徴量に基づき、前記複数の領域各々を分類する領域分類ステップとを実行させるためのプログラムであって、前記領域分類ステップは、生体粘膜表面を撮像した領域と、生体内に存在する異物を撮像した領域と、前記生体粘膜表面及び前記異物のどちらにも該当しない領域とのいずれかに前記複数の領域各々を分類することを特徴とする。
【００２７】
本発明における第３のプログラムは、コンピュータに、撮像機能を有する医療機器により撮像された画像を入力する画像入力ステップと、前記画像を複数の領域に分割する領域分割ステップと、前記複数の領域各々から特徴量を算出する特徴量算出ステップと、前記特徴量に基づき、前記複数の領域各々を、複数の異なるクラスのうち、いずれか一のクラスに分類する領域分類ステップと、前記複数の異なるクラスにおいて、前記画像上に混在することを許可しない排他クラスの組み合わせを設定する排他クラス設定ステップと、前記排他クラスの組み合わせのうち、いずれのクラスを優先するかを設定する優先クラス設定ステップとをコンピュータに実行させるためのプログラムであって、前記領域分類ステップは、前記排他クラス設定ステップで設定された排他クラスの組み合わせのいずれかのクラスに分類された領域が存在する場合、前記領域を前記優先クラス設定ステップにおいて設定されたクラスに分類することを特徴とする。
【００２８】
本発明における第４のプログラムは、前記第１のプログラム乃至第３のプログラムにおいて、さらに、当該コンピュータに、前記領域分類ステップにおける前記複数の領域各々の分類結果に基づき、前記画像が生体粘膜表面を撮像したか否かを判定する判定ステップを実行させることを特徴とする。
【００２９】
本発明における第５のプログラムは、前記第４のプログラムにおいて、前記判定ステップは、前記領域分類ステップにおける前記複数の領域各々の分類結果に基づき、生体粘膜表面の像であると分類された領域が前記画像において十分大きな割合を占めた場合に、前記画像を生体粘膜表面を撮像した画像であると判定することを特徴とする。
【００３０】
本発明における第６のプログラムは、コンピュータに、撮像機能を有する医療機器により撮像された画像を入力する画像入力ステップと、前記画像を複数の領域に分割する領域分割ステップと、前記複数の領域各々から特徴量を算出する特徴量算出ステップと、前記特徴量に基づき、前記複数の領域各々を分類する領域分類ステップと、前記領域分類ステップにおける分類結果に基づき、前記医療機器が撮像した臓器を推定する撮像臓器推定ステップとを実行させる。
【００３１】
本発明における第７のプログラムは、複数の色信号からなる医用画像を入力する画像入力手段と、前記医用画像を記憶する記憶手段と、前記医用画像を表示する表示手段とを有する画像処理装置を制御するためのコンピュータを、前記入力された医用画像が生体粘膜を十分に撮像したか否かを判定する判定手段と、前記判定手段における判定結果に基づき前記医用画像の表示または記憶の少なくとも１つを制御する制御手段として機能させる。
【００３２】
本発明における第８のプログラムは、前記第７のプログラムにおいて、前記制御手段は、前記判定手段により生体粘膜を十分に撮像していないと判定された前記医用画像を表示しないように制御することを特徴とする。
【００３３】
本発明における第９のプログラムは、前記第７のプログラムまたは前記第８のプログラムにおいて、前記制御手段は、前記判定手段により生体粘膜を十分に撮像していないと判定された前記医用画像を記憶しないように制御することを特徴とする。
【００３４】
本発明における第１０のプログラムは、前記第７のプログラム乃至前記第９のプログラムにおいて、さらに、前記記憶手段に記憶された前記医用画像を削除する画像削除手段として機能させるプログラムであって、前記画像削除手段は、前記判定手段により生体粘膜を十分に撮像していないと判定された前記医用画像を削除することを特徴とする。
【００３５】
本発明における第１１のプログラムは、複数の色信号からなる複数の医用画像を入力する画像入力手段と、前記医用画像を記憶する記憶手段と、前記医用画像を表示する表示手段とを有する画像処理装置を制御するための画像処理装置を制御するためのコンピュータを、前記医用画像の中から病変の存在が疑われる画像を検出する検出手段とを備えるとともに、前記入力された医用画像に対し領域を設定する領域設定手段と、前記領域設定手段により設定された領域が生体粘膜を撮像した領域であるか否かを判定する領域判定手段と、前記領域判定手段における判定結果に基づき、前記検出手段による検出結果が正しいか否かを判定する検出結果判定手段として機能させる。
【００３６】
本発明における第１２のプログラムは、前記第１１のプログラムにおいて、前記検出手段は、前記医用画像において病変の存在が疑われる領域を検出するとともに、前記検出結果判定手段は前記検出された領域が前記領域判定手段において生体粘膜を撮像した領域である場合に、検出結果が正しいと判定することを特徴とする。
【００３７】
本発明における第１３のプログラムは、時間的に連続して撮像された複数の医用画像を入力する画像入力手段と、前記医用画像を記憶する記憶手段と、前記医用画像を表示する画像表示手段とを有する画像処理装置を制御するためのコンピュータを、前記医用画像に複数の領域を設定する領域設定手段と、前記領域設定手段により設定された各領域における撮像対象を判定する判定手段と、前記判定手段に基づき前記医用画像に撮像されている臓器を特定する特定手段と、前記特定手段における特定結果を表示する特定結果表示手段として機能させる。
【００３８】
本発明における第１４のプログラムは、前記第１３のプログラムにおいて、前記判定手段は、前記領域の撮像対象として生体粘膜であるか否か及びその種類を判定することを特徴とする。
【発明の効果】
【００３９】
本発明における画像処理方法、画像処理装置及びプログラムによると、画像の小領域の多くを異物の像が占めるような、生体粘膜表面の像が良好に撮像されていない画像を、観察不要の画像として容易に除外することができ、さらに、前記分類結果に基づいて撮像された臓器を特定することができ、その結果、ユーザによる観察の効率化をはかることができる。
【００４０】
また、本発明における画像処理方法、画像処理装置及びプログラムによると、生体粘膜表面の像として分類された各々の領域に対し、さらに、例えば、前記各々の領域が有する特徴量に基づき、正常な粘膜の像と病変部位の像と分類するような画像処理方法を用いることにより、病変部位の検出精度を高めることができる。
【発明を実施するための最良の形態】
【００４１】
以下、図面を参照して本発明の実施の形態を説明する。
【００４２】
（第１の実施形態）
図１から図２０は、本発明の第１の実施形態に係るものである。図１は、本発明の第１の実施形態である画像処理動作が行われる画像処理装置および周辺機器の外観を示した外観正面図である。図２は、本実施形態の画像処理装置において処理する所定の画像情報を生成するカプセル型内視鏡の一部を切り取って示した要部拡大断面図である。図３は、本実施形態の画像処理装置に所定の画像情報を供給するカプセル型内視鏡装置の概略内部構成を示すブロック図である。図４は、本実施形態の画像処理装置に所定の画像情報を供給するカプセル型内視鏡装置の一使用例を示した図である。図５は、図２に示すカプセル型内視鏡から出力される信号の一例を示したタイミングチャートである。図６は、図２に示すカプセル型内視鏡の位置検出を説明する説明図である。図７は、図３に示すカプセル型内視鏡装置を使用した際におけるアンテナユニットを示した要部拡大断面図である。図８は、図３に示すカプセル型内視鏡装置を使用した際におけるシールドジャケットを説明する説明図である。図９は、図３に示すカプセル型内視鏡装置の外部装置の被検体への装着状態を説明する説明図である。図１０は、図２に示すカプセル型内視鏡の電気的な構成を示すブロック図である。図１１は、本実施形態に係る画像処理動作を示すフローチャートである。図１２は、本実施形態に係る画像処理動作において、入力された画像が（ｍ×ｎ）個の領域に分割される際の一例を示す図である。図１３は、教師データを構成する複数の画像のうち、胃粘膜の画像の一例を示す図である。図１４は、教師データを構成する複数の画像のうち、絨毛の画像の一例を示す図である。図１５は、教師データを構成する複数の画像のうち、便の画像の一例を示す図である。図１６は、教師データを構成する複数の画像のうち、泡の画像の一例を示す図である。図１７は、カプセル型内視鏡により撮像された体腔内の像の画像の一例を示す模式図である。図１８は、図１７に示す画像の分類結果の一例を示す図である。図１９は、本実施形態に係る画像処理動作において、図１１とは異なる画像処理動作を示すフローチャートである。図２０は、ディスプレイに表示されるビュワーの画像のうち、メインメニュー画面の一例を示す図である。
【００４３】
本発明の第１の実施形態である画像処理装置に所定の画像情報を供給するカプセル型内視鏡装置１は、図３に示すように、カプセル型内視鏡３、アンテナユニット４及び外部装置５とにより主要部が構成されている。
【００４４】
医療機器としてのカプセル型内視鏡３は、詳細は後述するが、被検体である患者２の口から体腔内に飲み込まれることにより体腔内に配置された後、蠕動運動により消化管内を進行する形状に形成され、かつ、内部に体腔内を撮像し、その撮像画像情報を生成する撮像機能と、その撮像画像情報を体外に送信する送信機能とを有している。アンテナユニット４は、詳細は後述するが、患者２の身体表面上に設置され、前記カプセル型内視鏡３から送信される撮像画像情報を受信する複数の受信アンテナ１１を有している。外部装置５は、外形が箱形形状に形成されており、詳細は後述するが、前記アンテナユニット４が受信した撮像画像情報の各種処理、撮像画像情報の記憶、及び撮像画像情報による撮像画像表示等の機能を有している。この外部装置５の外装の表面に前記撮像画像を表示させる液晶モニタ１２と、各種機能の操作指示を行う操作部１３とが設けられている。
【００４５】
また、この外部装置５は、駆動電源用の電池の残量に関する警告表示用のＬＥＤと、電源スイッチ等のスイッチからなる操作部１３とが外装の表面に設けられている。又、カプセル型内視鏡３の内部には、ＣＰＵ及びメモリを用いた演算実行部が設けられており、例えば、該演算実行部において、受信及び記憶した撮像画像情報に対して後述する本発明に係る画像処理方法が実行されるような構成であっても良い。
【００４６】
この外部装置５は、患者２の身体に着脱自在に装着されると共に、図１に示すように、クレードル６に装着されることにより、本発明の第１の実施形態である画像処理装置（以下、端末装置と記す）７に着脱自在に接続されるようになっている。この端末装置７は、たとえば、パーソナルコンピュータが用いられ、各種データの処理機能や記憶機能を有する端末本体９と、各種操作処理入力用のキーボード８ａ及びマウス８ｂと、及び各種処理結果を表示する、表示手段としてのディスプレイ８ｃとを有している。この端末装置７は、基本的機能として、例えば、前記外部装置５に記憶されている撮像画像情報をクレードル６を介して取り込み、端末本体９に内蔵されている書換可能なメモリ、或いは端末本体９に着脱自在な書換可能な半導体メモリ等の可搬型メモリに書込記憶させ、かつ、その記憶した撮像画像情報をディスプレイ８ｃに表示する画像処理を行うような機能を有している。なお、前記外部装置５に記憶されている撮像画像情報は、前記クレードル６に代えて、ＵＳＢケーブル等によって端末装置７に取り込まれるようにしても良い。
【００４７】
なお、端末装置７が行う画像処理は、例えば、前記外部装置５から取り込み、図示しない記憶手段としてのメモリ等に記憶された撮像画像情報から経過時間に応じて表示させる画像を選択する処理、及び後述する本発明に係る画像処理方法に基づく処理として、端末本体９が有する制御部９ａにおいて行われるものであるとする。制御部９ａは、ＣＰＵ（中央処理装置）等からなり、例えば、前述したような処理を行う場合に、処理結果を一時的に図示しないレジスタ等に保持することができる。
【００４８】
次に、前記カプセル型内視鏡３の外形と内部構造について、図２を用いて説明する。カプセル型内視鏡３は、断面がＵ字状の外装部材１４と、この外装部材１４の先端側の開放端に接着剤により水密装着された透明部材により形成された略半球形状のカバー部材１４ａとからなる。そのため、カプセル型内視鏡３の外装は、外装部材１４と、カバー部材１４ａとが接続された状態においては、水密構造かつカプセル形状を有するように形成されている。
【００４９】
この外装部材１４とカバー部材１４ａからなるカプセル形状の内部中空部であって、前記カバー部材１４ａの半球の円弧の略中央にあたる部分には、カバー部材１４ａを介して入射された観察部位像を取り込む対物レンズ１５がレンズ枠１６に収納されて配置されている。この対物レンズ１５の結像位置には、撮像素子である電荷結合素子（以降、ＣＣＤと記す）１７が配置されている。また、前記対物レンズ１５を収納するレンズ枠１６の周囲には、照明光を発光放射させる４つの白色系のＬＥＤ１８が同一平面上に配置されている（図中には２つのＬＥＤのみを表記している）。前記ＣＣＤ１７の後端側の前記外装部材１４の内部中空部には、前記ＣＣＤ１７を駆動制御して光電変換された撮像信号の生成、その撮像信号に所定の信号処理を施して撮像画像信号を生成する撮像処理、及び前記ＬＥＤ１８の点灯／非点灯の動作を制御するＬＥＤ駆動の処理を行う処理回路１９と、この処理回路１９の撮像処理により生成された撮像画像信号を無線信号に変換して送信する通信処理回路２０と、この通信処理回路２０からの無線信号を外部に送信する送信アンテナ２３と、前記処理回路１９と通信処理回路２０の駆動用電源を供給する複数のボタン型の電池２１とが配置されている。
【００５０】
なお、ＣＣＤ１７、ＬＥＤ１８、処理回路１９、通信処理回路２０及び送信アンテナ２３は、図示しない基板上に配置され、それらの基板の間は、図示しないフレキシブル基板にて接続されている。また、前記処理回路１９には、後述する画像処理を行うための図示しない演算回路を備えている。つまり、前記カプセル型内視鏡３は、図３に示すように、前記ＣＣＤ１７、ＬＥＤ１８及び処理回路１９を有する撮像装置４３と、前記通信処理回路２０を有する送信器３７と、送信アンテナ２３とを有する。
【００５１】
次に、前記カプセル型内視鏡３の撮像装置４３の詳細構成について、図１０を用いて説明する。撮像装置４３は、ＬＥＤ１８の点灯／非点灯の動作を制御するＬＥＤドライバ１８Ａと、ＣＣＤ１７の駆動を制御して光電変換された電荷の転送を行う為のＣＣＤドライバ１７Ａと、前記ＣＣＤ１７から転送された電荷を用いて撮像信号を生成し、かつ、その撮像信号に所定の信号処理を施して撮像画像信号を生成する処理回路１９Ａと、前記ＬＥＤドライバ１８Ａ、ＣＣＤドライバ１７Ａ、処理回路１９Ａ、及び送信器３７に電池２１からの駆動電源を供給するスイッチ部と、前記スイッチ部及びＣＣＤドライバ１７Ａにタイミング信号を供給するタイミングジェネレータ１９Ｂとを有する。なお、前記スイッチ部は、電池２１から前記ＬＥＤドライバ１８Ａへの電源供給をオン／オフをするスイッチ１９Ｃと、前記ＣＣＤ１７、ＣＣＤドライバ１７Ａ及び処理回路１９Ａへの電源供給をオン・オフするスイッチ１９Ｄと、前記送信器３７への電源供給をオン／オフするスイッチ１９Ｅとを有する。また、前記タイミングジェネレータ１９Ｂには、電池２１から常時駆動電源が供給されるようになっている。
【００５２】
このような構成を有するカプセル型内視鏡３の撮像装置４３においては、スイッチ１９Ｃと、スイッチ１９Ｄと、スイッチ１９Ｅとがオフ状態である場合、タイミングジェネレータ１９Ｂ以外の各部は非動作状態である。そして、タイミングジェネレータ１９Ｂからタイミング信号が出力されると、前記スイッチ１９Ｄがオンされ、これにより、電池２１から電源が供給されたＣＣＤ１７、ＣＣＤドライバ１７Ａ及び処理回路１９Ａは動作状態となる。
【００５３】
前記ＣＣＤ１７の駆動初期時に、ＣＣＤ１７の電子シャッターを動作させて、不要な暗電流を除去した後、タイミングジェネレータ１９Ｂは、スイッチ１９ＣをオンさせてＬＥＤドライバ１８Ａを駆動させてＬＥＤ１８を点灯させＣＣＤ１７を露光する。ＬＥＤ１８は、ＣＣＤ１７の露光に必要な所定の時間だけ点灯された後、消費電力低減の為に、スイッチ１９Ｃがオフしたタイミングにおいて消灯される。
【００５４】
前記ＣＣＤ１７の露光が行われた前記所定の時間内に蓄えられた電荷は、ＣＣＤドライバ１７Ａの制御により処理回路１９Ａへ転送される。処理回路１９Ａは、ＣＣＤ１７から転送された電荷を基に撮像信号を生成し、その撮像信号に所定の信号処理を施して内視鏡画像信号を生成する。処理回路１９Ａは、例えば、送信器３７から送信される信号がアナログ無線方式である場合、ＣＤＳ出力信号に対して複合同期信号を重畳させたアナログ撮像信号を生成した後、該アナログ撮像信号を内視鏡画像信号として送信器３７へ出力する。また、処理回路１９Ａは、例えば、送信器３７から送信される信号がデジタル無線方式である場合、アナログ／デジタルコンバータにより生成したシリアルなデジタル信号に対し、さらにスクランブル等の符号化処理を施したデジタル撮像画像信号を生成し、該デジタル撮像信号を内視鏡画像信号として送信器３７へ出力する。
【００５５】
この送信器３７は、前記処理回路１９Ａから供給された内視鏡画像信号である、アナログ撮像画像信号またはデジタル撮像画像信号に対して変調処理を施して送信アンテナ２３から外部へ無線送信する。この時、スイッチ１９Ｅは、前記処理回路１９Ａから撮像画像信号が出力されたタイミングにおいてのみ送信器３７に駆動電力が供給されるように、タイミングジェネレータ１９Ｂによりオン／オフされる。
【００５６】
なお、スイッチ１９Ｅは、処理回路１９Ａから撮像画像信号が出力されてから所定の時間が経過した後に、送信器３７に駆動電力が供給されるように制御されても良い。また、スイッチ１９Ｅは、カプセル型内視鏡３に設けられた、図示しないｐＨセンサーによる所定値のｐＨ値の検出、図示しない湿度センサーによる所定値以上の湿度の検出、図示しない圧力センサーまたは図示しない加速度センサーによる所定値以上の圧力または加速度の検出等の検出結果に基づいてタイミングジェネレータ１９Ｂから出力される信号により、被検体である患者２の体腔内に挿入された際に、送信器３７に電源を供給するように制御されるような構成を有していても良い。
【００５７】
なお、前記カプセル型内視鏡２の撮像装置４３は、通常毎秒２枚の画像（毎秒２フレーム＝２ｆｐｓ）を撮像するものであるが、例えば、食道の検査の場合は、毎秒１５〜３０枚の画像（１５ｆｐｓ〜３０ｆｐｓ）を撮像できるようにする。具体的には、カプセル型内視鏡３に、図示しないタイマー回路を設け、このタイマー回路により、例えば、タイマーカウントが所定時間以内においては毎秒当たりの撮像枚数の多い高速撮像とし、所定時間が経過した後は、毎秒当たりの撮像枚数の少ない低速撮像となるように撮像装置４３の駆動を制御させる。或いは、カプセル型内視鏡３の電源の投入と共にタイマー回路を作動させて、このタイマー回路により、例えば、患者２が飲み込んだ直後の食道を通過するまでの時間は高速撮像となるように、撮像装置４３の駆動を制御させることも可能である。さらに、低速撮像用カプセル型内視鏡と高速撮像用カプセル型内視鏡とを個別に設けて、観察対象部位に応じて使い分けるようにしても良い。
【００５８】
次に、前記患者２の身体表面上に設置されるアンテナユニット４について説明する。図４に示すように、カプセル型内視鏡３を飲み込んで内視鏡検査を行う場合、患者２は、複数の受信アンテナ１１からなるアンテナユニット４が設置されたジャケット１０を装着する。このアンテナユニット４は、図７に示すように、たとえば、ＧＰＳに使用されているパッチアンテナのような単方向の指向性を有する複数の受信アンテナ１１を患者２の身体内方向にその指向性を向けて配置する。つまり、カプセル型内視鏡３のカプセル本体３Ｄは、身体内に留置されるため、その身体内のカプセル本体３Ｄを取り囲むように前記複数のアンテナ１１が配置される。この指向性の高いアンテナ１１を使用することにより、身体内のカプセル本体３Ｄ以外からの電波による干渉妨害の影響を受けにくくしている。
【００５９】
前記ジャケット１０は、図８に示すように、患者２の身体表面に設置する前記アンテナユニット４と、ベルトにより患者２の腰に設置された外部装置５の本体部５Ｄを覆うように電磁シールド繊維で形成されたシールドジャケット７２とからなる。このシールドジャケット７２を形成する電磁シールド繊維は、金属繊維、金属化学繊維、硫化銅含有繊維等が用いられている。なお、このシールドジャケット７２は、ジャケット形状に限るものではなく、例えば、ベスト、ワンピース形状等であっても良い。
【００６０】
又、前記シールドジャケット７２に前記外部装置５を装着する例として、図９に示すように、前記外部装置５の外部本体５Ｄに鍵穴７４を設け、前記シールドジャケット７２に設けた鍵７５を前記鍵穴７４に差し込むことにより、ベルト７３に着脱自在に装着できるようにする。或いは、単にシールドジャケット７２に図示しないポケットを設け、そのポケットに外部本体５Ｄを収納したり、又は、外部装置５の外部本体５Ｄとシールドジャケット７２にマジックテープ（登録商標）を設置し、そのマジックテープ（登録商標）により取付固定しても良い。
【００６１】
つまり、アンテナユニット４が配置された身体にシールドジャケット７２を装着することにより、アンテナユニット４に対する外部からの電波がシールド遮蔽されて、外部電波による干渉妨害の影響を一層受けにくくしている。
【００６２】
次に、前記アンテナユニット４と外部装置５の構成について、図３を用いて説明する。前記アンテナユニット４は、前記カプセル型内視鏡３の送信アンテナ２３から送信された無線信号を受信する複数の受信アンテナ１１ａ〜１１ｄと、このアンテナ１１ａ〜１１ｄを切り替えるアンテナ切換スイッチ４５とからなる。前記外部装置５は、アンテナ切換スイッチ４５からの無線信号を撮像画像信号に変換及び増幅等の受信処理を行う受信回路３３と、この受信回路３３から供給された撮像画像信号に所定の信号処理を施して、撮像画像の表示用信号及び撮像画像データを生成する信号処理回路３５と、この信号処理回路３５により生成された撮像画像表示用信号に基づいて撮像画像を表示する液晶モニタ１２と、前記信号処理回路３５により生成された撮像画像データを記憶するメモリ４７と、前記受信回路３３により受信処理された無線信号の大きさにより前記アンテナ切換スイッチ４５を制御するアンテナ選択回路４６とからなる。
【００６３】
前記アンテナユニット４の図中受信アンテナ１１ａ〜１１ｄとして示した複数の受信アンテナ１１は、前記カプセル型内視鏡３の送信アンテナ２３から一定の電波強度により送信された無線信号を受信する。この複数の受信アンテナ１１ａ〜１１ｄは、前記外部装置５のアンテナ選択回路４６からのアンテナ選択信号によりアンテナ切替スイッチ４５が制御されて、前記無線信号を受信する受信アンテナを順次切り替える。つまり、前記アンテナ切替スイッチ４５により順次切り替えられた各受信アンテナ１１ａ〜ｄ毎に受信した無線信号が前記受信器３３に出力される。この受信器３３において、各受信アンテナ１１ａ〜１１ｄ毎の無線信号の受信強度を検出して、各受信アンテナ１１ａ〜１１ｄとカプセル型内視鏡３の位置関係を算出すると共に、その無線信号を復調処理して撮像画像信号を信号処理回路３５へと出力する。前記アンテナ選択回路４６は、前記受信器３３からの出力によって制御される。
【００６４】
前記アンテナ選択回路４６によるアンテナ切替スイッチ４５の動作について説明する。前記カプセル型内視鏡３から送信される無線信号は、図５に示すように、撮像画像信号の１フレームの送信期間に、無線信号の受信強度を示す受信強度信号の送信期間である強度受信期間と、撮像画像信号の送信期間である映像信号期間とが順次繰り返されて送信されるとする。
【００６５】
前記アンテナ選択回路４６は、前記受信回路３３を介して、各受信アンテナ１１ａ〜１１ｄが受信した受信強度信号の受信強度が供給される。前記アンテナ選択回路４６は、前記受信器３３からの供給された各アンテナ１１ａ〜１１ｄの受信強度信号の強度を比較して、映像信号期間の撮像画像信号を受信する最適な受信アンテナ、つまり、受信強度信号の強度が最も高いアンテナ１１ｉ（ｉ＝ａ〜ｄ）を決定して、アンテナ切替回路４５をそのアンテナ１１ｉに切り替えるための制御信号を生成出力する。これにより、現在画像信号を受信しているアンテナよりも、他のアンテナの受信強度信号の受信強度が高い場合には、映像信号期間の受信アンテナを次フレーム分から切り替えるようにする。
【００６６】
このように、カプセル型内視鏡３からの無線信号を受信するたびに、撮像画像信号、又は受信強度信号の受信強度を比較し、この比較結果を受けたアンテナ選択回路４６によって受信強度が最大となるアンテナ１１ｉを画像信号受信用のアンテナとを指定するようにしている。これにより、カプセル型内視鏡３が患者２の体内で移動しても、その移動位置において最も受信強度の高い信号を検出できるアンテナ１１により取得した画像信号を受信することができる。また、体内でのカプセル型内視鏡３の移動速度は非常に遅い部分と早い部分に分かれるので、撮像動作１回につき常にアンテナ切替動作を１回行うとは限らず、高速撮像モードなどでは複数回の撮像動作に対してアンテナ切替動作を１回行うようにしてもよい。
【００６７】
なお、カプセル型内視鏡３は、患者２の体内を移動しているので、適宜の時間間隔で外部装置５から電波強度を検出した結果である検出結果信号を送り、その信号に基づいてカプセル型内視鏡３が送信する際のその出力を更新するようにしてもよい。このようにすれば、カプセル型内視鏡３が患者２の体内を移動した場合にも、適切な送信出力に設定でき、電池２１のエネルギを無駄に消費すること等を防止でき、信号の送受信状態を適切な状態に維持できるようになる。
【００６８】
次に、前記複数の受信アンテナ１１とカプセル型内視鏡３の位置関係を示す情報の取得方法について、図６を用いて説明する。なお、図６において、カプセル型内視鏡３を３次元座標Ｘ、Ｙ、Ｚの原点に設定した場合を例に説明する。又、前記複数の受信アンテナ１１ａ〜１１ｄのうち、説明を簡単化するために、３つの受信アンテナ１１ａ、１１ｂ、１１ｃを用い、受信アンテナ１１ａと受信アンテナ１１ｂとの間の距離をＤａｂ、受信アンテナ１１ｂと受信アンテナ１１ｃとの間の距離をＤｂｃ、受信アンテナ１１ａと受信アンテナ１１ｃとの間の距離Ｄａｃとしている。さらに、この受信アンテナ１１ａ〜１１ｃとカプセル型内視鏡３の間は、所定の距離関係としている。
【００６９】
カプセル型内視鏡３の送信された一定の送信強度の無線信号は、各受信アンテナ１１ｊ（ｊ＝ａ、ｂ、ｃ）で受信した場合の受信強度は、カプセル型内視鏡３（カプセル型内視鏡３の送信アンテナ２３）からの距離Ｌｉ（ｉ＝ａ，ｂ，ｃ）の関数となる。具体的には電波減衰量が伴う距離Ｌｉに依存する。従って、カプセル型内視鏡３から送信された無線信号の受信アンテナ１１ｊにより受信した受信強度からカプセル型内視鏡３と各受信アンテナ１１ｊとの間の距離Ｌｉを算出する。この距離Ｌｉの算出には、前記カプセル型内視鏡３と受信アンテナ１１ｊの間の距離による電波の減衰量などの関係データを事前に前記アンテナ選択回路４６に設定する。又、その算出されたカプセル型内視鏡３と各受信アンテナ１１ｊの位置関係を示す距離データは、前記メモリ４７にカプセル型内視鏡３の位置情報として記憶させる。このメモリ４７に記憶された撮像画像情報及びカプセル型内視鏡３の位置情報を基に、前記端末機７による後述する画像情報処理方法において、内視鏡観察所見の位置設定に有用となる。
【００７０】
次に、本実施形態の画像処理装置における画像処理動作について説明を行う。
【００７１】
なお、本実施形態においては、カプセル型内視鏡３により撮像された体腔内の像の画像は、大きさＩＳＸ×ＩＳＹ（１≦ＩＳＸ、１≦ＩＳＹを満たす値であり、例えば、ＩＳＸ＝３００、ＩＳＹ＝３００）、ＲＧＢの３プレーンからなり、各プレーンにおける各画素は各々８ｂｉｔ、すなわち、０から２５５の値をとるものとする。また、本実施形態においては、時間的に連続して撮像されたＮ枚の画像（１≦Ｎ）におけるｉ番目の画像をＩｉ（１≦ｉ≦Ｎ）、そのＲＧＢ各プレーンをそれぞれＲｉ、Ｇｉ及びＢｉと示すものとする。さらに、本実施形態においては、各プレーンにおけるｋ番目の画素（１≦ｋ≦ＩＳＸ×ＩＳＹ）をそれぞれｒｉｋ、ｇｉｋ及びｂｉｋと示すものとする。
【００７２】
なお、本実施形態における画像処理装置における画像処理動作は、上述した端末装置７の端末本体９が有する制御部９ａにおける処理として行われるものとする。
【００７３】
まず、制御部９ａは、入力されたｉ番目の画像Ｉｉを構成するＲｉ、Ｇｉ及びＢｉの各プレーンに対し、前処理として、例えば、メディアンフィルタリングによるノイズ除去及び逆γ補正を行うと共に、ハレーション画素及び暗部画素を以降の処理対象から除外するため、閾値に基づく処理により検出しておく（図１１のステップＳ１）。そして、前記閾値に基づく処理は、例えば、ｒｉｋ、ｇｉｋ及びｂｉｋの濃度値の全てが１０以下の値であれば暗部画素、また、ｒｉｋ、ｇｉｋ及びｂｉｋの濃度値の全てが２３０以上の値であればハレーション画素とするような処理として行われる。
【００７４】
その後、制御部９ａは、Ｒｉ、Ｇｉ及びＢｉの各プレーンを小領域に分割する（図１１のステップＳ２）。なお、本実施形態において、制御部９ａは、図１２に示すように、Ｒｉ、Ｇｉ及びＢｉの各プレーンを、ｘ軸方向の画素数ｌｘ×ｙ軸方向の画素数ｌｙ（１≦ｌｘ、１≦ｌｙ）からなる矩形領域に分割するものとし、その領域数は（ｍ×ｎ）個（ｍ＝ＩＳＸ／ｌｘ、ｎ＝ＩＳＹ／ｌｙ）であるものとする。また、制御部９ａは、ｍまたはｎが整数とならない場合においては、大きさが端数となる最端部の領域を、端数の画素数を有する領域として処理するか、または以降の処理対象から除外するものとする。
【００７５】
制御部９ａは、分割した各領域において、撮像対象の像の画像上における色の違いを反映する色調情報、及び撮像対象の像の画像上における構造の違いを反映するテクスチャ情報を特徴量として算出する（図１１のステップＳ３）。なお、以降の説明においては、制御部９ａにおいて分割された領域のうち、一の領域をＨｓｔ（１≦ｓ≦ｍ、１≦ｔ≦ｎ）と示すものとする。
【００７６】
本実施形態において、制御部９ａが算出する色調情報は、一の領域Ｈｓｔに含まれる各画素のＲＧＢ値の比に基づく値としての、ｇｉｋ／ｒｉｋの平均値（以降、μｇｓｔと記す）及びｂｉｋ／ｒｉｋの平均値（以降、μｂｓｔと記す）からなる、２つの特徴量として示される値である。なお、μｇｓｔ及びμｂｓｔの各値は、０から１の値をとるものとする。また、μｇｓｔ及びμｂｓｔの各値は、例えば、胃粘膜のような比較的赤色調を示す領域においては、略同様に小さな値をとる。一方、μｇｓｔ及びμｂｓｔの各値は、例えば、小腸のような比較的白色調を示す領域においては、略同様に大きな値をとる。また、μｇｓｔ及びμｂｓｔの各値は、例えば、便のような比較的黄色調を示す領域においては、μｇｓｔ＞μｂｓｔとなるような値をとる。
【００７７】
本実施形態において、制御部９ａが算出するテクスチャ情報は、前述したように、撮像対象の像の画像上における構造の違いを反映するものである。そして、撮像対象の像の画像上における構造は、例えば、粘膜表面における絨毛等の微細構造、及び便が有する不定形な模様等として示されるものである。具体的には、制御部９ａが算出するテクスチャ情報は、一の領域Ｈｓｔに含まれる各画素のＲＧＢ値の標準偏差σｒｓｔ、σｇｓｔ及びσｂｓｔを、一の領域Ｈｓｔに含まれる各画素のＲＧＢ値の平均値ｍｒｓｔ、ｍｇｓｔ及びｍｂｓｔで除したものである、３つの特徴量として示されるＲＧＢ値の変動係数ＣＶｒｓｔ、ＣＶｇｓｔ及びＣＶｂｓｔである。なお、変動係数ＣＶｒｓｔ、ＣＶｇｓｔ及びＣＶｂｓｔを算出するための計算式は、下記数式（１）、数式（２）及び数式（３）として示される。
【００７８】
ＣＶｒｓｔ＝σｒｓｔ／ｍｒｓｔ ・・・（１）
ＣＶｇｓｔ＝σｇｓｔ／ｍｇｓｔ ・・・（２）
ＣＶｂｓｔ＝σｂｓｔ／ｍｂｓｔ ・・・（３）
上記数式（１）、数式（２）及び数式（３）により算出される変動係数ＣＶｒｓｔ、ＣＶｇｓｔ及びＣＶｂｓｔにより、撮像対象に対して供給される照明光量の違い等による影響によらず、テクスチャ構造による画素変動の程度を数値化することができる。ＣＶｒｓｔ、ＣＶｇｓｔ及びＣＶｂｓｔの各値は、例えば、拡大観察を行っていない状態である、通常観察において撮像された胃粘膜のような、画像上における構造が比較的平坦な領域においては、明瞭なテクスチャ構造がないため、略同様に小さな値をとる。一方、ＣＶｒｓｔ、ＣＶｇｓｔ及びＣＶｂｓｔの各値は、例えば、小腸の絨毛のような、画像上における構造にエッジを比較的多く含む領域においては、略同様に大きな値をとる。
【００７９】
なお、本実施形態の制御部９ａが行う以降の処理においては、色調情報及びテクスチャ情報を有する５つの特徴量を使用するが、この特徴量を構成する値は、ユーザの用途等に応じ、適宜変更または追加することが可能である。例えば、制御部９ａは、色調情報としてのμｇｓｔの値及びμｂｓｔの値に代わり、色度として示される値である、各領域の各画素におけるｒｉｋ、ｇｉｋ及びｂｉｋの比率、すなわち、ｒｉｋ／（ｒｉｋ＋ｇｉｋ＋ｂｉｋ）、ｇｉｋ／（ｒｉｋ＋ｇｉｋ＋ｂｉｋ）及びｂｉｋ／（ｒｉｋ＋ｇｉｋ＋ｂｉｋ）の値を使用して以降の処理を行うものであっても良い。
【００８０】
そして、制御部９ａは、色調情報及びテクスチャ情報からなる５つの特徴量、すなわち、μｇｓｔ、μｂｓｔ、ＣＶｒｓｔ、ＣＶｇｓｔ及びＣＶｂｓｔの各値を、ハレーション画素及び暗部画素を除いた各画素のＲＧＢ値に基づき、（ｍ×ｎ）個の領域Ｈｓｔ各々において算出する。なお、本実施形態においては、一の領域Ｈｓｔが有する、（ｌｘ×ｌｙ）個の画素において、例えば、ハレーション画素の個数と、暗部画素の個数との和が占める割合が５０％を超えた場合、一の領域Ｈｓｔを以降の処理から除外するような制御が行われるものであっても良い。
【００８１】
その後、制御部９ａは、分割した領域Ｈｓｔにおいて各々算出された５個の特徴量に基づく識別分類を実行することにより、領域毎の撮像対象が何であるかを識別した後、該識別結果に基づいて領域Ｈｓｔを各々分類する。
【００８２】
具体的には、まず、制御部９ａは、胃粘膜、絨毛、便及び泡からなる４つのクラス（群またはカテゴリとも呼ぶ）の教師データを構成する画像として予め用意された、例えば、図１３、図１４、図１５及び図１６に示すような画像に基づき、該画像の一の領域各々において都度決定される、前述した５個の特徴量を算出した後、該４つのクラス各々についての線形判別関数を作成する。そして、制御部９ａは、前述した手順により算出した、識別器としての線形判別関数を用い、例えば、胃粘膜、絨毛、便及び泡からなる４つのクラスのうち、一の領域Ｈｓｔがどのクラスに属するかを識別し、該識別結果に基づく分類を行う。制御部９ａは、以上に述べたような識別及び分類を画像Ｉｉが有する領域Ｈｓｔ全てに対して行うことにより、例えば、図１７に示すような画像が入力された場合、図１８に示すような、絨毛と泡とが分類されたような分類結果を得る（図１１のステップＳ４）。
【００８３】
なお、本実施形態の制御部９ａが画像の一の領域各々に対し、識別器を用いて行う識別及び分類は、線形判別関数によるものに限るものではなく、例えば、２次分類規則、ニューラルネットワーク等の手法によるものであっても良い。また、本実施形態においては、制御部９ａは、胃粘膜、絨毛、便及び泡の４クラスのいずれかということとして、入力される画像の一の領域各々に対する識別及び分類を行ったが、分類されるクラスの数及び種類は、ユーザの用途等に応じ、適宜変更または追加することが可能である。制御部９ａは、前述した４クラスに加え、例えば、食道あるいは大腸粘膜の分類を行うものであっても良いし、また、十二指腸と絨毛とを別のクラスとして扱った上において分類を行うものであっても良い。
【００８４】
さらに、制御部９ａは、前述した分類結果に基づき、生体粘膜表面として分類された、すなわち、胃粘膜または絨毛として分類された領域数の合計数ｚが画像Ｉｉの全領域数（ｍ×ｎ）に占める割合ｐの値を、下記数式（４）に基づいて算出する（図１１のステップＳ５）。
【００８５】
ｐ＝ｚ／（ｍ×ｎ） ・・・（４）
そして、制御部９ａは、画像Ｉｉが生体粘膜表面を十分に撮像されている画像か否かを識別するため、数式（４）により算出された割合ｐの値と、閾値ｔｈｒとの比較を行う。制御部９ａは、画像Ｉｉにおける割合ｐの値が、閾値ｔｈｒより大きいことを検出する（図１１のステップＳ６）と、画像Ｉｉを、生体粘膜表面が十分に撮像されている画像である、すなわち、観察が必要な画像として識別及び分類し、参照値としてのフラグ値ｆｌａｇｉを１とする（図１１のステップＳ７）。なお、本実施形態においては、例えば、閾値ｔｈｒの値は０．５であるとする。
【００８６】
また、制御部９ａは、画像Ｉｉにおける割合ｐの値が、閾値ｔｈｒ以下であることを検出する（図１１のステップＳ６）と、画像Ｉｉを、便及び泡により生体粘膜表面が十分に撮像されていない画像である、すなわち、観察が不必要な画像として識別及び分類し、フラグ値ｆｌａｇｉを０とする（図１１のステップＳ８）。
【００８７】
その後、制御部９ａは、入力された画像Ｉｉの全てに対し、前述した処理が完了していない場合（図１１のステップＳ９）、画像番号ｉに１を加え（図１１のステップＳ１０）、次の画像について、図１１のステップＳ１からステップＳ９までに示す処理を引き続き行う。
【００８８】
制御部９ａは、以上に述べたような処理を行うことにより、ユーザが撮像対象の像の観察を行う際に、フラグ値ｆｌａｇｉの値に基づき、例えば、フラグ値ｆｌａｇｉが１である、観察が必要な画像のみをディスプレイ８ｃに表示し、また、フラグ値ｆｌａｇｉが０である、観察が不必要な画像をディスプレイ８ｃに非表示とすることができる。なお、制御部９ａは、フラグ値ｆｌａｇｉが０である、観察が不必要な画像を削除することにより、記憶する画像データのサイズを削減するようにしても良い。
【００８９】
また、以上に述べた処理のうち、図１１のステップＳ５に示す処理において、制御部９ａは、胃粘膜または絨毛として分類された領域数を合計した値ｚから割合ｐを算出した。しかし、制御部９ａが行う処理は、このようなものに限るものではなく、例えば、以下に記すような、胃粘膜として分類された領域数ｚ１と、絨毛として分類された領域数ｚ２とを個別に扱うようなものであっても良い。
【００９０】
その場合、制御部９ａは、図１１のステップＳ５に示す処理において、胃粘膜または絨毛として分類された領域数の合計数（ｚ１＋ｚ２）が画像Ｉｉの全領域数（ｍ×ｎ）に占める割合ｐの値を、下記数式（５）に基づいて算出する。
【００９１】
ｐ＝（ｚ１＋ｚ２）／（ｍ×ｎ） ・・・（５）
また、制御部９ａは、各々のクラスに分類された領域数に基づき、該領域数が画像Ｉｉの全領域数（ｍ×ｎ）に占める割合を、クラス毎に個別に算出するような処理を行うものであっても良い。
【００９２】
まず、制御部９ａは、図１１のステップＳ１からステップＳ４までの処理を行うことにより、画像Ｉｉが有する領域Ｈｓｔ全てに対しての分類結果を得る（図１９のステップＳ１１）。そして、胃粘膜として分類された領域数をｚ１、絨毛として分類された領域数をｚ２、便として分類された領域数をｚ３とすると、制御部９ａは、上記数式（４）に基づき、胃粘膜として分類された領域数ｚ１が画像Ｉｉの全領域数（ｍ×ｎ）に占める割合ｐ１と、絨毛として分類された領域数ｚ２が画像Ｉｉの全領域数（ｍ×ｎ）に占める割合ｐ２と、便として分類された領域数ｚ３が画像Ｉｉの全領域数（ｍ×ｎ）に占める割合ｐ３とを各々算出する（図１９のステップＳ１２）。
【００９３】
そして、制御部９ａは、割合ｐ１の値と、閾値ｔｈｒ１との比較を行う。制御部９ａは、画像Ｉｉにおける割合ｐ１の値が、閾値ｔｈｒ１より大きいことを検出する（図１９のステップＳ１３）と、画像Ｉｉを、被写体として胃が撮像されたものであるとして識別及び分類する（図１９のステップＳ１４）。なお、本実施形態においては、例えば、閾値ｔｈｒ１の値は０．８であるとする。
【００９４】
また、制御部９ａは、画像Ｉｉにおける割合ｐ１の値が、閾値ｔｈｒ１以下であることを検出する（図１１のステップＳ１３）と、今度は、割合ｐ２の値と、閾値ｔｈｒ２との比較を行う。制御部９ａは、画像Ｉｉにおける割合ｐ２の値が、閾値ｔｈｒ２より大きいことを検出する（図１９のステップＳ１５）と、画像Ｉｉを、被写体として小腸（の絨毛）が撮像されたものであるとして識別及び分類する（図１９のステップＳ１６）。なお、本実施形態においては、例えば、閾値ｔｈｒ２の値は０．８であるとする。
【００９５】
さらに、制御部９ａは、画像Ｉｉにおける割合ｐ２の値が、閾値ｔｈｒ２以下であることを検出する（図１１のステップＳ１５）と、今度は、割合ｐ３の値と、閾値ｔｈｒ３との比較を行う。制御部９ａは、画像Ｉｉにおける割合ｐ３の値が、閾値ｔｈｒ３より大きいことを検出する（図１９のステップＳ１７）と、画像Ｉｉ中における便の占める割合が大きいことから、画像Ｉｉを、被写体として大腸が撮像されたものであるとして識別及び分類する（図１９のステップＳ１８）。なお、本実施形態においては、例えば、閾値ｔｈｒ３の値は０．８であるとする。
【００９６】
その後、制御部９ａは、以上までの処理において、胃粘膜、絨毛及び便のいずれの画像としても識別及び分類されなかった画像に対しての識別及び分類を保留する。そして、制御部９ａは、入力された画像Ｉｉの全てに対し、前述した処理が完了していない場合（図１９のステップＳ１９）、画像番号ｉに１を加え（図１９のステップＳ２０）、次の画像について、図１９のステップＳ１１からステップＳ１９までに示す処理を引き続き行う。
【００９７】
制御部９ａは、以上に述べた、図１９のステップＳ１１からステップＳ１９までの処理を行うことにより、小腸が撮像された画像及び大腸が撮像された画像として識別及び分類された画像を各々特定する。換言すると、制御部９ａは、以上に述べた、図１９のステップＳ１１からステップＳ１９までの処理を行うことにより、被写体として撮像された臓器が胃、小腸または大腸のいずれであるかを検出することができる。
【００９８】
また、ユーザが撮像対象の像の観察を行う際には、図２０に示すような、グラフィックインターフェース（ＧＵＩ）を備えたビュアーが端末装置７のディスプレイ８ｃに表示される。図２０に示すビュワーのメイン画面（ウィンドウ）１０１は、撮像対象の像の画像が表示される画像表示部１０２と、患者及び検査内容についての情報が表示される患者／検査情報表示部１０３と、画像の枚数等が表示される画像情報表示部１０４と、画像表示部１０２に対する表示制御を行う画像表示制御部１０５と、スライダ１０６とを有している。
【００９９】
スライダ１０６は、図示しないマウスカーソルを用いた指示が行われることにより、該指示に基づく所望の画像を画像表示部１０２に表示する機能を有している。また、このスライダ１０６は、小腸が撮像された画像及び大腸が撮像された画像の開始位置を指し示すための案内表示部１０７を有する。そのため、ユーザは、例えば、小腸出血を最も疑う症例については、小腸を優先的かつ効率的に観察するといったような、体腔内の所望の部位の観察を容易に行うことができる。また、図２０に示すビュワーのメイン画面１０１においては、例えば、図示しない「小腸」等の記載がなされたボタンが設けられていても良い。この場合、ユーザは、前記ボタンを図示しないマウスカーソルを用いてクリックすることにより、小腸が撮像された画像を直接表示して観察を行うことができる。
【０１００】
なお、本実施形態の画像処理方法においては、端末装置７の制御部９ａは、画像Ｉｉを、ｘ軸方向の画素数ｌｘ×ｙ軸方向の画素数ｌｙからなる矩形領域に分割したが、さらに、例えば、ｘ軸方向の画素数ｌｘ／２及びｙ軸方向の画素数ｌｙ／２の大きさからなる領域を該矩形領域に重複させて同様の処理を行うものであっても良い。この場合、分類対象となる各クラスの境界が前記矩形領域に含まれた際に生じ得る誤分類を軽減することが可能となる。
【０１０１】
また、前述したように、端末装置７の制御部９ａは、本実施形態の画像処理方法を用いることにより、胃粘膜と絨毛とを個別のクラスとして識別及び分類を行ったが、例えば、胃粘膜及び絨毛を１つのクラスである「生体粘膜表面」として識別及び分類を行った後、さらに、「生体粘膜表面」として分類された領域Ｈｓｔに対し、胃粘膜及び絨毛の２つのクラスにおける識別及び分類を再度行うものであっても良い。
【０１０２】
また、カプセル型内視鏡３は、体腔内に配置された後、胃から小腸へと順次進んでゆく。そのため、端末装置７の制御部９ａは、得られた分類結果に基づき、例えば、全領域数に対して絨毛に分類された領域の割合が０．７を超えた時点において、胃粘膜クラスへの分類を停止するような処理を行うものであっても良い。
【０１０３】
また、本実施形態の画像処理方法は、例えば、食道クラス及び大腸クラスを設定することにより、粘膜表面の色調及び模様の違いによる識別器を実現するという用途として用いることも可能である。さらに、本実施形態の画像処理方法は、全領域数に対して便に分類された領域の割合が多く、かつ、全領域数に対して絨毛に分類された領域の割合が少なくなった場合に大腸と識別するような用途として用いることも可能である。
【０１０４】
以上に述べたように、本実施形態における画像処理方法によれば、生体粘膜表面の像としての胃粘膜及び絨毛の像と、生体粘膜表面とは異なるものである、異物の像としての便及び泡の像とを画像毎に識別及び分類し、観察が必要な画像のみをディスプレイ８ｃに表示することができる。そのため、ユーザは、生体粘膜表面の像が良好に撮像されていない画像が除外された状態において体腔内の観察を行うことができ、その結果、カプセル型内視鏡装置１を用いた観察の効率化をはかることができる。
【０１０５】
また、以上に述べた本実施形態の画像処理方法は、出血、発赤等の病変部位の検出を行う画像処理方法と組み合わせて用いられることにより、病変部位の検出結果が生体粘膜表面上から得られたものであるか否かを判定でき、その結果、病変部位の検出精度を高めることができる。例えば、端末装置７の制御部９ａは、出血、発赤等の病変部位の検出を行う画像処理方法により、病変が疑われる領域として抽出された領域Ｈｓｔの分類結果を参照し、該分類結果が便、泡等の非生体粘膜表面像である場合には誤検出として扱うことにより、病変部位の検出精度を高めることができる。
【０１０６】
また、本実施形態によれば、生体粘膜表面の像として分類された各々の領域に対し、さらに、例えば、前記各々の領域が有する特徴量に基づき、正常な粘膜の像と病変部位の像と分類するような画像処理方法を用いることにより、病変部位の検出精度を高めることができる。
【０１０７】
（第２の実施形態）
図２１は、本発明の第２の実施形態に係るものである。なお、第１の実施形態と同様の構成を持つ部分については、詳細説明は省略する。また、第１の実施形態と同様の構成要素については、同一の符号を用いて説明は省略する。さらに、本実施形態におけるカプセル型内視鏡装置１の構成は、第１の実施形態と同様であると共に、本実施形態における画像処理方法もまた同様に、端末装置７としての、例えば、パーソナルコンピュータにおいて実行されるプログラムとして実現されているものとする。そして、本実施形態における画像処理方法は、端末本体９が有する制御部９ａにおける処理として行われるものとする。
【０１０８】
図２１は、本実施形態に係る画像処理動作を示すフローチャートである。
【０１０９】
まず、制御部９ａは、入力されたｉ番目の画像Ｉｉを構成するＲｉ、Ｇｉ及びＢｉの各プレーンに対し、前処理として、例えば、メディアンフィルタリングによるノイズ除去及び逆γ補正を行うと共に、ハレーション画素及び暗部画素を以降の処理対象から除外するため、閾値に基づく処理により検出しておく（図２１のステップＳ２１）。そして、前記閾値に基づく処理は、例えば、ｒｉｋ、ｇｉｋ及びｂｉｋの濃度値の全てが１０以下の値であれば暗部画素、また、ｒｉｋ、ｇｉｋ及びｂｉｋの濃度値の全てが２３０以上の値であればハレーション画素とするような処理として行われる。
【０１１０】
その後、制御部９ａは、Ｒｉ、Ｇｉ及びＢｉの各プレーンを小領域に分割する（図２１のステップＳ２２）。なお、本実施形態において、制御部９ａは、第１の実施形態において行った方法と同様に、Ｒｉ、Ｇｉ及びＢｉの各プレーンを、ｘ軸方向の画素数ｌｘ×ｙ軸方向の画素数ｌｙ（１≦ｌｘ、１≦ｌｙ）からなる矩形領域に分割するものとし、その領域数は（ｍ×ｎ）個（ｍ＝ＩＳＸ／ｌｘ、ｎ＝ＩＳＹ／ｌｙ）であるものとする。また、制御部９ａは、ｍまたはｎが整数とならない場合においては、大きさが端数となる最端部の領域を、端数の画素数を有する領域として処理するか、または以降の処理対象から除外するものとする。
【０１１１】
制御部９ａは、分割した各領域において、撮像対象の像の画像上における色の違いを反映する色調情報、及び撮像対象の像の画像上における構造の違いを反映するテクスチャ情報を特徴量として算出する（図２１のステップＳ２３）。なお、本実施形態の画像処理方法においては、制御部９ａにおいて分割された領域のうち、一の領域をＨｊ（１≦ｊ≦ｍ×ｎ）と示すものとする。
【０１１２】
本実施形態において、制御部９ａが算出する色調情報は、一の領域Ｈｊに含まれる各画素のＲＧＢ値の比に基づく値としての、ｇｉｋ／ｒｉｋの平均値（以降、μｇｊと記す）及びｂｉｋ／ｒｉｋの平均値（以降、μｂｊと記す）からなる、２つの特徴量として示される値である。なお、μｇｊ及びμｂｊの各値は、０から１の値をとるものとする。また、μｇｊ及びμｂｊの各値は、例えば、胃粘膜のような比較的赤色調を示す領域においては、略同様に小さな値をとる。一方、μｇｊ及びμｂｊの各値は、例えば、小腸のような比較的白色調を示す領域においては、略同様に大きな値をとる。また、μｇｊ及びμｂｊの各値は、例えば、便のような比較的黄色調を示す領域においては、μｇｊ＞μｂｊとなるような値をとる。
【０１１３】
本実施形態において、制御部９ａが算出するテクスチャ情報は、前述したように、撮像対象の像の画像上における構造の違いを反映するものである。そして、撮像対象の像の画像上における構造は、例えば、粘膜表面における絨毛等の微細構造、及び便が有する不定形な模様等として示されるものである。具体的には、制御部９ａが算出するテクスチャ情報は、一の領域Ｈｊに含まれる各画素のＲＧＢ値の標準偏差σｒｊ、σｇｊ及びσｂｊを、一の領域Ｈｊに含まれる各画素のＲＧＢ値の平均値ｍｒｊ、ｍｇｊ及びｍｂｊで除したものである、３つの特徴量として示されるＲＧＢ値の変動係数ＣＶｒｊ、ＣＶｇｊ及びＣＶｂｊである。なお、変動係数ＣＶｒｊ、ＣＶｇｊ及びＣＶｂｊを算出するための計算式は、下記数式（６）、数式（７）及び数式（８）として示される。
【０１１４】
ＣＶｒｊ＝σｒｊ／ｍｒｊ ・・・（６）
ＣＶｇｊ＝σｇｊ／ｍｇｊ ・・・（７）
ＣＶｂｊ＝σｂｊ／ｍｂｊ ・・・（８）
上記数式（６）、数式（７）及び数式（８）により算出される変動係数ＣＶｒｊ、ＣＶｇｊ及びＣＶｂｊにより、撮像対象に対して供給される照明光量の違い等による影響によらず、テクスチャ構造による画素変動の程度を数値化することができる。ＣＶｒｊ、ＣＶｇｊ及びＣＶｂｊの各値は、例えば、拡大観察を行っていない状態である、通常観察において撮像された胃粘膜のような、画像上における構造が比較的平坦な領域においては、明瞭なテクスチャ構造がないため、略同様に小さな値をとる。一方、ＣＶｒｊ、ＣＶｇｊ及びＣＶｂｊの各値は、例えば、小腸の絨毛のような、画像上における構造にエッジを比較的多く含む領域においては、略同様に大きな値をとる。
【０１１５】
そして、制御部９ａは、色調情報及びテクスチャ情報からなる５つの特徴量、すなわち、μｇｊ、μｂｊ、ＣＶｒｊ、ＣＶｇｊ及びＣＶｂｊの各値を、ハレーション画素及び暗部画素を除いた各画素のＲＧＢ値に基づき、（ｍ×ｎ）個の領域Ｈｊ各々において算出する。なお、本実施形態においては、一の領域Ｈｊが有する、（ｌｘ×ｌｙ）個の画素において、例えば、ハレーション画素の個数と、暗部画素の個数との和が占める割合が５０％を超えた場合、一の領域Ｈｊを以降の処理から除外するような制御が行われるものであっても良い。
【０１１６】
その後、制御部９ａは、以降に説明する処理を行うため、一の領域Ｈｊの領域番号ｊをｊ＝１とする（図２１のステップＳ２４）。そして、制御部９ａは、ベイズの定理に基づく統計的識別器を用い、胃粘膜、絨毛、便及び泡からなる４つのクラスのうち、一の領域Ｈｊがどのクラスに属するかを識別し、該識別結果に基づく分類を行う。
【０１１７】
具体的には、４つのクラスの識別及び分類において、一のクラスωａ（ａ＝１、２、…、Ｃ、Ｃはクラス数を示す）が発生する事前確率をＰ（ωａ）とし、一の領域Ｈｊにおける５つの特徴量から決定された特徴ベクトルをｘとし、全クラスからの特徴ベクトルｘの発生確率に基づく確率密度関数をｐ（ｘ）とし、一のクラスωａからの特徴ベクトルｘの発生確率に基づく状態依存確率密度（多変量正規確率密度）関数をｐ（ｘ｜ωａ）とすると、発生した特徴ベクトルｘが一のクラスωａに属する事後確率Ｐ（ωａ｜ｘ）を算出するための計算式は、下記数式（９）として示される。
【０１１８】
なお、状態依存確率密度関数ｐ（ｘ｜ωａ）及び確率密度関数ｐ（ｘ）は、下記数式（１０）及び数式（１１）として示される。
【０１１９】
なお、上記数式（１０）及び数式（１１）において、ｄはｘの特徴量の個数と同数である次元数を示し、μａ及びΣａはクラスωａにおける特徴ベクトルｘの平均ベクトル及び一のクラスωａにおける分散共分散行列を示すものとする。また、（ｘ−μａ）ｔは（ｘ−μａ）の転置行列を示し、｜Σａ｜はΣａの行列式を示し、Σａ−１はΣａの逆行列を示すものとする。さらに、説明の簡単のため、事前確率Ｐ（ωａ）は、全クラスにおいて等しい値をとると仮定し、また、確率密度関数ｐ（ｘ）は、上記数式（１１）により全クラス共通の関数として表されるものとする。
【０１２０】
分類基準としての平均ベクトルμａ及び分散共分散行列Σａは、一のクラスωａにおける母数を構成する要素であり、１番目の画像Ｉ１が端末装置７に入力される以前の段階において、胃粘膜、絨毛、便及び泡からなる４つのクラスの教師データを構成する複数の画像、例えば、図１３、図１４、図１５及び図１６に示すような画像に基づき、該画像の一の領域各々において都度決定される特徴ベクトルｘから、クラス毎に予め算出された後、初期値として端末装置７に各々記憶される。
【０１２１】
なお、平均ベクトルμａは、特徴ベクトルｘが有する５つの特徴量各々の平均値からなり、かつ、特徴ベクトルｘと同一の次元数を有するベクトルである。すなわち、特徴ベクトルｘがｘ＝（ｘ１，ｘ２，ｘ３，ｘ４，ｘ５）として表される場合、平均ベクトルμａは、特徴ベクトルｘが有する５つの特徴量各々の平均値である、μｘ１、μｘ２、μｘ３、μｘ４及びμｘ５を用いて、μａ＝（μｘ１，μｘ２，μｘ３，μｘ４，μｘ５）として表されるものとする。また、分散共分散行列Σａは、一のクラスωａに属する特徴ベクトルｘの分布のバラツキ及び広がり具合を示す行列であり、特徴ベクトルｘの特徴量の個数と同数である次元数ｄに対し、ｄ×ｄ行列として表されるものとする。
【０１２２】
制御部９ａは、発生した特徴ベクトルｘがクラスω１に属する事後確率Ｐ（ω１｜ｘ）と、発生した特徴ベクトルｘがクラスω２に属する事後確率Ｐ（ω２｜ｘ）と、発生した特徴ベクトルｘがクラスω３に属する事後確率Ｐ（ω３｜ｘ）と、発生した特徴ベクトルｘがクラスω４に属する事後確率Ｐ（ω４｜ｘ）とを、ベイズの定理に基づいた上記数式（９）から数式（１１）を用いて各々算出する。そして、制御部９ａは、これら４つの事後確率のうち、最大の事後確率Ｐ１（ωａ｜ｘ）を与えるクラスωａに特徴ベクトルｘが属するものとして識別を行い、該識別結果に基づいて特徴ベクトルｘが発生した領域である一の領域Ｈｊをクラスωａに分類する（図２１のステップＳ２５）と共に、最大の事後確率Ｐ１（ωａ｜ｘ）を与える確率密度関数ｐ１（ｘ｜ωａ）の値を算出する。
【０１２３】
そして、制御部９ａは、以上までの処理において、クラスωａに分類された一の領域Ｈｊの分類結果が正確なものであるか否かを判定するため、平均値からの距離に基づく処理、すなわち、最大の事後確率Ｐ１（ωａ｜ｘ）を与える確率密度関数ｐ１（ｘ｜ωａ）の値に対する閾値に基づく処理をさらに行う。
【０１２４】
具体的には、まず、制御部９ａは、平均ベクトルμａが有する５つの特徴量各々の平均値のうち、例えば、特徴量ｘ１の平均値μｘ１に対し、特徴量ｘ１の標準偏差σｘ１と、所定の定数としての乗算係数αとの積を加えた値を含む、閾値ベクトルｘｂ１を決定する。なお、このような閾値ベクトルｘｂ１は、例えば、下記数式（１２）として示されるものであり、また、本実施形態においては、乗算係数αの値は１．５であるとする。
【０１２５】
ｘｂ１＝（μｘ１＋α×σｘ１，μｘ２，μｘ３，μｘ４，μｘ５） ・・・（１２）
上記数式（１２）により閾値ベクトルｘｂ１が決定されると、制御部９ａは、閾値ベクトルｘｂ１を上記数式（９）、数式（１０）及び数式（１１）のｘとして代入し、一の領域Ｈｊが分類されたクラスωａの閾値としての、確率密度関数ｐ（ｘｂ１｜ωａ）の値を算出する。
【０１２６】
そして、制御部９ａは、ｐ１（ｘ｜ωａ）の値がｐ（ｘｂ１｜ωａ）の値より大きいことを検出する（図２１のステップＳ２６）と、図２１のステップＳ２５に示す処理において、一の領域Ｈｊをクラスωａに分類した分類結果が正確であると判断する（図２１のステップＳ２７）。
【０１２７】
また、制御部９ａは、ｐ１（ｘ｜ωａ）の値がｐ（ｘｂ１｜ωａ）の値以下であることを検出する（図２１のステップＳ２６）と、図２１のステップＳ２５に示す処理において、一の領域Ｈｊをクラスωａに分類した分類結果が不正確であると判断し、一の領域Ｈｊを不明クラスに分類する（図２１のステップＳ２８）。
【０１２８】
そして、制御部９ａは、分割した（ｍ×ｎ）個の領域全てについての分類が完了していない場合（図２１のステップＳ２９）、領域番号ｊに１を加え（図２１のステップＳ３０）、次の領域について、図２１のステップＳ２５からステップＳ２９までに示す処理を行う。
【０１２９】
また、制御部９ａは、入力された画像Ｉｉの全てに対し、前述した処理が完了していない場合（図２１のステップＳ３１）、画像番号ｉに１を加え（図２１のステップＳ３２）、次の画像について、図２１のステップＳ２１からステップＳ３１までに示す処理を引き続き行う。
【０１３０】
また、以上の説明においては、色調情報及びテクスチャ情報に基づく５個の特徴量の全てを一度に用いて特徴ベクトルｘを決定するような、５次元の多変量正規確率密度を規定する場合について述べた。しかし、本実施形態における画像処理方法においては、例えば、色調情報及びテクスチャ情報についての各々の特徴量を個別に用いて２種類の特徴ベクトルｘｃ及びｘｔを決定し、１つのクラスにつき２個の多変量正規確率密度を規定することにより、画像の分類をさらに高精度に行うことができる。
【０１３１】
具体的には、まず、制御部９ａは、色調情報を構成する２個の特徴量μｇｊ及びμｂｊについての状態依存確率密度関数をｐｃ（ｘｃ｜ωａ）として、また、テクスチャ情報を構成する３個の特徴量ＣＶｒｊ、ＣＶｇｊ及びＣＶｂｊについての状態依存確率密度関数をｐｔ（ｘｔ｜ωａ）として各々算出する。なお、ｘｃは、ｘｃ＝（μｇｊ，μｂｊ）として表される２次元のベクトルであり、また、ｘｔは、ｘｔ＝（Ｃｖｒｊ、Ｃｖｇｊ、Ｃｖｂｊ）として表される３次元のベクトルである。
【０１３２】
制御部９ａは、これら２つの状態依存確率密度関数ｐｃ（ｘｃ｜ωａ）及びｐｔ（ｘｔ｜ωａ）を用いて数式（１０）に基づく事後確率Ｐｃ（ωａ｜ｘｃ）及びＰｔ（ωａ｜ｘｔ）を算出した後、最終的な事後確率Ｐ（ωａ｜ｘ）を下記数式（１３）により算出する。
【０１３３】
Ｐ（ωａ｜ｘ）＝Ｐｃ（ωａ｜ｘｃ）×Ｐｔ（ωａ｜ｘｔ） ・・・（１３）
また、クラスωａへの分類結果の正確性を判断するための閾値は、色調情報及びテクスチャ情報の特徴量各々の平均ベクトルμｃ及びμｔと、標準偏差σｃ１及びσｔ１に基づき、例えば、ｐ（ｘｃｂ｜ωａ）及びｐ（ｘｔｂ｜ωａ）として設定される。そして、制御部９ａは、ｐ１（ｘｃ｜ωａ）＞ｐ（ｘｃｂ｜ωａ）であり、かつ、ｐ１（ｘｔ｜ωａ）＞ｐ（ｘｔｂ｜ωａ）であれば、分類結果は正確であるとして、特徴ベクトルｘｃ及び特徴ベクトルｘｔを有する一の領域Ｈｊを、胃粘膜、絨毛、便または泡のいずれかのクラスとして分類し、そうでなければ不明クラスとして分類する。
【０１３４】
なお、以上の説明において、事前確率Ｐ（ωａ）は、全クラスにおいて等しいと仮定したが、これに限るものではない。事前確率Ｐ（ωａ）は、例えば、カプセル型内視鏡３が撮像する部位の時間配分に基づき、絨毛クラスまたは便クラスの事前確率Ｐ（ωａ）を高めに設定したり、カプセル型内視鏡３が撮像した部位の誤分類によるリスクに基づき、胃粘膜クラス及び絨毛クラスの事前確率Ｐ（ωａ）を、観察不要とする便クラス及び泡クラスより高めに設定したり等、種々の用途に応じた値に設定されるものであっても良い。
【０１３５】
以上に述べたように、本実施形態における画像処理方法によれば、生体粘膜表面の像としての胃粘膜及び絨毛の像と、異物の像としての便及び泡の像とを画像の小領域毎に識別及び分類することができる。そのため、ユーザは、画像の小領域の多くを異物の像が占めるような、生体粘膜表面の像が良好に撮像されていない画像を、観察不要の画像として容易に除外することができ、その結果、カプセル型内視鏡装置１を用いた観察の効率化をはかることができる。
【０１３６】
さらに、本実施形態における画像処理方法によれば、例えば、特徴量が分類対象クラスの分布境界または分布重複範囲に該当する等の理由により、確実な分類が困難となるような画像が存在する場合、該画像を不明クラスとして分類することができる。そのため、端末装置７の制御部９ａは、本実施形態における画像処理方法を用いることにより、信頼性の高い画像分類結果を得ることができる。
【０１３７】
（第３の実施形態）
図２２は、本発明の第３の実施形態に係るものである。なお、第１の実施形態及び第２の実施形態と同様の構成を持つ部分については、詳細説明は省略する。また、第１の実施形態及び第２の実施形態と同様の構成要素については、同一の符号を用いて説明は省略する。さらに、本実施形態におけるカプセル型内視鏡装置１の構成は、第１の実施形態及び第２の実施形態の形態と同様であると共に、本実施形態における画像処理方法もまた同様に、端末装置７としての、例えば、パーソナルコンピュータにおいて実行されるプログラムとして実現されているものとする。そして、本実施形態における画像処理方法は、端末本体９が有する制御部９ａにおける処理として行われるものとする。
【０１３８】
図２２は、本実施形態に係る画像処理動作を示すフローチャートである。
【０１３９】
制御部９ａは、本実施形態に係る画像処理方法を行う前に、まず、入力されたｉ番目の画像Ｉｉに対し、第２の実施形態において説明した、図２１に示す、ステップＳ２１からステップＳ３０までの処理を行い、画像Ｉｉについての分類結果を得る（図２２のステップＳ４１）。なお、本実施形態において、図２２のステップＳ４１に示す処理を行うことにより制御部９ａが得る分類結果は、画像内の各領域が胃粘膜クラス、絨毛クラス、便クラス、泡クラス及び不明クラスからなる５つのクラスのいずれかに分類されたような分類結果であるとする。
【０１４０】
そして、制御部９ａは、画像Ｉｉについての分類結果に基づき、絨毛クラスに分類された領域数が画像Ｉｉの全領域数（ｍ×ｎ）に占める割合Ｊの値を算出する（図２２のステップＳ４２）。なお、割合Ｊは、具体的には、例えば、上記数式（４）におけるｐをＪに、また、ｚを絨毛クラスに分類された領域数ｚａをｚに置換することにより算出される値である。
【０１４１】
その後、制御部９ａは、割合Ｊの値と閾値ｔｈｒＪとの比較を行う。制御部９ａは、画像Ｉｉにおける割合ｐの値が、閾値ｔｈｒＪより大きいことを検出する（図２２のステップＳ４３）と、画像Ｉｉの各領域Ｈｊにおいて、胃粘膜クラスに分類されていた領域を絨毛クラスとして再分類する（図２２のステップＳ４４）。なお、本実施形態においては、例えば、閾値ｔｈｒＪの値は０．５であるとする。
【０１４２】
また、制御部９ａは、画像Ｉｉにおける割合ｐの値が、閾値ｔｈｒＪ以下であることを検出する（図２２のステップＳ４３）と、画像Ｉｉの各領域Ｈｊにおいて、絨毛クラスに分類されていた領域を胃粘膜クラスとして再分類する（図２２のステップＳ４５）。
【０１４３】
そして、制御部９ａは、画像Ｉｉについての、前述したような処理による再分類が完了すると、今度は（ｉ＋１）番目の画像Ｉｉ＋１に対し、図２２のステップＳ４１からの一連の処理を行う（図２２のステップＳ４６）。
【０１４４】
以上に述べたように、本実施形態における画像処理方法を用いた場合、第２の実施形態において述べた効果と同様の効果として、カプセル型内視鏡装置１を用いた観察の効率化をはかることができるような効果を得ることができる。
【０１４５】
また、本実施形態における画像処理方法を用いた場合、端末装置７の制御部９ａは、分類結果を得た画像に対し、さらに、胃粘膜及び絨毛の各クラスに分類された領域Ｈｊを排他的に置換して再分類するような処理を行う。そのため、端末装置７の制御部９ａは、本実施形態における画像処理方法を用いることにより、一の画像内に混在して存在し得ないような、胃粘膜の像の画像と（小腸の）絨毛の像の画像との分類を行う場合における誤分類を無くすことができ、その結果、精度の高い画像分類結果を得ることができる。
【０１４６】
（第４の実施形態）
図２３は、本発明の第４の実施形態に係るものである。なお、第１の実施形態から第３の実施形態までと同様の構成を持つ部分については、詳細説明は省略する。また、第１の実施形態から第３の実施形態までと同様の構成要素については、同一の符号を用いて説明は省略する。さらに、本実施形態におけるカプセル型内視鏡装置１の構成は、第１の実施形態から第３の実施形態までの形態と同様であると共に、本実施形態における画像処理方法もまた同様に、端末装置７としての、例えば、パーソナルコンピュータにおいて実行されるプログラムとして実現されているものとする。そして、本実施形態における画像処理方法は、端末本体９が有する制御部９ａにおける処理として行われるものとする。
【０１４７】
図２３は、本実施形態に係る画像処理動作を示すフローチャートである。
【０１４８】
制御部９ａは、本実施形態に係る画像処理方法を行う前に、まず、入力されたｉ番目の画像Ｉｉに対し、第２の実施形態において説明した、図２１に示す、ステップＳ２１からステップＳ３０までの処理を行い、画像Ｉｉについての分類結果を得る（図２３のステップＳ５１）。なお、本実施形態において、図２３のステップＳ５１に示す処理を行うことにより制御部９ａが得る分類結果は、画像内の各領域が便クラス、泡クラス、不明クラス及び生体粘膜クラスからなる４つのクラスのいずれかに分類されたような分類結果であるとする。
【０１４９】
その後、制御部９ａは、以降に説明する処理を行うため、一の領域Ｈｊの領域番号ｊをｊ＝１とする（図２３のステップＳ５２）。そして、制御部９ａは、画像Ｉｉについての分類結果から、領域Ｈｊを生体粘膜クラスに分類したか否かを判定する（図２３のステップＳ５３）。
【０１５０】
制御部９ａは、領域Ｈｊを生体粘膜クラスに分類したことを検出すると、教師データを構成する胃粘膜の画像及び絨毛の画像が各々有する特徴量に基づいて算出された平均ベクトルμａ及び分散共分散行列Σａが代入された上記数式（９）から数式（１１）を用い、該領域Ｈｊにおいて発生した特徴ベクトルｘが胃粘膜クラス（ａ＝１とする）に属する事後確率Ｐ（ω１｜ｘ）と、発生した特徴ベクトルｘが絨毛クラス（ａ＝２とする）に属する事後確率Ｐ（ω２｜ｘ）とを各々算出する。そして、制御部９ａは、これら２つの事後確率のうち、最大の事後確率Ｐ２（ωａ｜ｘ）を与えるクラスに特徴ベクトルｘが属するものとして識別を行い、該識別結果に基づいて特徴ベクトルｘが発生した領域である一の領域Ｈｊを胃粘膜クラスまたは絨毛クラスのいずれかに分類する（図２３のステップＳ５４）。
【０１５１】
そして、制御部９ａは、分割した（ｍ×ｎ）個の領域全てについての分類が完了していない場合（図２３のステップＳ５５）、領域番号ｊに１を加え（図２３のステップＳ５６）、次の領域について、図２３のステップＳ５３からステップＳ５５までに示す処理を行う。
【０１５２】
また、制御部９ａは、画像Ｉｉについての、前述したような処理による分類を完了すると、今度は（ｉ＋１）番目の画像Ｉｉ＋１に対し、図２３のステップＳ５１からの一連の処理を行う（図２３のステップＳ５７）。
【０１５３】
以上に述べたように、本実施形態における画像処理方法を用いた場合、第２の実施形態において述べた効果と同様の効果として、カプセル型内視鏡装置１を用いた観察の効率化をはかることができるような効果を得ることができる。
【０１５４】
また、本実施形態における画像処理方法を用いた場合、端末装置７の制御部９ａは、分類結果を得た画像に対し、さらに、生体粘膜クラスに分類された領域Ｈｊを、胃粘膜クラスまたは絨毛クラスとして再分類するような処理を行う。そのため、端末装置７の制御部９ａは、本実施形態における画像処理方法を用いることにより、胃粘膜の像の画像と（小腸の）絨毛の像の画像との分類を高精度に行うことができる。そして、端末装置７の制御部９ａは、本実施形態における画像処理方法と、第３の実施形態における画像処理方法と組み合わせて用いることにより、胃粘膜の像の画像と（小腸の）絨毛の像の画像とがさらに高精度に分類されたような分類結果を得ることができる。
【０１５５】
なお、本発明における第１の実施形態から第４の実施形態において説明した画像処理方法は、カプセル型内視鏡装置１のカプセル型内視鏡３が撮像した像の画像に対して用いられるものに限らず、例えば、撮像素子及び対物光学系を挿入部の先端部に有するような内視鏡を有する内視鏡装置が撮像した像の画像に対して用いられるものであっても良い。
【０１５６】
（第５の実施形態）
図２４及び図２５は、本発明の第５の実施形態に係るものである。なお、第１の実施形態から第４の実施形態までと同様の構成を持つ部分については、詳細説明は省略する。また、第１の実施形態から第４の実施形態までと同様の構成要素については、同一の符号を用いて説明は省略する。また、本実施形態におけるカプセル型内視鏡装置１の構成は、第１の実施形態から第４の実施形態までの形態と同様であると共に、本実施形態における画像処理方法もまた同様に、端末装置７としての、例えば、パーソナルコンピュータにおいて実行されるプログラムとして実現されているものとする。そして、本実施形態における画像処理方法は、端末本体９が有する制御部９ａにおける処理として行われるものとする。さらに、本実施形態においては、制御部９ａは、端末装置７に予め入力された状態の一連の画像に対し、以降に説明する画像処理を用いるものとする。
【０１５７】
図２４は、本実施形態に係る画像処理動作の一部を示すフローチャートである。図２５は、本実施形態に係る画像処理動作の一部として、図２４のフローチャートに示す処理が行われた後に行われる、画像の表示制御動作を示すフローチャートである。
【０１５８】
制御部９ａは、本実施形態に係る画像処理方法を行う前に、まず、全部でＮ枚（１≦Ｎ）からなる画像のうち、入力されたｉ番目の画像Ｉｉ（Ｉ１≦Ｉｉ≦ＩＮ）についての分類結果を得る（図２４のステップＳ６１）。なお、本実施形態において、制御部９ａは、画像Ｉｉについての分類結果を得るための処理方法として、例えば、図１１に示すステップＳ１からステップＳ４までの処理、または図２１に示すステップＳ２１からステップＳ３０までの処理のうち、いずれの処理方法を用いるものであっても良い。また、画像Ｉｉについての分類結果を得るための処理を行うことにより制御部９ａが得る分類結果は、画像内の各領域が胃粘膜クラス、絨毛クラス、便クラス、泡クラス及び不明クラスからなる５つのクラスのいずれかに分類されたような分類結果であるとする。さらに、制御部９ａは、画像Ｉｉについての分類結果を得るための処理を行う際に、一の領域において、極端な暗部あるいはハレーション等の画素数が所定の閾値以上含まれることを検出した場合、例えば、該一の領域を便クラス、泡クラスまたは不明クラスのいずれかとして分類するものであっても良い。
【０１５９】
そして、制御部９ａは、図２４のステップＳ６１の処理により得た分類結果に基づき、例えば、便クラス、泡クラス及び不明クラスとして分類された領域数の合計が画像Ｉｉの全領域数（ｍ×ｎ）に占める割合Ｋを算出する（図２４のステップＳ６２）。その後、制御部９ａは、割合Ｋの値と閾値ｔｈｌｘ（本実施形態においては、例えば０．７とする）との比較を行うことにより、画像Ｉｉが観察不要の画像であるか否かを判定する。なお、前述したような判定を行うための処理において、制御部９ａが得た分類結果に不明クラスの分類結果が含まれない場合、制御部９ａは、便クラス及び泡クラスとして分類された領域数の合計が画像Ｉｉの全領域数（ｍ×ｎ）に占める割合Ｋ１を算出した後、割合Ｋ１の値と閾値ｔｈｌｘとの比較を行うものであっても良い。また、前述したような判定を行うための処理においては、制御部９ａは、胃粘膜クラス及び絨毛クラスとして分類された領域数の合計が画像Ｉｉの全領域数（ｍ×ｎ）に占める割合Ｋ２を算出した後、割合Ｋ２の値と閾値ｔｈｌｙ（例えば０．３とする）との比較を行うものであっても良い。なお、閾値ｔｈｌｘ及び閾値ｔｈｌｙは、予め固定された値に限るものではなく、例えば、端末装置７の操作により、ユーザが所望の値を設定できるものであっても良い。これにより、ユーザは、どの程度生体粘膜表面が撮像された画像を観察対象とするかを選択することができる。そのため、ユーザは、例えば、病変発見のためにスクリーニング検査を行う場合には観察効率を重視し、精密検査を行う場合にはより詳細に多くの画像を観察するといったように、用途に応じて使い分けるような処理として、制御部９ａに本実施形態の画像処理方法を実行させることができる。
【０１６０】
その後、制御部９ａは、画像Ｉｉにおける割合Ｋの値が、閾値ｔｈｌｘ以上であることを検出する（図２４のステップＳ６３）と、画像Ｉｉを観察不要の画像であるとし、参照値としてのフラグ値ｋｆｌａｇｉの値を例えば１とする（図２４のステップＳ６４）。
【０１６１】
また、制御部９ａは、画像Ｉｉにおける割合Ｋの値が、閾値ｔｈｌｘより小さいことを検出する（図２４のステップＳ６３）と、画像Ｉｉを観察不要な画像ではないとし、フラグ値ｋｆｌａｇｉの値を例えば０とする（図２４のステップＳ６５）。
【０１６２】
制御部９ａは、以上に述べたような処理により決定されたフラグ値ｋｆｌａｇｉを、画像Ｉｉに関連付けて保持する（図２４のステップＳ６６）。
【０１６３】
その後、制御部９ａは、画像Ｉ１から画像ＩＮまでの全ての画像について、前述したような処理による分類を行ったかどうかを判定し（図２４のステップＳ６７）、全ての画像について分類が行われていない場合、今度は（ｉ＋１）番目の画像Ｉｉ＋１に対し、図２４のステップＳ６１からの一連の処理を行う（図２４のステップＳ６８）。また、制御部９ａは、画像Ｉ１から画像ＩＮまでの全ての画像について、前述したような処理による分類を行った場合、端末装置７に予め入力された状態の一連の画像に対しての処理を完了する（図２４のステップＳ６９）。
【０１６４】
次に、前述したような処理により分類された画像Ｉ１から画像ＩＮまでの一連の画像を、例えば、ユーザが画像Ｉ１（画像番号ｉ＝１の画像）から順次観察すると想定した場合、制御部９ａは、画像Ｉｉに関連付けて保持したフラグ値ｋｆｌａｇｉの値を読み込む（図２５のステップＳ７１）。そして、制御部９ａは、フラグ値ｋｆｌａｇｉの値に基づき、画像Ｉｉが観察不要の画像か否かを判定する。
制御部９ａは、画像Ｉｉに関連付けられたフラグ値ｋｆｌａｇｉの値が１である場合（図２５のステップＳ７２）、画像Ｉｉをディスプレイ８ｃに表示させないような表示制御を、端末装置７の各部に対して行う（図２５のステップＳ７３）。
【０１６５】
また、制御部９ａは、画像Ｉｉに関連付けられたフラグ値ｋｆｌａｇｉの値が１でない場合、すなわち、フラグ値ｋｆｌａｇｉの値が０である場合（図２５のステップＳ７２）、画像Ｉｉをディスプレイ８ｃに表示させるような表示制御を、端末装置７の各部に対して行う（図２５のステップＳ７４）。
【０１６６】
その後、制御部９ａは、画像Ｉｉから画像ＩＮまでの全ての画像について、前述したような表示制御処理を行ったかどうかを判定し（図２５のステップＳ７５）、全ての画像について処理が行われていない場合、画像番号ｉに１を加えた後、次の画像Ｉｉ＋１に対し、図２５のステップＳ７１からの一連の処理を行う（図２５のステップＳ７６）。また、制御部９ａは、画像Ｉ１から画像ＩＮまでの全ての画像について前述したような表示制御処理を行った場合、ユーザが画像Ｉ１から画像ＩＮまでの一連の画像を順次観察し終えたものであるとし、表示制御処理を完了する（図２５のステップＳ７７）。
【０１６７】
なお、以上に述べた画像処理方法は、画像Ｉ１から画像ＩＮまでの一連の画像を、ユーザが画像Ｉ１から順次観察する場合についてのみに用いられるものに限らず、例えば、画像Ｉ１から画像ＩＮまでの一連の画像のうち、ユーザが所望の画像を選択して観察する場合について用いられるものであっても良い。また、以上に述べた画像処理方法において、制御部９ａは、観察不要の画像として分類した画像を記憶しないように端末装置７の各部に制御を行っても良いし、また、観察不要の画像として分類した後、図示しない記憶手段に記憶させた画像を削除するように端末装置７の各部に制御を行っても良い。
【０１６８】
以上に述べたように、本実施形態における画像処理方法によれば、生体粘膜表面の像としての胃粘膜及び絨毛の像と、異物の像としての便及び泡の像とを画像毎に識別及び分類し、観察が必要な画像のみをディスプレイ８ｃに表示することができる。そのため、ユーザは、生体粘膜表面の像が良好に撮像されていない画像が除外された状態において体腔内の観察を行うことができ、その結果、カプセル型内視鏡装置１を用いた観察の効率化をはかることができる。
【０１６９】
（第６の実施形態）
図２６から図３１は、本発明の第６の実施形態に係るものである。なお、第１の実施形態から第５の実施形態までと同様の構成を持つ部分については、詳細説明は省略する。また、第１の実施形態から第５の実施形態までと同様の構成要素については、同一の符号を用いて説明は省略する。また、本実施形態におけるカプセル型内視鏡装置１の構成は、第１の実施形態から第５の実施形態までの形態と同様であると共に、本実施形態における画像処理方法もまた同様に、端末装置７としての、例えば、パーソナルコンピュータにおいて実行されるプログラムとして実現されているものとする。そして、本実施形態における画像処理方法は、端末本体９が有する制御部９ａにおける処理として行われるものとする。
【０１７０】
図２６は、本実施形態に係る画像処理動作の一部を示すフローチャートである。図２７は、図２６の処理に引き続いて行われる、本実施形態に係る画像処理動作の一部を示すフローチャートである。図２８は、図２７の処理に引き続いて行われる、本実施形態に係る画像処理動作の一部を示すフローチャートである。図２９は、本実施形態に係る画像処理動作において、エッジ特徴量（エッジ特徴ベクトルとも記す）を決定する際に指標となる８つの方向を示す図である。図３０は、本実施形態に係る画像処理動作において設定される、中心領域と最外周領域との位置関係を示す図である。図３１は、本実施形態に係る画像処理動作において設定される、エッジ特徴ベクトルの方向と、ベクトルＶｌの方向とがなす角度を示す図である。
【０１７１】
制御部９ａは、本実施形態に係る画像処理方法を行う前に、まず、入力されたｉ番目の画像Ｉｉについての分類結果を得る（図２６のステップＳ８１）。なお、本実施形態において、制御部９ａは、画像Ｉｉについての分類結果を得るための処理方法として、例えば、図１１に示すステップＳ１からステップＳ４までの処理、または図２１に示すステップＳ２１からステップＳ３０までの処理のうち、いずれの処理方法を用いるものであっても良い。また、画像Ｉｉについての分類結果を得るための処理を行うことにより制御部９ａが得る分類結果は、画像内の各領域が胃粘膜クラス、絨毛クラス、便クラス、泡クラス及び不明クラスからなる５つのクラスのいずれかに分類されたような分類結果であるとする。さらに、本実施形態において、制御部９ａは、図２６のステップＳ８１の処理を行う場合、入力されたｉ番目の画像ＩｉをＭ×Ｍ個の領域Ｈｋ（１≦ｋ≦Ｍ×Ｍ）に分割するものとする。換言すると、制御部９ａは、画像Ｉｉの分類結果として、Ｍ×Ｍ個の領域Ｈｋ各々が胃粘膜クラス、絨毛クラス、便クラス、泡クラス及び不明クラスからなる５つのクラスのいずれかに分類されたような分類結果を得るものであるとする。
【０１７２】
制御部９ａは、画像Ｉｉについての分類結果を得た後、Ｍ×Ｍ個の領域Ｈｋ各々におけるＧ（緑）画素の濃度値の平均値ｇａｋを算出する（図２６のステップＳ８２）。そして、制御部９ａは、領域ＨｋにおけるＧ画素の濃度値の平均値ｇａｋと、領域Ｈｋに隣接する領域Ｈｋｔ（ｔ≦８）各々におけるＧ画素の濃度値の平均値ｇａｋｔとに基づき、Ｇ画素の濃度値の変動量Ｇｂｔを下記数式（１４）により算出する（図２６のステップＳ８３）。
【０１７３】
Ｇｂｔ＝ｌｏｇ（ｇａｋｔ）−ｌｏｇ（ｇａｋ） ・・・（１４）
制御部９ａは、上記数式（１４）により得られた、領域Ｈｋｔ各々におけるＧｂｔの値のうち、最大のものを最大値Ｇｂｍとし、また、領域Ｈｋｔのうち、最大値Ｇｂｍを与える領域Ｈｋｔｍが、領域Ｈｋに対して存在する方向をｄｉｒＧｂｍとした後、これら２つを領域Ｈｋのエッジ特徴量として保持する（図２６のステップＳ８４）。なお、Ｇ画素の濃度値の変動量の最大値Ｇｂｍを与える領域Ｈｋｔｍが、領域Ｈｋに対して存在する方向は、図２９に示す方向１から方向８のうち、いずれか１つの方向として決定されるものであるとする。
【０１７４】
その後、制御部９ａは、最大値Ｇｂｍと、閾値ｔｈｒｅ１との比較を行い（図２６のステップＳ８５）、最大値Ｇｂｍが閾値ｔｈｒｅ１よりも大きい場合、領域Ｈｋには画像Ｉｉにおけるエッジが存在すると判定し（図２６のステップＳ８６）、また、最大値Ｇｂｍが閾値ｔｈｒｅ１以下である場合、領域Ｈｋには画像Ｉｉにおけるエッジが存在しないと判定する（図２６のステップＳ８７）。なお、本実施形態においては、閾値ｔｈｒｅ１の値は、例えば０．３であるとする。そして、制御部９ａは、領域番号ｋの値に１を加えつつ、（Ｍ×Ｍ）個の領域Ｈｋ全てに対して、図２６のステップＳ８３からステップＳ８７に示す、上記数式（１４）を用いた処理を繰り返し行うことにより、画像Ｉｉにおいてエッジが存在する領域を特定する（図２６のステップＳ８８およびステップＳ８９）。
【０１７５】
なお、以上に述べたような、画像Ｉｉにおけるエッジを検出するための処理を行う以前の段階において、制御部９ａは、画像Ｉｉに対する前処理として、例えば、逆ガンマ補正、シェーディング補正等の処理を行うものであっても良い。
【０１７６】
制御部９ａは、（Ｍ×Ｍ）個の領域Ｈｋ全てに対して前述したような処理を行うことにより、画像Ｉｉにおいてエッジが存在する領域を特定した後、領域Ｈｋを中心領域とする、Ｍ１×Ｍ１（Ｍ１≦Ｍ）個の領域からなる配置評価領域を取得する（図２７のステップＳ９１）。その後、制御部９ａは、配置評価領域を構成する領域のうち、最外周に存在する領域の数である最外周領域数Ｄを検出する（図２７のステップＳ９２）。また、制御部９ａは、配置評価領域におけるＤ個の最外周領域Ｈｋｌ各々において、領域Ｈｋが存在する方向を向くベクトルであるベクトルＶｌを算出する（図２７のステップＳ９３）。なお、領域Ｈｋと最外周領域Ｈｋｌとの位置関係は、例えば、図３０に示すようなものとなる。
【０１７７】
制御部９ａは、最外周領域Ｈｋｌとして定められた領域各々が有する、エッジ特徴ベクトルの方向を示すｄｉｒＧｂｍと、ベクトルＶｌの方向とに基づき、図３１に示すような、これら２つのベクトルがなす角度θｌを算出する（図２７のステップＳ９４）。その後、制御部９ａは、Ｄ個の最外周領域Ｈｋｌのうち、図２６のステップＳ８１からステップＳ８９までの処理においてエッジが存在する領域であると判定され、かつ、θｌ≦ｔｈｒｅ２となる領域数Ｅを検出する（図２７のステップＳ９５）。なお、本実施形態においては、閾値ｔｈｒｅ２の値は、例えば４５°であるとする。
【０１７８】
そして、制御部９ａは、Ｅ／Ｄの値を算出し、Ｅ／Ｄの値が閾値ｔｈｒｅ３よりも大きい場合（図２７のステップＳ９６）、領域Ｈｋを、画像Ｉｉにおいて出血部が存在する可能性のある、出血部候補領域であると判定する（図２７のステップＳ９７）。また、制御部９ａは、Ｅ／Ｄの値が閾値ｔｈｒｅ３よりも大きい場合（図２７のステップＳ９６）、図２６のステップＳ８１からステップＳ８９までの処理においてエッジが存在する領域であると判定され、かつ、θｌ≦ｔｈｒｅ２を満たすＥ個の最外周領域Ｈｋｌを、出血部のエッジが存在する可能性のある、出血部エッジ候補領域であると判定する（図２７のステップＳ９７）。
【０１７９】
なお、本実施形態においては、閾値ｔｈｒｅ３の値は、例えば０．７であるとする。そして、制御部９ａは、領域番号ｋの値に１を加えつつ、（Ｍ×Ｍ）個の領域Ｈｋ全てに対して、図２７のステップＳ９１からステップＳ９７に示す、上記数式（１４）を用いた処理を繰り返し行うことにより、画像Ｉｉにおいて、出血部が存在する領域の候補と、出血部のエッジが存在する領域の候補とを特定する（図２７のステップＳ９８およびステップＳ９９）。
【０１８０】
制御部９ａは、（Ｍ×Ｍ）個の領域Ｈｋ全てに対して前述したような処理を行うことにより、画像Ｉｉにおける出血部候補領域と、出血部エッジ候補領域とを特定した後、出血部候補領域の領域数Ｈを検出する（図２８のステップＳ１０１）。その後、制御部９ａは、各々の出血部候補領域に対応する、Ｅ個の出血部エッジ候補領域を検出する（図２８のステップＳ１０２）。
【０１８１】
そして、制御部９ａは、出血部候補領域としての領域Ｈｋに対応する、出血部エッジ候補領域としての最外周領域Ｈｋｌにおいて、領域Ｈｋｌとして定められた領域が有するＧ画素の濃度値の平均値ｇａｋｌと、領域Ｈｋｌに隣接する領域Ｈｋｌｔ（ｔ≦８）各々におけるＧ画素の濃度値の平均値ｇａｋｌｔとに基づき、Ｇ画素の濃度値の変動量Ｇｂｌｔを下記数式（１５）により算出する（図２８のステップＳ１０３）。
【０１８２】
Ｇｂｌｔ＝ｌｏｇ（ｇａｋｌｔ）−ｌｏｇ（ｇａｋｌ） ・・・（１５）
また、制御部９ａは、出血部候補領域としての領域Ｈｋに対応する、出血部エッジ候補領域としての最外周領域Ｈｋｌにおいて、領域Ｈｋｌとして定められた領域におけるＲ（赤）画素の濃度値の平均値ｒａｋｌと、領域Ｈｋｌに隣接する領域Ｈｋｌｔ（ｔ≦８）各々におけるＲ画素の濃度値の平均値ｒａｋｌｔとを算出する。そして、制御部９ａは、平均値ｒａｋｌと、平均値ｒａｋｌｔと基づき、Ｒ画素の濃度値の変動量Ｒｂｌｔを下記数式（１６）により算出する（図２８のステップＳ１０４）。
【０１８３】
Ｒｂｌｔ＝ｌｏｇ（ｒａｋｌｔ）−ｌｏｇ（ｒａｋｌ） ・・・（１６）
制御部９ａは、領域Ｈｋｌとして定められた領域が有する最大値Ｇｂｍと、方向ｄｉｒＧｂｍにおける変動量Ｒｂｌｔとに基づき、カラーエッジ特徴量としてのＧｂｍ／Ｒｂｌｔの値を算出する。その後、制御部９ａは、Ｅ個の領域Ｈｋｌのうち、Ｇｂｍ／Ｒｂｌｔ＞ｔｈｒｅ４となる領域数Ｆを検出する（図２８のステップＳ１０５）。なお、本実施形態においては、閾値ｔｈｒｅ４の値は、例えば１．０であるとする。また、本実施形態においては、制御部９ａが行う処理においてカラーエッジ特徴量として用いる値はＧｂｍ／Ｒｂｌｔの値に限るものではない。制御部９ａは、前述した処理において、例えば、変動量Ｒｂｌｔと略同様の方法により算出したＢ画素の濃度値の変動量Ｂｂｌｔに基づき、Ｇｂｍ／Ｂｂｌｔの値をカラーエッジ特徴量として用いるものであっても良い。
【０１８４】
そして、制御部９ａは、Ｆ／Ｅの値を算出し、Ｆ／Ｅの値が閾値ｔｈｒｅ５よりも大きい場合（図２８のステップＳ１０６）、領域Ｈｋを画像Ｉｉにおける出血部であると判定し、また、領域Ｈｋｌを領域Ｈｋに対応する出血部エッジ領域として判定する（図２８のステップＳ１０７）。また、制御部９ａは、Ｆ／Ｅの値が閾値ｔｈｒｅ５以下である場合（図２８のステップＳ１０６）、領域Ｈｋを出血部ではないと判定する（図２８のステップＳ１０８）。なお、本実施形態においては、閾値ｔｈｒｅ５の値は、例えば０．７であるとする。そして、制御部９ａは、出血部候補領域として検出したＨ個の領域Ｈｋ全てに対して、図２８のステップＳ１０１からステップＳ１０８に示す処理を繰り返し行うことにより、画像Ｉｉにおいて、出血部が存在する領域と、出血部のエッジが存在する領域とを特定する（図２８のステップＳ１０９およびステップＳ１１０）。
【０１８５】
さらに、制御部９ａは、画像Ｉｉにおける出血部が存在する領域を特定すると、図２６のステップＳ８１の処理において得た、画像Ｉｉについての分類結果を参照することにより、出血部が存在する領域として特定した領域Ｈｋを、どのクラスに分類したかを検出する（図２８のステップＳ１１１）。そして、制御部９ａは、出血部が存在する領域として特定した領域Ｈｋが胃粘膜クラス、絨毛クラスまたは不明クラスのいずれかとして分類されていることを検出した場合（図２８のステップＳ１１２）、画像Ｉｉにおける領域Ｈｋの分類結果は正しいものであると判定する（図２８のステップＳ１１３）。また、制御部９ａは、出血部が存在する領域として特定した領域Ｈｋが便クラスまたは泡クラスとして分類されていることを検出した場合（図２８のステップＳ１１２）、画像Ｉｉにおける領域Ｈｋの分類結果は誤りであると判定する（図２８のステップＳ１１４）。なお、制御部９ａは、出血部が存在する領域として特定した領域Ｈｋが不明クラスとして分類されていることを検出した場合については、領域Ｈｋの分類結果についての正誤の判定を行わず、例えば、「病変部位が撮像されている可能性のある領域」として別途判定を行うものであっても良い。
【０１８６】
その後、制御部９ａは、入力された画像Ｉｉ全てについて、前述したような処理を行ったかどうかを判定し（図２８のステップＳ１１５）、全ての画像について処理が行われていない場合、次の画像Ｉｉ＋１に対し、図２５のステップＳ７１からの一連の処理を行う（図２８のステップＳ１１６）。また、制御部９ａは、入力された画像Ｉｉ全てについて前述したような処理を行った場合、処理を完了する（図２８のステップＳ１１７）。
【０１８７】
以上に述べたように、本実施形態における画像処理方法を用いた場合、第２の実施形態において述べた効果と同様の効果として、カプセル型内視鏡装置１を用いた観察の効率化をはかることができるような効果を得ることができる。
【０１８８】
また、本実施形態における画像処理方法を用いた場合、端末装置７の制御部９ａは、画像Ｉｉ内の出血部が存在する領域Ｈｋを特定した後、予め得た画像Ｉｉの領域Ｈｋの分類結果に対して正誤判定を行うような処理を行う。そのため、端末装置７の制御部９ａは、本実施形態における画像処理方法を用いることにより、例えば、便等の異物の像が撮像されている領域に、病変部位としての出血部位が存在するといったような、出血部位の誤検出を防ぐことができ、その結果、従来に比べ、より信頼性の高い病変部位の検出結果を得ることができる。
【０１８９】
［付記］
以上詳述したような本発明の前記実施形態によれば、以下のような構成を得ることができる。
【０１９０】
（付記項１）
複数の色信号からなる医用画像を入力する画像入力ステップと、
前記入力された医用画像を複数の領域に分割する領域分割ステップと、
前記分割された各領域から特徴量を算出する特徴量算出ステップと、
前記特徴量に基づき各領域を分類する領域分類ステップとからなる画像処理方法であって、
前記領域分類ステップは前記領域が生体粘膜表面を撮像した領域であるか否かに基づき分類を行うことを特徴とする画像処理方法。
【０１９１】
（付記項２）
複数の色信号からなる医用画像を入力する画像入力ステップと、
前記入力された医用画像を複数の領域に分割する領域分割ステップと、
前記分割された各領域から特徴量を算出する特徴量算出ステップと、
前記特徴量に基づき各領域を分類する領域分類ステップとからなる画像処理方法であって、
前記領域分類ステップは前記領域が生体粘膜表面を撮像した領域と、生体内に存在する異物を撮像した領域と、いずれにも分類することができない領域とに基づく分類を行うことを特徴とする画像処理方法。
【０１９２】
（付記項３）
複数の色信号からなる医用画像を入力する画像入力ステップと、
前記入力された医用画像を複数の領域に分割する領域分割ステップと、
前記分割された各領域から特徴量を算出する特徴量算出ステップと、
前記特徴量に基づき各領域を複数の異なるクラスのいずれかに分類する領域分類ステップと、
前記複数のクラスにおいて混在することを許さない排他クラスの組み合わせを設定する排他クラス設定ステップと、
前記医用画像において前記排他クラスの組み合わせのいずれのクラスを優先するかを設定する優先クラス設定ステップとからなる画像処理方法であって、
前記領域分類ステップは前記領域が前記排他クラス設定ステップで設定された排他クラスの組み合わせのいずれかのクラスに分類し得る場合、前記優先クラス設定ステップで設定されたクラスに分類することを特徴とする画像処理方法。
【０１９３】
（付記項４）
前記領域分類ステップによる各領域の分類結果に基づき前記医用画像が生体粘膜表面を
撮像したか否かを判定する判定ステップをさらに備えることを特徴とする付記項１乃至付記項３のいずれか一に記載の画像処理方法。
【０１９４】
（付記項５）
前記判定ステップは前記領域分類ステップによる各領域の分類において生体粘膜表面を撮像したと分類された領域が前記医用画像に対し十分大きな割合を占めた場合に生体粘膜表面を撮像したものと判定することを特徴とする付記項４に記載の画像処理方法。
【０１９５】
（付記項６）
前記領域分割ステップは前記医用画像を矩形に分割することを特徴とする付記項１乃至付記項５のいずれか一に記載の画像処理方法。
【０１９６】
（付記項７）
前記特徴量算出ステップは前記分割された各領域における色調または模様に基づく特徴量を算出することを特徴とする付記項１乃至付記項６のいずれか一に記載の画像処理方法。
【０１９７】
（付記項８）
前記領域分類ステップは識別器による識別ステップを含み前記算出された特徴量に基づく識別分類を行うことを特徴とする付記項１乃至付記項７のいずれか一に記載の画像処理方法。
【０１９８】
（付記項９）
前記領域分類ステップは統計的識別器は正規確率密度関数に基づく識別を行うことを特徴とする付記項８に記載の画像処理方法。
【０１９９】
（付記項１０）
前記領域分類ステップは前記正規確率密度関数における平均値からの距離に基づく識別を行うことを特徴とする付記項９に記載の画像処理方法。
【０２００】
（付記項１１）
前記医用画像はＲ、Ｇ及びＢの３プレーンから構成されるとともに、前記特徴量算出手段はＲ、Ｇ及びＢの比率に基づく特徴量を算出することを特徴とする付記項１乃至付記項１０のいずれか一に記載の画像処理方法。
【０２０１】
（付記項１２）
前記医用画像はＲ、Ｇ及びＢの３プレーンから構成されるとともに、前記特徴量算出手段はＲ、Ｇ及びＢの変動の大きさに基づく特徴量を算出することを特徴とする付記項１乃至付記項１１のいずれか一に記載の画像処理方法。
【０２０２】
（付記項１３）
前記領域分類ステップは前記分割された各領域を生体粘膜表面として少なくとも胃粘膜及び小腸粘膜表面のいずれかに分類することを特徴とする付記項１乃至付記項１２のいずれか一に記載の画像処理方法。
【０２０３】
（付記項１４）
前記領域分類ステップは前記分割された各領域を少なくとも液体、泡または便を生体粘膜表面ではないものとして分類することを特徴とする付記項１乃至付記項１３のいずれか一に記載の画像処理方法。
【０２０４】
（付記項１５）
前記医用画像はカプセル型内視鏡装置による撮像画像であることを特徴とする付記項１乃至付記項１４のいずれか一に記載の画像処理方法。
【０２０５】
（付記項１６）
前記医用画像は内視鏡装置による撮像画像であることを特徴とする付記項１乃至付記項１５のいずれか一に記載の画像処理方法。
【０２０６】
（付記項１７）
複数の色信号からなる医用画像を入力する画像入力ステップと、
前記入力された医用画像を複数の領域に分割する領域分割ステップと、
前記分割された各領域から特徴量を算出する特徴量算出ステップと、
前記特徴量に基づき各領域を分類する領域分類ステップと、
前記領域分類ステップにおける分類結果に基づき撮像臓器を推定する撮像臓器推定ステップとからなることを特徴とする画像処理方法。
【０２０７】
（付記項１８）
複数の色信号からなる医用画像を入力する画像入力手段と、
前記医用画像を記憶する記憶手段と、
前記医用画像を表示する表示手段とを備えるとともに、
前記入力された医用画像が生体粘膜を十分に撮像したか否かを判定する判定手段と、
前記判定手段における判定結果に基づき前記医用画像の表示または記憶の少なくとも１つを制御する制御手段と、
を備えたことを特徴とする画像処理装置。
【０２０８】
（付記項１９）
前記制御手段は前記判定手段により生体粘膜を十分に撮像していないと判定された前記医用画像を表示しないよう制御することを特徴とする付記項１８記載の画像処理装置。
【０２０９】
（付記項２０）
前記制御手段は前記判定手段により生体粘膜を十分に撮像していないと判定された前記医用画像を記憶しないよう制御することを特徴とする付記項１８または付記項１９に記載の画像処理装置。
【０２１０】
（付記項２１）
前記記憶手段に記憶された前記医用画像を削除する画像削除手段を備え、
前記画像削除手段は前記判定手段により生体粘膜を十分に撮像していないと判定された
前記医用画像を削除することを特徴とする付記項１８乃至付記項２０のいずれか一に記載の画像処理装置。
【０２１１】
（付記項２２）
複数の色信号からなる複数の医用画像を入力する画像入力手段と、
前記医用画像を記憶する記憶手段と、
前記医用画像を表示する表示手段と、
前記医用画像の中から病変の存在が疑われる画像を検出する検出手段とを備えるとともに、
前記入力された医用画像に対し領域を設定する領域設定手段と、
前記領域設定手段により設定された領域が生体粘膜を撮像した領域であるか否かを判定する領域判定手段と、
前記領域判定手段における判定結果に基づき前記検出手段による検出結果が正しいか否かを判定する検出結果判定手段とを備えたことを特徴とする画像処理装置。
【０２１２】
（付記項２３）
前記検出手段は前記医用画像において病変の存在が疑われる領域を検出するとともに、前記検出結果判定手段は前記検出された領域が前記領域判定手段において生体粘膜を撮像した領域である場合に検出結果が正しいと判定することを特徴とする付記項２２に記載の画像処理装置。
【０２１３】
（付記項２４）
時間的に連続して撮像された複数の医用画像を入力する画像入力手段と、
前記医用画像を記憶する記憶手段と、
前記医用画像を表示する画像表示手段とを備えるとともに、
前記医用画像に複数の領域を設定する領域設定手段と、
前記領域設定手段により設定された各領域における撮像対象を判定する判定手段と、
前記判定手段に基づき前記医用画像に撮像されている臓器を特定する特定手段と、
前記特定手段における特定結果を表示する特定結果表示手段とを備えたことを特徴とする画像処理装置。
【０２１４】
（付記項２５）
前記判定手段は前記領域の撮像対象として生体粘膜であるか否か及びその種類を判定することを特徴とする付記項２４に記載の画像処理装置。
【０２１５】
（付記項２６）
前記生体粘膜は胃粘膜または小腸粘膜であることを特徴とする付記項１８乃至付記項２５のいずれか一に記載の画像処理装置。
【０２１６】
（付記項２７）
付記項１乃至付記項１７に記載の画像処理方法及び請求項１８乃至請求項２６に記載の画像処理装置のうち、いずれか一を実現するためのプログラム。
【０２１７】
（付記項２８）
撮像機能を有する医療機器により撮像された画像に基づく画像信号を入力する画像信号入力手段において入力した画像信号に基づいて当該医療機器で撮像された画像を複数の領域に分割する画像分割ステップと、
前記画像分割ステップにより分割された複数の領域各々における特徴量を算出する特徴量算出ステップと、
前記特徴量算出ステップにおいて算出された特徴量に基づき、前記複数の領域を複数のクラスのいずれかに各々分類する領域分類ステップと、
前記領域分類ステップによる分類結果に基づいて、前記複数のクラスの内、所定のクラスに分類された領域群が前記複数の領域に占める割合を算出する分類判定値算出ステップと、
前記分類判定値算出ステップにより算出された前記割合と、所定の閾値とに基づき、前記領域群を有する前記画像を分類する画像分類ステップと、
を有することを特徴とする画像処理方法。
【０２１８】
（付記項２９）
前記所定のクラスは、胃粘膜クラス、絨毛クラス及び便クラスのうち、少なくとも一のクラスを有することを特徴とする付記項２８に記載の画像処理方法。
【０２１９】
（付記項３０）
前記複数の領域は、複数の矩形領域であることを特徴とする付記項２８または付記項２９に記載の画像処理方法。
【０２２０】
（付記項３１）
前記特徴量は、前記画像の前記複数の領域各々における色調情報及びテクスチャ情報からなることを特徴とする付記項２８乃至付記項３０のいずれか一に記載の画像処理方法。
【０２２１】
（付記項３２）
前記領域分類ステップは、前記特徴量算出ステップにおいて算出された前記特徴量に関する識別器を用いて、前記複数の領域を前記複数のクラスのいずれかに各々分類することを特徴とする付記項２８乃至付記項３１のいずれか一に記載の画像処理方法。
【０２２２】
（付記項３３）
前記統計的識別器は、前記特徴量の平均値及び前記特徴量に関する分散共分散行列を前記母数とし、かつ、正規確率密度関数を用いた識別を行うことを特徴とする付記項３２に記載の画像処理方法。
【０２２３】
（付記項３４）
前記正規確率密度関数を用いた前記識別は、前記平均値に基づく閾値を用いて行われることを特徴とする付記項３３に記載の画像処理方法。
【０２２４】
（付記項３５）
前記画像は、赤、緑及び青の３プレーンからなり、前記特徴量は、前記画像の前記複数の領域各々における赤の濃度値、緑の濃度値及び青の濃度値の比率に基づく値を有することを特徴とする付記項２８乃至付記項３４のいずれか一に記載の画像処理方法。
【０２２５】
（付記項３６）
前記画像は、赤、緑及び青の３プレーンからなり、前記特徴量は、前記画像の前記複数の領域各々における赤の濃度値、緑の濃度値及び青の濃度値の変動の大きさに基づく値を有することを特徴とする付記項２８乃至付記項３５のいずれか一に記載の画像処理方法。
【０２２６】
（付記項３７）
前記複数のクラスは、胃粘膜クラス及び絨毛クラスのうち、少なくとも一方のクラスを有することを特徴とする付記項２８乃至付記項３６のいずれか一に記載の画像処理方法。
【０２２７】
（付記項３８）
前記複数のクラスは、便クラス及び泡クラスのうち、少なくとも一方のクラスを有することを特徴とする付記項２８乃至付記項３７のいずれか一に記載の画像処理方法。
【０２２８】
（付記項３９）
前記医療機器は、カプセル型内視鏡装置であることを特徴とする付記項２８乃至付記項３８のいずれか一に記載の画像処理方法。
【０２２９】
（付記項４０）
前記医療機器は、内視鏡装置であることを特徴とする付記項２８乃至付記項３９のいずれか一に記載の画像処理方法。
【０２３０】
（付記項４１）
前記画像分類ステップにおいては、前記画像は参照値に関連付けて保持され、
さらに、前記参照値の値に基づいて前記画像を表示するか否かを決定する画像表示制御ステップを有することを特徴とする付記項２８乃至付記項４０のいずれか一に記載の画像処理方法。
【０２３１】
（付記項４２）
前記画像分類ステップにおいては、前記画像は参照値に関連付けて保持され、
さらに、前記参照値の値に基づいて前記画像を削除するか否かを決定する画像削除制御ステップを有することを特徴とする付記項２８乃至付記項４０のいずれか一に記載の画像処理方法。
【０２３２】
（付記項４３）
前記画像分類ステップは、前記領域群を有する前記画像を、前記所定のクラスに関連した被写体が撮像された画像であるとして分類することを特徴とする付記項２８乃至付記項４０のいずれか一に記載の画像処理方法。
【０２３３】
（付記項４４）
撮像機能を有する医療機器により撮像された画像に基づく画像信号を入力する画像信号入力手段において入力した画像信号に基づいて当該医療機器で撮像された画像を複数の領域に分割する画像分割ステップと、
前記画像分割ステップにより分割された複数の領域各々における特徴量を算出する特徴量算出ステップと、
前記特徴量算出ステップにおいて算出された特徴量に基づき、前記複数の領域を複数のクラスのいずれかに各々分類する第１の領域分類ステップと、
前記第１の領域分類ステップによる分類結果に基づいて、前記複数のクラスの内、第１のクラスに分類された領域群が前記複数の領域に占める割合を算出する分類判定値算出ステップと、
前記分類判定値算出ステップにより算出された前記割合と、所定の閾値とに基づき、前記第１のクラスに分類された前記領域群を、第２のクラスとして排他的に置換して再分類する第２の領域分類ステップと、
を有することを特徴とする画像処理方法。
【０２３４】
（付記項４５）
付記項２８乃至付記項４４のいずれか一に記載の画像処理方法に基づく動作を行う画像処理装置。
【０２３５】
（付記項４６）
付記項２８乃至付記項４４のいずれか一に記載の画像処理方法に基づく動作を画像処理装置に行わせるためのプログラム。
【０２３６】
（付記項４７）
撮像機能を有する医療機器により撮像された画像に基づく画像信号を入力する画像信号入力手段と、
前記画像信号入力手段において入力した画像信号に基づき、当該医療機器により撮像された画像を複数の領域に分割する画像分割手段と、
前記画像分割手段により分割された複数の領域各々における特徴量を算出する特徴量算出手段と、
前記特徴量算出手段において算出された特徴量に基づき、前記複数の領域を複数のクラスのいずれかに各々分類する領域分類手段と、
前記領域分類手段による分類結果に基づいて、前記複数のクラスの内、所定のクラスに分類された領域群が前記複数の領域に占める割合を算出する分類判定値算出手段と、
前記分類判定値算出手段により算出された前記割合と、所定の閾値とに基づき、前記領域群を有する前記画像を分類する画像分類手段と、
を具備したことを特徴とする画像処理装置。
【０２３７】
（付記項４８）
前記所定のクラスは、胃粘膜クラス、絨毛クラス及び便クラスのうち、少なくとも一のクラスを有することを特徴とする付記項４７に記載の画像処理装置。
【０２３８】
（付記項４９）
前記画像分類手段は、前記領域群を有する前記画像を、前記所定のクラスに関連した被写体が撮像された画像であるとして分類することを特徴とする付記項４７または付記項４８に記載の画像処理装置。
【０２３９】
（付記項５０）
撮像機能を有する医療機器で撮像された画像に基づく画像信号を入力する画像信号入力手段と、
前記画像信号入力手段において入力した画像信号に基づいて当該医療機器で撮像された画像を複数の領域に分割する画像分割手段と、
前記画像分割手段により分割された複数の領域各々における特徴量を算出する特徴量算出手段と、
前記特徴量算出手段において算出された特徴量に基づき、前記複数の領域を複数のクラスのいずれかに各々分類する第１の領域分類手段と、
前記第１の領域分類手段による分類結果に基づいて、前記複数のクラスの内、第１のクラスに分類された領域群が前記複数の領域に占める割合を算出する分類判定値算出手段と、
前記分類判定値算出手段により算出された前記割合と、所定の閾値とに基づき、前記第１のクラスに分類された前記領域群を、第２のクラスとして排他的に置換して再分類する第２の領域分類手段と、
を具備したことを特徴とする画像処理装置。
【０２４０】
（付記項５１）
前記画像分類手段は、前記画像を参照値に関連付けて保持し、
さらに、前記参照値の値に基づいて前記画像を表示手段に表示するか否かを決定する画像表示制御手段を有することを特徴とする付記項４７または付記項４８に記載の画像処理装置。
【０２４１】
（付記項５２）
前記画像分類手段は、前記画像を参照値に関連付けて保持し、
さらに、前記参照値の値に基づいて前記画像を削除するか否かを決定する画像削除制御手段を有することを特徴とする付記項４７または付記項４８に記載の画像処理装置。
【図面の簡単な説明】
【０２４２】
【図１】本発明の第１の実施形態である画像処理動作が行われる画像処理装置および周辺機器の外観を示した外観正面図。
【図２】本実施形態の画像処理装置において処理する所定の画像情報を生成するカプセル型内視鏡の一部を切り取って示した要部拡大断面図。
【図３】本実施形態の画像処理装置に所定の画像情報を供給するカプセル型内視鏡装置の概略内部構成を示すブロック図。
【図４】本実施形態の画像処理装置に所定の画像情報を供給するカプセル型内視鏡装置の一使用例を示した図。
【図５】図２に示すカプセル型内視鏡から出力される信号の一例を示したタイミングチャート。
【図６】図２に示すカプセル型内視鏡の位置検出を説明する説明図。
【図７】図３に示すカプセル型内視鏡装置を使用した際におけるアンテナユニットを示した要部拡大断面図。
【図８】図３に示すカプセル型内視鏡装置を使用した際におけるシールドジャケットを説明する説明図。
【図９】図３に示すカプセル型内視鏡装置の外部装置の被検体への装着状態を説明する説明図。
【図１０】図２に示すカプセル型内視鏡の電気的な構成を示すブロック図。
【図１１】第１の実施形態に係る画像処理動作を示すフローチャート。
【図１２】第１の実施形態に係る画像処理動作において、入力された画像が（ｍ×ｎ）個の領域に分割される際の一例を示す図。
【図１３】教師データを構成する複数の画像のうち、胃粘膜の画像の一例を示す図。
【図１４】データを構成する複数の画像のうち、絨毛の画像の一例を示す図。
【図１５】教師データを構成する複数の画像のうち、便の画像の一例を示す図。
【図１６】教師データを構成する複数の画像のうち、泡の画像の一例を示す図。
【図１７】カプセル型内視鏡により撮像された体腔内の像の画像の一例を示す模式図。
【図１８】図１７に示す画像の分類結果の一例を示す図。
【図１９】第１の実施形態に係る画像処理動作において、図１１とは異なる画像処理方法を示すフローチャート。
【図２０】ディスプレイに表示されるビュワーの画像のうち、メインメニュー画面の一例を示す図。
【図２１】第２の実施形態に係る画像処理動作を示すフローチャート。
【図２２】第３の実施形態に係る画像処理動作を示すフローチャート。
【図２３】第４の実施形態に係る画像処理動作を示すフローチャート。
【図２４】第５の実施形態に係る画像処理動作の一部を示すフローチャート。
【図２５】第５の実施形態に係る画像処理動作の一部として、図２４のフローチャートに示す処理が行われた後に行われる、画像の表示制御動作を示すフローチャート。
【図２６】第６の実施形態に係る画像処理動作の一部を示すフローチャート。
【図２７】図２６の処理に引き続いて行われる、第６の実施形態に係る画像処理動作の一部を示すフローチャート。
【図２８】図２７の処理に引き続いて行われる、第６の実施形態に係る画像処理動作の一部を示すフローチャート。
【図２９】第６の実施形態に係る画像処理動作において、エッジ特徴ベクトルを決定する際に指標となる８つの方向を示す図。
【図３０】第６の実施形態に係る画像処理動作において設定される、中心領域と最外周領域との位置関係を示す図。
【図３１】第６の実施形態に係る画像処理動作において設定される、エッジ特徴ベクトルの方向と、ベクトルＶｌの方向とがなす角度を示す図。
【符号の説明】
【０２４３】
１・・・カプセル型内視鏡装置、２・・・患者、３・・・カプセル型内視鏡、３Ｄ・・・カプセル本体、４・・・アンテナユニット、５・・・外部装置、５Ｄ・・・本体部、６・・・クレードル、７・・・端末装置、８ａ・・・キーボード、８ｂ・・・マウス、８ｃ・・・ディスプレイ、９・・・端末本体、９ａ・・・制御部、１０・・・ジャケット、１１，１１ａ，１１ｂ，１１ｃ，１１ｄ・・・受信アンテナ、１２・・・液晶モニタ、１３・・・操作部、１４・・・外装部材、１４ａ・・・カバー部材、１５・・・対物レンズ、１６・・・レンズ枠、１７・・・電荷結合素子、１７Ａ・・・ＣＣＤドライバ、１８・・・ＬＥＤ、１８Ａ・・・ＬＥＤドライバ、１９，１９Ａ・・・処理回路、１９Ｂ・・・タイミングジェネレータ、１９Ｃ，１９Ｄ，１９Ｅ・・・スイッチ、２０・・・通信処理回路、２１・・・電池、２３・・・送信アンテナ、 ３３・・・受信回路、３５・・・信号処理回路、３７・・・送信器、４３・・・撮像装置、４５・・・アンテナ切換スイッチ、４６・・・アンテナ選択回路、４７・・・メモリ、７２・・・シールドジャケット、７３・・・ベルト、７４・・・鍵穴、 ７５・・・鍵、１０１・・・メイン画面、１０２・・・画像表示部、１０３・・・検査情報表示部、１０４・・・画像情報表示部、１０５・・・画像表示制御部、１０６・・・スライダ、１０７・・・案内表示部
【技術分野】
【０００１】
本発明は、画像処理方法、画像処理装置及びプログラムに関し、特に、生体粘膜表面の像が良好に撮像されていない画像を除外することができる画像処理方法、画像処理装置及びプログラムに関するものである。
【背景技術】
【０００２】
従来、医療分野において、Ｘ線、ＣＴ、ＭＲＩ、超音波観測装置及び内視鏡装置等の画像撮像機器を用いた観察が広く行われている。このような画像撮像機器のうち、内視鏡装置は、例えば、生体としての体腔内に挿入される細長の挿入部を有し、該挿入部の先端部に配置された対物光学系により結像した体腔内の像を固体撮像素子等の撮像手段により撮像して撮像信号として出力し、該撮像信号に基づいてモニタ等の表示手段に体腔内の像の画像を表示するという作用及び構成を有する。そして、ユーザは、モニタ等の表示手段に表示された体腔内の像の画像に基づき、例えば、体腔内における臓器等の観察を行う。また、内視鏡装置は、消化管粘膜の像を直接的に撮像することが可能である。そのため、ユーザは、例えば、粘膜の色調、病変の形状及び粘膜表面の微細な構造等の様々な所見を総合的に観察することができる。
【０００３】
そして、近年、前述したような内視鏡装置と略同様の有用性が期待できる画像撮像機器として、例えば、カプセル型内視鏡装置が提案されている。一般的に、カプセル型内視鏡装置は、被検者が口から飲み込むことにより体腔内に配置され、撮像した該体腔内の像を撮像信号として外部に送信するカプセル型内視鏡と、送信された該撮像信号を体腔外で受信した後、受信した該撮像信号を蓄積するレシーバと、レシーバに蓄積された撮像信号に基づく体腔内の像の画像を観察するための観察装置とから構成される。
【０００４】
カプセル型内視鏡装置を構成するカプセル型内視鏡は、消化管の蠕動運動により進むため、例えば、口から体腔内に入れられた後、肛門から排出されるまで数時間程度の時間がかかることが一般的である。そして、カプセル型内視鏡は、体腔内に入れられた後、排出されるまでの間、レシーバに対して撮像信号を略常時出力し続けるため、例えば、数時間分の動画像における、レシーバに蓄積されたフレーム画像としての静止画像の枚数は膨大なものとなる。そのため、ユーザによる観察の効率化という点において、例えば、蓄積された画像のうち、出血部位等の病変部位が含まれる所定の画像を検出するような画像処理方法が行われた上において、該所定の画像以外の画像を表示または記憶しないという処理が行われることにより、画像のデータ量が削減されるような提案が望まれている。
【０００５】
前述したような画像処理方法としては、例えば、特許文献１に記載されているようなものがある。特許文献１に記載されている、生体内での比色分析の異常を検出するための方法は、正常粘膜と出血部位との色調の違いに着目し、色調を特徴量と設定した特徴空間における各平均値からの距離に基づき、画像の分割領域毎に出血部位の検出を行う方法、すなわち、病変部位としての出血部位が含まれる所定の画像を検出するための方法を有する画像処理方法である。
【０００６】
【特許文献１】ＰＣＴ ＷＯ ０２／０７３５０７ Ａ２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかし、特許文献１に記載されている画像処理方法においては、以下に記すような課題がある。
【０００８】
一般に、消化管においては、常に生体粘膜表面の像のみの撮像が行われている訳ではなく、例えば、便、泡、粘液または食物残渣等の異物の像と、生体粘膜表面の像とが混在した状態において撮像が行われている。そのため、前述したような異物の存在を考慮していない特許文献１に記載されている画像処理方法においては、例えば、該異物により正常粘膜を出血部位と誤検出してしまう可能性、及び該異物の像が大部分を占めるような画像を検出する可能性が考えられる。その結果、ユーザによる観察の効率化をはかることができないという課題が生じている。
【０００９】
本発明は、前述した点に鑑みてなされたものであり、例えば、生体粘膜表面の像としての胃粘膜及び絨毛の像と、異物の像としての便及び泡の像とを画像の小領域毎に識別して分類することにより、画像の小領域の多くを異物の像が占めるような、生体粘膜表面の像が良好に撮像されていない画像を、観察不要の画像として容易に除外することができ、さらに、前記分類結果に基づいて撮像された臓器を特定することができ、その結果、ユーザによる観察の効率化をはかることのできる画像処理方法、画像処理装置及びプログラムを提供することを目的としている。
【００１０】
また、本発明は、生体粘膜表面の像として分類された各々の領域に対し、さらに、例えば、前記各々の領域が有する特徴量に基づき、正常な粘膜の像と病変部位の像と分類するような画像処理方法を用いることにより、病変部位の検出精度を高めることができる画像処理方法、画像処理装置及びプログラムを提供することを目的としている。
【課題を解決するための手段】
【００１１】
本発明における第１の画像処理方法は、撮像機能を有する医療機器により撮像された画像を入力する画像入力ステップと、 前記画像を複数の領域に分割する領域分割ステップと、 前記複数の領域各々から特徴量を算出する特徴量算出ステップと、前記特徴量に基づき、前記複数の領域各々を分類する領域分類ステップとを有する画像処理方法であって、前記領域分類ステップは、前記複数の領域各々が生体粘膜表面を撮像した領域であるか否かに基づいて分類を行うことを特徴とする。
【００１２】
本発明における第２の画像処理方法は、撮像機能を有する医療機器により撮像された画像を入力する画像入力ステップと、前記画像を複数の領域に分割する領域分割ステップと、前記複数の領域各々から特徴量を算出する特徴量算出ステップと、前記特徴量に基づき、前記複数の領域各々を分類する領域分類ステップとを有する画像処理方法であって、前記領域分類ステップは、生体粘膜表面を撮像した領域と、生体内に存在する異物を撮像した領域と、前記生体粘膜表面及び前記異物のどちらにも該当しない領域とのいずれかに前記複数の領域各々を分類することを特徴とする。
【００１３】
本発明における第３の画像処理方法は、撮像機能を有する医療機器により撮像された画像を入力する画像入力ステップと、前記画像を複数の領域に分割する領域分割ステップと、前記複数の領域各々から特徴量を算出する特徴量算出ステップと、前記特徴量に基づき、前記複数の領域各々を、複数の異なるクラスのうち、いずれか一のクラスに分類する領域分類ステップと、前記複数の異なるクラスにおいて、前記画像上に混在することを許可しない排他クラスの組み合わせを設定する排他クラス設定ステップと、前記排他クラスの組み合わせのうち、いずれのクラスを優先するかを設定する優先クラス設定ステップとを有する画像処理方法であって、前記領域分類ステップは、前記排他クラス設定ステップで設定された排他クラスの組み合わせのいずれかのクラスに分類された領域が存在する場合、前記領域を前記優先クラス設定ステップにおいて設定されたクラスに分類することを特徴とする。
【００１４】
本発明における第４の画像処理方法は、前記第１乃至第３の画像処理方法において、さらに、前記領域分類ステップにおける前記複数の領域各々の分類結果に基づき、前記画像が生体粘膜表面を撮像したか否かを判定する判定ステップを有することを特徴とする。
【００１５】
本発明における第５の画像処理方法は、前記第４の画像処理方法において、前記判定ステップは、前記領域分類ステップにおける前記複数の領域各々の分類結果に基づき、生体粘膜表面の像であると分類された領域が前記画像において十分大きな割合を占めた場合に、前記画像を生体粘膜表面を撮像した画像であると判定することを特徴とする。
【００１６】
本発明における第６の画像処理方法は、撮像機能を有する医療機器により撮像された画像を入力する画像入力ステップと、前記画像を複数の領域に分割する領域分割ステップと、前記複数の領域各々から特徴量を算出する特徴量算出ステップと、前記特徴量に基づき、前記複数の領域各々を分類する領域分類ステップと、前記領域分類ステップにおける分類結果に基づき、前記医療機器が撮像した臓器を推定する撮像臓器推定ステップとからなることを特徴とする。
【００１７】
本発明における第１の画像処理装置は、撮像機能を有する医療機器により撮像された画像を入力する画像入力手段と、前記画像が生体粘膜を十分に撮像した像であるか否かを判定する判定手段とを有する画像処理装置であって、前記画像処理装置は、前記判定手段における判定結果に基づき、表示手段に対する前記画像の出力制御を行う画像表示制御手段、または、記憶手段に対する前記画像の出力制御を行う画像記憶制御手段のうち、少なくともいずれか一方を有することを特徴とする。
【００１８】
本発明における第２の画像処理装置は、前記第１の画像処理装置において、前記画像表示制御手段は、前記判定手段が生体粘膜を十分に撮像した像ではないと判定した画像を、前記表示手段に表示させないような制御を行うことを特徴とする。
【００１９】
本発明における第３の画像処理装置は、前記第１または第２の画像処理装置において、前記画像記憶制御手段は、前記判定手段が生体粘膜を十分に撮像した像ではないと判定した画像を、前記記憶手段に記憶しないような制御を行うことを特徴とする。
【００２０】
本発明における第４の画像処理装置は、前記第１乃至第３の画像処理装置において、前記画像記憶制御手段は、前記記憶手段に記憶された画像のうち、前記判定手段が生体粘膜を十分に撮像した像ではないと判定した画像を、前記記憶手段から削除するような制御を行うことを特徴とする。
【００２１】
本発明における第５の画像処理装置は、撮像機能を有する医療機器により撮像された複数の画像を入力する画像入力手段と、前記画像を記憶する記憶手段と、前記画像を表示する表示手段と、前記画像の中から病変の存在が疑われる画像を検出する検出手段と、前記画像に対して領域を設定する領域設定手段と、前記領域設定手段により設定された領域が生体粘膜を撮像した領域であるか否かを判定する領域判定手段と、前記領域判定手段における判定結果に基づき、前記検出手段による検出結果が正しいか否かを判定する検出結果判定手段とを有することを特徴とする。
【００２２】
本発明における第６の画像処理装置は、前記第５の画像処理装置において、前記検出手段は、前記領域設定手段により前記画像に対して設定された領域のうち、病変の存在が疑われる領域を検出し、前記検出結果判定手段は、前記検出手段により検出された前記領域が前記領域判定手段において生体粘膜を撮像した領域であると判定された場合に、前記検出手段による検出結果が正しいと判定することを特徴とする。
【００２３】
本発明における第７の画像処理装置は、時間的に連続して撮像された複数の医用画像を入力する画像入力手段と、前記医用画像を記憶する記憶手段と、前記医用画像を表示する表示手段と、前記医用画像に対して領域を設定する領域設定手段と、前記領域設定手段により設定された各領域において、撮像対象を判定する判定手段と、前記判定手段に基づき前記医用画像に撮像されている臓器を特定する特定手段と、前記特定手段における特定結果を表示する特定結果表示手段とを備えたことを特徴とする。
【００２４】
本発明における第８の画像処理装置は、前記第７の画像処理装置において、前記判定手段は、前記各領域の撮像対象として生体粘膜であるか否か及びその種類を判定することを特徴とする。
【００２５】
本発明における第１のプログラムは、コンピュータに、撮像機能を有する医療機器により撮像された画像を入力する画像入力ステップと、前記画像を複数の領域に分割する領域分割ステップと、前記複数の領域各々から特徴量を算出する特徴量算出ステップと、前記特徴量に基づき、前記複数の領域各々を分類する領域分類ステップとを実行させるためのプログラムであって、前記領域分類ステップは、前記複数の領域各々が生体粘膜表面を撮像した領域であるか否かに基づいて分類を行うことを特徴とする。
【００２６】
本発明における第２のプログラムは、コンピュータに、撮像機能を有する医療機器により撮像された画像を入力する画像入力ステップと、前記画像を複数の領域に分割する領域分割ステップと、前記複数の領域各々から特徴量を算出する特徴量算出ステップと、前記特徴量に基づき、前記複数の領域各々を分類する領域分類ステップとを実行させるためのプログラムであって、前記領域分類ステップは、生体粘膜表面を撮像した領域と、生体内に存在する異物を撮像した領域と、前記生体粘膜表面及び前記異物のどちらにも該当しない領域とのいずれかに前記複数の領域各々を分類することを特徴とする。
【００２７】
本発明における第３のプログラムは、コンピュータに、撮像機能を有する医療機器により撮像された画像を入力する画像入力ステップと、前記画像を複数の領域に分割する領域分割ステップと、前記複数の領域各々から特徴量を算出する特徴量算出ステップと、前記特徴量に基づき、前記複数の領域各々を、複数の異なるクラスのうち、いずれか一のクラスに分類する領域分類ステップと、前記複数の異なるクラスにおいて、前記画像上に混在することを許可しない排他クラスの組み合わせを設定する排他クラス設定ステップと、前記排他クラスの組み合わせのうち、いずれのクラスを優先するかを設定する優先クラス設定ステップとをコンピュータに実行させるためのプログラムであって、前記領域分類ステップは、前記排他クラス設定ステップで設定された排他クラスの組み合わせのいずれかのクラスに分類された領域が存在する場合、前記領域を前記優先クラス設定ステップにおいて設定されたクラスに分類することを特徴とする。
【００２８】
本発明における第４のプログラムは、前記第１のプログラム乃至第３のプログラムにおいて、さらに、当該コンピュータに、前記領域分類ステップにおける前記複数の領域各々の分類結果に基づき、前記画像が生体粘膜表面を撮像したか否かを判定する判定ステップを実行させることを特徴とする。
【００２９】
本発明における第５のプログラムは、前記第４のプログラムにおいて、前記判定ステップは、前記領域分類ステップにおける前記複数の領域各々の分類結果に基づき、生体粘膜表面の像であると分類された領域が前記画像において十分大きな割合を占めた場合に、前記画像を生体粘膜表面を撮像した画像であると判定することを特徴とする。
【００３０】
本発明における第６のプログラムは、コンピュータに、撮像機能を有する医療機器により撮像された画像を入力する画像入力ステップと、前記画像を複数の領域に分割する領域分割ステップと、前記複数の領域各々から特徴量を算出する特徴量算出ステップと、前記特徴量に基づき、前記複数の領域各々を分類する領域分類ステップと、前記領域分類ステップにおける分類結果に基づき、前記医療機器が撮像した臓器を推定する撮像臓器推定ステップとを実行させる。
【００３１】
本発明における第７のプログラムは、複数の色信号からなる医用画像を入力する画像入力手段と、前記医用画像を記憶する記憶手段と、前記医用画像を表示する表示手段とを有する画像処理装置を制御するためのコンピュータを、前記入力された医用画像が生体粘膜を十分に撮像したか否かを判定する判定手段と、前記判定手段における判定結果に基づき前記医用画像の表示または記憶の少なくとも１つを制御する制御手段として機能させる。
【００３２】
本発明における第８のプログラムは、前記第７のプログラムにおいて、前記制御手段は、前記判定手段により生体粘膜を十分に撮像していないと判定された前記医用画像を表示しないように制御することを特徴とする。
【００３３】
本発明における第９のプログラムは、前記第７のプログラムまたは前記第８のプログラムにおいて、前記制御手段は、前記判定手段により生体粘膜を十分に撮像していないと判定された前記医用画像を記憶しないように制御することを特徴とする。
【００３４】
本発明における第１０のプログラムは、前記第７のプログラム乃至前記第９のプログラムにおいて、さらに、前記記憶手段に記憶された前記医用画像を削除する画像削除手段として機能させるプログラムであって、前記画像削除手段は、前記判定手段により生体粘膜を十分に撮像していないと判定された前記医用画像を削除することを特徴とする。
【００３５】
本発明における第１１のプログラムは、複数の色信号からなる複数の医用画像を入力する画像入力手段と、前記医用画像を記憶する記憶手段と、前記医用画像を表示する表示手段とを有する画像処理装置を制御するための画像処理装置を制御するためのコンピュータを、前記医用画像の中から病変の存在が疑われる画像を検出する検出手段とを備えるとともに、前記入力された医用画像に対し領域を設定する領域設定手段と、前記領域設定手段により設定された領域が生体粘膜を撮像した領域であるか否かを判定する領域判定手段と、前記領域判定手段における判定結果に基づき、前記検出手段による検出結果が正しいか否かを判定する検出結果判定手段として機能させる。
【００３６】
本発明における第１２のプログラムは、前記第１１のプログラムにおいて、前記検出手段は、前記医用画像において病変の存在が疑われる領域を検出するとともに、前記検出結果判定手段は前記検出された領域が前記領域判定手段において生体粘膜を撮像した領域である場合に、検出結果が正しいと判定することを特徴とする。
【００３７】
本発明における第１３のプログラムは、時間的に連続して撮像された複数の医用画像を入力する画像入力手段と、前記医用画像を記憶する記憶手段と、前記医用画像を表示する画像表示手段とを有する画像処理装置を制御するためのコンピュータを、前記医用画像に複数の領域を設定する領域設定手段と、前記領域設定手段により設定された各領域における撮像対象を判定する判定手段と、前記判定手段に基づき前記医用画像に撮像されている臓器を特定する特定手段と、前記特定手段における特定結果を表示する特定結果表示手段として機能させる。
【００３８】
本発明における第１４のプログラムは、前記第１３のプログラムにおいて、前記判定手段は、前記領域の撮像対象として生体粘膜であるか否か及びその種類を判定することを特徴とする。
【発明の効果】
【００３９】
本発明における画像処理方法、画像処理装置及びプログラムによると、画像の小領域の多くを異物の像が占めるような、生体粘膜表面の像が良好に撮像されていない画像を、観察不要の画像として容易に除外することができ、さらに、前記分類結果に基づいて撮像された臓器を特定することができ、その結果、ユーザによる観察の効率化をはかることができる。
【００４０】
また、本発明における画像処理方法、画像処理装置及びプログラムによると、生体粘膜表面の像として分類された各々の領域に対し、さらに、例えば、前記各々の領域が有する特徴量に基づき、正常な粘膜の像と病変部位の像と分類するような画像処理方法を用いることにより、病変部位の検出精度を高めることができる。
【発明を実施するための最良の形態】
【００４１】
以下、図面を参照して本発明の実施の形態を説明する。
【００４２】
（第１の実施形態）
図１から図２０は、本発明の第１の実施形態に係るものである。図１は、本発明の第１の実施形態である画像処理動作が行われる画像処理装置および周辺機器の外観を示した外観正面図である。図２は、本実施形態の画像処理装置において処理する所定の画像情報を生成するカプセル型内視鏡の一部を切り取って示した要部拡大断面図である。図３は、本実施形態の画像処理装置に所定の画像情報を供給するカプセル型内視鏡装置の概略内部構成を示すブロック図である。図４は、本実施形態の画像処理装置に所定の画像情報を供給するカプセル型内視鏡装置の一使用例を示した図である。図５は、図２に示すカプセル型内視鏡から出力される信号の一例を示したタイミングチャートである。図６は、図２に示すカプセル型内視鏡の位置検出を説明する説明図である。図７は、図３に示すカプセル型内視鏡装置を使用した際におけるアンテナユニットを示した要部拡大断面図である。図８は、図３に示すカプセル型内視鏡装置を使用した際におけるシールドジャケットを説明する説明図である。図９は、図３に示すカプセル型内視鏡装置の外部装置の被検体への装着状態を説明する説明図である。図１０は、図２に示すカプセル型内視鏡の電気的な構成を示すブロック図である。図１１は、本実施形態に係る画像処理動作を示すフローチャートである。図１２は、本実施形態に係る画像処理動作において、入力された画像が（ｍ×ｎ）個の領域に分割される際の一例を示す図である。図１３は、教師データを構成する複数の画像のうち、胃粘膜の画像の一例を示す図である。図１４は、教師データを構成する複数の画像のうち、絨毛の画像の一例を示す図である。図１５は、教師データを構成する複数の画像のうち、便の画像の一例を示す図である。図１６は、教師データを構成する複数の画像のうち、泡の画像の一例を示す図である。図１７は、カプセル型内視鏡により撮像された体腔内の像の画像の一例を示す模式図である。図１８は、図１７に示す画像の分類結果の一例を示す図である。図１９は、本実施形態に係る画像処理動作において、図１１とは異なる画像処理動作を示すフローチャートである。図２０は、ディスプレイに表示されるビュワーの画像のうち、メインメニュー画面の一例を示す図である。
【００４３】
本発明の第１の実施形態である画像処理装置に所定の画像情報を供給するカプセル型内視鏡装置１は、図３に示すように、カプセル型内視鏡３、アンテナユニット４及び外部装置５とにより主要部が構成されている。
【００４４】
医療機器としてのカプセル型内視鏡３は、詳細は後述するが、被検体である患者２の口から体腔内に飲み込まれることにより体腔内に配置された後、蠕動運動により消化管内を進行する形状に形成され、かつ、内部に体腔内を撮像し、その撮像画像情報を生成する撮像機能と、その撮像画像情報を体外に送信する送信機能とを有している。アンテナユニット４は、詳細は後述するが、患者２の身体表面上に設置され、前記カプセル型内視鏡３から送信される撮像画像情報を受信する複数の受信アンテナ１１を有している。外部装置５は、外形が箱形形状に形成されており、詳細は後述するが、前記アンテナユニット４が受信した撮像画像情報の各種処理、撮像画像情報の記憶、及び撮像画像情報による撮像画像表示等の機能を有している。この外部装置５の外装の表面に前記撮像画像を表示させる液晶モニタ１２と、各種機能の操作指示を行う操作部１３とが設けられている。
【００４５】
また、この外部装置５は、駆動電源用の電池の残量に関する警告表示用のＬＥＤと、電源スイッチ等のスイッチからなる操作部１３とが外装の表面に設けられている。又、カプセル型内視鏡３の内部には、ＣＰＵ及びメモリを用いた演算実行部が設けられており、例えば、該演算実行部において、受信及び記憶した撮像画像情報に対して後述する本発明に係る画像処理方法が実行されるような構成であっても良い。
【００４６】
この外部装置５は、患者２の身体に着脱自在に装着されると共に、図１に示すように、クレードル６に装着されることにより、本発明の第１の実施形態である画像処理装置（以下、端末装置と記す）７に着脱自在に接続されるようになっている。この端末装置７は、たとえば、パーソナルコンピュータが用いられ、各種データの処理機能や記憶機能を有する端末本体９と、各種操作処理入力用のキーボード８ａ及びマウス８ｂと、及び各種処理結果を表示する、表示手段としてのディスプレイ８ｃとを有している。この端末装置７は、基本的機能として、例えば、前記外部装置５に記憶されている撮像画像情報をクレードル６を介して取り込み、端末本体９に内蔵されている書換可能なメモリ、或いは端末本体９に着脱自在な書換可能な半導体メモリ等の可搬型メモリに書込記憶させ、かつ、その記憶した撮像画像情報をディスプレイ８ｃに表示する画像処理を行うような機能を有している。なお、前記外部装置５に記憶されている撮像画像情報は、前記クレードル６に代えて、ＵＳＢケーブル等によって端末装置７に取り込まれるようにしても良い。
【００４７】
なお、端末装置７が行う画像処理は、例えば、前記外部装置５から取り込み、図示しない記憶手段としてのメモリ等に記憶された撮像画像情報から経過時間に応じて表示させる画像を選択する処理、及び後述する本発明に係る画像処理方法に基づく処理として、端末本体９が有する制御部９ａにおいて行われるものであるとする。制御部９ａは、ＣＰＵ（中央処理装置）等からなり、例えば、前述したような処理を行う場合に、処理結果を一時的に図示しないレジスタ等に保持することができる。
【００４８】
次に、前記カプセル型内視鏡３の外形と内部構造について、図２を用いて説明する。カプセル型内視鏡３は、断面がＵ字状の外装部材１４と、この外装部材１４の先端側の開放端に接着剤により水密装着された透明部材により形成された略半球形状のカバー部材１４ａとからなる。そのため、カプセル型内視鏡３の外装は、外装部材１４と、カバー部材１４ａとが接続された状態においては、水密構造かつカプセル形状を有するように形成されている。
【００４９】
この外装部材１４とカバー部材１４ａからなるカプセル形状の内部中空部であって、前記カバー部材１４ａの半球の円弧の略中央にあたる部分には、カバー部材１４ａを介して入射された観察部位像を取り込む対物レンズ１５がレンズ枠１６に収納されて配置されている。この対物レンズ１５の結像位置には、撮像素子である電荷結合素子（以降、ＣＣＤと記す）１７が配置されている。また、前記対物レンズ１５を収納するレンズ枠１６の周囲には、照明光を発光放射させる４つの白色系のＬＥＤ１８が同一平面上に配置されている（図中には２つのＬＥＤのみを表記している）。前記ＣＣＤ１７の後端側の前記外装部材１４の内部中空部には、前記ＣＣＤ１７を駆動制御して光電変換された撮像信号の生成、その撮像信号に所定の信号処理を施して撮像画像信号を生成する撮像処理、及び前記ＬＥＤ１８の点灯／非点灯の動作を制御するＬＥＤ駆動の処理を行う処理回路１９と、この処理回路１９の撮像処理により生成された撮像画像信号を無線信号に変換して送信する通信処理回路２０と、この通信処理回路２０からの無線信号を外部に送信する送信アンテナ２３と、前記処理回路１９と通信処理回路２０の駆動用電源を供給する複数のボタン型の電池２１とが配置されている。
【００５０】
なお、ＣＣＤ１７、ＬＥＤ１８、処理回路１９、通信処理回路２０及び送信アンテナ２３は、図示しない基板上に配置され、それらの基板の間は、図示しないフレキシブル基板にて接続されている。また、前記処理回路１９には、後述する画像処理を行うための図示しない演算回路を備えている。つまり、前記カプセル型内視鏡３は、図３に示すように、前記ＣＣＤ１７、ＬＥＤ１８及び処理回路１９を有する撮像装置４３と、前記通信処理回路２０を有する送信器３７と、送信アンテナ２３とを有する。
【００５１】
次に、前記カプセル型内視鏡３の撮像装置４３の詳細構成について、図１０を用いて説明する。撮像装置４３は、ＬＥＤ１８の点灯／非点灯の動作を制御するＬＥＤドライバ１８Ａと、ＣＣＤ１７の駆動を制御して光電変換された電荷の転送を行う為のＣＣＤドライバ１７Ａと、前記ＣＣＤ１７から転送された電荷を用いて撮像信号を生成し、かつ、その撮像信号に所定の信号処理を施して撮像画像信号を生成する処理回路１９Ａと、前記ＬＥＤドライバ１８Ａ、ＣＣＤドライバ１７Ａ、処理回路１９Ａ、及び送信器３７に電池２１からの駆動電源を供給するスイッチ部と、前記スイッチ部及びＣＣＤドライバ１７Ａにタイミング信号を供給するタイミングジェネレータ１９Ｂとを有する。なお、前記スイッチ部は、電池２１から前記ＬＥＤドライバ１８Ａへの電源供給をオン／オフをするスイッチ１９Ｃと、前記ＣＣＤ１７、ＣＣＤドライバ１７Ａ及び処理回路１９Ａへの電源供給をオン・オフするスイッチ１９Ｄと、前記送信器３７への電源供給をオン／オフするスイッチ１９Ｅとを有する。また、前記タイミングジェネレータ１９Ｂには、電池２１から常時駆動電源が供給されるようになっている。
【００５２】
このような構成を有するカプセル型内視鏡３の撮像装置４３においては、スイッチ１９Ｃと、スイッチ１９Ｄと、スイッチ１９Ｅとがオフ状態である場合、タイミングジェネレータ１９Ｂ以外の各部は非動作状態である。そして、タイミングジェネレータ１９Ｂからタイミング信号が出力されると、前記スイッチ１９Ｄがオンされ、これにより、電池２１から電源が供給されたＣＣＤ１７、ＣＣＤドライバ１７Ａ及び処理回路１９Ａは動作状態となる。
【００５３】
前記ＣＣＤ１７の駆動初期時に、ＣＣＤ１７の電子シャッターを動作させて、不要な暗電流を除去した後、タイミングジェネレータ１９Ｂは、スイッチ１９ＣをオンさせてＬＥＤドライバ１８Ａを駆動させてＬＥＤ１８を点灯させＣＣＤ１７を露光する。ＬＥＤ１８は、ＣＣＤ１７の露光に必要な所定の時間だけ点灯された後、消費電力低減の為に、スイッチ１９Ｃがオフしたタイミングにおいて消灯される。
【００５４】
前記ＣＣＤ１７の露光が行われた前記所定の時間内に蓄えられた電荷は、ＣＣＤドライバ１７Ａの制御により処理回路１９Ａへ転送される。処理回路１９Ａは、ＣＣＤ１７から転送された電荷を基に撮像信号を生成し、その撮像信号に所定の信号処理を施して内視鏡画像信号を生成する。処理回路１９Ａは、例えば、送信器３７から送信される信号がアナログ無線方式である場合、ＣＤＳ出力信号に対して複合同期信号を重畳させたアナログ撮像信号を生成した後、該アナログ撮像信号を内視鏡画像信号として送信器３７へ出力する。また、処理回路１９Ａは、例えば、送信器３７から送信される信号がデジタル無線方式である場合、アナログ／デジタルコンバータにより生成したシリアルなデジタル信号に対し、さらにスクランブル等の符号化処理を施したデジタル撮像画像信号を生成し、該デジタル撮像信号を内視鏡画像信号として送信器３７へ出力する。
【００５５】
この送信器３７は、前記処理回路１９Ａから供給された内視鏡画像信号である、アナログ撮像画像信号またはデジタル撮像画像信号に対して変調処理を施して送信アンテナ２３から外部へ無線送信する。この時、スイッチ１９Ｅは、前記処理回路１９Ａから撮像画像信号が出力されたタイミングにおいてのみ送信器３７に駆動電力が供給されるように、タイミングジェネレータ１９Ｂによりオン／オフされる。
【００５６】
なお、スイッチ１９Ｅは、処理回路１９Ａから撮像画像信号が出力されてから所定の時間が経過した後に、送信器３７に駆動電力が供給されるように制御されても良い。また、スイッチ１９Ｅは、カプセル型内視鏡３に設けられた、図示しないｐＨセンサーによる所定値のｐＨ値の検出、図示しない湿度センサーによる所定値以上の湿度の検出、図示しない圧力センサーまたは図示しない加速度センサーによる所定値以上の圧力または加速度の検出等の検出結果に基づいてタイミングジェネレータ１９Ｂから出力される信号により、被検体である患者２の体腔内に挿入された際に、送信器３７に電源を供給するように制御されるような構成を有していても良い。
【００５７】
なお、前記カプセル型内視鏡２の撮像装置４３は、通常毎秒２枚の画像（毎秒２フレーム＝２ｆｐｓ）を撮像するものであるが、例えば、食道の検査の場合は、毎秒１５〜３０枚の画像（１５ｆｐｓ〜３０ｆｐｓ）を撮像できるようにする。具体的には、カプセル型内視鏡３に、図示しないタイマー回路を設け、このタイマー回路により、例えば、タイマーカウントが所定時間以内においては毎秒当たりの撮像枚数の多い高速撮像とし、所定時間が経過した後は、毎秒当たりの撮像枚数の少ない低速撮像となるように撮像装置４３の駆動を制御させる。或いは、カプセル型内視鏡３の電源の投入と共にタイマー回路を作動させて、このタイマー回路により、例えば、患者２が飲み込んだ直後の食道を通過するまでの時間は高速撮像となるように、撮像装置４３の駆動を制御させることも可能である。さらに、低速撮像用カプセル型内視鏡と高速撮像用カプセル型内視鏡とを個別に設けて、観察対象部位に応じて使い分けるようにしても良い。
【００５８】
次に、前記患者２の身体表面上に設置されるアンテナユニット４について説明する。図４に示すように、カプセル型内視鏡３を飲み込んで内視鏡検査を行う場合、患者２は、複数の受信アンテナ１１からなるアンテナユニット４が設置されたジャケット１０を装着する。このアンテナユニット４は、図７に示すように、たとえば、ＧＰＳに使用されているパッチアンテナのような単方向の指向性を有する複数の受信アンテナ１１を患者２の身体内方向にその指向性を向けて配置する。つまり、カプセル型内視鏡３のカプセル本体３Ｄは、身体内に留置されるため、その身体内のカプセル本体３Ｄを取り囲むように前記複数のアンテナ１１が配置される。この指向性の高いアンテナ１１を使用することにより、身体内のカプセル本体３Ｄ以外からの電波による干渉妨害の影響を受けにくくしている。
【００５９】
前記ジャケット１０は、図８に示すように、患者２の身体表面に設置する前記アンテナユニット４と、ベルトにより患者２の腰に設置された外部装置５の本体部５Ｄを覆うように電磁シールド繊維で形成されたシールドジャケット７２とからなる。このシールドジャケット７２を形成する電磁シールド繊維は、金属繊維、金属化学繊維、硫化銅含有繊維等が用いられている。なお、このシールドジャケット７２は、ジャケット形状に限るものではなく、例えば、ベスト、ワンピース形状等であっても良い。
【００６０】
又、前記シールドジャケット７２に前記外部装置５を装着する例として、図９に示すように、前記外部装置５の外部本体５Ｄに鍵穴７４を設け、前記シールドジャケット７２に設けた鍵７５を前記鍵穴７４に差し込むことにより、ベルト７３に着脱自在に装着できるようにする。或いは、単にシールドジャケット７２に図示しないポケットを設け、そのポケットに外部本体５Ｄを収納したり、又は、外部装置５の外部本体５Ｄとシールドジャケット７２にマジックテープ（登録商標）を設置し、そのマジックテープ（登録商標）により取付固定しても良い。
【００６１】
つまり、アンテナユニット４が配置された身体にシールドジャケット７２を装着することにより、アンテナユニット４に対する外部からの電波がシールド遮蔽されて、外部電波による干渉妨害の影響を一層受けにくくしている。
【００６２】
次に、前記アンテナユニット４と外部装置５の構成について、図３を用いて説明する。前記アンテナユニット４は、前記カプセル型内視鏡３の送信アンテナ２３から送信された無線信号を受信する複数の受信アンテナ１１ａ〜１１ｄと、このアンテナ１１ａ〜１１ｄを切り替えるアンテナ切換スイッチ４５とからなる。前記外部装置５は、アンテナ切換スイッチ４５からの無線信号を撮像画像信号に変換及び増幅等の受信処理を行う受信回路３３と、この受信回路３３から供給された撮像画像信号に所定の信号処理を施して、撮像画像の表示用信号及び撮像画像データを生成する信号処理回路３５と、この信号処理回路３５により生成された撮像画像表示用信号に基づいて撮像画像を表示する液晶モニタ１２と、前記信号処理回路３５により生成された撮像画像データを記憶するメモリ４７と、前記受信回路３３により受信処理された無線信号の大きさにより前記アンテナ切換スイッチ４５を制御するアンテナ選択回路４６とからなる。
【００６３】
前記アンテナユニット４の図中受信アンテナ１１ａ〜１１ｄとして示した複数の受信アンテナ１１は、前記カプセル型内視鏡３の送信アンテナ２３から一定の電波強度により送信された無線信号を受信する。この複数の受信アンテナ１１ａ〜１１ｄは、前記外部装置５のアンテナ選択回路４６からのアンテナ選択信号によりアンテナ切替スイッチ４５が制御されて、前記無線信号を受信する受信アンテナを順次切り替える。つまり、前記アンテナ切替スイッチ４５により順次切り替えられた各受信アンテナ１１ａ〜ｄ毎に受信した無線信号が前記受信器３３に出力される。この受信器３３において、各受信アンテナ１１ａ〜１１ｄ毎の無線信号の受信強度を検出して、各受信アンテナ１１ａ〜１１ｄとカプセル型内視鏡３の位置関係を算出すると共に、その無線信号を復調処理して撮像画像信号を信号処理回路３５へと出力する。前記アンテナ選択回路４６は、前記受信器３３からの出力によって制御される。
【００６４】
前記アンテナ選択回路４６によるアンテナ切替スイッチ４５の動作について説明する。前記カプセル型内視鏡３から送信される無線信号は、図５に示すように、撮像画像信号の１フレームの送信期間に、無線信号の受信強度を示す受信強度信号の送信期間である強度受信期間と、撮像画像信号の送信期間である映像信号期間とが順次繰り返されて送信されるとする。
【００６５】
前記アンテナ選択回路４６は、前記受信回路３３を介して、各受信アンテナ１１ａ〜１１ｄが受信した受信強度信号の受信強度が供給される。前記アンテナ選択回路４６は、前記受信器３３からの供給された各アンテナ１１ａ〜１１ｄの受信強度信号の強度を比較して、映像信号期間の撮像画像信号を受信する最適な受信アンテナ、つまり、受信強度信号の強度が最も高いアンテナ１１ｉ（ｉ＝ａ〜ｄ）を決定して、アンテナ切替回路４５をそのアンテナ１１ｉに切り替えるための制御信号を生成出力する。これにより、現在画像信号を受信しているアンテナよりも、他のアンテナの受信強度信号の受信強度が高い場合には、映像信号期間の受信アンテナを次フレーム分から切り替えるようにする。
【００６６】
このように、カプセル型内視鏡３からの無線信号を受信するたびに、撮像画像信号、又は受信強度信号の受信強度を比較し、この比較結果を受けたアンテナ選択回路４６によって受信強度が最大となるアンテナ１１ｉを画像信号受信用のアンテナとを指定するようにしている。これにより、カプセル型内視鏡３が患者２の体内で移動しても、その移動位置において最も受信強度の高い信号を検出できるアンテナ１１により取得した画像信号を受信することができる。また、体内でのカプセル型内視鏡３の移動速度は非常に遅い部分と早い部分に分かれるので、撮像動作１回につき常にアンテナ切替動作を１回行うとは限らず、高速撮像モードなどでは複数回の撮像動作に対してアンテナ切替動作を１回行うようにしてもよい。
【００６７】
なお、カプセル型内視鏡３は、患者２の体内を移動しているので、適宜の時間間隔で外部装置５から電波強度を検出した結果である検出結果信号を送り、その信号に基づいてカプセル型内視鏡３が送信する際のその出力を更新するようにしてもよい。このようにすれば、カプセル型内視鏡３が患者２の体内を移動した場合にも、適切な送信出力に設定でき、電池２１のエネルギを無駄に消費すること等を防止でき、信号の送受信状態を適切な状態に維持できるようになる。
【００６８】
次に、前記複数の受信アンテナ１１とカプセル型内視鏡３の位置関係を示す情報の取得方法について、図６を用いて説明する。なお、図６において、カプセル型内視鏡３を３次元座標Ｘ、Ｙ、Ｚの原点に設定した場合を例に説明する。又、前記複数の受信アンテナ１１ａ〜１１ｄのうち、説明を簡単化するために、３つの受信アンテナ１１ａ、１１ｂ、１１ｃを用い、受信アンテナ１１ａと受信アンテナ１１ｂとの間の距離をＤａｂ、受信アンテナ１１ｂと受信アンテナ１１ｃとの間の距離をＤｂｃ、受信アンテナ１１ａと受信アンテナ１１ｃとの間の距離Ｄａｃとしている。さらに、この受信アンテナ１１ａ〜１１ｃとカプセル型内視鏡３の間は、所定の距離関係としている。
【００６９】
カプセル型内視鏡３の送信された一定の送信強度の無線信号は、各受信アンテナ１１ｊ（ｊ＝ａ、ｂ、ｃ）で受信した場合の受信強度は、カプセル型内視鏡３（カプセル型内視鏡３の送信アンテナ２３）からの距離Ｌｉ（ｉ＝ａ，ｂ，ｃ）の関数となる。具体的には電波減衰量が伴う距離Ｌｉに依存する。従って、カプセル型内視鏡３から送信された無線信号の受信アンテナ１１ｊにより受信した受信強度からカプセル型内視鏡３と各受信アンテナ１１ｊとの間の距離Ｌｉを算出する。この距離Ｌｉの算出には、前記カプセル型内視鏡３と受信アンテナ１１ｊの間の距離による電波の減衰量などの関係データを事前に前記アンテナ選択回路４６に設定する。又、その算出されたカプセル型内視鏡３と各受信アンテナ１１ｊの位置関係を示す距離データは、前記メモリ４７にカプセル型内視鏡３の位置情報として記憶させる。このメモリ４７に記憶された撮像画像情報及びカプセル型内視鏡３の位置情報を基に、前記端末機７による後述する画像情報処理方法において、内視鏡観察所見の位置設定に有用となる。
【００７０】
次に、本実施形態の画像処理装置における画像処理動作について説明を行う。
【００７１】
なお、本実施形態においては、カプセル型内視鏡３により撮像された体腔内の像の画像は、大きさＩＳＸ×ＩＳＹ（１≦ＩＳＸ、１≦ＩＳＹを満たす値であり、例えば、ＩＳＸ＝３００、ＩＳＹ＝３００）、ＲＧＢの３プレーンからなり、各プレーンにおける各画素は各々８ｂｉｔ、すなわち、０から２５５の値をとるものとする。また、本実施形態においては、時間的に連続して撮像されたＮ枚の画像（１≦Ｎ）におけるｉ番目の画像をＩｉ（１≦ｉ≦Ｎ）、そのＲＧＢ各プレーンをそれぞれＲｉ、Ｇｉ及びＢｉと示すものとする。さらに、本実施形態においては、各プレーンにおけるｋ番目の画素（１≦ｋ≦ＩＳＸ×ＩＳＹ）をそれぞれｒｉｋ、ｇｉｋ及びｂｉｋと示すものとする。
【００７２】
なお、本実施形態における画像処理装置における画像処理動作は、上述した端末装置７の端末本体９が有する制御部９ａにおける処理として行われるものとする。
【００７３】
まず、制御部９ａは、入力されたｉ番目の画像Ｉｉを構成するＲｉ、Ｇｉ及びＢｉの各プレーンに対し、前処理として、例えば、メディアンフィルタリングによるノイズ除去及び逆γ補正を行うと共に、ハレーション画素及び暗部画素を以降の処理対象から除外するため、閾値に基づく処理により検出しておく（図１１のステップＳ１）。そして、前記閾値に基づく処理は、例えば、ｒｉｋ、ｇｉｋ及びｂｉｋの濃度値の全てが１０以下の値であれば暗部画素、また、ｒｉｋ、ｇｉｋ及びｂｉｋの濃度値の全てが２３０以上の値であればハレーション画素とするような処理として行われる。
【００７４】
その後、制御部９ａは、Ｒｉ、Ｇｉ及びＢｉの各プレーンを小領域に分割する（図１１のステップＳ２）。なお、本実施形態において、制御部９ａは、図１２に示すように、Ｒｉ、Ｇｉ及びＢｉの各プレーンを、ｘ軸方向の画素数ｌｘ×ｙ軸方向の画素数ｌｙ（１≦ｌｘ、１≦ｌｙ）からなる矩形領域に分割するものとし、その領域数は（ｍ×ｎ）個（ｍ＝ＩＳＸ／ｌｘ、ｎ＝ＩＳＹ／ｌｙ）であるものとする。また、制御部９ａは、ｍまたはｎが整数とならない場合においては、大きさが端数となる最端部の領域を、端数の画素数を有する領域として処理するか、または以降の処理対象から除外するものとする。
【００７５】
制御部９ａは、分割した各領域において、撮像対象の像の画像上における色の違いを反映する色調情報、及び撮像対象の像の画像上における構造の違いを反映するテクスチャ情報を特徴量として算出する（図１１のステップＳ３）。なお、以降の説明においては、制御部９ａにおいて分割された領域のうち、一の領域をＨｓｔ（１≦ｓ≦ｍ、１≦ｔ≦ｎ）と示すものとする。
【００７６】
本実施形態において、制御部９ａが算出する色調情報は、一の領域Ｈｓｔに含まれる各画素のＲＧＢ値の比に基づく値としての、ｇｉｋ／ｒｉｋの平均値（以降、μｇｓｔと記す）及びｂｉｋ／ｒｉｋの平均値（以降、μｂｓｔと記す）からなる、２つの特徴量として示される値である。なお、μｇｓｔ及びμｂｓｔの各値は、０から１の値をとるものとする。また、μｇｓｔ及びμｂｓｔの各値は、例えば、胃粘膜のような比較的赤色調を示す領域においては、略同様に小さな値をとる。一方、μｇｓｔ及びμｂｓｔの各値は、例えば、小腸のような比較的白色調を示す領域においては、略同様に大きな値をとる。また、μｇｓｔ及びμｂｓｔの各値は、例えば、便のような比較的黄色調を示す領域においては、μｇｓｔ＞μｂｓｔとなるような値をとる。
【００７７】
本実施形態において、制御部９ａが算出するテクスチャ情報は、前述したように、撮像対象の像の画像上における構造の違いを反映するものである。そして、撮像対象の像の画像上における構造は、例えば、粘膜表面における絨毛等の微細構造、及び便が有する不定形な模様等として示されるものである。具体的には、制御部９ａが算出するテクスチャ情報は、一の領域Ｈｓｔに含まれる各画素のＲＧＢ値の標準偏差σｒｓｔ、σｇｓｔ及びσｂｓｔを、一の領域Ｈｓｔに含まれる各画素のＲＧＢ値の平均値ｍｒｓｔ、ｍｇｓｔ及びｍｂｓｔで除したものである、３つの特徴量として示されるＲＧＢ値の変動係数ＣＶｒｓｔ、ＣＶｇｓｔ及びＣＶｂｓｔである。なお、変動係数ＣＶｒｓｔ、ＣＶｇｓｔ及びＣＶｂｓｔを算出するための計算式は、下記数式（１）、数式（２）及び数式（３）として示される。
【００７８】
ＣＶｒｓｔ＝σｒｓｔ／ｍｒｓｔ ・・・（１）
ＣＶｇｓｔ＝σｇｓｔ／ｍｇｓｔ ・・・（２）
ＣＶｂｓｔ＝σｂｓｔ／ｍｂｓｔ ・・・（３）
上記数式（１）、数式（２）及び数式（３）により算出される変動係数ＣＶｒｓｔ、ＣＶｇｓｔ及びＣＶｂｓｔにより、撮像対象に対して供給される照明光量の違い等による影響によらず、テクスチャ構造による画素変動の程度を数値化することができる。ＣＶｒｓｔ、ＣＶｇｓｔ及びＣＶｂｓｔの各値は、例えば、拡大観察を行っていない状態である、通常観察において撮像された胃粘膜のような、画像上における構造が比較的平坦な領域においては、明瞭なテクスチャ構造がないため、略同様に小さな値をとる。一方、ＣＶｒｓｔ、ＣＶｇｓｔ及びＣＶｂｓｔの各値は、例えば、小腸の絨毛のような、画像上における構造にエッジを比較的多く含む領域においては、略同様に大きな値をとる。
【００７９】
なお、本実施形態の制御部９ａが行う以降の処理においては、色調情報及びテクスチャ情報を有する５つの特徴量を使用するが、この特徴量を構成する値は、ユーザの用途等に応じ、適宜変更または追加することが可能である。例えば、制御部９ａは、色調情報としてのμｇｓｔの値及びμｂｓｔの値に代わり、色度として示される値である、各領域の各画素におけるｒｉｋ、ｇｉｋ及びｂｉｋの比率、すなわち、ｒｉｋ／（ｒｉｋ＋ｇｉｋ＋ｂｉｋ）、ｇｉｋ／（ｒｉｋ＋ｇｉｋ＋ｂｉｋ）及びｂｉｋ／（ｒｉｋ＋ｇｉｋ＋ｂｉｋ）の値を使用して以降の処理を行うものであっても良い。
【００８０】
そして、制御部９ａは、色調情報及びテクスチャ情報からなる５つの特徴量、すなわち、μｇｓｔ、μｂｓｔ、ＣＶｒｓｔ、ＣＶｇｓｔ及びＣＶｂｓｔの各値を、ハレーション画素及び暗部画素を除いた各画素のＲＧＢ値に基づき、（ｍ×ｎ）個の領域Ｈｓｔ各々において算出する。なお、本実施形態においては、一の領域Ｈｓｔが有する、（ｌｘ×ｌｙ）個の画素において、例えば、ハレーション画素の個数と、暗部画素の個数との和が占める割合が５０％を超えた場合、一の領域Ｈｓｔを以降の処理から除外するような制御が行われるものであっても良い。
【００８１】
その後、制御部９ａは、分割した領域Ｈｓｔにおいて各々算出された５個の特徴量に基づく識別分類を実行することにより、領域毎の撮像対象が何であるかを識別した後、該識別結果に基づいて領域Ｈｓｔを各々分類する。
【００８２】
具体的には、まず、制御部９ａは、胃粘膜、絨毛、便及び泡からなる４つのクラス（群またはカテゴリとも呼ぶ）の教師データを構成する画像として予め用意された、例えば、図１３、図１４、図１５及び図１６に示すような画像に基づき、該画像の一の領域各々において都度決定される、前述した５個の特徴量を算出した後、該４つのクラス各々についての線形判別関数を作成する。そして、制御部９ａは、前述した手順により算出した、識別器としての線形判別関数を用い、例えば、胃粘膜、絨毛、便及び泡からなる４つのクラスのうち、一の領域Ｈｓｔがどのクラスに属するかを識別し、該識別結果に基づく分類を行う。制御部９ａは、以上に述べたような識別及び分類を画像Ｉｉが有する領域Ｈｓｔ全てに対して行うことにより、例えば、図１７に示すような画像が入力された場合、図１８に示すような、絨毛と泡とが分類されたような分類結果を得る（図１１のステップＳ４）。
【００８３】
なお、本実施形態の制御部９ａが画像の一の領域各々に対し、識別器を用いて行う識別及び分類は、線形判別関数によるものに限るものではなく、例えば、２次分類規則、ニューラルネットワーク等の手法によるものであっても良い。また、本実施形態においては、制御部９ａは、胃粘膜、絨毛、便及び泡の４クラスのいずれかということとして、入力される画像の一の領域各々に対する識別及び分類を行ったが、分類されるクラスの数及び種類は、ユーザの用途等に応じ、適宜変更または追加することが可能である。制御部９ａは、前述した４クラスに加え、例えば、食道あるいは大腸粘膜の分類を行うものであっても良いし、また、十二指腸と絨毛とを別のクラスとして扱った上において分類を行うものであっても良い。
【００８４】
さらに、制御部９ａは、前述した分類結果に基づき、生体粘膜表面として分類された、すなわち、胃粘膜または絨毛として分類された領域数の合計数ｚが画像Ｉｉの全領域数（ｍ×ｎ）に占める割合ｐの値を、下記数式（４）に基づいて算出する（図１１のステップＳ５）。
【００８５】
ｐ＝ｚ／（ｍ×ｎ） ・・・（４）
そして、制御部９ａは、画像Ｉｉが生体粘膜表面を十分に撮像されている画像か否かを識別するため、数式（４）により算出された割合ｐの値と、閾値ｔｈｒとの比較を行う。制御部９ａは、画像Ｉｉにおける割合ｐの値が、閾値ｔｈｒより大きいことを検出する（図１１のステップＳ６）と、画像Ｉｉを、生体粘膜表面が十分に撮像されている画像である、すなわち、観察が必要な画像として識別及び分類し、参照値としてのフラグ値ｆｌａｇｉを１とする（図１１のステップＳ７）。なお、本実施形態においては、例えば、閾値ｔｈｒの値は０．５であるとする。
【００８６】
また、制御部９ａは、画像Ｉｉにおける割合ｐの値が、閾値ｔｈｒ以下であることを検出する（図１１のステップＳ６）と、画像Ｉｉを、便及び泡により生体粘膜表面が十分に撮像されていない画像である、すなわち、観察が不必要な画像として識別及び分類し、フラグ値ｆｌａｇｉを０とする（図１１のステップＳ８）。
【００８７】
その後、制御部９ａは、入力された画像Ｉｉの全てに対し、前述した処理が完了していない場合（図１１のステップＳ９）、画像番号ｉに１を加え（図１１のステップＳ１０）、次の画像について、図１１のステップＳ１からステップＳ９までに示す処理を引き続き行う。
【００８８】
制御部９ａは、以上に述べたような処理を行うことにより、ユーザが撮像対象の像の観察を行う際に、フラグ値ｆｌａｇｉの値に基づき、例えば、フラグ値ｆｌａｇｉが１である、観察が必要な画像のみをディスプレイ８ｃに表示し、また、フラグ値ｆｌａｇｉが０である、観察が不必要な画像をディスプレイ８ｃに非表示とすることができる。なお、制御部９ａは、フラグ値ｆｌａｇｉが０である、観察が不必要な画像を削除することにより、記憶する画像データのサイズを削減するようにしても良い。
【００８９】
また、以上に述べた処理のうち、図１１のステップＳ５に示す処理において、制御部９ａは、胃粘膜または絨毛として分類された領域数を合計した値ｚから割合ｐを算出した。しかし、制御部９ａが行う処理は、このようなものに限るものではなく、例えば、以下に記すような、胃粘膜として分類された領域数ｚ１と、絨毛として分類された領域数ｚ２とを個別に扱うようなものであっても良い。
【００９０】
その場合、制御部９ａは、図１１のステップＳ５に示す処理において、胃粘膜または絨毛として分類された領域数の合計数（ｚ１＋ｚ２）が画像Ｉｉの全領域数（ｍ×ｎ）に占める割合ｐの値を、下記数式（５）に基づいて算出する。
【００９１】
ｐ＝（ｚ１＋ｚ２）／（ｍ×ｎ） ・・・（５）
また、制御部９ａは、各々のクラスに分類された領域数に基づき、該領域数が画像Ｉｉの全領域数（ｍ×ｎ）に占める割合を、クラス毎に個別に算出するような処理を行うものであっても良い。
【００９２】
まず、制御部９ａは、図１１のステップＳ１からステップＳ４までの処理を行うことにより、画像Ｉｉが有する領域Ｈｓｔ全てに対しての分類結果を得る（図１９のステップＳ１１）。そして、胃粘膜として分類された領域数をｚ１、絨毛として分類された領域数をｚ２、便として分類された領域数をｚ３とすると、制御部９ａは、上記数式（４）に基づき、胃粘膜として分類された領域数ｚ１が画像Ｉｉの全領域数（ｍ×ｎ）に占める割合ｐ１と、絨毛として分類された領域数ｚ２が画像Ｉｉの全領域数（ｍ×ｎ）に占める割合ｐ２と、便として分類された領域数ｚ３が画像Ｉｉの全領域数（ｍ×ｎ）に占める割合ｐ３とを各々算出する（図１９のステップＳ１２）。
【００９３】
そして、制御部９ａは、割合ｐ１の値と、閾値ｔｈｒ１との比較を行う。制御部９ａは、画像Ｉｉにおける割合ｐ１の値が、閾値ｔｈｒ１より大きいことを検出する（図１９のステップＳ１３）と、画像Ｉｉを、被写体として胃が撮像されたものであるとして識別及び分類する（図１９のステップＳ１４）。なお、本実施形態においては、例えば、閾値ｔｈｒ１の値は０．８であるとする。
【００９４】
また、制御部９ａは、画像Ｉｉにおける割合ｐ１の値が、閾値ｔｈｒ１以下であることを検出する（図１１のステップＳ１３）と、今度は、割合ｐ２の値と、閾値ｔｈｒ２との比較を行う。制御部９ａは、画像Ｉｉにおける割合ｐ２の値が、閾値ｔｈｒ２より大きいことを検出する（図１９のステップＳ１５）と、画像Ｉｉを、被写体として小腸（の絨毛）が撮像されたものであるとして識別及び分類する（図１９のステップＳ１６）。なお、本実施形態においては、例えば、閾値ｔｈｒ２の値は０．８であるとする。
【００９５】
さらに、制御部９ａは、画像Ｉｉにおける割合ｐ２の値が、閾値ｔｈｒ２以下であることを検出する（図１１のステップＳ１５）と、今度は、割合ｐ３の値と、閾値ｔｈｒ３との比較を行う。制御部９ａは、画像Ｉｉにおける割合ｐ３の値が、閾値ｔｈｒ３より大きいことを検出する（図１９のステップＳ１７）と、画像Ｉｉ中における便の占める割合が大きいことから、画像Ｉｉを、被写体として大腸が撮像されたものであるとして識別及び分類する（図１９のステップＳ１８）。なお、本実施形態においては、例えば、閾値ｔｈｒ３の値は０．８であるとする。
【００９６】
その後、制御部９ａは、以上までの処理において、胃粘膜、絨毛及び便のいずれの画像としても識別及び分類されなかった画像に対しての識別及び分類を保留する。そして、制御部９ａは、入力された画像Ｉｉの全てに対し、前述した処理が完了していない場合（図１９のステップＳ１９）、画像番号ｉに１を加え（図１９のステップＳ２０）、次の画像について、図１９のステップＳ１１からステップＳ１９までに示す処理を引き続き行う。
【００９７】
制御部９ａは、以上に述べた、図１９のステップＳ１１からステップＳ１９までの処理を行うことにより、小腸が撮像された画像及び大腸が撮像された画像として識別及び分類された画像を各々特定する。換言すると、制御部９ａは、以上に述べた、図１９のステップＳ１１からステップＳ１９までの処理を行うことにより、被写体として撮像された臓器が胃、小腸または大腸のいずれであるかを検出することができる。
【００９８】
また、ユーザが撮像対象の像の観察を行う際には、図２０に示すような、グラフィックインターフェース（ＧＵＩ）を備えたビュアーが端末装置７のディスプレイ８ｃに表示される。図２０に示すビュワーのメイン画面（ウィンドウ）１０１は、撮像対象の像の画像が表示される画像表示部１０２と、患者及び検査内容についての情報が表示される患者／検査情報表示部１０３と、画像の枚数等が表示される画像情報表示部１０４と、画像表示部１０２に対する表示制御を行う画像表示制御部１０５と、スライダ１０６とを有している。
【００９９】
スライダ１０６は、図示しないマウスカーソルを用いた指示が行われることにより、該指示に基づく所望の画像を画像表示部１０２に表示する機能を有している。また、このスライダ１０６は、小腸が撮像された画像及び大腸が撮像された画像の開始位置を指し示すための案内表示部１０７を有する。そのため、ユーザは、例えば、小腸出血を最も疑う症例については、小腸を優先的かつ効率的に観察するといったような、体腔内の所望の部位の観察を容易に行うことができる。また、図２０に示すビュワーのメイン画面１０１においては、例えば、図示しない「小腸」等の記載がなされたボタンが設けられていても良い。この場合、ユーザは、前記ボタンを図示しないマウスカーソルを用いてクリックすることにより、小腸が撮像された画像を直接表示して観察を行うことができる。
【０１００】
なお、本実施形態の画像処理方法においては、端末装置７の制御部９ａは、画像Ｉｉを、ｘ軸方向の画素数ｌｘ×ｙ軸方向の画素数ｌｙからなる矩形領域に分割したが、さらに、例えば、ｘ軸方向の画素数ｌｘ／２及びｙ軸方向の画素数ｌｙ／２の大きさからなる領域を該矩形領域に重複させて同様の処理を行うものであっても良い。この場合、分類対象となる各クラスの境界が前記矩形領域に含まれた際に生じ得る誤分類を軽減することが可能となる。
【０１０１】
また、前述したように、端末装置７の制御部９ａは、本実施形態の画像処理方法を用いることにより、胃粘膜と絨毛とを個別のクラスとして識別及び分類を行ったが、例えば、胃粘膜及び絨毛を１つのクラスである「生体粘膜表面」として識別及び分類を行った後、さらに、「生体粘膜表面」として分類された領域Ｈｓｔに対し、胃粘膜及び絨毛の２つのクラスにおける識別及び分類を再度行うものであっても良い。
【０１０２】
また、カプセル型内視鏡３は、体腔内に配置された後、胃から小腸へと順次進んでゆく。そのため、端末装置７の制御部９ａは、得られた分類結果に基づき、例えば、全領域数に対して絨毛に分類された領域の割合が０．７を超えた時点において、胃粘膜クラスへの分類を停止するような処理を行うものであっても良い。
【０１０３】
また、本実施形態の画像処理方法は、例えば、食道クラス及び大腸クラスを設定することにより、粘膜表面の色調及び模様の違いによる識別器を実現するという用途として用いることも可能である。さらに、本実施形態の画像処理方法は、全領域数に対して便に分類された領域の割合が多く、かつ、全領域数に対して絨毛に分類された領域の割合が少なくなった場合に大腸と識別するような用途として用いることも可能である。
【０１０４】
以上に述べたように、本実施形態における画像処理方法によれば、生体粘膜表面の像としての胃粘膜及び絨毛の像と、生体粘膜表面とは異なるものである、異物の像としての便及び泡の像とを画像毎に識別及び分類し、観察が必要な画像のみをディスプレイ８ｃに表示することができる。そのため、ユーザは、生体粘膜表面の像が良好に撮像されていない画像が除外された状態において体腔内の観察を行うことができ、その結果、カプセル型内視鏡装置１を用いた観察の効率化をはかることができる。
【０１０５】
また、以上に述べた本実施形態の画像処理方法は、出血、発赤等の病変部位の検出を行う画像処理方法と組み合わせて用いられることにより、病変部位の検出結果が生体粘膜表面上から得られたものであるか否かを判定でき、その結果、病変部位の検出精度を高めることができる。例えば、端末装置７の制御部９ａは、出血、発赤等の病変部位の検出を行う画像処理方法により、病変が疑われる領域として抽出された領域Ｈｓｔの分類結果を参照し、該分類結果が便、泡等の非生体粘膜表面像である場合には誤検出として扱うことにより、病変部位の検出精度を高めることができる。
【０１０６】
また、本実施形態によれば、生体粘膜表面の像として分類された各々の領域に対し、さらに、例えば、前記各々の領域が有する特徴量に基づき、正常な粘膜の像と病変部位の像と分類するような画像処理方法を用いることにより、病変部位の検出精度を高めることができる。
【０１０７】
（第２の実施形態）
図２１は、本発明の第２の実施形態に係るものである。なお、第１の実施形態と同様の構成を持つ部分については、詳細説明は省略する。また、第１の実施形態と同様の構成要素については、同一の符号を用いて説明は省略する。さらに、本実施形態におけるカプセル型内視鏡装置１の構成は、第１の実施形態と同様であると共に、本実施形態における画像処理方法もまた同様に、端末装置７としての、例えば、パーソナルコンピュータにおいて実行されるプログラムとして実現されているものとする。そして、本実施形態における画像処理方法は、端末本体９が有する制御部９ａにおける処理として行われるものとする。
【０１０８】
図２１は、本実施形態に係る画像処理動作を示すフローチャートである。
【０１０９】
まず、制御部９ａは、入力されたｉ番目の画像Ｉｉを構成するＲｉ、Ｇｉ及びＢｉの各プレーンに対し、前処理として、例えば、メディアンフィルタリングによるノイズ除去及び逆γ補正を行うと共に、ハレーション画素及び暗部画素を以降の処理対象から除外するため、閾値に基づく処理により検出しておく（図２１のステップＳ２１）。そして、前記閾値に基づく処理は、例えば、ｒｉｋ、ｇｉｋ及びｂｉｋの濃度値の全てが１０以下の値であれば暗部画素、また、ｒｉｋ、ｇｉｋ及びｂｉｋの濃度値の全てが２３０以上の値であればハレーション画素とするような処理として行われる。
【０１１０】
その後、制御部９ａは、Ｒｉ、Ｇｉ及びＢｉの各プレーンを小領域に分割する（図２１のステップＳ２２）。なお、本実施形態において、制御部９ａは、第１の実施形態において行った方法と同様に、Ｒｉ、Ｇｉ及びＢｉの各プレーンを、ｘ軸方向の画素数ｌｘ×ｙ軸方向の画素数ｌｙ（１≦ｌｘ、１≦ｌｙ）からなる矩形領域に分割するものとし、その領域数は（ｍ×ｎ）個（ｍ＝ＩＳＸ／ｌｘ、ｎ＝ＩＳＹ／ｌｙ）であるものとする。また、制御部９ａは、ｍまたはｎが整数とならない場合においては、大きさが端数となる最端部の領域を、端数の画素数を有する領域として処理するか、または以降の処理対象から除外するものとする。
【０１１１】
制御部９ａは、分割した各領域において、撮像対象の像の画像上における色の違いを反映する色調情報、及び撮像対象の像の画像上における構造の違いを反映するテクスチャ情報を特徴量として算出する（図２１のステップＳ２３）。なお、本実施形態の画像処理方法においては、制御部９ａにおいて分割された領域のうち、一の領域をＨｊ（１≦ｊ≦ｍ×ｎ）と示すものとする。
【０１１２】
本実施形態において、制御部９ａが算出する色調情報は、一の領域Ｈｊに含まれる各画素のＲＧＢ値の比に基づく値としての、ｇｉｋ／ｒｉｋの平均値（以降、μｇｊと記す）及びｂｉｋ／ｒｉｋの平均値（以降、μｂｊと記す）からなる、２つの特徴量として示される値である。なお、μｇｊ及びμｂｊの各値は、０から１の値をとるものとする。また、μｇｊ及びμｂｊの各値は、例えば、胃粘膜のような比較的赤色調を示す領域においては、略同様に小さな値をとる。一方、μｇｊ及びμｂｊの各値は、例えば、小腸のような比較的白色調を示す領域においては、略同様に大きな値をとる。また、μｇｊ及びμｂｊの各値は、例えば、便のような比較的黄色調を示す領域においては、μｇｊ＞μｂｊとなるような値をとる。
【０１１３】
本実施形態において、制御部９ａが算出するテクスチャ情報は、前述したように、撮像対象の像の画像上における構造の違いを反映するものである。そして、撮像対象の像の画像上における構造は、例えば、粘膜表面における絨毛等の微細構造、及び便が有する不定形な模様等として示されるものである。具体的には、制御部９ａが算出するテクスチャ情報は、一の領域Ｈｊに含まれる各画素のＲＧＢ値の標準偏差σｒｊ、σｇｊ及びσｂｊを、一の領域Ｈｊに含まれる各画素のＲＧＢ値の平均値ｍｒｊ、ｍｇｊ及びｍｂｊで除したものである、３つの特徴量として示されるＲＧＢ値の変動係数ＣＶｒｊ、ＣＶｇｊ及びＣＶｂｊである。なお、変動係数ＣＶｒｊ、ＣＶｇｊ及びＣＶｂｊを算出するための計算式は、下記数式（６）、数式（７）及び数式（８）として示される。
【０１１４】
ＣＶｒｊ＝σｒｊ／ｍｒｊ ・・・（６）
ＣＶｇｊ＝σｇｊ／ｍｇｊ ・・・（７）
ＣＶｂｊ＝σｂｊ／ｍｂｊ ・・・（８）
上記数式（６）、数式（７）及び数式（８）により算出される変動係数ＣＶｒｊ、ＣＶｇｊ及びＣＶｂｊにより、撮像対象に対して供給される照明光量の違い等による影響によらず、テクスチャ構造による画素変動の程度を数値化することができる。ＣＶｒｊ、ＣＶｇｊ及びＣＶｂｊの各値は、例えば、拡大観察を行っていない状態である、通常観察において撮像された胃粘膜のような、画像上における構造が比較的平坦な領域においては、明瞭なテクスチャ構造がないため、略同様に小さな値をとる。一方、ＣＶｒｊ、ＣＶｇｊ及びＣＶｂｊの各値は、例えば、小腸の絨毛のような、画像上における構造にエッジを比較的多く含む領域においては、略同様に大きな値をとる。
【０１１５】
そして、制御部９ａは、色調情報及びテクスチャ情報からなる５つの特徴量、すなわち、μｇｊ、μｂｊ、ＣＶｒｊ、ＣＶｇｊ及びＣＶｂｊの各値を、ハレーション画素及び暗部画素を除いた各画素のＲＧＢ値に基づき、（ｍ×ｎ）個の領域Ｈｊ各々において算出する。なお、本実施形態においては、一の領域Ｈｊが有する、（ｌｘ×ｌｙ）個の画素において、例えば、ハレーション画素の個数と、暗部画素の個数との和が占める割合が５０％を超えた場合、一の領域Ｈｊを以降の処理から除外するような制御が行われるものであっても良い。
【０１１６】
その後、制御部９ａは、以降に説明する処理を行うため、一の領域Ｈｊの領域番号ｊをｊ＝１とする（図２１のステップＳ２４）。そして、制御部９ａは、ベイズの定理に基づく統計的識別器を用い、胃粘膜、絨毛、便及び泡からなる４つのクラスのうち、一の領域Ｈｊがどのクラスに属するかを識別し、該識別結果に基づく分類を行う。
【０１１７】
具体的には、４つのクラスの識別及び分類において、一のクラスωａ（ａ＝１、２、…、Ｃ、Ｃはクラス数を示す）が発生する事前確率をＰ（ωａ）とし、一の領域Ｈｊにおける５つの特徴量から決定された特徴ベクトルをｘとし、全クラスからの特徴ベクトルｘの発生確率に基づく確率密度関数をｐ（ｘ）とし、一のクラスωａからの特徴ベクトルｘの発生確率に基づく状態依存確率密度（多変量正規確率密度）関数をｐ（ｘ｜ωａ）とすると、発生した特徴ベクトルｘが一のクラスωａに属する事後確率Ｐ（ωａ｜ｘ）を算出するための計算式は、下記数式（９）として示される。
【０１１８】
なお、状態依存確率密度関数ｐ（ｘ｜ωａ）及び確率密度関数ｐ（ｘ）は、下記数式（１０）及び数式（１１）として示される。
【０１１９】
なお、上記数式（１０）及び数式（１１）において、ｄはｘの特徴量の個数と同数である次元数を示し、μａ及びΣａはクラスωａにおける特徴ベクトルｘの平均ベクトル及び一のクラスωａにおける分散共分散行列を示すものとする。また、（ｘ−μａ）ｔは（ｘ−μａ）の転置行列を示し、｜Σａ｜はΣａの行列式を示し、Σａ−１はΣａの逆行列を示すものとする。さらに、説明の簡単のため、事前確率Ｐ（ωａ）は、全クラスにおいて等しい値をとると仮定し、また、確率密度関数ｐ（ｘ）は、上記数式（１１）により全クラス共通の関数として表されるものとする。
【０１２０】
分類基準としての平均ベクトルμａ及び分散共分散行列Σａは、一のクラスωａにおける母数を構成する要素であり、１番目の画像Ｉ１が端末装置７に入力される以前の段階において、胃粘膜、絨毛、便及び泡からなる４つのクラスの教師データを構成する複数の画像、例えば、図１３、図１４、図１５及び図１６に示すような画像に基づき、該画像の一の領域各々において都度決定される特徴ベクトルｘから、クラス毎に予め算出された後、初期値として端末装置７に各々記憶される。
【０１２１】
なお、平均ベクトルμａは、特徴ベクトルｘが有する５つの特徴量各々の平均値からなり、かつ、特徴ベクトルｘと同一の次元数を有するベクトルである。すなわち、特徴ベクトルｘがｘ＝（ｘ１，ｘ２，ｘ３，ｘ４，ｘ５）として表される場合、平均ベクトルμａは、特徴ベクトルｘが有する５つの特徴量各々の平均値である、μｘ１、μｘ２、μｘ３、μｘ４及びμｘ５を用いて、μａ＝（μｘ１，μｘ２，μｘ３，μｘ４，μｘ５）として表されるものとする。また、分散共分散行列Σａは、一のクラスωａに属する特徴ベクトルｘの分布のバラツキ及び広がり具合を示す行列であり、特徴ベクトルｘの特徴量の個数と同数である次元数ｄに対し、ｄ×ｄ行列として表されるものとする。
【０１２２】
制御部９ａは、発生した特徴ベクトルｘがクラスω１に属する事後確率Ｐ（ω１｜ｘ）と、発生した特徴ベクトルｘがクラスω２に属する事後確率Ｐ（ω２｜ｘ）と、発生した特徴ベクトルｘがクラスω３に属する事後確率Ｐ（ω３｜ｘ）と、発生した特徴ベクトルｘがクラスω４に属する事後確率Ｐ（ω４｜ｘ）とを、ベイズの定理に基づいた上記数式（９）から数式（１１）を用いて各々算出する。そして、制御部９ａは、これら４つの事後確率のうち、最大の事後確率Ｐ１（ωａ｜ｘ）を与えるクラスωａに特徴ベクトルｘが属するものとして識別を行い、該識別結果に基づいて特徴ベクトルｘが発生した領域である一の領域Ｈｊをクラスωａに分類する（図２１のステップＳ２５）と共に、最大の事後確率Ｐ１（ωａ｜ｘ）を与える確率密度関数ｐ１（ｘ｜ωａ）の値を算出する。
【０１２３】
そして、制御部９ａは、以上までの処理において、クラスωａに分類された一の領域Ｈｊの分類結果が正確なものであるか否かを判定するため、平均値からの距離に基づく処理、すなわち、最大の事後確率Ｐ１（ωａ｜ｘ）を与える確率密度関数ｐ１（ｘ｜ωａ）の値に対する閾値に基づく処理をさらに行う。
【０１２４】
具体的には、まず、制御部９ａは、平均ベクトルμａが有する５つの特徴量各々の平均値のうち、例えば、特徴量ｘ１の平均値μｘ１に対し、特徴量ｘ１の標準偏差σｘ１と、所定の定数としての乗算係数αとの積を加えた値を含む、閾値ベクトルｘｂ１を決定する。なお、このような閾値ベクトルｘｂ１は、例えば、下記数式（１２）として示されるものであり、また、本実施形態においては、乗算係数αの値は１．５であるとする。
【０１２５】
ｘｂ１＝（μｘ１＋α×σｘ１，μｘ２，μｘ３，μｘ４，μｘ５） ・・・（１２）
上記数式（１２）により閾値ベクトルｘｂ１が決定されると、制御部９ａは、閾値ベクトルｘｂ１を上記数式（９）、数式（１０）及び数式（１１）のｘとして代入し、一の領域Ｈｊが分類されたクラスωａの閾値としての、確率密度関数ｐ（ｘｂ１｜ωａ）の値を算出する。
【０１２６】
そして、制御部９ａは、ｐ１（ｘ｜ωａ）の値がｐ（ｘｂ１｜ωａ）の値より大きいことを検出する（図２１のステップＳ２６）と、図２１のステップＳ２５に示す処理において、一の領域Ｈｊをクラスωａに分類した分類結果が正確であると判断する（図２１のステップＳ２７）。
【０１２７】
また、制御部９ａは、ｐ１（ｘ｜ωａ）の値がｐ（ｘｂ１｜ωａ）の値以下であることを検出する（図２１のステップＳ２６）と、図２１のステップＳ２５に示す処理において、一の領域Ｈｊをクラスωａに分類した分類結果が不正確であると判断し、一の領域Ｈｊを不明クラスに分類する（図２１のステップＳ２８）。
【０１２８】
そして、制御部９ａは、分割した（ｍ×ｎ）個の領域全てについての分類が完了していない場合（図２１のステップＳ２９）、領域番号ｊに１を加え（図２１のステップＳ３０）、次の領域について、図２１のステップＳ２５からステップＳ２９までに示す処理を行う。
【０１２９】
また、制御部９ａは、入力された画像Ｉｉの全てに対し、前述した処理が完了していない場合（図２１のステップＳ３１）、画像番号ｉに１を加え（図２１のステップＳ３２）、次の画像について、図２１のステップＳ２１からステップＳ３１までに示す処理を引き続き行う。
【０１３０】
また、以上の説明においては、色調情報及びテクスチャ情報に基づく５個の特徴量の全てを一度に用いて特徴ベクトルｘを決定するような、５次元の多変量正規確率密度を規定する場合について述べた。しかし、本実施形態における画像処理方法においては、例えば、色調情報及びテクスチャ情報についての各々の特徴量を個別に用いて２種類の特徴ベクトルｘｃ及びｘｔを決定し、１つのクラスにつき２個の多変量正規確率密度を規定することにより、画像の分類をさらに高精度に行うことができる。
【０１３１】
具体的には、まず、制御部９ａは、色調情報を構成する２個の特徴量μｇｊ及びμｂｊについての状態依存確率密度関数をｐｃ（ｘｃ｜ωａ）として、また、テクスチャ情報を構成する３個の特徴量ＣＶｒｊ、ＣＶｇｊ及びＣＶｂｊについての状態依存確率密度関数をｐｔ（ｘｔ｜ωａ）として各々算出する。なお、ｘｃは、ｘｃ＝（μｇｊ，μｂｊ）として表される２次元のベクトルであり、また、ｘｔは、ｘｔ＝（Ｃｖｒｊ、Ｃｖｇｊ、Ｃｖｂｊ）として表される３次元のベクトルである。
【０１３２】
制御部９ａは、これら２つの状態依存確率密度関数ｐｃ（ｘｃ｜ωａ）及びｐｔ（ｘｔ｜ωａ）を用いて数式（１０）に基づく事後確率Ｐｃ（ωａ｜ｘｃ）及びＰｔ（ωａ｜ｘｔ）を算出した後、最終的な事後確率Ｐ（ωａ｜ｘ）を下記数式（１３）により算出する。
【０１３３】
Ｐ（ωａ｜ｘ）＝Ｐｃ（ωａ｜ｘｃ）×Ｐｔ（ωａ｜ｘｔ） ・・・（１３）
また、クラスωａへの分類結果の正確性を判断するための閾値は、色調情報及びテクスチャ情報の特徴量各々の平均ベクトルμｃ及びμｔと、標準偏差σｃ１及びσｔ１に基づき、例えば、ｐ（ｘｃｂ｜ωａ）及びｐ（ｘｔｂ｜ωａ）として設定される。そして、制御部９ａは、ｐ１（ｘｃ｜ωａ）＞ｐ（ｘｃｂ｜ωａ）であり、かつ、ｐ１（ｘｔ｜ωａ）＞ｐ（ｘｔｂ｜ωａ）であれば、分類結果は正確であるとして、特徴ベクトルｘｃ及び特徴ベクトルｘｔを有する一の領域Ｈｊを、胃粘膜、絨毛、便または泡のいずれかのクラスとして分類し、そうでなければ不明クラスとして分類する。
【０１３４】
なお、以上の説明において、事前確率Ｐ（ωａ）は、全クラスにおいて等しいと仮定したが、これに限るものではない。事前確率Ｐ（ωａ）は、例えば、カプセル型内視鏡３が撮像する部位の時間配分に基づき、絨毛クラスまたは便クラスの事前確率Ｐ（ωａ）を高めに設定したり、カプセル型内視鏡３が撮像した部位の誤分類によるリスクに基づき、胃粘膜クラス及び絨毛クラスの事前確率Ｐ（ωａ）を、観察不要とする便クラス及び泡クラスより高めに設定したり等、種々の用途に応じた値に設定されるものであっても良い。
【０１３５】
以上に述べたように、本実施形態における画像処理方法によれば、生体粘膜表面の像としての胃粘膜及び絨毛の像と、異物の像としての便及び泡の像とを画像の小領域毎に識別及び分類することができる。そのため、ユーザは、画像の小領域の多くを異物の像が占めるような、生体粘膜表面の像が良好に撮像されていない画像を、観察不要の画像として容易に除外することができ、その結果、カプセル型内視鏡装置１を用いた観察の効率化をはかることができる。
【０１３６】
さらに、本実施形態における画像処理方法によれば、例えば、特徴量が分類対象クラスの分布境界または分布重複範囲に該当する等の理由により、確実な分類が困難となるような画像が存在する場合、該画像を不明クラスとして分類することができる。そのため、端末装置７の制御部９ａは、本実施形態における画像処理方法を用いることにより、信頼性の高い画像分類結果を得ることができる。
【０１３７】
（第３の実施形態）
図２２は、本発明の第３の実施形態に係るものである。なお、第１の実施形態及び第２の実施形態と同様の構成を持つ部分については、詳細説明は省略する。また、第１の実施形態及び第２の実施形態と同様の構成要素については、同一の符号を用いて説明は省略する。さらに、本実施形態におけるカプセル型内視鏡装置１の構成は、第１の実施形態及び第２の実施形態の形態と同様であると共に、本実施形態における画像処理方法もまた同様に、端末装置７としての、例えば、パーソナルコンピュータにおいて実行されるプログラムとして実現されているものとする。そして、本実施形態における画像処理方法は、端末本体９が有する制御部９ａにおける処理として行われるものとする。
【０１３８】
図２２は、本実施形態に係る画像処理動作を示すフローチャートである。
【０１３９】
制御部９ａは、本実施形態に係る画像処理方法を行う前に、まず、入力されたｉ番目の画像Ｉｉに対し、第２の実施形態において説明した、図２１に示す、ステップＳ２１からステップＳ３０までの処理を行い、画像Ｉｉについての分類結果を得る（図２２のステップＳ４１）。なお、本実施形態において、図２２のステップＳ４１に示す処理を行うことにより制御部９ａが得る分類結果は、画像内の各領域が胃粘膜クラス、絨毛クラス、便クラス、泡クラス及び不明クラスからなる５つのクラスのいずれかに分類されたような分類結果であるとする。
【０１４０】
そして、制御部９ａは、画像Ｉｉについての分類結果に基づき、絨毛クラスに分類された領域数が画像Ｉｉの全領域数（ｍ×ｎ）に占める割合Ｊの値を算出する（図２２のステップＳ４２）。なお、割合Ｊは、具体的には、例えば、上記数式（４）におけるｐをＪに、また、ｚを絨毛クラスに分類された領域数ｚａをｚに置換することにより算出される値である。
【０１４１】
その後、制御部９ａは、割合Ｊの値と閾値ｔｈｒＪとの比較を行う。制御部９ａは、画像Ｉｉにおける割合ｐの値が、閾値ｔｈｒＪより大きいことを検出する（図２２のステップＳ４３）と、画像Ｉｉの各領域Ｈｊにおいて、胃粘膜クラスに分類されていた領域を絨毛クラスとして再分類する（図２２のステップＳ４４）。なお、本実施形態においては、例えば、閾値ｔｈｒＪの値は０．５であるとする。
【０１４２】
また、制御部９ａは、画像Ｉｉにおける割合ｐの値が、閾値ｔｈｒＪ以下であることを検出する（図２２のステップＳ４３）と、画像Ｉｉの各領域Ｈｊにおいて、絨毛クラスに分類されていた領域を胃粘膜クラスとして再分類する（図２２のステップＳ４５）。
【０１４３】
そして、制御部９ａは、画像Ｉｉについての、前述したような処理による再分類が完了すると、今度は（ｉ＋１）番目の画像Ｉｉ＋１に対し、図２２のステップＳ４１からの一連の処理を行う（図２２のステップＳ４６）。
【０１４４】
以上に述べたように、本実施形態における画像処理方法を用いた場合、第２の実施形態において述べた効果と同様の効果として、カプセル型内視鏡装置１を用いた観察の効率化をはかることができるような効果を得ることができる。
【０１４５】
また、本実施形態における画像処理方法を用いた場合、端末装置７の制御部９ａは、分類結果を得た画像に対し、さらに、胃粘膜及び絨毛の各クラスに分類された領域Ｈｊを排他的に置換して再分類するような処理を行う。そのため、端末装置７の制御部９ａは、本実施形態における画像処理方法を用いることにより、一の画像内に混在して存在し得ないような、胃粘膜の像の画像と（小腸の）絨毛の像の画像との分類を行う場合における誤分類を無くすことができ、その結果、精度の高い画像分類結果を得ることができる。
【０１４６】
（第４の実施形態）
図２３は、本発明の第４の実施形態に係るものである。なお、第１の実施形態から第３の実施形態までと同様の構成を持つ部分については、詳細説明は省略する。また、第１の実施形態から第３の実施形態までと同様の構成要素については、同一の符号を用いて説明は省略する。さらに、本実施形態におけるカプセル型内視鏡装置１の構成は、第１の実施形態から第３の実施形態までの形態と同様であると共に、本実施形態における画像処理方法もまた同様に、端末装置７としての、例えば、パーソナルコンピュータにおいて実行されるプログラムとして実現されているものとする。そして、本実施形態における画像処理方法は、端末本体９が有する制御部９ａにおける処理として行われるものとする。
【０１４７】
図２３は、本実施形態に係る画像処理動作を示すフローチャートである。
【０１４８】
制御部９ａは、本実施形態に係る画像処理方法を行う前に、まず、入力されたｉ番目の画像Ｉｉに対し、第２の実施形態において説明した、図２１に示す、ステップＳ２１からステップＳ３０までの処理を行い、画像Ｉｉについての分類結果を得る（図２３のステップＳ５１）。なお、本実施形態において、図２３のステップＳ５１に示す処理を行うことにより制御部９ａが得る分類結果は、画像内の各領域が便クラス、泡クラス、不明クラス及び生体粘膜クラスからなる４つのクラスのいずれかに分類されたような分類結果であるとする。
【０１４９】
その後、制御部９ａは、以降に説明する処理を行うため、一の領域Ｈｊの領域番号ｊをｊ＝１とする（図２３のステップＳ５２）。そして、制御部９ａは、画像Ｉｉについての分類結果から、領域Ｈｊを生体粘膜クラスに分類したか否かを判定する（図２３のステップＳ５３）。
【０１５０】
制御部９ａは、領域Ｈｊを生体粘膜クラスに分類したことを検出すると、教師データを構成する胃粘膜の画像及び絨毛の画像が各々有する特徴量に基づいて算出された平均ベクトルμａ及び分散共分散行列Σａが代入された上記数式（９）から数式（１１）を用い、該領域Ｈｊにおいて発生した特徴ベクトルｘが胃粘膜クラス（ａ＝１とする）に属する事後確率Ｐ（ω１｜ｘ）と、発生した特徴ベクトルｘが絨毛クラス（ａ＝２とする）に属する事後確率Ｐ（ω２｜ｘ）とを各々算出する。そして、制御部９ａは、これら２つの事後確率のうち、最大の事後確率Ｐ２（ωａ｜ｘ）を与えるクラスに特徴ベクトルｘが属するものとして識別を行い、該識別結果に基づいて特徴ベクトルｘが発生した領域である一の領域Ｈｊを胃粘膜クラスまたは絨毛クラスのいずれかに分類する（図２３のステップＳ５４）。
【０１５１】
そして、制御部９ａは、分割した（ｍ×ｎ）個の領域全てについての分類が完了していない場合（図２３のステップＳ５５）、領域番号ｊに１を加え（図２３のステップＳ５６）、次の領域について、図２３のステップＳ５３からステップＳ５５までに示す処理を行う。
【０１５２】
また、制御部９ａは、画像Ｉｉについての、前述したような処理による分類を完了すると、今度は（ｉ＋１）番目の画像Ｉｉ＋１に対し、図２３のステップＳ５１からの一連の処理を行う（図２３のステップＳ５７）。
【０１５３】
以上に述べたように、本実施形態における画像処理方法を用いた場合、第２の実施形態において述べた効果と同様の効果として、カプセル型内視鏡装置１を用いた観察の効率化をはかることができるような効果を得ることができる。
【０１５４】
また、本実施形態における画像処理方法を用いた場合、端末装置７の制御部９ａは、分類結果を得た画像に対し、さらに、生体粘膜クラスに分類された領域Ｈｊを、胃粘膜クラスまたは絨毛クラスとして再分類するような処理を行う。そのため、端末装置７の制御部９ａは、本実施形態における画像処理方法を用いることにより、胃粘膜の像の画像と（小腸の）絨毛の像の画像との分類を高精度に行うことができる。そして、端末装置７の制御部９ａは、本実施形態における画像処理方法と、第３の実施形態における画像処理方法と組み合わせて用いることにより、胃粘膜の像の画像と（小腸の）絨毛の像の画像とがさらに高精度に分類されたような分類結果を得ることができる。
【０１５５】
なお、本発明における第１の実施形態から第４の実施形態において説明した画像処理方法は、カプセル型内視鏡装置１のカプセル型内視鏡３が撮像した像の画像に対して用いられるものに限らず、例えば、撮像素子及び対物光学系を挿入部の先端部に有するような内視鏡を有する内視鏡装置が撮像した像の画像に対して用いられるものであっても良い。
【０１５６】
（第５の実施形態）
図２４及び図２５は、本発明の第５の実施形態に係るものである。なお、第１の実施形態から第４の実施形態までと同様の構成を持つ部分については、詳細説明は省略する。また、第１の実施形態から第４の実施形態までと同様の構成要素については、同一の符号を用いて説明は省略する。また、本実施形態におけるカプセル型内視鏡装置１の構成は、第１の実施形態から第４の実施形態までの形態と同様であると共に、本実施形態における画像処理方法もまた同様に、端末装置７としての、例えば、パーソナルコンピュータにおいて実行されるプログラムとして実現されているものとする。そして、本実施形態における画像処理方法は、端末本体９が有する制御部９ａにおける処理として行われるものとする。さらに、本実施形態においては、制御部９ａは、端末装置７に予め入力された状態の一連の画像に対し、以降に説明する画像処理を用いるものとする。
【０１５７】
図２４は、本実施形態に係る画像処理動作の一部を示すフローチャートである。図２５は、本実施形態に係る画像処理動作の一部として、図２４のフローチャートに示す処理が行われた後に行われる、画像の表示制御動作を示すフローチャートである。
【０１５８】
制御部９ａは、本実施形態に係る画像処理方法を行う前に、まず、全部でＮ枚（１≦Ｎ）からなる画像のうち、入力されたｉ番目の画像Ｉｉ（Ｉ１≦Ｉｉ≦ＩＮ）についての分類結果を得る（図２４のステップＳ６１）。なお、本実施形態において、制御部９ａは、画像Ｉｉについての分類結果を得るための処理方法として、例えば、図１１に示すステップＳ１からステップＳ４までの処理、または図２１に示すステップＳ２１からステップＳ３０までの処理のうち、いずれの処理方法を用いるものであっても良い。また、画像Ｉｉについての分類結果を得るための処理を行うことにより制御部９ａが得る分類結果は、画像内の各領域が胃粘膜クラス、絨毛クラス、便クラス、泡クラス及び不明クラスからなる５つのクラスのいずれかに分類されたような分類結果であるとする。さらに、制御部９ａは、画像Ｉｉについての分類結果を得るための処理を行う際に、一の領域において、極端な暗部あるいはハレーション等の画素数が所定の閾値以上含まれることを検出した場合、例えば、該一の領域を便クラス、泡クラスまたは不明クラスのいずれかとして分類するものであっても良い。
【０１５９】
そして、制御部９ａは、図２４のステップＳ６１の処理により得た分類結果に基づき、例えば、便クラス、泡クラス及び不明クラスとして分類された領域数の合計が画像Ｉｉの全領域数（ｍ×ｎ）に占める割合Ｋを算出する（図２４のステップＳ６２）。その後、制御部９ａは、割合Ｋの値と閾値ｔｈｌｘ（本実施形態においては、例えば０．７とする）との比較を行うことにより、画像Ｉｉが観察不要の画像であるか否かを判定する。なお、前述したような判定を行うための処理において、制御部９ａが得た分類結果に不明クラスの分類結果が含まれない場合、制御部９ａは、便クラス及び泡クラスとして分類された領域数の合計が画像Ｉｉの全領域数（ｍ×ｎ）に占める割合Ｋ１を算出した後、割合Ｋ１の値と閾値ｔｈｌｘとの比較を行うものであっても良い。また、前述したような判定を行うための処理においては、制御部９ａは、胃粘膜クラス及び絨毛クラスとして分類された領域数の合計が画像Ｉｉの全領域数（ｍ×ｎ）に占める割合Ｋ２を算出した後、割合Ｋ２の値と閾値ｔｈｌｙ（例えば０．３とする）との比較を行うものであっても良い。なお、閾値ｔｈｌｘ及び閾値ｔｈｌｙは、予め固定された値に限るものではなく、例えば、端末装置７の操作により、ユーザが所望の値を設定できるものであっても良い。これにより、ユーザは、どの程度生体粘膜表面が撮像された画像を観察対象とするかを選択することができる。そのため、ユーザは、例えば、病変発見のためにスクリーニング検査を行う場合には観察効率を重視し、精密検査を行う場合にはより詳細に多くの画像を観察するといったように、用途に応じて使い分けるような処理として、制御部９ａに本実施形態の画像処理方法を実行させることができる。
【０１６０】
その後、制御部９ａは、画像Ｉｉにおける割合Ｋの値が、閾値ｔｈｌｘ以上であることを検出する（図２４のステップＳ６３）と、画像Ｉｉを観察不要の画像であるとし、参照値としてのフラグ値ｋｆｌａｇｉの値を例えば１とする（図２４のステップＳ６４）。
【０１６１】
また、制御部９ａは、画像Ｉｉにおける割合Ｋの値が、閾値ｔｈｌｘより小さいことを検出する（図２４のステップＳ６３）と、画像Ｉｉを観察不要な画像ではないとし、フラグ値ｋｆｌａｇｉの値を例えば０とする（図２４のステップＳ６５）。
【０１６２】
制御部９ａは、以上に述べたような処理により決定されたフラグ値ｋｆｌａｇｉを、画像Ｉｉに関連付けて保持する（図２４のステップＳ６６）。
【０１６３】
その後、制御部９ａは、画像Ｉ１から画像ＩＮまでの全ての画像について、前述したような処理による分類を行ったかどうかを判定し（図２４のステップＳ６７）、全ての画像について分類が行われていない場合、今度は（ｉ＋１）番目の画像Ｉｉ＋１に対し、図２４のステップＳ６１からの一連の処理を行う（図２４のステップＳ６８）。また、制御部９ａは、画像Ｉ１から画像ＩＮまでの全ての画像について、前述したような処理による分類を行った場合、端末装置７に予め入力された状態の一連の画像に対しての処理を完了する（図２４のステップＳ６９）。
【０１６４】
次に、前述したような処理により分類された画像Ｉ１から画像ＩＮまでの一連の画像を、例えば、ユーザが画像Ｉ１（画像番号ｉ＝１の画像）から順次観察すると想定した場合、制御部９ａは、画像Ｉｉに関連付けて保持したフラグ値ｋｆｌａｇｉの値を読み込む（図２５のステップＳ７１）。そして、制御部９ａは、フラグ値ｋｆｌａｇｉの値に基づき、画像Ｉｉが観察不要の画像か否かを判定する。
制御部９ａは、画像Ｉｉに関連付けられたフラグ値ｋｆｌａｇｉの値が１である場合（図２５のステップＳ７２）、画像Ｉｉをディスプレイ８ｃに表示させないような表示制御を、端末装置７の各部に対して行う（図２５のステップＳ７３）。
【０１６５】
また、制御部９ａは、画像Ｉｉに関連付けられたフラグ値ｋｆｌａｇｉの値が１でない場合、すなわち、フラグ値ｋｆｌａｇｉの値が０である場合（図２５のステップＳ７２）、画像Ｉｉをディスプレイ８ｃに表示させるような表示制御を、端末装置７の各部に対して行う（図２５のステップＳ７４）。
【０１６６】
その後、制御部９ａは、画像Ｉｉから画像ＩＮまでの全ての画像について、前述したような表示制御処理を行ったかどうかを判定し（図２５のステップＳ７５）、全ての画像について処理が行われていない場合、画像番号ｉに１を加えた後、次の画像Ｉｉ＋１に対し、図２５のステップＳ７１からの一連の処理を行う（図２５のステップＳ７６）。また、制御部９ａは、画像Ｉ１から画像ＩＮまでの全ての画像について前述したような表示制御処理を行った場合、ユーザが画像Ｉ１から画像ＩＮまでの一連の画像を順次観察し終えたものであるとし、表示制御処理を完了する（図２５のステップＳ７７）。
【０１６７】
なお、以上に述べた画像処理方法は、画像Ｉ１から画像ＩＮまでの一連の画像を、ユーザが画像Ｉ１から順次観察する場合についてのみに用いられるものに限らず、例えば、画像Ｉ１から画像ＩＮまでの一連の画像のうち、ユーザが所望の画像を選択して観察する場合について用いられるものであっても良い。また、以上に述べた画像処理方法において、制御部９ａは、観察不要の画像として分類した画像を記憶しないように端末装置７の各部に制御を行っても良いし、また、観察不要の画像として分類した後、図示しない記憶手段に記憶させた画像を削除するように端末装置７の各部に制御を行っても良い。
【０１６８】
以上に述べたように、本実施形態における画像処理方法によれば、生体粘膜表面の像としての胃粘膜及び絨毛の像と、異物の像としての便及び泡の像とを画像毎に識別及び分類し、観察が必要な画像のみをディスプレイ８ｃに表示することができる。そのため、ユーザは、生体粘膜表面の像が良好に撮像されていない画像が除外された状態において体腔内の観察を行うことができ、その結果、カプセル型内視鏡装置１を用いた観察の効率化をはかることができる。
【０１６９】
（第６の実施形態）
図２６から図３１は、本発明の第６の実施形態に係るものである。なお、第１の実施形態から第５の実施形態までと同様の構成を持つ部分については、詳細説明は省略する。また、第１の実施形態から第５の実施形態までと同様の構成要素については、同一の符号を用いて説明は省略する。また、本実施形態におけるカプセル型内視鏡装置１の構成は、第１の実施形態から第５の実施形態までの形態と同様であると共に、本実施形態における画像処理方法もまた同様に、端末装置７としての、例えば、パーソナルコンピュータにおいて実行されるプログラムとして実現されているものとする。そして、本実施形態における画像処理方法は、端末本体９が有する制御部９ａにおける処理として行われるものとする。
【０１７０】
図２６は、本実施形態に係る画像処理動作の一部を示すフローチャートである。図２７は、図２６の処理に引き続いて行われる、本実施形態に係る画像処理動作の一部を示すフローチャートである。図２８は、図２７の処理に引き続いて行われる、本実施形態に係る画像処理動作の一部を示すフローチャートである。図２９は、本実施形態に係る画像処理動作において、エッジ特徴量（エッジ特徴ベクトルとも記す）を決定する際に指標となる８つの方向を示す図である。図３０は、本実施形態に係る画像処理動作において設定される、中心領域と最外周領域との位置関係を示す図である。図３１は、本実施形態に係る画像処理動作において設定される、エッジ特徴ベクトルの方向と、ベクトルＶｌの方向とがなす角度を示す図である。
【０１７１】
制御部９ａは、本実施形態に係る画像処理方法を行う前に、まず、入力されたｉ番目の画像Ｉｉについての分類結果を得る（図２６のステップＳ８１）。なお、本実施形態において、制御部９ａは、画像Ｉｉについての分類結果を得るための処理方法として、例えば、図１１に示すステップＳ１からステップＳ４までの処理、または図２１に示すステップＳ２１からステップＳ３０までの処理のうち、いずれの処理方法を用いるものであっても良い。また、画像Ｉｉについての分類結果を得るための処理を行うことにより制御部９ａが得る分類結果は、画像内の各領域が胃粘膜クラス、絨毛クラス、便クラス、泡クラス及び不明クラスからなる５つのクラスのいずれかに分類されたような分類結果であるとする。さらに、本実施形態において、制御部９ａは、図２６のステップＳ８１の処理を行う場合、入力されたｉ番目の画像ＩｉをＭ×Ｍ個の領域Ｈｋ（１≦ｋ≦Ｍ×Ｍ）に分割するものとする。換言すると、制御部９ａは、画像Ｉｉの分類結果として、Ｍ×Ｍ個の領域Ｈｋ各々が胃粘膜クラス、絨毛クラス、便クラス、泡クラス及び不明クラスからなる５つのクラスのいずれかに分類されたような分類結果を得るものであるとする。
【０１７２】
制御部９ａは、画像Ｉｉについての分類結果を得た後、Ｍ×Ｍ個の領域Ｈｋ各々におけるＧ（緑）画素の濃度値の平均値ｇａｋを算出する（図２６のステップＳ８２）。そして、制御部９ａは、領域ＨｋにおけるＧ画素の濃度値の平均値ｇａｋと、領域Ｈｋに隣接する領域Ｈｋｔ（ｔ≦８）各々におけるＧ画素の濃度値の平均値ｇａｋｔとに基づき、Ｇ画素の濃度値の変動量Ｇｂｔを下記数式（１４）により算出する（図２６のステップＳ８３）。
【０１７３】
Ｇｂｔ＝ｌｏｇ（ｇａｋｔ）−ｌｏｇ（ｇａｋ） ・・・（１４）
制御部９ａは、上記数式（１４）により得られた、領域Ｈｋｔ各々におけるＧｂｔの値のうち、最大のものを最大値Ｇｂｍとし、また、領域Ｈｋｔのうち、最大値Ｇｂｍを与える領域Ｈｋｔｍが、領域Ｈｋに対して存在する方向をｄｉｒＧｂｍとした後、これら２つを領域Ｈｋのエッジ特徴量として保持する（図２６のステップＳ８４）。なお、Ｇ画素の濃度値の変動量の最大値Ｇｂｍを与える領域Ｈｋｔｍが、領域Ｈｋに対して存在する方向は、図２９に示す方向１から方向８のうち、いずれか１つの方向として決定されるものであるとする。
【０１７４】
その後、制御部９ａは、最大値Ｇｂｍと、閾値ｔｈｒｅ１との比較を行い（図２６のステップＳ８５）、最大値Ｇｂｍが閾値ｔｈｒｅ１よりも大きい場合、領域Ｈｋには画像Ｉｉにおけるエッジが存在すると判定し（図２６のステップＳ８６）、また、最大値Ｇｂｍが閾値ｔｈｒｅ１以下である場合、領域Ｈｋには画像Ｉｉにおけるエッジが存在しないと判定する（図２６のステップＳ８７）。なお、本実施形態においては、閾値ｔｈｒｅ１の値は、例えば０．３であるとする。そして、制御部９ａは、領域番号ｋの値に１を加えつつ、（Ｍ×Ｍ）個の領域Ｈｋ全てに対して、図２６のステップＳ８３からステップＳ８７に示す、上記数式（１４）を用いた処理を繰り返し行うことにより、画像Ｉｉにおいてエッジが存在する領域を特定する（図２６のステップＳ８８およびステップＳ８９）。
【０１７５】
なお、以上に述べたような、画像Ｉｉにおけるエッジを検出するための処理を行う以前の段階において、制御部９ａは、画像Ｉｉに対する前処理として、例えば、逆ガンマ補正、シェーディング補正等の処理を行うものであっても良い。
【０１７６】
制御部９ａは、（Ｍ×Ｍ）個の領域Ｈｋ全てに対して前述したような処理を行うことにより、画像Ｉｉにおいてエッジが存在する領域を特定した後、領域Ｈｋを中心領域とする、Ｍ１×Ｍ１（Ｍ１≦Ｍ）個の領域からなる配置評価領域を取得する（図２７のステップＳ９１）。その後、制御部９ａは、配置評価領域を構成する領域のうち、最外周に存在する領域の数である最外周領域数Ｄを検出する（図２７のステップＳ９２）。また、制御部９ａは、配置評価領域におけるＤ個の最外周領域Ｈｋｌ各々において、領域Ｈｋが存在する方向を向くベクトルであるベクトルＶｌを算出する（図２７のステップＳ９３）。なお、領域Ｈｋと最外周領域Ｈｋｌとの位置関係は、例えば、図３０に示すようなものとなる。
【０１７７】
制御部９ａは、最外周領域Ｈｋｌとして定められた領域各々が有する、エッジ特徴ベクトルの方向を示すｄｉｒＧｂｍと、ベクトルＶｌの方向とに基づき、図３１に示すような、これら２つのベクトルがなす角度θｌを算出する（図２７のステップＳ９４）。その後、制御部９ａは、Ｄ個の最外周領域Ｈｋｌのうち、図２６のステップＳ８１からステップＳ８９までの処理においてエッジが存在する領域であると判定され、かつ、θｌ≦ｔｈｒｅ２となる領域数Ｅを検出する（図２７のステップＳ９５）。なお、本実施形態においては、閾値ｔｈｒｅ２の値は、例えば４５°であるとする。
【０１７８】
そして、制御部９ａは、Ｅ／Ｄの値を算出し、Ｅ／Ｄの値が閾値ｔｈｒｅ３よりも大きい場合（図２７のステップＳ９６）、領域Ｈｋを、画像Ｉｉにおいて出血部が存在する可能性のある、出血部候補領域であると判定する（図２７のステップＳ９７）。また、制御部９ａは、Ｅ／Ｄの値が閾値ｔｈｒｅ３よりも大きい場合（図２７のステップＳ９６）、図２６のステップＳ８１からステップＳ８９までの処理においてエッジが存在する領域であると判定され、かつ、θｌ≦ｔｈｒｅ２を満たすＥ個の最外周領域Ｈｋｌを、出血部のエッジが存在する可能性のある、出血部エッジ候補領域であると判定する（図２７のステップＳ９７）。
【０１７９】
なお、本実施形態においては、閾値ｔｈｒｅ３の値は、例えば０．７であるとする。そして、制御部９ａは、領域番号ｋの値に１を加えつつ、（Ｍ×Ｍ）個の領域Ｈｋ全てに対して、図２７のステップＳ９１からステップＳ９７に示す、上記数式（１４）を用いた処理を繰り返し行うことにより、画像Ｉｉにおいて、出血部が存在する領域の候補と、出血部のエッジが存在する領域の候補とを特定する（図２７のステップＳ９８およびステップＳ９９）。
【０１８０】
制御部９ａは、（Ｍ×Ｍ）個の領域Ｈｋ全てに対して前述したような処理を行うことにより、画像Ｉｉにおける出血部候補領域と、出血部エッジ候補領域とを特定した後、出血部候補領域の領域数Ｈを検出する（図２８のステップＳ１０１）。その後、制御部９ａは、各々の出血部候補領域に対応する、Ｅ個の出血部エッジ候補領域を検出する（図２８のステップＳ１０２）。
【０１８１】
そして、制御部９ａは、出血部候補領域としての領域Ｈｋに対応する、出血部エッジ候補領域としての最外周領域Ｈｋｌにおいて、領域Ｈｋｌとして定められた領域が有するＧ画素の濃度値の平均値ｇａｋｌと、領域Ｈｋｌに隣接する領域Ｈｋｌｔ（ｔ≦８）各々におけるＧ画素の濃度値の平均値ｇａｋｌｔとに基づき、Ｇ画素の濃度値の変動量Ｇｂｌｔを下記数式（１５）により算出する（図２８のステップＳ１０３）。
【０１８２】
Ｇｂｌｔ＝ｌｏｇ（ｇａｋｌｔ）−ｌｏｇ（ｇａｋｌ） ・・・（１５）
また、制御部９ａは、出血部候補領域としての領域Ｈｋに対応する、出血部エッジ候補領域としての最外周領域Ｈｋｌにおいて、領域Ｈｋｌとして定められた領域におけるＲ（赤）画素の濃度値の平均値ｒａｋｌと、領域Ｈｋｌに隣接する領域Ｈｋｌｔ（ｔ≦８）各々におけるＲ画素の濃度値の平均値ｒａｋｌｔとを算出する。そして、制御部９ａは、平均値ｒａｋｌと、平均値ｒａｋｌｔと基づき、Ｒ画素の濃度値の変動量Ｒｂｌｔを下記数式（１６）により算出する（図２８のステップＳ１０４）。
【０１８３】
Ｒｂｌｔ＝ｌｏｇ（ｒａｋｌｔ）−ｌｏｇ（ｒａｋｌ） ・・・（１６）
制御部９ａは、領域Ｈｋｌとして定められた領域が有する最大値Ｇｂｍと、方向ｄｉｒＧｂｍにおける変動量Ｒｂｌｔとに基づき、カラーエッジ特徴量としてのＧｂｍ／Ｒｂｌｔの値を算出する。その後、制御部９ａは、Ｅ個の領域Ｈｋｌのうち、Ｇｂｍ／Ｒｂｌｔ＞ｔｈｒｅ４となる領域数Ｆを検出する（図２８のステップＳ１０５）。なお、本実施形態においては、閾値ｔｈｒｅ４の値は、例えば１．０であるとする。また、本実施形態においては、制御部９ａが行う処理においてカラーエッジ特徴量として用いる値はＧｂｍ／Ｒｂｌｔの値に限るものではない。制御部９ａは、前述した処理において、例えば、変動量Ｒｂｌｔと略同様の方法により算出したＢ画素の濃度値の変動量Ｂｂｌｔに基づき、Ｇｂｍ／Ｂｂｌｔの値をカラーエッジ特徴量として用いるものであっても良い。
【０１８４】
そして、制御部９ａは、Ｆ／Ｅの値を算出し、Ｆ／Ｅの値が閾値ｔｈｒｅ５よりも大きい場合（図２８のステップＳ１０６）、領域Ｈｋを画像Ｉｉにおける出血部であると判定し、また、領域Ｈｋｌを領域Ｈｋに対応する出血部エッジ領域として判定する（図２８のステップＳ１０７）。また、制御部９ａは、Ｆ／Ｅの値が閾値ｔｈｒｅ５以下である場合（図２８のステップＳ１０６）、領域Ｈｋを出血部ではないと判定する（図２８のステップＳ１０８）。なお、本実施形態においては、閾値ｔｈｒｅ５の値は、例えば０．７であるとする。そして、制御部９ａは、出血部候補領域として検出したＨ個の領域Ｈｋ全てに対して、図２８のステップＳ１０１からステップＳ１０８に示す処理を繰り返し行うことにより、画像Ｉｉにおいて、出血部が存在する領域と、出血部のエッジが存在する領域とを特定する（図２８のステップＳ１０９およびステップＳ１１０）。
【０１８５】
さらに、制御部９ａは、画像Ｉｉにおける出血部が存在する領域を特定すると、図２６のステップＳ８１の処理において得た、画像Ｉｉについての分類結果を参照することにより、出血部が存在する領域として特定した領域Ｈｋを、どのクラスに分類したかを検出する（図２８のステップＳ１１１）。そして、制御部９ａは、出血部が存在する領域として特定した領域Ｈｋが胃粘膜クラス、絨毛クラスまたは不明クラスのいずれかとして分類されていることを検出した場合（図２８のステップＳ１１２）、画像Ｉｉにおける領域Ｈｋの分類結果は正しいものであると判定する（図２８のステップＳ１１３）。また、制御部９ａは、出血部が存在する領域として特定した領域Ｈｋが便クラスまたは泡クラスとして分類されていることを検出した場合（図２８のステップＳ１１２）、画像Ｉｉにおける領域Ｈｋの分類結果は誤りであると判定する（図２８のステップＳ１１４）。なお、制御部９ａは、出血部が存在する領域として特定した領域Ｈｋが不明クラスとして分類されていることを検出した場合については、領域Ｈｋの分類結果についての正誤の判定を行わず、例えば、「病変部位が撮像されている可能性のある領域」として別途判定を行うものであっても良い。
【０１８６】
その後、制御部９ａは、入力された画像Ｉｉ全てについて、前述したような処理を行ったかどうかを判定し（図２８のステップＳ１１５）、全ての画像について処理が行われていない場合、次の画像Ｉｉ＋１に対し、図２５のステップＳ７１からの一連の処理を行う（図２８のステップＳ１１６）。また、制御部９ａは、入力された画像Ｉｉ全てについて前述したような処理を行った場合、処理を完了する（図２８のステップＳ１１７）。
【０１８７】
以上に述べたように、本実施形態における画像処理方法を用いた場合、第２の実施形態において述べた効果と同様の効果として、カプセル型内視鏡装置１を用いた観察の効率化をはかることができるような効果を得ることができる。
【０１８８】
また、本実施形態における画像処理方法を用いた場合、端末装置７の制御部９ａは、画像Ｉｉ内の出血部が存在する領域Ｈｋを特定した後、予め得た画像Ｉｉの領域Ｈｋの分類結果に対して正誤判定を行うような処理を行う。そのため、端末装置７の制御部９ａは、本実施形態における画像処理方法を用いることにより、例えば、便等の異物の像が撮像されている領域に、病変部位としての出血部位が存在するといったような、出血部位の誤検出を防ぐことができ、その結果、従来に比べ、より信頼性の高い病変部位の検出結果を得ることができる。
【０１８９】
［付記］
以上詳述したような本発明の前記実施形態によれば、以下のような構成を得ることができる。
【０１９０】
（付記項１）
複数の色信号からなる医用画像を入力する画像入力ステップと、
前記入力された医用画像を複数の領域に分割する領域分割ステップと、
前記分割された各領域から特徴量を算出する特徴量算出ステップと、
前記特徴量に基づき各領域を分類する領域分類ステップとからなる画像処理方法であって、
前記領域分類ステップは前記領域が生体粘膜表面を撮像した領域であるか否かに基づき分類を行うことを特徴とする画像処理方法。
【０１９１】
（付記項２）
複数の色信号からなる医用画像を入力する画像入力ステップと、
前記入力された医用画像を複数の領域に分割する領域分割ステップと、
前記分割された各領域から特徴量を算出する特徴量算出ステップと、
前記特徴量に基づき各領域を分類する領域分類ステップとからなる画像処理方法であって、
前記領域分類ステップは前記領域が生体粘膜表面を撮像した領域と、生体内に存在する異物を撮像した領域と、いずれにも分類することができない領域とに基づく分類を行うことを特徴とする画像処理方法。
【０１９２】
（付記項３）
複数の色信号からなる医用画像を入力する画像入力ステップと、
前記入力された医用画像を複数の領域に分割する領域分割ステップと、
前記分割された各領域から特徴量を算出する特徴量算出ステップと、
前記特徴量に基づき各領域を複数の異なるクラスのいずれかに分類する領域分類ステップと、
前記複数のクラスにおいて混在することを許さない排他クラスの組み合わせを設定する排他クラス設定ステップと、
前記医用画像において前記排他クラスの組み合わせのいずれのクラスを優先するかを設定する優先クラス設定ステップとからなる画像処理方法であって、
前記領域分類ステップは前記領域が前記排他クラス設定ステップで設定された排他クラスの組み合わせのいずれかのクラスに分類し得る場合、前記優先クラス設定ステップで設定されたクラスに分類することを特徴とする画像処理方法。
【０１９３】
（付記項４）
前記領域分類ステップによる各領域の分類結果に基づき前記医用画像が生体粘膜表面を
撮像したか否かを判定する判定ステップをさらに備えることを特徴とする付記項１乃至付記項３のいずれか一に記載の画像処理方法。
【０１９４】
（付記項５）
前記判定ステップは前記領域分類ステップによる各領域の分類において生体粘膜表面を撮像したと分類された領域が前記医用画像に対し十分大きな割合を占めた場合に生体粘膜表面を撮像したものと判定することを特徴とする付記項４に記載の画像処理方法。
【０１９５】
（付記項６）
前記領域分割ステップは前記医用画像を矩形に分割することを特徴とする付記項１乃至付記項５のいずれか一に記載の画像処理方法。
【０１９６】
（付記項７）
前記特徴量算出ステップは前記分割された各領域における色調または模様に基づく特徴量を算出することを特徴とする付記項１乃至付記項６のいずれか一に記載の画像処理方法。
【０１９７】
（付記項８）
前記領域分類ステップは識別器による識別ステップを含み前記算出された特徴量に基づく識別分類を行うことを特徴とする付記項１乃至付記項７のいずれか一に記載の画像処理方法。
【０１９８】
（付記項９）
前記領域分類ステップは統計的識別器は正規確率密度関数に基づく識別を行うことを特徴とする付記項８に記載の画像処理方法。
【０１９９】
（付記項１０）
前記領域分類ステップは前記正規確率密度関数における平均値からの距離に基づく識別を行うことを特徴とする付記項９に記載の画像処理方法。
【０２００】
（付記項１１）
前記医用画像はＲ、Ｇ及びＢの３プレーンから構成されるとともに、前記特徴量算出手段はＲ、Ｇ及びＢの比率に基づく特徴量を算出することを特徴とする付記項１乃至付記項１０のいずれか一に記載の画像処理方法。
【０２０１】
（付記項１２）
前記医用画像はＲ、Ｇ及びＢの３プレーンから構成されるとともに、前記特徴量算出手段はＲ、Ｇ及びＢの変動の大きさに基づく特徴量を算出することを特徴とする付記項１乃至付記項１１のいずれか一に記載の画像処理方法。
【０２０２】
（付記項１３）
前記領域分類ステップは前記分割された各領域を生体粘膜表面として少なくとも胃粘膜及び小腸粘膜表面のいずれかに分類することを特徴とする付記項１乃至付記項１２のいずれか一に記載の画像処理方法。
【０２０３】
（付記項１４）
前記領域分類ステップは前記分割された各領域を少なくとも液体、泡または便を生体粘膜表面ではないものとして分類することを特徴とする付記項１乃至付記項１３のいずれか一に記載の画像処理方法。
【０２０４】
（付記項１５）
前記医用画像はカプセル型内視鏡装置による撮像画像であることを特徴とする付記項１乃至付記項１４のいずれか一に記載の画像処理方法。
【０２０５】
（付記項１６）
前記医用画像は内視鏡装置による撮像画像であることを特徴とする付記項１乃至付記項１５のいずれか一に記載の画像処理方法。
【０２０６】
（付記項１７）
複数の色信号からなる医用画像を入力する画像入力ステップと、
前記入力された医用画像を複数の領域に分割する領域分割ステップと、
前記分割された各領域から特徴量を算出する特徴量算出ステップと、
前記特徴量に基づき各領域を分類する領域分類ステップと、
前記領域分類ステップにおける分類結果に基づき撮像臓器を推定する撮像臓器推定ステップとからなることを特徴とする画像処理方法。
【０２０７】
（付記項１８）
複数の色信号からなる医用画像を入力する画像入力手段と、
前記医用画像を記憶する記憶手段と、
前記医用画像を表示する表示手段とを備えるとともに、
前記入力された医用画像が生体粘膜を十分に撮像したか否かを判定する判定手段と、
前記判定手段における判定結果に基づき前記医用画像の表示または記憶の少なくとも１つを制御する制御手段と、
を備えたことを特徴とする画像処理装置。
【０２０８】
（付記項１９）
前記制御手段は前記判定手段により生体粘膜を十分に撮像していないと判定された前記医用画像を表示しないよう制御することを特徴とする付記項１８記載の画像処理装置。
【０２０９】
（付記項２０）
前記制御手段は前記判定手段により生体粘膜を十分に撮像していないと判定された前記医用画像を記憶しないよう制御することを特徴とする付記項１８または付記項１９に記載の画像処理装置。
【０２１０】
（付記項２１）
前記記憶手段に記憶された前記医用画像を削除する画像削除手段を備え、
前記画像削除手段は前記判定手段により生体粘膜を十分に撮像していないと判定された
前記医用画像を削除することを特徴とする付記項１８乃至付記項２０のいずれか一に記載の画像処理装置。
【０２１１】
（付記項２２）
複数の色信号からなる複数の医用画像を入力する画像入力手段と、
前記医用画像を記憶する記憶手段と、
前記医用画像を表示する表示手段と、
前記医用画像の中から病変の存在が疑われる画像を検出する検出手段とを備えるとともに、
前記入力された医用画像に対し領域を設定する領域設定手段と、
前記領域設定手段により設定された領域が生体粘膜を撮像した領域であるか否かを判定する領域判定手段と、
前記領域判定手段における判定結果に基づき前記検出手段による検出結果が正しいか否かを判定する検出結果判定手段とを備えたことを特徴とする画像処理装置。
【０２１２】
（付記項２３）
前記検出手段は前記医用画像において病変の存在が疑われる領域を検出するとともに、前記検出結果判定手段は前記検出された領域が前記領域判定手段において生体粘膜を撮像した領域である場合に検出結果が正しいと判定することを特徴とする付記項２２に記載の画像処理装置。
【０２１３】
（付記項２４）
時間的に連続して撮像された複数の医用画像を入力する画像入力手段と、
前記医用画像を記憶する記憶手段と、
前記医用画像を表示する画像表示手段とを備えるとともに、
前記医用画像に複数の領域を設定する領域設定手段と、
前記領域設定手段により設定された各領域における撮像対象を判定する判定手段と、
前記判定手段に基づき前記医用画像に撮像されている臓器を特定する特定手段と、
前記特定手段における特定結果を表示する特定結果表示手段とを備えたことを特徴とする画像処理装置。
【０２１４】
（付記項２５）
前記判定手段は前記領域の撮像対象として生体粘膜であるか否か及びその種類を判定することを特徴とする付記項２４に記載の画像処理装置。
【０２１５】
（付記項２６）
前記生体粘膜は胃粘膜または小腸粘膜であることを特徴とする付記項１８乃至付記項２５のいずれか一に記載の画像処理装置。
【０２１６】
（付記項２７）
付記項１乃至付記項１７に記載の画像処理方法及び請求項１８乃至請求項２６に記載の画像処理装置のうち、いずれか一を実現するためのプログラム。
【０２１７】
（付記項２８）
撮像機能を有する医療機器により撮像された画像に基づく画像信号を入力する画像信号入力手段において入力した画像信号に基づいて当該医療機器で撮像された画像を複数の領域に分割する画像分割ステップと、
前記画像分割ステップにより分割された複数の領域各々における特徴量を算出する特徴量算出ステップと、
前記特徴量算出ステップにおいて算出された特徴量に基づき、前記複数の領域を複数のクラスのいずれかに各々分類する領域分類ステップと、
前記領域分類ステップによる分類結果に基づいて、前記複数のクラスの内、所定のクラスに分類された領域群が前記複数の領域に占める割合を算出する分類判定値算出ステップと、
前記分類判定値算出ステップにより算出された前記割合と、所定の閾値とに基づき、前記領域群を有する前記画像を分類する画像分類ステップと、
を有することを特徴とする画像処理方法。
【０２１８】
（付記項２９）
前記所定のクラスは、胃粘膜クラス、絨毛クラス及び便クラスのうち、少なくとも一のクラスを有することを特徴とする付記項２８に記載の画像処理方法。
【０２１９】
（付記項３０）
前記複数の領域は、複数の矩形領域であることを特徴とする付記項２８または付記項２９に記載の画像処理方法。
【０２２０】
（付記項３１）
前記特徴量は、前記画像の前記複数の領域各々における色調情報及びテクスチャ情報からなることを特徴とする付記項２８乃至付記項３０のいずれか一に記載の画像処理方法。
【０２２１】
（付記項３２）
前記領域分類ステップは、前記特徴量算出ステップにおいて算出された前記特徴量に関する識別器を用いて、前記複数の領域を前記複数のクラスのいずれかに各々分類することを特徴とする付記項２８乃至付記項３１のいずれか一に記載の画像処理方法。
【０２２２】
（付記項３３）
前記統計的識別器は、前記特徴量の平均値及び前記特徴量に関する分散共分散行列を前記母数とし、かつ、正規確率密度関数を用いた識別を行うことを特徴とする付記項３２に記載の画像処理方法。
【０２２３】
（付記項３４）
前記正規確率密度関数を用いた前記識別は、前記平均値に基づく閾値を用いて行われることを特徴とする付記項３３に記載の画像処理方法。
【０２２４】
（付記項３５）
前記画像は、赤、緑及び青の３プレーンからなり、前記特徴量は、前記画像の前記複数の領域各々における赤の濃度値、緑の濃度値及び青の濃度値の比率に基づく値を有することを特徴とする付記項２８乃至付記項３４のいずれか一に記載の画像処理方法。
【０２２５】
（付記項３６）
前記画像は、赤、緑及び青の３プレーンからなり、前記特徴量は、前記画像の前記複数の領域各々における赤の濃度値、緑の濃度値及び青の濃度値の変動の大きさに基づく値を有することを特徴とする付記項２８乃至付記項３５のいずれか一に記載の画像処理方法。
【０２２６】
（付記項３７）
前記複数のクラスは、胃粘膜クラス及び絨毛クラスのうち、少なくとも一方のクラスを有することを特徴とする付記項２８乃至付記項３６のいずれか一に記載の画像処理方法。
【０２２７】
（付記項３８）
前記複数のクラスは、便クラス及び泡クラスのうち、少なくとも一方のクラスを有することを特徴とする付記項２８乃至付記項３７のいずれか一に記載の画像処理方法。
【０２２８】
（付記項３９）
前記医療機器は、カプセル型内視鏡装置であることを特徴とする付記項２８乃至付記項３８のいずれか一に記載の画像処理方法。
【０２２９】
（付記項４０）
前記医療機器は、内視鏡装置であることを特徴とする付記項２８乃至付記項３９のいずれか一に記載の画像処理方法。
【０２３０】
（付記項４１）
前記画像分類ステップにおいては、前記画像は参照値に関連付けて保持され、
さらに、前記参照値の値に基づいて前記画像を表示するか否かを決定する画像表示制御ステップを有することを特徴とする付記項２８乃至付記項４０のいずれか一に記載の画像処理方法。
【０２３１】
（付記項４２）
前記画像分類ステップにおいては、前記画像は参照値に関連付けて保持され、
さらに、前記参照値の値に基づいて前記画像を削除するか否かを決定する画像削除制御ステップを有することを特徴とする付記項２８乃至付記項４０のいずれか一に記載の画像処理方法。
【０２３２】
（付記項４３）
前記画像分類ステップは、前記領域群を有する前記画像を、前記所定のクラスに関連した被写体が撮像された画像であるとして分類することを特徴とする付記項２８乃至付記項４０のいずれか一に記載の画像処理方法。
【０２３３】
（付記項４４）
撮像機能を有する医療機器により撮像された画像に基づく画像信号を入力する画像信号入力手段において入力した画像信号に基づいて当該医療機器で撮像された画像を複数の領域に分割する画像分割ステップと、
前記画像分割ステップにより分割された複数の領域各々における特徴量を算出する特徴量算出ステップと、
前記特徴量算出ステップにおいて算出された特徴量に基づき、前記複数の領域を複数のクラスのいずれかに各々分類する第１の領域分類ステップと、
前記第１の領域分類ステップによる分類結果に基づいて、前記複数のクラスの内、第１のクラスに分類された領域群が前記複数の領域に占める割合を算出する分類判定値算出ステップと、
前記分類判定値算出ステップにより算出された前記割合と、所定の閾値とに基づき、前記第１のクラスに分類された前記領域群を、第２のクラスとして排他的に置換して再分類する第２の領域分類ステップと、
を有することを特徴とする画像処理方法。
【０２３４】
（付記項４５）
付記項２８乃至付記項４４のいずれか一に記載の画像処理方法に基づく動作を行う画像処理装置。
【０２３５】
（付記項４６）
付記項２８乃至付記項４４のいずれか一に記載の画像処理方法に基づく動作を画像処理装置に行わせるためのプログラム。
【０２３６】
（付記項４７）
撮像機能を有する医療機器により撮像された画像に基づく画像信号を入力する画像信号入力手段と、
前記画像信号入力手段において入力した画像信号に基づき、当該医療機器により撮像された画像を複数の領域に分割する画像分割手段と、
前記画像分割手段により分割された複数の領域各々における特徴量を算出する特徴量算出手段と、
前記特徴量算出手段において算出された特徴量に基づき、前記複数の領域を複数のクラスのいずれかに各々分類する領域分類手段と、
前記領域分類手段による分類結果に基づいて、前記複数のクラスの内、所定のクラスに分類された領域群が前記複数の領域に占める割合を算出する分類判定値算出手段と、
前記分類判定値算出手段により算出された前記割合と、所定の閾値とに基づき、前記領域群を有する前記画像を分類する画像分類手段と、
を具備したことを特徴とする画像処理装置。
【０２３７】
（付記項４８）
前記所定のクラスは、胃粘膜クラス、絨毛クラス及び便クラスのうち、少なくとも一のクラスを有することを特徴とする付記項４７に記載の画像処理装置。
【０２３８】
（付記項４９）
前記画像分類手段は、前記領域群を有する前記画像を、前記所定のクラスに関連した被写体が撮像された画像であるとして分類することを特徴とする付記項４７または付記項４８に記載の画像処理装置。
【０２３９】
（付記項５０）
撮像機能を有する医療機器で撮像された画像に基づく画像信号を入力する画像信号入力手段と、
前記画像信号入力手段において入力した画像信号に基づいて当該医療機器で撮像された画像を複数の領域に分割する画像分割手段と、
前記画像分割手段により分割された複数の領域各々における特徴量を算出する特徴量算出手段と、
前記特徴量算出手段において算出された特徴量に基づき、前記複数の領域を複数のクラスのいずれかに各々分類する第１の領域分類手段と、
前記第１の領域分類手段による分類結果に基づいて、前記複数のクラスの内、第１のクラスに分類された領域群が前記複数の領域に占める割合を算出する分類判定値算出手段と、
前記分類判定値算出手段により算出された前記割合と、所定の閾値とに基づき、前記第１のクラスに分類された前記領域群を、第２のクラスとして排他的に置換して再分類する第２の領域分類手段と、
を具備したことを特徴とする画像処理装置。
【０２４０】
（付記項５１）
前記画像分類手段は、前記画像を参照値に関連付けて保持し、
さらに、前記参照値の値に基づいて前記画像を表示手段に表示するか否かを決定する画像表示制御手段を有することを特徴とする付記項４７または付記項４８に記載の画像処理装置。
【０２４１】
（付記項５２）
前記画像分類手段は、前記画像を参照値に関連付けて保持し、
さらに、前記参照値の値に基づいて前記画像を削除するか否かを決定する画像削除制御手段を有することを特徴とする付記項４７または付記項４８に記載の画像処理装置。
【図面の簡単な説明】
【０２４２】
【図１】本発明の第１の実施形態である画像処理動作が行われる画像処理装置および周辺機器の外観を示した外観正面図。
【図２】本実施形態の画像処理装置において処理する所定の画像情報を生成するカプセル型内視鏡の一部を切り取って示した要部拡大断面図。
【図３】本実施形態の画像処理装置に所定の画像情報を供給するカプセル型内視鏡装置の概略内部構成を示すブロック図。
【図４】本実施形態の画像処理装置に所定の画像情報を供給するカプセル型内視鏡装置の一使用例を示した図。
【図５】図２に示すカプセル型内視鏡から出力される信号の一例を示したタイミングチャート。
【図６】図２に示すカプセル型内視鏡の位置検出を説明する説明図。
【図７】図３に示すカプセル型内視鏡装置を使用した際におけるアンテナユニットを示した要部拡大断面図。
【図８】図３に示すカプセル型内視鏡装置を使用した際におけるシールドジャケットを説明する説明図。
【図９】図３に示すカプセル型内視鏡装置の外部装置の被検体への装着状態を説明する説明図。
【図１０】図２に示すカプセル型内視鏡の電気的な構成を示すブロック図。
【図１１】第１の実施形態に係る画像処理動作を示すフローチャート。
【図１２】第１の実施形態に係る画像処理動作において、入力された画像が（ｍ×ｎ）個の領域に分割される際の一例を示す図。
【図１３】教師データを構成する複数の画像のうち、胃粘膜の画像の一例を示す図。
【図１４】データを構成する複数の画像のうち、絨毛の画像の一例を示す図。
【図１５】教師データを構成する複数の画像のうち、便の画像の一例を示す図。
【図１６】教師データを構成する複数の画像のうち、泡の画像の一例を示す図。
【図１７】カプセル型内視鏡により撮像された体腔内の像の画像の一例を示す模式図。
【図１８】図１７に示す画像の分類結果の一例を示す図。
【図１９】第１の実施形態に係る画像処理動作において、図１１とは異なる画像処理方法を示すフローチャート。
【図２０】ディスプレイに表示されるビュワーの画像のうち、メインメニュー画面の一例を示す図。
【図２１】第２の実施形態に係る画像処理動作を示すフローチャート。
【図２２】第３の実施形態に係る画像処理動作を示すフローチャート。
【図２３】第４の実施形態に係る画像処理動作を示すフローチャート。
【図２４】第５の実施形態に係る画像処理動作の一部を示すフローチャート。
【図２５】第５の実施形態に係る画像処理動作の一部として、図２４のフローチャートに示す処理が行われた後に行われる、画像の表示制御動作を示すフローチャート。
【図２６】第６の実施形態に係る画像処理動作の一部を示すフローチャート。
【図２７】図２６の処理に引き続いて行われる、第６の実施形態に係る画像処理動作の一部を示すフローチャート。
【図２８】図２７の処理に引き続いて行われる、第６の実施形態に係る画像処理動作の一部を示すフローチャート。
【図２９】第６の実施形態に係る画像処理動作において、エッジ特徴ベクトルを決定する際に指標となる８つの方向を示す図。
【図３０】第６の実施形態に係る画像処理動作において設定される、中心領域と最外周領域との位置関係を示す図。
【図３１】第６の実施形態に係る画像処理動作において設定される、エッジ特徴ベクトルの方向と、ベクトルＶｌの方向とがなす角度を示す図。
【符号の説明】
【０２４３】
１・・・カプセル型内視鏡装置、２・・・患者、３・・・カプセル型内視鏡、３Ｄ・・・カプセル本体、４・・・アンテナユニット、５・・・外部装置、５Ｄ・・・本体部、６・・・クレードル、７・・・端末装置、８ａ・・・キーボード、８ｂ・・・マウス、８ｃ・・・ディスプレイ、９・・・端末本体、９ａ・・・制御部、１０・・・ジャケット、１１，１１ａ，１１ｂ，１１ｃ，１１ｄ・・・受信アンテナ、１２・・・液晶モニタ、１３・・・操作部、１４・・・外装部材、１４ａ・・・カバー部材、１５・・・対物レンズ、１６・・・レンズ枠、１７・・・電荷結合素子、１７Ａ・・・ＣＣＤドライバ、１８・・・ＬＥＤ、１８Ａ・・・ＬＥＤドライバ、１９，１９Ａ・・・処理回路、１９Ｂ・・・タイミングジェネレータ、１９Ｃ，１９Ｄ，１９Ｅ・・・スイッチ、２０・・・通信処理回路、２１・・・電池、２３・・・送信アンテナ、 ３３・・・受信回路、３５・・・信号処理回路、３７・・・送信器、４３・・・撮像装置、４５・・・アンテナ切換スイッチ、４６・・・アンテナ選択回路、４７・・・メモリ、７２・・・シールドジャケット、７３・・・ベルト、７４・・・鍵穴、 ７５・・・鍵、１０１・・・メイン画面、１０２・・・画像表示部、１０３・・・検査情報表示部、１０４・・・画像情報表示部、１０５・・・画像表示制御部、１０６・・・スライダ、１０７・・・案内表示部
【特許請求の範囲】
【請求項１】
撮像機能を有する医療機器により撮像された画像を入力する画像入力ステップと、
前記画像を複数の領域に分割する領域分割ステップと、
前記複数の領域各々から特徴量を算出する特徴量算出ステップと、
前記特徴量に基づき、前記複数の領域各々を分類する領域分類ステップとを有する画像処理方法であって、
前記領域分類ステップは、前記複数の領域各々が生体粘膜表面を撮像した領域であるか否かに基づいて分類を行うことを特徴とする画像処理方法。
【請求項２】
撮像機能を有する医療機器により撮像された画像を入力する画像入力ステップと、
前記画像を複数の領域に分割する領域分割ステップと、
前記複数の領域各々から特徴量を算出する特徴量算出ステップと、
前記特徴量に基づき、前記複数の領域各々を分類する領域分類ステップとを有する画像処理方法であって、
前記領域分類ステップは、生体粘膜表面を撮像した領域と、生体内に存在する異物を撮像した領域と、前記生体粘膜表面及び前記異物のどちらにも該当しない領域とのいずれかに前記複数の領域各々を分類することを特徴とする画像処理方法。
【請求項３】
撮像機能を有する医療機器により撮像された画像を入力する画像入力ステップと、
前記画像を複数の領域に分割する領域分割ステップと、
前記複数の領域各々から特徴量を算出する特徴量算出ステップと、
前記特徴量に基づき、前記複数の領域各々を、複数の異なるクラスのうち、いずれか一のクラスに分類する領域分類ステップと、
前記複数の異なるクラスにおいて、前記画像上に混在することを許可しない排他クラスの組み合わせを設定する排他クラス設定ステップと、
前記排他クラスの組み合わせのうち、いずれのクラスを優先するかを設定する優先クラス設定ステップとを有する画像処理方法であって、
前記領域分類ステップは、前記排他クラス設定ステップで設定された排他クラスの組み合わせのいずれかのクラスに分類された領域が存在する場合、前記領域を前記優先クラス設定ステップにおいて設定されたクラスに分類することを特徴とする画像処理方法。
【請求項４】
さらに、前記領域分類ステップにおける前記複数の領域各々の分類結果に基づき、前記画像が生体粘膜表面を撮像したか否かを判定する判定ステップを有することを特徴とする請求項１乃至請求項３のいずれか一に記載の画像処理方法。
【請求項５】
前記判定ステップは、前記領域分類ステップにおける前記複数の領域各々の分類結果に基づき、生体粘膜表面の像であると分類された領域が前記画像において十分大きな割合を占めた場合に、前記画像を生体粘膜表面を撮像した画像であると判定することを特徴とする請求項４に記載の画像処理方法。
【請求項６】
撮像機能を有する医療機器により撮像された画像を入力する画像入力ステップと、
前記画像を複数の領域に分割する領域分割ステップと、
前記複数の領域各々から特徴量を算出する特徴量算出ステップと、
前記特徴量に基づき、前記複数の領域各々を分類する領域分類ステップと、
前記領域分類ステップにおける分類結果に基づき、前記医療機器が撮像した臓器を推定する撮像臓器推定ステップとからなることを特徴とする画像処理方法。
【請求項７】
複数の色信号からなる医用画像を入力する画像入力手段と、
前記医用画像を記憶する記憶手段と、
前記医用画像を表示する表示手段とを備えるとともに、
前記入力された医用画像が生体粘膜を十分に撮像したか否かを判定する判定手段と、
前記判定手段における判定結果に基づき前記医用画像の表示または記憶の少なくとも１つを制御する制御手段とを備えたことを特徴とする画像処理装置。
【請求項８】
前記制御手段は、前記判定手段により生体粘膜を十分に撮像していないと判定された前記医用画像を表示しないように制御することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記制御手段は、前記判定手段により生体粘膜を十分に撮像していないと判定された前記医用画像を記憶しないように制御することを特徴とする請求項７または請求項８に記載の画像観察装置。
【請求項１０】
さらに、前記記憶手段に記憶された前記医用画像を削除する画像削除手段を備え、
前記画像削除手段は、前記判定手段により生体粘膜を十分に撮像していないと判定された前記医用画像を削除することを特徴とする請求項７から請求項９のいずれか一に記載の画像処理装置。
【請求項１１】
複数の色信号からなる複数の医用画像を入力する画像入力手段と、
前記医用画像を記憶する記憶手段と、
前記医用画像を表示する表示手段と、
前記医用画像の中から病変の存在が疑われる画像を検出する検出手段とを備えるとともに、前記入力された医用画像に対し領域を設定する領域設定手段と、
前記領域設定手段により設定された領域が生体粘膜を撮像した領域であるか否かを判定する領域判定手段と、
前記領域判定手段における判定結果に基づき、前記検出手段による検出結果が正しいか否かを判定する検出結果判定手段と、
を備えたことを特徴とする画像処理装置。
【請求項１２】
前記検出手段は、前記医用画像において病変の存在が疑われる領域を検出するとともに、 前記検出結果判定手段は前記検出された領域が前記領域判定手段において生体粘膜を撮像した領域である場合に、検出結果が正しいと判定することを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
時間的に連続して撮像された複数の医用画像を入力する画像入力手段と、
前記医用画像を記憶する記憶手段と、
前記医用画像を表示する画像表示手段とを備えるとともに、
前記医用画像に複数の領域を設定する領域設定手段と、
前記領域設定手段により設定された各領域における撮像対象を判定する判定手段と、
前記判定手段に基づき前記医用画像に撮像されている臓器を特定する特定手段と、
前記特定手段における特定結果を表示する特定結果表示手段と、
を備えたことを特徴とする画像処理装置。
【請求項１４】
前記判定手段は、前記領域の撮像対象として生体粘膜であるか否か及びその種類を判定することを特徴とする請求項１３に記載の画像処理装置。
【請求項１５】
コンピュータに、
撮像機能を有する医療機器により撮像された画像を入力する画像入力ステップと、
前記画像を複数の領域に分割する領域分割ステップと、
前記複数の領域各々から特徴量を算出する特徴量算出ステップと、
前記特徴量に基づき、前記複数の領域各々を分類する領域分類ステップとを実行させるためのプログラムであって、
前記領域分類ステップは、前記複数の領域各々が生体粘膜表面を撮像した領域であるか否かに基づいて分類を行うことを特徴とするプログラム。
【請求項１６】
コンピュータに、
撮像機能を有する医療機器により撮像された画像を入力する画像入力ステップと、
前記画像を複数の領域に分割する領域分割ステップと、
前記複数の領域各々から特徴量を算出する特徴量算出ステップと、
前記特徴量に基づき、前記複数の領域各々を分類する領域分類ステップとを実行させるためのプログラムであって、
前記領域分類ステップは、生体粘膜表面を撮像した領域と、生体内に存在する異物を撮像した領域と、前記生体粘膜表面及び前記異物のどちらにも該当しない領域とのいずれかに前記複数の領域各々を分類することを特徴とするプログラム。
【請求項１７】
コンピュータに、
撮像機能を有する医療機器により撮像された画像を入力する画像入力ステップと、
前記画像を複数の領域に分割する領域分割ステップと、
前記複数の領域各々から特徴量を算出する特徴量算出ステップと、
前記特徴量に基づき、前記複数の領域各々を、複数の異なるクラスのうち、いずれか一のクラスに分類する領域分類ステップと、
前記複数の異なるクラスにおいて、前記画像上に混在することを許可しない排他クラスの組み合わせを設定する排他クラス設定ステップと、
前記排他クラスの組み合わせのうち、いずれのクラスを優先するかを設定する優先クラス設定ステップとを実行させるためのプログラムであって、
前記領域分類ステップは、前記排他クラス設定ステップで設定された排他クラスの組み合わせのいずれかのクラスに分類された領域が存在する場合、前記領域を前記優先クラス設定ステップにおいて設定されたクラスに分類することを特徴とするプログラム。
【請求項１８】
さらに、当該コンピュータに、前記領域分類ステップにおける前記複数の領域各々の分類結果に基づき、前記画像が生体粘膜表面を撮像したか否かを判定する判定ステップを実行させることを特徴とする請求項１５乃至請求項１７のいずれか一に記載のプログラム。
【請求項１９】
前記判定ステップは、前記領域分類ステップにおける前記複数の領域各々の分類結果に基づき、生体粘膜表面の像であると分類された領域が前記画像において十分大きな割合を占めた場合に、前記画像を生体粘膜表面を撮像した画像であると判定することを特徴とする請求項１８に記載のプログラム。
【請求項２０】
コンピュータに、
撮像機能を有する医療機器により撮像された画像を入力する画像入力ステップと、
前記画像を複数の領域に分割する領域分割ステップと、
前記複数の領域各々から特徴量を算出する特徴量算出ステップと、
前記特徴量に基づき、前記複数の領域各々を分類する領域分類ステップと、
前記領域分類ステップにおける分類結果に基づき、前記医療機器が撮像した臓器を推定する撮像臓器推定ステップと、
を実行させるためのプログラム。
【請求項２１】
複数の色信号からなる医用画像を入力する画像入力手段と、
前記医用画像を記憶する記憶手段と、
前記医用画像を表示する表示手段とを有する画像処理装置を制御するためのコンピュータを、
前記入力された医用画像が生体粘膜を十分に撮像したか否かを判定する判定手段と、
前記判定手段における判定結果に基づき前記医用画像の表示または記憶の少なくとも１つを制御する制御手段として機能させるためのプログラム。
【請求項２２】
前記制御手段は、前記判定手段により生体粘膜を十分に撮像していないと判定された前記医用画像を表示しないように制御することを特徴とする請求項２１に記載のプログラム。
【請求項２３】
前記制御手段は、前記判定手段により生体粘膜を十分に撮像していないと判定された前記医用画像を記憶しないように制御することを特徴とする請求項２１または請求項２２に記載のプログラム。
【請求項２４】
さらに、前記記憶手段に記憶された前記医用画像を削除する画像削除手段として機能させるためのプログラムであって、
前記画像削除手段は、前記判定手段により生体粘膜を十分に撮像していないと判定された前記医用画像を削除することを特徴とする請求項２１から請求項２３のいずれか一に記載のプログラム。
【請求項２５】
複数の色信号からなる複数の医用画像を入力する画像入力手段と、
前記医用画像を記憶する記憶手段と、
前記医用画像を表示する表示手段とを有する画像処理装置を制御するためのコンピュータを、
前記医用画像の中から病変の存在が疑われる画像を検出する検出手段とを備えるとともに、前記入力された医用画像に対し領域を設定する領域設定手段と、
前記領域設定手段により設定された領域が生体粘膜を撮像した領域であるか否かを判定する領域判定手段と、
前記領域判定手段における判定結果に基づき、前記検出手段による検出結果が正しいか否かを判定する検出結果判定手段として機能させるためのプログラム。
【請求項２６】
前記検出手段は、前記医用画像において病変の存在が疑われる領域を検出するとともに、 前記検出結果判定手段は前記検出された領域が前記領域判定手段において生体粘膜を撮像した領域である場合に、検出結果が正しいと判定することを特徴とする請求項２５に記載のプログラム。
【請求項２７】
時間的に連続して撮像された複数の医用画像を入力する画像入力手段と、
前記医用画像を記憶する記憶手段と、
前記医用画像を表示する画像表示手段とを有する画像処理装置を制御するためのコンピュータを、
前記医用画像に複数の領域を設定する領域設定手段と、
前記領域設定手段により設定された各領域における撮像対象を判定する判定手段と、
前記判定手段に基づき前記医用画像に撮像されている臓器を特定する特定手段と、
前記特定手段における特定結果を表示する特定結果表示手段として機能させるためのプログラム。
【請求項２８】
前記判定手段は、前記領域の撮像対象として生体粘膜であるか否か及びその種類を判定することを特徴とする請求項２７に記載のプログラム。
【請求項１】
撮像機能を有する医療機器により撮像された画像を入力する画像入力ステップと、
前記画像を複数の領域に分割する領域分割ステップと、
前記複数の領域各々から特徴量を算出する特徴量算出ステップと、
前記特徴量に基づき、前記複数の領域各々を分類する領域分類ステップとを有する画像処理方法であって、
前記領域分類ステップは、前記複数の領域各々が生体粘膜表面を撮像した領域であるか否かに基づいて分類を行うことを特徴とする画像処理方法。
【請求項２】
撮像機能を有する医療機器により撮像された画像を入力する画像入力ステップと、
前記画像を複数の領域に分割する領域分割ステップと、
前記複数の領域各々から特徴量を算出する特徴量算出ステップと、
前記特徴量に基づき、前記複数の領域各々を分類する領域分類ステップとを有する画像処理方法であって、
前記領域分類ステップは、生体粘膜表面を撮像した領域と、生体内に存在する異物を撮像した領域と、前記生体粘膜表面及び前記異物のどちらにも該当しない領域とのいずれかに前記複数の領域各々を分類することを特徴とする画像処理方法。
【請求項３】
撮像機能を有する医療機器により撮像された画像を入力する画像入力ステップと、
前記画像を複数の領域に分割する領域分割ステップと、
前記複数の領域各々から特徴量を算出する特徴量算出ステップと、
前記特徴量に基づき、前記複数の領域各々を、複数の異なるクラスのうち、いずれか一のクラスに分類する領域分類ステップと、
前記複数の異なるクラスにおいて、前記画像上に混在することを許可しない排他クラスの組み合わせを設定する排他クラス設定ステップと、
前記排他クラスの組み合わせのうち、いずれのクラスを優先するかを設定する優先クラス設定ステップとを有する画像処理方法であって、
前記領域分類ステップは、前記排他クラス設定ステップで設定された排他クラスの組み合わせのいずれかのクラスに分類された領域が存在する場合、前記領域を前記優先クラス設定ステップにおいて設定されたクラスに分類することを特徴とする画像処理方法。
【請求項４】
さらに、前記領域分類ステップにおける前記複数の領域各々の分類結果に基づき、前記画像が生体粘膜表面を撮像したか否かを判定する判定ステップを有することを特徴とする請求項１乃至請求項３のいずれか一に記載の画像処理方法。
【請求項５】
前記判定ステップは、前記領域分類ステップにおける前記複数の領域各々の分類結果に基づき、生体粘膜表面の像であると分類された領域が前記画像において十分大きな割合を占めた場合に、前記画像を生体粘膜表面を撮像した画像であると判定することを特徴とする請求項４に記載の画像処理方法。
【請求項６】
撮像機能を有する医療機器により撮像された画像を入力する画像入力ステップと、
前記画像を複数の領域に分割する領域分割ステップと、
前記複数の領域各々から特徴量を算出する特徴量算出ステップと、
前記特徴量に基づき、前記複数の領域各々を分類する領域分類ステップと、
前記領域分類ステップにおける分類結果に基づき、前記医療機器が撮像した臓器を推定する撮像臓器推定ステップとからなることを特徴とする画像処理方法。
【請求項７】
複数の色信号からなる医用画像を入力する画像入力手段と、
前記医用画像を記憶する記憶手段と、
前記医用画像を表示する表示手段とを備えるとともに、
前記入力された医用画像が生体粘膜を十分に撮像したか否かを判定する判定手段と、
前記判定手段における判定結果に基づき前記医用画像の表示または記憶の少なくとも１つを制御する制御手段とを備えたことを特徴とする画像処理装置。
【請求項８】
前記制御手段は、前記判定手段により生体粘膜を十分に撮像していないと判定された前記医用画像を表示しないように制御することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記制御手段は、前記判定手段により生体粘膜を十分に撮像していないと判定された前記医用画像を記憶しないように制御することを特徴とする請求項７または請求項８に記載の画像観察装置。
【請求項１０】
さらに、前記記憶手段に記憶された前記医用画像を削除する画像削除手段を備え、
前記画像削除手段は、前記判定手段により生体粘膜を十分に撮像していないと判定された前記医用画像を削除することを特徴とする請求項７から請求項９のいずれか一に記載の画像処理装置。
【請求項１１】
複数の色信号からなる複数の医用画像を入力する画像入力手段と、
前記医用画像を記憶する記憶手段と、
前記医用画像を表示する表示手段と、
前記医用画像の中から病変の存在が疑われる画像を検出する検出手段とを備えるとともに、前記入力された医用画像に対し領域を設定する領域設定手段と、
前記領域設定手段により設定された領域が生体粘膜を撮像した領域であるか否かを判定する領域判定手段と、
前記領域判定手段における判定結果に基づき、前記検出手段による検出結果が正しいか否かを判定する検出結果判定手段と、
を備えたことを特徴とする画像処理装置。
【請求項１２】
前記検出手段は、前記医用画像において病変の存在が疑われる領域を検出するとともに、 前記検出結果判定手段は前記検出された領域が前記領域判定手段において生体粘膜を撮像した領域である場合に、検出結果が正しいと判定することを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
時間的に連続して撮像された複数の医用画像を入力する画像入力手段と、
前記医用画像を記憶する記憶手段と、
前記医用画像を表示する画像表示手段とを備えるとともに、
前記医用画像に複数の領域を設定する領域設定手段と、
前記領域設定手段により設定された各領域における撮像対象を判定する判定手段と、
前記判定手段に基づき前記医用画像に撮像されている臓器を特定する特定手段と、
前記特定手段における特定結果を表示する特定結果表示手段と、
を備えたことを特徴とする画像処理装置。
【請求項１４】
前記判定手段は、前記領域の撮像対象として生体粘膜であるか否か及びその種類を判定することを特徴とする請求項１３に記載の画像処理装置。
【請求項１５】
コンピュータに、
撮像機能を有する医療機器により撮像された画像を入力する画像入力ステップと、
前記画像を複数の領域に分割する領域分割ステップと、
前記複数の領域各々から特徴量を算出する特徴量算出ステップと、
前記特徴量に基づき、前記複数の領域各々を分類する領域分類ステップとを実行させるためのプログラムであって、
前記領域分類ステップは、前記複数の領域各々が生体粘膜表面を撮像した領域であるか否かに基づいて分類を行うことを特徴とするプログラム。
【請求項１６】
コンピュータに、
撮像機能を有する医療機器により撮像された画像を入力する画像入力ステップと、
前記画像を複数の領域に分割する領域分割ステップと、
前記複数の領域各々から特徴量を算出する特徴量算出ステップと、
前記特徴量に基づき、前記複数の領域各々を分類する領域分類ステップとを実行させるためのプログラムであって、
前記領域分類ステップは、生体粘膜表面を撮像した領域と、生体内に存在する異物を撮像した領域と、前記生体粘膜表面及び前記異物のどちらにも該当しない領域とのいずれかに前記複数の領域各々を分類することを特徴とするプログラム。
【請求項１７】
コンピュータに、
撮像機能を有する医療機器により撮像された画像を入力する画像入力ステップと、
前記画像を複数の領域に分割する領域分割ステップと、
前記複数の領域各々から特徴量を算出する特徴量算出ステップと、
前記特徴量に基づき、前記複数の領域各々を、複数の異なるクラスのうち、いずれか一のクラスに分類する領域分類ステップと、
前記複数の異なるクラスにおいて、前記画像上に混在することを許可しない排他クラスの組み合わせを設定する排他クラス設定ステップと、
前記排他クラスの組み合わせのうち、いずれのクラスを優先するかを設定する優先クラス設定ステップとを実行させるためのプログラムであって、
前記領域分類ステップは、前記排他クラス設定ステップで設定された排他クラスの組み合わせのいずれかのクラスに分類された領域が存在する場合、前記領域を前記優先クラス設定ステップにおいて設定されたクラスに分類することを特徴とするプログラム。
【請求項１８】
さらに、当該コンピュータに、前記領域分類ステップにおける前記複数の領域各々の分類結果に基づき、前記画像が生体粘膜表面を撮像したか否かを判定する判定ステップを実行させることを特徴とする請求項１５乃至請求項１７のいずれか一に記載のプログラム。
【請求項１９】
前記判定ステップは、前記領域分類ステップにおける前記複数の領域各々の分類結果に基づき、生体粘膜表面の像であると分類された領域が前記画像において十分大きな割合を占めた場合に、前記画像を生体粘膜表面を撮像した画像であると判定することを特徴とする請求項１８に記載のプログラム。
【請求項２０】
コンピュータに、
撮像機能を有する医療機器により撮像された画像を入力する画像入力ステップと、
前記画像を複数の領域に分割する領域分割ステップと、
前記複数の領域各々から特徴量を算出する特徴量算出ステップと、
前記特徴量に基づき、前記複数の領域各々を分類する領域分類ステップと、
前記領域分類ステップにおける分類結果に基づき、前記医療機器が撮像した臓器を推定する撮像臓器推定ステップと、
を実行させるためのプログラム。
【請求項２１】
複数の色信号からなる医用画像を入力する画像入力手段と、
前記医用画像を記憶する記憶手段と、
前記医用画像を表示する表示手段とを有する画像処理装置を制御するためのコンピュータを、
前記入力された医用画像が生体粘膜を十分に撮像したか否かを判定する判定手段と、
前記判定手段における判定結果に基づき前記医用画像の表示または記憶の少なくとも１つを制御する制御手段として機能させるためのプログラム。
【請求項２２】
前記制御手段は、前記判定手段により生体粘膜を十分に撮像していないと判定された前記医用画像を表示しないように制御することを特徴とする請求項２１に記載のプログラム。
【請求項２３】
前記制御手段は、前記判定手段により生体粘膜を十分に撮像していないと判定された前記医用画像を記憶しないように制御することを特徴とする請求項２１または請求項２２に記載のプログラム。
【請求項２４】
さらに、前記記憶手段に記憶された前記医用画像を削除する画像削除手段として機能させるためのプログラムであって、
前記画像削除手段は、前記判定手段により生体粘膜を十分に撮像していないと判定された前記医用画像を削除することを特徴とする請求項２１から請求項２３のいずれか一に記載のプログラム。
【請求項２５】
複数の色信号からなる複数の医用画像を入力する画像入力手段と、
前記医用画像を記憶する記憶手段と、
前記医用画像を表示する表示手段とを有する画像処理装置を制御するためのコンピュータを、
前記医用画像の中から病変の存在が疑われる画像を検出する検出手段とを備えるとともに、前記入力された医用画像に対し領域を設定する領域設定手段と、
前記領域設定手段により設定された領域が生体粘膜を撮像した領域であるか否かを判定する領域判定手段と、
前記領域判定手段における判定結果に基づき、前記検出手段による検出結果が正しいか否かを判定する検出結果判定手段として機能させるためのプログラム。
【請求項２６】
前記検出手段は、前記医用画像において病変の存在が疑われる領域を検出するとともに、 前記検出結果判定手段は前記検出された領域が前記領域判定手段において生体粘膜を撮像した領域である場合に、検出結果が正しいと判定することを特徴とする請求項２５に記載のプログラム。
【請求項２７】
時間的に連続して撮像された複数の医用画像を入力する画像入力手段と、
前記医用画像を記憶する記憶手段と、
前記医用画像を表示する画像表示手段とを有する画像処理装置を制御するためのコンピュータを、
前記医用画像に複数の領域を設定する領域設定手段と、
前記領域設定手段により設定された各領域における撮像対象を判定する判定手段と、
前記判定手段に基づき前記医用画像に撮像されている臓器を特定する特定手段と、
前記特定手段における特定結果を表示する特定結果表示手段として機能させるためのプログラム。
【請求項２８】
前記判定手段は、前記領域の撮像対象として生体粘膜であるか否か及びその種類を判定することを特徴とする請求項２７に記載のプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２００６−２８８８７９（Ｐ２００６−２８８８７９Ａ）
【公開日】平成１８年１０月２６日（２００６．１０．２６）
【国際特許分類】
【出願番号】特願２００５−１１５９６１（Ｐ２００５−１１５９６１）
【出願日】平成１７年４月１３日（２００５．４．１３）
【出願人】（３０４０５０９２３）オリンパスメディカルシステムズ株式会社 (1,905)
【Ｆターム（参考）】
【公開日】平成１８年１０月２６日（２００６．１０．２６）
【国際特許分類】
【出願日】平成１７年４月１３日（２００５．４．１３）
【出願人】（３０４０５０９２３）オリンパスメディカルシステムズ株式会社 (1,905)
【Ｆターム（参考）】
[ Back to top ]