説明

カプセル内視鏡システム及びカプセル内視鏡の動作制御方法

【課題】診断情報や症例情報が用意されていなくとも、関心領域の特定を正確に行う。
【解決手段】CE11で被観察部位の撮影を行うとともに、撮影エリアAの多点測距を行う。CE11から受信装置12へ画像データ及び多点測距により得られた多点距離情報を無線送信する。受信装置12にて、チェックエリアCのみを画像データから切り出して、切り出し画像データを生成する。チェックエリアCを複数の小ブロックBsに分割し、切り出し画像データから各小ブロックBsの画像特徴量をそれぞれ抽出する。各小ブロックBsの画像特徴量を比較して、チェックエリアC内の画像特徴量の相対的な変化の有無を判定することで、チェックエリアC内に関心領域80が存在しているか否かを判定する。診断情報や症例情報がなくとも、関心領域80の特定を正確に行うことができる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、カプセル内視鏡で得られた内視鏡画像を用いて医療診断を行うカプセル内視鏡システム及びカプセル内視鏡の動作制御方法に関するものである。
【背景技術】
【0002】
最近、撮像素子や照明光源などが超小型のカプセルに内蔵されたカプセル内視鏡による内視鏡検査が実用化されつつある。この内視鏡検査では、まず、患者にカプセル内視鏡を嚥下させ、照明光源で人体内の被観察部位(人体内管路の内壁面)を照明しつつ、撮像素子で被観察部位を撮影する。そして、これにより得られた画像データを患者に携帯させた受信装置で無線受信し、受信装置に設けられたフラッシュメモリなどの記憶媒体に逐次記憶していく。検査中、または検査終了後、ワークステーションなどの情報管理装置に画像データを取り込み、モニタに表示された画像を読影して診断を行う。
【0003】
カプセル内視鏡の単位時間あたりの撮影回数(フレームレート)は、例えば2fps(フレーム/秒)であり、その撮影時間は約8時間以上にも及ぶため、受信装置に記憶される画像データの量は膨大となる。従って、検査終了後に内視鏡画像を読影して診断を行う際に、撮影された内視鏡画像全てを読影しようとすると、多大な時間と労力が掛かるという問題があった。このため、診断に不要な画像は極力減らすとともに、病変部など診断を重点的に行いたい部位の画像はなるべく多く得られるようにしたいという要望がある。この課題を解決するために、例えば、予め設定されたタイムスケジュールに従って撮影を行うカプセル内視鏡が提案されている(特許文献1参照)。
【0004】
特許文献1では、カプセル内視鏡が関心領域(病変部等)を通過する際にはフレームレートを上げ、関心領域を通過した後はフレームレートを下げるといった例が開示されている。しかしながら、特許文献1に記載の技術では、カプセル内視鏡が関心領域を通過する際にはフレームレートを上げ、関心領域を通過した後はフレームレートを下げるという例が開示されているものの、関心領域を特定するための具体例が記載されていないので、関心領域を詳細に読影することは困難である。
【0005】
そこで、例えば、過去の診断で得られた患者の診断情報(関心領域の画像や位置情報)と、カプセル内視鏡で検査中に得られる現在情報(カプセル内視鏡で得られた画像やその位置情報)と比較することで関心領域の特定が可能なため、カプセル内視鏡が関心領域を通過する際にはフレームレートを上げ、通過した後はフレームレートを下げるなどの制御を行うことができる。また、診断情報の代わりに一般的な症例から得られた症例情報(症例画像)と、前述の現在情報とを比較した場合でも、関心領域を特定することができるので、フレームレートの制御を同様に行うことができる。この場合には、初めてカプセル内視鏡検査をする患者にも対処することができる。
【特許文献1】特開2005−193066号公報
【発明の開示】
【発明が解決しようとする課題】
【0006】
ところで、前述の方法で関心領域の特定を行う場合には、診断情報や症例情報が必要となるので、これらの情報が用意されていない場合には、関心領域の特定を行うことができない。また、診断情報や症例情報が用意されていたとしても、これらの情報を得るのに用いられたカプセル内視鏡と、内視鏡検査に用いるカプセル内視鏡とが異なる場合には、カプセル内視鏡の機差に起因する問題(例えば同じ部位を撮影した画像であったとしても両者の特徴が一致しないなど)が発生する。その結果、関心領域の特定を正確に行うことができない。
【0007】
また、症例情報(画像)は、過去の診断によって培われた膨大なデータの中から代表的なデータを選出したものである。このため、個々の患者の病変部を撮影した内視鏡画像と、症例情報(画像)とが常に類似するとは限らず、両者が類似していなければ、病変部が関心領域として特定されないという問題が生じる。
【0008】
本発明は上記問題を解決するためのものであり、診断情報や症例情報が用意されていなくとも、関心領域の特定を正確に行うことができるカプセル内視鏡システム及びカプセル内視鏡の動作制御方法を提供することを目的とする。
【課題を解決するための手段】
【0009】
上記目的を達成するため、本発明は、被検体内に嚥下され、被検体内の被観察部位を撮像するカプセル内視鏡と、被検体に携帯され、前記カプセル内視鏡で得られた内視鏡画像を無線受信して、これを記憶する受信装置と、前記受信装置から取り込んだ前記内視鏡画像を記憶・管理する情報管理装置と、前記カプセル内視鏡、前記受信装置、及び前記情報管理装置の少なくともいずれか1つに設けられ、前記カプセル内視鏡で得られた前記内視鏡画像自体をリアルタイムで解析し、この解析結果のみに基づいて、前記内視鏡画像内に、周囲と画像の特徴が異なる関心領域が存在するか否かを判定する判定手段とを備えることを特徴とする。
【0010】
前記カプセル内視鏡、前記受信装置、及び前記情報管理装置の少なくともいずれか1つに設けられ、前記判定手段の判定結果に基づき、前記カプセル内視鏡の各部の動作を制御する制御コマンドを生成する制御コマンド生成手段と、前記カプセル内視鏡に設けられ、前記制御コマンド生成手段により生成された前記制御コマンドに応じた動作を前記各部に実行させる動作制御手段とを備えることが好ましい。
【0011】
前記判定手段は、前記内視鏡画像を複数の小領域に分割するとともに、分割した前記各小領域間の類似性を判定し、この判定結果に基づき、前記各小領域の中に相対的に類似性が低い前記小領域が存在する場合には、前記内視鏡画像内に前記関心領域が存在すると判定するとともに、前記類似性が低い前記小領域が存在しない場合には、前記内視鏡画像内に前記関心領域が存在しないと判定することが好ましい。
【0012】
前記判定手段は、前記各小領域の画像特徴量をそれぞれ取得し、前記各小領域間の画像特徴量の差分をそれぞれ求め、求めた差分がそれぞれ所定の閾値以上となるか否かで前記各小領域間の類似性が低いか否かを判定することが好ましい。
【0013】
前記判定手段は、前記カプセル内視鏡で新たに得られた前記内視鏡画像である最新画像と、その直前に得られた前記内視鏡画像である直前画像との類似性を判定するとともに、この判定結果に基づき、両者が類似しない場合には、前記最新画像内に前記関心領域が存在すると判定し、両者が類似する場合には、前記最新画像内に前記関心領域が存在しないと判定することが好ましい。
【0014】
前記判定手段は、前記最新画像及び前記直前画像をそれぞれ複数の小領域に分割し、前記最新画像の各小領域について、それぞれに対応する前記直前画像の小領域との間の類似性を判定し、前記直前画像の小領域との類似性が低い前記最新画像の小領域が存在する場合には、前記最新画像内に前記関心領域が存在すると判定するとともに、前記類似性が低い前記最新画像の小領域が存在しない場合には、前記最新画像内に前記関心領域が存在しないと判定することが好ましい。
【0015】
前記判定手段は、前記最新画像の前記小領域、及び前記直前画像の前記小領域からそれぞれ取得した画像特徴量の差分を求め、前記差分が所定の閾値以上となる否かに基づいて、前記最新画像の小領域と前記直前画像の小領域との類似性が低いか否かを判定することが好ましい。
【0016】
前記カプセル内視鏡は、前記カプセル内視鏡から、前記内視鏡画像で撮影された前記被観察部位の複数のポイントのそれぞれまでの距離を測距する多点測距手段を備えており、前記判定手段は、前記多点測距手段の測定結果に基づき、前記カプセル内視鏡からの距離が所定範囲内の区域を前記内視鏡画像から切り出すトリミング処理を実行し、このトリミング処理により切り出された前記区域内に限定して、前記関心領域が存在しているか否かを判定することが好ましい。このように区域内に限定して判定を行うことで、区域内を詳細にチェックすることができ、小さい病変部(関心領域)を発見することができる。また、撮影エリアの全体を詳細にチェックした場合よりもチェックに要する時間を短縮することができる。さらに、切り出された区域内では、被観察部位(人体内管路の内壁面)の表面状態や色が同じになるので、病変部(関心領域)を区別し易くなる。
【0017】
前記制御コマンド生成手段は、前記判定手段により前記関心領域が存在しないと判定された場合には、前記カプセル内視鏡の撮影モードを、通常の前記内視鏡画像を得る通常撮影モードに設定する第1制御コマンドを生成するとともに、前記関心領域が存在すると判定された場合には、前記カプセル内視鏡の撮影モードを、前記関心領域の高精細な前記内視鏡画像を得る特殊撮影モードに設定する第2制御コマンドを生成することが好ましい。
【0018】
前記カプセル内視鏡には、前記被観察部位を撮影するための複数の撮像手段と、前記被検体内における前記カプセル内視鏡の向き及び移動方向を検出する方向検出手段とが設けられており、前記制御コマンド生成手段は、前記方向検出手段で得られた前記カプセル内視鏡の向き及び移動方向に基づき、前記各撮像手段のうち前記カプセル内視鏡の移動方向前方側に配されている第1撮像手段を、通常の前記内視鏡画像を得る通常撮影モードに設定する第1制御コマンドを生成するとともに、前記判定手段が前記第1撮像手段で得られた前記内視鏡画像内に前記関心領域が存在すると判定した時に、前記第1撮像手段を除いた前記各撮像手段のうち少なくともいずれか1つの第2撮像手段を、前記関心領域の高精細な前記内視鏡画像を得る特殊撮影モードに設定する第2制御コマンドを生成することが好ましい。
【0019】
少なくとも前記特殊撮影モードでは、前記カプセル内視鏡にその撮影条件を変更しながら撮影を行わせるとともに、前記撮影条件の数が前記通常撮影モードよりも多く設定されることが好ましい。
【0020】
前記判定手段及び前記制御コマンド生成手段は、前記受信装置に設けられているとともに、前記受信装置は、前記制御コマンド生成手段にて生成された前記制御コマンドを前記カプセル内視鏡へ無線送信する第1無線送信手段を備えていることが好ましい。
【0021】
前記判定手段及び前記制御コマンド生成手段は、前記情報管理装置に設けられているとともに、前記受信装置に設けられ、前記カプセル内視鏡から無線受信した前記内視鏡画像を前記情報管理装置へ無線送信する第2無線送信手段と、前記情報管理装置に設けられ、前記制御コマンド生成手段にて生成された前記制御コマンドを前記受信装置へ無線送信する第3無線送信手段とを備え、前記第2無線送信手段は、前記情報管理装置から無線受信した前記制御コマンドを前記カプセル内視鏡へ無線送信することが好ましい。
【0022】
また、上記目的を達成するため、本発明は、被検体内に嚥下され、被検体内の被観察部位を内蔵の撮像手段で撮影して得られた画像を、送信手段にて外部に送信するカプセル内視鏡の動作制御方法であって、前記カプセル内視鏡で得られた前記内視鏡画像自体をリアルタイムで解析し、この解析結果のみに基づいて、前記内視鏡画像内に、周囲と画像の特徴が異なる関心領域が存在するか否かを判定する判定ステップと、前記判定ステップでの判定結果に基づき、前記カプセル内視鏡の各部の動作を制御する制御コマンドを生成する制御コマンド生成ステップと、前記制御コマンド生成ステップ生成された前記制御コマンドに応じた動作を前記カプセル内視鏡の各部に実行させる動作制御ステップとを有することを特徴とする。
【発明の効果】
【0023】
本発明のカプセル内視鏡システムは、カプセル内視鏡で得られた内視鏡画像自体をリアルタイムで解析し、この解析結果のみに基づいて、内視鏡画像内に、周囲と画像の特徴が異なる関心領域が存在するか否かを判定するようにしたので、過去の診断で得られた患者の診断情報や一般的な症例から得られた症例情報が無くとも、関心領域を正確に特定して、例えばこの関心領域の高精細な画像を得ることができる。また、症例情報に類似していない病変部も特定することができ、例えばこの病変部の高精細な画像を得ることができる。さらに、診断情報や症例情報が不要になるので、これらの情報を得るのに用いたカプセル内視鏡と、内視鏡検査に用いるカプセル内視鏡との機差を考慮する必要が無くなる。
【発明を実施するための最良の形態】
【0024】
図1に示すように、カプセル内視鏡システム2は、患者10(被検体)の口部から人体内に嚥下されるカプセル内視鏡(Capsule Endoscope、以下、CEと略す)11と、患者10が携帯する受信装置12と、CE11で得られた画像を取り込んで、医師が読影及び診断を行うためのワークステーション(以下、WSと略す)13とから構成される。カプセル内視鏡システム2では、CE11で得られた最新の内視鏡画像(画像データ)を受信装置12で無線受信し、受信装置12にてCE11からの内視鏡画像を解析して、内視鏡画像内に病変部等の関心領域が存在するか否か、つまり、CE11が関心領域を撮影しているか否かを判定する。そして、CE11が関心領域を撮影していることが判定されたら、CE11の撮影モードを変更して、より詳細な関心領域の内視鏡画像を得る。
【0025】
CE11は、人体内管路(例えば腸)を通過する際にその内壁面を撮像し、これにより得られた画像データを、電波14aにて受信装置12へ無線送信する。また、CE11は、受信装置12からの制御コマンドを電波14bで無線受信して、制御コマンドに基づいて動作する。
【0026】
受信装置12は、各種設定画面を表示する液晶表示器(LCD)15、及び各種設定を行うための操作部16を備えている。受信装置12は、CE11から電波14aで無線送信された画像データを無線受信し、これを記憶する。また、受信装置12は、CE11で得られた最新の画像データを解析した結果に基づいて、CE11の撮影モード(条件)を決定する。そして、受信装置12は、決定した撮影モードを元に制御コマンドを生成し、これを電波14bにてCE11へ無線送信する。
【0027】
CE11と受信装置12間の電波14a,14bの送受信は、CE11内に設けられたアンテナ18(図2及び図4参照)と、患者10が身に付けたシールドシャツ19内に装着された複数のアンテナ20とを介して行われる。アンテナ20には、CE11からの電波14aの電界強度を測定する電界強度測定センサ21が内蔵されている。
【0028】
撮影モードには、通常の内視鏡画像の画像データを得る通常撮影モードと、関心領域の高精細な内視鏡画像の画像データを得る特殊撮影モードとがある。通常撮影モードと特殊撮影モードとでは、CE11の撮影条件が異なる。具体的には、特殊撮影モードでは、フレームレートを増加させるとともに、ズーム倍率(視野範囲)及び露出(シャッタ速度、照明光量)を段階的に変化させながら撮影を行う。
【0029】
WS13は、プロセッサ24と、キーボードやマウスなどの操作部25と、液晶モニタ(LCD)26とを備えている。プロセッサ24は、例えば、USBケーブル27(赤外線通信などの無線通信を用いても可)で受信装置12と接続され、受信装置12とデータの遣り取りを行う。プロセッサ24は、CE11による検査中、または検査終了後に、受信装置12から画像データを取り込み、患者毎に画像データを蓄積・管理するとともに、画像データからテレビ画像を生成し、これをLCD26に表示させる。
【0030】
図2に示すように、CE11は、透明な前カバー30と、この前カバー30に嵌合して水密な空間を形成する後カバー31とからなる。両カバー30、31は、その先端または後端が略半球形状となった筒状に形成されている。両カバー30、31が作る空間内には、被観察部位の像光を取り込むための対物光学系32、被観察部位の像光を撮像するCCDやCMOSなどの撮像素子33が組み込まれている。撮像素子33は、対物光学系32から入射した被観察部位の像光が撮像面に結像され、各画素からこれに応じた撮像信号を出力する。なお、符号35は、対物光学系32の光軸である。
【0031】
対物光学系32は、透明な凸型の光学ドーム32aと、第1レンズホルダ32bと、第1レンズ32cと、ガイドロッド32dと、第2レンズホルダ32eと、第2レンズ32fとから構成される。光学ドーム32aは、前カバー30の先端の略半球形状となった部分に配されている。第1レンズホルダ32bは、光学ドーム32aの後端に取り付けられ、後端に向けて先細に形成されている。第1レンズ32cは、第1レンズホルダ32bに固着されている。
【0032】
ガイドロッド32dは、第1レンズホルダ32bの後端に取り付けられ、光軸35に平行なネジ棒である。第2レンズホルダ32eは、ガイドロッド32dが螺入される雌ネジ孔を有し、ガイドロッド32dが回転することにより光軸方向に移動する。第2レンズ32fは、第2レンズホルダ32eに固着されている。
【0033】
第2レンズ32fは、所謂ズームレンズである。ステッピングモータ等により構成されるレンズ駆動部36によりガイドロッド32dが回転されると、第2レンズ32fが光軸方向に移動されてズーム倍率が変更される。また、対物光学系32の視野範囲(撮影エリア)も、変更後のズーム倍率に対応した範囲に変更される。レンズ駆動部36は、制御コマンドで設定されたズーム倍率及び視野範囲で撮影が行われるように、対物光学系32のズーム倍率を変更する。
【0034】
また、両カバー30、31内には、電波14a、14bを送受信するためのアンテナ18、被観察部位に照明光を照射する照明光源38、各種電子回路が実装された電気回路基板39、ボタン型の電池40、及び多点測距センサ(多点測距手段)41などが収容されている。
【0035】
多点測距センサ41は、発光ユニット41aと受光ユニット41bとから構成されるアクティブ方式の多点測距センサである。多点測距センサ41は、CE11で被観察部位の撮像が行われる度に、CE11から、内視鏡画像で撮影された被観察部位(撮影エリアA、図3参照)の複数のポイントまでの距離を多点測距する。図3に示すように、多点測距センサ41は、撮影エリアAをM行×N列(M、Nは2以上の任意の自然数)の測距ブロックBに分割し、各測距ブロックB内の予め定めた代表ポイントP(例えば、測距ブロックBの中心点、図面の煩雑化を防止するため1個の測距ブロックBのみに図示)までの距離をそれぞれ多点測距する。
【0036】
発光ユニット41aは、各測距ブロックBの代表ポイントPに向けてそれぞれ順番に近赤外光を照射する。各代表ポイントPへ近赤外光を照射する方法は、公知の技術である。例えば、発光ユニット41aをヨー方向(CE11の上下軸周り)及びピッチ方向(CE11の左右軸回り)の少なくともいずれか一方向に回転させて、撮影エリアAに対する近赤外光の2次元走査を行うことにより実現可能である。なお、発光ユニット41aから出射する光は、近赤外光に限定されるものではなく、撮影に影響を及ぼさない波長域の光を適宜選択して用いてもよい。
【0037】
発光ユニット41aから代表ポイントPへ向けて出射された近赤外光は、代表ポイントPで反射される。反射された近赤外光の反射光は、受光ユニット41bで受光される。この受光ユニット41bとしては、例えばPSD(Position Sensitive Detector)が用いられる。周知のようにPSDは、代表ポイントPからの反射光を受光すると、CE11から代表ポイントPまでの距離に応じた大きさの電気信号(以下、測距信号という)を出力する(例えば特開2007−264068号公報参照)。この測距信号を元に、CE11から代表ポイントPまでの距離が求められる。なお、測距信号は、距離信号変換回路49(図4参照)にて距離を表す距離信号に変換される。
【0038】
発光ユニット41aから、各測距ブロックBの代表ポイントPに向けてそれぞれ順番に近赤外光が照射され、その反射光が受光ユニット41bでそれぞれ受光される。受光ユニット41bは、CE11から各代表ポイントPまでの距離を測距した測距信号をそれぞれ出力する。これにより、撮影エリアAの各測距ブロックBの代表ポイントPまでの距離をそれぞれ多点測距することができる。
【0039】
図4において、CPU(動作制御手段)45は、CE11の全体の動作を統括的に制御する。CPU45には、上述のレンズ駆動部36、多点測距センサ41の他に、ROM46、RAM47、撮影ドライバ48、距離信号変換回路49、変調回路50、復調回路51、電力供給回路52、照明ドライバ53等が接続されている。
【0040】
ROM46には、CE11の動作を制御するための各種プログラムやデータが記憶される。CPU45は、ROM46から必要なプログラムやデータを読み出してRAM47に展開し、読み出したプログラムを逐次処理する。なお、RAM47には、受信装置12からの制御コマンドによって設定される撮影条件[フレームレート、ズーム倍率(視野範囲)、露出(シャッタ速度、光量)]の各データも一時的に記憶される。
【0041】
撮影ドライバ48には、撮像素子33及び信号処理回路54が接続されている。撮影ドライバ48は、制御コマンドで設定されたフレームレート、シャッタ速度で撮影が行われるように、撮像素子33及び信号処理回路54の動作を制御する。信号処理回路54は、撮像素子33から出力された撮像信号に対して、相関二重サンプリング、増幅、およびA/D変換を施して、撮像信号をデジタルの画像データに変換する。そして、変換した画像データに対して、γ補正等の各種画像処理を施す。
【0042】
距離信号変換回路49は、多点測距センサ41の受光ユニット41bに接続されており、この受光ユニット41bから、前述のCE11から各代表ポイントPまでの距離を測距した測距信号が入力される。距離信号変換回路49は、所定の演算式またはデータテーブル等を用いて、各測距信号をそれぞれ各代表ポイントPまでの距離を表す距離信号に変換する。なお、測距信号を距離信号に変換する変換処理は周知技術であるので、説明は省略する。距離信号変換回路49にて変換された距離信号は、CPU45に入力される。CPU45は、距離信号変換回路49から、撮影エリアAの全ての代表ポイントPまでの距離信号が入力されたら、これらを撮影エリアAの多点距離情報として変調回路50に出力する。
【0043】
変調回路50及び復調回路51には、送受信回路55が接続され、この送受信回路55にはアンテナ18が接続されている。変調回路50は、信号処理回路54から出力されたデジタルの画像データ、及びCPU45から出力された多点距離情報をそれぞれ電波14aに変調する。つまり、画像データと、この画像データが得られた撮影エリアAの多点距離情報とが共に電波14aに変調される。変調回路50にて変調された電波14aは、送受信回路55に出力される。
【0044】
復調回路51は、受信装置12からの電波14bを元の制御コマンドに復調し、復調した制御コマンドをCPU45に出力する。送受信回路55は、変調回路50からの電波14aを増幅して帯域通過濾波した後、アンテナ18に出力するとともに、アンテナ18を介して受信した電波14bを増幅して帯域通過濾波した後、復調回路51に出力する。
【0045】
電力供給回路52は、電池40の電力をCE11の各部に供給する。照明ドライバ53は、CPU45の制御の下に、制御コマンドで設定された照明光量で撮影が行われるように、照明光源38の駆動を制御する。
【0046】
図5に示すように、CPU57(制御コマンド生成手段)は、受信装置12の動作を統括的に制御する。CPU57には、データバス58を介して、ROM59、RAM60、変調回路61、復調回路62、画像処理回路63、データストレージ64、入力I/F65、位置検出回路66、画像解析回路(判定手段)67、データベース68が接続されている。
【0047】
また、データバス58には、LCD15の表示制御を行うLCDドライバ70、USBコネクタ71を介してプロセッサ24とのデータの遣り取りを媒介する通信I/F72、電池73の電力を受信装置12の各部に供給する電力供給回路74なども接続されている。
【0048】
ROM59には、受信装置12の動作を制御するための各種プログラムやデータが記憶される。CPU57は、ROM59から必要なプログラムやデータを読み出してRAM60に展開し、読み出したプログラムを逐次処理する。また、CPU57は、操作部16からの操作入力信号に応じて、受信装置12の各部を動作させる。
【0049】
変調回路61及び復調回路62は、それぞれ送受信回路75に接続されており、この送受信回路75には、アンテナ(第1無線通信手段)20が接続されている。変調回路61は、制御コマンドを電波14bに変調し、変調した電波14bを送受信回路75に出力する。復調回路62は、CE11からの電波14aを元の画像データ及び多点距離情報に復調する。そして、復調回路62は、復調した画像データを画像処理回路63に出力するとともに、多点距離情報をRAM60等に一時的に格納させる。
【0050】
送受信回路75は、変調回路61からの電波14bを増幅して帯域通過濾波した後、アンテナ20に出力するとともに、アンテナ20を介して受信した電波14aを増幅して帯域通過濾波した後、復調回路62に出力する。
【0051】
画像処理回路63は、復調回路62で復調された画像データに対して各種画像処理を施した後、画像処理済みの画像データをデータストレージ64と、画像解析回路67とにそれぞれ出力する。
【0052】
データストレージ64は、例えば、記憶容量が1GB程度のフラッシュメモリからなる。データストレージ64は、画像処理回路63から順次出力される画像データを格納・蓄積する。また、データストレージ64には、通常画像データ格納部64aと、着目画像データ格納部64bとが構築されている。通常画像データ格納部64aには、通常撮影モードによる撮影で得られた画像データが格納される。着目画像データ格納部64bには、特殊撮影モードによる撮影で得られた画像データが格納される。
【0053】
入力I/F65には、電界強度測定センサ21からの検出結果が入力される。入力I/F65に入力された電界強度測定センサ21の検出結果は、位置検出回路66に出力される。位置検出回路66は、電界強度測定センサ21の検出結果を元に、人体内のCE11の現在位置を検出し、この検出結果(以下、位置情報という)をデータストレージ64に出力する。データストレージ64は、位置検出回路66からの位置情報を、画像処理回路63からの画像データに関連付けて記憶する。なお、電界強度の測定結果を元に、人体内のCE11の位置を検出する方法は周知であるため、ここでは説明を省略する。
【0054】
画像解析回路67は、画像処理回路63から入力される画像データ、つまり、CE11で得られた最新の画像データを解析し、この画像データ内に、周囲と画像の特徴が異なる病変部等の関心領域80(図8参照)が存在するか否かを判定する。この画像解析回路67には、トリミング処理部81、画像特徴量抽出部82、判定部83が設けられている。
【0055】
トリミング処理部81は、画像処理回路63から入力された画像データに対応する多点距離情報をRAM60から読み出し、読み出した多点距離情報に基づき、画像データにトリミング処理を施す。具体的には、図6及び図7(A),(B)に示すように、CE11からの距離が所定範囲(距離d1〜d2、d1<d2)内の区域をチェックエリアCとし、チェックエリアCのみを画像データから切り出す。つまり、本実施形態では、チェックエリアC内に限定して関心領域80が存在しているか否かを判定する。なお、各図中の網掛け部分は、撮影エリアA内のチェックエリアC以外の領域を示している。また、図7中の符号10aは、人体内管路を示し、符号RはCE11の視野範囲を示している。
【0056】
また、チェックエリアCの範囲(d1〜d2)は、人体内管路10aで未検査エリアが生じないような大きさに設定されている。具体的には、図7(A),(B)に示すように、チェックエリアCの範囲(d1〜d2)が、第Nコマの撮影エリアA(N)内のチェックエリアC(N)と、第(N+1)コマの撮影エリアA(N+1)内のチェックエリアC(N+1)との間に間隔が生じないような大きさに設定されている(Nは任意の自然数)。
【0057】
トリミング処理部81は、チェックエリアCのみを画像データから切り出し(トリミング)、切り出した画像データ(以下、切り出し画像データという)をRAM60等に一時的に格納する。このように、関心領域80が存在しているか否かの判定を行うエリアを限定することで、エリア内を詳細にチェックすることができるため、小さい病変部(関心領域80)を発見することができる。逆に撮影エリアAの全体を詳細にチェックすると、チェックに時間が掛かり過ぎるという問題が発生する。また、撮影エリア(N)と撮影エリアA(N+1)とがオーバラップする範囲が広いと、二重にチェックが行われるエリアが広くなってしまう。
【0058】
また、チェックエリアCを、CE11から一定の距離範囲内のエリアに限定することで、病変部か否かの判定を精密に行うことができる。これは、エリアが狭くなる程、被観察部位(人体内管路の内壁面)の表面状態や色がほぼ同じになるので、病変部を容易に区別することができるためである。逆にいうと、エリアが広くなる程、被観察部位の表面状態や色にバラツキが生じるため、病変部と正常部との区別が付け難くなる場合がある。
【0059】
画像特徴量抽出部82(図5参照)は、RAM60に格納された切り出し画像データを読み出して、切り出し画像データの画像特徴量を抽出する。図8に示すように、画像特徴量抽出部82は、チェックエリアCを複数の小ブロックBsに分割し、切り出し画像データから各小ブロックBsの画像特徴量をそれぞれ抽出する。画像特徴量は、例えば画像の色合い(色味)、色の分布、輪郭線の分布、形状、空間周波数分布(成分)等の画像データの持つ各特徴量を数値情報で表したものである。本実施形態では、画像特徴量として例えば小ブロックBs毎の血管パターンの画像特徴量を抽出する。なお、小ブロックBsは、前述の測距ブロックBと同じ面積でよく、或いは測距ブロックBよりも小さい面積でもよい。
【0060】
血管パターンの画像特徴量の種類としては、「血管エッジの方向分布」、「強度の分布」等が挙げられる。「血管エッジの方向分布」は、血管エッジ(血管の幅(径)方向両端部)の方向分布、すなわち、チェックエリアC内の全血管をそれぞれ所定間隔に細分化し、細分化した各細分化血管の向き(0°〜180°)の分布を表したものである。なお、どの向きを0°(基準)とするかは適宜決定してよい。
【0061】
また、「強度の分布」としては、例えば特開平09−138471号(図4参照)の様に、着目画素毎に、3×3画素サイズの4方向別微分フィルタを適用し、各方向別フィルタ出力の絶対値の最大値を求め、その分布を採用する。さらには、方向別の強度の分布を用いてもよい。なお、方向別微分フィルタとして、その他にprewittフィルタやSobelフィルタ等の公知手法を用いてもよい。
【0062】
このような血管パターンの画像特徴量を抽出する方法は、周知技術であり、ここでは説明を省略する。画像特徴量抽出部82は、切り出し画像データから抽出した小ブロックBsの画像特徴量をRAM60等に一時的に格納する。
【0063】
判定部83は、RAM60に格納されたチェックエリアCの各小ブロックBsの画像特徴量を読み出し、これらを比較することで、チェックエリアCに関心領域80が存在しているか否かの判定を行う。関心領域80に対応する小ブロックBsの画像特徴量の値は、他(病変部ではない正常領域85)の小ブロックBsの画像特徴量の値とは大きく異なる。従って、チェックエリアCに関心領域80が存在する場合には、チェックエリアC内に、周囲と画像特徴量の異なる小ブロックBs(小ブロック群)、つまり、各小ブロックBsの中に相対的に類似性の低い小ブロックBsが存在する。
【0064】
そこで、判定部83は、各小ブロックBsの画像特徴量の値を比較して、画像特徴量が他の小ブロックBsよりも所定の閾値以上異なる小ブロックBs(小ブロック群)が存在する場合、例えば隣接する小ブロックBsと比較して画像特徴量が相対的に変化している小ブロックBsが存在する場合には、チェックエリアCに関心領域80が存在していると判定する。判定部83は、隣接する小ブロックBs間の画像特徴量の差分をそれぞれ算出する。そして、判定部83は、算出された各差分の中に閾値以上となるものが存在しない場合には、チェックエリアCに関心領域80が存在しないと判定する。
【0065】
なお、チェックエリアCの全てが病変部(関心領域80)になっている場合にも同様の結果になる。このようにチェックエリアCの全てが病変部になっているか否かは、関心領域80が存在しないと判定された前のコマの画像特徴量を参照することで判定可能であるが、このような状態が発生する確率は極めて低い。このため、本実施形態では、算出された各差分の中に閾値以上となるものが存在しない場合には、チェックエリアCに関心領域80が存在しないと判定する。
【0066】
判定部83は、算出された各差分の中に所定の閾値以上となるものが存在する場合には、チェックエリアCに関心領域80が存在していると判定する。この場合には、画像特徴量の差分が閾値以上となる、差分算出対象の2個の小ブロックBsの境界が、関心領域80とそれ以外の領域(病変部ではない正常領域)85の境界となる。従って、両小ブロックBsのいずれか一方が関心領域80になるとともに、他方が正常領域85になる。
【0067】
また、判定部83は、互いに隣接する2個の小ブロックBsの画像特徴量の差分が所定の閾値未満となった場合には、これらを一つの領域またはブロックとみなす。従って、算出された各差分の中に閾値以上となるものが存在する場合には、チェックエリアCが少なくとも2つの領域(関心領域80、正常領域85)に区分される。そして、判定部83はチェックエリアCの各領域(各領域をそれぞれ構成する小ブロックBs)のいずれが関心領域80になるかを判別する。
【0068】
例えば、関心領域80が正常領域85よりも大きくなる場合は少ないので、最も面積が大きい領域を正常領域85、その他の領域を関心領域80として判別する方法がある。また、別の方法として、前のコマのチェックエリアCの判定結果を利用する方法がある。
【0069】
具体的には、チェックエリアC内に関心領域80が存在しないと判定される度に、このチェックエリアC内の任意の小ブロックBsの画像特徴量をRAM60に上書きする。人体内管路10aの内壁面の表面状態や色は一定範囲内ではそれほど変化しないため、現コマ(CE11で新たに得られた最新画像)の正常領域85の画像特徴量と、RAM60に格納されている画像特徴量との差は小さくなる。従って、区分された2つの領域のうち、RAM60に格納されている画像特徴量との差が最も小さい領域を正常領域85、その他の領域を関心領域80として判別する。これにより、チェックエリアC内で関心領域80を構成する小ブロックBsを判別することができる。なお、関心領域80の判別方法はこれに限定されるものではない。
【0070】
このように判定部83は、現コマのチェックエリアCに関心領域80が存在しているか否かを判定する。また、チェックエリアCに関心領域80が存在している場合には、前述の方法で関心領域80を構成する小ブロックBsを判別する。判定部83による判定・判別結果は、CPU57に入力される。CPU57は、チェックエリアCに関心領域80が存在する場合には、CE11の撮影モードとして特殊撮影モードを選択するとともに、チェックエリアCに関心領域80が存在しない場合には、CE11の撮影モードとして通常撮影モードを選択する。なお、関心領域80が小ブロックBsの判定は、後述する第3実施形態(図14参照)で利用される他、WS13で関心領域80を示すマーカ等を表示するときなどにも利用可能である。
【0071】
次に、図9を用いて受信装置12による撮影モード選択処理について説明する。内視鏡検査が開始されると、CE11の撮像素子33により被観察部位の撮像が行われるとともに、多点測距センサ41により被観察部位(撮影エリアA)の多点測距が行われる。これにより、撮像により得られた画像データと、この画像データが得られた撮影エリアAの多点距離情報とが、CE11から電波14aにて受信装置12へ無線送信される。
【0072】
受信装置12のアンテナ20で受信された電波14aは、送受信回路75を経て復調回路62にて元の画像データ及び多点距離情報に復調された後、画像データは画像処理回路63に出力されるとともに、多点距離情報はRAM60に格納される。画像データは、画像処理回路63にて各種画像処理が施された後、画像解析回路67に出力される。
【0073】
画像解析回路67のトリミング処理部81は、画像処理回路63から入力された画像データに対応する多点距離情報をRAM60から読み出す。そして、読み出した多点距離情報に基づき、トリミング処理部81は、CE11からの距離が所定範囲内の区域をチェックエリアCとし、チェックエリアCのみを画像データから切り出して、切り出し画像データをRAM60に一時的に格納する。RAM60に格納された切り出し画像データは、画像特徴量抽出部82により読み出される。
【0074】
画像特徴量抽出部82は、切り出し画像データの切り出し範囲であるチェックエリアCを複数の小ブロックBsに分割し、切り出し画像データから各小ブロックBsの画像特徴量をそれぞれ抽出して、抽出した各小ブロックBsの画像特徴量をRAM60等に一時的に格納する。RAM60に格納された各小ブロックBsの画像特徴量は、判定部83により読み出される。
【0075】
判定部83は、互いに隣接する小ブロックBs間の画像特徴量の差分をそれぞれ算出し、算出した各差分の中に閾値以上となるものが存在するか否かに基づいて、現コマのチェックエリアCに関心領域80が存在するか否かを判定する。つまり、判定部83は、チェックエリアC内の画像特徴量の相対的な変化の有無(各小ブロックBsの中に相対的に類似性の低い小ブロックBsが存在するか否か)を判定した結果に基づき、チェックエリアC内に関心領域80が存在しているか否かを判定している。
【0076】
また、判定部83は、現コマのチェックエリアC内に関心領域80が存在すると判定した場合には、この関心領域80を構成する小ブロックBsを前述の判別方法を用いて判別する。そして、判定部83による判定・判別結果は、CPU57に出力される。
【0077】
CPU57は、現コマのチェックエリアCに関心領域80が存在する場合には、CE11の撮影モードとして特殊撮影モードを選択する。チェックエリアCに関心領域80が存在しない場合には、CE11の撮影モードとして通常撮影モードを選択する。以下同様にして、内視鏡検査が終了するまでの間、CE11で得られた新たな画像データが受信装置12で無線受信される度に、上述の処理が繰り返し実行される。
【0078】
なお、CE11の撮影モードが特殊撮影モードに変更された場合も、上述の撮影モード選択処理が繰り返し実行されるが、特殊撮影モードで得られた内視鏡画像(画像データ)の撮影エリアAがチェックエリアCよりも狭い場合(撮影エリアAが距離d1〜d2の範囲内とき、図7参照)には、トリミング処理は省略される。
【0079】
図5に戻って、CPU57は、判定部83による判定結果及び判別結果に基づき、撮影モードを選択したら、データベース68内の撮影条件テーブル87を参照して、選択した撮影モードに対応する撮影条件[ズーム倍率(視野範囲)、フレームレート、露出(シャッタ速度、照明光量)]を決定する。
【0080】
図10に示すように、撮影条件テーブル87は、通常撮影モード、特殊撮影モードでそれぞれ撮影を行う際のズーム倍率Z(視野範囲)、フレームレートF(fps:フレーム/秒)、露出(シャッタ速度S(1/秒)、照明光量I(照明光源38の駆動電流、mA))が定められている。特殊撮影モードでは、複数のズーム倍率及び露出(シャッタ速度、照明光量)がそれぞれ定められている。つまり、特殊撮影モードでは、ズーム倍率、及び露出を何段階かに段階分けして撮影を行う。
【0081】
フレームレートFは、通常撮影モード時(fa)よりも特殊撮影モード時(fb)の方が高く設定されている。これにより、特殊撮影モード時にCE11の移動速度が急に速くなっても、関心領域80の撮りこぼしを防止することができる、さらに、関心領域80の内視鏡画像の撮影数を増やすことができるので、対物光学系32の視野範囲に関心領域80が入ってから出るまでの間に、ズーム倍率、及び露出を何段階かに段階分けして関心領域80を撮影することができる。また、通常撮影モード時には撮影数を減らすことで、CE11の消費電力を低減することができる。さらに、関心領域80以外の内視鏡画像、つまり、診断に不要な画像を極力減らすことができる。
【0082】
ズーム倍率Zは、通常撮影モード時(Za)よりも特殊撮影モード時(Zb1、Zb2、Zb3、・・・)の方がテレ側、つまり、関心領域80の拡大された画像が得られるように設定されている。また、特殊撮影モードでは、ズーム倍率をテレ側からワイド側(その逆でも可)にZb1、Zb2、Zb3、・・・の順に変化させる。これにより、関心領域80がチェックエリアC内のどの位置にあったとしても、最適(最も拡大された画像が得られる)なズーム倍率で少なくとも1回は関心領域80を撮影することができる。
【0083】
なお、CE11は人体内管路10aを移動しながら撮影を行っているため、CE11が特殊撮影モードで撮影を開始する前に、関心領域80が対物光学系32の視野範囲から外れてしまうおそれがある。このため、前述のズーム倍率Zb1、Zb2、Zb3、・・・の少なくともいずれか一つは、通常撮影モード時(Za)よりもワイド側、つまり、視野範囲が広がるように設定されていてもよい。
【0084】
シャッタ速度S及び照明光量Iは、通常撮影モードではsa、iaに固定されている。これに対して、特殊撮影モードでは、シャッタ速度Sをsb1、sb2、sb3、・・・の順に次第に速くするとともに、照明光量Iをib1、ib2、ib3、・・・の順に次第に増加させる。CE11は人体内管路10aを移動しながら撮影を行っており、CE11の姿勢が変わると被観察部位(関心領域80)への照明光の当たり具合(関心領域80の明るさ)が変わる。このため、露出(シャッタ速度S、照明光量)を段階的に変えながら撮影を行うことで、適正な露出で少なくとも1回は関心領域80を撮影することができる。なお、通常撮影モード時には、特殊撮影モード時よりもシャッタ速度Sが遅くなるようにsaを設定するとともに、照明光量Iが減少するようにiaを設定することで、CE11の消費電力を低減することができる。
【0085】
図5に示すように、CPU57は、判定部83から入力される判定結果・判別結果と、撮影条件テーブル87とに基づいて、CE11の撮影モードを選択するとともに、選択した撮影モードに対応する撮影条件を決定し、決定した撮影条件に対応する制御コマンド(第1制御コマンド、第2制御コマンド)を生成する。次いで、CPU57は、生成した制御コマンドを変調回路61に出力する。制御コマンドは、変調回路61にて電波14bに変調され、送受信回路75を経てアンテナ20に出力される。これにより、受信装置12からCE11へ制御コマンドが無線送信される。
【0086】
図4に示すように、CE11のアンテナ18で受信された電波14bは、送受信回路55及び復調回路51を経て元の制御コマンドに復調され、CPU45に出力される。そして、制御コマンドで設定されたズーム倍率(視野範囲)、フレームレート、露出(シャッタ速度、照明光量)が、RAM47に一時的に記憶される。
【0087】
RAM47に記憶されたフレームレート、シャッタ速度は、撮影ドライバ48に読み出される。撮影ドライバ48は、制御コマンドで設定されたフレームレート、シャッタ速度で内視鏡画像の撮影が行われるように、撮像素子33及び信号処理回路54の動作を制御する。
【0088】
RAM47に記憶されたズーム倍率(視野範囲)は、レンズ駆動部36に読み出される。レンズ駆動部36は、制御コマンドで設定されたズーム倍率で内視鏡画像の撮影が行われるように、第2レンズ32fを動かして対物光学系32のズーム倍率を調整する。これにより、制御コマンドで設定されたズーム倍率(視野範囲)で内視鏡画像の撮影が行われる。
【0089】
RAM47に記憶された照明光量は、照明ドライバ53に読み出される。照明ドライバ53は、制御コマンドで設定された照明光量で内視鏡画像の撮影が行われるように、照明光源38に与える駆動電流を制御する。これにより、CE11は、制御コマンドで設定された撮影条件で内視鏡画像の撮影を行う。
【0090】
また、特殊撮影モード時において、撮影ドライバ48、レンズ駆動部36、照明ドライバ53は、制御コマンドに従って、シャッタ速度、ズーム倍率、照明光量が何段階かで変化するように、撮像素子33及び信号処理回路54、第2レンズ32f、照明光源38の動作をそれぞれ制御する。
【0091】
これら一連の処理、すなわち、(1)CE11による撮影、(2)受信装置12への内視鏡画像の送信、(3)撮影モード選択処理、(4)制御コマンドの生成、(5)CE11への制御コマンドの送信、(6)制御コマンドに基づくCE11の各部の動作制御は、内視鏡検査が終了して受信装置12からCE11へ終了コマンドが送信されるまで続けられる。また、これらの一連の処理は、CE11の移動速度よりも十分に速く行われる。すなわち、通常撮影モードで関心領域80が発見されたら、CE11の視野範囲から関心領域80が外れる前に、CE11の撮影モードが特殊撮影モードに切り替えられる。
【0092】
図11に示すように、CPU90は、WS13の全体の動作を統括的に制御する。CPU90には、データバス91を介して、LCD26の表示制御を行うLCDドライバ92、USBコネクタ93を経由した受信装置12とのデータの遣り取りを媒介し、受信装置12からの画像データを受信する通信I/F94、データストレージ95、およびRAM96が接続されている。
【0093】
データストレージ95には、受信装置12(データストレージ64)の着目画像データ格納部64bから取り込んだ画像データが格納される。また、データストレージ95には、WS13の動作に必要な各種プログラムやデータ、医師の診断を扶ける支援ソフトのプログラムなどとともに、診断情報が患者毎に整理して記憶されている。RAM96には、データストレージ95から読み出したデータや、各種演算処理により生じる中間データが一時記憶される。支援ソフトを立ち上げると、例えば、LCD26に支援ソフトの作業ウィンドウが表示される。この作業ウィンドウ上で医師が操作部25を操作することにより、画像の表示・編集、診断情報の入力などを行うことができる。
【0094】
次に、図12を用いて上記のように構成されたカプセル内視鏡システム2の作用について説明する。まず、検査前の準備として、医師は、シールドシャツ19、アンテナ20、受信装置12を患者10に装着させ、CE11の電源を投入して患者10に嚥下させる。
【0095】
CE11が患者10に嚥下され、内視鏡検査の準備が整えられると、CE11は通常撮影モードで被観察部位の撮影を開始する。照明光源38で人体内の被観察部位が照明されつつ、撮像素子33により人体内管路の内壁面が撮像される。このとき、対物光学系32から入射した人体内の被観察部位の像光は、撮像素子33の撮像面に結像され、これにより撮像素子33から撮像信号が出力される。撮像素子33から出力された撮像信号は、信号処理回路54で相関二重サンプリング、増幅、およびA/D変換が施され、デジタルの画像データに変換された後、各種信号処理が施される(図4参照)。
【0096】
また、内視鏡検査が開始されると、多点測距センサ41により被観察部位(撮影エリアA)の多点測距が開始される。多点測距センサ41は、被観察部位をM行×N列の測距ブッロクBに分割し、CE11から各測距ブロックBの代表ポイントPまでの距離をそれぞれ測距する。多点測距センサ41から出力される測距信号は、距離信号変換回路49にて距離信号に変換された後、CPU45に入力される。そして、CPU45は、距離信号変換回路49から、撮影エリアAの全ての代表ポイントPまでの距離信号が入力されたら、これらを撮影エリアAの多点距離情報として変調回路50に出力する。
【0097】
信号処理回路54から出力されたデジタルの画像データ、及びCPU45から出力された多点距離情報は、変調回路50にて電波14aに変調される。変調された電波14aは、送受信回路55で増幅、帯域通過濾波された後、アンテナ18から送信される。これにより、画像データと、この画像データが得られた撮影エリアAの多点距離情報とがCE11から受信装置12へ無線送信される。また、このとき、アンテナ20に装着された電界強度測定センサ21でCE11からの電波14aの電界強度が検出され、この検出結果は、受信装置12の位置検出回路66に入力される。
【0098】
受信装置12のアンテナ20で受信された電波14aは、送受信回路75を経て、復調回路62にて元の画像データ及び多点距離情報に復調される。復調された画像データは、画像処理回路63にて各種画像処理が施された後、画像解析回路67とデータストレージ64とにそれぞれ出力される。また、復調された多点距離情報は、RAM60に一時的に格納される。
【0099】
位置検出回路66は、電界強度測定センサ21の測定結果を元に、患者10の体内のCE11の現在位置を検出し、この検出結果をデータストレージ64に出力する。データストレージ64は、位置検出回路66からの位置情報を、画像処理回路63からの画像データに関連付けて格納する。通常撮影モードで得られた画像データは、通常画像データ格納部64aに格納される。なお、通常画像データ格納部64aに格納された画像データには、例えば圧縮処理などの各種データ量削減処理を施してもよい。
【0100】
画像解析回路67は、画像処理回路63からの画像データが入力されたら、この画像データに対応する多点距離情報をRAM60から読み出す。そして、画像解析回路67(トリミング処理部81、画像特徴量抽出部82、判定部83)は、先に図9を用いて説明したように、(a)画像データの切り出し(トリミング処理)、(b)チェックエリアC内の各小ブロックBsからの画像特徴量の抽出、(c)チェックエリアCに関心領域80が存在するか否かの判定、(d)関心領域80が存在する場合には、この関心領域80を構成する小ブロックBsの判別を行う。
【0101】
画像解析回路67は、関心領域80の存在の有無の判定結果、及び関心領域80が存在する場合には、これを構成する小ブロックBsの判別結果をCPU57へ出力する。CPU57は、画像解析回路67から入力される判定結果等に基づき、データベース68の撮影条件テーブル87を参照して、撮影モードを選択し、選択した撮影モードに対応する撮影条件(図10参照)を決定し、決定した撮影条件に対応する制御コマンドを生成する。次いで、CPU57は、生成した制御コマンドを変調回路61に出力する。制御コマンドは、変調回路61にて電波14bに変調され、送受信回路75を経てアンテナ20に出力される。これにより、受信装置12からCE11へ制御コマンドが無線送信される。
【0102】
CE11のアンテナ18で受信された電波14bは、送受信回路55及び復調回路51を経て元の制御コマンドに復調され、CPU45に出力される。そして、制御コマンドで設定されたフレームレート、ズーム倍率(視野範囲)、露出(シャッタ速度、照明光量)が、RAM47に一時的に記憶される。
【0103】
撮影ドライバ48は、制御コマンドで設定されたフレームレート、シャッタ速度で内視鏡画像の撮影が行われるように、撮像素子33及び信号処理回路54の動作を制御する。また、レンズ駆動部36は、制御コマンドで設定されたズーム倍率(視野範囲)で内視鏡画像の撮影が行われるように、対物光学系32のズーム倍率を調整する。また、照明ドライバ53は、制御コマンドで設定された照明光量で内視鏡画像の撮影が行われるように、照明光源38に与える駆動電流を制御する。CE11は、制御コマンドで設定された撮影条件で内視鏡画像の撮影を行う。
【0104】
これにより、通常撮影モードで新たに得られた内視鏡画像(画像データ)のチェックエリアC内に関心領域80が存在している場合には、CE11が特殊撮影モードで関心領域80の撮影を行う。具体的には、フレームレートを増加させるとともに、ズーム倍率、及び露出を何段階かに段階分けして関心領域80を撮影する。これにより、関心領域80の高精細な内視鏡画像が少なくとも1コマは得られる。なお、特殊撮影モードで得られた画像データは、受信装置12のデータストレージ64の着目画像データ格納部64bに格納される。
【0105】
また、チェックエリアC内に関心領域80が存在していない場合には、通常撮影モードでの撮影が継続される。この場合には、フレームレート・シャッタ速度・照明光量等は特殊撮影モード時よりも低く抑えられるため、CE11の消費電力を低減させることができる。
【0106】
また、受信装置12において、特殊撮影モードで新たに得られた画像データのチェックエリアC内に関心領域80が存在しないと判定されたら、つまり、関心領域80がCE11の視野範囲から外れたと判断されたら、CE11の撮影モードを通常撮影モードに設定する制御コマンドが生成されるとともに、CE11へ無線送信される。これにより、CE11の撮影モードが特殊撮影モードから通常撮影モードに変更される。
【0107】
以下同様に、内視鏡検査が終了して受信装置12からCE11へ終了コマンドが送信されるまで、(1)CE11による撮影、(2)受信装置12への内視鏡画像の送信、(3)撮影モード選択処理、(4)制御コマンドの生成、(5)CE11への制御コマンドの送信、(6)制御コマンドに基づくCE11の各部の動作制御が繰り返し実行される。
【0108】
内視鏡検査が終了したら、受信装置12とプロセッサ24とをUSBケーブル27で接続する。次いで、医師は、操作部25を操作して受信装置12のデータストレージ64の着目画像データ格納部64bに格納された画像データをプロセッサに取り込む。そして、医師は、操作部25を操作して、特殊撮影モードで得られた関心領域80の高精細な画像をLCD26に順次表示させて読影を行う。
【0109】
以上のように本発明のカプセル内視鏡システム2では、内視鏡検査時にCE11で得られた内視鏡画像(現コマ)のチェックエリアCを複数の小ブロックBsに分割し、各小ブロックBsからそれぞれ抽出した画像特徴量の値を比較して、チェックエリアC内の画像特徴量の相対的な変化の有無を判定した結果に基づいて、チェックエリアCに関心領域80が存在するか否かを判定するようにしたので、過去の診断で得られた患者の診断情報や一般的な症例から得られた症例情報がなくとも、関心領域80を正確に特定することができる。また、症例情報(画像)に類似していない病変部も特定することができる。さらに、診断情報や症例情報が不要になるので、これらの情報を得るのに用いたCEと、内視鏡検査に用いるCEとの機差を考慮する必要が無くなる。
【0110】
次に、本発明の第2実施形態について説明を行う。この第2実施形態は、チェックエリアC内に関心領域80が存在するか否かを判定する方法が上記第1実施形態と異なっている。
【0111】
第2実施形態は、チェックエリアCを複数の小ブロックBsに分割して、切り出し画像データから各小ブロックBsの画像特徴量を抽出するまでは、第1実施形態と同じである。ただし、第2実施形態では、現コマ(最新画像)のチェックエリア内の各小ブロックBsの画像特徴量と、現コマの直前に得られた前コマ(直前画像)のチェックエリアC内の各小ブロックBsの画像特徴量との類似性を判定した結果に基づき、現コマのチェックエリアC内に関心領域80が存在するか否かを判定する。なお、第2実施形態は、第1実施形態と構成が同じであり、単に画像解析回路67による解析方法が一部異なっているだけであるので、前述の第1実施形態で説明した図面を用いて第2実施形態について説明を行う。
【0112】
第2実施形態の受信装置12では、画像解析回路67の画像特徴量抽出部82から抽出された各小ブロックBsの画像特徴量が、RAM60等に現コマ(図7(B)で得られた画像が対応)及び前コマ(図7(A)で得られた画像が対応)の2コマ分格納される。そして、CE11からの新たな画像データを無線受信する度に、前コマの各小ブロックBsの画像特徴量が、新たな画像データから抽出された画像特徴量に順次書き換えられる。
【0113】
画像解析回路67(判定部83)は、RAM60に格納された現コマ及び前コマのそれぞれの各小ブロックBsの画像特徴量を読み出して、現コマの各小ブロックBsの画像特徴量と、前コマの各小ブロックBsの画像特徴量との差分を算出する。例えば、チェックエリアC内での位置(ブロック座標)が同じ小ブロックBs同士の画像特徴量の差分を算出する。そして、判定部83は、算出された各差分の中に閾値以上となるものが存在しているか否かを判定する。つまり、現コマと前コマとを比較して、現コマのチェックエリアC内に画像特徴量が相対的に変化している小ブロックBsが存在するか否かを判定する。
【0114】
判定部83は、算出された各差分の中に閾値以上となるものが存在しない場合には、現コマ及び前コマのチェックエリアCの画像は類似していると判定する。そして、先の判定結果で、前コマのチェックエリアCに関心領域80が存在しないと判定していた場合には、現コマのチェックエリアCにも関心領域80が存在しないと判定する。
【0115】
逆に、前コマのチェックエリアCに関心領域80が存在すると判定していた場合には、現コマのチェックエリアCにも関心領域80が存在すると判定する。この場合は、現コマと前コマのチェックエリアCの同じ位置(小ブロックBs)に関心領域80が存在するということであり、例えばCE11の移動が停滞している場合に起こり得る。或いは、病変部(関心領域80)が人体内管路10aの広範囲にわたって存在している場合にも同様に起こり得る。
【0116】
また、判定部83は、算出された各差分の中に閾値以上となるものが存在する場合には、現コマのチェックエリアC内に、画像特徴量が相対的に変化している小ブロックBsが存在すると判定する。つまり、現コマ及び前コマのチェックエリアCの画像が類似していないと判定する。そして、先の判定結果で、前コマのチェックエリアCに関心領域80が存在しないと判定していた場合には、現コマのチェックエリアCに関心領域80が存在すると判定する。この場合には、画像特徴量が相対的に変化している小ブロックBsが関心領域80を構成する。
【0117】
逆に、前コマのチェックエリアCに関心領域80が存在すると判定していた場合には、(1)現コマに関心領域80が存在していない(前コマで映っていた関心領域80が減こまで映っていない)、(2)現コマに前コマとは異なる位置・形状の病変部(関心領域80)が存在している場合の2通りが考えられる。従って、この場合には、上記第1実施形態で説明したように、現コマのチェックエリアC内の各小ブロックBsの画像特徴量の類似性を判定した結果に基づき、現コマのチェックエリアC内に関心領域80が存在するか否かを判定すればよい(以下、単に第1実施形態の判定方法という)。
【0118】
なお、上記第2実施形態の判定方法は、現コマ及び前コマの画像データがいずれも同じ撮影モードの撮影で得られた場合にのみ用いられる。現コマ及び前コマの画像データのいずれか一方が特殊撮影モードの撮影で得られたものであり、他方が通常撮影モードの撮影で得られたものである場合には、ズーム倍率や露出等が異なり、現コマと前コマの映り具合も異なるため、第2実施形態の方法では判定することはできない。従って、このような場合にも第1実施形態の判定方法を用いて関心領域80が存在しているか否かを判定すればよい。
【0119】
判定部83による判定結果等は、CPU57に入力される。CPU57は、前述したように、現コマのチェックエリアCに関心領域80が存在するか否かに応じて、CE11の撮影モードを選択する。
【0120】
次に、図13を用いて第2実施形態の撮影モード選択処理について説明を行う。内視鏡検査が開始されると、CE11は通常撮影モードで被観察部位の撮影、及び多点測距を開始する。これにより、CE11から受信装置12へ画像データ及び多点距離情報が逐次無線送信される。CE11から受信装置12に第1コマ目の画像データが無線受信されると、上記第1実施形態で説明したように、トリミング処理部81、画像特徴量抽出部82にて、(a)画像データの切り出し、(b)チェックエリアC内の各小ブロックBsの画像特徴量の抽出がそれぞれ行われる。これにより、第1コマ目の各小ブロックBsの画像特徴量がRAM60に格納される。
【0121】
なお、第1コマ目のチェックエリアC内に関心領域80が存在するか否かは、上記第1実施形態で説明した判定方法で判定すればよい。また、以下の説明では、第1コマ目のチェックエリアC内に関心領域80が存在しないと判定されたものとして説明を行う。
【0122】
同様にして第2コマ目の各小ブロックBsの画像特徴量がRAM60に格納されたら、判定部83は、RAM60に格納された第2コマ目(現コマ)及び第1コマ目(前コマ)のそれぞれの各小ブロックBsの画像特徴量を読み出して、現コマの各小ブロックBsの画像特徴量と、前コマの各小ブロックBsの画像特徴量との差分を算出する。
【0123】
判定部83は、算出した各差分の中に閾値以上となるものが存在しない場合には、第2コマ目及び第1コマ目のチェックエリアCの画像は類似していると判定する。第1コマ目のチェックエリアC内には関心領域80が存在していないので、判定部83は、第2コマ目のチェックエリアC内にも関心領域80が存在しないと判定する。
【0124】
また、判定部83は、算出した各差分の中に閾値以上となるものが存在する場合には、第2コマ目のチェックエリアC内に、画像特徴量が相対的に変化している小ブロックBsが存在していると判定する。第1コマ目のチェックエリアC内には関心領域80が存在していないので、判定部83は、第2コマ目のチェックエリアC内には関心領域80が存在すると判定する。また、前述したように関心領域80を構成する小ブロックBs(画像特徴量が相対的に変化している小ブロックBs)が判別される。
【0125】
判定部83による判定結果・判別結果は、CPU57へ出力される。CPU57は、第2コマ目のチェックエリアCに関心領域80が存在するか否かに応じて、CE11の撮影モードを選択する。
【0126】
以下同様にして、受信装置12がCE11からの新たな画像データを無線受信する度に、第Nコマ目(現コマ)の各小ブロックの画像特徴量と、第(N−1)コマ目の各小ブロックの画像特徴量との差分が算出され、この差分算出結果に基づいて、第Nコマ目のチェックエリアC内に関心領域80が存在するか否かの判定が行われる。
【0127】
なお、前述したように、算出された差分が閾値以上となり、且つ第(N−1)コマ目(前コマ)のチェックエリアCに関心領域80が存在するとの判定がなされていた場合には、第1実施形態の判定方法を用いて関心領域80が存在しているか否かの判定がなされる。また、前述したように、第Nコマ目と第(N−1)コマ目の画像データが得られた撮影モードがそれぞれ異なる場合にも、同様に第1実施形態の判定方法を用いて関心領域80が存在しているか否かの判定を行う(図示は省略)。
【0128】
以上のように本発明の第2実施形態では、現コマと前コマとを比較して、画像特徴量が相対的に変化している小ブロックBsが存在するか否かを判定した結果に基づき、現コマのチェックエリアCに関心領域80が存在するか否かを判定することができるので、第1実施形態で説明した効果と同様の効果が得られる。
【0129】
次に本発明の第3実施形態について説明を行う。上記第1及び第2実施形態では、CE11の対物光学系32の光軸35がCE11の長軸に対して平行な方向に固定されている場合を例に挙げて説明を行ったが、本発明はこれに限定されるものではない。例えば、特殊撮影モードで関心領域80を撮影する際に、対物光学系32の光軸35を関心領域80のある方向に向けるようにしてもよい。
【0130】
この場合には、図14に示すように、対物光学系32、撮像素子33、照明光源38、多点測距センサ41等を収納する収納部98と、この収納部98を任意の方向に傾ける首振り機構99とを、新たにCE11に設ければよい。首振り機構99は、収納部98を傾けることで対物光学系32の光軸35を任意の方向に傾ける。この首振り機構99は、周知技術であり、ここでは説明を省略する。
【0131】
前述の図8で説明したように、チェックエリアC内に関心領域80が存在していると判定された後、チェックエリアC内で関心領域80を構成する小ブロックBsが判別されたら、関心領域80がチェックエリアC(撮影エリアA)の中心から、どの方向にずれているかを判別する。通常撮影モード時の対物光学系32の光軸35はチェックエリアCの中心を通るため、チェックエリアCの中心から関心領域80に向かう方向が、そのまま関心領域80のある方向、つまり、光軸35を傾ける方向となる。
【0132】
次いで、関心領域80がチェックエリアCの中心から、どれだけ(例えば小ブロックBs或いは測距ブロックBの数)ずれているかを判別する。そして、このずれ量に基づいて、光軸35を何度傾ければ光軸35が関心領域80のある方向を向くのかを求める。ずれ量の大きさに応じて光軸35を通常撮影モード時から何度傾ければよいかは、予め測定しておけばよい。これら光軸35を傾ける方向、傾き角度は、例えば前述の画像解析回路67にて求める。
【0133】
このようにして、光軸35を傾ける方向と傾ける傾き角度とが求められたら、これらの情報(以下、光軸調整情報という)と、前述の撮影条件とに基づいて、受信装置12のCPU57で制御コマンドを生成し、生成した制御コマンドをCE11へ無線送信する。CE11のCPU45は、受信装置12から無線受信した制御コマンドで設定された光軸調整情報に基づき、首振り機構99を制御して光軸35(収納部98)を傾ける。これにより、対物光学系32の光軸35を関心領域80のある方向に向けることができる。
【0134】
図15に示すように、特殊撮影モード時において、対物光学系32の光軸35を関心領域80のある方向に向けることで、通常撮影モード時の対物光学系32の視野範囲R1(点線)と比較して、特殊撮影モード時の視野範囲R2(実線)を大幅に狭めることができる。これにより、関心領域80に絞って撮影を行うことができる。その結果、上記第1実施形態で得られる関心領域80の内視鏡画像よりもさらに拡大された内視鏡画像、つまり、より高精細な関心領域80の内視鏡画像が得られる。
【0135】
次に、本発明の第4実施形態について説明を行う。上記第1及び第2実施形態では、CE11の前カバー側にのみ対物光学系32、撮像素子33、照明光源38、多点測距センサ41が配されている場合を例に挙げて説明を行ったが、本発明はこれに限定されるものではない。例えば、図16に示すCE100ように、透明な後カバー31側にも対物光学系102、撮像素子103、照明光源104、多点測距センサ105が配されていてもよい。なお、対物光学系102、撮像素子103、照明光源104、多点測距センサ105は、それぞれ対物光学系32、撮像素子33、照明光源38、多点測距センサ41と同じものであるため、説明は省略する。なお、符号106は、対物光学系102の光軸である。
【0136】
このようにCE100の前カバー30側、及び後カバー31側にそれぞれ撮像素子33,103が配されている場合には、両カバー30,31のうちCE100の進行方向前方側に配されている撮像素子(第1撮像手段)により通常撮影モードで被観察部位の撮像を行う。そして、進行方向前方側の撮像素子の撮像により得られた現コマのチェックエリアCに関心領域80が存在すると判定された場合には、CE100の進行方向後方側に配されている側の撮像素子(第2撮像手段)により特殊撮影モードで関心領域80の撮像を行う。
【0137】
以下の説明では、後カバー31側から前カバー30側に向かう光軸35、106に平行な方向をS1、その逆方向をS2と定義する。なお、CE100がS1方向或いはS2方向のいずれの方向を進行として移動しているかについては、CE100内に設けられた進行方向検知センサ(方向検出手段)107で検知する。この進行方向検知センサ107としては、例えば1軸の加速度センサが用いられる。進行方向検知センサ107の検出結果(以下、進行方向情報という)も、画像データや多点距離情報と共に、受信装置12へ逐次無線送信される。
【0138】
なお、進行方向検知センサ107を設ける代わりに、撮像素子33,103でそれぞれ得られる内視鏡画像の変化(時間的変化)を検知した結果に基づき、CE100の進行方向を判別するようにしてもよい。CE100の進行方向を判別する判別処理は周知技術であるので、ここでは説明を省略する。
【0139】
受信装置12のCPU57(図5参照)は、CE100から無線受信した進行方向情報に基づき、CE100がS1方向を進行方向として移動している場合には、撮像素子33に通常撮影モードで被観察部位の撮像を行わせる制御コマンド(第1制御コマンド)を生成するとともに、S2方向を進行方向として移動している場合には、撮像素子103に通常撮影モードで被観察部位の撮像を行わせる制御コマンドを生成する。
【0140】
また、CPU57は、CE100の進行方向後方側に配されている撮像素子による撮像を停止させる制御コマンドを生成する。生成された制御コマンドは、CE100へ無線送信される。これにより、CE100の進行方向前方側に配されている撮像素子により通常撮影モードで被観察部位の撮像が常に行われ、進行方向後方側に配されている側の撮像素子による撮像は停止される。
【0141】
図17(A)に示すように、CE100がS1方向を進行方向として移動している場合には、撮像素子33により通常撮影モードで被観察部位の撮像が行われ、画像データ、多点距離情報、進行方向情報がCE100から受信装置12へ無線送信される。前述したように、受信装置12の画像解析回路67にて、現コマ(撮影エリアA)のチェックエリアC内に関心領域80が存在しているか否かの判定が行われる。なお、図中の符号Rfは対物光学系32の視野範囲、Rbは対物光学系102の視野範囲である。
【0142】
受信装置12のCPU57は、チェックエリアC内に関心領域80が存在していると判定された後、(B)に示すように、対物光学系102の視野範囲Rb内に関心領域80が入ったか否かを判定する。なお、対物光学系102の視野範囲R内に関心領域80が入ったか否かを判定する方法は、各種方法が用いられる。
【0143】
例えば、多点測距により得られた多点距離情報に基づいて、CE100と関心領域80との距離dが求められる。チェックエリアC内に関心領域80が存在していると判定されてから、CE100が距離dだけS1方向に移動すると、CE100が関心領域80の周辺に到達する。そして、そこからさらに所定距離Δd(例えばCE100の全長+α)だけCE100がS1方向に移動すると、対物光学系102の視野範囲Rb内に関心領域80が入る。この所定距離Δdは、CE毎に異なっているので予め実測しておけばよい。つまり、撮像素子33で得られた画像に関心領域80が存在していると判定されてから、CE100が距離d+ΔdだけS1方向に移動すると、対物光学系102の視野範囲Rb内に関心領域80が入る。
【0144】
そこで、例えば進行方向検知センサ107として加速度センサを用いている場合には、この加速度センサで得られたCE100の加速度情報を受信装置12へ無線送信する。受信装置12のCPU57は、無線受信したCE100の加速度情報を元にCE100の移動距離を算出し、CE100が距離d+ΔdだけS1方向に移動したら、対物光学系102の視野範囲Rb内に関心領域80が入ったと判定する。
【0145】
或いは、チェックエリアC内に関心領域80が存在していると判定されたら、撮像素子103に通常撮影モードで被観察部位の撮像を行わせ、この撮像により得られた内視鏡画像を画像解析回路67にて同様に解析する。そして、撮像素子103で得られた内視鏡画像のチェックエリアC内に関心領域80が存在していると判定されたら、対物光学系102の視野範囲Rb内に関心領域80が入ったと判定する。
【0146】
受信装置12のCPU57は、前述の各種判定方法を用いて対物光学系102の視野範囲Rb内に関心領域80が入ったと判定したら、撮像素子103に特殊撮影モードで関心領域80の撮像を行わせる制御コマンド(第2制御コマンド)を生成する。なお、特殊撮影モードの撮影条件は、上記第1実施形態と同様にして決定される。そして、生成された制御コマンドは、受信装置12からCE100へ無線送信される。これにより、撮像素子103により特殊撮影モードで関心領域80の撮像が行われる。
【0147】
CE100がS2方向を進行方向として移動している場合は、前述の説明における撮像素子33(対物光学系32)と撮像素子103(対物光学系102)とが入れ代わるだけであるので、説明は省略する。
【0148】
なお、上記第4実施形態では、前カバー30側及び後カバー31側にそれぞれ撮像素子33,103がそれぞれ配されているCE100を例に挙げて説明を行ったが、本発明はこれに限定されるものではない。例えば、図18に示すように、カバー側面から被観察部位の像光を取り込むタイプのCE109にも本発明を適用することができる。このCE109の略中央部には、光軸110がCE109の長軸(光軸35)に垂直になるように配された対物光学系111と、その背面側に配された撮像素子112からなる撮像ユニット113が設けられている。また、図示は省略するが、上記各実施形態と同様に、前カバー30側には対物光学系32及び撮像素子33が配されている。
【0149】
また、CE109内には、撮像ユニット113をCE109の長軸回りに回転させる回転機構(図示せず)が設けられている。これにより、対物光学系111の光軸110をCE109の長軸回りに360°回転させることができる。対物光学系111及び撮像素子112は、前述の対物光学系32及び撮像素子33と同じものであるので説明は省略する。
【0150】
このように構成されたCE109では、撮像素子33により通常撮影モードで被観察部位の撮像を行う。そして、上記第1実施形態で説明したように、現コマのチェックエリアC内に関心領域80が存在しているか否かを受信装置12にて判定する。そして、受信装置12のCPU57は、チェックエリアC内に関心領域80が存在すると判定された場合には、対物光学系111の視野範囲Rs内に関心領域80が入るか否かを判定する。この判定は先に第4実施形態で説明した方法と基本的に同じであるため、説明は省略する。
【0151】
受信装置12のCPU57は、視野範囲Rs内に関心領域80が入ると判定したら、対物光学系111の光軸110を関心領域80のある方向に向けさせるとともに、撮像素子112に特殊撮影モードで関心領域80の撮像を行わせる制御コマンドを生成する。生成した制御コマンドは、受信装置12からCE109へ無線送信される。これにより、撮像ユニット113がCE109の長軸回りに回転されて、対物光学系111の光軸110が関心領域80のある方向に向けられた後、撮像素子112により特殊撮影モードで関心領域80の撮像が行われる。なお、撮像ユニット113(光軸110)をCE109の長軸回りに回転させる代わりに、対物光学系111として360度の視野領域の画像を得ることができるパノラマレンズを用いてもよい。
【0152】
また、図18で説明したCE109の対物光学系111及び撮像素子112と、図16で説明したCE100の対物光学系32及び撮像素子33と、対物光学系102及び撮像素子103とを備えるCE、つまり、撮像素子を3個(3個以上でも可)備えるCEでも同様に、進行方向前方側に配されている撮像素子により被観察部位を通常撮影モードで撮影させるとともに、他の撮像素子で関心領域80を特殊撮影モードで撮影させるようにしてもよい。
【0153】
なお、上記各実施形態では、CE11で得られた画像データのチェックエリアC内に関心領域80が存在しているか否かの判定(画像解析)と、制御コマンドの生成とを受信装置12で行う場合を例に挙げて説明を行ったが、本発明はこれに限定されるものではなく、これら(画像解析、制御コマンドの生成)をCEで行うようにしてもよい。以下、図19を用いて、画像解析及び制御コマンド生成を行うCE116について説明を行う。
【0154】
CE116は、基本的には上記第1実施形態のCE11と同じ構成である。ただし、CE116には、受信装置12(第1実施形態)の画像解析回路67と同じ機能を有する画像解析回路117と、受信装置12のデータベース68に相当するメモリ118とが設けられている。メモリ118には、上述の撮影条件テーブル87が格納されている。なお、図中では、ROM46、RAM47、電力供給回路52等は図示を省略している。
【0155】
画像解析回路117には、信号処理回路54から出力される画像データが入力されるとともに、CPU45から多点距離情報が入力される。画像解析回路117は、上記第1及び第2実施形態で説明したように、(a)画像データの切り出し、(b)チェックエリアC内の各小ブロックBsからの画像特徴量を抽出、(c)チェックエリアCに関心領域80が存在するか否かの判定、(d)関心領域80が存在する場合には、この関心領域80を構成する小ブロックBsの判別を行う。
【0156】
画像解析回路117による判定結果等は、CPU45(制御コマンド生成手段、動作制御手段)に出力される。CPU45は、画像解析回路67から入力される判定結果等に基づき、メモリ118の撮影条件テーブル87を参照して、撮影モード(撮影条件)を設定する制御コマンドを生成する。次いで、CPU45は、生成した制御コマンドに従ってCE116の各部を動作させる。なお、この場合は電波14bは遣り取りされず、電波14aだけになる。
【0157】
また、前述の画像解析と制御コマンドの生成とをWS13(プロセッサ)にて行うようにしてもよい。この場合には、図20に示すように、受信装置12とプロセッサ120とを無線通信により接続する。そして、(1)CE11から受信装置12へ画像データ及び多点距離情報を電波14aにて無線送信、(2)画像データ及び多点距離情報を受信装置12からプロセッサ120へ電波14cにて無線送信、(3)プロセッサ120にて画像解析及び制御コマンドの生成を行い、WS13から受信装置12へ制御コマンドを電波14dにて無線送信、(4)制御コマンドを受信装置12からCE11へ電波14bにて無線送信する。
【0158】
受信装置12は、CE11からの画像データ及び多点距離情報をWS13へ中継するとともに、WS13からの制御コマンドをCE11へ中継する。このため、受信装置12には、データの多重通信が可能な送受信回路121及びアンテナ122(第2無線送信手段)が設けられている。アンテナ122を介して無線受信したCE11からの電波14aは、送受信回路121を経て復調回路62にて元の画像データ及び多点距離情報に復調される。そして、画像データに画像処理回路63にて画像処理を施したら、画像データ及び多点距離情報を変調回路61にて電波14cに変調する(画像処理は省略しても可)。変調回路61にて変調された電波14cは、送受信回路121を経てアンテナ122に出力される。これにより、受信装置12からプロセッサ120へ画像データ及び多点距離情報が無線送信される。
【0159】
また、アンテナ122を介して無線受信したプロセッサ120からの電波14dは、送受信回路121を経て復調回路62にて元の制御コマンドに復調された後、すぐに変調回路61にて電波14bに変調される。変調回路61にて変調された電波14bは、送受信回路121を経てアンテナ122に出力される。これにより、受信装置12からCE11へ制御コマンドが無線送信される。
【0160】
プロセッサ120は、アンテナ125(第3無線送信手段)を介して、受信装置12とのデータ(画像データ及び多点距離情報、制御コマンド)の遣り取りを行う。プロセッサ120には、前述のCPU90、LCDドライバ92、データストレージ95の他に、送受信回路126、復調回路127、画像解析回路129、データベース130、変調回路131が設けられている。
【0161】
送受信回路126は、アンテナ125に接続されている。送受信回路126は、アンテナ125を介して受信した電波14cを増幅して帯域通過濾波した後、復調回路127に出力する。復調回路127は、送受信回路126から入力される電波14cを元の画像データ及び多点距離情報に復調し、復調した画像データ及び多点距離情報を画像解析回路129に出力する。
【0162】
画像解析回路129は、第1実施形態の画像解析回路67と同じ機能を有するものである。また、データベース130は、第1実施形態の受信装置12のデータベース68に相当するものであり、撮影条件テーブル87を格納している。画像解析回路129は、復調回路127から画像データ及び多点距離情報が入力されたら、前述した(a)〜(d)を実行する。
【0163】
画像解析回路129による判定結果等は、CPU90(制御コマンド生成手段)に出力される。CPU90は、画像解析回路129から入力される判定結果等に基づき、データベース130の撮影条件テーブル87を参照して、制御コマンドを生成する。次いで、CPU90は、生成した制御コマンドを変調回路131に出力する。
【0164】
変調回路131は、CPU90から入力された制御コマンドを電波14dに変調し、変調した電波14dを送受信回路126に出力する。送受信回路126は、変調回路131から入力される電波14dをアンテナ125に出力する。これにより、プロセッサ120から受信装置12へ制御コマンドが無線送信される。
【0165】
前述したように、プロセッサ120から受信装置12へ無線送信された制御コマンドは、受信装置12を経由してCE11へ無線送信される。CE11は制御コマンドで設定された撮影モードで撮影を行う。このように、WS13に画像解析、制御コマンド生成機能を持たせることで、小型化が要求されるCE、受信装置の大型化が避けられる。
【0166】
なお、上記各実施形態では、受信装置、CE、プロセッサのいずれか1つで、画像解析及び制御コマンドの生成を行う場合を例に挙げて説明を行ったが、本発明はこれに限定されるものではなく、CE、受信装置、プロセッサのいずれでも画像解析及び制御コマンドの生成を行えるようにしてもよく、いずれで画像解析及び制御コマンドの生成を行うかを選択できるようにしてもよい。
【0167】
また、上記第1実施形態では、現コマのチェックエリアC内の各小ブロックBsの画像特徴量の類似性を判定した結果に基づき、関心領域80が存在するか否かを判定している。また、上記第2実施形態では、基本的には、現コマ及び前コマのそれぞれのチェックエリアC内の各小ブロックBsの画像特徴量の類似性を判定した結果に基づき、関心領域80が存在するか否かを判定している。これら第1実施形態の判定方法と第2実施形態の判定方法とを常に同時に実行するようにしてもよい。これにより、関心領域80が存在しているか否かの判定をより確実に行うことができる。
【0168】
なお、上記各実施形態の特殊撮影モードでは、ズーム倍率、及び露出を何段階かに段階分けして関心領域80を撮影する場合を例に挙げて説明を行ったが、本発明はこれに限定されるものではない。例えばフォーカス(フォーカスレンズは図示を省略)や、被観察部位に照明光を照射する照明光源38の種類や数を段階的に変化させるようにしてもよい。これにより、最適なフォーカス、照明光源38の種類や数で、少なくとも1回は関心領域80を撮影することができるので、高精細な関心領域80の内視鏡画像が得られる。
【0169】
また、特殊撮影モードと通常撮影モードとで、撮像に使用する撮像素子33の画素数を異ならせてもよい(特殊撮影モード時:最高の画素数で撮影、通常撮影モード時:特殊撮影モード時よりも少ない画素数で撮影)。また、特殊撮影モード時に周知の画素ずらし撮影を行ってもよい。同様に高精細な関心領域80の内視鏡画像が得られる。
【0170】
なお、上記第1実施形態では、隣接する小ブロックBs間の画像特徴量の差分が閾値以上か否かに基づいて、画像特徴量が相対的に変化している小ブロックBsが存在するか否かを判定するようにしているが、本発明はこれに限定するものではない。差分の代わりに、例えば隣接する小ブロックBs間の画像特徴量の類似度(例えば差分自乗和の演算)を算出し、算出した類似度が所定の閾値以上となるか否かなどの各種類似性判定方法を用いて、画像特徴量が相対的に変化している小ブロックBsが存在するか否かを判定してもよい(第2実施形態も同様)。
【0171】
なお、上記第2実施形態では、現コマ及び前コマのチェックエリアC内の各小ブロックBsの画像特徴量の類似性を判定した結果に基づき、現コマのチェックエリアC内に関心領域80が存在するか否かを判定しているが、本発明はこれに限定されるものでない。現コマ及び前コマの切り出し画像データ(トリミング処理前の画像データでも可)からそれぞれ画像特徴量を抽出して、抽出した各画像特徴量の類似度を算出し、現コマ及び前コマの画像の相対的な変化を検出することで、関心領域80が存在するか否かを判定してもよい。
【0172】
なお、上記第1及び第2実施形態では、現コマのチェックエリアC内に関心領域80が存在しているか否かを判定するようにしているが、本発明はこれに限定されるものではなく、撮影エリアA内に関心領域80が存在しているか否かを判定してもよい。
【0173】
なお、上記第1実施形態では、光学ズーム方式でズーム倍率を変倍するようにしているが、本発明はこれに限定されるものではなく、電子ズーム方式によりズーム倍率を変倍するようにしてもよい。また、電子ズーム方式により撮像素子33から得られる撮像信号に信号処理を施して被写体像(内視鏡画像)に変倍処理を施すことで、CEの視野範囲を可変してもよい。
【0174】
また、上記各実施形態では、現コマのチェックエリアC内に関心領域80が存在すると判定されたときにのみ、CEの撮影モードを特殊撮影モードに切り替える場合を例に挙げて説明を行ったが、本発明はこれに限定されるものではなく、所定間隔(時間間隔、移動距離)ごとに特殊撮影モードでの撮影を行ってもよい。
【0175】
なお、上記各実施形態ではアクティブ方式の多点測距センサ41を用いて、撮影エリアA(図3参照)の多点測距を行う場合を例に挙げて説明を行ったが、本発明はこれに限定されるものではない。例えば、撮影エリアAの各測距ブロックB毎に最もピントが合うフォーカスレンズ(図示せず)の位置を求め、求めた位置情報を元に各測距ブロックBまでの距離を求める周知の多重フォーカス方式の多点測距(特開2003−037767号参照)を行ってもよい。また、光軸が平行な複数の対物光学系、及各対物光学系の背面に配された撮像素子をCEに設け、各撮像素子で得られた画像(視差画像)を元に各測距ブロックBまでの距離を求める周知のステレオ方式の多点測距(特開2007−151826号、特開2006−093860号参照)を行ってもよい。
【図面の簡単な説明】
【0176】
【図1】カプセル内視鏡システム(第1実施形態)の構成を示す概略図である。
【図2】カプセル内視鏡の内部構成を示す断面図である。
【図3】多点測距センサを用いた撮影エリアの多点測距を説明するための説明図である。
【図4】カプセル内視鏡の電気的構成を示すブロック図である。
【図5】受信装置の電気的構成を示すブロック図である。
【図6】チェックエリアを画像データから切り出すトリミング処理を説明するための説明図である。
【図7】チェックエリアの範囲を説明するための説明図である。
【図8】チェックエリア内に関心領域が存在するか否かを判定する判定処理を説明するための説明図である。
【図9】撮影モードの選択処理の手順を示すフローチャートである。
【図10】撮影条件テーブルの一例を説明するための説明図である。
【図11】ワークステーションの電気的構成を示すブロック図である。
【図12】カプセル内視鏡検査の処理手順を示すフローチャートである。
【図13】第2実施形態の撮影モードの選択処理の手順を示すフローチャートである。
【図14】第3実施形態のカプセル内視鏡の内部構成を示す断面図である。
【図15】特殊撮影モード時において、対物光学系の光軸を関心領域のある方向に傾けて撮影を行うことを説明するための説明図である。
【図16】第4実施形態のカプセル内視鏡の内部構成を示す断面図である。
【図17】カプセル内視鏡の進行方向前方側の撮像素子で通常撮影モードによる撮像を行い、進行方向後方側の進行方向後方側の撮像素子で特殊撮影モードによる撮像を行うことを説明するための説明図である。
【図18】第4実施形態の他実施形態を説明するための説明図である。
【図19】画像解析・制御コマンドの生成を行うカプセル内視鏡の電気的構成を示すブロック図である。
【図20】画像解析・制御コマンドの生成を行うワークステーション(プロセッサ)の電気的構成を示すブロック図である。
【符号の説明】
【0177】
2 カプセル内視鏡システム
10 患者
11,100,109,116 カプセル内視鏡(CE)
12 受信装置
13 ワークステーション
14a〜14d 電波
24,120 プロセッサ
33,103,112 撮像素子
41,105 多点測距センサ
45 CPU
57 CPU
67,117,129 画像解析回路
80 関心領域
81 トリミング処理部
82 画像特徴量抽出部
83 判定部
87 撮影条件テーブル
A 撮影エリア
B 測距ブロック
Bs 小ブロック
C チェックエリア

【特許請求の範囲】
【請求項1】
被検体内に嚥下され、被検体内の被観察部位を撮像するカプセル内視鏡と、
被検体に携帯され、前記カプセル内視鏡で得られた内視鏡画像を無線受信して、これを記憶する受信装置と、
前記受信装置から取り込んだ前記内視鏡画像を記憶・管理する情報管理装置と、
前記カプセル内視鏡、前記受信装置、及び前記情報管理装置の少なくともいずれか1つに設けられ、前記カプセル内視鏡で得られた前記内視鏡画像自体をリアルタイムで解析し、この解析結果のみに基づいて、前記内視鏡画像内に、周囲と画像の特徴が異なる関心領域が存在するか否かを判定する判定手段とを備えることを特徴とするカプセル内視鏡システム。
【請求項2】
前記カプセル内視鏡、前記受信装置、及び前記情報管理装置の少なくともいずれか1つに設けられ、前記判定手段の判定結果に基づき、前記カプセル内視鏡の各部の動作を制御する制御コマンドを生成する制御コマンド生成手段と、
前記カプセル内視鏡に設けられ、前記制御コマンド生成手段により生成された前記制御コマンドに応じた動作を前記各部に実行させる動作制御手段とを備えることを特徴とする請求項1記載のカプセル内視鏡システム。
【請求項3】
前記判定手段は、前記内視鏡画像を複数の小領域に分割するとともに、分割した前記各小領域間の類似性を判定し、この判定結果に基づき、前記各小領域の中に相対的に類似性が低い前記小領域が存在する場合には、前記内視鏡画像内に前記関心領域が存在すると判定するとともに、前記類似性が低い前記小領域が存在しない場合には、前記内視鏡画像内に前記関心領域が存在しないと判定することを特徴とする請求項1または2記載のカプセル内視鏡システム。
【請求項4】
前記判定手段は、前記各小領域の画像特徴量をそれぞれ取得し、前記各小領域間の画像特徴量の差分をそれぞれ求め、求めた差分がそれぞれ所定の閾値以上となるか否かで前記各小領域間の類似性が低いか否かを判定することを特徴とする請求項3記載のカプセル内視鏡システム。
【請求項5】
前記判定手段は、前記カプセル内視鏡で新たに得られた前記内視鏡画像である最新画像と、その直前に得られた前記内視鏡画像である直前画像との類似性を判定するとともに、この判定結果に基づき、両者が類似しない場合には、前記最新画像内に前記関心領域が存在すると判定し、両者が類似する場合には、前記最新画像内に前記関心領域が存在しないと判定することを特徴とする請求項1または2記載のカプセル内視鏡システム。
【請求項6】
前記判定手段は、前記最新画像及び前記直前画像をそれぞれ複数の小領域に分割し、前記最新画像の各小領域について、それぞれに対応する前記直前画像の小領域との間の類似性を判定し、前記直前画像の小領域との類似性が低い前記最新画像の小領域が存在する場合には、前記最新画像内に前記関心領域が存在すると判定するとともに、前記類似性が低い前記最新画像の小領域が存在しない場合には、前記最新画像内に前記関心領域が存在しないと判定することを特徴とする請求項5記載のカプセル内視鏡システム。
【請求項7】
前記判定手段は、前記最新画像の前記小領域、及び前記直前画像の前記小領域からそれぞれ取得した画像特徴量の差分を求め、前記差分が所定の閾値以上となる否かに基づいて、前記最新画像の小領域と前記直前画像の小領域との類似性が低いか否かを判定することを特徴とする請求項6記載のカプセル内視鏡システム。
【請求項8】
前記カプセル内視鏡は、前記カプセル内視鏡から、前記内視鏡画像で撮影された前記被観察部位の複数のポイントのそれぞれまでの距離を測距する多点測距手段を備えており、
前記判定手段は、前記多点測距手段の測定結果に基づき、前記カプセル内視鏡からの距離が所定範囲内の区域を前記内視鏡画像から切り出すトリミング処理を実行し、このトリミング処理により切り出された前記区域内に限定して、前記関心領域が存在しているか否かを判定することを特徴とする請求項1ないし7いずれか1項記載のカプセル内視鏡システム。
【請求項9】
前記制御コマンド生成手段は、前記判定手段により前記関心領域が存在しないと判定された場合には、前記カプセル内視鏡の撮影モードを、通常の前記内視鏡画像を得る通常撮影モードに設定する第1制御コマンドを生成するとともに、前記関心領域が存在すると判定された場合には、前記カプセル内視鏡の撮影モードを、前記関心領域の高精細な前記内視鏡画像を得る特殊撮影モードに設定する第2制御コマンドを生成することを特徴とする請求項2ないし8いずれか1項記載のカプセル内視鏡システム。
【請求項10】
前記カプセル内視鏡には、前記被観察部位を撮影するための複数の撮像手段と、前記被検体内における前記カプセル内視鏡の向き及び移動方向を検出する方向検出手段とが設けられており、
前記制御コマンド生成手段は、前記方向検出手段で得られた前記カプセル内視鏡の向き及び移動方向に基づき、前記各撮像手段のうち前記カプセル内視鏡の移動方向前方側に配されている第1撮像手段を、通常の前記内視鏡画像を得る通常撮影モードに設定する第1制御コマンドを生成するとともに、前記判定手段が前記第1撮像手段で得られた前記内視鏡画像内に前記関心領域が存在すると判定した時に、前記第1撮像手段を除いた前記各撮像手段のうち少なくともいずれか1つの第2撮像手段を、前記関心領域の高精細な前記内視鏡画像を得る特殊撮影モードに設定する第2制御コマンドを生成することを特徴とする請求項2ないし8いずれか1項記載のカプセル内視鏡システム。
【請求項11】
少なくとも前記特殊撮影モードでは、前記カプセル内視鏡にその撮影条件を変更しながら撮影を行わせるとともに、前記撮影条件の数が前記通常撮影モードよりも多く設定されることを特徴とする請求項9または10記載のカプセル内視鏡システム。
【請求項12】
前記判定手段及び前記制御コマンド生成手段は、前記受信装置に設けられているとともに、
前記受信装置は、前記制御コマンド生成手段にて生成された前記制御コマンドを前記カプセル内視鏡へ無線送信する第1無線送信手段を備えていること特徴とする請求項2ないし11いずれか1項記載のカプセル内視鏡システム。
【請求項13】
前記判定手段及び前記制御コマンド生成手段は、前記情報管理装置に設けられているとともに、
前記受信装置に設けられ、前記カプセル内視鏡から無線受信した前記内視鏡画像を前記情報管理装置へ無線送信する第2無線送信手段と、
前記情報管理装置に設けられ、前記制御コマンド生成手段にて生成された前記制御コマンドを前記受信装置へ無線送信する第3無線送信手段とを備え、
前記第2無線送信手段は、前記情報管理装置から無線受信した前記制御コマンドを前記カプセル内視鏡へ無線送信すること特徴とする請求項2ないし11いずれか1項記載のカプセル内視鏡システム。
【請求項14】
被検体内に嚥下され、被検体内の被観察部位を内蔵の撮像手段で撮影して得られた画像を、送信手段にて外部に送信するカプセル内視鏡の動作制御方法であって、
前記カプセル内視鏡で得られた前記内視鏡画像自体をリアルタイムで解析し、この解析結果のみに基づいて、前記内視鏡画像内に、周囲と画像の特徴が異なる関心領域が存在するか否かを判定する判定ステップと、
前記判定ステップでの判定結果に基づき、前記カプセル内視鏡の各部の動作を制御する制御コマンドを生成する制御コマンド生成ステップと、
前記制御コマンド生成ステップ生成された前記制御コマンドに応じた動作を前記カプセル内視鏡の各部に実行させる動作制御ステップとを有することを特徴とするカプセル内視鏡の動作制御方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate


【公開番号】特開2009−225933(P2009−225933A)
【公開日】平成21年10月8日(2009.10.8)
【国際特許分類】
【出願番号】特願2008−73534(P2008−73534)
【出願日】平成20年3月21日(2008.3.21)
【出願人】(306037311)富士フイルム株式会社 (25,513)
【Fターム(参考)】