内視鏡画像処理装置
【課題】内視鏡を用いた観察の効率を従来に比べて向上させることができる内視鏡画像処理装置を提供する。
【解決手段】本発明の内視鏡画像処理装置は、被検体内に挿入された内視鏡において経時的に撮像された被写体の像に応じた画像を取得する画像取得部と、前記画像を取得する毎に前記画像内の病変部位を検出する病変部位検出部と、前記画像を表示する表示部と、前記病変部位検出部の検出結果に基づき、前記画像取得部が取得した画像のうち、前記病変部位検出部により病変部位が検出された画像である病変部位画像を少なくとも含む複数の画像の表示状態を制御する画像表示制御部と、を有することを特徴とする。
【解決手段】本発明の内視鏡画像処理装置は、被検体内に挿入された内視鏡において経時的に撮像された被写体の像に応じた画像を取得する画像取得部と、前記画像を取得する毎に前記画像内の病変部位を検出する病変部位検出部と、前記画像を表示する表示部と、前記病変部位検出部の検出結果に基づき、前記画像取得部が取得した画像のうち、前記病変部位検出部により病変部位が検出された画像である病変部位画像を少なくとも含む複数の画像の表示状態を制御する画像表示制御部と、を有することを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、内視鏡画像処理装置に関し、特に、被検体内に挿入された内視鏡において経時的に撮像された被写体の像に応じた画像の表示状態を制御する内視鏡画像処理装置に関するものである。
【背景技術】
【０００２】
内視鏡等を有して構成される内視鏡システムは、工業分野及び医療分野等において従来広く用いられている。特に、医療分野における内視鏡システムは、生体内の各種器官の観察等の用途において主に用いられている。そして、前述した用途において用いられる内視鏡システムとしては、例えば、特許文献１に提案されている電子内視鏡システムがある。
【０００３】
特許文献１の電子内視鏡システムは、内視鏡先端部に配設された撮像素子により被検者の体内を撮像する撮像手段と、前記内視鏡先端部の位置情報を検出する位置検出手段と、前記撮像手段により撮像された画像を、撮像時に前記位置検出手段で検出された前記位置情報と関連づけた静止画像として、所定のタイミングで記録する記録手段と、前記記録手段に記録された前記静止画像および該静止画像に関連づけられた位置情報を表示し、かつ前記撮像手段により撮像されている画像を前記位置検出手段で検出されている前記位置情報と共に動画像として表示する表示手段と、を有して構成されている。そして、特許文献１の電子内視鏡システムは、前述したような構成により、内視鏡が撮像した画像に対応する場所の特定を可能としている。
【０００４】
一方、内視鏡を用いて行われる各種観察のうち、特に大腸の観察においては、例えば、看護師または技師等の補助者が大腸最深部である回盲部まで内視鏡を挿入した後、医師が内視鏡を抜去しつつ病変部位の観察を行う、という観察手法が将来実現される可能性がある。また、現在においても、熟練した医師であれば、まず初めに該医師自身が前記回腸部まで内視鏡を挿入した後、さらに、該医師自身が該内視鏡を抜去しながら詳細な観察及び治療等を行う、という観察手法を用いる場合が多い。
【特許文献１】特開２００６−２２３８５０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
前述した観察手法を用いる場合、医師は、例えば、内視鏡挿入時に確認された病変部位を内視鏡抜去時に見落とすことの無いよう、多大な注意力を払う必要がある。そのため、前述した観察手法においては、医師の負担を軽減しつつも内視鏡挿入時に確認された病変部位の見落としを防ぐことができるような、より効率的な手法の実現が課題となっている。
【０００６】
一方、特許文献１の電子内視鏡システムは、画像が撮像された際の内視鏡先端部の位置情報を該画像に関連付けるための構成を有するものであるが、前述した観察手法を用いた場合において生じ得る病変部位の見落としを防ぐことのできるような、例えば、内視鏡挿入時に確認された病変部位に関する情報を内視鏡抜去時に示すことができるような構成を有するものではない。換言すると、特許文献１の電子内視鏡システムは、前述した観察手法において生じている、前述した課題を解決可能な構成を有するものではない。
【０００７】
本発明は、前述した点に鑑みてなされたものであり、内視鏡を挿入する際に取得した病変部位に関する情報を内視鏡抜去時に示すことにより、内視鏡を用いた観察の効率を従来に比べて向上させることができる内視鏡画像処理装置を提供することを目的としている。
【課題を解決するための手段】
【０００８】
本発明における第１の態様の内視鏡画像処理装置は、被検体内に挿入された内視鏡において経時的に撮像された被写体の像に応じた画像を取得する画像取得部と、前記画像を取得する毎に前記画像内の病変部位を検出する病変部位検出部と、前記画像を表示する表示部と、前記病変部位検出部の検出結果に基づき、前記画像取得部が取得した画像のうち、前記病変部位検出部により病変部位が検出された画像である病変部位画像を少なくとも含む複数の画像の表示状態を制御する画像表示制御部と、を有することを特徴とする。
【０００９】
本発明における第２の態様の内視鏡画像処理装置は、前記第１の態様の内視鏡画像処理装置において、前記画像表示制御部は、前記画像取得部が前記病変部位画像を取得したタイミングの前後における所定の期間分の画像を前記表示部に表示させる制御を行うことを特徴とする。
【００１０】
本発明における第３の態様の内視鏡画像処理装置は、前記第１の態様の内視鏡画像処理装置において、前記画像表示制御部は、前記画像取得部が取得した、前記内視鏡の挿入開始時の画像から挿入完了時の画像までの複数の画像からなる、時間的に順方向の一連の画像のうち、前記病変部位画像を静止画像として表示させるとともに、前記病変部位画像以外の画像を動画像として再生させる制御を行うことを特徴とする。
【００１１】
本発明における第４の態様の内視鏡画像処理装置は、前記第３の態様の内視鏡画像処理装置において、前記画像表示制御部は、前記病変部位画像以外の画像を動画像として、前記内視鏡の撮像速度よりも高速に再生させる制御を行うことを特徴とする。
【００１２】
本発明における第５の態様の内視鏡画像処理装置は、前記第１の態様の内視鏡画像処理装置において、前記画像表示制御部は、前記画像取得部が取得した、前記内視鏡の挿入完了時の画像から挿入開始時の画像までの複数の画像からなる、時間的に逆方向の一連の画像のうち、前記病変部位画像を静止画像として表示させるとともに、前記病変部位画像以外の画像を動画像として逆再生させる制御を行うことを特徴とする。
【００１３】
本発明における第６の態様の内視鏡画像処理装置は、前記第５の態様の内視鏡画像処理装置において、前記画像表示制御部は、前記病変部位画像以外の画像を動画像として、前記内視鏡の撮像速度よりも高速に逆再生させる制御を行うことを特徴とする。
【００１４】
本発明における第７の態様の内視鏡画像処理装置は、前記第１の態様の内視鏡画像処理装置において、前記画像表示制御部は、前記画像取得部が取得した、前記内視鏡の挿入開始時の画像から挿入完了時の画像までの複数の画像からなる一連の画像のうち、前記病変部位画像と、前記病変部位画像に対して時間的に前及び／または後の所定の枚数の画像と、を動画像として再生させる制御を行うことを特徴とする。
【００１５】
本発明における第８の態様の内視鏡画像処理装置は、前記第１の態様の内視鏡画像処理装置において、前記画像表示制御部は、前記画像取得部が取得した、前記内視鏡の挿入開始時の画像から挿入完了時の画像までの複数の画像からなる一連の画像のうち、前記病変部位画像と、前記病変部位画像に対して時間的に前及び／または後の所定の枚数の画像と、を動画像として逆再生させる制御を行うことを特徴とする。
【００１６】
本発明における第９の態様の内視鏡画像処理装置は、前記第１乃至前記第８の態様の内視鏡画像処理装置において、さらに、前記被検体内に挿入された内視鏡の挿入状態を示す挿入状態データを内視鏡挿入状態検出装置から取得するとともに、前記画像取得部が前記病変部位画像を取得したタイミングにおける該挿入状態データに応じた前記内視鏡の挿入状態に関する情報を、前記病変部位画像に併せて前記表示部に出力する挿入状態情報取得部を有することを特徴とする。
【００１７】
本発明における第１０の態様の内視鏡画像処理装置は、前記第９の態様の内視鏡画像処理装置において、前記内視鏡の挿入状態に関する情報は、前記内視鏡の挿入長、前記内視鏡が挿入されてからの経過時間、及び、前記内視鏡の挿入形状のうちの少なくとも一を含むことを特徴とする。
【発明の効果】
【００１８】
本発明における内視鏡画像処理装置によると、内視鏡を挿入する際に取得した病変部位に関する情報を内視鏡抜去時に示すことにより、内視鏡を用いた観察の効率を従来に比べて向上させることができる。
【発明を実施するための最良の形態】
【００１９】
以下、図面を参照して本発明の実施の形態を説明する。
【００２０】
図１から図９は、本発明の実施形態に係るものである。図１は、本発明の実施形態に係る画像処理装置が用いられる生体観測システムの要部の構成の一例を示す図である。図２は、図１の内視鏡挿入状態検出装置において検出される、図１の内視鏡の挿入部に設けられたソースコイルの座標を示す図である。図３は、隆起形状を有する病変部位の検出の際に、図１の画像処理装置が行う処理の一部を示すフローチャートである。図４は、隆起形状を有する病変部位の検出の際に、図１の画像処理装置が図３の処理に引き続いて行う処理を示すフローチャートである。図５は、図１の画像処理装置により推定された三次元モデルの一例を示す図である。図６は、図５の三次元モデルにおいて、隆起形状を有する病変部位を検出するための処理の対象となるボクセル群が存在する領域の一例を示す図である。図７は、病変部位が検出された際に、図１の画像処理装置が有する表示パネルに表示される画像等の一例を示す図である。図８は、図１の画像処理装置が有する表示パネルに表示される内視鏡画像の表示方法の一例を示す図である。図９は、図１の画像処理装置が有する表示パネルに表示される内視鏡画像の表示方法の、図８とは異なる例を示す図である。
【００２１】
生体観測システム１は、図１に示すように、内視鏡６による被験者の内部の観察が可能な内視鏡装置２と、該被験者の内部に挿入された内視鏡６の挿入状態を検出するとともに、該挿入状態を挿入状態データとして出力する内視鏡挿入状態検出装置３と、内視鏡挿入状態検出装置３から出力される挿入状態データに応じた各種処理を行う画像処理装置４と、を有して構成されている。
内視鏡装置２は、被験者の内部に存在する大腸等に挿入可能であるとともに、該被験者の内部の被写体を撮像し、撮像信号として出力する内視鏡６と、該被写体を照明するための照明光を内視鏡６に対して供給する光源装置７と、内視鏡６から出力される撮像信号に対して信号処理を行い、映像信号として出力するビデオプロセッサ８と、ビデオプロセッサ８から出力される映像信号に基づき、内視鏡６により撮像された被写体の像を内視鏡画像として表示するモニタ９と、を有して構成されている。
【００２２】
内視鏡６は、被験者の内部に挿入可能な細長の挿入部１１と、挿入部１１の後端に設けられた操作部１２とを有している。挿入部１１の内部には、一端側が挿入部１１の先端部１４に配置されているとともに、他端側が光源装置７に接続可能である、ライトガイド１３が挿通されている。これにより、光源装置７から供給される照明光は、ライトガイド１３を介し、挿入部１１の先端部１４に設けられた図示しない照明窓から出射される。
【００２３】
なお、挿入部１１の先端部１４の後端側には、湾曲自在に構成された図示しない湾曲部が設られている。そして、前記図示しない湾曲部は、操作部１２に設けられた図示しない湾曲操作ノブ等の操作により湾曲させることができる。
【００２４】
先端部１４には、図示しない照明窓に隣接して設けられた、図示しない観察窓に対物レンズ１５が取り付けられている。また、対物レンズ１５の結像位置には、電荷結合素子（ＣＣＤと略記）等からなる撮像素子１６の撮像面が配置されている。
【００２５】
撮像素子１６は、信号線を介してビデオプロセッサ８と接続されており、対物レンズ１５により結像された被写体の像を撮像し、撮像信号としてビデオプロセッサ８へ出力する。
【００２６】
ビデオプロセッサ８は、撮像素子１６から出力される撮像信号に基づいて映像信号を生
成するための信号処理を行う。そして、ビデオプロセッサ８は、前記信号処理により生成した映像信号である、例えばＲＧＢ信号をモニタ９に出力する。そして、モニタ９の表示面には、撮像素子１６において撮像された被写体の像が内視鏡画像として表示される。
【００２７】
なお、光源装置７は、例えば、Ｒ（赤）、Ｇ（緑）及びＢ（青）からなる面順次の照明光を供給する場合には、各々の光が供給される期間に同期した同期信号をビデオプロセッサ８に出力するものとする。このとき、ビデオプロセッサ８は、光源装置７から出力される前記同期信号に同期して信号処理を行うものとする。
【００２８】
内視鏡６の操作部１２には、前述した図示しない湾曲操作ノブに加え、レリーズ指示等の指示を行うことが可能な図示しないスイッチが設けられている。
【００２９】
また、内視鏡６の挿入部１１の内部には、長手方向に所定の間隔を有して複数のソースコイルＣ０、Ｃ１、…、ＣＭ−１（Ｃ０〜ＣＭ−１と略記）が配置されている。そして、ソースコイルＣ０〜ＣＭ−１は、内視鏡挿入状態検出装置３から出力される駆動信号に応じ、各々周囲に磁界を発生する。
【００３０】
そして、ソースコイルＣ０〜ＣＭ−１において発せられた磁界は、内視鏡挿入状態検出装置３が具備する、複数のセンスコイルが内蔵されたセンスコイルユニット１９により検出される。
【００３１】
内視鏡挿入状態検出装置３は、内視鏡６に設けられたソースコイルＣ０〜ＣＭ−１において発せられた磁界を検出するセンスコイルユニット１９と、センスコイルユニット１９によって検出された磁界の検出信号に基づき、挿入部１１の形状推定を含む、挿入部１１の挿入状態を解析可能な挿入状態解析装置２１と、挿入状態解析装置２１によって推定された挿入部１１の形状を表示するディスプレイ２２とを有して構成されている。
【００３２】
センスコイルユニット１９は、患者が横たわるベッドの周辺部などに配置され、ソースコイルＣ０〜ＣＭ−１による磁界を検出し、検出した該磁界を検出信号として挿入状態解析装置２１に出力する。
【００３３】
挿入状態解析装置２１は、検出信号に基づいて、ソースコイルＣ０〜ＣＭ−１の各位置座標データの算出を行うとともに、算出した該位置座標データに基づいて挿入部１１の挿入形状を推定する。また、挿入状態解析装置２１は、推定した挿入部１１の挿入形状の映像信号を生成するとともに、生成した映像信号である、例えばＲＧＢ信号をディスプレイ２２に対して出力する。これにより、ディスプレイ２２の表示画面には、挿入部１１の挿入形状が画像表示される。さらに、挿入状態解析装置２１は、内視鏡６による観察が行われている最中に、挿入部１１の挿入形状に関する情報、挿入部１１の挿入長、挿入部１１が挿入されてからの経過時間、及び形状表示属性等の挿入状態データを連続的に生成し、通信ポート２１ａを介して画像処理装置４に出力する。
【００３４】
また、本実施形態の内視鏡挿入状態検出装置３は、挿入状態解析装置２１による形状検出処理により生成された後、ディスプレイ２２に表示される挿入形状の画像の回転角及び拡大縮小率等の形状表示属性を、図示しない操作パネル等において指示及び入力することにより、変更することができるものとする。
【００３５】
なお、ビデオプロセッサ８は、例えば、患者の氏名、生年月日、性別、年齢、患者コード及び検査日時等の情報である検査情報を入力するための図示しない操作パネルを有している。そして、前記図示しない操作パネルにおいて入力された検査情報は、ビデオプロセッサ８において生成された映像信号に重畳されつつモニタ９へ出力されるとともに、通信ポート８ａを介して画像処理装置４へも送信される。
【００３６】
内視鏡画像処理装置としての画像処理装置４は、内視鏡挿入状態検出装置３から出力される挿入状態データと、ビデオプロセッサ８から出力される検査情報とに基づいて各種処理を行うパーソナルコンピュータ（以下、単にＰＣと称する）２５と、ＰＣ２５に対する各種指示及び入力を行うことが可能なマウス２６及びキーボード２７と、ＰＣ２５における前記各種処理により生成された画像及び情報等を表示可能な表示パネル２８と、を有している。
【００３７】
ＰＣ２５は、内視鏡挿入状態検出装置３の挿入状態解析装置２１の通信ポート２１ａから出力される挿入状態データを取り込む通信ポート２５ａと、前記内視鏡装置２のビデオプロセッサ８の通信ポート８ａから出力される検査情報を取り込む通信ポート２５ｂと、ビデオプロセッサ８で生成された動画像の映像信号を所定の圧縮画像データに変換する動画像入力ボード２５ｃと、各種信号処理を行うＣＰＵ３１と、ＣＰＵ３１における該各種信号処理に用いられる処理プログラムが格納された処理プログラム格納部３２と、ＣＰＵ３１により処理されたデータ等を格納するメモリ３３と、ＣＰＵ３１により処理された画像データ等を記憶するハードディスク（以下、単にＨＤＤと称する）３４とを有する。そして、ＰＣ２５が有する各部は、バスライン３５により相互に接続されている。
【００３８】
画像処理装置４の動画像入力ボード２５ｃには、ビデオプロセッサ８において生成された動画像の映像信号として、例えば、所定のフレームレート（３０フレーム／秒）を有するＹ／Ｃ信号が入力される。そして、動画像入力ボード２５ｃは、前記動画像の映像信号を、例えば、ＭＪＰＥＧ形式等の所定の圧縮形式を用いて圧縮動画像データに変換するとともに、該圧縮動画像データをＨＤＤ３４等に対して出力する。
【００３９】
なお、通信ポート２５ａにおいて取り込まれた挿入状態データ、及び、通信ポート２５ｂにおいて取り込まれた検査情報は、例えば、メモリ３３に対して出力されることにより、ＰＣ２５内において保持される。
【００４０】
表示パネル２８は、例えばタッチパネルと同様の機能を有しており、ＰＣ２５における各種処理により生成された画像及び情報等を表示可能であるとともに、表示された画像に対する入力内容を信号化してＰＣ２５へ出力することができる。
【００４１】
ここで、内視鏡挿入状態検出装置３が挿入状態データを生成する際に行う処理について説明を行う。
内視鏡挿入状態検出装置３の挿入状態解析装置２１は、内視鏡６の撮像素子１６から１フレーム分の撮像信号が出力されるタイミングに応じ、内視鏡６の挿入部１１に内蔵されたＭ個のソースコイルＣ０〜ＣＭ−１の３次元座標を含む挿入状態データを生成する。また、挿入状態解析装置２１は、前記挿入状態データを画像処理装置４へ出力するとともに、前記挿入状態データに基づいて挿入部１１の挿入形状の画像を生成し、該挿入形状の画像をディスプレイ２２へ出力する。
【００４２】
なお、第ｊフレーム（ただし、ｊ＝０、１、２…）における、挿入部１１の先端側からｉ番目（ただし、ｉ＝０、１、…、Ｍ−１）のソースコイルＣｉの３次元座標は、図２のように（Ｘｉｊ，Ｙｉｊ，Ｚｉｊ）として示されるものとする。
【００４３】
この内視鏡挿入状態検出装置３で検出されたソースコイルＣ０〜ＣＭ−１の座標系のデータを含む挿入状態データは、各フレームに関するフレームデータ（つまり、第０フレームデータ、第１フレームデータ、…）として構成されており、画像処理装置４に順次送信される。そして、各フレームデータは、挿入状態データの作成時刻、表示属性、付属情報及びソースコイルの（３次元）座標等のデータを有して構成されている。
【００４４】
また、コイル座標データは、挿入部１１の先端側から基端側（操作部１２側）に順次配置されたソースコイルＣ０〜ＣＭ−１の３次元座標をそれぞれ示すデータである。なお、内視鏡挿入状態検出装置３による検出範囲外のソースコイルの３次元座標は、例えば、検出範囲外であることが分かるような所定の座標値（例えば（０，０，０））として設定されるものとする。
【００４５】
次に、本実施形態の生体観測システム１の作用について説明を行う。
【００４６】
看護師または技師等の補助者により内視鏡６の挿入部１１が被検体の肛門側から体腔内へ挿入されると、挿入部１１の先端部１４に設けられた撮像素子１６により、該体腔内に存在する被写体が撮像される。撮像素子１６により撮像された被写体の像は、経時的に撮像されつつ撮像信号として出力され、ビデオプロセッサ８により信号処理が施されて映像信号に変換された後、モニタ９に対して出力される。これにより、モニタ９には、撮像素子１６により撮像された被写体の像が内視鏡画像として表示される。
【００４７】
内視鏡挿入状態検出装置３は、ソースコイルＣ０〜ＣＭ−１各々から発せられた磁界をセンスコイルユニット１９において検出するとともに、該磁界に応じて出力される検出信号に基づく挿入部１１の挿入形状を挿入状態解析装置２１において推定する。これにより、ディスプレイ２２には、挿入状態解析装置２１において推定された挿入部１１の挿入形状が表示される。
【００４８】
また、ビデオプロセッサ８において生成された映像信号は、通信ポート８ａ及び２５ｂを介し、ＣＰＵ３１に対して出力される。
【００４９】
画像取得部及び病変部位検出部としての機能を有するＣＰＵ３１は、入力された映像信号と、処理プログラム格納部３２に書き込まれた処理プログラムとに基づき、内視鏡６により撮像された被写体の像に応じた画像を取得するとともに、該画像内における病変部位を検出するための処理を、該画像を取得する毎に行う。
【００５０】
ここで、内視鏡６により撮像された被写体の像において、隆起形状を有する病変部位を検出するためにＣＰＵ３１が行う処理の一例について述べる。なお、以降に述べる病変部位を検出するための処理は、ビデオプロセッサ８から出力される映像信号における、各フレームの画像に対して行われるものとする。
【００５１】
まず、ＣＰＵ３１は、入力された映像信号に基づき、内視鏡６により撮像された被写体の像に含まれる全てのエッジ部を抽出及び細線化するとともに、細線化した該全てのエッジ部のうち、一のエッジ部Ｅの長さＬを算出する（図３のステップＳ１、ステップＳ２及びステップＳ３）。さらに、ＣＰＵ３１は、一のエッジ部Ｅの長さＬが、閾値ｔｈＬ１より長く、かつ、閾値ｔｈＬ２より短いか否かを判定する（図３のステップＳ４）。
【００５２】
そして、ＣＰＵ３１は、一のエッジ部Ｅの長さＬが、所定の閾値ｔｈＬ１以下の長さであること、または、閾値ｔｈＬ２以上であることを検出した場合、該一のエッジ部Ｅを病変に起因するエッジ部ではないとし、後述する図３のステップＳ１１に示す処理を行う。また、ＣＰＵ３１は、一のエッジ部Ｅの長さＬが、閾値ｔｈＬ１より長く、かつ、閾値ｔｈＬ２より短いことを検出した場合、該一のエッジ部Ｅを制御点Ｃｎ（ｎ＝１，２，…，Ｎ）によりＮ等分する（図３のステップＳ５）。
【００５３】
さらに、ＣＰＵ３１は、一のエッジ部Ｅの中点Ｃｃから引いた法線ＮＣｃを取得するとともに、各制御点Ｃｎから引いたＮ本の法線ＮＣｎを取得する（図３のステップＳ６）。その後、ＣＰＵ３１は、Ｎ本の法線ＮＣｎのうち、法線ＮＣｃと交わるものの本数Ｎａを検出する（図３のステップＳ７）。
【００５４】
また、ＣＰＵ３１は、Ｎ本の法線ＮＣｎのうち、法線ＮＣｃと交わるものの本数Ｎａが、閾値ｔｈａより多いか否かの判断を行う（図３のステップＳ８）。そして、ＣＰＵ３１は、法線ＮＣｃと交わるものの本数Ｎａが閾値ｔｈａより多いことを検出した場合、一のエッジ部Ｅに含まれるピクセル群ｉｐを病変部位候補のエッジ部に含まれるピクセル群であると判断し、該ピクセル群ｉｐが有する各ピクセルにおける変数ｅｄｇｅ（ｉ）の値をＯＮとする（図３のステップＳ９）。さらに、ＣＰＵ３１は、法線ＮＣｃと交わるものの本数Ｎａが閾値ｔｈａ以下であることを検出した場合、一のエッジ部Ｅに含まれるピクセル群ｉｐを病変に起因するエッジ部に含まれるピクセル群ではないと判断し、該ピクセル群ｉｐが有する各ピクセルにおける変数ｅｄｇｅ（ｉ）の値をＯＦＦとする（図３のステップＳ１０）。
【００５５】
その後、ＣＰＵ３１は、抽出した全てのエッジ部に対し、処理が完了したか否かを判断する（図３のステップＳ１１）。そして、ＣＰＵ３１は、抽出した全てのエッジ部に対しての処理が完了していないことを検出した場合、他の一のエッジ部に対し、前述した、図３のステップＳ３からステップＳ１０までの処理を施す。また、ＣＰＵ３１は、抽出した全てのエッジ部に対しての処理が完了したことを検出した場合、二次元画像におけるエッジ部を抽出するための一連の処理を終了する。
【００５６】
ＣＰＵ３１は、以上に述べた一連の処理を抽出した全てのエッジ部に対して行うことにより得た処理結果としての、ピクセル群ｉｐにおける変数ｅｄｇｅ（ｉ）の値を、メモリ３３に一時的に記憶させる。
【００５７】
そして、ＣＰＵ３１は、ビデオプロセッサ８から出力された映像信号の輝度情報等に基づき、例えば、幾何学的な変換等の処理を行うことにより、内視鏡６により撮像された被写体の像の三次元モデルを推定する際に必要となる画像データを取得する。換言すると、ＣＰＵ３１は、例えば、幾何学的な変換等の処理により、二次元画像における各ピクセルに対応するボクセルを生成するとともに、該ボクセルを、三次元モデルを推定するための画像データとして取得する。すなわち、ピクセル群ｉｐは、前述した処理によりボクセル群ｉｂとして変換される。
【００５８】
ＣＰＵ３１は、前述した処理により、内視鏡６により撮像された被写体の像の三次元モデルを推定するための画像データとして、変数ｅｄｇｅ（ｉ）がＯＮであるボクセル群ｉｂを含む平面である境界平面のデータを得る。これにより、内視鏡６により撮像された被写体の像は、例えば、ｚ軸方向を内視鏡６による観察時の視野方向とした場合、図５に示すような形状を有する三次元モデルとして推定される。
【００５９】
その後、ＣＰＵ３１は、前記境界平面のデータに基づき、変数ｅｄｇｅ（ｉ）がＯＮであるボクセル群ｉｂのうち、内視鏡６の視野方向の最も奥側に存在する所定の一のボクセルとして、ｚ座標が最大である一のボクセルを抽出するとともに、該一のボクセルのｚ座標をＭａｘｚとして設定する（図４のステップＳ２１）。
【００６０】
そして、ＣＰＵ３１は、内視鏡６により撮像された被写体の像の三次元モデルを推定するための画像データとして得た全てのボクセルのうち、前記一のボクセルの位置よりも内視鏡６の視野方向手前側に存在するボクセルとして、ｚ座標がＭａｘｚよりも小さいボクセル群ｒｂを検出する（図４のステップＳ２２）。なお、前記ボクセル群ｒｂは、例えば図６に示す領域内に存在するＲ個のボクセルからなるものであるとする。
【００６１】
さらに、ＣＰＵ３１は、変数ａを１に設定した後、ボクセル群ｒｂが有するＲ個のボクセルのうち、一のボクセルであるＢａ（ａ＝１，２，…，Ｒ−１，Ｒ）を抽出するとともに、該一のボクセルＢａにおける形状特徴量として、ＳｈａｐｅＩｎｄｅｘ値ＳＢａ及びＣｕｒｖｅｄｎｅｓｓ値ＣＢａを算出する（図４のステップＳ２３、ステップＳ２４及びステップＳ２５）。
【００６２】
なお、前述したＳｈａｐｅＩｎｄｅｘ値及びＣｕｒｖｅｄｎｅｓｓ値は、例えば、ＵＳ Ｐａｔｅｎｔ Ａｐｐｌｉｃａｔｉｏｎ Ｐｕｂｌｉｃａｔｉｏｎ Ｎｏ．２００３０２２３６２７に記載されている方法と同様の方法を用いることにより算出可能である。そのため、本実施形態においては、一のボクセルＢａにおけるＳｈａｐｅＩｎｄｅｘ値及びＣｕｒｖｅｄｎｅｓｓ値の算出方法に関しては、説明を省略する。
【００６３】
また、ＣＰＵ３１は、ＳｈａｐｅＩｎｄｅｘ値ＳＢａと、予め設定されたＳｈａｐｅＩｎｄｅｘ値の閾値Ｓｔｈ（例えば０．９）との比較を行うとともに、Ｃｕｒｖｅｄｎｅｓｓ値ＣＢａと、予め設定されたＣｕｒｖｅｄｎｅｓｓ値の閾値Ｃｔｈ（例えば０．２）との比較を行う（図４のステップＳ２６）。換言すると、ＣＰＵ３１は、前述した処理を行うことにより、内視鏡６により撮像された被写体の像が隆起形状を有する病変部位であるか否かを検出するための処理として、三次元モデルが凸型形状と推定されたボクセル群を抽出する処理を行う。
【００６４】
そして、ＣＰＵ３１は、ＳｈａｐｅＩｎｄｅｘ値ＳＢａが閾値Ｓｔｈより大きく、かつ、Ｃｕｒｖｅｄｎｅｓｓ値ＣＢａが閾値Ｃｔｈより大きいことを検出した場合、一のボクセルＢａ隆起形状を有する病変部位の一部を構成するボクセルであると判断し、該一のボクセルＢａにおける変数ｒｙｕｕｋｉ（Ｂａ）の値をＯＮとする（図４のステップＳ２７）。
【００６５】
また、ＣＰＵ３１は、ＳｈａｐｅＩｎｄｅｘ値ＳＢａが閾値Ｓｔｈ以下であること、または、Ｃｕｒｖｅｄｎｅｓｓ値ＣＢａが閾値Ｃｔｈ以下であることを検出した場合、一のボクセルＢａを隆起形状を有する病変部位の一部を構成するボクセルではないと判断し、該一のボクセルＢａにおける変数ｒｙｕｕｋｉ（Ｂａ）の値をＯＦＦとする（図４のステップＳ２８）。
【００６６】
その後、ＣＰＵ３１は、Ｒ個のボクセル全てにおいて、前述した処理が行われたかどうか、すなわち、変数ａ＝Ｒであるか否かの判定を行う（図４のステップＳ２９）。
【００６７】
そして、ＣＰＵ３１は、ａ＝Ｒではないことを検知した場合、変数ｉに１を加える処理を行った（図４のステップＳ３０）後、前述した、図４のステップＳ２４からステップＳ２９に示す処理を再度行う。
【００６８】
また、ＣＰＵ２２は、ａ＝Ｒであることを検知した場合（図４のステップＳ２９）、内視鏡６により撮像された被写体の像の三次元モデルにおける隆起形状を検出するための一連の処理を完了する。
【００６９】
その後、ＣＰＵ３１は、以上に述べた一連の処理をＲ個のボクセル全てに対して行うことにより得た処理結果としてのｒｙｕｕｋｉ（Ｂａ）の値を、メモリ３３に一時的に記憶させる。
【００７０】
そして、ＣＰＵ３１は、ｒｙｕｕｋｉ（Ｂａ）の値がＯＮである各ボクセルの位置に基づき、該各ボクセルの位置に対応する位置に存在する二次元画像上の各ピクセルを検出する。
【００７１】
ＣＰＵ３１は、ビデオプロセッサ８から出力される映像信号における各フレームの画像に対し、以上に述べた一連の処理を施すことにより、内視鏡６により撮像された被写体の像に含まれる、ポリープ等の隆起形状を有する病変部位を検出する。
【００７２】
さらに、画像表示制御部及び挿入状態情報取得部としての機能を有するＣＰＵ３１は、ビデオプロセッサ８から出力される映像信号と、前述した一連の処理による病変部位の検出結果と、通信ポート２１ａ及び２５ａを介して入力される挿入状態データとに基づき、例えば、病変部位が検出されたシーンの画像、病変部位が検出された際の挿入部１１の挿入形状、病変部位が検出された際の挿入部１１の挿入長、及び、挿入部１１が挿入されてから該画像が取得されるまでの経過時間の各情報を取得して相互に関連付けつつＨＤＤ３４に記憶させるとともに、該各情報を所定のタイミングにおいてＨＤＤ３４から読み込んで表示パネル２８へ出力ための制御を行う。ＣＰＵ３１が前記制御を行うことにより、表示パネル２８には、例えば、図７に示すように、前述した挿入長及び経過時間が少なくとも含まれる挿入状態情報１０１と、病変部位が検出された際の挿入部１１の挿入形状を示す挿入形状画像１０２と、病変部位が検出されたシーンの内視鏡画像１０３とが併せて表示される。なお、挿入状態情報１０１に含まれる各情報及び挿入形状画像１０２は、（図７に示すように）全てが表示パネル２８に表示されるものに限らず、例えば、少なくとも一つが表示されるものであっても良い。
【００７３】
また、前記所定のタイミングは、例えば、挿入部１１の挿入時において病変部位が検出された直後のタイミングであっても良いし、また、挿入部１１の先端部１４が大腸内の回盲部に到達した後、内視鏡６に設けられた図示しない挿入完了ボタンが押下されたタイミングであっても良い。
【００７４】
また、表示パネル２８に表示される内容は、図７に示すものに限らず、例えば、病変部位が複数検出された場合には、最初に内視鏡画像１０３のサムネイル画像のみを一覧表示し、その後選択された一の画像について、図７に示すような表示を行うものであっても良い。なお、前記一覧表示の表示順は、例えば、病変部位を検出したタイミング、挿入長及び経過時間のうちの、少なくともいずれか一に基づくものであるとする。
【００７５】
以上に述べた作用により、医師は、補助者が挿入部１１の挿入を完了する事前に、病変部位の有無、病変部位の個数及び病変部位のおおよその位置を確認することができる。さらに、以上に述べた作用により、医師は、挿入部１１の抜去時に、表示パネル２８に表示される内視鏡画像１０３を参照しつつ観察を進めてゆくことができる。
【００７６】
なお、本実施形態においては、挿入部１１の挿入時において、発見した病変部位の画像にマーキングすることが可能な構成と、挿入部１１の抜去時において、該マーキングを有する画像に該当する位置に先端部１４が近づくと告知を行う構成とをさらに画像処理装置４が有するものであっても良い。
【００７７】
また、表示パネル２８に表示される内視鏡画像１０３は、病変部位が検出されたシーンの静止画像のみが表示されるものに限らず、例えば、図８に示すように、ＣＰＵ３１の制御により、病変部位が検出されたシーンの静止画像Ｉｃの取得タイミングを基準とした、前後ｔ秒分の画像が動画像として連続表示されるものであっても良い。
【００７８】
具体的には、例えば、画像表示制御部としてのＣＰＵ３１は、挿入部１１の挿入時に取得された画像Ｉ１から画像ＩｎまでのＮ枚の画像のうち、前記静止画像Ｉｃと、前記静止画像Ｉｃの取得タイミングから時間的に前及び／または後におけるｔ秒分の画像である所定の枚数の画像と、を動画像として表示パネル２８に連続表示（再生または逆再生）させる制御を行うものであっても良い。
【００７９】
また、表示パネル２８に表示される内視鏡画像１０３は、病変部位が検出されたシーンの静止画像のみが表示されるものに限らず、例えば、ＣＰＵ３１の制御により、挿入部１１の挿入時に取得された画像Ｉ１から画像ＩｎまでのＮ枚の画像が動画像としてダイジェスト再生されるものであっても良い。
【００８０】
前記ダイジェスト再生は、例えば、画像Ｉ１から画像ＩｎまでのＮ枚の画像からなる、時間的に順方向の一連の動画像のうち、病変部位が検出されたシーンの画像が一時停止画像（静止画像）として表示パネル２８（の内視鏡画像１０３が表示される部分）に表示され、それ以外の画像については高速再生されつつ表示パネル２８（の内視鏡画像１０３が表示される部分）に表示される、という方法により実現される。そして、図９に示すように、画像Ｉ１から画像ＩｎまでのＮ枚の画像のうち、例えば、病変部位が検出されたシーンの画像として、画像Ｉｉ、画像Ｉｉ＋１及び画像Ｉｉ＋２の各画像が取得された場合、ＣＰＵ３１の制御により、挿入部１１の挿入開始時（の画像Ｉ１）から挿入完了時（の画像Ｉｎ）までの一連の動画像のうち、該各画像が一時停止画像（静止画像）として表示パネル２８（の内視鏡画像１０３が表示される部分）に表示され、該各画像以外の画像については高速再生されつつ表示パネル２８（の内視鏡画像１０３が表示される部分）に表示される。なお、前記高速再生の速度は、例えば、内視鏡６の撮像素子１６における撮像速度よりも高速であるものとする。
【００８１】
さらに、表示パネル２８に表示される内視鏡画像１０３は、病変部位が検出されたシーンの静止画像のみが表示されるものに限らず、例えば、ＣＰＵ３１の制御により、挿入部１１の挿入時に取得された画像Ｉ１から画像ＩｎまでのＮ枚の画像が動画像として逆ダイジェスト再生されるものであっても良い。
【００８２】
前記逆ダイジェスト再生は、例えば、画像Ｉｎから画像Ｉ１までのＮ枚の画像からなる、時間的に逆方向の一連の動画像のうち、病変部位が検出されたシーンの画像が一時停止画像（静止画像）として表示パネル２８（の内視鏡画像１０３が表示される部分）に表示され、それ以外の画像については高速再生されつつ表示パネル２８（の内視鏡画像１０３が表示される部分）に表示される、という方法により実現される。そして、図９に示すように、画像Ｉ１から画像ＩｎまでのＮ枚の画像のうち、例えば、病変部位が検出されたシーンの画像として、画像Ｉｉ、画像Ｉｉ＋１及び画像Ｉｉ＋２の各画像が取得された場合、ＣＰＵ３１の制御により、挿入部１１の挿入完了時（の画像Ｉｎ）から挿入開始時（の画像Ｉ１）までの一連の動画像のうち、該各画像が一時停止画像（静止画像）として表示パネル２８（の内視鏡画像１０３が表示される部分）に表示され、該各画像以外の画像については高速逆再生されつつ表示パネル２８（の内視鏡画像１０３が表示される部分）に表示される。なお、前記高速逆再生の速度は、例えば、内視鏡６の撮像素子１６における撮像速度よりも高速であるものとする。
【００８３】
以上に述べたように、本実施形態に係る画像処理装置４（を有して構成される生体観測システム１）は、挿入部１１の挿入時に取得した、病変部位が検出されたシーンの画像及び情報を、挿入部１１の抜去時に（またはそれ以前のタイミングにおいて）表示パネル２８に表示させることが可能な構成を有している。これにより、本実施形態に係る画像処理装置４（を有して構成される生体観測システム１）は、内視鏡を用いた観察の効率を従来に比べて向上させることができる。そして、前述した効果は、内視鏡の挿入及び抜去を別々の人間が行うような観察手法を用いる際に、特に顕著に表れる。
【００８４】
また、本実施形態に係る画像処理装置４（を有して構成される生体観測システム１）は、例えば、所望の部位の近傍において内視鏡を往復させながら観察を行う場合にも、前述した効果を発揮することができる。
【００８５】
なお、本実施形態に係る画像処理装置４（を有して構成される生体観測システム１）は、病変部位を検出する際に、ポリープ等の隆起形状を有する病変部位を画像処理により検出可能な構成を具備したものに限らず、例えば、内視鏡６の操作者が病変部位を検出したタイミングに応じて図示しない病変検出ボタン等を押下することにより、該病変部位の存在をＣＰＵ３１に対して認識させるための指示を行うことが可能な構成を具備するものであっても良い。
【００８６】
また、本発明は、上述した実施形態に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更や応用が可能であることは勿論である。
【図面の簡単な説明】
【００８７】
【図１】本発明の実施形態に係る画像処理装置が用いられる生体観測システムの要部の構成の一例を示す図。
【図２】図１の内視鏡挿入状態検出装置において検出される、図１の内視鏡の挿入部に設けられたソースコイルの座標を示す図。
【図３】隆起形状を有する病変部位の検出の際に、図１の画像処理装置が行う処理の一部を示すフローチャート。
【図４】隆起形状を有する病変部位の検出の際に、図１の画像処理装置が図３の処理に引き続いて行う処理を示すフローチャート。
【図５】図１の画像処理装置により推定された三次元モデルの一例を示す図。
【図６】図５の三次元モデルにおいて、隆起形状を有する病変部位を検出するための処理の対象となるボクセル群が存在する領域の一例を示す図。
【図７】病変部位が検出された際に、図１の画像処理装置が有する表示パネルに表示される画像等の一例を示す図。
【図８】図１の画像処理装置が有する表示パネルに表示される内視鏡画像の表示方法の一例を示す図。
【図９】図１の画像処理装置が有する表示パネルに表示される内視鏡画像の表示方法の、図８とは異なる例を示す図。
【符号の説明】
【００８８】
１・・・生体観測システム、２・・・内視鏡装置、３・・・内視鏡挿入状態検出装置、４・・・画像処理装置、６・・・内視鏡、８・・・ビデオプロセッサ、２１・・・挿入状態解析装置、２５・・・ＰＣ、２８・・・表示パネル、１０１・・・挿入状態情報、１０２・・・挿入形状画像、１０３・・・内視鏡画像
【技術分野】
【０００１】
本発明は、内視鏡画像処理装置に関し、特に、被検体内に挿入された内視鏡において経時的に撮像された被写体の像に応じた画像の表示状態を制御する内視鏡画像処理装置に関するものである。
【背景技術】
【０００２】
内視鏡等を有して構成される内視鏡システムは、工業分野及び医療分野等において従来広く用いられている。特に、医療分野における内視鏡システムは、生体内の各種器官の観察等の用途において主に用いられている。そして、前述した用途において用いられる内視鏡システムとしては、例えば、特許文献１に提案されている電子内視鏡システムがある。
【０００３】
特許文献１の電子内視鏡システムは、内視鏡先端部に配設された撮像素子により被検者の体内を撮像する撮像手段と、前記内視鏡先端部の位置情報を検出する位置検出手段と、前記撮像手段により撮像された画像を、撮像時に前記位置検出手段で検出された前記位置情報と関連づけた静止画像として、所定のタイミングで記録する記録手段と、前記記録手段に記録された前記静止画像および該静止画像に関連づけられた位置情報を表示し、かつ前記撮像手段により撮像されている画像を前記位置検出手段で検出されている前記位置情報と共に動画像として表示する表示手段と、を有して構成されている。そして、特許文献１の電子内視鏡システムは、前述したような構成により、内視鏡が撮像した画像に対応する場所の特定を可能としている。
【０００４】
一方、内視鏡を用いて行われる各種観察のうち、特に大腸の観察においては、例えば、看護師または技師等の補助者が大腸最深部である回盲部まで内視鏡を挿入した後、医師が内視鏡を抜去しつつ病変部位の観察を行う、という観察手法が将来実現される可能性がある。また、現在においても、熟練した医師であれば、まず初めに該医師自身が前記回腸部まで内視鏡を挿入した後、さらに、該医師自身が該内視鏡を抜去しながら詳細な観察及び治療等を行う、という観察手法を用いる場合が多い。
【特許文献１】特開２００６−２２３８５０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
前述した観察手法を用いる場合、医師は、例えば、内視鏡挿入時に確認された病変部位を内視鏡抜去時に見落とすことの無いよう、多大な注意力を払う必要がある。そのため、前述した観察手法においては、医師の負担を軽減しつつも内視鏡挿入時に確認された病変部位の見落としを防ぐことができるような、より効率的な手法の実現が課題となっている。
【０００６】
一方、特許文献１の電子内視鏡システムは、画像が撮像された際の内視鏡先端部の位置情報を該画像に関連付けるための構成を有するものであるが、前述した観察手法を用いた場合において生じ得る病変部位の見落としを防ぐことのできるような、例えば、内視鏡挿入時に確認された病変部位に関する情報を内視鏡抜去時に示すことができるような構成を有するものではない。換言すると、特許文献１の電子内視鏡システムは、前述した観察手法において生じている、前述した課題を解決可能な構成を有するものではない。
【０００７】
本発明は、前述した点に鑑みてなされたものであり、内視鏡を挿入する際に取得した病変部位に関する情報を内視鏡抜去時に示すことにより、内視鏡を用いた観察の効率を従来に比べて向上させることができる内視鏡画像処理装置を提供することを目的としている。
【課題を解決するための手段】
【０００８】
本発明における第１の態様の内視鏡画像処理装置は、被検体内に挿入された内視鏡において経時的に撮像された被写体の像に応じた画像を取得する画像取得部と、前記画像を取得する毎に前記画像内の病変部位を検出する病変部位検出部と、前記画像を表示する表示部と、前記病変部位検出部の検出結果に基づき、前記画像取得部が取得した画像のうち、前記病変部位検出部により病変部位が検出された画像である病変部位画像を少なくとも含む複数の画像の表示状態を制御する画像表示制御部と、を有することを特徴とする。
【０００９】
本発明における第２の態様の内視鏡画像処理装置は、前記第１の態様の内視鏡画像処理装置において、前記画像表示制御部は、前記画像取得部が前記病変部位画像を取得したタイミングの前後における所定の期間分の画像を前記表示部に表示させる制御を行うことを特徴とする。
【００１０】
本発明における第３の態様の内視鏡画像処理装置は、前記第１の態様の内視鏡画像処理装置において、前記画像表示制御部は、前記画像取得部が取得した、前記内視鏡の挿入開始時の画像から挿入完了時の画像までの複数の画像からなる、時間的に順方向の一連の画像のうち、前記病変部位画像を静止画像として表示させるとともに、前記病変部位画像以外の画像を動画像として再生させる制御を行うことを特徴とする。
【００１１】
本発明における第４の態様の内視鏡画像処理装置は、前記第３の態様の内視鏡画像処理装置において、前記画像表示制御部は、前記病変部位画像以外の画像を動画像として、前記内視鏡の撮像速度よりも高速に再生させる制御を行うことを特徴とする。
【００１２】
本発明における第５の態様の内視鏡画像処理装置は、前記第１の態様の内視鏡画像処理装置において、前記画像表示制御部は、前記画像取得部が取得した、前記内視鏡の挿入完了時の画像から挿入開始時の画像までの複数の画像からなる、時間的に逆方向の一連の画像のうち、前記病変部位画像を静止画像として表示させるとともに、前記病変部位画像以外の画像を動画像として逆再生させる制御を行うことを特徴とする。
【００１３】
本発明における第６の態様の内視鏡画像処理装置は、前記第５の態様の内視鏡画像処理装置において、前記画像表示制御部は、前記病変部位画像以外の画像を動画像として、前記内視鏡の撮像速度よりも高速に逆再生させる制御を行うことを特徴とする。
【００１４】
本発明における第７の態様の内視鏡画像処理装置は、前記第１の態様の内視鏡画像処理装置において、前記画像表示制御部は、前記画像取得部が取得した、前記内視鏡の挿入開始時の画像から挿入完了時の画像までの複数の画像からなる一連の画像のうち、前記病変部位画像と、前記病変部位画像に対して時間的に前及び／または後の所定の枚数の画像と、を動画像として再生させる制御を行うことを特徴とする。
【００１５】
本発明における第８の態様の内視鏡画像処理装置は、前記第１の態様の内視鏡画像処理装置において、前記画像表示制御部は、前記画像取得部が取得した、前記内視鏡の挿入開始時の画像から挿入完了時の画像までの複数の画像からなる一連の画像のうち、前記病変部位画像と、前記病変部位画像に対して時間的に前及び／または後の所定の枚数の画像と、を動画像として逆再生させる制御を行うことを特徴とする。
【００１６】
本発明における第９の態様の内視鏡画像処理装置は、前記第１乃至前記第８の態様の内視鏡画像処理装置において、さらに、前記被検体内に挿入された内視鏡の挿入状態を示す挿入状態データを内視鏡挿入状態検出装置から取得するとともに、前記画像取得部が前記病変部位画像を取得したタイミングにおける該挿入状態データに応じた前記内視鏡の挿入状態に関する情報を、前記病変部位画像に併せて前記表示部に出力する挿入状態情報取得部を有することを特徴とする。
【００１７】
本発明における第１０の態様の内視鏡画像処理装置は、前記第９の態様の内視鏡画像処理装置において、前記内視鏡の挿入状態に関する情報は、前記内視鏡の挿入長、前記内視鏡が挿入されてからの経過時間、及び、前記内視鏡の挿入形状のうちの少なくとも一を含むことを特徴とする。
【発明の効果】
【００１８】
本発明における内視鏡画像処理装置によると、内視鏡を挿入する際に取得した病変部位に関する情報を内視鏡抜去時に示すことにより、内視鏡を用いた観察の効率を従来に比べて向上させることができる。
【発明を実施するための最良の形態】
【００１９】
以下、図面を参照して本発明の実施の形態を説明する。
【００２０】
図１から図９は、本発明の実施形態に係るものである。図１は、本発明の実施形態に係る画像処理装置が用いられる生体観測システムの要部の構成の一例を示す図である。図２は、図１の内視鏡挿入状態検出装置において検出される、図１の内視鏡の挿入部に設けられたソースコイルの座標を示す図である。図３は、隆起形状を有する病変部位の検出の際に、図１の画像処理装置が行う処理の一部を示すフローチャートである。図４は、隆起形状を有する病変部位の検出の際に、図１の画像処理装置が図３の処理に引き続いて行う処理を示すフローチャートである。図５は、図１の画像処理装置により推定された三次元モデルの一例を示す図である。図６は、図５の三次元モデルにおいて、隆起形状を有する病変部位を検出するための処理の対象となるボクセル群が存在する領域の一例を示す図である。図７は、病変部位が検出された際に、図１の画像処理装置が有する表示パネルに表示される画像等の一例を示す図である。図８は、図１の画像処理装置が有する表示パネルに表示される内視鏡画像の表示方法の一例を示す図である。図９は、図１の画像処理装置が有する表示パネルに表示される内視鏡画像の表示方法の、図８とは異なる例を示す図である。
【００２１】
生体観測システム１は、図１に示すように、内視鏡６による被験者の内部の観察が可能な内視鏡装置２と、該被験者の内部に挿入された内視鏡６の挿入状態を検出するとともに、該挿入状態を挿入状態データとして出力する内視鏡挿入状態検出装置３と、内視鏡挿入状態検出装置３から出力される挿入状態データに応じた各種処理を行う画像処理装置４と、を有して構成されている。
内視鏡装置２は、被験者の内部に存在する大腸等に挿入可能であるとともに、該被験者の内部の被写体を撮像し、撮像信号として出力する内視鏡６と、該被写体を照明するための照明光を内視鏡６に対して供給する光源装置７と、内視鏡６から出力される撮像信号に対して信号処理を行い、映像信号として出力するビデオプロセッサ８と、ビデオプロセッサ８から出力される映像信号に基づき、内視鏡６により撮像された被写体の像を内視鏡画像として表示するモニタ９と、を有して構成されている。
【００２２】
内視鏡６は、被験者の内部に挿入可能な細長の挿入部１１と、挿入部１１の後端に設けられた操作部１２とを有している。挿入部１１の内部には、一端側が挿入部１１の先端部１４に配置されているとともに、他端側が光源装置７に接続可能である、ライトガイド１３が挿通されている。これにより、光源装置７から供給される照明光は、ライトガイド１３を介し、挿入部１１の先端部１４に設けられた図示しない照明窓から出射される。
【００２３】
なお、挿入部１１の先端部１４の後端側には、湾曲自在に構成された図示しない湾曲部が設られている。そして、前記図示しない湾曲部は、操作部１２に設けられた図示しない湾曲操作ノブ等の操作により湾曲させることができる。
【００２４】
先端部１４には、図示しない照明窓に隣接して設けられた、図示しない観察窓に対物レンズ１５が取り付けられている。また、対物レンズ１５の結像位置には、電荷結合素子（ＣＣＤと略記）等からなる撮像素子１６の撮像面が配置されている。
【００２５】
撮像素子１６は、信号線を介してビデオプロセッサ８と接続されており、対物レンズ１５により結像された被写体の像を撮像し、撮像信号としてビデオプロセッサ８へ出力する。
【００２６】
ビデオプロセッサ８は、撮像素子１６から出力される撮像信号に基づいて映像信号を生
成するための信号処理を行う。そして、ビデオプロセッサ８は、前記信号処理により生成した映像信号である、例えばＲＧＢ信号をモニタ９に出力する。そして、モニタ９の表示面には、撮像素子１６において撮像された被写体の像が内視鏡画像として表示される。
【００２７】
なお、光源装置７は、例えば、Ｒ（赤）、Ｇ（緑）及びＢ（青）からなる面順次の照明光を供給する場合には、各々の光が供給される期間に同期した同期信号をビデオプロセッサ８に出力するものとする。このとき、ビデオプロセッサ８は、光源装置７から出力される前記同期信号に同期して信号処理を行うものとする。
【００２８】
内視鏡６の操作部１２には、前述した図示しない湾曲操作ノブに加え、レリーズ指示等の指示を行うことが可能な図示しないスイッチが設けられている。
【００２９】
また、内視鏡６の挿入部１１の内部には、長手方向に所定の間隔を有して複数のソースコイルＣ０、Ｃ１、…、ＣＭ−１（Ｃ０〜ＣＭ−１と略記）が配置されている。そして、ソースコイルＣ０〜ＣＭ−１は、内視鏡挿入状態検出装置３から出力される駆動信号に応じ、各々周囲に磁界を発生する。
【００３０】
そして、ソースコイルＣ０〜ＣＭ−１において発せられた磁界は、内視鏡挿入状態検出装置３が具備する、複数のセンスコイルが内蔵されたセンスコイルユニット１９により検出される。
【００３１】
内視鏡挿入状態検出装置３は、内視鏡６に設けられたソースコイルＣ０〜ＣＭ−１において発せられた磁界を検出するセンスコイルユニット１９と、センスコイルユニット１９によって検出された磁界の検出信号に基づき、挿入部１１の形状推定を含む、挿入部１１の挿入状態を解析可能な挿入状態解析装置２１と、挿入状態解析装置２１によって推定された挿入部１１の形状を表示するディスプレイ２２とを有して構成されている。
【００３２】
センスコイルユニット１９は、患者が横たわるベッドの周辺部などに配置され、ソースコイルＣ０〜ＣＭ−１による磁界を検出し、検出した該磁界を検出信号として挿入状態解析装置２１に出力する。
【００３３】
挿入状態解析装置２１は、検出信号に基づいて、ソースコイルＣ０〜ＣＭ−１の各位置座標データの算出を行うとともに、算出した該位置座標データに基づいて挿入部１１の挿入形状を推定する。また、挿入状態解析装置２１は、推定した挿入部１１の挿入形状の映像信号を生成するとともに、生成した映像信号である、例えばＲＧＢ信号をディスプレイ２２に対して出力する。これにより、ディスプレイ２２の表示画面には、挿入部１１の挿入形状が画像表示される。さらに、挿入状態解析装置２１は、内視鏡６による観察が行われている最中に、挿入部１１の挿入形状に関する情報、挿入部１１の挿入長、挿入部１１が挿入されてからの経過時間、及び形状表示属性等の挿入状態データを連続的に生成し、通信ポート２１ａを介して画像処理装置４に出力する。
【００３４】
また、本実施形態の内視鏡挿入状態検出装置３は、挿入状態解析装置２１による形状検出処理により生成された後、ディスプレイ２２に表示される挿入形状の画像の回転角及び拡大縮小率等の形状表示属性を、図示しない操作パネル等において指示及び入力することにより、変更することができるものとする。
【００３５】
なお、ビデオプロセッサ８は、例えば、患者の氏名、生年月日、性別、年齢、患者コード及び検査日時等の情報である検査情報を入力するための図示しない操作パネルを有している。そして、前記図示しない操作パネルにおいて入力された検査情報は、ビデオプロセッサ８において生成された映像信号に重畳されつつモニタ９へ出力されるとともに、通信ポート８ａを介して画像処理装置４へも送信される。
【００３６】
内視鏡画像処理装置としての画像処理装置４は、内視鏡挿入状態検出装置３から出力される挿入状態データと、ビデオプロセッサ８から出力される検査情報とに基づいて各種処理を行うパーソナルコンピュータ（以下、単にＰＣと称する）２５と、ＰＣ２５に対する各種指示及び入力を行うことが可能なマウス２６及びキーボード２７と、ＰＣ２５における前記各種処理により生成された画像及び情報等を表示可能な表示パネル２８と、を有している。
【００３７】
ＰＣ２５は、内視鏡挿入状態検出装置３の挿入状態解析装置２１の通信ポート２１ａから出力される挿入状態データを取り込む通信ポート２５ａと、前記内視鏡装置２のビデオプロセッサ８の通信ポート８ａから出力される検査情報を取り込む通信ポート２５ｂと、ビデオプロセッサ８で生成された動画像の映像信号を所定の圧縮画像データに変換する動画像入力ボード２５ｃと、各種信号処理を行うＣＰＵ３１と、ＣＰＵ３１における該各種信号処理に用いられる処理プログラムが格納された処理プログラム格納部３２と、ＣＰＵ３１により処理されたデータ等を格納するメモリ３３と、ＣＰＵ３１により処理された画像データ等を記憶するハードディスク（以下、単にＨＤＤと称する）３４とを有する。そして、ＰＣ２５が有する各部は、バスライン３５により相互に接続されている。
【００３８】
画像処理装置４の動画像入力ボード２５ｃには、ビデオプロセッサ８において生成された動画像の映像信号として、例えば、所定のフレームレート（３０フレーム／秒）を有するＹ／Ｃ信号が入力される。そして、動画像入力ボード２５ｃは、前記動画像の映像信号を、例えば、ＭＪＰＥＧ形式等の所定の圧縮形式を用いて圧縮動画像データに変換するとともに、該圧縮動画像データをＨＤＤ３４等に対して出力する。
【００３９】
なお、通信ポート２５ａにおいて取り込まれた挿入状態データ、及び、通信ポート２５ｂにおいて取り込まれた検査情報は、例えば、メモリ３３に対して出力されることにより、ＰＣ２５内において保持される。
【００４０】
表示パネル２８は、例えばタッチパネルと同様の機能を有しており、ＰＣ２５における各種処理により生成された画像及び情報等を表示可能であるとともに、表示された画像に対する入力内容を信号化してＰＣ２５へ出力することができる。
【００４１】
ここで、内視鏡挿入状態検出装置３が挿入状態データを生成する際に行う処理について説明を行う。
内視鏡挿入状態検出装置３の挿入状態解析装置２１は、内視鏡６の撮像素子１６から１フレーム分の撮像信号が出力されるタイミングに応じ、内視鏡６の挿入部１１に内蔵されたＭ個のソースコイルＣ０〜ＣＭ−１の３次元座標を含む挿入状態データを生成する。また、挿入状態解析装置２１は、前記挿入状態データを画像処理装置４へ出力するとともに、前記挿入状態データに基づいて挿入部１１の挿入形状の画像を生成し、該挿入形状の画像をディスプレイ２２へ出力する。
【００４２】
なお、第ｊフレーム（ただし、ｊ＝０、１、２…）における、挿入部１１の先端側からｉ番目（ただし、ｉ＝０、１、…、Ｍ−１）のソースコイルＣｉの３次元座標は、図２のように（Ｘｉｊ，Ｙｉｊ，Ｚｉｊ）として示されるものとする。
【００４３】
この内視鏡挿入状態検出装置３で検出されたソースコイルＣ０〜ＣＭ−１の座標系のデータを含む挿入状態データは、各フレームに関するフレームデータ（つまり、第０フレームデータ、第１フレームデータ、…）として構成されており、画像処理装置４に順次送信される。そして、各フレームデータは、挿入状態データの作成時刻、表示属性、付属情報及びソースコイルの（３次元）座標等のデータを有して構成されている。
【００４４】
また、コイル座標データは、挿入部１１の先端側から基端側（操作部１２側）に順次配置されたソースコイルＣ０〜ＣＭ−１の３次元座標をそれぞれ示すデータである。なお、内視鏡挿入状態検出装置３による検出範囲外のソースコイルの３次元座標は、例えば、検出範囲外であることが分かるような所定の座標値（例えば（０，０，０））として設定されるものとする。
【００４５】
次に、本実施形態の生体観測システム１の作用について説明を行う。
【００４６】
看護師または技師等の補助者により内視鏡６の挿入部１１が被検体の肛門側から体腔内へ挿入されると、挿入部１１の先端部１４に設けられた撮像素子１６により、該体腔内に存在する被写体が撮像される。撮像素子１６により撮像された被写体の像は、経時的に撮像されつつ撮像信号として出力され、ビデオプロセッサ８により信号処理が施されて映像信号に変換された後、モニタ９に対して出力される。これにより、モニタ９には、撮像素子１６により撮像された被写体の像が内視鏡画像として表示される。
【００４７】
内視鏡挿入状態検出装置３は、ソースコイルＣ０〜ＣＭ−１各々から発せられた磁界をセンスコイルユニット１９において検出するとともに、該磁界に応じて出力される検出信号に基づく挿入部１１の挿入形状を挿入状態解析装置２１において推定する。これにより、ディスプレイ２２には、挿入状態解析装置２１において推定された挿入部１１の挿入形状が表示される。
【００４８】
また、ビデオプロセッサ８において生成された映像信号は、通信ポート８ａ及び２５ｂを介し、ＣＰＵ３１に対して出力される。
【００４９】
画像取得部及び病変部位検出部としての機能を有するＣＰＵ３１は、入力された映像信号と、処理プログラム格納部３２に書き込まれた処理プログラムとに基づき、内視鏡６により撮像された被写体の像に応じた画像を取得するとともに、該画像内における病変部位を検出するための処理を、該画像を取得する毎に行う。
【００５０】
ここで、内視鏡６により撮像された被写体の像において、隆起形状を有する病変部位を検出するためにＣＰＵ３１が行う処理の一例について述べる。なお、以降に述べる病変部位を検出するための処理は、ビデオプロセッサ８から出力される映像信号における、各フレームの画像に対して行われるものとする。
【００５１】
まず、ＣＰＵ３１は、入力された映像信号に基づき、内視鏡６により撮像された被写体の像に含まれる全てのエッジ部を抽出及び細線化するとともに、細線化した該全てのエッジ部のうち、一のエッジ部Ｅの長さＬを算出する（図３のステップＳ１、ステップＳ２及びステップＳ３）。さらに、ＣＰＵ３１は、一のエッジ部Ｅの長さＬが、閾値ｔｈＬ１より長く、かつ、閾値ｔｈＬ２より短いか否かを判定する（図３のステップＳ４）。
【００５２】
そして、ＣＰＵ３１は、一のエッジ部Ｅの長さＬが、所定の閾値ｔｈＬ１以下の長さであること、または、閾値ｔｈＬ２以上であることを検出した場合、該一のエッジ部Ｅを病変に起因するエッジ部ではないとし、後述する図３のステップＳ１１に示す処理を行う。また、ＣＰＵ３１は、一のエッジ部Ｅの長さＬが、閾値ｔｈＬ１より長く、かつ、閾値ｔｈＬ２より短いことを検出した場合、該一のエッジ部Ｅを制御点Ｃｎ（ｎ＝１，２，…，Ｎ）によりＮ等分する（図３のステップＳ５）。
【００５３】
さらに、ＣＰＵ３１は、一のエッジ部Ｅの中点Ｃｃから引いた法線ＮＣｃを取得するとともに、各制御点Ｃｎから引いたＮ本の法線ＮＣｎを取得する（図３のステップＳ６）。その後、ＣＰＵ３１は、Ｎ本の法線ＮＣｎのうち、法線ＮＣｃと交わるものの本数Ｎａを検出する（図３のステップＳ７）。
【００５４】
また、ＣＰＵ３１は、Ｎ本の法線ＮＣｎのうち、法線ＮＣｃと交わるものの本数Ｎａが、閾値ｔｈａより多いか否かの判断を行う（図３のステップＳ８）。そして、ＣＰＵ３１は、法線ＮＣｃと交わるものの本数Ｎａが閾値ｔｈａより多いことを検出した場合、一のエッジ部Ｅに含まれるピクセル群ｉｐを病変部位候補のエッジ部に含まれるピクセル群であると判断し、該ピクセル群ｉｐが有する各ピクセルにおける変数ｅｄｇｅ（ｉ）の値をＯＮとする（図３のステップＳ９）。さらに、ＣＰＵ３１は、法線ＮＣｃと交わるものの本数Ｎａが閾値ｔｈａ以下であることを検出した場合、一のエッジ部Ｅに含まれるピクセル群ｉｐを病変に起因するエッジ部に含まれるピクセル群ではないと判断し、該ピクセル群ｉｐが有する各ピクセルにおける変数ｅｄｇｅ（ｉ）の値をＯＦＦとする（図３のステップＳ１０）。
【００５５】
その後、ＣＰＵ３１は、抽出した全てのエッジ部に対し、処理が完了したか否かを判断する（図３のステップＳ１１）。そして、ＣＰＵ３１は、抽出した全てのエッジ部に対しての処理が完了していないことを検出した場合、他の一のエッジ部に対し、前述した、図３のステップＳ３からステップＳ１０までの処理を施す。また、ＣＰＵ３１は、抽出した全てのエッジ部に対しての処理が完了したことを検出した場合、二次元画像におけるエッジ部を抽出するための一連の処理を終了する。
【００５６】
ＣＰＵ３１は、以上に述べた一連の処理を抽出した全てのエッジ部に対して行うことにより得た処理結果としての、ピクセル群ｉｐにおける変数ｅｄｇｅ（ｉ）の値を、メモリ３３に一時的に記憶させる。
【００５７】
そして、ＣＰＵ３１は、ビデオプロセッサ８から出力された映像信号の輝度情報等に基づき、例えば、幾何学的な変換等の処理を行うことにより、内視鏡６により撮像された被写体の像の三次元モデルを推定する際に必要となる画像データを取得する。換言すると、ＣＰＵ３１は、例えば、幾何学的な変換等の処理により、二次元画像における各ピクセルに対応するボクセルを生成するとともに、該ボクセルを、三次元モデルを推定するための画像データとして取得する。すなわち、ピクセル群ｉｐは、前述した処理によりボクセル群ｉｂとして変換される。
【００５８】
ＣＰＵ３１は、前述した処理により、内視鏡６により撮像された被写体の像の三次元モデルを推定するための画像データとして、変数ｅｄｇｅ（ｉ）がＯＮであるボクセル群ｉｂを含む平面である境界平面のデータを得る。これにより、内視鏡６により撮像された被写体の像は、例えば、ｚ軸方向を内視鏡６による観察時の視野方向とした場合、図５に示すような形状を有する三次元モデルとして推定される。
【００５９】
その後、ＣＰＵ３１は、前記境界平面のデータに基づき、変数ｅｄｇｅ（ｉ）がＯＮであるボクセル群ｉｂのうち、内視鏡６の視野方向の最も奥側に存在する所定の一のボクセルとして、ｚ座標が最大である一のボクセルを抽出するとともに、該一のボクセルのｚ座標をＭａｘｚとして設定する（図４のステップＳ２１）。
【００６０】
そして、ＣＰＵ３１は、内視鏡６により撮像された被写体の像の三次元モデルを推定するための画像データとして得た全てのボクセルのうち、前記一のボクセルの位置よりも内視鏡６の視野方向手前側に存在するボクセルとして、ｚ座標がＭａｘｚよりも小さいボクセル群ｒｂを検出する（図４のステップＳ２２）。なお、前記ボクセル群ｒｂは、例えば図６に示す領域内に存在するＲ個のボクセルからなるものであるとする。
【００６１】
さらに、ＣＰＵ３１は、変数ａを１に設定した後、ボクセル群ｒｂが有するＲ個のボクセルのうち、一のボクセルであるＢａ（ａ＝１，２，…，Ｒ−１，Ｒ）を抽出するとともに、該一のボクセルＢａにおける形状特徴量として、ＳｈａｐｅＩｎｄｅｘ値ＳＢａ及びＣｕｒｖｅｄｎｅｓｓ値ＣＢａを算出する（図４のステップＳ２３、ステップＳ２４及びステップＳ２５）。
【００６２】
なお、前述したＳｈａｐｅＩｎｄｅｘ値及びＣｕｒｖｅｄｎｅｓｓ値は、例えば、ＵＳ Ｐａｔｅｎｔ Ａｐｐｌｉｃａｔｉｏｎ Ｐｕｂｌｉｃａｔｉｏｎ Ｎｏ．２００３０２２３６２７に記載されている方法と同様の方法を用いることにより算出可能である。そのため、本実施形態においては、一のボクセルＢａにおけるＳｈａｐｅＩｎｄｅｘ値及びＣｕｒｖｅｄｎｅｓｓ値の算出方法に関しては、説明を省略する。
【００６３】
また、ＣＰＵ３１は、ＳｈａｐｅＩｎｄｅｘ値ＳＢａと、予め設定されたＳｈａｐｅＩｎｄｅｘ値の閾値Ｓｔｈ（例えば０．９）との比較を行うとともに、Ｃｕｒｖｅｄｎｅｓｓ値ＣＢａと、予め設定されたＣｕｒｖｅｄｎｅｓｓ値の閾値Ｃｔｈ（例えば０．２）との比較を行う（図４のステップＳ２６）。換言すると、ＣＰＵ３１は、前述した処理を行うことにより、内視鏡６により撮像された被写体の像が隆起形状を有する病変部位であるか否かを検出するための処理として、三次元モデルが凸型形状と推定されたボクセル群を抽出する処理を行う。
【００６４】
そして、ＣＰＵ３１は、ＳｈａｐｅＩｎｄｅｘ値ＳＢａが閾値Ｓｔｈより大きく、かつ、Ｃｕｒｖｅｄｎｅｓｓ値ＣＢａが閾値Ｃｔｈより大きいことを検出した場合、一のボクセルＢａ隆起形状を有する病変部位の一部を構成するボクセルであると判断し、該一のボクセルＢａにおける変数ｒｙｕｕｋｉ（Ｂａ）の値をＯＮとする（図４のステップＳ２７）。
【００６５】
また、ＣＰＵ３１は、ＳｈａｐｅＩｎｄｅｘ値ＳＢａが閾値Ｓｔｈ以下であること、または、Ｃｕｒｖｅｄｎｅｓｓ値ＣＢａが閾値Ｃｔｈ以下であることを検出した場合、一のボクセルＢａを隆起形状を有する病変部位の一部を構成するボクセルではないと判断し、該一のボクセルＢａにおける変数ｒｙｕｕｋｉ（Ｂａ）の値をＯＦＦとする（図４のステップＳ２８）。
【００６６】
その後、ＣＰＵ３１は、Ｒ個のボクセル全てにおいて、前述した処理が行われたかどうか、すなわち、変数ａ＝Ｒであるか否かの判定を行う（図４のステップＳ２９）。
【００６７】
そして、ＣＰＵ３１は、ａ＝Ｒではないことを検知した場合、変数ｉに１を加える処理を行った（図４のステップＳ３０）後、前述した、図４のステップＳ２４からステップＳ２９に示す処理を再度行う。
【００６８】
また、ＣＰＵ２２は、ａ＝Ｒであることを検知した場合（図４のステップＳ２９）、内視鏡６により撮像された被写体の像の三次元モデルにおける隆起形状を検出するための一連の処理を完了する。
【００６９】
その後、ＣＰＵ３１は、以上に述べた一連の処理をＲ個のボクセル全てに対して行うことにより得た処理結果としてのｒｙｕｕｋｉ（Ｂａ）の値を、メモリ３３に一時的に記憶させる。
【００７０】
そして、ＣＰＵ３１は、ｒｙｕｕｋｉ（Ｂａ）の値がＯＮである各ボクセルの位置に基づき、該各ボクセルの位置に対応する位置に存在する二次元画像上の各ピクセルを検出する。
【００７１】
ＣＰＵ３１は、ビデオプロセッサ８から出力される映像信号における各フレームの画像に対し、以上に述べた一連の処理を施すことにより、内視鏡６により撮像された被写体の像に含まれる、ポリープ等の隆起形状を有する病変部位を検出する。
【００７２】
さらに、画像表示制御部及び挿入状態情報取得部としての機能を有するＣＰＵ３１は、ビデオプロセッサ８から出力される映像信号と、前述した一連の処理による病変部位の検出結果と、通信ポート２１ａ及び２５ａを介して入力される挿入状態データとに基づき、例えば、病変部位が検出されたシーンの画像、病変部位が検出された際の挿入部１１の挿入形状、病変部位が検出された際の挿入部１１の挿入長、及び、挿入部１１が挿入されてから該画像が取得されるまでの経過時間の各情報を取得して相互に関連付けつつＨＤＤ３４に記憶させるとともに、該各情報を所定のタイミングにおいてＨＤＤ３４から読み込んで表示パネル２８へ出力ための制御を行う。ＣＰＵ３１が前記制御を行うことにより、表示パネル２８には、例えば、図７に示すように、前述した挿入長及び経過時間が少なくとも含まれる挿入状態情報１０１と、病変部位が検出された際の挿入部１１の挿入形状を示す挿入形状画像１０２と、病変部位が検出されたシーンの内視鏡画像１０３とが併せて表示される。なお、挿入状態情報１０１に含まれる各情報及び挿入形状画像１０２は、（図７に示すように）全てが表示パネル２８に表示されるものに限らず、例えば、少なくとも一つが表示されるものであっても良い。
【００７３】
また、前記所定のタイミングは、例えば、挿入部１１の挿入時において病変部位が検出された直後のタイミングであっても良いし、また、挿入部１１の先端部１４が大腸内の回盲部に到達した後、内視鏡６に設けられた図示しない挿入完了ボタンが押下されたタイミングであっても良い。
【００７４】
また、表示パネル２８に表示される内容は、図７に示すものに限らず、例えば、病変部位が複数検出された場合には、最初に内視鏡画像１０３のサムネイル画像のみを一覧表示し、その後選択された一の画像について、図７に示すような表示を行うものであっても良い。なお、前記一覧表示の表示順は、例えば、病変部位を検出したタイミング、挿入長及び経過時間のうちの、少なくともいずれか一に基づくものであるとする。
【００７５】
以上に述べた作用により、医師は、補助者が挿入部１１の挿入を完了する事前に、病変部位の有無、病変部位の個数及び病変部位のおおよその位置を確認することができる。さらに、以上に述べた作用により、医師は、挿入部１１の抜去時に、表示パネル２８に表示される内視鏡画像１０３を参照しつつ観察を進めてゆくことができる。
【００７６】
なお、本実施形態においては、挿入部１１の挿入時において、発見した病変部位の画像にマーキングすることが可能な構成と、挿入部１１の抜去時において、該マーキングを有する画像に該当する位置に先端部１４が近づくと告知を行う構成とをさらに画像処理装置４が有するものであっても良い。
【００７７】
また、表示パネル２８に表示される内視鏡画像１０３は、病変部位が検出されたシーンの静止画像のみが表示されるものに限らず、例えば、図８に示すように、ＣＰＵ３１の制御により、病変部位が検出されたシーンの静止画像Ｉｃの取得タイミングを基準とした、前後ｔ秒分の画像が動画像として連続表示されるものであっても良い。
【００７８】
具体的には、例えば、画像表示制御部としてのＣＰＵ３１は、挿入部１１の挿入時に取得された画像Ｉ１から画像ＩｎまでのＮ枚の画像のうち、前記静止画像Ｉｃと、前記静止画像Ｉｃの取得タイミングから時間的に前及び／または後におけるｔ秒分の画像である所定の枚数の画像と、を動画像として表示パネル２８に連続表示（再生または逆再生）させる制御を行うものであっても良い。
【００７９】
また、表示パネル２８に表示される内視鏡画像１０３は、病変部位が検出されたシーンの静止画像のみが表示されるものに限らず、例えば、ＣＰＵ３１の制御により、挿入部１１の挿入時に取得された画像Ｉ１から画像ＩｎまでのＮ枚の画像が動画像としてダイジェスト再生されるものであっても良い。
【００８０】
前記ダイジェスト再生は、例えば、画像Ｉ１から画像ＩｎまでのＮ枚の画像からなる、時間的に順方向の一連の動画像のうち、病変部位が検出されたシーンの画像が一時停止画像（静止画像）として表示パネル２８（の内視鏡画像１０３が表示される部分）に表示され、それ以外の画像については高速再生されつつ表示パネル２８（の内視鏡画像１０３が表示される部分）に表示される、という方法により実現される。そして、図９に示すように、画像Ｉ１から画像ＩｎまでのＮ枚の画像のうち、例えば、病変部位が検出されたシーンの画像として、画像Ｉｉ、画像Ｉｉ＋１及び画像Ｉｉ＋２の各画像が取得された場合、ＣＰＵ３１の制御により、挿入部１１の挿入開始時（の画像Ｉ１）から挿入完了時（の画像Ｉｎ）までの一連の動画像のうち、該各画像が一時停止画像（静止画像）として表示パネル２８（の内視鏡画像１０３が表示される部分）に表示され、該各画像以外の画像については高速再生されつつ表示パネル２８（の内視鏡画像１０３が表示される部分）に表示される。なお、前記高速再生の速度は、例えば、内視鏡６の撮像素子１６における撮像速度よりも高速であるものとする。
【００８１】
さらに、表示パネル２８に表示される内視鏡画像１０３は、病変部位が検出されたシーンの静止画像のみが表示されるものに限らず、例えば、ＣＰＵ３１の制御により、挿入部１１の挿入時に取得された画像Ｉ１から画像ＩｎまでのＮ枚の画像が動画像として逆ダイジェスト再生されるものであっても良い。
【００８２】
前記逆ダイジェスト再生は、例えば、画像Ｉｎから画像Ｉ１までのＮ枚の画像からなる、時間的に逆方向の一連の動画像のうち、病変部位が検出されたシーンの画像が一時停止画像（静止画像）として表示パネル２８（の内視鏡画像１０３が表示される部分）に表示され、それ以外の画像については高速再生されつつ表示パネル２８（の内視鏡画像１０３が表示される部分）に表示される、という方法により実現される。そして、図９に示すように、画像Ｉ１から画像ＩｎまでのＮ枚の画像のうち、例えば、病変部位が検出されたシーンの画像として、画像Ｉｉ、画像Ｉｉ＋１及び画像Ｉｉ＋２の各画像が取得された場合、ＣＰＵ３１の制御により、挿入部１１の挿入完了時（の画像Ｉｎ）から挿入開始時（の画像Ｉ１）までの一連の動画像のうち、該各画像が一時停止画像（静止画像）として表示パネル２８（の内視鏡画像１０３が表示される部分）に表示され、該各画像以外の画像については高速逆再生されつつ表示パネル２８（の内視鏡画像１０３が表示される部分）に表示される。なお、前記高速逆再生の速度は、例えば、内視鏡６の撮像素子１６における撮像速度よりも高速であるものとする。
【００８３】
以上に述べたように、本実施形態に係る画像処理装置４（を有して構成される生体観測システム１）は、挿入部１１の挿入時に取得した、病変部位が検出されたシーンの画像及び情報を、挿入部１１の抜去時に（またはそれ以前のタイミングにおいて）表示パネル２８に表示させることが可能な構成を有している。これにより、本実施形態に係る画像処理装置４（を有して構成される生体観測システム１）は、内視鏡を用いた観察の効率を従来に比べて向上させることができる。そして、前述した効果は、内視鏡の挿入及び抜去を別々の人間が行うような観察手法を用いる際に、特に顕著に表れる。
【００８４】
また、本実施形態に係る画像処理装置４（を有して構成される生体観測システム１）は、例えば、所望の部位の近傍において内視鏡を往復させながら観察を行う場合にも、前述した効果を発揮することができる。
【００８５】
なお、本実施形態に係る画像処理装置４（を有して構成される生体観測システム１）は、病変部位を検出する際に、ポリープ等の隆起形状を有する病変部位を画像処理により検出可能な構成を具備したものに限らず、例えば、内視鏡６の操作者が病変部位を検出したタイミングに応じて図示しない病変検出ボタン等を押下することにより、該病変部位の存在をＣＰＵ３１に対して認識させるための指示を行うことが可能な構成を具備するものであっても良い。
【００８６】
また、本発明は、上述した実施形態に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更や応用が可能であることは勿論である。
【図面の簡単な説明】
【００８７】
【図１】本発明の実施形態に係る画像処理装置が用いられる生体観測システムの要部の構成の一例を示す図。
【図２】図１の内視鏡挿入状態検出装置において検出される、図１の内視鏡の挿入部に設けられたソースコイルの座標を示す図。
【図３】隆起形状を有する病変部位の検出の際に、図１の画像処理装置が行う処理の一部を示すフローチャート。
【図４】隆起形状を有する病変部位の検出の際に、図１の画像処理装置が図３の処理に引き続いて行う処理を示すフローチャート。
【図５】図１の画像処理装置により推定された三次元モデルの一例を示す図。
【図６】図５の三次元モデルにおいて、隆起形状を有する病変部位を検出するための処理の対象となるボクセル群が存在する領域の一例を示す図。
【図７】病変部位が検出された際に、図１の画像処理装置が有する表示パネルに表示される画像等の一例を示す図。
【図８】図１の画像処理装置が有する表示パネルに表示される内視鏡画像の表示方法の一例を示す図。
【図９】図１の画像処理装置が有する表示パネルに表示される内視鏡画像の表示方法の、図８とは異なる例を示す図。
【符号の説明】
【００８８】
１・・・生体観測システム、２・・・内視鏡装置、３・・・内視鏡挿入状態検出装置、４・・・画像処理装置、６・・・内視鏡、８・・・ビデオプロセッサ、２１・・・挿入状態解析装置、２５・・・ＰＣ、２８・・・表示パネル、１０１・・・挿入状態情報、１０２・・・挿入形状画像、１０３・・・内視鏡画像
【特許請求の範囲】
【請求項１】
被検体内に挿入された内視鏡において経時的に撮像された被写体の像に応じた画像を取得する画像取得部と、
前記画像を取得する毎に前記画像内の病変部位を検出する病変部位検出部と、
前記画像を表示する表示部と、
前記病変部位検出部の検出結果に基づき、前記画像取得部が取得した画像のうち、前記病変部位検出部により病変部位が検出された画像である病変部位画像を少なくとも含む複数の画像の表示状態を制御する画像表示制御部と、
を有することを特徴とする内視鏡画像処理装置。
【請求項２】
前記画像表示制御部は、前記画像取得部が前記病変部位画像を取得したタイミングの前後における所定の期間分の画像を前記表示部に表示させる制御を行うことを特徴とする請求項１に記載の内視鏡画像処理装置。
【請求項３】
前記画像表示制御部は、前記画像取得部が取得した、前記内視鏡の挿入開始時の画像から挿入完了時の画像までの複数の画像からなる、時間的に順方向の一連の画像のうち、前記病変部位画像を静止画像として表示させるとともに、前記病変部位画像以外の画像を動画像として再生させる制御を行うことを特徴とする請求項１に記載の内視鏡画像処理装置。
【請求項４】
前記画像表示制御部は、前記病変部位画像以外の画像を動画像として、前記内視鏡の撮像速度よりも高速に再生させる制御を行うことを特徴とする請求項３に記載の内視鏡画像処理装置。
【請求項５】
前記画像表示制御部は、前記画像取得部が取得した、前記内視鏡の挿入完了時の画像から挿入開始時の画像までの複数の画像からなる、時間的に逆方向の一連の画像のうち、前記病変部位画像を静止画像として表示させるとともに、前記病変部位画像以外の画像を動画像として逆再生させる制御を行うことを特徴とする請求項１に記載の内視鏡画像処理装置。
【請求項６】
前記画像表示制御部は、前記病変部位画像以外の画像を動画像として、前記内視鏡の撮像速度よりも高速に逆再生させる制御を行うことを特徴とする請求項５に記載の内視鏡画像処理装置。
【請求項７】
前記画像表示制御部は、前記画像取得部が取得した、前記内視鏡の挿入開始時の画像から挿入完了時の画像までの複数の画像からなる一連の画像のうち、前記病変部位画像と、前記病変部位画像に対して時間的に前及び／または後の所定の枚数の画像と、を動画像として再生させる制御を行うことを特徴とする請求項１に記載の内視鏡画像処理装置。
【請求項８】
前記画像表示制御部は、前記画像取得部が取得した、前記内視鏡の挿入開始時の画像から挿入完了時の画像までの複数の画像からなる一連の画像のうち、前記病変部位画像と、前記病変部位画像に対して時間的に前及び／または後の所定の枚数の画像と、を動画像として逆再生させる制御を行うことを特徴とする請求項１に記載の内視鏡画像処理装置。
【請求項９】
さらに、前記被検体内に挿入された内視鏡の挿入状態を示す挿入状態データを内視鏡挿入状態検出装置から取得するとともに、前記画像取得部が前記病変部位画像を取得したタイミングにおける該挿入状態データに応じた前記内視鏡の挿入状態に関する情報を、前記病変部位画像に併せて前記表示部に出力する挿入状態情報取得部を有することを特徴とする請求項１乃至請求項８のいずれか一に記載の内視鏡画像処理装置。
【請求項１０】
前記内視鏡の挿入状態に関する情報は、前記内視鏡の挿入長、前記内視鏡が挿入されてからの経過時間、及び、前記内視鏡の挿入形状のうちの少なくとも一を含むことを特徴とする請求項９に記載の内視鏡画像処理装置。
【請求項１】
被検体内に挿入された内視鏡において経時的に撮像された被写体の像に応じた画像を取得する画像取得部と、
前記画像を取得する毎に前記画像内の病変部位を検出する病変部位検出部と、
前記画像を表示する表示部と、
前記病変部位検出部の検出結果に基づき、前記画像取得部が取得した画像のうち、前記病変部位検出部により病変部位が検出された画像である病変部位画像を少なくとも含む複数の画像の表示状態を制御する画像表示制御部と、
を有することを特徴とする内視鏡画像処理装置。
【請求項２】
前記画像表示制御部は、前記画像取得部が前記病変部位画像を取得したタイミングの前後における所定の期間分の画像を前記表示部に表示させる制御を行うことを特徴とする請求項１に記載の内視鏡画像処理装置。
【請求項３】
前記画像表示制御部は、前記画像取得部が取得した、前記内視鏡の挿入開始時の画像から挿入完了時の画像までの複数の画像からなる、時間的に順方向の一連の画像のうち、前記病変部位画像を静止画像として表示させるとともに、前記病変部位画像以外の画像を動画像として再生させる制御を行うことを特徴とする請求項１に記載の内視鏡画像処理装置。
【請求項４】
前記画像表示制御部は、前記病変部位画像以外の画像を動画像として、前記内視鏡の撮像速度よりも高速に再生させる制御を行うことを特徴とする請求項３に記載の内視鏡画像処理装置。
【請求項５】
前記画像表示制御部は、前記画像取得部が取得した、前記内視鏡の挿入完了時の画像から挿入開始時の画像までの複数の画像からなる、時間的に逆方向の一連の画像のうち、前記病変部位画像を静止画像として表示させるとともに、前記病変部位画像以外の画像を動画像として逆再生させる制御を行うことを特徴とする請求項１に記載の内視鏡画像処理装置。
【請求項６】
前記画像表示制御部は、前記病変部位画像以外の画像を動画像として、前記内視鏡の撮像速度よりも高速に逆再生させる制御を行うことを特徴とする請求項５に記載の内視鏡画像処理装置。
【請求項７】
前記画像表示制御部は、前記画像取得部が取得した、前記内視鏡の挿入開始時の画像から挿入完了時の画像までの複数の画像からなる一連の画像のうち、前記病変部位画像と、前記病変部位画像に対して時間的に前及び／または後の所定の枚数の画像と、を動画像として再生させる制御を行うことを特徴とする請求項１に記載の内視鏡画像処理装置。
【請求項８】
前記画像表示制御部は、前記画像取得部が取得した、前記内視鏡の挿入開始時の画像から挿入完了時の画像までの複数の画像からなる一連の画像のうち、前記病変部位画像と、前記病変部位画像に対して時間的に前及び／または後の所定の枚数の画像と、を動画像として逆再生させる制御を行うことを特徴とする請求項１に記載の内視鏡画像処理装置。
【請求項９】
さらに、前記被検体内に挿入された内視鏡の挿入状態を示す挿入状態データを内視鏡挿入状態検出装置から取得するとともに、前記画像取得部が前記病変部位画像を取得したタイミングにおける該挿入状態データに応じた前記内視鏡の挿入状態に関する情報を、前記病変部位画像に併せて前記表示部に出力する挿入状態情報取得部を有することを特徴とする請求項１乃至請求項８のいずれか一に記載の内視鏡画像処理装置。
【請求項１０】
前記内視鏡の挿入状態に関する情報は、前記内視鏡の挿入長、前記内視鏡が挿入されてからの経過時間、及び、前記内視鏡の挿入形状のうちの少なくとも一を含むことを特徴とする請求項９に記載の内視鏡画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２００８−３０１９６８（Ｐ２００８−３０１９６８Ａ）
【公開日】平成２０年１２月１８日（２００８．１２．１８）
【国際特許分類】
【出願番号】特願２００７−１５０９２１（Ｐ２００７−１５０９２１）
【出願日】平成１９年６月６日（２００７．６．６）
【出願人】（３０４０５０９２３）オリンパスメディカルシステムズ株式会社 (1,905)
【Ｆターム（参考）】
【公開日】平成２０年１２月１８日（２００８．１２．１８）
【国際特許分類】
【出願日】平成１９年６月６日（２００７．６．６）
【出願人】（３０４０５０９２３）オリンパスメディカルシステムズ株式会社 (1,905)
【Ｆターム（参考）】
[ Back to top ]