内視鏡システム
【課題】内視鏡システムの状態に応じて初期化動作または継続動作を選択することができる内視鏡システムを提供する。
【解決手段】故障検出部201は、撮像画像と、画像処理部200の処理結果の画像とを比較した結果に基づいて画像処理部200の故障を検出し、故障の状態を示す故障状態信号を出力する。システム状態検出部202は、内視鏡システムの状態を示すシステム情報に基づいて、内視鏡システムが体腔内での検査中であるか否かを判定し、判定結果を示すシステム状態信号を出力する。故障処理部203は、故障状態信号およびシステム状態信号に基づいて、画像処理部200におけるプログラマブル集積回路を初期化するか否かを判定し、判定結果を示す制御信号を出力する。画像処理部200は、制御信号に基づいて、プログラマブル集積回路を初期化する初期化動作、またはプログラマブル集積回路を初期化せずに動作を継続する継続動作を行う。
【解決手段】故障検出部201は、撮像画像と、画像処理部200の処理結果の画像とを比較した結果に基づいて画像処理部200の故障を検出し、故障の状態を示す故障状態信号を出力する。システム状態検出部202は、内視鏡システムの状態を示すシステム情報に基づいて、内視鏡システムが体腔内での検査中であるか否かを判定し、判定結果を示すシステム状態信号を出力する。故障処理部203は、故障状態信号およびシステム状態信号に基づいて、画像処理部200におけるプログラマブル集積回路を初期化するか否かを判定し、判定結果を示す制御信号を出力する。画像処理部200は、制御信号に基づいて、プログラマブル集積回路を初期化する初期化動作、またはプログラマブル集積回路を初期化せずに動作を継続する継続動作を行う。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、CCD等の撮像素子により体腔内の部位の撮像を行い、得られた画像に対して画像処理を行い、表示や記録を行うための内視鏡システムに関する。
【背景技術】
【0002】
内視鏡システム(内視鏡装置)では、内視鏡スコープ内の撮像素子により体腔内を撮像し、得られた撮像画像に対して、画像プロセッサ装置に内蔵された画像処理部により、ノイズ軽減,色補正,色強調,輪郭強調等の各種画像処理を行い、診断に適した画像を生成し、その表示や記録を行う。一般に、これらの画像処理部はFPGA(Field Programmable Gate Array)等のプログラマブル集積回路により実現される。FPGAは、電源投入時に基板上の回路情報用ROMから回路情報を読み出して内部のSRAMに蓄え、この回路情報に基づき内部の配線スイッチを切り替えることにより所望の回路を実現するものである。
【0003】
しかし、SRAM内の情報によりFPGAの回路構成が変化するため、例えば外部から混入するノイズ等の外的要因によりSRAM内の回路情報が変化して回路構成も変化し、正常な画像を出力できなくなる場合がある。このような場合に、正常な状態へ復帰する方法として、以下の方法が提案されている(例えば特許文献1参照)。図15は、特許文献1に記載されているプロセッサ装置の構成を示す。この例では、撮像画像は検出データ付加回路1500に入力される。検出データ付加回路1500は、入力された撮像画像に既知の検出データを付加し、検出データ付加画像として出力する。この検出データ付加画像は、FPGAにより構成される画像処理回路1501に入力される。
【0004】
画像処理回路1501は、検出データ付加画像に各種画像処理を施し、表示画像として出力する。表示画像は外部の表示装置に出力されると共に判定回路1502に入力される。判定回路1502は、表示画像に付加されている検出データが既知の値と一致するか否かを判定し、判定結果を示す判定結果信号を出力する。判定結果信号が「一致」を示す場合には初期化回路1503は動作せず、画像処理回路1501はそのまま動作する(継続動作)。また、判定結果信号が「不一致」を示す場合には初期化回路1503が動作し、画像処理回路1501に初期化信号を出力する。画像処理回路1501は初期化信号を受け取ると、再度回路情報用ROM1504から回路情報を読み出し、正常な状態へ復帰する(初期化動作)。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2009−225851号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
内視鏡システムでは、体腔内での内視鏡検査中に画像表示が停止してしまうと、操作者が挿入部の向きや屈曲状況を確認できなくなり、挿入部を操作し、体腔内から引き抜くことが困難になる。一方、従来技術では、画像処理結果に異常が検出された場合に画像処理回路の初期化を行うが、初期化中は画像処理部の動作が停止するため、画像が表示されなくなり、上記操作等を行うことができなくなる。従来技術ではこのような観点について考慮されていない。
【0007】
本発明は、この観点に着目し、例えば体腔内での検査中に異常が検出された場合でもできる限り継続して画像の出力を確保し、例えば体腔内での検査中でない場合や画像出力に支障をきたすような異常が発生している場合には初期化を行い正常状態に戻すことを可能とするため、内視鏡システムの状態に応じて初期化動作または継続動作を選択することができる内視鏡システムを提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明は、上記の課題を解決するためになされたもので、体腔内の部位を照明するための照明光を発生する光源部と、前記照明光により照明された体腔内の部位を撮像素子により撮像し撮像画像を得る撮像部と、前記撮像画像に所定の処理を行い、処理後の画像を表示部に出力するプログラマブル集積回路により構成される画像処理部とを有する内視鏡システムであって、前記撮像部からの前記撮像画像と、前記画像処理部で処理された処理結果の画像とを比較した結果に基づいて前記画像処理部の故障を検出し、故障の状態を示す故障状態信号を出力する故障検出部と、内視鏡システムの状態を示すシステム情報に基づいて、内視鏡システムが体腔内での検査中であるか否かを判定し、判定結果を示すシステム状態信号を出力するシステム状態検出部と、前記故障状態信号および前記システム状態信号に基づいて、前記画像処理部における前記プログラマブル集積回路を初期化するか否かを判定し、判定結果を示す制御信号を出力する故障処理部とを有し、前記画像処理部は、前記制御信号に基づいて、前記プログラマブル集積回路を初期化する初期化動作、または前記プログラマブル集積回路を初期化せずに動作を継続する継続動作を行うことを特徴とする内視鏡システムである。
【0009】
また、本発明の内視鏡システムにおいて、前記故障検出部は、前記画像処理部が行う前記所定の処理と同等の処理を前記撮像画像に行い変換画像として出力する撮像画像変換部と、前記変換画像と前記処理結果画像とを比較し、比較結果を前記故障状態信号として出力する画像比較部と、を有することを特徴とする。
【0010】
また、本発明の内視鏡システムにおいて、前記撮像画像変換部はCPUにより構成され、前記CPUはソフトウェアに基づく処理により前記所定の処理と同等の処理を行い、前記画像比較部は、前記撮像画像変換部によって処理された前記変換画像に対応する前記処理結果画像を記憶する記憶部を更に有し、前記撮像画像変換部による処理の完了後に前記変換画像と、前記記憶部に記憶された前記処理結果画像とを比較することを特徴とする。
【0011】
また、本発明の内視鏡システムにおいて、前記故障検出部は、前記撮像画像の特徴量を算出し第1の特徴量として出力する第1の特徴量検出部と、前記処理結果の画像の特徴量を算出し第2の特徴量として出力する第2の特徴量検出部と、前記第1の特徴量と前記第2の特徴量とを比較し、比較結果を前記故障状態信号として出力する特徴量比較部とを有することを特徴とする。
【0012】
また、本発明の内視鏡システムにおいて、前記システム状態検出部は、前記撮像画像の特徴量を算出し、算出した特徴量に基づいて内視鏡システムが体腔内での検査中であるか否かを判定し、判定結果を示す第1の体腔内検出信号を出力する第1の体腔内検出部を有することを特徴とする。
【0013】
また、本発明の内視鏡システムにおいて、前記画像処理部は、前記撮像画像から輝度レベルを算出する輝度レベル算出部と、前記輝度レベルを所定の目標レベルと比較し、比較結果に基づいて発光量を演算し、発光量を示す発光量情報を出力する発光量演算部とを更に有し、前記光源部は、前記発光量情報に基づいて前記発光量を制御し、前記システム状態検出部は、前記発光量情報が示す発光量が所定の範囲内にあるか否かを判定し、判定結果を第2の体腔内検出信号として出力する第2の体腔内検出部を有することを特徴とする。
【0014】
また、本発明の内視鏡システムは、操作者が診断機能に係る設定のために行う操作を受け付け、操作結果を示す操作情報を出力する操作部と、前記操作情報に基づいて前記診断機能に係る設定を行う設定部とを更に有し、前記システム状態検出部は、前記操作情報に基づいて前記診断機能の設定の有無を検出し、第3の体腔内検出信号として出力する第3の体腔内検出部を有することを特徴とする。
【0015】
また、本発明の内視鏡システムにおいて、前記システム状態検出部は、前記撮像画像の特徴量を算出し、算出した特徴量に基づいて内視鏡システムが体腔内での検査中であるか否かを判定し、判定結果を示す第1の体腔内検出信号を出力する第1の体腔内検出部、発光量情報が示す発光量が所定の範囲内にあるか否かを判定し、判定結果を第2の体腔内検出信号として出力する第2の体腔内検出部、操作者が診断機能に係る設定のために行う操作の結果を示す操作情報に基づいて前記診断機能の設定の有無を検出し、第3の体腔内検出信号として出力する第3の体腔内検出部のうち少なくとも2つの体腔内検出部と、前記第1の体腔内検出信号に基づいて体腔内での検査中であると判定される場合、または前記第2の体腔内検出信号に基づいて前記発光量が前記所定の範囲内であると判定される場合、または前記第3の体腔内検出信号に基づいて前記診断機能が設定されていると判定される場合、体腔内での検査中であることを示す前記システム状態信号を出力するシステム状態判定部とを有し、前記システム状態検出部が前記第2の体腔内検出部を有する場合、前記画像処理部は、前記撮像画像から輝度レベルを算出する輝度レベル算出部と、前記輝度レベルを所定の目標レベルと比較し、比較結果に基づいて発光量を演算し、発光量を示す前記発光量情報を出力する発光量演算部とを更に有し、前記光源部は、前記発光量情報に基づいて前記発光量を制御し、前記システム状態検出部が前記第3の体腔内検出部を有する場合、操作者が診断機能に係る設定のために行う操作を受け付け、操作結果を示す前記操作情報を出力する操作部と、前記操作情報に基づいて前記診断機能に係る設定を行う設定部とを更に有することを特徴とする。
【0016】
また、本発明の内視鏡システムにおいて、前記第1の体腔内検出信号に基づいて体腔内での検査中であると判定される場合、または前記第2の体腔内検出信号に基づいて前記発光量が前記所定の範囲内であると判定される場合、または前記第3の体腔内検出信号に基づいて前記診断機能が設定されていると判定される場合、前記システム状態判定部は体腔内での検査中であることを示す前記システム状態信号を出力し、前記故障状態信号が所定レベル未満の故障の発生を示し、前記システム状態信号が体腔内の検査中であることを示す場合、前記故障処理部は前記画像処理部における前記プログラマブル集積回路を初期化しないと判定することを特徴とする。
【0017】
また、本発明の内視鏡システムにおいて、前記第1の体腔内検出信号に基づいて体腔内での検査中でないと判定される場合、かつ前記第2の体腔内検出信号に基づいて前記発光量が前記所定の範囲外であると判定される場合、かつ前記第3の体腔内検出信号に基づいて前記診断機能が設定されていないと判定される場合、前記システム状態判定部は体腔内での検査中でないことを示す前記システム状態信号を出力し、前記故障状態信号が故障の発生を示し、前記システム状態信号が体腔内の検査中でないことを示す場合、前記故障処理部は前記画像処理部における前記プログラマブル集積回路を初期化すると判定することを特徴とする。
【発明の効果】
【0018】
本発明によれば、撮像部からの撮像画像と、画像処理部で処理された処理結果の画像とを比較した結果に基づいて検出した故障の状態と、システム情報に基づいて内視鏡システムが体腔内での検査中であるか否かを判定した結果とに基づいて、画像処理部におけるプログラマブル集積回路を初期化するか否かを判定することによって、内視鏡システムの状態に応じて初期化動作または継続動作を選択することができる。
【図面の簡単な説明】
【0019】
【図1】本発明の第1の実施形態による内視鏡システムの構成を示すブロック図である。
【図2】本発明の第1の実施形態による内視鏡システムが有する画像処理プロセッサ装置の構成を示すブロック図である。
【図3】本発明の第1の実施形態による内視鏡システムが有する故障処理部の動作の手順を示すフローチャートである。
【図4】本発明の第1の実施形態による内視鏡システムが有する故障検出部の構成を示すブロック図である。
【図5】本発明の第1の実施形態による内視鏡システムが有するリファレンス画像生成部の構成を示すブロック図である。
【図6】本発明の第1の実施形態による内視鏡システムが有するリファレンス画像生成部と故障検出部の動作を示すタイミングチャートである。
【図7】本発明の第1の実施形態による内視鏡システムが有するシステム状態検出部の構成を示すブロック図である。
【図8】本発明の第1の実施形態による内視鏡システムの状態遷移図である。
【図9】本発明の第1の実施形態による内視鏡システムが有する画像処理部の構成を示すブロック図である。
【図10】本発明の第1の実施形態による内視鏡システムが有する調光部の構成を示すブロック図である。
【図11】本発明の第2の実施形態による内視鏡システムが有する故障検出部の構成を示すブロック図である。
【図12】本発明の第2の実施形態による内視鏡システムが有する入力画像特徴量検出部の構成を示すブロック図である。
【図13】本発明の第2の実施形態において、低域通過フィルタ・高域通過フィルタのそれぞれを通した画像を示す参考図である。
【図14】本発明の第2の実施形態による内視鏡システムが有する特徴量比較部の構成を示すブロック図である。
【図15】従来のプロセッサ装置の構成を示すブロック図である。
【発明を実施するための形態】
【0020】
以下、図面を参照し、本発明の実施形態を説明する。
【0021】
(第1の実施形態)
まず、本発明の第1の実施形態を説明する。図1は、本実施形態による内視鏡システム(内視鏡装置)の概略構成を示している。本実施形態の内視鏡システムは、内視鏡スコープ100、光源装置101、画像処理プロセッサ装置102、表示装置103、記録装置104、操作部105、システムコントローラ106を有する。
【0022】
内視鏡スコープ100は、照明光により照明された体腔内の部位を撮像素子により撮像し撮像画像を得る撮像部107を内蔵しており、体腔内に挿入される部分である。光源装置101は、体腔内の部位を照明するための照明光を発生し、内視鏡スコープ100に照明光を出力する。この時、光源装置101は、画像処理プロセッサ装置102から出力される発光量情報に比例した光量となるような照明光を発生する。具体的には、光源装置101は、発光量情報に比例した絞り量、発光時間、または発光レベルで照明光を生成する。
【0023】
画像処理プロセッサ装置102は、内視鏡スコープ100からの撮像画像に対して各種画像処理を施し、処理後の画像を表示画像として表示装置103に出力すると共に、記録画像として記録装置104に出力する。表示装置103は、画像処理プロセッサ装置102から出力される表示画像を表示する。記録装置104は、画像処理プロセッサ装置102から出力される記録画像を媒体に記録する。操作部105は、操作者が内視鏡システムの各種操作を行うための操作部材を有し、診断機能に係る設定のために行う操作等を受け付け、操作結果に基づく操作情報をシステムコントローラ106に出力する。システムコントローラ106は、操作部105からの操作情報に従い、診断機能に係る各種設定を行うと共に、内視鏡システム内の各部を制御する。
【0024】
次に、内視鏡システムの概略動作を説明する。内視鏡スコープ100は光源装置101からの照明光を導光し、体腔内の部位を照明する。また、内視鏡スコープ100に内蔵されている撮像部107は対象部位を撮像し、撮像画像を出力する。撮像画像は画像処理プロセッサ装置102に入力され、ノイズ軽減,色補正,色強調,輪郭強調等の各種の画像処理が行われる。このような画像処理が施された後、処理後の画像は表示・記録画像として表示装置103や記録装置104に出力される。システムコントローラ106は、操作者が所望する診断画像を得るため、例えば画像処理プロセッサ装置102の画像処理パラメータの変更を行う。
【0025】
次に、画像処理プロセッサ装置102の構成を説明する。図2は画像処理プロセッサ装置102の構成を示している。画像処理プロセッサ装置102は、各種の画像処理を行う画像処理部200と、故障発生時に対応する機能を実現するための故障検出部201,システム状態検出部202,故障処理部203と、回路情報を格納した回路情報ROM204とを有する。画像処理部200は、FPGA等のプログラマブル集積回路により構成されており、回路情報ROM204に格納されている回路情報に基づいて初期化を行うことが可能である。
【0026】
故障検出部201は、画像処理部200の故障の有無およびそのレベルを検出する。より具体的には、故障検出部201は、画像処理部200の入力画像すなわち撮像画像と、画像処理部200の出力画像すなわち表示・記録画像とを比較して、画像処理部200における故障の有無を検出し、故障検出信号として出力する。更に、故障検出部201は、撮像画像と表示・記録画像との差分に基づく故障の度合いを故障レベル信号として出力する。これらの故障検出信号および故障レベル信号が、故障の状態を示す故障状態信号に対応する。
【0027】
システム状態検出部202には、内視鏡システムの状態を示すシステム情報がシステムコントローラ106から入力され、発光量情報が画像処理部200から入力される。システム状態検出部202は、これらの情報に基づいて、内視鏡システムが体腔内での検査中の状態であるか否かを判定し、判定結果を示すシステム状態信号を出力する。
【0028】
故障処理部203は、故障検出部201からの故障検出信号および故障レベル信号と、システム状態検出部202からのシステム状態信号とに基づいて、プログラマブル集積回路で構成される画像処理部200を初期化するか否かを判定し、判定結果に基づいて、画像処理部200を制御するための画像処理部制御信号を出力する。また、故障処理部203は、故障を検出した場合に故障有り信号をシステムコントローラ106に出力する。システムコントローラ106は、故障有り信号が入力された場合、すなわち故障が発生した場合に、OSD(On Screen Display)による表示装置103上の文字表示や、BEEP音の発生、操作盤上のLEDやLCD等の制御により故障発生を通知する。故障検出部201およびシステム状態検出部202の詳細については後述する。
【0029】
次に、故障処理部203の動作を説明する。図3は故障処理部203の動作を示している。まず、故障処理部203は、故障検出部201からの故障検出信号に基づいて故障の有無を判定する(ステップS300)。故障検出信号が「無効」を示す場合、故障処理部203は故障がないと判定し、画像処理部制御信号を「動作継続」とする(ステップS301)。この時、画像処理部200は初期化せずに動作を継続し、画像を出力する(継続動作)。
【0030】
故障検出信号が「有効」を示す場合、故障処理部203は故障があると判定し、故障検出部201からの故障レベル信号の値を所定の閾値と比較する(ステップS302)。故障レベル信号の値が所定の閾値以上である、すなわち故障のレベルが、表示装置103の表示画像を画像として認識するのが困難なレベルである場合、故障処理部203は画像処理部制御信号を「初期化」とする(ステップS303)。この時、画像処理部200は、回路情報ROM204から回路情報を読み出して再度回路を構築し、正常な状態に回復する(初期化動作)。
【0031】
故障レベル信号の値が所定の閾値未満である、すなわち故障のレベルが、表示装置103の表示画像を画像として認識することが可能なレベルである場合、故障処理部203は、システム状態検出部202からのシステム状態信号に基づいてシステム状態を判定する(ステップS304)。システム状態信号が「検査中」を示す場合、すなわち内視鏡スコープが体腔内にある可能性が高い場合には、故障処理部203は画像処理部制御信号を「動作継続」とする(ステップS305)。この時、画像処理部200は動作を継続し、画像出力を確保する(継続動作)。
【0032】
システム状態信号が「非検査中」を示す場合、故障処理部203は、前述の動作と同様に画像処理部制御信号を「初期化」とする(ステップS306)。この時、画像処理部200は初期化を行う(初期化動作)。以上により、検査中、すなわち内視鏡スコープ100が体腔内にある状態で低レベルの故障が発生した場合には操作者が操作を続行することができるように画像出力を確保し、また、画像を視認できない高レベルの故障や非検査時の故障が発生した場合には回路の初期化を行い、迅速な正常状態への回復を図っている。
【0033】
次に、故障検出部201の構成を説明する。図4は故障検出部201の構成を示している。故障検出部201は、リファレンス画像生成部400、遅延出力画像フレームメモリ401、遅延出力画像メモリコントローラ402、遅延出力画像比較部403、遅延出力画像相関値演算部404を有する。
【0034】
リファレンス画像生成部400は、画像処理部200の入力画像である撮像画像に対して、画像処理部200が行う画像処理と同等の処理を行ってリファレンス画像(変換画像)を生成する。遅延出力画像フレームメモリ401は、画像処理部200の出力画像である表示・記録画像を遅延出力画像として蓄える。遅延出力画像メモリコントローラ402は、遅延出力画像フレームメモリ401に対するデータの書き込み・読み出しを制御する。
【0035】
遅延出力画像比較部403は、リファレンス画像と、遅延出力画像フレームメモリ401に蓄えられた遅延出力画像とを比較し、比較結果を故障検出信号として出力する。より具体的には、遅延出力画像比較部403は、リファレンス画像と遅延出力画像の全画素(または一定の割合で間引いた画素)について、同一座標の画素単位でデータの比較を行う。両画像間でデータが異なる画素が1つもなかった場合、遅延出力画像比較部403は比較結果を「一致」とする。また、両画像間でデータが異なる画素が1つでもあった場合、遅延出力画像比較部403は比較結果を「不一致」とする。
【0036】
遅延出力画像相関値演算部404は、リファレンス画像と、遅延出力画像フレームメモリ401に蓄えられた遅延出力画像との相関値を算出し、相関値に基づく故障レベル信号を出力する。より具体的には、遅延出力画像相関値演算部404は、リファレンス画像と遅延出力画像の全画素(または一定の割合で間引いた画素)について、同一座標の画素単位でデータの差分や比を算出する。また、遅延出力画像相関値演算部404は、データの差分や比を算出した全画素についてデータの差分の絶対値や比を積算し、その結果を画像全体の相関値とする。
【0037】
次に、リファレンス画像生成部400の構成を説明する。図5はリファレンス画像生成部400の構成を示している。リファレンス画像生成部400は、入力画像フレームメモリ500、CPU501、リファレンス画像フレームメモリ502、リファレンス画像メモリコントローラ503を有する。
【0038】
入力画像フレームメモリ500は、撮像画像である入力画像を蓄積する。CPU501は、入力画像フレームメモリ500から入力画像を読み出し、ソフトウェアに基づく処理により、画像処理部200が行う画像処理と同等の処理を入力画像に対して行い、リファレンス画像を生成する。また、CPU501は、入力画像を取り込むタイミングで取り込み信号を出力し、リファレンス画像フレームメモリ502へのリファレンス画像の格納が完了したタイミングで検査開始信号を出力する。リファレンス画像フレームメモリ502は、CPU501によって生成されたリファレンス画像を蓄積する。リファレンス画像メモリコントローラ503は、入力画像フレームメモリ500およびリファレンス画像フレームメモリ502に対するデータの書き込み・読み出しを制御する。
【0039】
次に、リファレンス画像生成部400および故障検出部201の動作を説明する。図6はリファレンス画像生成部400および故障検出部201の動作を示している。撮像画像は、図4および図5では図示していない垂直同期信号に同期してリファレンス画像生成部400に入力される。リファレンス画像メモリコントローラ503は数フレームに1回の割合で撮像画像を入力画像フレームメモリ500に取り込む。取り込まれた撮像画像は、CPU501により、画像処理部200が行う画像処理と同等の処理を施される。なお、処理時間はCPU501の処理能力により決定されるが、一般的に画像処理部200が画像処理を行う時間よりも処理時間は大きくなる。CPU501による処理結果の画像であるリファレンス画像はリファレンス画像フレームメモリ502に格納される。リファレンス画像メモリコントローラ503は、リファレンス画像の格納が完了した後、検査開始信号に同期したタイミングでリファレンス画像を出力する。
【0040】
以下の説明は、故障検出部201の動作に関する。リファレンス画像生成部400は、前述のように入力画像の取り込み時に取り込み信号を出力する。遅延出力画像メモリコントローラ402は、取り込み信号が入力されると、そのフレームの表示・記録画像を遅延出力画像フレームメモリ401に取り込む。続いて、リファレンス画像生成部400においてリファレンス画像の生成および格納が完了し、リファレンス画像の出力が開始される時点でリファレンス画像生成部400は検査開始信号を出力する。
【0041】
検査開始信号が遅延出力画像メモリコントローラ402に入力されると、遅延出力画像メモリコントローラ402は、リファレンス画像生成部400内のリファレンス画像フレームメモリ502からのリファレンス画像の読み出しに同期して、同一画像に対応する遅延出力画像の読み出しを開始する。遅延出力画像比較部403および遅延出力画像相関値演算部404は画像比較および相関値演算を実施する。遅延出力画像比較部403は、前述のように、リファレンス画像と遅延出力画像が一致するか否かを比較する。比較結果が「一致」である場合、遅延出力画像比較部403は、故障がないと判定し、故障検出信号を「無効」として出力する。また、比較結果が「不一致」である場合、遅延出力画像比較部403は、故障があると判定し、故障検出信号を「有効」として出力する。
【0042】
遅延出力画像相関値演算部404は、前述のように、リファレンス画像と遅延出力画像の相関値を算出する。遅延出力画像相関値演算部404は、算出された相関値を所定の閾値と比較し、相関値が閾値未満であれば、相関性が低い、すなわちリファレンス画像に対して遅延出力画像が著しく劣化していると判定し、故障レベル信号を「高」として出力する。逆に、相関値が閾値以上であれば、画像が類似している、すなわち視認可能なレベルであると判定し、故障レベル信号を「低」として出力する。
【0043】
以上により、数フレームに1回、CPU500による処理結果と画像処理部200による処理結果との比較が行われる。なお、CPU500はシステム内の他のCPU(例えばシステムコントローラ106内にCPUを使用する場合にはこのCPU)と兼用しても良い。また、各フレームメモリへ格納するデータは、全画素分を格納する必要は無く、例えば、間引き・切り出しなどを行い、その容量を削減することが可能である。
【0044】
次に、システム状態検出部202の構成を説明する。図7はシステム状態検出部202の構成を示している。システム状態検出部202は、診断機能設定判定部700、調光状態判定部701、体腔色判定部702、合焦判定部703、システム状態判定部704を有する。
【0045】
診断機能設定判定部700、調光状態判定部701、体腔色判定部702、合焦判定部703の各判定結果はシステム状態判定部704に入力される。各判定結果は、内視鏡スコープ100が体腔内に挿入されていることを決定する確実な情報ではないため、システム状態判定部704は、判定確度を上げるためにこれらの情報を組み合わせてシステム状態の判定(検査中であるか否か、言い換えると内視鏡スコープが体腔内にあるか否か)を行っている。
【0046】
図8は内視鏡システムの状態遷移を示している。「非検査中」から「検査中」への遷移は、例えば、診断操作が行われたこと、照明量が所定の制御範囲にあること、合焦状態にあること、体腔内色が検出されていることのいずれかが発生したときに行われる。また、照明量が最大になり、かつ、合焦から外れており、また、体腔内色が検出されていないことが所定の時間以上連続した場合には、「検査中」から「非検査中」への遷移が行われる。システム状態判定部704は、各判定部からの信号に基づいてシステム状態の判定を行い、上記の状態遷移と連動したシステム状態信号を出力する。
【0047】
次に、各判定部の動作について説明する。診断機能設定判定部700には、システムコントローラ106を介して操作情報が入力される。診断機能設定判定部700は、各種操作に基づく操作情報のうち、診断に関する操作、例えば画像上の血管や患部をより強調させる画像処理等を行う操作に関する情報を検出し、その情報に基づいて、診断機能に関する設定が行われているか否かを判定し、判定結果を診断機能設定判定信号(第3の体腔内検出信号)としてシステム状態判定部704に出力する。診断機能に関する設定が行われている場合、診断機能設定判定部700は診断機能設定判定信号を「診断機能設定」とし、診断機能に関する設定が行われていない場合、診断機能設定判定部700は診断機能設定判定信号を「診断機能非設定」とする。
【0048】
調光状態判定部701は、画像処理部200から光源装置101へ出力される発光量情報に基づいて、発光量情報が示す発光量が所定の範囲内にあるか否かを判定し、判定結果を調光状態判定信号(第2の体腔内検出信号)として出力する。以下では、画像処理部200内の発光量情報の生成について説明する。図9は画像処理部200の構成を示している。前述のように画像処理部200は、撮像画像に対し、ノイズ軽減、色補正、色強調、輪郭強調などの診断用画像を得るための各種処理を行う。また、それぞれの処理に対するパラメータはシステムコントローラ106から与えられる。画像処理部200は、ノイズ軽減処理部900、色補正部901、色強調部902、輪郭強調部903、調光部904を有する。
【0049】
ノイズ軽減処理部900は、撮像画像に対してノイズ軽減処理を行う。色補正部901は、撮像画像に対して色補正処理を行う。色強調部902は、撮像画像に対して色強調処理を行う。輪郭強調部903は、撮像画像に対して輪郭強調処理を行う。調光部904は、ノイズ軽減処理後の撮像画像から発光量情報を生成する。図10は調光部904の構成を示している。調光部904は輝度レベル算出部1000と発光量演算部1001を有する。
【0050】
輝度レベル算出部1000は、入力画像、すなわち撮像画像の輝度レベルを算出する。発光量演算部1001は、輝度レベルを所定の目標レベルと比較し、比較結果に基づいて、発光すべき発光量を演算し、発光量を示す発光量情報を出力する。この時、適正な発光量になるように発光量の制御を行う。すなわち、画像の輝度レベルが高い場合には発光量を減少させ、輝度レベルが低い場合には発光量を増大させる。
【0051】
システム状態検出部202内の調光状態判定部701は、調光部904から出力される発光量情報が制御範囲をはずれているか否かにより、内視鏡システムが体腔内での検査中であるか否かを判定する。内視鏡スコープ100が体内または近傍の被写体を撮影する場合には、発光量は制御範囲内にあるが、体外など撮像対象が遠位にある場合には照明光が撮像対象に届かないため、発光量は制御範囲をはずれ、最大照明量となる。したがって、調光状態判定部701は、発光量情報が示す発光量が、体腔内での発光量に相当する所定の範囲内にある場合に、調光状態判定信号を「体腔内」とし、発光量情報が示す発光量が所定の範囲外にある場合に、調光状態判定信号を「体腔外」とする。
【0052】
システム状態検出部202内の体腔色判定部702は、撮像画像の特徴量として各色成分を抽出し、各色成分に基づいて、内視鏡システムが体腔内での検査中であるか否かを判定し、判定結果を示す体腔色判定信号(第1の体腔内検出信号)を出力する。一般に知られている通り、体腔内の画像は赤系統が支配的である。このため、体腔色判定部702は、赤成分が所定の値以上である場合、体腔色判定信号を「体腔内」とし、赤成分が所定の値未満である場合、体腔色判定信号を「体腔外」とする。
【0053】
システム状態検出部202内の合焦判定部703は、撮像画像の特徴量として画像内の空間周波数成分を抽出し、空間周波数成分に基づいて、内視鏡システムが体腔内での検査中であるか否かを判定し、判定結果を示す体腔色判定信号(第1の体腔内検出信号)を出力する。被写体が遠位にある場合は合焦状態にないため、低周波成分が支配的になる。このため、合焦判定部703は、検出結果を所定の閾値と比較し、検出結果が閾値以上である場合、合焦状態すなわち体腔内にあると判定して合焦判定信号を「体腔内」とし、検出結果が閾値未満である場合、非合焦状態すなわち体腔外にあると判定して合焦判定信号を「体腔外」とする。
【0054】
なお、それぞれの判定部にタイマーやカウンタを設け、所定の状態が所定の時間以上続いたか、または所定の回数以上続いたかにより更にその判定の確度を上げることが望ましい。
【0055】
上述したように、本実施形態によれば、故障検出部201は、画像処理部200の故障の有無を示す故障検出信号とその故障の度合いを示す故障レベル信号とを出力する。また、システム状態検出部202は、内視鏡システムの操作者が体腔内での検査を行っている状態またはそれに類する状態を検出し、システム状態信号を出力する。故障処理部203は、故障検出信号と故障レベル信号とシステム状態信号とに基づいて故障の状態および内視鏡システムの状態を検出する。内視鏡システムが検査中であり、かつ故障レベルが低い場合には、故障処理部203は画像処理部200に対し初期化を行わずに動作を継続させて画像の出力を確保する。また、故障が発生しており、かつ故障レベルが高い、すなわち検査中であっても画像を視認できないレベルの故障が発生している場合や検査中でない場合には、故障処理部203は画像処理部200を初期化させ、迅速に正常な状態に復帰させることができる。このように、内視鏡システムの状態に応じて初期化動作または継続動作を選択することができる。
【0056】
また、リファレンス画像生成部400は、撮像画像に対して画像処理部200と同等の処理を行い、リファレンス画像を生成する。遅延出力画像比較部403および遅延出力画像相関値演算部404は、リファレンス画像と、画像処理部200によって処理された処理結果画像とを比較し、画像処理部200の故障の有無と故障のレベルを検出する。この時、画像の一部(表示されない部分等)について比較を行うのではなく、画像全体で比較を行うことにより、画像の空間方向の検出精度が上がるため、故障の有無およびレベルを精度良く検出することができる。
【0057】
また、リファレンス画像生成部400内のCPU501が、リファレンス画像を生成するための画像処理をソフトウェアにより行うため、専用の回路を設けることなく、所望の画像処理を実現することができる。また、画像処理部200によって処理された処理結果画像を一旦遅延出力画像フレームメモリ401に蓄え、上記リファレンス画像との比較を行うことにより、CPU501の処理による遅延に対応することができる。
【0058】
また、システム状態検出部202は、内視鏡システムが体腔内での検査中であるか否かに関連する複数の情報を組み合わせてシステム状態を判定することにより、システム状態判定の確度を向上させることができる。
【0059】
(第2の実施形態)
次に、本発明の第2の実施形態を説明する。第2の実施形態の基本的な構成は第1の実施形態と共通である。第2の実施形態では、画像処理プロセッサ装置102内の故障検出部201の構成が異なる。図11は本実施形態の故障検出部201の構成を示している。
【0060】
故障検出部201は、入力画像特徴量検出部1100、出力画像特徴量検出部1101、特徴量比較部1102を有する。入力画像特徴量検出部1100および出力画像特徴量検出部1101は、入力画像すなわち撮像画像と出力画像すなわち画像処理部200の処理結果画像から、所定の特徴量を検出する。特徴量比較部1102は、各特徴量検出部で検出された特徴量の差分を比較することにより、故障検出信号と故障レベル信号を生成する。
【0061】
本実施形態では特徴量として空間周波数成分が抽出され、その判定が行われる。図12は入力画像特徴量検出部1100の構成を示している。入力画像特徴量検出部1100は、高域通過フィルタ1200、低域通過フィルタ1201、高域成分抽出部1202、低域成分抽出部1203を有する。入力画像は、所定の周波数より高い空間周波数成分を通過させる高域通過フィルタ1200と、所定の周波数より低い空間周波数成分を通過させる低域通過フィルタ1201のそれぞれに入力される。更にこれらの出力は高域成分抽出部1202と低域成分抽出部1203に入力され、それぞれの成分(振幅等)が高域成分および低域成分として抽出される。出力画像特徴量検出部1101の構成も上記と同様である。
【0062】
図13は、低域通過フィルタを通した画像と、高域通過フィルタを通した画像との例を示している。図13(a)は、各フィルタに入力する前の画像であり、図13(b)は低域通過フィルタを通した画像であり、図13(c)は高域通過フィルタを通した画像である。このように、例えば画像処理部200に故障が発生し、低域の情報や高域の情報が欠落した場合、低域画像の情報が再現されていれば画像として視認可能であるが、低域の成分が再現されない場合(高域成分のみの場合)は視認が困難となる。
【0063】
図14は特徴量比較部1102の構成を示している。特徴量比較部1102は、高域差分比較部1400、低域差分比較部1401、故障判定部1402、故障レベル判定部1403を有する。高域差分比較部1400には、入力画像特徴量検出部1100で抽出された入力画像の高域成分と、出力画像特徴量検出部1101で抽出された出力画像の高域成分とが入力される。高域差分比較部1400は両者を比較し、両者の差分を算出する。低域差分比較部1401には、入力画像特徴量検出部1100で抽出された入力画像の低域成分と、出力画像特徴量検出部1101で抽出された出力画像の低域成分とが入力される。低域差分比較部1401は両者を比較し、両者の差分を算出する。
【0064】
故障判定部1402は、入力画像と出力画像のそれぞれについての高域成分の差分および低域成分の差分をそれぞれ所定の閾値と比較し、故障の有無を判定する。すなわち、高域成分と低域成分のいずれの差分も閾値未満であれば、入力画像と出力画像はほぼ一致すると考えられるため、故障判定部1402は故障検出信号を「無効」とする。また、いずれかまたは両方の差分が閾値以上である場合、故障判定部1402は故障検出信号を「有効」とする。
【0065】
故障レベル判定部1403は、低域差分比較部1401で算出された低域成分の差分に基づいて、故障レベルを判定する。前述のように低域の成分が再現されれば画像として視認可能であるので、低域の値の差分が閾値未満であれば、故障は画像を視認可能なレベルである。すなわち、故障レベル判定部1403は故障レベル信号を「低」とする。また、低域の値の差分が閾値以上であれば、故障レベル判定部1403は故障レベル信号を「高」とする。
【0066】
なお、画像処理部200において、輪郭強調処理等を施すことにより周波数成分が変化するため、例えば前述の高域通過フィルタ1200や低域通過フィルタ1201として、所定の帯域(周波数範囲)の成分のみを通過させる帯域通過フィルタを使用し、輪郭強調処理等の影響が少ない周波数成分を用いてより精度の高い判定を行うことも可能である。この場合、空間周波数の帯域や、高域差分比較部1400と低域差分比較部1401が用いる閾値を画像処理部200の処理パラメータ等により適応的に変更することが望ましい。
【0067】
上述したように、本実施形態によれば、体腔内での故障発生時にはできる限り画像出力を確保して操作を続行可能とし、画像が視認できない故障や非検査時の故障では画像処理部200の初期化を行い、迅速に正常状態への回復を図ることができる。また、入力画像特徴量検出部1100および出力画像特徴量検出部1101が入力画像および出力画像から所定の特徴量を検出し、特徴量比較部1102がこの特徴量を比較し、その差分に基づいて故障の有無およびレベルを検出することによって、検出を簡易に行うことができる。
【0068】
以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成は上記の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【符号の説明】
【0069】
100・・・内視鏡スコープ、101・・・光源装置、102・・・画像処理プロセッサ装置、103・・・表示装置、104・・・記録装置、105・・・操作部、106・・・システムコントローラ(設定部)、107・・・撮像部、200・・・画像処理部、201・・・故障検出部、202・・・システム状態検出部、203・・・故障処理部、204・・・回路情報ROM、400・・・リファレンス画像生成部(撮像画像変換部)、401・・・遅延出力画像フレームメモリ(記憶部)、402・・・遅延出力画像メモリコントローラ、403・・・遅延出力画像比較部(画像比較部)、404・・・遅延出力画像相関値演算部(画像比較部)、500・・・入力画像フレームメモリ、501・・・CPU、502・・・リファレンス画像フレームメモリ、503・・・リファレンス画像メモリコントローラ、700・・・診断機能設定判定部(第3の体腔内検出部)、701・・・調光状態判定部(第2の体腔内検出部)、702・・・体腔色判定部(第1の体腔内検出部)、703・・・合焦判定部、704・・・システム状態判定部、900・・・ノイズ軽減処理部、901・・・色補正部、902・・・色強調部、903・・・輪郭強調部、904・・・調光部、1000・・・輝度レベル算出部、1001・・・発光量演算部、1100・・・入力画像特徴量検出部(第1の特徴量検出部)、1101・・・出力画像特徴量検出部(第2の特徴量検出部)、1102・・・特徴量比較部、1100・・・入力画像特徴量検出部、1200・・・高域通過フィルタ、1201・・・低域通過フィルタ、1202・・・高域成分抽出部、1203・・・低域成分抽出部、1400・・・高域差分比較部、1401・・・低域差分比較部、1402・・・故障判定部、1403・・・故障レベル判定部、1500・・・検出データ付加回路、1501・・・画像処理回路、1502・・・判定回路、1503・・・初期化回路、1504・・・回路情報ROM
【技術分野】
【0001】
本発明は、CCD等の撮像素子により体腔内の部位の撮像を行い、得られた画像に対して画像処理を行い、表示や記録を行うための内視鏡システムに関する。
【背景技術】
【0002】
内視鏡システム(内視鏡装置)では、内視鏡スコープ内の撮像素子により体腔内を撮像し、得られた撮像画像に対して、画像プロセッサ装置に内蔵された画像処理部により、ノイズ軽減,色補正,色強調,輪郭強調等の各種画像処理を行い、診断に適した画像を生成し、その表示や記録を行う。一般に、これらの画像処理部はFPGA(Field Programmable Gate Array)等のプログラマブル集積回路により実現される。FPGAは、電源投入時に基板上の回路情報用ROMから回路情報を読み出して内部のSRAMに蓄え、この回路情報に基づき内部の配線スイッチを切り替えることにより所望の回路を実現するものである。
【0003】
しかし、SRAM内の情報によりFPGAの回路構成が変化するため、例えば外部から混入するノイズ等の外的要因によりSRAM内の回路情報が変化して回路構成も変化し、正常な画像を出力できなくなる場合がある。このような場合に、正常な状態へ復帰する方法として、以下の方法が提案されている(例えば特許文献1参照)。図15は、特許文献1に記載されているプロセッサ装置の構成を示す。この例では、撮像画像は検出データ付加回路1500に入力される。検出データ付加回路1500は、入力された撮像画像に既知の検出データを付加し、検出データ付加画像として出力する。この検出データ付加画像は、FPGAにより構成される画像処理回路1501に入力される。
【0004】
画像処理回路1501は、検出データ付加画像に各種画像処理を施し、表示画像として出力する。表示画像は外部の表示装置に出力されると共に判定回路1502に入力される。判定回路1502は、表示画像に付加されている検出データが既知の値と一致するか否かを判定し、判定結果を示す判定結果信号を出力する。判定結果信号が「一致」を示す場合には初期化回路1503は動作せず、画像処理回路1501はそのまま動作する(継続動作)。また、判定結果信号が「不一致」を示す場合には初期化回路1503が動作し、画像処理回路1501に初期化信号を出力する。画像処理回路1501は初期化信号を受け取ると、再度回路情報用ROM1504から回路情報を読み出し、正常な状態へ復帰する(初期化動作)。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2009−225851号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
内視鏡システムでは、体腔内での内視鏡検査中に画像表示が停止してしまうと、操作者が挿入部の向きや屈曲状況を確認できなくなり、挿入部を操作し、体腔内から引き抜くことが困難になる。一方、従来技術では、画像処理結果に異常が検出された場合に画像処理回路の初期化を行うが、初期化中は画像処理部の動作が停止するため、画像が表示されなくなり、上記操作等を行うことができなくなる。従来技術ではこのような観点について考慮されていない。
【0007】
本発明は、この観点に着目し、例えば体腔内での検査中に異常が検出された場合でもできる限り継続して画像の出力を確保し、例えば体腔内での検査中でない場合や画像出力に支障をきたすような異常が発生している場合には初期化を行い正常状態に戻すことを可能とするため、内視鏡システムの状態に応じて初期化動作または継続動作を選択することができる内視鏡システムを提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明は、上記の課題を解決するためになされたもので、体腔内の部位を照明するための照明光を発生する光源部と、前記照明光により照明された体腔内の部位を撮像素子により撮像し撮像画像を得る撮像部と、前記撮像画像に所定の処理を行い、処理後の画像を表示部に出力するプログラマブル集積回路により構成される画像処理部とを有する内視鏡システムであって、前記撮像部からの前記撮像画像と、前記画像処理部で処理された処理結果の画像とを比較した結果に基づいて前記画像処理部の故障を検出し、故障の状態を示す故障状態信号を出力する故障検出部と、内視鏡システムの状態を示すシステム情報に基づいて、内視鏡システムが体腔内での検査中であるか否かを判定し、判定結果を示すシステム状態信号を出力するシステム状態検出部と、前記故障状態信号および前記システム状態信号に基づいて、前記画像処理部における前記プログラマブル集積回路を初期化するか否かを判定し、判定結果を示す制御信号を出力する故障処理部とを有し、前記画像処理部は、前記制御信号に基づいて、前記プログラマブル集積回路を初期化する初期化動作、または前記プログラマブル集積回路を初期化せずに動作を継続する継続動作を行うことを特徴とする内視鏡システムである。
【0009】
また、本発明の内視鏡システムにおいて、前記故障検出部は、前記画像処理部が行う前記所定の処理と同等の処理を前記撮像画像に行い変換画像として出力する撮像画像変換部と、前記変換画像と前記処理結果画像とを比較し、比較結果を前記故障状態信号として出力する画像比較部と、を有することを特徴とする。
【0010】
また、本発明の内視鏡システムにおいて、前記撮像画像変換部はCPUにより構成され、前記CPUはソフトウェアに基づく処理により前記所定の処理と同等の処理を行い、前記画像比較部は、前記撮像画像変換部によって処理された前記変換画像に対応する前記処理結果画像を記憶する記憶部を更に有し、前記撮像画像変換部による処理の完了後に前記変換画像と、前記記憶部に記憶された前記処理結果画像とを比較することを特徴とする。
【0011】
また、本発明の内視鏡システムにおいて、前記故障検出部は、前記撮像画像の特徴量を算出し第1の特徴量として出力する第1の特徴量検出部と、前記処理結果の画像の特徴量を算出し第2の特徴量として出力する第2の特徴量検出部と、前記第1の特徴量と前記第2の特徴量とを比較し、比較結果を前記故障状態信号として出力する特徴量比較部とを有することを特徴とする。
【0012】
また、本発明の内視鏡システムにおいて、前記システム状態検出部は、前記撮像画像の特徴量を算出し、算出した特徴量に基づいて内視鏡システムが体腔内での検査中であるか否かを判定し、判定結果を示す第1の体腔内検出信号を出力する第1の体腔内検出部を有することを特徴とする。
【0013】
また、本発明の内視鏡システムにおいて、前記画像処理部は、前記撮像画像から輝度レベルを算出する輝度レベル算出部と、前記輝度レベルを所定の目標レベルと比較し、比較結果に基づいて発光量を演算し、発光量を示す発光量情報を出力する発光量演算部とを更に有し、前記光源部は、前記発光量情報に基づいて前記発光量を制御し、前記システム状態検出部は、前記発光量情報が示す発光量が所定の範囲内にあるか否かを判定し、判定結果を第2の体腔内検出信号として出力する第2の体腔内検出部を有することを特徴とする。
【0014】
また、本発明の内視鏡システムは、操作者が診断機能に係る設定のために行う操作を受け付け、操作結果を示す操作情報を出力する操作部と、前記操作情報に基づいて前記診断機能に係る設定を行う設定部とを更に有し、前記システム状態検出部は、前記操作情報に基づいて前記診断機能の設定の有無を検出し、第3の体腔内検出信号として出力する第3の体腔内検出部を有することを特徴とする。
【0015】
また、本発明の内視鏡システムにおいて、前記システム状態検出部は、前記撮像画像の特徴量を算出し、算出した特徴量に基づいて内視鏡システムが体腔内での検査中であるか否かを判定し、判定結果を示す第1の体腔内検出信号を出力する第1の体腔内検出部、発光量情報が示す発光量が所定の範囲内にあるか否かを判定し、判定結果を第2の体腔内検出信号として出力する第2の体腔内検出部、操作者が診断機能に係る設定のために行う操作の結果を示す操作情報に基づいて前記診断機能の設定の有無を検出し、第3の体腔内検出信号として出力する第3の体腔内検出部のうち少なくとも2つの体腔内検出部と、前記第1の体腔内検出信号に基づいて体腔内での検査中であると判定される場合、または前記第2の体腔内検出信号に基づいて前記発光量が前記所定の範囲内であると判定される場合、または前記第3の体腔内検出信号に基づいて前記診断機能が設定されていると判定される場合、体腔内での検査中であることを示す前記システム状態信号を出力するシステム状態判定部とを有し、前記システム状態検出部が前記第2の体腔内検出部を有する場合、前記画像処理部は、前記撮像画像から輝度レベルを算出する輝度レベル算出部と、前記輝度レベルを所定の目標レベルと比較し、比較結果に基づいて発光量を演算し、発光量を示す前記発光量情報を出力する発光量演算部とを更に有し、前記光源部は、前記発光量情報に基づいて前記発光量を制御し、前記システム状態検出部が前記第3の体腔内検出部を有する場合、操作者が診断機能に係る設定のために行う操作を受け付け、操作結果を示す前記操作情報を出力する操作部と、前記操作情報に基づいて前記診断機能に係る設定を行う設定部とを更に有することを特徴とする。
【0016】
また、本発明の内視鏡システムにおいて、前記第1の体腔内検出信号に基づいて体腔内での検査中であると判定される場合、または前記第2の体腔内検出信号に基づいて前記発光量が前記所定の範囲内であると判定される場合、または前記第3の体腔内検出信号に基づいて前記診断機能が設定されていると判定される場合、前記システム状態判定部は体腔内での検査中であることを示す前記システム状態信号を出力し、前記故障状態信号が所定レベル未満の故障の発生を示し、前記システム状態信号が体腔内の検査中であることを示す場合、前記故障処理部は前記画像処理部における前記プログラマブル集積回路を初期化しないと判定することを特徴とする。
【0017】
また、本発明の内視鏡システムにおいて、前記第1の体腔内検出信号に基づいて体腔内での検査中でないと判定される場合、かつ前記第2の体腔内検出信号に基づいて前記発光量が前記所定の範囲外であると判定される場合、かつ前記第3の体腔内検出信号に基づいて前記診断機能が設定されていないと判定される場合、前記システム状態判定部は体腔内での検査中でないことを示す前記システム状態信号を出力し、前記故障状態信号が故障の発生を示し、前記システム状態信号が体腔内の検査中でないことを示す場合、前記故障処理部は前記画像処理部における前記プログラマブル集積回路を初期化すると判定することを特徴とする。
【発明の効果】
【0018】
本発明によれば、撮像部からの撮像画像と、画像処理部で処理された処理結果の画像とを比較した結果に基づいて検出した故障の状態と、システム情報に基づいて内視鏡システムが体腔内での検査中であるか否かを判定した結果とに基づいて、画像処理部におけるプログラマブル集積回路を初期化するか否かを判定することによって、内視鏡システムの状態に応じて初期化動作または継続動作を選択することができる。
【図面の簡単な説明】
【0019】
【図1】本発明の第1の実施形態による内視鏡システムの構成を示すブロック図である。
【図2】本発明の第1の実施形態による内視鏡システムが有する画像処理プロセッサ装置の構成を示すブロック図である。
【図3】本発明の第1の実施形態による内視鏡システムが有する故障処理部の動作の手順を示すフローチャートである。
【図4】本発明の第1の実施形態による内視鏡システムが有する故障検出部の構成を示すブロック図である。
【図5】本発明の第1の実施形態による内視鏡システムが有するリファレンス画像生成部の構成を示すブロック図である。
【図6】本発明の第1の実施形態による内視鏡システムが有するリファレンス画像生成部と故障検出部の動作を示すタイミングチャートである。
【図7】本発明の第1の実施形態による内視鏡システムが有するシステム状態検出部の構成を示すブロック図である。
【図8】本発明の第1の実施形態による内視鏡システムの状態遷移図である。
【図9】本発明の第1の実施形態による内視鏡システムが有する画像処理部の構成を示すブロック図である。
【図10】本発明の第1の実施形態による内視鏡システムが有する調光部の構成を示すブロック図である。
【図11】本発明の第2の実施形態による内視鏡システムが有する故障検出部の構成を示すブロック図である。
【図12】本発明の第2の実施形態による内視鏡システムが有する入力画像特徴量検出部の構成を示すブロック図である。
【図13】本発明の第2の実施形態において、低域通過フィルタ・高域通過フィルタのそれぞれを通した画像を示す参考図である。
【図14】本発明の第2の実施形態による内視鏡システムが有する特徴量比較部の構成を示すブロック図である。
【図15】従来のプロセッサ装置の構成を示すブロック図である。
【発明を実施するための形態】
【0020】
以下、図面を参照し、本発明の実施形態を説明する。
【0021】
(第1の実施形態)
まず、本発明の第1の実施形態を説明する。図1は、本実施形態による内視鏡システム(内視鏡装置)の概略構成を示している。本実施形態の内視鏡システムは、内視鏡スコープ100、光源装置101、画像処理プロセッサ装置102、表示装置103、記録装置104、操作部105、システムコントローラ106を有する。
【0022】
内視鏡スコープ100は、照明光により照明された体腔内の部位を撮像素子により撮像し撮像画像を得る撮像部107を内蔵しており、体腔内に挿入される部分である。光源装置101は、体腔内の部位を照明するための照明光を発生し、内視鏡スコープ100に照明光を出力する。この時、光源装置101は、画像処理プロセッサ装置102から出力される発光量情報に比例した光量となるような照明光を発生する。具体的には、光源装置101は、発光量情報に比例した絞り量、発光時間、または発光レベルで照明光を生成する。
【0023】
画像処理プロセッサ装置102は、内視鏡スコープ100からの撮像画像に対して各種画像処理を施し、処理後の画像を表示画像として表示装置103に出力すると共に、記録画像として記録装置104に出力する。表示装置103は、画像処理プロセッサ装置102から出力される表示画像を表示する。記録装置104は、画像処理プロセッサ装置102から出力される記録画像を媒体に記録する。操作部105は、操作者が内視鏡システムの各種操作を行うための操作部材を有し、診断機能に係る設定のために行う操作等を受け付け、操作結果に基づく操作情報をシステムコントローラ106に出力する。システムコントローラ106は、操作部105からの操作情報に従い、診断機能に係る各種設定を行うと共に、内視鏡システム内の各部を制御する。
【0024】
次に、内視鏡システムの概略動作を説明する。内視鏡スコープ100は光源装置101からの照明光を導光し、体腔内の部位を照明する。また、内視鏡スコープ100に内蔵されている撮像部107は対象部位を撮像し、撮像画像を出力する。撮像画像は画像処理プロセッサ装置102に入力され、ノイズ軽減,色補正,色強調,輪郭強調等の各種の画像処理が行われる。このような画像処理が施された後、処理後の画像は表示・記録画像として表示装置103や記録装置104に出力される。システムコントローラ106は、操作者が所望する診断画像を得るため、例えば画像処理プロセッサ装置102の画像処理パラメータの変更を行う。
【0025】
次に、画像処理プロセッサ装置102の構成を説明する。図2は画像処理プロセッサ装置102の構成を示している。画像処理プロセッサ装置102は、各種の画像処理を行う画像処理部200と、故障発生時に対応する機能を実現するための故障検出部201,システム状態検出部202,故障処理部203と、回路情報を格納した回路情報ROM204とを有する。画像処理部200は、FPGA等のプログラマブル集積回路により構成されており、回路情報ROM204に格納されている回路情報に基づいて初期化を行うことが可能である。
【0026】
故障検出部201は、画像処理部200の故障の有無およびそのレベルを検出する。より具体的には、故障検出部201は、画像処理部200の入力画像すなわち撮像画像と、画像処理部200の出力画像すなわち表示・記録画像とを比較して、画像処理部200における故障の有無を検出し、故障検出信号として出力する。更に、故障検出部201は、撮像画像と表示・記録画像との差分に基づく故障の度合いを故障レベル信号として出力する。これらの故障検出信号および故障レベル信号が、故障の状態を示す故障状態信号に対応する。
【0027】
システム状態検出部202には、内視鏡システムの状態を示すシステム情報がシステムコントローラ106から入力され、発光量情報が画像処理部200から入力される。システム状態検出部202は、これらの情報に基づいて、内視鏡システムが体腔内での検査中の状態であるか否かを判定し、判定結果を示すシステム状態信号を出力する。
【0028】
故障処理部203は、故障検出部201からの故障検出信号および故障レベル信号と、システム状態検出部202からのシステム状態信号とに基づいて、プログラマブル集積回路で構成される画像処理部200を初期化するか否かを判定し、判定結果に基づいて、画像処理部200を制御するための画像処理部制御信号を出力する。また、故障処理部203は、故障を検出した場合に故障有り信号をシステムコントローラ106に出力する。システムコントローラ106は、故障有り信号が入力された場合、すなわち故障が発生した場合に、OSD(On Screen Display)による表示装置103上の文字表示や、BEEP音の発生、操作盤上のLEDやLCD等の制御により故障発生を通知する。故障検出部201およびシステム状態検出部202の詳細については後述する。
【0029】
次に、故障処理部203の動作を説明する。図3は故障処理部203の動作を示している。まず、故障処理部203は、故障検出部201からの故障検出信号に基づいて故障の有無を判定する(ステップS300)。故障検出信号が「無効」を示す場合、故障処理部203は故障がないと判定し、画像処理部制御信号を「動作継続」とする(ステップS301)。この時、画像処理部200は初期化せずに動作を継続し、画像を出力する(継続動作)。
【0030】
故障検出信号が「有効」を示す場合、故障処理部203は故障があると判定し、故障検出部201からの故障レベル信号の値を所定の閾値と比較する(ステップS302)。故障レベル信号の値が所定の閾値以上である、すなわち故障のレベルが、表示装置103の表示画像を画像として認識するのが困難なレベルである場合、故障処理部203は画像処理部制御信号を「初期化」とする(ステップS303)。この時、画像処理部200は、回路情報ROM204から回路情報を読み出して再度回路を構築し、正常な状態に回復する(初期化動作)。
【0031】
故障レベル信号の値が所定の閾値未満である、すなわち故障のレベルが、表示装置103の表示画像を画像として認識することが可能なレベルである場合、故障処理部203は、システム状態検出部202からのシステム状態信号に基づいてシステム状態を判定する(ステップS304)。システム状態信号が「検査中」を示す場合、すなわち内視鏡スコープが体腔内にある可能性が高い場合には、故障処理部203は画像処理部制御信号を「動作継続」とする(ステップS305)。この時、画像処理部200は動作を継続し、画像出力を確保する(継続動作)。
【0032】
システム状態信号が「非検査中」を示す場合、故障処理部203は、前述の動作と同様に画像処理部制御信号を「初期化」とする(ステップS306)。この時、画像処理部200は初期化を行う(初期化動作)。以上により、検査中、すなわち内視鏡スコープ100が体腔内にある状態で低レベルの故障が発生した場合には操作者が操作を続行することができるように画像出力を確保し、また、画像を視認できない高レベルの故障や非検査時の故障が発生した場合には回路の初期化を行い、迅速な正常状態への回復を図っている。
【0033】
次に、故障検出部201の構成を説明する。図4は故障検出部201の構成を示している。故障検出部201は、リファレンス画像生成部400、遅延出力画像フレームメモリ401、遅延出力画像メモリコントローラ402、遅延出力画像比較部403、遅延出力画像相関値演算部404を有する。
【0034】
リファレンス画像生成部400は、画像処理部200の入力画像である撮像画像に対して、画像処理部200が行う画像処理と同等の処理を行ってリファレンス画像(変換画像)を生成する。遅延出力画像フレームメモリ401は、画像処理部200の出力画像である表示・記録画像を遅延出力画像として蓄える。遅延出力画像メモリコントローラ402は、遅延出力画像フレームメモリ401に対するデータの書き込み・読み出しを制御する。
【0035】
遅延出力画像比較部403は、リファレンス画像と、遅延出力画像フレームメモリ401に蓄えられた遅延出力画像とを比較し、比較結果を故障検出信号として出力する。より具体的には、遅延出力画像比較部403は、リファレンス画像と遅延出力画像の全画素(または一定の割合で間引いた画素)について、同一座標の画素単位でデータの比較を行う。両画像間でデータが異なる画素が1つもなかった場合、遅延出力画像比較部403は比較結果を「一致」とする。また、両画像間でデータが異なる画素が1つでもあった場合、遅延出力画像比較部403は比較結果を「不一致」とする。
【0036】
遅延出力画像相関値演算部404は、リファレンス画像と、遅延出力画像フレームメモリ401に蓄えられた遅延出力画像との相関値を算出し、相関値に基づく故障レベル信号を出力する。より具体的には、遅延出力画像相関値演算部404は、リファレンス画像と遅延出力画像の全画素(または一定の割合で間引いた画素)について、同一座標の画素単位でデータの差分や比を算出する。また、遅延出力画像相関値演算部404は、データの差分や比を算出した全画素についてデータの差分の絶対値や比を積算し、その結果を画像全体の相関値とする。
【0037】
次に、リファレンス画像生成部400の構成を説明する。図5はリファレンス画像生成部400の構成を示している。リファレンス画像生成部400は、入力画像フレームメモリ500、CPU501、リファレンス画像フレームメモリ502、リファレンス画像メモリコントローラ503を有する。
【0038】
入力画像フレームメモリ500は、撮像画像である入力画像を蓄積する。CPU501は、入力画像フレームメモリ500から入力画像を読み出し、ソフトウェアに基づく処理により、画像処理部200が行う画像処理と同等の処理を入力画像に対して行い、リファレンス画像を生成する。また、CPU501は、入力画像を取り込むタイミングで取り込み信号を出力し、リファレンス画像フレームメモリ502へのリファレンス画像の格納が完了したタイミングで検査開始信号を出力する。リファレンス画像フレームメモリ502は、CPU501によって生成されたリファレンス画像を蓄積する。リファレンス画像メモリコントローラ503は、入力画像フレームメモリ500およびリファレンス画像フレームメモリ502に対するデータの書き込み・読み出しを制御する。
【0039】
次に、リファレンス画像生成部400および故障検出部201の動作を説明する。図6はリファレンス画像生成部400および故障検出部201の動作を示している。撮像画像は、図4および図5では図示していない垂直同期信号に同期してリファレンス画像生成部400に入力される。リファレンス画像メモリコントローラ503は数フレームに1回の割合で撮像画像を入力画像フレームメモリ500に取り込む。取り込まれた撮像画像は、CPU501により、画像処理部200が行う画像処理と同等の処理を施される。なお、処理時間はCPU501の処理能力により決定されるが、一般的に画像処理部200が画像処理を行う時間よりも処理時間は大きくなる。CPU501による処理結果の画像であるリファレンス画像はリファレンス画像フレームメモリ502に格納される。リファレンス画像メモリコントローラ503は、リファレンス画像の格納が完了した後、検査開始信号に同期したタイミングでリファレンス画像を出力する。
【0040】
以下の説明は、故障検出部201の動作に関する。リファレンス画像生成部400は、前述のように入力画像の取り込み時に取り込み信号を出力する。遅延出力画像メモリコントローラ402は、取り込み信号が入力されると、そのフレームの表示・記録画像を遅延出力画像フレームメモリ401に取り込む。続いて、リファレンス画像生成部400においてリファレンス画像の生成および格納が完了し、リファレンス画像の出力が開始される時点でリファレンス画像生成部400は検査開始信号を出力する。
【0041】
検査開始信号が遅延出力画像メモリコントローラ402に入力されると、遅延出力画像メモリコントローラ402は、リファレンス画像生成部400内のリファレンス画像フレームメモリ502からのリファレンス画像の読み出しに同期して、同一画像に対応する遅延出力画像の読み出しを開始する。遅延出力画像比較部403および遅延出力画像相関値演算部404は画像比較および相関値演算を実施する。遅延出力画像比較部403は、前述のように、リファレンス画像と遅延出力画像が一致するか否かを比較する。比較結果が「一致」である場合、遅延出力画像比較部403は、故障がないと判定し、故障検出信号を「無効」として出力する。また、比較結果が「不一致」である場合、遅延出力画像比較部403は、故障があると判定し、故障検出信号を「有効」として出力する。
【0042】
遅延出力画像相関値演算部404は、前述のように、リファレンス画像と遅延出力画像の相関値を算出する。遅延出力画像相関値演算部404は、算出された相関値を所定の閾値と比較し、相関値が閾値未満であれば、相関性が低い、すなわちリファレンス画像に対して遅延出力画像が著しく劣化していると判定し、故障レベル信号を「高」として出力する。逆に、相関値が閾値以上であれば、画像が類似している、すなわち視認可能なレベルであると判定し、故障レベル信号を「低」として出力する。
【0043】
以上により、数フレームに1回、CPU500による処理結果と画像処理部200による処理結果との比較が行われる。なお、CPU500はシステム内の他のCPU(例えばシステムコントローラ106内にCPUを使用する場合にはこのCPU)と兼用しても良い。また、各フレームメモリへ格納するデータは、全画素分を格納する必要は無く、例えば、間引き・切り出しなどを行い、その容量を削減することが可能である。
【0044】
次に、システム状態検出部202の構成を説明する。図7はシステム状態検出部202の構成を示している。システム状態検出部202は、診断機能設定判定部700、調光状態判定部701、体腔色判定部702、合焦判定部703、システム状態判定部704を有する。
【0045】
診断機能設定判定部700、調光状態判定部701、体腔色判定部702、合焦判定部703の各判定結果はシステム状態判定部704に入力される。各判定結果は、内視鏡スコープ100が体腔内に挿入されていることを決定する確実な情報ではないため、システム状態判定部704は、判定確度を上げるためにこれらの情報を組み合わせてシステム状態の判定(検査中であるか否か、言い換えると内視鏡スコープが体腔内にあるか否か)を行っている。
【0046】
図8は内視鏡システムの状態遷移を示している。「非検査中」から「検査中」への遷移は、例えば、診断操作が行われたこと、照明量が所定の制御範囲にあること、合焦状態にあること、体腔内色が検出されていることのいずれかが発生したときに行われる。また、照明量が最大になり、かつ、合焦から外れており、また、体腔内色が検出されていないことが所定の時間以上連続した場合には、「検査中」から「非検査中」への遷移が行われる。システム状態判定部704は、各判定部からの信号に基づいてシステム状態の判定を行い、上記の状態遷移と連動したシステム状態信号を出力する。
【0047】
次に、各判定部の動作について説明する。診断機能設定判定部700には、システムコントローラ106を介して操作情報が入力される。診断機能設定判定部700は、各種操作に基づく操作情報のうち、診断に関する操作、例えば画像上の血管や患部をより強調させる画像処理等を行う操作に関する情報を検出し、その情報に基づいて、診断機能に関する設定が行われているか否かを判定し、判定結果を診断機能設定判定信号(第3の体腔内検出信号)としてシステム状態判定部704に出力する。診断機能に関する設定が行われている場合、診断機能設定判定部700は診断機能設定判定信号を「診断機能設定」とし、診断機能に関する設定が行われていない場合、診断機能設定判定部700は診断機能設定判定信号を「診断機能非設定」とする。
【0048】
調光状態判定部701は、画像処理部200から光源装置101へ出力される発光量情報に基づいて、発光量情報が示す発光量が所定の範囲内にあるか否かを判定し、判定結果を調光状態判定信号(第2の体腔内検出信号)として出力する。以下では、画像処理部200内の発光量情報の生成について説明する。図9は画像処理部200の構成を示している。前述のように画像処理部200は、撮像画像に対し、ノイズ軽減、色補正、色強調、輪郭強調などの診断用画像を得るための各種処理を行う。また、それぞれの処理に対するパラメータはシステムコントローラ106から与えられる。画像処理部200は、ノイズ軽減処理部900、色補正部901、色強調部902、輪郭強調部903、調光部904を有する。
【0049】
ノイズ軽減処理部900は、撮像画像に対してノイズ軽減処理を行う。色補正部901は、撮像画像に対して色補正処理を行う。色強調部902は、撮像画像に対して色強調処理を行う。輪郭強調部903は、撮像画像に対して輪郭強調処理を行う。調光部904は、ノイズ軽減処理後の撮像画像から発光量情報を生成する。図10は調光部904の構成を示している。調光部904は輝度レベル算出部1000と発光量演算部1001を有する。
【0050】
輝度レベル算出部1000は、入力画像、すなわち撮像画像の輝度レベルを算出する。発光量演算部1001は、輝度レベルを所定の目標レベルと比較し、比較結果に基づいて、発光すべき発光量を演算し、発光量を示す発光量情報を出力する。この時、適正な発光量になるように発光量の制御を行う。すなわち、画像の輝度レベルが高い場合には発光量を減少させ、輝度レベルが低い場合には発光量を増大させる。
【0051】
システム状態検出部202内の調光状態判定部701は、調光部904から出力される発光量情報が制御範囲をはずれているか否かにより、内視鏡システムが体腔内での検査中であるか否かを判定する。内視鏡スコープ100が体内または近傍の被写体を撮影する場合には、発光量は制御範囲内にあるが、体外など撮像対象が遠位にある場合には照明光が撮像対象に届かないため、発光量は制御範囲をはずれ、最大照明量となる。したがって、調光状態判定部701は、発光量情報が示す発光量が、体腔内での発光量に相当する所定の範囲内にある場合に、調光状態判定信号を「体腔内」とし、発光量情報が示す発光量が所定の範囲外にある場合に、調光状態判定信号を「体腔外」とする。
【0052】
システム状態検出部202内の体腔色判定部702は、撮像画像の特徴量として各色成分を抽出し、各色成分に基づいて、内視鏡システムが体腔内での検査中であるか否かを判定し、判定結果を示す体腔色判定信号(第1の体腔内検出信号)を出力する。一般に知られている通り、体腔内の画像は赤系統が支配的である。このため、体腔色判定部702は、赤成分が所定の値以上である場合、体腔色判定信号を「体腔内」とし、赤成分が所定の値未満である場合、体腔色判定信号を「体腔外」とする。
【0053】
システム状態検出部202内の合焦判定部703は、撮像画像の特徴量として画像内の空間周波数成分を抽出し、空間周波数成分に基づいて、内視鏡システムが体腔内での検査中であるか否かを判定し、判定結果を示す体腔色判定信号(第1の体腔内検出信号)を出力する。被写体が遠位にある場合は合焦状態にないため、低周波成分が支配的になる。このため、合焦判定部703は、検出結果を所定の閾値と比較し、検出結果が閾値以上である場合、合焦状態すなわち体腔内にあると判定して合焦判定信号を「体腔内」とし、検出結果が閾値未満である場合、非合焦状態すなわち体腔外にあると判定して合焦判定信号を「体腔外」とする。
【0054】
なお、それぞれの判定部にタイマーやカウンタを設け、所定の状態が所定の時間以上続いたか、または所定の回数以上続いたかにより更にその判定の確度を上げることが望ましい。
【0055】
上述したように、本実施形態によれば、故障検出部201は、画像処理部200の故障の有無を示す故障検出信号とその故障の度合いを示す故障レベル信号とを出力する。また、システム状態検出部202は、内視鏡システムの操作者が体腔内での検査を行っている状態またはそれに類する状態を検出し、システム状態信号を出力する。故障処理部203は、故障検出信号と故障レベル信号とシステム状態信号とに基づいて故障の状態および内視鏡システムの状態を検出する。内視鏡システムが検査中であり、かつ故障レベルが低い場合には、故障処理部203は画像処理部200に対し初期化を行わずに動作を継続させて画像の出力を確保する。また、故障が発生しており、かつ故障レベルが高い、すなわち検査中であっても画像を視認できないレベルの故障が発生している場合や検査中でない場合には、故障処理部203は画像処理部200を初期化させ、迅速に正常な状態に復帰させることができる。このように、内視鏡システムの状態に応じて初期化動作または継続動作を選択することができる。
【0056】
また、リファレンス画像生成部400は、撮像画像に対して画像処理部200と同等の処理を行い、リファレンス画像を生成する。遅延出力画像比較部403および遅延出力画像相関値演算部404は、リファレンス画像と、画像処理部200によって処理された処理結果画像とを比較し、画像処理部200の故障の有無と故障のレベルを検出する。この時、画像の一部(表示されない部分等)について比較を行うのではなく、画像全体で比較を行うことにより、画像の空間方向の検出精度が上がるため、故障の有無およびレベルを精度良く検出することができる。
【0057】
また、リファレンス画像生成部400内のCPU501が、リファレンス画像を生成するための画像処理をソフトウェアにより行うため、専用の回路を設けることなく、所望の画像処理を実現することができる。また、画像処理部200によって処理された処理結果画像を一旦遅延出力画像フレームメモリ401に蓄え、上記リファレンス画像との比較を行うことにより、CPU501の処理による遅延に対応することができる。
【0058】
また、システム状態検出部202は、内視鏡システムが体腔内での検査中であるか否かに関連する複数の情報を組み合わせてシステム状態を判定することにより、システム状態判定の確度を向上させることができる。
【0059】
(第2の実施形態)
次に、本発明の第2の実施形態を説明する。第2の実施形態の基本的な構成は第1の実施形態と共通である。第2の実施形態では、画像処理プロセッサ装置102内の故障検出部201の構成が異なる。図11は本実施形態の故障検出部201の構成を示している。
【0060】
故障検出部201は、入力画像特徴量検出部1100、出力画像特徴量検出部1101、特徴量比較部1102を有する。入力画像特徴量検出部1100および出力画像特徴量検出部1101は、入力画像すなわち撮像画像と出力画像すなわち画像処理部200の処理結果画像から、所定の特徴量を検出する。特徴量比較部1102は、各特徴量検出部で検出された特徴量の差分を比較することにより、故障検出信号と故障レベル信号を生成する。
【0061】
本実施形態では特徴量として空間周波数成分が抽出され、その判定が行われる。図12は入力画像特徴量検出部1100の構成を示している。入力画像特徴量検出部1100は、高域通過フィルタ1200、低域通過フィルタ1201、高域成分抽出部1202、低域成分抽出部1203を有する。入力画像は、所定の周波数より高い空間周波数成分を通過させる高域通過フィルタ1200と、所定の周波数より低い空間周波数成分を通過させる低域通過フィルタ1201のそれぞれに入力される。更にこれらの出力は高域成分抽出部1202と低域成分抽出部1203に入力され、それぞれの成分(振幅等)が高域成分および低域成分として抽出される。出力画像特徴量検出部1101の構成も上記と同様である。
【0062】
図13は、低域通過フィルタを通した画像と、高域通過フィルタを通した画像との例を示している。図13(a)は、各フィルタに入力する前の画像であり、図13(b)は低域通過フィルタを通した画像であり、図13(c)は高域通過フィルタを通した画像である。このように、例えば画像処理部200に故障が発生し、低域の情報や高域の情報が欠落した場合、低域画像の情報が再現されていれば画像として視認可能であるが、低域の成分が再現されない場合(高域成分のみの場合)は視認が困難となる。
【0063】
図14は特徴量比較部1102の構成を示している。特徴量比較部1102は、高域差分比較部1400、低域差分比較部1401、故障判定部1402、故障レベル判定部1403を有する。高域差分比較部1400には、入力画像特徴量検出部1100で抽出された入力画像の高域成分と、出力画像特徴量検出部1101で抽出された出力画像の高域成分とが入力される。高域差分比較部1400は両者を比較し、両者の差分を算出する。低域差分比較部1401には、入力画像特徴量検出部1100で抽出された入力画像の低域成分と、出力画像特徴量検出部1101で抽出された出力画像の低域成分とが入力される。低域差分比較部1401は両者を比較し、両者の差分を算出する。
【0064】
故障判定部1402は、入力画像と出力画像のそれぞれについての高域成分の差分および低域成分の差分をそれぞれ所定の閾値と比較し、故障の有無を判定する。すなわち、高域成分と低域成分のいずれの差分も閾値未満であれば、入力画像と出力画像はほぼ一致すると考えられるため、故障判定部1402は故障検出信号を「無効」とする。また、いずれかまたは両方の差分が閾値以上である場合、故障判定部1402は故障検出信号を「有効」とする。
【0065】
故障レベル判定部1403は、低域差分比較部1401で算出された低域成分の差分に基づいて、故障レベルを判定する。前述のように低域の成分が再現されれば画像として視認可能であるので、低域の値の差分が閾値未満であれば、故障は画像を視認可能なレベルである。すなわち、故障レベル判定部1403は故障レベル信号を「低」とする。また、低域の値の差分が閾値以上であれば、故障レベル判定部1403は故障レベル信号を「高」とする。
【0066】
なお、画像処理部200において、輪郭強調処理等を施すことにより周波数成分が変化するため、例えば前述の高域通過フィルタ1200や低域通過フィルタ1201として、所定の帯域(周波数範囲)の成分のみを通過させる帯域通過フィルタを使用し、輪郭強調処理等の影響が少ない周波数成分を用いてより精度の高い判定を行うことも可能である。この場合、空間周波数の帯域や、高域差分比較部1400と低域差分比較部1401が用いる閾値を画像処理部200の処理パラメータ等により適応的に変更することが望ましい。
【0067】
上述したように、本実施形態によれば、体腔内での故障発生時にはできる限り画像出力を確保して操作を続行可能とし、画像が視認できない故障や非検査時の故障では画像処理部200の初期化を行い、迅速に正常状態への回復を図ることができる。また、入力画像特徴量検出部1100および出力画像特徴量検出部1101が入力画像および出力画像から所定の特徴量を検出し、特徴量比較部1102がこの特徴量を比較し、その差分に基づいて故障の有無およびレベルを検出することによって、検出を簡易に行うことができる。
【0068】
以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成は上記の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【符号の説明】
【0069】
100・・・内視鏡スコープ、101・・・光源装置、102・・・画像処理プロセッサ装置、103・・・表示装置、104・・・記録装置、105・・・操作部、106・・・システムコントローラ(設定部)、107・・・撮像部、200・・・画像処理部、201・・・故障検出部、202・・・システム状態検出部、203・・・故障処理部、204・・・回路情報ROM、400・・・リファレンス画像生成部(撮像画像変換部)、401・・・遅延出力画像フレームメモリ(記憶部)、402・・・遅延出力画像メモリコントローラ、403・・・遅延出力画像比較部(画像比較部)、404・・・遅延出力画像相関値演算部(画像比較部)、500・・・入力画像フレームメモリ、501・・・CPU、502・・・リファレンス画像フレームメモリ、503・・・リファレンス画像メモリコントローラ、700・・・診断機能設定判定部(第3の体腔内検出部)、701・・・調光状態判定部(第2の体腔内検出部)、702・・・体腔色判定部(第1の体腔内検出部)、703・・・合焦判定部、704・・・システム状態判定部、900・・・ノイズ軽減処理部、901・・・色補正部、902・・・色強調部、903・・・輪郭強調部、904・・・調光部、1000・・・輝度レベル算出部、1001・・・発光量演算部、1100・・・入力画像特徴量検出部(第1の特徴量検出部)、1101・・・出力画像特徴量検出部(第2の特徴量検出部)、1102・・・特徴量比較部、1100・・・入力画像特徴量検出部、1200・・・高域通過フィルタ、1201・・・低域通過フィルタ、1202・・・高域成分抽出部、1203・・・低域成分抽出部、1400・・・高域差分比較部、1401・・・低域差分比較部、1402・・・故障判定部、1403・・・故障レベル判定部、1500・・・検出データ付加回路、1501・・・画像処理回路、1502・・・判定回路、1503・・・初期化回路、1504・・・回路情報ROM
【特許請求の範囲】
【請求項1】
体腔内の部位を照明するための照明光を発生する光源部と、前記照明光により照明された体腔内の部位を撮像素子により撮像し撮像画像を得る撮像部と、前記撮像画像に所定の処理を行い、処理後の画像を表示部に出力するプログラマブル集積回路により構成される画像処理部とを有する内視鏡システムであって、
前記撮像部からの前記撮像画像と、前記画像処理部で処理された処理結果の画像とを比較した結果に基づいて前記画像処理部の故障を検出し、故障の状態を示す故障状態信号を出力する故障検出部と、
内視鏡システムの状態を示すシステム情報に基づいて、内視鏡システムが体腔内での検査中であるか否かを判定し、判定結果を示すシステム状態信号を出力するシステム状態検出部と、
前記故障状態信号および前記システム状態信号に基づいて、前記画像処理部における前記プログラマブル集積回路を初期化するか否かを判定し、判定結果を示す制御信号を出力する故障処理部とを有し、
前記画像処理部は、前記制御信号に基づいて、前記プログラマブル集積回路を初期化する初期化動作、または前記プログラマブル集積回路を初期化せずに動作を継続する継続動作を行うことを特徴とする内視鏡システム。
【請求項2】
前記故障検出部は、
前記画像処理部が行う前記所定の処理と同等の処理を前記撮像画像に行い変換画像として出力する撮像画像変換部と、
前記変換画像と前記処理結果画像とを比較し、比較結果を前記故障状態信号として出力する画像比較部と、
を有することを特徴とする請求項1に記載の内視鏡システム。
【請求項3】
前記撮像画像変換部はCPUにより構成され、前記CPUはソフトウェアに基づく処理により前記所定の処理と同等の処理を行い、
前記画像比較部は、前記撮像画像変換部によって処理された前記変換画像に対応する前記処理結果画像を記憶する記憶部を更に有し、前記撮像画像変換部による処理の完了後に前記変換画像と、前記記憶部に記憶された前記処理結果画像とを比較する
ことを特徴とする請求項2に記載の内視鏡システム。
【請求項4】
前記故障検出部は、
前記撮像画像の特徴量を算出し第1の特徴量として出力する第1の特徴量検出部と、
前記処理結果の画像の特徴量を算出し第2の特徴量として出力する第2の特徴量検出部と、
前記第1の特徴量と前記第2の特徴量とを比較し、比較結果を前記故障状態信号として出力する特徴量比較部とを有する
ことを特徴とする請求項1に記載の内視鏡システム。
【請求項5】
前記システム状態検出部は、前記撮像画像の特徴量を算出し、算出した特徴量に基づいて内視鏡システムが体腔内での検査中であるか否かを判定し、判定結果を示す第1の体腔内検出信号を出力する第1の体腔内検出部を有することを特徴とする請求項1〜請求項4のいずれか一項に記載の内視鏡システム。
【請求項6】
前記画像処理部は、
前記撮像画像から輝度レベルを算出する輝度レベル算出部と、
前記輝度レベルを所定の目標レベルと比較し、比較結果に基づいて発光量を演算し、発光量を示す発光量情報を出力する発光量演算部とを更に有し、
前記光源部は、前記発光量情報に基づいて前記発光量を制御し、
前記システム状態検出部は、前記発光量情報が示す発光量が所定の範囲内にあるか否かを判定し、判定結果を第2の体腔内検出信号として出力する第2の体腔内検出部を有する
ことを特徴とする請求項1〜請求項4のいずれか一項に記載の内視鏡システム。
【請求項7】
操作者が診断機能に係る設定のために行う操作を受け付け、操作結果を示す操作情報を出力する操作部と、
前記操作情報に基づいて前記診断機能に係る設定を行う設定部とを更に有し、
前記システム状態検出部は、前記操作情報に基づいて前記診断機能の設定の有無を検出し、第3の体腔内検出信号として出力する第3の体腔内検出部を有する
ことを特徴とする請求項1〜請求項4のいずれか一項に記載の内視鏡システム。
【請求項8】
前記システム状態検出部は、
前記撮像画像の特徴量を算出し、算出した特徴量に基づいて内視鏡システムが体腔内での検査中であるか否かを判定し、判定結果を示す第1の体腔内検出信号を出力する第1の体腔内検出部、
発光量情報が示す発光量が所定の範囲内にあるか否かを判定し、判定結果を第2の体腔内検出信号として出力する第2の体腔内検出部、
操作者が診断機能に係る設定のために行う操作の結果を示す操作情報に基づいて前記診断機能の設定の有無を検出し、第3の体腔内検出信号として出力する第3の体腔内検出部
のうち少なくとも2つの体腔内検出部と、
前記第1の体腔内検出信号に基づいて体腔内での検査中であると判定される場合、または前記第2の体腔内検出信号に基づいて前記発光量が前記所定の範囲内であると判定される場合、または前記第3の体腔内検出信号に基づいて前記診断機能が設定されていると判定される場合、体腔内での検査中であることを示す前記システム状態信号を出力するシステム状態判定部とを有し、
前記システム状態検出部が前記第2の体腔内検出部を有する場合、前記画像処理部は、前記撮像画像から輝度レベルを算出する輝度レベル算出部と、前記輝度レベルを所定の目標レベルと比較し、比較結果に基づいて発光量を演算し、発光量を示す前記発光量情報を出力する発光量演算部とを更に有し、前記光源部は、前記発光量情報に基づいて前記発光量を制御し、
前記システム状態検出部が前記第3の体腔内検出部を有する場合、操作者が診断機能に係る設定のために行う操作を受け付け、操作結果を示す前記操作情報を出力する操作部と、前記操作情報に基づいて前記診断機能に係る設定を行う設定部とを更に有する
ことを特徴とする請求項1〜請求項4のいずれか一項に記載の内視鏡システム。
【請求項9】
前記第1の体腔内検出信号に基づいて体腔内での検査中であると判定される場合、または前記第2の体腔内検出信号に基づいて前記発光量が前記所定の範囲内であると判定される場合、または前記第3の体腔内検出信号に基づいて前記診断機能が設定されていると判定される場合、前記システム状態判定部は体腔内での検査中であることを示す前記システム状態信号を出力し、
前記故障状態信号が所定レベル未満の故障の発生を示し、前記システム状態信号が体腔内の検査中であることを示す場合、前記故障処理部は前記画像処理部における前記プログラマブル集積回路を初期化しないと判定することを特徴とする請求項8に記載の内視鏡システム。
【請求項10】
前記第1の体腔内検出信号に基づいて体腔内での検査中でないと判定される場合、かつ前記第2の体腔内検出信号に基づいて前記発光量が前記所定の範囲外であると判定される場合、かつ前記第3の体腔内検出信号に基づいて前記診断機能が設定されていないと判定される場合、前記システム状態判定部は体腔内での検査中でないことを示す前記システム状態信号を出力し、
前記故障状態信号が故障の発生を示し、前記システム状態信号が体腔内の検査中でないことを示す場合、前記故障処理部は前記画像処理部における前記プログラマブル集積回路を初期化すると判定することを特徴とする請求項8に記載の内視鏡システム。
【請求項1】
体腔内の部位を照明するための照明光を発生する光源部と、前記照明光により照明された体腔内の部位を撮像素子により撮像し撮像画像を得る撮像部と、前記撮像画像に所定の処理を行い、処理後の画像を表示部に出力するプログラマブル集積回路により構成される画像処理部とを有する内視鏡システムであって、
前記撮像部からの前記撮像画像と、前記画像処理部で処理された処理結果の画像とを比較した結果に基づいて前記画像処理部の故障を検出し、故障の状態を示す故障状態信号を出力する故障検出部と、
内視鏡システムの状態を示すシステム情報に基づいて、内視鏡システムが体腔内での検査中であるか否かを判定し、判定結果を示すシステム状態信号を出力するシステム状態検出部と、
前記故障状態信号および前記システム状態信号に基づいて、前記画像処理部における前記プログラマブル集積回路を初期化するか否かを判定し、判定結果を示す制御信号を出力する故障処理部とを有し、
前記画像処理部は、前記制御信号に基づいて、前記プログラマブル集積回路を初期化する初期化動作、または前記プログラマブル集積回路を初期化せずに動作を継続する継続動作を行うことを特徴とする内視鏡システム。
【請求項2】
前記故障検出部は、
前記画像処理部が行う前記所定の処理と同等の処理を前記撮像画像に行い変換画像として出力する撮像画像変換部と、
前記変換画像と前記処理結果画像とを比較し、比較結果を前記故障状態信号として出力する画像比較部と、
を有することを特徴とする請求項1に記載の内視鏡システム。
【請求項3】
前記撮像画像変換部はCPUにより構成され、前記CPUはソフトウェアに基づく処理により前記所定の処理と同等の処理を行い、
前記画像比較部は、前記撮像画像変換部によって処理された前記変換画像に対応する前記処理結果画像を記憶する記憶部を更に有し、前記撮像画像変換部による処理の完了後に前記変換画像と、前記記憶部に記憶された前記処理結果画像とを比較する
ことを特徴とする請求項2に記載の内視鏡システム。
【請求項4】
前記故障検出部は、
前記撮像画像の特徴量を算出し第1の特徴量として出力する第1の特徴量検出部と、
前記処理結果の画像の特徴量を算出し第2の特徴量として出力する第2の特徴量検出部と、
前記第1の特徴量と前記第2の特徴量とを比較し、比較結果を前記故障状態信号として出力する特徴量比較部とを有する
ことを特徴とする請求項1に記載の内視鏡システム。
【請求項5】
前記システム状態検出部は、前記撮像画像の特徴量を算出し、算出した特徴量に基づいて内視鏡システムが体腔内での検査中であるか否かを判定し、判定結果を示す第1の体腔内検出信号を出力する第1の体腔内検出部を有することを特徴とする請求項1〜請求項4のいずれか一項に記載の内視鏡システム。
【請求項6】
前記画像処理部は、
前記撮像画像から輝度レベルを算出する輝度レベル算出部と、
前記輝度レベルを所定の目標レベルと比較し、比較結果に基づいて発光量を演算し、発光量を示す発光量情報を出力する発光量演算部とを更に有し、
前記光源部は、前記発光量情報に基づいて前記発光量を制御し、
前記システム状態検出部は、前記発光量情報が示す発光量が所定の範囲内にあるか否かを判定し、判定結果を第2の体腔内検出信号として出力する第2の体腔内検出部を有する
ことを特徴とする請求項1〜請求項4のいずれか一項に記載の内視鏡システム。
【請求項7】
操作者が診断機能に係る設定のために行う操作を受け付け、操作結果を示す操作情報を出力する操作部と、
前記操作情報に基づいて前記診断機能に係る設定を行う設定部とを更に有し、
前記システム状態検出部は、前記操作情報に基づいて前記診断機能の設定の有無を検出し、第3の体腔内検出信号として出力する第3の体腔内検出部を有する
ことを特徴とする請求項1〜請求項4のいずれか一項に記載の内視鏡システム。
【請求項8】
前記システム状態検出部は、
前記撮像画像の特徴量を算出し、算出した特徴量に基づいて内視鏡システムが体腔内での検査中であるか否かを判定し、判定結果を示す第1の体腔内検出信号を出力する第1の体腔内検出部、
発光量情報が示す発光量が所定の範囲内にあるか否かを判定し、判定結果を第2の体腔内検出信号として出力する第2の体腔内検出部、
操作者が診断機能に係る設定のために行う操作の結果を示す操作情報に基づいて前記診断機能の設定の有無を検出し、第3の体腔内検出信号として出力する第3の体腔内検出部
のうち少なくとも2つの体腔内検出部と、
前記第1の体腔内検出信号に基づいて体腔内での検査中であると判定される場合、または前記第2の体腔内検出信号に基づいて前記発光量が前記所定の範囲内であると判定される場合、または前記第3の体腔内検出信号に基づいて前記診断機能が設定されていると判定される場合、体腔内での検査中であることを示す前記システム状態信号を出力するシステム状態判定部とを有し、
前記システム状態検出部が前記第2の体腔内検出部を有する場合、前記画像処理部は、前記撮像画像から輝度レベルを算出する輝度レベル算出部と、前記輝度レベルを所定の目標レベルと比較し、比較結果に基づいて発光量を演算し、発光量を示す前記発光量情報を出力する発光量演算部とを更に有し、前記光源部は、前記発光量情報に基づいて前記発光量を制御し、
前記システム状態検出部が前記第3の体腔内検出部を有する場合、操作者が診断機能に係る設定のために行う操作を受け付け、操作結果を示す前記操作情報を出力する操作部と、前記操作情報に基づいて前記診断機能に係る設定を行う設定部とを更に有する
ことを特徴とする請求項1〜請求項4のいずれか一項に記載の内視鏡システム。
【請求項9】
前記第1の体腔内検出信号に基づいて体腔内での検査中であると判定される場合、または前記第2の体腔内検出信号に基づいて前記発光量が前記所定の範囲内であると判定される場合、または前記第3の体腔内検出信号に基づいて前記診断機能が設定されていると判定される場合、前記システム状態判定部は体腔内での検査中であることを示す前記システム状態信号を出力し、
前記故障状態信号が所定レベル未満の故障の発生を示し、前記システム状態信号が体腔内の検査中であることを示す場合、前記故障処理部は前記画像処理部における前記プログラマブル集積回路を初期化しないと判定することを特徴とする請求項8に記載の内視鏡システム。
【請求項10】
前記第1の体腔内検出信号に基づいて体腔内での検査中でないと判定される場合、かつ前記第2の体腔内検出信号に基づいて前記発光量が前記所定の範囲外であると判定される場合、かつ前記第3の体腔内検出信号に基づいて前記診断機能が設定されていないと判定される場合、前記システム状態判定部は体腔内での検査中でないことを示す前記システム状態信号を出力し、
前記故障状態信号が故障の発生を示し、前記システム状態信号が体腔内の検査中でないことを示す場合、前記故障処理部は前記画像処理部における前記プログラマブル集積回路を初期化すると判定することを特徴とする請求項8に記載の内視鏡システム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図14】
【図15】
【図13】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図14】
【図15】
【図13】
【公開番号】特開2011−244884(P2011−244884A)
【公開日】平成23年12月8日(2011.12.8)
【国際特許分類】
【出願番号】特願2010−118308(P2010−118308)
【出願日】平成22年5月24日(2010.5.24)
【出願人】(000000376)オリンパス株式会社 (11,466)
【Fターム(参考)】
【公開日】平成23年12月8日(2011.12.8)
【国際特許分類】
【出願日】平成22年5月24日(2010.5.24)
【出願人】(000000376)オリンパス株式会社 (11,466)
【Fターム(参考)】
[ Back to top ]