説明

電子内視鏡システム並びに画像処理方法及びソフトウェア

【課題】正常部と異常部とを正確かつ明確に分別することが可能な電子内視鏡システムを得る。
【解決手段】本発明による動的閾値決定処理について説明する。この処理では、正常部と異常部とを暫定的に分けるために用いる初期閾値が予め定められている。動的閾値決定処理は、初期閾値によって分けられた2つの集団のうち1つの集団の重心を求め、初期閾値から重心までの間において正常部と病変部とを最も良く分ける動的閾値を探索する処理である。初期閾値から重心まで所定の移動ステップで仮の閾値を移動させ、その仮閾値の近傍に位置する画素の数が最も少ないときに、その仮閾値を動的閾値として決定する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像において所定の特徴を有する部分を検出する電子内視鏡システムに関する。
【背景技術】
【0002】
電子内視鏡システムは、被験者の体内に挿入される内視鏡スコープと被験者の体外に設けられる内視鏡プロセッサとを備える。内視鏡スコープの遠位端部には、ライトガイド先端部及び撮像素子が設けられる。ライトガイド先端部から、照明光が観察対象物に対して照射され、撮像素子は、体内の観察対象物を撮像して得られた観察画像を内視鏡プロセッサに送信する。内視鏡プロセッサは、観察画像を画像処理した後、モニタに表示する。
【0003】
撮像素子が出力した輝度信号を用いて、赤色、緑色、及び青色の輝度を示す輝度信号が画素毎に作成される。赤色の輝度を表す輝度信号をR信号、緑色の輝度を表す輝度信号をG信号、そして青色の輝度を表す輝度信号をB信号という。臓器の表層粘膜内にあるヘモグロビン量の二次元分布を画像化するため、G信号又はB信号をR信号で除した値に対して対数をとる(特許文献1)。術者は、これにより作成された画像を見て、臓器の表層における正常部と異常部とを判別する。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開平6−335451号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかし、G信号をR信号で除しただけでは、R及びG各信号が正常部と異常部との双方に同程度近接する場合、このR及びG各信号を有する画素が正常部と異常部のいずれに属するか判別できないおそれがある。
【0006】
本発明はこれらの問題に鑑みてなされたものであり、正常部と異常部とを正確かつ明確に分別することが可能な電子内視鏡システムを得ることを目的とする。
【課題を解決するための手段】
【0007】
本願第1の発明による電子内視鏡システムは、内視鏡画像の各画素において、画素の特徴を示す特徴量を算出する算出部と、既定の初期閾値と特徴量との関係に応じて動的閾値を生成する生成部と、動的閾値を用いて全ての画素を2つの集団に分ける判定部とを備え、生成部は、1つの集団に属する画素の特徴量を用いて限界閾値を決定し、初期閾値から限界閾値までの範囲において、一時的に定める仮閾値の近傍に含まれる特徴量を有する画素の数が最小となる仮閾値を動的閾値として決定することを特徴とする。
【0008】
生成部は、1つの集団に属する特徴量の重心を限界閾値として決定することが好ましい。
【0009】
生成部は、限界閾値と初期閾値との差を所定の値で除して得られる移動ステップごとに仮閾値を一時的に定めることが好ましい。
【0010】
生成部は、限界閾値と初期閾値との差を所定の値で除して得られる値の半分を近傍値として算出し、仮閾値から近傍値を減じた値から仮閾値に近傍値を加えた値までの計数範囲に属する特徴量の数が最小となる仮閾値を動的閾値として決定することが好ましい。
【0011】
1つの画素は複数の輝度情報を有し、算出部は、輝度情報のうちの2つを他の1つの輝度情報で正規化して特徴量を算出することが好ましい。
【0012】
生成部は、1つの集団に属する特徴量の中央値を限界閾値として決定してもよい。
【0013】
生成部は、1つの集団に属する特徴量のうち、初期閾値との差が最も大きい値を限界閾値として決定してもよい。
【0014】
生成部は、移動ステップの半分を近傍値として算出し、仮閾値から近傍値を減じた値から仮閾値に近傍値を加えた値までの計数範囲に属する特徴量の数が最小となる仮閾値を動的閾値として決定することが好ましい。
【0015】
本願第2の発明による画像処理方法は、画像の各画素において、画素の特徴を示す特徴量を算出するステップと、既定の初期閾値と特徴量との関係に応じて画素を2つの集団に仕分けるステップと、仕分けられた2つの集団のうち1つの集団に属する画素の特徴量を用いて限界閾値を決定するステップと、初期閾値から限界閾値までの範囲において、一時的に定める仮閾値の近傍に含まれる特徴量を有する画素の数が最小となる仮閾値を動的閾値として決定するステップと、動的閾値を用いて全ての画素を2つの集団に分けるステップとを備えることを特徴とする。
【0016】
本願第3の発明によるソフトウェアは、画像の各画素において、画素の特徴を示す特徴量を算出部に算出させるステップと、既定の初期閾値と特徴量との関係に応じて画素を2つの集団へと生成部に仕分けさせるステップと、仕分けられた2つの集団のうち1つの集団に属する画素の特徴量を用いて限界閾値を生成部に決定させるステップと、初期閾値から限界閾値までの範囲において、一時的に定める仮閾値の近傍に含まれる特徴量を有する画素の数が最小となる仮閾値を動的閾値として生成部に決定させるステップと、動的閾値を用いて全ての画素を2つの集団へと判定部に仕分けさせるステップとを備えることを特徴とする。
【発明の効果】
【0017】
本発明によれば、正常部と異常部とを正確かつ明確に分別することが可能な電子内視鏡システムを得る。
【図面の簡単な説明】
【0018】
【図1】電子内視鏡システムのブロック図である。
【図2】演算処理を示したフローチャートである。
【図3】撮影画像の一例を示した図である。
【図4】正規化された輝度情報を示した図である。
【図5】正規化された輝度情報をPCA処理した結果を示した図である。
【図6】動的閾値生成処理を示したフローチャートである。
【図7】動的閾値生成処理の概念をグラフ上に示した図である。
【発明を実施するための形態】
【0019】
以下、本発明における電子内視鏡システム100の実施形態について添付図面を参照して説明する。まず、図1を用いて電子内視鏡システム100の構成について説明する。
【0020】
電子内視鏡システム100は、被験者の体内に挿入される内視鏡スコープ110と、被験者の体外に設けられて画像処理を行う内視鏡プロセッサ120と、内視鏡プロセッサ120に接続されるモニタ140とを主に備える。内視鏡スコープ110は、被写体像を撮像して得られた輝度情報を内視鏡プロセッサ120に送信し、内視鏡プロセッサ120は、受信した輝度情報に画像処理を施して表示画像を作成し、モニタ140に表示画像を表示させる。
【0021】
内視鏡スコープ110の構成について説明する。内視鏡スコープ110の遠位端部には、撮像レンズ111及びCCD112が主に設けられる。CCD112は撮像レンズ111を介して被写体像を受光し、赤色、青色、及び緑色の3つの光の輝度情報を出力する。内視鏡スコープ110の全長に渡ってライトガイド113が設けられ、照明光を遠位端部まで運ぶ。
【0022】
CCD112の撮像面には複数の画素が設けられる。1つの画素の受光面には、赤色、青色、又は緑色いずれか1つの波長帯の光を透過するフィルタが取り付けられる。赤色のフィルタが取り付けられた画素は、赤色の波長帯を有する光の輝度を輝度情報として出力し、青色のフィルタが取り付けられた画素は青色の輝度情報、緑色のフィルタが取り付けられた画素は緑色の輝度情報を出力する。以下、赤色の波長帯を有する光の輝度を赤色輝度情報、青色の波長帯を有する光の輝度を青色輝度情報、そして緑色の波長帯を有する光の輝度を緑色輝度情報と呼ぶ。CCD112が出力した輝度情報は、1つの画素に対して1つの色の輝度情報のみが存在する。CCD112が出力した輝度情報は、内視鏡プロセッサ120に送信される。
【0023】
内視鏡スコープ110は内視鏡プロセッサ120に接続される。内視鏡プロセッサ120は、主処理部121と演算部127とから主に構成される。主処理部121は、内視鏡スコープ110から上記輝度信号を受け取り、画像処理を行って撮影画像を作成した後、モニタ140に撮影画像を出力する。演算部127は、主処理部121から撮影画像を受信して撮影画像を正常部と異常部とに区分し、異常部に関する情報を出力する。異常部に関する情報は、撮影画像における異常部の位置である。撮影画像における異常部は、病気によって変化した病変部に相当する。
【0024】
主処理部121について説明する。主処理部121は、画像入力処理部123、画像メモリ124、結果表示部125、光源126、及びシステムコントローラ122を有する。
【0025】
画像入力処理部123は、CCD112から輝度情報を受信して、撮影画像を作成する。撮影画像を作成する処理について説明する。前述のように、CCD112が出力した輝度情報は、1つの画素に対して1つの色の輝度情報のみが存在する。しかし、撮影画像における1つの画素は、3つの色の輝度情報を必要とする。そこで、画像入力処理部123は、CCD112の1つの画素の周囲に存在する画素の輝度情報を用いて、CCD112の1つの画素に欠けている色の輝度情報を作成する。例えば、赤色輝度情報を有する画素に対して、青色輝度情報及び緑色輝度情報を作成する。これにより、撮影画像における画素は、赤色、青色、及び緑色の3つの輝度情報を有することになる。画像メモリ124は、画像入力処理部123が作成した撮影画像を記憶する。
【0026】
システムコントローラ122は、画像メモリ124に記憶された撮影画像を演算部127に送信する。後述するように、撮影画像に含まれる異常部の位置を演算部127は算出してシステムコントローラ122に出力する。システムコントローラ122は、異常部の位置を演算部127から受信し、異常部の位置を結果表示部125に送信する。結果表示部125は、撮影画像において異常部が占める範囲に印を付けた表示画像を作成する。そして、モニタ140は、結果表示部125が作成した表示画像を表示する。
【0027】
光源126は、システムコントローラ122の信号に応じて、ライトガイド113に照明光を供給する。
【0028】
次に、演算部127について説明する。演算部127は、画像処理部128、動的閾値生成部129、及び病変判定部130を有する。画像処理部128は、後述する特徴量を撮影画像に対して算出する。動的閾値生成部129は、撮影画像における正常部と異常部とを区分する動的閾値を、画像処理部128が算出した特徴量に基づいて算出する。動的閾値については後述する。病変判定部130は、動的閾値生成部129が算出した閾値を用いて、撮影画像における正常部と異常部とを区分する。
【0029】
図2を参照して、演算部127が実行する演算処理について説明する。演算処理は、演算部127が撮影画像を受信したときに実行される。まず、ステップS21において、後述する正規化処理及びPCA(Principal Component Analysis)処理を用いて画像処理部128が特徴量を算出する。そして、次にステップS22では、後述する動的閾値生成処理を用いて動的閾値生成部129が動的閾値を生成する。ステップS23では、病変判定部130が撮影画像において正常部と病変部とを区分、すなわち正常部及び病変部を判定する。最後のステップS24において判定結果をシステムコントローラ122に出力し、処理が終了する。
【0030】
次に、図1を用いて画像処理部128について詳細に説明する。画像処理部128は、システムコントローラ122から撮影画像、すなわち赤色輝度情報、青色輝度情報、及び緑色輝度情報を受信して、特徴量を算出する。特徴量は、画素の特性を表す値であって、正規化処理及びPCA処理によって画素1つ1つに対して求められる。正規化処理及びPCA処理は、画像処理部128によって実行される。正規化処理は、明るさの大小が画素分離処理の結果に影響を及ぼすことを防ぐため、1つの輝度情報を用いて他の2つの輝度情報を正規化する処理である。PCA処理は、画像を構成する画素各々の特性を求める処理である。画素各々の特性は、一般にPCAスコアと呼ばれ、本発明では、特徴量と呼ばれる。
【0031】
次に、正規化処理の詳細について図3及び図4を用いて説明する。図3は、説明のため簡略化して表した観察画像の一例である。観察画像は、桃色の領域A、朱色の領域B、及び肌色の領域Cを有する。領域C、領域A、領域Bの順で赤みが強くなる。
【0032】
正規化処理は、領域A、領域B、及び領域Cに含まれる画素の輝度情報を処理する。領域A、領域B、及び領域Cそれぞれに含まれる画素の青色輝度情報及び緑色輝度情報を、赤色輝度情報で各々除する。これにより、各画素の青色輝度情報及び緑色輝度情報が正規化され、観察画像における各画素は、青色輝度情報を赤色輝度情報で除した値(以下、B/R値とする)と、緑色輝度情報を赤色輝度情報で除した値(以下、G/R値とする)を有することになる。正規化された青色輝度情報及び緑色輝度情報をグラフにしたものを図4に示す。正規化することにより、画素の明るさによる影響を排して、画素分離処理することが可能になる。
【0033】
次に、PCA処理について図3及び図5を用いて説明する。
【0034】
PCA処理を実行する前に、以下の処理が実行される。予め撮影済みの初期観察画像を用意する。説明のため、図3に示される画像を初期観察画像とする。初期観察画像における正常部及び異常部は既知であって、初期観察画像が有する画素は正常部と異常部に予め分類される。正常部は第1の集団、異常部は第2の集団に分類される。ここで、図3における領域A及び領域Bを異常部とし、領域Cを正常部とすると、領域A及び領域Bが第2の集団に、領域Cが第1の集団に分類される。初期観察画像の各画素は、初期赤色輝度情報、初期青色輝度情報、及び初期緑色輝度情報から成る初期輝度信号を有する。そして、初期輝度信号を正規化処理により正規化して初期正規化信号、すなわち初期B/R値及び初期G/R値を得る。
【0035】
PCA処理では、これらの初期正規化信号に対してPCA処理を行い、PCAスコアを算出する。PCA処理は、主成分分析とも呼ばれ、相関関係にあるいくつかの要因を合成(圧縮)して、いくつかの成分にし、その総合力や特性を求める処理である。
【0036】
まず、正常部と異常部から特定の画素を数点取得し、それらの初期正規化信号に関して分散共分散行列を求める。いいかえると、特定の画素の初期B/R値及び初期G/R値に対して分散共分散行列が求められる。ここで、求められた分散共分散行列が以下の行列であるとする。
【数1】

【0037】
次に、分散共分散行列の固有値及び固有値ベクトルを求める。ここで、以下のように固有値5.0817及び4.4406が求められる。
【数2】

そして、以下のような固有ベクトルが求められる。
【数3】

そして、大きい方の固有値に対応する固有ベクトルを第1主成分ベクトル、小さい方の固有値に対応する固有ベクトルを第2主成分ベクトルとする。すなわち、第1主成分ベクトルは(−0.5323, 0.8466)、第2主成分ベクトルは(−0.8466, −0.5323)となる。特定の画素の正規化信号ベクトル(B/R, G/R)と第1または第2主成分ベクトルの内積を計算することで、その画素の第1主成分PC1または第2主成分PC2が求められる。第1主成分及び第2主成分がPCAスコア、すなわち特徴量を成す。以下、第1主成分PC1を特徴量1、第2主成分PC2を特徴量2と呼ぶ。
【0038】
上記のようにして求めた固有ベクトル(第1及び第2主成分ベクトル)と、領域A、領域B、及び領域Cに含まれる画素に関する初期B/R値及び初期G/R値からPCAスコアを計算すると、図5に示すグラフを得る。この固有ベクトルが、実際に入力された撮影画像の特徴量が計算される。
【0039】
次に、図1を用いて動的閾値生成部129について詳細に説明する。動的閾値生成部129は、画像処理部128が算出した特徴量1に基づいて、正常部と異常部とを区分する閾値を動的に算出する。この閾値を動的閾値と呼ぶ。動的閾値は、動的閾値決定処理によって撮影画像ごとに算出される。すなわち撮影画像ごとに変化する閾値であるため、動的閾値と呼ばれる。
【0040】
次に、病変判定部130について詳細に説明する。病変判定部130は、動的閾値に基づいて撮影画像に含まれる画素から異常部を判定する。より詳しく説明すると、動的閾値よりも大きい特徴量1を有する画素を病変部として判定する。
【0041】
次に図6及び7を用いて動的閾値決定処理について説明する。この処理では、正常部と異常部とを暫定的に分けるために用いる初期閾値が予め定められている。動的閾値決定処理は、初期閾値によって分けられた2つの集団のうち1つの集団の重心を求め、初期閾値から重心までの間において正常部と病変部とを最も良く分ける動的閾値を探索する処理である。初期閾値から重心まで所定の移動ステップで仮の閾値を移動させ、その仮閾値の近傍に位置する画素の数が最も少ないときに、その仮閾値を動的閾値として決定する。動的閾値決定処理のフローチャートは図6に示される。
【0042】
図7を参照すると、正常部と病変部とが特徴量1及び2に応じて分布している。動的閾値決定処理のステップS61では、まず、これらを初期閾値で2つの集団に分離する。特徴量1が初期閾値よりも大きい集団を暫定的病変部集団と呼ぶ。そして、暫定的病変部集団の重心を求める。重心の特徴量1が限界閾値である。
【0043】
次のステップS62では、重心と初期閾値との差を所定の値で除して仮閾値の移動ステップを算出し、そして、移動値を2で除して近傍値を算出する。所定の値は、観察対象物、照明光の種類、経験値等に応じて定められる値であって、例えば10が用いられる。近傍値は仮閾値の近傍の範囲を示す値である。そして、仮閾値を初期閾値と同じ値に設定する。
【0044】
ステップS63では、現在の仮閾値から移動ステップだけ移動した値を新たな仮閾値とする。いいかえると、現在の仮閾値に移動ステップの値を加えた値を新たな仮閾値とする。
【0045】
ステップS64では、仮閾値から近傍値を引いた値から仮閾値に近傍値を加えた値までの計数範囲に存在する画素の数を数える。この数を近傍画素数と呼ぶ。計数範囲に存在する画素を図7に示す。
【0046】
ステップS65では、仮閾値に移動ステップを加えた値が限界閾値よりも大きいか否かを判断する。大きい場合、処理はステップS66に進み、大きくない場合、処理はステップS63に戻る。ステップS63からS65までを繰り返すことにより、仮閾値と近傍画素数との対応関係を複数得る。
【0047】
ステップS66では、近傍画素数がもっとも少ない仮閾値を動的閾値として決定する。そして、ステップS67において、病変判定部130が、動的閾値を超える特徴量1を有する画素を病変部と判定する。その後、処理が終了する。
【0048】
動的閾値生成処理は、撮影画像が演算部127に入力される度に実行される。すなわち、撮影画像ごとに動的閾値を設定し、設定した動的閾値を用いて撮影画像ごとに正常部と病変部とを判定する。これにより、時々刻々と変化する撮影条件に左右されずに正確に正常部と病変部とを判定することができる。また、重心を限界閾値とすることにより、撮影画像に含まれるノイズの影響を最小限に抑えながら正常部と病変部とを判定することができる。
【0049】
本実施形態によれば、撮影条件の変化に左右されずに、正常部と異常部とを正確かつ明確に分別することができる。
【0050】
なお、正規化において除数は赤色輝度情報でなくても良く、青色輝度情報又は緑色輝度情報であってもよい。
【0051】
また、PCA処理でなく、フィッシャー判別法により分類された正規化信号に対してNN法又はベイズ識別法を適用しても良い。
【0052】
撮像部はCCD112に限定されず、例えばCMOS等の撮像素子であっても良い。
【0053】
特徴量1の重心ではなく、1つの集団に属する特徴量1のうち初期閾値との差が最も大きい最大特徴量、又は最大特徴量の例えば9割の値、あるいは中央値(メジアン)を限界閾値として使用しても良い。重心と同様の効果を得る。
【0054】
移動ステップは、重心と初期閾値との差を10で除した値に限定されず、近傍値は、移動ステップを2で除した値に限定されない。
【0055】
計数範囲は、仮閾値から近傍値を減じた値から仮閾値までの値、あるいは仮閾値から仮閾値に近傍値を加えた値までの値であってもよい。
【0056】
動的閾値生成処理のステップS66において、近傍画素の密度がもっとも少ない仮閾値を動的閾値として決定してもよい。密度は、近傍画素数を近傍範囲の大きさで除して求められる。
【符号の説明】
【0057】
100 電子内視鏡システム
110 内視鏡スコープ
111 撮像レンズ
112 CCD
113 ライトガイド
120 内視鏡プロセッサ
121 主処理部
122 システムコントローラ
123 画像入力処理部
124 画像メモリ
125 結果表示部
126 光源
127 演算部
128 画像処理部
129 動的閾値生成部
130 病変判定部
140 モニタ

【特許請求の範囲】
【請求項1】
内視鏡画像の各画素において、画素の特徴を示す特徴量を算出する算出部と、
既定の初期閾値と特徴量との関係に応じて動的閾値を生成する生成部と、
前記動的閾値を用いて全ての画素を2つの集団に分ける判定部とを備え、
前記生成部は、1つの集団に属する画素の特徴量を用いて限界閾値を決定し、初期閾値から限界閾値までの範囲において、一時的に定める仮閾値の近傍に含まれる特徴量を有する画素の数が最小となる仮閾値を動的閾値として決定する電子内視鏡システム。
【請求項2】
前記生成部は、1つの集団に属する特徴量の重心を限界閾値として決定する請求項1に記載の電子内視鏡システム。
【請求項3】
前記生成部は、限界閾値と初期閾値との差を所定の値で除して得られる移動ステップごとに仮閾値を一時的に定める請求項1又は2に記載の電子内視鏡システム。
【請求項4】
前記生成部は、限界閾値と初期閾値との差を所定の値で除して得られる値の半分を近傍値として算出し、仮閾値から近傍値を減じた値から仮閾値に近傍値を加えた値までの計数範囲に属する特徴量の数が最小となる仮閾値を動的閾値として決定する請求項1から3に記載の電子内視鏡システム。
【請求項5】
1つの前記画素は複数の輝度情報を有し、前記算出部は、輝度情報のうちの2つを他の1つの輝度情報で正規化して特徴量を算出する請求項1から4に記載の電子内視鏡システム。
【請求項6】
前記生成部は、1つの集団に属する特徴量の中央値を限界閾値として決定する請求項1に記載の電子内視鏡システム。
【請求項7】
前記生成部は、1つの集団に属する特徴量のうち、初期閾値との差が最も大きい値を限界閾値として決定する請求項1に記載の電子内視鏡システム。
【請求項8】
前記生成部は、前記移動ステップの半分を近傍値として算出し、仮閾値から近傍値を減じた値から仮閾値に近傍値を加えた値までの計数範囲に属する特徴量の数が最小となる仮閾値を動的閾値として決定する請求項3に記載の電子内視鏡システム。
【請求項9】
画像の各画素において、画素の特徴を示す特徴量を算出するステップと、
既定の初期閾値と特徴量との関係に応じて画素を2つの集団に仕分けるステップと、
仕分けられた2つの集団のうち1つの集団に属する画素の特徴量を用いて限界閾値を決定するステップと、
初期閾値から限界閾値までの範囲において、一時的に定める仮閾値の近傍に含まれる特徴量を有する画素の数が最小となる仮閾値を動的閾値として決定するステップと、
前記動的閾値を用いて全ての画素を2つの集団に分けるステップとを備える画像処理方法。
【請求項10】
画像の各画素において、画素の特徴を示す特徴量を算出部に算出させるステップと、
既定の初期閾値と特徴量との関係に応じて画素を2つの集団へと生成部に仕分けさせるステップと、
仕分けられた2つの集団のうち1つの集団に属する画素の特徴量を用いて限界閾値を生成部に決定させるステップと、
初期閾値から限界閾値までの範囲において、一時的に定める仮閾値の近傍に含まれる特徴量を有する画素の数が最小となる仮閾値を動的閾値として生成部に決定させるステップと、
前記動的閾値を用いて全ての画素を2つの集団へと判定部に仕分けさせるステップとを備えるソフトウェア。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate


【公開番号】特開2012−239518(P2012−239518A)
【公開日】平成24年12月10日(2012.12.10)
【国際特許分類】
【出願番号】特願2011−109690(P2011−109690)
【出願日】平成23年5月16日(2011.5.16)
【出願人】(000113263)HOYA株式会社 (3,820)
【Fターム(参考)】