画像処理装置
【課題】自家蛍光を利用した観察において、正常部位と病変部位とを視覚的に区別でき、かつ、S/Nの低下が抑制された画像を生成可能な画像処理装置を提供する。
【解決手段】本発明の画像処理装置は、同一部位を撮像した蛍光画像から反射光画像を除算した画像を生成する除算処理部と、蛍光画像及び反射光画像各々において、局所領域毎の明るさをそれぞれ算出する明るさ算出部と、局所領域毎の明暗を判定する第1の判定部と、蛍光画像における一の局所領域の明るさと、反射光画像における該一の局所領域の明るさと、が類似であるか否かを局所領域毎に判定する第2の判定部と、第1の判定部の判定結果、及び、第2の判定部の判定結果に基づき、局所領域毎にゲイン値を調整するゲイン調整部と、除算処理部により生成された画像に対し、ゲイン調整部により調整された局所領域毎のゲイン値を乗ずる乗算部と、を有する。
【解決手段】本発明の画像処理装置は、同一部位を撮像した蛍光画像から反射光画像を除算した画像を生成する除算処理部と、蛍光画像及び反射光画像各々において、局所領域毎の明るさをそれぞれ算出する明るさ算出部と、局所領域毎の明暗を判定する第1の判定部と、蛍光画像における一の局所領域の明るさと、反射光画像における該一の局所領域の明るさと、が類似であるか否かを局所領域毎に判定する第2の判定部と、第1の判定部の判定結果、及び、第2の判定部の判定結果に基づき、局所領域毎にゲイン値を調整するゲイン調整部と、除算処理部により生成された画像に対し、ゲイン調整部により調整された局所領域毎のゲイン値を乗ずる乗算部と、を有する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置に関し、特に、自家蛍光を利用した観察に応じた画像を生成する画像処理装置に関するものである。
【背景技術】
【0002】
被検体内部における被写体の像を取得するとともに、該被写体の像に応じた画像を生成可能な内視鏡装置は、医療分野等において従来広く用いられている。特に、医療分野における内視鏡装置は、例えば、生体内の検査及び観察等を行うために用いられている。
【0003】
医療分野における内視鏡装置を用いた観察として一般的に知られているものとしては、例えば、白色光を生体内の被写体に照射し、肉眼による観察と略同様の被写体の像としての白色光画像を取得する白色光観察(通常観察)の他に、特定の波長帯域を有する励起光及び参照光を生体内の被写体に照射し、該励起光に応じて被写体から発せられる自家蛍光の像としての自家蛍光画像と、該参照光が被写体において反射した反射光の像としての参照光画像(反射光画像)とを取得する自家蛍光観察がある。そして、このような自家蛍光観察を実施可能な内視鏡装置が、例えば、日本国特開2004−215738号公報に開示されている。
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、自家蛍光観察においては、一般的に、腫瘍部等の病変部位よりも正常部位の方が強い蛍光を発するとされている。しかし、観察条件次第により、正常部位よりも病変部位の方が強い蛍光を発するような状況、または、正常部位と病変部位とが略同一の強度の蛍光を発するような状況が生じ得るため、結果的に、これらの状況においては、正常部位と病変部位とを視覚的に区別できない画像が生成あるいは出力されてしまう。
【0005】
また、自家蛍光観察においては、例えばゲイン値を上げるような、画像全域の明るさを一様に高めるための処理が行われている。しかし、このような処理によれば、明るさを高める必要のある領域の明るさを高められる反面、(例えば管腔のような、)明るさを高める必要のない領域の明るさも高められてしまうため、結果的に、S/Nの低い画像が生成あるいは出力されてしまう。
【0006】
一方、日本国特開2004−215738号公報によれば、励起光が照射されていないために本来自家蛍光を発していないはずの部位が病変部位として表示されることを防ぐための技術が開示されている反面、前述した課題、及び、前述した課題を解決するための手段については何ら言及されていない。
【0007】
本発明は、前述した事情に鑑みてなされたものであり、自家蛍光を利用した観察において、正常部位と病変部位とを視覚的に区別でき、かつ、S/Nの低下が抑制された画像を生成可能な画像処理装置を提供することを目的としている。
【課題を解決するための手段】
【0008】
本発明の画像処理装置は、被検体の同一部位を撮像した蛍光画像及び反射光画像を用い、該蛍光画像から該反射光画像を除算した画像を生成する除算処理部と、前記蛍光画像及び前記反射光画像各々において、局所領域毎の明るさをそれぞれ算出する明るさ算出部と、前記明るさ算出部の算出結果に基づき、前記局所領域毎の明暗を判定する第1の判定部と、前記明るさ算出部の算出結果に基づき、前記蛍光画像における一の局所領域の明るさと、前記反射光画像における該一の局所領域の明るさと、が類似であるか否かを前記局所領域毎に判定する第2の判定部と、前記第1の判定部の判定結果、及び、前記第2の判定部の判定結果に基づき、前記局所領域毎にゲイン値を調整するゲイン調整部と、前記除算処理部により生成された画像に対し、前記ゲイン調整部により調整された前記局所領域毎のゲイン値を乗ずる乗算部と、を有する。
【0009】
本発明の画像処理装置は、被検体の同一部位を撮像した蛍光画像及び反射光画像を用い、該蛍光画像から該反射光画像を除算した画像を生成する除算処理部と、前記蛍光画像及び前記反射光画像各々において、画素毎の明るさをそれぞれ算出する明るさ算出部と、前記明るさ算出部の算出結果に基づき、前記画素毎の明暗を判定する第1の判定部と、前記明るさ算出部の算出結果に基づき、前記蛍光画像における一の画素の明るさと、前記反射光画像における該一の画素の明るさと、が類似であるか否かを前記画素毎に判定する第2の判定部と、前記第1の判定部の判定結果、及び、前記第2の判定部の判定結果に基づき、前記画素毎にゲイン値を調整するゲイン調整部と、前記除算処理部により生成された画像に対し、前記ゲイン調整部により調整された前記画素毎のゲイン値を乗ずる乗算部と、を有する。
【発明の効果】
【0010】
本発明における画像処理装置によると、自家蛍光を利用した観察において、正常部位と病変部位とを視覚的に区別でき、かつ、S/Nの低下が抑制された画像を生成可能である。
【図面の簡単な説明】
【0011】
【図1】本発明の実施例に係る画像処理装置を有する内視鏡装置の要部の構成を示す図。
【図2】励起光カットフィルタの分光特性の一例を示す図。
【図3】切替フィルタの具体的な構成の一例を示す図。
【図4】図3の切替フィルタに設けられたRフィルタと、Gフィルタと、Bフィルタとの分光特性を示す図。
【図5】図3の切替フィルタに設けられたE1フィルタおよびG1フィルタの分光特性を示す図。
【図6】画像処理部の具体的な構成の一例を示すブロック図。
【図7】図6の画像処理部に設けられた画質補正部の具体的な構成の一例を示すブロック図。
【図8】F1成分の画像のサイズ、及び、該画像における画素位置を模式的に示す図。
【図9】Ref1成分の画像のサイズ、及び、該画像における画素位置を模式的に示す図。
【図10】暗部画素判定部において行われる処理の一例を示すフローチャート。
【図11】明るさ類似画素判定部において行われる処理の一例を示すフローチャート。
【発明を実施するための形態】
【0012】
以下、本発明の実施の形態について、図面を参照しつつ説明を行う。図1から図11は、本発明の実施例に係るものである。
【0013】
内視鏡装置1は、図1に示すように、体腔内の被写体を撮像して撮像信号を出力する内視鏡2と、被写体の観察の際に用いる光を発する光源装置3と、内視鏡2から出力される撮像信号に基づいて観察画像を生成するプロセッサ4と、プロセッサ4により生成された観察画像を表示するモニタ5と、を有して構成されている。
【0014】
内視鏡2は、体腔内に挿入可能な形状等を有する挿入部7を有している。また、挿入部7の先端側には、図示しない湾曲操作部の操作に応じた所望の方向へ湾曲可能な先端部8が設けられている。
【0015】
一方、挿入部7及び先端部8の内部には、光源装置3から照射される光を先端部へ導くライトガイド9が挿通されている。
【0016】
ライトガイド9の一方の端部は、光源装置3に対して着脱自在に接続される光源用コネクタ10(の内部)に配置されている。また、ライトガイド9の他方の端部は、先端部8に設けられた照明レンズ24の近傍に配置されている。
【0017】
先端部8は、ライトガイド9により導かれた光を拡散させて被写体へ出射する照明レンズ24と、被写体の光学像を結ぶための対物レンズ系25と、遠点から近点までフォーカスを合わせるため空間的に入射光量を制限する絞り26と、励起光カットフィルタ27と、対物レンズ系25の結像位置に配置された撮像素子28と、スコープスイッチ29と、スコープID発生部41とを有している。
【0018】
励起光カットフィルタ27は、蛍光観察の際に照射される励起光(の反射光)を遮光するとともに、励起光よりも長波長側の光を透過させる特性を有している。具体的には、励起光カットフィルタ27は、例えば図2に示すように、470〜700nmの波長帯域を有する光を透過させ、かつ、該波長帯域以外の光を遮る特性を有している。
【0019】
撮像素子28は、プロセッサ4から出力される撮像素子駆動信号に応じて駆動される。また、撮像素子28は、対物レンズ系25を経て結像された被写体の像を撮像し、撮像した被写体の像を撮像信号に変換してプロセッサ4へ出力する。
【0020】
スコープスイッチ29には、図示しない1または複数の入力インターフェースが設けられている。具体的には、スコープスイッチ29には、例えば、レリーズスイッチ、フリーズスイッチ、及び、通常観察と蛍光観察との切替を行うための観察モード切替スイッチ等が設けられている。また、スコープスイッチ29は、各入力インターフェースの操作に応じた操作指示信号をプロセッサ4へ出力する。
【0021】
スコープID発生部41は、内視鏡2とプロセッサ4とが電気的に接続された際に、内視鏡2の機種情報等を備えたID情報をプロセッサ4へ出力することができるような構成を有している。
【0022】
光源装置3は、赤外波長帯域から可視光帯域を含む光を発するランプ11と、プロセッサ4の制御に応じてランプ11を駆動するランプ駆動部12と、ランプ11の照射光路上に配置され、プロセッサ4の制御に応じて絞り量を増減可能な光源絞り13と、光源絞り13の後段に配置された切替フィルタ部14と、切替フィルタ部14を通過した光を集光する集光レンズ15と、を有している。
【0023】
切替フィルタ部14は、ランプ11の照射光路上に介挿される切替フィルタ17と、切替フィルタ17を回転駆動させるための回転用モータ16と、回転用モータ16に取り付けられたラック18と、ラック18に螺合するように取り付けられたピニオン19と、ピニオン19を回転駆動することにより、切替フィルタ17をランプ11の照射光路の軸に対して垂直方向に移動させるための移動用モータ20と、を有している。
【0024】
回転用モータ16は、回転軸等に取り付けられているとともに、切替フィルタ17の駆動状態に関する情報を駆動状態信号に変換してプロセッサ4へ出力することが可能な、図示しないエンコーダを有して構成されている。
【0025】
切替フィルタ17は、例えば図3に示すように、円板形状を有して形成されている。切替フィルタ17の内周部には、通常観察の際に用いられるRGBフィルタ21が配置されている。切替フィルタ17の外周部には、蛍光観察の際に用いられる蛍光観察用フィルタ22が配置されている。そして、RGBフィルタ21及び蛍光観察用フィルタ22は、円板形状の切替フィルタ17において同心状となるように配置されている。
【0026】
以上に述べたような構成において、スコープスイッチ29の観察モード切替スイッチが操作されると、該操作に応じた操作指示信号がプロセッサ4へ出力され、該操作指示信号に基づく移動用モータ20の動作制御が行われる。移動用モータ20は、スコープスイッチ29の観察モード切替スイッチにおいて通常観察が選択された際には、RGBフィルタ21をランプ11の照射光路上に配置するように動作する。また、移動用モータ20は、スコープスイッチ29の観察モード切替スイッチにおいて蛍光観察が選択された際には、蛍光観察用フィルタ22をランプ11の照射光路上に配置するように動作する。
【0027】
RGBフィルタ21は、周方向を略3等分するように設けられた、赤色の波長帯域を有する光を透過させるRフィルタ21aと、緑色の波長帯域を有する光を透過させるGフィルタ21bと、青色の波長帯域を有する光を透過させるBフィルタ21cと、を有している。また、Rフィルタ21a、Gフィルタ21b及びBフィルタ21cの各フィルタは、通常観察の際に、回転用モータ16による回転駆動に応じ、ランプ11の照射光路上に順次かつ略連続的に介挿されるように構成されている。
【0028】
Rフィルタ21aは、例えば図4に示すように、600〜700nmの波長帯域を有するR光を透過させる特性を有している。Gフィルタ21bは、例えば図4に示すように、500〜600nmの波長帯域を有するG光を透過させる特性を有している。Bフィルタ21cは、例えば図4に示すように、400〜500nmの波長帯域を有するB光を透過させる特性を有している。
【0029】
蛍光観察用フィルタ22は、周方向を略2等分するように設けられた、狭帯域の励起光を透過させるE1フィルタ22aと、狭帯域の緑色の波長帯域を有する光を透過させるG1フィルタ22bと、を有している。また、E1フィルタ22a及びG1フィルタ22bの各フィルタは、蛍光観察の際に、回転用モータ16による回転駆動に応じ、ランプ11の照射光路上に順次かつ略連続的に介挿されるように構成されている。
【0030】
E1フィルタ22aは、例えば図5に示すように、395〜445nmの波長帯域を有するE1光を透過させる特性を有している。G1フィルタ22bは、例えば図5に示すように、540〜560nmの波長帯域を有するG1光を透過させる特性を有している。
【0031】
なお、G1フィルタ22bの特性は、前述したものに限定されず、例えば、550nmを含み、かつ、半値全幅が50nm未満の波長帯域を有する光を透過させるような特性を有していれば良い。
【0032】
プロセッサ4は、撮像素子駆動部31と、プリアンプ32と、A/Dコンバータ34と、マルチプレクサ35と、第1フレームメモリ36aと、第2フレームメモリ36bと、第3フレームメモリ36cと、制御部37と、画像処理部38と、D/Aコンバータ39と、調光部40と、機種検知部42と、を有して構成されている。
【0033】
撮像素子28から出力された撮像信号は、プリアンプ32において増幅された後、A/Dコンバータ34によりアナログ信号からデジタル信号に変換される。そして、デジタル信号に変換された撮像信号は、該撮像信号の記録先を色成分毎に切り替えるマルチプレクサ35を経た後、第1フレームメモリ36a、第2フレームメモリ36bおよび第3フレームメモリ36cに一時的に記録される。
【0034】
ここで、第1フレームメモリ36aには、モニタ5におけるR(赤)チャンネルの輝度成分として割り当てられる色成分の信号が入力される。また、第2フレームメモリ36bには、モニタ5におけるG(緑)チャンネルの輝度成分として割り当てられる色成分の信号が入力される。さらに、第3フレームメモリ36cには、モニタ5におけるB(青)チャンネルの輝度成分として割り当てられる色成分の信号が入力される。
【0035】
第1フレームメモリ36a、第2フレームメモリ36b及び第3フレームメモリ36cに入力及び記録された各色成分の信号は、所定の時間周期において同期した画像信号として、画像処理部38へ出力される。
【0036】
画像処理部38は、入力される画像信号に対して種々の信号処理を施した後、該信号処理後の画像信号をD/Aコンバータ39へ出力する。なお、画像処理部38の具体的な構成、及び、画像処理部38において行われる信号処理の詳細については、それぞれ後述する。
【0037】
そして、画像処理部38において種々の信号処理が施された画像信号は、D/Aコンバータ39によりアナログの映像信号に変換された後、モニタ5へ出力される。
【0038】
撮像素子駆動部31は、例えば、制御部37の制御に応じて電子シャッタ機能を動作させることにより、撮像素子28の受光光量を観察の種別に応じた適切な光量とするような制御を行う。
【0039】
調光部40は、プリアンプ32を経た撮像信号に基づき、該撮像信号の明るさを検出する。そして、調光部40は、検出した前記明るさと、制御部37の制御とに基づき、光源絞り13の絞り量を観察の種別に応じた適切な絞り量とするような制御を行う。
【0040】
機種検知部42は、スコープID発生部41から出力されたID情報に基づいて内視鏡2の機種情報を検知し、検知した該機種情報を制御部37に対して出力する。
【0041】
制御部37は、回転用モータ16のエンコーダから出力される駆動状態信号に基づいてタイミング信号を生成する。そして、制御部37は、撮像素子駆動部31、マルチプレクサ35、画像処理部38及び調光部40の各部に前記タイミング信号を出力することにより、該各部の同期を取りながら動作させるような制御を行う。
【0042】
制御部37は、スコープスイッチ29の観察モード切替スイッチから出力される操作指示信号に基づき、観察の種別に応じた制御を撮像素子駆動部31、マルチプレクサ35、画像処理部38及び調光部40の各部に対して行う。
【0043】
具体的には、制御部37は、例えば、スコープスイッチ29の観察モード切替スイッチにおいて通常観察が選択された場合、前述のR光の照射時に取得される色成分としてのR成分の信号を第1フレームメモリ36aに記録させ、前述のG光の照射時に取得される色成分としてのG成分の信号を第2フレームメモリ36bに記録させ、前述のB光の照射時に取得される色成分としてのB成分の信号を第3フレームメモリ36cに記録させるような制御をマルチプレクサ35に対して行う。また、制御部37は、例えば、スコープスイッチ29の観察モード切替スイッチにおいて蛍光観察が選択された場合、前述のE1光の照射に伴って取得される蛍光像の色成分としてのF1成分の信号を第2フレームメモリ36bに記録させ、前述のG1光の照射に伴って取得される参照光像(反射光像)の色成分としてのRef1成分の信号を第1フレームメモリ36a及び第3フレームメモリ36cの少なくとも一方に記録させるような制御をマルチプレクサ35に対して行う。
【0044】
また、制御部37は、スコープスイッチ29の観察モード切替スイッチから出力される操作指示信号に基づき、ランプ11から発せられる光の光量を観察の種別に応じた適切な光量とするような制御をランプ駆動部12に対して行う。
【0045】
次に、図6及び図7を参照しつつ、画像処理部38の具体的な構成について説明する。
【0046】
画像処理部38は、図6に示すように、前処理部51と、ノイズ低減部52と、セレクタ53と、画質補正部54と、ガンマ補正部55と、後処理部56と、を有して構成されている。なお、画像処理部38の各部は、制御部37からのタイミング信号の入力タイミングに同期しながら動作するように構成されているものとする。
【0047】
前処理部51は、第1フレームメモリ36a、第2フレームメモリ36b及び第3フレームメモリ36cから出力される各色成分の信号を有する画像信号に対し、Y/C分離処理、クランプ処理、AGC(オートゲインコントロール)処理、及び、ホワイトバランス処理の各処理を順次施した後、該各処理を施した画像信号をノイズ低減部52へ出力する。
【0048】
ノイズ低減部52は、前処理部51から出力される画像信号に対し、ノイズリダクション処理を施した後、該ノイズリダクション処理を施した画像信号をセレクタ53へ出力する。
【0049】
セレクタ53は、制御部37の制御に基づき、通常観察の場合には、ノイズ低減部52からの画像信号をガンマ補正部55へ出力する。一方、セレクタ53は、制御部37の制御に基づき、蛍光観察の場合には、ノイズ低減部52からの画像信号を画質補正部54へ出力する。
【0050】
画質補正部54は、図7に示すように、明るさ算出部61と、除算処理部62と、暗部画素判定部63と、明るさ類似画素判定部64と、ゲイン調整部65と、乗算部66と、を有して構成されている。
【0051】
明るさ算出部61は、蛍光観察の場合にセレクタ53から出力される画像信号にそれぞれ含まれる色成分である、F1成分の信号の明るさ(輝度)と、Ref1成分の信号の明るさ(輝度)と、を算出する。
【0052】
除算処理部62は、蛍光観察の場合にセレクタ53から出力される画像信号にそれぞれ含まれる色成分である、F1成分の信号からRef1成分の信号を除算することにより、新たな画像信号を生成する。その後、除算処理部62は、生成した前記新たな画像信号を乗算部66へ出力する。
【0053】
暗部画素判定部63は、明るさ算出部61により算出されたF1成分の信号の明るさと、Ref1成分の信号の明るさと、に基づく比較処理を行うことにより、暗部画素が存在する画素位置を判定した後、判定結果をゲイン調整部65へ出力する。
【0054】
明るさ類似画素判定部64は、明るさ算出部61により算出されたF1成分の信号の明るさと、Ref1成分の信号の明るさと、に基づく比較処理を行うことにより、F1成分及びRef1成分の信号において類似の明るさを有する画素が存在する画素位置を判定した後、判定結果をゲイン調整部65へ出力する。
【0055】
ゲイン調整部65は、暗部画素判定部63における判定結果と、明るさ類似画素判定部64における判定結果と、に基づき、所定のゲイン値=α(α>1)を乗ずる画素の画素位置と、ゲイン値=1を乗ずる画素の画素位置とをそれぞれ判別した後、判別結果を乗算部66へ出力する。
【0056】
乗算部66は、除算処理部62から出力される画像信号に含まれる除算後の各画素に対し、ゲイン調整部65において判別されたゲイン値(1またはα)を乗ずる処理を行った後、該処理後の画像信号をガンマ補正部55へ出力する。
【0057】
ガンマ補正部55は、セレクタ53または画質補正部54から出力される画像信号に対してガンマ補正を施した後、ガンマ補正された画像信号を後処理部56へ出力する。
【0058】
後処理部56は、ガンマ補正部55から出力される画像信号に対し、拡大/縮小処理、エンハンス処理、同期化処理、及び、文字重畳処理の各処理を順次施した後、該各処理を施した画像信号をD/Aコンバータ39へ出力する。
【0059】
続いて、本発明の実施例としてのプロセッサ4を有する内視鏡装置1の作用について説明を行う。なお、以降においては、通常観察に関する詳細な説明を省くとともに、蛍光観察に関する説明を主に行うものとする。
【0060】
まず、術者は、内視鏡装置1の各部を図1に示すように接続した後、該各部の電源を投入する。また、術者は、内視鏡装置1の各部の電源を投入する前後において、スコープスイッチ29の観察モード切替スイッチを操作することにより、蛍光観察を選択する。
【0061】
一方、制御部37は、スコープスイッチ29の観察モード切替スイッチにおいて蛍光観察が選択されたことを検出すると、蛍光観察用フィルタ22がランプ11の照射光路上に配置されるように移動用モータ20を動作させる。その後、回転用モータ16の回転駆動に応じ、E1フィルタ22aを通過したE1光と、G1フィルタ22bを通過したG1光とがライトガイド9に順次供給される。
【0062】
撮像素子28は、E1光の照射に応じて被写体の蛍光像を取得し、また、G1光の照射に応じて該被写体の参照光像を取得する。そして、撮像素子28は、取得した蛍光像及び参照光像に基づく撮像信号を生成して順次プロセッサ4へ出力する。
【0063】
プロセッサ4へ出力された撮像信号は、プリアンプ32において増幅され、A/Dコンバータ34によりアナログ信号からデジタル信号に変換された後、マルチプレクサ35へ入力される。そして、マルチプレクサ35へ入力された撮像信号のうち、蛍光像の色成分としてのF1成分の信号が第2フレームメモリ36bへ出力され、参照光像の色成分としてのRef1成分の信号が第1フレームメモリ36a及び第3フレームメモリ36cの少なくとも一方へ出力される。
【0064】
第1フレームメモリ36a、第2フレームメモリ36b及び第3フレームメモリ36cに入力及び記録されたF1成分及びRef1成分の信号は、所定の時間周期において同期した画像信号として、画像処理部38へ出力される。
【0065】
画像処理部38へ出力された画像信号は、前処理部51において種々の信号処理が施され、ノイズ低減部52においてノイズリダクション処理が施された後、セレクタ53を経て画質補正部54の明るさ算出部61に入力される。
【0066】
ここで、図8及び図9に示すように、セレクタ53から出力される画像信号に含まれるF1成分及びRef1成分の画像における画像サイズをそれぞれn画素×n画素とし、F1成分の画像における画素位置をF1(i,j)(1≦i≦n、1≦j≦n)とし、Ref1成分の画像における画素位置をRef1(i,j)(1≦i≦n、1≦j≦n)として以降の説明を行う。
【0067】
明るさ算出部61は、セレクタ53から出力される画像信号に基づき、画素位置F1(i,j)における輝度YF1(i,j)を各画素位置において算出する。また、明るさ算出部61は、セレクタ53から出力される画像信号に基づき、画素位置Ref1(i,j)における輝度YRef1(i,j)を各画素位置において算出する。そして、明るさ算出部61は、F1成分の画像の各画素位置における輝度の算出結果と、Ref1成分の画像の各画素位置における輝度の算出結果とを、暗部画素判定部63及び明るさ類似画素判定部64へそれぞれ出力する。
【0068】
除算処理部62は、セレクタ53から出力される画像信号に基づき、画素位置F1(i,j)の画素値から画素位置Ref1(i,j)の画素値を除する演算を各画素位置において行うことにより、新たな画像信号を生成する。その後、除算処理部62は、生成した前記新たな画像信号を乗算部66へ出力する。そして、このような処理が除算処理部62において行われることにより、正常部位と病変部位とを視覚的に区別可能な画像が生成される。
【0069】
一方、暗部画素判定部63は、明るさ算出部61から出力される輝度YF1(i,j)及び輝度YRef1(i,j)に基づいて下記のような処理を行うことにより、暗部画素が存在する画素位置を判定する。
【0070】
暗部画素判定部63は、i=1及びj=1に設定した(図10のステップS1)後、輝度YF1(i,j)が閾値Th1以下であるか否かの判定を行う(図10のステップS2)。そして、暗部画素判定部63は、輝度YF1(i,j)が閾値Th1以下であることを検出した場合、図10のステップS3の処理を続けて行う。また、暗部画素判定部63は、輝度YF1(i,j)が閾値Th1を超えていることを検出した場合、画素位置F1(i,j)及び画素位置Ref1(i,j)に対してflag1=Lの値を関連付けた(図10のステップS4)後、図10のステップS6の処理を続けて行う。
【0071】
暗部画素判定部63は、輝度YF1(i,j)が閾値Th1以下であることを検出した場合、輝度YRef1(i,j)が閾値Th1以下であるか否かの判定をさらに行う(図10のステップS3)。そして、暗部画素判定部63は、輝度YF1(i,j)が閾値Th1以下であり、かつ、輝度YRef1(i,j)も閾値Th1以下であることを検出した場合、画素位置F1(i,j)及び画素位置Ref1(i,j)に対してflag1=Hの値を関連付けた(図10のステップS5)後、図10のステップS6の処理を続けて行う。また、暗部画素判定部63は、輝度YRef1(i,j)が閾値Th1を超えていることを検出した場合、画素位置F1(i,j)及び画素位置Ref1(i,j)に対してflag1=Lの値を関連付けた(図10のステップS4)後、図10のステップS6の処理を続けて行う。
【0072】
暗部画素判定部63は、画素位置を水平方向に1画素ずつ変化させながら、図10のステップS2〜ステップS5までに示した処理を、i=nに達するまでの間繰り返し行う(図10のステップS6及びステップS7)。また、暗部画素判定部63は、水平方向の画素位置がi=nに達したことを検出すると、今度は画素位置を垂直方向に1画素ずつ変化させながら、図10のステップS2〜ステップS5までに示した処理を、j=nに達するまでの間繰り返し行う(図10のステップS8及びステップS9)。
【0073】
すなわち、以上に述べたような各処理が暗部画素判定部63において行われることにより、flag1=Hの値が関連付けられた画素位置の画素が暗部画素であり、flag1=Lの値が関連付けられた画素位置の画素が非暗部画素である、という判定結果が得られる。そして、暗部画素判定部63は、前述の判定結果をゲイン調整部65へ出力する。
【0074】
また、明るさ類似画素判定部64は、明るさ算出部61から出力される輝度YF1(i,j)及び輝度YRef1(i,j)に基づいて下記のような処理を行うことにより、F1成分及びRef1成分の信号において類似の明るさを有する画素が存在する画素位置を判定する。
【0075】
明るさ類似画素判定部64は、i=1及びj=1に設定した(図11のステップS11)後、|YF1(i,j)−YRef1(i,j)|の演算結果が閾値Th2以下であるか否かの判定を行う(図11のステップS12)。そして、明るさ類似画素判定部64は、|YF1(i,j)−YRef1(i,j)|の演算結果が閾値Th2以下であることを検出した場合、画素位置F1(i,j)及び画素位置Ref1(i,j)に対してflag2=Hの値を関連付けた(図11のステップS13)後、図11のステップS15の処理を続けて行う。また、明るさ類似画素判定部64は、|YF1(i,j)−YRef1(i,j)|の演算結果が閾値Th2を超えていることを検出した場合、画素位置F1(i,j)及び画素位置Ref1(i,j)に対してflag2=Lの値を関連付けた(図11のステップS14)後、図11のステップS15の処理を続けて行う。
【0076】
明るさ類似画素判定部64は、画素位置を水平方向に1画素ずつ変化させながら、図11のステップS12〜ステップS14までに示した処理を、i=nに達するまでの間繰り返し行う(図11のステップS15及びステップS16)。また、明るさ類似画素判定部64は、水平方向の画素位置がi=nに達したことを検出すると、今度は画素位置を垂直方向に1画素ずつ変化させながら、図11のステップS12〜ステップS14までに示した処理を、j=nに達するまでの間繰り返し行う(図11のステップS17及びステップS18)。
【0077】
すなわち、以上に述べたような各処理が明るさ類似画素判定部64において行われることにより、F1成分及びRef1成分の信号において、flag2=Hの値が関連付けられた画素位置の画素の明るさが類似しており、flag2=Lの値が関連付けられた画素位置の画素の明るさが非類似である、という判定結果が得られる。そして、明るさ類似画素判定部64は、前述の判定結果をゲイン調整部65へ出力する。
【0078】
なお、本実施例においては、1つの画素位置毎にflag1及びflag2の値を関連付けるものに限らず、例えば、4画素×4画素または9画素×9画素といったような複数の画素からなる局所領域毎にflag1及びflag2の値を関連付けるような処理を行うものであっても良い。(このような場合、例えば、所定のサイズの局所領域毎に算出した輝度の平均値を用いることにより、図10及び図11に示す各処理を適用することができる。)
ゲイン調整部65は、暗部画素判定部63における判定結果と、明るさ類似画素判定部64における判定結果と、に基づき、flag1=Hかつflag2=Hである画素位置を、ゲイン値=1を乗じる画素位置として判別する。また、ゲイン調整部65は、暗部画素判定部63における判定結果と、明るさ類似画素判定部64における判定結果と、に基づき、flag1=Hかつflag2=Hでない画素位置を、ゲイン値=α(α>1)を乗じる画素位置として判別する。そして、ゲイン調整部65は、判別結果を乗算部66へ出力する。
【0079】
乗算部66は、除算処理部62から出力される画像信号に含まれる除算後の各画素に対し、ゲイン調整部65において判別されたゲイン値(1またはα)を乗ずる処理を行った後、該処理後の画像信号をガンマ補正部55へ出力する。
【0080】
すなわち、以上に述べたような各処理がゲイン調整部65及び乗算部66において行われることにより、例えば管腔のような、蛍光像及び参照光像の両方において暗部となり、かつ、蛍光像と参照光像との間における明るさの差が小さくなる領域に対するゲインアップが行われない(ゲイン値=1となる)ため、結果的に、S/Nの低下を抑制することができる。
【0081】
一方、乗算部66から出力された画像信号は、ガンマ補正部55においてガンマ補正が施され、後処理部56において拡大/縮小処理、エンハンス処理、同期化処理、及び、文字重畳処理の各処理が順次施され、D/Aコンバータ39においてアナログの映像信号に変換された後、モニタ5へ出力される。
【0082】
そして、以上のような各処理が行われることにより、蛍光観察の観察画像として、正常部位と病変部位とを視覚的に区別でき、かつ、S/Nの低下が抑制された画像がモニタ5に表示される。
【0083】
なお、本実施例の画像処理部38の画質補正部54は、ノイズ低減部52の後段かつガンマ補正部55の前段に配置されるものに限らず、例えば、ノイズ低減部52の前段のいずれかに配置されても良く、または、ガンマ補正部55の後段のいずれかに配置されても良い。(但し、ガンマ補正部55の後段のいずれかに画質補正部54を配置した場合、画質補正部54の後段において再度ガンマ補正を行う必要がある。)
また、本実施例は、内視鏡装置1のような、所謂面順次式の構成を備えたもののみに適用されるものに限らず、所謂同時式の構成を備えたものに対しても適用することができる。
【0084】
本発明は、上述した実施例に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更や応用が可能であることは勿論である。
【符号の説明】
【0085】
1・・・内視鏡装置
2・・・内視鏡
3・・・光源装置
4・・・プロセッサ
5・・・モニタ
11・・・ランプ
17・・・切替フィルタ
22・・・蛍光観察用フィルタ
28・・・撮像素子
37・・・制御部
38・・・画像処理部
54・・・画質補正部
61・・・明るさ算出部
62・・・除算処理部
63・・・暗部画素判定部
64・・・明るさ類似画素判定部
65・・・ゲイン調整部
66・・・乗算部
【先行技術文献】
【特許文献】
【0086】
【特許文献1】日本国特開2004−215738号公報
【技術分野】
【0001】
本発明は、画像処理装置に関し、特に、自家蛍光を利用した観察に応じた画像を生成する画像処理装置に関するものである。
【背景技術】
【0002】
被検体内部における被写体の像を取得するとともに、該被写体の像に応じた画像を生成可能な内視鏡装置は、医療分野等において従来広く用いられている。特に、医療分野における内視鏡装置は、例えば、生体内の検査及び観察等を行うために用いられている。
【0003】
医療分野における内視鏡装置を用いた観察として一般的に知られているものとしては、例えば、白色光を生体内の被写体に照射し、肉眼による観察と略同様の被写体の像としての白色光画像を取得する白色光観察(通常観察)の他に、特定の波長帯域を有する励起光及び参照光を生体内の被写体に照射し、該励起光に応じて被写体から発せられる自家蛍光の像としての自家蛍光画像と、該参照光が被写体において反射した反射光の像としての参照光画像(反射光画像)とを取得する自家蛍光観察がある。そして、このような自家蛍光観察を実施可能な内視鏡装置が、例えば、日本国特開2004−215738号公報に開示されている。
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、自家蛍光観察においては、一般的に、腫瘍部等の病変部位よりも正常部位の方が強い蛍光を発するとされている。しかし、観察条件次第により、正常部位よりも病変部位の方が強い蛍光を発するような状況、または、正常部位と病変部位とが略同一の強度の蛍光を発するような状況が生じ得るため、結果的に、これらの状況においては、正常部位と病変部位とを視覚的に区別できない画像が生成あるいは出力されてしまう。
【0005】
また、自家蛍光観察においては、例えばゲイン値を上げるような、画像全域の明るさを一様に高めるための処理が行われている。しかし、このような処理によれば、明るさを高める必要のある領域の明るさを高められる反面、(例えば管腔のような、)明るさを高める必要のない領域の明るさも高められてしまうため、結果的に、S/Nの低い画像が生成あるいは出力されてしまう。
【0006】
一方、日本国特開2004−215738号公報によれば、励起光が照射されていないために本来自家蛍光を発していないはずの部位が病変部位として表示されることを防ぐための技術が開示されている反面、前述した課題、及び、前述した課題を解決するための手段については何ら言及されていない。
【0007】
本発明は、前述した事情に鑑みてなされたものであり、自家蛍光を利用した観察において、正常部位と病変部位とを視覚的に区別でき、かつ、S/Nの低下が抑制された画像を生成可能な画像処理装置を提供することを目的としている。
【課題を解決するための手段】
【0008】
本発明の画像処理装置は、被検体の同一部位を撮像した蛍光画像及び反射光画像を用い、該蛍光画像から該反射光画像を除算した画像を生成する除算処理部と、前記蛍光画像及び前記反射光画像各々において、局所領域毎の明るさをそれぞれ算出する明るさ算出部と、前記明るさ算出部の算出結果に基づき、前記局所領域毎の明暗を判定する第1の判定部と、前記明るさ算出部の算出結果に基づき、前記蛍光画像における一の局所領域の明るさと、前記反射光画像における該一の局所領域の明るさと、が類似であるか否かを前記局所領域毎に判定する第2の判定部と、前記第1の判定部の判定結果、及び、前記第2の判定部の判定結果に基づき、前記局所領域毎にゲイン値を調整するゲイン調整部と、前記除算処理部により生成された画像に対し、前記ゲイン調整部により調整された前記局所領域毎のゲイン値を乗ずる乗算部と、を有する。
【0009】
本発明の画像処理装置は、被検体の同一部位を撮像した蛍光画像及び反射光画像を用い、該蛍光画像から該反射光画像を除算した画像を生成する除算処理部と、前記蛍光画像及び前記反射光画像各々において、画素毎の明るさをそれぞれ算出する明るさ算出部と、前記明るさ算出部の算出結果に基づき、前記画素毎の明暗を判定する第1の判定部と、前記明るさ算出部の算出結果に基づき、前記蛍光画像における一の画素の明るさと、前記反射光画像における該一の画素の明るさと、が類似であるか否かを前記画素毎に判定する第2の判定部と、前記第1の判定部の判定結果、及び、前記第2の判定部の判定結果に基づき、前記画素毎にゲイン値を調整するゲイン調整部と、前記除算処理部により生成された画像に対し、前記ゲイン調整部により調整された前記画素毎のゲイン値を乗ずる乗算部と、を有する。
【発明の効果】
【0010】
本発明における画像処理装置によると、自家蛍光を利用した観察において、正常部位と病変部位とを視覚的に区別でき、かつ、S/Nの低下が抑制された画像を生成可能である。
【図面の簡単な説明】
【0011】
【図1】本発明の実施例に係る画像処理装置を有する内視鏡装置の要部の構成を示す図。
【図2】励起光カットフィルタの分光特性の一例を示す図。
【図3】切替フィルタの具体的な構成の一例を示す図。
【図4】図3の切替フィルタに設けられたRフィルタと、Gフィルタと、Bフィルタとの分光特性を示す図。
【図5】図3の切替フィルタに設けられたE1フィルタおよびG1フィルタの分光特性を示す図。
【図6】画像処理部の具体的な構成の一例を示すブロック図。
【図7】図6の画像処理部に設けられた画質補正部の具体的な構成の一例を示すブロック図。
【図8】F1成分の画像のサイズ、及び、該画像における画素位置を模式的に示す図。
【図9】Ref1成分の画像のサイズ、及び、該画像における画素位置を模式的に示す図。
【図10】暗部画素判定部において行われる処理の一例を示すフローチャート。
【図11】明るさ類似画素判定部において行われる処理の一例を示すフローチャート。
【発明を実施するための形態】
【0012】
以下、本発明の実施の形態について、図面を参照しつつ説明を行う。図1から図11は、本発明の実施例に係るものである。
【0013】
内視鏡装置1は、図1に示すように、体腔内の被写体を撮像して撮像信号を出力する内視鏡2と、被写体の観察の際に用いる光を発する光源装置3と、内視鏡2から出力される撮像信号に基づいて観察画像を生成するプロセッサ4と、プロセッサ4により生成された観察画像を表示するモニタ5と、を有して構成されている。
【0014】
内視鏡2は、体腔内に挿入可能な形状等を有する挿入部7を有している。また、挿入部7の先端側には、図示しない湾曲操作部の操作に応じた所望の方向へ湾曲可能な先端部8が設けられている。
【0015】
一方、挿入部7及び先端部8の内部には、光源装置3から照射される光を先端部へ導くライトガイド9が挿通されている。
【0016】
ライトガイド9の一方の端部は、光源装置3に対して着脱自在に接続される光源用コネクタ10(の内部)に配置されている。また、ライトガイド9の他方の端部は、先端部8に設けられた照明レンズ24の近傍に配置されている。
【0017】
先端部8は、ライトガイド9により導かれた光を拡散させて被写体へ出射する照明レンズ24と、被写体の光学像を結ぶための対物レンズ系25と、遠点から近点までフォーカスを合わせるため空間的に入射光量を制限する絞り26と、励起光カットフィルタ27と、対物レンズ系25の結像位置に配置された撮像素子28と、スコープスイッチ29と、スコープID発生部41とを有している。
【0018】
励起光カットフィルタ27は、蛍光観察の際に照射される励起光(の反射光)を遮光するとともに、励起光よりも長波長側の光を透過させる特性を有している。具体的には、励起光カットフィルタ27は、例えば図2に示すように、470〜700nmの波長帯域を有する光を透過させ、かつ、該波長帯域以外の光を遮る特性を有している。
【0019】
撮像素子28は、プロセッサ4から出力される撮像素子駆動信号に応じて駆動される。また、撮像素子28は、対物レンズ系25を経て結像された被写体の像を撮像し、撮像した被写体の像を撮像信号に変換してプロセッサ4へ出力する。
【0020】
スコープスイッチ29には、図示しない1または複数の入力インターフェースが設けられている。具体的には、スコープスイッチ29には、例えば、レリーズスイッチ、フリーズスイッチ、及び、通常観察と蛍光観察との切替を行うための観察モード切替スイッチ等が設けられている。また、スコープスイッチ29は、各入力インターフェースの操作に応じた操作指示信号をプロセッサ4へ出力する。
【0021】
スコープID発生部41は、内視鏡2とプロセッサ4とが電気的に接続された際に、内視鏡2の機種情報等を備えたID情報をプロセッサ4へ出力することができるような構成を有している。
【0022】
光源装置3は、赤外波長帯域から可視光帯域を含む光を発するランプ11と、プロセッサ4の制御に応じてランプ11を駆動するランプ駆動部12と、ランプ11の照射光路上に配置され、プロセッサ4の制御に応じて絞り量を増減可能な光源絞り13と、光源絞り13の後段に配置された切替フィルタ部14と、切替フィルタ部14を通過した光を集光する集光レンズ15と、を有している。
【0023】
切替フィルタ部14は、ランプ11の照射光路上に介挿される切替フィルタ17と、切替フィルタ17を回転駆動させるための回転用モータ16と、回転用モータ16に取り付けられたラック18と、ラック18に螺合するように取り付けられたピニオン19と、ピニオン19を回転駆動することにより、切替フィルタ17をランプ11の照射光路の軸に対して垂直方向に移動させるための移動用モータ20と、を有している。
【0024】
回転用モータ16は、回転軸等に取り付けられているとともに、切替フィルタ17の駆動状態に関する情報を駆動状態信号に変換してプロセッサ4へ出力することが可能な、図示しないエンコーダを有して構成されている。
【0025】
切替フィルタ17は、例えば図3に示すように、円板形状を有して形成されている。切替フィルタ17の内周部には、通常観察の際に用いられるRGBフィルタ21が配置されている。切替フィルタ17の外周部には、蛍光観察の際に用いられる蛍光観察用フィルタ22が配置されている。そして、RGBフィルタ21及び蛍光観察用フィルタ22は、円板形状の切替フィルタ17において同心状となるように配置されている。
【0026】
以上に述べたような構成において、スコープスイッチ29の観察モード切替スイッチが操作されると、該操作に応じた操作指示信号がプロセッサ4へ出力され、該操作指示信号に基づく移動用モータ20の動作制御が行われる。移動用モータ20は、スコープスイッチ29の観察モード切替スイッチにおいて通常観察が選択された際には、RGBフィルタ21をランプ11の照射光路上に配置するように動作する。また、移動用モータ20は、スコープスイッチ29の観察モード切替スイッチにおいて蛍光観察が選択された際には、蛍光観察用フィルタ22をランプ11の照射光路上に配置するように動作する。
【0027】
RGBフィルタ21は、周方向を略3等分するように設けられた、赤色の波長帯域を有する光を透過させるRフィルタ21aと、緑色の波長帯域を有する光を透過させるGフィルタ21bと、青色の波長帯域を有する光を透過させるBフィルタ21cと、を有している。また、Rフィルタ21a、Gフィルタ21b及びBフィルタ21cの各フィルタは、通常観察の際に、回転用モータ16による回転駆動に応じ、ランプ11の照射光路上に順次かつ略連続的に介挿されるように構成されている。
【0028】
Rフィルタ21aは、例えば図4に示すように、600〜700nmの波長帯域を有するR光を透過させる特性を有している。Gフィルタ21bは、例えば図4に示すように、500〜600nmの波長帯域を有するG光を透過させる特性を有している。Bフィルタ21cは、例えば図4に示すように、400〜500nmの波長帯域を有するB光を透過させる特性を有している。
【0029】
蛍光観察用フィルタ22は、周方向を略2等分するように設けられた、狭帯域の励起光を透過させるE1フィルタ22aと、狭帯域の緑色の波長帯域を有する光を透過させるG1フィルタ22bと、を有している。また、E1フィルタ22a及びG1フィルタ22bの各フィルタは、蛍光観察の際に、回転用モータ16による回転駆動に応じ、ランプ11の照射光路上に順次かつ略連続的に介挿されるように構成されている。
【0030】
E1フィルタ22aは、例えば図5に示すように、395〜445nmの波長帯域を有するE1光を透過させる特性を有している。G1フィルタ22bは、例えば図5に示すように、540〜560nmの波長帯域を有するG1光を透過させる特性を有している。
【0031】
なお、G1フィルタ22bの特性は、前述したものに限定されず、例えば、550nmを含み、かつ、半値全幅が50nm未満の波長帯域を有する光を透過させるような特性を有していれば良い。
【0032】
プロセッサ4は、撮像素子駆動部31と、プリアンプ32と、A/Dコンバータ34と、マルチプレクサ35と、第1フレームメモリ36aと、第2フレームメモリ36bと、第3フレームメモリ36cと、制御部37と、画像処理部38と、D/Aコンバータ39と、調光部40と、機種検知部42と、を有して構成されている。
【0033】
撮像素子28から出力された撮像信号は、プリアンプ32において増幅された後、A/Dコンバータ34によりアナログ信号からデジタル信号に変換される。そして、デジタル信号に変換された撮像信号は、該撮像信号の記録先を色成分毎に切り替えるマルチプレクサ35を経た後、第1フレームメモリ36a、第2フレームメモリ36bおよび第3フレームメモリ36cに一時的に記録される。
【0034】
ここで、第1フレームメモリ36aには、モニタ5におけるR(赤)チャンネルの輝度成分として割り当てられる色成分の信号が入力される。また、第2フレームメモリ36bには、モニタ5におけるG(緑)チャンネルの輝度成分として割り当てられる色成分の信号が入力される。さらに、第3フレームメモリ36cには、モニタ5におけるB(青)チャンネルの輝度成分として割り当てられる色成分の信号が入力される。
【0035】
第1フレームメモリ36a、第2フレームメモリ36b及び第3フレームメモリ36cに入力及び記録された各色成分の信号は、所定の時間周期において同期した画像信号として、画像処理部38へ出力される。
【0036】
画像処理部38は、入力される画像信号に対して種々の信号処理を施した後、該信号処理後の画像信号をD/Aコンバータ39へ出力する。なお、画像処理部38の具体的な構成、及び、画像処理部38において行われる信号処理の詳細については、それぞれ後述する。
【0037】
そして、画像処理部38において種々の信号処理が施された画像信号は、D/Aコンバータ39によりアナログの映像信号に変換された後、モニタ5へ出力される。
【0038】
撮像素子駆動部31は、例えば、制御部37の制御に応じて電子シャッタ機能を動作させることにより、撮像素子28の受光光量を観察の種別に応じた適切な光量とするような制御を行う。
【0039】
調光部40は、プリアンプ32を経た撮像信号に基づき、該撮像信号の明るさを検出する。そして、調光部40は、検出した前記明るさと、制御部37の制御とに基づき、光源絞り13の絞り量を観察の種別に応じた適切な絞り量とするような制御を行う。
【0040】
機種検知部42は、スコープID発生部41から出力されたID情報に基づいて内視鏡2の機種情報を検知し、検知した該機種情報を制御部37に対して出力する。
【0041】
制御部37は、回転用モータ16のエンコーダから出力される駆動状態信号に基づいてタイミング信号を生成する。そして、制御部37は、撮像素子駆動部31、マルチプレクサ35、画像処理部38及び調光部40の各部に前記タイミング信号を出力することにより、該各部の同期を取りながら動作させるような制御を行う。
【0042】
制御部37は、スコープスイッチ29の観察モード切替スイッチから出力される操作指示信号に基づき、観察の種別に応じた制御を撮像素子駆動部31、マルチプレクサ35、画像処理部38及び調光部40の各部に対して行う。
【0043】
具体的には、制御部37は、例えば、スコープスイッチ29の観察モード切替スイッチにおいて通常観察が選択された場合、前述のR光の照射時に取得される色成分としてのR成分の信号を第1フレームメモリ36aに記録させ、前述のG光の照射時に取得される色成分としてのG成分の信号を第2フレームメモリ36bに記録させ、前述のB光の照射時に取得される色成分としてのB成分の信号を第3フレームメモリ36cに記録させるような制御をマルチプレクサ35に対して行う。また、制御部37は、例えば、スコープスイッチ29の観察モード切替スイッチにおいて蛍光観察が選択された場合、前述のE1光の照射に伴って取得される蛍光像の色成分としてのF1成分の信号を第2フレームメモリ36bに記録させ、前述のG1光の照射に伴って取得される参照光像(反射光像)の色成分としてのRef1成分の信号を第1フレームメモリ36a及び第3フレームメモリ36cの少なくとも一方に記録させるような制御をマルチプレクサ35に対して行う。
【0044】
また、制御部37は、スコープスイッチ29の観察モード切替スイッチから出力される操作指示信号に基づき、ランプ11から発せられる光の光量を観察の種別に応じた適切な光量とするような制御をランプ駆動部12に対して行う。
【0045】
次に、図6及び図7を参照しつつ、画像処理部38の具体的な構成について説明する。
【0046】
画像処理部38は、図6に示すように、前処理部51と、ノイズ低減部52と、セレクタ53と、画質補正部54と、ガンマ補正部55と、後処理部56と、を有して構成されている。なお、画像処理部38の各部は、制御部37からのタイミング信号の入力タイミングに同期しながら動作するように構成されているものとする。
【0047】
前処理部51は、第1フレームメモリ36a、第2フレームメモリ36b及び第3フレームメモリ36cから出力される各色成分の信号を有する画像信号に対し、Y/C分離処理、クランプ処理、AGC(オートゲインコントロール)処理、及び、ホワイトバランス処理の各処理を順次施した後、該各処理を施した画像信号をノイズ低減部52へ出力する。
【0048】
ノイズ低減部52は、前処理部51から出力される画像信号に対し、ノイズリダクション処理を施した後、該ノイズリダクション処理を施した画像信号をセレクタ53へ出力する。
【0049】
セレクタ53は、制御部37の制御に基づき、通常観察の場合には、ノイズ低減部52からの画像信号をガンマ補正部55へ出力する。一方、セレクタ53は、制御部37の制御に基づき、蛍光観察の場合には、ノイズ低減部52からの画像信号を画質補正部54へ出力する。
【0050】
画質補正部54は、図7に示すように、明るさ算出部61と、除算処理部62と、暗部画素判定部63と、明るさ類似画素判定部64と、ゲイン調整部65と、乗算部66と、を有して構成されている。
【0051】
明るさ算出部61は、蛍光観察の場合にセレクタ53から出力される画像信号にそれぞれ含まれる色成分である、F1成分の信号の明るさ(輝度)と、Ref1成分の信号の明るさ(輝度)と、を算出する。
【0052】
除算処理部62は、蛍光観察の場合にセレクタ53から出力される画像信号にそれぞれ含まれる色成分である、F1成分の信号からRef1成分の信号を除算することにより、新たな画像信号を生成する。その後、除算処理部62は、生成した前記新たな画像信号を乗算部66へ出力する。
【0053】
暗部画素判定部63は、明るさ算出部61により算出されたF1成分の信号の明るさと、Ref1成分の信号の明るさと、に基づく比較処理を行うことにより、暗部画素が存在する画素位置を判定した後、判定結果をゲイン調整部65へ出力する。
【0054】
明るさ類似画素判定部64は、明るさ算出部61により算出されたF1成分の信号の明るさと、Ref1成分の信号の明るさと、に基づく比較処理を行うことにより、F1成分及びRef1成分の信号において類似の明るさを有する画素が存在する画素位置を判定した後、判定結果をゲイン調整部65へ出力する。
【0055】
ゲイン調整部65は、暗部画素判定部63における判定結果と、明るさ類似画素判定部64における判定結果と、に基づき、所定のゲイン値=α(α>1)を乗ずる画素の画素位置と、ゲイン値=1を乗ずる画素の画素位置とをそれぞれ判別した後、判別結果を乗算部66へ出力する。
【0056】
乗算部66は、除算処理部62から出力される画像信号に含まれる除算後の各画素に対し、ゲイン調整部65において判別されたゲイン値(1またはα)を乗ずる処理を行った後、該処理後の画像信号をガンマ補正部55へ出力する。
【0057】
ガンマ補正部55は、セレクタ53または画質補正部54から出力される画像信号に対してガンマ補正を施した後、ガンマ補正された画像信号を後処理部56へ出力する。
【0058】
後処理部56は、ガンマ補正部55から出力される画像信号に対し、拡大/縮小処理、エンハンス処理、同期化処理、及び、文字重畳処理の各処理を順次施した後、該各処理を施した画像信号をD/Aコンバータ39へ出力する。
【0059】
続いて、本発明の実施例としてのプロセッサ4を有する内視鏡装置1の作用について説明を行う。なお、以降においては、通常観察に関する詳細な説明を省くとともに、蛍光観察に関する説明を主に行うものとする。
【0060】
まず、術者は、内視鏡装置1の各部を図1に示すように接続した後、該各部の電源を投入する。また、術者は、内視鏡装置1の各部の電源を投入する前後において、スコープスイッチ29の観察モード切替スイッチを操作することにより、蛍光観察を選択する。
【0061】
一方、制御部37は、スコープスイッチ29の観察モード切替スイッチにおいて蛍光観察が選択されたことを検出すると、蛍光観察用フィルタ22がランプ11の照射光路上に配置されるように移動用モータ20を動作させる。その後、回転用モータ16の回転駆動に応じ、E1フィルタ22aを通過したE1光と、G1フィルタ22bを通過したG1光とがライトガイド9に順次供給される。
【0062】
撮像素子28は、E1光の照射に応じて被写体の蛍光像を取得し、また、G1光の照射に応じて該被写体の参照光像を取得する。そして、撮像素子28は、取得した蛍光像及び参照光像に基づく撮像信号を生成して順次プロセッサ4へ出力する。
【0063】
プロセッサ4へ出力された撮像信号は、プリアンプ32において増幅され、A/Dコンバータ34によりアナログ信号からデジタル信号に変換された後、マルチプレクサ35へ入力される。そして、マルチプレクサ35へ入力された撮像信号のうち、蛍光像の色成分としてのF1成分の信号が第2フレームメモリ36bへ出力され、参照光像の色成分としてのRef1成分の信号が第1フレームメモリ36a及び第3フレームメモリ36cの少なくとも一方へ出力される。
【0064】
第1フレームメモリ36a、第2フレームメモリ36b及び第3フレームメモリ36cに入力及び記録されたF1成分及びRef1成分の信号は、所定の時間周期において同期した画像信号として、画像処理部38へ出力される。
【0065】
画像処理部38へ出力された画像信号は、前処理部51において種々の信号処理が施され、ノイズ低減部52においてノイズリダクション処理が施された後、セレクタ53を経て画質補正部54の明るさ算出部61に入力される。
【0066】
ここで、図8及び図9に示すように、セレクタ53から出力される画像信号に含まれるF1成分及びRef1成分の画像における画像サイズをそれぞれn画素×n画素とし、F1成分の画像における画素位置をF1(i,j)(1≦i≦n、1≦j≦n)とし、Ref1成分の画像における画素位置をRef1(i,j)(1≦i≦n、1≦j≦n)として以降の説明を行う。
【0067】
明るさ算出部61は、セレクタ53から出力される画像信号に基づき、画素位置F1(i,j)における輝度YF1(i,j)を各画素位置において算出する。また、明るさ算出部61は、セレクタ53から出力される画像信号に基づき、画素位置Ref1(i,j)における輝度YRef1(i,j)を各画素位置において算出する。そして、明るさ算出部61は、F1成分の画像の各画素位置における輝度の算出結果と、Ref1成分の画像の各画素位置における輝度の算出結果とを、暗部画素判定部63及び明るさ類似画素判定部64へそれぞれ出力する。
【0068】
除算処理部62は、セレクタ53から出力される画像信号に基づき、画素位置F1(i,j)の画素値から画素位置Ref1(i,j)の画素値を除する演算を各画素位置において行うことにより、新たな画像信号を生成する。その後、除算処理部62は、生成した前記新たな画像信号を乗算部66へ出力する。そして、このような処理が除算処理部62において行われることにより、正常部位と病変部位とを視覚的に区別可能な画像が生成される。
【0069】
一方、暗部画素判定部63は、明るさ算出部61から出力される輝度YF1(i,j)及び輝度YRef1(i,j)に基づいて下記のような処理を行うことにより、暗部画素が存在する画素位置を判定する。
【0070】
暗部画素判定部63は、i=1及びj=1に設定した(図10のステップS1)後、輝度YF1(i,j)が閾値Th1以下であるか否かの判定を行う(図10のステップS2)。そして、暗部画素判定部63は、輝度YF1(i,j)が閾値Th1以下であることを検出した場合、図10のステップS3の処理を続けて行う。また、暗部画素判定部63は、輝度YF1(i,j)が閾値Th1を超えていることを検出した場合、画素位置F1(i,j)及び画素位置Ref1(i,j)に対してflag1=Lの値を関連付けた(図10のステップS4)後、図10のステップS6の処理を続けて行う。
【0071】
暗部画素判定部63は、輝度YF1(i,j)が閾値Th1以下であることを検出した場合、輝度YRef1(i,j)が閾値Th1以下であるか否かの判定をさらに行う(図10のステップS3)。そして、暗部画素判定部63は、輝度YF1(i,j)が閾値Th1以下であり、かつ、輝度YRef1(i,j)も閾値Th1以下であることを検出した場合、画素位置F1(i,j)及び画素位置Ref1(i,j)に対してflag1=Hの値を関連付けた(図10のステップS5)後、図10のステップS6の処理を続けて行う。また、暗部画素判定部63は、輝度YRef1(i,j)が閾値Th1を超えていることを検出した場合、画素位置F1(i,j)及び画素位置Ref1(i,j)に対してflag1=Lの値を関連付けた(図10のステップS4)後、図10のステップS6の処理を続けて行う。
【0072】
暗部画素判定部63は、画素位置を水平方向に1画素ずつ変化させながら、図10のステップS2〜ステップS5までに示した処理を、i=nに達するまでの間繰り返し行う(図10のステップS6及びステップS7)。また、暗部画素判定部63は、水平方向の画素位置がi=nに達したことを検出すると、今度は画素位置を垂直方向に1画素ずつ変化させながら、図10のステップS2〜ステップS5までに示した処理を、j=nに達するまでの間繰り返し行う(図10のステップS8及びステップS9)。
【0073】
すなわち、以上に述べたような各処理が暗部画素判定部63において行われることにより、flag1=Hの値が関連付けられた画素位置の画素が暗部画素であり、flag1=Lの値が関連付けられた画素位置の画素が非暗部画素である、という判定結果が得られる。そして、暗部画素判定部63は、前述の判定結果をゲイン調整部65へ出力する。
【0074】
また、明るさ類似画素判定部64は、明るさ算出部61から出力される輝度YF1(i,j)及び輝度YRef1(i,j)に基づいて下記のような処理を行うことにより、F1成分及びRef1成分の信号において類似の明るさを有する画素が存在する画素位置を判定する。
【0075】
明るさ類似画素判定部64は、i=1及びj=1に設定した(図11のステップS11)後、|YF1(i,j)−YRef1(i,j)|の演算結果が閾値Th2以下であるか否かの判定を行う(図11のステップS12)。そして、明るさ類似画素判定部64は、|YF1(i,j)−YRef1(i,j)|の演算結果が閾値Th2以下であることを検出した場合、画素位置F1(i,j)及び画素位置Ref1(i,j)に対してflag2=Hの値を関連付けた(図11のステップS13)後、図11のステップS15の処理を続けて行う。また、明るさ類似画素判定部64は、|YF1(i,j)−YRef1(i,j)|の演算結果が閾値Th2を超えていることを検出した場合、画素位置F1(i,j)及び画素位置Ref1(i,j)に対してflag2=Lの値を関連付けた(図11のステップS14)後、図11のステップS15の処理を続けて行う。
【0076】
明るさ類似画素判定部64は、画素位置を水平方向に1画素ずつ変化させながら、図11のステップS12〜ステップS14までに示した処理を、i=nに達するまでの間繰り返し行う(図11のステップS15及びステップS16)。また、明るさ類似画素判定部64は、水平方向の画素位置がi=nに達したことを検出すると、今度は画素位置を垂直方向に1画素ずつ変化させながら、図11のステップS12〜ステップS14までに示した処理を、j=nに達するまでの間繰り返し行う(図11のステップS17及びステップS18)。
【0077】
すなわち、以上に述べたような各処理が明るさ類似画素判定部64において行われることにより、F1成分及びRef1成分の信号において、flag2=Hの値が関連付けられた画素位置の画素の明るさが類似しており、flag2=Lの値が関連付けられた画素位置の画素の明るさが非類似である、という判定結果が得られる。そして、明るさ類似画素判定部64は、前述の判定結果をゲイン調整部65へ出力する。
【0078】
なお、本実施例においては、1つの画素位置毎にflag1及びflag2の値を関連付けるものに限らず、例えば、4画素×4画素または9画素×9画素といったような複数の画素からなる局所領域毎にflag1及びflag2の値を関連付けるような処理を行うものであっても良い。(このような場合、例えば、所定のサイズの局所領域毎に算出した輝度の平均値を用いることにより、図10及び図11に示す各処理を適用することができる。)
ゲイン調整部65は、暗部画素判定部63における判定結果と、明るさ類似画素判定部64における判定結果と、に基づき、flag1=Hかつflag2=Hである画素位置を、ゲイン値=1を乗じる画素位置として判別する。また、ゲイン調整部65は、暗部画素判定部63における判定結果と、明るさ類似画素判定部64における判定結果と、に基づき、flag1=Hかつflag2=Hでない画素位置を、ゲイン値=α(α>1)を乗じる画素位置として判別する。そして、ゲイン調整部65は、判別結果を乗算部66へ出力する。
【0079】
乗算部66は、除算処理部62から出力される画像信号に含まれる除算後の各画素に対し、ゲイン調整部65において判別されたゲイン値(1またはα)を乗ずる処理を行った後、該処理後の画像信号をガンマ補正部55へ出力する。
【0080】
すなわち、以上に述べたような各処理がゲイン調整部65及び乗算部66において行われることにより、例えば管腔のような、蛍光像及び参照光像の両方において暗部となり、かつ、蛍光像と参照光像との間における明るさの差が小さくなる領域に対するゲインアップが行われない(ゲイン値=1となる)ため、結果的に、S/Nの低下を抑制することができる。
【0081】
一方、乗算部66から出力された画像信号は、ガンマ補正部55においてガンマ補正が施され、後処理部56において拡大/縮小処理、エンハンス処理、同期化処理、及び、文字重畳処理の各処理が順次施され、D/Aコンバータ39においてアナログの映像信号に変換された後、モニタ5へ出力される。
【0082】
そして、以上のような各処理が行われることにより、蛍光観察の観察画像として、正常部位と病変部位とを視覚的に区別でき、かつ、S/Nの低下が抑制された画像がモニタ5に表示される。
【0083】
なお、本実施例の画像処理部38の画質補正部54は、ノイズ低減部52の後段かつガンマ補正部55の前段に配置されるものに限らず、例えば、ノイズ低減部52の前段のいずれかに配置されても良く、または、ガンマ補正部55の後段のいずれかに配置されても良い。(但し、ガンマ補正部55の後段のいずれかに画質補正部54を配置した場合、画質補正部54の後段において再度ガンマ補正を行う必要がある。)
また、本実施例は、内視鏡装置1のような、所謂面順次式の構成を備えたもののみに適用されるものに限らず、所謂同時式の構成を備えたものに対しても適用することができる。
【0084】
本発明は、上述した実施例に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更や応用が可能であることは勿論である。
【符号の説明】
【0085】
1・・・内視鏡装置
2・・・内視鏡
3・・・光源装置
4・・・プロセッサ
5・・・モニタ
11・・・ランプ
17・・・切替フィルタ
22・・・蛍光観察用フィルタ
28・・・撮像素子
37・・・制御部
38・・・画像処理部
54・・・画質補正部
61・・・明るさ算出部
62・・・除算処理部
63・・・暗部画素判定部
64・・・明るさ類似画素判定部
65・・・ゲイン調整部
66・・・乗算部
【先行技術文献】
【特許文献】
【0086】
【特許文献1】日本国特開2004−215738号公報
【特許請求の範囲】
【請求項1】
被検体の同一部位を撮像した蛍光画像及び反射光画像を用い、該蛍光画像から該反射光画像を除算した画像を生成する除算処理部と、
前記蛍光画像及び前記反射光画像各々において、局所領域毎の明るさをそれぞれ算出する明るさ算出部と、
前記明るさ算出部の算出結果に基づき、前記局所領域毎の明暗を判定する第1の判定部と、
前記明るさ算出部の算出結果に基づき、前記蛍光画像における一の局所領域の明るさと、前記反射光画像における該一の局所領域の明るさと、が類似であるか否かを前記局所領域毎に判定する第2の判定部と、
前記第1の判定部の判定結果、及び、前記第2の判定部の判定結果に基づき、前記局所領域毎にゲイン値を調整するゲイン調整部と、
前記除算処理部により生成された画像に対し、前記ゲイン調整部により調整された前記局所領域毎のゲイン値を乗ずる乗算部と、
を有することを特徴とする画像処理装置。
【請求項2】
前記第2の判定部は、前記蛍光画像における前記一の局所領域の明るさと、前記反射光画像における前記一の局所領域の明るさと、の差の絶対値が所定の閾値以下である場合に、前記蛍光画像における前記一の局所領域の明るさと、前記反射光画像における前記一の局所領域の明るさと、が類似していると判定することを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記ゲイン調整部は、前記第1の判定部において暗部と判定され、かつ、前記第2の判定部において明るさが類似していると判定された場合に、前記一の局所領域におけるゲイン値を1とすることを特徴とする請求項2に記載の画像処理装置。
【請求項4】
被検体の同一部位を撮像した蛍光画像及び反射光画像を用い、該蛍光画像から該反射光画像を除算した画像を生成する除算処理部と、
前記蛍光画像及び前記反射光画像各々において、画素毎の明るさをそれぞれ算出する明るさ算出部と、
前記明るさ算出部の算出結果に基づき、前記画素毎の明暗を判定する第1の判定部と、
前記明るさ算出部の算出結果に基づき、前記蛍光画像における一の画素の明るさと、前記反射光画像における該一の画素の明るさと、が類似であるか否かを前記画素毎に判定する第2の判定部と、
前記第1の判定部の判定結果、及び、前記第2の判定部の判定結果に基づき、前記画素毎にゲイン値を調整するゲイン調整部と、
前記除算処理部により生成された画像に対し、前記ゲイン調整部により調整された前記画素毎のゲイン値を乗ずる乗算部と、
を有することを特徴とする画像処理装置。
【請求項5】
前記第2の判定部は、前記蛍光画像における前記一の画素の明るさと、前記反射光画像における前記一の画素の明るさと、の差の絶対値が所定の閾値以下である場合に、前記蛍光画像における前記一の画素の明るさと、前記反射光画像における前記一の画素の明るさと、が類似していると判定することを特徴とする請求項4に記載の画像処理装置。
【請求項6】
前記ゲイン調整部は、前記第1の判定部において暗部と判定され、かつ、前記第2の判定部において明るさが類似していると判定された場合に、前記一の画素におけるゲイン値を1とすることを特徴とする請求項5に記載の画像処理装置。
【請求項1】
被検体の同一部位を撮像した蛍光画像及び反射光画像を用い、該蛍光画像から該反射光画像を除算した画像を生成する除算処理部と、
前記蛍光画像及び前記反射光画像各々において、局所領域毎の明るさをそれぞれ算出する明るさ算出部と、
前記明るさ算出部の算出結果に基づき、前記局所領域毎の明暗を判定する第1の判定部と、
前記明るさ算出部の算出結果に基づき、前記蛍光画像における一の局所領域の明るさと、前記反射光画像における該一の局所領域の明るさと、が類似であるか否かを前記局所領域毎に判定する第2の判定部と、
前記第1の判定部の判定結果、及び、前記第2の判定部の判定結果に基づき、前記局所領域毎にゲイン値を調整するゲイン調整部と、
前記除算処理部により生成された画像に対し、前記ゲイン調整部により調整された前記局所領域毎のゲイン値を乗ずる乗算部と、
を有することを特徴とする画像処理装置。
【請求項2】
前記第2の判定部は、前記蛍光画像における前記一の局所領域の明るさと、前記反射光画像における前記一の局所領域の明るさと、の差の絶対値が所定の閾値以下である場合に、前記蛍光画像における前記一の局所領域の明るさと、前記反射光画像における前記一の局所領域の明るさと、が類似していると判定することを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記ゲイン調整部は、前記第1の判定部において暗部と判定され、かつ、前記第2の判定部において明るさが類似していると判定された場合に、前記一の局所領域におけるゲイン値を1とすることを特徴とする請求項2に記載の画像処理装置。
【請求項4】
被検体の同一部位を撮像した蛍光画像及び反射光画像を用い、該蛍光画像から該反射光画像を除算した画像を生成する除算処理部と、
前記蛍光画像及び前記反射光画像各々において、画素毎の明るさをそれぞれ算出する明るさ算出部と、
前記明るさ算出部の算出結果に基づき、前記画素毎の明暗を判定する第1の判定部と、
前記明るさ算出部の算出結果に基づき、前記蛍光画像における一の画素の明るさと、前記反射光画像における該一の画素の明るさと、が類似であるか否かを前記画素毎に判定する第2の判定部と、
前記第1の判定部の判定結果、及び、前記第2の判定部の判定結果に基づき、前記画素毎にゲイン値を調整するゲイン調整部と、
前記除算処理部により生成された画像に対し、前記ゲイン調整部により調整された前記画素毎のゲイン値を乗ずる乗算部と、
を有することを特徴とする画像処理装置。
【請求項5】
前記第2の判定部は、前記蛍光画像における前記一の画素の明るさと、前記反射光画像における前記一の画素の明るさと、の差の絶対値が所定の閾値以下である場合に、前記蛍光画像における前記一の画素の明るさと、前記反射光画像における前記一の画素の明るさと、が類似していると判定することを特徴とする請求項4に記載の画像処理装置。
【請求項6】
前記ゲイン調整部は、前記第1の判定部において暗部と判定され、かつ、前記第2の判定部において明るさが類似していると判定された場合に、前記一の画素におけるゲイン値を1とすることを特徴とする請求項5に記載の画像処理装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【公開番号】特開2011−24726(P2011−24726A)
【公開日】平成23年2月10日(2011.2.10)
【国際特許分類】
【出願番号】特願2009−172419(P2009−172419)
【出願日】平成21年7月23日(2009.7.23)
【出願人】(304050923)オリンパスメディカルシステムズ株式会社 (1,905)
【Fターム(参考)】
【公開日】平成23年2月10日(2011.2.10)
【国際特許分類】
【出願日】平成21年7月23日(2009.7.23)
【出願人】(304050923)オリンパスメディカルシステムズ株式会社 (1,905)
【Fターム(参考)】
[ Back to top ]