画像処理装置、電子機器、プログラム及び画像処理方法
【課題】 白色光の波長領域に対応する第１の画像と特定の波長領域に対応する第２の画像を取得して、第２の画像内の被写体像の種類を判別し、種類に基づいて第１の画像に強調処理を施す画像処理装置、電子機器、プログラム及び画像処理方法等を提供すること。
【解決手段】 画像処理装置は、白色光の波長帯域における情報を有した被検体像を含む画像を第１の画像として取得する第１画像取得部と、特定の波長帯域における情報を有した被検体像を含む画像を第２の画像として取得する第２画像取得部と、第２の画像内の画素の特徴量に基づいて、第２の画像内に写された被検体像の種類を判別する種類判別部と、判別された被検体像の種類に基づいて、第１の画像に対して強調処理を施す強調部と、を含む。
【解決手段】 画像処理装置は、白色光の波長帯域における情報を有した被検体像を含む画像を第１の画像として取得する第１画像取得部と、特定の波長帯域における情報を有した被検体像を含む画像を第２の画像として取得する第２画像取得部と、第２の画像内の画素の特徴量に基づいて、第２の画像内に写された被検体像の種類を判別する種類判別部と、判別された被検体像の種類に基づいて、第１の画像に対して強調処理を施す強調部と、を含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、電子機器、プログラム及び画像処理方法等に関する。
【背景技術】
【０００２】
従来より、体腔内の組織に対して回転フィルタを用いてＲ１，Ｇ１，Ｂ１の３色の光を順次照射し、それらの反射光画像から作成した画像（通常光画像）を用いて診断を行う面順次式の内視鏡システムが広く使用されている。さらに、体腔内の組織に対して前述の３色の光とは特性が異なる２種類の狭帯域光Ｇ２とＢ２を順次照射し、それらの反射光画像から作成した狭帯域光画像を用いて診断を行う内視鏡システムが提案されている（例えば特許文献１）。また、体腔内の組織に対して狭帯域の励起光を照射し、励起光により組織から発生する自家蛍光もしくは薬剤蛍光を取得して作成した蛍光画像を用いて診断を行う内視鏡システムが提案されている（例えば特許文献２）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−６８１１３号公報
【特許文献２】特開２００７−２２９０５３号公報
【特許文献３】特開２０００−１１５５５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述の特許文献１のような狭帯域光画像を取得する内視鏡システムを用いて診断を行うことで、例えば通常光画像による視認が困難な扁平上皮癌等の病変部が、正常部とは異なる褐色の領域として描出される。そのため、病変部の発見が容易になることが知られている。
【０００５】
また、上述の特許文献２のような蛍光画像を取得する内視鏡システムを用いて診断を行う場合は、腫瘍等の病変部に特異的に集積する性質を持つ蛍光薬剤を使用することで、腫瘍等の病変部だけが蛍光を発生することになり、発見が容易になる。
【０００６】
しかしこれらの狭帯域光画像や蛍光画像（これらを合わせて特殊光画像と呼ぶ）は、一般的に通常光画像と比較してかなり異なる色みを有している。さらに照明光が不足するため非常に暗い画像となるため、特殊光画像のみを用いて診断を行うことは難しい。このような理由から、ドクターの診断精度を向上するために、例えば通常光画像と特殊光画像を同時に取得して表示することが考えられる。しかし、これらの画像を並べて同時に表示すると、ドクターが常時複数の画像に注目しながら診断を行うこととなりドクターの負荷が高くなる。また、一時的に１つの画像のみに注目してしまうことで病変部を見逃すことも考えられる。
【０００７】
本発明の幾つかの態様によれば、白色光の波長領域に対応する第１の画像と特定の波長領域に対応する第２の画像を取得して、第２の画像内の被写体像の種類を判別し、種類に基づいて第１の画像に強調処理を施す画像処理装置、電子機器、プログラム及び画像処理方法等を提供することができる。また、本発明の幾つかの態様によれば、通常光画像と特殊光画像を用いた診断を行う際にドクターの負荷を低減しながら病変部の見逃しを防止する画像処理装置、電子機器、プログラム及び画像処理方法等を提供することができる。
【課題を解決するための手段】
【０００８】
本発明の一態様は、白色光の波長帯域における情報を有した被検体像を含む画像を第１の画像として取得する第１画像取得部と、特定の波長帯域における情報を有した被検体像を含む画像を第２の画像として取得する第２画像取得部と、前記第２の画像内の画素の特徴量に基づいて、前記第２の画像内に写された被検体像の種類を判別する種類判別部と、前記判別された被検体像の種類に基づいて、前記第１の画像に対して強調処理を施す強調部と、を含む画像処理装置に関係する。
【０００９】
本発明の一態様では、白色光の波長領域に対応する第１の画像と特定の波長領域に対応する第２の画像を取得して、第２の画像内の被写体像の種類を判別し、種類に基づいて第１の画像に強調処理を施す。そのため状況に応じた様々な強調処理を施すことができる。
【００１０】
本発明の他の態様は、白色光の波長帯域における情報を有した被検体像を含む画像を第１の画像として取得する第１画像取得部と、特定の波長帯域における情報を有した被検体像を含む画像を第２の画像として取得する第２画像取得部と、前記取得された第２の画像の種類に基づいて、前記第１の画像に対して強調処理を施す強調部と、を含む画像処理装置に関係する。
【００１１】
本発明の他の態様によれば、白色光の波長領域に対応する第１の画像と特定の波長領域に対応する第２の画像を取得して、第２の画像に基づいて第１の画像に強調処理を施す。そのため第２の画像の種類が複数存在する場合にも、状況に応じて様々な強調処理を施すことができる。
【図面の簡単な説明】
【００１２】
【図１】種類判別及び強調処理の手法の説明図。
【図２】本実施形態のシステム構成例。
【図３】色フィルタｒ，ｇ，ｂの分光特性。
【図４】色フィルタｇ２，ｂ２の説明図。
【図５】色フィルタｇ２，ｂ２の分光特性。
【図６】通常光画像取得部の構成例。
【図７】特殊光画像取得部の構成例。
【図８】色フィルタｇ２，ｂ２の説明図。
【図９】領域種類判別部の構成例。
【図１０】局所領域の分割手法の説明図。
【図１１】ソフトウェア処理で用いられるコンピュータの構成例。
【図１２】ソフトウェア処理で用いられるコンピュータの構成例。
【図１３】本実施形態の処理を説明するためのフローチャート。
【図１４】領域種類判別処理を説明するためのフローチャート。
【図１５】種類判別及び強調処理の他の手法の説明図。
【図１６】領域種類判別部の他の構成例。
【図１７】強調部の構成例。
【図１８】高周波成分算出部の構成例。
【図１９】ウェーブレット変換による多重解像度変換画像の説明図。
【図２０】内視鏡画像の説明図。
【図２１】多重解像度変換画像における血管と粘膜の対応図。
【図２２】領域種類判別処理を説明するための他のフローチャート。
【図２３】強調処理を説明するためのフローチャート。
【図２４】種類判別及び強調処理の他の手法の説明図。
【図２５】領域種類判別部の他の構成例。
【図２６】強調部の他の構成例。
【図２７】領域種類判別処理を説明するための他のフローチャート。
【図２８】本実施形態の他のシステム構成例。
【図２９】特殊光画像取得部の他の構成例。
【図３０】種類判別及び強調処理の他の手法の説明図。
【図３１】本実施形態の他のシステム構成例。
【図３２】回転フィルタの構成例。
【図３３】フィルタＦ１の分光特性。
【図３４】フィルタＦ２の分光特性。
【図３５】色フィルタｇ３，ｒ３の説明図。
【図３６】色フィルタｇ３，ｒ３の分光特性。
【図３７】色フィルタｇ３，ｒ３の説明図。
【図３８】各タイミングにおけるフィルタと得られる画像の組み合わせの例。
【図３９】通常光画像と特殊光画像の取得タイミングの例。
【図４０】本実施形態の処理を説明するための他のフローチャート。
【図４１】領域種類判別処理を説明するための他のフローチャート。
【図４２】種類判別及び強調処理の他の手法の説明図。
【図４３】本実施形態の他のシステム構成例。
【図４４】回転フィルタの構成例。
【図４５】回転フィルタの構成例。
【図４６】フィルタＦ３の分光特性。
【図４７】フィルタＦ４の分光特性。
【図４８】色フィルタｇ４，ｂ４の説明図。
【図４９】色フィルタｇ４の分光特性。
【図５０】色フィルタｂ４の分光特性。
【図５１】強調部の他の構成例。
【図５２】本実施形態の処理を説明するための他のフローチャート。
【図５３】強調処理を説明するための他のフローチャート。
【発明を実施するための形態】
【００１３】
１．第１の実施形態
第１の実施形態の概要を、図１を参照して説明する。
【００１４】
本出願人は第２の画像内の被写体像の種類に応じて、第１の画像に施す強調処理を変更する手法を提案している。第１の実施形態においては、Ａ１に示すように、第２の画像とはＮＢＩ（Narrow Band Imaging）画像である。この第２の画像内の被写体像の種類を判別する（Ａ２）。ここでは種類判別のために用いられる特徴量は、色相Ｈである。Ａ３に示すように、Ｈが５〜３５の範囲にあるものを第１の種類とし、Ｈが１７０〜２００の範囲にあるものを第２の種類とする。またどちらにも該当しないものを第３の種類とする。ここで第１の種類は表層の血管に対応し、第２の種類は深層の血管に対応する。第３の種類はそれ以外のものに対応し、たとえば粘膜等である。
【００１５】
種類の判別の後は、強調範囲を決定する。本実施形態においては、強調範囲は第１の種類及び第２の種類（つまりは表層血管及び深層血管）となる（Ａ４）。よって第１の画像（狭義には通常光画像）において強調される範囲はＡ５に示すような範囲となる。
【００１６】
そして設定された強調範囲に対して、所定の方法で強調処理を施す。本実施形態においては、強調処理の方法はＡ６に示すように、色変換処理である。具体的には後述する式（９）、（１０）を用いる。第１の種類と第２の種類で用いるターゲット色及びパラメータｇａｉｎを変更することで、種類に応じた強調処理を施すことが可能になる。結果としてＡ７に示すように、血管が強調された通常光画像を取得できる。図１のＡ７では不図示であるが、第１の種類と第２の種類ではターゲット色が異なるため、表層血管と深層血管は異なった色味で表現されることになる。
【００１７】
また、強調処理の方法は観察する部位に応じて変更することも可能である。
【００１８】
次に、第１の実施形態に係る内視鏡システムについて、図２を参照して説明する。本実施形態に係る内視鏡システムは、光源部１００と、撮像部２００と、画像処理部３００と、表示部４００と、外部Ｉ／Ｆ部５００を備えている。
【００１９】
光源部１００は、白色光を発生する白色光源１１０と白色光をライトガイドファイバ２１０に集光するための集光レンズ１２０を備えている。
【００２０】
撮像部２００は、例えば体腔への挿入を可能にするため、細長くかつ湾曲可能に形成されている。また撮像部２００は着脱可能な構造をしており、観察する部位によって異なる撮像部が用いられる。一般に内視鏡分野において、撮像部２００はスコープと呼ばれており、具体的に用いられるスコープとしては、上部消化器用スコープや下部消化器用スコープ等が挙げられる。
【００２１】
撮像部２００は、光源部１００で集光された光を導くためのライトガイドファイバ２１０と、該ライトガイドファイバ２１０により先端まで導かれてきた光を拡散させて被検体に照射する照明レンズ２２０と、被検体から戻る反射光を集光する対物レンズ２３０と、集光した反射光を２つに分離するハーフミラー２４０と、分離された反射光を検出するための第１撮像素子２５０と第２撮像素子２６０を備えている。第１撮像素子２５０は通常光画像を撮影するためのベイヤ配列の色フィルタを持つ撮像素子である。第１撮像素子２５０の色フィルタＲ、Ｇ、Ｂは例えば図３に示すような分光特性を持っている。第２撮像素子２６０は、例えば図４に示すように２種類の色フィルタｇ２，ｂ２が市松状に配置された撮像素子である。ここで２種類の色フィルタｇ２，ｂ２は、例えば図５に示すように、ｂ２が３９０〜４４５ｎｍ、ｇ２が５３０〜５５０ｎｍの波長帯域の光を透過させる特性を持つものとする。
【００２２】
さらに撮像部２００は内部にメモリ２８０を有しており、メモリ２８０は各スコープ固有の識別番号を保持している。メモリ２８０は制御部３６０に接続されており、制御部３６０はメモリ２８０に保持されている各スコープ固有の識別番号を参照することで、使用しているスコープを識別することが可能である。また使用しているスコープを識別することで、観察部位を識別することも可能である。
【００２３】
画像処理部３００は、２つのＡＤ変換部３１０，３１１と通常光画像取得部３２０と特殊光画像取得部３３０と領域種類判別部３４０と強調部３５０と制御部３６０を備えている。制御部３６０は通常光画像取得部３２０、特殊光画像取得部３３０、領域種類判別部３４０、強調部３５０に接続されていて、これらを制御するようになっている。
【００２４】
外部Ｉ／Ｆ部５００は、この画像処理装置に対するユーザからの入力等を行うためのインターフェースであり、電源のオン／オフを行うための電源スイッチ、撮影操作を開始するためのシャッタボタン、撮影モードやその他各種のモードを切り換えるためのモード切換ボタンなどを含んで構成されている。そして、この外部Ｉ／Ｆ部５００は、入力された情報を、制御部３６０へ出力するようになっている。
【００２５】
ＡＤ変換部３１０は第１撮像素子２５０から出力されるアナログ画像信号をデジタル画像信号に変換して出力し、ＡＤ変換部３１１は第２撮像素子２６０から出力されるアナログ画像信号をデジタル画像信号に変換して出力する。
【００２６】
通常光画像取得部３２０は、ＡＤ変換部３１０から出力されるデジタル画像信号から通常光画像を取得する。特殊光画像取得部３３０はＡＤ変換部３１１から出力されるデジタル画像信号から特殊光画像を取得する。通常光画像取得部３２０及び特殊光画像取得部３３０の詳細については後述する。
【００２７】
通常光画像取得部３２０で取得された通常光画像は、強調部３５０に出力される。また特殊光画像取得部３３０で取得された特殊光画像は、領域種類判別部３４０に出力される。領域種類判別部３４０は特殊光画像内に写っている被検体の種類を判別し、その判別結果を強調部３５０に出力する。強調部３５０は領域種類判別部３４０から出力される判別結果に応じて通常光画像に強調処理を施し、表示部４００に出力する。領域種類判別部３４０、及び強調部３５０の詳細については後述する。
【００２８】
ここで、通常光画像取得部３２０について図６を用いて説明する。通常光画像取得部３２０は通常光画像生成部３２１と通常光画像記憶部３２２を備えている。通常光画像生成部３２１はＡＤ変換部３１０より出力されるデジタル画像信号に対して画像処理を行い、通常光画像を生成する。具体的には、既存の補間処理やホワイトバランス、色変換、階調変換等の処理を行い、通常光画像を生成して出力する。ここで、通常光画像はＲＧＢ画像である。通常光画像記憶部３２２は通常光画像生成部３２１から出力された通常光画像をメモリに記憶する。
【００２９】
次に特殊光画像取得部３３０について図７を用いて説明する。特殊光画像取得部３３０は特殊光画像生成部３３１と特殊光画像記憶部３３２を備えている。特殊光画像生成部３３１はＡＤ変換部３１１より出力されるデジタル画像信号に対して画像処理を行い、特殊光画像を生成する。本実施例では特殊光画像は狭帯域光画像となる。なお、狭帯域光画像はＲＧＢ画像である。
【００３０】
ここで、特殊光画像生成部３３１で狭帯域光画像を生成する方法について説明する。前述したように、第２撮像素子２６０は図４に示されるように、２種類の色フィルタｇ２，ｂ２が市松状に配置された撮像素子である。従って特殊光画像生成部３３１には、図８に示すようなデジタル画像信号が入力される。ここで、Ｇ２（ｘ，ｙ）はｇ２フィルタの信号値を表し、Ｂ２（ｘ，ｙ）はｂ２フィルタの信号値を表すものとする。また、ｘ，ｙは画像座標である。このような画像信号に対してまず補間処理を行い、全画素でｇ２フィルタの信号値を持つＧ２画像と、全画素でｂ２フィルタの信号値を持つＢ２画像を生成する。補間処理で算出される信号値は、例えば周辺４画素の信号値の平均値とすればよく、例えば図８のＧ２（１，１）の位置でのｂ２フィルタの信号値Ｂ２（１，１）、及びＢ２（１，２）位置でのｇ２フィルタの信号値Ｇ２（１，２）は下式（１）、（２）を用いて算出する。
【００３１】
B2(1,1) = [ B2(0,1) + B2(1,0) + B2(1,2) + B2(2,1) ] / 4 ・・・・・（１）
G2(1,2) = [ G2(0,2) + G2(1,1) + G2(1,3) + G2(2,2) ] / 4 ・・・・・（２）
【００３２】
次に前述の補間処理により生成したＧ２画像及びＢ２画像から、通常光画像と同様にＲ，Ｇ，Ｂの３種類の信号値を有するカラー画像を生成する。ここでは前記カラー画像の座標（ｘ，ｙ）におけるＲ信号にＧ２（ｘ，ｙ）を入力し、Ｇ，Ｂ信号にＢ２（ｘ，ｙ）を入力することでカラー画像を生成する。特殊光画像生成部３３１は、生成した前記カラー画像に対してさらにホワイトバランス、階調変換等の処理を行い、狭帯域光画像を生成する。生成した狭帯域光画像は、特殊光画像記憶部３３２に出力される。特殊光画像記憶部３３２は特殊光画像生成部３３１から出力された狭帯域光画像をメモリに記憶する。
【００３３】
次に、領域種類判別部３４０の詳細について説明する。図９は第１の実施形態における領域種類判別部３４０の構成の一例を説明するブロック図である。領域種類判別部３４０は、局所領域設定部３４１と特徴量算出部３４２と種類判別部３４３と領域選出部３４４とを備えている。制御部３６０は、局所領域設定部３４１と特徴量算出部３４２と種類判別部３４３と領域選出部３４４に接続されていて、これらを制御するようになっている。
【００３４】
局所領域設定部３４１は特殊光画像取得部３３０から出力される狭帯域光画像に対して、複数の局所領域を設定する。ここでは狭帯域光画像を矩形領域に分割し、分割した各領域を局所領域として設定する場合を例に挙げて説明する。具体的には例えば図１０に示すように、５×５画素を１つの局所領域とする。ここで狭帯域光画像はＭ×Ｎ個の局所領域で構成されていることとし、各領域の座標を（ｍ，ｎ）で示すこととする。また、座標（ｍ，ｎ）の局所領域はａ（ｍ，ｎ）として示すこととする。ここでは画像の左上に位置する局所領域の座標を（０，０）とし、右方向をｍの正方向、下方向をｎの正方向と定義する。局所領域は必ずしも矩形である必要はなく、狭帯域光画像を任意の多角形に分割し、分割されたそれぞれの領域を局所領域に設定できることは言うまでもない。また、局所領域をユーザの指示に応じて任意に設定できるようにしてもよい。また、ここでは後の計算量を削減するために、複数の隣接する画素群からなる領域を１つの局所領域としているが、１画素を１つの局所領域とすることも可能である。この場合も後の処理は全く同様である。
【００３５】
特徴量算出部３４２は局所領域設定部３４１で設定された全ての局所領域に対して特徴量を算出する。本実施例では特徴量として色相を用いる場合について説明する。
【００３６】
ここでは局所領域ａ（ｍ，ｎ）の色相をＨ（ｍ，ｎ）と表記する。Ｈ（ｍ，ｎ）を算出するため、まず各局所領域における、Ｒ，Ｇ，Ｂ信号の平均値Ｒ＿ａｖｅ，Ｇ＿ａｖｅ，Ｂ＿ａｖｅを算出する。ここで、平均値Ｒ＿ａｖｅは、各局所領域に含まれる全ての画素におけるＲ信号の平均値とする。またＧ＿ａｖｅ，Ｂ＿ａｖｅについても同様に、各局所領域に含まれる全ての画素におけるＧ，Ｂ信号の平均値とする。なお、各信号値は８ビット（０〜２５５）であるとする。次に、平均値Ｒ＿ａｖｅ，Ｇ＿ａｖｅ，Ｂ＿ａｖｅから例えば以下の下式（３）〜（８）を用いて各局所領域の色相Ｈ（ｍ，ｎ）を算出する。
【００３７】
Max = MAX(R_ave, G_ave, B_ave) ・・・・・（３）
ここで、MAＸ関数は複数の引数の中で最大のものを出力する関数とする。
【００３８】
maｘが０の場合、
H = 0 ・・・・・（４）
【００３９】
maｘが０以外の場合、
d = MAX(R_ave, G_ave, B_ave) - MIN(R_ave, G_ave, B_ave) ・・・・・（５）
ここで、MIN関数は複数の引数の中で最小のものを出力する関数とする。
【００４０】
さらに、
Ｒ＿ａｖｅ， Ｇ＿ａｖｅ， Ｂ＿ａｖｅのうち、Ｒ＿ａｖｅが最大の場合、
H = 60 * (G_ave - B_ave) / d ・・・・・（６）
【００４１】
Ｒ＿ａｖｅ， Ｇ＿ａｖｅ， Ｂ＿ａｖｅのうち、Ｇ＿ａｖｅが最大の場合、
H = 60 * {2 + (B_ave - R_ave)} / d ・・・・・（７）
【００４２】
Ｒ＿ａｖｅ， Ｇ＿ａｖｅ， Ｂ＿ａｖｅのうち、Ｂ＿ａｖｅが最大の場合、
H = 60 * {4 + (R_ave - G_ave)} / d ・・・・・（８）
【００４３】
なお、Hが＜０になった場合には、Hに３６０を加える。また、H=３６０の場合、H＝０とする。
【００４４】
次に、種類判別部３４３は全ての局所領域に対して算出した色相Ｈを用いて、局所領域に写っている被検体の種類を判別し、判別結果を領域選出部３４４に出力する。
【００４５】
生体を被検体とした場合、光源部１００より生体に照射される光のうち、短波長の光は生体の表面近くで反射されるのに対し、長波長の光は生体深部まで到達する特性がある。一方、前述したように本実施の形態において狭帯域光画像を撮影する撮像素子に用いられる２種類の色フィルタはｂ２が３９０〜４４５ｎｍ、ｇ２が５３０〜５５０ｎｍの波長帯域の光を透過する特性を持つ。従って、ｂ２フィルタを透過するのは生体の表層で反射された短波長の光であり、ｇ２フィルタを透過するのは、生体の深層で反射された長波長の光である。またこれらの色フィルタの透過帯域の波長は血液中に多く含まれるヘモグロビンに吸収されやすい特徴を持つ。そのため、Ｂ２画像には生体表層の血管が描出され、Ｇ２画像には生体深層の血管が描出されることになる。
【００４６】
本実施の形態において、Ｂ２，Ｇ２画像から前記カラー画像を生成する際には、前述したように前記カラー画像の座標（ｘ，ｙ）のＲ信号にＧ２（ｘ，ｙ）、Ｇ，Ｂ信号にＢ２（ｘ，ｙ）信号が入力される。従って、狭帯域光画像のＲ信号には生体深層の血管情報が含まれ、Ｇ，Ｂ信号には生体表層の血管情報が含まれることになる。
【００４７】
そのため狭帯域光画像上では、生体表層の血管が褐色の領域として描出され、生体深層の血管は青緑色の領域として描出される特徴がある。よって、生体表層の血管と生体深層の血管が異なる色相として描出されるため、特徴量として色相Ｈを用いることで、生体表層の血管と生体深層の血管を判別することが可能である。ここでは例えば色相Ｈが５〜３５の範囲にある領域を生体表層の血管、色相Ｈが１７０〜２００の範囲にある領域を生体深層の血管と判別すれば良い。
【００４８】
種類判別部３４３は局所領域設定部３４１で設定された局所領域のうち、生体表層の血管、若しくは生体深層の血管と判別された全ての局所領域の座標と、該局所領域の種類判別の結果を示すタグ情報を領域選出部３４４に出力する。ここでタグ情報は、例えば生体表層の血管と判別された場合はタグの値を１とし、生体深層の血管と判別された場合はタグの値を２とすればよい。
【００４９】
領域選出部３４４は、種類判別部３４３で生体表層、若しくは深層の血管と判別された局所領域ａ（ｍ，ｎ）の座標と各局所領域が含む画素の情報から、前記局所領域に含まれる全ての画素の位置を算出し、算出した画素位置情報に前述のタグ情報を付加して強調部３５０に出力する。
【００５０】
次に、強調部３５０の詳細について説明する。強調部３５０は、領域種類判別部３４０から出力される画素位置に対応する、通常光画像の全ての画素に対し強調処理を施す。
ここで強調処理は、例えば生体表層の血管と判別された画素、つまりタグの値が１の画素については下式（９）に示す色変換処理を行い、生体深層の血管と判別された画素、つまりタグの値が２の画素については下式（１０）に示す色変換処理を行えば良い。
R_out(x, y) = gain * R(x, y) + (1 - gain) * T_R1
G_out(x, y) = gain * G(x, y) + (1 - gain) * T_G1
B_out(x, y) = gain * B(x, y) + (1 - gain) * T_B1 ・・・・・（９）
R_out(x, y) = gain * R(x, y) + (1 - gain) * T_R2
G_out(x, y) = gain * G(x, y) + (1 - gain) * T_G2
B_out(x, y) = gain * B(x, y) + (1 - gain) * T_B2 ・・・・・（１０）
【００５１】
ただし、上式（９），（１０）において、
Ｒ（ｘ，ｙ），Ｇ（ｘ，ｙ），Ｂ（ｘ，ｙ）
： 色変換処理前の通常光画像の座標（ｘ，ｙ）におけるＲＧＢ信号値
Ｒ＿ｏｕｔ（ｘ，ｙ），Ｇ＿ｏｕｔ（ｘ，ｙ），Ｂ＿ｏｕｔ（ｘ，ｙ）
： 色変換処理後の通常光画像の座標（ｘ， ｙ）におけるＲＧＢ信号値
Ｔ＿Ｒ１， Ｔ＿Ｇ１， Ｔ＿Ｂ１： 生体表層の血管の目標色のＲＧＢ信号値
Ｔ＿Ｒ２， Ｔ＿Ｇ２， Ｔ＿Ｂ２： 生体深層の血管の目標色のＲＧＢ信号値
とする。ここで、それぞれの目標色を異なる値とすることで、生体表層の血管と生体深層の血管を異なる色として描出することが可能となる。またｇａｉｎは０〜１の任意の係数である。
【００５２】
なお、生体表層の血管の目標色Ｔ＿Ｒ１，Ｔ＿Ｇ１，Ｔ＿Ｂ１、生体深層の血管の目標色Ｔ＿Ｒ２，Ｔ＿Ｇ２，Ｔ＿Ｂ２、及びｇａｉｎパラメータは、外部Ｉ／Ｆ部５００よりユーザが設定することも可能であるし、観察部位に応じて異なるパラメータを予め設定しておくこともできる。ここで観察部位は、前述したように制御部３６０がメモリ２８０に保持されている各スコープ固有の識別番号を参照することでも識別可能であるし、外部Ｉ／Ｆ部５００よりユーザが観察部位を指定する構成としても良い。
【００５３】
このような処理を行うことで、生体表層の血管と、生体深層の血管が異なる色として描出されるため、生体表層の血管と生体深層の血管の区別が容易となり、通常光画像と狭帯域光画像を用いた診断を行う際に、ドクターの負荷を低減しながら病変部の見逃しを防止することが可能になる。
【００５４】
なお、本実施形態では生体表層の血管、及び生体深層の血管と判別された領域に対し、個別に強調処理を施す例を示したが、本発明はこれに限定されるものではなく、生体表層の血管と生体深層の血管のどちらか一方のみを強調する構成とすることも可能である。
【００５５】
上述の構成は、生体表層の血管や生体深層の血管等の被検体の種類について、予め優先順位を設けておき、領域種類判別部３４０において複数の種類の被検体が検出された場合、前記優先順位が最も高い被検体の種類に従い、強調処理の方法を決定することで実現可能である。
【００５６】
例えば、大腸部位の診断において腫瘍が発見された場合には、腫瘍表面の血管構造がその腫瘍の良性、悪性を判断する重要な情報となる。そのため大腸部位の診断の際には、生体表層の血管の優先順位を高くすることで、領域種類判別部３４０で複数の種類の被検体が検出された場合でも、生体表層の血管と判別された領域のみを強調処理することができる。これにより生体表層の血管の視認性が向上し、病変の見逃しを防止することができる。
【００５７】
また食道部位の診断の際には、食道静脈瘤などの疾患が懸念されるが、食道静脈瘤は生体の比較的深部に存在するため、生体深層の血管が診断に重要な情報となる。従って食道部位の診断においては、生体深層の血管の優先順位を高くすることで、生体深層の血管と判別された領域のみを強調処理することができるため、生体深層の血管の視認性が向上し、食道静脈流の見逃し防止に有効である。
【００５８】
なお、前述した優先順位は外部Ｉ／Ｆ部５００よりユーザが設定しても良いし、観察部位に応じて優先順位を予め設定しておいても良い。ここで、観察部位は前述したように、制御部３６０がメモリ２８０に保持されている各スコープ固有の識別番号を参照することで決定することもできるし、ユーザが外部Ｉ／Ｆ部５００により観察部位を指定することもできる。
【００５９】
また強調部３５０における強調処理は、前述の色変換処理に限らず、任意の輝度変換や任意の色変換処理を用いることが可能なことは言うまでもない。
【００６０】
また、本実施の形態では、画像処理部３００を構成する各部をハードウェアで構成することとしたが、これに限定されるものではなく、例えばカプセル内視鏡などの撮像素子を用いて予め取得された画像に対して、ＣＰＵが各部の処理を行う構成とし、ＣＰＵがプログラムを実行することによってソフトウェアで実現することとしても良い。あるいは、各部が行う処理の一部をソフトウェアで構成することとしても良い。
【００６１】
撮像部を別体とし、画像処理部３００の各部が行う処理をソフトウェアとして実現する場合には、ワークステーションやパソコン等の公知のコンピューターシステムを画像処理装置として用いることができる。そして、画像処理部３００の各部が行う処理を実現するためのプログラム（画像処理プログラム）を予め用意し、この画像処理プログラムをコンピューターシステムのＣＰＵが実行することによって実現できる。
【００６２】
図１１は、本変形例におけるコンピューターシステム６００の構成を示すシステム構成図であり、図１２は、このコンピューターシステム６００における本体部６１０の構成を示すブロック図である。図１１に示すように、コンピューターシステム６００は、本体部６１０と、本体部６１０からの指示によって表示画面６２１に画像等の情報を表示するためのディスプレイ６２０と、このコンピューターシステム６００に種々の情報を入力するためのキーボード６３０と、ディスプレイ６２０の表示画面６２１上の任意の位置を指定するためのマウス６４０とを備える。
【００６３】
また、このコンピューターシステム６００における本体部６１０は、図１２に示すように、ＣＰＵ６１１と、ＲＡＭ６１２と、ＲＯＭ６１３と、ハードディスクドライブ（ＨＤＤ）６１４と、ＣＤ−ＲＯＭ６６０を受け入れるＣＤ−ＲＯＭドライブ６１５と、ＵＳＢメモリ６７０を着脱可能に接続するＵＳＢポート６１６と、ディスプレイ６２０、キーボード６３０およびマウス６４０を接続するＩ／Ｏインターフェース６１７と、ローカルエリアネットワークまたは広域エリアネットワーク（ＬＡＮ／ＷＡＮ）Ｎ1に接続するためのＬＡＮインターフェース６１８を備える。
【００６４】
さらに、このコンピューターシステム６００には、インターネット等の公衆回線Ｎ３に接続するためのモデム６５０が接続されるとともに、ＬＡＮインターフェース６１８およびローカルエリアネットワークまたは広域エリアネットワークＮ１を介して、他のコンピューターシステムであるパソコン（ＰＣ）６８１、サーバ６８２、プリンタ６８３等が接続される。
【００６５】
そして、このコンピューターシステム６００は、所定の記録媒体に記録された画像処理プログラム（例えば図１３〜図１４）を参照して後述する処理手順を実現するための画像処理プログラム）を読み出して実行することで画像処理装置を実現する。ここで、所定の記録媒体とは、ＣＤ−ＲＯＭ６６０やＵＳＢメモリ６７０の他、ＭＯディスクやＤＶＤディスク、フレキシブルディスク（ＦＤ）、光磁気ディスク、ＩＣカード等を含む「可搬用の物理媒体」、コンピューターシステム６００の内外に備えられるＨＤＤ６１４やＲＡＭ６１２、ＲＯＭ６１３等の「固定用の物理媒体」、モデム６５０を介して接続される公衆回線Ｎ３や、他のコンピューターシステム（ＰＣ）６８１またはサーバ６８２が接続されるローカルエリアネットワークまたは広域エリアネットワークＮ１等のように、プログラムの送信に際して短期にプログラムを記憶する「通信媒体」等、コンピューターシステム６００によって読み取り可能な画像処理プログラムを記録するあらゆる記録媒体を含む。
【００６６】
すなわち、画像処理プログラムは、「可搬用の物理媒体」「固定用の物理媒体」「通信媒体」等の記録媒体にコンピュータ読み取り可能に記録されるものであり、コンピューターシステム６００は、このような記録媒体から画像処理プログラムを読み出して実行することで画像処理装置を実現する。なお、画像処理プログラムは、コンピューターシステム６００によって実行されることに限定されるものではなく、他のコンピューターシステム（ＰＣ）６８１またはサーバ６８２が画像処理プログラムを実行する場合や、これらが協働して画像処理プログラムを実行するような場合にも、本発明を同様に適用することができる。
【００６７】
各部が行う処理の一部をソフトウェアで構成する場合の一例として、予め取得された通常光画像と狭帯域光画像に対して、図２の領域種類判別部３４０及び、強調部３５０の処理をソフトウェアで実現する場合の処理手順を、図１３のフローチャートを用いて説明する。
【００６８】
この場合はまず狭帯域光画像をメモリに読み込み（Ｓｔｅｐ１）、次にこの狭帯域光画像と同時に取得された通常光画像をメモリに読み込む（Ｓｔｅｐ２）。次に読み込んだ狭帯域光画像を用いて被検体の種類を判別する（Ｓｔｅｐ３）。領域種類判別ステップ（Ｓｔｅｐ３）の詳細は後述する。その後、判別結果に応じて通常光画像に強調処理を施し、強調処理後の画像を表示画像として出力する（Ｓｔｅｐ４）。強調処理は前述の式９及び１０を用いて行う。全ての画像に対して一連の処理が完了した場合は処理を終了し、未処理の画像が残っている場合は同様の処理を継続する（Ｓｔｅｐ５）。
【００６９】
次に、図１３の領域種類判別ステップ（Ｓｔｅｐ３）での詳細な処理手順について、図１４のフローチャートを用いて説明する。局所領域設定ステップでは狭帯域光画像に対して、前述の図１０に示されるように複数の局所領域を設定する（Ｓｔｅｐ３１）。次に設定した全ての局所領域に対して特徴量を算出する（Ｓｔｅｐ３２）。ここでは特徴量の一例として前述の上式（３）〜（８）で示される色相Ｈを使用する。そして、全ての局所領域で算出した色相Ｈを基に種類判別処理を行う（Ｓｔｅｐ３３）。具体的には、色相Ｈが５〜３５の領域を生体表層の血管、色相が１７０〜２００の領域を生体深層の血管と判別する。さらに生体表層、深層の血管のいずれかに判別された局所領域ａ（ｍ，ｎ）の座標と、各局所領域が含む画素の情報から、前記領域に含まれる全ての画素の位置を算出し、算出した画素の位置情報と、該画素の判別結果を示すタグ情報を付加して出力する（Ｓｔｅｐ３４）。
【００７０】
このような処理を行うことで、生体表層の血管と、生体深層の血管が異なる色として表示されるため、生体表層の血管と生体深層の血管の区別が容易となり、通常光画像と狭帯域光画像を用いた診断を行う際に、ドクターの負荷を低減しながら病変部の見逃しを防止することが可能になる。
【００７１】
以上の本実施形態では、第１画像取得部（狭義には通常光画像取得部３２０）は白色光の波長帯域に対応する第１の画像（狭義には白色光画像）を取得し、第２画像取得部（狭義には特殊光画像取得部３３０）は特定の波長帯域（狭義には狭帯域光や蛍光等の波長帯域）に対応する第２の画像（狭義には狭帯域画像や蛍光画像等の特殊光画像）を取得する。そして種類判別部３４３は、第２の画像内の画素の特徴量を用いて、第２の画像内に写された被検体像の種類を判別する。強調部３５０は、種類判別部３４３の判別に基づいて、第１の画像に対して強調処理を施す。
【００７２】
ここで種類とは、後述するように病変に関する種類や、血管に関する種類である。具体的には例えば、第１の種類が病変部であり、第２の種類が正常部である。また、第１の種類が表層血管、第２の種類が深層血管、第３の種類が血管以外（粘膜等）であることも考えられる。
【００７３】
また、画素の特徴量とは、具体的には色相Ｈやエッジ量Ｅ、信号値（Ｒ，Ｇ，Ｂ）等が考えられ、観察する対象（強調処理を施したい対象）に応じて適切なものが選択される。
【００７４】
これにより、通常光画像（白色光画像）と特殊光画像（ＮＢＩ画像や蛍光画像等）を取得した上で、特殊光画像において被検体像の種類を判別することが可能になる。そして判別した種類に基づいて、通常光画像に対する強調処理の方法を変更することができる。よって、具体的には例えば、病変部と正常部の判別を行い、病変部のみに強調処理を施すこと等が可能になる。また、表層血管と深層血管の判別を行い、表層血管と深層血管で強調処理の方法を変えることなどもできる。
【００７５】
また、強調部３５０は、被検体像が属する部位に応じて、強調処理の方法を変更してもよい。
【００７６】
これにより、観察部位が異なる場合に、強調処理の方法を変更することが可能になる。具体的には例えば、第１の種類が表層血管であり、第２の種類が深層血管、第３の種類が血管以外（粘膜等）である場合を考える。ここで大腸を観察する場合には、腫瘍の表層血管が病変の良性・悪性を判断する重要な情報となる。そのため、第１の種類である表層血管を優先的に強調表示することが考えられる。例えば、第１の種類の色変換処理において、第２の種類の色変換処理に比べて、ターゲット色をより目立ちやすい色に設定することなどが考えられる。また、第２の種類は強調表示を行わないとしてもよい。
【００７７】
また、食道静脈瘤では、深層血管が重要な診断情報となるため、食道観察時は第２の種類を優先的に強調表示すればよい。
【００７８】
また、第１の画像と第２の画像の少なくとも一方は、画像処理装置の外部に設けられた撮像装置により撮像されてもよい。その場合、撮像装置に関する情報に基づいて、被検体像が属する部位が決定される。
【００７９】
これにより、部位を決定する手段として、撮像装置に関する情報を使用することが可能になる。ここで撮像装置とは、例えば内視鏡の挿入部（スコープ）に対応するものである。具体的には、上部消化器用スコープや下部消化器用スコープ等がある。スコープには固有の識別番号があり、例えば識別番号をメモリに格納しておくことで、使用されているスコープを識別することが可能になる。上述したように観察部位により使用されるスコープが異なるため、スコープを識別することで観察部位を特定することが可能になる。
【００８０】
また、第２の画像内に複数の被検体像が存在してもよい。その場合、種類判別部３４３は各被検体像が第１〜第Ｎ（Ｎは２以上の整数）の種類のうち、いずれの種類に属するかを判別する。そして、強調部３５０は判別結果に応じて強調処理の方法を決定する。
【００８１】
これにより、複数の被検体像が一度に検出されたとしても、それぞれを適切な種類に判別した上で、判別結果に応じて強調処理の方法を決定できる。
【００８２】
具体的には図１のＡ１に示すように血管が２本、背景となる粘膜が観察されたとき、被検体像は全部で３つ存在することになる。この場合、Ｎ＝３はあらかじめ決定されており、３つの被検体像を第１〜第３の種類のどれに属するか、それぞれ判別することになる。図１のＡ３の場合、左の血管は表層血管であるので第１の種類に、右の血管は深層血管であるので第２の種類に、粘膜は第３の種類にそれぞれ判別される。ここでは１つの種類に１つの被検体像が対応したが、１つの種類に複数の被検体像が対応したり、ある種類には対応する被検体像が存在しないこともありうるのは、当業者には容易に理解可能であろう。
【００８３】
そして、強調部３５０は種類に応じて強調処理の方法を決定できる。具体的には例えば図１のＡ６に示したように、第１の種類及び第２の種類は、それぞれ異なるパラメータを用いた色変換を行い、第３の種類には強調処理を施さない、ということが考えられる。
【００８４】
また、第１〜第Ｎの種類の各種類には、種類に応じた優先度が設定されていてもよい。そして優先度に基づいて強調処理の方法を決定してもよい。優先度は具体的には、被検体像が属する部位に応じて、強調部３５０により設定されてもよい。
【００８５】
これにより、優先度に基づいた強調処理が可能になる。そして優先度の設定は、被検体像が属する部位に基づいて決めることもできる。具体的には、前述したように大腸の観察では表層血管が重要であり、食道の観察では深層血管が重要である。よって、大腸に属する被検体像を観察する場合には、表層血管が属する種類（図１の例では第１の種類）の優先度を高く設定し、食道を観察する場合には深層血管が属する種類（第２の種類）の優先度を高く設定すればよい。
【００８６】
また、強調部３５０は、優先度の最も高い種類に属する被検体に対して、当該種類に対応する強調方法を用いて強調処理を行ってもよい。
【００８７】
これにより、優先度の最も高い種類のみに対して強調処理を行い、他の種類に対して強調処理を行わないことで、相対的に優先度の最も高い種類に属する被検体像を際だたせることが可能になる。
【００８８】
また、強調部３５０は、第１〜第Ｎの種類のうちの第ｉの種類に属する被検体像に対しては、第ｉの強調方法で強調処理を行い、第ｊの種類に属する被検体像に対しては、第ｊの強調方法で強調処理を行ってもよい。
【００８９】
これにより、第１〜第Ｎの種類の中で、２以上の任意の数の種類に対して、それぞれの方法を用いて強調処理を行うことが可能になる。前述の表層血管と深層血管の例で言えば、両方の血管が診断において重要な情報になる場合などに、効果を発揮する。
【００９０】
また、第２の画像の種類として、複数の種類が存在してもよい。その場合、被検体像の種類及び第２の画像の種類に応じて強調処理の方法が決定される。具体的には、第２の画像の種類がＮＢＩ画像であり、被検体像の種類が血管か否かである場合には、血管に対応する領域である対応注目領域に対して強調処理を施す（図１に対応）。
【００９１】
ここで、対応注目領域とは、領域選出部３４４によって、第１の画像内から選出される領域であり、第２の画像における注目領域（被検体像を含む領域）に対応する領域のことである。
【００９２】
これにより、被検体像の種類だけでなく、第２の画像の種類も考慮した上で強調処理の方法を決定することが可能になる。具体的には図１に示すように、血管＋ＮＢＩ画像の組み合わせの場合は血管を強調することが考えられる。
【００９３】
また、特徴量はエッジ量、色相、彩度などであってもよい。
【００９４】
これにより、観察対象等に応じて、様々な特徴量を用いて被検体像の種類を判別することが可能になる。
【００９５】
また、被検体像の種類は、病変に関する種類及び血管に関する種類のうち、少なくとも１つの種類であってもよい。
【００９６】
これにより、血管か否か、血管は表層血管であるか深層血管であるか、病変か否かといったことを種類として判別することが可能になる。
【００９７】
また、特定の波長帯域とは、白色光の波長帯域よりも狭い帯域である。具体的には第１の画像及び第２の画像は生体内画像であり、特定の波長帯域とは、血液中のヘモグロビンに吸収される波長の波長帯域である。さらに具体的には、３９０ｎｍ〜４４５ｎｍまたは５３０ｎｍ〜５５０ｎｍの波長帯域である。
【００９８】
これにより、生体の表層部及び、深部に位置する血管の構造を観察することが可能になる。また得られた信号を特定のチャンネル（Ｒ，Ｇ，Ｂ）に入力することで、扁平上皮癌等の通常光では視認が難しい病変などを褐色等で表示することができ、病変部の見落としを抑止することができる。なお、３９０ｎｍ〜４４５ｎｍまたは５３０ｎｍ〜５５０ｎｍとはヘモグロビンに吸収されるという特性及び、それぞれ生体の表層部または深部まで到達するという特性から得られた数字である。ただし、この場合の波長帯域はこれに限定されず、例えばヘモグロビンによる吸収と生体の表層部又は深部への到達に関する実験結果等の変動要因により、波長帯域の下限値が０〜１０％程度減少し、上限値が０〜１０％程度上昇することも考えられる。
また、第１の画像および第２の画像は生体内を写した生体内画像であってもよい。そして生体内画像に含まれる特定の波長帯域とは、蛍光物質が発する蛍光の波長帯域であってもよい。具体的には４９０ｎｍ〜６２５ｎｍの波長帯域である。
【００９９】
これにより、ＡＦＩと呼ばれる蛍光観察が可能となる。励起光（３９０ｎｍ〜４７０ｎｍ）を照射することで、コラーゲンなどの蛍光物質からの自家蛍光を観察することができる。このような観察では病変を正常粘膜とは異なった色調で強調表示することができ、病変部の見落としを抑止すること等が可能になる。なお４９０ｎｍ〜６２５ｎｍという数字は、前述の励起光を照射した際、コラーゲンなどの蛍光物質が発する自家蛍光の波長帯域を示したものである。ただし、この場合の波長帯域はこれに限定されず、例えば蛍光物質が発する蛍光の波長帯域に関する実験結果等の変動要因により、波長帯域の下限値が０〜１０％程度減少し、上限値が０〜１０％程度上昇することも考えられる。また、ヘモグロビンに吸収される波長帯域（５４０ｎｍ〜５６０ｎｍ）を同時に照射し、擬似カラー画像を生成してもよい。
【０１００】
また、第１の画像および第２の画像は生体内を写した生体内画像であってもよい。そして生体内画像に含まれる特定の波長帯域とは、赤外光の波長帯域であってもよい。具体的には７９０ｎｍ〜８２０ｎｍまたは９０５ｎｍ〜９７０ｎｍの波長帯域である。
【０１０１】
これにより、ＩＲＩと呼ばれる赤外光観察が可能となる。赤外光が吸収されやすい赤外指標薬剤であるＩＣＧ（インドシアニングリーン）を静脈注射した上で、上記波長帯域の赤外光を照射することで、人間の目では視認が難しい粘膜深部の血管や血流情報を強調表示することができ、胃癌の深達度診断や治療方針の判定などが可能になる。なお７９０ｎｍ〜８２０ｎｍという数字は赤外指標薬剤の吸収がもっとも強いという特性から、９０５ｎｍ〜９７０ｎｍという数字は赤外指標薬剤の吸収がもっとも弱いという特性から求められたものである。ただし、この場合の波長帯域はこれに限定されず、例えば赤外指標薬剤の吸収に関する実験結果等の変動要因により、波長帯域の下限値が０〜１０％程度減少し、上限値が０〜１０％程度上昇することも考えられる。
【０１０２】
また、本実施形態は、画像処理装置（画像処理部）を含む電子機器にも適用できる。
【０１０３】
例えば本実施形態にかかる画像処理装置は、内視鏡の他、デジタルカメラ、デジタルビデオカメラ、パーソナルコンピューター等の様々なタイプの電子機器（電圧、電流等の動力源で動作する機器）に搭載することが可能である。
【０１０４】
また、本実施形態は、第１画像取得部と、第２画像取得部と、種類判別部３４３と、強調部３５０としてコンピュータを機能させるプログラムであってもよい。第１画像取得部は白色光の波長帯域における情報を有した被写体像を含む画像を第１の画像として取得し、第２画像取得部は特定の波長帯域における情報を有した被写体像を含む画像を第２の画像として取得する。種類判別部３４３は、第２の画像内の画素の特徴量に基づいて、被検体像の種類を判別する。強調部３５０は、領域種類判別部３４０の判別による被検体像の種類に基づいて、第１の画像に対して強調処理を施す。
【０１０５】
これにより、例えばカプセル型内視鏡などのように、まず画像データを蓄積し、その後、蓄積された画像データに対してＰＣ等のコンピューターシステムでソフトウェア的に処理を行うことが可能になる。
【０１０６】
また、本実施形態は、第１画像取得部と、第２画像取得部と、強調部３５０としてコンピュータを機能させるプログラムであってもよい。第１画像取得部は白色光の波長帯域における情報を有した被写体像を含む画像を第１の画像として取得し、第２画像取得部は特定の波長帯域における情報を有した被写体像を含む画像を第２の画像として取得する。強調部３５０は、第２の画像の種類に基づいて、第１の画像に対して強調処理を施す。
【０１０７】
これにより、例えばカプセル型内視鏡などのように、まず画像データを蓄積し、その後、蓄積された画像データに対してＰＣ等のコンピューターシステムでソフトウェア的に処理を行うことが可能になる。特に、被検体像の種類ではなく、第２の画像の種類に基づいて強調処理を行うことが可能になる。
【０１０８】
また、本実施形態は、白色光の波長帯域における情報を有した被写体像を含む画像を第１の画像として取得し、特定の波長帯域における情報を有した被写体像を含む画像を第２の画像として取得し、第２の画像内の画素の特徴量に基づいて、被検体像の種類を判別し、被検体像の種類に基づいて、第１の画像に対して強調処理を施す画像処理方法であってもよい。
【０１０９】
これにより、本実施形態の処理を実行可能な、画像処理方法を実現することができる。
【０１１０】
また、本実施形態は、白色光の波長帯域における情報を有した被写体像を含む画像を第１の画像として取得し、特定の波長帯域における情報を有した被写体像を含む画像を第２の画像として取得し、第２の画像の種類に基づいて、第１の画像に対して強調処理を施す画像処理方法であってもよい。
【０１１１】
これにより、本実施形態の処理を実行可能な、画像処理方法を実現することができる。特に、被検体像の種類ではなく、第２の画像の種類に基づいて強調処理を行うことが可能になる。
【０１１２】
また本実施形態は、本実施形態の各部（第１画像取得部、第２画像取得部、領域種類判別部、強調部）を実現するプログラムコードが記録されたコンピュータプログラムプロダクトにも適用できる。
【０１１３】
ここでプログラムコードとは、白色光の波長帯域における情報を有した被写体像を含む画像を第１の画像として取得する第１画像取得部と、特定の波長帯域における情報を有した被写体像を含む画像を第２の画像として取得する第２画像取得部と、前記第２の画像内の画素の特徴量に基づいて、前記第２の画像内に写された被検体像の種類を判別する領域種類判別部と、前記判別された被検体像の種類に基づいて、前記第１の画像に含まれる信号に対して強調処理を施す強調部と、を実現する。
【０１１４】
またコンピュータプログラムプロダクトは、例えば、プログラムコードが記録された情報記憶媒体（ＤＶＤ等の光ディスク媒体、ハードディスク媒体、メモリ媒体等）、プログラムコードが記録されたコンピュータ、プログラムコードが記録されたインターネットシステム（例えば、サーバとクライアント端末を含むシステム）など、プログラムコードが組み込まれた情報記憶媒体、装置、機器或いはシステム等である。この場合に、本実施形態の各構成要素や各処理プロセスは各モジュールにより実装され、これらの実装されたモジュールにより構成されるプログラムコードは、コンピュータプログラムプロダクトに記録される。
【０１１５】
２．第２の実施形態
第２の実施形態の概要について、図１５を参照して説明する。目的は第１の実施形態と同様に、第２の画像内の被写体像の種類を判別し、種類に応じて、第１の画像に対して強調処理を施すことである。
【０１１６】
第２の実施形態においては、Ｂ１に示すように、第２の画像とはＮＢＩ画像である。この第２の画像内の被写体像の種類を判別する（Ｂ２）。ここでは種類判別のために用いられる特徴量は、色相Ｈである。Ｂ３に示すように、Ｈが５〜３５の範囲にあり、所定の閾値以上の大きさのものを第１の種類とし、それ以外のものを第２の種類とする。ここで第１の種類は病変部に対応し、第２の種類はそれ以外の部分（正常部）に対応する。
【０１１７】
種類の判別の後は、強調範囲を決定する。本実施形態においては、第１の種類（病変部）が検出されたことを条件に、第１の画像全体に対して強調処理が行われる（Ｂ４）。よって第１の画像において強調される範囲はＢ５に示すような範囲となる。また、第１の種類が検出されなかった場合、強調処理は行われない。
【０１１８】
そして設定された強調範囲に対して、所定の方法で強調処理を施す。本実施形態においては、強調処理の方法は高長波成分の加算である。具体的には後述するウェーブレット変換等を用いる（Ｂ６）。第１の種類が検出されたか否かで、強調処理を変更することで、種類に応じた強調処理を施すことが可能になる。結果としてＢ７に示すように、血管及び病変部が強調された通常光画像を取得できる。なお、高周波成分の加算は、血管を強調することに対応するが、病変部には血管が密集するという特性があるため、病変部も強調されることになる。
【０１１９】
次に、第２の実施形態にかかる内視鏡システムについて説明する。本実施形態における内視鏡システムの構成は図２に示す通りである。また、領域種類判別部３４０及び強調部３５０以外の処理は第１の実施形態と同様である。
【０１２０】
本実施の形態における領域種類判別部３４０の具体的な構成について説明する。基本構成は、図９に示す領域種類判別部３４０と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。
【０１２１】
図１６は本実施の形態における領域種類判別部３４０の構成の一例を示すブロック図である。領域種類判別部３４０は、局所領域設定部３４１と特徴量算出部３４２と種類判別部３４３を備えている。特殊光画像取得部３３０から出力される狭帯域光画像は、局所領域設定部３４１に出力される。制御部３６０は局所領域設定部３４１、特徴量算出部３４２、種類判別部３４３に接続されていて、これらを制御するようになっている。また種類判別部３４３は強調部３５０に接続されている。なお、局所領域設定部３４１、特徴量算出部３４２の処理は第１の実施形態と同様である。
【０１２２】
種類判別部３４３は、特徴量算出部３４２で算出された全ての局所領域における色相Ｈを用いて、各局所領域が病変と疑われる領域かどうかを判別し、その結果を強調部３５０に出力する。本実施の形態で使用している狭帯域光画像においては、扁平上皮癌等の病変部が褐色の領域として描出されるため、特徴量として色相Ｈを使用することで、病変と疑われる領域かどうかを判別することができる。具体的には色相Ｈが５〜３５の領域を、病変と疑われる領域と判別すればよい。
【０１２３】
種類判別部３４３は、狭帯域光画像内に病変と疑われる領域が存在したか否かのフラグ情報を強調部３５０に出力する。フラグ情報は、例えば全ての局所領域のうち所定の数以上、病変と疑われる領域が存在した場合にはフラグ情報を１とし、存在しない場合にフラグ情報を０とすればよい。
【０１２４】
なお、局所領域設定部３４１の設定する局所領域は、５×５の矩形領域には限られない旨を第１の実施形態で述べた。本実施形態では、例えば１６×１６といった比較的大きな領域を局所領域として設定することが考えられる。これは、病変部には正常部に比べて血管が密集しているという特性によるものである。つまり、５×５のような小さな領域では、血管が密集していなくとも（例えば１本のみであっても）色相Ｈは５〜３５の領域に入ってしまう。そのため画像内の領域が病変であるかどうかの判定は、病変と疑われる領域が密集しているかどうかの判定に基づいて行われる必要がある。すなわち、前述したように、適切な閾値を設定した上で、病変と疑われる領域が閾値以上であるかどうか判断する必要がある。
【０１２５】
これに対して、１６×１６のような比較的大きい領域を局所領域として設定した場合、局所領域内に多数の血管が入るだけのスペースを有しているため、Ｈが５〜３５になるためには、血管が密集している必要がある。そのため、画像内の領域が病変であるかどうかの判定は、病変と疑われる領域が１つあるかどうかによって判定することが可能になる。
【０１２６】
次に、強調部３５０の構成について説明する。図１７は、本実施の形態における強調部３５０の構成の一例を示すブロック図である。強調部３５０は、ＹＣ分離部３５１と高周波成分算出部３５２と高周波成分加算部３５３とＹＣ合成部３５４を備えている。通常光画像取得部３２０から出力される通常光画像は、ＹＣ分離部３５１に出力される。また領域種類判別部３４０から出力されるフラグ情報は、高周波成分加算部３５３に出力される。制御部３６０は、ＹＣ分離部３５１、高周波成分算出部３５２、高周波成分加算部３５３、ＹＣ合成部３５４に接続されていて、これらを制御するようになっている。また、ＹＣ合成部３５４は表示部４００に接続されている。
【０１２７】
ＹＣ分離部３５１は、通常光画像取得部３２０から出力される通常光画像を、公知のＹＣ分離処理を用いて輝度色差信号に変換する。輝度色差信号への変換には、例えば下式（１１）を用いれば良い。下式（１１）においてＹは通常光画像の輝度信号、Ｃｂ，Ｃｒは色差信号である。
【０１２８】
ＹＣ分離部３５１は輝度色差信号に変換した通常光画像を、高周波成分算出部３５２及び高周波成分加算部３５３に出力する。ここで、高周波成分算出部３５２には輝度色差信号のうち輝度信号のみが、高周波成分加算部３５３には輝度色差信号の両方が出力される。
【０１２９】
【数１】
【０１３０】
高周波成分算出部３５２は、例えば公知のウェーブレット変換を用いて通常光画像の輝度信号を多重解像度変換し、多重解像度変換後の輝度信号から高周波成分を抽出して高周波成分加算部３５３に出力する。高周波成分算出部３５２の処理については後述する。
【０１３１】
高周波成分加算部３５３は領域種類判別部３４０から出力されるフラグ情報に応じて、ＹＣ分離部３５１から出力される通常光画像の輝度信号に、高周波成分算出部３５２から出力される高周波成分を加算し、ＹＣ合成部３５４に出力する。
【０１３２】
ＹＣ合成部３５４は、高周波成分加算部３５３から出力される通常光画像に対し、公知のＹＣ合成処理を施しＲＧＢ画像に変換し、表示部４００に出力する。ＹＣ合成処理は例えば下式（１２）を用いれば良い。
【０１３３】
【数２】
【０１３４】
ここで、高周波成分算出部３５２の処理の詳細を説明する。図１８は本実施の形態における、高周波成分算出部３５２の構成の一例を示した図である。高周波成分算出部３５２は、多重解像度変換部３５２１と高周波成分抽出部３５２２を含む。制御部３６０は多重解像度変換部３５２１と高周波成分抽出部３５２２に接続されていて、これらを制御するようになっている。また、高周波成分抽出部３５２２は高周波成分加算部３５３に接続されている。ＹＣ分離部３５１から出力される通常光画像は、多重解像度変換部３５２１に出力される。
【０１３５】
多重解像度変換部３５２１は、ＹＣ分離部３５１から出力される通常光画像の輝度信号に対し、公知のウェーブレット変換を用いて多重解像度変換を行う。ここでは、多重解像度変換後の画像を多重解像度変換画像と表記する。
ウェーブレット変換は、通常光画像の座標（ｘ，ｙ）における輝度信号Ｙ（ｘ，ｙ）と、多重解像度変換画像の座標（ｉ，ｊ）における信号値Ｓ（ｉ，ｊ）を用いて下式（１３）で表すことができる。ただし、通常光画像の画像幅をＩｍＷ、画像高さをＩｍＨとする。
【０１３６】
【数３】
【０１３７】
図１９は、多重解像度変換画像と通常光画像の輝度信号の周波数成分との対応関係を示したものである。図１９に示すように、多重解像度変換画像において画像左上の領域は通常光画像の輝度信号の低周波成分に相当し、画像右上の領域は通常光画像の輝度信号の水平高周波成分、画像左下の領域は通常光画像の輝度信号の垂直高周波成分、画像右下の領域は通常光画像の輝度信号の対角高周波成分に相当する。
【０１３８】
一方、図２０は内視鏡画像の輝度信号の一例を示したものであり、図２１は図２０に示す内視鏡画像の輝度信号に対し、ウェーブレット変換を行った結果を示した図である。内視鏡画像において、血管部位は低周波成分と高周波成分の両方が含まれるのに対し、粘膜部位は低周波成分が多く含まれ、高周波成分が少ない特徴がある。そのため、図２１に示す多重解像度変換後の画像において、図１９に示す低周波成分領域には血管部位及び粘膜部位の両方が分布し、図１９に示す水平高周波成分、垂直高周波成分、対角高周波成分領域には血管部位が主に分布することになる。
【０１３９】
高周波成分抽出部３５２２は、多重解像度変換部３５２１から出力される多重解像度変換画像から、後述する方法で高周波成分のみを抽出した高周波成分画像を作成し、作成した画像を高周波成分加算部３５３に出力する。ここで高周波成分画像は、通常光画像と同じ大きさであり、多重解像度変換画像の水平高周波成分、垂直高周波成分、対角高周波成分のいずれかの成分の組み合わせで構成されるものとする。
具体的には、高周波成分画像の座標（ｘ，ｙ）における信号値Ｈ（ｘ，ｙ）は例えば下式（１４）により与えられる。ただし、下式（１４）においてＦｌｏｏｒ（ａ）は実数aの小数点以下を切り捨てる処理を表すものとし、ａｂｓ＿ｍａｘ（a，ｂ，ｃ）は実数a，ｂ，ｃのうち、絶対値が最大の実数を選出する処理を表すものとする。
【０１４０】
【数４】
【０１４１】
高周波成分加算部３５３は、領域種類判別部３４０から出力されるフラグ情報に応じて、ＹＣ分離部３５１から出力される通常光画像に強調処理を施してＹＣ合成部３５４に通常光画像を出力する。
【０１４２】
具体的には、領域種類判別部３４０から出力されるフラグ情報が１の場合、つまり病変と疑われる領域が存在する場合には、高周波成分算出部３５２から出力される高周波成分画像を通常光画像の輝度信号に加算し、加算処理後の通常光画像をＹＣ合成部３５４に出力する。また、領域種類判別部３４０から出力されるフラグ情報が０の場合、つまり病変と疑われる領域が存在しない場合には、ＹＣ分離部３５１から出力される通常光画像をそのままＹＣ合成部３５４に出力する。
【０１４３】
このような処理を行うことで、病変部と疑われる領域が通常光画像内に写っている場合に、病変の診断に重要となる血管部位が強調して表示されるため、通常光画像と狭帯域光画像を用いた診断を行う際にドクターの負荷を低減しながら病変部の見逃しを防止することが可能になる。
【０１４４】
また、本実施の形態では画像処理部３００を構成する各部をハードウェアで構成することとしたが、第１の実施形態と同様に予め取得された画像に対して、ＣＰＵが各部の処理を行う構成とし、ＣＰＵがプログラムを実行することによってソフトウェアとして実現することとしてもよい。あるいは各部が行う処理の一部をソフトウェアで構成することとしてもよい。
【０１４５】
各部が行う処理の一部をソフトウェアで構成する場合の一例として、予め取得された通常光画像と狭帯域光画像に対して、図２の領域種類判別部３４０及び、強調部３５０の処理をソフトウェアで実現する場合の処理手順について説明する。この場合の処理手順は図１３に示す通りで、領域種類判別ステップ（Ｓｔｅｐ３）及び強調処理ステップ（Ｓｔｅｐ４）以外は第１の実施形態と同様である。
【０１４６】
本実施の形態における図１３の領域種類判別ステップ（Ｓｔｅｐ３）での詳細な処理について、図２２のフローチャートを用いて説明する。局所領域設定ステップでは狭帯域光画像に対して、第１の実施形態と同様の方法で複数の局所領域を設定する（Ｓｔｅｐ３１１）。次に、特徴量算出ステップでは設定した全ての局所領域に対して、第１の実施形態と同様の方法で特徴量を算出する（Ｓｔｅｐ３１２）。ここでは特徴量の一例として色相Ｈを使用する。種類判別ステップでは、全ての局所領域に対して種類判別処理を行い、病変と疑われる領域が存在したか否かの判別結果をフラグ情報として出力する（Ｓｔｅｐ３１３）。ここで種類判別処理は、例えば色相Ｈが５〜３５の範囲にある局所領域を病変と疑われる領域と判別する処理とし、全ての局所領域のうち所定の閾値以上、病変と疑われる領域があった場合にはフラグ情報１を出力し、閾値以下の場合にはフラグ情報０を出力する。
【０１４７】
次に強調処理ステップ（Ｓｔｅｐ４）の詳細な処理について図２３のフローチャートを用いて説明する。ＹＣ分離処理ステップではまず、通常光画像を式１１に示す公知のＹＣ分離処理を用いて輝度色差信号に変換する（Ｓｔｅｐ４１１）。次に多重解像度変換ステップでは、ＹＣ分離処理後の輝度信号に対し、式１３に示す公知のウェーブレット変換を用いて多重解像度変換処理を施す（Ｓｔｅｐ４１２）。そして高周波成分画像作成ステップでは、多重解像度変換後の画像より式１４を用いて高周波成分画像を作成する（Ｓｔｅｐ４１３）。Ｓｔｅｐ４１４では、Ｓｔｅｐ３１３より出力されるフラグ情報を参照し、フラグ情報が１の場合はＳｔｅｐ４１５、０の場合はＳｔｅｐ４１６の処理を実行する。Ｓｔｅｐ４１５では、通常光画像の輝度信号にＳｔｅｐ４１３で作成した高周波成分画像を加算する処理を施す。Ｓｔｅｐ４１６では式１２に示すＹＣ合成処理により通常光画像をＲＧＢ信号に変換して出力する。
【０１４８】
このような処理を行うことで、病変部と疑われる領域が通常光画像内に写っている場合に病変の診断に重要となる血管部位が強調して表示されるため、通常光画像と狭帯域光画像を用いた診断を行う際にドクターの負荷を低減しながら病変部の見逃しを防止することが可能になる。
【０１４９】
以上の本実施形態では、第２の画像の種類として、複数の種類が存在してもよい。その場合、被検体像の種類及び第２の画像の種類に応じて強調処理の方法が決定される。具体的には、第２の画像の種類がＮＢＩ画像であり、被検体像の種類が病変か否かである場合には、画像全体に対して強調処理を施す（図１５に対応）。
【０１５０】
これにより、被検体像の種類だけでなく、第２の画像の種類も考慮した上で強調処理の方法を決定することが可能になる。具体的には図１５に示すように、病変＋ＮＢＩ画像の組み合わせの場合は画像全体を強調することが考えられる。
【０１５１】
また、強調部３５０は、第１の画像全体に対して、第１の画像の空間周波数のうち、特定の周波数成分を強調する。
【０１５２】
これにより、ウェーブレット変換等によって得られる多重解像度変換画像から、特定の周波数成分を強調することが可能になる。具体的には例えば、高周波成分を強調（加算処理）することで、高周波成分を多く含む血管部を強調すること等が可能になる。
【０１５３】
３．第３の実施形態
第３の実施形態の概要について、図２４を参照して説明する。目的は第１の実施形態と同様に、第２の画像内の被写体像の種類を判別し、種類に応じて、第１の画像に対して強調処理を施すことである。
【０１５４】
第３の実施形態においては、Ｃ１に示すように、第２の画像とはＮＢＩ画像である。この第２の画像内の被写体像の種類を判別する（Ｃ２）。ここでは種類判別のために用いられる特徴量は、エッジ量Ｅである。Ｃ３に示すように、エッジ量Ｅが所定の閾値以上の大きさのものを第１の種類とし、それ以外のものを第２の種類とする。ここで第１の種類は血管に対応し、第２の種類はそれ以外の部分（例えば粘膜）に対応する。
【０１５５】
種類の判別の後は、強調範囲を決定する。本実施形態においては、第１の画像内の、第１の種類（血管）に対応する部分に対して強調処理が行われる（Ｃ４）。よって第１の画像において強調される範囲はＣ５に示すような範囲となる。
【０１５６】
そして設定された強調範囲に対して、所定の方法で強調処理を施す。本実施形態においては、強調処理の方法はエッジ量Ｅの加算である。具体的には第１の画像の輝度成分にエッジ量Ｅの値を加算する（Ｃ６）。第１の種類に対して強調処理を行い、第２の種類に対しては強調処理を行わないことで、種類に応じた強調処理を施すことが可能になる。結果としてＣ７に示すように、血管が強調された通常光画像を取得できる。
【０１５７】
次に、第３の実施形態にかかる内視鏡システムについて説明する。本実施形態における内視鏡システムの構成は図２に示す通りである。また、領域種類判別部３４０及び強調部３５０以外の処理は第１の実施形態と同様である。
【０１５８】
本実施の形態における領域種類判別部３４０の具体的な構成について説明する。基本構成は、図９に示す領域種類判別部３４０と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。
【０１５９】
図２５は本実施の形態における領域種類判別部３４０の構成の一例を示すブロック図である。領域種類判別部３４０は、輝度信号算出部３４５と特徴量算出部３４２と種類判別部３４３を備えている。特殊光画像取得部３３０からの画像信号は、輝度信号算出部３４５に出力される。また輝度信号算出部３４５は特徴量算出部３４２に接続されており、特徴量算出部３４２は種類判別部３４３に接続されている。また種類判別部３４３は強調部３５０に接続されている。制御部３６０は輝度信号算出部３４５、特徴量算出部３４２、種類判別部３４３に接続されていて、これらを制御するようになっている。
【０１６０】
輝度信号算出部３４５は特殊光画像取得部３３０より出力される狭帯域光画像から、全ての画素について輝度信号Ｙを算出し、特徴量算出部３４２に出力する。輝度信号の算出には例えば上式（１１）を用いれば良い。
【０１６１】
特徴量算出部３４２は、輝度信号算出部３４５から出力される輝度信号を用いて、通常光画像の全ての画素におけるエッジ量Ｅを算出し、種類判別部３４３に出力する。ここで、狭帯域光画像の座標（ｘ，ｙ）におけるエッジ量Ｅ（ｘ，ｙ）の算出には例えば下式（１５）を用いれば良い。
【０１６２】
【数５】
【０１６３】
種類判別部３４３は、特徴量算出部３４２から出力されるエッジ量を基に、狭帯域光画像の全ての画素について、該画素が血管であるか否かの判別処理を行う。内視鏡画像は血管領域でエッジ量が大きく、粘膜領域ではエッジ量が小さい特徴があるため、エッジ量を用いて血管領域を判別することが可能である。判別処理は例えば下式（１６）に示すように、エッジ量E（ｘ，ｙ）が閾値Ｅ＿ａｖｅより大きい場合に、座標（ｘ，ｙ）の画素を血管と判別すれば良い。なお、閾値E＿ａｖｅは例えば、狭帯域光画像の全ての画素より算出したエッジ量Ｅ（ｘ，ｙ）の平均値とすれば良い。種類判別部３４３は、血管であると判別された全ての画素位置と、該画素におけるエッジ量Ｅ（ｘ，ｙ）の情報を強調部３５０に出力する。
【０１６４】
E(x,y) > E_ave ・・・・・（１６）
【０１６５】
次に強調部３５０の具体的な構成について説明する。基本構成は図１７に示す強調部３５０と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。
【０１６６】
図２６は本実施の形態における強調部３５０の構成の一例を示すブロック図である。強調部３５０は、ＹＣ分離部３５１とエッジ加算部３５５とＹＣ合成部３５４を備えている。ＹＣ分離部３５１はエッジ加算部３５５に接続されており、エッジ加算部３５５はＹＣ合成部３５４に接続されている。またエッジ加算部３５５は領域種類判別部３４０と接続されており、エッジ加算部３５５には前述したエッジ量Ｅ（ｘ，ｙ）が出力される。制御部３６０は、ＹＣ分離部３５１、エッジ加算部３５５、ＹＣ合成部３５４に接続されておりこれを制御するようになっている。なお、ＹＣ分離部３５１とＹＣ合成部３５４の処理は第２の実施例と同様である。
【０１６７】
エッジ加算部３５５では、領域種類判別部３４０より出力される全ての画素位置及び該画素におけるエッジ量Ｅ（ｘ，ｙ）を用いて、通常光画像に強調処理を施す。具体的には、前記画素位置に対応する通常光画像の画素の輝度信号Ｙ（ｘ，ｙ）に、前記エッジ量Ｅ（ｘ，ｙ）を加算する処理を行う。エッジ加算後の通常光画像はＹＣ合成部３５４に出力される。
【０１６８】
なお、ここではエッジ量Ｅ（ｘ，ｙ）に基づいて、通常光画像に対し輝度変換処理を施す例を示したが、本発明はこれに限定されるものではなく、前記エッジ量に基づいて通常光画像に色変換処理を行っても良い。
【０１６９】
このような処理を行うことで、血管部位が強調されるため、血管の視認性が向上し、通常光画像と狭帯域光画像を用いた診断を行う際に、ドクターの負荷を低減しながら病変部の見逃しを防止することが可能になる。なお、本実施例では血管判別の際にエッジ量のみを特徴量として用いたが、生体を被検体とした場合はヒダ等の凹凸部位にもエッジ量が多く含まれる。そのため、血管判別の際には前述のエッジ量に加え、さらに第１の実施形態で示したような色相Ｈを特徴量として用いても良い。
【０１７０】
また、本実施の形態では画像処理部３００を構成する各部をハードウェアで構成することとしたが、第１の実施形態と同様に予め取得された画像に対して、ＣＰＵが各部の処理を行う構成とし、ＣＰＵがプログラムを実行することによってソフトウェアとして実現することとしてもよい。あるいは各部が行う処理の一部をソフトウェアで構成することとしてもよい。
【０１７１】
各部が行う処理の一部をソフトウェアで構成する場合の一例として、予め取得された通常光画像と狭帯域光画像に対して、図２の領域種類判別部３４０及び、強調部３５０の処理をソフトウェアで実現する場合の処理手順を説明する。この場合の処理手順は図１３に示す通りで、領域種類判別ステップ（Ｓｔｅｐ３）及び強調処理ステップ（Ｓｔｅｐ４）以外は第１の実施形態と同様である。
【０１７２】
本実施の形態における図１３の領域種類判別ステップ（Ｓｔｅｐ３）での詳細な処理について、図２７のフローチャートを用いて説明する。輝度信号算出ステップでは、上式（１１）を用いて狭帯域光画像の全ての画素から輝度信号を算出する（Ｓｔｅｐ３２１）。特徴量算出ステップでは、式１５を用いて、エッジ量Ｅ（ｘ，ｙ）を算出する（Ｓｔｅｐ３２２）。種類判別ステップでは、全ての画素について上式（１６）に示す判別処理を行い、該画素が血管かどうかを判別する。そして血管と判別された全ての画素位置と該画素におけるエッジ量Ｅ（ｘ，ｙ）を出力する（Ｓｔｅｐ３２３）。
【０１７３】
強調処理ステップでは、領域種類判別ステップ（Ｓｔｅｐ３）で出力される、血管と判別された画素位置に対応する通常光画像の輝度信号Ｙ（ｘ，ｙ）に対し、エッジ量Ｅ（ｘ，ｙ）を加算する処理を行う（Ｓｔｅｐ４）。
【０１７４】
このような処理を行うことで、血管部位が強調されるため、血管の視認性が向上し、通常光画像と狭帯域光画像を用いた診断を行う際に、ドクターの負荷を低減しながら病変部の見逃しを防止することが可能になる。
【０１７５】
以上の本実施形態では、強調部３５０は、第２の画像から算出されたエッジ量に基づいて、第１の画像の対応注目領域に対して、輝度成分又は色成分を強調する。ここで対応注目領域とは前述の通りである。
【０１７６】
これにより、特徴量としてエッジ量Ｅを用いた種類の判別及び強調処理を行うことが可能になる。具体的にはエッジ量Ｅが平均値よりも大きい領域に対して、輝度成分（ＹＣｒＣｂのＹ成分）や色成分（Ｒ，Ｇ，Ｂ成分）にエッジ量Ｅを加算することが考えられる。本実施形態では種類の判別（血管か否か）に用いられる特徴量と、強調に用いられるパラメータがともにエッジ量Ｅとなる。
【０１７７】
４．第４の実施形態
本発明の第４の実施形態にかかる内視鏡システムについて、図２８を参照して説明する。第１〜３の実施形態では２つの撮像素子を用いて通常光画像と特殊光画像を取得したが、ここでは例えばベイヤ配列の色フィルタを持つ第１撮像素子だけから、画像処理を用いて通常光画像と特殊光画像を取得してもよい。本実施形態に係る内視鏡システムは、光源部１００と、撮像部２００と、画像処理部３００と、表示部４００と、外部Ｉ／Ｆ部５００を備えている。なお以下では第１の実施形態等と重複する部分については、適宜、その説明を省略する。
【０１７８】
光源部１００は、白色光を発生する白色光源１１０と集光レンズ１２０を備えている。
【０１７９】
撮像部２００は、例えば体腔への挿入を可能にするため、細長くかつ湾曲可能に形成されている。また撮像部２００は着脱可能な構造をしており、観察する部位によって異なる撮像部が用いられる。一般に内視鏡分野において、撮像部２００はスコープと呼ばれており、具体的に用いられるスコープとしては、上部消化器用スコープや下部消化器用スコープ等が挙げられる。
【０１８０】
撮像部２００は、光源部１００で集光された光を導くためのライトガイドファイバ２１０と、該ライトガイドファイバ２１０により先端まで導かれてきた光を拡散させて被検体に照射する照明レンズ２２０と、被検体から戻る反射光を集光する対物レンズ２３０と、集光した反射光を検出するための第１撮像素子２５０を備えている。第１撮像素子２５０は例えば通常光画像を撮影するためのベイヤ配列の色フィルタを持つ撮像素子である。第１撮像素子２５０の色フィルタは例えば図３に示すような分光特性を持っている。
【０１８１】
さらに撮像部２００は内部にメモリ２８０を有しており、メモリ２８０は各スコープ固有の識別番号を保持している。メモリ２８０は制御部３６０に接続されており、制御部３６０はメモリ２８０に保持されている各スコープ固有の識別番号を参照することで、使用しているスコープを識別することが可能である。また使用しているスコープを識別することで、観察部位を識別することも可能である。
【０１８２】
画像処理部３００はＡＤ変換部３１０と通常光画像取得部３２０と特殊光画像取得部３３０と領域種類判別部３４０と強調部３５０と制御部３６０を備えている。
【０１８３】
制御部３６０は領域種類判別部３４０と強調部３５０に接続されていてこれらを制御するようになっている。
【０１８４】
外部Ｉ／Ｆ部５００は、この画像処理装置に対するユーザからの入力等を行うためのインターフェースである。
【０１８５】
ＡＤ変換部３１０は、第１撮像素子から出力されるアナログ画像信号をデジタル画像信号に変換して出力する。
【０１８６】
通常光画像取得部３２０はＡＤ変換部３１０から出力されるデジタル画像信号から通常光画像を取得する。特殊光画像取得部３３０はＡＤ変換部３１０から出力されるデジタル画像信号から特殊光画像を取得する。
【０１８７】
特殊光画像取得部３３０で取得された特殊光画像は、領域種類判別部３４０に出力される。また通常光画像取得部３２０で取得された通常光画像は、強調部３５０に出力される。
【０１８８】
次に通常光画像取得部３２０について図６を用いて説明する。通常光画像取得部３２０は通常光画像生成部３２１と通常光画像記憶部３２２を備えている。
【０１８９】
次に特殊光画像取得部３３０について図２９を用いて説明する。特殊光画像取得部３３０は特殊光画像生成部３３１と、特殊光画像記憶部３３２と、信号抽出部３３３と、マトリクスデータ設定部３３４を備えている。特殊光画像生成部３３１はＡＤ変換部３１０で変換されて入力されるデジタル画像信号に対して画像処理を行い、特殊光画像を生成する。本実施例では特殊光画像は狭帯域光画像となる。本実施の形態において特殊光画像生成部３３１に入力されるデジタル画像信号は、通常光画像生成部３２１に入力されるデジタル画像信号と同じ信号である。
【０１９０】
ここで、信号抽出部３３３、マトリクスデータ設定部３３４及び特殊光画像生成部３３１において狭帯域光画像を生成する方法について説明する。まず、入力されたデジタル画像信号に対して既存の補間処理を行い、Ｒ，Ｇ，Ｂの3チャンネルを持つカラー画像を生成する。この画像は白色光源下で第１撮像素子２５０を用いて被写体を撮像した場合のカラー画像である。次にこのカラー画像から公知の分光推定技術を用いて、カラー画像の各画素における被写体の分光反射率を推定する。分光推定技術の詳細は例えば特許文献３の［００５４］〜［００６５］に開示されており、この様な処理を行うことで、例えば各画素が３８０ｎｍから７８０ｎｍまで１０ｎｍ刻みに被写体の分光反射率特性Ｏ（λ）を持つような分光画像情報が取得される（ここでλは３８０〜７８０）。ここでは画像上の位置（ｘ，ｙ）における分光反射率特性をO(λ)ｘ，ｙと記述する。また、本実施の形態における白色光源の分光放射率をE(λ)、光学系の分光透過率をＬ（λ）、第1の実施形態における第２撮像素子２６０の色フィルタｇ２,ｂ２に対応する画素の分光感度をそれぞれｇ２（λ）,ｂ２（λ）とする。すると第１の実施形態におけるＧ２画像及びＢ２画像に対応する画像Ｇ２'画像及びＢ２'画像の位置（ｘ，ｙ）における信号値Ｇ２’（ｘ，ｙ）及びＢ２’（ｘ，ｙ）は下式（１７）、（１８）で算出できる。
【０１９１】
Ｇ２'(x,y)=∫E(λ)・O(λ)・L(λ)・ｇ２(λ)dλ ・・・・・（１７）
【０１９２】
Ｂ２'(x,y)=∫E(λ)・O(λ)・L(λ)・ｂ２(λ)dλ ・・・・・（１８）
【０１９３】
画像上のすべての位置（ｘ，ｙ）に対してこのような計算を行うことで、第１撮像素子２５０で得られる画像信号からＧ２’画像及びＢ２’画像を取得することができる。
【０１９４】
次にこのＧ２’画像及びＢ２’画像から実施形態1と同様にＲ，Ｇ，Ｂの３チャンネルを持つカラー画像を生成する。ここでは例えばカラー画像のＲチャンネルにＧ２画像を入力し、ＧチャンネルとＢチャンネルにＢ２画像を入力することでカラー画像が生成される。特殊光画像生成部３３１は、生成したカラー画像に対してさらにホワイトバランス、階調変換等の処理を行い、狭帯域光画像として出力する。特殊光画像記憶部３３２は特殊光画像生成部から出力された特殊光画像を記憶する。
【０１９５】
通常光画像取得部３２０及び特殊光画像取得部３３０で画像が取得された後の処理については、第１〜３の実施形態と同様の処理を行えばよい。
【０１９６】
以上の本実施形態では、第２画像取得部（狭義には特殊光画像取得部３３０）は第１の画像に基づいて、第２の画像を生成する。具体的には第２画像取得部は信号抽出部３３３及びマトリクスデータ設定部３３４を含む。信号抽出部３３３は、白色光の波長帯域における信号を抽出する。マトリクスデータ設定部３３４は、特定の波長帯域における信号を算出するためのマトリクスデータを設定する。そして第２画像取得部は、マトリクスデータを用いて信号抽出部３３３が抽出した信号から、特定の波長帯域の信号を算出し、第２の画像を生成する。
【０１９７】
これにより、第１の画像に基づいて第２の画像を生成することができるので、図２８に示すように、撮像素子が１つのみでもシステムを実現することが可能になり、挿入部２００を小さくすることができる。また部品が少なくてすむためコストを下げる効果も期待できる。
【０１９８】
５．第５の実施形態
第５の実施形態の概要について、図３０を参照して説明する。目的は第１の実施形態と同様に、第２の画像内の被写体像の種類を判別し、種類に応じて、第１の画像に対して強調処理を施すことである。
【０１９９】
第５の実施形態においては、Ｄ１に示すように、第２の画像とは蛍光画像である。この第２の画像内の被写体像の種類を判別する（Ｄ２）。ここでは種類判別のために用いられる特徴量は、信号値（具体的にはＲ，Ｇ，Ｂのいずれか）である。Ｄ３に示すように、信号値が所定の閾値以上の大きさのものを第１の種類とし、それ以外のものを第２の種類とする。ここで第１の種類は病変部に対応し、第２の種類はそれ以外の部分（正常部）に対応する。これは、蛍光薬剤は所定の病変部に集中するため、第２の画像において病変部は特定の色味を持つという特性によるものである。
【０２００】
種類の判別の後は、強調範囲を決定する。本実施形態においては、第１の画像内の、第１の種類（病変部）に対応する部分に対して強調処理が行われる（Ｄ４）。よって第１の画像において強調される範囲はＤ５に示すような範囲となる。
【０２０１】
そして設定された強調範囲に対して、所定の方法で強調処理を施す。本実施形態においては、強調処理の方法は信号値の加減算である。具体的には第１の画像のＲ，Ｇ成分から特徴量×ｇａｉｎ（ｇａｉｎは所定のパラメータ）を減算し、Ｂ成分に特徴量×ｇａｉｎを加算する（Ｄ６）。第１の種類に対して強調処理を行い、第２の種類に対しては強調処理を行わないことで、種類に応じた強調処理を施すことが可能になる。結果としてＤ７に示すように、病変部が強調された通常光画像を取得できる。
【０２０２】
本発明の第５の実施形態にかかる内視鏡システムについて図３１を用いて説明する。本実施形態に係る内視鏡システムは、光源部１００と撮像部２００と画像処理部３００と表示部４００と外部Ｉ／Ｆ部５００を備えている。
【０２０３】
光源部１００は、白色光を発生する白色光源１１０と光源からの出射光をライトガイドファイバ２１０に集光するための集光レンズ１２０と、白色光から所定の波長帯域の光を抽出する回転フィルタ１３０を備えている。
【０２０４】
回転フィルタ１３０は図３２に示されるように透過率特性の異なる２種類のフィルタＦ１，Ｆ２から構成されている。フィルタＦ１は例えば図３３に示されるように、４００〜７００ｎｍの波長帯域の光を透過させる特徴を有している。フィルタＦ１は白色光である。またフィルタＦ２は図３４に示されるように、５２０〜５５０ｎｍ、及び６００〜６５０ｎｍの２つの波長帯域の光を透過させる櫛形フィルタの特性を有している。フィルタＦ２により抽出された５２０〜５５０ｎｍの波長帯域の光は、ＣＹ３のような蛍光薬剤を励起して５６０〜６００ｎｍの波長帯域の蛍光を発生させる特性を有しており、６００〜６５０ｎｍの波長帯域の光は、ＣＹ５のような蛍光薬剤を励起して６７０〜７１０ｎｍの波長帯域の蛍光を発生させる特性を有している。ここで、蛍光薬剤ＣＹ３は食道部位によくみられる扁平上皮癌等の病変部に特異的に集積する性質を持つとする。また蛍光薬剤ＣＹ５は、大腸部位によく見られる腫瘍等の病変部に特異的に集積する性質を持つとする。
【０２０５】
撮像部２００は、例えば体腔への挿入を可能にするため、細長くかつ湾曲可能に形成されている。また撮像部２００は着脱可能な構造をしており、観察する部位によって異なる撮像部が用いられる。一般に内視鏡分野において、撮像部２００はスコープと呼ばれており、具体的に用いられるスコープとしては、上部消化器用スコープや下部消化器用スコープ等が挙げられる。
【０２０６】
撮像部２００には光源部１００で集光された光を導くためのライトガイドファイバ２１０と、該ライトガイドファイバ２１０により先端まで導かれてきた光を拡散させて被検体に照射する照明レンズ２２０と、被検体からの反射光を集光する対物レンズ２３０と、集光された反射光と蛍光とを異なる光路に分岐するダイクロイックミラー２４０と、分岐された反射光を検出する第１撮像素子２５０と、第２撮像素子２６０を備えている。
【０２０７】
第１撮像素子２５０は例えば図３に示すようなＲ，Ｇ，Ｂの分光特性を有するベイヤ型のカラー撮像素子である。また第２撮像素子２６０は、例えば図３５に示されるように２種類の色フィルタｇ３，ｒ３が市松状に配置された撮像素子である。色フィルタｇ３，ｒ３は例えば図３６に示すように、ｇ３が５６０〜６００ｎｍ、ｒ３が６７０〜７１０ｎｍの波長帯域の光を透過させる透過率特性を有している。これらの波長帯域は、蛍光薬剤ＣＹ３，ＣＹ５の蛍光波長にそれぞれ相当する。
【０２０８】
さらに撮像部２００は内部にメモリ２８０を有しており、メモリ２８０は各スコープ固有の識別番号を保持している。メモリ２８０は制御部３６０に接続されており、制御部３６０はメモリ２８０に保持されている各スコープ固有の識別番号を参照することで、使用しているスコープを識別することが可能である。また使用しているスコープを識別することで、観察部位を識別することも可能である。
【０２０９】
画像処理部３００は、２つのＡＤ変換部３１０，３１１と通常光画像取得部３２０と特殊光画像取得部３３０と領域種類判別部３４０と強調部３５０と制御部３６０と対応付け部３７０を備えている。制御部３６０は通常光画像取得部３２０と特殊光画像取得部３３０と領域種類判別部３４０と強調部３５０と対応付け部３７０に接続されていて、これらを制御するようになっている。
【０２１０】
さらに制御部３６０は前述の回転フィルタ１３０とも接続されており、回転フィルタ１３０は制御部３６０からの信号に応じてモータを回転駆動することにより、フィルタＦ１，Ｆ２を順次切り替えて照明光を被検体である体腔内組織に順次照射する。また、制御部３６０は光路中に配置されているフィルタＦ１，Ｆ２の情報をトリガ信号として通常光画像取得部３２０、特殊光画像取得部３３０、対応付け部３７０に出力するようになっている。
【０２１１】
外部Ｉ／Ｆ部５００は、この画像処理装置に対するユーザからの入力等を行うためのインターフェースである。
【０２１２】
ＡＤ変換部３１０は第１撮像素子２５０から出力されるアナログ画像信号をデジタル画像信号に変換して出力し、ＡＤ変換部３１１は第２撮像素子２６０から出力されるアナログ画像信号をデジタル画像信号に変換して出力する。
【０２１３】
通常光画像取得部３２０は、ＡＤ変換部３１０から出力されるデジタル画像信号から通常光画像を取得する。特殊光画像取得部３３０は、ＡＤ変換部３１１から出力されるデジタル画像信号から特殊光画像を取得する。
【０２１４】
通常光画像取得部３２０で取得された通常光画像、及び特殊光画像取得部３３０で取得された特殊光画像は対応付け部３７０に出力される。本実施の形態においては、通常光画像取得部３２０と特殊光画像取得部３３０で通常光画像と特殊光画像が交互に取得されるため、対応付け部３７０はこれらの画像の対応付けを行う。対応付け部３７０の詳細は後述する。
【０２１５】
対応付け部３７０で対応付けされた通常光画像は強調部３５０に出力される。また同様に対応付け部３７０で対応付けされた特殊光画像は領域種類判別部３４０に出力される。領域種類判別部３４０は特殊光画像内に写っている被検体の種類を判別し、その判別結果を強調部３５０に出力する。強調部３５０は領域種類判別部３４０から出力される判別結果に応じて通常光画像に強調処理を施し表示部４００に出力する。領域種類判別部３４０、及び強調部３５０の詳細については後述する。
【０２１６】
次に通常光画像取得部３２０について図６を用いて説明する。通常光画像取得部３２０は通常光画像生成部３２１と通常光画像記憶部３２２を備えている。通常光画像生成部３２１は制御部３６０から送られてくるトリガ信号により、フィルタＦ１が光路中に位置する期間を識別し、フィルタＦ１が光路中に位置する期間内に第１撮像素子から送られてくるアナログ画像信号から変換されたデジタル画像信号に対して画像処理を行い、通常光画像を生成する。具体的には、既存の補間処理やホワイトバランス、色変換、階調変換等の処理を行い、通常光画像を生成して出力する。ここで、通常光画像はＲＧＢ画像である。通常光画像記憶部３２２は、通常光画像生成部３２１から出力された通常光画像をメモリに記憶する。
【０２１７】
次に特殊光画像取得部３３０について図７を用いて説明する。特殊光画像取得部３３０は特殊光画像生成部３３１と特殊光画像記憶部３３２を備えている。特殊光画像生成部３３１は制御部３６０から送られてくるトリガ信号により、フィルタＦ２が光路中に位置する期間を識別し、フィルタＦ２が光路中に位置する期間内に第２撮像素子から送られてくるアナログ画像信号から変換されたデジタル画像信号に対して画像処理を行い、特殊光画像を生成する。本実施例において、特殊光画像は蛍光画像となる。蛍光画像はＲＧＢ画像である。
【０２１８】
ここで、特殊光画像生成部３３１で蛍光画像を生成する方法について説明する。前述したように第２撮像素子２６０は、図３７に示されるように２種類の色フィルタｇ３，ｒ３が市松状に配置された撮像素子である。従って特殊光画像生成部３３１には、図３７に示されるようなデジタル画像信号が入力される。ただし、Ｇ３（ｘ，ｙ）はｇ３フィルタの信号値を表し、Ｒ３（ｘ，ｙ）はｒ３フィルタの信号値を表すものとする。また、ｘ， ｙは画像座標である。このような画像信号に対してまず補間処理を行い、全画素でｇ３フィルタの信号値を持つＧ３画像と、全画素でｒ３フィルタの信号値を持つＲ３画像を生成する。補間処理は例えば、前述した式（１），（２）と同様の方法で行えばよい。
【０２１９】
次にＧ３画像及びＲ３画像から、通常光画像と同様にＲ，Ｇ，Ｂの３種類の信号値を持つカラー画像を生成する。ここでは例えば、前記カラー画像の座標（ｘ，ｙ）のＲ信号にＲ３（ｘ，ｙ）を入力し、Ｇ，Ｂ信号にＧ３（ｘ，ｙ）を入力することでカラー画像が生成される。特殊光画像生成部３３１は、生成したカラー画像に対してさらにホワイトバランス、階調変換等の処理を行い、蛍光画像として出力する。特殊光画像記憶部３３２は特殊光画像生成部３３１から出力された蛍光画像をメモリに記憶する。
【０２２０】
図３８は光路中に位置するフィルタの種類と、通常光画像記憶部３２２及び特殊光画像記憶部３３２で記憶される画像を示した図である。まずタイミング１で光路中にフィルタＦ１が挿入される。この時、照射される照明光は白色光であり、通常光画像記憶部３２２には通常光画像が記憶され、特殊光画像記憶部３３２には画像が記憶されない。次にタイミング２で光路中にフィルタＦ２が挿入される。この時照射される照明光は励起光であり、特殊光画像記憶部３３２には薬剤蛍光が集積した病変部から発生する蛍光が疑似カラー画像として記憶され、通常光画像記憶部３２２には画像が記憶されない。通常光画像記憶部３２２と特殊光画像記憶部３３２はそれぞれ複数枚の画像を記憶できるようになっている。
【０２２１】
次に、対応付け部３７０の詳細を説明する。本実施の形態においては、通常光画像取得部３２０と特殊光画像取得部３３０で通常光画像と蛍光画像が交互に取得されるため、対応付け部３７０はこれらの画像の対応付けを行う。ここで本実施の形態における対応付け部３７０の処理について具体的に説明する。
【０２２２】
図３９は通常光画像記憶部３２２に記憶された画像が取得されたタイミングと、特殊光画像記憶部３３２に記憶された画像が取得されたタイミングを示した図である。対応付け部３７０は制御部３６０からの制御信号に従って、通常光画像記憶部３２２と特殊光画像記憶部３３２から、画像が取得されたタイミングの差が最も小さくなる様に対応づけられた通常光画像と蛍光画像を１枚ずつ読み出す。ここでは最初に読みだされる画像はタイミング１で取得された通常光画像とタイミング２で取得された蛍光画像であり、次に読みだされる画像はタイミング２で取得された蛍光画像とタイミング３で取得された通常光画像である。対応付け部３７０はこのようにして画像の取得と同じタイミング間隔で通常光画像と蛍光画像の両方を取得することができる。
【０２２３】
次に、領域種類判別部３４０の処理について説明する。領域種類判別部３４０の構成は第１の実施形態と同様で図９に示す通りである。また局所領域設定部３４１の処理も第１の実施形態と同様である。
【０２２４】
特徴量算出部３４２では観察部位に応じて特徴量を算出する。前述したように、本実施の形態で用いる蛍光薬剤ＣＹ３は食道部位によく見られる扁平上皮癌等の病変部に特異的に集積する性質を持ち、また蛍光薬剤ＣＹ５は大腸部位によく見られる腫瘍等の病変部に特異的に集積する性質を持つ。そのため、食道を診断する際には蛍光薬剤ＣＹ３の蛍光信号が入力されているＧまたはＢ信号を特徴量として用い、大腸を観察する際には蛍光薬剤ＣＹ５の蛍光信号が入力されているＲ信号を特徴量として用いれば良い。ここで観察部位は、前述したように制御部３６０がメモリ２８０に保持されている各スコープ固有の識別番号を参照することで決定することもできるし、外部Ｉ／Ｆ部５００によりユーザが観察部位を指定する構成としても良い。
【０２２５】
ここでは大腸部位を診断する場合を例に挙げて説明する。大腸部位を診断する際、特徴量算出部３４２は局所領域設定部３４１で設定された全ての局所領域について、各局所領域内の全ての画素のＲ信号の平均値を算出する。そして、算出したＲ信号の平均値を特徴量として種類判別部３４３に出力する。ここでは、局所領域ａ（ｍ，ｎ）の特徴量をｆ（ｍ，ｎ）と表記する。
【０２２６】
種類判別部３４３では、特徴量算出部３４２で算出された各局所領域内における特徴量ｆ（ｍ，ｎ）を基に、各局所領域に写っている被検体の種類を判別する。
【０２２７】
本実施の形態で用いる蛍光薬剤ＣＹ５は腫瘍等の病変部位に特異的に集積するため、腫瘍等の病変部が存在する局所領域は、病変部が存在しない局所領域に比べ、特徴量ｆ（ｍ，ｎ）が大きくなる傾向がある。従って、各局所領域における特徴量ｆ（ｍ，ｎ）が閾値Ｆ_ｔｈよりも大きい場合に、該局所領域を腫瘍等の病変部と判別すればよい。ここで閾値Ｆ_ｔｈは例えば、下式（１９）に示すように各局所領域における特徴量ｆ（ｍ，ｎ）の平均値とすればよい。
【０２２８】
【数６】
【０２２９】
種類判別部３４３は、腫瘍等の病変部と判別された全ての局所領域座標と該局所領域における特徴量ｆ（ｍ，ｎ）、及び判別結果を示すタグ情報を領域選出部３４４に出力する。ここでタグ情報は例えば、腫瘍等の病変部と判別された領域のタグ情報を１とすれば良い。
【０２３０】
領域選出部３４４は種類判別部３４３で腫瘍等の病変部と判別された局所領域ａ（ｍ，ｎ）の座標と、局所領域が含む全ての画素の情報から、該局所領域における全ての画素位置を算出し、算出した画素位置と前述のタグ情報、及び特徴量ｆ（ｘ，ｙ）を強調部３５０に出力する。ここで、各画素位置における特徴量ｆ（ｘ，ｙ）は、該画素位置が属する局所領域ａ（ｍ，ｎ）における特徴量ｆ（ｍ，ｎ）とすればよい。
【０２３１】
次に、強調部３５０の詳細について説明する。強調部３５０は、領域種類判別部３４０から出力される画素位置に対応する通常光画像の全ての画素に対し、強調処理を施す。強調処理を施された通常光画像は表示部４００に出力される。
【０２３２】
ここで強調処理は、例えば腫瘍等の病変部と判別された画素、つまりタグの値が１の画素については式２０に示す色変換処理を行えばよい。
【０２３３】
R_out(x,y) = R(x,y) - ｇａｉｎ * ｆ（ｘ，ｙ）
G_out(x,y) = G(x,y) - ｇａｉｎ * ｆ（ｘ，ｙ）
B_out(x,y) = B(x,y) + ｇａｉｎ * ｆ（ｘ，ｙ） ・・・・・（２０）
【０２３４】
ただし、式２０において、
Ｒ（ｘ， ｙ）， Ｇ（ｘ， ｙ）， Ｂ（ｘ， ｙ）
：色変換処理前の通常光画像の座標（ｘ， ｙ）におけるＲ， Ｇ， Ｂ信号値
Ｒ_out（ｘ， ｙ）， Ｇ_out（ｘ， ｙ）， Ｂ_out（ｘ， ｙ）
：色変換処理後の通常光画像の座標（ｘ， ｙ）におけるＲ， Ｇ， Ｂ信号値
である。
【０２３５】
また、ｇａｉｎは０〜１の任意の係数である。ここで、ｇａｉｎは外部Ｉ／Ｆ部５００よりユーザが設定しても良いし、観察部位に応じて異なる値を予め設定しておくこともできる。なお、観察部位は前述したように、制御部３６０がメモリ２８０に保持されている各スコープ固有の識別番号を参照することでも識別可能であるし、外部Ｉ／Ｆ部５００よりユーザが観察部位を指定する構成としてもよい。
【０２３６】
このような処理を行うことで、腫瘍等の病変部が正常部位とは異なる、青みの強い領域として描出されるため、通常光画像と蛍光画像を用いた診断を行う際に、ドクターの負荷を低減しながら病変部の見逃しを防止することが可能になる。
【０２３７】
なお、本実施の形態では、前述した特徴量に基づいて通常光画像に対し色変換処理を施す例を示したが、本発明はこれに限定されるものではなく、前記特徴量に基づき任意の色変換処理や輝度変換処理を行っても良い。
【０２３８】
また、本実施の形態では蛍光薬剤を使用したが、例えば従来、ＡＦＩ（Auto Fluorescence Imaging）として知られている技術のように、生体中のコラーゲンから発生する自家蛍光を観察するような構成にしてもよい。この場合は励起光として３９０〜４７０ｎｍの波長帯域の光を使用し、第２撮像素子の色フィルタの透過特性を、前述の自家蛍光の波長帯域である４９０〜６２５ｎｍに変更すればよい。
【０２３９】
さらに、例えば従来、ＩＲＩ（Infra red Imaging）として知られている技術のように、ＩＣＧを静脈注射した上で２つの赤外光（７９０〜８２０ｎｍ及び９０５〜９７０ｎｍの波長帯域の光）を照明光として使用し、それらの反射光画像から疑似カラー画像を生成し、特殊光画像として使用してもよい。
【０２４０】
また、本実施の形態では、画像処理部３００を構成する各部をハードウェアで構成することとしたが、第１の実施形態と同様に、予め取得された画像に対して、ＣＰＵが各部の処理を行う構成とし、ＣＰＵがプログラムを実行することによってソフトウェアとして実現することとしてもよい。あるいは、各部が行う処理の一部をソフトウェアで構成することとしてもよい。
【０２４１】
各部が行う処理の一部をソフトウェアで構成する場合の一例として、予め取得された通常光画像と蛍光画像に対して、図３１の領域種類判別部３４０、強調部３５０及び対応付け部３７０の処理をソフトウェアで実現する場合の処理手順を、図４０のフローチャートを用いて説明する。
【０２４２】
本実施の形態では通常光画像と蛍光画像が交互に取得されているため、まずそれぞれの画像を取得したタイミング情報に基づいて前述の方法でこれらの画像の対応付けを行う（Ｓｔｅｐ１１）。次に蛍光画像をメモリに読み込み（Ｓｔｅｐ１２）、この特殊光画像と対応づけられた通常光画像をメモリに読み込む（Ｓｔｅｐ１３）。
【０２４３】
領域種類判別ステップ（Ｓｔｅｐ１４）の詳細は図４１に示す通りである。まず、局所領域設定ステップでは、第１の実施形態と同様に蛍光画像に対して局所領域を設定する（Ｓｔｅｐ１４１）。特徴量算出ステップでは前述した方法で、診断している部位に応じて各局所領域の特徴量を算出する（Ｓｔｅｐ１４２）。種類判別ステップでは前述した閾値処理により各局所領域が腫瘍等の病変部かどうか判別処理を行う（Ｓｔｅｐ１４３）。領域選出ステップでは、病変部と判別された局所領域の座標と、各局所領域が含む画素の情報から、前記局所領域に含まれる画素の位置を算出する（Ｓｔｅｐ１４４）。
【０２４４】
強調処理ステップ（Ｓｔｅｐ１５）は、上式（１９）に示した方法で通常光画像に対し強調処理を施す。そして、すべての画像に対して一連の処理が完了した場合は処理を終了し、未処理の画像が残っている場合は同様の処理を継続する（Ｓｔｅｐ１６）。
【０２４５】
以上の本実施形態では、種類判別部３４３は、被検体像が属する部位に応じて、特徴量の算出処理を変更する。
【０２４６】
これにより、被検体像の種類の判別に用いられる特徴量を、観察している部位に応じて変更することが可能になる。具体的には、蛍光薬剤ＣＹ３とＣＹ５を用いた観察において、ＣＹ３の蛍光信号Ｇ３はＧ及びＢチャンネルに入力され、ＣＹ５の蛍光信号Ｒ３はＲチャンネルに入力されているとする。ここで、ＣＹ３は食道部位によく見られる扁平上皮癌等の病変に集積しやすく、ＣＹ５は大腸部位によく見られる腫瘍等の病変に集積しやすいという特徴がある。そのため食道を観察する際には、ＣＹ３の蛍光信号Ｇ３が入力されているＧまたはＢ信号を特徴量として用い、大腸を観察する際には、ＣＹ５の蛍光信号Ｒ３が入力されているＲ信号を特徴量として用いることが考えられる。
【０２４７】
また、強調部３５０は、強調処理として、第２の画像から算出された色に関する特徴量に基づいて、第１の画像内の対応注目領域に対して、輝度成分又は色成分を強調する。
【０２４８】
これにより、強調処理として、色に関する特徴量（上述したように食道の場合にはＧまたはＢ信号、大腸の場合にはＲ信号）を対応注目領域の輝度成分（Ｙ成分）または色成分（Ｒ，Ｇ，Ｂ成分）に加算する処理を行うことが可能になる。
【０２４９】
６．第６の実施形態
第６の実施形態の概要について、図４２を参照して説明する。目的は第１の実施形態と同様に、第２の画像内の被写体像の種類を判別し、種類に応じて、第１の画像に対して強調処理を施すことである。ただし、本実施形態では、第２の画像を複数種類取得することが可能なシステム構成となっているため、被写体像の種類の他に、第２の画像の種類も考慮する必要がある点が特徴である。
【０２５０】
まずＥ１に示すように、第２の画像の種類を判別する。ここではＥ２に示すように、蛍光画像を取得する場合と、Ｅ３に示すようにＮＢＩ画像を取得する場合とが考えられる。第２の画像が蛍光画像であるか、ＮＢＩ画像であるかに応じて、この後の処理が異なる。そのため、第２の画像の種類に応じて、第１の画像に対して強調処理を施すことが可能になる。
【０２５１】
なお、第２の画像として蛍光画像が得られた場合の以降の処理は、図３０（第５の実施形態）と同様であり、ＮＢＩ画像が得られた場合の以降の処理は図２４（第３の実施形態）と同様である。
【０２５２】
次に、第６の実施形態にかかる内視鏡システムについて図４３を用いて説明する。本実施形態に係る内視鏡システムは、光源部１００と撮像部２００と画像処理部３００と表示部４００と外部Ｉ／Ｆ部５００を備えている。
【０２５３】
光源部１００は、白色光を発生する白色光源１１０と、光源からの出射光をライトガイドファイバ２１０に集光するための集光レンズ１２０と、白色光から所定の波長帯域の光を抽出する、第１回転フィルタ１４０及び第２回転フィルタ１５０を備えている。
【０２５４】
ここで、これら２つの回転フィルタは、排他的に制御されるものとする。具体的には、第１回転フィルタ１４０が白色光源１１０から出力される光の光路に挿入される場合は、第２回転フィルタ１５０は前記光路に挿入しないものとする。逆に第２回転フィルタ１５０が前記光路に挿入される場合は、第１回転フィルタ１４０は前記光路に挿入しないものとする。回転フィルタの切り替えは、例えば外部Ｉ／Ｆ部５００よりユーザが指定するものとし、ユーザの指定に従って、制御部３６０が前述した２つの回転フィルタを排他的に制御する構成とすれば良い。
【０２５５】
第１回転フィルタ１４０は、図４４に示されるように透過率特性の異なるフィルタＦ１，Ｆ３から構成されている。フィルタＦ１は、図３３に示されるように４００ｎｍ〜７００ｎｍの波長帯域の光を透過させる特性を有している。フィルタＦ３は、図４６に示されるように６００ｎｍ〜６５０ｎｍの波長帯域の光を透過させる特性を有している。フィルタＦ３により抽出された６００〜６５０ｎｍの波長帯域の光は、ＣＹ５のような蛍光薬剤を励起して６７０〜７１０ｎｍの波長帯域の蛍光を発生させる特性を有している。ここで蛍光薬剤ＣＹ５は、腫瘍等の病変部に特異的に集積する性質を持つとする。
【０２５６】
また第２回転フィルタ１５０は、図４５に示されるように透過率特性の異なるフィルタＦ１，Ｆ４から構成されている。フィルタＦ４は、図４７に示されるように３９０ｎｍ〜４４５ｎｍと、５３０〜５５０ｎｍの２つの波長帯域の光を透過させる櫛形フィルタの特性を有している。なお、第２回転フィルタ１５０が有するフィルタＦ１の特性は、第１回転フィルタ１４０が有するフィルタＦ１の特性と同一である。
【０２５７】
撮像部２００は、例えば体腔への挿入を可能にするため、細長くかつ湾曲可能に形成されている。撮像部２００には光源部１００で集光された光を導くためのライトガイドファイバ２１０と、該ライトガイドファイバ２１０により先端まで導かれてきた光を拡散させて被検体に照射する照明レンズ２２０と、被検体からの反射光を集光する対物レンズ２３０と、集光された反射光を異なる光路に分岐するダイクロイックミラー２４０と、分岐された反射光を検出する第１撮像素子２５０と、第２撮像素子２６０を備えている。
【０２５８】
第１撮像素子２５０は例えば図３に示すようなＲ，Ｇ，Ｂの分光特性を有するベイヤ型のカラー撮像素子である。また第２撮像素子２６０は、例えば図４８に示されるように２種類の色フィルタｇ４，ｂ４が市松状に配置された撮像素子である。色フィルタｇ４は、例えば図４９に示すように５３０〜５５０ｎｍ、及び６７０〜７１０ｎｍの２つの波長帯域の光を透過させる櫛形フィルタの特性を有している。また色フィルタｂ４は、例えば図５０に示すように、３９０〜４４５ｎｍ、及び６７０〜７１０ｎｍの２つの波長帯域の光を透過させる櫛形フィルタの特性を有している。ここで、２種類の色フィルタｇ４，ｂ４に共通する透過帯域である６７０〜７１０ｎｍの波長帯域は、蛍光薬剤ＣＹ５の蛍光波長に相当する。
【０２５９】
画像処理部３００は、２つのＡＤ変換部３１０，３１１と通常光画像取得部３２０と特殊光画像取得部３３０と強調部３５０と制御部３６０と対応付け部３７０を備えている。制御部３６０は通常光画像取得部３２０と特殊光画像取得部３３０と強調部３５０と対応付け部３７０に接続されていて、これらを制御するようになっている。
【０２６０】
さらに制御部３６０は、第１回転フィルタ１４０と第２回転フィルタ１５０とも接続されており、前記２つの回転フィルタは、制御部３６０からの信号に応じてモータを回転駆動することにより、フィルタＦ１，Ｆ３若しくはＦ１，Ｆ４を順次切り替えて、照明光を被検体である体腔内組織に順次照射する。また制御部３６０は、光路に挿入されている回転フィルタの情報、及び光路中に配置されているフィルタＦ１，Ｆ３，Ｆ４の情報を通常光画像取得部３２０、特殊光画像取得部３３０、強調部３５０、対応付け部３７０に出力するようになっている。ここで制御部３６０が出力する情報は、フラグ信号とトリガ信号の２種類である。フラグ信号は、第１回転フィルタ１４０と第２回転フィルタ１５０のうち、どちらの回転フィルタが光路に挿入されているかを識別するための信号である。またトリガ信号は、光路中に配置されているフィルタＦ１，Ｆ３，Ｆ４を識別するための信号である。
【０２６１】
外部Ｉ／Ｆ部５００は、この画像処理装置に対するユーザからの入力等を行うためのインターフェースである。
【０２６２】
ＡＤ変換部３１０は第１撮像素子２５０から出力されるアナログ画像信号をデジタル画像信号に変換して出力し、ＡＤ変換部３１１は第２撮像素子２６０から出力されるアナログ画像信号をデジタル画像信号に変換して出力する。
【０２６３】
通常光画像取得部３２０は、ＡＤ変換部３１０から出力されるデジタル画像信号から通常光画像を取得する。特殊光画像取得部３３０は、ＡＤ変換部３１１から出力されるデジタル画像信号から特殊光画像を取得する。
【０２６４】
通常光画像取得部３２０で取得された通常光画像、及び特殊光画像取得部３３０で取得された特殊光画像は対応付け部３７０に出力される。本実施の形態においては、通常光画像取得部３２０と特殊光画像取得部３３０で、通常光画像と特殊光画像が交互に取得されるため、対応付け部３７０はこれらの画像の対応付けを行う。対応付け部３７０の処理は第５の実施形態と同様である。
【０２６５】
対応付け部３７０で対応付けされた通常光画像及び特殊光画像は強調部３５０に出力される。強調部３５０は、特殊光画像の種類に応じて通常光画像に強調処理を施し、表示部４００に出力する。なお、強調部３５０の詳細については後述する。
【０２６６】
次に通常光画像取得部３２０について図６を用いて説明する。通常光画像取得部３２０は通常光画像生成部３２１と通常光画像記憶部３２２を備えている。通常光画像生成部３２１は制御部３６０から送られてくるトリガ信号により、フィルタＦ１が光路中に位置する期間を識別し、フィルタＦ１が光路中に位置する期間内に第１撮像素子２５０から送られてくるアナログ画像信号から変換されたデジタル画像信号に対して画像処理を行い、通常光画像を生成する。具体的には、既存の補間処理やホワイトバランス、色変換、階調変換等の処理を行い、通常光画像を生成して出力する。ここで、通常光画像はＲＧＢ画像である。通常光画像記憶部３２２は、通常光画像生成部３２１から出力された通常光画像をメモリに記憶する。なお、通常光画像記憶部３２２は複数枚の画像を記憶できるようになっている。
【０２６７】
次に特殊光画像取得部３３０について図７を用いて説明する。特殊光画像取得部３３０は特殊光画像生成部３３１と特殊光画像記憶部３３２を備えている。特殊光画像生成部３３１は制御部３６０から送られてくる前記フラグ信号により、前述した２つの回転フィルタのうち、どちらの回転フィルタが光路に挿入されているかを識別し、その識別結果に応じて特殊光画像を生成する。ここでは、前記光路中に第１回転フィルタ１４０が挿入されている場合と、第２回転フィルタ１５０が挿入されている場合のそれぞれについて、特殊光画像の生成方法を説明する。
【０２６８】
第１回転フィルタ１４０が光路に挿入されている場合、特殊光画像取得部３３０は前記トリガ信号よりフィルタＦ３が光路中に位置する期間を識別し、フィルタＦ３が光路中に位置する期間内にＡＤ変換部３１１から出力されるデジタル画像信号に対して画像処理を行い、特殊光画像を生成する。フィルタＦ３は、前述したように蛍光薬剤ＣＹ５を励起させ、蛍光を発生させる波長帯域の光を透過する特性を有している。ここで蛍光薬剤ＣＹ５の蛍光波長の帯域は６７０〜７１０ｎｍである。一方、第２撮像素子２６０に用いられる色フィルタｇ４，ｂ４は、両者ともに前記蛍光波長の帯域を透過する特性を有している。従って第２撮像素子２６０から出力される信号は、ＣＹ５の蛍光信号となる。そのため本実施の形態において、第１回転フィルタ１４０が光路中に挿入されている場合に取得される特殊光画像は、蛍光画像となる。特殊光画像生成部３３１は、ＡＤ変換部３１１より出力されるデジタル画像信号に対して既存の階調変換処理を行うことで蛍光画像を生成し、生成した蛍光画像を特殊光画像記憶部３３２に出力する。ここで、蛍光画像はモノクロ画像である。特殊光画像記憶部３３２は、特殊光画像生成部３３１から出力された蛍光画像をメモリに記憶する
【０２６９】
また、第２回転フィルタ１５０が光路に挿入されている場合、特殊光画像取得部３３０は前記トリガ信号よりフィルタＦ４が光路中に位置する期間を識別し、フィルタＦ４が光路中に位置する期間内にＡＤ変換部３１１から出力されるデジタル画像信号に対して画像処理を行い、特殊光画像を生成する。ここでフィルタＦ４は前述したように、３９０〜４４５ｎｍと５３０〜５５０ｎｍの２種類の狭帯域光を透過させる特性を有している。一方、第２撮像素子２６０は前述したように、図４８に示すように２種類の色フィルタｇ４，ｂ４が市松状に配置された撮像素子である。またｇ４は５３０〜５５０ｎｍの波長帯域の光を透過する特性を有し、ｂ４は３９０〜４４５ｎｍの波長帯域の光を透過する特性を有している。従って、第２回転フィルタ１５０が光路中に挿入されている場合、特殊光画像生成部３３１に入力されるデジタル画像信号は、第１の実施形態で示した特殊光画像生成部３３１に入力されるデジタル画像信号と同等となる。そのため、特殊光画像生成部３３１は第１の実施形態と同様の方法で狭帯域光画像を生成し、生成した狭帯域光画像を特殊光画像記憶部３３２に出力する。ここで、狭帯域光画像はＲＧＢ画像である。特殊光画像記憶部３３２は、特殊光画像生成部３３１から出力された狭帯域光画像をメモリに記憶する。なお、特殊光画像記憶部３３２は複数枚の画像を記憶できるようになっている。
【０２７０】
次に、強調部３５０の詳細について説明する。強調部３５０は、図５１に示されるように、特徴量算出部３５６と特徴量加算部３５７より構成される。対応付け部３７０により通常光画像との対応付けがなされた特殊光画像は、特徴量算出部３５６に出力される。また対応付け部３７０により特殊光画像との対応付けがなされた通常光画像は、特徴量加算部３５７に出力される。制御部３６０は特徴量算出部３５６と特徴量加算部３５７に接続されていて、これらを制御するようになっている。
【０２７１】
特徴量算出部３５６は、特殊光画像の種類に応じて特徴量を算出する。具体的には、制御部３６０から送られてくるフラグ信号を参照して、光源部１００において２つの回転フィルタのうち、どちらの回転フィルタが光路に挿入されているかを識別し、識別結果に応じて特徴量を算出する。
【０２７２】
前記光路に第１回転フィルタ１４０が挿入されている場合、対応付け部３７０より出力される特殊光画像は、前述したようにモノクロの蛍光画像となる。この場合、特徴量算出部３５６は入力された蛍光画像の全ての画素位置（ｘ，ｙ）における信号値を特徴量として、特徴量加算部３５７に出力する。ここでは、画素位置（ｘ，ｙ）における特徴量をｆ’（ｘ，ｙ）と表記する。
【０２７３】
一方、前記光路に第２回転フィルタ１５０が挿入されている場合、対応付け部３７０より出力される特殊光画像は狭帯域光画像となる。この場合、特徴量算出部３５６は入力された狭帯域光画像の輝度信号より、式１５を用いて特殊光画像の全ての画素についてエッジ量Ｅ（ｘ，ｙ）を算出し、算出したエッジ量Ｅ（ｘ，ｙ）を特徴量ｆ’（ｘ，ｙ）として特徴量加算部３５７に出力する。
【０２７４】
特徴量加算部３５７は、特殊光画像の種類に応じて、通常光画像に対し強調処理を施す。特殊光画像の種類の判別方法は、前述したように制御部３６０から送られてくるフラグ信号を参照すればよい。
【０２７５】
前記光路に第１回転フィルタ１４０が挿入されている場合、特徴量加算部３５７は上式（２０）と同様の方法で通常光画像に色変換処理を施す。ここでは、特徴量算出部３５６で算出した特徴量に基づいて、通常光画像に対し色変換処理を施す例を示したが、本発明はこれに限定されるものではなく、前記特徴量に基づき任意の色変換処理や輝度変換処理を行っても良い。
【０２７６】
一方、前記光路に第２回転フィルタ１５０が挿入されている場合、特徴量加算部３５７は特徴量算出部３５６より出力される特徴量ｆ’（ｘ，ｙ）を、通常光画像の輝度信号Ｙ（ｘ，ｙ）に加算する処理を施す。ここでは、特徴量算出部３５６で算出した特徴量に基づいて、通常光画像に対し輝度変換処理を施す例を示したが、本発明はこれに限定されるものではなく、前記特徴量に基づき任意の色変換処理や輝度変換処理を行っても良い。
【０２７７】
このような処理を行うことで、蛍光画像を特殊光画像として取得する場合には、腫瘍等の病変部が正常部位とは異なる色として描出される。さらに狭帯域光画像を特殊光画像として取得する場合には、病変の診断に重要な血管部位が強調して描出される。
【０２７８】
以上に示した構成により、特殊光画像の種類に応じて通常光画像を強調処理することが可能となり、通常光画像と特殊光画像を用いた診断を行う際に、ドクターの負荷を低減しながら病変部の見逃しを防止することが可能になる。
【０２７９】
なお、本実施形態においては、光路に挿入されている回転フィルタの情報をフラグ信号として用い、特殊光画像の種類を判別する方法を示したが、本発明はこれに限定されるものではない。例えば第２撮像素子２６０から出力される信号をもとに、特殊光画像の種類を判別することも可能である。
【０２８０】
ここで、第２撮像素子２６０から出力される信号をもとに、特殊光画像の種類を判別する方法について説明する。第２撮像素子２６０は、図４８で示されるように２種類の色フィルタｇ４とｂ４を市松状に並べた撮像素子である。また、本実施形態において第１回転フィルタ１４０が光路に挿入されている場合、第２撮像素子２６０より出力される信号は、前述したようにＣＹ５の蛍光信号となる。従って、色フィルタｇ４を有する全ての画素から出力される信号の平均値Ｇ４＿ａｖｅと、色フィルタｂ４を有する全ての画素から出力される信号の平均値Ｂ４＿ａｖｅはほぼ等しくなる。
【０２８１】
一方、第２回転フィルタ１５０が光路に挿入されている場合、第２撮像素子２６０より出力される信号は、前述したように色フィルタｇ４に関しては波長帯域５３０〜５５０ｎｍの狭帯域信号、色フィルタｂ４に関しては波長帯域３９０〜４４５の狭帯域信号となり、ｇ４とｂ４で異なる波長帯域の信号が出力される。そのため、前述した信号の平均値Ｇ４＿ａｖｅとＢ４＿ａｖｅは異なる値となる。従って、前述した平均値Ｇ４＿ａｖｅ， Ｂ４＿ａｖｅを比較することで、特殊光画像の種類を判別することも可能である。
【０２８２】
また、本実施の形態では、画像処理部３００を構成する各部をハードウェアで構成することとしたが、第１の実施形態と同様に、予め取得された画像に対して、ＣＰＵが各部の処理を行う構成とし、ＣＰＵがプログラムを実行することによってソフトウェアとして実現することとしてもよい。あるいは、各部が行う処理の一部をソフトウェアで構成することとしてもよい。
【０２８３】
各部が行う処理の一部をソフトウェアで構成する場合の一例として、予め取得された通常光画像と特殊光画像に対して、図４３の強調部３５０及び対応付け部３７０の処理をソフトウェアで実現する場合の処理手順を、図５２のフローチャートを用いて説明する。
【０２８４】
本実施の形態では通常光画像と特殊光画像が交互に取得されているため、まずそれぞれの画像を取得したタイミング情報に基づいて、第５の実施形態と同様の方法で、これらの画像の対応付けを行う（Ｓｔｅｐ２１）。次に特殊光画像をメモリに読み込み（Ｓｔｅｐ２２）、この特殊光画像と対応づけられた通常光画像をメモリに読み込む（Ｓｔｅｐ２３）。さらに、特殊光画像の種類を識別するためのフラグ信号をメモリに読み込む（Ｓｔｅｐ２４）。
【０２８５】
強調処理ステップ（Ｓｔｅｐ２５）の詳細は図５３に示す通りである。まず、特殊光画像識別ステップでは、フラグ信号を参照して特殊光画像の種類を識別する（Ｓｔｅｐ２５１）。次に特徴量算出ステップでは、特殊光画像の種類に応じて特徴量を算出する（Ｓｔｅｐ２５２）。具体的には、特殊光画像が蛍光画像であった場合、蛍光画像の信号値を特徴量Ｆ’（ｘ，ｙ）とし、また特殊光画像が狭帯域光画像であった場合には、狭帯域光画像の輝度信号から式１５を用いてエッジ量を算出し、算出したエッジ量を特徴量ｆ’（ｘ，ｙ）とする。特徴量加算ステップではＳｔｅｐ２５２と同様に、特殊光画像の種類に応じて通常光画像に強調処理を施す（Ｓｔｅｐ２５３）。具体的には、特殊光画像の種類が蛍光画像であった場合、Ｓｔｅｐ２５２で算出された特徴量と上式（２０）を用いて通常光画像に色変換処理を施す。また特殊光画像の種類が狭帯域光画像であった場合、Ｓｔｅｐ２５２で算出された特徴量を、通常光画像の輝度信号に加算する処理を施す。
【０２８６】
そして、すべての画像に対して一連の処理が完了した場合は処理を終了し、未処理の画像が残っている場合は同様の処理を継続する（Ｓｔｅｐ２６）。
【０２８７】
以上の本実施形態では、第１画像取得部（狭義には通常光画像取得部３２０）は白色光の波長帯域に対応する第１の画像（狭義には白色光画像）を取得し、第２画像取得部（狭義には特殊光画像取得部３３０）は特定の波長帯域（狭義には狭帯域光や蛍光等の波長帯域）に対応する第２の画像（狭義には狭帯域画像や蛍光画像等の特殊光画像）を取得する。そして強調部３５０は、第２の画像の種類に基づいて、第１の画像に対して強調処理を施す。
【０２８８】
ここで第２の画像の種類は、ＮＢＩ画像及びＡＦＩ画像を含んでもよい。そして強調部３５０は第２の画像がＮＢＩ画像かＡＦＩ画像かに応じて、強調処理の方法を変更してもよい。
【０２８９】
これにより、通常光画像（白色光画像）と特殊光画像（ＮＢＩ画像や蛍光画像等）を取得した上で、特殊光画像の種類に基づいて、通常光画像に対する強調処理の方法を変更することができる。よって、具体的には例えば、特殊光画像がＮＢＩ画像の場合には第３の実施形態と同様の処理を行い、蛍光画像の場合には第５の実施形態と同様の処理を行うことなどが可能になる。
【０２９０】
以上、本発明を適用した６つの実施の形態１〜６およびその変形例について説明したが、本発明は、各実施の形態１〜６やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施の形態１〜６や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施の形態１〜６や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。
【０２９１】
また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語（第１の画像、第２の画像等）と共に記載された用語（通常光画像、特殊光画像等）は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。
【符号の説明】
【０２９２】
１００ 光源部、１１０ 白色光源、１２０ 集光レンズ、１３０ 回転フィルタ、
１４０ 回転フィルタ、１５０ 回転フィルタ、２００ 撮像部、
２１０ ライトガイドファイバ、２２０ 照明レンズ、２３０ 対物レンズ、
２４０ ハーフミラー、２５０ 撮像素子、２６０ 撮像素子、
２７０ ダイクロイックミラー、２８０ メモリ、３００ 画像処理部、
３１０ 変換部、３１１ 変換部、３２０ 通常光画像取得部、
３２１ 通常光画像生成部、３２２ 通常光画像記憶部、３３０ 特殊光画像取得部、
３３１ 特殊光画像生成部、３３２ 特殊光画像記憶部、３３３ 信号抽出部、
３３４ マトリクスデータ設定部、３４０ 領域種類判別部、３４１ 局所領域設定部、
３４２ 特徴量算出部、３４３ 種類判別部、３４４ 画素情報出力部、
３４５ 輝度信号算出部、３５０ 強調部、３５１ 分離部、
３５２ 高周波成分算出部、３５３ 高周波成分加算部、３５４ 合成部、
３５５ エッジ加算部、３５６ 特徴量算出部、３５７ 特徴量加算部、
３６０ 制御部、３７０ 対応付け部、４００ 表示部、５００ 外部Ｉ／Ｆ部、
６００ コンピューターシステム、６１０ 本体部、６１５ ドライブ、
６１６ ポート、６１７ インターフェース、６１８ インターフェース、
６２０ ディスプレイ、６２１ 表示画面、６３０ キーボード、６４０ マウス、
６５０ モデム、６７０ メモリ、６８２ サーバ、６８３ プリンタ、
３５２１ 多重解像度変換部、３５２２ 高周波成分抽出部
【技術分野】
【０００１】
本発明は、画像処理装置、電子機器、プログラム及び画像処理方法等に関する。
【背景技術】
【０００２】
従来より、体腔内の組織に対して回転フィルタを用いてＲ１，Ｇ１，Ｂ１の３色の光を順次照射し、それらの反射光画像から作成した画像（通常光画像）を用いて診断を行う面順次式の内視鏡システムが広く使用されている。さらに、体腔内の組織に対して前述の３色の光とは特性が異なる２種類の狭帯域光Ｇ２とＢ２を順次照射し、それらの反射光画像から作成した狭帯域光画像を用いて診断を行う内視鏡システムが提案されている（例えば特許文献１）。また、体腔内の組織に対して狭帯域の励起光を照射し、励起光により組織から発生する自家蛍光もしくは薬剤蛍光を取得して作成した蛍光画像を用いて診断を行う内視鏡システムが提案されている（例えば特許文献２）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−６８１１３号公報
【特許文献２】特開２００７−２２９０５３号公報
【特許文献３】特開２０００−１１５５５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述の特許文献１のような狭帯域光画像を取得する内視鏡システムを用いて診断を行うことで、例えば通常光画像による視認が困難な扁平上皮癌等の病変部が、正常部とは異なる褐色の領域として描出される。そのため、病変部の発見が容易になることが知られている。
【０００５】
また、上述の特許文献２のような蛍光画像を取得する内視鏡システムを用いて診断を行う場合は、腫瘍等の病変部に特異的に集積する性質を持つ蛍光薬剤を使用することで、腫瘍等の病変部だけが蛍光を発生することになり、発見が容易になる。
【０００６】
しかしこれらの狭帯域光画像や蛍光画像（これらを合わせて特殊光画像と呼ぶ）は、一般的に通常光画像と比較してかなり異なる色みを有している。さらに照明光が不足するため非常に暗い画像となるため、特殊光画像のみを用いて診断を行うことは難しい。このような理由から、ドクターの診断精度を向上するために、例えば通常光画像と特殊光画像を同時に取得して表示することが考えられる。しかし、これらの画像を並べて同時に表示すると、ドクターが常時複数の画像に注目しながら診断を行うこととなりドクターの負荷が高くなる。また、一時的に１つの画像のみに注目してしまうことで病変部を見逃すことも考えられる。
【０００７】
本発明の幾つかの態様によれば、白色光の波長領域に対応する第１の画像と特定の波長領域に対応する第２の画像を取得して、第２の画像内の被写体像の種類を判別し、種類に基づいて第１の画像に強調処理を施す画像処理装置、電子機器、プログラム及び画像処理方法等を提供することができる。また、本発明の幾つかの態様によれば、通常光画像と特殊光画像を用いた診断を行う際にドクターの負荷を低減しながら病変部の見逃しを防止する画像処理装置、電子機器、プログラム及び画像処理方法等を提供することができる。
【課題を解決するための手段】
【０００８】
本発明の一態様は、白色光の波長帯域における情報を有した被検体像を含む画像を第１の画像として取得する第１画像取得部と、特定の波長帯域における情報を有した被検体像を含む画像を第２の画像として取得する第２画像取得部と、前記第２の画像内の画素の特徴量に基づいて、前記第２の画像内に写された被検体像の種類を判別する種類判別部と、前記判別された被検体像の種類に基づいて、前記第１の画像に対して強調処理を施す強調部と、を含む画像処理装置に関係する。
【０００９】
本発明の一態様では、白色光の波長領域に対応する第１の画像と特定の波長領域に対応する第２の画像を取得して、第２の画像内の被写体像の種類を判別し、種類に基づいて第１の画像に強調処理を施す。そのため状況に応じた様々な強調処理を施すことができる。
【００１０】
本発明の他の態様は、白色光の波長帯域における情報を有した被検体像を含む画像を第１の画像として取得する第１画像取得部と、特定の波長帯域における情報を有した被検体像を含む画像を第２の画像として取得する第２画像取得部と、前記取得された第２の画像の種類に基づいて、前記第１の画像に対して強調処理を施す強調部と、を含む画像処理装置に関係する。
【００１１】
本発明の他の態様によれば、白色光の波長領域に対応する第１の画像と特定の波長領域に対応する第２の画像を取得して、第２の画像に基づいて第１の画像に強調処理を施す。そのため第２の画像の種類が複数存在する場合にも、状況に応じて様々な強調処理を施すことができる。
【図面の簡単な説明】
【００１２】
【図１】種類判別及び強調処理の手法の説明図。
【図２】本実施形態のシステム構成例。
【図３】色フィルタｒ，ｇ，ｂの分光特性。
【図４】色フィルタｇ２，ｂ２の説明図。
【図５】色フィルタｇ２，ｂ２の分光特性。
【図６】通常光画像取得部の構成例。
【図７】特殊光画像取得部の構成例。
【図８】色フィルタｇ２，ｂ２の説明図。
【図９】領域種類判別部の構成例。
【図１０】局所領域の分割手法の説明図。
【図１１】ソフトウェア処理で用いられるコンピュータの構成例。
【図１２】ソフトウェア処理で用いられるコンピュータの構成例。
【図１３】本実施形態の処理を説明するためのフローチャート。
【図１４】領域種類判別処理を説明するためのフローチャート。
【図１５】種類判別及び強調処理の他の手法の説明図。
【図１６】領域種類判別部の他の構成例。
【図１７】強調部の構成例。
【図１８】高周波成分算出部の構成例。
【図１９】ウェーブレット変換による多重解像度変換画像の説明図。
【図２０】内視鏡画像の説明図。
【図２１】多重解像度変換画像における血管と粘膜の対応図。
【図２２】領域種類判別処理を説明するための他のフローチャート。
【図２３】強調処理を説明するためのフローチャート。
【図２４】種類判別及び強調処理の他の手法の説明図。
【図２５】領域種類判別部の他の構成例。
【図２６】強調部の他の構成例。
【図２７】領域種類判別処理を説明するための他のフローチャート。
【図２８】本実施形態の他のシステム構成例。
【図２９】特殊光画像取得部の他の構成例。
【図３０】種類判別及び強調処理の他の手法の説明図。
【図３１】本実施形態の他のシステム構成例。
【図３２】回転フィルタの構成例。
【図３３】フィルタＦ１の分光特性。
【図３４】フィルタＦ２の分光特性。
【図３５】色フィルタｇ３，ｒ３の説明図。
【図３６】色フィルタｇ３，ｒ３の分光特性。
【図３７】色フィルタｇ３，ｒ３の説明図。
【図３８】各タイミングにおけるフィルタと得られる画像の組み合わせの例。
【図３９】通常光画像と特殊光画像の取得タイミングの例。
【図４０】本実施形態の処理を説明するための他のフローチャート。
【図４１】領域種類判別処理を説明するための他のフローチャート。
【図４２】種類判別及び強調処理の他の手法の説明図。
【図４３】本実施形態の他のシステム構成例。
【図４４】回転フィルタの構成例。
【図４５】回転フィルタの構成例。
【図４６】フィルタＦ３の分光特性。
【図４７】フィルタＦ４の分光特性。
【図４８】色フィルタｇ４，ｂ４の説明図。
【図４９】色フィルタｇ４の分光特性。
【図５０】色フィルタｂ４の分光特性。
【図５１】強調部の他の構成例。
【図５２】本実施形態の処理を説明するための他のフローチャート。
【図５３】強調処理を説明するための他のフローチャート。
【発明を実施するための形態】
【００１３】
１．第１の実施形態
第１の実施形態の概要を、図１を参照して説明する。
【００１４】
本出願人は第２の画像内の被写体像の種類に応じて、第１の画像に施す強調処理を変更する手法を提案している。第１の実施形態においては、Ａ１に示すように、第２の画像とはＮＢＩ（Narrow Band Imaging）画像である。この第２の画像内の被写体像の種類を判別する（Ａ２）。ここでは種類判別のために用いられる特徴量は、色相Ｈである。Ａ３に示すように、Ｈが５〜３５の範囲にあるものを第１の種類とし、Ｈが１７０〜２００の範囲にあるものを第２の種類とする。またどちらにも該当しないものを第３の種類とする。ここで第１の種類は表層の血管に対応し、第２の種類は深層の血管に対応する。第３の種類はそれ以外のものに対応し、たとえば粘膜等である。
【００１５】
種類の判別の後は、強調範囲を決定する。本実施形態においては、強調範囲は第１の種類及び第２の種類（つまりは表層血管及び深層血管）となる（Ａ４）。よって第１の画像（狭義には通常光画像）において強調される範囲はＡ５に示すような範囲となる。
【００１６】
そして設定された強調範囲に対して、所定の方法で強調処理を施す。本実施形態においては、強調処理の方法はＡ６に示すように、色変換処理である。具体的には後述する式（９）、（１０）を用いる。第１の種類と第２の種類で用いるターゲット色及びパラメータｇａｉｎを変更することで、種類に応じた強調処理を施すことが可能になる。結果としてＡ７に示すように、血管が強調された通常光画像を取得できる。図１のＡ７では不図示であるが、第１の種類と第２の種類ではターゲット色が異なるため、表層血管と深層血管は異なった色味で表現されることになる。
【００１７】
また、強調処理の方法は観察する部位に応じて変更することも可能である。
【００１８】
次に、第１の実施形態に係る内視鏡システムについて、図２を参照して説明する。本実施形態に係る内視鏡システムは、光源部１００と、撮像部２００と、画像処理部３００と、表示部４００と、外部Ｉ／Ｆ部５００を備えている。
【００１９】
光源部１００は、白色光を発生する白色光源１１０と白色光をライトガイドファイバ２１０に集光するための集光レンズ１２０を備えている。
【００２０】
撮像部２００は、例えば体腔への挿入を可能にするため、細長くかつ湾曲可能に形成されている。また撮像部２００は着脱可能な構造をしており、観察する部位によって異なる撮像部が用いられる。一般に内視鏡分野において、撮像部２００はスコープと呼ばれており、具体的に用いられるスコープとしては、上部消化器用スコープや下部消化器用スコープ等が挙げられる。
【００２１】
撮像部２００は、光源部１００で集光された光を導くためのライトガイドファイバ２１０と、該ライトガイドファイバ２１０により先端まで導かれてきた光を拡散させて被検体に照射する照明レンズ２２０と、被検体から戻る反射光を集光する対物レンズ２３０と、集光した反射光を２つに分離するハーフミラー２４０と、分離された反射光を検出するための第１撮像素子２５０と第２撮像素子２６０を備えている。第１撮像素子２５０は通常光画像を撮影するためのベイヤ配列の色フィルタを持つ撮像素子である。第１撮像素子２５０の色フィルタＲ、Ｇ、Ｂは例えば図３に示すような分光特性を持っている。第２撮像素子２６０は、例えば図４に示すように２種類の色フィルタｇ２，ｂ２が市松状に配置された撮像素子である。ここで２種類の色フィルタｇ２，ｂ２は、例えば図５に示すように、ｂ２が３９０〜４４５ｎｍ、ｇ２が５３０〜５５０ｎｍの波長帯域の光を透過させる特性を持つものとする。
【００２２】
さらに撮像部２００は内部にメモリ２８０を有しており、メモリ２８０は各スコープ固有の識別番号を保持している。メモリ２８０は制御部３６０に接続されており、制御部３６０はメモリ２８０に保持されている各スコープ固有の識別番号を参照することで、使用しているスコープを識別することが可能である。また使用しているスコープを識別することで、観察部位を識別することも可能である。
【００２３】
画像処理部３００は、２つのＡＤ変換部３１０，３１１と通常光画像取得部３２０と特殊光画像取得部３３０と領域種類判別部３４０と強調部３５０と制御部３６０を備えている。制御部３６０は通常光画像取得部３２０、特殊光画像取得部３３０、領域種類判別部３４０、強調部３５０に接続されていて、これらを制御するようになっている。
【００２４】
外部Ｉ／Ｆ部５００は、この画像処理装置に対するユーザからの入力等を行うためのインターフェースであり、電源のオン／オフを行うための電源スイッチ、撮影操作を開始するためのシャッタボタン、撮影モードやその他各種のモードを切り換えるためのモード切換ボタンなどを含んで構成されている。そして、この外部Ｉ／Ｆ部５００は、入力された情報を、制御部３６０へ出力するようになっている。
【００２５】
ＡＤ変換部３１０は第１撮像素子２５０から出力されるアナログ画像信号をデジタル画像信号に変換して出力し、ＡＤ変換部３１１は第２撮像素子２６０から出力されるアナログ画像信号をデジタル画像信号に変換して出力する。
【００２６】
通常光画像取得部３２０は、ＡＤ変換部３１０から出力されるデジタル画像信号から通常光画像を取得する。特殊光画像取得部３３０はＡＤ変換部３１１から出力されるデジタル画像信号から特殊光画像を取得する。通常光画像取得部３２０及び特殊光画像取得部３３０の詳細については後述する。
【００２７】
通常光画像取得部３２０で取得された通常光画像は、強調部３５０に出力される。また特殊光画像取得部３３０で取得された特殊光画像は、領域種類判別部３４０に出力される。領域種類判別部３４０は特殊光画像内に写っている被検体の種類を判別し、その判別結果を強調部３５０に出力する。強調部３５０は領域種類判別部３４０から出力される判別結果に応じて通常光画像に強調処理を施し、表示部４００に出力する。領域種類判別部３４０、及び強調部３５０の詳細については後述する。
【００２８】
ここで、通常光画像取得部３２０について図６を用いて説明する。通常光画像取得部３２０は通常光画像生成部３２１と通常光画像記憶部３２２を備えている。通常光画像生成部３２１はＡＤ変換部３１０より出力されるデジタル画像信号に対して画像処理を行い、通常光画像を生成する。具体的には、既存の補間処理やホワイトバランス、色変換、階調変換等の処理を行い、通常光画像を生成して出力する。ここで、通常光画像はＲＧＢ画像である。通常光画像記憶部３２２は通常光画像生成部３２１から出力された通常光画像をメモリに記憶する。
【００２９】
次に特殊光画像取得部３３０について図７を用いて説明する。特殊光画像取得部３３０は特殊光画像生成部３３１と特殊光画像記憶部３３２を備えている。特殊光画像生成部３３１はＡＤ変換部３１１より出力されるデジタル画像信号に対して画像処理を行い、特殊光画像を生成する。本実施例では特殊光画像は狭帯域光画像となる。なお、狭帯域光画像はＲＧＢ画像である。
【００３０】
ここで、特殊光画像生成部３３１で狭帯域光画像を生成する方法について説明する。前述したように、第２撮像素子２６０は図４に示されるように、２種類の色フィルタｇ２，ｂ２が市松状に配置された撮像素子である。従って特殊光画像生成部３３１には、図８に示すようなデジタル画像信号が入力される。ここで、Ｇ２（ｘ，ｙ）はｇ２フィルタの信号値を表し、Ｂ２（ｘ，ｙ）はｂ２フィルタの信号値を表すものとする。また、ｘ，ｙは画像座標である。このような画像信号に対してまず補間処理を行い、全画素でｇ２フィルタの信号値を持つＧ２画像と、全画素でｂ２フィルタの信号値を持つＢ２画像を生成する。補間処理で算出される信号値は、例えば周辺４画素の信号値の平均値とすればよく、例えば図８のＧ２（１，１）の位置でのｂ２フィルタの信号値Ｂ２（１，１）、及びＢ２（１，２）位置でのｇ２フィルタの信号値Ｇ２（１，２）は下式（１）、（２）を用いて算出する。
【００３１】
B2(1,1) = [ B2(0,1) + B2(1,0) + B2(1,2) + B2(2,1) ] / 4 ・・・・・（１）
G2(1,2) = [ G2(0,2) + G2(1,1) + G2(1,3) + G2(2,2) ] / 4 ・・・・・（２）
【００３２】
次に前述の補間処理により生成したＧ２画像及びＢ２画像から、通常光画像と同様にＲ，Ｇ，Ｂの３種類の信号値を有するカラー画像を生成する。ここでは前記カラー画像の座標（ｘ，ｙ）におけるＲ信号にＧ２（ｘ，ｙ）を入力し、Ｇ，Ｂ信号にＢ２（ｘ，ｙ）を入力することでカラー画像を生成する。特殊光画像生成部３３１は、生成した前記カラー画像に対してさらにホワイトバランス、階調変換等の処理を行い、狭帯域光画像を生成する。生成した狭帯域光画像は、特殊光画像記憶部３３２に出力される。特殊光画像記憶部３３２は特殊光画像生成部３３１から出力された狭帯域光画像をメモリに記憶する。
【００３３】
次に、領域種類判別部３４０の詳細について説明する。図９は第１の実施形態における領域種類判別部３４０の構成の一例を説明するブロック図である。領域種類判別部３４０は、局所領域設定部３４１と特徴量算出部３４２と種類判別部３４３と領域選出部３４４とを備えている。制御部３６０は、局所領域設定部３４１と特徴量算出部３４２と種類判別部３４３と領域選出部３４４に接続されていて、これらを制御するようになっている。
【００３４】
局所領域設定部３４１は特殊光画像取得部３３０から出力される狭帯域光画像に対して、複数の局所領域を設定する。ここでは狭帯域光画像を矩形領域に分割し、分割した各領域を局所領域として設定する場合を例に挙げて説明する。具体的には例えば図１０に示すように、５×５画素を１つの局所領域とする。ここで狭帯域光画像はＭ×Ｎ個の局所領域で構成されていることとし、各領域の座標を（ｍ，ｎ）で示すこととする。また、座標（ｍ，ｎ）の局所領域はａ（ｍ，ｎ）として示すこととする。ここでは画像の左上に位置する局所領域の座標を（０，０）とし、右方向をｍの正方向、下方向をｎの正方向と定義する。局所領域は必ずしも矩形である必要はなく、狭帯域光画像を任意の多角形に分割し、分割されたそれぞれの領域を局所領域に設定できることは言うまでもない。また、局所領域をユーザの指示に応じて任意に設定できるようにしてもよい。また、ここでは後の計算量を削減するために、複数の隣接する画素群からなる領域を１つの局所領域としているが、１画素を１つの局所領域とすることも可能である。この場合も後の処理は全く同様である。
【００３５】
特徴量算出部３４２は局所領域設定部３４１で設定された全ての局所領域に対して特徴量を算出する。本実施例では特徴量として色相を用いる場合について説明する。
【００３６】
ここでは局所領域ａ（ｍ，ｎ）の色相をＨ（ｍ，ｎ）と表記する。Ｈ（ｍ，ｎ）を算出するため、まず各局所領域における、Ｒ，Ｇ，Ｂ信号の平均値Ｒ＿ａｖｅ，Ｇ＿ａｖｅ，Ｂ＿ａｖｅを算出する。ここで、平均値Ｒ＿ａｖｅは、各局所領域に含まれる全ての画素におけるＲ信号の平均値とする。またＧ＿ａｖｅ，Ｂ＿ａｖｅについても同様に、各局所領域に含まれる全ての画素におけるＧ，Ｂ信号の平均値とする。なお、各信号値は８ビット（０〜２５５）であるとする。次に、平均値Ｒ＿ａｖｅ，Ｇ＿ａｖｅ，Ｂ＿ａｖｅから例えば以下の下式（３）〜（８）を用いて各局所領域の色相Ｈ（ｍ，ｎ）を算出する。
【００３７】
Max = MAX(R_ave, G_ave, B_ave) ・・・・・（３）
ここで、MAＸ関数は複数の引数の中で最大のものを出力する関数とする。
【００３８】
maｘが０の場合、
H = 0 ・・・・・（４）
【００３９】
maｘが０以外の場合、
d = MAX(R_ave, G_ave, B_ave) - MIN(R_ave, G_ave, B_ave) ・・・・・（５）
ここで、MIN関数は複数の引数の中で最小のものを出力する関数とする。
【００４０】
さらに、
Ｒ＿ａｖｅ， Ｇ＿ａｖｅ， Ｂ＿ａｖｅのうち、Ｒ＿ａｖｅが最大の場合、
H = 60 * (G_ave - B_ave) / d ・・・・・（６）
【００４１】
Ｒ＿ａｖｅ， Ｇ＿ａｖｅ， Ｂ＿ａｖｅのうち、Ｇ＿ａｖｅが最大の場合、
H = 60 * {2 + (B_ave - R_ave)} / d ・・・・・（７）
【００４２】
Ｒ＿ａｖｅ， Ｇ＿ａｖｅ， Ｂ＿ａｖｅのうち、Ｂ＿ａｖｅが最大の場合、
H = 60 * {4 + (R_ave - G_ave)} / d ・・・・・（８）
【００４３】
なお、Hが＜０になった場合には、Hに３６０を加える。また、H=３６０の場合、H＝０とする。
【００４４】
次に、種類判別部３４３は全ての局所領域に対して算出した色相Ｈを用いて、局所領域に写っている被検体の種類を判別し、判別結果を領域選出部３４４に出力する。
【００４５】
生体を被検体とした場合、光源部１００より生体に照射される光のうち、短波長の光は生体の表面近くで反射されるのに対し、長波長の光は生体深部まで到達する特性がある。一方、前述したように本実施の形態において狭帯域光画像を撮影する撮像素子に用いられる２種類の色フィルタはｂ２が３９０〜４４５ｎｍ、ｇ２が５３０〜５５０ｎｍの波長帯域の光を透過する特性を持つ。従って、ｂ２フィルタを透過するのは生体の表層で反射された短波長の光であり、ｇ２フィルタを透過するのは、生体の深層で反射された長波長の光である。またこれらの色フィルタの透過帯域の波長は血液中に多く含まれるヘモグロビンに吸収されやすい特徴を持つ。そのため、Ｂ２画像には生体表層の血管が描出され、Ｇ２画像には生体深層の血管が描出されることになる。
【００４６】
本実施の形態において、Ｂ２，Ｇ２画像から前記カラー画像を生成する際には、前述したように前記カラー画像の座標（ｘ，ｙ）のＲ信号にＧ２（ｘ，ｙ）、Ｇ，Ｂ信号にＢ２（ｘ，ｙ）信号が入力される。従って、狭帯域光画像のＲ信号には生体深層の血管情報が含まれ、Ｇ，Ｂ信号には生体表層の血管情報が含まれることになる。
【００４７】
そのため狭帯域光画像上では、生体表層の血管が褐色の領域として描出され、生体深層の血管は青緑色の領域として描出される特徴がある。よって、生体表層の血管と生体深層の血管が異なる色相として描出されるため、特徴量として色相Ｈを用いることで、生体表層の血管と生体深層の血管を判別することが可能である。ここでは例えば色相Ｈが５〜３５の範囲にある領域を生体表層の血管、色相Ｈが１７０〜２００の範囲にある領域を生体深層の血管と判別すれば良い。
【００４８】
種類判別部３４３は局所領域設定部３４１で設定された局所領域のうち、生体表層の血管、若しくは生体深層の血管と判別された全ての局所領域の座標と、該局所領域の種類判別の結果を示すタグ情報を領域選出部３４４に出力する。ここでタグ情報は、例えば生体表層の血管と判別された場合はタグの値を１とし、生体深層の血管と判別された場合はタグの値を２とすればよい。
【００４９】
領域選出部３４４は、種類判別部３４３で生体表層、若しくは深層の血管と判別された局所領域ａ（ｍ，ｎ）の座標と各局所領域が含む画素の情報から、前記局所領域に含まれる全ての画素の位置を算出し、算出した画素位置情報に前述のタグ情報を付加して強調部３５０に出力する。
【００５０】
次に、強調部３５０の詳細について説明する。強調部３５０は、領域種類判別部３４０から出力される画素位置に対応する、通常光画像の全ての画素に対し強調処理を施す。
ここで強調処理は、例えば生体表層の血管と判別された画素、つまりタグの値が１の画素については下式（９）に示す色変換処理を行い、生体深層の血管と判別された画素、つまりタグの値が２の画素については下式（１０）に示す色変換処理を行えば良い。
R_out(x, y) = gain * R(x, y) + (1 - gain) * T_R1
G_out(x, y) = gain * G(x, y) + (1 - gain) * T_G1
B_out(x, y) = gain * B(x, y) + (1 - gain) * T_B1 ・・・・・（９）
R_out(x, y) = gain * R(x, y) + (1 - gain) * T_R2
G_out(x, y) = gain * G(x, y) + (1 - gain) * T_G2
B_out(x, y) = gain * B(x, y) + (1 - gain) * T_B2 ・・・・・（１０）
【００５１】
ただし、上式（９），（１０）において、
Ｒ（ｘ，ｙ），Ｇ（ｘ，ｙ），Ｂ（ｘ，ｙ）
： 色変換処理前の通常光画像の座標（ｘ，ｙ）におけるＲＧＢ信号値
Ｒ＿ｏｕｔ（ｘ，ｙ），Ｇ＿ｏｕｔ（ｘ，ｙ），Ｂ＿ｏｕｔ（ｘ，ｙ）
： 色変換処理後の通常光画像の座標（ｘ， ｙ）におけるＲＧＢ信号値
Ｔ＿Ｒ１， Ｔ＿Ｇ１， Ｔ＿Ｂ１： 生体表層の血管の目標色のＲＧＢ信号値
Ｔ＿Ｒ２， Ｔ＿Ｇ２， Ｔ＿Ｂ２： 生体深層の血管の目標色のＲＧＢ信号値
とする。ここで、それぞれの目標色を異なる値とすることで、生体表層の血管と生体深層の血管を異なる色として描出することが可能となる。またｇａｉｎは０〜１の任意の係数である。
【００５２】
なお、生体表層の血管の目標色Ｔ＿Ｒ１，Ｔ＿Ｇ１，Ｔ＿Ｂ１、生体深層の血管の目標色Ｔ＿Ｒ２，Ｔ＿Ｇ２，Ｔ＿Ｂ２、及びｇａｉｎパラメータは、外部Ｉ／Ｆ部５００よりユーザが設定することも可能であるし、観察部位に応じて異なるパラメータを予め設定しておくこともできる。ここで観察部位は、前述したように制御部３６０がメモリ２８０に保持されている各スコープ固有の識別番号を参照することでも識別可能であるし、外部Ｉ／Ｆ部５００よりユーザが観察部位を指定する構成としても良い。
【００５３】
このような処理を行うことで、生体表層の血管と、生体深層の血管が異なる色として描出されるため、生体表層の血管と生体深層の血管の区別が容易となり、通常光画像と狭帯域光画像を用いた診断を行う際に、ドクターの負荷を低減しながら病変部の見逃しを防止することが可能になる。
【００５４】
なお、本実施形態では生体表層の血管、及び生体深層の血管と判別された領域に対し、個別に強調処理を施す例を示したが、本発明はこれに限定されるものではなく、生体表層の血管と生体深層の血管のどちらか一方のみを強調する構成とすることも可能である。
【００５５】
上述の構成は、生体表層の血管や生体深層の血管等の被検体の種類について、予め優先順位を設けておき、領域種類判別部３４０において複数の種類の被検体が検出された場合、前記優先順位が最も高い被検体の種類に従い、強調処理の方法を決定することで実現可能である。
【００５６】
例えば、大腸部位の診断において腫瘍が発見された場合には、腫瘍表面の血管構造がその腫瘍の良性、悪性を判断する重要な情報となる。そのため大腸部位の診断の際には、生体表層の血管の優先順位を高くすることで、領域種類判別部３４０で複数の種類の被検体が検出された場合でも、生体表層の血管と判別された領域のみを強調処理することができる。これにより生体表層の血管の視認性が向上し、病変の見逃しを防止することができる。
【００５７】
また食道部位の診断の際には、食道静脈瘤などの疾患が懸念されるが、食道静脈瘤は生体の比較的深部に存在するため、生体深層の血管が診断に重要な情報となる。従って食道部位の診断においては、生体深層の血管の優先順位を高くすることで、生体深層の血管と判別された領域のみを強調処理することができるため、生体深層の血管の視認性が向上し、食道静脈流の見逃し防止に有効である。
【００５８】
なお、前述した優先順位は外部Ｉ／Ｆ部５００よりユーザが設定しても良いし、観察部位に応じて優先順位を予め設定しておいても良い。ここで、観察部位は前述したように、制御部３６０がメモリ２８０に保持されている各スコープ固有の識別番号を参照することで決定することもできるし、ユーザが外部Ｉ／Ｆ部５００により観察部位を指定することもできる。
【００５９】
また強調部３５０における強調処理は、前述の色変換処理に限らず、任意の輝度変換や任意の色変換処理を用いることが可能なことは言うまでもない。
【００６０】
また、本実施の形態では、画像処理部３００を構成する各部をハードウェアで構成することとしたが、これに限定されるものではなく、例えばカプセル内視鏡などの撮像素子を用いて予め取得された画像に対して、ＣＰＵが各部の処理を行う構成とし、ＣＰＵがプログラムを実行することによってソフトウェアで実現することとしても良い。あるいは、各部が行う処理の一部をソフトウェアで構成することとしても良い。
【００６１】
撮像部を別体とし、画像処理部３００の各部が行う処理をソフトウェアとして実現する場合には、ワークステーションやパソコン等の公知のコンピューターシステムを画像処理装置として用いることができる。そして、画像処理部３００の各部が行う処理を実現するためのプログラム（画像処理プログラム）を予め用意し、この画像処理プログラムをコンピューターシステムのＣＰＵが実行することによって実現できる。
【００６２】
図１１は、本変形例におけるコンピューターシステム６００の構成を示すシステム構成図であり、図１２は、このコンピューターシステム６００における本体部６１０の構成を示すブロック図である。図１１に示すように、コンピューターシステム６００は、本体部６１０と、本体部６１０からの指示によって表示画面６２１に画像等の情報を表示するためのディスプレイ６２０と、このコンピューターシステム６００に種々の情報を入力するためのキーボード６３０と、ディスプレイ６２０の表示画面６２１上の任意の位置を指定するためのマウス６４０とを備える。
【００６３】
また、このコンピューターシステム６００における本体部６１０は、図１２に示すように、ＣＰＵ６１１と、ＲＡＭ６１２と、ＲＯＭ６１３と、ハードディスクドライブ（ＨＤＤ）６１４と、ＣＤ−ＲＯＭ６６０を受け入れるＣＤ−ＲＯＭドライブ６１５と、ＵＳＢメモリ６７０を着脱可能に接続するＵＳＢポート６１６と、ディスプレイ６２０、キーボード６３０およびマウス６４０を接続するＩ／Ｏインターフェース６１７と、ローカルエリアネットワークまたは広域エリアネットワーク（ＬＡＮ／ＷＡＮ）Ｎ1に接続するためのＬＡＮインターフェース６１８を備える。
【００６４】
さらに、このコンピューターシステム６００には、インターネット等の公衆回線Ｎ３に接続するためのモデム６５０が接続されるとともに、ＬＡＮインターフェース６１８およびローカルエリアネットワークまたは広域エリアネットワークＮ１を介して、他のコンピューターシステムであるパソコン（ＰＣ）６８１、サーバ６８２、プリンタ６８３等が接続される。
【００６５】
そして、このコンピューターシステム６００は、所定の記録媒体に記録された画像処理プログラム（例えば図１３〜図１４）を参照して後述する処理手順を実現するための画像処理プログラム）を読み出して実行することで画像処理装置を実現する。ここで、所定の記録媒体とは、ＣＤ−ＲＯＭ６６０やＵＳＢメモリ６７０の他、ＭＯディスクやＤＶＤディスク、フレキシブルディスク（ＦＤ）、光磁気ディスク、ＩＣカード等を含む「可搬用の物理媒体」、コンピューターシステム６００の内外に備えられるＨＤＤ６１４やＲＡＭ６１２、ＲＯＭ６１３等の「固定用の物理媒体」、モデム６５０を介して接続される公衆回線Ｎ３や、他のコンピューターシステム（ＰＣ）６８１またはサーバ６８２が接続されるローカルエリアネットワークまたは広域エリアネットワークＮ１等のように、プログラムの送信に際して短期にプログラムを記憶する「通信媒体」等、コンピューターシステム６００によって読み取り可能な画像処理プログラムを記録するあらゆる記録媒体を含む。
【００６６】
すなわち、画像処理プログラムは、「可搬用の物理媒体」「固定用の物理媒体」「通信媒体」等の記録媒体にコンピュータ読み取り可能に記録されるものであり、コンピューターシステム６００は、このような記録媒体から画像処理プログラムを読み出して実行することで画像処理装置を実現する。なお、画像処理プログラムは、コンピューターシステム６００によって実行されることに限定されるものではなく、他のコンピューターシステム（ＰＣ）６８１またはサーバ６８２が画像処理プログラムを実行する場合や、これらが協働して画像処理プログラムを実行するような場合にも、本発明を同様に適用することができる。
【００６７】
各部が行う処理の一部をソフトウェアで構成する場合の一例として、予め取得された通常光画像と狭帯域光画像に対して、図２の領域種類判別部３４０及び、強調部３５０の処理をソフトウェアで実現する場合の処理手順を、図１３のフローチャートを用いて説明する。
【００６８】
この場合はまず狭帯域光画像をメモリに読み込み（Ｓｔｅｐ１）、次にこの狭帯域光画像と同時に取得された通常光画像をメモリに読み込む（Ｓｔｅｐ２）。次に読み込んだ狭帯域光画像を用いて被検体の種類を判別する（Ｓｔｅｐ３）。領域種類判別ステップ（Ｓｔｅｐ３）の詳細は後述する。その後、判別結果に応じて通常光画像に強調処理を施し、強調処理後の画像を表示画像として出力する（Ｓｔｅｐ４）。強調処理は前述の式９及び１０を用いて行う。全ての画像に対して一連の処理が完了した場合は処理を終了し、未処理の画像が残っている場合は同様の処理を継続する（Ｓｔｅｐ５）。
【００６９】
次に、図１３の領域種類判別ステップ（Ｓｔｅｐ３）での詳細な処理手順について、図１４のフローチャートを用いて説明する。局所領域設定ステップでは狭帯域光画像に対して、前述の図１０に示されるように複数の局所領域を設定する（Ｓｔｅｐ３１）。次に設定した全ての局所領域に対して特徴量を算出する（Ｓｔｅｐ３２）。ここでは特徴量の一例として前述の上式（３）〜（８）で示される色相Ｈを使用する。そして、全ての局所領域で算出した色相Ｈを基に種類判別処理を行う（Ｓｔｅｐ３３）。具体的には、色相Ｈが５〜３５の領域を生体表層の血管、色相が１７０〜２００の領域を生体深層の血管と判別する。さらに生体表層、深層の血管のいずれかに判別された局所領域ａ（ｍ，ｎ）の座標と、各局所領域が含む画素の情報から、前記領域に含まれる全ての画素の位置を算出し、算出した画素の位置情報と、該画素の判別結果を示すタグ情報を付加して出力する（Ｓｔｅｐ３４）。
【００７０】
このような処理を行うことで、生体表層の血管と、生体深層の血管が異なる色として表示されるため、生体表層の血管と生体深層の血管の区別が容易となり、通常光画像と狭帯域光画像を用いた診断を行う際に、ドクターの負荷を低減しながら病変部の見逃しを防止することが可能になる。
【００７１】
以上の本実施形態では、第１画像取得部（狭義には通常光画像取得部３２０）は白色光の波長帯域に対応する第１の画像（狭義には白色光画像）を取得し、第２画像取得部（狭義には特殊光画像取得部３３０）は特定の波長帯域（狭義には狭帯域光や蛍光等の波長帯域）に対応する第２の画像（狭義には狭帯域画像や蛍光画像等の特殊光画像）を取得する。そして種類判別部３４３は、第２の画像内の画素の特徴量を用いて、第２の画像内に写された被検体像の種類を判別する。強調部３５０は、種類判別部３４３の判別に基づいて、第１の画像に対して強調処理を施す。
【００７２】
ここで種類とは、後述するように病変に関する種類や、血管に関する種類である。具体的には例えば、第１の種類が病変部であり、第２の種類が正常部である。また、第１の種類が表層血管、第２の種類が深層血管、第３の種類が血管以外（粘膜等）であることも考えられる。
【００７３】
また、画素の特徴量とは、具体的には色相Ｈやエッジ量Ｅ、信号値（Ｒ，Ｇ，Ｂ）等が考えられ、観察する対象（強調処理を施したい対象）に応じて適切なものが選択される。
【００７４】
これにより、通常光画像（白色光画像）と特殊光画像（ＮＢＩ画像や蛍光画像等）を取得した上で、特殊光画像において被検体像の種類を判別することが可能になる。そして判別した種類に基づいて、通常光画像に対する強調処理の方法を変更することができる。よって、具体的には例えば、病変部と正常部の判別を行い、病変部のみに強調処理を施すこと等が可能になる。また、表層血管と深層血管の判別を行い、表層血管と深層血管で強調処理の方法を変えることなどもできる。
【００７５】
また、強調部３５０は、被検体像が属する部位に応じて、強調処理の方法を変更してもよい。
【００７６】
これにより、観察部位が異なる場合に、強調処理の方法を変更することが可能になる。具体的には例えば、第１の種類が表層血管であり、第２の種類が深層血管、第３の種類が血管以外（粘膜等）である場合を考える。ここで大腸を観察する場合には、腫瘍の表層血管が病変の良性・悪性を判断する重要な情報となる。そのため、第１の種類である表層血管を優先的に強調表示することが考えられる。例えば、第１の種類の色変換処理において、第２の種類の色変換処理に比べて、ターゲット色をより目立ちやすい色に設定することなどが考えられる。また、第２の種類は強調表示を行わないとしてもよい。
【００７７】
また、食道静脈瘤では、深層血管が重要な診断情報となるため、食道観察時は第２の種類を優先的に強調表示すればよい。
【００７８】
また、第１の画像と第２の画像の少なくとも一方は、画像処理装置の外部に設けられた撮像装置により撮像されてもよい。その場合、撮像装置に関する情報に基づいて、被検体像が属する部位が決定される。
【００７９】
これにより、部位を決定する手段として、撮像装置に関する情報を使用することが可能になる。ここで撮像装置とは、例えば内視鏡の挿入部（スコープ）に対応するものである。具体的には、上部消化器用スコープや下部消化器用スコープ等がある。スコープには固有の識別番号があり、例えば識別番号をメモリに格納しておくことで、使用されているスコープを識別することが可能になる。上述したように観察部位により使用されるスコープが異なるため、スコープを識別することで観察部位を特定することが可能になる。
【００８０】
また、第２の画像内に複数の被検体像が存在してもよい。その場合、種類判別部３４３は各被検体像が第１〜第Ｎ（Ｎは２以上の整数）の種類のうち、いずれの種類に属するかを判別する。そして、強調部３５０は判別結果に応じて強調処理の方法を決定する。
【００８１】
これにより、複数の被検体像が一度に検出されたとしても、それぞれを適切な種類に判別した上で、判別結果に応じて強調処理の方法を決定できる。
【００８２】
具体的には図１のＡ１に示すように血管が２本、背景となる粘膜が観察されたとき、被検体像は全部で３つ存在することになる。この場合、Ｎ＝３はあらかじめ決定されており、３つの被検体像を第１〜第３の種類のどれに属するか、それぞれ判別することになる。図１のＡ３の場合、左の血管は表層血管であるので第１の種類に、右の血管は深層血管であるので第２の種類に、粘膜は第３の種類にそれぞれ判別される。ここでは１つの種類に１つの被検体像が対応したが、１つの種類に複数の被検体像が対応したり、ある種類には対応する被検体像が存在しないこともありうるのは、当業者には容易に理解可能であろう。
【００８３】
そして、強調部３５０は種類に応じて強調処理の方法を決定できる。具体的には例えば図１のＡ６に示したように、第１の種類及び第２の種類は、それぞれ異なるパラメータを用いた色変換を行い、第３の種類には強調処理を施さない、ということが考えられる。
【００８４】
また、第１〜第Ｎの種類の各種類には、種類に応じた優先度が設定されていてもよい。そして優先度に基づいて強調処理の方法を決定してもよい。優先度は具体的には、被検体像が属する部位に応じて、強調部３５０により設定されてもよい。
【００８５】
これにより、優先度に基づいた強調処理が可能になる。そして優先度の設定は、被検体像が属する部位に基づいて決めることもできる。具体的には、前述したように大腸の観察では表層血管が重要であり、食道の観察では深層血管が重要である。よって、大腸に属する被検体像を観察する場合には、表層血管が属する種類（図１の例では第１の種類）の優先度を高く設定し、食道を観察する場合には深層血管が属する種類（第２の種類）の優先度を高く設定すればよい。
【００８６】
また、強調部３５０は、優先度の最も高い種類に属する被検体に対して、当該種類に対応する強調方法を用いて強調処理を行ってもよい。
【００８７】
これにより、優先度の最も高い種類のみに対して強調処理を行い、他の種類に対して強調処理を行わないことで、相対的に優先度の最も高い種類に属する被検体像を際だたせることが可能になる。
【００８８】
また、強調部３５０は、第１〜第Ｎの種類のうちの第ｉの種類に属する被検体像に対しては、第ｉの強調方法で強調処理を行い、第ｊの種類に属する被検体像に対しては、第ｊの強調方法で強調処理を行ってもよい。
【００８９】
これにより、第１〜第Ｎの種類の中で、２以上の任意の数の種類に対して、それぞれの方法を用いて強調処理を行うことが可能になる。前述の表層血管と深層血管の例で言えば、両方の血管が診断において重要な情報になる場合などに、効果を発揮する。
【００９０】
また、第２の画像の種類として、複数の種類が存在してもよい。その場合、被検体像の種類及び第２の画像の種類に応じて強調処理の方法が決定される。具体的には、第２の画像の種類がＮＢＩ画像であり、被検体像の種類が血管か否かである場合には、血管に対応する領域である対応注目領域に対して強調処理を施す（図１に対応）。
【００９１】
ここで、対応注目領域とは、領域選出部３４４によって、第１の画像内から選出される領域であり、第２の画像における注目領域（被検体像を含む領域）に対応する領域のことである。
【００９２】
これにより、被検体像の種類だけでなく、第２の画像の種類も考慮した上で強調処理の方法を決定することが可能になる。具体的には図１に示すように、血管＋ＮＢＩ画像の組み合わせの場合は血管を強調することが考えられる。
【００９３】
また、特徴量はエッジ量、色相、彩度などであってもよい。
【００９４】
これにより、観察対象等に応じて、様々な特徴量を用いて被検体像の種類を判別することが可能になる。
【００９５】
また、被検体像の種類は、病変に関する種類及び血管に関する種類のうち、少なくとも１つの種類であってもよい。
【００９６】
これにより、血管か否か、血管は表層血管であるか深層血管であるか、病変か否かといったことを種類として判別することが可能になる。
【００９７】
また、特定の波長帯域とは、白色光の波長帯域よりも狭い帯域である。具体的には第１の画像及び第２の画像は生体内画像であり、特定の波長帯域とは、血液中のヘモグロビンに吸収される波長の波長帯域である。さらに具体的には、３９０ｎｍ〜４４５ｎｍまたは５３０ｎｍ〜５５０ｎｍの波長帯域である。
【００９８】
これにより、生体の表層部及び、深部に位置する血管の構造を観察することが可能になる。また得られた信号を特定のチャンネル（Ｒ，Ｇ，Ｂ）に入力することで、扁平上皮癌等の通常光では視認が難しい病変などを褐色等で表示することができ、病変部の見落としを抑止することができる。なお、３９０ｎｍ〜４４５ｎｍまたは５３０ｎｍ〜５５０ｎｍとはヘモグロビンに吸収されるという特性及び、それぞれ生体の表層部または深部まで到達するという特性から得られた数字である。ただし、この場合の波長帯域はこれに限定されず、例えばヘモグロビンによる吸収と生体の表層部又は深部への到達に関する実験結果等の変動要因により、波長帯域の下限値が０〜１０％程度減少し、上限値が０〜１０％程度上昇することも考えられる。
また、第１の画像および第２の画像は生体内を写した生体内画像であってもよい。そして生体内画像に含まれる特定の波長帯域とは、蛍光物質が発する蛍光の波長帯域であってもよい。具体的には４９０ｎｍ〜６２５ｎｍの波長帯域である。
【００９９】
これにより、ＡＦＩと呼ばれる蛍光観察が可能となる。励起光（３９０ｎｍ〜４７０ｎｍ）を照射することで、コラーゲンなどの蛍光物質からの自家蛍光を観察することができる。このような観察では病変を正常粘膜とは異なった色調で強調表示することができ、病変部の見落としを抑止すること等が可能になる。なお４９０ｎｍ〜６２５ｎｍという数字は、前述の励起光を照射した際、コラーゲンなどの蛍光物質が発する自家蛍光の波長帯域を示したものである。ただし、この場合の波長帯域はこれに限定されず、例えば蛍光物質が発する蛍光の波長帯域に関する実験結果等の変動要因により、波長帯域の下限値が０〜１０％程度減少し、上限値が０〜１０％程度上昇することも考えられる。また、ヘモグロビンに吸収される波長帯域（５４０ｎｍ〜５６０ｎｍ）を同時に照射し、擬似カラー画像を生成してもよい。
【０１００】
また、第１の画像および第２の画像は生体内を写した生体内画像であってもよい。そして生体内画像に含まれる特定の波長帯域とは、赤外光の波長帯域であってもよい。具体的には７９０ｎｍ〜８２０ｎｍまたは９０５ｎｍ〜９７０ｎｍの波長帯域である。
【０１０１】
これにより、ＩＲＩと呼ばれる赤外光観察が可能となる。赤外光が吸収されやすい赤外指標薬剤であるＩＣＧ（インドシアニングリーン）を静脈注射した上で、上記波長帯域の赤外光を照射することで、人間の目では視認が難しい粘膜深部の血管や血流情報を強調表示することができ、胃癌の深達度診断や治療方針の判定などが可能になる。なお７９０ｎｍ〜８２０ｎｍという数字は赤外指標薬剤の吸収がもっとも強いという特性から、９０５ｎｍ〜９７０ｎｍという数字は赤外指標薬剤の吸収がもっとも弱いという特性から求められたものである。ただし、この場合の波長帯域はこれに限定されず、例えば赤外指標薬剤の吸収に関する実験結果等の変動要因により、波長帯域の下限値が０〜１０％程度減少し、上限値が０〜１０％程度上昇することも考えられる。
【０１０２】
また、本実施形態は、画像処理装置（画像処理部）を含む電子機器にも適用できる。
【０１０３】
例えば本実施形態にかかる画像処理装置は、内視鏡の他、デジタルカメラ、デジタルビデオカメラ、パーソナルコンピューター等の様々なタイプの電子機器（電圧、電流等の動力源で動作する機器）に搭載することが可能である。
【０１０４】
また、本実施形態は、第１画像取得部と、第２画像取得部と、種類判別部３４３と、強調部３５０としてコンピュータを機能させるプログラムであってもよい。第１画像取得部は白色光の波長帯域における情報を有した被写体像を含む画像を第１の画像として取得し、第２画像取得部は特定の波長帯域における情報を有した被写体像を含む画像を第２の画像として取得する。種類判別部３４３は、第２の画像内の画素の特徴量に基づいて、被検体像の種類を判別する。強調部３５０は、領域種類判別部３４０の判別による被検体像の種類に基づいて、第１の画像に対して強調処理を施す。
【０１０５】
これにより、例えばカプセル型内視鏡などのように、まず画像データを蓄積し、その後、蓄積された画像データに対してＰＣ等のコンピューターシステムでソフトウェア的に処理を行うことが可能になる。
【０１０６】
また、本実施形態は、第１画像取得部と、第２画像取得部と、強調部３５０としてコンピュータを機能させるプログラムであってもよい。第１画像取得部は白色光の波長帯域における情報を有した被写体像を含む画像を第１の画像として取得し、第２画像取得部は特定の波長帯域における情報を有した被写体像を含む画像を第２の画像として取得する。強調部３５０は、第２の画像の種類に基づいて、第１の画像に対して強調処理を施す。
【０１０７】
これにより、例えばカプセル型内視鏡などのように、まず画像データを蓄積し、その後、蓄積された画像データに対してＰＣ等のコンピューターシステムでソフトウェア的に処理を行うことが可能になる。特に、被検体像の種類ではなく、第２の画像の種類に基づいて強調処理を行うことが可能になる。
【０１０８】
また、本実施形態は、白色光の波長帯域における情報を有した被写体像を含む画像を第１の画像として取得し、特定の波長帯域における情報を有した被写体像を含む画像を第２の画像として取得し、第２の画像内の画素の特徴量に基づいて、被検体像の種類を判別し、被検体像の種類に基づいて、第１の画像に対して強調処理を施す画像処理方法であってもよい。
【０１０９】
これにより、本実施形態の処理を実行可能な、画像処理方法を実現することができる。
【０１１０】
また、本実施形態は、白色光の波長帯域における情報を有した被写体像を含む画像を第１の画像として取得し、特定の波長帯域における情報を有した被写体像を含む画像を第２の画像として取得し、第２の画像の種類に基づいて、第１の画像に対して強調処理を施す画像処理方法であってもよい。
【０１１１】
これにより、本実施形態の処理を実行可能な、画像処理方法を実現することができる。特に、被検体像の種類ではなく、第２の画像の種類に基づいて強調処理を行うことが可能になる。
【０１１２】
また本実施形態は、本実施形態の各部（第１画像取得部、第２画像取得部、領域種類判別部、強調部）を実現するプログラムコードが記録されたコンピュータプログラムプロダクトにも適用できる。
【０１１３】
ここでプログラムコードとは、白色光の波長帯域における情報を有した被写体像を含む画像を第１の画像として取得する第１画像取得部と、特定の波長帯域における情報を有した被写体像を含む画像を第２の画像として取得する第２画像取得部と、前記第２の画像内の画素の特徴量に基づいて、前記第２の画像内に写された被検体像の種類を判別する領域種類判別部と、前記判別された被検体像の種類に基づいて、前記第１の画像に含まれる信号に対して強調処理を施す強調部と、を実現する。
【０１１４】
またコンピュータプログラムプロダクトは、例えば、プログラムコードが記録された情報記憶媒体（ＤＶＤ等の光ディスク媒体、ハードディスク媒体、メモリ媒体等）、プログラムコードが記録されたコンピュータ、プログラムコードが記録されたインターネットシステム（例えば、サーバとクライアント端末を含むシステム）など、プログラムコードが組み込まれた情報記憶媒体、装置、機器或いはシステム等である。この場合に、本実施形態の各構成要素や各処理プロセスは各モジュールにより実装され、これらの実装されたモジュールにより構成されるプログラムコードは、コンピュータプログラムプロダクトに記録される。
【０１１５】
２．第２の実施形態
第２の実施形態の概要について、図１５を参照して説明する。目的は第１の実施形態と同様に、第２の画像内の被写体像の種類を判別し、種類に応じて、第１の画像に対して強調処理を施すことである。
【０１１６】
第２の実施形態においては、Ｂ１に示すように、第２の画像とはＮＢＩ画像である。この第２の画像内の被写体像の種類を判別する（Ｂ２）。ここでは種類判別のために用いられる特徴量は、色相Ｈである。Ｂ３に示すように、Ｈが５〜３５の範囲にあり、所定の閾値以上の大きさのものを第１の種類とし、それ以外のものを第２の種類とする。ここで第１の種類は病変部に対応し、第２の種類はそれ以外の部分（正常部）に対応する。
【０１１７】
種類の判別の後は、強調範囲を決定する。本実施形態においては、第１の種類（病変部）が検出されたことを条件に、第１の画像全体に対して強調処理が行われる（Ｂ４）。よって第１の画像において強調される範囲はＢ５に示すような範囲となる。また、第１の種類が検出されなかった場合、強調処理は行われない。
【０１１８】
そして設定された強調範囲に対して、所定の方法で強調処理を施す。本実施形態においては、強調処理の方法は高長波成分の加算である。具体的には後述するウェーブレット変換等を用いる（Ｂ６）。第１の種類が検出されたか否かで、強調処理を変更することで、種類に応じた強調処理を施すことが可能になる。結果としてＢ７に示すように、血管及び病変部が強調された通常光画像を取得できる。なお、高周波成分の加算は、血管を強調することに対応するが、病変部には血管が密集するという特性があるため、病変部も強調されることになる。
【０１１９】
次に、第２の実施形態にかかる内視鏡システムについて説明する。本実施形態における内視鏡システムの構成は図２に示す通りである。また、領域種類判別部３４０及び強調部３５０以外の処理は第１の実施形態と同様である。
【０１２０】
本実施の形態における領域種類判別部３４０の具体的な構成について説明する。基本構成は、図９に示す領域種類判別部３４０と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。
【０１２１】
図１６は本実施の形態における領域種類判別部３４０の構成の一例を示すブロック図である。領域種類判別部３４０は、局所領域設定部３４１と特徴量算出部３４２と種類判別部３４３を備えている。特殊光画像取得部３３０から出力される狭帯域光画像は、局所領域設定部３４１に出力される。制御部３６０は局所領域設定部３４１、特徴量算出部３４２、種類判別部３４３に接続されていて、これらを制御するようになっている。また種類判別部３４３は強調部３５０に接続されている。なお、局所領域設定部３４１、特徴量算出部３４２の処理は第１の実施形態と同様である。
【０１２２】
種類判別部３４３は、特徴量算出部３４２で算出された全ての局所領域における色相Ｈを用いて、各局所領域が病変と疑われる領域かどうかを判別し、その結果を強調部３５０に出力する。本実施の形態で使用している狭帯域光画像においては、扁平上皮癌等の病変部が褐色の領域として描出されるため、特徴量として色相Ｈを使用することで、病変と疑われる領域かどうかを判別することができる。具体的には色相Ｈが５〜３５の領域を、病変と疑われる領域と判別すればよい。
【０１２３】
種類判別部３４３は、狭帯域光画像内に病変と疑われる領域が存在したか否かのフラグ情報を強調部３５０に出力する。フラグ情報は、例えば全ての局所領域のうち所定の数以上、病変と疑われる領域が存在した場合にはフラグ情報を１とし、存在しない場合にフラグ情報を０とすればよい。
【０１２４】
なお、局所領域設定部３４１の設定する局所領域は、５×５の矩形領域には限られない旨を第１の実施形態で述べた。本実施形態では、例えば１６×１６といった比較的大きな領域を局所領域として設定することが考えられる。これは、病変部には正常部に比べて血管が密集しているという特性によるものである。つまり、５×５のような小さな領域では、血管が密集していなくとも（例えば１本のみであっても）色相Ｈは５〜３５の領域に入ってしまう。そのため画像内の領域が病変であるかどうかの判定は、病変と疑われる領域が密集しているかどうかの判定に基づいて行われる必要がある。すなわち、前述したように、適切な閾値を設定した上で、病変と疑われる領域が閾値以上であるかどうか判断する必要がある。
【０１２５】
これに対して、１６×１６のような比較的大きい領域を局所領域として設定した場合、局所領域内に多数の血管が入るだけのスペースを有しているため、Ｈが５〜３５になるためには、血管が密集している必要がある。そのため、画像内の領域が病変であるかどうかの判定は、病変と疑われる領域が１つあるかどうかによって判定することが可能になる。
【０１２６】
次に、強調部３５０の構成について説明する。図１７は、本実施の形態における強調部３５０の構成の一例を示すブロック図である。強調部３５０は、ＹＣ分離部３５１と高周波成分算出部３５２と高周波成分加算部３５３とＹＣ合成部３５４を備えている。通常光画像取得部３２０から出力される通常光画像は、ＹＣ分離部３５１に出力される。また領域種類判別部３４０から出力されるフラグ情報は、高周波成分加算部３５３に出力される。制御部３６０は、ＹＣ分離部３５１、高周波成分算出部３５２、高周波成分加算部３５３、ＹＣ合成部３５４に接続されていて、これらを制御するようになっている。また、ＹＣ合成部３５４は表示部４００に接続されている。
【０１２７】
ＹＣ分離部３５１は、通常光画像取得部３２０から出力される通常光画像を、公知のＹＣ分離処理を用いて輝度色差信号に変換する。輝度色差信号への変換には、例えば下式（１１）を用いれば良い。下式（１１）においてＹは通常光画像の輝度信号、Ｃｂ，Ｃｒは色差信号である。
【０１２８】
ＹＣ分離部３５１は輝度色差信号に変換した通常光画像を、高周波成分算出部３５２及び高周波成分加算部３５３に出力する。ここで、高周波成分算出部３５２には輝度色差信号のうち輝度信号のみが、高周波成分加算部３５３には輝度色差信号の両方が出力される。
【０１２９】
【数１】
【０１３０】
高周波成分算出部３５２は、例えば公知のウェーブレット変換を用いて通常光画像の輝度信号を多重解像度変換し、多重解像度変換後の輝度信号から高周波成分を抽出して高周波成分加算部３５３に出力する。高周波成分算出部３５２の処理については後述する。
【０１３１】
高周波成分加算部３５３は領域種類判別部３４０から出力されるフラグ情報に応じて、ＹＣ分離部３５１から出力される通常光画像の輝度信号に、高周波成分算出部３５２から出力される高周波成分を加算し、ＹＣ合成部３５４に出力する。
【０１３２】
ＹＣ合成部３５４は、高周波成分加算部３５３から出力される通常光画像に対し、公知のＹＣ合成処理を施しＲＧＢ画像に変換し、表示部４００に出力する。ＹＣ合成処理は例えば下式（１２）を用いれば良い。
【０１３３】
【数２】
【０１３４】
ここで、高周波成分算出部３５２の処理の詳細を説明する。図１８は本実施の形態における、高周波成分算出部３５２の構成の一例を示した図である。高周波成分算出部３５２は、多重解像度変換部３５２１と高周波成分抽出部３５２２を含む。制御部３６０は多重解像度変換部３５２１と高周波成分抽出部３５２２に接続されていて、これらを制御するようになっている。また、高周波成分抽出部３５２２は高周波成分加算部３５３に接続されている。ＹＣ分離部３５１から出力される通常光画像は、多重解像度変換部３５２１に出力される。
【０１３５】
多重解像度変換部３５２１は、ＹＣ分離部３５１から出力される通常光画像の輝度信号に対し、公知のウェーブレット変換を用いて多重解像度変換を行う。ここでは、多重解像度変換後の画像を多重解像度変換画像と表記する。
ウェーブレット変換は、通常光画像の座標（ｘ，ｙ）における輝度信号Ｙ（ｘ，ｙ）と、多重解像度変換画像の座標（ｉ，ｊ）における信号値Ｓ（ｉ，ｊ）を用いて下式（１３）で表すことができる。ただし、通常光画像の画像幅をＩｍＷ、画像高さをＩｍＨとする。
【０１３６】
【数３】
【０１３７】
図１９は、多重解像度変換画像と通常光画像の輝度信号の周波数成分との対応関係を示したものである。図１９に示すように、多重解像度変換画像において画像左上の領域は通常光画像の輝度信号の低周波成分に相当し、画像右上の領域は通常光画像の輝度信号の水平高周波成分、画像左下の領域は通常光画像の輝度信号の垂直高周波成分、画像右下の領域は通常光画像の輝度信号の対角高周波成分に相当する。
【０１３８】
一方、図２０は内視鏡画像の輝度信号の一例を示したものであり、図２１は図２０に示す内視鏡画像の輝度信号に対し、ウェーブレット変換を行った結果を示した図である。内視鏡画像において、血管部位は低周波成分と高周波成分の両方が含まれるのに対し、粘膜部位は低周波成分が多く含まれ、高周波成分が少ない特徴がある。そのため、図２１に示す多重解像度変換後の画像において、図１９に示す低周波成分領域には血管部位及び粘膜部位の両方が分布し、図１９に示す水平高周波成分、垂直高周波成分、対角高周波成分領域には血管部位が主に分布することになる。
【０１３９】
高周波成分抽出部３５２２は、多重解像度変換部３５２１から出力される多重解像度変換画像から、後述する方法で高周波成分のみを抽出した高周波成分画像を作成し、作成した画像を高周波成分加算部３５３に出力する。ここで高周波成分画像は、通常光画像と同じ大きさであり、多重解像度変換画像の水平高周波成分、垂直高周波成分、対角高周波成分のいずれかの成分の組み合わせで構成されるものとする。
具体的には、高周波成分画像の座標（ｘ，ｙ）における信号値Ｈ（ｘ，ｙ）は例えば下式（１４）により与えられる。ただし、下式（１４）においてＦｌｏｏｒ（ａ）は実数aの小数点以下を切り捨てる処理を表すものとし、ａｂｓ＿ｍａｘ（a，ｂ，ｃ）は実数a，ｂ，ｃのうち、絶対値が最大の実数を選出する処理を表すものとする。
【０１４０】
【数４】
【０１４１】
高周波成分加算部３５３は、領域種類判別部３４０から出力されるフラグ情報に応じて、ＹＣ分離部３５１から出力される通常光画像に強調処理を施してＹＣ合成部３５４に通常光画像を出力する。
【０１４２】
具体的には、領域種類判別部３４０から出力されるフラグ情報が１の場合、つまり病変と疑われる領域が存在する場合には、高周波成分算出部３５２から出力される高周波成分画像を通常光画像の輝度信号に加算し、加算処理後の通常光画像をＹＣ合成部３５４に出力する。また、領域種類判別部３４０から出力されるフラグ情報が０の場合、つまり病変と疑われる領域が存在しない場合には、ＹＣ分離部３５１から出力される通常光画像をそのままＹＣ合成部３５４に出力する。
【０１４３】
このような処理を行うことで、病変部と疑われる領域が通常光画像内に写っている場合に、病変の診断に重要となる血管部位が強調して表示されるため、通常光画像と狭帯域光画像を用いた診断を行う際にドクターの負荷を低減しながら病変部の見逃しを防止することが可能になる。
【０１４４】
また、本実施の形態では画像処理部３００を構成する各部をハードウェアで構成することとしたが、第１の実施形態と同様に予め取得された画像に対して、ＣＰＵが各部の処理を行う構成とし、ＣＰＵがプログラムを実行することによってソフトウェアとして実現することとしてもよい。あるいは各部が行う処理の一部をソフトウェアで構成することとしてもよい。
【０１４５】
各部が行う処理の一部をソフトウェアで構成する場合の一例として、予め取得された通常光画像と狭帯域光画像に対して、図２の領域種類判別部３４０及び、強調部３５０の処理をソフトウェアで実現する場合の処理手順について説明する。この場合の処理手順は図１３に示す通りで、領域種類判別ステップ（Ｓｔｅｐ３）及び強調処理ステップ（Ｓｔｅｐ４）以外は第１の実施形態と同様である。
【０１４６】
本実施の形態における図１３の領域種類判別ステップ（Ｓｔｅｐ３）での詳細な処理について、図２２のフローチャートを用いて説明する。局所領域設定ステップでは狭帯域光画像に対して、第１の実施形態と同様の方法で複数の局所領域を設定する（Ｓｔｅｐ３１１）。次に、特徴量算出ステップでは設定した全ての局所領域に対して、第１の実施形態と同様の方法で特徴量を算出する（Ｓｔｅｐ３１２）。ここでは特徴量の一例として色相Ｈを使用する。種類判別ステップでは、全ての局所領域に対して種類判別処理を行い、病変と疑われる領域が存在したか否かの判別結果をフラグ情報として出力する（Ｓｔｅｐ３１３）。ここで種類判別処理は、例えば色相Ｈが５〜３５の範囲にある局所領域を病変と疑われる領域と判別する処理とし、全ての局所領域のうち所定の閾値以上、病変と疑われる領域があった場合にはフラグ情報１を出力し、閾値以下の場合にはフラグ情報０を出力する。
【０１４７】
次に強調処理ステップ（Ｓｔｅｐ４）の詳細な処理について図２３のフローチャートを用いて説明する。ＹＣ分離処理ステップではまず、通常光画像を式１１に示す公知のＹＣ分離処理を用いて輝度色差信号に変換する（Ｓｔｅｐ４１１）。次に多重解像度変換ステップでは、ＹＣ分離処理後の輝度信号に対し、式１３に示す公知のウェーブレット変換を用いて多重解像度変換処理を施す（Ｓｔｅｐ４１２）。そして高周波成分画像作成ステップでは、多重解像度変換後の画像より式１４を用いて高周波成分画像を作成する（Ｓｔｅｐ４１３）。Ｓｔｅｐ４１４では、Ｓｔｅｐ３１３より出力されるフラグ情報を参照し、フラグ情報が１の場合はＳｔｅｐ４１５、０の場合はＳｔｅｐ４１６の処理を実行する。Ｓｔｅｐ４１５では、通常光画像の輝度信号にＳｔｅｐ４１３で作成した高周波成分画像を加算する処理を施す。Ｓｔｅｐ４１６では式１２に示すＹＣ合成処理により通常光画像をＲＧＢ信号に変換して出力する。
【０１４８】
このような処理を行うことで、病変部と疑われる領域が通常光画像内に写っている場合に病変の診断に重要となる血管部位が強調して表示されるため、通常光画像と狭帯域光画像を用いた診断を行う際にドクターの負荷を低減しながら病変部の見逃しを防止することが可能になる。
【０１４９】
以上の本実施形態では、第２の画像の種類として、複数の種類が存在してもよい。その場合、被検体像の種類及び第２の画像の種類に応じて強調処理の方法が決定される。具体的には、第２の画像の種類がＮＢＩ画像であり、被検体像の種類が病変か否かである場合には、画像全体に対して強調処理を施す（図１５に対応）。
【０１５０】
これにより、被検体像の種類だけでなく、第２の画像の種類も考慮した上で強調処理の方法を決定することが可能になる。具体的には図１５に示すように、病変＋ＮＢＩ画像の組み合わせの場合は画像全体を強調することが考えられる。
【０１５１】
また、強調部３５０は、第１の画像全体に対して、第１の画像の空間周波数のうち、特定の周波数成分を強調する。
【０１５２】
これにより、ウェーブレット変換等によって得られる多重解像度変換画像から、特定の周波数成分を強調することが可能になる。具体的には例えば、高周波成分を強調（加算処理）することで、高周波成分を多く含む血管部を強調すること等が可能になる。
【０１５３】
３．第３の実施形態
第３の実施形態の概要について、図２４を参照して説明する。目的は第１の実施形態と同様に、第２の画像内の被写体像の種類を判別し、種類に応じて、第１の画像に対して強調処理を施すことである。
【０１５４】
第３の実施形態においては、Ｃ１に示すように、第２の画像とはＮＢＩ画像である。この第２の画像内の被写体像の種類を判別する（Ｃ２）。ここでは種類判別のために用いられる特徴量は、エッジ量Ｅである。Ｃ３に示すように、エッジ量Ｅが所定の閾値以上の大きさのものを第１の種類とし、それ以外のものを第２の種類とする。ここで第１の種類は血管に対応し、第２の種類はそれ以外の部分（例えば粘膜）に対応する。
【０１５５】
種類の判別の後は、強調範囲を決定する。本実施形態においては、第１の画像内の、第１の種類（血管）に対応する部分に対して強調処理が行われる（Ｃ４）。よって第１の画像において強調される範囲はＣ５に示すような範囲となる。
【０１５６】
そして設定された強調範囲に対して、所定の方法で強調処理を施す。本実施形態においては、強調処理の方法はエッジ量Ｅの加算である。具体的には第１の画像の輝度成分にエッジ量Ｅの値を加算する（Ｃ６）。第１の種類に対して強調処理を行い、第２の種類に対しては強調処理を行わないことで、種類に応じた強調処理を施すことが可能になる。結果としてＣ７に示すように、血管が強調された通常光画像を取得できる。
【０１５７】
次に、第３の実施形態にかかる内視鏡システムについて説明する。本実施形態における内視鏡システムの構成は図２に示す通りである。また、領域種類判別部３４０及び強調部３５０以外の処理は第１の実施形態と同様である。
【０１５８】
本実施の形態における領域種類判別部３４０の具体的な構成について説明する。基本構成は、図９に示す領域種類判別部３４０と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。
【０１５９】
図２５は本実施の形態における領域種類判別部３４０の構成の一例を示すブロック図である。領域種類判別部３４０は、輝度信号算出部３４５と特徴量算出部３４２と種類判別部３４３を備えている。特殊光画像取得部３３０からの画像信号は、輝度信号算出部３４５に出力される。また輝度信号算出部３４５は特徴量算出部３４２に接続されており、特徴量算出部３４２は種類判別部３４３に接続されている。また種類判別部３４３は強調部３５０に接続されている。制御部３６０は輝度信号算出部３４５、特徴量算出部３４２、種類判別部３４３に接続されていて、これらを制御するようになっている。
【０１６０】
輝度信号算出部３４５は特殊光画像取得部３３０より出力される狭帯域光画像から、全ての画素について輝度信号Ｙを算出し、特徴量算出部３４２に出力する。輝度信号の算出には例えば上式（１１）を用いれば良い。
【０１６１】
特徴量算出部３４２は、輝度信号算出部３４５から出力される輝度信号を用いて、通常光画像の全ての画素におけるエッジ量Ｅを算出し、種類判別部３４３に出力する。ここで、狭帯域光画像の座標（ｘ，ｙ）におけるエッジ量Ｅ（ｘ，ｙ）の算出には例えば下式（１５）を用いれば良い。
【０１６２】
【数５】
【０１６３】
種類判別部３４３は、特徴量算出部３４２から出力されるエッジ量を基に、狭帯域光画像の全ての画素について、該画素が血管であるか否かの判別処理を行う。内視鏡画像は血管領域でエッジ量が大きく、粘膜領域ではエッジ量が小さい特徴があるため、エッジ量を用いて血管領域を判別することが可能である。判別処理は例えば下式（１６）に示すように、エッジ量E（ｘ，ｙ）が閾値Ｅ＿ａｖｅより大きい場合に、座標（ｘ，ｙ）の画素を血管と判別すれば良い。なお、閾値E＿ａｖｅは例えば、狭帯域光画像の全ての画素より算出したエッジ量Ｅ（ｘ，ｙ）の平均値とすれば良い。種類判別部３４３は、血管であると判別された全ての画素位置と、該画素におけるエッジ量Ｅ（ｘ，ｙ）の情報を強調部３５０に出力する。
【０１６４】
E(x,y) > E_ave ・・・・・（１６）
【０１６５】
次に強調部３５０の具体的な構成について説明する。基本構成は図１７に示す強調部３５０と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。
【０１６６】
図２６は本実施の形態における強調部３５０の構成の一例を示すブロック図である。強調部３５０は、ＹＣ分離部３５１とエッジ加算部３５５とＹＣ合成部３５４を備えている。ＹＣ分離部３５１はエッジ加算部３５５に接続されており、エッジ加算部３５５はＹＣ合成部３５４に接続されている。またエッジ加算部３５５は領域種類判別部３４０と接続されており、エッジ加算部３５５には前述したエッジ量Ｅ（ｘ，ｙ）が出力される。制御部３６０は、ＹＣ分離部３５１、エッジ加算部３５５、ＹＣ合成部３５４に接続されておりこれを制御するようになっている。なお、ＹＣ分離部３５１とＹＣ合成部３５４の処理は第２の実施例と同様である。
【０１６７】
エッジ加算部３５５では、領域種類判別部３４０より出力される全ての画素位置及び該画素におけるエッジ量Ｅ（ｘ，ｙ）を用いて、通常光画像に強調処理を施す。具体的には、前記画素位置に対応する通常光画像の画素の輝度信号Ｙ（ｘ，ｙ）に、前記エッジ量Ｅ（ｘ，ｙ）を加算する処理を行う。エッジ加算後の通常光画像はＹＣ合成部３５４に出力される。
【０１６８】
なお、ここではエッジ量Ｅ（ｘ，ｙ）に基づいて、通常光画像に対し輝度変換処理を施す例を示したが、本発明はこれに限定されるものではなく、前記エッジ量に基づいて通常光画像に色変換処理を行っても良い。
【０１６９】
このような処理を行うことで、血管部位が強調されるため、血管の視認性が向上し、通常光画像と狭帯域光画像を用いた診断を行う際に、ドクターの負荷を低減しながら病変部の見逃しを防止することが可能になる。なお、本実施例では血管判別の際にエッジ量のみを特徴量として用いたが、生体を被検体とした場合はヒダ等の凹凸部位にもエッジ量が多く含まれる。そのため、血管判別の際には前述のエッジ量に加え、さらに第１の実施形態で示したような色相Ｈを特徴量として用いても良い。
【０１７０】
また、本実施の形態では画像処理部３００を構成する各部をハードウェアで構成することとしたが、第１の実施形態と同様に予め取得された画像に対して、ＣＰＵが各部の処理を行う構成とし、ＣＰＵがプログラムを実行することによってソフトウェアとして実現することとしてもよい。あるいは各部が行う処理の一部をソフトウェアで構成することとしてもよい。
【０１７１】
各部が行う処理の一部をソフトウェアで構成する場合の一例として、予め取得された通常光画像と狭帯域光画像に対して、図２の領域種類判別部３４０及び、強調部３５０の処理をソフトウェアで実現する場合の処理手順を説明する。この場合の処理手順は図１３に示す通りで、領域種類判別ステップ（Ｓｔｅｐ３）及び強調処理ステップ（Ｓｔｅｐ４）以外は第１の実施形態と同様である。
【０１７２】
本実施の形態における図１３の領域種類判別ステップ（Ｓｔｅｐ３）での詳細な処理について、図２７のフローチャートを用いて説明する。輝度信号算出ステップでは、上式（１１）を用いて狭帯域光画像の全ての画素から輝度信号を算出する（Ｓｔｅｐ３２１）。特徴量算出ステップでは、式１５を用いて、エッジ量Ｅ（ｘ，ｙ）を算出する（Ｓｔｅｐ３２２）。種類判別ステップでは、全ての画素について上式（１６）に示す判別処理を行い、該画素が血管かどうかを判別する。そして血管と判別された全ての画素位置と該画素におけるエッジ量Ｅ（ｘ，ｙ）を出力する（Ｓｔｅｐ３２３）。
【０１７３】
強調処理ステップでは、領域種類判別ステップ（Ｓｔｅｐ３）で出力される、血管と判別された画素位置に対応する通常光画像の輝度信号Ｙ（ｘ，ｙ）に対し、エッジ量Ｅ（ｘ，ｙ）を加算する処理を行う（Ｓｔｅｐ４）。
【０１７４】
このような処理を行うことで、血管部位が強調されるため、血管の視認性が向上し、通常光画像と狭帯域光画像を用いた診断を行う際に、ドクターの負荷を低減しながら病変部の見逃しを防止することが可能になる。
【０１７５】
以上の本実施形態では、強調部３５０は、第２の画像から算出されたエッジ量に基づいて、第１の画像の対応注目領域に対して、輝度成分又は色成分を強調する。ここで対応注目領域とは前述の通りである。
【０１７６】
これにより、特徴量としてエッジ量Ｅを用いた種類の判別及び強調処理を行うことが可能になる。具体的にはエッジ量Ｅが平均値よりも大きい領域に対して、輝度成分（ＹＣｒＣｂのＹ成分）や色成分（Ｒ，Ｇ，Ｂ成分）にエッジ量Ｅを加算することが考えられる。本実施形態では種類の判別（血管か否か）に用いられる特徴量と、強調に用いられるパラメータがともにエッジ量Ｅとなる。
【０１７７】
４．第４の実施形態
本発明の第４の実施形態にかかる内視鏡システムについて、図２８を参照して説明する。第１〜３の実施形態では２つの撮像素子を用いて通常光画像と特殊光画像を取得したが、ここでは例えばベイヤ配列の色フィルタを持つ第１撮像素子だけから、画像処理を用いて通常光画像と特殊光画像を取得してもよい。本実施形態に係る内視鏡システムは、光源部１００と、撮像部２００と、画像処理部３００と、表示部４００と、外部Ｉ／Ｆ部５００を備えている。なお以下では第１の実施形態等と重複する部分については、適宜、その説明を省略する。
【０１７８】
光源部１００は、白色光を発生する白色光源１１０と集光レンズ１２０を備えている。
【０１７９】
撮像部２００は、例えば体腔への挿入を可能にするため、細長くかつ湾曲可能に形成されている。また撮像部２００は着脱可能な構造をしており、観察する部位によって異なる撮像部が用いられる。一般に内視鏡分野において、撮像部２００はスコープと呼ばれており、具体的に用いられるスコープとしては、上部消化器用スコープや下部消化器用スコープ等が挙げられる。
【０１８０】
撮像部２００は、光源部１００で集光された光を導くためのライトガイドファイバ２１０と、該ライトガイドファイバ２１０により先端まで導かれてきた光を拡散させて被検体に照射する照明レンズ２２０と、被検体から戻る反射光を集光する対物レンズ２３０と、集光した反射光を検出するための第１撮像素子２５０を備えている。第１撮像素子２５０は例えば通常光画像を撮影するためのベイヤ配列の色フィルタを持つ撮像素子である。第１撮像素子２５０の色フィルタは例えば図３に示すような分光特性を持っている。
【０１８１】
さらに撮像部２００は内部にメモリ２８０を有しており、メモリ２８０は各スコープ固有の識別番号を保持している。メモリ２８０は制御部３６０に接続されており、制御部３６０はメモリ２８０に保持されている各スコープ固有の識別番号を参照することで、使用しているスコープを識別することが可能である。また使用しているスコープを識別することで、観察部位を識別することも可能である。
【０１８２】
画像処理部３００はＡＤ変換部３１０と通常光画像取得部３２０と特殊光画像取得部３３０と領域種類判別部３４０と強調部３５０と制御部３６０を備えている。
【０１８３】
制御部３６０は領域種類判別部３４０と強調部３５０に接続されていてこれらを制御するようになっている。
【０１８４】
外部Ｉ／Ｆ部５００は、この画像処理装置に対するユーザからの入力等を行うためのインターフェースである。
【０１８５】
ＡＤ変換部３１０は、第１撮像素子から出力されるアナログ画像信号をデジタル画像信号に変換して出力する。
【０１８６】
通常光画像取得部３２０はＡＤ変換部３１０から出力されるデジタル画像信号から通常光画像を取得する。特殊光画像取得部３３０はＡＤ変換部３１０から出力されるデジタル画像信号から特殊光画像を取得する。
【０１８７】
特殊光画像取得部３３０で取得された特殊光画像は、領域種類判別部３４０に出力される。また通常光画像取得部３２０で取得された通常光画像は、強調部３５０に出力される。
【０１８８】
次に通常光画像取得部３２０について図６を用いて説明する。通常光画像取得部３２０は通常光画像生成部３２１と通常光画像記憶部３２２を備えている。
【０１８９】
次に特殊光画像取得部３３０について図２９を用いて説明する。特殊光画像取得部３３０は特殊光画像生成部３３１と、特殊光画像記憶部３３２と、信号抽出部３３３と、マトリクスデータ設定部３３４を備えている。特殊光画像生成部３３１はＡＤ変換部３１０で変換されて入力されるデジタル画像信号に対して画像処理を行い、特殊光画像を生成する。本実施例では特殊光画像は狭帯域光画像となる。本実施の形態において特殊光画像生成部３３１に入力されるデジタル画像信号は、通常光画像生成部３２１に入力されるデジタル画像信号と同じ信号である。
【０１９０】
ここで、信号抽出部３３３、マトリクスデータ設定部３３４及び特殊光画像生成部３３１において狭帯域光画像を生成する方法について説明する。まず、入力されたデジタル画像信号に対して既存の補間処理を行い、Ｒ，Ｇ，Ｂの3チャンネルを持つカラー画像を生成する。この画像は白色光源下で第１撮像素子２５０を用いて被写体を撮像した場合のカラー画像である。次にこのカラー画像から公知の分光推定技術を用いて、カラー画像の各画素における被写体の分光反射率を推定する。分光推定技術の詳細は例えば特許文献３の［００５４］〜［００６５］に開示されており、この様な処理を行うことで、例えば各画素が３８０ｎｍから７８０ｎｍまで１０ｎｍ刻みに被写体の分光反射率特性Ｏ（λ）を持つような分光画像情報が取得される（ここでλは３８０〜７８０）。ここでは画像上の位置（ｘ，ｙ）における分光反射率特性をO(λ)ｘ，ｙと記述する。また、本実施の形態における白色光源の分光放射率をE(λ)、光学系の分光透過率をＬ（λ）、第1の実施形態における第２撮像素子２６０の色フィルタｇ２,ｂ２に対応する画素の分光感度をそれぞれｇ２（λ）,ｂ２（λ）とする。すると第１の実施形態におけるＧ２画像及びＢ２画像に対応する画像Ｇ２'画像及びＢ２'画像の位置（ｘ，ｙ）における信号値Ｇ２’（ｘ，ｙ）及びＢ２’（ｘ，ｙ）は下式（１７）、（１８）で算出できる。
【０１９１】
Ｇ２'(x,y)=∫E(λ)・O(λ)・L(λ)・ｇ２(λ)dλ ・・・・・（１７）
【０１９２】
Ｂ２'(x,y)=∫E(λ)・O(λ)・L(λ)・ｂ２(λ)dλ ・・・・・（１８）
【０１９３】
画像上のすべての位置（ｘ，ｙ）に対してこのような計算を行うことで、第１撮像素子２５０で得られる画像信号からＧ２’画像及びＢ２’画像を取得することができる。
【０１９４】
次にこのＧ２’画像及びＢ２’画像から実施形態1と同様にＲ，Ｇ，Ｂの３チャンネルを持つカラー画像を生成する。ここでは例えばカラー画像のＲチャンネルにＧ２画像を入力し、ＧチャンネルとＢチャンネルにＢ２画像を入力することでカラー画像が生成される。特殊光画像生成部３３１は、生成したカラー画像に対してさらにホワイトバランス、階調変換等の処理を行い、狭帯域光画像として出力する。特殊光画像記憶部３３２は特殊光画像生成部から出力された特殊光画像を記憶する。
【０１９５】
通常光画像取得部３２０及び特殊光画像取得部３３０で画像が取得された後の処理については、第１〜３の実施形態と同様の処理を行えばよい。
【０１９６】
以上の本実施形態では、第２画像取得部（狭義には特殊光画像取得部３３０）は第１の画像に基づいて、第２の画像を生成する。具体的には第２画像取得部は信号抽出部３３３及びマトリクスデータ設定部３３４を含む。信号抽出部３３３は、白色光の波長帯域における信号を抽出する。マトリクスデータ設定部３３４は、特定の波長帯域における信号を算出するためのマトリクスデータを設定する。そして第２画像取得部は、マトリクスデータを用いて信号抽出部３３３が抽出した信号から、特定の波長帯域の信号を算出し、第２の画像を生成する。
【０１９７】
これにより、第１の画像に基づいて第２の画像を生成することができるので、図２８に示すように、撮像素子が１つのみでもシステムを実現することが可能になり、挿入部２００を小さくすることができる。また部品が少なくてすむためコストを下げる効果も期待できる。
【０１９８】
５．第５の実施形態
第５の実施形態の概要について、図３０を参照して説明する。目的は第１の実施形態と同様に、第２の画像内の被写体像の種類を判別し、種類に応じて、第１の画像に対して強調処理を施すことである。
【０１９９】
第５の実施形態においては、Ｄ１に示すように、第２の画像とは蛍光画像である。この第２の画像内の被写体像の種類を判別する（Ｄ２）。ここでは種類判別のために用いられる特徴量は、信号値（具体的にはＲ，Ｇ，Ｂのいずれか）である。Ｄ３に示すように、信号値が所定の閾値以上の大きさのものを第１の種類とし、それ以外のものを第２の種類とする。ここで第１の種類は病変部に対応し、第２の種類はそれ以外の部分（正常部）に対応する。これは、蛍光薬剤は所定の病変部に集中するため、第２の画像において病変部は特定の色味を持つという特性によるものである。
【０２００】
種類の判別の後は、強調範囲を決定する。本実施形態においては、第１の画像内の、第１の種類（病変部）に対応する部分に対して強調処理が行われる（Ｄ４）。よって第１の画像において強調される範囲はＤ５に示すような範囲となる。
【０２０１】
そして設定された強調範囲に対して、所定の方法で強調処理を施す。本実施形態においては、強調処理の方法は信号値の加減算である。具体的には第１の画像のＲ，Ｇ成分から特徴量×ｇａｉｎ（ｇａｉｎは所定のパラメータ）を減算し、Ｂ成分に特徴量×ｇａｉｎを加算する（Ｄ６）。第１の種類に対して強調処理を行い、第２の種類に対しては強調処理を行わないことで、種類に応じた強調処理を施すことが可能になる。結果としてＤ７に示すように、病変部が強調された通常光画像を取得できる。
【０２０２】
本発明の第５の実施形態にかかる内視鏡システムについて図３１を用いて説明する。本実施形態に係る内視鏡システムは、光源部１００と撮像部２００と画像処理部３００と表示部４００と外部Ｉ／Ｆ部５００を備えている。
【０２０３】
光源部１００は、白色光を発生する白色光源１１０と光源からの出射光をライトガイドファイバ２１０に集光するための集光レンズ１２０と、白色光から所定の波長帯域の光を抽出する回転フィルタ１３０を備えている。
【０２０４】
回転フィルタ１３０は図３２に示されるように透過率特性の異なる２種類のフィルタＦ１，Ｆ２から構成されている。フィルタＦ１は例えば図３３に示されるように、４００〜７００ｎｍの波長帯域の光を透過させる特徴を有している。フィルタＦ１は白色光である。またフィルタＦ２は図３４に示されるように、５２０〜５５０ｎｍ、及び６００〜６５０ｎｍの２つの波長帯域の光を透過させる櫛形フィルタの特性を有している。フィルタＦ２により抽出された５２０〜５５０ｎｍの波長帯域の光は、ＣＹ３のような蛍光薬剤を励起して５６０〜６００ｎｍの波長帯域の蛍光を発生させる特性を有しており、６００〜６５０ｎｍの波長帯域の光は、ＣＹ５のような蛍光薬剤を励起して６７０〜７１０ｎｍの波長帯域の蛍光を発生させる特性を有している。ここで、蛍光薬剤ＣＹ３は食道部位によくみられる扁平上皮癌等の病変部に特異的に集積する性質を持つとする。また蛍光薬剤ＣＹ５は、大腸部位によく見られる腫瘍等の病変部に特異的に集積する性質を持つとする。
【０２０５】
撮像部２００は、例えば体腔への挿入を可能にするため、細長くかつ湾曲可能に形成されている。また撮像部２００は着脱可能な構造をしており、観察する部位によって異なる撮像部が用いられる。一般に内視鏡分野において、撮像部２００はスコープと呼ばれており、具体的に用いられるスコープとしては、上部消化器用スコープや下部消化器用スコープ等が挙げられる。
【０２０６】
撮像部２００には光源部１００で集光された光を導くためのライトガイドファイバ２１０と、該ライトガイドファイバ２１０により先端まで導かれてきた光を拡散させて被検体に照射する照明レンズ２２０と、被検体からの反射光を集光する対物レンズ２３０と、集光された反射光と蛍光とを異なる光路に分岐するダイクロイックミラー２４０と、分岐された反射光を検出する第１撮像素子２５０と、第２撮像素子２６０を備えている。
【０２０７】
第１撮像素子２５０は例えば図３に示すようなＲ，Ｇ，Ｂの分光特性を有するベイヤ型のカラー撮像素子である。また第２撮像素子２６０は、例えば図３５に示されるように２種類の色フィルタｇ３，ｒ３が市松状に配置された撮像素子である。色フィルタｇ３，ｒ３は例えば図３６に示すように、ｇ３が５６０〜６００ｎｍ、ｒ３が６７０〜７１０ｎｍの波長帯域の光を透過させる透過率特性を有している。これらの波長帯域は、蛍光薬剤ＣＹ３，ＣＹ５の蛍光波長にそれぞれ相当する。
【０２０８】
さらに撮像部２００は内部にメモリ２８０を有しており、メモリ２８０は各スコープ固有の識別番号を保持している。メモリ２８０は制御部３６０に接続されており、制御部３６０はメモリ２８０に保持されている各スコープ固有の識別番号を参照することで、使用しているスコープを識別することが可能である。また使用しているスコープを識別することで、観察部位を識別することも可能である。
【０２０９】
画像処理部３００は、２つのＡＤ変換部３１０，３１１と通常光画像取得部３２０と特殊光画像取得部３３０と領域種類判別部３４０と強調部３５０と制御部３６０と対応付け部３７０を備えている。制御部３６０は通常光画像取得部３２０と特殊光画像取得部３３０と領域種類判別部３４０と強調部３５０と対応付け部３７０に接続されていて、これらを制御するようになっている。
【０２１０】
さらに制御部３６０は前述の回転フィルタ１３０とも接続されており、回転フィルタ１３０は制御部３６０からの信号に応じてモータを回転駆動することにより、フィルタＦ１，Ｆ２を順次切り替えて照明光を被検体である体腔内組織に順次照射する。また、制御部３６０は光路中に配置されているフィルタＦ１，Ｆ２の情報をトリガ信号として通常光画像取得部３２０、特殊光画像取得部３３０、対応付け部３７０に出力するようになっている。
【０２１１】
外部Ｉ／Ｆ部５００は、この画像処理装置に対するユーザからの入力等を行うためのインターフェースである。
【０２１２】
ＡＤ変換部３１０は第１撮像素子２５０から出力されるアナログ画像信号をデジタル画像信号に変換して出力し、ＡＤ変換部３１１は第２撮像素子２６０から出力されるアナログ画像信号をデジタル画像信号に変換して出力する。
【０２１３】
通常光画像取得部３２０は、ＡＤ変換部３１０から出力されるデジタル画像信号から通常光画像を取得する。特殊光画像取得部３３０は、ＡＤ変換部３１１から出力されるデジタル画像信号から特殊光画像を取得する。
【０２１４】
通常光画像取得部３２０で取得された通常光画像、及び特殊光画像取得部３３０で取得された特殊光画像は対応付け部３７０に出力される。本実施の形態においては、通常光画像取得部３２０と特殊光画像取得部３３０で通常光画像と特殊光画像が交互に取得されるため、対応付け部３７０はこれらの画像の対応付けを行う。対応付け部３７０の詳細は後述する。
【０２１５】
対応付け部３７０で対応付けされた通常光画像は強調部３５０に出力される。また同様に対応付け部３７０で対応付けされた特殊光画像は領域種類判別部３４０に出力される。領域種類判別部３４０は特殊光画像内に写っている被検体の種類を判別し、その判別結果を強調部３５０に出力する。強調部３５０は領域種類判別部３４０から出力される判別結果に応じて通常光画像に強調処理を施し表示部４００に出力する。領域種類判別部３４０、及び強調部３５０の詳細については後述する。
【０２１６】
次に通常光画像取得部３２０について図６を用いて説明する。通常光画像取得部３２０は通常光画像生成部３２１と通常光画像記憶部３２２を備えている。通常光画像生成部３２１は制御部３６０から送られてくるトリガ信号により、フィルタＦ１が光路中に位置する期間を識別し、フィルタＦ１が光路中に位置する期間内に第１撮像素子から送られてくるアナログ画像信号から変換されたデジタル画像信号に対して画像処理を行い、通常光画像を生成する。具体的には、既存の補間処理やホワイトバランス、色変換、階調変換等の処理を行い、通常光画像を生成して出力する。ここで、通常光画像はＲＧＢ画像である。通常光画像記憶部３２２は、通常光画像生成部３２１から出力された通常光画像をメモリに記憶する。
【０２１７】
次に特殊光画像取得部３３０について図７を用いて説明する。特殊光画像取得部３３０は特殊光画像生成部３３１と特殊光画像記憶部３３２を備えている。特殊光画像生成部３３１は制御部３６０から送られてくるトリガ信号により、フィルタＦ２が光路中に位置する期間を識別し、フィルタＦ２が光路中に位置する期間内に第２撮像素子から送られてくるアナログ画像信号から変換されたデジタル画像信号に対して画像処理を行い、特殊光画像を生成する。本実施例において、特殊光画像は蛍光画像となる。蛍光画像はＲＧＢ画像である。
【０２１８】
ここで、特殊光画像生成部３３１で蛍光画像を生成する方法について説明する。前述したように第２撮像素子２６０は、図３７に示されるように２種類の色フィルタｇ３，ｒ３が市松状に配置された撮像素子である。従って特殊光画像生成部３３１には、図３７に示されるようなデジタル画像信号が入力される。ただし、Ｇ３（ｘ，ｙ）はｇ３フィルタの信号値を表し、Ｒ３（ｘ，ｙ）はｒ３フィルタの信号値を表すものとする。また、ｘ， ｙは画像座標である。このような画像信号に対してまず補間処理を行い、全画素でｇ３フィルタの信号値を持つＧ３画像と、全画素でｒ３フィルタの信号値を持つＲ３画像を生成する。補間処理は例えば、前述した式（１），（２）と同様の方法で行えばよい。
【０２１９】
次にＧ３画像及びＲ３画像から、通常光画像と同様にＲ，Ｇ，Ｂの３種類の信号値を持つカラー画像を生成する。ここでは例えば、前記カラー画像の座標（ｘ，ｙ）のＲ信号にＲ３（ｘ，ｙ）を入力し、Ｇ，Ｂ信号にＧ３（ｘ，ｙ）を入力することでカラー画像が生成される。特殊光画像生成部３３１は、生成したカラー画像に対してさらにホワイトバランス、階調変換等の処理を行い、蛍光画像として出力する。特殊光画像記憶部３３２は特殊光画像生成部３３１から出力された蛍光画像をメモリに記憶する。
【０２２０】
図３８は光路中に位置するフィルタの種類と、通常光画像記憶部３２２及び特殊光画像記憶部３３２で記憶される画像を示した図である。まずタイミング１で光路中にフィルタＦ１が挿入される。この時、照射される照明光は白色光であり、通常光画像記憶部３２２には通常光画像が記憶され、特殊光画像記憶部３３２には画像が記憶されない。次にタイミング２で光路中にフィルタＦ２が挿入される。この時照射される照明光は励起光であり、特殊光画像記憶部３３２には薬剤蛍光が集積した病変部から発生する蛍光が疑似カラー画像として記憶され、通常光画像記憶部３２２には画像が記憶されない。通常光画像記憶部３２２と特殊光画像記憶部３３２はそれぞれ複数枚の画像を記憶できるようになっている。
【０２２１】
次に、対応付け部３７０の詳細を説明する。本実施の形態においては、通常光画像取得部３２０と特殊光画像取得部３３０で通常光画像と蛍光画像が交互に取得されるため、対応付け部３７０はこれらの画像の対応付けを行う。ここで本実施の形態における対応付け部３７０の処理について具体的に説明する。
【０２２２】
図３９は通常光画像記憶部３２２に記憶された画像が取得されたタイミングと、特殊光画像記憶部３３２に記憶された画像が取得されたタイミングを示した図である。対応付け部３７０は制御部３６０からの制御信号に従って、通常光画像記憶部３２２と特殊光画像記憶部３３２から、画像が取得されたタイミングの差が最も小さくなる様に対応づけられた通常光画像と蛍光画像を１枚ずつ読み出す。ここでは最初に読みだされる画像はタイミング１で取得された通常光画像とタイミング２で取得された蛍光画像であり、次に読みだされる画像はタイミング２で取得された蛍光画像とタイミング３で取得された通常光画像である。対応付け部３７０はこのようにして画像の取得と同じタイミング間隔で通常光画像と蛍光画像の両方を取得することができる。
【０２２３】
次に、領域種類判別部３４０の処理について説明する。領域種類判別部３４０の構成は第１の実施形態と同様で図９に示す通りである。また局所領域設定部３４１の処理も第１の実施形態と同様である。
【０２２４】
特徴量算出部３４２では観察部位に応じて特徴量を算出する。前述したように、本実施の形態で用いる蛍光薬剤ＣＹ３は食道部位によく見られる扁平上皮癌等の病変部に特異的に集積する性質を持ち、また蛍光薬剤ＣＹ５は大腸部位によく見られる腫瘍等の病変部に特異的に集積する性質を持つ。そのため、食道を診断する際には蛍光薬剤ＣＹ３の蛍光信号が入力されているＧまたはＢ信号を特徴量として用い、大腸を観察する際には蛍光薬剤ＣＹ５の蛍光信号が入力されているＲ信号を特徴量として用いれば良い。ここで観察部位は、前述したように制御部３６０がメモリ２８０に保持されている各スコープ固有の識別番号を参照することで決定することもできるし、外部Ｉ／Ｆ部５００によりユーザが観察部位を指定する構成としても良い。
【０２２５】
ここでは大腸部位を診断する場合を例に挙げて説明する。大腸部位を診断する際、特徴量算出部３４２は局所領域設定部３４１で設定された全ての局所領域について、各局所領域内の全ての画素のＲ信号の平均値を算出する。そして、算出したＲ信号の平均値を特徴量として種類判別部３４３に出力する。ここでは、局所領域ａ（ｍ，ｎ）の特徴量をｆ（ｍ，ｎ）と表記する。
【０２２６】
種類判別部３４３では、特徴量算出部３４２で算出された各局所領域内における特徴量ｆ（ｍ，ｎ）を基に、各局所領域に写っている被検体の種類を判別する。
【０２２７】
本実施の形態で用いる蛍光薬剤ＣＹ５は腫瘍等の病変部位に特異的に集積するため、腫瘍等の病変部が存在する局所領域は、病変部が存在しない局所領域に比べ、特徴量ｆ（ｍ，ｎ）が大きくなる傾向がある。従って、各局所領域における特徴量ｆ（ｍ，ｎ）が閾値Ｆ_ｔｈよりも大きい場合に、該局所領域を腫瘍等の病変部と判別すればよい。ここで閾値Ｆ_ｔｈは例えば、下式（１９）に示すように各局所領域における特徴量ｆ（ｍ，ｎ）の平均値とすればよい。
【０２２８】
【数６】
【０２２９】
種類判別部３４３は、腫瘍等の病変部と判別された全ての局所領域座標と該局所領域における特徴量ｆ（ｍ，ｎ）、及び判別結果を示すタグ情報を領域選出部３４４に出力する。ここでタグ情報は例えば、腫瘍等の病変部と判別された領域のタグ情報を１とすれば良い。
【０２３０】
領域選出部３４４は種類判別部３４３で腫瘍等の病変部と判別された局所領域ａ（ｍ，ｎ）の座標と、局所領域が含む全ての画素の情報から、該局所領域における全ての画素位置を算出し、算出した画素位置と前述のタグ情報、及び特徴量ｆ（ｘ，ｙ）を強調部３５０に出力する。ここで、各画素位置における特徴量ｆ（ｘ，ｙ）は、該画素位置が属する局所領域ａ（ｍ，ｎ）における特徴量ｆ（ｍ，ｎ）とすればよい。
【０２３１】
次に、強調部３５０の詳細について説明する。強調部３５０は、領域種類判別部３４０から出力される画素位置に対応する通常光画像の全ての画素に対し、強調処理を施す。強調処理を施された通常光画像は表示部４００に出力される。
【０２３２】
ここで強調処理は、例えば腫瘍等の病変部と判別された画素、つまりタグの値が１の画素については式２０に示す色変換処理を行えばよい。
【０２３３】
R_out(x,y) = R(x,y) - ｇａｉｎ * ｆ（ｘ，ｙ）
G_out(x,y) = G(x,y) - ｇａｉｎ * ｆ（ｘ，ｙ）
B_out(x,y) = B(x,y) + ｇａｉｎ * ｆ（ｘ，ｙ） ・・・・・（２０）
【０２３４】
ただし、式２０において、
Ｒ（ｘ， ｙ）， Ｇ（ｘ， ｙ）， Ｂ（ｘ， ｙ）
：色変換処理前の通常光画像の座標（ｘ， ｙ）におけるＲ， Ｇ， Ｂ信号値
Ｒ_out（ｘ， ｙ）， Ｇ_out（ｘ， ｙ）， Ｂ_out（ｘ， ｙ）
：色変換処理後の通常光画像の座標（ｘ， ｙ）におけるＲ， Ｇ， Ｂ信号値
である。
【０２３５】
また、ｇａｉｎは０〜１の任意の係数である。ここで、ｇａｉｎは外部Ｉ／Ｆ部５００よりユーザが設定しても良いし、観察部位に応じて異なる値を予め設定しておくこともできる。なお、観察部位は前述したように、制御部３６０がメモリ２８０に保持されている各スコープ固有の識別番号を参照することでも識別可能であるし、外部Ｉ／Ｆ部５００よりユーザが観察部位を指定する構成としてもよい。
【０２３６】
このような処理を行うことで、腫瘍等の病変部が正常部位とは異なる、青みの強い領域として描出されるため、通常光画像と蛍光画像を用いた診断を行う際に、ドクターの負荷を低減しながら病変部の見逃しを防止することが可能になる。
【０２３７】
なお、本実施の形態では、前述した特徴量に基づいて通常光画像に対し色変換処理を施す例を示したが、本発明はこれに限定されるものではなく、前記特徴量に基づき任意の色変換処理や輝度変換処理を行っても良い。
【０２３８】
また、本実施の形態では蛍光薬剤を使用したが、例えば従来、ＡＦＩ（Auto Fluorescence Imaging）として知られている技術のように、生体中のコラーゲンから発生する自家蛍光を観察するような構成にしてもよい。この場合は励起光として３９０〜４７０ｎｍの波長帯域の光を使用し、第２撮像素子の色フィルタの透過特性を、前述の自家蛍光の波長帯域である４９０〜６２５ｎｍに変更すればよい。
【０２３９】
さらに、例えば従来、ＩＲＩ（Infra red Imaging）として知られている技術のように、ＩＣＧを静脈注射した上で２つの赤外光（７９０〜８２０ｎｍ及び９０５〜９７０ｎｍの波長帯域の光）を照明光として使用し、それらの反射光画像から疑似カラー画像を生成し、特殊光画像として使用してもよい。
【０２４０】
また、本実施の形態では、画像処理部３００を構成する各部をハードウェアで構成することとしたが、第１の実施形態と同様に、予め取得された画像に対して、ＣＰＵが各部の処理を行う構成とし、ＣＰＵがプログラムを実行することによってソフトウェアとして実現することとしてもよい。あるいは、各部が行う処理の一部をソフトウェアで構成することとしてもよい。
【０２４１】
各部が行う処理の一部をソフトウェアで構成する場合の一例として、予め取得された通常光画像と蛍光画像に対して、図３１の領域種類判別部３４０、強調部３５０及び対応付け部３７０の処理をソフトウェアで実現する場合の処理手順を、図４０のフローチャートを用いて説明する。
【０２４２】
本実施の形態では通常光画像と蛍光画像が交互に取得されているため、まずそれぞれの画像を取得したタイミング情報に基づいて前述の方法でこれらの画像の対応付けを行う（Ｓｔｅｐ１１）。次に蛍光画像をメモリに読み込み（Ｓｔｅｐ１２）、この特殊光画像と対応づけられた通常光画像をメモリに読み込む（Ｓｔｅｐ１３）。
【０２４３】
領域種類判別ステップ（Ｓｔｅｐ１４）の詳細は図４１に示す通りである。まず、局所領域設定ステップでは、第１の実施形態と同様に蛍光画像に対して局所領域を設定する（Ｓｔｅｐ１４１）。特徴量算出ステップでは前述した方法で、診断している部位に応じて各局所領域の特徴量を算出する（Ｓｔｅｐ１４２）。種類判別ステップでは前述した閾値処理により各局所領域が腫瘍等の病変部かどうか判別処理を行う（Ｓｔｅｐ１４３）。領域選出ステップでは、病変部と判別された局所領域の座標と、各局所領域が含む画素の情報から、前記局所領域に含まれる画素の位置を算出する（Ｓｔｅｐ１４４）。
【０２４４】
強調処理ステップ（Ｓｔｅｐ１５）は、上式（１９）に示した方法で通常光画像に対し強調処理を施す。そして、すべての画像に対して一連の処理が完了した場合は処理を終了し、未処理の画像が残っている場合は同様の処理を継続する（Ｓｔｅｐ１６）。
【０２４５】
以上の本実施形態では、種類判別部３４３は、被検体像が属する部位に応じて、特徴量の算出処理を変更する。
【０２４６】
これにより、被検体像の種類の判別に用いられる特徴量を、観察している部位に応じて変更することが可能になる。具体的には、蛍光薬剤ＣＹ３とＣＹ５を用いた観察において、ＣＹ３の蛍光信号Ｇ３はＧ及びＢチャンネルに入力され、ＣＹ５の蛍光信号Ｒ３はＲチャンネルに入力されているとする。ここで、ＣＹ３は食道部位によく見られる扁平上皮癌等の病変に集積しやすく、ＣＹ５は大腸部位によく見られる腫瘍等の病変に集積しやすいという特徴がある。そのため食道を観察する際には、ＣＹ３の蛍光信号Ｇ３が入力されているＧまたはＢ信号を特徴量として用い、大腸を観察する際には、ＣＹ５の蛍光信号Ｒ３が入力されているＲ信号を特徴量として用いることが考えられる。
【０２４７】
また、強調部３５０は、強調処理として、第２の画像から算出された色に関する特徴量に基づいて、第１の画像内の対応注目領域に対して、輝度成分又は色成分を強調する。
【０２４８】
これにより、強調処理として、色に関する特徴量（上述したように食道の場合にはＧまたはＢ信号、大腸の場合にはＲ信号）を対応注目領域の輝度成分（Ｙ成分）または色成分（Ｒ，Ｇ，Ｂ成分）に加算する処理を行うことが可能になる。
【０２４９】
６．第６の実施形態
第６の実施形態の概要について、図４２を参照して説明する。目的は第１の実施形態と同様に、第２の画像内の被写体像の種類を判別し、種類に応じて、第１の画像に対して強調処理を施すことである。ただし、本実施形態では、第２の画像を複数種類取得することが可能なシステム構成となっているため、被写体像の種類の他に、第２の画像の種類も考慮する必要がある点が特徴である。
【０２５０】
まずＥ１に示すように、第２の画像の種類を判別する。ここではＥ２に示すように、蛍光画像を取得する場合と、Ｅ３に示すようにＮＢＩ画像を取得する場合とが考えられる。第２の画像が蛍光画像であるか、ＮＢＩ画像であるかに応じて、この後の処理が異なる。そのため、第２の画像の種類に応じて、第１の画像に対して強調処理を施すことが可能になる。
【０２５１】
なお、第２の画像として蛍光画像が得られた場合の以降の処理は、図３０（第５の実施形態）と同様であり、ＮＢＩ画像が得られた場合の以降の処理は図２４（第３の実施形態）と同様である。
【０２５２】
次に、第６の実施形態にかかる内視鏡システムについて図４３を用いて説明する。本実施形態に係る内視鏡システムは、光源部１００と撮像部２００と画像処理部３００と表示部４００と外部Ｉ／Ｆ部５００を備えている。
【０２５３】
光源部１００は、白色光を発生する白色光源１１０と、光源からの出射光をライトガイドファイバ２１０に集光するための集光レンズ１２０と、白色光から所定の波長帯域の光を抽出する、第１回転フィルタ１４０及び第２回転フィルタ１５０を備えている。
【０２５４】
ここで、これら２つの回転フィルタは、排他的に制御されるものとする。具体的には、第１回転フィルタ１４０が白色光源１１０から出力される光の光路に挿入される場合は、第２回転フィルタ１５０は前記光路に挿入しないものとする。逆に第２回転フィルタ１５０が前記光路に挿入される場合は、第１回転フィルタ１４０は前記光路に挿入しないものとする。回転フィルタの切り替えは、例えば外部Ｉ／Ｆ部５００よりユーザが指定するものとし、ユーザの指定に従って、制御部３６０が前述した２つの回転フィルタを排他的に制御する構成とすれば良い。
【０２５５】
第１回転フィルタ１４０は、図４４に示されるように透過率特性の異なるフィルタＦ１，Ｆ３から構成されている。フィルタＦ１は、図３３に示されるように４００ｎｍ〜７００ｎｍの波長帯域の光を透過させる特性を有している。フィルタＦ３は、図４６に示されるように６００ｎｍ〜６５０ｎｍの波長帯域の光を透過させる特性を有している。フィルタＦ３により抽出された６００〜６５０ｎｍの波長帯域の光は、ＣＹ５のような蛍光薬剤を励起して６７０〜７１０ｎｍの波長帯域の蛍光を発生させる特性を有している。ここで蛍光薬剤ＣＹ５は、腫瘍等の病変部に特異的に集積する性質を持つとする。
【０２５６】
また第２回転フィルタ１５０は、図４５に示されるように透過率特性の異なるフィルタＦ１，Ｆ４から構成されている。フィルタＦ４は、図４７に示されるように３９０ｎｍ〜４４５ｎｍと、５３０〜５５０ｎｍの２つの波長帯域の光を透過させる櫛形フィルタの特性を有している。なお、第２回転フィルタ１５０が有するフィルタＦ１の特性は、第１回転フィルタ１４０が有するフィルタＦ１の特性と同一である。
【０２５７】
撮像部２００は、例えば体腔への挿入を可能にするため、細長くかつ湾曲可能に形成されている。撮像部２００には光源部１００で集光された光を導くためのライトガイドファイバ２１０と、該ライトガイドファイバ２１０により先端まで導かれてきた光を拡散させて被検体に照射する照明レンズ２２０と、被検体からの反射光を集光する対物レンズ２３０と、集光された反射光を異なる光路に分岐するダイクロイックミラー２４０と、分岐された反射光を検出する第１撮像素子２５０と、第２撮像素子２６０を備えている。
【０２５８】
第１撮像素子２５０は例えば図３に示すようなＲ，Ｇ，Ｂの分光特性を有するベイヤ型のカラー撮像素子である。また第２撮像素子２６０は、例えば図４８に示されるように２種類の色フィルタｇ４，ｂ４が市松状に配置された撮像素子である。色フィルタｇ４は、例えば図４９に示すように５３０〜５５０ｎｍ、及び６７０〜７１０ｎｍの２つの波長帯域の光を透過させる櫛形フィルタの特性を有している。また色フィルタｂ４は、例えば図５０に示すように、３９０〜４４５ｎｍ、及び６７０〜７１０ｎｍの２つの波長帯域の光を透過させる櫛形フィルタの特性を有している。ここで、２種類の色フィルタｇ４，ｂ４に共通する透過帯域である６７０〜７１０ｎｍの波長帯域は、蛍光薬剤ＣＹ５の蛍光波長に相当する。
【０２５９】
画像処理部３００は、２つのＡＤ変換部３１０，３１１と通常光画像取得部３２０と特殊光画像取得部３３０と強調部３５０と制御部３６０と対応付け部３７０を備えている。制御部３６０は通常光画像取得部３２０と特殊光画像取得部３３０と強調部３５０と対応付け部３７０に接続されていて、これらを制御するようになっている。
【０２６０】
さらに制御部３６０は、第１回転フィルタ１４０と第２回転フィルタ１５０とも接続されており、前記２つの回転フィルタは、制御部３６０からの信号に応じてモータを回転駆動することにより、フィルタＦ１，Ｆ３若しくはＦ１，Ｆ４を順次切り替えて、照明光を被検体である体腔内組織に順次照射する。また制御部３６０は、光路に挿入されている回転フィルタの情報、及び光路中に配置されているフィルタＦ１，Ｆ３，Ｆ４の情報を通常光画像取得部３２０、特殊光画像取得部３３０、強調部３５０、対応付け部３７０に出力するようになっている。ここで制御部３６０が出力する情報は、フラグ信号とトリガ信号の２種類である。フラグ信号は、第１回転フィルタ１４０と第２回転フィルタ１５０のうち、どちらの回転フィルタが光路に挿入されているかを識別するための信号である。またトリガ信号は、光路中に配置されているフィルタＦ１，Ｆ３，Ｆ４を識別するための信号である。
【０２６１】
外部Ｉ／Ｆ部５００は、この画像処理装置に対するユーザからの入力等を行うためのインターフェースである。
【０２６２】
ＡＤ変換部３１０は第１撮像素子２５０から出力されるアナログ画像信号をデジタル画像信号に変換して出力し、ＡＤ変換部３１１は第２撮像素子２６０から出力されるアナログ画像信号をデジタル画像信号に変換して出力する。
【０２６３】
通常光画像取得部３２０は、ＡＤ変換部３１０から出力されるデジタル画像信号から通常光画像を取得する。特殊光画像取得部３３０は、ＡＤ変換部３１１から出力されるデジタル画像信号から特殊光画像を取得する。
【０２６４】
通常光画像取得部３２０で取得された通常光画像、及び特殊光画像取得部３３０で取得された特殊光画像は対応付け部３７０に出力される。本実施の形態においては、通常光画像取得部３２０と特殊光画像取得部３３０で、通常光画像と特殊光画像が交互に取得されるため、対応付け部３７０はこれらの画像の対応付けを行う。対応付け部３７０の処理は第５の実施形態と同様である。
【０２６５】
対応付け部３７０で対応付けされた通常光画像及び特殊光画像は強調部３５０に出力される。強調部３５０は、特殊光画像の種類に応じて通常光画像に強調処理を施し、表示部４００に出力する。なお、強調部３５０の詳細については後述する。
【０２６６】
次に通常光画像取得部３２０について図６を用いて説明する。通常光画像取得部３２０は通常光画像生成部３２１と通常光画像記憶部３２２を備えている。通常光画像生成部３２１は制御部３６０から送られてくるトリガ信号により、フィルタＦ１が光路中に位置する期間を識別し、フィルタＦ１が光路中に位置する期間内に第１撮像素子２５０から送られてくるアナログ画像信号から変換されたデジタル画像信号に対して画像処理を行い、通常光画像を生成する。具体的には、既存の補間処理やホワイトバランス、色変換、階調変換等の処理を行い、通常光画像を生成して出力する。ここで、通常光画像はＲＧＢ画像である。通常光画像記憶部３２２は、通常光画像生成部３２１から出力された通常光画像をメモリに記憶する。なお、通常光画像記憶部３２２は複数枚の画像を記憶できるようになっている。
【０２６７】
次に特殊光画像取得部３３０について図７を用いて説明する。特殊光画像取得部３３０は特殊光画像生成部３３１と特殊光画像記憶部３３２を備えている。特殊光画像生成部３３１は制御部３６０から送られてくる前記フラグ信号により、前述した２つの回転フィルタのうち、どちらの回転フィルタが光路に挿入されているかを識別し、その識別結果に応じて特殊光画像を生成する。ここでは、前記光路中に第１回転フィルタ１４０が挿入されている場合と、第２回転フィルタ１５０が挿入されている場合のそれぞれについて、特殊光画像の生成方法を説明する。
【０２６８】
第１回転フィルタ１４０が光路に挿入されている場合、特殊光画像取得部３３０は前記トリガ信号よりフィルタＦ３が光路中に位置する期間を識別し、フィルタＦ３が光路中に位置する期間内にＡＤ変換部３１１から出力されるデジタル画像信号に対して画像処理を行い、特殊光画像を生成する。フィルタＦ３は、前述したように蛍光薬剤ＣＹ５を励起させ、蛍光を発生させる波長帯域の光を透過する特性を有している。ここで蛍光薬剤ＣＹ５の蛍光波長の帯域は６７０〜７１０ｎｍである。一方、第２撮像素子２６０に用いられる色フィルタｇ４，ｂ４は、両者ともに前記蛍光波長の帯域を透過する特性を有している。従って第２撮像素子２６０から出力される信号は、ＣＹ５の蛍光信号となる。そのため本実施の形態において、第１回転フィルタ１４０が光路中に挿入されている場合に取得される特殊光画像は、蛍光画像となる。特殊光画像生成部３３１は、ＡＤ変換部３１１より出力されるデジタル画像信号に対して既存の階調変換処理を行うことで蛍光画像を生成し、生成した蛍光画像を特殊光画像記憶部３３２に出力する。ここで、蛍光画像はモノクロ画像である。特殊光画像記憶部３３２は、特殊光画像生成部３３１から出力された蛍光画像をメモリに記憶する
【０２６９】
また、第２回転フィルタ１５０が光路に挿入されている場合、特殊光画像取得部３３０は前記トリガ信号よりフィルタＦ４が光路中に位置する期間を識別し、フィルタＦ４が光路中に位置する期間内にＡＤ変換部３１１から出力されるデジタル画像信号に対して画像処理を行い、特殊光画像を生成する。ここでフィルタＦ４は前述したように、３９０〜４４５ｎｍと５３０〜５５０ｎｍの２種類の狭帯域光を透過させる特性を有している。一方、第２撮像素子２６０は前述したように、図４８に示すように２種類の色フィルタｇ４，ｂ４が市松状に配置された撮像素子である。またｇ４は５３０〜５５０ｎｍの波長帯域の光を透過する特性を有し、ｂ４は３９０〜４４５ｎｍの波長帯域の光を透過する特性を有している。従って、第２回転フィルタ１５０が光路中に挿入されている場合、特殊光画像生成部３３１に入力されるデジタル画像信号は、第１の実施形態で示した特殊光画像生成部３３１に入力されるデジタル画像信号と同等となる。そのため、特殊光画像生成部３３１は第１の実施形態と同様の方法で狭帯域光画像を生成し、生成した狭帯域光画像を特殊光画像記憶部３３２に出力する。ここで、狭帯域光画像はＲＧＢ画像である。特殊光画像記憶部３３２は、特殊光画像生成部３３１から出力された狭帯域光画像をメモリに記憶する。なお、特殊光画像記憶部３３２は複数枚の画像を記憶できるようになっている。
【０２７０】
次に、強調部３５０の詳細について説明する。強調部３５０は、図５１に示されるように、特徴量算出部３５６と特徴量加算部３５７より構成される。対応付け部３７０により通常光画像との対応付けがなされた特殊光画像は、特徴量算出部３５６に出力される。また対応付け部３７０により特殊光画像との対応付けがなされた通常光画像は、特徴量加算部３５７に出力される。制御部３６０は特徴量算出部３５６と特徴量加算部３５７に接続されていて、これらを制御するようになっている。
【０２７１】
特徴量算出部３５６は、特殊光画像の種類に応じて特徴量を算出する。具体的には、制御部３６０から送られてくるフラグ信号を参照して、光源部１００において２つの回転フィルタのうち、どちらの回転フィルタが光路に挿入されているかを識別し、識別結果に応じて特徴量を算出する。
【０２７２】
前記光路に第１回転フィルタ１４０が挿入されている場合、対応付け部３７０より出力される特殊光画像は、前述したようにモノクロの蛍光画像となる。この場合、特徴量算出部３５６は入力された蛍光画像の全ての画素位置（ｘ，ｙ）における信号値を特徴量として、特徴量加算部３５７に出力する。ここでは、画素位置（ｘ，ｙ）における特徴量をｆ’（ｘ，ｙ）と表記する。
【０２７３】
一方、前記光路に第２回転フィルタ１５０が挿入されている場合、対応付け部３７０より出力される特殊光画像は狭帯域光画像となる。この場合、特徴量算出部３５６は入力された狭帯域光画像の輝度信号より、式１５を用いて特殊光画像の全ての画素についてエッジ量Ｅ（ｘ，ｙ）を算出し、算出したエッジ量Ｅ（ｘ，ｙ）を特徴量ｆ’（ｘ，ｙ）として特徴量加算部３５７に出力する。
【０２７４】
特徴量加算部３５７は、特殊光画像の種類に応じて、通常光画像に対し強調処理を施す。特殊光画像の種類の判別方法は、前述したように制御部３６０から送られてくるフラグ信号を参照すればよい。
【０２７５】
前記光路に第１回転フィルタ１４０が挿入されている場合、特徴量加算部３５７は上式（２０）と同様の方法で通常光画像に色変換処理を施す。ここでは、特徴量算出部３５６で算出した特徴量に基づいて、通常光画像に対し色変換処理を施す例を示したが、本発明はこれに限定されるものではなく、前記特徴量に基づき任意の色変換処理や輝度変換処理を行っても良い。
【０２７６】
一方、前記光路に第２回転フィルタ１５０が挿入されている場合、特徴量加算部３５７は特徴量算出部３５６より出力される特徴量ｆ’（ｘ，ｙ）を、通常光画像の輝度信号Ｙ（ｘ，ｙ）に加算する処理を施す。ここでは、特徴量算出部３５６で算出した特徴量に基づいて、通常光画像に対し輝度変換処理を施す例を示したが、本発明はこれに限定されるものではなく、前記特徴量に基づき任意の色変換処理や輝度変換処理を行っても良い。
【０２７７】
このような処理を行うことで、蛍光画像を特殊光画像として取得する場合には、腫瘍等の病変部が正常部位とは異なる色として描出される。さらに狭帯域光画像を特殊光画像として取得する場合には、病変の診断に重要な血管部位が強調して描出される。
【０２７８】
以上に示した構成により、特殊光画像の種類に応じて通常光画像を強調処理することが可能となり、通常光画像と特殊光画像を用いた診断を行う際に、ドクターの負荷を低減しながら病変部の見逃しを防止することが可能になる。
【０２７９】
なお、本実施形態においては、光路に挿入されている回転フィルタの情報をフラグ信号として用い、特殊光画像の種類を判別する方法を示したが、本発明はこれに限定されるものではない。例えば第２撮像素子２６０から出力される信号をもとに、特殊光画像の種類を判別することも可能である。
【０２８０】
ここで、第２撮像素子２６０から出力される信号をもとに、特殊光画像の種類を判別する方法について説明する。第２撮像素子２６０は、図４８で示されるように２種類の色フィルタｇ４とｂ４を市松状に並べた撮像素子である。また、本実施形態において第１回転フィルタ１４０が光路に挿入されている場合、第２撮像素子２６０より出力される信号は、前述したようにＣＹ５の蛍光信号となる。従って、色フィルタｇ４を有する全ての画素から出力される信号の平均値Ｇ４＿ａｖｅと、色フィルタｂ４を有する全ての画素から出力される信号の平均値Ｂ４＿ａｖｅはほぼ等しくなる。
【０２８１】
一方、第２回転フィルタ１５０が光路に挿入されている場合、第２撮像素子２６０より出力される信号は、前述したように色フィルタｇ４に関しては波長帯域５３０〜５５０ｎｍの狭帯域信号、色フィルタｂ４に関しては波長帯域３９０〜４４５の狭帯域信号となり、ｇ４とｂ４で異なる波長帯域の信号が出力される。そのため、前述した信号の平均値Ｇ４＿ａｖｅとＢ４＿ａｖｅは異なる値となる。従って、前述した平均値Ｇ４＿ａｖｅ， Ｂ４＿ａｖｅを比較することで、特殊光画像の種類を判別することも可能である。
【０２８２】
また、本実施の形態では、画像処理部３００を構成する各部をハードウェアで構成することとしたが、第１の実施形態と同様に、予め取得された画像に対して、ＣＰＵが各部の処理を行う構成とし、ＣＰＵがプログラムを実行することによってソフトウェアとして実現することとしてもよい。あるいは、各部が行う処理の一部をソフトウェアで構成することとしてもよい。
【０２８３】
各部が行う処理の一部をソフトウェアで構成する場合の一例として、予め取得された通常光画像と特殊光画像に対して、図４３の強調部３５０及び対応付け部３７０の処理をソフトウェアで実現する場合の処理手順を、図５２のフローチャートを用いて説明する。
【０２８４】
本実施の形態では通常光画像と特殊光画像が交互に取得されているため、まずそれぞれの画像を取得したタイミング情報に基づいて、第５の実施形態と同様の方法で、これらの画像の対応付けを行う（Ｓｔｅｐ２１）。次に特殊光画像をメモリに読み込み（Ｓｔｅｐ２２）、この特殊光画像と対応づけられた通常光画像をメモリに読み込む（Ｓｔｅｐ２３）。さらに、特殊光画像の種類を識別するためのフラグ信号をメモリに読み込む（Ｓｔｅｐ２４）。
【０２８５】
強調処理ステップ（Ｓｔｅｐ２５）の詳細は図５３に示す通りである。まず、特殊光画像識別ステップでは、フラグ信号を参照して特殊光画像の種類を識別する（Ｓｔｅｐ２５１）。次に特徴量算出ステップでは、特殊光画像の種類に応じて特徴量を算出する（Ｓｔｅｐ２５２）。具体的には、特殊光画像が蛍光画像であった場合、蛍光画像の信号値を特徴量Ｆ’（ｘ，ｙ）とし、また特殊光画像が狭帯域光画像であった場合には、狭帯域光画像の輝度信号から式１５を用いてエッジ量を算出し、算出したエッジ量を特徴量ｆ’（ｘ，ｙ）とする。特徴量加算ステップではＳｔｅｐ２５２と同様に、特殊光画像の種類に応じて通常光画像に強調処理を施す（Ｓｔｅｐ２５３）。具体的には、特殊光画像の種類が蛍光画像であった場合、Ｓｔｅｐ２５２で算出された特徴量と上式（２０）を用いて通常光画像に色変換処理を施す。また特殊光画像の種類が狭帯域光画像であった場合、Ｓｔｅｐ２５２で算出された特徴量を、通常光画像の輝度信号に加算する処理を施す。
【０２８６】
そして、すべての画像に対して一連の処理が完了した場合は処理を終了し、未処理の画像が残っている場合は同様の処理を継続する（Ｓｔｅｐ２６）。
【０２８７】
以上の本実施形態では、第１画像取得部（狭義には通常光画像取得部３２０）は白色光の波長帯域に対応する第１の画像（狭義には白色光画像）を取得し、第２画像取得部（狭義には特殊光画像取得部３３０）は特定の波長帯域（狭義には狭帯域光や蛍光等の波長帯域）に対応する第２の画像（狭義には狭帯域画像や蛍光画像等の特殊光画像）を取得する。そして強調部３５０は、第２の画像の種類に基づいて、第１の画像に対して強調処理を施す。
【０２８８】
ここで第２の画像の種類は、ＮＢＩ画像及びＡＦＩ画像を含んでもよい。そして強調部３５０は第２の画像がＮＢＩ画像かＡＦＩ画像かに応じて、強調処理の方法を変更してもよい。
【０２８９】
これにより、通常光画像（白色光画像）と特殊光画像（ＮＢＩ画像や蛍光画像等）を取得した上で、特殊光画像の種類に基づいて、通常光画像に対する強調処理の方法を変更することができる。よって、具体的には例えば、特殊光画像がＮＢＩ画像の場合には第３の実施形態と同様の処理を行い、蛍光画像の場合には第５の実施形態と同様の処理を行うことなどが可能になる。
【０２９０】
以上、本発明を適用した６つの実施の形態１〜６およびその変形例について説明したが、本発明は、各実施の形態１〜６やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施の形態１〜６や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施の形態１〜６や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。
【０２９１】
また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語（第１の画像、第２の画像等）と共に記載された用語（通常光画像、特殊光画像等）は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。
【符号の説明】
【０２９２】
１００ 光源部、１１０ 白色光源、１２０ 集光レンズ、１３０ 回転フィルタ、
１４０ 回転フィルタ、１５０ 回転フィルタ、２００ 撮像部、
２１０ ライトガイドファイバ、２２０ 照明レンズ、２３０ 対物レンズ、
２４０ ハーフミラー、２５０ 撮像素子、２６０ 撮像素子、
２７０ ダイクロイックミラー、２８０ メモリ、３００ 画像処理部、
３１０ 変換部、３１１ 変換部、３２０ 通常光画像取得部、
３２１ 通常光画像生成部、３２２ 通常光画像記憶部、３３０ 特殊光画像取得部、
３３１ 特殊光画像生成部、３３２ 特殊光画像記憶部、３３３ 信号抽出部、
３３４ マトリクスデータ設定部、３４０ 領域種類判別部、３４１ 局所領域設定部、
３４２ 特徴量算出部、３４３ 種類判別部、３４４ 画素情報出力部、
３４５ 輝度信号算出部、３５０ 強調部、３５１ 分離部、
３５２ 高周波成分算出部、３５３ 高周波成分加算部、３５４ 合成部、
３５５ エッジ加算部、３５６ 特徴量算出部、３５７ 特徴量加算部、
３６０ 制御部、３７０ 対応付け部、４００ 表示部、５００ 外部Ｉ／Ｆ部、
６００ コンピューターシステム、６１０ 本体部、６１５ ドライブ、
６１６ ポート、６１７ インターフェース、６１８ インターフェース、
６２０ ディスプレイ、６２１ 表示画面、６３０ キーボード、６４０ マウス、
６５０ モデム、６７０ メモリ、６８２ サーバ、６８３ プリンタ、
３５２１ 多重解像度変換部、３５２２ 高周波成分抽出部
【特許請求の範囲】
【請求項１】
白色光の波長帯域における情報を有した被検体像を含む画像を第１の画像として取得する第１画像取得部と、
特定の波長帯域における情報を有した被検体像を含む画像を第２の画像として取得する第２画像取得部と、
前記第２の画像内の画素の特徴量に基づいて、前記第２の画像内に写された被検体像の種類を判別する種類判別部と、
前記判別された被検体像の種類に基づいて、前記第１の画像に対して強調処理を施す強調部と、
を含むことを特徴とする画像処理装置。
【請求項２】
請求項１において、
前記種類判別部は、
前記被検体像が属する部位に応じて、前記特徴量の算出処理を変更することを特徴とする画像処理装置。
【請求項３】
請求項１において、
前記強調部は、
前記被検体像が属する部位に応じて、前記強調処理の方法を変更することを特徴とする画像処理装置。
【請求項４】
請求項２又は３において、
前記第１の画像および前記第２の画像の少なくとも一方は、
当該画像処理装置の外部に設けられた撮像装置により撮像されたものであり、
前記強調部は、
前記第１の画像と前記第２の画像の少なくとも一方を撮像した前記撮像装置に関する情報に基づいて、前記被検体像が属する部位を決定することを特徴とする画像処理装置。
【請求項５】
請求項１において、
前記被検体像として、前記第２の画像内に複数の被検体像が存在し、
前記種類判別部は、
前記複数の被検体像の各被検体像が、第１〜第Ｎ（Ｎは２以上の整数）の種類のうち、いずれの種類に属するかを判別し、
前記強調部は、
前記種類判別部の判別結果に応じて、強調処理の方法を決定することを特徴とする画像処理装置。
【請求項６】
請求項５において、
前記第１〜第Ｎの種類の各種類には、種類に応じた優先度が設定されており、
前記強調部は、
前記被写体像の種類に応じて設定された前記優先度に基づいて、強調処理の方法を決定することを特徴とする画像処理装置。
【請求項７】
請求項６において、
前記強調部は、
前記被検体像が属する部位に応じて、前記被検体像の種類に対する前記優先度を設定することを特徴とする画像処理装置。
【請求項８】
請求項６において、
前記強調部は、
前記優先度の最も高い種類に属する前記被検体像に対して、前記被検体像の種類に対応する強調方法を用いて、強調処理を行うことを特徴とする画像処理装置。
【請求項９】
請求項５において、
前記強調部は、
前記第１〜第Ｎの種類のうちの第ｉ（１≦ｉ≦Ｎ）の種類に属する前記被検体像に対して、前記第ｉの種類に対応する強調方法を用いて強調処理を行い、第ｊ（１≦ｊ≦Ｎ、ｊ≠ｉ）の種類に属する前記被検体像に対して、前記第ｊの種類に対応する強調方法を用いて強調処理を行うことを特徴とする画像処理装置。
【請求項１０】
請求項１において、
前記第２の画像の種類として、複数の種類が存在し、
前記強調部は、
前記被検体像の種類および前記第２の画像の種類に応じて、前記強調処理の方法を決定することを特徴とする画像処理装置。
【請求項１１】
請求項１０において、
前記第２の画像内の、前記被検体像を有する注目領域に対応する対応注目領域を、前記第１の画像から選出する領域選出部を含み、
前記強調部は、
前記被検体像の種類が血管であり、かつ、前記第２の画像の種類がＮＢＩ画像である場合、前記血管に対応する領域である前記対応注目領域を、前記強調処理を施す範囲として決定することを特徴とする画像処理装置。
【請求項１２】
請求項１０において、
前記強調部は、
前記被検体像の種類が病変であり、かつ、前記第２の画像の種類がＮＢＩ画像である場合、前記第１の画像全体を、前記強調処理を施す範囲として決定することを特徴とする画像処理装置。
【請求項１３】
請求項１において、
前記強調部は、
前記強調処理として、前記第１の画像全体に対し、その第１の画像の空間周波数のうち、特定の周波数成分を強調することを特徴とする画像処理装置。
【請求項１４】
請求項１において、
前記第２の画像内の、前記被検体像を有する注目領域に対応する対応注目領域を、前記第１の画像から選出する領域選出部を含み、
前記強調部は、
前記強調処理として、前記第２の画像から算出されたエッジ量に基づいて、前記第１の画像内の前記対応注目領域に含まれる信号の輝度成分または色成分を強調することを特徴とする画像処理装置。
【請求項１５】
請求項１において、
前記第２の画像内の、前記被検体像を有する注目領域に対応する対応注目領域を、前記第１の画像から選出する領域選出部を含み、
前記強調部は、
前記強調処理として、前記第２の画像から算出された色に関する特徴量に基づいて、前記第１の画像内の前記対応注目領域に含まれる信号の輝度成分または色成分を強調することを特徴とする画像処理装置。
【請求項１６】
請求項１において、
前記特徴量は、
エッジ、色相または彩度を示す量であることを特徴とする画像処理装置。
【請求項１７】
請求項１において、
前記被検体像の種類は、
病変に関する種類、および血管に関する種類のうち少なくとも１つの種類を含むことを特徴とする画像処理装置。
【請求項１８】
請求項１において、
前記特定の波長帯域は、
前記白色光の波長帯域よりも狭い帯域であることを特徴とする画像処理装置。
【請求項１９】
請求項１において、
前記第１の画像および前記第２の画像は生体内を写した生体内画像であり、
前記生体内画像に含まれる前記特定の波長帯域は、
血液中のヘモグロビンに吸収されやすい波長の波長帯域であることを特徴とする画像処理装置。
【請求項２０】
請求項１９において、
前記特定の波長帯域は、
３９０ナノメータ〜４４５ナノメータ、または５３０ナノメータ〜５５０ナノメータであることを特徴とする画像処理装置。
【請求項２１】
請求項１において、
前記第１の画像および前記第２の画像は生体内を写した生体内画像であり、
前記生体内画像に含まれる前記特定の波長帯域は、
蛍光物質が発する蛍光の波長帯域であることを特徴とする画像処理装置。
【請求項２２】
請求項２１において、
前記特定の波長帯域は、
４９０ナノメータ〜６２５ナノメータの波長帯域であることを特徴とする画像処理装置。
【請求項２３】
請求項１において、
前記第１の画像および前記第２の画像は生体内を写した生体内画像であり、
前記生体内画像に含まれる前記特定の波長帯域は、
赤外光の波長帯域であることを特徴とする画像処理装置。
【請求項２４】
請求項２３において、
前記特定の波長帯域は、
７９０ナノメータ〜８２０ナノメータ、または９０５ナノメータ〜９７０ナノメータの波長帯域であることを特徴とする画像処理装置。
【請求項２５】
請求項１において、
前記第２画像取得部は、
前記取得された第１の画像をもとに、前記第２の画像を生成することを特徴とする画像処理装置。
【請求項２６】
請求項２５において、
前記第２画像取得部は、
前記取得された第１の画像から、白色光の波長帯域における信号を抽出する信号抽出部を含み、
前記第２画像取得部は、
前記抽出された信号をもとに、前記特定の波長帯域における信号を含む前記第２の画像を生成することを特徴とする画像処理装置。
【請求項２７】
請求項２６において、
前記第２画像取得部は、
前記白色光の波長帯域における信号から、前記特定の波長帯域における信号を算出するためのマトリクスデータを設定するマトリクスデータ設定部を含み、
前記第２画像取得部は、
前記設定されたマトリクスデータを用いて、前記白色光の波長帯域における信号から前記特定の波長帯域における信号を算出して、前記第２の画像を生成することを特徴とする画像処理装置。
【請求項２８】
請求項１乃至２７のいずれかに記載の画像処理装置を含むことを特徴とする電子機器。
【請求項２９】
白色光の波長帯域における情報を有した被検体像を含む画像を第１の画像として取得する第１画像取得部と、
特定の波長帯域における情報を有した被検体像を含む画像を第２の画像として取得する第２画像取得部と、
前記取得された第２の画像の種類に基づいて、前記第１の画像に対して強調処理を施す強調部と、
を含むことを特徴とする画像処理装置。
【請求項３０】
請求項２９において、
前記第２の画像の種類は、
ＮＢＩ画像及びＡＦＩ画像の種類を含むことを特徴とする画像処理装置。
【請求項３１】
請求項３０において、
前記強調部は、
前記第２の画像の種類が、ＮＢＩ画像であるかＡＦＩ画像であるかに応じて、強調処理の方法を変更することを特徴とする画像処理装置。
【請求項３２】
白色光の波長帯域における情報を有した被検体像を含む画像を第１の画像として取得する第１画像取得部と、
特定の波長帯域における情報を有した被検体像を含む画像を第２の画像として取得する第２画像取得部と、
前記第２の画像内の画素の特徴量に基づいて、前記第２の画像内に写された被検体像の種類を判別する種類判別部と、
前記判別された被検体像の種類に基づいて、前記第１の画像に対して強調処理を施す強調部として、
コンピュータを機能させることを特徴とするプログラム。
【請求項３３】
白色光の波長帯域における情報を有した被検体像を含む画像を第１の画像として取得する第１画像取得部と、
特定の波長帯域における情報を有した被検体像を含む画像を第２の画像として取得する第２画像取得部と、
前記取得された第２の画像の種類に基づいて、前記第１の画像に対して強調処理を施す強調部として、
コンピュータを機能させることを特徴とするプログラム。
【請求項３４】
白色光の波長帯域における情報を有した被検体像を含む画像を第１の画像として取得し、
特定の波長帯域における情報を有した被検体像を含む画像を第２の画像として取得し、
前記第２の画像内の画素の特徴量に基づいて、前記第２の画像内に写された被検体像の種類を判別し、
前記判別された被検体像の種類に基づいて、前記第１の画像に対して強調処理を施すことを特徴とする画像処理方法。
【請求項３５】
白色光の波長帯域における情報を有した被検体像を含む画像を第１の画像として取得し、
特定の波長帯域における情報を有した被検体像を含む画像を第２の画像として取得し、
前記取得された第２の画像の種類に基づいて、前記第１の画像に対して強調処理を施すことを特徴とする画像処理方法。
【請求項１】
白色光の波長帯域における情報を有した被検体像を含む画像を第１の画像として取得する第１画像取得部と、
特定の波長帯域における情報を有した被検体像を含む画像を第２の画像として取得する第２画像取得部と、
前記第２の画像内の画素の特徴量に基づいて、前記第２の画像内に写された被検体像の種類を判別する種類判別部と、
前記判別された被検体像の種類に基づいて、前記第１の画像に対して強調処理を施す強調部と、
を含むことを特徴とする画像処理装置。
【請求項２】
請求項１において、
前記種類判別部は、
前記被検体像が属する部位に応じて、前記特徴量の算出処理を変更することを特徴とする画像処理装置。
【請求項３】
請求項１において、
前記強調部は、
前記被検体像が属する部位に応じて、前記強調処理の方法を変更することを特徴とする画像処理装置。
【請求項４】
請求項２又は３において、
前記第１の画像および前記第２の画像の少なくとも一方は、
当該画像処理装置の外部に設けられた撮像装置により撮像されたものであり、
前記強調部は、
前記第１の画像と前記第２の画像の少なくとも一方を撮像した前記撮像装置に関する情報に基づいて、前記被検体像が属する部位を決定することを特徴とする画像処理装置。
【請求項５】
請求項１において、
前記被検体像として、前記第２の画像内に複数の被検体像が存在し、
前記種類判別部は、
前記複数の被検体像の各被検体像が、第１〜第Ｎ（Ｎは２以上の整数）の種類のうち、いずれの種類に属するかを判別し、
前記強調部は、
前記種類判別部の判別結果に応じて、強調処理の方法を決定することを特徴とする画像処理装置。
【請求項６】
請求項５において、
前記第１〜第Ｎの種類の各種類には、種類に応じた優先度が設定されており、
前記強調部は、
前記被写体像の種類に応じて設定された前記優先度に基づいて、強調処理の方法を決定することを特徴とする画像処理装置。
【請求項７】
請求項６において、
前記強調部は、
前記被検体像が属する部位に応じて、前記被検体像の種類に対する前記優先度を設定することを特徴とする画像処理装置。
【請求項８】
請求項６において、
前記強調部は、
前記優先度の最も高い種類に属する前記被検体像に対して、前記被検体像の種類に対応する強調方法を用いて、強調処理を行うことを特徴とする画像処理装置。
【請求項９】
請求項５において、
前記強調部は、
前記第１〜第Ｎの種類のうちの第ｉ（１≦ｉ≦Ｎ）の種類に属する前記被検体像に対して、前記第ｉの種類に対応する強調方法を用いて強調処理を行い、第ｊ（１≦ｊ≦Ｎ、ｊ≠ｉ）の種類に属する前記被検体像に対して、前記第ｊの種類に対応する強調方法を用いて強調処理を行うことを特徴とする画像処理装置。
【請求項１０】
請求項１において、
前記第２の画像の種類として、複数の種類が存在し、
前記強調部は、
前記被検体像の種類および前記第２の画像の種類に応じて、前記強調処理の方法を決定することを特徴とする画像処理装置。
【請求項１１】
請求項１０において、
前記第２の画像内の、前記被検体像を有する注目領域に対応する対応注目領域を、前記第１の画像から選出する領域選出部を含み、
前記強調部は、
前記被検体像の種類が血管であり、かつ、前記第２の画像の種類がＮＢＩ画像である場合、前記血管に対応する領域である前記対応注目領域を、前記強調処理を施す範囲として決定することを特徴とする画像処理装置。
【請求項１２】
請求項１０において、
前記強調部は、
前記被検体像の種類が病変であり、かつ、前記第２の画像の種類がＮＢＩ画像である場合、前記第１の画像全体を、前記強調処理を施す範囲として決定することを特徴とする画像処理装置。
【請求項１３】
請求項１において、
前記強調部は、
前記強調処理として、前記第１の画像全体に対し、その第１の画像の空間周波数のうち、特定の周波数成分を強調することを特徴とする画像処理装置。
【請求項１４】
請求項１において、
前記第２の画像内の、前記被検体像を有する注目領域に対応する対応注目領域を、前記第１の画像から選出する領域選出部を含み、
前記強調部は、
前記強調処理として、前記第２の画像から算出されたエッジ量に基づいて、前記第１の画像内の前記対応注目領域に含まれる信号の輝度成分または色成分を強調することを特徴とする画像処理装置。
【請求項１５】
請求項１において、
前記第２の画像内の、前記被検体像を有する注目領域に対応する対応注目領域を、前記第１の画像から選出する領域選出部を含み、
前記強調部は、
前記強調処理として、前記第２の画像から算出された色に関する特徴量に基づいて、前記第１の画像内の前記対応注目領域に含まれる信号の輝度成分または色成分を強調することを特徴とする画像処理装置。
【請求項１６】
請求項１において、
前記特徴量は、
エッジ、色相または彩度を示す量であることを特徴とする画像処理装置。
【請求項１７】
請求項１において、
前記被検体像の種類は、
病変に関する種類、および血管に関する種類のうち少なくとも１つの種類を含むことを特徴とする画像処理装置。
【請求項１８】
請求項１において、
前記特定の波長帯域は、
前記白色光の波長帯域よりも狭い帯域であることを特徴とする画像処理装置。
【請求項１９】
請求項１において、
前記第１の画像および前記第２の画像は生体内を写した生体内画像であり、
前記生体内画像に含まれる前記特定の波長帯域は、
血液中のヘモグロビンに吸収されやすい波長の波長帯域であることを特徴とする画像処理装置。
【請求項２０】
請求項１９において、
前記特定の波長帯域は、
３９０ナノメータ〜４４５ナノメータ、または５３０ナノメータ〜５５０ナノメータであることを特徴とする画像処理装置。
【請求項２１】
請求項１において、
前記第１の画像および前記第２の画像は生体内を写した生体内画像であり、
前記生体内画像に含まれる前記特定の波長帯域は、
蛍光物質が発する蛍光の波長帯域であることを特徴とする画像処理装置。
【請求項２２】
請求項２１において、
前記特定の波長帯域は、
４９０ナノメータ〜６２５ナノメータの波長帯域であることを特徴とする画像処理装置。
【請求項２３】
請求項１において、
前記第１の画像および前記第２の画像は生体内を写した生体内画像であり、
前記生体内画像に含まれる前記特定の波長帯域は、
赤外光の波長帯域であることを特徴とする画像処理装置。
【請求項２４】
請求項２３において、
前記特定の波長帯域は、
７９０ナノメータ〜８２０ナノメータ、または９０５ナノメータ〜９７０ナノメータの波長帯域であることを特徴とする画像処理装置。
【請求項２５】
請求項１において、
前記第２画像取得部は、
前記取得された第１の画像をもとに、前記第２の画像を生成することを特徴とする画像処理装置。
【請求項２６】
請求項２５において、
前記第２画像取得部は、
前記取得された第１の画像から、白色光の波長帯域における信号を抽出する信号抽出部を含み、
前記第２画像取得部は、
前記抽出された信号をもとに、前記特定の波長帯域における信号を含む前記第２の画像を生成することを特徴とする画像処理装置。
【請求項２７】
請求項２６において、
前記第２画像取得部は、
前記白色光の波長帯域における信号から、前記特定の波長帯域における信号を算出するためのマトリクスデータを設定するマトリクスデータ設定部を含み、
前記第２画像取得部は、
前記設定されたマトリクスデータを用いて、前記白色光の波長帯域における信号から前記特定の波長帯域における信号を算出して、前記第２の画像を生成することを特徴とする画像処理装置。
【請求項２８】
請求項１乃至２７のいずれかに記載の画像処理装置を含むことを特徴とする電子機器。
【請求項２９】
白色光の波長帯域における情報を有した被検体像を含む画像を第１の画像として取得する第１画像取得部と、
特定の波長帯域における情報を有した被検体像を含む画像を第２の画像として取得する第２画像取得部と、
前記取得された第２の画像の種類に基づいて、前記第１の画像に対して強調処理を施す強調部と、
を含むことを特徴とする画像処理装置。
【請求項３０】
請求項２９において、
前記第２の画像の種類は、
ＮＢＩ画像及びＡＦＩ画像の種類を含むことを特徴とする画像処理装置。
【請求項３１】
請求項３０において、
前記強調部は、
前記第２の画像の種類が、ＮＢＩ画像であるかＡＦＩ画像であるかに応じて、強調処理の方法を変更することを特徴とする画像処理装置。
【請求項３２】
白色光の波長帯域における情報を有した被検体像を含む画像を第１の画像として取得する第１画像取得部と、
特定の波長帯域における情報を有した被検体像を含む画像を第２の画像として取得する第２画像取得部と、
前記第２の画像内の画素の特徴量に基づいて、前記第２の画像内に写された被検体像の種類を判別する種類判別部と、
前記判別された被検体像の種類に基づいて、前記第１の画像に対して強調処理を施す強調部として、
コンピュータを機能させることを特徴とするプログラム。
【請求項３３】
白色光の波長帯域における情報を有した被検体像を含む画像を第１の画像として取得する第１画像取得部と、
特定の波長帯域における情報を有した被検体像を含む画像を第２の画像として取得する第２画像取得部と、
前記取得された第２の画像の種類に基づいて、前記第１の画像に対して強調処理を施す強調部として、
コンピュータを機能させることを特徴とするプログラム。
【請求項３４】
白色光の波長帯域における情報を有した被検体像を含む画像を第１の画像として取得し、
特定の波長帯域における情報を有した被検体像を含む画像を第２の画像として取得し、
前記第２の画像内の画素の特徴量に基づいて、前記第２の画像内に写された被検体像の種類を判別し、
前記判別された被検体像の種類に基づいて、前記第１の画像に対して強調処理を施すことを特徴とする画像処理方法。
【請求項３５】
白色光の波長帯域における情報を有した被検体像を含む画像を第１の画像として取得し、
特定の波長帯域における情報を有した被検体像を含む画像を第２の画像として取得し、
前記取得された第２の画像の種類に基づいて、前記第１の画像に対して強調処理を施すことを特徴とする画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図４２】
【図４３】
【図４４】
【図４５】
【図４６】
【図４７】
【図４８】
【図４９】
【図５０】
【図５１】
【図５２】
【図５３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図４２】
【図４３】
【図４４】
【図４５】
【図４６】
【図４７】
【図４８】
【図４９】
【図５０】
【図５１】
【図５２】
【図５３】
【公開番号】特開２０１１−１３５９８３（Ｐ２０１１−１３５９８３Ａ）
【公開日】平成２３年７月１４日（２０１１．７．１４）
【国際特許分類】
【出願番号】特願２００９−２９６９６４（Ｐ２００９−２９６９６４）
【出願日】平成２１年１２月２８日（２００９．１２．２８）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２３年７月１４日（２０１１．７．１４）
【国際特許分類】
【出願日】平成２１年１２月２８日（２００９．１２．２８）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]