画像処理装置および画像処理方法
【課題】観察距離が変化しても高輝度の蛍光領域を変化させることなく表示し、観察の定量性を向上する。
【解決手段】被写体Ａに照明光および励起光を照射する照明部４と、被写体Ａにおいて発生した蛍光を撮影して蛍光画像Ｇ１を取得する蛍光撮像部５と、被写体Ａから戻る戻り光を撮影し戻り光画像Ｇ２を取得する戻り光撮像部５と、取得された蛍光画像Ｇ１および戻り光画像Ｇ２に、色空間を構成する異なる色情報を付与して複数のカラー画像を生成するカラー画像生成部１８と、生成された複数のカラー画像を合成する画像合成部２０とを備え、カラー画像生成部１８が、蛍光画像Ｇ１および戻り光画像Ｇ２の少なくとも一方に、指数関数に近似させられる蛍光画像Ｇ１と戻り光画像Ｇ２との距離特性の指数を一致させる補正処理を施す画像処理装置６を提供する。
【解決手段】被写体Ａに照明光および励起光を照射する照明部４と、被写体Ａにおいて発生した蛍光を撮影して蛍光画像Ｇ１を取得する蛍光撮像部５と、被写体Ａから戻る戻り光を撮影し戻り光画像Ｇ２を取得する戻り光撮像部５と、取得された蛍光画像Ｇ１および戻り光画像Ｇ２に、色空間を構成する異なる色情報を付与して複数のカラー画像を生成するカラー画像生成部１８と、生成された複数のカラー画像を合成する画像合成部２０とを備え、カラー画像生成部１８が、蛍光画像Ｇ１および戻り光画像Ｇ２の少なくとも一方に、指数関数に近似させられる蛍光画像Ｇ１と戻り光画像Ｇ２との距離特性の指数を一致させる補正処理を施す画像処理装置６を提供する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法に関するものである。
【背景技術】
【０００２】
従来、同一の被写体について取得した蛍光画像および反射光画像に異なる表示色を割り当てて合成し、同一の画面に表示する画像処理装置が知られている（例えば、特許文献１参照。）。すなわち、蛍光画像と反射光画像の輝度の相違によって、蛍光が相対的に高輝度の領域には、反射光が相対的に高輝度の領域とは異なる色が表示されることになり、高輝度の蛍光領域が際立って表示されるようになっている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】米国特許第５５９０６６０号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、被写体から発せられる蛍光と、被写体の表面において反射して戻る反射光とでは、内部散乱か表面散乱かの違いによって、光検出器に取得される光量の距離依存性が相違する。このため、同じ被写体を観察している場合においても、対物レンズと被写体との間の距離（観察距離）が変化すると、光検出器に取得される蛍光の光量と反射光の光量の比率が変化し色が変化するという不都合がある。
【０００５】
本発明は上述した事情に鑑みてなされたものであって、観察距離が変化しても光検出器に取得される蛍光の光量と反射光の光量の比率の変化を抑えることにより色の変化を少なくし、観察の精度を向上することができる画像処理装置および画像処理方法を提供することを目的としている。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明は以下の手段を提供する。
本発明は、被写体に照明光および励起光を照射する照明部と、該照明部からの励起光の照射により被写体において発生した蛍光を撮影して蛍光画像を取得する蛍光撮像部と、前記照明部からの照明光の照射により被写体から戻る戻り光を撮影し戻り光画像を取得する戻り光撮像部と、前記蛍光撮像部により取得された蛍光画像および前記戻り光撮像部により取得された戻り光画像に、色空間を構成する異なる色情報を付与して複数のカラー画像を生成するカラー画像生成部と、該カラー画像生成部により生成された複数のカラー画像を合成する画像合成部とを備え、前記カラー画像生成部が、前記蛍光画像および前記戻り光画像の少なくとも一方に、指数関数に近似させられる前記蛍光画像と前記戻り光画像との距離特性の指数を一致させる補正処理を施す画像処理装置を提供する。
【０００７】
本発明によれば、照明部から発せられた照明光が被写体に照射されることにより、被写体からの戻り光が戻り光撮像部により撮影されて戻り光画像が取得され、照明部からの励起光が被写体に照射されることにより、被写体において発生した蛍光が蛍光撮像部において撮影されて蛍光画像が取得される。取得された戻り光画像および蛍光画像はカラー画像生成部において異なる色情報を付与されて複数のカラー画像が生成される。ここで、色空間を構成する異なる色情報を付与して複数のカラー画像を生成するとは、例えば、ＲＧＢ色空間を構成するＲＧＢそれぞれの次元の情報に対して、蛍光画像または戻り光画像を割り当てることを言う。生成された複数のカラー画像は画像合成部に入力されることにより合成される。
【０００８】
この場合において、カラー画像生成部は、蛍光画像および戻り光画像の少なくとも一方に、補正処理を施すことにより、蛍光画像と戻り光画像との距離特性の指数を一致させる。これにより、同一の被写体について、蛍光画像および戻り光画像を撮影する被写体までの距離が変化した場合であっても、蛍光画像および戻り光画像に同等の変化を生じさせ、画像合成部において合成されたカラー画像の色情報の比率の変化を全画面に渡って均一化し、観察の定量性を向上することができる。
【０００９】
上記発明においては、前記色情報が、Ｒ成分、Ｇ成分およびＢ成分であってもよい。
このようにすることで、それぞれ異なる色情報が付与された複数のカラー画像が合成され、色空間上において、蛍光の強度の強い部分と戻り光の強度が強い部分が異なる色を有する合成画像が生成される。例えば、病変部に特異的に吸着する蛍光薬剤を付与した後に励起光を照射する場合には、蛍光強度の強い領域として病変部を表示することができ、そのような病変部が異なる色を有する合成画像を生成することができ、観察容易性を向上することができる。
【００１０】
また、上記発明においては、前記カラー画像生成部が、前記蛍光画像の距離特性を累乗近似して得られる第１の指数を、前記戻り光画像の距離特性を累乗近似して得られる第２の指数で除算して得られた第３の指数で前記戻り光画像の階調値を累乗してもよい。
このようにすることで、蛍光画像の距離特性および戻り光画像の距離特性を第１の指数による指数関数に統一することができ、距離特性の差を低減して観察の定量性を向上することができる。
ここで、蛍光画像の距離特性および戻り光画像の距離特性とは、励起光により発光している被写体から撮像部までの距離による受光される蛍光の光量の特性、および照明光により照明された被写体から撮像部までの距離により受光される戻り光の光量の特性をそれぞれ意味している。
【００１１】
また、上記発明においては、前記カラー画像生成部が、前記蛍光画像の距離特性を累乗近似して得られる第１の指数で、前記戻り光画像の距離特性を累乗近似して得られる第２の指数を除算して得られた第４の指数で前記蛍光画像の階調値を累乗してもよい。
このようにすることで、蛍光画像の距離特性および戻り光画像の距離特性を第２の指数による指数関数に統一することができ、距離特性を相互に比例する関係にすることでその差を低減して観察の定量性を向上することができる。
【００１２】
また、上記発明においては、前記カラー画像生成部が、前記蛍光画像の距離特性を累乗近似して得られる第１の指数の逆数で前記蛍光画像の階調値を累乗するとともに、前記戻り光画像の距離特性を累乗近似して得られる第２の指数の逆数で前記戻り光画像の階調値を累乗してもよい。
このようにすることで、蛍光画像の距離特性および戻り光画像の距離特性を１次関数にして、相互に比例する関係にすることができ、距離特性の差を低減して観察の定量性を向上することができる。
【００１３】
また、上記発明においては、前記カラー画像生成部が、異なる距離において取得された前記戻り光画像の階調値を第５の指数で累乗した値で前記蛍光画像の階調値を除算した値が同一となる第５の指数で前記戻り光画像の階調値を累乗してもよい。
これによっても同様に、第５の指数を戻り光画像の階調値に累乗することで距離特性の差を低減して観察の定量性を向上することができる。
【００１４】
また、本発明は、励起光の照射により被写体において発生した蛍光を撮影して得られた蛍光画像と、照明光の照射により被写体から戻る戻り光を撮影して得られた戻り光画像とを入力するステップと、前記蛍光画像の距離特性を累乗近似して得られる第１の指数を、前記戻り光画像の距離特性を累乗近似して得られる第２の指数で除算して得られた第３の指数で、前記戻り光画像の階調値を累乗して補正処理を施すステップと、前記蛍光画像および前記戻り光画像に、色空間を構成する異なる色情報を付与して複数のカラー画像を生成するステップと、補正処理が施された複数のカラー画像を合成するステップとを含む画像処理方法を提供する。
【００１５】
また、本発明は、励起光の照射により被写体において発生した蛍光を撮影して得られた蛍光画像と、照明光の照射により被写体から戻る戻り光を撮影して得られた戻り光画像とを入力するステップと、前記蛍光画像の距離特性を累乗近似して得られる第１の指数で、前記戻り光画像の距離特性を累乗近似して得られる第２の指数で除算して得られた第４の指数で、前記蛍光画像の階調値を累乗して補正処理を施すステップと、前記蛍光画像および前記戻り光画像に、色空間を構成する異なる色情報を付与して複数のカラー画像を生成するステップと、補正処理が施された複数のカラー画像を合成するステップとを含む画像処理方法を提供する。
【００１６】
また、本発明は、励起光の照射により被写体において発生した蛍光を撮影して得られた蛍光画像と、照明光の照射により被写体から戻る戻り光を撮影して得られた戻り光画像とを入力するステップと、前記蛍光画像の距離特性を累乗近似して得られる第１の指数の逆数を前記蛍光画像の階調値に累乗するとともに、前記戻り光画像の距離特性を累乗近似して得られる第２の指数の逆数で前記戻り光画像の階調値を累乗して補正処理を施すステップと、前記蛍光画像および前記戻り光画像に、色空間を構成する異なる色情報を付与して複数のカラー画像を生成するステップと、補正処理が施された複数のカラー画像を合成するステップとを含む画像処理方法を提供する。
【発明の効果】
【００１７】
本発明によれば、観察距離が変化しても高輝度の蛍光領域を変化させることなく表示し、観察の定量性を向上することができるという効果を奏する。
【図面の簡単な説明】
【００１８】
【図１】本発明の一実施形態に係る画像処理装置を含む内視鏡装置を示す全体構成図である。
【図２】図１の内視鏡装置のフィルタを説明する図である。
【図３】標準試料を用いて作成した蛍光画像の階調値の距離特性のグラフを示す図である。
【図４】標準試料を用いて作成した戻り光画像の階調値の距離特性のグラフを示す図である。
【図５】図３および図４のグラフを作成する手順の一例を示すフローチャートである。
【図６】本発明の一実施形態に係る画像処理方法を説明するフローチャートである。
【図７】図１の内視鏡装置の変形例を示す全体構成図である。
【図８】図１の内視鏡装置の他の変形例を示す全体構成図である。
【図９】図１の内視鏡装置の他の変形例を示す全体構成図である。
【図１０】図１の内視鏡装置の他の変形例を示す全体構成図である。
【発明を実施するための形態】
【００１９】
本発明の一実施形態に係る画像処理装置および画像処理方法について、図面を参照して以下に説明する。
本実施形態に係る画像処理装置６は、内視鏡装置１に備えられている。
内視鏡装置１は、図１に示されるように、体内に挿入される細長い挿入部２と、光源部（照明部）３と、該光源部３からの照明光および励起光を挿入部２の先端から観察対象（被写体）Ａに向けて照射する照明ユニット（照明部）４と、挿入部２の先端に設けられ、観察対象Ａである生体組織の画像情報を取得する撮像ユニット（蛍光撮像部、戻り光撮像部）５と、挿入部２の基端側に配置され、撮像ユニット５により取得された画像情報を処理する本実施形態に係る画像処理装置６と、該画像処理装置６により処理された画像Ｇを表示するモニタ７とを備えている。
【００２０】
光源部３は、キセノンランプ８と、該キセノンランプ８から発せられた照射光から、励起光（例えば、波長帯域４８０〜５００ｎｍ）および照明光（例えば、波長帯域５４０〜５８０ｎｍ）を切り出すフィルタ９ａ，９ｂと、フィルタ９ａ，９ｂにより切り出された励起光および照明光を集光するカップリングレンズ１０とを備えている。
フィルタ９ａ，９ｂは、図２に示されるようなターレット９ｃに備えられていて、ターレット９ｃを回転させることにより交互に照射光の光路上に配置されて、励起光とを照明光とを時分割に発生させるようになっている。
【００２１】
照明ユニット４は、挿入部２の長手方向のほぼ全長にわたって配置され、カップリングレンズ１０によって集光された励起光および照明光を導光するライトガイドファイバ１１と、挿入部２の先端に設けられ、ライトガイドファイバ１１によって導光されてきた励起光および照明光を拡散させて、挿入部２の先端面２ａに対向する観察対象Ａに照射する照明光学系１２とを備えている。
【００２２】
撮像ユニット５は、観察対象Ａの所定の観察範囲からの励起光の照射により発生する蛍光および照明光の戻り光を集光する対物レンズ１３と、該対物レンズ１３によって集光された蛍光および戻り光を撮像するＣＣＤのような撮像素子１４とを備えている。図中、符号１５は、対物レンズ１３によって集光された光から励起光を遮断する（例えば、波長帯域５２０〜６００ｎｍの光だけを透過する）励起光カットフィルタである。
【００２３】
本実施形態に係る画像処理装置６は、撮像素子１４により取得された画像情報Ｓから蛍光画像Ｇ１および戻り光画像Ｇ２を生成する画像生成部１６と、該画像生成部１６から出力される画像Ｇ１，Ｇ２からいずれかを選択するセレクタ１７と、該セレクタ１７により選択された蛍光画像Ｇ１および戻り光画像Ｇ２を別々に入力させて異なる色情報を付与するＲ，Ｇ，Ｂフレームメモリ１８ａ，１８ｂ，１８ｃと、Ｇフレームメモリ１８ｂから出力された戻り光画像Ｇ２に補正処理を施す補正処理部１９と、色情報を付与された蛍光画像Ｇ１および戻り光画像Ｇ２を合成する画像合成部２０とを備えている。
【００２４】
Ｒ，Ｇ，Ｂフレームメモリ１８ａ，１８ｂ，１８ｃと補正処理部１９により、カラー画像生成部１８が構成されている。
符号２１は、画像生成部１６により生成された画像Ｇ１，Ｇ２に基づいて撮像素子１４の露光時間調整を自動的に行う自動露光時間調整部であり、符号２２は、ターレット９ｃを駆動するモータ９ｄおよびセレクタ１７を同期させるタイミングジェネレータである。
【００２５】
セレクタ１７は、タイミングジェネレータ２２が照明光用のフィルタ９ａを光軸上に配置するようにモータ９ｄに指令するタイミングで、画像生成部１６から出力されてきた戻り光画像Ｇ２をタイミングジェネレータ２２の指令に基づいてＧフレームメモリ１８ｂに出力し、他のタイミングで出力されてきた蛍光画像Ｇ１をＢ，Ｒフレームメモリ１８ａ，１８ｃに出力するようになっている。
【００２６】
補正処理部１９は、Ｇフレームメモリ１８ｂから出力された戻り光画像Ｇ２の各画素の階調値を指数ａによって累乗するようになっている。累乗値ａは、以下のようにして定められている。
【００２７】
すなわち、図３、図４に示されるように、撮像素子１４により取得された蛍光画像Ｇ１を露光時間で除算した規格化蛍光画像Ｇ１’の距離特性および戻り光画像Ｇ２を露光時間で除算した規格化戻り光画像Ｇ２’の距離特性を用意する。
規格化蛍光画像Ｇ１’および規格化戻り光画像Ｇ２’の距離特性は、図５に示されるように、蛍光色素を含有し生体組織に似た光学特性を有する標準試料に対して、対物レンズ１３の距離（観察距離）を異ならせつつ（ステップＳ１）、蛍光画像Ｇ１および戻り光画像Ｇ２を取得し（ステップＳ２）、規格化演算を行い（ステップＳ３）、関心領域の階調値の平均値を算出し（ステップＳ４）、グラフにプロットすること（ステップＳ５）を繰り返す（ステップＳ６）ことにより作成する。
【００２８】
そして、作成された２つの距離特性のグラフに対して、それぞれ累乗近似を行う（ステップＳ７）ことにより、規格化蛍光画像Ｇ１’の距離特性は、図３に示されるように、観察距離の第１の指数ａ１の指数関数として表され、規格化戻り光画像Ｇ２’の距離特性は、図４に示されるように、観察距離の第２の指数ａ２の指数関数として表される。これらの指数ａ１，ａ２を用いて、補正処理部１９において用いる指数ａは、ａ＝ａ１／ａ２により求めている（ステップＳ８）。
【００２９】
以下に、さらに詳細に説明する。
規格化蛍光画像Ｇ１’の距離特性は、上記方法によって、Ａ１＝Ｂ１×Ｃａ１、規格化戻り光画像Ｇ２’の距離特性をＡ２＝Ｂ２×Ｃａ２と定められる。
ここで、Ａ１：規格化蛍光画像Ｇ１’の階調値、Ａ２：規格化戻り光画像Ｇ２’の階調値、Ｂ１，Ｂ２：定数、Ｃ：観察距離である。
【００３０】
ここで、
Ａ３＝Ａ２ａ （１）
を算出することを考える。数式（１）中、Ａ３は、補正された規格化戻り光画像Ｇ２”の階調値である。
【００３１】
数式（１）は以下のように変形することができる。
Ａ３＝Ａ２ａ＝Ａ２（ａ１／ａ２）＝Ｂ２（ａ１／ａ２）×Ｃａ１＝Ｂ２’×Ｃａ１
すなわち、数式（１）を算出することにより、補正された規格化戻り光画像Ｇ２”の階調値の距離特性の指数を規格化蛍光画像Ｇ１’の階調値の距離特性の指数に一致させることができる。
【００３２】
したがって、補正処理部１９においては、指数ａを記憶しておき、入力されてくる戻り光画像Ｇ２の階調値を指数ａで累乗することにより、戻り光画像Ｇ２の階調値の距離特性の指数を蛍光画像Ｇ１の階調値の距離特性の指数に概略一致させることができるようになっている。
【００３３】
蛍光薬剤としては、蛍光色素であるＦＩＴＣ（Fluoresceinisothiocyanate）に、腫瘍細胞表面に特異的に発現する受容体に結合する抗体をつけたもの、例えば、ＣＤ４４抗体を挙げることができる。
【００３４】
このように構成された本実施形態に係る画像処理装置６を用いた画像処理方法について図６を参照して説明する。
撮像素子１４により取得された画像情報Ｓが入力される（入力ステップＳ１１）と、画像生成部１６において蛍光画像Ｇ１および戻り光画像Ｇ２として生成され（生成ステップＳ１２）、生成された蛍光画像Ｇ１と戻り光画像Ｇ２が異なるフレームメモリ１８ａ〜１８ｃに入力されることにより色情報が付与される（色付与ステップＳ１３）。Ｇフレームメモリ１８ｂに入力された戻り光画像Ｇ２は、補正処理部１９において指数ａで累乗されることにより補正処理が行われる（補正ステップＳ１４）。そして、Ｒ，Ｂフレームメモリ１８ａ，１８ｃから出力された蛍光画像Ｇ１とＧフレームメモリ１８ｂから出力され補正処理部１９において補正処理された戻り光画像Ｇ２”とが画像合成部２０において合成され（合成ステップＳ１５）、モニタ７に向けて出力される。
【００３５】
補正処理部１９においては、戻り光画像Ｇ２の階調値を指数ａで累乗する補正が行われる。
蛍光画像Ｇ１の距離特性は指数ａ１の指数関数で近似され、戻り光画像Ｇ２の距離特性は指数ａ２の指数関数で近似されるが、補正された戻り光画像Ｇ２”と蛍光画像Ｇ１はいずれも、指数ａ１による指数関数となり、両者は比例関係となる。したがって、対物レンズ１３と観察対象Ａとの距離が変化しても、蛍光画像Ｇ１と補正された戻り光画像Ｇ２”とは一定の比率を有して変化する。すなわち、合成されたカラー画像は、観察距離の変化に拘わらず一定の比率の色を有し、例えば、蛍光画像Ｇ１の蛍光強度の高い領域（例えば、病変部）を常に同様に表示し続けることができる。
【００３６】
このように、本実施形態に係る画像処理装置６および画像処理方法によれば、観察距離による蛍光強度の変化の割合と、戻り光強度の変化の割合とが一致するので、観察距離が変化しても、色分けされて表示される合成画像の配色割合が変化しない。したがって、定量性の高い観察を行うことができるという利点がある。
【００３７】
なお、本実施形態においては、補正処理部１９に指数ａ＝ａ１／ａ２を記憶しておき、入力されてくる戻り光画像Ｇ２を補正処理部１９に入力し、指数ａで累乗することとしたが、これに代えて、図７に示されるように、補正処理部１９に指数ａの逆数ａ２／ａ１を記憶しておき、蛍光画像Ｇ１を補正処理部１９に入力し、指数ａ２／ａ１で累乗することにしてもよい。
【００３８】
また、図８に示されるように、２種類の補正処理部１９ａ，１９ｂを設け、一方の補正処理部１９ａには、指数１／ａ１を記憶し、他方の補正処理部１９ｂには指数１／ａ２を記憶しておくことにしてもよい。このようにすることで、補正処理部１９ａは入力されてくる蛍光画像Ｇ１を指数１／ａ１で累乗し、他方の補正処理部１９ｂは入力されてくる戻り光画像Ｇ２を指数１／ａ２で累乗し、それぞれの距離特性を１次関数に近似させることができる。これにより、蛍光画像Ｇ１の階調値の距離特性と戻り光画像Ｇ２の階調値の距離特性とを比例関係にすることができ、観察距離が変化しても観察結果が変化せず、精度の高い観察を行うことができるという利点がある。
【００３９】
また、内視鏡装置１の挿入部２は観察方法や観察条件を変更するときに適宜着脱されるが、挿入部２の個体差による距離特性の相違を補償するために、図９に示されるように、挿入部２側に識別情報保持部２３を設け、画像処理装置６側に識別情報読取部２４を設け、補正処理部１９が、識別情報と指数とを対応づけて記憶しておくことにしてもよい。挿入部２が画像処理装置６に接続されたときに、識別情報保持部２３に記憶されている識別情報を識別情報読取部２４が読み取って補正処理部１９に送り、補正処理部１９が識別情報に適した指数ａで戻り光画像Ｇ２を累乗することにより、挿入部２の個体差による距離特性の相違を補償して、挿入部２が交換されても精度の高い観察を行うことができるという利点がある。
【００４０】
また、本実施形態においては、単一の撮像素子１４を用いて時分割に蛍光画像Ｇ１と戻り光画像Ｇ２とを取得することとしたが、これに代えて、図１０に示されるように、照明光と励起光とを観察対象Ａに同時に照射し、観察対象Ａから戻る戻り光と蛍光とをダイクロイックミラー２５で分割して、２つの異なる撮像素子１４ａ，１４ｂにより撮影することとしてもよい。符号１６ａは撮像素子１４ａによって取得された画像信号Ｓ１から蛍光画像Ｇ１を生成する蛍光画像生成部、符号１６ｂは撮像素子１４ｂによって取得された画像信号Ｓ２から戻り光画像Ｇ２を生成する戻り光画像生成部、符号９は励起光（例えば、７３０〜７５０ｎｍ）および照明光（６３０〜６５０ｎｍ）を切り出すフィルタである。
【００４１】
また、本実施形態においては、標準試料に対して観察距離を異ならせつつ複数の蛍光画像Ｇ１および戻り光画像Ｇ２を取得し、これらをプロットすることで得られた距離特性から指数ａを算出することとした。これに代えて、２つの異なる観察距離ｄ１，ｄ２において、それぞれ蛍光画像Ｇ１および戻り光画像Ｇ２を取得し、その階調値（例えば、所定の関心領域の階調値の平均値）Ｇ１（ｄ１），Ｇ１（ｄ２），Ｇ２（ｄ１），Ｇ２（ｄ２）を用いて、以下の式（２）が成立するように指数ａを求めることとしてもよい。
【００４２】
ａ＝ｌｏｇ（Ｇ１（ｄ１）／Ｇ１（ｄ２））／ｌｏｇ（Ｇ２（ｄ１）／Ｇ２（ｄ２）） （２）
これにより、近似計算を行うことなく指数ａを直接算出することができる。
また、２つの標準試料を用いて、これらの標準試料が同一視野内に配置されるようにして撮像素子１４により撮影することにより、１回の撮影によって上記指数ａを得ることができる。
【００４３】
また、撮像素子１４の露光時間調整を自動的に行う自動露光調整部２１に代えて、撮像部のゲインを調節する自動ゲイン調節（ＡＧＣ）２５や、光源部３からの照射光の強度を自動調節する自動調光を行うことにしてもよい。
また、補正処理部１９に指数ａ，ａ１，ａ２を記憶して、その都度累乗計算を行うことに代えて、蛍光画像Ｇ１および／または戻り光画像Ｇ２の階調値と、該階調値を指数ａ，ａ１，ａ２で累乗した累乗値とを対応づけたルックアップテーブル（図示略）を記憶しておき、入力されてきた蛍光画像Ｇ１および／または戻り光画像Ｇ２の階調値に応じて、累乗値を出力することにしてもよい。
【００４４】
また、Ｒ、Ｇ、Ｂ原色信号を画像信号に割り付けるだけではなく、画像合成部２０にカラーマトリクス回路を用いて、蛍光輝度の高い領域と低い領域との色づけを変更することにしてもよい。
また、色情報を付与するＲ，Ｇ，Ｂフレームメモリ１８ａ〜１８ｃと補正処理を施す補正処理部１９との順序は入れ替えてもよい。
【符号の説明】
【００４５】
Ａ 観察対象（被写体）
Ｇ１ 蛍光画像
Ｇ２ 戻り光画像
４ 照明ユニット（照明部）
５ 撮像ユニット（蛍光撮像部、戻り光撮像部）
６ 画像処理装置
１８ カラー画像生成部
２０ 画像合成部
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法に関するものである。
【背景技術】
【０００２】
従来、同一の被写体について取得した蛍光画像および反射光画像に異なる表示色を割り当てて合成し、同一の画面に表示する画像処理装置が知られている（例えば、特許文献１参照。）。すなわち、蛍光画像と反射光画像の輝度の相違によって、蛍光が相対的に高輝度の領域には、反射光が相対的に高輝度の領域とは異なる色が表示されることになり、高輝度の蛍光領域が際立って表示されるようになっている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】米国特許第５５９０６６０号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、被写体から発せられる蛍光と、被写体の表面において反射して戻る反射光とでは、内部散乱か表面散乱かの違いによって、光検出器に取得される光量の距離依存性が相違する。このため、同じ被写体を観察している場合においても、対物レンズと被写体との間の距離（観察距離）が変化すると、光検出器に取得される蛍光の光量と反射光の光量の比率が変化し色が変化するという不都合がある。
【０００５】
本発明は上述した事情に鑑みてなされたものであって、観察距離が変化しても光検出器に取得される蛍光の光量と反射光の光量の比率の変化を抑えることにより色の変化を少なくし、観察の精度を向上することができる画像処理装置および画像処理方法を提供することを目的としている。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明は以下の手段を提供する。
本発明は、被写体に照明光および励起光を照射する照明部と、該照明部からの励起光の照射により被写体において発生した蛍光を撮影して蛍光画像を取得する蛍光撮像部と、前記照明部からの照明光の照射により被写体から戻る戻り光を撮影し戻り光画像を取得する戻り光撮像部と、前記蛍光撮像部により取得された蛍光画像および前記戻り光撮像部により取得された戻り光画像に、色空間を構成する異なる色情報を付与して複数のカラー画像を生成するカラー画像生成部と、該カラー画像生成部により生成された複数のカラー画像を合成する画像合成部とを備え、前記カラー画像生成部が、前記蛍光画像および前記戻り光画像の少なくとも一方に、指数関数に近似させられる前記蛍光画像と前記戻り光画像との距離特性の指数を一致させる補正処理を施す画像処理装置を提供する。
【０００７】
本発明によれば、照明部から発せられた照明光が被写体に照射されることにより、被写体からの戻り光が戻り光撮像部により撮影されて戻り光画像が取得され、照明部からの励起光が被写体に照射されることにより、被写体において発生した蛍光が蛍光撮像部において撮影されて蛍光画像が取得される。取得された戻り光画像および蛍光画像はカラー画像生成部において異なる色情報を付与されて複数のカラー画像が生成される。ここで、色空間を構成する異なる色情報を付与して複数のカラー画像を生成するとは、例えば、ＲＧＢ色空間を構成するＲＧＢそれぞれの次元の情報に対して、蛍光画像または戻り光画像を割り当てることを言う。生成された複数のカラー画像は画像合成部に入力されることにより合成される。
【０００８】
この場合において、カラー画像生成部は、蛍光画像および戻り光画像の少なくとも一方に、補正処理を施すことにより、蛍光画像と戻り光画像との距離特性の指数を一致させる。これにより、同一の被写体について、蛍光画像および戻り光画像を撮影する被写体までの距離が変化した場合であっても、蛍光画像および戻り光画像に同等の変化を生じさせ、画像合成部において合成されたカラー画像の色情報の比率の変化を全画面に渡って均一化し、観察の定量性を向上することができる。
【０００９】
上記発明においては、前記色情報が、Ｒ成分、Ｇ成分およびＢ成分であってもよい。
このようにすることで、それぞれ異なる色情報が付与された複数のカラー画像が合成され、色空間上において、蛍光の強度の強い部分と戻り光の強度が強い部分が異なる色を有する合成画像が生成される。例えば、病変部に特異的に吸着する蛍光薬剤を付与した後に励起光を照射する場合には、蛍光強度の強い領域として病変部を表示することができ、そのような病変部が異なる色を有する合成画像を生成することができ、観察容易性を向上することができる。
【００１０】
また、上記発明においては、前記カラー画像生成部が、前記蛍光画像の距離特性を累乗近似して得られる第１の指数を、前記戻り光画像の距離特性を累乗近似して得られる第２の指数で除算して得られた第３の指数で前記戻り光画像の階調値を累乗してもよい。
このようにすることで、蛍光画像の距離特性および戻り光画像の距離特性を第１の指数による指数関数に統一することができ、距離特性の差を低減して観察の定量性を向上することができる。
ここで、蛍光画像の距離特性および戻り光画像の距離特性とは、励起光により発光している被写体から撮像部までの距離による受光される蛍光の光量の特性、および照明光により照明された被写体から撮像部までの距離により受光される戻り光の光量の特性をそれぞれ意味している。
【００１１】
また、上記発明においては、前記カラー画像生成部が、前記蛍光画像の距離特性を累乗近似して得られる第１の指数で、前記戻り光画像の距離特性を累乗近似して得られる第２の指数を除算して得られた第４の指数で前記蛍光画像の階調値を累乗してもよい。
このようにすることで、蛍光画像の距離特性および戻り光画像の距離特性を第２の指数による指数関数に統一することができ、距離特性を相互に比例する関係にすることでその差を低減して観察の定量性を向上することができる。
【００１２】
また、上記発明においては、前記カラー画像生成部が、前記蛍光画像の距離特性を累乗近似して得られる第１の指数の逆数で前記蛍光画像の階調値を累乗するとともに、前記戻り光画像の距離特性を累乗近似して得られる第２の指数の逆数で前記戻り光画像の階調値を累乗してもよい。
このようにすることで、蛍光画像の距離特性および戻り光画像の距離特性を１次関数にして、相互に比例する関係にすることができ、距離特性の差を低減して観察の定量性を向上することができる。
【００１３】
また、上記発明においては、前記カラー画像生成部が、異なる距離において取得された前記戻り光画像の階調値を第５の指数で累乗した値で前記蛍光画像の階調値を除算した値が同一となる第５の指数で前記戻り光画像の階調値を累乗してもよい。
これによっても同様に、第５の指数を戻り光画像の階調値に累乗することで距離特性の差を低減して観察の定量性を向上することができる。
【００１４】
また、本発明は、励起光の照射により被写体において発生した蛍光を撮影して得られた蛍光画像と、照明光の照射により被写体から戻る戻り光を撮影して得られた戻り光画像とを入力するステップと、前記蛍光画像の距離特性を累乗近似して得られる第１の指数を、前記戻り光画像の距離特性を累乗近似して得られる第２の指数で除算して得られた第３の指数で、前記戻り光画像の階調値を累乗して補正処理を施すステップと、前記蛍光画像および前記戻り光画像に、色空間を構成する異なる色情報を付与して複数のカラー画像を生成するステップと、補正処理が施された複数のカラー画像を合成するステップとを含む画像処理方法を提供する。
【００１５】
また、本発明は、励起光の照射により被写体において発生した蛍光を撮影して得られた蛍光画像と、照明光の照射により被写体から戻る戻り光を撮影して得られた戻り光画像とを入力するステップと、前記蛍光画像の距離特性を累乗近似して得られる第１の指数で、前記戻り光画像の距離特性を累乗近似して得られる第２の指数で除算して得られた第４の指数で、前記蛍光画像の階調値を累乗して補正処理を施すステップと、前記蛍光画像および前記戻り光画像に、色空間を構成する異なる色情報を付与して複数のカラー画像を生成するステップと、補正処理が施された複数のカラー画像を合成するステップとを含む画像処理方法を提供する。
【００１６】
また、本発明は、励起光の照射により被写体において発生した蛍光を撮影して得られた蛍光画像と、照明光の照射により被写体から戻る戻り光を撮影して得られた戻り光画像とを入力するステップと、前記蛍光画像の距離特性を累乗近似して得られる第１の指数の逆数を前記蛍光画像の階調値に累乗するとともに、前記戻り光画像の距離特性を累乗近似して得られる第２の指数の逆数で前記戻り光画像の階調値を累乗して補正処理を施すステップと、前記蛍光画像および前記戻り光画像に、色空間を構成する異なる色情報を付与して複数のカラー画像を生成するステップと、補正処理が施された複数のカラー画像を合成するステップとを含む画像処理方法を提供する。
【発明の効果】
【００１７】
本発明によれば、観察距離が変化しても高輝度の蛍光領域を変化させることなく表示し、観察の定量性を向上することができるという効果を奏する。
【図面の簡単な説明】
【００１８】
【図１】本発明の一実施形態に係る画像処理装置を含む内視鏡装置を示す全体構成図である。
【図２】図１の内視鏡装置のフィルタを説明する図である。
【図３】標準試料を用いて作成した蛍光画像の階調値の距離特性のグラフを示す図である。
【図４】標準試料を用いて作成した戻り光画像の階調値の距離特性のグラフを示す図である。
【図５】図３および図４のグラフを作成する手順の一例を示すフローチャートである。
【図６】本発明の一実施形態に係る画像処理方法を説明するフローチャートである。
【図７】図１の内視鏡装置の変形例を示す全体構成図である。
【図８】図１の内視鏡装置の他の変形例を示す全体構成図である。
【図９】図１の内視鏡装置の他の変形例を示す全体構成図である。
【図１０】図１の内視鏡装置の他の変形例を示す全体構成図である。
【発明を実施するための形態】
【００１９】
本発明の一実施形態に係る画像処理装置および画像処理方法について、図面を参照して以下に説明する。
本実施形態に係る画像処理装置６は、内視鏡装置１に備えられている。
内視鏡装置１は、図１に示されるように、体内に挿入される細長い挿入部２と、光源部（照明部）３と、該光源部３からの照明光および励起光を挿入部２の先端から観察対象（被写体）Ａに向けて照射する照明ユニット（照明部）４と、挿入部２の先端に設けられ、観察対象Ａである生体組織の画像情報を取得する撮像ユニット（蛍光撮像部、戻り光撮像部）５と、挿入部２の基端側に配置され、撮像ユニット５により取得された画像情報を処理する本実施形態に係る画像処理装置６と、該画像処理装置６により処理された画像Ｇを表示するモニタ７とを備えている。
【００２０】
光源部３は、キセノンランプ８と、該キセノンランプ８から発せられた照射光から、励起光（例えば、波長帯域４８０〜５００ｎｍ）および照明光（例えば、波長帯域５４０〜５８０ｎｍ）を切り出すフィルタ９ａ，９ｂと、フィルタ９ａ，９ｂにより切り出された励起光および照明光を集光するカップリングレンズ１０とを備えている。
フィルタ９ａ，９ｂは、図２に示されるようなターレット９ｃに備えられていて、ターレット９ｃを回転させることにより交互に照射光の光路上に配置されて、励起光とを照明光とを時分割に発生させるようになっている。
【００２１】
照明ユニット４は、挿入部２の長手方向のほぼ全長にわたって配置され、カップリングレンズ１０によって集光された励起光および照明光を導光するライトガイドファイバ１１と、挿入部２の先端に設けられ、ライトガイドファイバ１１によって導光されてきた励起光および照明光を拡散させて、挿入部２の先端面２ａに対向する観察対象Ａに照射する照明光学系１２とを備えている。
【００２２】
撮像ユニット５は、観察対象Ａの所定の観察範囲からの励起光の照射により発生する蛍光および照明光の戻り光を集光する対物レンズ１３と、該対物レンズ１３によって集光された蛍光および戻り光を撮像するＣＣＤのような撮像素子１４とを備えている。図中、符号１５は、対物レンズ１３によって集光された光から励起光を遮断する（例えば、波長帯域５２０〜６００ｎｍの光だけを透過する）励起光カットフィルタである。
【００２３】
本実施形態に係る画像処理装置６は、撮像素子１４により取得された画像情報Ｓから蛍光画像Ｇ１および戻り光画像Ｇ２を生成する画像生成部１６と、該画像生成部１６から出力される画像Ｇ１，Ｇ２からいずれかを選択するセレクタ１７と、該セレクタ１７により選択された蛍光画像Ｇ１および戻り光画像Ｇ２を別々に入力させて異なる色情報を付与するＲ，Ｇ，Ｂフレームメモリ１８ａ，１８ｂ，１８ｃと、Ｇフレームメモリ１８ｂから出力された戻り光画像Ｇ２に補正処理を施す補正処理部１９と、色情報を付与された蛍光画像Ｇ１および戻り光画像Ｇ２を合成する画像合成部２０とを備えている。
【００２４】
Ｒ，Ｇ，Ｂフレームメモリ１８ａ，１８ｂ，１８ｃと補正処理部１９により、カラー画像生成部１８が構成されている。
符号２１は、画像生成部１６により生成された画像Ｇ１，Ｇ２に基づいて撮像素子１４の露光時間調整を自動的に行う自動露光時間調整部であり、符号２２は、ターレット９ｃを駆動するモータ９ｄおよびセレクタ１７を同期させるタイミングジェネレータである。
【００２５】
セレクタ１７は、タイミングジェネレータ２２が照明光用のフィルタ９ａを光軸上に配置するようにモータ９ｄに指令するタイミングで、画像生成部１６から出力されてきた戻り光画像Ｇ２をタイミングジェネレータ２２の指令に基づいてＧフレームメモリ１８ｂに出力し、他のタイミングで出力されてきた蛍光画像Ｇ１をＢ，Ｒフレームメモリ１８ａ，１８ｃに出力するようになっている。
【００２６】
補正処理部１９は、Ｇフレームメモリ１８ｂから出力された戻り光画像Ｇ２の各画素の階調値を指数ａによって累乗するようになっている。累乗値ａは、以下のようにして定められている。
【００２７】
すなわち、図３、図４に示されるように、撮像素子１４により取得された蛍光画像Ｇ１を露光時間で除算した規格化蛍光画像Ｇ１’の距離特性および戻り光画像Ｇ２を露光時間で除算した規格化戻り光画像Ｇ２’の距離特性を用意する。
規格化蛍光画像Ｇ１’および規格化戻り光画像Ｇ２’の距離特性は、図５に示されるように、蛍光色素を含有し生体組織に似た光学特性を有する標準試料に対して、対物レンズ１３の距離（観察距離）を異ならせつつ（ステップＳ１）、蛍光画像Ｇ１および戻り光画像Ｇ２を取得し（ステップＳ２）、規格化演算を行い（ステップＳ３）、関心領域の階調値の平均値を算出し（ステップＳ４）、グラフにプロットすること（ステップＳ５）を繰り返す（ステップＳ６）ことにより作成する。
【００２８】
そして、作成された２つの距離特性のグラフに対して、それぞれ累乗近似を行う（ステップＳ７）ことにより、規格化蛍光画像Ｇ１’の距離特性は、図３に示されるように、観察距離の第１の指数ａ１の指数関数として表され、規格化戻り光画像Ｇ２’の距離特性は、図４に示されるように、観察距離の第２の指数ａ２の指数関数として表される。これらの指数ａ１，ａ２を用いて、補正処理部１９において用いる指数ａは、ａ＝ａ１／ａ２により求めている（ステップＳ８）。
【００２９】
以下に、さらに詳細に説明する。
規格化蛍光画像Ｇ１’の距離特性は、上記方法によって、Ａ１＝Ｂ１×Ｃａ１、規格化戻り光画像Ｇ２’の距離特性をＡ２＝Ｂ２×Ｃａ２と定められる。
ここで、Ａ１：規格化蛍光画像Ｇ１’の階調値、Ａ２：規格化戻り光画像Ｇ２’の階調値、Ｂ１，Ｂ２：定数、Ｃ：観察距離である。
【００３０】
ここで、
Ａ３＝Ａ２ａ （１）
を算出することを考える。数式（１）中、Ａ３は、補正された規格化戻り光画像Ｇ２”の階調値である。
【００３１】
数式（１）は以下のように変形することができる。
Ａ３＝Ａ２ａ＝Ａ２（ａ１／ａ２）＝Ｂ２（ａ１／ａ２）×Ｃａ１＝Ｂ２’×Ｃａ１
すなわち、数式（１）を算出することにより、補正された規格化戻り光画像Ｇ２”の階調値の距離特性の指数を規格化蛍光画像Ｇ１’の階調値の距離特性の指数に一致させることができる。
【００３２】
したがって、補正処理部１９においては、指数ａを記憶しておき、入力されてくる戻り光画像Ｇ２の階調値を指数ａで累乗することにより、戻り光画像Ｇ２の階調値の距離特性の指数を蛍光画像Ｇ１の階調値の距離特性の指数に概略一致させることができるようになっている。
【００３３】
蛍光薬剤としては、蛍光色素であるＦＩＴＣ（Fluoresceinisothiocyanate）に、腫瘍細胞表面に特異的に発現する受容体に結合する抗体をつけたもの、例えば、ＣＤ４４抗体を挙げることができる。
【００３４】
このように構成された本実施形態に係る画像処理装置６を用いた画像処理方法について図６を参照して説明する。
撮像素子１４により取得された画像情報Ｓが入力される（入力ステップＳ１１）と、画像生成部１６において蛍光画像Ｇ１および戻り光画像Ｇ２として生成され（生成ステップＳ１２）、生成された蛍光画像Ｇ１と戻り光画像Ｇ２が異なるフレームメモリ１８ａ〜１８ｃに入力されることにより色情報が付与される（色付与ステップＳ１３）。Ｇフレームメモリ１８ｂに入力された戻り光画像Ｇ２は、補正処理部１９において指数ａで累乗されることにより補正処理が行われる（補正ステップＳ１４）。そして、Ｒ，Ｂフレームメモリ１８ａ，１８ｃから出力された蛍光画像Ｇ１とＧフレームメモリ１８ｂから出力され補正処理部１９において補正処理された戻り光画像Ｇ２”とが画像合成部２０において合成され（合成ステップＳ１５）、モニタ７に向けて出力される。
【００３５】
補正処理部１９においては、戻り光画像Ｇ２の階調値を指数ａで累乗する補正が行われる。
蛍光画像Ｇ１の距離特性は指数ａ１の指数関数で近似され、戻り光画像Ｇ２の距離特性は指数ａ２の指数関数で近似されるが、補正された戻り光画像Ｇ２”と蛍光画像Ｇ１はいずれも、指数ａ１による指数関数となり、両者は比例関係となる。したがって、対物レンズ１３と観察対象Ａとの距離が変化しても、蛍光画像Ｇ１と補正された戻り光画像Ｇ２”とは一定の比率を有して変化する。すなわち、合成されたカラー画像は、観察距離の変化に拘わらず一定の比率の色を有し、例えば、蛍光画像Ｇ１の蛍光強度の高い領域（例えば、病変部）を常に同様に表示し続けることができる。
【００３６】
このように、本実施形態に係る画像処理装置６および画像処理方法によれば、観察距離による蛍光強度の変化の割合と、戻り光強度の変化の割合とが一致するので、観察距離が変化しても、色分けされて表示される合成画像の配色割合が変化しない。したがって、定量性の高い観察を行うことができるという利点がある。
【００３７】
なお、本実施形態においては、補正処理部１９に指数ａ＝ａ１／ａ２を記憶しておき、入力されてくる戻り光画像Ｇ２を補正処理部１９に入力し、指数ａで累乗することとしたが、これに代えて、図７に示されるように、補正処理部１９に指数ａの逆数ａ２／ａ１を記憶しておき、蛍光画像Ｇ１を補正処理部１９に入力し、指数ａ２／ａ１で累乗することにしてもよい。
【００３８】
また、図８に示されるように、２種類の補正処理部１９ａ，１９ｂを設け、一方の補正処理部１９ａには、指数１／ａ１を記憶し、他方の補正処理部１９ｂには指数１／ａ２を記憶しておくことにしてもよい。このようにすることで、補正処理部１９ａは入力されてくる蛍光画像Ｇ１を指数１／ａ１で累乗し、他方の補正処理部１９ｂは入力されてくる戻り光画像Ｇ２を指数１／ａ２で累乗し、それぞれの距離特性を１次関数に近似させることができる。これにより、蛍光画像Ｇ１の階調値の距離特性と戻り光画像Ｇ２の階調値の距離特性とを比例関係にすることができ、観察距離が変化しても観察結果が変化せず、精度の高い観察を行うことができるという利点がある。
【００３９】
また、内視鏡装置１の挿入部２は観察方法や観察条件を変更するときに適宜着脱されるが、挿入部２の個体差による距離特性の相違を補償するために、図９に示されるように、挿入部２側に識別情報保持部２３を設け、画像処理装置６側に識別情報読取部２４を設け、補正処理部１９が、識別情報と指数とを対応づけて記憶しておくことにしてもよい。挿入部２が画像処理装置６に接続されたときに、識別情報保持部２３に記憶されている識別情報を識別情報読取部２４が読み取って補正処理部１９に送り、補正処理部１９が識別情報に適した指数ａで戻り光画像Ｇ２を累乗することにより、挿入部２の個体差による距離特性の相違を補償して、挿入部２が交換されても精度の高い観察を行うことができるという利点がある。
【００４０】
また、本実施形態においては、単一の撮像素子１４を用いて時分割に蛍光画像Ｇ１と戻り光画像Ｇ２とを取得することとしたが、これに代えて、図１０に示されるように、照明光と励起光とを観察対象Ａに同時に照射し、観察対象Ａから戻る戻り光と蛍光とをダイクロイックミラー２５で分割して、２つの異なる撮像素子１４ａ，１４ｂにより撮影することとしてもよい。符号１６ａは撮像素子１４ａによって取得された画像信号Ｓ１から蛍光画像Ｇ１を生成する蛍光画像生成部、符号１６ｂは撮像素子１４ｂによって取得された画像信号Ｓ２から戻り光画像Ｇ２を生成する戻り光画像生成部、符号９は励起光（例えば、７３０〜７５０ｎｍ）および照明光（６３０〜６５０ｎｍ）を切り出すフィルタである。
【００４１】
また、本実施形態においては、標準試料に対して観察距離を異ならせつつ複数の蛍光画像Ｇ１および戻り光画像Ｇ２を取得し、これらをプロットすることで得られた距離特性から指数ａを算出することとした。これに代えて、２つの異なる観察距離ｄ１，ｄ２において、それぞれ蛍光画像Ｇ１および戻り光画像Ｇ２を取得し、その階調値（例えば、所定の関心領域の階調値の平均値）Ｇ１（ｄ１），Ｇ１（ｄ２），Ｇ２（ｄ１），Ｇ２（ｄ２）を用いて、以下の式（２）が成立するように指数ａを求めることとしてもよい。
【００４２】
ａ＝ｌｏｇ（Ｇ１（ｄ１）／Ｇ１（ｄ２））／ｌｏｇ（Ｇ２（ｄ１）／Ｇ２（ｄ２）） （２）
これにより、近似計算を行うことなく指数ａを直接算出することができる。
また、２つの標準試料を用いて、これらの標準試料が同一視野内に配置されるようにして撮像素子１４により撮影することにより、１回の撮影によって上記指数ａを得ることができる。
【００４３】
また、撮像素子１４の露光時間調整を自動的に行う自動露光調整部２１に代えて、撮像部のゲインを調節する自動ゲイン調節（ＡＧＣ）２５や、光源部３からの照射光の強度を自動調節する自動調光を行うことにしてもよい。
また、補正処理部１９に指数ａ，ａ１，ａ２を記憶して、その都度累乗計算を行うことに代えて、蛍光画像Ｇ１および／または戻り光画像Ｇ２の階調値と、該階調値を指数ａ，ａ１，ａ２で累乗した累乗値とを対応づけたルックアップテーブル（図示略）を記憶しておき、入力されてきた蛍光画像Ｇ１および／または戻り光画像Ｇ２の階調値に応じて、累乗値を出力することにしてもよい。
【００４４】
また、Ｒ、Ｇ、Ｂ原色信号を画像信号に割り付けるだけではなく、画像合成部２０にカラーマトリクス回路を用いて、蛍光輝度の高い領域と低い領域との色づけを変更することにしてもよい。
また、色情報を付与するＲ，Ｇ，Ｂフレームメモリ１８ａ〜１８ｃと補正処理を施す補正処理部１９との順序は入れ替えてもよい。
【符号の説明】
【００４５】
Ａ 観察対象（被写体）
Ｇ１ 蛍光画像
Ｇ２ 戻り光画像
４ 照明ユニット（照明部）
５ 撮像ユニット（蛍光撮像部、戻り光撮像部）
６ 画像処理装置
１８ カラー画像生成部
２０ 画像合成部
【特許請求の範囲】
【請求項１】
被写体に照明光および励起光を照射する照明部と、
該照明部からの励起光の照射により被写体において発生した蛍光を撮影して蛍光画像を取得する蛍光撮像部と、
前記照明部からの照明光の照射により被写体から戻る戻り光を撮影し戻り光画像を取得する戻り光撮像部と、
前記蛍光撮像部により取得された蛍光画像および前記戻り光撮像部により取得された戻り光画像に、色空間を構成する異なる色情報を付与して複数のカラー画像を生成するカラー画像生成部と、
該カラー画像生成部により生成された複数のカラー画像を合成する画像合成部とを備え、
前記カラー画像生成部が、前記蛍光画像および前記戻り光画像の少なくとも一方に、指数関数に近似させられる前記蛍光画像と前記戻り光画像との距離特性の指数を一致させる補正処理を施す画像処理装置。
【請求項２】
前記色情報が、Ｒ成分、Ｇ成分およびＢ成分である請求項１に記載の画像処理装置。
【請求項３】
前記カラー画像生成部が、前記蛍光画像の距離特性を累乗近似して得られる第１の指数を、前記戻り光画像の距離特性を累乗近似して得られる第２の指数で除算して得られた第３の指数で前記戻り光画像の階調値を累乗する請求項１に記載の画像処理装置。
【請求項４】
前記カラー画像生成部が、前記蛍光画像の距離特性を累乗近似して得られる第１の指数で、前記戻り光画像の距離特性を累乗近似して得られる第２の指数を除算して得られた第４の指数で前記蛍光画像の階調値を累乗する請求項１に記載の画像処理装置。
【請求項５】
前記カラー画像生成部が、前記蛍光画像の距離特性を累乗近似して得られる第１の指数の逆数で前記蛍光画像の階調値を累乗するとともに、前記戻り光画像の距離特性を累乗近似して得られる第２の指数の逆数で前記戻り光画像の階調値を累乗する請求項１に記載の画像処理装置。
【請求項６】
前記カラー画像生成部が、異なる距離において取得された前記戻り光画像の階調値を第５の指数で累乗した値で前記蛍光画像の階調値を除算した値が同一となる第５の指数で前記戻り光画像の階調値を累乗する請求項１に記載の画像処理装置。
【請求項７】
励起光の照射により被写体において発生した蛍光を撮影して得られた蛍光画像と、照明光の照射により被写体から戻る戻り光を撮影して得られた戻り光画像とを入力するステップと、
前記蛍光画像の距離特性を累乗近似して得られる第１の指数を、前記戻り光画像の距離特性を累乗近似して得られる第２の指数で除算して得られた第３の指数で、前記戻り光画像の階調値を累乗して補正処理を施すステップと、
前記蛍光画像および前記戻り光画像に、色空間を構成する異なる色情報を付与して複数のカラー画像を生成するステップと、
補正処理が施された複数のカラー画像を合成するステップとを含む画像処理方法。
【請求項８】
励起光の照射により被写体において発生した蛍光を撮影して得られた蛍光画像と、照明光の照射により被写体から戻る戻り光を撮影して得られた戻り光画像とを入力するステップと、
前記蛍光画像の距離特性を累乗近似して得られる第１の指数で、前記戻り光画像の距離特性を累乗近似して得られる第２の指数で除算して得られた第４の指数で、前記蛍光画像の階調値を累乗して補正処理を施すステップと、
前記蛍光画像および前記戻り光画像に、色空間を構成する異なる色情報を付与して複数のカラー画像を生成するステップと、
補正処理が施された複数のカラー画像を合成するステップとを含む画像処理方法。
【請求項９】
励起光の照射により被写体において発生した蛍光を撮影して得られた蛍光画像と、照明光の照射により被写体から戻る戻り光を撮影して得られた戻り光画像とを入力するステップと、
前記蛍光画像の距離特性を累乗近似して得られる第１の指数の逆数を前記蛍光画像の階調値に累乗するとともに、前記戻り光画像の距離特性を累乗近似して得られる第２の指数の逆数で前記戻り光画像の階調値を累乗して補正処理を施すステップと、
前記蛍光画像および前記戻り光画像に、色空間を構成する異なる色情報を付与して複数のカラー画像を生成するステップと、
補正処理が施された複数のカラー画像を合成するステップとを含む画像処理方法。
【請求項１】
被写体に照明光および励起光を照射する照明部と、
該照明部からの励起光の照射により被写体において発生した蛍光を撮影して蛍光画像を取得する蛍光撮像部と、
前記照明部からの照明光の照射により被写体から戻る戻り光を撮影し戻り光画像を取得する戻り光撮像部と、
前記蛍光撮像部により取得された蛍光画像および前記戻り光撮像部により取得された戻り光画像に、色空間を構成する異なる色情報を付与して複数のカラー画像を生成するカラー画像生成部と、
該カラー画像生成部により生成された複数のカラー画像を合成する画像合成部とを備え、
前記カラー画像生成部が、前記蛍光画像および前記戻り光画像の少なくとも一方に、指数関数に近似させられる前記蛍光画像と前記戻り光画像との距離特性の指数を一致させる補正処理を施す画像処理装置。
【請求項２】
前記色情報が、Ｒ成分、Ｇ成分およびＢ成分である請求項１に記載の画像処理装置。
【請求項３】
前記カラー画像生成部が、前記蛍光画像の距離特性を累乗近似して得られる第１の指数を、前記戻り光画像の距離特性を累乗近似して得られる第２の指数で除算して得られた第３の指数で前記戻り光画像の階調値を累乗する請求項１に記載の画像処理装置。
【請求項４】
前記カラー画像生成部が、前記蛍光画像の距離特性を累乗近似して得られる第１の指数で、前記戻り光画像の距離特性を累乗近似して得られる第２の指数を除算して得られた第４の指数で前記蛍光画像の階調値を累乗する請求項１に記載の画像処理装置。
【請求項５】
前記カラー画像生成部が、前記蛍光画像の距離特性を累乗近似して得られる第１の指数の逆数で前記蛍光画像の階調値を累乗するとともに、前記戻り光画像の距離特性を累乗近似して得られる第２の指数の逆数で前記戻り光画像の階調値を累乗する請求項１に記載の画像処理装置。
【請求項６】
前記カラー画像生成部が、異なる距離において取得された前記戻り光画像の階調値を第５の指数で累乗した値で前記蛍光画像の階調値を除算した値が同一となる第５の指数で前記戻り光画像の階調値を累乗する請求項１に記載の画像処理装置。
【請求項７】
励起光の照射により被写体において発生した蛍光を撮影して得られた蛍光画像と、照明光の照射により被写体から戻る戻り光を撮影して得られた戻り光画像とを入力するステップと、
前記蛍光画像の距離特性を累乗近似して得られる第１の指数を、前記戻り光画像の距離特性を累乗近似して得られる第２の指数で除算して得られた第３の指数で、前記戻り光画像の階調値を累乗して補正処理を施すステップと、
前記蛍光画像および前記戻り光画像に、色空間を構成する異なる色情報を付与して複数のカラー画像を生成するステップと、
補正処理が施された複数のカラー画像を合成するステップとを含む画像処理方法。
【請求項８】
励起光の照射により被写体において発生した蛍光を撮影して得られた蛍光画像と、照明光の照射により被写体から戻る戻り光を撮影して得られた戻り光画像とを入力するステップと、
前記蛍光画像の距離特性を累乗近似して得られる第１の指数で、前記戻り光画像の距離特性を累乗近似して得られる第２の指数で除算して得られた第４の指数で、前記蛍光画像の階調値を累乗して補正処理を施すステップと、
前記蛍光画像および前記戻り光画像に、色空間を構成する異なる色情報を付与して複数のカラー画像を生成するステップと、
補正処理が施された複数のカラー画像を合成するステップとを含む画像処理方法。
【請求項９】
励起光の照射により被写体において発生した蛍光を撮影して得られた蛍光画像と、照明光の照射により被写体から戻る戻り光を撮影して得られた戻り光画像とを入力するステップと、
前記蛍光画像の距離特性を累乗近似して得られる第１の指数の逆数を前記蛍光画像の階調値に累乗するとともに、前記戻り光画像の距離特性を累乗近似して得られる第２の指数の逆数で前記戻り光画像の階調値を累乗して補正処理を施すステップと、
前記蛍光画像および前記戻り光画像に、色空間を構成する異なる色情報を付与して複数のカラー画像を生成するステップと、
補正処理が施された複数のカラー画像を合成するステップとを含む画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１２−１１０８２（Ｐ２０１２−１１０８２Ａ）
【公開日】平成２４年１月１９日（２０１２．１．１９）
【国際特許分類】
【出願番号】特願２０１０−１５２２１０（Ｐ２０１０−１５２２１０）
【出願日】平成２２年７月２日（２０１０．７．２）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２４年１月１９日（２０１２．１．１９）
【国際特許分類】
【出願日】平成２２年７月２日（２０１０．７．２）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]