画像処理装置、画像処理プログラムおよび画像処理方法
【課題】正反射光の影響を受けることなく、観察対象の蛍光画像の輝度を正確に補正することができること。
【解決手段】画像処理装置３０は、反射光画像取得部３１と、蛍光画像取得部３２と、動き検出部３５と、補正処理部３６と、規格化処理部３７とを備える。反射光画像取得部３１は、観察部位１００の反射光画像を取得する。蛍光画像取得部３２は、観察部位１００の蛍光画像を取得する。動き検出部３５は、反射光画像取得部３１が取得した観察部位１００の過去の反射光画像と処理対象の反射光画像とをもとに、この処理対象の反射光画像の動き成分を検出する。補正処理部３６は、この検出された動き成分を加味して処理対象の反射光画像の輝度値を補正処理する。規格化処理部３７は、この補正処理後の反射光画像の輝度値によってこの蛍光画像の輝度値を規格化処理する。
【解決手段】画像処理装置３０は、反射光画像取得部３１と、蛍光画像取得部３２と、動き検出部３５と、補正処理部３６と、規格化処理部３７とを備える。反射光画像取得部３１は、観察部位１００の反射光画像を取得する。蛍光画像取得部３２は、観察部位１００の蛍光画像を取得する。動き検出部３５は、反射光画像取得部３１が取得した観察部位１００の過去の反射光画像と処理対象の反射光画像とをもとに、この処理対象の反射光画像の動き成分を検出する。補正処理部３６は、この検出された動き成分を加味して処理対象の反射光画像の輝度値を補正処理する。規格化処理部３７は、この補正処理後の反射光画像の輝度値によってこの蛍光画像の輝度値を規格化処理する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理プログラムおよび画像処理方法に関し、特に、被写体からの蛍光に基づく蛍光画像を処理する画像処理装置、画像処理プログラムおよび画像処理方法に関するものである。
【背景技術】
【０００２】
従来から、医療分野においては、被検体の臓器内部を観察する際に内視鏡装置が用いられている。内視鏡装置は、一般に、患者等の被検体の体腔内に細長形状の可撓性挿入部を挿入し、この挿入した可撓性挿入部を介して体腔内の生体組織に白色光を照射し、その反射光を可撓性挿入部内の撮像部によって受光して、この生体組織の白色光画像を撮像する。かかる生体組織の白色光画像は、この内視鏡装置の表示部に表示される。医師等のユーザは、内視鏡装置の表示部に表示された生体組織の白色光画像を通して、被検体の体腔内を観察する。
【０００３】
一方、近年の内視鏡分野においては、体腔内の生体組織等の観察部位を蛍光観察することが可能な内視鏡装置が登場している。蛍光観察型の内視鏡装置は、一般に、体腔内に挿入した可撓性挿入部を介して体腔内の生体組織に励起光を照射し、この励起光の照射に基づいて生体組織から発生する自家蛍光または薬剤蛍光を可撓性挿入部内の撮像部によって受光して、この生体組織の蛍光画像を撮像する。このように撮像された生体組織の蛍光画像は、この内視鏡装置の表示部に表示され、医師等のユーザによって観察される。なお、かかる生体組織等の観察部位に光を照射することによって観察部位から発せられた光に基づいた規格化用画像を取得し、この規格化用画像によって観察部位の蛍光画像を除算して規格化蛍光画像を生成する装置がある（特許文献１参照）。
【０００４】
【特許文献１】特開２００２−３３６１８７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、上述した規格化用画像の各画素の輝度値は、一般に、観察部位と撮像部との撮像距離の増加（長化）に伴って減少し、観察部位と撮像部との撮像距離の減少（短化）に伴って増加する。このような撮像距離の変化に伴う適正な輝度分布を有する規格化用画像によって観察部位の蛍光画像が除算処理された場合、この除算処理後の蛍光画像の各画素の輝度値は、観察部位と撮像部との撮像距離に対応して高精度に規格化処理される。すなわち、かかる撮像距離の違いに起因する蛍光画像内の蛍光の明暗が高精度に補正される。
【０００６】
しかしながら、かかる規格化用画像は、必ずしも撮像距離の変化に伴う適正な輝度分布を有するとは限らない。例えば、観察部位内に光源からの光を撮像部側に正反射する部位が存在する場合、この部位からの正反射光を受光する画素の輝度値は、たとえ撮像距離の短い部位に対応する画素であっても著しく高くなる。上述した従来技術では、かかる正反射光の影響に起因にして、観察部位と撮像部との撮像距離が正確に反映された輝度分布を有する規格化用画像を取得することは困難であり、この結果、観察部位の蛍光画像の輝度を高精度に補正することが困難であるという問題点があった。なお、観察部位の蛍光画像の輝度を正確に補正することは、体腔内の病変部等の異常組織を蛍光画像によって検出、診断する上で極めて重要である。
【０００７】
本発明は、上記事情に鑑みてなされたものであって、正反射光の影響を受けることなく、観察対象の蛍光画像の輝度を正確に補正することができる画像処理装置、画像処理プログラムおよび画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上述した課題を解決し、目的を達成するために、本発明のある態様にかかる画像処理装置は、観察部位からの反射光に基づいた前記観察部位の反射光画像を取得する反射光画像取得部と、励起光の照射によって前記観察部位から発生した蛍光に基づいた前記観察部位の蛍光画像を取得する蛍光画像取得部と、前記反射光画像取得部が取得した前記観察部位の過去の反射光画像と前記反射光画像とをもとに、前記反射光画像の動き成分を検出する動き検出部と、前記動き成分を加味して前記反射光画像の輝度値を補正処理する補正処理部と、前記補正処理部が補正処理した前記反射光画像の輝度値によって前記蛍光画像の輝度値を規格化処理する規格化処理部と、を備えるものである。
【０００９】
この態様にかかる画像処理装置によれば、処理対象の反射光画像の輝度値に、被写体の撮像距離の遠近に応じて変化する画素の動き成分を反映させることができ、これによって、正反射光の受光画素の有無によらず、被写体の撮像距離を正確に反映した輝度分布を有する規格化用画像を生成できる。かかる規格化用画像の輝度値によって処理対象の蛍光画像の輝度値を規格化処理することによって、正反射光の影響を受けることなく、観察対象の蛍光画像の輝度を正確に補正することができる。この結果、観察部位内の病変部等の異常組織を蛍光画像内に明確に描画でき、これによって、観察対象の蛍光画像による被検体内の異常組織の検出能および診断能を高めることができる。
【００１０】
また、本発明の別の態様にかかる画像処理プログラムは、観察部位からの反射光に基づいた前記観察部位の反射光画像と、励起光の照射によって前記観察部位から発生した蛍光に基づいた前記観察部位の蛍光画像とを取得する画像取得手順と、前記反射光画像の動き成分を検出する動き検出手順と、前記動き成分を加味して前記反射光画像の輝度値を補正処理する補正処理手順と、前記補正処理手順による補正処理後の前記反射光画像の輝度値によって前記蛍光画像の輝度値を規格化処理する規格化処理手順と、をコンピュータに実行させるものである。
【００１１】
また、本発明の別の態様にかかる画像処理方法は、観察部位からの反射光に基づいた前記観察部位の反射光画像と、励起光の照射によって前記観察部位から発生した蛍光に基づいた前記観察部位の蛍光画像とを取得する画像取得ステップと、前記反射光画像の動き成分を検出する動き検出ステップと、前記動き成分を加味して前記反射光画像の輝度値を補正処理する補正処理ステップと、前記補正処理ステップによる補正処理後の前記反射光画像の輝度値によって前記蛍光画像の輝度値を規格化処理する規格化処理ステップと、を含むものである。
【発明の効果】
【００１２】
本発明にかかる画像処理装置、画像処理プログラムおよび画像処理方法によれば、正反射光の影響を受けることなく、観察対象の蛍光画像の輝度を正確に補正することができるという効果を奏する。
【発明を実施するための最良の形態】
【００１３】
以下、図面を参照して、本発明を実施するための最良の形態である画像処理装置、画像処理プログラムおよび画像処理方法の実施の形態について説明する。なお、この実施の形態によって本発明が限定されるものではない。
【００１４】
（実施の形態１）
図１は、本発明の実施の形態１にかかる内視鏡装置の一構成例を模式的に示すブロック図である。図１に示すように、この実施の形態１にかかる内視鏡装置１は、患者等の被検体内部の観察部位１００に光を照射する光源装置１０と、被検体の体腔内に挿入する細長形状の挿入部２０と、観察部位１００の画像を処理する画像処理装置３０と、画像処理装置３０に各種情報を入力する入力装置４０と、画像処理装置３０によって処理された画像情報を出力する画像出力装置５０とを備える。
【００１５】
光源装置１０は、蛍光薬剤を励起する励起光と照明光の一例である白色光とを観察部位１００に照射する光源部として機能する。具体的には、光源装置１０は、白色光源１１と、白色光源１１からの射出光を略平行光にするコリメートレンズ１２と、平行光を集光する集光レンズ１３と、所定の波長帯域の光を透過させるフィルタ１４とを備える。
【００１６】
白色光源１１は、蛍光薬剤を励起する励起光の波長帯域を含む広帯域な白色光を発光可能な光源を用いて実現される。白色光源１１は、光源装置１０のスイッチ（図示せず）の操作に基づいて、例えば４００〜７４０ｎｍの波長帯域という広帯域の白色光を発光する。具体的には、かかる白色光源１１が発光する白色光には、青色成分（Ｂ）、緑色成分（Ｇ）および赤色成分（Ｒ）の各色光が含まれ、さらに、例えばＣｙ７に例示されるような腫瘍等の病変部１０１に集積する薬剤蛍光を励起する６８０〜７４０ｎｍの波長帯域の励起光が含まれる。なお、かかる白色光源１１からの励起光は、この病変部１０１に集積した薬剤蛍光を励起して、可視光域外の波長帯域、例えば７６０〜８５０ｎｍの波長帯域の蛍光を発光させる特性を有する。
【００１７】
コリメートレンズ１２は、白色光源１１から射出される白色光の光路上に配置され、白色光源１１からの白色光を略平行光にする。このコリメートレンズ１２による平行光は、フィルタ１４を透過した後、集光レンズ１３によって集光される。この集光レンズ１３によって集光された光は、挿入部２０を介して被検体内部の観察部位１００に照射される。
【００１８】
フィルタ１４は、白色光源１１によって発光された白色光から所定の波長帯域の光を抽出する。図２は、本発明の実施の形態１における光源装置のフィルタの一透過率特性例を示す模式図である。なお、図２には、光源装置１０のフィルタ１４によって抽出された励起光によって発生する蛍光の強度特性も図示されている。フィルタ１４は、図２に示す波長対透過率の相関線Ｃ１のように、４００〜７４０ｎｍの波長帯域の白色光を透過させる透過率特性を有する。かかるフィルタ１４は、白色光源１１による射出光から４００〜７４０ｎｍの波長帯域の白色光を抽出し、この抽出した白色光を観察部位１００の照明光として透過させる。
【００１９】
ここで、かかるフィルタ１４によって抽出された白色光には、観察部位１００内の病変部１０１に集積する薬剤蛍光（例えばＣｙ７）を励起する６８０〜７４０ｎｍの波長帯域の励起光が含まれる。すなわち、フィルタ１４は、かかる励起光の波長帯域を含む広帯域の白色光を透過させる。なお、かかるフィルタ１４を透過する６８０〜７４０ｎｍの波長帯域の励起光は、図２における波長対透過率の相関線Ｃ２に示されるように、７６０〜８５０ｎｍの波長帯域の蛍光を発生させる。
【００２０】
挿入部２０は、被検体の体腔内に挿入可能な細長形状の可撓性構造体であり、内視鏡装置１の操作部（図示せず）の操作に基づいて所望の方向に湾曲可能である。また、図１に示すように、挿入部２０は、その基端部側が光源装置１０と画像処理装置３０とに接続され、この光源装置１０からの射出光を先端部側に導くライトガイドファイバ２１と、ライトガイドファイバ２１によって導かれた光を拡散するレンズ２２とを備える。また、挿入部２０は、観察部位１００からの反射光または蛍光を集光する対物レンズ２３と、この観察部位１００から集光した光を分岐するダイクロイックミラー２４と、観察部位１００からの反射光に基づいた反射光画像を撮像する反射光撮像部２６と、観察部位１００からの蛍光に基づいた蛍光画像を撮像する蛍光撮像部２８とを備える。なお、反射光撮像部２６は、分光特性の異なる複数のカラーフィルタからなるカラーフィルタ群２５を備える。また、蛍光撮像部２８は、観察部位１００からの蛍光を透過するとともに励起光を遮断するバリアフィルタ２７を備える。
【００２１】
ライトガイドファイバ２１は、光ファイバ等を用いて実現され、上述した光源装置１０によって射出される広帯域の白色光、すなわち、上述した励起光の波長帯域を含む白色光を挿入部２０の先端部側に伝搬する。かかるライトガイドファイバ２１によって導かれた光源装置１０からの広帯域の白色光は、レンズ２２によって拡散され、その後、被検体内部の観察部位１００に照射される。
【００２２】
ここで、このように観察部位１００に照射された光源装置１０からの白色光は、観察部位１００を照明するとともに、この観察部位１００において反射する。また、この観察部位１００に照明された白色光に含まれる励起光は、予め蛍光薬剤を集積した病変部１０１が観察部位１００内に存在する場合、この病変部１０１の蛍光薬剤を励起して、例えば７６０〜８５０ｎｍの波長帯域の蛍光を発生させる。
【００２３】
対物レンズ２３は、観察部位１００からの反射光および蛍光を集光する。具体的には、対物レンズ２３は、光源装置１０からの白色光が観察部位１００に照射された場合、この観察部位１００から反射した白色光および励起光と、この観察部位１００（詳細には病変部１０１）から発生した蛍光とを集光する。
【００２４】
ダイクロイックミラー２４は、対物レンズ２３を透過した観察部位１００からの光を反射光撮像部２６側と蛍光撮像部２８側とに分岐する。具体的には、ダイクロイックミラー２４は、上述した対物レンズ２３によって集光された観察部位１００からの光のうち、６８０ｎｍ未満の波長帯域の光、すなわち観察部位１００から反射した白色光（例えば４００〜６８０ｎｍの白色光）を反射光撮像部２６側の光路に分岐する。一方、ダイクロイックミラー２４は、６８０ｎｍ以上の波長帯域の光を１００％反射する機能を有し、観察部位１００から発生した蛍光と観察部位１００から反射した励起光とを蛍光撮像部２８側の光路に分岐する。なお、かかるダイクロイックミラー２４によって蛍光撮像部２８側に分岐（反射）される観察部位１００からの光には、例えば６８０〜７４０ｎｍの励起光および７６０〜８５０ｎｍの蛍光が含まれる。
【００２５】
カラーフィルタ群２５は、分光特性の異なる複数のカラーフィルタからなり、反射光撮像部２６の画素毎に観察部位１００からの白色光を各色成分の光に分光するとともに、反射光撮像部２６の各画素に向けて、これら各色成分の光を透過させる。図３は、カラーフィルタ群の透過率特性の一例を示す模式図である。カラーフィルタ群２５は、青色光（Ｂ）を透過するカラーフィルタである青色光フィルタと、緑色光（Ｇ）を透過するカラーフィルタである緑色光フィルタと、赤色光（Ｒ）を透過するカラーフィルタである赤色光フィルタとを各々複数含むモザイク状の原色カラーフィルタである。かかるカラーフィルタ群２５において、青色光フィルタは、図３に示す波長対透過率の相関線Ｃ３のように、４００〜５００ｎｍの波長帯域の光を透過させる透過率特性を有する。緑色光フィルタは、図３に示す波長対透過率の相関線Ｃ４のように、４８０〜６００ｎｍの波長帯域の光を透過させる透過率特性を有する。赤色光フィルタは、図３に示す波長対透過率の相関線Ｃ５のように、５８０〜６８０ｎｍの波長帯域の光を透過させる透過率特性を有する。
【００２６】
このような構成を有するカラーフィルタ群２５は、ダイクロイックミラー２４によって反射光撮像部２６側の光路に分岐された観察部位１００からの白色光の中から、青色光フィルタによって青色光を抽出し、緑色光フィルタによって緑色光を抽出し、赤色光フィルタによって赤色光を抽出する。カラーフィルタ群２５内の各青色光フィルタは、反射光撮像部２６の青色に対応する各画素に向けて、かかる白色光の青色成分を透過させる。カラーフィルタ群２５内の各緑色光フィルタは、反射光撮像部２６の緑色に対応する各画素に向けて、かかる白色光の緑色成分を透過させる。カラーフィルタ群２５内の各赤色光フィルタは、反射光撮像部２６の赤色に対応する各画素に向けて、かかる白色光の赤色成分を透過させる。
【００２７】
反射光撮像部２６は、観察部位１００からの反射光に基づいた反射光画像を撮像するためのものであり、分光特性の異なる各カラーフィルタが受光面内の各画素に配置されたベイヤ型のカラー撮像素子を用いて実現される。具体的には、反射光撮像部２６は、赤外光を除去する赤外光カットフィルタ（図示せず）と上述したカラーフィルタ群２５とを受光面上に備える。反射光撮像部２６は、ダイクロイックミラー２４によって反射光撮像部２６側の光路に分岐された観察部位１００からの反射光（例えば光源装置１０による白色光が観察部位１００に照射された際に観察部位１００から反射した白色光）を上述したカラーフィルタ群２５等を介して受光する。これによって、反射光撮像部２６は、観察部位１００の反射光画像の一例である白色光画像を撮像する。この場合、反射光撮像部２６は、カラーフィルタ群２５によって観察部位１００からの白色光から分光された各色成分の反射光を各画素によって各々光電変換処理して、観察部位１００の白色光画像を構成する各色成分の映像信号を生成する。反射光撮像部２６は、このように観察部位１００の白色光画像を撮像する都度、この観察部位１００の白色光画像の各映像信号を画像処理装置３０に順次送信する。
【００２８】
バリアフィルタ２７は、励起光カットフィルタを用いて実現され、ダイクロイックミラー２４によって蛍光撮像部２８側の光路に分岐された観察部位１００からの光に含まれる励起光を遮断する。図４は、実施の形態１におけるバリアフィルタの透過率特性の一例を示す模式図である。バリアフィルタ２７は、図４に示す波長対透過率の相関線Ｃ６のように、７６０〜８５０ｎｍの波長帯域の光を透過させる透過率特性を有する。かかるバリアフィルタ２７は、ダイクロイックミラー２４によって蛍光撮像部２８側の光路に分岐された観察部位１００からの光のうち、観察部位１００から反射した励起光（例えば６８０〜７４０ｎｍの波長帯域の励起光）を遮断するとともに、可視光域外（例えば７６０〜８５０ｎｍの波長帯域）の光である観察部位１００からの蛍光を透過させる。
【００２９】
蛍光撮像部２８は、観察部位１００からの蛍光に基づいた蛍光画像を撮像するためのものである。具体的には、蛍光撮像部２８は、例えば反射光撮像部２６に比して高い感度特性を有するモノクロ撮像素子を用いて実現され、上述したバリアフィルタ２７を受光面上に備える。蛍光撮像部２８は、上述した反射光撮像部２６の場合と同様に光源装置１０による白色光が観察部位１００に照射された際、ダイクロイックミラー２４によって蛍光撮像部２８側の光路に分岐された観察部位１００からの励起光および蛍光のうち、バリアフィルタ２７を透過した蛍光を受光する。これによって、蛍光撮像部２８は、観察部位１００の蛍光画像を撮像する。この場合、蛍光撮像部２８は、その受光部内の各画素によって観察部位１００からの蛍光を光電変換処理し、この結果、観察部位１００の蛍光画像を構成する各映像信号を生成する。蛍光撮像部２８は、観察部位１００の蛍光画像を撮像する都度、この観察部位１００の蛍光画像の各映像信号を画像処理装置３０に順次送信する。
【００３０】
ここで、この実施の形態１において、反射光撮像部２６は、光源装置１０からの白色光が観察部位１００に照射された期間に、この観察部位１００の白色光画像を撮像し、この白色光が照射された同じ期間に、蛍光撮像部２８は、この観察部位１００の蛍光画像を撮像する。すなわち、上述した反射光撮像部２６による白色光画像および蛍光撮像部２８による蛍光画像は同じタイミングに撮像される画像であり、これらの両画像間において被写体の位置は一致する。
【００３１】
画像処理装置３０は、上述した反射光撮像部２６または蛍光撮像部２８によって撮像された観察部位１００の画像情報を処理して、画像出力装置５０に出力させる出力画像を生成する。具体的には、図１に示すように、画像処理装置３０は、反射光撮像部２６による観察部位１００の反射光画像を取得する反射光画像取得部３１と、蛍光撮像部２８による観察部位１００の蛍光画像を取得する蛍光画像取得部３２と、かかる観察部位１００の反射光画像および蛍光画像に所定の信号処理を行う前処理部３３とを備える。また、画像処理装置３０は、反射光画像取得部３１が取得した反射光画像を記憶する記憶部３４と、観察部位１００の反射光画像の動き成分を検出する動き検出部３５と、この検出した動き成分を加味して観察部位１００の反射光画像の輝度値を補正処理する補正処理部３６とを備える。さらに、画像処理装置３０は、補正処理部３６による補正処理後の反射光画像の輝度値によって観察部位１００の蛍光画像の輝度値を規格化処理する規格化処理部３７と、規格化処理後の観察部位１００の蛍光画像に所定の信号処理を行う後処理部３８と、かかる画像処理装置３０の各構成部を制御する制御部３９とを備える。
【００３２】
なお、かかる画像処理装置３０において、反射光画像取得部３１および蛍光画像取得部３２は、前処理部３３に接続される。前処理部３３は、記憶部３４と、動き検出部３５と、補正処理部３６と、規格化処理部３７とに接続される。記憶部３４は動き検出部３５に接続され、動き検出部３５は補正処理部３６に接続される。補正処理部３６は規格化処理部３７に接続され、規格化処理部３７は後処理部３８に接続される。なお、後処理部３８は、画像処理装置３０外部の画像出力装置５０に接続される。一方、制御部３９は、反射光画像取得部３１、蛍光画像取得部３２、前処理部３３、動き検出部３５、補正処理部３６、規格化処理部３７および後処理部３８と双方向に接続される。また、制御部３９は、画像処理装置３０外部の入力装置４０および画像出力装置５０と双方向に接続される。
【００３３】
反射光画像取得部３１は、観察部位１００からの反射光に基づいた反射光画像を取得する。具体的には、反射光画像取得部３１は、上述した反射光撮像部２６が反射光画像の一例である観察部位１００の白色光画像を撮像した場合、その都度、反射光撮像部２６から観察部位１００の白色光画像の各映像信号を取得する。なお、かかる白色光画像の各映像信号は、アナログ信号であり、反射光撮像部２６から反射光画像取得部３１に所定時間間隔で連続的に出力される。反射光画像取得部３１は、かかる反射光撮像部２６から取得した白色光画像の各映像信号をアナログ信号からデジタル信号に変換し、このデジタル変換処理後の各映像信号を前処理部３３に順次送信する。
【００３４】
蛍光画像取得部３２は、観察部位１００からの蛍光に基づいた蛍光画像を取得する。具体的には、蛍光画像取得部３２は、上述した蛍光撮像部２８が観察部位１００の蛍光画像を撮像した場合、その都度、蛍光撮像部２８から観察部位１００の蛍光画像の各映像信号を取得する。なお、かかる蛍光画像の各映像信号は、アナログ信号であり、蛍光撮像部２８から蛍光画像取得部３２に所定時間間隔で連続的に出力される。蛍光画像取得部３２は、かかる蛍光撮像部２８から取得した蛍光画像の各映像信号をアナログ信号からデジタル信号に変換し、このデジタル変換後の各映像信号を前処理部３３に順次送信する。
【００３５】
前処理部３３は、観察部位１００の反射光画像および蛍光画像に所定の信号処理を行う。具体的には、前処理部３３は、上述したデジタル変換後の白色光画像の各映像信号を反射光画像取得部３１から取得し、この取得した白色光画像の各映像信号に対して、補間処理、ホワイトバランス処理およびノイズ低減処理等の信号処理を行う。また、前処理部３３は、上述したデジタル変換後の蛍光画像の各映像信号を蛍光画像取得部３２から取得し、この取得した蛍光画像の各映像信号に対して同様の信号処理を行う。さらに、前処理部３３は、かかる観察部位１００の白色光画像および蛍光画像の各映像信号に対して、空間的な位置、角度およびサイズの較正処理を行い、この結果、これらの白色光画像および蛍光画像をｍ×ｎ画素（ｍ、ｎは、ともに正の整数）の各映像信号による画像情報に較正する。前処理部３３は、かかる処理後の白色光画像（ｍ×ｎ画素の白色光画像）を記憶部３４と動き検出部３５と補正処理部３６とに送信する。この場合、前処理部３３は、現処理対象の白色光画像の各映像信号を動き検出部３５と補正処理部３６とに送信し、さらに、その現処理対象の白色光画像の各映像信号を記憶部３４にも格納する。詳細は後述するが、記憶部３４内には、前処理部３３によって送信された映像信号が順次格納される。本実施の形態１における記憶部３４は、図１に示すように、第１メモリ３４ａおよび第２メモリ３４ｂを有する。第１メモリ３４ａは、時系列的に最新の白色光画像の各映像信号を保持し、第２メモリ３４ｂは、第１メモリ３４ａから移動された過去の白色光画像の各映像信号を保持する。具体的には、時系列的に最新の現処理対象の白色光画像の各映像信号が第１メモリ３４ａに入ってきた場合、この第１メモリ３４ａ内に既に存在する白色光画像の各映像信号は第２メモリ３４ｂ内に移動され、過去の白色光画像の各映像信号として第２メモリ３４ｂ内に格納される。なお、第２メモリ３４ｂ内に格納された過去の白色光画像の各映像信号は、後に、動き検出部３５に送信される。さらに、前処理部３３は、かかる処理後の蛍光画像（ｍ×ｎ画素の蛍光画像）を規格化処理部３７に送信する。
【００３６】
なお、かかる前処理部３３による較正処理の較正値は、既知のテストパターンを撮像した画像情報をもとに算出され、ユーザによって予め設定されてもよいし、反射光撮像部２６による反射光画像と蛍光撮像部２８による蛍光画像との対応点を較正処理毎に自動検出し、この検出結果をもとに較正値を設定してもよい。
【００３７】
記憶部３４は、上述した前処理部３３による処理後の反射光画像を記憶する。具体的には、記憶部３４は、上述したように第１メモリ３４ａおよび第２メモリ３４ｂを有し、前処理部３３によってｍ×ｎ画素の画像情報に較正処理された観察部位１００の白色光画像を前処理部３３から取得し、この取得した白色光画像を記憶する。記憶部３４は、上述した前処理部３３による処理後の反射光画像を取得する都度、前述のように第１メモリ３４ａ内の既存の画像情報をこの取得画像情報に順次更新する。なお、かかる記憶部３４の第２メモリ３４ｂ内に記憶される白色光画像は、補正処理部３６によって補正処理される処理対象の白色光画像に比して過去（例えば１フレーム前）の白色光画像である。かかる第２メモリ３４ｂ内の過去の白色光画像は、動き検出部３５によって適宜読み出される。
【００３８】
動き検出部３５は、上述した反射光画像取得部３１が取得した観察部位１００の現反射光画像と観察部位１００の過去の反射光画像とをもとに、この現反射光画像の動き成分を検出する。具体的には、動き検出部３５は、前処理部３３によって処理された観察部位１００の白色光画像（処理対象の白色光画像）を前処理部３３から取得する。また、動き検出部３５は、この処理対象の白色光画像に比して過去に撮像された観察部位１００の白色光画像（過去の白色光画像）を記憶部３４から読み出す。動き検出部３５は、かかる処理対象の白色光画像と過去の白色光画像とをもとに、ブロックマッチング法等に基づいて、この処理対象の白色光画像の動き成分を検出する。動き検出部３５は、かかる処理対象の白色光画像の動き成分の検出結果として、この処理対象の白色光画像の画素座標毎に動き成分の検出情報を含む動き成分マップを生成する。
【００３９】
なお、かかる動き検出部３５によって検出された動き成分の大小関係は、被写体の撮像距離の遠近関係に対応している。すなわち、この処理対象の白色光画像における各画素の被写体の撮像距離は、かかる動き成分の増大に伴って近くなり、かかる動き成分の減少に伴って遠くなる。
【００４０】
また、動き検出部３５は、かかる処理対象の白色光画像に対するフィルタリング処理機能を有する。具体的には、動き検出部３５は、処理対象の白色光画像内における注目画素とその周辺画素との輝度比較処理を画素毎に行い、各画素の輝度比較処理の結果をもとに、処理対象の白色光画像に正反射光画素が含まれるか否かを判断する。なお、ここでいう正反射光画素とは、観察部位１００等の被写体からの正反射光を受光した画素であり、その周辺画素に比して著しく高い輝度値を有する。かかる輝度比較処理において、動き検出部３５は、任意の注目画素と周辺画素との輝度差が所定の閾値以上である場合、この処理対象の白色光画像に正反射光画素が含まれると判断する。この場合、動き検出部３５は、かかる輝度差が閾値以上の注目画素、すなわち正反射光画素をその周辺画素によって補間するフィルタリング処理を行う。これによって、動き検出部３５は、かかる正反射光画素の輝度値を正反射光以外の受光画素の輝度レベルに補正する。動き検出部３５は、かかるフィルタリング処理後の白色光画像の動き成分マップを補正処理部３６に送信する。
【００４１】
なお、かかる動き検出部３５によるフィルタリング処理は、３×３画素または５×５画素等の正方形画素領域のメディアンフィルタ処理であってもよいし、３×５画素等の長方形画素領域のメディアンフィルタ処理であってもよい。あるいは、かかる動き検出部３５によるフィルタリング処理は、ローパスフィルタ処理であってもよい。
【００４２】
補正処理部３６は、動き検出部３５によって検出された反射光画像の動き成分を加味して処理対象の反射光画像の輝度値を補正処理する。具体的には、補正処理部３６は、上述した前処理部３３から処理対象の白色光画像を取得し、且つ、この処理対象の白色光画像の動き成分マップを動き検出部３５から取得する。補正処理部３６は、この取得した処理対象の白色光画像および動き成分マップの対応画素毎に、この動き成分マップ内の動き成分をこの処理対象の白色光画像の輝度値に反映させる。これによって、補正処理部３６は、被写体と反射光撮像部２６との撮像距離の遠近に伴って変化する各画素の動き成分に対応して、この処理対象の白色光画像の輝度値を補正処理する。かかる補正処理において、補正処理部３６は、この処理対象の白色光画像内の各画素の輝度値を、撮像距離の増加に伴って減少させ、撮像距離の減少に伴って増加させる。この結果、補正処理部３６は、正反射光画素の有無によらず、被写体である観察部位１００と反射光撮像部２６との撮像距離を正確に反映した輝度分布を有する観察部位１００の白色光画像を生成する。補正処理部３６は、かかる補正処理後の白色光画像を規格化処理部３７に送信する。
【００４３】
規格化処理部３７は、蛍光撮像部２８によって撮像された観察部位１００の蛍光画像の輝度値を規格化処理によって補正する。具体的には、規格化処理部３７は、前処理部３３によって処理された観察部位１００の蛍光画像を前処理部３３から取得し、且つ、補正処理部３６によって輝度値を補正された観察部位１００の白色光画像を補正処理部３６から取得する。規格化処理部３７は、この取得した観察部位１００の白色光画像および蛍光画像の対応画素毎に、この補正処理後の白色光画像の輝度値によってこの蛍光画像の輝度値を除算し、これによって、この蛍光画像の各画素の輝度値を規格化処理する。この結果、規格化処理部３７は、被写体からの正反射光の影響を受けることなく、被写体である観察部位１００と蛍光撮像部２８との撮像距離に応じて変化する蛍光画像内の蛍光の明暗（輝度値）を正確に補正する。なお、かかる規格化処理部３７によって規格化処理された蛍光画像（以下、規格化蛍光画像という）において、励起光照射による蛍光発生源である病変部１０１は、観察部位１００と蛍光撮像部２８との撮像距離に関わらず、比較的高い輝度の画素によって描画される。規格化処理部３７は、かかる観察部位１００の規格化蛍光画像を後処理部３８に送信する。
【００４４】
後処理部３８は、規格化処理部３７による規格化蛍光画像に所定の信号処理を行う。具体的には、後処理部３８は、観察部位１００の規格化蛍光画像の各映像信号を規格化処理部３７から取得し、この取得した規格化蛍光画像の各映像信号に対して、階調変換処理、強調処理および圧縮処理等の信号処理を行う。後処理部３８は、かかる信号処理後の規格化蛍光画像を画像出力装置５０に送信する。
【００４５】
制御部３９は、画像処理装置３０の構成部である反射光画像取得部３１、蛍光画像取得部３２、前処理部３３、動き検出部３５、補正処理部３６、規格化処理部３７、および後処理部３８の各動作を制御し、且つ、これら各構成部間における信号の入出力を制御する。また、制御部３９は、画像表示装置３０の外部インターフェース部として機能する入力装置４０および画像出力装置５０を制御する。
【００４６】
具体的には、制御部３９は、処理プログラムを記憶する記憶部とこの記憶部内の処理プログラムを実行するコンピュータとを用いて実現される。制御部３９は、入力装置４０によって入力された設定情報をもとに、観察部位１００の白色光画像または蛍光画像の撮像モード等の各種撮像条件またはゲイン等を設定する。また、制御部３９は、入力装置４０によって入力された指示情報に基づいて、上述した画像処理装置３０の各構成部の動作開始、動作終了、動作タイミング等を制御する。
【００４７】
具体的には、制御部３９は、反射光撮像部２６による白色光画像の各映像信号をデジタル変換後に前処理部３３に順次出力するように反射光画像取得部３１を制御し、蛍光撮像部２８による蛍光画像の各映像信号をデジタル変換後に前処理部３３に順次出力するように蛍光画像取得部３２を制御する。また、制御部３９は、所定の処理後に観察部位１００の白色光画像を動き検出部３５および補正処理部３６に送信し、且つ、この白色光画像を記憶部３４にも送信するように前処理部３３を制御する。さらに、制御部３９は、所定の処理後に観察部位１００の蛍光画像を規格化処理部３７に送信するように前処理部３３を制御する。
【００４８】
また、制御部３９は、上述した動き検出部３５による処理対象の白色光画像の動き検出処理と、補正処理部３６による白色光画像の輝度補正処理と、規格化処理部３７による蛍光画像の規格化処理と、後処理部３８による蛍光画像の信号処理とを制御する。一方、制御部３９は、入力装置４０によって入力された指示情報に基づいて、観察部位１００の規格化蛍光画像の各映像信号を画像出力装置５０に送信するように後処理部３８を制御するとともに、この規格化蛍光画像を表示出力するように画像出力装置５０を制御する。
【００４９】
入力装置４０は、画像処理装置３０の外部インターフェース部として機能するものであり、例えばキーボードおよびマウスに例示される入力デバイス等を用いて実現される。入力装置４０は、医師または看護師等のユーザによる入力操作に対応して画像処理装置３０の制御部３９に各種情報を入力する。かかる入力装置４０によって制御部３９に入力される各種情報として、例えば、画像処理装置３０の動作開始または動作終了等を制御部３９に対して指示する指示情報、観察部位１００の白色光画像または蛍光画像の撮像モードの設定情報等が挙げられる。
【００５０】
なお、入力装置４０は、画像処理装置３０の電源オンと電源オフとを切り替える電源スイッチを備えてもよいし、撮像操作を開始するためのシャッターボタンを備えてもよいし、撮像モード等の各種モードを切り替えるためのモード切替ボタンを備えてもよい。この場合、上述した制御部３９は、入力装置４０のシャッターボタンの入力操作に対応して、反射光撮像部２６および蛍光撮像部２８の撮像動作を制御してもよい。
【００５１】
画像出力装置５０は、上述した画像処理装置３０によって処理された画像情報を出力する。具体的には、画像出力装置５０は、ＣＲＴディスプレイまたは液晶ディスプレイ等の所望のディスプレイを用いて実現される。画像出力装置５０は、画像処理装置３０の後処理部３８によって信号処理された観察部位１００の規格化蛍光画像の各映像信号を取得する。画像出力装置５０は、この後処理部３８から取得した各映像信号に基づいた観察部位１００の規格化蛍光画像を表示する。
【００５２】
なお、画像出力装置５０は、かかる規格化蛍光画像の他に、この規格化蛍光画像と同じタイミングに撮像された観察部位１００の白色光画像を前処理部３３および後処理部３８を介して取得し、この取得した観察部位１００の白色光画像およびこの規格化蛍光画像を表示してもよい。この場合、画像出力装置５０は、かかる観察部位１００の白色光画像と規格化蛍光画像とを並べて表示してもよいし、かかる観察部位１００の白色光画像に規格化蛍光画像を重畳表示してもよい。
【００５３】
つぎに、上述した画像処理装置３０の補正処理部３６について詳細に説明する。図５は、本発明の実施の形態１にかかる画像処理装置の補正処理部の一構成例を模式的に示すブロック図である。図５に示すように、補正処理部３６は、処理対象の白色光画像の全体的な動き量を算出する動き量算出部３６ａと、上述した動き成分マップの置換処理を行う置換処理部３６ｂと、白色光画像の動き成分マップを記憶する動き成分記憶部３６ｃと、動き成分マップをもとに処理対象の白色光画像の補正輝度値を算出する補正輝度算出部３６ｄとを備える。
【００５４】
動き量算出部３６ａは、制御部３９の制御に基づいて、処理対象の白色光画像の全体的動き量を算出する。具体的には、動き量算出部３６ａは、上述した動き検出部３５が検出した処理対象の白色光画像の動き成分マップを取得する。動き量算出部３６ａは、この動き検出部３５から取得した動き成分マップに含まれる各画素の動き成分をもとに、この処理対象の白色光画像の全体的動き量を算出する。動き量算出部３６ａは、制御部３９の制御に基づいて、このように算出した処理対象の白色光画像の全体的動き量を置換処理部３６ｂに順次送信する。なお、動き量算出部３６ａは、かかる処理対象の白色光画像の全体的動き量として、この動き成分マップ内の各画素の動き成分の平均値を算出してもよいし、各画素の動き成分の合計値を算出してもよい。
【００５５】
置換処理部３６ｂは、制御部３９の制御に基づいて、処理対象の白色光画像の動き成分置換処理を適宜行う。具体的には、置換処理部３６ｂは、動き検出部３５が検出した処理対象の白色光画像の動き成分マップと、動き量算出部３６ａが算出した処理対象の白色光画像の全体的動き量とを取得する。置換処理部３６ｂは、この動き量算出部３６ａから取得した全体的動き量と予め設定された閾値とを比較する。置換処理部３６ｂは、この全体的動き量が閾値以上である場合、この処理対象の白色光画像内の被写体である観察部位１００に所定以上の動きがあると判定する。この場合、置換処理部３６ｂは、制御部３９の制御に基づいて、上述した動き検出部３５から取得した動き成分マップを補正輝度算出部３６ｄに出力するとともに、被写体に所定以上の動きがある場合の動き成分マップとして、この動き成分マップを動き成分記憶部３６ｃに出力する。一方、置換処理部３６ｂは、この全体的動き量が閾値未満である場合、この処理対象の白色光画像内の被写体（観察部位１００）に所定以上の動きがないと判定する。この場合、置換処理部３６ｂは、制御部３９の制御に基づいて、上述した動き検出部３５から取得した動き成分マップを動き成分記憶部３６ｃ内の動き成分マップに置換し、この動き成分記憶部３６ｃ内の動き成分マップを補正輝度算出部３６ｄに出力する。
【００５６】
なお、かかる置換処理部３６ｂに予め設定された閾値は、入力装置４０によって入力された情報をもとに制御部３９が設定した閾値であってもよいし、対物レンズ２３の焦点距離等をもとに制御部３９が自動的に設定した閾値であってもよい。
【００５７】
動き成分記憶部３６ｃは、被写体に所定以上の動きがある白色光画像であって処理対象の白色光画像に比して過去の白色光画像の動き成分を記憶する。具体的には、動き成分記憶部３６ｃは、上述した置換処理部３６ｂによって被写体に所定以上の動きがあると判定された白色光画像の動き成分マップ、すなわち、動き量算出部３６ａによって算出された全体的動き量が閾値以上である場合の動き成分マップを置換処理部３６ｂから取得し、この取得した動き成分マップを記憶する。なお、かかる動き成分記憶部３６ｃに記憶される動き成分マップは、後の処理対象の白色光画像に比して過去の白色光画像の動き成分マップであり、上述した動き成分の置換処理において置換処理部３６ｂに適宜読み出される。動き成分記憶部３６ｃは、かかる置換処理部３６ｂから動き成分マップを取得する都度、取得した最新の動き成分マップを既存の動き成分マップに上書きして動き成分マップを更新処理する。
【００５８】
補正輝度算出部３６ｄは、制御部３９の制御に基づいて、処理対象の白色光画像の補正輝度値を算出する。具体的には、補正輝度算出部３６ｄは、置換処理部３６ｂによって出力された動き成分マップと、上述した前処理部３３によって処理された処理対象の白色光画像とを取得する。補正輝度算出部３６ｄは、この置換処理部３６ｂから取得した動き成分マップに含まれる各画素の動き成分を加味して、この処理対象の白色光画像の各画素の輝度値を補正処理する。すなわち、補正輝度算出部３６ｄは、この処理対象の白色光画像および動き成分マップの対応画素毎に、この動き成分マップ内の動き成分を加味した補正輝度値を算出する。補正輝度算出部３６ｄは、制御部３９の制御に基づいて、かかる白色光画像の各画素の補正輝度値を規格化処理部３７に送信する。
【００５９】
つぎに、本発明の実施の形態１にかかる画像処理装置３０の動作について説明する。図６は、本発明の実施の形態１にかかる画像処理装置の処理手順を例示するフローチャートである。この実施の形態１にかかる画像処理装置３０は、図６に示される処理手順を実行して、観察部位１００の規格化蛍光画像を画像出力装置５０に表示させる。
【００６０】
すなわち、図６に示すように、画像処理装置３０は、まず、観察部位１００の反射光画像を事前に取得する（ステップＳ１０１）。このステップＳ１０１において、制御部３９は、反射光画像取得部３１および前処理部３３を制御して、観察部位１００の白色光画像を事前に取得する。
【００６１】
かかる制御部３９の制御に基づいて、反射光画像取得部３１は、光源装置１０からの白色光が観察部位１００に照射されたタイミングに反射光撮像部２６が撮像した観察部位１００の白色光画像を取得し、この取得した白色光画像の各映像信号をデジタル変換後に前処理部３３に送信する。前処理部３３は、かかる制御部３９の制御に基づいて、この反射光画像取得部３１から取得した白色光画像の各映像信号に対して上述した信号処理を行い、その後、この白色光画像の各映像信号を記憶部３４に送信する。記憶部３４は、後に処理対象となる観察部位１００の白色光画像に比して過去の白色光画像として、この前処理部３３から取得した観察部位１００の白色光画像を記憶する。
【００６２】
なお、このステップＳ１０１において、制御部３９は、この白色光画像と同じタイミングに蛍光撮像部２８が撮像する観察部位１００の蛍光画像を削除するように蛍光画像取得部３２を制御してもよい。あるいは、制御部３９は、このステップＳ１０１において取得した観察部位１００の白色光画像によってこの蛍光画像を規格化処理するように規格化処理部３７を制御してもよく、その後、制御部３９は、この規格化処理部３７による規格化蛍光画像を表示出力するように後処理部３８および画像出力装置５０を制御してもよい。
【００６３】
つぎに、画像処理装置３０は、処理対象となる観察部位１００の反射光画像および蛍光画像を取得する（ステップＳ１０２）。このステップＳ１０２において、制御部３９は、観察部位１００の白色光画像を取得するように反射光画像取得部３１を制御するとともに、この観察部位１００の蛍光画像を取得するように蛍光画像取得部３２を制御する。
【００６４】
かかる制御部３９の制御に基づいて、反射光画像取得部３１は、光源装置１０からの白色光が観察部位１００に照射されたタイミングに反射光撮像部２６が撮像した観察部位１００の白色光画像を取得し、この取得した白色光画像の各映像信号をデジタル変換する。反射光画像取得部３１は、このデジタル変換後の白色光画像を前処理部３３に送信する。一方、蛍光画像取得部３２は、かかる制御部３９の制御に基づいて、この白色光画像と同じタイミングに蛍光撮像部２８が撮像した観察部位１００の蛍光画像を取得し、この取得した蛍光画像の各映像信号をデジタル変換する。蛍光画像取得部３２は、このデジタル変換後の蛍光画像を前処理部３３に送信する。
【００６５】
続いて、画像処理装置３０は、ステップＳ１０２において取得した観察部位１００の映像信号の前処理を実行する（ステップＳ１０３）。このステップＳ１０３において、制御部３９は、かかる観察部位１００の画像毎に所定の信号処理および較正処理を実行するように前処理部３３を制御する。
【００６６】
かかる制御部３９の制御に基づいて、前処理部３３は、反射光画像取得部３１から取得した観察部位１００の白色光画像に対して、補間処理、ホワイトバランス処理およびノイズ低減処理等の信号処理と、空間的な位置、角度およびサイズの較正処理とを行う。これによって、前処理部３３は、この観察部位１００の白色光画像をｍ×ｎ画素の画像情報に較正する。前処理部３３は、制御部３９の制御に基づいて、かかる較正処理後の観察部位１００の白色光画像を処理対象の白色光画像として動き検出部３５および補正処理部３６に送信する。一方、前処理部３３は、かかる制御部３９の制御に基づいて、蛍光画像取得部３２から取得した観察部位１００の蛍光画像に対して、補間処理およびノイズ低減処理等の信号処理と、空間的な位置、角度およびサイズの較正処理とを行う。これによって、前処理部３３は、上述した処理対象の白色光画像と同様に、この観察部位１００の蛍光画像をｍ×ｎ画素の画像情報に較正する。前処理部３３は、制御部３９の制御に基づいて、かかる較正処理後の観察部位１００の蛍光画像を処理対象の蛍光画像として規格化処理部３７に送信する。
【００６７】
その後、画像処理装置３０は、観察部位１００の反射光画像の動き検出処理を実行する（ステップＳ１０４）。このステップＳ１０４において、制御部３９は、処理対象の白色光画像に対して、上述した動き成分の検出処理およびフィルタリング処理を実行するように動き検出部３５を制御する。
【００６８】
かかる制御部３９の制御に基づいて、動き検出部３５は、前処理部３３から取得した処理対象の白色光画像と記憶部３４から読み出した過去の白色光画像とをもとに、この処理対象の白色光画像の動き成分を検出し、また、この処理対象の白色光画像に対してフィルタリング処理を適宜実行する。具体的には、動き検出部３５は、ｍ×ｎ画素の画像情報であるこの処理対象の白色光画像をＭ×Ｎ（Ｍはｍ未満の整数、Ｎはｎ未満の整数）の画素ブロックに分割する。動き検出部３５は、かかるＭ×Ｎの画素ブロックからなる処理対象の白色光画像を基準画像とし、記憶部３４から読み出した過去の白色光画像を参照画像としたブロックマッチング法等に基づいて、この処理対象の白色光画像の各画素ブロックの動きベクトルを算出する。動き検出部３５は、この処理対象の白色光画像の動き成分として、かかる各画素ブロックの動きベクトルの動き成分Ｖ（ｉ，ｊ）を算出する。動き検出部３５は、かかる処理対象の白色光画像の各画素ブロックの動き成分Ｖ（ｉ，ｊ）を含む動き成分マップを生成する。
【００６９】
なお、かかる動き成分Ｖ（ｉ，ｊ）は、この処理対象の白色光画像に設定されるｘ軸およびｙ軸の２軸直交座標系のブロック座標（ｉ，ｊ）（ｉ＝１，２，…，Ｍ、ｊ＝１，２，…，Ｎ）における画素ブロックの動き成分であり、次式（１）によって算出される。
【００７０】
【数１】
なお、この式（１）において、ｘijは、ブロック座標（ｉ，ｊ）における画素ブロックの動きベクトルのＸ成分であり、ｙijは、ブロック座標（ｉ，ｊ）における画素ブロックの動きベクトルのＹ成分である。
【００７１】
また、動き検出部３５は、この処理対象の白色光画像の画素毎に注目画素と周辺画素との輝度比較処理を行い、この輝度比較処理の結果をもとに、この処理対象の白色光画像に正反射光画素が含まれるか否かを判断する。動き検出部３５は、この処理対象の白色光画像に正反射光画素が含まれている場合、この正反射光画素をその周辺画素によって補間するフィルタリング処理を行う。動き検出部３５は、かかるフィルタリング処理後の白色光画像の動き成分Ｖ（ｉ，ｊ）を検出し、かかるフィルタリング処理後の白色光画像の各画素ブロックの動き成分Ｖ（ｉ，ｊ）を含む動き成分マップを生成する。動き検出部３５は、この生成した動き成分マップを補正処理部３６に送信する。
【００７２】
つぎに、画像処理装置３０は、観察部位１００の反射光画像の検出動き成分に基づく補正処理を行う（ステップＳ１０５）。このステップＳ１０５において、制御部３９は、動き検出部３５によって検出された動き成分Ｖ（ｉ，ｊ）を加味して処理対象の白色光画像の輝度値を補正処理するように補正処理部３６を制御する。
【００７３】
かかる制御部３９の制御に基づいて、補正処理部３６は、前処理部３３から取得した処理対象の白色光画像と動き検出部３５から取得した動き成分マップとの対応画素毎に、この動き成分マップ内の画素毎の動き成分Ｖｄ（ｘ，ｙ）を加味して輝度値を補正する。この結果、補正処理部３６は、この処理対象の白色光画像の輝度値に動き成分Ｖｄ（ｘ，ｙ）を反映した補正輝度値Ｗｄ（ｘ，ｙ）を画素毎に算出する。補正処理部３６は、かかる白色光画像の各画素の補正輝度値Ｗｄ（ｘ，ｙ）を規格化処理部３７に送信する。
【００７４】
なお、この動き成分Ｖｄ（ｘ，ｙ）は、上述した動き成分マップ内の画素ブロックの動き成分Ｖ（ｉ，ｊ）を画素単位に分割したものであり、この処理対象の白色光画像に設定された２軸直交座標系の画素座標（ｘ，ｙ）における動き成分である。また、この処理対象の白色光画像はｍ×ｎ画素の画像情報であるため、この動き成分マップの画素座標（ｘ，ｙ）の範囲は、１≦ｘ≦ｍ、１≦ｙ≦ｎである。
【００７５】
その後、画像処理装置３０は、上述したステップＳ１０５において補正処理した反射光画像によって観察部位１００の蛍光画像を規格化処理する（ステップＳ１０６）。このステップＳ１０６において、制御部３９は、補正処理部３６によって補正処理された白色光画像によって観察部位１００の蛍光画像を規格化処理するように規格化処理部３７を制御する。
【００７６】
かかる制御部３９の制御に基づいて、規格化処理部３７は、前処理部３３から取得した観察部位１００の蛍光画像と補正処理部３６から取得した白色光画像の動き成分マップとの対応画素毎に、この蛍光画素の輝度値を規格化処理し、この結果、観察部位１００の規格化蛍光画像を生成する。この蛍光画像の規格化処理において、規格化処理部３７は、次式（２）に基づいて規格化蛍光画像の輝度値Ｑ（ｘ，ｙ）を算出する。すなわち、規格化処理部３７は、画素座標（ｘ，ｙ）における補正輝度値Ｗｄ（ｘ，ｙ）が零値ではない場合、画素座標（ｘ，ｙ）における観察部位１００の蛍光画像の輝度値Ｆ（ｘ，ｙ）と定数Ｋとの乗算値をこの補正輝度値Ｗｄ（ｘ，ｙ）によって除算して、画素座標（ｘ，ｙ）における規格化蛍光画像の輝度値Ｑ（ｘ，ｙ）を算出する。一方、規格化処理部３７は、補正輝度値Ｗｄ（ｘ，ｙ）が零値である場合、この零値である補正輝度値Ｗｄ（ｘ，ｙ）に対応する規格化蛍光画像の輝度値Ｑ（ｘ，ｙ）を零値として算出する。なお、この画素座標（ｘ，ｙ）の範囲は、上述したように、１≦ｘ≦ｍ、１≦ｙ≦ｎである。規格化処理部３７は、かかる輝度値Ｑ（ｘ，ｙ）を有する観察部位１００の規格化蛍光画像を後処理部３８に送信する。
【００７７】
【数２】
【００７８】
つぎに、画像処理装置３０は、ステップＳ１０６において生成した観察部位１００の規格化蛍光画像の後処理を行う（ステップＳ１０７）。このステップＳ１０７において、制御部３９は、規格化処理部３７による規格化蛍光画像に所定の信号処理を行うように後処理部３８を制御する。かかる制御部３９の制御に基づいて、後処理部３８は、規格化処理部３７から取得した観察部位１００の規格化蛍光画像の各映像信号に対して、階調変換処理、強調処理および圧縮処理等の信号処理を行い、この信号処理後の規格化蛍光画像を画像出力装置５０に送信する。
【００７９】
続いて、画像処理装置３０は、かかる観察部位１００の規格化蛍光画像の出力処理を行う（ステップＳ１０８）。このステップＳ１０８において、制御部３９は、後処理部３８による信号処理後の規格化蛍光画像を出力するように画像出力装置５０を制御する。かかる制御部３９の制御に基づいて、画像出力装置５０は、後処理部３８から取得した各映像信号を取得し、この取得した各映像信号に基づいた観察部位１００の規格化蛍光画像を表示する。
【００８０】
その後、画像処理装置３０は、所定のオフ操作等の処理終了操作が行われた場合（ステップＳ１０９，Ｙｅｓ）、本処理を終了する。この場合、制御部３９は、入力装置４０によって処理終了の指示情報を入力され、この入力された指示情報に基づいて、画像処理装置３０の各構成部の動作を終了させる。一方、画像処理装置３０は、かかる処理終了操作が行われていない場合（ステップＳ１０９，Ｎｏ）、上述したステップＳ１０２に戻り、このステップＳ１０２以降の処理手順を繰り返す。この場合、制御部３９は、上述したステップＳ１０２〜Ｓ１０９の処理手順を行って、画像処理装置３０の各構成部を適宜制御する。
【００８１】
つぎに、上述したステップＳ１０５における反射光画像の検出動き成分に基づく補正処理について詳細に説明する。図７は、反射光画像の検出動き成分に基づく補正処理の処理手順を例示するフローチャートである。画像処理装置３０の補正処理部３６は、上述したように、制御部３９の制御に基づいてステップＳ１０５における反射光画像の検出動き成分に基づく補正処理を実行する。
【００８２】
詳細には、図７に示すように、補正処理部３６は、まず、処理対象の反射光画像の動き量算出処理を行う（ステップＳ２０１）。このステップＳ２０１において、動き量算出部３６ａは、処理対象の反射光画像である観察部位１００の白色光画像の動き成分マップを動き検出部３５から取得する。なお、この動き成分マップには、上述したように、この処理対象の白色光画像をＭ×Ｎの画素ブロックに分割した際の各画素ブロックの動き成分Ｖ（ｉ，ｊ）が含まれる。動き量算出部３６ａは、この取得した動き成分マップ内の各画素ブロックの動き成分Ｖ（ｉ，ｊ）をもとに、この処理対象の白色光画像の全体的動き量Ｖaveを算出する。動き量算出部３６ａは、この算出した処理対象の白色光画像の全体的動き量Ｖaveを置換処理部３６ｂに送信する。なお、かかる処理対象の白色光画像の全体的動き量Ｖaveは、例えば次式（３）に基づいて算出される。
【００８３】
【数３】
【００８４】
つぎに、補正処理部３６は、ステップＳ２０１において算出した処理対象の白色光画像の全体的動き量Ｖaveが予め設定された閾値Ｖｔ以上であるか否かを判断する（ステップＳ２０２）。このステップＳ２０２において、置換処理部３６ｂは、処理対象の白色光画像の全体的動き量Ｖaveを動き量算出部３６ａから取得する。また、置換処理部３６ｂは、この処理対象の白色光画像の動き成分マップを動き検出部３５から取得する。置換処理部３６ｂは、この取得した全体的動き量Ｖaveと閾値Ｖｔとの比較処理を行い、全体的動き量Ｖaveが閾値Ｖｔ以上である場合、この動き成分マップに対応する処理対象の白色光画像内の被写体に所定以上の動きがあると判定する。一方、置換処理部３６ｂは、全体的動き量Ｖaveが閾値Ｖｔ未満である場合、この動き成分マップに対応する処理対象の白色光画像内の被写体に所定以上の動きがないと判定する。
【００８５】
補正処理部３６は、このステップＳ２０２において全体的動き量Ｖaveが閾値Ｖｔ以上である場合（ステップＳ２０２，Ｙｅｓ）、この処理対象の白色光画像の動き成分記憶処理を実行する（ステップＳ２０３）。このステップＳ２０３において、置換処理部３６ｂは、この処理対象の白色光画像の動き成分マップを補正輝度算出部３６ｄに出力するとともに、被写体に所定以上の動きがある場合の動き成分マップとして、この動き成分マップを動き成分記憶部３６ｃに出力する。動き成分記憶部３６ｃは、この置換処理部３６ｂから取得した動き成分マップを記憶し、この置換処理部３６ｂから動き成分マップを取得する都度、動き成分マップを更新する。
【００８６】
一方、補正処理部３６は、このステップＳ２０２において全体的動き量Ｖaveが閾値Ｖｔ未満である場合（ステップＳ２０２，Ｎｏ）、この処理対象の白色光画像の動き成分置換処理を実行する（ステップＳ２０４）。このステップＳ２０４において、置換処理部３６ｂは、動き成分記憶部３６ｃから過去の動き成分マップを読み出し、動き検出部３５から取得した処理対象の白色光画像の動き成分マップをこの過去の動き成分マップに置換する。すなわち、置換処理部３６ｂは、被写体に所定以上の動きがない場合の動き成分マップを、被写体に所定以上の動きがある場合の動き成分マップに置き換える。この場合、置換処理部３６ｂは、処理対象の白色光画像の動き成分マップとして、この過去の動き成分マップを補正輝度算出部３６ｄに出力する。
【００８７】
その後、補正処理部３６は、処理対象の反射光画像の動き成分を加味した補正輝度算出処理を実行する（ステップＳ２０５）。このステップＳ２０５において、補正輝度算出部３６ｄは、前処理部３３から処理対象の白色光画像を取得し、置換処理部３６ｂから動き成分マップを取得する。補正輝度算出部３６ｄは、この取得した動き成分マップに含まれるＭ×Ｎの画素ブロックを元の画素単位、すなわちｍ×ｎ画素に分割し、この分割した各画素の動き成分Ｖｄ（ｘ，ｙ）を算出する。この場合、補正輝度算出部３６ｄは、かかる動き成分マップの分割前の画素ブロックの動き成分Ｖ（ｉ，ｊ）と、この画素ブロックから分割した各画素の動き成分Ｖｄ（ｘ，ｙ）とを同値にする。次いで、補正輝度算出部３６ｄは、かかる処理対象の白色光画像および動き成分マップの対応画素毎に、この動き成分マップの画素単位の動き成分Ｖｄ（ｘ，ｙ）を加味した補正輝度値Ｗｄ（ｘ，ｙ）を算出する。具体的には、次式（４）に示すように、補正輝度算出部３６ｄは、この処理対象の白色光画像の輝度値Ｗ（ｘ，ｙ）および定数ａの乗算値と動き成分Ｖｄ（ｘ，ｙ）および定数ｂの乗算値とを画素座標（ｘ，ｙ）毎に加算処理して、この白色光画像の各画素の補正輝度値Ｗｄ（ｘ，ｙ）を算出する。補正輝度算出部３６ｄは、このように算出した白色光画像の各画素の補正輝度値Ｗｄ（ｘ，ｙ）を規格化処理部３７に送信する。
【００８８】
【数４】
【００８９】
なお、この式（４）における輝度値Ｗ（ｘ，ｙ）は、この処理対象の白色光画像に設定された２軸直交座標系の画素座標（ｘ，ｙ）（ｘ＝１，２，…，ｍ、ｙ＝１，２，…，ｎ）における画素の輝度値である。また、この式（４）における定数ａ，ｂは、入力装置４０によって入力された情報をもとに制御部３９が設定した定数であってもよいし、対物レンズ２３の焦点距離または撮像素子のゲイン等をもとに制御部３９が自動的に設定した定数であってもよい。
【００９０】
上述したステップＳ２０５の処理手順が終了した後、補正処理部３６は、図６に示したステップＳ１０５にリターンする。その後、画像処理装置３０は、上述したように、ステップＳ１０６に進み、このステップＳ１０６以降の処理手順を実行する。
【００９１】
つぎに、上述したｍ×ｎ画素の動き成分マップに含まれる各画素ブロックが各々１６×１６画素の画素ブロックである場合を例示して、補正処理部３６による処理対象の白色光画像の補正処理を具体的に説明する。図８は、処理対象の白色光画像の動き成分マップの一具体例を示す模式図である。図９は、動き成分を加味して白色光画像を補正処理する状態を示す模式図である。
【００９２】
図８に示すように、上述した動き検出部３５によって生成される処理対象の白色光画像（ｍ×ｎ画素）の動き成分マップＭＰは、１６×１６画素を画素ブロック単位とするＭブロック×Ｎブロックの画素ブロックＤ（ｉ，ｊ）によって形成される。ここで、画素ブロックＤ（ｉ，ｊ）は、この動き成分マップＭＰに設定されたｘ軸およびｙ軸の２軸直交座標系のブロック座標（ｉ，ｊ）（１≦ｉ≦Ｍ、１≦ｊ≦Ｎ）における画素ブロックである。例えば、画素ブロックＤ（１，１）は、動き成分マップＭＰのブロック座標（１，１）における画素ブロックであり、画素ブロックＤ（Ｍ，Ｎ）は、動き成分マップＭＰのブロック座標（Ｍ，Ｎ）における画素ブロックである。
【００９３】
なお、かかる動き成分マップＭＰに設定される２軸直交座標系は、例えば図８に示すように、動き成分マップＭＰの横軸をｘ軸とし、縦軸をｙ軸としている。また、この２軸直交座標系は、図８における動き成分マップＭＰの左上角を原点とし、ｘ軸は、この動き成分マップＭＰの右方向を正方向とし、ｙ軸は、この動き成分マップＭＰの下方向を正方向としている。かかる動き成分マップＭＰにおいて、横軸のブロック数Ｍ＝ｍ画素／１６であり、縦軸のブロック数Ｎ＝ｎ画素／１６である。
【００９４】
かかるＭブロック×Ｎブロックの動き成分マップＭＰは、上述した動き検出部３５によって算出された動き成分Ｖ（ｉ，ｊ）を画素ブロックＤ（ｉ，ｊ）毎に含んでいる。例えば、動き成分マップＭＰにおいて、画素ブロックＤ（１，１）の動き成分はＶ（１，１）であり、画素ブロックＤ（Ｍ，１）の動き成分はＶ（Ｍ，１）であり、画素ブロックＤ（１，Ｎ）の動き成分はＶ（１，Ｎ）であり、画素ブロックＤ（Ｍ，Ｎ）の動き成分はＶ（Ｍ，Ｎ）である。なお、かかる画素ブロックＤ（ｉ，ｊ）の動き成分Ｖ（ｉ，ｊ）は、上述した式（１）に基づいて算出される。
【００９５】
ここで、上述した補正処理部３６は、かかる動き成分マップＭＰ内の動き成分Ｖ（ｉ，ｊ）を加味して処理対象の白色光画像の輝度値を補正する。かかる補正処理部３６において、補正輝度算出部３６ｄは、処理対象であるｍ×ｎ画素の白色光画像Ｐｗと動き成分マップＭＰとを取得する。補正輝度算出部３６ｄは、まず、この動き成分マップＭＰ内の各画素ブロックＤ（ｉ，ｊ）を元の画素単位であるｍ×ｎ画素に分割する。具体的には、補正輝度算出部３６ｄは、この動き成分マップＭＰ内の各画素ブロックＤ（１，１）〜Ｄ（Ｍ，Ｎ）の各々を１６×１６画素に分割する。
【００９６】
次いで、補正輝度算出部３６ｄは、これら分割後の各画素の動き成分Ｖｄ（ｘ，ｙ）を算出する。この場合、補正輝度算出部３６ｄは、かかる分割前の画素ブロックＤ（ｉ，ｊ）の動き成分Ｖ（ｉ，ｊ）と、この画素ブロックＤ（ｉ，ｊ）から分割した各画素の動き成分Ｖｄ（ｘ，ｙ）とを同値にする。例えば、画素ブロックＤ（１，１）から分割した１６×１６の各画素の動き成分Ｖｄ（ｘ，ｙ）は動き成分Ｖ（１，１）と同値であり、画素ブロックＤ（Ｍ，Ｎ）から分割した１６×１６の各画素の動き成分Ｖｄ（ｘ，ｙ）は動き成分Ｖ（Ｍ，Ｎ）と同値である。
【００９７】
このように動き成分マップＭＰの各画素の動き成分Ｖｄ（ｘ，ｙ）を算出した補正輝度算出部３６ｄは、上述した式（４）に基づいて、処理対象の白色光画像Ｐｗおよび動き成分マップＭＰの対応画素毎に、動き成分Ｖｄ（ｘ，ｙ）を加味した補正輝度値Ｗｄ（ｘ，ｙ）を算出し、この算出した各画素の補正輝度値Ｗｄ（ｘ，ｙ）を有する規格化用画像Ｐｒを生成する（図９参照）。このようにして、補正処理部３６は、動き成分マップＭＰの各画素の動き成分Ｖｄ（ｘ，ｙ）を加味した白色光画像Ｐｗの補正処理を達成する。
【００９８】
なお、かかる補正処理後の白色光画像である規格化用画像Ｐｒの各画素の補正輝度値Ｗｄ（ｘ，ｙ）は、上述した規格化処理部３７に送信され、観察部位１００の蛍光画像Ｐｆの規格化処理に用いられる。ここで、かかる補正輝度値Ｗｄ（ｘ，ｙ）に含まれる動き成分Ｖｄ（ｘ，ｙ）は、被写体である観察部位１００と反射光撮像部２６との撮像距離の遠近に応じて変化する値であり、具体的には、撮像距離の増加に伴って減少し、撮像距離の減少に伴って増加する。かかる動き成分Ｖｄ（ｘ，ｙ）を反映した補正輝度値Ｗｄ（ｘ，ｙ）を画素毎に含む規格化用画像Ｐｒは、正反射光画素の有無によらず、被写体である観察部位１００と反射光撮像部２６との撮像距離を正確に反映した輝度分布を有する。
【００９９】
上述した規格化処理部３７は、かかる規格化用画像Ｐｒの補正輝度値Ｗｄ（ｘ，ｙ）によって観察部位１００の蛍光画像Ｐｆの輝度値を対応画素毎に規格化処理することによって、観察部位１００からの正反射光の影響を受けることなく、観察部位１００と蛍光撮像部２８との撮像距離に応じて変化する蛍光画像Ｐｆ内の蛍光の明暗（輝度値）を正確に補正できる。かかる規格化処理された蛍光画像Ｐｆ（すなわち規格化蛍光画像）において、励起光照射による蛍光発生源である病変部１０１は、観察部位１００と蛍光撮像部２８との撮像距離に関わらず、比較的高い輝度の画素によって描画される。
【０１００】
また、かかる処理対象の白色光画像Ｐｗおよび蛍光画像Ｐｆは、上述したように同じタイミングに撮像された観察部位１００の画像情報である。このため、かかる白色光画像Ｐｗおよび蛍光画像Ｐｆの間において病変部１０１等の被写体の位置は一致する。規格化処理部３７は、このような白色光画像Ｐｗに対応する規格化用画像Ｐｒを用いることによって、高精度に蛍光画像Ｐｆの輝度値を規格化処理することができる。
【０１０１】
以上、説明したように、本発明の実施の形態１では、観察部位から反射した白色光に基づいた観察部位の白色光画像と、この観察部位から発生した蛍光に基づいた観察部位の蛍光画像と、を処理対象の画像情報として取得し、過去に取得した観察部位の過去の白色光画像と処理対象の白色光画像とをもとに、この処理対象の白色光画像の動き成分を検出し、この検出した動き成分を加味して処理対象の白色光画像の輝度値を補正処理し、この補正処理後の輝度値によって処理対象の蛍光画像の輝度値を規格化処理するように構成した。このため、処理対象の白色光画像の輝度値に、被写体の撮像距離の遠近に応じて変化する画素の動き成分を反映させることができ、これによって、正反射光画素の有無によらず、被写体の撮像距離を正確に反映した輝度分布を有する規格化用画像を生成できる。かかる規格化用画像の輝度値によって処理対象の蛍光画像の輝度値を規格化処理することによって、正反射光の影響を受けることなく、観察対象の蛍光画像の輝度を正確に補正することができる。この結果、観察部位内の病変部等の異常組織を蛍光画像内に明確に描画でき、これによって、観察対象の蛍光画像による被検体内の異常組織の検出能および診断能を高めることができる。
【０１０２】
また、この実施の形態１では、観察部位の蛍光画像と同じタイミングに撮像された観察部位の白色光画像に対応する規格化用画像によって、この蛍光画像の輝度値を規格化処理しているので、これら両画像間における被写体の位置ずれの影響を受けることなく、高精度に蛍光画像の輝度値を補正することができる。
【０１０３】
（実施の形態２）
つぎに、本発明の実施の形態２について説明する。上述した実施の形態１では、同じタイミングに撮像された観察部位１００の蛍光画像および白色光画像を取得し、この白色光画像の動き成分を加味した補正輝度値によって観察部位１００の蛍光画像を規格化処理していたが、この実施の形態２では、異なるタイミングに撮像された観察部位１００の白色光画像と蛍光画像とを取得し、この白色光画像の動き成分をこの蛍光画像の撮像タイミングにおける動き成分に補償し、この補償処理後の動き成分を加味した白色光画像の補正輝度値によって観察部位１００の蛍光画像を規格化処理している。
【０１０４】
図１０は、本発明の実施の形態２にかかる内視鏡装置の一構成例を模式的に示すブロック図である。図１０に示すように、この実施の形態２にかかる内視鏡装置２は、上述した実施の形態１にかかる内視鏡装置１の光源装置１０に代えて光源装置２１０を備え、ダイクロイックミラー２４に代えてハーフミラー２２４を備え、バリアフィルタ２７に代えてバリアフィルタ２２７を備え、蛍光撮像部２８に代えて蛍光撮像部２２８を備え、画像処理装置３０に代えて画像処理装置２３０を備える。この内視鏡装置２において、光源装置２１０は、観察部位１００への照射光を励起光または白色光に切り替える回転フィルタ２１４と、回転フィルタ２１４の駆動源であるモータ２１５と、回転フィルタ２１４を制御するフィルタ制御部２１６とを更に備える。また、画像処理装置２３０は、上述した実施の形態１にかかる画像処理装置３０の動き検出部３５に代えて動き検出部２３５を備え、制御部３９に代えて制御部２３９を備え、さらに、動き補償部２３６を備える。その他の構成は実施の形態１と同じであり、同一構成部分には同一符号を付している。
【０１０５】
光源装置２１０は、蛍光薬剤を励起する励起光と照明光の一例である白色光とを交互に切り替えて観察部位１００に照射する光源部として機能する。具体的には、光源装置２１０は、上述した白色光源１１、コリメートレンズ１２および集光レンズ１３の他に、回転フィルタ２１４と、モータ２１５と、フィルタ制御部２１６とを備える。
【０１０６】
回転フィルタ２１４は、白色光源１１によって発光された白色光から所定の波長帯域の光を抽出する。図１１は、回転フィルタの一構成例を示す模式図である。図１２は、回転フィルタの透過率特性の一例を示す模式図である。なお、図１２には、この回転フィルタ２１４が抽出した励起光によって発生する蛍光の分光特性を例示する波長対強度の相関線Ｃ１２が図示されている。回転フィルタ２１４は、図１１に示すように、互いに分光特性の異なる白色光フィルタ２１４ａおよび励起光フィルタ２１４ｂを備える。
【０１０７】
白色光フィルタ２１４ａは、白色光源１１によって発光された白色光のうちの所定の波長帯域の白色光を透過させる。具体的には、白色光フィルタ２１４ａは、図１２に示す波長対透過率の相関線Ｃ１のように、４００〜７４０ｎｍの波長帯域の白色光を透過させる透過率特性を有する。かかる透過率特性を有する白色光フィルタ２１４ａは、白色光源１１による射出光から４００〜７４０ｎｍの波長帯域の白色光を抽出し、この抽出した白色光を観察部位１００の照明光として透過させる。
【０１０８】
励起光フィルタ２１４ｂは、白色光源１１によって発光された白色光のうちの所定の波長帯域の励起光を透過させる。具体的には、励起光フィルタ２１４ｂは、図１２に示す波長対透過率の相関線Ｃ１１のように、４９０〜５５０ｎｍの波長帯域の励起光を透過させる透過率特性を有する。かかる透過率特性を有する励起光フィルタ２１４ｂは、白色光源１１が発光した白色光から４９０〜５５０ｎｍの波長帯域の光である励起光を抽出し、この抽出した励起光を透過させる。なお、かかる励起光フィルタ２１４ｂによって抽出された励起光は、例えば観察部位１００に存在する腫瘍等の病変部１０１に特異的に集積する蛍光薬剤を励起して、例えば５５０〜６１０ｎｍの波長帯域の蛍光（図１２に示す相関線Ｃ１２を参照）を発生させる特性を有する。
【０１０９】
このような白色光フィルタ２１４ａおよび励起光フィルタ２１４ｂを有する回転フィルタ２１４は、モータ２１５の駆動によって周方向に回転し、これによって、白色光源１１からの白色光の光路（図１０に示す光源装置２１０内の破線参照）内に、白色光フィルタ２１４ａおよび励起光フィルタ２１４ｂを順次切り替えて位置させる。かかる回転フィルタ２１４は、この光路内に白色光フィルタ２１４ａを位置させた状態において４００〜７４０ｎｍの白色光を透過させ、この光路内に励起光フィルタ２１４ｂを位置させた状態において４９０〜５５０ｎｍの励起光を透過させる。すなわち、回転フィルタ２１４は、かかる白色光と励起光とを交互に透過させる。
【０１１０】
なお、かかる回転フィルタ２１４の励起光フィルタ２１４ｂは、図１２の相関線Ｃ１１に例示される透過率特性を有するものに限らず、観察部位１００から蛍光を発生させる励起光を透過するものであれば、所望の透過率特性を有するものであってもよい。この場合、かかる励起光フィルタ２１４ｂの透過波長帯域は、可視光帯域内における所望の波長帯域であってもよいし、可視光帯域外における所望の波長帯域であってもよい。
【０１１１】
フィルタ制御部２１６は、上述した回転フィルタ２１４の回転による光路内のフィルタ切替を制御する。具体的には、フィルタ制御部２１６は、回転軸を介して回転フィルタ２１４と接続されたモータ２１５の回転駆動を制御し、このモータ２１５の駆動制御を通して回転フィルタ２１４の回転駆動を制御する。これによって、フィルタ制御部２１６は、上述した白色光源１１からの白色光の光路内に白色光フィルタ２１４ａと励起光フィルタ２１４ｂとを所定の時間間隔で交互に位置させる。このようにして、フィルタ制御部２１６は、かかる光路内における回転フィルタ２１４のフィルタ切替を制御する。また、フィルタ制御部２１６は、かかるモータ２１５の回転数等の回転駆動状態をもとに、白色光フィルタ２１４ａおよび励起光フィルタ２１４ｂのいずれが光路内に位置しているかを把握する。フィルタ制御部２１６は、かかる光路内に位置するフィルタ（白色光フィルタ２１４ａまたは励起光フィルタ２１４ｂ）を示すフィルタ情報を画像処理装置２３０の制御部２３９に送信する。なお、かかるフィルタ制御部２１６の動作は、後述する画像処理装置２３０の制御部２３９によって制御される。
【０１１２】
なお、かかる構成を有する光源装置２１０によって交互に射出される白色光および励起光は、挿入部２０のライトガイドファイバ２１等を介して、所定の時間間隔で観察部位１００に交互に照射される。
【０１１３】
ハーフミラー２２４は、対物レンズ２３を透過した観察部位１００からの光を反射光撮像部２６側と蛍光撮像部２２８側とに同様に分岐する。具体的には、ハーフミラー２２４は、観察部位１００に光源装置２１０からの白色光が照射された場合、この観察部位１００から反射した白色光を反射光撮像部２６側の光路と蛍光撮像部２２８側の光路とに分岐する。一方、ハーフミラー２２４は、観察部位１００に光源装置２１０からの励起光が照射された場合、この観察部位１００から発生した蛍光と観察部位１００から反射した励起光とを反射光撮像部２６側の光路と蛍光撮像部２２８側の光路とに分岐する。
【０１１４】
バリアフィルタ２２７は、ハーフミラー２２４によって蛍光撮像部２２８側の光路に分岐された観察部位１００からの蛍光のみを透過させ、この蛍光以外の光（例えば励起光等）を遮断する。図１３は、実施の形態２におけるバリアフィルタの透過率特性の一例を示す模式図である。バリアフィルタ２２７は、図１３に示す波長対透過率の相関線Ｃ１３のように、５５０〜６１０ｎｍの波長帯域の光を透過させる透過率特性を有する。かかる透過率特性を有するバリアフィルタ２２７は、ハーフミラー２２４によって蛍光撮像部２２８側の光路に分岐された観察部位１００からの光のうち、観察部位１００からの反射した白色光および励起光を遮断するとともに、５５０〜６１０ｎｍの波長帯域の光である観察部位１００からの蛍光を透過させる。
【０１１５】
蛍光撮像部２２８は、上述した反射光撮像部２６と異なる撮像タイミングに観察部位１００の蛍光画像を撮像する。具体的には、蛍光撮像部２２８は、観察部位１００に光源装置２１０からの励起光が照射された際、ハーフミラー２２４によって蛍光撮像部２２８側の光路に分岐された観察部位１００からの蛍光、すなわちバリアフィルタ２２７を透過した蛍光を受光する。これによって、蛍光撮像部２２８は、観察部位１００に励起光が照射されたタイミングにおける観察部位１００の蛍光画像を撮像する。ここで、上述した反射光撮像部２６は、光源装置２１０から所定の時間間隔で交互に射出される光のうちの白色光が観察部位１００に照射された際、ハーフミラー２２４によって反射光撮像部２６側の光路に分岐された観察部位１００からの白色光を受光して、観察部位１００の白色光画像を撮像する。すなわち、蛍光撮像部２２８は、この白色光画像の撮像タイミングから所定の時間間隔をあけたタイミングに観察部位１００の蛍光画像を撮像する。なお、蛍光撮像部２２８は、かかる反射光撮像部２６と異なるタイミングの蛍光画像の撮像機能以外、上述した実施の形態１における蛍光撮像部２８と同様の機能を有する。
【０１１６】
画像処理装置２３０は、上述したように、実施の形態１における動き検出部３５に代えて動き検出部２３５を備え、実施の形態１における制御部３９に代えて制御部２３９を備え、さらに動き補償部２３６を備える。なお、画像処理装置２３０は、かかる動き検出部２３５、動き補償部２３６および制御部２３９の機能以外、上述した実施の形態１にかかる画像処理装置３０と同様の機能を有する。
【０１１７】
動き検出部２３５は、反射光画像取得部３１が時系列順に順次取得した観察部位１００の２フレームの反射光画像をもとに、処理対象の反射光画像の動き成分を検出する。具体的には、動き検出部２３５は、前処理部３３によって処理された観察部位１００の白色光画像（処理対象の白色光画像）を前処理部３３から取得する。また、動き検出部２３５は、この処理対象の白色光画像に比して所望フレーム（例えば１フレーム）前に撮像された観察部位１００の白色光画像（過去の白色光画像）を記憶部３４から読み出す。なお、かかる処理対象の白色光画像および過去の白色光画像は、光源装置２１０から所定の時間間隔で観察部位１００に照射される白色光の各照射タイミングに順次撮像された観察部位１００の白色光画像であり、互いに時系列順に連続する。動き検出部２３５は、かかる時系列順に連続する処理対象の白色光画像と過去の白色光画像とをもとに、ブロックマッチング法等に基づいて、この処理対象の白色光画像の動き成分を検出する。また、動き検出部２３５は、かかる時系列順に連続する処理対象の白色光画像と過去の白色光画像との間の動きベクトルを画素毎または画素ブロック毎に検出し、この検出した各動きベクトルを代表する代表ベクトルを算出する。この動き検出部２３５が算出する代表ベクトルは、かかる各画素または各画素ブロックの動きベクトルの平均であってもよいし、メディアンであってもよい。動き検出部２３５は、かかる処理対象の白色光画像の動き成分マップと代表ベクトルとを動き補償部２３６に送信する。なお、動き検出部２３５は、かかる動き成分および代表ベクトルの検出機能以外、上述した実施の形態１における動き検出部３５と同様の機能を有する。
【０１１８】
動き補償部２３６は、動き検出部２３５が検出した処理対象の反射光画像の動き成分を処理対象の蛍光画像と同じ撮像タイミングにおける動き成分に補償する。具体的には、動き補償部２３６は、動き検出部２３５が検出した処理対象の白色光画像の動き成分マップと代表ベクトルとを取得する。動き補償部２３６は、この動き検出部２３５から取得した代表ベクトルと観察部位１００の白色光画像および蛍光画像の撮像時間間隔とをもとに、動き補償ベクトルを算出する。ここで、この動き補償ベクトルは、処理対象の白色光画像の各動きベクトルと処理対象の蛍光画像の撮像タイミングにおけるこの処理対象の白色光画像の各動きベクトルとの差を代表するベクトル情報である。動き補償部２３６は、かかる処理対象の白色光画像の動き成分マップと動き補償ベクトルとをもとに、この動き成分マップ内の各動き成分を観察部位１００の蛍光画像の撮像タイミングにおける動き成分に補償する。動き補償部２３６は、かかる動き補償処理後の動き成分マップを補正処理部３６に送信する。
【０１１９】
制御部２３９は、実施の形態１にかかる画像処理装置３０の制御部３９と同様に、処理プログラムを記憶する記憶部とこの記憶部内の処理プログラムを実行するコンピュータとを用いて実現される。制御部２３９は、入力装置４０によって入力された指示情報に基づいて、上述した光源装置２１０の回転フィルタ２１４のフィルタ切替制御を実行するようにフィルタ制御部２１６を制御する。
【０１２０】
また、制御部２３９は、上述したフィルタ情報をフィルタ制御部２１６から順次取得し、取得したフィルタ情報をもとに、光源装置２１０の光路内に現に位置する回転フィルタ２１４のフィルタが白色光フィルタ２１４ａおよび励起光フィルタ２１４ｂのいずれであるかを識別する。制御部２３９は、光源装置２１０の光路内のフィルタが白色光フィルタ２１４ａである場合、観察部位１００に白色光が照射されたタイミングに反射光撮像部２６が撮像した観察部位１００の白色光画像を取得するように反射光画像取得部３１を制御する。なお、制御部２３９は、光源装置２１０の光路内のフィルタが白色光フィルタ２１４ａではない場合、反射光撮像部２６からの映像信号を削除するように反射光画像取得部３１を制御する。一方、制御部２３９は、光源装置２１０の光路内のフィルタが励起光フィルタ２１４ｂである場合、観察部位１００に励起光が照射されたタイミングに蛍光撮像部２２８が撮像した観察部位１００の蛍光画像を取得するように蛍光画像取得部３２を制御する。なお、制御部２３９は、光源装置２１０の光路内のフィルタが励起光フィルタ２１４ｂではない場合、蛍光撮像部２２８からの映像信号を削除するように蛍光画像取得部３２を制御する。このようにして、制御部２３９は、所定の時間間隔で観察部位１００の白色光画像および蛍光画像を交互に取得するように反射光画像取得部３１および蛍光画像取得部３２を制御する。
【０１２１】
一方、制御部２３９は、上述した動き検出部２３５による処理対象の白色光画像の動き検出処理および代表ベクトル算出処理と、動き補償部２３６による処理対象の白色光画像の動き補償処理とを制御する。また、制御部２３９は、かかる動き補償部２３６による動き補償処理後の動き成分マップをもとに処理対象の白色光画像の輝度補正処理を実行するように補正処理部３６を制御する。なお、制御部２３９は、この実施の形態２における各制御機能以外、実施の形態１にかかる画像処理装置３０の制御部３９と同様の機能を有する。
【０１２２】
つぎに、本発明の実施の形態２にかかる画像処理装置２３０の動作について説明する。図１４は、本発明の実施の形態２にかかる画像処理装置の処理手順を例示するフローチャートである。図１５は、実施の形態２にかかる画像処理装置の動作を具体的に説明するための模式図である。
【０１２３】
図１４に示すように、画像処理装置２３０は、まず、観察部位１００の反射光画像を事前に取得する（ステップＳ３０１）。このステップＳ３０１において、制御部２３９は、光源装置２１０から観察部位１００に白色光が照射されるようにフィルタ制御部２１６を制御するとともに、この白色光の照射タイミングにおける観察部位１００の白色光画像を取得するように反射光画像取得部３１を制御する。
【０１２４】
かかる制御部２３９の制御に基づいて、フィルタ制御部２１６は、光源装置２１０の光路内に回転フィルタ２１４の白色光フィルタ２１４ａが位置するようにモータ２１５を制御する。この結果、観察部位１００には、光源装置２１０による白色光が照射される。一方、反射光画像取得部３１は、かかる制御部２３９の制御に基づいて、この光源装置２１０からの白色光が観察部位１００に照射されたタイミングＴ１に反射光撮像部２６が撮像した観察部位１００の白色光画像Ｐｗ１を取得し、この取得した白色光画像Ｐｗ１の各映像信号をデジタル変換後に前処理部３３に送信する。前処理部３３は、かかる制御部２３９の制御に基づいて、この反射光画像取得部３１から取得した白色光画像Ｐｗ１の各映像信号に対して上述した信号処理を行い、その後、この白色光画像Ｐｗ１の各映像信号を記憶部３４に送信する。記憶部３４は、後に処理対象となる観察部位１００の白色光画像Ｐｗ２（図１５参照）に比して過去の白色光画像として、この前処理部３３から取得した観察部位１００の白色光画像Ｐｗ１を記憶する。
【０１２５】
なお、上述したタイミングＴ１は、図１５に示すように、光源装置２１０からの励起光が観察部位１００に照射されるタイミングＴ２以前である。かかるタイミングＴ１において撮像された観察部位１００の白色光画像Ｐｗ１は、このタイミングＴ２において撮像される観察部位１００の蛍光画像Ｐｆに比して過去の画像情報である。
【０１２６】
つぎに、画像処理装置２３０は、処理対象となる観察部位１００の反射光画像および蛍光画像を取得する（ステップＳ３０２）。このステップＳ３０２において、制御部２３９は、まず、光源装置２１０から観察部位１００に励起光が照射されるようにフィルタ制御部２１６を制御するとともに、この励起光の照射タイミングにおける観察部位１００の蛍光画像を取得するように蛍光画像取得部３２を制御する。続いて、制御部２３９は、光源装置２１０から観察部位１００に白色光が照射されるようにフィルタ制御部２１６を制御するとともに、この白色光の照射タイミングにおける観察部位１００の白色光画像を取得するように反射光画像取得部３１を制御する。
【０１２７】
かかる制御部２３９の制御に基づいて、フィルタ制御部２１６は、まず、光源装置２１０の光路内に回転フィルタ２１４の励起光フィルタ２１４ｂが位置するようにモータ２１５を制御する。この結果、観察部位１００には、光源装置２１０による励起光が照射される。次いで、蛍光画像取得部３２は、かかる制御部２３９の制御に基づいて、この光源装置２１０からの励起光が観察部位１００に照射されたタイミングＴ２に蛍光撮像部２２８が撮像した観察部位１００の蛍光画像Ｐｆを取得し、この取得した蛍光画像Ｐｆの各映像信号をデジタル変換後に前処理部３３に送信する。一方、この観察部位１００への励起光の照射後に、フィルタ制御部２１６は、かかる制御部２３９の制御に基づいて、光源装置２１０の光路内に回転フィルタ２１４の白色光フィルタ２１４ａが再度位置するようにモータ２１５を制御する。この結果、観察部位１００には、上述した励起光の照射から所定の時間後に光源装置２１０による白色光が再度照射される。次いで、反射光画像取得部３１は、かかる制御部２３９の制御に基づいて、この光源装置２１０からの白色光が観察部位１００に照射されたタイミングＴ３に反射光撮像部２６が撮像した観察部位１００の白色光画像Ｐｗ２を取得し、この取得した白色光画像Ｐｗ２の各映像信号をデジタル変換後に前処理部３３に送信する。
【０１２８】
なお、上述した励起光が照射されたタイミングＴ２は、図１５に示すように、光源装置２１０からの白色光が観察部位１００に照射されたタイミングＴ１と光源装置２１０からの白色光が観察部位１００に再度照射されたタイミングＴ３との間のタイミングである。かかるタイミングＴ２において撮像された観察部位１００の蛍光画像Ｐｆは、このタイミングＴ１における観察部位１００の白色光画像Ｐｗ１以後の画像情報であって、このタイミングＴ３において撮像された観察部位１００の白色光画像Ｐｗ２に比して過去の画像情報である。すなわち、かかるタイミングＴ１，Ｔ３における観察部位１００の白色光画像Ｐｗ１，Ｐｗ２は、このタイミングＴ２における観察部位１００の蛍光画像Ｐｆを挟んで時系列順に連続する画像情報である。
【０１２９】
続いて、画像処理装置２３０は、図６に示した実施の形態１におけるステップＳ１０３の場合と同様に、ステップＳ３０２において取得した観察部位１００の白色光画像Ｐｗ２および蛍光画像Ｐｆの各映像信号の前処理を実行し（ステップＳ３０３）、その後、観察部位１００の反射光画像の動き検出処理を実行する（ステップＳ３０４）。このステップＳ３０４において、制御部２３９は、観察部位１００の蛍光画像Ｐｆを挟んで時系列順に連続する観察部位１００の白色光画像Ｐｗ１，Ｐｗ２をもとに処理対象の白色光画像Ｐｗ２の動き検出処理、代表ベクトル算出処理およびフィルタリング処理を実行するように動き検出部２３５を制御する。
【０１３０】
かかる制御部２３９の制御に基づいて、動き検出部２３５は、前処理部３３から取得した処理対象の白色光画像Ｐｗ２と記憶部３４から読み出した過去の白色光画像Ｐｗ１とをもとに、この処理対象の白色光画像Ｐｗ２の動き成分を検出する。具体的には、動き検出部２３５は、ｍ×ｎ画素の画像情報であるこの処理対象の白色光画像Ｐｗ２をＭ×Ｎの画素ブロックに分割する。動き検出部２３５は、かかるＭ×Ｎの画素ブロックからなる処理対象の白色光画像Ｐｗ２を基準画像とし、記憶部３４から読み出した過去の白色光画像Ｐｗ１を参照画像としたブロックマッチング法等に基づいて、この処理対象の白色光画像Ｐｗ２の各画素ブロックの動きベクトルを算出する。動き検出部２３５は、上述した式（１）に基づいて、この処理対象の白色光画像Ｐｗ２の各画素ブロックの動きベクトルの動き成分Ｖ（ｉ，ｊ）を算出する。動き検出部２３５は、かかる白色光画像Ｐｗ２の各画素ブロックの動き成分Ｖ（ｉ，ｊ）を含む動き成分マップを生成する。なお、かかる白色光画像Ｐｗ２の各画素ブロックの動き成分Ｖ（ｉ，ｊ）は、上述した観察部位１００の蛍光画像ＰｆのタイミングＴ２から所定の時間以後のタイミングＴ３における動き成分である。また、動き検出部２３５は、上述した実施の形態１の場合と同様に、この処理対象の白色光画像Ｐｗ２の画素毎に注目画素と周辺画素との輝度比較処理を行い、この輝度比較処理の結果に基づいて、上述したフィルタリング処理を適宜行う。
【０１３１】
また、動き検出部２３５は、かかる処理対象の白色光画像Ｐｗ２と過去の白色光画像Ｐｗ１との間の動きベクトルを画素毎または画素ブロック毎に検出し、この検出した各動きベクトルを代表する代表ベクトルＶｒを算出する。動き検出部２３５は、上述したフィルタリング処理後の白色光画像Ｐｗ２の動き成分マップおよび代表ベクトルＶｒを動き補償部２３６に送信する。
【０１３２】
つぎに、画像処理装置２３０は、観察部位１００の反射光画像の動き補償処理を実行する（ステップＳ３０５）。このステップＳ３０５において、制御部２３９は、動き検出部２３５が検出した処理対象の白色光画像Ｐｗ２の動き成分を処理対象の蛍光画像Ｐｆと同じ撮像タイミングにおける動き成分に補償するように動き補償部２３６を制御する。
【０１３３】
かかる制御部２３９の制御に基づいて、動き補償部２３６は、処理対象の白色光画像Ｐｗ２、すなわちタイミングＴ３における観察部位１００の白色光画像Ｐｗ２の動き成分を観察部位１００の蛍光画像Ｐｆと同じタイミングＴ２における動き成分に補償する。
【０１３４】
具体的には、動き補償部２３６は、動き検出部２３５から処理対象の白色光画像Ｐｗ２の動き成分マップおよび代表ベクトルＶｒを取得する。動き補償部２３６は、この取得した代表ベクトルＶｒと観察部位１００の白色光画像Ｐｗ１，Ｐｗ２および蛍光画像Ｐｆの各時間間隔△Ｔ１，△Ｔ２とをもとに、動き補償ベクトルＶｆを算出する。ここで、この時間間隔△Ｔ１は、処理対象の蛍光画像ＰｆのタイミングＴ２と過去の白色光画像Ｐｗ１のタイミングＴ１との時間差であり、この時間間隔△Ｔ２は、処理対象の白色光画像Ｐｗ２のタイミングＴ３と処理対象の蛍光画像ＰｆのタイミングＴ２との時間差である（図１５を参照）。動き補償部２３６は、次式（５）に基づいて、このタイミングＴ３における白色光画像Ｐｗ２の各動きベクトルとタイミングＴ２における白色光画像Ｐｗ２の各動きベクトルとの差を代表するベクトル情報である動き補償ベクトルＶｆを算出する。
【０１３５】
【数５】
【０１３６】
動き補償部２３６は、かかるタイミングＴ３における白色光画像Ｐｗ２の動き成分マップと動き補償ベクトルＶｆとをもとに、この動き成分マップ内の各動き成分を観察部位１００の蛍光画像ＰｆのタイミングＴ２における動き成分に補償する。この場合、動き補償部２３６は、かかるタイミングＴ３における動き成分マップ内の各画素ブロックの動きベクトルから動き補償ベクトルＶｆを各々減算し、この減算処理後の各画素ブロックの動きベクトルの動き成分を動き補償処理後の動き成分Ｖ（ｉ，ｊ）として算出する。なお、かかる動き補償処理後の動き成分Ｖ（ｉ，ｊ）は、観察部位１００の蛍光画像ＰｆのタイミングＴ２における処理対象の白色光画像Ｐｗ２の動き成分であり、上述した式（１）と同様に算出される。動き補償部２３６は、かかる動き補償処理後の動き成分Ｖ（ｉ，ｊ）を画素ブロック単位の動き成分として含む動き成分マップを生成し、この生成した動き成分マップを動き補償処理後の動き成分マップとして補正処理部３６に送信する。
【０１３７】
つぎに、画像処理装置２３０は、観察部位１００の反射光画像の検出動き成分に基づく補正処理を行う（ステップＳ３０６）。このステップＳ３０６において、制御部２３９は、動き補償部２３６による動き補償処理後の動き成分Ｖ（ｉ，ｊ）を加味して処理対象の白色光画像の輝度値を補正処理するように補正処理部３６を制御する。
【０１３８】
かかる制御部２３９の制御に基づいて、補正処理部３６は、前処理部３３から取得した処理対象の白色光画像Ｐｗ２の各画素の輝度値を補正する。この場合、補正処理部３６は、上述した動き検出部３５から動き成分マップを取得する代わりに、動き補償部２３６から動き補償処理後の動き成分マップを取得し、この動き補償処理後の動き成分マップと前処理部３３から取得した処理対象の白色光画像Ｐｗ２とを用いて図７に示したステップＳ２０１〜Ｓ２０５の処理手順を実行する。この結果、補正処理部３６は、この処理対象の白色光画像Ｐｗ２の輝度値に動き補償処理後の動き成分Ｖｄ（ｘ，ｙ）を反映した補正輝度値Ｗｄ（ｘ，ｙ）を画素毎に算出し、この算出した各画素の補正輝度値Ｗｄ（ｘ，ｙ）を有する規格化用画像Ｐｒを生成する（図１５参照）。補正処理部３６は、かかる規格化用画像Ｐｒの各画素の補正輝度値Ｗｄ（ｘ，ｙ）を規格化処理部３７に送信する。
【０１３９】
ここで、この動き補償処理後の動き成分Ｖｄ（ｘ，ｙ）は、上述した動き補償部２３６による動き補償処理後の動き成分マップ内の画素ブロックの動き成分Ｖ（ｉ，ｊ）を画素単位に分割したものであり、この処理対象の白色光画像Ｐｗ２に設定された２軸直交座標系の画素座標（ｘ，ｙ）における動き成分である。かかる動き補償処理後の動き成分Ｖｄ（ｘ，ｙ）は、観察部位１００の蛍光画像Ｐｆと同じタイミングＴ２における処理対象の白色光画像Ｐｗ２の各画素の動き成分であるとともに、上述した実施の形態１の場合と同様に、被写体である観察部位１００と反射光撮像部２６との撮像距離の遠近に応じて変化する値である。かかる動き補償処理後の動き成分Ｖｄ（ｘ，ｙ）を反映した補正輝度値Ｗｄ（ｘ，ｙ）を画素毎に含む規格化用画像Ｐｒは、タイミングＴ２における観察部位１００の蛍光画像Ｐｆと被写体の位置が略一致するとともに、正反射光画素の有無によらず、被写体である観察部位１００と反射光撮像部２６との撮像距離を正確に反映した輝度分布を有する。
【０１４０】
その後、画像処理装置２３０は、図６に示したステップＳ１０６〜Ｓ１０８と同様に、観察部位１００の蛍光画像Ｐｆを規格化処理し（ステップＳ３０７）、このステップＳ３０７による観察部位１００の規格化蛍光画像の後処理を行い（ステップＳ３０８）、この後処理後の観察部位１００の規格化蛍光画像の出力処理を行う（ステップＳ３０９）。次いで、画像処理装置２３０は、図６に示したステップＳ１０９と同様に、所定のオフ操作等の処理終了操作が行われた場合（ステップＳ３１０，Ｙｅｓ）、本処理を終了する。一方、画像処理装置２３０は、かかる処理終了操作が行われていない場合（ステップＳ３１０，Ｎｏ）、上述したステップＳ３０２に戻り、このステップＳ３０２以降の処理手順を繰り返す。この場合、制御部２３９は、上述したＳ３０２〜Ｓ３１０の処理手順を行って、画像処理装置２３０の各構成部を適宜制御する。
【０１４１】
以上、説明したように、本発明の実施の形態２では、観察部位の白色光画像と蛍光画像とを所定の時間間隔で交互に取得し、この蛍光画像を挟んで時系列順に順次取得した２フレームの白色光画像をもとに、これら２フレームの白色光画像のうちの一つである処理対象の白色光画像の動き成分を検出し、この検出した動き成分をこの蛍光画像の撮像タイミングにおける動き成分に補償し、この動き補償処理後の動き成分を加味して処理対象の白色光画像の輝度値を補正処理するようにし、その他を実施の形態１と同様に構成した。このため、上述した実施の形態１の場合と同様の作用効果を享受するとともに、観察部位を照明する白色光と観察部位から蛍光を発生させる励起光とを異なるタイミングに交互に照射でき、これによって、この白色光の波長帯域と蛍光の波長帯域とを分離する必要がなく、この白色光の波長帯域内外によらず、所望の波長帯域の蛍光を発生させる励起光を照射することができる。この結果、蛍光観察に用いる蛍光および励起光の波長帯域を選択する際の自由度が高まって、観察部位の蛍光観察を容易に行うことができる。
【０１４２】
なお、上述した実施の形態１，２では、補正輝度算出部３６ｄは、動き成分マップまたは動き補償処理後の動き成分マップに含まれる各画素の動き成分を加味して処理対象の反射光画像（例えば観察部位１００の白色光画像）の補正輝度値を算出していたが、さらに、この処理対象の反射光画像に正反射光を受光した画素、すなわち正反射光画素が含まれるか否かを判断し、正反射光画素が含まれる場合、正反射光画素が含まれない場合に比して正反射光画素に対応する補正輝度値を大きくしてもよい。すなわち、補正輝度算出部３６ｄは、正反射光画素と正反射光画素以外の画素との間で補正輝度値の係数の重み付けを変化させ、正反射光画素以外の画素に比して正反射光画素の補正輝度値の重み付けを大きくしてもよい。
【０１４３】
また、補正輝度算出部３６ｄは、処理対象の反射光画像に正反射光画素が含まれるか否かを判断し、正反射光画素が含まれる場合、この正反射光画素の輝度値を所定の輝度値に置換するクリップ処理を行ってもよい。具体的には、補正輝度算出部３６ｄは、処理対象の反射光画像の各画素の輝度値と予め設定された閾値とを比較し、この閾値に比して大きい輝度値を有する画素を正反射光画素と判定する。補正輝度算出部３６ｄは、このように判定した正反射光画素の輝度値を、予め設定した輝度値に置換する。これによって、処理対象の反射光画像における正反射光画素と正反射光画素以外の画素との輝度差を軽減でき、この結果、観察部位からの正反射光の影響を受けることなく蛍光画像の各輝度値を高精度に補正することができる。
【０１４４】
さらに、補正輝度算出部３６ｄは、上述した式（４）に示すように、この処理対象の白色光画像の輝度値Ｗ（ｘ，ｙ）と動き成分Ｖｄ（ｘ，ｙ）との加算処理を行って補正輝度値Ｗｄ（ｘ，ｙ）を算出していたが、これに限らず、この処理対象の白色光画像の輝度値Ｗ（ｘ，ｙ）と動き成分Ｖｄ（ｘ，ｙ）との乗算処理を行って補正輝度値Ｗｄ（ｘ，ｙ）を算出しもよい。
【０１４５】
また、上述した実施の形態１，２では、補正輝度算出部３６ｄは、動き成分マップに含まれるＭ×Ｎの画素ブロックを元の画素単位、すなわちｍ×ｎ画素に分割して各画素の動き成分Ｖｄ（ｘ，ｙ）を算出していたが、これに限らず、バイリニア補間またはバイキュービック補間を用いた公知の拡大処理によって各画素の動き成分Ｖｄ（ｘ，ｙ）を算出してもよい。
【０１４６】
さらに、上述した実施の形態１，２では、規格化処理部３７は、上述した式（２）に基づいて規格化蛍光画像の輝度値Ｑ（ｘ，ｙ）を算出していたが、この式（２）における定数Ｋは、画像を取得した際の撮像素子の露光時間またはゲインに依存する定数であってもよいし、入力装置４０によって予め入力されるユーザによる設定値であってもよい。また、この式（２）において、補正輝度値Ｗｄ（ｘ，ｙ）が零値の場合、規格化蛍光画像の輝度値Ｑ（ｘ，ｙ）を零値に規定していたが、これに限らず、補正輝度値Ｗｄ（ｘ，ｙ）が零値の場合、規格化蛍光画像の輝度値Ｑ（ｘ，ｙ）を、予め設定した輝度値にしてもよいし、エラー警告を発生させてもよい。
【０１４７】
また、上述した実施の形態１，２では、上述した動き成分マップ内の画素ブロックとして１６×１６画素の画素ブロックを例示していたが、これに限らず、上述した動き成分マップ内の各画素ブロックは、３×３画素または４×４画素等の正方形画素ブロックであってもよいし、７×５画素または４×６画素等の長方形画素ブロックであってもよい。
【０１４８】
さらに、上述した実施の形態１，２では、照明光の一例として白色光を観察部位に照射していたが、これに限らず、観察部位に照射する照明光は、赤色または緑色等の所望の色成分の光であってもよい。
【０１４９】
また、上述した実施の形態１，２では、画像出力装置５０に観察部位の規格化蛍光画像を表示していたが、これに限らず、画像出力装置５０は、観察部位の白色光画像および規格化蛍光画像を同時に表示してもよい。また、上述した画像出力装置５０は、観察部位の蛍光画像等を画面表示するものに限らず、紙等の印刷媒体に観察部位の白色光画像および規格化蛍光画像を印刷するプリンタ等であってもよいし、ハードディスク等の内蔵型の記憶メディアまたはメモリカード等の可搬型の記憶メディアを備え、かかる記憶メディアに観察部位の白色光画像および規格化蛍光画像を記憶する記憶装置であってもよい。
【０１５０】
さらに、上述した実施の形態１，２では、画像処理装置と接続された挿入部に撮像部を内蔵した内視鏡装置を本発明にかかる撮像装置の一例として例示したが、これに限らず、本発明にかかる画像処理装置と撮像部とが別体の状態に構成された撮像装置であってもよい。この場合、撮像部側においては、別体の撮像部によって撮像された映像信号を未処理の生データの形式でメモリカード等の記憶メディアに記録するとともに、撮像条件または撮像時に得られたデータ等の付随情報をヘッダ情報として記憶メディアに記録する。本発明にかかる画像処理装置は、この記憶メディアから映像信号などの記録情報を読み出し、この読み出した映像信号などに対して上述した各種処理を行ってもよい。なお、かかる撮像部による映像信号などの情報は、記憶メディアを介して画像処理装置に取得されてもよいし、有線または無線の通信回線を介して画像処理装置に取得されてもよい。
【０１５１】
また、上述した実施の形態１では、励起光の波長帯域を６８０〜７４０ｎｍに規定していたが、これに限らず、観察部位に照射される白色光等の照明光の波長帯域以外の蛍光を発生させる励起光であれば、この励起光の波長帯域は所望のものであってもよい。この場合、かかる励起光によって発生する蛍光の波長帯域は、白色光等の照明光の波長帯域以上また以下のいずれであってもよい。
【０１５２】
さらに、上述した実施の形態２では、励起光の波長帯域を４９０〜５５０ｎｍに規定していたが、これに限らず、この実施の形態２における励起光の波長帯域は、観察部位に照射される白色光等の照明光の波長帯域内外のいずれであってもよい。この場合、かかる励起光によって発生する蛍光の波長帯域は、白色光等の照明光の波長帯域内外のいずれであってもよい。
【０１５３】
また、上述した実施の形態１，２では、生体組織等の被検体を観察するための内視鏡装置を本発明にかかる画像処理装置を備える撮像装置の一例として説明したが、これに限らず、本発明にかかる撮像装置は、医療分野以外に用いる内視鏡装置または顕微鏡装置であってもよいし、内視鏡装置または顕微鏡装置以外の撮像装置、例えば、デジタルカメラまたはデジタルビデオカメラであってもよいし、撮像機能付の携帯電話等の携帯型情報端末であってもよい。また、本発明にかかる画像処理装置は、上述した医療用の内視鏡装置に具備されるものに限らず、医療分野以外に用いる内視鏡装置または顕微鏡装置、デジタルカメラまたはデジタルビデオカメラ等の内視鏡装置または顕微鏡装置以外の撮像装置、あるいは撮像機能付の携帯電話等の携帯型情報端末のいずれかに具備されるものであってもよい。
【０１５４】
さらに、上述した実施の形態１，２では、処理プログラムを実行する制御部の動作に基づいたソフトウェアによる画像処理装置の処理手順を説明したが、これに限らず、本発明にかかる画像処理装置は、ハードウェアによる処理手順を実行してもよい。
【図面の簡単な説明】
【０１５５】
【図１】本発明の実施の形態１にかかる内視鏡装置の一構成例を模式的に示すブロック図である。
【図２】本発明の実施の形態１における光源装置のフィルタの一透過率特性例を示す模式図である。
【図３】カラーフィルタ群の透過率特性の一例を示す模式図である。
【図４】実施の形態１におけるバリアフィルタの透過率特性の一例を示す模式図である。
【図５】本発明の実施の形態１にかかる画像処理装置の補正処理部の一構成例を模式的に示すブロック図である。
【図６】本発明の実施の形態１にかかる画像処理装置の処理手順を例示するフローチャートである。
【図７】反射光画像の検出動き成分に基づく補正処理の処理手順を例示するフローチャートである。
【図８】処理対象の白色光画像の動き成分マップの一具体例を示す模式図である。
【図９】動き成分を加味して白色光画像を補正処理する状態を示す模式図である。
【図１０】本発明の実施の形態２にかかる内視鏡装置の一構成例を模式的に示すブロック図である。
【図１１】回転フィルタの一構成例を示す模式図である。
【図１２】回転フィルタの透過率特性の一例を示す模式図である。
【図１３】実施の形態２におけるバリアフィルタの透過率特性の一例を示す模式図である。
【図１４】本発明の実施の形態２にかかる画像処理装置の処理手順を例示するフローチャートである。
【図１５】実施の形態２にかかる画像処理装置の動作を具体的に説明するための模式図である。
【符号の説明】
【０１５６】
１，２ 内視鏡装置
１０，２１０ 光源装置
１１ 白色光源
１２ コリメートレンズ
１３ 集光レンズ
１４ フィルタ
２０ 挿入部
２１ ライトガイドファイバ
２２ レンズ
２３ 対物レンズ
２４ ダイクロイックミラー
２５ カラーフィルタ群
２６ 反射光撮像部
２７，２２７ バリアフィルタ
２８，２２８ 蛍光撮像部
３０，２３０ 画像処理装置
３１ 反射光画像取得部
３２ 蛍光画像取得部
３３ 前処理部
３４ 記憶部
３４ａ 第１メモリ
３４ｂ 第２メモリ
３５，２３５ 動き検出部
３６ 補正処理部
３６ａ 動き量算出部
３６ｂ 置換処理部
３６ｃ 動き成分記憶部
３６ｄ 補正輝度算出部
３７ 規格化処理部
３８ 後処理部
３９，２３９ 制御部
４０ 入力装置
５０ 画像出力装置
１００ 観察部位
１０１ 病変部
２１４ 回転フィルタ
２１４ａ 白色光フィルタ
２１４ｂ 励起光フィルタ
２１５ モータ
２１６ フィルタ制御部
２２４ ハーフミラー
２３６ 動き補償部
Ｄ（１，１）〜Ｄ（Ｍ，Ｎ） 画素ブロック
ＭＰ 動き成分マップ
Ｐｆ 蛍光画像
Ｐｒ 規格化用画像
Ｐｗ，Ｐｗ１，Ｐｗ２ 白色光画像
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理プログラムおよび画像処理方法に関し、特に、被写体からの蛍光に基づく蛍光画像を処理する画像処理装置、画像処理プログラムおよび画像処理方法に関するものである。
【背景技術】
【０００２】
従来から、医療分野においては、被検体の臓器内部を観察する際に内視鏡装置が用いられている。内視鏡装置は、一般に、患者等の被検体の体腔内に細長形状の可撓性挿入部を挿入し、この挿入した可撓性挿入部を介して体腔内の生体組織に白色光を照射し、その反射光を可撓性挿入部内の撮像部によって受光して、この生体組織の白色光画像を撮像する。かかる生体組織の白色光画像は、この内視鏡装置の表示部に表示される。医師等のユーザは、内視鏡装置の表示部に表示された生体組織の白色光画像を通して、被検体の体腔内を観察する。
【０００３】
一方、近年の内視鏡分野においては、体腔内の生体組織等の観察部位を蛍光観察することが可能な内視鏡装置が登場している。蛍光観察型の内視鏡装置は、一般に、体腔内に挿入した可撓性挿入部を介して体腔内の生体組織に励起光を照射し、この励起光の照射に基づいて生体組織から発生する自家蛍光または薬剤蛍光を可撓性挿入部内の撮像部によって受光して、この生体組織の蛍光画像を撮像する。このように撮像された生体組織の蛍光画像は、この内視鏡装置の表示部に表示され、医師等のユーザによって観察される。なお、かかる生体組織等の観察部位に光を照射することによって観察部位から発せられた光に基づいた規格化用画像を取得し、この規格化用画像によって観察部位の蛍光画像を除算して規格化蛍光画像を生成する装置がある（特許文献１参照）。
【０００４】
【特許文献１】特開２００２−３３６１８７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、上述した規格化用画像の各画素の輝度値は、一般に、観察部位と撮像部との撮像距離の増加（長化）に伴って減少し、観察部位と撮像部との撮像距離の減少（短化）に伴って増加する。このような撮像距離の変化に伴う適正な輝度分布を有する規格化用画像によって観察部位の蛍光画像が除算処理された場合、この除算処理後の蛍光画像の各画素の輝度値は、観察部位と撮像部との撮像距離に対応して高精度に規格化処理される。すなわち、かかる撮像距離の違いに起因する蛍光画像内の蛍光の明暗が高精度に補正される。
【０００６】
しかしながら、かかる規格化用画像は、必ずしも撮像距離の変化に伴う適正な輝度分布を有するとは限らない。例えば、観察部位内に光源からの光を撮像部側に正反射する部位が存在する場合、この部位からの正反射光を受光する画素の輝度値は、たとえ撮像距離の短い部位に対応する画素であっても著しく高くなる。上述した従来技術では、かかる正反射光の影響に起因にして、観察部位と撮像部との撮像距離が正確に反映された輝度分布を有する規格化用画像を取得することは困難であり、この結果、観察部位の蛍光画像の輝度を高精度に補正することが困難であるという問題点があった。なお、観察部位の蛍光画像の輝度を正確に補正することは、体腔内の病変部等の異常組織を蛍光画像によって検出、診断する上で極めて重要である。
【０００７】
本発明は、上記事情に鑑みてなされたものであって、正反射光の影響を受けることなく、観察対象の蛍光画像の輝度を正確に補正することができる画像処理装置、画像処理プログラムおよび画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上述した課題を解決し、目的を達成するために、本発明のある態様にかかる画像処理装置は、観察部位からの反射光に基づいた前記観察部位の反射光画像を取得する反射光画像取得部と、励起光の照射によって前記観察部位から発生した蛍光に基づいた前記観察部位の蛍光画像を取得する蛍光画像取得部と、前記反射光画像取得部が取得した前記観察部位の過去の反射光画像と前記反射光画像とをもとに、前記反射光画像の動き成分を検出する動き検出部と、前記動き成分を加味して前記反射光画像の輝度値を補正処理する補正処理部と、前記補正処理部が補正処理した前記反射光画像の輝度値によって前記蛍光画像の輝度値を規格化処理する規格化処理部と、を備えるものである。
【０００９】
この態様にかかる画像処理装置によれば、処理対象の反射光画像の輝度値に、被写体の撮像距離の遠近に応じて変化する画素の動き成分を反映させることができ、これによって、正反射光の受光画素の有無によらず、被写体の撮像距離を正確に反映した輝度分布を有する規格化用画像を生成できる。かかる規格化用画像の輝度値によって処理対象の蛍光画像の輝度値を規格化処理することによって、正反射光の影響を受けることなく、観察対象の蛍光画像の輝度を正確に補正することができる。この結果、観察部位内の病変部等の異常組織を蛍光画像内に明確に描画でき、これによって、観察対象の蛍光画像による被検体内の異常組織の検出能および診断能を高めることができる。
【００１０】
また、本発明の別の態様にかかる画像処理プログラムは、観察部位からの反射光に基づいた前記観察部位の反射光画像と、励起光の照射によって前記観察部位から発生した蛍光に基づいた前記観察部位の蛍光画像とを取得する画像取得手順と、前記反射光画像の動き成分を検出する動き検出手順と、前記動き成分を加味して前記反射光画像の輝度値を補正処理する補正処理手順と、前記補正処理手順による補正処理後の前記反射光画像の輝度値によって前記蛍光画像の輝度値を規格化処理する規格化処理手順と、をコンピュータに実行させるものである。
【００１１】
また、本発明の別の態様にかかる画像処理方法は、観察部位からの反射光に基づいた前記観察部位の反射光画像と、励起光の照射によって前記観察部位から発生した蛍光に基づいた前記観察部位の蛍光画像とを取得する画像取得ステップと、前記反射光画像の動き成分を検出する動き検出ステップと、前記動き成分を加味して前記反射光画像の輝度値を補正処理する補正処理ステップと、前記補正処理ステップによる補正処理後の前記反射光画像の輝度値によって前記蛍光画像の輝度値を規格化処理する規格化処理ステップと、を含むものである。
【発明の効果】
【００１２】
本発明にかかる画像処理装置、画像処理プログラムおよび画像処理方法によれば、正反射光の影響を受けることなく、観察対象の蛍光画像の輝度を正確に補正することができるという効果を奏する。
【発明を実施するための最良の形態】
【００１３】
以下、図面を参照して、本発明を実施するための最良の形態である画像処理装置、画像処理プログラムおよび画像処理方法の実施の形態について説明する。なお、この実施の形態によって本発明が限定されるものではない。
【００１４】
（実施の形態１）
図１は、本発明の実施の形態１にかかる内視鏡装置の一構成例を模式的に示すブロック図である。図１に示すように、この実施の形態１にかかる内視鏡装置１は、患者等の被検体内部の観察部位１００に光を照射する光源装置１０と、被検体の体腔内に挿入する細長形状の挿入部２０と、観察部位１００の画像を処理する画像処理装置３０と、画像処理装置３０に各種情報を入力する入力装置４０と、画像処理装置３０によって処理された画像情報を出力する画像出力装置５０とを備える。
【００１５】
光源装置１０は、蛍光薬剤を励起する励起光と照明光の一例である白色光とを観察部位１００に照射する光源部として機能する。具体的には、光源装置１０は、白色光源１１と、白色光源１１からの射出光を略平行光にするコリメートレンズ１２と、平行光を集光する集光レンズ１３と、所定の波長帯域の光を透過させるフィルタ１４とを備える。
【００１６】
白色光源１１は、蛍光薬剤を励起する励起光の波長帯域を含む広帯域な白色光を発光可能な光源を用いて実現される。白色光源１１は、光源装置１０のスイッチ（図示せず）の操作に基づいて、例えば４００〜７４０ｎｍの波長帯域という広帯域の白色光を発光する。具体的には、かかる白色光源１１が発光する白色光には、青色成分（Ｂ）、緑色成分（Ｇ）および赤色成分（Ｒ）の各色光が含まれ、さらに、例えばＣｙ７に例示されるような腫瘍等の病変部１０１に集積する薬剤蛍光を励起する６８０〜７４０ｎｍの波長帯域の励起光が含まれる。なお、かかる白色光源１１からの励起光は、この病変部１０１に集積した薬剤蛍光を励起して、可視光域外の波長帯域、例えば７６０〜８５０ｎｍの波長帯域の蛍光を発光させる特性を有する。
【００１７】
コリメートレンズ１２は、白色光源１１から射出される白色光の光路上に配置され、白色光源１１からの白色光を略平行光にする。このコリメートレンズ１２による平行光は、フィルタ１４を透過した後、集光レンズ１３によって集光される。この集光レンズ１３によって集光された光は、挿入部２０を介して被検体内部の観察部位１００に照射される。
【００１８】
フィルタ１４は、白色光源１１によって発光された白色光から所定の波長帯域の光を抽出する。図２は、本発明の実施の形態１における光源装置のフィルタの一透過率特性例を示す模式図である。なお、図２には、光源装置１０のフィルタ１４によって抽出された励起光によって発生する蛍光の強度特性も図示されている。フィルタ１４は、図２に示す波長対透過率の相関線Ｃ１のように、４００〜７４０ｎｍの波長帯域の白色光を透過させる透過率特性を有する。かかるフィルタ１４は、白色光源１１による射出光から４００〜７４０ｎｍの波長帯域の白色光を抽出し、この抽出した白色光を観察部位１００の照明光として透過させる。
【００１９】
ここで、かかるフィルタ１４によって抽出された白色光には、観察部位１００内の病変部１０１に集積する薬剤蛍光（例えばＣｙ７）を励起する６８０〜７４０ｎｍの波長帯域の励起光が含まれる。すなわち、フィルタ１４は、かかる励起光の波長帯域を含む広帯域の白色光を透過させる。なお、かかるフィルタ１４を透過する６８０〜７４０ｎｍの波長帯域の励起光は、図２における波長対透過率の相関線Ｃ２に示されるように、７６０〜８５０ｎｍの波長帯域の蛍光を発生させる。
【００２０】
挿入部２０は、被検体の体腔内に挿入可能な細長形状の可撓性構造体であり、内視鏡装置１の操作部（図示せず）の操作に基づいて所望の方向に湾曲可能である。また、図１に示すように、挿入部２０は、その基端部側が光源装置１０と画像処理装置３０とに接続され、この光源装置１０からの射出光を先端部側に導くライトガイドファイバ２１と、ライトガイドファイバ２１によって導かれた光を拡散するレンズ２２とを備える。また、挿入部２０は、観察部位１００からの反射光または蛍光を集光する対物レンズ２３と、この観察部位１００から集光した光を分岐するダイクロイックミラー２４と、観察部位１００からの反射光に基づいた反射光画像を撮像する反射光撮像部２６と、観察部位１００からの蛍光に基づいた蛍光画像を撮像する蛍光撮像部２８とを備える。なお、反射光撮像部２６は、分光特性の異なる複数のカラーフィルタからなるカラーフィルタ群２５を備える。また、蛍光撮像部２８は、観察部位１００からの蛍光を透過するとともに励起光を遮断するバリアフィルタ２７を備える。
【００２１】
ライトガイドファイバ２１は、光ファイバ等を用いて実現され、上述した光源装置１０によって射出される広帯域の白色光、すなわち、上述した励起光の波長帯域を含む白色光を挿入部２０の先端部側に伝搬する。かかるライトガイドファイバ２１によって導かれた光源装置１０からの広帯域の白色光は、レンズ２２によって拡散され、その後、被検体内部の観察部位１００に照射される。
【００２２】
ここで、このように観察部位１００に照射された光源装置１０からの白色光は、観察部位１００を照明するとともに、この観察部位１００において反射する。また、この観察部位１００に照明された白色光に含まれる励起光は、予め蛍光薬剤を集積した病変部１０１が観察部位１００内に存在する場合、この病変部１０１の蛍光薬剤を励起して、例えば７６０〜８５０ｎｍの波長帯域の蛍光を発生させる。
【００２３】
対物レンズ２３は、観察部位１００からの反射光および蛍光を集光する。具体的には、対物レンズ２３は、光源装置１０からの白色光が観察部位１００に照射された場合、この観察部位１００から反射した白色光および励起光と、この観察部位１００（詳細には病変部１０１）から発生した蛍光とを集光する。
【００２４】
ダイクロイックミラー２４は、対物レンズ２３を透過した観察部位１００からの光を反射光撮像部２６側と蛍光撮像部２８側とに分岐する。具体的には、ダイクロイックミラー２４は、上述した対物レンズ２３によって集光された観察部位１００からの光のうち、６８０ｎｍ未満の波長帯域の光、すなわち観察部位１００から反射した白色光（例えば４００〜６８０ｎｍの白色光）を反射光撮像部２６側の光路に分岐する。一方、ダイクロイックミラー２４は、６８０ｎｍ以上の波長帯域の光を１００％反射する機能を有し、観察部位１００から発生した蛍光と観察部位１００から反射した励起光とを蛍光撮像部２８側の光路に分岐する。なお、かかるダイクロイックミラー２４によって蛍光撮像部２８側に分岐（反射）される観察部位１００からの光には、例えば６８０〜７４０ｎｍの励起光および７６０〜８５０ｎｍの蛍光が含まれる。
【００２５】
カラーフィルタ群２５は、分光特性の異なる複数のカラーフィルタからなり、反射光撮像部２６の画素毎に観察部位１００からの白色光を各色成分の光に分光するとともに、反射光撮像部２６の各画素に向けて、これら各色成分の光を透過させる。図３は、カラーフィルタ群の透過率特性の一例を示す模式図である。カラーフィルタ群２５は、青色光（Ｂ）を透過するカラーフィルタである青色光フィルタと、緑色光（Ｇ）を透過するカラーフィルタである緑色光フィルタと、赤色光（Ｒ）を透過するカラーフィルタである赤色光フィルタとを各々複数含むモザイク状の原色カラーフィルタである。かかるカラーフィルタ群２５において、青色光フィルタは、図３に示す波長対透過率の相関線Ｃ３のように、４００〜５００ｎｍの波長帯域の光を透過させる透過率特性を有する。緑色光フィルタは、図３に示す波長対透過率の相関線Ｃ４のように、４８０〜６００ｎｍの波長帯域の光を透過させる透過率特性を有する。赤色光フィルタは、図３に示す波長対透過率の相関線Ｃ５のように、５８０〜６８０ｎｍの波長帯域の光を透過させる透過率特性を有する。
【００２６】
このような構成を有するカラーフィルタ群２５は、ダイクロイックミラー２４によって反射光撮像部２６側の光路に分岐された観察部位１００からの白色光の中から、青色光フィルタによって青色光を抽出し、緑色光フィルタによって緑色光を抽出し、赤色光フィルタによって赤色光を抽出する。カラーフィルタ群２５内の各青色光フィルタは、反射光撮像部２６の青色に対応する各画素に向けて、かかる白色光の青色成分を透過させる。カラーフィルタ群２５内の各緑色光フィルタは、反射光撮像部２６の緑色に対応する各画素に向けて、かかる白色光の緑色成分を透過させる。カラーフィルタ群２５内の各赤色光フィルタは、反射光撮像部２６の赤色に対応する各画素に向けて、かかる白色光の赤色成分を透過させる。
【００２７】
反射光撮像部２６は、観察部位１００からの反射光に基づいた反射光画像を撮像するためのものであり、分光特性の異なる各カラーフィルタが受光面内の各画素に配置されたベイヤ型のカラー撮像素子を用いて実現される。具体的には、反射光撮像部２６は、赤外光を除去する赤外光カットフィルタ（図示せず）と上述したカラーフィルタ群２５とを受光面上に備える。反射光撮像部２６は、ダイクロイックミラー２４によって反射光撮像部２６側の光路に分岐された観察部位１００からの反射光（例えば光源装置１０による白色光が観察部位１００に照射された際に観察部位１００から反射した白色光）を上述したカラーフィルタ群２５等を介して受光する。これによって、反射光撮像部２６は、観察部位１００の反射光画像の一例である白色光画像を撮像する。この場合、反射光撮像部２６は、カラーフィルタ群２５によって観察部位１００からの白色光から分光された各色成分の反射光を各画素によって各々光電変換処理して、観察部位１００の白色光画像を構成する各色成分の映像信号を生成する。反射光撮像部２６は、このように観察部位１００の白色光画像を撮像する都度、この観察部位１００の白色光画像の各映像信号を画像処理装置３０に順次送信する。
【００２８】
バリアフィルタ２７は、励起光カットフィルタを用いて実現され、ダイクロイックミラー２４によって蛍光撮像部２８側の光路に分岐された観察部位１００からの光に含まれる励起光を遮断する。図４は、実施の形態１におけるバリアフィルタの透過率特性の一例を示す模式図である。バリアフィルタ２７は、図４に示す波長対透過率の相関線Ｃ６のように、７６０〜８５０ｎｍの波長帯域の光を透過させる透過率特性を有する。かかるバリアフィルタ２７は、ダイクロイックミラー２４によって蛍光撮像部２８側の光路に分岐された観察部位１００からの光のうち、観察部位１００から反射した励起光（例えば６８０〜７４０ｎｍの波長帯域の励起光）を遮断するとともに、可視光域外（例えば７６０〜８５０ｎｍの波長帯域）の光である観察部位１００からの蛍光を透過させる。
【００２９】
蛍光撮像部２８は、観察部位１００からの蛍光に基づいた蛍光画像を撮像するためのものである。具体的には、蛍光撮像部２８は、例えば反射光撮像部２６に比して高い感度特性を有するモノクロ撮像素子を用いて実現され、上述したバリアフィルタ２７を受光面上に備える。蛍光撮像部２８は、上述した反射光撮像部２６の場合と同様に光源装置１０による白色光が観察部位１００に照射された際、ダイクロイックミラー２４によって蛍光撮像部２８側の光路に分岐された観察部位１００からの励起光および蛍光のうち、バリアフィルタ２７を透過した蛍光を受光する。これによって、蛍光撮像部２８は、観察部位１００の蛍光画像を撮像する。この場合、蛍光撮像部２８は、その受光部内の各画素によって観察部位１００からの蛍光を光電変換処理し、この結果、観察部位１００の蛍光画像を構成する各映像信号を生成する。蛍光撮像部２８は、観察部位１００の蛍光画像を撮像する都度、この観察部位１００の蛍光画像の各映像信号を画像処理装置３０に順次送信する。
【００３０】
ここで、この実施の形態１において、反射光撮像部２６は、光源装置１０からの白色光が観察部位１００に照射された期間に、この観察部位１００の白色光画像を撮像し、この白色光が照射された同じ期間に、蛍光撮像部２８は、この観察部位１００の蛍光画像を撮像する。すなわち、上述した反射光撮像部２６による白色光画像および蛍光撮像部２８による蛍光画像は同じタイミングに撮像される画像であり、これらの両画像間において被写体の位置は一致する。
【００３１】
画像処理装置３０は、上述した反射光撮像部２６または蛍光撮像部２８によって撮像された観察部位１００の画像情報を処理して、画像出力装置５０に出力させる出力画像を生成する。具体的には、図１に示すように、画像処理装置３０は、反射光撮像部２６による観察部位１００の反射光画像を取得する反射光画像取得部３１と、蛍光撮像部２８による観察部位１００の蛍光画像を取得する蛍光画像取得部３２と、かかる観察部位１００の反射光画像および蛍光画像に所定の信号処理を行う前処理部３３とを備える。また、画像処理装置３０は、反射光画像取得部３１が取得した反射光画像を記憶する記憶部３４と、観察部位１００の反射光画像の動き成分を検出する動き検出部３５と、この検出した動き成分を加味して観察部位１００の反射光画像の輝度値を補正処理する補正処理部３６とを備える。さらに、画像処理装置３０は、補正処理部３６による補正処理後の反射光画像の輝度値によって観察部位１００の蛍光画像の輝度値を規格化処理する規格化処理部３７と、規格化処理後の観察部位１００の蛍光画像に所定の信号処理を行う後処理部３８と、かかる画像処理装置３０の各構成部を制御する制御部３９とを備える。
【００３２】
なお、かかる画像処理装置３０において、反射光画像取得部３１および蛍光画像取得部３２は、前処理部３３に接続される。前処理部３３は、記憶部３４と、動き検出部３５と、補正処理部３６と、規格化処理部３７とに接続される。記憶部３４は動き検出部３５に接続され、動き検出部３５は補正処理部３６に接続される。補正処理部３６は規格化処理部３７に接続され、規格化処理部３７は後処理部３８に接続される。なお、後処理部３８は、画像処理装置３０外部の画像出力装置５０に接続される。一方、制御部３９は、反射光画像取得部３１、蛍光画像取得部３２、前処理部３３、動き検出部３５、補正処理部３６、規格化処理部３７および後処理部３８と双方向に接続される。また、制御部３９は、画像処理装置３０外部の入力装置４０および画像出力装置５０と双方向に接続される。
【００３３】
反射光画像取得部３１は、観察部位１００からの反射光に基づいた反射光画像を取得する。具体的には、反射光画像取得部３１は、上述した反射光撮像部２６が反射光画像の一例である観察部位１００の白色光画像を撮像した場合、その都度、反射光撮像部２６から観察部位１００の白色光画像の各映像信号を取得する。なお、かかる白色光画像の各映像信号は、アナログ信号であり、反射光撮像部２６から反射光画像取得部３１に所定時間間隔で連続的に出力される。反射光画像取得部３１は、かかる反射光撮像部２６から取得した白色光画像の各映像信号をアナログ信号からデジタル信号に変換し、このデジタル変換処理後の各映像信号を前処理部３３に順次送信する。
【００３４】
蛍光画像取得部３２は、観察部位１００からの蛍光に基づいた蛍光画像を取得する。具体的には、蛍光画像取得部３２は、上述した蛍光撮像部２８が観察部位１００の蛍光画像を撮像した場合、その都度、蛍光撮像部２８から観察部位１００の蛍光画像の各映像信号を取得する。なお、かかる蛍光画像の各映像信号は、アナログ信号であり、蛍光撮像部２８から蛍光画像取得部３２に所定時間間隔で連続的に出力される。蛍光画像取得部３２は、かかる蛍光撮像部２８から取得した蛍光画像の各映像信号をアナログ信号からデジタル信号に変換し、このデジタル変換後の各映像信号を前処理部３３に順次送信する。
【００３５】
前処理部３３は、観察部位１００の反射光画像および蛍光画像に所定の信号処理を行う。具体的には、前処理部３３は、上述したデジタル変換後の白色光画像の各映像信号を反射光画像取得部３１から取得し、この取得した白色光画像の各映像信号に対して、補間処理、ホワイトバランス処理およびノイズ低減処理等の信号処理を行う。また、前処理部３３は、上述したデジタル変換後の蛍光画像の各映像信号を蛍光画像取得部３２から取得し、この取得した蛍光画像の各映像信号に対して同様の信号処理を行う。さらに、前処理部３３は、かかる観察部位１００の白色光画像および蛍光画像の各映像信号に対して、空間的な位置、角度およびサイズの較正処理を行い、この結果、これらの白色光画像および蛍光画像をｍ×ｎ画素（ｍ、ｎは、ともに正の整数）の各映像信号による画像情報に較正する。前処理部３３は、かかる処理後の白色光画像（ｍ×ｎ画素の白色光画像）を記憶部３４と動き検出部３５と補正処理部３６とに送信する。この場合、前処理部３３は、現処理対象の白色光画像の各映像信号を動き検出部３５と補正処理部３６とに送信し、さらに、その現処理対象の白色光画像の各映像信号を記憶部３４にも格納する。詳細は後述するが、記憶部３４内には、前処理部３３によって送信された映像信号が順次格納される。本実施の形態１における記憶部３４は、図１に示すように、第１メモリ３４ａおよび第２メモリ３４ｂを有する。第１メモリ３４ａは、時系列的に最新の白色光画像の各映像信号を保持し、第２メモリ３４ｂは、第１メモリ３４ａから移動された過去の白色光画像の各映像信号を保持する。具体的には、時系列的に最新の現処理対象の白色光画像の各映像信号が第１メモリ３４ａに入ってきた場合、この第１メモリ３４ａ内に既に存在する白色光画像の各映像信号は第２メモリ３４ｂ内に移動され、過去の白色光画像の各映像信号として第２メモリ３４ｂ内に格納される。なお、第２メモリ３４ｂ内に格納された過去の白色光画像の各映像信号は、後に、動き検出部３５に送信される。さらに、前処理部３３は、かかる処理後の蛍光画像（ｍ×ｎ画素の蛍光画像）を規格化処理部３７に送信する。
【００３６】
なお、かかる前処理部３３による較正処理の較正値は、既知のテストパターンを撮像した画像情報をもとに算出され、ユーザによって予め設定されてもよいし、反射光撮像部２６による反射光画像と蛍光撮像部２８による蛍光画像との対応点を較正処理毎に自動検出し、この検出結果をもとに較正値を設定してもよい。
【００３７】
記憶部３４は、上述した前処理部３３による処理後の反射光画像を記憶する。具体的には、記憶部３４は、上述したように第１メモリ３４ａおよび第２メモリ３４ｂを有し、前処理部３３によってｍ×ｎ画素の画像情報に較正処理された観察部位１００の白色光画像を前処理部３３から取得し、この取得した白色光画像を記憶する。記憶部３４は、上述した前処理部３３による処理後の反射光画像を取得する都度、前述のように第１メモリ３４ａ内の既存の画像情報をこの取得画像情報に順次更新する。なお、かかる記憶部３４の第２メモリ３４ｂ内に記憶される白色光画像は、補正処理部３６によって補正処理される処理対象の白色光画像に比して過去（例えば１フレーム前）の白色光画像である。かかる第２メモリ３４ｂ内の過去の白色光画像は、動き検出部３５によって適宜読み出される。
【００３８】
動き検出部３５は、上述した反射光画像取得部３１が取得した観察部位１００の現反射光画像と観察部位１００の過去の反射光画像とをもとに、この現反射光画像の動き成分を検出する。具体的には、動き検出部３５は、前処理部３３によって処理された観察部位１００の白色光画像（処理対象の白色光画像）を前処理部３３から取得する。また、動き検出部３５は、この処理対象の白色光画像に比して過去に撮像された観察部位１００の白色光画像（過去の白色光画像）を記憶部３４から読み出す。動き検出部３５は、かかる処理対象の白色光画像と過去の白色光画像とをもとに、ブロックマッチング法等に基づいて、この処理対象の白色光画像の動き成分を検出する。動き検出部３５は、かかる処理対象の白色光画像の動き成分の検出結果として、この処理対象の白色光画像の画素座標毎に動き成分の検出情報を含む動き成分マップを生成する。
【００３９】
なお、かかる動き検出部３５によって検出された動き成分の大小関係は、被写体の撮像距離の遠近関係に対応している。すなわち、この処理対象の白色光画像における各画素の被写体の撮像距離は、かかる動き成分の増大に伴って近くなり、かかる動き成分の減少に伴って遠くなる。
【００４０】
また、動き検出部３５は、かかる処理対象の白色光画像に対するフィルタリング処理機能を有する。具体的には、動き検出部３５は、処理対象の白色光画像内における注目画素とその周辺画素との輝度比較処理を画素毎に行い、各画素の輝度比較処理の結果をもとに、処理対象の白色光画像に正反射光画素が含まれるか否かを判断する。なお、ここでいう正反射光画素とは、観察部位１００等の被写体からの正反射光を受光した画素であり、その周辺画素に比して著しく高い輝度値を有する。かかる輝度比較処理において、動き検出部３５は、任意の注目画素と周辺画素との輝度差が所定の閾値以上である場合、この処理対象の白色光画像に正反射光画素が含まれると判断する。この場合、動き検出部３５は、かかる輝度差が閾値以上の注目画素、すなわち正反射光画素をその周辺画素によって補間するフィルタリング処理を行う。これによって、動き検出部３５は、かかる正反射光画素の輝度値を正反射光以外の受光画素の輝度レベルに補正する。動き検出部３５は、かかるフィルタリング処理後の白色光画像の動き成分マップを補正処理部３６に送信する。
【００４１】
なお、かかる動き検出部３５によるフィルタリング処理は、３×３画素または５×５画素等の正方形画素領域のメディアンフィルタ処理であってもよいし、３×５画素等の長方形画素領域のメディアンフィルタ処理であってもよい。あるいは、かかる動き検出部３５によるフィルタリング処理は、ローパスフィルタ処理であってもよい。
【００４２】
補正処理部３６は、動き検出部３５によって検出された反射光画像の動き成分を加味して処理対象の反射光画像の輝度値を補正処理する。具体的には、補正処理部３６は、上述した前処理部３３から処理対象の白色光画像を取得し、且つ、この処理対象の白色光画像の動き成分マップを動き検出部３５から取得する。補正処理部３６は、この取得した処理対象の白色光画像および動き成分マップの対応画素毎に、この動き成分マップ内の動き成分をこの処理対象の白色光画像の輝度値に反映させる。これによって、補正処理部３６は、被写体と反射光撮像部２６との撮像距離の遠近に伴って変化する各画素の動き成分に対応して、この処理対象の白色光画像の輝度値を補正処理する。かかる補正処理において、補正処理部３６は、この処理対象の白色光画像内の各画素の輝度値を、撮像距離の増加に伴って減少させ、撮像距離の減少に伴って増加させる。この結果、補正処理部３６は、正反射光画素の有無によらず、被写体である観察部位１００と反射光撮像部２６との撮像距離を正確に反映した輝度分布を有する観察部位１００の白色光画像を生成する。補正処理部３６は、かかる補正処理後の白色光画像を規格化処理部３７に送信する。
【００４３】
規格化処理部３７は、蛍光撮像部２８によって撮像された観察部位１００の蛍光画像の輝度値を規格化処理によって補正する。具体的には、規格化処理部３７は、前処理部３３によって処理された観察部位１００の蛍光画像を前処理部３３から取得し、且つ、補正処理部３６によって輝度値を補正された観察部位１００の白色光画像を補正処理部３６から取得する。規格化処理部３７は、この取得した観察部位１００の白色光画像および蛍光画像の対応画素毎に、この補正処理後の白色光画像の輝度値によってこの蛍光画像の輝度値を除算し、これによって、この蛍光画像の各画素の輝度値を規格化処理する。この結果、規格化処理部３７は、被写体からの正反射光の影響を受けることなく、被写体である観察部位１００と蛍光撮像部２８との撮像距離に応じて変化する蛍光画像内の蛍光の明暗（輝度値）を正確に補正する。なお、かかる規格化処理部３７によって規格化処理された蛍光画像（以下、規格化蛍光画像という）において、励起光照射による蛍光発生源である病変部１０１は、観察部位１００と蛍光撮像部２８との撮像距離に関わらず、比較的高い輝度の画素によって描画される。規格化処理部３７は、かかる観察部位１００の規格化蛍光画像を後処理部３８に送信する。
【００４４】
後処理部３８は、規格化処理部３７による規格化蛍光画像に所定の信号処理を行う。具体的には、後処理部３８は、観察部位１００の規格化蛍光画像の各映像信号を規格化処理部３７から取得し、この取得した規格化蛍光画像の各映像信号に対して、階調変換処理、強調処理および圧縮処理等の信号処理を行う。後処理部３８は、かかる信号処理後の規格化蛍光画像を画像出力装置５０に送信する。
【００４５】
制御部３９は、画像処理装置３０の構成部である反射光画像取得部３１、蛍光画像取得部３２、前処理部３３、動き検出部３５、補正処理部３６、規格化処理部３７、および後処理部３８の各動作を制御し、且つ、これら各構成部間における信号の入出力を制御する。また、制御部３９は、画像表示装置３０の外部インターフェース部として機能する入力装置４０および画像出力装置５０を制御する。
【００４６】
具体的には、制御部３９は、処理プログラムを記憶する記憶部とこの記憶部内の処理プログラムを実行するコンピュータとを用いて実現される。制御部３９は、入力装置４０によって入力された設定情報をもとに、観察部位１００の白色光画像または蛍光画像の撮像モード等の各種撮像条件またはゲイン等を設定する。また、制御部３９は、入力装置４０によって入力された指示情報に基づいて、上述した画像処理装置３０の各構成部の動作開始、動作終了、動作タイミング等を制御する。
【００４７】
具体的には、制御部３９は、反射光撮像部２６による白色光画像の各映像信号をデジタル変換後に前処理部３３に順次出力するように反射光画像取得部３１を制御し、蛍光撮像部２８による蛍光画像の各映像信号をデジタル変換後に前処理部３３に順次出力するように蛍光画像取得部３２を制御する。また、制御部３９は、所定の処理後に観察部位１００の白色光画像を動き検出部３５および補正処理部３６に送信し、且つ、この白色光画像を記憶部３４にも送信するように前処理部３３を制御する。さらに、制御部３９は、所定の処理後に観察部位１００の蛍光画像を規格化処理部３７に送信するように前処理部３３を制御する。
【００４８】
また、制御部３９は、上述した動き検出部３５による処理対象の白色光画像の動き検出処理と、補正処理部３６による白色光画像の輝度補正処理と、規格化処理部３７による蛍光画像の規格化処理と、後処理部３８による蛍光画像の信号処理とを制御する。一方、制御部３９は、入力装置４０によって入力された指示情報に基づいて、観察部位１００の規格化蛍光画像の各映像信号を画像出力装置５０に送信するように後処理部３８を制御するとともに、この規格化蛍光画像を表示出力するように画像出力装置５０を制御する。
【００４９】
入力装置４０は、画像処理装置３０の外部インターフェース部として機能するものであり、例えばキーボードおよびマウスに例示される入力デバイス等を用いて実現される。入力装置４０は、医師または看護師等のユーザによる入力操作に対応して画像処理装置３０の制御部３９に各種情報を入力する。かかる入力装置４０によって制御部３９に入力される各種情報として、例えば、画像処理装置３０の動作開始または動作終了等を制御部３９に対して指示する指示情報、観察部位１００の白色光画像または蛍光画像の撮像モードの設定情報等が挙げられる。
【００５０】
なお、入力装置４０は、画像処理装置３０の電源オンと電源オフとを切り替える電源スイッチを備えてもよいし、撮像操作を開始するためのシャッターボタンを備えてもよいし、撮像モード等の各種モードを切り替えるためのモード切替ボタンを備えてもよい。この場合、上述した制御部３９は、入力装置４０のシャッターボタンの入力操作に対応して、反射光撮像部２６および蛍光撮像部２８の撮像動作を制御してもよい。
【００５１】
画像出力装置５０は、上述した画像処理装置３０によって処理された画像情報を出力する。具体的には、画像出力装置５０は、ＣＲＴディスプレイまたは液晶ディスプレイ等の所望のディスプレイを用いて実現される。画像出力装置５０は、画像処理装置３０の後処理部３８によって信号処理された観察部位１００の規格化蛍光画像の各映像信号を取得する。画像出力装置５０は、この後処理部３８から取得した各映像信号に基づいた観察部位１００の規格化蛍光画像を表示する。
【００５２】
なお、画像出力装置５０は、かかる規格化蛍光画像の他に、この規格化蛍光画像と同じタイミングに撮像された観察部位１００の白色光画像を前処理部３３および後処理部３８を介して取得し、この取得した観察部位１００の白色光画像およびこの規格化蛍光画像を表示してもよい。この場合、画像出力装置５０は、かかる観察部位１００の白色光画像と規格化蛍光画像とを並べて表示してもよいし、かかる観察部位１００の白色光画像に規格化蛍光画像を重畳表示してもよい。
【００５３】
つぎに、上述した画像処理装置３０の補正処理部３６について詳細に説明する。図５は、本発明の実施の形態１にかかる画像処理装置の補正処理部の一構成例を模式的に示すブロック図である。図５に示すように、補正処理部３６は、処理対象の白色光画像の全体的な動き量を算出する動き量算出部３６ａと、上述した動き成分マップの置換処理を行う置換処理部３６ｂと、白色光画像の動き成分マップを記憶する動き成分記憶部３６ｃと、動き成分マップをもとに処理対象の白色光画像の補正輝度値を算出する補正輝度算出部３６ｄとを備える。
【００５４】
動き量算出部３６ａは、制御部３９の制御に基づいて、処理対象の白色光画像の全体的動き量を算出する。具体的には、動き量算出部３６ａは、上述した動き検出部３５が検出した処理対象の白色光画像の動き成分マップを取得する。動き量算出部３６ａは、この動き検出部３５から取得した動き成分マップに含まれる各画素の動き成分をもとに、この処理対象の白色光画像の全体的動き量を算出する。動き量算出部３６ａは、制御部３９の制御に基づいて、このように算出した処理対象の白色光画像の全体的動き量を置換処理部３６ｂに順次送信する。なお、動き量算出部３６ａは、かかる処理対象の白色光画像の全体的動き量として、この動き成分マップ内の各画素の動き成分の平均値を算出してもよいし、各画素の動き成分の合計値を算出してもよい。
【００５５】
置換処理部３６ｂは、制御部３９の制御に基づいて、処理対象の白色光画像の動き成分置換処理を適宜行う。具体的には、置換処理部３６ｂは、動き検出部３５が検出した処理対象の白色光画像の動き成分マップと、動き量算出部３６ａが算出した処理対象の白色光画像の全体的動き量とを取得する。置換処理部３６ｂは、この動き量算出部３６ａから取得した全体的動き量と予め設定された閾値とを比較する。置換処理部３６ｂは、この全体的動き量が閾値以上である場合、この処理対象の白色光画像内の被写体である観察部位１００に所定以上の動きがあると判定する。この場合、置換処理部３６ｂは、制御部３９の制御に基づいて、上述した動き検出部３５から取得した動き成分マップを補正輝度算出部３６ｄに出力するとともに、被写体に所定以上の動きがある場合の動き成分マップとして、この動き成分マップを動き成分記憶部３６ｃに出力する。一方、置換処理部３６ｂは、この全体的動き量が閾値未満である場合、この処理対象の白色光画像内の被写体（観察部位１００）に所定以上の動きがないと判定する。この場合、置換処理部３６ｂは、制御部３９の制御に基づいて、上述した動き検出部３５から取得した動き成分マップを動き成分記憶部３６ｃ内の動き成分マップに置換し、この動き成分記憶部３６ｃ内の動き成分マップを補正輝度算出部３６ｄに出力する。
【００５６】
なお、かかる置換処理部３６ｂに予め設定された閾値は、入力装置４０によって入力された情報をもとに制御部３９が設定した閾値であってもよいし、対物レンズ２３の焦点距離等をもとに制御部３９が自動的に設定した閾値であってもよい。
【００５７】
動き成分記憶部３６ｃは、被写体に所定以上の動きがある白色光画像であって処理対象の白色光画像に比して過去の白色光画像の動き成分を記憶する。具体的には、動き成分記憶部３６ｃは、上述した置換処理部３６ｂによって被写体に所定以上の動きがあると判定された白色光画像の動き成分マップ、すなわち、動き量算出部３６ａによって算出された全体的動き量が閾値以上である場合の動き成分マップを置換処理部３６ｂから取得し、この取得した動き成分マップを記憶する。なお、かかる動き成分記憶部３６ｃに記憶される動き成分マップは、後の処理対象の白色光画像に比して過去の白色光画像の動き成分マップであり、上述した動き成分の置換処理において置換処理部３６ｂに適宜読み出される。動き成分記憶部３６ｃは、かかる置換処理部３６ｂから動き成分マップを取得する都度、取得した最新の動き成分マップを既存の動き成分マップに上書きして動き成分マップを更新処理する。
【００５８】
補正輝度算出部３６ｄは、制御部３９の制御に基づいて、処理対象の白色光画像の補正輝度値を算出する。具体的には、補正輝度算出部３６ｄは、置換処理部３６ｂによって出力された動き成分マップと、上述した前処理部３３によって処理された処理対象の白色光画像とを取得する。補正輝度算出部３６ｄは、この置換処理部３６ｂから取得した動き成分マップに含まれる各画素の動き成分を加味して、この処理対象の白色光画像の各画素の輝度値を補正処理する。すなわち、補正輝度算出部３６ｄは、この処理対象の白色光画像および動き成分マップの対応画素毎に、この動き成分マップ内の動き成分を加味した補正輝度値を算出する。補正輝度算出部３６ｄは、制御部３９の制御に基づいて、かかる白色光画像の各画素の補正輝度値を規格化処理部３７に送信する。
【００５９】
つぎに、本発明の実施の形態１にかかる画像処理装置３０の動作について説明する。図６は、本発明の実施の形態１にかかる画像処理装置の処理手順を例示するフローチャートである。この実施の形態１にかかる画像処理装置３０は、図６に示される処理手順を実行して、観察部位１００の規格化蛍光画像を画像出力装置５０に表示させる。
【００６０】
すなわち、図６に示すように、画像処理装置３０は、まず、観察部位１００の反射光画像を事前に取得する（ステップＳ１０１）。このステップＳ１０１において、制御部３９は、反射光画像取得部３１および前処理部３３を制御して、観察部位１００の白色光画像を事前に取得する。
【００６１】
かかる制御部３９の制御に基づいて、反射光画像取得部３１は、光源装置１０からの白色光が観察部位１００に照射されたタイミングに反射光撮像部２６が撮像した観察部位１００の白色光画像を取得し、この取得した白色光画像の各映像信号をデジタル変換後に前処理部３３に送信する。前処理部３３は、かかる制御部３９の制御に基づいて、この反射光画像取得部３１から取得した白色光画像の各映像信号に対して上述した信号処理を行い、その後、この白色光画像の各映像信号を記憶部３４に送信する。記憶部３４は、後に処理対象となる観察部位１００の白色光画像に比して過去の白色光画像として、この前処理部３３から取得した観察部位１００の白色光画像を記憶する。
【００６２】
なお、このステップＳ１０１において、制御部３９は、この白色光画像と同じタイミングに蛍光撮像部２８が撮像する観察部位１００の蛍光画像を削除するように蛍光画像取得部３２を制御してもよい。あるいは、制御部３９は、このステップＳ１０１において取得した観察部位１００の白色光画像によってこの蛍光画像を規格化処理するように規格化処理部３７を制御してもよく、その後、制御部３９は、この規格化処理部３７による規格化蛍光画像を表示出力するように後処理部３８および画像出力装置５０を制御してもよい。
【００６３】
つぎに、画像処理装置３０は、処理対象となる観察部位１００の反射光画像および蛍光画像を取得する（ステップＳ１０２）。このステップＳ１０２において、制御部３９は、観察部位１００の白色光画像を取得するように反射光画像取得部３１を制御するとともに、この観察部位１００の蛍光画像を取得するように蛍光画像取得部３２を制御する。
【００６４】
かかる制御部３９の制御に基づいて、反射光画像取得部３１は、光源装置１０からの白色光が観察部位１００に照射されたタイミングに反射光撮像部２６が撮像した観察部位１００の白色光画像を取得し、この取得した白色光画像の各映像信号をデジタル変換する。反射光画像取得部３１は、このデジタル変換後の白色光画像を前処理部３３に送信する。一方、蛍光画像取得部３２は、かかる制御部３９の制御に基づいて、この白色光画像と同じタイミングに蛍光撮像部２８が撮像した観察部位１００の蛍光画像を取得し、この取得した蛍光画像の各映像信号をデジタル変換する。蛍光画像取得部３２は、このデジタル変換後の蛍光画像を前処理部３３に送信する。
【００６５】
続いて、画像処理装置３０は、ステップＳ１０２において取得した観察部位１００の映像信号の前処理を実行する（ステップＳ１０３）。このステップＳ１０３において、制御部３９は、かかる観察部位１００の画像毎に所定の信号処理および較正処理を実行するように前処理部３３を制御する。
【００６６】
かかる制御部３９の制御に基づいて、前処理部３３は、反射光画像取得部３１から取得した観察部位１００の白色光画像に対して、補間処理、ホワイトバランス処理およびノイズ低減処理等の信号処理と、空間的な位置、角度およびサイズの較正処理とを行う。これによって、前処理部３３は、この観察部位１００の白色光画像をｍ×ｎ画素の画像情報に較正する。前処理部３３は、制御部３９の制御に基づいて、かかる較正処理後の観察部位１００の白色光画像を処理対象の白色光画像として動き検出部３５および補正処理部３６に送信する。一方、前処理部３３は、かかる制御部３９の制御に基づいて、蛍光画像取得部３２から取得した観察部位１００の蛍光画像に対して、補間処理およびノイズ低減処理等の信号処理と、空間的な位置、角度およびサイズの較正処理とを行う。これによって、前処理部３３は、上述した処理対象の白色光画像と同様に、この観察部位１００の蛍光画像をｍ×ｎ画素の画像情報に較正する。前処理部３３は、制御部３９の制御に基づいて、かかる較正処理後の観察部位１００の蛍光画像を処理対象の蛍光画像として規格化処理部３７に送信する。
【００６７】
その後、画像処理装置３０は、観察部位１００の反射光画像の動き検出処理を実行する（ステップＳ１０４）。このステップＳ１０４において、制御部３９は、処理対象の白色光画像に対して、上述した動き成分の検出処理およびフィルタリング処理を実行するように動き検出部３５を制御する。
【００６８】
かかる制御部３９の制御に基づいて、動き検出部３５は、前処理部３３から取得した処理対象の白色光画像と記憶部３４から読み出した過去の白色光画像とをもとに、この処理対象の白色光画像の動き成分を検出し、また、この処理対象の白色光画像に対してフィルタリング処理を適宜実行する。具体的には、動き検出部３５は、ｍ×ｎ画素の画像情報であるこの処理対象の白色光画像をＭ×Ｎ（Ｍはｍ未満の整数、Ｎはｎ未満の整数）の画素ブロックに分割する。動き検出部３５は、かかるＭ×Ｎの画素ブロックからなる処理対象の白色光画像を基準画像とし、記憶部３４から読み出した過去の白色光画像を参照画像としたブロックマッチング法等に基づいて、この処理対象の白色光画像の各画素ブロックの動きベクトルを算出する。動き検出部３５は、この処理対象の白色光画像の動き成分として、かかる各画素ブロックの動きベクトルの動き成分Ｖ（ｉ，ｊ）を算出する。動き検出部３５は、かかる処理対象の白色光画像の各画素ブロックの動き成分Ｖ（ｉ，ｊ）を含む動き成分マップを生成する。
【００６９】
なお、かかる動き成分Ｖ（ｉ，ｊ）は、この処理対象の白色光画像に設定されるｘ軸およびｙ軸の２軸直交座標系のブロック座標（ｉ，ｊ）（ｉ＝１，２，…，Ｍ、ｊ＝１，２，…，Ｎ）における画素ブロックの動き成分であり、次式（１）によって算出される。
【００７０】
【数１】
なお、この式（１）において、ｘijは、ブロック座標（ｉ，ｊ）における画素ブロックの動きベクトルのＸ成分であり、ｙijは、ブロック座標（ｉ，ｊ）における画素ブロックの動きベクトルのＹ成分である。
【００７１】
また、動き検出部３５は、この処理対象の白色光画像の画素毎に注目画素と周辺画素との輝度比較処理を行い、この輝度比較処理の結果をもとに、この処理対象の白色光画像に正反射光画素が含まれるか否かを判断する。動き検出部３５は、この処理対象の白色光画像に正反射光画素が含まれている場合、この正反射光画素をその周辺画素によって補間するフィルタリング処理を行う。動き検出部３５は、かかるフィルタリング処理後の白色光画像の動き成分Ｖ（ｉ，ｊ）を検出し、かかるフィルタリング処理後の白色光画像の各画素ブロックの動き成分Ｖ（ｉ，ｊ）を含む動き成分マップを生成する。動き検出部３５は、この生成した動き成分マップを補正処理部３６に送信する。
【００７２】
つぎに、画像処理装置３０は、観察部位１００の反射光画像の検出動き成分に基づく補正処理を行う（ステップＳ１０５）。このステップＳ１０５において、制御部３９は、動き検出部３５によって検出された動き成分Ｖ（ｉ，ｊ）を加味して処理対象の白色光画像の輝度値を補正処理するように補正処理部３６を制御する。
【００７３】
かかる制御部３９の制御に基づいて、補正処理部３６は、前処理部３３から取得した処理対象の白色光画像と動き検出部３５から取得した動き成分マップとの対応画素毎に、この動き成分マップ内の画素毎の動き成分Ｖｄ（ｘ，ｙ）を加味して輝度値を補正する。この結果、補正処理部３６は、この処理対象の白色光画像の輝度値に動き成分Ｖｄ（ｘ，ｙ）を反映した補正輝度値Ｗｄ（ｘ，ｙ）を画素毎に算出する。補正処理部３６は、かかる白色光画像の各画素の補正輝度値Ｗｄ（ｘ，ｙ）を規格化処理部３７に送信する。
【００７４】
なお、この動き成分Ｖｄ（ｘ，ｙ）は、上述した動き成分マップ内の画素ブロックの動き成分Ｖ（ｉ，ｊ）を画素単位に分割したものであり、この処理対象の白色光画像に設定された２軸直交座標系の画素座標（ｘ，ｙ）における動き成分である。また、この処理対象の白色光画像はｍ×ｎ画素の画像情報であるため、この動き成分マップの画素座標（ｘ，ｙ）の範囲は、１≦ｘ≦ｍ、１≦ｙ≦ｎである。
【００７５】
その後、画像処理装置３０は、上述したステップＳ１０５において補正処理した反射光画像によって観察部位１００の蛍光画像を規格化処理する（ステップＳ１０６）。このステップＳ１０６において、制御部３９は、補正処理部３６によって補正処理された白色光画像によって観察部位１００の蛍光画像を規格化処理するように規格化処理部３７を制御する。
【００７６】
かかる制御部３９の制御に基づいて、規格化処理部３７は、前処理部３３から取得した観察部位１００の蛍光画像と補正処理部３６から取得した白色光画像の動き成分マップとの対応画素毎に、この蛍光画素の輝度値を規格化処理し、この結果、観察部位１００の規格化蛍光画像を生成する。この蛍光画像の規格化処理において、規格化処理部３７は、次式（２）に基づいて規格化蛍光画像の輝度値Ｑ（ｘ，ｙ）を算出する。すなわち、規格化処理部３７は、画素座標（ｘ，ｙ）における補正輝度値Ｗｄ（ｘ，ｙ）が零値ではない場合、画素座標（ｘ，ｙ）における観察部位１００の蛍光画像の輝度値Ｆ（ｘ，ｙ）と定数Ｋとの乗算値をこの補正輝度値Ｗｄ（ｘ，ｙ）によって除算して、画素座標（ｘ，ｙ）における規格化蛍光画像の輝度値Ｑ（ｘ，ｙ）を算出する。一方、規格化処理部３７は、補正輝度値Ｗｄ（ｘ，ｙ）が零値である場合、この零値である補正輝度値Ｗｄ（ｘ，ｙ）に対応する規格化蛍光画像の輝度値Ｑ（ｘ，ｙ）を零値として算出する。なお、この画素座標（ｘ，ｙ）の範囲は、上述したように、１≦ｘ≦ｍ、１≦ｙ≦ｎである。規格化処理部３７は、かかる輝度値Ｑ（ｘ，ｙ）を有する観察部位１００の規格化蛍光画像を後処理部３８に送信する。
【００７７】
【数２】
【００７８】
つぎに、画像処理装置３０は、ステップＳ１０６において生成した観察部位１００の規格化蛍光画像の後処理を行う（ステップＳ１０７）。このステップＳ１０７において、制御部３９は、規格化処理部３７による規格化蛍光画像に所定の信号処理を行うように後処理部３８を制御する。かかる制御部３９の制御に基づいて、後処理部３８は、規格化処理部３７から取得した観察部位１００の規格化蛍光画像の各映像信号に対して、階調変換処理、強調処理および圧縮処理等の信号処理を行い、この信号処理後の規格化蛍光画像を画像出力装置５０に送信する。
【００７９】
続いて、画像処理装置３０は、かかる観察部位１００の規格化蛍光画像の出力処理を行う（ステップＳ１０８）。このステップＳ１０８において、制御部３９は、後処理部３８による信号処理後の規格化蛍光画像を出力するように画像出力装置５０を制御する。かかる制御部３９の制御に基づいて、画像出力装置５０は、後処理部３８から取得した各映像信号を取得し、この取得した各映像信号に基づいた観察部位１００の規格化蛍光画像を表示する。
【００８０】
その後、画像処理装置３０は、所定のオフ操作等の処理終了操作が行われた場合（ステップＳ１０９，Ｙｅｓ）、本処理を終了する。この場合、制御部３９は、入力装置４０によって処理終了の指示情報を入力され、この入力された指示情報に基づいて、画像処理装置３０の各構成部の動作を終了させる。一方、画像処理装置３０は、かかる処理終了操作が行われていない場合（ステップＳ１０９，Ｎｏ）、上述したステップＳ１０２に戻り、このステップＳ１０２以降の処理手順を繰り返す。この場合、制御部３９は、上述したステップＳ１０２〜Ｓ１０９の処理手順を行って、画像処理装置３０の各構成部を適宜制御する。
【００８１】
つぎに、上述したステップＳ１０５における反射光画像の検出動き成分に基づく補正処理について詳細に説明する。図７は、反射光画像の検出動き成分に基づく補正処理の処理手順を例示するフローチャートである。画像処理装置３０の補正処理部３６は、上述したように、制御部３９の制御に基づいてステップＳ１０５における反射光画像の検出動き成分に基づく補正処理を実行する。
【００８２】
詳細には、図７に示すように、補正処理部３６は、まず、処理対象の反射光画像の動き量算出処理を行う（ステップＳ２０１）。このステップＳ２０１において、動き量算出部３６ａは、処理対象の反射光画像である観察部位１００の白色光画像の動き成分マップを動き検出部３５から取得する。なお、この動き成分マップには、上述したように、この処理対象の白色光画像をＭ×Ｎの画素ブロックに分割した際の各画素ブロックの動き成分Ｖ（ｉ，ｊ）が含まれる。動き量算出部３６ａは、この取得した動き成分マップ内の各画素ブロックの動き成分Ｖ（ｉ，ｊ）をもとに、この処理対象の白色光画像の全体的動き量Ｖaveを算出する。動き量算出部３６ａは、この算出した処理対象の白色光画像の全体的動き量Ｖaveを置換処理部３６ｂに送信する。なお、かかる処理対象の白色光画像の全体的動き量Ｖaveは、例えば次式（３）に基づいて算出される。
【００８３】
【数３】
【００８４】
つぎに、補正処理部３６は、ステップＳ２０１において算出した処理対象の白色光画像の全体的動き量Ｖaveが予め設定された閾値Ｖｔ以上であるか否かを判断する（ステップＳ２０２）。このステップＳ２０２において、置換処理部３６ｂは、処理対象の白色光画像の全体的動き量Ｖaveを動き量算出部３６ａから取得する。また、置換処理部３６ｂは、この処理対象の白色光画像の動き成分マップを動き検出部３５から取得する。置換処理部３６ｂは、この取得した全体的動き量Ｖaveと閾値Ｖｔとの比較処理を行い、全体的動き量Ｖaveが閾値Ｖｔ以上である場合、この動き成分マップに対応する処理対象の白色光画像内の被写体に所定以上の動きがあると判定する。一方、置換処理部３６ｂは、全体的動き量Ｖaveが閾値Ｖｔ未満である場合、この動き成分マップに対応する処理対象の白色光画像内の被写体に所定以上の動きがないと判定する。
【００８５】
補正処理部３６は、このステップＳ２０２において全体的動き量Ｖaveが閾値Ｖｔ以上である場合（ステップＳ２０２，Ｙｅｓ）、この処理対象の白色光画像の動き成分記憶処理を実行する（ステップＳ２０３）。このステップＳ２０３において、置換処理部３６ｂは、この処理対象の白色光画像の動き成分マップを補正輝度算出部３６ｄに出力するとともに、被写体に所定以上の動きがある場合の動き成分マップとして、この動き成分マップを動き成分記憶部３６ｃに出力する。動き成分記憶部３６ｃは、この置換処理部３６ｂから取得した動き成分マップを記憶し、この置換処理部３６ｂから動き成分マップを取得する都度、動き成分マップを更新する。
【００８６】
一方、補正処理部３６は、このステップＳ２０２において全体的動き量Ｖaveが閾値Ｖｔ未満である場合（ステップＳ２０２，Ｎｏ）、この処理対象の白色光画像の動き成分置換処理を実行する（ステップＳ２０４）。このステップＳ２０４において、置換処理部３６ｂは、動き成分記憶部３６ｃから過去の動き成分マップを読み出し、動き検出部３５から取得した処理対象の白色光画像の動き成分マップをこの過去の動き成分マップに置換する。すなわち、置換処理部３６ｂは、被写体に所定以上の動きがない場合の動き成分マップを、被写体に所定以上の動きがある場合の動き成分マップに置き換える。この場合、置換処理部３６ｂは、処理対象の白色光画像の動き成分マップとして、この過去の動き成分マップを補正輝度算出部３６ｄに出力する。
【００８７】
その後、補正処理部３６は、処理対象の反射光画像の動き成分を加味した補正輝度算出処理を実行する（ステップＳ２０５）。このステップＳ２０５において、補正輝度算出部３６ｄは、前処理部３３から処理対象の白色光画像を取得し、置換処理部３６ｂから動き成分マップを取得する。補正輝度算出部３６ｄは、この取得した動き成分マップに含まれるＭ×Ｎの画素ブロックを元の画素単位、すなわちｍ×ｎ画素に分割し、この分割した各画素の動き成分Ｖｄ（ｘ，ｙ）を算出する。この場合、補正輝度算出部３６ｄは、かかる動き成分マップの分割前の画素ブロックの動き成分Ｖ（ｉ，ｊ）と、この画素ブロックから分割した各画素の動き成分Ｖｄ（ｘ，ｙ）とを同値にする。次いで、補正輝度算出部３６ｄは、かかる処理対象の白色光画像および動き成分マップの対応画素毎に、この動き成分マップの画素単位の動き成分Ｖｄ（ｘ，ｙ）を加味した補正輝度値Ｗｄ（ｘ，ｙ）を算出する。具体的には、次式（４）に示すように、補正輝度算出部３６ｄは、この処理対象の白色光画像の輝度値Ｗ（ｘ，ｙ）および定数ａの乗算値と動き成分Ｖｄ（ｘ，ｙ）および定数ｂの乗算値とを画素座標（ｘ，ｙ）毎に加算処理して、この白色光画像の各画素の補正輝度値Ｗｄ（ｘ，ｙ）を算出する。補正輝度算出部３６ｄは、このように算出した白色光画像の各画素の補正輝度値Ｗｄ（ｘ，ｙ）を規格化処理部３７に送信する。
【００８８】
【数４】
【００８９】
なお、この式（４）における輝度値Ｗ（ｘ，ｙ）は、この処理対象の白色光画像に設定された２軸直交座標系の画素座標（ｘ，ｙ）（ｘ＝１，２，…，ｍ、ｙ＝１，２，…，ｎ）における画素の輝度値である。また、この式（４）における定数ａ，ｂは、入力装置４０によって入力された情報をもとに制御部３９が設定した定数であってもよいし、対物レンズ２３の焦点距離または撮像素子のゲイン等をもとに制御部３９が自動的に設定した定数であってもよい。
【００９０】
上述したステップＳ２０５の処理手順が終了した後、補正処理部３６は、図６に示したステップＳ１０５にリターンする。その後、画像処理装置３０は、上述したように、ステップＳ１０６に進み、このステップＳ１０６以降の処理手順を実行する。
【００９１】
つぎに、上述したｍ×ｎ画素の動き成分マップに含まれる各画素ブロックが各々１６×１６画素の画素ブロックである場合を例示して、補正処理部３６による処理対象の白色光画像の補正処理を具体的に説明する。図８は、処理対象の白色光画像の動き成分マップの一具体例を示す模式図である。図９は、動き成分を加味して白色光画像を補正処理する状態を示す模式図である。
【００９２】
図８に示すように、上述した動き検出部３５によって生成される処理対象の白色光画像（ｍ×ｎ画素）の動き成分マップＭＰは、１６×１６画素を画素ブロック単位とするＭブロック×Ｎブロックの画素ブロックＤ（ｉ，ｊ）によって形成される。ここで、画素ブロックＤ（ｉ，ｊ）は、この動き成分マップＭＰに設定されたｘ軸およびｙ軸の２軸直交座標系のブロック座標（ｉ，ｊ）（１≦ｉ≦Ｍ、１≦ｊ≦Ｎ）における画素ブロックである。例えば、画素ブロックＤ（１，１）は、動き成分マップＭＰのブロック座標（１，１）における画素ブロックであり、画素ブロックＤ（Ｍ，Ｎ）は、動き成分マップＭＰのブロック座標（Ｍ，Ｎ）における画素ブロックである。
【００９３】
なお、かかる動き成分マップＭＰに設定される２軸直交座標系は、例えば図８に示すように、動き成分マップＭＰの横軸をｘ軸とし、縦軸をｙ軸としている。また、この２軸直交座標系は、図８における動き成分マップＭＰの左上角を原点とし、ｘ軸は、この動き成分マップＭＰの右方向を正方向とし、ｙ軸は、この動き成分マップＭＰの下方向を正方向としている。かかる動き成分マップＭＰにおいて、横軸のブロック数Ｍ＝ｍ画素／１６であり、縦軸のブロック数Ｎ＝ｎ画素／１６である。
【００９４】
かかるＭブロック×Ｎブロックの動き成分マップＭＰは、上述した動き検出部３５によって算出された動き成分Ｖ（ｉ，ｊ）を画素ブロックＤ（ｉ，ｊ）毎に含んでいる。例えば、動き成分マップＭＰにおいて、画素ブロックＤ（１，１）の動き成分はＶ（１，１）であり、画素ブロックＤ（Ｍ，１）の動き成分はＶ（Ｍ，１）であり、画素ブロックＤ（１，Ｎ）の動き成分はＶ（１，Ｎ）であり、画素ブロックＤ（Ｍ，Ｎ）の動き成分はＶ（Ｍ，Ｎ）である。なお、かかる画素ブロックＤ（ｉ，ｊ）の動き成分Ｖ（ｉ，ｊ）は、上述した式（１）に基づいて算出される。
【００９５】
ここで、上述した補正処理部３６は、かかる動き成分マップＭＰ内の動き成分Ｖ（ｉ，ｊ）を加味して処理対象の白色光画像の輝度値を補正する。かかる補正処理部３６において、補正輝度算出部３６ｄは、処理対象であるｍ×ｎ画素の白色光画像Ｐｗと動き成分マップＭＰとを取得する。補正輝度算出部３６ｄは、まず、この動き成分マップＭＰ内の各画素ブロックＤ（ｉ，ｊ）を元の画素単位であるｍ×ｎ画素に分割する。具体的には、補正輝度算出部３６ｄは、この動き成分マップＭＰ内の各画素ブロックＤ（１，１）〜Ｄ（Ｍ，Ｎ）の各々を１６×１６画素に分割する。
【００９６】
次いで、補正輝度算出部３６ｄは、これら分割後の各画素の動き成分Ｖｄ（ｘ，ｙ）を算出する。この場合、補正輝度算出部３６ｄは、かかる分割前の画素ブロックＤ（ｉ，ｊ）の動き成分Ｖ（ｉ，ｊ）と、この画素ブロックＤ（ｉ，ｊ）から分割した各画素の動き成分Ｖｄ（ｘ，ｙ）とを同値にする。例えば、画素ブロックＤ（１，１）から分割した１６×１６の各画素の動き成分Ｖｄ（ｘ，ｙ）は動き成分Ｖ（１，１）と同値であり、画素ブロックＤ（Ｍ，Ｎ）から分割した１６×１６の各画素の動き成分Ｖｄ（ｘ，ｙ）は動き成分Ｖ（Ｍ，Ｎ）と同値である。
【００９７】
このように動き成分マップＭＰの各画素の動き成分Ｖｄ（ｘ，ｙ）を算出した補正輝度算出部３６ｄは、上述した式（４）に基づいて、処理対象の白色光画像Ｐｗおよび動き成分マップＭＰの対応画素毎に、動き成分Ｖｄ（ｘ，ｙ）を加味した補正輝度値Ｗｄ（ｘ，ｙ）を算出し、この算出した各画素の補正輝度値Ｗｄ（ｘ，ｙ）を有する規格化用画像Ｐｒを生成する（図９参照）。このようにして、補正処理部３６は、動き成分マップＭＰの各画素の動き成分Ｖｄ（ｘ，ｙ）を加味した白色光画像Ｐｗの補正処理を達成する。
【００９８】
なお、かかる補正処理後の白色光画像である規格化用画像Ｐｒの各画素の補正輝度値Ｗｄ（ｘ，ｙ）は、上述した規格化処理部３７に送信され、観察部位１００の蛍光画像Ｐｆの規格化処理に用いられる。ここで、かかる補正輝度値Ｗｄ（ｘ，ｙ）に含まれる動き成分Ｖｄ（ｘ，ｙ）は、被写体である観察部位１００と反射光撮像部２６との撮像距離の遠近に応じて変化する値であり、具体的には、撮像距離の増加に伴って減少し、撮像距離の減少に伴って増加する。かかる動き成分Ｖｄ（ｘ，ｙ）を反映した補正輝度値Ｗｄ（ｘ，ｙ）を画素毎に含む規格化用画像Ｐｒは、正反射光画素の有無によらず、被写体である観察部位１００と反射光撮像部２６との撮像距離を正確に反映した輝度分布を有する。
【００９９】
上述した規格化処理部３７は、かかる規格化用画像Ｐｒの補正輝度値Ｗｄ（ｘ，ｙ）によって観察部位１００の蛍光画像Ｐｆの輝度値を対応画素毎に規格化処理することによって、観察部位１００からの正反射光の影響を受けることなく、観察部位１００と蛍光撮像部２８との撮像距離に応じて変化する蛍光画像Ｐｆ内の蛍光の明暗（輝度値）を正確に補正できる。かかる規格化処理された蛍光画像Ｐｆ（すなわち規格化蛍光画像）において、励起光照射による蛍光発生源である病変部１０１は、観察部位１００と蛍光撮像部２８との撮像距離に関わらず、比較的高い輝度の画素によって描画される。
【０１００】
また、かかる処理対象の白色光画像Ｐｗおよび蛍光画像Ｐｆは、上述したように同じタイミングに撮像された観察部位１００の画像情報である。このため、かかる白色光画像Ｐｗおよび蛍光画像Ｐｆの間において病変部１０１等の被写体の位置は一致する。規格化処理部３７は、このような白色光画像Ｐｗに対応する規格化用画像Ｐｒを用いることによって、高精度に蛍光画像Ｐｆの輝度値を規格化処理することができる。
【０１０１】
以上、説明したように、本発明の実施の形態１では、観察部位から反射した白色光に基づいた観察部位の白色光画像と、この観察部位から発生した蛍光に基づいた観察部位の蛍光画像と、を処理対象の画像情報として取得し、過去に取得した観察部位の過去の白色光画像と処理対象の白色光画像とをもとに、この処理対象の白色光画像の動き成分を検出し、この検出した動き成分を加味して処理対象の白色光画像の輝度値を補正処理し、この補正処理後の輝度値によって処理対象の蛍光画像の輝度値を規格化処理するように構成した。このため、処理対象の白色光画像の輝度値に、被写体の撮像距離の遠近に応じて変化する画素の動き成分を反映させることができ、これによって、正反射光画素の有無によらず、被写体の撮像距離を正確に反映した輝度分布を有する規格化用画像を生成できる。かかる規格化用画像の輝度値によって処理対象の蛍光画像の輝度値を規格化処理することによって、正反射光の影響を受けることなく、観察対象の蛍光画像の輝度を正確に補正することができる。この結果、観察部位内の病変部等の異常組織を蛍光画像内に明確に描画でき、これによって、観察対象の蛍光画像による被検体内の異常組織の検出能および診断能を高めることができる。
【０１０２】
また、この実施の形態１では、観察部位の蛍光画像と同じタイミングに撮像された観察部位の白色光画像に対応する規格化用画像によって、この蛍光画像の輝度値を規格化処理しているので、これら両画像間における被写体の位置ずれの影響を受けることなく、高精度に蛍光画像の輝度値を補正することができる。
【０１０３】
（実施の形態２）
つぎに、本発明の実施の形態２について説明する。上述した実施の形態１では、同じタイミングに撮像された観察部位１００の蛍光画像および白色光画像を取得し、この白色光画像の動き成分を加味した補正輝度値によって観察部位１００の蛍光画像を規格化処理していたが、この実施の形態２では、異なるタイミングに撮像された観察部位１００の白色光画像と蛍光画像とを取得し、この白色光画像の動き成分をこの蛍光画像の撮像タイミングにおける動き成分に補償し、この補償処理後の動き成分を加味した白色光画像の補正輝度値によって観察部位１００の蛍光画像を規格化処理している。
【０１０４】
図１０は、本発明の実施の形態２にかかる内視鏡装置の一構成例を模式的に示すブロック図である。図１０に示すように、この実施の形態２にかかる内視鏡装置２は、上述した実施の形態１にかかる内視鏡装置１の光源装置１０に代えて光源装置２１０を備え、ダイクロイックミラー２４に代えてハーフミラー２２４を備え、バリアフィルタ２７に代えてバリアフィルタ２２７を備え、蛍光撮像部２８に代えて蛍光撮像部２２８を備え、画像処理装置３０に代えて画像処理装置２３０を備える。この内視鏡装置２において、光源装置２１０は、観察部位１００への照射光を励起光または白色光に切り替える回転フィルタ２１４と、回転フィルタ２１４の駆動源であるモータ２１５と、回転フィルタ２１４を制御するフィルタ制御部２１６とを更に備える。また、画像処理装置２３０は、上述した実施の形態１にかかる画像処理装置３０の動き検出部３５に代えて動き検出部２３５を備え、制御部３９に代えて制御部２３９を備え、さらに、動き補償部２３６を備える。その他の構成は実施の形態１と同じであり、同一構成部分には同一符号を付している。
【０１０５】
光源装置２１０は、蛍光薬剤を励起する励起光と照明光の一例である白色光とを交互に切り替えて観察部位１００に照射する光源部として機能する。具体的には、光源装置２１０は、上述した白色光源１１、コリメートレンズ１２および集光レンズ１３の他に、回転フィルタ２１４と、モータ２１５と、フィルタ制御部２１６とを備える。
【０１０６】
回転フィルタ２１４は、白色光源１１によって発光された白色光から所定の波長帯域の光を抽出する。図１１は、回転フィルタの一構成例を示す模式図である。図１２は、回転フィルタの透過率特性の一例を示す模式図である。なお、図１２には、この回転フィルタ２１４が抽出した励起光によって発生する蛍光の分光特性を例示する波長対強度の相関線Ｃ１２が図示されている。回転フィルタ２１４は、図１１に示すように、互いに分光特性の異なる白色光フィルタ２１４ａおよび励起光フィルタ２１４ｂを備える。
【０１０７】
白色光フィルタ２１４ａは、白色光源１１によって発光された白色光のうちの所定の波長帯域の白色光を透過させる。具体的には、白色光フィルタ２１４ａは、図１２に示す波長対透過率の相関線Ｃ１のように、４００〜７４０ｎｍの波長帯域の白色光を透過させる透過率特性を有する。かかる透過率特性を有する白色光フィルタ２１４ａは、白色光源１１による射出光から４００〜７４０ｎｍの波長帯域の白色光を抽出し、この抽出した白色光を観察部位１００の照明光として透過させる。
【０１０８】
励起光フィルタ２１４ｂは、白色光源１１によって発光された白色光のうちの所定の波長帯域の励起光を透過させる。具体的には、励起光フィルタ２１４ｂは、図１２に示す波長対透過率の相関線Ｃ１１のように、４９０〜５５０ｎｍの波長帯域の励起光を透過させる透過率特性を有する。かかる透過率特性を有する励起光フィルタ２１４ｂは、白色光源１１が発光した白色光から４９０〜５５０ｎｍの波長帯域の光である励起光を抽出し、この抽出した励起光を透過させる。なお、かかる励起光フィルタ２１４ｂによって抽出された励起光は、例えば観察部位１００に存在する腫瘍等の病変部１０１に特異的に集積する蛍光薬剤を励起して、例えば５５０〜６１０ｎｍの波長帯域の蛍光（図１２に示す相関線Ｃ１２を参照）を発生させる特性を有する。
【０１０９】
このような白色光フィルタ２１４ａおよび励起光フィルタ２１４ｂを有する回転フィルタ２１４は、モータ２１５の駆動によって周方向に回転し、これによって、白色光源１１からの白色光の光路（図１０に示す光源装置２１０内の破線参照）内に、白色光フィルタ２１４ａおよび励起光フィルタ２１４ｂを順次切り替えて位置させる。かかる回転フィルタ２１４は、この光路内に白色光フィルタ２１４ａを位置させた状態において４００〜７４０ｎｍの白色光を透過させ、この光路内に励起光フィルタ２１４ｂを位置させた状態において４９０〜５５０ｎｍの励起光を透過させる。すなわち、回転フィルタ２１４は、かかる白色光と励起光とを交互に透過させる。
【０１１０】
なお、かかる回転フィルタ２１４の励起光フィルタ２１４ｂは、図１２の相関線Ｃ１１に例示される透過率特性を有するものに限らず、観察部位１００から蛍光を発生させる励起光を透過するものであれば、所望の透過率特性を有するものであってもよい。この場合、かかる励起光フィルタ２１４ｂの透過波長帯域は、可視光帯域内における所望の波長帯域であってもよいし、可視光帯域外における所望の波長帯域であってもよい。
【０１１１】
フィルタ制御部２１６は、上述した回転フィルタ２１４の回転による光路内のフィルタ切替を制御する。具体的には、フィルタ制御部２１６は、回転軸を介して回転フィルタ２１４と接続されたモータ２１５の回転駆動を制御し、このモータ２１５の駆動制御を通して回転フィルタ２１４の回転駆動を制御する。これによって、フィルタ制御部２１６は、上述した白色光源１１からの白色光の光路内に白色光フィルタ２１４ａと励起光フィルタ２１４ｂとを所定の時間間隔で交互に位置させる。このようにして、フィルタ制御部２１６は、かかる光路内における回転フィルタ２１４のフィルタ切替を制御する。また、フィルタ制御部２１６は、かかるモータ２１５の回転数等の回転駆動状態をもとに、白色光フィルタ２１４ａおよび励起光フィルタ２１４ｂのいずれが光路内に位置しているかを把握する。フィルタ制御部２１６は、かかる光路内に位置するフィルタ（白色光フィルタ２１４ａまたは励起光フィルタ２１４ｂ）を示すフィルタ情報を画像処理装置２３０の制御部２３９に送信する。なお、かかるフィルタ制御部２１６の動作は、後述する画像処理装置２３０の制御部２３９によって制御される。
【０１１２】
なお、かかる構成を有する光源装置２１０によって交互に射出される白色光および励起光は、挿入部２０のライトガイドファイバ２１等を介して、所定の時間間隔で観察部位１００に交互に照射される。
【０１１３】
ハーフミラー２２４は、対物レンズ２３を透過した観察部位１００からの光を反射光撮像部２６側と蛍光撮像部２２８側とに同様に分岐する。具体的には、ハーフミラー２２４は、観察部位１００に光源装置２１０からの白色光が照射された場合、この観察部位１００から反射した白色光を反射光撮像部２６側の光路と蛍光撮像部２２８側の光路とに分岐する。一方、ハーフミラー２２４は、観察部位１００に光源装置２１０からの励起光が照射された場合、この観察部位１００から発生した蛍光と観察部位１００から反射した励起光とを反射光撮像部２６側の光路と蛍光撮像部２２８側の光路とに分岐する。
【０１１４】
バリアフィルタ２２７は、ハーフミラー２２４によって蛍光撮像部２２８側の光路に分岐された観察部位１００からの蛍光のみを透過させ、この蛍光以外の光（例えば励起光等）を遮断する。図１３は、実施の形態２におけるバリアフィルタの透過率特性の一例を示す模式図である。バリアフィルタ２２７は、図１３に示す波長対透過率の相関線Ｃ１３のように、５５０〜６１０ｎｍの波長帯域の光を透過させる透過率特性を有する。かかる透過率特性を有するバリアフィルタ２２７は、ハーフミラー２２４によって蛍光撮像部２２８側の光路に分岐された観察部位１００からの光のうち、観察部位１００からの反射した白色光および励起光を遮断するとともに、５５０〜６１０ｎｍの波長帯域の光である観察部位１００からの蛍光を透過させる。
【０１１５】
蛍光撮像部２２８は、上述した反射光撮像部２６と異なる撮像タイミングに観察部位１００の蛍光画像を撮像する。具体的には、蛍光撮像部２２８は、観察部位１００に光源装置２１０からの励起光が照射された際、ハーフミラー２２４によって蛍光撮像部２２８側の光路に分岐された観察部位１００からの蛍光、すなわちバリアフィルタ２２７を透過した蛍光を受光する。これによって、蛍光撮像部２２８は、観察部位１００に励起光が照射されたタイミングにおける観察部位１００の蛍光画像を撮像する。ここで、上述した反射光撮像部２６は、光源装置２１０から所定の時間間隔で交互に射出される光のうちの白色光が観察部位１００に照射された際、ハーフミラー２２４によって反射光撮像部２６側の光路に分岐された観察部位１００からの白色光を受光して、観察部位１００の白色光画像を撮像する。すなわち、蛍光撮像部２２８は、この白色光画像の撮像タイミングから所定の時間間隔をあけたタイミングに観察部位１００の蛍光画像を撮像する。なお、蛍光撮像部２２８は、かかる反射光撮像部２６と異なるタイミングの蛍光画像の撮像機能以外、上述した実施の形態１における蛍光撮像部２８と同様の機能を有する。
【０１１６】
画像処理装置２３０は、上述したように、実施の形態１における動き検出部３５に代えて動き検出部２３５を備え、実施の形態１における制御部３９に代えて制御部２３９を備え、さらに動き補償部２３６を備える。なお、画像処理装置２３０は、かかる動き検出部２３５、動き補償部２３６および制御部２３９の機能以外、上述した実施の形態１にかかる画像処理装置３０と同様の機能を有する。
【０１１７】
動き検出部２３５は、反射光画像取得部３１が時系列順に順次取得した観察部位１００の２フレームの反射光画像をもとに、処理対象の反射光画像の動き成分を検出する。具体的には、動き検出部２３５は、前処理部３３によって処理された観察部位１００の白色光画像（処理対象の白色光画像）を前処理部３３から取得する。また、動き検出部２３５は、この処理対象の白色光画像に比して所望フレーム（例えば１フレーム）前に撮像された観察部位１００の白色光画像（過去の白色光画像）を記憶部３４から読み出す。なお、かかる処理対象の白色光画像および過去の白色光画像は、光源装置２１０から所定の時間間隔で観察部位１００に照射される白色光の各照射タイミングに順次撮像された観察部位１００の白色光画像であり、互いに時系列順に連続する。動き検出部２３５は、かかる時系列順に連続する処理対象の白色光画像と過去の白色光画像とをもとに、ブロックマッチング法等に基づいて、この処理対象の白色光画像の動き成分を検出する。また、動き検出部２３５は、かかる時系列順に連続する処理対象の白色光画像と過去の白色光画像との間の動きベクトルを画素毎または画素ブロック毎に検出し、この検出した各動きベクトルを代表する代表ベクトルを算出する。この動き検出部２３５が算出する代表ベクトルは、かかる各画素または各画素ブロックの動きベクトルの平均であってもよいし、メディアンであってもよい。動き検出部２３５は、かかる処理対象の白色光画像の動き成分マップと代表ベクトルとを動き補償部２３６に送信する。なお、動き検出部２３５は、かかる動き成分および代表ベクトルの検出機能以外、上述した実施の形態１における動き検出部３５と同様の機能を有する。
【０１１８】
動き補償部２３６は、動き検出部２３５が検出した処理対象の反射光画像の動き成分を処理対象の蛍光画像と同じ撮像タイミングにおける動き成分に補償する。具体的には、動き補償部２３６は、動き検出部２３５が検出した処理対象の白色光画像の動き成分マップと代表ベクトルとを取得する。動き補償部２３６は、この動き検出部２３５から取得した代表ベクトルと観察部位１００の白色光画像および蛍光画像の撮像時間間隔とをもとに、動き補償ベクトルを算出する。ここで、この動き補償ベクトルは、処理対象の白色光画像の各動きベクトルと処理対象の蛍光画像の撮像タイミングにおけるこの処理対象の白色光画像の各動きベクトルとの差を代表するベクトル情報である。動き補償部２３６は、かかる処理対象の白色光画像の動き成分マップと動き補償ベクトルとをもとに、この動き成分マップ内の各動き成分を観察部位１００の蛍光画像の撮像タイミングにおける動き成分に補償する。動き補償部２３６は、かかる動き補償処理後の動き成分マップを補正処理部３６に送信する。
【０１１９】
制御部２３９は、実施の形態１にかかる画像処理装置３０の制御部３９と同様に、処理プログラムを記憶する記憶部とこの記憶部内の処理プログラムを実行するコンピュータとを用いて実現される。制御部２３９は、入力装置４０によって入力された指示情報に基づいて、上述した光源装置２１０の回転フィルタ２１４のフィルタ切替制御を実行するようにフィルタ制御部２１６を制御する。
【０１２０】
また、制御部２３９は、上述したフィルタ情報をフィルタ制御部２１６から順次取得し、取得したフィルタ情報をもとに、光源装置２１０の光路内に現に位置する回転フィルタ２１４のフィルタが白色光フィルタ２１４ａおよび励起光フィルタ２１４ｂのいずれであるかを識別する。制御部２３９は、光源装置２１０の光路内のフィルタが白色光フィルタ２１４ａである場合、観察部位１００に白色光が照射されたタイミングに反射光撮像部２６が撮像した観察部位１００の白色光画像を取得するように反射光画像取得部３１を制御する。なお、制御部２３９は、光源装置２１０の光路内のフィルタが白色光フィルタ２１４ａではない場合、反射光撮像部２６からの映像信号を削除するように反射光画像取得部３１を制御する。一方、制御部２３９は、光源装置２１０の光路内のフィルタが励起光フィルタ２１４ｂである場合、観察部位１００に励起光が照射されたタイミングに蛍光撮像部２２８が撮像した観察部位１００の蛍光画像を取得するように蛍光画像取得部３２を制御する。なお、制御部２３９は、光源装置２１０の光路内のフィルタが励起光フィルタ２１４ｂではない場合、蛍光撮像部２２８からの映像信号を削除するように蛍光画像取得部３２を制御する。このようにして、制御部２３９は、所定の時間間隔で観察部位１００の白色光画像および蛍光画像を交互に取得するように反射光画像取得部３１および蛍光画像取得部３２を制御する。
【０１２１】
一方、制御部２３９は、上述した動き検出部２３５による処理対象の白色光画像の動き検出処理および代表ベクトル算出処理と、動き補償部２３６による処理対象の白色光画像の動き補償処理とを制御する。また、制御部２３９は、かかる動き補償部２３６による動き補償処理後の動き成分マップをもとに処理対象の白色光画像の輝度補正処理を実行するように補正処理部３６を制御する。なお、制御部２３９は、この実施の形態２における各制御機能以外、実施の形態１にかかる画像処理装置３０の制御部３９と同様の機能を有する。
【０１２２】
つぎに、本発明の実施の形態２にかかる画像処理装置２３０の動作について説明する。図１４は、本発明の実施の形態２にかかる画像処理装置の処理手順を例示するフローチャートである。図１５は、実施の形態２にかかる画像処理装置の動作を具体的に説明するための模式図である。
【０１２３】
図１４に示すように、画像処理装置２３０は、まず、観察部位１００の反射光画像を事前に取得する（ステップＳ３０１）。このステップＳ３０１において、制御部２３９は、光源装置２１０から観察部位１００に白色光が照射されるようにフィルタ制御部２１６を制御するとともに、この白色光の照射タイミングにおける観察部位１００の白色光画像を取得するように反射光画像取得部３１を制御する。
【０１２４】
かかる制御部２３９の制御に基づいて、フィルタ制御部２１６は、光源装置２１０の光路内に回転フィルタ２１４の白色光フィルタ２１４ａが位置するようにモータ２１５を制御する。この結果、観察部位１００には、光源装置２１０による白色光が照射される。一方、反射光画像取得部３１は、かかる制御部２３９の制御に基づいて、この光源装置２１０からの白色光が観察部位１００に照射されたタイミングＴ１に反射光撮像部２６が撮像した観察部位１００の白色光画像Ｐｗ１を取得し、この取得した白色光画像Ｐｗ１の各映像信号をデジタル変換後に前処理部３３に送信する。前処理部３３は、かかる制御部２３９の制御に基づいて、この反射光画像取得部３１から取得した白色光画像Ｐｗ１の各映像信号に対して上述した信号処理を行い、その後、この白色光画像Ｐｗ１の各映像信号を記憶部３４に送信する。記憶部３４は、後に処理対象となる観察部位１００の白色光画像Ｐｗ２（図１５参照）に比して過去の白色光画像として、この前処理部３３から取得した観察部位１００の白色光画像Ｐｗ１を記憶する。
【０１２５】
なお、上述したタイミングＴ１は、図１５に示すように、光源装置２１０からの励起光が観察部位１００に照射されるタイミングＴ２以前である。かかるタイミングＴ１において撮像された観察部位１００の白色光画像Ｐｗ１は、このタイミングＴ２において撮像される観察部位１００の蛍光画像Ｐｆに比して過去の画像情報である。
【０１２６】
つぎに、画像処理装置２３０は、処理対象となる観察部位１００の反射光画像および蛍光画像を取得する（ステップＳ３０２）。このステップＳ３０２において、制御部２３９は、まず、光源装置２１０から観察部位１００に励起光が照射されるようにフィルタ制御部２１６を制御するとともに、この励起光の照射タイミングにおける観察部位１００の蛍光画像を取得するように蛍光画像取得部３２を制御する。続いて、制御部２３９は、光源装置２１０から観察部位１００に白色光が照射されるようにフィルタ制御部２１６を制御するとともに、この白色光の照射タイミングにおける観察部位１００の白色光画像を取得するように反射光画像取得部３１を制御する。
【０１２７】
かかる制御部２３９の制御に基づいて、フィルタ制御部２１６は、まず、光源装置２１０の光路内に回転フィルタ２１４の励起光フィルタ２１４ｂが位置するようにモータ２１５を制御する。この結果、観察部位１００には、光源装置２１０による励起光が照射される。次いで、蛍光画像取得部３２は、かかる制御部２３９の制御に基づいて、この光源装置２１０からの励起光が観察部位１００に照射されたタイミングＴ２に蛍光撮像部２２８が撮像した観察部位１００の蛍光画像Ｐｆを取得し、この取得した蛍光画像Ｐｆの各映像信号をデジタル変換後に前処理部３３に送信する。一方、この観察部位１００への励起光の照射後に、フィルタ制御部２１６は、かかる制御部２３９の制御に基づいて、光源装置２１０の光路内に回転フィルタ２１４の白色光フィルタ２１４ａが再度位置するようにモータ２１５を制御する。この結果、観察部位１００には、上述した励起光の照射から所定の時間後に光源装置２１０による白色光が再度照射される。次いで、反射光画像取得部３１は、かかる制御部２３９の制御に基づいて、この光源装置２１０からの白色光が観察部位１００に照射されたタイミングＴ３に反射光撮像部２６が撮像した観察部位１００の白色光画像Ｐｗ２を取得し、この取得した白色光画像Ｐｗ２の各映像信号をデジタル変換後に前処理部３３に送信する。
【０１２８】
なお、上述した励起光が照射されたタイミングＴ２は、図１５に示すように、光源装置２１０からの白色光が観察部位１００に照射されたタイミングＴ１と光源装置２１０からの白色光が観察部位１００に再度照射されたタイミングＴ３との間のタイミングである。かかるタイミングＴ２において撮像された観察部位１００の蛍光画像Ｐｆは、このタイミングＴ１における観察部位１００の白色光画像Ｐｗ１以後の画像情報であって、このタイミングＴ３において撮像された観察部位１００の白色光画像Ｐｗ２に比して過去の画像情報である。すなわち、かかるタイミングＴ１，Ｔ３における観察部位１００の白色光画像Ｐｗ１，Ｐｗ２は、このタイミングＴ２における観察部位１００の蛍光画像Ｐｆを挟んで時系列順に連続する画像情報である。
【０１２９】
続いて、画像処理装置２３０は、図６に示した実施の形態１におけるステップＳ１０３の場合と同様に、ステップＳ３０２において取得した観察部位１００の白色光画像Ｐｗ２および蛍光画像Ｐｆの各映像信号の前処理を実行し（ステップＳ３０３）、その後、観察部位１００の反射光画像の動き検出処理を実行する（ステップＳ３０４）。このステップＳ３０４において、制御部２３９は、観察部位１００の蛍光画像Ｐｆを挟んで時系列順に連続する観察部位１００の白色光画像Ｐｗ１，Ｐｗ２をもとに処理対象の白色光画像Ｐｗ２の動き検出処理、代表ベクトル算出処理およびフィルタリング処理を実行するように動き検出部２３５を制御する。
【０１３０】
かかる制御部２３９の制御に基づいて、動き検出部２３５は、前処理部３３から取得した処理対象の白色光画像Ｐｗ２と記憶部３４から読み出した過去の白色光画像Ｐｗ１とをもとに、この処理対象の白色光画像Ｐｗ２の動き成分を検出する。具体的には、動き検出部２３５は、ｍ×ｎ画素の画像情報であるこの処理対象の白色光画像Ｐｗ２をＭ×Ｎの画素ブロックに分割する。動き検出部２３５は、かかるＭ×Ｎの画素ブロックからなる処理対象の白色光画像Ｐｗ２を基準画像とし、記憶部３４から読み出した過去の白色光画像Ｐｗ１を参照画像としたブロックマッチング法等に基づいて、この処理対象の白色光画像Ｐｗ２の各画素ブロックの動きベクトルを算出する。動き検出部２３５は、上述した式（１）に基づいて、この処理対象の白色光画像Ｐｗ２の各画素ブロックの動きベクトルの動き成分Ｖ（ｉ，ｊ）を算出する。動き検出部２３５は、かかる白色光画像Ｐｗ２の各画素ブロックの動き成分Ｖ（ｉ，ｊ）を含む動き成分マップを生成する。なお、かかる白色光画像Ｐｗ２の各画素ブロックの動き成分Ｖ（ｉ，ｊ）は、上述した観察部位１００の蛍光画像ＰｆのタイミングＴ２から所定の時間以後のタイミングＴ３における動き成分である。また、動き検出部２３５は、上述した実施の形態１の場合と同様に、この処理対象の白色光画像Ｐｗ２の画素毎に注目画素と周辺画素との輝度比較処理を行い、この輝度比較処理の結果に基づいて、上述したフィルタリング処理を適宜行う。
【０１３１】
また、動き検出部２３５は、かかる処理対象の白色光画像Ｐｗ２と過去の白色光画像Ｐｗ１との間の動きベクトルを画素毎または画素ブロック毎に検出し、この検出した各動きベクトルを代表する代表ベクトルＶｒを算出する。動き検出部２３５は、上述したフィルタリング処理後の白色光画像Ｐｗ２の動き成分マップおよび代表ベクトルＶｒを動き補償部２３６に送信する。
【０１３２】
つぎに、画像処理装置２３０は、観察部位１００の反射光画像の動き補償処理を実行する（ステップＳ３０５）。このステップＳ３０５において、制御部２３９は、動き検出部２３５が検出した処理対象の白色光画像Ｐｗ２の動き成分を処理対象の蛍光画像Ｐｆと同じ撮像タイミングにおける動き成分に補償するように動き補償部２３６を制御する。
【０１３３】
かかる制御部２３９の制御に基づいて、動き補償部２３６は、処理対象の白色光画像Ｐｗ２、すなわちタイミングＴ３における観察部位１００の白色光画像Ｐｗ２の動き成分を観察部位１００の蛍光画像Ｐｆと同じタイミングＴ２における動き成分に補償する。
【０１３４】
具体的には、動き補償部２３６は、動き検出部２３５から処理対象の白色光画像Ｐｗ２の動き成分マップおよび代表ベクトルＶｒを取得する。動き補償部２３６は、この取得した代表ベクトルＶｒと観察部位１００の白色光画像Ｐｗ１，Ｐｗ２および蛍光画像Ｐｆの各時間間隔△Ｔ１，△Ｔ２とをもとに、動き補償ベクトルＶｆを算出する。ここで、この時間間隔△Ｔ１は、処理対象の蛍光画像ＰｆのタイミングＴ２と過去の白色光画像Ｐｗ１のタイミングＴ１との時間差であり、この時間間隔△Ｔ２は、処理対象の白色光画像Ｐｗ２のタイミングＴ３と処理対象の蛍光画像ＰｆのタイミングＴ２との時間差である（図１５を参照）。動き補償部２３６は、次式（５）に基づいて、このタイミングＴ３における白色光画像Ｐｗ２の各動きベクトルとタイミングＴ２における白色光画像Ｐｗ２の各動きベクトルとの差を代表するベクトル情報である動き補償ベクトルＶｆを算出する。
【０１３５】
【数５】
【０１３６】
動き補償部２３６は、かかるタイミングＴ３における白色光画像Ｐｗ２の動き成分マップと動き補償ベクトルＶｆとをもとに、この動き成分マップ内の各動き成分を観察部位１００の蛍光画像ＰｆのタイミングＴ２における動き成分に補償する。この場合、動き補償部２３６は、かかるタイミングＴ３における動き成分マップ内の各画素ブロックの動きベクトルから動き補償ベクトルＶｆを各々減算し、この減算処理後の各画素ブロックの動きベクトルの動き成分を動き補償処理後の動き成分Ｖ（ｉ，ｊ）として算出する。なお、かかる動き補償処理後の動き成分Ｖ（ｉ，ｊ）は、観察部位１００の蛍光画像ＰｆのタイミングＴ２における処理対象の白色光画像Ｐｗ２の動き成分であり、上述した式（１）と同様に算出される。動き補償部２３６は、かかる動き補償処理後の動き成分Ｖ（ｉ，ｊ）を画素ブロック単位の動き成分として含む動き成分マップを生成し、この生成した動き成分マップを動き補償処理後の動き成分マップとして補正処理部３６に送信する。
【０１３７】
つぎに、画像処理装置２３０は、観察部位１００の反射光画像の検出動き成分に基づく補正処理を行う（ステップＳ３０６）。このステップＳ３０６において、制御部２３９は、動き補償部２３６による動き補償処理後の動き成分Ｖ（ｉ，ｊ）を加味して処理対象の白色光画像の輝度値を補正処理するように補正処理部３６を制御する。
【０１３８】
かかる制御部２３９の制御に基づいて、補正処理部３６は、前処理部３３から取得した処理対象の白色光画像Ｐｗ２の各画素の輝度値を補正する。この場合、補正処理部３６は、上述した動き検出部３５から動き成分マップを取得する代わりに、動き補償部２３６から動き補償処理後の動き成分マップを取得し、この動き補償処理後の動き成分マップと前処理部３３から取得した処理対象の白色光画像Ｐｗ２とを用いて図７に示したステップＳ２０１〜Ｓ２０５の処理手順を実行する。この結果、補正処理部３６は、この処理対象の白色光画像Ｐｗ２の輝度値に動き補償処理後の動き成分Ｖｄ（ｘ，ｙ）を反映した補正輝度値Ｗｄ（ｘ，ｙ）を画素毎に算出し、この算出した各画素の補正輝度値Ｗｄ（ｘ，ｙ）を有する規格化用画像Ｐｒを生成する（図１５参照）。補正処理部３６は、かかる規格化用画像Ｐｒの各画素の補正輝度値Ｗｄ（ｘ，ｙ）を規格化処理部３７に送信する。
【０１３９】
ここで、この動き補償処理後の動き成分Ｖｄ（ｘ，ｙ）は、上述した動き補償部２３６による動き補償処理後の動き成分マップ内の画素ブロックの動き成分Ｖ（ｉ，ｊ）を画素単位に分割したものであり、この処理対象の白色光画像Ｐｗ２に設定された２軸直交座標系の画素座標（ｘ，ｙ）における動き成分である。かかる動き補償処理後の動き成分Ｖｄ（ｘ，ｙ）は、観察部位１００の蛍光画像Ｐｆと同じタイミングＴ２における処理対象の白色光画像Ｐｗ２の各画素の動き成分であるとともに、上述した実施の形態１の場合と同様に、被写体である観察部位１００と反射光撮像部２６との撮像距離の遠近に応じて変化する値である。かかる動き補償処理後の動き成分Ｖｄ（ｘ，ｙ）を反映した補正輝度値Ｗｄ（ｘ，ｙ）を画素毎に含む規格化用画像Ｐｒは、タイミングＴ２における観察部位１００の蛍光画像Ｐｆと被写体の位置が略一致するとともに、正反射光画素の有無によらず、被写体である観察部位１００と反射光撮像部２６との撮像距離を正確に反映した輝度分布を有する。
【０１４０】
その後、画像処理装置２３０は、図６に示したステップＳ１０６〜Ｓ１０８と同様に、観察部位１００の蛍光画像Ｐｆを規格化処理し（ステップＳ３０７）、このステップＳ３０７による観察部位１００の規格化蛍光画像の後処理を行い（ステップＳ３０８）、この後処理後の観察部位１００の規格化蛍光画像の出力処理を行う（ステップＳ３０９）。次いで、画像処理装置２３０は、図６に示したステップＳ１０９と同様に、所定のオフ操作等の処理終了操作が行われた場合（ステップＳ３１０，Ｙｅｓ）、本処理を終了する。一方、画像処理装置２３０は、かかる処理終了操作が行われていない場合（ステップＳ３１０，Ｎｏ）、上述したステップＳ３０２に戻り、このステップＳ３０２以降の処理手順を繰り返す。この場合、制御部２３９は、上述したＳ３０２〜Ｓ３１０の処理手順を行って、画像処理装置２３０の各構成部を適宜制御する。
【０１４１】
以上、説明したように、本発明の実施の形態２では、観察部位の白色光画像と蛍光画像とを所定の時間間隔で交互に取得し、この蛍光画像を挟んで時系列順に順次取得した２フレームの白色光画像をもとに、これら２フレームの白色光画像のうちの一つである処理対象の白色光画像の動き成分を検出し、この検出した動き成分をこの蛍光画像の撮像タイミングにおける動き成分に補償し、この動き補償処理後の動き成分を加味して処理対象の白色光画像の輝度値を補正処理するようにし、その他を実施の形態１と同様に構成した。このため、上述した実施の形態１の場合と同様の作用効果を享受するとともに、観察部位を照明する白色光と観察部位から蛍光を発生させる励起光とを異なるタイミングに交互に照射でき、これによって、この白色光の波長帯域と蛍光の波長帯域とを分離する必要がなく、この白色光の波長帯域内外によらず、所望の波長帯域の蛍光を発生させる励起光を照射することができる。この結果、蛍光観察に用いる蛍光および励起光の波長帯域を選択する際の自由度が高まって、観察部位の蛍光観察を容易に行うことができる。
【０１４２】
なお、上述した実施の形態１，２では、補正輝度算出部３６ｄは、動き成分マップまたは動き補償処理後の動き成分マップに含まれる各画素の動き成分を加味して処理対象の反射光画像（例えば観察部位１００の白色光画像）の補正輝度値を算出していたが、さらに、この処理対象の反射光画像に正反射光を受光した画素、すなわち正反射光画素が含まれるか否かを判断し、正反射光画素が含まれる場合、正反射光画素が含まれない場合に比して正反射光画素に対応する補正輝度値を大きくしてもよい。すなわち、補正輝度算出部３６ｄは、正反射光画素と正反射光画素以外の画素との間で補正輝度値の係数の重み付けを変化させ、正反射光画素以外の画素に比して正反射光画素の補正輝度値の重み付けを大きくしてもよい。
【０１４３】
また、補正輝度算出部３６ｄは、処理対象の反射光画像に正反射光画素が含まれるか否かを判断し、正反射光画素が含まれる場合、この正反射光画素の輝度値を所定の輝度値に置換するクリップ処理を行ってもよい。具体的には、補正輝度算出部３６ｄは、処理対象の反射光画像の各画素の輝度値と予め設定された閾値とを比較し、この閾値に比して大きい輝度値を有する画素を正反射光画素と判定する。補正輝度算出部３６ｄは、このように判定した正反射光画素の輝度値を、予め設定した輝度値に置換する。これによって、処理対象の反射光画像における正反射光画素と正反射光画素以外の画素との輝度差を軽減でき、この結果、観察部位からの正反射光の影響を受けることなく蛍光画像の各輝度値を高精度に補正することができる。
【０１４４】
さらに、補正輝度算出部３６ｄは、上述した式（４）に示すように、この処理対象の白色光画像の輝度値Ｗ（ｘ，ｙ）と動き成分Ｖｄ（ｘ，ｙ）との加算処理を行って補正輝度値Ｗｄ（ｘ，ｙ）を算出していたが、これに限らず、この処理対象の白色光画像の輝度値Ｗ（ｘ，ｙ）と動き成分Ｖｄ（ｘ，ｙ）との乗算処理を行って補正輝度値Ｗｄ（ｘ，ｙ）を算出しもよい。
【０１４５】
また、上述した実施の形態１，２では、補正輝度算出部３６ｄは、動き成分マップに含まれるＭ×Ｎの画素ブロックを元の画素単位、すなわちｍ×ｎ画素に分割して各画素の動き成分Ｖｄ（ｘ，ｙ）を算出していたが、これに限らず、バイリニア補間またはバイキュービック補間を用いた公知の拡大処理によって各画素の動き成分Ｖｄ（ｘ，ｙ）を算出してもよい。
【０１４６】
さらに、上述した実施の形態１，２では、規格化処理部３７は、上述した式（２）に基づいて規格化蛍光画像の輝度値Ｑ（ｘ，ｙ）を算出していたが、この式（２）における定数Ｋは、画像を取得した際の撮像素子の露光時間またはゲインに依存する定数であってもよいし、入力装置４０によって予め入力されるユーザによる設定値であってもよい。また、この式（２）において、補正輝度値Ｗｄ（ｘ，ｙ）が零値の場合、規格化蛍光画像の輝度値Ｑ（ｘ，ｙ）を零値に規定していたが、これに限らず、補正輝度値Ｗｄ（ｘ，ｙ）が零値の場合、規格化蛍光画像の輝度値Ｑ（ｘ，ｙ）を、予め設定した輝度値にしてもよいし、エラー警告を発生させてもよい。
【０１４７】
また、上述した実施の形態１，２では、上述した動き成分マップ内の画素ブロックとして１６×１６画素の画素ブロックを例示していたが、これに限らず、上述した動き成分マップ内の各画素ブロックは、３×３画素または４×４画素等の正方形画素ブロックであってもよいし、７×５画素または４×６画素等の長方形画素ブロックであってもよい。
【０１４８】
さらに、上述した実施の形態１，２では、照明光の一例として白色光を観察部位に照射していたが、これに限らず、観察部位に照射する照明光は、赤色または緑色等の所望の色成分の光であってもよい。
【０１４９】
また、上述した実施の形態１，２では、画像出力装置５０に観察部位の規格化蛍光画像を表示していたが、これに限らず、画像出力装置５０は、観察部位の白色光画像および規格化蛍光画像を同時に表示してもよい。また、上述した画像出力装置５０は、観察部位の蛍光画像等を画面表示するものに限らず、紙等の印刷媒体に観察部位の白色光画像および規格化蛍光画像を印刷するプリンタ等であってもよいし、ハードディスク等の内蔵型の記憶メディアまたはメモリカード等の可搬型の記憶メディアを備え、かかる記憶メディアに観察部位の白色光画像および規格化蛍光画像を記憶する記憶装置であってもよい。
【０１５０】
さらに、上述した実施の形態１，２では、画像処理装置と接続された挿入部に撮像部を内蔵した内視鏡装置を本発明にかかる撮像装置の一例として例示したが、これに限らず、本発明にかかる画像処理装置と撮像部とが別体の状態に構成された撮像装置であってもよい。この場合、撮像部側においては、別体の撮像部によって撮像された映像信号を未処理の生データの形式でメモリカード等の記憶メディアに記録するとともに、撮像条件または撮像時に得られたデータ等の付随情報をヘッダ情報として記憶メディアに記録する。本発明にかかる画像処理装置は、この記憶メディアから映像信号などの記録情報を読み出し、この読み出した映像信号などに対して上述した各種処理を行ってもよい。なお、かかる撮像部による映像信号などの情報は、記憶メディアを介して画像処理装置に取得されてもよいし、有線または無線の通信回線を介して画像処理装置に取得されてもよい。
【０１５１】
また、上述した実施の形態１では、励起光の波長帯域を６８０〜７４０ｎｍに規定していたが、これに限らず、観察部位に照射される白色光等の照明光の波長帯域以外の蛍光を発生させる励起光であれば、この励起光の波長帯域は所望のものであってもよい。この場合、かかる励起光によって発生する蛍光の波長帯域は、白色光等の照明光の波長帯域以上また以下のいずれであってもよい。
【０１５２】
さらに、上述した実施の形態２では、励起光の波長帯域を４９０〜５５０ｎｍに規定していたが、これに限らず、この実施の形態２における励起光の波長帯域は、観察部位に照射される白色光等の照明光の波長帯域内外のいずれであってもよい。この場合、かかる励起光によって発生する蛍光の波長帯域は、白色光等の照明光の波長帯域内外のいずれであってもよい。
【０１５３】
また、上述した実施の形態１，２では、生体組織等の被検体を観察するための内視鏡装置を本発明にかかる画像処理装置を備える撮像装置の一例として説明したが、これに限らず、本発明にかかる撮像装置は、医療分野以外に用いる内視鏡装置または顕微鏡装置であってもよいし、内視鏡装置または顕微鏡装置以外の撮像装置、例えば、デジタルカメラまたはデジタルビデオカメラであってもよいし、撮像機能付の携帯電話等の携帯型情報端末であってもよい。また、本発明にかかる画像処理装置は、上述した医療用の内視鏡装置に具備されるものに限らず、医療分野以外に用いる内視鏡装置または顕微鏡装置、デジタルカメラまたはデジタルビデオカメラ等の内視鏡装置または顕微鏡装置以外の撮像装置、あるいは撮像機能付の携帯電話等の携帯型情報端末のいずれかに具備されるものであってもよい。
【０１５４】
さらに、上述した実施の形態１，２では、処理プログラムを実行する制御部の動作に基づいたソフトウェアによる画像処理装置の処理手順を説明したが、これに限らず、本発明にかかる画像処理装置は、ハードウェアによる処理手順を実行してもよい。
【図面の簡単な説明】
【０１５５】
【図１】本発明の実施の形態１にかかる内視鏡装置の一構成例を模式的に示すブロック図である。
【図２】本発明の実施の形態１における光源装置のフィルタの一透過率特性例を示す模式図である。
【図３】カラーフィルタ群の透過率特性の一例を示す模式図である。
【図４】実施の形態１におけるバリアフィルタの透過率特性の一例を示す模式図である。
【図５】本発明の実施の形態１にかかる画像処理装置の補正処理部の一構成例を模式的に示すブロック図である。
【図６】本発明の実施の形態１にかかる画像処理装置の処理手順を例示するフローチャートである。
【図７】反射光画像の検出動き成分に基づく補正処理の処理手順を例示するフローチャートである。
【図８】処理対象の白色光画像の動き成分マップの一具体例を示す模式図である。
【図９】動き成分を加味して白色光画像を補正処理する状態を示す模式図である。
【図１０】本発明の実施の形態２にかかる内視鏡装置の一構成例を模式的に示すブロック図である。
【図１１】回転フィルタの一構成例を示す模式図である。
【図１２】回転フィルタの透過率特性の一例を示す模式図である。
【図１３】実施の形態２におけるバリアフィルタの透過率特性の一例を示す模式図である。
【図１４】本発明の実施の形態２にかかる画像処理装置の処理手順を例示するフローチャートである。
【図１５】実施の形態２にかかる画像処理装置の動作を具体的に説明するための模式図である。
【符号の説明】
【０１５６】
１，２ 内視鏡装置
１０，２１０ 光源装置
１１ 白色光源
１２ コリメートレンズ
１３ 集光レンズ
１４ フィルタ
２０ 挿入部
２１ ライトガイドファイバ
２２ レンズ
２３ 対物レンズ
２４ ダイクロイックミラー
２５ カラーフィルタ群
２６ 反射光撮像部
２７，２２７ バリアフィルタ
２８，２２８ 蛍光撮像部
３０，２３０ 画像処理装置
３１ 反射光画像取得部
３２ 蛍光画像取得部
３３ 前処理部
３４ 記憶部
３４ａ 第１メモリ
３４ｂ 第２メモリ
３５，２３５ 動き検出部
３６ 補正処理部
３６ａ 動き量算出部
３６ｂ 置換処理部
３６ｃ 動き成分記憶部
３６ｄ 補正輝度算出部
３７ 規格化処理部
３８ 後処理部
３９，２３９ 制御部
４０ 入力装置
５０ 画像出力装置
１００ 観察部位
１０１ 病変部
２１４ 回転フィルタ
２１４ａ 白色光フィルタ
２１４ｂ 励起光フィルタ
２１５ モータ
２１６ フィルタ制御部
２２４ ハーフミラー
２３６ 動き補償部
Ｄ（１，１）〜Ｄ（Ｍ，Ｎ） 画素ブロック
ＭＰ 動き成分マップ
Ｐｆ 蛍光画像
Ｐｒ 規格化用画像
Ｐｗ，Ｐｗ１，Ｐｗ２ 白色光画像
【特許請求の範囲】
【請求項１】
観察部位からの反射光に基づいた前記観察部位の反射光画像を取得する反射光画像取得部と、
励起光の照射によって前記観察部位から発生した蛍光に基づいた前記観察部位の蛍光画像を取得する蛍光画像取得部と、
前記反射光画像取得部が取得した前記観察部位の過去の反射光画像と前記反射光画像とをもとに、前記反射光画像の動き成分を検出する動き検出部と、
前記動き成分を加味して前記反射光画像の輝度値を補正処理する補正処理部と、
前記補正処理部が補正処理した前記反射光画像の輝度値によって前記蛍光画像の輝度値を規格化処理する規格化処理部と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記動き検出部は、前記反射光画像を複数の画素ブロックに分割し、前記過去の反射光画像を参照して前記複数の画素ブロックの各動きベクトルを算出し、前記反射光画像の動き成分として、前記複数の画素ブロックの各動きベクトルの動き成分を算出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記補正処理部は、前記反射光画像と前記動き成分との対応画素毎に、前記白色光画像の輝度値に前記動き成分を反映した補正輝度値を算出し、
前記規格化処理部は、前記補正処理部が算出した前記補正輝度値によって前記蛍光画像の輝度値を規格化処理することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記補正処理部は、
前記動き検出部が検出した前記反射光画像の動き成分をもとに、前記反射光画像の全体的動き量を算出する動き量算出部と、
前記過去の反射光画像の動き成分を記憶する動き成分記憶部と、
前記動き量算出部が算出した前記反射光画像の全体的動き量と所定の閾値とを比較し、前記反射光画像の全体的動き量が前記所定の閾値以上である場合、前記反射光画像の動き成分を出力し、前記反射光画像の全体的動き量が前記所定の閾値未満である場合、前記反射光画像の動き成分を前記動き成分記憶部内の前記過去の反射光画像の動き成分に置換し、この置換した前記過去の反射光画像の動き成分を出力する置換処理部と、
前記置換処理部が出力した動き成分を加味した前記反射光画像の補正輝度値を算出する補正輝度算出部と、
を備え、
前記規格化処理部は、前記補正輝度算出部が算出した前記反射光画像の補正輝度値によって前記蛍光画像の輝度値を規格化処理することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記補正輝度算出部は、前記置換処理部が出力した動き成分の増加に伴って前記反射光画像の補正輝度値を大きくし、前記置換処理部が出力した動き成分の減少に伴って前記反射光画像の補正輝度値を小さくすることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記補正輝度算出部は、前記反射光画像に正反射光を受光した画素が含まれるか否かを判断し、前記画素が含まれる場合、前記反射光画像の補正輝度値のうち、前記画素が含まれない場合に比して前記画素に対応する補正輝度値を大きくすることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記動き量算出部は、前記反射光画像の全体的動き量として前記反射光画像の動き成分の平均値を算出することを特徴とする請求項４に記載の画像処理装置。
【請求項８】
前記動き検出部は、前記反射光画像に正反射光を受光した画素が含まれるか否かを判断し、前記画素が含まれる場合、前記画素を周辺画素によって補間するフィルタリング処理を行い、前記フィルタリング処理後の前記反射光画像の動き成分を検出することを特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記規格化処理部は、前記補正処理後の前記反射光画像の輝度値が零値以外である場合、前記反射光画像と前記蛍光画像との間の対応画素毎に前記零値以外の輝度値によって前記蛍光画像の輝度値を除算し、前記補正処理後の前記反射光画像の輝度値が零値である場合、前記零値の輝度値に対応する前記蛍光画像の輝度値を零値にすることを特徴とする請求項１に記載の画像処理装置。
【請求項１０】
前記動き検出部が検出した前記反射光画像の動き成分を前記蛍光画像と同じ撮像タイミングにおける動き成分に補償する動き補償部をさらに備え、
前記補正処理部は、前記動き補償部が補償した前記動き成分を加味して前記反射光画像の輝度値を補正処理することを特徴とする請求項１に記載の画像処理装置。
【請求項１１】
観察部位からの反射光に基づいた前記観察部位の反射光画像と、励起光の照射によって前記観察部位から発生した蛍光に基づいた前記観察部位の蛍光画像とを取得する画像取得手順と、
前記反射光画像の動き成分を検出する動き検出手順と、
前記動き成分を加味して前記反射光画像の輝度値を補正処理する補正処理手順と、
前記補正処理手順による補正処理後の前記反射光画像の輝度値によって前記蛍光画像の輝度値を規格化処理する規格化処理手順と、
をコンピュータに実行させることを特徴とする画像処理プログラム。
【請求項１２】
観察部位からの反射光に基づいた前記観察部位の反射光画像と、励起光の照射によって前記観察部位から発生した蛍光に基づいた前記観察部位の蛍光画像とを取得する画像取得ステップと、
前記反射光画像の動き成分を検出する動き検出ステップと、
前記動き成分を加味して前記反射光画像の輝度値を補正処理する補正処理ステップと、
前記補正処理ステップによる補正処理後の前記反射光画像の輝度値によって前記蛍光画像の輝度値を規格化処理する規格化処理ステップと、
を含むことを特徴とする画像処理方法。
【請求項１】
観察部位からの反射光に基づいた前記観察部位の反射光画像を取得する反射光画像取得部と、
励起光の照射によって前記観察部位から発生した蛍光に基づいた前記観察部位の蛍光画像を取得する蛍光画像取得部と、
前記反射光画像取得部が取得した前記観察部位の過去の反射光画像と前記反射光画像とをもとに、前記反射光画像の動き成分を検出する動き検出部と、
前記動き成分を加味して前記反射光画像の輝度値を補正処理する補正処理部と、
前記補正処理部が補正処理した前記反射光画像の輝度値によって前記蛍光画像の輝度値を規格化処理する規格化処理部と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記動き検出部は、前記反射光画像を複数の画素ブロックに分割し、前記過去の反射光画像を参照して前記複数の画素ブロックの各動きベクトルを算出し、前記反射光画像の動き成分として、前記複数の画素ブロックの各動きベクトルの動き成分を算出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記補正処理部は、前記反射光画像と前記動き成分との対応画素毎に、前記白色光画像の輝度値に前記動き成分を反映した補正輝度値を算出し、
前記規格化処理部は、前記補正処理部が算出した前記補正輝度値によって前記蛍光画像の輝度値を規格化処理することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記補正処理部は、
前記動き検出部が検出した前記反射光画像の動き成分をもとに、前記反射光画像の全体的動き量を算出する動き量算出部と、
前記過去の反射光画像の動き成分を記憶する動き成分記憶部と、
前記動き量算出部が算出した前記反射光画像の全体的動き量と所定の閾値とを比較し、前記反射光画像の全体的動き量が前記所定の閾値以上である場合、前記反射光画像の動き成分を出力し、前記反射光画像の全体的動き量が前記所定の閾値未満である場合、前記反射光画像の動き成分を前記動き成分記憶部内の前記過去の反射光画像の動き成分に置換し、この置換した前記過去の反射光画像の動き成分を出力する置換処理部と、
前記置換処理部が出力した動き成分を加味した前記反射光画像の補正輝度値を算出する補正輝度算出部と、
を備え、
前記規格化処理部は、前記補正輝度算出部が算出した前記反射光画像の補正輝度値によって前記蛍光画像の輝度値を規格化処理することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記補正輝度算出部は、前記置換処理部が出力した動き成分の増加に伴って前記反射光画像の補正輝度値を大きくし、前記置換処理部が出力した動き成分の減少に伴って前記反射光画像の補正輝度値を小さくすることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記補正輝度算出部は、前記反射光画像に正反射光を受光した画素が含まれるか否かを判断し、前記画素が含まれる場合、前記反射光画像の補正輝度値のうち、前記画素が含まれない場合に比して前記画素に対応する補正輝度値を大きくすることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記動き量算出部は、前記反射光画像の全体的動き量として前記反射光画像の動き成分の平均値を算出することを特徴とする請求項４に記載の画像処理装置。
【請求項８】
前記動き検出部は、前記反射光画像に正反射光を受光した画素が含まれるか否かを判断し、前記画素が含まれる場合、前記画素を周辺画素によって補間するフィルタリング処理を行い、前記フィルタリング処理後の前記反射光画像の動き成分を検出することを特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記規格化処理部は、前記補正処理後の前記反射光画像の輝度値が零値以外である場合、前記反射光画像と前記蛍光画像との間の対応画素毎に前記零値以外の輝度値によって前記蛍光画像の輝度値を除算し、前記補正処理後の前記反射光画像の輝度値が零値である場合、前記零値の輝度値に対応する前記蛍光画像の輝度値を零値にすることを特徴とする請求項１に記載の画像処理装置。
【請求項１０】
前記動き検出部が検出した前記反射光画像の動き成分を前記蛍光画像と同じ撮像タイミングにおける動き成分に補償する動き補償部をさらに備え、
前記補正処理部は、前記動き補償部が補償した前記動き成分を加味して前記反射光画像の輝度値を補正処理することを特徴とする請求項１に記載の画像処理装置。
【請求項１１】
観察部位からの反射光に基づいた前記観察部位の反射光画像と、励起光の照射によって前記観察部位から発生した蛍光に基づいた前記観察部位の蛍光画像とを取得する画像取得手順と、
前記反射光画像の動き成分を検出する動き検出手順と、
前記動き成分を加味して前記反射光画像の輝度値を補正処理する補正処理手順と、
前記補正処理手順による補正処理後の前記反射光画像の輝度値によって前記蛍光画像の輝度値を規格化処理する規格化処理手順と、
をコンピュータに実行させることを特徴とする画像処理プログラム。
【請求項１２】
観察部位からの反射光に基づいた前記観察部位の反射光画像と、励起光の照射によって前記観察部位から発生した蛍光に基づいた前記観察部位の蛍光画像とを取得する画像取得ステップと、
前記反射光画像の動き成分を検出する動き検出ステップと、
前記動き成分を加味して前記反射光画像の輝度値を補正処理する補正処理ステップと、
前記補正処理ステップによる補正処理後の前記反射光画像の輝度値によって前記蛍光画像の輝度値を規格化処理する規格化処理ステップと、
を含むことを特徴とする画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１０−２２７２５６（Ｐ２０１０−２２７２５６Ａ）
【公開日】平成２２年１０月１４日（２０１０．１０．１４）
【国際特許分類】
【出願番号】特願２００９−７７５６５（Ｐ２００９−７７５６５）
【出願日】平成２１年３月２６日（２００９．３．２６）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２２年１０月１４日（２０１０．１０．１４）
【国際特許分類】
【出願日】平成２１年３月２６日（２００９．３．２６）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]