蛍光観測装置及び蛍光観測方法
【課題】 対象物の蛍光観測画像を時系列に取得する構成において、蛍光が抽出された画像をリアルタイムに生成することが可能な蛍光観測装置及び方法を提供する。
【解決手段】 励起光を供給する光源１１と、インターレース型の撮像装置１２と、撮像装置１２から出力された第１フィールドの画像または第２フィールドの画像を記憶するフィールドメモリ１５と、差分画像を生成する差分演算器２０とによって蛍光観測装置１Ａを構成する。光源１１は、撮像装置１２での第１、第２フィールドの画像取得期間の一方が蛍光画像取得期間、他方が背景画像取得期間となるように励起光を供給する。差分演算器２０は、撮像装置１２の出力の蛍光画像からメモリ１５の背景画像を差し引く第１モードと、撮像装置１２の出力の背景画像をメモリ１５の蛍光画像から差し引く第２モードとを切り替えて適用する。
【解決手段】 励起光を供給する光源１１と、インターレース型の撮像装置１２と、撮像装置１２から出力された第１フィールドの画像または第２フィールドの画像を記憶するフィールドメモリ１５と、差分画像を生成する差分演算器２０とによって蛍光観測装置１Ａを構成する。光源１１は、撮像装置１２での第１、第２フィールドの画像取得期間の一方が蛍光画像取得期間、他方が背景画像取得期間となるように励起光を供給する。差分演算器２０は、撮像装置１２の出力の蛍光画像からメモリ１５の背景画像を差し引く第１モードと、撮像装置１２の出力の背景画像をメモリ１５の蛍光画像から差し引く第２モードとを切り替えて適用する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、観測対象物に励起光を供給して、観測対象物からの蛍光についての観測画像を取得する蛍光観測装置、及び蛍光観測方法に関するものである。
【背景技術】
【０００２】
観測対象物に対して、所定波長の励起光を供給、照射し、対象物で発生した蛍光についての観測画像を撮像装置によって取得する蛍光観測装置は、例えば医療分野などの様々な分野において用いられている。また、このような蛍光観測において、対象物の状態の時間的変化等を観測したい場合には、所定のフレームレートで時系列に画像を取得して、対象物を動画で観測する方法が用いられる（例えば、特許文献１、２参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１０−１５１１０４号公報
【特許文献２】特開平７−１５５２９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
観測対象物からの蛍光観測において、微弱な蛍光の観測画像を目視で確認するなどの目的で、励起光を供給した状態で取得された蛍光画像と、励起光を供給せずに蛍光無しの状態で取得された背景画像との差分画像を生成、表示することで、蛍光の画像成分を抽出、確認する方法が用いられる場合がある。しかしながら、従来の構成では、上記したように時系列に画像を取得して動画で対象物の観測を行う場合、蛍光が抽出された差分画像を動画のままで、リアルタイムに生成することは困難である。
【０００５】
本発明は、以上の問題点を解決するためになされたものであり、対象物の蛍光観測画像を時系列に取得する構成において、蛍光が抽出された画像をリアルタイムに生成することが可能な蛍光観測装置、及び蛍光観測方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
このような目的を達成するために、本発明による蛍光観測装置は、（１）観測対象物に対して蛍光観測のための励起光を供給するとともに、励起光の供給のＯＮ／ＯＦＦを切り替え可能な励起光供給手段と、（２）観測対象物からの光像を撮像するとともに、得られた観測対象物の画像データとして、第１フィールドの画像及び第２フィールドの画像を時系列で交互に出力するインターレース型の撮像装置と、（３）撮像装置から出力された第１フィールドの画像または第２フィールドの画像を記憶する画像記憶手段と、（４）撮像装置から出力された第１フィールドの画像及び第２フィールドの画像の一方と、画像記憶手段に記憶された第１フィールドの画像及び第２フィールドの画像の他方との差分をとった差分画像を生成する差分画像生成手段とを備え、（５）励起光供給手段は、撮像装置による第１フィールドの画像取得期間、及び第２フィールドの画像取得期間について、その一方が励起光の供給をＯＮとして蛍光画像を取得する期間、他方が励起光の供給をＯＦＦとして背景画像を取得する期間となるように励起光を供給するとともに、（６）差分画像生成手段は、その生成モードとして、撮像装置から蛍光画像が出力された場合に、蛍光画像から、その前に取得されて画像記憶手段に記憶された背景画像を差し引くことで差分画像を生成する第１モードと、撮像装置から背景画像が出力された場合に、背景画像を、その前に取得されて画像記憶手段に記憶された蛍光画像から差し引くことで差分画像を生成する第２モードとを切り替えて適用することを特徴とする。
【０００７】
また、本発明による蛍光観測方法は、（１）観測対象物に対して蛍光観測のための励起光を供給するとともに、励起光の供給のＯＮ／ＯＦＦを切り替え可能な励起光供給手段と、（２）観測対象物からの光像を撮像するとともに、得られた観測対象物の画像データとして、第１フィールドの画像及び第２フィールドの画像を時系列で交互に出力するインターレース型の撮像装置と、（３）撮像装置から出力された第１フィールドの画像または第２フィールドの画像を記憶する画像記憶手段とを含む蛍光観測装置を用い、（４）撮像装置から出力された第１フィールドの画像及び第２フィールドの画像の一方と、画像記憶手段に記憶された第１フィールドの画像及び第２フィールドの画像の他方との差分をとった差分画像を生成する差分画像生成ステップと、（５）励起光供給手段により、撮像装置による第１フィールドの画像取得期間、及び第２フィールドの画像取得期間について、その一方が励起光の供給をＯＮとして蛍光画像を取得する期間、他方が励起光の供給をＯＦＦとして背景画像を取得する期間となるように励起光を供給する励起光供給ステップとを備え、（６）差分画像生成ステップは、その生成モードとして、撮像装置から蛍光画像が出力された場合に、蛍光画像から、その前に取得されて画像記憶手段に記憶された背景画像を差し引くことで差分画像を生成する第１モードと、撮像装置から背景画像が出力された場合に、背景画像を、その前に取得されて画像記憶手段に記憶された蛍光画像から差し引くことで差分画像を生成する第２モードとを切り替えて適用することを特徴とする。
【０００８】
上記した蛍光観測装置及び蛍光観測方法では、対象物の蛍光観測画像の時系列での取得において、インターレース型の撮像装置を用いるとともに、その第１フィールドの画像取得期間及び第２フィールドの画像取得期間の一方が蛍光画像取得期間、他方が背景画像取得期間となるように、撮像装置によるフィールド画像取得動作と、励起光供給手段による励起光供給のＯＮ／ＯＦＦ動作とを同期して制御する。このとき、撮像装置からは、励起光を供給した状態での蛍光画像と、励起光を供給しない状態での背景画像とが、第１フィールドの画像または第２フィールドの画像として時系列で交互に出力される。
【０００９】
また、撮像装置から時系列に出力される蛍光画像または背景画像に対し、フィールドメモリとして画像記憶手段が設けられている。このような構成では、撮像装置から蛍光画像取得期間で取得された蛍光画像が出力される場合には、画像記憶手段に記憶されている画像は、その前の背景画像取得期間で取得された背景画像となっている。また、撮像装置から背景画像取得期間で取得された背景画像が出力される場合には、画像記憶手段に記憶されている画像は、その前の蛍光画像取得期間で取得された蛍光画像となっている。
【００１０】
このような構成において、撮像装置及び画像記憶手段に対して、観測画像の蛍光画像成分を抽出するための差分画像生成手段を設ける。そして、差分画像の生成において、撮像装置の出力の蛍光画像から、画像記憶手段の出力の１つ前の背景画像を差し引いて差分画像とする第１モードと、画像記憶手段の出力の１つ前の蛍光画像から、撮像装置の出力の背景画像を差し引いて差分画像とする第２モードとを、撮像装置及び励起光供給手段の動作に同期させて切り替えて適用する。これにより、対象物の蛍光観測画像を時系列に取得する構成において、蛍光が抽出された画像を動画のままで、画像更新速度を落とすことなくリアルタイムに生成することが可能となる。
【００１１】
ここで、蛍光観測装置は、撮像装置からの信号に基づいて第１フィールドの画像取得期間、及び第２フィールドの画像取得期間に同期して切り替わる切替信号を生成する切替信号生成手段を備え、差分画像生成手段は、切替信号に基づいて、第１モードと第２モードとを切り替えて適用する構成を用いることができる。同様に、蛍光観測方法は、撮像装置からの信号に基づいて第１フィールドの画像取得期間、及び第２フィールドの画像取得期間に同期して切り替わる切替信号を生成する切替信号生成ステップを備え、差分画像生成ステップは、切替信号に基づいて、第１モードと第２モードとを切り替えて適用する構成を用いることができる。
【００１２】
このように、撮像装置からの信号に基づいて、第１、第２フィールドの画像取得期間に同期して生成される切替信号を用いることにより、差分画像の生成における第１モードと第２モードとの生成モードの切り替えを好適に実現することができる。
【００１３】
また、蛍光観測装置は、画像記憶手段から差分画像生成手段へと出力される蛍光画像または背景画像に対して、画像に含まれる各画素の輝度について、対象画素にその近傍の所定範囲内にある画素を加えた複数の画素での最大輝度を対象画素の輝度とする最大フィルタ処理、または、対象画素にその近傍の所定範囲内にある画素を加えた複数の画素での最小輝度を対象画素の輝度とする最小フィルタ処理を行うフィルタ処理手段を備え、フィルタ処理手段は、画像記憶手段から背景画像が出力される第１モードと、画像記憶手段から蛍光画像が出力される第２モードとで、最大フィルタ処理と、最小フィルタ処理とを切り替えて適用することが好ましい。
【００１４】
同様に、蛍光観測方法は、画像記憶手段から出力される蛍光画像または背景画像に対して、画像に含まれる各画素の輝度について、対象画素にその近傍の所定範囲内にある画素を加えた複数の画素での最大輝度を対象画素の輝度とする最大フィルタ処理、または、対象画素にその近傍の所定範囲内にある画素を加えた複数の画素での最小輝度を対象画素の輝度とする最小フィルタ処理を行うフィルタ処理ステップを備え、フィルタ処理ステップは、画像記憶手段から背景画像が出力される第１モードと、画像記憶手段から蛍光画像が出力される第２モードとで、最大フィルタ処理と、最小フィルタ処理とを切り替えて適用することが好ましい。
【００１５】
上記したように、撮像装置のフィールド画像取得動作と、励起光供給手段の励起光供給動作と、差分画像生成手段のモード切替動作とを同期させる構成では、差分画像の生成において、第１フィールドの画像と第２フィールドの画像との間で差分をとるために、例えば、明るい画像部分と暗い画像部分との境界などにおいて、偽の差分画像成分が抽出される場合がある。また、このような偽の差分画像成分の抽出は、対象物に動きがあるなどの場合にも生じる可能性がある。
【００１６】
これに対して、画像記憶手段から出力される画像の各画素の輝度について最大フィルタ処理または最小フィルタ処理を実行するフィルタ処理手段を設けるとともに、このフィルタ処理手段において、差分画像の生成における第１、第２モードの切替動作に同期して、最大、最小フィルタ処理を切り替えて画像に適用する。これにより、蛍光画像と背景画像との差分画像における偽の差分画像成分の抽出を抑制することができる。
【００１７】
この場合、蛍光観測装置は、撮像装置からの信号に基づいて第１フィールドの画像取得期間、及び第２フィールドの画像取得期間に同期して切り替わる切替信号を生成する切替信号生成手段を備え、差分画像生成手段は、切替信号に基づいて、第１モードと第２モードとを切り替えて適用するとともに、フィルタ処理手段は、切替信号に基づいて、第１モードと第２モードとで、最大フィルタ処理と最小フィルタ処理とを切り替えて適用する構成を用いることができる。
【００１８】
同様に、蛍光観測方法は、撮像装置からの信号に基づいて第１フィールドの画像取得期間、及び第２フィールドの画像取得期間に同期して切り替わる切替信号を生成する切替信号生成ステップを備え、差分画像生成ステップは、切替信号に基づいて、第１モードと第２モードとを切り替えて適用するとともに、フィルタ処理ステップは、切替信号に基づいて、第１モードと第２モードとで、最大フィルタ処理と最小フィルタ処理とを切り替えて適用する構成を用いることができる。
【００１９】
このように、撮像装置からの信号に基づいて、第１、第２フィールドの画像取得期間に同期して生成される切替信号を用いることにより、差分画像の生成における第１モードと第２モードとの生成モードの切り替え、及びフィルタ処理における最大フィルタ処理と最小フィルタ処理とのフィルタ処理の切り替えを好適に実現することができる。
【００２０】
また、上記のようにフィルタ処理手段を用いる場合、蛍光観測装置は、対象画素を含む走査線のライン画像データに対して、対象画素の近傍の所定範囲内にある画素を含む走査線のライン画像データを記憶する第２の画像記憶手段を備えることが好ましい。このような構成によれば、第２の画像記憶手段に記憶されたライン画像データを用いて、フィルタ処理手段における画像に対するフィルタ処理を好適に実行することができる。
【００２１】
蛍光画像または背景画像に対するフィルタ処理については、具体的には、蛍光観測装置は、フィルタ処理手段において、最大フィルタ処理では、ｎを２以上の整数として、対象画素に垂直方向で時間的に前のｎ−１個の画素を加えたｎ個の画素での最大輝度を対象画素の輝度とする処理を行い、最小フィルタ処理では、対象画素に垂直方向で時間的に前のｎ−１個の画素を加えたｎ個の画素での最小輝度を対象画素の輝度とする処理を行う構成を用いることができる。
【００２２】
同様に、蛍光観測方法は、フィルタ処理ステップにおいて、最大フィルタ処理では、ｎを２以上の整数として、対象画素に垂直方向で時間的に前のｎ−１個の画素を加えたｎ個の画素での最大輝度を対象画素の輝度とする処理を行い、最小フィルタ処理では、対象画素に垂直方向で時間的に前のｎ−１個の画素を加えたｎ個の画素での最小輝度を対象画素の輝度とする処理を行う構成を用いることができる。
【００２３】
このように、対象画素に垂直方向で時間的に前のｎ−１個の画素を加えたｎ個の画素を用いて最大、最小フィルタ処理を実行することにより、偽の差分画像成分の抽出の抑制を好適に実現することができる。また、この場合、最大フィルタ処理及び最小フィルタ処理に用いられる画素数ｎは、３以上５以下の整数に設定されることが好ましい。
【００２４】
また、蛍光観測装置は、フィルタ処理手段において、最大フィルタ処理では、ｍを２以上の整数として、対象画素に水平方向のｍ−１個の画素を加えたｍ個の画素での最大輝度を対象画素の輝度とする処理を行い、最小フィルタ処理では、対象画素に水平方向のｍ−１個の画素を加えたｍ個の画素での最小輝度を対象画素の輝度とする処理を行う構成を用いても良い。
【００２５】
同様に、蛍光観測方法は、フィルタ処理ステップにおいて、最大フィルタ処理では、ｍを２以上の整数として、対象画素に水平方向のｍ−１個の画素を加えたｍ個の画素での最大輝度を対象画素の輝度とする処理を行い、最小フィルタ処理では、対象画素に水平方向のｍ−１個の画素を加えたｍ個の画素での最小輝度を対象画素の輝度とする処理を行う構成を用いても良い。
【００２６】
このように、対象画素に水平方向のｍ−１個の画素を加えたｍ個の画素を用いて最大、最小フィルタ処理を実行する構成によっても、例えば対象物に動きがある場合などにおいて、偽の差分画像成分の抽出の抑制を好適に実現することができる。
【００２７】
蛍光観測装置は、差分画像生成手段から出力された差分画像に基づいて、蛍光の強度分布を示す強度分布画像を生成する分布画像生成手段を備える構成を用いることができる。同様に、蛍光観測方法は、差分画像生成ステップで出力された差分画像に基づいて、蛍光の強度分布を示す強度分布画像を生成する分布画像生成ステップを備える構成を用いることができる。
【００２８】
このように、蛍光が抽出された差分画像をそのまま用いるのではなく、強度分布画像に変換して蛍光観測に用いることにより、例えば微弱な蛍光の観測画像の目視での確認等を効率的に行うことができる。また、このように強度分布画像を生成して用いる場合、具体的には例えば、差分画像に対して、単一または複数の閾値を適用して、強度分布画像である二値化画像またはカラー化画像を生成する構成を用いることができる。
【００２９】
また、蛍光観測装置は、撮像装置から出力された蛍光画像または背景画像と、分布画像生成手段から出力された強度分布画像とを重畳した重畳画像を生成する重畳画像生成手段を備える構成を用いることができる。同様に、蛍光観測方法は、撮像装置から出力された蛍光画像または背景画像と、分布画像生成ステップで出力された強度分布画像とを重畳した重畳画像を生成する重畳画像生成ステップを備える構成を用いることができる。
【００３０】
このように、オリジナルの蛍光画像または背景画像と、二値化画像、カラー化画像等の強度分布画像とを重畳した重畳画像を蛍光観測に用いる構成によれば、例えば、対象物における蛍光の発生位置を、観測画像から目視で確認することが可能になるなど、様々な形での効率的な対象物の蛍光観測が可能となる。
【発明の効果】
【００３１】
本発明の蛍光観測装置、及び蛍光観測方法によれば、インターレース型の撮像装置によるフィールド画像取得動作と、励起光供給手段による励起光供給のＯＮ／ＯＦＦ動作とを同期して制御し、撮像装置から時系列に出力される蛍光画像及び背景画像に対して画像記憶手段を設けるとともに、撮像装置及び画像記憶手段に対して差分画像生成手段を設け、差分画像の生成において、撮像装置の出力の蛍光画像から、画像記憶手段の出力の背景画像を差し引いて差分画像とする第１モードと、撮像装置の出力の背景画像を、画像記憶手段の出力の蛍光画像から差し引いて差分画像とする第２モードとを切り替えて適用することにより、対象物の蛍光観測画像を時系列に取得する構成において、蛍光が抽出された画像をリアルタイムに生成することが可能となる。
【図面の簡単な説明】
【００３２】
【図１】蛍光観測装置の第１実施形態の構成を示すブロック図である。
【図２】図１に示した蛍光観測装置において実行される蛍光観測方法の一例について示すタイミングチャートである。
【図３】蛍光観測装置の第２実施形態の構成を示すブロック図である。
【図４】図３に示した蛍光観測装置において実行される蛍光観測方法の一例について示すタイミングチャートである。
【図５】差分画像における偽の差分画像成分の発生について示す図である。
【図６】フィルタ処理による偽の差分画像成分の除去について示す図である。
【図７】差分画像における偽の差分画像成分の発生について示す図である。
【図８】フィルタ処理による偽の差分画像成分の除去について示す図である。
【図９】図３に示した蛍光観測装置において実行される蛍光観測方法の他の例について示すタイミングチャートである。
【図１０】蛍光観測装置の第３実施形態の構成を示すブロック図である。
【図１１】図１０に示した蛍光観測装置における分布画像生成部の構成の一例を示すブロック図である。
【図１２】図１０に示した蛍光観測装置において実行される蛍光観測方法の一例について示すタイミングチャートである。
【図１３】蛍光観測装置において取得される観測画像の例を示す図である。
【発明を実施するための形態】
【００３３】
以下、図面とともに本発明による蛍光観測装置、及び蛍光観測方法の好適な実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明のものと必ずしも一致していない。
【００３４】
図１は、蛍光観測装置の第１実施形態の構成を示すブロック図である。本実施形態による蛍光観測装置１Ａは、観測対象物１０について、所定のフレームレートで時系列に蛍光観測画像を取得することで、対象物１０を動画で観測するように構成されている。具体的には、本蛍光観測装置１Ａは、観測光源１１と、撮像装置１２と、フィールドメモリ１５と、差分演算器２０と、切替信号生成部２５とを備えて構成されている。
【００３５】
観測光源１１は、観測対象物１０に対して蛍光観測のための所定波長の励起光を供給するとともに、励起光の供給のＯＮ／ＯＦＦを切り替え可能に構成された励起光供給手段である。また、撮像装置１２は、対象物１０からの光像を撮像するものであり、対象物１０の画像データとして、第１フィールドの画像、及び第２フィールドの画像を時系列で交互に出力するインターレース型の撮像装置である。このような撮像装置１２としては、例えば、ＮＴＳＣ方式、またはＰＡＬ方式のスタンダード同期インターレース型ビデオカメラを用いることができる。
【００３６】
観測光源１１は、撮像装置１２の動作と同期して対象物１０へと励起光を供給するように、その動作が制御される。具体的には、光源１１は、撮像装置１２による第１フィールドの画像取得期間、及び第２フィールドの画像取得期間について、その一方の期間が、励起光の供給をＯＮとして、対象物１０で発生した蛍光の画像成分を含む蛍光画像を取得する蛍光画像取得期間となり、他方の期間が、励起光の供給をＯＦＦとして、蛍光の画像成分を含まない背景画像（例えば、対象物１０の通常画像）を取得する背景画像取得期間となるように、対象物１０に対して励起光を供給する。
【００３７】
図１に示した構成では、上記した同期を実現するために、撮像装置１２からの信号に基づいて第１、第２フィールドの画像取得期間に同期して切り替わる切替信号を生成する切替信号生成部２５が設けられている。そして、この切替信号生成部２５からの切替信号が光源１１に入力されることにより、撮像装置１２における第１、第２フィールド画像の取得と、光源１１における励起光供給のＯＮ／ＯＦＦとの同期制御が実現される。このような構成において、撮像装置１２から出力される第１、第２フィールドの画像は、その一方が蛍光画像、他方が背景画像となっている。
【００３８】
また、撮像装置１２に対し、撮像装置１２から出力された第１フィールドの画像または第２フィールドの画像（蛍光画像または背景画像）を記憶する画像記憶手段としてフィールドメモリ１５が設けられている。さらに、撮像装置１２からの画像出力、及びフィールドメモリ１５からの画像出力に対し、差分演算器２０が設けられている。この差分演算器２０は、撮像装置１２から出力された第１、第２フィールドの画像の一方と、フィールドメモリ１５に記憶されて演算器２０へと出力された第１、第２フィールドの画像の他方との差分を取った差分画像を生成する差分画像生成手段である。
【００３９】
この差分演算器２０には、観測光源１１と同様に、切替信号生成部２５からの切替信号が入力されている。差分演算器２０は、入力された切替信号を参照し、その差分演算生成モードとして、差分画像の生成方法が異なる第１モードと、第２モードとを切り替えて適用する。第１モードは、撮像装置１２から蛍光画像が出力された場合に適用され、蛍光画像から、その前に取得されてフィールドメモリ１５に記憶された背景画像を差し引くことで差分画像を生成する。また、第２モードは、撮像装置１２から背景画像が出力された場合に適用され、背景画像を、その前に取得されてフィールドメモリ１５に記憶された蛍光画像から差し引くことで差分画像を生成する。
【００４０】
図１に示した構成では、差分演算器２０として、演算論理装置（ＡＬＵ：ArithmeticLogic Unit）を用いている。差分演算器２０のＡ入力端子には、撮像装置１２の出力（カメラ出力）が接続され、Ｂ入力端子には、フィールドメモリ１５の出力（メモリ出力）が接続されている。また、差分演算器２０のＹ出力端子からは、演算結果の差分画像が出力される。なお、差分演算において、演算結果が負の場合には０出力とする。
【００４１】
また、図１に示した構成例では、差分演算器２０に対して表示装置５０が接続されており、差分演算器２０で生成された差分画像を表示装置５０に表示する構成となっている。ただし、このような表示装置５０については、表示装置以外の画像出力装置を設ける構成としても良い。あるいは、表示装置等の画像出力装置を設けずに、得られた差分画像のデータを外部へと送出する構成としても良い。
【００４２】
図２は、図１に示した蛍光観測装置において実行される蛍光観測方法の一例について示すタイミングチャートである。このタイミングチャートでは、（ａ）観測光源１１における励起光供給のＯＮ／ＯＦＦ動作、（ｂ）撮像装置１２における第１、第２フィールドの画像の取得動作、（ｃ）差分演算器２０のＡ入力となるカメラ出力、（ｄ）Ｂ入力となるメモリ出力、及び（ｅ）差分演算によって生成される差分画像を示している。
【００４３】
図２のタイミングチャートにおいて、１つのフレームの画像を取得するためのフレーム取得期間Ｔ１０は、第１フィールドの画像を取得する第１期間Ｔ１１、及び第２フィールドの画像を取得する第２期間Ｔ１２によって構成されている。また、図２の例では、第１期間Ｔ１１において励起光の供給をＯＦＦとして、その期間（背景画像取得期間）で取得される第１フィールドの画像を背景画像とし、また、第２期間Ｔ１２において励起光の供給をＯＮとして、その期間（蛍光画像取得期間）で取得される第２フィールドの画像を蛍光画像としている（励起光供給ステップ）。
【００４４】
フレーム取得期間Ｔ１０の前の第２期間Ｔ０２で、撮像装置１２において第２フィールドの画像として取得された蛍光画像は、続く第１期間Ｔ１１において撮像装置１２から出力され、差分演算器２０のＡ入力端子へと入力される。また、第１期間Ｔ１１では、フィールドメモリ１５には、前の第２期間Ｔ０２で撮像装置１２から出力された背景画像が記憶されており、この背景画像が、フィールドメモリ１５から差分演算器２０のＢ入力端子へと入力される。
【００４５】
この第１期間Ｔ１１では、撮像装置１２から蛍光画像が出力されているため、差分演算器２０の動作モードとして、第１モードが適用される。このとき、差分演算器２０において、Ａ入力の蛍光画像からＢ入力の背景画像を差し引くＡ−Ｂ演算が実行され、これによって、蛍光が抽出された差分画像が生成される（差分画像生成ステップ）。
【００４６】
また、フレーム取得期間Ｔ１０の第１期間Ｔ１１で、撮像装置１２において第１フィールドの画像として取得された背景画像は、続く第２期間Ｔ１２において撮像装置１２から出力され、差分演算器２０のＡ入力端子へと入力される。また、第２期間Ｔ１２では、フィールドメモリ１５には、前の第１期間Ｔ１１で撮像装置１２から出力された蛍光画像が記憶されており、この蛍光画像が、フィールドメモリ１５から差分演算器２０のＢ入力端子へと入力される。
【００４７】
この第２期間Ｔ１２では、撮像装置１２から背景画像が出力されているため、差分演算器２０の動作モードとして、第２モードが適用される。このとき、差分演算器２０において、Ｂ入力の蛍光画像からＡ入力の背景画像を差し引くＢ−Ａ演算が実行され、これによって、蛍光が抽出された差分画像が生成される（差分画像生成ステップ）。
【００４８】
このような光源１１からの励起光の供給、撮像装置１２での画像取得、差分演算器２０での動作モードの切替、及び差分画像の生成を、各フレーム取得期間での第１期間、第２期間で繰り返して行うことにより、各フィールド画像取得期間において、蛍光が抽出された差分画像が生成される。なお、第１、第２期間における励起光供給のＯＮ／ＯＦＦ、蛍光画像／背景画像の取得、及び差分演算のモードの切替については、図２に示した構成に限らず、例えば、第１期間において励起光の供給をＯＮとして蛍光画像を取得し、第２期間において励起光の供給をＯＦＦとして背景画像を取得する構成としても良い。
【００４９】
本実施形態による蛍光観測装置１Ａ、及び蛍光観測方法の効果について説明する。
【００５０】
図１及び図２に示した蛍光観測装置１Ａ、及び蛍光観測方法では、対象物１０の蛍光観測画像の時系列での取得において、インターレース型の撮像装置１２を用いるとともに、その第１フィールドの画像取得期間Ｔ１１及び第２フィールドの画像取得期間Ｔ１２の一方が蛍光画像取得期間、他方が背景画像取得期間となるように、撮像装置１２によるフィールド画像取得動作と、観測光源１１による励起光供給のＯＮ／ＯＦＦ動作とを同期して制御する。このとき、撮像装置１２からは、図２に示したように、励起光を供給した状態での蛍光画像と、励起光を供給しない状態での背景画像とが、第１フィールドの画像または第２フィールドの画像として時系列で交互に出力される。
【００５１】
また、撮像装置１２から時系列に出力される蛍光画像または背景画像に対し、フィールドメモリ１５が設けられている。このフィールドメモリ１５には、撮像装置１２から出力される蛍光画像と、背景画像とが、第１フィールドの画像または第２フィールドの画像として時系列で交互に入力され、記憶される。このような構成では、撮像装置１２から蛍光画像取得期間で取得された蛍光画像が出力される場合には、フィールドメモリ１５に記憶されている観測画像は、その前の背景画像取得期間で取得された背景画像となっている。また、撮像装置１２から背景画像取得期間で取得された背景画像が出力される場合には、フィールドメモリ１５に記憶されている観測画像は、その前の蛍光画像取得期間で取得された蛍光画像となっている。
【００５２】
このような構成において、撮像装置１２及びフィールドメモリ１５に対して、観測画像の蛍光画像成分を抽出するための差分演算器２０を設ける。そして、差分画像の生成において、撮像装置１２の出力の蛍光画像から、メモリ１５の出力の１つ前の背景画像を差し引いて差分画像とする第１モードと、メモリ１５の出力の１つ前の蛍光画像から、撮像装置１２の出力の背景画像を差し引いて差分画像とする第２モードとを、撮像装置１２及び光源１１の動作に同期させて交互に切り替えて適用する。
【００５３】
これにより、対象物１０の蛍光観測画像を時系列に取得する構成において、蛍光が抽出された画像を動画のままで、画像更新速度を落とすことなくリアルタイムに生成することが可能となる。例えば、画像取得のフレームレートが３０フレーム／秒の場合、インターレース動作における第１、第２フィールドの画像取得のレートは、その２倍の６０フィールド／秒となる。これに対して、上記のように差分画像の生成モードをフィールドの画像取得期間毎に切り替える構成によれば、フィールド画像取得動作と同期して６０画像／秒で差分画像を生成、出力することが可能となる。
【００５４】
また、上記構成では、蛍光観測装置１Ａにおいて、撮像装置１２からの信号に基づいて第１フィールドの画像取得期間、及び第２フィールドの画像取得期間に同期して切り替わる切替信号を生成する切替信号生成部２５を設けるとともに、差分演算器２０が、この切替信号に基づいて、第１モードと第２モードとを切り替えて適用する構成を用いている。このように、撮像装置１２からの信号に基づいて、第１、第２フィールドの画像取得期間に同期して生成される切替信号を用いることにより、差分画像の生成における第１モードと第２モードとの生成モードの切り替えを好適に実現することができる。
【００５５】
図３は、蛍光観測装置の第２実施形態の構成を示すブロック図である。本実施形態による蛍光観測装置１Ｂは、観測光源１１と、撮像装置１２と、フィールドメモリ１５と、差分演算器２０と、ＭＡＸ／ＭＩＮフィルタ２１と、ラインメモリ２２と、切替信号生成部２５と、表示装置５０とを備えて構成されている。これらのうち、観測光源１１、撮像装置１２、フィールドメモリ１５、差分演算器２０、切替信号生成部２５、及び表示装置５０の構成については、図１に示した第１実施形態の構成と同様である。なお、図３においては、観測対象物１０については図示を省略している。
【００５６】
図３に示した構成では、フィールドメモリ１５から差分演算器２０へと出力される蛍光画像または背景画像に対して、ＭＡＸ／ＭＩＮフィルタ２１が設けられている。このフィルタ２１は、メモリ１５から出力される画像に対して、その画像に含まれる各画素（ピクセル）の輝度について、対象画素にその近傍の所定範囲内にある画素を加えた複数の画素での最大輝度を対象画素の輝度とする最大フィルタ（ＭＡＸフィルタ）処理、または、対象画素にその近傍の所定範囲内にある画素を加えた複数の画素での最小輝度を対象画素の輝度とする最小フィルタ（ＭＩＮフィルタ）処理を行うフィルタ処理手段である。
【００５７】
また、このＭＡＸ／ＭＩＮフィルタ２１に対し、ラインメモリ２２が設けられている。ラインメモリ２２は、フィルタ処理での対象画素を含む走査線（走査ライン）のライン画像データに対して、対象画素の近傍の所定範囲内にある画素を含む走査線のライン画像データを記憶する第２の画像記憶手段であり、フィルタ２１において実行されるフィルタ処理の内容に応じて、１ライン分または複数ライン分のメモリによって構成される。このラインメモリ２２には、フィールドメモリ１５から出力されるフィールド画像データのうちで、フィルタ２１で実行されるフィルタ処理に必要な１または複数のライン画像データが記憶される。また、メモリ１５からフィルタ２１、メモリ２２への画像データの読み出しについては、撮像装置１２から出力される画像データとのタイミングを合わせるため、必要に応じて、所定量のデータの早読み出しが行われる。
【００５８】
このＭＡＸ／ＭＩＮフィルタ２１には、光源１１及び差分演算器２０と同様に、切替信号生成部２５からの切替信号が入力されている。フィルタ２１は、入力された切替信号を参照し、フィルタ２１での処理対象としてフィールドメモリ１５から背景画像が出力される第１モードと、フィールドメモリ１５から蛍光画像が出力される第２モードとで、最大フィルタ処理と、最小フィルタ処理とを、撮像装置１２、光源１１、及び差分演算器２０の動作に同期させて、交互に切り替えて適用する。すなわち、ＭＡＸ／ＭＩＮフィルタ２１は、第１、第２モードの一方で、メモリ１５からの画像に対して最大フィルタ処理を行い、他方で、メモリ１５からの画像に対して最小フィルタ処理を行う。
【００５９】
図４は、図３に示した蛍光観測装置において実行される蛍光観測方法の一例について示すタイミングチャートである。なお、図４に示したタイミングチャートにおける基本的な動作は、図２に示したものと同様である。また、図４の例では、第１モードにおいて、フィールドメモリ１５から出力される背景画像に最大フィルタ処理を適用し、第２モードにおいて、フィールドメモリ１５から出力される蛍光画像に最小フィルタ処理を適用する構成としている（フィルタ処理ステップ）。
【００６０】
第２期間Ｔ０２で撮像装置１２において取得された蛍光画像は、第１期間Ｔ１１で撮像装置１２から差分演算器２０のＡ入力端子へと入力される。また、第１期間Ｔ１１では、メモリ１５には、前の第２期間Ｔ０２で撮像装置１２から出力された背景画像が記憶されており、この背景画像が、フィルタ２１での最大フィルタ処理の後に、差分演算器２０のＢ入力端子へと入力される。第１モードが適用された差分演算器２０では、Ａ入力の蛍光画像から、最大フィルタ処理が適用されたＢ入力の背景画像を差し引くＡ−ＭＡＸ（Ｂ）演算が実行され、これによって、蛍光が抽出された差分画像が生成される。
【００６１】
第１期間Ｔ１１で撮像装置１２において取得された背景画像は、第２期間Ｔ１２で撮像装置１２から差分演算器２０のＡ入力端子へと入力される。また、第２期間Ｔ１２では、メモリ１５には、前の第１期間Ｔ１１で撮像装置１２から出力された蛍光画像が記憶されており、この蛍光画像が、フィルタ２１での最小フィルタ処理の後に、差分演算器２０のＢ入力端子へと入力される。第２モードが適用された差分演算器２０では、最小フィルタ処理が適用されたＢ入力の蛍光画像から、Ａ入力の背景画像を差し引くＭＩＮ（Ｂ）−Ａ演算が実行され、これによって、蛍光が抽出された差分画像が生成される。
【００６２】
このような光源１１からの励起光の供給、撮像装置１２での画像取得、フィルタ２１でのフィルタ処理の切替、差分演算器２０での動作モードの切替、及び差分画像の生成を、各フレーム取得期間での第１期間、第２期間で繰り返して行うことにより、各フィールド画像取得期間において、蛍光が抽出された差分画像がリアルタイムに生成される。
【００６３】
本実施形態による蛍光観測装置１Ｂ、及び蛍光観測方法においても、第１実施形態による蛍光観測装置１Ａ、及び蛍光観測方法と同様の効果を得ることができる。さらに本実施形態では、フィールドメモリ１５から出力される画像に対して、ＭＡＸ／ＭＩＮフィルタ２１を設け、差分演算器２０での第１、第２モードの切替と同期して、画像に対して適用する最大フィルタ処理、最小フィルタ処理を交互に切り替える構成としている。
【００６４】
上記したように、撮像装置１２でのフィールド画像取得動作と、観測光源１１での励起光供給動作と、差分演算器２０でのモード切替動作とを同期させる構成では、必要なカメラセンサが１つであるので、画像間の光学的な位置ずれがなく、光学系、機構の実現が容易である。一方、このような構成では、差分画像の生成において、第１フィールドの画像と、第２フィールドの画像との異なるフィールド間で差分をとるために、例えば、明るい画像部分と暗い画像部分との境界などにおいて、偽の差分画像成分が抽出される場合がある。また、このような偽の差分画像成分の抽出は、観測対象物１０に動きがあるなどの場合においても、同様に生じる可能性がある。
【００６５】
これに対して、フィールドメモリ１５から出力される画像の各画素の輝度について最大フィルタ処理または最小フィルタ処理を実行するＭＡＸ／ＭＩＮフィルタ２１を設けるとともに、このフィルタ２１において、差分画像の生成での第１、第２モードの切替動作に同期して、最大、最小フィルタ処理を切り替えて画像に適用する。これにより、蛍光画像と背景画像との差分画像における偽の差分画像成分の抽出を抑制することができる。
【００６６】
なお、このようにＭＡＸ／ＭＩＮフィルタ２１において差分演算器２０のＢ入力となる画像に対してフィルタ処理を行う場合、フィルタ処理を行った結果の画像の位置と、撮像装置１２から生で入力されるカメラ画像の位置とが合っている必要がある。この場合、メモリ１５からの画像データの読み出しにおいて、フィルタ処理の具体的な内容に応じて、垂直方向に必要なライン分、データの早読み出しを行うことが好ましい。
【００６７】
また、上記構成では、蛍光観測装置１Ｂにおいて、撮像装置１２からの信号に基づいて第１フィールドの画像取得期間、及び第２フィールドの画像取得期間に同期して切り替わる切替信号を生成する切替信号生成部２５を設けるとともに、差分演算器２０が、この切替信号に基づいて、第１モードと第２モードとを切り替えて適用し、また、フィルタ２１が、切替信号に基づいて、第１モードと第２モードとで、最大フィルタ処理と最小フィルタ処理とを切り替えて適用する構成を用いている。
【００６８】
このように、撮像装置１２からの信号に基づいて、第１、第２フィールドの画像取得期間に同期して生成される切替信号を用いることにより、差分画像の生成における第１モードと第２モードとの生成モードの切り替え、及びフィルタ処理における最大フィルタ処理と最小フィルタ処理とのフィルタ処理の切り替えを好適に実現することができる。
【００６９】
また、上記構成では、蛍光観測装置１Ｂにおいて、フィルタ処理での対象画素を含む走査線のライン画像データに対して、対象画素の近傍の所定範囲内にある画素を含む走査線のライン画像データを記憶するラインメモリ２２を設けている。このような構成では、ラインメモリ２２に記憶されたライン画像データを用いて、フィルタ２１における画像に対するフィルタ処理を好適に実行することができる。
【００７０】
フィルタ２１で画像に対して実行されるフィルタ処理については、具体的には、最大フィルタ処理では、ｎを２以上の整数として、対象画素に、ラインメモリ２２に記憶された垂直方向で時間的に前のｎ−１個の画素を加えたｎ個の画素での最大輝度を対象画素の輝度とする処理を行い、最小フィルタ処理では、対象画素に、ラインメモリ２２に記憶された垂直方向で時間的に前のｎ−１個の画素を加えたｎ個の画素での最小輝度を対象画素の輝度とする処理を行う構成を用いることができる。
【００７１】
このように、対象画素に垂直方向で時間的に前のｎ−１個の画素を加えたｎ個の画素を用いて最大、最小フィルタ処理を実行することにより、偽の差分画像成分の抽出の抑制を好適に実現することができる。また、この場合、最大フィルタ処理及び最小フィルタ処理に用いられる画素数ｎは、３以上５以下の整数に設定されることが好ましい。なお、画像に適用する最大、最小フィルタ処理の条件等については、詳しくは後述する。
【００７２】
また、フィルタ処理について、最大フィルタ処理では、ｍを２以上の整数として、対象画素に水平方向のｍ−１個の画素を加えたｍ個の画素での最大輝度を対象画素の輝度とする処理を行い、最小フィルタ処理では、対象画素に水平方向のｍ−１個の画素を加えたｍ個の画素での最小輝度を対象画素の輝度とする処理を行う構成を用いても良い。
【００７３】
このように、対象画素に水平方向のｍ−１個の画素を加えたｍ個の画素を用いて最大、最小フィルタ処理を実行する構成によっても、例えば対象物１０に動きがある場合などにおいて、偽の差分画像成分の抽出の抑制を好適に実現することができる。
【００７４】
ＭＡＸ／ＭＩＮフィルタ２１において、フィールドメモリ１５から出力されて差分演算器２０のＢ入力となる蛍光画像または背景画像に対して実行される最大、最小フィルタ処理、及びそれによる偽の差分画像成分の抽出の抑制効果について、フィルタ処理の具体例とともにさらに説明する。
【００７５】
図５は、蛍光画像と背景画像との差分画像における偽の差分画像成分の発生について示す図である。ここでは、図５（ａ）に示すように、観測画像６０において、その中央部分に矩形状の明るい画像部分６１が、また、周囲に暗い画像部分６２がある場合を考える。なお、以降の各図において、実線は差分演算器２０のＡ入力端子に入力されるフィールド画像の走査線を示し、破線は差分演算器２０のＢ入力端子に入力されるフィールド画像の走査線を示している。また、図５（ａ）では、明るい画像部分６１については走査線の図示を省略している。
【００７６】
図５（ｂ）において、Ｐは、図５（ａ）に示す垂直方向の線Ｐに沿った輝度分布を示している。この輝度分布Ｐでは、明るい画像部分６１の上端部６６において、差分演算の対象となるＡ入力走査線Ａ１と、Ｂ入力走査線Ｂ１とで、走査線Ａ１での輝度が「暗」であるのに対し、走査線Ｂ１での輝度は「明」となっている。このとき、Ｂ−Ａ演算による差分画像において、偽の差分画像成分Ｃ１が発生する。同様に、明るい画像部分６１の下端部６７では、走査線Ａ２での輝度が「明」であるのに対し、走査線Ｂ２での輝度は「暗」となっている。このとき、Ａ−Ｂ演算による差分画像において、偽の差分画像成分Ｃ２が発生する。
【００７７】
このような偽の差分画像成分に対し、図６に示すように、フィルタ処理によって、偽の差分画像成分を除去することができる。ここで、図６においては、フィルタ処理の画素数をｎ＝２として、最大フィルタ処理を、対象画素に垂直方向で時間的に前の１個の画素を加えた２個の画素での最大輝度を対象画素の輝度とする処理としている。同様に、最小フィルタ処理を、対象画素に垂直方向で時間的に前の１個の画素を加えた２個の画素での最小輝度を対象画素の輝度とする処理としている。
【００７８】
図６（ａ）は、明るい画像部分６１の上端部６６におけるＢ−Ａ演算での偽の画像成分の発生に対して適用される最小フィルタ（ＭＩＮフィルタ）処理について示している。この場合、元の輝度分布Ｐでは走査線Ｂ１での輝度は「明」であるが、Ｂ入力の画像に対してＭＩＮフィルタ処理を実行した結果、得られた輝度分布ＭＩＮ（Ｂ）では、走査線Ｂ１の１つ上の走査線（垂直方向で時間的に１つ前の走査線）での輝度が「暗」であるため、走査線Ｂ１での輝度が「暗」に置き換えられている。これにより、ＭＩＮ（Ｂ）−Ａ演算による差分画像において、偽の画像成分が発生しなくなる。これは、Ｂ入力の画像が蛍光画像である場合に相当する（図４参照）。
【００７９】
図６（ｂ）は、明るい画像部分６１の下端部６７におけるＡ−Ｂ演算での偽の画像成分の発生に対して適用される最大フィルタ（ＭＡＸフィルタ）処理について示している。この場合、元の輝度分布Ｐでは走査線Ｂ２での輝度は「暗」であるが、Ｂ入力の画像に対してＭＡＸフィルタ処理を実行した結果、得られた輝度分布ＭＡＸ（Ｂ）では、走査線Ｂ２の１つ上の走査線での輝度が「明」であるため、走査線Ｂ２での輝度が「明」に置き換えられている。これにより、Ａ−ＭＡＸ（Ｂ）演算による差分画像において、偽の画像成分が発生しなくなる。これは、Ｂ入力の画像が背景画像である場合に相当する。
【００８０】
ここで、図６においては、上記したように、フィルタ処理の画素数をｎ＝２として、対象画素に垂直方向で時間的に前の１個の画素を加えた２個の画素を用いて最大、最小フィルタ処理を行う場合について説明した。ただし、実際の自然画像では、このようなフィルタ処理では、偽の差分画像成分の除去能力が不足する場合がある。
【００８１】
図７は、蛍光画像と背景画像との差分画像における偽の差分画像成分の発生の他の例について示す図である。ここでは、観測画像７０において、その中央部分に矩形状の明るい画像部分７１が、周囲に暗い画像部分７２があり、さらに、画像部分７１の上方、下方の端部近傍にそれぞれ明るい画像部分７６、７７がある場合を考える。自然画像において、明るい画像部分７１と暗い画像部分７２との境界で、このような画像部分７６、７７を含む輝度分布の変動があった場合、上記のように最大、最小フィルタ処理を行っても、偽の画像成分が発生する可能性がある。
【００８２】
図８（ａ）、（ｂ）は、それぞれ、明るい画像部分７１、及びその上方の明るい画像部分７６におけるＢ−Ａ演算での偽の画像成分の発生に対して適用される最小フィルタ（ＭＩＮフィルタ）処理について示している。図８（ａ）では、図６と同様にフィルタ処理の画素数をｎ＝２として、最小フィルタ処理を、対象画素に垂直方向で時間的に前の１個の画素を加えた２個の画素での最小輝度を対象画素の輝度とする処理としている。また、図８（ｂ）では、フィルタ処理の画素数をｎ＝３として、最小フィルタ処理を、対象画素に垂直方向で時間的に前の２個の画素を加えた３個の画素での最小輝度を対象画素の輝度とする処理としている。
【００８３】
図８（ａ）において、元の輝度分布Ｐでは、走査線Ａ１での輝度が「暗」であるのに対して、走査線Ｂ１での輝度は「明」、走査線Ｂ１の１つ上の走査線Ｂ６での輝度も同じく「明」である。この場合、Ｂ入力の画像に対してｎ＝２のＭＩＮフィルタ処理を実行しても、得られた輝度分布ＭＩＮ（Ｂ）で走査線Ｂ１での輝度は「明」のままであり、したがって、ＭＩＮ（Ｂ）−Ａ演算による差分画像において偽の画像成分Ｃ１が発生する。
【００８４】
一方、図８（ｂ）に示すように、同様の輝度分布Ｐについて、Ｂ入力の画像に対してｎ＝３のＭＩＮフィルタ処理を実行した場合、走査線Ｂ１の２つ上の走査線Ｂ７での輝度が「暗」であるために、得られた輝度分布ＭＩＮ（Ｂ）で、走査線Ｂ１での輝度が「暗」に置き換えられる。これにより、ＭＩＮ（Ｂ）−Ａ演算による差分画像において、偽の画像成分が発生しなくなる。なお、このような偽の画像成分の除去については、Ａ−Ｂ演算での偽の画像成分についても同様に実行可能である。
【００８５】
このように、垂直方向についての最大、最小フィルタ処理において、フィルタ処理を適用する対象画素の近傍の画素数ｎを大きく設定した場合、それによって偽の差分画像成分の除去能力を向上することができる。一方、画素数ｎを大きくすると、フィルタ処理実行のための回路規模の増大などの問題が生じる。また、大きい画素数ｎでのフィルタ処理の実行は、例えば差分画像自体を小さくするなどの効果があり、抽出した目的の画像をも変形させてしまうため、必要以上に画素数ｎを大きくすることはできない。
【００８６】
このような点を考慮すると、最大、最小フィルタ処理に用いられる対象画素の近傍の画素数ｎについては、上述したように３以上５以下の整数に設定する（３≦ｎ≦５）ことが好ましい。また、フィルタ処理回路、メモリの構成等に応じ、対象画素に対して垂直方向で時間的に後の画素についても、フィルタ処理に用いる構成としても良い。
【００８７】
また、蛍光画像と背景画像との差分画像における偽の差分画像成分の発生は、上記した明るい画像部分と暗い画像部分との境界以外にも、例えば、観測対象物１０にフィールド時間以上の速度での動きがあるなどの場合にも生じる可能性がある。対象物１０の動きによる偽の画像成分の場合、垂直方向の動きについては、上記した垂直方向のｎ個の画素を用いたフィルタ処理によって除去することが可能である。
【００８８】
また、水平方向の動きについては、対象画素に水平方向のｍ−１個の画素を加えたｍ個の画素を用いて同様のフィルタ処理を行うことにより、偽の画像成分を除去することができる。この場合、水平方向の最大、最小フィルタ処理に用いられる画素数ｍについては、垂直方向の場合と同様の点を考慮して、５以上７以下の整数に設定する（５≦ｍ≦７）ことが好ましい。また、水平方向、垂直方向の両者についてフィルタ処理を行う場合には、例えば、対象画素を含むｎ×ｍ個の画素を用いてフィルタ処理を行えば良い。
【００８９】
なお、図４に示したタイミングチャートにおいて、第１、第２期間における励起光供給のＯＮ／ＯＦＦ、蛍光画像／背景画像の取得、差分演算の動作モードの切替、及びフィルタ処理の実行については、図２に関して上述したように、図４に示した構成に限らず、例えば、第１期間において励起光の供給をＯＮとして蛍光画像を取得し、第２期間において励起光の供給をＯＦＦとして背景画像を取得する構成としても良い。
【００９０】
図９は、図３に示した蛍光観測装置において実行される蛍光観測方法の他の例について示すタイミングチャートである。この図９の例では、図４の例とは逆に、第１期間Ｔ１１において励起光の供給をＯＮとして、その期間で取得される第１フィールドの画像を蛍光画像とし、また、第２期間Ｔ１２において励起光の供給をＯＦＦとして、その期間で取得される第２フィールドの画像を背景画像としている。
【００９１】
第２期間Ｔ０２で撮像装置１２において取得された背景画像は、第１期間Ｔ１１で撮像装置１２から差分演算器２０のＡ入力端子へと入力される。また、第１期間Ｔ１１では、メモリ１５には、前の第２期間Ｔ０２で撮像装置１２から出力された蛍光画像が記憶されており、この蛍光画像が、フィルタ２１での最小フィルタ処理の後に、差分演算器２０のＢ入力端子へと入力される。第２モードが適用された差分演算器２０では、最小フィルタ処理が適用されたＢ入力の蛍光画像から、Ａ入力の背景画像を差し引くＭＩＮ（Ｂ）−Ａ演算が実行され、これによって、蛍光が抽出された差分画像が生成される。
【００９２】
第１期間Ｔ１１で撮像装置１２において取得された蛍光画像は、第２期間Ｔ１２で撮像装置１２から差分演算器２０のＡ入力端子へと入力される。また、第２期間Ｔ１２では、メモリ１５には、前の第１期間Ｔ１１で撮像装置１２から出力された背景画像が記憶されており、この背景画像が、フィルタ２１での最大フィルタ処理の後に、差分演算器２０のＢ入力端子へと入力される。第１モードが適用された差分演算器２０では、Ａ入力の蛍光画像から、最大フィルタ処理が適用されたＢ入力の背景画像を差し引くＡ−ＭＡＸ（Ｂ）演算が実行され、これによって、蛍光が抽出された差分画像が生成される。
【００９３】
このような光源１１からの励起光の供給、撮像装置１２での画像取得、フィルタ２１でのフィルタ処理の切替、差分演算器２０での動作モードの切替、及び差分画像の生成を、各フレーム取得期間での第１期間、第２期間で繰り返して行うことにより、図４の場合と同様に、各フィールド画像取得期間において、蛍光が抽出された差分画像がリアルタイムに生成される。
【００９４】
図１０は、蛍光観測装置の第３実施形態の構成を示すブロック図である。本実施形態による蛍光観測装置１Ｃは、観測光源１１と、撮像装置１２と、フィールドメモリ１５と、差分演算器２０と、ＭＡＸ／ＭＩＮフィルタ２１と、ラインメモリ２２と、切替信号生成部２５と、分布画像生成部３０と、マルチプレクサ３５と、表示装置５０とを備えて構成されている。これらのうち、観測光源１１、撮像装置１２、フィールドメモリ１５、差分演算器２０、ＭＡＸ／ＭＩＮフィルタ２１、ラインメモリ２２、切替信号生成部２５、及び表示装置５０の構成については、図３に示した第２実施形態の構成と同様である。
【００９５】
図１０に示した構成では、差分演算器２０から出力される蛍光画像と背景画像との差分画像に対して、分布画像生成部３０が設けられている。この分布画像生成部３０は、差分演算器２０から出力された差分画像に基づいて、蛍光の強度分布を示す強度分布画像を生成する分布画像生成手段である。この場合の強度分布画像としては、具体的には例えば、差分画像に対して、単一または複数の閾値を適用して、強度分布画像である二値化画像またはカラー化画像を生成する構成を用いることができる。
【００９６】
また、撮像装置１２からの出力、及び分布画像生成部３０からの出力に対して、マルチプレクサ３５が設けられている。このマルチプレクサ３５は、撮像装置１２から出力された蛍光画像または背景画像と、分布画像生成部３０から出力された蛍光の強度分布画像とを重畳した重畳画像を生成する重畳画像生成手段である。
【００９７】
図１０の構成では、マルチプレクサ３５のＡ入力端子には、撮像装置１２の出力が接続され、Ｂ入力端子には、分布画像生成部３０の出力が接続されている。また、マルチプレクサ３５には、分布画像生成部３０からの重畳指示信号が入力されており、この重畳指示信号による指示内容を参照して、撮像装置１２から入力した画像と、分布画像生成部３０から入力した画像との重畳画像が生成される。また、マルチプレクサ３５において生成された重畳画像は、表示装置５０へと出力される。
【００９８】
図１１は、図１０に示した蛍光観測装置１Ｃにおける分布画像生成部の構成の一例を示すブロック図である。本構成例における分布画像生成部３０は、閾値設定部３１と、コンパレータ３２と、画像変換部３３とを有し、差分演算器２０から入力された差分画像に対し、複数（Ｎ個）の閾値を適用して、蛍光の強度分布に対応するカラー化画像（疑似カラー化画像）を生成するように構成されている。
【００９９】
閾値設定部３１は、例えばＣＰＵを含んで構成され、蛍光の強度分布を示すカラー化画像を生成するためのＮ個の閾値を設定する。また、図１１の構成例では、撮像装置１２に対して３Ｇモーションセンサ１３が設けられており、閾値設定部３１は、センサ１３によって検知された撮像装置１２の動きについての情報を参照して、閾値を設定、変更する。このような構成は、例えば、撮像装置１２での手ぶれを検知して、そのふれ量から、差分画像成分の抽出に用いられる閾値を動的に上げて、偽の差分画像成分が目立たないようにする場合等において有効である。なお、撮像装置１２の手ぶれは、カメラ支点での動きになるため、画像の動きが大きくなることが多く、上述した最大、最小フィルタ処理による空間フィルタ方式だけでは、除去しきれない場合がある。
【０１００】
コンパレータ３２は、閾値設定部３１で設定されたＮ個の閾値と、差分演算器２０から入力された差分画像の各画素での輝度とを比較し、その比較結果としてＮ段階の判定値を出力するＮ段コンパレータである。また、画像変換部３３は、コンパレータ３２から出力されたＮ段階の判定値を示すＮ値切替信号に基づき、差分演算器２０からの差分画像を、Ｎ色の疑似カラー化差分画像へと変換する。なお、輝度がＮ個の閾値よりも小さい画素については、蛍光が発生していないとしてカラー化画像データは生成されない。
【０１０１】
このような構成において、マルチプレクサ３５には、撮像装置１２からのオリジナル画像（蛍光画像または背景画像）と、画像変換部３３からの蛍光の強度分布を示す疑似カラー化差分画像と、コンパレータ３２からのＮ値切替信号（重畳指示信号）とが入力されている。マルチプレクサ３５は、Ｎ値切替信号を参照し、カラー化画像が生成されていない画素については撮像装置１２からのオリジナル画像データを採用し、カラー化画像が生成された画素については画像変換部３３からのカラー化画像データを採用するように、画素単位で画像データの切り替えを行うことで、オリジナル画像とカラー化差分画像（強度分布画像）との重畳画像を生成する。なお、このような構成において、閾値の個数をＮ＝１とすれば、強度分布画像として二値化画像が生成される。
【０１０２】
図１２は、図１０に示した蛍光観測装置において実行される蛍光観測方法の一例について示すタイミングチャートである。このタイミングチャートでは、（ａ）差分演算器２０のＡ入力となるカメラ出力、（ｂ）Ｂ入力となるメモリ出力、（ｃ）差分演算器２０で生成される差分画像、（ｄ）分布画像生成部３０で生成されるカラー化画像、及び（ｅ）マルチプレクサ３５で生成される重畳画像を示している。
【０１０３】
なお、図１２に示したタイミングチャートにおける基本的な動作は、カラー化画像の生成、及び重畳画像の生成以外については、図２に示したものと同様である。また、図１２においては、ＭＡＸ／ＭＩＮフィルタ２１で実行される最大、最小フィルタ処理については、図示を省略している。
【０１０４】
第１期間Ｔ１１では、差分演算器２０において、Ａ入力の蛍光画像からＢ入力の背景画像を差し引くＡ−Ｂ演算によって差分画像が生成される。また、分布画像生成部３０において、差分画像に対してＮ個の閾値を適用することで、蛍光の強度分布を示すＮ色のカラー化差分画像が生成される（分布画像生成ステップ）。さらに、マルチプレクサ３５において、生成部３０から出力されたカラー化差分画像と、撮像装置１２から出力された蛍光画像との重畳画像が生成される（重畳画像生成ステップ）。
【０１０５】
同様に、第２期間Ｔ１２では、差分演算器２０において、Ｂ入力の蛍光画像からＡ入力の背景画像を差し引くＢ−Ａ演算によって差分画像が生成される。また、分布画像生成部３０において、差分画像に対してＮ個の閾値を適用することで、Ｎ色のカラー化差分画像が生成される（分布画像生成ステップ）。さらに、マルチプレクサ３５において、生成部３０から出力されたカラー化差分画像と、撮像装置１２から出力された背景画像との重畳画像が生成される（重畳画像生成ステップ）。
【０１０６】
本実施形態による蛍光観測装置１Ｃ、及び蛍光観測方法においても、第１実施形態による蛍光観測装置１Ａ、及び第２実施形態による蛍光観測装置１Ｂと同様の効果を得ることができる。
【０１０７】
さらに、本実施形態では、差分演算器２０から出力される差分画像に対して、分布画像生成部３０を設け、差分画像に基づいて蛍光の強度分布を示す二値化画像またはカラー化画像などの強度分布画像を生成する構成としている。このように、蛍光が抽出された差分画像をそのまま用いるのではなく、分布画像生成部３０において強度分布画像に変換して蛍光観測に用いることにより、例えば微弱な蛍光の観測画像の目視での確認などの様々な操作を効率的に行うことができる。
【０１０８】
また、本実施形態では、撮像装置１２から出力されたオリジナル画像と、分布画像生成部３０から出力された強度分布画像との重畳画像を生成するマルチプレクサ３５を設ける構成としている。このように、オリジナルの蛍光画像または背景画像と、閾値を適用して加工された強度分布画像との重畳画像を蛍光観測に用いる構成によれば、例えば、対象物１０における蛍光の発生位置を、表示装置５０に表示された観測画像から目視で確認することが可能になるなど、様々な形での効率的な対象物の蛍光観測が可能となる。
【０１０９】
ここで、図１３は、図１０に示した蛍光観測装置１Ｃにおいて取得される観測画像の例を示す図である。図１３（ａ）は、カラー化画像の生成による蛍光抽出、及び重畳画像の生成等を行っていない通常の観測画像を示し、図１３（ｂ）は、オリジナル画像に対して疑似カラー化差分画像を重畳した重畳画像を示している。このように、蛍光の強度分布を示すカラー化画像などの強度分布画像、あるいはさらに、オリジナル画像と強度分布画像との重畳画像を生成、表示することにより、観測対象物における蛍光の発生位置、範囲、及びその強度分布等を好適に確認することができる。
【０１１０】
本発明による蛍光観測装置、及び蛍光観測方法は、上記した実施形態及び構成例に限られるものではなく、様々な変形が可能である。例えば、差分画像生成手段、フィルタ処理手段、分布画像生成手段、及び重畳画像生成手段等の構成については、上記した実施形態の構成に限らず、具体的には様々な構成を用いて良い。また、例えば、図１０に示した分布画像生成部３０及びマルチプレクサ３５については、図１のようにＭＡＸ／ＭＩＮフィルタ２１を設けていない構成に対して適用することも可能である。また、重畳画像を生成するマルチプレクサ３５を設けずに、分布画像生成部３０で生成された強度分布画像を、そのまま表示装置５０に表示する構成としても良い。
【産業上の利用可能性】
【０１１１】
本発明は、対象物の蛍光観測画像を時系列に取得する構成において、蛍光が抽出された画像をリアルタイムに生成することが可能な蛍光観測装置、及び蛍光観測方法として利用可能である。
【符号の説明】
【０１１２】
１Ａ、１Ｂ、１Ｃ…蛍光観測装置、１０…観測対象物、１１…観測光源（励起光供給手段）、１２…インターレース型の撮像装置、１３…モーションセンサ、１５…フィールドメモリ（画像記憶手段）、
２０…差分演算器（差分画像生成手段）、２１…ＭＡＸ／ＭＩＮフィルタ（フィルタ処理手段）、２２…ラインメモリ、２５…切替信号生成部、３０…分布画像生成部（分布画像生成手段）、３１…閾値設定部、３２…コンパレータ、３３…画像変換部、３５…マルチプレクサ（重畳画像生成手段）、５０…表示装置。
【技術分野】
【０００１】
本発明は、観測対象物に励起光を供給して、観測対象物からの蛍光についての観測画像を取得する蛍光観測装置、及び蛍光観測方法に関するものである。
【背景技術】
【０００２】
観測対象物に対して、所定波長の励起光を供給、照射し、対象物で発生した蛍光についての観測画像を撮像装置によって取得する蛍光観測装置は、例えば医療分野などの様々な分野において用いられている。また、このような蛍光観測において、対象物の状態の時間的変化等を観測したい場合には、所定のフレームレートで時系列に画像を取得して、対象物を動画で観測する方法が用いられる（例えば、特許文献１、２参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１０−１５１１０４号公報
【特許文献２】特開平７−１５５２９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
観測対象物からの蛍光観測において、微弱な蛍光の観測画像を目視で確認するなどの目的で、励起光を供給した状態で取得された蛍光画像と、励起光を供給せずに蛍光無しの状態で取得された背景画像との差分画像を生成、表示することで、蛍光の画像成分を抽出、確認する方法が用いられる場合がある。しかしながら、従来の構成では、上記したように時系列に画像を取得して動画で対象物の観測を行う場合、蛍光が抽出された差分画像を動画のままで、リアルタイムに生成することは困難である。
【０００５】
本発明は、以上の問題点を解決するためになされたものであり、対象物の蛍光観測画像を時系列に取得する構成において、蛍光が抽出された画像をリアルタイムに生成することが可能な蛍光観測装置、及び蛍光観測方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
このような目的を達成するために、本発明による蛍光観測装置は、（１）観測対象物に対して蛍光観測のための励起光を供給するとともに、励起光の供給のＯＮ／ＯＦＦを切り替え可能な励起光供給手段と、（２）観測対象物からの光像を撮像するとともに、得られた観測対象物の画像データとして、第１フィールドの画像及び第２フィールドの画像を時系列で交互に出力するインターレース型の撮像装置と、（３）撮像装置から出力された第１フィールドの画像または第２フィールドの画像を記憶する画像記憶手段と、（４）撮像装置から出力された第１フィールドの画像及び第２フィールドの画像の一方と、画像記憶手段に記憶された第１フィールドの画像及び第２フィールドの画像の他方との差分をとった差分画像を生成する差分画像生成手段とを備え、（５）励起光供給手段は、撮像装置による第１フィールドの画像取得期間、及び第２フィールドの画像取得期間について、その一方が励起光の供給をＯＮとして蛍光画像を取得する期間、他方が励起光の供給をＯＦＦとして背景画像を取得する期間となるように励起光を供給するとともに、（６）差分画像生成手段は、その生成モードとして、撮像装置から蛍光画像が出力された場合に、蛍光画像から、その前に取得されて画像記憶手段に記憶された背景画像を差し引くことで差分画像を生成する第１モードと、撮像装置から背景画像が出力された場合に、背景画像を、その前に取得されて画像記憶手段に記憶された蛍光画像から差し引くことで差分画像を生成する第２モードとを切り替えて適用することを特徴とする。
【０００７】
また、本発明による蛍光観測方法は、（１）観測対象物に対して蛍光観測のための励起光を供給するとともに、励起光の供給のＯＮ／ＯＦＦを切り替え可能な励起光供給手段と、（２）観測対象物からの光像を撮像するとともに、得られた観測対象物の画像データとして、第１フィールドの画像及び第２フィールドの画像を時系列で交互に出力するインターレース型の撮像装置と、（３）撮像装置から出力された第１フィールドの画像または第２フィールドの画像を記憶する画像記憶手段とを含む蛍光観測装置を用い、（４）撮像装置から出力された第１フィールドの画像及び第２フィールドの画像の一方と、画像記憶手段に記憶された第１フィールドの画像及び第２フィールドの画像の他方との差分をとった差分画像を生成する差分画像生成ステップと、（５）励起光供給手段により、撮像装置による第１フィールドの画像取得期間、及び第２フィールドの画像取得期間について、その一方が励起光の供給をＯＮとして蛍光画像を取得する期間、他方が励起光の供給をＯＦＦとして背景画像を取得する期間となるように励起光を供給する励起光供給ステップとを備え、（６）差分画像生成ステップは、その生成モードとして、撮像装置から蛍光画像が出力された場合に、蛍光画像から、その前に取得されて画像記憶手段に記憶された背景画像を差し引くことで差分画像を生成する第１モードと、撮像装置から背景画像が出力された場合に、背景画像を、その前に取得されて画像記憶手段に記憶された蛍光画像から差し引くことで差分画像を生成する第２モードとを切り替えて適用することを特徴とする。
【０００８】
上記した蛍光観測装置及び蛍光観測方法では、対象物の蛍光観測画像の時系列での取得において、インターレース型の撮像装置を用いるとともに、その第１フィールドの画像取得期間及び第２フィールドの画像取得期間の一方が蛍光画像取得期間、他方が背景画像取得期間となるように、撮像装置によるフィールド画像取得動作と、励起光供給手段による励起光供給のＯＮ／ＯＦＦ動作とを同期して制御する。このとき、撮像装置からは、励起光を供給した状態での蛍光画像と、励起光を供給しない状態での背景画像とが、第１フィールドの画像または第２フィールドの画像として時系列で交互に出力される。
【０００９】
また、撮像装置から時系列に出力される蛍光画像または背景画像に対し、フィールドメモリとして画像記憶手段が設けられている。このような構成では、撮像装置から蛍光画像取得期間で取得された蛍光画像が出力される場合には、画像記憶手段に記憶されている画像は、その前の背景画像取得期間で取得された背景画像となっている。また、撮像装置から背景画像取得期間で取得された背景画像が出力される場合には、画像記憶手段に記憶されている画像は、その前の蛍光画像取得期間で取得された蛍光画像となっている。
【００１０】
このような構成において、撮像装置及び画像記憶手段に対して、観測画像の蛍光画像成分を抽出するための差分画像生成手段を設ける。そして、差分画像の生成において、撮像装置の出力の蛍光画像から、画像記憶手段の出力の１つ前の背景画像を差し引いて差分画像とする第１モードと、画像記憶手段の出力の１つ前の蛍光画像から、撮像装置の出力の背景画像を差し引いて差分画像とする第２モードとを、撮像装置及び励起光供給手段の動作に同期させて切り替えて適用する。これにより、対象物の蛍光観測画像を時系列に取得する構成において、蛍光が抽出された画像を動画のままで、画像更新速度を落とすことなくリアルタイムに生成することが可能となる。
【００１１】
ここで、蛍光観測装置は、撮像装置からの信号に基づいて第１フィールドの画像取得期間、及び第２フィールドの画像取得期間に同期して切り替わる切替信号を生成する切替信号生成手段を備え、差分画像生成手段は、切替信号に基づいて、第１モードと第２モードとを切り替えて適用する構成を用いることができる。同様に、蛍光観測方法は、撮像装置からの信号に基づいて第１フィールドの画像取得期間、及び第２フィールドの画像取得期間に同期して切り替わる切替信号を生成する切替信号生成ステップを備え、差分画像生成ステップは、切替信号に基づいて、第１モードと第２モードとを切り替えて適用する構成を用いることができる。
【００１２】
このように、撮像装置からの信号に基づいて、第１、第２フィールドの画像取得期間に同期して生成される切替信号を用いることにより、差分画像の生成における第１モードと第２モードとの生成モードの切り替えを好適に実現することができる。
【００１３】
また、蛍光観測装置は、画像記憶手段から差分画像生成手段へと出力される蛍光画像または背景画像に対して、画像に含まれる各画素の輝度について、対象画素にその近傍の所定範囲内にある画素を加えた複数の画素での最大輝度を対象画素の輝度とする最大フィルタ処理、または、対象画素にその近傍の所定範囲内にある画素を加えた複数の画素での最小輝度を対象画素の輝度とする最小フィルタ処理を行うフィルタ処理手段を備え、フィルタ処理手段は、画像記憶手段から背景画像が出力される第１モードと、画像記憶手段から蛍光画像が出力される第２モードとで、最大フィルタ処理と、最小フィルタ処理とを切り替えて適用することが好ましい。
【００１４】
同様に、蛍光観測方法は、画像記憶手段から出力される蛍光画像または背景画像に対して、画像に含まれる各画素の輝度について、対象画素にその近傍の所定範囲内にある画素を加えた複数の画素での最大輝度を対象画素の輝度とする最大フィルタ処理、または、対象画素にその近傍の所定範囲内にある画素を加えた複数の画素での最小輝度を対象画素の輝度とする最小フィルタ処理を行うフィルタ処理ステップを備え、フィルタ処理ステップは、画像記憶手段から背景画像が出力される第１モードと、画像記憶手段から蛍光画像が出力される第２モードとで、最大フィルタ処理と、最小フィルタ処理とを切り替えて適用することが好ましい。
【００１５】
上記したように、撮像装置のフィールド画像取得動作と、励起光供給手段の励起光供給動作と、差分画像生成手段のモード切替動作とを同期させる構成では、差分画像の生成において、第１フィールドの画像と第２フィールドの画像との間で差分をとるために、例えば、明るい画像部分と暗い画像部分との境界などにおいて、偽の差分画像成分が抽出される場合がある。また、このような偽の差分画像成分の抽出は、対象物に動きがあるなどの場合にも生じる可能性がある。
【００１６】
これに対して、画像記憶手段から出力される画像の各画素の輝度について最大フィルタ処理または最小フィルタ処理を実行するフィルタ処理手段を設けるとともに、このフィルタ処理手段において、差分画像の生成における第１、第２モードの切替動作に同期して、最大、最小フィルタ処理を切り替えて画像に適用する。これにより、蛍光画像と背景画像との差分画像における偽の差分画像成分の抽出を抑制することができる。
【００１７】
この場合、蛍光観測装置は、撮像装置からの信号に基づいて第１フィールドの画像取得期間、及び第２フィールドの画像取得期間に同期して切り替わる切替信号を生成する切替信号生成手段を備え、差分画像生成手段は、切替信号に基づいて、第１モードと第２モードとを切り替えて適用するとともに、フィルタ処理手段は、切替信号に基づいて、第１モードと第２モードとで、最大フィルタ処理と最小フィルタ処理とを切り替えて適用する構成を用いることができる。
【００１８】
同様に、蛍光観測方法は、撮像装置からの信号に基づいて第１フィールドの画像取得期間、及び第２フィールドの画像取得期間に同期して切り替わる切替信号を生成する切替信号生成ステップを備え、差分画像生成ステップは、切替信号に基づいて、第１モードと第２モードとを切り替えて適用するとともに、フィルタ処理ステップは、切替信号に基づいて、第１モードと第２モードとで、最大フィルタ処理と最小フィルタ処理とを切り替えて適用する構成を用いることができる。
【００１９】
このように、撮像装置からの信号に基づいて、第１、第２フィールドの画像取得期間に同期して生成される切替信号を用いることにより、差分画像の生成における第１モードと第２モードとの生成モードの切り替え、及びフィルタ処理における最大フィルタ処理と最小フィルタ処理とのフィルタ処理の切り替えを好適に実現することができる。
【００２０】
また、上記のようにフィルタ処理手段を用いる場合、蛍光観測装置は、対象画素を含む走査線のライン画像データに対して、対象画素の近傍の所定範囲内にある画素を含む走査線のライン画像データを記憶する第２の画像記憶手段を備えることが好ましい。このような構成によれば、第２の画像記憶手段に記憶されたライン画像データを用いて、フィルタ処理手段における画像に対するフィルタ処理を好適に実行することができる。
【００２１】
蛍光画像または背景画像に対するフィルタ処理については、具体的には、蛍光観測装置は、フィルタ処理手段において、最大フィルタ処理では、ｎを２以上の整数として、対象画素に垂直方向で時間的に前のｎ−１個の画素を加えたｎ個の画素での最大輝度を対象画素の輝度とする処理を行い、最小フィルタ処理では、対象画素に垂直方向で時間的に前のｎ−１個の画素を加えたｎ個の画素での最小輝度を対象画素の輝度とする処理を行う構成を用いることができる。
【００２２】
同様に、蛍光観測方法は、フィルタ処理ステップにおいて、最大フィルタ処理では、ｎを２以上の整数として、対象画素に垂直方向で時間的に前のｎ−１個の画素を加えたｎ個の画素での最大輝度を対象画素の輝度とする処理を行い、最小フィルタ処理では、対象画素に垂直方向で時間的に前のｎ−１個の画素を加えたｎ個の画素での最小輝度を対象画素の輝度とする処理を行う構成を用いることができる。
【００２３】
このように、対象画素に垂直方向で時間的に前のｎ−１個の画素を加えたｎ個の画素を用いて最大、最小フィルタ処理を実行することにより、偽の差分画像成分の抽出の抑制を好適に実現することができる。また、この場合、最大フィルタ処理及び最小フィルタ処理に用いられる画素数ｎは、３以上５以下の整数に設定されることが好ましい。
【００２４】
また、蛍光観測装置は、フィルタ処理手段において、最大フィルタ処理では、ｍを２以上の整数として、対象画素に水平方向のｍ−１個の画素を加えたｍ個の画素での最大輝度を対象画素の輝度とする処理を行い、最小フィルタ処理では、対象画素に水平方向のｍ−１個の画素を加えたｍ個の画素での最小輝度を対象画素の輝度とする処理を行う構成を用いても良い。
【００２５】
同様に、蛍光観測方法は、フィルタ処理ステップにおいて、最大フィルタ処理では、ｍを２以上の整数として、対象画素に水平方向のｍ−１個の画素を加えたｍ個の画素での最大輝度を対象画素の輝度とする処理を行い、最小フィルタ処理では、対象画素に水平方向のｍ−１個の画素を加えたｍ個の画素での最小輝度を対象画素の輝度とする処理を行う構成を用いても良い。
【００２６】
このように、対象画素に水平方向のｍ−１個の画素を加えたｍ個の画素を用いて最大、最小フィルタ処理を実行する構成によっても、例えば対象物に動きがある場合などにおいて、偽の差分画像成分の抽出の抑制を好適に実現することができる。
【００２７】
蛍光観測装置は、差分画像生成手段から出力された差分画像に基づいて、蛍光の強度分布を示す強度分布画像を生成する分布画像生成手段を備える構成を用いることができる。同様に、蛍光観測方法は、差分画像生成ステップで出力された差分画像に基づいて、蛍光の強度分布を示す強度分布画像を生成する分布画像生成ステップを備える構成を用いることができる。
【００２８】
このように、蛍光が抽出された差分画像をそのまま用いるのではなく、強度分布画像に変換して蛍光観測に用いることにより、例えば微弱な蛍光の観測画像の目視での確認等を効率的に行うことができる。また、このように強度分布画像を生成して用いる場合、具体的には例えば、差分画像に対して、単一または複数の閾値を適用して、強度分布画像である二値化画像またはカラー化画像を生成する構成を用いることができる。
【００２９】
また、蛍光観測装置は、撮像装置から出力された蛍光画像または背景画像と、分布画像生成手段から出力された強度分布画像とを重畳した重畳画像を生成する重畳画像生成手段を備える構成を用いることができる。同様に、蛍光観測方法は、撮像装置から出力された蛍光画像または背景画像と、分布画像生成ステップで出力された強度分布画像とを重畳した重畳画像を生成する重畳画像生成ステップを備える構成を用いることができる。
【００３０】
このように、オリジナルの蛍光画像または背景画像と、二値化画像、カラー化画像等の強度分布画像とを重畳した重畳画像を蛍光観測に用いる構成によれば、例えば、対象物における蛍光の発生位置を、観測画像から目視で確認することが可能になるなど、様々な形での効率的な対象物の蛍光観測が可能となる。
【発明の効果】
【００３１】
本発明の蛍光観測装置、及び蛍光観測方法によれば、インターレース型の撮像装置によるフィールド画像取得動作と、励起光供給手段による励起光供給のＯＮ／ＯＦＦ動作とを同期して制御し、撮像装置から時系列に出力される蛍光画像及び背景画像に対して画像記憶手段を設けるとともに、撮像装置及び画像記憶手段に対して差分画像生成手段を設け、差分画像の生成において、撮像装置の出力の蛍光画像から、画像記憶手段の出力の背景画像を差し引いて差分画像とする第１モードと、撮像装置の出力の背景画像を、画像記憶手段の出力の蛍光画像から差し引いて差分画像とする第２モードとを切り替えて適用することにより、対象物の蛍光観測画像を時系列に取得する構成において、蛍光が抽出された画像をリアルタイムに生成することが可能となる。
【図面の簡単な説明】
【００３２】
【図１】蛍光観測装置の第１実施形態の構成を示すブロック図である。
【図２】図１に示した蛍光観測装置において実行される蛍光観測方法の一例について示すタイミングチャートである。
【図３】蛍光観測装置の第２実施形態の構成を示すブロック図である。
【図４】図３に示した蛍光観測装置において実行される蛍光観測方法の一例について示すタイミングチャートである。
【図５】差分画像における偽の差分画像成分の発生について示す図である。
【図６】フィルタ処理による偽の差分画像成分の除去について示す図である。
【図７】差分画像における偽の差分画像成分の発生について示す図である。
【図８】フィルタ処理による偽の差分画像成分の除去について示す図である。
【図９】図３に示した蛍光観測装置において実行される蛍光観測方法の他の例について示すタイミングチャートである。
【図１０】蛍光観測装置の第３実施形態の構成を示すブロック図である。
【図１１】図１０に示した蛍光観測装置における分布画像生成部の構成の一例を示すブロック図である。
【図１２】図１０に示した蛍光観測装置において実行される蛍光観測方法の一例について示すタイミングチャートである。
【図１３】蛍光観測装置において取得される観測画像の例を示す図である。
【発明を実施するための形態】
【００３３】
以下、図面とともに本発明による蛍光観測装置、及び蛍光観測方法の好適な実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明のものと必ずしも一致していない。
【００３４】
図１は、蛍光観測装置の第１実施形態の構成を示すブロック図である。本実施形態による蛍光観測装置１Ａは、観測対象物１０について、所定のフレームレートで時系列に蛍光観測画像を取得することで、対象物１０を動画で観測するように構成されている。具体的には、本蛍光観測装置１Ａは、観測光源１１と、撮像装置１２と、フィールドメモリ１５と、差分演算器２０と、切替信号生成部２５とを備えて構成されている。
【００３５】
観測光源１１は、観測対象物１０に対して蛍光観測のための所定波長の励起光を供給するとともに、励起光の供給のＯＮ／ＯＦＦを切り替え可能に構成された励起光供給手段である。また、撮像装置１２は、対象物１０からの光像を撮像するものであり、対象物１０の画像データとして、第１フィールドの画像、及び第２フィールドの画像を時系列で交互に出力するインターレース型の撮像装置である。このような撮像装置１２としては、例えば、ＮＴＳＣ方式、またはＰＡＬ方式のスタンダード同期インターレース型ビデオカメラを用いることができる。
【００３６】
観測光源１１は、撮像装置１２の動作と同期して対象物１０へと励起光を供給するように、その動作が制御される。具体的には、光源１１は、撮像装置１２による第１フィールドの画像取得期間、及び第２フィールドの画像取得期間について、その一方の期間が、励起光の供給をＯＮとして、対象物１０で発生した蛍光の画像成分を含む蛍光画像を取得する蛍光画像取得期間となり、他方の期間が、励起光の供給をＯＦＦとして、蛍光の画像成分を含まない背景画像（例えば、対象物１０の通常画像）を取得する背景画像取得期間となるように、対象物１０に対して励起光を供給する。
【００３７】
図１に示した構成では、上記した同期を実現するために、撮像装置１２からの信号に基づいて第１、第２フィールドの画像取得期間に同期して切り替わる切替信号を生成する切替信号生成部２５が設けられている。そして、この切替信号生成部２５からの切替信号が光源１１に入力されることにより、撮像装置１２における第１、第２フィールド画像の取得と、光源１１における励起光供給のＯＮ／ＯＦＦとの同期制御が実現される。このような構成において、撮像装置１２から出力される第１、第２フィールドの画像は、その一方が蛍光画像、他方が背景画像となっている。
【００３８】
また、撮像装置１２に対し、撮像装置１２から出力された第１フィールドの画像または第２フィールドの画像（蛍光画像または背景画像）を記憶する画像記憶手段としてフィールドメモリ１５が設けられている。さらに、撮像装置１２からの画像出力、及びフィールドメモリ１５からの画像出力に対し、差分演算器２０が設けられている。この差分演算器２０は、撮像装置１２から出力された第１、第２フィールドの画像の一方と、フィールドメモリ１５に記憶されて演算器２０へと出力された第１、第２フィールドの画像の他方との差分を取った差分画像を生成する差分画像生成手段である。
【００３９】
この差分演算器２０には、観測光源１１と同様に、切替信号生成部２５からの切替信号が入力されている。差分演算器２０は、入力された切替信号を参照し、その差分演算生成モードとして、差分画像の生成方法が異なる第１モードと、第２モードとを切り替えて適用する。第１モードは、撮像装置１２から蛍光画像が出力された場合に適用され、蛍光画像から、その前に取得されてフィールドメモリ１５に記憶された背景画像を差し引くことで差分画像を生成する。また、第２モードは、撮像装置１２から背景画像が出力された場合に適用され、背景画像を、その前に取得されてフィールドメモリ１５に記憶された蛍光画像から差し引くことで差分画像を生成する。
【００４０】
図１に示した構成では、差分演算器２０として、演算論理装置（ＡＬＵ：ArithmeticLogic Unit）を用いている。差分演算器２０のＡ入力端子には、撮像装置１２の出力（カメラ出力）が接続され、Ｂ入力端子には、フィールドメモリ１５の出力（メモリ出力）が接続されている。また、差分演算器２０のＹ出力端子からは、演算結果の差分画像が出力される。なお、差分演算において、演算結果が負の場合には０出力とする。
【００４１】
また、図１に示した構成例では、差分演算器２０に対して表示装置５０が接続されており、差分演算器２０で生成された差分画像を表示装置５０に表示する構成となっている。ただし、このような表示装置５０については、表示装置以外の画像出力装置を設ける構成としても良い。あるいは、表示装置等の画像出力装置を設けずに、得られた差分画像のデータを外部へと送出する構成としても良い。
【００４２】
図２は、図１に示した蛍光観測装置において実行される蛍光観測方法の一例について示すタイミングチャートである。このタイミングチャートでは、（ａ）観測光源１１における励起光供給のＯＮ／ＯＦＦ動作、（ｂ）撮像装置１２における第１、第２フィールドの画像の取得動作、（ｃ）差分演算器２０のＡ入力となるカメラ出力、（ｄ）Ｂ入力となるメモリ出力、及び（ｅ）差分演算によって生成される差分画像を示している。
【００４３】
図２のタイミングチャートにおいて、１つのフレームの画像を取得するためのフレーム取得期間Ｔ１０は、第１フィールドの画像を取得する第１期間Ｔ１１、及び第２フィールドの画像を取得する第２期間Ｔ１２によって構成されている。また、図２の例では、第１期間Ｔ１１において励起光の供給をＯＦＦとして、その期間（背景画像取得期間）で取得される第１フィールドの画像を背景画像とし、また、第２期間Ｔ１２において励起光の供給をＯＮとして、その期間（蛍光画像取得期間）で取得される第２フィールドの画像を蛍光画像としている（励起光供給ステップ）。
【００４４】
フレーム取得期間Ｔ１０の前の第２期間Ｔ０２で、撮像装置１２において第２フィールドの画像として取得された蛍光画像は、続く第１期間Ｔ１１において撮像装置１２から出力され、差分演算器２０のＡ入力端子へと入力される。また、第１期間Ｔ１１では、フィールドメモリ１５には、前の第２期間Ｔ０２で撮像装置１２から出力された背景画像が記憶されており、この背景画像が、フィールドメモリ１５から差分演算器２０のＢ入力端子へと入力される。
【００４５】
この第１期間Ｔ１１では、撮像装置１２から蛍光画像が出力されているため、差分演算器２０の動作モードとして、第１モードが適用される。このとき、差分演算器２０において、Ａ入力の蛍光画像からＢ入力の背景画像を差し引くＡ−Ｂ演算が実行され、これによって、蛍光が抽出された差分画像が生成される（差分画像生成ステップ）。
【００４６】
また、フレーム取得期間Ｔ１０の第１期間Ｔ１１で、撮像装置１２において第１フィールドの画像として取得された背景画像は、続く第２期間Ｔ１２において撮像装置１２から出力され、差分演算器２０のＡ入力端子へと入力される。また、第２期間Ｔ１２では、フィールドメモリ１５には、前の第１期間Ｔ１１で撮像装置１２から出力された蛍光画像が記憶されており、この蛍光画像が、フィールドメモリ１５から差分演算器２０のＢ入力端子へと入力される。
【００４７】
この第２期間Ｔ１２では、撮像装置１２から背景画像が出力されているため、差分演算器２０の動作モードとして、第２モードが適用される。このとき、差分演算器２０において、Ｂ入力の蛍光画像からＡ入力の背景画像を差し引くＢ−Ａ演算が実行され、これによって、蛍光が抽出された差分画像が生成される（差分画像生成ステップ）。
【００４８】
このような光源１１からの励起光の供給、撮像装置１２での画像取得、差分演算器２０での動作モードの切替、及び差分画像の生成を、各フレーム取得期間での第１期間、第２期間で繰り返して行うことにより、各フィールド画像取得期間において、蛍光が抽出された差分画像が生成される。なお、第１、第２期間における励起光供給のＯＮ／ＯＦＦ、蛍光画像／背景画像の取得、及び差分演算のモードの切替については、図２に示した構成に限らず、例えば、第１期間において励起光の供給をＯＮとして蛍光画像を取得し、第２期間において励起光の供給をＯＦＦとして背景画像を取得する構成としても良い。
【００４９】
本実施形態による蛍光観測装置１Ａ、及び蛍光観測方法の効果について説明する。
【００５０】
図１及び図２に示した蛍光観測装置１Ａ、及び蛍光観測方法では、対象物１０の蛍光観測画像の時系列での取得において、インターレース型の撮像装置１２を用いるとともに、その第１フィールドの画像取得期間Ｔ１１及び第２フィールドの画像取得期間Ｔ１２の一方が蛍光画像取得期間、他方が背景画像取得期間となるように、撮像装置１２によるフィールド画像取得動作と、観測光源１１による励起光供給のＯＮ／ＯＦＦ動作とを同期して制御する。このとき、撮像装置１２からは、図２に示したように、励起光を供給した状態での蛍光画像と、励起光を供給しない状態での背景画像とが、第１フィールドの画像または第２フィールドの画像として時系列で交互に出力される。
【００５１】
また、撮像装置１２から時系列に出力される蛍光画像または背景画像に対し、フィールドメモリ１５が設けられている。このフィールドメモリ１５には、撮像装置１２から出力される蛍光画像と、背景画像とが、第１フィールドの画像または第２フィールドの画像として時系列で交互に入力され、記憶される。このような構成では、撮像装置１２から蛍光画像取得期間で取得された蛍光画像が出力される場合には、フィールドメモリ１５に記憶されている観測画像は、その前の背景画像取得期間で取得された背景画像となっている。また、撮像装置１２から背景画像取得期間で取得された背景画像が出力される場合には、フィールドメモリ１５に記憶されている観測画像は、その前の蛍光画像取得期間で取得された蛍光画像となっている。
【００５２】
このような構成において、撮像装置１２及びフィールドメモリ１５に対して、観測画像の蛍光画像成分を抽出するための差分演算器２０を設ける。そして、差分画像の生成において、撮像装置１２の出力の蛍光画像から、メモリ１５の出力の１つ前の背景画像を差し引いて差分画像とする第１モードと、メモリ１５の出力の１つ前の蛍光画像から、撮像装置１２の出力の背景画像を差し引いて差分画像とする第２モードとを、撮像装置１２及び光源１１の動作に同期させて交互に切り替えて適用する。
【００５３】
これにより、対象物１０の蛍光観測画像を時系列に取得する構成において、蛍光が抽出された画像を動画のままで、画像更新速度を落とすことなくリアルタイムに生成することが可能となる。例えば、画像取得のフレームレートが３０フレーム／秒の場合、インターレース動作における第１、第２フィールドの画像取得のレートは、その２倍の６０フィールド／秒となる。これに対して、上記のように差分画像の生成モードをフィールドの画像取得期間毎に切り替える構成によれば、フィールド画像取得動作と同期して６０画像／秒で差分画像を生成、出力することが可能となる。
【００５４】
また、上記構成では、蛍光観測装置１Ａにおいて、撮像装置１２からの信号に基づいて第１フィールドの画像取得期間、及び第２フィールドの画像取得期間に同期して切り替わる切替信号を生成する切替信号生成部２５を設けるとともに、差分演算器２０が、この切替信号に基づいて、第１モードと第２モードとを切り替えて適用する構成を用いている。このように、撮像装置１２からの信号に基づいて、第１、第２フィールドの画像取得期間に同期して生成される切替信号を用いることにより、差分画像の生成における第１モードと第２モードとの生成モードの切り替えを好適に実現することができる。
【００５５】
図３は、蛍光観測装置の第２実施形態の構成を示すブロック図である。本実施形態による蛍光観測装置１Ｂは、観測光源１１と、撮像装置１２と、フィールドメモリ１５と、差分演算器２０と、ＭＡＸ／ＭＩＮフィルタ２１と、ラインメモリ２２と、切替信号生成部２５と、表示装置５０とを備えて構成されている。これらのうち、観測光源１１、撮像装置１２、フィールドメモリ１５、差分演算器２０、切替信号生成部２５、及び表示装置５０の構成については、図１に示した第１実施形態の構成と同様である。なお、図３においては、観測対象物１０については図示を省略している。
【００５６】
図３に示した構成では、フィールドメモリ１５から差分演算器２０へと出力される蛍光画像または背景画像に対して、ＭＡＸ／ＭＩＮフィルタ２１が設けられている。このフィルタ２１は、メモリ１５から出力される画像に対して、その画像に含まれる各画素（ピクセル）の輝度について、対象画素にその近傍の所定範囲内にある画素を加えた複数の画素での最大輝度を対象画素の輝度とする最大フィルタ（ＭＡＸフィルタ）処理、または、対象画素にその近傍の所定範囲内にある画素を加えた複数の画素での最小輝度を対象画素の輝度とする最小フィルタ（ＭＩＮフィルタ）処理を行うフィルタ処理手段である。
【００５７】
また、このＭＡＸ／ＭＩＮフィルタ２１に対し、ラインメモリ２２が設けられている。ラインメモリ２２は、フィルタ処理での対象画素を含む走査線（走査ライン）のライン画像データに対して、対象画素の近傍の所定範囲内にある画素を含む走査線のライン画像データを記憶する第２の画像記憶手段であり、フィルタ２１において実行されるフィルタ処理の内容に応じて、１ライン分または複数ライン分のメモリによって構成される。このラインメモリ２２には、フィールドメモリ１５から出力されるフィールド画像データのうちで、フィルタ２１で実行されるフィルタ処理に必要な１または複数のライン画像データが記憶される。また、メモリ１５からフィルタ２１、メモリ２２への画像データの読み出しについては、撮像装置１２から出力される画像データとのタイミングを合わせるため、必要に応じて、所定量のデータの早読み出しが行われる。
【００５８】
このＭＡＸ／ＭＩＮフィルタ２１には、光源１１及び差分演算器２０と同様に、切替信号生成部２５からの切替信号が入力されている。フィルタ２１は、入力された切替信号を参照し、フィルタ２１での処理対象としてフィールドメモリ１５から背景画像が出力される第１モードと、フィールドメモリ１５から蛍光画像が出力される第２モードとで、最大フィルタ処理と、最小フィルタ処理とを、撮像装置１２、光源１１、及び差分演算器２０の動作に同期させて、交互に切り替えて適用する。すなわち、ＭＡＸ／ＭＩＮフィルタ２１は、第１、第２モードの一方で、メモリ１５からの画像に対して最大フィルタ処理を行い、他方で、メモリ１５からの画像に対して最小フィルタ処理を行う。
【００５９】
図４は、図３に示した蛍光観測装置において実行される蛍光観測方法の一例について示すタイミングチャートである。なお、図４に示したタイミングチャートにおける基本的な動作は、図２に示したものと同様である。また、図４の例では、第１モードにおいて、フィールドメモリ１５から出力される背景画像に最大フィルタ処理を適用し、第２モードにおいて、フィールドメモリ１５から出力される蛍光画像に最小フィルタ処理を適用する構成としている（フィルタ処理ステップ）。
【００６０】
第２期間Ｔ０２で撮像装置１２において取得された蛍光画像は、第１期間Ｔ１１で撮像装置１２から差分演算器２０のＡ入力端子へと入力される。また、第１期間Ｔ１１では、メモリ１５には、前の第２期間Ｔ０２で撮像装置１２から出力された背景画像が記憶されており、この背景画像が、フィルタ２１での最大フィルタ処理の後に、差分演算器２０のＢ入力端子へと入力される。第１モードが適用された差分演算器２０では、Ａ入力の蛍光画像から、最大フィルタ処理が適用されたＢ入力の背景画像を差し引くＡ−ＭＡＸ（Ｂ）演算が実行され、これによって、蛍光が抽出された差分画像が生成される。
【００６１】
第１期間Ｔ１１で撮像装置１２において取得された背景画像は、第２期間Ｔ１２で撮像装置１２から差分演算器２０のＡ入力端子へと入力される。また、第２期間Ｔ１２では、メモリ１５には、前の第１期間Ｔ１１で撮像装置１２から出力された蛍光画像が記憶されており、この蛍光画像が、フィルタ２１での最小フィルタ処理の後に、差分演算器２０のＢ入力端子へと入力される。第２モードが適用された差分演算器２０では、最小フィルタ処理が適用されたＢ入力の蛍光画像から、Ａ入力の背景画像を差し引くＭＩＮ（Ｂ）−Ａ演算が実行され、これによって、蛍光が抽出された差分画像が生成される。
【００６２】
このような光源１１からの励起光の供給、撮像装置１２での画像取得、フィルタ２１でのフィルタ処理の切替、差分演算器２０での動作モードの切替、及び差分画像の生成を、各フレーム取得期間での第１期間、第２期間で繰り返して行うことにより、各フィールド画像取得期間において、蛍光が抽出された差分画像がリアルタイムに生成される。
【００６３】
本実施形態による蛍光観測装置１Ｂ、及び蛍光観測方法においても、第１実施形態による蛍光観測装置１Ａ、及び蛍光観測方法と同様の効果を得ることができる。さらに本実施形態では、フィールドメモリ１５から出力される画像に対して、ＭＡＸ／ＭＩＮフィルタ２１を設け、差分演算器２０での第１、第２モードの切替と同期して、画像に対して適用する最大フィルタ処理、最小フィルタ処理を交互に切り替える構成としている。
【００６４】
上記したように、撮像装置１２でのフィールド画像取得動作と、観測光源１１での励起光供給動作と、差分演算器２０でのモード切替動作とを同期させる構成では、必要なカメラセンサが１つであるので、画像間の光学的な位置ずれがなく、光学系、機構の実現が容易である。一方、このような構成では、差分画像の生成において、第１フィールドの画像と、第２フィールドの画像との異なるフィールド間で差分をとるために、例えば、明るい画像部分と暗い画像部分との境界などにおいて、偽の差分画像成分が抽出される場合がある。また、このような偽の差分画像成分の抽出は、観測対象物１０に動きがあるなどの場合においても、同様に生じる可能性がある。
【００６５】
これに対して、フィールドメモリ１５から出力される画像の各画素の輝度について最大フィルタ処理または最小フィルタ処理を実行するＭＡＸ／ＭＩＮフィルタ２１を設けるとともに、このフィルタ２１において、差分画像の生成での第１、第２モードの切替動作に同期して、最大、最小フィルタ処理を切り替えて画像に適用する。これにより、蛍光画像と背景画像との差分画像における偽の差分画像成分の抽出を抑制することができる。
【００６６】
なお、このようにＭＡＸ／ＭＩＮフィルタ２１において差分演算器２０のＢ入力となる画像に対してフィルタ処理を行う場合、フィルタ処理を行った結果の画像の位置と、撮像装置１２から生で入力されるカメラ画像の位置とが合っている必要がある。この場合、メモリ１５からの画像データの読み出しにおいて、フィルタ処理の具体的な内容に応じて、垂直方向に必要なライン分、データの早読み出しを行うことが好ましい。
【００６７】
また、上記構成では、蛍光観測装置１Ｂにおいて、撮像装置１２からの信号に基づいて第１フィールドの画像取得期間、及び第２フィールドの画像取得期間に同期して切り替わる切替信号を生成する切替信号生成部２５を設けるとともに、差分演算器２０が、この切替信号に基づいて、第１モードと第２モードとを切り替えて適用し、また、フィルタ２１が、切替信号に基づいて、第１モードと第２モードとで、最大フィルタ処理と最小フィルタ処理とを切り替えて適用する構成を用いている。
【００６８】
このように、撮像装置１２からの信号に基づいて、第１、第２フィールドの画像取得期間に同期して生成される切替信号を用いることにより、差分画像の生成における第１モードと第２モードとの生成モードの切り替え、及びフィルタ処理における最大フィルタ処理と最小フィルタ処理とのフィルタ処理の切り替えを好適に実現することができる。
【００６９】
また、上記構成では、蛍光観測装置１Ｂにおいて、フィルタ処理での対象画素を含む走査線のライン画像データに対して、対象画素の近傍の所定範囲内にある画素を含む走査線のライン画像データを記憶するラインメモリ２２を設けている。このような構成では、ラインメモリ２２に記憶されたライン画像データを用いて、フィルタ２１における画像に対するフィルタ処理を好適に実行することができる。
【００７０】
フィルタ２１で画像に対して実行されるフィルタ処理については、具体的には、最大フィルタ処理では、ｎを２以上の整数として、対象画素に、ラインメモリ２２に記憶された垂直方向で時間的に前のｎ−１個の画素を加えたｎ個の画素での最大輝度を対象画素の輝度とする処理を行い、最小フィルタ処理では、対象画素に、ラインメモリ２２に記憶された垂直方向で時間的に前のｎ−１個の画素を加えたｎ個の画素での最小輝度を対象画素の輝度とする処理を行う構成を用いることができる。
【００７１】
このように、対象画素に垂直方向で時間的に前のｎ−１個の画素を加えたｎ個の画素を用いて最大、最小フィルタ処理を実行することにより、偽の差分画像成分の抽出の抑制を好適に実現することができる。また、この場合、最大フィルタ処理及び最小フィルタ処理に用いられる画素数ｎは、３以上５以下の整数に設定されることが好ましい。なお、画像に適用する最大、最小フィルタ処理の条件等については、詳しくは後述する。
【００７２】
また、フィルタ処理について、最大フィルタ処理では、ｍを２以上の整数として、対象画素に水平方向のｍ−１個の画素を加えたｍ個の画素での最大輝度を対象画素の輝度とする処理を行い、最小フィルタ処理では、対象画素に水平方向のｍ−１個の画素を加えたｍ個の画素での最小輝度を対象画素の輝度とする処理を行う構成を用いても良い。
【００７３】
このように、対象画素に水平方向のｍ−１個の画素を加えたｍ個の画素を用いて最大、最小フィルタ処理を実行する構成によっても、例えば対象物１０に動きがある場合などにおいて、偽の差分画像成分の抽出の抑制を好適に実現することができる。
【００７４】
ＭＡＸ／ＭＩＮフィルタ２１において、フィールドメモリ１５から出力されて差分演算器２０のＢ入力となる蛍光画像または背景画像に対して実行される最大、最小フィルタ処理、及びそれによる偽の差分画像成分の抽出の抑制効果について、フィルタ処理の具体例とともにさらに説明する。
【００７５】
図５は、蛍光画像と背景画像との差分画像における偽の差分画像成分の発生について示す図である。ここでは、図５（ａ）に示すように、観測画像６０において、その中央部分に矩形状の明るい画像部分６１が、また、周囲に暗い画像部分６２がある場合を考える。なお、以降の各図において、実線は差分演算器２０のＡ入力端子に入力されるフィールド画像の走査線を示し、破線は差分演算器２０のＢ入力端子に入力されるフィールド画像の走査線を示している。また、図５（ａ）では、明るい画像部分６１については走査線の図示を省略している。
【００７６】
図５（ｂ）において、Ｐは、図５（ａ）に示す垂直方向の線Ｐに沿った輝度分布を示している。この輝度分布Ｐでは、明るい画像部分６１の上端部６６において、差分演算の対象となるＡ入力走査線Ａ１と、Ｂ入力走査線Ｂ１とで、走査線Ａ１での輝度が「暗」であるのに対し、走査線Ｂ１での輝度は「明」となっている。このとき、Ｂ−Ａ演算による差分画像において、偽の差分画像成分Ｃ１が発生する。同様に、明るい画像部分６１の下端部６７では、走査線Ａ２での輝度が「明」であるのに対し、走査線Ｂ２での輝度は「暗」となっている。このとき、Ａ−Ｂ演算による差分画像において、偽の差分画像成分Ｃ２が発生する。
【００７７】
このような偽の差分画像成分に対し、図６に示すように、フィルタ処理によって、偽の差分画像成分を除去することができる。ここで、図６においては、フィルタ処理の画素数をｎ＝２として、最大フィルタ処理を、対象画素に垂直方向で時間的に前の１個の画素を加えた２個の画素での最大輝度を対象画素の輝度とする処理としている。同様に、最小フィルタ処理を、対象画素に垂直方向で時間的に前の１個の画素を加えた２個の画素での最小輝度を対象画素の輝度とする処理としている。
【００７８】
図６（ａ）は、明るい画像部分６１の上端部６６におけるＢ−Ａ演算での偽の画像成分の発生に対して適用される最小フィルタ（ＭＩＮフィルタ）処理について示している。この場合、元の輝度分布Ｐでは走査線Ｂ１での輝度は「明」であるが、Ｂ入力の画像に対してＭＩＮフィルタ処理を実行した結果、得られた輝度分布ＭＩＮ（Ｂ）では、走査線Ｂ１の１つ上の走査線（垂直方向で時間的に１つ前の走査線）での輝度が「暗」であるため、走査線Ｂ１での輝度が「暗」に置き換えられている。これにより、ＭＩＮ（Ｂ）−Ａ演算による差分画像において、偽の画像成分が発生しなくなる。これは、Ｂ入力の画像が蛍光画像である場合に相当する（図４参照）。
【００７９】
図６（ｂ）は、明るい画像部分６１の下端部６７におけるＡ−Ｂ演算での偽の画像成分の発生に対して適用される最大フィルタ（ＭＡＸフィルタ）処理について示している。この場合、元の輝度分布Ｐでは走査線Ｂ２での輝度は「暗」であるが、Ｂ入力の画像に対してＭＡＸフィルタ処理を実行した結果、得られた輝度分布ＭＡＸ（Ｂ）では、走査線Ｂ２の１つ上の走査線での輝度が「明」であるため、走査線Ｂ２での輝度が「明」に置き換えられている。これにより、Ａ−ＭＡＸ（Ｂ）演算による差分画像において、偽の画像成分が発生しなくなる。これは、Ｂ入力の画像が背景画像である場合に相当する。
【００８０】
ここで、図６においては、上記したように、フィルタ処理の画素数をｎ＝２として、対象画素に垂直方向で時間的に前の１個の画素を加えた２個の画素を用いて最大、最小フィルタ処理を行う場合について説明した。ただし、実際の自然画像では、このようなフィルタ処理では、偽の差分画像成分の除去能力が不足する場合がある。
【００８１】
図７は、蛍光画像と背景画像との差分画像における偽の差分画像成分の発生の他の例について示す図である。ここでは、観測画像７０において、その中央部分に矩形状の明るい画像部分７１が、周囲に暗い画像部分７２があり、さらに、画像部分７１の上方、下方の端部近傍にそれぞれ明るい画像部分７６、７７がある場合を考える。自然画像において、明るい画像部分７１と暗い画像部分７２との境界で、このような画像部分７６、７７を含む輝度分布の変動があった場合、上記のように最大、最小フィルタ処理を行っても、偽の画像成分が発生する可能性がある。
【００８２】
図８（ａ）、（ｂ）は、それぞれ、明るい画像部分７１、及びその上方の明るい画像部分７６におけるＢ−Ａ演算での偽の画像成分の発生に対して適用される最小フィルタ（ＭＩＮフィルタ）処理について示している。図８（ａ）では、図６と同様にフィルタ処理の画素数をｎ＝２として、最小フィルタ処理を、対象画素に垂直方向で時間的に前の１個の画素を加えた２個の画素での最小輝度を対象画素の輝度とする処理としている。また、図８（ｂ）では、フィルタ処理の画素数をｎ＝３として、最小フィルタ処理を、対象画素に垂直方向で時間的に前の２個の画素を加えた３個の画素での最小輝度を対象画素の輝度とする処理としている。
【００８３】
図８（ａ）において、元の輝度分布Ｐでは、走査線Ａ１での輝度が「暗」であるのに対して、走査線Ｂ１での輝度は「明」、走査線Ｂ１の１つ上の走査線Ｂ６での輝度も同じく「明」である。この場合、Ｂ入力の画像に対してｎ＝２のＭＩＮフィルタ処理を実行しても、得られた輝度分布ＭＩＮ（Ｂ）で走査線Ｂ１での輝度は「明」のままであり、したがって、ＭＩＮ（Ｂ）−Ａ演算による差分画像において偽の画像成分Ｃ１が発生する。
【００８４】
一方、図８（ｂ）に示すように、同様の輝度分布Ｐについて、Ｂ入力の画像に対してｎ＝３のＭＩＮフィルタ処理を実行した場合、走査線Ｂ１の２つ上の走査線Ｂ７での輝度が「暗」であるために、得られた輝度分布ＭＩＮ（Ｂ）で、走査線Ｂ１での輝度が「暗」に置き換えられる。これにより、ＭＩＮ（Ｂ）−Ａ演算による差分画像において、偽の画像成分が発生しなくなる。なお、このような偽の画像成分の除去については、Ａ−Ｂ演算での偽の画像成分についても同様に実行可能である。
【００８５】
このように、垂直方向についての最大、最小フィルタ処理において、フィルタ処理を適用する対象画素の近傍の画素数ｎを大きく設定した場合、それによって偽の差分画像成分の除去能力を向上することができる。一方、画素数ｎを大きくすると、フィルタ処理実行のための回路規模の増大などの問題が生じる。また、大きい画素数ｎでのフィルタ処理の実行は、例えば差分画像自体を小さくするなどの効果があり、抽出した目的の画像をも変形させてしまうため、必要以上に画素数ｎを大きくすることはできない。
【００８６】
このような点を考慮すると、最大、最小フィルタ処理に用いられる対象画素の近傍の画素数ｎについては、上述したように３以上５以下の整数に設定する（３≦ｎ≦５）ことが好ましい。また、フィルタ処理回路、メモリの構成等に応じ、対象画素に対して垂直方向で時間的に後の画素についても、フィルタ処理に用いる構成としても良い。
【００８７】
また、蛍光画像と背景画像との差分画像における偽の差分画像成分の発生は、上記した明るい画像部分と暗い画像部分との境界以外にも、例えば、観測対象物１０にフィールド時間以上の速度での動きがあるなどの場合にも生じる可能性がある。対象物１０の動きによる偽の画像成分の場合、垂直方向の動きについては、上記した垂直方向のｎ個の画素を用いたフィルタ処理によって除去することが可能である。
【００８８】
また、水平方向の動きについては、対象画素に水平方向のｍ−１個の画素を加えたｍ個の画素を用いて同様のフィルタ処理を行うことにより、偽の画像成分を除去することができる。この場合、水平方向の最大、最小フィルタ処理に用いられる画素数ｍについては、垂直方向の場合と同様の点を考慮して、５以上７以下の整数に設定する（５≦ｍ≦７）ことが好ましい。また、水平方向、垂直方向の両者についてフィルタ処理を行う場合には、例えば、対象画素を含むｎ×ｍ個の画素を用いてフィルタ処理を行えば良い。
【００８９】
なお、図４に示したタイミングチャートにおいて、第１、第２期間における励起光供給のＯＮ／ＯＦＦ、蛍光画像／背景画像の取得、差分演算の動作モードの切替、及びフィルタ処理の実行については、図２に関して上述したように、図４に示した構成に限らず、例えば、第１期間において励起光の供給をＯＮとして蛍光画像を取得し、第２期間において励起光の供給をＯＦＦとして背景画像を取得する構成としても良い。
【００９０】
図９は、図３に示した蛍光観測装置において実行される蛍光観測方法の他の例について示すタイミングチャートである。この図９の例では、図４の例とは逆に、第１期間Ｔ１１において励起光の供給をＯＮとして、その期間で取得される第１フィールドの画像を蛍光画像とし、また、第２期間Ｔ１２において励起光の供給をＯＦＦとして、その期間で取得される第２フィールドの画像を背景画像としている。
【００９１】
第２期間Ｔ０２で撮像装置１２において取得された背景画像は、第１期間Ｔ１１で撮像装置１２から差分演算器２０のＡ入力端子へと入力される。また、第１期間Ｔ１１では、メモリ１５には、前の第２期間Ｔ０２で撮像装置１２から出力された蛍光画像が記憶されており、この蛍光画像が、フィルタ２１での最小フィルタ処理の後に、差分演算器２０のＢ入力端子へと入力される。第２モードが適用された差分演算器２０では、最小フィルタ処理が適用されたＢ入力の蛍光画像から、Ａ入力の背景画像を差し引くＭＩＮ（Ｂ）−Ａ演算が実行され、これによって、蛍光が抽出された差分画像が生成される。
【００９２】
第１期間Ｔ１１で撮像装置１２において取得された蛍光画像は、第２期間Ｔ１２で撮像装置１２から差分演算器２０のＡ入力端子へと入力される。また、第２期間Ｔ１２では、メモリ１５には、前の第１期間Ｔ１１で撮像装置１２から出力された背景画像が記憶されており、この背景画像が、フィルタ２１での最大フィルタ処理の後に、差分演算器２０のＢ入力端子へと入力される。第１モードが適用された差分演算器２０では、Ａ入力の蛍光画像から、最大フィルタ処理が適用されたＢ入力の背景画像を差し引くＡ−ＭＡＸ（Ｂ）演算が実行され、これによって、蛍光が抽出された差分画像が生成される。
【００９３】
このような光源１１からの励起光の供給、撮像装置１２での画像取得、フィルタ２１でのフィルタ処理の切替、差分演算器２０での動作モードの切替、及び差分画像の生成を、各フレーム取得期間での第１期間、第２期間で繰り返して行うことにより、図４の場合と同様に、各フィールド画像取得期間において、蛍光が抽出された差分画像がリアルタイムに生成される。
【００９４】
図１０は、蛍光観測装置の第３実施形態の構成を示すブロック図である。本実施形態による蛍光観測装置１Ｃは、観測光源１１と、撮像装置１２と、フィールドメモリ１５と、差分演算器２０と、ＭＡＸ／ＭＩＮフィルタ２１と、ラインメモリ２２と、切替信号生成部２５と、分布画像生成部３０と、マルチプレクサ３５と、表示装置５０とを備えて構成されている。これらのうち、観測光源１１、撮像装置１２、フィールドメモリ１５、差分演算器２０、ＭＡＸ／ＭＩＮフィルタ２１、ラインメモリ２２、切替信号生成部２５、及び表示装置５０の構成については、図３に示した第２実施形態の構成と同様である。
【００９５】
図１０に示した構成では、差分演算器２０から出力される蛍光画像と背景画像との差分画像に対して、分布画像生成部３０が設けられている。この分布画像生成部３０は、差分演算器２０から出力された差分画像に基づいて、蛍光の強度分布を示す強度分布画像を生成する分布画像生成手段である。この場合の強度分布画像としては、具体的には例えば、差分画像に対して、単一または複数の閾値を適用して、強度分布画像である二値化画像またはカラー化画像を生成する構成を用いることができる。
【００９６】
また、撮像装置１２からの出力、及び分布画像生成部３０からの出力に対して、マルチプレクサ３５が設けられている。このマルチプレクサ３５は、撮像装置１２から出力された蛍光画像または背景画像と、分布画像生成部３０から出力された蛍光の強度分布画像とを重畳した重畳画像を生成する重畳画像生成手段である。
【００９７】
図１０の構成では、マルチプレクサ３５のＡ入力端子には、撮像装置１２の出力が接続され、Ｂ入力端子には、分布画像生成部３０の出力が接続されている。また、マルチプレクサ３５には、分布画像生成部３０からの重畳指示信号が入力されており、この重畳指示信号による指示内容を参照して、撮像装置１２から入力した画像と、分布画像生成部３０から入力した画像との重畳画像が生成される。また、マルチプレクサ３５において生成された重畳画像は、表示装置５０へと出力される。
【００９８】
図１１は、図１０に示した蛍光観測装置１Ｃにおける分布画像生成部の構成の一例を示すブロック図である。本構成例における分布画像生成部３０は、閾値設定部３１と、コンパレータ３２と、画像変換部３３とを有し、差分演算器２０から入力された差分画像に対し、複数（Ｎ個）の閾値を適用して、蛍光の強度分布に対応するカラー化画像（疑似カラー化画像）を生成するように構成されている。
【００９９】
閾値設定部３１は、例えばＣＰＵを含んで構成され、蛍光の強度分布を示すカラー化画像を生成するためのＮ個の閾値を設定する。また、図１１の構成例では、撮像装置１２に対して３Ｇモーションセンサ１３が設けられており、閾値設定部３１は、センサ１３によって検知された撮像装置１２の動きについての情報を参照して、閾値を設定、変更する。このような構成は、例えば、撮像装置１２での手ぶれを検知して、そのふれ量から、差分画像成分の抽出に用いられる閾値を動的に上げて、偽の差分画像成分が目立たないようにする場合等において有効である。なお、撮像装置１２の手ぶれは、カメラ支点での動きになるため、画像の動きが大きくなることが多く、上述した最大、最小フィルタ処理による空間フィルタ方式だけでは、除去しきれない場合がある。
【０１００】
コンパレータ３２は、閾値設定部３１で設定されたＮ個の閾値と、差分演算器２０から入力された差分画像の各画素での輝度とを比較し、その比較結果としてＮ段階の判定値を出力するＮ段コンパレータである。また、画像変換部３３は、コンパレータ３２から出力されたＮ段階の判定値を示すＮ値切替信号に基づき、差分演算器２０からの差分画像を、Ｎ色の疑似カラー化差分画像へと変換する。なお、輝度がＮ個の閾値よりも小さい画素については、蛍光が発生していないとしてカラー化画像データは生成されない。
【０１０１】
このような構成において、マルチプレクサ３５には、撮像装置１２からのオリジナル画像（蛍光画像または背景画像）と、画像変換部３３からの蛍光の強度分布を示す疑似カラー化差分画像と、コンパレータ３２からのＮ値切替信号（重畳指示信号）とが入力されている。マルチプレクサ３５は、Ｎ値切替信号を参照し、カラー化画像が生成されていない画素については撮像装置１２からのオリジナル画像データを採用し、カラー化画像が生成された画素については画像変換部３３からのカラー化画像データを採用するように、画素単位で画像データの切り替えを行うことで、オリジナル画像とカラー化差分画像（強度分布画像）との重畳画像を生成する。なお、このような構成において、閾値の個数をＮ＝１とすれば、強度分布画像として二値化画像が生成される。
【０１０２】
図１２は、図１０に示した蛍光観測装置において実行される蛍光観測方法の一例について示すタイミングチャートである。このタイミングチャートでは、（ａ）差分演算器２０のＡ入力となるカメラ出力、（ｂ）Ｂ入力となるメモリ出力、（ｃ）差分演算器２０で生成される差分画像、（ｄ）分布画像生成部３０で生成されるカラー化画像、及び（ｅ）マルチプレクサ３５で生成される重畳画像を示している。
【０１０３】
なお、図１２に示したタイミングチャートにおける基本的な動作は、カラー化画像の生成、及び重畳画像の生成以外については、図２に示したものと同様である。また、図１２においては、ＭＡＸ／ＭＩＮフィルタ２１で実行される最大、最小フィルタ処理については、図示を省略している。
【０１０４】
第１期間Ｔ１１では、差分演算器２０において、Ａ入力の蛍光画像からＢ入力の背景画像を差し引くＡ−Ｂ演算によって差分画像が生成される。また、分布画像生成部３０において、差分画像に対してＮ個の閾値を適用することで、蛍光の強度分布を示すＮ色のカラー化差分画像が生成される（分布画像生成ステップ）。さらに、マルチプレクサ３５において、生成部３０から出力されたカラー化差分画像と、撮像装置１２から出力された蛍光画像との重畳画像が生成される（重畳画像生成ステップ）。
【０１０５】
同様に、第２期間Ｔ１２では、差分演算器２０において、Ｂ入力の蛍光画像からＡ入力の背景画像を差し引くＢ−Ａ演算によって差分画像が生成される。また、分布画像生成部３０において、差分画像に対してＮ個の閾値を適用することで、Ｎ色のカラー化差分画像が生成される（分布画像生成ステップ）。さらに、マルチプレクサ３５において、生成部３０から出力されたカラー化差分画像と、撮像装置１２から出力された背景画像との重畳画像が生成される（重畳画像生成ステップ）。
【０１０６】
本実施形態による蛍光観測装置１Ｃ、及び蛍光観測方法においても、第１実施形態による蛍光観測装置１Ａ、及び第２実施形態による蛍光観測装置１Ｂと同様の効果を得ることができる。
【０１０７】
さらに、本実施形態では、差分演算器２０から出力される差分画像に対して、分布画像生成部３０を設け、差分画像に基づいて蛍光の強度分布を示す二値化画像またはカラー化画像などの強度分布画像を生成する構成としている。このように、蛍光が抽出された差分画像をそのまま用いるのではなく、分布画像生成部３０において強度分布画像に変換して蛍光観測に用いることにより、例えば微弱な蛍光の観測画像の目視での確認などの様々な操作を効率的に行うことができる。
【０１０８】
また、本実施形態では、撮像装置１２から出力されたオリジナル画像と、分布画像生成部３０から出力された強度分布画像との重畳画像を生成するマルチプレクサ３５を設ける構成としている。このように、オリジナルの蛍光画像または背景画像と、閾値を適用して加工された強度分布画像との重畳画像を蛍光観測に用いる構成によれば、例えば、対象物１０における蛍光の発生位置を、表示装置５０に表示された観測画像から目視で確認することが可能になるなど、様々な形での効率的な対象物の蛍光観測が可能となる。
【０１０９】
ここで、図１３は、図１０に示した蛍光観測装置１Ｃにおいて取得される観測画像の例を示す図である。図１３（ａ）は、カラー化画像の生成による蛍光抽出、及び重畳画像の生成等を行っていない通常の観測画像を示し、図１３（ｂ）は、オリジナル画像に対して疑似カラー化差分画像を重畳した重畳画像を示している。このように、蛍光の強度分布を示すカラー化画像などの強度分布画像、あるいはさらに、オリジナル画像と強度分布画像との重畳画像を生成、表示することにより、観測対象物における蛍光の発生位置、範囲、及びその強度分布等を好適に確認することができる。
【０１１０】
本発明による蛍光観測装置、及び蛍光観測方法は、上記した実施形態及び構成例に限られるものではなく、様々な変形が可能である。例えば、差分画像生成手段、フィルタ処理手段、分布画像生成手段、及び重畳画像生成手段等の構成については、上記した実施形態の構成に限らず、具体的には様々な構成を用いて良い。また、例えば、図１０に示した分布画像生成部３０及びマルチプレクサ３５については、図１のようにＭＡＸ／ＭＩＮフィルタ２１を設けていない構成に対して適用することも可能である。また、重畳画像を生成するマルチプレクサ３５を設けずに、分布画像生成部３０で生成された強度分布画像を、そのまま表示装置５０に表示する構成としても良い。
【産業上の利用可能性】
【０１１１】
本発明は、対象物の蛍光観測画像を時系列に取得する構成において、蛍光が抽出された画像をリアルタイムに生成することが可能な蛍光観測装置、及び蛍光観測方法として利用可能である。
【符号の説明】
【０１１２】
１Ａ、１Ｂ、１Ｃ…蛍光観測装置、１０…観測対象物、１１…観測光源（励起光供給手段）、１２…インターレース型の撮像装置、１３…モーションセンサ、１５…フィールドメモリ（画像記憶手段）、
２０…差分演算器（差分画像生成手段）、２１…ＭＡＸ／ＭＩＮフィルタ（フィルタ処理手段）、２２…ラインメモリ、２５…切替信号生成部、３０…分布画像生成部（分布画像生成手段）、３１…閾値設定部、３２…コンパレータ、３３…画像変換部、３５…マルチプレクサ（重畳画像生成手段）、５０…表示装置。
【特許請求の範囲】
【請求項１】
観測対象物に対して蛍光観測のための励起光を供給するとともに、前記励起光の供給のＯＮ／ＯＦＦを切り替え可能な励起光供給手段と、
前記観測対象物からの光像を撮像するとともに、得られた前記観測対象物の画像データとして、第１フィールドの画像及び第２フィールドの画像を時系列で交互に出力するインターレース型の撮像装置と、
前記撮像装置から出力された前記第１フィールドの画像または前記第２フィールドの画像を記憶する画像記憶手段と、
前記撮像装置から出力された前記第１フィールドの画像及び前記第２フィールドの画像の一方と、前記画像記憶手段に記憶された前記第１フィールドの画像及び前記第２フィールドの画像の他方との差分をとった差分画像を生成する差分画像生成手段とを備え、
前記励起光供給手段は、前記撮像装置による前記第１フィールドの画像取得期間、及び前記第２フィールドの画像取得期間について、その一方が前記励起光の供給をＯＮとして蛍光画像を取得する期間、他方が前記励起光の供給をＯＦＦとして背景画像を取得する期間となるように前記励起光を供給するとともに、
前記差分画像生成手段は、その生成モードとして、
前記撮像装置から前記蛍光画像が出力された場合に、前記蛍光画像から、その前に取得されて前記画像記憶手段に記憶された前記背景画像を差し引くことで前記差分画像を生成する第１モードと、
前記撮像装置から前記背景画像が出力された場合に、前記背景画像を、その前に取得されて前記画像記憶手段に記憶された前記蛍光画像から差し引くことで前記差分画像を生成する第２モードと
を切り替えて適用することを特徴とする蛍光観測装置。
【請求項２】
前記撮像装置からの信号に基づいて前記第１フィールドの画像取得期間、及び前記第２フィールドの画像取得期間に同期して切り替わる切替信号を生成する切替信号生成手段を備え、
前記差分画像生成手段は、前記切替信号に基づいて、前記第１モードと前記第２モードとを切り替えて適用することを特徴とする請求項１記載の蛍光観測装置。
【請求項３】
前記画像記憶手段から前記差分画像生成手段へと出力される前記蛍光画像または前記背景画像に対して、画像に含まれる各画素の輝度について、対象画素にその近傍の所定範囲内にある画素を加えた複数の画素での最大輝度を前記対象画素の輝度とする最大フィルタ処理、または、対象画素にその近傍の所定範囲内にある画素を加えた複数の画素での最小輝度を前記対象画素の輝度とする最小フィルタ処理を行うフィルタ処理手段を備え、
前記フィルタ処理手段は、前記画像記憶手段から前記背景画像が出力される前記第１モードと、前記画像記憶手段から前記蛍光画像が出力される前記第２モードとで、前記最大フィルタ処理と、前記最小フィルタ処理とを切り替えて適用することを特徴とする請求項１記載の蛍光観測装置。
【請求項４】
前記撮像装置からの信号に基づいて前記第１フィールドの画像取得期間、及び前記第２フィールドの画像取得期間に同期して切り替わる切替信号を生成する切替信号生成手段を備え、
前記差分画像生成手段は、前記切替信号に基づいて、前記第１モードと前記第２モードとを切り替えて適用するとともに、
前記フィルタ処理手段は、前記切替信号に基づいて、前記第１モードと前記第２モードとで、前記最大フィルタ処理と前記最小フィルタ処理とを切り替えて適用することを特徴とする請求項３記載の蛍光観測装置。
【請求項５】
前記対象画素を含む走査線のライン画像データに対して、前記対象画素の近傍の前記所定範囲内にある画素を含む走査線のライン画像データを記憶する第２の画像記憶手段を備えることを特徴とする請求項３または４記載の蛍光観測装置。
【請求項６】
前記フィルタ処理手段において、
前記最大フィルタ処理では、ｎを２以上の整数として、前記対象画素に垂直方向で時間的に前のｎ−１個の画素を加えたｎ個の画素での最大輝度を前記対象画素の輝度とする処理を行い、
前記最小フィルタ処理では、前記対象画素に垂直方向で時間的に前のｎ−１個の画素を加えたｎ個の画素での最小輝度を前記対象画素の輝度とする処理を行う
ことを特徴とする請求項３〜５のいずれか一項記載の蛍光観測装置。
【請求項７】
前記フィルタ処理手段において、前記最大フィルタ処理及び前記最小フィルタ処理に用いられる画素数ｎは、３以上５以下の整数に設定されることを特徴とする請求項６記載の蛍光観測装置。
【請求項８】
前記差分画像生成手段から出力された前記差分画像に基づいて、蛍光の強度分布を示す強度分布画像を生成する分布画像生成手段を備えることを特徴とする請求項１〜７のいずれか一項記載の蛍光観測装置。
【請求項９】
前記分布画像生成手段は、前記差分画像に対して、単一または複数の閾値を適用して、前記強度分布画像である二値化画像またはカラー化画像を生成することを特徴とする請求項８記載の蛍光観測装置。
【請求項１０】
前記撮像装置から出力された前記蛍光画像または前記背景画像と、前記分布画像生成手段から出力された前記強度分布画像とを重畳した重畳画像を生成する重畳画像生成手段を備えることを特徴とする請求項８または９記載の蛍光観測装置。
【請求項１１】
観測対象物に対して蛍光観測のための励起光を供給するとともに、前記励起光の供給のＯＮ／ＯＦＦを切り替え可能な励起光供給手段と、
前記観測対象物からの光像を撮像するとともに、得られた前記観測対象物の画像データとして、第１フィールドの画像及び第２フィールドの画像を時系列で交互に出力するインターレース型の撮像装置と、
前記撮像装置から出力された前記第１フィールドの画像または前記第２フィールドの画像を記憶する画像記憶手段とを含む蛍光観測装置を用い、
前記撮像装置から出力された前記第１フィールドの画像及び前記第２フィールドの画像の一方と、前記画像記憶手段に記憶された前記第１フィールドの画像及び前記第２フィールドの画像の他方との差分をとった差分画像を生成する差分画像生成ステップと、
前記励起光供給手段により、前記撮像装置による前記第１フィールドの画像取得期間、及び前記第２フィールドの画像取得期間について、その一方が前記励起光の供給をＯＮとして蛍光画像を取得する期間、他方が前記励起光の供給をＯＦＦとして背景画像を取得する期間となるように前記励起光を供給する励起光供給ステップとを備え、
前記差分画像生成ステップは、その生成モードとして、
前記撮像装置から前記蛍光画像が出力された場合に、前記蛍光画像から、その前に取得されて前記画像記憶手段に記憶された前記背景画像を差し引くことで前記差分画像を生成する第１モードと、
前記撮像装置から前記背景画像が出力された場合に、前記背景画像を、その前に取得されて前記画像記憶手段に記憶された前記蛍光画像から差し引くことで前記差分画像を生成する第２モードと
を切り替えて適用することを特徴とする蛍光観測方法。
【請求項１２】
前記画像記憶手段から出力される前記蛍光画像または前記背景画像に対して、画像に含まれる各画素の輝度について、対象画素にその近傍の所定範囲内にある画素を加えた複数の画素での最大輝度を前記対象画素の輝度とする最大フィルタ処理、または、対象画素にその近傍の所定範囲内にある画素を加えた複数の画素での最小輝度を前記対象画素の輝度とする最小フィルタ処理を行うフィルタ処理ステップを備え、
前記フィルタ処理ステップは、前記画像記憶手段から前記背景画像が出力される前記第１モードと、前記画像記憶手段から前記蛍光画像が出力される前記第２モードとで、前記最大フィルタ処理と、前記最小フィルタ処理とを切り替えて適用することを特徴とする請求項１１記載の蛍光観測方法。
【請求項１３】
前記差分画像生成ステップで出力された前記差分画像に基づいて、蛍光の強度分布を示す強度分布画像を生成する分布画像生成ステップを備えることを特徴とする請求項１１または１２記載の蛍光観測方法。
【請求項１４】
前記分布画像生成ステップは、前記差分画像に対して、単一または複数の閾値を適用して、前記強度分布画像である二値化画像またはカラー化画像を生成することを特徴とする請求項１３記載の蛍光観測方法。
【請求項１５】
前記撮像装置から出力された前記蛍光画像または前記背景画像と、前記分布画像生成ステップで出力された前記強度分布画像とを重畳した重畳画像を生成する重畳画像生成ステップを備えることを特徴とする請求項１３または１４記載の蛍光観測方法。
【請求項１】
観測対象物に対して蛍光観測のための励起光を供給するとともに、前記励起光の供給のＯＮ／ＯＦＦを切り替え可能な励起光供給手段と、
前記観測対象物からの光像を撮像するとともに、得られた前記観測対象物の画像データとして、第１フィールドの画像及び第２フィールドの画像を時系列で交互に出力するインターレース型の撮像装置と、
前記撮像装置から出力された前記第１フィールドの画像または前記第２フィールドの画像を記憶する画像記憶手段と、
前記撮像装置から出力された前記第１フィールドの画像及び前記第２フィールドの画像の一方と、前記画像記憶手段に記憶された前記第１フィールドの画像及び前記第２フィールドの画像の他方との差分をとった差分画像を生成する差分画像生成手段とを備え、
前記励起光供給手段は、前記撮像装置による前記第１フィールドの画像取得期間、及び前記第２フィールドの画像取得期間について、その一方が前記励起光の供給をＯＮとして蛍光画像を取得する期間、他方が前記励起光の供給をＯＦＦとして背景画像を取得する期間となるように前記励起光を供給するとともに、
前記差分画像生成手段は、その生成モードとして、
前記撮像装置から前記蛍光画像が出力された場合に、前記蛍光画像から、その前に取得されて前記画像記憶手段に記憶された前記背景画像を差し引くことで前記差分画像を生成する第１モードと、
前記撮像装置から前記背景画像が出力された場合に、前記背景画像を、その前に取得されて前記画像記憶手段に記憶された前記蛍光画像から差し引くことで前記差分画像を生成する第２モードと
を切り替えて適用することを特徴とする蛍光観測装置。
【請求項２】
前記撮像装置からの信号に基づいて前記第１フィールドの画像取得期間、及び前記第２フィールドの画像取得期間に同期して切り替わる切替信号を生成する切替信号生成手段を備え、
前記差分画像生成手段は、前記切替信号に基づいて、前記第１モードと前記第２モードとを切り替えて適用することを特徴とする請求項１記載の蛍光観測装置。
【請求項３】
前記画像記憶手段から前記差分画像生成手段へと出力される前記蛍光画像または前記背景画像に対して、画像に含まれる各画素の輝度について、対象画素にその近傍の所定範囲内にある画素を加えた複数の画素での最大輝度を前記対象画素の輝度とする最大フィルタ処理、または、対象画素にその近傍の所定範囲内にある画素を加えた複数の画素での最小輝度を前記対象画素の輝度とする最小フィルタ処理を行うフィルタ処理手段を備え、
前記フィルタ処理手段は、前記画像記憶手段から前記背景画像が出力される前記第１モードと、前記画像記憶手段から前記蛍光画像が出力される前記第２モードとで、前記最大フィルタ処理と、前記最小フィルタ処理とを切り替えて適用することを特徴とする請求項１記載の蛍光観測装置。
【請求項４】
前記撮像装置からの信号に基づいて前記第１フィールドの画像取得期間、及び前記第２フィールドの画像取得期間に同期して切り替わる切替信号を生成する切替信号生成手段を備え、
前記差分画像生成手段は、前記切替信号に基づいて、前記第１モードと前記第２モードとを切り替えて適用するとともに、
前記フィルタ処理手段は、前記切替信号に基づいて、前記第１モードと前記第２モードとで、前記最大フィルタ処理と前記最小フィルタ処理とを切り替えて適用することを特徴とする請求項３記載の蛍光観測装置。
【請求項５】
前記対象画素を含む走査線のライン画像データに対して、前記対象画素の近傍の前記所定範囲内にある画素を含む走査線のライン画像データを記憶する第２の画像記憶手段を備えることを特徴とする請求項３または４記載の蛍光観測装置。
【請求項６】
前記フィルタ処理手段において、
前記最大フィルタ処理では、ｎを２以上の整数として、前記対象画素に垂直方向で時間的に前のｎ−１個の画素を加えたｎ個の画素での最大輝度を前記対象画素の輝度とする処理を行い、
前記最小フィルタ処理では、前記対象画素に垂直方向で時間的に前のｎ−１個の画素を加えたｎ個の画素での最小輝度を前記対象画素の輝度とする処理を行う
ことを特徴とする請求項３〜５のいずれか一項記載の蛍光観測装置。
【請求項７】
前記フィルタ処理手段において、前記最大フィルタ処理及び前記最小フィルタ処理に用いられる画素数ｎは、３以上５以下の整数に設定されることを特徴とする請求項６記載の蛍光観測装置。
【請求項８】
前記差分画像生成手段から出力された前記差分画像に基づいて、蛍光の強度分布を示す強度分布画像を生成する分布画像生成手段を備えることを特徴とする請求項１〜７のいずれか一項記載の蛍光観測装置。
【請求項９】
前記分布画像生成手段は、前記差分画像に対して、単一または複数の閾値を適用して、前記強度分布画像である二値化画像またはカラー化画像を生成することを特徴とする請求項８記載の蛍光観測装置。
【請求項１０】
前記撮像装置から出力された前記蛍光画像または前記背景画像と、前記分布画像生成手段から出力された前記強度分布画像とを重畳した重畳画像を生成する重畳画像生成手段を備えることを特徴とする請求項８または９記載の蛍光観測装置。
【請求項１１】
観測対象物に対して蛍光観測のための励起光を供給するとともに、前記励起光の供給のＯＮ／ＯＦＦを切り替え可能な励起光供給手段と、
前記観測対象物からの光像を撮像するとともに、得られた前記観測対象物の画像データとして、第１フィールドの画像及び第２フィールドの画像を時系列で交互に出力するインターレース型の撮像装置と、
前記撮像装置から出力された前記第１フィールドの画像または前記第２フィールドの画像を記憶する画像記憶手段とを含む蛍光観測装置を用い、
前記撮像装置から出力された前記第１フィールドの画像及び前記第２フィールドの画像の一方と、前記画像記憶手段に記憶された前記第１フィールドの画像及び前記第２フィールドの画像の他方との差分をとった差分画像を生成する差分画像生成ステップと、
前記励起光供給手段により、前記撮像装置による前記第１フィールドの画像取得期間、及び前記第２フィールドの画像取得期間について、その一方が前記励起光の供給をＯＮとして蛍光画像を取得する期間、他方が前記励起光の供給をＯＦＦとして背景画像を取得する期間となるように前記励起光を供給する励起光供給ステップとを備え、
前記差分画像生成ステップは、その生成モードとして、
前記撮像装置から前記蛍光画像が出力された場合に、前記蛍光画像から、その前に取得されて前記画像記憶手段に記憶された前記背景画像を差し引くことで前記差分画像を生成する第１モードと、
前記撮像装置から前記背景画像が出力された場合に、前記背景画像を、その前に取得されて前記画像記憶手段に記憶された前記蛍光画像から差し引くことで前記差分画像を生成する第２モードと
を切り替えて適用することを特徴とする蛍光観測方法。
【請求項１２】
前記画像記憶手段から出力される前記蛍光画像または前記背景画像に対して、画像に含まれる各画素の輝度について、対象画素にその近傍の所定範囲内にある画素を加えた複数の画素での最大輝度を前記対象画素の輝度とする最大フィルタ処理、または、対象画素にその近傍の所定範囲内にある画素を加えた複数の画素での最小輝度を前記対象画素の輝度とする最小フィルタ処理を行うフィルタ処理ステップを備え、
前記フィルタ処理ステップは、前記画像記憶手段から前記背景画像が出力される前記第１モードと、前記画像記憶手段から前記蛍光画像が出力される前記第２モードとで、前記最大フィルタ処理と、前記最小フィルタ処理とを切り替えて適用することを特徴とする請求項１１記載の蛍光観測方法。
【請求項１３】
前記差分画像生成ステップで出力された前記差分画像に基づいて、蛍光の強度分布を示す強度分布画像を生成する分布画像生成ステップを備えることを特徴とする請求項１１または１２記載の蛍光観測方法。
【請求項１４】
前記分布画像生成ステップは、前記差分画像に対して、単一または複数の閾値を適用して、前記強度分布画像である二値化画像またはカラー化画像を生成することを特徴とする請求項１３記載の蛍光観測方法。
【請求項１５】
前記撮像装置から出力された前記蛍光画像または前記背景画像と、前記分布画像生成ステップで出力された前記強度分布画像とを重畳した重畳画像を生成する重畳画像生成ステップを備えることを特徴とする請求項１３または１４記載の蛍光観測方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１３−７９８４１（Ｐ２０１３−７９８４１Ａ）
【公開日】平成２５年５月２日（２０１３．５．２）
【国際特許分類】
【出願番号】特願２０１１−２１９１６８（Ｐ２０１１−２１９１６８）
【出願日】平成２３年１０月３日（２０１１．１０．３）
【出願人】（０００２３６４３６）浜松ホトニクス株式会社 (1,479)
【Ｆターム（参考）】
【公開日】平成２５年５月２日（２０１３．５．２）
【国際特許分類】
【出願日】平成２３年１０月３日（２０１１．１０．３）
【出願人】（０００２３６４３６）浜松ホトニクス株式会社 (1,479)
【Ｆターム（参考）】
[ Back to top ]