画像取得方法および装置
【課題】特殊画像の経時変化を観察することができ、たとえばリンパ管内をＩＣＧがどのような向きに流れていったのかを知ることができる特殊画像を取得する。
【解決手段】特殊光の被観察部への照射によって被観察部から発せられた光を受光して所定の間隔で撮像された複数の特殊画像を取得し、その取得した複数の特殊画像のうちの少なくとも１つの過去の時点において撮像された過去特殊画像と過去の時点より後の時点において撮像された特殊画像との間の経時変化部の情報を取得し、過去特殊画像または後の時点に撮像された特殊画像と経時変化部の情報とに基づいて経時変化画像を取得する。
【解決手段】特殊光の被観察部への照射によって被観察部から発せられた光を受光して所定の間隔で撮像された複数の特殊画像を取得し、その取得した複数の特殊画像のうちの少なくとも１つの過去の時点において撮像された過去特殊画像と過去の時点より後の時点において撮像された特殊画像との間の経時変化部の情報を取得し、過去特殊画像または後の時点に撮像された特殊画像と経時変化部の情報とに基づいて経時変化画像を取得する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特殊光の被観察部への照射によって被観察部から発せられた光を受光して特殊画像を取得する画像取得方法および装置に関するものである。
【背景技術】
【０００２】
従来、体腔内の組織を観察する内視鏡システムが広く知られており、白色光の照射によって体腔内の被観察部を撮像して通常画像を得、この通常画像をモニタ画面上に表示する電子式内視鏡システムが広く実用化されている。
【０００３】
また、上記のような内視鏡システムとして、たとえば、特許文献１においては、通常画像とともに、励起光の照射によって被観察部から発せられた自家蛍光像を撮像して自家蛍光画像を得、これらの画像をモニタ画面上に表示する蛍光内視鏡システムが提案されている。
【０００４】
また、蛍光内視鏡システムとしては、たとえば、ＩＣＧ（インドシアニングリーン）を予め体内に投入し、励起光を被観察部に照射して血管内のＩＣＧの蛍光を検出することによって蛍光画像を取得するものも提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−５０５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ここで、上述したような蛍光内視鏡システムを利用して、被観察部のリンパ管中を流れるＩＣＧの蛍光を撮像して蛍光画像を取得することも考えられるが、リンパ管内に投入されたＩＣＧが時間経過とともにどのような向きに流れているかを観察することは、癌の摘出手術などで切除する必要があるセンチネルリンパを発見する上で非常に重要なことである。また、リンパ管中を流れるＩＣＧが時間経過とともにどのように流れているかを観察することはこれからの研究材料としても非常に注目されるものである。
【０００７】
しかしながら、単に所定のタイミングで撮像された蛍光画像を観察しただけでは、リンパ管内をＩＣＧがどのような向きに流れていったのかを知ることはできない。
【０００８】
なお、特許文献１においては、リンパ管に投入されたＩＣＧの輝度の変化を精度よく観察するため、時系列に撮像された画像の輝度の変化率に応じて色を変えて表示することが提案されているが、特許文献１に記載の発明では、輝度が変化せずに安定して発光している場合には全て同じ色で表示されるため、ある程度長い時間撮像している蛍光画像上においてはその経時変化を観察することができない。
【０００９】
本発明は、上記の問題に鑑み、たとえば、上述した蛍光画像のような特殊画像の経時変化を観察することができ、これによりリンパ管内をＩＣＧがどのような向きに流れていったのかを知ることができる特殊画像を取得可能な画像取得方法および装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の画像取得方法は、特殊光の被観察部への照射によって被観察部から発せられた光を受光して所定の間隔で撮像された複数の特殊画像を取得し、その取得した複数の特殊画像のうちの少なくとも１つの過去の時点において撮像された過去特殊画像と過去の時点より後の時点において撮像された特殊画像との間の経時変化部の情報を取得し、過去特殊画像または後の時点に撮像された特殊画像と経時変化部の情報とに基づいて経時変化画像を取得することを特徴とする。
【００１１】
本発明の画像取得装置は、特殊光を被観察部に照射する特殊光照射部と、特殊光の照射によって被観察部から発せられた光を受光して複数の特殊画像を所定の間隔で撮像する撮像部と、撮像部によって取得された複数の特殊画像のうちの少なくとも１つの過去の時点において撮像された過去特殊画像と過去の時点より後の時点において撮像された特殊画像との間の経時変化部の情報を取得し、過去特殊画像または後の時点に撮像された特殊画像と経時変化部の情報とに基づいて経時変化画像を取得する経時変化画像取得部とを備えたことを特徴とする。
【００１２】
また、上記本発明の画像取得装置においては、通常光を被観察部に照射する通常光照射部を設け、撮像部を、通常光の照射によって被観察部から反射された反射光を受光して複数の通常画像を所定の間隔で撮像するものとし、複数の通常画像のうち少なくとも１つの過去の時点において撮像された過去通常画像と後の時点に撮像された通常画像との間の動きの変化を示す動き特徴量を取得する動き特徴量取得部と、動き特徴量取得部によって取得された動き特徴量に基づいて、動き特徴量を取得するために用いた過去通常画像と同じ時点において撮像された過去特殊画像に対して動き補正処理を施す動き補正部とを設け、経時変化画像取得部を、動き補正処理の施された過去特殊画像と後の時点に撮像された特殊画像との間の経時変化部の情報を取得し、動き補正処理の施された過去特殊画像または後の時点に撮像された特殊画像と経時変化部の情報とに基づいて経時変化画像を取得するものとできる。
【００１３】
また、過去特殊画像と後の時点に撮像された特殊画像との間の動きの変化を示す動き特徴量をそれぞれ取得する動き特徴量取得部と、動き特徴量取得部によって取得された動き特徴量に基づいて、動き特徴量を取得するために用いた過去特殊画像に対して動き補正処理を施す動き補正部とを設け、経時変化画像取得部を、動き補正処理の施された過去特殊画像と後の時点に撮像された特殊画像との間の経時変化部の情報を取得し、動き補正処理の施された過去特殊画像または後の時点に撮像された特殊画像と経時変化部の情報とに基づいて経時変化画像を取得するものとできる。
【００１４】
また、過去特殊画像と後の時点に撮像された特殊画像とから被観察部に含まれる管部分を表す管画像を抽出する管画像抽出部を設け、経過変化画像取得部を、過去特殊画像の管画像と後の時点に撮像された特殊画像の管画像とに基づいて経時変化部の情報を取得し、過去特殊画像の管画像または後の時点に撮像された特殊画像の管画像と経時変化部の情報とに基づいて経時変化画像を取得するものとできる。
【００１５】
また、経時変化画像取得部を、少なくとも１つの過去特殊画像と経時変化部とが互いに異なる表示形態となるように経時変化画像を生成するものとできる。
【００１６】
また、経時変化画像取得部を、少なくとも１つの過去特殊画像と経時変化部に対して互いに異なる色を割り当てるものとできる。
【００１７】
また、経時変化画像取得部を、少なくとも１つの過去特殊画像と経時変化部とに対して互いに異なる線種を割り当てるものとできる。
【００１８】
また、光照射部を、蛍光薬剤が投入された被観察部に対して、特殊光として励起光を照射するものとし、撮像部を、励起光の照射によって被観察部から発せられた蛍光を受光して特殊画像として蛍光画像を取得するものとできる。
【００１９】
また、経時変化画像取得部を、後の時点に撮像された特殊画像として最も直近に撮像された特殊画像を取得するものとできる。
【００２０】
また、通常光を被観察部に照射する通常光照射部を備えたものとし、撮像部を、前記通常光の照射によって被観察部から反射された反射光を受光して複数の通常画像を所定の間隔で撮像するものとし、経時変化画像と、過去特殊画像または後の時点に撮像された特殊画像と、その過去特殊画像または後の時点に撮像された特殊画像と同時に撮像された通常画像とを重ね合わせた合成画像を生成する合成画像生成部を設けることができる。
【発明の効果】
【００２１】
本発明の画像取得方法および装置によれば、特殊光の被観察部への照射によって被観察部から発せられた光を受光して所定の間隔で撮像された複数の特殊画像を取得し、その取得した複数の特殊画像のうちの少なくとも１つの過去の時点において撮像された過去特殊画像と過去の時点より後の時点において撮像された特殊画像との間の経時変化部の情報を取得し、過去特殊画像または後の時点に撮像された特殊画像と経時変化部の情報とに基づいて経時変化画像を取得するようにしたので、この経時変化画像を観察すれば、たとえば、リンパ管内をＩＣＧがどのような向きに流れていったのかを知ることができる。
【００２２】
また、上記本発明の画像取得方法および装置において、経時変化画像を取得する際、過去特殊画像が撮像されたときの被観察部の状態と後の時点の特殊画像が撮像されたときの被観察部の状態との間の変化を補正するような動き補正処理を施すようにした場合には、被観察部が拍動などによってその状態が変化したとしても、すなわち、たとえば、拍動によって観察対象のリンパ管の位置が動いてしまったとしても、この影響を受けることなく適切な経時変化画像を取得することができる。
【図面の簡単な説明】
【００２３】
【図１】本発明の画像取得装置の一実施形態を用いた硬性鏡システムの概略構成図
【図２】硬質挿入部の概略構成図
【図３】撮像ユニットの概略構成図
【図４】画像処理装置および光源装置の概略構成を示すブロック図
【図５】画像処理部の概略構成を示すブロック図
【図６】過去の蛍光画像信号に動き補正を施した後、経時変化画像を生成する作用を説明するためのフローチャート
【図７】動き特徴量の取得方法を説明するためのフローチャート
【図８】特徴点の一例を示す図
【図９】マッチング演算処理の作用を説明するための図
【図１０】動き補正処理を説明するための図
【図１１】動き補正処理後の蛍光画像信号の矩形領域の一例を示す図
【図１２】エッジ検出を用いた線分抽出処理を説明するためのフローチャート
【図１３】経時変化画像の一例を示す図
【図１４】経時変化画像のその他の例を示す図
【図１５】分岐点を検出する方法を説明するための図
【図１６】経時変化画像のその他の例を示す図
【図１７】矢印の方向を決定する方法を説明するための図
【発明を実施するための形態】
【００２４】
以下、図面を参照して本発明の画像取得装置の一実施形態を用いた硬性鏡システムについて詳細に説明する。図１は、本実施形態の硬性鏡システム１の概略構成を示す外観図である。
【００２５】
本実施形態の硬性鏡システム１は、図１に示すように、白色の通常光および励起光を同時に射出する光源装置２と、光源装置２から射出された通常光および励起光を導光して被観察部に照射するとともに、通常光の照射により被観察部から反射された反射光に基づく通常像および励起光の照射により被観察部から発せられた蛍光に基づく蛍光像を撮像する硬性鏡撮像装置１０と、硬性鏡撮像装置１０によって撮像された画像信号に所定の処理を施す画像処理装置３と、画像処理装置３において生成された表示制御信号に基づいて被観察部の通常画像、蛍光画像および後述する経時変化画像を表示するモニタ４とを備えている。
【００２６】
硬性鏡撮像装置１０は、図１に示すように、体腔内に挿入される硬質挿入部３０と、硬質挿入部３０によって導光された被観察部の通常像および蛍光像を撮像する撮像ユニット２０とを備えている。
【００２７】
また、硬性鏡撮像装置１０は、図２に示すように、硬質挿入部３０と撮像ユニット２０とが着脱可能に接続されている。そして、硬質挿入部３０は接続部材３０ａ、挿入部材３０ｂ、ケーブル接続口３０ｃ、および照射窓３０ｄを備えている。
【００２８】
接続部材３０ａは、硬質挿入部３０（挿入部材３０ｂ）の一端側３０Ｘに設けられており、たとえば撮像ユニット２０側に形成された開口２０ａに嵌め合わされることにより、撮像ユニット２０と硬質挿入部３０とが着脱可能に接続される。
【００２９】
挿入部材３０ｂは、腹腔内の撮影を行う際に腹腔内に挿入されるものであって、硬質な材料から形成され、たとえば、直径略５ｍｍの円柱形状を有している。挿入部材３０ｂの内部には、被観察部の像を結像するためのレンズ群が収容されており、他端側３０Ｙから入射された被観察部の通常像および蛍光像はレンズ群を介して一端側３０Ｘの撮像ユニット２０側に射出される。
【００３０】
挿入部材３０ｂの側面にはケーブル接続口３０ｃが設けられており、このケーブル接続口３０ｃに光ケーブルＬＣが機械的に接続される。これにより、光源装置２と挿入部材３０ｂとが光ケーブルＬＣを介して光学的に接続されることになる。
【００３１】
照射窓３０ｄは、硬質挿入部３０の他端側３０Ｙに設けられており、光ケーブルＬＣによって導光された通常光および励起光を被観察部に対し照射するものである。なお、挿入部材３０ｂ内にはケーブル接続口３０ｃから照射窓３０ｄまで通常光および励起光を導光するライトガイドが収容されており（図示せず）、照射窓３０ｄはライトガイドによって導光された通常光および励起光を被観察部に照射するものである。
【００３２】
図３は、撮像ユニット２０の概略構成を示す図である。撮像ユニット２０は、硬質挿入部３０内のレンズ群により結像された被観察部の蛍光像を撮像して被観察部の蛍光画像信号を生成する第１の撮像系と、硬質挿入部３０内のレンズ群により結像された被観察部の通常像を撮像して通常画像信号を生成する第２の撮像系とを備えている。これらの撮像系は、通常像を反射するとともに、蛍光像を透過する分光特性を有するダイクロイックプリズム２１によって、互いに直交する２つの光軸に分けられている。
【００３３】
第１の撮像系は、被観察部において反射し、ダイクロイックプリズム２１を透過した励起光をカットする励起光カットフィルタ２２と、硬質挿入部３０から射出され、ダイクロイックプリズム２１および励起光カットフィルタ２２を透過した蛍光像Ｌ１を結像する第１結像光学系２３と、第１結像光学系２３により結像された蛍光像Ｌ４を撮像する高感度撮像素子２４とを備えている。
【００３４】
第２の撮像系は、硬質挿入部３０から射出され、ダイクロイックプリズム２１を反射した通常像Ｌ２を結像する第２結像光学系２５と、第２結像光学系２５により結像された通常像Ｌ２を撮像する撮像素子２６を備えている。
【００３５】
高感度撮像素子２４は、蛍光像Ｌ４の波長帯域の光を高感度に検出し、蛍光画像信号に変換して出力するものである。高感度撮像素子２４はモノクロの撮像素子である。
【００３６】
撮像素子２６は、通常像の波長帯域の光を検出し、通常画像信号に変換して出力するものである。撮像素子２６の撮像面には、３原色の赤（Ｒ）、緑（Ｇ）および青（Ｂ）、またはシアン（Ｃ）、マゼンダ（Ｍ）およびイエロー（Ｙ）のカラーフィルタがベイヤー配列またはハニカム配列で設けられている。
【００３７】
また、撮像ユニット２０は、撮像制御ユニット２７を備えている。撮像制御ユニット２７は、高感度撮像素子２４から出力された蛍光画像信号および撮像素子２６から出力された通常画像信号に対し、ＣＤＳ／ＡＧＣ（相関二重サンプリング／自動利得制御）処理やＡ／Ｄ変換処理を施し、ケーブル５（図１参照）を介して画像処理装置３に出力するものである。
【００３８】
画像処理装置３は、図４に示すように、通常画像入力コントローラ３１、蛍光画像入力コントローラ３２、画像処理部３３、メモリ３４、ビデオ出力部３５、操作部３６、ＴＧ（タイミングジェネレータ）３７およびＣＰＵ３８を備えている。
【００３９】
通常画像入力コントローラ３１および蛍光画像入力コントローラ３２は、所定容量のラインバッファを備えており、撮像ユニット２０の撮像制御ユニット２７から出力された１フレーム毎の通常画像信号および蛍光画像信号をそれぞれ一時的に記憶するものである。そして、通常画像入力コントローラ３１に記憶された通常画像信号および蛍光画像入力コントローラ３２に記憶された蛍光画像信号はバスを介してメモリ３４に格納される。
【００４０】
画像処理部３３は、メモリ３４から読み出された１フレーム毎の通常画像信号および蛍光画像信号が入力され、これらの画像信号に所定の画像処理を施し、バスに出力するものである。画像処理部３３のより具体的な構成を図５に示す。
【００４１】
画像処理部３３は、図５に示すように、通常画像処理部５０、現在通常画像取得部５１、過去通常画像取得部５２、動き特徴量取得部５３、蛍光画像処理部５４、現在蛍光画像取得部５５、過去蛍光画像取得部５６、動き補正部５７、リンパ管抽出部５８および経時変化画像生成部５９を備えている。
【００４２】
通常画像処理部５０は、入力された通常画像信号に対し、通常画像に適した所定の画像処理を施して出力するものである。
【００４３】
現在通常画像取得部５１は、通常画像処理部５０から出力された通常画像信号のうちの最も直近に出力された通常画像信号を現在通常画像信号として取得し、動き特徴量取得部５３に出力するものである。現在通常画像取得部５１により取得される現在通常画像信号と後述する現在蛍光画像取得部５５により取得される現在蛍光画像信号とは、同じタイミングで撮像されたものである。
【００４４】
過去通常画像取得部５２は、通常画像処理部５０から出力されたフレーム毎の通常画像信号を順次、累積して記憶するものであり、その順次記憶した複数の過去通常画像信号の中から所定のフレームの過去通常画像信号を選択して動き特徴量取得部５３に出力するものである。本実施形態においては、所定の第１の時点において取得された第１の過去通常画像信号と、第１の時点よりも後の第２の時点において取得された第２の過去通常画像信号とを選択して動き特徴量取得部５３に出力するものとするが、選択対象の過去通常画像信号は、後述する過去蛍光画像取得部５６において選択される過去蛍光画像信号と同じタイミングで撮像されたものである。
【００４５】
動き特徴量取得部５３は、現在通常画像取得部５１から出力された現在通常画像信号と過去通常画像取得部５２から出力された過去通常画像信号とに基づいて、過去通常画像信号における被観察部の状態から現在通常画像信号における被観察部の状態までの動きの変化を示す動き特徴量を取得するものである。動き特徴量の取得方法については、後で詳述する。
【００４６】
蛍光画像処理部５４は、入力された蛍光画像信号に対し、蛍光画像に適した所定の画像処理を施して出力するものである。
【００４７】
現在蛍光画像取得部５５は、蛍光画像処理部５４から出力された蛍光画像信号のうちの最も直近に出力された蛍光画像信号を現在蛍光画像信号として取得し、動き特徴量取得部５３に出力するものである。
【００４８】
過去蛍光画像取得部５６は、蛍光画像処理部５４から出力されたフレーム毎の蛍光画像信号を順次、累積して記憶するものであり、その順次記憶した複数の過去蛍光画像信号の中から所定のフレームの過去蛍光画像信号を選択して動き補正部５７に出力するものである。本実施形態においては、上述した第１の過去通常画像信号と同じタイミングで撮像された第１の過去蛍光画像信号と、上述した第２の過去通常画像信号と同じタイミングで撮像された第２の過去蛍光画像信号とを選択して動き補正部５７に出力するものとするが、選択対象の過去通常画像信号および過去蛍光画像信号は、操作者が操作部３６を用いて任意に選択するようにしてもよいし、予め設定された時間間隔で選択するようにしてもよい。また、全てのフレームの過去通常画像信号および過去蛍光画像信号を対象としてもよい。
【００４９】
動き補正部５７は、過去蛍光画像取得部５６から出力された第１の過去蛍光画像信号と第２の過去蛍光画像信号とに対して、動き特徴量取得部５３から出力された動き特徴量に基づいて動き補正処理を施すものである。第１の過去蛍光画像信号に対しては、第１の過去通常画像信号と現在通常画像信号とに基づいて算出された動き特徴量を用いて動き補正処理を施し、第２の過去蛍光画像信号に対しては、第２の過去通常画像信号と現在通常画像信号とに基づいて算出された動き特徴量を用いて動き補正処理を施すものである。動き補正処理については、後で詳述する。
【００５０】
リンパ管抽出部５８は、動き補正部５７によって動き補正の施された第１および第２の過去蛍光画像信号と現在蛍光画像信号に対して、リンパ管を表す画像信号を抽出する処理を施すものである。
【００５１】
経時変化画像生成部５９は、第１の過去蛍光画像信号から抽出されたリンパ管を表す画像信号（以下、「第１の過去リンパ管蛍光画像信号」という）と、第２の過去蛍光画像信号から抽出されたリンパ管を表す画像信号（以下、「第２の過去リンパ管蛍光画像信号」という）と、現在蛍光画像信号から抽出されたリンパ管を表す画像信号（以下、「現在リンパ管蛍光画像信号」という）とを用いて経時変化画像信号を生成するものである。経時変化画像信号の生成方法については、後で詳述する。
【００５２】
図４に戻り、ビデオ出力部３５は、画像処理部３３から出力された通常画像信号、蛍光画像信号および経時変化画像信号がバスを介して入力され、所定の処理を施して表示制御信号を生成し、その表示制御信号をモニタ４に出力するものである。
【００５３】
操作部３６は、種々の操作指示や制御パラメータなどの操作者による入力を受け付けるものである。また、ＴＧ３７は、撮像ユニット２０の高感度撮像素子２４、撮像素子２６および後述する光源装置２のＬＤドライバ４５を駆動するための駆動パルス信号を出力するものである。また、ＣＰＵ３６は装置全体を制御するものである。
【００５４】
光源装置２は、約４００〜７００ｎｍの広帯域の波長からなる通常光（白色光）Ｌ１を射出する通常光源４０と、通常光源４０から射出された通常光Ｌ１を集光する集光レンズ４２と、集光レンズ４２によって集光された通常光Ｌ１を透過するとともに、後述する励起光Ｌ２を反射し、通常光Ｌ１および励起光Ｌ２とを光ケーブルＬＣの入射端に入射させるダイクロイックミラー４３とを備えている。なお、通常光源４０としては、たとえばキセノンランプが用いられる。また、通常光源４０と集光レンズ４２との間には、絞り４１が設けられており、ＡＬＣ（Automatic light control）４８からの制御信号に基づいてその絞り量が制御される。
【００５５】
また、光源装置２は、７００ｎｍ〜８００ｎｍの可視から近赤外帯域の光であり、たとえば蛍光色素としてＩＣＧ（インドシアニングリーン）を用いた場合には７５０〜７９０ｎｍの近赤外光を励起光Ｌ２として射出するＬＤ光源４４と、ＬＤ光源４４を駆動するＬＤドライバ４５と、ＬＤ光源４４から射出された励起光Ｌ２を集光する集光レンズ４６と、集光レンズ４６によって集光された励起光Ｌ２をダイクロイックミラー４３に向けて反射するミラー４７とを備えている。
【００５６】
なお、励起光Ｌ２としては、広帯域の波長からなる通常光よりも狭帯域の波長が用いられる。そして、励起光Ｌ２としては上記波長域の光に限定されず、蛍光色素の種類もしくは自家蛍光させる生体組織の種類によって適宜決定される。
【００５７】
また、光源装置２は、光ケーブルＬＣを介して硬性鏡撮像装置１０に光学的に接続されている。
【００５８】
次に、本実施形態の硬性鏡システムの作用について説明する。
【００５９】
まず、光ケーブルＬＣが接続された硬質挿入部３０およびケーブル５が撮像ユニット２０に取り付けられた後、光源装置２および撮像ユニット２０および画像処理装置３の電源が投入され、これらが駆動される。
【００６０】
次に、操作者により硬質挿入部３０が体腔内に挿入され、硬質挿入部３０の先端が被観察部の近傍に設置される。
【００６１】
そして、光源装置２の通常光源４０から射出された通常光Ｌ１が、集光レンズ４２、ダイクロイックミラー４３および光ケーブルＬＣを介して硬質挿入部３０に入射され、硬質挿入部３０の照射窓３０ｄから被観察部に照射される。一方、光源装置２のＬＤ光源４４から射出された励起光Ｌ２が、集光レンズ４６、ミラー４７、ダイクロイックミラー４３および光ケーブルＬＣを介して硬質挿入部３０に入射され、硬質挿入部３０の照射窓３０ｄから被観察部に通常光と同時に照射される。なお、同時に照射するとは、必ずしも照射期間が完全に一致している必要はなく、少なくとも一部の照射期間が重複していればよい。
【００６２】
そして、通常光Ｌ１の照射によって被観察部から反射された反射光に基づく通常像が撮像されるとともに、励起光Ｌ２の照射によって被観察部から発せられた蛍光に基づく蛍光像が通常像と同時に撮像される。なお、被観察部には、予めＩＣＧが投与されており、このＩＣＧから発せられる蛍光を撮像するものとする。
【００６３】
より具体的には、通常像の撮像の際には、通常光Ｌ１の照射によって被観察部から反射された反射光に基づく通常像Ｌ３が挿入部材３０ｂの先端３０Ｙから入射し、挿入部材３０ｂ内のレンズ群により導光されて撮像ユニット２０に向けて射出される。
【００６４】
撮像ユニット２０に入射された通常像Ｌ３は、ダイクロイックプリズム２１により撮像素子２６に向けて直角方向に反射され、第２結像光学系２５により撮像素子２６の撮像面上に結像され、撮像素子２６によって所定間隔を空けて順次撮像される。
【００６５】
撮像素子２６から順次出力された通常画像信号は、撮像制御ユニット２７においてＣＤＳ／ＡＧＣ（相関二重サンプリング／自動利得制御）処理やＡ／Ｄ変換処理が施された後、ケーブル５を介して画像処理装置３に順次出力される。
【００６６】
一方、蛍光像の撮像の際には、励起光の照射によって被観察部から発せられた蛍光に基づく蛍光像Ｌ４が挿入部材３０ｂの先端３０Ｙから入射し、挿入部材３０ｂ内のレンズ群により導光されて撮像ユニット２０に向けて射出される。
【００６７】
撮像ユニット２０に入射された蛍光像Ｌ４は、ダイクロイックプリズム２１および励起光カットフィルタ２２を通過した後、第１結像光学系２３により高感度撮像素子２４の撮像面上に結像され、高感度撮像素子２４によって所定間隔を空けて撮像される。
【００６８】
高感度撮像素子２４から順次出力された蛍光画像信号は、撮像制御ユニット２７においてＣＤＳ／ＡＧＣ（相関二重サンプリング／自動利得制御）処理やＡ／Ｄ変換処理が施された後、ケーブル５を介して画像処理装置３に順次出力される。
【００６９】
次に、上記のようにして撮像ユニット２０において撮像された通常画像信号および蛍光画像信号に基づいて通常画像、蛍光画像および経時変化画像を表示する作用について説明する。
【００７０】
まず、通常画像および蛍光画像を表示する作用について説明する。画像処理装置３に入力された通常画像信号は、通常画像入力コントローラ３１において一時的に記憶された後、メモリ３４に格納される。そして、メモリ３４から読み出された１フレーム毎の通常画像信号は、画像処理部３３の通常画像処理部５０において階調補正処理およびシャープネス補正処理が施された後、ビデオ出力部３５に順次出力される。
【００７１】
そして、ビデオ出力部３５は、入力された通常画像信号に所定の処理を施して表示制御信号を生成し、１フレーム毎の表示制御信号をモニタ４に順次出力する。そして、モニタ４は、入力された表示制御信号に基づいて通常画像を表示する。
【００７２】
また、画像処理装置３に入力された蛍光画像信号は、蛍光画像入力コントローラ３２において一時的に記憶された後、メモリ３４に格納される。そして、メモリ３４から読み出された１フレーム毎の蛍光画像信号は、画像処理部３３の蛍光画像処理部５４において所定の画像処理が施された後、ビデオ出力部３５に順次出力される。
【００７３】
そして、ビデオ出力部３５は、入力された蛍光画像信号に所定の処理を施して表示制御信号を生成し、１フレーム毎の表示制御信号をモニタ４に順次出力する。そして、モニタ４は、入力された表示制御信号に基づいて蛍光画像を表示する。
【００７４】
次に、過去蛍光画像信号と現在蛍光画像信号に基づいて経時変化画像を表示する作用について説明する。
【００７５】
本実施形態の硬性鏡システムは、上述したように被観察部のリンパ管中を流れるＩＣＧの蛍光を撮像するものである。そして、被観察部に投入されたＩＣＧが時間経過とともにどのような向きに流れているかを観察することは、癌の摘出手術などで切除する必要があるセンチネルリンパを発見する上で非常に重要なことである。また、リンパ管中を流れるＩＣＧが時間経過とともにどのように流れているかを観察することはこれからの研究材料としても非常に注目されるものである。
【００７６】
そこで、本実施形態の硬性鏡システムにおいては、過去に撮像された蛍光画像信号と現在撮像されている蛍光画像信号とに基づいて、時間の経過とともにリンパ管中を流れているＩＣＧの経時変化を示す経時変化画像を生成する。
【００７７】
そして、さらに、過去の蛍光画像信号を用いる場合、過去の蛍光画像信号を撮像したときの被観察部の形態と現在の蛍光画像信号を撮像したときの被観察部の形態とが拍動によって異なる形態となっている場合があり、このような場合に過去の蛍光画像信号と現在の蛍光画像信号とをそのまま用いたのではリンパ管の画像にずれが生じて適切な経時変化画像を生成することができない。
【００７８】
そこで、本実施形態の硬性鏡システムにおいては、上記のようなリンパ管画像のずれが生じないように過去の蛍光画像信号に動き補正を施すようにしている。
【００７９】
以下に、過去の蛍光画像信号に動き補正を施した後、経時変化画像を生成する作用について、図６を参照しながらより詳細に説明する。
【００８０】
まず、上述したように、過去通常画像取得部５２と過去蛍光画像取得部５６には、撮像ユニット２０において所定間隔を空けて時系列に撮像された多数の通常画像信号と蛍光画像信号とがそれぞれ記憶されている。
【００８１】
そして、図６に示すように、過去蛍光画像取得部５６に記憶された多数の過去の蛍光画像信号のうちの、上述した第１の過去蛍光画像信号ＩＦ（１）と第２の過去蛍光画像信号ＩＦ（２）とを取得する（Ｓ１０）。
【００８２】
一方、過去通常画像取得部５２に記憶された多数の過去の通常画像信号のうち、Ｓ１０で選択した第１の過去蛍光画像信号ＩＦ（１）および第２の過去蛍光画像信号ＩＦ（２）とそれぞれ同じ時点において撮像された２つの通常画像信号を、上述した第１の過去通常画像信号ＩＶ（１）および第２の過去通常画像信号ＩＶ（２）として取得する（図６のＳ１２）。
【００８３】
そして、上記のようにして取得した第１の過去通常画像信号ＩＶ（１）および第２の過去通常画像信号ＩＶ（２）と、現在通常画像取得部５１において取得された現在通常画像信号ＩＶ（ｎｏｗ）とが動き特徴量取得部５３に入力される。そして、動き特徴量取得部５３において、第１の過去通常画像信号ＩＶ（１）と現在通常画像信号とに基づいて、被観察部の第１の動き特徴量が算出されるとともに、第２の過去通常画像信号ＩＶ（２）と現在通常画像信号とに基づいて、被観察部の第２の動き特徴量が算出される（図６のＳ１４）。
【００８４】
以下、動き特徴量の算出方法について、図７のフローチャートを参照しながら詳細に説明する。
【００８５】
まず、上述したように、動き特徴量取得部５３において、第１の過去通常画像信号ＩＶ（１）と現在通常画像信号ＩＶ（ｎｏｗ）が取得される（図７のＳ３０）。そして、カラー画像信号である第１の過去通常画像信号ＩＶ（１）と現在通常画像信号ＩＶ（ｎｏｗ）に対して、グレー画像処理が施されてグレー画像信号に変換される（図７のＳ３２）。
【００８６】
次に、グレー画像信号である１の過去通常画像信号ＩＶ（１）と現在通常画像信号ＩＶ（ｎｏｗ）に対して、コントラスト強調処理が施される（図７のＳ３４）。このようにグレー画像処理およびコントラスト強調処理を施すのは、後述する特徴点抽出処理において特徴点を抽出しやすくするためである。
【００８７】
そして、次に、コントラスト強調処理の施された第１の過去通常画像信号ＩＶ（１）と現在通常画像信号ＩＶ（ｎｏｗ）に対して多重解像度画像生成処理が施され、それぞれの通常画像信号について、種々の解像度の通常画像信号が生成される（図７のＳ３６）。なお、以下、第１の過去通常画像信号ＩＶ（１）に基づいて生成された種々の解像度の通常画像信号を第１の多重解像度画像信号ＩＶ（１）１〜ｍとし、現在通常画像信号ＩＶ（ｎｏｗ）に基づいて生成された種々の解像度の通常画像信号を現在多重解像度信号ＩＶ（ｎｏｗ）１〜ｎとする。このように多重解像度画像生成処理を行うのは、後述する特徴点抽出処理において、荒い解像度の多重解像度画像信号を用いて大まかな特徴点を抽出し、細かい解像度の多重解像度画像信号を用いて細かい特徴点を抽出するためである。
【００８８】
そして、上記のようにして生成された第１の多重解像度画像信号ＩＶ（１）１〜ｍ，現在多重解像度信号ＩＶ（ｎｏｗ）１〜ｎに対して、ノイズ除去のための平滑化処理が施される（図７のＳ３８）。
【００８９】
次に、平滑化処理の施された第１の多重解像度画像信号ＩＶ（１）１〜ｍ，現在多重解像度信号ＩＶ（ｎｏｗ）１〜ｎに対して特徴点抽出処理が施され、各多重解像度画像信号について特徴点が抽出される（図７のＳ４０）。
【００９０】
特徴点抽出処理としては、たとえば、Hessain手法やHarris手法を用いた、いわゆるコーナー抽出法を用いることができる。または、DOG（Difference of Gaussian）やHOG(Histograms of Oriented Gradients)を用いて特徴点を抽出するようにしてもよい。これらの特徴点抽出の手法については公知であるので詳細な説明は省略する。図８に、特徴点抽出処理によって特徴点が抽出された多重解像度画像の１つの例を示す。
【００９１】
そして、次に、第１の過去通常画像信号ＩＶ（１）について抽出された特徴点と、現在通常画像信号ＩＶ（ｎｏｗ）について抽出された特徴点と対して、マッチング演算処理が施される（図７のＳ４２）。マッチング演算処理とは、第１の過去通常画像信号ＩＶ（１）の特徴点と現在通常画像信号ＩＶ（ｎｏｗ）とで対応する特徴点の組を検出する演算処理である。
【００９２】
具体的には、たとえば、一方の通常画像信号における所定の特徴点と、他方の通常画像信号における全ての特徴点間のユークリッド距離をそれぞれ演算し、そのユークリッド距離が最小となる２つの特徴点を対応する特徴点の組として検出するようにすればよい。図９に、第１の過去通常画像信号ＩＶ（１）と現在通常画像信号ＩＶ（ｎｏｗ）との間で対応する特徴点を直線で示した模式図を示す。
【００９３】
そして、上記のマッチング演算処理の結果に基づいて、第１の過去通常画像信号ＩＶ（１）の各特徴点から現在通常画像信号ＩＶ（ｎｏｗ）の対応する特徴点までの方向を示す動きベクトルが動き特徴量として算出される（図７のＳ４４）。
【００９４】
上記のようにして第１の過去通常画像信号ＩＶ（１）と現在通常画像信号ＩＶ（ｎｏｗ）とに基づいて、被観察部の第１の動き特徴量が算出される。そして、上記と同様にして、第２の過去通常画像信号ＩＶ（２）と現在通常画像信号ＩＶ（ｎｏｗ）とに基づいて、被観察部の第２の動き特徴量も算出される。
【００９５】
図６に戻り、次に、動き特徴量取得部５３において取得された第１の動き特徴量および第２の動き特徴量は、動き補正部５７に出力される。そして、動き補正部５７は、入力された第１の動き特徴量に基づいて、第１の過去蛍光画像信号ＩＦ（１）に対して動き補正処理を施すとともに、入力された第２の動き特徴量に基づいて、第２の過去蛍光画像信号ＩＦ（２）に対して動き補正処理を施す（図６のＳ１６）。
【００９６】
具体的には、まず、図１０に示すように、第１の過去蛍光画像信号ＩＦ（１）を所定の大きさの矩形領域に区分するとともに、第１の過去蛍光画像信号ＩＦ（１）に対し第１の過去通常画像信号ＩＶ（１）の各特徴点とその動きベクトルとを対応づける。そして、各矩形領域のコーナーＧ近傍に存在する特徴点Ｄの中で最も評価値の高い特徴点Ｄの動きベクトルに基づいて各矩形領域を変形することによって第１の過去蛍光画像信号ＩＦ（１）を変形する。図１１に、変形後の矩形領域およびそのコーナーＧ’の一例を示す。第２の過去蛍光画像信号ＩＦ（２）についても上記と同様して動き補正処理が施される。
【００９７】
そして、上記のようにして取得された動き補正処理の施された第１の蛍光画像信号ＩＦ（１）（以下、「第３の過去蛍光画像信号ＩＦ（１）’」という）および第２の蛍光画像信号ＩＦ（２）（以下、「第４の過去蛍光画像信号ＩＦ（２）’」という）と、現在蛍光画像信号ＩＦ（ｎｏｗ）が、画像処理部３３のリンパ管抽出部５８（図５参照）に入力される。そして、リンパ管抽出部５８において各蛍光画像信号に対してリンパ管抽出処理が施される（図６のＳ１８，Ｓ２０）。
【００９８】
リンパ管抽出処理は、線分抽出処理を行うことによって行われる。本実施形態においては、エッジ検出とそのエッジ検出によって検出したエッジから孤立点を除去することによって線分抽出処理を行う。エッジ検出方法としては、たとえば、１次微分を用いたキャニー法を用いることができる。図１２に、キャニー法によるエッジ検出を用いた線分抽出処理を説明するためのフローチャートを示す。
【００９９】
図１２に示すように、まず、現在蛍光画像信号ＩＦ（ｎｏｗ）と第３の過去蛍光画像信号ＩＦ（１）’と第４の過去蛍光画像信号ＩＦ（２）’のそれぞれに対し、ＤＯＧ（Derivative of Gaussian）フィルタを用いたフィルタ処理が施される（図１２のＳ５０〜Ｓ５４）。このＤＯＧフィルタを用いたフィルタ処理は、ノイズを減らすためのガウシアンフィルタ処理（平滑化処理）と濃度勾配を検出するためのｘ，ｙ方向の１次微分フィルタ処理とを組み合わせた処理である。
【０１００】
そして、フィルタ処理済の現在蛍光画像信号ＩＦ（ｎｏｗ）と第３の蛍光画像信号ＩＦ（１）’と第４の過去蛍光画像信号ＩＦ（２）’のそれぞれについて、濃度勾配の大きさと方向が計算される（図１２のＳ５６）。そして、濃度勾配の極大点を抽出し、それ以外の非極大点を除去する（図１２のＳ５８）。
【０１０１】
そして、その極大点と所定の閾値とを比較し、所定の閾値以上の極大点をエッジとして検出する（図１２のＳ６０）。さらに、極大点であり所定の閾値以上であるが、連続したエッジを構成していない孤立点を除去する処理を行う（図１２のＳ６２）。孤立点の除去処理は、血管としては適当でない孤立点をエッジ検出結果から除去するための処理で、具体的には、検出された各エッジの長さをチェックすることによって孤立点を検出する。
【０１０２】
なお、エッジ検出のアルゴリズムは、上記に限らず、ノイズを減らすためのガウシアンフィルタ処理と２次微分処理とを行ってエッジを抽出するラプラシアンフィルタを組み合わせたＬＯＧ（Laplace of Gaussian）フィルタを用いてエッジ検出を行うようにしてもよい。
【０１０３】
また、本実施形態においては、エッジ検出を用いた線分抽出処理を行うことによってリンパ管抽出を行うようにしたが、これに限らず、リンパ管部分を抽出する処理であれば、たとえば、色相や輝度を用いた処理など如何なる処理を用いてもよい。
【０１０４】
上記のようにしてリンパ管抽出処理を行うことによって、現在蛍光画像信号ＩＦ（ｎｏｗ）と第３の過去蛍光画像信号ＩＦ（１）’と第４の過去蛍光画像信号ＩＦ（２）’のそれぞれについて現在リンパ管蛍光画像信号、第１の過去リンパ管蛍光画像信号および第２の過去リンパ管蛍光画像信号が生成される。
【０１０５】
そして、次に、リンパ管抽出部５８において生成された現在リンパ管蛍光画像信号、第１の過去リンパ管蛍光画像信号および第２の過去リンパ管蛍光画像信号が、経時変化画像生成部５９に入力される。そして、経時変化画像生成部５９においては、図１３に示すように、現在リンパ管蛍光画像信号に対して、第１の過去リンパ管蛍光画像信号と第２の過去リンパ管蛍光画像信号とが重ね合わされ、第１の過去リンパ管蛍光画像信号ＩＦ（１）”と、第２の過去リンパ管蛍光画像信号における第１の過去リンパ管蛍光画像信号ＩＦ（１）”からの経時変化部ＩＦ（２）”と、現在リンパ管蛍光画像信号における第２の過去リンパ管蛍光画像信号からの経時変化部ＩＦ（ｎ）”とが互いに異なる色となるような経時変化画像信号が生成される（図６のＳ２４）。
【０１０６】
そして、経時変化画像生成部５９において生成された経時変化画像信号は、ビデオ出力部３５に出力される。
【０１０７】
そして、ビデオ出力部３５は、入力された経時変化画像信号に所定の処理を施して表示制御信号を生成し、その表示制御信号をモニタ４に出力する。そして、モニタ４は、入力された表示制御信号に基づいて、図１３に示すような経時変化画像を表示する。
【０１０８】
このような経時変化画像を表示することによって、リンパ管内のＩＣＧがどちらの方向に向かって流れているのかを判別することができる。
【０１０９】
なお、上記実施形態において、ビデオ出力部３５が、経時変化画像を現在蛍光画像に重ね合わせた画像を生成し、その画像をさらに現在通常画像に重ね合わせた画像を生成するようにしてもよい。なお、経時変化画像を重ね合わせる対象の画像は、現在蛍光画像および現在通常画像に限らず、同時に撮像された過去蛍光画像と過去通常画像であってもよい。
【０１１０】
また、上記実施形態においては、第１の過去リンパ管蛍光画像信号ＩＦ（１）”と、経時変化部ＩＦ（２）”と、経時変化部ＩＦ（ｎ）”との色を変えることによって区別するようにしたが、これに限らず、たとえば、実線、破線、一点鎖線など互い異なる線種とすることによって区別するようにしてもよい。また、たとえば、全てフレームの蛍光画像信号に応じた経時変化部をそれぞれ表示させる場合には、グラデーション表示するようにしてもよい。
【０１１１】
また、第１の過去リンパ管蛍光画像信号ＩＦ（１）”と、経時変化部ＩＦ（２）”と、経時変化部ＩＦ（ｎ）”とが、図１４に示すような関係となっている場合には、第１の過去リンパ管蛍光画像信号ＩＦ（１）”と経時変化部ＩＦ（２）”との分岐点を検出し、第１の過去リンパ管蛍光画像信号ＩＦ（１）”の分岐点以降の色を経時変化部ＩＦ（ｎ）”と同じ色にすることによって、図１３に示すようにリンパ管の分岐点が明確となるような経時変化画像信号を生成するようにしてもよい。
【０１１２】
分岐点の検出方法としては、たとえば、図１５（Ａ）に示すように、２つの端部の組み合わせ毎に、線分の端部を始点に線分のつながりを追跡し、塗りつぶした画像を作成する。そして、図１５（Ａ）で示されるような画像を作成した後、これらを重ね合わせ画像を生成すれば、図１５（Ｂ）に示すように、線分が合流し重なった領域は重なりあった色で表現することができ、分岐点を明確にすることができる。
【０１１３】
また、たとえば、図１６に示すように、各経時変化部に対して、その撮像された時間に応じて番号を付して表示するようにしてもよい。なお、図１６におけるＣは癌、ＬＮはリンパ節、ＳＬＮはセンチネルリンパ節を表しており、図１６に示す白丸印に注射によってＩＣＧを投入した際の経時変化を示している。
【０１１４】
また、上記実施形態においては、動き特徴量を取得する際、過去通常画像信号と現在通常画像信号とを用いるようにしたが、これに限らず、過去蛍光画像信号と現在蛍光画像信号とを用いて動き特徴量を取得するようにしてもよい。動き特徴量の算出方法については、上記と同様である。ただし、通常画像信号の方がカラー画像信号であるため蛍光画像信号に比べると特徴点の抽出精度が高く、より望ましい。
【０１１５】
また、上記実施形態においては、現在リンパ管蛍光画像信号に対して、第１の過去リンパ管蛍光画像信号と第２の過去リンパ管蛍光画像信号とを重ね合わせて経時変化画像を生成するようにしたが、第１の過去リンパ管蛍光画像信号に対して、第２の過去リンパ管蛍光画像信号の経時変化部を加算し、その加算された信号に対してさらに現在リンパ管蛍光画像信号の経時変化部を加算することによって経時変化画像信号を生成するようにしてもよい。このように経時変化部を順次加算して経時変化画像信号を生成することによって簡単な演算で経時変化画像信号を生成することができる。また、リアルタイムに順次更新さされる経時変化画像信号を生成することができる。
【０１１６】
また、図１７に示すように、現在リンパ管蛍光画像信号と第２の過去リンパ管蛍光画像信号との差分画像信号を算出し、その差分画像信号と第２の過去リンパ管蛍光画像信号とを比較し、差分画像信号の両端部のうちの第２の過去リンパ管蛍光画像信号に連続しない方の端部に矢印を表示させるようにしてもよい。このように矢印を表示することによって、リンパが流れる方向を指し示すことができる。また、上記のような方法に限らず、オプティカルフロー法やブロックマッチング法などを用いて矢印の方向を推定するようにしてもよい。
【０１１７】
また、上記実施形態においては、第１の撮像系により蛍光画像を撮像するようにしたが、これに限らず、被観察部への特殊光の照射による被観察部の吸光特性に基づく画像を撮像するようにしてもよい。
【０１１８】
また、上記実施形態においては、リンパ管画像を抽出するようにしたが、これに限らず、たとえば、血管、胆管などのその他の管部分を表す画像を抽出するようにしてもよい。
【０１１９】
また、上記実施形態は、本発明の画像取得装置を硬性鏡システムに適用したものであるが、これに限らず、たとえば、軟性内視鏡装置を有するその他の内視鏡システムに適用してもよい。また、内視鏡システムに限らず、体内に挿入される挿入部を備えていない、いわゆるビデオカメラ型の医用画像撮像装置に適用してもよい。
【符号の説明】
【０１２０】
１ 硬性鏡システム
２ 光源装置
３ 画像処理装置
４ モニタ
１０ 硬性鏡撮像装置
２０ 撮像ユニット
２４ 高感度撮像素子
２６ 撮像素子
３０ 硬質挿入部
５０ 通常画像処理部
５１ 現在通常画像取得部
５２ 過去通常画像取得部
５３ 特徴量取得部
５４ 蛍光画像処理部
５５ 現在蛍光画像取得部
５６ 過去蛍光画像取得部
５７ 動き補正部
５８ リンパ管抽出部
５９ 経時変化画像生成部
【技術分野】
【０００１】
本発明は、特殊光の被観察部への照射によって被観察部から発せられた光を受光して特殊画像を取得する画像取得方法および装置に関するものである。
【背景技術】
【０００２】
従来、体腔内の組織を観察する内視鏡システムが広く知られており、白色光の照射によって体腔内の被観察部を撮像して通常画像を得、この通常画像をモニタ画面上に表示する電子式内視鏡システムが広く実用化されている。
【０００３】
また、上記のような内視鏡システムとして、たとえば、特許文献１においては、通常画像とともに、励起光の照射によって被観察部から発せられた自家蛍光像を撮像して自家蛍光画像を得、これらの画像をモニタ画面上に表示する蛍光内視鏡システムが提案されている。
【０００４】
また、蛍光内視鏡システムとしては、たとえば、ＩＣＧ（インドシアニングリーン）を予め体内に投入し、励起光を被観察部に照射して血管内のＩＣＧの蛍光を検出することによって蛍光画像を取得するものも提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−５０５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ここで、上述したような蛍光内視鏡システムを利用して、被観察部のリンパ管中を流れるＩＣＧの蛍光を撮像して蛍光画像を取得することも考えられるが、リンパ管内に投入されたＩＣＧが時間経過とともにどのような向きに流れているかを観察することは、癌の摘出手術などで切除する必要があるセンチネルリンパを発見する上で非常に重要なことである。また、リンパ管中を流れるＩＣＧが時間経過とともにどのように流れているかを観察することはこれからの研究材料としても非常に注目されるものである。
【０００７】
しかしながら、単に所定のタイミングで撮像された蛍光画像を観察しただけでは、リンパ管内をＩＣＧがどのような向きに流れていったのかを知ることはできない。
【０００８】
なお、特許文献１においては、リンパ管に投入されたＩＣＧの輝度の変化を精度よく観察するため、時系列に撮像された画像の輝度の変化率に応じて色を変えて表示することが提案されているが、特許文献１に記載の発明では、輝度が変化せずに安定して発光している場合には全て同じ色で表示されるため、ある程度長い時間撮像している蛍光画像上においてはその経時変化を観察することができない。
【０００９】
本発明は、上記の問題に鑑み、たとえば、上述した蛍光画像のような特殊画像の経時変化を観察することができ、これによりリンパ管内をＩＣＧがどのような向きに流れていったのかを知ることができる特殊画像を取得可能な画像取得方法および装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の画像取得方法は、特殊光の被観察部への照射によって被観察部から発せられた光を受光して所定の間隔で撮像された複数の特殊画像を取得し、その取得した複数の特殊画像のうちの少なくとも１つの過去の時点において撮像された過去特殊画像と過去の時点より後の時点において撮像された特殊画像との間の経時変化部の情報を取得し、過去特殊画像または後の時点に撮像された特殊画像と経時変化部の情報とに基づいて経時変化画像を取得することを特徴とする。
【００１１】
本発明の画像取得装置は、特殊光を被観察部に照射する特殊光照射部と、特殊光の照射によって被観察部から発せられた光を受光して複数の特殊画像を所定の間隔で撮像する撮像部と、撮像部によって取得された複数の特殊画像のうちの少なくとも１つの過去の時点において撮像された過去特殊画像と過去の時点より後の時点において撮像された特殊画像との間の経時変化部の情報を取得し、過去特殊画像または後の時点に撮像された特殊画像と経時変化部の情報とに基づいて経時変化画像を取得する経時変化画像取得部とを備えたことを特徴とする。
【００１２】
また、上記本発明の画像取得装置においては、通常光を被観察部に照射する通常光照射部を設け、撮像部を、通常光の照射によって被観察部から反射された反射光を受光して複数の通常画像を所定の間隔で撮像するものとし、複数の通常画像のうち少なくとも１つの過去の時点において撮像された過去通常画像と後の時点に撮像された通常画像との間の動きの変化を示す動き特徴量を取得する動き特徴量取得部と、動き特徴量取得部によって取得された動き特徴量に基づいて、動き特徴量を取得するために用いた過去通常画像と同じ時点において撮像された過去特殊画像に対して動き補正処理を施す動き補正部とを設け、経時変化画像取得部を、動き補正処理の施された過去特殊画像と後の時点に撮像された特殊画像との間の経時変化部の情報を取得し、動き補正処理の施された過去特殊画像または後の時点に撮像された特殊画像と経時変化部の情報とに基づいて経時変化画像を取得するものとできる。
【００１３】
また、過去特殊画像と後の時点に撮像された特殊画像との間の動きの変化を示す動き特徴量をそれぞれ取得する動き特徴量取得部と、動き特徴量取得部によって取得された動き特徴量に基づいて、動き特徴量を取得するために用いた過去特殊画像に対して動き補正処理を施す動き補正部とを設け、経時変化画像取得部を、動き補正処理の施された過去特殊画像と後の時点に撮像された特殊画像との間の経時変化部の情報を取得し、動き補正処理の施された過去特殊画像または後の時点に撮像された特殊画像と経時変化部の情報とに基づいて経時変化画像を取得するものとできる。
【００１４】
また、過去特殊画像と後の時点に撮像された特殊画像とから被観察部に含まれる管部分を表す管画像を抽出する管画像抽出部を設け、経過変化画像取得部を、過去特殊画像の管画像と後の時点に撮像された特殊画像の管画像とに基づいて経時変化部の情報を取得し、過去特殊画像の管画像または後の時点に撮像された特殊画像の管画像と経時変化部の情報とに基づいて経時変化画像を取得するものとできる。
【００１５】
また、経時変化画像取得部を、少なくとも１つの過去特殊画像と経時変化部とが互いに異なる表示形態となるように経時変化画像を生成するものとできる。
【００１６】
また、経時変化画像取得部を、少なくとも１つの過去特殊画像と経時変化部に対して互いに異なる色を割り当てるものとできる。
【００１７】
また、経時変化画像取得部を、少なくとも１つの過去特殊画像と経時変化部とに対して互いに異なる線種を割り当てるものとできる。
【００１８】
また、光照射部を、蛍光薬剤が投入された被観察部に対して、特殊光として励起光を照射するものとし、撮像部を、励起光の照射によって被観察部から発せられた蛍光を受光して特殊画像として蛍光画像を取得するものとできる。
【００１９】
また、経時変化画像取得部を、後の時点に撮像された特殊画像として最も直近に撮像された特殊画像を取得するものとできる。
【００２０】
また、通常光を被観察部に照射する通常光照射部を備えたものとし、撮像部を、前記通常光の照射によって被観察部から反射された反射光を受光して複数の通常画像を所定の間隔で撮像するものとし、経時変化画像と、過去特殊画像または後の時点に撮像された特殊画像と、その過去特殊画像または後の時点に撮像された特殊画像と同時に撮像された通常画像とを重ね合わせた合成画像を生成する合成画像生成部を設けることができる。
【発明の効果】
【００２１】
本発明の画像取得方法および装置によれば、特殊光の被観察部への照射によって被観察部から発せられた光を受光して所定の間隔で撮像された複数の特殊画像を取得し、その取得した複数の特殊画像のうちの少なくとも１つの過去の時点において撮像された過去特殊画像と過去の時点より後の時点において撮像された特殊画像との間の経時変化部の情報を取得し、過去特殊画像または後の時点に撮像された特殊画像と経時変化部の情報とに基づいて経時変化画像を取得するようにしたので、この経時変化画像を観察すれば、たとえば、リンパ管内をＩＣＧがどのような向きに流れていったのかを知ることができる。
【００２２】
また、上記本発明の画像取得方法および装置において、経時変化画像を取得する際、過去特殊画像が撮像されたときの被観察部の状態と後の時点の特殊画像が撮像されたときの被観察部の状態との間の変化を補正するような動き補正処理を施すようにした場合には、被観察部が拍動などによってその状態が変化したとしても、すなわち、たとえば、拍動によって観察対象のリンパ管の位置が動いてしまったとしても、この影響を受けることなく適切な経時変化画像を取得することができる。
【図面の簡単な説明】
【００２３】
【図１】本発明の画像取得装置の一実施形態を用いた硬性鏡システムの概略構成図
【図２】硬質挿入部の概略構成図
【図３】撮像ユニットの概略構成図
【図４】画像処理装置および光源装置の概略構成を示すブロック図
【図５】画像処理部の概略構成を示すブロック図
【図６】過去の蛍光画像信号に動き補正を施した後、経時変化画像を生成する作用を説明するためのフローチャート
【図７】動き特徴量の取得方法を説明するためのフローチャート
【図８】特徴点の一例を示す図
【図９】マッチング演算処理の作用を説明するための図
【図１０】動き補正処理を説明するための図
【図１１】動き補正処理後の蛍光画像信号の矩形領域の一例を示す図
【図１２】エッジ検出を用いた線分抽出処理を説明するためのフローチャート
【図１３】経時変化画像の一例を示す図
【図１４】経時変化画像のその他の例を示す図
【図１５】分岐点を検出する方法を説明するための図
【図１６】経時変化画像のその他の例を示す図
【図１７】矢印の方向を決定する方法を説明するための図
【発明を実施するための形態】
【００２４】
以下、図面を参照して本発明の画像取得装置の一実施形態を用いた硬性鏡システムについて詳細に説明する。図１は、本実施形態の硬性鏡システム１の概略構成を示す外観図である。
【００２５】
本実施形態の硬性鏡システム１は、図１に示すように、白色の通常光および励起光を同時に射出する光源装置２と、光源装置２から射出された通常光および励起光を導光して被観察部に照射するとともに、通常光の照射により被観察部から反射された反射光に基づく通常像および励起光の照射により被観察部から発せられた蛍光に基づく蛍光像を撮像する硬性鏡撮像装置１０と、硬性鏡撮像装置１０によって撮像された画像信号に所定の処理を施す画像処理装置３と、画像処理装置３において生成された表示制御信号に基づいて被観察部の通常画像、蛍光画像および後述する経時変化画像を表示するモニタ４とを備えている。
【００２６】
硬性鏡撮像装置１０は、図１に示すように、体腔内に挿入される硬質挿入部３０と、硬質挿入部３０によって導光された被観察部の通常像および蛍光像を撮像する撮像ユニット２０とを備えている。
【００２７】
また、硬性鏡撮像装置１０は、図２に示すように、硬質挿入部３０と撮像ユニット２０とが着脱可能に接続されている。そして、硬質挿入部３０は接続部材３０ａ、挿入部材３０ｂ、ケーブル接続口３０ｃ、および照射窓３０ｄを備えている。
【００２８】
接続部材３０ａは、硬質挿入部３０（挿入部材３０ｂ）の一端側３０Ｘに設けられており、たとえば撮像ユニット２０側に形成された開口２０ａに嵌め合わされることにより、撮像ユニット２０と硬質挿入部３０とが着脱可能に接続される。
【００２９】
挿入部材３０ｂは、腹腔内の撮影を行う際に腹腔内に挿入されるものであって、硬質な材料から形成され、たとえば、直径略５ｍｍの円柱形状を有している。挿入部材３０ｂの内部には、被観察部の像を結像するためのレンズ群が収容されており、他端側３０Ｙから入射された被観察部の通常像および蛍光像はレンズ群を介して一端側３０Ｘの撮像ユニット２０側に射出される。
【００３０】
挿入部材３０ｂの側面にはケーブル接続口３０ｃが設けられており、このケーブル接続口３０ｃに光ケーブルＬＣが機械的に接続される。これにより、光源装置２と挿入部材３０ｂとが光ケーブルＬＣを介して光学的に接続されることになる。
【００３１】
照射窓３０ｄは、硬質挿入部３０の他端側３０Ｙに設けられており、光ケーブルＬＣによって導光された通常光および励起光を被観察部に対し照射するものである。なお、挿入部材３０ｂ内にはケーブル接続口３０ｃから照射窓３０ｄまで通常光および励起光を導光するライトガイドが収容されており（図示せず）、照射窓３０ｄはライトガイドによって導光された通常光および励起光を被観察部に照射するものである。
【００３２】
図３は、撮像ユニット２０の概略構成を示す図である。撮像ユニット２０は、硬質挿入部３０内のレンズ群により結像された被観察部の蛍光像を撮像して被観察部の蛍光画像信号を生成する第１の撮像系と、硬質挿入部３０内のレンズ群により結像された被観察部の通常像を撮像して通常画像信号を生成する第２の撮像系とを備えている。これらの撮像系は、通常像を反射するとともに、蛍光像を透過する分光特性を有するダイクロイックプリズム２１によって、互いに直交する２つの光軸に分けられている。
【００３３】
第１の撮像系は、被観察部において反射し、ダイクロイックプリズム２１を透過した励起光をカットする励起光カットフィルタ２２と、硬質挿入部３０から射出され、ダイクロイックプリズム２１および励起光カットフィルタ２２を透過した蛍光像Ｌ１を結像する第１結像光学系２３と、第１結像光学系２３により結像された蛍光像Ｌ４を撮像する高感度撮像素子２４とを備えている。
【００３４】
第２の撮像系は、硬質挿入部３０から射出され、ダイクロイックプリズム２１を反射した通常像Ｌ２を結像する第２結像光学系２５と、第２結像光学系２５により結像された通常像Ｌ２を撮像する撮像素子２６を備えている。
【００３５】
高感度撮像素子２４は、蛍光像Ｌ４の波長帯域の光を高感度に検出し、蛍光画像信号に変換して出力するものである。高感度撮像素子２４はモノクロの撮像素子である。
【００３６】
撮像素子２６は、通常像の波長帯域の光を検出し、通常画像信号に変換して出力するものである。撮像素子２６の撮像面には、３原色の赤（Ｒ）、緑（Ｇ）および青（Ｂ）、またはシアン（Ｃ）、マゼンダ（Ｍ）およびイエロー（Ｙ）のカラーフィルタがベイヤー配列またはハニカム配列で設けられている。
【００３７】
また、撮像ユニット２０は、撮像制御ユニット２７を備えている。撮像制御ユニット２７は、高感度撮像素子２４から出力された蛍光画像信号および撮像素子２６から出力された通常画像信号に対し、ＣＤＳ／ＡＧＣ（相関二重サンプリング／自動利得制御）処理やＡ／Ｄ変換処理を施し、ケーブル５（図１参照）を介して画像処理装置３に出力するものである。
【００３８】
画像処理装置３は、図４に示すように、通常画像入力コントローラ３１、蛍光画像入力コントローラ３２、画像処理部３３、メモリ３４、ビデオ出力部３５、操作部３６、ＴＧ（タイミングジェネレータ）３７およびＣＰＵ３８を備えている。
【００３９】
通常画像入力コントローラ３１および蛍光画像入力コントローラ３２は、所定容量のラインバッファを備えており、撮像ユニット２０の撮像制御ユニット２７から出力された１フレーム毎の通常画像信号および蛍光画像信号をそれぞれ一時的に記憶するものである。そして、通常画像入力コントローラ３１に記憶された通常画像信号および蛍光画像入力コントローラ３２に記憶された蛍光画像信号はバスを介してメモリ３４に格納される。
【００４０】
画像処理部３３は、メモリ３４から読み出された１フレーム毎の通常画像信号および蛍光画像信号が入力され、これらの画像信号に所定の画像処理を施し、バスに出力するものである。画像処理部３３のより具体的な構成を図５に示す。
【００４１】
画像処理部３３は、図５に示すように、通常画像処理部５０、現在通常画像取得部５１、過去通常画像取得部５２、動き特徴量取得部５３、蛍光画像処理部５４、現在蛍光画像取得部５５、過去蛍光画像取得部５６、動き補正部５７、リンパ管抽出部５８および経時変化画像生成部５９を備えている。
【００４２】
通常画像処理部５０は、入力された通常画像信号に対し、通常画像に適した所定の画像処理を施して出力するものである。
【００４３】
現在通常画像取得部５１は、通常画像処理部５０から出力された通常画像信号のうちの最も直近に出力された通常画像信号を現在通常画像信号として取得し、動き特徴量取得部５３に出力するものである。現在通常画像取得部５１により取得される現在通常画像信号と後述する現在蛍光画像取得部５５により取得される現在蛍光画像信号とは、同じタイミングで撮像されたものである。
【００４４】
過去通常画像取得部５２は、通常画像処理部５０から出力されたフレーム毎の通常画像信号を順次、累積して記憶するものであり、その順次記憶した複数の過去通常画像信号の中から所定のフレームの過去通常画像信号を選択して動き特徴量取得部５３に出力するものである。本実施形態においては、所定の第１の時点において取得された第１の過去通常画像信号と、第１の時点よりも後の第２の時点において取得された第２の過去通常画像信号とを選択して動き特徴量取得部５３に出力するものとするが、選択対象の過去通常画像信号は、後述する過去蛍光画像取得部５６において選択される過去蛍光画像信号と同じタイミングで撮像されたものである。
【００４５】
動き特徴量取得部５３は、現在通常画像取得部５１から出力された現在通常画像信号と過去通常画像取得部５２から出力された過去通常画像信号とに基づいて、過去通常画像信号における被観察部の状態から現在通常画像信号における被観察部の状態までの動きの変化を示す動き特徴量を取得するものである。動き特徴量の取得方法については、後で詳述する。
【００４６】
蛍光画像処理部５４は、入力された蛍光画像信号に対し、蛍光画像に適した所定の画像処理を施して出力するものである。
【００４７】
現在蛍光画像取得部５５は、蛍光画像処理部５４から出力された蛍光画像信号のうちの最も直近に出力された蛍光画像信号を現在蛍光画像信号として取得し、動き特徴量取得部５３に出力するものである。
【００４８】
過去蛍光画像取得部５６は、蛍光画像処理部５４から出力されたフレーム毎の蛍光画像信号を順次、累積して記憶するものであり、その順次記憶した複数の過去蛍光画像信号の中から所定のフレームの過去蛍光画像信号を選択して動き補正部５７に出力するものである。本実施形態においては、上述した第１の過去通常画像信号と同じタイミングで撮像された第１の過去蛍光画像信号と、上述した第２の過去通常画像信号と同じタイミングで撮像された第２の過去蛍光画像信号とを選択して動き補正部５７に出力するものとするが、選択対象の過去通常画像信号および過去蛍光画像信号は、操作者が操作部３６を用いて任意に選択するようにしてもよいし、予め設定された時間間隔で選択するようにしてもよい。また、全てのフレームの過去通常画像信号および過去蛍光画像信号を対象としてもよい。
【００４９】
動き補正部５７は、過去蛍光画像取得部５６から出力された第１の過去蛍光画像信号と第２の過去蛍光画像信号とに対して、動き特徴量取得部５３から出力された動き特徴量に基づいて動き補正処理を施すものである。第１の過去蛍光画像信号に対しては、第１の過去通常画像信号と現在通常画像信号とに基づいて算出された動き特徴量を用いて動き補正処理を施し、第２の過去蛍光画像信号に対しては、第２の過去通常画像信号と現在通常画像信号とに基づいて算出された動き特徴量を用いて動き補正処理を施すものである。動き補正処理については、後で詳述する。
【００５０】
リンパ管抽出部５８は、動き補正部５７によって動き補正の施された第１および第２の過去蛍光画像信号と現在蛍光画像信号に対して、リンパ管を表す画像信号を抽出する処理を施すものである。
【００５１】
経時変化画像生成部５９は、第１の過去蛍光画像信号から抽出されたリンパ管を表す画像信号（以下、「第１の過去リンパ管蛍光画像信号」という）と、第２の過去蛍光画像信号から抽出されたリンパ管を表す画像信号（以下、「第２の過去リンパ管蛍光画像信号」という）と、現在蛍光画像信号から抽出されたリンパ管を表す画像信号（以下、「現在リンパ管蛍光画像信号」という）とを用いて経時変化画像信号を生成するものである。経時変化画像信号の生成方法については、後で詳述する。
【００５２】
図４に戻り、ビデオ出力部３５は、画像処理部３３から出力された通常画像信号、蛍光画像信号および経時変化画像信号がバスを介して入力され、所定の処理を施して表示制御信号を生成し、その表示制御信号をモニタ４に出力するものである。
【００５３】
操作部３６は、種々の操作指示や制御パラメータなどの操作者による入力を受け付けるものである。また、ＴＧ３７は、撮像ユニット２０の高感度撮像素子２４、撮像素子２６および後述する光源装置２のＬＤドライバ４５を駆動するための駆動パルス信号を出力するものである。また、ＣＰＵ３６は装置全体を制御するものである。
【００５４】
光源装置２は、約４００〜７００ｎｍの広帯域の波長からなる通常光（白色光）Ｌ１を射出する通常光源４０と、通常光源４０から射出された通常光Ｌ１を集光する集光レンズ４２と、集光レンズ４２によって集光された通常光Ｌ１を透過するとともに、後述する励起光Ｌ２を反射し、通常光Ｌ１および励起光Ｌ２とを光ケーブルＬＣの入射端に入射させるダイクロイックミラー４３とを備えている。なお、通常光源４０としては、たとえばキセノンランプが用いられる。また、通常光源４０と集光レンズ４２との間には、絞り４１が設けられており、ＡＬＣ（Automatic light control）４８からの制御信号に基づいてその絞り量が制御される。
【００５５】
また、光源装置２は、７００ｎｍ〜８００ｎｍの可視から近赤外帯域の光であり、たとえば蛍光色素としてＩＣＧ（インドシアニングリーン）を用いた場合には７５０〜７９０ｎｍの近赤外光を励起光Ｌ２として射出するＬＤ光源４４と、ＬＤ光源４４を駆動するＬＤドライバ４５と、ＬＤ光源４４から射出された励起光Ｌ２を集光する集光レンズ４６と、集光レンズ４６によって集光された励起光Ｌ２をダイクロイックミラー４３に向けて反射するミラー４７とを備えている。
【００５６】
なお、励起光Ｌ２としては、広帯域の波長からなる通常光よりも狭帯域の波長が用いられる。そして、励起光Ｌ２としては上記波長域の光に限定されず、蛍光色素の種類もしくは自家蛍光させる生体組織の種類によって適宜決定される。
【００５７】
また、光源装置２は、光ケーブルＬＣを介して硬性鏡撮像装置１０に光学的に接続されている。
【００５８】
次に、本実施形態の硬性鏡システムの作用について説明する。
【００５９】
まず、光ケーブルＬＣが接続された硬質挿入部３０およびケーブル５が撮像ユニット２０に取り付けられた後、光源装置２および撮像ユニット２０および画像処理装置３の電源が投入され、これらが駆動される。
【００６０】
次に、操作者により硬質挿入部３０が体腔内に挿入され、硬質挿入部３０の先端が被観察部の近傍に設置される。
【００６１】
そして、光源装置２の通常光源４０から射出された通常光Ｌ１が、集光レンズ４２、ダイクロイックミラー４３および光ケーブルＬＣを介して硬質挿入部３０に入射され、硬質挿入部３０の照射窓３０ｄから被観察部に照射される。一方、光源装置２のＬＤ光源４４から射出された励起光Ｌ２が、集光レンズ４６、ミラー４７、ダイクロイックミラー４３および光ケーブルＬＣを介して硬質挿入部３０に入射され、硬質挿入部３０の照射窓３０ｄから被観察部に通常光と同時に照射される。なお、同時に照射するとは、必ずしも照射期間が完全に一致している必要はなく、少なくとも一部の照射期間が重複していればよい。
【００６２】
そして、通常光Ｌ１の照射によって被観察部から反射された反射光に基づく通常像が撮像されるとともに、励起光Ｌ２の照射によって被観察部から発せられた蛍光に基づく蛍光像が通常像と同時に撮像される。なお、被観察部には、予めＩＣＧが投与されており、このＩＣＧから発せられる蛍光を撮像するものとする。
【００６３】
より具体的には、通常像の撮像の際には、通常光Ｌ１の照射によって被観察部から反射された反射光に基づく通常像Ｌ３が挿入部材３０ｂの先端３０Ｙから入射し、挿入部材３０ｂ内のレンズ群により導光されて撮像ユニット２０に向けて射出される。
【００６４】
撮像ユニット２０に入射された通常像Ｌ３は、ダイクロイックプリズム２１により撮像素子２６に向けて直角方向に反射され、第２結像光学系２５により撮像素子２６の撮像面上に結像され、撮像素子２６によって所定間隔を空けて順次撮像される。
【００６５】
撮像素子２６から順次出力された通常画像信号は、撮像制御ユニット２７においてＣＤＳ／ＡＧＣ（相関二重サンプリング／自動利得制御）処理やＡ／Ｄ変換処理が施された後、ケーブル５を介して画像処理装置３に順次出力される。
【００６６】
一方、蛍光像の撮像の際には、励起光の照射によって被観察部から発せられた蛍光に基づく蛍光像Ｌ４が挿入部材３０ｂの先端３０Ｙから入射し、挿入部材３０ｂ内のレンズ群により導光されて撮像ユニット２０に向けて射出される。
【００６７】
撮像ユニット２０に入射された蛍光像Ｌ４は、ダイクロイックプリズム２１および励起光カットフィルタ２２を通過した後、第１結像光学系２３により高感度撮像素子２４の撮像面上に結像され、高感度撮像素子２４によって所定間隔を空けて撮像される。
【００６８】
高感度撮像素子２４から順次出力された蛍光画像信号は、撮像制御ユニット２７においてＣＤＳ／ＡＧＣ（相関二重サンプリング／自動利得制御）処理やＡ／Ｄ変換処理が施された後、ケーブル５を介して画像処理装置３に順次出力される。
【００６９】
次に、上記のようにして撮像ユニット２０において撮像された通常画像信号および蛍光画像信号に基づいて通常画像、蛍光画像および経時変化画像を表示する作用について説明する。
【００７０】
まず、通常画像および蛍光画像を表示する作用について説明する。画像処理装置３に入力された通常画像信号は、通常画像入力コントローラ３１において一時的に記憶された後、メモリ３４に格納される。そして、メモリ３４から読み出された１フレーム毎の通常画像信号は、画像処理部３３の通常画像処理部５０において階調補正処理およびシャープネス補正処理が施された後、ビデオ出力部３５に順次出力される。
【００７１】
そして、ビデオ出力部３５は、入力された通常画像信号に所定の処理を施して表示制御信号を生成し、１フレーム毎の表示制御信号をモニタ４に順次出力する。そして、モニタ４は、入力された表示制御信号に基づいて通常画像を表示する。
【００７２】
また、画像処理装置３に入力された蛍光画像信号は、蛍光画像入力コントローラ３２において一時的に記憶された後、メモリ３４に格納される。そして、メモリ３４から読み出された１フレーム毎の蛍光画像信号は、画像処理部３３の蛍光画像処理部５４において所定の画像処理が施された後、ビデオ出力部３５に順次出力される。
【００７３】
そして、ビデオ出力部３５は、入力された蛍光画像信号に所定の処理を施して表示制御信号を生成し、１フレーム毎の表示制御信号をモニタ４に順次出力する。そして、モニタ４は、入力された表示制御信号に基づいて蛍光画像を表示する。
【００７４】
次に、過去蛍光画像信号と現在蛍光画像信号に基づいて経時変化画像を表示する作用について説明する。
【００７５】
本実施形態の硬性鏡システムは、上述したように被観察部のリンパ管中を流れるＩＣＧの蛍光を撮像するものである。そして、被観察部に投入されたＩＣＧが時間経過とともにどのような向きに流れているかを観察することは、癌の摘出手術などで切除する必要があるセンチネルリンパを発見する上で非常に重要なことである。また、リンパ管中を流れるＩＣＧが時間経過とともにどのように流れているかを観察することはこれからの研究材料としても非常に注目されるものである。
【００７６】
そこで、本実施形態の硬性鏡システムにおいては、過去に撮像された蛍光画像信号と現在撮像されている蛍光画像信号とに基づいて、時間の経過とともにリンパ管中を流れているＩＣＧの経時変化を示す経時変化画像を生成する。
【００７７】
そして、さらに、過去の蛍光画像信号を用いる場合、過去の蛍光画像信号を撮像したときの被観察部の形態と現在の蛍光画像信号を撮像したときの被観察部の形態とが拍動によって異なる形態となっている場合があり、このような場合に過去の蛍光画像信号と現在の蛍光画像信号とをそのまま用いたのではリンパ管の画像にずれが生じて適切な経時変化画像を生成することができない。
【００７８】
そこで、本実施形態の硬性鏡システムにおいては、上記のようなリンパ管画像のずれが生じないように過去の蛍光画像信号に動き補正を施すようにしている。
【００７９】
以下に、過去の蛍光画像信号に動き補正を施した後、経時変化画像を生成する作用について、図６を参照しながらより詳細に説明する。
【００８０】
まず、上述したように、過去通常画像取得部５２と過去蛍光画像取得部５６には、撮像ユニット２０において所定間隔を空けて時系列に撮像された多数の通常画像信号と蛍光画像信号とがそれぞれ記憶されている。
【００８１】
そして、図６に示すように、過去蛍光画像取得部５６に記憶された多数の過去の蛍光画像信号のうちの、上述した第１の過去蛍光画像信号ＩＦ（１）と第２の過去蛍光画像信号ＩＦ（２）とを取得する（Ｓ１０）。
【００８２】
一方、過去通常画像取得部５２に記憶された多数の過去の通常画像信号のうち、Ｓ１０で選択した第１の過去蛍光画像信号ＩＦ（１）および第２の過去蛍光画像信号ＩＦ（２）とそれぞれ同じ時点において撮像された２つの通常画像信号を、上述した第１の過去通常画像信号ＩＶ（１）および第２の過去通常画像信号ＩＶ（２）として取得する（図６のＳ１２）。
【００８３】
そして、上記のようにして取得した第１の過去通常画像信号ＩＶ（１）および第２の過去通常画像信号ＩＶ（２）と、現在通常画像取得部５１において取得された現在通常画像信号ＩＶ（ｎｏｗ）とが動き特徴量取得部５３に入力される。そして、動き特徴量取得部５３において、第１の過去通常画像信号ＩＶ（１）と現在通常画像信号とに基づいて、被観察部の第１の動き特徴量が算出されるとともに、第２の過去通常画像信号ＩＶ（２）と現在通常画像信号とに基づいて、被観察部の第２の動き特徴量が算出される（図６のＳ１４）。
【００８４】
以下、動き特徴量の算出方法について、図７のフローチャートを参照しながら詳細に説明する。
【００８５】
まず、上述したように、動き特徴量取得部５３において、第１の過去通常画像信号ＩＶ（１）と現在通常画像信号ＩＶ（ｎｏｗ）が取得される（図７のＳ３０）。そして、カラー画像信号である第１の過去通常画像信号ＩＶ（１）と現在通常画像信号ＩＶ（ｎｏｗ）に対して、グレー画像処理が施されてグレー画像信号に変換される（図７のＳ３２）。
【００８６】
次に、グレー画像信号である１の過去通常画像信号ＩＶ（１）と現在通常画像信号ＩＶ（ｎｏｗ）に対して、コントラスト強調処理が施される（図７のＳ３４）。このようにグレー画像処理およびコントラスト強調処理を施すのは、後述する特徴点抽出処理において特徴点を抽出しやすくするためである。
【００８７】
そして、次に、コントラスト強調処理の施された第１の過去通常画像信号ＩＶ（１）と現在通常画像信号ＩＶ（ｎｏｗ）に対して多重解像度画像生成処理が施され、それぞれの通常画像信号について、種々の解像度の通常画像信号が生成される（図７のＳ３６）。なお、以下、第１の過去通常画像信号ＩＶ（１）に基づいて生成された種々の解像度の通常画像信号を第１の多重解像度画像信号ＩＶ（１）１〜ｍとし、現在通常画像信号ＩＶ（ｎｏｗ）に基づいて生成された種々の解像度の通常画像信号を現在多重解像度信号ＩＶ（ｎｏｗ）１〜ｎとする。このように多重解像度画像生成処理を行うのは、後述する特徴点抽出処理において、荒い解像度の多重解像度画像信号を用いて大まかな特徴点を抽出し、細かい解像度の多重解像度画像信号を用いて細かい特徴点を抽出するためである。
【００８８】
そして、上記のようにして生成された第１の多重解像度画像信号ＩＶ（１）１〜ｍ，現在多重解像度信号ＩＶ（ｎｏｗ）１〜ｎに対して、ノイズ除去のための平滑化処理が施される（図７のＳ３８）。
【００８９】
次に、平滑化処理の施された第１の多重解像度画像信号ＩＶ（１）１〜ｍ，現在多重解像度信号ＩＶ（ｎｏｗ）１〜ｎに対して特徴点抽出処理が施され、各多重解像度画像信号について特徴点が抽出される（図７のＳ４０）。
【００９０】
特徴点抽出処理としては、たとえば、Hessain手法やHarris手法を用いた、いわゆるコーナー抽出法を用いることができる。または、DOG（Difference of Gaussian）やHOG(Histograms of Oriented Gradients)を用いて特徴点を抽出するようにしてもよい。これらの特徴点抽出の手法については公知であるので詳細な説明は省略する。図８に、特徴点抽出処理によって特徴点が抽出された多重解像度画像の１つの例を示す。
【００９１】
そして、次に、第１の過去通常画像信号ＩＶ（１）について抽出された特徴点と、現在通常画像信号ＩＶ（ｎｏｗ）について抽出された特徴点と対して、マッチング演算処理が施される（図７のＳ４２）。マッチング演算処理とは、第１の過去通常画像信号ＩＶ（１）の特徴点と現在通常画像信号ＩＶ（ｎｏｗ）とで対応する特徴点の組を検出する演算処理である。
【００９２】
具体的には、たとえば、一方の通常画像信号における所定の特徴点と、他方の通常画像信号における全ての特徴点間のユークリッド距離をそれぞれ演算し、そのユークリッド距離が最小となる２つの特徴点を対応する特徴点の組として検出するようにすればよい。図９に、第１の過去通常画像信号ＩＶ（１）と現在通常画像信号ＩＶ（ｎｏｗ）との間で対応する特徴点を直線で示した模式図を示す。
【００９３】
そして、上記のマッチング演算処理の結果に基づいて、第１の過去通常画像信号ＩＶ（１）の各特徴点から現在通常画像信号ＩＶ（ｎｏｗ）の対応する特徴点までの方向を示す動きベクトルが動き特徴量として算出される（図７のＳ４４）。
【００９４】
上記のようにして第１の過去通常画像信号ＩＶ（１）と現在通常画像信号ＩＶ（ｎｏｗ）とに基づいて、被観察部の第１の動き特徴量が算出される。そして、上記と同様にして、第２の過去通常画像信号ＩＶ（２）と現在通常画像信号ＩＶ（ｎｏｗ）とに基づいて、被観察部の第２の動き特徴量も算出される。
【００９５】
図６に戻り、次に、動き特徴量取得部５３において取得された第１の動き特徴量および第２の動き特徴量は、動き補正部５７に出力される。そして、動き補正部５７は、入力された第１の動き特徴量に基づいて、第１の過去蛍光画像信号ＩＦ（１）に対して動き補正処理を施すとともに、入力された第２の動き特徴量に基づいて、第２の過去蛍光画像信号ＩＦ（２）に対して動き補正処理を施す（図６のＳ１６）。
【００９６】
具体的には、まず、図１０に示すように、第１の過去蛍光画像信号ＩＦ（１）を所定の大きさの矩形領域に区分するとともに、第１の過去蛍光画像信号ＩＦ（１）に対し第１の過去通常画像信号ＩＶ（１）の各特徴点とその動きベクトルとを対応づける。そして、各矩形領域のコーナーＧ近傍に存在する特徴点Ｄの中で最も評価値の高い特徴点Ｄの動きベクトルに基づいて各矩形領域を変形することによって第１の過去蛍光画像信号ＩＦ（１）を変形する。図１１に、変形後の矩形領域およびそのコーナーＧ’の一例を示す。第２の過去蛍光画像信号ＩＦ（２）についても上記と同様して動き補正処理が施される。
【００９７】
そして、上記のようにして取得された動き補正処理の施された第１の蛍光画像信号ＩＦ（１）（以下、「第３の過去蛍光画像信号ＩＦ（１）’」という）および第２の蛍光画像信号ＩＦ（２）（以下、「第４の過去蛍光画像信号ＩＦ（２）’」という）と、現在蛍光画像信号ＩＦ（ｎｏｗ）が、画像処理部３３のリンパ管抽出部５８（図５参照）に入力される。そして、リンパ管抽出部５８において各蛍光画像信号に対してリンパ管抽出処理が施される（図６のＳ１８，Ｓ２０）。
【００９８】
リンパ管抽出処理は、線分抽出処理を行うことによって行われる。本実施形態においては、エッジ検出とそのエッジ検出によって検出したエッジから孤立点を除去することによって線分抽出処理を行う。エッジ検出方法としては、たとえば、１次微分を用いたキャニー法を用いることができる。図１２に、キャニー法によるエッジ検出を用いた線分抽出処理を説明するためのフローチャートを示す。
【００９９】
図１２に示すように、まず、現在蛍光画像信号ＩＦ（ｎｏｗ）と第３の過去蛍光画像信号ＩＦ（１）’と第４の過去蛍光画像信号ＩＦ（２）’のそれぞれに対し、ＤＯＧ（Derivative of Gaussian）フィルタを用いたフィルタ処理が施される（図１２のＳ５０〜Ｓ５４）。このＤＯＧフィルタを用いたフィルタ処理は、ノイズを減らすためのガウシアンフィルタ処理（平滑化処理）と濃度勾配を検出するためのｘ，ｙ方向の１次微分フィルタ処理とを組み合わせた処理である。
【０１００】
そして、フィルタ処理済の現在蛍光画像信号ＩＦ（ｎｏｗ）と第３の蛍光画像信号ＩＦ（１）’と第４の過去蛍光画像信号ＩＦ（２）’のそれぞれについて、濃度勾配の大きさと方向が計算される（図１２のＳ５６）。そして、濃度勾配の極大点を抽出し、それ以外の非極大点を除去する（図１２のＳ５８）。
【０１０１】
そして、その極大点と所定の閾値とを比較し、所定の閾値以上の極大点をエッジとして検出する（図１２のＳ６０）。さらに、極大点であり所定の閾値以上であるが、連続したエッジを構成していない孤立点を除去する処理を行う（図１２のＳ６２）。孤立点の除去処理は、血管としては適当でない孤立点をエッジ検出結果から除去するための処理で、具体的には、検出された各エッジの長さをチェックすることによって孤立点を検出する。
【０１０２】
なお、エッジ検出のアルゴリズムは、上記に限らず、ノイズを減らすためのガウシアンフィルタ処理と２次微分処理とを行ってエッジを抽出するラプラシアンフィルタを組み合わせたＬＯＧ（Laplace of Gaussian）フィルタを用いてエッジ検出を行うようにしてもよい。
【０１０３】
また、本実施形態においては、エッジ検出を用いた線分抽出処理を行うことによってリンパ管抽出を行うようにしたが、これに限らず、リンパ管部分を抽出する処理であれば、たとえば、色相や輝度を用いた処理など如何なる処理を用いてもよい。
【０１０４】
上記のようにしてリンパ管抽出処理を行うことによって、現在蛍光画像信号ＩＦ（ｎｏｗ）と第３の過去蛍光画像信号ＩＦ（１）’と第４の過去蛍光画像信号ＩＦ（２）’のそれぞれについて現在リンパ管蛍光画像信号、第１の過去リンパ管蛍光画像信号および第２の過去リンパ管蛍光画像信号が生成される。
【０１０５】
そして、次に、リンパ管抽出部５８において生成された現在リンパ管蛍光画像信号、第１の過去リンパ管蛍光画像信号および第２の過去リンパ管蛍光画像信号が、経時変化画像生成部５９に入力される。そして、経時変化画像生成部５９においては、図１３に示すように、現在リンパ管蛍光画像信号に対して、第１の過去リンパ管蛍光画像信号と第２の過去リンパ管蛍光画像信号とが重ね合わされ、第１の過去リンパ管蛍光画像信号ＩＦ（１）”と、第２の過去リンパ管蛍光画像信号における第１の過去リンパ管蛍光画像信号ＩＦ（１）”からの経時変化部ＩＦ（２）”と、現在リンパ管蛍光画像信号における第２の過去リンパ管蛍光画像信号からの経時変化部ＩＦ（ｎ）”とが互いに異なる色となるような経時変化画像信号が生成される（図６のＳ２４）。
【０１０６】
そして、経時変化画像生成部５９において生成された経時変化画像信号は、ビデオ出力部３５に出力される。
【０１０７】
そして、ビデオ出力部３５は、入力された経時変化画像信号に所定の処理を施して表示制御信号を生成し、その表示制御信号をモニタ４に出力する。そして、モニタ４は、入力された表示制御信号に基づいて、図１３に示すような経時変化画像を表示する。
【０１０８】
このような経時変化画像を表示することによって、リンパ管内のＩＣＧがどちらの方向に向かって流れているのかを判別することができる。
【０１０９】
なお、上記実施形態において、ビデオ出力部３５が、経時変化画像を現在蛍光画像に重ね合わせた画像を生成し、その画像をさらに現在通常画像に重ね合わせた画像を生成するようにしてもよい。なお、経時変化画像を重ね合わせる対象の画像は、現在蛍光画像および現在通常画像に限らず、同時に撮像された過去蛍光画像と過去通常画像であってもよい。
【０１１０】
また、上記実施形態においては、第１の過去リンパ管蛍光画像信号ＩＦ（１）”と、経時変化部ＩＦ（２）”と、経時変化部ＩＦ（ｎ）”との色を変えることによって区別するようにしたが、これに限らず、たとえば、実線、破線、一点鎖線など互い異なる線種とすることによって区別するようにしてもよい。また、たとえば、全てフレームの蛍光画像信号に応じた経時変化部をそれぞれ表示させる場合には、グラデーション表示するようにしてもよい。
【０１１１】
また、第１の過去リンパ管蛍光画像信号ＩＦ（１）”と、経時変化部ＩＦ（２）”と、経時変化部ＩＦ（ｎ）”とが、図１４に示すような関係となっている場合には、第１の過去リンパ管蛍光画像信号ＩＦ（１）”と経時変化部ＩＦ（２）”との分岐点を検出し、第１の過去リンパ管蛍光画像信号ＩＦ（１）”の分岐点以降の色を経時変化部ＩＦ（ｎ）”と同じ色にすることによって、図１３に示すようにリンパ管の分岐点が明確となるような経時変化画像信号を生成するようにしてもよい。
【０１１２】
分岐点の検出方法としては、たとえば、図１５（Ａ）に示すように、２つの端部の組み合わせ毎に、線分の端部を始点に線分のつながりを追跡し、塗りつぶした画像を作成する。そして、図１５（Ａ）で示されるような画像を作成した後、これらを重ね合わせ画像を生成すれば、図１５（Ｂ）に示すように、線分が合流し重なった領域は重なりあった色で表現することができ、分岐点を明確にすることができる。
【０１１３】
また、たとえば、図１６に示すように、各経時変化部に対して、その撮像された時間に応じて番号を付して表示するようにしてもよい。なお、図１６におけるＣは癌、ＬＮはリンパ節、ＳＬＮはセンチネルリンパ節を表しており、図１６に示す白丸印に注射によってＩＣＧを投入した際の経時変化を示している。
【０１１４】
また、上記実施形態においては、動き特徴量を取得する際、過去通常画像信号と現在通常画像信号とを用いるようにしたが、これに限らず、過去蛍光画像信号と現在蛍光画像信号とを用いて動き特徴量を取得するようにしてもよい。動き特徴量の算出方法については、上記と同様である。ただし、通常画像信号の方がカラー画像信号であるため蛍光画像信号に比べると特徴点の抽出精度が高く、より望ましい。
【０１１５】
また、上記実施形態においては、現在リンパ管蛍光画像信号に対して、第１の過去リンパ管蛍光画像信号と第２の過去リンパ管蛍光画像信号とを重ね合わせて経時変化画像を生成するようにしたが、第１の過去リンパ管蛍光画像信号に対して、第２の過去リンパ管蛍光画像信号の経時変化部を加算し、その加算された信号に対してさらに現在リンパ管蛍光画像信号の経時変化部を加算することによって経時変化画像信号を生成するようにしてもよい。このように経時変化部を順次加算して経時変化画像信号を生成することによって簡単な演算で経時変化画像信号を生成することができる。また、リアルタイムに順次更新さされる経時変化画像信号を生成することができる。
【０１１６】
また、図１７に示すように、現在リンパ管蛍光画像信号と第２の過去リンパ管蛍光画像信号との差分画像信号を算出し、その差分画像信号と第２の過去リンパ管蛍光画像信号とを比較し、差分画像信号の両端部のうちの第２の過去リンパ管蛍光画像信号に連続しない方の端部に矢印を表示させるようにしてもよい。このように矢印を表示することによって、リンパが流れる方向を指し示すことができる。また、上記のような方法に限らず、オプティカルフロー法やブロックマッチング法などを用いて矢印の方向を推定するようにしてもよい。
【０１１７】
また、上記実施形態においては、第１の撮像系により蛍光画像を撮像するようにしたが、これに限らず、被観察部への特殊光の照射による被観察部の吸光特性に基づく画像を撮像するようにしてもよい。
【０１１８】
また、上記実施形態においては、リンパ管画像を抽出するようにしたが、これに限らず、たとえば、血管、胆管などのその他の管部分を表す画像を抽出するようにしてもよい。
【０１１９】
また、上記実施形態は、本発明の画像取得装置を硬性鏡システムに適用したものであるが、これに限らず、たとえば、軟性内視鏡装置を有するその他の内視鏡システムに適用してもよい。また、内視鏡システムに限らず、体内に挿入される挿入部を備えていない、いわゆるビデオカメラ型の医用画像撮像装置に適用してもよい。
【符号の説明】
【０１２０】
１ 硬性鏡システム
２ 光源装置
３ 画像処理装置
４ モニタ
１０ 硬性鏡撮像装置
２０ 撮像ユニット
２４ 高感度撮像素子
２６ 撮像素子
３０ 硬質挿入部
５０ 通常画像処理部
５１ 現在通常画像取得部
５２ 過去通常画像取得部
５３ 特徴量取得部
５４ 蛍光画像処理部
５５ 現在蛍光画像取得部
５６ 過去蛍光画像取得部
５７ 動き補正部
５８ リンパ管抽出部
５９ 経時変化画像生成部
【特許請求の範囲】
【請求項１】
特殊光の被観察部への照射によって被観察部から発せられた光を受光して所定の間隔で撮像された複数の特殊画像を取得し、
該取得した複数の特殊画像のうちの少なくとも１つの過去の時点において撮像された過去特殊画像と前記過去の時点より後の時点において撮像された特殊画像との間の経時変化部の情報を取得し、前記過去特殊画像または前記後の時点に撮像された特殊画像と前記経時変化部の情報とに基づいて経時変化画像を取得することを特徴とする画像取得方法。
【請求項２】
特殊光を被観察部に照射する特殊光照射部と、
前記特殊光の照射によって被観察部から発せられた光を受光して複数の特殊画像を所定の間隔で撮像する撮像部と、
該撮像部によって取得された複数の特殊画像のうちの少なくとも１つの過去の時点において撮像された過去特殊画像と前記過去の時点より後の時点において撮像された特殊画像との間の経時変化部の情報を取得し、前記過去特殊画像または前記後の時点に撮像された特殊画像と前記経時変化部の情報とに基づいて経時変化画像を取得する経時変化画像取得部とを備えたことを特徴とする画像生成装置。
【請求項３】
通常光を前記被観察部に照射する通常光照射部を備え、
前記撮像部が、前記通常光の照射によって前記被観察部から反射された反射光を受光して複数の通常画像を所定の間隔で撮像するものであり、
前記複数の通常画像のうち前記少なくとも１つの過去の時点において撮像された過去通常画像と前記後の時点に撮像された通常画像との間の動きの変化を示す動き特徴量を取得する動き特徴量取得部と、
該動き特徴量取得部によって取得された動き特徴量に基づいて、該動き特徴量を取得するために用いた前記過去通常画像と同じ時点において撮像された前記過去特殊画像に対して動き補正処理を施す動き補正部とを備え、
前記経時変化画像取得部が、前記動き補正処理の施された過去特殊画像と前記後の時点に撮像された特殊画像との間の経時変化部の情報を取得し、前記動き補正処理の施された過去特殊画像または前記後の時点に撮像された特殊画像と前記経時変化部の情報とに基づいて経時変化画像を取得するものであることを特徴とする請求項２記載の画像取得装置。
【請求項４】
前記過去特殊画像と前記後の時点に撮像された特殊画像との間の動きの変化を示す動き特徴量をそれぞれ取得する動き特徴量取得部と、
該動き特徴量取得部によって取得された動き特徴量に基づいて、該動き特徴量を取得するために用いた前記過去特殊画像に対して動き補正処理を施す動き補正部とを備え、
前記経時変化画像取得部が、前記動き補正処理の施された過去特殊画像と前記後の時点に撮像された特殊画像との間の経時変化部の情報を取得し、前記動き補正処理の施された過去特殊画像または前記後の時点に撮像された特殊画像と前記経時変化部の情報とに基づいて経時変化画像を取得するものであることを特徴とする請求項２記載の画像取得装置。
【請求項５】
前記過去特殊画像と前記後の時点に撮像された特殊画像とから前記被観察部に含まれる管部分を表す管画像を抽出する管画像抽出部を備え、
前記経過変化画像取得部が、前記過去特殊画像の管画像と前記後の時点に撮像された特殊画像の管画像とに基づいて前記経時変化部の情報を取得し、前記過去特殊画像の管画像または前記後の時点に撮像された特殊画像の管画像と前記経時変化部の情報とに基づいて経時変化画像を取得するものであることを特徴とする請求項２項記載の画像取得装置。
【請求項６】
前記経時変化画像取得部が、前記少なくとも１つの過去特殊画像と前記経時変化部とが互いに異なる表示形態となるように前記経時変化画像を生成するものであることを特徴とする請求項２から５いずれか１項記載の画像取得装置。
【請求項７】
前記経時変化画像取得部が、前記少なくとも１つの過去特殊画像と前記経時変化部に対して互いに異なる色を割り当てるものであることを特徴とする請求項６記載の画像取得装置。
【請求項８】
前記経時変化画像取得部が、前記少なくとも１つの過去特殊画像と前記経時変化部とに対して互いに異なる線種を割り当てるものであることを特徴とする請求項６記載の画像取得装置。
【請求項９】
前記光照射部が、蛍光薬剤が投入された前記被観察部に対して、前記特殊光として励起光を照射するものであり、
前記撮像部が、前記励起光の照射によって前記被観察部から発せられた蛍光を受光して前記特殊画像として蛍光画像を取得するものであることを特徴とする請求項２から８いずれか１項記載の画像取得装置。
【請求項１０】
前記経時変化画像取得部が、前記後の時点に撮像された特殊画像として最も直近に撮像された特殊画像を取得するものであることを特徴とする請求項２から９いずれか１項記載の画像取得装置。
【請求項１１】
通常光を前記被観察部に照射する通常光照射部を備え、
前記撮像部が、前記通常光の照射によって前記被観察部から反射された反射光を受光して複数の通常画像を所定の間隔で撮像するものであり、
前記経時変化画像と、前記過去特殊画像または前記後の時点に撮像された特殊画像と、該過去特殊画像または前記後の時点に撮像された特殊画像と同時に撮像された前記通常画像とを重ね合わせた合成画像を生成する合成画像生成部を備えたことを特徴とする請求項２記載の画像取得装置。
【請求項１】
特殊光の被観察部への照射によって被観察部から発せられた光を受光して所定の間隔で撮像された複数の特殊画像を取得し、
該取得した複数の特殊画像のうちの少なくとも１つの過去の時点において撮像された過去特殊画像と前記過去の時点より後の時点において撮像された特殊画像との間の経時変化部の情報を取得し、前記過去特殊画像または前記後の時点に撮像された特殊画像と前記経時変化部の情報とに基づいて経時変化画像を取得することを特徴とする画像取得方法。
【請求項２】
特殊光を被観察部に照射する特殊光照射部と、
前記特殊光の照射によって被観察部から発せられた光を受光して複数の特殊画像を所定の間隔で撮像する撮像部と、
該撮像部によって取得された複数の特殊画像のうちの少なくとも１つの過去の時点において撮像された過去特殊画像と前記過去の時点より後の時点において撮像された特殊画像との間の経時変化部の情報を取得し、前記過去特殊画像または前記後の時点に撮像された特殊画像と前記経時変化部の情報とに基づいて経時変化画像を取得する経時変化画像取得部とを備えたことを特徴とする画像生成装置。
【請求項３】
通常光を前記被観察部に照射する通常光照射部を備え、
前記撮像部が、前記通常光の照射によって前記被観察部から反射された反射光を受光して複数の通常画像を所定の間隔で撮像するものであり、
前記複数の通常画像のうち前記少なくとも１つの過去の時点において撮像された過去通常画像と前記後の時点に撮像された通常画像との間の動きの変化を示す動き特徴量を取得する動き特徴量取得部と、
該動き特徴量取得部によって取得された動き特徴量に基づいて、該動き特徴量を取得するために用いた前記過去通常画像と同じ時点において撮像された前記過去特殊画像に対して動き補正処理を施す動き補正部とを備え、
前記経時変化画像取得部が、前記動き補正処理の施された過去特殊画像と前記後の時点に撮像された特殊画像との間の経時変化部の情報を取得し、前記動き補正処理の施された過去特殊画像または前記後の時点に撮像された特殊画像と前記経時変化部の情報とに基づいて経時変化画像を取得するものであることを特徴とする請求項２記載の画像取得装置。
【請求項４】
前記過去特殊画像と前記後の時点に撮像された特殊画像との間の動きの変化を示す動き特徴量をそれぞれ取得する動き特徴量取得部と、
該動き特徴量取得部によって取得された動き特徴量に基づいて、該動き特徴量を取得するために用いた前記過去特殊画像に対して動き補正処理を施す動き補正部とを備え、
前記経時変化画像取得部が、前記動き補正処理の施された過去特殊画像と前記後の時点に撮像された特殊画像との間の経時変化部の情報を取得し、前記動き補正処理の施された過去特殊画像または前記後の時点に撮像された特殊画像と前記経時変化部の情報とに基づいて経時変化画像を取得するものであることを特徴とする請求項２記載の画像取得装置。
【請求項５】
前記過去特殊画像と前記後の時点に撮像された特殊画像とから前記被観察部に含まれる管部分を表す管画像を抽出する管画像抽出部を備え、
前記経過変化画像取得部が、前記過去特殊画像の管画像と前記後の時点に撮像された特殊画像の管画像とに基づいて前記経時変化部の情報を取得し、前記過去特殊画像の管画像または前記後の時点に撮像された特殊画像の管画像と前記経時変化部の情報とに基づいて経時変化画像を取得するものであることを特徴とする請求項２項記載の画像取得装置。
【請求項６】
前記経時変化画像取得部が、前記少なくとも１つの過去特殊画像と前記経時変化部とが互いに異なる表示形態となるように前記経時変化画像を生成するものであることを特徴とする請求項２から５いずれか１項記載の画像取得装置。
【請求項７】
前記経時変化画像取得部が、前記少なくとも１つの過去特殊画像と前記経時変化部に対して互いに異なる色を割り当てるものであることを特徴とする請求項６記載の画像取得装置。
【請求項８】
前記経時変化画像取得部が、前記少なくとも１つの過去特殊画像と前記経時変化部とに対して互いに異なる線種を割り当てるものであることを特徴とする請求項６記載の画像取得装置。
【請求項９】
前記光照射部が、蛍光薬剤が投入された前記被観察部に対して、前記特殊光として励起光を照射するものであり、
前記撮像部が、前記励起光の照射によって前記被観察部から発せられた蛍光を受光して前記特殊画像として蛍光画像を取得するものであることを特徴とする請求項２から８いずれか１項記載の画像取得装置。
【請求項１０】
前記経時変化画像取得部が、前記後の時点に撮像された特殊画像として最も直近に撮像された特殊画像を取得するものであることを特徴とする請求項２から９いずれか１項記載の画像取得装置。
【請求項１１】
通常光を前記被観察部に照射する通常光照射部を備え、
前記撮像部が、前記通常光の照射によって前記被観察部から反射された反射光を受光して複数の通常画像を所定の間隔で撮像するものであり、
前記経時変化画像と、前記過去特殊画像または前記後の時点に撮像された特殊画像と、該過去特殊画像または前記後の時点に撮像された特殊画像と同時に撮像された前記通常画像とを重ね合わせた合成画像を生成する合成画像生成部を備えたことを特徴とする請求項２記載の画像取得装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図１１】
【図１２】
【図１６】
【図８】
【図９】
【図１０】
【図１３】
【図１４】
【図１５】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図１１】
【図１２】
【図１６】
【図８】
【図９】
【図１０】
【図１３】
【図１４】
【図１５】
【図１７】
【公開番号】特開２０１２−５０６１７（Ｐ２０１２−５０６１７Ａ）
【公開日】平成２４年３月１５日（２０１２．３．１５）
【国際特許分類】
【出願番号】特願２０１０−１９５０２４（Ｐ２０１０−１９５０２４）
【出願日】平成２２年８月３１日（２０１０．８．３１）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【復代理人】
【識別番号】１００１２８４５１
【弁理士】
【氏名又は名称】安田 隆一
【Ｆターム（参考）】
【公開日】平成２４年３月１５日（２０１２．３．１５）
【国際特許分類】
【出願日】平成２２年８月３１日（２０１０．８．３１）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【復代理人】
【識別番号】１００１２８４５１
【弁理士】
【氏名又は名称】安田 隆一
【Ｆターム（参考）】
[ Back to top ]